TW202406338A - 用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置 - Google Patents

用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置 Download PDF

Info

Publication number
TW202406338A
TW202406338A TW112126750A TW112126750A TW202406338A TW 202406338 A TW202406338 A TW 202406338A TW 112126750 A TW112126750 A TW 112126750A TW 112126750 A TW112126750 A TW 112126750A TW 202406338 A TW202406338 A TW 202406338A
Authority
TW
Taiwan
Prior art keywords
block
chroma
classification
luma
adaptive loop
Prior art date
Application number
TW112126750A
Other languages
English (en)
Inventor
蕭裕霖
邱世鈞
林郁晟
徐志瑋
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202406338A publication Critical patent/TW202406338A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

使用色度ALF的色度分類進行視訊編解碼的方法和裝置。 根據該方法，接收重建的像素，其中重建像的素包括當前顏色塊，並且當前顏色塊包括亮度塊和一個或多個色度塊。 根據針對亮度塊的每個亮度ALF分類塊導出的亮度塊分類，從自一組亮度ALF選擇的一個亮度ALF導出經濾波的亮度輸出。 根據針對所述一個或多個色度塊中的每一個的每個色度ALF分類塊導出的色度塊分類，從自一組色度ALF中選擇的一個色度ALF導出經濾波的色度輸出。 提供濾波的重建的像素，其中濾波的重建的像素包括經濾波的亮度輸出和經濾波的色度輸出。

Description

用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置
本發明涉及使用自適應環路濾波器(Adaptive Loop Filter，簡寫為ALF)的視訊編解碼系統。具體地，本發明涉及使用色度分類（chroma classifier）的色度分量的ALF。
通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準(MPEG)。該標準已作為 ISO 標準發佈：ISO/IEC 23090-3:2021，Information technology - Coded representation of immersive media - Part 3: Versatile video coding，2021 年 2 月發佈。通過基於其前身HEVC(High Efficiency Video coding)，添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括 3 維(3D)視訊訊號，發展出VVC。
第1A圖說明了包含迴圈處理的示例性適應性幀間/幀內(adaptive Inter/Intra)視訊編解碼系統。對於幀內預測，預測資料是根據當前圖片(在後文中也稱為畫面)中先前編解碼的視訊資料導出的(derived)。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫為ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫為MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差(residual)。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流將與輔助資訊(side information)(例如與幀內預測和幀間預測相關聯的運動和解碼模式)以及其他資訊(例如與應用於底層圖像區域(underlying image area)的環路濾波器相關聯的參數)一起打包。與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化(IQ)124和逆變換(IT)126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自 REC 128 的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊品質。例如，可以使用去塊濾波器(deblocking filter，簡寫為DF)、採樣適應性偏移(Sample Adaptive Offset，簡寫為SAO)和適應性環路濾波器(Adaptive Loop Filter，簡寫為ALF)。可能需要將環路濾波器資訊合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重建採樣被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼(HEVC)系統、VP8、VP9、H.264或VVC。
如第1B圖所示，除了變換 118 和量化 120 之外，解碼器可以使用與編碼器相似或相同的功能塊，因為解碼器只需要逆量化 124 和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼為量化的變換係數和需要的編解碼資訊(例如ILPF資訊、幀內預測資訊和幀間預測資訊)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償(MC 152)而無需運動估計。
根據 VVC，與 HEVC 類似，輸入圖片被劃分(partition)為稱為 CTU(編解碼樹單元)的非重疊方形塊區域。每個 CTU 可以劃分為一個或多個更小的編解碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測處理的單元，例如幀間預測、幀內預測等。
在本發明中，針對超越VVC的新興視訊編解碼開發，公開了具有色度分類器（chroma classifier）的自適應環路濾波器（ALF)。
以下概述僅是說明性的並且不旨在以任何方式進行限制。即，以下概述被提供以介紹本文所述的新穎且非顯而易見的技術的概念、亮點、益處和優點。選擇而不是所有的實施方式在下面的詳細描述中被進一步描述。因此，以下概述並非旨在識別所要求保護的主題的基本特徵，也不旨在用於確定所要求保護的主題的範圍。
本公開的一些實施例提供了一種用於重建的視訊的自適應環路濾波器（ALF)處理的方法，方法包括：接收重建的像素，其中重建的像素包括當前顏色塊，並且當前顏色塊包括亮度塊和一個或多個色度塊；根據針對亮度塊的每個亮度ALF分類塊導出的亮度塊分類，從自一組亮度ALF中選擇的一個亮度ALF導出經濾波的亮度輸出；根據針對一個或多個色度塊中的每一個的每個色度ALF分類塊導出的色度塊分類，從自一組色度ALF中選擇的一個色度ALF導出經濾波的色度輸出；以及提供濾波的重建的像素，其中濾波的重建的像素包括經濾波的亮度輸出和經濾波的色度輸出。
本公開的一些實施例提供了一種用於重建的視訊的自適應環路濾波器（ALF）處理的裝置，裝置包括一個或多個電子電路或處理器，被佈置為：接收重建的像素，其中重建的像素包括當前顏色塊，並且當前顏色塊包括亮度塊和一個或多個色度塊；根據針對亮度塊的每個亮度ALF分類塊導出的亮度塊分類，從自一組亮度ALF中選擇的一個亮度ALF導出經濾波的亮度輸出；根據針對一個或多個色度塊中的每一個的每個色度ALF分類塊導出的色度塊分類，從自一組色度ALF中選擇的一個色度ALF導出經濾波的色度輸出；以及提供濾波的重建的像素，其中濾波的重建的像素包括經濾波的亮度輸出和經濾波的色度輸出。
本發明的用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置提供了一種色度分類方法。
容易理解的是，如本文附圖中一般描述和示出的，本發明的部件可以以多種不同的配置來佈置和設計。因此，如圖所示的本發明的系統和方法的實施例的以下更詳細的描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例 。在整個說明書中對“一個實施例”、“一實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以被包括在本發明的至少一個實施例中。因此，在整個說明書的各個地方出現的短語“在一個實施例中”或“在一實施例中”不一定都指同一實施例。
此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，所屬領域具有通常知識者將認識到，本發明可以在沒有一個或多個具體細節的情況下或者利用其他方法、組件等來實踐。在其他情況下，未示出或詳細描述出公知的結構或操作以避免模糊本發明的各方面。參考附圖將更好地理解本發明所示的實施例，其中相同的部件始終由相同的附圖標記表示。以下描述僅旨在通過示例的方式，並且簡單地說明與本文要求保護的本發明一致的裝置和方法的某些選定實施例。
VVC 中的自適應環路濾波器
在 VVC 中，應用了具有基於塊的濾波器自適應的自適應環路濾波器 (ALF)。對於亮度分量，根據局部梯度的方向和活動，從每個 4×4 塊的 25 個濾波器中選擇一個濾波器。
濾波器形狀
使用兩種菱形濾波器形狀(如第2圖所示)。7×7菱形220應用於亮度分量，5×5菱形210應用於色度分量。
塊分類
對於亮度分量，每個 4×4 塊被分為 25 個類別之一。分類索引C是根據其方向性(directionality)D和活動(activity)Â的量化值推導出來的，如下： .
為了計算 D 和 Â，首先使用一維拉普拉斯計算水平、垂直和兩個對角線方向的梯度： 其中索引 和 表示 塊內左上採樣的坐標，而 表示坐標 處重建的採樣。
為了降低塊分類的複雜性，子採樣的一維拉普拉斯計算被應用於垂直方向(第3A圖)和水平方向(第3B圖)。如第3C-D圖所示，相同的子採樣位置用於所有方向的梯度計算(第3C圖中的 和第3D圖中的 )。
則水平方向和垂直方向梯度的最大值和最小值設置為： ,
兩個對角線方向梯度的最大值和最小值設置為： , .
為了導出方向性 D 的值，將這些值相互比較並與兩個閾值t 1和 t 2進行比較： 步驟 1.      如果 且 均為真(true),則 設置為 。 步驟 2.      如果 , 繼續至步驟3; 否則，至步驟 4。 步驟 3.      如果 ,則 ; 否則 設置為 。 步驟 4.      如果 , 則 設置為 ; 否則 設置為 。
活動值A計算如下:
A進一步被量化為0到4的範圍(包括0和4)，並且量化的值被表示為 。
對於圖片中的色度分量，不應用任何分類。
濾波器係數和限幅值 (clipped value) 的幾何變換
在對每個 4×4 亮度塊進行濾波之前，根據為該塊計算的梯度值，將諸如旋轉或對角線和垂直翻轉之類的幾何變換應用於濾波器係數f(k,l)和對應的濾波器限幅值c(k,l)。這相當於將這些變換應用於濾波器支持區域中的採樣。這個想法是通過對齊方向性來使應用 ALF 的不同塊更加相似。
介紹了對角線、垂直翻轉(vertical flip)和旋轉三種幾何變換： 對角線: 垂直翻轉: , , 旋轉: , , 其中 K 是濾波器的大小， 是係數坐標，這樣位置 (0,0) 位於左上角，位置 (K-1,K-1) 位於右下角。根據為該塊計算的梯度值，將變換應用於濾波器係數f(k,l)和限幅值c(k,l)。變換與四個方向的四個梯度的關係總結如下表。 表 1.  為一個塊計算的梯度和變換的映射
梯度值 變換
g d2＜ g d1且 g h＜ g v 不變換
g d2＜ g d1且g v＜ g h 對角線
g d1＜ g d2且g h＜ g v 垂直翻轉
g d1＜ g d2且g v＜ g h 旋轉
濾波處理
在解碼器側，當使能ALF用於CTB時，CU內的每隔採樣 被濾波，生成採樣值 ， 其中f(k,l)表示解碼後的濾波器係數，K(x,y)是裁剪函數(clipping function)，c(k,l)表示解碼後的裁剪參數。變量 k 和 l 在 –L/2 和 L/2 之間變化，其中 L 表示濾波器長度。裁剪函數 對應於函數 。裁剪操作引入了非線性，通過減少與當前採樣值相差太大的鄰域採樣值的影響，使 ALF 更加高效。
交叉分量自適應環路濾波器
CC-ALF 使用亮度採樣值來細化每個色度分量，方法是對亮度通道應用自適應線性濾波器，然後使用此濾波操作的輸出進行色度細化。第4A圖提供了CC-ALF過程相對於SAO、亮度ALF和色度ALF過程的系統級圖。如第4A圖所示，每個顏色分量(即，Y、Cb和Cr)由其各自的SAO(即，SAO 亮度410、SAO Cb 412和SAO Cr 414)處理。在SAO之後，ALF亮度420被應用於SAO處理的亮度，而ALF色度430被應用於SAO處理的Cb和Cr。但是，存在從亮度到色度分量的交叉分量項(即 CC-ALF Cb 422 和 CC-ALF Cr 424)。來自交叉分量ALF的輸出被(分別使用加法器432和434)添加到來自ALF色度430的輸出。
CC-ALF中的濾波是通過將線性、菱形濾波器(例如第4B圖中的濾波器440和442)應用到亮度通道來實現的。在第4B圖中，空心圓表示亮度採樣，而點填充圓圈表示色度採樣。每個色度通道使用一個濾波器，其運算表示為： 其中 是位置被微調(refined)的色度分量 i, 是基於 的亮度位置， 是亮度分量中的濾波器支持區域，而 表示濾波器係數。
如第4B圖所示，亮度濾波器支持(luma filter support)是在考慮亮度和色度平面之間的空間縮放因子之後與當前色度採樣並置的區域。
在VVC參考軟體中，通過最小化每個色度通道相對於原始色度內容的均方誤差來計算CC-ALF濾波器係數。為了實現這一目標，VTM(VVC 測試模型)算法使用類似於用於色度 ALF 的係數推導過程。具體來說，導出相關矩陣，並使用 Cholesky 分解求解器計算係數，以嘗試最小化均方誤差度量。在設計濾波器時，每張圖片可以設計和傳輸最多8個CC-ALF濾波器。然後，基於 CTU 為兩個色度通道中的每一個通道指示生成的濾波器。
CC-ALF的附加特徵包括： ˙設計採用具有8 抽頭(tap)的3x4 菱形形狀。 ˙在APS 中傳輸七個濾波器係數。 ˙每個傳輸的係數都有6 位元動態範圍，並且僅限於2 的冪值。 ˙在解碼器處導出第八個濾波器係數，使得濾波器係數之和等於0。 ˙可以在切片報頭中引用APS。 ˙CC-ALF 在 CTU 級別控制濾波器選擇，用於每個色度分量。 ˙水平虛擬邊界的邊界填充(boundary padding)使用與亮度ALF 相同的記憶體訪問型樣(pattern)。
作為附加特徵，參考編碼器可以被配置為通過配置文件啟用一些基本的主觀調整(tuning)。啟用後，VTM 會削弱 CC-ALF 在使用高 QP 編解碼且接近中灰色或包含大量亮度高頻的區域中的應用。從算法上講，這是通過在滿足以下任一條件為真時，在 CTU 中禁用 CC-ALF 來實現的： ˙切片QP值減1小於或等於基礎QP值。 ˙局部對比度(local contrast)大於 ( 1 ＜＜ ( bitDepth – 2 ) ) – 1 的色度採樣數量超過 CTU 高度，其中局部對比度是濾波器支持區域內最大和最小亮度採樣值之間的差值。 ˙超過四分之一的色度採樣位於 ( 1 ＜＜ ( bitDepth – 1 ) ) – 16 和 ( 1 ＜＜ ( bitDepth – 1 ) ) + 16 之間的範圍內。
該功能的動機是提供一定的保證，即CC-ALF不會放大解碼路徑中較早引入的偽影(這主要是由於VTM當前沒有明確優化色度主觀質量的事實)。預計替代編碼器實現可能不使用此功能或包含適合其編碼特性的替代策略。
濾波器參數傳訊
ALF濾波器參數在自適應參數集(Adaptation Parameter Set，簡寫為APS)中傳訊。在一個APS中，可以傳訊多達25組亮度濾波器係數和限幅值索引，以及多達8組色度濾波器係數和限幅值索引。為了減少位元開銷，可以合併亮度分量的不同分類的濾波器係數。在切片報頭中，傳訊用於當前切片的APS的索引。
從APS解碼的限幅值索引允許使用亮度和色度分量兩者的限幅值表來確定限幅值。這些限幅值取決於內部位元深度。更準確地說，限幅值通過以下公式獲得： AlfClip 其中B等於內部位元深度，α是等於2.35的預定義常數值，N等於4，它是VVC中允許的限幅值的數量。然後，AlfClip 將四捨五入到最接近的格式為 2 的冪的值。
在切片報頭中，可以傳訊多達7個APS索引以指定用於當前切片的亮度濾波器組。濾波過程可以在CTB級別進一步控制。始終傳訊標誌來指示 ALF 是否應用於亮度 CTB。亮度CTB可以在16個固定濾波器組和來自APS的濾波器組中選擇一個濾波器組。為亮度CTB傳訊濾波器組索引以指示應用哪個濾波器組。16 個固定濾波器組是在編碼器和解碼器中預定義和硬編解碼(hard-coded)的。
對於色度分量，在切片報頭中傳訊APS索引以指示用於當前切片的色度濾波器組。在 CTB 級別，如果 APS 中存在多於一個色度濾波器組，則為每個色度 CTB 傳訊濾波器索引。
濾波器係數以等於128的範數(norm)進行量化。為了限制乘法複雜度，應用位元流一致性，使得非中心位置的係數值應在−2 7到2 7− 1的範圍(包括−2 7和2 7− 1)內。未在位元流中傳訊中心位置係數，其被視為等於 128。
ECM 中的自適應環路濾波器
ALF 簡化
移除ALF梯度子採樣(subsampling)和ALF虛擬邊界處理。用於分類的塊大小從 4x4 減小到 2x2。亮度和色度的濾波器大小(傳訊為ALF 係數)增加到 9x9。
具有 固定濾波器的 ALF
為了濾波亮度採樣，使用了三個不同的分類器(C 0、C 1和 C 2)和三組不同的濾波器集合(F 0、F 1和 F 2)。集合 F 0和 F 1包含固定濾波器，其係數針對分類器 C 0和 C 1進行訓練。F 2中的濾波器係數被傳訊。給定採樣使用集合 F i中的哪個濾波器由使用分類器 C i分配給該採樣的分類 決定。
濾波
首先，應用兩個13x13菱形固定濾波器F 0和F 1來導出兩個中間採樣 和 。之後，將 F2 應用於 、 和鄰近採樣，以導出濾波的採樣： 其中 是鄰近採樣和當前採樣 之間的限幅的差異， 是 和當前採樣之間的限幅的差異。傳訊濾波器係數 。
分類
基於方向性 和活動 ，將分類 分配給每個 2x2 塊： , 其中 表示方向性 的總數。
與 VVC 中一樣，使用一維拉普拉斯算子計算每個採樣的水平、垂直和兩個對角線梯度值。覆蓋目標 2×2 塊的 4×4 窗口內的採樣梯度之和用於分類器 C 0，而 12×12 窗口內的採樣梯度之和用於分類器 C 1和 C 2。水平、垂直和兩個對角線梯度的和分別表示為 、 、 和 。方向性 通過比較 與一組閾值確定。方向性 是使用閾值 2 和 4.5 如在 VVC 中導出的。對於 和 ，首先計算水平/垂直邊緣強度 和對角線邊緣強度 。使用閾值 。若 ，則邊緣強度 為0；否則 ， 是滿足 的最大整數。 ，則邊緣強度 為0；否則 ， 是滿足 的最大整數。當 ，即水平/垂直邊緣占主導時，使用表2A導出 ；否則 ，對角線邊緣占主導地位，通過使用表 2B 導出 。 表 2A. 將 和 映射到
  0 1 2 3 4 5 6
0 0 0 0 0 0 0 0
1 1 2 0 0 0 0 0
2 3 4 5 0 0 0 0
3 6 7 8 9 0 0 0
4 10 11 12 13 14 0 0
5 15 16 17 18 19 20 0
6 21 22 23 24 25 26 27
表 2B. 將 和 映射到
  0 1 2 3 4 5 6
0 28 0 0 0 0 0 0
1 29 30 0 0 0 0 0
2 31 32 33 0 0 0 0
3 34 35 36 37 0 0 0
4 38 39 40 41 42 0 0
5 43 44 45 46 47 48 0
6 49 50 51 52 53 54 55
為獲取 , 垂直和水平梯度之和 映射到 0到 的範圍，其中對於 ， 等於4 ，對於 和 ， 等於15。
在ALF_APS中，傳訊多達4組亮度濾波器集合，每組可以具有多達25個濾波器。
在本發明中，改進ALF性能的技術公開如下。
具有 色度分類器的 ALF
在VVC和ECM ALF中，分類僅應用於亮度分量。 在本發明中，公開了色度分類方法。
ALF 頻帶分類器 （ ALF Band Classifier ）
在ECM ALF頻帶分類器中，頻帶分類僅應用於亮度分量。 根據本發明的一個實施例，色度分量也被分為不同的頻帶。 在色度分類中，與用於亮度的25個頻帶不同，我們可以使用更少的頻帶進行色度分類，例如10個頻帶。 色度分量的分類規則可以與亮度的分類規則相同，即每個2x2採樣值總和（sample value sum）乘以一個數並右移以確定每個2x2塊的頻帶分類（band class），如下： 頻帶分類 C = (2x2 採樣值總和 * K) ＞＞ (InputBitDepth + 2), 其中 K 是一個值。
在一個實施例中，首先將每個2x2採樣值總和映射到查找表，然後從查找表確定每個2x2塊的頻帶分類，如下： C’ = (2x2 採樣值總和 * J) ＞＞ (InputBitDepth + 2), J 頻帶分類 C = LUT[C’], 其中 J 是一個值。
頻帶分類器中的頻帶分佈可以被預定義或自適應地改變。 本公開中的頻帶分佈是指映射的頻帶(也稱為頻帶分類)與2x2採樣值總和之間的關係。 當使用查找表來實現映射時，頻帶分類器中的頻帶分佈成為查找表設計相關的問題。
在另一實施例中，查找表的條目（entry）可以是不一致（或不均勻）分佈的。 例如，一些頻帶分類可能不太頻繁地出現在查找表中。 查找表設計的一個例子如下：
在另一個實施例中，在進行頻帶分類之前，首先分析整個圖片，並根據一些規則自適應地確定頻帶分佈，例如遵循圖片中的採樣和分佈。
在另一實施例中，查找表中的條目的數量是2的N次方，並且頻帶分類計算如下： C’ = (2x2 採樣值總和) ＞＞ (InputBitDepth - M), 頻帶分類 C = LUT[C’], 其中 M 是一個值。
在另一實施例中，對於每個2x2塊，計算並使用每個2x2塊內的中值（median）採樣值來代替2x2採樣和。
在另一實施例中，對於每個2x2塊，代替2x2採樣和，使用四個採樣之一來導出頻帶分類。
在另一實施例中，對於每個2x2塊，利用更大的窗口來導出頻帶分類。 例如，計算 4x4 採樣和並用於導出中心 2x2 塊的頻帶分類。
在上面公開的色度分類器的示例中，色度分類被應用於2x2色度塊。 選擇2x2色度塊是為了說明的目的。 本發明不限於用於色度分類的該特定色度塊大小。 相反，根據本發明的色度分類可以基於BxB色度塊，其中B是正整數。 用於色度分類的BxB色度塊在本公開中被稱為色度ALF分類塊。 此外，BxB（例如 2x2）色度塊的採樣值總和用於導出頻帶分類。 再次，使用採樣值總和作為示例來導出頻帶分類。 採樣值總和不應被解釋為對本發明的限制。 如本公開的後面部分中所公開的，還可以使用BxB色度塊的其他代表值。 BxB色度塊的代表值在本公開中被稱為BxB色度塊的塊值（block value）。
具有亮度採樣的 ALF 頻帶分類器
在一個實施例中，對於每個2x2色度塊，對應的2x2亮度塊用於導出4:4:4顏色格式的頻帶分類，如下： Cb 的頻段類別 C（也適用於 Cr）= ((Cb 2x2 採樣值總和 + Y 2x2 採樣值總和) * K) ＞＞ (InputBitDepth + 3), 其中 K 是一個值。
在上述實施例中，對於每個2x2色度塊，對應的4x4亮度塊用於導出4:2:0顏色格式的頻帶分類，如下： Cb 的頻段類別 C（也適用於 Cr）= ((Cb 2x2 採樣值總和 + (Y 4x4 採樣值總和 ＞＞ 2)) * K) ＞＞ (InputBitDepth + 3), 其中 K 是一個值。
Cb 和 Cr 具有相同 分類 的 ALF 頻帶 分類器
在一個實施例中，Cb和Cr的每個對應的2x2採樣值被設置為同一分類，即將每兩個2x2採樣和乘以一個數並右移以確定每個2x2塊的頻帶分類，如下： Cb 和 Cr 的頻帶分類 C = ((Cb 2x2 採樣值總和 + Cr 2x2 採樣值總和) * K) ＞＞ (InputBitDepth + 3), 其中 K 是一個值。
在上述實施例中，Cb和Cr的每個對應的2x2採樣值被設置為同一分類。 該分類是通過考慮 4:2:0 顏色格式的 2x2 Cb 塊、2x2 Cr 塊和相應的 4x4 亮度塊而導出的，如下所示： Cb 和 Cr 的頻帶分類 C = ((Cb 2x2 採樣值總和 + Cr 2x2 採樣值總和 + (Y 4x4 採樣值總和 ＞＞ 1)) * K) ＞＞ (InputBitDepth + 4), 其中 K 是一個值。
來自亮度分類的 ALF 色度分類
在一個實施例中，對於色度採樣，對應的2x2塊的亮度分類被重新用作4:2:0顏色格式的色度分類結果。
在上述實施例中，對於每個2x2色度塊，使用對應的4x4亮度塊內的2x2塊的亮度分類來導出4:2:0顏色格式的色度分類。 例如，可以使用亮度分類的最小值、最大值、中值或平均值。
在一個實施例中，上述實施方式可以組合在一起。 例如，查找表中的條目數為2的N次方，頻帶分類計算如下： C’ = (4x4 採樣值總和) ＞＞ (InputBitDepth - M), 頻帶分類 C = LUT[C’] 其中 M 是一個值。
查找表的輸出可以是非均勻的，並且使用一個4x4窗口來對一個2x2塊進行分類。 此外，對於色度採樣，相應2x2塊的亮度類別可以被重新用作4:2:0顏色格式的色度分類結果。
上述任一ALF方法可以在編碼器和/或解碼器中實現。例如，任何所提出的方法可以在編碼器或解碼器的環路濾波器模塊(例如第1A圖和第1B圖中的ILPF 130)中實現。或者，所提出的方法中的任一個可以被實現為耦合到編碼器的幀間編解碼模塊和/或解碼器的運動補償模塊、合併候選導出模塊。ALF方法還可以使用存儲在介質(例如硬碟或閃存)上的可執行軟體或韌體代碼來實現，用於CPU(中央處理單元)或可程式化設備(例如DSP(數位信號處理器)或FPGA(現場可程式化) 門陣列))。
第5圖示出了根據本發明實施例的利用色度ALF的色度分類的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式代碼。流程圖中所示的步驟還可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟510中接收重建的像素，其中重建的像素包括當前顏色塊（colour block），並且當前顏色塊包括亮度塊和一個或多個色度塊。在步驟520中，根據為亮度塊的每個亮度ALF分類塊導出的亮度塊分類，從自一組亮度ALF中選擇的一個亮度ALF導出經濾波的亮度輸出。在步驟530中，根據針對所述一個或多個色度塊中的每一個的每個色度ALF分類塊導出的色度塊分類，從自一組色度ALF中選擇的一個色度ALF導出經濾波的色度輸出。在步驟540中提供濾波重建的像素，其中濾波重建的像素包括濾波的亮度輸出和濾波的色度輸出。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。所屬領域具有通常知識者可以在不脫離本發明的精神的情況下修改每個步驟、重新排列步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定的語法和語義來說明實現本發明的實施例的示例。技術人員可以通過用等效語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。
給出上述描述以使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者來說將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是應被賦予與本文所公開的原理和新穎特徵一致的最寬範圍。在上面的詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解，可以實踐本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式代碼以執行本文描述的處理。本發明的實施例還可以是在數位信號處理器(DSP)上執行以執行本文描述的處理的程式代碼。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可程式化門陣列(FPGA)執行的多種功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式化語言和不同的格式或風格來開發。軟體代碼還可以針對不同的目標平台進行編譯。然而，不同的代碼格式、軟體代碼的風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
本發明可以以其他具體形式來實施而不背離其精神或基本特徵。所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍的等同物的含義和範圍內的所有改變均被包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 130:環路濾波器 124:逆量化 126:逆變換 128:重建 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210、220、710、720:菱形濾波器形狀 410、412、414:SAO 420、430:ALF 422、424:CCALF 432、434:加法器 440、442:濾波器 510~540:步驟
第1A圖示出了結合環路處理的示例性自適應幀間/幀內視訊編碼系統。 第1B圖示出了第1A圖中的編碼器的對應解碼器。 第2圖示出了色度(左)和亮度(右)分量的ALF濾波器形狀。 第3A-D圖示出了用於 g v (3A)、 g h (3B)、 g d1 (3C) 和 g d2 (3D)的子採樣的拉普拉斯計算。 第4A圖示出了CC-ALF相對於其他環路濾波器的放置。 第4B圖示出了用於色度採樣的菱形濾波器。 第5圖示出了根據本發明實施例的利用ALF的色度分類器的示例性視訊編解碼系統的流程圖。
510~540:步驟

Claims (21)

  1. 一種用於重建的視訊的自適應環路濾波器處理的方法，該方法包括： 接收重建的像素，其中該重建的像素包括當前顏色塊，並且該當前顏色塊包括亮度塊和一個或多個色度塊； 根據針對該亮度塊的每個亮度自適應環路濾波器分類塊導出的亮度塊分類，從自一組亮度自適應環路濾波器中選擇的一個亮度自適應環路濾波器導出經濾波的亮度輸出； 根據針對該一個或多個色度塊中的每一個的每個色度自適應環路濾波器分類塊導出的色度塊分類，從自一組色度自適應環路濾波器中選擇的一個色度自適應環路濾波器導出經濾波的色度輸出；以及 提供濾波的重建的像素，其中該濾波的重建的像素包括該經濾波的亮度輸出和該經濾波的色度輸出。
  2. 如請求項1所述之方法，其中該一個或多個色度塊對應於Cb塊和Cr塊，並且Cb塊和Cr塊的相應色度自適應環路濾波器分類塊共享相同的色度分類類別。
  3. 如請求項2所述之方法，其中，該相同色度分類類別是根據Cb塊和Cr塊的該相應色度自適應環路濾波器分類塊的採樣值確定的。
  4. 如請求項2所述之方法，其中，根據Cb塊和Cr塊的該相應色度自適應環路濾波器分類塊以及該亮度塊的所述每個亮度自適應環路濾波器分類塊的採樣值來確定該相同色度分類類別。
  5. 如請求項1所述之方法，其中所述每個色度自適應環路濾波器分類塊對應於BxB色度塊，其中B是正整數。
  6. 如請求項5所述之方法，其中B等於2。
  7. 如請求項6所述之方法，其中，該當前顏色塊對應於4:2:0顏色塊，並且用於導出亮度分類類型的相應4x4亮度塊中的2x2亮度塊用於導出該2x2 色度塊的色度分類類型。
  8. 如請求項6所述之方法，其中該當前顏色塊對應於4:2:0顏色塊，並且將對應的4x4亮度塊中的2x2亮度塊的亮度分類類別用作該2x2亮度塊的色度分類類別。
  9. 如請求項6所述之方法，其中該當前顏色塊對應於4:4:4顏色塊，並且對應的2x2亮度塊用於導出該2x2色度塊的色度分類類別。
  10. 如請求項5所述之方法，其中計算該BxB色度塊的塊值並將該塊值映射到查找表，並且其中根據該查找表確定色度分類類別。
  11. 如請求項10所述之方法，其中該BxB色度塊的該塊值對應於該BxB色度塊的採樣和。
  12. 如請求項10所述之方法，其中該BxB色度塊的該塊值對應於該BxB色度塊的中值採樣。
  13. 如請求項10所述之方法，其中該BxB色度塊的該塊值對應於該BxB色度塊的一個採樣值。
  14. 如請求項10所述之方法，其中該塊值與該查找表之間的映射是預先定義的。
  15. 如請求項10所述之方法，其中自適應地確定該塊值和該查找表之間的映射。
  16. 如請求項15所述之方法，其中對包含該當前顏色塊的圖片進行分析，並且根據分析結果確定該塊值與該查找表之間的映射。
  17. 如請求項10所述之方法，其中該塊值與該查找表之間的映射是非均勻的。
  18. 如請求項1所述之方法，其中使用大於所述每個色度自適應環路濾波器分類塊的大色度塊來導出所述每個色度自適應環路濾波器分類塊的色度分類類別。
  19. 如請求項1所述之方法，其中該色度塊分類使用與該亮度塊分類相同的分類規則。
  20. 如請求項1所述之方法，其中色度分類類別的數量小於亮度分類類別的數量。
  21. 一種用於重建的視訊的自適應環路濾波器處理的裝置，該裝置包括一個或多個電子電路或處理器，被佈置為： 接收重建的像素，其中該重建的像素包括當前顏色塊，並且該當前顏色塊包括亮度塊和一個或多個色度塊； 根據針對該亮度塊的每個亮度自適應環路濾波器分類塊導出的亮度塊分類，從自一組亮度自適應環路濾波器中選擇的一個亮度自適應環路濾波器導出經濾波的亮度輸出； 根據針對該一個或多個色度塊中的每一個的每個色度自適應環路濾波器分類塊導出的色度塊分類，從自一組色度自適應環路濾波器中選擇的一個色度自適應環路濾波器導出經濾波的色度輸出；以及 提供濾波的重建的像素，其中該濾波的重建的像素包括該經濾波的亮度輸出和該經濾波的色度輸出。
TW112126750A 2022-07-20 2023-07-18 用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置 TW202406338A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263368900P 2022-07-20 2022-07-20
US63/368,900 2022-07-20
WOPCT/CN2023/103570 2023-06-29
PCT/CN2023/103570 WO2024016981A1 (en) 2022-07-20 2023-06-29 Method and apparatus for adaptive loop filter with chroma classifier for video coding

Publications (1)

Publication Number Publication Date
TW202406338A true TW202406338A (zh) 2024-02-01

Family

ID=89617040

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112126750A TW202406338A (zh) 2022-07-20 2023-07-18 用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置

Country Status (2)

Country Link
TW (1) TW202406338A (zh)
WO (1) WO2024016981A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
WO2021051369A1 (en) * 2019-09-20 2021-03-25 Intel Corporation Convolutional neural network loop filter based on classifier
CN112929656B (zh) * 2019-12-06 2022-08-26 杭州海康威视数字技术股份有限公司 滤波方法、装置及设备
JP2023515742A (ja) * 2019-12-31 2023-04-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド ループ内フィルタリングの方法、コンピュータ可読記憶媒体及びプログラム

Also Published As

Publication number Publication date
WO2024016981A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
US9998737B2 (en) Method and apparatus of adaptive loop filtering
RU2696552C1 (ru) Способ и устройство для видеокодирования
KR101752612B1 (ko) 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법
CN113994670B (zh) 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
TWI558212B (zh) 一種後期處理重建畫面的方法
US11909965B2 (en) Method and apparatus for non-linear adaptive loop filtering in video coding
JP7480303B2 (ja) ビデオ符号化のための方法並びに、その装置、及びコンピュータプログラム
TW202103495A (zh) 解碼影像資料的方法、編碼影像資料的方法及儲存編碼影片資訊的非暫態電腦可讀取儲存媒介
JP7486595B2 (ja) ビデオフィルタリングのための方法及び装置
JP2022186730A (ja) ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置
US20210289202A1 (en) Intra prediction method and apparatus for performing adaptive filtering on reference pixel
TW202406338A (zh) 用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置
JP2019528648A (ja) サンプル適応オフセットを用いたビデオコード化のための方法及び機器
WO2024012167A1 (en) Method and apparatus for adaptive loop filter with non-local or high degree taps for video coding
WO2024016983A1 (en) Method and apparatus for adaptive loop filter with geometric transform for video coding
WO2024012168A1 (en) Method and apparatus for adaptive loop filter with virtual boundaries and multiple sources for video coding
WO2024067188A1 (en) Method and apparatus for adaptive loop filter with chroma classifiers by transpose indexes for video coding
WO2024017010A1 (en) Method and apparatus for adaptive loop filter with alternative luma classifier for video coding
WO2024017200A1 (en) Method and apparatus for adaptive loop filter with tap constraints for video coding
WO2024114810A1 (en) Method and apparatus for adaptive loop filter with fixed filters for video coding
WO2024088003A1 (en) Method and apparatus of position-aware reconstruction in in-loop filtering
WO2024082946A1 (en) Method and apparatus of adaptive loop filter sub-shape selection for video coding
WO2024055842A1 (en) Method and apparatus for adaptive loop filter with non-sample taps for video coding
WO2024082899A1 (en) Method and apparatus of adaptive loop filter selection for positional taps in video coding
WO2024012576A1 (en) Adaptive loop filter with virtual boundaries and multiple sample sources