TW202406337A - 用於重構視訊的適應性環路濾波器處理方法和裝置 - Google Patents

用於重構視訊的適應性環路濾波器處理方法和裝置 Download PDF

Info

Publication number
TW202406337A
TW202406337A TW112126396A TW112126396A TW202406337A TW 202406337 A TW202406337 A TW 202406337A TW 112126396 A TW112126396 A TW 112126396A TW 112126396 A TW112126396 A TW 112126396A TW 202406337 A TW202406337 A TW 202406337A
Authority
TW
Taiwan
Prior art keywords
sample
adaptive loop
difference
filter
loop filter
Prior art date
Application number
TW112126396A
Other languages
English (en)
Inventor
林郁晟
蕭裕霖
邱世鈞
徐志瑋
莊子德
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202406337A publication Critical patent/TW202406337A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

基於相鄰差值重新排序進行幾何變換的方法和裝置被提供。根據一種方法，當前塊中的重構像素中的當前樣本以及圍繞當前樣本的濾波器樣本集合被決定。濾波器樣本的至少部分集合的差值測量被導出，其中每個差值測量與相應濾波器樣本對和當前樣本之間的樣本差值相關，以及該相應濾波器樣本對相對於當前樣本對稱地設置。根據差值測量，至少部分ALF係數集合被分配給至少部分濾波器樣本集合。根據另一種方法，根據索引，目標幾何變換從幾何變換集合中被決定。然後濾波塊藉由將目標幾何變換應用於當前重構像素來導出。

Description

用於重構視訊的適應性環路濾波器處理方法和裝置
本發明涉及使用適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）的視訊編解碼系統。具體地，本發明涉及使用新的幾何變換及其信令的ALF。
多功能視訊編解碼（versatile video coding，簡稱VVC）是由ITU-T視訊編解碼專家組（Video Coding Experts Group，簡稱VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，簡稱MPEG）的聯合視訊專家組（Joint Video Experts Team，簡稱JVET）開發的最新國際視訊編解碼標準。該標準已作為ISO標準於2021年2月發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體的編解碼表示-第3部分：多功能視訊編解碼。VVC是基於其上一代高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）藉由添加更多的編解碼工具，來提高編解碼效率以及處理包括三維（3-dimensional，簡稱3D）視訊訊號在內的各種類型的視訊源。
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。對於幀內預測，​​預測資料基於當前圖片中先前編解碼的視訊資料得出。對於幀間預測112，運動估計（Motion Estimation，簡稱ME）在編碼器端執行以及運動補償（Motion Compensation，簡稱MC）基於ME的結果執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，以及選擇的預測資料被提供至加法器116以形成預測誤差，也被稱為殘差。然後預測誤差由變換（Transform，簡稱T）118接著量化（Quantization，簡稱Q）120處理。然後經變換和量化的殘差由熵編碼器122進行編碼，以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流與輔助資訊（諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助資訊）和其他資訊（與應用於底層圖像區域的環路濾波器相關聯的參數等）打包。如第1A圖所示，與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供至熵編碼器122。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端重構。因此，經變換和量化的殘差由逆量化（Inverse Quantization，簡稱IQ）124和逆變換（Inverse Transformation，簡稱IT）126處理以恢復殘差。然後殘差在重構（REC）128被加回到預測資料136以重構視訊資料。重構的視訊資料可被存儲在參考圖片緩衝器134中以及用於其他幀的預測。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自重構128的重構視訊資料可能會受到各種損害。因此，在重構視訊資料被存儲在參考圖片緩衝器134中之前，環路濾波器130通常被應用於重構視訊資料，以提高視訊品質。例如，去塊濾波器（deblocking filter,簡稱DF）、樣本適應性偏移（Sample Adaptive Offset，簡稱SAO）和適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）可被使用。環路濾波器資訊可能需要被合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供至熵編碼器122以結合到位元流中。在第1A圖中，在重構樣本被存儲在參考圖片緩衝器134中之前，環路濾波器130被應用於重構的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例結構。它可以對應於高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）系統、VP8、VP9、H.264或VVC。
如第1B圖所示的解碼器可以使用與編碼器相似或部分相同的功能塊，除了變換118 和量化120，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122來將視訊位元流解碼為量化的變換係數和所需的編解碼資訊（例如，ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器端的幀內預測150不需要執行模式搜索。相反，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊執行運動補償（MC 152）無需運動估計。
根據VVC，輸入圖片被劃分為稱為編解碼樹單元（Coding Tree unit，簡稱CTU）的非重疊方形塊區域，類似於HEVC。每個CTU可被劃分為一個或多個較小尺寸的編解碼單元（coding unit，簡稱CU）。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元（prediction unit，簡稱PU）作為一個單元來應用預測處理，例如幀間預測、幀內預測等。
在本發明中，具有新幾何變換的適應性環路濾波器（ALF）以及與新幾何變換相關聯的信令用於VVC之外的新興視訊編解碼開發。
一種使用適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）進行視訊編解碼的方法和裝置被公開。根據該方法，重構像素被接收，其中重構像素包括當前塊中的當前重構像素。當前塊中的重構像素中的當前待濾波樣本以及圍繞當前待濾波樣本的濾波器樣本集合被決定。至少部分濾波器樣本集合的差值測量被導出，其中每個差值測量與相應濾波器樣本對和當前待濾波樣本之間的樣本差值相關聯，以及該相應濾波器樣本對相對於當前待濾波樣本對稱地設置。根據差值測量，至少部分ALF係數集合被分配給至少部分濾波器樣本集合。經濾波的輸出樣本藉由將具有至少部分ALF係數集合的ALF應用於當前待濾波樣本來導出。
在一個實施例中，根據差值測量的上升順序，至少部分ALF係數集合被分配給至少部分濾波器樣本集合。在另一實施例中，根據差值測量的下降順序，至少部分ALF係數集合被分配給至少部分濾波器樣本集合。
在一個實施例中，所述每個差值測量包括與第一差值相關的第一項，該第一差值對應於相應濾波器樣本對中的第一樣本與當前待濾波樣本之間的第一樣本差值，以及與第二差值相關的第二項，該第二差值對應於該相應濾波器樣本對中的第二樣本與當前待濾波樣本之間的第二樣本差值。在一個實施例中，所述每個差值測量對應於第一樣本差值和第二樣本差值之和。在另一個實施例中，所述每個差值測量對應於第一樣本差值的絕對值與第二樣本差值的絕對值之和。在又一個實施例中，所述每個差值測量對應於第一樣本差值和第二樣本差值之和的絕對值。在又一實施例中，所述差值測量中的每個差值測量對應於裁剪的第一樣本差值和裁剪的第二樣本差值之和。在又一個實施例中，所述每個差值測量對應於裁剪的第一樣本差值的絕對值與裁剪的第二樣本差值的絕對值之和。在又一個實施例中，所述每個差值測量對應於裁剪的第一樣本差值和裁剪的樣本第二差值之和的絕對值。
在一個實施例中，所述至少部分濾波器樣本集合與濾波器樣本集合相同。在另一實施例中，所述至少部分濾波器樣本集合小於濾波器樣本集合。
根據另一種方法，重構像素被接收，其中重構像素包括當前塊中的當前重構像素。根據索引，目標幾何變換從幾何變換集合中決定。經濾波塊藉由將目標幾何變換應用於當前重構像素來導出。經濾波塊被提供。
在一個實施例中，索引基於每個應用參數集（Application Parameter Set，簡稱APS）、濾波器集合或類別進行發送或解析。在一個實施例中，該索引基於所選擇的目標ALF分類器來推斷。例如，響應於選擇的目標ALF分類器為梯度分類器，目標幾何變換可以對應於基於梯度的幾何變換。又例如，響應於所選擇的目標ALF分類器為帶分類器，目標幾何變換可以對應於基於相鄰重新排序的幾何變換。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。
此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實施本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明瞭與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。
VVC 中的適應性環路濾波器
在VVC中，具有基於塊的濾波器自我調整的適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）。對於亮度分量，根據局部梯度的方向和活動，從每個4×4塊的25個濾波器中選擇一個濾波器。
濾波器形狀
兩個菱形濾波器形狀（如第2圖所示）被使用。7×7菱形220應用於亮度分量，5×5菱形210應用於色度分量。
塊分類
對於亮度分量，每個4×4塊被分類為25個類中的一個。分類索引C根據其方向性 D和活動 的量化值導出，如下所示：
為了計算D和 ，水平、垂直和兩個對角線方向的梯度首先使用一維拉普拉斯運算元進行計算： 其中索引 i和 j指的是4×4塊內左上樣本的座標， R( i, j)表示座標( i, j)處的重構樣本。
為了降低塊分類的複雜性，子採樣的一維拉普拉斯計算應用於垂直方向（第3A圖）和水平方向（第3B圖）。如第3C-D圖所示，相同的子採樣位置用於所有方向的梯度計算（第3C圖中的 g d1 和第3D圖中的 g d2 ）。
則水平方向和垂直方向梯度的D最大值和最小值被設置為： ,
兩個對角方向的梯度的最大值和最小值被設置為: , .
為了導出方向性 D的值，這些值相互比較並與兩個閾值 t 1 和 t 2 進行比較： 步驟 1. 如果 以及 為真, 被設置為 。 步驟 2. 如果 , 從步驟3繼續；否則從步驟4繼續。 步驟 3. 如果 , 被設置為 ；否則 被設置為 。 步驟 4. 如果 , 被設置為 ；否則 被設置為 。
活性值A計算如下：
A被進一步量化到0到4的範圍內，包括0到4，以及量化值被表示為 。
對於圖片中的色度分量，不應用分類。
濾波器係數和裁剪值（ clipping value ） 的幾何變換
在對每個4×4亮度塊進行濾波之前，根據對該塊計算的梯度值，旋轉或對角線和垂直翻轉等幾何變換被應用於濾波器係數 f( k, l)和相應的濾波器裁剪值 c( k, l)。這相當於將這些變換應用於濾波器支援區域中的樣本。這個想法是藉由對齊方向性來使應用ALF的不同塊更加相似。
三種幾何變換，包括對角線、垂直翻轉和旋轉被引入： 對角線: 垂直翻轉: , , 旋轉: , , 其中K是濾波器的大小，0≤k,l≤K-1是係數座標，這樣位置(0,0)在左上角，位置(K-1,K-1)在右下角。根據對該塊計算的梯度值，變換被應用於濾波器係數 f( k, l) 和裁剪值 c( k, l)。變換與四個方向的四個梯度的關係總結如下表。 表 1. 對一個塊計算的梯度映射和變換
梯度值 變換
g d2＜ g d1and g h＜ g v 無變換
g d2＜ g d1and g v＜ g h 對角線
g d1＜ g d2and g h＜ g v 垂直翻轉
g d1＜ g d2and g v＜ g h 旋轉
濾波處理
在解碼器端，當ALF被啟用於CTB時，CU內的每個樣本 R( i, j)都會被濾波，從而產生如下所示的樣本值 R'( i, j)， 其中 f( k, l)表示解碼後的濾波器係數， K( x, y)是裁剪函數， c( k, l)表示解碼後的裁剪參數。變數k和l在–L/2和L/2之間變化，其中 L表示濾波器長度。對應函數Clip3 (-y,y,x)的裁剪函數 。裁剪操作引入非線性，藉由減少與當前樣本值相差太大的相鄰樣本值的影響，使ALF更有效。
交叉分量適應性環路濾波器
CC-ALF使用亮度樣本值藉由將適應性線性濾波器應用於亮度通道，然後使用該濾波操作的輸出進行色度細化來細化每個色度分量。第4A圖提供了關於SAO，亮度ALF和色度ALF處理的CC-ALF處理的系統級圖。如第4A圖所示，每個顏色分量（即Y、Cb和Cr）由其各自的SAO（即SAO亮度410、SAO Cb 412 和SAO Cr 414）處理。在SAO之後，ALF亮度420應用於經SAO處理後的亮度，ALF色度430應用於經SAO處理後的Cb和Cr。但是，存在從亮度到色度分量的交叉分量項（即CC-ALF Cb 422和CC-ALF Cr 424）。來自交叉分量ALF的輸出被添加（分別使用加法器432和434）到來自ALF色度430的輸出。
CC-ALF中的濾波藉由將線性菱形濾波器（例如第4B圖中的濾波器440和442）應用於亮度通道來實現。在第4B圖中，空白圓圈表示亮度樣本而圓點填充圓圈表示色度樣本。每個色度通道使用一個濾波器，其操作被表示為： 其中( x, y)是被細化的色度分量 i位置，( x Y , y Y )是基於(x,y)的亮度位置， S i 是亮度分量中的濾波器支援區域， c i ( x 0 , y 0 )代表濾波器係數。上式中的 c i 可以對應於Cb或Cr。
如第4B圖所示，亮度濾波器支援（luma filter support）是在考慮了亮度和色度平面之間的空間比例因數之後與當前色度樣本同位的區域。
在VVC參考軟體中，CC-ALF濾波器係數藉由最小化每個色度通道相對於原始色度內容的均方誤差來計算。為實現這一點，VTM（VVC測試模型）演算法使用一種處理，該處理類似於用於色度ALF的係數推導。具體而言，相關矩陣被導出，並係數使用Cholesky分解求解器進行計算以嘗試最小化均方誤差度量。在設計濾波器時，每張圖片最多可以設計和傳輸8個CC-ALF濾波器。然後生成的濾波器在CTU的基礎上被指示用於兩個色度通道中的每一個通道。
CC-ALF的其他特徵包括： ˙該設計使用帶有8個濾波器的3x4菱形。 ˙七個濾波器係數在APS中傳輸。 ˙每個傳輸的係數都有6位元動態範圍，以及被限於2的冪值。 ˙第八濾波器係數在解碼器處導出，使得濾波器係數之和等於0。 ˙APS可以在片段標頭中參考。 ˙CC-ALF濾波器選擇在每個色度分量的CTU級進行控制。 ˙水平虛擬邊界的邊界填充使用與亮度ALF相同的記憶體存取模式。
作為額外特徵，參考編碼器可以被配置為藉由設定檔實現一些基本的主觀調諧。啟用後，VTM會減弱CC-ALF在使用高QP進行編解碼且接近中灰或包含大量亮度高頻的區域中的應用。從演算法上講，這是藉由在滿足以下任一條件為真的CTU中禁用CC-ALF應用來實現： ˙片段QP值減去1小於或等於基本QP值。 ˙局部對比度大於（1 ＜＜ (bitDepth – 2 ) ) – 1的色度樣本數量超過CTU高度，其中局部對比度是濾波器支援區域內最大和最小亮度樣本值之間的差值。 ˙超過四分之一的色度樣本在(1 ＜＜ ( bitDepth – 1 ) ) – 16和( 1 ＜＜ ( bitDepth–1) )+16之間的範圍內。
此功能的動機是提供一些保證，即CC-ALF不會放大解碼路徑中較早引入的偽影（這主要是由於VTM當前未明確對色度主觀品質進行優化的事實）。 預計可選編碼器實現可以不使用此功能或引入適合其編碼特性的可選策略。
濾波器參數發送
ALF濾波器參數在適應性參數集（Adaptive Parameter Set，簡稱APS）中發送。在一個APS中，最多可以發送25組亮度濾波器係數和裁剪值索引，以及最多可以發送8組色度濾波器係數和裁剪值索引。為了減少位元開銷，亮度分量的不同類別的濾波器係數可以被合併。在片段標頭中，用於當前片段的APS的索引被發送。
從APS解碼的裁剪值索引允許使用亮度和色度分量的裁剪值表來決定裁剪值。這些裁剪值取決於內部位元深度。更準確地說，裁剪值藉由以下公式獲得： AlfClip B等於內部位元深度，α是預定的常量值，等於2.35，N等於4，這是VVC中允許的裁剪值的數量。然後AlfClip被四捨五入到最接近的值，其格式為2的冪。
在片段標頭中，最多7個APS索引被發送以指定用於當前片段的亮度濾波器集合。濾波處理可以在CTB級別被進一步控制。標誌始終被發出以指示ALF是否應用於亮度CTB。亮度CTB可以在16個固定濾波器集合和APS的濾波器集合中選擇一個濾波器集合。濾波器集合索引被發送用於亮度CTB，以指示哪個濾波器集合被應用。16個固定濾波器集合在編碼器和解碼器中都是被預先定義和硬編解碼。
對於色度分量，APS索引在片段標頭中發送以指示用於當前片段的色度濾波器集合。在CTB級別，如果APS中設置多於一個色度濾波器集合，則對每個色度CTB發送一個濾波器索引。
濾波器係數用等於128的範數（norm）量化。為了限制乘法複雜度，位元流一致性被應用使得非中心位置的系數值應在-2 7至2 7-1的範圍內，包括端點。中心位置係數未在位元流中發送，並被視為等於128。
增強壓縮模型（ Enhanced Compression Model ，簡稱 ECM ）中的適應性環路濾波器
可選 2x2 ALF 帶分類器
ALF中的分類藉由額外的可選帶分類器（band classifier）來擴展。對於發送的亮度濾波器集合，標誌被發送以指示可選分類器是否被應用。幾何變換不被應用於可選帶分類器。當基於帶的分類器被應用時，首先2x2亮度塊的樣本值之和被計算。然後類別索引被計算如下： class_index = (sum * 25) ＞＞ (sample bit depth + 2).
ALF 簡化
ALF梯度子採樣和ALF虛擬邊界處理被去除。用於分類的塊大小從4x4減少到2x2。發出ALF係數訊號的亮度和色度的濾波器大小被增加到9x9。
具有固定濾波器的 AL F
為了對亮度樣本濾波，三個不同的分類器（C 0、C 1和C 2）和三組不同的濾波器集合（F 0、F 1和F 2）被使用。集合F 0和F 1包含固定濾波器，具有對分類器C 0和C 1訓練的係數。F 2中的濾波器係數被發送。給定樣本使用集合F i中的哪個濾波器由使用分類器C i分配給該樣本的類別C i決定。
濾波
首先，兩個13x13菱形固定濾波器F 0和F 1被用來導出兩個中間樣本R0 (x,y)和R1 (x,y)。之後，F 2被應用於R 0(x,y)、R 1(x,y)和相鄰樣本以導出濾波後的樣本為： 其中 f i, j 是相鄰樣本和當前樣本R(x,y)之間的裁剪差，g i是R i-20(x,y)和當前樣本之間的裁剪差。濾波器係數c i（i=0,…21）被發送。
分類
基於方向性D i和活動 ，類別C i被分配給每個2x2塊： , 其中M D,i表示方向性的總數D i。
如在VVC中一樣，使用1-D拉普拉斯運算元對每個樣本計算水平、垂直和兩個對角的梯度值。覆蓋目標2×2塊的4×4視窗內的樣本梯度之和用於分類器C 0，12×12視窗內的樣本梯度之和用於分類器C 1和C 2。水平、垂直和兩個對角的梯度值的總和分別表示為 , , 和 。方向性𝐷 𝑖藉由比較以下值和閾值的集合而被決定： 方向性D 2與VVC中一樣使用閾值2和4.5導出。對於D 0和D 1， 水平/垂直邊緣強度 。閾值T h=[1.25,1.5,2,3,4.5,8]被使用。如果 ，邊緣強度 為0；否則， 是滿足 的最大整數。如果 ，邊緣強度 為0；否則， 是滿足 .的最大整數。當 ，即水平/垂直邊緣佔優勢時，D i使用表2A導出；否則，對角線邊緣佔優勢，D i使用表2B導出。 表 2A . 和 到 D i 的映射
  0 1 2 3 4 5 6
0 0 0 0 0 0 0 0
1 1 2 0 0 0 0 0
2 3 4 5 0 0 0 0
3 6 7 8 9 0 0 0
4 10 11 12 13 14 0 0
5 15 16 17 18 19 20 0
6 21 22 23 24 25 26 27
表2B. 和 到 的映射
  0 1 2 3 4 5 6
0 28 0 0 0 0 0 0
1 29 30 0 0 0 0 0
2 31 32 33 0 0 0 0
3 34 35 36 37 0 0 0
4 38 39 40 41 42 0 0
5 43 44 45 46 47 48 0
6 49 50 51 52 53 54 55
為了獲得 ，將垂直和水平梯度A i的總和映射到0到n的範圍，其中對於 ，n等於4，對於 和 ，n等於15。
在ALF_APS中，最多4個亮度濾波器集合被發送，每個組可具有最多25個濾波器。
在本發明中，改進ALF性能的技術公開如下。
具有可選幾何變換的 ALF
ALF中的幾何變換重新組織相鄰樣本差值，以潛在地使統計資料更加一致，這有利於導出更通用的適應性濾波器。對於ECM中的ALF設計（Muhammed Coban, et al., “Algorithm description of Enhanced Compression Model 5 (ECM 5)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 26th Meeting, by teleconference, 20–29 April 2022, Document: JVET-Z2025），適應性濾波器可以藉由選擇新引入的帶分類器來選擇不應用幾何變換，以及此修改顯示BD速率增益，表明當前幾何變換設計有時可能並不有效。因此，在本發明中，一些新的幾何變換類型被公開。
使用相鄰重新排序的幾何變換
在傳統的幾何變換中，根據對塊導出的梯度資訊，不同的ALF可以藉由對原始ALF進行幾何變換（例如對角、垂直或水平旋轉）來導出。換句話說，藉由幾何變換的多個ALF可用於梯度幾何變換（geometric transformation by gradient）。在本發明中，多種幾何變換包括傳統的梯度幾何變換。在一個實施例中，濾波器係數的幾何變換取決於排序的相鄰差值。例如，對於i=0,…,11，首先我們計算 (I i--I c)+(I i+-I c)，其中I x表示位置x的樣本值。第5圖示出x位置的示例（即i-和i+，其中i=0,…,11）。如第5圖所示，ALF濾波器具有覆蓋範圍（本例中為7x7菱形），用於覆蓋濾波處理中選定的相鄰樣本。在本公開中，覆蓋區域中的相鄰樣本被稱為濾波器樣本。然後，對於差值最小的位置，濾波器係數被設置為C0； 對於差值次小的位置，濾波器係數被設置為C1；其餘係數依此類推。最後，對於差值最大的位置，濾波器係數被設置為C11。
在上述實施例中，相鄰差值計算可以根據以下值之一進行排序： （1） . （2） . （3） . （4） , , .
在上述等式中，它們都與兩個基本項相關，即(I i--I c)和(I i+-I c)，分別被稱為第一樣本差值和第二樣本差值（位於i-和i+處的樣本對相對於C處當前待濾波樣本的差值）。
在上述實施例中，排序順序可以是上升順序（即，C0為最小的一個）或下降順序（即，C0為最大的一個）。因此，對於給定的ALF係數集合（例如C0、C1、…、C11），多個ALF可以根據相鄰差值重排序導出。換句話說，這種相鄰差值重排序生成根據本發明的新型幾何變換。
在一個實施例中，濾波器形狀中的僅部分係數被重新排序或變換。例如，僅濾波器形狀中的中心3x3係數（例如，C5、C6、C7、C11）相應地旋轉。 在另一示例中，僅濾波器形狀中的中心5x5係數（例如，C5、C6、C7、C11、C1、C4、C10、C8）被變換。在另一示例中，僅位於外部區域中的係數（例如，C0、C1、C3、C4、C8、C9）被旋轉。
在一個實施例中，在幾何變換中支持旋轉預定義度數。例如，如果垂直梯度之和是所有方向中最大的，則濾波器係數沿順時針方向旋轉90度。如果45度梯度之和為所有方向中最大的，則濾波器係數沿順時針方向旋轉45度，如第6A圖和第6B圖所示。
如果135度梯度之和是所有方向中最大的，則濾波器係數沿順時針方向旋轉135度。在另一示例中，根據水平和垂直梯度計算更多的方向（例如8個方向），並且相應地旋轉係數。在一個實施例中，旋轉的濾波器形狀可以彼此不同。在另一實施例中，僅一部分係數被旋轉，以便在不同旋轉情況下保持相同的濾波器形狀。第7圖所示為一個示例，其中除了頂部、底部、最左和最右4個位置外，濾波器逆時針旋轉90度，同時保持ALF覆蓋區域與原始覆蓋區域相同。
注意，7x7濾波器形狀被用作示例來說明根據本發明實施例的幾何變換。然而，本發明不限於該特定的濾波器形狀。相反，本發明可以應用於任一ALF濾波器形狀。
語法設計
如上所述，一種新的幾何變換被公開。因此，幾何變換有更多的選擇。在一個實施例中，對每個APS發送（在編碼器側）或解析（在解碼器側）索引，該索引指示在多個幾何變換中使用哪個幾何變換。在另一實施例中，每個濾波器集合具有一個索引，該索引被發送或解析以指示要使用哪個幾何變換。在另一實施例中，每個類具有一個索引，該索引被發送或解析以指示要使用哪種幾何變換。
在另一實施例中，用於指示使用多個幾何變換之中的哪個幾何變換的索引可以從分類器的選擇中推斷出。例如，對於梯度分類器，總是使用梯度幾何變換，或者對於帶分類器，總是使用基於鄰近重排序的幾何變換。
上述用於環路濾波器的方法中的任一可以在編碼器和/或解碼器中實現。例如，所提出的方法中的任一可以在編碼器或解碼器的環路濾波器模組（例如第1A圖和第1B圖中的ILPF 130）中實現。或者，所提出的方法中的任一都可以實現為耦合到編碼器的幀間編解碼模組和/或解碼器的運動補償模組，合併候選推導模組的電路。ALF方法還可以使用存儲在介質（例如硬碟或快閃記憶體）上的可執行軟體或韌體代碼來實現，用於中央處理單元（Central Processing Unit，簡稱CPU）或可程式設計設備（例如數位訊號處理器（Digital Signal Processor，簡稱DSP）或現場可程式設計閘陣列（Field Programmable Gate Array，簡稱FPGA））。
第8圖示出根據本發明實施例的基於相鄰差值對ALF係數重新排序的示例視訊編解碼系統的流程圖。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器（例如，一個或多個CPU）上可執行的程式碼。流程圖中所示的步驟還可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟810中，重構像素被接收，其中重構像素包括當前塊中的當前重構像素。在步驟820中，當前塊中的重構像素中的當前待濾波樣本以及當前待濾波樣本周圍的濾波器樣本集合被決定。在步驟830中，至少部分濾波器樣本集合的差值測量被導出，每個差值測量與相應濾波器樣本對和當前待濾波樣本之間的樣本差值相關，以及該相應濾波器樣本對相對於當前待濾波樣本對稱地設置。在步驟840中，根據差值測量，至少部分ALF係數集合被分配給至少部分濾波器樣本集合。在步驟850中，藉由將具有至少部分ALF係數集合的ALF應用到當前待濾波樣本來導出濾波輸出樣本。在步驟860中，濾波輸出樣本被提供。如第1A圖和第1B圖所示，ALF處理後的樣本可以存儲在參考圖片緩衝器中以形成對後續視訊資料的預測。在解碼器側，經過ALF處理的樣本可以被容易地提供以形成解碼視訊。
第9圖示出根據本發明實施例的使用索引從幾何變換集合中選擇目標幾何變換的示例視訊編解碼系統的流程圖。根據該方法，在步驟910中，重構像素被接收，其中重構像素包括當前塊中的當前重構像素。在步驟920中，根據索引從幾何變換集合中決定目標幾何變換。在步驟930中，濾波塊藉由將目標幾何變換應用於當前重構像素來導出。在步驟940中，濾波輸出樣本被提供。如第1A圖和第1B圖所示，ALF處理後的樣本可以存儲在參考圖片緩衝器中以形成對後續視訊資料的預測。在解碼器側，經過ALF處理的樣本可以被容易地提供以形成解碼視訊。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，本領域技術人員可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明，而不背離本發明的精神。
呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，為了提供對本發明的透徹理解，說明瞭各種具體細節。然而，本領域的技術人員將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器（Digital Signal Processor，簡稱DSP）上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）執行的許多功能。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式，風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不背離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:環路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210:5×5菱形 220:7×7菱形 410:SAO亮度 412:SAO Cb 414:SAO Cr 420:ALF亮度 422:CC-ALF Cb 424:CC-ALF Cr 430:ALF色度 432:加法器 434:加法器 440:濾波器 442:濾波器 810、820、830、840、850、860:步驟 910、920、930、940:步驟
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。 第1B圖示出與第1A圖中的編碼器對應的解碼器。 第2圖示出色度（左）和亮度（右）分量的ALF濾波器形狀。 第3A-D圖示出g v(3A)、g h(3B)、g d1(3C)和g d2(3D)的子採樣拉普拉斯運算元（subsampled Laplacian calculations）計算。 第4A圖示出CC-ALF 相對於其他環路濾波器的佈置。 第4B圖示出用於色度樣本的菱形濾波器。 第5圖示出根據本發明的實施例相鄰樣本位置的示例，該相鄰樣本位置用於導出用於ALF濾波器係數重新排序的相鄰差值。 第6A圖示出將第5圖中的ALF濾波器順時針旋轉45度的示例。 第6B圖示出將第5圖中的ALF濾波器順時針旋轉45度的示例。 第7圖示出僅旋轉濾波器的部分ALF係數的示例。 第8圖示出根據本發明實施例的基於相鄰差值對ALF係數重新排序的示例視訊編解碼系統的流程圖。 第9圖示出根據本發明實施例的使用索引從幾何變換集合中選擇目標幾何變換的示例視訊編解碼系統的流程圖。
810、820、830、840、850、860:步驟

Claims (18)

  1. 一種用於重構視訊的適應性環路濾波器處理方法，該方法包括： 接收多個重構像素，其中，該等重構像素包括一當前塊中的多個當前重構像素； 決定該當前塊中的該等重構像素中的一當前待濾波樣本以及該當前待濾波樣本周圍的一濾波樣本集合； 導出該濾波器樣本集合中的至少一部分的多個差值測量，其中每個差值測量與一相應濾波器樣本對和該當前待濾波樣本之間的多個樣本差值相關，以及該相應濾波器樣本對相對於當前待濾波樣本對稱地設置； 根據該等差值測量將一適應性環路濾波器係數集合的至少一部分分配給該濾波器樣本集合的該至少一部分； 藉由將具有該適應性環路濾波器係數集合的該至少一部分的一適應性環路濾波器應用於該當前待濾波樣本來導出一濾波輸出樣本；以及 提供該濾波輸出樣本。
  2. 如請求項1所述之用於重構視訊的適應性環路濾波器處理方法，其中，根據該等差值測量的一上升順序，該適應性環路濾波器係數集合的該至少一部分被分配給該濾波器樣本集合中的該至少一部分。
  3. 如請求項1所述之用於重構視訊的適應性環路濾波器處理方法，其中，根據該等差值測量的一下降順序，該適應性環路濾波器係數集合的該至少一部分被分配給該濾波器樣本集合中的該至少一部分。
  4. 如請求項1所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等差值測量中的每個差值測量包括一第一項和一第二項，該第一項與該相應濾波器樣本對中的一第一樣本與該當前待濾波樣本之間的一第一樣本差值相關，以及該第二項與該相應濾波器樣本對中的一第二樣本與該當前待濾波樣本之間的一第二樣本差值相關。
  5. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等差值測量中的每個差值測量對應於該第一樣本差值和該第二樣本差值的和。
  6. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等差值測量中的每個差值測量對應於該第一樣本差值的一絕對值與該第二樣本差值的一絕對值之和。
  7. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等差值測量中的每個差值對應於該第一樣本差值和該第二樣本差值之和的一絕對值。
  8. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等差值測量中的每個差值對應於裁剪的一第一樣本差值與裁剪的一第二樣本差值的和。
  9. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等差值測量中的每個差值對應於裁剪的該第一樣本差值的一絕對值與裁剪的該第二樣本差值的一絕對值之和。
  10. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等差值測量中的每個差值對應於裁剪的該第一樣本差值與裁剪的該第二樣本差值之和的一絕對值。
  11. 如請求項1所述之用於重構視訊的適應性環路濾波器處理方法，其中，該濾波器樣本集合的該至少一部分與該濾波器樣本集合相同。
  12. 如請求項1所述之用於重構視訊的適應性環路濾波器處理方法，其中，該濾波器樣本集合的該至少一部分少於該濾波器樣本集合。
  13. 一種用於重構視訊的適應性環路濾波器處理裝置，該裝置包括一個或多個電子電路或處理器，被佈置為： 接收多個重構像素，其中，該等重構像素包括一當前塊中的多個當前重構像素； 決定該當前塊中的該等重構像素中的一當前待濾波樣本以及該當前待濾波樣本周圍的一濾波樣本集合； 導出該濾波器樣本集合中的至少一部分的多個差值測量，其中每個差值測量與一相應濾波器樣本對和該當前待濾波樣本之間的多個樣本差值相關，以及該相應濾波器樣本對相對於當前待濾波樣本對稱地設置； 根據該等差值測量將一適應性環路濾波器係數集合的至少一部分分配給該濾波器樣本集合的該至少一部分； 藉由將具有該適應性環路濾波器係數集合的該至少一部分的一適應性環路濾波器應用於該當前待濾波樣本來導出一濾波輸出樣本；以及 提供該濾波輸出樣本。
  14. 一種用於重構視訊的適應性環路濾波器處理方法，該方法包括： 接收多個重構像素，其中，該等重構像素包括一當前塊中的多個當前重構像素； 根據一索引從一幾何變換集合中決定一目標幾何變換； 藉由將該目標幾何變換應用於該等當前重構像素來導出一濾波塊；以及 提供該濾波塊。
  15. 如請求項14所述之用於重構視訊的適應性環路濾波器處理方法，該索引基於每個應用參數集合，濾波器集合或分類來發送或解析。
  16. 如請求項14所述之用於重構視訊的適應性環路濾波器處理方法，該索引基於所選擇的一目標適應性環路濾波器分類器來推斷。
  17. 如請求項16所述之用於重構視訊的適應性環路濾波器處理方法，其中，響應於選擇的該目標適應性環路濾波器分類器為一梯度分類器，該目標幾何變換對應於一梯度幾何變換。
  18. 如請求項16所述之用於重構視訊的適應性環路濾波器處理方法，其中，響應於選擇的該目標適應性環路濾波器分類器為一帶分類器，該目標幾何變換對應於一基於相鄰重新排序的幾何變換。
TW112126396A 2022-07-20 2023-07-14 用於重構視訊的適應性環路濾波器處理方法和裝置 TW202406337A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263368903P 2022-07-20 2022-07-20
US63/368,903 2022-07-20
WOPCT/CN2023/103572 2023-06-29
PCT/CN2023/103572 WO2024016983A1 (en) 2022-07-20 2023-06-29 Method and apparatus for adaptive loop filter with geometric transform for video coding

Publications (1)

Publication Number Publication Date
TW202406337A true TW202406337A (zh) 2024-02-01

Family

ID=89617019

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112126396A TW202406337A (zh) 2022-07-20 2023-07-14 用於重構視訊的適應性環路濾波器處理方法和裝置

Country Status (2)

Country Link
TW (1) TW202406337A (zh)
WO (1) WO2024016983A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095922B2 (en) * 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
KR20210117327A (ko) * 2019-01-25 2021-09-28 미디어텍 인크. 비디오 코딩에서 비선형 적응적 루프 필터링을 위한 방법 및 장치
TWI739386B (zh) * 2019-04-11 2021-09-11 聯發科技股份有限公司 具有適應性參數集之適應性迴路濾波器
US11778177B2 (en) * 2020-12-23 2023-10-03 Qualcomm Incorporated Adaptive loop filter with fixed filters

Also Published As

Publication number Publication date
WO2024016983A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
TWI678917B (zh) 用於視訊編解碼的畫面內-畫面間預測的方法及裝置
KR101752612B1 (ko) 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법
TWI634777B (zh) 搜索參考區塊的方法
CN109845266B (zh) 用以移除涟漪效应的平滑化滤波方法和装置
KR20190015216A (ko) 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
US11882276B2 (en) Method and apparatus for signaling adaptive loop filter parameters in video coding
US20220021895A1 (en) Method and device for video coding using various transform techniques
JP2024026154A (ja) クロス成分適応ループフィルタリングのためのサンプルパディング
JP2024020420A (ja) 適応ループフィルタリングのための境界位置
JP2024510710A (ja) 特徴マップ符号化対通常のビデオ符号化のためのツール選択
TW202406337A (zh) 用於重構視訊的適應性環路濾波器處理方法和裝置
TW202406336A (zh) 用於重構視訊的適應性環路濾波器處理方法和裝置
WO2024017010A1 (en) Method and apparatus for adaptive loop filter with alternative luma classifier for video coding
WO2024012168A1 (en) Method and apparatus for adaptive loop filter with virtual boundaries and multiple sources for video coding
WO2024016981A1 (en) Method and apparatus for adaptive loop filter with chroma classifier for video coding
WO2024017200A1 (en) Method and apparatus for adaptive loop filter with tap constraints for video coding
WO2024114810A1 (en) Method and apparatus for adaptive loop filter with fixed filters for video coding
WO2024088003A1 (en) Method and apparatus of position-aware reconstruction in in-loop filtering
WO2024067188A1 (en) Method and apparatus for adaptive loop filter with chroma classifiers by transpose indexes for video coding
WO2024055842A1 (en) Method and apparatus for adaptive loop filter with non-sample taps for video coding
WO2024082946A1 (en) Method and apparatus of adaptive loop filter sub-shape selection for video coding
WO2024082899A1 (en) Method and apparatus of adaptive loop filter selection for positional taps in video coding
WO2024012576A1 (en) Adaptive loop filter with virtual boundaries and multiple sample sources
TWI788268B (zh) 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式
WO2023193516A1 (en) Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system