TW202406336A - 用於重構視訊的適應性環路濾波器處理方法和裝置 - Google Patents

用於重構視訊的適應性環路濾波器處理方法和裝置 Download PDF

Info

Publication number
TW202406336A
TW202406336A TW112126235A TW112126235A TW202406336A TW 202406336 A TW202406336 A TW 202406336A TW 112126235 A TW112126235 A TW 112126235A TW 112126235 A TW112126235 A TW 112126235A TW 202406336 A TW202406336 A TW 202406336A
Authority
TW
Taiwan
Prior art keywords
sample
current
reconstructed
loop filter
adaptive loop
Prior art date
Application number
TW112126235A
Other languages
English (en)
Inventor
邱世鈞
徐志瑋
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202406336A publication Critical patent/TW202406336A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

使用非局部，高階或殘差抽頭的視訊編解碼方法和裝置被提供。根據一種方法，當前濾波輸出從當前塊中的當前樣本的ALF導出。ALF包括至少一個非局部輸入項，該非局部輸入項對應於適應性偏移前（pre-Sample Adaptive Offset，簡稱pre-SAO）重構樣本或一濾波器輸出，該適應性偏移前（pre-Sample Adaptive Offset，簡稱pre-SAO）重構樣本來自當前樣本和/或當前樣本的一個或多個相鄰樣本，該濾波器輸出來自固定濾波器集合之一的當前樣本和/或當前樣本的一個或多個相鄰樣本。根據另一種方法，ALF包括來自非相鄰塊的至少一個重構樣本。根據又一種方法，ALF包括至少一個殘差輸入項。

Description

用於重構視訊的適應性環路濾波器處理方法和裝置
本發明涉及使用適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）的視訊編解碼系統。具體地，本發明涉及使用非局部，高階或殘差抽頭的ALF。
多功能視訊編解碼（versatile video coding，簡稱VVC）是由ITU-T視訊編解碼專家組（Video Coding Experts Group，簡稱VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，簡稱MPEG）的聯合視訊專家組（Joint Video Experts Team，簡稱JVET）開發的最新國際視訊編解碼標準。該標準已作為ISO標準於2021年2月發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體的編解碼表示-第3部分：多功能視訊編解碼。VVC是基於其上一代高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）藉由添加更多的編解碼工具，來提高編解碼效率以及處理包括三維（3-dimensional，簡稱3D）視訊訊號在內的各種類型的視訊源。
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。對於幀內預測，​​預測資料基於當前圖片中先前編解碼的視訊資料得出。對於幀間預測112，運動估計（Motion Estimation，簡稱ME）在編碼器端執行以及運動補償（Motion Compensation，簡稱MC）基於ME的結果執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112，以及選擇的預測資料被提供至加法器116以形成預測誤差，也被稱為殘差。然後預測誤差由變換（Transform，簡稱T）118接著量化（Quantization，簡稱Q）120處理。然後經變換和量化的殘差由熵編碼器122進行編碼，以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流與輔助資訊（諸如與幀內預測和幀間預測相關聯的運動和編碼模式等輔助資訊）和其他資訊（與應用於底層圖像區域的環路濾波器相關聯的參數等）打包。如第1A圖所示，與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供至熵編碼器122。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端重構。因此，經變換和量化的殘差由逆量化（Inverse Quantization，簡稱IQ）124和逆變換（Inverse Transformation，簡稱IT）126處理以恢復殘差。然後殘差在重構（REC）128被加回到預測資料136以重構視訊資料。重構的視訊資料可被存儲在參考圖片緩衝器134中以及用於其他幀的預測。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重構視訊資料可能會受到各種損害。因此，在重構視訊資料被存儲在參考圖片緩衝器134中之前，環路濾波器130通常被應用於重構視訊資料，以提高視訊品質。例如，去塊濾波器（deblocking filter,簡稱DF）、樣本適應性偏移（Sample Adaptive Offset，簡稱SAO）和適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）可被使用。環路濾波器資訊可能需要被合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供至熵編碼器122以結合到位元流中。在第1A圖中，在重構樣本被存儲在參考圖片緩衝器134中之前，環路濾波器130被應用於重構的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例結構。它可以對應於高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）系統、VP8、VP9、H.264或VVC。
如第1B圖所示的解碼器可以使用與編碼器相似或部分相同的功能塊，除了變換118 和量化120，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122來將視訊位元流解碼為量化的變換係數和所需的編解碼資訊（例如，ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器端的幀內預測150不需要執行模式搜索。相反，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器只需要根據從熵解碼器140接收到的幀內預測資訊執行運動補償（MC 152）無需運動估計。
根據VVC，輸入圖片被劃分為稱為編解碼樹單元（Coding Tree unit，簡稱CTU）的非重疊方形塊區域，類似於HEVC。每個CTU可被劃分為一個或多個較小尺寸的編解碼單元（coding unit，簡稱CU）。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元（prediction unit，簡稱PU）作為一個單元來應用預測處理，例如幀間預測、幀內預測等。
在本發明中，針對VVC之外的新興視訊編解碼開發，具有諸如非局部，高階或殘差抽頭的擴展濾波器輸入的環路濾波器（例如，適應性環路濾波器（Adaptive Loop Filter，簡稱ALF））被揭露。
一種使用適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）進行視訊編解碼的方法和裝置被公開。根據該方法，包括當前塊的重構像素被接收。當前濾波輸出源自當前塊中當前樣本的ALF，其中ALF包括至少一個非局部輸入項，該至少一個非局部輸入項對應於樣本適應性偏移前（pre-Sample Adaptive Offset，簡稱pre-SAO）重構樣本或濾波器輸出，該樣本適應性偏移前重構樣本來自當前樣本和/或當前樣本的一個或多個相鄰樣本，該濾波器輸出來自固定濾波器集合之一的當前樣本和/或當前樣本的一個或多個相鄰樣本。已濾波重構像素被提供，其中已濾波重構像素包括當前濾波輸出。
在一個實施例中，一個或多個標誌在位元流中發送以指示與該至少一個非局部輸入項相關聯的環路濾波級的位置。
根據另一種方法，對當前塊中的當前樣本導出來自ALF的當前濾波輸出，其中ALF包括至少一個非局部輸入項，該至少一個非局部輸入項來自相應當前樣本和/或一個或多個非緊鄰（non-adjacent）塊中相應當前樣本的一個或多個相鄰樣本。
在一個實施例中，當前塊與所述一個或多個非緊鄰的相鄰塊（non-adjacent neighbouring block）之間的相似度被分別決定，其中該至少一個非局部輸入項選自N個相似度最高的塊，N為正整數。在另一實施例中，所述一個或多個非緊鄰的相鄰塊來自當前塊的邊界框。在又一實施例中，多個相似度根據當前塊和所述一個或多個非緊鄰的相鄰塊的ALF分類結果來測量。
在一個實施例中，所述至少一個非局部輸入項對應於樣本適應性偏移前（pre-SAO）重構樣本或濾波器輸出，該樣本適應性偏移前（pre-SAO）重構樣本來自相應當前樣本的和/或一個或多個非緊鄰的相鄰塊中相應當前樣本的所述一個或多個相鄰樣本，以及該濾波器輸出來自固定濾波器集合之一的相應當前樣本和/或所述一個或多個非緊鄰的相鄰塊中的相應當前樣本的所述一個或多個相鄰樣本。
根據又一方法，對當前塊中的當前樣本導出來自ALF的當前濾波輸出，其中ALF包括至少一個殘差輸入項，該至少一個殘差輸入項與當前樣本的重構殘差樣本和/或一個或多個相鄰的重構殘差樣本相關。
在一個實施例中，所述至少一個殘差輸入項對應於當前樣本的重構殘差樣本和/或所述一個或多個相鄰重構殘差樣本。在另一實施例中，所述至少一個殘差輸入項使用當前樣本的重構殘差樣本和/或所述一個或多個相鄰重構殘差樣本和預定值。在一個實施例中，僅當當前樣本的重構殘差樣本和/或所述一個或多個相鄰重構殘差樣本是非零時，預定值才被用作所述至少一個殘差輸入項。在另一實施例中，如果當前樣本的重構殘差樣本和所述一個或多個相鄰重構殘差樣本都不為非零，則預定值被用作所述至少一個殘差輸入項。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。
此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實施本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明瞭與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。
VVC 中的適應性環路濾波器
在VVC中，具有基於塊的濾波器自我調整的適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）。對於亮度分量，根據局部梯度的方向和活動，從每個4×4塊的25個濾波器中選擇一個濾波器。
濾波器形狀
兩個菱形濾波器形狀（如第2圖所示）被使用。7×7菱形220應用於亮度分量，5×5菱形210應用於色度分量。
塊分類
對於亮度分量，每個4×4塊被分類為25個類中的一個。分類索引C根據其方向性 D和活動 的量化值導出，如下所示：
為了計算D和 ，水平、垂直和兩個對角線方向的梯度首先使用一維拉普拉斯運算元進行計算： 其中索引 i和 j指的是4×4塊內左上樣本的座標， R( i, j)表示座標( i, j)處的重構樣本。
為了降低塊分類的複雜性，子採樣的一維拉普拉斯計算應用於垂直方向（第3A圖）和水平方向（第3B圖）。如第3C-D圖所示，相同的子採樣位置用於所有方向的梯度計算（第3C圖中的 g d1 和第3D圖中的 g d2 ）。
則水平方向和垂直方向梯度的D最大值和最小值被設置為： ,
兩個對角方向的梯度的最大值和最小值被設置為: , .
為了導出方向性 D的值，這些值相互比較並與兩個閾值 t 1 和 t 2 進行比較： 步驟 1. 如果 以及 為真, 被設置為 。 步驟 2. 如果 , 從步驟3繼續；否則從步驟4繼續。 步驟 3. 如果 , 被設置為 ；否則 被設置為 。 步驟 4. 如果 , 被設置為 ；否則 被設置為 。
活性值A計算如下：
A被進一步量化到0到4的範圍內，包括0到4，以及量化值被表示為 。
對於圖片中的色度分量，不應用分類。
濾波器係數和裁剪值（ clipping value ） 的幾何變換
在過濾每個4×4亮度塊之前，根據對該塊計算的梯度值，旋轉或對角線和垂直翻轉等幾何變換被應用於濾波器係數 f( k, l)和相應的濾波器裁剪值 c( k, l)。
三種幾何變換，包括對角線、垂直翻轉和旋轉被引入： 對角線: 垂直翻轉: , , 旋轉: , , 其中K是濾波器的大小，0≤k,l≤K-1是係數座標，這樣位置(0,0)在左上角，位置(K-1,K-1)在右下角。根據對該塊計算的梯度值，變換被應用於濾波器係數 f( k, l) 和裁剪值 c( k, l)。變換與四個方向的四個梯度的關係總結如下表。 表 1. 對一個塊計算的梯度映射和變換
梯度值 變換
g d2＜ g d1and g h＜ g v 無變換
g d2＜ g d1and g v＜ g h 對角線
g d1＜ g d2and g h＜ g v 垂直翻轉
g d1＜ g d2and g v＜ g h 旋轉
濾波處理
在解碼器端，當ALF被啟用於CTB時，CU內的每個樣本 R( i, j)都會被濾波，從而產生如下所示的樣本值 R'( i, j)， 其中 f( k, l)表示解碼後的濾波器係數， K( x, y)是裁剪函數， c( k, l)表示解碼後的裁剪參數。變數k和l在–L/2和L/2之間變化，其中 L表示濾波器長度。對應函數Clip3 (-y,y,x)的裁剪函數 。裁剪操作引入非線性，藉由減少與當前樣本值相差太大的相鄰樣本值的影響，使ALF更有效。
交叉分量適應性環路濾波器
CC-ALF使用亮度樣本值藉由將適應性線性濾波器應用於亮度通道，然後使用該濾波操作的輸出進行色度細化來細化每個色度分量。第4A圖提供了關於SAO，亮度ALF和色度ALF處理的CC-ALF處理的系統級圖。如第4A圖所示，每個顏色分量（即Y、Cb和Cr）由其各自的SAO（即SAO亮度410、SAO Cb 412 和SAO Cr 414）處理。在SAO之後，ALF亮度420應用於經SAO處理後的亮度，ALF色度430應用於經SAO處理後的Cb和Cr。但是，存在從亮度到色度分量的交叉分量項（即CC-ALF Cb 422和CC-ALF Cr 424）。來自交叉分量ALF的輸出被添加（分別使用加法器432和434）到來自ALF色度430的輸出。
CC-ALF中的濾波藉由將線性菱形濾波器（例如第4B圖中的濾波器440和442）應用於亮度通道來實現。在第4B圖中，空白圓圈表示亮度樣本而圓點填充圓圈表示色度樣本。每個色度通道使用一個濾波器，其操作被表示為： 其中( x, y)是被細化的色度分量 i位置，( x Y , y Y )是基於(x,y)的亮度位置， S i 是亮度分量中的濾波器支援區域， c i ( x 0 , y 0 )代表濾波器係數。
如第4B圖所示，亮度濾波器支援（luma filter support）是在考慮了亮度和色度平面之間的空間比例因數之後與當前色度樣本同位的區域。
在VVC參考軟體中，CC-ALF濾波器係數藉由最小化每個色度通道相對於原始色度內容的均方誤差來計算。為實現這一點，VTM（VVC測試模型）演算法使用一種處理，該處理類似於用於色度ALF的係數推導。具體而言，相關矩陣被導出，並係數使用Cholesky分解求解器進行計算以嘗試最小化均方誤差度量。在設計濾波器時，每張圖片最多可以設計和傳輸8個CC-ALF濾波器。然後生成的濾波器在CTU的基礎上被指示用於兩個色度通道中的每一個通道。
CC-ALF的其他特徵包括： ˙該設計使用帶有8個抽頭的3x4菱形。 ˙七個濾波器係數在APS中傳輸。 ˙每個傳輸的係數都有6位元動態範圍，以及被限於2的冪值。 ˙第八濾波器係數在解碼器處導出，使得濾波器係數之和等於0。 ˙APS可以在片段報頭中參考。 ˙CC-ALF濾波器選擇在每個色度分量的CTU級進行控制。 ˙水平虛擬邊界的邊界填充使用與亮度ALF相同的記憶體存取模式。
作為額外特徵，參考編碼器可以被配置為藉由設定檔實現一些基本的主觀調諧。啟用後，VTM會減弱CC-ALF在使用高QP進行編解碼且接近中灰或包含大量亮度高頻的區域中的應用。從演算法上講，這是藉由在滿足以下任一條件為真的CTU中禁用CC-ALF應用來實現： ˙片段QP值減去1小於或等於基本QP值。 ˙局部對比度大於（1 ＜＜ (bitDepth – 2 ) ) – 1的色度樣本數量超過CTU高度，其中局部對比度是濾波器支援區域內最大和最小亮度樣本值之間的差值。 ˙超過四分之一的色度樣本在(1 ＜＜ ( bitDepth – 1 ) ) – 16和( 1 ＜＜ ( bitDepth–1) )+16之間的範圍內。
此功能的動機是提供一些保證，即CC-ALF不會放大解碼路徑中較早引入的偽影（這主要是由於VTM當前未明確對色度主觀品質進行優化的事實）。 預計可選編碼器實現可以不使用此功能或引入適合其編碼特性的可選策略。
濾波器參數發送
ALF濾波器參數在適應性參數集（Adaptive Parameter Set，簡稱APS）中發送。在一個APS中，最多可以發送25組亮度濾波器係數和裁剪值索引，以及最多可以發送8組色度濾波器係數和裁剪值索引。為了減少位元開銷，亮度分量的不同類別的濾波器係數可以被合併。在片段報頭中，用於當前片段的APS的索引被發送。
從APS解碼的裁剪值索引允許使用亮度和色度分量的裁剪值表來決定裁剪值。這些裁剪值取決於內部位元深度。更準確地說，裁剪值藉由以下公式獲得： AlfClip B等於內部位元深度，α是預定的常量值，等於2.35，N等於4，這是VVC中允許的裁剪值的數量。然後AlfClip被四捨五入到最接近的值，其格式為2的冪。
在片段報頭中，最多7個APS索引被發送以指定用於當前片段的亮度濾波器集合。濾波處理可以在CTB級別被進一步控制。標誌始終被發出以指示ALF是否應用於亮度CTB。亮度CTB可以在16個固定濾波器集合和APS的濾波器集合中選擇一個濾波器集合。濾波器集合索引被發送用於亮度CTB，以指示哪個濾波器集合被應用。16個固定濾波器集合在編碼器和解碼器中都是被預先定義和硬編解碼。
對於色度分量，APS索引在片段報頭中發送以指示用於當前片段的色度濾波器集合。在CTB級別，如果APS中設置多於一個色度濾波器集合，則對每個色度CTB發送一個濾波器索引。
濾波器係數用等於128的範數（norm）量化。為了限制乘法複雜度，位元流一致性被應用使得非中心位置的系數值應在-2 7至2 7-1的範圍內，包括端點。中心位置係數未在位元流中發送，並被視為等於128。
增強壓縮模型（ Enhanced Compression Model ，簡稱 ECM ）中的適應性環路濾波器
ALF 簡化
ALF梯度子採樣和ALF虛擬邊界處理被去除。用於分類的塊大小從4x4減少到2x2。發出ALF係數訊號的亮度和色度的濾波器大小被增加到9x9。
具有固定濾波器的 AL F
為了對亮度樣本濾波，三個不同的分類器（C 0、C 1和C 2）和三組不同的濾波器集合（F 0、F 1和F 2）被使用。集合F 0和F 1包含固定濾波器，具有對分類器C 0和C 1訓練的係數。F 2中的濾波器係數被發送。給定樣本使用集合F i中的哪個濾波器由使用分類器C i分配給該樣本的類別C i決定。
濾波
首先，兩個13x13菱形固定濾波器F 0和F 1被用來導出兩個中間樣本R0 (x,y)和R1 (x,y)。之後，F 2被應用於R 0(x,y)、R 1(x,y)和相鄰樣本以導出濾波後的樣本為： 其中 f i, j 是相鄰樣本和當前樣本R(x,y)之間的裁剪差，g i是R i-20(x,y)和當前樣本之間的裁剪差。濾波器係數c i（i=0,…21）被發送。
分類
基於方向性D i和活動 ，類別C i被分配給每個2x2塊： , 其中M D,i表示方向性的總數D i。
如在VVC中一樣，使用1-D拉普拉斯運算元對每個樣本計算水平、垂直和兩個對角的梯度值。覆蓋目標2×2塊的4×4視窗內的樣本梯度之和用於分類器C 0，12×12視窗內的樣本梯度之和用於分類器C 1和C 2。水平、垂直和兩個對角的梯度值的總和分別表示為 , , 和 。方向性𝐷 𝑖藉由比較以下值和閾值的集合而被決定： 方向性D 2與VVC中一樣使用閾值2和4.5導出。對於D 0和D 1， 水平/垂直邊緣強度 。閾值T h=[1.25,1.5,2,3,4.5,8]被使用。如果 ，邊緣強度 為0；否則， 是滿足 的最大整數。如果 ，邊緣強度 為0；否則， 是滿足 .的最大整數。當 ，即水平/垂直邊緣佔優勢時，D i使用表2A導出；否則，對角線邊緣佔優勢，D i使用表2B導出。 表 2A . 和 到 D i 的映射
  0 1 2 3 4 5 6
0 0 0 0 0 0 0 0
1 1 2 0 0 0 0 0
2 3 4 5 0 0 0 0
3 6 7 8 9 0 0 0
4 10 11 12 13 14 0 0
5 15 16 17 18 19 20 0
6 21 22 23 24 25 26 27
表2B. 和 到 的映射
  0 1 2 3 4 5 6
0 28 0 0 0 0 0 0
1 29 30 0 0 0 0 0
2 31 32 33 0 0 0 0
3 34 35 36 37 0 0 0
4 38 39 40 41 42 0 0
5 43 44 45 46 47 48 0
6 49 50 51 52 53 54 55
為了獲得 ，將垂直和水平梯度A i的總和映射到0到n的範圍，其中對於 ，n等於4，對於 和 ，n等於15。
在ALF_APS中，最多4個亮度濾波器集合被發送，每個組可具有最多25個濾波器。
在本發明中，改進ALF性能的技術公開如下。
ALF 非局部濾波器抽頭
一般來說，ALF重構處理可以被表示為： 其中R(x,y)為ALF濾波前的樣本值，R̃(x,y)為ALF濾波後的樣本值，c i為第i個濾波器係數，n i為第i個濾波器抽頭輸入。具體地，n i可以是裁剪的相鄰差值、來自另一個濾波器的校正值或來自另一個環路濾波級的校正值。然而，有時這種線性模型可能不夠強大，無法有效地減少失真。在本發明中，幾種額外的抽頭生成方法被説明以增加ALF濾波器的容量。代替僅將SAO處理的樣本視為ALF輸入，新的ALF的輸入還包括來自一個或多個其他環路濾波器級（在本公開中被稱為時間非局部濾波器抽頭）的樣本。
在一種方法中，額外抽頭藉由考慮不同環路濾波級中的當前和/或相鄰樣本來生成。在一個實施例中，樣本適應性偏移（sample adaptive offset，簡稱SAO）之前的當前樣本和相鄰樣本被用於計算ALF濾波器抽頭。在另一個實施例中，在應用另一ALF固定濾波器集合（不同於CTB級別中的當前支援的候選）之後的當前和相鄰樣本被用於計算ALF濾波器抽頭。注意，在不同環路濾波級別使用樣本的上述實施例可以被組合，導致在去塊之前、SAO之前和應用固定濾波器集合之一之後使用相鄰樣本都可用於ALF濾波器抽頭計算。在一個實施例中，一個額外標誌被發送以指示來自一個特定環路濾波級別的額外抽頭是否被使用。例如，如果在去塊之前、SAO之前以及應用固定濾波器集合之一之後，有額外的抽頭用於當前和/或相鄰樣本，我們將發出三個額外的標誌以指示它們中的每一個是否被使用。
在另一種方法中，額外抽頭藉由考慮空間非局部樣本來生成。在一個實施例中，當前塊與多個具有預定位置的不相鄰塊之間的相似度被計算，以及N個最相似塊中的樣本值被用來計算額外的ALF濾波器抽頭。在另一個實施例中，當前塊與大邊界框內的幾個非緊鄰塊之間的相似度被計算，以及N個最相似塊中的樣本值被用來計算額外的ALF濾波器抽頭。在另一個實施例中，N個最相似塊的分類結果應該與當前塊的分類結果相同。換句話說，在這種情況下，分類結果被用作相似性度量。
前述兩種提出的方法可以被組合。額外的抽頭藉由考慮來自不同環路濾波級別的空間非局部樣本來生成。
前述提出的方法可以在編碼器和/或解碼器中實現。例如，所提出的方法可以在編碼器的環路濾波模組和/或解碼器的環路濾波模組中實現。
在另一種方法中，額外的抽頭採用更高階的n i生成，從而產生更高階的多項式模型。在一個實施例中，原始抽頭{n i}的所有或子集的平方值（即階數=2）並將其用作額外的抽頭。重構等式變為： 其中 I⊆{0,1,…,K-1} 表示用於抽頭擴展的現有抽頭索引的子集。
在另一種方法中，額外抽頭藉由在當前樣本值與以下樣本值之一之間取得較高階的差值來生成：相鄰樣本值，來自另一濾波器的重構樣本值以及來自先前環路濾波器級別的重構樣本值。在一個實施例中，考慮當前樣本R和相鄰樣本N，除了現有抽頭N-R之外，平方差值N 2-R 2被就算作為額外抽頭。在另一實施例中，考慮當前樣本R的固定濾波結果F，平方差值F 2-R 2被計算作為額外抽頭。在另一實施例中，考慮當前樣本R的去塊前樣本值P，平方差值P 2-R 2被計算作為額外抽頭。注意，所有提出的實施例可以進一步考慮非線性濾波，其藉由裁剪濾波器抽頭值來實現。
在一個實施例中，一個額外抽頭{n i}藉由使用當前樣本和一個預定常數偏移量（例如DC項）之間的差值來添加。當處理中的位元深度為10 (8)位元時，DC項可以為512 (128)。在另一實施例中，DC項可以根據當前樣本的值進行適應性調整。例如，如果當前採樣值小於384，則DC項為256；如果當前採樣值大於896，則DC項為768；否則，DC項是512。注意，所有提出的實施例都可以進一步考慮非線性濾波，其藉由裁剪濾波器抽頭值來實現。
在另一實施例中，一個額外抽頭{n i}藉由考慮當前和/或相鄰樣本的重構殘差來添加。
在一個實施例中，一個額外抽頭藉由使用當前和/或相鄰樣本的重構殘差以及一個預定常數偏移量（例如DC項）來生成。例如，僅當存在非零重構殘差時，DC項才被使用。在另一示例中，如果不存在非零重構殘差，則DC項被使用。注意，所有提出的實施例可以進一步考慮非線性濾波，其藉由裁剪濾波器抽頭值來實現。
前述提出的方法可以被組合，從而產生來自更高階的額外抽頭，來自預定常數值（DC項）的額外抽頭、以及來自重構殘差值的額外抽頭。
上述用於環路濾波器的方法（例如，ALF方法）中的任一可以在編碼器和/或解碼器中實現。例如，所提出的方法中的任一可以在編碼器或解碼器的環路濾波器模組（例如第1A圖和第1B圖中的ILPF 130）中實現。或者，所提出的方法中的任一都可以實現為耦合到編碼器的幀間編解碼模組和/或運動補償模組，解碼器的合併候選推導模組的電路。ALF方法還可以使用存儲在介質（例如硬碟或快閃記憶體）上的可執行軟體或韌體代碼來實現，用於中央處理單元（Central Processing Unit，簡稱CPU）或可程式設計設備（例如數位訊號處理器（Digital Signal Processor，簡稱DSP）或現場可程式設計閘陣列（Field Programmable Gate Array，簡稱FPGA））。
第5圖示出根據本發明實施例的利用非局部ALF的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器（例如，一個或多個CPU）上可執行的程式碼。流程圖中所示的步驟還可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。 根據該方法，在步驟510中，重構像素被接收，其中該重構像素包括當前塊。在步驟520中，當前濾波輸出從當前塊中的當前樣本的ALF導出，其中ALF包括至少一個非局部輸入項，該至少一個非局部輸入項對應於樣本適應性偏移前（pre-Sample Adaptive Offset，簡稱pre-SAO）重構樣本或濾波器輸出，該樣本適應性偏移前（pre-Sample Adaptive Offset，簡稱pre-SAO）重構樣本來自當前樣本的和/或當前樣本的一個或多個相鄰樣本，該濾波器輸出來自固定濾波器集合之一的當前樣本和/或當前樣本的所述一個或多個相鄰樣本。在步驟530中，已濾波重構像素被提供，其中該已濾波重構像素包括當前濾波輸出。
第6圖示出根據本發明實施例的利用非局部ALF的另一示例視訊編解碼系統的流程圖。根據該方法，在步驟610中，重構像素被接收，其中該重構像素包括當前塊。在步驟620中，當前濾波輸出從當前塊中的當前樣本的ALF導出，其中ALF包括至少一個非局部輸入項，該至少一個非局部輸入項來自相應當前樣本和/或在一個或多個非緊鄰塊中相應當前樣本的一個或多個相鄰樣本。在步驟630中，已濾波重構像素被提供，其中該已濾波重構像素包括當前濾波輸出。
第7圖示出根據本發明實施例的利用殘差ALF的示例視訊編解碼系統的流程圖。根據該方法，在步驟710中，重構像素被接收，其中該重構像素包括當前塊。在步驟720中，當前濾波輸出從當前塊中的當前樣本的ALF導出，其中ALF包括至少一個殘差輸入項，該至少一個殘差輸入項與當前樣本的重構殘差樣本和/或一個或多個相鄰重構殘差樣本相關。在步驟730中，已濾波重構像素被提供，其中該已濾波重構像素包括當前濾波輸出。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，本領域技術人員可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明，而不背離本發明的精神。
呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，為了提供對本發明的透徹理解，說明瞭各種具體細節。然而，本領域的技術人員將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器（Digital Signal Processor，簡稱DSP）上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）執行的許多功能。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式，風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不背離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:環路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210:5×5菱形 220:7×7菱形 410:SAO亮度 412:SAO Cb 414:SAO Cr 420:ALF亮度 422:CC-ALF Cb 424:CC-ALF Cr 430:ALF色度 432:加法器 434:加法器 440:濾波器 442:濾波器 510、520、530:步驟 610、620、630:步驟 710、720、730:步驟
第1A圖示出結合迴圈處理的示例適應性幀間/幀內視訊編解碼系統。 第1B圖示出與第1A圖中的編碼器對應的解碼器。 第2圖示出色度（左）和亮度（右）分量的ALF濾波器形狀。 第3A-D圖示出g v(3A)、g h(3B)、g d1(3C)和g d2(3D)的子採樣拉普拉斯運算元（subsampled Laplacian calculations）計算。 第4A圖示出CC-ALF 相對於其他環路濾波器的佈置。 第4B圖示出用於色度樣本的菱形濾波器。 第5圖示出根據本發明實施例的利用非局部ALF的示例性視訊編解碼系統的流程圖。 第6圖示出根據本發明實施例的利用非局部ALF的另一示例性視訊編解碼系統的流程圖。 第7圖示出根據本發明實施例的利用殘差ALF的示例視訊編解碼系統的流程圖。
510、520、530:步驟

Claims (12)

  1. 一種用於重構視訊的適應性環路濾波器處理方法，該方法包括： 接收多個重構像素，其中該等重構像素包括一當前塊； 從用於該當前塊中的一當前樣本的一適應性環路濾波器導出一當前濾波輸出，其中該適應性環路濾波器包括至少一個非局部輸入項，該至少一個非局部輸入項對應於一樣本適應性偏移前重構樣本或一濾波器輸出，該樣本適應性偏移前重構樣本來自該當前樣本和/或該當前樣本的一個或多個相鄰樣本，該濾波器輸出來自多個固定濾波器集合之一的該當前樣本和/或該當前樣本的該一個或多個相鄰樣本；以及 提供多個已濾波重構像素，其中該等已濾波重構像素包括該當前濾波輸出。
  2. 如請求項1所述之用於重構視訊的適應性環路濾波器處理方法，其中，一個或多個標誌在一位元流中發送或從該位元流中解析以指示與該至少一個非局部輸入項相關聯的一環路濾波級的位置。
  3. 一種用於重構視訊的適應性環路濾波器處理方法，該方法包括： 接收多個重構像素，其中該等重構像素包括一當前塊； 從用於該當前塊中的一當前樣本的一適應性環路濾波器導出一當前濾波輸出，其中該適應性環路濾波器包括至少一個非局部輸入項，該至少一個非局部輸入項來自一相應當前樣本和/或一個或多個非緊鄰塊中的該相應當前樣本的一個或多個相鄰樣本；以及 提供多個已濾波重構像素，其中該等已濾波重構像素包括該當前濾波輸出。
  4. 如請求項3所述之用於重構視訊的適應性環路濾波器處理方法，其中，該當前塊與該一個或多個非緊鄰相鄰塊之間的多個相似度，以及其中該至少一個非局部輸入項從N個最高相似度塊中選擇，以及N是一正整數。
  5. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該一個或多個非緊鄰的相鄰塊來自該當前塊的一邊界框。
  6. 如請求項4所述之用於重構視訊的適應性環路濾波器處理方法，其中，該等相似度根據該當前塊與該一個或多個非緊鄰的相鄰塊的多個適應性環路濾波器分類結果來測量。
  7. 如請求項3所述之用於重構視訊的適應性環路濾波器處理方法，其中，該至少一個非局部輸入項對應於一樣本適應性偏移前重構樣本或一濾波器輸出，該樣本適應性偏移前重構樣本來自該相應當前樣本的和/或該一個或多個非緊鄰的相鄰塊中的該相應當前樣本的該一個或多個相鄰樣本，該濾波器輸出來自多個固定濾波器集合之一的該相應當前樣本和/或該一個或多個非緊鄰的相鄰塊中的該相應當前樣本的該一個或多個相鄰樣本。
  8. 一種用於重構視訊的適應性環路濾波器處理方法，該方法包括： 接收多個重構像素，其中該等重構像素包括一當前塊； 從用於該當前塊中的一當前樣本的一適應性環路濾波器導出一當前濾波輸出，其中該適應性環路濾波器包括與至少一個殘差輸入項，該至少一個殘差輸入項與一當前樣本的一重構殘差樣本和/或一個或多個相鄰重構殘差樣本相關；以及 提供多個已濾波重構像素，其中該等已濾波重構像素包括該當前濾波輸出。
  9. 如請求項8所述之用於重構視訊的適應性環路濾波器處理方法，其中，該至少一個殘差輸入項對應於該當前樣本的該重構殘差樣本和/或該一個或多個相鄰重構殘差樣本。
  10. 如請求項8所述之用於重構視訊的適應性環路濾波器處理方法，其中，該至少一個殘差輸入項使用該當前樣本的該重構殘差樣本和/或該一個或多個相鄰重構殘差樣本以及一預定值。
  11. 如請求項10所述之用於重構視訊的適應性環路濾波器處理方法，其中，僅當該當前樣本的該重構殘差樣本和/或該一個或多個相鄰重構殘差樣本為非零時，該預定值才被用作該至少一個殘差輸入項。
  12. 如請求項10所述之用於重構視訊的適應性環路濾波器處理方法，其中，如果該當前樣本的該重構殘差樣本和該一個或多個相鄰重構殘差樣本均不為非零，則該預定值被用作該至少一個殘差輸入項。
TW112126235A 2022-07-15 2023-07-13 用於重構視訊的適應性環路濾波器處理方法和裝置 TW202406336A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202263368503P 2022-07-15 2022-07-15
US202263368504P 2022-07-15 2022-07-15
US63/368,504 2022-07-15
US63/368,503 2022-07-15
WOPCT/CN2023/101558 2023-06-21
PCT/CN2023/101558 WO2024012167A1 (en) 2022-07-15 2023-06-21 Method and apparatus for adaptive loop filter with non-local or high degree taps for video coding

Publications (1)

Publication Number Publication Date
TW202406336A true TW202406336A (zh) 2024-02-01

Family

ID=89535492

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112126235A TW202406336A (zh) 2022-07-15 2023-07-13 用於重構視訊的適應性環路濾波器處理方法和裝置

Country Status (2)

Country Link
TW (1) TW202406336A (zh)
WO (1) WO2024012167A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791877B (zh) * 2016-03-15 2019-06-07 北京大学 视频编解码中自适应环路滤波的方法
US20180359486A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Non-local adaptive loop filter processing
US20190082176A1 (en) * 2017-09-11 2019-03-14 Qualcomm Incorporated Non-local bilateral filter
EP3844959A2 (en) * 2018-09-16 2021-07-07 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding with look-up table selected based on bitstream information
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter

Also Published As

Publication number Publication date
WO2024012167A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
TWI634777B (zh) 搜索參考區塊的方法
KR101752612B1 (ko) 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법
JP7480303B2 (ja) ビデオ符号化のための方法並びに、その装置、及びコンピュータプログラム
CN106688238B (zh) 改进后的深度图帧内编码的参考像素点选择和滤波
TW202103495A (zh) 解碼影像資料的方法、編碼影像資料的方法及儲存編碼影片資訊的非暫態電腦可讀取儲存媒介
KR20200090716A (ko) 영상 부호화 방법 및 장치
US20220021895A1 (en) Method and device for video coding using various transform techniques
JP2023090929A (ja) ビデオ復号化方法、ビデオ復号化装置及び記憶媒体
JP2024020420A (ja) 適応ループフィルタリングのための境界位置
US20240089439A1 (en) Image decoding device, method, and non-transitory computer-readable storage medium
JP7393550B2 (ja) クロス成分適応ループフィルタリングのためのサンプルパディング
JP7467687B2 (ja) 符号化・復号方法及び装置
US20210289202A1 (en) Intra prediction method and apparatus for performing adaptive filtering on reference pixel
TW202406336A (zh) 用於重構視訊的適應性環路濾波器處理方法和裝置
EP3481064B1 (en) Adaptive loop filtering for high dynamic range video
TW202406337A (zh) 用於重構視訊的適應性環路濾波器處理方法和裝置
TW202406338A (zh) 用於視訊編解碼的具有色度分類器的自適應環路濾波器的方法和裝置
WO2024017200A1 (en) Method and apparatus for adaptive loop filter with tap constraints for video coding
WO2024067188A1 (en) Method and apparatus for adaptive loop filter with chroma classifiers by transpose indexes for video coding
WO2024017010A1 (en) Method and apparatus for adaptive loop filter with alternative luma classifier for video coding
WO2024012168A1 (en) Method and apparatus for adaptive loop filter with virtual boundaries and multiple sources for video coding
WO2024088003A1 (en) Method and apparatus of position-aware reconstruction in in-loop filtering
WO2024114810A1 (en) Method and apparatus for adaptive loop filter with fixed filters for video coding
WO2024055842A1 (en) Method and apparatus for adaptive loop filter with non-sample taps for video coding
WO2024082899A1 (en) Method and apparatus of adaptive loop filter selection for positional taps in video coding