TW202412521A - 具有虛擬邊界和多樣本源的適應性環濾波器 - Google Patents

具有虛擬邊界和多樣本源的適應性環濾波器 Download PDF

Info

Publication number
TW202412521A
TW202412521A TW112126394A TW112126394A TW202412521A TW 202412521 A TW202412521 A TW 202412521A TW 112126394 A TW112126394 A TW 112126394A TW 112126394 A TW112126394 A TW 112126394A TW 202412521 A TW202412521 A TW 202412521A
Authority
TW
Taiwan
Prior art keywords
sample
filter
current
samples
neighboring
Prior art date
Application number
TW112126394A
Other languages
English (en)
Inventor
邱世鈞
陳慶曄
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202412521A publication Critical patent/TW202412521A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供了一種用於在視訊系統中實施適應性環濾波器（Adaptive Loop Filter，ALF）的方法。視訊編解碼器接收待編碼或解碼為視訊的當前圖像的當前塊的像素塊的資料。視訊編解碼器接收當前塊的當前樣本。視訊編解碼器將濾波器應用於當前樣本，以生成校正值。來自兩個以上的不同源的複數個相鄰樣本被用作濾波器的輸入。當第一相鄰樣本在虛擬邊界內時，第一相鄰樣本被用作濾波器的輸入。當第一相鄰樣本超出虛擬邊界時，第一相鄰樣本被排除作為濾波器的輸入。視訊編解碼器將校正值添加到當前樣本，作為當前塊的濾波樣本。

Description

具有虛擬邊界和多樣本源的適應性環濾波器
本發明通常涉及視訊編解碼。並且更具體地，涉及使用適應性環濾波器（Adaptive Loop Filter，ALF）對視訊圖像進行編解碼的方法。
除非此處有額外說明，本節所描述的方法不屬於下列申請專利範圍的習知技術，也不因包括本節而被承認為習知技術。
高效視訊編解碼（High-Efficiency Video Coding，HEVC）是由視訊編解碼的聯合合作團隊（Joint Collaborative Team on Video Coding，JCT-VC）開發的國際視訊編解碼標準。HEVC基於基於混合塊的運動補償DCT類變換編解碼架構。壓縮的基本單元稱為編解碼單元（Coding Unit，CU），是2N×2N的正方形像素塊，每一CU可以遞迴地分成四個更小的CU，直到達到預定義的最小大小。每一CU包含一個或複數個預測單元（Prediction Unit，PU）。
多功能視訊編解碼（Versatile Video Coding，VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11聯合視訊專家組（Joint Video Expert Team，JVET）開發的最新國際視訊編解碼標準。輸入視訊訊號是從已重構訊號中預測得到的，已重構訊號是從已編解碼的圖像區域中推導得到的。預測殘差訊號是由塊變換進行處理的。變換係數與位元流中的其他邊資訊一起進行量化和熵編解碼。已重構訊號是在對已去量化的變換係數進行逆變換後，從預測訊號和已重構殘差訊號中生成的。已重構訊號還透過環路濾波進行處理，用於移除編解碼偽影。已解碼圖像被存儲在暫存器中，用於預測輸入視訊訊號中的未來圖像。
在VVC中，已編解碼圖像被分割成由相關編解碼樹單元（coding tree unit，CTU）表示的不重疊的正方形塊區域。編解碼樹的葉節點對應於編解碼單元（CU）。已編解碼圖像可以由切片的集合表示，每一切片包括整數個CTU。切片中的各個CTU按光柵掃描順序進行處理。使用最多兩個運動向量和參考索引的畫面內預測或畫面間預測，雙預測（B）切片可以被解碼，以預測每個塊的樣本值。使用最多一個運動向量和參考索引的畫面內預測或畫面間預測，預測（P）切片被解碼，以預測每塊的樣本值。僅使用畫面內預測，畫面內（I）切片被解碼。
使用具有嵌套的多類型樹（multi-type-tree，MTT）結構的四叉樹（quadtree，QT），可以將CTU分割為一個或複數個不重疊的編解碼單元（CU），以適應各種局部運動特徵和紋理特徵。使用五種劃分類型：四叉樹分割、垂直二叉樹分割、水平二叉樹分割、垂直中心側三叉樹分割、水平中心側三叉樹分割中的一種，將CU進一步劃分為更小的CU。
每一CU包含一個或複數個預測單元（PU）。預測單元與相關的CU語法一起作為基本單元，以用於標示預測子資訊。使用指定的預測過程來預測PU內相關像素樣本的值。每一CU可以包含一個或複數個表示預測殘差塊的變換單元（TU）。變換單元（TU）包括亮度樣本的一個變換塊（TB）和色度樣本的兩個相應的變換塊，每一TB對應一個顏色分量的一個殘差塊樣本。將整數變換應用於變換塊。已量化係數的層值與其他邊資訊一起在位元流中進行熵編解碼。術語編解碼樹塊（Coding Tree Block, CTB）、編解碼塊（Coding Block, CB）、預測塊（Prediction Block, PB）、變換塊（Transform Block, TB）被定義，以指定分別與CTU、CU、PU、TU相關的一個顏色分量的2D樣本陣列。因此，一個CTU包括一個亮度CTB、兩個色度CTB和相關的語法元素。類似的關係也適用於CU、PU和TU。
對於每一已畫面間預測的CU，包括運動向量、參考圖像索引和參考圖像清單使用索引的運動參數以及附加資訊用於生成已畫面間預測樣本。運動參數可以以顯式或隱式的方式被標示。當使用跳躍模式對CU進行編解碼時，CU與一個PU相關，並沒有有效的殘差係數，沒有編解碼的運動向量delta或參考圖像索引。合併模式被指定，其中當前CU的運動參數從相鄰CU獲得，包括空間候選和時間候選，以及VVC中引入的附加排程。合併模式可以應用於任何已畫面間預測CU。合併模式的替代是運動參數的顯式傳輸，其中運動向量、每一參考圖像清單相應的參考圖像索引和參考圖像清單使用標誌以及其他所需的資訊是對每一CU而進行顯式標示。
以下發明內容僅供說明，不意在以任何方式進行限製。也就是說，提供以下發明內容是為了介紹本文所描述的新穎且非顯而易見的技術的概念、亮點、好處和優點。將在以下具實施例中進一步描述選定的實施例。因此，以下的發明內容並不意在鑒別所宣告的主題的基本特徵，也不意在用於確定所宣告的主題的範圍。
本申請的一些實施例提供了一種實施ALF的方法。視訊轉碼器接收待編碼或解碼為視訊的當前圖像的當前塊的像素塊的資料。視訊編解碼器接收當前塊的當前樣本。視訊編解碼器將濾波器應用於當前樣本，以生成校正值。來自兩個以上的不同源的複數個相鄰樣本被用作濾波器的輸入。當第一相鄰樣本在虛擬邊界內時，第一相鄰樣本被用作濾波器的輸入。當第一相鄰樣本超出虛擬邊界時，第一相鄰樣本被排除作為濾波器的輸入。視訊編解碼器將校正值添加到當前樣本，作為當前塊的濾波樣本。
在一些實施例中，虛擬邊界是在編解碼樹單元(Coding Tree Unit，CTU)水平邊界上方或下方若干行的水平邊界。來自兩個以上的不同源的複數個相鄰樣本包括由去塊濾波器(Deblock Filter，DBF)濾波的第一樣本和由去塊濾波器未濾波的第二樣本。來自兩個以上的不同源的複數個相鄰樣本包括（i）應用樣本適應性偏移(Sample Adaptive Offset，SAO)之前的樣本、（ii）由固定濾波器生成的濾波樣本、（iii）逆變換之後的已重構殘差樣本、（iv）由畫面間預測或畫面內預測生成的預測樣本、以及（v）由去塊濾波器和樣本適應性偏移處理的樣本中的至少兩個。
在一些實施例中，排除的第一相鄰樣本由填充樣本代替，作為濾波器的輸入，並且位於與第一相鄰樣本對稱的濾波器位置處的第二相鄰樣本還由填充樣本代替，作為濾波器的輸入。
在一些實施例中，當第一相鄰樣本超出虛擬邊界時，第一相鄰樣本與當前樣本之間的第一差被設置為零。第一相鄰樣本可以是由DBF未濾波（或DBF之前）的樣本。在一些實施例中，對於位於與第一相鄰樣本對稱的濾波器位置處的第二相鄰樣本，當第一相鄰樣本超出虛擬邊界時，第二相鄰樣本與當前樣本之間的第二差也被設置為零（即使第二相鄰樣本沒有超出虛擬邊界）。
在一些實施例中，當第一相鄰樣本超出在虛擬邊界，並且第一相鄰樣本來自第一源時，虛擬邊界內來自第一源的第二相鄰樣本也被排除作為濾波器的輸入，或者來自第一源的相鄰樣本中沒有一個用作濾波器的輸入。在一些實施例中，如果第二相鄰樣本是當前樣本（或在濾波器的中心位置），則第二相鄰樣本被用作濾波器的輸入。
在下面的詳細說明中，透過示例的方式闡述了許多具體細節，以便提供對相關教導的全面理解。基於本申請該教導的任何變體、衍生和/或擴展都在本申請的保護範圍內。在一些情況下，為了避免不必要地混淆本申請的教導的各方面，可以在相對高的水平上無細節地描述與本文公開的一個或複數個示例實施例有關的眾所周知的方法、過程、元件和/或電路。 I. ALF(Adaptive Loop Filter)
A. 濾波器形狀
ALF是一種視訊編解碼標準，例如VVC中使用的環內濾波(in-loop filtering)技術。它是一種基於塊的濾波器，其最小化原始樣本和已重構樣本之間的均方誤差。對於亮度分量，基於局部梯度的方向和活動性，為每個4×4塊選擇25個濾波器中的一個。第1A-B圖示出了用於ALF的兩種菱形濾波器形狀。菱形中的每個位置對應具有濾波器係數的濾波器抽頭。第1A圖示出了7×7菱形，其具有濾波器係數為C0-C12的抽頭，應用於亮度分量。第1B圖示出了5×5菱形，其具有濾波器係數C0-C6，應用於色度分量。
B. 塊分類
對於亮度分量，每個4×4塊被分類為25類中的一類。分類索引 C是基於其方向性 D和活動性 Â的量化值推導的，依據如下所示： C= 5 D+ Â
為了計算 D和 Â，首先使用一維拉普拉斯計算水平方向、垂直方向和兩個對角線方向的梯度：
其中索引 i和 j指的是4×4塊內左上方樣本的座標， R( i, j)指的是座標( i, j)處的已重構樣本。為了降低塊分類的複雜性，採用了子樣本的一維拉普拉斯計算。相同的子樣本位置可以用於所有方向的梯度計算（子樣本位置可以用於垂直梯度、水平梯度或對角線梯度）。水平方向和垂直方向的梯度的D最大值和最小值被設置為：
兩個對角線方向的梯度的最大值和最小值被設置為： ,
為了推導方向性 D的值，將這些值相互比較並與兩個閾值 t 1 和 t 2 進行比較： 步驟1.  如果 且 是真的，則將 設置為 。 步驟2.  如果 ，則從步驟3繼續；否則從步驟4繼續。 步驟3.  如果 ，則將 設置為2；否則，將 設置為 。 步驟4.  如果 ，則將 設置為 ；否則，將 設置為 。
活動值 A被計算為：
A被進一步量化到0到4的範圍，包括0和4，並且量化的值用 Â表示。對於圖像中的色度分量，不應用分類方法。
C. 濾波器係數和 裁剪 值 (Clipping Values) 的幾何變換 (Geometric Transformation)
在對每個4×4亮度塊進行濾波之前，依據為該塊計算的梯度值，將諸如旋轉，或對角線和垂直翻轉的幾何變換應用於濾波器係數 f( k, l)和相應的濾波器裁剪值 c( k, l)。這相當於將這些變換應用於濾波器支援區域中的樣本。這一方案是透過對齊不同塊的方向性，使應用ALF的不同塊更加相似。有三種幾何變換，包括對角線翻轉、垂直翻轉和旋轉，被描述為： 對角線： 垂直翻轉： , 旋轉： ,
其中 K是濾波器的尺寸，0 ≤ k, l ≤ K-1是係數座標，使得位置(0,0)在左上角，位置( K-1 , K-1)在右下角。依據為該塊計算的梯度值，將變換應用於濾波器係數 f( k, l)和裁剪值 c( k,l)。下面的表1中總結了變換與四個方向的四個梯度之間的關係，其示出了針對一個塊計算的梯度和變換的映射。 表1：
梯度值 變換
g d2＜ g d1和g h＜ g v 無變換
g d2＜ g d1和g v＜ g h 對角線
g d1＜ g d2和g h＜ g v 垂直翻轉
g d1＜ g d2和g v＜ g h 旋轉
D. 濾波過程
在解碼器側，當對CTB使能ALF時，對CU內的每個樣本 R'( i, j)進行濾波，得到如下所示的樣本值 R'( i, j)：
其中 f( k, l)表示解碼的濾波器係數， K( x, y)是裁剪函數， c( k, l)表示解碼的裁剪參數。變數 k和 l在-L/2和L/2之間變化，其中l表示濾波器長度。裁剪函數 K( x, y) = min(y, max(-y, x))，其對應於函數Clip3 (- y, y, x)。裁剪操作引入非線性，以透過減少與當前樣本值相差太大的相鄰樣本值的影響，使ALF更加高效。
E. CC-ALF(Cross Component Adaptive Loop Filter)
透過將適應性線性濾波器應用於亮度通道，然後將該濾波操作的輸出用於色度細化，CC-ALF可以使用亮度樣本值來細化每個色度分量。第2圖示出了環濾波器的系統級示意圖，其中已重構或已解碼樣本210由DBF、SAO和ALF進行濾波或處理。已重構或已解碼樣本210可以從當前塊的預測訊號和殘差訊號中生成。
圖中顯示了CC-ALF相對於其他環濾波器的位移。具體地，SAO輸出的亮度分量由亮度ALF過程（ALF Y）和一對跨分量ALF過程（CC-ALF Cb和CC-ALF Cr）進行處理。兩個跨分量ALF過程生成Cb分量和Cb分量的跨分量偏移，以將其添加到色度ALF過程（ALF色度）的輸出，以生成色度分量的ALF輸出。然後ALF輸出的亮度分量和色度分量被存儲在已重構或已解碼圖像暫存器290中，以用於後續塊的預測編解碼。
第3圖示出了在CC-ALF中的濾波，其透過將線性菱形濾波器310應用於亮度通道來完成。每個色度通道使用一個濾波器，該操作被表示為：
其中( x , y)是正在被細化的色度分量 i位置，( x Y , y Y )是基於( x, y)的亮度位置， S i 是亮度分量中的濾波器支援區域， c i ( x 0, y 0)表示濾波器係數。如第3圖所示，在考慮了亮度平面和色度平面之間的空間縮放因數之後，亮度濾波器支援區域是與當前色度樣本同位元（collocated）的區域。
CC-ALF濾波器係數可以透過最小化每個色度通道相對於原始色度內容的均方誤差來計算。為了實施這一方案，演算法可以使用類似於用於色度ALF的係數推導過程的係數推導過程。具體地，推導出相關矩陣，並使用Cholesky分解求解器來計算係數，以為了試圖最小化均方誤差度量。在設計濾波器時，按照每個圖像，可以設計和傳輸最多8個CC-ALF濾波器。然後，在CTU的基礎上，得到的濾波器被指示用於兩個色度通道中的每一個色度通道。
CC-ALF濾波可以使用3x4菱形，其具有8個濾波器抽頭以及適應性參數集（Adaptation Parameter Set，APS）（可以被參考於切片頭中）中傳輸的7個濾波器係數。每個傳輸係數具有6位元的動態範圍，並且被限製為2的冪值。第8個濾波器係數在解碼器處被推導，使得濾波器係數之和等於0。對於每個色度分量，CC-ALF濾波器選擇可以被控製在CTU級。水平虛擬邊界的邊界填充可以是與亮度ALF相同的記憶體訪問模式。
作為附加特徵，參考編碼器可以透過設定檔用於使能一些基本的主觀調諧。當被使能時，VTM在用高QP進行編解碼的和接近中灰或包含大量亮度高頻的區域中，衰減CC-ALF的應用。從演算法上講，這是透過禁能CC-ALF在以下任何條件為真的CTU中的應用來完成的: （i）切片QP值減去1小於或等於基QP值; （ii）局部對比度大於( 1 ＜＜ ( bitDepth – 2 ) ) – 1的色度樣本的數量超過CTU高度，其中局部對比度是濾波器支援區域內最大亮度樣本值和最小亮度樣本值之間的差; （iii）超過四分之一的色度樣本在( 1 ＜＜ ( bitDepth – 1 ) ) – 16 and ( 1 ＜＜ ( bitDepth – 1 ) ) + 16之間的範圍內。
這是為了保證CC-ALF不會放大解碼路徑中較早引入的偽影。
F. 濾波器參數標示
在APS中標示ALF濾波器參數。在一個APS中，可以標示多達25個亮度濾波器係數和裁剪值索引的集合，以及多達8個色度濾波器係數和裁剪值索引的集合。為了減少位元開銷，可以合併亮度分量的不同分類的濾波器係數。在切片頭中，用於當前切片的APS的索引被標示。
從APS中解碼的裁剪值索引允許使用亮度和色度分量的裁剪值的表來確定裁剪值。這些裁剪值取決於內部位元深度。更準確地說，裁剪值透過以下公式獲得： ALFClip
其中 B等於內部位元深度， α是預定義常數值，等於2.35， N等於4，其是VVC中允許的裁剪值的數量。然後 ALFClip以2的冪的格式被捨入到最接近的值。
在切片頭中，多達7個APS索引可以被標示，以指定用於當前切片的亮度濾波器集。濾波過程可以被進一步控製在CTB級。一旗標總是被標示，以指示ALF是否應用於亮度CTB。亮度CTB可以在16個固定濾波器集和來自APS的濾波器集中選擇濾波器集。亮度CTB的濾波器集索引被標示，以指示應用哪個濾波器集。16個固定濾波器集是預定義的，並在編碼器和解碼器中進行硬編碼。
對於色度分量，APS索引可以在切片頭中被標示，以指示正用於當前切片的色度濾波器集。在CTB級，如果APS中有一個以上的色度濾波器，則為每個色度CTB標示濾波器索引。濾波器係數以等於128的歸一化進行量化。為了限製乘法複雜度，位元流一致性被應用，使得非中心位置的系數值將在−2 7到2 7 − 1範圍內，包括−2 7和2 7 − 1。中心位置係數在位元流中不被標示，並且被認為等於128。
G. 利用固定濾波器進行濾波的 ALF 簡化
在一些實施例中，ALF梯度子樣本和ALF虛擬邊界處理被去除。分類的塊尺寸從4x4減小到2x2。ALF係數被標示的亮度和色度的濾波器尺寸增加到9x9。
為了對亮度樣本進行濾波，可以使用三個不同的分類器(C 0、C 1和C 2)和三個不同的濾波器集(F 0、F 1和F 2)。集F 0和集F 1包括固定濾波器，具有針對分類器C 0和C 1訓練的係數。F 2中的濾波器的係數被標示。集Fi中的哪個濾波器用於給定樣本，是由使用分類器 C i 分配給該樣本的類別 C i 決定的。首先，應用兩個13x13菱形固定濾波器F 0和F 1，以推導兩個中間樣本 R 0 ( x, y)和 R 1( x, y)。然後，將F 2應用於 R 0 ( x, y)和 R 1( x, y)以及相鄰樣本，以推導濾波樣本為：
其中， f i,j 是相鄰樣本和當前樣本 R( x, y)之間的裁剪差， g i 是 R i-20 ( x, y)和當前樣本之間的裁剪差。濾波器係數 c i ， i= 0, … 21被標示。
依據方向性 D i 和活動性 Â i ，將類別 C i 分配給每個2x2塊。 C i = Â i­ * M D,i + D i
其中 M D,i 表示方向性 D i 的總數。可以使用一維拉普拉斯為每個樣本計算水平梯度、垂直梯度和兩個對角線梯度的值。覆蓋目標2×2塊的4×4視窗內的樣本梯度之和用於分類器 C 0 ，12×12視窗內的樣本梯度之和用於分類器C 1和C 2。水平梯度、垂直梯度和兩個對角線梯度的和分別表示為 , , 和 。方向性 D i 透過比較如下與閾值集來確定：
方向性 D 2 是使用閾值2和4.5而推導的。對於 D 0 和 D 1 ，首先計算水平/垂直邊緣強度 和對角線邊緣強度 。閾值 Th= [1.25, 1.5, 2, 3, 4.5, 8]被使用。如果 ，則邊緣強度值 為0，否則， 為最大整數，從而 。如果 ，則邊緣強度 為0，否則， 為最大整數，從而 。下表2(a)和表2(b)示出了 E i D 和 E i HV 與 Di的映射。當 ，即水平邊緣/垂直邊緣占主導地位，使用下表2(a)推導 Di。否則，對角線邊緣占主導地位，使用表2(b)，推導 D i 。 表2(a):
  0 1 2 3 4 5 6
0 0 0 0 0 0 0 0
1 1 2 0 0 0 0 0
2 3 4 5 0 0 0 0
3 6 7 8 9 0 0 0
4 10 11 12 13 14 0 0
5 15 16 17 18 19 20 0
6 21 22 23 24 25 26 27
表2(b):
  0 1 2 3 4 5 6
0 28 0 0 0 0 0 0
1 29 30 0 0 0 0 0
2 31 32 33 0 0 0 0
3 34 35 36 37 0 0 0
4 38 39 40 41 42 0 0
5 43 44 45 46 47 48 0
6 49 50 51 52 53 54 55
為了獲得活動性 Â i ，垂直梯度和水平梯度 A i 的總和被映射到0到n的範圍，其中，對於 Â 2 ，n等於4，對於 Â 0 和 Â 1 ，n等於15。在ALF_APS中，多達4個亮度濾波器集被標示，每個集可以具有多達25個濾波器。 II. 具有虛擬邊界和複數個源 ( Multiple Sources) 的 ALF
H. 虛擬邊界濾波 (Virtual Boundary Filtering)
為了減少ALF對線暫存器（最近已重構像素的臨時存儲）的需求，對水平CTU邊界附近的樣本採用修改的塊分類和濾波。第4A-B圖示出了水平CTU邊界附近的虛擬邊界處的修改的塊分類。圖中示出了虛擬邊界410，其是透過將水平CTU邊界405移動4個樣本行用於亮度分量（或2個樣本行用於色度分量）來定義的。虛擬邊界410在像素行'J'和像素行「K」之間，而CTU邊界在像素行「N」和像素行「O」之間。
第4A圖示出了，對於一維拉普拉斯梯度計算，當用於計算C 0分類器的4x4塊在虛擬邊界410上方時，僅位於虛擬邊界410上方的樣本用於C 1和C 2分類。第4B圖示出，對於一維拉普拉斯梯度計算，當用於計算C 0分類器的4x4塊在虛擬邊界410下方時，僅位於虛擬邊界410下方的樣本用於C 1和C 2分類。透過考慮一維拉普拉斯梯度計算中使用的已減少數量的樣本，活動性值A的量化相應地被縮放。在一些實施例中，第4A-B圖還示出，當虛擬邊界410以外的樣本需要用於一維拉普拉斯梯度計算時（例如，用於C 1和C 2分類器），填充樣本被使用（透過複製緊靠虛擬邊界410內的樣本）。
對於濾波處理，虛擬邊界處的對稱填充操作用於亮度分量和色度分量。第5A-B圖示意性地示出了虛擬邊界處的填充操作，用於生成ALF濾波的濾波器抽頭。該圖示出了菱形濾波器，其中菱形中的每個位置對應具有係數的濾波器抽頭。第5A圖示出了當正在被濾波的樣本（當前樣本）位於虛擬邊界下方時，在虛擬邊界上方的相鄰樣本（濾波所需的）不可用，因此被填充。對稱位置（菱形的底側）處的對應樣本也被填充，即使在那些對稱位置處的實際對應的樣本可能是可用的。第5B圖示出了當正在被濾波的樣本（當前樣本）位於虛擬邊界上方時，位於虛擬邊界下方的相鄰樣本（濾波所需的）不可用，因此被填充。對稱位置（菱形的頂側）處的對應樣本也被填充。
儘管未示出，但在一些實施例中，由於虛擬邊界而引起的樣本填充是非對稱地應用的。例如，如果菱形濾波器頂部的樣本由於虛擬邊界而不可用，並且由填充樣本代替，則菱形濾波器底部處對應的對稱位置處的實際樣本用於濾波，而沒有填充。
與在ALF的水平邊界（CTU邊界或虛擬邊界）處使用的對稱填充方法相反，當禁能跨邊界濾波時，可以對切片邊界、片段（tile）邊界和子圖像邊界應用簡單的填充過程（例如，直接複製緊靠虛擬邊界內的樣本）。簡單的填充過程也應用於圖像邊界。填充樣本用於分類和濾波過程。為了補償在對剛好在虛擬邊界上方或下方的樣本進行濾波時的填充，可降低濾波器強度用於色度和亮度這些情況（例如，濾波器強度除以8或右移除以3）。
J. 具有複數個源的 ALF
在一些實施例中，對於亮度分量，DBF之前的樣本作為濾波器抽頭被用於ALF。具體地，濾波樣本可以被推導為：
其中， h i,j 是DBF之前的相鄰樣本與當前樣本 R( x, y)之間的裁剪差， f i,j 是相鄰樣本與當前樣本 R( x, y)之間的裁剪差， g i 是 R i-20 ( x, y)與當前樣本 R( x, y)之間的裁剪差。第6A-B圖示出了應用於DBF之前的樣本的濾波器形狀。第6A圖示出了N＝24的3x3菱形濾波器。第6B圖示出了N＝28的5x5菱形濾波器。在一些實施例中，在APS中，旗標被標示以指示DBF之前的樣本是否用於ALF。在一些實施例中，該旗標總是被編碼器設置為真。
K. 具有虛擬邊界和複數個源的 ALF
如前所述，在一些實施例中，將待處理樣本（當前樣本）與相鄰樣本之間的差用作ALF的濾波器抽頭。在一些實施例中，相鄰樣本是DBF處理( h i,j )之前的樣本。在一些實施例中，如以上文H節中所描述的虛擬邊界被應用，使得當相鄰樣本由於虛擬邊界而不可用時，相鄰樣本與待處理樣本之間的差被設置為零。也就是說，如第5圖所示，濾波器足跡被修改，然透過將相鄰樣本和待處理樣本之間的差設置為零來代替在上側和下側中使用的填充過程。對於一些實施例，該方法可以用於亮度ALF、色度ALF和/或CC-ALF中。
虛擬邊界處理可以是對稱的或非對稱的。在一些實施例中，將相鄰樣本和待處理樣本之間的差設置為零的過程被應用於對應的對稱位置。在一些實施例中，將相鄰樣本和待處理樣本之間的差設置為零的過程僅應用於透過虛擬邊界變得不可用的樣本。對應的對稱位置處的可用樣本仍將用於濾波。
第7A-C圖示意性地示出了當使用當前樣本和相鄰樣本之間的差來生成濾波器抽頭輸入時用於ALF濾波的跨虛擬邊界的對稱和非對稱處理。該圖示出了菱形濾波器700，其中菱形中的每個位置對應濾波器抽頭。濾波器抽頭 n 0中的一個濾波器抽頭具有基於待處理樣本（當前樣本）R與相鄰樣本R 0+和R 0-之間的差而確定的值。
第7A圖示出了濾波器抽頭輸入所需的樣本都不在虛擬邊界之外的情景。在這種情況下，相鄰樣本R 0+和R 0-是可用的，因此相鄰樣本和待處理樣本之間的差不被設置為零，即，濾波器抽頭n 0的值被計算為n 0= (R 0+- R) + (R 0-- R)。
第7B圖示出了當頂部附近的一些樣本超出虛擬邊界710時的非對稱填充過程。在這種情況下，頂部處的相鄰樣本R 0+不可用，並且R和R 0+之間的差被設置為零。然而，底部處的相鄰樣本R 0-是可用的，並且R和R 0-之間的差按原樣使用，而不是被設置為零。濾波器抽頭n 0的值被計算為n 0= 0 + (R 0-- R)。
第7C圖示出了當頂部附近的一些樣本超出虛擬邊界710時的對稱填充過程。由於頂部處的相鄰樣本R 0+不可用，並且R和R 0+之間的差被設置為零。儘管底部處的相鄰樣本R 0-是可用的，但為了保持對稱，R和R 0-的差被設置為零。濾波器抽頭n 0的值被計算為n 0= 0。
在一些實施例中，除了ALF之前的樣本（例如，DBF h i,j 之後的樣本）之外，亮度ALF還包括濾波器足跡中的複數個源。複數個源可以是DBF之前的樣本、SAO之前的樣本，應用ALF固定濾波器之後的樣本、逆變換之後的已重構殘差，和/或重構階段之前的樣本（使用畫面間/畫面內預測器）。在一些實施例中，為了進一步減少暫存器的使用，將ALF虛擬邊界處理也應用於複數個源。例如，如上面第5A-B圖所描述，當在ALF中使用DBF之前的樣本時，並且如果所需的DBF之前的樣本不可用（例如，DBF之前的樣本位於虛擬邊界的另一側），則使用填充過程來避免訪問這些樣本。填充過程可以是非對稱的或對稱的。在一些實施例中，透過將所需（相鄰）的DBF之前的樣本與待處理樣本之間的差設置為零來代替填充過程，如以上第7A-C圖所描述。
在一些實施例中，如果所需的DBF之前的樣本中的一個不可用，則去除DBF之前的樣本的（全部）濾波器抽頭。在一些實施例中，如果所需的DBF之前的樣本中的一個不可用，則DBF之前的樣本的濾波器抽頭被減少到單個抽頭，其對應於待處理樣本的位置（例如，菱形濾波器的中心位置，或者如果所需樣本是當前樣本）。在一些實施例中，用於ALF之前的樣本的虛擬邊界處理和用於複數個源的虛擬邊界處理是相同的。也就是說，相同的虛擬邊界處理被應用於亮度ALF的所有輸入源。
在一些實施例中，複數個源也被用在色度ALF和/或CC-ALF中，以進一步提高編解碼性能。在一些實施例中，將DBF之前的色度樣本和SAO之前的色度樣本添加到色度ALF的濾波器足跡中。在一些實施例中，DBF之前的亮度樣本和SAO之前的亮度樣本被包括在CC-ALF的濾波器足跡中。
在一些實施例中，複數個源也可以來自不同的分量(Y/Cr/Cb)。例如，在一些實施例中，對於亮度ALF，可以將DBF之前的色度樣本包括在亮度ALF濾波器足跡中。在一些實施例中，將DBF之前的亮度樣本、DBF之前的色度樣本、SAO之前的亮度樣本以及SAO之前的色度樣本包括在亮度ALF濾波器足跡中。又例如，在一些實施例中，DBF之前的亮度樣本和SAO之前的亮度樣本被包括在色度ALF的濾波器足跡中。
在一些實施例中，色度ALF的濾波器足跡可以包括兩個色度分量。例如，在一些實施例中，Cr和Cb分量樣本都被包括作為濾波器抽頭，用於對亮度或色度樣本進行濾波。又例如，當將ALF應用于Cb樣本時，ALF之前的Cr樣本被用在色度ALF中。
在一些實施例中，ALF的複數個源也可以來自中間ALF濾波結果。例如，在應用不同的固定濾波器之後的亮度樣本可以被添加到亮度ALF的濾波器足跡中。又例如，在應用不同的固定濾波器之後的亮度樣本可以被添加到CC-ALF的濾波器足跡中。
在上述關於用於ALF濾波的複數個源的方法中，用於複數個源的濾波器抽頭可以是高階參數。例如，考慮待處理的樣本 和目標樣本 ，而不是使用( N – R)，平方差值( N 2– R 2)被用作附加抽頭。又例如，輸入可以是sign ( N– R) * (( N– R) * ( N– R))，其中sign(x)用於在x為非負值時返回「+1」，在x為負時返回「-1」。在一些實施例中，當在ALF中使用複數個源時，還可以應用非線性操作（例如，裁剪操作）。
上述提出的方法可以在編碼器和/或解碼器中實施。例如，所提出的方法可以在編碼器的環內濾波模組和/或解碼器的環內濾波器模組中實施。 III. 示例視訊編碼器
第8圖示出了實施環內濾波器的示例性視訊編碼器800。如圖所示，視訊編碼器800從視訊源805接收輸入視訊訊號，並將訊號編碼成位元流895。視訊編碼器800具有幾個元件或者模組，以用於編碼來自視訊源805的訊號，至少包括從變換模組810、量化模組811、逆量化模組814、逆變換模組815、圖像畫面內估計模組820、畫面內預測模組825、運動補償模組830、運動估計模組835、環內濾波器845、已重構圖像暫存器850、運動向量（motion vector，MV）暫存器865、運動向量預測模組875以及熵編碼器890中選擇的一些元件。運動補償模組830和運動估計模組835是畫面間預測模組840的一部分。
在一些實施例中，模組810-890是由計算設備或電子裝置的一個或者複數個處理單元（例如處理器）正在執行的軟體指令的模組。在一些實施例中，模組810-890是由電子裝置的一個或者複數個積體電路（integrated circuit，IC）實施的硬體電路的模組。儘管模組810-890被示為單獨的模組，然這些模組中的一些可以組合成一個獨立的模組。
視訊源805提供原始視訊訊號，其表示沒有壓縮的每個視訊資訊框的像素資料。減法器808計算視訊源805的原始視訊像素資料與來自運動補償模組830或畫面內圖像預測模組825的已預測像素資料813之間的差，作為預測殘差809。變換模組810將該差（或殘差像素資料或殘差訊號808）變換為變換係數（例如，透過執行離散余弦變換或DCT）。量化模組811將變換係數量化為已量化資料（或已量化係數）812，其由熵編碼器890編碼到位元流895中。
逆量化模組814去量化已量化資料（或已量化係數）812，以得到變換係數，逆變換模組815對變換係數進行逆變換，以產生已重構殘差819。將已重構殘差819與已預測像素資料813相加，以產生已重構像素資料817。在一些實施例中，已重構像素資料817暫時存儲於線暫存器（未示出）中，用於畫面內圖像預測和空間MV預測。已重構像素由環內濾波器845進行濾波，並被存儲於已重構圖像暫存器850中。在一些實施例中，已重構圖像暫存器850是視訊編解碼器800外部的存儲。在一些實施例中，已重構圖像暫存器850是視訊編碼器800內部的存儲。
圖像畫面內估計模組820基於已重構像素資料817執行畫面內預測，以產生畫面內預測資料。畫面內預測資料被提供給熵編碼器890，以將其編碼成位元流895。畫面內預測資料也由畫面內預測模組825使用，以產生已預測像素資料813。
透過產生到存儲在已重構圖像暫存器850中的先前已解碼資訊框的參考像素資料的運動向量，運動估計模組835執行畫面間預測。這些運動向量被提供給運動補償模組830，以產生已預測像素資料。
不是對位元流中的完整實際MV進行編碼，視訊編解碼器800使用MV預測，生成已預測MV，用於運動補償的MV與已預測MV之間的差被編碼為殘差運動資料，並被存儲在位元流895中。
運動向量預測模組875基於被生成用於編碼之前視訊資訊框的參考運動向量，生成預測運動向量，即被用於執行運動補償的運動補償運動向量。運動向量預測模組875從運動向量暫存器865中檢索來自於之前視訊資訊框的參考運動向量。視訊編碼器800將被生成用於當前視訊資訊框的這些運動向量存儲到運動向量暫存器865中，以作為用於生成預測運動向量的參考運動向量。
運動向量預測模組875使用參考運動向量來創建已預測運動向量。已預測運動向量可以由空間運動向量預測或者時間運動向量預測來計算。已預測運動向量和當前資訊框的運動補償運動向量（motion compensation MV，MC MV）之間的差（殘差運動資料）被熵編碼器890編碼成位元流895。
透過使用熵編碼技術，例如上下文適應性二進位算術編解碼（CABAC）或Huffman編碼，熵編碼器890將各種參數和資料編碼到位元流895中。熵編碼器890將各種頭元素、旗標和已量化變換係數812以及殘差運動資料作為語法元素編碼到位元流895中。反過來，位元流895被存儲在存放設備中或透過諸如網路的通訊介質被傳輸到解碼器。
環內濾波器845對已重構像素資料817執行濾波或者平滑操作，以減少編解碼的偽影，特別是位於像素塊的邊界的偽影(artifacts)。在一些實施例中，環內濾波器845所執行的濾波操作或平滑操作包括DBF、SAO和/或ALF。
第9圖示出了基於來自複數個源的樣本實施具有虛擬邊界的ALF的視訊編碼器800的部分。具體地，該圖示出了視訊編碼器800的環內濾波器845的元件。如圖所示，環內濾波器845接收當前塊（例如，當前CTB）的已重構像素資料817，並生成待存儲在已重構圖像暫存器850中的濾波輸出。輸入像素資料在環內濾波器845中由DBF模組902和SAO模組904處理。由DBF和SAO生成的已處理樣本被提供給ALF模組906。上文第2圖描述了具有DBF、SAO和ALF的環內濾波器200的示例。
ALF模組906生成待添加到當前樣本的校正值，校正值是SAO模組904的輸出。透過將濾波器920應用於與當前樣本相鄰的樣本來生成校正值。熵編碼器890可以在位元流中標示濾波器920的濾波器係數。濾波器920的濾波器抽頭的輸入由濾波器抽頭生成器910提供。
濾波器抽頭生成器910可以從複數個不同的源提供濾波器920所需的相鄰樣本（即濾波器足跡）。複數個樣本源可以包括SAO模組904的輸出、DBF模組902的輸出、作為DBF之前的輸入樣本資料的已重構像素資料817。用於由濾波器抽頭生成器910選擇的複數個樣本源還可以包括當前塊的殘差樣本（已重構殘差819）和當前塊的畫面間或畫面內預測的預測樣本（已預測像素資料813）。在一些實施例中，濾波器抽頭輸入的複數個源還可以包括當前塊的相鄰塊的樣本（由已重構圖像暫存器850提供）。
濾波器抽頭生成器910還可以應用虛擬邊界，使得超出虛擬邊界的樣本將不被用作濾波器920的濾波器抽頭的資料。在一些實施例中，虛擬邊界是在CTU水平邊界上方或下方若干行的水平邊界。在一些實施例中，濾波器抽頭生成器910包括用於存儲濾波器920所需的樣本的線暫存器(line buffer) 915（臨時本機存儲），並且虛擬邊界的使用限製了線暫存器的尺寸。虛擬邊界可以由熵編碼器890來設置。在一些實施例中，濾波器抽頭生成器910執行填充以代替超出虛擬邊界的樣本，並且在被代替樣本的對稱位置處的樣本也可以由填充來代替。超出虛擬邊界的所需樣本的填充過程可參考上文的第5A-B圖。
在一些實施例中，當前樣本和相鄰樣本之間的差用於生成濾波器920的濾波器抽頭輸入。如果相鄰樣本超出虛擬邊界，則濾波器抽頭生成器910可以用零值代替該差。上文的第7A-C圖描述了當相鄰樣本超出虛擬邊界時使用當前樣本和相鄰樣本之間的差來生成濾波器抽頭輸入。
在一些實施例中，如果來自特定源（例如，在DBF之前）的濾波器抽頭的任何所需樣本不可用（例如，超出虛擬邊界），則濾波器抽頭生成器910將丟棄需要相同特定源的樣本的所有濾波器抽頭，除了對應於（菱形）濾波器的中心位置的一個濾波器抽頭，即當前樣本。
因此，將ALF模組906的輸入樣本與它們對應的校正值組合，以生成ALF模組906的輸出，該輸出也是環內濾波器845的輸出。環內濾波器845的輸出被存儲在已重構圖像暫存器850中，用於對後續塊進行編碼。
第10圖示意性地示出了基於虛擬邊界使用來自複數個源的樣本來執行ALF濾波的過程1000。在一些實施例中，實施編碼器800的計算設備的一個或複數個處理單元（例如，處理器）透過執行存儲在電腦可讀介質中的指令來執行過程1000。在一些實施例中，實施編碼器800的電子設備執行過程1000。
編碼器接收（框1010）待編碼作為視訊的當前圖像中的當前像素塊的資料。編碼器接收（框1020）當前塊的當前樣本。當前樣本可以是由諸如SAO和DBF的其他環內濾波器處理的樣本。
編碼器將濾波器應用於當前樣本（框1030），以透過使用來自兩個以上的不同源的複數個相鄰樣本作為濾波器的輸入，並透過排除超出虛擬邊界的樣本被作為濾波器輸入，生成校正值。在一些實施例中，虛擬邊界是在CTU水平邊界上方或下方若干行的水平邊界。來自兩個以上的不同源的複數個相鄰樣本可以包括由DBF濾波的第一樣本和由DBF未濾波的第二樣本。來自兩個以上的不同源的複數個相鄰樣本可以包括（i）應用SAO之前的樣本、（ii）由固定濾波器生成的濾波樣本、（iii）逆變換之後的已重構殘差樣本、（iv）由畫面間預測或畫面內預測生成的預測樣本以及（v）由DBF和SAO處理的樣本中的至少兩個。
在一些實施例中，排除的第一相鄰樣本可以由填充樣本代替，作為濾波器的輸入，並且位於與第一相鄰樣本對稱的濾波器位置處的第二相鄰樣本也由填充樣本代替，作為濾波器的輸入。
在一些實施例中，當第一相鄰樣本超出虛擬邊界時，第一相鄰樣本與當前樣本之間的第一差被設置為零。第一相鄰樣本可以是由DBF未濾波（或在DBF之前）的樣本。在一些實施例中，對於處於與第一相鄰樣本對稱的濾波器位置處的第二相鄰樣本，當第一相鄰樣本超出虛擬邊界時，第二相鄰樣本與當前樣本之間的第二差也被設置為零（即使第二相鄰樣本沒有超出虛擬邊界）。
在一些實施例中，當第一相鄰樣本超出虛擬邊界，並且第一相鄰樣本來自第一源時，虛擬邊界內來自第一源的第二相鄰樣本也被排除作為濾波器的輸入，或者來自第一源的相鄰樣本中沒有一個作為濾波器的輸入。在一些實施例中，如果第二相鄰樣本是當前樣本（或在濾波器的中心位置），則第二相鄰樣本被用作為濾波器的輸入。
編碼器將校正值添加到當前樣本（框1040），作為當前塊的濾波樣本。濾波樣本可以被用作為對當前圖像的複數個後續塊進行編碼的參考。 I V. 示例視訊解碼器
在一些實施例中，編碼器可以在位元流中標示（或生成）一個或複數個語法元素，使得解碼器可以從位元流解析一個或複數個語法元素。
第11圖示出了環內濾波器的示例性視訊編碼器1100。如圖所示，視訊解碼器1100是圖像解碼或視訊解碼電路，其接收位元流1195並將位元流的內容解碼為視訊資訊框的像素資料以供顯示。視訊解碼器1100具有用於解碼位元流1195的若干元件或模組，包括從逆量化模組1111、逆變換模組1110、畫面內預測模組1125、運動補償模組1130、環內濾波器1145、已解碼圖像暫存器1150、運動向量暫存器1165、運動向量預測模組1175和解析器1190中選擇的一些元件。運動補償模組1130是畫面間預測模組1140的一部分。
在一些實施例中，模組1110-1190是由計算設備的一個或複數個處理單元（例如處理器）執行的軟體指令的模組。在一些實施例中，模組1110-1190是由電子裝置的一個或複數個IC實施的硬體電路模組。雖然模組1110-1190被示意為獨立的模組，但這些模組中一些模組可以組合成一個單獨的模組。
解析器1190（或熵解碼器）接收位元流1195，並依據視訊編解碼或圖像編解碼標準定義的語法執行初始解析。已解析語法元素包括各種標頭元素、旗標以及已量化資料（或已量化係數）1112。解析器1190透過使用熵編解碼技術（如上下文適應性二進位算術編解碼（CABAC）或Huffman編碼）解析出各種語法元素。
逆量化模組1111對已量化資料（或已量化係數）1112進行去量化，得到變換係數，逆變換模組1110對變換係數1116進行逆變換，產生已重構殘差1119。已重構殘差1119與來自畫面內預測模組1125或運動補償模組1130的已預測像素資料1113相加，產生已解碼像素資料1117。已解碼像素資料由環內濾波器1145濾波並被存儲在已解碼圖像暫存器1150中。在一些實施例中，已解碼圖像暫存器1150是視訊解碼器1100外部的存儲。在一些實施例中，已解碼圖像暫存器1150是視訊解碼器1100內部的存儲。
畫面內預測模組1125接收來自位元流1195的畫面內預測資料，並依據該資料，從存儲在已解碼圖像暫存器1150中的已解碼像素資料1117中產生已預測像素資料1113。在一些實施例中，已解碼像素資料1117還存儲在線暫存器（未示出）中，用於圖像畫面內預測和空間MV預測。
在一些實施例中，已解碼圖像暫存器1150的內容用於顯示。顯示設備1155檢索已解碼圖像暫存器1150的內容以直接顯示，或者將已解碼圖像暫存器的內容檢索到顯示暫存器。在一些實施例中，顯示設備透過像素傳輸接收來自已解碼圖像暫存器1150的像素值。
依據運動補償MV （MC MV），運動補償模組1130從存儲在已解碼圖像暫存器1150中的已解碼像素資料1117中產生已預測像素資料1113。透過將從位元流1195接收到的殘差運動資料與從運動向量預測模組1175接收到的已預測MV相加，對這些運動補償MV進行解碼。
運動向量預測模組1175基於被生成用於解碼之前視訊資訊框的參考MV，生成已預測MV，例如，用於執行運動補償的運動補償MV。運動向量預測模組1175從運動向量暫存器1165中檢索之前視訊資訊框的參考運動向量。視訊解碼器1100也將被生成用於解碼當前視訊資訊框的運動補償運動向量存儲到運動向量暫存器1165中，作為參考運動向量，以用於產生已預測運動向量。
環內濾波器1145對已解碼像素資料執行濾波或者平滑操作，以減少編解碼的偽影，特別是位於像素塊的邊界的偽影。在一些實施例中，環內濾波器1145所執行的濾波或者平滑操作包括去塊濾波器（deblock filter，DBF）、樣本適應性偏移（sample adaptive offset，SAO）和/或適應性環濾波器（adaptive loop filter，ALF）。
第12圖示出了基於來自複數個源的樣本實施具有虛擬邊界的ALF的視訊解碼器1100的部分。具體地，該圖示出了視訊解碼器1100的環內濾波器1145的元件。如圖所示，環內濾波器1145接收當前塊（例如，當前CTB）的已重構像素資料1117，並生成待存儲在解碼圖像暫存器1150中的濾波輸出。輸入像素資料在環內濾波器1145中由DBF模組1202和SAO模組1204處理。由DBF和SAO生成的已處理樣本被提供給ALF模組1206。上文第2圖描述了具有DBF、SAO和ALF的環內濾波器200的示例。
ALF模組1206生成待添加到當前樣本的校正值，校正值是SAO模組1204的輸出。透過將濾波器1220應用於與當前樣本相鄰的樣本來生成校正值。熵解碼器1190可以解析位元流以接收濾波器1220的濾波器係數。濾波器1220的濾波器抽頭的輸入由濾波器抽頭生成器1210提供。
濾波器抽頭生成器1210可以從複數個不同的源提供濾波器1220所需的相鄰樣本。複數個樣本源可以包括SAO模組1204的輸出、DBF模組1202的輸出、作為DBF之前的輸入樣本資料的已重構像素資料1117。用於由濾波器抽頭生成器1210選擇的複數個樣本源還可以包括當前塊的殘差樣本（已重構殘差1119）和當前塊的畫面間或畫面內預測的預測樣本（已預測像素資料1113）。在一些實施例中，濾波器抽頭輸入的複數個源還可以包括當前塊的相鄰塊的樣本（由解碼圖像暫存器1150提供）。
濾波器抽頭生成器1210還可以應用虛擬邊界，使得超出虛擬邊界的樣本將不被用作濾波器1220的濾波器抽頭的資料。在一些實施例中，虛擬邊界是在CTU水平邊界上方或下方若干行的水平邊界。在一些實施例中，濾波器抽頭生成器1210包括用於存儲濾波器1220所需的樣本的線暫存器1215（臨時本機存儲），並且虛擬邊界的使用限製了線暫存器1215的尺寸。虛擬邊界可以由熵解碼器1190來設置。在一些實施例中，濾波器抽頭生成器1210執行填充以代替超出虛擬邊界的樣本，並且在代替樣本的對稱位置處的樣本也可以由填充來代替。超出虛擬邊界的所需樣本的填充過程可參考上文的第5A-B圖。
在一些實施例中，當前樣本和相鄰樣本之間的差用於生成濾波器1220的濾波器抽頭輸入。如果相鄰樣本超出虛擬邊界，則濾波器抽頭生成器1210可以用零值代替該差。上文的第7A-C圖描述了當相鄰樣本超出虛擬邊界時使用當前樣本和相鄰樣本之間的差來生成濾波器抽頭輸入。
在一些實施例中，如果來自特定源（例如，在DBF之前）的濾波器抽頭的任何所需樣本不可用（例如，超出虛擬邊界），則濾波器抽頭生成器1210將丟棄需要相同特定源的樣本的所有濾波器抽頭，除了對應於（菱形）濾波器的中心位置的一個濾波器抽頭，即當前樣本。
因此，將ALF模組1206的輸入樣本與它們對應的校正值組合，以生成ALF模組1206的輸出，該輸出也是環內濾波器1145的輸出。環內濾波器1145的輸出被存儲在解碼圖像暫存器1150中，用於對後續塊進行解碼。
第13圖示意性地示出了基於虛擬邊界使用來自複數個源的樣本來執行ALF濾波的過程1300。在一些實施例中，實施解碼器1100的計算設備的一個或複數個處理單元（例如，處理器）透過執行存儲在電腦可讀介質中的指令來執行過程1300。在一些實施例中，實施解碼器1100的電子設備執行過程1300。
解碼器接收（框1310）待解碼作為視訊的當前圖像中的當前像素塊的資料。解碼器接收（框1320）當前塊的當前樣本。當前樣本可以是由諸如SAO和DBF的其他環內濾波器處理的樣本。
解碼器將濾波器應用於當前樣本（框1330），以透過使用來自兩個以上的不同源的複數個相鄰樣本作為濾波器的輸入，並透過排除超出虛擬邊界的樣本被作為濾波器輸入，生成校正值。在一些實施例中，虛擬邊界是在CTU水平邊界上方或下方若干像素行的水平邊界。來自兩個以上的不同源的複數個相鄰樣本可以包括由DBF濾波的第一樣本和由DBF未濾波的第二樣本。來自兩個以上的不同源的複數個相鄰樣本可以包括（i）應用SAO之前的樣本、（ii）由固定濾波器生成的濾波樣本、（iii）逆變換之後的已重構殘差樣本、（iv）由畫面間預測或畫面內預測生成的預測樣本以及（v）由DBF和SAO處理的樣本中的至少兩個。
在一些實施例中，排除的第一相鄰樣本可以由填充樣本代替，作為濾波器的輸入，並且位於與第一相鄰樣本對稱的濾波器位置處的第二相鄰樣本也由填充樣本代替，作為濾波器輸入。
在一些實施例中，當第一相鄰樣本超出虛擬邊界時，第一相鄰樣本與當前樣本之間的第一差被設置為零。第一相鄰樣本可以是由DBF未濾波（或在DBF之前）的樣本。在一些實施例中，對於處於與第一相鄰樣本對稱的濾波器位置處的第二相鄰樣本，當第一相鄰樣本超出虛擬邊界時，第二相鄰樣本與當前樣本之間的第二差也被設置為零（即使第二相鄰樣本沒有超出虛擬邊界）。
在一些實施例中，當第一相鄰樣本超出虛擬邊界，並且第一相鄰樣本來自第一源時，虛擬邊界內來自第一源的第二相鄰樣本也被排除作為濾波器的輸入，或者來自第一源的相鄰樣本中沒有一個作為濾波器的輸入。在一些實施例中，如果第二相鄰樣本是當前樣本（或在濾波器的中心位置），則第二相鄰樣本被用作為濾波器的輸入。
解碼器將校正值添加到當前樣本（框1340），作為當前塊的濾波樣本，濾波樣本可以被用作為已重構當前圖像的複數個後續塊的參考。濾波後樣本也可以作為已重構的當前圖像的一部分被提供用於顯示。 IV. 示例電子系統
很多上述的特徵和應用可以被實作為軟體過程，其被指定為記錄在電腦可讀存儲介質（computer readable storage medium）（也被稱為電腦可讀介質）上的指令集。當這些指令由一個或者複數個計算單元或者處理單元（例如，一個或者複數個處理器、處理器核或者其他處理單元）來執行時，則這些指令使得處理單元執行這些指令所表示的動作。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器（flash drive）、隨機存取記憶體（random access memory，RAM）晶片、硬碟、可讀寫可程式設計唯讀記憶體（erasable programmable read only memory，EPROM），電可擦除可程式設計唯讀記憶體（electrically erasable programmable read-only memory，EEPROM）等。電腦可讀介質不包括透過無線或有線連接的載波和電訊號。
在本說明書中，術語「軟體」意味著包括唯讀記憶體中的固件或者存儲在磁存放裝置中的應用程式，應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，複數個軟體發明可以作為更大程式的子部分來實作，而保留不同的軟體發明。在一些實施例中，複數個軟體發明可以作為獨立的程式來實作。最後，一起實作此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍內。在一些實施例中，當被安裝以在一個或者複數個電子系統上進行操作時，軟體程式定義了一個或者複數個特定的機器實作方式，機器實作方式執行和實施軟體程式的操作。
第14圖概念地示出了在本發明一些實施例中實作的電子系統1400。電子系統1400可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA或者其他種類的電子設備。這個電子系統包括各種類型的電腦可讀媒質和用於各種其他類型的電腦可讀媒介的介面。電子系統1400包括匯流排1405、處理單元1410、影像處理單元（graphics-processing unit，GPU）1415、系統記憶體1420、網路1425、唯讀記憶體（read-only memory，ROM）1430、永久存儲設備1435、輸入設備1440和輸出設備1445。
匯流排1405共同地表示與電子系統1400的大量的內部設備通信連接的所有系統匯流排、外設匯流排和晶片組匯流排。例如，匯流排1405透過GPU 1415、ROM 1430、系統記憶體1420、永久存儲設備1435，與處理單元1410通信連接。
對於這些各種記憶體單元，處理單元1410檢索執行的指令和處理的資料，以為了執行本發明的過程。在不同實施例中，處理單元可以是單個處理器或者多核心（multi-core）處理器。某些指令被傳輸GPU 1415和並被其執行。GPU 1415可以卸載各種計算或補充由處理單元1410提供的影像處理。
ROM 1430存儲處理單元1410或者電子系統的其他模組所需要的靜態資料和指令。另一方面，永久存儲設備1435是一種讀寫記憶體設備（read-and-write memory）。這個設備是一種非易失性（non-volatile）記憶體單元，其即使在電子系統1400關閉時也存儲指令和資料。本發明的一些實施例使用大型存放區設備（例如磁片或光碟及其相應的磁碟機）作為永久存儲設備1435。
其他實施例使用卸載式存放裝置設備（如軟碟、快閃記憶體設備等，以及其相應的磁碟機）作為永久存放裝置。與永久存放裝置1435一樣，系統記憶體1420是一種讀寫記憶體設備。然，與存放裝置1435不一樣的是，系統記憶體1420是一種易失性（volatile）讀寫記憶體，例如隨機讀取記憶體。系統記憶體1420存儲一些處理器在運行時需要的指令和資料。在一些實施例中，依據本發明的處理被存儲在系統記憶體1420、永久存放裝置1435和/或唯讀記憶體1430中。例如，各種記憶體單元包括用於依據一些實施例的處理多媒體剪輯的指令。對於這些各種記憶體單元，處理單元1410檢索執行的指令和處理的資料，以為了執行某些實施例的處理。
匯流排1405也連接到輸入設備1440和輸出設備1445。輸入設備1440使得使用者溝通資訊並選擇指令到電子系統上。輸入設備1440包括字母數位元元鍵盤和指點設備（也被稱為「遊標控製設備」），攝像機（如網路攝像機（webcam）），用於接收語音命令的麥克風或類似的設備等。輸出設備1445顯示由電子系統生成的圖像或以其他方式輸出的資料。輸出設備1445包括印表機和顯示裝置，例如陰極射線管（cathode ray tube，CRT）或液晶顯示器（liquid crystal display，LCD），以及揚聲器或類似的音訊輸出設備。一些實施例包括諸如同時用作輸入裝置和輸出設備的觸控式螢幕等設備。
最後，如第14圖所示，匯流排1405也透過網路介面卡（未示出）將電子系統1400耦接到網路1425。在這個方式中，電腦可以是電腦網路（例如，局域網（local area network，LAN）、廣域網路（wide area network，WAN）或者內聯網）或者網路的網路（例如互聯網）的一部分。電子系統1400的任一或者所有元件可以與本發明結合使用。
一些實施例包括電子元件，例如，微處理器、存放裝置和記憶體，其將電腦程式指令存儲到機器可讀介質或者電腦可讀介質（可選地被稱為電腦可讀存儲介質、機器可讀介質或者機器可讀存儲介質）。電腦可讀介質的一些實例包括RAM、ROM、唯讀光碟（read-only compact disc，CD-ROM），可燒錄光碟（recordable compact disc，CD-R）、可讀寫光碟（rewritable compact disc，CD-RW）、唯讀數位通用光碟（read-only digital versatile disc）（例如，DVD-ROM，雙層DVD-ROM）、各種可記錄/可讀寫DVD（例如DVD RAM、DVD-RW、DVD+RW等）、快閃記憶體（如SD卡、迷你SD卡，微SD卡等）、磁性和/或固態硬碟、唯讀和可燒錄藍光®（Blu-Ray®）盤、超高密度光碟和其他任何光學介質或磁介質，以及軟碟。電腦可讀介質可以存儲由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，例如編譯器產生的機器代碼，以及包含由電腦、電子元件或微處理器使用注釋器（interpreter）而執行的高級代碼的檔。
當以上討論主要是指執行軟體的微處理器或多核處理器時，很多上述的功能和應用程式由一個或複數個積體電路執行，如特定應用的積體電路（application specific integrated circuit，ASIC）或現場可程式設計閘陣列（field programmable gate array，FPGA）。在一些實施例中，這種積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件（programmable logic device，PLD），ROM或RAM設備中的軟體。
如本發明的說明書和任一權利要求中所使用，術語「電腦」、「伺服器」、「處理器」和「記憶體」均指電子設備或其他技術設備。這些術語不包括人或群體。為了本說明書的目的，術語顯示或顯示裝置指在電子設備上進行顯示。如本發明的說明書和任一權利要求中所使用，術語「電腦可讀介質」、「電腦可讀媒質」和「機器可讀介質」完全局限於有形的、物理的物體，其以電腦可讀的形式存儲資訊。這些術語不包括任何無線訊號、有線下載訊號和其他任何短暫訊號。
在結合許多具體細節的情況下描述了本發明時，本領域通常知識者將認識到，本發明可以以其他具體形式而被實施，而不脫離本發明的精神。此外，大量的圖（包括第10圖和第13圖）概念性示出了過程。這些過程的具體操作可以不以所示以及所描述的確切順序來被執行。這些具體操作可用不在一個連續的操作系列中被執行，並且不同的具體操作可以在不同的實施例中被執行。另外，過程透過使用幾個子過程而被實作，或者作為更大巨集過程的部分。因此，本領域的技術人員將能理解的是，本發明不受前述說明性細節的限製，而是由申請專利範圍加以界定。 額外說明
本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實作相同的功能。從概念上講，任何實作相同功能的組件的排列實際上是「相關聯的」，以便實作所需的功能。因此，不論結構或中間部件，為實作特定的功能而組合的任何兩個元件被視為「相互關聯」，以實作所需的功能。同樣，任何兩個相關聯的元件被看作是相互「可操作連接」或「可操作耦接」，以實作特定功能。能相互關聯的任何兩個組件也被視為相互「可操作地耦合」以實作特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元件。
此外，關於基本上任何複數和/或單數術語的使用，本領域通常知識者可以依據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本文明確規定了不同的單數/複數排列。
此外，本領域通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作「開放」術語，例如，「包括」應解釋為「包括但不限於」，「有」應理解為「至少有」，「包括」應解釋為「包括但不限於」等。本領域通常知識者可以進一步理解，若計畫介紹特定數量的請求項的內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，請求項可能包含短語「至少一個」和「一個或複數個」，以介紹請求項的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞「a」或「an」介紹請求項的內容，而限製了任何特定的專利範圍。甚至當相同的請求項包括介紹性短語「一個或複數個」或「至少有一個」，不定冠詞，例如「a」或「an」，則應被解釋為表示至少一個或者更多，對於用於介紹權利要求的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的「兩個引用」，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於「A、B和C中的至少一個」的表述的情況下，通常如此表述是為了本領域通常知識者可以理解表述，例如，「系統包括A、B和C中的至少一個」將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中、請求項中或者圖式中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，「A或B」應理解為，「A」，或者「B」，或者「A和B」的可能性。
從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施例不用於限製，申請專利範圍表示真實的範圍和精神。
200,845,1145:環內濾波器 210:已重構或解碼樣本 290:已重構或已解碼圖像暫存器 310:線性菱形濾波器 405:CTU邊界 410:虛擬邊界 710:虛擬邊界 800:視訊編碼器 805:視訊源 808:減法器 809:預測殘差 810:變換模組 811:量化模組 812,1112:已量化係數 813,1113:已預測像素資料 814,1111:逆量化模組 815,1110:逆變換模組 816,1116:變換係數 817,1117:已重構像素資料 819,1119:已重構殘差 820:畫面內估計模組 825,1125:畫面內預測模組 830,1130:運動補償模組 835:運動估計模組 840,1140:畫面間預測模組 850:已重構圖像暫存器 865,1165:MV暫存器 875,1175:MV預測模組 890:熵編碼器 895,1195:位元流 902:DBF模組 904:SAO模組 906:ALF模組 910,1210:濾波器抽頭生成器 915,1215:線暫存器 920,1220:濾波器 1000,1300:過程 1010,1020,1030,1040,1310,1320,1330,1340:框 1100:視訊解碼器 1117:已解碼像素資料 1125:畫面內預測模組 1150:已解碼圖像暫存器 1155:顯示設備 1190:熵解碼器 1202:DBF模組 1204:SAO模組 1206:ALF模組 1400:電子系統 1410:處理單元 1420:系統記憶體 1425:網路 1430:唯讀記憶體 1435:永久存儲設備 1440:輸入設備 1445:輸出設備
圖式被包含，以為了提供對本發明的進一步理解，並被納入到本發明中並構成本發明的一部分。圖式說明瞭本發明的實施例，並與說明書一起用於解釋本發明的原理。值得注意的是，圖式不一定是按比例繪製的，因為為了清楚地說明本發明的概念，一些部件可能會顯示出與實際實施例中的尺寸不成比例。 第1圖示出了用於適應性環濾波器（ALF）的兩種菱形濾波器形狀。 第2圖示出了環濾波器的系統級示意圖，其中已重構或解碼樣本由去塊濾波器(Deblock Filter，DBF)、樣本適應性偏移(Sample Adaptive Offset，SAO)和適應性濾波器(Adaptive Filter，ALF)進行濾波或處理。 第3圖示出了在跨分量ALF（cross-component-ALF, CC-ALF）中的濾波。 第4A-B圖示出了在水平CTU邊界附近的虛擬邊界處的修改的塊分類。 第5A-B圖示意性地示出了虛擬邊界處的填充操作，用於生成ALF濾波的濾波器抽頭。 第6A-B圖示出了應用於DBF之前的樣本的濾波器形狀。 第7A-C圖示意性地示出了當使用當前樣本和相鄰樣本之間的差來生成濾波器抽頭輸入時用於ALF濾波的跨虛擬邊界的對稱和非對稱處理。 第8圖示出了實施環內濾波器的示例性視訊編碼器。 第9圖示出了基於來自複數個源的樣本實施具有虛擬邊界的ALF的視訊編碼器的部分。 第10圖示意性地示出了基於虛擬邊界使用來自複數個源的樣本來執行ALF濾波的過程。 第11圖示出了實施環內濾波器的示例性視訊解碼器。 第12圖示出了基於來自複數個源的樣本實施具有虛擬邊界的ALF的視訊解碼器的部分。 第13圖示意性地示出了基於虛擬邊界使用來自複數個源的樣本來執行ALF濾波的過程。 第14圖示意性地示出了實施本申請的一些實施例的電子系統。
1300:過程
1310,1320,1330,1340:框

Claims (14)

  1. 一種視訊編解碼方法，包括： 接收待編碼或解碼為視訊的當前圖像的當前塊的像素塊的資料； 接收該當前塊的當前樣本； 將濾波器應用於該當前樣本，以生成校正值，其中： 來自兩個以上的不同源(different sources)的複數個相鄰樣本被用作該濾波器的輸入， 當第一相鄰樣本在虛擬邊界內時，該第一相鄰樣本被用作該濾波器的輸入， 當該第一相鄰樣本超出該虛擬邊界時，該第一相鄰樣本被排除作為該濾波器的輸入；以及 將該校正值添加到該當前樣本，作為該當前塊的濾波樣本(filtered sample)。
  2. 如請求項1所述之視訊編解碼方法，其中，該濾波器是視訊編解碼系統的適應性環濾波器（Adaptive Loop Filter，ALF），其中，該當前塊的該濾波樣本被提供用於對該當前圖像的複數個後續塊進行編解碼。
  3. 如請求項1所述之視訊編解碼方法，其中，來自該兩個以上的不同源的複數個相鄰樣本包括由去塊濾波器(Deblock Filter，DBF)濾波的第一樣本和由該去塊濾波器未濾波的第二樣本。
  4. 如請求項1所述之視訊編解碼方法，其中，來自該兩個以上的不同源的複數個相鄰樣本包括如下中的至少兩個： （i）應用樣本適應性偏移(Sample Adaptive Offset，SAO)之前的樣本， （ii）由固定濾波器生成的濾波樣本， （iii）逆變換之後的已重構殘差樣本， （iv）由畫面間預測或畫面內預測生成的預測樣本(predicted sample)、以及 （v）由去塊濾波器和該樣本適應性偏移處理過的樣本。
  5. 如請求項1所述之視訊編解碼方法，其中，排除的第一相鄰樣本由填充樣本(padded sample)代替，作為該濾波器的輸入。
  6. 如請求項5所述之視訊編解碼方法，其中，位於與該第一相鄰樣本對稱的濾波器位置處的第二相鄰樣本由該填充樣本代替，作為該濾波器的輸入。
  7. 如請求項1所述之視訊編解碼方法，其中，當該第一相鄰樣本超出該虛擬邊界時，該第一相鄰樣本與該當前樣本之間的第一差被設置為零。
  8. 如請求項7所述之視訊編解碼方法，其中，第二相鄰樣本位於與該第一相鄰樣本對稱的濾波器位置處，其中，當該第一相鄰樣本超出該虛擬邊界時，該第二相鄰樣本與該當前樣本之間的第二差被設置為零。
  9. 如請求項1所述之視訊編解碼方法，其中，當該第一相鄰樣本超出該虛擬邊界，並且該第一相鄰樣本來自第一源時，該虛擬邊界內來自該第一源的第二相鄰樣本也被排除作為該濾波器的輸入。
  10. 如請求項9所述之視訊編解碼方法，其中，如果該第二相鄰樣本處於該當前樣本的位置，則該第二相鄰樣本被用作該濾波器的輸入。
  11. 如請求項9所述之視訊編解碼方法，其中，來自該第一源的所有樣本被排除用作該濾波器的輸入。
  12. 一種電子設備，包括： 視訊編解碼器電路，用於執行複數個操作，包括： 接收待編碼或解碼為視訊的當前圖像的當前塊的像素塊的資料； 接收該當前塊的當前樣本； 將濾波器應用於該當前樣本，以生成校正值，其中： 來自兩個以上的不同源的複數個相鄰樣本被用作該濾波器的輸入， 當第一相鄰樣本在虛擬邊界內時，該第一相鄰樣本被用作該濾波器的輸入， 當該第一相鄰樣本超出該虛擬邊界時，該第一相鄰樣本被排除作為該濾波器的輸入；以及 將該校正值添加到該當前樣本，作為該當前塊的濾波樣本。
  13. 一種視訊解碼方法，包括： 接收待解碼為視訊的當前圖像的當前塊的像素塊的資料； 接收該當前塊的當前樣本； 將濾波器應用於該當前樣本，以生成校正值，其中： 來自兩個以上的不同源的複數個相鄰樣本被用作該濾波器的輸入， 當第一相鄰樣本在虛擬邊界內時，該第一相鄰樣本被用作該濾波器的輸入， 當該第一相鄰樣本超出該虛擬邊界時，該第一相鄰樣本被排除作為該濾波器的輸入； 將該校正值添加到該當前樣本，作為該當前塊的濾波樣本；以及 提供該濾波樣本作為用於重構該當前圖像的複數個後續塊的參考。
  14. 一種視訊編碼方法，包括： 接收待編碼為視訊的當前圖像的當前塊的像素塊的資料； 接收該當前塊的當前樣本； 將濾波器應用於該當前樣本，以生成校正值，其中： 來自兩個以上的不同源的複數個相鄰樣本被用作該濾波器的輸入， 當第一相鄰樣本在虛擬邊界內時，該第一相鄰樣本被用作該濾波器的輸入， 當該第一相鄰樣本超出該虛擬邊界時，該第一相鄰樣本被排除作為該濾波器的輸入； 將該校正值添加到該當前樣本，作為該當前塊的濾波樣本；以及 提供該濾波樣本作為用於編碼該當前圖像的複數個後續塊的參考。
TW112126394A 2022-07-15 2023-07-14 具有虛擬邊界和多樣本源的適應性環濾波器 TW202412521A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263368509P 2022-07-15 2022-07-15
US63/368,509 2022-07-15
PCT/CN2023/107515 WO2024012576A1 (en) 2022-07-15 2023-07-14 Adaptive loop filter with virtual boundaries and multiple sample sources
WOPCT/CN2023/107515 2023-07-14

Publications (1)

Publication Number Publication Date
TW202412521A true TW202412521A (zh) 2024-03-16

Family

ID=89535659

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112126394A TW202412521A (zh) 2022-07-15 2023-07-14 具有虛擬邊界和多樣本源的適應性環濾波器

Country Status (2)

Country Link
TW (1) TW202412521A (zh)
WO (1) WO2024012576A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
CN109600611B (zh) * 2018-11-09 2021-07-13 北京达佳互联信息技术有限公司 环路滤波方法、环路滤波装置、电子设备和可读介质
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
US11375221B2 (en) * 2020-02-12 2022-06-28 Tencent America LLC Method and apparatus for cross-component filtering
KR20220163401A (ko) * 2020-03-29 2022-12-09 엘지전자 주식회사 인루프 필터링 기반 영상 코딩 장치 및 방법

Also Published As

Publication number Publication date
WO2024012576A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
JP7389251B2 (ja) 輝度の差分を用いるクロスコンポーネント適応ループフィルタ
JP7401666B2 (ja) クロス成分適応ループフィルタ
US11778218B2 (en) Method and apparatus for cross-component filtering
JP7480303B2 (ja) ビデオ符号化のための方法並びに、その装置、及びコンピュータプログラム
US11509892B2 (en) Apparatus and method for filtering in video coding
JP7393550B2 (ja) クロス成分適応ループフィルタリングのためのサンプルパディング
JP2024099825A (ja) ビデオフィルタリングのための方法及び装置
JP2023520915A (ja) 所定のフィルタによるサンプルオフセット
JP2023515506A (ja) ビデオ・フィルタリングのための方法および装置
KR20220100069A (ko) 비디오 필터링에서의 오프셋을 위한 방법 및 장치
US20230126791A1 (en) Scaling an output offset value in a cross-component sample offset filter
JP2024020420A (ja) 適応ループフィルタリングのための境界位置
US20230156232A1 (en) Adaptive application of generalized sample offset
CN116888963A (zh) 广义样本偏移的自适应应用
TW202412521A (zh) 具有虛擬邊界和多樣本源的適應性環濾波器
CN118631994A (zh) 用于在视频编解码中进行滤波的方法和设备
CN115606182A (zh) 使用增强二次变换的编解码视频处理
TW202412520A (zh) 具有適應性濾波強度的適應性環路濾波器
WO2024032725A1 (en) Adaptive loop filter with cascade filtering
US12034978B2 (en) Lower-complexity sample offset filter
US20240298037A1 (en) Cross-component sample adaptive offset
TW202349953A (zh) 視訊編解碼方法及其裝置
TW202412524A (zh) 使用複數條參考線進行預測
TW202404354A (zh) 利用卷積模型的預測改進
TW202416713A (zh) 仿射候選細化