TW202213996A

TW202213996A - 用於視頻譯碼的濾波程序

Info

Publication number: TW202213996A
Application number: TW110135680A
Authority: TW
Inventors: 馬塔卡茲維克茲; 王鴻滔; 陳建樂; 梵卡達梅荷沙契特阿納德柯圖
Original assignee: 美商高通公司
Priority date: 2020-09-29
Filing date: 2021-09-24
Publication date: 2022-04-01
Also published as: WO2022072239A1; EP4222953A1; JP2023542840A; CN116235494A; US20230283772A1; US20220103816A1; BR112023004483A2; KR20230078653A; US11743459B2

Abstract

一種用於對經解碼的視頻資料進行濾波的示例設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理器，其在電路中實現並且被配置為：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於經解碼的區塊以形成經濾波的區塊；將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將經細化的經濾波的區塊的樣本與經解碼的區塊的對應樣本進行組合。一個或多個處理器還可以在對區塊進行解碼之前對區塊進行編碼。一個或多個處理器可以例如在包括區塊的圖片的圖片標頭中對表示縮放因子的語法元素的值進行編碼或解碼。

Description

用於視頻譯碼的濾波程序

本申請主張於2020年9月29日遞交的美國臨時申請No. 63/085,094的權益，上述申請的全部內容透過引用的方式併入本文。

本公開內容涉及視頻編碼和視頻解碼。

數位視頻能力可以被合併到廣範圍的設備中，包括數位電視機、數位直播系統、無線廣播系統、個人數位助理（PDA）、膝上型計算機或桌上型計算機、平板計算機、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放器、視頻遊戲設備、視頻遊戲控制台、蜂巢式或衛星無線電話、所謂的“智慧型電話”、視頻電話會議設備、視頻串流設備等。數位視頻設備實現視頻譯碼技術（諸如在透過MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4（第10部分，進階視頻譯碼（AVC））、ITU-T H.265/高效率視頻譯碼（HEVC）定義的標準以及這樣的標準的擴展中描述的那些技術）。透過實現這樣的視頻譯碼技術，視頻設備可以更高效地發送、接收、編碼、解碼和/或儲存數位視頻資訊。

視頻譯碼技術包括空間（圖片內（intra-picture））預測和/或時間（圖片間（inter-picture））預測以減少或去除在視頻序列中固有的冗餘。對於基於區塊的視頻譯碼，視頻切片（例如，視頻圖片或視頻圖片的一部分）可以被分割為視頻區塊，視頻區塊還可以被稱為譯碼樹單元（CTU）、譯碼單元（CU）和/或譯碼節點。圖片的經幀內譯碼（I）的切片中的視頻區塊是使用相對於相同圖片中的相鄰區塊中的參考樣本的空間預測來編碼的。圖片的經幀間譯碼（P或B）的切片中的視頻區塊可以使用相對於相同圖片中的相鄰區塊中的參考樣本的空間預測或者相對於其它參考圖片中的參考樣本的時間預測。圖片可以被稱為幀，以及參考圖片可以被稱為參考幀。

概括而言，本公開內容描述用於對視頻資料進行濾波的技術。具體地，本公開內容描述應用於失真圖片的濾波程序的技術。本公開內容的濾波程序可以是基於神經網路技術的，以及可以在進階視頻編解碼器（諸如多功能視頻譯碼（VVC）標準的擴展、下一代視頻譯碼標準和/或任何其它視頻編解碼器）的上下文中使用。

在一個示例中，一種對經解碼的視頻資料進行濾波的方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

在另一示例中，一種用於對經解碼的視頻資料進行濾波的設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理器，其在電路中實現並且被配置為：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

在另一示例中，一種計算機可讀儲存媒體具有儲存在其上的指令，所述指令在被執行時使得處理器進行以下操作：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

在另一示例中，一種用於對經解碼的視頻資料進行濾波的設備包括：用於對視頻資料的區塊進行解碼以形成經解碼的區塊的構件；用於將濾波器應用於所述經解碼的區塊以形成經濾波的區塊的構件；用於將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊的構件；以及用於將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合的構件。

在圖式和下文的描述中闡述一個或多個示例的細節。根據描述、圖式和申請專利範圍，其它特徵、目的和優點將是顯而易見的。

概括而言，本公開內容描述涉及對經解碼的視頻資料進行濾波的技術。通常，視頻解碼器可以對視頻資料的區塊進行解碼，例如，使用幀間/幀內預測來產生預測區塊，以及然後將預測區塊與經解碼的殘差區塊組合。視頻編碼器可以對視頻資料的區塊進行編碼，然後以基本上類似於解碼器的方式對區塊進行解碼，使得在執行預測編碼時，經由編碼程序引入的任何失真也在視頻編碼器處被複製。

此外，視頻編碼器和視頻解碼器可以被配置為對視頻資料的經解碼的區塊進行濾波。例如，視頻編碼器和視頻解碼器可以以相同的方式執行“迴路內”濾波，使得在執行後續預測譯碼（編碼或解碼）時，視頻資料的經濾波的經解碼的區塊被用於參考。這樣的濾波器可以包括例如自適應迴路濾波器（ALF）、基於神經網路（NN）的濾波器等。

預定義濾波器通常是在資料庫中的大量視頻和圖像資料上建構或訓練的。雖然所述建構程序可能導致針對一般視頻資料的最佳化濾波器，但是可能存在可以針對視頻資料改進濾波器的輸出的特定情況。本公開內容描述可以用於改進對經解碼的視頻資料的濾波的技術。

概括而言，本公開內容的技術包括：對視頻資料進行解碼，將濾波器應用於經解碼的視頻資料，然後將縮放因子應用於經濾波的經解碼的視頻資料。縮放因子可以改進濾波的結果。例如，視頻編碼器可以例如使用速率-失真最佳化（RDO）程序來決定縮放因子。視頻編碼器可以針對視頻資料的切片、視頻資料的圖片、視頻資料的圖片序列、在區塊等級（例如，譯碼樹單元（CTU））等決定縮放因子。因此，視頻編碼器可以對表示縮放因子的資料進行編碼。視頻編碼器還可以根據本公開內容的技術來對指示是否執行濾波細化的資料進行編碼。然後，視頻編碼器可以將縮放因子應用於經濾波、解碼的視頻資料，以及將所得的經細化、濾波、解碼的視頻資料儲存在解碼圖片緩衝器（DPB）中。

類似地，視頻解碼器可以接收指示是否執行濾波細化的資料。當資料指示視頻解碼器要執行濾波細化時，視頻解碼器可以對表示縮放因子的資料（例如，在切片標頭、自適應參數集（APS）、圖片標頭、圖片參數集（PPS）、區塊標頭（例如，CTU標頭）等中）進行解碼。然後，視頻解碼器可以將縮放因子應用於經濾波、解碼的視頻資料，以及將所得的經細化的經濾波、解碼的視頻資料儲存在DPB中。視頻解碼器還可以從DPB輸出經細化的經濾波、解碼的視頻資料，作為用於顯示的目的的輸出解碼視頻資料。

以這種方式，可以使用縮放因子改進經濾波的資料。因此，經細化、濾波的資料可以更準確地反映視頻編碼器最初接收到的原始視頻資料。照此，經細化、濾波的資料可以改進對後續視頻資料的預測，從而降低與經編碼的視頻位元串流相關聯的位元率。此外，經細化、濾波的資料可以具有減少的失真，從而對於觀看所顯示的視頻資料的用戶來說更具視覺愉悅性。

圖1是示出可以執行本公開內容的技術的示例視頻編碼和解碼系統100的方塊圖。概括而言，本公開內容的技術涉及對視頻資料進行譯碼（coding）（編碼（encoding）和/或解碼（decoding））。通常，視頻資料包括用於處理視頻的任何資料。因此，視頻資料可以包括原始的未經編碼的視頻、經編碼的視頻、經解碼（例如，經重建）的視頻、以及視頻元資料（例如，信令資料）。

如圖1所示，在所述示例中，系統100包括來源設備102，來源設備102提供要被目的地設備116解碼和顯示的、經編碼的視頻資料。具體地，來源設備102經由計算機可讀媒體110來將視頻資料提供給目的地設備116。來源設備102和目的地設備116可以包括寬範圍的設備中的任何設備，包括桌上型計算機、筆記本計算機（即，膝上型計算機）、行動設備、平板計算機、機上盒、電話手機（諸如智慧型電話）、電視機、相機、顯示設備、數位媒體播放器、視頻遊戲控制台、視頻串流式傳輸設備、廣播接收機設備等。在一些情況下，來源設備102和目的地設備116可以被配備用於無線通信，以及因此可以被稱為無線通信設備。

在圖1的示例中，來源設備102包括視頻來源104、記憶體106、視頻編碼器200以及輸出介面108。目的地設備116包括輸入介面122、視頻解碼器300、記憶體120以及顯示設備118。根據本公開內容，來源設備102的視頻編碼器200和目的地設備116的視頻解碼器300可以被配置為應用用於對視頻資料進行濾波的技術。因此，來源設備102表示視頻編碼設備的示例，而目的地設備116表示視頻解碼設備的示例。在其它示例中，來源設備和目的地設備可以包括其它組件或排列。例如，來源設備102可以從諸如外部相機的外部視頻來源接收視頻資料。同樣，目的地設備116可以與外部顯示設備對接，而不是包括整合的顯示設備。

如圖1中所示的系統100僅是一個示例。通常，任何數位視頻編碼和/或解碼設備可以執行用於對視頻資料進行濾波的技術。來源設備102和目的地設備116僅是這樣的譯碼設備的示例，其中，來源設備102產生經編碼的視頻資料以用於傳輸給目的地設備116。本公開內容將“譯碼”設備指為執行對資料的譯碼（例如，編碼和/或解碼）的設備。因此，視頻編碼器200和視頻解碼器300分別表示譯碼設備（具體地，視頻編碼器和視頻解碼器）的示例。在一些示例中，來源設備102和目的地設備116可以以基本上對稱的方式進行操作，使得來源設備102和目的地設備116中的每一者包括視頻編碼和解碼組件。因此，系統100可以支援在來源設備102與目的地設備116之間的單向或雙向視頻傳輸，例如，以用於視頻串流式傳輸、視頻回放、視頻廣播或視頻電話。

通常，視頻來源104表示視頻資料（即原始的未經編碼的視頻資料）的來源，以及將視頻資料的依序的一系列圖片（還被稱為“幀”）提供給視頻編碼器200，視頻編碼器200對用於圖片的資料進行編碼。來源設備102的視頻來源104可以包括視頻擷取設備，諸如攝影機、包含先前擷取的原始視頻的視頻檔案庫、和/或用於從視頻內容提供者接收視頻的視頻饋送介面。作為另外的替代方式，視頻來源104可以產生基於計算機圖形的資料作為來源視頻，或者產生即時視頻、被存檔的視頻和計算機產生的視頻的組合。在每種情況下，視頻編碼器200可以對被擷取的、預擷取的或計算機產生的視頻資料進行編碼。視頻編碼器200可以將圖片從所接收的次序（有時被稱為“顯示次序”）重新排列為用於譯碼的譯碼次序。視頻編碼器200可以產生包括經編碼的視頻資料的位元串流。然後，來源設備102可以經由輸出介面108將經編碼的視頻資料輸出到計算機可讀媒體110上，以便由例如目的地設備116的輸入介面122接收和/或提取。

來源設備102的記憶體106和目的地設備116的記憶體120表示通用記憶體。在一些示例中，記憶體106、120可以儲存原始視頻資料，例如，來自視頻來源104的原始視頻以及來自視頻解碼器300的原始的經解碼的視頻資料。另外或替代地，記憶體106、120可以儲存可由例如視頻編碼器200和視頻解碼器300分別執行的軟體指令。儘管記憶體106和記憶體120在所述示例中被示為與視頻編碼器200和視頻解碼器300分開，但是應當理解的是，視頻編碼器200和視頻解碼器300還可以包括用於在功能上類似或等效目的的內部記憶體。此外，記憶體106、120可以儲存例如從視頻編碼器200輸出並且輸入到視頻解碼器300的經編碼的視頻資料。在一些示例中，記憶體106、120的部分可以被分配為一個或多個視頻緩衝器，例如，以儲存原始的經解碼和/或經編碼的視頻資料。

計算機可讀媒體110可以表示能夠將經編碼的視頻資料從來源設備102傳送給目的地設備116的任何類型的媒體或設備。在一個示例中，計算機可讀媒體110表示通信媒體，其使得來源設備102能夠例如經由射頻網路或基於計算機的網路，來即時地向目的地設備116直接地發送經編碼的視頻資料。輸出介面108可以根據諸如無線通信協定的通信標準來對包括經編碼的視頻資料的傳輸信號進行調變，以及輸入介面122可以根據諸如無線通信協定的通信標準來對所接收的傳輸資訊進行解調。通信媒體可以包括任何無線或有線通信媒體，例如，射頻（RF）頻譜或一條或多條實體傳輸線。通信媒體可以形成諸如以下各項的基於分組的網路的一部分：區域網路、廣域網路、或諸如網際網路的全球網路。通信媒體可以包括路由器、交換機、基地台、或對於促進從來源設備102到目的地設備116的通信而言可以有用的任何其它設備。

在一些示例中，來源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地，目的地設備116可以經由輸入介面122從儲存設備112存取經編碼的資料。儲存設備112可以包括各種各樣的分散式或本地存取的資料儲存媒體中的任何一者，諸如硬碟驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼的視頻資料的任何其它適當的數位儲存媒體。

在一些示例中，來源設備102可以將經編碼的視頻資料輸出到檔案伺服器114或者可以儲存由來源設備102產生的經編碼的視頻資料的另一中間儲存設備。目的地設備116可以經由串流式傳輸或下載來從檔案伺服器114存取被儲存的視頻資料。

檔案伺服器114可以是能夠儲存經編碼的視頻資料並且將所述經編碼的視頻資料發送給目的地設備116的任何類型的伺服器設備。檔案伺服器114可以表示網頁伺服器（例如，用於網站）、被配置為提供檔案傳輸協定服務（諸如檔案傳輸協定（FTP）或基於單向傳輸的檔案遞送（FLUTE）協定）的伺服器、內容遞送網路（CDN）設備、超文件傳輸協定（HTTP）伺服器、多媒體廣播多播服務（MBMS）或增強型MBMS（eMBMS）伺服器、和/或網路附接儲存（NAS）設備。檔案伺服器114可以另外或替代地實現一種或多種HTTP串流式傳輸協定，諸如基於HTTP的動態自適應串流式傳輸（DASH）、HTTP即時串流式傳輸（HLS）、即時串流式傳輸協定（RTSP）、HTTP動態串流式傳輸等。

目的地設備116可以透過任何標準資料連接（包括網際網路連接）來從檔案伺服器114存取經編碼的視頻資料。這可以包括適於存取被儲存在檔案伺服器114上的經編碼的視頻資料的無線信道（例如，Wi-Fi連接）、有線連接（例如，數位用戶線（DSL）、電纜數據機等）、或這兩者的組合。輸入介面122可以被配置為根據上文討論的用於從檔案伺服器114提取或接收媒體資料的各種協定或者用於提取媒體資料的其它這樣的協定中的任何一者或多者進行操作。

輸出介面108和輸入介面122可以表示無線發射機/接收機、數據機、有線連網組件（例如，乙太網卡）、根據各種各樣的IEEE 802.11標準中的任何一種標準進行操作的無線通信組件、或其它實體組件。在其中輸出介面108和輸入介面122包括無線組件的示例中，輸出介面108和輸入介面122可以被配置為根據蜂巢式通信標準（諸如4G、4G-LTE（長期演進）、改進的LTE、5G等）來傳輸資料（諸如經編碼的視頻資料）。在其中輸出介面108包括無線發射機的一些示例中，輸出介面108和輸入介面122可以被配置為根據其它無線標準（諸如IEEE 802.11規範、IEEE 802.15規範（例如，ZigBee™）、Bluetooth™標準等）來傳輸資料（諸如經編碼的視頻資料）。在一些示例中，來源設備102和/或目的地設備116可以包括相應的單晶片系統（SoC）設備。例如，來源設備102可以包括用於執行被賦予視頻編碼器200和/或輸出介面108的功能的SoC設備，以及目的地設備116可以包括用於執行被賦予視頻解碼器300和/或輸入介面122的功能的SoC設備。

本公開內容的技術可以應用於視頻譯碼，以支援各種各樣的多媒體應用中的任何一者，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流式視頻傳輸（諸如基於HTTP的動態自適應串流式傳輸（DASH））、被編碼到資料儲存媒體上的數位視頻、對被儲存在資料儲存媒體上的數位視頻的解碼、或其它應用。

目的地設備116的輸入介面122從計算機可讀媒體110（例如，通信媒體、儲存設備112、檔案伺服器114等）接收經編碼的視頻位元串流。經編碼的視頻位元串流可以包括由視頻編碼器200定義的諸如以下語法元素的信令資訊（其還被視頻解碼器300使用）：所述語法元素具有描述視頻區塊或其它譯碼單元（例如，切片、圖片、圖片組、序列等）的特性和/或處理的值。顯示設備118將經解碼的視頻資料的經解碼的圖片顯示給用戶。顯示設備118可以表示各種各樣的顯示設備中的任何一者，諸如液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器、或另一種類型的顯示設備。

儘管在圖1中未示出，但是在一些示例中，視頻編碼器200和視頻解碼器300可以各自與音頻編碼器和/或音頻解碼器整合，以及可以包括適當的MUX-DEMUX單元或其它硬體和/或軟體，以處理包括公共資料串流中的音頻和視頻兩者的經多工的串流。如果適用，MUX-DEMUX單元可以遵循ITU H.223多工器協定或其它協定（諸如用戶資料報協定（UDP））。

視頻編碼器200和視頻解碼器300各自可以被實現為各種各樣的適當的編碼器和/或解碼器電路中的任何一者，諸如一個或多個微處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、場域可程式化閘陣列（FPGA）、離散邏輯、軟體、硬體、韌體、或其任何組合。當所述技術部分地在軟體中實現時，設備可以將用於軟體的指令儲存在適當的非暫時性計算機可讀媒體中，以及使用一個或多個處理器在硬體中執行指令以執行本公開內容的技術。視頻編碼器200和視頻解碼器300中的每一者可以被包括在一個或多個編碼器或解碼器中，編碼器或解碼器中的任一者可以被整合為相應設備中的組合編碼器/解碼器（CODEC）的一部分。包括視頻編碼器200和/或視頻解碼器300的設備可以包括積體電路、微處理器、和/或無線通信設備（諸如蜂巢式電話）。

視頻編碼器200和視頻解碼器300可以根據視頻譯碼標準（諸如ITU-T H.265（還被稱為高效率視頻譯碼（HEVC）標準）或對其的擴展（諸如多視圖或可縮放視頻譯碼擴展））進行操作。替代地，視頻編碼器200和視頻解碼器300可以根據其它專有或行業標準（諸如ITU-T H.266標準，還被稱為多功能視頻譯碼（VVC））進行操作。VVC標準的草案是在以下項中描述的：Bross等人，“Versatile Video Coding (草案10)”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組（JVET），透過電話會議的第18次會議，2020年6月22日-7月1日，JVET-S2001-vA（下文中稱為“VVC”）。然而，本公開內容的技術不限於任何特定的譯碼標準。

通常，視頻編碼器200和視頻解碼器300可以執行對圖片的基於區塊的譯碼。用語“區塊”通常指包括要被處理的（例如，在編碼和/或解碼程序中要被編碼、被解碼或以其它方式使用的）資料的結構。例如，區塊可以包括亮度和/或色度資料的樣本的二維矩陣。通常，視頻編碼器200和視頻解碼器300可以對以YUV（例如，Y、Cb、Cr）格式表示的視頻資料進行譯碼。也就是說，並不是對用於圖片的樣本的紅色、綠色和藍色（RGB）資料進行譯碼，視頻編碼器200和視頻解碼器300可以對亮度和色度分量進行譯碼，其中，色度分量可以包括紅色色相和藍色色相色度分量兩者。在一些示例中，視頻編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示，以及視頻解碼器300將YUV表示轉換為RGB格式。替代地，預處理和後處理單元（未示出）可以執行這些轉換。

概括而言，本公開內容可以涉及對圖片的譯碼（例如，編碼和解碼）以包括對圖片的資料進行編碼或解碼的程序。類似地，本公開內容可以涉及對圖片的區塊的譯碼以包括對用於區塊的資料進行編碼或解碼（例如，預測和/或殘差譯碼）的程序。經編碼的視頻位元串流通常包括用於表示譯碼決策（例如，譯碼模式）以及將圖片分割為區塊的語法元素的一系列值。因此，關於對圖片或區塊進行譯碼的參考通常應當被理解為對用於形成圖片或區塊的語法元素的值進行譯碼。

HEVC定義各種區塊，包括譯碼單元（CU）、預測單元（PU）和轉換單元（TU）。根據HEVC，視頻譯碼器（coder）（諸如視頻編碼器200）根據四元樹結構來將譯碼樹單元（CTU）分割為CU。也就是說，視頻譯碼器將CTU和CU分割為四個相等的、不重疊的正方形，以及四元樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為“葉節點”，以及這樣的葉節點的CU可以包括一個或多個PU和/或一個或多個TU。視頻譯碼器可以進一步分割PU和TU。例如，在HEVC中，殘差四元樹（RQT）表示對TU的分區。在HEVC中，PU表示幀間預測資料，而TU表示殘差資料。經幀內預測的CU包括幀內預測資訊，諸如幀內模式指示。

作為另一示例，視頻編碼器200和視頻解碼器300可以被配置為根據VVC進行操作。根據VVC，視頻譯碼器（諸如視頻編碼器200）將圖片分割為多個譯碼樹單元（CTU）。視頻編碼器200可以根據樹結構（諸如四元樹-二元樹（QTBT）結構或多類型樹（MTT）結構）分割CTU。QTBT結構去除多種分割類型的概念，諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個等級：根據四元樹分割而被分割的第一等級、以及根據二元樹分割而被分割的第二等級。QTBT結構的根節點對應於CTU。二元樹的葉節點對應於譯碼單元（CU）。

在MTT分割結構中，可以使用四元樹（QT）分割、二元樹（BT）分割以及一個或多個類型的三叉樹（triple tree，TT）分割（還被稱為三元樹（ternary tree，TT））來對區塊進行分割。三叉樹或三元樹分割是其中區塊被分為三個子區塊的分割。在一些示例中，三叉樹或三元樹分割將區塊劃分為三個子區塊，而不透過中心劃分原始區塊。MTT中的分割類型（例如，QT、BT和TT）可以是對稱的或不對稱的。

在一些示例中，視頻編碼器200和視頻解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每一者，而在其它示例中，視頻編碼器200和視頻解碼器300可以使用兩個或更多個QTBT或MTT結構，諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構（或者用於相應色度分量的兩個QTBT/MTT結構）。

視頻編碼器200和視頻解碼器300可以被配置為使用每HEVC的四元樹分割、QTBT分割、MTT分割、或其它分割結構。為了解釋的目的，關於QTBT分割給出本公開內容的技術的描述。然而，應當理解的是，本公開內容的技術還可以應用於被配置為使用四元樹分割或者還使用其它類型的分割的視頻譯碼器。

在一些示例中，CTU包括亮度樣本的譯碼樹區塊（CTB）、具有三個樣本陣列的圖片的色度樣本的兩個對應的CTB、或者單色圖片或使用三個分別的色彩平面和用於對樣本進行譯碼的語法結構來譯碼的圖片的樣本的CTB。CTB可以是樣本的NxN區塊（針對N的某個值），使得將分量劃分為CTB是一種分割。分量是來自以4:2:0、4:2:2或4:4:4的色彩格式組成圖片的三個陣列（一個亮度和兩個色度）中的一者的陣列或單個樣本，或者是以單色格式組成圖片的陣列或陣列的單個樣本。在一些示例中，譯碼區塊是樣本的M×N區塊（針對M和N的某些值），使得將CTB劃分成譯碼區塊是一種分割。

可以以各種方式在圖片中對區塊（例如，CTU或CU）進行分組。作為一個示例，磚塊（brick）可以指圖片中的特定瓦片（tile）內的CTU列的矩形區域。瓦片可以是圖片中的特定瓦片行和特定瓦片列內的CTU的矩形區域。瓦片行指CTU的矩形區域，其具有等於圖片的高度的高度以及透過語法元素（例如，諸如在圖片參數集合中）指定的寬度。瓦片列指CTU的矩形區域，其具有透過語法元素指定的高度（例如，諸如在圖片參數集合中）以及等於圖片的寬度的寬度。

在一些示例中，可以將瓦片分割為多個磚塊，每個磚塊可以包括瓦片內的一個或多個CTU列。沒有被分割為多個磚塊的瓦片還可以被稱為磚塊。然而，作為瓦片的真實子集的磚塊可以不被稱為瓦片。

圖片中的磚塊還可以以切片來排列。切片可以是圖片的整數個磚塊，其可以排他地被包含在單個網路抽象層（NAL）單元中。在一些示例中，切片包括多個完整的瓦片或者僅包括一個瓦片的完整磚塊的連續序列。

本公開內容可以互換地使用“NxN”和“N乘N”來指區塊（諸如CU或其它視頻區塊）在垂直和水平維度方面的樣本大小，例如，16x16個樣本或16乘16個樣本。通常，16x16 CU在垂直方向上將具有16個樣本（y = 16），以及在水平方向上將具有16個樣本（x = 16）。同樣地，NxN CU通常在垂直方向上具有N個樣本，以及在水平方向上具有N個樣本，其中N表示非負整數值。CU中的樣本可以按行和列來排列。此外，CU不一定需要在水平方向上具有與在垂直方向上相同的數量的樣本。例如，CU可以包括NxM個樣本，其中M不一定等於N。

視頻編碼器200對用於CU的表示預測和/或殘差資訊以及其它資訊的視頻資料進行編碼。預測資訊指示將如何預測CU以便形成用於CU的預測區塊。殘差資訊通常表示在編碼之前的CU的樣本與預測區塊之間的逐樣本差。

為了預測CU，視頻編碼器200通常可以透過幀間預測或幀內預測來形成用於CU的預測區塊。幀間預測通常指根據先前譯碼的圖片的資料來預測CU，而幀內預測通常指根據相同圖片的先前譯碼的資料來預測CU。為了執行幀間預測，視頻編碼器200可以使用一個或多個運動向量來產生預測區塊。視頻編碼器200通常可以執行運動搜尋，以識別例如在CU與參考區塊之間的差方面與CU緊密匹配的參考區塊。視頻編碼器200可以使用絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）、或其它這樣的差計算來計算差度量，以決定參考區塊是否與當前CU緊密匹配。在一些示例中，視頻編碼器200可以使用單向預測或雙向預測來預測當前CU。

VVC的一些示例還提供仿射運動補償模式，其可以被認為是幀間預測模式。在仿射運動補償模式下，視頻編碼器200可以決定表示非平移運動（諸如放大或縮小、旋轉、透視運動或其它不規則的運動類型）的兩個或更多個運動向量。

為了執行幀內預測，視頻編碼器200可以選擇幀內預測模式來產生預測區塊。VVC的一些示例提供六十七種幀內預測模式，包括各種方向性模式、以及平面模式和DC模式。通常，視頻編碼器200選擇幀內預測模式，幀內預測模式描述要根據其來預測當前區塊（例如，CU的區塊）的樣本的、當前區塊的相鄰樣本。假設視頻編碼器200以光柵掃描次序（從左到右、從上到下）對CTU和CU進行譯碼，則這樣的樣本通常可以是在與當前區塊相同的圖片中在當前區塊的上方、左上方或左側。

視頻編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如，對於幀間預測模式，視頻編碼器200可以對表示使用各種可用幀間預測模式中的哪一種幀間預測模式的資料以及用於對應模式的運動資訊進行編碼。對於單向或雙向幀間預測，例如，視頻編碼器200可以使用進階運動向量預測（AMVP）或合併模式來對運動向量進行編碼。視頻編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。

在諸如對區塊的幀內預測或幀間預測的預測之後，視頻編碼器200可以計算用於所述區塊的殘差資料。殘差資料（諸如殘差區塊）表示在區塊與用於所述區塊的預測區塊之間的逐樣本差，所述預測區塊是使用對應的預測模式來形成的。視頻編碼器200可以將一個或多個轉換應用於殘差區塊，以在轉換域中而非在樣本域中產生經轉換的資料。例如，視頻編碼器200可以將離散餘弦轉換（DCT）、整數轉換、小波轉換或概念上類似的轉換應用於殘差視頻資料。另外，視頻編碼器200可以在第一轉換之後應用二次轉換，諸如模式相關的不可分離二次轉換（MDNSST）、信號相關轉換、Karhunen-Loeve轉換（KLT）等。視頻編碼器200在應用一個或多個轉換之後產生轉換係數。

如上所述，在任何轉換以產生轉換係數之後，視頻編碼器200可以執行對轉換係數的量化。量化通常指如下的程序：在所述程序中，對轉換係數進行量化以可能減少用於表示轉換係數的資料量，從而提供進一步的壓縮。透過執行量化程序，視頻編碼器200可以減少與轉換係數中的一些或全部轉換係數相關聯的位元深度。例如，視頻編碼器200可以在量化期間將n位元的值向下捨入為m位元的值，其中n大於m。在一些示例中，為了執行量化，視頻編碼器200可以執行對要被量化的值的按位元右移。

在量化之後，視頻編碼器200可以掃描轉換係數，從而根據包括經量化的轉換係數的二維矩陣產生一維向量。可以將掃描設計為將較高能量（以及因此較低頻率）的轉換係數放在向量的前面，以及將較低能量（以及因此較高頻率）的轉換係數放在向量的後面。在一些示例中，視頻編碼器200可以利用預定義的掃描次序來掃描經量化的轉換係數以產生經串聯化的向量，然後對向量的經量化的轉換係數進行熵編碼。在其它示例中，視頻編碼器200可以執行自適應掃描。在掃描經量化的轉換係數以形成一維向量之後，視頻編碼器200可以例如根據上下文自適應二進制算術編碼（CABAC）來對一維向量進行熵編碼。視頻編碼器200還可以對用於描述與經編碼的視頻資料相關聯的元資料的語法元素的值進行熵編碼，以供視頻解碼器300在對視頻資料進行解碼時使用。

為了執行CABAC，視頻編碼器200可以將上下文模型內的上下文指派給要被發送的符號。上下文可以涉及例如符號的相鄰值是否為零值。概率決定可以是基於被指派給符號的上下文的。

視頻編碼器200還可以例如在圖片標頭、區塊標頭、切片標頭中產生去往視頻解碼器300的語法資料（諸如基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料）、或其它語法資料（諸如序列參數集合（SPS）、圖片參數集合（PPS）或視頻參數集合（VPS））。同樣地，視頻解碼器300可以對這樣的語法資料進行解碼以決定如何解碼對應的視頻資料。

以這種方式，視頻編碼器200可以產生位元串流，其包括經編碼的視頻資料，例如，描述將圖片分割為區塊（例如，CU）以及用於所述區塊的預測和/或殘差資訊的語法元素。最終，視頻解碼器300可以接收位元串流以及對經編碼的視頻資料進行解碼。

通常，視頻解碼器300執行與由視頻編碼器200執行的程序互逆的程序，以對位元串流的經編碼的視頻資料進行解碼。例如，視頻解碼器300可以使用CABAC，以與視頻編碼器200的CABAC編碼程序基本上類似的、但是互逆的方式來對用於位元串流的語法元素的值進行解碼。語法元素可以定義用於將圖片分割為CTU、以及根據對應的分割結構（諸如QTBT結構）對每個CTU進行分割以定義CTU的CU的分割資訊。語法元素還可以定義用於視頻資料的區塊（例如，CU）的預測和殘差資訊。

殘差資訊可以透過例如經量化的轉換係數來表示。視頻解碼器300可以對區塊的經量化的轉換係數進行逆量化和逆轉換以重新產生用於所述區塊的殘差區塊。視頻解碼器300使用經信號通知的預測模式（幀內預測或幀間預測）和相關的預測資訊（例如，用於幀間預測的運動資訊）來形成用於所述區塊的預測區塊。視頻解碼器300然後可以對預測區塊和殘差區塊（在逐個樣本的基礎上）進行組合以重新產生原始區塊。視頻解碼器300可以執行額外處理，諸如執行解區塊程序以減少沿著區塊的邊界的視覺偽影。

概括而言，本公開內容可能涉及“以信令發送”某些資訊（諸如語法元素）。用語“以信令發送”通常可以指對用於語法元素的值和/或用以對經編碼的視頻資料進行解碼的其它資料的傳送。也就是說，視頻編碼器200可以在位元串流中以信令發送用於語法元素的值。通常，以信令發送指在位元串流中產生值。如上所述，來源設備102可以基本上即時地或不是即時地（諸如可能在將語法元素儲存到儲存設備112以供目的地設備116稍後提取時發生）將位元串流傳輸給目的地設備116。

根據本公開內容的技術，如下文將更詳細地解釋的，視頻編碼器200和視頻解碼器300可以被配置為執行本公開內容的一種或多種濾波技術，包括基於神經網路的濾波技術。

自H.261以來的大多數視頻譯碼標準一直是基於在圖2中示出的所謂的混合視頻譯碼原理的。

圖2是示出示例混合視頻譯碼框架的方塊圖。用語混合是指減少視頻信號中的冗餘的兩種手段的組合，即，具有對預測殘差的量化的預測和轉換譯碼。然而預測和轉換透過解相關來減少視頻信號中的冗餘，量化透過降低其精準度（理想情況下透過僅移除不相關的細節）來減少轉換係數表示的資料。這種混合視頻編碼設計原理還用於兩個最近的標準：HEVC和VVC。

如圖2所示，現代混合視頻譯碼器130通常包括區塊分割、運動補償或圖片間預測、圖片內預測、轉換、量化、熵譯碼和後迴路/迴路內濾波。在圖2的示例中，視頻譯碼器130包括加總單元134、轉換單元136、量化單元138、熵譯碼單元140、逆量化單元142、逆轉換單元144、加總單元146、迴路濾波器單元148、解碼圖片緩衝器（DPB）150、幀內預測單元152、幀間預測單元154以及運動估計單元156。

通常，視頻譯碼器130在對視頻資料進行編碼時可以接收輸入視頻資料132。區塊分割用於將接收到的視頻資料的圖片（圖像）劃分成更小的區塊，以進行預測和轉換程序的操作。早期的視頻譯碼標準使用固定的區塊大小，通常為16×16個樣本。最近的標準（諸如HEVC和VVC）採用基於樹的分割結構來提供彈性的分割。

運動估計單元156和幀間預測單元154可以例如根據DPB 150的先前經解碼的資料來預測輸入視頻資料132。運動補償或圖片間預測利用視頻序列的圖片之間（因此為“圖片間”）存在的冗餘。根據在全部現代視頻編解碼器中使用的基於區塊的運動補償，從一個或多個先前解碼的圖片（即，參考圖片）獲得預測。用於產生幀間預測的對應區域由包括運動向量和參考圖片索引的運動資訊來指示。

加總單元134可以將殘差資料計算成輸入視頻資料132與來自幀內預測單元152或幀間預測單元134的預測資料之間的差。加總單元134將殘差區塊提供給轉換單元136，轉換單元136將一個或多個轉換應用於殘差區塊以產生轉換區塊。量化單元138對轉換區塊進行量化以形成經量化的轉換係數。熵譯碼單元140對經量化的轉換係數以及其它語法元素（諸如運動資訊或幀內預測資訊）進行熵編碼以產生輸出位元串流158。

同時，逆量化單元142對經量化的轉換係數進行逆量化，以及逆轉換單元144對轉換係數進行逆轉換以重新產生殘差區塊。加總單元146（在逐樣本的基礎上）將殘區塊與預測區塊組合以產生視頻資料的經解碼的區塊。迴路濾波器單元148將一個或多個濾波器（例如，基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的後迴路濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者）應用於經解碼的區塊以產生經濾波的經解碼的區塊。

根據本公開內容的技術，迴路濾波器單元148還可以被配置為對經濾波的經解碼的區塊進行細化。例如，迴路濾波器單元148可以將縮放因子應用於經濾波的經解碼的區塊以形成經細化的經濾波的經解碼的區塊。然後，迴路濾波器單元148可以將經細化的經濾波的經解碼的區塊添加到對應的經解碼的區塊。然後，迴路濾波器單元148可以將這些最終區塊儲存到DPB 150。DPB 150的資料可以例如由幀間預測單元154或幀內預測單元152用作參考資料，以及還可以作為輸出視頻資料160輸出。

圖3是示出圖片組（GOP）大小等於16的分層預測結構170的概念圖。

圖片內預測透過根據已經譯碼/解碼的空間相鄰（參考）樣本推導針對區塊的預測來利用圖片之內（因此為“圖片內”）存在的空間冗餘。在最近的視頻編解碼器（包括AVC、HEVC和VVC）中，使用方向角預測、DC預測和平面（plane）或平面（planar）預測。

一些示例混合視頻譯碼標準將區塊轉換應用於預測殘差（不管它是來自圖片間還是圖片內預測）。在早期的標準（包括H.261/262/263）中，採用離散餘弦轉換（DCT）。在HEVC和VVC中，除了DCT外，還應用更多的轉換核心，以便考慮特定視頻信號中的不同統計。

量化旨在降低輸入值或輸入值集合的精準度，以便減少表示這些值所需的資料量。在混合視頻譯碼中，量化通常應用於個別經轉換的殘差樣本（例如，轉換係數），從而產生整數係數等級。在最近的視頻譯碼標準中，步階（step size）是根據控制保真度（fidelity）和位元率的所謂的量化參數（QP）推導出的。較大的步階降低位元率，但還可能降低品質，例如，這可能導致視頻圖片顯現區塊效應和模糊細節。

上下文自適應二進制算術譯碼（CABAC）由於其高效率而在最近的視頻編解碼器（諸如AVC、HEVC和VVC）中使用。

後迴路/迴路內濾波是應用於經重建的圖片以減少譯碼偽影的濾波程序（或這樣的程序的組合）。濾波程序的輸入通常是經重建的圖像，經重建的圖像是經重建的殘差信號（其包括量化誤差）和預測的組合。如圖2所示，在迴路內濾波之後的經重建的圖片被儲存並且用作用於後續圖片的圖片間預測的參考。譯碼偽影主要由QP決定。因此，在濾波程序的設計中通常使用QP資訊。在HEVC中，迴路內濾波器包括解區塊濾波和樣本自適應偏移（SAO）濾波。在VVC標準中，引入自適應迴路濾波器（ALF）作為第三濾波器。ALF的濾波程序如下所示：

（1）其中

是濾波程序之前的樣本，

是濾波程序之後的樣本值。

表示濾波器係數，

是限幅（clipping）函數並且

表示限幅參數。變數k和l可以在

和

之間變化，其中 L表示濾波器長度。限幅函數

，其對應於函數

。限幅操作引入非線性，以透過減少相對於當前樣本值相差太大的相鄰樣本值的影響來使ALF更高效。在VVC中，可以在位元串流中用信號通知濾波參數，以及可以從預定義濾波器集中選擇所述濾波器參數。ALF濾波程序還可以總結為由以下等式指示：

(2)

在一些示例中，已經示出將神經網路嵌入到混合視頻譯碼框架中可以提高壓縮效率。已經在幀內預測和幀間預測的模組中使用神經網路，以提高預測效率。基於NN的迴路濾波也是近年來的研究課題。在一些示例中，濾波程序被作為後濾波來應用。在這種情況下，濾波程序僅應用於輸出圖片，以及未濾波的圖片用作參考圖片。

在現有濾波器之上，還可以另外應用基於NN的濾波器，諸如解區塊濾波器、SAO和/或ALF。還可以排他地應用基於NN的濾波器，其中基於NN的濾波器被設計為替換全部現有濾波器。

圖4是示出具有四個層的示例基於卷積神經網路的濾波器的方塊圖。如圖4所示，基於NN的濾波程序182採用經重建的樣本180作為輸入，並且中間輸出是殘差樣本，它們被添加回輸入以細化輸入樣本，從而產生經細化的資料184。NN濾波器可以使用全部顏色分量作為輸入來利用交叉分量相關性。不同的分量可以共用相同的濾波器（包括網路結構和模型參數），或者每個分量可以具有其自己的特定濾波器。

濾波程序也可以概括如下：

(3)

基於NN的濾波器的模型結構和模型參數可以是預定義的並且被儲存在視頻編碼器200和視頻解碼器300中。還可以在位元串流中用信號通知濾波器。

用於視頻譯碼的現有基於NN的濾波器中可能存在問題。例如，預定義濾波器（例如，基於NN的濾波器或ALF）可以是基於大量視頻和圖像資料庫進行訓練的。這樣的訓練集在一般意義上可能是最佳的，但對於特定的失真序列可能不是最佳的。

本公開內容描述在使用基於NN的濾波器進行視頻譯碼時可以提高譯碼效率和/或改進失真的下文的技術。下文的分項（itemize）技術可以個別應用。替代地，可以應用下文描述的技術的任何組合。視頻編碼器200和視頻解碼器300可以根據本公開內容的各種技術中的任何一者單獨或以任何組合進行配置。

返回參考圖1，在本公開內容的一個示例中，視頻編碼器200和視頻解碼器300可以被配置為將細化程序應用於濾波程序的輸出殘差，並且然後添加經細化的濾波器輸出殘差以更新輸入樣本。建議的方法可以表達為：

(4) 其中f()是應用於特定濾波程序的濾波輸出殘差的細化程序的函數。視頻編碼器200和視頻解碼器300可以被配置為應用以下程序中的一個或多個程序作為細化程序。 a、作為一個示例，視頻編碼器200和視頻解碼器300可以透過將縮放因子乘以經解碼的區塊的經濾波的樣本來修改經濾波的值，並且然後將經細化的經濾波的值添加到經解碼的區塊以更新輸入樣本。 i、視頻編碼器200可以利用具有預定義位元精準度的整數值來對縮放因子進行量化。視頻解碼器300可以透過具有預定義位元精準度的整數值來對所述值進行逆量化，以決定縮放因子。 ii、視頻編碼器200可以在位元串流中用信號通知縮放因子的值。視頻解碼器300可以根據在位元串流中用信號通知的資料來決定縮放因子的值。 iii、視頻編碼器200可以在位元串流中將縮放因子的值作為切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或任何其它進階語法元素體中的語法元素來用信號通知。視頻解碼器300可以根據在對應的資料結構中用信號通知的資料來決定縮放因子。 iv、視頻編碼器200可以在位元串流中將縮放因子的值作為區塊等級（例如，在CTU等級）的語法元素來用信號通知。視頻解碼器300可以根據在區塊等級用信號通知的資料來決定縮放因子。 v、視頻編碼器200可以在位元串流中用信號通知縮放因子集合，或者所述縮放因子集合可以在視頻編碼器200和視頻解碼器300處預定義。視頻編碼器200可以在區塊（例如，CTU等級）處用信號通知索引，以指定縮放因子的值。視頻解碼器300可以使用將索引值映射到縮放因子集合的表來根據索引值決定縮放因子。 vi、可以針對每個顏色分量分別地推導縮放因子。也就是說，視頻編碼器200可以針對每個顏色分量（例如，亮度分量、藍色色調分量和紅色色調分量）個別地用信號通知縮放因子。視頻解碼器300可以根據用信號通知的值來決定用於每個顏色分量的縮放因子。 b、作為另一示例，視頻編碼器200和視頻解碼器300可以透過乘以縮放因子並且向經縮放的經濾波的值添加偏移來修改濾波輸出殘差，然後將經細化的經濾波的值添加到輸入樣本。 i、視頻編碼器200可以利用具有預定義位元精準度的整數值來對縮放因子進行量化。視頻解碼器300可以透過具有預定義位元精準度的整數值來對所述值進行逆量化，以決定縮放因子。 ii、視頻編碼器200可以利用具有預定義位元精準度的整數值來對偏移進行量化。視頻解碼器300可以透過具有預定義位元精準度的整數值來對所述值進行逆量化，以決定偏移。 iii、視頻編碼器200可以在位元串流中用信號通知縮放因子和偏移的值。視頻解碼器300可以根據在位元串流中用信號通知的資料來決定縮放因子和偏移的值。 iv、視頻編碼器200可以在位元串流中將縮放因子和偏移的值作為切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或任何其它進階語法元素體中的語法元素來用信號通知。視頻解碼器300可以根據在對應的資料結構中用信號通知的資料來決定縮放因子和偏移。 v、可以在編碼程序處推導縮放因子和偏移的值並且在位元串流中將縮放因子和偏移的值作為切片標頭、圖片標頭、自適應參數集（APS）或任何其它進階語法元素體中的語法元素來用信號通知。 vi、視頻編碼器200可以在位元串流中將縮放因子和偏移的值作為區塊等級（例如，在CTU等級）的語法元素來用信號通知。視頻解碼器300可以根據在區塊等級用信號通知的資料來決定縮放因子和偏移。 vii、視頻編碼器200可以在位元串流中用信號通知縮放因子集合和偏移集合，或者所述縮放因子集合和偏移集合可以在視頻編碼器200和視頻解碼器300處預定義。視頻編碼器200可以在區塊等級（例如，在CTU等級）用信號通知索引值，以指定縮放因子和偏移的值。視頻解碼器300可以使用將索引值映射到縮放因子集合和偏移集合的相應的表來根據索引值決定縮放因子和偏移。 viii、可以針對每個顏色分量分別地推導縮放因子和偏移。也就是說，視頻編碼器200可以針對每個顏色分量（例如，亮度分量、藍色色調分量和紅色色調分量）個別地用信號通知縮放因子和偏移。視頻解碼器300可以根據用信號通知的值來決定用於每個顏色分量的縮放因子和偏移。 c、本公開內容中提及的濾波程序可以是產生用於更新輸入樣本的殘差輸出的任何濾波程序。 i、作為示例，本節中提及的濾波程序是基於NN的濾波器。 ii、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的基於NN的迴路濾波器。 iii、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的基於NN的後濾波器。 iv、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的自適應迴路內濾波器。 v、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的預定義自適應迴路內濾波器。 d、可以用信號通知旗標以指示是否應用細化應用來對濾波器輸出殘差進行細化。可以在位元串流中將所述旗標作為切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或任何其它進階語法元素體中的語法元素來用信號通知。

因此，視頻編碼器200和視頻解碼器300可以被配置為對視頻資料的區塊進行解碼，然後將濾波器應用於視頻資料的經解碼的區塊。所述濾波器可以是基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的後迴路濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的一者。在一些示例中，視頻編碼器200和視頻解碼器300可以將這樣的濾波器的組合應用於視頻資料的經解碼的區塊。

在對經解碼的區塊進行濾波（從而形成經濾波的區塊）之後，視頻編碼器200和視頻解碼器300可以細化經濾波的區塊，例如，透過將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊。然後，視頻編碼器200和視頻解碼器300可以將經解碼的區塊的樣本與經細化的經濾波的區塊的對應樣本進行組合。視頻編碼器200和視頻解碼器300可以執行上述公式（4）以形成經細化的經濾波的區塊，以及將經細化的經濾波的區塊與經解碼的區塊進行組合以形成最終的經解碼和濾波的區塊，所述最終的經解碼和濾波的區塊被儲存在解碼圖片緩衝器（DPB）中並且用於輸出。

視頻編碼器200可以根據速率-失真最佳化（RDO）程序來決定縮放因子。例如，視頻編碼器200可以測試各種各樣的不同的縮放因子，以及決定所測試的縮放因子中的哪個縮放因子在不過度增加對應位元串流的位元率的情況下減少失真。視頻編碼器200可以選擇具有最佳RDO性能的縮放因子作為用於區塊（或包括區塊的切片或圖片）的縮放因子。然後，視頻編碼器200可以對表示所選擇的縮放因子的資料進行編碼，例如，作為切片標頭、自適應參數集（APS）、圖片標頭、圖片參數集（PPS）、區塊標頭（例如，CTU標頭）等中的語法元素的值。視頻解碼器300可以根據表示縮放因子的經編碼的資料來決定縮放因子。

在一些示例中，視頻編碼器200和視頻解碼器300可以對直接表示縮放因子的語法元素的值進行編碼。在一些示例中，視頻編碼器200和視頻解碼器300可以被配置有將索引值映射到縮放因子的查找表，以及視頻編碼器200可以對表示與所選擇的縮放因子相對應的索引值的值進行編碼。因此，視頻解碼器300可以對索引值進行解碼以及使用索引值和查找表來決定縮放因子，即，透過決定查找表將索引值映射到的縮放因子。查找表還可以被稱為索引表。

在一些示例中，視頻編碼器200還可以決定是否啟用濾波細化，如上文所討論的。例如，如果縮放因子中沒有任何縮放因子產生足夠的RDO值，則視頻編碼器200可以例如透過用信號通知指示濾波細化被停用的語法元素的值來停用濾波細化。視頻解碼器300可以使用語法元素的值來決定是否執行濾波細化。

在一些示例中，視頻編碼器200可以透過具有預定義位元精準度的整數值來對表示縮放因子的值進行量化。因此，視頻解碼器300可以透過具有預定義位元精準度的整數值來對經解碼的值進行逆量化，以決定縮放因子。

在本公開內容的另一示例中，組合多個濾波器的輸出殘差以更新輸入樣本。作為一個示例，所提出的方法可以表達為：

(5) 其中f1()和f2()是應用於特定濾波程序的濾波輸出殘差的細化程序的函數。多於一個的模型的組合可以概括如下：

(6)

換句話說，視頻編碼器200和視頻解碼器300可以將兩個或更多個（例如，多個）縮放因子和濾波器應用於經解碼的區塊，以形成相應的經細化的經濾波的區塊，然後將經解碼的區塊與經細化的經濾波的區塊組合，例如，根據上述公式（5）或（6）中的任一公式。

視頻編碼器200和視頻解碼器300可以被配置為應用以下程序中的一個或多個程序作為細化程序。 a）作為一個示例，視頻編碼器200和視頻解碼器300可以修改每個濾波程序的輸出殘差，包括乘以縮放因子，以及然後將經細化的經濾波的區塊與輸入樣本進行組合。 i）視頻編碼器200可以利用具有預定義位元精準度的整數值來對縮放因子進行量化。視頻解碼器300可以透過具有預定義位元精準度的整數值來對縮放因子進行逆量化。 ii）視頻編碼器200可以在編碼程序期間推導縮放因子的值以及在位元串流中用信號通知這些值。視頻解碼器300可以根據用信號通知的值來決定縮放因子。 iii）視頻編碼器200可以將縮放因子的值作為切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或任何其它進階語法元素體中的語法元素來用信號通知。視頻解碼器300可以根據對應的資料結構來決定縮放因子的值。 iv）視頻編碼器200可以在位元串流中將縮放因子的值作為區塊等級（例如，在CTU等級）的語法元素來用信號通知。視頻解碼器300可以根據用信號通知的區塊等級語法元素來決定縮放因子的值。 v）視頻編碼器200可以在位元串流中用信號通知縮放因子集合，或者所述縮放因子集合可以在視頻編碼器200和視頻解碼器300處預定義。視頻編碼器200可以在區塊等級（例如，CTU等級）處用信號通知索引值，以指定縮放因子的值。 vi）視頻編碼器200可以針對每個顏色分量分別地用信號通知縮放因子，以及視頻解碼器300可以根據用信號通知的值來分別決定用於每個顏色分量的縮放因子。 b、作為另一示例，視頻編碼器200和視頻解碼器300可以透過乘以相應的縮放因子並且添加偏移來修改每個濾波程序的輸出殘差。然後，視頻編碼器200和視頻解碼器300可以將經細化的經濾波的資料添加到輸入樣本。 i）視頻編碼器200可以透過具有預定義位元精準度的整數值來對縮放因子進行量化。視頻解碼器300可以透過具有預定義位元精準度的整數值來對縮放因子進行逆量化。 ii）視頻編碼器200可以透過具有預定義位元精準度的整數值來對偏移進行量化。視頻解碼器300可以透過具有預定義位元精準度的整數值來對偏移進行逆量化。 iii）視頻編碼器200可以在編碼程序期間推導縮放因子和偏移的值以及在位元串流中用信號通知這些值。視頻解碼器300可以根據用信號通知的值來決定縮放因子和偏移。 iv）視頻編碼器200可以將縮放因子和偏移的值作為切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或任何其它進階語法元素體中的語法元素來用信號通知。視頻解碼器300可以根據對應的資料結構來決定縮放因子和偏移的值。 v）為了節省在縮放因子的信令負擔，可以在視頻編碼器200和視頻解碼器300兩者處使用一些預定義的固定縮放因子。下表示出不同縮放因子的示例。

索引	縮放因子
輸入位元深度	值
0	8	10
10 . . 16	25 . . 512
1	8	50
10 . . 16	25 . . 712
2等等。	8	125
10 . . 16	256 . . 800

視頻編碼器200可以基於RD成本來選擇縮放因子中的一者，然後在位元串流的資料中使用縮放因子的直接表示或表示縮放因子的索引來用信號通知最佳縮放因子（即，具有最佳RD成本的縮放因子）。索引可以被譯碼為一元碼或截斷的二進制碼，或者基於縮放因子的統計特性進行可變長度譯碼。當縮放因子具有跨越全部輸入序列的最可能的特定值時，則可以選擇一元碼信令作為信令方法的選擇，其中，可以將最小索引值指派給最可能的縮放因子值。 vi、可以在編碼程序處推導縮放因子和偏移的值，以及在位元串流中將縮放因子和偏移的值作為區塊等級（例如，CTU等級）的語法元素來用信號通知。 vii、在位元串流中用信號通知或者在編碼器和解碼器側預定義縮放因子和偏移的集合，以及在區塊（例如，CTU等級）處用信號通知索引以指定縮放因子和偏移的值。 viii、可以針對每個顏色分量分別地推導縮放因子和偏移。 c）本公開內容中提及的濾波程序可以是產生用於更新輸入樣本的殘差輸出的任何濾波程序。 i、作為示例，本節中提及的濾波程序是基於NN的濾波器。 ii、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的基於NN的迴路濾波器。 iii、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的基於NN的後濾波器集合。 iv、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的自適應迴路內濾波器。 v、作為另一示例，本節中提及的濾波程序是在視頻編解碼器的上下文中應用的預定義自適應迴路內濾波器。

作為示例，所提出的想法之一可以透過使用以下等式來實現：

(7)

“移位”值是預定義的正整數。移位的值可以等於任何正值。移位的典型值可以在4到8的範圍中。利用“移位”位元來對scale_factor進行量化，以及在位元串流中用信號通知其值。“偏移”的值可以被設置為等於零。替代地，可以在位元串流中用信號通知偏移的值。在所述示例中，利用與輸入樣本相同的精準度來對

進行量化。

作為另一示例，利用N個位元來對scale_factor進行量化，其中N的值小於“移位”。在所述示例中，利用比輸入樣本的精準度高的精準度來對

進行量化。

還可以應用限幅操作以將

的值限幅到原始輸入樣本的動態範圍。

(8)

公式（8）的“移位”值是預定義的正整數。移位的值可以等於任何正值。移位的示例值可以在4到8的範圍中。利用“移位”位元來對scale_factor1和scale_factor2進行量化，以及在位元串流中用信號通知它們的值。“偏移”的值可以被設置為等於零。在另一示例中，可以在位元串流中用信號通知“偏移”的值。在所述示例中，利用與輸入樣本相同的精準度來對

和

進行量化。

作為另一示例，利用N個位元來對scale_factor1和scale_factor2進行量化，其中N的值小於“移位”。在所述示例中，利用比輸入樣本的精準度高的精準度來對

進行量化。

還可以應用限幅操作以將

的值限幅到原始輸入樣本的動態範圍。

圖5A和圖5B是示出示例四元樹二元樹（QTBT）結構190以及對應的譯碼樹單元（CTU）192的概念圖。實線表示四元樹分裂，以及虛線指示二元樹分裂。在二元樹的每個分裂（即非葉）節點中，以信令發送一個旗標以指示使用哪種分裂類型（即，水平或垂直），其中，在所述示例中，0指示水平分裂，以及1指示垂直分裂。對於四元樹分裂，由於四元樹節點將區塊水平地並且垂直地分裂為具有相等大小的4個子區塊，因此無需指示分裂類型。相應地，視頻編碼器200可以對以下各項進行編碼，以及視頻解碼器300可以對以下各項進行解碼：用於QTBT結構190的區域樹等級（即實線）的語法元素（諸如分裂資訊）、以及用於QTBT結構190的預測樹等級（即虛線）的語法元素（諸如分裂資訊）。視頻編碼器200可以對用於透過QTBT結構190的終端葉節點表示的CU的視頻資料（諸如預測和轉換資料）進行編碼，以及視頻解碼器300可以對所述視頻資料進行解碼。

通常，圖5B的CTU 192可以與定義與QTBT結構190的處於第一和第二等級的節點相對應的區塊的大小的參數相關聯。這些參數可以包括CTU大小（表示樣本中的CTU 192的大小）、最小四元樹大小（MinQTSize，其表示最小允許四元樹葉節點大小）、最大二元樹大小（MaxBTSize，其表示最大允許二元樹根節點大小）、最大二元樹深度（MaxBTDepth，其表示最大允許二元樹深度）、以及最小二元樹大小（MinBTSize，其表示最小允許二元樹葉節點大小）。

QTBT結構的與CTU相對應的根節點可以在QTBT結構的第一等級處具有四個子節點，其中的每個子節點可以是根據四元樹分割來分割的。也就是說，第一等級的節點是葉節點（沒有子節點）或者具有四個子節點。QTBT結構190的示例將這樣的節點表示為包括具有實線分支的父節點和子節點。如果第一等級的節點不大於最大允許二元樹根節點大小（MaxBTSize），則可以透過相應的二元樹進一步對所述節點進行分割。可以對一個節點的二元樹分裂進行迭代，直到從分裂產生的節點達到最小允許二元樹葉節點大小（MinBTSize）或最大允許二元樹深度（MaxBTDepth）。QTBT結構190的示例將這樣的節點表示為具有虛線分支。二元樹葉節點被稱為譯碼單元（CU），其用於預測（例如，圖片內或圖片間預測）和轉換，而不進行任何進一步分割。如上所討論的，CU還可以被稱為“視頻區塊”或“區塊”。

在QTBT分割結構的一個示例中，CTU大小被設置為128x128（亮度樣本和兩個對應的64x64色度樣本），MinQTSize被設置為16x16，MaxBTSize被設置為64x64，MinBTSize（對於寬度和高度兩者）被設置為4，以及MaxBTDepth被設置為4。首先對CTU應用四元樹分割以產生四元樹葉節點。四元樹葉節點可以具有從16x16（即MinQTSize）到128x128（即CTU大小）的大小。如果四元樹葉節點為128x128，則由於所述大小超過MaxBTSize（即，在所述示例中為64x64），因此葉四元樹節點將不被二元樹進一步分裂。否則，四元樹葉節點將被二元樹進一步分割。因此，四元樹葉節點還是用於二元樹的根節點，以及具有為0的二元樹深度。當二元樹深度達到MaxBTDepth（在所述示例中為4）時，不允許進一步分裂。二元樹節點具有等於MinBTSize（在所述示例中為4）的寬度意味著不允許針對所述二元樹節點進行進一步的垂直分裂（即，對寬度的劃分）。類似地，具有等於MinBTSize的高度的二元樹節點意味著不允許針對所述二元樹節點進行進一步的水平分裂（即，對高度的劃分）。如上所述，二元樹的葉節點被稱為CU，以及根據預測和轉換而被進一步處理，而無需進一步分割。

圖6是示出可以執行本公開內容的技術的示例視頻編碼器200的方塊圖。圖6是出於解釋的目的而提供的，以及不應當被認為對在本公開內容中廣泛地舉例說明和描述的技術進行限制。出於解釋的目的，本公開內容根據VVC（ITU-T H.266，正在開發）和HEVC（ITU-T H.265）的技術來描述視頻編碼器200。然而，本公開內容的技術可以由被配置為其它視頻譯碼標準的視頻編碼設備來執行。

在圖6的示例中，視頻編碼器200包括視頻資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重建單元214、濾波器單元216、解碼圖片緩衝器（DPB）218和熵編碼單元220。視頻資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重建單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如，視頻編碼器200的單元可以被實現為一個或多個電路或邏輯元件，作為硬體電路的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視頻編碼器200可以包括額外或替代的處理器或處理電路以執行這些和其它功能。

視頻資料記憶體230可以儲存要由視頻編碼器200的組件來編碼的視頻資料。視頻編碼器200可以從例如視頻來源104（圖1）接收被儲存在視頻資料記憶體230中的視頻資料。DPB 218可以充當參考圖片記憶體，其儲存參考視頻資料以在由視頻編碼器200對後續視頻資料進行預測時使用。視頻資料記憶體230和DPB 218可以由各種各樣的記憶體設備中的任何一者形成，諸如動態隨機存取記憶體（DRAM）（包括同步DRAM（SDRAM））、磁阻RAM（MRAM）、電阻式RAM（RRAM）、或其它類型的記憶體設備。視頻資料記憶體230和DPB 218可以由相同的記憶體設備或分別的記憶體設備來提供。在各個示例中，視頻資料記憶體230可以與視頻編碼器200的其它組件在晶片上（如圖所示），或者相對於那些組件在晶片外。

在本公開內容中，對視頻資料記憶體230的參考不應當被解釋為限於在視頻編碼器200內部的記憶體（除非如此具體地描述）或者在視頻編碼器200外部的記憶體（除非如此具體地描述）。而是，對視頻資料記憶體230的參考應當被理解為儲存視頻編碼器200接收以用於編碼的視頻資料（例如，用於要被編碼的當前區塊的視頻資料）的參考記憶體。圖1的記憶體106還可以提供對來自視頻編碼器200的各個單元的輸出的暫時儲存。

示出圖6的各個單元以幫助理解由視頻編碼器200執行的操作。所述單元可以被實現為固定功能電路、可程式化電路、或其組合。固定功能電路指提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指可以被程式化以執行各種任務並且以可以執行的操作來提供彈性功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作類型通常是不可變的。在一些示例中，所述單元中的一個或多個單元可以是不同的電路區塊（固定功能或可程式化），以及在一些示例中，所述單元中的一個或多個單元可以是積體電路。

視頻編碼器200可以包括根據可程式化電路形成的算術邏輯單元（ALU）、基本功能單元（EFU）、數位電路、類比電路和/或可程式化核心。在其中使用由可程式化電路執行的軟體來執行視頻編碼器200的操作的示例中，記憶體106（圖1）可以儲存視頻編碼器200接收並且執行的軟體的指令（例如，目標碼），或者視頻編碼器200內的另一記憶體（未示出）可以儲存這樣的指令。

視頻資料記憶體230被配置為儲存所接收的視頻資料。視頻編碼器200可以從視頻資料記憶體230提取視頻資料的圖片，以及將視頻資料提供給殘差產生單元204和模式選擇單元202。視頻資料記憶體230中的視頻資料可以是要被編碼的原始視頻資料。

模式選擇單元202包括運動估計單元222、運動補償單元224和幀內預測單元226。模式選擇單元202可以包括額外功能單元，其根據其它預測模式來執行視頻預測。作為示例，模式選擇單元202可以包括調色板單元、區塊內複製單元（其可以是運動估計單元222和/或運動補償單元224的一部分）、仿射單元、線性模型（LM）單元等。

模式選擇單元202通常協調多個編碼通路（pass），以測試編碼參數的組合以及針對這樣的組合的所得到的速率-失真值。編碼參數可以包括將CTU分割為CU、用於CU的預測模式、用於CU的殘差資料的轉換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇編碼參數的具有比其它測試的組合更好的速率-失真值的組合。

視頻編碼器200可以將從視頻資料記憶體230提取的圖片分割為一系列CTU，以及將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構（諸如上述HEVC的QTBT結構或四元樹結構）來分割圖片的CTU。如上所述，視頻編碼器200可以透過根據樹結構來分割CTU，從而形成一個或多個CU。這樣的CU通常還可以被稱為“視頻區塊”或“區塊”。

通常，模式選擇單元202還控制其組件（例如，運動估計單元222、運動補償單元224和幀內預測單元226）以產生用於當前區塊（例如，當前CU，或者在HEVC中的PU和TU的重疊部分）的預測區塊。為了對當前區塊進行幀間預測，運動估計單元222可以執行運動搜尋以識別在一個或多個參考圖片（例如，被儲存在DPB 218中的一個或多個先前譯碼的圖片）中的一個或多個緊密匹配的參考區塊。具體地，運動估計單元222可以例如根據絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）等，來計算表示潛在參考區塊將與當前區塊的類似程度的值。運動估計單元222通常可以使用在當前區塊與所考慮的參考區塊之間的逐樣本差來執行這些計算。運動估計單元222可以識別根據這些計算所得到的具有最低值的參考區塊，其指示與當前區塊最緊密匹配的參考區塊。

運動估計單元222可以形成一個或多個運動向量（MV），所述運動向量限定相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置。然後，運動估計單元222可以將運動向量提供給運動補償單元224。例如，對於單向幀間預測，運動估計單元222可以提供單個運動向量，而對於雙向幀間預測，運動估計單元222可以提供兩個運動向量。然後，運動補償單元224可以使用運動向量來產生預測區塊。例如，運動補償單元224可以使用運動向量來提取參考區塊的資料。作為另一示例，如果運動向量具有分數樣本精準度，則運動補償單元224可以根據一個或多個內插濾波器來對用於預測區塊的值進行內插。此外，對於雙向幀間預測，運動補償單元224可以提取用於透過相應的運動向量識別的兩個參考區塊的資料以及例如透過逐樣本平均或加權平均來將所提取的資料進行組合。

作為另一示例，對於幀內預測或幀內預測譯碼，幀內預測單元226可以根據與當前區塊相鄰的樣本來產生預測區塊。例如，對於方向性模式，幀內預測單元226通常可以在數學上將相鄰樣本的值進行組合，以及跨越當前區塊在所定義的方向上填充這些計算出的值以產生預測區塊。作為另一示例，對於DC模式，幀內預測單元226可以計算當前區塊的相鄰樣本的平均，以及產生預測區塊以包括針對預測區塊的每個樣本的所述得到的平均。

模式選擇單元202將預測區塊提供給殘差產生單元204。殘差產生單元204從視頻資料記憶體230接收當前區塊的原始的未經編碼的版本，以及從模式選擇單元202接收預測區塊。殘差產生單元204計算在當前區塊與預測區塊之間的逐樣本差。所得到的逐樣本差定義用於當前區塊的殘差區塊。在一些示例中，殘差產生單元204還可以決定殘差區塊中的樣本值之間的差以使用殘差差分脈衝碼調變（RDPCM）來產生殘差區塊。在一些示例中，可以使用執行二進制減法的一個或多個減法器電路來形成殘差產生單元204。

在其中模式選擇單元202將CU分割為PU的示例中，每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視頻編碼器200和視頻解碼器300可以支援具有各種大小的PU。如上所指出的，CU的大小可以指CU的亮度譯碼區塊的大小，以及PU的大小可以指PU的亮度預測單元的大小。假設特定CU的大小為2Nx2N，則視頻編碼器200可以支援用於幀內預測的2Nx2N或NxN的PU大小、以及用於幀間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視頻編碼器200和視頻解碼器300還可以支援針對用於幀間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。

在其中模式選擇單元202不將CU進一步分割為PU的示例中，每個CU可以與亮度譯碼區塊和對應的色度譯碼區塊相關聯。如上所述，CU的大小可以指CU的亮度譯碼區塊的大小。視頻編碼器200和視頻解碼器300可以支援2Nx2N、2NxN 或 Nx2N 的CU大小。

對於其它視頻譯碼技術（舉幾個示例，諸如區塊內複製模式譯碼、仿射模式譯碼和線性模型（LM）模式譯碼），模式選擇單元202經由與譯碼技術相關聯的相應單元來產生用於正被編碼的當前區塊的預測區塊。在一些示例中（諸如調色板模式譯碼），模式選擇單元202可以不產生預測區塊，而是替代地產生指示基於所選擇的調色板來重建區塊的方式的語法元素。在這樣的模式下，模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。

如上所述，殘差產生單元204接收用於當前區塊和對應的預測區塊的視頻資料。然後，殘差產生單元204針對當前區塊產生殘差區塊。為了產生殘差區塊，殘差產生單元204計算在預測區塊與當前區塊之間的逐樣本差。

轉換處理單元206將一個或多個轉換應用於殘差區塊，以產生轉換係數的區塊（本文中被稱為“轉換係數區塊”）。轉換處理單元206可以將各種轉換應用於殘差區塊，以形成轉換係數區塊。例如，轉換處理單元206可以將離散餘弦轉換（DCT）、方向轉換、Karhunen-Loeve轉換（KLT）、或概念上類似的轉換應用於殘差區塊。在一些示例中，轉換處理單元206可以對殘差區塊執行多個轉換，例如，初級轉換和二次轉換（諸如旋轉轉換）。在一些示例中，轉換處理單元206不對殘差區塊應用轉換。

量化單元208可以對轉換係數區塊中的轉換係數進行量化，以產生經量化的轉換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數（QP）值來對轉換係數區塊的轉換係數進行量化。視頻編碼器200（例如，經由模式選擇單元202）可以透過調整與CU相關聯的QP值來調整被應用於與當前區塊相關聯的轉換係數區塊的量化程度。量化可能引起資訊損失，以及因此，經量化的轉換係數可能具有與轉換處理單元206所產生的原始轉換係數相比較低的精準度。

逆量化單元210和逆轉換處理單元212可以將逆量化和逆轉換分別應用於經量化的轉換係數區塊，以根據轉換係數區塊來重建殘差區塊。重建單元214可以基於經重建的殘差區塊和由模式選擇單元202產生的預測區塊來產生與當前區塊相對應的重建區塊（儘管潛在地具有某種程度的失真）。例如，重建單元214可以將經重建的殘差區塊的樣本與來自模式選擇單元202所產生的預測區塊的對應樣本相加，以產生經重建的區塊。

濾波器單元216可以對經重建的區塊執行一個或多個濾波器操作。例如，濾波器單元216可以執行解區塊操作以減少沿著CU/TU的邊緣的區塊效應偽影。在一些示例中，可以跳過濾波器單元216的操作。另外，濾波器單元216可以被配置為執行本公開內容的一種或多種濾波器技術，包括基於神經網路的濾波器技術。

具體而言，濾波器單元216可以被配置為將基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的後迴路濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者應用於視頻資料的經解碼的區塊，以形成一個或多個經濾波的經解碼的區塊。然後，濾波器單元216可以透過將一個或多個縮放因子應用於經濾波的經解碼的區塊來細化經濾波的經解碼的區塊。例如，濾波器單元216可以針對經濾波的經解碼的區塊測試一個或多個動態決定的或預定義的縮放因子。例如，濾波器單元216可以應用上文討論的公式（3）至（8）中的一者來細化經濾波的經解碼的區塊。模式選擇單元202可以執行速率-失真最佳化（RDO）程序，以計算所測試的縮放因子中的縮放因子中的每個縮放因子的RDO值，其表示各種縮放因子的失真和位元率。模式選擇單元202可以選擇產生最佳RDO值的縮放因子。

另外，模式選擇單元202可以向熵編碼單元220提供表示用於濾波器細化的啟用旗標的資料和表示縮放因子的資料。因此，熵編碼單元220可以對旗標（具有表示是否啟用使用縮放因子的濾波器細化的值）以及表示用於視頻資料的特定單元（例如，切片、圖片、CTU等）的縮放因子的值進行編碼。例如，熵編碼單元220可以在查找表（例如，索引表）中對直接表示縮放因子的資料或表示縮放因子的索引值進行編碼。

在一些示例中，濾波器單元216還可以將偏移值應用於經縮放的經濾波的經解碼的區塊以形成經細化的經濾波的經解碼的區塊。模式選擇單元202可以類似地向熵編碼單元220提供表示偏移值的資料，熵編碼單元220可以例如直接或使用索引值來對偏移值進行編碼。

熵編碼單元220可以在圖片標頭、圖片參數集（PPS）、切片標頭和/或自適應參數集（APS）或其它這樣的進階語法結構中對表示縮放因子和偏移值（當應用時）的資料進行編碼。

視頻編碼器200將（潛在地經濾波和細化的）經重建的區塊儲存在DPB 218中。例如，在其中不執行濾波器單元216的操作的示例中，重建單元214可以將經重建的區塊儲存到DPB 218中。在其中執行濾波器單元216的操作的示例中，濾波器單元216可以將經細化的經濾波的重建區塊儲存到DPB 218中。運動估計單元222和運動補償單元224可以從DPB 218提取根據經重建的（以及潛在地經濾波的）區塊形成的參考圖片，以對後續編碼的圖片的區塊進行幀間預測。另外，幀內預測單元226可以使用在DPB 218中的當前圖片的經重建的區塊來對當前圖片中的其它區塊進行幀內預測。

通常，熵編碼單元220可以對從視頻編碼器200的其它功能組件接收的語法元素進行熵編碼。例如，熵編碼單元220可以對來自量化單元208的經量化的轉換係數區塊進行熵編碼。作為另一示例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素（例如，用於幀間預測的運動資訊或用於幀內預測的幀內模式資訊）進行熵編碼。熵編碼單元220可以對作為視頻資料的另一示例的語法元素執行一個或多個熵編碼操作，以產生經熵編碼的資料。例如，熵編碼單元220可以執行上下文自適應變長編碼（CAVLC）操作、CABAC操作、可變至可變（V2V）長度譯碼操作、基於語法的上下文自適應二進制算術譯碼（SBAC）操作、概率區間分割熵（PIPE）譯碼操作、指數哥倫布編碼操作、或對資料的另一類型的熵編碼操作。在一些示例中，熵編碼單元220可以在其中語法元素未被熵編碼的旁路模式下操作。

視頻編碼器200可以輸出位元串流，其包括用於重建切片或圖片的區塊所需要的經熵編碼的語法元素。具體地，熵編碼單元220可以輸出位元串流。

上述操作是關於區塊描述的。這樣的描述應當被理解為用於亮度譯碼區塊和/或色度譯碼區塊的操作。如上所述，在一些示例中，亮度譯碼區塊和色度譯碼區塊是CU的亮度分量和色度分量。在一些示例中，亮度譯碼區塊和色度譯碼區塊是PU的亮度分量和色度分量。

在一些示例中，不需要針對色度譯碼區塊重複關於亮度譯碼區塊執行的操作。作為一個示例，不需要重複用於識別用於亮度譯碼區塊的運動向量（MV）和參考圖片的操作來識別用於色度區塊的MV和參考圖片。而是，可以對用於亮度譯碼區塊的MV進行縮放以決定用於色度區塊的MV，以及參考圖片可以是相同的。作為另一示例，對於亮度譯碼區塊和色度譯碼區塊，幀內預測程序可以是相同的。

視頻編碼器200表示被配置為對經解碼的視頻資料進行濾波的設備的示例，所述設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理器，其在電路中實現並且被配置為：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於經解碼的區塊以形成經濾波的區塊；將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將經細化的經濾波的區塊的樣本與經解碼的區塊的對應樣本進行組合。

圖7是示出可以執行本公開內容的技術的示例視頻解碼器300的方塊圖。圖7是出於解釋的目的而提供的，以及不對在本公開內容中廣泛地舉例說明和描述的技術進行限制。出於解釋的目的，本公開內容根據VVC（ITU-T H.266）和HEVC（ITU-T H.265）的技術描述視頻解碼器300。然而，本公開內容的技術可以由被配置為其它視頻譯碼標準的視頻譯碼設備來執行。

在圖7的示例中，視頻解碼器300包括譯碼圖片緩衝器（CPB）記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310、濾波器單元312和解碼圖片緩衝器（DPB）314。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310、濾波器單元312和DPB 314中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如，視頻解碼器300的單元可以被實現為一個或多個電路或邏輯元件，作為硬體電路的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視頻解碼器300可以包括額外或替代的處理器或處理電路以執行這些和其它功能。

預測處理單元304包括運動補償單元316和幀內預測單元318。預測處理單元304可以包括額外單元，其根據其它預測模式來執行預測。作為示例，預測處理單元304可以包括調色板單元、區塊內複製單元（其可以形成運動補償單元316的一部分）、仿射單元、線性模型（LM）單元等。在其它示例中，視頻解碼器300可以包括更多、更少或不同的功能組件。

CPB記憶體320可以儲存要由視頻解碼器300的組件解碼的視頻資料，諸如經編碼的視頻位元串流。例如，可以從計算機可讀媒體110（圖1）獲得被儲存在CPB記憶體320中的視頻資料。CPB記憶體320可以包括儲存來自經編碼的視頻位元串流的經編碼的視頻資料（例如，語法元素）的CPB。此外，CPB記憶體320可以儲存除了經譯碼的圖片的語法元素之外的視頻資料，諸如表示來自視頻解碼器300的各個單元的輸出的暫時資料。DPB 314通常儲存經解碼的圖片，視頻解碼器300可以輸出經解碼的圖片，和/或在解碼經編碼的視頻位元串流的後續資料或圖片時使用經解碼的圖片作為參考視頻資料。CPB記憶體320和DPB 314可以由各種各樣的記憶體設備中的任何一者形成，諸如DRAM，包括SDRAM、MRAM、RRAM或其它類型的記憶體設備。CPB記憶體320和DPB 314可以由相同的記憶體設備或分別的記憶體設備來提供。在各個示例中，CPB記憶體320可以與視頻解碼器300的其它組件在晶片上，或者相對於那些組件在晶片外。

另外或替代地，在一些示例中，視頻解碼器300可以從記憶體120（圖1）提取經譯碼的視頻資料。也就是說，記憶體120可以如上文所討論地利用CPB記憶體320來儲存資料。同樣，當視頻解碼器300的功能中的一些或全部功能是在要被視頻解碼器300的處理電路執行的軟體中實現時，記憶體120可以儲存要被視頻解碼器300執行的指令。

示出圖7中示出的各個單元以幫助理解由視頻解碼器300執行的操作。所述單元可以被實現為固定功能電路、可程式化電路、或其組合。類似於圖6，固定功能電路指提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指可以被程式化以執行各種任務並且以可以執行的操作來提供彈性功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作的類型通常是不可變的。在一些示例中，所述單元中的一個或多個單元可以是不同的電路區塊（固定功能或可程式化），以及在一些示例中，所述單元中的一個或多個單元可以是積體電路。

視頻解碼器300可以包括根據可程式化電路形成的ALU、EFU、數位電路、類比電路和/或可程式化核心。在其中由在可程式化電路上執行的軟體執行視頻解碼器300的操作的示例中，晶片上或晶片外記憶體可以儲存視頻解碼器300接收並且執行的軟體的指令（例如，目標碼）。

熵解碼單元302可以從CPB接收經編碼的視頻資料，以及對視頻資料進行熵解碼以重新產生語法元素。預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310和濾波器單元312可以基於從位元串流中抽取的語法元素來產生經解碼的視頻資料。

通常，視頻解碼器300在逐區塊的基礎上重建圖片。視頻解碼器300可以單獨地對每個區塊執行重建操作（其中，當前正在被重建（即，被解碼）的區塊可以被稱為“當前區塊”）。

熵解碼單元302可以對定義經量化的轉換係數區塊的經量化的轉換係數的語法元素以及諸如量化參數（QP）和/或轉換模式指示的轉換資訊進行熵解碼。逆量化單元306可以使用與經量化的轉換係數區塊相關聯的QP來決定量化程度，以及同樣地，決定供逆量化單元306應用的逆量化程度。逆量化單元306可以例如執行按位元左移操作以對經量化的轉換係數進行逆量化。逆量化單元306從而可以形成包括轉換係數的轉換係數區塊。

在逆量化單元306形成轉換係數區塊之後，逆轉換處理單元308可以將一個或多個逆轉換應用於轉換係數區塊，以產生與當前區塊相關聯的殘差區塊。例如，逆轉換處理單元308可以將逆DCT、逆整數轉換、逆Karhunen-Loeve轉換（KLT）、逆旋轉轉換、逆方向轉換或另一逆轉換應用於轉換係數區塊。

此外，預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來產生預測區塊。例如，如果預測資訊語法元素指示當前區塊是經幀間預測的，則運動補償單元316可以產生預測區塊。在這種情況下，預測資訊語法元素可以指示在DPB 314中的要從其提取參考區塊的參考圖片、以及識別相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置的運動向量。運動補償單元316通常可以以與關於運動補償單元224（圖6）所描述的方式基本類似的方式來執行幀間預測程序。

作為另一示例，如果預測資訊語法元素指示當前區塊是經幀內預測的，則幀內預測單元318可以根據透過預測資訊語法元素指示的幀內預測模式來產生預測區塊。再次，幀內預測單元318通常可以以與關於幀內預測單元226（圖6）所描述的方式基本上類似的方式來執行幀內預測程序。幀內預測單元318可以從DPB 314提取當前區塊的相鄰樣本的資料。

重建單元310可以使用預測區塊和殘差區塊來重建當前區塊。例如，重建單元310可以將殘差區塊的樣本與預測區塊的對應樣本相加來重建當前區塊。

濾波器單元312可以對經重建的區塊執行一個或多個濾波器操作。例如，濾波器單元312可以執行解區塊操作以減少沿著經重建的區塊的邊緣的區塊效應偽影。不必要在全部示例中都執行濾波器單元312的操作。另外，濾波器單元312可以被配置為執行本公開內容的一種或多種濾波器技術，包括基於神經網路的濾波器技術。

具體而言，最初，熵解碼單元302可以對表示是否要應用細化濾波的旗標的值進行解碼。在要應用細化濾波的情況下，熵解碼單元302可以對表示一個或多個縮放因子的資料進行熵解碼。例如，熵解碼單元302可以直接對縮放因子或在查找表（例如，索引表或映射表）中與縮放因子相對應的索引值進行熵解碼。熵解碼單元302可以從切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或其它進階語法結構中對旗標和縮放因子進行解碼。

濾波器單元312可以被配置為將基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的後迴路濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者應用於視頻資料的經解碼的區塊，以形成一個或多個經濾波的經解碼的區塊。然後，假設啟用細化濾波，濾波器單元312可以透過將一個或多個縮放因子應用於經濾波的經解碼的區塊來細化經濾波的經解碼的區塊。例如，濾波器單元312可以應用上文討論的公式（3）至（8）中的一者來細化經濾波的經解碼的區塊。

在一些示例中，濾波器單元312還可以將偏移值應用於經縮放的經濾波的經解碼的區塊以形成經細化的經濾波的經解碼的區塊。熵解碼單元302可以將表示偏移值的資料（例如，直接地或由對查找表（即，索引表或映射表）的索引值表示的）進行解碼。

熵解碼單元302可以從圖片標頭、圖片參數集（PPS）、切片標頭和/或自適應參數集（APS）或其它這樣的進階語法結構中對表示縮放因子和偏移值（當應用時）的資料進行解碼。

視頻解碼器300可以將經重建的區塊儲存在DPB 314中。例如，在其中不執行濾波器單元312的操作的示例中，重建單元310可以將經重建的區塊儲存到DPB 314中。在其中執行濾波器單元312的操作的示例中，濾波器單元312可以將經濾波的重建區塊儲存到DPB 314中。如上所討論的，DPB 314可以將參考資訊（諸如用於幀內預測的當前圖片以及用於後續運動補償的先前解碼的圖片的樣本）提供給預測處理單元304。此外，視頻解碼器300可以從DPB 314輸出經解碼的圖片（例如，經解碼的視頻），以用於在諸如圖1的顯示設備118的顯示設備上的後續呈現。

以這種方式，視頻解碼器300表示用於對經解碼的視頻資料進行濾波的設備的示例，所述設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理器，其在電路中實現並且被配置為：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於經解碼的區塊以形成經濾波的區塊；將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將經細化的經濾波的區塊的樣本與經解碼的區塊的對應樣本進行組合。

圖8是示出根據本公開內容的技術的用於對當前區塊進行編碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視頻編碼器200（圖1和6）進行描述，但是應當理解的是，其它設備可以被配置為執行與圖6的方法類似的方法。

在所述示例中，視頻編碼器200最初預測當前區塊（350）。例如，視頻編碼器200可以形成用於當前區塊的預測區塊。然後，視頻編碼器200可以計算用於當前區塊的殘差區塊（352）。為了計算殘差區塊，視頻編碼器200可以計算在原始的未經編碼的區塊與用於當前區塊的預測區塊之間的差。然後，視頻編碼器200可以對殘差區塊進行轉換以及對殘差區塊的轉換係數進行量化（354）。接下來，視頻編碼器200可以掃描殘差區塊的經量化的轉換係數（356）。在掃描期間或在掃描之後，視頻編碼器200可以對轉換係數進行熵編碼（358）。例如，視頻編碼器200可以例如使用CAVLC或CABAC來對轉換係數進行熵編碼。然後，視頻編碼器200可以輸出區塊的經熵編碼的資料（360）。

視頻編碼器200還可以在對當前區塊進行編碼之後對當前區塊進行解碼，以使用當前區塊的經解碼的版本作為後續經譯碼的資料的參考資料（例如，在幀間或幀內預測模式中）。因此，視頻編碼器200可以對係數進行逆量化和逆轉換以重新產生殘差區塊（362）。視頻編碼器200可以將殘差區塊與預測區塊進行組合以形成經解碼的區塊（364）。根據本公開內容的技術，視頻編碼器200可以對經解碼的區塊進行濾波和細化（366）。然後，視頻編碼器200可以將經濾波的經解碼的區塊儲存在DPB 218中（368）。

以這種方式，圖8的方法表示對經解碼的視頻資料進行濾波的方法的示例，所述方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於經解碼的區塊以形成經濾波的區塊；將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將經細化的經濾波的區塊的樣本與經解碼的區塊的對應樣本進行組合。

圖9是示出根據本公開內容的技術的用於對視頻資料的當前區塊進行解碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視頻解碼器300（圖1和7）進行描述，但是應當理解的是，其它設備可以被配置為執行與圖7的方法類似的方法。

視頻解碼器300可以接收用於當前區塊的經熵編碼的資料（諸如經熵編碼的預測資訊和用於與當前區塊相對應的殘差區塊的轉換係數的經熵編碼的資料）（370）。視頻解碼器300可以對經熵編碼的資料進行熵解碼以決定用於當前區塊的預測資訊並且重新產生殘差區塊的轉換係數（372）。視頻解碼器300可以例如使用如由用於當前區塊的預測資訊所指示的幀內或幀間預測模式來預測當前區塊（374），以計算用於當前區塊的預測區塊。然後，視頻解碼器300可以對所重新產生的轉換係數進行逆掃描（376），以建立經量化的轉換係數的區塊。然後，視頻解碼器300可以對轉換係數進行逆量化並且將逆轉換應用於轉換係數以產生殘差區塊（378）。最終，視頻解碼器300可以透過將預測區塊和殘差區塊進行組合來對當前區塊進行解碼（380）。

以這種方式，圖9的方法表示對經解碼的視頻資料進行濾波的方法的示例，所述方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於經解碼的區塊以形成經濾波的區塊；將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將經細化的經濾波的區塊的樣本與經解碼的區塊的對應樣本進行組合。

圖10是示出根據本公開內容的技術的用於對視頻資料進行編碼以及對經解碼的視頻資料進行濾波的示例方法的流程圖。儘管圖10的方法是關於圖1和6的視頻編碼器200來解釋的，但是其它視頻編碼設備可以被配置為執行所述方法或類似方法。

最初，視頻編碼器200可以對視頻資料的區塊進行編碼，以及隨後對視頻資料的區塊進行解碼（390）。然後，視頻編碼器200可以例如使用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的後迴路濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的一者或多者來對經解碼的區塊進行濾波（392）。

然後，視頻編碼器200可以使用速率-失真最佳化（RDO）來測試多個動態決定或預定義的縮放因子（394）。例如，視頻編碼器200可以將縮放因子中的每個縮放因子應用於經濾波的經解碼的區塊，以及將所得的經細化的經濾波的經解碼的區塊與原始的未經譯碼的區塊進行比較，以計算RDO值。假設縮放因子中的至少一者導致產生比未進行細化的經濾波的經解碼的區塊更好的RDO性能的經細化的經濾波的經解碼的區塊，則視頻編碼器200可以決定根據本公開內容的技術來啟用細化濾波。在一些示例中，RDO程序還可以包括與縮放因子相結合地應用的測試偏移。在一些示例中，視頻編碼器200可以測試多個不同的濾波器和/或多個不同的縮放因子（潛在地具有偏移），如上所述。

然後，視頻編碼器200可以決定縮放因子中的具有最佳RDO值的一個縮放因子（或縮放因子集合，潛在地具有偏移）（396）。視頻編碼器200可以將所決定的縮放因子（或縮放因子和/或偏移的集合）應用於經濾波的經解碼的區塊（398）。然後，視頻編碼器200可以例如在逐樣本的基礎上將經細化的經濾波的區塊與原始的經解碼的區塊進行組合（400），以及將所得的區塊儲存到DPB 218（402）。

此外，視頻編碼器200可以例如在切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或其它這樣的進階語法結構中對表示所選擇的縮放因子的資料進行編碼（404）。此外，視頻編碼器200可以對啟用濾波器細化的旗標的值進行編碼，如上所討論的。在一些示例中，視頻編碼器200可以對直接表示縮放因子和/或偏移的資料進行編碼，而在其它示例中，視頻編碼器200可以對在對應的查找表中與所選擇的縮放因子和/或偏移相對應的索引值進行編碼。

以這種方式，圖10的方法表示對經解碼的視頻資料進行濾波的方法的示例，所述方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於經解碼的區塊以形成經濾波的區塊；將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將經細化的經濾波的區塊的樣本與經解碼的區塊的對應樣本進行組合。

圖11是示出根據本公開內容的技術的用於對經解碼的視頻資料進行濾波的示例方法的流程圖。儘管圖11的方法是關於圖1和圖7的視頻解碼器300來解釋的，但是其它視頻解碼設備可以被配置為執行所述方法或類似方法。

最初，視頻解碼器300可以對視頻資料的區塊進行編碼，以及隨後對視頻資料的區塊進行解碼（410）。然後，視頻解碼器300可以例如使用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的後迴路濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的一者或多者來對經解碼的區塊進行濾波（412）。

然後，視頻解碼器300可以根據本公開內容的技術來對啟用細化濾波的資料進行解碼（414）。也就是說，視頻解碼器300可以對表示是否啟用細化濾波的語法元素進行解碼，以及決定語法元素的值指示啟用細化濾波。然後，視頻解碼器300可以對指示縮放因子的資料進行解碼（416）。例如，資料可以直接表示縮放因子，或者是對將索引值映射到縮放因子的查找表的索引值。在一些示例中，視頻解碼器300可以對表示縮放因子和/或偏移的集合的資料進行解碼。所述資料可以被包括在切片標頭、圖片標頭、圖片參數集（PPS）、自適應參數集（APS）或其它進階語法結構中。視頻解碼器300可以將所決定的縮放因子（或縮放因子和/或偏移的集合）應用於經濾波的經解碼的區塊（418）以產生經細化的經濾波的區塊。然後，視頻解碼器300可以例如在逐樣本的基礎上將經細化的經濾波的區塊與原始的經解碼的區塊進行組合（420），以及將所得的區塊儲存到DPB 314（422）。視頻解碼器300還可以將所得的視頻資料從DPB 314輸出以供顯示，例如，輸出到顯示設備（424）。

以這種方式，圖11的方法表示對經解碼的視頻資料進行濾波的方法的示例，所述方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於經解碼的區塊以形成經濾波的區塊；將經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將經細化的經濾波的區塊的樣本與經解碼的區塊的對應樣本進行組合。

在以下條款中概述本公開內容的某些示例技術：

條款1：一種對視頻資料進行解碼的方法，所述方法包括：重建視頻資料；以及將濾波器應用於經重建的視頻資料，其中，應用所述濾波器包括：細化濾波器輸出殘差並且添加經細化的濾波器輸出殘差以更新所述濾波器的輸入樣本。

條款2：根據條款1所述的方法，其中，細化所述濾波器輸出殘差包括：將所述濾波器輸出殘差乘以縮放因子。

條款3：根據條款1所述的方法，其中，細化所述濾波器輸出殘差包括：將所述濾波器輸出殘差乘以縮放因子並且添加偏移。

條款4：根據條款1-3中任一項所述的方法，其中，所述濾波器是基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的後迴路濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的一者。

條款5：根據條款1-5中的任何組合所述的方法，其中，細化所述濾波器輸出殘差包括：細化多個濾波器的所述濾波器輸出殘差。

條款6：根據條款1-5中任一項所述的方法，其中，譯碼包括編碼。

條款7：根據條款1-5中任一項所述的方法，其中，譯碼包括解碼。

條款8：一種用於對視頻資料進行譯碼的設備，所述設備包括用於執行根據條款1-7中任一項所述的方法的一個或多個構件。

條款9：根據條款8所述的設備，其中，所述一個或多個構件包括在電路中實現的一個或多個處理器。

條款10：根據條款8和9中任一項所述的設備，還包括：被配置為儲存所述視頻資料的記憶體。

條款11：根據條款8-10中任一項所述的設備，還包括：被配置為顯示經解碼的視頻資料的顯示器。

條款12：根據條款8-11中任一項所述的設備，其中，所述設備包括相機、計算機、行動設備、廣播接收機設備或機上盒中的一者或多者。

條款13：根據條款8-12中任一項所述的設備，其中，所述設備包括視頻解碼器。

條款14：根據條款8-13中任一項所述的設備，其中，所述設備包括視頻編碼器。

條款15：一種具有儲存在其上的指令的計算機可讀儲存媒體，所述指令在被執行時使得一個或多個處理器執行根據條款1-7中任一項所述的方法。

條款16：一種對經解碼的視頻資料進行濾波的方法，所述方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

條款17：根據條款16所述的方法，還包括：對表示所述縮放因子的語法元素的值進行解碼。

條款18：根據條款17所述的方法，其中，對所述語法元素的所述值進行解碼包括：對包括所述區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。

條款19：根據條款17所述的方法，其中，對所述語法元素的所述值進行解碼包括對以下各項中的至少一項進行解碼：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。

條款20：根據條款17-19中任一項所述的方法，其中，對所述語法元素的所述值進行解碼包括：對在索引表中映射到所述縮放因子的索引值進行解碼，所述方法還包括：使用所述索引表來根據所述索引值決定所述縮放因子。

條款21：根據條款17-19中任一項所述的方法，還包括：透過具有預定義位元精準度的整數值來對所述值進行逆量化。

條款22：根據條款16-21中任一項所述的方法，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子包括：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的縮放因子中的每個縮放因子。

條款23：根據條款16-22中任一項所述的方法，其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊還包括：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款24：根據條款16-22中任一項所述的方法，其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊還包括：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款25：根據條款16-24中任一項所述的方法，其中，應用所述濾波器包括：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。

條款26：根據條款16-25中任一項所述的方法，還包括：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。

條款27：根據條款26所述的方法，還包括：在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。

條款28：根據條款16-27中任一項所述的方法，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，所述方法還包括：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合包括：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款29：根據條款16-27中任一項所述的方法，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，其中，將所述第一濾波器應用於所述經解碼的區塊包括：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；並且其中，將所述第一經濾波的區塊的所述樣本乘以所述第一縮放因子包括：將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的所述樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合包括：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款30：根據條款16-29中任一項所述的方法，還包括：在對所述當前區塊進行解碼之前對所述當前區塊進行編碼。

條款31：一種用於對經解碼的視頻資料進行濾波的設備，所述設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理器，其在電路中實現並且被配置為：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本組合。

條款32：根據條款31所述的設備，其中，所述一個或多個處理器還被配置為：對表示所述縮放因子的語法元素的值進行解碼。

條款33：根據條款32所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為：對包括所述區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。

條款34：根據條款32所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為對以下各項中的至少一項進行解碼：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。

條款35：根據條款32-34中任一項所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為：對在索引表中映射到所述縮放因子的索引值進行解碼；以及使用所述索引表來根據所述索引值決定所述縮放因子。

條款36：根據條款32-35中任一項所述的設備，其中，所述一個或多個處理器還被配置為：透過具有預定義位元精準度的整數值來對所述值進行逆量化。

條款37：根據條款31-36中任一項所述的設備，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，所述一個或多個處理器被配置為：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的縮放因子中的每個縮放因子。

條款38：根據條款31-37中任一項所述的設備，其中，所述一個或多個處理器被配置為：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款39：根據條款31-37中任一項所述的設備，其中，為了形成所述經細化的經濾波的區塊，所述一個或多個處理器被配置為：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款40：根據條款31-39中任一項所述的設備，其中，為了應用所述濾波器，所述一個或多個處理器被配置為：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。

條款41：根據條款31-40中任一項所述的設備，其中，所述一個或多個處理器還被配置為：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。

條款42：根據條款41所述的設備，其中，所述一個或多個處理器還被配置為在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。

條款43：根據條款31-42中任一項所述的設備，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，並且其中，所述一個或多個處理器還被配置為：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，為了將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合，所述一個或多個處理器被配置為：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款44：根據條款31-42中任一項所述的設備，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，並且其中，所述一個或多個處理器被配置為：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；以及將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的所述樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，為了將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合，所述一個或多個處理器被配置為：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款45：根據條款31-44中任一項所述的設備，其中，所述一個或多個處理器還被配置為：在對所述當前區塊進行解碼之前對所述當前區塊進行編碼。

條款46：根據條款31-45中任一項所述的設備，還包括：被配置為顯示經解碼的視頻資料的顯示器。

條款47：根據條款31-46中任一項所述的設備，其中，所述設備包括相機、計算機、行動設備、廣播接收機設備或機上盒中的一者或多者。

條款48：一種具有儲存在其上的指令的計算機可讀儲存媒體，所述指令在被執行時使得處理器進行以下操作：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

條款49：根據條款48所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：對表示所述縮放因子的語法元素的值進行解碼。

條款50：根據條款49所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器進行以下操作的指令：對包括所述區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。

條款51：根據條款49所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器對以下各項中的至少一項進行解碼的指令：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。

條款52：根據條款49-51中任一項所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器進行以下操作的指令：對在索引表中映射到所述縮放因子的索引值進行解碼，所述方法還包括：使用所述索引表來根據所述索引值決定所述縮放因子。

條款53：根據條款49-52中任一項所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：透過具有預定義位元精準度的整數值來對所述值進行逆量化。

條款54：根據條款48-53中任一項所述的計算機可讀儲存媒體，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子的所述指令包括使得所述處理器進行以下操作的指令：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的縮放因子中的每個縮放因子。

條款55：根據條款48-54中任一項所述的計算機可讀儲存媒體，其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊的所述指令還包括使得所述處理器進行以下操作的指令：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款56：根據條款48-55中任一項所述的計算機可讀儲存媒體，其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊的所述指令還包括使得所述處理器進行以下操作的指令：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款57：根據條款48-56中任一項所述的計算機可讀儲存媒體，其中，使得所述處理器應用所述濾波器的所述指令包括使得所述處理器進行以下操作的指令：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。

條款58：根據條款48-57中任一項所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。

條款59：根據條款48-58中任一項所述的計算機可讀儲存媒體，還包括使得所述處理器在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼的指令：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。

條款60：根據條款48-59中任一項所述的計算機可讀儲存媒體，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，所述計算機可讀儲存媒體還包括使得所述處理器進行以下操作的指令：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，使得所述處理器將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合的所述指令包括使得所述處理器進行以下操作的指令：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款61：根據條款48-59中任一項所述的計算機可讀儲存媒體，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，其中，使得所述處理器將所述第一濾波器應用於所述經解碼的區塊的所述指令包括使得所述處理器進行以下操作的指令：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；並且其中，使得所述處理器將所述第一經濾波的區塊的所述樣本乘以所述第一縮放因子的所述指令包括使得所述處理器進行以下操作的指令：將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的所述樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，使得所述處理器將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合的所述指令包括使得所述處理器進行以下操作的指令：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款62：根據條款48-61中任一項所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：在對所述當前區塊進行解碼之前對所述當前區塊進行編碼。

條款63：一種用於對經解碼的視頻資料進行濾波的設備，所述設備包括：用於對視頻資料的區塊進行解碼以形成經解碼的區塊的構件；用於將濾波器應用於所述經解碼的區塊以形成經濾波的區塊的構件；用於將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊的構件；以及用於將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合的構件。

條款64：一種對經解碼的視頻資料進行濾波的方法，所述方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

條款65：根據條款64所述的方法，還包括：對表示所述縮放因子的語法元素的值進行解碼。

條款66：根據條款65所述的方法，其中，對所述語法元素的所述值進行解碼包括：對包括所述區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。

條款67：根據條款65所述的方法，其中，對所述語法元素的所述值進行解碼包括對以下各項中的至少一項進行解碼：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。

條款68：根據條款65所述的方法，其中，對所述語法元素的所述值進行解碼包括：對在索引表中映射到所述縮放因子的索引值進行解碼，所述方法還包括：使用所述索引表來根據所述索引值決定所述縮放因子。

條款69：根據條款65所述的方法，還包括：透過具有預定義位元精準度的整數值來對所述值進行逆量化。

條款70：根據條款64所述的方法，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子包括：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的縮放因子中的每個縮放因子。

條款71：根據條款64所述的方法，其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊還包括：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款72：根據條款64所述的方法，其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊還包括：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款73：根據條款64所述的方法，其中，應用所述濾波器包括：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。

條款74：根據條款64所述的方法，還包括：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。

條款75：根據條款74所述的方法，還包括在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。

條款76：根據條款64所述的方法，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，所述方法還包括：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合包括：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款77：根據條款64所述的方法，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，其中，將所述第一濾波器應用於所述經解碼的區塊包括：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；並且其中，將所述第一經濾波的區塊的所述樣本乘以所述第一縮放因子包括：將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的所述樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合包括：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款78：根據條款64所述的方法，還包括：在對所述當前區塊進行解碼之前對所述當前區塊進行編碼。

條款79：一種用於對經解碼的視頻資料進行濾波的設備，所述設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理器，其在電路中實現並且被配置為：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

條款80：根據條款79所述的設備，其中，所述一個或多個處理器還被配置為：對表示所述縮放因子的語法元素的值進行解碼。

條款81：根據條款80所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為：對包括所述區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。

條款82：根據條款80所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為對以下各項中的至少一項進行解碼：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。

條款83：根據條款80所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為：對在索引表中映射到所述縮放因子的索引值進行解碼；以及使用所述索引表來根據所述索引值決定所述縮放因子。

條款84：根據條款80所述的設備，其中，所述一個或多個處理器還被配置為：透過具有預定義位元精準度的整數值來對所述值進行逆量化。

條款85：根據條款79所述的設備，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，所述一個或多個處理器被配置為：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的縮放因子中的每個縮放因子。

條款86：根據條款79所述的設備，其中，所述一個或多個處理器被配置為：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款87：根據條款79所述的設備，其中，為了形成所述經細化的經濾波的區塊，所述一個或多個處理器被配置為：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款88：根據條款79所述的設備，其中，為了應用所述濾波器，所述一個或多個處理器被配置為：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。

條款89：根據條款79所述的設備，其中，所述一個或多個處理器還被配置為：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。

條款90：根據條款89所述的設備，其中，所述一個或多個處理器還被配置為在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。

條款91：根據條款79所述的設備，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，並且其中，所述一個或多個處理器還被配置為：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，為了將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合，所述一個或多個處理器被配置為：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款92：根據條款79所述的設備，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，並且其中，所述一個或多個處理器被配置為：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；以及將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的所述樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，為了將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合，所述一個或多個處理器被配置為：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款93：根據條款79所述的設備，其中，所述一個或多個處理器還被配置為：在對所述當前區塊進行解碼之前對所述當前區塊進行編碼。

條款94：根據條款79所述的設備，還包括：被配置為顯示經解碼的視頻資料的顯示器。

條款95：根據條款79所述的設備，其中，所述設備包括相機、計算機、行動設備、廣播接收機設備或機上盒中的一者或多者。

條款96：一種具有儲存在其上的指令的計算機可讀儲存媒體，所述指令在被執行時使得處理器進行以下操作：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。

條款97：根據條款96所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：對表示所述縮放因子的語法元素的值進行解碼。

條款98：根據條款97所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器進行以下操作的指令：對包括所述區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。

條款99：根據條款97所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器對以下各項中的至少一項進行解碼的指令：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。

條款100：根據條款97所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器進行以下操作的指令：對在索引表中映射到所述縮放因子的索引值進行解碼，所述方法還包括：使用所述索引表來根據所述索引值決定所述縮放因子。

條款101：根據條款97所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：透過具有預定義位元精準度的整數值來對所述值進行逆量化。

條款102：根據條款96所述的計算機可讀儲存媒體，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子的所述指令包括使得所述處理器進行以下操作的指令：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的縮放因子中的每個縮放因子。

條款103：根據條款96所述的計算機可讀儲存媒體，其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊的所述指令還包括使得所述處理器進行以下操作的指令：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款104：根據條款96所述的計算機可讀儲存媒體，其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊的所述指令還包括使得所述處理器進行以下操作的指令：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。

條款105：根據條款96所述的計算機可讀儲存媒體，其中，使得所述處理器應用所述濾波器的所述指令包括使得所述處理器進行以下操作的指令：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。

條款106：根據條款96所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。

條款107：根據條款106所述的計算機可讀儲存媒體，還包括使得所述處理器在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼的指令：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。

條款108：根據條款96所述的計算機可讀儲存媒體，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，所述計算機可讀儲存媒體還包括使得所述處理器進行以下操作的指令：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，使得所述處理器將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合的所述指令包括使得所述處理器進行以下操作的指令：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款109：根據條款96所述的計算機可讀儲存媒體，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，其中，使得所述處理器將所述第一濾波器應用於所述經解碼的區塊的所述指令包括使得所述處理器進行以下操作的指令：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；並且其中，使得所述處理器將所述第一經濾波的區塊的所述樣本乘以所述第一縮放因子的所述指令包括使得所述處理器進行以下操作的指令：將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的所述樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，使得所述處理器將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合的所述指令包括使得所述處理器進行以下操作的指令：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。

條款110：根據條款96所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：在對所述當前區塊進行解碼之前對所述當前區塊進行編碼。

條款111：一種用於對經解碼的視頻資料進行濾波的設備，所述設備包括：用於對視頻資料的區塊進行解碼以形成經解碼的區塊的構件；用於將濾波器應用於所述經解碼的區塊以形成經濾波的區塊的構件；用於將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊的構件；以及用於將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合的構件。

要認識到的是，根據示例，本文描述的技術中的任何技術的某些動作或事件可以以不同的順序執行，可以被添加、合併或完全省略（例如，並非全部描述的動作或事件對於所述技術的實踐是必要的）。此外，在某些示例中，動作或事件可以例如透過多線程處理、中斷處理或多個處理器並行地而不是依序地執行。

在一個或多個示例中，所描述的功能可以在硬體、軟體、韌體或其任何組合中實現。如果在軟體中實現，則所述功能可以作為一個或多個指令或碼儲存在計算機可讀媒體上或者透過其進行發送以及由基於硬體的處理單元執行。計算機可讀媒體可以包括計算機可讀儲存媒體，其對應於諸如資料儲存媒體的有形媒體或者通信媒體，所述通信媒體包括例如根據通信協定來促進計算機程式從一個地方傳送到另一個地方的任何媒體。以這種方式，計算機可讀媒體通常可以對應於（1）非暫時性的有形計算機可讀儲存媒體、或者（2）諸如信號或載波的通信媒體。資料儲存媒體可以是可以由一個或多個計算機或者一個或多個處理器存取以取得用於實現在本公開內容中描述的技術的指令、碼和/或資料結構的任何可用的媒體。計算機程式產品可以包括計算機可讀媒體。

舉例來說而非進行限制，這樣的計算機可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光碟儲存、磁碟儲存或其它磁儲存設備、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程序碼以及能夠由計算機存取的任何其它媒體。此外，任何連接被適當地稱為計算機可讀媒體。例如，如果使用同軸電纜、光纖光纜、雙絞線、數位用戶線（DSL）或者無線技術（諸如紅外線、無線電和微波）來從網站、伺服器或其它遠程來源發送指令，則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術（諸如紅外線、無線電和微波）被包括在媒體的定義中。然而，應當理解的是，計算機可讀儲存媒體和資料儲存媒體不包括連接、載波、信號或其它暫時性媒體，而是替代地針對非暫時性的有形儲存媒體。如本文所使用的，磁碟和光碟包括壓縮光碟（CD）、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中，磁碟通常磁性地複製資料，而光碟利用雷射來光學地複製資料。上述各項的組合也應當被包括在計算機可讀媒體的範圍之內。

指令可以由一個或多個處理器來執行，諸如一個或多個DSP、通用微處理器、ASIC、FPGA、或其它等效的積體或離散邏輯電路。相應地，如本文所使用的用語“處理器”和“處理電路”可以指代前述結構中的任何一者或者適於實現本文描述的技術的任何其它結構。另外，在一些方面中，本文描述的功能可以在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供，或者被併入經組合的編解碼器中。此外，所述技術可以充分地在一個或多個電路或邏輯元件中實現。

本公開內容的技術可以在各種各樣的設備或裝置中實現，包括無線手機、積體電路（IC）或一組IC（例如，晶片組）。在本公開內容中描述各個組件、模組或單元以強調被配置為執行所公開的技術的設備的功能性方面，但是不一定需要透過不同的硬體單元來實現。而是，如上所述，各個單元可以被組合在編解碼器硬體單元中，或者由可互操作的硬體單元的集合（包括如上所述的一個或多個處理器）結合適當的軟體和/或韌體來提供。

已經描述各個示例。這些和其它示例在以下申請專利範圍的範圍內。

100:系統 102:來源設備 104:視頻來源 106:記憶體 108:輸出介面 110:計算機可讀媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 130:視頻譯碼器 132:輸入視頻資料 134:加總單元 136:轉換單元 138:量化單元 140:熵譯碼單元 142:逆量化單元 144:逆轉換單元 146:加總單元 148:迴路濾波器單元 150:解碼圖片緩衝器（DPB） 152:幀內預測單元 154:幀間預測單元 156:運動估計單元 158:位元串流 160:輸出視頻資料 170:分層預測結構 180:經重建的樣本 182:濾波程序 184:經改良的資料 190:四元樹二元樹（QTBT）結構 192:譯碼樹單元（CTU） 200:視頻編碼器 202:模式選擇單元 204:殘差產生單元 206:轉換處理單元 208:量化單元 210:逆量化單元 212:逆轉換處理單元 214:重建單元 216:濾波器單元 218:解碼圖片緩衝器（DPB） 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:幀內預測單元 230:視頻資料記憶體 300:視頻解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆轉換處理單元 310:重建單元 312:濾波器單元 314:解碼圖片緩衝器（DPB） 316:運動補償單元 318:幀內預測單元 320:譯碼圖片緩衝器（CPB）記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 362:步驟 364:步驟 366:步驟 368:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 390:步驟 392:步驟 394:步驟 396:步驟 398:步驟 400:步驟 402:步驟 404:步驟 410:步驟 412:步驟 414:步驟 416:步驟 418:步驟 420:步驟 422:步驟 424:步驟

圖1是示出可以執行本公開內容的技術的示例視頻編碼和解碼系統的方塊圖。

圖2是示出示例混合視頻譯碼框架的方塊圖。

圖3是示出圖片組（GOP）大小等於16的分層預測結構的概念圖。

圖4是示出具有四個層的示例基於卷積神經網路的濾波器的方塊圖。

圖5A和圖5B是示出示例四元樹二元樹（QTBT）結構以及對應的譯碼樹單元（CTU）的概念圖。

圖6是示出可以執行本公開內容的技術的示例視頻編碼器的方塊圖。

圖7是示出可以執行本公開內容的技術的示例視頻解碼器的方塊圖。

圖8是示出根據本公開內容的技術的用於對當前區塊進行編碼的示例方法的流程圖。

圖9是示出根據本公開內容的技術的用於對當前區塊進行解碼的示例方法的流程圖。

圖10是示出根據本公開內容的技術的用於對視頻資料進行編碼以及用於對經解碼的視頻資料進行濾波的示例方法的流程圖。

圖11是示出根據本公開內容的技術的用於對經解碼的視頻資料進行濾波的示例方法的流程圖。

410:步驟

412:步驟

414:步驟

416:步驟

418:步驟

420:步驟

422:步驟

424:步驟

Claims

一種對經解碼的視頻資料進行濾波的方法，所述方法包括：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。
根據請求項1所述的方法，還包括：對表示所述縮放因子的語法元素的值進行解碼。
根據請求項2所述的方法，其中，對所述語法元素的所述值進行解碼包括：對包括所述視頻資料的區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。
根據請求項2所述的方法，其中，對所述語法元素的所述值進行解碼包括對以下各項中的至少一項進行解碼：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。
根據請求項2所述的方法，其中，對所述語法元素的所述值進行解碼包括：對在索引表中映射到所述縮放因子的索引值進行解碼，所述方法還包括：使用所述索引表來根據所述索引值決定所述縮放因子。
根據請求項2所述的方法，還包括：透過具有預定義位元精準度的整數值來對所述語法元素的所述值進行逆量化。
根據請求項1所述的方法，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子包括：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的每個縮放因子。
根據請求項1所述的方法，其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊還包括：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。
根據請求項1所述的方法，其中，將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊還包括：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。
根據請求項1所述的方法，其中，應用所述濾波器包括：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。
根據請求項1所述的方法，還包括：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。
根據請求項11所述的方法，還包括在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。
根據請求項1所述的方法，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，所述方法還包括：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合包括：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。
根據請求項1所述的方法，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，其中，將所述第一濾波器應用於所述經解碼的區塊包括：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；並且其中，將所述第一經濾波的區塊的所述樣本乘以所述第一縮放因子包括：將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合包括：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。
根據請求項1所述的方法，還包括：在對當前區塊進行解碼之前對所述當前區塊進行編碼。
一種用於對經解碼的視頻資料進行濾波的設備，所述設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理器，其在電路中實現並且被配置為：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。
根據請求項16所述的設備，其中，所述一個或多個處理器還被配置為：對表示所述縮放因子的語法元素的值進行解碼。
根據請求項17所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為：對包括所述視頻資料的區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。
根據請求項17所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為對以下各項中的至少一項進行解碼：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。
根據請求項17所述的設備，其中，為了對所述語法元素的所述值進行解碼，所述一個或多個處理器被配置為：對在索引表中映射到所述縮放因子的索引值進行解碼；以及使用所述索引表來根據所述索引值決定所述縮放因子。
根據請求項17所述的設備，其中，所述一個或多個處理器還被配置為：透過具有預定義位元精準度的整數值來對所述語法元素的所述值進行逆量化。
根據請求項16所述的設備，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，所述一個或多個處理器被配置為：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的每個縮放因子。
根據請求項16所述的設備，其中，所述一個或多個處理器被配置為：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。
根據請求項16所述的設備，其中，為了形成所述經細化的經濾波的區塊，所述一個或多個處理器被配置為：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。
根據請求項16所述的設備，其中，為了應用所述濾波器，所述一個或多個處理器被配置為：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。
根據請求項16所述的設備，其中，所述一個或多個處理器還被配置為：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。
根據請求項26所述的設備，其中，所述一個或多個處理器還被配置為在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。
根據請求項16所述的設備，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，並且其中，所述一個或多個處理器還被配置為：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，為了將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合，所述一個或多個處理器被配置為：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。
根據請求項16所述的設備，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，並且其中，所述一個或多個處理器被配置為：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；以及將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，為了將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合，所述一個或多個處理器被配置為：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。
根據請求項16所述的設備，其中，所述一個或多個處理器還被配置為：在對當前區塊進行解碼之前對所述當前區塊進行編碼。
根據請求項16所述的設備，還包括：被配置為顯示經解碼的視頻資料的顯示器。
根據請求項16所述的設備，其中，所述設備包括相機、計算機、行動設備、廣播接收機設備或機上盒中的一者或多者。
一種具有儲存在其上的指令的計算機可讀儲存媒體，所述指令在被執行時使得處理器進行以下操作：對視頻資料的區塊進行解碼以形成經解碼的區塊；將濾波器應用於所述經解碼的區塊以形成經濾波的區塊；將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊；以及將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本進行組合。
根據請求項33所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：對表示所述縮放因子的語法元素的值進行解碼。
根據請求項34所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器進行以下操作的指令：對包括所述視頻資料的區塊的圖片的圖片標頭進行解碼，所述圖片標頭包括表示所述縮放因子的所述語法元素。
根據請求項34所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器對以下各項中的至少一項進行解碼的指令：包括所述區塊的切片的切片標頭，並且所述切片標頭包括所述語法元素；用於所述切片的自適應參數集（APS），並且所述APS包括所述語法元素；或所述區塊的區塊標頭，並且所述區塊標頭包括所述語法元素。
根據請求項34所述的計算機可讀儲存媒體，其中，使得所述處理器對所述語法元素的所述值進行解碼的所述指令包括使得所述處理器進行以下操作的指令：對在索引表中映射到所述縮放因子的索引值進行解碼，所述方法還包括：使用所述索引表來根據所述索引值決定所述縮放因子。
根據請求項34所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：透過具有預定義位元精準度的整數值來對所述語法元素的所述值進行逆量化。
根據請求項33所述的計算機可讀儲存媒體，其中，所述縮放因子包括多個縮放因子中的第一縮放因子，並且其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子的所述指令包括使得所述處理器進行以下操作的指令：將所述經濾波的區塊的所述樣本乘以所述多個縮放因子中的每個縮放因子。
根據請求項33所述的計算機可讀儲存媒體，其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊的所述指令還包括使得所述處理器進行以下操作的指令：將偏移與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。
根據請求項33所述的計算機可讀儲存媒體，其中，使得所述處理器將所述經濾波的區塊的所述樣本乘以所述縮放因子以形成所述經細化的經濾波的區塊的所述指令還包括使得所述處理器進行以下操作的指令：決定偏移值；將按位元移位應用於所述偏移值以形成經移位的偏移值；以及將所述經移位的偏移值與所述經濾波的區塊的所述樣本和所述縮放因子的乘積相加以形成所述經細化的經濾波的區塊。
根據請求項33所述的計算機可讀儲存媒體，其中，使得所述處理器應用所述濾波器的所述指令包括使得所述處理器進行以下操作的指令：應用基於神經網路的濾波器、基於神經網路的迴路濾波器、基於神經網路的迴路後濾波器、自適應迴路內濾波器或預定義自適應迴路內濾波器中的至少一者。
根據請求項33所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：在將所述經濾波的區塊的所述樣本乘以所述縮放因子之前，決定表示是否細化所述經濾波的區塊的語法元素具有指示細化所述經濾波的區塊的值。
根據請求項43所述的計算機可讀儲存媒體，還包括使得所述處理器在以下各項中的至少一項中對表示是否細化所述經濾波的區塊的所述語法元素的所述值進行解碼的指令：包括所述區塊的切片的切片標頭、包括所述區塊的圖片的圖片標頭、或與包括所述區塊的所述切片相對應的自適應參數集（APS）。
根據請求項33所述的計算機可讀儲存媒體，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，所述計算機可讀儲存媒體還包括使得所述處理器進行以下操作的指令：將第二濾波器應用於所述經解碼的區塊以形成第二經濾波的區塊；以及將所述第二經濾波的區塊的樣本乘以第二縮放因子以形成第二經細化的經濾波的區塊，其中，使得所述處理器將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合的所述指令包括使得所述處理器進行以下操作的指令：將所述第一經細化的經濾波的區塊的所述樣本和所述第二經細化的經濾波的區塊的樣本與所述經解碼的區塊的所述對應樣本進行組合。
根據請求項33所述的計算機可讀儲存媒體，其中，所述濾波器包括第一濾波器，所述經濾波的區塊包括第一經濾波的區塊，所述經細化的經濾波的區塊包括第一經細化的經濾波的區塊，並且所述縮放因子包括第一縮放因子，其中，使得所述處理器將所述第一濾波器應用於所述經解碼的區塊的所述指令包括使得所述處理器進行以下操作的指令：將包括所述第一濾波器的多個濾波器中的每個濾波器應用於所述經解碼的區塊以形成包括所述第一經濾波的區塊的相應的多個經濾波的區塊；並且其中，使得所述處理器將所述第一經濾波的區塊的所述樣本乘以所述第一縮放因子的所述指令包括使得所述處理器進行以下操作的指令：將包括所述第一經濾波的區塊的所述相應的多個經濾波的區塊的樣本乘以包括所述第一縮放因子的相應的多個縮放因子，以形成包括所述第一經細化的經濾波的區塊的多個經細化的經濾波的區塊，其中，使得所述處理器將所述第一經細化的經濾波的區塊的所述樣本與所述經解碼的區塊的所述對應樣本進行組合的所述指令包括使得所述處理器進行以下操作的指令：將所述多個經細化的經濾波的區塊中的每一者的所述樣本與所述經解碼的區塊的所述對應樣本進行組合。
根據請求項33所述的計算機可讀儲存媒體，還包括使得所述處理器進行以下操作的指令：在對當前區塊進行解碼之前對所述當前區塊進行編碼。
一種用於對經解碼的視頻資料進行濾波的設備，所述設備包括：用於對視頻資料的區塊進行解碼以形成經解碼的區塊的構件；用於將濾波器應用於所述經解碼的區塊以形成經濾波的區塊的構件；用於將所述經濾波的區塊的樣本乘以縮放因子以形成經細化的經濾波的區塊的構件；以及用於將所述經細化的經濾波的區塊的樣本與所述經解碼的區塊的對應樣本組合的構件。