TW202218422A - 用於在視訊譯碼期間進行濾波的多個神經網路模型 - Google Patents

Abstract

用於對經解碼的視訊資料進行濾波的示例性設備包括：記憶體，其被配置為儲存視訊資料；及一或多個處理器，其在電路系統中實現並且被配置為：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，該值表示關於預定義神經網路模型集合的索引，該索引與在預定義神經網路模型集合中的神經網路模型相對應；及使用與該索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

Description

用於在視訊譯碼期間進行濾波的多個神經網路模型

本專利申請案主張享有於2020年9月29日提出申請的美國臨時申請案第63/085,092的權益，上述申請案的全部內容在此經由引用的方式併入。

本案內容係關於視訊譯碼（code），包括視訊編碼（encode）和視訊解碼（decode）。

數位視訊能力可以被整合到各種各樣的設備中，包括數位電視機、數位直接廣播系統、無線廣播系統、個人數位助理（PDA）、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放機、視訊遊戲設備、視訊遊戲控制台、蜂巢或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議設備、視訊串流設備等。數位視訊設備實現視訊譯碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4（第10部分，高級視訊譯碼（AVC））、ITU-T H.265/高效率視訊譯碼（HEVC）所定義的標準以及此類標準的擴展中描述的彼等視訊譯碼技術。經由實現此種視訊譯碼技術，視訊設備可以更加高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊譯碼技術包括空間（圖像內（intra-picture））預測及/或時間（圖像間（inter-picture））預測以減少或去除在視訊序列中固有的冗餘。對於基於區塊的視訊譯碼，視訊切片（例如，視訊圖像或視訊圖像的一部分）可以被分割為視訊區塊，視訊區塊亦可以被稱為譯碼樹單元（CTU）、譯碼單元（CU）及/或譯碼節點。在圖像的經訊框內譯碼（I）的切片中的視訊區塊是使用相對於在同一圖像中的相鄰區塊中的參考取樣的空間預測來編碼的。在圖像的經訊框間譯碼（P或B）的切片中的視訊區塊可以使用相對於在同一圖像中的相鄰區塊中的參考取樣的空間預測或者相對於在其他參考圖像中的參考取樣的時間預測。圖像可以被稱為訊框，並且參考圖像可以被稱為參考訊框。

大體而言，本案內容描述用於對可能失真的經解碼（例如，經重構）的圖像進行濾波的技術。濾波過程可以是基於神經網路技術的。濾波過程可以用於高級視訊轉碼器（諸如ITU-T H.266/通用視訊譯碼（VVC）的擴展，或視訊譯碼標準的後續代，以及任何其他視訊轉碼器）的情況。具體地，視訊編碼器可以針對經解碼的圖像的一部分選擇神經網路模型以用於對經解碼的圖像的該部分進行濾波。例如，視訊編碼器可以執行率失真最佳化（RDO）技術來決定神經網路模型。或者，視訊編碼器可以決定用於經解碼的圖像的該部分的量化參數（QP），並且決定QP映射到的神經網路模型。視訊編碼器可以使用QP本身或用於表示關於可用神經網路模型集合（或集合的子集）的索引的語法元素的單獨值來用信號通知所決定的神經網路模型。

在一個實例中，對經解碼的視訊資料進行濾波的方法包括以下步驟：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

在另一實例中，用於對經解碼的視訊資料進行濾波的設備包括：記憶體，其被配置為儲存視訊資料；及一或多個處理器，其在電路系統中實現並且被配置為：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

在另一實例中，電腦可讀取儲存媒體具有儲存在其上的指令，指令在被執行時使得處理器進行以下操作：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

在另一實例中，用於對經解碼的視訊資料進行濾波的設備包括：用於對視訊資料的圖像進行解碼的構件；用於對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼的構件，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及用於使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波的構件。

在附圖和以下說明書中闡述一或多個實例的細節。根據說明書、附圖和請求項，其他特徵、目的和優點將是顯而易見的。

視訊譯碼標準包括ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺、ITU-T H.263、ISO/IEC MPEG-4視覺和ITU-T H.264（亦被稱為ISO/IEC MPEG-4 AVC）、高效率視訊譯碼（HEVC）或ITU-T H.265（包括其範圍擴展、多視圖擴展（MV-HEVC）和可縮放擴展（SHVC））。另一示例性視訊譯碼標準是通用視訊譯碼（VVC）或ITU-T H.266，其已經由ITU-T視訊譯碼專家組（VCEG）和ISO/IEC運動圖像專家組（MPEG）的聯合視訊專家組（JVET）開發。VVC規範的第1版（下文被稱為「VVC FDIS」），可從http://phenix.int-evry.fr/jvet/doc_end_user/documents/19_Teleconference/wg11/JVET-S2001-v17.zip獲得。

本案內容的技術通常指向使用基於神經網路的濾波器的濾波技術。通常，此種濾波器是在大型資料集合上訓練的，該大型資料集合為一般視訊資料提供良好的結果，但是對於特定的視訊資料序列可能不是最佳的。相比之下，本案內容描述基於多模型神經網路的濾波，其可以針對特定視訊序列產生較好的結果（例如，在位元速率和失真態樣）。

圖1是圖示可以執行本案內容的技術的示例性視訊編碼和解碼系統100的方塊圖。本案內容的技術通常指向對視訊資料進行譯碼（編碼及/或解碼）。通常，視訊資料包括用於處理視訊的任何資料。因此，視訊資料可以包括原始的未經解碼的視訊、經編碼的視訊、經解碼（例如，經重構）的視訊，以及視訊中繼資料（諸如信號傳遞資料）。

如在圖1中所圖示的，在該實例中，系統100包括源設備102，源設備102提供要由目的地設備116解碼和顯示的經編碼的視訊資料。具體地，源設備102經由電腦可讀取媒體110來將視訊資料提供給目的地設備116。源設備102和目的地設備116可以包括各種設備中的任何設備，包括桌上型電腦、筆記型電腦（亦即，膝上型電腦）、行動設備、平板電腦、機上盒、諸如智慧型電話之類的電話手機、電視機、相機、顯示設備、數位媒體播放機、視訊遊戲控制台、視訊串流設備等。在一些情況下，源設備102和目的地設備116可以被配備用於無線通訊，以及因此可以被稱為無線通訊設備。

在圖1的實例中，源設備102包括視訊源104、記憶體106、視訊編碼器200以及輸出介面108。目的地設備116包括輸入介面122、視訊解碼器300、記憶體120以及顯示設備118。根據本案內容，源設備102的視訊編碼器200和目的地設備116的視訊解碼器300可以被配置為應用用於使用多個神經網路模型進行濾波的技術。因此，源設備102表示視訊編碼設備的實例，而目的地設備116表示視訊解碼設備的實例。在其他實例中，源設備和目的地設備可以包括其他元件或佈置。例如，源設備102可以從諸如外部相機之類的外部視訊源接收視訊資料。同樣地，目的地設備116可以與外部顯示設備對接，而不是包括整合的顯示設備。

如在圖1中所示的系統100僅是一個實例。通常，任何數位視訊編碼及/或解碼設備可以執行用於使用多個神經網路模型進行濾波的技術。源設備102和目的地設備116僅是此種譯碼設備的實例，其中源設備102產生經譯碼的視訊資料以用於傳輸給目的地設備116。本案內容將「譯碼」設備稱為執行對資料的譯碼（編碼及/或解碼）的設備。因此，視訊編碼器200和視訊解碼器300分別表示譯碼設備的實例，具體地，視訊編碼器和視訊解碼器。在一些實例中，源設備102和目的地設備116可以以基本上對稱的方式進行操作，使得源設備102和目的地設備116中的每者皆包括視訊編碼和解碼用元件。因此，系統100可以支援在源設備102與目的地設備116之間的單向或雙向視訊傳輸，例如，以用於視訊串流、視訊重播、視訊廣播或視訊電話。

通常，視訊源104表示視訊資料（亦即原始的未經譯碼的視訊資料）的源，並且將視訊資料的順序的圖像（亦被稱為「訊框」）系列提供給視訊編碼器200，視訊編碼器200對用於圖像的資料進行編碼。源設備102的視訊源104可以包括視訊擷取設備（諸如攝像機）、包含先前擷取的原始視訊的視訊存檔單元，及/或用於從視訊內容提供者接收視訊的視訊饋送介面。作為另外的替代方式，視訊源104可以產生基於電腦圖形的資料作為源視訊，或者產生即時視訊、存檔視訊和電腦產生的視訊的組合。在每種情況下，視訊編碼器200對被擷取的、預先擷取的或電腦產生的視訊資料進行編碼。視訊編碼器200可以將圖像從所接收的次序（有時被稱為「顯示次序」）重新排列為用於譯碼的譯碼次序。視訊編碼器200可以產生包括經編碼的視訊資料的位元串流。隨後，源設備102可以經由輸出介面108將經編碼的視訊資料輸出到電腦可讀取媒體110上，以由例如目的地設備116的輸入介面122接收及/或取得。

源設備102的記憶體106和目的地設備116的記憶體120表示通用記憶體。在一些實例中，記憶體106、120可以儲存原始視訊資料，例如，來自視訊源104的原始視訊以及來自視訊解碼器300的原始的經解碼的視訊資料。另外或替代地，記憶體106、120可以儲存可由例如視訊編碼器200和視訊解碼器300分別執行的軟體指令。儘管記憶體106和記憶體120在該實例中被示為與視訊編碼器200和視訊解碼器300分開，但是應當理解的是，視訊編碼器200和視訊解碼器300亦可以包括用於在功能上類似或等效目的的內部記憶體。此外，記憶體106、120可以儲存經編碼的視訊資料，例如來自視訊編碼器200的輸出以及到視訊解碼器300的輸入。在一些實例中，記憶體106、120的部分可以被分配為一或多個視訊緩衝器，例如，以儲存原始的經解碼及/或經編碼的視訊資料。

電腦可讀取媒體110可以表示能夠將經編碼的視訊資料從源設備102輸送到目的地設備116的任何類型的媒體或設備。在一個實例中，電腦可讀取媒體110表示通訊媒體，其使得源設備102能夠例如經由射頻網路或基於電腦的網路，來即時地將經編碼的視訊資料直接傳輸給目的地設備116。根據通訊標準（諸如無線通訊協定），輸出介面108可以對包括經編碼的視訊資料的傳輸信號進行調制，並且輸入介面122可以對接收的傳輸信號進行解調。通訊媒體可以包括任何無線或有線通訊媒體，諸如射頻（RF）頻譜或一或多條實體傳輸線。通訊媒體可以形成基於封包的網路（諸如區域網路、廣域網路，或諸如網際網路之類的全球網路）的一部分。通訊媒體可以包括路由器、交換機、基地站，或可以用於促進從源設備102到目的地設備116的通訊的任何其他設備。

在一些實例中，源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地，目的地設備116可以經由輸入介面122從儲存設備112存取經編碼的資料。儲存設備112可以包括各種分散式或本端存取的資料儲存媒體中的任何資料儲存媒體，諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼的視訊資料的任何其他適當的數位儲存媒體。

在一些實例中，源設備102可以將經編碼的視訊資料輸出到可以儲存由源設備102產生的經編碼的視訊資料的檔案伺服器114或者另一中間儲存設備。目的地設備116可以經由串流或下載來從檔案伺服器114存取被儲存的視訊資料。

檔案伺服器114可以是能夠儲存經編碼的視訊資料並且將該經編碼的視訊資料傳輸給目的地設備116的任何類型的伺服器設備。檔案伺服器114可以表示網頁伺服器（例如，用於網站）、被配置為提供檔案傳輸通訊協定服務（諸如檔案傳輸通訊協定（FTP）或基於單向傳輸的檔案遞送（FLUTE）協定）的伺服器、內容遞送網路（CDN）設備、超文字傳輸協定（HTTP）伺服器、多媒體廣播多播服務（MBMS）或增強型MBMS（eMBMS）伺服器，及/或網路附加儲存（NAS）設備。另外或替代地，檔案伺服器114可以實現一或多個HTTP串流協定，諸如基於HTTP的動態自我調整串流（DASH）、HTTP即時串流（HLS）、即時串流協定（RTSP）、HTTP動態串流等。

目的地設備116可以經由任何標準資料連接（包括網際網路連接）來從檔案伺服器114存取經編碼的視訊資料。該連接可以包括適於存取被儲存在檔案伺服器114上的經編碼的視訊資料的無線通道（例如，Wi-Fi連接）、有線連接（例如，數位用戶線路（DSL）、纜線數據機等），或兩者的組合。輸入介面122可以被配置為根據上文論述的用於從檔案伺服器114取得或接收媒體資料的各種協定或者用於取得媒體資料的其他此種協定中的任何一或多個協定進行操作。

輸出介面108和輸入介面122可以表示無線傳輸器/接收器、數據機、有線聯網元件（例如，乙太網路卡）、根據各種IEEE 802.11標準中的任何標準進行操作的無線通訊元件，或其他實體元件。在輸出介面108和輸入介面122包括無線元件的實例中，輸出介面108和輸入介面122可以被配置為根據蜂巢通訊標準（諸如4G、4G-LTE（長期進化）、改進的LTE、5G等）來傳輸資料（諸如經編碼的視訊資料）。在輸出介面108包括無線傳輸器的一些實例中，輸出介面108和輸入介面122可以被配置為根據其他無線標準（諸如IEEE 802.11規範、IEEE 802.15規範（例如，ZigBee ^TM）、Bluetooth ^TM標準等）來傳輸資料（諸如經編碼的視訊資料）。在一些實例中，源設備102及/或目的地設備116可以包括相應的晶片上系統（SoC）元件。例如，源設備102可以包括用於執行被認為是視訊編碼器200及/或輸出介面108所為的功能的SoC元件，並且目的地設備116可以包括用於執行被認為是視訊解碼器300及/或輸入介面122所為的功能的SoC元件。

本案內容的技術可以應用於視訊譯碼，以支援各種多媒體應用中的任何應用，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸（諸如基於HTTP的動態自我調整串流（DASH））、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼，或其他應用。

目的地設備116的輸入介面122從電腦可讀取媒體110（例如，通訊媒體、儲存設備112、檔案伺服器114等）接收經編碼的視訊位元串流。經編碼的視訊位元串流可以包括由視訊編碼器200定義的、亦由視訊解碼器300使用的信號傳遞資訊，諸如具有描述視訊區塊或其他經譯碼的單元（例如，切片、圖像、圖像群組、序列等）的特性及/或處理的值的語法元素。顯示設備118將經解碼的視訊資料的經解碼的圖像顯示給使用者。顯示設備118可以表示各種顯示設備中的任何顯示設備，諸如液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器，或另一類型的顯示設備。

儘管在圖1中未圖示，但是在一些實例中，視訊編碼器200和視訊解碼器300可以各自與音訊編碼器及/或音訊解碼器整合，並且可以包括適當的MUX-DEMUX單元或其他硬體及/或軟體，以處理包括共用資料串流中的音訊和視訊兩者的經多工的串流。若適用，MUX-DEMUX單元可以遵循ITU H.223多工器協定或其他協定（諸如使用者資料包通訊協定（UDP））。

視訊編碼器200和視訊解碼器300各自可以被實現為各種適當的編碼器及/或解碼器電路系統中的任何一種，諸如一或多個微處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）、個別邏輯、軟體、硬體、韌體，或其任何組合。當該等技術部分地用軟體實現時，設備可以將用於軟體的指令儲存在適當的非暫時性電腦可讀取媒體中，並且使用一或多個處理器執行在硬體中的指令以執行本案內容的技術。視訊編碼器200和視訊解碼器300中的每者可以被包括在一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可以被整合為相應設備中的組合編碼器/解碼器（CODEC）的一部分。包括視訊編碼器200及/或視訊解碼器300的設備可以包括積體電路、微處理器，及/或無線通訊設備（諸如蜂巢式電話）。

視訊編碼器200和視訊解碼器300可以根據視訊譯碼標準（諸如ITU-T H.265（亦被稱為高效率視訊譯碼（HEVC）標準）或對其的擴展（諸如多視圖及/或可伸縮視訊譯碼擴展））進行操作。或者，視訊編碼器200和視訊解碼器300可以根據其他專有或行業標準（諸如通用視訊譯碼（VVC））進行操作。VVC標準的草案是在以下文件中描述的：Bross等人，「Versatile Video Coding (Draft 9)（通用視訊譯碼（草案9））」，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組（JVET），第18次會議：4月15-24日，JVET-R2001-v8（下文中被稱為「VVC草案9」）。然而，本案內容的技術不限於任何特定的譯碼標準。

通常，視訊編碼器200和視訊解碼器300可以執行對圖像的基於區塊的譯碼。術語「區塊」通常代表包括要被處理的（例如，在編碼及/或解碼過程中要被編碼、被解碼或以其他方式使用的）資料的結構。例如，區塊可以包括亮度及/或色度資料的取樣的二維矩陣。通常，視訊編碼器200和視訊解碼器300可以對以YUV（例如，Y、Cb、Cr）格式表示的視訊資料進行譯碼。亦即，不是對用於圖像的取樣的紅色、綠色和藍色（RGB）資料進行譯碼，視訊編碼器200和視訊解碼器300可以對亮度和色度分量進行譯碼，其中色度分量可以包括紅色色相和藍色色相色度分量兩者。在一些實例中，視訊編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示，並且視訊解碼器300將YUV表示轉換為RGB格式。或者，預處理和後處理單元（未圖示）可以執行該等轉換。

本案內容通常可以關於對圖像的譯碼（例如，編碼和解碼）以包括對圖像的資料進行編碼或解碼的過程。類似地，本案內容可以關於對圖像的區塊的譯碼以包括對用於區塊的資料進行編碼或解碼（例如，預測及/或殘差譯碼）的過程。經編碼的視訊位元串流通常包括用於表示譯碼決策（例如，譯碼模式）以及圖像到區塊的分割的語法元素的一系列值。因此，關於對圖像或區塊進行譯碼的引用通常應當被理解為對用於形成圖像或區塊的語法元素的值進行譯碼。

HEVC定義各種區塊，包括譯碼單元（CU）、預測單元（PU）和變換單元（TU）。根據HEVC，視訊譯碼器（諸如視訊編碼器200）根據四叉樹結構來將譯碼樹單元（CTU）分割為CU。亦即，視訊譯碼器將CTU和CU分割為四個相等的、不重疊的正方形，並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為「葉節點」，並且此種葉節點的CU可以包括一或多個PU及/或一或多個TU。視訊譯碼器可以進一步分割PU和TU。例如，在HEVC中，殘差四叉樹（RQT）表示對TU的分割。在HEVC中，PU表示訊框間預測資料，而TU表示殘差資料。經訊框內預測的CU包括訊框內預測資訊，諸如訊框內模式指示。

作為另一實例，視訊編碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC，視訊譯碼器（諸如視訊編碼器200）將圖像分割為複數個譯碼樹單元（CTU）。視訊編碼器200可以根據樹結構（諸如四叉樹-二叉樹（QTBT）結構或多類型樹（MTT）結構）分割CTU。QTBT結構去除了多種分割類型的概念，諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別：根據四叉樹分割而被分割的第一級別，以及根據二叉樹分割而被分割的第二級別。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於譯碼單元（CU）。

在MTT分割結構中，可以使用四叉樹（QT）分割、二叉樹（BT）分割以及一或多個類型的三叉樹（TT）（亦被稱為三元樹（TT））分割來對區塊進行分割。三叉樹或三元樹分割是其中區塊被分離為三個子區塊的分割。在一些實例中，三叉樹或三元樹分割將區塊劃分為三個子區塊，而不經由中心劃分原始區塊。MTT中的分割類型（例如，QT、BT和TT）可以是對稱的或不對稱的。

在一些實例中，視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每者，而在其他實例中，視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構，諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構（或者用於相應色度分量的兩個QTBT/MTT結構）。

視訊編碼器200和視訊解碼器300可以被配置為使用根據HEVC的四叉樹分割、QTBT分割、MTT分割，或其他分割結構。為了解釋的目的，對本案內容的技術的描述相對於QTBT分割提供的。然而，應當理解的是，本案內容的技術亦可以應用於被配置為使用四叉樹分割或者亦使用其他類型的分割的視訊譯碼器。

在一些實例中，CTU包括具有三個取樣陣列的圖像的亮度取樣的譯碼樹區塊（CTB）、色度取樣的兩個對應CTB和用於對取樣進行譯碼的語法結構，或者CTU包括單色圖像或使用三個單獨的色彩平面進行譯碼的圖像的取樣的CTB和用於對取樣進行譯碼的語法結構。CTB可以是針對N的某個值的NxN取樣區塊，使得將分量劃分為CTB是一種分割。分量可以是來自用於具有4:2:0、4:2:2或4:4:4色彩格式的圖像的三個陣列（亮度和兩個色度）中的一個陣列，或來自三個陣列中的一個陣列的單個取樣，或者分量可以是用於具有單色格式的圖像的陣列或陣列的單個取樣。在一些實例中，譯碼區塊是針對某些M值和N值的MxN取樣區塊，使得將CTB劃分為譯碼區塊是一種分割。

可以以各種方式在圖像中對區塊（例如，CTU或CU）進行分類。作為一個實例，磚塊（brick）可以代表在圖像中的特定瓦片（tile）內的CTU行的矩形區域。瓦片可以是在圖像中的特定瓦片列和特定瓦片行內的CTU的矩形區域。瓦片列代表CTU的矩形區域，其具有等於圖像的高度的高度以及由語法元素（例如，諸如在圖像參數集中）指定的寬度。瓦片行代表CTU的矩形區域，其具有由語法元素指定的高度（例如，諸如在圖像參數集中）以及等於圖像的寬度的寬度。

在一些實例中，可以將瓦片分割為多個磚塊，每個磚塊可以包括瓦片內的一或多個CTU行。沒有被分割為多個磚塊的瓦片亦可以被稱為磚塊。然而，作為瓦片的真實子集的磚塊不可以被稱為瓦片。

圖像中的磚塊亦可以以切片來排列。切片可以是圖像的整數個磚塊，其可以排他地被包含在單個網路抽象層（NAL）單元中。在一些實例中，切片包括多個完整的瓦片或者僅包括一個瓦片的連續的完整磚塊序列。

本案內容可以互換地使用「NxN」和「N乘N」來代表區塊（諸如CU或其他視訊區塊）在垂直和水平維度態樣的取樣大小，例如，16x16個取樣或16乘16個取樣。通常，16x16 CU將在垂直方向上具有16個取樣（y=16），並且在水平方向上具有16個取樣（x=16）。同樣地，NxN CU通常在垂直方向上具有N個取樣，並且在水平方向上具有N個取樣，其中N表示非負整數值。CU中的取樣可以按行和列來排列。此外，CU不一定需要在水平方向上具有與在垂直方向上相同數量的取樣。例如，CU可以包括NxM個取樣，其中M不一定等於N。

視訊編碼器200對用於CU的表示預測及/或殘差資訊以及其他資訊的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成用於CU的預測區塊。殘差資訊通常表示在編碼之前的CU的取樣與預測區塊之間的逐取樣差。

為了預測CU，視訊編碼器200通常可以經由訊框間預測或訊框內預測來形成用於CU的預測區塊。訊框間預測通常代表根據先前譯碼的圖像的資料來預測CU，而訊框內預測通常代表根據同一圖像的先前譯碼的資料來預測CU。為了執行訊框間預測，視訊編碼器200可以使用一或多個運動向量來產生預測區塊。視訊編碼器200通常可以執行運動搜尋，以例如根據在CU與參考區塊之間的差異來辨識與CU緊密匹配的參考區塊。視訊編碼器200可以使用絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD），或其他此種差計算來計算差度量，以決定參考區塊是否與當前CU緊密匹配。在一些實例中，視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。

VVC的一些實例亦提供仿射運動補償模式，其可以被認為是訊框間預測模式。在仿射運動補償模式下，視訊編碼器200可以決定表示非平移運動（諸如放大或縮小、旋轉、透視運動或其他不規則的運動類型）的兩個或更多個運動向量。

為了執行訊框內預測，視訊編碼器200可以選擇訊框內預測模式來產生預測區塊。VVC的一些實例提供六十七種訊框內預測模式，包括各種方向性模式，以及平面模式和DC模式。通常，視訊編碼器200選擇訊框內預測模式，訊框內預測模式描述當前區塊（例如，CU的區塊）的要根據其來預測當前區塊的取樣的相鄰取樣。假定視訊編碼器200以光柵掃瞄次序（從左到右、從上到下）對CTU和CU進行譯碼，則此種取樣通常可以在與當前區塊相同的圖像中在當前區塊的上方、左上方或左側。

視訊編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如，對於訊框間預測模式，視訊編碼器200可以對表示使用各種可用訊框間預測模式中的何種以及用於對應模式的運動資訊的資料進行編碼。對於單向或雙向訊框間預測，例如，視訊編碼器200可以使用高級運動向量預測（AMVP）或合併模式來對運動向量進行編碼。視訊編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。

在預測（諸如對區塊的訊框內預測或訊框間預測）之後，視訊編碼器200可以計算用於區塊的殘差資料。殘差資料（諸如殘差區塊）表示在區塊與用於該區塊的預測區塊之間的逐取樣差，預測區塊是使用對應的預測模式形成的。視訊編碼器200可以將一或多個變換應用於殘差區塊，以產生在變換域中而非在取樣域中的經變換的資料。例如，視訊編碼器200可以將離散餘弦變換（DCT）、整數變換、小波變換或概念上類似的變換應用於殘差視訊資料。另外，視訊編碼器200可以在第一變換之後應用二次變換，諸如模式相關的不可分離二次變換（MDNSST）、信號相關變換、Karhunen-Loeve變換（KLT）等。視訊編碼器200在應用一或多個變換之後產生變換係數。

如上文所指出的，在任何變換以產生變換係數之後，視訊編碼器200可以執行對變換係數的量化。量化通常代表如下的過程：在該過程中，對變換係數進行量化以可能地減少用於表示變換係數的資料量，從而提供進一步的壓縮。經由執行量化過程，視訊編碼器200可以減小與一些或所有變換係數相關聯的位元深度。例如，視訊編碼器200可以在量化期間將 n位元的值向下捨入為 m位元的值，其中 n大於 m。在一些實例中，為了執行量化，視訊編碼器200可以對要被量化的值執行按位元右移。

在量化之後，視訊編碼器200可以掃瞄變換係數，從而從包括經量化的變換係數的二維矩陣產生一維向量。可以將掃瞄設計為：將較高能量（並且因此較低頻率）的係數放在向量的前面，並且將較低能量（並且因此較高頻率）的變換係數放在向量的後面。在一些實例中，視訊編碼器200可以利用預定義的掃瞄次序來掃瞄經量化的變換係數以產生序列化的向量，並且隨後對向量的經量化的變換係數進行熵編碼。在其他實例中，視訊編碼器200可以執行自我調整掃瞄。在掃瞄經量化的變換係數以形成一維向量之後，視訊編碼器200可以例如根據上下文自我調整二進位算術譯碼（CABAC）來對一維向量進行熵編碼。視訊編碼器200亦可以對用於描述與經編碼的視訊資料相關聯的中繼資料的語法元素的值進行熵編碼，以供視訊解碼器300在對視訊資料進行解碼時使用。

為了執行CABAC，視訊編碼器200可以將上下文模型內的上下文分配給要被傳輸的符號。上下文可以關於例如符號的相鄰值是否為零值。概率決定可以是基於被分配給符號的上下文的。

視訊編碼器200亦可以為視訊解碼器300產生語法資料，例如，在圖像標頭、區塊標頭、切片標頭中的諸如基於區塊的語法資料、基於圖像的語法資料和基於序列的語法資料，或其他語法資料（諸如序列參數集（SPS）、圖像參數集（PPS）或視訊參數集（VPS））。同樣地，視訊解碼器300可以對此種語法資料進行解碼以決定如何解碼對應的視訊資料。

以此種方式，視訊編碼器200可以產生位元串流，位元串流包括經編碼的視訊資料，例如，描述將圖像分割為區塊（例如，CU）以及用於區塊的預測及/或殘差資訊的語法元素。最終，視訊解碼器300可以接收位元串流並且對經編碼的視訊資料進行解碼。

通常，視訊解碼器300執行與由視訊編碼器200執行的過程相反的過程，以對位元串流的經編碼的視訊資料進行解碼。例如，視訊解碼器300可以使用CABAC，以與視訊編碼器200的CABAC編碼過程基本上類似但是相反的方式來對用於位元串流的語法元素的值進行解碼。語法元素可以定義用於將圖像分割為CTU，以及根據對應的分割結構（諸如QTBT結構）對每個CTU進行分割以定義CTU的CU的分割資訊。語法元素亦可以定義用於視訊資料的區塊（例如，CU）的預測和殘差資訊。

殘差資訊可以由例如經量化的變換係數來表示。視訊解碼器300可以對區塊的經量化的變換係數進行逆量化和逆變換以重現用於區塊的殘差區塊。視訊解碼器300使用經信號通知的預測模式（訊框內預測或訊框間預測）和相關的預測資訊（例如，用於訊框間預測的運動資訊）來形成用於區塊的預測區塊。視訊解碼器300隨後可以對預測區塊和殘差區塊（在逐取樣的基礎上）進行組合以重現原始區塊。視訊解碼器300可以執行額外處理，諸如執行去區塊過程以減少沿著區塊的邊界的視覺偽影（artifact）。

本案內容通常可能涉及「用信號通知」某些資訊（諸如語法元素）。術語「用信號通知」通常可以代表對用於語法元素的值及/或用於對經編碼的視訊資料進行解碼的其他資料的傳送。亦即，視訊編碼器200可以在位元串流中用信號通知用於語法元素的值。通常，用信號通知代表在位元串流中產生值。如上文所指出的，源設備102可以基本上即時地或不即時地（諸如可能在將語法元素儲存到儲存設備112以供目的地設備116稍後取得時發生）將位元串流傳輸到目的地設備116。

圖2A和圖2B是圖示示例性四叉樹二叉樹（QTBT）結構130以及對應的譯碼樹單元（CTU）132的概念圖。實線表示四叉樹分離，以及虛線指示二叉樹分離。在二叉樹的每個分離（亦即非葉）節點中，用信號通知一個標誌以指示使用了何種分離類型（亦即，水平或垂直），其中在該實例中，0指示水平分離，以及1指示垂直分離。對於四叉樹分離，由於四叉樹節點將區塊水平地並且垂直地分離為具有相等大小的4個子區塊，因此無需指示分離類型。因此，視訊編碼器200可以對用於QTBT結構130的區域樹級別（亦即實線）的語法元素（諸如分離資訊），以及用於QTBT結構130的預測樹級別（亦即虛線）的語法元素（諸如分離資訊）進行編碼，以及視訊解碼器300可以對其進行解碼。視訊編碼器200可以對用於由QTBT結構130的終端葉節點表示的CU的視訊資料（諸如預測和變換資料）進行編碼，以及視訊解碼器300可以對其進行解碼。

通常，圖2B的CTU 132可以與定義與QTBT結構130的處於第一和第二級別的節點相對應的區塊的大小的參數相關聯。該等參數可以包括CTU大小（表示CTU 132以取樣為單位的大小）、最小四叉樹大小（MinQTSize，其表示最小允許四叉樹葉節點大小）、最大二叉樹大小（MaxBTSize，其表示最大允許二叉樹根節點大小）、最大二叉樹深度（MaxBTDepth，其表示最大允許二叉樹深度），以及最小二叉樹大小（MinBTSize，其表示最小允許二叉樹葉節點大小）。

QTBT結構的與CTU相對應的根節點可以在QTBT結構的第一級別處具有四個子節點，每個子節點可以是根據四叉樹分割來分割的。亦即，第一級別的節點是葉節點（沒有子節點）或者具有四個子節點。QTBT結構130的實例將此種節點表示為包括具有用於分支的實線的父節點和子節點。若第一級別的節點不大於最大允許二叉樹根節點大小（MaxBTSize），則可以經由相應的二叉樹對該等節點進一步進行分割。可以對一個節點的二叉樹分離進行反覆運算，直到從分離產生的節點達到最小允許二叉樹葉節點大小（MinBTSize）或最大允許二叉樹深度（MaxBTDepth）。QTBT結構130的實例將此種節點表示為具有用於分支的虛線。二叉樹葉節點被稱為譯碼單元（CU），CU用於預測（例如，圖像內或圖像間預測）和變換，而不進行任何進一步分割。如上文所論述的，CU亦可以被稱為「視訊區塊」或「區塊」。

在QTBT分割結構的一個實例中，CTU大小被設置為128x128（亮度取樣和兩個對應的64x64色度取樣），MinQTSize被設置為16x16，MaxBTSize被設置為64x64，MinBTSize（對於寬度和高度兩者）被設置為4，並且MaxBTDepth被設置為4。首先對CTU應用四叉樹分割以產生四叉樹葉節點。四叉樹葉節點可以具有從16x16（亦即，MinQTSize）到128x128（亦即，CTU大小）的大小。若四叉樹葉節點為128x128，則由於該大小超過MaxBTSize（亦即，在該實例中為64x64），因此四叉樹葉節點將不經由二叉樹進一步分離。否則，四叉樹葉節點可以經由二叉樹進一步分割。因此，四叉樹葉節點亦是用於二叉樹的根節點，並且具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth（在該實例中為4）時，不允許進一步分離。具有等於MinBTSize（在該實例中為4）的寬度的二叉樹節點意味著不允許針對該二叉樹節點的進一步垂直分離（亦即，對寬度的劃分）。類似地，具有等於MinBTSize的高度的二叉樹節點意味著不允許針對該二叉樹節點的進一步水平分離（亦即，對高度的劃分）。如上文所指出的，二叉樹的葉節點被稱為CU，並且在無進一步分割的情況下根據預測和變換被進一步處理。

圖3是圖示混合視訊譯碼框架140的概念圖。自H.261以來的視訊譯碼標準一直是基於在圖3中圖示的所謂的混合視訊譯碼原理的。術語混合代表對減少在視訊信號中的冗餘的兩種手段的組合，亦即，預測142和具有預測殘差的量化144的變換譯碼。儘管預測和變換經由去相關來減少視訊信號中的冗餘，但是量化經由降低其精度（理想情況下經由僅移除不相關的細節）來減少變換係數表示的資料。此種混合視訊譯碼設計原理亦用於最近的兩個標準，亦即ITU-T H.265/HEVC和ITU-T H.266/VVC。如在圖3中所圖示的，現代混合視訊譯碼器包括區塊分割、包括運動補償或圖像間預測和圖像內預測的預測142、包括變換和量化的變換/量化144、熵譯碼146和迴路後/迴路內濾波148。

區塊分割用於將圖像劃分成用於預測和變換過程的操作較小的區塊。早期的視訊譯碼標準使用固定的區塊大小，通常為16×16個取樣。最近的標準（諸如HEVC和VVC）採用基於樹的分割結構來提供靈活的分割。

運動補償或圖像間預測利用在視訊序列的圖像之間（因此為「圖像間」）存在的冗餘。根據在所有的現代視訊轉碼器中使用的基於區塊的運動補償，預測是從一或多個先前解碼的圖像（亦即，參考圖像）獲得的。產生訊框間預測的對應區域是經由包括運動向量和參考圖像索引的運動資訊來指示的。

圖4是圖示使用大小為16的圖像群組（GOP）的分層預測結構150的概念圖。在最近的視訊轉碼器中，應用在圖像群組（GOP）內的分層預測結構以改良譯碼效率。

再次參照圖3，圖像內預測經由根據已經譯碼/解碼的空間相鄰（參考）取樣來推導針對區塊的預測，利用在圖像內（因此為「圖像內」）存在的空間冗餘。在最近的視訊轉碼器（包括AVC、HEVC和VVC）中，使用方向角預測、DC預測和平面（plane）或平面（planar）預測。

變換：混合視訊譯碼標準向預測殘差應用區塊變換（不管該預測殘差是來自圖像間預測還是圖像內預測）。在早期的標準（包括H.261、H.262和H.263）中，採用了離散餘弦變換（DCT）。在HEVC和VVC中，除了DCT外，亦應用了更多的變換核心，以便考慮在特定視訊信號中的不同統計量。

量化意欲降低輸入值或輸入值集合的精度，以便減少表示值所需的資料量。在混合視訊譯碼中，量化通常應用於各個經變換的殘差取樣（亦即，變換係數），從而產生整數係數級別。在最近的視訊譯碼標準中，步長是根據控制保真度和位元速率的所謂的量化參數（QP）推導的。較大的步長降低位元速率，但亦使品質惡化，例如，此舉導致視訊圖像顯現區塊偽影和模糊的細節。

上下文自我調整二進位算術譯碼（CABAC）是一種由於其高效率而在最近的視訊轉碼器（例如，AVC、HEVC和VVC）中使用的熵譯碼形式。

迴路後/迴路內濾波是應用於經重構的圖像以減少譯碼偽影的濾波過程（或此類過程的組合）。濾波過程的輸入通常是經重構的圖像，經重構的圖像是經重構的殘差信號（其包括量化誤差）和預測的組合。如在圖3中所圖示的，在迴路內濾波之後的經重構的圖像被儲存並且用作用於後續圖像的圖像間預測的參考。譯碼偽影主要由QP決定，因此在濾波過程的設計中通常使用QP資訊。在HEVC中，迴路內濾波器包括去區塊濾波和取樣自我調整偏移（SAO）濾波。在VVC標準中，引入自我調整迴路濾波器（ALF）作為第三濾波器。ALF的濾波過程如下所示：

其中

是濾波過程之前的取樣集合，

是濾波過程之後的取樣值。

表示濾波器係數，

是限幅（clipping）函數並且

表示限幅參數。變數k和l在

與

之間變化，其中 L表示濾波器長度。限幅函數

，其對應於函數

。限幅操作引入非線性，以經由減少與當前取樣值相差太大的相鄰取樣值的影響來使ALF更高效。在VVC中，可以在位元串流中用信號通知濾波參數，其可以是從預定義的濾波器集中選擇的。ALF濾波過程亦可以總結為以下等式：

圖5是圖示具有四個層的基於神經網路的濾波器160的概念圖。各種研究表明，在混合視訊譯碼框架中嵌入神經網路可以改良壓縮效率。已經在訊框內預測和訊框間預測的模組中使用了神經網路，以改良預測效率。基於NN的迴路內濾波亦是近年來的重要研究課題。在一些情況下，基於NN的濾波過程被作為迴路後濾波來應用。在此種情況下，濾波過程僅應用於輸出圖像，並且未濾波的圖像用作參考圖像。

除了現有濾波器之外，亦可以應用基於NN的濾波器，諸如去區塊濾波器、取樣自我調整偏移（SAO）及/或自我調整迴路濾波（ALF）。亦可以排他地應用基於NN的濾波器，其中基於NN的濾波器被設計為替換所有現有濾波器。另外或替代地，基於NN的濾波器可以被設計為補充、增強或替換任何或所有其他濾波器。

如在圖5中所圖示的，基於NN的濾波過程可以採用經重構的取樣作為輸入，並且中間輸出是殘差取樣，殘差取樣被添加回輸入以細化輸入取樣。NN濾波器可以使用所有顏色分量（例如，Y、U和V或者Y、Cb和Cr，亦即亮度、藍色色調色度和紅色色調色度）作為輸入來利用跨分量相關性。不同的顏色元件可以共享相同的濾波器（包括網路結構和模型參數），或者每個顏色元件可以具有其自己的特定濾波器。

濾波過程亦可以概括如下：

。基於NN的濾波器的模型結構和模型參數可以是預定義的並且被儲存在編碼器和解碼器處。亦可以在位元串流中用信號通知濾波器。

本案內容認識到，在一些情況下，預定義的濾波器（例如，基於NN的濾波器或ALF）是基於大型視訊集合和圖像資料庫進行訓練的。濾波器通常可能是最優的，但對於特定的失真序列可能不是最優的。本案內容亦認識到，由於預定義的訓練圖像/視訊資料庫可能不構成所有可能類型的視訊特性，因此將在該給定資料庫上訓練的濾波器應用於具有不同視訊特性的序列可能不會帶來任何客觀或主觀益處，但是反而可能會損害客觀或主觀品質。

根據本案內容的技術，圖1的視訊編碼器200和視訊解碼器300可以被配置為單獨或以任何組合執行以下技術中的任何或所有技術。通常，可以使用多個濾波模型。對於輸入圖像的每個目的地區域，視訊編碼器200及/或視訊解碼器300可以選擇多個濾波模型中的一或多個濾波模型來執行濾波。視訊編碼器200和視訊解碼器300可以基於位元串流中的資訊（例如，基於量化參數（QP））來隱式地推導對NN模型的選擇。或者，視訊解碼器300可以使用由視訊編碼器200在位元串流中顯式地用信號通知的索引來推導對NN模型的選擇。在一些實例中，顯式信號傳遞和隱式推導可以組合。

在一些實例中，視訊編碼器200可以選擇一或多個模型並且在位元串流中用信號通知用於所選擇的模型的索引。當選擇一個模型時，該模型用於對輸入圖像的對應目的地區域進行濾波。當選擇多個模型時，該等模型聯合地用於對輸入圖像的目的地區域進行濾波。作為一實例，視訊編碼器200和視訊解碼器300可以將模型分別應用於目的地區域，並且所涉及的模型的輸出可以被組合成目的地區域的最終輸出。

關閉濾波過程可以用作候選。當針對目的地區域選擇「關閉」時，視訊編碼器200和視訊解碼器300不應用任何濾波器，並且輸出信號與輸入信號相同。

可以在不同的級別上設計選擇和用信號通知模型的細微性。用信號通知濾波器模型索引的可能級別包括視訊參數集/序列參數集/圖像參數集（VPS/SPS/PPS）級別、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、CTU級別，或專門針對濾波器信號傳遞設計的網格大小N×N。對用於濾波器模型信號傳遞的級別的選擇可以是固定的；視訊編碼器200可以將選擇作為位元串流中的語法元素用信號通知給視訊解碼器300；或者，視訊解碼器300可以基於位元串流中的資訊（例如，圖像解析度、QP等）來隱式地推導該選擇。

在一個示例性實現方式中，存在N個預定義濾波器模型。在濾波器模型信號傳遞級別上，視訊編碼器200選擇一個模型並且用信號通知對應索引，以供視訊解碼器300決定要使用何者濾波器模型。用信號通知元素的可能級別包括VPS/SPS/PPS級別、內部時段級別、圖像群組（GOP）級別、圖像級別、切片級別、CTU級別或專門針對濾波器信號傳遞設計的網格大小N×N。對用於濾波器模型信號傳遞的級別的選擇可以是固定的、是作為位元串流中的語法元素用信號通知的，或者是基於位元串流中的資訊（例如，圖像解析度、QP等）來隱式地推導的。

作為另一實例，視訊編碼器200可以推導預定義模型的子集，並且將該子集作為在序列參數集（SPS）、切片標頭、圖像標頭、自我調整參數集（APS）或任何其他高級語法元素體中的語法元素在位元串流中用信號通知給視訊解碼器300。子集的大小在此處被稱為M。M可以是預定義的或在位元串流中以較低級別（例如，切片標頭、圖像標頭、CTU級別、網格級別等）用信號通知的任何值。若M＞1，則選擇M個候選中的一個候選並且將其作為語法元素在位元串流中用信號通知。

作為另一實例，濾波器模型之每一者濾波器模型可以與QP值相關聯，並且對於每個圖像，視訊編碼器200和視訊解碼器300可以推導「模型選擇QP」，並且選擇具有最接近針對當前圖像的「模型選擇QP」的QP值的模型。在此種情況下，不需要用信號通知額外資訊。用於推導「模型選擇QP」的資訊可以包括：當前圖像QP、參考圖像QP、相同GOP內的圖像的QP、相同內部時段內的圖像的QP等。或者，可以將用於切片中的一或多個區塊的QP或區塊級別QP提供給NN模型以對當前切片或當前區塊進行濾波。

作為另一實例，與上述實例類似，每個濾波器模型可以與QP值相關聯，並且視訊編碼器200和視訊解碼器300可以推導用於每個訊框的「模型選擇QP」。視訊編碼器200和視訊解碼器300可以基於「模型選擇QP」來推導所有模型的子集。視訊編碼器200可以決定具有最接近「模型選擇QP」的模型QP的模型，選擇該等模型中的一個模型，並且用信號通知額外索引，以供視訊解碼器300從QP推導的子集中選擇該模型。

如上文所指出的，在上文論述的各個實例中的任何或所有實例中，關閉基於NN的模型可以用作選擇的候選。關閉可以被視為濾波器模型集的額外一般候選，並且「關閉」情況的信號傳遞可以與其他濾波器模型的信號傳遞統一。作為另一實例，「關閉」可以被視為特殊候選，並且信號傳遞與其他濾波器模型分離。

如上文所論述的，視訊編碼器200和視訊解碼器300可以被配置為針對基於多模型的濾波應用開/關控制。亦即，僅當給定的控制操作（例如，標誌）斷言應當應用濾波時，視訊編碼器200和視訊解碼器300才將對殘差進行過濾並且將結果添加到輸入取樣。該控制信號可以表達為：

其中

是可以由視訊編碼器200決定的控制操作，視訊編碼器200可以在位元串流中將表示決策的資料（例如，標誌或其他語法元素）用信號通知給視訊解碼器300。

作為一實例，視訊編碼器200可以計算應用濾波器的率失真（RD）成本，並且將其與不應用濾波器的RD成本進行比較。基於該比較的結果，視訊編碼器200可以決定控制操作（例如，將給定標誌的值設置為0或1狀態，其中一個狀態表示要應用濾波器，並且另一狀態表示不應用濾波器）。隨後，視訊編碼器200可以在位元串流中用信號通知給定標誌。視訊解碼器300可以解析給定標誌，並且基於其值來應用濾波器或不應用濾波器。由於經訓練的濾波器對於整個視訊序列，或對於序列中的給定訊框或序列中的給定區域可能不是最優的，因此以其用信號通知控制操作（標誌）的細微性亦變得重要。

在一些實例中，視訊編碼器200可以推導濾波器開/關的值，並且將該值作為在序列參數集（SPS）、切片標頭、圖像參數集（PPS）、圖像標頭、自我調整參數集（APS）或任何其他高級語法元素體中的語法元素在位元串流中用信號通知。視訊解碼器300可以使用該語法元素的值來決定是否使用濾波器。

在一些實例中，視訊編碼器200可以推導濾波器開/關標誌的值，並且該值作為在區塊級別（例如，在CTU級別）的語法元素在位元串流中用信號通知。視訊解碼器300可以使用該語法元素的值來決定是否使用濾波器。

在一些實例中，視訊編碼器200可以決定網格大小（用於信號傳遞）和對應網格處的濾波器開/關標誌的值，並且將針對網格之每一者網格的值作為相應的語法元素在位元串流中用信號通知。視訊解碼器300可以使用該等語法元素的值來決定是否將濾波器用於網格的元素之每一者元素以及網格本身。

視訊編碼器200可以基於RD成本來針對給定切片選擇性地選擇不同的網格大小，而不是將固定的網格大小用於信號傳遞（例如，其中網格大小始終固定為CTU大小）。例如，對於給定切片，視訊編碼器200可以應用不同的網格大小（例如，M×N的大小，其中M和N可以在範圍[4，8，16，…，訊框大小]中取值）。視訊編碼器200可以針對濾波器開和關的情況計算對應的RD成本。基於最佳RD成本，視訊編碼器200可以選擇網格大小和對應的濾波器開/關標誌，並且在位元串流中用信號通知表示網格大小和濾波器開/關標誌的資料。網格大小可以在視訊編碼器200和視訊解碼器300處預定義，例如，如下文的表1所示： 表1

索引	用於信號傳遞的網格大小（MXN）
0	8 x 8
1	16 x 16
2	32 x 32
3	64 x 64
4	128 x 128
等等…

視訊編碼器200可以使用一元碼、二元碼、截短的二元碼或可變長度的碼來在位元串流中用信號通知網格的索引值。

視訊解碼器300可以基於輸入序列的解析度來決定用於信號傳遞的網格大小。例如，對於較低解析度的序列，採用較細細微性的網格（例如8x8），而對於較高解析度的序列，使用較粗細微性的網格（例如128x128）。

在一些實例中，視訊編碼器200可以針對每個顏色分量分別地決定濾波器開/關標誌。因此，亮度（Y）、色度（Cb）和色度（Cr）具有其自己的單獨的控制標誌。

在一些實例中，僅針對單個分量用信號通知濾波器開/關標誌。其他分量可以共享相同的標誌。例如，視訊編碼器200可以僅針對亮度分量用信號通知控制標誌，並且隨後，Cb和Cr分量可以共享相同的標誌。在其他實例中，視訊編碼器200可以用信號通知針對亮度分量的控制標誌以及針對色度分量的聯合標誌。

視訊編碼器200和視訊解碼器300可以針對單獨的分量應用單獨的CABAC上下文來用信號通知標誌（例如，Y、Cb和Cr可以具有單獨的上下文）。此外，視訊編碼器200和視訊解碼器300可以使用空間/時間相鄰區塊標誌開/關資訊來決定用於用信號通知針對當前區塊的標誌的上下文。相鄰區塊可以在當前區塊的上方及/或左側（直接或在某個數量的區塊內）。

用於計算用於決定開/關標誌的RD成本的失真度量可以是SAD（絕對差之和）或SATD（絕對變換差之和）或任何其他失真度量。

圖6是圖示可以執行本案內容的技術的示例性視訊編碼器200的方塊圖。圖6是出於解釋的目的而提供的，並且不應當被認為是對在本案內容中廣泛地舉例說明和描述的技術的限制。出於解釋的目的，本案內容在視訊譯碼標準（諸如ITU-T H.265/HEVC視訊譯碼標準和正在開發的VVC視訊譯碼標準）的上下文中描述視訊編碼器200。然而，本案內容的技術不限於該等視訊譯碼標準，並且通常適用於其他視訊編碼和解碼標準。

在圖6的實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、解碼圖像緩衝器（DPB）218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一或多個處理器中或者在處理電路系統中實現。例如，視訊編碼器200的單元可以被實現為一或多個電路或邏輯元件，作為硬體電路系統的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視訊編碼器200可以包括額外或替代的處理器或處理電路系統以執行該等和其他功能。

視訊資料記憶體230可以儲存要由視訊編碼器200的元件來編碼的視訊資料。視訊編碼器200可以從例如視訊源104（圖1）接收被儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當參考圖像記憶體，其儲存參考視訊資料以在由視訊編碼器200對後續視訊資料的預測中使用。視訊資料記憶體230和DPB 218可以由各種記憶體設備中的任何記憶體設備形成，諸如動態隨機存取記憶體（DRAM）（包括同步DRAM（SDRAM））、磁阻RAM（MRAM）、電阻性RAM（RRAM），或其他類型的記憶體設備。視訊資料記憶體230和DPB 218可以由相同的記憶體設備或單獨的記憶體設備來提供。在各個實例中，視訊資料記憶體230可以與視訊編碼器200的其他元件一起在晶片上（如所示），或者相對於彼等元件在晶片外。

在本案內容中，對視訊資料記憶體230的引用不應當被解釋為限於在視訊編碼器200內部的記憶體（除非明確地如此描述），或者在視訊編碼器200外部的記憶體（除非明確地如此描述）。準確而言，對視訊資料記憶體230的引用應當被理解為儲存視訊編碼器200接收以用於編碼的視訊資料（例如，用於要被編碼的當前區塊的視訊資料）的參考記憶體。圖1的記憶體106亦可以提供對來自視訊編碼器200的各個單元的輸出的臨時儲存。

圖示圖6的各個單元以幫助理解由視訊編碼器200執行的操作。該等單元可以被實現為固定功能電路、可程式設計電路，或其組合。固定功能電路代表提供特定功能並且關於可以執行的操作而被預先設置的電路。可程式設計電路代表可以被程式設計以執行各種任務並且在可以執行的操作態樣提供靈活功能的電路。例如，可程式設計電路可以執行軟體或韌體，軟體或韌體使得可程式設計電路以由軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作的類型通常是不可變的。在一些實例中，該等單元中的一或多個單元可以是不同的電路區塊（固定功能或可程式設計），並且在一些實例中，一或多個單元可以是積體電路。

視訊編碼器200可以包括由可程式設計電路形成的算術邏輯單位（ALU）、基本功能單元（EFU）、數位電路、類比電路及/或可程式設計核心。在使用由可程式設計電路執行的軟體來執行視訊編碼器200的操作的實例中，記憶體106（圖1）可以儲存視訊編碼器200接收並且執行的軟體的指令（例如，目標代碼），或者視訊編碼器200內的另一記憶體（未圖示）可以儲存此種指令。

視訊資料記憶體230被配置為儲存所接收的視訊資料。視訊編碼器200可以從視訊資料記憶體230取得視訊資料的圖像，並且將視訊資料提供給殘差產生單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是要被編碼的原始視訊資料。

模式選擇單元202包括運動估計單元222、運動補償單元224和訊框內預測單元226。模式選擇單元202可以包括根據其他預測模式來執行視訊預測的額外功能單元。作為實例，模式選擇單元202可以包括調色板單元、區塊內複製單元（其可以是運動估計單元222及/或運動補償單元224的一部分）、仿射單元、線性模型（LM）單元等。

模式選擇單元202通常協調多個編碼通路（pass），以測試編碼參數的組合以及針對此種組合所得到的率失真值。編碼參數可以包括將CTU到CU的分割、用於CU的預測模式、用於CU的殘差資料的變換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇具有比其他測試的組合更佳的率失真值的編碼參數組合。

視訊編碼器200可以將從視訊資料記憶體230取得的圖像分割為一系列CTU，並且將一或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構（諸如上文描述的HEVC的QTBT結構或四叉樹結構）來分割圖像的CTU。如上文所描述的，視訊編碼器200可以從經由根據樹結構來分割CTU，形成一或多個CU。此種CU通常亦可以被稱為「視訊區塊」或「區塊」。

通常，模式選擇單元202亦控制其元件（例如，運動估計單元222、運動補償單元224和訊框內預測單元226）以產生用於當前區塊（例如，當前CU，或者在HEVC中PU和TU的重疊部分）的預測區塊。針對當前區塊的訊框間預測，運動估計單元222可以執行運動搜尋以辨識在一或多個參考圖像（例如，被儲存在DPB 218中的一或多個先前譯碼的圖像）中的一或多個緊密匹配的參考區塊。具體地，運動估計單元222可以例如根據絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）等，來計算表示潛在參考區塊將與當前區塊的如何類似的值。運動估計單元222通常可以使用在當前區塊與所考慮的參考區塊之間的逐取樣差來執行該等計算。運動估計單元222可以辨識具有從該等計算所得到的最低值的參考區塊，該最低值指示與當前區塊最緊密匹配的參考區塊。

運動估計單元222可以形成一或多個運動向量（MV），該等運動向量定義參考區塊在參考圖像中相對於當前區塊在當前圖像中的位置的位置。隨後，運動估計單元222可以將運動向量提供給運動補償單元224。例如，對於單向訊框間預測，運動估計單元222可以提供單個運動向量，而對於雙向訊框間預測，運動估計單元222可以提供兩個運動向量。隨後，運動補償單元224可以使用運動向量來產生預測區塊。例如，運動補償單元224可以使用運動向量來取得參考區塊的資料。作為另一實例，若運動向量具有分數取樣精度，則運動補償單元224可以根據一或多個內插濾波器來對用於預測區塊的值進行內插。此外，對於雙向訊框間預測，運動補償單元224可以取得用於由相應的運動向量辨識的兩個參考區塊的資料並且例如經由逐取樣平均或加權平均來將所取得的資料進行組合。

作為另一實例，對於訊框內預測或訊框內預測譯碼，訊框內預測單元226可以根據與當前區塊相鄰的取樣來產生預測區塊。例如，對於方向性模式，訊框內預測單元226通常可以在數學上將相鄰取樣的值進行組合，並且跨越當前區塊在所定義的方向上填充該等計算出的值以產生預測區塊。作為另一實例，對於DC模式，訊框內預測單元226可以計算當前區塊的相鄰取樣的平均值，並且產生預測區塊以包括針對預測區塊的每個取樣的該得到的平均值。

模式選擇單元202將預測區塊提供給殘差產生單元204。殘差產生單元204從視訊資料記憶體230接收當前區塊的原始的未經譯碼的版本，並且從模式選擇單元202接收預測區塊。殘差產生單元204計算在當前區塊與預測區塊之間的逐取樣差。所得到的逐取樣差定義用於當前區塊的殘差區塊。在一些實例中，殘差產生單元204亦可以決定在殘差區塊中的取樣值之間的差，以使用殘差差分脈衝譯碼調制（RDPCM）來產生殘差區塊。在一些實例中，殘差產生單元204可以是使用執行二進位減法的一或多個減法器電路來形成的。

在其中模式選擇單元202將CU分割為PU的實例中，每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支援具有各種大小的PU。如上文所指出的，CU的大小可以代表CU的亮度譯碼區塊的大小，以及PU的大小可以代表PU的亮度預測單元的大小。假定特定CU的大小為2Nx2N，視訊編碼器200可以支援用於訊框內預測的2Nx2N或NxN的PU大小，以及用於訊框間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視訊編碼器200和視訊解碼器300亦可以支援針對用於訊框間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。

在其中模式選擇單元202不將CU進一步分割為PU的實例中，每個CU可以與亮度譯碼區塊和對應的色度譯碼區塊相關聯。如上文，CU的大小可以代表CU的亮度譯碼區塊的大小。視訊編碼器200和視訊解碼器300可以支援2Nx2N、2NxN或Nx2N的CU大小。

對於其他視訊譯碼技術（舉一些實例，諸如區塊內複製模式譯碼、仿射模式譯碼和線性模型（LM）模式譯碼），模式選擇單元202經由與譯碼技術相關聯的相應單元來產生用於正被編碼的當前區塊的預測區塊。在一些實例中（諸如調色板模式譯碼），模式選擇單元202可以不產生預測區塊，以及替代地可以產生指示以其基於所選擇的調色板來重構區塊的方式的語法元素。在此種模式下，模式選擇單元202可以將該等語法元素提供給熵編碼單元220以進行編碼。

如上文所描述的，殘差產生單元204接收用於當前區塊和對應的預測區塊的視訊資料。隨後，殘差產生單元204產生用於當前區塊的殘差區塊。為了產生殘差區塊，殘差產生單元204計算在預測區塊與當前區塊之間的逐取樣差。

變換處理單元206將一或多個變換應用於殘差區塊，以產生變換係數的區塊（本文中被稱為「變換係數區塊」）。變換處理單元206可以將各種變換應用於殘差區塊，以形成變換係數區塊。例如，變換處理單元206可以將離散餘弦變換（DCT）、方向性變換、Karhunen-Loeve變換（KLT），或概念上類似的變換應用於殘差區塊。在一些實例中，變換處理單元206可以對殘差區塊執行多種變換，例如，初級變換和二次變換（諸如旋轉變換）。在一些實例中，變換處理單元206不對殘差區塊應用變換。

量化單元208可以對在變換係數區塊中的變換係數進行量化，以產生經量化的變換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數（QP）值來對變換係數區塊的變換係數進行量化。視訊編碼器200（例如，經由模式選擇單元202）可以經由調整與CU相關聯的QP值來調整應用於與當前區塊相關聯的變換係數區塊的量化程度。量化可能引起資訊損失，並且因此，經量化的變換係數可能具有與由變換處理單元206所產生的原始變換係數相比較低的精度。

逆量化單元210和逆變換處理單元212可以對經量化的變換係數區塊分別應用逆量化和逆變換，以從變換係數區塊重構殘差區塊。重構單元214可以基於經重構的殘差區塊和由模式選擇單元202產生的預測區塊，來產生與當前區塊相對應的重構區塊（儘管潛在地具有某種程度的失真）。例如，重構單元214可以將經重構的殘差區塊的取樣與來自由模式選擇單元202所產生的預測區塊的對應取樣相加，以產生經重構的區塊。

濾波器單元216可以對經重構的區塊執行一或多個濾波器操作。例如，濾波器單元216可以執行去區塊操作以減少沿著CU的邊緣的區塊效應偽影。在一些實例中，可以跳過濾波器單元216的操作。濾波器單元216可以被配置為執行本案內容的各種技術，例如，以決定神經網路模型（NN模型）232中的要用於對經解碼的圖像進行濾波的一或多個NN模型及/或是否應用NN模型濾波。模式選擇單元202可以使用經濾波和未濾波的圖像兩者來執行RD計算，以決定RD成本以決定是否執行NN模型濾波，並且隨後將表示例如是否執行NN模型濾波、NN模型232中的要用於當前圖像或其一部分的一或多個NN模型等的資料提供給熵編碼單元220。

特別是，根據本案內容的技術，濾波器單元216可以決定NN模型232包括可以應用於經解碼的圖像的一部分的可用NN模型集合。在一些實例中，濾波器單元216可以決定僅NN模型232的子集可用於經解碼的圖像的一部分（其中該子集包括與完整的NN模型232集合相比較少的NN模型）。在此種實例中，濾波器單元216可以向熵編碼單元220提供定義可用於經解碼的圖像的一部分的NN模型232的子集的資料。熵編碼單元220可以例如在SPS、PPS、APS、切片標頭、圖像標頭或其他高級語法元素中用信號通知指示該子集的資料。

在一些實例中，濾波器單元216可以針對經解碼的圖像的一部分選擇NN模型232中的一個NN模型。為了選擇NN模型232中的一個NN模型，濾波器單元216可以決定用於經解碼的圖像的一部分的量化參數。或者，模式選擇單元202可以執行率失真最佳化（RDO）過程，以決定NN模型232中的何者NN模型產生最佳RDO效能，並且選擇NN模型232中的產生最佳RDO效能的NN模型。隨後，模式選擇單元202可以提供表示關於與所決定的產生最佳RDO效能的NN模型相對應的可用NN模型232的集合（或子集）的索引的值。

在一些實例中，模式選擇單元202亦可以決定針對例如經解碼的圖像的特定區域、整個經解碼的圖像、經解碼的圖像序列等是啟用還是禁用對NN模型232的使用。模式選擇單元202可以向熵編碼單元220提供指示是啟用還是禁用對NN模型232的使用的資料。熵編碼單元220亦可以例如在以下各項中的一項或多項中對表示是啟用還是禁用使用NN模型232的資料進行編碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

在一些實例中，經解碼的視訊資料的一部分可以是網格的元素。亦即，視訊編碼器200可以將經解碼的圖像分割為多個元素（例如，在由網格形成的經解碼的圖像的行和列中的元素）的網格。熵編碼單元220亦可以對表示網格的資料（例如，用於表示針對網格的多個行和列及/或多個元素的語法元素的值）進行編碼。

視訊編碼器200將經重構（以及在一些情況下，經濾波）的區塊儲存在DPB 218中。例如，在其中不需要濾波器單元216的操作的實例中，重構單元214可以將經重構的區塊儲存到DPB 218中。在其中需要濾波器單元216的操作的實例中，濾波器單元216可以將經濾波經重構的區塊儲存到DPB 218。運動估計單元222和運動補償單元224可以從DPB 218取得由經重構（並且潛在地經濾波）的區塊形成的參考圖像，以對後續編碼的圖像的區塊進行訊框間預測。另外，訊框內預測單元226可以使用在DPB 218中的當前圖像的經重構的區塊來對在當前圖像中的其他區塊進行訊框內預測。

通常，熵編碼單元220可以對從視訊編碼器200的其他功能元件接收的語法元素進行熵編碼。例如，熵編碼單元220可以對來自量化單元208的經量化的變換係數區塊進行熵編碼。作為另一實例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素（例如，用於訊框間預測的運動資訊或用於訊框內預測的訊框內模式資訊）進行熵編碼。熵編碼單元220可以對語法元素（其是視訊資料的另一實例）執行一或多個熵編碼操作，以產生經熵編碼的資料。例如，熵編碼單元220可以對資料執行上下文自我調整變長譯碼（CAVLC）操作、CABAC操作、可變到可變（V2V）長度譯碼操作、基於語法的上下文自我調整二進位算術譯碼（SBAC）操作、概率區間分割熵（PIPE）譯碼操作、指數哥倫布編碼操作，或另一種類型的熵編碼操作。在一些實例中，熵編碼單元220可以在旁路模式下操作，其中語法元素未被熵編碼。

視訊編碼器200可以輸出位元串流，位元串流包括重構圖像的切片或區塊所需要的經熵編碼的語法元素。特別是，熵編碼單元220可以輸出位元串流。

上文所描述的操作是相對於區塊來描述的。此種描述應當被理解為是用於亮度譯碼區塊及/或色度譯碼區塊的操作。如上文所描述的，在一些實例中，亮度譯碼區塊和色度譯碼區塊是CU的亮度分量和色度分量。在一些實例中，亮度譯碼區塊和色度譯碼區塊是PU的亮度分量和色度分量。

在一些實例中，關於亮度譯碼區塊執行的操作不需要針對色度譯碼區塊進行重複。作為一個實例，用於辨識用於亮度譯碼區塊的運動向量（MV）和參考圖像的操作不需要被重複用於辨識用於色度區塊的MV和參考圖像。準確而言，用於亮度譯碼區塊的MV可以被縮放以決定用於色度區塊的MV，並且參考圖像可以是相同的。作為另一實例，對於亮度譯碼區塊和色度譯碼區塊，訊框內預測過程可以是相同的。

以此種方式，圖6的視訊編碼器200表示用於對經解碼的視訊資料進行濾波的設備的實例，該設備包括：記憶體，其被配置為儲存視訊資料；及一或多個處理器，其在電路系統中實現並且被配置為：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，該值表示關於預定義神經網路模型集合的索引，該索引與在預定義神經網路模型集合中的神經網路模型相對應；及使用與該索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

圖7是圖示可以執行本案內容的技術的示例性視訊解碼器300的方塊圖。圖7是出於解釋的目的而提供的，並且不是對在本案內容中廣泛地舉例說明和描述的技術的限制。出於解釋的目的，本案內容根據VVC和HEVC（ITU-T H.265）的技術描述視訊解碼器300。然而，本案內容的技術可以由被配置用於其他視訊譯碼標準的視訊譯碼設備來執行。

在圖7的實例中，視訊解碼器300包括譯碼圖像緩衝器（CPB）記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和解碼圖像緩衝器（DPB）314。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和DPB 314中的任何一者或全部可以在一或多個處理器中或者在處理電路系統中實現。例如，視訊解碼器300的單元可以被實現為一或多個電路或邏輯元件，作為硬體電路系統的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視訊解碼器300可以包括額外或替代的處理器或處理電路系統以執行該等和其他功能。

預測處理單元304包括運動補償單元316和訊框內預測單元318。預測處理單元304可以包括根據其他預測模式來執行預測的額外單元。作為實例，預測處理單元304可以包括調色板單元、區塊內複製單元（其可以形成運動補償單元316的一部分）、仿射單元、線性模型（LM）單元等。在其他實例中，視訊解碼器300可以包括更多、更少或不同的功能元件。

CPB記憶體320可以儲存要由視訊解碼器300的元件解碼的視訊資料，諸如經編碼的視訊位元串流。例如，被儲存在CPB記憶體320中的視訊資料可以是從電腦可讀取媒體110（圖1）獲得的。CPB記憶體320可以包括儲存來自經編碼的視訊位元串流的經編碼的視訊資料（例如，語法元素）的CPB。此外，CPB記憶體320可以儲存除了經譯碼的圖像的語法元素之外的視訊資料，諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的圖像，視訊解碼器300可以輸出經解碼的圖像，及/或在對經編碼的視訊位元串流的後續資料或圖像進行解碼時將經解碼的圖像用作參考視訊資料。CPB記憶體320和DPB 314可以由各種記憶體設備中的任何記憶體設備形成，諸如動態隨機存取記憶體（DRAM）（包括同步DRAM（SDRAM））、磁阻RAM（MRAM）、電阻RAM（RRAM）或其他類型的記憶體設備。CPB記憶體320和DPB 314可以由相同的記憶體設備或單獨的記憶體設備來提供。在各個實例中，CPB記憶體320可以與視訊解碼器300的其他元件一起在晶片上，或者相對於彼等元件在晶片外。

另外或替代地，在一些實例中，視訊解碼器300可以從記憶體120（圖1）取得經譯碼的視訊資料。亦即，記憶體120可以如上文關於CPB記憶體320所論述的儲存資料。同樣，當視訊解碼器300的功能中的一些或全部功能是用要由視訊解碼器300的處理電路系統執行的軟體實現的時，記憶體120可以儲存要由視訊解碼器300執行的指令。

圖示在圖7中圖示的各個單元以幫助理解由視訊解碼器300執行的操作。該等單元可以被實現為固定功能電路、可程式設計電路，或其組合。類似於圖6，固定功能電路代表提供特定功能並且關於可以執行的操作而被預先設置的電路。可程式設計電路代表可以被程式設計以執行各種任務並且在可以執行的操作態樣提供靈活功能的電路。例如，可程式設計電路可以執行軟體或韌體，軟體或韌體使得可程式設計電路以由軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作的類型通常是不可變的。在一些實例中，一或多個單元可以是不同的電路區塊（固定功能或可程式設計），並且在一些實例中，一或多個單元可以是積體電路。

視訊解碼器300可以包括ALU、EFU、數位電路、類比電路及/或由可程式設計電路形成的可程式設計核心。在其中視訊解碼器300的操作是由在可程式設計電路上執行的軟體來執行的實例中，晶片上或晶片外記憶體可以儲存視訊解碼器300接收並且執行的軟體的指令（例如，目標代碼）。

熵解碼單元302可以從CPB接收經編碼的視訊資料，並且對視訊資料進行熵解碼以重現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波器單元312可以基於從位元串流中提取的語法元素來產生經解碼的視訊資料。

通常，視訊解碼器300逐區塊地重構圖像。視訊解碼器300可以單獨地對每個區區塊執行重構操作（其中當前正在被重構（亦即，被解碼）的區塊可以被稱為「當前區塊」）。

熵解碼單元302可以對定義經量化的變換係數區塊的經量化的變換係數以及變換資訊（諸如量化參數（QP）及/或變換模式指示）的語法元素進行熵解碼。逆量化單元306可以使用與經量化的變換係數區塊相關聯的QP來決定量化程度，並且同樣地，決定供逆量化單元306應用的逆量化程度。逆量化單元306可以例如執行按位元左移操作，以對經量化的變換係數進行逆量化。逆量化單元306從而可以形成包括變換係數的變換係數區塊。

在逆量化單元306形成變換係數區塊之後，逆變換處理單元308可以將一或多個逆變換應用於變換係數區塊，以產生與當前區塊相關聯的殘差區塊。例如，逆變換處理單元308可以將逆DCT、逆整數變換、逆Karhunen-Loeve變換（KLT）、逆旋轉變換、逆方向性變換或另一逆變換應用於變換係數區塊。

此外，預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來產生預測區塊。例如，若預測資訊語法元素指示當前區塊是經訊框間預測的，則運動補償單元316可以產生預測區塊。在此種情況下，預測資訊語法元素可以指示在DPB 314中的要從其取得參考區塊的參考圖像，以及辨識參考區塊在參考圖像中相對於當前區塊在當前圖像中的位置的位置的運動向量。運動補償單元316通常可以以與關於運動補償單元224（圖6）所描述的方式基本類似的方式來執行訊框間預測過程。

作為另一實例，若預測資訊語法元素指示當前區塊是經訊框內預測的，則訊框內預測單元318可以根據由預測資訊語法元素指示的訊框內預測模式來產生預測區塊。再次，訊框內預測單元318通常可以以與關於訊框內預測單元226（圖6）所描述的方式基本上類似的方式來執行訊框內預測過程。訊框內預測單元318可以從DPB 314取得與當前區塊的相鄰的取樣的資料。

重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如，重構單元310可以將殘差區塊的取樣與預測區塊的對應取樣相加來重構當前區塊。

濾波器單元312可以對經重構的區塊執行一或多個濾波器操作。例如，濾波器單元312可以執行去區塊操作以減少沿著經重構的區塊的邊緣的區塊效應偽影。濾波器單元312的操作不一定在所有實例中皆執行。例如，視訊解碼器300可以顯式或隱式地決定是否使用NN模型322（例如，使用本文論述的各種技術中的任何或所有技術）來執行神經網路模型濾波。此外，視訊解碼器300可以顯式或隱式地決定NN模型322中的一或多個NN模型，及/或用於要被解碼和濾波的當前圖像的網格大小。因此，當濾波被開啟時，濾波器單元312可以使用NN模型322中的一或多個NN模型來對當前經解碼的圖像的一部分進行濾波。

濾波器單元312可以對經重構的區塊執行一或多個濾波器操作。例如，濾波器單元312可以執行去區塊操作以減少沿著CU/TU的邊緣的區塊效應偽影。在一些實例中，可以跳過濾波器單元312的操作。濾波器單元312可以被配置為執行本案內容的各種技術，例如，決定神經網路模型（NN模型）232中的要用於對經解碼的圖像進行濾波的一或多個NN模型，及/或是否應用NN模型濾波。模式選擇單元202可以使用經濾波和未濾波的圖像兩者來執行RD計算，以決定RD成本以決定是否執行NN模型濾波，並且隨後將表示例如是否執行NN模型濾波、NN模型322中的要用於當前圖像或其一部分的一或多個NN模型等的資料提供給熵編碼單元220。

特別是，根據本案內容的技術，濾波器單元312可以決定NN模型322包括可以應用於經解碼的圖像的一部分的可用NN模型集合。在一些實例中，濾波器單元312可以決定僅NN模型322的子集可用於經解碼的圖像的一部分（其中該子集包括與完整的NN模型322集合相比較少的NN模型）。在此種實例中，濾波器單元312可以從熵解碼單元302接收定義NN模型322的可用於經解碼的圖像的一部分的子集的經解碼資料。熵解碼單元302可以對例如在SPS、PPS、APS、切片標頭、圖像標頭或其他高級語法元素中的指示該子集的資料進行解碼。

在一些實例中，濾波器單元312可以針對經解碼的圖像的一部分選擇NN模型322中的一個NN模型。為了選擇NN模型322中的一個NN模型，濾波器單元312可以決定用於經解碼的圖像的一部分的量化參數（QP），並且決定NN模型322中的與QP相對應的一個NN模型。或者，濾波器單元312可以接收表示關於與所決定的要使用的NN模型相對應的可用NN模型322的集合（或子集）的索引的值。

在一些實例中，濾波器單元312亦可以決定例如針對經解碼的圖像的特定區域、整個經解碼的圖像、經解碼的圖像序列等是啟用還是禁用對NN模型322的使用。濾波器單元312可以從熵解碼單元302接收指示是啟用還是禁用對NN模型322的使用的資料。熵解碼單元302可以對例如在以下各項中的一項或多項中的表示是啟用還是禁用使用NN模型322的資料進行解碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

在一些實例中，經解碼的視訊資料的一部分可以是網格的元素。亦即，視訊解碼器300可以將經解碼的圖像分割為多個元素（例如，在由網格形成的經解碼的圖像的行和列中的元素）的網格。熵解碼單元302可以對表示網格的資料（例如，用於表示針對網格的多個行和列及/或多個元素的語法元素的值）進行解碼。

視訊解碼器300可以將經重構的區塊儲存在DPB 314中。例如，在其中不執行濾波器單元312的操作的實例中，重構單元310可以將經重構的區塊儲存到DPB 314中。在其中執行濾波器單元312的操作的實例中，濾波器單元312可以將經濾波經重構的區塊儲存到DPB 314中。如上文所論述的，DPB 314可以將參考資訊（諸如用於訊框內預測的當前圖像以及用於後續運動補償的先前解碼的圖像的取樣）提供給預測處理單元304。此外，視訊解碼器300可以輸出來自DPB 314的經解碼的圖像，以供在顯示設備（諸如圖1的顯示設備118）上後續呈現。

以此種方式，圖7的視訊解碼器300表示用於對經解碼的視訊資料進行濾波的設備的實例，該設備包括：記憶體，其被配置為儲存視訊資料；及一或多個處理器，其在電路系統中實現並且被配置為：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，該值表示關於預定義神經網路模型集合的索引，該索引與在預定義神經網路模型集合中的神經網路模型相對應；及使用與該索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

圖8是圖示根據本案內容的技術的用於對當前區塊進行編碼的示例性方法的流程圖。當前區塊可以包括當前CU。儘管是相對於視訊編碼器200（圖1和圖3）進行描述的，但是應當理解的是，其他設備可以被配置為執行與圖8的方法類似的方法。

在該實例中，視訊編碼器200首先預測當前區塊（350）。例如，視訊編碼器200可以形成用於當前區塊的預測區塊。隨後，視訊編碼器200可以計算用於當前區塊的殘差區塊（352）。為了計算殘差區塊，視訊編碼器200可以計算在原始的未經譯碼的區塊與用於當前區塊的預測區塊之間的差。隨後，視訊編碼器200可以對殘差區塊的係數進行變換和量化（354）。接下來，視訊編碼器200可以掃瞄殘差區塊的經量化的變換係數（356）。在掃瞄期間或在掃瞄之後，視訊編碼器200可以對係數進行熵編碼（358）。例如，視訊編碼器200可以使用CAVLC或CABAC來對係數進行編碼。隨後，視訊編碼器200可以輸出區塊的經熵編碼的資料（360）。

視訊編碼器200亦可以在對當前區塊進行編碼之後對當前區塊進行解碼，以使用當前區塊的經解碼的版本作為後續經譯碼的資料的參考資料（例如，在訊框間或訊框內預測模式中）。因此，視訊編碼器200可以對係數進行逆量化和逆變換以重現殘差區塊（362）。視訊編碼器200可以將殘差區塊與預測區塊組合以形成經解碼的區塊（364）。

根據本案內容的技術，在以上文描述的方式對圖像的所有區塊進行編碼和解碼之後，視訊編碼器200可以針對經解碼的圖像的包括當前區塊的一部分來決定要應用於經解碼的圖像的一部分區塊的的神經網路（NN）模型（366）。在一個實例中，視訊編碼器200可以決定用於經解碼的圖像的一部分的量化參數（QP），並且決定與QP相對應的NN模型。在另一實例中，視訊編碼器200可以執行率失真最佳化（RDO）程序以例如從可用NN模型集合中選擇NN模型。亦即，視訊編碼器200可以將各種NN模型應用於經解碼的圖像的一部分，隨後針對各種NN模型之每一者NN模型計算RDO值，並針對經解碼的圖像的一部分選擇產生最佳測試RDO值的NN模型。

隨後，視訊編碼器200可以對表示NN模型的值進行編碼（368）。當視訊編碼器200基於QP來選擇NN模型時，視訊編碼器200可以簡單地對QP進行編碼以表示NN模型。亦即，針對區塊進行編碼的QP（例如，作為TU資訊的一部分）可以被提供給NN模型以選擇適當的基於NN的濾波器。或者，當視訊編碼器200從可用NN模型集合（或集合的子集）中選擇NN模型時，視訊編碼器200可以對表示關於集合（或子集）的索引的語法元素的值進行編碼，其中索引對應於NN模型在集合或子集中的位置。語法元素可以形成視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或用於圖像的網格的網格級別的一部分。隨後，視訊編碼器200可以將所決定的NN模型應用於經解碼的圖像的一部分（369），以對經解碼的圖像的一部分進行濾波並且將經解碼的圖像儲存在DPB 218中。

在一些實例中，視訊編碼器200可以決定用於經解碼的圖像的一部分的多個NN模型，而不是決定單個NN模型。視訊編碼器200可以將NN模型之每一者NN模型分別地應用於經解碼的圖像的一部分，以形成不同的濾波結果。隨後，視訊編碼器200可以將濾波結果之每一者濾波結果進行組合以形成經解碼的圖像的最終經濾波的一部分。

經解碼的圖像的一部分可以對應於網格元素。亦即，視訊編碼器200可以將經解碼的圖像分割成具有多個元素的網格（例如，由相應數量的行和列形成的區域）。視訊編碼器200可以在以下各項中的至少一項中用信號通知表示網格的資料（諸如網格的多個行和多個列或多個元素）：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。在一些實例中，視訊編碼器200可以用信號通知用於表示關於可能網格大小集合的索引的語法元素的值。

以此種方式，圖8的方法表示用於對經解碼的視訊資料進行濾波的方法的實例，該方法包括以下步驟：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，該值表示關於預定義神經網路模型集合的索引，該索引與在預定義神經網路模型集合中的神經網路模型相對應；及使用與該索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

圖9是圖示根據本案內容的技術的用於對當前區塊進行解碼的示例性方法的流程圖。當前區塊可以包括當前CU。儘管是相對於視訊解碼器300（圖1和圖4）進行描述的，但是應當理解的是，其他設備可以被配置為執行與圖9的方法類似的方法。

視訊解碼器300可以接收用於當前區塊的經熵編碼的資料，諸如經熵編碼的預測資訊和用於與當前區塊相對應的殘差區塊的係數的經熵編碼的資料（370）。視訊解碼器300可以對經熵編碼的資料進行熵解碼，以決定用於當前區塊的預測資訊、用於包括圖像的當前區塊的一部分的神經網路（NN）模型，並且重現殘差區塊的係數（372）。視訊解碼器300可以例如使用如由用於當前區塊的預測資訊所指示的訊框內或訊框間預測模式來預測當前區塊（374），以計算用於當前區塊的預測區塊。隨後，視訊解碼器300可以對所重現的係數進行逆掃瞄（376），以建立經量化的變換係數的區塊。隨後，視訊解碼器300可以對經量化的變換係數進行逆量化和逆變換以產生殘差區塊（378）。最終，視訊解碼器300可以經由將預測區塊和殘差區塊進行組合來對當前區塊進行解碼（380）。

視訊解碼器300亦可以根據經解碼的資料來決定要應用於經解碼的圖像的包括當前區塊的一部分的NN模型（382）。例如，視訊解碼器300可以對用於經解碼的圖像的一部分（例如，用於該部分中的一或多個區塊）的量化參數（QP）進行解碼，並且決定QP對應於的NN模型。作為另一實例，視訊解碼器300可以對用於表示關於可用NN模型的集合（或集合的子集）的索引的語法元素的值進行解碼，並且決定可用NN模型的集合或子集中的該索引與其相對應的NN模型。隨後，視訊解碼器300可以將NN模型應用於經解碼的圖像的一部分（384），以對經解碼的圖像的一部分進行濾波。在一個實例（其中濾波器是迴路內濾波器）中，視訊解碼器300將包括經濾波的部分的經解碼的圖像儲存到解碼圖像緩衝器314。

以此種方式，圖9的方法表示用於對經解碼的視訊資料進行濾波的方法的實例，該方法包括以下步驟：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，該值表示關於預定義神經網路模型集合的索引，該索引與在預定義神經網路模型集合中的神經網路模型相對應；及使用與該索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

以下條款總結本案內容的各種技術：

條款1：一種對經解碼的視訊資料進行濾波的方法，方法包括以下步驟：決定要用於對視訊資料的經解碼的圖像的一部分進行濾波的一或多個神經網路模型；及使用一或多個神經網路模型來對經解碼的圖像的一部分進行濾波。

條款2：根據條款1之方法，其中決定一或多個神經網路模型包括：決定不超過單個神經網路模型。

條款3：根據條款1之方法，其中決定一或多個神經網路模型包括：決定複數個神經網路模型。

條款4：根據條款3之方法，其中濾波包括：將複數個神經網路模型之每一者神經網路模型分別應用於一部分以形成不同的結果；及對結果之每一者結果進行組合以形成最終經濾波的部分。

條款5：根據條款1-4中任何條款之方法，其中決定包括：使用在包括視訊資料的位元串流中用信號通知的索引來決定。

條款6：根據條款1-5中任何條款之方法，其中一部分包括網格的元素。

條款7：根據條款1-6中任何條款之方法，亦包括以下步驟：決定網格的元素數量。

條款8：根據條款7之方法，其中決定網格的元素數量包括：對以下各項中的至少一項的語法元素進行解碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款9：根據條款7和8中任何條款之方法，其中決定網格中的元素數量包括：對表示關於可能網格大小集合的索引的語法元素的值進行解碼。

條款10：根據條款1-9中任何條款之方法，亦包括以下步驟：在決定一或多個神經網路模型之前，決定應用一或多個神經網路模型。

條款11：根據條款10之方法，其中決定應用一或多個神經網路模型包括：對具有指示要應用一或多個神經網路模型的值的語法元素進行解碼。

條款12：根據條款11之方法，其中語法元素具有以下各項中的至少一項：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款13：根據條款1-12中任何條款之方法，其中一部分包括經解碼的圖像的顏色分量的一部分，顏色分量包括亮度分量、藍色色調色度分量或紅色色調色度分量中的一項。

條款14：根據條款13之方法，亦包括以下步驟：對語法元素進行解碼，語法元素聯合地表示針對經解碼的圖像的顏色分量之每一者顏色分量使用一或多個神經網路模型進行濾波。

條款15：根據條款1-14中任何條款之方法，亦包括以下步驟：對當前圖像進行編碼；及對當前圖像進行解碼以形成當前圖像。

條款16：根據條款15之方法，其中決定包括：根據率失真計算進行決定。

條款17：用於對視訊資料進行解碼的設備，設備包括用於執行根據條款1-16中任何條款的方法的一或多個構件。

條款18：根據條款17之設備，其中一或多個構件包括在電路系統中實現的一或多個處理器。

條款19：根據條款17之設備，亦包括：被配置為顯示經解碼的視訊資料的顯示器。

條款20：根據條款17之設備，其中設備包括相機、電腦、行動設備、廣播接收器設備或機上盒中的一項或多項。

條款21：根據條款17之設備，亦包括：被配置為儲存視訊資料的記憶體。

條款22：具有儲存在其上的指令的電腦可讀取儲存媒體，指令在被執行時使得處理器執行根據條款1-16中任何條款的方法。

條款23：對經解碼的視訊資料進行濾波的方法，方法包括以下步驟：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

條款24：根據條款23之方法，亦包括以下步驟：對表示預定義神經網路模型集合的子集的值進行譯碼，神經網路模型是預定義神經網路模型集合的子集中的一個神經網路模型，子集小於預定義神經網路模型集合。

條款25：根據條款23之方法，其中用於表示神經網路模型的語法元素的值是表示複數個神經網路模型的值。

條款26：根據條款25之方法，其中濾波包括：將由值表示的複數個神經網路模型之每一者神經網路模型分別應用於一部分以形成不同的結果；及對結果之每一者結果進行組合以形成最終經濾波的部分。

條款27：根據條款23之方法，其中對用於語法元素的值進行譯碼包括在以下各項中的一項中對用於語法元素的值進行譯碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或用於圖像的網格的網格級別。

條款28：根據條款23之方法，亦包括以下步驟：根據網格來分割圖像，其中一部分包括圖像的網格的元素。

條款29：根據條款28之方法，亦包括以下步驟：決定網格的元素數量。

條款30：根據條款29之方法，其中決定網格的元素數量包括對以下各項中的至少一項的語法元素進行解碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款31：根據條款29之方法，其中決定網格中的元素數量包括：對表示關於可能網格大小集合的索引的語法元素的值進行解碼。

條款32：根據條款23之方法，亦包括以下步驟：在決定神經網路模型之前，決定應用神經網路模型。

條款33：根據條款32之方法，其中決定應用神經網路模型包括：對用於指示要應用神經網路模型的語法元素的值進行解碼。

條款34：根據條款33之方法，其中語法元素具有以下各項中的至少一項：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款35：根據條款23之方法，其中經解碼的圖像的一部分包括經解碼的圖像的顏色分量的一部分，顏色分量包括亮度分量、藍色色調色度分量或紅色色調色度分量中的一項。

條款36：根據條款35之方法，亦包括以下步驟：對語法元素進行譯碼，語法元素聯合地表示針對經解碼的圖像的顏色分量之每一者顏色分量使用神經網路模型進行濾波。

條款37：根據條款23之方法，其中用於語法元素的值包括用於圖像的一部分的量化參數（QP）。

條款38：根據條款23之方法，亦包括以下步驟：在對圖像進行解碼之前對圖像進行編碼，其中對用於語法元素的值進行譯碼包括：對用於語法元素的值進行編碼。

條款39：根據條款38之方法，亦包括以下步驟：根據率失真計算來決定神經網路模型。

條款40：一種用於對經解碼的視訊資料進行濾波的設備，設備包括：記憶體，其被配置為儲存視訊資料；及一或多個處理器，其在電路系統中實現並且被配置為：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

條款41：根據條款40之設備，其中一或多個處理器亦被配置為：對表示預定義神經網路模型集合的子集的值進行譯碼，神經網路模型是預定義神經網路模型集合的子集中的一個神經網路模型，子集小於預定義神經網路模型集合。

條款42：根據條款40之設備，其中用於表示神經網路模型的語法元素的值是表示複數個神經網路模型的值，並且其中為了對經解碼的圖像的一部分進行濾波，一或多個處理器被配置為：將由值表示的複數個神經網路模型之每一者神經網路模型分別應用於一部分以形成不同的結果；及對結果之每一者結果進行組合以形成最終經濾波的部分。

條款43：根據條款40之設備，其中一或多個處理器被配置為在以下各項中的一項中對用於語法元素的值進行譯碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或用於圖像的網格的網格級別。

條款44：根據條款40之設備，其中一或多個處理器被配置為：根據網格來分割圖像，其中一部分包括圖像的網格的元素。

條款45：根據條款44之設備，其中一或多個處理器亦被配置為：對用於表示網格的元素數量的語法元素的值進行解碼，語法元素被包括在以下各項中的至少一項中：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款46：根據條款40之設備，其中一或多個處理器被配置為：在決定神經網路模型之前，決定應用神經網路模型，其中為了決定應用神經網路模型，一或多個處理器被配置為：對用於指示要應用神經網路模型的語法元素的值進行解碼。

條款47：根據條款40之設備，其中經解碼的圖像的一部分包括經解碼的圖像的顏色分量的一部分，顏色分量包括亮度分量、藍色色調色度分量或紅色色調色度分量中的一項。

條款48：根據條款40之設備，其中用於語法元素的值包括用於圖像的一部分的量化參數（QP）。

條款49：根據條款40之設備，其中一或多個處理器亦被配置為：在對圖像進行解碼之前對圖像進行編碼，並且其中為了對用於語法元素的值進行譯碼，一或多個處理器被配置為：對用於語法元素的值進行編碼。

條款50：根據條款49之設備，其中一或多個處理器亦被配置為：根據率失真計算來決定神經網路模型。

條款51：根據條款40之設備，亦包括：被配置為顯示經解碼的視訊資料的顯示器。

條款52：根據條款40之設備，其中設備包括相機、電腦、行動設備、廣播接收器設備或機上盒中的一項或多項。

條款53：具有儲存在其上的指令的電腦可讀取儲存媒體，指令在被執行時使得處理器進行以下操作：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

條款54：根據條款53之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：對表示預定義神經網路模型集合的子集的值進行譯碼，神經網路模型是預定義神經網路模型集合的子集中的一個神經網路模型，子集小於預定義神經網路模型集合。

條款55：根據條款53之電腦可讀取儲存媒體，其中用於表示神經網路模型的語法元素的值是表示複數個神經網路模型的值，並且其中使得處理器對經解碼的圖像的一部分進行濾波的指令包括使得處理器進行以下操作的指令：將由值表示的複數個神經網路模型之每一者神經網路模型分別應用於一部分以形成不同的結果；及對結果之每一者結果進行組合以形成最終經濾波的部分。

條款56：根據條款53之電腦可讀取儲存媒體，其中使得處理器對用於語法元素的值進行譯碼的指令包括使得處理器進行以下操作的指令：在以下各項中的一項中對用於語法元素的值進行譯碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或用於圖像的網格的網格級別。

條款57：根據條款53之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：根據網格來分割圖像，其中一部分包括圖像的網格的元素。

條款58：根據條款57之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：對用於表示網格的元素數量的語法元素的值進行解碼，語法元素被包括在以下各項中的至少一項中：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款59：根據條款53之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：在決定神經網路模型之前，決定應用神經網路模型，其中使得處理器決定應用神經網路模型的指令包括使得處理器進行以下操作的指令：對用於指示要應用神經網路模型的語法元素的值進行解碼。

條款60：根據條款53之電腦可讀取儲存媒體，其中經解碼的圖像的一部分包括經解碼的圖像的顏色分量的一部分，顏色分量包括亮度分量、藍色色調色度分量或紅色色調色度分量中的一項。

條款61：根據條款53之電腦可讀取儲存媒體，其中用於語法元素的值包括用於圖像的一部分的量化參數（QP）。

條款62：根據條款53之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：在對圖像進行解碼之前對圖像進行編碼，並且其中使得處理器對用於語法元素的值進行譯碼的指令包括使得處理器進行以下操作的指令：對用於語法元素的值進行編碼。

條款63：根據條款62之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：根據率失真計算來決定神經網路模型。

條款64：用於對經解碼的視訊資料進行濾波的設備，設備包括：用於對視訊資料的圖像進行解碼的構件；用於對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼的構件，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及用於使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波的構件。

條款65：對經解碼的視訊資料進行濾波的方法，方法包括以下步驟：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

條款66：根據條款65之方法，亦包括以下步驟：對表示預定義神經網路模型集合的子集的值進行譯碼，神經網路模型是預定義神經網路模型集合的子集中的一個神經網路模型，子集小於預定義神經網路模型集合。

條款67：根據條款65和66中任何條款之方法，其中用於表示神經網路模型的語法元素的值是表示複數個神經網路模型的值。

條款68：根據條款67之方法，其中濾波包括：將由值表示的複數個神經網路模型之每一者神經網路模型分別應用於一部分以形成不同的結果；及對結果之每一者結果進行組合以形成最終經濾波的部分。

條款69：根據條款65-68中任何條款之方法，其中對用於語法元素的值進行譯碼包括在以下各項中的一項中對用於語法元素的值進行譯碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或用於圖像的網格的網格級別。

條款70：根據條款65-69中任何條款之方法，亦包括以下步驟：根據網格來分割圖像，其中一部分包括圖像的網格的元素。

條款71：根據條款70之方法，亦包括以下步驟：決定網格的元素數量。

條款72：根據條款71之方法，其中決定網格的元素數量包括對以下各項中的至少一項的語法元素進行解碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款73：根據條款71之方法，其中決定網格中的元素數量包括：對表示關於可能網格大小集合的索引的語法元素的值進行解碼。

條款74：根據條款65-73中任何條款之方法，亦包括以下步驟：在決定神經網路模型之前，決定應用神經網路模型。

條款75：根據條款74之方法，其中決定應用神經網路模型包括：對用於指示要應用神經網路模型的語法元素的值進行解碼。

條款76：根據條款75之方法，其中語法元素具有以下各項中的至少一項：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款77：根據條款65-76中任何條款之方法，其中經解碼的圖像的一部分包括經解碼的圖像的顏色分量的一部分，顏色分量包括亮度分量、藍色色調色度分量或紅色色調色度分量中的一項。

條款78：根據條款77之方法，亦包括以下步驟：對語法元素進行譯碼，語法元素聯合地表示針對經解碼的圖像的顏色分量之每一者顏色分量使用神經網路模型進行濾波。

條款79：根據條款65-78中任何條款之方法，其中用於語法元素的值包括用於圖像的一部分的量化參數（QP）。

條款80：根據條款65之方法，亦包括以下步驟：在對圖像進行解碼之前對圖像進行編碼，其中對用於語法元素的值進行譯碼包括：對用於語法元素的值進行編碼。

條款81：根據條款80之方法，亦包括以下步驟：根據率失真計算來決定神經網路模型。

條款82：用於對經解碼的視訊資料進行濾波的設備，設備包括：記憶體，其被配置為儲存視訊資料；及一或多個處理器，其在電路系統中實現並且被配置為：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

條款83：根據條款82之設備，其中一或多個處理器亦被配置為：對表示預定義神經網路模型集合的子集的值進行譯碼，神經網路模型是預定義神經網路模型集合的子集中的一個神經網路模型，子集小於預定義神經網路模型集合。

條款84：根據條款82和83中任何條款之設備，其中用於表示神經網路模型的語法元素的值是表示複數個神經網路模型的值，並且其中為了對經解碼的圖像的一部分進行濾波，一或多個處理器被配置為：將由值表示的複數個神經網路模型之每一者神經網路模型分別應用於一部分以形成不同的結果；及對結果之每一者結果進行組合以形成最終經濾波的部分。

條款85：根據條款82-84中任何條款之設備，其中一或多個處理器被配置為在以下各項中的一項中對用於語法元素的值進行譯碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或用於圖像的網格的網格級別。

條款86：根據條款82-85中任何條款之設備，其中一或多個處理器被配置為：根據網格來分割圖像，其中一部分包括圖像的網格的元素。

條款87：根據條款86之設備，其中一或多個處理器亦被配置為：對用於表示網格的元素數量的語法元素的值進行解碼，語法元素被包括在以下各項中的至少一項中：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款88：根據條款82-87中任何條款之設備，其中一或多個處理器被配置為：在決定神經網路模型之前，決定應用神經網路模型，其中為了決定應用神經網路模型，一或多個處理器被配置為：對用於指示要應用神經網路模型的語法元素的值進行解碼。

條款89：根據條款82-88中任何條款之設備，其中經解碼的圖像的一部分包括經解碼的圖像的顏色分量的一部分，顏色分量包括亮度分量、藍色色調色度分量或紅色色調色度分量中的一項。

條款90：根據條款82-89中任何條款之設備，其中用於語法元素的值包括用於圖像的一部分的量化參數（QP）。

條款91：根據條款82之設備，其中一或多個處理器亦被配置為：在對圖像進行解碼之前對圖像進行編碼，並且其中為了對用於語法元素的值進行譯碼，一或多個處理器被配置為：對用於語法元素的值進行編碼。

條款92：根據條款91之設備，其中一或多個處理器亦被配置為：根據率失真計算來決定神經網路模型。

條款93：根據條款82-92中任何條款之設備，亦包括：被配置為顯示經解碼的視訊資料的顯示器。

條款94：根據條款82-93中任何條款之設備，其中設備包括相機、電腦、行動設備、廣播接收器設備或機上盒中的一項或多項。

條款95：具有儲存在其上的指令的電腦可讀取儲存媒體，指令在被執行時使得處理器進行以下操作：對視訊資料的圖像進行解碼；對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波。

條款96：根據條款95之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：對表示預定義神經網路模型集合的子集的值進行譯碼，神經網路模型是預定義神經網路模型集合的子集中的一個神經網路模型，子集小於預定義神經網路模型集合。

條款97：根據條款95和96中任何條款之電腦可讀取儲存媒體，其中用於表示神經網路模型的語法元素的值是表示複數個神經網路模型的值，並且其中使得處理器對經解碼的圖像的一部分進行濾波的指令包括使得處理器進行以下操作的指令：將由值表示的複數個神經網路模型之每一者神經網路模型分別應用於一部分以形成不同的結果；及對結果之每一者結果進行組合以形成最終經濾波的部分。

條款98：根據條款95-97中任何條款之電腦可讀取儲存媒體，其中使得處理器對用於語法元素的值進行譯碼的指令包括使得處理器進行以下操作的指令：在以下各項中的一項中對用於語法元素的值進行譯碼：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或用於圖像的網格的網格級別。

條款99：根據條款95-98中任何條款之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：根據網格來分割圖像，其中一部分包括圖像的網格的元素。

條款100：根據條款99之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：對用於表示網格的元素數量的語法元素的值進行解碼，語法元素被包括在以下各項中的至少一項中：視訊參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、圖像標頭、切片標頭、自我調整參數集（APS）、內部時段級別、圖像群組（GOP）級別、GOP中的時間層級別、圖像級別、切片級別、譯碼樹單元（CTU）級別或網格大小級別。

條款101：根據條款95-100中任何條款之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：在決定神經網路模型之前，決定應用神經網路模型，其中使得處理器決定應用神經網路模型的指令包括使得處理器進行以下操作的指令：對用於指示要應用神經網路模型的語法元素的值進行解碼。

條款102：根據條款95-101中任何條款之電腦可讀取儲存媒體，其中經解碼的圖像的一部分包括經解碼的圖像的顏色分量的一部分，顏色分量包括亮度分量、藍色色調色度分量或紅色色調色度分量中的一項。

條款103：根據條款95-102中任何條款之電腦可讀取儲存媒體，其中用於語法元素的值包括用於圖像的一部分的量化參數（QP）。

條款104：根據條款95-103中任何條款之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：在對圖像進行解碼之前對圖像進行編碼，並且其中使得處理器對用於語法元素的值進行譯碼的指令包括使得處理器進行以下操作的指令：對用於語法元素的值進行編碼。

條款105：根據條款104之電腦可讀取儲存媒體，亦包括使得處理器進行以下操作的指令：根據率失真計算來決定神經網路模型。

條款106：用於對經解碼的視訊資料進行濾波的設備，設備包括：用於對視訊資料的圖像進行解碼的構件；用於對用於表示要用於對經解碼的圖像的一部分進行濾波的神經網路模型的語法元素的值進行譯碼的構件，值表示關於預定義神經網路模型集合的索引，索引與預定義神經網路模型集合中的神經網路模型相對應；及用於使用與索引相對應的神經網路模型來對經解碼的圖像的一部分進行濾波的構件。

要認識到的是，根據實例，本文描述的任何技術的某些動作或事件可以以不同的順序執行，可以被添加、合併或完全省略（例如，並非所有描述的動作或事件對於實施該等技術皆是必要的）。此外，在某些實例中，動作或事件可以例如經由多執行緒處理、中斷處理或多個處理器併發地而不是順序地執行。

在一或多個實例中，所描述的功能可以用硬體、軟體、韌體或其任何組合來實現。若用軟體來實現，則該等功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或者經由電腦可讀取媒體進行傳輸，並且由基於硬體的處理單元執行。電腦可讀取媒體可以包括電腦可讀取儲存媒體，其對應於有形媒體（諸如資料儲存媒體）或者通訊媒體，該等通訊媒體包括例如根據通訊協定來促進電腦程式從一個地方傳輸到另一地方的任何媒體。以此種方式，電腦可讀取媒體通常可以對應於（1）非暫時性的有形電腦可讀取儲存媒體，或者（2）諸如信號或載波之類的通訊媒體。資料儲存媒體可以是可以由一或多個電腦或者一或多個處理器存取以取得用於實現在本案內容中描述的技術的指令、代碼及/或資料結構的任何可用的媒體。電腦程式產品可以包括電腦可讀取媒體。

經由實例非限制的方式，此種電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備、快閃記憶體，或者可以用於以指令或資料結構形式儲存期望的程式碼並且可以由電腦存取的任何其他媒體。此外，任何連接被適當地稱為電腦可讀取媒體。例如，若指令是使用同軸電纜、光纖光纜、雙絞線、數位用戶線路（DSL）或者無線技術（諸如紅外線、無線電和微波）從網站、伺服器或其他遠端源傳輸的，則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術（諸如紅外線、無線電和微波）被包括在媒體的定義中。然而，應當理解的是，電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是替代地指向非暫時性的有形儲存媒體。如本文所使用的，磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地複製資料，而光碟利用鐳射來光學地複製資料。上述各項的組合亦應當被包括在電腦可讀取媒體的範疇內。

指令可以由一或多個處理器來執行，諸如一或多個數位信號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA），或其他等效的整合或個別邏輯電路系統。因此，如本文所使用的術語「處理器」和「處理電路系統」可以代表前述結構中的任何結構或者適於實現本文描述的技術的任何其他結構。另外，在一些態樣中，本文描述的功能可以是在被配置用於編碼和解碼的專用硬體及/或軟體模組內提供的，或者被併入經組合的轉碼器中。此外，該等技術可以完全在一或多個電路或邏輯元件中實現。

本案內容的技術可以在多種多樣的設備或裝置中實現，包括無線手機、積體電路（IC）或一組IC（例如，晶片組）。在本案內容中描述各種元件、模組或單元以強調被配置為執行所揭示的技術的設備的功能性態樣，但是不一定需要經由不同的硬體單元來實現。準確而言，如上文所描述的，各種單元可以被組合在轉碼器硬體單元中，或者由可交互操作的硬體單元的集合（包括如上文所描述的一或多個處理器）結合適當的軟體及/或韌體來提供。

已經描述了各個實例。該等實例和其他實例在所附的請求項的範疇內。

100:視訊編碼和解碼系統 102:源設備 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀取媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 130:QTBT結構 132:CTU 140:混合視訊譯碼框架 142:預測 144:變換/量化 146:熵譯碼 148:迴路後/迴路內濾波 150:分層預測結構 160:基於神經網路的濾波器 200:視訊編碼器 202:模式選擇單元 204:殘差產生單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波器單元 218:解碼圖像緩衝器（DPB） 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:訊框內預測單元 230:視訊資料記憶體 232:NN模型 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波器單元 314:解碼圖像緩衝器（DPB） 316:運動補償單元 318:訊框內預測單元 320:CPB記憶體 322:NN模型 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 362:步驟 364:步驟 366:步驟 368:步驟 369:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 382:步驟 384:步驟

圖1是圖示可以執行本案內容的技術的示例性視訊編碼和解碼系統的方塊圖。

圖2A和圖2B是圖示示例性四叉樹二叉樹（QTBT）結構以及對應的譯碼樹單元（CTU）的概念圖。

圖3是圖示混合視訊譯碼框架的概念圖。

圖4是圖示使用大小為16的圖像群組（GOP）的分層預測結構的概念圖。

圖5是圖示具有四個層的基於神經網路的濾波器的概念圖。

圖6是圖示可以執行本案內容的技術的示例性視訊編碼器的方塊圖。

圖7是圖示可以執行本案內容的技術的示例性視訊解碼器的方塊圖。

圖8是圖示根據本案內容的技術的用於對當前區塊進行編碼的示例性方法的流程圖。

圖9是圖示根據本案內容的技術的用於對當前區塊進行解碼的示例性方法的流程圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

370:步驟

372:步驟

374:步驟

376:步驟

378:步驟

380:步驟

382:步驟

384:步驟

Claims (42)

1. 一種對經解碼的視訊資料進行濾波的方法，該方法包括以下步驟： 對視訊資料的一圖像進行解碼； 對用於表示要用於對該經解碼的圖像的一部分進行濾波的一神經網路模型的一語法元素的一值進行譯碼，該值表示關於一預定義神經網路模型集合的一索引，該索引與該預定義神經網路模型集合中的該神經網路模型相對應；及 使用與該索引相對應的該神經網路模型來對該經解碼的圖像的該一部分進行濾波。
2. 根據請求項1之方法，亦包括以下步驟：對表示該預定義神經網路模型集合的一子集的一值進行譯碼，該神經網路模型是該預定義神經網路模型集合的該子集中的一個神經網路模型，該子集小於該預定義神經網路模型集合。
3. 根據請求項1之方法，其中用於表示該神經網路模型的該語法元素的該值是表示複數個神經網路模型的一值。
4. 根據請求項3之方法，其中濾波之步驟包括以下步驟： 將由該值表示的該複數個神經網路模型之每一者神經網路模型分別應用於該一部分以形成不同的結果；及 對該等結果之每一者結果進行組合以形成一最終經濾波的部分。
5. 根據請求項1之方法，其中對用於該語法元素的該值進行譯碼之步驟包括以下步驟：在以下各項中的一項中對用於該語法元素的該值進行譯碼：一視訊參數集（VPS）、一序列參數集（SPS）、一圖像參數集（PPS）、一自我調整參數集（APS）、一內部時段級別、一圖像群組（GOP）級別、一GOP中的一時間層級別、一圖像級別、一切片級別、一譯碼樹單元（CTU）級別或用於該圖像的一網格的一網格級別。
6. 根據請求項1之方法，亦包括以下步驟：根據一網格來分割該圖像，其中該一部分包括該圖像的該網格的一元素。
7. 根據請求項6之方法，亦包括以下步驟：決定該網格的一元素數量。
8. 根據請求項7之方法，其中該語法元素包括一第一語法元素，並且其中決定該網格的該元素數量之步驟包括以下步驟：對以下各項中的至少一項的一第二語法元素進行解碼：一視訊參數集（VPS）、一序列參數集（SPS）、一圖像參數集（PPS）、一圖像標頭、一切片標頭、一自我調整參數集（APS）、一內部時段級別、一圖像群組（GOP）級別、該GOP中的一時間層級別、一圖像級別、一切片級別、一譯碼樹單元（CTU）級別或一網格大小級別。
9. 根據請求項7之方法，其中該語法元素包括一第一語法元素，並且其中決定該網格中的該元素數量之步驟包括以下步驟：對表示關於一可能網格大小集合的一索引的一第二語法元素的一值進行解碼。
10. 根據請求項1之方法，亦包括以下步驟：在決定該神經網路模型之前，決定應用該神經網路模型。
11. 根據請求項10之方法，其中該語法元素包括一第一語法元素，並且其中決定應用該神經網路模型之步驟包括以下步驟：對用於指示要應用該神經網路模型的一第二語法元素的一值進行解碼。
12. 根據請求項11之方法，其中該第二語法元素具有以下各項中的至少一項：一視訊參數集（VPS）、一序列參數集（SPS）、一圖像參數集（PPS）、一圖像標頭、一切片標頭、一自我調整參數集（APS）、一內部時段級別、一圖像群組（GOP）級別、該GOP中的一時間層級別、一圖像級別、一切片級別、一譯碼樹單元（CTU）級別或一網格大小級別。
13. 根據請求項1之方法，其中該經解碼的圖像的該一部分包括該經解碼的圖像的一顏色分量的一部分，該顏色分量包括一亮度分量、一藍色色調色度分量或一紅色色調色度分量中的一項。
14. 根據請求項13之方法，其中該語法元素包括一第一語法元素，該方法亦包括以下步驟：對一第二語法元素進行譯碼，該第二語法元素聯合地表示針對該經解碼的圖像的該等顏色分量之每一者顏色分量使用該神經網路模型進行濾波。
15. 根據請求項1之方法，其中用於該語法元素的該值包括用於該圖像的該一部分的一量化參數（QP）。
16. 根據請求項1之方法，亦包括以下步驟：在對該圖像進行解碼之前對該圖像進行編碼，其中對用於該語法元素的該值進行譯碼之步驟包括以下步驟：對用於該語法元素的該值進行編碼。
17. 根據請求項16之方法，亦包括以下步驟：根據一率失真計算來決定該神經網路模型。
18. 一種用於對經解碼的視訊資料進行濾波的設備，該設備包括： 一記憶體，其被配置為儲存視訊資料；及 一或多個處理器，其在電路系統中實現並且被配置為： 對視訊資料的一圖像進行解碼； 對用於表示要用於對該經解碼的圖像的一部分進行濾波的一神經網路模型的一語法元素的一值進行譯碼，該值表示關於一預定義神經網路模型集合的一索引，該索引與該預定義神經網路模型集合中的該神經網路模型相對應；及 使用與該索引相對應的該神經網路模型來對該經解碼的圖像的該一部分進行濾波。
19. 根據請求項18之設備，其中該一或多個處理器亦被配置為：對表示該預定義神經網路模型集合的一子集的一值進行譯碼，該神經網路模型是該預定義神經網路模型集合的該子集中的一個神經網路模型，該子集小於該預定義神經網路模型集合。
20. 根據請求項18之設備，其中用於表示該神經網路模型的該語法元素的該值是表示複數個神經網路模型的一值，並且其中為了對該經解碼的圖像的該一部分進行濾波，該一或多個處理器被配置為： 將由該值表示的該複數個神經網路模型之每一者神經網路模型分別應用於該一部分以形成不同的結果；及 對該等結果之每一者結果進行組合以形成一最終經濾波的部分。
21. 根據請求項18之設備，其中該一或多個處理器被配置為在以下各項中的一項中對用於該語法元素的該值進行譯碼：一視訊參數集（VPS）、一序列參數集（SPS）、一圖像參數集（PPS）、一自我調整參數集（APS）、一內部時段級別、一圖像群組（GOP）級別、一GOP中的一時間層級別、一圖像級別、一切片級別、一譯碼樹單元（CTU）級別或用於該圖像的一網格的一網格級別。
22. 根據請求項18之設備，其中該一或多個處理器被配置為：根據一網格來分割該圖像，其中該一部分包括該圖像的該網格的一元素。
23. 根據請求項22之設備，其中該語法元素包括一第一語法元素，並且其中該一或多個處理器亦被配置為：對用於表示該網格的一元素數量的一第二語法元素的一值進行解碼，該語法元素被包括在以下各項中的至少一項中：一視訊參數集（VPS）、一序列參數集（SPS）、一圖像參數集（PPS）、一圖像標頭、一切片標頭、一自我調整參數集（APS）、一內部時段級別、一圖像群組（GOP）級別、該GOP中的一時間層級別、一圖像級別、一切片級別、一譯碼樹單元（CTU）級別或一網格大小級別。
24. 根據請求項18之設備，其中該語法元素包括一第一語法元素，並且其中該一或多個處理器被配置為：在決定該神經網路模型之前，決定應用該神經網路模型，其中為了決定應用該神經網路模型，該一或多個處理器被配置為：對用於指示要應用該神經網路模型的一第二語法元素的一值進行解碼。
25. 根據請求項18之設備，其中該經解碼的圖像的該一部分包括該經解碼的圖像的一顏色分量的一部分，該顏色分量包括一亮度分量、一藍色色調色度分量或一紅色色調色度分量中的一項。
26. 根據請求項18之設備，其中用於該語法元素的該值包括用於該圖像的該一部分的一量化參數（QP）。
27. 根據請求項18之設備，其中該一或多個處理器亦被配置為：在對該圖像進行解碼之前對該圖像進行編碼，並且其中為了對用於該語法元素的該值進行譯碼，該一或多個處理器被配置為：對用於該語法元素的該值進行編碼。
28. 根據請求項27之設備，其中該一或多個處理器亦被配置為：根據一率失真計算來決定該神經網路模型。
29. 根據請求項18之設備，亦包括：被配置為顯示該經解碼的視訊資料的一顯示器。
30. 根據請求項18之設備，其中該設備包括一相機、一電腦、一行動設備、一廣播接收器設備或一機上盒中的一項或多項。
31. 一種具有儲存在其上的指令的電腦可讀取儲存媒體，該等指令在被執行時使得一處理器進行以下操作： 對視訊資料的一圖像進行解碼； 對用於表示要用於對該經解碼的圖像的一部分進行濾波的一神經網路模型的一語法元素的一值進行譯碼，該值表示關於一預定義神經網路模型集合的一索引，該索引與該預定義神經網路模型集合中的該神經網路模型相對應；及 使用與該索引相對應的該神經網路模型來對該經解碼的圖像的該一部分進行濾波。
32. 根據請求項31之電腦可讀取儲存媒體，亦包括使得該處理器進行以下操作的指令：對表示該預定義神經網路模型集合的一子集的一值進行譯碼，該神經網路模型是該預定義神經網路模型集合的該子集中的一個神經網路模型，該子集小於該預定義神經網路模型集合。
33. 根據請求項31之電腦可讀取儲存媒體，其中用於表示該神經網路模型的該語法元素的該值是表示複數個神經網路模型的一值，並且其中使得該處理器對該經解碼的圖像的該一部分進行濾波的該等指令包括使得該處理器進行以下操作的指令： 將由該值表示的該複數個神經網路模型之每一者神經網路模型分別應用於該一部分以形成不同的結果；及 對該等結果之每一者結果進行組合以形成一最終經濾波的部分。
34. 根據請求項31之電腦可讀取儲存媒體，其中使得該處理器對用於該語法元素的該值進行譯碼的該等指令包括使得該處理器進行以下操作的指令：在以下各項中的一項中對用於該語法元素的該值進行譯碼：一視訊參數集（VPS）、一序列參數集（SPS）、一圖像參數集（PPS）、一自我調整參數集（APS）、一內部時段級別、一圖像群組（GOP）級別、一GOP中的一時間層級別、一圖像級別、一切片級別、一譯碼樹單元（CTU）級別或用於該圖像的一網格的一網格級別。
35. 根據請求項31之電腦可讀取儲存媒體，亦包括使得該處理器進行以下操作的指令：根據一網格來分割該圖像，其中該一部分包括該圖像的該網格的一元素。
36. 根據請求項35之電腦可讀取儲存媒體，其中該語法元素包括一第一語法元素，亦包括使得該處理器進行以下操作的指令：對用於表示該網格的一元素數量的一第二語法元素的一值進行解碼，該語法元素被包括在以下各項中的至少一項中：一視訊參數集（VPS）、一序列參數集（SPS）、一圖像參數集（PPS）、一圖像標頭、一切片標頭、一自我調整參數集（APS）、一內部時段級別、一圖像群組（GOP）級別、該GOP中的一時間層級別、一圖像級別、一切片級別、一譯碼樹單元（CTU）級別或一網格大小級別。
37. 根據請求項31之電腦可讀取儲存媒體，其中該語法元素包括一第一語法元素，亦包括使得該處理器進行以下操作的指令：在決定該神經網路模型之前，決定應用該神經網路模型，其中使得該處理器決定應用該神經網路模型的該等指令包括使得該處理器進行以下操作的指令：對用於指示要應用該神經網路模型的一第二語法元素的一值進行解碼。
38. 根據請求項31之電腦可讀取儲存媒體，其中該經解碼的圖像的該一部分包括該經解碼的圖像的一顏色分量的一部分，該顏色分量包括一亮度分量、一藍色色調色度分量或一紅色色調色度分量中的一項。
39. 根據請求項31之電腦可讀取儲存媒體，其中用於該語法元素的該值包括用於該圖像的該一部分的一量化參數（QP）。
40. 根據請求項31之電腦可讀取儲存媒體，亦包括使得該處理器進行以下操作的指令：在對該圖像進行解碼之前對該圖像進行編碼，並且其中使得該處理器對用於該語法元素的該值進行譯碼的該等指令包括使得該處理器進行以下操作的指令：對用於該語法元素的該值進行編碼。
41. 根據請求項40之電腦可讀取儲存媒體，亦包括使得該處理器進行以下操作的指令：根據一率失真計算來決定該神經網路模型。
42. 一種用於對經解碼的視訊資料進行濾波的設備，該設備包括： 用於對視訊資料的一圖像進行解碼的構件； 用於對用於表示要用於對該經解碼的圖像的一部分進行濾波的一神經網路模型的一語法元素的一值進行譯碼的構件，該值表示關於一預定義神經網路模型集合的一索引，該索引與該預定義神經網路模型集合中的該神經網路模型相對應；及 用於使用與該索引相對應的該神經網路模型來對該經解碼的圖像的該一部分進行濾波的構件。

Images