TW202110177A - 用於視訊寫碼之適應性迴路濾波之非線性延伸 - Google Patents

Abstract

本發明提供一種視訊寫碼器，其可經組態以藉由執行適應性迴路濾波程序來寫碼視訊資料。一視訊寫碼器可解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將應用於該視訊資料，其中該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用。另外，該視訊寫碼器可基於該語法元素執行該適應性迴路濾波程序。

Description

用於視訊寫碼之適應性迴路濾波之非線性延伸

本發明係關於視訊編碼及視訊解碼。

數位視訊能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放機、視訊遊戲裝置、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265/高效視訊寫碼(HEVC)定義之標準，及此等標準的延伸中所描述之技術。視訊裝置可藉由實施此類視訊寫碼技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減小或移除為視訊序列所固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可稱為圖框，且參考圖像可稱為參考圖框。

大體而言，本發明描述用於適應性迴路濾波之非線性延伸的技術並呈現適應性迴路濾波器(ALF)設計之若干實例。本發明描述用於在視訊寫碼應用中實施適應性迴路濾波器的技術。詳言之，所揭示技術係關於可在視訊寫碼(例如視訊編碼及/或視訊解碼)期間執行的各種適應性迴路濾波程序之非線性延伸。在一些實例中，濾波器可係關於包括一或多個非線性運算子之實施的適應性迴路濾波器(ALF)設計。在一實例中，視訊寫碼器(例如視訊編碼器及/或視訊解碼器)可有利地編碼及/或解碼定義在視訊寫碼程序期間使用的特定適應性迴路濾波器之參數及/或操作的語法元素。視訊寫碼器可藉由將各種非線性操作應用於準備用於濾波程序的傳入樣本之集合而實施適應性迴路濾波器。在一實例中，視訊寫碼器可在適應性迴路濾波程序期間應用非線性操作。

在一些實例中，視訊寫碼器可在視訊寫碼程序之各個階段期間執行本發明之適應性迴路濾波技術。在一說明性實例中，視訊寫碼器可基於自量化程序輸出之樣本應用適應性迴路濾波器，如包括後面及/或前面是非線性操作的濾波操作。隨後，視訊寫碼器可輸出經濾波樣本至經解碼圖像緩衝器(DPB)以供進一步處理。本發明之技術的一或多個組合可改良寫碼效率，且可用於進階視訊編解碼器及下一代視訊寫碼標準(諸如HEVC(高效視訊寫碼)之延伸、H.266/通用視訊寫碼(VVC))，或可用於任何未來視訊寫碼標準。

在一個實例中，揭示一種用於解碼視訊資料之設備，該設備包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其實施於電路中且經組態以：解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及基於該語法元素執行該適應性迴路濾波程序。

在另一實例中，揭示一種解碼視訊資料的方法，該方法包含：解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及基於該語法元素執行該適應性迴路濾波程序。

在另一實例中，揭示一種用於編碼視訊資料之設備，該設備包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其實施於電路中且經組態以：判定一非線性操作及一濾波操作以在一適應性迴路濾波程序中執行；藉由將該濾波操作及該非線性操作應用於該視訊資料而執行該適應性迴路濾波程序；及編碼指示執行該適應性迴路濾波程序所藉以之一方式的一語法元素。

在另一實例中，揭示一種用於解碼視訊資料的設備，該設備包括：用於解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素的構件，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及用於基於該語法元素執行該適應性迴路濾波程序的構件。

在另一實例中，揭示一種非暫時性電腦可讀儲存媒體，該非暫時性電腦可讀儲存媒體其上儲存有指令，該等指令當經執行時使一或多個處理器執行以下操作：解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將結合一濾波操作應用於該視訊資料；及基於該語法元素執行該適應性迴路濾波程序。

在以下隨附圖式及描述中闡述一或多個實例之細節。本發明之技術的其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。

本申請案主張2019年6月24日申請之美國臨時專利申請案第62/865,779號之權益，其全部內容以引用的方式併入本文中。

本發明描述與可在視訊寫碼程序期間使用的各種濾波技術之執行相關的技術。詳言之，視訊寫碼器(例如視訊編碼器及/或視訊解碼器)可在視訊寫碼程序期間將一或多種不同類型之適應性迴路濾波器(包括一或多個非線性運算子)應用於樣本之集合。在一實例中，適應性迴路濾波器(ALF)可在適應性迴路濾波執行期間諸如經由一或多個ALF設計之實施而實施。所揭示的適應性迴路濾波技術可實施至現有視訊編解碼器(諸如HEVC(高效視訊寫碼)之延伸)中，或可為用於未來視訊寫碼標準(諸如當前處於開發中之H.266標準)之高效寫碼工具。因而，各種適應性迴路濾波技術可用於各種視訊寫碼程序(包括後處理階段)中，作為迴路內寫碼之部分使用，或用於視訊寫碼程序之預測階段中。

如本文所使用，術語「視訊寫碼」一般指代視訊編碼或視訊解碼。類似地，術語「視訊寫碼器」可一般指代視訊編碼器或視訊解碼器。此外，本文中相對於視訊解碼所描述之某些技術亦可應用於視訊編碼，且反之亦然。舉例而言，視訊編碼器及視訊解碼器時常經組態以執行相同程序或互逆程序。此外，視訊編碼器通常執行視訊解碼，作為判定如何對視訊資料進行編碼之程序的一部分。

視訊寫碼通常涉及自同一圖像中的視訊資料之已經寫碼區塊預測視訊資料區塊(例如，框內預測)或自不同圖像中的視訊資料之已經寫碼區塊預測視訊資料區塊(例如，框間預測)。在一些情況下，視訊編碼器亦藉由比較預測性區塊與初始區塊來計算殘餘資料。因此，殘餘資料表示預測性區塊與原始區塊之間的差。視訊編碼器變換及量化殘餘資料，且在經編碼位元串流中發信經變換及經量化殘餘資料。視訊解碼器將殘餘資料添加至預測性區塊以產生比單獨的預測性區塊更緊密地匹配原始視訊區塊之經重建構視訊區塊。在一些情形下，視訊寫碼器可對經重建構之視訊區塊執行一或多個濾波操作以致力於改良經解碼視訊之品質。然而，在此類實例中，視訊寫碼器可能已在視訊寫碼程序期間引發各種量化誤差，且因此經解碼視訊之品質及視訊寫碼程序之效率可結果受損。

前述問題以及其他可由所揭示之在各種迴路濾波程序中利用非線性運算子的技術(諸如可在迴路內寫碼或其他處理階段期間實施的技術)解決。詳言之，本發明描述與在濾波程序中利用一或多個非線性運算子之適應性迴路濾波程序相關的技術。實例適應性迴路濾波程序包括經組態以在視訊寫碼程序之濾波程序期間實施一或多個非線性操作及一或多個濾波操作的ALF設計。

在說明性實例中，視訊寫碼器(例如視訊編碼器及/或視訊解碼器)可應用ALF設計，其中ALF設計包括作為適應性迴路濾波程序之部分的一或多個非線性操作。視訊寫碼器可在量化程序之後將適應性迴路濾波程序應用於樣本之集合。因而，作為濾波程序之部分，視訊寫碼器可將一或多個非線性運算子應用於樣本。在說明性實例中，ALF設計可定義在非線性操作之後的濾波操作。在另一實例中，ALF設計可定義在非線性操作之前的濾波操作。在此類實例中，ALF設計可定義在非線性操作之前的預濾波操作及在非線性操作之後的後濾波操作。

在一些實例中，視訊寫碼器可寫碼定義適應性迴路濾波程序之各種操作組件的語法元素。在一些實例中，視訊寫碼器可將關於在濾波程序期間使用的非線性運算子之資訊發信至視訊解碼器。在另一實例中，視訊寫碼器可放棄發信此類資訊，諸如何時預定義濾波操作，諸如非適應性訓練之濾波操作。

在一些實例中，作為適應性迴路濾波程序之部分，視訊寫碼器可實施非線性操作。在一些情形下，視訊寫碼器可實施非線性操作作為視訊寫碼器在某些實例中可在濾波程序期間實施的特定ALF設計之替換。在任何情況下，視訊寫碼器可在後處理階段中、針對迴路內寫碼或在預測程序中利用此類非線性適應性迴路濾波技術。視訊寫碼器可利用濾波器與非線性運算子之組合來補償在先前視訊寫碼操作期間引發的某些非線性量化誤差，且隨後大體上改良所得圖像重建構、視訊品質及視訊寫碼程序。

圖1為說明可執行本文所揭示之各種技術中之一或多者的實例視訊編碼及解碼系統100之方塊圖。本文所揭示之各種技術大體上係關於寫碼(編碼及/或解碼)視訊資料。大體而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經編碼之視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如發信之資料。

如圖1中所示，在此實例中，系統100包括源裝置102，其提供待由目的地裝置116解碼及顯示之經編碼視訊資料。詳言之，源裝置102經由電腦可讀媒體110將視訊資料提供至目的地裝置116。源裝置102及目的地裝置116可包含廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型電腦(例如，膝上型)、平板電腦、機頂盒、諸如智慧型電話之電話手持機、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或其類似者。在一些情況下，源裝置102及目的地裝置116可經裝備用於無線通信，且由此可稱為無線通信裝置。

在圖1之實例中，源裝置102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地裝置116包括輸入介面122、視訊解碼器300、記憶體120及顯示裝置118。根據本發明，源裝置102之視訊編碼器200及目的地裝置116的視訊解碼器300可經組態以應用適應性迴路濾波之技術。因此，源裝置102表示視訊編碼裝置之實例，而目的地裝置116表示視訊解碼裝置之實例。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置102可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地裝置116可與外部顯示裝置介接，而非包括整合顯示裝置。

如圖1中所示，系統100僅為一個實例。大體而言，任何數位視訊編碼及/或解碼裝置可執行適應性迴路濾波之技術。源裝置102及目的地裝置116僅為源裝置102產生經寫碼視訊資料以供傳輸至目的地裝置116的此類寫碼裝置之實例。本發明將「寫碼」裝置稱為對資料執行寫碼(編碼及/或解碼)之裝置。因此，視訊編碼器200及視訊解碼器300表示寫碼裝置之實例，詳言之分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，裝置102、116可以實質上對稱的方式操作，使得裝置102、116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援視訊裝置102、116之間的單向或雙向視訊傳輸以(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。

大體而言，視訊源104表示視訊資料源(例如，原始未經編碼的視訊資料)且將視訊資料之依序圖像(亦稱為「圖框」)提供至視訊編碼器200，該視訊編碼器編碼圖像之資料。源裝置102之視訊源104可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之原始視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200對所俘獲、所預先俘獲或電腦產生之視訊資料進行編碼。視訊編碼器200可將圖像自接收次序(有時稱為「顯示次序」)重新配置成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源裝置102接著可經由輸出介面108輸出經編碼視訊資料至電腦可讀媒體110上以由例如目的地裝置116之輸入介面122接收及/或擷取。

源裝置102之記憶體106及目的地裝置116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或替代地，記憶體106、120可儲存分別可由例如視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中記憶體106及記憶體120展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括功能上類似或等效目的之內部記憶體。此外，記憶體106、120可儲存例如自視訊編碼器200輸出及輸入至視訊解碼器300的經編碼視訊資料。在一些實例中，可分配記憶體106、120之部分作為一或多個視訊緩衝器例如以儲存原始經解碼及/或經編碼視訊資料。

電腦可讀媒體110可表示能夠將經編碼視訊資料自源裝置102輸送至目的地裝置116的任何類型的媒體或裝置。在一個實例中，電腦可讀媒體110表示用以使源裝置102能即時例如經由射頻網路或基於電腦之網路直接傳輸經編碼視訊資料至目的地裝置116的通信媒體。輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可根據通信標準(諸如無線通信協定)將所接收傳輸信號解調。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置102至目的地裝置116的通信之任何其他裝備。

在一些實例中，電腦可讀媒體110可包括儲存裝置112。源裝置102可自輸出介面108輸出經編碼資料至電腦可讀媒體110 (例如儲存裝置112)。類似地，目的地裝置116可經由輸入介面122自電腦可讀媒體110 (例如儲存裝置112)存取經編碼資料。儲存裝置112可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。

在一些實例中，電腦可讀媒體110可包括檔案伺服器114或可儲存由源裝置102產生之經編碼視訊資料之另一中間儲存裝置。源裝置102可將經編碼視訊資料輸出至檔案伺服器114或可儲存由源裝置102產生之經編碼視訊的另一中間儲存裝置。目的地裝置116可經由串流傳輸或下載而自檔案伺服器114存取所儲存之視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置116的任何類型之伺服器裝置。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路裝置或網路附加儲存(NAS)裝置。目的地裝置116可經由任何標準資料連接(包括網際網路連接)存取來自檔案伺服器114之經編碼視訊資料。此可包括無線通道(例如，Wi-Fi™連接)、有線連接(例如，數位用戶線(DSL)、纜線數據機等)，或適合於存取儲存於檔案伺服器114上之經編碼視訊資料之兩者之組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合而操作。

輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如，乙太網卡)、根據多種IEEE 802.11標準中之任一者來操作的無線通信組件或其他實體組件。在輸出介面108及輸入介面122包含無線組件之實例中，輸出介面108及輸入介面122可經組態以根據蜂巢式通信標準(諸如4G、4G-LTE(長期演進)、LTE進階、5G或其類似者)來傳送資料，諸如經編碼視訊資料。在輸出介面108包含無線傳輸器的一些實例中，輸出介面108及輸入介面122可經組態以根據諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth®標準或其類似者的其他無線標準傳送資料(諸如經編碼視訊資料)。在一些實例中，源裝置102及/或目的地裝置116可包括各別晶片上系統(SoC)裝置。舉例而言，源裝置102可包括SoC裝置以執行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地裝置116可包括SoC裝置以執行歸於視訊解碼器300及/或輸入介面122之功能性。

本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態適應性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。

目的地裝置116之輸入介面122自電腦可讀媒體110 (例如通信媒體、儲存裝置112、檔案伺服器114或其類似者)接收經編碼視訊位元串流。經編碼視訊位元串流可包括由視訊編碼器200定義的發信資訊(其亦由視訊解碼器300使用)，諸如具有描述視訊區塊或其他經寫碼單元(例如圖塊、圖像、圖像之群組、序列或其類似者)的特性及/或處理之值的語法元素。顯示裝置118向使用者顯示經解碼視訊資料之經解碼圖像。顯示裝置118可表示多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。

儘管圖1中未展示，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。

視訊編碼器200及視訊解碼器300各自可被實施為多種合適編碼器及/或解碼器電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合的電路。當該等技術部分以軟體實施時，裝置可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器實行指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)的部分。包括視訊編碼器200及/或視訊解碼器300之裝置可包含積體電路、微處理器及/或無線通信裝置(諸如蜂巢式電話)。

視訊編碼器200及視訊解碼器300可根據視訊寫碼標準操作，諸如ITU-T H.265，亦被稱作HEVC或其延伸，諸如多視圖及/或可調式視訊寫碼延伸。替代地，視訊編碼器200及視訊解碼器300可根據其他專屬或工業標準操作，諸如聯合探索測試模型(JEM)或ITU-T H.266，其亦被稱作通用視訊寫碼(VVC)。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)第14次會議：2019年3月19日至27日，Geneva, CH，JVET-N1001-v8，Bross等人之「Versatile Video Coding (Draft 5)」(下文中「VVC草案5)中描述VVC標準之最新草案。然而，本發明之技藝不限於任何特定寫碼標準。

大體而言，視訊編碼器200及視訊解碼器300可執行圖像之基於區塊寫碼。術語「區塊」大體上係指包括待處理(例如編碼、解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括明度及/或色度資料之樣本的二維矩陣。大體而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼明度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中該等色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式化資料轉換為YUV表示，且視訊解碼器300將YUV表示轉換為RGB格式。替代地，預處理單元及後處理單元(圖中未示)可執行此等轉換。

本發明大體上可指對圖像進行寫碼(例如編碼及解碼)以包括編碼或解碼圖像之資料的程序。類似地，本發明可指對圖像之區塊進行寫碼以包括編碼或解碼區塊之資料的程序，例如，預測及/或殘餘寫碼。經編碼視訊位元串流大體上包括表示寫碼決策(例如寫碼模式)及圖像成區塊之分割的語法元素的一系列值。因此，對寫碼圖像或區塊之提及一般應理解為寫碼形成圖像或區塊之語法元素的值。

HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)，以及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四分樹結構將寫碼樹單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相同的非重疊正方形，且四分樹之每一節點具有零個或四個子節點。不具有子節點之節點可被稱作「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四分樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經框內預測之CU包括框內預測資訊，諸如框內模式指示。

作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據JEM或VVC操作。根據JEM或VVC，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹單元(CTU)。視訊編碼器200可根據樹結構分割CTU，諸如四分樹二進位樹(QTBT)結構或多類型樹(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四分樹分割進行分割之第一層級，及根據二進位樹分割進行分割之第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於寫碼單元(CU)。

在MTT分割結構中，區塊可使用四分樹(QT)分割、二進位樹(BT)分割及一或多種類型之三重樹(TT)分割來分割。三重樹分割為區塊分裂成三個子區塊的分割。在一些實例中，三重樹分割在不經由中心分隔原始區塊情況下將區塊分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。

在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT或MTT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或多於兩個QTBT或MTT結構，諸如用於明度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。

視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割，或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。

區塊(例如CTU或CU)可在圖像中以各種方式分組。作為一個實例，磚可指圖像中之特定圖像塊內的CTU列之矩形區。圖像塊可為圖像中之特定圖像塊行及特定圖像塊列內的CTU之矩形區。圖像塊行係指具有等於圖像之高度的高度及藉由語法元素(例如，圖像參數集中)指定的寬度的CTU之矩形區。圖像塊列係指具有藉由語法元素(例如圖像參數集中)指定的高度及等於圖像之寬度的寬度的CTU之矩形區。

在一些實例中，圖像塊可分割成多個磚，多個磚中之每一者可包括圖像塊內之一或多個CTU列。未分割成多個磚的圖像塊亦可稱作磚。然而，為圖像塊之真子集的磚可不被稱作圖像塊。

在圖像中之磚亦可配置於圖塊中。圖塊可為可獨佔地含於單一網路抽象層(NAL)單元中的圖像之整數數目個磚。在一些實例中，圖塊包括數個完整圖像塊或僅包括一個圖像塊之完整磚的連續序列。

本發明可互換地使用「N×N」及「N乘N」來指代區塊(諸如CU或其他視訊區塊)就豎直及水平尺寸而言之樣本尺寸，例如16×16樣本或16乘16樣本。大體而言，16×16 CU在豎直方向上將具有16個樣本(y = 16)且在水平方向上將具有16個樣本(x = 16)。同樣，N×N CU大體在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可以列及行形式來配置CU中之樣本。此外，CU不一定在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包含N×M個樣本，其中M未必等於N。

視訊編碼器200對CU之表示預測及/或殘餘資訊及其他資訊的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成CU之預測區塊。殘餘資訊大體表示在編碼之前CU與預測區塊的樣本之間的逐樣本差。

為了預測CU，視訊編碼器200大體可經由框間預測或框內預測形成CU之預測區塊。框間預測大體係指自先前經寫碼圖像之資料預測CU，而框內預測大體係指自同一圖像之先前經寫碼資料預測CU。為了執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200大體可執行運動搜尋以例如依據在CU與參考區塊之間的差識別緊密匹配CU的參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。

JEM及VVC之一些實例亦提供仿射運動補償模式，其可經認為框間預測模式。在仿射運動補償模式中，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或多於兩個運動向量。

為了執行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。JEM及VVC之一些實例提供六十七種框內預測模式，包括各種定向模式以及平面模式及DC模式。大體而言，視訊編碼器200選擇描述預測當前區塊之樣本所藉以的當前區塊(例如CU之區塊)之相鄰樣本的內部預測模式。假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU，此類樣本大體可在與當前區塊相同之圖像中處於當前區塊之上方、左上方或左側。

視訊編碼器200編碼表示當前區塊之預測模式的資料。舉例而言，針對框間預測模式，視訊編碼器200可編碼表示使用各種可用框間預測模式中之何者以及對應模式之運動資訊的資料。舉例而言，對於單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可使用類似模式來編碼用於仿射運動補償模式之運動向量。

在區塊之預測(諸如框內預測或框間預測)之後，視訊編碼器200可計算該區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式所形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個變換應用於殘餘區塊，以在變換域而非樣本域中產生經變換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用二級變換，諸如模式依賴不可分離二級變換(MDNSST)、信號依賴變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個轉換之後產生變換係數。

如上文所提及，在產生變換係數的任何變換之後，視訊編碼器200可執行變換係數之量化。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的程序。藉由執行量化程序，視訊編碼器200可減少與變換係數中之一些或所有相關聯之位元深度(BD)。舉例而言，視訊編碼器200可在量化期間將n位元值捨入為m位元值，其中n大於m。在一些實例中，為了執行量化，視訊編碼器200可執行待量化值之按位元右移位。

在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)變換係數置於向量前部，且將較低能量(且因此較高頻率)變換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串列化向量，且接著熵編碼向量之經量化變換係數。在其他實例中，視訊編碼器200可執行適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器200可例如根據上下文適應性二進位算術寫碼(CABAC)對一維向量進行熵編碼。視訊編碼器200亦可對描述與經編碼視訊資料相關聯的後設資料之語法元素之值進行熵編碼，以供由視訊解碼器300用於解碼視訊資料。

為執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。上下文可係關於(例如)符號之相鄰值是否為零值。機率判定可基於指派給符號之上下文。

視訊編碼器200可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中向視訊解碼器300產生語法資料(諸如基於區塊之語法資料、基於圖像之語法資料以及基於序列之語法資料)。視訊解碼器300可同樣地解碼此類語法資料以判定如何解碼對應視訊資料。

以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如，描述圖像成區塊(例如CU)之分割的語法元素及用於區塊之預測及/或殘餘資訊)之位元串流。最終，視訊解碼器300可接收位元串流並解碼經編碼視訊資料。

大體而言，視訊解碼器300執行與藉由視訊編碼器200執行之程序互逆的程序，以解碼位元串流之經編碼視訊資料。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序實質上類似但互逆的方式對位元串流之語法元素的值進行解碼。語法元素可定義用於將圖像分割成CTU之分割資訊，及每一CTU根據對應分割結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如CU)的預測及殘餘資訊。

殘餘資訊可由例如經量化變換係數表示。視訊解碼器300可將區塊之經量化變換係數反量化及反變換，以再生區塊之殘餘區塊。視訊解碼器300使用發信之預測模式(框內或框間預測)及相關預測資訊(例如用於框間預測之運動資訊)以形成區塊之預測區塊。視訊解碼器300接著可(在逐樣本基礎上)使預測區塊與殘餘區塊組合以再生原始區塊。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺偽影。

根據本文所揭示之各種技術中之一或多者，視訊寫碼器(例如視訊編碼器200及/或視訊解碼器300)可經組態以使用各種語法元素及/或ALF設計執行適應性迴路濾波。作為一個實例，視訊寫碼器可寫碼指示用於視訊資料之複數個適應性迴路濾波程序中之一者的語法元素，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作，(b)一非線性操作，其繼之以一濾波操作，及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作，且基於該語法元素將所指示適應性迴路濾波程序應用於視訊資料。

在一實例中，視訊寫碼器可經組態以使用一或多個非線性操作執行適應性迴路濾波。作為實例，視訊寫碼器可對指示在適應性迴路濾波程序期間將非線性操作應用於視訊資料所藉以之方式的語法元素進行寫碼。視訊寫碼器可另外基於語法元素將包括一或多個非線性操作之適應性迴路濾波器應用於視訊資料以產生視訊資料之經濾波區塊。在一些情形下，視訊寫碼器可將經濾波區塊儲存至記憶體。

在另一實例中，視訊寫碼器可經組態以對指示執行適應性迴路濾波程序所藉以之方式的語法元素進行解碼，該語法元素指示非線性操作將應用於視訊資料。另外，視訊寫碼器經組態以結合適應性迴路濾波程序之濾波操作應用非線性操作(例如非線性運算子313中之一或多者)。視訊寫碼器可基於語法元素進一步執行適應性迴路濾波程序。

在本發明中其他地方描述適應性迴路濾波之各種實例。在一個實例中，適應性迴路濾波程序可包括一或多個非線性操作。在一些實例中，非線性操作可作為ALF設計之部分而實施。

本發明大體上可指「發信」某些資訊，諸如語法元素。術語「發信」大體上可指用於解碼經編碼視訊資料之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中發信語法元素的值。大體而言，發信係指在位元串流中產生值。如上文所提及，源裝置102可實質上即時將位元串流輸送至目的地裝置116，或在一些情形下，不即時輸送，諸如可在將語法元素儲存至儲存裝置112以供目的地裝置116稍後擷取時發生。

圖2A及圖2B為說明實例QTBT結構130及對應CTU 132之概念圖。實線表示四分樹分裂，且點線指示二進位樹分裂。在二進位樹之每一分裂(例如非葉)節點中，一個旗標經發信以指示使用哪一分裂類型(例如水平、豎直等)。在說明性及非限制性實例中，值0可指示水平分裂且值1可指示豎直分裂。在涉及四分樹分裂之另一實例中，可不需要指示分裂類型，此係因為四分樹節點大體而言水平地分裂一區塊且豎直地分裂成4個子區塊(例如預測區塊)。在此類實例中，子區塊可或可不具有相等大小。因此，視訊編碼器200可編碼，且視訊解碼器300可解碼用於QTBT結構130之區樹層級(例如，第一層級)(例如實線)的語法元素(諸如分裂資訊)及用於QTBT結構130之預測樹層級(例如，第二層級)(例如虛線)的語法元素(諸如分裂資訊)。視訊編碼器200可編碼，且視訊解碼器300可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。

大體而言，圖2B之CTU 132可與定義對應於在第一及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二進位樹大小(MaxBTSize，表示最大允許二進位樹根節點大小)、最大二進位樹深度(MaxBTDepth，表示最大允許二進位樹深度)，及最小二進位樹大小(MinBTSize，表示最小允許二進位樹葉節點大小)。

QTBT結構中對應於CTU之根節點可具有在QTBT結構之第一層級處的四個子節點，該等節點中之每一者可根據四分樹分割來進行分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分支之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二進位樹根節點大小(MaxBTSize)，則該等節點可藉由各別二進位樹進一步分割。一個節點之二進位樹分裂可重複，直至由分裂產生之節點達至最小允許之二進位樹葉節點大小(MinBTSize)，或最大允許之二進位樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分支之虛線的節點。二進位樹葉節點被稱作不更進一步分割之寫碼單元(CU)，其用於預測(例如圖像內或圖像間預測)及變換。如本文所論述，CU亦可大體上稱為「視訊區塊」、「寫碼區塊」或「區塊」。

在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize(對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有自16×16 (例如，MinQTSize)至128×128(例如，CTU大小)之大小。若四分樹葉節點為128×128，則該節點將不由二進位樹進一步分裂，此係由於大小超過MaxBTSize(例如，在此實例中64×64)。否則，四分樹葉節點將藉由二進位樹進一步分割。因此，四分樹葉節點亦為二進位樹之根節點並具有為0之二進位樹深度。當二進位樹深度達至MaxBTDepth (在此實例中，4)時，不准許進一步分裂。當二進位樹節點具有等於MinBTSize (在此實例中，4)之寬度時，其意指不准許進一步豎直分裂。類似地，二進位樹節點具有等於MinBTSize之高度意指對於彼二進位樹節點不准許進一步水平分裂。如上文所提及，二進位樹之葉節點被稱作CU，且根據預測及變換來進一步處理而不進一步分割。

圖3為說明可執行本文所揭示之各種技術中之一或多者的實例視訊編碼器200之方塊圖。出於解釋之目的提供圖3，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明在諸如HEVC視訊寫碼標準及研發中之H.266視訊寫碼標準的視訊寫碼標準之情況下描述視訊編碼器200。然而，本發明之技術並不限於此等視訊寫碼標準，且大體上適用於視訊編碼及解碼。

在圖3之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、DPB 218及熵編碼單元220中之任一者或全部可實施於一或多個處理器或處理電路中。此外，視訊編碼器200可包括額外或替代處理器或處理電路以執行此等及其他功能。

視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼的視訊資料。視訊編碼器200可自(例如)視訊源104 (圖1)接收存儲於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料供用於由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由多種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體裝置。視訊資料記憶體230及DPB 218可由同一記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體230可與視訊編碼器200之其他組件一起在晶片上，如所說明，或相對於彼等組件在晶片外。

在本發明中，對視訊資料記憶體230之參考不應解譯為將記憶體限於在視訊編碼器200內部(除非特定地如此描述)，或將記憶體限於在視訊編碼器200外部(除非特定地如此描述)。實際上，對視訊資料記憶體230之參考應理解為對儲存視訊編碼器200所接收以用於編碼的視訊資料(例如，待被編碼的當前區塊之視訊資料)之記憶體的參考。圖1之記憶體106亦可提供對來自視訊編碼器200之各種單元的輸出的暫時儲存。

圖3之各種單元經說明以輔助理解藉由視訊編碼器200執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路指可經程式化以執行各種任務並在可被執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可實行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可實行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型大體上係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊編碼器200可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體執行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並實行的軟體之目標碼，或視訊編碼器200內之另一記憶體(圖中未示)可儲存此類指令。

視訊資料記憶體230經組態以儲存所接收之視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。

模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外功能單元以根據其他預測模式來執行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。

模式選擇單元202大體上協調多個編碼遍次以測試編碼參數之組合，及用於此等組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU之殘餘資料的變換類型、用於CU之殘餘資料的量化參數等。模式選擇單元202可最終選擇相比其他經測試組合具有更佳速率失真值的編碼參數之組合。

視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，且將一或多個CTU囊封於圖塊內。模式選擇單元202可根據樹結構，諸如上文所描述之QTBT結構或HEVC之四分樹結構來分割圖像之CTU。如上文所描述，視訊編碼器200可用根據樹結構分割CTU來形成一或多個CU。此類CU大體上亦可稱作「視訊區塊」、「寫碼區塊」或「區塊」。

大體而言，模式選擇單元202亦控制其組件(例如運動估計單元222、運動補償單元224及框內預測單元226)以產生當前區塊(例如當前CU，或在HEVC中，PU與TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如儲存於DPB 218中的一或多個先前經寫碼圖像)中之一或多個緊密匹配參考區塊。詳言之，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或其類似者來計算表示可能參考區塊與當前區塊之類似程度的值。運動估計單元222可使用當前區塊與所考慮之參考區塊之間的逐樣本差大體執行此等計算。運動估計單元222可識別具有由此等計算產生之最小值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。

運動估計單元222可形成定義在參考圖像中之參考區塊之位置相對於在當前圖像中之當前區塊之位置的一或多個運動向量(MV)。運動估計單元222接著可將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單一運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224接著可使用運動向量來產生預測區塊。舉例而言，運動補償單元224可使用運動向量擷取參考區塊之資料。作為另一實例，若運動向量具有分數樣本精確度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取用於藉由各別運動向量識別之兩個參考區塊的資料，並諸如通過逐樣本平均或加權平均來組合所擷取之資料。

作為另一實例，對於框內預測，或框內預測寫碼，框內預測單元226可自與當前區塊相鄰之樣本產生預測區塊。舉例而言，對於定向模式，框內預測單元226可在數學上大體組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填充此等計算值以產生預測區塊。作為另一實例，對於DC模式，框內預測單元226可計算與當前區塊相鄰之樣本的平均值，並產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。

模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204接收來自視訊資料記憶體230之當前區塊及來自模式選擇單元202之預測區塊的原始未經編碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路來形成殘餘產生單元204。

在模式選擇單元202將CU分割成PU之實例中，每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如本文中所描述，CU之大小可指CU之明度寫碼區塊之大小，且PU之大小可指PU之明度預測單元之大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器200及視訊解碼器300亦可支援用於框間預測的2N×nU、2N×nD、nL×2N以及nR×2N之PU大小的不對稱分割。

在模式選擇單元未將CU進一步分割為PU的實例中，每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指CU之明度寫碼區塊的大小。視訊編碼器200及視訊解碼器300可支援2N×2N、2N×N或N×2N之CU大小。

對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼(作為幾個實例)之其他視訊寫碼技術，模式選擇單元202經由與寫碼技術相關聯之各別單元可產生用於經編碼當前區塊之預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，且實際上可產生指示基於選定調色板來重建構區塊之方式的語法元素。在此類模式中，模式選擇單元202可將此等語法元素提供至待編碼之熵編碼單元220。

如本文中所描述，殘餘產生單元204接收當前區塊及對應預測區塊之視訊資料。殘餘產生單元204接著產生當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。

變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中稱為「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、定向變換、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可將多個變換應用於殘餘區塊，例如初級變換及諸如旋轉變換的二級變換。在一些實例中，變換處理單元206不將任何變換應用於殘餘區塊。

量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值量化變換係數區塊之變換係數。視訊編碼器200 (例如，經由模式選擇單元202)可藉由調整與CU相關聯之QP值來調整應用於與當前區塊相關聯之變換係數區塊的量化程度。量化可引入資訊之損失，且因此，經量化變換係數可具有相比由變換處理單元206產生之原始變換係數低的精確度。

反量化單元210及反變換處理單元212可將反量化及反變換分別應用於經量化變換係數區塊，以根據變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及由模式選擇單元202產生的預測區塊產生對應於當前區塊之經重建構區塊(儘管可能有一定程度失真，本發明之各種技術經組態以減少或在一些情況下幾乎消除該一定程度失真)。舉例而言，重建構單元214可藉由將經重建構殘餘區塊之樣本添加至來自由模式選擇單元202產生之預測區塊的對應樣本而產生經重建構區塊。

濾波器單元216可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應偽影。在一些實例中，濾波器單元216可應用一或多個適應性迴路濾波程序。適應性迴路濾波程序可包括在適應性迴路濾波程序期間應用至少一個非線性運算子217。在一實例中，濾波器單元216可實施定義非線性運算子217之ALF設計。在一實例中，非線性運算子217可包括剪輯運算子或非剪輯運算子，諸如收縮運算子、S型函數或ReLU函數。

另外，非線性運算子217在一些情況下可包括定義用於分類非線性運算子217之值、定義非線性運算子217之操作條件，或定義用於級聯非線性運算子217與其他非線性運算子217及/或一或多個濾波操作之次序的參數。因此，適應性迴路濾波程序可包括非線性操作及/或濾波操作。濾波器單元216可在應用根據本文所揭示之各種技術中之一或多者的一或多個ALF程序後輸出經濾波重建構區塊。在一些情形下，可跳過濾波器單元216之操作。如本文中所描述，濾波器單元216在一些情形下可編碼定義在濾波程序期間使用的非線性運算子217的語法元素。

視訊編碼器200將經重建構區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波經重建構區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。另外，框內預測單元226可使用當前圖像之DPB 218中的經重建構區塊以對當前圖像中之其他區塊進行框內預測。

大體而言，熵編碼單元220可對自視訊編碼器200之其他功能組件所接收之語法元素進行熵編碼。舉例而言，熵編碼單元220可熵編碼來自量化單元208之經量化變換係數區塊。作為另一實例，熵編碼單元220可對來自模式選擇單元202之預測語法元素(例如用於框間預測之運動資訊或用於框內預測之框內模式資訊)進行熵編碼。熵編碼單元220可對語法元素(其為視訊資料之另一實例)執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料執行上下文適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可在旁路模式中操作，其中語法元素未經熵編碼。在一些實例中，熵編碼單元220可熵編碼自濾波器單元216接收到之語法元素，諸如定義在視訊編碼期間使用的適應性迴路濾波器之組件的語法元素，及在一些情形下，此等組件之α參數。大體而言，α參數定義給定非線性操作之操作約束條件及/或係數並特定地經定義用於如取決於所應用運算子之類型的給定非線性運算子。在一實例中，非線性運算子可包括縮小運算子，在此情況下α參數定義經選擇用於特定縮小運算子的縮小值以便設定用於縮小運算子之操作的條件。

視訊編碼器200可輸出位元串流，該位元串流包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。特定而言，熵編碼單元220可輸出位元串流。

上文所描述之操作相對於區塊進行描述。此描述應理解為用於明度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，明度寫碼區塊及色度寫碼區塊為CU之明度及色度分量。在一些實例中，明度寫碼區塊及色度寫碼區塊為PU之明度及色度分量。

在一些實例中，無需針對色度寫碼區塊重複相對於明度寫碼區塊進行之操作。作為一個實例，無需重複識別明度寫碼區塊之運動向量(MV)及參考圖像的操作來識別色度區塊之MV及參考圖像。實情為，明度寫碼區塊之MV可經縮放以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，框內預測程序可針對明度寫碼區塊及色度寫碼區塊係相同的。

視訊編碼器200表示經組態以編碼視訊資料的裝置之實例，該裝置包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行以下操作的一或多個處理單元：寫碼指示用於視訊資料之複數個適應性迴路濾波程序中之一者的語法元素，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作，(b)一非線性操作，其繼之以一濾波操作，及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作；且基於該語法元素將所指示適應性迴路濾波程序應用於視訊資料。

在一些實例中，視訊編碼器200可表示經組態以編碼視訊資料的裝置之實例，該裝置包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行以下操作的一或多個處理單元：寫碼指示在適應性迴路濾波程序將適應性迴路濾波器應用於視訊資料所藉以之方式的語法元素。視訊編碼器200可另外將適應性迴路濾波器應用於視訊資料。在一些情形下，視訊編碼器200可儲存經濾波區塊至記憶體。

在另一實例中，視訊編碼器200可表示經組態以編碼視訊資料之裝置的實例，該裝置包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行以下操作的一或多個處理單元：判定非線性操作及濾波操作以在適應性迴路濾波程序中執行。視訊編碼器200接著可藉由將濾波操作及非線性操作應用於視訊資料而執行適應性迴路濾波程序。另外，視訊編碼器200可編碼指示執行適應性迴路濾波程序所藉以之方式的語法元素。

圖4為說明可執行本文所揭示之各種技術中之一或多者的實例視訊解碼器300之方塊圖。出於解釋之目的而提供圖4，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明根據JEM、VVC及HEVC之技術來描述視訊解碼器300。然而，本發明之技術可由經組態為其他視訊寫碼標準的視訊寫碼裝置執行。

在圖4之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。CPB記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及DPB 314中任一者或全部可實施於一或多個處理器或處理電路中。此外，視訊解碼器300可包括額外或替代處理器或處理電路以執行此等及其他功能。

預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可包括根據其他預測模式執行預測之額外單元。作為實例，預測處理單元304可包括調色板單元、區塊內複製單元(其可形成運動補償單元316之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同功能組件。

CPB記憶體320可儲存待由視訊解碼器300之組件解碼的視訊資料，諸如經編碼視訊位元串流。可(例如)自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如，語法元素)的CPB。此外，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的暫時資料。DPB 314大體儲存經解碼圖像，其中視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB記憶體320及DPB 314可藉由多種記憶體裝置中之任一者形成，諸如DRAM (包括SDRAM、MRAM、RRAM)或其他類型之記憶體裝置。CPB記憶體320及DPB 314可藉由同一記憶體裝置或獨立記憶體裝置提供。在各種實例中，CPB記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。

另外地或可替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可運用CPB記憶體320儲存如上文所論述之資料。同樣地，當視訊解碼器300之一些或所有功能性實施於軟體中以藉由視訊解碼器300之處理電路執行時，記憶體120可儲存待由視訊解碼器300執行之指令。

圖4中展示之各種單元經說明以輔助理解藉由視訊解碼器300執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。類似於圖3，固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路指可經程式化以執行各種任務並在可被執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可實行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可實行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型大體上係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在視訊解碼器300之操作藉由在可程式化電路上執行之軟體執行的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收並實行的軟體之指令(例如目標碼)。

熵解碼單元302可自CPB接收經編碼視訊資料，且熵解碼視訊資料以再生語法元素。預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310及濾波器單元312可基於自位元串流提取的語法元素而產生經解碼視訊資料。

大體而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可對每一區塊個別地執行重建構操作。應注意當前經重建構(例如經解碼)的區塊有時本文中可稱為「當前區塊」。

熵解碼單元302可對定義經量化變換係數區塊之經量化變換係數的語法元素以及諸如量化參數(QP)及/或變換模式指示之變換資訊進行熵解碼。反量化單元306可使用與經量化變換係數區塊相關聯之QP判定量化程度，且同樣判定反量化程度供反量化單元306應用。反量化單元306可例如執行按位元左移操作以將經量化變換係數反量化。反量化單元306可從而形成包括變換係數之變換係數區塊。

在反量化單元306形成變換係數區塊之後，反變換處理單元308可將一或多個反變換應用於變換係數區塊以產生與當前區塊相關聯的殘餘區塊。舉例而言，反變換處理單元308可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於變換係數區塊。

此外，預測處理單元304根據藉由熵解碼單元302熵解碼之預測資訊語法元素來產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元316大體上可以實質上類似於關於運動補償單元224 (圖3)所描述之方式的方式執行框間預測程序。

作為另一實例，若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據藉由預測資訊語法元素指示之框內預測模式產生預測區塊。同樣，框內預測單元318大體可以實質上與關於框內預測單元226 (圖3)所描述之方式類似的方式執行框內預測程序。框內預測單元318可自DPB 314擷取與當前區塊相鄰的樣本之樣本資料。

重建構單元310可使用預測區塊及殘餘區塊重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。

濾波器單元312可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以沿經重建構區塊之邊緣減少區塊效應偽影。在一些實例中，濾波器單元312可應用一或多個適應性迴路濾波程序。適應性迴路濾波程序可包括應用至少一個非線性運算子313。在一實例中，濾波器單元312可實施定義一或多個適應性迴路濾波程序的ALF設計。適應性迴路濾波程序可包括非線性操作及/或濾波操作。濾波器單元312可在根據本文所揭示之各種技術中之一或多者應用一或多個ALF程序後輸出經濾波重建構區塊。

在一些實例中，濾波器單元312可實施定義非線性運算子313之ALF設計。在一實例中，非線性運算子313可包括剪輯運算子或非剪輯運算子，諸如收縮運算子、S型函數或ReLU函數。另外，非線性運算子313在一些情況下可包括定義分類非線性運算子313之值、定義非線性運算子313之操作條件，或定義用於級聯非線性運算子313與其他非線性運算子313及/或濾波操作之次序的參數。如本文中所描述，濾波器單元312在一些情形下可解碼定義在濾波程序期間使用之非線性運算子313的語法元素。另外，濾波器單元312可經組態以導出或推斷關於非線性運算子313應用於視訊資料之資訊，如本文所描述。

視訊解碼器300可將經重構建區塊存儲於DPB 314中。在一些實例中，濾波器單元312可將經濾波經重建區塊儲存至DPB 314。如本文所論述，DPB 314可提供參考資訊至預測處理單元304。在一實例中，DPB 314可提供參考資訊(諸如用於框內預測之當前圖像及先前解碼之圖像的樣本)以用於後續運動補償。此外，視訊解碼器300可輸出來自DPB 314之經解碼圖像用於後續呈現於顯示裝置上，諸如圖1之顯示裝置118。應注意濾波器單元312之操作未必在所有情況下執行。因而，在視訊解碼器300不執行濾波器單元312之操作情況下，重建構單元310可儲存經重建構區塊至DPB 314。

以此方式，視訊解碼器300表示視訊解碼裝置之實例，該視訊解碼裝置包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行以下操作的一或多個處理單元：寫碼指示用於視訊資料之複數個適應性迴路濾波程序中之一者的語法元素，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作，(b)一非線性操作，其繼之以一濾波操作，及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作；且基於該語法元素將所指示適應性迴路濾波程序應用於視訊資料。

在一實例中，視訊解碼器300表示視訊解碼裝置之實例，該視訊解碼裝置包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行以下操作的一或多個處理單元：寫碼指示在適應性迴路濾波程序期間將適應性迴路濾波器應用於視訊資料所藉以之方式的語法元素。視訊解碼器300可另外基於語法元素將適應性迴路濾波器應用於視訊資料。在一些情形下，視訊解碼器300可儲存經濾波區塊至記憶體。

在另一實例中，視訊解碼器300表示視訊解碼裝置之實例，該視訊解碼裝置包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行適應性迴路濾波程序的一或多個處理單元。在此類實例中，視訊解碼器300可經組態以解碼指示執行適應性迴路濾波程序所藉以之方式的語法元素，該語法元素指示一非線性操作將應用於視訊資料，其中該非線性操作經組態以結合適應性迴路濾波程序之濾波操作而應用。另外，視訊解碼器300可基於語法元素執行適應性迴路濾波程序。

接下來章節(自名為「具有剪輯之適應性迴路濾波器(ALF)」之章節開始並延伸至名為「基於寫碼樹區塊(CTB)/CTU之濾波器集合開關」之章節)描述實例適應性濾波技術。接下來描述的各種適應性濾波技術中之一或多者可在一些實例中實施為VVC草案5及VVC測試模型(VTM)5.0之部分。

具有剪輯之適應性迴路濾波器 ( ALF )

如在VTM-5.0中，經解碼濾波器係數f (k ,l )及剪輯值c (k ,l )可如下應用於經重建構影像R (i ,j )：

方程(1)

在一些實例中，視訊編碼器200及視訊解碼器300可經組態以將7×7濾波器應用於明度分量，且將5×5濾波器應用於色度分量。

圖5為說明實例適應性迴路濾波器(ALF)支援之概念圖。如圖5中所展示，ALF濾波器支援500為5×5菱形形狀濾波器支援且ALF濾波器支援502為7×7菱形形狀濾波器支援。

視訊編碼器200及/或視訊解碼器300可計算用於明度分量之剪輯值c (k ,l )且可計算用於色度分量之剪輯值c (k ,l )如下：

對於明度分量：c (k ,l ) = Round( 2^{( BitDepthY * ( 4 - clipIdx(k,l)) / 4 )} )， 其中BitDepthY表示用於明度分量之BD且clipIdx(k,l)表示在位置(k,l)處之剪輯值。 clipIdx(k,l)之值可為0、1、2或3。

對於色度分量：c (k ,l ) = Round( 2^{( BitDepthC − 8 )} * 2^{( 8 * ( 3 − clipIdx(k,l)) / 3 )} )， 其中BitDepthC表示色度分量之BD且clipIdx(k,l)為位置(k,l)處之剪輯值。clipIdx(k,l)之值可為0、1、2或3。

像素分類

對於明度分量，視訊編碼器200及視訊解碼器300可經組態以基於一維拉普拉斯方向(例如多達5個方向值)及二維拉普拉斯活動(例如多達5個活動值)對整個圖像中之4×4區塊進行分類。在一些實例中，視訊編碼器200及視訊解碼器300可經組態以進一步量化方向Dir_b 之計算。另外，視訊編碼器200及視訊解碼器300可經組態以量化經去量化活動Act_b 之計算。在一實例中，視訊編碼器200及/或視訊解碼器300可將Act_b 量化至0至4之範圍(包括端點)。

在一些實例中，視訊編碼器200及視訊解碼器300可經組態以使用一維拉普拉斯計算兩個對角梯度之值。另外，視訊編碼器200及視訊解碼器300可計算水平及豎直梯度，諸如用於在一些ALF設計中使用的水平及豎直梯度。類似於對角梯度，視訊編碼器200及視訊解碼器300可使用一維拉普拉斯計算水平及豎直梯度。

在一些實例中，視訊編碼器200及視訊解碼器300可經組態以基於覆蓋目標像素的特定窗內之其他像素的梯度判定目標像素之代表性梯度。參考以下方程(2)至(5)，視訊編碼器200及視訊解碼器300可採用特定窗內的像素梯度之總和值作為目標像素之代表性梯度。亦即，視訊編碼器200及視訊解碼器300可判定目標像素之代表梯度。在說明性實例中，視訊編碼器200及視訊解碼器300可採用8×8窗內的所有像素之梯度之總和作為目標像素之代表梯度，其中8×8窗覆蓋目標像素。在以下方程(2)至(5)中，R (k ,l )表示在位置(k ,l )處之經重建構像素且索引i 及j 指代4×4區塊中之左上方像素的座標。因而，每一像素可與四個梯度值相關聯。在以下實例方程(2)至(5)中，g_v 表示豎直梯度，g_h 表示水平梯度，g_d1 表示135度對角梯度，且g_d2 表示45度對角梯度。

方程(2)

方程(3)

方程(4)

方程(5)

為指派方向值Dir_b ，視訊編碼器200及視訊解碼器300可經組態以判定水平及豎直梯度之最大值與最小值的第一比率。另外，視訊編碼器200及視訊解碼器300可判定兩個對角梯度之最大值與最小值之第二比率。水平及豎直梯度之最大值與最小值的比率在方程(6)中藉由R_h,v 表示。類似地，兩個對角梯度之最大值與最小值的比率在方程(7)中藉由R_d0,d1 表示。

方程(6) 其中

，

方程(7) 其中

，

在判定第一及第二比率後，視訊編碼器200及視訊解碼器300接著可比較第一比率與第二比率以判定方向值Dir_b 。在一些實例中，視訊編碼器200及視訊解碼器300可針對彼此比較兩個比率，如以下方程(8)中表示，其中比較係參考兩個臨限值t ₁ 及t ₂ 。基於水平/豎直梯度及對角梯度之所偵測比率的比較，五個方向值(例如在[0,4]範圍(包括端點)內的Dir_b )接著可如以下方程(8)中所展示而定義。

方程(8)

Dir_b 之值及Dir_b 之實體含義描述於下文表1中。表 1 - 方向值 ( Dir_b ) 及實體含義。

方向值(Dirb )	實體含義
0	紋理
1	強水平/豎直
2	水平/豎直
3	強對角
4	對角

另外，視訊編碼器200及視訊解碼器300可經組態以計算活動值Act_b 如下：

方程(9)

視訊編碼器200及視訊解碼器300可經組態以進一步將Act_b 的值量化至0至4之範圍(包括端點)。Act_b 之經量化值表示為

。

自活動值 Act_b 至活動指數 Â 之量化程序

量化程序可如下定義： avg_var = Clip_post(NUM_ENTRY-1, (Act_b * ScaleFactor) ＞＞ shift);

= ActivityToIndex[avg_var] 其中NUM_ENTRY可設定為16，ScaleFactor可設定為64，shift可為(4+內部經寫碼位元深度)，ActivityToIndex[NUM_ENTRY] = {0, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 3, 3, 3, 3, 4}，且函數Clip_post(a, b)返回a與b之間的較小值。

在一些實例中，視訊編碼器200及視訊解碼器300可經組態以將每一4×4明度區塊分類成25 (5×5)個類別中之一個類別。另外，視訊編碼器200及視訊解碼器300可根據區塊之Dir_b 及Act_b 的值指派群組索引給每一4×4區塊。視訊編碼器200及視訊解碼器300可經組態以將每一區塊之群組索引表示為變數「C 」。在此類實例中，視訊編碼器200及視訊解碼器300可基於方程

指派群組索引。在一實例中，視訊編碼器200可指派一群組索引給區塊，其中該群組索引等於

，其中Â表示區塊之經量化值

。

幾何變換

在一些實例中，對於每一類別種類，視訊編碼器200可經組態以寫碼及發信濾波器係數之一個集合及剪輯值。另外，視訊編碼器200可利用四種幾何變換(例如對角線、豎直翻轉、旋轉及無變換)以更好地區分以同一種類索引標記之區塊的不同方向。

圖6為說明實例5×5菱形形狀濾波器支援602之概念圖。圖7為說明基於對角線變換的5×5濾波器支援602之實例變換的概念變換圖702。圖8為說明基於豎直翻轉變換之5×5濾波器支援602之實例變換的概念圖802。圖9為說明基於旋轉變換之5×5濾波器支援602的實例變換之概念圖902。當比較圖6之5×5濾波器支援602與圖7之圖式702、圖8之圖式802及圖9之圖式902的經變換濾波器支援時，三種幾何變換之公式形式可表示如下：

對角：

，

；

豎直翻轉：

，

；及

旋轉：

，

， 其中K 為濾波器之大小且

、

為濾波器係數之座標。另外，c (k ,l )表示剪輯值。在此類實例中，位置(0,0)可指左上角處之座標。另外，位置(K - 1,K - 1)可指右下角處之座標。當視訊寫碼器(例如視訊編碼器200及/或視訊解碼器300)利用菱形形狀濾波器支援(諸如在特定ALF設計中)時，具有在濾波器支援外部之座標的係數可設定為0。在一些實例中，視訊寫碼器可藉由隱式地(例如在不發信情況下)導出幾何變換而指示及/或判定幾何變換索引。在此類實例中，視訊寫碼器可在避免額外開銷的同時導出幾何變換索引。

在幾何ALF(GALF)中，視訊編碼器200及視訊解碼器300可經組態以取決於對彼區塊計算之梯度值將各種幾何變換應用於濾波器係數f (k ,l )。下表2中展示幾何變換與四個梯度之間的實例關係。視訊編碼器200及視訊解碼器300可使用上述方程(2)至(5)計算四個梯度。在一些實例中，視訊編碼器200及視訊解碼器300可基於關於兩個不同梯度中之哪一者較大的判定應用幾何變換。在一實例中，視訊編碼器200及視訊解碼器300可在比較水平梯度值與豎直梯度值時及在比較45度梯度值及135度梯度值時判定兩個梯度中之哪一者較大。在說明性實例中，視訊編碼器200可對於一區塊判定水平梯度值(g_h )大於豎直梯度值(g_v )且135度梯度值(g_d1 )大於45度梯度值(g_d2 )。因而，視訊編碼器200可根據下表2中概述的實例變換映射判定視訊編碼器200待將對角變換應用於區塊之濾波器係數。基於梯度值之間的此比較，更準確方向資訊可自寫碼資訊有效地提取。因此，可獲得(例如歸因於變換)不同濾波結果，同時有效地避免濾波器係數之開銷的增加。表 2 - 梯度及變換之映射

梯度值	變換
gd2 ＜gd1 及gh ＜gv	無變換
gd2 ＜gd1 及gv ＜gh	對角
gd1 ＜gd2 及gh ＜gv	豎直翻轉
gd1 ＜gd2 及gv ＜gh	旋轉

濾波器資訊發信

一個明度濾波器集合包括用於所有25個類別(5×5)的濾波器資訊(包括濾波器係數及剪輯值)。在一個實例中，視訊編碼器200及視訊解碼器300可使用一或多個固定濾波器來預測用於每一類別之濾波器。在一些實例中，視訊編碼器200可經組態以發信每一類別之旗標以指示該類別是否使用固定濾波器作為一類別之濾波器預測子。若是(例如固定濾波器用作濾波器預測子)，則視訊編碼器200及視訊解碼器300可發信固定濾波器資訊。

為減少表示濾波器係數所需的位元之數目，可合併不同類別。藉由對於25個類別中之每一者對索引i_C 進行發送來提供指示合併哪些類別之資訊。具有相同索引i_C 之類別共用經寫碼之相同濾波器係數。視訊編碼器200可經組態以針對每一明度濾波器集合發信類別與濾波器之間的映射。視訊編碼器200及視訊解碼器300可經組態以用截短二元二進位化方法來寫碼索引i_C 。

在一些實例中，視訊編碼器200及視訊解碼器300可經組態以自先前發信之濾波器寫碼預測經發信濾波器。

適應性參數集 ( APS )

在VTM-5.0中，視訊編碼器200及視訊解碼器300可利用經組態以攜載位元串流中之ALF濾波器係數的適應性參數集(APS)。在一實例中，APS可包括明度濾波器係數(例如用於明度分量之ALF濾波器係數)之集合、色度濾波器係數(例如用於色度分量之ALF濾波器係數)之集合，或濾波器係數之兩個集合。在一些實例中，視訊編碼器200及視訊解碼器300可經組態以寫碼用於對應圖像塊群組標頭中之當前圖像塊群組的APS的索引。

基於寫碼樹區塊 ( CTB ) / CTU 之 濾波器集合開關

在VTM-5.0中，視訊編碼器200及視訊解碼器300可經組態以將自先前經寫碼圖像塊群組產生之濾波器用於當前圖像塊群組以節省濾波器發信的開銷。視訊編碼器200及視訊解碼器300可經組態以對於明度寫碼樹區塊(CTB)/CTU選擇固定濾波器集合當中之一濾波器集合及來自APS之濾波器集合。在一實例中，視訊編碼器200可經組態以發信濾波器集合索引。在一些實例中，視訊編碼器200及視訊解碼器300可使用來自同一APS之濾波器用於色度CTB。在圖像塊群組標頭中，視訊編碼器200可發信用於當前圖像塊群組之明度及色度CTB的APS。

在 ALF 設計中之濾波及 / 或非線性操作延伸

如上文參考具有剪輯之適應性迴路濾波所論述，在VTM 5.0中，編解碼器(例如視訊編碼器200及視訊解碼器300)可使用在適應性迴路濾波程序之前應用的剪輯操作。在此上下文中，在視訊寫碼程序期間在適應性迴路濾波程序之前應用的剪輯操作在本文中大體上稱為預先剪輯操作或預先剪輯運算子。本發明描述藉由以各種方式使用不同類型非線性運算子來延伸剪輯操作以減少在視訊編碼及視訊解碼程序期間引發的量化誤差之位準的技術。

在一實例中，視訊寫碼器(例如視訊編碼器200及視訊解碼器300)可使用剪輯運算子(在本文中亦被稱作「剪輯操作」或「剪輯」)作為非線性操作。視訊寫碼器可將剪輯運算子應用於樣本之集合，或應用於樣本之一或多個子集。視訊寫碼器接著可傳送所得樣本至視訊寫碼器之某些組件(例如圖3之濾波器單元216、圖4之濾波器單元312)。視訊寫碼器接著可實行適應性迴路濾波程序。然而，在一些實例中，此視訊寫碼程序或視訊解碼程序可導致各種量化誤差之增生。視訊寫碼器可在視訊寫碼器之某些組件執行量化或反量化程序(例如圖3的反量化單元210、圖4的反量化單元306等)時引發此類量化誤差。量化誤差可包括線性誤差、非線性誤差或在一些情形下線性誤差及非線性誤差兩者。在未被補償情況下，量化誤差(線性或非線性)往往會影響視訊寫碼程序及視訊解碼程序之輸出品質。另外，量化誤差可導致編碼程序及/或解碼程序之低寫碼效率。

前述問題以及其他問題可由用於在各種適應性迴路濾波器(ALF)設計中利用非線性操作的所揭示技術解決。在一實例中，視訊編碼器200及視訊解碼器300可將適應性迴路濾波程序應用於輸入樣本之集合。ALF程序可包括非線性操作、濾波操作，或在一些實例中，可包括非線性操作及濾波操作兩者之各種組合。在此類實例中，視訊編碼器200及視訊解碼器300可藉由將一或多個ALF設計應用於輸入樣本之各種集合，或在一些情形下應用於一或多個輸入樣本之子集而實行適應性迴路濾波程序，其中ALF設計包括將一或多個非線性運算子應用於樣本。

在一些實例中，視訊編碼器200及視訊解碼器300可利用定義非線性操作之ALF設計。在一些實例中，非線性操作可包括將一或多個非線性運算子應用於充當至圖3的濾波器單元216或圖4的濾波器單元312之ALF之輸入的樣本。實例非線性運算子包括剪輯運算子或非剪輯操作，諸如收縮運算子、S型函數、ReLU (矯正線性單元)函數，或此類非線性操作之變體或其他非線性操作。在一些實例中，神經網路(NN)可利用非線性運算子中之一或多者，諸如非剪輯非線性運算子中之一或多者。在一實例中，NN可使用ReLU運算子、S型運算子或ReLU與S型運算子之級聯版本。

在一些實例中，利用此類剪輯或非剪輯操作之NN運算子可在ALF程序之前或可取代ALF程序。另外，實例NN運算子可替換在ALF程序之前的剪輯操作。在說明性實例中，視訊寫碼器可將繼之以濾波操作的非線性操作應用於輸入樣本之集合。非線性操作可包括利用一或多個非線性運算子(諸如ReLU及/或S型，作器)作為非線性操作之部分的NN。除了非線性操作之外，視訊寫碼器接著可應用後繼濾波操作。在一些實例中，濾波操作可包括雙側濾波器或其他類型濾波器。在此類實例中，視訊寫碼器可應用NN運算子，以替換ALF程序及可能已在ALF程序之前的任何預先剪輯操作兩者。

視訊寫碼器(例如視訊編碼器200及視訊解碼器300)可實施此類適應性迴路濾波器(例如包括非線性運算子(諸如基於NN之非線性運算子)之濾波器)以補償在各種量化程序期間引發的誤差。在一些實例中，已瞭解到此類適應性迴路濾波器提供BD速率之增益，改良可在所得圖像品質中表現的失真位準，改良寫碼效率，並大體上改良視訊寫碼程序。在特定實例中，此類適應性迴路濾波器已經展示當實施為ALF程序之部分、ALF程序之延伸，或完全替代ALF程序實施時提供類似優點。在一些實例中，視訊編碼器200及視訊解碼器300可應用在ALF程序之前的一非線性操作，其中該非線性操作包括非線性運算子之級聯(諸如剪輯運算子、縮小運算子、不同類型非線性運算子之組合等的級聯)。在此類實例中，非線性操作接著可繼之以濾波操作，諸如定義雙側濾波器應用的濾波操作。在另一實例中，此類適應性迴路濾波器可移位或以其他方式安置可在ALF程序之前的任何非線性操作，諸如藉由不執行可在ALF程序之前的剪輯操作。

在此類實例中，視訊編碼器200及視訊解碼器300可經由實施由ALF設計定義的此類ALF程序有效補償量化誤差。亦即，視訊編碼器200及視訊解碼器300可應用非線性ALF程序以補償在ALF程序之前在某些樣本之寫碼或解碼程序期間表現的非線性量化誤差。在另一實例中，非線性運算子的ALF設計之應用可有利地導致BD速率之增益，且另外可改良失真位準並改良整個視訊寫碼及視訊解碼效率。

在一些實例中，ALF設計之非線性操作可包括剪輯運算子、剪輯運算子之級聯、其他非線性運算子，或將非線性運算子有效鏈結在一起的非線性運算子之級聯，無關於級聯操作包括相同抑或不同類型之非線性運算子。在一實例中，ALF設計可定義在一些情形下不同於非線性剪輯運算子之非線性運算子。在一些實例中，非線性操作可定義包括收縮運算子、S型函數、ReLU函數或在一些情形下非線性運算子之各種組合的一或多個非線性運算子。在另一實例中，ALF設計可定義一或多個剪輯運算子，外加一個或多個其他非剪輯運算子(例如收縮、S型、ReLU、邏輯激發函數等)。

另外，ALF設計可定義視訊編碼器200及視訊解碼器300可單獨、彼此結合或結合一或多個非線性操作利用的各種濾波操作(例如雙向濾波器、適應性濾波器、高斯濾波器、基於神經網路(NN)之濾波器、樣本適應性偏移(SAO)濾波器、平均濾波器、拉普拉斯濾波器等)。在說明性實例中，視訊編碼器200及視訊解碼器300可將第一ALF設計應用於第一樣本，其中第一ALF設計定義非線性操作。另外，視訊編碼器200及視訊解碼器300可將第二ALF設計應用於第二樣本。在此類實例中，第一ALF設計及第二ALF設計在一些情形下可定義不同操作、參數及/或用於組合相同或不同類型操作的不同次序(例如組合之次序)。在一實例中，視訊編碼器200可基於樣本之間的預定義差或基於用於樣本之其他寫碼資訊適應性地判定不同ALF設計。

在一些實例中，ALF設計可定義定義ALF程序的組合之次序。在說明性實例中，ALF設計可定義第一操作及第二操作兩者，其中ALF設計包括定義用於兩個實例操作之次序的語法元素。在說明性實例中，語法元素可定義包括第一操作繼之以第二操作的次序，其中第一操作可在第二操作應用於自第一操作輸出的樣本之前應用於ALF之輸入樣本。在非限制性實例中，第一操作可包括繼之以雙向濾波操作及/或基於NN之濾波操作之應用的S型函數之應用。在另一實例中，第一操作可包括作為NN運算子之部分的S型函數之應用。在此類實例中，在第一操作之後的第二操作可包括雙側濾波器。

在一些實例中，ALF設計之ALF程序可包括單一濾波操作。單一濾波操作可包括一或多個濾波器，諸如一或多個基於NN之濾波器或一或多個雙側濾波器。在此類實例中，視訊編碼器200及視訊解碼器300可將濾波操作之一或多個濾波器應用於輸入樣本之集合。在一些實例中，視訊編碼器200及視訊解碼器300可自輸入樣本判定一或多個樣本子集。在此類實例中，視訊編碼器200及視訊解碼器300可在ALF程序之前將用於樣本之各種子集的某些濾波器係數設定為「0」。以此方式，視訊編碼器200及視訊解碼器300可將提供為至ALF設計之一或多個ALF程序之輸入的樣本之子集與樣本隔離。在一些實例中，視訊編碼器200及視訊解碼器300可將濾波操作之一或多個濾波器應用於一或多個樣本子集以補償用於所引發之各種量化誤差的樣本，諸如在寫碼或解碼程序期間引發的非線性量化誤差。

圖10至圖12為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波程序之概念圖。在圖10至圖12中，程序1002包括單一濾波(例如ALF)操作，程序1010包括繼之以濾波操作之非線性操作，且程序1020為藉由級聯程序1002與程序1010建立的實例。在圖10至圖12之實例中，程序1020包括預先濾波操作，預先濾波操作繼之以非線性操作，非線性操作繼之以後濾波操作。以下適應性迴路濾波設計/技術可個別地應用或可以任何組合方式一起使用。

如所描述，實例適應性迴路濾波程序可個別地應用或可以任何組合方式一起使用。在一些實例中，視訊編碼器200及視訊解碼器300可基於獨立濾波操作或基於獨立非線性操作定義特定ALF設計。在一些實例中，視訊編碼器200及視訊解碼器300可基於一或多個濾波操作及/或一或多個非線性操作的組合來定義特定ALF設計。參考圖10至圖12描述實例ALF程序及設計，包括各種獨立操作及/或獨立操作之組合。在一實例中，獨立非線性操作可包括將級聯非線性運算子應用於輸入樣本。

適應性迴路濾波程序可基於以下程序而定義：(a)視訊編碼器200及視訊解碼器300可將ALF作為單一步驟濾波操作而應用(程序1002)；(b)視訊編碼器200及視訊解碼器300可將ALF作為非線性操作而應用於輸入樣本，繼之以濾波所得樣本(程序1010)；及/或(c)視訊編碼器200及視訊解碼器300可將ALF作為預先濾波、非線性操作及後濾波操作而應用。此情況為藉由級聯(a)與(b)獲得的實例，其中首先(a)用於預先濾波且接著b)用於非線性操作及後濾波(程序1020)。可基於(a)、(b)及(c)之組合定義ALF程序。在此類實例中，視訊編碼器200可編碼語法元素(例如索引)以在多個適應性迴路濾波程序(諸如基於(a)、(b)及(c)定義的程序)之間判定。另外，視訊解碼器300可解碼該語法元素並應用所指示適應性迴路濾波程序。如本文中所描述，基於(a)、(b)及(c)之ALF設計包括各自的級聯版本。在一實例中，(a)及(b)可經多次級聯，因此濾波程序可包括之間具有非線性操作的預先及後濾波之多個階段。

圖10為說明根據本文所揭示之各種技術中之一或多者的實例ALF程序1002之概念圖。如所展示，ALF程序1002包括單一濾波操作1004。在一實例中，單一濾波操作1004可包括適應性迴路濾波操作。在一些實例中，視訊編碼器200及視訊解碼器300可在視訊編碼及視訊解碼期間利用ALF程序1002。在一實例中，視訊編碼器200可判定利用ALF程序1002作為當前ALF設計。

在說明性實例中，ALF程序1002包括將濾波操作1004應用於輸入樣本之集合。在此類實例中，視訊編碼器200或視訊解碼器300可經由應用單程濾波操作1004濾波輸入樣本並產生經濾波輸出樣本之所得集合。

在一些實例中，輸入樣本可包括樣本之子集。在此類實例中，樣本之子集可藉由將具有為0之係數值的濾波器係數應用於不包括特定針對性子集中之樣本而針對性用於濾波。在一些實例中，輸入樣本之每一集合可包括一或多個樣本子集。在此類實例中，ALF程序1002可包括將濾波操作1004應用於第一輸入樣本之第一子集。

圖11為說明根據本文所揭示之各種技術中之一或多者的實例ALF程序1010之概念圖。如所展示，ALF程序1010包括繼之以濾波操作1014之非線性操作1012。在一些實例中，視訊編碼器200及視訊解碼器300可在視訊編碼及視訊解碼期間利用ALF程序1010。在一實例中，視訊編碼器200可判定利用ALF程序1010作為當前ALF設計。

在說明性實例中，ALF程序1010包括繼之以濾波操作1014之非線性操作1012的應用。在此類實例中，ALF程序1010包括將非線性操作1012應用於輸入樣本之集合，且接著應用一濾波操作1014，該濾波操作1014涉及對由應用非線性操作1012產生的彼等樣本進行濾波。ALF程序1010可類似於ALF程序1002，原因在於兩者皆包括濾波操作之應用。然而，ALF程序1010包括非線性操作1012另加濾波操作1014。在執行非線性操作1012中，視訊編碼器200及視訊解碼器300可執行單一非線性操作或級聯非線性操作之組合。

在一些實例中，輸入樣本可包括樣本之子集。在此類實例中，樣本之子集可藉由將具有為0之係數值的濾波器係數應用於不包括特定針對性子集中之樣本而針對性用於濾波。在一些實例中，輸入樣本之每一集合可包括一或多個樣本子集。在此類實例中，ALF程序1010可包括將非線性操作1012及濾波操作1014應用於第一輸入樣本之第一子集。

在一些實例中，濾波操作1014可包括視訊寫碼器200及視訊解碼器300可用以實施濾波操作1004的相同類型之濾波器。在一實例中，視訊寫碼器200可經組態以自數個不同ALF程序當中判定待應用之ALF程序。在此等情況下，視訊寫碼器200可在包括與視訊寫碼器200可在第二情形中判定的可能ALF程序1002之濾波操作1004的類型相比相同或不同類型濾波操作1014的第一情形中判定ALF程序1010。

圖12為說明根據本文所揭示之各種技術中之一或多者的實例ALF程序1020之概念圖。在一些實例中，視訊編碼器200及視訊解碼器300可在視訊編碼及視訊解碼期間利用ALF程序1020。在一實例中，視訊編碼器200及視訊解碼器300可判定利用ALF程序1020作為當前ALF設計。在一實例中，視訊編碼器200可在編碼程序期間基於可用於視訊編碼器200之寫碼資訊判定利用ALF程序1020。

在說明性實例中，ALF程序1020包括預先濾波操作1022、繼之以非線性操作1024、繼之以後濾波操作1026的應用。在一些實例中，ALF程序1020經實施為ALF程序1002及ALF程序1010之級聯。亦即，ALF程序1020表示藉由級聯ALF程序1002與ALF程序1010建立的實例ALF設計。在一些實例中，視訊編碼器200及視訊解碼器300可利用ALF程序1002來應用預先濾波操作1022且可利用ALF程序1010來應用非線性操作1024及後濾波操作1026以接著實施ALF程序1020。

在一些實例中，預先濾波操作1022可對應於圖10之濾波操作1004及/或圖11之濾波操作1014。類似地，後濾波操作1026可對應於圖10之濾波操作1004及/或圖11之濾波操作1014。另外，預先濾波操作1022可在一些實例中包括與後濾波操作1026之濾波器類型相比不同類型的濾波器。然而，在一些實例中，預先濾波操作1022可包括與後濾波操作1026相同類型的濾波器。在此類實例中，濾波器係數對於濾波操作1022及濾波操作1026之兩個濾波器可或可不相同。另外，非線性操作1024可在一些實例中對應於圖11之非線性操作1012。然而，在一些實例中，非線性操作1012可包括與非線性操作1024之運算子相比不同類型之非線性運算子。亦即，非線性操作1012可包括收縮運算子且非線性操作1024可包括S型函數。在任何情況下，視訊寫碼器200及視訊解碼器300可將ALF程序1020應用於輸入樣本之集合(諸如第一輸入樣本之第一子集)以自後濾波操作1026輸出輸出樣本之經濾波集合。

在一些實例中，單一ALF設計可基於(a)ALF程序1002、(b)ALF程序1010及(c)ALF程序1020之各種組合而定義。在說明性實例中，視訊寫碼器可判定利用包括一或多個ALF程序之級聯(諸如參考圖10至圖12所描述之實例ALF程序的級聯)的單一ALF設計。亦即，單一ALF設計可包括多個ALF程序之級聯版本。在說明性實例中，ALF程序1002可與ALF程序1010級聯在一起以形成單一ALF設計或ALF設計的一部分。另外，單一ALF設計可包括多個級聯ALF程序。在一實例中，ALF程序1002可多次與ALF程序1010級聯在一起或另外用於在實行ALF設計的ALF程序1002及ALF程序1010之後的多個反覆。亦即，單一ALF設計可包括各種ALF程序之多個級聯，諸如ALF程序1002與ALF程序1010之間的多個級聯。

在一些實例中，濾波程序可包括預先濾波操作(例如預先濾波操作1022)及/或後濾波操作(例如後濾波操作1026)之多個階段，其中視訊編碼器200應用在預先濾波操作與後濾波操作之間的一或多個非線性操作。在此類實例中，一或多個非線性操作可包括隨後可包括一或多個不同非線性運算子(例如ReLU及剪輯組合)之應用的一或多個非線性操作1024。

如本文所使用，預先濾波操作(例如預先濾波操作1026)大體可指代在應用作為ALF設計之部分包括的非線性操作(例如非線性操作1012、非線性操作1024等)之前的適應性迴路濾波程序之濾波操作。同樣，後濾波操作(例如後濾波操作1026、濾波操作1014等)大體可指代在應用非線性操作之後的適應性迴路濾波程序之濾波操作。在一些情形下，預先濾波操作可諸如在各別操作之相對大小方面不同於後濾波操作。在一實例中，預先濾波操作大體可包括與後濾波操作(其可隨後包括較大大小之濾波器)相比較小(例如較簡單)濾波器。

在一些實例中，視訊編碼器200可寫碼語法元素(例如索引)以便自多個ALF程序當中判定一或多個ALF程序。在此類實例中，語法元素可定義視訊編碼器200在視訊寫碼程序期間已利用或將另外利用的一或多個ALF設計。在一實例中，可自ALF程序1002、ALF程序1010、ALF程序1020或其變體/組合當中判定一或多個ALF程序。在一些實例中，視訊編碼器200可編碼指示用於視訊資料之複數個適應性迴路濾波程序中之一者的語法元素，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作(例如ALF程序1002)，(b)非線性操作，其繼之以濾波操作(例如ALF程序1010)，及(c)預先濾波操作，其繼之以非線性操作，該非線性操作繼之以後濾波操作(例如ALF程序1020)。另外，視訊編碼器200可寫碼指示適應性迴路濾波程序(a)ALF程序1002、(b)ALF程序1010及/或(c)ALF程序1020之級聯版本的語法元素。

在說明性實例中，視訊編碼器200可編碼指示ALF程序1010及ALF程序1020之多於一個級聯版本的語法元素。在一實例中，語法元素可指示指示ALF程序1010繼之以ALF程序1020繼之以另一ALF程序1020繼之以ALF程序1010之級聯的組合之次序。在非限制性實例中，如由語法元素指示級聯在一起的各種ALF程序可包括用於每一ALF程序之每一對應操作的相同類型濾波器或非線性運算子。在此類實例中，用於級聯在一起的各種ALF程序之對應參數(例如濾波器係數)可係不同的。在任何情況下，語法元素可指示特定ALF設計可運用一個級聯或複數個級聯ALF程序(諸如ALF程序1002、1010及1020之複數個級聯)導出。在另一說明性實例中，語法元素可指示ALF程序1020與ALF程序1002及/或ALF程序1010的第一級聯、ALF程序1002與ALF程序1020及/或ALF程序1010之第一級聯、ALF程序1020與ALF程序1002之第一級聯或具有其各種變體之第一級聯。在此類實例中，語法元素可另外指示ALF程序1002、ALF程序1010及/或ALF程序1020與第一級聯中之一或多者。以此方式，視訊編碼器200可編碼向視訊解碼器300指示ALF程序之多個級聯(諸如圖10至圖12中所說明之級聯)的語法元素。

在此類實例中，視訊編碼器200可寫碼指示特定ALF程序或指示在一些情形下ALF程序之組合(包括ALF程序之級聯次序(例如組合次序)的語法元素。在說明性實例中，語法元素可指示ALF程序之組合包括非線性操作之一或多個應用，諸如圖11之非線性操作1012、圖12之非線性操作1024或其變體/組合的應用。在另一實例中，語法元素可指示一ALF設計，該ALF設計包括ALF程序1002、1010、1020或其變體/組合中之一者的單通。在任何情況下，語法元素定義在視訊寫碼期間利用的一或多個ALF程序。因而，語法元素有效定義在視訊寫碼程序期間藉由視訊編碼器200利用的一或多個ALF設計。

在此類實例中，視訊解碼器300接著可解碼語法元素以判定由語法元素指示的一或多個ALF程序。因而，視訊解碼器300接著可應用如所指示之ALF設計。取決於語法元素，所指示ALF設計可包括單一ALF程序或ALF程序之組合(例如ALF程序1002、1010或1020之級聯，ALF程序1002、1010或1020的多個級聯，等)。在說明性實例中，視訊解碼器300可應用一ALF設計，該ALF設計基於語法元素包括多個ALF程序(諸如參考圖10至12所描述之實例ALF程序)之組合。亦即，視訊解碼器300可解碼已由視訊編碼器200編碼的語法元素。在另一說明性實例中，視訊解碼器300可基於語法元素執行適應性迴路濾波程序，其中該語法元素指示待應用於視訊資料的一非線性操作，該非線性操作與一或多個非線性操作或濾波操作組合(例如級聯)在一起。如本文中所描述，用於組合在一起的各種ALF程序之對應參數(例如濾波器係數)可係相同或不同的且非線性運算子或濾波操作之類型可取決於解碼語法元素向視訊解碼器300指示之物而相同或不同。

適應性迴路濾波器 ( ALF ) 設計中之濾波操作

在一些實例中，ALF設計可包括一濾波操作(其亦可用作預先濾波及後濾波)，該濾波操作包括已經預定義及/或經適應性學習/訓練之一或多個濾波器。在一實例中，視訊編碼器200可在預先濾波操作中或在後濾波操作中利用預定義濾波器。在另一實例中，視訊編碼器200可利用視訊編碼器200已經適應性學習/訓練的濾波操作。若視訊編碼器200適應性學習濾波操作，則視訊編碼器200可發信濾波器參數/係數用於經適應性學習之濾波操作。然而，當濾波器經預定義時，視訊編碼器200可放棄發信用於預定義濾波器之濾波器係數。在說明性實例中，圖12之預先濾波操作1022可經預定義且圖12之後濾波操作1026可經適應性學習/訓練。在此等情形下，視訊編碼器200發信後濾波參數/係數。在另一實例中，圖12之預先濾波操作1022可經適應性學習/訓練且圖12之後濾波操作1026可經預定義。

在一些實例中，視訊編碼器200可利用圖12之預先濾波操作1022。預先濾波操作1022可包括在一些情形下已經預定義的一或多個濾波器。另外，視訊編碼器200可利用圖12之後濾波操作1026，其中後濾波操作1026可包括已經適應性學習/訓練的一或多個濾波器。在此類實例中，視訊編碼器200可發信用於後濾波操作1026之一或多個濾波器的參數/係數。然而，視訊編碼器200可有效放棄用於預先濾波操作1022之一或多個預定義濾波器的發信。

在一些實例中，ALF設計可包括多個預定義濾波器候選者且可包括多個適應性濾波器候選者。視訊編碼器200可發信索引以判定在多個候選者當中使用哪一濾波器。

在一些實例中，濾波器可階層式發信。在一實例中，視訊編碼器200可階層式發信濾波器。索引(例如上文所描述的APS索引)可經發信用於濾波器之群組(例如集合)，接著另一索引可經發信以識別特定濾波器。

在說明性實例中，視訊編碼器200可發信一索引(諸如本文中所描述的APS索引)用於濾波器之群組(例如濾波器之集合)。在此類實例中，視訊編碼器200可發信另一索引以識別特定濾波器，諸如濾波器群組中之濾波器。在一些實例中，濾波器集合可包括僅僅一個濾波器或可包括多個濾波器。在任何情況下，視訊編碼器200及視訊解碼器300可發信第一索引用於濾波器集合且可發信第二索引用於來自濾波器集合之特定濾波器。

在一些實例中，視訊解碼器300可在不發信情況下推斷濾波器。在一實例中，視訊解碼器300可基於可能可用於視訊解碼器300的旁側資訊推斷濾波器。在一些實例中，旁側資訊可包括分類資訊。

舉例而言，預定義濾波器可定義為多個輸入樣本之簡單求和、平均或減法。在一實例中，預定義濾波器可定義為多個輸入樣本之平均或減法。在此類實例中，視訊編碼器200及視訊解碼器300可基於分類(例如分類資訊、旁側資訊)判定樣本位置。在一些實例中，濾波器支援(例如菱形形狀濾波器支援等)可取決於分類(例如分類資訊)。亦即，濾波器支援可由輸入區塊之類別索引定義。

適應性迴路濾波器 ( ALF ) 設計中之非線性操作

在適應性迴路濾波之一些實例中，視訊編碼器200及視訊解碼器300可包括額外預處理操作(例如非線性操作1012及/或非線性操作1024)。因而，預處理操作可包括繼之以濾波操作(例如濾波操作1014及/或濾波操作1026)之一或多個非線性運算子的應用。在此類實例中，視訊編碼器200及視訊解碼器300可將額外預處理操作應用於濾波程序之輸入樣本。預處理操作可表示為可用於視訊寫碼器的資訊之函數。在一些實例中，預處理操作可表示為樣本/區塊座標及/或輸入樣本值及/或色彩分量之函數。另外，視訊寫碼器可在非線性運算子之數個不同組合中之任一者中應用多個預處理功能。

在一些實例中，視訊編碼器200可運用或藉由指示符識別特定預處理功能。視訊編碼器200可傳輸指示符至視訊解碼器300。在一些實例中，視訊解碼器300可藉由指示符識別特定預處理功能。在另一實例中，視訊解碼器300可在不發信情況下導出指示符。在一些實例中，作為預處理功能判定之部分，視訊解碼器300可導出指示符。在此類實例中，視訊解碼器300可在視訊解碼器300解碼視訊資料的同時基於可用於視訊解碼器300之資訊判定預處理功能。在一實例中，視訊解碼器300可在不發信情況下基於樣本位置、區塊大小、樣本值、色彩分量或基於其他可用資訊來判定預處理功能。

在另一實例中，視訊寫碼器200及視訊解碼器300可執行包括第一濾波操作(例如預先濾波操作)及第二濾波操作(例如後濾波操作)之適應性迴路濾波程序。因而，第一濾波操作可與非線性操作級聯。非線性操作可包括為樣本/區塊座標及/或輸入樣本值或色彩分量之函數的非線性運算子。因而，非線性操作可與第二濾波操作級聯。在此等情況下，非線性運算子可運用一指示符識別，該指示符可經傳輸至視訊解碼器300或可在不發信情況下藉由視訊解碼器300導出。

在一些實例中，視訊解碼器300可基於樣本位置、區塊大小、樣本值、色彩分量及任何其他可用資訊導出非線性運算子。非線性運算子可為以下各者中之一者：(a)收縮運算子、(b)S型函數或(c)ReLU函數，或其任何組合。另外，非線性運算子可包括為適應性迴路濾波程序之部分的剪輯運算子。如所描述，適應性迴路濾波程序可在預先剪輯操作之後。在此等情況下，複數個剪輯操作可在適應性迴路濾波程序之前及在適應性迴路濾波程序期間應用於視訊資料。在另一實例中，預先剪輯操作可在適應性迴路濾波程序之前，其中適應性迴路濾波程序包括以下各者中之一或多者：(a)收縮運算子、(b)S型函數、或(c)ReLU函數、(d)第二剪輯操作，或其任何組合。

來自複數個可用功能中之所利用預處理功能(其應用於區塊/圖塊/圖像塊/磚/圖像)可在參數集及/或圖塊標頭中發信。在一些實例中，視訊編碼器200可在參數集及/或圖塊標頭中發信所利用預處理功能。在說明性實例中，視訊編碼器200可自複數個可用非線性運算子判定一非線性運算子。視訊編碼器200可將非線性運算子應用於區塊/圖塊/圖像塊/磚/圖像。另外，視訊編碼器200接著可諸如在參數集及/或圖塊標頭中發信非線性運算子。

在一些實例中，視訊編碼器200及視訊解碼器300可在特定ALF設計中利用以下實例非線性運算子中之一或多者。在一實例中，視訊寫碼器可在特定ALF設計中利用以下實例非線性運算子之一或多個組合：

在參數

情況下的剪輯操作：

在參數

情況下的收縮操作：

在參數

情況下之S型函數：

ReLU(矯正線性單元)函數：

其中x_i 表示在方位/位置i 處的輸入樣本。非線性操作由非線性運算子之類型(例如剪輯、收縮、S型及ReLU函數)及非線性運算子之參數(例如

參數)或對於多個非線性運算子，由非線性運算子之參數(例如非線性運算子之組合)定義。

在一些實例中，視訊編碼器200及視訊解碼器300可諸如藉由將不同類型之非線性運算子級聯在一起以表示非線性運算子的組合而級聯多個非線性運算子。在數學上，任意非線性運算子f ₁ 及f ₂ 可經級聯以使得藉由對輸入樣本x_i 如下應用兩個函數之組合而獲得輸出樣本y_i ：

在說明性實例中，視訊編碼器200及視訊解碼器300可在應用收縮運算子之後應用剪輯運算子。在一些實例中，非線性運算子之級聯(例如鏈結)可在數學上表示如下：

， 其中

及

分別表示用於收縮及剪輯操作之參數。

在另一實例中，視訊編碼器200及視訊解碼器300可在應用ReLU運算子之後應用剪輯運算子。在此類實例中，非線性運算子之級聯可在數學上表示如下：

, 其中

表示用於剪輯操作之參數。在一些情形下，ReLU運算子可基於有效相鄰

的相鄰像素之組合而應用。

在一實例ALF設計中，視訊編碼器200及視訊解碼器300可將非線性操作(參看程序1012及程序1024)應用於輸入樣本之子集。在說明性實例中，視訊編碼器200可將圖11之非線性操作1012或圖12之非線性操作1024應用於樣本之子集。在一些實例中，視訊編碼器200及視訊解碼器300可藉由將一或多個非線性運算子應用於單一樣本或藉由將一或多個非線性運算子應用於多個樣本而將非線性操作1012應用於樣本之子集。

旗標可經發信以指示非線性操作是否應用於樣本中之任一者。在一些實例中，視訊編碼器200可發信一旗標以指示視訊編碼器200已對一或多個樣本執行一或多個非線性操作。在一實例中，視訊編碼器200可發信一旗標以指示視訊編碼器200已將一非線性運算子或多個非線性運算子應用於ALF程序之至少一個樣本。若旗標啟用，則非線性操作參數可經發信用於每一輸入樣本或樣本之子集。在另一實例中，視訊編碼器200可發信一旗標以指示視訊編碼器200已在非線性運算子之後應用特定迴路濾波器(例如雙側濾波器)。然而，在一些實例中，視訊寫碼器200可發信非線性操作參數諸如用於每一輸入樣本、樣本之子集等，而不發信旗標。

在一些實例中，視訊編碼器200及視訊解碼器300可應用不同非線性運算子用於不同輸入樣本(例如後續輸入樣本)。亦即，作為ALF程序之部分，視訊編碼器200及視訊解碼器300可將第一非線性運算子應用於第一輸入樣本且可隨後將第二非線性運算子應用於第二輸入樣本，其中第一輸入樣本及第二輸入樣本可定義不同類型之輸入樣本(例如明度樣本、色度樣本等)。

在一個實例中，具有不同

參數之非線性函數(例如剪輯)的單一類型可用於每一輸入樣本。在一些實例中，視訊編碼器200及視訊解碼器300可利用單一類型非線性運算子(例如剪輯、S型等)用於每一輸入樣本，其中每一非線性運算子由不同參數(例如一或多個

參數)表示。亦即，視訊編碼器200及視訊解碼器300可利用具有第一參數集合之S型非線性運算子用於第一輸入樣本，且隨後可利用具有第二參數集合之S型非線性運算子用於第二輸入樣本，其中第一參數集合可有利地不同於第二參數集合。參數之差可基於樣本之類型或使視訊編碼器200及視訊解碼器300在各種寫碼情形中應用某些參數或某些操作的其他寫碼資訊。

在另一實例中，可使用具有不同

參數之多於一個類型非線性函數(例如剪輯及收縮)。在一些實例中，視訊編碼器200及視訊解碼器300可在單一ALF設計中利用多種類型非線性運算子(例如剪輯及收縮、剪輯及ReLU、剪輯及S型、收縮及S型，等)。在此類實例中，每一非線性運算子可由不同參數(例如

參數)表示，或在一些情形下可不包括

參數，諸如在ReLU非線性運算子情況下。

此等函數之級聯次序(亦即，組合次序)可係適應性的並被發信。視訊編碼器200及視訊解碼器300可組合此類非線性運算子以產生級聯非線性運算子(例如非線性運算子之組合)。在此類實例中，級聯此等非線性運算子的次序(例如組合之次序、級聯次序等)可係適應性的及/或被發信。在一實例中，視訊編碼器200可適應性地學習組合之次序，而在其他情形下，組合之次序可經預定義(例如未經發信)。

對於每一輸入樣本或樣本之子集，兩種類型非線性操作(例如剪輯、收縮、S型)及對應參數(亦即，

參數)可被發信。在發信實例中，視訊編碼器200可發信非線性運算子之類型(例如剪輯、收縮、S型、ReLU等)及對應參數(例如

參數)兩者。視訊編碼器200可發信每一輸入樣本或在一些情形下樣本子集之運算子類型及參數兩者。

在一些實例中，視訊編碼器200及視訊解碼器300可指派每一非線性操作給一索引。在另一實例中，視訊編碼器200可指派每一對非線性運算子類型(例如剪輯及ReLU、剪輯及S型、ReLU及S型等)及對應參數(例如

參數)給一索引。

在此類實例中，視訊寫碼器200可發信索引值以指定應用於樣本(x_i )的一或多個非線性操作，其中每一非線性操作可包括一或多個非線性運算子之應用。在一些實例中，視訊編碼器200可使用固定長度程式碼、一元程式碼或截短一元程式碼以發信索引資訊。

在另一實例中，非線性函數類型及

參數可經單獨地發信。在一實例中，視訊寫碼器200可將非線性運算子之一或多種類型(例如S型、剪輯等)與對應

參數(例如S型參數、剪輯參數等)分開地發信。亦即，視訊寫碼器200可將非線性運算子類型與非線性運算子之參數(例如

)分開發信，且因而，視訊解碼器300可判定單獨信號指示非線性運算子之類型及非線性運算子之對應參數兩者(若存在)。

在一些實例中，參數可係濾波器依賴或位置依賴。在一實例中，用於非線性操作之參數可取決於在非線性操作之前的預先濾波操作及/或在非線性操作之後的後濾波操作。在另一實例中，非線性運算子之參數可為位置依賴的，諸如取決於輸入樣本相對於各別寫碼區塊之其他樣本的位置。

在一些實例中，非線性操作之單獨集合可經定義用於明度及色度通道。在一實例中，視訊編碼器200可定義用於明度分量的非線性操作之第一集合且可定義用於色度分量的非線性操作之第二集合。在一些實例中，非線性操作之第一集合諸如藉由包括相同非線性運算子可相似於非線性操作之第二集合。在另一實例中，非線性操作之第一集合及非線性操作之第二集合可包括單獨非線性操作。另外，視訊編碼器200可利用單獨ALF程序用於通道中之每一者，其中單獨ALF程序可彼此相同或不同。

在一些實例中，非線性操作之單獨集合可基於區塊/圖塊/圖像塊群組/圖像/圖像塊/磚之寫碼資訊(諸如預測類型、非零經量化係數之數目、量化參數、運動向量、框內模式等)而定義。在一實例中，視訊編碼器200可基於區塊/圖塊/圖像塊群組/圖像/圖像塊/磚之寫碼資訊(諸如基於預測類型、非零經量化係數之數目、量化參數、運動向量、框內模式等)定義非線性操作之單獨集合。在說明性實例中，視訊編碼器200可基於第一預測類型定義用於第一ALF設計的非線性操作之第一集合且可基於第二預測類型定義用於第二ALF設計之非線性操作之第二集合，其中非線性操作之第一集合可與非線性操作之第二集合分開。在一些實例中，用於第一ALF設計之非線性操作的第一集合可不同於用於第二ALF設計之非線性操作的第二集合。在另一實例中，視訊編碼器200可指派用於不同量化參數(QP)範圍的不同參數集合。在此類實例中，視訊編碼器200可編碼指示參數的語法元素，其中該等參數取決於視訊編碼器200用以寫碼特定區塊/圖塊/圖像塊群組/圖像/圖像塊/磚的QP(例如QP之範圍)。視訊解碼器300可解碼語法元素以便判定參數(例如濾波器係數、非線性運算子參數等)。視訊解碼器300接著可基於藉由經解碼語法元素指示的經編碼參數執行所指示ALF程序。

非線性操作候選者之實例包括： a {

,

,

,

} b {

,

,

,

,

,

,

,

} c {

,

,

,

,

,

,

,

} 其中第一實例由四個候選者組成且其他兩個實例由八個候選者組成。在一些實例中，視訊編碼器200及視訊解碼器300可基於BD定義

之選擇。視訊寫碼器接著可相應地按比例調整

。

在一些實例中，當視訊編碼器200及視訊解碼器300將剪輯操作或收縮操作應用於濾波器係數之集合時，係數之動態範圍隨後可變化(例如增加或減少)。在此等情況下，視訊編碼器200及視訊解碼器300可相應地調整寫碼操作。在一個實例中，當視訊編碼器200應用

時，視訊編碼器200可調整寫碼操作以發信

，而不是x_i 。

圖13為說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU。儘管關於視訊編碼器200 (圖1及圖3)加以描述，但應理解，其他裝置可經組態以執行類似於圖13之方法的方法。

在此實例中，視訊編碼器200初始地預測當前區塊(350)。舉例而言，視訊編碼器200可形成當前區塊之預測區塊。視訊編碼器200接著可計算當前區塊之殘餘區塊(352)。為計算殘餘區塊，視訊編碼器200可計算當前區塊之原始未經編碼區塊與預測區塊之間的差。

視訊編碼器200接著可變換並量化殘餘區塊之係數(354)。接下來，視訊編碼器200可掃描殘餘區塊之經量化變換係數(356)。在掃描期間或在掃描之後，視訊編碼器200可熵編碼變換係數(358)。舉例而言，視訊編碼器200可使用CAVLC或CABAC編碼變換係數。視訊編碼器200接著可輸出區塊之經熵編碼資料(360)。在一些情形下，視訊編碼器200可實施重建構迴路。舉例而言，視訊編碼器200可實施重建構迴路以使用本文所揭示之適應性迴路濾波技術及/或ALF設計重建構經編碼視訊資料。根據本文所揭示之各種技術中之一或多者，視訊編碼器200可經組態以在計算殘餘區塊之後重建構當前區塊並將一或多個ALF程序應用於視訊資料(例如未經編碼視訊資料)。

在一實例中，在視訊編碼器200計算當前區塊之殘餘區塊(352)之後或在視訊編碼器200變換及量化殘餘區塊(354)之後，視訊編碼器200可經進一步組態以重建構當前區塊(361)。視訊編碼器200接著可判定及編碼指示用於視訊資料之複數個適應性迴路濾波程序中之一者的語法元素，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作；(b)一非線性操作，其繼之以一濾波操作；及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作(363)。另外，視訊編碼器200可將適應性迴路濾波程序(包括一或多個非線性操作中之任一者)應用於視訊資料(365)，並儲存經濾波區塊(367)。

在一實例中，視訊編碼器200可在適應性迴路濾波程序期間將一或多個非線性運算子217應用於視訊資料。視訊編碼器200可自適應性迴路濾波程序產生經濾波區塊。在一些情形下，視訊編碼器200接著可儲存經濾波區塊至記憶體。另外，視訊編碼器200可編碼指示應用一或多個非線性運算子所藉以之方式的語法元素。

在另一實例中，視訊編碼器200可判定非線性操作及濾波操作以在適應性迴路濾波程序中執行。視訊編碼器200接著可藉由將濾波操作及非線性操作應用於視訊資料而執行適應性迴路濾波程序。另外，視訊編碼器200可編碼指示執行適應性迴路濾波程序所藉以之方式的語法元素。在此類實例中，非線性操作可包括將一或多個非線性運算子217應用於傳入視訊資料。

圖14為說明用於解碼當前視訊資料區塊的實例方法之流程圖。當前區塊可包含當前CU。儘管關於視訊解碼器300 (圖1及圖4)加以描述，但應理解其他裝置可經組態以執行類似於圖14之方法的方法。

視訊解碼器300可接收當前區塊之經熵寫碼資料，諸如對應於當前區塊的殘餘區塊之變換係數的經熵寫碼預測資訊及經熵寫碼資料(370)。視訊解碼器300可對經熵寫碼資料進行熵解碼以判定當前區塊之預測資訊並再生殘餘區塊之變換係數(372)。視訊解碼器300可例如使用如由當前區塊之預測資訊所指示的框內或框間預測模式來預測當前區塊(374)，以計算當前區塊之預測區塊。視訊解碼器300接著可反掃描經再生之變換係數(376)，以產生經量化變換係數之區塊。視訊解碼器300接著可反量化及反變換係數以產生殘餘區塊(378)。視訊解碼器300可最後藉由組合預測區塊與殘餘區塊來解碼當前區塊(380)。

視訊寫碼器300可另外寫碼指示用於視訊資料之複數個適應性迴路濾波程序中之一者的語法元素，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作，(b)一非線性操作，其繼之以一濾波操作，及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作(383)，且基於該語法元素將所指示適應性迴路濾波程序應用於視訊資料(385)。視訊解碼器300接著可儲存經濾波區塊(387)。

在一實例中，在組合預測區塊與殘餘資料之後，視訊解碼器300可解碼指示在適應性迴路濾波程序期間將非線性操作應用於視訊資料所藉以之方式的語法元素。視訊解碼器300可基於語法元素將非線性操作應用於視訊資料。在一些情形下，視訊解碼器300可儲存經濾波區塊至記憶體。

在另一實例中，在組合預測區塊與殘餘資料之後，視訊解碼器300可解碼指示執行適應性迴路濾波程序所藉以之方式的語法元素。語法元素可指示非線性操作將應用於視訊資料。另外，視訊解碼器300經組態以結合適應性迴路濾波程序之濾波操作應用非線性操作。另外，視訊解碼器300可基於語法元素執行適應性迴路濾波程序。亦即，視訊解碼器300可將濾波及非線性操作之組合作為適應性迴路濾波程序之部分執行。

圖15為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波方法之流程圖。儘管關於視訊解碼器300 (圖1及圖4)加以描述，但應理解其他裝置可經組態以執行類似於圖15之方法的方法。

在一些實例中，視訊解碼器300可解碼指示執行適應性迴路濾波程序所藉以之方式的一語法元素，該語法元素指示非線性操作將應用於視訊資料，該非線性操作經組態以結合適應性迴路濾波程序之濾波操作而應用(1502)。另外，視訊解碼器300可基於語法元素執行適應性迴路濾波程序(1504)。在一實例中，視訊寫碼器可將非線性操作及濾波操作應用於視訊資料以產生經濾波視訊資料區塊。非線性操作可包括一或多個非線性運算子313之應用。實例非線性運算子313包括剪輯運算子、收縮運算子、S型函數或ReLU函數。在一些情形下，視訊解碼器300可儲存經濾波區塊至記憶體。

在一些實例中，語法元素指示非線性運算子313之級聯版本。在此等情況下，視訊解碼器300可解碼語法元素以判定非線性運算子313之級聯版本。在另一實例中，語法元素可指示非線性操作之參數。在一實例中，在非線性操作包括剪輯運算子的情況下，參數可包括一剪輯值。

在一些實例中，當執行適應性迴路濾波程序時，視訊解碼器300可首先判定用於組合非線性操作與濾波操作之次序。在一些情形下，該次序可包括繼之以濾波操作的非線性操作之組合或反過來。在說明性實例中，次序可包括應用繼之以濾波操作之非線性操作。在此類實例中，視訊解碼器300可應用繼之以濾波操作之非線性操作。

在一些實例中，視訊解碼器300可基於樣本位置、區塊大小、樣本值或色彩分量判定非線性操作。亦即，視訊解碼器300可經組態以在不發信情況下導出非線性操作。在此類實例中，視訊解碼器300可將該經判定非線性操作應用於適應性迴路濾波程序之輸入樣本。

在一些實例中，濾波操作可經預定義或係適應性的。在濾波操作為適應性的情況下，視訊解碼器300可判定用於濾波操作之一或多個濾波器係數。在一些實例中，視訊解碼器300可自旁側資訊判定濾波操作經預定義抑或適應性。在一實例中，視訊解碼器300可自旁側資訊判定給定濾波操作為適應性。回應於該判定，視訊解碼器300可實施包括非線性操作或多個非線性操作之適應性迴路濾波器。亦即，回應於該判定，視訊解碼器300啟用(例如接通)適應性迴路濾波程序。旁側資訊可包括分類資訊。適應性濾波器可包括經適應性訓練的濾波器。在涉及適應性濾波器情況下，視訊解碼器300可在發信情況下判定用於濾波操作之係數。在一實例中，視訊解碼器300可判定用於適應性的所有濾波操作之係數。

在一些實例中，視訊解碼器300可在複數個濾波階段中應用適應性迴路濾波程序之濾波操作，亦即，濾波操作可包括橫跨多個階段分裂的多個濾波操作。在此類實例中，複數個濾波階段可包括其中預先濾波操作經組態被應用的第一濾波階段，及其中後濾波操作經組態被應用的第二濾波階段。另外，視訊解碼器300可經組態以在各種不同濾波階段之間應用非線性操作。亦即，在一實例中，視訊解碼器300可應用預先濾波操作，繼之以非線性操作，及繼之以後濾波操作。在說明性實例中，視訊解碼器300可判定非線性操作包括一或多個剪輯運算子之應用。在此等情況下，視訊解碼器300可在預先濾波操作之後應用非線性操作。在此等情況下，視訊解碼器300可或可不在非線性操作之後應用後濾波操作。

在一些實例中，視訊解碼器300在執行適應性迴路濾波程序時可經組態以：將濾波操作及非線性操作之組合應用於視訊資料之經重建構區塊以產生經濾波視訊資料區塊。因而，視訊解碼器300可輸出經濾波區塊至DPB 314。

在一些實例中，預先剪輯操作可在適應性迴路濾波程序之前。在此等情況下，適應性迴路濾波程序之非線性操作與預先剪輯操作分開。亦即，定義適應性迴路濾波程序之語法元素定義適應性迴路濾波程序之一或多個非線性操作及一或多個濾波操作，且因此基於語法元素應用適應性迴路濾波程序。在此等情況下，單獨語法元素可用於定義預先剪輯操作。

在此類實例中，視訊資料為視訊資料之一寫碼區塊、視訊資料之一圖塊、視訊資料之一圖像塊、視訊資料之一磚及/或視訊資料之一圖像中的一者。亦即，視訊解碼器300可解碼視訊資料，其中視訊資料可能已藉由視訊編碼器200使用類似適應性迴路濾波程序編碼。

如上文所論述，如所描述的圖15之實例方法可藉由實施於電路中之一或多個處理器執行。該一或多個處理器可包括於視訊解碼器中或在一些實例中可包括於視訊編碼器中。

圖16為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波方法之流程圖。儘管關於視訊編碼器200 (圖1及圖3)加以描述，但應理解，其他裝置可經組態以執行類似於圖16之方法的方法。

在一些實例中，視訊編碼器200可判定非線性操作及濾波操作以在適應性迴路濾波程序中執行(1602)。在一些實例中，視訊編碼器200可判定至少一個非線性運算子以在適應性迴路濾波程序中應用，其中視訊編碼器200可藉由執行包括至少一個非線性運算子之應用的非線性操作而執行適應性迴路濾波程序。如所描述，適應性迴路濾波程序可包括濾波及非線性操作之級聯，以及在除本文中以外的一些實例中描述的其他排列。

在一些實例中，視訊編碼器200接著可藉由將濾波操作及非線性操作應用於視訊資料而執行適應性迴路濾波程序(1604)。在一實例中，視訊編碼器200可將適應性迴路濾波程序(包括至少一個濾波操作及至少一個非線性操作)應用於輸入樣本，如參考例如圖10至圖13所描述。

在一些實例中，視訊編碼器200可編碼指示執行適應性迴路濾波程序所藉以之方式的語法元素(1606)。如本文中所描述，語法元素可包括關於非線性操作及/或濾波操作之ALF資訊，包括在ALF程序中使用的係數及操作/運算子類型。

如上文所論述，如所描述的圖16之實例方法可藉由實施於電路中之一或多個處理器執行。該一或多個處理器可包括在視訊編碼器中，諸如在組合之視訊編碼器-解碼器中。

本發明之說明性實例包括：

實例1：一種用於解碼視訊資料之設備，該設備包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其實施於電路中且經組態以：解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及基於該語法元素執行該適應性迴路濾波程序。

實例2：如實例1之設備，其中該非線性操作包含包括以下各者中之一或多者的一或多個非線性運算子：一收縮運算子、一S型函數或一ReLU函數。

實例3：如實例1或2中任一項之設備，其中該語法元素指示該等非線性運算子之級聯版本。

實例4：如實例1至3中任一項之設備，其中該語法元素指示該非線性操作之參數。

實例5：如實例1至4中任一項之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以：判定用於組合該非線性操作及該濾波操作之一次序，其中該次序包括應用繼之以該濾波操作的該非線性操作；及應用繼之以該濾波操作的該非線性操作。

實例6：如實例1至5中任一項之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以：基於樣本位置、區塊大小、樣本值或色彩分量判定該非線性操作；及將該經判定非線性操作應用於該適應性迴路濾波程序之輸入樣本。

實例7：如實例1至6中任一項之設備，其中該濾波操作經預定義或係適應性的。

實例8：如實例7之設備，其中該濾波操作係適應性的，且其中該一或多個處理器經進一步組態以：判定用於該濾波操作之一或多個濾波器係數。

實例9：如實例7或8中任一項之設備，其中該一或多個處理器經進一步組態以：自旁側資訊判定該濾波操作經預定義抑或係適應性的。

實例10：如實例1至6中任一項之設備，其中該一或多個處理器經組態以在複數個濾波階段中應用該適應性迴路濾波程序之該濾波操作，其中該複數個濾波階段包括：一第一階段，其中一預先濾波操作經組態以在該非線性操作之前應用；及一第二階段，其中一後濾波操作經組態以在該非線性操作之後應用。

實例11：如實例10之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以：判定該非線性操作包括一或多個剪輯運算子之應用；及在該預先濾波操作之後應用該非線性操作。

實例12：如實例1至6及10或11中任一項之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以：將該濾波操作及該非線性操作之該組合應用於該視訊資料之一經重建構區塊以產生該視訊資料之一經濾波區塊；及輸出該經濾波區塊至一經解碼圖像緩衝器(DPB)。

實例13：如實例1至12中任一項之設備，其中一預先剪輯操作在該適應性迴路濾波程序之前，且其中該適應性迴路濾波程序之該非線性操作與該預先剪輯操作分開。

實例14：如實例1至13中任一項之設備，其中該視訊資料為視訊資料之一寫碼區塊、視訊資料之一圖塊、視訊資料之一圖像塊、視訊資料之一磚及/或視訊資料之一圖像中之一者。

實例15：如實例1至14中任一項之設備，其進一步包含經組態以在執行該適應性迴路濾波程序之後顯示經解碼視訊資料的一顯示器。

實例16：一種解碼視訊資料的方法，該方法包含：解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及基於該語法元素執行該適應性迴路濾波程序。

實例17：如實例16之方法，其中該非線性操作包含包括以下各者中之一或多者的一或多個非線性運算子：一收縮運算子、一S型函數或一ReLU函數。

實例18：如實例16或17中任一項之方法，其中該語法元素指示該等非線性運算子之級聯版本。

實例19：如實例16至18中任一項之方法，其中該語法元素指示該非線性操作之參數。

實例20：如實例16至19中任一項之方法，其中執行該適應性迴路濾波程序包含：判定用於組合該非線性操作及該濾波操作之一次序，其中該次序包括應用繼之以該濾波操作的該非線性操作；及應用繼之以該濾波操作的該非線性操作。

實例21：如實例16至20中任一項之方法，其中執行該適應性迴路濾波程序包含：基於樣本位置、區塊大小、樣本值或色彩分量判定該非線性操作；及將該經判定非線性操作應用於該適應性迴路濾波程序之輸入樣本。

實例22：如實例16至21中任一項之方法，其中該濾波操作經預定義或係適應性的。

實例23：如實例22之方法，其中該濾波操作係適應性的，且其中該方法進一步包含：判定用於該濾波操作之一或多個濾波器係數。

實例24：如實例16至20中任一項之方法，其進一步包含：基於旁側資訊判定該濾波操作是否係適應性的；及回應於該判定，啟用該適應性迴路濾波程序。

實例25：如實例16至24中任一項之方法，其進一步包含：在複數個濾波階段中應用該適應性迴路濾波程序之該濾波操作，其中該複數個濾波階段包括：一第一階段，其中一預先濾波操作經組態以在該非線性操作之前應用；及一第二階段，其中一後濾波操作經組態以在該非線性操作之後應用。

實例26：如實例16至25中任一項之方法，其中執行該適應性迴路濾波程序包含：判定該非線性操作包括一或多個剪輯運算子之應用；及在該預先濾波操作之後應用該非線性操作。

實例27：如實例16至26中任一項之方法，其中執行該適應性迴路濾波程序包含：將該濾波操作及該非線性操作之該組合應用於該視訊資料之一經重建構區塊以產生該視訊資料之一經濾波區塊；及輸出該經濾波區塊至一經解碼圖像緩衝器(DPB)。

實例28：如實例16至27中任一項之方法，其中一預先剪輯操作在該適應性迴路濾波程序之前，且其中該適應性迴路濾波程序之該非線性操作與該預先剪輯操作分開。

實例29：如實例16至28中任一項之方法，其中該視訊資料為視訊資料之一寫碼區塊、視訊資料之一圖塊、視訊資料之一圖像塊、視訊資料之一磚及/或視訊資料之一圖像中的一者。

實例30：一種用於編碼視訊資料之設備，該設備包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其實施於電路中且經組態以：判定一非線性操作及一濾波操作以在一適應性迴路濾波程序中執行；藉由將該濾波操作及該非線性操作應用於該視訊資料而執行該適應性迴路濾波程序；及編碼指示執行該適應性迴路濾波程序所藉以之一方式的一語法元素。

實例31：如實例30之設備，其中為編碼該語法元素，該一或多個處理器經組態以：編碼該語法元素以將該濾波操作或該非線性操作指示為該適應性迴路濾波程序之一第一操作。

實例32：如實例30或31中任一項之設備，其中為編碼該語法元素，該一或多個處理器經組態以：編碼該語法元素以指示用於該濾波操作及該非線性操作之一組合次序。

在一些實施中，上文所描述之實例1至15、16至29及/或30至32可使用包含用於執行各種操作中之一些或全部的一或多個構件之設備來實施。在實例33中，一種用於解碼視訊資料的設備包括：用於解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素的構件，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及用於基於該語法元素執行該適應性迴路濾波程序的構件。

實例34：如實例33之設備，其中該用於執行該適應性迴路濾波程序的構件包含：用於應用該非線性操作的構件；及用於在該非線性操作之後應用該濾波操作的構件。

實例35：如實例33或34中任一項之設備，其進一步包含：用於在藉由該非線性操作分開的複數個濾波階段中應用該適應性迴路濾波程序之該濾波操作的構件。

實例36：如實例33至35中任一項之設備，其中該用於執行該適應性迴路濾波程序的構件包含：用於將該非線性操作應用於該視訊資料之一經重建構區塊的構件。

在一些實施中，上文所描述之實例1至15、16至29及/或30至32可使用儲存指令之一電腦可讀儲存媒體來實施，該等指令當經實行時使一裝置之一或多個處理器執行各種操作中之一些或全部。在實例37中，可提供一儲存指令之電腦可讀儲存媒體，該等指令當經實行時使用於解碼及/或編碼視訊資料的一裝置之一或多個處理器：解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將結合一濾波操作應用於視訊資料；及基於該語法元素執行該適應性迴路濾波程序。

實例38：如實例37之非暫時性電腦可讀儲存媒體，其中該非線性操作包含包括以下各者中之一或多者的一或多個非線性運算子：一收縮運算子、一S型函數或一ReLU函數。

實例39：如實例37或38中任一項之非暫時性電腦可讀儲存媒體，其中該等指令當經實行時使該一或多個處理器：將該濾波操作及該非線性操作應用於該視訊資料之一經重建構區塊以產生該視訊資料之一經濾波區塊。

實例40：如實例37至39中任一項之非暫時性電腦可讀儲存媒體，其中該等指令當經實行時使該一或多個處理器：判定用於該濾波操作之一或多個濾波係數；及判定用於該非線性操作之一或多個參數。

實例41：如實例37至40中任一項之非暫時性電腦可讀儲存媒體，其中該等指令當經實行時使該一或多個處理器：判定用於組合該非線性操作與該濾波操作之一次序。

實例42：一種寫碼視訊資料的方法，該方法包含：對指示用於視訊資料之複數個適應性迴路濾波程序中之一者的語法元素進行寫碼，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作，(b)一非線性操作，其繼之以一濾波操作，及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作；且基於該語法元素將所指示適應性迴路濾波程序應用於該視訊資料。

實例43：如實例42之方法，其中該語法元素指示適應性迴路濾波程序(a)、(b)及/或(c)之級聯版本。

實例44：如實例42或43中任一項之方法，其中該單一濾波操作、該預先濾波操作或該後濾波操作中之一或多者經預定義。

實例45：如實例42至44中任一項之方法，其中該單一濾波操作、該預先濾波操作或該後濾波操作中之一或多者係適應性的，該方法進一步包含：接收用於該單一濾波操作、該預先濾波操作或該後濾波操作中之一或多者的濾波參數或濾波器係數中之一或多者。

實例46：如實例42至45中任一項之方法，其中該單一濾波操作、該預先濾波操作或該後濾波操作中之一或多者係適應性的且該單一濾波操作、該預先濾波操作或該後濾波操作中之一或多者經預定義，該方法進一步包含：接收指示該單一濾波操作、該預先濾波操作或該後濾波操作是否係適應性的一第二語法元素。

實例47：如實例42至46中任一項之方法，其中該單一濾波操作、該預先濾波操作或該後濾波操作中之一或多者係適應性的且該單一濾波操作、該預先濾波操作或該後濾波操作中之一或多者經預定義，該方法進一步包含：基於旁側資訊推斷該單一濾波操作、該預先濾波操作或該後濾波操作經預定義抑或係適應性的。

實例48：如實例47之方法，其中該旁側資訊包括分類資訊。

實例49：如實例42至48中任一項之方法，其中該視訊資料為視訊資料之一區塊、視訊資料之一圖塊、視訊資料之一圖像塊、視訊資料之一磚及/或視訊資料之一圖像中的一者。

實例50：如實例42至49中任一項之方法，其中該非線性操作為一剪輯操作、一收縮操作、一S型函數或一ReLU函數中之一或多者。

實例51：如實例42至50中任一項之方法，其中寫碼包含解碼。

實例52：如實例42至51中任一項之方法，其中寫碼包含編碼。

實例53：一種用於寫碼視訊資料之裝置，該裝置包含一或多個用於執行實例42至52中任一項之方法的構件。

實例54：如實例53之裝置，其中該一或多個構件包含實施於電路中之一或多個處理器。

實例55：如實例53或54中任一項之裝置，其進一步包含儲存該視訊資料之一記憶體。

實例56：如實例53至55中任一項之裝置，其進一步包含經組態以顯示經解碼視訊資料之一顯示器。

實例57：如實例53至56中任一項之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。

實例58：如實例53至57中任一項之裝置，其中該裝置包含一視訊解碼器。

實例59：如實例53至58中任一項之裝置，其中該裝置包含一視訊編碼器。

實例60：一種其上儲存有指令之電腦可讀儲存媒體，該等指令當經實行時使一或多個處理器執行實例42至52中任一項之方法。

實例61：如本發明中所描述之技術之任何組合。

在一些實施中，上文所描述之實例42至52及/或53至59可使用儲存指令的電腦可讀儲存媒體而實施，該等指令當經實行時使一裝置之一或多個處理器執行各種操作中之一些或全部。舉例而言，可提供一儲存指令之電腦可讀儲存媒體，該等指令當經實行時使用於解碼及/或編碼視訊資料之一裝置的一或多個處理器：寫碼指示用於視訊資料之複數個適應性迴路濾波程序中之一者的一語法元素，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作，(b)一非線性操作，其繼之以一濾波操作，及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作；且基於該語法元素將所指示適應性迴路濾波程序應用於該視訊資料。

在一些實施中，上文所描述之實例42至52及/或53至59可使用包含一或多個用於執行各種操作中之一些或全部的構件的設備來實施。舉例而言，一種用於編碼視訊資料之設備包括：用於對指示用於視訊資料之複數個適應性迴路濾波程序中之一者的一語法元素進行寫碼的構件，其中該複數個適應性迴路濾波程序包括(a)一單一濾波操作，(b)一非線性操作，其繼之以一濾波操作，及(c)一預先濾波操作，其繼之以一非線性操作，該非線性操作繼之以一後濾波操作；且基於該語法元素將所指示適應性迴路濾波程序應用於該視訊資料。

應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行，可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐皆係必要的)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。

在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元實行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

藉由實例而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。

指令可由一或多個處理器實行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」及「處理電路」可指上述結構或適用於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文所描述之功能性可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。又，可在一或多個電路或邏輯元件中充分實施該等技術。

本發明之技術可實施於多種裝置或設備中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。

各種實例已予以描述。此等及其他實例係在以下申請專利範圍之範疇內。

100:視訊編碼及解碼系統 102:源裝置 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀媒體 112:儲存裝置 114:檔案伺服器 116:目的地裝置 118:顯示裝置 120:記憶體 122:輸入介面 130:四分樹二進位樹(QTBT)結構 132:對應寫碼樹單元(CTU) 200:視訊編碼器 202:模式選擇單元 204:殘餘產生單元 206:變換處理單元 208:量化單元 210:反量化單元 212:反變換處理單元 214:重建構單元 216:濾波器單元 217:非線性運算子 218:經解碼圖像緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:反量化單元 308:反變換處理單元 310:重建構單元 312:濾波器單元 313:非線性運算子 314:經解碼圖像緩衝器(DPB) 316:運動補償單元 318:框內預測單元 320:經寫碼圖像緩衝器(CPB)記憶體 500:ALF濾波器支援 502:ALF濾波器支援 602:5×5菱形形狀濾波器支援 702:概念變換圖 802:變換之概念圖 902:變換之概念圖 1002:ALF程序 1004:濾波操作 1010:ALF程序 1012:非線性操作 1014:濾波操作 1020:ALF程序 1022:預先濾波操作 1024:非線性操作 1026:後濾波操作

圖1為說明可執行本文所揭示之各種技術中之一或多者的實例視訊編碼及解碼系統之方塊圖。

圖2A及圖2B為說明實例四分樹二進位樹(QTBT)結構及對應寫碼樹單元(CTU)之概念圖。

圖3為說明可執行本文所揭示之各種技術中之一或多者的實例視訊編碼器之方塊圖。

圖4為說明可執行本文所揭示之各種技術中之一或多者的實例視訊解碼器之方塊圖。

圖5為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波器(ALF)支援之概念圖。

圖6為說明根據本文所揭示之各種技術中之一或多者的實例5×5菱形形狀濾波器支援之概念圖。

圖7至圖9為說明根據本文所揭示之各種技術中之一或多者的實例幾何變換之概念圖。

圖10為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波程序之概念圖。

圖11為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波程序之概念圖。

圖12為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波程序之概念圖。

圖13為說明根據本文所揭示之各種技術中之一或多者的實例編碼方法之流程圖。

圖14為說明根據本文所揭示之各種技術中之一或多者的實例解碼方法之流程圖。

圖15為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波方法之流程圖。

圖16為說明根據本文所揭示之各種技術中之一或多者的實例適應性迴路濾波方法之流程圖。

在整個描述及圖中，相同參考標號表示相同元件。

1010:ALF程序

1012:非線性操作

1014:濾波操作

Claims (36)

1. 一種用於解碼視訊資料之設備，該設備包含： 一記憶體，其經組態以儲存該視訊資料；及 一或多個處理器，其實施於電路中且經組態以： 解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及 基於該語法元素執行該適應性迴路濾波程序。
2. 如請求項1之設備，其中該非線性操作包含包括以下各者中之一或多者的一或多個非線性運算子：一收縮運算子、一S型函數或一ReLU函數。
3. 如請求項2之設備，其中該語法元素指示該等非線性運算子之級聯版本。
4. 如請求項1之設備，其中該語法元素指示該非線性操作之參數。
5. 如請求項1之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以： 判定用於組合該非線性操作及該濾波操作的一次序，其中該次序包括應用繼之以該濾波操作之該非線性操作；及 應用繼之以該濾波操作之該非線性操作。
6. 如請求項1之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以： 基於樣本位置、區塊大小、樣本值或色彩分量判定該非線性操作；及 將該經判定非線性操作應用於該適應性迴路濾波程序之輸入樣本。
7. 如請求項1之設備，其中該一或多個處理器經組態以在複數個濾波階段中應用該適應性迴路濾波程序之該濾波操作， 其中該複數個濾波階段包括： 一第一階段，其中一預先濾波操作經組態以在該非線性操作之前應用，及 一第二階段，其中一後濾波操作經組態以在該非線性操作之後應用。
8. 如請求項7之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以： 判定該非線性操作包括一或多個剪輯運算子之應用；及 在該預先濾波操作之後應用該非線性操作。
9. 如請求項1之設備，其中為執行該適應性迴路濾波程序，該一或多個處理器經組態以： 將該濾波操作與該非線性操作之該組合應用於該視訊資料之一經重建構區塊以產生該視訊資料之一經濾波區塊；及 輸出該經濾波區塊至一經解碼圖像緩衝器(DPB)。
10. 如請求項1之設備，其中一預先剪輯操作在該適應性迴路濾波程序之前，且其中該適應性迴路濾波程序之該非線性操作與該預先剪輯操作分開。
11. 如請求項1之設備，其中該視訊資料為視訊資料之一寫碼區塊、視訊資料之一圖塊、視訊資料之一圖像塊、視訊資料之一磚及/或視訊資料之一圖像中的一者。
12. 如請求項1之設備，其進一步包含經組態以在執行該適應性迴路濾波程序之後顯示經解碼視訊資料的一顯示器。
13. 一種解碼視訊資料之方法，該方法包含： 解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及 基於該語法元素執行該適應性迴路濾波程序。
14. 如請求項13之方法，其中該非線性操作包含包括以下各者中之一或多者的一或多個非線性運算子：一收縮運算子、一S型函數或一ReLU函數。
15. 如請求項14之方法，其中該語法元素指示該等非線性運算子之級聯版本。
16. 如請求項13之方法，其中該語法元素指示該非線性操作之參數。
17. 如請求項13之方法，其中執行該適應性迴路濾波程序包含： 判定用於組合該非線性操作與該濾波操作的一次序，其中該次序包括應用繼之以該濾波操作之該非線性操作；及 應用繼之以該濾波操作之該非線性操作。
18. 如請求項13之方法，其中執行該適應性迴路濾波程序包含： 基於樣本位置、區塊大小、樣本值或色彩分量判定該非線性操作；及 將該經判定非線性操作應用於該適應性迴路濾波程序之輸入樣本。
19. 如請求項13之方法，其進一步包含： 基於旁側資訊判定該濾波操作是否係適應性的；及 回應於該判定，啟用該適應性迴路濾波程序。
20. 如請求項13之方法，其進一步包含： 在複數個濾波階段中應用該適應性迴路濾波程序之該濾波操作， 其中該複數個濾波階段包括： 一第一階段，其中一預先濾波操作經組態以在該非線性操作之前應用，及 一第二階段，其中一後濾波操作經組態以在該非線性操作之後應用。
21. 如請求項20之方法，其中執行該適應性迴路濾波程序包含： 判定該非線性操作包括一或多個剪輯運算子之應用；及 在該預先濾波操作之後應用該非線性操作。
22. 如請求項13之方法，其中執行該適應性迴路濾波程序包含： 將該濾波操作與該非線性操作之該組合應用於該視訊資料之一經重建構區塊以產生該視訊資料之一經濾波區塊；及 輸出該經濾波區塊至一經解碼圖像緩衝器(DPB)。
23. 如請求項13之方法，其中一預先剪輯操作在該適應性迴路濾波程序之前，且其中該適應性迴路濾波程序之該非線性操作與該預先剪輯操作分開。
24. 如請求項13之方法，其中該視訊資料為視訊資料之一寫碼區塊、視訊資料之一圖塊、視訊資料之一圖像塊、視訊資料之一磚及/或視訊資料之一圖像中的一者。
25. 一種用於編碼視訊資料之設備，該設備包含： 一記憶體，其經組態以儲存該視訊資料；及 一或多個處理器，其實施於電路中且經組態以： 判定一非線性操作及一濾波操作以在一適應性迴路濾波程序中執行； 藉由將該濾波操作及該非線性操作應用於該視訊資料而執行該適應性迴路濾波程序；以及 編碼指示執行該適應性迴路濾波程序所藉以之一方式的一語法元素。
26. 如請求項25之設備，其中為編碼該語法元素，該一或多個處理器經組態以： 編碼該語法元素以將該濾波操作或該非線性操作指示為該適應性迴路濾波程序之一第一操作。
27. 如請求項25之設備，其中為編碼該語法元素，該一或多個處理器經組態以： 編碼該語法元素以指示用於該濾波操作及該非線性操作之一組合次序。
28. 一種用於解碼視訊資料之設備，該設備包括： 用於解碼指示執行一適應性迴路濾波程序所藉以之一方式之一語法元素的構件，該語法元素指示一非線性操作將應用於該視訊資料，該非線性操作經組態以結合該適應性迴路濾波程序之一濾波操作而應用；及 用於基於該語法元素執行該適應性迴路濾波程序的構件。
29. 如請求項28之設備，其中該用於執行該適應性迴路濾波程序的構件包含： 用於應用該非線性操作的構件；及 用於在該非線性操作之後應用該濾波操作的構件。
30. 如請求項28之設備，其進一步包含： 用於在藉由該非線性操作分開的複數個濾波階段中應用該適應性迴路濾波程序之該濾波操作的構件。
31. 如請求項28之設備，其中該用於執行該適應性迴路濾波程序的構件包含： 用於將該非線性操作應用於該視訊資料之一經重建構區塊的構件。
32. 一種其上儲存有指令的非暫時性電腦可讀儲存媒體，該等指令當經實行時使一或多個處理器： 解碼指示執行一適應性迴路濾波程序所藉以之一方式的一語法元素，該語法元素指示一非線性操作將結合一濾波操作應用於視訊資料；及 基於該語法元素執行該適應性迴路濾波程序。
33. 如請求項32之非暫時性電腦可讀儲存媒體，其中該非線性操作包含包括以下各者中之一或多者的一或多個非線性運算子：一收縮運算子、一S型函數或一ReLU函數。
34. 如請求項32之非暫時性電腦可讀儲存媒體，其中該等指令在經實行時使得該一或多個處理器： 將該濾波操作及該非線性操作應用於該視訊資料之一經重建構區塊以產生該視訊資料之一經濾波區塊。
35. 如請求項32之非暫時性電腦可讀儲存媒體，其中該等指令在經實行時使得該一或多個處理器： 判定用於該濾波操作之一或多個濾波係數；及 判定用於該非線性操作之一或多個參數。
36. 如請求項32之非暫時性電腦可讀儲存媒體，其中該等指令在經實行時使得該一或多個處理器： 判定用於組合該非線性操作與該濾波操作之一次序。

Images