TW202243475A - 視頻譯碼中的雙向光流 - Google Patents

Abstract

一種對視頻資料進行解碼的方法，包括：決定針對視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對區塊啟用BDOF的決定來將區塊劃分為多個子區塊；針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值；基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本；以及基於預測樣本來重建區塊。

Description

視頻譯碼中的雙向光流

本申請主張享有於2020年12月22日遞交的美國暫時申請No. 63/129,190的權益，據此將上述申請的全部內容透過引用的方式併入。

本公開內容涉及視頻編碼和視頻解碼。

數位視頻能力可以被合併到各種各樣的設備中，包括數位電視機、數位直播系統、無線廣播系統、個人數位助理（PDA）、膝上型計算機或桌上型計算機、平板計算機、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放器、視頻遊戲設備、視頻遊戲控制台、蜂巢式或衛星無線電電話（所謂的“智慧型電話”）、視頻電話會議設備、視頻串流設備等。數位視頻設備實現視頻譯碼技術（諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4（第10部分，先進進階視頻譯碼（AVC））、ITU-T H.265/高效率視頻譯碼（HEVC）所定義的標準以及此類標準的擴展中描述的那些技術）。透過實現這樣的視頻譯碼技術，視頻設備可以更加高效地發送、接收、編碼、解碼和/或儲存數位視頻資訊。

視頻譯碼技術包括空間（圖片內（intra-picture））預測和/或時間（圖片間（inter-picture））預測以減少或去除在視頻序列中固有的冗餘。對於基於區塊的視頻譯碼，視頻切片（例如，視頻圖片或視頻圖片的一部分）可以被分割為視頻區塊，視頻區塊也可以被稱為譯碼樹單元（CTU）、譯碼單元（CU）和/或譯碼節點。圖片的經幀內編碼（I）的切片中的視頻區塊是使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測來編碼的。圖片的經幀間編碼（P或B）的切片中的視頻區塊可以使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測或者相對於其它參考圖片中的參考樣本的時間預測。圖片可以被稱為幀，並且參考圖片可以被稱為參考幀。

概括而言，本公開內容描述用於解碼器側運動向量推導的技術（例如，模板匹配、雙邊匹配、解碼器側運動向量（MV）改善和/或雙向光流（BDOF））。本公開內容的技術可以應用於任何現有視頻編解碼器，諸如HEVC（高效率視頻譯碼）、VVC（通用視頻譯碼）、基本視頻譯碼（EVC）或者是任何未來視頻譯碼標準中的高效譯碼工具。

在一個或多個示例中，對於BDOF，視頻編碼器和視頻解碼器（例如，視頻譯碼器）可以被配置為選擇性地決定是否針對區塊的子區塊執行每像素BDOF，或者是否旁路BDOF。也就是說，視頻編碼器可以選擇每像素BDOF或旁路所述每像素BDOF（或通常為BDOF）中的一項。以這種方式，示例技術可以促進可以提供更好的譯碼性能的譯碼模式之間的選擇，諸如當組合在一起時（例如，視頻譯碼器決定針對子區塊執行每像素BDOF或針對子區塊旁路BDOF的一項）。

此外，在一些示例中，決定針對子區塊執行每像素BDOF還是旁路BDOF可以是基於決定失真值並且將失真值與閾值進行比較的。在一些示例中，視頻譯碼器可以被配置為以這樣的方式決定失真值：當執行每像素BDOF時，視頻譯碼器可以重用用於決定失真值的計算。例如，如果視頻譯碼器要執行每像素BDOF，則視頻譯碼器可以重用來自為了決定失真值所執行的計算的結果來執行每像素BDOF。

在一個示例中，本公開內容描述一種對視頻資料進行解碼的方法，所述方法包括：決定針對所述視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊；針對所述多個子區塊中的一個或多個子區塊中的每個子區塊，決定相應的失真值；基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及基於所述預測樣本來重建所述區塊。

在一個示例中，本公開內容描述一種用於對視頻資料進行解碼的設備，所述設備包括：記憶體，其被配置為儲存所述視頻資料；以及處理電路，其耦接到所述記憶體並且被配置為：決定針對所述視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊；針對所述多個子區塊中的一個或多個子區塊中的每個子區塊，決定相應的失真值；基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及基於所述預測樣本來重建所述區塊。

在一個示例中，本公開內容描述一種其中儲存指令的計算機可讀儲存媒體，所述指令在被執行時使得一個或多個處理器進行以下操作：決定針對視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊；針對所述多個子區塊中的一個或多個子區塊中的每個子區塊，決定相應的失真值；基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及基於所述預測樣本來重建所述區塊。

在一個示例中，本公開內容描述一種用於對視頻資料進行解碼的設備，所述設備包括：用於決定針對所述視頻資料的區塊啟用雙向光流（BDOF）的構件；用於基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊的構件；用於針對所述多個子區塊中的一個或多個子區塊中的每個子區塊，決定相應的失真值的構件；用於基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的構件；用於基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本的構件；以及用於基於所述預測樣本來重建所述區塊的構件。

在圖式和以下描述中闡述一個或多個示例的細節。根據描述、圖式和申請專利範圍，其它特徵、目的和優點將是顯而易見的。

視頻編碼器可以被配置為從一個或多個參考圖片中的一個或多個參考區塊產生預測區塊以及用於所述區塊的一個或多個運動向量。視頻編碼器決定預測區塊和區塊之間的殘差，並且用信號通知指示殘差的資訊和用於決定運動向量的資訊。視頻解碼器接收指示殘差的資訊和用於決定運動向量的資訊。視頻解碼器決定運動向量，根據運動向量決定參考區塊，並且產生預測區塊。視頻解碼器將預測區塊增加到殘差中以重建所述區塊。

在一些情況下，參考區塊和預測區塊是相同的區塊。然而，並非在所有示例中都要求參考區塊和預測區塊相同。在一些示例中，例如在雙預測中，視頻編碼器和視頻解碼器可以基於第一運動向量來決定第一參考區塊，並且基於第二運動向量來決定第二參考區塊。視頻編碼器和視頻解碼器可以混合第一和第二參考區塊以產生預測區塊。

此外，在一些示例中，視頻編碼器和視頻解碼器可以基於對第一和第二參考區塊的樣本值的調整來產生預測區塊。調整樣本值以產生預測區塊的樣本的一種示例方法被稱為雙向光流（BDOF）。例如，假設I ⁽⁰⁾(x,y)是指第一參考區塊，並且I ⁽¹⁾(x,y)是指第二參考區塊。在BDOF中，預測區塊可以被視為I ⁽⁰⁾(x,y)加I ⁽¹⁾(x,y)。如下所述，作為決定預測樣本的程序的一部分，視頻編碼器和視頻解碼器可以決定調整因子（即，b(x,y)）並且將調整因子增加到預測區塊（即，I ⁽⁰⁾(x,y) + I ⁽¹⁾(x,y) + b(x,y)）。可以對I ⁽⁰⁾(x,y) + I ⁽¹⁾(x,y) + b(x,y)的結果進行附加的縮放和偏移，以決定預測樣本。

在BDOF中，視頻編碼器和視頻解碼器利用運動向量來決定調整因子（例如，乘以或增加的因子）以調整預測區塊的樣本值以產生預測樣本。作為一個示例，視頻編碼器和視頻解碼器可以透過增加第一參考區塊、第二參考區塊的對應樣本和從運動改善產生的對應值來產生預測樣本。

可能存在各種類型的BDOF技術。BDOF的一個示例是子區塊BDOF，並且BDOF技術的另一示例是每像素BDOF。在子區塊BDOF中，視頻編碼器和視頻解碼器決定用於子區塊的運動改善（也被稱為改善運動）。對於子區塊BDOF，視頻編碼器和視頻解碼器使用相同的運動改善來調整來自預測區塊的樣本，其中，可以利用第一參考區塊和第二參考區塊來產生預測區塊（例如，第一參考區塊和第二參考區塊的和，或者第一參考區塊和第二參考區塊的加權平均）。在每像素BDOF中，視頻編碼器和視頻解碼器可以決定對於當前區塊中的兩個或更多個樣本可能不同的運動改善因子。對於每像素BDOF，視頻編碼器和視頻解碼器可以使用在每像素樣本上決定的運動改善（也被稱為改善運動）來調整來自預測區塊的樣本，所述預測區塊可以利用第一參考區塊和第二參考區塊產生的。

可以在區塊級別選擇性地啟用BDOF或其它改善技術，但是可以基於失真值來推斷是否在子區塊級別應用BDOF。例如，視頻編碼器可以針對區塊啟用BDOF，並且用信號通知指示針對所述區塊啟用BDOF的資訊。

作為響應，視頻解碼器可以基於關於針對區塊啟用BDOF的決定來將區塊劃分為多個子區塊。儘管針對所述區塊啟用BDOF，但是視頻解碼器可以在逐子區塊的基礎上決定是否實際執行或旁路BDOF。例如，視頻解碼器針對多個子區塊中的一個或多個子區塊中的每個子區塊決定相應的失真值。

根據本公開內容中描述的一個或多個示例，視頻解碼器可以基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項。例如，視頻解碼器可以決定第一子區塊的第一失真值，並且基於第一失真值來決定針對第一子區塊執行每像素BDOF。視頻解碼器可以決定第二子區塊的第二失真值，並且基於第二失真值來決定針對第二子區塊旁路BDOF，等等。

在一個或多個示例中，如果視頻解碼器決定執行BDOF，則視頻解碼器可以執行每像素BDOF，並且其它BDOF技術可能不可用於視頻解碼器。也就是說，視頻解碼器可以在逐子區塊的基礎上決定針對每個子區塊進行執行每像素BDOF或旁路BDOF中的一項。當執行BDOF時，可用於視頻解碼器的BDOF技術可以是每像素BDOF，並且其它BDOF技術可能不可用。

在一個或多個示例中，如上所述，視頻解碼器可以決定失真值，以在逐子區塊的基礎上決定是否執行每像素BDOF或是否旁路BDOF。在一些示例中，如下文將更詳細地描述的，視頻解碼器可以重用用於決定失真值的計算，以決定每像素BDOF的每像素運動改善。例如，對於第一子區塊，視頻解碼器可以決定第一失真值。假設對於第一子區塊，視頻解碼器決定啟用每像素BDOF。在一些示例中，視頻解碼器不是重新計算決定每像素運動改善所需的所有值，而是可以被配置為重用來自視頻解碼器為決定每像素BDOF而執行的計算的結果來決定每像素運動改善。

視頻解碼器可以被配置為基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本。例如，假設針對子區塊執行每像素BDOF。在所述示例中，視頻解碼器可以透過基於每像素運動改善來改善預測區塊（例如，透過組合兩個參考區塊而產生的區塊）的樣本來產生用於子區塊的預測樣本。作為另一示例，假設針對子區塊旁路BDOF。在所述示例中，視頻解碼器可以不執行預測區塊的樣本的改善以產生預測樣本。事實上，預測區塊的樣本可以與預測樣本相同（或者可能具有不基於BDOF的某種調整）。例如，當旁路BDOF時，視頻編碼器和視頻解碼器可以透過決定第一參考區塊和第二參考區塊中的對應樣本的加權平均來產生預測樣本。

視頻解碼器可以基於預測樣本來重建區塊。例如，視頻解碼器可以接收指示預測樣本和區塊的樣本之間的差異的殘差值，並且將殘差值增加到預測樣本以重建區塊。以上示例是從視頻解碼器的角度描述的。視頻編碼器可以被配置為執行類似的技術。例如，由視頻解碼器產生的預測樣本應當與由視頻編碼器產生的預測樣本相同。因此，視頻編碼器可以執行與上述技術類似的技術，以採用與視頻解碼器相同的方式決定預測樣本。

圖1是示出可以執行本公開內容的技術的示例視頻編碼和解碼系統100的方塊圖。概括而言，本公開內容的技術涉及對視頻資料進行譯碼（編碼和/或解碼）。通常，視頻資料包括用於處理視頻的任何資料。因此，視頻資料可以包括原始的未經編碼的視頻、經編碼的視頻、經解碼（例如，經重建）的視頻、以及視頻元資料（例如，信令資料）。

如圖1所示，在所述示例中，系統100包括來源設備102，來源設備102提供要被目的地設備116解碼和顯示的、經編碼的視頻資料。具體地，來源設備102經由計算機可讀媒體110來將視頻資料提供給目的地設備116。來源設備102和目的地設備116可以包括各種各樣的設備中的任何一種，包括桌上型計算機、筆記本計算機（即，膝上型計算機）、行動設備、平板計算機、機上盒、諸如智慧型電話之類的電話手機、電視機、相機、顯示設備、數位媒體播放器、視頻遊戲控制台、視頻串流式傳輸設備、廣播接收機設備等。在一些情況下，來源設備102和目的地設備116可以被配備用於無線通信，並且因此可以被稱為無線通信設備。

在圖1的示例中，來源設備102包括視頻來源104、記憶體106、視頻編碼器200以及輸出介面108。目的地設備116包括輸入介面122、視頻解碼器300、記憶體120以及顯示設備118。根據本公開內容，來源設備102的視頻編碼器200和目的地設備116的視頻解碼器300可以被配置為應用用於解碼器側運動向量推導技術（諸如模板匹配、雙邊匹配、解碼器側運動向量（MV）改善和雙向光流）的技術。因此，來源設備102表示視頻編碼設備的示例，而目的地設備116表示視頻解碼設備的示例。在其它示例中，來源設備和目的地設備可以包括其它組件或排列。例如，來源設備102可以從諸如外部相機之類的外部視頻來源接收視頻資料。同樣，目的地設備116可以與外部顯示設備對接，而不是包括積體顯示設備。

如圖1所示的系統100僅是一個示例。通常，任何數位視頻編碼和/或解碼設備可以執行用於解碼器側運動向量推導技術（諸如模板匹配、雙邊匹配、解碼器側運動向量（MV）改善和雙向光流（BDOF））的技術。來源設備102和目的地設備116僅是這樣的譯碼設備的示例，其中，來源設備102產生經譯碼的視頻資料以用於傳輸給目的地設備116。本公開內容將“譯碼”設備指為執行對資料的譯碼（例如，編碼和/或解碼）的設備。因此，視頻編碼器200和視頻解碼器300分別表示譯碼設備（具體地，視頻編碼器和視頻解碼器）的示例。在一些示例中，來源設備102和目的地設備116可以以基本上對稱的方式進行操作，使得來源設備102和目的地設備116中的每一者都包括視頻編碼和解碼組件。因此，系統100可以支援在來源設備102和目的地設備116之間的單向或雙向視頻傳輸，例如，以用於視頻串流式傳輸、視頻回放、視頻廣播或視頻電話。

通常，視頻來源104表示視頻資料（即原始的未經編碼的視頻資料）的來源，並且將視頻資料的順序的一系列圖片（也被稱為“幀”）提供給視頻編碼器200，視頻編碼器200對用於圖片的資料進行編碼。來源設備102的視頻來源104可以包括視頻擷取設備，諸如攝影機、包含先前擷取的原始視頻的視頻存檔單元、和/或用於從視頻內容提供者接收視頻的視頻饋送介面。作為另外的替代方式，視頻來源104可以產生基於計算機圖形的資料作為來源視頻，或者產生即時視頻、被存檔的視頻和計算機產生的視頻的組合。在每種情況下，視頻編碼器200對被擷取的、預擷取的或計算機產生的視頻資料進行編碼。視頻編碼器200可以將圖片從所接收的次序（有時被稱為“顯示次序”）重新排列為用於譯碼的譯碼次序。視頻編碼器200可以產生包括經編碼的視頻資料的位元串流。然後，來源設備102可以經由輸出介面108將經編碼的視頻資料輸出到計算機可讀媒體110上，以便由例如目的地設備116的輸入介面122接收和/或取回。

來源設備102的記憶體106和目的地設備116的記憶體120表示通用記憶體。在一些示例中，記憶體106、120可以儲存原始視頻資料，例如，來自視頻來源104的原始視頻以及來自視頻解碼器300的原始的經解碼的視頻資料。另外或替代地，記憶體106、120可以儲存可由例如視頻編碼器200和視頻解碼器300分別執行的軟體指令。儘管記憶體106和記憶體120在所述示例中被示為與視頻編碼器200和視頻解碼器300分離，但是應當理解的是，視頻編碼器200和視頻解碼器300還可以包括用於在功能上類似或等效目的的內部記憶體。此外，記憶體106、120可以儲存例如從視頻編碼器200輸出並且輸入到視頻解碼器300的經編碼的視頻資料。在一些示例中，記憶體106、120的部分可以被分配為一個或多個視頻緩衝器，例如，以儲存原始的經解碼和/或經編碼的視頻資料。

計算機可讀媒體110可以表示能夠將經編碼的視頻資料從來源設備102輸送到目的地設備116的任何類型的媒體或設備。在一個示例中，計算機可讀媒體110表示通信媒體，其使得來源設備102能夠例如經由射頻網路或基於計算機的網路，來即時地向目的地設備116直接發送經編碼的視頻資料。輸出介面108可以根據諸如無線通信協定之類的通信標準來對包括經編碼的視頻資料的傳輸信號進行調變，並且輸入介面122可以根據諸如無線通信協定之類的通信標準來對所接收的傳輸信號進行解調。通信媒體可以包括任何無線或有線通信媒體，例如，射頻（RF）頻譜或一條或多條實體傳輸線。通信媒體可以形成諸如以下各項的基於封包的網路的一部分：區域網路、廣域網路、或諸如網際網路之類的全球網路。通信媒體可以包括路由器、交換機、基地台、或對於促進從來源設備102到目的地設備116的通信而言可以有用的任何其它設備。

在一些示例中，來源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地，目的地設備116可以經由輸入介面122從儲存設備112存取經編碼的資料。儲存設備112可以包括各種分散式或本地存取的資料儲存媒體中的任何一種，諸如硬碟驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼的視頻資料的任何其它適當的數位儲存媒體。

在一些示例中，來源設備102可以將經編碼的視頻資料輸出到檔案伺服器114或者可以儲存由來源設備102產生的經編碼的視頻資料的另一中間儲存設備。目的地設備116可以經由流式傳輸或下載來從檔案伺服器114存取被儲存的視頻資料。

檔案伺服器114可以是能夠儲存經編碼的視頻資料並且將所述經編碼的視頻資料發送給目的地設備116的任何類型的伺服器設備。檔案伺服器114可以表示網頁伺服器（例如，用於網站）、被配置為提供檔案傳輸協定服務（諸如檔案傳輸協定（FTP）或基於單向傳輸的檔案遞送（FLUTE）協定）的伺服器、內容遞送網路（CDN）設備、超文本傳輸協定（HTTP）伺服器、多媒體廣播多播服務（MBMS）或增強型MBMS（eMBMS）伺服器、和/或網路附接儲存（NAS）設備。檔案伺服器114可以另外或替代地實現一種或多種HTTP串流式傳輸協定，諸如基於HTTP的動態自適應串流式傳輸（DASH）、HTTP即時串流式傳輸（HLS）、即時串流式傳輸協定（RTSP）、HTTP動態串流式傳輸等。

目的地設備116可以透過任何標準資料連接（包括網際網路連接）來從檔案伺服器114存取經編碼的視頻資料。這可以包括適於存取被儲存在檔案伺服器114上的經編碼的視頻資料的無線信道（例如，Wi-Fi連接）、有線連接（例如，數位用戶線（DSL）、電纜數據機等）、或這兩者的組合。輸入介面122可以被配置為根據上文討論的用於從檔案伺服器114取回或接收媒體資料的各種協定或者用於取回媒體資料的其它此類協定中的任何一種或多種進行操作。

輸出介面108和輸入介面122可以表示無線發射機/接收機、數據機、有線聯網組件（例如，乙太網卡）、根據各種IEEE 802.11標準中的任何一種標準進行操作的無線通信組件、或其它實體組件。在其中輸出介面108和輸入介面122包括無線組件的示例中，輸出介面108和輸入介面122可以被配置為根據蜂巢式通信標準（諸如4G、4G-LTE（長期演進）、改進的LTE、5G等）來傳輸資料（諸如經編碼的視頻資料）。在其中輸出介面108包括無線發射機的一些示例中，輸出介面108和輸入介面122可以被配置為根據其它無線標準（諸如IEEE 802.11規範、IEEE 802.15規範（例如，ZigBee™）、Bluetooth™標準等）來傳輸資料（諸如經編碼的視頻資料）。在一些示例中，來源設備102和/或目的地設備116可以包括相應的單晶片系統（SoC）設備。例如，來源設備102可以包括用於執行被賦予視頻編碼器200和/或輸出介面108的功能的SoC設備，並且目的地設備116可以包括用於執行被賦予視頻解碼器300和/或輸入介面122的功能的SoC設備。

本公開內容的技術可以應用於視頻譯碼，以支援各種多媒體應用中的任何一種，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流式視頻傳輸（諸如基於HTTP的動態自適應串流式傳輸（DASH））、被編碼到資料儲存媒體上的數位視頻、對被儲存在資料儲存媒體上的數位視頻的解碼、或其它應用。

目的地設備116的輸入介面122從計算機可讀媒體110（例如，通信媒體、儲存設備112、檔案伺服器114等）接收經編碼的視頻位元串流。經編碼的視頻位元串流可以包括由視頻編碼器200定義的諸如以下語法元素之類的信令資訊（其也被視頻解碼器300使用）：所述語法元素具有描述視頻區塊或其它譯碼單元（例如，切片、圖片、圖片組、序列等）的特性和/或處理的值。顯示設備118將經解碼的視頻資料的經解碼的圖片顯示給用戶。顯示設備118可以表示各種顯示設備中的任何一種，諸如液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器、或另一種類型的顯示設備。

儘管在圖1中未示出，但是在一些示例中，視頻編碼器200和視頻解碼器300可以各自與音頻編碼器和/或音頻解碼器整合，並且可以包括適當的MUX-DEMUX單元或其它硬體和/或軟體，以處理包括公共資料串流中的音頻和視頻兩者的經多工的串流。如果適用，MUX-DEMUX單元可以遵循ITU H.223多工器協定或其它協定（諸如用戶資料報協定（UDP））。

視頻編碼器200和視頻解碼器300各自可以被實現為各種適當的編碼器和/或解碼器電路中的任何一種，諸如一個或多個微處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、場域可程式化閘陣列（FPGA）、離散邏輯、軟體、硬體、韌體、或其任何組合。當所述技術部分地用軟體實現時，設備可以將用於軟體的指令儲存在適當的非暫時性計算機可讀媒體中，並且使用一個或多個處理器，用硬體來執行指令以執行本公開內容的技術。也就是說，可以存在其上儲存指令的計算機可讀儲存媒體，所述指令在被執行時使得一個或多個處理器執行本公開內容中描述的示例技術。視頻編碼器200和視頻解碼器300中的每一者可以被包括在一個或多個編碼器或解碼器中，編碼器或解碼器中的任一者可以被整合為相應設備中的組合編碼器/解碼器（CODEC）的一部分。包括視頻編碼器200和/或視頻解碼器300的設備可以包括積體電路、微處理器、和/或無線通信設備（諸如蜂巢式電話）。

下面描述視頻譯碼標準。視頻譯碼標準包括ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺、ITU-T H.263、ISO/IEC MPEG-4視覺和ITU-T H.264（也被稱為ISO/IEC MPEG-4 AVC），包括其可調整視頻譯碼（SVC）和多視圖視頻譯碼（MVC）擴展。另外，高效率視頻譯碼（HEVC）或ITU-T H.265（包括其範圍擴展、多視圖擴展（MV-HEVC）和可調整擴展（SHVC））已經由視頻譯碼聯合協作小組（JCT-VC）以及ITU-T視頻譯碼專家組（VCEG）的三維視頻譯碼擴展開發聯合協作小組（JCT-3V）和ISO/IEC動畫專家組（MPEG）開發。HEVC規範可從ITU-T H.265獲得，“Series H: Audiovisual and Multimedia Systems, Infrastructure of Audiovisual Services-Coding of Moving Video, High efficiency Video Coding”，國際電信聯盟，2016年12月，664頁。

ITU-T VCEG（Q6/16）和ISO/IEC MPEG（JTC 1/SC 29/WG 11）研究壓縮能力顯著超過HEVC標準（包括其當前擴展和螢幕內容譯碼和高動態範圍譯碼的近期擴展）的未來視頻譯碼技術的標準化。這些小組正在被稱為聯合視頻探索小組（JVET）的協作努力下共同開展這項探索活動，以評估他們在這一領域的專家提出的壓縮技術設計。參考軟體的最新版本（即，VCC測試模型10（VTM 10.0））可以從https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM獲得。

視頻編碼器200和視頻解碼器300可以根據視頻譯碼標準（諸如ITU-T H.265（也被稱為高效率視頻譯碼（HEVC）標準）或對其的擴展（諸如多視圖和/或可調整視頻譯碼擴展））進行操作。替代地，視頻編碼器200和視頻解碼器300可以根據其它專有或行業標準（諸如ITU-T H.266，還被稱為通用視頻譯碼（VVC））進行操作。VVC標準的草案是在以下文檔中描述的：Bross等人，“Versatile Video Coding (Draft 10)”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組（JVET），第18次會議：透過電話會議，2020年6月22日-7月1日，JVET-S2001-vA（下文中被稱為“VVC草案10”）。VVC草案10的編輯改進是在以下文檔中描述的：Bross等人，“Versatile Video Coding Editorial Refinements on Draft 10”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組（JVET），第20次會議：透過電話會議，2020年10月7日-16日，JVET-T2001-v2。通用視頻譯碼和測試模型10（VTM 10.0）的演算法描述可以被稱為：J.Chen，Y.Ye和S.Kim，“Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11)”，JVET-T2002，2020年12月（下文中被稱為JVET-T2002）。然而，本公開內容的技術不限於任何特定的譯碼標準。

通常，視頻編碼器200和視頻解碼器300可以執行對圖片的基於區塊的譯碼。術語“區塊”通常指包括要被處理的（例如，在編碼和/或解碼程序中要被編碼、被解碼或以其它方式使用的）資料的結構。例如，區塊可以包括亮度和/或色度資料的樣本的二維矩陣。通常，視頻編碼器200和視頻解碼器300可以對以YUV（例如，Y、Cb、Cr）格式表示的視頻資料進行譯碼。也就是說，並不是對用於圖片的樣本的紅色、綠色和藍色（RGB）資料進行譯碼，視頻編碼器200和視頻解碼器300可以對亮度和色度分量進行譯碼，其中，色度分量可以包括紅色色相和藍色色相色度分量兩者。在一些示例中，視頻編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示，並且視頻解碼器300將YUV表示轉換為RGB格式。替代地，預處理和後處理單元（未示出）可以執行這些轉換。

概括而言，本公開內容可以涉及對圖片的譯碼（例如，編碼和解碼）以包括對圖片的資料進行編碼或解碼的程序。類似地，本公開內容可以涉及對圖片的區塊的譯碼以包括對用於區塊的資料進行編碼或解碼（例如，預測和/或殘差譯碼）的程序。經編碼的視頻位元串流通常包括用於表示譯碼決策（例如，譯碼模式）以及將圖片分割為區塊的語法元素的一系列值。因此，關於對圖片或區塊進行譯碼的引用通常應當被理解為對用於形成圖片或區塊的語法元素的值進行譯碼。

HEVC定義各種區塊，包括譯碼單元（CU）、預測單元（PU）和轉換單元（TU）。根據HEVC，視頻譯碼器（諸如視頻編碼器200）根據四叉樹結構來將譯碼樹單元（CTU）分割為CU。也就是說，視頻譯碼器將CTU和CU分割為四個相等的、不重疊的正方形，並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為“葉節點”，並且這種葉節點的CU可以包括一個或多個PU和/或一個或多個TU。視頻譯碼器可以進一步分割PU和TU。例如，在HEVC中，殘差四叉樹（RQT）表示對TU的分區。在HEVC中，PU表示幀間預測資料，而TU表示殘差資料。經幀內預測的CU包括幀內預測資訊，諸如幀內模式指示。

作為另一示例，視頻編碼器200和視頻解碼器300可以被配置為根據VVC進行操作。根據VVC，視頻譯碼器（諸如視頻編碼器200）將圖片分割為多個譯碼樹單元（CTU）。視頻編碼器200可以根據樹結構（諸如四叉樹-二叉樹（QTBT）結構或多類型樹（MTT）結構）分割CTU。QTBT結構去除多種分割類型的概念，諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別：根據四叉樹分割而被分割的第一級別、以及根據二叉樹分割而被分割的第二級別。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於譯碼單元（CU）。

在MTT分割結構中，可以使用四叉樹（QT）分割、二叉樹（BT）分割以及一種或多種類型的三叉樹（TT）（也被稱為三元樹（TT））分割來對區塊進行分割。三叉樹或三元樹分割是其中區塊被分為三個子區塊的分割。在一些示例中，三叉樹或三元樹分割將區塊劃分為三個子區塊，而不透過中心劃分原始區塊。MTT中的分割類型（例如，QT、BT和TT）可以是對稱的或不對稱的。

在一些示例中，視頻編碼器200和視頻解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每一者，而在其它示例中，視頻編碼器200和視頻解碼器300可以使用兩個或更多個QTBT或MTT結構，諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構（或者用於相應色度分量的兩個QTBT/MTT結構）。

視頻編碼器200和視頻解碼器300可以被配置為使用每HEVC的四叉樹分割、QTBT分割、MTT分割、或其它分割結構。為了解釋的目的，關於QTBT分割給出本公開內容的技術的描述。然而，應當理解的是，本公開內容的技術還可以應用於被配置為使用四叉樹分割或者還使用其它類型的分割的視頻譯碼器。

在一些示例中，CTU包括具有三個樣本陣列的圖片的亮度樣本的譯碼樹區塊（CTB）、色度樣本的兩個對應CTB、或者單色圖片或使用三個單獨的色彩平面而譯碼的圖片的樣本的CTB、以及用於對樣本進行譯碼的語法結構。CTB可以是針對N的某個值而言的NxN樣本區塊，使得將分量劃分為CTB是一種分割。分量是來自包括以4:2:0、4:2:2或4:4:4色彩格式的圖片的三個陣列（亮度和兩個色度）的一個陣列或來自三個陣列之一的單個樣本、或包括以單色格式的圖片的陣列或所述陣列的單個樣本。在一些示例中，譯碼區塊是針對M和N的一些值而言的MxN樣本區塊，使得將CTB劃分為譯碼區塊是一種分割。

可以以各種方式在圖片中對區塊（例如，CTU或CU）進行封包。作為一個示例，磚塊（brick）可以指圖片中的特定瓦片（tile）內的CTU列的矩形區域。瓦片可以是圖片中的特定瓦片列和特定瓦片行內的CTU的矩形區域。瓦片行指CTU的矩形區域，其具有等於圖片的高度的高度以及由語法元素（例如，諸如在圖片參數集中）指定的寬度。瓦片列指CTU的矩形區域，其具有由語法元素指定的高度（例如，諸如在圖片參數集中）以及等於圖片的寬度的寬度。

在一些示例中，可以將瓦片分割為多個磚塊，每個磚塊可以包括瓦片內的一個或多個CTU列。沒有被分割為多個磚塊的瓦片也可以被稱為磚塊。然而，作為瓦片的真實子集的磚塊可以不被稱為瓦片。

圖片中的磚塊也可以以切片來排列。切片可以是圖片的整數個磚塊，其可以唯一地被包含在單個網路抽象層（NAL）單元中。在一些示例中，切片包括多個完整的瓦片或者僅包括一個瓦片的完整磚塊的連續序列。

本公開內容可以互換地使用“NxN”和“N乘N”來指區塊（諸如CU或其它視頻區塊）在垂直和水平維度方面的樣本維度，例如，16x16個樣本或16乘16個樣本。通常，16x16 CU在垂直方向上將具有16個樣本（y = 16），並且在水平方向上將具有16個樣本（x = 16）。同樣地，NxN CU通常在垂直方向上具有N個樣本，並且在水平方向上具有N個樣本，其中N表示非負整數值。CU中的樣本可以按行和列來排列。此外，CU不一定需要在水平方向上具有與在垂直方向上相同的數量的樣本。例如，CU可以包括NxM個樣本，其中M不一定等於N。

視頻編碼器200對用於CU的表示預測和/或殘差資訊以及其它資訊的視頻資料進行編碼。預測資訊指示將如何預測CU以便形成用於CU的預測區塊。殘差資訊通常表示在編碼之前的CU的樣本與預測區塊之間的逐樣本差。

為了預測CU，視頻編碼器200通常可以透過幀間預測或幀內預測來形成用於CU的預測區塊。幀間預測通常指根據先前譯碼的圖片的資料來預測CU，而幀內預測通常指根據同一圖片的先前譯碼的資料來預測CU。為了執行幀間預測，視頻編碼器200可以使用一個或多個運動向量來產生預測區塊。視頻編碼器200通常可以執行運動搜尋，以識別例如在CU與參考區塊之間的差異方面與CU緊密匹配的參考區塊。視頻編碼器200可以使用絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）、或其它這種差計算來計算差度量，以決定參考區塊是否與當前CU緊密匹配。在一些示例中，視頻編碼器200可以使用單向預測或雙向預測來預測當前CU。

VVC的一些示例還提供仿射運動補償模式，其可以被認為是幀間預測模式。在仿射運動補償模式下，視頻編碼器200可以決定表示非平移運動（諸如放大或縮小、旋轉、透視運動或其它不規則的運動類型）的兩個或更多個運動向量。

為了執行幀內預測，視頻編碼器200可以選擇幀內預測模式來產生預測區塊。VVC的一些示例提供六十七種幀內預測模式，包括各種方向性模式、以及平面模式和DC模式。通常，視頻編碼器200選擇幀內預測模式，幀內預測模式描述當前區塊的相鄰樣本，其中要根據該當前區塊的相鄰樣本來預測當前區塊（例如，CU的區塊）的樣本。假定視頻編碼器200以光柵掃描次序（從左到右、從上到下）對CTU和CU進行譯碼，則這樣的樣本通常可以是在與當前區塊相同的圖片中在當前區塊的上方、左上方或左側。

視頻編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如，對於幀間預測模式，視頻編碼器200可以對表示使用各種可用幀間預測模式中的哪一種的資料以及用於對應模式的運動資訊進行編碼。對於單向或雙向幀間預測，例如，視頻編碼器200可以使用進階運動向量預測（AMVP）或合併模式來對運動向量進行編碼。視頻編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。

在諸如對區塊的幀內預測或幀間預測之類的預測之後，視頻編碼器200可以計算用於所述區塊的殘差資料。殘差資料（諸如殘差區塊）表示在區塊與用於所述區塊的預測區塊之間的逐樣本差，所述預測區塊是使用對應的預測模式來形成的。視頻編碼器200可以將一個或多個轉換應用於殘差區塊，以在轉換域中而非在樣本域中產生經轉換的資料。例如，視頻編碼器200可以將離散餘弦轉換（DCT）、整數轉換、小波轉換或概念上類似的轉換應用於殘差視頻資料。另外，視頻編碼器200可以在第一轉換之後應用二次轉換，諸如模式相關的不可分離二次轉換（MDNSST）、信號相關轉換、Karhunen-Loeve轉換（KLT）等。視頻編碼器200在應用一個或多個轉換之後產生轉換係數。

如上所述，在任何轉換以產生轉換係數之後，視頻編碼器200可以執行對轉換係數的量化。量化通常指如下的程序：在所述程序中，對轉換係數進行量化以可能地減少用於表示轉換係數的資料量，從而提供進一步的壓縮。透過執行量化程序，視頻編碼器200可以減少與一些或所有轉換係數相關聯的位元深度。例如，視頻編碼器200可以在量化期間將 n位元的值向下捨入為 m位元的值，其中 n大於 m。在一些示例中，為了執行量化，視頻編碼器200可以執行對要被量化的值的按位元右移。

在量化之後，視頻編碼器200可以掃描轉換係數，從而從包括經量化的轉換係數的二維矩陣產生一維向量。可以將掃描設計為將較高能量（並且因此較低頻率）的轉換係數放在向量的前面，並且將較低能量（並且因此較高頻率）的轉換係數放在向量的後面。在一些示例中，視頻編碼器200可以利用預定義的掃描次序來掃描經量化的轉換係數以產生經串行化的向量，並且然後對向量的經量化的轉換係數進行熵編碼。在其它示例中，視頻編碼器200可以執行自適應掃描。在掃描經量化的轉換係數以形成一維向量之後，視頻編碼器200可以例如根據上下文自適應二進制算術譯碼（CABAC）來對一維向量進行熵編碼。視頻編碼器200還可以對用於描述與經編碼的視頻資料相關聯的元資料的語法元素的值進行熵編碼，以供視頻解碼器300在對視頻資料進行解碼時使用。

為了執行CABAC，視頻編碼器200可以將上下文模型內的上下文分配給要被發送的符號。上下文可以涉及例如符號的相鄰值是否為零值。概率決定可以是基於被分配給符號的上下文的。

視頻編碼器200還可以例如在圖片標頭、區塊標頭、切片標頭中為視頻解碼器300產生語法資料（諸如基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料）、或其它語法資料（諸如序列參數集（SPS）、圖片參數集（PPS）或視頻參數集（VPS））。同樣地，視頻解碼器300可以對這樣的語法資料進行解碼以決定如何解碼對應的視頻資料。

以這種方式，視頻編碼器200可以產生位元串流，其包括經編碼的視頻資料，例如，描述將圖片分割為區塊（例如，CU）以及用於所述區塊的預測和/或殘差資訊的語法元素。最終，視頻解碼器300可以接收位元串流並且對經編碼的視頻資料進行解碼。

通常，視頻解碼器300執行與由視頻編碼器200執行的程序相反的程序，以對位元串流的經編碼的視頻資料進行解碼。例如，視頻解碼器300可以使用CABAC，以與視頻編碼器200的CABAC編碼程序基本上類似的、但是相反的方式來對用於位元串流的語法元素的值進行解碼。語法元素可以定義用於將圖片分割為CTU、以及根據對應的分割結構（諸如QTBT結構）對每個CTU進行分割以定義CTU的CU的分割資訊。語法元素還可以定義用於視頻資料的區塊（例如，CU）的預測和殘差資訊。

殘差資訊可以由例如經量化的轉換係數來表示。視頻解碼器300可以對區塊的經量化的轉換係數進行逆量化和逆轉換以重現用於所述區塊的殘差區塊。視頻解碼器300使用經信號通知的預測模式（幀內預測或幀間預測）和相關的預測資訊（例如，用於幀間預測的運動資訊）來形成用於所述區塊的預測區塊。視頻解碼器300然後可以對預測區塊和殘差區塊（在逐個樣本的基礎上）進行組合以重現原始區塊。視頻解碼器300可以執行附加處理，諸如執行去區塊程序以減少沿著區塊的邊界的視覺偽影。

根據本公開內容的技術，視頻編碼器200和視頻解碼器300可以被配置為執行雙向光流（BDOF）。例如，視頻編碼器200可以被配置為：作為對當前區塊進行編碼的一部來執行BDOF，並且視頻解碼器300可以被配置為：作為對當前區塊進行解碼的一部分來執行BDOF。

如更詳細地描述的，在一些示例中，視頻譯碼器（例如，視頻編碼器200和/或視頻解碼器300）可以被配置為：將輸入區塊劃分為多個子區塊，其中輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於多個子區塊中的子區塊；將子區塊劃分為多個子子區塊；決定一個或多個子子區塊的改善運動向量，其中，一個或多個子子區塊中的子子區塊的改善運動向量對於子子區塊中的多個樣本是相同的；以及基於一個或多個子子區塊的改善運動向量來針對子區塊執行BDOF。

作為另一示例，視頻譯碼器可以被配置為：將輸入區塊劃分為多個子區塊，其中輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於多個子區塊中的子區塊；將子區塊劃分為多個子子區塊，決定子區塊中一個或多個樣本中的每個樣本的經改善的運動向量；以及基於子區塊中一個或多個樣本中的每個樣本的經改善的運動向量來針對子區塊執行BDOF。

例如，如上所述，視頻編碼器200或視頻解碼器300可以決定子區塊中的一個或多個樣本中的每個樣本的經改善的運動向量，並且基於子區塊中的一個或多個樣本中的每個樣本的經改善的運動向量來執行BDOF。在本公開內容中，基於子區塊中的一個或多個樣本中的每個樣本的經改善的運動向量來執行BDOF被稱為“每像素BDOF”。例如，在每像素BDOF中，單獨地決定子區塊中的每個樣本的經改善的運動向量，而不是具有對於子區塊中的所有樣本都相同的一個經改善的運動向量。

經改善的運動向量不一定意味著子區塊的運動向量改變。事實上，可以使用樣本的經改善的運動向量來決定為了產生預測樣本而將預測區塊中的樣本調整的量。例如，對於第一子區塊的第一樣本，第一經改善的運動向量可以指示要將預測區塊中的第一樣本調整多少以產生第一預測樣本，對於第一子區塊的第二樣本，第二經改善的運動向量可以指示要將預測中的第二樣本調整多少以產生第二預測樣本，等等。

根據本公開內容中描述的一個或多個示例，視頻編碼器200和視頻解碼器300可以基於相應的失真值來決定針對區塊（例如，輸入區塊）的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項。例如，如上所述，視頻編碼器200和視頻解碼器300可以基於滿足條件來執行每像素BDOF。滿足條件可以是如果子區塊的失真值大於閾。

因此，在一些示例中，視頻編碼器200和視頻解碼器300的選項可以被設置為基於子區塊的失真值大於閾還是小於或等於閾來針對子區塊執行每像素BDOF或旁路BDOF。例如，在一些技術中，視頻編碼器200和視頻解碼器300可能在逐子區塊的基礎上執行每像素BDOF，但是不決定是否旁路BDOF。在可以在逐子區塊的基礎上旁路BDOF的一些技術中，每像素BDOF可能不可用。利用本公開內容中描述的示例技術，視頻編碼器200和視頻解碼器300可以被配置為選擇性地執行每像素BDOF或旁路BDOF，這可能導致適當地平衡解碼負擔的更好的視頻壓縮。

在一個或多個示例中，為了分別對視頻資料進行編碼或解碼，視頻編碼器200和視頻解碼器300可以被配置為決定對視頻資料的區塊啟用BDOF，並且基於關於針對所述區塊啟用BDOF的決定（或者更一般地，當針對所述區塊啟用BDOF時）來將所述區塊劃分為多個子區塊。視頻編碼器200和視頻解碼器300可以針對多個子區塊中的一個或多個子區塊中的每個子區塊決定相應的失真值。下面更詳細地描述決定相應的失真值的示例方法。視頻編碼器200和視頻解碼器300可以基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，並且基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本。

視頻編碼器200可以決定指示預測樣本和區塊的樣本之間的差異的殘差值，並且可以用信號通知殘差值。視頻解碼器300可以接收指示預測樣本和區塊的樣本之間的差異的殘差值，並且可以將殘差值增加到預測樣本以重建區塊。在一些示例中，為了接收殘差值，視頻解碼器300可以被配置為接收指示殘差值的資訊，視頻解碼器300從中決定殘差值。

概括而言，本公開內容可能涉及“用信號通知”某些資訊（諸如語法元素）。術語“用信號通知”通常可以指對用於語法元素的值和/或用於對經編碼的視頻資料進行解碼的其它資料的傳送。也就是說，視頻編碼器200可以在位元串流中用信號通知用於語法元素的值。通常，用信號通知指在位元串流中產生值。如上所述，來源設備102可以基本上即時地或不是即時地（諸如可能在將語法元素儲存到儲存設備112以供目的地設備116稍後取回時發生）將位元串流傳輸到目的地設備116。

圖2A和圖2B是示出示例四叉樹二叉樹（QTBT）結構130以及對應的譯碼樹單元（CTU）132的概念圖。實線表示四叉樹拆分，而虛線指示二叉樹拆分。在二叉樹的每個拆分（即非葉）節點中，用信號通知一個旗標以指示使用哪種拆分類型（即，水平或垂直），其中，在所述示例中，0指示水平拆分，而1指示垂直拆分。對於四叉樹拆分，由於四叉樹節點將區塊水平地並且垂直地拆分為具有相等大小的4個子區塊，因此無需指示拆分類型。因此，視頻編碼器200可以對以下各項進行編碼，而視頻解碼器300可以對以下各項進行解碼：用於QTBT結構130的區域樹級別（即實線）的語法元素（諸如拆分資訊）、以及用於QTBT結構130的預測樹級別（即虛線）的語法元素（諸如拆分資訊）。視頻編碼器200可以對用於由QTBT結構130的終端葉節點表示的CU的視頻資料（諸如預測和轉換資料）進行編碼，而視頻解碼器300可以對視頻資料進行解碼。

通常，圖2B的CTU 132可以與定義與QTBT結構130的處於第一和第二級別的節點相對應的區塊的大小的參數相關聯。這些參數可以包括CTU大小（表示樣本中的CTU 132的大小）、最小四叉樹大小（MinQTSize，其表示最小允許四叉樹葉節點大小）、最大二叉樹大小（MaxBTSize，其表示最大允許二叉樹根節點大小）、最大二叉樹深度（MaxBTDepth，其表示最大允許二叉樹深度）、以及最小二叉樹大小（MinBTSize，其表示最小允許二叉樹葉節點大小）。

QTBT結構的與CTU相對應的根節點可以在QTBT結構的第一級別處具有四個子節點，每個子節點可以是根據四叉樹分割來分割的。也就是說，第一級別的節點是葉節點（沒有子節點）或者具有四個子節點。QTBT結構130的示例將這樣的節點表示為包括具有實線分支的父節點和子節點。如果第一級別的節點不大於最大允許二叉樹根節點大小（MaxBTSize），則可以透過相應的二叉樹進一步對這些節點進行分割。可以對一個節點的二叉樹拆分進行迭代，直到從拆分產生的節點達到最小允許二叉樹葉節點大小（MinBTSize）或最大允許二叉樹深度（MaxBTDepth）。QTBT結構130的示例將這樣的節點表示為具有虛線分支。二叉樹葉節點被稱為譯碼單元（CU），其用於預測（例如，圖片內或圖片間預測）和轉換，而不進行任何進一步分割。如上所討論的，CU也可以被稱為“視頻區塊”或“區塊”。

在QTBT分割結構的一個示例中，CTU大小被設置為128x128（亮度樣本和兩個對應的64x64色度樣本），MinQTSize被設置為16x16，MaxBTSize被設置為64x64，MinBTSize（對於寬度和高度兩者）被設置為4，並且MaxBTDepth被設置為4。首先對CTU應用四叉樹分割以產生四叉樹葉節點。四叉樹葉節點可以具有從16x16（即MinQTSize）到128x128（即CTU大小）的大小。如果四叉樹葉節點為128x128，則由於所述大小超過MaxBTSize（即，在所述示例中為64x64），因此葉四叉樹節點將不被二叉樹進一步拆分。否則，四叉樹葉節點將被二叉樹進一步分割。因此，四叉樹葉節點也是用於二叉樹的根節點，並且具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth（在所述示例中為4）時，不允許進一步拆分。具有等於MinBTSize（在所述示例中為4）的寬度的二叉樹節點意味著不允許針對所述二叉樹節點進行進一步的垂直拆分（也就是說，對寬度的劃分）。類似地，具有等於MinBTSize的高度的二叉樹節點意味著不允許針對所述二叉樹節點進行進一步的水平拆分（也就是說，對高度的劃分）。如上所述，二叉樹的葉節點被稱為CU，並且根據預測和轉換而被進一步處理，而無需進一步分割。

圖3是示出可以執行本公開內容的技術的示例視頻編碼器200的方塊圖。圖3是出於解釋的目的而提供的，並且不應當被認為對在本公開內容中廣泛地舉例說明和描述的技術進行限制。出於解釋的目的，本公開內容描述根據VVC（ITU-T H.266，正在開發中）和HEVC（ITU-T H.265）技術的視頻編碼器200。然而，本公開內容的技術可以由被配置為其它視頻譯碼標準的視頻編碼設備來執行。

在圖3的示例中，視頻編碼器200包括視頻資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重建單元214、濾波器單元216、解碼圖片緩衝器（DPB）218和熵編碼單元220。視頻資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重建單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如，視頻編碼器200的單元可以被實現為一個或多個電路或邏輯元件，作為硬體電路的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視頻編碼器200可以包括附加或替代的處理器或處理電路以執行這些和其它功能。

視頻資料記憶體230可以儲存要由視頻編碼器200的組件來編碼的視頻資料。視頻編碼器200可以從例如視頻來源104（圖1）接收被儲存在視頻資料記憶體230中的視頻資料。DPB 218可以充當參考圖片記憶體，其儲存參考視頻資料以在由視頻編碼器200對後續視頻資料進行預測時使用。視頻資料記憶體230和DPB 218可以由各種記憶體設備中的任何一種形成，諸如動態隨機存取記憶體（DRAM）（包括同步DRAM（SDRAM））、磁阻RAM（MRAM）、電阻性RAM（RRAM）、或其它類型的記憶體設備。視頻資料記憶體230和DPB 218可以由相同的記憶體設備或單獨的記憶體設備來提供。在各個示例中，視頻資料記憶體230可以與視頻編碼器200的其它組件在晶片上（如圖所示），或者相對於那些組件在晶片外。

在本公開內容中，對視頻資料記憶體230的引用不應當被解釋為限於在視頻編碼器200內部的記憶體（除非如此具體地描述），或者不限於在視頻編碼器200外部的記憶體（除非如此具體地描述）。確切而言，對視頻資料記憶體230的引用應當被理解為儲存視頻編碼器200接收以用於編碼的視頻資料（例如，用於要被編碼的當前區塊的視頻資料）的參考記憶體。圖1的記憶體106還可以提供對來自視頻編碼器200的各個單元的輸出的暫時儲存。

示出圖3的各個單元以幫助理解由視頻編碼器200執行的操作。這些單元可以被實現為固定功能電路、可程式化電路、或其組合。固定功能電路指提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指可以被程式化以執行各種任務並且以可以執行的操作來提供彈性功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作類型通常是不可變的。在一些示例中，這些單元中的一個或多個單元可以是不同的電路區塊（固定功能或可程式化），並且在一些示例中，這些單元中的一個或多個單元可以是積體電路。

視頻編碼器200可以包括由可程式化電路形成的算術邏輯單元（ALU）、基本功能單元（EFU）、數位電路、類比電路和/或可程式化核心。在其中使用由可程式化電路執行的軟體來執行視頻編碼器200的操作的示例中，記憶體106（圖1）可以儲存視頻編碼器200接收並且執行的軟體的指令（例如，目標碼），或者視頻編碼器200內的另一記憶體（未示出）可以儲存這樣的指令。

視頻資料記憶體230被配置為儲存所接收的視頻資料。視頻編碼器200可以從視頻資料記憶體230取回視頻資料的圖片，並且將視頻資料提供給殘差產生單元204和模式選擇單元202。視頻資料記憶體230中的視頻資料可以是要被編碼的原始視頻資料。

模式選擇單元202包括運動估計單元222、運動補償單元224和幀內預測單元226。模式選擇單元202可以包括附加功能單元，其根據其它預測模式來執行視頻預測。作為示例，模式選擇單元202可以包括調色板單元、區塊內複製單元（其可以是運動估計單元222和/或運動補償單元224的一部分）、仿射單元、線性模型（LM）單元等。

模式選擇單元202通常協調多個編碼通路（pass），以測試編碼參數的組合以及針對這樣的組合所得到的率失真值。編碼參數可以包括將CTU分割為CU、用於CU的預測模式、用於CU的殘差資料的轉換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇編碼參數的具有比其它測試的組合更佳的率失真值的組合。

視頻編碼器200可以將從視頻資料記憶體230取回的圖片分割為一系列CTU，並且將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構（諸如上述HEVC的QTBT結構或四叉樹結構）來分割圖片的CTU。如上所述，視頻編碼器200可以透過根據樹結構來分割CTU，從而形成一個或多個CU。這樣的CU通常也可以被稱為“視頻區塊”或“區塊”。

通常，模式選擇單元202還控制其組件（例如，運動估計單元222、運動補償單元224和幀內預測單元226）以產生用於當前區塊（例如，當前CU，或者在HEVC中為PU和TU的重疊部分）的預測區塊。為了對當前區塊進行幀間預測，運動估計單元222可以執行運動搜尋以識別在一個或多個參考圖片（例如，被儲存在DPB 218中的一個或多個先前譯碼的圖片）中的一個或多個緊密匹配的參考區塊。具體地，運動估計單元222可以例如根據絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）等，來計算表示潛在參考區塊將與當前區塊的類似程度的值。運動估計單元222通常可以使用在當前區塊與所考慮的參考區塊之間的逐樣本差來執行這些計算。運動估計單元222可以識別從這些計算所得到的具有最低值的參考區塊，其指示與當前區塊最緊密匹配的參考區塊。

運動估計單元222可以形成一個或多個運動向量（MV），所述運動向量限定相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的的位置。然後，運動估計單元222可以將運動向量提供給運動補償單元224。例如，對於單向幀間預測，運動估計單元222可以提供單個運動向量，而對於雙向幀間預測，運動估計單元222可以提供兩個運動向量。然後，運動補償單元224可以使用運動向量來產生預測區塊。例如，運動補償單元224可以使用運動向量來取回參考區塊的資料。作為另一示例，如果運動向量具有分數樣本精準度，則運動補償單元224可以根據一個或多個插值濾波器來對用於預測區塊的值進行插值。此外，對於雙向幀間預測，運動補償單元224可以取回用於由相應的運動向量識別的兩個參考區塊的資料並且例如透過逐樣本平均或加權平均來將所取回的資料進行組合。

作為另一示例，對於幀內預測或幀內預測譯碼，幀內預測單元226可以根據與當前區塊相鄰的樣本來產生預測區塊。例如，對於方向性模式，幀內預測單元226通常可以在數學上將相鄰樣本的值進行組合，並且跨當前區塊在所定義的方向上填充這些計算出的值以產生預測區塊。作為另一示例，對於DC模式，幀內預測單元226可以計算當前區塊的相鄰樣本的平均值，並且產生預測區塊以包括針對預測區塊的每個樣本的所述得到的平均值。

模式選擇單元202將預測區塊提供給殘差產生單元204。殘差產生單元204從視頻資料記憶體230接收當前區塊的原始的未經編碼的版本，並且從模式選擇單元202接收預測區塊。殘差產生單元204計算在當前區塊與預測區塊之間的逐樣本差。所得到的逐樣本差定義用於當前區塊的殘差區塊。在一些示例中，殘差產生單元204可以決定殘差區塊中的樣本值之間的差，以使用殘差差分脈衝譯碼調變（RDPCM）來產生殘差區塊。在一些示例中，可以使用執行二進制減法的一個或多個減法器電路來形成殘差產生單元204。

在其中模式選擇單元202將CU分割為PU的示例中，每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視頻編碼器200和視頻解碼器300可以支援具有各種大小的PU。如上所指出的，CU的大小可以指CU的亮度譯碼區塊的大小，而PU的大小可以指PU的亮度預測單元的大小。假定特定CU的大小為2Nx2N，則視頻編碼器200可以支援用於幀內預測的2Nx2N或NxN的PU大小、以及用於幀間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視頻編碼器200和視頻解碼器300還可以支援針對用於幀間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。

在其中模式選擇單元202不將CU進一步分割為PU的示例中，每個CU可以與亮度譯碼區塊和對應的色度譯碼區塊相關聯。如上所述，CU的大小可以指CU的亮度譯碼區塊的大小。視頻編碼器200和視頻解碼器300可以支援2Nx2N、2NxN 或 Nx2N 的CU大小。

對於其它視頻譯碼技術（舉一些示例，諸如區塊內複製模式譯碼、仿射模式譯碼和線性模型（LM）模式譯碼），模式選擇單元202經由與譯碼技術相關聯的相應單元來產生用於正被編碼的當前區塊的預測區塊。在一些示例中（諸如調色板模式譯碼），模式選擇單元202可以不產生預測區塊，而是替代地產生指示基於所選擇的調色板來重建區塊的方式的語法元素。在這樣的模式下，模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。

如上所述，殘差產生單元204接收用於當前區塊和對應的預測區塊的視頻資料。然後，殘差產生單元204為當前區塊產生殘差區塊。為了產生殘差區塊，殘差產生單元204計算在預測區塊與當前區塊之間的逐樣本差。

轉換處理單元206將一種或多種轉換應用於殘差區塊，以產生轉換係數的區塊（本文中被稱為“轉換係數區塊”）。轉換處理單元206可以將各種轉換應用於殘差區塊，以形成轉換係數區塊。例如，轉換處理單元206可以將離散餘弦轉換（DCT）、方向轉換、Karhunen-Loeve轉換（KLT）、或概念上類似的轉換應用於殘差區塊。在一些示例中，轉換處理單元206可以對殘差區塊執行多種轉換，例如，初級轉換和二次轉換（諸如旋轉轉換）。在一些示例中，轉換處理單元206不對殘差區塊應用轉換。

量化單元208可以對轉換係數區塊中的轉換係數進行量化，以產生經量化的轉換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數（QP）值來對轉換係數區塊的轉換係數進行量化。視頻編碼器200（例如，經由模式選擇單元202）可以透過調整與CU相關聯的QP值來調整被應用於與當前區塊相關聯的轉換係數區塊的量化程度。量化可能引起資訊損失，並且因此，經量化的轉換係數可能具有與轉換處理單元206所產生的原始轉換係數相比較低的精準度。

逆量化單元210和逆轉換處理單元212可以將逆量化和逆轉換分別應用於經量化的轉換係數區塊，以從轉換係數區塊重建殘差區塊。重建單元214可以基於經重建的殘差區塊和由模式選擇單元202產生的預測區塊來產生與當前區塊相對應的重建區塊（儘管潛在地具有某種程度的失真）。例如，重建單元214可以將經重建的殘差區塊的樣本與來自模式選擇單元202所產生的預測區塊的對應樣本相加，以產生經重建的區塊。

濾波器單元216可以對經重建的區塊執行一個或多個濾波器操作。例如，濾波器單元216可以執行去區塊操作以減少沿著CU的邊緣的區塊效應偽影。在一些示例中，可以跳過濾波器單元216的操作。

視頻編碼器200將經重建的區塊儲存在DPB 218中。例如，在其中不執行濾波器單元216的操作的示例中，重建單元214可以將經重建的區塊儲存到DPB 218中。在其中執行濾波器單元216的操作的示例中，濾波器單元216可以將經濾波的重建區塊儲存到DPB 218中。運動估計單元222和運動補償單元224可以從DPB 218取回由經重建的（並且潛在地經濾波的）區塊形成的參考圖片，以對後續編碼的圖片的區塊進行幀間預測。另外，幀內預測單元226可以使用在DPB 218中的當前圖片的經重建的區塊來對當前圖片中的其它區塊進行幀內預測。

通常，熵編碼單元220可以對從視頻編碼器200的其它功能組件接收的語法元素進行熵編碼。例如，熵編碼單元220可以對來自量化單元208的經量化的轉換係數區塊進行熵編碼。作為另一示例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素（例如，用於幀間預測的運動資訊或用於幀內預測的幀內模式資訊）進行熵編碼。熵編碼單元220可以對作為視頻資料的另一示例的語法元素執行一個或多個熵編碼操作，以產生經熵編碼的資料。例如，熵編碼單元220可以執行上下文自適應變長譯碼（CAVLC）操作、CABAC操作、可變對可變（V2V）長度譯碼操作、基於語法的上下文自適應二進制算術譯碼（SBAC）操作、概率區間分割熵（PIPE）譯碼操作、指數哥倫布編碼操作、或對資料的另一種類型的熵編碼操作。在一些示例中，熵編碼單元220可以在其中語法元素未被熵編碼的旁路模式下操作。

視頻編碼器200可以輸出位元串流，其包括用於重建切片或圖片的區塊所需要的經熵編碼的語法元素。具體地，熵編碼單元220可以輸出位元串流。

關於區塊描述上述操作。這樣的描述應當被理解為用於亮度譯碼區塊和/或色度譯碼區塊的操作。如上所述，在一些示例中，亮度譯碼區塊和色度譯碼區塊是CU的亮度分量和色度分量。在一些示例中，亮度譯碼區塊和色度譯碼區塊是PU的亮度分量和色度分量。

在一些示例中，不需要針對色度譯碼區塊重複關於亮度編碼區塊執行的操作。作為一個示例，不需要重多工於識別用於亮度譯碼區塊的運動向量（MV）和參考圖片的操作來識別用於色度區塊的MV和參考圖片。確切而言，可以對用於亮度譯碼區塊的MV進行縮放以決定用於色度區塊的MV，並且參考圖片可以是相同的。作為另一示例，對於亮度譯碼區塊和色度譯碼區塊，幀內預測程序可以是相同的。

視頻編碼器200表示被配置為對視頻資料進行編碼的設備的示例，所述設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理單元，其在電路中實現並且被配置為：將輸入區塊劃分為多個子區塊，其中，輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於多個子區塊中的子區塊；將子區塊劃分為多個子子區塊；決定一個或多個子子區塊的經改善的運動向量，其中一個或多個子子區塊中的子子區塊的經改善的運動向量對於子子區塊中的多個樣本相同；以及基於一個或多個子子區塊的經改善的運動向量來針對子區塊執行BDOF。

作為另一個示例，在電路中實現的一個或多個處理單元可以被配置為：將輸入區塊劃分為多個子區塊，其中輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於多個子區塊中的子區塊；將子區塊劃分為多個子子區塊；決定子區塊中一個或多個樣本中的每個樣本的經改善的運動向量；以及基於子區塊中一個或多個樣本中的每個樣本的經改善的運動向量來針對子區塊執行BDOF。

作為又一示例，視頻編碼器200的處理電路可以被配置為：決定針對視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的決定來將所述區塊劃分為多個子區塊；針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值；基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本；決定指示預測樣本和區塊之間的差的殘差值；以及用信號通知指示殘差值的資訊。

圖4是示出可以執行本公開內容的技術的示例視頻解碼器300的方塊圖。圖4是出於解釋的目的而提供的，並且不對在本公開內容中廣泛地舉例說明和描述的技術進行限制。出於解釋的目的，本公開內容根據VVC（ITU-T H.266，正在開發中）和HEVC（ITU-T H.265）的技術描述視頻解碼器300。然而，本公開內容的技術可以由被配置用於其它視頻譯碼標準的視頻譯碼設備來執行。

在圖4的示例中，視頻解碼器300包括譯碼圖片緩衝器（CPB）記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310、濾波器單元312和解碼圖片緩衝器（DPB）134。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310、濾波器單元312和DPB 134中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如，視頻解碼器300的單元可以被實現為一個或多個電路或邏輯元件，作為硬體電路的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視頻解碼器300可以包括附加或替代的處理器或處理電路以執行這些和其它功能。

預測處理單元304包括運動補償單元316和幀內預測單元318。預測處理單元304可以包括加法單元，其根據其它預測模式來執行預測。作為示例，預測處理單元304可以包括調色板單元、區塊內複製單元（其可以形成運動補償單元316的一部分）、仿射單元、線性模型（LM）單元等。在其它示例中，視頻解碼器300可以包括更多、更少或不同的功能組件。

CPB記憶體320可以儲存要由視頻解碼器300的組件解碼的視頻資料，諸如經編碼的視頻位元串流。例如，可以從計算機可讀媒體110（圖1）獲得被儲存在CPB記憶體320中的視頻資料。CPB記憶體320可以包括儲存來自經編碼的視頻位元串流的經編碼的視頻資料（例如，語法元素）的CPB。此外，CPB記憶體320可以儲存除了經譯碼的圖片的語法元素之外的視頻資料，諸如表示來自視頻解碼器300的各個單元的輸出的暫時資料。DPB 314通常儲存經解碼的圖片，視頻解碼器300可以輸出經解碼的圖片，和/或在解碼經編碼的視頻位元串流的後續資料或圖片時使用經解碼的圖片作為參考視頻資料。CPB記憶體320和DPB 314可以由各種記憶體設備中的任何一種形成，諸如DRAM，包括SDRAM、MRAM、RRAM或其它類型的記憶體設備。CPB記憶體320和DPB 314可以由相同的記憶體設備或單獨的記憶體設備來提供。在各個示例中，CPB記憶體320可以與視頻解碼器300的其它組件在晶片上，或者相對於那些組件在晶片外。

另外或替代地，在一些示例中，視頻解碼器300可以從記憶體120（圖1）取回經譯碼的視頻資料。也就是說，記憶體120可以如上文所討論地利用CPB記憶體320來儲存資料。同樣，當視頻解碼器300的一些或全部功能是用要被視頻解碼器300的處理電路執行的軟體來實現時，記憶體120可以儲存要被視頻解碼器300執行的指令。

示出圖4中示出的各個單元以幫助理解由視頻解碼器300執行的操作。這些單元可以被實現為固定功能電路、可程式化電路、或其組合。類似於圖3，固定功能電路指提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指可以被程式化以執行各種任務並且以可以執行的操作來提供彈性功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作的類型通常是不可變的。在一些示例中，這些單元中的一個或多個單元可以是不同的電路區塊（固定功能或可程式化），並且在一些示例中，這些單元中的一個或多個單元可以是積體電路。

視頻解碼器300可以包括由可程式化電路形成的ALU、EFU、數位電路、類比電路和/或可程式化核心。在其中由在可程式化電路上執行的軟體執行視頻解碼器300的操作的示例中，晶片上或晶片外記憶體可以儲存視頻解碼器300接收並且執行的軟體的指令（例如，目標碼）。

熵解碼單元302可以從CPB接收經編碼的視頻資料，並且對視頻資料進行熵解碼以重現語法元素。預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310和濾波器單元312可以基於從位元串流中提取的語法元素來產生經解碼的視頻資料。

通常，視頻解碼器300逐區塊地重建圖片。視頻解碼器300可以單獨地對每個區塊執行重建操作（其中，當前正在被重建（即，被解碼）的區塊可以被稱為“當前區塊”）。

熵解碼單元302可以對定義經量化的轉換係數區塊的經量化的轉換係數的語法元素以及諸如量化參數（QP）和/或轉換模式指示之類的轉換資訊進行熵解碼。逆量化單元306可以使用與經量化的轉換係數區塊相關聯的QP來決定量化程度，並且同樣地，決定供逆量化單元306應用的逆量化程度。逆量化單元306可以例如執行按位元左移操作以對經量化的轉換係數進行逆量化。逆量化單元306從而可以形成包括轉換係數的轉換係數區塊。

在逆量化單元306形成轉換係數區塊之後，逆轉換處理單元308可以將一種或多種逆轉換應用於轉換係數區塊，以產生與當前區塊相關聯的殘差區塊。例如，逆轉換處理單元308可以將逆DCT、逆整數轉換、逆Karhunen-Loeve轉換（KLT）、逆旋轉轉換、逆方向轉換或另一逆轉換應用於轉換係數區塊。

此外，預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來產生預測區塊。例如，如果預測資訊語法元素指示當前區塊是經幀間預測的，則運動補償單元316可以產生預測區塊。在這種情況下，預測資訊語法元素可以指示在DPB 314中的要從其取回參考區塊的參考圖片、以及識別相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置的運動向量。運動補償單元316通常可以以與關於運動補償單元224（圖3）所描述的方式基本類似的方式來執行幀間預測程序。

作為另一示例，如果預測資訊語法元素指示當前區塊是經幀內預測的，則幀內預測單元318可以根據由預測資訊語法元素指示的幀內預測模式來產生預測區塊。再次，幀內預測單元318通常可以以與關於幀內預測單元226（圖3）所描述的方式基本上類似的方式來執行幀內預測程序。幀內預測單元318可以從DPB 314取回當前區塊的相鄰樣本的資料。

重建單元310可以使用預測區塊和殘差區塊來重建當前區塊。例如，重建單元310可以將殘差區塊的樣本與預測區塊的對應樣本相加來重建當前區塊。

濾波器單元312可以對經重建的區塊執行一個或多個濾波器操作。例如，濾波器單元312可以執行去區塊操作以減少沿著經重建的區塊的邊緣的區塊效應偽影。不一定在所有示例中都執行濾波器單元312的操作。

視頻解碼器300可以將經重建的區塊儲存在DPB 314中。例如，在其中不執行濾波器單元312的操作的示例中，重建單元310可以將經重建的區塊儲存到DPB 314中。在其中執行濾波器單元312的操作的示例中，濾波器單元312可以將經濾波的重建區塊儲存到DPB 314中。如上所討論的，DPB 314可以將參考資訊（諸如用於幀內預測的當前圖片以及用於後續運動補償的先前解碼的圖片的樣本）提供給預測處理單元304。此外，視頻解碼器300可以從DPB 314輸出經解碼的圖片（例如，經解碼的視頻），以用於在諸如圖1的顯示設備118之類的顯示設備上的後續呈現。

以這種方式，視頻解碼器300表示視頻解碼設備的示例，所述視頻解碼設備包括：記憶體，其被配置為儲存視頻資料；以及一個或多個處理單元，其在電路中實現並且被配置為：將輸入區塊劃分為多個子區塊，其中，輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於多個子區塊中的子區塊；將子區塊劃分為多個子子區塊；決定一個或多個子子區塊的經改善的運動向量，其中一個或多個子子區塊中的子子區塊的經改善的運動向量對於子子區塊中的多個樣本相同；以及基於一個或多個子子區塊的經改善的運動向量來針對子區塊執行BDOF。

作為另一示例，在電路中實現的一個或多個處理單元可以被配置為：將輸入區塊劃分為多個子區塊，其中輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於多個子區塊中的子區塊；將子區塊劃分為多個子子區塊；決定子區塊中一個或多個樣本中的每個樣本的經改善的運動向量；以及基於子區塊中一個或多個樣本中的每個樣本的經改善的運動向量來針對子區塊執行BDOF。

作為另一示例，視頻解碼器300的處理電路（例如，運動補償單元316）可以被配置為：決定針對視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的決定來將所述區塊劃分為多個子區塊；針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值；基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本；以及基於預測樣本來重建區塊。例如，處理電路可以接收指示預測樣本和區塊的樣本之間的差異的殘差值，並且將殘差值增加到預測樣本以重建區塊。

以下描述HEVC中的CU結構和運動向量預測。以下可以為CU和運動向量預測的以上描述提供附加的上下文，並且可以包括對以上描述的一些重複以幫助理解。

在HEVC中，切片中的最大譯碼單元被稱為譯碼樹區塊（CTB）或譯碼樹單元（CTU）。CTB可以包含四叉樹，其節點是譯碼單元。在HEVC主設定檔中，CTB的大小的範圍可以從16x16到64x64（但是技術上可以支援8x8 CTB大小）。譯碼單元（CU）可以是從CTB的相同大小到小到8x8。利用一種模式（即，幀間或幀內）來對每個譯碼單元進行譯碼。當對CU進行幀間譯碼時，可以將其進一步分割為2個或4個預測單元（PU），或者在未應用進一步的分割時，變為僅一個PU。當一個CU中存在兩個PU時，它們可以是一半大小的矩形或兩個矩形大小，其大小為CU的¼或¾。當對CU進行幀間譯碼時，每個PU具有一個運動資訊集合，其是利用唯一幀間預測模式來推導的。

以下描述運動向量預測。在HEVC標準中，存在兩種幀間預測模式，分別被稱為用於預測單元（PU）的合併（跳過被視為合併的特例）和進階運動向量預測（AMVP）模式。

在AMVP或合併模式下，為多個運動向量預測器維護運動向量（MV）候選列表。當前PU的運動向量以及合併模式下的參考索引是透過從MV候選列表中獲取一個候選來產生的。

MV候選列表包含用於合併模式的最多5個候選以及用於AMVP模式的僅兩個候選。合併候選可以包含運動資訊集合，例如，對應於參考圖片列表（列表0和列表1）和參考索引的運動向量。如果透過合併索引來識別合併候選，則決定用於預測當前區塊的參考圖片以及相關聯的運動向量。另一方面，在針對來自列表0或列表1的每個潛在預測方向的AMVP模式下，將顯式地用信號通知參考索引以及MV候選列表的MV預測器（MVP）索引，因為AMVP候選僅包含運動向量。在AMVP模式下，可以進一步改善預測的運動向量。可以類似地從相同的空間和時間相鄰區塊推導用於兩種模式的候選。

以下描述空間相鄰候選。例如，圖5A和圖5B分別是示出用於合併和進階運動向量預測器（AMVP）模式的空間相鄰運動向量候選的示例的概念圖。

對於特定PU（PU ₀）500，從圖5A和圖5B中示出的相鄰區塊推導空間MV候選，但是從區塊產生候選的方法對於合併和AMVP模式不同。在合併模式下，最多四個空間MV候選可以按照圖5A中所示的遞增順序推導，並且順序如下：左側（0，A1）、上方（1，B1）、右上方（2，B0）、左下方（3，A0）和左上方（4，B2），如圖5A中所示。

在AVMP模式下，相鄰區塊被劃分為兩組：左側組由區塊0和1組成，以及上方組由區塊2、3和4組成，如圖5B中的PU0 502中所示。對於每個組，引用與用信號通知的參考索引所指示的參考圖片相同的參考圖片的相鄰區塊中的潛在候選具有要選擇的最高優先級，以形成所述組的最終候選。所有相鄰區塊可能都不包含指向同一參考圖片的運動向量。因此，如果無法找到這樣的候選，則可以對第一可用候選進行縮放以形成最終候選，因此可以補償時間距離差異。

以下描述HEVC中的時間運動向量預測。將時間運動向量預測器（TMVP）候選（如果啟用並且可用的話）增加到空間運動向量候選之後的MV候選列表中。用於TMVP候選的運動向量推導的程序對於合併和AMVP模式兩者是相同的。然而，合併模式下用於TMVP候選的目標參考索引始終被設置為0。

TMVP候選推導的主區塊位置是共置PU之外的右下方區塊，在圖6A中示為區塊“T”（示為區塊602），以補償用於產生空間相鄰候選的上方和左側區塊的偏移。然而，如果所述區塊位於當前CTB列之外或者運動資訊不可用，則利用PU的中心區塊（示為區塊604）來替換所述區塊。

從在切片級別指示的共置圖片的共置PU推導用於TMVP候選的運動向量。用於共置PU的運動向量被稱為共置MV。類似於AVC中的時間直接模式，為了推導TMVP候選運動向量，對共置MV進行縮放以補償時間距離差，如圖6B所示。

以下描述HEVC中的運動預測的附加方面。以下值得一提的是合併和AMVP模式的若干方面。運動向量縮放：假設運動向量的值與呈現時間中的圖片的距離成比例。運動向量將兩個圖片（即參考圖片和包含運動向量的圖片（被稱為包含圖片））進行關聯。當利用一個運動向量來預測另一運動向量時，基於圖片順序計數（POC）值來計算包含圖片和參考圖片的距離。

對於要預測的運動向量，其相關聯的包含圖片和參考圖片兩者可能不同。因此，將計算新距離（基於POC）。並且基於這兩個POC距離來對運動向量進行縮放。對於空間相鄰候選，兩個運動向量的包含圖片相同，而參考圖片不同。在HEVC中，運動向量縮放應用於空間和時間相鄰候選的TMVP和AMVP兩者。

人工運動向量候選產生：如果運動向量候選列表未完成，則產生人工運動向量候選並且將其插入列表的末尾，直到其將具有所有候選為止。

在合併模式下，存在兩種類型的人工MV候選：僅針對B切片推導的組合候選和僅用於AMVP的零候選（如果第一種類型沒有提供足夠的人工候選的話）。對於已經在候選列表中並且具有必要運動資訊的每對候選，透過引用列表0中的圖片的第一候選的運動向量和引用列表1中的圖片的第二候選的運動向量的組合來推導雙向組合運動向量候選。

用於候選插入的修剪程序：來自不同區塊的候選可能恰好相同，這會降低合併/AMVP候選列表的效率。應用修剪程序來解決這個問題。修剪程序將當前候選列表中的一個候選與其它候選進行比較，以避免在一定程度上插入相同的候選。為了降低複雜性，僅應用於有限數量的修剪程序，而不是將每個潛在候選與所有其它現有候選進行比較。

以下描述模板匹配預測。模板匹配（TM）預測是基於幀速率上轉換（FRUC）技術的特殊合併模式。利用所述模式，區塊的運動資訊不是用信號通知的，而是（例如，由視頻解碼器300）在解碼器側推導出的。TM預測應用於AMVP模式和常規合併模式兩者。在AMVP模式下，基於模板匹配來決定MVP候選選擇，以選擇達到當前區塊模板和參考區塊模板之間的最小差異的候選。在常規合併模式中，用信號通知TM模式旗標以指示TM的使用，並且然後將TM應用於由合併索引指示的合併候選，以進行MV改善。

如圖7所示，模板匹配用於透過查找當前幀700中的模板（當前CU的上方和/或左側相鄰區塊）與參考幀702中的區塊（與模板的大小相同）之間的最接近匹配來推導當前CU的運動資訊。基於初始匹配錯誤選擇的AMVP候選，透過模板匹配來改善AMVP候選的MVP。對於由用信號通知的合併索引指示的合併候選，透過模板匹配來獨立地改善對應於L0和L1的合併候選的合併MV，並且然後利用更好的MV作為先驗來再次改善不太準確的MV。

對於成本函數，當運動向量指向分數樣本位置時，可以使用運動補償插值。為了降低複雜度，使用雙線性插值代替常規的8抽頭（tap）DCT-IF插值來進行模板匹配以在參考圖片上產生模板。按如下計算模板匹配的匹配成本 C：

在上述等式中，

是權重因子，根據經驗將其設置為4，

和

分別指示當前測試MV和初始MV（即，AMVP模式下的MVP候選或合併模式下的合併運動）。SAD（絕對差之和）用作模板匹配的匹配成本。

使用TM時，僅透過使用亮度樣本來改善運動。所推導的運動可以用於MC（運動補償）幀間預測的亮度和色度兩者。在決定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。

對於搜尋方法，MV改善是具有模板匹配成本的標準的基於模式的MV搜尋。支援兩種搜尋模式—用於MV改善的菱形搜尋和交叉搜尋。使用菱形模式以四分之一亮度樣本MVD精準度、接著利用交叉模式以四分之一亮度樣本MVD精準度、並且然後接著利用交叉模式以八分之一亮度樣本MVD改善，來直接搜尋MV。MV改善的搜尋範圍被設置為初始MV周圍的（-8,+8）亮度樣本。

以下描述雙邊匹配預測。雙邊匹配（也被稱為雙邊合併）（BM）預測是基於幀速率上轉換（FRUC）技術的另一種合併模式。當區塊被決定為應用BM模式時，透過使用用信號通知的合併候選索引在建構的合併列表中選擇合併候選，來推導兩個初始運動向量MV0和MV1。可以在MV0和MV1周圍執行雙邊匹配搜尋。基於最小雙邊匹配成本來推導最終MV0’和MV1’。

指向兩個參考區塊的運動向量差MVD0 800（由MV0’—MV0表示）和MVD1 802（由MV1’—MV1表示）可以與當前圖片和兩個參考圖片之間的時間距離（TD）（例如，TD0和TD1）成比例。圖8示出MVD0和MVD1的示例，其中TD1是TD0的4倍。

然而，存在一種選擇性設計，MVD0和MVD1在不考慮時間距離TD0和TD1的情況下鏡像。圖9示出鏡像MVD0 900和MVD1 902的示例，其中TD1是TD0的4倍。

雙邊匹配在初始MV0和MV1周圍執行區域搜尋，以推導最終MV0’和MV1’。區域搜尋應用3×3正方形搜尋模式以在搜尋範圍[-8,8]中循環。在每次搜尋迭代中，計算搜尋模式中的八個周圍MV的雙邊匹配成本，並且將其與中心MV的雙邊匹配成本進行比較。具有最小雙邊匹配成本的MV在下一搜尋迭代中成為新的中心MV。當當前中心MV在3×3正方形搜尋模式內具有最小成本或區域搜尋達到預定義的最大搜尋迭代時，終止區域搜尋。圖10示出搜尋範圍[-8,8]中的3×3正方形搜尋模式1000的示例。

以下描述解碼器側運動向量改善。為了增加合併模式的MV的精準度，在VVC中應用解碼器側運動向量改善（DMVR）。在雙預測操作中，在參考圖片列表L0和參考圖片列表L1中的初始MV周圍搜尋改善MV。DMVR方法計算參考圖片列表L0和列表L1中的兩個候選區塊之間的失真。如圖11所示，計算基於初始MV周圍的每個MV候選的區塊1102和1110之間的SAD。具有最低SAD的MV候選成為改善MV並且用於產生雙預測信號。

透過DMVR程序推導的改善MV用於產生幀間預測樣本，並且還在用於未來圖片譯碼的時間運動向量預測中使用。可以在解區塊程序中以及還在用於未來CU譯碼的空間運動向量預測中使用原始MV。

DMVR是基於子區塊的合併模式，其中預定義的最大預測單元為16x16亮度樣本。當CU的寬度和/或高度大於16個亮度樣本時，可以將CU進一步拆分成寬度和/或高度等於16個亮度樣本的子區塊。

以下描述搜尋方案。在DVMR中，圍繞初始MV搜尋點和MV偏移可以符合MV差異鏡像規則。例如，由DMVR檢查的由候選MV對（MV0,MV1）表示的任何點可以符合以下兩個等式：

在以上等式中，

表示參考圖片之一中的初始MV和改善MV之間的改善偏移。改善搜尋範圍是來自初始MV的兩個整數亮度樣本。搜尋包括整數樣本偏移搜尋階段和分數樣本改善階段。

針對整數樣本偏移搜尋應用25點全搜尋。首先計算初始MV對的SAD。如果初始MV對的SAD小於閾，則終止DMVR的整數樣本階段。否則，將按光柵掃描順序計算並且檢查剩餘24個點的SAD。選擇具有最小SAD的點作為整數樣本偏移搜尋階段的輸出。為了減少DMVR改善的不確定性的損失，在DMVR程序期間可能會偏好原始MV。初始MV候選所引用的參考區塊之間的SAD減少SAD值的1/4。

整數樣本搜尋之後跟有分數樣本改善。為了節省計算複雜性，透過使用參數誤差曲面方程來推導分數樣本改善，而不是利用SAD比較進行附加搜尋。分數樣本改善是基於整數樣本搜尋階段的輸出有條件地調用的。當整數樣本搜尋階段在第一迭代或第二迭代搜尋中以具有最小SAD的中心終止時，進一步應用分數樣本改善。

在基於參數誤差曲面的子像素偏移估計中，使用中心位置成本和距中心四個相鄰位置的成本來適配以下形式的2-D抛物線誤差曲面方程

在以上等式中，(

對應於具有最小成本的分數位置，並且C對應於最小成本值。透過使用五個搜尋點的成本值來求解上述方程，(

計算為：

和

的值被自動限制在-8和8之間，因為所有成本值均為正並且最小值為

。這對應於VVC中的具有1/16像素MV精準度的半像素偏移。將計算出的分數(

增加到整數距離改善MV，以獲得子像素精準度的改善增量（delta）MV。

以下描述雙線性插值和樣本填充。在VVC中，MV的解析度為1/16亮度樣本。分數位置處的樣本使用8抽頭插值濾波器進行插值。在DMVR中，搜尋點圍繞具有整數樣本偏移的初始分數像素MV，因此，對於DMVR搜尋程序，可以對這些分數位置的樣本進行插值。為了降低計算複雜度，在DMVR中使用雙線性插值濾波器來產生用於搜尋程序的分數樣本。在一些示例中，透過使用具有2樣本搜尋範圍的雙線性濾波器，與正常運動補償程序相比，DVMR無法存取更多的參考樣本。在利用DMVR搜尋程序獲得改善MV後，應用常規8抽頭插值濾波器以產生最終預測。為了不存取比正常MC程序更多的參考樣本，將從那些可用樣本中填充基於原始MV的插值程序不需要的樣本，但基於改善MV的插值程序需要的樣本。

以下描述DMVR的示例啟用條件。如果以下條件全部滿足，則啟用DMVR： a、具有雙預測MV的CU級別合併模式 b、相對於當前圖片，一個參考圖片在過去，而另一參考圖片在未來 c、從兩個參考圖片到當前圖片的距離（即，POC差）相同 d、CU具有多於64個亮度樣本 e、CU高度和CU寬度兩者都大於或等於8個亮度樣本 f、BCW（具有CU級別權重的雙預測）權重索引指示相等權重 g、針對當前區塊未啟用WP（加權預測） h、CIIP（組合幀間和幀內預測）模式未用於當前區塊。

以下描述雙向光流。使用雙向光流（BDOF）在4×4子區塊級別改善CU中的亮度樣本的雙向預測信號。顧名思義，BDOF模式是基於光流概念的，其假設對象的運動是平滑的。對於每個4×4子區塊，透過使L0和L1預測樣本之間的差最小化來計算運動改善( v _x,v _y )。然後使用運動改善來調整4x4子區塊中的雙預測樣本值。

例如，對於BDOF，視頻編碼器200和視頻解碼器決定針對區塊啟用BDOF，並且當針對所述區塊啟用BDOF時，可以將所述區塊劃分為多個子區塊。在一些示例中，視頻編碼器200和視頻解碼器300可以根據區塊的第一運動向量來決定第一參考區塊，並且根據區塊的第二運動向量來決定第二參考區塊。視頻編碼器200和視頻解碼器300可以混合（例如，加權平均）第一參考區塊中的樣本和第二參考區塊中的樣本，以產生預測區塊。視頻編碼器200和視頻解碼器300可以決定運動改善，並且調整預測區塊中的樣本以產生用於對子區塊的樣本進行編碼或解碼的預測樣本。在一些示例中，視頻編碼器200和視頻解碼器300可以決定對於子區塊中的每個樣本相同的運動改善（即，子區塊級別運動改善，被稱為子區塊BDOF）。在一些示例中，視頻編碼器200和視頻解碼器300可以決定子區塊中的每個樣本的運動改善（即，樣本級別運動改善，被稱為每像素BDOF）。

在BDOF程序中應用以下步驟，其可能適用於子區塊BDOF。下面將更詳細地描述用於每像素BDOF的步驟。

首先，透過直接計算兩個相鄰樣本之間的差來計算兩個預測信號的水平和垂直梯度

和

,

，即，

	(1-6-1)

在以上示例中，

是列表

（

）中的預測信號的座標

處的樣本值，並且基於亮度位元深度（bitDepth）來計算shift1，將shift1設置為等於6。也就是說，I ⁽⁰⁾是指第一參考區塊的樣本，並且I ⁽¹⁾是指第二參考區塊的樣本，其中第一參考區塊和第二參考區塊用於產生正根據BDOF技術對其樣本進行調整的預測區塊。

然後，梯度的自相關和互相關

、

、

、

和

計算為：

,           ,

(1-6-2)

其中

(1-6-3)

其中

是4×4子區塊周圍的6×6視窗，shift2的值被設置為等於4，並且shift3的值被設置為等於1。

然後使用互相關和自相關項，使用以下公式來推導運動改善

。在所述示例中，運動改善用於子區塊。下面更詳細地描述每像素運動改善計算。

(1-6-4)

其中，

.

是取整函數。

基於運動改善和梯度，針對4×4子區塊中的每個樣本計算以下調整：

(1-6-5)

最後，透過按如下調整雙預測樣本來計算CU的BDOF樣本：

(1-6-6)

其中，shift5被設置為等於Max(3, 15 - BitDepth)，並且變數

被設置為等於(1 ＜＜ (shift5 - 1))。

在上述示例中，I ⁽⁰⁾是指第一參考區塊，I ⁽¹⁾是指第二參考區塊，並且b(x,y)是基於子區塊的運動改善(v _x, v _y)決定的調整值。在一些示例中，I ⁽⁰⁾(x,y) + I ⁽¹⁾(x,y)可以被視為預測區塊，並且因此b(x,y)可以被視為調整預測區塊。如等式（1-6-6）中所示，可以增加o _offset和右移操作shift5來產生預測樣本(pred _BDOF(x,y))。

上面描述子區塊BDOF的示例，其中視頻編碼器200和視頻解碼器300決定對於子區塊中的所有樣本相同的運動改善（v _x，v _y）是相同的。由於梯度，子區塊中的每個樣本的調整值b(x,y)可能不同，但是運動改善可能相同。

如下文更詳細地描述的，在每像素BDOF中，視頻編碼器200和視頻解碼器300可以決定每像素運動改善(v _x’, v _y’)。也就是說，與子區塊BDOF中的子區塊存在一個運動改善不同，在每像素BDOF中，每個樣本（例如，像素）可能存在不同的運動改善。視頻編碼器200和視頻解碼器300可以基於每個樣本的對應的每像素運動改善來決定每個樣本的調整值b’(x,y)，而不是使用與子區塊相同的運動改善。

在一些示例中，來自等式1-6-6的值被選擇為使得BDOF程序中的乘法器不超過15位元，並且BDOF程序中的中間參數的最大位元寬度保持在32位元內。

為了推導梯度值，視頻編碼器200和視頻解碼器300產生在當前CU邊界之外的列表

(

)中的一些預測樣本

。如圖12所示，BDOF使用在CU 1200周圍的一個擴展行/列。為了控制產生邊界外預測樣本的計算複雜性，視頻編碼器200和視頻解碼器300可以透過直接在附近整數位置（對座標使用floor（）運算）獲取參考樣本而不進行插值來產生擴展區域（白色位置）中的預測樣本，並且常規8抽頭運動補償插值濾波器用於產生CU內的預測樣本（灰色位置）。僅在梯度計算中使用這些擴展樣本值。對於BDOF程序中的剩餘步驟，如果需要CU邊界之外的任何樣本和梯度值，則可以從其最近的鄰居中填充（即，重複）樣本和梯度值。

BDOF用於在4×4子區塊級別改善CU的雙預測信號（例如，第一參考區塊和第二參考區塊的總和）。如果滿足以下所有條件，則將BDOF應用於CU： a、CU是使用“真”雙預測模式進行譯碼的，即，兩個參考圖片中的一個參考圖片在顯示順序中在當前圖片之前，以及另一參考圖片在顯示順序中在當前圖片之後； b、CU不是使用仿射模式或ATMVP合併模式進行譯碼的 c、CU具有多於64個亮度樣本 d、CU高度和CU寬度兩者都大於或等於8個亮度樣本 e、BCW權重索引指示相等權重 f、針對當前CU未啟用WP g、CIIP模式未用於當前CU

BDOF可能存在一些問題。如上所述，在VVC的當前版本中，BDOF方法用於在4×4子區塊級別上改善譯碼區塊中的亮度樣本的雙預測信號。透過使6×6亮度樣本區域中L0和L1預測樣本之間的差異最小化來推導運動改善

。L0預測樣本是指第一參考區塊的樣本，並且L1預測樣本是指第二參考區塊的樣本。然後使用運動改善

調整4×4子區塊的每個預測樣本。

然而，與4×4子區塊中的其它亮度樣本相比，4×4子區塊中的亮度樣本可能具有不同的運動改善特性。在像素級別計算運動改善

可以提高每個像素的運動改善的精準度，因此可以提高子區塊或區塊預測品質。

然而，BDOF是解碼器側程序，並且BDOF的複雜度也是設計視頻譯碼方法時需要考慮的一個重要方面。當在像素級別計算運動改善時，BDOF的複雜度可以是當前4×4子區塊級別的BDOF的16倍。換句話說，當前4×4子區塊BDOF沒有達到最佳預測品質。每像素BDOF具有更好的預測品質，但是複雜度是視頻譯碼的一個問題。

在VVC草案10中，當解碼器側運動向量改善（DMVR）之前有BDOF時，可以基於DMVR搜尋程序處的最小SAD來旁路BDOF程序。DMVR程序處於16×16子區塊級別。這種BDOF旁路方案可以降低複雜度。

然而，16×16子區塊內的子區域的預測信號可能需要透過BDOF進行改善。VVC草案10方案的BDOF旁路不能在16×16子區塊內的子區域處採用BDOF，同時在其它子區處旁路BDOF。在VVC草案10中，當BDOF應用於雙預測（非DMVR預測）譯碼區塊時，不存在旁路BDOF方案。

以下描述可以解決上述問題的示例技術。然而，這些技術不應當被視為限於或要求解決上述問題。根據實際情況，可以單獨地或以任何組合使用以下技術。為方便起見，以下技術被描述為各個方面，但是這樣的方面不應當被視為需要分離，並且可以根據實際情況將各個方面組合。除非另有規定，否則示例方面可以由視頻編碼器200和/或視頻解碼器300執行。

第一方面涉及旁路子區塊BDOF。在所述第一方面中，當決定W×H譯碼區塊應用雙向光流（BDOF）時，視頻編碼器200和/或視頻解碼器300可以旁路譯碼區塊的子區域的BDOF程序。第一方面的BDOF程序可以如下所示。 a、 BDOF程序從輸入區塊（名稱為S1）開始，其中S1具有維度W_1×H_1，其中S1的維度等於或小於譯碼區塊的維度。當前面的程序是基於區塊時，S1的維度等於譯碼區塊。當前面的程序是基於子區塊時（由於硬體限制或來自先前處理階段的子區塊分割）時，S1的維度小於譯碼區塊。 b、 輸入區塊S1被劃分為N個子區塊（名稱為S2），其中S2的維度為W_2×H_2，其中S2的維度等於或小於S1的維度。對於由條件T決定的每個S2，決定S2是否應用BDOF。在一些示例中，條件T是檢查參考圖片0和參考圖片1中的兩個預測信號之間的SAD是否小於閾。所述步驟中的子區塊定義基本單元，其用於決定是否將BDOF應用於所述單元內的所有樣本。 c、 當決定將BDOF應用於S2時，S2被劃分為M個子區塊（名稱為S3），其中S3的維度為W_3×H_3，其中S3的維度等於或小於S2的維度。對於每個S3，應用BDOF程序來推導改善的運動向量

，並且使用推導出的運動向量來推導S3的預測信號（透過運動補償或向初始預測信號增加偏移）。此步驟中的子區塊定義用於改善運動向量的粒度的單元，所述單元內的所有樣本共用相同的改善運動。

在方面1的BDOF程序中，定義區塊S1、S2和S3。S3的維度可以等於或小於S2，並且S2的維度可以等於或小於S1。換句話說，W_3等於或小於W_2並且H_3等於或小於H_2，並且W_2等於或小於W_1並且H_2等於或小於H_1。大小可以是固定的，適合於圖片解析度，或者在位元串流中用信號通知的。

一種情況是W_3等於1並且H_3等於1，其中S3是基於像素的。這種情況可能是每像素BDOF程序。

在一些示例中，S1是譯碼區塊，不管是否向譯碼區塊應用前面的基於子區塊的程序。

第二方面涉及具有子區塊BDOF旁路方案的每像素BDOF。如在第一方面中，當決定W×H譯碼區塊（S1）應用雙向光流（BDOF）時，將譯碼區塊劃分為N個子區塊（S2）。對於每個子區塊，透過檢查參考圖片0和參考圖片1中的兩個預測信號之間的SAD是否小於閾來進一步決定是否將BDOF應用於子區塊。如果決定將BDOF應用於子區塊，則針對子區塊（S2）內的每個像素（S3）計算經改善的運動向量

。經改善的運動向量

用於調整子區塊（S2）內所述像素（S3）的預測信號。圖13中示出具有子區塊旁路程序的每像素BDOF的一個示例。

例如，在圖13中，視頻編碼器200和視頻解碼器300可以決定針對視頻資料的區塊啟用BDOF，並且視頻編碼器200和視頻解碼器300可以基於關於針對所述區塊啟用BDOF的決定來將所述區塊劃分為多個子區塊。如圖13所示，推導子區塊數量N子區塊索引＜i＝0＞（1300）是指視頻編碼器200和視頻解碼器300將區塊劃分為N個子區塊，其中每個子區塊由相應的索引識別，並且第一索引為0。因此，索引的範圍從0到N-1。

視頻編碼器200和視頻解碼器300可以決定是否已經決定區塊的中所有子區塊的預測樣本，如由i＜N表示（1302）。如果已經決定所有子區塊的預測樣本（1302的否），則視頻編碼器200和視頻解碼器300可以結束決定子區塊的預測樣本的程序。然而，如果尚未決定所有子區塊的預測樣本（1302的是），則視頻編碼器200和視頻解碼器300可以繼續決定所述區塊被劃分成的多個子區塊中的當前子區塊的預測樣本的程序。

對於當前子區塊，視頻編碼器200和視頻解碼器300可以決定失真值（1304）。由於對失真值的決定可以是在逐子區塊的基礎上進行的，視頻編碼器200和視頻解碼器300可以被視為針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值（例如，第一子區塊的第一失真值、第二子區塊的第二失真值等）。

決定當前子區塊的失真值的一種示例方法是透過決定第一參考區塊（ref0）和第二參考區塊（ref1）之間的絕對差之和（SAD）。然而，可能存在決定失真值的其它方法。例如，如下面更詳細地描述的，在一些示例中，視頻編碼器200和視頻解碼器300可以以這樣的方式決定失真值：所得的值可以在稍後被重用，例如，當視頻編碼器200和視頻解碼器300要執行BDOF時。

如圖13所示，視頻編碼器200和視頻解碼器300可以將失真值與閾進行比較（1306）。基於所述比較，視頻編碼器200和視頻解碼器300可以具有兩個選項。第一選項可以是執行每像素BDOF，並且第二選項可以是旁路BDOF。視頻編碼器200和視頻解碼器300可能沒有其它選項，諸如子區塊BDOF。因此，視頻編碼器200和視頻解碼器300可以被視為基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項（例如，基於相應的失真值與固定閾值或相應的閾值的比較）。

例如，如果當前子區塊的失真值大於閾值（1306的否），則視頻編碼器200和視頻解碼器300可以執行每像素BDOF（1308）。如果當前子區塊的失真值小於閾值（1306的是），則視頻編碼器200和視頻解碼器300可以推導子區塊中的預測信號（例如，透過針對所述子區塊旁路BDOF）（1310）。

在一個或多個示例中，視頻編碼器200和視頻解碼器300可以基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本。例如，如果視頻編碼器200和視頻解碼器300要對當前子區塊執行BDOF，則視頻編碼器200和視頻解碼器300可以使用每像素BDOF技術來決定預測樣本，但是如果視頻編碼器200和視頻解碼器300要對當前子區塊旁路BDOF，則視頻編碼器200和視頻解碼器300可以不使用BDOF技術來決定預測樣本。

圖13的上述示例描述如何決定針對當前子區塊執行每像素BDOF還是旁路BDOF。視頻編碼器200和視頻解碼器300可以在逐子區塊的基礎上執行上述示例技術。

例如，為了針對多個子區塊中一個或多個子區塊中的每個子區塊來決定相應的失真值，則對於一個或多個子區塊中的第一子區塊，視頻編碼器200和視頻解碼器300可以決定相應的失真值中的第一失真值，並且對於一個或多個子區塊中的第二子區塊，視頻編碼器200和視頻解碼器300可以決定相應的失真值中的第二失真值。

為了基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，對於多個子區塊中的第一個子區塊，視頻編碼器200和視頻解碼器300可以基於第一失真值（例如，基於第一失真值大於閾值）來決定針對第一子區塊啟用BDOF。在所述示例中，基於關於針對第一子區塊啟用BDOF的決定，視頻編碼器200和視頻解碼器300可以決定用於改善第一子區塊的第一預測樣本集合的每像素運動改善（例如，執行每像素BDOF）。例如，視頻編碼器200和視頻解碼器300可以針對第一子區塊的第一樣本來推導用於改善第一預測樣本的第一運動改善，針對第一子區塊的第二樣本來推導用於改善第二預測樣本的第二運動改善，等等。

然而，對於多個子區塊中的第二子區塊，視頻編碼器200和視頻解碼器300可以基於第二失真值（例如，基於第二失真值小於閾值）來決定旁路BDOF。在所述示例中，基於關於針對第二區塊旁路BDOF的決定，視頻編碼器200和視頻解碼器300可以旁路決定用於改善第二子區塊的第二預測樣本集合的每像素運動改善（例如，旁路BDOF）。例如，視頻編碼器200和視頻解碼器300可以針對第一子區塊的第一樣本來旁路推導用於改善第一預測樣本的第一運動改善，針對第一子區塊的第二樣本來旁路推導用於改善第二預測樣本的第二運動改善，等等。

為了基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本，視頻編碼器200和視頻解碼器300可以針對第一子區塊，基於第一子區塊的每像素運動改善來決定第一子區塊的經改善的第一預測樣本集合。對於第二子區塊，視頻編碼器200和視頻解碼器300可以基於用於改善第二預測樣本集合的每像素運動改善來決定第二預測樣本集合，而不改善第二預測樣本集合。

在第二方面內，以下描述旁路子區塊BDOF。給定決定應用雙向光流（BDOF）的W×H譯碼區塊，按如下來決定子區塊數量N： a、numSbX = (W ＞ thW) ? (W / thW) : 1 b、numSbY = (H ＞ thH) ? (H / thH) : 1 c、N = numSbX * numSbY

在上文中，thW表示最大子區塊寬度並且thH表示最大子區塊高度。thW和thH的值是預定整數值（例如，thW＝thH＝8）。

對於每個子區塊，視頻編碼器200和/或視頻解碼器300可以分別從參考圖片0和參考圖片1推導預測信號predSig0和預測信號predSig1。按如下來決定predSig0和predSig1的寬度（sbWidth）和高度（sbHeight）： a、sbWidth = (W ＞ thW) ? thW : W b、sbHeight = (H ＞ thH) ? thH : H

透過檢查predSig0和predSig1之間的SAD來決定是否旁路子區塊處的BDOF。按如下來推導SAD：

(3-1-1-1)

在上述等式中，

是sbWidth×sbHeight子區塊，

是參考圖片k（k=0,1）中預測信號的座標

處的樣本值。

如果sbSAD小於閾sbDistTh，則視頻編碼器200和/或視頻解碼器300可以決定旁路子區塊處的BDOF，否則（如果sbSAD等於或大於sbDistTh），則視頻編碼器200和/或視頻解碼器300可決定將BDOF應用於子區塊。按如下來推導閾sbDistTh：

(3-1-1-2)

在上述等式中，n和s是預定值。例如，n可以被推導為：n = InternalBitDepth – bitDepth + 1。在上述等式中，s表示縮放因子，例如，s=1。在VVC的當前版本中，InternalBitDepth在bitDepth 10處等於14，因此n等於5。縮放s可以是1、2、3個其它預定義值或者在位元串流中用信號通知的。

應當理解的是，上文描述決定閾值的一種示例方式和決定失真值的一種示例方式。然而，示例技術並非如此受限。如下面更詳細地描述的，在一些示例中，視頻編碼器200和視頻解碼器300可以以這樣的方式決定失真值：如果決定要執行每像素BDOF，則用於決定失真值的計算可以被重用於執行每像素BDOF。

在第二方面中，以下描述每像素BDOF。如果視頻編碼器200和/或視頻解碼器300決定將BDOF應用於sbWidth×sbHeight子區塊，則子區塊擴展到（sbWidth+4）×（sbHeight+4）區域。對於子區塊內的每個像素，視頻編碼器200和/或視頻解碼器300可以基於5×5周圍區域的梯度來推導運動改善

，也被稱為改善運動向量。圖14示出8×8子區塊的每像素BDOF的示例。因此，在每像素BDOF中，視頻編碼器200和視頻解碼器300可以決定每像素運動改善。在子區塊BDOF中，運動改善針對子區塊，而不是在逐樣本（例如，逐像素）的基礎上決定的。

在上面，給定sbWidth×sbHeight子區塊，在每像素BDOF程序中應用以下步驟。 —如在上述雙向光流中，透過直接計算兩個相鄰樣本之間的差來計算兩個預測信號的水平梯度和垂直梯度

和

，

，其中，

是參考圖片0和參考圖片1中的預測信號的（sbWidth+4）×（sbHeight+4）區域中的協調位置。 —對於子區塊內的每個像素，應用以下步驟。 ○ 如在上述雙向光流中，計算梯度的自相關和互相關

、

、

、

和

，其中

是像素周圍的5×5視窗。 ○ 然後，使用互相關項和自相關項來推導運動改善。 ○ 基於運動改善和梯度，計算以下調整以推導像素的預測信號：

	(3-1-2-1)

在上述示例中，I ⁽⁰⁾是指第一參考區塊，I ⁽¹⁾是指第二參考區塊。調整值b’(x,y)是基於子區塊中的每個樣本的每像素運動改善(v’ _x, v’ _y)而決定的調整值。在一些示例中，I ⁽⁰⁾(x,y) + I ⁽¹⁾(x,y)可以被視為預測區塊，並且因此b’(x,y)可以被視為調整預測區塊。如等式（3-1-2-1）中所示，可以增加o _offset和右移操作shift5來產生預測樣本(pred _BDOF(x,y))。

第三方面涉及替代子區塊SAD推導。用於推導SAD的所述示例技術可以使得針對SAD推導決定的值可以被重用於執行每像素BDOF。也就是說，視頻編碼器200和視頻解碼器可以首先決定用於決定是否執行每像素BDOF的子區塊的失真值（例如，SAD值）。如果視頻編碼器200和視頻解碼器300決定要執行每像素BDOF，則視頻編碼器200和視頻解碼器300為決定是否執行每像素BDOF而執行的計算可以被重用於執行每像素BDOF。

例如，決定子區塊的失真值的一種方法是決定第一參考區塊（例如，由第一運動向量識別）和第二參考區塊（例如，由第二運動向量識別），以及決定第一參考區塊的樣本和第二參考區塊的樣本之間的差值，以決定失真值。作為一個示例，如上所述，決定失真值的一種方法是決定

。

在上述等式中，I ⁽¹⁾(i,j)是指第一參考區塊的樣本，並且I ⁽⁰⁾(i,j)是指第二參考區塊的樣本。如上文進一步描述的，為了決定運動改善（包括每像素運動改善（例如，v’ _x、v’ _y）），視頻編碼器200和視頻解碼器300可以決定S ₁、S ₂、S ₃、S ₅和S ₆，它們是梯度的自相關和互相關。如等式1-6-3中描述的，決定梯度的自相關和互相關的一部分是決定θ的中間值，其中θ =

。

因此，如果要針對子區塊執行每像素BDOF，則視頻編碼器200和視頻解碼器300可能需要決定

。在一個或多個示例中，作為決定子區塊的失真值的一部分，視頻編碼器200和視頻解碼器300代替（或除了）基於

決定失真值，還可以基於

來決定子區塊的失真值。即，為了決定子區塊的失真值，例如，為了決定是否要執行每像素BDOF，視頻編碼器200和視頻解碼器300可以將

決定為sbSAD的值。以這種方式，如果要執行每像素BDOF，則視頻編碼器200和視頻解碼器300將已經決定

的值，其是θ的值並且用於決定運動改善。

因此，在一個或多個示例中，為了針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值，視頻編碼器200和視頻解碼器300可以被配置為針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定第一參考區塊和第二參考區塊。例如，I ⁽⁰⁾(i,j)可以是第一參考區塊，並且I ⁽¹⁾(i,j)可以是第二參考區塊。

視頻編碼器200和視頻解碼器300可以對第一參考區塊的樣本和第二參考區塊的樣本進行縮放。例如，視頻編碼器200和視頻解碼器300可以執行I ⁽⁰⁾(i,j) ＞＞ shift2的操作。在所述示例中，可以根據對I ⁽⁰⁾(i,j)的值進行多少縮放以產生第一參考區塊的經縮放的樣本來定義shift2的值。類似地，視頻編碼器200和視頻解碼器300可以執行I ⁽¹⁾(i,j) ＞＞ shift2的操作。在所述示例中，可以根據對I ⁽¹⁾(i,j)的值進行多少縮放以產生第二參考區塊的經縮放的樣本來定義shift2的值。

視頻編碼器200和視頻解碼器300可以決定第一參考區塊的經縮放的樣本與第二參考區塊的經縮放的樣本之間的差值，以決定相應的失真值。例如，視頻編碼器200和視頻解碼器300可以決定

。視頻編碼器200和視頻解碼器300可以基於

的結果來決定子區塊的失真值（例如，sbSAD）。

如上所述，在一些示例中，視頻編碼器200和視頻解碼器300的計算增益可以是可以重用於每像素BDOF的

的值。例如，假設視頻編碼器200和視頻解碼器300決定針對被編碼或解碼的區塊被劃分成的多個子區塊中的一個或多個子區塊中的第一子區塊執行每像素BDOF。

在所述示例中，視頻編碼器200和視頻解碼器300可以針對第一子區塊中的每個樣本來決定相應的運動改善。也就是說，視頻編碼器200和視頻解碼器300可以針對第一子區塊的每個樣本來決定運動改善(v’ _x, v’ _y)，而不是或除了決定針對第一子區塊中的所有樣本相同的一個運動改善(v _x,v _y)之外。

視頻編碼器200和視頻解碼器300可以被配置為針對第一子區塊中的每個樣本，基於相應的運動改善來決定來自第一子區塊的預測區塊中的樣本的相應的經改善的樣本值。例如，如上所述，用於決定每像素BDOF的預測樣本的等式可以是

。

為了決定pred _BDOF，視頻編碼器200和視頻解碼器300可以決定b’(x,y)，b’(x,y)是根據相應的每像素運動改善（即，(v’ _x, v’ _y)）決定的每像素調整值。在一些示例中，可以將預測區塊視為第一參考區塊和第二參考區塊的和（即，I ⁽⁰⁾(i,j) + I ⁽¹⁾(i,j)）。如用於決定pred _BDOF的等式中所示，視頻編碼器200和視頻解碼器300可以將I ⁽⁰⁾(i,j) + I ⁽¹⁾(i,j)增加到b’(x,y)。因此，作為決定pred _BDOF的一部分，視頻編碼器200和視頻解碼器300可以基於相應的運動改善（例如， (v’ _x, v’ _y)，其用於決定b’(x,y)）來從第一子區塊的預測區塊（例如，其中預測區塊等於I ⁽⁰⁾(i,j) + I ⁽¹⁾(i,j)）中的樣本決定經改善的樣本值（例如，pred _BDOF）。

換句話說，視頻編碼器200和視頻解碼器300可以決定一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合（例如，決定I ⁽⁰⁾(i,j)）。視頻編碼器200和視頻解碼器300可以利用縮放因子來對第一樣本值集合進行縮放，以產生第一經縮放樣本值集合。也就是說，為了執行I ⁽⁰⁾(i,j) ＞＞ shift2，視頻編碼器200和視頻解碼器300可以被視為透過“＞＞”和“shift2”的值定義的縮放因子來對第一樣本集合進行縮放。

視頻編碼器200和視頻解碼器300可以決定一個或多個子區塊中的第一子區塊的第二參考區塊中的第二樣本值集合（例如，決定I ⁽¹⁾(i,j)）。視頻編碼器200和視頻解碼器300可以利用縮放因子來對第二樣本值集合進行縮放，以產生第二經縮放樣本值集合。也就是說，為了執行I ⁽¹⁾(i,j) ＞＞ shift2，視頻編碼器200和視頻解碼器300可以被視為透過“＞＞”和“shift2”的值定義的縮放因子來對第二樣本集合進行縮放。

視頻編碼器200和視頻解碼器300可以針對第一子區塊，基於第一經縮放樣本值集合和第二經縮放樣本值集合（例如，基於I ⁽⁰⁾(i,j) ＞＞ shift2和I ⁽¹⁾(i,j) ＞＞ shift2）來決定失真值。例如，視頻編碼器200和視頻解碼器300可以基於（I ⁽⁰⁾(i,j) ＞＞ shift2) – (I ⁽¹⁾(i,j) ＞＞ shift2)）來決定用於第一子區塊的失真值。

在一個或多個示例中，如上所述，假設針對第一子區塊執行每像素BDOF。在所述示例中，視頻編碼器200和視頻解碼器300可以重用第一經縮放樣本值集合和第二經縮放樣本值集合來決定每像素BDOF的每像素運動改善。例如，視頻編碼器200和視頻解碼器300可以重用（I ⁽⁰⁾(i,j) ＞＞ shift2) – (I ⁽¹⁾(i,j) ＞＞ shift2）的計算來決定用於決定每像素運動改善（例如，(v’ _x, v’ _y)）的梯度的自相關和互相關。如上所述，視頻編碼器200和視頻解碼器300可以使用每像素運動改善來決定用於決定pred _BDOF（即，用於對區塊的第一子區塊進行編碼或解碼的預測樣本）的b’(x,y)的調整值。

上面描述一個示例，其中視頻編碼器200和視頻解碼器300可以重用第一經縮放樣本值集合和第二經縮放樣本值集合來決定每像素BDOF的每像素運動改善。然而，這些技術並不限於此。在一些示例中，視頻編碼器200和視頻解碼器300可以重用第一經縮放樣本值集合和第二經縮放樣本值集合來決定BDOF的運動改善。也就是說，示例技術可以不限於將第一經縮放樣本值集合和第二經縮放樣本值集合重用於每像素BDOF的每像素運動改善，但是可以更一般地用於BDOF的運動改善（例如，不限於每像素BDOF的每像素運動改善）。不僅對於每像素BDOF，而且還對於基於子區塊的BDOF，複雜度可以降低，如在BDOF包括針對整個子區塊而不是逐像素的運動改善的示例中。

因此，如在第二方面中，以下描述用於推導子區塊SAD的替代方法，所述子區塊SAD用於決定是否旁路子區塊（即，是否旁路BDOF）。如上所述，示例方法以與使用等式1-6計算如在上述雙向光流中的

相同的方式計算兩個參考信號之間的差

。

如果子區塊決定應用BDOF，則可以在步驟中重用

以計算梯度的自相關和互相關S3和S6，如上述雙向光流中。

按如下修改第二方面中的等式（3-1-1-1）：

	(3-2-1)

在上述等式中，

是參考圖片k（k=0,1）中的預測信號的（sbWidth+4）×（sbHeight+4）區域的座標

處的樣本值。Shift2是預定值，例如，Shift2等於4。

是sbWidth×sbHeight子區塊區域。

應當注意的是，基於

來決定子區塊的失真值（例如，決定sbSAD）的替代技術不應當被視為限於執行每像素BDOF的示例。例如，用於決定子區塊的失真值的替代技術可以適用於甚至在其中應用子區塊BDOF或某種其它BDOF技術的示例。例如，甚至對於子區塊BDOF，視頻編碼器200和視頻解碼器300也可以利用替代技術來決定失真值，以決定是否針對子區塊執行BDOF。如果要執行BDOF，則視頻編碼器200和視頻解碼器300可以重用用於替代技術的計算來決定用於決定運動改善的失真值，作為子區塊BDOF的一部分（例如，可以重用用於替代技術的計算來決定失真值）。

如上所述，與失真值進行比較以決定是否執行每像素BDOF或旁路BDOF的閾是sbDistTh，其被計算為（sbWidth*sbHeight*s）＜＜n，如上面的等式3-1-1-2所示。然而，在決定失真值的替代技術中，如上所述，視頻編碼器200和視頻解碼器300可以將I ⁽⁰(i,j) 縮放＞＞ shift 2，並且將I ⁽¹⁾縮放＞＞ shift 2。因此，在一些示例中，可以修改視頻編碼器200和視頻解碼器300決定sbDistTh的方式以考慮＞＞ shift2縮放。

按如下來修改計算sbDistTh的第二方面中的等式（3-1-1-2）：

(3-2-2)

在上述等式中，n和s是預定值。例如，n可以被推導為：n=InternalBitDepth–bitDepth+1。在上述等式中，s表示縮放因子，例如，s=1。在VVC的當前版本中，InternalBitDepth在bitDepth 10處等於14，因此n等於5。縮放s可以是1、2、3或其它預定義值，或者在位元串流中用信號通知。

因此，為了決定閾值，視頻編碼器200和視頻解碼器300可以被配置為將一個或多個子區塊中的第一子區塊的寬度（即，等式3-2-2中的sbWidth）一個或多個子區塊中的第一子區塊的高度（即，等式3-2-2中的sbHeight）和第一縮放因子（即，等式3-2-2中的“s”）相乘以產生中間值。視頻編碼器200和視頻解碼器300可以被配置為基於第二縮放因子來對中間值執行左移位操作以產生閾值。例如，在等式3-2-2中，第二縮放因子可以是等式（n–shift2），並且在等式3-2-2中，左移位操作被示為“＜＜”。

在一個或多個示例中，視頻編碼器200和視頻解碼器300可以將第一子區塊的失真值（例如，使用用於決定失真值的替代技術計算的失真值）與閾值（例如，如等式3-2-2中決定的sbDistTh）進行比較。視頻編碼器200和視頻解碼器300可以基於所述比較來決定針對第一子區塊執行每像素BDOF或旁路BDOF中的一項。例如，如果失真值小於閾值（例如，圖13中的1306的是），則視頻編碼器200和視頻解碼器300可以旁路BDOF。如果失真值大於閾值（例如，圖13中的1306的否），則視頻編碼器200和視頻解碼器300可以執行每像素BDOF。

第四方面涉及決定thW和thH的值。如在上述方面中，示例技術可以應用於雙預測譯碼區塊。從當前區塊的寬度和高度以及子區塊的最大子區塊寬度（thW）和高度（thH）中推導子區塊總數。

當當前譯碼區塊應用基於子區塊的方法（例如，DMVR）時，thW和thH的值應當等於或小於前面方法（例如，DMVR）的最大子區塊寬度和高度。

thW和thH的值可以是固定預定值，例如thW等於8並且thH等於8。thW和thH的值可以是自適應的，並且這些值由從位元串流解碼的資訊決定。以下描述thW和thH值的自適應方式： a、由前面的譯碼方法決定：如果當前譯碼區塊應用基於子區塊的方法，則thW和thH可以被設置為與前面的方法相同的子區塊維度。例如，當DMVR應用於當前譯碼區塊時，thW被設置為等於DMVR最大子區塊寬度，例如16，thH被設置為等於DMVR最大子區塊高度，例如16。否則，（如果當前譯碼區塊不應用任何基於子區塊的方法），thW和thH可以被設置為預定值，例如8。 b、由當前譯碼區塊維度決定：在所述示例中，thW和thH的較大值被設置為亮度樣本總數大於閾T（例如，T=128）的譯碼區塊。給定W×H譯碼區塊：如果W*H大於T，則將thW和thH的值設置為16。否則（如果W*H等於或小於T），將thW和thH的值設置為8。

第五方面涉及應用具有子區塊旁路的每像素BDOF的示例解碼器程序。上述方面可以在編碼器（例如，視頻編碼器200）和/或解碼器（例如，視頻解碼器300）中應用。解碼器（例如，視頻解碼器300）可以透過以下步驟的全部或子集來執行本文描述的方法，以從位元串流解碼圖片中的幀間預測區塊： 1、透過對位元串流中的語法元素進行解碼來將位置分量（cbX, cbY）推導為當前區塊的左上方亮度位置。 2、透過對位元串流中的語法元素進行解碼來將當前區塊的大小推導為寬度值W和高度值H。 3、根據對位元串流中的元素進行解碼來決定當前區塊是幀間預測區塊。 4、根據對位元串流中的元素進行解碼來推導當前區塊的運動向量分量（mvL0和mvL1）和參考索引（refPicL0和refPicL1）。 5、根據對位元串流中的元素進行解碼來推斷旗標，其中所述旗標指示解碼器側運動向量推導（例如，DMVR、雙邊合併、模板匹配）是否應用於當前區塊。所述旗標的推斷方案可以與上文關於啟用DMVR時的啟用條件描述的示例相同，但不限於此。在另一示例中，可以在位元串流中顯式地用信號通知所述旗標，以避免在解碼器處進行複雜條件檢查。 6、如果決定將DMVR應用於當前區塊，則推導經改善的運動向量。 7、從經解碼的refPicL0、refPicL1和運動向量推導兩個（W+6）×（H+6）亮度預測樣本陣列predSampleL0和predSampleL1，其中，如果決定應用DMVR，則運動向量為經改善的運動向量，否則，運動向量為mvL0、mvL1。 8、根據對位元串流中的元素進行解碼來推斷旗標，其中所述旗標指示雙向光流是否應用於當前區塊。所述旗標的推斷方案可以與雙向光流相同，但不限於此。在另一示例中，可以在位元串流中顯式地用信號通知所述旗標，以避免在解碼器處進行複雜條件檢查。 9、根據上述旗標值，如果決策是將BDOF應用於當前區塊，則按如下來推導水平方向上的子區塊數量numSbX和垂直方向上的子區塊數量numSbY、子區塊寬度sbWidth和高度sbHeight：

numSbX = (W ＞ thW) ? (W / thW) : 1

numSbY = (H ＞ thH) ? (H / thH) : 1

sbWidth = (W ＞ thW) ? thW : W

sbHeight = (H ＞ thH) ? thH : H

其中，thW和thH為預定整數值（例如，thW=thH=8）

10、將變數sbDistTh推導為：

sbDistTh = sbWidth * sbHeight * s ＜＜ (n – shift2)

其中， shift2是預定值，例如，shift2等於4 n是預定值，例如，n = InternalBitDepth – bitDepth + 1 = 5 s是縮放因子，例如，s=1

11、將位置分量（sbX, sbY）=（0,0）設置為當前區塊的第一子區塊的左上亮度位置。 12、對於（sbX, sbY）處的每個子區塊，當sbX小於W並且sbY小於H時，以下步驟適用。 12.1、對於x=sbX - 2…sbX+sbWidth+1，y=sbY - 2…sbY+sbHeight+1，變數diff[x][y]被推導為：

diff[ x ][ y ] = ( predSamplesL0[ x ][ y ] ＞＞ shift2 )  -  ( predSamplesL1[ x ][ y ] ＞＞ shift2 )

其中，shift2是預定值，例如，shift2等於4

12.2、將變數sbDist推導為：

sbDist =

其中，i = 0 … sbWidth – 1, j = 0 … sbHeight – 1

12.3、（旁路子區塊BDOF）如果sbDist小於sbDistTh，則按如下來推導子區塊的預測信號， 12.3.1、對於x=sbX…sbX+sbWidth–1，y=sbY…sbY+sbHeight–1，

predSamples[ x + cbX ][ y + cbY ] = Clip3( 0, ( 2 BitDepth ) – 1, ( predSamplesL0[ x ][ y ] +predSamplesL1[ x ][ y ] + offset5 ) ＞＞ shift5 )

其中， shift5被設置為等於Max(3, 15 – BitDepth) offset5被設置為等於(1 ＜＜ (shift5– 1))

12.4、否則（如果sbDist等於或大於sbDistTh），則以下步驟適用。 12.4.1、對於x=sbX–2…sbX+sbWidth+1，y=sbY–2…sbY+sbHeight+1，按如下來推導變數gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]和gradientVL1[x][y]：

gradientHL0[ x ][ y ] = ( predSamplesL0[ x + 1 ][ y ]  ＞＞  shift1 ) – ( predSamplesL0[ x– 1 ][ y ]  ＞＞  shift1 )

gradientVL0[ x ][ y ] = ( predSamplesL0[ x ][ y+ 1 ]  ＞＞  shift1 ) – ( predSamplesL0[ x ][ y – 1 ]  ＞＞  shift1 )

gradientHL1[ x ][ y ] = ( predSamplesL1[ x + 1 ][ y ]  ＞＞  shift1 ) – ( predSamplesL1[ x– 1 ][ y ]  ＞＞  shift1 )

gradientVL1[ x ][ y ] = ( predSamplesL1[ x ][ y + 1 ]  ＞＞  shift1 ) – ( predSamplesL1[ x ][ y – 1 ]  ＞＞  shift1 )

其中，shift1是預定值，例如，shift1被設置為等於6

12.4.2、對於x=sbX–2…sbX+sbWidth+1，y=sbY–2…sbY+sbHeight+1，按如下來推導變數tempH[x][y]和tempV[x][y]：

tempH[ x ][ y ] = (gradientHL0[ x ][ y ] + gradientHL1[ x ][ y ] )  ＞＞  shift3

tempV[ x ][ y ] = (gradientVL0[ x ][ y ] + gradientVL1[ x ][ y ] )  ＞＞  shift3

其中，shift3是預定值，例如，shift3被設置為等於1

12.4.3、對於（piX,piY）處的每個像素，其中，piX=sbX…sbX+sbWidth–1，piY=sbY…sbY+sbHeight–1，以下步驟適用。 12.4.3.1、按如下來推導變數sGx2、sGy2、sGxGy、sGxdI和sGydI：

sGx2 =

sGy2 =

sGxGy =

sGxdI =

sGydI =

其中，i = –2 … 2, j = –2 … 2

12.4.3.2、當前像素的水平和垂直運動偏移被推導為：

vx = sGx2 ＞ 0 ? Clip3( –mvRefineThres + 1, mvRefineThres– 1, ( sGxdI  ＜＜  2 )  ＞＞  Floor( Log2( sGx2 ) ) ) : 0

vy = sGy2 ＞ 0 ? Clip3( –mvRefineThres + 1, mvRefineThres – 1, ( ( sGydI  ＜＜  2 ) – ( ( vx * sGxGy )  ＞＞  1 ) )  ＞＞  Floor( Log2( sGy2 ) ) ) : 0

其中，mvRefineThres是預定值，例如，mvRefineThres被設置為等於（1＜＜4）

12.4.3.3、按如下來推導當前像素的預測信號：

bdofOffset = vx * ( gradientHL0[ piX ][ piY ] – gradientHL1[ piX ][ piY ] ) + vy * (gradientVL0[ piX ][ piY ] – gradientVL1[ piX ][ piY ] )

predSamples[ piX + cbW ][ piY + cbY ] = Clip3( 0, ( 2BitDepth ) – 1, ( predSamplesL0[ xPix ][ yPix ]  + predSamplesL1[ xPix ][ yPix ] + bdofOffset + offset5  )  ＞＞  shift5 )

其中， shift5被設置為等於Max(3, 15 – BitDepth), offset5被設置為等於(1 ＜＜ (shift5– 1)).

12.5、按如下來更新子區塊左上方亮度位置：

sbX = (sbX + sbWidth) ＜ W ? sbX + sbWidth : 0

sbY = (sbX + sbWidth) ＜ W ? sbY : sbY + sbHeight

13、使用所推導的每個子區塊的預測信號來預測區塊，使用所推導的預測區塊進行視頻解碼。

圖15是示出根據本公開內容的技術的對視頻資料進行解碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視頻解碼器300（圖1和圖4）進行描述，但是應當理解的是，其它設備可以被配置為執行與圖15的方法類似的方法。例如，預測處理單元304和/或運動補償單元316可以被配置為執行圖15的示例技術。預測處理單元304和/或運動補償單元316可以耦接到諸如DPB 314之類的記憶體或視頻解碼器300的其它記憶體。在一些示例中，視頻解碼器300可以耦接到記憶體120，記憶體120儲存視頻解碼器300用於執行圖15的示例技術的資訊。

視頻解碼器300可以決定針對視頻資料的區塊啟用雙向光流（BDOF）（1500）。例如，視頻解碼器300可以接收指示針對區塊啟用BDOF的信令。在一些示例中，視頻解碼器300可以推斷（例如，在不接收信令的情況下決定）針對區塊啟用BDOF，例如基於滿足某個標準。

視頻解碼器300可以基於關於針對區塊啟用BDOF的決定來將區塊劃分為多個子區塊（1502）。例如，視頻解碼器300可以將區塊劃分為N個子區塊。在一些情況下，子區塊中的兩個或更多個子區塊可能具有不同的大小，但是子區塊可能具有相同的大小。視頻解碼器300可以基於用信號通知的資訊或透過推斷來決定如何劃分區塊。

視頻解碼器300可以針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值（1504）。視頻解碼器300可以以各種方式來決定相應的失真值。作為一個示例，視頻解碼器300可決定第一參考區塊（例如，I ⁽⁰⁾(i,j)）並且決定第二參考區塊（例如，I ⁽¹⁾(i,j)）。視頻解碼器300可以計算I ⁽⁰⁾(i,j)和I ⁽¹⁾(i,j)之間的絕對差之和（SAD）。

然而，示例技術並不局限於此。在一些示例中，視頻解碼器300可以執行替代技術來決定失真值，如上所述。例如，視頻解碼器300可以決定一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合（例如，決定I ⁽⁰⁾(i,j)）。視頻解碼器300可以利用縮放因子來對第一樣本值集合進行縮放，以產生第一經縮放樣本值集合（例如，決定I ⁽⁰⁾(i,j)＜＜shift2以產生第一經縮放樣本值集合）。視頻解碼器300可以決定一個或多個子區塊中的第一子區塊的第二參考區塊中的第二樣本值集合（例如，決定I ⁽¹⁾(i,j)）。視頻解碼器300可以利用縮放因子來對第二樣本值集合進行縮放，以產生第二經縮放樣本值集合（例如，決定I ⁽¹⁾(i,j)＜＜shift2以產生第二經縮放樣本值集合）。在一個或多個示例中，為了針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值，視頻解碼器300可以被配置為：針對第一子區塊，基於第一經縮放樣本值集合和第二經縮放樣本值集合來決定相應的失真值中的失真值（例如，基於第一經縮放樣本值集合和第二經縮放樣本值集合來決定SAD）。

視頻解碼器300可以基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項（1506）。例如，如關於圖13描述的，對於視頻解碼器300，可以存在兩個選項：針對子區塊執行每像素BDOF或旁路BDOF。在一些示例中，當評估子區塊時，視頻解碼器300可能沒有其它選項。

在一些示例中，為了決定執行每像素BDOF還是旁路BDOF，視頻編碼器200和視頻解碼器300可以決定閾值。決定閾值的一種示例方法是

。然而，在利用用於決定失真值的替代技術的示例中，視頻解碼器300可以將閾值決定為

。

也就是說，視頻解碼器300可以將一個或多個子區塊中的第一子區塊的寬度（例如，sbWidth）、一個或多個子區塊中的第一子區塊的高度（例如，sbHeight）和第一縮放因子（例如，“s”）相乘以產生中間值。視頻解碼器300可以基於第二縮放因子來對中間值執行左移位操作以產生閾值（例如，執行＜＜（n-shift2），其中（n-shift2）是第二縮放因子）。

視頻解碼器300可以將第一子區塊的相應的失真值中的失真值與閾值進行比較。為了基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，視頻解碼器300可以基於所述比較來決定針對第一子區塊執行每像素BDOF或旁路BDOF中的一項，如圖13的決策方塊1306所示。

視頻解碼器300可以被配置為基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本（1508）。例如，為了決定預測樣本，視頻解碼器300可以決定針對一個或多個子區塊中的第一子區塊執行每像素BDOF。在所述示例中，視頻解碼器300可以針對第一子區塊中的每個樣本來決定相應的運動改善，並且可以針對第一子區塊中的每個樣本，基於相應的運動改善來從第一子區塊的預測區塊中的樣本決定相應的經改善的樣本值。

例如，視頻解碼器300可以執行以下操作：

。pred _BDOF可以表示經改善的樣本值。在所述示例中，I ⁽⁰⁾(x,y) + I ⁽¹⁾(x,y)可以被視為預測區塊。 b’(x,y)的值可以由子區塊中的每個樣本的相應的運動改善(v’ _x, v’ _y)決定。因此，相應的經改善的樣本值（例如，pred _BDOF）是基於預測區塊和相應的運動改善的。

可能有多種方式來決定運動改善(v’ _x, v’ _y)。作為決定運動改善的一部分，視頻解碼器300可以決定自相關和互相關，包括

。在一個或多個示例中，例如在使用用於決定失真值的替代技術的情況下，視頻解碼器300可能已經決定

，以決定第一子區塊的失真值。在這樣的示例中，視頻解碼器300可以重用第一經縮放樣本值集合（例如，

）和第二經縮放樣本值集合（例如，

），以決定每像素BDOF的每像素運動改善（例如，可以在不重新計算

和

的情況下決定

的值）。

視頻解碼器300可以基於預測樣本來重建區塊（1510）。例如，基於預測樣本來重建區塊可以包括：視頻解碼器300接收指示預測樣本和區塊的樣本之間的差異的殘差值，並且將殘差值增加到預測樣本以重建區塊。

上面提供關於區塊的相應子區塊的示例。下面是一個示例，其中存在兩個子區塊，並且其中針對一個子區塊執行每像素BDOF，並且針對另一子區塊旁路BDOF。

例如，對於一個或多個子區塊中的第一子區塊，視頻解碼器300可以決定相應的失真值中的第一失真值，並且對於一個或多個子區塊中的第二子區塊，視頻解碼器300可以決定相應的失真值中的第二失真值。

對於多個子區塊中的第一子區塊，視頻解碼器300可以基於第一失真值（例如，基於第一失真值與閾值的比較）來決定針對第一子區塊啟用BDOF。基於關於針對第一子區塊啟用BDOF的決定，視頻解碼器300可以決定用於改善用於第一子區塊的第一預測樣本集合的每像素運動改善。例如，視頻解碼器300可以針對第一子區塊的第一樣本來推導用於改善第一預測樣本的第一運動改善，並且針對第一子區塊的第二樣本來推導用於改善第二預測樣本的第二運動改善，等等。

對於多個子區塊中的第二子區塊，視頻解碼器300可以基於第二失真值（例如，基於第二失真值與閾值的比較）來決定旁路BDOF。基於關於針對第一區塊旁路BDOF的決定，視頻解碼器300可以旁路決定用於改善用於第二子區塊的第二預測樣本集合的每像素運動改善。例如，視頻解碼器300可以針對第一子區塊的第一樣本來旁路推導用於改善第一預測樣本的第一運動改善，並且針對第一子區塊的第二樣本來旁路推導用於改善第二預測樣本的第二運動改善，等等。

對於第一子區塊，視頻解碼器300可以基於用於第一子區塊的每像素運動改善來決定第一子區塊的經改善的第一預測樣本集合（例如，使用本公開內容中描述的示例技術來決定pred _BDOF）。對於第二子區塊，視頻解碼器300可以決定第二預測樣本集合，而不基於用於改善第二預測樣本集合的每像素運動改善來改善第二預測樣本集合。也就是說，對於第二子區塊，旁路BDOF。視頻解碼器300可以基於各種技術來決定用於第二子區塊的預測樣本，例如，基於參考區塊的加權平均來決定預測區塊。

圖16是示出根據本公開內容的技術的對視頻資料進行編碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視頻編碼器200（圖1和圖3）進行描述，但是應當理解的是，其它設備可以被配置為執行與圖16的方法類似的方法。例如，運動選擇單元202和/或運動補償單元224可以被配置為執行圖16的示例技術。運動選擇單元202和/或運動補償單元224可以耦接到諸如DPB 218之類的記憶體或視頻編碼器200的其它記憶體。在一些示例中，視頻編碼器200可以耦接到記憶體106，記憶體106儲存視頻編碼器200用於執行圖16的示例技術的資訊。通常，視頻編碼器200可以執行與視頻解碼器300相同的操作來產生預測樣本。

視頻編碼器200可以決定針對視頻資料的區塊啟用雙向光流（BDOF）（1600）。例如，視頻編碼器200可以決定與不同譯碼模式相關聯的率失真成本，並且基於率失真成本，可以決定針對區塊啟用BDOF。

當針對區塊啟用BDOF時，視頻編碼器200可以將區塊劃分為多個子區塊（1602）。視頻編碼器200可以針對多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值（1604）。視頻編碼器200可以執行與針對視頻解碼器300描述的技術相同的技術來決定相應的失真值。

視頻編碼器200可以基於相應的失真值來決定針對多個子區塊中的一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項（1606）。例如，由於視頻編碼器200可能不用信號通知指示執行每像素BDOF還是旁路BDOF的資訊，因此視頻編碼器200可以執行與視頻解碼器300相同的操作來決定針對每個子區塊執行每像素BDOF還是旁路BDOF。

視頻編碼器200可以基於關於執行每像素BDOF或旁路BDOF的決定來決定用於一個或多個子區塊中的每個子區塊的預測樣本（1608）。視頻編碼器200可以用信號通知預測樣本和區塊（例如，相應的子區塊）的樣本之間的殘差值（1610）。

以下描述可以一起或單獨應用的一些示例技術。

條款1、一種對視頻資料進行解碼的方法，所述方法包括：決定針對所述視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊；針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值；基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及基於所述預測樣本來重建所述區塊。

條款2、根據條款1所述的方法，其中，針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值包括：針對所述一個或多個子區塊中的第一子區塊來決定所述相應的失真值中的第一失真值；以及針對所述一個或多個子區塊中的第二子區塊來決定所述相應的失真值中的第二失真值，其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：針對所述多個子區塊中的所述第一子區塊，基於所述第一失真值來決定針對所述第一子區塊啟用BDOF；基於關於針對所述第一子區塊啟用BDOF的所述決定，決定用於改善用於所述第一子區塊的第一預測樣本集合的每像素運動改善；針對所述多個子區塊中的所述第二子區塊，基於所述第二失真值來決定旁路BDOF；以及基於關於針對所述第二區塊旁路BDOF的所述決定，旁路決定用於改善用於所述第二子區塊的第二預測樣本集合的每像素運動改善，並且其中，基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本包括：針對所述第一子區塊，基於用於所述第一子區塊的所述每像素運動改善來決定所述第一子區塊的經改善的第一預測樣本集合；以及針對所述第二子區塊，決定所述第二預測樣本集合，而不基於用於改善所述第二預測樣本集合的所述每像素運動改善來改善所述第二預測樣本集合。

條款3、根據條款1和2中任一項所述的方法，其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：決定針對所述一個或多個子區塊中的第一子區塊執行每像素BDOF，所述方法還包括：針對所述第一子區塊中的每個樣本來決定相應的運動改善，並且其中，基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本包括：針對所述第一子區塊中的每個樣本，基於所述相應的運動改善來從用於所述第一子區塊的預測區塊中的樣本中決定相應的經改善的樣本值。

條款4、根據條款1-3中任一項所述的方法，還包括：將所述一個或多個子區塊中的第一子區塊的寬度、所述一個或多個子區塊中的所述第一子區塊的高度和第一縮放因子相乘以產生中間值；基於第二縮放因子來對所述中間值執行左移位操作以產生閾值；以及將所述第一子區塊的所述相應的失真值中的失真值與所述閾值進行比較，其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：基於所述比較來決定針對所述第一子區塊執行每像素BDOF或旁路BDOF中的一項。

條款5、根據條款1-4中任一項所述的方法，還包括：決定所述一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合；利用縮放因子來對所述第一樣本值集合進行縮放，以產生第一經縮放樣本值集合；決定所述一個或多個子區塊中的所述第一子區塊的第二參考區塊中的第二樣本值集合；以及利用所述縮放因子來對所述第二樣本值集合進行縮放，以產生第二經縮放樣本值集合，其中，針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定所述相應的失真值包括：針對所述第一子區塊，基於所述第一經縮放樣本值集合和所述第二經縮放樣本值集合來決定所述相應的失真值中的失真值。

條款6、根據條款5所述的方法，其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：決定針對所述第一子區塊執行每像素BDOF，所述方法還包括：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於每像素BDOF的每像素運動改善。

條款7、根據條款5所述的方法，其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：決定針對所述第一子區塊執行每像素BDOF，所述方法還包括：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於BDOF的運動改善。

條款8、根據條款1-7中任一項所述的方法，其中，重建所述區塊包括：接收指示所述預測樣本和所述區塊的樣本之間的差異的殘差值；以及將所述殘差值增加到所述預測樣本以重建所述區塊。

條款9、一種用於對視頻資料進行解碼的設備，所述設備包括：記憶體，其被配置為儲存所述視頻資料；以及處理電路，其耦接到所述記憶體並且被配置為：決定針對所述視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊；針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值；基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及基於所述預測樣本來重建所述區塊。

條款10、根據條款9所述的設備，其中，為了針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值，所述處理電路被配置為：針對所述一個或多個子區塊中的第一子區塊來決定所述相應的失真值中的第一失真值；以及針對所述一個或多個子區塊中的第二子區塊來決定所述相應的失真值中的第二失真值，其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：針對所述多個子區塊中的所述第一子區塊，基於所述第一失真值來決定針對所述第一子區塊啟用BDOF；基於關於針對所述第一子區塊啟用BDOF的所述決定，決定用於改善用於所述第一子區塊的第一預測樣本集合的每像素運動改善；針對所述多個子區塊中的所述第二子區塊，基於所述第二失真值來決定旁路BDOF；以及基於關於針對所述第二區塊旁路BDOF的所述決定，旁路決定用於改善用於所述第二子區塊的第二預測樣本集合的每像素運動改善，並且其中，為了基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本，所述處理電路被配置為：針對所述第一子區塊，基於用於所述第一子區塊的所述每像素運動改善來決定所述第一子區塊的經改善的第一預測樣本集合；以及針對所述第二子區塊，決定所述第二預測樣本集合，而不基於用於改善所述第二預測樣本集合的所述每像素運動改善來改善所述第二預測樣本集合。

條款11、根據條款9和10中任一項所述的設備，其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：決定針對所述一個或多個子區塊中的第一子區塊執行每像素BDOF，其中，所述處理電路還被配置為：針對所述第一子區塊中的每個樣本來決定相應的運動改善，並且其中，為了基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本，所述處理電路被配置為：針對所述第一子區塊中的每個樣本，基於所述相應的運動改善來從用於所述第一子區塊的預測區塊中的樣本中決定相應的經改善的樣本值。

條款12、根據條款9-11中任一項所述的設備，其中，所述處理電路被配置為：將所述一個或多個子區塊中的第一子區塊的寬度、所述一個或多個子區塊中的第一子區塊的高度和第一縮放因子相乘以產生中間值；基於第二縮放因子來對所述中間值執行左移位操作以產生閾值；以及將所述第一子區塊的所述相應的失真值中的失真值與所述閾值進行比較，其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：基於所述比較來決定針對所述第一子區塊執行每像素BDOF或旁路BDOF中的一項。

條款13、根據條款9-12中任一項所述的設備，其中，所述處理電路被配置為：決定所述一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合；利用縮放因子來對所述第一樣本值集合進行縮放，以產生第一經縮放樣本值集合；決定所述一個或多個子區塊中的所述第一子區塊的第二參考區塊中的第二樣本值集合；以及利用所述縮放因子來對所述第二樣本值集合進行縮放，以產生第二經縮放樣本值集合，其中，為了針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定所述相應的失真值，所述處理電路被配置為：針對所述第一子區塊，基於所述第一經縮放樣本值集合和所述第二經縮放樣本值集合來決定所述相應的失真值中的失真值。

條款14、根據條款13所述的設備，其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：決定針對所述第一子區塊執行每像素BDOF，其中，所述處理電路被配置為：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於每像素BDOF的每像素運動改善。

條款15、根據條款13所述的設備，其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：決定針對所述第一子區塊執行每像素BDOF，其中，所述處理電路被配置為：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於BDOF的運動改善。

條款16、根據條款9-15中任一項所述的設備，其中，為了重建所述區塊，所述處理電路被配置為：接收指示所述預測樣本和所述區塊的樣本之間的差異的殘差值；以及將所述殘差值增加到所述預測樣本以重建所述區塊。

條款17、根據條款9-16中任一項所述的設備，還包括：被配置為顯示經解碼的視頻資料的顯示器。

條款18、根據條款9-17中任一項所述的設備，其中，所述設備包括相機、計算機、行動設備、廣播接收機設備或機上盒中的一者或多者。

條款19、一種其上儲存指令的計算機可讀儲存媒體，所述指令在被執行時使得一個或多個處理器進行以下操作：決定針對視頻資料的區塊啟用雙向光流（BDOF）；基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊；針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值；基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項；基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及基於所述預測樣本來重建所述區塊。

條款20、根據條款19所述的計算機可讀儲存媒體，其中，所述使得所述一個或多個處理器針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值的指令包括使得所述一個或多個處理器進行以下操作的指令：針對所述一個或多個子區塊中的第一子區塊來決定所述相應的失真值中的第一失真值；以及針對所述一個或多個子區塊中的第二子區塊來決定所述相應的失真值中的第二失真值，其中，所述使得所述一個或多個處理器基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的指令包括使得所述一個或多個處理器進行以下操作的指令：針對所述多個子區塊中的所述第一子區塊，基於所述第一失真值來決定針對所述第一子區塊啟用BDOF；基於關於針對所述第一子區塊啟用BDOF的所述決定，決定用於改善用於所述第一子區塊的第一預測樣本集合的每像素運動改善；針對所述多個子區塊中的所述第二子區塊，基於所述第二失真值來決定旁路BDOF；以及基於關於針對所述第二區塊旁路BDOF的所述決定，旁路決定用於改善用於所述第二子區塊的第二預測樣本集合的每像素運動改善，並且其中，所述使得所述一個或多個處理器基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本的指令包括使得所述一個或多個處理器進行以下操作的指令：針對所述第一子區塊，基於用於所述第一子區塊的所述每像素運動改善來決定所述第一子區塊的經改善的第一預測樣本集合；以及針對所述第二子區塊，決定所述第二預測樣本集合，而不基於用於改善所述第二預測樣本集合的所述每像素運動改善來改善所述第二預測樣本集合。

條款21、根據條款19和20中任一項所述的計算機可讀儲存媒體，其中，所述使得所述一個或多個處理器基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的指令包括使得所述一個或多個處理器進行以下操作的指令：決定針對所述一個或多個子區塊中的第一子區塊執行每像素BDOF，所述指令還包括使得所述一個或多個處理器進行以下操作的指令：針對所述第一子區塊中的每個樣本來決定相應的運動改善，並且其中，所述使得所述一個或多個處理器基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本的指令包括使得所述一個或多個處理器進行以下操作的指令：針對所述第一子區塊中的每個樣本，基於所述相應的運動改善來從用於所述第一子區塊的預測區塊中的樣本中決定相應的經改善的樣本值。

條款22、根據條款19-21中任一項所述的計算機可讀儲存媒體，還包括使得所述一個或多個處理器進行以下操作的指令：將所述一個或多個子區塊中的第一子區塊的寬度、所述一個或多個子區塊中的所述第一子區塊的高度和第一縮放因子相乘以產生中間值；基於第二縮放因子來對所述中間值執行左移位操作以產生閾值；以及將所述第一子區塊的所述相應的失真值中的失真值與所述閾值進行比較，其中，所述使得所述一個或多個處理器基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的指令包括使得所述一個或多個處理器進行以下操作的指令：基於所述比較來決定針對所述第一子區塊執行每像素BDOF或旁路BDOF中的一項。

條款23、根據條款19-22中任一項所述的計算機可讀儲存媒體，還包括使得所述一個或多個處理器進行以下操作的指令：決定所述一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合；利用縮放因子來對所述第一樣本值集合進行縮放，以產生第一經縮放樣本值集合；決定所述一個或多個子區塊中的所述第一子區塊的第二參考區塊中的第二樣本值集合；以及利用所述縮放因子來對所述第二樣本值集合進行縮放，以產生第二經縮放樣本值集合，其中，所述使得所述一個或多個處理器針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定所述相應的失真值的指令包括使得所述一個或多個處理器進行以下操作的指令：針對所述第一子區塊，基於所述第一經縮放樣本值集合和所述第二經縮放樣本值集合來決定所述相應的失真值中的失真值。

條款24、一種用於對視頻資料進行解碼的設備，所述設備包括：用於決定針對所述視頻資料的區塊啟用雙向光流（BDOF）的構件；用於基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊的構件；用於針對所述多個子區塊中的一個或多個子區塊中的每個子區塊，決定相應的失真值的構件；用於基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的構件；用於基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本的構件；以及用於基於所述預測樣本來重建所述區塊的構件。

條款25、一種對視頻資料進行譯碼的方法，所述方法包括：將輸入區塊劃分為多個子區塊，其中，所述輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於所述多個子區塊中的子區塊；將所述子區塊劃分為多個子子區塊；決定所述子子區塊中的一個或多個子子區塊的經改善的運動向量，其中，所述一個子區塊或多個子子區塊中的子子區塊的所述經改善運動向量對於所述子子區塊中的多個樣本是相同的；以及基於所述一個或多個子子區塊的所述經改善的運動向量來針對所述子區塊執行BDOF。

條款26、一種對視頻資料進行譯碼的方法，所述方法包括：將輸入區塊劃分為多個子區塊，其中，所述輸入區塊的大小小於或等於譯碼單元的大小；基於滿足條件來決定要將雙向光流（BDOF）應用於所述多個子區塊中的子區塊；將所述子區塊劃分為多個子子區塊；決定所述子區塊中的一個或多個樣本中的每個樣本的經改善的運動向量；以及基於所述子區塊中的所述一個或多個樣本中的每個樣本的所述經改善的運動向量來針對所述子區塊執行BDOF。

條款27、根據條款25和26中任一項所述的方法，還包括：針對所述多個子區塊中的其它子區塊旁路BDOF。

條款28、根據條款25-27中任一項所述的方法，其中，滿足所述條件包括：決定參考圖片0和參考圖片1中的兩個預測信號之間的絕對差之和（SAD）是否小於閾。

條款29、根據條款25-28中任一項所述的方法，其中，所述輸入區塊的所述大小為thWxthH，其中，thW和thH是基於以下各項中的一項或多項的：固定的預定值；從位元串流解碼的值；或者基於在對所述譯碼單元進行編碼或解碼時在BDOF之前使用的區塊的大小。

條款30、一種對視頻資料進行譯碼的方法，所述方法包括條款25-29中的任一項或組合。

條款31、根據條款25-30中任一項所述的方法，其中，執行BDOF包括：作為對所述視頻資料進行解碼的一部分來執行BDOF。

條款32、根據條款25-31中任一項所述的方法，其中，執行BDOF包括：作為對所述視頻資料進行編碼的一部分來執行BDOF，包括在所述編碼的重建循環中。

條款33、一種用於對視頻資料進行譯碼的設備，所述設備包括：用於儲存視頻資料的記憶體；以及耦接到所述記憶體的處理電路，其中，所述處理電路被配置為執行條款25-32中的任一項或組合。

條款34、一種用於對視頻資料進行譯碼的設備，所述設備包括用於執行根據條款25-32中的任一項所述的方法的一個或多個構件。

條款35、根據條款33和34中任一項所述的設備，還包括：被配置為顯示經解碼的視頻資料的顯示器。

條款36、根據條款33-35中任一項所述的設備，其中，所述設備包括相機、計算機、行動設備、廣播接收機設備或機上盒中的一者或多者。

條款37、根據條款33-36中任一項所述的設備，其中，所述處理電路或所述用於執行的單元包括視頻解碼器。

條款38、根據條款33-37中任一項所述的設備，其中，所述處理電路或所述用於執行的單元包括視頻編碼器。

條款39、一種具有儲存在其上的指令的計算機可讀儲存媒體，所述指令在被執行時使得一個或多個處理器執行根據條款25-32中任一項所述的方法。

要認識到的是，根據示例，本文描述的任何技術的某些動作或事件可以以不同的順序執行，可以被增加、合併或完全省略（例如，並非所有描述的動作或事件是對於實施所述技術都是必要的）。此外，在某些示例中，動作或事件可以例如透過多線程處理、中斷處理或多個處理器並行地而不是順序地執行。

在一個或多個示例中，所描述的功能可以用硬體、軟體、韌體或其任何組合來實現。如果用軟體來實現，則所述功能可以作為一個或多個指令或碼儲存在計算機可讀媒體上或者透過其進行傳輸並且由基於硬體的處理單元執行。計算機可讀媒體可以包括計算機可讀儲存媒體，其對應於諸如資料儲存媒體之類的有形媒體或者通信媒體，所述通信媒體包括例如根據通信協定來促進計算機程式從一個地方傳送到另一個地方的任何媒體。以這種方式，計算機可讀媒體通常可以對應於（1）非暫時性的有形計算機可讀儲存媒體、或者（2）諸如信號或載波之類的通信媒體。資料儲存媒體可以是可以由一個或多個計算機或者一個或多個處理器存取以取得用於實現在本公開內容中描述的技術的指令、碼和/或資料結構的任何可用的媒體。計算機程式產品可以包括計算機可讀媒體。

舉例來說而非進行限制，這樣的計算機可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光碟儲存、磁碟儲存或其它磁儲存設備、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程式碼以及能夠由計算機存取的任何其它媒體。此外，任何連接被適當地稱為計算機可讀媒體。例如，如果使用同軸電纜、光纖光纜、雙絞線、數位用戶線（DSL）或者無線技術（例如，紅外線、無線電和微波）從網站、伺服器或其它遠程來源傳輸指令，則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術（例如，紅外線、無線電和微波）被包括在媒體的定義中。然而，應當理解的是，計算機可讀儲存媒體和資料儲存媒體不包括連接、載波、信號或其它暫時性媒體，而是替代地針對非暫時性的有形儲存媒體。如本文所使用的，磁碟和光碟包括壓縮光碟（CD）、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中，磁碟通常磁性地複製資料，而光碟利用雷射來光學地複製資料。上述各項的組合也應當被包括在計算機可讀媒體的範圍之內。

指令可以由一個或多個處理器來執行，諸如一個或多個DSP、通用微處理器、ASIC、FPGA、或其它等效的積體或離散邏輯電路。因此，如本文所使用的術語“處理器”和“處理電路”可以指前述結構中的任何一者或者適於實現本文描述的技術的任何其它結構。另外，在一些方面中，本文描述的功能可以在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供，或者被併入經組合的編解碼器中。此外，所述技術可以完全在一個或多個電路或邏輯元件中實現。

本公開內容的技術可以在多種多樣的設備或裝置中實現，包括無線手機、積體電路（IC）或一組IC（例如，晶片組）。在本公開內容中描述各種組件、模組或單元以強調被配置為執行所公開的技術的設備的功能性方面，但是不一定需要透過不同的硬體單元來實現。確切而言，如上所述，各種單元可以被組合在編解碼器硬體單元中，或者由可互操作的硬體單元的集合（包括如上所述的一個或多個處理器）結合適當的軟體和/或韌體來提供。

已經描述各個示例。這些和其它示例在所附的申請專利範圍的範圍內。

100:視頻編碼和解碼系統 102:來源設備 104:視頻來源 106:記憶體 108:輸出介面 110:計算機可讀媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:檔案伺服器 120:記憶體 122:輸入介面 130:四叉樹二叉樹（QTBT）結構 132:譯碼樹單元（CTU） 200:視頻編碼器 202:模式選擇單元 204:殘差產生單元 206:轉換處理單元 208:量化單元 210:逆量化單元 212:逆轉換處理單元 214:重建單元 216:濾波器單元 218:解碼圖片緩衝器（DPB） 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:幀內預測單元 230:視頻資料記憶體 300:視頻解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆轉換處理單元 310:重建單元 312:濾波器單元 314:DPB 316:運動補償單元 318:幀內預測單元 320:CPB記憶體 500:預測單元（PU） 502:PU 602:區塊 604:區塊 700:當前幀 702:參考幀 800:MVD0 802:MVD1 900:MVD0 902:MVD1 1000:3×3正方形搜尋模式 1102:區塊 1200:譯碼單元（CU） 1300:步驟 1302:步驟 1304:步驟 1306:步驟 1308:步驟 1310:步驟 1500:步驟 1502:步驟 1504:步驟 1506:步驟 1508:步驟 1510:步驟 1600:步驟 1602:步驟 1604:步驟 1608:步驟 1610:步驟

圖1是示出可以執行本公開內容的技術的示例視頻編碼和解碼系統的方塊圖。

圖2A和圖2B是示出示例四叉樹二叉樹（QTBT）結構以及對應的譯碼樹單元（CTU）的概念圖。

圖3是示出可以執行本公開內容的技術的示例視頻編碼器的方塊圖。

圖4是示出可以執行本公開內容的技術的示例視頻解碼器的方塊圖。

圖5A和圖5B分別是示出用於合併模式和進階運動向量預測器（AMVP）模式的空間相鄰運動向量候選的示例的概念圖。

圖6A和圖6B分別是示出時間運動向量預測器（TMVP）候選和運動向量縮放的示例的概念圖。

圖7是示出在初始運動向量（MV）周圍的搜尋區域上執行的模板匹配的概念圖。

圖8是示出基於時間距離成比例的運動向量差的示例的概念圖。

圖9是示出在不考慮時間距離的情況下鏡像的運動向量差的示例的概念圖。

圖10是示出搜尋範圍為[-8,8]的3x3正方形搜尋模式的示例的概念圖。

圖11是示出解碼側運動向量改善的示例的概念圖。

圖12是示出在雙向光流（BDOF）中使用的擴展譯碼單元（CU）的概念圖。

圖13是示出具有子區塊旁路的每像素BDOF的示例程序的流程圖。

圖14是示出8x8子區塊的每像素BDOF的示例的概念圖。

圖15是示出根據本公開內容的技術的用於對當前區塊進行解碼的示例方法的流程圖。

圖16是示出根據本公開內容的技術的用於對當前區塊進行編碼的示例方法的流程圖。

1500:步驟

1502:步驟

1504:步驟

1506:步驟

1508:步驟

1510:步驟

Claims (24)

1. 一種對視頻資料進行解碼的方法，所述方法包括： 決定針對所述視頻資料的區塊啟用雙向光流（BDOF）； 基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊； 針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值； 基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項； 基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及 基於所述預測樣本來重建所述區塊。
2. 根據請求項1所述的方法， 其中，針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值包括： 針對所述一個或多個子區塊中的第一子區塊來決定所述相應的失真值中的第一失真值；以及 針對所述一個或多個子區塊中的第二子區塊來決定所述相應的失真值中的第二失真值， 其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括： 針對所述多個子區塊中的所述第一子區塊，基於所述第一失真值來決定針對所述第一子區塊啟用BDOF； 基於關於針對所述第一子區塊啟用BDOF的所述決定，決定用於改善用於所述第一子區塊的第一預測樣本集合的每像素運動改善； 針對所述多個子區塊中的所述第二子區塊，基於所述第二失真值來決定旁路BDOF；以及 基於關於針對所述第二區塊旁路BDOF的所述決定，旁路決定用於改善用於所述第二子區塊的第二預測樣本集合的每像素運動改善，並且 其中，基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本包括： 針對所述第一子區塊，基於用於所述第一子區塊的所述每像素運動改善來決定所述第一子區塊的經改善的第一預測樣本集合；以及 針對所述第二子區塊，決定所述第二預測樣本集合，而不基於用於改善所述第二預測樣本集合的所述每像素運動改善來改善所述第二預測樣本集合。
3. 根據請求項1所述的方法， 其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：決定針對所述一個或多個子區塊中的第一子區塊執行每像素BDOF， 所述方法還包括：針對所述第一子區塊中的每個樣本來決定相應的運動改善，並且 其中，基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本包括：針對所述第一子區塊中的每個樣本，基於所述相應的運動改善來從用於所述第一子區塊的預測區塊中的樣本中決定相應的經改善的樣本值。
4. 根據請求項1所述的方法，還包括： 將所述一個或多個子區塊中的第一子區塊的寬度、所述一個或多個子區塊中的所述第一子區塊的高度和第一縮放因子相乘以產生中間值； 基於第二縮放因子來對所述中間值執行左移位操作以產生閾值；以及 將所述第一子區塊的所述相應的失真值中的失真值與所述閾值進行比較， 其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：基於所述比較來決定針對所述第一子區塊進行執行每像素BDOF或旁路BDOF中的一項。
5. 根據請求項1所述的方法，還包括： 決定所述一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合； 利用縮放因子來對所述第一樣本值集合進行縮放，以產生第一經縮放樣本值集合； 決定所述一個或多個子區塊中的所述第一子區塊的第二參考區塊中的第二樣本值集合；以及 利用所述縮放因子來對所述第二樣本值集合進行縮放，以產生第二經縮放樣本值集合， 其中，針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定所述相應的失真值包括：針對所述第一子區塊，基於所述第一經縮放樣本值集合和所述第二經縮放樣本值集合來決定所述相應的失真值中的失真值。
6. 根據請求項5所述的方法，其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：決定針對所述第一子區塊執行每像素BDOF，所述方法還包括：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於每像素BDOF的每像素運動改善。
7. 根據請求項5所述的方法，其中，基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項包括：決定針對所述第一子區塊執行每像素BDOF，所述方法還包括：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於BDOF的運動改善。
8. 根據請求項1所述的方法，其中，重建所述區塊包括： 接收指示所述預測樣本和所述區塊的樣本之間的差異的殘差值；以及 將所述殘差值增加到所述預測樣本以重建所述區塊。
9. 一種用於對視頻資料進行解碼的設備，所述設備包括： 記憶體，其被配置為儲存所述視頻資料；以及 處理電路，其耦接到所述記憶體並且被配置為： 決定針對所述視頻資料的區塊啟用雙向光流（BDOF）； 基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊； 針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值； 基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項； 基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及 基於所述預測樣本來重建所述區塊。
10. 根據請求項9所述的設備， 其中，為了針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值，所述處理電路被配置為： 針對所述一個或多個子區塊中的第一子區塊來決定所述相應的失真值中的第一失真值；以及 針對所述一個或多個子區塊中的第二子區塊來決定所述相應的失真值中的第二失真值， 其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為： 針對所述多個子區塊中的所述第一子區塊，基於所述第一失真值來決定針對所述第一子區塊啟用BDOF； 基於關於針對所述第一子區塊啟用BDOF的所述決定，決定用於改善用於所述第一子區塊的第一預測樣本集合的每像素運動改善； 針對所述多個子區塊中的所述第二子區塊，基於所述第二失真值來決定旁路BDOF；以及 基於關於針對所述第二區塊旁路BDOF的所述決定，旁路決定用於改善用於所述第二子區塊的第二預測樣本集合的每像素運動改善，並且 其中，為了基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本，所述處理電路被配置為： 針對所述第一子區塊，基於用於所述第一子區塊的所述每像素運動改善來決定所述第一子區塊的經改善的第一預測樣本集合；以及 針對所述第二子區塊，決定所述第二預測樣本集合，而不基於用於改善所述第二預測樣本集合的所述每像素運動改善來改善所述第二預測樣本集合。
11. 根據請求項9所述的設備， 其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：決定針對所述一個或多個子區塊中的第一子區塊執行每像素BDOF， 其中，所述處理電路還被配置為：針對所述第一子區塊中的每個樣本來決定相應的運動改善，並且 其中，為了基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本，所述處理電路被配置為：針對所述第一子區塊中的每個樣本，基於所述相應的運動改善來從用於所述第一子區塊的預測區塊中的樣本中決定相應的經改善的樣本值。
12. 根據請求項9所述的設備，其中，所述處理電路被配置為： 將所述一個或多個子區塊中的第一子區塊的寬度、所述一個或多個子區塊中的所述第一子區塊的高度和第一縮放因子相乘以產生中間值； 基於第二縮放因子來對所述中間值執行左移位操作以產生閾值；以及 將所述第一子區塊的所述相應的失真值中的失真值與所述閾值進行比較， 其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：基於所述比較來決定針對所述第一子區塊進行執行每像素BDOF或旁路BDOF中的一項。
13. 根據請求項9所述的設備，其中，所述處理電路被配置為： 決定所述一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合； 利用縮放因子來對所述第一樣本值集合進行縮放，以產生第一經縮放樣本值集合； 決定所述一個或多個子區塊中的所述第一子區塊的第二參考區塊中的第二樣本值集合；以及 利用所述縮放因子來對所述第二樣本值集合進行縮放，以產生第二經縮放樣本值集合， 其中，為了針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定所述相應的失真值，所述處理電路被配置為：針對所述第一子區塊，基於所述第一經縮放樣本值集合和所述第二經縮放樣本值集合來決定所述相應的失真值中的失真值。
14. 根據請求項13所述的設備，其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：決定針對所述第一子區塊執行每像素BDOF，其中，所述處理電路被配置為：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於每像素BDOF的每像素運動改善。
15. 根據請求項13所述的設備，其中，為了基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項，所述處理電路被配置為：決定針對所述第一子區塊執行每像素BDOF，其中，所述處理電路被配置為：重用所述第一經縮放樣本值集合和所述第二經縮放樣本值集合，以決定用於BDOF的運動改善。
16. 根據請求項9所述的設備，其中，為了重建所述區塊，所述處理電路被配置為： 接收指示所述預測樣本和所述區塊的樣本之間的差異的殘差值；以及 將所述殘差值增加到所述預測樣本以重建所述區塊。
17. 根據請求項9所述的設備，還包括：被配置為顯示經解碼的視頻資料的顯示器。
18. 根據請求項9所述的設備，其中，所述設備包括相機、計算機、行動設備、廣播接收機設備或機上盒中的一者或多者。
19. 一種其上儲存指令的計算機可讀儲存媒體，所述指令在被執行時使得一個或多個處理器進行以下操作： 決定針對視頻資料的區塊啟用雙向光流（BDOF）； 基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊； 針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值； 基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項； 基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本；以及 基於所述預測樣本來重建所述區塊。
20. 根據請求項19所述的計算機可讀儲存媒體， 其中，所述使得所述一個或多個處理器針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定相應的失真值的指令包括使得所述一個或多個處理器進行以下操作的指令： 針對所述一個或多個子區塊中的第一子區塊來決定所述相應的失真值中的第一失真值；以及 針對所述一個或多個子區塊中的第二子區塊來決定所述相應的失真值中的第二失真值， 其中，所述使得所述一個或多個處理器基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的指令包括使得所述一個或多個處理器進行以下操作的指令： 針對所述多個子區塊中的所述第一子區塊，基於所述第一失真值來決定針對所述第一子區塊啟用BDOF； 基於關於針對所述第一子區塊啟用BDOF的所述決定，決定用於改善用於所述第一子區塊的第一預測樣本集合的每像素運動改善； 針對所述多個子區塊中的所述第二子區塊，基於所述第二失真值來決定旁路BDOF；以及 基於關於針對所述第二區塊旁路BDOF的所述決定，旁路決定用於改善用於所述第二子區塊的第二預測樣本集合的每像素運動改善，並且 其中，所述使得所述一個或多個處理器基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本的指令包括使得所述一個或多個處理器進行以下操作的指令： 針對所述第一子區塊，基於用於所述第一子區塊的所述每像素運動改善來決定所述第一子區塊的經改善的第一預測樣本集合；以及 針對所述第二子區塊，決定所述第二預測樣本集合，而不基於用於改善所述第二預測樣本集合的所述每像素運動改善來改善所述第二預測樣本集合。
21. 根據請求項19所述的計算機可讀儲存媒體， 其中，所述使得所述一個或多個處理器基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的指令包括使得所述一個或多個處理器進行以下操作的指令：決定針對所述一個或多個子區塊中的第一子區塊執行每像素BDOF， 所述指令還包括使得所述一個或多個處理器進行以下操作的指令：針對所述第一子區塊中的每個樣本來決定相應的運動改善，並且 其中，所述使得所述一個或多個處理器基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的所述預測樣本的指令包括使得所述一個或多個處理器進行以下操作的指令：針對所述第一子區塊中的每個樣本，基於所述相應的運動改善來從用於所述第一子區塊的預測區塊中的樣本中決定相應的經改善的樣本值。
22. 根據請求項19所述的計算機可讀儲存媒體，還包括使得所述一個或多個處理器進行以下操作的指令： 將所述一個或多個子區塊中的第一子區塊的寬度、所述一個或多個子區塊中的所述第一子區塊的高度和第一縮放因子相乘以產生中間值； 基於第二縮放因子來對所述中間值執行左移位操作以產生閾值；以及 將所述第一子區塊的所述相應的失真值中的失真值與所述閾值進行比較， 其中，所述使得所述一個或多個處理器基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的指令包括使得所述一個或多個處理器進行以下操作的指令：基於所述比較來決定針對所述第一子區塊進行執行每像素BDOF或旁路BDOF中的一項。
23. 根據請求項19所述的計算機可讀儲存媒體，還包括使得所述一個或多個處理器進行以下操作的指令： 決定所述一個或多個子區塊中的第一子區塊的第一參考區塊中的第一樣本值集合； 利用縮放因子來對所述第一樣本值集合進行縮放，以產生第一經縮放樣本值集合； 決定所述一個或多個子區塊中的所述第一子區塊的第二參考區塊中的第二樣本值集合；以及 利用所述縮放因子來對所述第二樣本值集合進行縮放，以產生第二經縮放樣本值集合， 其中，所述使得所述一個或多個處理器針對所述多個子區塊中的一個或多個子區塊中的每個子區塊來決定所述相應的失真值的指令包括使得所述一個或多個處理器進行以下操作的指令：針對所述第一子區塊，基於所述第一經縮放樣本值集合和所述第二經縮放樣本值集合來決定所述相應的失真值中的失真值。
24. 一種用於對視頻資料進行解碼的設備，所述設備包括： 用於決定針對所述視頻資料的區塊啟用雙向光流（BDOF）的構件； 用於基於關於針對所述區塊啟用BDOF的所述決定來將所述區塊劃分為多個子區塊的構件； 用於針對所述多個子區塊中的一個或多個子區塊中的每個子區塊，決定相應的失真值的構件； 用於基於所述相應的失真值來決定針對所述多個子區塊中的所述一個或多個子區塊中的每個子區塊進行執行每像素BDOF或旁路BDOF中的一項的構件； 用於基於關於執行每像素BDOF或旁路BDOF的所述決定來決定用於所述一個或多個子區塊中的每個子區塊的預測樣本的構件；以及 用於基於所述預測樣本來重建所述區塊的構件。

Images