TW202232951A - 多通路解碼器側運動向量細化 - Google Patents

Abstract

揭露了用於多通路解碼器側運動向量細化(decoder-side motion vector refinement, DMVR)的示例設備和技術。一種示例設備包括被配置為儲存視訊資料的記憶體和耦合到記憶體的一個或多個處理器。一個或多個處理器被配置為：向視訊資料的區塊的運動向量應用多通路DMVR，以確定至少一個經細化運動向量；以及，基於至少一個經細化的運動向量來對區塊進行解碼。多通路DMVR包括基於區塊的第一通路、基於子區塊的第二通路和基於子區塊的第三通路。

Description

多通路解碼器側運動向量細化

本申請主張於2020年12月22日遞交的並且命名為“MULTI-PASS DECODER-SIDE MOTION VECTOR REFINEMENT”的美國臨時申請No. 63/129,221的權益，將上述申請的全部內容通過引用的方式併入本文中。

本揭露內容涉及視訊編碼和視訊解碼。

數位視訊能力可以被合併到各種各樣的設備中，包括數位電視機、數位直播系統、無線廣播系統、個人數位助理(personal digital assistants, PDA)、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放器、視訊遊戲設備、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的“智慧電話”)、視訊電話會議設備、視訊串流設備等。數位視訊設備實施視訊寫碼技術(諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分，先進視訊寫碼(Advanced Video Coding, AVC))、ITU-T H.265/高效率視訊寫碼(High Efficiency Video Coding, HEVC)所定義的標準以及此類標準的擴展中描述的那些技術)。通過實施這樣的視訊寫碼技術，視訊設備可以更加高效地發送、接收、編碼、解碼和/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖片內(intra-picture))預測和/或時間(圖片間(inter-picture))預測以減少或去除在視訊序列中固有的冗餘。對於基於區塊的視訊寫碼，視訊切片(例如，視訊圖片或視訊圖片的一部分)可以被分割為視訊區塊，視訊區塊也可以被稱為寫碼樹單元(coding tree units, CTU)、寫碼單元(coding units, CU)和/或寫碼節點。圖片的經幀內寫碼(I)的切片中的視訊區塊是使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測來編碼的。圖片的經幀間寫碼(P或B)的切片中的視訊區塊可以使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測或者相對於其它參考圖片中的參考樣本的時間預測。圖片可以被稱為幀，並且參考圖片可以被稱為參考幀。

概括而言，本揭露內容描述了用於解碼器側運動向量推導技術的技術。更具體地說，本揭露內容描述了用於視訊寫碼的多通路(pass)解碼器側運動向量細化技術。在一些視訊標準草案中，對於所有情況，運動向量細化的範圍可能太窄。本揭露內容的技術解決了這一問題，這可以導致更準確的運動預測並且因此對經編碼的視訊資料的更準確地解碼和再現。

在一個示例中，一種方法包括：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

在另一示例中，一種設備包括：記憶體，其被配置為儲存視訊資料；以及在電路中實施並且通訊地耦合到所述記憶體的一個或多個處理器，所述一個或多個處理器被配置為：向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(decoder-side motion vector refinement, DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

在另一示例中，非暫時性電腦可讀儲存媒體儲存指令，所述指令在被執行時使得一個或多個處理器進行以下操作：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

在另一示例中，一種設備包括：用於向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量的單元；以及用於基於所述至少一個經細化的運動向量來對所述區塊進行解碼的單元，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

在一個示例中，一種方法包括：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定經細化的運動向量；以及基於所述經細化的運動向量來對所述區塊進行寫碼。

在另一示例中，一種設備包括：記憶體，其被配置為儲存視訊資料；以及在電路中實施並且通訊地耦合到所述記憶體的一個或多個處理器，所述一個或多個處理器被配置為執行本揭露內容的任何技術。

在另一示例中，一種設備包括：用於執行本揭露內容的任何技術的至少一個單元。

在另一示例中，一種電腦可讀儲存媒體被編碼有指令，所述指令在被執行時使得可程式化處理器執行本揭露內容的任何技術。

在圖式和以下描述中闡述了一個或多個示例的細節。根據描述、圖式和請求項，其它特徵、目的和優點將是顯而易見的。

在一些視訊標準草案中，對於所有情況，運動向量細化的範圍可能太窄。這可能導致錯誤的運動預測，並且從而導致不太準確的解碼。本揭露內容的技術解決了這一問題，這可以導致更準確的運動預測以及因此對經編碼的視訊資料的更準確的解碼和再現。

圖1是示出可以執行本揭露內容的技術的示例視訊編碼和解碼系統100的方框圖。概括而言，本揭露內容的技術涉及對視訊資料進行寫碼(編碼和/或解碼)。通常，視訊資料包括用於處理視訊的任何資料。因此，視訊資料可以包括原始的未經編碼的視訊、經編碼的視訊、經解碼(例如，經重構)的視訊、以及視訊元資料(諸如發訊資料)。

如圖1所示，在該示例中，系統100包括源設備102，源設備102提供要被目標設備116解碼和顯示的、經編碼的視訊資料。具體地，源設備102經由電腦可讀媒體110來將視訊資料提供給目標設備116。源設備102和目標設備116可以包括各種各樣的設備中的任何一種，包括桌上型電腦、筆記本電腦(即，膝上型電腦)、移動設備、平板電腦、機上盒、諸如智慧電話之類的電話手機、電視機、相機、顯示設備、數位媒體播放器、視訊遊戲主控台、視訊串流式傳輸設備、廣播接收機設備等。在一些情況下，源設備102和目標設備116可以被配備用於無線通訊，並且因此可以被稱為無線通訊設備。

在圖1的示例中，源設備102包括視訊源104、記憶體106、視訊編碼器200以及輸出介面108。目標設備116包括輸入介面122、視訊解碼器300、記憶體120以及顯示設備118。根據本揭露內容，源設備102的視訊編碼器200和目標設備116的視訊解碼器300可以被配置為應用用於解碼器側運動向量推導的技術。因此，源設備102表示視訊編碼設備的示例，而目標設備116表示視訊解碼設備的示例。在其它示例中，源設備和目標設備可以包括其它組件或佈置。例如，源設備102可以從諸如外部相機之類的外部視訊源接收視訊資料。同樣，目標設備116可以與外部顯示設備相連接，而不是包括整合顯示設備。

如圖1所示的系統100僅是一個示例。通常，任何數位視訊解碼設備可以執行用於解碼器側運動向量推導技術的技術。源設備102和目標設備116僅是這樣的寫碼設備的示例，其中，源設備102生成經寫碼的視訊資料以用於傳輸給目標設備116。本揭露內容將“寫碼”設備指代為執行對資料的寫碼(例如，編碼和/或解碼)的設備。因此，視訊編碼器200和視訊解碼器300分別表示寫碼設備(具體地，視訊編碼器和視訊解碼器)的示例。在一些示例中，源設備102和目標設備116可以以基本上對稱的方式進行操作，使得源設備102和目標設備116中的各者都包括視訊編碼和解碼組件。因此，系統100可以支持在源設備102和目標設備116之間的單向或雙向視訊傳輸，例如，以用於視訊串流式傳輸、視訊回放、視訊廣播或視訊電話。

通常，視訊源104表示視訊資料(即原始的未經編碼的視訊資料)的源，並且將視訊資料的順序的一系列圖片(也被稱為“幀”)提供給視訊編碼器200，視訊編碼器200對用於圖片的資料進行編碼。源設備102的視訊源104可以包括視訊捕獲設備，諸如攝像機、包含先前捕獲的原始視訊的視訊存檔單元、和/或用於從視訊內容提供者接收視訊的視訊饋送介面。作為另外的替代方式，視訊源104可以生成基於電腦圖形的資料作為源視訊，或者生成即時視訊、被存檔的視訊和電腦生成的視訊的組合。在每種情況下，視訊編碼器200對被捕獲的、預捕獲的或電腦生成的視訊資料進行編碼。視訊編碼器200可以將圖片從所接收的次序(有時被稱為“顯示次序”)重新排列為用於寫碼的寫碼次序。視訊編碼器200可以生成包括經編碼的視訊資料的位元串流。然後，源設備102可以經由輸出介面108將經編碼的視訊資料輸出到電腦可讀媒體110上，以便由例如目標設備116的輸入介面122接收和/或取回。

源設備102的記憶體106和目標設備116的記憶體120表示通用記憶體。在一些示例中，記憶體106、記憶體120可以儲存原始視訊資料，例如，來自視訊源104的原始視訊以及來自視訊解碼器300的原始的經解碼的視訊資料。另外地或替代地，記憶體106、記憶體120可以儲存可由例如視訊編碼器200和視訊解碼器300分別執行的軟體指令。儘管記憶體106和記憶體120在該示例中被示為與視訊編碼器200和視訊解碼器300分開，但是應當理解的是，視訊編碼器200和視訊解碼器300還可以包括用於在功能上類似或等效目的的內部記憶體。此外，記憶體106、記憶體120可以儲存例如從視訊編碼器200輸出並且輸入到視訊解碼器300的經編碼的視訊資料。在一些示例中，記憶體106、記憶體120的部分可以被分配為一個或多個視訊緩沖區，例如，以儲存原始的經解碼和/或經編碼的視訊資料。

電腦可讀媒體110可以表示能夠將經編碼的視訊資料從源設備102輸送到目標設備116的任何類型的媒體或設備。在一個示例中，電腦可讀媒體110表示通訊媒體，其使得源設備102能夠例如經由射頻網路或基於電腦的網路，來即時地向目標設備116直接發送經編碼的視訊資料。輸出介面108可以根據諸如無線通訊協定之類的通訊標準來對包括經編碼的視訊資料的傳輸訊號進行調變，並且輸入介面122可以根據諸如無線通訊協定之類的通訊標準來對所接收的傳輸訊號進行解調變。通訊媒體可以包括任何無線通訊媒體或有線通訊媒體，例如，射頻(radio frequency, RF)頻譜或一條或多條實體傳輸線。通訊媒體可以形成諸如以下各項的基於分組的網路的一部分：區域網、廣域網、或諸如網際網路之類的全球網路。通訊媒體可以包括路由器、交換機、基站、或對於促進從源設備102到目標設備116的通訊而言可能有用的任何其它設備。

在一些示例中，源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地，目標設備116可以經由輸入介面122從儲存設備112存取經編碼的資料。儲存設備112可以包括各種分布式或本地存取的資料儲存媒體中的任何一種，諸如硬碟驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼的視訊資料的任何其它適當的數位儲存媒體。

在一些示例中，源設備102可以將經編碼的視訊資料輸出到檔案伺服器114或者可以儲存由源設備102生成的經編碼的視訊資料的另一中間儲存設備。目標設備116可以經由串流式傳輸或下載來從檔案伺服器114存取被儲存的視訊資料。

檔案伺服器114可以是能夠儲存經編碼的視訊資料並且將該經編碼的視訊資料發送給目標設備116的任何類型的伺服器設備。檔案伺服器114可以表示網頁伺服器(例如，用於網站)、被配置為提供檔案傳輸協定服務(諸如檔案傳輸協定(File Transfer Protocol, FTP)或基於單向傳輸的檔案遞送(File Delivery over Unidirectional Transport, FLUTE)協定)的伺服器、內容遞送網路(content delivery network, CDN)設備、超文件傳輸協定(hypertext transfer protocol, HTTP)伺服器、多媒體廣播多播服務(Multimedia Broadcast Multicast Service, MBMS)或增強型MBMS(Enhanced MBMS, eMBMS)伺服器、和/或網路附加儲存(network attached storage, NAS)設備。檔案伺服器114可以另外地或替代地實施一種或多種HTTP串流式傳輸協定，諸如基於HTTP的動態自適應串流式傳輸(Dynamic Adaptive Streaming over HTTP, DASH)、HTTP即時串流式傳輸(HTTP Live Streaming, HLS)、即時串流式傳輸協定(Real Time Streaming Protocol, RTSP)、HTTP動態串流式傳輸等。

目標設備116可以通過任何標準資料連接(包括網際網路連接)來從檔案伺服器114存取經編碼的視訊資料。這可以包括適於存取被儲存在檔案伺服器114上的經編碼的視訊資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(digital subscriber line, DSL)、電纜數據機等)、或這兩者的組合。輸入介面122可以被配置為根據上文討論的用於從檔案伺服器114取回或接收媒體資料的各種協定或者用於取回媒體資料的其它此類協定中的任何一種或多種進行操作。

輸出介面108和輸入介面122可以表示無線發射機/接收機、數據機、有線聯網組件(例如，乙太網卡)、根據各種IEEE 802.11標準中的任何一種標準進行操作的無線通訊組件、或其它實體組件。在其中輸出介面108和輸入介面122包括無線組件的示例中，輸出介面108和輸入介面122可以被配置為根據蜂巢式通訊標準(諸如4G、4G-LTE(長期演進)、改進的LTE、5G等)來傳輸資料(諸如經編碼的視訊資料)。在其中輸出介面108包括無線發射機的一些示例中，輸出介面108和輸入介面122可以被配置為根據其它無線標準(諸如IEEE 802.11規範、IEEE 802.15規範(例如，紫蜂™)、藍牙™標準等)來傳輸資料(諸如經編碼的視訊資料)。在一些示例中，源設備102和/或目標設備116可以包括相應的單晶片系統(system-on-a-chip, SoC)設備。例如，源設備102可以包括用於執行被賦予視訊編碼器200和/或輸出介面108的功能的SoC設備，並且目標設備116可以包括用於執行被賦予視訊解碼器300和/或輸入介面122的功能的SoC設備。

本揭露內容的技術可以應用於視訊寫碼，以支持各種多媒體應用中的任何一種，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流式視訊傳輸(諸如基於HTTP的動態自適應串流式傳輸(DASH))、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼、或其它應用。

目標設備116的輸入介面122從電腦可讀媒體110(例如，通訊媒體、儲存設備112、檔案伺服器114等)接收經編碼的視訊位元串流。經編碼的視訊位元串流可以包括由視訊編碼器200定義的諸如以下語法元素之類的發訊資訊(其也被視訊解碼器300使用)：所述語法元素具有描述視訊區塊或其它寫碼單元(例如，切片、圖片、圖片組、序列等)的特性和/或處理的值。顯示設備118將經解碼的視訊資料的經解碼的圖片顯示給用戶。顯示設備118可以表示各種顯示設備中的任何一種，諸如液晶顯示器(liquid crystal display, LCD)、電漿顯示器、有機發光二極管(organic light emitting diode, OLED)顯示器、或另一種類型的顯示設備。

儘管在圖1中未示出，但是在一些示例中，視訊編碼器200和視訊解碼器300可以各自與音訊編碼器和/或音訊解碼器整合，並且可以包括適當的MUX-DEMUX單元或其它硬體和/或軟體，以處理包括公共資料串流中的音訊和視訊兩者的經多工的串流。如果適用的話，MUX-DEMUX單元可以遵循ITU H.223多工器協定或其它協定(諸如用戶資料報協定(UDP))。

視訊編碼器200和視訊解碼器300各自可以被實施為各種適當的編碼器和/或解碼器電路中的任何一種，諸如一個或多個微處理器、數位訊號處理器(digital signal processors, DSP)、特殊應用積體電路(application specific integrated circuits, ASIC)、現場可程式化閘陣列(field programmable gate arrays, FPGA)、離散邏輯、軟體、硬體、韌體、或其任何組合。當所述技術部分地用軟體實施時，設備可以將用於軟體的指令儲存在適當的非暫時性電腦可讀媒體中，並且使用一個或多個處理器在硬體中來執行指令以執行本揭露內容的技術。視訊編碼器200和視訊解碼器300中的各者可以被包括在一個或多個編碼器或解碼器中，編碼器或解碼器中的任一者可以被整合為相應設備中的組合編碼器/解碼器(encoder/decoder, CODEC)的一部分。包括視訊編碼器200和/或視訊解碼器300的設備可以包括積體電路、微處理器、和/或無線通訊設備(諸如蜂巢式電話)。

視訊編碼器200和視訊解碼器300可以根據視訊寫碼標準(諸如ITU-T H.265(也被稱為高效率視訊寫碼(HEVC)標準)或對其的擴展(諸如多視圖和/或可伸縮視訊寫碼擴展))進行操作。替代地，視訊編碼器200和視訊解碼器300可以根據其它專有或行業標準(諸如ITU-T H.266，還被稱為通用視訊寫碼(Versatile Video Coding, VVC))進行操作。VVC標準的草案是在以下文件中描述的：Bross等人，“Versatile Video Coding Editorial Refinements on Draft 10”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET)，第18次會議：通過電話會議，2020年10月7日-16日，JVET-T2001-v1(下文中被稱為“VVC草案10”)。然而，本揭露內容的技術不限於任何特定的寫碼標準。

通常，視訊編碼器200和視訊解碼器300可以執行對圖片的基於區塊的寫碼。術語“區塊”通常指代包括要被處理的(例如，在編碼和/或解碼過程中要被編碼、被解碼或以其它方式使用的)資料的結構。例如，區塊可以包括亮度和/或色度資料的樣本的二維矩陣。通常，視訊編碼器200和視訊解碼器300可以對以YUV(例如，Y、Cb、Cr)格式表示的視訊資料進行寫碼。也就是說，並不是對用於圖片的樣本的紅色、綠色和藍色(RGB)資料進行寫碼，視訊編碼器200和視訊解碼器300可以對亮度分量和色度分量進行寫碼，其中，色度分量可以包括紅色色相色度分量和藍色色相色度分量兩者。在一些示例中，視訊編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示，並且視訊解碼器300將YUV表示轉換為RGB格式。替代地，預處理單元和後處理單元(未示出)可以執行這些轉換。

概括而言，本揭露內容可以涉及對圖片的寫碼(例如，編碼和解碼)以包括對圖片的資料進行編碼或解碼的過程。類似地，本揭露內容可以涉及對圖片的區塊的寫碼以包括對用於區塊的資料進行編碼或解碼(例如，預測和/或殘差寫碼)的過程。經編碼的視訊位元串流通常包括用於表示寫碼決策(例如，寫碼模式)以及將圖片分割為區塊的語法元素的一系列值。因此，關於對圖片或區塊進行寫碼的引用通常應當被理解為對用於形成圖片或區塊的語法元素的值進行寫碼。

HEVC定義了各種區塊，包括寫碼單元(CU)、預測單元(prediction units, PU)和變換單元(transform units, TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四元樹結構來將寫碼樹單元(CTU)分割為CU。也就是說，視訊寫碼器將CTU和CU分割為四個相等的、不重疊的正方形，並且四元樹的每個節點具有零個或者四個子節點。沒有子節點的節點可以被稱為“葉節點”，並且這種葉節點的CU可以包括一個或多個PU和/或一個或多個TU。視訊寫碼器可以進一步分割PU和TU。例如，在HEVC中，殘差四元樹(residual quadtree, RQT)表示對TU的分割。在HEVC中，PU表示幀間預測資料，而TU表示殘差資料。經幀內預測的CU包括幀內預測資訊，諸如幀內模式指示。

作為另一示例，視訊編碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC，視訊寫碼器(諸如視訊編碼器200)將圖片分割為多個寫碼樹單元(CTU)。視訊編碼器200可以根據樹結構(諸如四元樹-二元樹(QTBT)結構或多類型樹(Multi-Type Tree, MTT)結構)分割CTU。QTBT結構去除了多種分割類型的概念，諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別：根據四元樹分割而被分割的第一級別、以及根據二元樹分割而被分割的第二級別。QTBT結構的根節點對應於CTU。二元樹的葉節點對應於寫碼單元(CU)。

在MTT分割結構中，可以使用四元樹(quadtree, QT)分割、二元樹(binary tree, BT)分割以及一種或多種類型的三叉樹(ternary tree, TT)(也被稱為三元樹(TT))分割來對區塊進行分割。三叉樹或三元樹分割是其中區塊被分為三個子區塊的分割。在一些示例中，三叉樹或三元樹分割將區塊劃分為三個子區塊，而不通過中心劃分原始區塊。MTT中的分割類型(例如，QT、BT和TT)可以是對稱的或不對稱的。

在一些示例中，視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的各者，而在其它示例中，視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構，諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構(或者用於相應色度分量的兩個QTBT/MTT結構)。

視訊編碼器200和視訊解碼器300可以被配置為使用每HEVC的四元樹分割、QTBT分割、MTT分割、或其它分割結構。出於解釋的目的，關於QTBT分割給出了本揭露內容的技術的描述。然而，應當理解的是，本揭露內容的技術還可以應用於被配置為使用四元樹分割或者還使用其它類型的分割的視訊寫碼器。

在一些示例中，CTU包括具有三個樣本陣列的圖片的亮度樣本的寫碼樹區塊(CTB)、色度樣本的兩個對應CTB、或者單色圖片或使用三個單獨的色彩平面而寫碼的圖片的樣本的CTB、以及用於對樣本進行寫碼的語法結構。CTB可以是針對N的某個值而言的NxN樣本區塊，使得將分量劃分為CTB是一種分割。分量是來自包括以4:2:0、4:2:2或4:4:4色彩格式的圖片的三個陣列(亮度和兩個色度)的一個陣列或來自三個陣列之一的單個樣本、或包括以單色格式的圖片的陣列或該陣列的單個樣本。在一些示例中，寫碼區塊是針對M和N的一些值而言的MxN樣本區塊，使得將CTB劃分為寫碼區塊是一種分割。

可以以各種方式在圖片中對區塊(例如，CTU或CU)進行分組。作為一個示例，磚塊(brick)可以指代圖片中的特定圖塊(tile)內的CTU列的矩形區域。圖塊可以是圖片中的特定圖塊行和特定圖塊列內的CTU的矩形區域。圖塊行指代CTU的矩形區域，其具有等於圖片的高度的高度以及由語法元素(例如，諸如在圖片參數集中)指定的寬度。圖塊列指代CTU的矩形區域，其具有由語法元素指定的高度(例如，諸如在圖片參數集中)以及等於圖片的寬度的寬度。

在一些示例中，可以將圖塊分割為多個磚塊，每個磚塊可以包括圖塊內的一個或多個CTU行。沒有被分割為多個磚塊的圖塊也可以被稱為磚塊。然而，作為圖塊的真實子集的磚塊可以不被稱為圖塊。

圖片中的磚塊也可以以切片來排列。切片可以是圖片的整數個磚塊，其可以唯一地被包含在單個網路抽象層(network abstraction layer, NAL)單元中。在一些示例中，切片包括多個完整的圖塊或者僅包括一個圖塊的完整磚塊的連續序列。

本揭露內容可以互換地使用“NxN”和“N乘N”來指代區塊(諸如CU或其它視訊區塊)在垂直和水平維度方面的樣本大小，例如，16x16個樣本或16乘16個樣本。通常，16x16 CU在垂直方向上將具有16個樣本(y = 16)，並且在水平方向上將具有16個樣本(x = 16)。同樣地，NxN CU通常在垂直方向上具有N個樣本，並且在水平方向上具有N個樣本，其中N表示非負整數值。CU中的樣本可以按列和行來排列。此外，CU不一定需要在水平方向上具有與在垂直方向上相同的數量的樣本。例如，CU可以包括NxM個樣本，其中M不一定等於N。

視訊編碼器200對用於CU的表示預測和/或殘差資訊以及其它資訊的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成用於CU的預測區塊。殘差資訊通常表示在編碼之前的CU的樣本與預測區塊之間的逐樣本差。

為了預測CU，視訊編碼器200通常可以通過幀間預測或幀內預測來形成用於CU的預測區塊。幀間預測通常指代根據先前寫碼的圖片的資料來預測CU，而幀內預測通常指代根據同一圖片的先前寫碼的資料來預測CU。為了執行幀間預測，視訊編碼器200可以使用一個或多個運動向量來生成預測區塊。視訊編碼器200通常可以執行運動搜索，以識別例如在CU與參考區塊之間的差異方面與CU緊密匹配的參考區塊。視訊編碼器200可以使用絕對差之和(sum of absolute difference, SAD)、平方差之和(sum of squared differences, SSD)、平均絕對差(mean absolute difference, MAD)、均方差(mean squared differences, MSD)、或其它這種差分計算來計算差分度量，以確定參考區塊是否與當前CU緊密匹配。在一些示例中，視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。

VVC的一些示例還提供仿射運動補償模式，其可以被認為是幀間預測模式。在仿射運動補償模式下，視訊編碼器200可以確定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其它不規則的運動類型)的兩個或更多個運動向量。

為了執行幀內預測，視訊編碼器200可以選擇幀內預測模式來生成預測區塊。VVC的一些示例提供六十七種幀內預測模式，包括各種方向性模式、以及平面模式和DC模式。通常，視訊編碼器200選擇幀內預測模式，幀內預測模式描述要根據其來預測當前區塊(例如，CU的區塊)的樣本的、當前區塊的相鄰樣本。假定視訊編碼器200以光柵掃描次序(從左到右、從上到下)對CTU和CU進行寫碼，則這樣的樣本通常可以是在與當前區塊相同的圖片中在當前區塊的上方、左上方或左側。

視訊編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如，對於幀間預測模式，視訊編碼器200可以對表示使用各種可用幀間預測模式中的哪一種的資料以及用於對應模式的運動資訊進行編碼。對於單向或雙向幀間預測，例如，視訊編碼器200可以使用改進的運動向量預測(advanced motion vector prediction, AMVP)或合併模式來對運動向量進行編碼。視訊編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。

在諸如對區塊的幀內預測或幀間預測之類的預測之後，視訊編碼器200可以計算用於該區塊的殘差資料。殘差資料(諸如殘差區塊)表示在區塊與用於該區塊的預測區塊之間的逐樣本差，該預測區塊是使用對應的預測模式來形成的。視訊編碼器200可以將一個或多個變換應用於殘差區塊，以在變換域中而非在樣本域中產生經變換的資料。例如，視訊編碼器200可以將離散餘弦變換(discrete cosine transform, DCT)、整數變換、小波變換或概念上類似的變換應用於殘差視訊資料。另外，視訊編碼器200可以在第一變換之後應用二次變換，諸如模式相關的不可分離二次變換(mode-dependent non-separable secondary transform, MDNSST)、訊號相關變換、Karhunen-Loeve變換(KLT)等。視訊編碼器200在應用一個或多個變換之後產生變換係數。

如上所述，在任何變換以產生變換係數之後，視訊編碼器200可以執行對變換係數的量化。量化通常指代如下的過程：在該過程中，對變換係數進行量化以可能減少用於表示變換係數的資料量，從而提供進一步的壓縮。通過執行量化過程，視訊編碼器200可以減小與一些或所有變換係數相關聯的位元深度。例如，視訊編碼器200可以在量化期間將 n位元的值向下舍入為 m位元的值，其中 n大於 m。在一些示例中，為了執行量化，視訊編碼器200可以執行對要被量化的值的按位右移。

在量化之後，視訊編碼器200可以掃描變換係數，從而從包括經量化的變換係數的二維矩陣產生一維向量。可以將掃描設計為將較高能量(並且因此較低頻率)的變換係數放在向量的前面，並且將較低能量(並且因此較高頻率)的變換係數放在向量的後面。在一些示例中，視訊編碼器200可以利用預定義的掃描次序來掃描經量化的變換係數以產生經串行化的向量，並且然後對向量的經量化的變換係數進行熵編碼。在其它示例中，視訊編碼器200可以執行自適應掃描。在掃描經量化的變換係數以形成一維向量之後，視訊編碼器200可以例如根據上下文自適應二進制算術寫碼(context-adaptive binary arithmetic coding, CABAC)來對一維向量進行熵編碼。視訊編碼器200還可以對用於描述與經編碼的視訊資料相關聯的元資料的語法元素的值進行熵編碼，以供視訊解碼器300在對視訊資料進行解碼時使用。

為了執行CABAC，視訊編碼器200可以將上下文模型內的上下文分配給要被發送的符號。上下文可以涉及例如符號的相鄰值是否為零值。概率確定可以是基於被分配給符號的上下文的。

視訊編碼器200還可以例如在圖片標頭、區塊標頭、切片標頭中為視訊解碼器300生成語法資料(諸如基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料)、或其它語法資料(諸如序列參數集(sequence parameter set, SPS)、圖片參數集(picture parameter set, PPS)或視訊參數集(video parameter set, VPS))。同樣地，視訊解碼器300可以對這樣的語法資料進行解碼以確定如何解碼對應的視訊資料。

以這種方式，視訊編碼器200可以生成位元串流，其包括經編碼的視訊資料，例如，描述將圖片分割為區塊(例如，CU)以及用於該區塊的預測和/或殘差資訊的語法元素。最終，視訊解碼器300可以接收位元串流並且對經編碼的視訊資料進行解碼。

通常，視訊解碼器300執行與由視訊編碼器200執行的過程相反的過程，以對位元串流的經編碼的視訊資料進行解碼。例如，視訊解碼器300可以使用CABAC，以與視訊編碼器200的CABAC編碼過程基本上類似的、但是相反的方式來對用於位元串流的語法元素的值進行解碼。語法元素可以定義用於將圖片分割為CTU、以及根據對應的分割結構(諸如QTBT結構)對每個CTU進行分割以定義CTU的CU的分割資訊。語法元素還可以定義用於視訊資料的區塊(例如，CU)的預測和殘差資訊。

殘差資訊可以由例如經量化的變換係數來表示。視訊解碼器300可以對區塊的經量化的變換係數進行逆量化和逆變換以重現用於該區塊的殘差區塊。視訊解碼器300使用經訊號通知的預測模式(幀內預測或幀間預測)和相關的預測資訊(例如，用於幀間預測的運動資訊)來形成用於該區塊的預測區塊。視訊解碼器300然後可以對預測區塊和殘差區塊(在逐個樣本的基礎上)進行組合以重現原始區塊。視訊解碼器300可以執行額外處理，諸如執行去區塊過程以減少沿著區塊的邊界的視覺偽影。

根據本揭露內容的技術，一種方法包括：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

根據本揭露內容的技術，一種設備包括：記憶體，其被配置為儲存視訊資料；以及在電路中實施並且通訊地耦合到所述記憶體的一個或多個處理器，所述一個或多個處理器被配置為：向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

根據本揭露內容的技術，一種非暫時性電腦可讀儲存媒體儲存指令，所述指令在被執行時使得一個或多個處理器進行以下操作：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

根據本揭露內容的技術，一種設備包括：用於向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量的單元；以及用於基於所述至少一個經細化的運動向量來對所述區塊進行解碼的單元，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

根據本揭露內容的技術，一種方法包括：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定經細化的運動向量；以及基於所述經細化的運動向量來對所述區塊進行寫碼。

根據本揭露內容的技術，一種設備包括：記憶體，其被配置為儲存視訊資料；以及在電路中實施並且通訊地耦合到所述記憶體的一個或多個處理器，所述一個或多個處理器被配置為執行本揭露內容的任何技術。

根據本揭露內容的技術，一種設備包括：用於執行本揭露內容的任何技術的至少一個單元。

根據本揭露內容的技術，一種電腦可讀儲存媒體被編碼有指令，所述指令在被執行時使得可程式化處理器執行本揭露內容的任何技術。

概括而言，本揭露內容可能涉及“發訊通知”某些資訊(諸如語法元素)。術語“發訊通知”通常可以指代對用於語法元素的值和/或用於對經編碼的視訊資料進行解碼的其它資料的傳送。也就是說，視訊編碼器200可以在位元串流中發訊通知用於語法元素的值。通常，發訊通知指代在位元串流中生成值。如上所述，源設備102可以基本上即時地或不是即時地(諸如可能在將語法元素儲存到儲存設備112以供目標設備116稍後取回時發生)將位元串流傳輸到目標設備116。

圖2A和圖2B是示出示例四元樹二元樹(QTBT)結構130以及對應的寫碼樹單元(CTU)132的概念圖。實線表示四元樹拆分，以及虛線指示二元樹拆分。在二元樹的每個拆分(即非葉)節點中，發訊通知一個標誌以指示使用哪種拆分類型(即，水平或垂直)，其中，在該示例中，0指示水平拆分，以及1指示垂直拆分。對於四元樹拆分，由於四元樹節點將區塊水平地並且垂直地拆分為具有相等大小的4個子區塊，因此無需指示拆分類型。因此，視訊編碼器200可以對以下各項進行編碼，以及視訊解碼器300可以對以下各項進行解碼：用於QTBT結構130的區域樹級別(即實線)的語法元素(諸如拆分資訊)、以及用於QTBT結構130的預測樹級別(即虛線)的語法元素(諸如拆分資訊)。視訊編碼器200可以對用於由QTBT結構130的終端葉節點表示的CU的視訊資料(諸如預測和變換資料)進行編碼，以及視訊解碼器300可以對視訊資料進行解碼。

通常，圖2B的CTU 132可以與定義與QTBT結構130的處於第一級別和第二級別的節點相對應的區塊的大小的參數相關聯。這些參數可以包括CTU大小(表示樣本中的CTU 132的大小)、最小四元樹大小(MinQTSize，其表示最小允許四元樹葉節點大小)、最大二元樹大小(MaxBTSize，其表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，其表示最大允許二元樹深度)、以及最小二元樹大小(MinBTSize，其表示最小允許二元樹葉節點大小)。

QTBT結構的與CTU相對應的根節點可以在QTBT結構的第一級別處具有四個子節點，每個子節點可以是根據四元樹分割來分割的。也就是說，第一級別的節點是葉節點(沒有子節點)或者具有四個子節點。QTBT結構130的示例將這樣的節點表示為包括具有實線分支的父節點和子節點。如果第一級別的節點不大於最大允許二元樹根節點大小(MaxBTSize)，則可以通過相應的二元樹進一步對這些節點進行分割。可以對一個節點的二元樹拆分進行疊代，直到從拆分產生的節點達到最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)。QTBT結構130的示例將這樣的節點表示為具有虛線分支。二元樹葉節點被稱為寫碼單元(CU)，其用於預測(例如，圖片內或圖片間預測)和變換，而不進行任何進一步分割。如上所討論的，CU也可以被稱為“視訊區塊”或“區塊”。

在QTBT分割結構的一個示例中，CTU大小被設置為128x128(亮度樣本和兩個對應的64x64色度樣本)，MinQTSize被設置為16x16，MaxBTSize被設置為64x64，MinBTSize(對於寬度和高度兩者)被設置為4，並且MaxBTDepth被設置為4。首先對CTU應用四元樹分割以生成四元樹葉節點。四元樹葉節點可以具有從16x16(即MinQTSize)到128x128(即CTU大小)的大小。如果四元樹葉節點為128x128，則由於該大小超過MaxBTSize(即，在該示例中為64x64)，因此葉四元樹節點將不被二元樹進一步拆分。否則，四元樹葉節點將被二元樹進一步分割。因此，四元樹葉節點也是用於二元樹的根節點，並且具有為0的二元樹深度。當二元樹深度達到MaxBTDepth(在該示例中為4)時，不允許進一步拆分。具有等於MinBTSize(在該示例中為4)的寬度的二元樹節點意味著不允許針對該二元樹節點進行進一步的垂直拆分(也就是說，對寬度的劃分)。類似地，具有等於MinBTSize的高度的二元樹節點意味著不允許針對該二元樹節點進行進一步的水平拆分(也就是說，對高度的劃分)。如上所述，二元樹的葉節點被稱為CU，並且根據預測和變換而被進一步處理，而無需進一步分割。

圖3是示出可以執行本揭露內容的技術的示例視訊編碼器200的方框圖。圖3是出於解釋的目的而提供的，並且不應當被認為對在本揭露內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的，本揭露內容描述了根據VVC(ITU-T H.266)和HEVC(ITU-T H.265)技術的視訊編碼器200。然而，本揭露內容的技術可以由被配置為其它視訊寫碼標準的視訊編碼設備來執行。

在圖3的示例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差生成單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、經解碼的圖片緩衝區(DPB)218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差生成單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實施。例如，視訊編碼器200的單元可以被實施為一個或多個電路或邏輯元件，作為硬體電路的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視訊編碼器200可以包括額外或替代的處理器或處理電路以執行這些和其它功能。

視訊資料記憶體230可以儲存要由視訊編碼器200的組件來編碼的視訊資料。視訊編碼器200可以從例如視訊源104(圖1)接收被儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當參考圖片記憶體，其儲存參考視訊資料以在由視訊編碼器200對後續視訊資料進行預測時使用。視訊資料記憶體230和DPB 218可以由各種記憶體設備中的任何一種形成，諸如動態隨機存取記憶體(dynamic random access memory, DRAM)(包括同步DRAM(synchronous DRAM, SDRAM))、磁阻RAM(magnetoresistive RAM, MRAM)、電阻性RAM(resistive RAM, RRAM)、或其它類型的記憶體設備。視訊資料記憶體230和DPB 218可以由相同的記憶體設備或單獨的記憶體設備來提供。在各個示例中，視訊資料記憶體230可以與視訊編碼器200的其它組件在晶片上(如圖所示)，或者相對於那些組件在晶片外。

在本揭露內容中，對視訊資料記憶體230的引用不應當被解釋為限於在視訊編碼器200內部的記憶體(除非如此具體地描述)，或者不限於在視訊編碼器200外部的記憶體(除非如此具體地描述)。確切而言，對視訊資料記憶體230的引用應當被理解為儲存視訊編碼器200接收以用於編碼的視訊資料(例如，用於要被編碼的當前區塊的視訊資料)的參考記憶體。圖1的記憶體106還可以提供對來自視訊編碼器200的各個單元的輸出的臨時儲存。

示出了圖3的各個單元以幫助理解由視訊編碼器200執行的操作。這些單元可以被實施為固定功能電路、可程式化電路、或其組合。固定功能電路指代提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指代可以被程式化以執行各種任務並且以可以執行的操作來提供靈活功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如，以接收參數或輸出參數)，但是固定功能電路執行的操作類型通常是不可變的。在一些示例中，這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可程式化)，並且在一些示例中，這些單元中的一個或多個單元可以是積體電路。

視訊編碼器200可以包括由可程式化電路形成的算術邏輯單元(arithmetic logic units, ALU)、基本功能單元(elementary function units, EFU)、數位電路、類比電路和/或可程式化內核。在其中使用由可程式化電路執行的軟體來執行視訊編碼器200的操作的示例中，記憶體106(圖1)可以儲存視訊編碼器200接收並且執行的軟體的指令(例如，目標代碼)，或者視訊編碼器200內的另一記憶體(未示出)可以儲存這樣的指令。

視訊資料記憶體230被配置為儲存所接收的視訊資料。視訊編碼器200可以從視訊資料記憶體230取回視訊資料的圖片，並且將視訊資料提供給殘差生成單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是要被編碼的原始視訊資料。

模式選擇單元202包括運動估計單元222、運動補償單元224和幀內預測單元226。模式選擇單元202可以包括額外功能單元，其根據其它預測模式來執行視訊預測。作為示例，模式選擇單元202可以包括調色板單元、區塊內複製單元(其可以是運動估計單元222和/或運動補償單元224的一部分)、仿射單元、線性模型(linear model, LM)單元等。

模式選擇單元202通常協調多個編碼通路，以測試編碼參數的組合以及針對這樣的組合所得到的率失真值。編碼參數可以包括將CTU分割為CU、用於CU的預測模式、用於CU的殘差資料的變換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇編碼參數的具有比其它測試的組合更佳的率失真值的組合。

視訊編碼器200可以將從視訊資料記憶體230取回的圖片分割為一系列CTU，並且將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構(諸如上述HEVC的QTBT結構或四元樹結構)來分割圖片的CTU。如上所述，視訊編碼器200可以通過根據樹結構來分割CTU，從而形成一個或多個CU。這樣的CU通常也可以被稱為“視訊區塊”或“區塊”。

通常，模式選擇單元202還控制其組件(例如，運動估計單元222、運動補償單元224和幀內預測單元226)以生成用於當前區塊(例如，當前CU，或者在HEVC中為PU和TU的重疊部分)的預測區塊。為了對當前區塊進行幀間預測，運動估計單元222可以執行運動搜索以識別在一個或多個參考圖片(例如，被儲存在DPB 218中的一個或多個先前寫碼的圖片)中的一個或多個緊密匹配的參考區塊。具體地，運動估計單元222可以例如根據絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)等，來計算表示潛在參考區塊將與當前區塊的類似程度的值。運動估計單元222通常可以使用在當前區塊與所考慮的參考區塊之間的逐樣本差來執行這些計算。運動估計單元222可以識別從這些計算所得到的具有最低值的參考區塊，其指示與當前區塊最緊密匹配的參考區塊。

運動估計單元222可以形成一個或多個運動向量(motion vectors, MV)，所述運動向量限定相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置。然後，運動估計單元222可以將運動向量提供給運動補償單元224。例如，對於單向幀間預測，運動估計單元222可以提供單個運動向量，而對於雙向幀間預測，運動估計單元222可以提供兩個運動向量。然後，運動補償單元224可以使用運動向量來生成預測區塊。例如，運動補償單元224可以使用運動向量來取回參考區塊的資料。作為另一示例，如果運動向量具有分數樣本精度，則運動補償單元224可以根據一個或多個內插濾波器來對用於預測區塊的值進行內插。此外，對於雙向幀間預測，運動補償單元224可以取回用於由相應的運動向量標識的兩個參考區塊的資料並且例如通過逐樣本平均或加權平均來將所取回的資料進行組合。

作為另一示例，對於幀內預測或幀內預測寫碼，幀內預測單元226可以根據與當前區塊相鄰的樣本來生成預測區塊。例如，對於方向性模式，幀內預測單元226通常可以在數學上將相鄰樣本的值進行組合，並且跨當前區塊在所定義的方向上填充這些計算出的值以產生預測區塊。作為另一示例，對於DC模式，幀內預測單元226可以計算當前區塊的相鄰樣本的平均值，並且生成預測區塊以包括針對預測區塊的每個樣本的該得到的平均值。

模式選擇單元202將預測區塊提供給殘差生成單元204。殘差生成單元204從視訊資料記憶體230接收當前區塊的原始的未經編碼的版本，並且從模式選擇單元202接收預測區塊。殘差生成單元204計算在當前區塊與預測區塊之間的逐樣本差。所得到的逐樣本差定義了用於當前區塊的殘差區塊。在一些示例中，殘差生成單元204還可以確定殘差區塊中的樣本值之間的差，以使用殘差差分脈衝寫碼調變(residual differential pulse code modulation, RDPCM)來生成殘差區塊。在一些示例中，可以使用執行二進制減法的一個或多個減法器電路來形成殘差生成單元204。

在其中模式選擇單元202將CU分割為PU的示例中，每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支持具有各種大小的PU。如上所指出的，CU的大小可以指代CU的亮度寫碼區塊的大小，而PU的大小可以指代PU的亮度預測單元的大小。假定特定CU的大小為2Nx2N，則視訊編碼器200可以支持用於幀內預測的2Nx2N或NxN的PU大小、以及用於幀間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視訊編碼器200和視訊解碼器300還可以支持針對用於幀間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。

在其中模式選擇單元202不將CU進一步分割為PU的示例中，每個CU可以與亮度寫碼區塊和對應的色度寫碼區塊相關聯。如上所述，CU的大小可以指代CU的亮度寫碼區塊的大小。視訊編碼器200和視訊解碼器300可以支持2Nx2N、2NxN或Nx2N的CU大小。

對於其它視訊寫碼技術(舉一些示例，諸如區塊內複製模式寫碼、仿射模式寫碼和線性模型(LM)模式寫碼)，模式選擇單元202經由與寫碼技術相關聯的相應單元來生成用於正被編碼的當前區塊的預測區塊。在一些示例中(諸如調色板模式寫碼)，模式選擇單元202可以不生成預測區塊，而是替代地生成指示基於所選擇的調色板來重構區塊的方式的語法元素。在這樣的模式下，模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。

如上所述，殘差生成單元204接收用於當前區塊和對應的預測區塊的視訊資料。然後，殘差生成單元204為當前區塊生成殘差區塊。為了生成殘差區塊，殘差生成單元204計算在預測區塊與當前區塊之間的逐樣本差。

變換處理單元206將一種或多種變換應用於殘差區塊，以生成變換係數的區塊(本文中被稱為“變換係數區塊”)。變換處理單元206可以將各種變換應用於殘差區塊，以形成變換係數區塊。例如，變換處理單元206可以將離散餘弦變換(DCT)、方向變換、Karhunen-Loeve變換(KLT)、或概念上類似的變換應用於殘差區塊。在一些示例中，變換處理單元206可以對殘差區塊執行多種變換，例如，初級變換和二次變換(諸如旋轉變換)。在一些示例中，變換處理單元206不對殘差區塊應用變換。

量化單元208可以對變換係數區塊中的變換係數進行量化，以產生經量化的變換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數(quantization parameter, QP)值來對變換係數區塊的變換係數進行量化。視訊編碼器200(例如，經由模式選擇單元202)可以通過調整與CU相關聯的QP值來調整被應用於與當前區塊相關聯的變換係數區塊的量化程度。量化可能引起資訊損失，並且因此，經量化的變換係數可能具有與變換處理單元206所產生的原始變換係數相比較低的精度。

逆量化單元210和逆變換處理單元212可以將逆量化和逆變換分別應用於經量化的變換係數區塊，以從變換係數區塊重構殘差區塊。重構單元214可以基於經重構的殘差區塊和由模式選擇單元202生成的預測區塊來產生與當前區塊相對應的重構區塊(儘管潛在地具有某種程度的失真)。例如，重構單元214可以將經重構的殘差區塊的樣本與來自模式選擇單元202所生成的預測區塊的對應樣本相加，以產生經重構的區塊。

濾波器單元216可以對經重構的區塊執行一個或多個濾波器操作。例如，濾波器單元216可以執行去區塊操作以減少沿著CU的邊緣的區塊效應偽影。在一些示例中，可以跳過濾波器單元216的操作。

視訊編碼器200將經重構的區塊儲存在DPB 218中。例如，在其中不執行濾波器單元216的操作的示例中，重構單元214可以將經重構的區塊儲存到DPB 218中。在其中執行濾波器單元216的操作的示例中，濾波器單元216可以將經濾波的重構區塊儲存到DPB 218中。運動估計單元222和運動補償單元224可以從DPB 218取回由經重構的(並且潛在地經濾波的)區塊形成的參考圖片，以對後續編碼的圖片的區塊進行幀間預測。另外，幀內預測單元226可以使用在DPB 218中的當前圖片的經重構的區塊來對當前圖片中的其它區塊進行幀內預測。

通常，熵編碼單元220可以對從視訊編碼器200的其它功能組件接收的語法元素進行熵編碼。例如，熵編碼單元220可以對來自量化單元208的經量化的變換係數區塊進行熵編碼。作為另一示例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素(例如，用於幀間預測的運動資訊或用於幀內預測的幀內模式資訊)進行熵編碼。熵編碼單元220可以對作為視訊資料的另一示例的語法元素執行一個或多個熵編碼操作，以生成經熵編碼的資料。例如，熵編碼單元220可以執行上下文自適應可變長度寫碼(context-adaptive variable length coding, CAVLC)操作、CABAC操作、可變-可變(variable-to-variable, V2V)長度寫碼操作、基於語法的上下文自適應二進制算術寫碼(syntax-based context-adaptive binary arithmetic coding, SBAC)操作、概率區間分割熵(Probability Interval Partitioning Entropy, PIPE)寫碼操作、指數哥倫布編碼操作、或對資料的另一種類型的熵編碼操作。在一些示例中，熵編碼單元220可以在其中語法元素未被熵編碼的旁路模式下操作。

視訊編碼器200可以輸出位元串流，其包括用於重構切片或圖片的區塊所需要的經熵編碼的語法元素。具體地，熵編碼單元220可以輸出位元串流。

關於區塊描述了上述操作。這樣的描述應當被理解為用於亮度寫碼區塊和/或色度寫碼區塊的操作。如上所述，在一些示例中，亮度寫碼區塊和色度寫碼區塊是CU的亮度分量和色度分量。在一些示例中，亮度寫碼區塊和色度寫碼區塊是PU的亮度分量和色度分量。

在一些示例中，不需要針對色度寫碼區塊重複關於亮度編碼區塊執行的操作。作為一個示例，不需要重複用於識別用於亮度寫碼區塊的運動向量(MV)和參考圖片的操作來識別用於色度區塊的MV和參考圖片。確切而言，可以對用於亮度寫碼區塊的MV進行縮放以確定用於色度區塊的MV，並且參考圖片可以是相同的。作為另一示例，對於亮度寫碼區塊和色度寫碼區塊，幀內預測過程可以是相同的。

圖4是示出可以執行本揭露內容的技術的示例視訊解碼器300的方框圖。圖4是出於解釋的目的而提供的，並且不對在本揭露內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的，本揭露內容根據VVC(ITU-T H.266)和HEVC(ITU-T H.265)的技術描述了視訊解碼器300。然而，本揭露內容的技術可以由被配置用於其它視訊寫碼標準的視訊寫碼設備來執行。

在圖4的示例中，視訊解碼器300包括經寫碼的圖片緩衝區(coded picture buffer, CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和經解碼的圖片緩衝區(decoded picture buffer, DPB)134。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和DPB 314中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實施。例如，視訊解碼器300的單元可以被實施為一個或多個電路或邏輯元件，作為硬體電路的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視訊解碼器300可以包括額外或替代的處理器或處理電路以執行這些和其它功能。

預測處理單元304包括運動補償單元316和幀內預測單元318。預測處理單元304可以包括加法單元，其根據其它預測模式來執行預測。作為示例，預測處理單元304可以包括調色板單元、區塊內複製單元(其可以形成運動補償單元316的一部分)、仿射單元、線性模型(LM)單元等。在其它示例中，視訊解碼器300可以包括更多、更少或不同的功能組件。運動補償單元316可以包括多通路DMVR單元(MPDMVR)317，其在下文對運動補償單元316的討論中描述。

CPB記憶體320可以儲存要由視訊解碼器300的組件解碼的視訊資料，諸如經編碼的視訊位元串流。例如，可以從電腦可讀媒體110(圖1)獲得被儲存在CPB記憶體320中的視訊資料。CPB記憶體320可以包括儲存來自經編碼的視訊位元串流的經編碼的視訊資料(例如，語法元素)的CPB。此外，CPB記憶體320可以儲存除了經寫碼的圖片的語法元素之外的視訊資料，諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的圖片，視訊解碼器300可以輸出經解碼的圖片，和/或在解碼經編碼的視訊位元串流的後續資料或圖片時使用經解碼的圖片作為參考視訊資料。CPB記憶體320和DPB 314可以由各種記憶體設備中的任何一種形成，諸如DRAM，包括SDRAM、MRAM、RRAM或其它類型的記憶體設備。CPB記憶體320和DPB 314可以由相同的記憶體設備或單獨的記憶體設備來提供。在各個示例中，CPB記憶體320可以與視訊解碼器300的其它組件在晶片上，或者相對於那些組件在晶片外。

另外地或替代地，在一些示例中，視訊解碼器300可以從記憶體120(圖1)取回經寫碼的視訊資料。也就是說，記憶體120可以如上文所討論地利用CPB記憶體320來儲存資料。同樣，當視訊解碼器300的一些或全部功能是用要被視訊解碼器300的處理電路執行的軟體來實施時，記憶體120可以儲存要被視訊解碼器300執行的指令。

示出圖4中示出的各個單元以幫助理解由視訊解碼器300執行的操作。這些單元可以被實施為固定功能電路、可程式化電路、或其組合。類似於圖3，固定功能電路指代提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指代可以被程式化以執行各種任務並且以可以執行的操作來提供靈活功能的電路。例如，可程式化電路可以執行軟體或韌體，軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如，以接收參數或輸出參數)，但是固定功能電路執行的操作的類型通常是不可變的。在一些示例中，這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可程式化)，並且在一些示例中，這些單元中的一個或多個單元可以是積體電路。

視訊解碼器300可以包括由可程式化電路形成的ALU、EFU、數位電路、類比電路和/或可程式化內核。在其中由在可程式化電路上執行的軟體執行視訊解碼器300的操作的示例中，片上記憶體或片外記憶體可以儲存視訊解碼器300接收並且執行的軟體的指令(例如，目標代碼)。

熵解碼單元302可以從CPB接收經編碼的視訊資料，並且對視訊資料進行熵解碼以重現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波器單元312可以基於從位元串流中提取的語法元素來生成經解碼的視訊資料。

通常，視訊解碼器300逐區塊地重構圖片。視訊解碼器300可以單獨地對每個區塊執行重構操作(其中，當前正在被重構(即，被解碼)的區塊可以被稱為“當前區塊”)。

熵解碼單元302可以對定義經量化的變換係數區塊的經量化的變換係數的語法元素以及諸如量化參數(QP)和/或變換模式指示之類的變換資訊進行熵解碼。逆量化單元306可以使用與經量化的變換係數區塊相關聯的QP來確定量化程度，並且同樣地，確定供逆量化單元306應用的逆量化程度。逆量化單元306可以例如執行按位左移操作以對經量化的變換係數進行逆量化。逆量化單元306從而可以形成包括變換係數的變換係數區塊。

在逆量化單元306形成變換係數區塊之後，逆變換處理單元308可以將一種或多種逆變換應用於變換係數區塊，以生成與當前區塊相關聯的殘差區塊。例如，逆變換處理單元308可以將逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆方向變換或另一逆變換應用於變換係數區塊。

此外，預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來生成預測區塊。例如，如果預測資訊語法元素指示當前區塊是經幀間預測的，則運動補償單元316可以生成預測區塊。在這種情況下，預測資訊語法元素可以指示在DPB 314中的要從其取回參考區塊的參考圖片、以及標識相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置的運動向量。運動補償單元316通常可以以與關於運動補償單元224(圖3)所描述的方式基本類似的方式來執行幀間預測過程。

在一些示例中，運動補償單元316可以包括多通路DMVR單元317。多通路DMVR單元317可以向視訊資料的區塊的運動向量應用多通路DMVR，以確定經細化的運動向量。多通路DMVR可以包括第一通路，第一通路是基於區塊的並且應用於視訊資料的區塊。多通路DMVR可以包括第二通路，第二通路是基於子區塊的並且應用於視訊資料的區塊的至少一個第二通路子區塊。多通路DMVR可以包括第三通路，第三通路是基於子區塊的並且應用於視訊資料的區塊的至少一個第三通路子區塊。第二通路子區塊寬度可以等於或小於視訊資料的區塊的寬度，並且第二通路子區塊高度可以等於或小於視訊資料的區塊的高度。第三通路子區塊寬度可以等於或小於第二通路子區塊寬度，並且第三通路子區塊高度可以等於或小於第二通路子區塊高度。後面在本揭露內容中描述多通路DMVR技術的另外的示例和描述。

作為另一示例，如果預測資訊語法元素指示當前區塊是經幀內預測的，則幀內預測單元318可以根據由預測資訊語法元素指示的幀內預測模式來生成預測區塊。再次，幀內預測單元318通常可以以與關於幀內預測單元226(圖3)所描述的方式基本上類似的方式來執行幀內預測過程。幀內預測單元318可以從DPB 314取回當前區塊的相鄰樣本的資料。

重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如，重構單元310可以將殘差區塊的樣本與預測區塊的對應樣本相加來重構當前區塊。

濾波器單元312可以對經重構的區塊執行一個或多個濾波器操作。例如，濾波器單元312可以執行去區塊操作以減少沿著經重構的區塊的邊緣的區塊效應偽影。不一定在所有示例中都執行濾波器單元312的操作。

視訊解碼器300可以將經重構的區塊儲存在DPB 314中。例如，在其中不執行濾波器單元312的操作的示例中，重構單元310可以將經重構的區塊儲存到DPB 314中。在其中執行濾波器單元312的操作的示例中，濾波器單元312可以將經濾波的重構區塊儲存到DPB 314中。如上所討論的，DPB 314可以將參考資訊(諸如用於幀內預測的當前圖片以及用於後續運動補償的先前解碼的圖片的樣本)提供給預測處理單元304。此外，視訊解碼器300可以從DPB 314輸出經解碼的圖片(例如，經解碼的視訊)，以用於在諸如圖1的顯示設備118之類的顯示設備上的後續呈現。

以這種方式，視訊解碼器300表示視訊解碼設備的示例，該視訊解碼設備包括：記憶體，其被配置為儲存視訊資料；以及在電路中實施並且通訊地耦合到記憶體的一個或多個處理器，一個或多個處理器被配置為：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於至少一個經細化的運動向量來對區塊進行解碼，其中，多通路DMVR包括：第一通路，第一通路是基於區塊的並且應用於視訊資料的區塊；第二通路，第二通路是基於子區塊的並且應用於視訊資料的區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於視訊資料的區塊的寬度，並且第二通路子區塊高度等於或小於視訊資料的區塊的高度；以及第三通路，第三通路是基於子區塊的並且應用於視訊資料的區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於第二通路子區塊寬度，並且第三通路子區塊高度等於或小於第二通路子區塊高度。

視訊解碼器300還表示視訊解碼設備的示例，該視訊解碼設備包括：記憶體，其被配置為儲存視訊資料；以及一個或多個單元，其在電路中實施並且被配置為：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定經細化的運動向量；以及基於經細化的運動向量來對區塊進行解碼。

本揭露內容涉及解碼器側運動向量推導技術(例如，模板匹配、雙邊匹配、解碼器側MV細化、雙向光流等)。本揭露內容的技術可以應用於任何現有視訊編解碼器，諸如HEVC(高效率視訊寫碼)、VVC(通用視訊寫碼)、基本視訊寫碼(EVC)或者是任何未來視訊寫碼標準中的高效寫碼工具。在本節中，首先回顧與本揭露內容相關的HEVC和JEM技術以及在通用視訊寫碼(VVC)中正在進行的工作。

視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1視訊、ITU-T H.262或ISO/IEC MPEG-2視訊、ITU-T H.263、ISO/IEC MPEG-4視訊和ITU-T H.264(也被稱為ISO/IEC MPEG-4 AVC)，包括其可伸縮視訊寫碼(Scalable Video Coding, SVC)和多視圖視訊寫碼(Multi-view Video Coding, MVC)擴展。通用視訊寫碼和測試模型10(Versatile Video Coding and Test Model 10, VTM 10.0)的算法描述可以被稱為JVET-T2002，其可從https://jvet-experts.org/.獲得。

現在討論HEVC中的CU結構和運動向量預測。在HEVC中，切片中最大的寫碼單元被稱為寫碼樹區塊(CTB)或寫碼樹單元(CTU)。CTB可以包含四元樹，其節點是寫碼單元。

在HEVC主設定檔中，CTB的大小的範圍可以從16x16到64x64(但是技術上可以支持8x8 CTB大小)。寫碼單元(CU)可以具有從CTB的相同大小到小到8x8的大小。利用一種模式(即，幀間模式或幀內模式)來對每個CU進行寫碼。當對CU進行幀間寫碼時，可以將CU進一步分割為2個或4個預測單元(PU)，或者在未應用進一步的分割時，僅保留一個PU。當一個CU中存在兩個PU時，兩個PU可以各自為一半大小的矩形(CU大小的一半)或兩個矩形大小，其中一個為CU大小的¼，而另一個為CU大小的¾。

當對CU進行幀間寫碼時，每個PU具有一個運動資訊集合，其是利用唯一幀間預測模式來推導的。

現在討論運動向量預測。在HEVC標準中，存在兩種幀間預測模式，稱為合併模式(跳過被視為合併的特例)和用於PU的改進的運動向量預測(AMVP)模式。

在AMVP或者合併模式下，為多個運動向量預測器維護運動向量(MV)候選列表。當前PU的MV以及合併模式下的參考索引是通過從MV候選列表中獲取一個候選來生成的。例如，視訊解碼器300可以維護MV候選列表。

MV候選列表包含用於合併模式的最多5個候選以及用於AMVP模式的僅兩個候選。合併候選可以包含運動資訊集合，例如，對應於參考圖片列表(列表0和列表1)和對應的參考索引兩者的MV。如果通過合併索引來識別合併候選，則確定用於預測當前區塊的參考圖片以及相關聯的運動向量。另一方面，在針對來自列表0或者列表1的每個潛在預測方向的AMVP模式下，視訊編碼器200可以顯式地發訊通知MV候選列表的參考索引以及MV預測器(MVP)索引，因為AMVP候選僅包含MV。在AMVP模式下，可以進一步細化預測的MV。

視訊解碼器300可以類似地從相同的空間和時間相鄰區塊推導用於兩種模式的候選。

圖5A-5B分別是示出用於合併和AMVP模式的示例空間相鄰MV候選的概念圖。對於特定PU(PU0)，從圖5A和圖5B中示出的相鄰區塊推導空間MV候選，但是從區塊生成候選的方法對於合併和AMVP模式不同。

在合併模式下，用於PU0 500的最多四個空間MV候選可以按照圖5A中所示的遞增順序推導，其中順序如下：左側(0，A1)、上方(1，B1)、右上方(2，B0)、左下方(3，A0)和左上方(4，B2)。例如，視訊解碼器300可以使用上述順序來推導用於PU0 500的最多四個空間MV候選。

在AVMP模式下，PU0 502的相鄰區塊被劃分為兩組：左側組由區塊0和1組成，以及上方組由區塊2、3和4組成，如圖5B所示。例如，視訊解碼器300可以將相鄰區塊劃分為左側組和上方組。對於每個組，引用與發訊通知的參考索引所指示的參考圖片相同的參考圖片的相鄰區塊中的潛在候選具有要選擇的最高優先級，以形成該組的最終候選。所有相鄰區塊可能都不包含指向同一參考圖片的運動向量。因此，如果無法找到這樣的候選，則將對第一可用候選進行縮放以形成最終候選，因此可以補償時間距離差異。

現在討論HEVC中的時間運動向量預測。視訊解碼器300可以將時間運動向量預測器(Temporal Motion Vector Prediction, TMVP)候選(如果啟用並且可用的話)添加到任何空間運動向量候選之後的MV候選列表中。用於TMVP候選的運動向量推導的過程對於合併和AMVP模式兩者是相同的。然而，合併模式下用於TMVP候選的目標參考索引可能始終被設置為0。

圖6A-6B分別是示出示例TMVP候選和MV縮放的概念圖。TMVP候選推導的主區塊位置是共址PU之外的右下方區塊，在圖6A中示為區塊“T”600，以補償用於生成空間相鄰候選的上方和左側區塊的偏移。然而，如果該區塊位於當前CTB行之外(示為區塊602)或者運動資訊不可用，則利用PU0 606的中心區塊604來替換該區塊。

從在切片級別中指示的共址圖片的共址PU推導用於TMVP候選的運動向量。用於共址PU的運動向量被稱為共址MV。

類似於AVC中的時間直接模式，為了推導TMVP候選運動向量，需要對共址MV 610進行縮放以補償時間距離差，如圖6B所示。例如，視訊解碼器300可以對共址MV 610進行縮放以補償時間距離差異。

現在討論HEVC中的運動預測的其它方面。以下值得一提的是合併和AMVP模式的若干方面。

運動向量縮放：MV的值與呈現時間中的圖片的距離成正比。MV將兩個圖片(即參考圖片和包含運動向量的圖片(例如，包含圖片或包含使用運動向量預測的區塊的圖片))進行關聯。當利用MV來預測另一MV時，基於圖片順序計數(Picture Order Count, POC)值來計算包含圖片和參考圖片之間的時間距離。

對於要預測的運動向量，運動向量的相關聯的包含圖片和參考圖片兩者可能不同。因此，將計算新距離(基於POC)。基於這兩個POC距離來對MV進行縮放。例如，視訊解碼器300可以基於POC來計算新距離，並且可以基於兩個POC距離來對MV進行縮放。對於空間相鄰候選，兩個MV的包含圖片相同，而參考圖片不同。在HEVC中，MV縮放應用於空間和時間相鄰候選的TMVP和AMVP兩者。

人工運動向量候選生成：如果MV候選列表未完成，則可以生成人工MV候選並且將其插入列表的末尾，直到列表具有所有候選(例如，列表已滿)。

在合併模式下，存在兩種類型的人工MV候選：僅針對B切片推導的組合候選和僅用於AMVP的零候選(如果第一種類型沒有提供足夠的人工候選)。

對於已經在候選列表中並且具有必要運動資訊的每對候選，通過引用列表0中的圖片的第一候選的MV和引用列表1中的圖片的第二候選的MV的組合來推導雙向組合MV候選。

用於候選插入的修剪過程：來自不同區塊的候選可能恰好相同，這會降低合併/AMVP候選列表的效率。可以應用修剪過程來解決這個問題。在修剪過程期間，視訊解碼器300將當前候選列表中的一個候選與其它候選進行比較，以避免在一定程度上插入相同的候選。為了降低複雜性，修剪過程可以應用於有限數量的候選，而不是將每個潛在候選與所有其它現有候選進行比較。

現在討論模板匹配預測。模板匹配(Template matching, TM)預測是基於幀速率上轉換(Frame-Rate Up Conversion, FRUC)技術的特殊合併模式。利用該TM預測模式，區塊的運動資訊不是發訊通知的，而是由視訊解碼器300在解碼器側推導出的。TM預測應用於AMVP模式和常規合併模式兩者。在AMVP模式下，使用基本模板匹配來確定MVP候選選擇，以選擇達到當前區塊模板和參考區塊模板之間的最小差異的候選。在常規合併模式中，視訊編碼器200發訊通知TM模式標誌以指示對TM的使用，並且然後將TM應用於由合併索引指示的合併候選，以進行MV細化。

圖7是示出在初始MV周圍的搜索區域上的示例模板匹配的概念圖。如圖7所示，模板匹配可以用於推導當前CU的運動資訊。推導運動資訊可以包括查找當前圖片702中的模板700(當前CU的上方和/或左側相鄰區塊)與參考圖片706中的區塊704(例如，與模板的大小相同)之間的最接近匹配。基於初始匹配錯誤選擇的AMVP候選，通過模板匹配來細化候選的MVP。對於由發訊通知的合併索引指示的合併候選，通過模板匹配來獨立地細化對應於參考圖片列表0(L0)和參考圖片列表1(L1)的候選的合併MV，並且然後利用更準確的MV作為先驗參考來再次細化不太準確的MV。例如，視訊解碼器300可以接收和解析發訊通知的合併索引，並且將模板匹配應用於合併MV以細化MV。

成本函數：當運動向量指向分數樣本位置時，視訊解碼器300可以使用運動補償內插。為了降低複雜度，使用雙線性內插代替常規的8接頭離散餘弦變換內插濾波器(DCT-IF)內插來進行模板匹配以及在參考圖片上生成模板。可以按如下計算模板匹配的匹配成本C： C=SAD+w·(|MV _x-MV _x ^s|+|MV _y-MV _y ^s|) 其中w是權重因子，根據經驗將w設置為4，MV和MV ^s分別指示當前測試MV和初始MV(例如，AMVP模式下的MVP候選或合併模式下的合併運動向量)。絕對差之和(SAD)可以用作模板匹配的匹配成本。

使用TM時，僅通過使用亮度樣本來細化運動。所推導的運動將用於運動補償(motion compensation, MC)幀間預測的亮度和色度兩者。在決定MV之後，使用用於亮度的8接頭內插濾波器和用於色度的4接頭內插濾波器來執行最終MC。例如，視訊解碼器300可以僅使用亮度樣本來細化運動。

搜索方法：MV細化可以是具有模板匹配成本的標準的基於模式的MV搜索。支持兩種搜索模式–用於MV細化的菱形搜索和交叉搜索。例如，視訊解碼器300可以使用菱形搜索或交叉搜索進行MV細化。利用菱形模式以四分之一亮度樣本運動向量差(motion vector difference, MVD)精度、接著利用交叉模式以四分之一亮度樣本MVD精度、並且然後接著利用交叉模式以八分之一亮度樣本MVD細化，來直接搜索MV。MV細化的搜索範圍可以被設置為初始MV周圍的(-8，+8)亮度樣本。

現在討論雙邊匹配預測。雙邊匹配(又稱雙邊合併)預測是基於FRUC技術的另一種合併模式。當確定針對區塊應用BM模式時，通過使用發訊通知的合併候選索引在構造的合併列表中選擇合併候選，來推導兩個初始MV(MV0和MV1)。視訊解碼器300可以在MV0和MV1周圍執行雙邊匹配搜索，並且基於最小雙邊匹配成本來推導最終MV0'和MV1'。

圖8A-8B分別是示出MVD0和MVD1是基於時間距離成比例的示例以及MVD0和MVD1是在不考慮時間距離的情況下鏡像的示例的概念圖。指向兩個參考區塊的運動向量差MVD0(由MV0'–MV0表示)和MVD1(由MV1'–MV1表示)可以與當前圖片804和兩個參考圖片806和808之間的時間距離(temporal distances, TD)(例如，TD0 800和TD1 802)成比例。圖8A示出MVD0和MVD1的示例，其中TD1 802是TD0 800的4倍。

然而，存在一種可選設計，其中，MVD0和MVD1在不考慮時間距離TD0和TD1的情況下鏡像。圖8B示出鏡像MVD0和MVD1的示例，其中，TD1 812是TD0 810的4倍。

圖9是示出搜索範圍[-8，8]中的3×3正方形搜索模式的示例的概念圖。雙邊匹配可以包括在初始MV0和MV1周圍執行局部搜索，以推導最終MV0'和MV1'。為了應用本地搜索，視訊解碼器300可以應用3×3正方形搜索模式並且在搜索範圍[-8，8]中循環。在每次搜索疊代中，計算搜索模式中的八個周圍MV的雙邊匹配成本，並且將其與中心MV的雙邊匹配成本進行比較。具有最小雙邊匹配成本的MV在下一搜索疊代中成為新的中心MV。在當前中心MV在3×3正方形搜索模式內具有最小成本或局部搜索達到預定義的最大搜索疊代次數時，終止局部搜索。例如，視訊解碼器300可以執行雙邊匹配，如本文描述的。在圖9的示例中，使用初始MV 900，並且在初始MV 900周圍搜索3x3搜索模式902。初始疊代導致在初始8個MV中具有最低成本的MV為MV 904。在第二疊代中，視訊解碼器300然後在MV 904周圍重複搜索模式902。在該示例中，N次疊代之後最終選擇的MV為MV 906。

圖10是示出示例解碼器側運動向量細化的概念圖。為了增加合併模式的MV的精度，可以如VVC草案10中那樣應用解碼器側運動向量細化(DMVR)。例如，視訊解碼器300可以應用DMVR。在雙預測操作中，在參考圖片列表0(L0)和參考圖片列表1(L1)中的初始MV周圍搜索細化MV。DMVR方法計算L0和L1中兩個候選區塊之間的失真。例如，視訊解碼器300可以計算兩個候選區塊之間的失真。如圖10所示，計算基於初始MV周圍的每個MV候選的區塊1000和區塊1002之間的SAD。例如，視訊解碼器300可以確定區塊1000和1002之間的SAD。具有最低SAD的MV候選成為細化MV並且用於生成雙預測訊號。

通過DMVR技術推導的細化MV用於生成幀間預測樣本，並且還在用於對未來圖片進行寫碼的時間運動向量預測中使用。視訊解碼器300可以在解區塊過程中以及還在用於未來CU寫碼的空間運動向量預測中使用原始MV。

VVC草案10的DMVR是基於子區塊的合併模式，其中預定義的最大PU為16x16亮度樣本。當CU的寬度和/或高度大於16個亮度樣本時，可以將CU進一步拆分成寬度和/或高度等於16個亮度樣本的子區塊。例如，視訊解碼器300可以進一步將較大的CU拆分成寬度和/或高度等於16個亮度樣本的子區塊。

現在討論一個示例搜索方案。在DVMR中，搜索點圍繞初始MV，並且MV偏移遵循上文討論的MV差異鏡像規則。換句話說，由實施DMVR的視訊解碼器300檢查的由候選MV對(MV0，MV1)表示的任何點遵循以下兩個等式：

其中

表示參考圖片之一中的初始MV和細化MV之間的細化偏移。細化搜索範圍是來自初始MV的兩個整數亮度樣本。搜索包括整數樣本偏移搜索階段和分數樣本細化階段。

可以針對整數樣本偏移搜索應用25點全搜索。例如，視訊解碼器300可以執行25點全搜索。首先計算初始MV對的SAD。如果初始MV對的SAD小於臨限，則終止DMVR的整數樣本階段。否則，將按光柵掃描順序計算並且檢查剩餘24個點的SAD。選擇具有最小SAD的點作為整數樣本偏移搜索階段的輸出。為了減少DMVR細化的不確定性的損失，在DMVR過程期間可能會偏好原始MV。初始MV候選所引用的參考區塊之間的SAD可以減少SAD值的1/4。

整數樣本搜索之後跟有分數樣本細化。例如，視訊解碼器300可以執行整數樣本搜索，並且然後執行分數樣本細化。為了節省計算複雜性，可以通過使用參數誤差曲面方程來推導分數樣本細化，而不是利用SAD比較進行額外搜索。分數樣本細化是基於整數樣本搜索階段的輸出有條件地調用的。當整數樣本搜索階段在第一疊代或第二疊代搜索中以具有最小SAD的中心終止時，進一步應用分數樣本細化。

在基於參數誤差曲面的亞像素偏移估計中，使用中心位置成本和距中心四個相鄰位置的成本來擬合以下形式的二維(2-D)抛物線誤差曲面方程

其中(

對應於具有最小成本的分數位置，A和B為常數，並且C對應於最小成本值。通過使用五個搜索點的成本值來求解上述方程，最小值 (

的位置計算為：

和

的值自動限制在-8和8之間，因為所有成本值均為正並且最小值為

。這對應於VVC草案10中的具有1/16像素MV精度的半像素偏移。將計算出的分數(

添加到整數距離細化MV，以獲得亞像素精度的細化差量MV。

現在討論雙線性內插和樣本填充。這些技術可以由視訊解碼器300應用。在VVC草案10中，MV的解析度為1/16亮度樣本。分數位置處的樣本可以使用8接頭內插濾波器進行內插。在DMVR中，搜索點圍繞具有整數樣本偏移的初始分數像素MV。因此，對於DMVR搜索，需要對這些分數位置的樣本進行內插。為了降低計算複雜度，在DMVR中使用雙線性內插濾波器來生成用於搜索的分數樣本。另一個影響是，通過使用具有2樣本搜索範圍的雙線性濾波器，與正常運動補償過程相比，DVMR無法存取更多的參考樣本。在利用DMVR搜索獲得細化MV後，應用常規8接頭內插濾波器以生成最終預測。為了不存取比正常運動補償過程更多的參考樣本，將從可用樣本中填充基於原始MV的內插過程不需要的樣本，但基於細化MV的內插過程需要的樣本。

現在討論DMVR的示例啟用條件。在一個示例中，如果以下條件全部滿足，則可以啟用DMVR：1)CU級別合併模式與雙預測MV一起使用；2)相對於當前圖片，一個參考圖片在過去，而另一參考圖片在未來；3)從兩個參考圖片到當前圖片的距離(例如，POC差)相同；4)CU具有多於64個亮度樣本；5)CU高度和CU寬度兩者都大於或等於8個亮度樣本；6)利用CU權重的雙預測(Bi-prediction with CU weights, BCW)權重索引指示相等權重；7)針對當前區塊未啟用加權預測(Weighted prediction, WP)；以及8)組合幀間幀內預測(Combined inter-intra prediction, CIIP)模式未用於當前區塊。

現在討論雙向光流。視訊解碼器300可以使用雙向光流(bi-directional optical flow, BDOF)在4×4子區塊級別細化CU中的亮度樣本的雙向預測訊號。顧名思義，BDOF模式是基於光串流概念的，其假設對象的運動是平滑的。對於每個4×4子區塊，通過使L0和L1預測樣本之間的差最小化來計算運動細化(v _x,v _y)。然後使用運動細化來調整4x4子區塊中的雙預測樣本值。在BDOF過程中應用以下步驟。

首先，通過直接計算兩個相鄰樣本之間的差來計算兩個預測訊號的水平和垂直梯度

和

,

，例如， 其中

是列表

(

)中的預測訊號的坐標

處的樣本值，並且基於亮度位元深度(bitDepth)來計算shift1，並且將shift1設置為等於6。

然後，梯度的自相關和互相關

、

、

、

和

計算為：

，

其中 其中

是4×4子區塊周圍的6×6窗口，shift2的值被設置為等於4，並且shift3的值被設置為等於1。

然後使用互相關和自相關項，使用以下公式來推導運動細化

： 其中，

.

是取整函數 Clip3( x, y, z ) =

基於運動細化和梯度，針對4×4子區塊中的每個樣本計算以下調整：

最後，通過按如下調整雙預測樣本來計算CU的BDOF樣本：

其中，shift5被設置為等於Max(3, 15 - BitDepth)，並且變量

被設置為等於(1 ＜＜ (shift5 - 1))。

這些值被選擇為使得BDOF過程中的乘法器不超過15位元，並且BDOF過程中的中間參數的最大位元寬度保持在32位元內。

圖11是示出在BDOF中使用的示例擴展CU區域的概念圖。為了推導梯度值，可能需要生成在當前CU邊界之外的列表

(

)中的一些預測樣本

。如圖11所示，BDOF使用在CU 1100邊界周圍的一個擴展列/行。為了控制生成邊界外預測樣本的計算複雜性，通過直接在附近整數位置(使用對坐標的floor()運算)獲取參考樣本而不進行內插來生成擴展區域(例如，最外位置)中的預測樣本，以及常規8接頭運動補償內插濾波器用於生成CU 1100內的預測樣本(例如，CU 1100內的陰影或圖案位置)。僅在梯度計算中使用這些擴展樣本值。對於BDOF過程中的剩餘步驟，如果需要CU 1100邊界之外的任何樣本和梯度值，則可以從其最近的鄰居中填充(例如，重複)這些樣本和梯度值。

BDOF用於在4×4子區塊級別(例如，子區塊1102)細化CU的雙預測訊號。在一個示例中，如果BDOF滿足以下所有條件，則可以將BDOF應用於CU：1)CU是使用“真”雙預測模式進行寫碼的，例如，兩個參考圖片中的一個參考圖片在顯示順序中在當前圖片之前，以及另一參考圖片在顯示順序中在當前圖片之後；2)CU不是使用仿射模式或ATMVP合併模式進行寫碼的；3)CU具有多於64個亮度樣品；4)CU高度和CU寬度兩者都大於或等於8個亮度樣品；5)BCW權重索引指示相等權重；6)針對當前CU未啟用WP；以及7)CIIP模式未用於當前CU。

在VVC草案10中，DMVR是基於子區塊的，最多有16×16亮度樣本。每個子區塊的細化MV與原始MV相比具有差量MV(

)。

和

分別是水平方向和垂直方向上的運動向量偏移。

和

的值範圍由DMVR的搜索範圍確定。在VVC草案10中，DMVR的搜索範圍為[-2,2]。因此，經細化的運動向量在水平方向和垂直方向兩者上與原始MV的最大偏移為±2像素。

對於一些區塊，差量MV的±2像素值範圍可能太小。對於具有在差量MV的±2像素值範圍之外的最佳差量MV的區塊，視訊解碼器300不能推導具有這樣的值範圍的DMVR的最佳細化MV。

可以通過增加DMVR搜索範圍來增加差量MV的值範圍。例如，DMVR搜索範圍可以增加到[–8,8]。因此，經細化的運動向量在水平方向和垂直方向上與原始MV的最大偏移為±8像素。

然而，增加搜索範圍會增加DMVR過程的複雜性。例如，當增加到固定搜索範圍[–8，8]時，視訊解碼器300將需要進行比DMVR寫碼區塊的搜索範圍[–2，2]多11倍的DMVR搜索。另外，DMVR寫碼區塊中的子區塊子集可以具有類似的細化MV，基於子區塊的DMVR過程包括針對每個子區塊的MV細化，即使所推導的MV的子集可以類似或相同。另一方面，子區塊的子區域可以具有不同於子區塊的其它子區域的最佳細化MV。VVC草稿10的DMVR是基於子區塊的16×16亮度樣本，因此，視訊解碼器300不能在例如16×16子區塊內的8×8或4×4子區域中推導不同的細化MV。

本文揭露了可以改進DMVR過程的技術。

示例1。在該示例中，W×H寫碼區塊內的子區塊的細化運動向量是通過多通路解碼器側運動向量細化(多通路DMVR)過程來推導的。預先確定的數量N可以表示多通路DMVR技術的通路總數。視訊解碼器300可以採用這些多通路DMVR技術。

圖12是示出示例三通路DMVR技術的概念圖。在該示例中，32x16寫碼區塊1200以初始MV _org開始。第一通路可以是基於區塊的。因此，第一通路可以使用整個區塊1200，諸如當前PU或CU。實施第一通路1202的視訊解碼器300可以生成細化MV，即MV _pass1。第二通路可以是基於子區塊的。在該示例中，視訊解碼器300可以將區塊1200劃分為兩個16x16子區塊，即子區塊1204A-1204B。實施第二過程的視訊解碼器300可以生成用於子區塊1204A(MV _{(pass2, 0)})和子區塊1204B(MV _{(pass2, 1)})中的各者的細化MV。在該示例中，視訊解碼器300可將區塊1200劃分為八個8x8子區塊，即子區塊1208A-1208H。如圖所示，實施第三通路的視訊解碼器300可以生成用於子區塊1208A-1208G中的各者的細化MV。

例如，視訊解碼器300可以向視訊資料的區塊(例如，區塊1200)的運動向量應用多通路DMVR以確定經細化的運動向量，並且基於經細化的運動向量來對區塊進行解碼。多通路DMVR可以包括：第一通路，第一通路是基於區塊的並且應用於視訊資料的區塊；第二通路，第二通路是基於子區塊的並且應用於視訊資料的區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於第一通路區塊的寬度，並且第二通路子區塊高度等於或小於第一通路區塊的高度；以及第三通路，第三通路是基於子區塊的並且應用於至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於第二通路子區塊寬度，並且第三通路子區塊高度等於或小於第二通路子區塊高度。

多通路DMVR技術從W×H寫碼區塊的原始運動向量MV _org開始。寫碼區塊可以是PU或CU。第一通路可以是基於區塊的。第一通路可以推導用於整個WxH寫碼區塊的經細化的運動向量MV _pass1。MV _pass1可以被保存並且用作用於後續通路的初始運動向量。

第二通路可以是基於子區塊的，例如，基於WxH寫碼區塊的一個或多個子區塊。第二通路中的子區塊(第二通路SB)可以具有預先確定的最大尺寸sbW_1×sbH_1。W×H寫碼區塊可以被劃分為K1個子區塊(第二通路SB)，其中K1 ≥ 1。每個第二通路SB可以具有尺寸M1×N1，其中M1 ≤ W並且N1 ≤ H。每個第二通路SB可以具有初始運動向量MV _pass1(例如，從第一通路推導出的MV)。第二通路可以針對每個第二通路SB推導經細化的運動向量MV _{(pass2, i)}，其中i表示第二通路SB的索引，0 ≤ i ≤ K1 – 1。MV _{(pass2, i)}可以被保存並且用作用於後續通路的初始運動向量。

第三通路可以是基於子區塊的，例如，基於第二通路的相應子區塊的一個或多個子區塊。第三通路中的子區塊(第三通路SB)具有預先確定的最大尺寸sbW_2×sbH_2，其中，sbW_2≤ sbW_1並且sbH_2≤ sbH_1。第二通路中的每個第i第二通路SB可以被劃分為K2個子區塊(第三通路SB)，其中，K2≥1。W×H寫碼區塊內的第三通路SB的總數可以是K2*K1。每個第三通路SB可以具有尺寸M2×N2，其中，M2≤ sbW_1並且N2≤ sbH_1。第i第二通路SB內的每個第3通路SB可以具有初始運動向量MV _{(pass2, i)}(例如，在第二通路期間推導出的MV)。第三通路針對每個第三通路SB推導經細化的運動向量MV _{(pass3, j)}，其中，j表示第三通路SB的索引，0≤ j≤ K2*K1–1。MV _{(pass3, j)}可以被保存並且用作用於後續通路的初始運動向量。

在一些示例中，多通路DMVR技術繼續進行直到第P通路為止。執行MV細化的視訊解碼器300可以針對第P通路中的每個子區塊(第P通路SB)推導MV _{(passP, i)}，其中，i表示W×H寫碼區塊內的第P通路SB的索引。MV _{(passP, i)}可以被保存並且用於推導當前寫碼區塊的預測區塊。MV _{(passP, i)}表示用於第i子區塊的經細化的MV。

示例2。如在示例1中，當DMVR技術的第p通路和前一通路(第(p-1)通路)兩者都是基於子區塊的時，第p通路子區塊尺寸可以等於或小於前一通路中的子區塊尺寸。

如示例1所示，第p通路中的差量運動向量MV

的值範圍可以是預先確定的。例如，minDeltaHorPassP ≤

≤ maxDeltaHorPassP，minDeltaVerPassP ≤

≤ maxDeltaVerPassP。當第p通路不是第一通路(例如，p＞1)時，第p通路中的

和

的值範圍可能等於或小於前一通路中的值範圍。例如，minDeltaHorPassP ≥ minDeltaHorPass(P–1)，maxDeltaHorPassP ≤ maxDeltaHorPass(P–1)，minDeltaVerPassP≥minDeltaVerPass(P–1)，maxDeltaVerPassP≤maxDeltaVerPass(P–1)。由於第p通路可以從前一通路的經細化的運動向量開始，因此與單通路DMVR相比，差量(最終細化的)運動向量的總體值範圍被擴展。

如在示例1中，當視訊解碼器300確定將當前寫碼區塊劃分為K個子區塊時，子區塊可以按照從當前寫碼區塊的左上方到右下方的光柵掃描順序。

示例3——跳過DMVR技術的第p通路。如在示例1中，預先確定的數量N可以表示多通路DMVR技術的總通路。實施多通路DMVR技術的視訊解碼器300可以跳過一個或多個通路來推導最終經細化的MV。換句話說，視訊解碼器300可以通過應用多通路DMVR技術的子集來推導最終經細化的運動向量。跳過DMVR技術的第p通路可以降低視訊解碼器300的複雜度。

關於是否跳過DMVR技術的第p通路的確定可以是基於DMVR技術的前一通路的結果的。例如，如果前一通路推導相對最佳的經細化的運動向量，則可以跳過第p通路。

例如，視訊解碼器300可以向用於區塊的運動向量應用縮短的多通路DMVR。視訊解碼器300可以確定針對區塊跳過多通路DMVR的給定通路，並且基於跳過給定通路的確定來針對該區塊跳過多通路DMVR的給定通路。例如，確定跳過給定通路可以是基於前一通路的結果的，例如，當前一通路的經細化的MV相對最佳時(例如，進一步細化可能不會導致MV的變化(就MV(子像素)解析度而言)，或者進一步細化的成本可能超過進一步細化的好處)。

示例4——基於子區塊的第一通路DMVR技術。在一些硬體設計中，用於運動補償過程的最大大小可能受到限制，並且較大的寫碼區塊可能被拆分成多個子區塊以用於硬體處理。在一些示例中，多通路DMVR技術可以從第一通路的子區塊大小min{P，W}x min{Q，H}開始，其中，P和Q是由硬體約束確定的預定義整數值。

如在示例1和示例3中，DMVR技術的第一通路可以是基於區塊的。當多通路DMVR技術以基於子區塊的通路開始時，DMVR技術的第一通路也可以被稱為基於子區塊的第一通路DMVR技術或跳過第一通路DMVR技術。視訊解碼器300可以應用基於子區塊的第一通路DMVR技術。

示例5——跳過用於寫碼區塊的子區域的DMVR技術的第p通路。如在示例1和示例3中，給定W×H寫碼區塊，預先確定的數量N可以表示多通路DMVR技術的通路總數。視訊解碼器300可以通過應用DMVR技術的N個通路來推導用於寫碼區塊的子區域的經細化的運動向量。視訊解碼器300可以通過應用DMVR技術的M個通路來推導用於寫碼區塊的不同子區域的經細化的運動向量，其中，M＜N。換句話說，視訊解碼器300可以跳過一個或多個通路來推導用於寫碼區塊的給定子區域的最終經細化的運動向量。子區域可以包括寫碼區塊的一個或多個子區塊。

例如，視訊解碼器300向區塊的運動向量應用縮短的多通路DMVR。視訊解碼器300可以確定針對區塊的特定子區域(例如，上面段落中提到的寫碼區塊的不同子區域)來跳過多通路DMVR的給定基於子區塊的通路(特定子區域包括一個或多個子區塊)，並且基於跳過給定基於子區塊的通路的確定來針對特定子區域跳過多通路DMVR的給定基於子區塊的通路。例如，確定跳過給定基於子區塊的通路可以是基於前一通路的結果的，例如，當前一通路的經細化的MV相對最佳時(例如，進一步細化可能不會導致MV的變化(就MV(子像素)精度而言)，或者進一步細化的成本可能超過進一步細化的好處)。

示例6——推導DMVR的第p通路中的經細化的運動向量。在該示例中，描述了若干解碼器側運動向量細化技術。利用多通路DMVR技術，視訊解碼器300可以通過至少一個通路來應用下面討論的基於雙邊匹配的運動向量細化，和/或通過至少一個通路來應用基於BDOF的運動向量細化。換句話說，多通路DMVR的至少一個通路可以包括應用BDOF，和/或多通路DMVR的至少一個通路可以包括應用雙邊匹配。在一個示例中，第一通路包括應用雙邊匹配，第二通路包括應用雙邊匹配，並且第三通路包括應用BDOF。

圖13是示出示例BDOF運動向量細化的概念圖。現在描述通過雙向光流來推導經細化的運動向量。在該示例中，視訊解碼器300可以通過使用雙向光流(BDOF)來推導第p通路DMVR技術中的經細化的運動向量。BDOF MV細化可以如下所示： Mv0’ = Mv0 + bioMv Mv1’ = Mv1 – bioMv 其中，Mv0和Mv1分別表示參考圖片0 1300和參考圖片1 1302中的當前區塊/子區塊的第p通路開始時的初始Mv，Mv0’和Mv1’分別表示參考圖片0 1300和參考圖片1 1302中的當前區塊的經BDOF細化的MV，bioMv是BDOF差量MV。

在BDOF MV細化過程中，可以根據以下步驟來推導bioMv

： 1)如上文所討論的，從預測訊號predSig0和predSig1推導水平和垂直梯度

和

,

。 2)如上文所討論的，從推導出的水平和垂直梯度以及預測訊號predSig0和predSig1來推導梯度的自相關和互相關S1、S2、S3、S5和S6。 3)按如下來推導兩個參數

：

其中，m是預先確定的值。例如，m=3 4)按如下來推導MV bioMV

：

其中 n是預先確定的值。例如，n=3 minDeltaHorPass3是預先確定的值。例如，minDeltaHorPass3=-2 maxDeltaHorPass3是預先確定的值。例如，maxDeltaHorPass3=2 minDeltaVerPass3是預先確定的值。例如，minDeltaVerPass3=-2 maxDeltaVerPass3是預先確定的值。例如，maxDeltaVerPass3=2

現在描述視訊解碼器300通過雙邊匹配來推導經細化的運動向量。雙邊匹配包括分別在參考圖片0和參考圖片1中的預先確定的局部搜索區域中的第p通路處在兩個初始運動向量MV0和MV1周圍的搜索。最終的MV0'和MV1'是基於最小雙邊匹配成本來推導的。

用於寫碼區塊的雙邊匹配的局部搜索區域具有水平搜索範圍(例如[sMinHor，sMaxHor])和垂直搜索範圍(例如，[sMinVer，sMaxVer])。用於寫碼區塊的雙邊匹配的局部搜索區域可以是(sMaxHor – sMinHor + 1) × (sMaxVer – sMinVer + 1)。

如在示例2中，其中在第p通路中存在差量運動向量MV

的預先確定的值範圍，搜索範圍的值可以由第p通路DMVR技術中的差量運動向量的值範圍來確定，如下所示： sMinHor ≥ minDeltaHorPassP sMaxHor ≤ maxDeltaHorPassP sMinVer ≥ minDeltaVerPassP sMaxVer ≤ maxDeltaVerPassP

現在描述進一步的解碼器側運動向量細化方法。可以通過替代的解碼器側運動向量推導技術(例如，模板匹配或解碼器側運動向量推導(decoder-side motion vector derivation, DMVD))來推導經細化的運動向量。實施第p通路多通路DMVR技術的視訊解碼器300可以使用本揭露內容中描述的這些運動向量細化方法之一。然而，與本文件中的描述相比，DMVR技術的細節可能不同，並且仍然落在本揭露內容的範圍內。

示例7——通過應用內插濾波器或使用前一通路預測訊號來在第p通路DMVR技術處導出預測訊號。如在示例6中，第p通路處的運動向量細化技術以第p通路的初始運動向量和參考圖片處的預測訊號開始。可以通過在參考圖片處應用具有初始運動向量資訊的內插濾波器來推導參考圖片處的預測訊號。

在該示例中，視訊解碼器300可以進行以下操作： 1)通過應用內插濾波器，利用第p通路DMVR技術來推導預測訊號。內插濾波器可以由第p通路處的MV細化技術(例如，雙邊匹配、BDOF等)確定；和/或2)通過使用先前的預測訊號，利用第p通路DMVR技術來推導預測訊號。

現在描述視訊解碼器300通過應用內插濾波器利用第p通路DMVR技術來推導預測訊號。在用於推導經細化的運動向量的雙邊匹配或DMVR技術中，可以使用某種簡化的內插濾波器來生成用於搜索的運動補償結果。例如，雙線性內插濾波器可以用於生成用於雙邊匹配或DMVR中的搜索過程的分數樣本。

在一些示例中，當應用基於BDOF的技術(如在示例6中)以推導第p通路中的經細化的運動向量時，輸入可以是使用原始(非簡化)內插濾波器通過運動補償生成的樣本。

在其它示例中，當應用基於BDOF的技術(如在示例6中)以推導第p通路中的經細化的運動向量時，輸入可以是使用簡化的內插濾波器(諸如雙線性內插濾波器)通過運動補償生成的樣本。

現在描述視訊解碼器300通過使用前一通路預測訊號在第p通路DMVR技術中推導預測訊號。在一個示例中，視訊解碼器300可以通過檢查前一通路的差量運動向量的精度來確定是否使用前一通路預測訊號。例如，1)當前一通路處的差量運動向量具有整數像素精度時，可以通過使用前一通路預測訊號來推導DMVR技術的第p通路處的預測訊號；以及2)當前一通路處的經細化的運動向量與前一通路處的初始運動向量相同時，可以通過使用前一通路預測訊號來推導DMVR技術的第p通路處的預測訊號。

示例8——三通路解碼器側運動細化的示例。在該示例中，視訊解碼器300使用三通路解碼器側運動細化技術。在該示例中，該過程包括以下三個通路：1)第一通路是基於區塊的。通過應用基於雙邊匹配的運動向量細化來推導經細化的運動向量。差量運動值範圍在水平方向上例如為[-8,8]以及在垂直方向上例如為[-8,8]；2)第二通路是基於子區塊的。通過應用基於雙邊匹配的運動向量細化來推導經細化的運動向量。最大子區塊尺寸為例如16×16亮度樣本。例如，第二通路的子區塊具有16個亮度樣本的預先確定的最大寬度和16個亮度樣本的預先確定的最大高度。差量運動值範圍在水平方向上例如為[-8,8]以及在垂直方向上例如為[-8,8]；3)第三通路是基於子區塊的。通過應用基於BDOF的運動向量細化來推導經細化的運動向量。最大子區塊尺寸為例如8×8亮度樣本。例如，第三通路的子區塊具有8個亮度樣本的預先確定的最大寬度和8個亮度樣本的預先確定的最大高度。差量運動值範圍在水平方向上例如為[–2,2]以及在垂直方向上例如為[–2,2]。

例如，第一通路或第二通路中的至少一者的差量運動值範圍在水平方向上可以為[-8,8]以及在垂直方向上可以為[-8,8]，並且第三通路的差量運動值範圍在水平方向上可以為[-2,2]以及在垂直方向上可以為[-2,2]。

可以通過視訊寫碼系統的視訊解碼器300來應用上述技術。以下是多通路DMVR的詳細示例。視訊解碼器300可以通過以下步驟的全部或子集來實施本文描述的技術，以從位元串流解碼圖片中的幀間預測區塊： 1)通過對位元串流中的語法元素進行解碼來將位置分量(x，y)推導為當前區塊的左上方亮度位置。 2)通過對位元串流中的語法元素進行解碼來將當前區塊的大小推導為寬度值W和高度值H。 3)根據對位元串流中的元素進行解碼來確定當前區塊是幀間預測區塊。 4)根據對位元串流中的元素進行解碼來推導當前區塊的運動向量分量(mvL0和mvL1)和參考索引(refPicL0和refPicL1)。 5)根據對位元串流中的元素進行解碼來推斷標誌，其中，該標誌指示解碼器側運動向量推導(例如，DMVR、雙邊合併、模板匹配等)是否應用於當前區塊。該標誌的推斷方案可以與本揭露內容前面討論的DMVR的啟用條件相同，但不限於此。在另一示例中，可以在位元串流中顯式地發訊通知該標誌，以避免視訊解碼器300進行複雜條件檢查。 6)(通路1)根據上述標誌值，如果決策是不向當前區塊應用DMVR(雙邊合併或模板匹配)，則將運動向量mvL0和mvL1分別設置為MV0pass1和MV1pass1的運動向量；否則(如果決策是向當前區塊應用DMVR)，則以下內容適用。 (a)將當前區塊的mvL0和mvL1設置為用於當前區塊的初始運動向量 (b)按如下來確定變量sHor和sVer， sHor = maximum (maxDeltaHorPass1, W × sFactor) sVer = maximum (maxDeltaVerPass1, H × sFactor) 其中， maxDeltaHorPass1是預先確定的變量(例如，8) maxDeltaVerPass1是預先確定的變量(例如，8) sFactor是預先確定的變量(例如，0.5) sHor指定DMVR在水平方向上的搜索範圍[–sHor，sHor] sVer指定DMVR在垂直方向上的搜索範圍[–sVer，sVer] (c)通過使用推導出的mvL0和refPicL0來從參考圖片0推導預測訊號predSig0。predSig0的寬度等於W+2×sHor。predSig0的高度等於H+2×sVer。 (d)通過使用推導出的mvL1和refPicL1來從參考圖片1推導預測訊號predSig1。predSig1的寬度等於W+2×sHor。predSig0的高度等於H+2×sVer。 (e)將變量minCostPass1設置為最大成本值 (f)將變量最佳差量MV

設置為差量MV(0,0) (g)循環通過當前區塊的搜索範圍內的差量MV

的各者或子集，-sVer＜=

＜=sVer，–sHor＜=

＜=sHor， (i)推導當前差量MV

處的雙邊匹配成本 (ii)如果bilCost小於minCostPass1， 則(a)將minCostPass1設置為等於bilCost (b)將最佳差量MV

設置為等於MV

(h)將經細化的運動向量(mvL0 + MV

)推導為MV0 _pass1的運動向量 (i)將經細化的運動向量(mvL1 – MV

)推導為MV1 _pass1的運動向量 7)(通路2)按如下來推導水平方向上的子區塊數量numSbX和垂直方向上的子區塊數量numSbY、子區塊寬度sbWidthPass2和高度sbHeightPass2：

numSbX = (W ＞ thW) ? (W / thW) : 1

numSbY = (H ＞ thH) ? (H / thH) : 1

sbWidthPass2 = (W ＞ thW) ? thW : W

sbHeightPass2 = (H ＞ thH) ? thH : H

其中，thW和thH是分別指示第二通路的最大子區塊寬度和高度的預先確定的整數值(例如，thW＝thH＝16) (a)根據上述標誌值，如果決策是不向當前區塊應用DMVR(雙邊合併或模板匹配)，則針對每個子區塊將運動向量MV0 _pass1和MV1 _pass1分別設置為運動向量MV0 _{(pass2, i)}和MV1 _{(pass2, i)}；否則(如果決策是向當前區塊應用DMVR)，則以下內容適用。 (b)(檢查是否跳過通路2)推導變量costThPass2等於(thFactorPass2×W×H)，其中，thFactorPass2是預先確定的值，例如thFactorPass2=1。如果minCostPass1小於costThPass2，則針對每個子區塊將MV0 _pass1和MV1 _pass1分別設置為運動向量MV0 _{(pass2, i)}和MV1 _{(pass2, i)}，否則(如果minCostPass1等於或大於CostThPass2)，則以下內容適用。 (i)將位置分量(sbX, sbY) = (x, y)設置為當前區塊的第一子區塊的左上方亮度位置。 (ii)對於從左上方到右下方的每個子區塊， (a)將變量i = (sbY / sbHeightPass2) * (W / sbWidthPass2) + (sbX / sbWidthPass2)設置為當前子區塊索引 (b)將MV0 _pass1和MV1 _pass1設置為當前子區塊的初始運動向量 (c)按如下確定變量sHor和sVer， sHor = maximum (maxDeltaHorPass2, sbWidthPass2 × sFactor) sVer = maximum (maxDeltaVerPass2, sbHeightPass2 × sFactor) 其中， maxDeltaHorPass2是預先確定的變量，(例如，8) maxDeltaVerPass2是預先確定的變量，(例如，8) sFactor是預先確定的變量，(例如，0.5) sHor指定通路2的水平方向上的搜索範圍[–sHor，sHor] sVer指定通路2的垂直方向上的搜索範圍[–sVer，sVer] (d)通過使用推導出的MV0 _pass1和refPicL0來從參考圖片0推導預測訊號predSig0。predSig0的寬度等於sbWidthPass2+2×sHor。predSig0的高度等於sbHeightPass2+2×sVer。 (e) 通過使用推導出的MV1 _pass1和refPicL1來從參考圖片1推導預測訊號predSig1。predSig1的寬度等於sbWidthPass2+2×sHor。predSig0的高度等於sbHeightPass2+2×sVer。 (f)將變量minCostPass2設置為最大成本值 (g)將變量最佳差量MV

設置為差量MV(0,0) (h)循環通過當前區塊的搜索範圍內的差量MV

中的各者或子集，-sVer＜=

＜=sVer，–sHor＜=

＜=sHor， (i)推導當前差量MV

處的雙邊匹配成本bilCost (ii)如果bilCost小於minCostPass2， 則(a)將minCostPass2設置為等於bilCost (b)將最佳差量MV

設置為等於MV

(i)將經細化的運動向量(MV0 _pass1+ MV

)推導為MV0 _{(pass2, i)}的運動向量 (j)將經細化的運動向量(MV1 _pass1– MV

)推導為MV1 _{(pass2, i)}的運動向量 (k)按如下來更新子區塊左上方亮度位置： sbX = (sbX + sbWidthPass2) ＜ W ? sbX + sbWidthPass2 : 0 sbY = (sbX + sbWidthPass2) ＜ W ? sbY : sbY + sbHeightPass2 8)根據對位元串流中的元素進行解碼來推斷標誌，其中，該標誌指示雙向光流是否應用於當前區塊。該標誌的推斷方案可以與上文闡述的示例相同，但不限於此。在另一示例中，可以在位元串流中顯式地發訊通知該標誌，以避免在解碼器處進行複雜條件檢查。 9)(通路3)根據上述標誌值，當決策是將BDOF應用於當前區塊時，以下內容適用。 (a)按如下來推導水平方向上的子區塊數量numSbX和垂直方向上的子區塊數量numSbY、子區塊寬度sbW和高度sbH： numSbX = (W ＞ thW) ? (W / thW) : 1 numSbY = (H ＞ thH) ? (H / thH) : 1 sbWidthPass3 = (W ＞ thW) ? thW : W sbHeightPass3 = (H ＞ thH) ? thH : H 其中，thW和thH分別是指示第三通路的最大子區塊寬度和高度的預先確定的整數值(例如，thW＝thH＝8) (b)將變量成本costThPass3推導為等於(thFactorPass3×sbWidth×sbHeight)，其中thFactorPass3是預先確定的值，例如，thFactorPass3=32。 (c)將位置分量(sbX, sbY) = (x, y)設置為當前區塊的第一子區塊的左上方亮度位置。 (d)對於從左上方到右下方的每個子區塊， (i)將變量i = (sbY / sbHeightPass3) * (W / sbWidthPass3) + (sbX / sbWidthPass3)設置為通路3的當前子區塊索引 (ii)將變量j = (sbY / sbHeightPass2) * (W / sbWidthPass2) + (sbX / sbWidthPass2)設置為通路2的當前子區塊索引 (iii)將MV0 _{(pass2, j)}和MV1 _{(pass2, j)}設置為當前子區塊的初始運動向量 (iv)通過使用推導出的MV0 _{(pass2, j)}和refPicL0來從參考圖片0推導預測訊號predSig0。 (v) 通過使用推導出的MV1 _{(pass2, j)}和refPicL1來從參考圖片1推導預測訊號predSig1。 (vi)推導當前子區塊的predSig0和predSig1之間的失真成本距離。 (vii)(檢查是否跳過子區域通路3)如果失真成本距離小於costThPass3，則針對當前子區塊將MV0 _{(pass2, j)}和MV1 _{(pass2, j)}分別設置為經細化的運動向量MV0 _{(pass3, i)}和MV1 _{(pass3, i)}，否則(如果失真成本距離等於或大於costThPass3)，則以下內容適用： (a)如上文所討論的，從預測訊號predSig0和predSig1推導水平梯度

和垂直梯度

,

。 (b)如上文所討論的，從推導出的水平梯度和垂直梯度以及預測訊號predSig0和predSig1來推導梯度的自相關和互相關S1、S2、S3、S5和S6。 (c)按如下來推導兩個參數

： 其中，m是預先確定的值。例如，m=3 (d)按如下來推導差量MV bioMV

： 其中， n是預先確定的值。例如，n=3 minDeltaHorPass3是預先確定的值。例如，minDeltaHorPass3=-2 maxDeltaHorPass3是預先確定的值。例如，maxDeltaHorPass3=2 minDeltaVerPass3是預先確定的值。例如，minDeltaVerPass3=-2 maxDeltaVerPass3是預先確定的值。例如，maxDeltaVerPass3=2 (e)將經細化的運動向量(MV0 _{(pass2, j)}+ bioMV

)推導為MV0 _{(pass3, i)}的運動向量 (f)將經細化的運動向量(MV1 _{(pass2, j)}– bioMV

)推導為MV1 _{(pass3, i)}的運動向量 (viii)按如下來更新子區塊左上方亮度位置 sbX = (sbX + sbWidthPass3) ＜ W ? sbX + sbWidthPass3 : 0 sbY = (sbX + sbWidthPass3) ＜ W ? sbY : sbY + sbHeightPass3 10)使用用於視訊解碼的每個子區塊的經細化的運動向量MV0 _{(pass3, i)}和 MV1 _{(pass3, i)}來推導預測區塊。

示例9——當跳過多通路DMVR技術的所有通路時。當跳過多通路DMVR技術的所有通路時，最後一通路(通路P)中的每個子區塊的最終經細化的運動向量MV _{(passP, i)}等於初始運動向量MV _Org。

例如，如在示例8中，視訊解碼器300可以根據向當前區塊應用DMVR(例如，雙邊合併或模板匹配)的條件來決定是否向當前區塊應用基於BDOF的運動向量細化(通路3)。例如，如果在上面示例8中的步驟5中，視訊解碼器300決定不向當前區塊應用DMVR，則跳過多通路DMVR技術的所有三個通路。示例8的步驟10中的每個子區塊的經細化的運動向量MV0 _{(pass3, i)}和MV1 _{(pass3, i)}分別等於mvL0和mvL1。例如，視訊解碼器300可以確定不向區塊應用DMVR。基於不向區塊應用DMVR的確定，視訊解碼器300可以跳過多通路DMVR的所有通路，並且基於初始運動向量來對區塊進行解碼。

圖14是示出本揭露內容的示例多通路DMVR技術的流程圖。視訊解碼器300可以向視訊資料的區塊的MV應用多通路DMVR以確定經細化的MV(1400)。例如，視訊解碼器300可以應用多通路DMVR，多通路DMVR包括：第一通路，第一通路是基於區塊的；第二通路，第二通路是基於子區塊的，第二通路子區塊寬度等於或小於第一通路區塊的寬度，並且第二通路子區塊高度等於或小於第一通路區塊的高度；以及第三通路，第三通路是基於子區塊的，第三通路子區塊寬度等於或小於第二通路子區塊寬度，並且第三通路子區塊高度等於或小於第二通路子區塊高度。

視訊解碼器300可以基於經細化的MV來對區塊進行寫碼(1402)。例如，視訊解碼器300可以使用經細化的MV來預測區塊。

在一些示例中，視訊資料的區塊的至少一個第三通路子區塊是視訊資料的區塊的至少一個第二通路子區塊的子區塊。在一些示例中，視訊解碼器300可以應用第一通路來推導視訊資料的區塊的至少一個第一經細化的運動向量，並且在第二通路中使用至少一個第一經細化的運動向量。例如，視訊解碼器300可以使用第一經細化的運動向量作為用於第二通路的初始運動向量。在一些示例中，視訊解碼器300可以應用第二通路來推導用於至少一個相應的第二通路子區塊的至少一個第二經細化的運動向量，並且在第三通路中使用至少一個第二經細化的運動向量。例如，視訊解碼器300可以推導用於第二通路的一個或多個相應子區塊的一個或多個第二經細化的運動向量，並且使用一個或多個第二經細化的運動向量作為用於第三通路的初始運動向量。在一些示例中，視訊解碼器300可以應用第三通路來推導用於至少一個相應的第三通路子區塊的至少一個第三經細化的運動向量，並且將至少一個經細化的運動向量確定為至少一個第三經細化的運動向量。

在一些示例中，多通路DMVR的至少一個通路包括應用BDOF或應用雙邊匹配。在一些示例中，第一通路包括應用雙邊匹配，第二通路包括應用雙邊匹配，並且第三通路包括應用BDOF。

在一些示例中，至少一個第二通路子區塊具有16個亮度樣本的預先確定的最大寬度和16個亮度樣本的預先確定的最大高度。在一些示例中，至少一個第三通路子區塊具有8個亮度樣本的預先確定的最大寬度和8個亮度樣本的預先確定的最大高度。

在一些示例中，第一通路或第二通路中的至少一者的差量運動值範圍在水平方向上為[-8,8]以及在垂直方向上為[-8,8]，並且第三通路的差量運動值範圍在水平方向上為[-2,2]以及在垂直方向上為[-2,2]。

在一些示例中，視訊資料的區塊是第一區塊。在一些示例中，視訊解碼器300可以將縮短的多通路DMVR應用於視訊資料的第二區塊的運動向量。例如，視訊解碼器300可以確定針對第二區塊跳過多通路DMVR的給定通路，並且基於確定針對第二區塊跳過多通路DMVR的給定通路來針對第二區塊跳過多通路DMVR的給定通路。在一些示例中，視訊解碼器300可以基於前一通路的結果來確定跳過給定通路。

在一些示例中，視訊的區塊是第一區塊。在一些示例中，視訊解碼器300可以將縮短的多通路DMVR應用於視訊資料的第二區塊的運動向量。例如，視訊解碼器300可以確定針對視訊資料的第二區塊的特定子區域跳過多通路DMVR的給定基於子區塊的通路，該特定子區域包括第二區塊的一個或多個子區塊。例如，視訊解碼器300可以基於確定針對第二區塊的特定子區域跳過多通路DMVR的給定基於子區塊的通路，來針對第二區塊的特定子區域跳過多通路DMVR的給定基於子區塊的通路。在一些示例中，視訊解碼器300可以基於前一通路的結果來確定跳過給定通路。

在一些示例中，該區塊是視訊資料的第一區塊。在一些示例中，視訊解碼器300可以確定不將DMVR應用於視訊資料的第二區塊。基於確定不將DMVR應用於第二區塊，視訊解碼器300可以針對第二區塊跳過多通路DMVR的所有通路，並且基於第二區塊的初始運動向量來對第二區塊進行解碼。

圖15是示出根據本揭露內容的技術的用於對當前區塊進行編碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視訊編碼器200(圖1和圖3)進行了描述，但是應當理解的是，其它設備可以被配置為執行與圖15的方法類似的方法。

在該示例中，視訊編碼器200最初預測當前區塊(350)。例如，視訊編碼器200可以形成用於當前區塊的預測區塊。然後，視訊編碼器200可以計算用於當前區塊的殘差區塊(352)。為了計算殘差區塊，視訊編碼器200可以計算在原始的未經編碼的區塊與用於當前區塊的預測區塊之間的差。然後，視訊編碼器200可以對殘差區塊進行變換並且對殘差區塊的變換係數進行量化(354)。接下來，視訊編碼器200可以掃描殘差區塊的經量化的變換係數(356)。在掃描期間或在掃描之後，視訊編碼器200可以對變換係數進行熵編碼(358)。例如，視訊編碼器200可以使用CAVLC或CABAC來對變換係數進行編碼。然後，視訊編碼器200可以輸出區塊的經熵編碼的資料(360)。

圖16是示出根據本揭露內容的技術的用於對視訊資料的當前區塊進行解碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視訊解碼器300(圖1和圖4)進行了描述，但是應當理解的是，其它設備可以被配置為執行與圖16的方法類似的方法。

視訊解碼器300可以接收用於當前區塊的經熵編碼的資料(例如，經熵編碼的預測資訊和用於與當前區塊相對應的殘差區塊的變換係數的經熵編碼的資料)(370)。視訊解碼器300可以對經熵編碼的資料進行熵解碼以確定用於當前區塊的預測資訊，並且重現殘差區塊的變換係數(372)。視訊解碼器300可以例如使用如由用於當前區塊的預測資訊所指示的幀內預測模式或幀間預測模式來預測當前區塊(374)，以計算用於當前區塊的預測區塊。作為預測當前區塊的一部分，視訊解碼器300可以使用本揭露內容的任何多通路DMVR技術，包括但不限於圖14的技術。然後，視訊解碼器300可以對所重現的變換係數進行逆掃描(376)，以創建經量化的變換係數的區塊。然後，視訊解碼器300可以對變換係數進行逆量化並且將逆變換應用於變換係數以產生殘差區塊(378)。最終，視訊解碼器300可以通過將預測區塊和殘差區塊進行組合來對當前區塊進行解碼(380)。

本揭露內容包括以下非限制性條款。

條款1A。一種對視訊資料進行寫碼的方法，所述方法包括：向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定經細化的運動向量；以及基於所述經細化的運動向量來對所述區塊進行寫碼。

條款2A。根據條款1A所述的方法，其中，所述多通路DMVR的通路總數為預先確定的整數。

條款3A。根據條款1A或條款2A所述的方法，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的；第二通路，所述第二通路是基於子區塊的；以及第三通路，所述第三通路是基於子區塊的。

條款4A。根據條款3A所述的方法，其中，應用所述第一通路推導第一經細化的運動向量。

條款5A。根據條款4A所述的方法，其中，在所述第二通路中使用所述經細化的運動向量，其中，所述第二通路的子區塊具有預先確定的最大寬度和預先確定的最大高度，並且其中，應用所述第二通路推導用於所述第二通路的至少一個相應子區塊的第二經細化的運動向量。

條款6A。根據條款5A所述的方法，其中，在所述第三通路中使用每個第二經細化的運動向量，其中，所述第三通路的子區塊具有預先確定的最大寬度和預先確定的最大高度，並且其中，應用所述第三通路推導用於所述第三通路的至少一個相應子區塊的第三經細化的運動向量。

條款7A。根據條款1A-6A的任何組合所述的方法，其中，所述多通路DMVR是疊代的。

條款8A。根據條款1A-7A的任何組合所述的方法，其中，通路的子區塊在大小上小於或等於前一通路的區塊或子區塊。

條款9A。根據條款1A-8A的任何組合所述的方法，還包括：確定是否跳過所述多通路DMVR的給定通路；以及基於跳過所述給定通路的決策來跳過所述多通路DMVR的所述給定通路。

條款10A。根據條款9A所述的方法，其中，確定是否跳過所述給定通路包括：確定來自前一通路的給定經細化的運動向量是最佳的。

條款11A。根據條款1A-10A的任何組合所述的方法，還包括：確定給定子區塊大小為(P，W)的最小值和(Q，H)的最小值，其中，P和Q是預先定義的整數。

條款12A。根據條款11A所述的方法，其中，P和Q是基於硬體約束的。

條款13A。根據條款1A-12A的任何組合所述的方法，還包括：確定是否針對特定子區塊跳過所述多通路DMVR的子區塊通路；以及基於跳過所述子區塊通路的決策來針對所述特定子區塊跳過所述多通路DMVR的所述子區塊通路。

條款14A。根據條款13A所述的方法，其中，確定是否跳過所述子區塊通路包括：確定來自前一通路的子區塊經細化的運動向量是最佳的。

條款15A。根據條款1A-14A的任何組合所述的方法，其中，所述多通路DMVR的至少一個通路包括應用雙向光流。

條款16A。根據條款1A-15A的任何組合所述的方法，其中，所述多通路DMVR的至少一個通路包括應用雙邊匹配。

條款17A。根據條款1A-16A的任何組合所述的方法，其中，所述多通路DMVR的至少一個通路包括應用模板匹配。

條款18A。根據條款1A-17A的任何組合所述的方法，其中，所述多通路DMVR的至少一個通路包括應用內插濾波器。

條款19A。根據條款1A-18A的任何組合所述的方法，其中，所述多通路DMVR的至少一個通路包括應用簡化的內插濾波器。

條款20A。根據條款1A-19A的任何組合所述的方法，還包括：確定是否跳過所述多通路DMVT的所有通路；以及基於確定跳過所述多通路DMVT的所有通路，基於初始運動向量來對區塊進行寫碼。

條款21A。根據條款1A-20A中任一項所述的方法，其中，寫碼包括解碼。

條款22A。根據條款1A-21A中任一項所述的方法，其中，寫碼包括編碼。

條款23A。一種用於對視訊資料進行寫碼的設備，所述設備包括用於執行根據條款1A-22A中任一項所述的方法的一個或多個部件。

條款24A。根據條款23A所述的設備，其中，所述一個或多個部件包括在電路中實施的一個或多個處理器。

條款25A。根據條款23A和24A中任一項所述的設備，還包括：用於儲存所述視訊資料的記憶體。

條款26A。根據條款23A-25A中的任何組合所述的設備，還包括：被配置為顯示經解碼的視訊資料的顯示器。

條款27A。根據條款23A-26A中的任何組合所述的設備，其中，所述設備包括相機、電腦、移動設備、廣播接收機設備或機上盒中的一者或多者。

條款28A。根據條款23A-27A中的任何組合所述的設備，其中，所述設備包括視訊解碼器。

條款29A。根據條款23A-28A中的任何組合所述的設備，其中，所述設備包括視訊編碼器。

條款30A。一種具有儲存在其上的指令的電腦可讀儲存媒體，所述指令在被執行時，使得一個或多個處理器執行根據條款1A-22A中任一項所述的方法。

條款1B。一種對視訊資料進行解碼的方法，所述方法包括：

向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

條款2B。根據條款1B所述的方法，其中，所述視訊資料的所述區塊的所述至少一個第三通路子區塊是所述視訊資料的所述區塊的所述至少一個第二通路子區塊的子區塊。

條款3B。根據條款1B或條款2B所述的方法，其中，應用所述第一通路推導用於所述視訊資料的所述區塊的至少一個第一經細化的運動向量，並且其中，所述至少一個第一經細化的運動向量用在所述第二通路中。

條款4B。根據條款3B所述的方法，其中，應用所述第二通路推導用於至少一個相應的第二通路子區塊的至少一個第二經細化的運動向量，並且其中，所述至少一個第二經細化的運動向量用在所述第三通路中。

條款5B。根據條款4B所述的方法，其中，應用所述第三通路推導用於至少一個相應的第三通路子區塊的至少一個第三經細化的運動向量，並且其中，所述至少一個經細化的運動向量被確定為至少一個第三經細化的運動向量。

條款6B。根據條款1B-5B的任何組合所述的方法，其中，所述多通路DMVR的至少一個通路包括應用雙向光流(BDOF)或應用雙邊匹配。

條款7B。根據條款6B所述的方法，其中，所述第一通路包括應用雙邊匹配，所述第二通路包括應用雙邊匹配，並且所述第三通路包括應用BDOF。

條款8B。根據條款1B-7B的任何組合所述的方法，其中，所述至少一個第二通路子區塊具有16個亮度樣本的預先確定的最大寬度和16個亮度樣本的預先確定的最大高度。

條款9B。根據條款1B-8B的任何組合所述的方法，其中，所述至少一個第三通路子區塊具有8個亮度樣本的預先確定的最大寬度和8個亮度樣本的預先確定的最大高度。

條款10B。根據條款1B-9B的任何組合所述的方法，其中，所述第一通路或所述第二通路中的至少一者的差量運動值範圍在水平方向上為[-8,8]以及在垂直方向上為[-8,8]，並且所述第三通路的差量運動值範圍在所述水平方向上為[-2,2]以及在所述垂直方向上為[-2,2]。

條款11B。根據條款1B-10B的任何組合所述的方法，其中，所述視訊資料的所述區塊是第一區塊，所述方法還包括：將縮短的多通路DMVR應用於所述視訊資料的第二區塊的運動向量，包括：確定針對所述第二區塊跳過所述多通路DMVR的給定通路；以及基於確定針對所述第二區塊跳過所述多通路DMVR的所述給定通路來針對所述第二區塊跳過所述多通路DMVR的所述給定通路。

條款12B。根據條款11B所述的方法，其中，確定跳過所述給定通路是基於前一通路的結果的。

條款13B。根據條款1B-12B的任何組合所述的方法，其中，所述視訊資料的所述區塊是第一區塊，所述方法還包括：將縮短的多通路DMVR應用於所述視訊資料的第二區塊的運動向量，包括：確定針對所述視訊資料的所述第二區塊的特定子區域跳過所述多通路DMVR的給定基於子區塊的通路，所述特定子區域包括所述第二區塊的一個或多個子區塊；以及基於確定針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路，來針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路。

條款14B。根據條款13B所述的方法，其中，確定跳過所述給定基於子區塊的通路是基於前一通路的結果的。

條款15B。根據條款1B-10B的任何組合所述的方法，其中，所述區塊是所述視訊資料的第一區塊，所述方法還包括：確定不將DMVR應用於所述視訊資料的第二區塊；基於確定不將DMVR應用於所述第二區塊，針對所述第二區塊跳過所述多通路DMVR的所有通路；以及基於所述第二區塊的初始運動向量來對所述第二區塊進行解碼。

條款16B。一種用於對視訊資料進行解碼的設備，所述設備包括：記憶體，其被配置為儲存所述視訊資料；以及在電路中實施並且通訊地耦合到所述記憶體的一個或多個處理器，所述一個或多個處理器被配置為：向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

條款17B。根據條款16B所述的設備，其中，所述視訊資料的所述區塊的所述至少一個第三通路子區塊是所述視訊資料的所述區塊的所述至少一個第二通路子區塊的子區塊。

條款18B。根據條款16B或條款17B所述的設備，其中，所述一個或多個處理器被配置為：應用所述第一通路以推導用於所述視訊資料的所述區塊的至少一個第一經細化的運動向量，並且在所述第二通路中使用所述至少一個第一經細化的運動向量。

條款19B。根據條款18B所述的設備，其中，所述一個或多個處理器被配置為：應用所述第二通路以推導用於至少一個相應的第二通路子區塊的至少一個第二經細化的運動向量，並且在所述第三通路中使用所述至少一個第二經細化的運動向量。

條款20B。根據條款19B所述的設備，其中，所述一個或多個處理器被配置為：應用所述第三通路以推導用於至少一個相應的第三通路子區塊的至少一個第三經細化的運動向量，並且將所述至少一個經細化的運動向量確定為所述至少一個第三經細化的運動向量。

條款21B。根據條款16B-20B的任何組合所述的設備，其中，所述多通路DMVR的至少一個通路包括應用雙向光流(BDOF)或應用雙邊匹配。

條款22B。根據條款21B所述的設備，其中，所述第一通路包括應用雙邊匹配，所述第二通路包括應用雙邊匹配，並且所述第三通路包括應用BDOF。

條款23B。根據條款16B-22B的任何組合所述的設備，其中，所述至少一個第二通路子區塊具有16個亮度樣本的預先確定的最大寬度和16個亮度樣本的預先確定的最大高度。

條款24B。根據條款16B-23B的任何組合所述的設備，其中，所述至少一個第三通路子區塊具有8個亮度樣本的預先確定的最大寬度和8個亮度樣本的預先確定的最大高度。

條款25B。根據條款16B-24B的任何組合所述的設備，其中，所述第一通路或所述第二通路中的至少一者的差量運動值範圍在水平方向上為[-8,8]以及在垂直方向上為[-8,8]，並且所述第三通路的差量運動值範圍在所述水平方向上為[-2,2]以及在所述垂直方向上為[-2,2]。

條款26B。根據條款16B-25B的任何組合所述的設備，其中，所述視訊資料的所述區塊是第一區塊，其中，所述一個或多個處理器被配置為：將縮短的多通路DMVR應用於所述視訊資料的第二區塊的運動向量，並且其中，為了將所述縮短的多通路DMVR應用於所述第二區塊的所述運動向量，所述一個或多個處理器被配置為：確定針對所述第二區塊跳過所述多通路DMVR的給定通路；以及基於確定針對所述第二區塊跳過所述多通路DMVR的所述給定通路來針對所述第二區塊跳過所述多通路DMVR的所述給定通路。

條款27B。根據條款26B所述的設備，其中，所述一個或多個處理器被配置為：確定跳過所述給定通路是基於前一通路的結果的。

條款28B。根據條款16B-27B的任何組合所述的設備，其中，所述視訊資料的所述區塊是第一區塊，其中，所述一個或多個處理器被配置為：將縮短的多通路DMVR應用於所述視訊資料的第二區塊的運動向量，並且其中，為了將所述縮短的多通路DMVR應用於所述第二區塊的所述運動向量，所述一個或多個處理器被配置為：確定針對所述視訊資料的所述第二區塊的特定子區域跳過所述多通路DMVR的給定基於子區塊的通路，所述特定子區域包括所述第二區塊的一個或多個子區塊；以及基於確定針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路，來針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路。

條款29B。根據條款28B所述的設備，其中，所述一個或多個處理器被配置為：確定跳過所述給定基於子區塊的通路是基於前一通路的結果的。

條款30B。根據條款16B-25B的任何組合所述的設備，其中，所述區塊是所述視訊資料的第一區塊，所述一個或多個處理器還被配置為：確定不將DMVR應用於所述視訊資料的第二區塊；基於確定不將DMVR應用於所述第二區塊，針對所述第二區塊跳過所述多通路DMVR的所有通路；以及基於所述第二區塊的初始運動向量來對所述第二區塊進行解碼。

條款31B。一種儲存指令的非暫時性電腦可讀儲存媒體，所述指令在被執行時使得一個或多個處理器進行以下操作：向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及基於所述至少一個經細化的運動向量來對所述區塊進行解碼，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

條款33B。一種用於對視訊資料進行寫碼的設備，所述設備包括：用於向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量的部件；以及用於基於所述至少一個經細化的運動向量來對所述區塊進行解碼的單元，其中，所述多通路DMVR包括：第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊；第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

要認識到的是，取決於示例，本文描述的任何技術的某些動作或事件可以以不同的順序執行，可以被添加、合併或完全省略(例如，並非所有描述的動作或事件是對於實施所述技術都是必要的)。此外，在某些示例中，動作或事件可以例如通過多線程處理、中斷處理或多個處理器併發地而不是順序地執行。

在一個或多個示例中，所描述的功能可以用硬體、軟體、韌體或其任何組合來實施。如果用軟體來實施，則所述功能可以作為一個或多個指令或代碼儲存在電腦可讀媒體上或者通過其進行傳送並且由基於硬體的處理單元執行。電腦可讀媒體可以包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之類的有形媒體或者通訊媒體，所述通訊媒體包括例如根據通訊協定來促進電腦程式從一個地方傳送到另一個地方的任何媒體。以這種方式，電腦可讀媒體通常可以對應於(1)非暫時性的有形電腦可讀儲存媒體、或者(2)諸如訊號或載波之類的通訊媒體。資料儲存媒體可以是可以由一個或多個電腦或者一個或多個處理器存取以取得用於實施在本揭露內容中描述的技術的指令、代碼和/或資料結構的任何可用的媒體。電腦程式產品可以包括電腦可讀媒體。

舉例來說而非進行限制，這樣的電腦可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光盤儲存、磁盤儲存或其它磁儲存設備、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程式代碼以及能夠由電腦存取的任何其它媒體。此外，任何連接被適當地稱為電腦可讀媒體。例如，如果使用同軸電纜、光纖光纜、雙絞線、數位用戶線(DSL)或者無線技術(諸如，紅外線、無線電和微波)從網站、伺服器或其它遠程源傳送指令，則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術(諸如，紅外線、無線電和微波)被包括在媒體的定義中。然而，應當理解的是，電腦可讀儲存媒體和資料儲存媒體不包括連接、載波、訊號或其它暫時性媒體，而是替代地針對非暫時性的有形儲存媒體。如本文所使用的，磁盤和光盤包括壓縮光碟(compact disc, CD)、雷射光碟、光碟、數位多功能光碟(digital versatile disc, DVD)、軟碟和藍光光碟，其中，磁碟通常磁性地複製資料，而光碟利用雷射來光學地複製資料。上述各項的組合也應當被包括在電腦可讀媒體的範圍之內。

指令可以由一個或多個處理器來執行，諸如一個或多個DSP、通用微處理器、ASIC、FPGA、或其它等效的整合或離散邏輯電路。因此，如本文所使用的術語“處理器”和“處理電路”可以指代前述結構中的任何一者或者適於實施本文描述的技術的任何其它結構。另外，在一些方面中，本文描述的功能可以在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供，或者被併入經組合的編解碼器中。此外，所述技術可以完全在一個或多個電路或邏輯元件中實施。

本揭露內容的技術可以在多種多樣的設備或裝置中實施，包括無線手機、積體電路(integrated circuit, IC)或一組IC(例如，晶片組)。在本揭露內容中描述了各種組件、模組或單元以強調被配置為執行所揭露的技術的設備的功能性方面，但是不一定需要通過不同的硬體單元來實施。確切而言，如上所述，各種單元可以被組合在編解碼器硬體單元中，或者由可互操作的硬體單元的集合(包括如上所述的一個或多個處理器)結合適當的軟體和/或韌體來提供。

已經描述了各個示例。這些和其它示例在所附的申請專利範圍的範圍內。

100:系統 102:源設備 104:視訊源 106:記憶體 108:輸出介面 110:媒體 112:儲存設備 114:伺服器 116:目標設備 118:顯示設備 120:記憶體 122:輸入介面 200:視訊編碼器 300:視訊解碼器 130:四元樹二元樹結構 132:寫碼樹單元 202:模式選擇單元 222:運動估計單元 224:運動補償單元 226:幀內預測單元 204:殘差生成單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波器單元 218:經解碼的圖片緩衝區 220:熵編碼單元 230:視訊資料記憶體 302:熵解碼單元 304:預測處理單元 316:運動補償單元 317:多通路DMVR單元 318:幀內預測單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波器單元 314:經解碼的圖片緩衝區 320:經寫碼的圖片緩衝區記憶體 500:預測單元 502:預測單元 600:區塊T 602:區塊 604:區塊 606:預測單元 610:共址運動向量 700:模板 702:當前圖片 704:區塊 706:參考圖片 800:時間距離 802:時間距離 804:當前圖片 806:參考圖片 808:參考圖片 810:時間距離 812:時間距離 900:初始運動向量 902:搜索模式 904:運動向量 906:運動向量 1000:區塊 1002:區塊 1100:寫碼單元 1102:子區塊 1200:區塊 1202:第一通路 1204A:子區塊 1204B:子區塊 1208A:子區塊 1208B:子區塊 1208C:子區塊 1208D:子區塊 1208E:子區塊 1208F:子區塊 1208G:子區塊 1208H:子區塊 1300:參考圖片0 1302:參考圖片1 1400:流程 1402:流程 370:流程 372:流程 374:流程 376:流程 378:流程 380:流程 350:流程 352:流程 354:流程 356:流程 358:流程 360:流程

圖1是示出可以執行本揭露內容的技術的示例視訊編碼和解碼系統的方框圖。

圖2A和圖2B是示出示例四元樹二元樹(quadtree binary tree, QTBT)結構以及對應的寫碼樹單元(CTU)的概念圖。

圖3是示出可以執行本揭露內容的技術的示例視訊編碼器的方框圖。

圖4是示出可以執行本揭露內容的技術的示例視訊解碼器的方框圖。

圖5A-5B分別是示出用於合併和AMVP模式的示例空間相鄰MV候選的概念圖。

圖6A-6B分別是示出示例TMVP候選和MV縮放的概念圖。

圖7是示出在初始MV周圍的搜索區域上的示例模板匹配的概念圖。

圖8A-8B分別是示出MVD0和MVD1是基於時間距離成比例的示例以及MVD0和MVD1是在不考慮時間距離的情況下鏡像的示例的概念圖。

圖9是示出搜索範圍[-8，8]中的3×3正方形搜索模式的示例的概念圖。

圖10是示出示例解碼器側運動向量細化的概念圖。

圖11是示出在BDOF中使用的示例擴展CU區域的概念圖。

圖12是示出示例三通路DMVR技術的概念圖。

圖13是示出示例BDOF運動向量細化的概念圖。

圖14是示出本揭露內容的示例多通路DMVR技術的流程圖。

圖15是示出根據本揭露內容的技術的用於對當前區塊進行編碼的示例方法的流程圖。

圖16是示出根據本揭露內容的技術的用於對當前區塊進行解碼的示例方法的流程圖。

1200:區塊

1202:第一通路

1204A:子區塊

1204B:子區塊

1208A:子區塊

1208B:子區塊

1208C:子區塊

1208D:子區塊

1208E:子區塊

1208F:子區塊

1208G:子區塊

1208H:子區塊

Claims (32)

1. 一種對視訊資料進行解碼的方法，所述方法包括： 向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(decoder-side motion vector refinement, DMVR)，以確定至少一個經細化的運動向量；以及 基於所述至少一個經細化的運動向量來對所述區塊進行解碼， 其中，所述多通路DMVR包括： 第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊； 第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及 第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。
2. 如請求項1所述的方法，其中，所述視訊資料的所述區塊的所述至少一個第三通路子區塊是所述視訊資料的所述區塊的所述至少一個第二通路子區塊的子區塊。
3. 如請求項1所述的方法，其中，應用所述第一通路推導用於所述視訊資料的所述區塊的至少一個第一經細化的運動向量，並且其中，所述至少一個第一經細化的運動向量用在所述第二通路中。
4. 如請求項3所述的方法，其中，應用所述第二通路推導用於至少一個相應的第二通路子區塊的至少一個第二經細化的運動向量，並且其中，所述至少一個第二經細化的運動向量用在所述第三通路中。
5. 如請求項4所述的方法，其中，應用所述第三通路推導用於至少一個相應的第三通路子區塊的至少一個第三經細化的運動向量，並且其中，所述至少一個經細化的運動向量被確定為所述至少一個第三經細化的運動向量。
6. 如請求項1所述的方法，其中，所述多通路DMVR的至少一個通路包括應用雙向光流(bi-directional optical flow, BDOF)或應用雙邊匹配。
7. 如請求項6所述的方法，其中，所述第一通路包括應用雙邊匹配，所述第二通路包括應用雙邊匹配，並且所述第三通路包括應用BDOF。
8. 如請求項1所述的方法，其中，所述至少一個第二通路子區塊具有16個亮度樣本的預先確定的最大寬度和16個亮度樣本的預先確定的最大高度。
9. 如請求項1所述的方法，其中，所述至少一個第三通路子區塊具有8個亮度樣本的預先確定的最大寬度和8個亮度樣本的預先確定的最大高度。
10. 如請求項1所述的方法，其中，所述第一通路或所述第二通路中的至少一者的差量運動值範圍在水平方向上為[-8，8]以及在垂直方向上為[-8，8]，並且所述第三通路的差量運動值範圍在所述水平方向上為[-2，2]以及在所述垂直方向上為[-2，2]。
11. 如請求項1所述的方法，其中，所述視訊資料的所述區塊是第一區塊，所述方法還包括：將縮短的多通路DMVR應用於所述視訊資料的第二區塊的運動向量，包括： 確定針對所述第二區塊跳過所述多通路DMVR的給定通路；以及 基於確定針對所述第二區塊跳過所述多通路DMVR的所述給定通路，來針對所述第二區塊跳過所述多通路DMVR的所述給定通路。
12. 如請求項11所述的方法，其中，確定跳過所述給定通路是基於前一通路的結果的。
13. 如請求項1所述的方法，其中，所述視訊資料的所述區塊是第一區塊，所述方法還包括：將縮短的多通路DMVR應用於針對所述視訊資料的第二區塊的運動向量，包括： 確定針對所述視訊資料的所述第二區塊的特定子區域跳過所述多通路DMVR的給定基於子區塊的通路，所述特定子區域包括所述第二區塊的一個或多個子區塊；以及 基於確定針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路，來針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路。
14. 如請求項13所述的方法，其中，確定跳過所述給定基於子區塊的通路是基於前一通路的結果的。
15. 如請求項1所述的方法，其中，所述區塊是所述視訊資料的第一區塊，所述方法還包括： 確定不將DMVR應用於所述視訊資料的第二區塊； 基於確定不將DMVR應用於所述第二區塊，針對所述第二區塊跳過所述多通路DMVR的所有通路；以及 基於針對所述第二區塊的初始運動向量來對所述第二區塊進行解碼。
16. 一種用於對視訊資料進行解碼的設備，所述設備包括： 記憶體，其被配置為儲存所述視訊資料；以及 一個或多個處理器，其在電路中實施並且通訊地耦合到所述記憶體，所述一個或多個處理器被配置為進行以下操作： 向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及 基於所述至少一個經細化的運動向量來對所述區塊進行解碼， 其中，所述多通路DMVR包括： 第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊； 第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及 第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。
17. 如請求項16所述的設備，其中，所述視訊資料的所述區塊的所述至少一個第三通路子區塊是所述視訊資料的所述區塊的所述至少一個第二通路子區塊的子區塊。
18. 如請求項16所述的設備，其中，所述一個或多個處理器被配置為：應用所述第一通路以推導用於所述視訊資料的所述區塊的至少一個第一經細化的運動向量，並且在所述第二通路中使用所述至少一個第一經細化的運動向量。
19. 如請求項18所述的設備，其中，所述一個或多個處理器被配置為：應用所述第二通路以推導用於至少一個相應的第二通路子區塊的至少一個第二經細化的運動向量，並且在所述第三通路中使用所述至少一個第二經細化的運動向量。
20. 如請求項19所述的設備，其中，所述一個或多個處理器被配置為：應用所述第三通路以推導用於至少一個相應的第三通路子區塊的至少一個第三經細化的運動向量，並且將所述至少一個經細化的運動向量被確定為所述至少一個第三經細化的運動向量。
21. 如請求項16所述的設備，其中，所述多通路DMVR的至少一個通路包括應用雙向光流(BDOF)，或者所述多通路DMVR的至少一個通路包括應用雙邊匹配。
22. 如請求項21所述的設備，其中，所述第一通路包括應用雙邊匹配，所述第二通路包括應用雙邊匹配，並且所述第三通路包括應用BDOF。
23. 如請求項16所述的設備，其中，所述至少一個第二通路子區塊具有16個亮度樣本的預先確定的最大寬度和16個亮度樣本的預先確定的最大高度。
24. 如請求項16所述的設備，其中，所述至少一個第三通路子區塊具有8個亮度樣本的預先確定的最大寬度和8個亮度樣本的預先確定的最大高度。
25. 如請求項16所述的設備，其中，針對所述第一通路或所述第二通路中的至少一者的差量運動值範圍在水平方向上為[-8，8]以及在垂直方向上為[-8，8]，並且針對所述第三通路的差量運動值範圍在所述水平方向上為[-2，2]以及在所述垂直方向上為[-2，2]。
26. 如請求項16所述的設備，其中，所述視訊資料的所述區塊是第一區塊，其中，所述一個或多個處理器被配置為：將縮短的多通路DMVR應用於針對所述視訊資料的第二區塊的運動向量，並且其中，為了將所述縮短的多通路DMVR應用於所述第二區塊的所述運動向量，所述一個或多個處理器被配置為進行以下操作： 確定針對所述第二區塊跳過所述多通路DMVR的給定通路；以及 基於確定針對所述第二區塊跳過所述多通路DMVR的所述給定通路來針對所述第二區塊跳過所述多通路DMVR的所述給定通路。
27. 如請求項26所述的設備，其中，所述一個或多個處理器被配置為：確定跳過所述給定通路是基於前一通路的結果的。
28. 如請求項16所述的設備，其中，所述視訊資料的所述區塊是第一區塊，其中，所述一個或多個處理器被配置為：將縮短的多通路DMVR應用於所述視訊資料的第二區塊的運動向量，並且其中，為了將所述縮短的多通路DMVR應用於所述第二區塊的所述運動向量，所述一個或多個處理器被配置為進行以下操作： 確定針對所述視訊資料的所述第二區塊的特定子區域跳過所述多通路DMVR的給定基於子區塊的通路，所述特定子區域包括所述第二區塊的一個或多個子區塊；以及 基於確定針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路，來針對所述第二區塊的所述特定子區域跳過所述多通路DMVR的所述給定基於子區塊的通路。
29. 如請求項28所述的設備，其中，所述一個或多個處理器被配置為：確定跳過所述給定基於子區塊的通路是基於前一通路的結果的。
30. 如請求項16所述的設備，其中，所述區塊是所述視訊資料的第一區塊，所述一個或多個處理器還被配置為進行以下操作： 確定不將DMVR應用於所述視訊資料的第二區塊； 基於確定不將DMVR應用於所述第二區塊，針對所述第二區塊跳過所述多通路DMVR的所有通路；以及 基於針對所述第二區塊的初始運動向量來對所述第二區塊進行解碼。
31. 一種儲存指令的非暫時性電腦可讀儲存媒體，所述指令在被執行時使得一個或多個處理器進行以下操作： 向視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量；以及 基於所述至少一個經細化的運動向量來對所述區塊進行解碼， 其中，所述多通路DMVR包括： 第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊； 第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及 第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。
32. 一種用於對視訊資料進行寫碼的設備，所述設備包括： 用於向所述視訊資料的區塊的運動向量應用多通路解碼器側運動向量細化(DMVR)，以確定至少一個經細化的運動向量的部件；以及 用於基於所述至少一個經細化的運動向量來對所述區塊進行解碼的部件， 其中，所述多通路DMVR包括： 第一通路，所述第一通路是基於區塊的並且應用於所述視訊資料的所述區塊； 第二通路，所述第二通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第二通路子區塊，其中，第二通路子區塊寬度等於或小於所述視訊資料的所述區塊的寬度，並且第二通路子區塊高度等於或小於所述視訊資料的所述區塊的高度；以及 第三通路，所述第三通路是基於子區塊的並且應用於所述視訊資料的所述區塊的至少一個第三通路子區塊，其中，第三通路子區塊寬度等於或小於所述第二通路子區塊寬度，並且第三通路子區塊高度等於或小於所述第二通路子區塊高度。

Images