TW202101996A - 用於視訊寫碼之以梯度為基礎之預測精細化 - Google Patents

Abstract

本發明描述以梯度為基礎之預測精細化。一視訊寫碼器(例如，視訊編碼器或視訊解碼器)判定用於框間預測一當前區塊之一或多個預測區塊(例如，基於該當前區塊之一或多個運動向量)。在以梯度為基礎之預測精細化中，該視訊寫碼器基於各種因素來修改該預測區塊之一或多個樣本，該等因素諸如在一水平方向上之位移、水平梯度、在豎直方向上之一位移及一豎直梯度。本發明提供以梯度為基礎之預測精細化，其中該位移(例如，該水平或豎直位移中之至少一者)之一精度等級對於不同預測模式(例如，包括一仿射模式及一雙向光流(BDOF)模式)為統一的(例如，相同的)。

Description

用於視訊寫碼之以梯度為基礎之預測精細化

本發明係關於視訊編碼及視訊解碼。

數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265/高效視訊寫碼(HEVC)定義之標準及此等標準之擴展中所描述的彼等技術。視訊器件可藉由實施此類視訊寫碼技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除為視訊序列所固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹型單元(CTU)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。

一般而言，本發明描述以梯度為基礎之預測精細化技術。一視訊寫碼器(例如，視訊編碼器或視訊解碼器)判定用於框間預測一當前區塊之一或多個預測區塊(例如，基於該當前區塊之一或多個運動向量)。在以梯度為基礎之預測精細化中，該視訊寫碼器基於各種因素來修改該預測區塊之一或多個樣本，該等因素諸如在一水平方向上之位移、一水平梯度、在一豎直方向上之一位移及一豎直梯度。

舉例而言，一運動向量識別該預測區塊。該水平方向上之該位移(亦稱作水平位移)係指該運動向量之x座標之一變化(例如，δ)，且該豎直方向上之該位移(亦稱作豎直位移)係指y座標之一變化(例如，δ)。該水平梯度係指將一濾波器應用於該預測區塊中之一第一樣本集合之一結果，且該豎直梯度係指將該濾波器應用於該預測區塊中之一第二樣本集合之一結果。

本發明中所描述之實例技術提供以梯度為基礎之預測精細化，其中該位移(例如，該水平或豎直位移中之至少一者)之一精度等級對於不同預測模式為統一的(例如，相同的)。舉例而言，對於一第一預測模式(例如，仿射模式)，該等運動向量可處於一第一精度等級，且對於一第二預測模式(例如，雙向光流(BDOF))，該等運動向量可處於一第二精度等級。因此，用於仿射模式之該等運動向量及用於BDOF之運動向量的該等豎直及水平位移可為不同的。在本發明中，該視訊寫碼器可經組態以將該等運動向量之該等豎直及水平位移捨位(例如，向上捨位或向下捨位)，使得無論預測模式為何，該等位移之精度等級都為相同的(例如，仿射模式及BDOF之豎直及水平位移具有相同精度等級)。

藉由將位移之精度等級捨位，該等實例技術可改良該視訊寫碼器之總體操作。舉例而言，以梯度為基礎之預測精細化涉及乘法及移位運算。若該等位移之精度等級對於不同模式為不同的，則可能需要不同邏輯電路以支援該等不同精度等級(例如，經組態用於一個精度等級之邏輯電路可能不適用於其他精度等級)。由於該等位移之精度等級對於該等不同模式為相同的，因此可將同一邏輯電路重複用於該等區塊，從而得到較小總邏輯電路且由於不需為未使用的邏輯電路供電而使得功耗減小。

在一些實例中，判定該位移之該等技術可基於該視訊解碼器處已獲得的資訊。舉例而言，該視訊解碼器判定該水平或豎直位移之方式可基於可供該視訊解碼器使用以根據該框間預測模式對該當前區塊進行框間預測之資訊。此外，可能存在對於某些區塊類型(例如，基於大小)禁用的某些框間預測模式。在一些實例中，對於某些區塊類型禁用的此等框間預測模式可針對此等區塊類型啟用，但可使用本發明中所描述之實例技術來修改用於此類區塊之預測區塊。

在一個實例中，本發明描述一種解碼視訊資料之方法，該方法包含：判定用於框間預測一當前區塊之一預測區塊；判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移；將該等水平及豎直位移捨位至對於包括一仿射模式及一BDOF模式之不同框間預測模式為相同的一精度等級；基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移；基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊；以及基於該經修改預測區塊來重建構該當前區塊。

在一個實例中，本發明描述一種編碼視訊資料之方法，該方法包含：判定用於框間預測一當前區塊之一預測區塊；判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移；將該等水平及豎直位移捨位至對於包括一仿射模式及一BDOF模式之不同框間預測模式為相同的一精度等級；基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移；基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊；判定指示該當前區塊與該經修改預測區塊之間的一差值的殘餘值；以及傳信指示該等殘餘值之資訊。

在一個實例中，本發明描述一種用於寫碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存一預測區塊之一或多個樣本；及處理電路。該處理電路經組態以：判定用於框間預測一當前區塊之該預測區塊；判定用於該預測區塊之該一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移；將該等水平及豎直位移捨位至對於包括一仿射模式及一BDOF模式之不同框間預測模式為相同的一精度等級；基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移；基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊；以及基於該經修改預測區塊來寫碼該當前區塊。

在一個實例中，本發明描述一種電腦可讀儲存媒體，其上儲存指令，該等指令在經執行時使得一或多個處理器：判定用於框間預測一當前區塊之一預測區塊；判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移；將該等水平及豎直位移捨位至對於包括一仿射模式及一BDOF模式之不同框間預測模式為相同的一精度等級；基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移；基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊；以及基於該經修改預測區塊來寫碼該當前區塊。

在一個實例中，本發明描述一種用於寫碼視訊資料之器件，該器件包含：用於判定用於框間預測一當前區塊之一預測區塊的構件；用於判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移的構件；用於將該等水平及豎直位移捨位至對於包括一仿射模式及一BDOF模式之不同框間預測模式為相同的一精度等級的構件；用於基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移的構件；用於基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊的構件；以及用於基於該經修改預測區塊來寫碼該當前區塊的構件。

一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優點將自描述、圖式及申請專利範圍而顯而易見。

本申請案主張2019年5月17日申請之美國臨時申請案第62/849,352號之權益，該申請案之全部內容在此以引用之方式併入。

本發明係關於以梯度為基礎之預測精細化。在以梯度為基礎之預測精細化中，視訊寫碼器(例如，視訊編碼器或視訊解碼器)基於作為框間預測之部分的運動向量判定用於當前區塊之預測區塊，且修改(例如，精細化)預測區塊之樣本以產生經修改預測樣本(例如，經精細化預測樣本)。視訊編碼器傳信指示經修改預測樣本與當前區塊之間的差值的殘餘值。視訊解碼器執行與視訊編碼器所執行以修改預測區塊之樣本以產生經修改預測樣本的操作相同的操作。視訊解碼器將殘餘值增加至經修改預測樣本以重建構當前區塊。

修改預測區塊之樣本的一種實例方式為針對視訊寫碼器判定一或多個精細化偏移並將預測區塊之樣本添加至精細化偏移。產生精細化偏移的一種實例方式係基於梯度及運動向量位移。可根據應用於預測區塊之樣本的梯度濾波器來判定梯度。

運動向量位移之實例包括運動向量之水平位移及運動向量之豎直位移。水平位移可為添加至運動向量之x座標或自運動向量之x座標減去的值，且豎直位移可為添加至運動向量之y座標或自運動向量之y座標減去的值。舉例而言，水平位移可被稱為Δv_x ，其中v_x 為運動向量之x座標，且豎直位移可被稱為Δv_y ，其中v_y 為運動向量之y座標。

當前區塊之運動向量的精度等級對於不同框間預測模式可為不同的。舉例而言，運動向量之座標(例如，x座標或y座標)包括整數部分且可包括十進制部分。十進制部分被稱為運動向量之子像素部分，此係因為運動向量之整數部分識別包括預測區塊之參考圖像中之實際像素，且運動向量之子像素部分調整運動向量以識別參考圖像中之像素之間的位置。

運動向量之精度等級係基於運動向量之子像素部分且指示運動向量自參考圖像中之實際像素的移動粒度。作為一實例，若x座標之子像素部分為0.5，則運動向量為參考圖像中之兩個水平像素之間的一半。若x座標之子像素部分為0.25，則運動向量為兩個水平像素之間的路徑的四分之一，等等。在此等實例中，運動向量之精度等級可等於子像素部分(例如，精度等級為0.5、0.25等等)。

在一些實例中，水平及豎直位移之精度等級可基於運動向量之精度等級或產生運動向量之方式。舉例而言，在一些實例中，諸如在呈框間預測模式形式之合併模式中，運動向量之x及y座標的子像素部分可分別為水平及豎直位移。作為另一實例，諸如對於呈框間預測形式之仿射模式，運動向量可基於拐角點運動向量，且可基於拐角點運動向量來判定水平及豎直位移。

水平及豎直位移之精度等級對於不同框間預測模式可為不同的。舉例而言，相比於其他框間預測模式(例如，精度等級對於第二預測模式為1/16)，一些框間預測模式的水平及豎直位移可能更精確(例如，精度等級對於第一預測模式為1/128)。

在實施中，視訊寫碼器可能需要包括不同邏輯電路以處置不同精度等級。執行以梯度為基礎之預測精細化包括乘法、移位運算、加法及其他算術運算。經組態用於水平或豎直位移之一個精度等級的邏輯電路可能不能夠處理更高精度等級之水平及豎直位移。因此，一些視訊寫碼器包括用於執行其中水平及豎直位移具有第一精度等級的一種框間預測模式之以梯度為基礎之預測精細化的一個邏輯電路集合，以及用於執行其中水平及豎直位移具有第二精度等級的另一框間預測模式之以梯度為基礎之預測精細化的不同邏輯電路集合。

然而，具有執行不同框間預測模式之以梯度為基礎之預測精細化的不同邏輯電路產生增加視訊寫碼器之大小的額外邏輯電路，並且利用額外的功率。舉例而言，若當前區塊在第一模式下經框間預測，則使用用於以梯度為基礎之預測精細化的第一邏輯電路集合。然而，用於另一框間預測模式之以梯度為基礎之預測精細化的第二邏輯電路集合仍接收功率。

本發明描述用於將水平及豎直位移之精度等級捨位為對於不同框間預測模式為相同精度等級之技術之實例。舉例而言，視訊寫碼器可將用於在第一框間預測模式下經框間預測的第一區塊之具有第一精度等級的第一位移(例如，第一水平或第一豎直位移)捨位為設定精度等級，且可將用於在第二框間預測模式下經框間預測的第二區塊之具有第二精度等級的第二位移(例如，第二水平或第二豎直位移)捨位為相同設定精度等級。換言之，視訊寫碼器可將水平及豎直位移中之至少一者捨位為對於不同框間預測模式為相同的精度等級。作為一個實例，第一框間預測模式可為仿射模式，且第二框間預測模式可為雙向光流(BDOF)。

以此方式，同一邏輯電路可用於不同框間預測模式之以梯度為基礎之預測精細化，而非具有用於不同框間預測模式的不同邏輯電路。舉例而言，視訊寫碼器之邏輯電路可經組態以執行用於具有設定精度等級的水平及豎直位移之以梯度為基礎之預測精細化。視訊寫碼器可對水平及豎直位移進行捨位，使得經捨位的水平及豎直位移之精度等級等於設定精度等級，從而允許同一邏輯電路執行不同框間預測模式之以梯度為基礎之預測精細化。

圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統100的方塊圖。本發明之技術大體上係針對寫碼(編碼及/或解碼)視訊資料。一般而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經編碼視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如傳信資料。

如圖1中所示，在此實例中，系統100包括源器件102，其提供待由目的地器件116解碼及顯示之經編碼視訊資料。特定言之，源器件102經由電腦可讀媒體110將視訊資料提供至目的地器件116。源器件102及目的地器件116可包括廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如智慧型電話)、電視、相機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件、廣播接收器器件、機上盒或其類似者。在一些情況下，源器件102及目的地器件116可經裝備用於無線通信，且由此可被稱為無線通信器件。

在圖1之實例中，源器件102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地器件116包括輸入介面122、視訊解碼器300、記憶體120及顯示器件118。根據本發明，源器件102之視訊編碼器200及目的地器件116之視訊解碼器300可經組態以應用以梯度為基礎之預測精細化技術。由此，源器件102表示視訊編碼器件之一實例，而目的地器件116表示視訊解碼器件之一實例。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件102可自外部視訊源(諸如，外部相機)接收視訊資料。同樣地，目的地器件116可與外部顯示器件介接，而非包括整合式顯示器件。

如圖1中所示之系統100僅為一個實例。一般而言，任何數位視訊編碼及/或解碼器件都可執行以梯度為基礎之預測精細化技術。源器件102及目的地器件116僅為其中源器件102產生經寫碼視訊資料以供傳輸至目的地器件116的此類寫碼器件之實例。本發明將「寫碼」器件稱為對資料執行寫碼(編碼及/或解碼)之器件。因此，視訊編碼器200及視訊解碼器300表示寫碼器件之實例，特定言之分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，器件102、116可以實質上對稱之方式操作，使得器件102、116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援視訊器件102、116之間的單向或雙向視訊傳輸，以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。

一般而言，視訊源104表示視訊資料源(亦即，原始未經編碼之視訊資料)且將視訊資料之依序圖像(亦稱作「圖框」)提供至視訊編碼器200，該視訊編碼器200編碼圖像之資料。源器件102之視訊源104可包括視訊捕捉器件，諸如，視訊相機、含有先前捕捉之原始視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代方案，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200對所捕捉、所預捕捉或電腦產生之視訊資料進行編碼。視訊編碼器200可將圖像之接收次序(有時稱作「顯示次序」)重新排列成寫碼次序以供進行寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源器件102接著可經由輸出介面108將經編碼視訊資料輸出至電腦可讀媒體110上，以供由例如目的地器件116之輸入介面122接收及/或擷取。

源器件102之記憶體106及目的地器件116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或可替代地，記憶體106、120可儲存可分別由(例如)視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括功能上類似或同等目的之內部記憶體。此外，記憶體106、120可儲存例如自視訊編碼器200輸出及輸入至視訊解碼器300之經編碼視訊資料。在一些實例中，記憶體106、120之部分可經分配作為一或多個視訊緩衝器，例如以儲存原始、經解碼及/或經編碼的視訊資料。

電腦可讀媒體110可表示能夠將經編碼視訊資料自源器件102傳送至目的地器件116的任何類型的媒體或器件。在一個實例中，電腦可讀媒體110表示允許源器件102例如經由射頻網路或基於電腦之網路即時地將經編碼視訊資料直接傳輸至目的地器件116的通信媒體。根據諸如無線通信協定之通信標準，輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可調變所接收的傳輸信號。通信媒體可包括任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路(Internet)之全球網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源器件102至目的地器件116之通信的設備。

在一些實例中，源器件102可將經編碼資料自輸出介面108輸出至儲存器件112。類似地，目的地器件116可經由輸入介面122自儲存器件112存取經編碼資料。儲存器件112可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或任何其他合適的用於儲存經編碼視訊資料之數位儲存媒體。

在一些實例中，源器件102可將經編碼視訊資料輸出至檔案伺服器114或可儲存源器件102所產生之經編碼視訊的另一中間儲存器件。目的地器件116可經由串流傳輸或下載而自檔案伺服器114存取所儲存之視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件116的任何類型之伺服器器件。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容傳送網路器件或網路附加儲存(NAS)器件。目的地器件116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此連接可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或適合於存取儲存於檔案伺服器114上之經編碼視訊資料的兩者之組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合操作。

輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如，乙太網卡)、根據各種IEEE 802.11標準中之任一者操作的無線通信組件或其他實體組件。在輸出介面108及輸入介面122包括無線組件之實例中，輸出介面108及輸入介面122可經組態以根據諸如4G、4G-LTE (長期演進)、進階LTE、5G等蜂巢式通信標準來傳送資料，諸如經編碼視訊資料。在輸出介面108包括無線傳輸器的一些實例中，輸出介面108及輸入介面122可經組態以根據諸如IEEE 802.11規格、IEEE 802.15規格(例如ZigBee™)、Bluetooth™標準等其他無線標準來傳送資料，諸如經編碼視訊資料。在一些實例中，源器件102及/或目的地器件116可包括各別晶片上系統(SoC)器件。舉例而言，源器件102可包括SoC器件以執行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地器件116可包括SoC器件以執行歸於視訊解碼器300及/或輸入介面122之功能性。

本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。

目的地器件116之輸入介面122自電腦可讀媒體110 (例如儲存器件112、檔案伺服器114或其類似者)接收經編碼視訊位元串流。經編碼視訊位元串流電腦可讀媒體110可包括由視訊編碼器200定義的亦由視訊解碼器300使用之傳信資訊，諸如具有描述視訊區塊或其他經寫碼單元(例如圖塊、圖像、圖像群組、序列或其類似者)之特性及/或處理之值的語法元素。顯示器件118向使用者顯示經解碼視訊資料之經解碼圖像。顯示器件118可表示各種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。

儘管圖1中未示出，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括合適的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。

視訊編碼器200及視訊解碼器300各自可經實施為多種合適編碼器及/或解碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存在合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行該等指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)的部分。包括視訊編碼器200及/或視訊解碼器300之器件可包括積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。

視訊編碼器200及視訊解碼器300可根據視訊寫碼標準來操作，該視訊寫碼標準諸如ITU-T H.265，亦稱為高效率視訊寫碼(HEVC)或其擴展，諸如多視圖及/或可調式視訊寫碼擴展。替代地，視訊編碼器200及視訊解碼器300可根據其他專有或行業標準來操作，該等標準諸如ITU-T H.266，亦稱作多功能視訊寫碼(VVC)。VVC標準之最新草案描述於Bross等人之「多功能視訊寫碼(Versatile Video Coding) (草案4)」, ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET), 第13次會議：Marrakech, MA, 2019年1月9至18日, JVET-M1001-v5 (下文簡稱「VVC草案4」)中。VVC標準之更新近草案描述於Bross等人之「多功能視訊寫碼(草案8)」, ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET), 第17次會議：Brussels, BE, 2020年1月7至17日, JVET-Q2001-vD (下文簡稱「VVC草案8」)中。然而，本發明之技術不限於任何特定寫碼標準。

一般而言，視訊編碼器200及視訊解碼器300可執行圖像之基於區塊寫碼。術語「區塊」一般係指包括待處理(例如編碼、解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括亮度及/或色度資料樣本之二維矩陣。一般而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼亮度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中該等色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式資料轉換成YUV表示，且視訊解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元及後處理單元(圖中未示)可執行此等轉換。

本發明一般可提及對圖像進行寫碼(例如編碼及解碼)以包括對圖像之資料進行編碼或解碼的程序。類似地，本發明可提及對圖像之區塊進行寫碼以包括對區塊之資料進行編碼或解碼的程序，例如預測及/或殘餘寫碼。經編碼視訊位元串流一般包括表示寫碼決策(例如寫碼模式)及圖像至區塊之分割的語法元素的一系列值。因此，對寫碼圖像或區塊之提及一般應理解為寫碼形成該圖像或區塊之語法元素的值。

HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四分樹結構將寫碼樹型單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相同的非重疊正方形，且四分樹之每一節點具有零個或四個子節點。不具有子節點之節點可被稱為「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四分樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘值。經框內預測之CU包括框內預測資訊，諸如框內模式指示。

作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據VVC操作。根據VVC，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹型單元(CTU)。視訊編碼器200可根據樹型結構來分割CTU，諸如四分樹-二元樹(QTBT)結構或多類型樹(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四分樹分割進行分割的第一層級，及根據二元樹分割進行分割的第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。

在MTT分割結構中，區塊可使用四分樹(QT)分割、二元樹(BT)分割及一或多種類型之三元樹(TT)分割來分割。三元樹分割為區塊分裂成三個子區塊的分割。在一些實例中，三元樹分割在不經由中心劃分原始區塊的情況下將區塊劃分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。

在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT或MTT結構以表示亮度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或更多個QTBT或MTT結構，諸如用於亮度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。

視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。

本發明可互換地使用「N×N」及「N乘N」來指代區塊(諸如CU或其他視訊區塊)就豎直及水平尺寸而言之樣本尺寸，例如16×16樣本或16乘16樣本。一般而言，16×16 CU將在豎直方向上具有16個樣本(y = 16)且在水平方向上具有16個樣本(x = 16)。類似地，N×N CU通常在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU不一定在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包括N×M個樣本，其中M未必等於N。

視訊編碼器200對CU之表示預測及/或殘餘資訊及其他資訊的視訊資料進行編碼。預測資訊指示將對CU進行預測以形成CU之預測區塊的方式。殘餘資訊一般表示編碼前CU與預測區塊之樣本之間的逐樣本差。

為了預測CU，視訊編碼器200一般可經由框間預測或框內預測形成CU之預測區塊。框間預測一般係指自先前經寫碼圖像之資料預測CU，而框內預測一般係指自同一圖像之先前經寫碼資料預測CU。為了執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200一般可執行運動搜尋，以識別例如就CU與參考區塊之間的差而言緊密匹配CU之參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。

VVC之一些實例亦提供仿射運動補償模式，其可被視為框間預測模式。在仿射運動補償模式中，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或更多個運動向量。

為了執行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。VVC之一些實例提供六十七種框內預測模式，包括各種定向模式以及平面模式及DC模式。一般而言，視訊編碼器200選擇描述當前區塊(例如，CU之區塊)之相鄰樣本的框內預測模式，其中自該等相鄰樣本預測當前區塊之樣本。此類樣本一般可與當前區塊在同一圖像中，在當前區塊之上方、左上方或左側，假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU。

視訊編碼器200對表示當前區塊之預測模式的資料進行編碼。舉例而言，針對框間預測模式，視訊編碼器200可對表示使用多種可用框間預測模式中之哪一者以及對應模式之運動資訊的資料進行編碼。例如針對單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可使用類似模式來編碼仿射運動補償模式之運動向量。

在區塊的預測(諸如框內預測或框間預測)之後，視訊編碼器200可計算區塊之殘餘值。殘餘值(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式所形成之預測區塊之間的逐樣本差。視訊編碼器200可將一或多個變換應用於殘餘區塊，以在變換域而非樣本域中產生經變換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用二級變換，諸如模式依賴不可分離二級變換(MDNSST)、信號依賴變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個變換之後產生變換係數。

如上文所提及，在任何變換以產生變換係數後，視訊編碼器200可執行變換係數之量化。量化通常係指對變換係數進行量化以可能地減少用以表示係數的資料之量，從而提供進一步壓縮的程序。藉由執行量化程序，視訊編碼器200可減少與係數中之一些或所有相關聯的位元深度。舉例而言，視訊編碼器200可在量化期間將n 位元值向下捨位至m 位元值，其中n 大於m 。在一些實例中，為了執行量化，視訊編碼器200可執行待量化值之按位元右移位。

在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於向量前部，且將較低能量(且因此較高頻率)係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串行化向量，且隨後對向量之經量化變換係數進行熵編碼。在其他實例中，視訊編碼器200可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器200可例如根據上下文自適應二進位算術寫碼(CABAC)來對一維向量進行熵編碼。視訊編碼器200亦可對描述與經編碼視訊資料相關聯的後設資料之語法元素之值進行熵編碼，以供由視訊解碼器300用於解碼視訊資料。

為了執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。該上下文可係關於(例如)符號之相鄰值是否為零值。機率判定可基於指派給符號之上下文。

視訊編碼器200可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中向視訊解碼器300產生語法資料(諸如基於區塊之語法資料、基於圖像之語法資料以及基於序列之語法資料)。視訊解碼器300可類似地解碼此類語法資料以判定解碼對應視訊資料之方式。

以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如，描述圖像至區塊(例如CU)之分割的語法元素及用於區塊之預測及/或殘餘資訊)之位元串流。最後，視訊解碼器300可接收位元串流並解碼經編碼視訊資料。

一般而言，視訊解碼器300執行與視訊編碼器200所執行之程序對等的程序，以解碼位元串流之經編碼視訊資料。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序實質上類似但對等的方式來解碼位元串流之語法元素的值。語法元素可定義圖像至CTU之分割資訊及每一CTU根據對應分區結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如CU)之預測及殘餘資訊。

殘餘資訊可例如由經量化變換係數表示。視訊解碼器300可反量化及反變換區塊之經量化變換係數，以再生區塊之殘餘區塊。視訊解碼器300使用所傳信的預測模式(框內或框間預測)及相關預測資訊(例如框間預測之運動資訊)來形成區塊之預測區塊。視訊解碼器300接著可(在逐樣本基礎上)使預測區塊與殘餘區塊組合以再生原始區塊。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺假影。

本發明通常可提及「傳信」某些資訊，諸如語法元素。術語「傳信」通常可指用於解碼經編碼視訊資料之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中傳信語法元素的值。一般而言，傳信係指在位元串流中產生值。如上文所提及，源器件102可實質上即時地將位元串流傳送至目的地器件116，或不即時傳送，諸如可在將語法元素儲存至儲存器件112以供目的地器件116稍後擷取時發生。

根據本發明之技術，視訊編碼器200及視訊解碼器300可經組態以執行以梯度為基礎之預測精細化。如上文所描述，作為框間預測當前區塊之部分，視訊編碼器200及視訊解碼器300可(例如基於一或多個運動向量)判定當前區塊之一或多個預測區塊。在以梯度為基礎之預測精細化中，視訊編碼器200及視訊解碼器300修改預測區塊之一或多個樣本(例如，包括所有樣本)。

舉例而言，在以梯度為基礎之預測精細化中，位置

處的框間預測樣本(例如，預測區塊之樣本)藉由偏移

而精細化，該偏移由位置

處的水平方向上之位移、水平梯度、豎直方向上之位移及豎直梯度推導出。在一個實例中，預測精細化經描述為：

，其中

為水平梯度，

為豎直梯度，

為水平方向上之位移，且

為豎直方向上之位移。

影像之梯度為影像中強度或色彩之定向變化的量測值。舉例而言，梯度值係基於在具有基於相鄰樣本之最大色彩或強度變化之方向上的色彩或強度之變化率。作為一個實例，變化率相對較高情況下之梯度值大於變化率相對較低情況下之梯度值。

此外，當前區塊之預測區塊可位於與包括當前區塊之當前圖像不同的參考圖像中。視訊編碼器200及視訊解碼器300可基於參考圖像中之樣本值來判定偏移(例如，

) (例如，基於參考圖像中之樣本值來判定梯度)。在一些實例中，用於判定梯度之值可為預測區塊自身內的值或基於預測區塊之值而產生的值(例如，由預測區塊內的值產生的經內插、經捨位等的值)。又，在一些實例中，用於判定梯度之值可在預測區塊外部且在參考圖像內，或自預測區塊外部且在參考圖像內的樣本產生(例如，內插、捨位等)。

然而，在一些實例中，視訊編碼器200及視訊解碼器300可基於當前圖像中之樣本值來判定偏移。在一些實例中，諸如在區塊內複製中，當前圖像及參考圖像為同一圖像。

位移(例如，豎直及/或水平位移)可基於框間預測模式判定。在一些實例中，位移係基於運動參數判定。如更詳細地所描述，對於解碼器側運動精細化模式，位移可基於參考圖像中之樣本。對於其他框間預測模式，位移可能不基於參考圖像中之樣本，但實例技術不限於此，且參考圖像中之樣本可用於判定位移。可能存在判定豎直及/或水平位移之多種方式，且該等技術不限於判定豎直及/或水平位移之特定方式。

下文描述執行梯度計算之實例方式。舉例而言，對於梯度濾波器，在一個實例中，Sobel濾波器可用於梯度計算。梯度計算如下：

及

。

在一些實例中，應用[1, 0, -1]濾波器。梯度可計算如下：

及

。在一些實例中，可應用某一其他梯度濾波器(例如，Canny濾波器)。本發明中所描述之實例技術不限於任何特定梯度濾波器。

對於梯度正規化，所計算的梯度可在用於精細化偏移推導之前(例如，在計算ΔI之前)經正規化，或正規化可在精細化偏移推導之後進行。在正規化期間可應用捨位程序。舉例而言，若應用[1, 0, -1]濾波器，則藉由將1添加至輸入值且隨後右移1來執行正規化。若輸入縮放2至N的冪倍，則藉由添加1＜＜N且隨後右移(N+1)來執行正規化。

對於邊界處之梯度，可藉由在每一邊界處將預測區塊擴展S/2來計算預測區塊之邊界處之梯度，其中S為用於梯度計算之濾波步長。在一個實例中，經擴展預測樣本係藉由使用與用於框間預測之預測區塊相同的運動向量(運動補償)而產生。在一些實例中，經擴展預測樣本係藉由使用相同運動向量但在運動補償中將更短濾波器用於內插程序而產生。在一些實例中，經擴展預測樣本係藉由將經捨位的運動向量用於整數運動補償而產生。在一些實例中，經擴展預測樣本係藉由填補產生，其中該填補藉由複製邊界樣本執行。在一些實例中，若預測區塊係藉由以子區塊為基礎之運動補償產生，則經擴展預測樣本係藉由使用最接近的子區塊的運動向量產生。在一些實例中，若預測區塊係藉由以子區塊為基礎之運動補償產生，則經擴展預測樣本係藉由使用一個代表性運動向量產生。在一個實例中，代表性運動向量可為預測區塊之中心處的運動向量。在一個實例中，代表性運動向量可藉由求邊界子區塊之運動向量的平均值而推導出。

可應用以子區塊為基礎之梯度推導以促進硬體中之並行處理或管線友好設計。子區塊之寬度及高度(表示為sbW及sbH)可判定如下：sbW = min(blkW,SB_WIDTH )及sbH = min(blkH,SB_HEIGHT )。在此等式中，blkW及blkH分別為預測區塊之寬度及高度。SB_WIDTH及SB_HEIGHT為兩個預定變數。在一個實例中，SB_WIDTH及SB_HEIGHT兩者均等於16。

對於水平及豎直位移，在一些實例中，用於精細化推導之水平及豎直位移

及

可取決於框間預測模式而判定。然而，實例技術不限於基於框間預測模式來判定水平及豎直位移。

對於較小區塊大小的框間模式(例如，經框間預測之較小大小區塊)，為了減小最差情況的記憶體頻寬，對於較小區塊之框間預測模式可禁用或受限。舉例而言，對於4×4區塊或更小區塊之框間預測為禁用的，對於4×8、8×4、4×16及16×4之雙向預測可為禁用的。記憶體頻寬可由於用於彼等較小區塊之內插程序而增大。在沒有內插的情況下，可仍將整數運動補償應用於彼等較小區塊而不會增大最差情況的記憶體頻寬。

在一或多個實例技術中，可對一些或所有彼等較小區塊啟用框間預測，但伴以整數運動補償及以梯度為基礎之預測精細化。運動向量首先經捨位成整數運動向量以用於運動補償。隨後，捨位之餘數(亦即，運動向量之子像素部分)用作以梯度為基礎之預測精細化的

及

。舉例而言，若較小區塊之運動向量為(2.25, 5.75)，則用於運動補償之整數運動向量將為(2, 6)，且水平位移(例如，Δv_x (i,j))將為0.25，且豎直位移(例如，Δv_y (i,j))將為0.75。在此實例中，水平及豎直位移之精度等級為0.25 (或¼)。舉例而言，水平及豎直位移可以0.25之步長遞增。

在一些實例中，對於較小區塊大小框間模式，以梯度為基礎之預測精細化可為可獲得的，但僅出現在較小大小區塊在合併模式下經框間預測的情況下。下文描述合併模式之實例。在一些實例中，對於較小大小框間模式，可對具有整數運動模式之區塊禁用以梯度為基礎之預測精細化。在整數運動模式下，一或多個運動向量(例如，經傳信的運動向量)為整數。在一些實例中，即使對於較大大小區塊，若區塊在整數運動模式下經框間預測，則可對此類區塊禁用以梯度為基礎之預測精細化。

對於作為框間預測模式之一實例的普通合併模式，其中運動資訊係由空間或時間相鄰寫碼區塊推導出，

及

可為運動向量捨位程序的餘數(例如，類似於上文運動向量實例(2.25, 5.75))。在一個實例中，藉由根據當前圖像與參考圖像之間不同的圖像次序計數對時間運動緩衝器中之運動向量進行縮放來推導時間運動向量預測符。可執行捨位程序以將經縮放之運動向量捨位至某一精度。餘數可用作

及

。餘數之精度(亦即，水平及豎直位移之精度等級)可經預定義且可高於運動向量預測之精度。舉例而言，若運動向量精度為1/16，則餘數精度為1/(16*MaxBlkSize)，其中MaxBlkSize為最大區塊大小。換言之，水平及豎直位移(例如，Δv_x 及Δv_y )之精度等級為1/(16*MaxBlkSize)。

對於作為框間預測模式之一實例的具有運動向量差之合併(merge with motion vector difference；MMVD)模式，傳信運動向量差以及合併索引以表示運動資訊。在一些技術中，運動向量差(例如，實際運動向量與運動向量預測符之間的差)具有相同的運動向量精度。在本發明中描述之一或多個實例中，可允許運動向量差具有更高精度。首先將所傳信之運動向量差捨位至運動向量精度，且添加由合併索引指示之運動向量以產生用於運動補償之最終運動向量。在一或多個實例中，捨位後之餘數部分(例如，運動向量差之經捨位值與運動向量差之初始值之間的差)可用作以梯度為基礎之預測精細化的水平及豎直位移(例如，用作

及

)。在一些實例中，

及

可經傳信作為運動向量差之候選者。

對於解碼器側運動向量精細化模式，執行使用原始運動向量之運動補償以產生原始雙向預測區塊，且計算清單0與清單1預測之間的差值，表示為DistOrig 。清單0係指第一參考圖像清單(RefPicList0)，其包括可潛在地用於框間預測之參考圖像清單。清單1係指第二參考圖像清單(RefPicList1)，其包括可潛在地用於框間預測之參考圖像清單。隨後，將清單0及清單1處之運動向量捨位至最接近的整數位置。亦即，將指代清單0中之圖像的運動向量捨位至最接近的整數位置，且將指代清單1中之圖像的運動向量捨位至最接近的整數位置。使用搜尋演算法在整數位移範圍內進行搜尋以使用用於運動補償之新整數運動向量來尋找在清單0預測中識別的圖像區塊與清單1中識別的圖像區塊之間具有最小失真DistNew 的一對位移。若DistNew小於DistOrig，則將新整數運動向量饋入至雙向光流(BDOF)中以推導用於清單0及清單1預測兩者處之預測精細化的

及

。否則，對原始清單0及清單1預測執行BDOF以用於預測精細化。

對於仿射模式，可推導用於每一像素的運動場(例如，可在每像素基礎上判定運動向量)。然而，以4×4為基礎之運動場用於仿射運動補償以減小複雜度及記憶體頻寬。舉例而言，作為一個實例，判定子區塊之運動向量，其中一個子區塊為4×4，而非在每像素基礎上判定運動向量。亦可使用一些其他子區塊大小，例如4×2、2×4或2×2。在一或多個實例中，以梯度為基礎之預測精細化可用於改良仿射運動補償。可如上文所描述計算區塊之梯度。給定仿射運動模型：

，其中a、b、c、d、e及f為藉由視訊編碼器200及視訊解碼器300基於控制點運動向量及區塊之長度及寬度所判定的值，作為若干實例。在一些實例中，可傳信a、b、c、d、e及f之值。

下文描述判定a、b、c、d、e及f之一些實例方式。在視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)中，在仿射模式下，圖像經分割成子區塊以用於基於區塊之寫碼。區塊之仿射運動模型亦可由不在同一線中之三個不同位置處的三個運動向量(MV)

、

及

描述。該三個位置通常被稱為控制點，且該三個運動向量被稱為控制點運動向量(CPMV)。在三個控制點位於區塊之三個拐角點處的情況下，可將仿射運動描述為：

其中

及

為區塊之寬度及高度。

對於仿射模式，視訊編碼器200及視訊解碼器300可使用子區塊之代表性座標(例如，子區塊之中心位置)來判定每一子區塊之運動向量。在一個實例中，區塊經分割成非重疊子區塊。區塊寬度為blkW，區塊高度為blkH，子區塊寬度為sbW，且子區塊高度為sbH，則存在blkH/sbH列子區塊且每一列中存在blkW/sbW個子區塊。對於六參數仿射運動模型，第i列(0＜=i＜blkW/sbW)及第j (0＜=j＜blkH/sbH)行處之子區塊之運動向量(被稱作子區塊MV)經推導為：

根據上文等式，變數a、b、c、d、e及f可定義如下：

e = v _0x f = v _0y

對於作為框間預測模式之一實例的仿射模式，視訊編碼器200及視訊解碼器300可藉由以下方法中之至少一者來判定位移(例如，水平或豎直位移)。以下為實例且不應被視為具有限制性。可存在視訊編碼器200及視訊解碼器300可判定用於仿射模式之位移(例如，水平或豎直位移)之其他方式。

對於以4×4子區塊為基礎之仿射運動補償，對於以2×2為基礎之位移推導，每一2×2子區塊中之位移相同。在每一4×4子區塊中，4×4內之四個2×2子區塊的

計算如下： 左上方2×2：

右上方2×2：

左下方2×2：

右下方2×2：

對於1×1位移推導，推導每一樣本之位移。4×4中之左上方樣本之座標可為(0,0)，在此情況下，

經推導為：

在一些實例中，可將實施為右移運算之除2移動至精細化偏移計算。舉例而言，視訊編碼器200及視訊解碼器300可執行除2運算作為判定ΔI (例如，精細化偏移)之部分，而非在推導水平及豎直位移(例如，Δv_x 及Δv_y )時執行除2運算。

對於以4×2子區塊為基礎之仿射運動補償，運動向量儲存器之運動場仍為4×4；然而，仿射運動補償為4×2。4×4子區塊之運動向量(MV)可為

，在此情況下，左側4×2之運動補償之MV為

，且左側4×2之運動補償之MV為

。

對於以2×2為基礎之位移推導，在以2×2為基礎之位移推導中，每一2×2子區塊中之位移相同。在每一4×2子區塊中，4×4內之2個2×2子區塊的

計算如下： 頂部2×2：

底部2×2：

對於1×1位移推導，推導每一樣本之位移。使4×2中之左上方樣本之座標為(0,0)，則

經推導為：

可將可實施為右移運算之除2移動至精細化偏移計算。舉例而言，視訊編碼器200及視訊解碼器300可執行除2運算作為判定ΔI (例如，精細化偏移)之部分，而非在推導水平及豎直位移(例如，Δv_x 及Δv_y )時執行除2運算。

對於以2×4子區塊為基礎之仿射運動補償，運動向量儲存器之運動場仍為4×4；然而，仿射運動補償為2×4。4×4子區塊之MV可為

，在此情況下，左側4×2之運動補償之MV為

，且左側4×2之運動補償之MV為

。

對於以2×2為基礎之位移推導，每一2×2子區塊中之位移相同。在每一2×4子區塊中，2×4內之2個2×2子區塊的

計算如下： 左側2×2：

右側2×2：

對於1×1位移推導，在以1×1為基礎之位移推導中，推導每一樣本之位移。2×4中之左上方樣本之座標可為(0,0)，在此情況下，

經推導為：

可將可實施為右移運算之除2移動至精細化偏移計算。舉例而言，視訊編碼器200及視訊解碼器300可執行除2運算作為判定ΔI (例如，精細化偏移)之部分，而非在推導水平及豎直位移(例如，Δv_x 及Δv_y )時執行除2運算。

下文描述用於仿射模式之預測精細化。在執行以子區塊為基礎之仿射運動補償之後，可藉由添加基於逐像素運動及預測信號之梯度推導出的偏移而使預測信號精細化。位置

處之偏移可經計算為：

其中分別地，

為預測信號之水平梯度，且

為預測信號之豎直梯度。

及

為在位置像素位置

處計算之運動向量與子區塊MV之間的x及y分量之差。使子區塊之左上方樣本之座標為

，則子區塊之中心為

。給定仿射運動參數a、b、c及d，則

及

可經推導為：

在以控制點為基礎之仿射運動模型中，仿射運動參數a、b、c及d由CPMV計算為

下文描述雙向光流(BDOF)。雙向光流(BDOF)工具包括在VTM4中。BDOF先前被稱作BIO。BDOF可用於使4×4子區塊層級處之寫碼單元(CU)之雙向預測信號精細化。BDOF模式係基於光流概念，其假定物體之運動係平滑的。對於每一4×4子區塊，藉由使L0預測樣本與L1預測樣本(例如，第一參考圖像清單L0中之參考圖像之預測樣本與第二參考圖像清單L1中之參考圖像之預測樣本)之間的差最小化來計算運動精細化

。隨後使用運動精細化來調整4×4子區塊中之雙向預測樣本值。以下步驟應用於BDOF程序中。

首先，藉由直接計算兩個相鄰樣本之間的差來計算兩個預測信號之水平及豎直梯度

及

(

)，亦即

其中

為清單

(

)中之預測信號之座標

處的樣本值。

隨後，梯度

、

、

、

及

之自相關及互相關經計算為

，

其中

其中

為4×4子區塊周圍之6×6窗口。

隨後使用以下程序使用互相關及自相關項來推導運動精細化

：

其中

為地板函數。

基於運動精細化及梯度，計算4×4子區塊中之每一樣本之以下調整：

最後，藉由如下調整雙向預測樣本來計算CU之BDOF樣本：

，亦即，捨位偏移

此等值經選擇，使得BDOF程序中之乘數不超出15位元，且BDOF程序中之中間參數的最大位元寬度保持在32位元內。

為了推導梯度值，需要產生清單

中超出當前CU邊界的一些預測樣本

。如圖5中所描繪，VTM4中之BDOF使用CU邊界周圍的一個經擴展列/行。為了控制產生邊界外預測樣本之計算複雜度，經擴展區域中之預測樣本(白色位置)藉由在不進行內插的情況下直接採用附近整數位置處之參考樣本(對座標使用地板()運算)而產生，且使用標準8接頭運動補償內插濾波器來產生CU內之預測樣本(灰色位置)。此等經擴展樣本值僅用於梯度計算。對於BDOF程序中之其餘步驟，若需要CU邊界外部之任何樣本及梯度值，則此等樣本自其最近相鄰者填補(亦即，重複)。

下文描述位移及梯度之精度。在一些實例中，水平及豎直位移之相同精度可用於所有模式。精度可經預定義或在高層級語法中傳信。因此，若水平及豎直位移係自具有不同精度的不同模式中推導出，則將水平及豎直位移捨位至預定義精度。預定義精度之實例為：1/4、1/8、1/16、1/32、1/64、1/128等等。

如上文所描述，精度(亦稱作精度等級)可指示水平及豎直位移(例如，Δv_x 及Δv_y )之精確程度，其中水平及豎直位移可使用上文所描述的一或多個實例或使用一些其他技術判定。一般而言，精度等級經定義為小數(例如，0.25、0.125、0.0625、0.03125、0.015625、0.0078125等等)或分數(例如，1/4、1/8、1/16、1/32、1/64、1/128等等)。舉例而言，對於1/4精度等級，水平或豎直位移可表現為遞增0.25 (例如，0.25、0.5或0.75)。對於1/8精度等級，水平及豎直位移可表現為遞增0.125 (例如，0.125、0.25、0.325、0.5、0.625、0.75或0.825)。如可看出，精度等級之數值愈小(例如，1/8小於1/4)，則存在愈多遞增粒度且可存在愈精確之值(例如，對於1/4精度等級，位移經捨位至最接近的四分之一，而對於1/8精度等級，位移經捨位至最接近的八分之一)。

由於水平及豎直位移對於不同框間預測模式可具有不同精度等級，因此視訊編碼器200及視訊解碼器300可經組態以包括不同邏輯電路以執行用於不同框間預測模式之以梯度為基礎之預測精細化。如上文所描述，為了執行以梯度為基礎之預測精細化，視訊編碼器200及視訊解碼器300可執行以下運算：

，其中g_x 及g_y 分別為基於預測區塊之樣本中之第一樣本集合的第一梯度及基於預測區塊之樣本中之第二樣本集合的第二梯度，且Δv_x 及Δv_y 分別為水平及豎直位移。如可看出，對於以梯度為基礎之預測精細化，視訊編碼器200及視訊解碼器300可能需要執行乘法及加法運算，以及利用記憶體來儲存計算中所使用的臨時結果。

然而，可將邏輯電路(例如，乘法電路、加法電路、記憶體暫存器)執行數學運算之能力限制在邏輯電路經組態之精度等級。舉例而言，邏輯電路經組態用於第一精度等級可能不能夠執行梯度預測精細化所需之運算的，其中水平或豎直位移處於更精確的第二精度等級。

因此，一些技術利用經組態用於不同精度等級之不同邏輯電路集合來執行用於不同框間預測模式之以梯度為基礎之預測精細化。舉例而言，第一邏輯電路集合可經組態以執行用於水平及/或豎直位移為0.25之框間預測模式的以梯度為基礎之預測精細化，且第二邏輯電路集合可經組態以執行用於水平及/或豎直位移為0.125之框間預測模式的以梯度為基礎之預測精細化。具有此等不同電路集合增大視訊編碼器200及視訊解碼器300之總體大小，以及潛在地浪費功率。

在本發明中所描述之一些實例中，同一梯度計算程序可用於所有框間預測模式。換言之，同一邏輯電路可用於執行用於不同框間預測模式之以梯度為基礎之預測精細化。舉例而言，梯度之精度可對所有框間預測模式下之預測精細化保持相同。在一些實例中，對於位移及梯度之精度，實例技術可確保可將同一(或統一)預測精細化程序應用於不同模式，且可將同一預測精細化模組應用於不同模式。

作為一實例，視訊編碼器200及視訊解碼器300可經組態以將水平及豎直位移中之至少一者捨位至對於不同框間預測模式相同(例如，對於仿射模式及BDOF相同)的精度等級。舉例而言，若水平及豎直位移經捨位之精度等級為0.015625 (1/64)，則若水平及/或豎直位移之精度等級對於一個框間預測模式為1/4，則將水平及/或豎直位移之精度等級捨位至1/64。若水平及/或豎直位移之精度等級為1/128，則將水平及/或豎直位移之精度等級捨位至1/64。

以此方式，可針對不同框間預測模式重複使用用於以梯度為基礎之預測精細化的邏輯電路。舉例而言，在上文實例中，視訊編碼器200及視訊解碼器300可包括用於0.125精度等級之邏輯電路，且由於水平及/或豎直位移之精度等級經捨位至0.125，因此可針對不同框間預測模式重複使用此邏輯電路。

在一些實例中，當並未根據本發明中所描述之技術執行捨位時，若邏輯電路經設計成具有相對較高等級之精度，則可重複使用用於乘法及累加類型運算之邏輯電路(例如，經設計用於乘法之特定精度等級之邏輯電路可處理對於較低精度等級之值的乘法運算)。然而，對於移位運算，經設計用於特定精度之邏輯電路可能不能夠處理對於較低精度等級之值之移位運算。藉由本發明中所描述之實例技術，藉由所描述之捨位技術，或許有可能針對不同框間預測模式重複使用包括移位運算之邏輯電路。

在一個實例中，預測精細化偏移經推導為：

在上述等式中，offset等於1 ＜＜ (shift-1)，且shift係藉由位移及梯度之預定義精度判定且對於不同模式為固定的。在一些實例中，偏移等於0。

在一些實例中，模式可包括上文關於水平及豎直位移所描述的模式中之一或多者，諸如較小區塊大小框間模式、普通合併模式、具有運動向量差之合併、解碼器側運動向量精細化模式及仿射模式。模式亦可包括上文所描述之雙向光流(BDOF)。

可能存在針對每一預測方向之單獨精細化。舉例而言，在雙向預測之情況下，可對每一預測方向單獨地執行預測精細化。可將精細化結果截割至某一範圍以確保與未進行精細化之預測相同的位元寬度。舉例而言，將精細化結果截割至16位元範圍。如上文所提及，亦可將實例技術應用於BDOF，其中假定兩個不同方向上之位移在同一運動軌跡上。

下文描述N位元(例如，16位元)乘法約束。為了降低以梯度為基礎之預測精細化之複雜度，可將乘法保持在N位元(例如，16位元)內。在此實例中，梯度及位移應能夠由不超過16位元表示。否則，在此實例中，將梯度或位移量化為在16位元內。舉例而言，可應用右移以保持16位元表示。

下文描述精細化偏移

之截割及精細化結果。將精細化偏移

截割至某一範圍。在一個實例中，範圍係藉由原始預測信號之範圍判定。

之範圍可與原始預測信號之範圍相同，或範圍可為按比例縮放之範圍。縮放比例可為1/2、1/4、1/8等等。將精細化結果截割成具有與原始預測信號相同的範圍(例如，預測區塊中之樣本範圍)。執行截割之等式為： pbSamples[ x ][ y ] = Clip3( 0, ( 2^BitDepth ) - 1, ( predSamplesL0[ x + 1 ][ y + 1 ] + offset4 +predSamplesL1[ x + 1 ][ y + 1 ] + bdofOffset )  ＞＞  shift4 )

其中predSamplesL0、predSamplesL1為每一單向預測方向中之預測樣本。bdofOffset為藉由BDOF推導出之精細化偏移。offset4 = 1 ＜＜ (shift4-1)，且Clip3( min, max, x)為用於將x之值截割至min至max (包括端點)之範圍內的函數。

以此方式，視訊編碼器200及視訊解碼器300可經組態以判定用於框間預測當前區塊之預測區塊。舉例而言，視訊編碼器200及視訊解碼器300可判定指向預測區塊之運動向量或區塊向量(例如，用於區塊內複製模式)。

視訊編碼器200及視訊解碼器300可判定用於預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平或豎直位移中之至少一者。水平位移之實例為Δv_x ，且豎直位移之實例為Δv_y 。在一些實例中，視訊編碼器200及視訊解碼器300可基於框間預測模式而判定用於預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平或豎直位移中之至少一者(例如，作為兩個實例，使用用於仿射模式之上文實例技術判定Δv_x 及Δv_y 或使用用於合併模式之上文實例技術判定Δv_x 及Δv_y )。

根據一或多個實例，視訊編碼器200及視訊解碼器300可將水平及豎直位移中之至少一者捨位至對於不同框間預測模式為相同的精度等級。不同框間預測模式之實例包括仿射模式及BDOF。舉例而言，用於對在第一框間預測模式下經框間預測的第一區塊執行以梯度為基礎之預測精細化的第一水平或豎直位移之精度等級可處於第一精度等級，且用於對在第二框間預測模式下經框間預測的第二區塊執行以梯度為基礎之預測精細化的第二水平或豎直位移之精度等級可處於第二精度等級。視訊編碼器200及視訊解碼器300可經組態以將第一水平或豎直位移之第一精度等級捨位至該精度等級，且將第一水平或豎直位移之第二精度等級捨位至相同精度等級。

在一些實例中，精度等級可經預定義(例如，預儲存在視訊編碼器200及視訊解碼器300上)或可經傳信(例如，由視訊編碼器200定義且經傳信至視訊解碼器300)。在一些實例中，精度等級可為1/64。

視訊編碼器200及視訊解碼器300可經組態以基於水平或豎直位移中之經捨位的至少一者來判定一或多個精細化偏移。舉例而言，視訊編碼器200及視訊解碼器300可使用水平或豎直位移中之各別經捨位的至少一者來判定預測區塊之每一樣本之ΔI(i,j)。亦即，視訊編碼器200及視訊解碼器300可判定預測區塊之每一樣本之精細化偏移。在一些實例中，視訊編碼器200及視訊解碼器300可利用經捨位的水平及豎直位移來判定精細化偏移(例如，ΔI)。

如所描述，為了執行以梯度為基礎之預測精細化，視訊編碼器200及視訊解碼器300可基於預測區塊之一或多個樣本中之第一樣本集合而判定第一梯度(例如，判定g_x (i,j)，其中第一樣本集合為用於判定g_x (i,j)之樣本)且基於預測區塊之一或多個樣本中之第二樣本集合而判定第二梯度(例如，判定g_y (i,j)，其中第二樣本集合為用於判定g_y (i,j)之樣本)。視訊編碼器200及視訊解碼器300可基於經捨位的水平及豎直位移以及第一及第二梯度來判定精細化偏移。

視訊編碼器200及視訊解碼器300可基於所判定的一或多個精細化偏移來修改預測區塊之一或多個樣本以產生經修改預測區塊(例如，形成經修改預測區塊之一或多個經修改樣本)。舉例而言，視訊編碼器200及視訊解碼器300可自I(i,j)添加或減去ΔI(i,j)，其中I(i,j)係指位於位置(i,j)處之預測區塊中之樣本。在一些實例中，視訊編碼器200及視訊解碼器300可將一或多個精細化偏移截割(例如，將ΔI(i,j)截割)。視訊編碼器200及視訊解碼器300可基於經截割的一或多個精細化偏移來修改預測區塊之一或多個樣本。

針對編碼，視訊編碼器200可判定指示當前區塊與經修改預測區塊之間的差的殘餘值(例如，殘餘區塊之殘餘值) (例如，基於經修改預測區塊之經修改樣本)，且傳信指示該等殘餘值之資訊。針對解碼，視訊解碼器300可接收指示殘餘值之資訊，且基於經修改預測區塊(例如，經修改預測區塊之經修改樣本)及殘餘值來重建構當前區塊(例如，藉由將殘餘值添加至經修改樣本)。

圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構130及對應寫碼樹型單元(CTU) 132之概念圖。實線表示四分樹分裂，且點線指示二元樹分裂。在二元樹之每一分裂(亦即，非葉)節點中，一個旗標經傳信以指示使用哪一分裂類型(亦即，水平或豎直)，其中在此實例中，0指示水平分裂且1指示豎直分裂。對於四分樹分裂，不需要指示分裂類型，此係由於四分樹節點將區塊水平及豎直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器200可編碼且視訊解碼器300可解碼QTBT結構130之區域樹層級(亦即實線)的語法元素(諸如分裂資訊)及QTBT結構130之預測樹層級(亦即虛線)的語法元素(諸如分裂資訊)。視訊編碼器200可編碼且視訊解碼器300可解碼由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。

一般而言，圖2B之CTU 132可與定義對應於在第一層級及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二元樹大小(MaxBTSize，表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，表示最大允許二元樹深度)，及最小二元樹大小(MinBTSize，表示最小允許二元樹葉節點大小)。

QTBT結構中對應於CTU之根節點可具有在QTBT結構之第一層級處的四個子節點，該等子節點中之每一者可根據四分樹分割來進行分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二元樹根節點大小(MaxBTSize)，則其可藉由各別二元樹進一步分割。一個節點之二元樹分裂可重複，直至由分裂產生之節點達至最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。在沒有任何進一步分割的情況下，二元樹葉節點被稱為寫碼單元(CU)，其用於預測(例如圖像內或圖像間預測)及變換。如上文所論述，CU亦可被稱作「視訊區塊」或「區塊」。

在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize (對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。將四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有16×16 (亦即，MinQTSize)至128×128 (亦即，CTU大小)之大小。若葉四分樹節點為128×128，則其將不會藉由二元樹進一步分裂，此係由於大小超過MaxBTSize (亦即，在此實例中64×64)。否則，葉四分樹節點將藉由二元樹進一步分割。因此，四分樹葉節點亦為二元樹之根節點且具有為0之二元樹深度。當二元樹深度達到MaxBTDepth (在此實例中為4)時，不准許進一步分裂。當二元樹節點具有等於MinBTSize (在此實例中為4)之寬度時，其意味著不准許進一步水平分裂。類似地，具有等於MinBTSize之高度的二元樹節點意味著不准許對該二元樹節點進行進一步豎直分裂。如上文所提及，二元樹之葉節點被稱作CU，且根據預測及變換來進一步處理而不進一步分割。

圖3為說明可執行本發明之技術的實例視訊編碼器200之方塊圖。出於解釋之目的提供圖3，且不應將其視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明在諸如HEVC視訊寫碼標準及開發中之H.266視訊寫碼標準的視訊寫碼標準之上下文中描述視訊編碼器200。然而，本發明之技術並不限於此等視訊寫碼標準，且通常適用於視訊編碼及解碼。

在圖3之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、DPB 218及熵編碼單元220中之任一者或全部可實施於一或多個處理器或處理電路中。此外，視訊編碼器200可包括額外或替代處理器或處理電路以執行此等及其他功能。

視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼之視訊資料。視訊編碼器200可自(例如)視訊源104 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料以供由視訊編碼器200用於預測後續視訊資料。視訊資料記憶體230及DPB 218可由各種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體230及DPB 218可由同一記憶體器件或單獨的記憶體器件提供。在各種實例中，視訊資料記憶體230可與視訊編碼器200之其他組件一起在晶片上，如所說明，或相對於彼等組件在晶片外。

在本發明中，對視訊資料記憶體230之提及不應解譯為限於視訊編碼器200內部之記憶體(除非特定地如此描述)，或限於視訊編碼器200外部之記憶體(除非特定地如此描述)。實情為，對視訊資料記憶體230之提及應理解為儲存視訊編碼器200所接收以用於編碼的視訊資料(例如，待編碼的當前區塊之視訊資料)的參考記憶體。圖1之記憶體106亦可提供對來自視訊編碼器200之各種單元的輸出的暫時儲存。

說明圖3之各種單元以輔助理解由視訊編碼器200執行之操作。該等單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路係指提供特定功能性且對可執行之操作進行預設的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行軟體或韌體，該軟體或韌體使得該可程式化電路以由該軟體或韌體之指令所定義的方式操作。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊編碼器200可包括由可程式化電路形成之算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體執行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並執行的軟體之目標程式碼，或視訊編碼器200內之另一記憶體(圖中未示)可儲存此類指令。

視訊資料記憶體230經組態以儲存所接收視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。

模式選擇單元202包括運動估計單元222、運動補償單元224、框內預測單元226、以梯度為基礎之預測精細化(GBPR)單元227。模式選擇單元202可包括額外功能單元以根據其他預測模式來執行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。

儘管GBPR單元227經說明為與運動估計單元222及運動補償單元224分離，但在一些實例中，GBPR單元227可為運動估計單元222及/或運動補償單元224之部分。展示GBPR單元227與運動估計單元222及運動補償單元224分離以簡化理解且不應視為具有限制性。

模式選擇單元202通常協調多個編碼遍次以測試編碼參數之組合及此等組合之所得速率-失真值。編碼參數可包括CTU至CU之分割、CU之預測模式、CU之殘餘值的變換類型、CU之殘餘值的量化參數等等。模式選擇單元202可最終選擇相比其他所測試組合具有更佳速率-失真值的編碼參數之組合。

視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，且將一或多個CTU囊封於圖塊內。模式選擇單元202可根據樹型結構來分割圖像之CTU，該樹型結構諸如上文所描述的HEVC之QTBT結構或四分樹結構。如上文所描述，視訊編碼器200可藉由根據樹型結構分割CTU而形成一或多個CU。此類CU通常亦可被稱作「視訊區塊」或「區塊」。

一般而言，模式選擇單元202亦控制其組件(例如，運動估計單元222、運動補償單元224、框內預測單元226及GBPR單元227)以產生當前區塊(例如，當前CU，或在HEVC中，PU及TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如，儲存於DPB 218中之一或多個先前寫碼圖像)中一或多個緊密匹配的參考區塊。特定言之，運動估計單元222可(例如)根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或其類似者來計算表示潛在參考區塊與當前區塊之類似程度的值。運動估計單元222通常可使用當前區塊與所考慮之參考區塊之間的逐樣本差來執行此等計算。運動估計單元222可識別具有由此等計算產生之最小值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。

運動估計單元222可形成一或多個運動向量(MV)，其相對於當前圖像中之當前區塊的位置定義參考圖像中之參考區塊的位置。運動估計單元222接著可將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單個運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224接著可使用該等運動向量來產生預測區塊。舉例而言，運動補償單元224可使用運動向量來擷取參考區塊之資料。作為另一實例，若運動向量具有分數樣本精度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取由各別運動向量識別之兩個參考區塊的資料，且例如經由逐樣本求平均值或加權求平均值來組合所擷取之資料。

作為另一實例，對於框內預測或框內預測寫碼，框內預測單元226可自鄰近當前區塊之樣本產生預測區塊。舉例而言，對於定向模式，框內預測單元226通常可在數學上組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。作為另一實例，對於DC模式，框內預測單元226可計算與當前區塊相鄰的樣本之平均值，且產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。

GBPR單元227可經組態以執行本發明中所描述之實例技術以用於以梯度為基礎之預測精細化。舉例而言，GBPR單元227以及運動補償單元224可判定用於框間預測當前區塊之預測區塊(例如，基於由運動估計單元222判定之運動向量)。GBPR單元227可判定用於預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移(例如，Δv_x 及Δv_y )。作為一個實例，GBPR單元227可基於由模式選擇單元202進行之判定來判定用於框間預測當前區塊之框間預測模式。在一些實例中，GBPR單元227可基於所判定之框間預測模式來判定水平及豎直位移。

GBPR單元227可將水平及豎直位移捨位至對於不同框間預測模式為相同的精度等級。舉例而言，當前區塊可為第一當前區塊，預測區塊可為第一預測區塊，水平及豎直位移可為第一水平及豎直位移，且經捨位的水平及豎直位移可為第一經捨位的水平及豎直位移。在一些實例中，GBPR單元227可判定用於框間預測第二當前區塊之第二預測區塊，且判定用於第二預測區塊之一或多個樣本之以梯度為基礎之預測精細化的第二水平及豎直位移。GBPR單元227可將第二水平及豎直位移捨位至與第一水平及豎直位移經捨位之精度等級相同的精度等級以產生第二經捨位的水平及豎直位移。

在一些情況下，用於框間預測第一當前區塊之框間預測模式與用於第二當前區塊之框間預測模式可為不同的。舉例而言，不同框間預測模式中之第一模式為仿射模式，且不同框間預測模式中之第二模式為雙向光流(BDOF)模式。

水平及豎直位移經捨位之精度等級可經預定義且儲存以供GBPR單元227使用，或GBPR單元227可判定精度等級且視訊編碼器200可傳信精度等級。作為一個實例，精度等級為1/64。

GBPR單元227可基於經捨位的水平及豎直位移來判定一或多個精細化偏移。舉例而言，GBPR單元227可基於預測區塊之一或多個樣本中之第一樣本集合來判定第一梯度(例如，使用上文所描述的預測區塊之樣本來判定g_x (i,j))且基於預測區塊之一或多個樣本中之第二樣本集合來判定第二梯度(例如，使用上文所描述的預測區塊之樣本來判定g_y (i,j))。GBPR單元227可基於經捨位的水平及豎直位移以及第一及第二梯度來判定一或多個精細化偏移。在一些實例中，若一或多個精細化偏移之值過高(例如，大於臨限值)，則GBPR單元227可將一或多個精細化偏移截割。

GBPR單元227可基於所判定的一或多個精細化偏移或經截割的一或多個精細化偏移來修改預測區塊之一或多個樣本以產生經修改預測區塊(例如，形成經修改預測區塊之一或多個經修改樣本)。舉例而言，GBPR單元227可判定：

，其中g_x (i,j)為該一或多個樣本中位於(i,j)處之一樣本的第一梯度，Δv_x (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的水平位移，g_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的第二梯度，且Δv_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的豎直位移。在一些實例中，Δv_x 及Δv_y 對於預測區塊的樣本(i,j)中之每一者可為相同的。

所得經修改樣本可形成以梯度為基礎之預測精細化中的預測區塊(例如，經修改預測區塊)。亦即，經修改預測區塊用作以梯度為基礎之預測精細化中的預測區塊。模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204接收來自視訊資料記憶體230之當前區塊及來自模式選擇單元202之預測區塊的原始未經編碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)來產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路來形成殘餘產生單元204。

在模式選擇單元202將CU分割成PU之實例中，每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測之2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器200及視訊解碼器300亦可支援用於框間預測之2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。

在模式選擇單元202未將CU進一步分割成PU的實例中，每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指CU之明度寫碼區塊的大小。視訊編碼器200及視訊解碼器300可支援2N×2N、2N×N或N×2N之CU大小。

對於其他視訊寫碼技術，諸如作為一些實例的區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼，模式選擇單元202經由與寫碼技術相關聯之各別單元產生用於正編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可不產生預測區塊，而是產生指示基於所選擇之調色板來重建構區塊之方式的語法元素。在此等模式中，模式選擇單元202可將此等語法元素提供至熵編碼單元220以待編碼。

如上文所描述，殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204隨後產生當前區塊之殘餘區塊。為了產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。

變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中稱作「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、定向變換、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可對殘餘區塊執行多個變換，(例如)一級變換及二級變換，諸如旋轉變換。在一些實例中，變換處理單元206不將變換應用於殘餘區塊。

量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值來量化變換係數區塊之變換係數。視訊編碼器200可(例如經由模式選擇單元202)藉由調整與CU相關聯的QP值而調整應用於與當前區塊相關聯的係數區塊之量化程度。量化可引入資訊之損耗，且因此，經量化變換係數可相比由變換處理單元206產生之原始變換係數具有較低精度。

反量化單元210及反變換處理單元212可將反量化及反變換分別應用於經量化變換係數區塊，以自變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及藉由模式選擇單元202產生之預測區塊來產生對應於當前區塊之經重建構區塊(儘管可能具有一定程度的失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。

濾波器單元216可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應假影。在一些實例中，可跳過濾波器單元216之操作。

視訊編碼器200將經重建構區塊儲存在DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波之經重建構區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。另外，框內預測單元226可使用當前圖像之DPB 218中的經重建構區塊以對當前圖像中之其他區塊進行框內預測。

一般而言，熵編碼單元220可對自視訊編碼器200之其他功能組件接收之語法元素進行熵編碼。舉例而言，熵編碼單元220可對來自量化單元208之經量化變換係數區塊進行熵編碼。作為另一實例，熵編碼單元220可對來自模式選擇單元202的預測語法元素(例如，用於框間預測之運動資訊或用於框內預測之框內模式資訊)進行熵編碼。熵編碼單元220可對語法元素(其為視訊資料之另一實例)執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布(Exponential-Golomb)編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可以旁路模式操作，其中語法元素未經熵編碼。

視訊編碼器200可輸出位元串流，該位元串流包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。特定言之，熵編碼單元220可輸出該位元串流。

上文所描述之操作係關於區塊進行描述。此描述應理解為用於明度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，明度寫碼區塊及色度寫碼區塊為CU之明度及色度分量。在一些實例中，明度寫碼區塊及色度寫碼區塊為PU之明度及色度分量。

在一些實例中，無需針對色度寫碼區塊重複關於明度寫碼區塊執行之操作。作為一個實例，無需針對識別色度區塊之運動向量(MV)及參考圖像重複用以識別明度寫碼區塊之MV及參考圖像的操作。實情為，明度寫碼區塊之MV可經縮放以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，框內預測程序對於明度寫碼區塊及色度寫碼區塊可為相同的。

圖4為說明可執行本發明之技術之實例視訊解碼器300的方塊圖。出於解釋之目的提供圖4，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述視訊解碼器300係根據VVC及HEVC之技術來描述的。然而，本發明之技術可由經組態用於其他視訊寫碼標準的視訊寫碼器件執行。

在圖4之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。CPB記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及DPB 314中之任一者或全部可實施於一或多個處理器或處理電路中。此外，視訊解碼器300可包括額外或替代處理器或處理電路以執行此等及其他功能。

預測處理單元304包括運動補償單元316、框內預測單元318及以梯度為基礎之預測精細化(GBPR)單元319。預測處理單元304可包括根據其他預測模式來執行預測的額外單元。作為實例，預測處理單元304可包括調色板單元、區塊內複製單元(其可形成運動補償單元316之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同功能組件。

儘管GBPR單元319經說明為與運動補償單元316分離，但在一些實例中，GBPR單元319可為運動補償單元316之部分。展示GBPR單元319與運動補償單元316分離以簡化理解且不應視為具有限制性。

CPB記憶體320可儲存待由視訊解碼器300之組件解碼之視訊資料，諸如經編碼視訊位元串流。可例如自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如，語法元素)的CPB。又，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的暫時資料。DPB 314通常儲存經解碼圖像，視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB記憶體320及DPB 314可由多種記憶體器件中之任一者形成，該等記憶體器件諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。CPB記憶體320及DPB 314可由同一記憶體器件或單獨的記憶體器件提供。在各種實例中，CPB記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。

另外或可替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可用CPB記憶體320來儲存如上文所論述之資料。類似地，當視訊解碼器300之功能性中之一些或全部實施於軟體中以藉由視訊解碼器300之處理電路執行時，記憶體120可儲存待由視訊解碼器300執行之指令。

說明圖4中所展示之各種單元以輔助理解由視訊解碼器300執行之操作。該等單元可經實施為固定功能電路、可程式化電路或其組合。類似於圖3，固定功能電路係指提供特定功能性且對可執行之操作進行預設的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行軟體或韌體，該軟體或韌體使得該可程式化電路以由該軟體或韌體之指令所定義的方式操作。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊解碼器300可包括由可程式化電路形成之ALU、EFU、數位電路、類比電路及/或可程式化核心。在視訊解碼器300之操作係由可程式化電路上執行之軟體執行的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收並執行的軟體之指令(例如目標程式碼)。

熵解碼單元302可自CPB接收經編碼視訊資料，且對視訊資料進行熵解碼以再生語法元素。預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310及濾波器單元312可基於自位元串流提取之語法元素來產生經解碼視訊資料。

一般而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可單獨地對每一區塊執行重建構操作(其中當前經重建構(亦即經解碼)的區塊可被稱為「當前區塊」)。

熵解碼單元302可熵解碼定義經量化變換係數區塊之經量化變換係數的語法元素，以及諸如量化參數(QP)及/或變換模式指示之變換資訊。反量化單元306可使用與經量化變換係數區塊相關聯之QP來判定量化程度，且同樣地判定反量化程度以供反量化單元306應用。反量化單元306可例如執行按位元左移操作以對經量化變換係數進行反量化。反量化單元306從而可形成包括變換係數之變換係數區塊。

在反量化單元306形成變換係數區塊後，反變換處理單元308可將一或多個反變換應用於變換係數區塊以產生與當前區塊相關聯的殘餘區塊。舉例而言，反變換處理單元308可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。

此外，預測處理單元304根據由熵解碼單元302熵解碼之預測資訊語法元素產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)以及運動向量，該運動向量識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元316通常可以實質上類似於關於運動補償單元224 (圖3)所描述之方式的方式執行框間預測程序。

作為另一實例，若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據藉由預測資訊語法元素指示之框內預測模式產生預測區塊。同樣，框內預測單元318通常可以實質上類似於關於框內預測單元226 (圖3)所描述之方式的方式執行框內預測程序。框內預測單元318可自DPB 314擷取當前區塊之相鄰樣本之資料。

作為另一實例，若預測資訊語法元素指示以梯度為基礎之預測精細化經啟用，則GBPR單元319可修改預測區塊之樣本以產生用於重建構當前區塊之經修改預測區塊(例如，產生形成經修改預測區塊之經修改樣本)。

GBPR單元319可經組態以執行本發明中所描述之實例技術以用於以梯度為基礎之預測精細化。舉例而言，GBPR單元319以及運動補償單元316可判定用於框間預測當前區塊之預測區塊(例如，基於由預測處理單元304判定之運動向量)。GBPR單元319可判定用於預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移(例如，Δv_x 及Δv_y )。作為一個實例，GBPR單元319可基於預測資訊語法元素來判定用於框間預測當前區塊之框間預測模式。在一些實例中，GBPR單元319可基於所判定之框間預測模式來判定水平及豎直位移。

GBPR單元319可將水平及豎直位移捨位至對於不同框間預測模式為相同的精度等級。舉例而言，當前區塊可為第一當前區塊，預測區塊可為第一預測區塊，水平及豎直位移可為第一水平及豎直位移，且經捨位的水平及豎直位移可為第一經捨位的水平及豎直位移。在一些實例中，GBPR單元319可判定用於框間預測第二當前區塊之第二預測區塊，且判定用於第二預測區塊之一或多個樣本之以梯度為基礎之預測精細化的第二水平及豎直位移。GBPR單元319可將第二水平及豎直位移捨位至與第一水平及豎直位移經捨位之精度等級相同的精度等級以產生第二經捨位的水平及豎直位移。

在一些情況下，用於框間預測第一當前區塊之框間預測模式與用於第二當前區塊之框間預測模式可為不同的。舉例而言，不同框間預測模式中之第一模式為仿射模式，且不同框間預測模式中之第二模式為雙向光流(BDOF)模式。

水平及豎直位移經捨位之精度等級可經預定義且儲存以供GBPR單元319使用，或GBPR單元319可在經傳信之資訊中接收指示精度等級之資訊(例如，傳信精度等級)。作為一個實例，精度等級為1/64。

GBPR單元319可基於經捨位的水平及豎直位移來判定一或多個精細化偏移。舉例而言，GBPR單元319可基於預測區塊之一或多個樣本中之第一樣本集合來判定第一梯度(例如，使用上文所描述的預測區塊之樣本來判定g_x (i,j))且基於預測區塊之一或多個樣本中之第二樣本集合來判定第二梯度(例如，使用上文所描述的預測區塊之樣本來判定g_y (i,j))。GBPR單元319可基於經捨位的水平及豎直位移以及第一及第二梯度來判定一或多個精細化偏移。在一些實例中，若一或多個精細化偏移之值過高(例如，大於臨限值)，則GBPR單元319可將一或多個精細化偏移截割。

GBPR單元319可基於所判定的一或多個精細化偏移或經截割的一或多個精細化偏移來修改預測區塊之一或多個樣本以產生經修改預測區塊(例如，形成經修改預測區塊之一或多個經修改樣本)。舉例而言，GBPR單元319可判定：

，其中g_x (i,j)為該一或多個樣本中位於(i,j)處之一樣本的第一梯度，Δv_x (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的水平位移，g_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的第二梯度，且Δv_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的豎直位移。在一些實例中，Δv_x 及Δv_y 對於預測區塊的樣本(i,j)中之每一者可為相同的。

所得經修改樣本可形成以梯度為基礎之預測精細化中的經修改預測區塊。亦即，經修改預測區塊可用作以梯度為基礎之預測精細化中的預測區塊。重建構單元310可使用預測區塊及殘餘區塊來重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。

濾波器單元312可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以沿經重建構區塊之邊緣減少區塊效應假影。濾波器單元312之操作不一定在所有實例中執行。

視訊解碼器300可將經重建構區塊儲存在DPB 314中。如上文所論述，DPB 314可將參考資訊提供至預測處理單元304，該參考資訊諸如用於框內預測之當前圖像及用於後續運動補償之先前經解碼圖像的樣本。此外，視訊解碼器300可輸出來自DPB之經解碼圖像以用於後續呈現於顯示器件上，諸如圖1之顯示器件118。

根據本發明之第一技術，視訊寫碼器(例如，視訊編碼器200及/或視訊解碼器300)可基於子區塊MV而推導出在位置像素位置

處計算之運動向量與子區塊MV之間的x及y分量之差(亦即，

及

)。舉例而言，若推導

及

之仿射運動參數a、b、c、d、e及f係根據CPMVS (控制點運動向量)加以計算，則可能需要將每一區塊之CPMVS儲存在運動緩衝器中。儲存每一區塊之CPMVS可顯著增加緩衝器大小，此係由於CPMV針對每一預測方向具有3個MV，而非如在普通框間模式中一般具有1個MV。因此，本發明描述視訊寫碼器基於子區塊MV來執行

及

之推導。

對於6參數仿射模型，可選擇不都在同一子區塊列或行中的3個不同子區塊MV。在4參數仿射模型中，選擇2個不同子區塊MV。在一些實例中，所選子區塊MV可類似於上文所描述之CPMV用作

(i = 0,1,2)，其中

及

在同一子區塊列中，且

及

在同一子區塊行中。於是，參數a 經計算為

，參數b 經計算為

，參數c 經計算為

，且參數d 經計算為

。在4參數仿射模式的情況下，參數a 經計算為

，參數c 經計算為

，參數b經設定成等於-c ，且參數d 經設定成等於a 。W為

與

之間的距離，且H為

與

之間的距離。然而，在一些實例中，無論是使用6參數仿射模型抑或4參數仿射模型，都選擇3個子區塊MV。

視訊寫碼器選擇子區塊MV，使得W等於blkW/2，且H等於blkH/2。在一個實例中，如圖6中所展示，

為位置(0, 0)處之左上方子區塊的子區塊MV，且

為位置(blkW/2, 0)處之頂部中間子區塊的子區塊MV，且

為位置(0, blkH/2)處之左側中間子區塊的子區塊MV。在另一實例中，

為位置(blkW/2-sbW, 0)處之頂部中間子區塊的子區塊MV，且

為位置(blkW-sbW, 0)處之右上方子區塊的子區塊MV，且

為位置(blkW/2-sbW, blkH/2)處之中心子區塊的子區塊MV。

根據本發明之第二技術，視訊寫碼器可執行

及

之截割。以梯度為基礎之精細化偏移計算可假定

及

較小。在此技術中，視訊寫碼器可截割

及

，使得絕對值小於或等於預定義之臨限值

。

作為一個實例，預定義之臨限值可經設定，使得在偏移計算中

/

與梯度

/

之間的乘法不會導致緩衝器溢位。舉例而言，若乘法結果之預算為16位元，則最大絕對值為1＜＜15 (符號佔1位元)，

或

不應超出1＜＜15。鑒於梯度由k位元表示，則

經設定成等於1＜＜(15-k)。

作為另一實例，預定義之臨限值(例如，

)可經設定成等於與雙向光流(BDOF)中相同的值，亦即

。

可表示一半像素。若

及

之基本單位為1/q像素，則

為q/2。

作為另一實例，預定義之臨限值(例如，

)可經設定成等於

與1＜＜(15-k)之間的最小值。

根據本發明之第三技術，視訊寫碼器可將

及

之精度設定成與BDOF中相同的精度。在一個實例中，

及

之精度由章節1.3中之shfit1決定。因此，

或

的一個單位為1/(1＜＜shift1)像素。在一個實例中，shift經設定成等於6。在另一實例中，shift1經設定成等於max( 2, 14 - bitDepth)，其中bitDepth為用於編碼/解碼之視訊信號的內部位元深度。

根據本發明之第四技術，視訊寫碼器可使用與BDOF中相同的程序來執行仿射模式之預測精細化的梯度計算。因此，視訊寫碼器之同一模組可用於BDOF與仿射模式之預測精細化之梯度計算兩者。然而，視訊寫碼器可針對經擴展區域中之預測樣本使用不同的填補方法。

作為一個實例，視訊寫碼器可藉由在不進行內插的情況下直接採用附近整數位置處之參考樣本(對座標使用地板()運算)來產生經擴展區域中之預測樣本(白色位置)。

作為另一實例，視訊寫碼器可藉由在不進行內插的情況下直接採用最近整數位置處之參考樣本(對座標使用捨位()運算)來產生經擴展區域中之預測樣本(白色位置)。

作為另一實例，若需要子區塊邊界外部的任何樣本值，則視訊寫碼器可自所需樣本之最近相鄰者填補(亦即，重複)該等所需樣本。此亦可應用於BDOF中之梯度計算。

根據本發明之第五技術，視訊寫碼器可執行精細化結果之截割。在框間預測中，通常將區塊之運動補償預測信號截割至與區塊之原始信號相同的範圍。然而，在雙向運動補償中，用於每一方向之運動補償預測信號保持在中間精度及範圍以改良準確度。在雙向運動補償之加權求平均值程序之後，結果經捨位且截割至與區塊之原始信號相同的範圍及精度。在此第五技術中，在雙向預測的情況下，視訊寫碼器可將預測精細化之結果截割成具有與普通運動補償相同的中間精度及範圍。舉例而言，中間精度之位元數目為14，則視訊寫碼器可將預測精細化結果截割至- (1＜＜14)至(1＜＜14)之範圍。

圖7為說明用於寫碼視訊資料之一實例方法的流程圖。當前區塊可包括當前CU。圖7之實例係關於處理電路進行描述。處理電路之實例包括用於視訊編碼器200之固定功能及/或可程式化電路(諸如GBPR單元227)及用於視訊解碼器300之固定功能及/或可程式化電路(諸如GBPR單元319)。

在一或多個實例中，記憶體可經組態以儲存預測區塊之樣本。舉例而言，DPB 218或DPB 314可經組態以儲存用於框間預測之預測區塊的樣本。區塊內複製可被視為一實例框間預測模式，在此情況下，用於區塊內複製之區塊向量為運動向量之一實例。

處理電路可判定儲存於記憶體中之用於框間預測當前區塊之預測區塊(350)。處理電路可判定用於預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移(例如，Δv_x 及Δv_y ) (352)。作為一個實例，處理電路可判定用於框間預測當前區塊之框間預測模式。在一些實例中，處理電路可基於所判定之框間預測模式來判定水平及豎直位移。

處理電路可將水平及豎直位移捨位至對於不同框間預測模式為相同的精度等級(354)。舉例而言，當前區塊可為第一當前區塊，預測區塊可為第一預測區塊，水平及豎直位移可為第一水平及豎直位移，且經捨位的水平及豎直位移可為第一經捨位的水平及豎直位移。在一些實例中，處理電路可判定用於框間預測第二當前區塊之第二預測區塊，且判定用於第二預測區塊之一或多個樣本之以梯度為基礎之預測精細化的第二水平及豎直位移。處理電路可將第二水平及豎直位移捨位至與第一水平及豎直位移經捨位之精度等級相同的精度等級以產生第二經捨位的水平及豎直位移。

在一些情況下，用於框間預測第一當前區塊之框間預測模式與用於第二當前區塊之框間預測模式可為不同的。舉例而言，不同框間預測模式中之第一模式為仿射模式，且不同框間預測模式中之第二模式為雙向光流(BDOF)模式。

水平及豎直位移經捨位之精度等級可經預定義或經傳信。作為一個實例，精度等級為1/64。

處理電路可基於經捨位的水平及豎直位移來判定一或多個精細化偏移(356)。舉例而言，處理電路可基於預測區塊之一或多個樣本中之第一樣本集合來判定第一梯度(例如，使用上文所描述的預測區塊之樣本來判定g_x (i,j))且基於預測區塊之一或多個樣本中之第二樣本集合來判定第二梯度(例如，使用上文所描述的預測區塊之樣本來判定g_y (i,j))。處理電路可基於經捨位的水平及豎直位移以及第一及第二梯度來判定一或多個精細化偏移。在一些實例中，若一或多個精細化偏移之值過高(例如，大於臨限值)，則處理電路可將一或多個精細化偏移截割。

處理電路可基於所判定的一或多個精細化偏移或經截割的一或多個精細化偏移來修改預測區塊之一或多個樣本以產生經修改預測區塊(例如，形成經修改預測區塊之一或多個經修改樣本) (358)。舉例而言，處理電路可判定：

，其中g_x (i,j)為該一或多個樣本中位於(i,j)處之一樣本的第一梯度，Δv_x (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的水平位移，g_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的第二梯度，且Δv_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的豎直位移。在一些實例中，Δv_x 及Δv_y 對於預測區塊的樣本(i,j)中之每一者可為相同的。

處理電路可基於經修改預測區塊(例如，經修改預測區塊之一或多個經修改樣本)來寫碼(例如，編碼或解碼)當前區塊(360)。舉例而言，對於視訊解碼，處理電路(例如，視訊解碼器300)可基於經修改預測區塊來重建構當前區塊(例如，藉由將一或多個經修改樣本添加至所接收的殘餘值)。對於視訊編碼，處理電路(例如，視訊編碼器200)可判定當前區塊與經修改預測區塊(例如，經修改預測區塊之一或多個經修改樣本)之間的殘餘值(例如，殘餘區塊之殘餘值)，且傳信指示該等殘餘值之資訊。

下文描述本發明之實例之非限制性說明性清單。

實例1.     一種寫碼視訊資料之方法，該方法包含：執行以子區塊為基礎之仿射運動補償，以獲得用於一當前視訊資料區塊之一預測信號；以及藉由至少向該預測信號內之像素位置添加偏移來精細化該預測信號，其中該等偏移之值係基於該當前區塊之子區塊的複數個子區塊運動向量(MV)之值推導出，該複數個子區塊運動向量不都在該當前區塊之同一子區塊列或行中。

實例2.     如實例1之方法，其進一步包含基於

及

來判定該預測信號之位置(m,n )處的一偏移之一值。

實例3.     如實例2之方法，其中判定該預測信號之位置(m,n )處的該偏移之該值包含根據以下等式來判定該偏移之該值：

其中

為該預測信號之水平梯度，且

為該預測信號之豎直梯度。

實例4.     如實例2或3中之任一者之方法，其進一步包含基於該複數個子區塊MV之該等值來判定

及

之值。

實例5.     如實例4之方法，其中判定

及

之該值包含基於一a參數、一b參數、一c參數及一d參數來判定

及

之該值。

實例6.     如實例5之方法，其中基於該a 參數、該b 參數、該c 參數及該d 參數來推導

及

包含根據以下等式來推導

及

：

其中sbW 表示該當前區塊之該等子區塊中之一子區塊的一寬度，sbH 表示該當前區塊之該等子區塊中之一子區塊的一高度，且(m,n )表示該當前區塊內之一像素位置。

實例7.     如實例5或6中之任一者之方法，其進一步包含根據以下等式來推導該a 參數、該b 參數、該c 參數及該d 參數，其中仿射運動模型由6個參數表示：

其中W 表示該仿射運動模型之一第一MV與該仿射運動模型之一第二MV之間的一距離，且H 表示該仿射運動模型之該第一MV與該仿射運動模型之一第三MV之間的一距離。

實例8.     如實例5至7中之任一者之方法，其進一步包含根據以下等式來推導該a 參數、該b 參數、該c 參數及該d 參數，其中該仿射運動模型由4個參數表示：

其中W 表示該仿射運動模型之一第一MV與該仿射運動模型之一第二MV之間的一距離。

實例9.     如實例7或實例8之方法，其中該仿射運動模型之該第一MV為

，該仿射運動模型之該第二MV為

，且該仿射運動模型之該第三MV為

。

實例10.   如實例2至9中之任一者之方法，其進一步包含將

及

截割成具有小於或等於一預定義臨限值之絕對值。

實例11.   如實例2至10中之任一者之方法，其進一步包含對用於該當前區塊之預測信號執行雙向光流(BDOF)精細化。

實例12.   如實例11之方法，其進一步包含用與用於執行該BDOF精細化的精度相同的一精度來儲存

及

。

實例13.   如實例11或12中之任一者之方法，其中執行BDOF精細化包含執行一梯度計算。

實例14.   如實例13之方法，其中執行該梯度計算以用於執行BDOF精細化使用與計算該預測信號之該水平梯度及/或該豎直梯度相同的一程序。

實例15.   如實例1至14中之任一者之方法，其進一步包含將該經精細化預測信號截割成具有與非仿射運動補償中相同的一中間精度。

實例16.   如實例15之方法，其中當中間精度之一位元數目為n 時，截割該經精細化預測信號包含將該經精細化預測信號截割至- (1＜＜n )至(1＜＜n )之一範圍。

實例17.   如實例1至16中之任一者之方法，其中寫碼包含解碼。

實例18.   如實例1至17中之任一者之方法，其中寫碼包含編碼。

實例19.   一種用於寫碼視訊資料之器件，該器件包含一或多個用於執行如實例1至18中之任一者之方法的構件。

實例20.   如實例19之器件，其中該一或多個構件包含實施於電路中之一或多個處理器。

實例21.   如實例19及20中之任一者之器件，其進一步包含儲存該視訊資料之一記憶體。

實例22.   如實例19至21中之任一者之器件，其進一步包含經組態以顯示經解碼視訊資料之一顯示器。

實例23.   如實例19至22中之任一者之器件，其中該器件包含一相機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。

實例24.   如實例19至23中之任一者之器件，其中該器件包含一視訊解碼器。

實例25.   如實例19至24中之任一者之器件，其中該器件包含一視訊編碼器。

實例26.   一種電腦可讀儲存媒體，其上儲存有指令，該等指令在經執行時使得一或多個處理器執行如實例1至18中之任一者之方法。

將認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同順序執行，可添加、合併或完全省去(例如，並非全部所描述動作或事件均為實踐該等技術所必要)。此外，在某些實例中，動作或事件可例如經由多執行緒處理、中斷處理或多個處理器同時執行而非依序執行。

在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定來促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

藉助於實例而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可藉由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是針對非暫時性的有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範疇內。

指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」及「處理電路」可指上述結構或適用於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文中所描述之功能性可在經組態用於編碼及解碼的專用硬體及/或軟體模組內提供，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。

本發明之技術可實施於各種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能性態樣，但未必需要藉由不同硬體單元來實現。實情為，如上文所描述，各種單元可與適合的軟體及/或韌體一起組合於編碼解碼器硬體單元中或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合提供。

已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。

100:視訊編碼及解碼系統 102:源器件 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀媒體 112:儲存器件 114:檔案伺服器 116:目的地器件 118:顯示器件 120:記憶體 122:輸入介面 130:四分樹二元樹結構 132:寫碼樹型單元 200:視訊編碼器 202:模式選擇單元 204:殘餘產生單元 206:變換處理單元 208:量化單元 210:反量化單元 212:反變換處理單元 214:重建構單元 216:濾波器單元 218:經解碼圖像緩衝器 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:框內預測單元 227:以梯度為基礎之預測精細化單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:反量化單元 308:反變換處理單元 310:重建構單元 312:濾波器單元 314:經解碼圖像緩衝器 316:運動補償單元 318:框內預測單元 319:以梯度為基礎之預測精細化單元 320:經寫碼圖像緩衝器記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟

圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。

圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構及對應寫碼樹型單元(CTU)之概念圖。

圖3為說明可執行本發明之技術之實例視訊編碼器的方塊圖。

圖4為說明可執行本發明之技術之實例視訊解碼器的方塊圖。

圖5為說明在雙向光流(bi-directional optical flow；BDOF)中使用的經擴展寫碼單元(CU)區的概念圖。

圖6為說明子區塊運動向量(MV)選擇之一實例的概念圖。

圖7為說明寫碼視訊資料之一實例方法的流程圖。

350:步驟

352:步驟

354:步驟

356:步驟

358:步驟

360:步驟

Claims (28)

1. 一種解碼視訊資料之方法，該方法包含： 判定用於框間預測一當前區塊之一預測區塊； 判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移； 將該等水平及豎直位移捨位至對於包括一仿射模式及一雙向光流(BDOF)模式之不同框間預測模式為相同的一精度等級； 基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移； 基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊；以及 基於該經修改預測區塊來重建構該當前區塊。
2. 如請求項1之方法，其進一步包含： 對該一或多個精細化偏移進行截割， 其中修改該預測區塊之該一或多個樣本包含基於該等經截割的一或多個精細化偏移來修改該預測區塊之該一或多個樣本。
3. 如請求項1之方法，其進一步包含： 判定用於框間預測該當前區塊之一框間預測模式， 其中判定該等水平及豎直位移包含基於該經判定的框間預測模式來判定該等水平及豎直位移。
4. 如請求項1之方法，其中該精度等級為1/64。
5. 如請求項1之方法，其進一步包含： 基於該預測區塊之該一或多個樣本之一第一樣本集合來判定一第一梯度；以及 基於該預測區塊之該一或多個樣本之一第二樣本集合來判定一第二梯度， 其中判定該一或多個精細化偏移包含基於該等經捨位的水平及豎直位移以及該等第一及第二梯度來判定該一或多個精細化偏移。
6. 如請求項5之方法，其中判定該一或多個精細化偏移包含判定：

   

   ，其中g_x (i,j)為該一或多個樣本中位於(i,j)處之一樣本的第一梯度，Δv_x (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的水平位移，g_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的第二梯度，且Δv_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的豎直位移。
7. 如請求項1之方法，其中該預測區塊為一第一預測區塊，該當前區塊為一第一當前區塊，該等水平及豎直位移為第一水平及豎直位移，該一或多個精細化偏移為第一一或多個精細化偏移，該等經捨位的水平及豎直位移為第一經捨位的水平及豎直位移，且該經修改預測區塊為一第一經修改預測區塊，該方法進一步包含： 判定用於框間預測一第二當前區塊之一第二預測區塊； 判定用於該第二預測區塊之一或多個樣本之以梯度為基礎之預測精細化的第二水平及豎直位移； 將該等第二水平及豎直位移捨位至與該等第一水平及豎直位移經捨位之精度等級相同的精度等級以產生第二經捨位的水平及豎直位移； 基於該等第二經捨位的水平及豎直位移來判定第二一或多個精細化偏移； 基於該等經判定的第二一或多個精細化偏移來修改該第二預測區塊之該一或多個樣本以產生一第二經修改預測區塊；以及 基於該第二經修改預測區塊來重建構該第二當前區塊。
8. 一種編碼視訊資料之方法，該方法包含： 判定用於框間預測一當前區塊之一預測區塊； 判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移； 將該等水平及豎直位移捨位至對於包括一仿射模式及一雙向光流(BDOF)模式之不同框間預測模式為相同的一精度等級； 基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移； 基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊； 判定指示該當前區塊與該經修改預測區塊之間的一差值的殘餘值；以及 傳信指示該等殘餘值之資訊。
9. 如請求項8之方法，其進一步包含： 對該一或多個精細化偏移進行截割， 其中修改該預測區塊之該一或多個樣本包含基於該等經截割的一或多個精細化偏移來修改該預測區塊之該一或多個樣本。
10. 如請求項8之方法，其進一步包含： 判定用於框間預測該當前區塊之一框間預測模式， 其中判定該等水平及豎直位移包含基於該經判定的框間預測模式來判定該等水平及豎直位移。
11. 如請求項8之方法，其中該精度等級為1/64。
12. 如請求項8之方法，其進一步包含： 基於該預測區塊之該一或多個樣本之一第一樣本集合來判定一第一梯度；以及 基於該預測區塊之該一或多個樣本之一第二樣本集合來判定一第二梯度， 其中判定該一或多個精細化偏移包含基於該等經捨位的水平及豎直位移以及該等第一及第二梯度來判定該一或多個精細化偏移。
13. 如請求項12之方法，其中判定該一或多個精細化偏移包含判定：

    

    ，其中g_x (i,j)為該一或多個樣本中位於(i,j)處之一樣本的第一梯度，Δv_x (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的水平位移，g_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的第二梯度，且Δv_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的豎直位移。
14. 如請求項8之方法，其中該預測區塊為一第一預測區塊，該當前區塊為一第一當前區塊，該等水平及豎直位移為第一水平及豎直位移，該一或多個精細化偏移為第一一或多個精細化偏移，該等經捨位的水平及豎直位移為第一經捨位的水平及豎直位移，該經修改預測區塊為一第一經修改預測區塊，且該等殘餘值包含第一殘餘值，該方法進一步包含： 判定用於框間預測一第二當前區塊之一第二預測區塊； 判定用於該第二預測區塊之一或多個樣本之以梯度為基礎之預測精細化的第二水平及豎直位移； 將該等第二水平及豎直位移捨位至與該等第一水平及豎直位移經捨位之精度等級相同的精度等級以產生第二經捨位的水平及豎直位移； 基於該等第二經捨位的水平及豎直位移來判定第二一或多個精細化偏移； 基於該等經判定的第二一或多個精細化偏移來修改該第二預測區塊之該一或多個樣本以產生一第二經修改預測區塊； 判定指示該第二當前區塊與該第二經修改預測區塊之間的一差值之第二殘餘值；以及 傳信指示該等第二殘餘值之資訊。
15. 一種用於寫碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存一預測區塊之一或多個樣本；以及 處理電路，其經組態以： 判定用於框間預測一當前區塊之該預測區塊； 判定用於該預測區塊之該一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移； 將該等水平及豎直位移捨位至對於包括一仿射模式及一雙向光流(BDOF)模式之不同框間預測模式為相同的一精度等級； 基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移； 基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊；以及 基於該經修改預測區塊來寫碼該當前區塊。
16. 如請求項15之器件，其中為了寫碼該當前區塊，該處理電路經組態以基於該經修改預測區塊來重建構該當前區塊。
17. 如請求項15之器件，其中為了寫碼該當前區塊，該處理電路經組態以： 判定指示該當前區塊與該經修改預測區塊之間的一差值的殘餘值；以及 傳信指示該等殘餘值之資訊。
18. 如請求項15之器件，其中該處理電路經組態以： 對該一或多個精細化偏移進行截割， 其中為了修改該預測區塊之該一或多個樣本，該處理電路經組態以基於該等經截割的一或多個精細化偏移來修改該預測區塊之該一或多個樣本。
19. 如請求項15之器件，其中該處理電路經組態以： 判定用於框間預測該當前區塊之一框間預測模式， 其中為了判定該等水平及豎直位移，該處理電路經組態以基於該經判定的框間預測模式來判定該等水平及豎直位移。
20. 如請求項15之器件，其中該精度等級為1/64。
21. 如請求項15之器件，其中該處理電路經組態以： 基於該預測區塊之該一或多個樣本之一第一樣本集合來判定一第一梯度；以及 基於該預測區塊之該一或多個樣本之一第二樣本集合來判定一第二梯度， 其中為了判定該一或多個精細化偏移，該處理電路經組態以基於該等經捨位的水平及豎直位移以及該等第一及第二梯度來判定該一或多個精細化偏移。
22. 如請求項21之器件，其中為了判定該一或多個精細化偏移，該處理電路經組態以判定：

    

    

    ，其中g_x (i,j)為該一或多個樣本中位於(i,j)處之一樣本的第一梯度，Δv_x (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的水平位移，g_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的第二梯度，且Δv_y (i,j)為該一或多個樣本中位於(i,j)處之該樣本的經捨位的豎直位移。
23. 如請求項15之器件，其中該預測區塊為一第一預測區塊，該當前區塊為一第一當前區塊，該等水平及豎直位移為第一水平及豎直位移，該一或多個精細化偏移為第一一或多個精細化偏移，該等經捨位的水平及豎直位移為第一經捨位的水平及豎直位移，且該經修改預測區塊為一第一經修改預測區塊，且其中該處理電路經組態以： 判定用於框間預測一第二當前區塊之一第二預測區塊； 判定用於該第二預測區塊之一或多個樣本之以梯度為基礎之預測精細化的第二水平及豎直位移； 將該等第二水平及豎直位移捨位至與該等第一水平及豎直位移經捨位之精度等級相同的精度等級以產生第二經捨位的水平及豎直位移； 基於該等第二經捨位的水平及豎直位移來判定第二一或多個精細化偏移； 基於該等經判定的第二一或多個精細化偏移來修改該第二預測區塊之該一或多個樣本以產生一第二經修改預測區塊；以及 基於該第二經修改預測區塊來寫碼該第二當前區塊。
24. 如請求項15之器件，其進一步包含經組態以顯示經解碼視訊資料之一顯示器。
25. 如請求項15之器件，其進一步包含經組態以捕捉待編碼之該視訊資料的一相機。
26. 如請求項15之器件，其中該器件包含一相機、一電腦、一無線通信器件、一廣播接收器器件或一機上盒中之一或多者。
27. 一種電腦可讀儲存媒體，其上儲存指令，該等指令在經執行時使得一或多個處理器： 判定用於框間預測一當前區塊之一預測區塊； 判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移； 將該等水平及豎直位移捨位至對於包括一仿射模式及一雙向光流(BDOF)模式之不同框間預測模式為相同的一精度等級； 基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移； 基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊；以及 基於該經修改預測區塊來寫碼該當前區塊。
28. 一種用於寫碼視訊資料之器件，該器件包含： 用於判定用於框間預測一當前區塊之一預測區塊的構件； 用於判定用於該預測區塊之一或多個樣本之以梯度為基礎之預測精細化的水平及豎直位移的構件； 用於將該等水平及豎直位移捨位至對於包括一仿射模式及一雙向光流(BDOF)模式之不同框間預測模式為相同的一精度等級的構件； 用於基於該等經捨位的水平及豎直位移來判定一或多個精細化偏移的構件； 用於基於該等經判定的一或多個精細化偏移來修改該預測區塊之該一或多個樣本以產生一經修改預測區塊的構件；以及 用於基於該經修改預測區塊來寫碼該當前區塊的構件。

Images