TWI736906B - 運動向量精度細化 - Google Patents

Abstract

一種對包括視頻的數位表示的位元流進行解碼的方法，包含：從位元流解碼當前視頻塊的運動資訊，使用一個或多個範本估計當前視頻塊的匹配成本，其中一個或多個範本中的每個包含具有多個樣本的視頻塊，以及基於解碼條件並使用具有最小匹配成本的範本來細化當前視頻塊的運動向量的精度。

Description

運動向量精度細化

本文檔涉及視頻編碼技術。

相關申請的交叉引用

根據適用的《專利法》和/或《巴黎公約》的規定，本申請是為了及時要求2018年6月7日提交的在先美國臨時專利申請No. 62 / 682,150的權益，其全部公開以引用方式併入本公開，作為本申請的公開的一部分。

儘管視訊壓縮技術取得了進步，但數位視訊仍在互聯網和其他數位通信網路上占最大的頻寬使用量。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視訊使用所需的頻寬將繼續增長。

公開了與視頻編碼中的解碼器側運動向量推導（Side Motion Vector Derivation，DMVD）相關的技術。該技術可以應用於現有的視頻編碼標準，如HEVC、或最終確定的標準多功能視頻編碼。該技術也可以應用於未來的視頻編碼標準或視頻編解碼器。

在另一示例方面，公開了一種在視頻解碼過程期間細化運動向量的精度的方法。該方法包括從位元流解碼當前視頻塊的運動資訊，使用一個或多個範本估計當前視頻塊的匹配成本，其中一個或多個範本中的每個包含具有多個樣本的視頻塊，以及基於解碼條件並使用具有最小匹配成本的範本來細化當前視頻塊的運動向量的精度。

在又一示例方面，公開了一種裝置，包括被配置為實施上述方法中的每一個的處理器。

在再一示例方面，這些方法可以以電腦可運行指令的形式體現並存儲在電腦可讀程式介質上。

在本文檔中進一步描述了這些和其他方面。

本文檔提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮或解碼的數位視訊的品質。此外，視訊編碼器還可在編碼處理期間實施這些技術，以便重建用於進一步編碼的經解碼的幀。

為了便於理解，在本文檔中使用章節標題，並且不將實施例和技術限制於對應部分。這樣，來自一個部分的實施例可以與來自其他部分的實施例組合。此外，雖然一些實施例詳細描述了視頻編碼步驟，但是應該理解，將由解碼器實施解碼撤銷（undo）編碼的對應步驟。此外，術語視頻處理包括視頻編碼或壓縮、視頻解碼或解壓縮以及視頻轉碼，其中視頻像素從一種壓縮格式表示為另一壓縮格式或以不同的壓縮位元速率表示。

1.          技術框架

視頻編碼標準主要通過開發眾所周知的ITU-T和ISO / IEC標準而發展。ITU-T產生了H.261和H.263，ISO / IEC產生了MPEG-1和MPEG-4 Visual，兩個組織聯合產生了H.262 / MPEG-2視頻和H.264 / MPEG-4高級視頻編碼（Advanced Video Coding ，AVC）和H.265 / HEVC 標準。從H.262開始，視頻編碼標準基於利用時間預測加變換編碼的混合視頻編碼結構。為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG於2015年聯合成立了聯合視頻探索團隊（Joint Video Exploration Team，JVET）。從那時起，許多新方法被JVET採用並被引入名為聯合搜索模型（Joint Exploration Model，JEM）的參考軟體中。在2018年4月，VCEG（Q6 / 16）和ISO / IEC JTC1 SC29 / WG11（MPEG）之間的聯合視頻專家組（Joint Video Expert Team, JVET）被創建用於VVC標準，目標是與HEVC相比降低50％的位元速率。

2.    HEVC / H.265中的幀間預測

每個幀間預測的預測單元（Prediction Unit，PU）具有用於一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。也可以使用inter_pred_idc來信號通知兩個參考圖片清單中的一個的使用。可以將運動向量明確地編碼為相對於預測器的增量。

當用跳過模式對編碼單元（Coding Unit，CU）進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式，從而從相鄰PU獲得當前PU的運動參數，包括空間和時間候選。Merge模式可以應用於任何幀間預測的PU，而不僅應用於跳過模式。Merge模式的替代是運動參數的顯式傳輸，其中，對於每個PU，明確地用信號通知運動向量（更準確地說，與運動向量預測器相比的運動向量差）、每個參考圖片清單的對應參考圖片索引和參考圖片清單使用。在本文檔中，這種模式被稱為高級運動向量預測（Advanced Motion Vector Prediction，AMVP）。

當信令指示將使用兩個參考圖片清單中的一個時，從一個樣本塊產生PU。這被稱為“單向預測（uni-prediction）”。單向預測可用於P條帶和B條帶兩者。

當信令指示將使用兩個參考圖片清單時，從兩個樣本塊產生PU。這被稱為“雙向預測（bi-prediction）”。雙向預測僅適用於B條帶。

以下文本提供了HEVC中指定的幀間預測模式的詳細資訊。描述將從Merge模式開始。

2.1.1     Merge模式

2.1.1.1Merge模式的候選推導

當使用Merge模式預測PU時，從位元流解析指向Merge候選清單中的條目的索引並將其用於檢索運動資訊。該列表的建構（construction）在HEVC標準中指定，並且可以根據以下步驟順序進行總結： 步驟1：初始候選推導 步驟1.1：空間候選推導 步驟1.2：空間候選的冗餘校驗 步驟1.3：時間候選推導 步驟2：插入額外的候選 步驟2.1：創建雙向預測候選 步驟2.2：插入零運動候選

這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選當中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選當中選擇最多一個Merge候選。由於在解碼器處假設恒定數量的候選用於每個PU，因此當從步驟1獲得的候選的數量未達到在條帶報頭中用信號通知的最大Merge候選數量（MaxNumMergeCand）時，生成額外的候選。由於候選的數量是恒定的，因此使用截斷的一元二值化（Truncated Unary binarization，TU）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選清單相同。

在下文中，詳細描述了與上述步驟相關的操作。

2.1.1.2空間候選推導

在空間Merge候選的推導中，在位於圖2描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A₁ 、B₁ 、B₀ 、A₀ 和B₂ 。僅當位置A₁ 、B₁ 、B₀ 、A₀ 的任何PU不可用（例如，因為它屬於另一條帶或區塊）或者是幀內編碼時，才考慮位置B₂ 。在添加位置A₁ 處的候選之後，對剩餘候選的添加進行冗餘校驗，其確保具有相同運動資訊的候選被排除在清單之外，使得編碼效率提高。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮圖3中用箭頭連接的對，並且僅在用於冗餘校驗的對應候選具有不一樣的運動資訊時，才將候選添加到列表。重複運動資訊的另一來源是與不同於2N×2N的分區相關聯的“第二PU”。作為示例，圖4A和圖4B描繪了分別針對N×2N和2N×N的情況的第二PU。當當前PU被分區為N×2N時，位置A1處的候選不被考慮用於列表建構。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分區為2N×N時，不考慮位置B₁ 。

2.1.1.3時間候選推導

在該步驟中，只有一個候選被添加到列表中。具體地，在該時間Merge候選的推導中，基於共同定位的PU來推導縮放的運動向量，該共同定位的PU屬於給定參考圖片清單內與當前圖片具有最小POC差的圖片。在條帶報頭中明確地用信號通知要用於推導共同定位的PU的參考圖片清單。如圖5中的虛線所示獲得用於時間Merge候選的縮放的運動向量，其是使用POC距離tb和td從共同定位的PU的運動向量縮放的，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差，td被定義為是共同定位的圖片的參考圖片與共同定位的圖片之間的POC差。時間Merge候選的參考圖片索引被設置為等於零。HEVC規範中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量，一個用於參考圖片清單0，另一用於參考圖片清單1，並且結合該兩個運動向量以獲得雙向預測Merge候選。

在屬於參考幀的共同定位的PU（Y）中，在候選C0和C₁ 之間選擇時間候選的位置，如圖6所示。如果位置C₀ 處的PU不可用、是幀內編碼的、或者在當前CTU行之外，則使用位置C₁ 。否則，位置C₀ 用於時間Merge候選的推導。

2.1.1.4  插入額外的候選

除了空間和時間Merge候選之外，還存在兩種額外類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表（左側）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建添加到最終列表（右側）的組合的雙向預測Merge候選的情況。關於被認為生成這些額外的Merge候選的組合有許多規則。

插入零運動候選以填充Merge候選列表中的剩餘條目，從而達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是1和2，分別用於單向和雙向預測。最後，不對這些候選執行冗餘校驗。

2.1.1.5用於並行處理的運動估計區域

為了加速編碼處理，可以並存執行運動估計，從而同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成時才能從相鄰PU推導運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域（Motion Estimation Region，MER），其尺寸在圖片參數集中使用“log2_parallel_merge_level_minus2”語法元素信號通知。當定義MER時，落入同一區域的Merge候選被標記為不可用，因此在列表建構中不予考慮。

2.1.2     AMVP

AMVP利用運動向量與相鄰PU的時空相關性，其用於運動參數的顯式傳輸。對於每個參考圖片清單，通過首先校驗在時間上相鄰的PU位置的上方，左側的可用性，移除冗餘候選並添加零向量以使候選列表為恒定長度來建構運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，使用截斷的一元來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖8）。在以下部分中，提供了關於運動向量預測候選的推導過程的細節。

2.1.2.1 AMVP候選的推導

圖8總結了運動向量預測候選的推導過程。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於圖2所示的五個不同位置的每個PU的運動向量推導兩個運動向量候選。

對於時間運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共同定位的位置推導的。在產生時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片清單內的其參考圖片索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將額外的零運動向量候選添加到列表中。

2.1.2.2空間運動向量候選

在空間運動向量候選的推導中，在五個潛在候選當中考慮最多兩個候選，其從位於如圖2所示的位置的PU中推導，那些位置與運動Merge的位置相同。將當前PU的左側的推導順序定義為A₀ 、A₁ ，以及縮放的A₀ 、縮放的A₁ 。將當前PU的上側的推導順序定義為B₀ 、B₁ 、B₂ ，縮放的B₀ 、縮放的B₁ 、縮放的B₂ 。因此，對於每一側，存在可以用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，兩種情況使用空間縮放。四種不同的情況總結如下： 沒有空間縮放 - （1）相同的參考圖片清單，以及相同的參考圖片索引（相同的POC） - （2）不同的參考圖片清單，但相同的參考圖片（相同的POC） 空間縮放 - （3）相同的參考圖片清單，但不同的參考圖片（不同的POC） - （4）不同的參考圖片清單，以及不同的參考圖片（不同的POC）

首先校驗無空間縮放的情況，然後校驗空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片清單時，考慮空間縮放。如果左候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助左和上MV候選的並行推導。否則，不允許對上述運動向量進行空間縮放。

在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU的運動向量，如圖9所示。主要區別是將參考圖片清單和當前PU的索引作為輸入給出；實際縮放過程與時間縮放過程相同。

2.1.2.3時間運動向量候選

除了參考圖片索引推導之外，用於推導時間Merge候選的所有過程與用於推導空間運動向量候選的過程相同（參見圖6）。將參考圖片索引用信號通知給解碼器。

2.2 JEM中的新的幀間預測方法

2.2.1模式匹配的運動向量推導

模式匹配的運動向量推導（Pattern matched motion vector derivation PMMVD）模式是基於畫面播放速率上轉換（FRUC）技術的特殊Merge模式。利用該模式，在解碼器側推導塊的運動資訊，而不是信號通知塊的運動資訊。

當CU的Merge標誌為真時，向CU信號通知FRUC標誌。當FRUC標誌為假時，信號通知Merge索引並使用常規Merge模式。當FRUC標誌為真時，信號通知額外的FRUC模式標誌以指示將使用哪種方法（雙邊匹配或範本匹配）來推導塊的運動資訊。

在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於對正常Merge候選所做的RD成本選擇。即，通過使用RD成本選擇來校驗CU的兩種匹配模式（雙邊匹配和範本匹配）兩者。引起最小成本的那個匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用相關的匹配模式。

FRUC Merge模式中的運動推導過程有兩個步驟：首先執行CU級運動搜索，然後進行子CU級運動細化。在CU級，基於雙邊匹配或範本匹配，推導整個CU的初始運動向量。首先，生成MV候選列表，並且將引起最小匹配成本的候選選擇為進一步CU級細化的起點。然後，執行起點附近的基於雙邊匹配或範本匹配的局部搜索，並且將引起最小匹配成本的MV作為整個CU的MV。隨後，以推導的CU運動向量作為起點，在子CU級進一步細化運動資訊。

例如，對於

CU運動資訊推導執行以下推導過程。在第一階段，推導出了整個

CU的MV。在第二階段，該CU進一步被劃分為

子CU。M值的計算方法如（1）所示，

是預定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV。

(1)

2.2.2可選時間運動向量預測

在可選時間運動向量預測（ATMVP）方法中，通過從小於當前CU的塊中提取多組運動資訊（包括運動向量和參考索引）來修改運動向量時間運動向量預測（TMVP）。如圖10所示，子CU是方形N×N塊（默認地將N設置為4）。

ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步是利用所謂的時間向量識別參考圖片中的對應塊。參考圖片被稱為運動源圖片。第二步是將當前CU劃分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖10所示。

在第一步驟中，由當前CU的空間相鄰塊的運動資訊確定參考圖片和對應塊。為了避免相鄰塊的重複掃描過程，使用當前CU的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應塊，其中對應塊（有時稱為並置塊）總是相對於當前CU位於右下或中心位置。

在第二步驟中，通過向當前CU的座標添加時間向量，通過運動源圖片中的時間向量來識別子CU的對應塊。對於每個子CU，其對應塊（覆蓋中心樣本的最小運動網格）的運動資訊用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的參考索引和運動向量，其中運動縮放和其他過程也適用。例如，解碼器校驗是否滿足低延遲條件（即，當前圖片的所有參考圖片的POC小於當前圖片的POC）並且可能使用運動向量MV_x （對應於參考圖片清單X的運動向量）來預測每個子CU的運動向量MV_y （其中X等於0或1並且Y等於1-X）。

2.2.3仿射運動補償預測

在HEVC中，僅將平移運動模型應用於運動補償預測（Motion Compensation Prediction，MCP）。在現實世界中，存在多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖11所示，塊的仿射運動場由兩個控制點運動向量描述。

塊的運動向量場（Motion Vector Field，MVF）由以下等式描述：

(2) 其中（v_0x ,v_0y ）是左上角控制點的運動向量，（v_1x ,v_1y ）是右上角控制點的運動向量。

為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸

如等式3中推導，其中MvPre是運動向量分數準確度（在JEM中是1/16），（v_2x ,v_2y ）是根據等式2計算的左下控制點的運動向量。

(3)

在通過等式3推導之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。

為了推導每個M×N子塊的運動向量，根據等式2計算每個子塊的中心樣本的運動向量，如圖12所示，並取整到1/16分數準確度。然後，應用2.2.3節中提到的運動補償插值濾波器，以利用所推導的運動向量生成每個子塊的預測。

在MCP之後，對每個子塊的高準確度運動向量進行取整，並將其以與正常運動向量相同的準確度保存。

在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位元流中用信號通知CU級的仿射標誌以指示是否使用AF_INTER模式。在該模式中，使用相鄰塊構造具有運動向量對

的候選列表。如圖13所示，從塊A、B或C的運動向量中選擇

。根據參考清單以及用於相鄰塊的參考的POC、用於當前CU的參考的POC和當前CU的POC之間的關係來縮放來自相鄰塊的運動向量。從相鄰塊D和E中選擇

的方法是類似的。如果候選列表的數量小於2，則由通過複製每個AMVP候選而組成的運動向量對來填充列表。當候選清單大於2時，首先根據相鄰運動向量的一致性（候選對中的兩個運動向量的相似性）對候選進行排序，並且僅保留前兩個候選。用RD成本校驗來確定將哪個運動向量對候選選擇為當前CU的控制點運動向量預測（Control Point Motion Vector Prediction，CPMVP）。並且在位元流中用信號通知指示候選清單中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計並找到控制點運動向量（Control Point Motion Vector，CPMV）。然後在位元流中用信號通知CPMV和CPMVP的差。

當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得用仿射模式編碼的第一個塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖14A所示。如果相鄰左下塊A以仿射模式進行編碼，如圖14B所示，推導包含塊A的CU的左上角、右上角和左下角的運動向量

、

和

。並且根據

、

和

計算當前CU左上角的運動向量

。其次，計算當前CU的右上方的運動向量。

在推導出當前CU

和

之後，根據簡化的仿射運動模型等式2生成當前CU的MVF。為了識別當前CU是否以AF_MERGE模式進行編碼，當至少有一個相鄰塊以仿射模式進行編碼時，在位元流中用信號通知仿射標誌。

2.2.4 MV細化

MV細化是基於模式的MV搜索，以雙邊匹配成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（Unrestricted Center-Biased Diamond Search，UCBDS）和自我調整交叉搜索，分別在CU級和子CU級進行MV細化。對於CU和子CU級MV細化兩者，以四分之一亮度樣本MV精度直接搜索MV，並且接著是八分之一亮度樣本MV細化。將用於CU和子CU步驟的MV細化的搜索範圍設置為等於8個亮度樣本。

2.2.5範本匹配FRUC Merge模式中預測方向的選擇

在雙邊匹配Merge模式中，始終應用雙向預測，因為CU的運動資訊是基於在兩個不同的參考圖片中沿當前CU的運動軌跡的兩個塊之間的最近匹配推導的。對於範本匹配Merge模式沒有這樣的限制。在範本匹配Merge模式中，編碼器可以從清單0中的單向預測、列表1中的單向預測或雙向預測當中為CU選擇。選擇基於如下的範本匹配成本： 如果costBi>=factor*min（cost0,cost1） 則使用雙向預測； 否則，如果cost0>=cost1 則使用列表0中的單向預測； 否則， 使用列表1中的單向預測； 其中cost0是清單0範本匹配的SAD，cost1是清單1範本匹配的SAD，costBi是雙向預測範本匹配的SAD。factor的值等於1.25，這意味著選擇過程偏向於雙向預測。 幀間預測方向選擇僅應用於CU級範本匹配過程。

2.2.6解碼器側運動向量細化

在雙向預測操作中，對於一個塊區域的預測，將分別使用list0的運動向量（MV）和list1的MV形成的兩個預測塊進行組合以形成單個預測信號。在解碼器側運動向量細化（Decoder-Side Motion Vector Refinement，DMVR）方法中，通過雙邊範本匹配過程進一步細化雙向預測的兩個運動向量。雙邊範本匹配應用在解碼器中，以在雙邊範本和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而無需傳輸附加的運動資訊。

在DMVR中，分別從列表0的初始MV0和列表1的MV1，將雙邊範本生成為兩個預測塊的加權組合（即平均），如圖15所示。範本匹配操作包括計算所生成的範本與參考圖片中的（在初始預測塊周圍的）樣本區域之間的成本度量。對於兩個參考圖片中的每個，將產生最小範本成本的MV考慮為該列表的更新MV以替換原始MV。在JEM中，對每個列表搜索九個MV候選。該九個MV候選包括原始MV和8個與原始MV在水準或垂直方向上或兩個方向上具有一個亮度樣本偏移的環繞的MV。最後，將兩個新的MV，即如圖15中所示的MV0'和MV1'，用於生成最終的雙向預測結果。將絕對差之和（SAD）用作成本度量。請注意，當計算由一個環繞的MV生成的預測塊的成本時，實際上使用取整的MV（到整數像素）而不是真實MV來獲得預測塊。

將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，另一MV來自未來的參考圖片，而無需傳輸額外的語法元素。在JEM中，當對CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

2.2.7問題的示例

如DMVR和FRUC的DMVD方法執行運動估計以推導或細化運動資訊，這對於解碼器來說非常複雜。在運動估計期間，它們都有一個共同的問題：對於塊中的所有像素計算範本和候選塊之間的差（絕對差、平方差等）並將其相加，然後將其用於選擇最佳匹配塊。這不是必需的，因為部分像素的差可能足以選擇最佳候選塊或MV。同時，通常僅在運動向量的推導或細化中使用亮度分量，並且不考慮色度分量。

對於DMVR，其具有另一個複雜性問題：它執行兩次運動補償，一次用於生成範本，一次用於生成最終預測塊。結果，對於每個參考圖片清單（即，預測方向），在初始MV和細化的MV僅具有分數分量的情況下，它執行兩次水準插值和垂直插值兩者。這極大地增加了最壞情況的複雜性。同時，DMVR僅在Merge模式下工作，而不能在AMVP模式下工作。在MV細化中，它將信號通知的MV（來自Merge候選的推導MV）作為起始MV，並校驗其環繞的MV。然而，不考慮信號通知的MV的MV精度。在AMVR中，可能選擇低精度MV。例如，假設最高可允許MV精度是1/4像素，在AMVR中，可能使用4像素或1像素MV。在這種情況下，DMVR可用於細化MV精度。與可以在子塊級應用的FRUC不同，除了ATMVP和STMVP情況之外，DMVR在塊級執行，這可能導致編碼性能損失。

對於FURC，當執行雙邊匹配時，考慮起始MV和候選MV之間的MV差以抑制不可靠的運動向量。將MV差乘以固定的加權因數，這可能不合理。對於較大的塊，SAD起主導作用並且MV差是可忽略的，並且對於較小的塊，MV差可能太大。

2.2.8示例實施例

我們提議了來降低DMVD方法的複雜度並提高編碼性能的幾個方面。所公開的方法可以應用於現有的DMVD方法，但也可以應用於解碼器側的運動/模式推導的未來方法。

第一，僅針對解碼器側運動估計中的部分像素，即，在運動資訊推導或細化過程中，計算範本和候選塊之間的成本（例如，考慮失真和MV的差、失真或成本）。第二，對於DMVR，插值次數減少。第三，使用所公開的技術的一些實施例將DMVR應用於AMVP模式。第四，對於不同的塊尺寸，MV差的權重因數可以不同。

以下列舉的示例提供了一些方式，通過這些方式，可以將所公開的技術體現到視頻解碼過程中。 1.  將prec表示為運動向量精度，當prec等於N時，它表示運動向量具有1/2 ^ N像素精度。N可以是正整數、零或負整數。DMVR可用於細化MV精度。 a.         在具有或不具有AMVR的AMVP模式中，如果選擇低精度MV，則可以使用DMVR來細化MV精度。信號通知的MV可以用作解碼器側搜索的起點。 b.         在Merge模式下，如果當前塊繼承了低精度MV，則DMVR也可用於細化MV精度。繼承的MV被設置為起點。 c.          MV從精度prec或prec + 1逐漸細化到其更高精度（即，prec + K，其中K是正整數值）或者到條帶/圖片/序列允許的最高精度。 i.           對於MV精度p，校驗起點周圍最近的Np個點（精度為p），並將最佳的一個選擇為下一個MV精度的起點。將以最高MV精度選擇的最佳的一個用作最終MV。 ii.           可替代地，這種漸進式MV精度細化過程可僅應用於若干MV精度。例如，如果當前塊的MV精度是4像素，則僅校驗整數MV精度和1/4 MV精度。 iii.           可替代地，這種漸進式MV精度細化過程可以在校驗給定MV精度之後終止。 iv.           可替代地，如果在細化迴圈結束之後未改變起點，即MV精度未被真正被細化，則這種漸進式MV精度細化過程可以終止。 d.         在一個示例中，校驗起點周圍的幾個固定點，並將最佳的一個選擇為最終MV。 i.           這些固定點可以取決於MV精度，使得包括所有或幾個更高的MV精度（高於prec或prec – 1）。 ii.           可替代地，這些固定點與MV精度無關。僅選擇距起點固定距離的點。 2.  當CU / PU採用一個或多個低精度MV（或MV分量）時， DMVR細化可以隱式地應用或者由CU / PU級DMVR標誌顯示地控制。 a.         在一個示例中，僅針對採用AMVR模式（即，採用低精度MV）的CU / PU信號通知DMVR標誌。在這種情況下，在AMVR索引之後信號通知DMVR標誌。 在一個示例中，僅信號通知一個DMVR標誌。在雙預測的情況下，這種DMVR標誌被應用於兩個預測方向。 i.    在一個示例中，如果針對每個預測方向分別控制AMVR，則信號通知一個DMVR標誌，並將其應用於採用低精度MV的預測方向（或多個預測方向）。 1.     可替代地，針對採用低精度MV的每個預測方向信號通知單獨的DMVR標誌。 b.         在一個示例中，在非AMVR情況下，針對以AMVP模式編碼且具有低精度MV的PU或包含該PU的CU，信號通知DMVR標誌。在這種情況下，在PU的運動資訊或CU中的所有PU的運動資訊之後信號通知DMVR標誌。 c.          在一個示例中，在非AMVR情況下，針對具有低精度MV的PU或包含該PU的CU，信號通知DMVR標誌，而不管PU / CU是否以AMVP模式或Merge模式編碼。在這種情況下，在PU的運動資訊或CU中的所有PU的運動資訊之後信號通知DMVR標誌。 d.         可以在PU / CU中的最低MV精度上有條件地信號通知DMVR標誌。例如，如果最低MV精度高於給定值，則始終禁用DMVR並且不信號通知DMVR標誌。 i.           可替代地，如果最低MV精度小於給定值，則始終啟用DMVR並且不信號通知DMVR標誌。 e.          可以在塊尺寸/塊形狀/編碼模式等上有條件地信號通知DMVR標誌。 3.  在現有的DMVD方法中，僅考慮亮度分量來推導或細化運動向量。提議還考慮色度分量。用Ci表示給定運動向量的三個顏色分量的成本（其中i指示顏色分量索引）。 a.         最終成本被定義為Wi * Ci，其中Wi指示第i個顏色分量的權重。 b.         可替代地，最終成本定義為（W0 * C0 + W1 *（C1 + C2））。在一些示例中，W0或W1等於1。 c.          在一個示例中，當將DMVR應用於色度分量時，可以應用運動向量的取整，使得可以利用整數運動向量，並且不需要對色度分量應用插值。 d.         在一個示例中，當將DMVR應用於色度分量時，如果需要插值，則可以應用較短抽頭的插值濾波器（諸如雙線性濾波器）。 4.  上述方法可以應用於某些顏色分量或所有顏色分量。 a.         可以將不同的規則應用於不同的顏色分量，或者亮度和色度分量可以利用不同的規則。 b. 可替代地，可以在序列參數集、圖片參數集、條帶報頭等中進一步信號通知如何以及是否應用上述方法。

圖16是在視頻解碼的示例方法1600的流程圖。方法1600包括從位元流解碼（1602）當前視頻塊的運動資訊；使用一個或多個範本估計（1604）當前視頻塊的匹配成本，其中一個或多個範本中的每個包含具有多個樣本的視頻塊；以及基於解碼條件並使用具有最小匹配成本的範本來細化（1606）當前視頻塊的運動向量的精度。

2.2.8節提供了可以通過方法1600實施的額外的示例實施例和變型。可以使用以下條款來描述一些示例。

1.方法1600，如上所述。

2.如條款1所述的方法，其中解碼條件包括選擇低精度運動向量。這裡，低精度可以意味著，例如，與用於解碼其他運動向量的其他精度相比較。可替代地，低精度可以意味著像素解析度是整數像素的倍數。

3.如條款1所述的方法，其中解碼條件是Merge模式，並且其中運動向量由當前塊繼承。

4.如條款1至3中任一項所述的方法，其中所述細化包括每次將運動向量精度細化一個整數值。

5.如條款1至3中任一項所述的方法，其中所述細化包括每次通過比例因子細化運動向量精度。

6.如條款5所述的方法，其中比例因數是2，從而將4像素精度降低到2像素解析度到1像素解析度到1/2像素解析度到1/4像素解析度。

7.如條款1至3中任一項所述的方法，其中所述細化包括每次以最小精度的多個單位細化運動向量精度。

8.如條款7所述的方法，其中最小精度對應於1/4像素解析度，並且其中多個單位是整數。

9.如條款1至3中任一項所述的方法，包括：檢查起始點周圍的最近Np點，其中N是整數，並且p是運動向量的精度；並選擇最近的Np點中最好的一個作為運動細化的下一次反覆運算的下一個起始點。

10.如條款9所述的方法，其中基於終止條件終止所述檢查，並且其中所述終止條件包括與取決於精度p的N值的比較。

11.如條款1所述的方法，還包括使用雙線性插值濾波器執行運動補償。

12.一種視頻解碼裝置，包括：處理器，被配置為實施條款1至11中的一個或多個所述的方法。

13.一種視頻編碼裝置，包括：處理器，被配置為實施條款1至11中的一個或多個所述的方法。

14.一種電腦程式產品，其上存儲有電腦代碼，該代碼在由處理器運行時使處理器實施條款1至11中的一個或多個所述的方法。

圖17示出了可用以實施本發明所公開的技術的各個部分的硬體設備1700的示例實施例的框圖。硬體設備1700可以是筆記型電腦、智慧手機、平板電腦、攝像機或能夠處理視頻的其他類型的設備。設備1700包括處理資料的處理器或控制器1702，以及與處理器1702通信、存儲和/或緩衝資料的記憶體1704。例如，處理器1702可以包括中央處理單元（Central Processing Unit，CPU）或微控制器單元（Microcontroller Unit，MCU）。在一些實施方式中，處理器1702可包含現場可程式設計閘陣列（Field-Programmable Gate-Array，FPGA）。在一些實施方式中，設備1700包括或與圖形處理單元（Graphics Processing Unit，GPU）、視頻處理單元（Video Processing Unit，VPU）和/或無線通訊單元通信，以實現智慧手機設備的各種視覺和/或通信資料處理功能。例如，記憶體1704可以包括並存儲處理器可運行代碼，該代碼在由處理器1702運行時，將設備1700配置為執行各種操作，例如諸如接收資訊、命令和/或資料，處理資訊和資料，以及將處理過的資訊/資料發送或提供給另一設備，諸如執行器或外部顯示器。為了支援設備1700的各種功能，記憶體1704可以存儲資訊和資料，諸如指令、軟體、值、圖像以及處理器1702處理或引用的其他資料。例如，可以使用各種類型的隨機存取記憶體（Random Access Memory，RAM）設備、唯讀記憶體（Read Only Memory，ROM）設備、快閃記憶體設備和其他合適的存儲介質來實施記憶體1704的存儲功能。設備1700還可以包括專用視頻處理電路1706，用於執行重複計算功能，諸如變換和解碼。

圖18是示出視訊編碼器的示例實施方式的框圖。視訊編碼器對使用諸如變換、運動估計和殘差誤差編碼的編碼工具編碼的視頻圖片進行操作。在編碼器處對編碼的視頻幀進行重構（運動補償），並將其用作用於其他視頻圖片的幀間編碼的參考圖片。本文檔中描述的技術可以由視訊編碼器或視頻解碼器使用諸如關於圖17所描述的硬體平臺來實施。

從前述內容可以理解，本文已經出於說明的目的描述了當前所公開的技術的具體實施例，但是在不脫離本發明的範圍的情況下可以做出各種修改。因此，除了所附權利要求之外，當前所公開的技術不受限制。

本文檔中描述的公開的和其他實施例、模組和功能性操作可以在數位電子電路中實施，或者在電腦軟體、固件或硬體中實施，包括本文檔中公開的結構及其結構等同物，或者以他們的一個或多個的組合實施。所公開的和其他實施例可以被實施為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、記憶體設備、影響機器可讀傳播信號的物質的合成、或者它們中的一個或多個的組合。術語“資料處理裝置”包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或者多個處理器或電腦。除了硬體之外，裝置可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器固件、協定棧、資料庫管理系統、作業系統及其一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對資訊進行編碼以便傳輸到合適的接收器裝置。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的文件相對應。程式可以存儲在保存其他程式或資料的檔的部分中（例如，存儲在標記語言文檔中的一個或多個腳本）、專用於所討論的程式的單個檔中、或多個協調檔（例如，存儲一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站或分佈在多個網站並通過通信網路互連。

本文檔中描述的處理和邏輯流可以由一個或多個可程式設計處理器執行，該一個或多個處理器運行一個或多個電腦程式，通過對輸入資料進行操作並生成輸出來執行功能。處理和邏輯流也可以由專用邏輯電路來執行，並且裝置也可以實施為專用邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

例如，適用於運行電腦程式的處理器包括通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或可操作地耦合到一個或多個大型存放區設備，以從其接收資料或向其傳送資料，或兩者兼有。然而，電腦不一定需要具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。

雖然本專利文檔包含許多細節，但不應將其解釋為對任何發明或要求保護的範圍的限制，而應解釋為特定於特定發明的特定實施例的特徵的描述。本專利文檔在分離的實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨地實施，或在任何合適的子組合中實施。此外，雖然特徵可以被描述為在某些組合中起作用，甚至最初這樣要求保護，但在某些情況下，可以從要求保護的組合中刪除組合中的一個或多個特徵，並且要求保護的組合可以指向子組合或子組合的變體。

同樣，儘管在附圖中以特定順序描述了操作，但這不應理解為要獲得期望的結果必須按照所示的特定順序或次序順序來執行這些操作，或執行所有示出的操作。此外，本專利文檔所述實施例中的各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實施方式和示例，其他實施方式、增強和變體可以基於本專利文檔中描述和說明的內容做出。

A₀、A₁、B₀、B₁、B₂、C₀、C₁:位置 tb、td:POC距離 MV0、MV1:運動向量 TD0、TD1:時間距離 1600:方法 1602:從位元流解碼當前視頻塊的運動資訊 1604:估計當前視頻塊的匹配成本 1606:基於解碼條件並使用具有最小匹配成本的範本來細化當前視頻塊的運動向量的精度 1700:硬體設備、設備 1702:處理器 1704:記憶體 1706:視頻處理電路

圖1示出了用於Merge候選列表建構的推導過程的示例。 圖2示出了空間Merge候選的示例位置。 圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。 圖4A和圖4B示出了N×2N和2N×N個分區的第二PU的示例位置。 圖5是用於時間Merge候選的運動向量縮放的示例說明。 圖6示出了時間Merge候選C0和C1的候選位置的示例。 圖7示出了組合的雙向預測Merge候選的示例。 圖8示出了運動向量預測候選的示例推導過程。 圖9示出了用於空間運動向量候選的運動向量縮放的示例說明。 圖10示出了用於CU的ATMVP運動預測的示例。 圖11示出了簡化的仿射運動模型的示例。 圖12示出了每子塊仿射MVF的示例。 圖13示出了AF_INTER的MVP的示例。 圖14A-圖14B示出了AF_MERGE的候選的示例。 圖15示出了基於雙邊範本匹配的DMVR的示例。 圖16是視頻解碼的示例方法的流程圖。 圖17是視頻解碼裝置的框圖。 圖18示出了視訊編碼器的示例實施方式。

1600:方法

1602:從位元流解碼當前視頻塊的運動資訊

1604:估計當前視頻塊的匹配成本

1606:基於解碼條件並使用具有最小匹配成本的範本來細化當前視頻塊的運動向量的精度

Claims (14)

1. 一種解碼包括視頻的數位表示的位元流的方法，包括：從位元流解碼當前視頻塊的運動資訊；使用一個或多個範本估計當前視頻塊的匹配成本，其中所述一個或多個範本中的每個包含具有多個樣本的視頻塊；以及基於解碼條件並使用具有最小匹配成本的範本來細化所述當前視頻塊的運動向量的精度。
2. 如申請專利範圍第1項所述的方法，其中所述解碼條件包含選擇低精度運動向量。
3. 如申請專利範圍第1項所述的方法，其中，所述解碼條件是Merge模式，並且其中所述運動向量由當前塊繼承。
4. 如申請專利範圍第1項至第3項中任一項所述的方法，其中所述細化包含每次將運動向量精度細化一個整數值。
5. 如申請專利範圍第1項至第3項中任一項所述的方法，其中所述細化包含每次以縮放因子細化運動向量精度。
6. 如申請專利範圍第5項所述的方法，其中所述縮放因子是2，從而將4像素精度降低到2像素解析度，到1像素解析度，到1/2像素解析度，到1/4像素解析度。
7. 如申請專利範圍第1項至第3項中任一項所述的方法，其中所述細化包含每次以最小精度的多個單位細化運動向量精度。
8. 如申請專利範圍第7項所述的方法，其中所述最小精度對應於1/4像素解析度，並且其中所述多個單位是整數。
9. 如申請專利範圍第1項至第3項中任一項所述的方法，包含：檢查起點周圍最近的N_p個點，其中N是整數，p是所述運動向量的精度；以及將所述最近的N_p個點中最佳的一個選擇為運動細化的下一次反覆運算的下一起點。
10. 如申請專利範圍第9項所述的方法，其中基於終止條件終止所述檢查，並且其中所述終止條件包含與取決於所述精度p的值N的比較。
11. 如申請專利範圍第1項所述的方法，還包含使用雙線性插值濾波器來執行運動補償。
12. 一種視頻解碼裝置，包括處理器，其被配置為實施如申請專利範圍第1項至第11項中的任一項所述的方法。
13. 一種視頻編碼裝置，包括處理器，其被配置為實施如申請專利範圍第1項至第11項中的任一項所述的方法。
14. 一種電腦程式產品，其上存儲有電腦代碼，當所述電腦代碼由處理器運行時，使所述處理器實施如申請專利範圍第1項至第11項中的任一項所述的方法。

Images