TWI706670B

TWI706670B - 廣義運動向量差解析度

Info

Publication number: TWI706670B
Application number: TW108121344A
Authority: TW
Inventors: 劉鴻彬; 張莉; 張凱; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-06-19
Filing date: 2019-06-19
Publication date: 2020-10-01
Also published as: CN110620933B; CN110620932B; GB2589221A; TW202002649A; TWI723430B; US20220021885A1; GB2589221B; US11477458B2; CN116347099A; WO2019244054A1; TW202025776A; GB202018864D0; CN110620933A; CN110620929A; TWI731345B; WO2019244052A1; WO2019244056A1; US20200359029A1; WO2019244051A1; CN110620932A

Abstract

一種處理視頻位元流的方法，包括確定當前圖片中多個視頻塊內的當前視頻塊的第一參考圖片清單。基於編碼特徵為第一參考圖片清單選擇第一運動解析度集，編碼特徵對應於：來自第一參考圖片清單的一個或多個參考圖片、來自第一參考圖片清單的一個或多個參考塊、當前圖片、或當前視頻塊。基於第一運動解析度集，使用運動向量差（MVD）執行當前視頻塊與視頻塊的編碼表示之間的轉換。

Description

廣義運動向量差解析度

本發明是有關於一種視頻編碼和解碼技術。

數位視訊在互聯網和其他數位通信網路上佔最大的頻寬使用量。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視訊使用所需的頻寬將繼續增長。

所公開的技術可以由視頻解碼器或編碼器實施例使用，以允許靈活的信號通知和使用用於雙向預測編碼的運動向量精度，在該雙向預測編碼中運動向量使用多達兩個參考幀列表。在一個示例方面，可以允許不同的參考列表具有不同的精度。用於每個參考幀的精度可以是內容相關的或由先驗規則集定義。

在另一示例方面，上述方法可以由包括處理器的視頻解碼器裝置實現。

在另一示例方面，上述方法可以由視訊轉碼器裝置實現，該視訊轉碼器裝置包括用於在視頻編碼處理期間對編碼的視頻進行解碼的處理器。

在又一示例方面，這些方法可以以處理器可執行指令的形式體現並儲存在電腦可讀程式介質上。

在本文件中進一步描述了這些和其他方面。

本文件提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮或解碼的數位視訊的品質。此外，視訊轉碼器還可在編碼處理期間實施這些技術，以便重建用於進一步編碼的經解碼的幀。

為了便於理解，在本文件中使用章節標題，並且不將實施例和技術限制於對應部分。這樣，來自一個部分的實施例可以與來自其他部分的實施例組合。

在本文件中使用章節標題以便於理解，並且不將章節中公開的實施例僅限於該章節。此外，雖然參考通用視頻編碼或其他特定視頻轉碼器描述了某些實施例，但是所公開的技術也適用於其他視頻編碼技術。此外，雖然一些實施例詳細描述了視頻編碼步驟，但是應該理解，將由解碼器實施解碼撤銷（undo）編碼的對應步驟。此外，術語視頻處理包括視頻編碼或壓縮、視頻解碼或解壓縮以及視頻轉碼，其中視頻像素從一種壓縮格式表示為另一壓縮格式或以不同的壓縮位元速率表示。

2. 技術框架

視頻編碼標準主要通過開發眾所周知的ITU-T和ISO / IEC標準而發展。ITU-T產生了H.261和H.263，ISO / IEC產生了MPEG-1和MPEG-4 Visual，兩個組織聯合產生了H.262 / MPEG-2視頻和H.264 / MPEG-4高級視頻編碼（Advanced Video Coding，AVC）和H.265 / HEVC 標準。從H.262開始，視頻編碼標準基於利用時間預測加變換編碼的混合視頻編碼結構。為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG於2015年聯合成立了聯合視頻探索團隊（Joint Video Exploration Team，JVET）。從那時起，許多新方法被JVET採用並被引入名為聯合搜索模型（Joint Exploration Model，JEM）的參考軟體中。在2018年4月，VCEG（Q6 / 16）和ISO / IEC JTC1 SC29 / WG11（MPEG）之間的聯合視頻專家組（Joint Video Expert Team, JVET）被創建用於VVC標準，目標是與HEVC相比降低50％的位元速率。

2.1. HEVC / H.265中的幀間預測

每個幀間預測的PU具有用於一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。也可以使用inter_pred_idc 來信號通知兩個參考圖片清單中的一個的使用。可以將運動向量明確地編碼為相對於預測值的增量。

當用跳過模式對CU進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式，從而從相鄰PU獲得當前PU的運動參數，包括空間和時間候選。Merge模式可以應用於任何幀間預測的PU，而不僅應用於跳過模式。Merge模式的替代是運動參數的顯式傳輸，其中，對於每個PU，明確地用信號通知運動向量（更準確地說，與運動向量預測值相比的運動向量差）、每個參考圖片清單的對應參考圖片索引和參考圖片清單使用。在本文件中，這種模式被稱為高級AMVP。

當信令指示將使用兩個參考圖片清單中的一個時，從一個樣本塊產生PU。這被稱為「單向預測（uni-prediction）」。單向預測可用於P條帶和B條帶兩者。

當信令指示將使用兩個參考圖片清單時，從兩個樣本塊產生PU。這被稱為「雙向預測（bi-prediction）」。雙向預測僅適用於B條帶。

以下文本提供了HEVC中指定的幀間預測模式的詳細資訊。描述將從Merge模式開始。

2.1.1 Merge模式

2.1.1.1 Merge模式的候選推導

當使用Merge模式預測PU時，從位元流解析指向Merge候選清單中的條目的索引並將其用於檢索運動資訊。該列表的建構（construction）在HEVC標準中指定，並且可以根據以下步驟順序進行總結：步驟1：初始候選推導步驟1.1：空間候選推導步驟1.2：空間候選的冗餘校驗步驟1.3：時間候選推導步驟2：插入額外的候選步驟2.1：創建雙向預測候選步驟2.2：插入零運動候選

這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選當中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選當中選擇最多一個Merge候選。由於在解碼器處假設恒定數量的候選用於每個PU，因此當從步驟1獲得的候選的數量未達到在條帶標頭中用信號通知的最大Merge候選數量（MaxNumMergeCand）時，生成額外的候選。由於候選的數量是恒定的，因此使用截斷的一元二值化（Truncated Unary binarization，TU）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選清單相同。

在下文中，詳細描述了與上述步驟相關的操作。

2.1.1.2 空間候選推導

在空間Merge候選的推導中，在位於圖2描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A₁ 、B₁ 、B₀ 、A₀ 和B₂ 。僅當位置A₁ 、B₁ 、B₀ 、A₀ 的任何PU不可用（例如，因為它屬於另一條帶或區塊）或者是幀內編碼時，才考慮位置B₂ 。在添加位置A₁ 處的候選之後，對剩餘候選的添加進行冗餘校驗，其確保具有相同運動資訊的候選被排除在清單之外，使得編碼效率提高。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮圖3中用箭頭連接的對，並且僅在用於冗餘校驗的對應候選具有不一樣的運動資訊時，才將候選添加到列表。重複運動資訊的另一來源是與不同於2N×2N的分區相關聯的「第二PU」。作為示例，圖4A～圖4B描繪了分別針對N×2N和2N×N的情況的第二PU。當當前PU被分區為N×2N時，位置A₁ 處的候選不被考慮用於列表建構。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分區為2N×N時，不考慮位置B₁ 。

2.1.1.3 時間候選推導

在該步驟中，只有一個候選被添加到列表中。具體地，在該時間Merge候選的推導中，基於共同定位的PU來推導縮放的運動向量，該共同定位的PU屬於給定參考圖片清單內與當前圖片具有最小POC差的圖片。在條帶標頭中明確地用信號通知要用於推導共同定位的PU的參考圖片清單。如圖5中的虛線所示獲得用於時間Merge候選的縮放的運動向量，其是使用POC距離tb和td從共同定位的PU的運動向量縮放的，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差，td被定義為是共同定位的圖片的參考圖片與共同定位的圖片之間的POC差。時間Merge候選的參考圖片索引被設置為等於零。HEVC規範中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量，一個用於參考圖片清單0，另一用於參考圖片清單1，並且結合該兩個運動向量以獲得雙向預測Merge候選。

在屬於參考幀的共同定位的PU（Y）中，在候選C₀ 和C₁ 之間選擇時間候選的位置，如圖6所示。如果位置C₀ 處的PU不可用、是幀內編碼的、或者在當前CTU行之外，則使用位置C₁ 。否則，位置C₀ 用於時間Merge候選的推導。

2.1.1.4 插入額外的候選

除了空間和時間Merge候選之外，還存在兩種額外類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表（左側）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建添加到最終列表（右側）的組合的雙向預測Merge候選的情況。關於被認為生成這些額外的Merge候選的組合有許多規則。

插入零運動候選以填充Merge候選列表中的剩餘條目，從而達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是1和2，分別用於單向和雙向預測。最後，不對這些候選執行冗餘校驗。

2.1.1.5 用於並行處理的運動估計區域

為了加速編碼處理，可以並存執行運動估計，從而同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成時才能從相鄰PU推導運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域（Motion Estimation Region，MER），其尺寸在圖片參數集中使用「log2_parallel_merge_level_minus2」語法元素信號通知。當定義MER時，落入同一區域的Merge候選被標記為不可用，因此在列表建構中不予考慮。

2.1.2 AMVP

AMVP利用運動向量與相鄰PU的時空相關性，其用於運動參數的顯式傳輸。對於每個參考圖片清單，通過首先校驗在時間上相鄰的PU位置的上方，左側的可用性，移除冗餘候選並添加零向量以使候選列表為恒定長度來建構運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳預測值，並發送指示所選候選的對應索引。與Merge索引信令類似，使用截斷的一元來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖8）。在以下部分中，提供了關於運動向量預測候選的推導過程的細節。

2.1.2.1 AMVP候選的推導

圖8總結了運動向量預測候選的推導過程。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於圖2所示的五個不同位置的每個PU的運動向量推導兩個運動向量候選。

對於時間運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共同定位的位置推導的。在產生時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片清單內的其參考圖片索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將額外的零運動向量候選添加到列表中。

2.1.2.2 空間運動向量候選

在空間運動向量候選的推導中，在五個潛在候選當中考慮最多兩個候選，其從位於如圖2所示的位置的PU中推導，那些位置與運動Merge的位置相同。將當前PU的左側的推導順序定義為A₀ 、A₁ ，以及縮放的A₀ 、縮放的A₁ 。將當前PU的上側的推導順序定義為B₀ 、B₁ 、B₂ ，縮放的B₀ 、縮放的B₁ 、縮放的B₂ 。因此，對於每一側，存在可以用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，兩種情況使用空間縮放。四種不同的情況總結如下：

沒有空間縮放 -（1）相同的參考圖片清單，以及相同的參考圖片索引（相同的POC） -（2）不同的參考圖片清單，但相同的參考圖片（相同的POC）

空間縮放 -（3）相同的參考圖片清單，但不同的參考圖片（不同的POC） -（4）不同的參考圖片清單，以及不同的參考圖片（不同的POC）

首先校驗無空間縮放的情況，然後校驗空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片清單時，考慮空間縮放。如果左候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助左和上MV候選的並行推導。否則，不允許對上述運動向量進行空間縮放。

在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU的運動向量，如圖9所示。主要區別是將參考圖片清單和當前PU的索引作為輸入給出；實際縮放過程與時間縮放過程相同。

2.1.2.3 時間運動向量候選

除了參考圖片索引推導之外，用於推導時間Merge候選的所有過程與用於推導空間運動向量候選的過程相同（參見圖6）。將參考圖片索引用信號通知給解碼器。

2.2 JEM中的新的幀間預測方法

2.2.1 基於子CU的運動向量預測

在具有QTBT的JEM中，每個CU可以針對每個預測方向具有至多一組運動參數。通過將大CU劃分成子CU並且推導大CU的所有子CU的運動資訊，在編碼器中考慮兩個子CU級運動向量預測方法。可選時間運動向量預測（Alternative Temporal Motion Vector Prediction，ATMVP）方法允許每個CU從比並置參考圖片中的當前CU小的多個塊中提取多組運動資訊。在時空運動向量預測（Spatial-Temporal Motion Vector Prediction，STMVP）方法中，通過使用時間運動向量預測值和空間相鄰運動向量來遞迴地推導子CU的運動向量。

為了保留用於子CU運動預測的更準確的運動場，當前禁用參考幀的運動壓縮。

2.2.1.1 可選時間運動向量預測

在可選時間運動向量預測（ATMVP）方法中，通過從小於當前CU的塊中提取多組運動資訊（包括運動向量和參考索引）來修改運動向量時間運動向量預測（TMVP）。如圖10所示，子CU是方形N×N塊（默認地將N設置為4）。

ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步是利用所謂的時間向量識別參考圖片中的對應塊。參考圖片被稱為運動源圖片。第二步是將當前CU劃分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖10所示。

在第一步驟中，由當前CU的空間相鄰塊的運動資訊確定參考圖片和對應塊。為了避免相鄰塊的重複掃描過程，使用當前CU的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應塊，其中對應塊（有時稱為並置塊）總是相對於當前CU位於右下或中心位置。

在第二步驟中，通過向當前CU的座標添加時間向量，通過運動源圖片中的時間向量來識別子CU的對應塊。對於每個子CU，其對應塊（覆蓋中心樣本的最小運動網格）的運動資訊用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的參考索引和運動向量，其中運動縮放和其他過程也適用。例如，解碼器校驗是否滿足低延遲條件（即，當前圖片的所有參考圖片的POC小於當前圖片的POC）並且可能使用運動向量MV_x （對應於參考圖片列表X的運動向量）來預測每個子CU的運動向量MV_y （其中X等於0或1並且Y等於1-X）。

2.2.1.2 時空運動向量預測

在該方法中，按照光柵掃描順序遞迴地推導子CU的運動向量。圖11示出了這個概念。讓我們考慮包含四個4×4子CU A，B，C和D的8×8CU。當前幀中的相鄰4×4塊被標記為a，b，c和d。

子CU A的運動推導通過識別其兩個空間鄰居開始。第一鄰居是子CU A上方的N×N塊（塊c）。如果該塊c不可用或者是幀內編碼，則（從塊c開始，從左到右）校驗子CU A上方的其他N×N個塊。第二鄰居是子CU A左側的塊（塊b）。如果塊b不可用或者是幀內編碼，則（從塊b開始，從上到下）校驗子CU A左側的其他塊。從每個清單的相鄰塊獲得的運動資訊被縮放到給定清單的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來推導子塊A的時間運動向量預測值（Temporal Motion Vector Predictor，TMVP）。提取位置D處的並置塊的運動資訊並對應地縮放。最後，在檢索和縮放運動資訊之後，對於每個參考列表，所有可用的運動向量（最多3個）被分別平均。平均運動向量被指定為當前子CU的運動向量。

2.2.1.3 子CU運動預測模式信令

子CU模式被啟用為額外的Merge候選，並且不需要額外的語法元素來信號通知該模式。將兩個額外的Merge候選添加到每個CU的Merge候選清單以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。額外的Merge候選的編碼邏輯與HM中的Merge候選相同，這意味著，對於P或B條帶中的每個CU，兩個額外的Merge候選需要另外兩個RD校驗。

在JEM中，所有Merge索引的二進位元（bin）都由CABAC進行上下文編碼。而在HEVC中，僅第一個二進位元是上下文編碼的，而剩餘的二進位元是上下文旁路編碼的。

2.2.2 自我調整運動向量差分解析度

在HEVC中，當條帶標頭中的use_integer_mv_flag等於0時，以四分之一亮度樣本為單位信號通知（PU的運動向量和預測運動向量之間的）運動向量差（Motion Vector Difference，MVD）。在JEM中，引入了局部自我調整運動向量解析度（Locally Adaptive Motion Vector Resolution，LAMVR）。在JEM中，MVD可以以四分之一亮度樣本、整數亮度樣本或四亮度樣本為單位進行編碼。在編碼單元（CU）級控制MVD解析度，並且對於具有至少一個非零MVD分量的每個CU有條件地信號通知MVD解析度標誌。

對於具有至少一個非零MVD分量的CU，信號通知第一標記以指示在CU中是否使用四分之一亮度樣本MV精度。當第一標誌（等於1）指示不使用四分之一亮度樣本MV精度時，信號通知另一標誌以指示是使用整數亮度樣本MV精度還是四亮度樣本MV精度。

當CU的第一MVD解析度標誌為零或未針對CU編碼（意味著CU中的所有MVD均為零）時，對於CU使用四分之一亮度樣本MV解析度。當CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，CU的AMVP候選列表中的MVP被取整到對應的精度。

在編碼器中，CU級RD校驗用於確定將哪個MVD解析度用於CU。即，對於每個MVD解析度，執行三次CU級RD校驗。為了加快編碼器速度，在JEM中應用以下編碼方案。

在具有正常四分之一亮度樣本MVD解析度的CU的RD校驗期間，儲存當前CU的運動資訊（整數亮度樣本準確度）。儲存的運動資訊（在取整之後）被用作在RD校驗期間針對具有整數亮度樣本和4亮度樣本MVD解析度的相同CU的進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。

有條件地調用具有4亮度樣本MVD解析度的CU的RD校驗。對於CU，當RD成本整數亮度樣本MVD解析度遠大於四分之一亮度樣本MVD解析度時，跳過針對CU的4亮度樣本MVD解析度的RD校驗。

2.2.3 更高的運動向量儲存準確度

在HEVC中，運動向量準確度是四分之一像素（4：2：0視頻的四分之一亮度樣本和八分之一色度樣本）。在JEM中，內部運動向量儲存和Merge候選的準確度增加到1/16像素。更高的運動向量準確度（1/16像素）用於以跳過/Merge模式編碼的CU的運動補償幀間預測。對於使用正常AMVP模式編碼的CU，使用整數像素或四分之一像素運動，如0節所述。

具有與HEVC運動補償內插濾波器相同的濾波器長度和歸一化因數的SHVC上採樣內插濾波器被用作額外的分數像素位置的運動補償內插濾波器。在JEM中色度分量運動向量準確度是1/32樣本，通過使用兩個相鄰的1/16像素分數位置的濾波器的平均來推導1/32像素分數位置的額外的內插濾波器。

2.2.4 重疊塊運動補償

重疊塊運動補償（Overlapped Block Motion Compensation OBMC）先前已在H.263中使用。在JEM中，與H.263不同，可以使用CU級的語法來打開和關閉OBMC。當在JEM中使用OBMC時，除了CU的右邊界和下邊界之外，對所有運動補償（Motion Compensation，MC）塊邊界執行OBMC。此外，它還應用於亮度和色度分量。在JEM中，MC塊對應於編碼塊。當用子CU模式（包括子CU Merge、仿射和FRUC模式）編碼CU時，CU的每個子塊是MC塊。為了以統一的方式處理CU邊界，針對所有MC塊邊界以子塊級執行OBMC，其中子塊尺寸被設置為等於4×4，如圖12所示。

當OBMC應用於當前子塊時，除了當前運動向量之外，四個連接的相鄰子塊的運動向量（如果可用且與當前運動向量不同）也用於推導當前子塊的預測塊。組合基於多個運動向量的這些多個預測塊以生成當前子塊的最終預測信號。

將基於相鄰子塊的運動向量的預測塊表示為P_N ，其中N指示相鄰的上、下、左和右子塊的索引，並且將基於當前子塊的運動向量的預測塊表示為P_C 。當P_N 是基於包含與當前子塊相同的運動資訊的相鄰子塊的運動資訊時，不從PN執行OBMC。否則，將每個P_N 樣本添加到P_C 中的相同樣本中，即將P_N 的四行/列添加到P_C 。將加權因數{1/4, 1/8, 1/16, 1/32}用於P_N ，並且將加權因數{3/4, 7/8, 15/16, 31/32}用於P_C 。例外是小MC塊（即，當編碼塊的高度或寬度等於4或用子CU模式編碼CU時），對其僅將P_N 的兩行/列添加到P_C 。在這種情況下，將加權因數{1/4, 1/8}用於P_N ，並且將加權因數{3/4, 7/8}用於P_C 。對於基於垂直（水平）相鄰子塊的運動向量生成的P_N ，將P_N 的相同行（列）中的樣本添加到具有相同加權因數的P_C 。

在JEM中，對於尺寸小於或等於256個亮度樣本的CU，信號通知CU級標誌以指示是否對當前CU應用OBMC。對於尺寸超過256個亮度樣本或未使用AMVP模式進行編碼的CU，預設應用OBMC。在編碼器處，當將OBMC應用於CU時，在運動估計階段期間考慮其影響。由OBMC使用上側相鄰塊和左側相鄰塊的運動資訊形成的預測信號用於補償當前CU的原始信號的上邊界和左邊界，然後應用正常運動估計處理。

2.2.5 局部光照補償

局部光照補償（Local Illumination Compensation，LIC）是基於用於光照變化的線性模型，使用縮放因數a和偏移b。並且針對每個幀間模式編碼的編碼單元（CU）自我調整地啟用或禁用它。

當LIC應用於CU時，採用最小平方誤差方法來通過使用當前CU的相鄰樣本及其對應的參考樣本來推導參數a 和b 。更具體地，如圖13所示，使用CU的子採樣（2：1子採樣）的相鄰樣本和參考圖片中的（由當前CU或子CU的運動資訊識別的）對應樣本。推導IC參數並將其分別應用於每個預測方向。

當用Merge模式編碼CU時，以類似於Merge模式中的運動資訊複製的方式從相鄰塊複製LIC標誌；否則，向CU信號通知LIC標誌以指示是否應用LIC。

當針對圖片啟用LIC時，需要額外的CU級RD校驗以確定是否將LIC應用於CU。當為CU啟用LIC時，分別針對整數像素運動搜索和分數像素運動搜索，使用去均值絕對差之和（Mean-Removed Sum Of Absolute Difference，MR-SAD）和去均值絕對哈達瑪變換差之和（Mean-Removed Sum Of Absolute Hadamard-Transformed Difference，MR-SATD），而不是SAD和SATD。

為了降低編碼複雜度，在JEM中應用以下編碼方案。

當當前圖片與其參考圖片之間沒有明顯的光照變化時，對於整個圖片禁用LIC。為了識別這種情況，在編碼器處計算當前圖片和當前圖片的每個參考圖片的長條圖。如果當前圖片與當前圖片的每個參考圖片之間的長條圖差小於給定閾值，則對當前圖片禁用LIC；否則，對當前圖片啟用LIC。

2.2.6 仿射運動補償預測

在HEVC中，僅將平移運動模型應用於運動補償預測（Motion Compensation Prediction，MCP）。在現實世界中，存在多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖14所示，塊的仿射運動場由兩個控制點運動向量描述。

塊的運動向量場（Motion Vector Field，MVF）由以下等式描述：

(1)

其中（v_0x , v_0y ）是左上角控制點的運動向量，（v_1x , v_1y ）是右上角控制點的運動向量。

為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸M×N如等式2中推導，其中MvPre 是運動向量分數準確度（在JEM中是1/16），（v_2x , v_2y ）是根據等式1計算的左下控制點的運動向量。

(2)

在通過等式2推導之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。

為了推導每個M×N子塊的運動向量，根據等式1計算每個子塊的中心樣本的運動向量，如圖15所示，並取整到1/16分數準確度。然後，應用2.2.3節中提到的運動補償內插濾波器，以利用所推導的運動向量生成每個子塊的預測。

在MCP之後，對每個子塊的高準確度運動向量進行取整，並將其以與正常運動向量相同的準確度保存。

在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位元流中用信號通知CU級的仿射標誌以指示是否使用AF_INTER模式。在該模式中，使用相鄰塊構造具有運動向量對

的候選列表。如圖16所示，從塊A、B或C的運動向量中選擇v₀ 。根據參考清單以及用於相鄰塊的參考的POC、用於當前CU的參考的POC和當前CU的POC之間的關係來縮放來自相鄰塊的運動向量。從相鄰塊D和E中選擇v₁ 的方法是類似的。如果候選列表的數量小於2，則由通過複製每個AMVP候選而組成的運動向量對來填充列表。當候選清單大於2時，首先根據相鄰運動向量的一致性（候選對中的兩個運動向量的相似性）對候選進行排序，並且僅保留前兩個候選。用RD成本校驗來確定將哪個運動向量對候選選擇為當前CU的控制點運動向量預測（Control Point Motion Vector Prediction，CPMVP）。並且在位元流中用信號通知指示候選清單中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計並找到控制點運動向量（Control Point Motion Vector，CPMV）。然後在位元流中用信號通知CPMV和CPMVP的差。

當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得用仿射模式編碼的第一個塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖17A所示。如果相鄰左下塊A以仿射模式進行編碼，如圖17B所示，推導包含塊A的CU的左上角、右上角和左下角的運動向量v₂ 、v₃ 和v₄ 。並且根據v₂ 、v₃ 和v₄ 計算當前CU左上角的運動向量v₀ 。其次，計算當前CU的右上方的運動向量。

在推導出當前CU

和v₁ 之後，根據簡化的仿射運動模型等式1生成當前CU的MVF。為了識別當前CU是否以AF_MERGE模式進行編碼，當至少有一個相鄰塊以仿射模式進行編碼時，在位元流中用信號通知仿射標誌。

2.2.7 模式匹配的運動向量推導

模式匹配的運動向量推導（Pattern Matched Motion Vector Derivation，PMMVD）模式是基於畫面播放速率上轉換（Frame-Rate Up Conversion，FRUC）技術的特殊Merge模式。利用該模式，在解碼器側推導塊的運動資訊，而不是發信號通知塊的運動資訊。

當CU的Merge標誌為真時，向CU信號通知FRUC標誌。當FRUC標誌為假時，信號通知Merge索引並使用常規Merge模式。當FRUC標誌為真時，信號通知額外的FRUC模式標誌以指示將使用哪種方法（雙邊匹配或模板匹配）來推導該塊的運動資訊。

在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於對正常Merge候選所做的RD成本選擇。即，通過使用RD成本選擇來校驗CU的兩種匹配模式（雙邊匹配和模板匹配）兩者。引起最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用相關的匹配模式。

FRUC Merge模式中的運動推導過程具有兩個步驟：首先執行CU級運動搜索，然後進行子CU級運動細化。在CU級，基於雙邊匹配或模板匹配，推導整個CU的初始運動向量。首先，生成MV候選列表，並且選擇引起最小匹配成本的候選作為進一步CU級細化的起點。然後，在起點附近執行基於的雙邊匹配或模板匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV。隨後，以推導的CU運動向量作為起點，進一步在子CU級細化運動資訊。

例如，對於W×H CU運動資訊推導執行以下推導過程。在第一階段，推導整個W×H CU的MV。在第二階段，該CU進一步被劃分成M×M個子CU。M的值的計算方法如（3）所示，D是預定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV。

(3)

如圖18所示，通過在兩個不同參考圖片中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，使用雙邊匹配來推導當前CU的運動資訊。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與當前圖片和兩個參考圖片之間的時間距離（即TD0和TD1）成比例。作為特殊情況，當當前圖片在時間上在兩個參考圖片之間並且從當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

如圖19所示，模板匹配用於通過找到當前圖片中的模板（當前CU的頂部和/或左側相鄰塊）與參考圖片中的塊（與模板的尺寸相同）之間的最接近匹配來推導當前CU的運動資訊。除了上述FRUC Merge模式之外，模板匹配也應用於AMVP模式。在JEM中，正如在HEVC中所做的那樣，AMVP有兩個候選。通過模板匹配方法，新的候選被推導出。如果由模板匹配新推導的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，然後將列表尺寸設置為2（意味著移除第二現有AMVP候選）。當應用於AMVP模式時，僅應用CU級搜索。

2.2.7.1 CU級MV候選集

在CU級處設置的MV候選包括： (i) 如果當前CU處於AMVP模式，則為原始AMVP候選 (ii) 所有Merge候選， (iii) 在0節中介紹的內插MV場中的幾個MV。 (iv) 頂部和左側相鄰運動向量

當使用雙邊匹配時，將Merge候選的每個有效MV用作輸入，以生成假設雙邊匹配的情況下的MV對。例如，在參考列表A中，Merge候選的一個有效MV是（MVa，refa）。然後，在其他參考列表B中找到其配對的雙邊MV的參考圖片refb，使得refa和refb在時間上位於當前圖片的不同側。如果這樣的refb在參考列表B中不可用，則refb被確定為與refa不同的參考，並且其到當前圖片的時間距離是清單B中的最小值。在確定refb之後，通過基於當前圖片refa和refb之間的時間距離來縮放MVa來推導MVb。

來自內插MV場的四個MV也被添加到CU級候選列表。更具體地，添加當前CU的位置（0,0）、（W / 2,0）、（0，H / 2）和（W / 2，H / 2）處的內插MV。

當FRUC應用於AMVP模式時，原始AMVP候選也被添加到CU級MV候選集。

在CU級，對於AMVP CU，最多將15個MV添加到候選列表，對於MergeCU，最多將13個MV添加到候選列表。

2.2.7.2子CU級MV候選集

在子CU級處設置的MV候選包括： (i) 從CU級搜索確定的MV， (ii) 頂部、左側、左上角和右上角的相鄰MV， (iii) 來自參考圖片的並置MV的縮放版本， (iv) 最多4個ATMVP候選， (v) 最多4個STMVP候選

來自參考圖片的縮放MV如下推導。遍歷兩個清單中的所有參考圖片。參考圖片中的子CU的並置位置處的MV被縮放到起始CU級MV的參考。

ATMVP和STMVP候選僅限於前四個。

在子CU級，最多將17個MV添加到候選列表中。

2.2.7.3 內插MV場的生成

在對幀進行編碼之前，基於單邊ME為整個圖片生成內插運動場。然後，運動場可以稍後用作CU級或子CU級MV候選。

首先，兩個參考清單中的每個參考圖片的運動場以4×4塊級遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊（如圖20所示）並且塊未被分配任何內插運動，則參考塊的運動根據時間距離TD0和TD1（以與HEVC中的TMVP的MV縮放的方式相同的方式）被縮放到當前圖片，並且將縮放的運動分配給當前幀中的塊。如果沒有縮放的MV被分配給4×4塊，則在內插運動場中將塊的運動標記為不可用。

2.2.7.4 內插和匹配成本

當運動向量指向分數樣本位置時，需要運動補償內插。為了降低複雜度，替代常規8階HEVC內插，將雙線性內插用於雙邊匹配和模板匹配。

匹配成本的計算在不同步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或模板匹配的絕對和差（Absolute Sum Difference，SAD）。在確定起始MV之後，子CU級搜索的雙邊匹配的匹配成本計算如下：

(4)

其中w 是根據經驗設置為4的加權因數，MV 和MV^s 分別指示當前MV和起始MV。SAD仍用作子CU級搜索的模板匹配的匹配成本。

在FRUC模式中，僅通過使用亮度樣本來推導MV。推導的運動將用於MC幀間預測的亮度和色度兩者。在確定MV之後，使用用於亮度的8階內插濾波器和用於色度的4階內插濾波器來執行最終MC。

2.2.7.5 MV細化

MV細化是基於模式的MV搜索，以雙邊匹配成本或模板匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（Unrestricted Center-Biased Diamond Search，UCBDS）和自我調整交叉搜索，分別在CU級和子CU級進行MV細化。對於CU和子CU級MV細化兩者，以四分之一亮度樣本MV精度直接搜索MV，並且接著是八分之一亮度樣本MV細化。將用於CU和子CU步驟的MV細化的搜索範圍設置為等於8個亮度樣本。

2.2.7.6模板匹配FRUC Merge模式中預測方向的選擇

在雙邊匹配Merge模式中，始終應用雙向預測，因為CU的運動資訊是基於在兩個不同的參考圖片中沿當前CU的運動軌跡的兩個塊之間的最近匹配推導的。對於模板匹配Merge模式沒有這樣的限制。在模板匹配Merge模式中，編碼器可以從清單0中的單向預測、列表1中的單向預測或雙向預測當中為CU選擇。選擇基於如下的模板匹配成本：如果costBi>=factor*min （ cost0,cost1 ）則使用雙向預測；否則，如果cost0>=cost1 則使用列表0中的單向預測；否則，使用列表1中的單向預測；其中cost0 是清單0模板匹配的SAD，cost1 是清單1模板匹配的SAD，costBi 是雙向預測模板匹配的SAD。factor 的值等於1.25，這意味著選擇過程偏向於雙向預測。

幀間預測方向選擇僅應用於CU級模板匹配過程。

2.2.14 雙向光流

雙向光流（Bi-directional Optical flow，BIO）是樣本方式的運動細化，其在用於雙向預測的逐塊運動補償之上執行。樣本級運動細化不使用信令。

設

為塊運動補償之後參考k (k=0, 1)的亮度值，並且

,

分別為

梯度的水平分量和垂直分量。假設光流是有效的，則運動向量場

由下式給出：

（5）

將此光流等式與每個樣本運動軌跡的埃爾米特內插相結合，得到唯一的三階多項式，該三階多項式最後匹配函數值和其導數，兩者。該三階多項式在t=0時的值是BIO預測：

（6）

這裡，

和

表示到參考幀的距離，如圖21所示。基於Ref0和Ref1的POC計算距離

和

：

=POC(當前)-POC(Ref0)，

= POC(Ref1) − POC(當前)。如果兩個預測都來自相同的時間方向（兩者都來自過去或都來自未來），則sign是不同的即，

。在這種情況下，僅當預測不是來自相同的時刻（即，

）時才應用BIO，兩個參考區域都具有非零運動（

）並且塊運動向量與時間距離成比例（

）。

通過最小化點A和B（圖9中的運動軌跡和參考幀平面的交叉）中的值之間的差∆來確定運動向量場。模型僅使用∆的局部泰勒展開的第一線性項：

(7)

等式7中的所有值都取決於樣本位置(i', j') ，到目前為止，符號表示中省略了該樣本位置。假設運動在局部周圍區域是一致的，我們在以當前預測點為中心的（2M+1）x（2M+1）的方形視窗Ω內最小化∆，其中M等於2：

(8)

對於該優化問題，JEM使用簡化方法，首先在垂直方向上進行最小化，然後在水平方向上進行最小化。由此產生：

(9)

(10)

其中，

(11)

為了避免除以零或非常小的值，在等式9和10中引入正則化參數r和m。

(12)

(13)

這裡d 是視頻樣本的位元深度。

為了使BIO的記憶體訪問與常規雙向預測運動補償保持相同，僅針對當前塊內的位置計算所有預測和梯度值

。在等式11中，以在預測塊的邊界上的當前預測點為中心的（2M+1）x（2M+1）方形視窗Ω需要訪問塊外部的位置（如圖22A所示）。在JEM中，將塊外部的

的值設置為等於塊內最近的可用值。例如，這可以實施為填充，如圖22B所示。

利用BIO，可以針對每個樣本細化運動場。為了降低計算複雜度，在JEM中使用基於塊的BIO設計。基於4x4的塊計算運動細化。在基於塊的BIO中，聚合4x4的塊中的所有樣本的等式11中的s_n 的值，然後將s_n 的聚合值用於推導4x4塊的BIO運動向量偏移。更具體地，以下公式用於基於塊的BIO推導：

(14)

其中b_k 表示屬於預測塊的第k個4x4塊的樣本集。將等式9和10中的s_n 替換為( (s_n ,_bk ) >> 4 )，以推導相關聯的運動向量偏移。

在一些情況下，由於噪音或不規則運動，BIO的MV團（MV regiment）可能不可靠。因此，在BIO中，MV團的尺寸被閾值thBIO截頂。基於當前圖片的參考圖片是否都來自一個方向來確定閾值。如果當前圖片的所有參考圖片都來自一個方向，則將閾值的值設置為

；否則，將其設置為

。

利用使用與HEVC運動補償過程（2D可分離FIR）一致的操作的運動補償內插來同時計算BIO的梯度。根據塊運動向量的分數部分，該2D可分離FIR的輸入是與運動補償過程和分數位置（fracX ， fracY ）相同的參考幀樣本。在水平梯度∂I⁄∂x的情況下，首先使用與具有去縮放偏移d -8的分數位置fracY 相對應的BIOfilterS 垂直內插信號，然後在水平方向上應用梯度濾波器BIOfilterG ，該BIOfilterG 與具有去縮放偏移18-d 的分數位置fracX 相對應。在垂直梯度∂I⁄∂y的情況下，首先使用與具有去縮放偏移d -8的分數位置fracY 相對應的BIOfilterG 垂直應用梯度濾波器，然後在水平方向上使用BIOfilterS 執行信號位移，該BIOfilterS 與具有去縮放偏移18-d 的分數位置fracX 相對應。用於梯度計算的內插濾波器BIOfilterG 和用於信號位移的內插濾波器BIOfilterS 的長度較短（6階），以保持合理的複雜度。表1示出了用於BIO中塊運動向量的不同分數位置的梯度計算的濾波器。表2示出了用於BIO中預測信號生成的內插濾波器。

表1：用於BIO中梯度計算的濾波器

表2：用於BIO中預測信號生成的內插濾波器

2.2.9 解碼器側運動向量細化

在雙向預測操作中，對於一個塊區域的預測，將分別使用list0的運動向量（MV）和list1的MV形成的兩個預測塊進行組合以形成單個預測信號。在解碼器側運動向量細化（Decoder-Side Motion Vector Refinement，DMVR）方法中，通過雙邊模板匹配過程進一步細化雙向預測的兩個運動向量。雙邊模板匹配應用在解碼器中，以在雙邊模板和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而無需傳輸附加的運動資訊。

在DMVR中，分別從列表0的初始MV0和列表1的MV1，將雙邊模板生成為兩個預測塊的加權組合（即平均），如圖23所示。模板匹配操作包括計算所生成的模板與參考圖片中的（在初始預測塊周圍的）樣本區域之間的成本度量。對於兩個參考圖片中的每個，將產生最小模板成本的MV考慮為該列表的更新MV以替換原始MV。在JEM中，對每個列表搜索九個MV候選。該九個MV候選包括原始MV和8個與原始MV在水平或垂直方向上或兩個方向上具有一個亮度樣本偏移的環繞的MV。最後，將兩個新的MV，即如圖23中所示的MV0'和MV1'，用於生成最終的雙向預測結果。將絕對差之和（SAD）用作成本度量。請注意，當計算由一個環繞的MV生成的預測塊的成本時，實際上使用取整的MV（到整數像素）而不是真實MV來獲得預測塊。

將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，另一MV來自未來的參考圖片，而無需傳輸額外的語法元素。在JEM中，當對CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

2.3 CABAC修改

在JEM中，與HEVC中的設計相比，CABAC包含以下三個主要變化：用於變換係數的修改的上下文建模具有依賴於上下文的更新速度的多假設概率估計用於上下文模型的自我調整初始化

2.3.1 用於變換係數的上下文建模

在HEVC中，使用非重疊係數組（CG）對編碼塊的變換係數進行編碼，並且每個CG包含編碼塊的4×4塊的係數。編碼塊內的CG和CG內的變換係數根據預定義的掃描順序進行編碼。具有至少一個非零變換係數的CG的變換係數級的編碼可以被分成多個掃描通道。在第一通道中，對第一個二進位符號（由bin0表示，也稱為significant_coeff_flag ，其指示係數的尺寸大於0）進行編碼。接下來，可以應用用於上下文編碼第二/第三二進位符號的兩個掃描通道（分別由bin1和bin2表示，也稱為coeff_abs_greater1_flag 和coeff_abs_greater2_flag ）。最後，如果需要，再調用多於兩次用於編碼符號資訊的掃描通道以及係數級的剩餘值（也稱為coeff_abs_level_remaining ）。只有前三個掃描通道中的二進位符號以常規模式進行編碼，並且這些二進位符號在下面的描述中稱為常規二進位符號。

在JEM中，改變常規二進位符號的上下文建模。當在第i 掃描通道（i 為0、1、2）中對二進位符號i 進行編碼時，上下文索引取決於由局部模板覆蓋的鄰域中的先前編碼係數的第i 個二進位符號的值。更具體地，基於相鄰係數的第i 個二進位符號的總和來確定上下文索引。如圖23所示，局部模板包含多達五個空間相鄰變換係數，其中x表示當前變換係數的位置，xi（i為0到4）指示其五個鄰居。為了捕獲不同頻率處的變換係數的特性，可以將一個編碼塊劃分成多達三個區域，並且無論編碼塊尺寸如何，劃分方法都是固定的。例如，當對亮度變換係數的bin0進行編碼時，如圖24所示，將一個編碼塊劃分成用不同顏色標記的三個區域，並列出分配給每個區域的上下文索引。亮度和色度分量以類似的方式處理，但具有單獨的上下文模型集。此外，亮度分量的bin0（即，有效標記）的上下文模型選擇還取決於變換尺寸。

2.3.2多假設概率估計

二進位算術編碼器基於與每個上下文模型相關聯的兩個概率估計P0和P1應用「多假設」概率更新模型，並且以不同的自我調整速率獨立地更新如下：

（15）

其中

和

（j = 0,1）分別表示解碼二進位符號之前和之後的概率。變數Mi （為4、5、6、7）是控制索引等於i的上下文模型的概率更新速度的參數；並且k表示概率的精度（這裡等於15）。用於二進位算術編碼器中的區間細分的概率估計P是來自兩個假設的估計的平均值：

（16）

在JEM中，如下分配控制每個上下文模型的概率更新速度的等式15中使用的參數Mi 的值。

在編碼器側，記錄與每個上下文模型相關聯的編碼二進位符號。在對一個條帶進行編碼之後，對於每個索引等於i的上下文模型，計算使用不同的Mi值（為4, 5, 6, 7）的費率成本，並選擇提供最小費率成本的費率。為簡單起見，僅在遇到條帶類型和條帶級量化參數的新組合時才執行該選擇過程。

針對每個上下文模型i發信號通知1位元標記以指示Mi是否不同於預設值4。當標誌為1時，使用兩個位元來指示Mi是否等於5、6或7。

2.3.3 上下文模型的初始化

代替在HEVC中使用固定表用於上下文模型初始化，可以通過從先前編碼的圖片複製狀態來初始化用於幀間編碼的條帶的上下文模型的初始概率狀態。更具體地，在對每個圖片的中心定位的CTU進行編碼之後，儲存所有上下文模型的概率狀態以用作後續圖片上的對應上下文模型的初始狀態。在JEM中，從具有與當前條帶相同的條帶類型和相同條帶級QP的先前編碼圖片的儲存狀態中複製每個幀間編碼條帶的初始狀態集。這缺乏損耗穩健性，但在當前的JEM方案中用於編碼效率實驗目的。

2.4 相關方法

在JVET-J0024中提出了擴展的LAMVR，其中支持的運動向量解析度範圍從1/4像素到4像素（1/4像素、1/2像素、1-像素、2-像素和4像素）。當用信號通知MVD資訊時，在CU級用信號通知關於運動向量解析度的資訊。

取決於CU的解析度，調整CU的運動向量（MV）和運動向量預測值（MVP）。如果應用的運動向量解析度表示為R（R可以是¼、½、1、2、4），則MV（MVx、MVy）和MVP（MVPx、MVPy）表示如下：

(MV_x , MV_y ) = (Round(MV_x / (R * 4)) * (R * 4), Round(MV_y / (R * 4)) * (R * 4)) (17)

(MVP_x , MVP_y ) = (Round(MVP_x / (R * 4)) * (R * 4), Round(MVP_y / (R * 4)) * (R * 4)) (18)

由於運動向量預測值和MV都通過自我調整解析度調整，因此MVD（MVD_x 、MVD_y ）也與解析度對準，並且根據解析度用信號通知如下：

(MVD_x , MVD_y ) = ((MV_x – MVP_x ) / (R * 4), (MV_y – MVP_y ) / R * 4)) (19)

在該提議中，運動向量解析度索引（MVR索引）指示MVP索引以及運動向量解析度。結果，所提出的方法沒有MVP索引信令。下表顯示了MVR索引的每個值所表示的內容。

表3

在雙向預測的情況下，AMVR針對每種解析度具有3種模式。AMVR Bi-Index指示是否發信號通知每個參考列表（列表0或列表1）的MVD_x ，MVD_y 。本提案中的AMVR Bi-Index定義如下表。

表4

3.問題

在LAMVR相關方法中，允許的MVD解析度被限制為1/4像素精度的整數倍，這不是必需的。廣義MVD解析度可能會有所幫助。

另一方面，在LAMVR相關方法中，用信號通知一個索引以指示所選擇的MVD解析度，其在雙預測情況下應用於兩個參考列表。這可能是低效的，因為在一個參考列表中的粗略的MVD解析度加上另一參考列表中的細化的MVD解析度在許多情況下可能是更好的權衡。

同時，如果選擇MVD精度，即使MVP具有更高的精度，MVP也被取整到相同的精度，這可能是低效的。

4.示例解決方案和實施例

為了解決這些問題，我們提出了廣義MVD解析度，並且在雙向預測的情況下針對兩個參考列表分離MVD解析度控制。

以下示例解決方案應被視為解釋一般概念的示例。不應以狹隘的方式解釋這些解決方案。此外，這些解決方案可以以任何方式組合以產生位元流表示，並使用位元流來產生解碼視頻。

將prec0 和prec1 分別表示為參考列表0和參考列表1的MVD精度（或解析度）。當preci 等於N時，這意味著參考列表i 中的MVD具有N像素精度。將MRSet0 和MRSet1 分別表示為參考列表0和參考列表1的候選MVD解析度集。 1. 提出MVD解析度可以是N或1 / N像素精度，其中N是正整數。 a. 在一個示例中，候選MVD解析度集包括6、4、2、1、1/2、1/4。 b. 在另一示例中，候選MVD解析度集包括4、3、2、1、1/2、1/4。 2. 建議允許的MV和/或MVP和/或MVD精度集可以取決於參考圖片/幀/場/條帶的編碼資訊： a. 在一個示例中，它可以取決於參考圖片/幀/場/條帶的量化參數（QP）。對於較大的QP，可以啟用較大的精度（例如，1像素、4像素和/或8像素）。而對於較小的QP，可以啟用較小的精度（例如，1/8像素、1/4像素和/或1/2像素）。 b. 在一個示例中，它可以取決於參考圖片/幀/場/條帶的時域層索引（TID）。對於較高的TID，可以啟用較大的精度（例如，1像素、4像素和/或8像素）。而對於較小的TID，可以啟用較小的精度（例如，1/8像素、1/4像素和/或1/2像素）。 c. 在一個示例中，它可以取決於參考圖片/幀/場/條帶的塊中的編碼精度分佈。 3. 建議允許的MV和/或MVP和/或MVD精度集可以取決於參考塊的編碼資訊。 a. 在一個示例中，它可以取決於參考塊的量化參數（QP）。對於較大的QP，可以啟用較大的精度（例如，1像素、4像素和/或8像素）。而對於較小的QP，可以啟用較小的精度（例如，1/8像素、1/4像素和/或1/2像素）。 4. 建議允許的MV和/或MVP和/或MVD精度集可以取決於當前圖片/幀/場/條帶的編碼資訊。 a. 在一個示例中，它可以取決於當前圖片/幀/場/條帶的量化參數（QP）。對於較大的QP，可以啟用較大的精度（例如，1像素、4像素和/或8像素）。而對於較小的QP，可以啟用較小的精度（例如，1/8像素、1/4像素和/或1/2像素）。 b. 在一個示例中，它可以取決於當前圖片/幀/場/條帶的時域層索引（TID）。對於較高的TID，可以啟用較大的精度（例如，1像素、4像素和/或8像素）。而對於較小的TID，可以啟用較小的精度（例如，1/8像素，1/4像素和/或1/2像素）。 c. 在一個示例中，它可以取決於當前圖片/幀/場/條帶的先前編碼塊中的編碼精度分佈。 5. 上述方法可以擴展到多元假設預測。 a. 在一個示例中，對每個參考清單，信號通知一個MVD解析度索引。 b. 可替代地，對每個MV，信號通知一個MVD解析度索引。

圖25是視頻位元流處理的示例方法2500的流程圖。視頻位元流處理可以由視頻解碼器執行，該視頻解碼器使用視頻位元流來解壓縮位元以創建可以為使用者儲存或顯示的未壓縮視頻幀。方法2500的視頻位元流處理可以由視訊轉碼器執行，該視訊轉碼器在編碼處理期間實現解碼器以重建編碼視頻幀，如將在解碼器處完成的那樣。

方法2500包括：確定（2502）當前圖片中多個視頻塊內的當前視頻塊的第一參考圖片清單。在2504，基於編碼特徵為第一參考圖片清單選擇第一運動解析度集，編碼特徵對應於：來自所述第一參考圖片清單的一個或多個參考圖片、來自第一參考圖片清單的一個或多個參考塊、當前圖片、或所述當前視頻塊。在2506，基於第一運動解析度集，使用運動向量差（MVD）執行當前視頻塊與視頻塊的編碼表示之間的轉換。

除了上述方法之外，方法2500還可以包括以下特徵中的一些。

示例1：一種視頻位元流處理方法，包括：確定當前圖片中多個視頻塊內的當前視頻塊的第一參考圖片清單；基於編碼特徵為第一參考圖片清單選擇第一運動解析度集，編碼特徵對應於：來自所述第一參考圖片清單的一個或多個參考圖片、來自第一參考圖片清單的一個或多個參考塊、當前圖片、或所述當前視頻塊；以及基於第一運動解析度集，使用運動向量差（MVD）執行當前視頻塊與視頻塊的編碼表示之間的轉換。

示例2：示例1的方法，其中編碼特徵包括量化級。

示例3：示例3的方法，其中針對更大的量化級選擇更粗略的MVD精度值集。

示例4：示例2的方法，其中針對更小的量化級選擇更精細的MVD精度值集。

示例5：示例1的方法，其中編碼特徵包括時域層索引。

示例6：示例5的方法，其中針對更高的時域層索引選擇更粗略的MVD精度值集。

示例7：示例5的方法，其中針對更低的時域層索引選擇更精細的MVD精度值集。

示例8：示例1的方法，其中編碼特徵包括編碼精度分佈。

示例9：示例1-8的方法，其中，執行轉換包括對多元假設預測執行運動補償。

示例10：一種視頻解碼裝置，包括被配置為實現示例1至9中的一個或多個的方法的處理器。

示例11：一種視頻編碼裝置，包括被配置為實現示例1至9中的一個或多個的方法的處理器。

示例12：一種電腦程式產品，其上儲存有電腦代碼，所述代碼在由處理器執行時使所述處理器實現示例1至9中的一個或多個的方法。

從前述內容可以理解，本文已經出於說明的目的描述了當前所公開的技術的具體實施例，但是在不脫離本發明的範圍的情況下可以做出各種修改。因此，除了所附申請專利範圍之外，當前所公開的技術不受限制。

本文件中描述的公開的和其他解決方案、示例、實施例、模組和功能性操作可以在數位電子電路中實施，或者在電腦軟體、韌體或硬體中實施，包括本文件中公開的結構及其結構等同物，或者以他們的一個或多個的組合實施。所公開的和其他實施例可以被實施為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀儲存基板、記憶體設備、影響機器可讀傳播信號的物質的合成、或者它們中的一個或多個的組合。術語「資料處理裝置」包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或者多個處理器或電腦。除了硬體之外，裝置可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器韌體、協定疊、資料庫管理系統、作業系統及其一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對資訊進行編碼以便傳輸到合適的接收器裝置。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的文件相對應。程式可以儲存在保存其他程式或資料的檔的部分中（例如，儲存在標記語言文件中的一個或多個腳本）、專用於所討論的程式的單個檔中、或多個協調檔（例如，儲存一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站或分佈在多個網站並通過通信網路互連。

本文件中描述的處理和邏輯流可以由一個或多個可程式設計處理器執行，該一個或多個處理器運行一個或多個電腦程式，通過對輸入資料進行操作並生成輸出來執行功能。處理和邏輯流也可以由專用邏輯電路來執行，並且裝置也可以實施為專用邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

例如，適用於運行電腦程式的處理器包括通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和儲存指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於儲存資料的大型存放區設備，例如，磁片、磁光碟或光碟，或可操作地耦合到一個或多個大型存放區設備，以從其接收資料或向其傳送資料，或兩者兼有。然而，電腦不一定需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟、磁光碟以及CD ROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。

雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或要求保護的範圍的限制，而應解釋為特定於特定發明的特定實施例的特徵的描述。本專利文件在分離的實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨地實施，或在任何合適的子組合中實施。此外，雖然特徵可以被描述為在某些組合中起作用，甚至最初這樣要求保護，但在某些情況下，可以從要求保護的組合中刪除組合中的一個或多個特徵，並且要求保護的組合可以指向子組合或子組合的變體。

同樣，儘管在附圖中以特定順序描述了操作，但這不應理解為要獲得期望的結果必須按照所示的特定順序或次序順序來執行這些操作，或執行所有示出的操作。此外，本專利文件所述實施例中的各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。

提供本公開的摘要以允許讀者快速確定技術公開的本質。提交時的理解是，它不會用於解釋或限制申請專利範圍的範圍或含義。另外，在前面的具體實施方式中，可以看出，為了簡化本公開，各種特徵在單個實施例中被組合在一起。該公開方法不應被解釋為反映所要求保護的實施例需要比每個申請專利範圍中明確記載的更多特徵的意圖。而是，如以下申請專利範圍所反映的，發明主題在於少於單個公開實施例的所有特徵。因此，以下申請專利範圍在此併入具體描述中，每個申請專利範圍自身作為單獨的實施例。

僅描述了一些實施方式和示例，其他實施方式、增強和變體可以基於本專利文件中描述和說明的內容做出。

2500‧‧‧方法 2502～2506‧‧‧步驟 2600‧‧‧硬體設備 2602‧‧‧處理器 2604‧‧‧記憶體 2606‧‧‧視頻處理電路

圖1示出了用於Merge候選列表建構的推導過程的示例。圖2示出了空間Merge候選的示例位置。圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。圖4A-4B示出了N×2N和2N×N個分區的第二PU的示例位置。圖5是用於時間Merge候選的運動向量縮放的示例說明。圖6示出了時間Merge候選C0和C1的候選位置的示例。圖7示出了組合的雙向預測Merge候選的示例。圖8示出了運動向量預測候選的示例推導過程。圖9示出了用於空間運動向量候選的運動向量縮放的示例說明。圖10示出了用於CU的ATMVP運動預測的示例。圖11示出了具有四個子塊（A-D）及其相鄰塊（a-d）的一個CU的示例。圖12是應用OBMC的子塊的圖示。圖13示出了用於推導IC參數的相鄰樣本的示例。圖14示出了簡化的仿射運動模型的示例。圖15示出了每個子塊的仿射MVF的示例。圖16示出了AF_INTER的MVP的示例。圖17A-17B示出了AF_MERGE的候選的示例。圖18示出了雙邊匹配的示例。圖19示出了模板匹配的示例。圖20示出了FRUC中的單邊ME的示例。圖21示出了光流軌跡的示例。圖22A和22B示出了BIO w/o塊擴展：圖22A訪問塊外的位置，圖22B發出填充以避免額外的記憶體訪問和計算。圖23示出了基於雙邊模板匹配的DMVR的示例。圖24示出了上下文自我調整編碼的示例。圖25是視頻解碼的示例方法的流程圖。圖26是視頻解碼裝置的框圖。圖27示出了視訊轉碼器的示例實施方式。

2500‧‧‧方法

2502~2506‧‧‧步驟

Claims

一種視頻位元流處理方法，包括：確定當前圖片中多個視頻塊內的當前視頻塊的第一參考圖片清單；基於至少一個編碼特徵為所述第一參考圖片清單選擇第一運動解析度集，所述編碼特徵對應於：來自所述第一參考圖片清單的一個或多個參考圖片、來自所述第一參考圖片清單的一個或多個參考塊、所述當前圖片、或所述當前視頻塊；以及基於所述第一運動解析度集，使用運動向量差(MVD)執行所述當前視頻塊與所述視頻塊的編碼表示之間的轉換，其中，所述至少一個編碼特徵包括量化級、時域層索引和編碼精度分佈中的至少一種。
如申請專利範圍第1項所述的方法，其中針對更大的量化級選擇更粗略的MVD精度值集。
如申請專利範圍第1項所述的方法，其中針對更小的量化級選擇更精細的MVD精度值集。
如申請專利範圍第1項所述的方法，其中針對更高的時域層索引選擇更粗略的MVD精度值集。
如申請專利範圍第1項所述的方法，其中針對更低的時域層索引選擇更精細的MVD精度值集。
如申請專利範圍第1至5項任一項所述的方法，其中，執行轉換包括對多元假設預測執行運動補償。
一種視頻解碼裝置，包括被配置為實現如申請專利範圍第1至6項中的任一項所述的方法的處理器。
一種視頻編碼裝置，包括被配置為實現如申請專利範圍第1至6項中的任一項所述的方法的處理器。
一種電腦程式產品，其上儲存有電腦代碼，所述代碼在由處理器執行時使所述處理器實現如申請專利範圍第1至6項中的任一項所述的方法。
一種電腦可讀儲存介質，其上儲存有電腦代碼，所述代碼在由處理器執行時使所述處理器實現如申請專利範圍第1至6項中的任一項所述的方法。
一種視頻處理設備，包括：如申請專利範圍第7項所述的視頻解碼裝置；和/或如申請專利範圍第8項所述的視頻編碼裝置。