TWI736907B - 改進的模式匹配的運動向量推導 - Google Patents

Abstract

一種解碼包括視頻的數位表示的位元流的方法，包括：生成用於視頻的當前塊的候選塊集；僅使用當前塊上方的像素，生成用於所述當前塊的範本；估計關於候選塊集中的每個候選塊的範本成本；以及使用具有最小成本的候選塊重構當前塊。

Description

改進的模式匹配的運動向量推導

本發明是有關於一種視頻編碼技術。 [相關申請的交叉引用] 根據適用的《專利法》和/或《巴黎公約》的規定，本申請是為了及時要求2018年6月7日提交的在先美國臨時專利申請No. 62 / 682,150的優先權和權益。出於美國法律的目的，美國臨時專利申請No. 62 / 682,150的全部公開以引用方式併入本公開，作為本申請的公開的一部分。

儘管視訊壓縮技術取得了進步，但數位視訊仍在互聯網和其他數位通信網路上占最大的頻寬使用量。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視訊使用所需的頻寬將繼續增長。

本發明公開了與視頻編碼中的解碼器側運動向量推導（Side Motion Vector Derivation，DMVD）相關的技術。該技術可以應用于現有的視頻編碼標準，如高效視頻編碼（High Efficiency Video Coding，HEVC）、或最終確定的標準多功能視頻編碼（Versatile Video Coding，VVC）。該技術也可以應用于未來的視頻編碼標準或視頻轉碼器。

在一個示例方面，公開了一種解碼包括視頻的數位表示的位元流的方法。該方法包括為視頻的當前塊生成候選塊集，僅使用當前塊上方的像素生成當前塊的範本，估計範本相對于候選塊集中的每個候選塊的成本，以及使用具有最小成本的候選塊來重建當前塊。

在又一示例方面，公開了一種裝置，包括被配置為實施上述方法的處理器。

在再一示例方面，這些方法可以以電腦可運行指令的形式體現並存儲在電腦可讀程式介質上。

在本文檔中進一步描述了這些和其他方面。

本文檔提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮或解碼的數位視訊的品質。此外，視訊轉碼器還可在編碼處理期間實施這些技術，以便重建用於進一步編碼的經解碼的幀。

為了便於理解，在本文檔中使用章節標題，並且不將實施例和技術限制於對應部分。這樣，來自一個部分的實施例可以與來自其他部分的實施例組合。此外，雖然一些實施例詳細描述了視頻編碼步驟，但是應該理解，將由解碼器實施解碼撤銷（undo）編碼的對應步驟。此外，術語視頻處理包括視頻編碼或壓縮、視頻解碼或解壓縮以及視頻轉碼，其中視頻像素從一種壓縮格式表示為另一壓縮格式或以不同的壓縮位元速率表示。

1. 技術框架

視頻編碼標準主要通過開發眾所周知的ITU-T和ISO / IEC標準而發展。ITU-T產生了H.261和H.263，ISO / IEC產生了MPEG-1和MPEG-4 Visual，兩個組織聯合產生了H.262 / MPEG-2視頻和H.264 / MPEG-4高級視頻編碼（Advanced Video Coding ，AVC）和H.265 / HEVC 標準。從H.262開始，視頻編碼標準基於利用時間預測加變換編碼的混合視頻編碼結構。為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG于2015年聯合成立了聯合視頻探索團隊（Joint Video Exploration Team，JVET）。從那時起，許多新方法被JVET採用並被引入名為聯合搜索模型（Joint Exploration Model，JEM）的參考軟體中。在2018年4月，VCEG（Q6 / 16）和ISO / IEC JTC1 SC29 / WG11（MPEG）之間的聯合視頻專家組（Joint Video Expert Team, JVET）被創建用於VVC標準，目標是與HEVC相比降低50％的位元速率。

2. HEVC / H.265中的幀間預測

每個幀間預測的預測單元（Prediction Unit，PU）具有用於一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。也可以使用inter_pred_idc來訊號通知兩個參考圖片清單中的一個的使用。可以將運動向量明確地編碼為相對於預測器的增量。

當用跳過模式對編碼單元（Coding Unit，CU）進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式，從而從相鄰PU獲得當前PU的運動參數，包括空間和時間候選。Merge模式可以應用於任何幀間預測的PU，而不僅應用於跳過模式。Merge模式的替代是運動參數的顯式傳輸，其中，對於每個PU，明確地用訊號通知運動向量（更準確地說，與運動向量預測器相比的運動向量差）、每個參考圖片清單的對應參考圖片索引和參考圖片清單使用。在本文檔中，這種模式被稱為高級運動向量預測（Advanced Motion Vector Prediction，AMVP）。

當信令指示將使用兩個參考圖片清單中的一個時，從一個樣本塊產生PU。這被稱為“單向預測（uni-prediction）”。單向預測可用於P條帶和B條帶兩者。

當信令指示將使用兩個參考圖片清單時，從兩個樣本塊產生PU。這被稱為“雙向預測（bi-prediction）”。雙向預測僅適用於B條帶。

以下文本提供了HEVC中指定的幀間預測模式的詳細資訊。描述將從Merge模式開始。

2.1.1 Merge模式

2.1.1.1Merge模式的候選推導

當使用Merge模式預測PU時，從位元流解析指向Merge候選清單中的條目的索引並將其用於檢索運動資訊。該列表的建構（construction）在HEVC標準中指定，並且可以根據以下步驟順序進行總結： 步驟1：初始候選推導 步驟1.1：空間候選推導 步驟1.2：空間候選的冗餘校驗 步驟1.3：時間候選推導 步驟2：插入額外的候選 步驟2.1：創建雙向預測候選 步驟2.2：插入零運動候選

這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選當中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選當中選擇最多一個Merge候選。由於在解碼器處假設恒定數量的候選用於每個PU，因此當從步驟1獲得的候選的數量未達到在條帶報頭中用訊號通知的最大Merge候選數量（MaxNumMergeCand）時，生成額外的候選。由於候選的數量是恒定的，因此使用截斷的一元二值化（Truncated Unary binarization，TU）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選清單相同。

在下文中，詳細描述了與上述步驟相關的操作。

2.1.1.2空間候選推導

在空間Merge候選的推導中，在位於圖2描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A1、B1、B0、A0和B2。僅當位置A1、B1、B0、A0的任何PU不可用（例如，因為它屬於另一條帶或區塊）或者是幀內編碼時，才考慮位置B2。在添加位置A1處的候選之後，對剩餘候選的添加進行冗餘校驗，其確保具有相同運動資訊的候選被排除在清單之外，使得編碼效率提高。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮圖3中用箭頭連接的對，並且僅在用於冗餘校驗的對應候選具有不一樣的運動資訊時，才將候選添加到列表。重複運動資訊的另一來源是與不同於2N×2N的分區相關聯的“第二PU”。作為示例，圖4A和圖4B描繪了分別針對N×2N和2N×N的情況的第二PU。當當前PU被分區為N×2N時，位置A1處的候選不被考慮用於列表建構。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分區為2N×N時，不考慮位置B1。

2.1.1.3時間候選推導

在該步驟中，只有一個候選被添加到列表中。具體地，在該時間Merge候選的推導中，基於共同定位的PU來推導縮放的運動向量，該共同定位的PU屬於給定參考圖片清單內與當前圖片具有最小圖片順序計數（Picture Order Count，POC）差的圖片。在條帶報頭中明確地用訊號通知要用於推導共同定位的PU的參考圖片清單。如圖5中的虛線所示獲得用於時間Merge候選的縮放的運動向量，其是使用POC距離tb和td從共同定位的PU的運動向量縮放的，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差，td被定義為是共同定位的圖片的參考圖片與共同定位的圖片之間的POC差。時間Merge候選的參考圖片索引被設置為等於零。HEVC規範中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量，一個用於參考圖片清單0，另一用於參考圖片清單1，並且結合該兩個運動向量以獲得雙向預測Merge候選。

在屬於參考幀的共同定位的PU（Y）中，在候選C0和C1之間選擇時間候選的位置，如圖6所示。如果位置C0處的PU不可用、是幀內編碼的、或者在當前CTU行之外，則使用位置C1。否則，位置C0用於時間Merge候選的推導。

2.1.1.4 插入額外的候選

除了空間和時間Merge候選之外，還存在兩種額外類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表（左側）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建添加到最終列表（右側）的組合的雙向預測Merge候選的情況。關於被認為生成這些額外的Merge候選的組合有許多規則。

插入零運動候選以填充Merge候選列表中的剩餘條目，從而達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是1和2，分別用於單向和雙向預測。最後，不對這些候選執行冗餘校驗。

2.1.1.5用於並行處理的運動估計區域

為了加速編碼處理，可以並存執行運動估計，從而同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成時才能從相鄰PU推導運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域（Motion Estimation Region，MER），其尺寸在圖片參數集中使用“log2_parallel_merge_level_minus2”語法元素訊號通知。當定義MER時，落入同一區域的Merge候選被標記為不可用，因此在列表建構中不予考慮。

2.1.2 AMVP

AMVP利用運動向量與相鄰PU的時空相關性，其用於運動參數的顯式傳輸。對於每個參考圖片清單，通過首先校驗在時間上相鄰的PU位置的上方，左側的可用性，移除冗餘候選並添加零向量以使候選列表為恒定長度來建構運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，使用截斷的一元來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖8）。在以下部分中，提供了關於運動向量預測候選的推導過程的細節。

2.1.2.1 AMVP候選的推導

圖8總結了運動向量預測候選的推導過程。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於圖2所示的五個不同位置的每個PU的運動向量推導兩個運動向量候選。

對於時間運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共同定位的位置推導的。在產生時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片清單內的其參考圖片索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將額外的零運動向量候選添加到列表中。

2.1.2.2空間運動向量候選

在空間運動向量候選的推導中，在五個潛在候選當中考慮最多兩個候選，其從位於如圖2所示的位置的PU中推導，那些位置與運動Merge的位置相同。將當前PU的左側的推導順序定義為A0、A1，以及縮放的A0、縮放的A1。將當前PU的上側的推導順序定義為B0、B1、B2，縮放的B0、縮放的B1、縮放的B2。因此，對於每一側，存在可以用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，兩種情況使用空間縮放。四種不同的情況總結如下： 沒有空間縮放 - （1）相同的參考圖片清單，以及相同的參考圖片索引（相同的POC） - （2）不同的參考圖片清單，但相同的參考圖片（相同的POC） 空間縮放 - （3）相同的參考圖片清單，但不同的參考圖片（不同的POC） - （4）不同的參考圖片清單，以及不同的參考圖片（不同的POC）

首先校驗無空間縮放的情況，然後校驗空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片清單時，考慮空間縮放。如果左候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助左和上MV候選的並行推導。否則，不允許對上述運動向量進行空間縮放。

在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU的運動向量，如圖9所示。主要區別是將參考圖片清單和當前PU的索引作為輸入給出；實際縮放過程與時間縮放過程相同。

2.1.2.3時間運動向量候選

除了參考圖片索引推導之外，用於推導時間Merge候選的所有過程與用於推導空間運動向量候選的過程相同（參見圖6）。將參考圖片索引用訊號通知給解碼器。

2.2 JEM中的新的幀間預測方法

2.2.1基於子CU的運動向量預測

在具有QTBT的JEM中，每個CU可以針對每個預測方向具有至多一組運動參數。通過將大CU劃分成子CU並且推導大CU的所有子CU的運動資訊，在編碼器中考慮兩個子CU級運動向量預測方法。可選時間運動向量預測（Alternative Temporal Motion Vector Prediction，ATMVP）方法允許每個CU從比並置參考圖片中的當前CU小的多個塊中提取多組運動資訊。在時空運動向量預測（Spatial-Temporal Motion Vector Prediction，STMVP）方法中，通過使用時間運動向量預測器和空間相鄰運動向量來遞迴地推導子CU的運動向量。

為了保留用於子CU運動預測的更準確的運動場，當前禁用參考幀的運動壓縮。

2.2.1.1可選時間運動向量預測

在可選時間運動向量預測（ATMVP）方法中，通過從小於當前CU的塊中提取多組運動資訊（包括運動向量和參考索引）來修改運動向量時間運動向量預測（TMVP）。如圖10所示，子CU是方形N×N塊（默認地將N設置為4）。

ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步是利用所謂的時間向量識別參考圖片中的對應塊。參考圖片被稱為運動源圖片。第二步是將當前CU劃分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖10所示。

在第一步驟中，由當前CU的空間相鄰塊的運動資訊確定參考圖片和對應塊。為了避免相鄰塊的重複掃描過程，使用當前CU的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應塊，其中對應塊（有時稱為並置塊）總是相對於當前CU位於右下或中心位置。

在第二步驟中，通過向當前CU的座標添加時間向量，通過運動源圖片中的時間向量來識別子CU的對應塊。對於每個子CU，其對應塊（覆蓋中心樣本的最小運動網格）的運動資訊用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的參考索引和運動向量，其中運動縮放和其他過程也適用。例如，解碼器校驗是否滿足低延遲條件（即，當前圖片的所有參考圖片的POC小於當前圖片的POC）並且可能使用運動向量MVx（對應於參考圖片清單X的運動向量）來預測每個子CU的運動向量MVy（其中X等於0或1並且Y等於1-X）。

2.2.1.2時空運動向量預測

在該方法中，按照光柵掃描順序遞迴地推導子CU的運動向量。圖11示出了這個概念。讓我們考慮包含四個4×4子CU A，B，C和D的8×8CU。當前幀中的相鄰4×4塊被標記為a，b，c和d。

子CU A的運動推導通過識別其兩個空間鄰居開始。第一鄰居是子CU A上方的N×N塊（塊c）。如果該塊c不可用或者是幀內編碼，則（從塊c開始，從左到右）校驗子CU A上方的其他N×N個塊。第二鄰居是子CU A左側的塊（塊b）。如果塊b不可用或者是幀內編碼，則（從塊b開始，從上到下）校驗子CU A左側的其他塊。從每個清單的相鄰塊獲得的運動資訊被縮放到給定清單的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來推導子塊A的時間運動向量預測器（Temporal Motion Vector Predictor，TMVP）。提取位置D處的並置塊的運動資訊並對應地縮放。最後，在檢索和縮放運動資訊之後，對於每個參考列表，所有可用的運動向量（最多3個）被分別平均。平均運動向量被指定為當前子CU的運動向量。

2.2.1.3子CU運動預測模式信令

子CU模式被啟用為額外的Merge候選，並且不需要額外的語法元素來訊號通知該模式。將兩個額外的Merge候選添加到每個CU的Merge候選清單以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。額外的Merge候選的編碼邏輯與HM中的Merge候選相同，這意味著，對於P或B條帶中的每個CU，兩個額外的Merge候選需要另外兩個RD校驗。

在JEM中，所有Merge索引的二進位元（bin）都由CABAC進行上下文編碼。而在HEVC中，僅第一個二進位元是上下文編碼的，而剩餘的二進位元是上下文旁路編碼的。

2.2.2自我調整運動向量差分解析度

在HEVC中，當條帶報頭中的use_integer_mv_flag等於0時，以四分之一亮度樣本為單位訊號通知（PU的運動向量和預測運動向量之間的）運動向量差（Motion Vector Difference，MVD）。在JEM中，引入了局部自我調整運動向量解析度（Locally Adaptive Motion Vector Resolution，LAMVR）。在JEM中，MVD可以以四分之一亮度樣本、整數亮度樣本或四亮度樣本為單位進行編碼。在編碼單元（CU）級控制MVD解析度，並且對於具有至少一個非零MVD分量的每個CU有條件地訊號通知MVD解析度標誌。

對於具有至少一個非零MVD分量的CU，訊號通知第一標記以指示在CU中是否使用四分之一亮度樣本MV精度。當第一標誌（等於1）指示不使用四分之一亮度樣本MV精度時，訊號通知另一標誌以指示是使用整數亮度樣本MV精度還是四亮度樣本MV精度。

當CU的第一MVD解析度標誌為零或未針對CU編碼（意味著CU中的所有MVD均為零）時，對於CU使用四分之一亮度樣本MV解析度。當CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，CU的AMVP候選列表中的MVP被取整到對應的精度。

在編碼器中，CU級RD校驗用於確定將哪個MVD解析度用於CU。即，對於每個MVD解析度，執行三次CU級RD校驗。為了加快編碼器速度，在JEM中應用以下編碼方案。 在具有正常四分之一亮度樣本MVD解析度的CU的RD校驗期間，存儲當前CU的運動資訊（整數亮度樣本準確度）。存儲的運動資訊（在取整之後）被用作在RD校驗期間針對具有整數亮度樣本和4亮度樣本MVD解析度的相同CU的進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。 有條件地調用具有4亮度樣本MVD解析度的CU的RD校驗。對於CU，當RD成本整數亮度樣本MVD解析度遠大於四分之一亮度樣本MVD解析度時，跳過針對CU的4亮度樣本MVD解析度的RD校驗。

2.2.3更高的運動向量存儲準確度

在HEVC中，運動向量準確度是四分之一像素（4：2：0視頻的四分之一亮度樣本和八分之一色度樣本）。在JEM中，內部運動向量存儲和Merge候選的準確度增加到1/16像素。更高的運動向量準確度（1/16像素）用於以跳過/Merge模式編碼的CU的運動補償幀間預測。對於使用正常AMVP模式編碼的CU，使用整數像素或四分之一像素運動，如2.2.2節所述。

具有與HEVC運動補償插值濾波器相同的濾波器長度和歸一化因數的SHVC上採樣插值濾波器被用作額外的分數像素位置的運動補償插值濾波器。在JEM中色度分量運動向量準確度是1/32樣本，通過使用兩個相鄰的1/16像素分數位置的濾波器的平均來推導1/32像素分數位置的額外的插值濾波器。

2.2.4重疊塊運動補償

重疊塊運動補償（Overlapped Block Motion Compensation OBMC）先前已在H.263中使用。在JEM中，與H.263不同，可以使用CU級的語法來打開和關閉OBMC。當在JEM中使用OBMC時，除了CU的右邊界和下邊界之外，對所有運動補償（Motion Compensation，MC）塊邊界執行OBMC。此外，它還應用於亮度和色度分量。在JEM中，MC塊對應於編碼塊。當用子CU模式（包括子CU Merge、仿射和FRUC模式）編碼CU時，CU的每個子塊是MC塊。為了以統一的方式處理CU邊界，針對所有MC塊邊界以子塊級執行OBMC，其中子塊尺寸被設置為等於4×4，如圖12所示。

當OBMC應用於當前子塊時，除了當前運動向量之外，四個連接的相鄰子塊的運動向量（如果可用且與當前運動向量不同）也用於推導當前子塊的預測塊。組合基於多個運動向量的這些多個預測塊以生成當前子塊的最終預測訊號。

將基於相鄰子塊的運動向量的預測塊表示為P_N ，其中N指示相鄰的上、下、左和右子塊的索引，並且將基於當前子塊的運動向量的預測塊表示為P_C 。當P_N 是基於包含與當前子塊相同的運動資訊的相鄰子塊的運動資訊時，不從P_N 執行OBMC。否則，將每個P_N 樣本添加到P_C 中的相同樣本中，即將P_N 的四行/列添加到P_C 。將加權因數{1 / 4, 1 / 8, 1 / 16, 1 / 32}用於P_N ，並且將加權因數{3 / 4, 7 / 8, 15 / 16, 31 / 32}用於P_C 。例外是小MC塊（即，當編碼塊的高度或寬度等於4或用子CU模式編碼CU時），對其僅將P_N 的兩行/列添加到P_C 。在這種情況下，將加權因數{1 / 4, 1 / 8}用於P_N ，並且將加權因數{3 / 4, 7 / 8}用於P_C 。對於基於垂直（水準）相鄰子塊的運動向量生成的P_N ，將P_N 的相同行（列）中的樣本添加到具有相同加權因數的P_C 。

在JEM中，對於尺寸小於或等於256個亮度樣本的CU，訊號通知CU級標誌以指示是否對當前CU應用OBMC。對於尺寸超過256個亮度樣本或未使用AMVP模式進行編碼的CU，預設應用OBMC。在編碼器處，當將OBMC應用于CU時，在運動估計階段期間考慮其影響。由OBMC使用上側相鄰塊和左側相鄰塊的運動資訊形成的預測訊號用於補償當前CU的原始訊號的上邊界和左邊界，然後應用正常運動估計處理。

2.2.5局部光照補償

局部光照補償（Local Illumination Compensation，LIC）是基於用於光照變化的線性模型，使用縮放因數a和偏移b。並且針對每個幀間模式編碼的編碼單元（CU）自我調整地啟用或禁用它。

當LIC應用于CU時，採用最小平方誤差方法來通過使用當前CU的相鄰樣本及其對應的參考樣本來推導參數a 和b 。更具體地，如圖13所示，使用CU的子採樣（2：1子採樣）的相鄰樣本和參考圖片中的（由當前CU或子CU的運動資訊識別的）對應樣本。推導IC參數並將其分別應用於每個預測方向。

當用Merge模式編碼CU時，以類似於Merge模式中的運動資訊複製的方式從相鄰塊複製LIC標誌；否則，向CU訊號通知LIC標誌以指示是否應用LIC。

當針對圖片啟用LIC時，需要額外的CU級RD校驗以確定是否將LIC應用於CU。當為CU啟用LIC時，分別針對整數像素運動搜索和分數像素運動搜索，使用去均值絕對差之和（Mean-Removed Sum Of Absolute Difference，MR-SAD）和去均值絕對哈達瑪變換差之和（Mean-Removed Sum Of Absolute Hadamard-Transformed Difference，MR-SATD），而不是SAD和SATD。

為了降低編碼複雜度，在JEM中應用以下編碼方案。

當當前圖片與其參考圖片之間沒有明顯的光照變化時，對於整個圖片禁用LIC。為了識別這種情況，在編碼器處計算當前圖片和當前圖片的每個參考圖片的長條圖。如果當前圖片與當前圖片的每個參考圖片之間的長條圖差小於給定閾值，則對當前圖片禁用LIC；否則，對當前圖片啟用LIC。

2.2.6仿射運動補償預測

在HEVC中，僅將平移運動模型應用於運動補償預測（Motion Compensation Prediction，MCP）。在現實世界中，存在多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖14所示，塊的仿射運動場由兩個控制點運動向量描述。

塊的運動向量場（Motion Vector Field，MVF）由以下等式描述：

(1) 其中（v_0x ,v_0y ）是左上角控制點的運動向量，（v_1x , v_1y ）是右上角控制點的運動向量。

為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸

如等式2中推導，其中MvPre是運動向量分數準確度（在JEM中是1/16），（ v_2x , v_2y ）是根據等式1計算的左下控制點的運動向量。

(2) 在通過等式2推導之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。

為了推導每個M×N子塊的運動向量，根據等式1計算每個子塊的中心樣本的運動向量，如圖15所示，並取整到1/16分數準確度。然後，應用2.2.3節中提到的運動補償插值濾波器，以利用所推導的運動向量生成每個子塊的預測。

在MCP之後，對每個子塊的高準確度運動向量進行取整，並將其以與正常運動向量相同的準確度保存。

在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位元流中用訊號通知CU級的仿射標誌以指示是否使用AF_INTER模式。在該模式中，使用相鄰塊構造具有運動向量對

的候選列表。如圖16所示，從塊A、B或C的運動向量中選擇

。根據參考清單以及用於相鄰塊的參考的POC、用於當前CU的參考的POC和當前CU的POC之間的關係來縮放來自相鄰塊的運動向量。從相鄰塊D和E中選擇

的方法是類似的。如果候選列表的數量小於2，則由通過複製每個AMVP候選而組成的運動向量對來填充列表。當候選清單大於2時，首先根據相鄰運動向量的一致性（候選對中的兩個運動向量的相似性）對候選進行排序，並且僅保留前兩個候選。用RD成本校驗來確定將哪個運動向量對候選選擇為當前CU的控制點運動向量預測（Control Point Motion Vector Prediction，CPMVP）。並且在位元流中用訊號通知指示候選清單中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計並找到控制點運動向量（Control Point Motion Vector，CPMV）。然後在位元流中用訊號通知CPMV和CPMVP的差。

當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得用仿射模式編碼的第一個塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖17A所示。如果相鄰左下塊A以仿射模式進行編碼，如圖17B所示，推導包含塊A的CU的左上角、右上角和左下角的運動向量

、

和

。並且根據

、

和

計算當前CU左上角的運動向量

。其次，計算當前CU的右上方的運動向量。

在推導出當前CU

和

之後，根據簡化的仿射運動模型等式1生成當前CU的MVF。為了識別當前CU是否以AF_MERGE模式進行編碼，當至少有一個相鄰塊以仿射模式進行編碼時，在位元流中用訊號通知仿射標誌。

2.2.7模式匹配的運動向量推導

模式匹配的運動向量推導（Pattern Matched Motion Vector Derivation，PMMVD）模式是基於畫面播放速率上轉換（Frame-Rate Up Conversion ，FRUC）技術的特殊Merge模式。利用該模式，在解碼器側推導塊的運動資訊，而不是發訊號通知塊的運動資訊。

當CU的Merge標誌為真時，向CU訊號通知FRUC標誌。當FRUC標誌為假時，訊號通知Merge索引並使用常規Merge模式。當FRUC標誌為真時，訊號通知額外的FRUC模式標誌以指示將使用哪種方法（雙邊匹配或範本匹配）來推導該塊的運動資訊。

在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於對正常Merge候選所做的RD成本選擇。即，通過使用RD成本選擇來校驗CU的兩種匹配模式（雙邊匹配和範本匹配）兩者。引起最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用相關的匹配模式。

FRUC Merge模式中的運動推導過程具有兩個步驟：首先執行CU級運動搜索，然後進行子CU級運動細化。在CU級，基於雙邊匹配或範本匹配，推導整個CU的初始運動向量。首先，生成MV候選列表，並且選擇引起最小匹配成本的候選作為進一步CU級細化的起點。然後，在起點附近執行基於的雙邊匹配或範本匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV。隨後，以推導的CU運動向量作為起點，進一步在子CU級細化運動資訊。

例如，對於

CU運動資訊推導執行以下推導過程。在第一階段，推導整個

CU的MV。在第二階段，該CU進一步被劃分成

個子CU。M的值的計算方法如（3）所示，

是預定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV。

(3)

如圖18所示，通過在兩個不同參考圖片中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，使用雙邊匹配來推導當前CU的運動資訊。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與當前圖片和兩個參考圖片之間的時間距離（即TD0和TD1）成比例。作為特殊情況，當當前圖片在時間上在兩個參考圖片之間並且從當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

如圖19所示，範本匹配用於通過找到當前圖片中的範本（當前CU的頂部和/或左側相鄰塊）與參考圖片中的塊（與範本的尺寸相同）之間的最接近匹配來推導當前CU的運動資訊。除了上述FRUC Merge模式之外，範本匹配也應用於AMVP模式。在JEM中，正如在HEVC中所做的那樣，AMVP有兩個候選。通過範本匹配方法，新的候選被推導出。如果由範本匹配新推導的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，然後將列表尺寸設置為2（意味著移除第二現有AMVP候選）。當應用于AMVP模式時，僅應用CU級搜索。

2.2.8 CU級MV候選集

在CU級處設置的MV候選包括： (i) 如果當前CU處於AMVP模式，則為原始AMVP候選 (ii) 所有Merge候選， (iii) 在2.2.10節中介紹的插值MV場中的幾個MV。 (iv) 頂部和左側相鄰運動向量

當使用雙邊匹配時，將Merge候選的每個有效MV用作輸入，以生成假設雙邊匹配的情況下的MV對。例如，在參考列表A中，Merge候選的一個有效MV是（MVa，refa）。然後，在其他參考列表B中找到其配對的雙邊MV的參考圖片refb，使得refa和refb在時間上位於當前圖片的不同側。如果這樣的refb在參考列表B中不可用，則refb被確定為與refa不同的參考，並且其到當前圖片的時間距離是清單B中的最小值。在確定refb之後，通過基於當前圖片refa和refb之間的時間距離來縮放MVa來推導MVb。

來自插值MV場的四個MV也被添加到CU級候選列表。更具體地，添加當前CU的位置（0,0）、（W / 2,0）、（0，H / 2）和（W / 2，H / 2）處的插值MV。

當FRUC應用于AMVP模式時，原始AMVP候選也被添加到CU級MV候選集。

在CU級，對於AMVP CU，最多將15個MV添加到候選列表，對於MergeCU，最多將13個MV添加到候選列表。

2.2.9子CU級MV候選集

在子CU級處設置的MV候選包括： (i) 從CU級搜索確定的MV， (ii) 頂部、左側、左上角和右上角的相鄰MV， (iii) 來自參考圖片的並置MV的縮放版本， (iv) 最多4個ATMVP候選， (v) 最多4個STMVP候選

來自參考圖片的縮放MV如下推導。遍歷兩個清單中的所有參考圖片。參考圖片中的子CU的並置位置處的MV被縮放到起始CU級MV的參考。

ATMVP和STMVP候選僅限於前四個。

在子CU級，最多將17個MV添加到候選列表中。

2.2.10插值MV場的生成

在對幀進行編碼之前，基於單邊ME為整個圖片生成插值運動場。然後，運動場可以稍後用作CU級或子CU級MV候選。

首先，兩個參考清單中的每個參考圖片的運動場以4×4塊級遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊（如圖20所示）並且塊未被分配任何插值運動，則參考塊的運動根據時間距離TD0和TD1（以與HEVC中的TMVP的MV縮放的方式相同的方式）被縮放到當前圖片，並且將縮放的運動分配給當前幀中的塊。如果沒有縮放的MV被分配給4×4塊，則在插值運動場中將塊的運動標記為不可用。

2.2.11插值和匹配成本

當運動向量指向分數樣本位置時，需要運動補償插值。為了降低複雜度，替代常規8抽頭HEVC插值，將雙線性插值用於雙邊匹配和範本匹配。

匹配成本的計算在不同步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對和差（Absolute Sum Difference， SAD）。在確定起始MV之後，子CU級搜索的雙邊匹配的匹配成本計算如下：

(4) 其中

是根據經驗設置為4的加權因數，

和

分別指示當前MV和起始MV。SAD仍用作子CU級搜索的範本匹配的匹配成本。

在FRUC模式中，僅通過使用亮度樣本來推導MV。推導的運動將用於MC幀間預測的亮度和色度兩者。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。

2.2.12MV細化

MV細化是基於模式的MV搜索，以雙邊匹配成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（Unrestricted Center-Biased Diamond Search，UCBDS）和自我調整交叉搜索，分別在CU級和子CU級進行MV細化。對於CU和子CU級MV細化兩者，以四分之一亮度樣本MV精度直接搜索MV，並且接著是八分之一亮度樣本MV細化。將用於CU和子CU步驟的MV細化的搜索範圍設置為等於8個亮度樣本。

2.2.13範本匹配FRUC Merge模式中預測方向的選擇

在雙邊匹配Merge模式中，始終應用雙向預測，因為CU的運動資訊是基於在兩個不同的參考圖片中沿當前CU的運動軌跡的兩個塊之間的最近匹配推導的。對於範本匹配Merge模式沒有這樣的限制。在範本匹配Merge模式中，編碼器可以從清單0中的單向預測、列表1中的單向預測或雙向預測當中為CU選擇。選擇基於如下的範本匹配成本： 如果costBi>=factor*min（cost0,cost1） 則使用雙向預測； 否則，如果cost0>=cost1 則使用列表0中的單向預測； 否則， 使用列表1中的單向預測； 其中cost0是清單0範本匹配的SAD，cost1是清單1範本匹配的SAD，costBi是雙向預測範本匹配的SAD。factor的值等於1.25，這意味著選擇過程偏向於雙向預測。

幀間預測方向選擇僅應用於CU級範本匹配過程。

2.2.14雙向光流

雙向光流（Bi-directional Optical flow，BIO）是樣本方式的運動細化，其在用於雙向預測的逐塊運動補償之上執行。樣本級運動細化不使用信令。

設

為塊運動補償之後參考k (k=0, 1)的亮度值，並且

,

分別為

梯度的水準分量和垂直分量。假設光流是有效的，則運動向量場

由下式給出：

（5）

將此光流等式與每個樣本運動軌跡的埃爾米特插值相結合，得到唯一的三階多項式，該三階多項式最後匹配函數值

和其導數

，

兩者。該三階多項式在t=0時的值是BIO預測：

（6）

這裡，

和

表示到參考幀的距離，如圖21所示。基於Ref0和Ref1的POC計算距離

和

：

=POC(當前)-POC(Ref0)，

= POC(Ref1) − POC(當前)。如果兩個預測都來自相同的時間方向（兩者都來自過去或都來自未來），則sign是不同的（即，

）。在這種情況下，僅當預測不是來自相同的時刻（即，

）時才應用BIO，兩個參考區域都具有非零運動（

）並且塊運動向量與時間距離成比例（

）。

通過最小化點A和B（圖9中的運動軌跡和參考幀平面的交叉）中的值之間的差

來確定運動向量場

。模型僅使用

的局部泰勒展開的第一線性項：

(7)

等式7中的所有值都取決於樣本位置

，到目前為止，符號表示中省略了該樣本位置。假設運動在局部周圍區域是一致的，我們在以當前預測點為中心的（2M+1）x（2M+1）的方形窗口

內最小化

，其中M等於2：

(8)

對於該優化問題，JEM使用簡化方法，首先在垂直方向上進行最小化，然後在水準方向上進行最小化。由此產生：

(9)

(10) 其中，

(11)

為了避免除以零或非常小的值，在等式9和10中引入正則化參數r和m。

(12)

(13) 這裡d是視頻樣本的比特深度。

為了使BIO的記憶體訪問與常規雙向預測運動補償保持相同，僅針對當前塊內的位置計算所有預測和梯度值

。在等式11中，以在預測塊的邊界上的當前預測點為中心的（2M+1）x（2M+1）方形窗口

需要訪問塊外部的位置（如圖22A所示）。在JEM中，將塊外部的

的值設置為等於塊內最近的可用值。例如，這可以實施為填充，如圖22B所示。

利用BIO，可以針對每個樣本細化運動場。為了降低計算複雜度，在JEM中使用基於塊的BIO設計。基於4x4的塊計算運動細化。在基於塊的BIO中，聚合4x4的塊中的所有樣本的等式11中的s_n 的值，然後將s_n 的聚合值用於推導4x4塊的BIO運動向量偏移。更具體地，以下公式用於基於塊的BIO推導：

(14)

其中bk表示屬於預測塊的第k個4x4塊的樣本集。將等式9和10中的sn替換為( (s_n ,b_k ) >> 4 )，以推導相關聯的運動向量偏移。

在一些情況下，由於噪音或不規則運動，BIO的MV團（MV regiment）可能不可靠。因此，在BIO中，MV團的大小被閾值thBIO截頂。基於當前圖片的參考圖片是否都來自一個方向來確定閾值。如果當前圖片的所有參考圖片都來自一個方向，則將閾值的值設置為

；否則，將其設置為

。

利用使用與HEVC運動補償過程（2D可分離FIR）一致的操作的運動補償插值來同時計算BIO的梯度。根據塊運動向量的分數部分，該2D可分離FIR的輸入是與運動補償過程和分數位置（fracX ， fracY ）相同的參考幀樣本。在水準梯度

的情況下，首先使用與具有去縮放偏移d-8的分數位置fracY 相對應的BIOfilterS 垂直插值訊號，然後在水準方向上應用梯度濾波器BIOfilterG ，該BIOfilterG 與具有去縮放偏移18-d的分數位置fracX 相對應。在垂直梯度

的情況下，首先使用與具有去縮放偏移d-8的分數位置fracY 相對應的BIOfilterG 垂直應用梯度濾波器，然後在水準方向上使用BIOfilterS 執行訊號位移，該BIOfilterS 與具有去縮放偏移18-d的分數位置fracX 相對應。用於梯度計算的插值濾波器BIOfilterG 和用於訊號位移的插值濾波器BIOfilterS 的長度較短（6抽頭），以保持合理的複雜度。表1示出了用於BIO中塊運動向量的不同分數位置的梯度計算的濾波器。表2示出了用於BIO中預測訊號生成的插值濾波器。

表1：用於BIO中梯度計算的濾波器

表2：用於BIO中預測訊號生成的插值濾波器

在JEM中，當兩個預測來自不同的參考圖片時，BIO應用於所有雙預測塊。當為CU啟用LIC時，禁用BIO。

在JEM中，OBMC在正常MC過程之後應用於塊。為了降低計算複雜性，在OBMC過程中不應用BIO。這意味著BIO僅在使用其自身的MV時才應用於塊的MC過程，並且在OBMC過程中使用相鄰塊的MV時不應用於MC過程。

2.2.15解碼器側運動向量細化

在雙向預測操作中，對於一個塊區域的預測，將分別使用list0的運動向量（MV）和list1的MV形成的兩個預測塊進行組合以形成單個預測訊號。在解碼器側運動向量細化（Decoder-Side Motion Vector Refinement，DMVR）方法中，通過雙邊範本匹配過程進一步細化雙向預測的兩個運動向量。雙邊範本匹配應用在解碼器中，以在雙邊範本和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而無需傳輸附加的運動資訊。

在DMVR中，分別從列表0的初始MV0和列表1的MV1，將雙邊範本生成為兩個預測塊的加權組合（即平均），如圖23所示。範本匹配操作包括計算所生成的範本與參考圖片中的（在初始預測塊周圍的）樣本區域之間的成本度量。對於兩個參考圖片中的每個，將產生最小範本成本的MV考慮為該列表的更新MV以替換原始MV。在JEM中，對每個列表搜索九個MV候選。該九個MV候選包括原始MV和8個與原始MV在水準或垂直方向上或兩個方向上具有一個亮度樣本偏移的環繞的MV。最後，將兩個新的MV，即如圖23中所示的MV0'和MV1'，用於生成最終的雙向預測結果。將絕對差之和（SAD）用作成本度量。請注意，當計算由一個環繞的MV生成的預測塊的成本時，實際上使用取整的MV（到整數像素）而不是真實MV來獲得預測塊。

將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，另一MV來自未來的參考圖片，而無需傳輸額外的語法元素。在JEM中，當對CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

2.2.16問題的示例

如DMVR和FRUC的DMVD方法執行運動估計以推導或細化運動資訊，這對於解碼器來說非常複雜。在運動估計期間，它們有一個共同的問題：對於塊中的所有像素計算範本和候選塊之間的差（絕對差、平方差等）並將其相加，然後用於選擇最佳匹配塊。這不是必需的，因為部分像素的差可能足以選擇最佳候選塊或MV。

對於FURC，當執行雙邊匹配時，考慮起始MV和候選MV之間的MV差以抑制不可靠的運動向量，如等式4。將MV差乘以固定的加權因數，這可能不合理。對於較大的塊，SAD起主導作用並且MV差是可忽略的，並且對於較小的塊，MV差可能太大。

2.2.17示例實施例

公開了來降低DMVD方法的複雜度並提高編碼性能的示例方面。所公開的方法可以應用于現有的DMVD方法，但也可以應用於解碼器側的運動/模式推導的未來方法。

第一，僅針對解碼器側運動估計中的部分像素，即，在運動資訊推導或細化過程中，計算範本和候選塊之間的成本（例如，考慮失真和MV的差、失真或成本）。第二，對於DMVR，插值次數減少。第三，使用所公開的技術的一些實施例將DMVR應用於AMVP模式。第四，對於不同的塊尺寸，MV差的權重因數可以不同。 1. 以下列舉的示例提供了一些方式，通過這些方式，可以將所公開的技術體現到視頻解碼過程中。在一個示例中，範本匹配（在PMMVD中）使用的範本僅包括當前塊上方的像素，不包括留給當前塊的像素，如圖24所示。 2. 在FRUC中，根據塊尺寸（即，寬度*高度）設計MV差的加權因數w。 a. 在一個示例中，w = a * 寬度 * 高度，其中a是固定的正值。 b. 在一個示例中，w = a * f(寬度 * 高度)，其中a是固定的正值，並且f（.）是類sigmoid的函數，或者f（.）是冪函數。 c. 在一個示例中，w可以取決於編碼資訊，諸如參考圖片索引、預測方向（參考圖片清單索引）、參考圖片與當前圖片之間的POC距離、參考圖片和/或當前圖片的圖片級/條帶級量化參數、時間層索引。

圖25是視頻解碼的示例方法2500的流程圖。方法2500包括生成（2502）用於視頻的當前塊的候選塊集，僅使用在當前塊上方的像素生成（2504）用於當前塊的範本，估計（2506）關於候選塊集中的每個候選塊的範本成本，以及使用具有最小成本的候選塊重構（2508）當前塊。

在一些實施例中，生成範本包括使用當前塊上方的像素並且排除當前塊左側的像素。

在一些實施例中，該方法包括使用取決於當前塊的尺寸的運動向量差的權重來執行畫面播放速率上轉換。在一些實施例中，將權重選擇為w = a*f(寬度* 高度)，其中w表示權重，a是正有理數，*表示乘法運算，f()是函數，寬度是當前塊的以像素數為單位的寬度，高度是當前塊的以像素數為單位的高度。

在一些實施例中，基於當前塊的編碼資訊確定權重。在一些實施例中，編碼資訊包括參考圖片索引、預測方向、與當前塊相關聯的當前圖片和參考圖片之間的圖片順序計數差、在圖片級或條帶級與當前塊相關聯的當前圖片的參考圖片的量化參數、和/或時間層索引。

圖26示出了可用以實施本發明所公開的技術的各個部分的硬體設備2600的示例實施例的框圖。硬體設備2600可以是筆記型電腦、智慧手機、平板電腦、攝像機或能夠處理視頻的其他類型的設備。設備2600包括處理資料的處理器或控制器2602，以及與處理器2602通信、存儲和/或緩衝資料的記憶體2604。例如，處理器2602可以包括中央處理單元（Central Processing Unit，CPU）或微控制器單元（Microcontroller Unit，MCU）。在一些實施方式中，處理器2602可包含現場可程式設計閘陣列（Field-Programmable Gate-Array，FPGA）。在一些實施方式中，設備2600包括或與圖形處理單元（Graphics Processing Unit，GPU）、視頻處理單元（Video Processing Unit，VPU）和/或無線通訊單元通信，以實現智慧手機設備的各種視覺和/或通信資料處理功能。例如，記憶體2604可以包括並存儲處理器可運行代碼，該代碼在由處理器2602運行時，將設備2600配置為執行各種操作，例如諸如接收資訊、命令和/或資料，處理資訊和資料，以及將處理過的資訊/資料發送或提供給另一設備，諸如執行器或外部顯示器。為了支援設備2600的各種功能，記憶體2604可以存儲資訊和資料，諸如指令、軟體、值、圖像以及處理器2602處理或引用的其他資料。例如，可以使用各種類型的隨機存取記憶體（Random Access Memory，RAM）設備、唯讀記憶體（Read Only Memory，ROM）設備、快閃記憶體設備和其他合適的存儲介質來實施記憶體2604的存儲功能。設備2600還可以包括專用視頻處理電路2606，用於執行重複計算功能，諸如變換和解碼。

圖27是示出視訊轉碼器的示例實施方式的框圖。視訊轉碼器對使用諸如變換、運動估計和殘差誤差編碼的編碼工具編碼的視頻圖片進行操作。在編碼器處對編碼的視頻幀進行重構（運動補償），並將其用作用於其他視頻圖片的幀間編碼的參考圖片。本文檔中描述的技術可以由視訊轉碼器或視頻解碼器使用諸如關於圖26所描述的硬體平臺來實施。

從前述內容可以理解，本文已經出於說明的目的描述了當前所公開的技術的具體實施例，但是在不脫離本發明的範圍的情況下可以做出各種修改。因此，除了所附權利要求之外，當前所公開的技術不受限制。

本文檔中描述的公開的和其他實施例、模組和功能性操作可以在數位電子電路中實施，或者在電腦軟體、固件或硬體中實施，包括本文檔中公開的結構及其結構等同物，或者以他們的一個或多個的組合實施。所公開的和其他實施例可以被實施為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、記憶體設備、影響機器可讀傳播訊號的物質的合成、或者它們中的一個或多個的組合。術語“資料處理裝置”包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或者多個處理器或電腦。除了硬體之外，裝置可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器固件、協定棧、資料庫管理系統、作業系統及其一個或多個的組合的代碼。傳播訊號是人工生成的訊號，例如機器生成的電訊號、光訊號或電磁訊號，其被生成以對資訊進行編碼以便傳輸到合適的接收器裝置。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的文件相對應。程式可以存儲在保存其他程式或資料的檔的部分中（例如，存儲在標記語言文檔中的一個或多個腳本）、專用於所討論的程式的單個檔中、或多個協調檔（例如，存儲一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站或分佈在多個網站並通過通信網路互連。

本文檔中描述的處理和邏輯流可以由一個或多個可程式設計處理器執行，該一個或多個處理器運行一個或多個電腦程式，通過對輸入資料進行操作並生成輸出來執行功能。處理和邏輯流也可以由專用邏輯電路來執行，並且裝置也可以實施為專用邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

例如，適用於運行電腦程式的處理器包括通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或可操作地耦合到一個或多個大型存放區設備，以從其接收資料或向其傳送資料，或兩者兼有。然而，電腦不一定需要具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。

雖然本專利文檔包含許多細節，但不應將其解釋為對任何發明或要求保護的範圍的限制，而應解釋為特定于特定發明的特定實施例的特徵的描述。本專利文檔在分離的實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨地實施，或在任何合適的子組合中實施。此外，雖然特徵可以被描述為在某些組合中起作用，甚至最初這樣要求保護，但在某些情況下，可以從要求保護的組合中刪除組合中的一個或多個特徵，並且要求保護的組合可以指向子組合或子組合的變體。

同樣，儘管在附圖中以特定順序描述了操作，但這不應理解為要獲得期望的結果必須按照所示的特定順序或次序順序來執行這些操作，或執行所有示出的操作。此外，本專利文檔所述實施例中的各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實施方式和示例，其他實施方式、增強和變體可以基於本專利文檔中描述和說明的內容做出。

A₀、A₁、B₀、B₁、B₂、C₀、C₁:位置 tb、td:POC距離 MV0、MV1:運動向量 TD0、TD1:時間距離 2500、2600:方法 2502:生成候選塊集 2504:僅使用在當前塊上方的像素生成範本 2506:估計範本關於每個候選塊的成本 2508:重構當前塊 2600:硬體設備 2602:處理器 2604:記憶體 2606:視頻處理電路

圖1示出了用於Merge候選列表建構的推導過程的示例。 圖2示出了空間Merge候選的示例位置。 圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。 圖4A和圖4B示出了N×2N和2N×N個分區的第二預測單元（PU）的示例位置。 圖5是用於時間Merge候選的運動向量縮放的示例說明。 圖6示出了時間Merge候選C0和C1的候選位置的示例。 圖7示出了組合的雙向預測Merge候選的示例。 圖8示出了運動向量預測候選的示例推導過程。 圖9示出了用於空間運動向量候選的運動向量縮放的示例說明。 圖10示出了用於編碼單元（CU）的可選時間運動向量預測（ATMVP）運動預測的示例。 圖11示出了具有四個子塊及其相鄰塊（a-d）的一個CU的示例。 圖12是應用重疊塊運動補償（OBMC）的子塊的圖示。 圖13示出了用於推導IC參數的相鄰樣本的示例。 圖14示出了簡化的仿射運動模型的示例。 圖15示出了每個子塊的仿射運動向量場（MVF）的示例。 圖16示出了AF_INTER的運動向量預測（MVP）的示例。 圖17A和圖17B示出了AF_MERGE的候選的示例。 圖18示出了雙邊匹配的示例。 圖19示出了範本匹配的示例。 圖20示出了畫面播放速率上轉換（FRUC）中的單邊運動估計（ME）的示例。 圖21示出了光流軌跡的示例。 圖22A示出了沒有具有塊外部的訪問位置的塊擴展的雙向光流（BIO）。 圖22B示出了沒有塊擴展的BIO，其中發出填充以避免額外的記憶體訪問和計算。 圖23示出了基於雙邊範本匹配的解碼器側運動向量細化（DMVR）的示例。 圖24示出了範本匹配中的簡化範本的示例。 圖25是視頻解碼的示例方法的流程圖。 圖26是視頻解碼裝置的框圖。 圖27示出了視訊編碼器的示例實施方式。

2500、2600:方法

2502:生成候選塊集

2504:僅使用在當前塊上方的像素生成範本

2506:估計範本關於每個候選塊的成本

2508:重構當前塊

Claims (16)

1. 一種解碼包括視頻的數位表示的位元流的方法，包括：生成用於視頻的當前塊的候選塊集；僅使用所述當前塊上方的像素，生成用於所述當前塊的範本；估計所述候選塊集中的每個候選塊的範本成本；以及使用具有最小成本的候選塊重構所述當前塊。
2. 如申請專利範圍第1項所述的方法，其中所述生成所述範本包括使用所述當前塊上方的像素並且排除所述當前塊左側的像素。
3. 如申請專利範圍第1項或第2項所述的方法，還包括：使用取決於所述當前塊尺寸的運動向量差的權重來執行畫面播放速率上轉換。
4. 如申請專利範圍第3項所述的方法，其中將所述權重選擇為w=a*f(寬度*高度)，其中w表示所述權重，a是正有理數，*表示乘法運算，f()是函數，寬度是所述當前塊的以像素數為單位的寬度，並且高度所述當前塊的是以像素數為單位的高度。
5. 如申請專利範圍第4項所述的方法，其中所述函數f定義為f(x)=x。
6. 如申請專利範圍第4項所述的方法，其中所述函數f是類sigmoid的函數。
7. 如申請專利範圍第4項所述的方法，其中所述函數f是冪函數。
8. 如申請專利範圍第4項所述的方法，其中基於所述當前塊的編碼資訊確定所述權重。
9. 如申請專利範圍第8項所述的方法，其中所述編碼資訊包含參考圖片索引。
10. 如申請專利範圍第8項所述的方法，其中所述編碼資訊包含預測方向。
11. 如申請專利範圍第8項所述的方法，其中所述編碼資訊包含與所述當前塊相關聯的當前圖片和參考圖片之間的圖片順序計數差。
12. 如申請專利範圍第8項所述的方法，其中所述編碼資訊包含在圖片級或條帶級與所述當前塊相關聯的當前圖片的參考圖片的量化參數。
13. 如申請專利範圍第8項所述的方法，其中所述編碼資訊包含時間層索引。
14. 一種視頻解碼裝置，包括處理器，其被配置為實施申請專利範圍第1項至第13項中的任一項所述的方法。
15. 一種視頻編碼裝置，包括處理器，其被配置為實施申請專利範圍第1項至第13項中的任一項所述的方法。
16. 一種電腦程式產品，其上存儲有電腦代碼，當所述代碼由處理器運行時，使所述處理器實施申請專利範圍第1項至第13項中的任一項所述的方法。

Images