TW201739252A - 具有仿射運動補償的視訊編碼的方法以及裝置 - Google Patents

Abstract

揭露一種用於具有仿射運動補償的視訊編碼以及解碼的方法以及裝置。此方法的實施例接收一個與編碼於或將編碼於仿射模式的當前塊相關聯的輸入資料。相鄰塊的兩個或者更多運動矢量從緩衝器中獲取，其中，至少一個獲取的運動矢量不對應於第一相鄰塊列或第一相鄰塊行中的子塊。此方法使用獲取的兩個或者更多運動矢量導出包括多個仿射運動矢量的仿射候選，且使用由已導出的仿射候選的一個或多個運動補償塊通過預測當前塊來編碼或解碼當前塊。用於仿射候選導出的緩衝器儲存少於當前圖片中已編碼塊的所有運動矢量的已選擇運動矢量。

Description

具有仿射運動補償的視訊編碼的方法以及裝置 【相關申請的交叉引用】

本發明主張申請於2016年3月15日，序號為PCT/CN2016/076360，標題為“Affine Prediction for Video Coding”的PCT專利申請，以及申請於2016年12月22日，序列號為US62/437,757，標題為“Affine Prediction Buffer Management for Video Coding”的美國臨時專利申請的優先權。將此PCT專利申請以及此美國臨時專利申請以參考的方式併入本文中。

本發明涉及具有仿射運動補償(affine motion compensation)的視訊編碼。特別地，本發明涉及用於實現仿射運動補償的視訊編碼系統的緩衝器管理以及啟用用於仿射運動補償的自適應運動矢量分辨率的技術。

在編碼以及解碼過程中，視訊資料需要大量的存儲空間來緩衝中間資料。隨著增長的高分辨率以及更高的幀率，且更強大的編碼技術被開發以獲取更好的編碼性能，視訊編碼器以及解碼器的存儲要求顯著地增加。新開發的編碼技術中的一種是仿射運動預測以及補償，其能有效地跟踪更多複雜 的運動，例如：轉動、縮放、以及移動物體的形變(deformation)。應用於最近開發的編碼標準，例如：高效率視訊編碼(HEVC)的幀間運動預測方法僅考慮二維(two-dimensional，2D)平移運動，其中，兴趣(interest)區域的所有像素都遵循相同的運動方向以及幅度。仿射運動預測可根據四參數仿射模型(four-parameter affine model)描述2D塊轉動以及縮放。仿射運動預測也可以根據將正方形或矩形變換為平行四邊形的六參數仿射模型來捕獲2D形變。文獻中提出的仿射運動預測有兩種主要模式，包括仿射合併模式以及仿射幀間模式。仿射合併模式允許從空間相鄰塊繼承仿射運動資訊，然而仿射幀間模式通過組合空間相鄰塊的運動資訊來構造若干最可能的候選。仿射幀間模式也被稱作仿射提前運動矢量預測(advance motion vector prediction，AMVP)模式。

沿著時間軸橫過圖片的運動可由如式子(1)所示的四參數仿射運動模型來描述。假設A(x，y)是所考慮的位於位置(x，y)的原始像素，且A’(x’，y’)是用於原始像素A(x，y)的參考圖片的位置(x’，y’)的對應參考像素。

x’=a0*x+a1*y+a2，以及y’=-a1*x+a0*y+a3。(1)其中，a0、a1、a2以及a3為四參數仿射運動模型中的四個參數。

編碼於仿射模式的塊中的此原始像素A(x，y)以及其對應參考像素A’(x’，y’)之間的運動矢量(v_x，v_y)可被描述為：v_x=(1-a0)* x-a1* y-a2，以及 v_y=(1-a0)* y+a1* x-a3。(2)

第1A圖所示為示範性四參數仿射運動模型。兩個角像素110以及112位於當前塊102的左上以及右上角，且於四參數仿射運動模型中，這兩個角像素也被稱為當前塊102的控制點。兩個控制點110以及112的運動矢量Mv0以及Mv1將當前塊102映射到參考圖片中的參考塊104。根據式子(3)，基於控制點110以及112的運動矢量Mv0以及Mv1，可以導出當前塊102中的每個像素A(x，y)的運動矢量場。

其中，(v_0x，v_0y)表示左上角110的運動矢量Mv0，(v_1x，v_1y)表示右上角112的運動矢量Mv1，且w表示當前塊的寬度。對於基於塊的仿射運動補償，當兩個控制點的運動矢量Mv0以及Mv1被解碼時，當前塊102的每個4x4塊的運動矢量可根據式子(3)來確定。換句話說，用於當前塊102的四參數仿射運動模型可由兩個控制點的兩個運動矢量Mv0以及Mv1來指定。此外，當塊的左上角以及右上角被用作兩個控制點時，其它兩個控制點也可被使用。

六參數仿射運動模型可由式子(4)來描述。於此模型中，總共六個參數a0、a1、a2、b0、b1以及b2以及三個控制點被使用。對於每個像素A(x，y)，此像素A(x，y)以及其對應參考像素A’(x’，y’)之間的運動矢量(v_x，v_y)如式子(5)所示。

x’=a0+a1* x+a2* y，以及y’=b0+b1* x+b2* y。(4)

v_x=(a1-1)* x+a2* y+a0，以及v_y=(b2-1)* y+b1* x+b0。(5)

由六參數仿射運動模型預測的每個像素的運動矢量也是位置相關的。第1B圖所示為根據六參數仿射運動模型的仿射運動補償的示例，其中，當前塊122被映射到參考圖片中的參考塊124。當前塊122的三個角像素130、132、以及134以及參考塊124的三個角像素之間的對應關係可由如第1B圖所示的三個箭頭來確定。用於仿射運動模型的六個參數可基於當前塊122的左上、右上、以及左下控制點的三個已知運動矢量Mv0、Mv1、Mv2來導出。用於仿射運動模型的參數導出在本領域中是公知的，且在此省略其細節。

仿射幀間模式以及仿射合併模式的各種實現已經被討論，例如，仿射旗標被用於指示是否應用仿射幀間模式，且當CU等於或大於16x16時，此仿射旗標被標識以用於每個幀間編碼的編碼單元(coding unit，CU)。如果當前CU被編碼或將被編碼於仿射幀間模式，則使用有效的相鄰已編碼塊來為當前CU構造候選運動矢量預測子(motion vector predictor，MVP)對列表。第2圖所示為於仿射幀間模式或仿射合併模式編碼的當前塊20的候選MVP對導出的示例。如第2圖所示，用於當前塊20的左上控制點的運動矢量Mv0的MVP是從左上相鄰已編碼塊A0、A1、或A2的運動矢量中選擇；以及用於當前塊20的右上控制點的Mv1的MVP是從右上相鄰 已編碼塊B0以及B1的運動矢量中選擇。用於候選MVP對清單的MVP索引被標識於視訊位元串流，且兩個控制點的運動矢量差(motion vector difference，MVD)被編碼於視訊位元串流。

對於在合併模式中編碼的當前塊20，第2圖中的5個相鄰已編碼子塊C0(被稱為左底部塊)、B0(被稱為右上塊)、B1(被稱為右上角塊)、C1(被稱為左下角塊)、以及A0(被稱為左上角塊)被依次地檢查以確定相鄰已編碼子塊中的任何一個是否編碼於仿射幀間模式或仿射合併模式。在此示例中，當前塊20為預測單元(prediction unit，PU)。只有在相鄰已編碼子塊中的任何一個被編碼於仿射幀間模式或仿射合併模式時，仿射旗標被標識以指示當前塊20是否編碼於仿射合併模式。當根據仿射合併模式編碼或解碼當前塊20時，第一可用的仿射編碼相鄰塊(affine-coded neighboring block)是從5個相鄰已編碼子塊中選擇。包括已選擇的相鄰編碼子塊的第一可用的仿射編碼相鄰塊被用於導出仿射合併後選。仿射合併後選被用於導出當前塊的參考圖片的預測子。如第2圖所示，用於選擇相鄰已編碼子塊中的一個的選擇順序是從左底部塊、右上塊、右上角塊、左下角塊、到左上角塊(C0→B0→B1→C1→A0)。用於當前塊20的仿射合併後選是從第一可用的仿射編碼相鄰塊的控制點的MV導出，例如，如果應用四參數仿射運動模型，則第一可用的仿射編碼相鄰塊的左上NxN子塊以及右上NxN子塊的MV被用於導出仿射合併後選。當對於六參數仿射運動模型包括第三控制點時，第一可用的仿射編碼 相鄰塊的左底部NxN子塊的MV也被用於導出仿射合併後選。

一種視訊編碼系統中用於具有仿射運動補償的視訊編碼以及解碼的方法以及裝置被揭露。根據本發明的視訊編碼器的實施例接收與當前圖片中當前塊相關聯的輸入資料，且根據本發明的視訊解碼器的實施例接收對應於包括當前圖片中當前塊的壓縮資料的視訊位元串流。根據仿射運動模型，當前塊被編碼或將被編碼於仿射模式。本發明的各實施例減少了用於仿射候選導出的時間緩衝器的緩衝器要求。時間緩衝器儲存少於當前圖片中先前編碼塊(previous coded block)的所有運動矢量的已選擇運動矢量。此方法的實施例從時間緩衝器中獲取相鄰塊的兩個或者更多運動矢量，其中，至少一個獲取的運動矢量不對應於最接近(closest)當前塊的上邊界的第一相鄰NxN塊列(row)或最接近當前塊的左邊界的第一相鄰NxN塊行(column)的子塊，且NxN為時間緩衝器中用於儲存一個運動矢量的塊大小。此方法進一步使用相鄰塊的已獲取的兩個或者更多運動矢量來導出包括多個仿射運動矢量的仿射候選，且通過使用由已導出的仿射候選導出的一個或多個運動補償塊來預測當前塊來編碼或解碼當前塊。每個仿射運動矢量預測當前塊的點以及一個或多個運動補償塊的對應點之間的運動。

在一些實施例中，時間緩衝器儲存最接近當前塊的上邊界的第一相鄰NxN塊列以及第二相鄰NxN塊列的MV，且時間緩衝器儲存最接近當前塊的左邊界的第一相鄰 NxN塊行以及第二相鄰NxN塊行的MV。

在一個實施例中，獲取的MV包括用於四參數仿射運動模型的第一以及第二MV，例如，如果相鄰塊鄰近或位於當前塊的左上角上方，則第一以及第二MV是分別替代相鄰塊的左上角以及右上角的原始MV的替代MV(replacing MV)。如果相鄰塊位於當前塊的左側，則第一MV為替代相鄰塊的左上角的原始MV的替代MV，且第二MV為相鄰塊的右上角的原始MV。在一實施例中，第一以及第二MV對應於相鄰塊中的第一以及第二子塊，且仿射MV中的第一仿射MV使用第一以及第二MV被導出，當前塊的像素位置與當前圖片相關，第一子塊的像素位置與當前圖片以及相鄰塊的寬度相關。仿射MV的第二仿射MV是使用第一以及第二MV、相鄰塊的寬度、以及當前塊的寬度被導出。

在另一實施例中，獲取的MV包括用於六參數仿射運動模型的第一、第二以及第三MV，例如，三個MV是用於相鄰塊中的第一、第二以及第三子塊，且第一仿射MV是使用三個MV中的至少兩個來導出，當前塊的像素位置與當前圖片相關，第一子塊的像素位置與當前圖片以及相鄰塊的寬度相關。第二仿射MV是使用第一以及第二運動矢量、相鄰塊的寬度、以及當前塊的寬度來導出，且第三仿射MV是使用第一以及第三運動矢量以及相鄰塊的高度和當前塊的高度中的至少一個來導出。在本實施例中，如果相鄰塊位於當前塊的上方，則第一、第二MV為替代相鄰塊的左上角以及右上角的原始MV的替代MV，且第三MV為相鄰塊的左下(lower-left)角 的原始MV。第一、第二、以及第三MV為替代相鄰塊的左上角、右上角、以及左下角的原始MV的替代MV，如果相鄰塊鄰近當前塊的左上角。如果相鄰塊位於當前塊的左側，則第一以及第三MV為替代相鄰塊的左上角以及左下角的原始MV的替代MV，且第二MV為相鄰塊的右上角的原始MV。

根據具有兩個控制點的四參數仿射運動模型或根據具有三個控制點的六參數仿射運動模型，當前塊是由運動補償塊通過仿射候選的仿射運動矢量來預測。時間緩衝器儲存選擇的運動矢量，例如，時間緩衝器儲存當前塊上方的M個NxN塊列的MV，且M小於最大編碼單元高度除以N(CTU_height/N)。在另一實施例中，時間緩衝器儲存當前塊左側的K個NxN塊行的MV，且K等於最大編碼單元寬度除以N(CTU_width/N)。

在本方法的一些實施例中，獲取的MV是相鄰塊的兩個或者更多控制點的原始MV。控制點包括相鄰塊的左上角、右上角、右下角、以及左下角中的至少兩個。在一實施例中，時間緩衝器儲存2個NxN塊列以及2個NxN塊行的MV，包括：第一相鄰NxN塊列、第一相鄰NxN塊行、頂NxN塊列集合(top NxN block row set)以及最左NxN塊行集合(left-most NxN block column set)的原始MV。第一相鄰NxN塊列是最接近當前塊的上邊界的上方相鄰塊(upper neighboring block)的最後一列，第一相鄰NxN塊行是最接近當前塊的左邊界的左側相鄰塊的最後一行，頂NxN塊列集合為上方相鄰塊中的第一列，且最左NxN塊行集合為左側相鄰塊中的第一行。

在又一實施例中，此方法包括接收與編碼或將編碼於仿射模式的當前塊相關聯的輸入資料，計算以及儲存用於當前圖片中多個已編碼塊的仿射參數，從時間緩衝器獲取對應於當前塊的相鄰塊的一個或多個已編碼塊的仿射參數以導出包括多個仿射MV的仿射候選。通過使用由已導出的仿射候選的一個或多個運動補償塊預測當前塊來編碼或解碼當前塊。每個仿射運動矢量預測當前塊的點以及一個或多個運動補償塊的對應點之間的運動。

在一實施例中，當仿射運動模型是使用左上角、右上角、右上角、以及右下角中的兩個作為控制點的四參數仿射運動模型時，仿射參數包括相鄰塊的水平方向運動矢量偏置以及一個運動矢量，或當仿射運動模型是使用左上角、右上角、左下角、以及右下角中的兩個作為控制點的四參數仿射運動模型時，仿射參數包括相鄰塊的垂直方向運動矢量偏置以及一個運動矢量。在另一實施例中，當仿射運動模型為六參數仿射運動模型時，仿射參數包括相鄰塊中的水平方向MV偏置、垂直方向MV偏置、以及運動矢量。相鄰塊中運動矢量的示例為相鄰塊的左上角、右上角、右下角、或左下角的運動矢量。在另一實施例中，仿射參數包括用於每個已編碼塊的已縮放MV偏置。在又一實施例中，仿射參數包括表示兩個或三個控制點的運動矢量的兩個或三個仿射運動矢量，且時間緩衝器儲存用於每個已編碼塊的兩個或三個仿射運動矢量。

此方法的另一實施例包括接收與編碼或將被編碼於仿射模式的當前塊相關聯的輸入資料，從時間緩衝器獲取有 效相鄰塊(valid neighboring biock)的兩個或者更多MV以用於當前塊，使用獲取的有效相鄰塊的兩個或者更多MV導出包括仿射MV的仿射候選，且通過使用由已導出的仿射候選的一個或多個補償塊預測當前塊來編碼或解碼當前塊。有效相鄰塊不包括鄰近當前塊的左上角的相鄰塊。時間緩衝器儲存當前塊的一個相鄰NxN塊列以及一個相鄰NxN塊行的MV，其中，NxN為時間緩衝器中用於儲存一個MV的塊大小。仿射MV預測當前塊的點以及一個或多個運動補償塊的對應點之間的運動。

本公開的方面進一步提供一種包括一個或多個被配置以執行具有仿射運動補償的視訊編碼方法的電子電路。通過對具體實施例的以下描述進行回顧，本發明的其他方面和特徵對於本領域普通技術人員將變得明顯。

110、112、130、132、134‧‧‧角像素

102、122、20、30、40、44、60、80‧‧‧當前塊

104、124‧‧‧參考塊

32、34‧‧‧相鄰塊

322‧‧‧左上NxN塊

324‧‧‧右上NxN塊

326‧‧‧左底部NxN塊

342、344、346‧‧‧子塊

41、42、43‧‧‧相鄰已編碼塊

45、46、47‧‧‧相鄰仿射已編碼塊

422、424、423、425、432、433、434、435、437、436、412、413、414、415、416、462、464、465、466、467、452、453、454、455、456、457、472、473、474、475、477‧‧‧子塊

S50、S52、S54、S56、S58‧‧‧步驟

61、62、63‧‧‧相鄰塊

616、612、636、632、634、622、624、615、613、637、633、635、623、625、614、626‧‧‧子塊

S70、S72、S74、S76‧‧‧步驟

81、82、83‧‧‧相鄰塊

812、814、816、818、824、822、826、828、832、834、836‧‧‧子塊

900‧‧‧視訊編碼器

910、1012‧‧‧幀內預測

912、1014‧‧‧仿射預測

9122、10142‧‧‧仿射幀間預測

9124、10144‧‧‧仿射合並預測

914、1016‧‧‧開關

916‧‧‧加法器

918‧‧‧變換

920‧‧‧量化

922、1020‧‧‧逆量化

924、1022‧‧‧逆變換

926、1018‧‧‧重建

928、1024‧‧‧解塊濾波

930、1026‧‧‧樣本自適應偏置

932、1028‧‧‧參考圖片緩衝器

934‧‧‧熵編碼器

1000‧‧‧視訊解碼器

1010‧‧‧熵解碼器

第1A圖所示為根據兩個控制點將當前塊映射到一個或多個補償塊的四參數仿射預測。

第1B圖所示為根據三個控制點將當前塊映射到一個或多個補償塊的六參數仿射預測。

第2圖所示為用於仿射幀間模式或仿射合併模式的基於相鄰已編碼塊的仿射候選導出的示例。

第3圖所示為根據仿射合併模式的使用來自相鄰塊的資訊來編碼或解碼當前塊的示例。

第4A圖以及第4B圖所示為根據本發明實施例的儲存用 於仿射候選導出的兩個相鄰塊列以及兩個相鄰塊行的MV的兩個示例。

第5圖所示為結合本發明實施例的具有仿射運動補償的視訊編碼系統的示範性流程圖。

第6圖所示為根據本發明實施例的儲存用於仿射候選導出的相鄰塊的控制點的原始MV的示例。

第7圖所示為結合本發明實施例的具有仿射運動補償的視訊編碼系統的示範性流程圖。

第8圖所示為根據本發明實施例的儲存用於仿射候選導出的最接近相鄰塊列以及最接近相鄰塊行的MV的示例。

第9圖所示為根據本發明各實施例的用於實現仿射運動預測以及補償的視訊編碼器的示範性系統框圖。

第10圖所示為根據本發明各實施例的用於實現仿射運動補償的視訊解碼器的示範性系統框圖。

可以容易地理解，如本文附圖中所示以及所描述的本發明的組件可以以各種各樣的不同配置來佈置和設計。因此，如附圖所示的本發明的系統以及方法的實施例的以下更詳細的描述並不旨在限制如所要求保護的本發明的範圍，而是僅代表本發明的可選擇的實施例。

參考遍及本說明書的“一實施例”、“一些實施例”、或類似語言意味著結合實施例描述的特定特徵、結構、或特性可被包括於本發明的至少一個實施例中。因此，遍及本說明書中各處的短語“在一實施例中”或“在一些實施例中”的出現不 一定全指代相同的實施例，這些實施例可以單獨地或結合一個或多個其它實施例來實現。此外，所描述的特徵、結構、或特性可以任何合適的方式組合於一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可在沒有一個或多個具體細節、或具有其它方法、組件等情況下被實現。於其它情況下，已知的結構或操作未被示出或作詳細的描述以避免模糊本發明的各方面。

符合HEVC標準的解碼器降採樣(down-sample)由包括採用16：1的比率的AMVP模式以及合併模式的幀間預測編碼的每個PU的已解碼運動矢量，且解碼器將降採樣的運動矢量儲存於緩衝器中以用於當前圖片中後續塊(following block)以及以及後續圖片的MVP導出。每16x16塊中左上(top-left)4x4塊的運動矢量被儲存於緩衝器中，且已儲存的運動矢量代表整個16x16塊的運動矢量。運動矢量精度可為1/64像素精度且通過應用高精度離散余弦變換內插濾波器(Discrete Cosine Transform Interpolation Filter，DCTIF)來產生預測子。接著，在儲存到緩衝器之前，高精度運動矢量場被剪切至1/8像素精度。

為了處理於仿射合併模式中編碼的塊，根據如第3圖所示的相鄰已編碼子塊A、B、C、D以及E的選擇順序，確定第一可用的仿射編碼相鄰塊。第3圖所示為根據仿射合併模式的使用相鄰塊的資訊來編碼或解碼當前塊30的示例。在此示例中，當前塊30的兩個相鄰已編碼子塊B以及E被編碼於仿射模式。包括相鄰已編碼子塊B的相鄰塊32可以是仿射幀 間已編碼塊或仿射合併已編碼塊，類似地，包括相鄰已編碼子塊E的相鄰塊34可以是仿射幀間已編碼塊或仿射合併已編碼塊。在此示例中，第一可用的仿射編碼相鄰塊為相鄰塊32。如果仿射模式中使用兩個控制點，則用於預測當前塊30的仿射合併後選可由第一可用的仿射編碼相鄰塊32的左上NxN塊322的運動矢量V_B0以及右上NxN塊324的運動矢量V_B1導出。如果仿射模式中使用三個控制點，則仿射合併後選進一步由第一可用的仿射編碼相鄰塊32的左底部NxN塊326的運動矢量V_B2導出。NxN為時間MV緩衝器中用於儲存MV的最小塊大小，例如，N等於4。於HEVC系統中，只有當前編碼單元(coding unit，CU)或編碼樹單元(coding tree unit，CTU)的相鄰4x4塊列以及相鄰4x4塊行的運動矢量以及當前CTU的運動矢量被儲存。CTU也是定義視訊編碼系統中允許的最大編碼單元(largest coding unit，LCU)的術語。所有其它運動矢量以16：1的比率被丟棄或降採樣，並儲存於緩衝器中。具有仿射運動補償的視訊編碼系統需要附加的MV緩衝器來儲存用於仿射候選導出的相鄰已編碼塊的運動矢量。

以下描述了用於視訊編碼系統的緩衝器管理的實施例，其在減少緩衝器要求的情況下實現仿射運動補償。

第一實施例。於第一實施例中，當前圖片的當前塊根據包括仿射運動矢量的仿射候選由仿射運動補償來編碼或解碼。每個仿射運動矢量預測當前塊的控制點的運動矢量來作為被用於預測當前塊的點以及仿射運動補償塊的對應點之間的運動的仿射運動矢量。第一實施例中的時間MV緩衝器儲 存當前塊的單個相鄰NxN塊列以及單個相鄰NxN塊行的運動矢量。NxN表示時間MV緩衝器中用於儲存運動矢量的最小塊大小，例如，N等於4。在本實施例中，儲存於時間MV緩衝器中的MV的數量與用於MVP導出的傳統的HEVC時間MV緩衝器的數量相同。當用於當前塊的仿射候選的導出需要仿射編碼相鄰塊的控制點的運動矢量，且控制點並不在當前CTU內也不在當前塊的相鄰NxN塊列或相鄰NxN塊行內時，從緩衝器獲取替代運動矢量以導出替代仿射編碼相鄰塊的控制點的原始運動矢量的對應仿射運動矢量。替代運動矢量是儲存於緩衝器的降採樣的運動矢量，且此替代運動矢量表示整個16x16塊的運動。替代運動矢量可以是僅由控制點附近的子塊使用的運動矢量。例如，替代運動矢量對應於屬於與控制點相同的16x16塊的子塊。根據第一實施例導出的仿射候選中的仿射運動矢量通常不是精確的運動矢量預測子，因為降採樣的運動矢量有時不反映相鄰塊的控制點的真實運動。

第二實施例。第二實施例通過於時間MV緩衝器中儲存M個相鄰NxN塊列的MV以及K個相鄰NxN塊行的MV來儲存更多運動矢量。在本實施例中，M以及K為大於或等於2的整數，且N為大於1的整數。作為於時間MV緩衝器中儲存當前圖片中已編碼塊的所有運動矢量的替代，儲存少於當前圖片中已編碼塊的所有運動矢量的選擇運動矢量。選擇運動矢量為M個塊列以及K個塊行的MV，其中，塊列的數量M小於最大編碼樹單元的高度除以N(1<M<CTU_height/N)。NxN塊是指於時間MV緩衝器中儲存MV的最小塊大小。 於第二實施例的示例中，如第4A圖以及第4B圖所示，M以及K均等於2。在此示例中，時間緩衝器儲存最接近當前塊的上邊界的第一以及第二相鄰NxN塊列的運動矢量以及時間緩衝器也儲存最接近當前塊的左邊界的第一以及第二相鄰NxN塊行的運動矢量。第4A圖以及第4B圖所示為使用兩個相鄰塊列以及兩個相鄰塊行的用於編碼於仿射模式的當前塊的仿射候選導出的兩個示例。如果因為對應子塊不在兩個相鄰塊列中也不在兩個相鄰塊行中，相鄰塊的控制點的運動矢量不儲存於時間MV緩衝器中，則某些替代運動矢量被獲取以導出仿射候選中的仿射運動矢量。

在第4A圖示出的示例中，當前塊40的相鄰已編碼塊41、42以及43均編碼於仿射模式。當前塊40上方的第二相鄰塊列的子塊423以及425的替代運動矢量V_B0以及V_B1被用於導出仿射候選中的仿射運動矢量以替代相鄰已編碼塊42的第一列中的子塊422以及424的原始運動矢量V_B0以及V_B1。位於當前塊40上方的第二相鄰塊列或當前塊40左側的第二相鄰塊行中的子塊433、435、437的替代運動矢量V_E0’、V_E1’、以及V_E2’被用於導出仿射運動矢量以替代子塊432、434以及436的原始運動矢量V_E0、V_E1以及V_E2。當前塊40左側的第二相鄰行中的子塊413以及415的替代運動矢量V_A0’以及V_A2被用於導出仿射運動矢量以替代相鄰已編碼塊41的第一行中的子塊412以及416的原始運動矢量V_A0以及V_A2。子塊426以及414的原始運動矢量V_B2以及V_A1被用於導出當前塊40的仿射運動矢量，因為這兩個子塊426以及414位於當前塊 40的第一以及第二相鄰塊列或第一以及第二相鄰塊行中。使用仿射運動模型，仿射候選中已導出的仿射運動矢量被用於預測當前塊40的點以及一個或多個補償塊的對應點之間的運動。

第4B圖為第4A圖所示的仿射候選導出方法的備選解決方案。於第4B圖中，當導出用於編碼或解碼當前塊44的仿射候選時，相鄰仿射已編碼塊的控制點的所有原始運動矢量是由當前塊44的第一以及第二相鄰塊列以及第一以及第二相鄰塊行的其它子塊的運動矢量來替代。由六參數仿射運動模型預測的仿射已編碼塊的控制點包括仿射已編碼塊的左上角、右上角、以及左下角。相鄰仿射已編碼塊46的子塊463、465以及467中的替代運動矢量V_B0’、V_B1’以及V_B2’被用於導出仿射運動矢量以替代子塊462、464以及466的原始運動矢量V_B0，V_B1以及V_B2。相鄰仿射已編碼塊47中的子塊473、475以及477中的替代運動矢量V_E0’、V_E1’以及V_E2’被用於導出仿射運動矢量以替代子塊472、474以及476的原始運動矢量V_E0，V_E1以及V_E2。相鄰仿射已編碼塊45中的子塊453、455以及457的替代運動矢量V_A0’、V_A1’以及V_A2’被用於導出仿射運動矢量以替代子塊452、454以及456的原始運動矢量V_A0，V_A0以及V_A2。一般而言，在本實施例中，M個相鄰塊列以及K個塊行的其他位置可被用於仿射候選導出。

在不失一般性的情況下，僅有第4A圖所示的仿射候選導出方法進一步被描述如下。於第一示例中，包括三個仿射運動矢量Mv0、Mv1以及Mv2的仿射候選被導出以使用六參數仿射運動模型預測當前塊40。於第一示例中，仿射候選的 仿射運動矢量是從相鄰仿射已編碼塊42導出。for a用於左上角的第一控制點的仿射運動矢量Mv0=(V0_x，V0_y)由式子(6)來導出。

V_{0_x}=V_{B0’_x}+(V_{B2_x}-V_{B0’_x})*(posCurPU_Y-posB0’_Y)/(2*N)+(V_{B1’_x}-V_{B0’_x})*(posCurPU_X-posB0’_X)/RefPU_width，V_{0_y}=V_{B0’_y}+(V_{B2_y}-V_{B0’_y})*(posCurPU_Y-posB0’_Y)/(2*N)+(V_{B1’_y}-V_B0’_{_y})*(posCurPU_X-posB0’_X)/RefPU_width；(6)其中，運動矢量V_B0’=(V_{B0’_x}，V_{B0’_y})，V_B1’=(V_{B1’_x}，V_{B1’_y})，以及V_B2=(V_{B2_x}，V_{B2_y})為獲取自M個相鄰NxN塊列以及K個相鄰NxN塊行的三個運動矢量。還應理解，這些運動矢量可由當前塊的M個相鄰NxN塊列以及K個相鄰NxN塊行中的任何其它已選擇子塊的對應運動矢量來替代。坐標(posCurPU_X，posCurPU_Y)表示與當前圖片的左上角樣本相關的當前塊40的左上角樣本的像素位置。坐標(posB0’_X，posB0’_Y)表示與當前圖片的左上角樣本相關的子塊422的左上樣本的像素位置。RefPU_width表示相鄰塊42的寬度。位於右上以及左下角的第二以及第三控制點的仿射運動矢量Mv1=(V_{1_x}，V_{1_y})以及Mv2=(V_{2_x}，V_{2_y})分別由式子(7)導出。

V_{1_x}=V_{0_x}+(V_{B1’_x}-V_{B0’_x})* PU_width/RefPU_width，V_{1_y}=V_{0_y}+(V_{B1’_y}-V_{B0’_y})* PU_width/RefPU_width；V_{2_x}=V_{0_x}+(V_{B2_x}-V_{B0’_x})* PU_height/(2*N)，V_{2_y}=V_{0_y}+(V_{B2_y}-V_{B0’_y})* PU_height/(2*N)；(7) 其中，PU_width以及PU_height表示當前塊40的寬度以及高度。

於第二示例中，包括兩個仿射運動矢量Mv0以及Mv1的仿射候選被導出以使用四參數仿射運動模型預測當前塊40。第二示例也使用來自相鄰仿射已編碼塊42的運動矢量以導出仿射候選。用於位於左上以及右上角的第一以及第二控制點的仿射運動矢量Mv0=(V0_x，V0_y)以及Mv1=(V1_x，V1_y)分別由式子(8)導出。

V_{0_x}=V_{B0’_x}-(V_{B1’_y}-V_{B0’_y})*(posCurPU_Y-posB0’_Y)/RefPU_width+(V_{B1’_x}-V_{B0’_x})*(posCurPU_X-posB0’_X)/RefPU_width，V_{0_y}=V_{B0’_y}+(V_{B1’_x}-V_{B0’_x})*(posCurPU_Y-posB0’_Y)/RefPU_width+(V_{B1’_y}-V_{B0’_y})*(posCurPU_X-posB0’_X)/RefPU_width；V_{1_x}=V_{0_x}+(V_{B1’_x}-V_{B0’_x})* PU_width/RefPU_width，V_{1_y}=V_{0_y}+(V_B1’-y-V_{B0’_y})* PU_width/RefPU_width。(8)

考慮到儲存頂部CTU的運動矢量的線緩衝器比儲存左側CTU的運動矢量的行緩衝器大很多，在一個示例中，於此第二實施例中不需要限定K的值，通過將K設置為等於最大編碼單元的寬度除以N(K=CTU_width/N)，左側CTU的所有運動矢量被儲存。

第三實施例。於第三實施例中，用於每個固定大 小塊或每個CU的仿射參數或控制點被有意儲存。於式子(3)中，左上NxN子塊的運動矢量Mv0=(V_0x，V_0y)以及右上NxN子塊的運動矢量Mv1=(V_1x，V_1y)被用於導出當前塊中所有NxN子塊的運動矢量。當前塊為CU或預測單元(prediction unit，PU)。已導出的運動矢量可由運動矢量Mv0加上位置相關MV偏置來表示。從式子(3)中，為了導出位於位置(x，y)的NxN子塊的運動矢量，水平方向MV偏置H_MV_offset以及垂直方向MV偏置V_MV_offset如式子(9)所示。

H_MV_offset=(V_1x-V_0x)* N/w，(V_1y-V_0y)* N/w；V_MV_offset=-(V_1y-V_0y)* N/w，(V_1x-V_0x)* N/w。(9)

對於六參數仿射運動模型，左上NxN子塊的運動矢量Mv0=(V_0x，V_0y)、右上NxN子塊的運動矢量Mv1=(V_1x，V_1y)、以及左底部NxN子塊的運動矢量Mv2=(V_2x，V_2y)被用於導出當前塊中所有NxN子塊的運動矢量。當前塊中每個像素A(x，y)的運動矢量場可根據式子(10)基於三個運動矢量Mv0、Mv1以及Mv2被導出。

類似地，為了根據六參數仿射運動模型導出位於位置(x，y)的NxN子塊的運動矢量(V_x，V_y)，水平方向MV偏置H_MV_偏置以及垂直方向MV偏置H_MV_偏置如式子(11)所示。

H_MV_offset=(v_1x-v_0x)* N/w，(v_1y-v_0y)* N/w；V_MV_offset=(v_2x-v_0x)* N/h，(v_2y-v_0y)* N/h；(11)其中，式子(9)以及(11)中的w以及h為編碼於仿射模式中的當前塊的寬度以及高度。

在將NxN子塊的中心像素的運動矢量分配為控制點的運動矢量的情況下，式子(6)以及(8)中的分母減少N。例如，式子(6)可被重寫如下。

V_{0_x}=V_{B0’_x}+(V_{B2_x}-V_{B0’_x})*(posCurPU_Y-posB0’_Y)/(N)+(V_{B1’_x}-V_{B0’_x})*(posCurPU_X-posB0’_X)/(RefPU_width-N)

V_{0_y}=V_{B0’_y}+(V_{B2_y}-V_{B0’_y})*(posCurPU_Y-posB0’_Y)/(N)+(V_{B1’_y}-V_{B0’_y})*(posCurPU_X-posB0’_X)/(RefPU_width-N) (12)

第三實施例儲存仿射參數，例如：用於每個已編碼塊的水平以及垂直方向的MV偏置。已編碼塊可以是固定大小MxM塊或CU。固定大小MxM塊的大小可取決於允許應用仿射運動預測的最小大小。於一示例中，如果最小仿射幀間模式或仿射合併模式的塊大小為8x8，則M等於8。對於每個MxM塊或對於每個CU，包括水平方向MV偏置(V_1x-V_0x)* N/w，(V_1y-V_0y)* N/w以及NxN子塊的一個運動矢量例如Mv0(V_0x，V_0y)的仿射參數被儲存以用於使用左上以及右上控制點的四參數仿射運動模型。包括垂直方向MV偏置(V_2x-V_0x)* N/h，(V_2y-V_0y)* N/h以及NxN子塊的一 個運動矢量例如Mv0(V_0x，V_0y)的仿射參數被儲存以用於使用左上以及左下控制點的四參數仿射運動模型。如果使用左上、右上、以及左下控制點的六參數仿射運動模型被應用，則包括水平方向MV偏置(V_1x-V_0x)* N/w，(V_1y-V_0y)* N/w以及垂直方向MV偏置(V_2x-V_0x)* N/h，(V_2y-V_0y)* N/h，以及NxN子塊的一個運動矢量例如Mv0(V_0x，V_0y)的仿射參數被儲存。仿射候選中的仿射運動矢量可由已儲存的對應於相鄰塊的一個或多個MxM塊或CU的仿射參數來導出。

為了保持精度，水平或垂直MV偏置乘以一縮放數(scale number)，其中，縮放數可以是預定義的數或縮放數可被設置為等於最大編碼單元或CTU大小。例如，已縮放水平方向MV偏置((V_1x-V_0x)* S/w，(V_1y-V_0y)* S/w)以及已縮放垂直方向MV偏置((V_2x-V_0x)* S/h，(V_2y-V_0y)* S/h)被儲存。縮放數S的某些示例被設置為等於CTU大小或CTU大小的四分之一。

於另一示例中，每個MxM塊或每個CU的兩個或三個控制點的運動矢量被儲存。運動矢量可被儲存於線緩衝器中。用於預測當前塊的仿射候選中的仿射運動矢量由對應於相鄰塊的控制點的已儲存運動矢量導出。

第5圖所示為結合本發明的第三實施例的具有仿射運動補償的視訊編碼系統的示範性流程圖。於步驟S50中，視訊編碼系統接收與編碼或將編碼於仿射模式的當前塊相關聯的輸入資料。於步驟S52中，視訊編碼系統計算以及儲存用於相鄰塊的仿射參數，以及於步驟S54中，獲取對應於當前塊 的相鄰塊的仿射參數。於步驟S56中，根據所獲取的仿射參數，導出包括仿射運動矢量的仿射候選。接著，於步驟S58中，視訊編碼系統使用仿射候選於仿射模式中編碼或解碼當前塊。

第四實施例。於第四實施例中，相較於用於HEVC的現有時間MV緩衝器，另一NxN塊列以及另一NxN塊行中的運動矢量被儲存於用於仿射運動補償的時間MV緩衝器中。第四實施例的概念類似於第二實施例，但是位於一個或多個相鄰已編碼塊的頂部列以及最左行的子塊的原始運動矢量被儲存以替代位於接近當前塊的子塊的替代運動矢量。在本實施例中，時間緩衝器儲存第一相鄰NxN塊列、第一相鄰NxN塊行、頂部NxN塊列集合、以及最左NxN塊行集合的原始運動矢量。第一相鄰NxN塊列是最接近當前塊的上邊界的一個或多個上相鄰塊中的最後一列，且第一相鄰NxN塊行是最接近當前塊的左邊界的一個或多個左相鄰塊的的最後一行。頂NxN塊列集合包括一個或多個上相鄰塊的第一列，以及最左NxN塊行集合包括一個或多個左相鄰塊的第一行。

第6圖所示為通過儲存2個NxN塊列以及2個NxN塊行的運動矢量的仿射候選導出的示例。如圖6所示，鄰近當前塊60的左塊邊界的第一NxN塊行以及當前塊60上方的第一NxN塊列的子塊614以及626的原始運動矢量V_A1以及V_B2被儲存於緩衝器中。相鄰塊61、62以及63中的第一NxN塊行以及第一NxN塊列為最接近當前塊60的行以及列。相鄰塊61以及62的最左NxN塊行或相鄰塊62以及63的頂NxN塊列中的子塊616、612、636、632、634、622以及624的原始 運動矢量V_A2、V_A0、V_E2、V_E0、V_E1、V_B0、以及V_B1也被儲存於緩衝器。例如，相鄰塊的最左NxN塊行或頂NxN塊列的這些原始運動矢量V_A2、V_A0、V_E2、V_E0、V_E1、V_B0、以及V_B1覆蓋了用於儲存第二NxN塊列以及第二NxN塊行中子塊615、613、637、633、635、623以及625的運動矢量的緩衝器空間。在本實施例中，相鄰塊的控制點的原始運動矢量被儲存於僅有一個附加的MV列以及一個附加的MV行的開銷的時間MV緩衝器中。

第7圖所示為結合本發明的第二或第四實施例的用於具有仿射運動補償的視訊編碼系統的示範性流程圖。於步驟S70中，於視訊編碼器側接收與當前圖片中當前塊相關聯的輸入資料或於視訊解碼器側接收對應於包括當前塊的壓縮資料的視訊位元串流。步驟S72從時間緩衝器中獲取相鄰塊的兩個或者更多運動矢量，其中，至少一個獲取的運動矢量不對應於當前塊的第一相鄰NxN塊列或第一相鄰NxN塊行的子塊。於步驟S74中，視訊編碼系統使用獲取的運動矢量導出仿射候選，且於步驟S76中，使用由已導出的仿射候選的一個或多個運動補償塊通過預測當前塊來編碼或解碼當前塊。仿射運動矢量預測當前塊的點以及一個或多個運動補償塊的對應點之間的運動。時間緩衝器儲存少於當前圖片中已編碼塊的所有運動矢量的選擇運動矢量。根據第二實施例，獲取的運動矢量的至少一個為替代運動矢量，且根據第四實施例，所有獲取的運動矢量為相鄰塊的控制點的原始運動矢量。

第五實施例。於第五實施例中，具有仿射運動補 償的視訊編碼系統重用HEVC標準所需要的現有的時間MV緩衝器，因此，不需要附加的緩衝器。換句話說，在本實施例中，仿射運動預測僅需要一個相鄰NxN塊列以及一個相鄰NxN塊行的運動矢量。第8圖所示為使用一個相鄰NxN塊列以及一個相鄰NxN塊行的運動矢量的仿射候選導出的示例。如圖8所示，當前塊80的相鄰塊中最接近的NxN塊列或最接近的NxN塊行中的兩個運動矢量被用於導出用於當前塊的仿射候選。例如，當位於當前塊80上方的相鄰塊82被選擇用於導出仿射候選時，則子塊826以及828中的運動矢量V_B2以及V_B3被獲取以根據四參數仿射運動模型導出仿射候選中的仿射運動矢量；當位於當前塊80的左側的相鄰塊81被選擇用於導出仿射候選，則子塊814以及818中的運動矢量V_A1以及V_A3被獲取以根據四參數仿射運動模型導出仿射候選中的仿射運動矢量。在本實施例中，鄰近當前塊80的左上角的相鄰塊83不是用於仿射候選導出的有效相鄰塊。

式子(13)演示了根據四參數仿射運動模型修改式子(8)的示例，用於導出來自相鄰塊82的運動矢量V_B2以及V_B3的仿射候選中的仿射運動矢量Mv0以及Mv1。

V_{0_x}=V_{B2_x}-(V_{B3_y}-V_{B2_y})*(posCurPU_Y-posB2_Y)/RefPU_B_width+(V_{B3_x}-V_{B2_x})*(posCurPU_X-posB2_X)/RefPU_B_width，V_{0_y}=V_{B2_y}+(V_{B3_x}-V_{B2_x})*(posCurPU_Y-posB2_Y)/RefPU_B_width+(V_{B3_y}-V_{B2_y})*(posCurPU_X-posB2_X)/RefPU_B_width； V_{1_x}=V_{0_x}+(V_{B3_x}-V_{B2_x})* PU_width/RefPU_B_width，V_{1_y}=V_{0_y}+(V_{B3_y}-V_{B2_y})* PU_width/RefPU_B_width；(13)其中，(V_{0_x}，V_{0_y})表示當前塊80的左上角的運動矢量Mv0，且(V_{1_x}，V_{1_y})表示當前塊80的右上角的運動矢量Mv1。坐標(posCurPU_X，posCurPU_Y)表示與當前圖片的左上角樣本相關的當前塊80的左上角樣本的像素位置。坐標(posB2_X，posB2_Y)表示與當前圖片的左上角樣本相關的子塊826的左上樣本的像素位置。RefPU_B_width表示相鄰塊82的寬度以及PU_width表示當前塊80的寬度。

以下描述的第六到第九實施例是關於實現具有仿射運動補償的自適應運動矢量分辨率(Adaptive Motion Vector Resolution，AMVR)。AMVR提供一種靈活的方案，通過自適應地將MVD限制到整數像素分辨率來減少運動矢量差(motion vector difference，MVD)傳送開銷。對於CU或PU，AMVR旗標被標識以指示是否使用像素分辨率或使用分數像素分辨率。文獻中揭露的仿射運動補償的實現建議不標識用於編碼於仿射模式中的CU或PU的AMVR旗標，因此，AMVR總是被禁用於仿射編碼塊。默認情況下，用於仿射已編碼塊中所有控制點的仿射運動矢量均為分數像素分辨率。

第六實施例。於第六實施例中，使用仿射運動補償來啟用自適應運動矢量分辨率，且AMVR旗標被標識以用於每個仿射已編碼塊。在一個示例中，AMVR旗標僅控制用於 仿射已編碼塊的MVD的分辨率為整數像素分辨率或分數像素分辨率。於另一示例中，AMVR旗標控制MVD的分辨率以及用於仿射已編碼塊的運動矢量預測子(motion vector predictor，MVP)的分辨率，因此，如果AMVR旗標指示整數像素分辨率被使用，則最終運動矢量為整數分辨率。對於編碼於仿射模式(例如仿射幀間模式)的當前塊，存在從M個對應MVP中計算的M個MVD，其中，M表示用於當前塊的控制點的數量。在此示例中，M是從0、1、2、3、以及4中選擇。M個對應MVP為仿射候選中的仿射運動矢量，且每個仿射運動矢量為用於仿射已編碼塊的一個控制點的運動矢量的預測子。如果當前塊被編碼於仿射幀間模式且AMVR旗標為真，則指示整數像素分辨率被用於當前塊，控制點的MVD為整數像素分辨率。於AMVR旗標也被用於調節MVP的分辨率的情況下，如果AMVR旗標為真，則所有與控制點的MVD相關聯的MVP也被舍入到整數像素分辨率。於AMVR旗標僅被用於調節MVD的分辨率的情況下，當AMVR旗標為真時，與控制點的MVD相關聯的MVP可為分數像素分辨率。對於那些不與MVD相關聯的控制點，當MVD被推定為零時，用於控制點的MVP仍然為分數像素分辨率。

第七實施例。於第七實施例中，於句法設計中，MVD於對應AMVR旗標之前被標識，且用於仿射已編碼塊，如果存在仿射已編碼塊的控制點的至少一個非零MVD，則至少一個非零MVD或至少一個已解碼運動矢量的像素分辨率是根據AMVR旗標來確定。已解碼運動矢量是通過選擇用於仿 射已編碼塊的仿射候選中的MVD以及對應MVP來導出。如果用於仿射已編碼塊的所有控制點的MVD為零，則控制點的MVP可保持為分數像素分辨率，且AMVR旗標不需要在視訊位元串流中被標識。

第八實施例。在本實施例中，通過禁用雙向預測來將於仿射幀間模式中編碼的塊限制為單向預測以減少系統複雜性以及MVD開銷。例如，如果仿射旗標指示當前塊被編碼或將被編碼於仿射幀間模式，則用於當前塊的幀間預測方向interDir被設置為0或1，其中，0指示列表0單向預測，且1指示列表1單向預測。在第八實施例的一個示例中，只有在仿射幀間已編碼塊的MVD為整數像素分辨率時，雙向預測被允許用於仿射幀間已編碼塊。換句話說，用於仿射幀間已編碼塊的雙向預測的啟用或禁用取決於用於仿射幀間已編碼塊的AMVR旗標的值。當AMVR旗標指示仿射幀間已編碼塊的MVD為整數像素分辨率時，MVD開銷相對小，因此，雙向預測被允許用於仿射幀間已編碼塊。

第九實施例。實現第九實施例的視訊編碼方法或視訊編碼系統根據當前塊的幀間預測方向interDir以及當前塊是否編碼於仿射幀間模式來確定用於當前塊的運動矢量分辨率。在本實施例中，於CU句法結構中，用於當前塊的幀間預測方向interDir以及仿射旗標在用於當前塊的AMVR旗標之前被標識，因此，當interDir等於2時，指示雙向預測被應用於當前塊，且仿射旗標為真，指示仿射幀間模式被使用，AMVR旗標被推定為真且不需要被標識於當前塊。

第9圖所示為根據本發明實施例的基於具有仿射運動補償的HEVC的視訊編碼器900的示範性系統框圖。幀內預測910基於當前圖片的重建視訊資料提供幀內預測子，然而，仿射預測912根據仿射運動模型執行運動估計(motion estimation，ME)以及運動補償(motion compensation，MC)以基於來自其它圖片的視訊資料提供預測子。由仿射預測912處理的當前圖片的每個塊選擇將由仿射幀間預測9122編碼於仿射幀間模式或將由仿射合並預測9124編碼於仿射合併模式。對於編碼於仿射幀間模式或仿射合併模式的塊，最終仿射候選是使用由最終仿射候選導出的仿射運動模型從一個或多個仿射候選中選擇以導出一個或多個補償塊，且一個或多個補償塊被用於預測塊。仿射候選可使用具有時間MV緩衝器的一個實施例來導出，其儲存少於當前圖片中已編碼塊的所有運動矢量的選擇運動矢量。仿射合並預測9124根據一個或多個相鄰已編碼塊的運動矢量構造一個或多個仿射合併後選且將一個或多個仿射合併後選插入合併候選列表。仿射合併模式允許位於相鄰已編碼塊的控制點的仿射運動矢量的繼承；因此，運動資訊僅由合併索引來標識。接著，用於選擇最終仿射候選的合併索引被標識於已編碼視訊位元串流。仿射合併後選可使用本發明的一個實施例來導出。對於編碼於仿射幀間模式的塊，最終仿射候選中的仿射運動矢量以及位於塊的控制點的運動矢量之間的運動資訊(例如，MVD)被編碼於已編碼視訊位元串流。根據本發明的實施例，於仿射幀間模式編碼的塊的MVD的分辨率為整數像素分辨率或分數像素分辨率。開關914從幀 內預測910以及仿射預測912的輸出中選擇一個，且將已選擇的預測子應用到加法器916以形成預測誤差，也被稱為殘差信號。

預測殘差信號進一步通過變換(Transformation，T)918處理，接著進行量化(Quantization，Q)920。變換以及量化的殘差信號接著由熵編碼器934來編碼以形成已編碼視訊位元串流。已編碼視訊位元串流與輔助資訊(例如，合併索引以及MVD)被封裝。與輔助資訊相關聯的資料也被提供到熵編碼器934。當運動補償預測模式被使用時，參考圖片或圖片也必須於編碼器側被重建。變換以及量化的殘差信號通過逆量化(Inverse Quantization，IQ)922以及逆變換(Inverse Transformation，IT)924來處理以恢復參考圖片或圖片的預測殘差信號。如圖9所示，通過於重建(Reconstruction，REC)926加回已選擇的預測子來恢復預測殘差信號，以產生重建視訊資料。重建視訊資料可被儲存於參考圖片緩衝器(Ref.Pict.Buffer)932中且被用於其它圖片的預測。由於編碼處理，來自REC 926的重建視訊資料可能受到各種損害，因此，在儲存於參考圖片緩衝器932之前，環路處理解塊濾波(Deblocking Filter，DF)928以及樣本自適應偏置(Sample Adaptive Offset，SAO)930被應用到重建視訊資料，以進一步增強圖片品質。來自DF 928的DF資訊以及來自SAO 930的SAO資訊也被提供到熵編碼器934用於合併到已編碼視訊位元串流。用於仿射候選導出的儲存運動矢量的時間MV緩衝器可由參考圖片緩衝器932或耦合於仿射預測912的任何其它記憶體來實 現。

第10圖所示為第9圖的視訊編碼器900的對應視訊解碼器1000。已編碼視訊位元串流被輸入到視訊解碼器1000，且由熵解碼器1010解碼以恢復變換以及量化的殘差信號，DF以及SAO資訊，以及其它系統資訊。解碼器1000的解碼處理類似于編碼器1000的重建環路，除了解碼器1000於仿射預測1014中僅需要運動補償(MC)1014。仿射預測1014包括仿射幀間預測10142以及仿射合並預測10144。編碼於仿射幀間模式的塊通過仿射幀間預測10142來解碼，以且編碼於仿射合併模式的塊通過仿射合並預測10144來解碼。最終仿射候選被選擇以用於編碼於仿射幀間模式或仿射合併模式的塊，且一個或多個補償塊根據最終仿射候選被導出。最終仿射候選可根據具有時間MV緩衝器的本發明實施例中的一個被導出，時間MV緩衝器儲存少於當前圖片的已編碼塊的所有MV的選擇MV。開關1016根據解碼模式資訊選擇來自幀內預測10512的幀內預測子或來自仿射預測1014的仿射預測子。變換以及量化的殘差信號通過IQ 1020以及IT 1022來恢復。已恢復的變換以及量化的殘差信號通過將預測子加回到REC 1018來被重建，以產生重建視訊。重建視訊進一步由DF 1024以及SAO 1026來處理以產生最終解碼的視訊。如果當前已解碼圖片為參考圖片，則當前已解碼圖片的重建視訊也被儲存於參考圖片緩衝器1028。用於儲存仿射候選導出的運動矢量的時間MV緩衝器可由參考圖片緩衝器1028或耦接於仿射預測1014的任何其它記憶體來實現。

第9圖以及第10圖中視訊編碼器900以及視訊解碼器1000的各種組件，且所描述的實施例中描述的各種視訊編碼處理可通過硬體組件、配置於執行儲存於記憶體的程式指令的一個或多個處理器、或硬體以及處理器的組合來實現。例如，處理器執行程式指令以控制與當前塊相關聯的輸入資料的接收。處理器配備單個或多個處理核心。在一些示例中，處理器執行程式指令以執行編碼器900以及解碼器1000中某些組件的功能，且電耦接於處理器的記憶體被用於儲存程式指令、對應於仿射模式的資訊、塊的重建圖像、和/或編碼或解碼過程中的中間資料。於某些實施例中，記憶體包括非暫時性電腦可讀介質，例如：半導體或固態記憶體、隨機存取記憶體、唯讀記憶體、硬碟、光碟、或其它合適的存儲介質。記憶體還可是以上列出的非暫時性電腦可讀介質的兩個或者更多的組合。如第9圖以及第10圖所示，編碼器900以及解碼器1000可由相同的電子裝置來實現，因此，如果實現於相同的電子裝置，則編碼器900以及解碼器1000的各種功能的組件可被共用或重用。例如，第9圖中的重建926、變換918、量化920、解塊濾波928、樣本自適應偏置930、以及參考圖片緩衝器932中的一個或多個也可分別被用於第10圖中的重建1018、變換1022、量化1020、解塊濾波1024、樣本自適應偏置1026、以及參考圖片緩衝器1028的功能。於某些示例中，第9圖中幀內預測910以及仿射預測912的一部份可共用或重用第10圖中幀內預測1012以及仿射預測1014的一部份。

雖然描述了具有仿射運動補償的視訊編碼方法的 第一實施例到第九實施例，但本發明不限於這些實施例。於每個實施例中，具有仿射運動補償的視訊編碼方法的選擇是示出各實施例的示例，且不應被理解為對本發明的任何實施例的限制或要求。呈現上述描述是為了使本領域普通技術人員能夠在特定應用及其要求的上下文中實施本發明。對所描述的實施例的各種修改對本領域技術人員來說是明顯的，且本公開定義的原理可被應用到其它實施例。因此，本發明不限於所示以及所描述的特定實施例，而是旨在符合與本公開的原理和新穎特徵一致的最廣範圍。在以上詳細描述中，各種具體細節被示出以提供本發明的透徹理解。然而，本領域技術人員將理解本發明可被實現。

在不脫離本發明的精神或基本特徵的情況下，本發明可以由其它具體形式實施。所描述的示例在所有方面僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附請求項而不是以上的描述來指示。在權利要求的等同物的含義和範圍內的所有變化都被包括在其範圍內。

60‧‧‧當前塊

61、62、63‧‧‧相鄰塊

616、612、636、632、634、622、624、615、613、637、633、635、623、625、614、626‧‧‧子塊

Claims (23)

1. 一種視訊編碼系統中具有仿射運動補償的視訊編碼的方法，包括：於視訊編碼器接收與當前圖片中當前塊相關聯的輸入資料或於視訊解碼器接收對應於包括所述當前圖片中所述當前塊的壓縮資料的視訊位元串流，其中，根據仿射運動模型，所述當前塊被編碼或將被編碼於仿射模式；從時間緩衝器中獲取相鄰塊的兩個或者更多運動矢量以用於所述當前塊，其中，至少一個所述獲取的運動矢量不對應於最接近所述當前塊的上邊界的第一相鄰NxN塊列或最接近所述當前塊的左邊界的第一相鄰NxN塊行的子塊，其中，所述時間緩衝器儲存少於所述當前圖片中先前編碼塊的所有運動矢量的已選擇運動矢量，且NxN為所述時間緩衝器中用於儲存一個運動矢量的塊大小；使用所述相鄰塊的所述獲取的兩個或者更多運動矢量導出包括多個仿射運動矢量的仿射候選；以及通過使用由所述已導出的仿射候選的一個或多個運動補償塊預測所述當前塊來編碼或解碼所述當前塊，其中，所述仿射運動矢量預測所述當前塊的點以及所述一個或多個運動補償塊的對應點之間的運動。
2. 如申請專利範圍第1項所述之方法，其中，所述時間緩衝器儲存2個NxN塊列以及2個NxN塊行的運動矢量，且所述2個NxN塊列包括最接近所述當前塊的所述上邊界的所述第一相鄰NxN塊列以及第二相鄰NxN塊列，且所述2個NxN 塊行包括最接近所述當前塊的所述左邊界的所述第一相鄰NxN塊行以及第二相鄰NxN塊行。
3. 如申請專利範圍第2項所述之方法，其中，如果所述相鄰塊位於所述當前塊上方或鄰近所述當前塊的左上角，所述獲取的兩個或者更多運動矢量包括第一以及第二運動矢量，所述第一運動矢量是替代所述相鄰塊的左上角的原始運動矢量的替代運動矢量以及所述第二運動矢量是替代所述相鄰塊的右上角的原始運動矢量的替代運動矢量；其中，如果所述相鄰塊位於所述當前塊的所述左側，則所述第一運動矢量為替代所述相鄰塊的左上角的原始運動矢量的替代運動矢量，以及所述第二運動矢量為所述相鄰塊的右上角的原始運動矢量。
4. 如申請專利範圍第2項所述之方法，其中，所述獲取的兩個或者更多運動矢量包括所述相鄰塊中的第一以及第二子塊的第一以及第二運動矢量，所述導出仿射候選還包括：使用所述第一以及第二運動矢量，所述當前塊的像素位置與所述當前圖片相關，所述第一子塊的像素位置與所述當前圖片以及所述相鄰塊的寬度相關來導出所述仿射運動矢量的第一仿射運動矢量；以及使用所述第一以及第二運動矢量、所述相鄰塊的所述寬度、以及所述當前塊的寬度來導出第二仿射運動矢量。
5. 如申請專利範圍第2項所述之方法，其中，所述獲取的兩個或者更多運動矢量包括所述相鄰塊中的第一、第二、以及第三子塊的第一、第二、以及第三運動矢量，其中，導 出所述仿射候選還包括：使用所述第一、第二以及第三運動矢量中的至少兩個運動矢量，所述當前塊的像素位置與所述當前圖片相關，所述第一子塊的像素位置與所述當前圖片以及所述相鄰塊的寬度相關來導出所述仿射運動矢量的第一仿射運動矢量；使用所述第一以及第二運動矢量、所述相鄰塊的所述寬度、以及所述當前塊的寬度來導出第二仿射運動矢量；以及使用所述第一以及第三運動矢量以及所述相鄰塊的高度和所述當前塊的高度中的至少一個來導出第三仿射運動矢量。
6. 如申請專利範圍第2項所述之方法，其中，所述獲取的兩個或者更多運動矢量包括第一、第二以及第三運動矢量，如果所述相鄰塊位於所述當前塊上方，則所述第一運動矢量為替代所述相鄰塊的左上角的原始運動矢量的替代運動矢量，所述第二運動矢量為替代所述相鄰塊的右上角的原始運動矢量的替代運動矢量，且所述第三運動矢量為所述相鄰塊的左下角的原始運動矢量；其中，如果所述相鄰塊鄰近所述當前塊的左上角，所述第一運動矢量為替代所述相鄰塊的左上角的原始運動矢量的替代運動矢量，所述第二運動矢量為替代所述相鄰塊的右上角的原始運動矢量的替代運動矢量，且所述第三運動矢量為替代所述相鄰塊的左下角的原始運動矢量的替代運動矢量；以及其中，如果所述相鄰塊位於所述當前塊的所述左側，則所述第一運動 矢量為替代所述相鄰塊的左上角的原始運動矢量的替代運動矢量，所述第二運動矢量為所述相鄰塊的右上角的原始運動矢量，以及所述第三運動矢量為替代所述相鄰塊的左下角的原始運動矢量的替代運動矢量。
7. 如申請專利範圍第1項所述之方法，其中，根據具有兩個控制點的四參數仿射運動模型或根據具有三個控制點的六參數仿射運動模型，所述當前塊是由所述一個或多個運動補償塊通過所述仿射候選的所述仿射運動矢量來預測。
8. 如申請專利範圍第1項所述之方法，其中，所述時間緩衝器儲存位於所述當前塊上方的M個NxN塊列，且M小於最大編碼單元高度除以N。
9. 如申請專利範圍第1項所述之方法，其中，所述時間緩衝器儲存所述當前塊的左側的K個NxN塊行，且K等於最大編碼單元寬度除以N。
10. 如申請專利範圍第1項所述之方法，其中，所述獲取的兩個或者更多運動矢量為所述相鄰塊的兩個或者更多控制點的原始運動矢量。
11. 如申請專利範圍第10項所述之方法，其中，所述相鄰塊的所述控制點包括所述相鄰塊的左上角、右上角、右下角、左下角中的至少兩個。
12. 如申請專利範圍第10項所述之方法，其中，所述時間緩衝器儲存第一相鄰NxN塊列、第一相鄰NxN塊行、頂NxN塊列集合、以及最左NxN塊行集合的原始運動矢量，其中，所述第一相鄰NxN塊列是最接近所述當前塊的所述上邊界的至 少一個上方相鄰塊的最後一列，所述第一相鄰NxN塊行是最接近所述當前塊的所述左邊界的至少一個左側相鄰塊的最後一行，所述頂NxN塊列集合包括所述至少一個上方相鄰塊中的第一列，且所述最左NxN塊行集合包括所述至少一個左側相鄰塊的第一行。
13. 一種視訊編碼系統中具有仿射運動補償的視訊編碼的方法，包括：於視訊編碼器接收與當前圖片中當前塊相關聯的輸入資料或於視訊解碼器接收對應於包括所述當前圖片中所述當前塊的壓縮資料的視訊位元串流，其中，根據仿射運動模型所述當前塊被編碼或將被編碼於仿射模式；計算以及儲存用於所述當前圖片中多個已編碼塊的仿射參數；從所述時間緩衝器中獲取對應於所述當前塊的相鄰塊的一個或多個已編碼塊的所述仿射參數；使用所述相鄰塊的所述獲取的仿射參數導出包括多個仿射運動矢量的仿射候選；以及通過使用由所述已導出的仿射候選的一個或多個運動補償塊預測所述當前塊來編碼或解碼所述當前塊，其中，所述仿射運動矢量預測所述當前塊的點以及所述一個或多個運動補償塊的對應點之間的運動。
14. 如申請專利範圍第13項所述之方法，其中，所述仿射參數包括所述相鄰塊的水平方向運動矢量偏置、垂直方向運動矢量偏置、以及一個運動矢量中的兩個或者更多。
15. 如申請專利範圍第14項所述之方法，其中，所述相鄰塊中的所述運動矢量為所述相鄰塊的所述左上角、所述右上角、所述左底部、或所述右底部的運動矢量。
16. 如申請專利範圍第13項所述之方法，其中，儲存於所述時間緩衝器的所述仿射參數包括用於每個已編碼塊的已縮放運動矢量偏置。
17. 如申請專利範圍第13項所述之方法，其中，所述仿射參數包括表示兩個或三個控制點的運動矢量的兩個或三個仿射運動矢量，以及所述時間緩衝器儲存用於每個已編碼塊的所述兩個或三個仿射運動矢量。
18. 視訊編碼系統中具有仿射運動補償的視訊編碼的方法，包括：於視訊編碼器接收與當前圖片中當前塊相關聯的輸入資料或於視訊解碼器接收對應於包括所述當前圖片中所述當前塊的壓縮資料的視訊位元串流，其中，根據仿射運動模型所述當前塊被編碼或將被編碼於仿射模式；從時間緩衝器接收有效相鄰塊的兩個或者更多運動矢量以用於所述當前塊，其中，所述有效相鄰塊不包括鄰近所述當前塊的左上角的相鄰塊，其中，所述時間緩衝器儲存所述當前塊的一個相鄰NxN塊列以及一個相鄰NxN塊行的運動矢量，且NxN為所述時間緩衝器中用於儲存一個運動矢量的塊大小；使用所述有效相鄰塊的所述獲取的兩個或者更多運動矢量來導出包括多個仿射運動矢量的仿射候選；以及 通過使用由所述已導出的仿射候選的一個或多個運動補償塊預測所述當前塊來編碼或解碼所述當前塊，其中，所述仿射運動矢量預測所述當前塊的點以及所述一個或多個運動補償塊的對應點之間的運動。
19. 如申請專利範圍第18項所述之方法，其中，所述獲取的兩個或者更多運動矢量對應於兩個運動矢量，如果所述有效相鄰塊位於所述當前塊的上方，則所述兩個運動矢量中的一個是位於所述有效相鄰塊的左下角的原始運動矢量，以及所述兩個運動矢量的另一個是位於所述有效相鄰塊的右下角的原始運動矢量；其中，如果所述有效相鄰塊位於所述當前塊的所述左側，則所述兩個運動矢量的一個是所述有效相鄰塊的右上角的原始運動矢量，以及所述兩個運動矢量的另一個是所述有效相鄰塊的右下角的原始運動矢量。
20. 如申請專利範圍第18項所述之方法，其中，根據具有兩個控制點的四參數仿射運動模型，所述當前塊通過所述仿射候選中的所述仿射運動矢量由所述一個或多個運動補償塊來預測。
21. 一種視訊編碼系統中具有仿射運動補償的視訊編碼的裝置，所述裝置包括一個或多個被配置如下的電子電路：於視訊編碼器接收與當前圖片中當前塊相關聯的輸入資料或於視訊解碼器接收對應於包括所述當前圖片中所述當前塊的壓縮資料的視訊位元串流，其中，根據仿射運動模型所述當前塊被編碼或將被編碼於仿射模式； 從時間緩衝器中獲取相鄰塊的兩個或者更多運動矢量以用於所述當前塊，其中，至少一個所述獲取的運動矢量不對應於最接近所述當前塊的上邊界的第一相鄰NxN塊列或最接近所述當前塊的左邊界的第一相鄰NxN塊行的子塊，其中，所述時間緩衝器儲存少於所述當前圖片中先前編碼塊的所有運動矢量的已選擇運動矢量，且NxN為所述時間緩衝器中用於儲存一個運動矢量的塊大小；使用所述相鄰塊的所述獲取的兩個或者更多運動矢量導出包括多個仿射運動矢量的仿射候選；以及通過使用由所述已導出的仿射候選的一個或多個運動補償塊預測所述當前塊來編碼或解碼所述當前塊，其中，所述仿射運動矢量預測所述當前塊的點以及所述一個或多個運動補償塊的對應點之間的運動。
22. 一種視訊編碼系統中具有仿射運動補償的視訊編碼的裝置，所述裝置包括一個或多個被配置如下的電子電路：於視訊編碼器接收與當前圖片中當前塊相關聯的輸入資料或於視訊解碼器接收對應於包括所述當前圖片中所述當前塊的壓縮資料的視訊位元串流，其中，根據仿射運動模型所述當前塊被編碼或將被編碼於仿射模式；計算以及儲存用於所述當前圖片中多個已編碼塊的仿射參數；從所述時間緩衝器中獲取對應於所述當前塊的相鄰塊的一個或多個已編碼塊的所述仿射參數；使用所述相鄰塊的所述獲取的仿射參數導出包括多個仿射 運動矢量的仿射候選；以及通過使用由所述已導出的仿射候選的一個或多個運動補償塊預測所述當前塊來編碼或解碼所述當前塊，其中，所述仿射運動矢量預測所述當前塊的點以及所述一個或多個運動補償塊的對應點之間的運動。
23. 一種視訊編碼系統中具有仿射運動補償的視訊編碼的裝置，所述裝置包括一個或多個被配置如下的電子電路：於視訊編碼器接收與當前圖片中當前塊相關聯的輸入資料或於視訊解碼器接收對應於包括所述當前圖片中所述當前塊的壓縮資料的視訊位元串流，其中，根據仿射運動模型所述當前塊被編碼或將被編碼於仿射模式；從時間緩衝器接收有效相鄰塊的兩個或者更多運動矢量以用於所述當前塊，其中，所述有效相鄰塊不包括鄰近所述當前塊的左上角的相鄰塊，其中，所述時間緩衝器儲存所述當前塊的一個相鄰NxN塊列以及一個相鄰NxN塊行的運動矢量，且NxN為所述時間緩衝器中用於儲存一個運動矢量的塊大小；使用所述有效相鄰塊的所述獲取的兩個或者更多運動矢量來導出包括多個仿射運動矢量的仿射候選；以及通過使用由所述已導出的仿射候選的一個或多個運動補償塊預測所述當前塊來編碼或解碼所述當前塊，其中，所述仿射運動矢量預測所述當前塊的點以及所述一個或多個運動補償塊的對應點之間的運動。