TW202349961A

TW202349961A - 視訊編解碼系統中基於回歸的仿射合併模式運動向量推導的方法和裝置

Info

Publication number: TW202349961A
Application number: TW112115003A
Authority: TW
Inventors: 羅志軒; 莊子德; 陳慶曄
Original assignee: 聯發科技股份有限公司
Priority date: 2022-04-22
Filing date: 2023-04-21
Publication date: 2023-12-16
Also published as: WO2023202713A1

Abstract

一種使用回歸MV推導進行視訊編解碼的方法和裝置。根據該方法，基於非相鄰仿射編解碼塊導出當前塊的CPMV、仿射參數集或回歸模型。將CPMV、仿射參數集或回歸模型與和CPMV、仿射參數集或回歸模型中的至少一者相關聯的相鄰區域內的子塊的相鄰MV混合，以生成至少一個混合的MV。包括混合的MV的CPMV集合被插入到合併候選列表中。根據另一種方法，確定非相鄰仿射編解碼塊的子塊的子集。基於非相鄰仿射編解碼塊的子塊的子集導出一組CPMV或SBMV。基於使用包括與子集相關聯的CPMV或SBMV的集合的輸入MV的回歸處理，針對當前塊導出導出的MV。

Description

視訊編解碼系統中基於回歸的仿射合併模式運動向量推導的方法和裝置

本發明涉及使用回歸模型（regression model）編解碼工具來生成導出的運動向量的視訊編解碼系統。具體地，本發明涉及降低與基於回歸模型的MV推導相關的計算複雜度的方法。

通用視訊編解碼(versatile video coding，簡寫為VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組(MPEG)的聯合視訊專家組(JVET)共同製定的最新國際視訊編解碼標準。該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，Information technology - Coded representation of immersive media - Part 3: Versatile Video Coding，2021 年 2 月發布。VVC 是在其前身 HEVC(High Efficiency Video Coding)的基礎上通過添加更多的編解碼工具來提高編解碼效率，也可以處理各種類型的視訊源，包括3維(3-dimensional，簡寫為3D)視訊信號。

第1A圖說明了包含環路處理(loop processing)的示例性自適應幀間/幀內(adaptive Inter/Intra)視訊編碼系統。對於幀內預測，預測資料是根據當前圖片中先前編解碼的視訊資料導出的。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫為ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫為MC)以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮的視訊資料的視訊位元流中。與變換係數相關聯的位元流然後與輔助資訊(side information)(例如與幀內預測和幀間預測相關聯的運動和編解碼模式)以及其他資訊(例如與應用於底層圖像區域(underlying image area)的環路濾波器相關聯的參數)一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化(IQ)124和逆變換(IT)126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自 REC 128 的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊品質。例如，可以使用去塊濾波器(deblocking filter，簡寫為DF)、樣本自適應偏移(Sample Adaptive Offset，簡寫為SAO)和自適應環路濾波器(Adaptive Loop Filter，簡寫為ALF)。可能需要將環路濾波器資訊合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合併到位元流中。在第1A圖中，在重建的樣本被存儲在參考圖片緩衝器134中之前環路濾波器130被應用於重建的視訊。第1A圖中的系統旨在說明典型的視訊編碼器的示例性結構。它可以對應於高效視訊編解碼(HEVC)系統、VP8、VP9、H.264或VVC。

如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換 118 和量化 120 之外，因為解碼器只需要逆量化 124 和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼為量化的變換係數和所需的編解碼資訊(例如ILPF資訊、幀內預測資訊和幀間預測資訊)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器接收的幀間預測資訊執行運動補償(MC 152) 140 而無需運動估計。

根據 VVC，類似於 HEVC，輸入圖片被分區(partition)為稱為 CTU (編解碼樹單元)的非重疊方形塊區域(non-overlapped square block region)。每個 CTU 都可以劃分為一個或多個較小尺寸的編解碼單元 (CU)。生成的 CU 分區可以是正方形或長方形。此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測處理(例如幀間預測、幀內預測等)的單元。

合併模式（ Merge Mode ）

為了提高HEVC中運動向量(MV)編解碼的編解碼效率，HEVC具有跳過和合併模式。跳過和合併模式從空間鄰近塊（空間候選）或時間共置塊（co-located block）（時間候選）獲取運動資訊。當 PU 處於跳過或合併模式時，不會對運動資訊進行編解碼。相反，僅對所選候選的索引進行編解碼。對於跳過模式，殘差信號被強制為零且不被編解碼。在HEVC中，如果特定塊被編碼為跳過或合併，則傳訊候選索引以指示候選集中的哪個候選用於合併。每個合併的 PU 重新使用運動資訊，包括所選候選的 MV、預測方向和參考圖片索引。

對於HEVC 的HM-4.0 測試模型中的合併模式，對於當前CU 210，檢查最多四個空間MV 候選（即，A0、A1、B0 和B1)，以及一個時間MV 候選（即，TBR，或TCTR，如果TBR 不可用），如第2圖所示。注意，如果四個空間MV候選中的任何一個不可用，則位置B2然後用於導出MV候選作為替換。在四個空間 MV 候選和一個時間 MV 候選的推導過程之後，應用去除冗餘（修剪）來去除任何冗餘 MV 候選。如果在去除冗餘（修剪）之後，可用MV候選的數量小於5，則導出三種類型的附加候選並將其添加到候選集合（即候選列表）中。編碼器根據率失真優化 (RDO) 決策，在跳過或合併模式的候選集中選擇一個最終候選，並將索引傳輸到解碼器。

雖然基於回歸的運動向量場（regression based motion vector field，簡寫為RMVF)技術已顯示出提高編解碼效率，但與RMVF技術相關的計算複雜度非常高。因此，本發明公開了各種方法和裝置來降低與RMVF技術相關的計算複雜度。

公開了一種使用基於回歸的運動向量場(RMVF)技術進行視訊編解碼的方法和裝置。根據該方法，在編碼器側接收與當前塊相關聯的像素資料或者在解碼器側接收與要解碼的當前塊相關聯的已編碼資料。當前塊的一個或多個CPMV（控制點運動向量）、仿射參數集或回歸模型是基於非相鄰仿射編解碼塊而導出的。將所述一個或多個CPMV中的至少一個、仿射參數集的至少一部分或回歸模型的至少一部分與和所述一個或多個CPMV中的至少一個、所述至少部分仿射參數集或所述至少部分回歸模型相關聯的鄰近區域內的子塊的相鄰MV(運動向量)混合以生成至少一個混合MV(運動向量)。包括所述至少一個混合MV的CPMV集合被插入到合併候選列表中。使用包括合併候選列表的資訊對當前塊進行編碼或解碼。

在一個實施例中，所述一個或多個CPMV對應於左下CPMV(控制點運動向量)、左上CPMV和右上CPMV。此外，針對CPMV生成左下混合MV，針對左上CPMV生成左上混合MV，並且針對右上CPMV生成右上混合MV。

在一個實施例中，使用所述一個或多個CPMV中的所述至少一個與相鄰MV的加權和來生成所述至少一個混合的MV。在一個實施例中，加權和的權重取決於塊距離、塊大小或兩者。在另一個實施例中，加權和的權重是預先定義的。

根據另一種方法，確定非相鄰仿射編解碼塊的子塊的子集，其中子塊的子集小於非相鄰仿射編解碼塊中的子塊的總數。基於非相鄰仿射編解碼塊的子塊的子集導出與當前塊的子塊的子集相關聯的一組CPMV（控制點運動向量）或SBMV（子塊運動向量）。基於使用包括與非相鄰仿射編解碼塊的子塊的子集相關聯的一組CPMV或SBMV的輸入MV的回歸過程，為當前塊導出一個或多個導出的MV（運動向量）。將所述一個或多個導出的MV插入到合併候選列表中。使用包括合併候選列表的資訊對當前塊進行編碼或解碼。

在一個實施例中，一組CPMV或SBMV對應於左下SBMV(子塊運動向量)、左上SBMV和右上SBMV。在一個實施例中，基於左下SBMV、左上SBMV和右上SBMV來確定當前塊的一個導出的MV。

在一個實施例中，輸入MV還包括當前塊的鄰近子塊的SBMV。基於與非相鄰仿射編解碼塊的子塊的子集相關聯的CPMV或SBMV集合來確定當前塊的第一導出的MV；基於當前塊的相鄰子塊的SBMV確定當前塊的第二導出的MV；通過混合第一導出的MV和第二導出的MV來生成最終導出的MV。在一個實施例中，最終導出的MV對應於第一導出的MV和第二導出的MV的加權和，並且第一導出的MV具有比第二導出的MV更高的權重。

將容易理解的是，如本文附圖中大體描述和圖示的本發明的組件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例 . 貫穿本說明書對“一個實施例”、“一實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一個實施例中”或“在一實施例中”不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下實踐，或使用其他方法、組件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作詳細描述以避免模糊本發明的方面。參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數字表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。

仿射運動補償 的預測 ( Affine Motion Compensated Prediction )

在HEVC中，僅平移運動模型(translation motion model)被應用於運動補償預測(MCP)。而在現實世界中，有很多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在 VVC 中，應用基於塊的仿射變換運動補償預測。如第3A-B圖所示，塊310的仿射運動場(affine motion field)由第3A圖的兩個控制點(4參數)的運動資訊或第3B圖中的三個控制點運動矢量(6參數)描述。

對於4參數仿射運動模型，塊中樣本位置(x，y)處的運動矢量被導出為： . (1)

對於6參數仿射運動模型，塊中樣本位置(x，y)處的運動矢量被導出為： . (2)

其中( mv _0x , mv _0y ) 左上角控制點的運動矢量，( mv _1x , mv _1y ) 為右上角控制點的運動矢量，而( mv _2x , mv _2y ) 為左下角控制點的運動矢量。

為了簡化運動補償預測，應用基於塊的仿射變換預測。為了導出每個 4×4 亮度子塊的運動矢量，根據上述等式計算每個子塊的中心樣本的運動矢量，如第4圖所示，並四捨五入到 1/16 分數精度。然後應用運動補償插值濾波器以生成具有導出的運動矢量的每個子塊的預測。色度分量的子塊大小也設置為 4×4。 4×4 色度子塊的 MV 計算為並置的 8x8 亮度區域中左上角和右下角亮度子塊的 MV 的平均值。

如對平移運動幀間預測所做的那樣，還有兩種仿射運動幀間預測模式：仿射合併模式和仿射AMVP模式。

仿射合併預測 ( Affine merge prediction )

AF_MERGE(即，仿射合併)模式可以應用於寬度和高度都大於或等於8的CU。在該模式中，當前CU的CPMV（控制點MV）是基於空間鄰近CU的運動資訊生成的。最多可以有五個 CPMVP（CPMV預測）候選，並且發信索引來指示要用於當前 CU 的那個。使用以下三種CPVM候選構成仿射合併候選列表： – 從鄰近 CU 的 CPMV 推斷出的繼承的仿射合併候選 – 使用鄰近 CU 的平移 MV 導出的構造的仿射合併候選 CPMVP – 零MV

使用CU級標誌作為一種子塊合併模式來傳訊仿射合併模式，而另一種子塊合併模式指示SBTMvp模式。

基於回歸的運動向量場 (Regression based Motion Vector Field ，簡寫為 RMVF)

運動行為可以在塊內變化。特別是，對於較大的CU，僅用一個運動向量來表示運動行為效率不高。 RMVF方法基於空間鄰近子塊的運動向量來對這種運動行為進行建模。用於RMVF運動參數推導的當前CU的空間鄰近子塊如第5圖所示。當前CU的鄰近子塊的運動向量和中心位置被用作線性回歸過程的輸入，以通過最小化均方誤差推導一組線性模型參數，即{ a _xx , a _xy, a _yx, a _yy, b _x, b _y }。在第5圖中，當前CU 510被示出為粗線矩形，並且當前CU被劃分為被示出為小空正方形的子塊。當前CU的空間鄰近子塊被顯示為點填充的正方形。

然後，以(X _subPU, Y _subPU)為中心位置的當前CU中的子塊的運動向量(MV _{X_subPU}, MV _{Y_subPU})計算為：

最後，通過導出的回歸模型來細化（refine）當前CU的運動場（motion field）。

使用 SBMV 進行非相鄰 CU 的候選推導

使用非相鄰CU的MV進行平移合併MV候選和AMVP MV候選推導的概念也可以應用於仿射模式。非相鄰仿射編解碼的CU的CPMV可用於導出當前塊的CPMV用於合併MV候選和AMVP MV候選。以下等式可用於推導當前塊的 CPMV： (3) 或者 (4)

上述等式中，(x，y)表示當前塊中的特定點，其可以是當前塊的控制點的位置。( v _0x, v _0y )是參考塊左上角的控制點運動向量 V ₀，( v _1x, v _1y )是參考塊右上角的控制點運動向量 V ₁，( v _2x, v _2y )是參考塊左下角的控制點運動向量V ₂。 (w,h)是參考塊的寬度和高度。

然而，存儲的非相鄰CU的CPMV需要大量的記憶體空間，這對於基於硬體的實現來說並不友好。因此，提出使用非相鄰CU的子塊MV（SBMV，MxN子塊MV，其中M和N為正整數，例如4）來推導當前塊的CPMV，而不是使用非相鄰CU的CPMV。此外，對於使用非相鄰CU的SBMV推導當前CU的CPMV，使用非相鄰CU的四個角點子塊（corner subblock）的兩個或更多個SBMV或者非相鄰CU內部的兩個或更多個SBMV來推導當前塊的CPMV。當使用參考塊的角點子塊的SBMV進行推導時，w和h仍然可以等於參考塊的寬度和高度，或者等於(寬度-M)和(高度-N)，或者等於參考塊的（寬度＞＞ 1 ）和（高度＞＞ 1）。

在一個實施例中，對於仿射CPMV推導，來自相鄰CU的候選可以使用CPMV，來自非相鄰CU的候選使用SBMV進行推導。在另一實施例中，對於仿射CPMV推導，來自相鄰CU或推導或預定義區域內的候選可以使用CPMV進行推導；否則，來自非相鄰CU和區域外的候選使用SBMV進行推導。該區域可以是當前CTU，或者當前CTU和左CTU，或者PxQ區域（P和Q為正整數），或者多個虛擬處理資料單元（Virtual Processing Data Unit，簡寫為VPDU）。在一個示例中，對於上方CTU行、左CTU列、或者不同切片/圖塊中的CTU中的鄰近CU，僅使用選定的SBMV(例如，角點（corner）SBMV)。

第6A圖示出了基於RVMF導出當前CU的CPMV的示例，其中根據回歸模型使用非相鄰CU 620的子塊運動向量場來導出當前塊610的中心處的運動向量。第6B圖示出了根據本發明實施例的示例，其中僅使用非相鄰CU 620中的三個子塊MV(subblock MV，簡寫為SBMV)而不是所有子塊MV來導出當前CU 610的運動向量。由於子塊MV已經存儲在編解碼系統中，所以子塊MV的使用不需要任何額外的存儲。使用非相鄰CU的三個SBMV來推導當前塊的MV可以大大減少基於回歸模型的推導。

基於回歸的仿射候選導出

如前所述，RMVF方法將空間鄰近子塊的運動向量作為輸入來導出用於當前CU運動場細化的回歸模型。非相鄰仿射候選推導概念可以與RMVF方法結合。

在一個實施例中，重構的空間鄰近子塊的運動向量以及非相鄰仿射CU的運動資訊(例如，子塊運動向量或CPMV)或從非相鄰仿射CU的仿射參數導出的當前CU的運動資訊作為輸入來導出回歸模型。通過使用回歸模型，可以導出當前塊的CPMV。對於N個不相鄰的仿射CU，我們可以導出N個CPMV候選用於當前塊。當使用非相鄰仿射CU的CPMV或從非相鄰仿射CU導出的當前塊的CPMV用於回歸時，應增加CPMV的權重，因為CPMV可以代表非相鄰CU的所有子塊或當前塊的所有子塊。然而，在該方法中，對於N個不相鄰的仿射CU，需要執行N個回歸過程。

為了使用空間鄰近SBMV和非相鄰CU的運動資訊進行回歸，在一個示例中使用非相鄰CU的SBMV。在如第7圖所示的另一個示例中，使用非相鄰CU的CPMV和空間鄰近SBMV。在一個實施例中，對於使用非相鄰CU的CPMV，使用非相鄰CU的CPMV來導出當前塊的SBMV。基於非相鄰CU的CPMV 725導出的當前塊的SBMV和空間鄰近SBMV 735用於回歸，如第7圖所示，其中當前塊710的空間鄰近子塊730被示出為點填充的方塊，塊720對應於以仿射模式編解碼的非相鄰CU。在另一實施例中，非相鄰CU的CPMV用於導出當前塊的CPMV。當前塊的導出的 CPMV 被賦予更高的權重，並與空間鄰近的 SBMV 結合用於回歸。在另一實施例中，以較高的權重對非相鄰CU的CPMV進行加權並與空間鄰近SBMV結合以進行回歸。雖然第7圖示出了使用所有空間鄰近SBMV進行回歸，但是本發明還可以使用部分空間鄰近SBMV進行回歸。

對於使用非相鄰CU的SBMV，根據如第8圖所示的另一實施例，使用非相鄰CU的SBMV和空間鄰近SBMV用於回歸。第8圖所示的方法類似於第7圖。然而，在第8圖中，左上、右上和左下子塊的SBMV 825，而不是第7圖中的非相鄰CU 720的CPMV 725被用於回歸。在另一實施例中，將非相鄰CU的角點SBMV用作非相鄰CU的CPMV來推導當前塊的SBMV。當前塊的導出的SBMV和空間鄰近SBMV用於回歸。在另一實施例中，將非相鄰CU的角點SBMV用作非相鄰CU的CPMV來推導當前塊的CPMV。當前塊的導出的CPMV被賦予更高的權重，並與空間鄰近的SBMV相結合用於回歸。在另一實施例中，使用非相鄰CU的兩個或更多個SBMV來導出非相鄰CU的CPMV、導出當前塊的CPMV、或者導出非相鄰CU的CPMV。導出的 CPMV 被賦予更高的權重，並與空間鄰近的 SBMV 結合用於回歸。

在另一發明中，我們提出將空間鄰近子塊的運動向量作為輸入來導出回歸模型（表示為Mn）。此外，非相鄰仿射CU的運動資訊（例如，子塊運動向量或CPMV）或從非相鄰仿射CU的仿射參數導出的當前CU的運動資訊被用於導出一組回歸模型（表示為 {Ma1, Ma2, …, MaN}，其中 N = 非相鄰仿射 CU 的數量）。通過一定的推導方法將Mn與{Ma1, Ma2, …, MaN}混合，可以得到最終的一組回歸模型（表示為{Mf1, Mf2, …, MfN}）並用於細化CU中的運動場。最終的一組回歸模型{Mf1，Mf2，…，MfN}可用於導出當前塊的N個CPMV候選，如第9圖所示。在該方法中，回歸只需要執行一次。仿射參數混合可以使用與空間重建的鄰近子塊的數量、非相鄰CU的子塊數量、當前塊的子塊數量、非相鄰CU與當前塊的距離相關的資訊，及其任意組合。

如第9圖所示，使用基於鄰近子塊930的SBMV的回歸導出一個MV（表示為）。另一MV（表示為）對應於從非相鄰CU 920的子塊MV導出的回歸模型。在第9圖中，為了簡單起見，僅示出了一個非相鄰仿射編碼的CU和僅一個導出的MV 。然而，可能存在N個非相鄰仿射編碼的CU和N個導出的MV 。此外，可以使用來自部分鄰近子塊，而不是所有鄰近子塊的SBMV 932(在第9圖的示例中僅使用3個SBMV)來導出鄰近區域930的基於回歸的MV 935。類似地，非相鄰CU的部分子塊(第9圖中僅示出兩個子塊)的繼承的MV 925可用於導出非相鄰CU的基於回歸的MV 925。

在一個實施例中，從空間鄰近子塊的運動向量導出回歸模型(表示為Mn)，並且可以從Mn導出當前CU的CPMV集合(表示為Cn)。另一方面，可以從非相鄰仿射CU獲得或導出數個CPMV集合（表示為{Ca1，Ca2，...，CaN}，其中N=非相鄰仿射CU的數量）。通過根據塊距離和/或塊大小或 Cn 和 {Ca1, Ca2, …, CaN} 的預定義權重將 Cn 和 {Ca1, Ca2, …, CaN}加權混合，可以得到多個最終 CPMV 集合（例如{Cf1, Cf2, …, CfN}，其中N = 非相鄰仿射CU 的數量）並用於細化CU 中的運動場。

在另一實施例中，從空間鄰近子塊的運動向量導出一個CPMV集合、一個仿射參數集合或一個回歸模型。從非相鄰仿射CU獲得或導出一個或多個CPMV集合、仿射參數集合或回歸模型。利用CPMV/仿射參數/回歸模型，可以導出從空間鄰近子塊導出當前塊的MV場，從非相鄰CU導出當前塊的MV場。這兩個運動場可以根據CU 內的位置在子塊MV 級別中混合，如第9圖所示。例如，靠近CU 邊界的子塊可以對從空間鄰近子塊導出的MV 場具有更高的權重，並且遠離 CU 邊界的子塊（SB）可以對從非相鄰CU導出的MV場具有更高的權重。另外，也可以應用相反的方式（例如，靠近CU邊界的子塊可以對從空間鄰近子塊導出的MV場具有較低的權重，而遠離CU邊界的子塊可以對從非相鄰 CU導出的MV場具有較低的權重）。

在一項發明中，通過SBMV、CPMV或回歸從非相鄰仿射CU獲得或導出一個或多個CPMV集合、仿射參數集合或回歸模型。通過將 CPMV 集合、仿射參數集合或回歸模型與左上、右上和左下鄰近 MV 混合，可以導出一個或多個新穎的仿射候選。例如，從非相鄰仿射CU導出的左上CPMV可以與一個或多個左上鄰近MV混合。從非相鄰仿射 CU 導出的右上 CPMV 可以與一個或多個右上鄰近 MV 混合。而且，從非相鄰仿射 CU 導出的左下 CPMV可以與一個或多個左下鄰近MV混合。每個 CPMV 可以分別與鄰近的 MV 混合。

在一實施例中，通過SBMV、CPMV或回歸從非相鄰仿射CU獲得或導出一個或多個CPMV集合、仿射參數集合或回歸模型。通過將 CPMV 集合、仿射參數集合或回歸模型與從左上、右上和左下鄰近MV 導出的仿射模型混合，可以導出一個或多個新穎的仿射候選。例如，從非相鄰仿射CU導出的左上CPMV可以與從左上鄰近MV導出的仿射模型混合。從非相鄰仿射 CU 導出的右上 CPMV 可以與從右上鄰近MV 導出的仿射模型混合。此外，從非相鄰仿射CU導出的左下CPMV可以與從左下鄰近MV導出的仿射模型混合。每個 CPMV 可以與分別從鄰近 MV 導出的仿射模型混合。第10圖中示出了該實施例的示例，其中基於非相鄰CU 1020導出當前CU 1010的CPMV 1032、1042和1052。將導出的CPMV 1032、1042和1052分別與鄰近區域1030、1040和1050的左下、左上和右上以及鄰近MV混合。例如，CPMV 1042與左上區域1040中的SBMV混合。

可以組合本文所提出的任何方法或過程。另外，對於非相鄰CU的SBMV，可以對其進行子採樣（subsample）。例如，SBMV可以在x和y方向分別子採樣2/4/8/16/32/64/N，其中N為正整數。在另一示例中，SBMV可以在x和y方向上分別被子採樣2x2/4x4/8x8/16x16/32x32/64x64/NxN，其中N是正整數。在一個實施例中，對於當前CTU/CTU行、或當前CTU和左CTU、或導出的/預定義區域、或以上的任意組合之外的非相鄰CU，使用子採樣的SBMV。否則，可以使用非子採樣的 SBMV。

上述仿射合併模式的任何運動向量推導方法可以在編碼器和/或解碼器中實現。例如，任何所提出的方法可以在編碼器的幀間編解碼模塊(例如，第1A圖中的幀間預測112)、解碼器的運動補償模塊(例如，第1B圖中的MC 152)，或者編碼器或解碼器中的合併候選導出模塊中實現，其中可以導出CPMV、仿射參數集或回歸模型並用於生成混合的MV以插入到合併候選列表中。或者，所提出的方法中的任一個可以被實現為耦合到編碼器的幀間編解碼模塊和/或解碼器的運動補償模塊、合併候選導出模塊的電路。雖然幀間預測112和MC 152被示出為支持仿射合併模式的運動向量推導方法的獨立處理單元，它們可以對應於存儲在介質（例如硬碟或閃存）上的可執行軟體或韌體代碼，用於CPU（中央處理處理單元）或可程式化設備（例如 DSP（數字信號處理器）或 FPGA（現場可程式化門陣列））。

第11圖示出了根據本發明實施例的利用簡化的回歸模型推導的一個示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式代碼。流程圖中所示的步驟還可以基於硬體，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器來實現。根據該方法，在步驟1110中接收與編碼器側的當前塊相關聯的像素資料或與要在解碼器側解碼的當前塊相關聯的編碼的資料。在步驟1120中，基於非相鄰仿射編解碼塊導出當前塊的一個或多個CPMV(控制點運動向量)、仿射參數集合或回歸模型。在步驟1130中，所述一個或多個CPMV中的至少一個、仿射參數集的至少一部分或回歸模型的至少一部分與鄰近區域中的子塊的鄰近MV(運動向量)混合以生成至少一個混合的MV(運動向量)，該鄰近區域中的子塊的鄰近MV與所述一個或多個CPMV中的該至少一個、仿射參數集的該至少一部分或回歸模型的該至少一部分相關聯。在步驟1140中，包括所述至少一個混合的MV的CPMV集合被插入到合併候選列表中。在步驟1150中，使用包括合併候選列表的資訊對當前塊進行編碼或解碼。

第12圖示出了根據本發明實施例的利用簡化的回歸模型推導的另一示例性視訊編解碼系統的流程圖。根據該方法，在步驟1210中接收與編碼器側的當前塊相關聯的像素資料或與要在解碼器側解碼的當前塊相關聯的編碼的資料。在步驟1220中，確定非相鄰仿射編解碼塊的子塊的子集，其中子塊的子集小於非相鄰仿射編解碼塊中的子塊的總數。在步驟1230中，基於非相鄰仿射編解碼塊的子塊的子集導出與當前塊的子塊的子集相關聯的一組CPMV(控制點運動向量)或SBMV(子塊運動向量)。在步驟1240中，基於使用輸入MV回歸處理，為當前塊導出一個或多個導出的MV(運動向量)，其中該輸入MV包括與非相鄰仿射編解碼塊的子塊的子集相關聯的該組CPMV或SBMV。在步驟1250中，將一個或多個導出的MV插入到合併候選列表中。在步驟1260中，使用包括合併候選列表的資訊對當前塊進行編碼或解碼。

所示的流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域具有通常知識者可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，所屬領域具有通常知識者可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式代碼以執行這裡描述的處理。本發明的實施例還可以是要在數位信號處理器(DSP)上執行以執行這裡描述的處理的程式代碼。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可程式化門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式化語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟體代碼。然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

本發明可以在不脫離其精神或基本特徵的情況下以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述來指示。落入申請專利範圍等同物的含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 130:環路濾波器 124:逆量化 126:逆變換 128:重建 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210、310、510、610、1010:當前塊 620、1020:非相鄰CU 710、720、910:塊 725、1032、1042、1052:CPMV 730、920:子塊 735、825、932:SBMV 922、925、935:MV 930、1030、1040、1050:鄰近區域 1110~1150、1210~1260:步驟

第1A圖說明了包含環路處理(loop processing)的示例性自適應幀間/幀內(adaptive Inter/Intra)視訊編碼系統。第1B圖示出了第1A圖中的編碼器的相應解碼器。第2圖示出了從空間和時間鄰近塊導出合併模式候選的示例。第3A圖示出了由兩個控制點（4參數）的運動資訊描述的塊的仿射運動場的示例。第3B圖示出了由三個控制點運動向量（6參數）的運動資訊描述的塊的仿射運動場的示例。第4圖示出了基於塊的仿射變換預測的示例，其中每個4×4亮度子塊的運動向量是從控制點MV導出的。第5圖示出了用於RMVF（基於回歸的運動向量場）運動參數推導的當前CU的空間鄰近子塊的示例。第6A圖示出了基於RVMF導出當前CU的CPMV的示例，其中根據回歸模型使用非相鄰CU的子塊運動向量場來導出當前塊中心處的運動向量。第6B圖示出了根據本發明的實施例的示例，其中僅使用非相鄰CU中的三個子塊MV（SBMV）來導出當前CU的運動向量。第7圖示出了根據本發明實施例的示例，其中非相鄰CU的CPMV和空間鄰近SBMV用於回歸模型推導。第8圖示出了類似於第7圖中的示例，其中非相鄰CU的SBMV和空間鄰近SBMV被用於回歸模型推導。第9圖示出了根據本發明實施例的回歸MV導出的示例，其中一個基於回歸的MV是從鄰近子塊導出的，而另一基於回歸的MV是從非相鄰CU導出的，並且兩個導出的 MV 被混合。第10圖示出了根據本發明實施例的回歸MV導出的示例，其中從非相鄰CU導出CPMV並且CPMV分別與鄰近SBMV混合。第11圖示出了根據本發明實施例的利用簡化的回歸模型推導的一個示例性視訊編解碼系統的流程圖。第12圖示出了根據本發明實施例的利用簡化回歸模型推導的另一示例性視訊編解碼系統的流程圖。

1110~1150:步驟

Claims

一種視訊編解碼方法，該方法包括：在編碼器側接收與當前塊相關的像素資料或在解碼器側接收與該當前塊相關的待解碼的已編碼資料；基於非相鄰仿射編解碼塊導出該當前塊的一個或多個控制點運動向量、仿射參數集合或回歸模型；將該一個或多個控制點運動向量中的至少一個、該仿射參數集合的至少一部分或該回歸模型的至少一部分與鄰近區域內的子塊的鄰近運動向量混合，以生成至少一個混合的運動向量，該鄰近區域內的該子塊的該鄰近運動向量與該一個或多個控制點運動向量中的該至少一個、該仿射參數集合的該至少一部分或該回歸模型的該至少一部分相關聯；將包括該至少一個混合運動向量的控制點運動向量集合插入到合併候選列表中；以及使用包括該合併候選列表的資訊對該當前塊進行編碼或解碼。
如請求項1所述之方法，其中該一個或多個控制點運動向量對應於左下控制點運動向量、左上控制點運動向量和右上控制點運動向量。
如請求項2所述之方法，其中為該控制點運動向量生成左下混合的運動向量，為該左上控制點運動向量生成左上混合的運動向量，並且為該右上控制點運動向量生成右上混合的運動向量。
如請求項1所述之方法，其中使用該一個或多個控制點運動向量中的該至少一個與該鄰近運動向量的加權和來生成該至少一個混合的運動向量。
如請求項4所述之方法，其中該加權和的權重取決於塊距離、塊大小或兩者。
如請求項4所述之方法，其中該加權和的權重是預先定義的。
一種用於視訊編解碼的裝置，該裝置包括一個或多個電子器件或處理器，被佈置為：在編碼器側接收與當前塊相關的像素資料或在解碼器側接收與該當前塊相關的待解碼的已編碼資料；基於非相鄰仿射編解碼塊導出該當前塊的一個或多個控制點運動向量、仿射參數集合或回歸模型；將該一個或多個控制點運動向量中的至少一個、該仿射參數集合的至少一部分或該回歸模型的至少一部分與鄰近區域內的子塊的鄰近運動向量混合，以生成至少一個混合的運動向量，該鄰近區域內的該子塊的該鄰近運動向量與該一個或多個控制點運動向量中的該至少一個、該仿射參數集合的該至少一部分或該回歸模型的該至少一部分相關聯；將包括該至少一個混合運動向量的控制點運動向量集合插入到合併候選列表中；以及使用包括該合併候選列表的資訊對該當前塊進行編碼或解碼。
一種視訊編解碼方法，該方法包括：在編碼器側接收與當前塊相關的像素資料或在解碼器側接收與該當前塊相關的待解碼的已編碼資料；確定非相鄰仿射編解碼塊的子塊的子集，其中該子塊的該子集小於該非相鄰仿射編解碼塊中的子塊總數；基於該非相鄰仿射編解碼塊的該子塊的該子集導出與該當前塊的子塊的子集相關聯的一組控制點運動向量或子塊運動向量；基於利用輸入運動向量的回歸處理確定該當前塊的一個或多個導出的運動向量，其中該輸入運動向量包括與該非相鄰仿射編解碼塊的該子塊的該子集相關聯的該組控制點運動向量或子塊運動向量；將該一個或多個導出的運動向量插入到合併候選列表中；以及使用包括該合併候選列表的資訊對該當前塊進行編碼或解碼。
如請求項8所述之方法，其中該組控制點運動向量或子塊運動向量對應於左下子塊運動向量、左上子塊運動向量和右上子塊運動向量。
如請求項9所述之方法，其中基於該左下子塊運動向量、該左上子塊運動向量和該右上子塊運動向量來確定該當前塊的一個導出的運動向量。
如請求項8所述之方法，其中該輸入運動向量還包括該當前塊的鄰近子塊的子塊運動向量。
如請求項11所述之方法，其中，基於與該非相鄰仿射編解碼塊的該子塊的該子集相關聯的該組控制點運動向量或子塊運動向量來確定該當前塊的第一導出的運動向量，基於該當前塊的鄰近子塊的子塊運動向量來確定該當前塊的第二導出的運動向量，並且通過混合該第一導出的運動向量和該第二導出的運動向量來生成最終導出的運動向量。
如請求項12所述之方法，其中該最終導出的運動向量對應於該第一導出的運動向量和該第二導出的運動向量的加權和，並且該第一導出的運動向量具有比該第二導出的運動向量更高的權重。
一種用於視訊編解碼的裝置，該裝置包括一個或多個電子器件或處理器，被佈置為：在編碼器側接收與當前塊相關的像素資料或在解碼器側接收與該當前塊相關的待解碼的已編碼資料；確定非相鄰仿射編解碼塊的子塊的子集，其中該子塊的該子集小於該非相鄰仿射編解碼塊中的子塊總數；基於該非相鄰仿射編解碼塊的該子塊的該子集導出與該當前塊的子塊的子集相關聯的一組控制點運動向量或子塊運動向量；基於利用輸入運動向量的回歸處理確定該當前塊的一個或多個導出的運動向量，其中該輸入運動向量包括與該非相鄰仿射編解碼塊的該子塊的該子集相關聯的該組控制點運動向量或子塊運動向量；將該一個或多個導出的運動向量插入到合併候選列表中；以及使用包括該合併候選列表的資訊對該當前塊進行編碼或解碼。