TWI821108B

TWI821108B - 用於視訊編碼系統中幾何分割模式之移動向量分配的方法和裝置

Info

Publication number: TWI821108B
Application number: TW112102203A
Authority: TW
Inventors: 莊子德; 陳慶曄; 徐志瑋
Original assignee: 聯發科技股份有限公司
Priority date: 2022-01-28
Filing date: 2023-01-18
Publication date: 2023-11-01
Also published as: WO2023143119A1; TW202349947A

Abstract

針對編碼器端和解碼器端公開了一種用於視訊編解碼的方法和裝置。根據解碼器側的方法，接收與當前塊相關聯的編碼的資料。確定當前塊的目標 GPM 組中的偽 GPM。當前塊被劃分為一個或多個子塊。每個子塊的分配的 MV（運動矢量）根據偽 GPM 確定。根據解碼的資料確定目標GPM組中每個GPM的成本。基於模式句法和重新排序的目標GPM組確定選擇的GPM，其中重新排序的目標GPM組對應於根據成本重新排序的目標GPM組，其中允許偽GPM不同於選擇的GPM。使用包括所選 GPM 的資訊對編碼的資料進行解碼。

Description

用於視訊編碼系統中幾何分割模式之移動向量分配的方法和裝置

本發明涉及視訊編解碼。具體來講，本發明涉及利用幾何分區模式(Geometric Partitioning Mode，簡寫為GPM)的視訊編解碼系統。

通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準(MPEG)。該標準已作為ISO標準發布：ISO/IEC 23090-3：2021，Information technology-Coded representation of immersive media-Part 3：Versatile video coding，2021年2月發布。通過基於其前身HEVC(High Efficiency Video coding)，添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括3維(3D)視訊信號，發展處發展出VVC。

第1A圖說明瞭包含循環處理的示例性適應性幀間/幀內(adaptive Inter/Intra)視訊編解碼系統。對於幀內預測，預測資料是根據當前圖片(在後文中也稱為畫面)中先前編解碼的視訊資料導出的。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫為ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫為MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差(residual)。預測誤差然後由變換(T)118和隨後的量化(Q)120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流將與輔助資訊(side information)(例如與幀內預測和幀間預測相關聯的運動和解碼模式)以及其他資訊(例如與應用於底層圖像區域(underlying image area)的環路濾波器相關聯的參數)一起打包。與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化(IQ)124和逆變換(IT)126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自REC 128的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊質量。例如，可以使用去塊濾波器(deblocking filter，簡寫為DF)、樣本適應性偏移(Sample Adaptive Offset，簡寫為SAO)和適應性環路濾波器(Adaptive Loop Filter，簡寫為ALF)。可能需要將環路濾波器資訊合並到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合並到位元流中。在第1A圖中，環路濾波器130在重建樣本被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼(HEVC)系統、VP8、VP9、H.264或VVC。

如第1B圖所示，除了變換118和量化120之外，解碼器可以使用與編碼器相似或相同的功能塊，因為解碼器只需要逆量化124和逆變換126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼為量化的變換係數和需要的編解碼資訊(例如ILPF資訊、幀內預測資訊和幀間預測資訊)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償(MC 152)而無需運動估計。

根據VVC，與HEVC類似，輸入圖片被分區(partition)為稱為CTU(編解碼樹單元)的非重疊方形塊區域。每個CTU可以劃分為一個或多個更小的編解碼單元(CU)。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元(PU)，作為應用預測處理的單元，例如幀間預測、幀內預測等。

VVC標準結合了各種新的編解碼工具，以進一步在HEVC標準基礎上提高編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。

具有運動矢量差的合併模式(Merge Mode with MVD，簡寫為MMVD)

除了其中隱式導出的運動資訊直接用於當前CU的預測樣本生成的合併模式之外，在VVC中引入了具有運動矢量差的合併模式(MMVD)。在發送常規合併標誌後立即發出MMVD標誌，以指定MMVD模式是否用於CU。

在MMVD中，在選擇了合併候選之後，通過發信的MVD資訊對其進一步細化(refine)。進一步的資訊包括合併候選標誌、用於指定運動幅度的索引和用於指示運動方向的索引。在MMVD模式下，合併列表中的前兩個候選中的一個被選擇用作MV基礎。發信MMVD候選標誌以指定在第一和第二合併候選之間使用哪一個。

距離索引(distance index)指定運動幅度資訊並且指示從L0參考塊和L1參考塊的起點的預定義偏移。偏移量被添加到起始MV的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定義偏移量的關係在表1中指定。

方向索引(direction index)表示MVD相對於起始點的方向。方向索引可以表示如表2所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的資訊而變化。當起始MV是單向預測(un-prediction)MV或兩個列表都指向當前圖片的同一側的雙向預測(bi-prediction)MV(即兩個參考的POC均大於當前圖片的POC，或均小於當前圖片的POC)，表2中描述添加到起始MV的MV偏移量的正負符號。當起始MV是兩個MV指向當前圖片的不同側的雙向預測MV(即一個參考的POC大於當前圖片的POC，另一個參考的POC小於當前圖片的POC)，並且list 0中POC的差異大於list 1中的POC的差異，表2中描述添加到起始MV的list0 MV分量的MV偏移量的正負符號，且與listl1 MV添加MV偏移量的正負符號有相反的值。否則，如果list 1中的POC的差異大於list 0的差異，則表2中描述添加到起始MV的list1 MV分量的MV偏移量的正負符號，且與list0 MV添加MV偏移量的正負符號有相反的值。

MVD是根據每個方向上的POC的差異來縮放的。如果兩個列表中POC的差異相同，則不需要縮放。否則，如果list 0中的POC差異大於list 1中的差異，則通過將L0的POC差異定義為td並將L1的POC差異定義為tb來縮放list 1的MVD，如第5圖所示。如果L1的POC差異大於L0，則以相同的方式縮放list 0的MVD(如，將L0的POC差異定義為tb並將L1的POC差異定義為td來縮放列表0的MVD)。如果起始MV是單向預測的，則將MVD添加到可用MV。

組合的幀間和幀內預測(Combined Inter and Intra Prediction，簡寫為CIIP)

在VVC中，當CU以合併模式編碼時，如果CU包含至少64個亮度樣本(即CU寬度乘以CU高度等於或大於64)，並且如果CU寬度和CU高度都小於128個亮度樣本，一個額外的標誌被發送以指示組合的幀間/幀內預測(CIIP)模式是否應用於當前CU。正如其名稱所示，CIIP預測將幀間預測信號與幀內預測信號組合在一起。CIIP模式P _inter中的幀間預測信號是使用應用於常規合併模式的相同幀間預測過程導出的；而幀內預測信號P _intra是在具有平面模式的常規幀內預測過程之後導出的。然後，使用加權平均組合幀內和幀間預測信號，其中權重值wt根據當前CU的頂部和左側相鄰塊的編解碼模式計算如下：- 如果頂部臨近(top neighbour)可用且是幀內編解碼的，則將isIntraTop設置為1，否則將isIntraTop設置為0； - 如果左臨近(left neighbour)可用且是幀內編解碼的，則將isIntraLeft設置為1，否則將isIntraLeft設置為0；- 如果(isIntraLeft+isIntraTop)等於2，則wt設置為3；- 否則，如果(isIntraLeft+isIntraTop)等於1，則wt設置為2；- 否則，將wt設置為1。

CIIP預測的形成如下：P _CIIP=((4-wt)* P _inter+wt * P _intra+2)≫2 (1)

幾何分區模式(Geometric Partitioning Mode，簡寫為GPM)

在VVC中，支持幾何分區模式(GPM)用於幀間預測，如JVET-W2002(Adrian Browne等人，Algorithm description for Versatile Video Coding and Test Model 14(VTM 14)，ITU-T/ISO/IEC聯合視訊探索小組(JVET)，第23次會議，電話會議，2021年7月7日至16日，文件：文件JVET-M2002)。幾何分區模式使用CU級標誌作為一種合併模式，其他合併模式包括常規合併模式、MMVD模式、CIIP模式和子塊合併模式。對於每個可能的CU大小，幾何分區模式總共支持64個分區，w×h=2^m×2ⁿ，其中m,n

{3…6}，不包括8x64和64x8。GPM模式可應用於跳過或合併大小在上述限制內且具有至少兩種常規合併模式的CU。

當使用這種模式時，一個CU被一條幾何定位的直線以一定的角度分成兩部分。在VVC中，總共有20個角度(從早期草案中的24個角度減少)和4個偏移距離用於GPM。用於分區的20個角度如第2圖所示。分割線的位置是根據特定分區的角度和偏移參數從數學上得出的。在VVC中，共有64個分區，如第3圖所示，其中分區按角度分組，虛線表示冗餘分區。CU中幾何分區的每個部分都使用自己的運動進行幀間預測；每個分區只允許單向預測，即每個部分有一個運動矢量和一個參考索引。在第3圖中，每條線(line )對應一個分區的邊界。分區根據其角度分組。例如，分區組(group)310由三個垂直GPM分區(即90°)組成。分區組320由四個與垂直方向成小角度的傾斜GPM分區組成。此外，分區組330由三個垂直GPM分區(即270°)組成，類似於組310，但方向相反。應用單向預測運動約束以確保每個CU只需要兩次運動補償預測，與傳統的雙向預測相同。每個分區的單向預測運動是使用稍後描述的過程導出的。

如果幾何分區模式用於當前CU，則指示幾何分區的所選分區模式(角度和偏移)的幾何分區索引和兩個合併索引(各用於一個分區)(one for each partition)被進一步發信(signalled)。如表3所示，最大GPM候選大小的數量在SPS(序列參數集)中明確發信，並指定GPM合併索引的句法二值化(syntax binarization)。GMP分區索引、角度索引和距離索引之間的映射如表4所示。在預測幾何分區的每個部分後，使用稍後描述的過程使用具有適應性權重的混合處理(blending process)來調整沿幾何分區邊緣的樣本值。這是整個CU的預測信號，和其他預測模式一樣，變換和量化過程將應用於整個CU。最後，使用稍後描述的過程存儲使用幾何分區模式預測的CU的運動字段。

單向預測候選列表構建(Uni-Prediction Candidate List Construction)

單向預測候選列表直接從根據擴展的合併預測過程構建的合併候選列表導出。將n表示為單向預測運動在幾何單向預測候選列表中的索引。第n個擴展的合併候選的LX運動矢量(X=0或1，即LX=L0或L1)，其中X等於n的奇偶性(parity)，用作幾何分區模式的第n個單向預測運動矢量。這些運動矢量在第4圖中用“x”標記。如果第n個擴展的合併候選的相應LX運動矢量不存在，則使用相同候選的L(1-X)運動矢量代替，作為幾何分區模式的單向預測運動矢量。

沿幾何分區邊緣的混合

在使用自己的運動預測幾何分區的每個部分後，將混合應用於兩個預測信號以導出幾何分區邊緣周圍的樣本。CU的每個位置的混合權重是基於各個位置和分區邊緣之間的距離得出的。

位置(x,y)到分區邊緣的距離導出為：d(x,y)=(2x+1-w)cos(φ _i)+(2y+1-h)sin(φ _i)-ρ _j (2)

ρ _j=ρ _x,j cos(φ _i)+ρ _y,j sin(φ _i) (3)

其中i,j是幾何分區的角度和偏移量的索引，其取決於發信的幾何分區索引。ρ _x,j和ρ _y,j的符號取決於角度索引i。

幾何分區的每個部分的權重推導如下：wIdxL(x,y)=partIdx？32+d(x,y)：32-d(x,y) (6)

w ₁(x,y)=1-w ₀(x,y) (8)

partIdx取決於角度索引i。權重w ₀的一個示例如第5圖所示，其中角度φi 510和偏移ρj 520指示GPM索引i，點530對應於塊的中心。

幾何分區模式的運動字段(Motion Field)存儲

來自幾何分區的第一部分的Mv1、來自幾何分區的第二部分的Mv2以及Mv1和Mv2的組合MV被存儲在幾何分區模式編解碼的CU的運動字段中。

運動字段中每個單獨位置的存儲的運動矢量類型確定為：sType=abs(motionIdx)<32？2：

其中motionIdx等於d(4x+2,4y+2)，這是從等式(2)重新計算得到的。partIdx取決於角度索引i。

如果sType等於0或1，則Mv0或Mv1存儲在相應的運動字段中，否則如果sType等於2，則存儲來自Mv0和Mv2的組合MV。使用以下過程生成組合的Mv：

1)如果Mv1和Mv2來自不同的參考圖片列表(一個來自L0，另一個來自L1)，則簡單地組合Mv1和Mv2以形成雙向預測運動矢量。

2)否則，如果Mv1和Mv2來自同一個列表，則僅存儲單向預測運動Mv2。

GPM拆分模式的基於模板匹配(Template Match)的重新排序

最近，Chun-Chi Chen等人在JVET-Y0135(ITU-T/ISO/IEC聯合視訊專家組(JVET)，第25次會議，通過電話會議，2022年1月12日至21日，文件：文件JVET-Y0135)中披露了基於模板匹配的GPM拆分模式重新排序，以考慮新的編解碼標準。模板匹配方法將當前塊周圍的臨近模板與參考圖片中參考塊周圍的參考模板進行匹配。臨近模板通常包括對應於當前塊上方邊緣的臨近像素的頂部模板以及對應於當前塊左側邊緣的臨近像素的左側模板。參考模板包括參考塊的各頂部模板和左側模板。由於在当當前塊的編碼/解碼過程中，編碼器端和解碼器端都可以提供參考模板和臨近模板，因此可以在編碼器端和解碼器端評估匹配成本(matching cost)(即，臨近模板與參考模板之間的相似性或不相似性(dis-similarity)的度量)。因此，匹配成本評估被視為解碼器端導出的資訊。根據JVET-Y0135，針對GPM拆分模式的重新排序方法是在編解碼單元中兩個GPM分區的各自參考模板產生後，進行兩個步驟，如下所示：˙使用各個拆分模式的各自權重混合兩個GPM分區的參考模板(即產生64個混合的參考模板)並計算這些混合的參考模板的各自模板匹配(template match，簡寫為TM)成本；以及˙將TM成本按升序重新排序，並將最佳N個候選標記為可用的拆分模式。

如第6圖所示，模板的邊緣從當前CU的邊緣延伸。在第6圖中，塊610對應於當前塊，塊620對應於頂部模板，塊630對應於左側模板。在模板混合過程中使用的相應權重的計算類似於GPM權重推導過程(即，JVET-T2001(Benjamin Bross等人，Versatile Video Coding Editorial Refinements，草案10，ITU-T/ISO/IEC聯合視訊專家組(JVET)，第20次會議，通過電話會議，2020年10月7日至16日，文件：文件JVET-T2001)中的子條款8.5.7.2)。唯一的區別在於：˙模板上的樣本位置(相對於CU的原始位置)用於推導權重；˙權重在使用之前映射到0和8(取決於哪個更近)，以便模板的邊緣被清晰分割，以簡化混合過程的運算。

通過TM成本的升序重新排序後，最佳N個GPM拆分模式按其TM成本從小到大分配給其各自的索引，並使用Golomb-Rice代碼發信此索引，如表5所示。

如JVET-Y0135中公開的根據基於TM的重新排序的GPM索引的發信比沒有基於TM的重新排序的原始發信方法更有效，因為只有最好的N個GPM拆分模式被分配給它們各自的索引並且所選擇的索引是使用Golomb-Rice代碼熵編碼。然而，JVET-Y0135中公開的基於TM的重新排序遭受更長的延遲，如本申請的詳細描述中所公開的。本發明公開了克服長延遲問題的方法。

針對編碼器側和解碼器側公開了一種用於視訊編解碼的方法和設備。根據解碼器側的方法，接收與當前塊相關聯的編碼的資料。確定當前塊的目標GPM組中的偽GPM。當前塊被劃分為一個或多個子塊。每個子塊的分配的MV(運動矢量)根據偽GPM確定。根據解碼的資料確定目標GPM組中每個GPM的成本。所選擇的GPM是基於模式句法以及重新排序的目標GPM組確定的，重新排序的目標GPM組對應於根據成本重新排序的目標GPM組，其中允許偽GPM不同於所選擇的GPM。使用包括所選GPM的資訊對編碼的資料進行解碼。

在一個實施例中，用於解碼器側的方法還可以包括從包括當前塊的編碼的資料的位元流中解析模式句法。

在一個實施例中，使用一個或多個GPM模式選擇的MV候选和目標測試的(target-tested)GPM，在當前塊的參考塊的參考模板和當前塊的相鄰模板之間導出成本。

在一個實施例中，目標GPM組包括GPM列表中的所有GPM。

在一個實施例中，GPM列表中的所有GPM被劃分為多個GPM組並且目標GPM組對應於多個GPM組之一。在一個實施例中，多個GPM組對應於M個組，其中M是大於1的整數。在一個實施例中，從包括當前塊的編碼的資料的位元流中解析出GPM組句法，並且其中GPM組句法指示多個GPM組中的目標GPM組。在一個實施例中，從包括當前塊的編碼的資料的位元流中解析與多個GPM組中的所述一個GPM組相關的資訊。在一個實施例中，模式句法是從包括當前塊的編碼的資料的位元流中解析出來的。在一個實施例中，模式句法是隱式確定的。

根據用於編碼器側的方法，接收與當前塊相關聯的像素資料。根據解碼的資料確定目標GPM組中每個GPM的成本。根據成本為目標GPM組中的GPM生成重新排序的目標GPM組。為當前塊確定選定的GPM。根據所選GPM在重新排序的目標GPM組中的位置來確定模式句法。當前塊被劃分為一個或多個子塊。根據模式句法為當前塊確定目標GPM組中的偽GPM。每個子塊的分配的MV(運動矢量)根據偽GPM確定，其中允許偽GPM不同於所選擇的GPM。然後使用包括所選GPM的資訊對當前塊進行編碼。

110:幀內預測

112:幀間預測

114:開關

116:加法器

118:變換

120:量化

122:熵編碼器

130:環路濾波器

124:逆量化

126:逆變換

128:重建

134:參考圖片緩衝器

136:預測資料

140:熵解碼器

150:幀內預測

152:MC

310~330:組

510:角度

520:偏移

530:點

610~630:塊

710~770、810~890:步驟

第1A圖說明了包含循環處理的示例性適應性幀間/幀內視訊編解碼系統。

第1B圖圖示了第1A圖中的編碼器的相應解碼器。

第2圖說明了在VVC早期GPM(幾何分區模式)開發期間用於幾何分區的20個角度的示例。

第3圖說明了VVC標準中使用的64個分區的示例，其中分區根據它們的角度進行分組，虛線表示冗餘分區。

第4圖說明了幾何分區模式的單向預測MV選擇的示例。

第5圖說明了使用幾何分區模式的混合權重ω₀的示例。

第6圖說明了根據基於模板匹配的GPM將幾何分區模式的邊緣擴展到模板中的示例。

第7圖示出了根據本發明實施例的利用低延遲幾何分區模式的示例性視訊解碼系統的流程圖。

第8圖示出了根據本發明實施例的利用低延遲幾何分區模式的示例性視訊編碼系統的流程圖。

容易理解的是，如本文附圖中大體描述和圖示的本發明的元件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。貫穿本說明書對“一實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一實施例中”或“在一個實施例中”不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、元件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作詳細描述以避免模糊本發明的方面。參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數位表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。

在背景部分中描述了在GPM模式下，如何存儲每個子塊的MV。根據GPM分區模式(例如分區角度和偏移量)選擇MV1和MV2之一存儲在子塊MV緩衝區中。然而，在JVET-Y0135中公開的方法中，分區模式根據模板匹配成本重新排序。然而，在視訊解碼器中，在解析階段(例如第1B圖中的熵解碼器140)，重建的相鄰模板尚不可用。因此，在解析階段無法推導出重新排序後的GPM分區列表，無法根據解析出的分區索引確定選擇的分區。因此，在解析階段不能為當前塊分配子塊的MV。因此，子塊MV不能被後續CU分配和參考。此外，無法在解析階段生成MVP候選列表(例如合併候選列表和AMVP候選列表)。它會導致視訊解碼器中的參考樣本預取問題(pre-fetch problem)，因為解碼器通常會在解析階段生成每個CU的最終MV，並發出資料獲取指令(data fetch instruction)以從外部記憶體中獲取資料，以便預取資料(例如另一張圖片中的參考樣本)可以在樣本重建階段(例如第1B圖中的REC 128)按時準備。如果在重建階段之前無法準備好參考樣本，則需要很長的延遲才能從外部記憶體中獲取參考樣本。根本原因是解碼器無法在解析階段重建CU的MV。

根據JVET-Y0135公開的傳統的基於TM的GPM過程，相鄰塊的MV(如果相鄰塊以GPM模式編解碼)是未知的並且不能生成當前塊的MV。因此，無法在解析階段加載參考樣本。眾所周知，在視訊編解碼系統領域，參考圖片通常存儲在離線記憶體中，例如DRAM(Dynamic Random Access Memory)。參考樣本必須加載到內部記憶體中進行處理。外部記憶體訪問通常很慢並且會導致處理延遲。基於TM的GPM必須等待重建階段完成，以便重建的相鄰模板可用並且可以執行GPM重新排序。GPM重排完成後，可以根據發信的GPM索引和重排後的GPM列表確定為當前塊選擇的GPM。在為當前塊確定了選定的GPM之後，可以在重建階段為當前塊的子塊分配MV。

因此，在解析階段不能執行參考樣本預取，這導致長延遲。為了提高解碼吞吐量，本申請公開了一種新的方法。

如上所述，在基於TM的GPM中導致長延遲的原因之一是從當前塊的合併列表中選擇的真實MV不能在解析階段生成，而必須等到重建階段。在本發明中，對於使用具有GPM的解碼器端MV/模式推導工具(例如JVET-Y-135中基於模板匹配的重新排序)或任何MV分配取決於樣本重建階段執行的過程的編解碼工具，提出一個創建或定義子塊MV分配的方法。根據本發明的實施例，當解析指示選擇哪個重新排序的分區模式的GPM模式索引的句法時，可以在不執行解碼器側MV/模式推導的情況下確定用於GPM模式的預定義子塊MV分配方法。預定義子塊MV在本公開中被稱為偽MV。例如，第3圖中的分區模式之一可以分配給一個或多個解碼的GPM句法。在GPM句法被解碼之後，子塊MV分配的偽分區被確定。每個子塊可以根據偽分區選擇相應的MV(例如MV1或MV2)。分配的MV可用於相鄰塊的MV重建。在樣本重建階段，實際的GPM分區是通過解碼器端的MV/模式推導來確定的。因此，在重建階段，使用實際的MV和實際的GPM。此外，樣本混合是使用正確的GPM(實際GPM)分區模式完成的，該分區模式由解碼器端MV/模式推導和/或模式重新排序推導。在重建階段，真實的MV用於重建當前塊的樣本。另一方面，根據本發明的分配的MV是用於偽GPM的偽MV。換句話說，分配的MV可能與用於使用運動補償進行重建的MV不同。然而，存儲的子塊MV是用偽分區方式確定的。此外，偽GPM可能與根據重新排序的GPM列表選擇的實際GPM不同。在另一個實施例中，偽分區可以是獨立於解析的GPM句法的固定分區。例如，我們總是使用右上到左下分區、左上到右下分區、水平拆分自上而下(horizontally split top-down)分區或垂直拆分自左到右(vertically split left-right)分區用於子塊MV分配。在另一實施例中，當應用具有GPM的解碼器側MV/模式導出工具時，應用固定分區或偽GPM。否則(即，當未應用具有GPM的解碼器端MV/模式推導工具時)，子塊MV將根據選定的GPM進行分配。

在另一個實施例中，對於GPM分區信令，可以將一些類似的模式收集在一個組中。所有GPM分區都可以分為幾組。對於每一組，設計了一個預定義的子塊MV分配。解碼器端的MV/模式推導可以對同一組中的模式進行重新排序。每組中的重新排序的模式可以進一步重新分配(例如，以交錯的方式採用每個組中的一個或多個模式)到最終的重新排序的模式句法。因此，在解析GPM句法時，可以知道選擇了哪個組。相應的MV分配也被確定。在一個示例中，GPM模式句法/索引被分為不同的組(例如，模式索引可以分為四組，如4n、4n+1、4n+2、4n+3。或者更籠統地，分為M組，如Mn,Mn+1,Mn+2,...Mn+(M-1).)。對於每個組，一個或多個子塊MV分配方法是預定義的。因此，子塊MV可以在解析階段分配或樣本重建階段之前分配。一組內的所有GPM模式都由解碼器端MV/模式推導重新排序。

在另一個實施例中，GPM分區模式被分類/量化成若干組。在每個組中，確切的GPM模式由解碼器端的MV/模式導出導出。因此，它只需要發信在位元流中選擇了哪個組。解碼器可以通過解碼器端MV/模式推導來確定確切的GPM分區模式。在每一組中，預定義一個或多個子塊MV分配方法。因此，子塊MV可以在解析階段分配或所述樣本重建階段之前分配。

任何前述提出的方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在編碼器的幀間編解碼模塊(例如第1A圖中的幀間預測112)、運動補償模塊、解碼器的合併/幀間候選推導模塊(例如第1B圖中的MC 152)中實現。或者，所提出的方法中的任何一個都可以實現為耦合到編碼器的幀間編解碼模塊和/或解碼器的運動補償模塊、合併/幀間候選推導模塊的電路。

第7圖示出了根據本發明實施例的利用低延遲幾何分區模式的示例性視訊解碼系統的流程圖。流程圖中所示的步驟可以實現為可在解碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程式代碼。流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟710中接收與當前塊相關聯的編碼的資料。在步驟720中為當前塊確定目標GPM組中的偽GPM。在步驟730中將當前塊劃分為一個或多個子塊。在步驟740中根據偽GPM確定每個子塊的分配的MV(運動矢量)。在步驟750中根據解碼的資料確定目標GPM組中每個GPM的成本。在一個實施例中，解碼的資料為已解碼的相鄰塊資訊。在另一個實施例中，解碼的資料可以為所屬領域具有通常知識者所了解的其他資料。在步驟760中，基於模式句法和重新排序的目標GPM組確定選擇的GPM，重新排序的目標GPM組對應於根據成本重新排序的目標GPM組，其中允許偽GPM不同於所選擇的GPM。在步驟770中使用包括所選GPM的資訊對編碼的資料進行解碼。在一個實施例中，步驟750中的成本可以是模板匹配(TM)成本，並且它可以在使用分配的MV的當前塊的參考塊的參考模板和當前塊的相鄰模板之間導出。在另一個實施例中，步驟750中的成本可以是邊界匹配成本，它可以在當前塊的參考塊和當前塊的相鄰模板之間導出。

第8圖示出了根據本發明實施例的利用低延遲幾何分區模式的示例性視訊編碼系統的流程圖。根據該方法，在步驟810中接收與當前塊相關聯的像素資料。在步驟820中根據解碼的資料確定目標GPM組中的每個GPM的成本。在步驟830中根據成本生成目標GPM組中的GPM的重新排序的目標GPM組。在步驟840中確定為當前塊選擇的GPM。在步驟850中根據選擇的 GPM在重新排序的目標GPM組中的位置確定模式句法。在步驟860中將當前塊劃分為一個或多個子塊。在步驟870中根據模式句法確定當前塊的目標GPM組中的偽GPM。在步驟880中，根據偽GPM確定每個子塊的分配的MV(運動矢量)，其中允許偽GPM不同於所選擇的GPM。在步驟890中使用包括所選GPM的資訊對當前塊進行編碼。

所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域具有通常知識者可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定句法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式碼以執行這裡描述的處理。本發明的實施例還可以是要在數位訊號處理器(DSP)上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或風格來開發。也可以為不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述來指示。落入申請專利範圍等同物的含義和範圍內的所有變化都應包含在其範圍內。

710~770:步驟

Claims

一種視訊解碼方法，該方法包括：接收與當前塊關聯的編碼的資料；為該當前塊確定目標GPM組中的偽GPM；將該當前塊劃分為一個或多個子塊；根據該偽GPM確定每個子塊的分配的MV；根據解碼的資料確定該目標GPM組中每個GPM的成本；基於模式句法和重新排序的目標GPM組確定選擇的GPM，其中該重新排序的目標GPM組對應於根據該成本重新排序的該目標GPM組，其中允許該偽GPM不同於該選擇的GPM；以及使用包括該選擇的 GPM 的資訊對該編碼的資料進行解碼。
如請求項1所述之視訊解碼方法，還包括從包括該當前塊的該編碼的資料的位元流解析該模式句法。
如請求項1所述之視訊解碼方法，其中使用一個或多個GPM模式選擇的MV候选和目標測試的GPM在該當前塊的參考塊的參考模板和該當前塊的相鄰模板之間導出該成本。
如請求項1所述之視訊解碼方法，其中，該目標GPM組包括GPM列表中的所有GPM。
如請求項1所述之視訊解碼方法，其中，將GPM列表中的所有GPM劃分為多個GPM組，並且該目標GPM組對應於該多個GPM組之一。
如請求項5所述之視訊解碼方法，其中，該多個GPM組對應於M個組，其中M是大於1的整數。
如請求項5所述之視訊解碼方法，其中從包括該當前塊的該編碼的資料的位元流中解析出GPM組句法，並且其中該GPM組句法指示該多個GPM組中的該目標GPM組。
如請求項5所述之視訊解碼方法，其中從包括該當前塊的該編碼的資料的位元流中解析與該多個GPM組之一相關的資訊。
如請求項1所述之視訊解碼方法，其中該模式句法是從包括該當前塊的該編碼的資料的位元流中解析出來的。
如請求項5所述之視訊解碼方法，其中該模式句法是隱式確定的。
一種視訊編碼方法，該方法包括：接收與當前塊相關聯的像素資料；根據解碼的資料確定目標GPM組中每個GPM的成本；根據該成本為該目標GPM組中的GPM生成重新排序的目標GPM組；確定該當前塊的所選GPM；根據該所選 GPM 在該重新排序的目標 GPM 組中的位置確定模式句法；將該當前塊劃分為一個或多個子塊；根據該模式句法為該當前塊確定該目標GPM組中的偽GPM；根據該偽GPM確定每個子塊的分配的MV，其中允許該偽GPM與該所選GPM不同；以及使用包含該所選 GPM 的資訊對該當前塊進行編碼。
如請求項11所述之視訊編碼方法，還包括從包括用於該當前塊的編碼的資料的位元流發信該模式句法。
一種視訊解碼裝置，該裝置包括一個或多個電子設備或處理器，用於：接收與當前塊關聯的編碼的資料；為該當前塊確定目標GPM組中的偽GPM；將該當前塊劃分為一個或多個子塊；根據該偽GPM確定每個子塊的分配的MV；根據解碼的資料確定該目標GPM組中每個GPM的成本；基於模式句法和重新排序的目標GPM組確定選擇的GPM，其中該重新排序的目標GPM組對應於根據該成本重新排序的該目標GPM組，其中允許該偽GPM不同於該選擇的GPM；以及使用包括該選擇的 GPM 的資訊對該編碼的資料進行解碼。
如請求項13所述之視訊解碼裝置，其中，該一個或多個電子設備或處理器還被佈置成從包括該當前塊的該編碼的資料的位元流中解析該模式句法。