TW202349963A

TW202349963A - 視訊編解碼系統中運動向量差的合併模式對候選進行重新排序的方法和裝置

Info

Publication number: TW202349963A
Application number: TW112116013A
Authority: TW
Inventors: 邱世鈞; 徐志瑋; 陳慶曄; 莊子德; 黃毓文
Original assignee: 聯發科技股份有限公司
Priority date: 2022-04-29
Filing date: 2023-04-28
Publication date: 2023-12-16
Also published as: WO2023208220A1

Abstract

公開了一種使用MVP候選進行視訊編解碼的方法和裝置。為當前塊確定一組 MVP 候選。根據與成員候選相關聯的模板匹配成本，對MVP候選集合中的成員候選進行重新排序。檢查重新排序集合中的目標MVP候選對的分集條件，其中分集條件包括目標MVP候選對的目標匹配成本差小於來自包括至少一個預定值的第一集合的第一閾值，或者目標MVP候選的目標MV差小於第二閾值。如果滿足分集條件，則將目標MVP候選對中的一個移動到重新排序的MVP候選集合中的稍後位置，以形成修改的重新排序的MVP候選集合。通過使用包括經修改的重新排序的MVP候選集合的運動資訊來對當前塊進行編碼或解碼。

Description

視訊編解碼系統中運動向量差的合併模式對候選進行重新排序的方法和裝置

本發明涉及使用運動向量預測(Motion Vector Predictio，簡寫為MVP)編解碼工具的視訊編解碼系統。具體地，本發明涉及對MVP候選集進行重新排序（reorder）以提高編解碼效率。

通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準（MPEG）。該標準已作爲 ISO 標準發布：ISO/IEC 23090-3:2021，Information technology - Coded representation of immersive media - Part 3: Versatile video coding，2021 年 2 月發布。通過基於其前身HEVC（High Efficiency Video coding），添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括 3 維（3D）視訊信號，發展處發展出VVC。

第1A圖說明瞭包含循環處理的示例性適應性幀間/幀內（adaptive Inter/Intra）視訊編解碼系統。對於幀內預測，預測資料是根據當前圖片（在後文中也稱爲畫面）中先前編解碼的視訊資料導出的。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫爲ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫爲MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱爲殘差（residual）。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流將與輔助資訊（side information）（例如與幀內預測和幀間預測相關聯的運動和解碼模式）以及其他資訊（例如與應用於底層圖像區域（underlying image area）的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自 REC 128 的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊質量。例如，可以使用去塊濾波器（deblocking filter，簡寫爲DF）、樣本適應性偏移（Sample Adaptive Offset，簡寫爲SAO）和適應性環路濾波器（Adaptive Loop Filter，簡寫爲ALF）。可能需要將環路濾波器資訊合並到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合並到位元流中。在第1A圖中，環路濾波器130在重建樣本被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼（HEVC）系統、VP8、VP9、H.264或VVC。

如第1B圖所示，除了變換 118 和量化 120 之外，解碼器可以使用與編碼器相似或相同的功能塊，因爲解碼器只需要逆量化 124 和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼爲量化的變換係數和需要的編解碼資訊（例如ILPF資訊、幀內預測資訊和幀間預測資訊）。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償（MC 152）而無需運動估計。

根據VVC，與 HEVC類似輸入圖片被分區（partition）爲稱爲CTU（編解碼樹單元）的非重疊方形塊區域。每個CTU可以劃分爲一個或多個更小的編解碼單元 (CU)。生成的CU分區可以是正方形或矩形。此外，VVC將 CTU 劃分爲預測單元 (PU)，作爲應用預測處理的單元，例如幀間預測、幀內預測等。

VVC標準結合了各種新的編解碼工具，以進一步在HEVC標準基礎上提高編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。例如，使用運動向量差的合併模式(Merge Mode with MVD，簡寫為MMVD)技術重新使用與 VVC 中相同的合併候選，並且可以通過運動向量表達方法進一步擴展所選候選。期望開發技術以改進對MMVD的處理。

公開了一種使用多個MVP(運動向量預測)候選進行視訊編解碼的方法和裝置。根據該方法，接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側要編碼的當前塊的像素資料或者在解碼器側要解碼的與當前塊相關聯的已編碼資料。為當前塊確定一組 MVP 候選。根據與成員候選相關聯的模板匹配成本，對MVP候選集合中的成員候選進行重新排序以形成重新排序的MVP候選集合，其中在該當前塊的一個或多個第一鄰近區域中的第一樣本與根據該MVP候選集合中的每個成員候選定位的參考塊的一個或多個第二鄰近區域中的第二樣本之間測量每個模板匹配成本。檢查重新排序的 MVP 候選集合中的目標 MVP 候選對的分集條件，其中分集條件包括目標 MVP 候選對的目標匹配成本差小於來自至少一個預定值的第一集合的第一閾值，或者目標MVP候選的目標MV差小於第二閾值。如果滿足分集條件，則將目標MVP候選對中的一個移動到重新排序的MVP候選集合中的稍後位置，以形成修改的重新排序的MVP候選集合。通過使用包括經修改的重新排序的MVP候選集的運動資訊來對當前塊進行編碼或解碼。

在一個實施例中，通過向從合併列表中選擇的一個或多個基本MV添加偏移來生成MVP候選集合，並且其中偏移對應於來自一組距離和一組方向的對。

在一個實施例中，重複所述檢查分集條件和所述移動目標MVP候選對之一，直到達到最大迭代次數或者檢查了所有MVP候選對。

在一個實施例中，分集條件對應於目標MVP候選對的目標匹配成本差小於來自所述至少一個預定值的第一集合的第一閾值。在一個實施例中，所述至少一個預定值的第一集合的數量大於一個，並且第一閾值是根據當前塊的塊大小確定的。

在一個實施例中，分集條件對應於目標MVP候選對的目標匹配成本差小於第三閾值，以及目標MVP候選對的目標MV差小於第二閾值。

在一個實施例中，分集條件對應於目標MVP候選對的目標匹配成本差和目標MV差的平均值或加權平均值小於第四閾值。

在一個實施例中，上述閾值可以來自一組預定值。在另一實施例中，上述閾值可以取決於當前塊的塊大小。在又一個實施例中，上述閾值可以在編碼器側傳訊或者在解碼器側解析。

容易理解的是，如本文附圖中大體描述和圖示的本發明的元件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。貫穿本說明書對“一實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一實施例中”或“在一個實施例中”不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、元件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作詳細描述以避免模糊本發明的方面。參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數位表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。 當前圖片參考（ Current Picture Referencing ）

運動補償是混合視訊編解碼中的關鍵技術之一，它探索相鄰圖片之間的像素相關性。通常假設，在視訊序列中，與幀中的對象或背景相對應的圖案（pattern）被移位以形成後續幀中的對應對象或與當前幀中的其他圖案相關聯。通過對這種位移的估計（例如使用塊匹配技術），可以在不需要重新編解碼圖案的情況下大部分地再現圖案。類似地，也嘗試了塊匹配和復制以允許從與當前塊相同的圖片中選擇參考塊。將此概念應用於相機捕獲的視訊時，觀察到效率低下。部分原因是空間相鄰區域中的文本圖案（textual 圖案）可能與當前編解碼塊相似，但通常在空間上有一些逐漸變化。一個塊很難在攝像頭拍攝的視訊中的同一張圖片中找到完全匹配的。因此，編解碼性能的提高是有限的。

然而，對於屏幕內容，同一圖片內的像素之間的空間相關性情況是不同的。對於的帶有文字和圖形的典型視訊，通常在同一張圖片中有重複的圖案。因此，已經觀察到幀（圖片）內塊補償非常有效。一種新的預測模式，即幀內塊複製 (intra block copy，簡寫為IBC) 模式或稱為當前圖片參考 (CPR)，已被引入屏幕內容編解碼以利用此特性。在 CPR 模式中，預測單元 (PU) 是從同一圖片內先前重建的塊中預測出來的。此外，位移向量(稱為塊向量（block vector）或BV)用於指示從當前塊的位置到參考塊的位置的相對位移。然後使用變換、量化和熵編解碼對預測誤差進行編解碼。 CPR 補償的示例如第2圖所示，其中塊 212 是塊 210 的對應塊，塊 222 是塊 220 的對應塊。在該技術中，參考樣本對應於環路濾波操作（HEVC 中的去塊以及採樣適應性偏移 (SAO) 濾波）之前當前解碼的圖片的重建樣本。

CPR 的第一個版本在 JCTVC-M0350 中提出（Budagavi 等人，AHG8： Video coding using Intra motion compensation，ITU-T SG16 WP3 和 ISO/ IEC JTC 1/SC 29/WG11的視訊編碼聯合協作組（JCT-VC），第 13 次會議：韓國仁川，2013 年 4 月 18-26 日，文件：JCTVC-M0350）到 HEVC 範圍擴展 (RExt) 開發。在這個版本中，CPR 補償被限制在一個小的局部區域內，只有 1-D 塊向量並且僅適用於 2Nx2N 的塊大小。後來，在HEVC SCC（Screen Content Coding）的標準化過程中，開發出了更先進的CPR設計。

當使用CPR時，只有當前圖片的一部分可以用作參考圖片。施加了一些位元流一致性約束來調節參考當前圖片的有效 MV 值。首先，以下兩項中的一項必須為真： BV_x + offsetX + nPbSw + xPbs – xCbs ＜= 0 (1) BV_y + offsetY + nPbSh + yPbs – yCbs ＜= 0 (2)

其次，下方WPP條件必須為真: ( xPbs + BV_x + offsetX + nPbSw − 1 ) / CtbSizeY – xCbs / CtbSizeY ＜= yCbs / CtbSizeY − ( yPbs + BV_y + offsetY + nPbSh − 1 ) / CtbSizeY (3)

在方程式(1)到(3)中，(BV_x，BV_y)是當前PU的亮度塊向量(CPR的運動向量)； nPbSw和nPbSh是當前PU的寬高； (xPbS, yPbs)是當前PU的左上角像素相對於當前圖片的位置； (xCbs, yCbs)為當前CU左上角像素相對於當前圖片的位置； CtbSizeY 是 CTU 的大小。 OffsetX和offsetY是考慮到CPR模式的色度樣本插值的兩個二維調整的偏移量。 offsetX = BVC_x & 0x7 ? 2 : 0 (4) offsetY = BVC_y & 0x7 ? 2 : 0 (5)

(BVC_x，BVC_y)是色度塊向量，在 HEVC 中為 1/8 像素分辨率。

第三，用於 CPR 的參考塊必須在相同的圖塊/切片邊界內。具有 MVD 的合併模式 (MMVD) 技術

在 JVECT-J0024 中提出了 MMVD 技術。 MMVD 用於採用建議的運動向量表達方法的跳過（skip）或合併模式。 MMVD 重新使用與 VVC 中相同的合併候選。在合併候選中，可以選擇一個候選，並通過所提出的運動向量表達方法進一步擴展。 MMVD 提供了一種具有簡化的傳訊的新的運動向量表達。表達方式包括預測方向資訊、起始點（本發明中也稱為基點）、運動幅度（本發明中也稱為距離）和運動方向。第3圖圖示了MMVD搜索過程的示例，其中當前幀310中的當前塊312通過使用L0參考幀320和L1參考幀330的雙向預測來處理。像素位置350被投影到L0 參考幀 320 中的像素位置 352 和 L1 參考幀 330 中的像素位置 354。根據 MMVD 搜索過程，將通過在所選方向上添加偏移來搜索更新的位置。例如，更新後的位置對應於水平方向上沿線342或344，距離為s、2s或3s的位置。

該提議的技術按已有的方式使用合併候選列表。但是，只有默認合併類型（即 MRG_TYPE_DEFAULT_N）的候選才會被考慮用於 MMVD 的擴展。預測方向資訊表示L0、L1以及L0和L1預測中的預測方向。在 B 切片中，所提出的方法可以通過使用鏡像技術從具有單向預測的合併候選中生成雙向預測候選。例如，如果合併候選是L1 的單向預測，則通過在列表 0 中搜索參考圖片來確定 L0 的參考索引，該參考圖片與列表 1 的參考圖片鏡像。如果沒有對應的圖片，則使用當前圖片的最近的參考圖片。 L0的MV 是通過縮放 L1 的 MV 得出的，縮放因子由 POC 距離計算得出。

在MMVD中，在選擇了合併候選之後，通過用傳訊的MVD資訊進一步擴展或細化它。進一步的資訊包括合併候選標誌、用於指定運動幅度的索引和用於指示運動方向的索引。在 MMVD 模式中，選擇合併列表中前兩個候選之一作為 MV 基點。傳訊 MMVD 候選標誌以指定在第一和第二合併候選之間使用哪一個。從合併候選列表中選擇的初始 MV（即，合併候選）在本公開中也被稱為基點。在搜索該組位置之後，所選擇的MV候選在本公開中被稱為擴展的MV候選。

如果MMVD候選的預測方向與原始合併候選之一相同，則傳訊具有值0的索引作為MMVD預測方向。否則，傳訊值為 1 的索引。發送第一個位元後，剩餘的預測方向將根據預定義的 MMVD 預測方向優先級順序傳訊。優先順序為L0/L1預測、L0預測和L1預測。如果合併候選的預測方向是L1，傳訊'0'表示MMVD的預測方向為L1。傳訊“10”表示 MMVD的預測方向為 L0 和 L1。傳訊“11”表示 MMVD 的預測方向為 L0。如果 L0 和 L1 預測列表相同，則不發送 MMVD 的預測方向資訊。

如表1所示，基點候選索引（base candidate index）定義了起始點。基點候選索引表示列表中候選中的最佳候選，如下所示。表 1. 基點候選 IDX

基點候選IDX	0	1	2	3
第N個MVP	第1個 MVP	第2個MVP	第3個MVP	第4個 MVP

距離索引指定運動幅度資訊並且指示從L0參考塊410和L1參考塊420的起點（412和422)的預定義偏移，如第4圖所示。在第4圖中，偏移添加到起始 MV 的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定義偏移量之間的關係在表 2 中指定。表 2. 距離索引

距離 IDX	0	1	2	3	4	5	6	7
像素距離	1/4像素	1/2像素	1像素	2像素	4像素	8像素	16像素	32像素

方向索引表示 MVD 相對於起始點的方向。方向索引可以表示四個方向，如下所示。方向索引表示 MVD 相對於起點的方向。方向索引可以表示如表3所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的資訊而變化。當起始 MV 是非預測 MV 或兩個列表都指向當前圖片的同一側（即兩個參考的 POC 均大於當前圖片的 POC，或均小於當前圖片的 POC）的雙向預測 MV，表 3 中的符號指定添加到起始 MV 的 MV 偏移量的正負符號。當起始 MV 是兩個 MV 指向當前圖片的不同側的雙向預測 MV（即一個參考的 POC 大於當前圖片的 POC，另一個參考的 POC 小於當前圖片的 POC），並且list 0中POC的差異大於list 1中的POC的差異，表3中描述添加到起始MV的list0 MV分量的MV偏移量的正負符號，且與list1 MV添加MV偏移量的正負符號有相反的值。否則，如果list 1中的POC的差異大於list 0的差異，則表3中描述添加到起始MV的list1 MV分量的MV偏移量的正負符號，且與list0 MV添加MV偏移量的正負符號有相反的值。表 3. 方向索引

方向索引	00	01	10	11
x軸	+	–	N/A	N/A
y軸	N/A	N/A	+	–

為了降低編碼器複雜度，應用塊限制。如果 CU 的寬度或高度小於 4，則不執行 MMVD。 使用模板匹配的合併候選的自適應重排序（ Adaptive Reordering of Merge Candidates with Template Matching ，簡寫為 ARMC-TM)

根據使用模板匹配(TM)評估的成本來自適應地重新排序合併候選。重新排序方法可以應用於常規合併模式、模板匹配（TM）合併模式和仿射合併模式（不包括SbTMVP候選）。對於TM合併模式，合併候選在細化過程之前被重新排序。

在構建合併候選列表之後，合併候選被劃分為多個子組。對於常規合併模式和TM合併模式，子組大小設置為5。對於仿射合併模式，子組大小設置為 3。每個子組中的合併候選根據基於模板匹配的成本值升序重新排序。對於ARMC-TM，如果子組滿足以下2個條件，則跳過子組中的候選：（1）子組是最後一個子組以及（2）子組不是第一個子組。為了簡化，最後一個子組中但不是第一個子組中的合併候選不會重新排序。

合併候選的模板匹配成本被測量為當前塊的模板的樣本與其對應的參考樣本之間的絕對差之和(sum of absolute differences，簡寫為SAD)。該模板包括與當前塊鄰近的一組重建樣本。通過合併候選的運動資訊來定位模板的參考樣本。

當合併候選利用雙向預測時，合併候選的模板的參考樣本也通過雙向預測來生成，如第5圖所示的。在第5圖中，塊512對應於當前圖片510中的當前塊，塊522和532分別對應於列表0和列表1中的參考圖片520和530中的參考塊。模板514和516用於當前塊512，模板524和526用於參考塊522，而模板534和536用於參考塊532。運動向量540、542和544是列表0中的合併候選，運動向量550、552、554 是列表 1 中的合併候選。

對於子塊大小等於Wsub×Hsub的基於子塊的合併候選，上方模板包括多個大小為Wsub×1的子模板，左側模板包括多個大小為1×Hsub的子模板。如第6圖所示，利用當前塊的第一行和第一列中的子塊的運動資訊來推導每個子模板的參考樣本。在第6圖中，塊612對應於當前圖片610中的當前塊，並且塊622對應於參考圖片620中的並置塊（collocated block）。當前塊和並置塊中的每個小方塊對應於子塊。當前塊左側和頂部的點填充區域對應於當前塊的模板。邊界子塊被標記為A到G。與每個子塊相關聯的箭頭對應於子塊的運動向量。參考子塊（標記為 Aref 至 Gref）根據與邊界子塊關聯的運動向量進行定位。 多假設預測（ Multi-Hypothesis Prediction ，簡寫為 MH) 技術

提出多假設預測以改進現有的幀間圖片中預測模式，包括高級運動向量預測（AMVP)模式的單向預測、跳過和合併模式以及幀內模式。一般概念是將現有的預測模式與額外的合併索引預測（merge indexed prediction）相結合。合併索引預測以與常規合併模式相同的方式執行，其中傳訊合併索引以獲取用於運動補償的預測（motion compensated prediction）的運動資訊。最終預測是合併索引預測和現有預測模式生成的預測的加權平均，其中根據組合應用不同的權重。詳細資訊可以在 JVET-K1030(Chih-Wei Hsu等人, Description of Core Experiment 10: Combined and multi-hypothesis prediction, ITU-T SG16 WP3和 ISO/IEC JTC 1/SC 29/WG11視訊編解碼聯合協作組（JCT-VC），第 11 次會議：盧布爾雅那，SI，2018 年 7 月 10-18 日，文件：JVET-K1030)或JVET-L0100中找到（Man-Shu Chiang 等人，CE10.1.1：Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode，ITU-T SG16 WP3和ISO/IEC JTC 1/SC 29/WG11視訊編碼聯合協作組（JCT-VC），第12次會議：澳門 , CN, 2018 年 10 月 3-12 日，文件：JVET-L0100）。 基於模板匹配的重排序算法的改進

在基於TM的重排序算法中，將當前塊的模板的樣本與其對應的參考樣本之間的絕對差之和(SAD)或其他失真度量計算為TM成本，並根據TM 成本將對應的候選升序重排序。然而，這種算法可能會導致一些相同的候選俱有接近的重新排序的索引，這是冗餘的並導致碼字浪費。因此，提出以下方法來解決該問題。

在一種方法中，在重新排序之後，檢查任何兩個後續候選之間的TM成本差異。如果最小成本差小於閾值，則將對應的候選之一移動到重新排序的列表中的較靠後的位置。重複最小成本差檢查和候選移動，直到達到最大迭代次數或者最小成本差不再小於閾值。在一個實施例中，閾值是預定值。在另一實施例中，閾值由CU大小確定。在另一實施例中，閾值被明確/顯示地傳訊給解碼器側。這裡公開的重新排序過程可以是涉及一組MVP候選的應用。例如，本發明可以應用於MMVD。在重新排序之後，根據本發明的實施例檢查密切相關的MVP候選對，因為通過TM匹配成本測量的密切相似性指示這樣的MVP候選對可能具有一定程度的冗餘。因此，根據本發明的實施例將MVP候選對之一移動到重新排序的列表中較靠後的位置。

在另一種方法中，在重新排序之後，檢查任意兩個後續候選之間的TM成本差異和MV差異。如果存在成本差小於第一閾值並且MV差小於第二閾值的候選對，則將兩個候選中的一個移動到重新排序列表中的較靠後的位置。重複成本和MV差異檢查以及候選移動，直到達到最大迭代次數或者所有後續候選對滿足成本和MV差異檢查條件。與之前的方法類似，兩個閾值可以是預先確定的值、與CU大小相關的值或者顯式傳訊的值。

在另一種方法中，在重新排序之後，通過對TM成本差異和MV差異進行平均或加權平均來計算任意兩個後續候選之間的分集成本（diversity cost）。根據該方法，TM成本差異和MV差異兩者都被考慮來決定是否將候選對之一移動到重新排序列表中的較後位置。如果最小分集成本小於閾值，則將相應候選之一移動到重新排序列表中的較後位置。重複最小分集成本檢查和候選移動，直到達到最大迭代次數或者最小分集成本不再小於閾值。與之前的方法類似，閾值可以是預定值、與CU大小相關的值或者顯式傳訊的值。

上述任何基於模版匹配的MVP重排方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在編碼器的幀間編解碼模組（例如第1A 圖中的幀間預測 112）、運動補償模組（例如第1B 圖中的 MC 152）、解碼器模組的合併候選推導中實現。或者，所提出的方法中的任何一個都可以實現為耦合到編碼器的幀間編解碼模組和/或運動補償模組、解碼器的合併候選推導模組的電路。雖然幀間預測 112和 MC 152 被示為支持 MMVD 方法的獨立處理單元，它們可能對應於存儲在媒體（例如硬盤或閃存）上的可執行軟體或韌體代碼，用於 CPU（中央處理單元）或可程式化設備（例如 DSP（數位訊號處理器）或 FPGA（現場可程式化門陣列））。

第7圖示出了根據本發明實施例的利用重新排序方法來提高編解碼效率的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式代碼。流程圖中所示的步驟還可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟710中接收與當前塊相關聯的輸入資料，其中輸入資料包括要在編碼器側編碼的當前塊的像素資料或者與要在編碼器側解碼的當前塊相關聯的預測殘差資料。在步驟720中，為當前塊確定一組MVP候選。在步驟730中，根據與成員候選（Member candidates）相關聯的模板匹配成本，對MVP候選集合中的成員候選進行重新排序，以形成重新排序的MVP候選集合，並且其中在當前塊的一個或多個第一鄰近區域中的第一樣本與根據MVP候選集合中的每個成員候選定位的參考塊的一個或多個第二鄰近區域中的第二樣本之間測量每個模板匹配成本的值。在步驟740，檢查重新排序的MVP候選集合中的目標MVP候選對的分集條件（diversity condition），其中分集條件包括目標MVP候選對的目標匹配成本差小於來自包括至少一個預定值的第一集合的第一閾值，或者目標MVP候選的目標MV差小於第二閾值。在步驟750中，如果滿足分集條件，則將目標MVP候選對中的一個移動到經重新排序的MVP候選集合中的稍後位置以形成經修改的經重新排序的MVP候選集合。在步驟760中，通過使用包括修改後的重新排序的MVP候選集的運動資訊對當前塊進行編碼或解碼。

所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域具有通常知識者可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定句法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式碼以執行這裡描述的處理。本發明的實施例還可以是要在數位訊號處理器(DSP)上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或風格來開發。也可以為不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述來指示。落入申請專利範圍等同物的含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 130:環路濾波器 124:逆量化 126:逆變換 128:重建 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210、212、220、222:塊 310:當前幀 312、512、612:當前塊 320、330:參考幀 350、352 、354:像素位置 410、420、522、532:參考塊 412、422:起點 510、610:當前圖片 520、530、620:參考圖片 514、516、524、526、534、536:模板 540、542、544、550、552、554:運動向量 622:並置塊 710~760:步驟

第1A圖說明了包含循環處理的示例性適應性幀間/幀內視訊編解碼系統。第1B圖圖示了第1A圖中的編碼器的相應解碼器。第2圖圖示了當前圖片參考(Current Picture Referencing，簡寫為CPR)補償的示例，其中塊由相同圖片中的對應塊預測。第3圖圖示了使用運動向量差的合併模式 (MMVD)搜索過程的示例，其中使用L0參考幀和L1參考幀通過雙向預測來處理當前幀中的當前塊。第4圖示出了根據MMVD的L0參考塊和L1參考塊在水平和垂直方向上的偏移距離。第5圖示出了用於當前塊和相應參考塊以測量與合併候選相關聯的匹配成本的模板的示例。第6圖示出了使用當前塊的子塊的運動資訊的具有子塊運動的塊的模板和模板的參考樣本的示例。第7圖示出了根據本發明實施例的利用重新排序方法來提高編解碼效率的示例性視訊編解碼系統的流程圖。

710~760:步驟

Claims

一種使用MVP（運動向量預測）的視訊編解碼方法，該方法包括：接收與當前塊相關的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的像素資料或解碼器側待解碼的與該當前塊相關的已編碼資料；確定該當前塊的MVP 候選集合；根據與成員候選相關聯的模板匹配成本對該MVP候選集合中的該成員候選進行重新排序，以形成重新排序的MVP候選集合，其中在該當前塊的一個或多個第一鄰近區域中的第一樣本與根據該MVP候選集合中的每個成員候選定位的參考塊的一個或多個第二鄰近區域中的第二樣本之間測量每個模板匹配成本；檢查該重新排序的MVP候選集合中的目標MVP候選對的分集條件，其中該分集條件包括該目標MVP候選對的目標匹配成本差小於來自第一集合的第一閾值，其中該第一集合至少包括一個預定值，或者該目標MVP候選的目標MV差小於第二閾值；如果滿足該分集條件，則將該目標MVP候選對中的一個移動到該重新排序的MVP候選集合中較靠後的位置，以形成修改的重新排序的MVP候選集合；以及通過使用包括該修改的重新排序的MVP候選集合的運動資訊來對該當前塊進行編碼或解碼。
如請求項1所述之方法，其中通過向從合併列表中選擇的一個或多個基本MV添加偏移來生成該MVP候選集合，並且其中該偏移對應於來自一組距離和一組方向的對。
如請求項1所述之方法，其中重複所述檢查該分集條件和所述移動該目標MVP候選對之一，直到達到最大迭代次數或者所有MVP候選對均被檢查。
如請求項1所述之方法，其中該分集條件對應於該目標MVP候選對的該目標匹配成本差小於包括該至少一個預定值的該第一集合中的該第一閾值。
如請求項4所述之方法，其中包括該至少一個預定值的該第一集合的數量大於一，並且該第一閾值是根據該當前塊的塊大小確定的。
如請求項4所述之方法，其中在該編碼器側傳訊該第一閾值或在該解碼器側解析該第一閾值。
如請求項1所述之方法，其中該分集條件對應於該目標MVP候選對的該目標匹配成本差小於第三閾值，以及該目標MVP候選對的該目標MV差小於該第二閾值。
如請求項7所述之方法，其中該第二閾值來自第二組預定值，或者該第三閾值來自第三組預定值。
如請求項8所述之方法，其中該第二閾值或該第三閾值取決於該當前塊的塊大小。
如請求項8所述之方法，其中該第二閾值或該第三閾值在該編碼器側傳訊或在該解碼器側解析。
如請求項1所述之方法，其中該分集條件對應於該目標MVP候選對的該目標匹配成本差和該目標MV差的平均值或加權平均值小於第四閾值。
如請求項11所述之方法，其中該第四閾值來自第四組預定值。
如請求項12所述之方法，其中該第四閾值取決於該當前塊的塊大小。
如請求項12所述之方法，其中該第四閾值在該編碼器側傳訊或在該解碼器側解析。
一種使用MVP（運動向量預測）進行視訊編解碼的裝置，該裝置包括一個或多個電子器件或處理器，被佈置為：接收與當前塊相關的輸入資料，其中，該輸入資料包括在編碼器端與該當前塊相關的待編碼的像素資料或者在解碼端與該當前塊相關的待解碼的預測殘差資料；確定該當前塊的MVP 候選集合；根據與成員候選相關聯的模板匹配成本對該MVP候選集合中的該成員候選進行重新排序，以形成重新排序的MVP候選集合，其中在該當前塊的一個或多個第一鄰近區域中的第一樣本與根據該MVP候選集合中的每個成員候選定位的參考塊的一個或多個第二鄰近區域中的第二樣本之間測量每個模板匹配成本；檢查該重新排序的MVP候選集合中的目標MVP候選對的分集條件，其中該分集條件包括該目標MVP候選對的目標匹配成本差小於來自第一組預定值的第一閾值，或者，該目標MVP候選對的目標MV差小於第二閾值；如果滿足該分集條件，則將該目標MVP候選對中的一個移動到該重新排序的MVP候選集合中較靠後的位置，以形成修改的重新排序的MVP候選集合；以及通過使用包括該修改的重新排序的MVP候選集合的運動資訊來對該當前塊進行編碼或解碼。