TW202349959A - 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置 - Google Patents

使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置 Download PDF

Info

Publication number
TW202349959A
TW202349959A TW112116015A TW112116015A TW202349959A TW 202349959 A TW202349959 A TW 202349959A TW 112116015 A TW112116015 A TW 112116015A TW 112116015 A TW112116015 A TW 112116015A TW 202349959 A TW202349959 A TW 202349959A
Authority
TW
Taiwan
Prior art keywords
candidates
current block
extended
candidate
partial
Prior art date
Application number
TW112116015A
Other languages
English (en)
Inventor
邱世鈞
徐志瑋
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202349959A publication Critical patent/TW202349959A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種使用MMVD模式進行視頻編解碼的方法和裝置。根據該方法，從合併列表確定基本合併MV。通過將步長和方向對添加到基本MV，根據一組步長和一組方向來確定一組擴展合併候選。該組步長和該組方向的至少一個組合被排除在擴展合併候選的部分集合外。根據在當前塊的模板與擴展合併候選的部分集合中的對應參考塊的模板之間測量的模板匹配成本，對擴展的合併候選的部分集合進行重新排序。通過使用包括擴展合併候選的重新排序的部分集合的運動信息來對當前塊進行編碼或解碼。

Description

使用MVD合併模式來降低視頻編解碼複雜度的方法和裝置
本發明涉及使用合併模式運動向量差 (Merge mode Motion Vector Difference，MMVD)編碼工具的視頻編解碼系統。具體地，本發明涉及與MMVD相關聯的複雜性降低。
通用視頻編碼(VVC)是由ITU-T視頻編碼專家組(VCEG)的聯合視頻專家組(JVET)和ISO/IEC運動圖像專家組(MPEG)共同製定的最新國際視頻編解碼標準。該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術-沉浸式媒體的編碼表示 - 第 3 部分：通用視頻編碼，2021 年 2 月發布。VVC 是在其前身 HEVC（High Efficiency Video Coding）基礎上，通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括 3 維（3D）視頻信號。
第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。 對於幀內預測，預測資料是根據當前圖片中先前編碼的視頻資料導出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視頻資料的視頻位元流中。與變換係數相關聯的位元流然後與輔助信息（例如與幀內預測和幀間預測相關聯的運動和編碼模式）以及其他信息（例如與應用於底層圖像區域的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助信息被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視頻資料。 重建的視頻資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。
如第1A圖所示，輸入的視頻資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重建視頻資料可能會受到各種損害。因此，環路濾波器130經常在重構視頻資料被存儲在參考圖片緩衝器134中之前應用於重構視頻資料以提高視頻質量。例如，可以使用去塊濾波器（DF）、樣本自適應偏移（SAO）和自適應環路濾波器（ALF）。可能需要將環路濾波器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。
如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換118和量化120之外，因為解碼器只需要逆量化124和逆變換126。代替熵編碼器122，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息(例如ILPF信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償（MC 152）而無需運動估計。
根據VVC，類似於HEVC，輸入圖片被劃分為稱為CTU(編碼樹單元）的非重疊方形塊區域。每個CTU都可以劃分為一個或多個較小尺寸的編碼單元(CU)。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元(PU)，作為應用預測過程的單元，例如幀間預測、幀內預測等。
VVC標準結合了各種新的編解碼工具，以進一步提高HEVC標準的編碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具回顧如下。例如，合併MVD模式(MMVD)技術重新使用與VVC中相同的合併候選，並且可以通過運動矢量表達方法進一步擴展所選擇的候選。需要開發降低MMVD複雜性的技術。
公開了一種使用MMVD模式進行視頻編解碼的方法和裝置。根據該方法，接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側要編碼的當前塊的像素資料或者在解碼器側要解碼的與當前塊相關聯的編碼資料。從當前塊的合併列表中確定至少一個基本合併運動向量（Motion Vector，MV）。根據一步長集合和一方向集合為所述至少一個基本合併MV確定一組擴展合併候選，其中該組擴展合併候選通過向所述至少一個基本合併MV添加偏移量來確定，並且其中偏移量對應於來自步長集合和方向集合的一對組合，其中步長集合和方向集合的至少一個組合被排除在擴展合併候選的部分集合中。根據與候選者相關聯的模板匹配成本對擴展合併候選的部分集合中的候選者進行重新排序，並且其中每個模板匹配成本是在當前塊的一個或多個第一相鄰區域中的第一樣本與參考塊的一個或多個第二相鄰區域中的第二樣本之間測量的，其中參考塊是根據擴展合併候選的部分集合中的每個候選者定位的。通過使用包括擴展合併候選的重新排序的部分集合的運動信息來對當前塊進行編碼或解碼。
在一個實施例中，通過將步長集合中的成員步長限制為小於步長閾值來生成擴展合併候選的部分集合，使得從擴展合併的部分集合中排除步長集合中的至少一個成員步長候選。
在一個實施例中，通過將擴展合併候選集合限制在邊界框內以排除擴展合併候選集合中的至少一個擴展合併候選來生成擴展合併候選的部分集合。
在一個實施例中，在編碼單元（CU）級別中用信號發送或解析第一語法以指示擴展合併候選的部分集合是否用於當前塊。在一個實施例中，當第一語法指示擴展合併候選的部分集合用於當前塊時，在CU級別中用信號發送或解析第二語法以指示從擴展合併候選的部分集合中選擇的目標候選者。在另一實施例中，當擴展合併候選的部分集合不用於當前塊時，在CU級別中用信號發送或解析第二語法以指示從當前塊的剩餘候選集合中選擇的目標候選者，並且其中剩餘候選集合對應於屬於擴展合併候選集合但不在擴展合併候選的部分集合中的擴展合併候選。
在一個實施例中，當前塊的所述一個或多個第一相鄰區域包括當前塊的第一頂部相鄰區域和第一左相鄰區域，並且參考塊的所述一個或多個第二相鄰區域包括第二頂部相鄰區域，以及參考塊的第二左相鄰區域。
在一個實施例中，針對當前塊生成當前塊的剩餘候選集合，並且其中剩餘候選集合對應於屬於擴展合併候選集合但不在擴展合併候選的部分集合中的擴展合併候選。此外，運動信息還包括未使用與剩餘候選集相關聯的模板匹配成本重新排序的剩餘候選集。
將容易理解的是，如本文附圖中大體描述和圖示的本發明的組件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。貫穿本說明書對“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一個實施例中”或“在一實施例中”不一定都指代相同的實施例。
此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、組件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作 詳細描述以避免模糊本發明的方面。 參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數字表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。 當前圖片參考（ Current Picture Referencing ）
運動補償是混合視頻編碼的關鍵技術之一，它探索相鄰圖像之間的像素相關性。通常假設，在視頻序列中，與幀中的對像或背景相對應的圖案被移位以形成後續幀中的對應對像或與當前幀內的其他圖案相關。通過對這種位移的估計（例如使用塊匹配技術），可以大部分地再現圖案而無需重新編碼圖案。類似地，還嘗試了塊匹配和復制以允許從與當前塊相同的圖片中選擇參考塊。當將此概念應用於相機捕獲的視頻時，人們發現效率很低。部分原因是空間相鄰區域中的文本模式可能與當前編碼塊相似，但通常在空間上有一些逐漸的變化。對於一個塊來說，在攝像機捕獲的視頻中的同一張圖片中找到精確匹配是很困難的。因此，編碼性能的提高是有限的。
然而，同一圖片內的像素之間的空間相關性的情況對於屏幕內容是不同的。對於具有文本和圖形的典型視頻，同一張圖片中通常存在重複的模式。因此，已經觀察到幀內（圖片）塊補償非常有效。屏幕內容編碼引入了一種新的預測模式，即幀內塊複製（intra block copy，IBC）模式或稱為當前圖片參考（current picture referencing，CPR），以利用這一特性。在CPR模式中，預測單元（prediction unit，PU）是根據同一圖片內先前重建的塊來預測的。此外，位移向量(稱為塊向量或BV)用於指示從當前塊的位置到參考塊的位置的相對位移。然後使用變換、量化和熵編碼對預測誤差進行編解碼。第2圖中示出了CPR補償的示例，其中塊212是塊210的對應塊，並且塊222是塊220的對應塊。在該技術中，參考樣本對應於當前解碼的重構樣本。環路濾波器操作之前的圖像，包括HEVC 中的去塊濾波器和样本自適應偏移(SAO)濾波器。
CPR的第一個版本是在JCTVC-M0350中提出的（Budagavi 等人，AHG8：使用幀內運動補償的視頻編碼，ITU-T SG16 WP3 和ISO/IEC JTC 1 的視頻編碼聯合協作組(JCT- VC) /SC 29/WG11，第 13 次會議：韓國仁川，2013 年 4 月 18 日至 26 日，文件：JCTVC-M0350) HEVC範圍擴展(HEVC Range Extensions，RExt)開發。在此版本中，CPR補償僅限於較小的局部區域內，僅具有1-D塊向量，並且僅適用於2Nx2N的塊大小。後來，在HEVC屏幕內容編碼（Screen Content Coding，SCC）標準化過程中開發了更先進的CPR設計。
當使用CPR時，僅當前圖片的一部分可以用作參考圖片。施加一些位元流一致性約束來調節參考當前圖片的有效MV值。首先，以下兩項之一必須為真： BV_x + offsetX + nPbSw + xPbs – xCbs ＜= 0                    (1) BV_y + offsetY + nPbSh + yPbs – yCbs ＜= 0                     (2)
其次，以下WPP條件必須為真： ( xPbs + BV_x + offsetX + nPbSw − 1 ) / CtbSizeY – xCbs / CtbSizeY  ＜=yCbs / CtbSizeY − ( yPbs + BV_y + offsetY + nPbSh − 1 )  / CtbSizeY                                                       (3)
在等式(1)至(3)中，(BV_x，BV_y)是當前PU的亮度塊向量(CPR的運動向量)；nPbSw和nPbSh是當前PU的寬度和高度；(xPbS,yPbs)為當前PU的左上角像素相對於當前圖片的位置；(xCbs,yCbs)為當前CU的左上角像素相對於當前圖片的位置；CtbSizeY是CTU的大小。OffsetX和offsetY是考慮到CPR模式的色度樣本插值而在二維上調整的兩個偏移。 offsetX = BVC_x & 0x7 ? 2 : 0                                           (4) offsetY = BVC_y & 0x7 ? 2 : 0                                           (5)
(BVC_x, BVC_y)是HEVC中1/8像素分辨率的色度塊向量。
第三，CPR的參考塊必須位於同一圖塊/切片邊界內。 與MVD模式(MMVD)技術合併
JVECT-J0024中提出了MMVD技術。MMVD通過提出的運動矢量表達方法用於跳過或合併模式。MMVD重新使用與VVC中相同的合併候選成員。在合併候選成員中，可以選擇一個候選成員，並通過所提出的運動矢量表達方法進一步擴展。MMVD提供了一種具有簡化信令的新運動矢量表達式。表達方法包括預測方向信息、起始點(本發明中也稱為基點)、運動幅度(本發明中也稱為距離)和運動方向。第3圖說明了MMVD搜索的示例過程，其中使用L0參考幀320和L1參考幀330通過雙向預測來處理當前幀310中的當前塊312。像素位置350被投影到L0參考幀320中的像素位置352和像素L1參考幀330中的位置354。根據MMVD搜索過程，將通過在選定方向上添加偏移來搜索更新的位置。例如，更新的位置對應於水平方向上沿線342或344的位置，距離為s、2s或3s。
該提議的技術按原樣使用合併候選列表。但是，MMVD擴展僅考慮默認合併類型（即MRG_TYPE_DEFAULT_N）的候選者。預測方向信息指示L0、L1以及L0和L1預測之中的預測方向。在B切片中，所提出的方法可以通過使用鏡像技術從具有單向預測的合併候選生成雙向預測候選。例如，如果合併候選是具有L1的單預測，則通過搜索列表0中的參考圖片來決定L0的參考索引，該參考圖片與列表1的參考圖片鏡像。如果沒有對應的圖片，則使用當前圖片的最近的參考圖片。L0’ MV是通過縮放L1的MV得出的，縮放因子是通過POC距離計算的。
在MMVD中，在選擇合併候選者之後，通過用信號通知的MVD信息進一步擴展或細化它。進一步的信息包括合併候選標記、指定運動幅度的索引、以及用於指示運動方向的索引。在MMVD模式中，選擇合併列表中的前兩個候選之一作為MV基礎。MMVD候選標誌被發信號通知以指定在第一和第二合併候選之間使用哪一個。從合併候選者列表中選擇的初始MV(即，合併候選者)在本公開中也被稱為基礎。在搜索位置集合之後，所選擇的MV候選在本公開中被稱為擴展MV候選。
如果MMVD候選的預測方向與原始合併候選之一相同，則用信號通知具有值0的索引作為MMVD預測方向。否則，用信號通知值為1的索引。發送第一位元後，根據MMVD預測方向的預定義優先級順序用信號通知剩餘的預測方向。優先級順序是L0/L1預測、L0預測和L1預測。如果合併候選的預測方向是L1，則信令“0”指示MMVD預測方向為L1。信令‘10’指示MMVD預測方向為L0和L1。信令‘11’指示MMVD預測方向為L0。如果L0和L1預測列表相同，則不會用信號通知MMVD的預測方向信息。
如表1所示，基本候選索引定義了起點。基本候選索引表示列表中候選中的最佳候選，如下所示。 表1. 基本候選 IDX
基本候選IDX 0 1 2 3
第N個MVP 第一個MVP 第二個MVP 第三個MVP 第四個MVP
距離索引指定運動幅度信息並指示如第4圖所示的L0參考塊410和L1參考塊420距起始點(412和422)的預定義偏移。在第4圖中，將偏移添加到起始MV的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定義偏移量之間的關係如表2所示。 表2. 距離IDX
距離IDX 0 1 2 3 4 5 6 7
像素距離 1/4-pel 1/2-pel 1-pel 2-pel 4-pel 8-pel 16-pel 32-pel
方向索引表示MVD相對於起點的方向。方向索引可以表示如下所示的四個方向。方向索引表示MVD相對於起點的方向。方向索引可以表示如表3所示的四個方向。值得注意的是，MVD符號的含義可以根據起始MV的信息而變化。當起始MV是非預測MV或雙向預測MV時，兩個列表都指向當前圖片的同一側（即兩個參考的POC都大於當前圖片的POC，或者都小於當前圖片的POC），表3中的符號指定添加到起始MV的MV偏移的符號。當起始MV是雙向預測MV時，兩個MV指向當前圖片的不同側（即一個參考的POC大於當前圖片的POC，而另一個參考的POC小於當前圖片的POC），並且列表0中的POC差異大於列表1中的POC，表3中的符號指定添加到起始MV的列表0 MV分量的MV偏移的符號，并且列表1 MV的符號具有相反的值。否則，如果列表1中的POC的差值大於列表0，則表3中的符號指定添加到起始MV的列表1的MV分量的MV偏移的符號，並且列表0的MV的符號具有相反的值。 表3. 方向 IDX
方向 IDX 00 01 10 11
x-軸 + – N/A N/A
y-軸 N/A N/A + –
為了降低編碼器複雜性，應用塊限制。如果CU的寬度或高度小於4，則不執行MMVD。 多假設預測（ Multi-Hypothesis Prediction ， MH ）技術
多假設預測被提出來改進現有的幀間預測模式，包括高級運動矢量預測（AMVP）模式、跳過和合併模式以及幀內模式的單向預測。一般概念是將現有預測模式與額外的合併索引預測相結合。以與常規合併模式相同的方式執行合併索引預測，其中用信號通知合併索引以獲取用於運動補償預測的運動信息。最終的預測是合併索引預測和現有預測模式生成的預測的加權平均，其中根據組合應用不同的權重。詳細信息可參見JVET-K1030（Chih-Wei Hsu等人，核心實驗10的描述：組合和多假設預測，ITU-T SG16 WP3的視頻編碼聯合協作組（JCT-VC）和ISO/IEC JTC 1/ SC 29/WG11，第11 次會議：盧布爾雅那，SI，2018 年7 月10-18 日，文件：JVET-K1030），或JVET-L0100（Man-Shu Jiang 等人，CE10.1.1：多-改進AMVP模式、跳過或合併模式和幀內模式的假設預測，ITU-T SG16 WP3和ISO/IEC JTC 1/SC 29/WG11視頻編碼聯合協作組(JCT-VC)，第12次會議：澳門，中國，2018 年 10 月 3-12 日，文檔：JVET-L0100）。 成對平均合併候選（ Pairwise Averaged Merge Candidates ）
成對平均候選是通過對當前合併候選列表中的預定義候選對進行平均來生成的，預定義對定義為{(0, 1), (0, 2), (1, 2), (0, 3), (1, 3), (2, 3)}，其中數字表示合併候選列表的合併索引。為每個參考列表單獨計算平均運動矢量。如果兩個運動矢量都在一個列表中可用，則即使這兩個運動矢量指向不同的參考圖片，也會對其進行平均；如果只有一個運動向量，則直接使用；如果沒有可用的運動矢量，則將此列表視為無效。 合併模式
為了提高HEVC中運動矢量(MV)編碼的編碼效率，HEVC具有跳過（Skip）和合併（Merge）模式。跳過和合併模式從空間相鄰塊（空間候選）或時間共置塊（時間候選）獲取運動信息。當PU處於跳過或合併模式時，不編碼運動信息，而是僅編碼所選候選的索引。對於跳過模式，殘餘信號被強制為零且不被編碼。在HEVC中，如果特定塊被編碼為跳過或合併，則用信號通知候選索引以指示候選集合中的哪個候選用於合併。每個合併的PU重用所選候選的MV、預測方向和參考圖片索引。
對於HEVC中HM-4.0中的合併模式，如第5圖所示，從A 0、A 1、B 0和B 1導出最多四個空間MV候選，從T BR或T CTR導出一個時間MV候選（首先使用T BR，如果T BR不可用，則使用T CTR代替）。請注意，如果四個空間MV候選中的任何一個不可用，則使用位置B 2來導出另一個MV候選作為替代。在四個空間MV候選者和一個時間MV候選者的推導過程之後，應用去除冗餘（pruning）來去除冗餘MV候選者。如果在去除冗餘之後，可用MV候選的數量小於5，則導出三種類型的附加候選並將其添加到候選集合（候選列表）中。編碼器根據率失真優化(RDO)決策，在跳過或合併模式的候選集合中選擇一個最終候選，並將索引傳輸到解碼器。
以下，我們將跳過和合併模式稱為“合併模式”。換句話說，當在下面的說明書中提到“合併模式”時，“合併模式”可以指跳過模式和合併模式兩者。 使用模板匹配對合併候選進行自適應重新排序 (ARMC-TM)
合併候選者根據使用模板匹配（template matching，TM）評估的成本自適應地重新排序。重新排序方法可以應用於常規合併模式、模板匹配（TM）合併模式和仿射合併模式（不包括SbTMVP候選）。對於TM合併模式，合併候選在細化過程之前被重新排序。
在構建合併候選列表之後，合併候選被劃分為多個子集合。對於常規合併模式和TM合併模式，子集合大小設置為5。對於仿射合併模式，子集合大小設置為3。每個子集合中的合併候選者根據基於模板匹配的成本值升序重新排序。對於ARMC-TM，如果子集合滿足以下2個條件，則跳過該子集合中的候選：（1）該子集合是最後一個子集合；(2)該子集合不是第一個子集合。為了簡化，最後一個子集合中的合併候選（但不是第一個子集合）不會重新排序。
合併候選者的模板匹配成本被測量為當前塊的模板的樣本與其對應的參考樣本之間的絕對差之和(SAD)。該模板包括與當前塊相鄰的一組重建樣本。通過合併候選的運動信息來定位模板的參考樣本。
當合併候選者利用雙向預測時，如第6圖所示，也通過雙向預測來生成合併候選者的模板的參考樣本。在第6圖中，塊612對應於當前圖片610中的當前塊。如圖所示，塊622和632分別對應於列表0和列表1中的參考圖片620和630中的參考塊。模板614和616用於當前塊612，模板624和626用於參考塊622，並且模板634和636用於參考塊632。運動矢量640、642和644是列表0合併候選，運動矢量650、652、654是列表1中的合併候選。
對於子塊大小等於Wsub×Hsub的基於子塊的合併候選，上述模板包括多個大小為Wsub×1的子模板，左側模板包括多個大小為1×Hsub的子模板。如第7圖所示，利用當前塊的第一行第一列的子塊的運動信息來推導每個子模板的參考樣本。在第7圖中，塊712對應於當前圖片710中的當前塊，並且塊722對應於參考圖片720中的並置塊。當前塊和並置塊中的每個小方塊對應於子塊。當前塊左側和頂部的點填充區域對應於當前塊的模板。邊界子塊被標記為從A到G。與每個子塊相關聯的箭頭對應於子塊的運動矢量。參考子塊（標記為Aref至Gref）根據與邊界子塊相關聯的運動矢量來定位。 通過模板匹配降低 MMVD 的複雜性
上述MMVD技術已被證明能夠提高編碼性能。然而，MMVD 技術也帶來了更高的複雜性。期望開發出在保持性能的同時降低複雜性的技術。在帶有模板匹配（TM）的MMVD的一些設計中，對於每個基本MV，它從S步長和D方向的總數S*D組合中選擇K個MVD候選。選擇基於TM成本，其中針對MMVD集合中的每個MMVD候選者（即MMVD集合中的每個候選成員）評估匹配成本。MMVD候選者的數量可能很大。因此，TM匹配成本評估可能導致高計算複雜度。此外，必須在解碼器側獲取大區域的參考樣本。因此，公開了解決此類問題的方法。
在一種方法中，TM僅應用於步長較小的候選者。也就是說，對於前S 0小步長，執行基於TM的重新排序，並保留最佳K 0候選者以供進一步選擇。對於其餘的S 1=S–S 0步長，它們與D方向的子集組合以形成另一個K 1候選，其中不執行TM。在一個實施例中，在CU級MMVD語法處，首先用信號發送一個標誌以指示其是否是小步長。如果是一小步長，則後續語法指示如何從K 0候選者中進行選擇；否則，以下語法指示如何從K 1候選中進行選擇。
在另一種方法中，TM僅應用於邊界框(bounding box)內。也就是說，對於邊界框內的MVD候選，執行基於TM的重新排序，並保留最佳K 0候選以供進一步選擇。對於其餘的MVD候選者，它們的步長和方向被單獨發出信號以形成另一個K 1候選者，其中不執行TM。在一個實施例中，在CU級MMVD語法處，首先用信號發送一個標誌以指示其是否使用TM來對K 0候選進行重新排序。如果使用TM，則後續語法指示如何從K 0候選中進行選擇；否則，後續語法指示如何從K 1候選中進行選擇。
上述任何MMVD方法都可以在編碼器和/或解碼器中實現。例如，任何所提出的方法可以在編碼器的幀間編碼模塊(例如，第1A圖中的幀間預測112)、運動補償模塊(例如，第1B圖中的MC 152)、合併候選導出模塊中實現。或者，所提出的方法中的任一個可以被實現為耦合到編碼器的幀間編碼模塊和/或運動補償模塊、解碼器的合併候選導出模塊的電路。 而幀間預測112和MC 152被示出為支持MMVD方法的獨立處理單元，它們可以對應於存儲在介質上的可執行軟體或軔體代碼，例如硬盤或閃存，用於CPU(中央處理單元)或可編程設備(例如數字信號處理器（DSP）或現場可編程門陣列（FPGA）。
第8圖示出了根據本發明實施例的利用MMVD的修改搜索位置的另一示例性視頻編解碼系統的流程圖。流程圖中所示的步驟可以被實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程序代碼。流程圖中所示的步驟還可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟810中接收與當前塊相關聯的輸入資料，其中輸入資料包括要在編碼器側編碼的當前塊的像素資料或者與要在解碼器側解碼的當前塊相關聯的預測殘差資料。在步驟820中，從當前塊的合併列表確定至少一個基本合併MV。在步驟830中，根據一步長集合和一方向集合，為所述至少一個基本合併MV確定一組擴展合併候選集合。其中擴展合併候選集合是通過向所述至少一個基本合併MV添加偏移量來確定的，並且其中偏移量對應於來自步長集合和方向集合的一對組合，其中至少一個步長集合和方向集合的組合被排除在擴展合併候選的部分集合外。在步驟840中，根據與候選者相關聯的模板匹配成本對擴展合併候選的部分集合中的候選者進行重新排序，並且其中每個模板匹配成本是在當前塊的一個或多個第一相鄰區域中的第一樣本與參考塊的一個或多個第二相鄰區域中的第二樣本之間測量的，其中參考塊是根據擴展合併候選的部分集合中的每個候選者定位的。在步驟850中，通過使用包括擴展合併候選的重新排序的部分集合的運動信息來對當前塊進行編碼或解碼。
所示流程圖旨在說明根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。
提供以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視頻壓縮芯片中的一個或多個電路電路或者集成到視頻壓縮軟體中的程序代碼以執行這裡描述的處理。本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。 這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或軔體代碼來執行根據本發明的特定任務。軟體代碼或軔體代碼可以以不同的編程語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟體代碼。 然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。
在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。 所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附權利要求而不是由前述描述來指示。落入權利要求等同物的含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 130:環路濾波器 124:反量化（IQ） 126:反變換（IT） 128:重建(REC) 136:預測資料 134:參考圖片緩衝器 140:熵解碼器 150:幀內預測 152:運動補償 212、210、222、220:塊 310:當前幀 312:當前塊 320 L0:參考幀 330 L1:參考幀 350、352、354:位置 342、344:線 410 L0:參考塊 420 L1:參考塊 412、422:起始點 612、622、632、712、722:塊 610、710:當前圖片 620、630、720:參考圖片 614、616、624、626、634、636:模板 640、642、644、650、652、654:運動矢量 810-850:步驟
第1A圖示出了結合循環處理的示例性自適應幀間/幀內視頻編碼系統。 第1B圖示出了第1A圖中的編碼器的相應解碼器。 第2圖示出了當前圖片參考（Current Picture Referencing，CPR）補償的示例，其中通過同一圖片中的對應塊來預測塊。 第3圖示出了MMVD搜索處理的示例，其中通過使用L0參考幀和L1參考幀的雙向預測來處理當前幀中的當前塊。 第4圖示出了根據MMVD的L0參考塊和L1參考塊在水平和垂直方向上的偏移距離。 第5圖示出了從空間和時間相鄰塊導出合併模式候選的示例。 第6圖示出了用於當前塊和相應參考塊以測量與合併候選相關聯的匹配成本的模板的示例。 第7圖示出了使用當前塊的子塊的運動信息的具有子塊運動的塊的模板和參考樣本的示例。 第8圖示出了根據本發明實施例的利用複雜度降低的MMVD的示例性視頻編碼系統的流程圖。
810-850:步驟

Claims (18)

  1. 一種採用合併運動矢量差（MMVD）模式的視頻編解碼方法，該方法包括： 接收與當前塊相關的輸入資料，其中，所述輸入資料包括編碼器側待編碼的所述當前塊的像素資料或解碼器側待解碼的所述當前塊相關的已編碼資料； 從所述當前塊的合併列表中確定至少一個基本合併運動向量(MV)； 根據一步長集合和一方向集合確定所述至少一個基本合併MV的擴展合併候選集合，其中通過向所述至少一個基本合併MV添加偏移量來確定所述擴展合併候選集合，並且其中所述偏移量對應於一隊來自所述步長集合和所述方向集合的組合，其中所述步長集合和所述方向集合的至少一個組合被排除在所述擴展合併候選的部分集合外； 根據與候選者相關聯的模板匹配成本對所述擴展合併候選的部分集中的候選者進行重新排序，並且其中每個模板匹配成本是在所述當前塊的一個或多個第一相鄰區域中的第一樣本與參考塊的一個或多個第二相鄰區域的第二樣本之間測量的，其中所述參考塊是根據所述擴展合併候選的部分集合中的每個候選者定位的；以及 通過使用包括所述擴展合併候選的重新排序的部分集合的運動信息來對所述當前塊進行編碼或解碼。
  2. 如請求項1所述的方法，其中所述擴展合併候選的部分集合是根據來自受限步長集合和所述方向集合的一對受限組合來生成的，並且其中所述受限步長集合是通過從所述步長集合排除至少一個成員步長來生成的。
  3. 如請求項1所述的方法，其中通過將所述擴展合併候選集合限制在邊界框內以排除所述擴展合併候選集合中的至少一個擴展合併候選來生成所述擴展合併候選的部分集合。
  4. 如請求項1所述的方法，其中在編碼單元（CU）級別中用信號發送或解析第一語法以指示所述擴展合併候選的部分集合是否用於所述當前塊。
  5. 如請求項4所述的方法，其中當所述第一語法指示所述擴展合併候選的部分集合用於所述當前塊時，在所述CU級別中用信號發送或解析第二語法以指示從所述當前塊的擴展合併候選的部分集合中選擇的目標候選者。
  6. 如請求項4所述的方法，其中，當所述擴展合併候選的部分集合不用於所述當前塊時，在CU級別中用信號發送或解析第二語法以指示從所述當前塊的剩餘候選集合中選擇的目標候選者，並且其中所述剩餘候選集合對應於屬於擴展合併候選集合但不在所述擴展合併候選的部分集合中的擴展合併候選。
  7. 如請求項1所述的方法，其中，所述當前塊的所述一個或多個第一相鄰區域包括所述當前塊的第一頂部相鄰區域和第一左相鄰區域，並且所述參考塊的所述一個或多個第二相鄰區域包括所述參考塊的第二頂部相鄰區域和第二左相鄰區域。
  8. 如請求項1所述的方法，其中針對所述當前塊生成所述當前塊的剩餘候選集合，並且其中所述剩餘候選集合對應於屬於所述擴展合併候選集合但不在所述部分擴展合併候選中的擴展合併候選。
  9. 如請求項8所述的方法，其中所述運動信息進一步包括所述剩餘候選集合，并且未使用與所述剩餘候選集合相關聯的模板匹配成本重新排序所述剩餘候選集合。
  10. 一種使用MMVD模式進行視頻編解碼的設備，該設備包括一個或多個電子器件或處理器，被佈置為： 接收與當前塊相關的輸入資料，其中，所述輸入資料包括在編碼器端與所述當前塊相關的待編碼的像素資料或者在解碼端與所述當前塊相關的待解碼的預測殘差資料； 從所述當前塊的合併列表中確定至少一個基本合併MV； 根據一步長集合和一方向集合確定所述至少一個基本合併MV的擴展合併候選集合，其中通過向所述至少一個基本合併MV添加偏移量來確定所述擴展合併候選集合，並且其中所述偏移量對應於來自所述步長集合和所述方向集合的一對組合，其中所述步長集合和所述方向集合的至少一個組合被排除在擴展合併候選的部分集合外； 根據與所述擴展合併候選的部分集合中的候選者相關聯的模板匹配成本對的所述擴展合併候選的部分集合中的候選者重新排序，並且其中每個模板匹配成本是在所述當前塊的一個或多個第一相鄰區域中的第一樣本與參考塊的一個或多個第二相鄰區域中的第二樣本之間測量的，所述參考塊是根據所述擴展合併候選的部分集合中的每個候選成員定位的；以及 通過使用包括重新排序的擴展合併候選的部分集合的運動信息來對所述當前塊進行編碼或解碼。
  11. 如請求項10所述的裝置，其中所述擴展合併候選的部分集合是根據來自受限步長集合和所述方向集合的一對受限組合來生成的，並且其中所述受限步長集合是通過排除所述步長集合中的至少一個成員步長來生成的。
  12. 如請求項10所述的裝置，其中通過將所述擴展合併候選集合限制在邊界框內以排除所述擴展合併候選集合中的至少一個擴展合併候選來生成所述擴展合併候選的部分集合。
  13. 如請求項10所述的裝置，其中在CU級別中用信號發送或解析第一語法以指示所述擴展合併候選的部分集合是否用於所述當前塊。
  14. 如請求項13所述的裝置，其中當所述第一語法指示所述擴展合併候選的部分集合用於所述當前塊時，在所述CU級別中用信號發送或解析第二語法以指示從所述當前塊的所述擴展合併候選的部分集合中選擇的目標候選者。
  15. 如請求項13所述的裝置，其中，當所述擴展合併候選的部分集合不用於所述當前塊時，在CU級別中用信號發送或解析第二語法以指示從所述當前塊的剩餘候選集合中選擇的目標候選者，並且其中所述剩餘候選集合對應於屬於擴展合併候選集合但不在所述擴展合併候選的部分集合中的擴展合併候選。
  16. 如請求項10所述的裝置，其中，所述當前塊的所述一個或多個第一相鄰區域包括所述當前塊的第一頂部相鄰區域和第一左相鄰區域，並且所述參考塊的所述一個或多個第二相鄰區域包括所述參考塊的第二頂部相鄰區域和第二左相鄰區域。
  17. 如請求項10所述的裝置，其中針對所述當前塊生成所述當前塊的剩餘候選集合，並且其中所述剩餘候選集合對應於屬於擴展合併候選集合但不在所述擴展合併候選的部分集合中的擴展合併候選。
  18. 如請求項17所述的裝置，其中所述運動信息進一步包括所述剩餘候選集合，并且未使用與所述剩餘候選集合相關聯的模板匹配成本重新排序所述剩餘候選集合。
TW112116015A 2022-04-29 2023-04-28 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置 TW202349959A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263336388P 2022-04-29 2022-04-29
US63/336,388 2022-04-29
WOPCT/CN2023/091793 2023-04-28
PCT/CN2023/091793 WO2023208224A1 (en) 2022-04-29 2023-04-28 Method and apparatus for complexity reduction of video coding using merge with mvd mode

Publications (1)

Publication Number Publication Date
TW202349959A true TW202349959A (zh) 2023-12-16

Family

ID=88517956

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112116015A TW202349959A (zh) 2022-04-29 2023-04-28 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置

Country Status (2)

Country Link
TW (1) TW202349959A (zh)
WO (1) WO2023208224A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701393B2 (en) * 2017-05-10 2020-06-30 Mediatek Inc. Method and apparatus of reordering motion vector prediction candidate set for video coding
US10893291B2 (en) * 2018-09-28 2021-01-12 Qualcomm Incorporated Ultimate motion vector expression with adaptive directional information set
RU2768377C1 (ru) * 2018-11-16 2022-03-24 МедиаТек Инк. Способ и устройство для видеокодирования c использованием улучшенного режима слияния с разностью векторов движения
WO2020141928A1 (ko) * 2019-01-04 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 mmvd 에 따른 예측에 기반한 영상 디코딩 방법 및 장치

Also Published As

Publication number Publication date
WO2023208224A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
TWI700922B (zh) 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
US11089323B2 (en) Method and apparatus of current picture referencing for video coding
CN113170191B (zh) 视频编解码的预测方法以及预测装置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TW202007167A (zh) 視訊編解碼中受約束的重疊塊運動補償的方法及裝置
TW202002628A (zh) 視訊編解碼系統中具有obmc的視訊處理方法及裝置
TWI738248B (zh) 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
CN112840645A (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
TW202029773A (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
TW202329694A (zh) 視訊編解碼方法及裝置
TW202349959A (zh) 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置
TWI822567B (zh) 用於使用移動向量差值之合併模式的視訊編碼之方法和裝置
WO2023208220A1 (en) Method and apparatus for reordering candidates of merge with mvd mode in video coding systems
TW202349962A (zh) 使用具有運動向量差的合併模式的視訊編解碼方法和裝置
TWI830334B (zh) 視頻編解碼系統中低延遲模板匹配的方法和裝置
TW202410696A (zh) 使用合併ｍｖｄ模式降低視頻編碼複雜性的方法和裝置
TWI836563B (zh) 視訊編解碼方法和裝置
WO2023222016A1 (en) Method and apparatus for complexity reduction of video coding using merge with mvd mode
RU2795830C2 (ru) Способ и устройство для видеокодирования c использованием улучшенного режима слияния с разностью векторов движения
WO2024016844A1 (en) Method and apparatus using affine motion estimation with control-point motion vector refinement
WO2024088048A1 (en) Method and apparatus of sign prediction for block vector difference in intra block copy
CN116456110A (zh) 视频编解码方法及装置
TW202402059A (zh) 視訊編解碼方法和裝置
CN117337566A (zh) 用于视频处理的方法、设备和介质
TW202337214A (zh) 用於視頻編解碼的仿射編碼塊導出合併候選的方法和裝置