TWI822567B - 用於使用移動向量差值之合併模式的視訊編碼之方法和裝置 - Google Patents

用於使用移動向量差值之合併模式的視訊編碼之方法和裝置 Download PDF

Info

Publication number
TWI822567B
TWI822567B TW112102681A TW112102681A TWI822567B TW I822567 B TWI822567 B TW I822567B TW 112102681 A TW112102681 A TW 112102681A TW 112102681 A TW112102681 A TW 112102681A TW I822567 B TWI822567 B TW I822567B
Authority
TW
Taiwan
Prior art keywords
base point
search
modified
merging
mvs
Prior art date
Application number
TW112102681A
Other languages
English (en)
Other versions
TW202337216A (zh
Inventor
邱世鈞
徐志瑋
陳慶曄
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202337216A publication Critical patent/TW202337216A/zh
Application granted granted Critical
Publication of TWI822567B publication Critical patent/TWI822567B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種使用MMVD模式進行視訊編解碼的方法和裝置。根據該方法，為當前塊確定來自合併列表的兩個或更多個基點合併MV。如果所述兩個或更多個基點合併MV中的至少一個接近所述兩個或更多個基點合併 MV的另一個基點MV，則使用一組修改的搜索位置為兩個或更多個基點合併MV中的至少一個確定修改的擴展合併候選，其中標稱組搜索位置包括在目標基點合併 MV 周圍的一個或多個定義的方向的一組標稱距離處。使用包括經修改的擴展的合併候選的運動資訊來編碼或解碼當前塊。

Description

用於使用移動向量差值之合併模式的視訊編碼之方法和裝置
本發明涉及使用運動矢量差的合並模式(merge with MVD簡寫為MMVD)編解碼工具的視訊編解碼系統。更具體而言，本發明涉及搜索位置以增強與MMVD相關聯的性能的設計。
通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準(MPEG)。該標準已作為ISO標準發布：ISO/IEC 23090-3：2021，Information technology-Coded representation of immersive media-Part 3：Versatile video coding，2021年2月發布。通過基於其前身HEVC(High Efficiency Video coding )，添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括3維(3D)視訊信號，發展處發展出VVC。
第1A圖說明瞭包含循環處理的示例性適應性幀間/幀內(adaptive Inter/Intra)視訊編解碼系統。對於幀內預測，預測資料是根據當前圖片(在後文中也稱為畫面)中先前編解碼的視訊資料導出的。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫為ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫為MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的 預測資料被提供給加法器116以形成預測誤差，也稱為殘差(residual)。預測誤差然後由變換(T)118和隨後的量化(Q)120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流將與輔助資訊(side information)(例如與幀內預測和幀間預測相關聯的運動和解碼模式)以及其他資訊(例如與應用於底層圖像區域(underlying image area)的環路濾波器相關聯的參數)一起打包。與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化(IQ)124和逆變換(IT)126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。
如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自REC 128的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊質量。例如，可以使用去塊濾波器(deblocking filter，簡寫為DF)、樣本適應性偏移(Sample Adaptive Offset，簡寫為SAO)和適應性環路濾波器(Adaptive Loop Filter，簡寫為ALF)。可能需要將環路濾波器資訊合並到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合並到位元流中。在第1A圖中，環路濾波器130在重建樣本被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼(HEVC)系統、VP8、VP9、H.264或VVC。
如第1B圖所示，除了變換118和量化120之外，解碼器可以使用與編碼器相似或相同的功能塊，因為解碼器只需要逆量化124和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼為量化的變換係數和需要的編解碼資訊(例如ILPF資訊、幀內預測資訊和幀間預測資訊)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償(MC 152)而無需運動估計。
根據VVC，與HEVC類似輸入圖片被分區(partition)為稱為CTU(編解碼樹單元)的非重疊方形塊區域。每個CTU可以劃分為一個或多個更小的編解碼單元(CU)。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元(PU)，作為應用預測處理的單元，例如幀間預測、幀內預測等。
VVC標準結合了各種新的編解碼工具，以進一步在HEVC標準基礎上提高編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。例如，使用運動向量差的合併模式(Merge Mode with MVD，簡寫為MMVD)技術重新使用與VVC中相同的合併候選，並且可以通過運動向量表達方法進一步擴展所選候選。期望開發技術以進一步改進MMVD。
公開了一種使用MMVD(Merge with MVD(Motion Vector Difference))模式進行視訊編解碼的方法和裝置。根據該方法，接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側與待解碼的當前塊相關聯的已編碼資料。為當前塊確定來自合併列表的兩個或更多基點合併(base merge)運動向量(Motion Vector，簡寫為MV)。如果所述兩個或更多個基點合併MV中的所述至少一個接近所述兩個或更 多個基點合併MV中的另一個基點MV，則使用一組修改的搜索位置為所述兩個或更多個基點合併MV中的至少一個確定修改的擴展合併候選，其中至少一個搜索位置在標稱組搜索位置和修改後的一組搜索位置之間不同，並且其中標稱組搜索位置包括在目標基點合併MV周圍的一個或多個定義的方向(defined direction)的一組標稱距離處。使用包括經修改的擴展的合併候選的運動資訊來編碼或解碼當前塊。
在一個實施例中，所述一個或多個定義的方向對應於水平方向、垂直方向或兩者。在一個實施例中，修改後的一組搜索位置包括在非水平和非垂直方向上的修改後的搜索位置。在一個實施例中，修改後的一組搜索位置包括具有與該組標稱距離不同的至少一個距離的修改後的搜索位置。在另一個實施例中，修改後的一組搜索位置對應於一組修改後的距離，該組修改後的距離是根據所述兩個或更多個基點合併MV中的所述至少一個的長度從該組標稱距離歸一化的。在又一實施例中，修改後的一組搜索位置包括在非水平和非垂直方向上的修改後的搜索位置，並且具有至少一個不同於該組標稱距離的距離。
在一個實施例中，當B個基點合併MV彼此接近時，從B個基點合併MV導出公共基點(common base)合併MV，並將修改後的一組搜索位置應用於公共基點合併MV，並且其中B是大於1的整數。在一個實施例中，修改後的一組搜索位置包括除了水平方向和垂直方向之外的至少一個方向。在另一個實施例中，修改後的一組搜索位置包括B組搜索方向。在一個實施例中，公共基點合併MV對應於所述B組基點合併MV的中點。在另一個實施例中，公共基點合併MV對應於具有最小基點索引的所述B組基點合併MV之一。
在一個實施例中，當第一基點合併MV接近第二基點合併MV時，第二基點合併MV的搜索方向依賴於第一基點合併MV。在一個實施例中 ，用於第二基點合併MV的修改後的一組搜索位置包括指向遠離第一基點合併MV的至少一個非水平和非垂直搜索方向。在另一個實施例中，用於第二基點合併MV的修改後的一組搜索位置包括全部指向遠離第一基點合併MV的兩個非水平和非垂直搜索方向、一個水平搜索方向和一個垂直搜索方向。
在一個實施例中，當第一基點合併MV接近第二基點合併MV時，第一基點合併MV的修改後的一組搜索位置使用分別平行於和垂直於線的修改後的搜索方向，其中該線連接第一個基點合併MV和第二個基點合併MV。在一個實施例中，用於第二基點合併MV的修改後的一組搜索位置使用旋轉的搜索方向，其中旋轉的搜索方向是通過旋轉修改的搜索方向形成的。
在一個實施例中，當兩個基點合併MV之間的距離較小時，將偏移量添加到兩個基點合併MV之一以生成新的基點合併MV，使得距離足夠大。
在另一個實施例中，當兩個基點合併MV之間的距離不夠大時，兩個基點合併MV中的一個被另一個基點合併MV替換。
110:幀內預測
112:幀間預測
114:開關
116:加法器
118:變換
120:量化
122:熵編碼器
130:環路濾波器
124:逆量化
126:逆變換
128:重建
134:參考圖片緩衝器
136:預測資料
140:熵解碼器
150:幀內預測
152:MC
210、212、220、222:塊
310:當前幀
312:當前塊
320、330:參考幀
350、352、354:像素位置
410、420:參考塊
412、422:起點
610、620、630、640:搜索位置
612、622、632、642:橢圓
710:搜索位置簇
710、720、730:等高線
732:公共基點bc
810~816、910~940:搜索方向
1010~1040:步驟
第1A圖說明了包含循環處理的示例性適應性幀間/幀內視訊編解碼系統。
第1B圖圖示了第1A圖中的編碼器的相應解碼器。
第2圖圖示了當前圖片參考(Current Picture Referencing，簡寫為CPR)補償的示例，其中塊由相同圖片中的對應塊預測。
第3圖圖示了使用運動向量差的合併模式(MMVD)搜索過程的示例，其中使用L0參考幀和L1參考幀通過雙向預測來處理當前幀中的當前塊。
第4圖示出了根據MMVD的L0參考塊410和L1參考塊在水平和垂直方向上的偏 移距離。
第5圖圖示了從空間和時間鄰域塊(neighboring block)導出合併模式候選的示例。
第6A圖示出了根據本發明的一個實施例的當兩個基點在水平方向上接近時針對兩個基點之一的修改的搜索位置的示例，其中修改的搜索位置包括傾斜向下的搜索方向。
第6B圖示出了根據本發明的一個實施例的當兩個基點在垂直方向上接近時針對兩個基點之一的修改的搜索位置的示例，其中修改的搜索位置包括向右傾斜的搜索方向。
第7A圖示出了根據傳統MMVD的四個基點的搜索位置的示例，其中三個基點彼此靠近。
第7B圖示出了根據本發明實施例的四個基點的搜索位置的示例，其中三個基點彼此靠近，其中MMVD搜索位置基於從三個定位靠近的基點導出的公共基點。
第8A圖示出了根據傳統MMVD的搜索位置的示例，其中分別從基點b0和b1沿著垂直和水平方向執行搜索。
第8B圖示出了根據本發明實施例的搜索位置的示例，其中第二基點的搜索位置取決於相對於第一基點的相對位置。
第9A圖示出了根據傳統MMVD的搜索位置的示例，其中分別從基點b0和b1沿著垂直和水平方向執行搜索。
第9B圖示出了根據本發明實施例的搜索位置的示例，其中對於第一基點的搜索方向包括平行於(b1-b0)的方向以及垂直於(b1-b0)的方向，而第二基點的搜索方向從第一基點的搜索方向旋轉。
第10圖圖示了根據本發明的實施例的利用針對MMVD的修改的搜索位置的另一示例性視訊編解碼系統的流程圖。
容易理解的是，如本文附圖中大體描述和圖示的本發明的元件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。貫穿本說明書對“一實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一實施例中”或“在一個實施例中”不一定都指代相同的實施例。
此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、元件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作詳細描述以避免模糊本發明的方面。參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數位表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。
當前圖片參考(Current Picture Referencing)
運動補償是混合視訊編解碼中的關鍵技術之一，它探索相鄰圖片之間的像素相關性。通常假設，在視訊序列中，與幀中的對象或背景相對應的圖案(pattern)被移位以形成後續幀中的對應對象或與當前幀中的其他圖案相關聯。通過對這種位移的估計(例如使用塊匹配技術)，可以在不需要重新編解碼圖案的情況下大部分地再現圖案。類似地，也嘗試了塊匹配和復制以允許從與當前塊相同的圖片中選擇參考塊。將此概念應用於相機捕獲的視訊時，觀察到效率低下。部分原因是空間相鄰區域中的文本圖案(textual圖案)可能與當前編解碼塊相似，但通常在空間上有一些逐漸變化。一個塊很難在攝像頭拍攝 的視訊中的同一張圖片中找到完全匹配的。因此，編解碼性能的提高是有限的。
然而，對於屏幕內容，同一圖片內的像素之間的空間相關性情況是不同的。對於的帶有文字和圖形的典型視訊，通常在同一張圖片中有重複的圖案。因此，已經觀察到幀(圖片)內塊補償非常有效。一種新的預測模式，即幀內塊複製(intra block copy，簡寫為IBC)模式或稱為當前圖片參考(CPR)，已被引入屏幕內容編解碼以利用此特性。在CPR模式中，預測單元(PU)是從同一圖片內先前重建的塊中預測出來的。此外，位移向量(稱為塊向量(block vector)或BV)用於指示從當前塊的位置到參考塊的位置的相對位移。然後使用變換、量化和熵編解碼對預測誤差進行編解碼。CPR補償的示例如第2圖所示，其中塊212是塊210的對應塊，塊222是塊220的對應塊。在該技術中參考樣本對應於環路濾波操作(HEVC中的去塊以及採樣適應性偏移(SAO)濾波)之前當前解碼的圖片的重建樣本。
CPR的第一個版本在JCTVC-M0350中提出(Budagavi等人，AHG8：Video coding using Intra motion compensation，ITU-T SG16 WP3和ISO/IEC JTC 1/SC 29/WG11的視訊編碼聯合協作組(JCT-VC)，第13次會議：韓國仁川，2013年4月18-26日，文件：JCTVC-M0350)到HEVC範圍擴展(RExt)開發。在這個版本中，CPR補償被限制在一個小的局部區域內，只有1-D塊向量並且僅適用於2Nx2N的塊大小。後來，在HEVC SCC(Screen Content Coding)的標準化過程中，開發出了更先進的CPR設計。
當使用CPR時，只有當前圖片的一部分可以用作參考圖片。施加了一些位元流一致性約束來調節參考當前圖片的有效MV值。首先，以下兩項中的一項必須為真：BV_x+offsetX+nPbSw+xPbs-xCbs<=0 (1)
BV_y+offsetY+nPbSh+yPbs-yCbs<=0 (2)
其次，下方WPP條件必須為真：(xPbs+BV_x+offsetX+nPbSw-1)/CtbSizeY-xCbs/CtbSizeY<=yCbs/CtbSizeY-(yPbs+BV_y+offsetY+nPbSh-1)/CtbSizeY (3)
在方程式(1)到(3)中，(BV_x，BV_y)是當前PU的亮度塊向量(CPR的運動向量)；nPbSw和nPbSh是當前PU的寬高；(xPbS,yPbs)是當前PU的左上角像素相對於當前圖片的位置；(xCbs,yCbs)為當前CU左上角像素相對於當前圖片的位置；CtbSizeY是CTU的大小。OffsetX和offsetY是考慮到CPR模式的色度樣本插值的兩個二維調整的偏移量。
offsetX=BVC_x & 0x7？2：0 (4)
offsetY=BVC_y & 0x7？2：0 (5)
(BVC_x，BVC_y)是色度塊向量，在HEVC中為1/8像素分辨率。
第三，用於CPR的參考塊必須在相同的圖塊/切片邊界內。
具有MVD的合併模式(MMVD)技術
在JVECT-J0024中提出了MMVD技術。MMVD用於採用建議的運動向量表達方法的跳過(skip)或合併模式。MMVD重新使用與VVC中相同的合併候選。在合併候選中，可以選擇一個候選，並通過所提出的運動向量表達方法進一步擴展。MMVD提供了一種具有簡化的傳訊的新的運動向量表達。表達方式包括預測方向資訊、起始點(本發明中也稱為基點)、運動幅度(本發明中也稱為距離)和運動方向。第3圖圖示了MMVD搜索過程的示例，其中當前幀310中的當前塊312通過使用L0參考幀320和L1參考幀330的雙向預測來處理。像素位置350被投影到L0參考幀320中的像素位置352和 L1參考幀330中的像素位置354。根據MMVD搜索過程，將通過在所選方向上添加偏移來搜索更新的位置。例如，更新後的位置對應於水平方向上沿線342或344，距離為s、2s或3s的位置。
該提議的技術按已有的方式使用合併候選列表。但是，只有默認合併類型(即MRG_TYPE_DEFAULT_N)的候選才會被考慮用於MMVD的擴展。預測方向資訊表示L0、L1以及L0和L1預測中的預測方向。在B切片中，所提出的方法可以通過使用鏡像技術從具有單向預測的合併候選中生成雙向預測候選。例如，如果合併候選是L1的單向預測，則通過在列表0中搜索參考圖片來確定L0的參考索引，該參考圖片與列表1的參考圖片鏡像。如果沒有對應的圖片，則使用當前圖片的最近的參考圖片。L0的MV是通過縮放L1的MV得出的，縮放因子由POC距離計算得出。
在MMVD中，在選擇了合併候選之後，通過用傳訊的MVD資訊進一步擴展或細化它。進一步的資訊包括合併候選標誌、用於指定運動幅度的索引和用於指示運動方向的索引。在MMVD模式中，選擇合併列表中前兩個候選之一作為MV基點。傳訊MMVD候選標誌以指定在第一和第二合併候選之間使用哪一個。從合併候選列表中選擇的初始MV(即，合併候選)在本公開中也被稱為基點。在搜索該組位置之後，所選擇的MV候選在本公開中被稱為擴展的MV候選。
如果MMVD候選的預測方向與原始合併候選之一相同，則傳訊具有值0的索引作為MMVD預測方向。否則，傳訊值為1的索引。發送第一個位元後，剩餘的預測方向將根據預定義的MMVD預測方向優先級順序傳訊。優先順序為L0/L1預測、L0預測和L1預測。如果合併候選的預測方向是L1，傳訊'0'表示MMVD的預測方向為L1。傳訊“10”表示MMVD的預測方向為L0和L1。傳訊“11”表示MMVD的預測方向為L0。如果L0和L1預測列表 相同，則不發送MMVD的預測方向資訊。
如表1所示，基點候選索引(base candidate index)定義了起始點。基點候選索引表示列表中候選中的最佳候選，如下所示。
Figure 112102681-A0305-02-0013-2
距離索引指定運動幅度資訊並且指示從L0參考塊410和L1參考塊420的起點(412和422)的預定義偏移，如第4圖所示。在第4圖中，偏移添加到起始MV的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定義偏移量之間的關係在表2中指定。
Figure 112102681-A0305-02-0013-3
方向索引表示MVD相對於起始點的方向。方向索引可以表示四個方向，如下所示。方向索引表示MVD相對於起點的方向。方向索引可以表示如表3所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的資訊而變化。當起始MV是單向預測MV或兩個列表都指向當前圖片的同一側(即兩個參考的POC均大於當前圖片的POC，或均小於當前圖片的POC)的雙向預測MV，表3中的符號指定添加到起始MV的MV偏移量的正負符號。當起始MV是兩個MV指向當前圖片的不同側的雙向預測MV(即一個參考的POC大於當前圖片的POC，另一個參考的POC小於當前圖片 的POC)，並且list 0中POC的差異大於list 1中的POC的差異，表3中描述添加到起始MV的list0 MV分量的MV偏移量的正負符號，且與listl MV添加MV偏移量的正負符號有相反的值。否則，如果list 1中的POC的差異大於list 0的差異，則表3中描述添加到起始MV的listl MV分量的MV偏移量的正負符號，且與list0 MV添加MV偏移量的正負符號有相反的值。
Figure 112102681-A0305-02-0014-4
為了降低編碼器複雜度，應用塊限制。如果CU的寬度或高度小於4，則不執行MMVD。
多假設預測(Multi-Hypothesis Prediction，簡寫為MH)技術
提出多假設預測以改進現有的幀間圖片中預測模式，包括高級運動向量預測(AMVP)模式的單向預測、跳過和合併模式以及幀內模式。一般概念是將現有的預測模式與額外的合併索引預測(merge indexed prediction)相結合。合併索引預測以與常規合併模式相同的方式執行，其中傳訊合併索引以獲取用於運動補償的預測(motion compensated prediction)的運動資訊。最終預測是合併索引預測和現有預測模式生成的預測的加權平均，其中根據組合應用不同的權重。詳細資訊可以在JVET-K1030(Chih-Wei Hsu等人，Description of Core Experiment 10：Combined and multi-hypothesis prediction,ITU-T SG16 WP3和ISO/IEC JTC 1/SC 29/WG11視訊編解碼聯合協作組(JCT-VC)，第11次會議：盧布爾雅那，SI，2018年7月10-18日，文件：JVET-K1030)或JVET-L0100中找到(Man-Shu Chiang等人，CE10.1.1：Multi-hypothesis prediction for improving AMVP mode,skip or merge mode,and intra mode，ITU-T SG16 WP3和ISO/IEC JTC 1/SC 29/WG11視訊編碼聯合協作組(JCT-VC)，第12次會議：澳門，CN,2018年10月3-12日，文件：JVET-L0100)。
成對平均合併候選(Pairwise Averaged Merge Candidates)
成對平均候選是通過對當前合併候選列表中的預定義候選對進行平均來生成的，並且預定義對被定義為{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，其中數字表示合併候選列表的合併索引。為每個參考列表分別計算平均運動向量。如果兩個運動向量在一個列表中可用，則即使這兩個運動向量指向不同的參考圖片，也會對其進行平均；如果只有一個運動向量可用，則直接使用一個；如果沒有可用的運動向量，則將此列表視為無效。
合併模式
為了提高HEVC中運動向量(MV)編解碼的編解碼效率，HEVC具有跳過和合併模式。跳過和合併模式從空間上相鄰的塊(空間候選)或時間上的同位(co-located)塊(時間候選)中獲取運動資訊。當PU為跳過或合併模式時，不對運動資訊進行編解碼，而是僅對所選候選的索引進行編解碼。對於跳過模式，殘差訊號被強制為零且不被編解碼。在HEVC中，如果特定塊被編碼為跳過或合併，則傳訊候選索引以指示候選集中的哪個候選用於合併。每個合併的PU重新使用所選候選的MV、預測方向和參考圖片索引。
對於HEVC中HM-4.0中的合併模式，如第5圖所示，從A0、A1、B0和B1導出最多四個空間MV候選，並且從TBR或TCTR(TBR首先使用，如果TBR不可用，則使用TCTR)導出一個時間MV。請注意，如果四個空間MV候選中的任何一個不可用，則位置B2將用於導出另一個MV候選作為替代。在四個空間MV候选和一個時間MV候選的推導過程之後，應用去除冗餘(修剪)來去除冗餘MV候選。如果在去除冗餘(修剪)之後，可用 的MV候選的數量小於五個，則導出三種額外的候選並添加到候選集(候選列表)中。編碼器根據速率失真優化(rate-distortion optimization，簡寫為RDO)決策在候選集中為跳過或合併模式選擇一個最終候選，並將索引傳輸給解碼器。
在下文中，我們將跳過和合併模式表示為“合併模式”。換句話說，當在以下說明書中提到“合併模式”時，“合併模式”可以指跳過和合併模式。
MMVD中的適應性MVD距離和方向
在當前的MMVD設計中，對於每個基點，使用相同的距離和方向組合生成MVD候選。但是，如果有兩個基點彼此靠近，對兩個基點應用相同的MVD會導致兩個相似的運動向量，這可能是冗餘的。本發明公開了通過考慮基點之間的差異以及針對每個基點適應性地改變距離、方向或兩者來減少此類相似候選的方法。根據常規MMVD的一組搜索位置合在本公開中被稱為標稱組搜索位置。根據常規MMVD的一組搜索距離集合在本公開中被稱為標稱組搜索距離。
第一種方法在第6A-B圖中示出給定兩個基點b0=(xb0,yb0)和b1=(xb1,yb1)，考慮兩個基點基數b0-b1的差異。如果x差異足夠小(如第6A圖所示)，這意味著搜索垂直方向可能是多餘的。因此，本發明的實施例搜索b1的其他方向(例如，對角線方向)而不是垂直方向。在第6A圖中，左側的搜索位置610對應於傳統的MMVD搜索。與由橢圓612包圍的基點b1相關聯的搜索位置(在第6A圖的左側顯示為“x”)可能是冗餘的，因為它們與和基點b0相關聯搜索位置(在第6A圖的左側顯示為圓圈)的位置非常接近。在第6A圖的右側，示出了根據本發明的一個實施例的搜索，其中搜索方向是對角線並且新的搜索位置620由橢圓622指示。類似地，如果y差足夠小(如第6B圖所示)，尋找其他方向(例如對角線方向)而不是b1的水平方向。在第6B圖中，左側的搜索位置630對應於傳統的MMVD搜索。與由橢圓632包圍的基點b1相關聯 的搜索位置(在第6B圖的左側顯示為“x”)可能是冗餘的，因為它們與和基點b0相關聯搜索位置(在第6B圖的左側顯示為圓圈)的位置非常接近。在第6B圖的右側，示出了根據本發明的一個實施例的搜索位置640，其中搜索方向是對角線並且新的搜索位置由橢圓642指示。如果x和y差異都不夠小，由於可能沒有多餘的候選，沒有進行任何更改。如上所述，本發明修改標稱搜索位置以避免搜索位置中的冗餘。換句話說，本發明的實施例使用一組修改的搜索位置用於MMVD。雖然傳統的MMVD總是在水平方向和垂直方向上搜索，但是如第6A圖和第6B圖所示的實施例使用包括非水平和非垂直方向的一組修改的搜索位置。
在另一種方法中，給定一個以上的基點，如果基點中的B個足夠接近，其中B是大於1的整數，則使用這B個基點定義一個公共基點bc，並基於該公共基點搜索B組不同的方向，而不是基於B個不同的基點搜索一組方向。公共基點可以是最小基點索引對應的基點，也可以是B個基點的中點。在這樣的修改後，保證了B個基點生成的候選不重複。對於其他基點，沒有做任何改變。示例如第7A-B圖，存在四個基點(即b0、b1、b2和b3)，數字B等於三(即b0、b1和b2)。第7A圖圖示了基於傳統MMVD的搜索位置，其中與基點b0、b1和b2相關聯的搜索位置(由等高線710指示)集中在搜索位置簇710的中心附近，而與基點b3相關聯的搜索位置(由等高線720指示)與搜索位置簇710完全分開。第7B圖圖示了根據本發明的實施例的搜索位置。在第7B圖中，公共基點bc 732是三個基點(即b0、b1和b2)的中點。如第7B圖所示，根據本發明的搜索位置(由等高線730指示)展開以覆蓋更大的區域。
在另一種方法中，給定兩個基點b0和b1，我們總是沿水平和垂直方向生成b0的候選。b1的方向由b1相對於b0的位置決定。第8A圖示出了根據傳統MMVD的搜索位置的示例，其中分別從基點b0和b1沿著垂直和 水平方向執行搜索。在第8A圖的例子中，基點b1位於b0的第一象限。根據本發明的一個實施例，如第8B圖所示，在第一象限中沿指向遠離基b0的方向(810、812、814和816)生成b1的搜索候選，以防止冗餘候選。四個搜索方向(810、812、814和816)包括兩個非水平和非垂直搜索方向，一個水平搜索方向和一個垂直搜索方向，均指向遠離第一基點合併MV的方向。如第8B圖所示，b1的搜索位置與b0的搜索位置完全分開。
在另一種方法中，給定兩個基點b0和b1，沿著與b1-b0的方向平行或垂直的方向生成b0的搜索候選。第9A圖示出了根據傳統MMVD的搜索位置的示例，其中分別從基點b0和b1沿著垂直和水平方向執行搜索。在第9B圖中，搜索方向910平行於b1-b0的方向並且搜索方向920垂直於b1-b0的方向。通過旋轉b0的方向來確定b1的方向(930和940)。
如果多個基點彼此靠近，除了在其他方向上搜索之外，在不同距離上搜索也會產生具有較少冗餘的候選。在當前的MMVD中，距離是距離表(表2){1/4,1/2,1,2,4,8,16,32}中的值之一。在本發明的一個實施例中，如果兩個基點彼此接近，則一個基點按照原始距離表生成候選，而另一個基點使用新的距離表，例如{3/4，3/2,3,6,12,24,48,96}生成候選，以防止重複候選。
在另一種方法中，基點的距離表通過與基點長度相關的因子(即，MV的幅度)歸一化。潛在的假設是具有較大長度的基點往往具有較大的MVD。因此，距離表應相應更改。
此外，所提出的適應性地改變方向的方法可以與所提出的適應性地改變距離的方法相結合。
除了適應性地改變方向或距離之外，向基點生成過程添加約束也可以防止冗餘MMVD候選。在一個實施例中，約束對應於以下情況：任何兩個基點之間的距離應該足夠大(例如大於閾值)。如果兩個現有的基點不滿足 約束，其中一個應該被刪除或替換為另一個滿足約束的MVP。在另一個實施例中，如果兩個基點之間的距離在一個方向上足夠小，則向其中一個或兩個基點添加一個偏移量以保持它們分開。
上述任何MMVD方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在編碼器的幀間編解碼模組(例如第1A圖中的幀間預測112)、運動補償模組(例如第1B圖中的MC 152)、解碼器模組的合併候選推導中實現。或者，所提出的方法中的任何一個都可以實現為耦合到編碼器的幀間編解碼模組和/或運動補償模組、解碼器的合併候選推導模組的電路。雖然幀間預測112和MC 152被示為支持MMVD方法的獨立處理單元，它們可能對應於存儲在媒體(例如硬盤或閃存)上的可執行軟體或韌體代碼，用於CPU(中央處理單元)或可程式化設備(例如DSP(數位訊號處理器)或FPGA(現場可程式化門陣列))。
第10圖圖示了根據本發明的實施例的利用針對MMVD的修改的搜索位置的另一示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程式代碼。流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1010中接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側待解碼的與當前塊相關聯的編碼資料。在步驟1020中從當前塊的合併列表中確定兩個或更多個基點合併MV。在步驟1030中，如果兩個或更多個基點合併MV中的至少一個接近所述兩個或更多個基點合併MV中的另一個基點MV，則使用一組修改的搜索位置為所述兩個或更多個基點合併MV中的所述至少一個確定修改的擴展合併候選，其中搜索位置的標稱組和搜索位置的修改組之間至少有一個搜索位置不同，並且其中搜索位置的標稱組包括 在圍繞目標基點合併MV周圍的一個或多個定義的方向的一組標稱距離處。在步驟1040中使用包括修改的擴展合併候選的運動資訊對當前塊進行編碼或解碼。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域具有通常知識者可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定句法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。
提供以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式碼以執行這裡描述的處理。本發明的實施例還可以是要在數位訊號處理器(DSP)上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或風格來開發。也可以為不同的目標平臺編譯軟體代碼。然而，軟體代 碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。
在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述來指示。落入申請專利範圍等同物的含義和範圍內的所有變化都應包含在其範圍內。
1010~1040：步驟

Claims (19)

  1. 一種採用MMVD模式進行視訊編解碼的方法，該方法包括： 接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的像素資料或解碼器側與待解碼的該當前塊相關聯的已編碼資料； 從該當前塊的合併列表中確定兩個或多個基點合併 MV（運動向量）； 如果該兩個或更多個基點合併MV中的至少一個接近該兩個或更多個基點合併MV中的另一個基點MV，則使用一組修改的搜索位置為該兩個或更多個基點合併MV中的該至少一個確定修改的擴展合併候選，其中至少一個搜索位置在標稱組搜索位置和該組修改的搜索位置之間不同，並且其中該標稱組搜索位置包括在目標基點合併 MV 周圍的一個或多個定義的方向的一組標稱距離處；以及 使用包括該修改的擴展合併候選的運動資訊對該當前塊進行編碼或解碼。
  2. 如請求項1所述之方法，其中，該一個或多個定義的方向對應於水平方向、垂直方向或兩者。
  3. 如請求項1所述之方法，其中，該組修改的搜索位置包括在非水平和非垂直方向上的修改後的搜索位置。
  4. 如請求項1所述之方法，其中，該組修改的搜索位置包括具有至少一個不同於該組標稱距離的距離的修改後的搜索位置。
  5. 如請求項4所述之方法，其中該組修改的搜索位置對應於根據該兩個或更多個基本合併MV中的該至少一個的長度從該組標稱距離歸一化的一組修改後的距離。
  6. 如請求項1所述之方法，其中，該組修改的搜索位置包括在非水平和非垂直方向上的修改的搜索位置，並且具有至少一個與該組標稱距離不同的距離。
  7. 如請求項1所述之方法，其中當B個基點合併MV彼此接近時，從該B個基點合併MV導出公共基點合併MV，並且將該組修改的搜索位置應用於該公共基點合併MV，並且其中B是大於1的整數。
  8. 如請求項7所述之方法，其中該組修改的搜索位置包括除了水平方向和垂直方向之外的至少一個方向。
  9. 如請求項7所述之方法，其中，該組修改的搜索位置包括B組搜索方向。
  10. 如請求項7所述之方法，其中，該公共基點合併MV對應於該B個基點合併MV的中點。
  11. 如請求項7所述之方法，其中，該公共基點合併MV對應於具有最小基點索引的該B個基點合併MV之一。
  12. 如請求項1所述之方法，其中當第一基點合併MV靠近第二基點合併MV時，該第二基點合併MV的搜索方向取決於相對於該第一基點合併MV的相對位置。
  13. 如請求項12所述之方法，其中用於該第二基點合併MV的該組修改的搜索位置包括指向遠離該第一基點合併MV的至少一個非水平和非垂直搜索方向。
  14. 如請求項13所述之方法，其中用於該第二基點合併MV的該組修改的搜索位置包括兩個非水平和非垂直搜索方向、一個水平搜索方向和一個垂直搜索方向，均指向遠離該第一基點合併MV的方向。
  15. 如請求項1所述之方法，其中當第一基點合併MV接近第二基點合併MV時，該第一基點合併MV的該組修改的搜索位置合分別使用平行於和垂直於線的修改的搜索方向，並且其中該線連接該第一基點合併MV和該第二基點合併MV。
  16. 如請求項15所述之方法，其中用於該第二基點合併MV的該組修改的搜索位置合使用旋轉的搜索方向，其中該旋轉的搜索方向是通過旋轉該修改的搜索方向形成的。
  17. 如請求項1所述之方法，其中當兩個基點合併MV之間的距離較小時，將偏移量添加到兩個基點合併MV之一以產生新的基點合併MV使得距離足夠大。
  18. 如請求項1所述之方法，其中當兩個基點合併MV之間的距離不夠大時，兩個基點合併MV之一被另一個基點合併MV替換。
  19. 一種使用MMVD模式進行視訊編解碼的裝置，其中通過在一個目標基點合併 MV（運動向量）周圍的一組標稱距離處在水平方向和垂直方向上搜索一組標稱搜索位置來導出一個目標擴展合併候選，該裝置包括一個或多個電子設備或處理器，用於： 接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的像素資料或解碼器側與待解碼的該當前塊相關聯的預測殘差資料； 從該當前塊的合併列表中確定兩個或多個基點合併 MV； 如果該兩個或更多基點合併MV中的至少一個接近該兩個或更多基點合併 MV的另一個基點MV，則使用一組修改的搜索位置為該兩個或更多基點合併MV的該至少一個確定修改的擴展合併候選，其中在該組標稱搜索位置和該組修改的搜索位置之間至少一個搜索位置是不同的；以及 使用包括該修改的擴展合併候選的運動資訊對該當前塊進行編碼或解碼。
TW112102681A 2022-01-28 2023-01-19 用於使用移動向量差值之合併模式的視訊編碼之方法和裝置 TWI822567B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263304010P 2022-01-28 2022-01-28
US63/304,010 2022-01-28
WOPCT/CN2023/072978 2023-01-18
PCT/CN2023/072978 WO2023143325A1 (en) 2022-01-28 2023-01-18 Method and apparatus for video coding using merge with mvd mode

Publications (2)

Publication Number Publication Date
TW202337216A TW202337216A (zh) 2023-09-16
TWI822567B true TWI822567B (zh) 2023-11-11

Family

ID=87470738

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112102681A TWI822567B (zh) 2022-01-28 2023-01-19 用於使用移動向量差值之合併模式的視訊編碼之方法和裝置

Country Status (2)

Country Link
TW (1) TWI822567B (zh)
WO (1) WO2023143325A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170191A (zh) * 2018-11-16 2021-07-23 联发科技股份有限公司 用于视频编码的运动向量差值改良式合并方法和装置
CN113228643A (zh) * 2018-12-28 2021-08-06 韩国电子通信研究院 图像编码/解码方法和设备以及用于存储比特流的记录介质
CN113366854A (zh) * 2019-02-09 2021-09-07 腾讯美国有限责任公司 视频编解码方法及装置
US20210337209A1 (en) * 2019-01-04 2021-10-28 Lg Electronics Inc. Method and apparatus for decoding image on basis of prediction based on mmvd in image coding system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170191A (zh) * 2018-11-16 2021-07-23 联发科技股份有限公司 用于视频编码的运动向量差值改良式合并方法和装置
CN113228643A (zh) * 2018-12-28 2021-08-06 韩国电子通信研究院 图像编码/解码方法和设备以及用于存储比特流的记录介质
US20210337209A1 (en) * 2019-01-04 2021-10-28 Lg Electronics Inc. Method and apparatus for decoding image on basis of prediction based on mmvd in image coding system
CN113366854A (zh) * 2019-02-09 2021-09-07 腾讯美国有限责任公司 视频编解码方法及装置

Also Published As

Publication number Publication date
TW202337216A (zh) 2023-09-16
WO2023143325A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
US11785207B2 (en) Apparatus of encoding or decoding video blocks by current picture referencing coding
US11089323B2 (en) Method and apparatus of current picture referencing for video coding
TWI737184B (zh) 幀内塊複製模式的合併列表生成的方法和裝置
TWI692973B (zh) 利用自適應運動向量解析度和子塊預測模式進行視訊編解碼的當前圖像參考的方法和裝置
CN113170191B (zh) 视频编解码的预测方法以及预测装置
JP2017130938A (ja) イントラブロックコピー検索と補償範囲の方法
US11924444B2 (en) Method and apparatus of subblock deblocking in video coding
TW202329694A (zh) 視訊編解碼方法及裝置
TWI822567B (zh) 用於使用移動向量差值之合併模式的視訊編碼之方法和裝置
TW202349959A (zh) 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置
TW202349963A (zh) 視訊編解碼系統中運動向量差的合併模式對候選進行重新排序的方法和裝置
TWI830334B (zh) 視頻編解碼系統中低延遲模板匹配的方法和裝置
TW202410696A (zh) 使用合併ｍｖｄ模式降低視頻編碼複雜性的方法和裝置
WO2023208189A1 (en) Method and apparatus for improvement of video coding using merge with mvd mode with template matching
TWI840243B (zh) 視訊編解碼方法和裝置
WO2023222016A1 (en) Method and apparatus for complexity reduction of video coding using merge with mvd mode
WO2024088048A1 (en) Method and apparatus of sign prediction for block vector difference in intra block copy
TW202402059A (zh) 視訊編解碼方法和裝置
TW202337214A (zh) 用於視頻編解碼的仿射編碼塊導出合併候選的方法和裝置
TW202341741A (zh) 視訊編解碼方法及相關裝置
CN116456110A (zh) 视频编解码方法及装置
TW202349944A (zh) 視頻編解碼系統中基於最可能模式列表構造的解碼器側模式推導的方法和裝置
CN117203959A (zh) 用于视频处理的方法、设备和介质
CN117426096A (zh) 用于视频处理的方法、设备和介质