TWI738248B - 運動細化以及子分區基礎填充的視訊處理的方法以及裝置 - Google Patents

運動細化以及子分區基礎填充的視訊處理的方法以及裝置 Download PDF

Info

Publication number
TWI738248B
TWI738248B TW109108461A TW109108461A TWI738248B TW I738248 B TWI738248 B TW I738248B TW 109108461 A TW109108461 A TW 109108461A TW 109108461 A TW109108461 A TW 109108461A TW I738248 B TWI738248 B TW I738248B
Authority
TW
Taiwan
Prior art keywords
sub
partition
current block
search
refinement
Prior art date
Application number
TW109108461A
Other languages
English (en)
Other versions
TW202038627A (zh
Inventor
林郁晟
陳俊嘉
徐志瑋
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202038627A publication Critical patent/TW202038627A/zh
Application granted granted Critical
Publication of TWI738248B publication Critical patent/TWI738248B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了藉由幀間預測編碼或解碼當前塊的示例性視訊處理方法以及裝置。接收當前塊的輸入資料並將其分割成多個子分區以及對每一子分區單獨地執行運動細化。根據一初始運動向量(MV)，從一個或多個參考圖像獲得每一子分區的參考塊。藉由用N像素細化搜索該初始MV周圍來導出每一子分區的一細化的MV。用於一子分區的參考塊的一個或多個邊界像素被填充用於該子分區的運動補償。根據其細化的MV，藉由執行每一子分區的運動補償生成該當前塊的最終預測子。然後根據該最終預測子編碼或解碼器該當前塊。

Description

運動細化以及子分區基礎填充的視訊處理的方法以及裝置
本發明涉及視訊編碼以及解碼系統中的視訊處理方法以及裝置。特別地，本發明涉及由具有運動細化(motion refinement)的幀間預測來編碼或解碼視訊資料。
高效視訊編解碼(HEVC)標準是由來自ITU-T研究小組的視訊編解碼專家的視訊編解碼聯合協作小組(JCT-VC)開發的最新視訊編解碼標準。HEVC標準改善其先前標準H.264/AVC的壓縮性能來滿足更高圖像解析度、更高幀率以及更好視訊品質的需求。
跳過(Skip)以及合併(Merge) 因為運動資訊是從空間或時間並位塊(collocated block)繼承的，HEVC中的跳過以及合併模式增加運動向量(MV)的編解碼效率。為了在跳過或合併模式中編解碼塊，僅表示從候選列表中選擇的最終合併候選的合併索引被發信，而不是發信運動資訊。由在跳過或合併模式中編解碼的塊再用的運動資訊包括MV、預測方向以及所選擇最終候選的參考圖像索引。注意到，如果所選擇的最終候選是時間運動候選，參考圖像索引總是被設置為0。當塊在合併模式中編解碼時，預測殘差被編解碼，然而，因為在跳過模式中編解碼的塊的殘差資料被強制為0，跳過模式進一步跳過發信預測殘 差。
第1圖示出了為HEVC標準中HM-4.0中跳過或合併模式中編解碼的當前預測單元(PU)10構造的合併候選列表。該合併候選列表包含與當前PU 10的多個相鄰塊相關的四個空間運動候選以及與當前PU 10的並位PU 12相關的一個時間運動候選。如第1圖所示，第一合併候選是左邊預測子A1 112、第二合併候選是上方預測子B1 114、第三合併候選是右上預測子B0 113以及第四合併候選是左下預測子A0 111。左上預測子B2 115被包括於合併候選列表來替換不可用的空間預測子。第五合併候選是第一可用時間預測子TBR 121以及TCTR 122的時間預測子。在導出四個空間運動候選以及一個時間運動候選後，應用一修剪(pruning)進程來移除任何冗餘運動候選。在該修剪進程後，如果可用運動候選的數目小於5，三種類型的額外候選被導出並被添加到該候選列表。基於如率失真優化(RDO)決定的運動向量競爭，編碼器從該候選列表中選擇一個最終候選用於跳過或合併模式中編解碼的每一PU，以及表示所選擇最終候選的索引被發信到解碼器。解碼器根據視訊位元流中傳輸的索引從候選列表中選擇相同的最終候選。因為跳過以及合併候選的導出是類似的，為了簡便，後文所引用的“合併”模式可以對應於合併模式以及跳過模式。
在即將到來的視訊編解碼標準通用視訊編解碼(versatile video coding，VVC)中，一些細化的幀間預測編解碼工具被提出來改善幀間預測編解碼效率。細化的幀間預測編解碼工具包括擴展的合併預測、具有運動向量差異的合併模式(MMVD)、具有對稱MVD信令的AMVP模式、仿射(affine)運動補償預測、基於子塊的時間運動向量預測(SbTMVP)、適應性運動向量解析度(AMVR)、如1/16亮度樣本MV儲存的運動場(motion field)儲存以及8×8運動場壓縮、具有加權平均的雙向預測(BMA)、雙向光流(BDOF)、解碼器側運動向量細化(DMVR)、三角形分割預測、組合的幀間以及幀內預測。
擴展的合併預測 藉由包括後續五種類型的候選來構造合併候選列表：來自空間相鄰編碼單元(CU)的空間運動向量預測子、來自並位CU的時間MVP、來自先進先出(FIFO)表的基於歷史的MVP、成對平均MVP以及0 MV。合併候選列表的尺寸在條帶(slice)標頭中被發信以及VVC測試模型4(VTM4)中合併候選列表的最大允許尺寸是6。對於合併模式中編解碼的每一CU，最佳合併候選的合併索引使用截斷一元(Truncated Unary，TU)二值化來編碼。合併索引的第一箱(bin)用上下文編解碼來編解碼以及合併索引的剩餘箱用旁路(bypass)編解碼來編解碼。VVC標準中空間合併候選的導出與HVEC標準的相同。從位於第1圖所述描繪位址的多個候選中選擇最多四個合併候選，以及導出的次序是A1、B1、B0、A0以及B2。僅當位置A1、B1、B0或A0的任何CU不可用或者是幀內編解碼的時，考慮位置B2。如果其屬於另一個條帶或圖塊，CU被視為是不可用的。在將位置A1處的候選包括於合併候選列表後，每一後續候選經過冗餘檢查，其確保具有相同運動資訊的任何候選被排除於合併候選列表之外。為了減少計算複雜度，不是所有可能的候選對在冗餘檢查中被考慮。例如，在位置B1處的候選僅與在位置A1處的候選比較，在位置B0處的候選僅與在位置B1處的候選比較，在位置A0處的候選僅與在位置A1處的候選比較，以及在位置B2處的候選僅與在位置A1以及B1處的候選比較。
在時間合併候選的導出中，基於屬於並位參考圖像的並位CU導出縮放的運動向量。將用於導出並位CU的參考圖像列表在條帶標頭中被明確發信。如第2圖中的虛線所示，獲得時間合併候選的縮放MV，其根據圖像次序計數(POC)距離tb以及td從並位CU的MV來縮放。POC距離tb被定義為當前圖像與當前圖像的參考圖像之間的POC差異。POC距離td被定義為並位圖像與並位圖像的參考圖像之間的POC差異。時間合併候選的參考圖像索引被設置為等於0。時間合併候選的位置從如第1圖所示的TBR 121以及TCTR122之間選擇。 當在位置TBR 121處的CU不可用、或者是幀內編解碼、或者在CTU的當前列(row)之外的情況下，在位置TCTR 122處的CU用於導出時間合併候選。
HMVP合併候選導出 基於歷史的MVP(History-based MVP,HMVP)合併候選在空間以及時間MVP後被添加到合併候選列表。先前編解碼塊的運動資訊被存儲於一表以及用作當前CU的MVP。在編碼或解碼進程中，具有多個HMVP候選的表被保持。當遇到新的CTU列時，表被重設為空。無論是否存在非子塊幀間編解碼的CU，相關運動資訊被添加到表的最後一個條目作為新的HMVP候選。例如，HMVP表尺寸S被設置為6，指示至多6個HMVP候選可以被添加到表中。當新的運動候選被插入表中時，約束的先進先出(FIFO)規則被應用來執行冗餘檢查。藉由從表移除完全相同的HMVP以及向前移動在相同HMVP後存儲所有HMVP候選，冗餘檢查確保新的運動候選不等於表中任何現有的HMVP。HMVP候選可以用於合併候選列表構造進程。按順序檢查表中最後幾個HMVP候選以及在時間MVP候選後插入到合併候選列表中。冗余檢查被應用於具有空間或時間合併候選的多個HMVP候選。後續兩個簡化被引入來減少用於HMVP候選的冗餘檢查操作的數目。首先，用於合併集合生成的HMVP候選的數目被約束為(N<=4)？M：(8-N)，其中N指示合併候選列表中現有候選的數目以及M指示該表中可用HMVP候選的數目。其次，一旦合併候選的總數目達到最大允許的合併候選減1，結束添加HMVP到合併候選列表的進程。
成對的平均合併候選導出 藉由平均現有合併候選列表中多個預定候選對，生成多個成對的平均候選，以及預定對被定義為{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，其中數字表示合併候選列表的合併索引。平均運動向量被分別計算用於每一參考圖像列表。在當兩個MV在一個參考圖像列表中都可用的情況下，即使這兩個MV指向不同的參考圖像，該兩個MV被平均。在當僅一個 MV可用時，直接使用這一MV。如果沒有MV可用，參考圖像列表是無效的。當添加成對平均合併候選後，合併候選列表在未滿時，0 MVP被插入合併候選列表的最後直到候選的數目達到最大合併候選數目。
具有MVD的合併模式 除了合併模式，具有運動向量差異的合併模式(MMVD)被引入VVC標準。緊接著跳過以及合併旗標發信CU的MMVD旗標來指示MMVD是否用於編解碼CU。為了使用MMVD編解碼CU，合併候選被選擇用於該CU，藉由發信與該CU相關的MVD資訊，進一步細化該預測子。進一步被發信用於該CU的該MVD資訊包括合併候選旗標、指定運動幅度資訊的距離索引以及指示運動方向的方向索引。合併候選旗標被發信來指定合併候選列表中首先兩個候選中的哪一候選被選擇為MMVD的起始MV。距離索引指定運動幅度資訊以及指示從起始MV的預定偏移。第3圖示出了MMVD的起始點。如第3圖所示，偏移被添加到起始MV的水平分量或垂直分量。在表1中指定了距離索引與預定偏移的關係。
Figure 109108461-A0305-02-0007-1
方向索引表示相對於起始MV的MVD的方向。方向索引指示如表2所示的四個方向之一。MVD符號的含義根據起始MV的資訊是可變的。例如，當起始MV是單向預測MV或兩個MV指向當前圖像的相同側的雙向預測MV時，表2中的符號指定被添加到起始MV的MV偏移的符號。當起始MV是兩個MV指向當前圖像的不同側的雙向預測MV時，表2中的符號指定被添加到起始MV的列表0 MV分量的MV偏移的符號，以及起始MV的列表1 MV分量的符號具有相反值。當兩個參考圖像的POC都大於當前圖像的PCO或者當 兩個參考圖像的POC都小於當前圖像的POC時，兩個MC執行當前圖像的相同側。當一個參考圖像的POC大於當前圖像的POC以及其他參考圖像的POC小於當前圖像的POC時，兩個MV指向當前圖像的不同側。
Figure 109108461-A0305-02-0008-2
解碼器側MV細化(DMVR) 雙邊樣板(template)MV細化也稱為解碼器側MV細化(DMVR)，被應用於合併模式來改善編解碼效率。DMVR在編碼器以及解碼器側兩者中工作以及其僅被應用於雙向預測。雙邊樣板MV細化的主要概念是藉由如第4圖示出的合併模式中的運動估計搜索來細化MV。對於具有雙向預測MV的合併候選，包括列表0(L0)MV 442以及列表1(L1)MV 462，雙邊樣板MV細化的步驟被描述如下。在DMVR的第一步中，定位由L0 MV 442指出的L0參考塊444以及定位由L1 MV 462指出的L1參考塊464。在DMVR的第二步中，由L0參考塊444以及L1參考塊464的資訊生成雙邊樣板42，例如，雙邊樣板42被計算為L0參考塊444與參考塊464的平均值。在第三步中，雙邊樣板42用於執行整數運動估計以及分數運動估計搜索L0參考圖像44中L0參考塊444周圍的P像素×Q像素的搜索範圍來找到具有最小運動估計成本的位置。運動估計成本的實施例是絕對差和(SAD)。最小運動估計成本的最終位置被分配給L0的細化MV 446。在第三步中，雙邊樣板也用於執行整數運動估計以及分數運動估計搜索L1參考圖像46中L1參考塊464周圍的P像素×Q像素的搜索範圍來找到最小運動估計成本的位置。最佳運動估計成本的最終位置被分配給L1的細化的MV 466。在第四步中，由L0的細化MV 446指出的L0細化塊448以及由L1的細化MV 466指出的L1細化塊468是下一階段的最 終參考塊，例如，這兩個最終參考塊448以及468用於運動補償。
基於型樣(pattern)的MV導出(PMVD) 基於型樣的MV導出(PMVD)方法也稱為FRUC(Frame Rtae Up Conversion，幀率上轉換)，是包含用於雙向預測塊的雙邊匹配(bilateral matching)以及用於單向預測塊的樣板匹配的編解碼工具。當合併或跳過旗標為真時，發信旗標FRUC_mrg_flag，以及如果FRUC_mrg_flag為真，FRUC_mrg_mode被發信來指示如第5圖示出的雙邊匹配合併模式或如第6圖示出的樣板匹配合併模式是否被選擇。在基於型樣的MV導出方法中，藉由掃描所有參考圖像中的所有MV，導出被稱為時間導出MVP的新的運動向量預測子(MVP)。例如，為了導出L0時間導出的MVP，L0參考圖像中的每一L0 MV被縮放來指向當前圖像。由當前圖像中這一縮放的MV指向的4×4塊是目標當前塊。MV被進一步縮放來指向L0中參考索引等於0的參考圖像用於目標當前塊。進一步縮放的MV被存儲於L0 MV場用於目標當前塊。第7圖示出了導出時間導出的MVP的示例。所有參考圖像中的所有4×4塊中的多個MV被掃描來生成當前圖像的時間導出的L0以及L1 MVP。對於每一MV，MV被縮放來獲得當前圖像中的十字塊，以及然後計算縮放的MVP並被分配給該十字塊。
雙邊匹配合併模式以及樣板匹配合併模式都包括兩階段匹配：第一階段是預測單元級(PU級)匹配，以及第二階段是子PU級匹配。在PU級匹配中，分別選擇L0以及L1中的多個初始MV。這些MV包括來自合併候選的MV(即，如在HEVC標準中指定的這些傳統合併候選)以及來自時間導出的MVP的MV。兩個不同的起始MV集合被生成用於兩個列表。對於一個列表中的每一MV，藉由組合這一MV與鏡像MV生成MV對，該鏡像MV藉由縮放該MV到另一個列表來導出。對於每一MV對，藉由使用這一MV對補償兩個參考塊。計算這兩個塊的絕對差和(SAD)。具有最小SAD的MV對被選擇為最佳 MV對。菱形搜索(diamond search)然後被執行來細化該MV對。細化精度是1/8像素。細化搜索範圍被限制於±8像素。最終MV對是PU級導出的MV對。
PMVD方法的第二階段中的子PU級搜索搜索每一子PU的最佳MV對。當前PU被拆分成多個子PU，其中子PU的深度在4×4樣本的最小子PU尺寸的序列參數集(SPS)中被發信。列表0以及列表1中的多個起始MV被選擇用於每一子PU，其中包括PU級導出的MV對、0 MV、當前子PU以及右下塊的HEVC並位TMVP、當前子PU的時間導出的MVP，以及PU或子PU左邊以及上方的MV。藉由使用PU級搜索中類似的機制，選擇每一子PU的最佳MV對。然後執行菱形搜索來細化最佳MV對。然後執行每一子PU的運動補償來生成每一子PU的預測子。
對於第5圖示出的雙邊匹配合併模式，基於兩個參考圖像Ref 0以及Ref 1導出當前圖像中的當前塊510的運動資訊。當從合併模式導出的運動向量是指向兩個參考圖像的雙向預測時，該兩個參考圖像到當前圖像的距離相等(即，時間距離TD0=TD1)，雙向匹配被應用。藉由沿著兩個參考圖像Ref 0以及Ref 1中當前塊的運動軌跡540搜索兩個塊520與530之間的最佳匹配來導出當前塊510的運動資訊。在假設運動軌跡連續的情況下，指向兩個參考塊的與Ref 0相關的運動向量MV0以及與Ref 1相關的運動向量MV1將與當前圖像與兩個參考圖像Ref 0以及Ref 1之間的時間距離TD0以及TD1成比例。
第6圖示出了樣板匹配合併模式的示例。當前塊的上方四列(row)以及左邊四行(column)的重構像素用於形成樣板，例如，當前圖像中的當前塊610的兩個相鄰區域620a以及620b被用作當前塊610的樣板。用其對應的MV執行樣板匹配來找到最佳匹配的樣板，例如，用其對應的運動向量640找到參考圖像Ref 0中最佳匹配的樣板630a以及630b。在兩階段匹配的PU級匹配中，列表0以及列表1中若干起始MV被選擇，如來自合併候選的MV以及來自時 間導出的MVP的MV。兩個不同的起始MV集合被生成用於兩個列表。對於一個列表中的每一MV，計算具有該MV的樣板的SAD成本。具有最小SAD成本的MV是最佳MV。然後用1/8像素的細化精度執行菱形搜索來細化該最佳MV，以及限制細化搜索範圍為±1像素內。最終的MV是PU級導出的MV。單獨生成列表0以及列表1中的MV。對於子PU級搜索，當前PU被拆分成多個子PU。對於在左邊或上方PU邊界的每一子PU，選擇列表0以及列表1中的幾個起始MV，以及藉由使用PU級搜索中類似的機制，選擇在左邊或上方PU邊界處的每一子PU的最佳MV對。執行菱形搜索來細化該MV對。根據該細化的MV對執行運動補償來生成每一子PU的預測子。對於不在左邊或上方PU邊界的PU，不應用子PU級搜索，以及對應的MV被設置為等於第一階段的MV。而列表0參考圖像(Ref 0)被示出於第6圖中，列表1參考圖像(Ref 1)也可以被用作樣板匹配搜索的參考圖像。
在這一解碼器MV導出方法中，樣板匹配也有用於生成MVP用於高級運動向量預測(AMVP)模式編解碼。執行樣板匹配來在所選參考圖像上找到最佳樣板，以及其對應的MV是導出的MVP。這一導出的MVP然後被插入AMVP候選列表的第一位置。
PMVD不限於上述描述，使用PMVD行為的基於型樣的細化的任何幀間模式工具也可以被標注為PMVD或FRUC模式。PMVD模式的一個實施例發信PMVD合併索引到解碼器來指示哪一合併候選被選擇用於MV細化，然而在PMVD的原始版本中，解碼器嘗試所有合併候選來找到最佳起始MV。在一個實施例中，子PU細化的步驟被跳過用於PMVD編解碼工具中的樣板匹配，然而，執行子PU細化用於PMVD編解碼工具中的雙邊匹配。在PMVD模式的另一個實施例中，也不執行子PU細化用於雙邊匹配，即僅PU級匹配的第一階段被執行用於PMVD編解碼工具中的雙邊以及樣板匹配兩者。
基於雙邊匹配的DMVR DMVR的實施例用基於PMVD雙邊匹配模式的雙邊匹配方法替換雙邊樣板生成。基於DMVR的雙邊的示例在文獻JVET-K0217中進行描述，於2018年7月10-18日，斯諾文尼亞的盧布亞納的ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET)的第11次會議提出。在另一個文獻JVET-M0029中，基於雙邊的DMVR被進一步簡化來減少所需要的計算複雜度。一個簡化使用基於塊的細化而不是基於CU的細化。尺寸等於M×N樣本的CU被分割成尺寸等於min(M,16)×min(N,16)的幾個單元，其中min(x,y)表示x與y之間的最小值。CU中每一單元被單獨細化。
基於VVC的DMVR 為了增加合併模式的運動向量的精度，在VVC標準中提出了基於雙邊匹配的解碼器側運動向量細化。為了由雙向預測操作編碼或解碼塊，在參考圖像列表L0以及參考圖像列表L1中的初始MV周圍搜索細化的MV。計算參考圖像列表L0與列表L1中兩個候選塊之間的失真。在第8圖示出了解碼器側運動向量細化的示例。基於初始MV周圍的MV候選，計算參考塊844與864之間的絕對差和(SAD)。具有最低SAD的MV候選成為細化的MV以及用於生成雙向預測訊號。當這一CU在具有雙向預測MV的CU級合併模式中被編解碼時，DMVR被應用於當前圖像中的CU，其中MV指向關於當前圖像的過去的一個參考圖像以及未來的一個參考圖像，每一參考圖像與當前圖像之間的距離是相同的，以及這一CU具有超過64個亮度樣本，其CU高度超過8亮度樣本。由DMVR進程導出的細化的MV用於生成幀間預測樣本，以及細化的MV也用於去塊濾波進程以及空間運動向量預測用於未來的CU編解碼。
如第8圖所示，搜索點在起始MV周圍以及來自起始MV的搜索點的MV偏移遵循MV差異鏡像規則。換言之，由DMVR檢查的具有候選MV對(MV0,MV1)的任何點需要遵循以下兩個等式： MV0′=MV0+MV_offset
MV1′=MV1-MV_offset
其中MV_offset表示起始MV與參考圖像之一中細化的MV之間的細化偏移。在VVC測試模式4(VTM4)中，細化搜索範圍是從起始MV開始的兩個整數亮度樣本。
第9圖示出了基於VVC的DMVR的搜索進程。搜索進程包括整數樣本偏移搜索階段92以及分數樣本細化階段94。為了減少搜索複雜度，具有提早結束方案的快速搜索方法被應用於整數樣本偏移搜索階段92。應用具有減少的SAD檢查點的2反覆運算搜索方案，而不是25點全搜索。如第10圖所示，在第一反覆運算中檢查6個SAD的最大值。首先，比較中心位置與四個相鄰位置P1~P4的SAD，以及如果中心位置的SAD是五個SAD中的最小值，結束DMVR的整數樣本偏移搜索階段92。否則，由所檢查位置的SAD分佈決定又一個位置，位置P5被決定以及被檢查。P1到P5中具有最小SAD的位置被選擇為第二反覆運算搜索的中心位置。第二反覆運算搜索的進程與第一反覆運算搜索相同。第一反覆運算中計算的SAD可以在第二反覆運算中被再用。在基於VVC的DMVR中，使用參數誤差面(parametric error surface)等式而不是SAD比較來導出在整數樣本搜索後執行的分數樣本細化以節省計算複雜度。基於整數樣本搜索階段的輸出，條件地調用分數樣本細化。在當整數樣本搜索階段由具有第一或第二反覆運算搜索中最小SAD的中心位置結束的情況下，應用分數樣本細化。在基於參數誤差面的子像素偏移估計中，中心位置成本以及四個相鄰位置的成本被用於最適(fit)二維抛物線誤差面等式，如下所示：E(x,y)=A(x-x min )2+B(y-y min )2+C
其中(xmin,ymin)對應於具有最小成本的分數位置，以及C對於與 最小成本值。藉由使用五個搜索位置的成本值解析上述等式，(xmin,ymin)被計算如下：x min =(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0)))
y min =(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0)))
因為所有成本值是正數以及最小值是E(0,0)，xmin以及ymin的值自動被約束為-8到8之間。這對應於VTM4中具有1/16像素MV精度的半像素偏移。所計算的分數(xmin,ymin)被添加到整數距離細化MV來獲得子像素精確細化δ MV。
線性插值以及樣本填充 VVC標準中MV的解析度是1/16亮度樣本。在分數位置的樣本使用8抽頭插值濾波器進行插值。在DMVR中，搜索點在具有整數樣本偏移的初始分數像素MV周圍。因為這些搜索點位於分數位置，藉由插值生成用於DMVR搜索進程的這些搜索點。為了減少計算複雜度，使用雙線性插值濾波器來生成DMVR搜索進程的分數樣本。藉由使用具有2樣本搜索範圍的雙線性插值濾波器，相比於普通運動補償進程，DMVR不存取更多參考樣本。在用DMVR搜索進程取得細化的MV後，普通的8抽頭濾波器被應用來生成最終預測。為了限制由用於細化的MV的插值進程存取的參考樣本的數目不大於由原始MV的插值進程存取的參考樣本的數目，用於細化的MV的插值進程需要的任何樣本將從這些可用樣本來填充。
最大DMVR處理單元 當CU的寬度與高度的一個或兩者大於16亮度樣本時，CU被進一步分割成多個子塊，寬度以及高度的一個或兩者等於16亮度樣本。DMVR搜索進程的最大處理單元尺寸被限制於16×16樣本。
基於VVC的AMVR 在HEVC標準中，當條帶標頭(slice header)中的旗標use_integer_mv_flag等於0時，運動向量與所預測運動向量之間的運動向量差異(MVD)以四分之一亮度樣本單元來被發信。在VVC標準中，引入了 CU級適應性運動向量解析度(AMVR)方案。AMVR允許CU的MVD以四分之一亮度樣本、整數亮度樣本或四亮度樣本的單元來編解碼。如果當前CU具有至少一個非0 MVD分量，CU級MVD解析度指示被條件地發信。如果所有MVD分量為0，即用於參考列表L0以及參考列表L1的水平以及垂直MVD兩者為0，推斷四分之一亮度樣本MVD解析度。
對於具有至少一個非0 MVD分量的CU，第一旗標被發信來指示四分之一亮度樣本MVD精度是否用於CU。如果用於該CU的該第一旗標是0，四分之一亮度樣本MVD精度用於當前CU以及不需要進一步的信令。否則，第二旗標被發信來指示是否使用整數亮度樣本或四亮度樣本MVD精度。為了確保重構MV具有預期精度，與在與對應的MVD相加之前，CU的運動向量預測子將被舍入到與MVD的相同的精度。運動向量預測子朝0舍入，即，負數運動向量預測子朝正無窮大舍入以及正數運動向量預測朝負無窮大舍入。編碼器使用率失真檢查決定該當前CU的運動向量解析度。為了避免總是執行三次CU級率失真檢查用於每一MVD解析度，在VTM4中，四亮度樣本MVD解析度的率失真檢查僅被條件地調用。首先計算四分之一亮度樣本MVD精度的率失真成本，然後將整數亮度樣本MVD精度的率失真成本與四分之一亮度樣本MVD精度的率失真成本進行比較。如果四分之一亮度樣本MVD精度的率失真成本遠小於整數亮度樣本MVD精度的率失真成本，跳過四亮度樣本MVD精度的率失真檢查。
雙向光流(BDOF) 通過光流以及目標穩定運動的假設，雙向光流(Bi-Directional Optical Flow,BDOF)實現4×4子塊級運動細化。BDOF僅被應用於亮度分量，以及如果其滿足後續三個條件，BDOF被應用於CU。首先，CU高度不是4以及CU尺寸不是4×8，其次，CU不使用仿射(affine)模式或ATMVP合併模式來編解碼，第三，CU是真正的雙向預測塊。該真正的雙向預測塊是從 兩個參考圖像預測的當前圖像中的塊，一個參考圖像是先前圖像以及另一個參考圖像是後續圖像。藉由混合從列表0的參考圖像檢索的一個列表0預測子以及從列表1的參考圖像檢索的一個列表1預測子來導出雙向預測塊的預測子。第11圖示出了應用BDOF來細化雙向條帶(B-slice)中4×4子塊的運動的示例。4×4子塊中每一樣本由L0以及L1參考圖像中對應的像素來預測。對於每一4×4子塊，由最小化L0與L1預測樣本之間的差異計算細化的運動(v x ,v y )。細化的運動然後用於調整4×4子塊中的雙向預測值。BDOF採用6×6視窗來導出每一4×4子塊的運動細化，以及後續步驟被應用於BDOF進程。
首先，藉由直接計算兩個相鄰樣本之間的差異來計算兩個預測訊號的水平以及垂直梯度
Figure 109108461-A0305-02-0016-5
(i,j)以及
Figure 109108461-A0305-02-0016-6
(i,j)，其中k=0,1。
Figure 109108461-A0305-02-0016-3
其中I (k)(i,j)是在列表k(k=0,1)中預測訊號的座標(i,j)的樣本值。然後，梯度(gradient)S1、S2、S3、S5以及S6的自相關(auto-correlation)以及互關聯(cross-correlation)被計算如下：
Figure 109108461-A0305-02-0016-8
其中
Figure 109108461-A0305-02-0016-4
Figure 109108461-A0305-02-0017-9
θ(i,j)=(I (1)(i,j)≫n b )-(I (0)(i,j)≫n b )
其中Ω是4×4子塊周圍的6×6視窗。然後使用互相關以及自相關術語導出細化的運動(v x ,v y )，使用如下等式：
Figure 109108461-A0305-02-0017-11
其中
Figure 109108461-A0305-02-0017-12
,
Figure 109108461-A0305-02-0017-13
,
Figure 109108461-A0305-02-0017-20
以及
Figure 109108461-A0305-02-0017-19
是地板函數(floor function)。基於運動細化以及梯度，後續調整被計算用於4×4子塊中的每一樣本：
Figure 109108461-A0305-02-0017-14
最後，藉由調整雙向預測樣本如下來計算CU的細化的BDOF的樣本：pred BDOF (x,y)=(I (0)(x,y)+I (1)(x,y)+b(x,y)+o offset )≫shift
在上述等式中，n a 、n b 以及
Figure 109108461-A0305-02-0017-16
的值分別等於3、6以及12。選擇這些值以致BDOF進程中的乘法器不超過15位元，以及BDOF進程的中間參數的最大位元寬度被保持在32位元內。
為了導出梯度值，需要生成當前CU邊界之外的列表k中的一些 預測樣本I (k)(i,j)。如第12圖所描繪的，BDOF使用CU邊界周圍的一個擴展的列以及行用於插值。為了控制生成邊界外預測樣本的計算複雜度，線性濾波器用於生成擴展區域中的預測樣本，以及普通的8抽頭運動補償插值濾波器用於生成CU內的預測樣本。這些擴展樣本值僅用於梯度計算。對於BDOF進程中的剩餘步驟，如果需要CU邊界外的任何樣本以及梯度值，從最近相鄰CU填充樣本。
在基於塊的BDOF操作中，採用兩個提早結束進程來減少BDOF操作的計算複雜度。首先計算CU的兩個預測子之間的SAD，一個預測子來自L0以及另一個預測子來自L1，以及如果兩個預測子之間的SAD小於一個閾值，因為兩個預測子足夠好，BDOF操作被跳過。否則，BDOF操作被應用該CU。當BDOF操作被應用於當前CU時，根據每一4×4塊的兩個預測子之間的SAD，BDOF操作被選擇性應用於每一4×4塊。當當前4×4塊中的兩個預測子之間的SAD小於閾值時，BDOF操作被跳過。
視訊編解碼系統中視訊處理的示例性方法執行雙向運動補償來編碼或解碼視訊塊。示例性視訊處理方法接收與一當前圖像中一當前塊相關的輸入視訊資料，將該當前塊拆分成多個子分區，根據一初始MV從一個或多個參考圖像中獲得該當前塊中每一子分區的一參考塊。該視訊處理方法進一步包括填充每一子分區的該參考塊的一個或多個邊界像素，根據該細化的MV執行每一子分區的運動補償來生成該當前塊的一最終預測子，以及根據該最終預測子編碼或解碼該當前塊。藉由用N像素細化搜索該初始MV周圍執行運動細化。
在該視訊處理方法的示例性實施例中，該視訊處理方法進一步包括檢查該當前塊的一尺寸、寬度或高度是否大於或等於一閾值，以及當該當前 塊的該尺寸、寬度或高度大於或等於該閾值時，將該當前塊分割成多個子分區。例如，該閾值時16×16、16×8、8×16、8或16。例如，當該當前塊的該尺寸大於16×16或當該寬度或高度大於16時，該當前塊被分割成16×16子分區。在另一示例中，當該當前塊的該寬度或高度大於或等於8時，該當前塊被分割成具有16×8或8×16樣本的多個子分區。
當每一子分區的尺寸是W×H樣本時，每一子分區的該參考塊的一尺寸是(W+7)×(H+7)。在一些實施例中，運動細化包括在水平或垂直方向上至多2像素細化的一整數搜索。
在一些實施例中，僅當該子分區的使用該細化的MV的運動補償所需要的任何像素在該參考塊之外時，填充該參考塊的一個或多個邊界像素用於該子分區。在一些實施例中，藉由複製該參考塊的上方、下方、左邊以及右邊的邊界像素，該填充操作擴展每一子分區的該參考塊。藉由一整數搜索緊接著一分數樣本細化導出該當前塊的每一子分區的該細化的MV。在一個實施例中，一8連接搜索型樣被用於運動細化的整數搜索。該8連接搜索型樣檢查與一中心位置相關的8個連接的整數位置，包括該中心位置的左邊、上方、右邊、下方、左上方、右上方、左下方以及右下方相鄰位置。在一些實施例中，使用一參考誤差面操作導出該分數樣本細化，以及一中心成本以及四個相鄰位置的成本用於最適一二維抛物線誤差面操作。為了減少系統的複雜度，當一後續BDOF操作被啟用時，該參數誤差面操作被禁用。在一個實施例中，一2像素距離MV變化被採用用於該運動細化的整數搜索中的一個搜索反覆運算。
在視訊處理方法的一些示例性實施例中，根據該當前塊的一尺寸或該當前圖像的一幀解析度，決定該運動細化的一搜索區域數目N。例如，較大塊被分配一較大搜索區域數目用於運動細化。如果該初始MV具有一分數部分，藉由將參考圖像像素插值到分數位置來獲得每一子分區的參考塊。在另一 個實施例中，藉由直接使用該參考圖像的原始整數像素獲得每一子分區的該參考塊，以及一參考誤差面操作被採用來決定一分數像素細化。例如，該初始MV被舍入到一最近整數MV，以及藉由直接使用該原始整數像素，該舍入的MV用於導出每一子分區的該參考塊。
在一些實施例中，如果一初始匹配位置的一初始絕對差和(SAD)大於一預定閾值，運動細化被跳過用於該當前塊。在一些其他實施例中，如果該初始MV與該細化的MV之間的一MV差異大於一閾值，後續的BDOF操作被禁用。
本發明一方面進一步提供了視訊編解碼系統中用於處理視訊資料的裝置的實施例。裝置的實施例包括一個或多個電子電路，用於接收一當前圖像中一當前塊的輸入資料，將該當前塊分割成多個子分區，根據一初始MV從一個或多個參考MV獲得每一子分區的一參考塊，導出一細化的MV用於該當前塊的每一子分區來對每一子分區執行運動細化，對於使用該細化的MV的子分區的運動補償，填充該參考塊的一個或多個邊界像素用於該子分區，根據該細化的MV執行每一子分區的運動補償來生成該當前塊的一最終預測子，以及根據該最終的預測子編碼或解碼該當前塊。藉由用N像素細化搜索該初始MV周圍執行運動細化，例如，N是2。
本發明的一方面進一步提供了存儲程式指令的非暫態電腦可讀媒介，使得裝置的處理電路執行一視訊處理方法來編碼或解碼一在用運動細化的幀間預測中編解碼或將在其編解碼的當前塊。在執行運動細化到該當前塊的多個子分區後，對每一子分區執行一填充操作來擴展運動補償所需要的該子分區的該參考塊。在閱讀特定實施例的後續描述後，本發明的其他方面以及特徵對本領域習知技術者將是顯而易見的。
10:當前PU
111~115:空間預測子
12:並位PU
121~122:時間預測子
42:雙邊樣板
44、84:L0參考圖像
442:L0 MV
444:L0參考塊
446:L0的細化MV
448:最終參考塊
46、86:L1參考圖像
462:L1 MV
464:L1參考塊
466:L1的細化的MV
468:最終參考塊
510、822:當前塊
520、530:參考塊
540:運動軌跡
610:當前塊
620a、620b:相鄰區域
630a、630b:最佳匹配的樣板
640:運動向量
82:當前圖像
842、844、862、864、130、140:參考塊
92:整數樣本偏移搜索階段
94:分數樣本細化階段
132、134、136、142:子分區
132a、134a、136a:子分區參考塊
132b、134b、136b、142a:參考區域
S1502~S1514:步驟
1610、1712:幀內預測模組
1612、1714:幀間預測模組
1614、1716:開關
1616:加法器
1618:變換模組
1620:量化模組
1622、1720:逆量化模組
1624、1722:逆變換模組
1626、1718:重構模組
1628、1724:環路處理濾波器
1630、1726:參考圖像緩衝器
1632:熵編碼器
1710:熵解碼器
作為示例提出的本公開的各種實施例將結合後續附圖進行詳細描述，以及其中：第1圖示出了HEVC標準中定義的用於構造合併候選列表的空間運動候選以及時間運動候選的位置。
第2圖示出了時間合併候選的縮放MV的生成。
第3圖示出了用於列表0參考塊以及列表1參考塊中的具有MVD的合併模式(MMVD)的搜索點。
第4圖示出了雙邊樣板MV細化的概念。
第5圖示出了應用雙邊匹配用於當前圖像的當前塊來搜索兩個相等距離參考圖像中的參考塊的示例。
第6圖示出了應用樣板匹配用於當前圖像中的當前塊來搜索MV的示例，該MV指向具有最佳匹配樣板的參考塊。
第7圖示出了基於型樣的MV導出方法中時間導出的MVP的概念。
第8圖示出了用於細化初始MV的解碼器側運動向量細化(DMVR)的概念。
第9圖示出了包括整數樣本偏移搜索階段以及分數樣本細化階段的DMVR操作。
第10圖示出了DMVR整數亮度樣本搜索型樣的示例。
第11圖示出了應用雙向光流(BDOF)用於樣本細化的示例。
第12圖示出了BDOF操作中使用的當前CU的擴展的CU區域。
第13圖示出了造成子分區之間不規律的CU基礎參考樣本填充的示例。
第14圖示出了根據本發明實施例的子分區基礎參考樣本填充的示例。
第15圖是用運動細化處理當前塊的本發明示例性實施例的流程圖。
第16圖示出了根據本發明實施例的用於合併視訊處理方法的視訊編碼系統的示 例性系統框圖。
第17圖示出了根據本發明實施例的用於合併視訊處理方法的視訊解碼系統的示例性系統框圖。
將容易理解，如本文圖示所描述以及所示出的本發明的元件可以以各種不同的配置進行安排以及設計。因此，如圖示中所表示的，本發明系統以及方法的實施例的後續更詳細描述不旨在限制本發明的範圍，如所要求的，僅是本發明所選實施例的表示。在本公開中，系統以及方法被描述用於用運動細化編碼工具處理雙向預測塊，其中每一方法或其組合可以在視訊編碼器或視訊解碼器中實施。實施一個方法或其組合的示例性視訊編碼器或解碼器分別如第16圖以及第17圖所示。本發明的各種實施例減少實施運動細化編解碼工具的計算複雜度。本文所描述的系統以及方法被組織於如下分段。
DMVR中子分區基礎填充 如果CU的尺寸、寬度或者高度大於或大於等於閾值，基於VVC的解碼器側運動向量細化(DMVR)操作將CU分割成多個子分區，以及DMVR操作被單獨地應用於每一子分區。例如，子分區的尺寸是16×16，以及寬度或高度的閾值是16或者尺寸的閾值是256樣本。在另一個示例中，尺寸的閾值是128樣本，以及CU被分割成多個8×16或16×8或者16×16子分區。寬度或高度的閾值可以是8或16樣本。對於寬度W以及高度H的子分區，用於生成該子分區的運動補償參考塊所需要的參考樣本的數目是(W+7)×(H+7)。雙線性插值濾波器用於生成分數樣本，用於來自每一子分區的所檢索的(W+7)×(H+7)參考樣本的DMVR中的搜索進程。所生成的分數樣本被稱為運動補償(MC)的子分區參考塊，以及該子分區參考塊包含(W+7)×(H+7)個樣本。在DMVR搜索進程獲得細化的MV後，普通的8抽頭插值濾波器被應 用來生成最終的MC預測子。細化的MV用於MC以及用於生成時間運動向量預測子(TMVP)。在先前實施例中，在DMVR細化後，在CU基礎上執行用於MC 8抽頭插值濾波器的CU周圍的填充。第12圖示出了用於運動補償參考樣本生成的CU方面樣本填充。在第12圖中，當前CU的尺寸是128×128，為當前CU提取的參考塊130的尺寸是135×135。當前CU被拆分成64個16×16子分區用於DMVR中的運動細化。每一子分區的尺寸是16×16個樣本，以及每一子分區的參考塊包含(16+7)×(16+7)個樣本。在第13圖中，子分區A、B以及C 132、134以及136的子分區參考塊132a、134a以及136a由對應的子分區周圍的實線所描繪，以及因為DMVR中採用了±N像素細化的整數搜索，在DMVR細化後需要的尺寸等於(16+7+2N)×(16+7+2N)的參考區域132b、134b以及136b由對應的搜索範圍周圍的虛線所描繪。在由DMVR的運動細化後，對於不位於CU邊界的當前子分區，如子分區A 132，在沒有填充操作的情況下，運動補償需要的參考區域132b從參考塊130來檢索。然而，對於位於CU邊界的當前子分區，如子分區B 134以及子分區C 136，從一個或多個CU邊界導出的填充像素可以用於運動補償。例如，在子分區B 134的運動補償所需要的參考區域134b的右邊邊界的一些像素在參考塊130之外，因此，由填充操作生成這些不可用像素。在子分區C 136的運動補償所需要的參考區域136b的底邊界的一些像素在參考塊130之外，因此，由填充操作生成這些不可用像素。簡言之，如第13圖所示，在當前CU中不同子分區的填充操作之間存在不規律，其增加設計複雜度。
本發明的示例性實施例在每一子分區的子分區參考塊周圍執行填充，其意味著填充是在子分區基礎而不是CU基礎。子分區基礎填充相比CU基礎填充的主要益處包括減少子分區之間的填充不規律以及減少DMVR操作的記憶體頻寬或內部儲存。藉由實施本發明的實施例，相比於傳統DMVR硬體設 計，DMVR的硬體設計更規律以及更簡單。在一些實施例中，在由DMVR的每一子分區的運動細化後，運動補償中8抽頭插值濾波器所需要的不可用像素被填充到子分區的子分區參考塊的周圍。例如，如果運動補償需要子分區參考塊的任何上方、左邊、底部或者右邊相鄰樣本，由子分區參考塊的邊界像素填充這一樣本。第14圖示出了根據本發明實施例的子分區基礎填充的示例。在這一示例中，尺寸為128×128樣本的當前CU被分割成每一尺寸為16×16樣本的幾個子分區。根據被截斷到整數位置的初始MV，從參考圖像獲得當前CU的參考塊140。獲得參考塊140內的子分區參考塊142a用於子分區142，其中子分區參考塊142a的尺寸是(16+7)×(16+7)樣本。DMVR採用±N像素細化的整數搜索，在對子分區142執行DMVR後，子分區142的運動補償所需要的一些像素可以位於所提取的子分區參考塊142a之外。在子分區參考塊142a外的運動補償所需要的任何像素由填充來生成。
在一個特定實施例中，當前CU被拆分成每一尺寸為16×16樣本的多個子分區。對於每一子分區，根據初始MV，從參考圖像檢索23×23參考樣本，雙線性插值濾波器用於生成23×23樣本的子分區參考塊用於每一子分區。DMVR採用±N像素細化的整數搜索，在整數搜索期間，由N像素填充子分區參考塊的上方、下方、左邊以及右邊界。例如，DMVR中的整數搜索在每一方向上可以將運動向量細化2像素。在DMVR細化後，如果8抽頭插值濾波器所需要的任何像素在原始提取的23×23參考樣本之外，填充像素用於運動補償來生成最終預測子。
本發明的實施例生成填充像素用於每一子分區的運動補償濾波，其藉由複製子分區參考塊的上、下、左以及右邊界像素來擴展每一子分區的子分區參考塊。子分區的子分區參考塊外的角落像素複製子分區的子分區參考塊內的對應角落像素。完成用於生成CU的最終預測子的填充操作用於CU的 每一子分區。填充操作類似於基於傳統VVC的DMVR填充操作，除了填充進程是統一的以及被應用於每一子分區而不是每一CU。
示例性實施例的代表性流程圖第15圖示出了根據本發明示例性實施例的用運動細化編碼或解碼當前塊的視訊處理方法的流程圖。在步驟S1502，視訊編碼或解碼系統接收與在幀間預測中編解碼的或將被編解碼的一當前塊相關的輸入資料。在步驟S1504、S1506以及S1508中將一DMVR操作應用到該當前塊用於運動細化。在步驟S1504，因為DMVR操作被獨立地應用於每一子分區，該當前塊被分割成多個子分區。在步驟S1506，根據一初始MV，從參考圖像獲得一參考塊用於該當前塊中的每一子分區。例如，提取一(W+7)×(H+7)參考塊用於每一W×H子分區。在步驟S1508，DMVR操作導出一細化MV用於每一子分區，以及藉由用N像素細化搜索初始MV周圍，該DMVR操作執行運動細化。例如，在DMVR操作中每一方向中至多允許2像素細化。在步驟S1510，在該DMVR操作後，一填充操作被應用於每一子塊的該參考塊周圍用於生成運動補償的像素。在一個實施例中，該視訊編碼系統或視訊解碼系統可以檢查運動補償所需要的任何像素是否在該參考塊之外(即，所需要的像素在當前參考塊是不可用的)，以及如果運動補償所需要的一些像素位於參考塊之外，生成填充像素。在步驟S1510，藉由複製該子分區的該參考塊的邊界像素，該填充操作被應用於每一子分區。在步驟S1512，根據每一子分區的細化MV執行每一子分區的運動補償來生成該當前塊的一最終預測子。在步驟S1514，根據該最終預測子編碼或解碼該當前塊。
BDOF的子分區基礎填充 VVC BDOF包括填充技術來生成CU邊界外的填充像素來使CU邊界外的像素可用。在本發明的一個實施例中，在BDOF操作中採用具有子塊基礎填充的填充技術。例如，當BDOF操作被應用於當前CU的每一子分區時，即，BODF的操作單元是8×8像素，填充技術用於 生成每一8×8子分區的邊界的填充像素。在另一個實施例中，填充的邊界不需要等於操作單元的邊界，以及填充的邊界與BDOF的操作單元所需要的範圍相關。例如，為每一8×8 BDOF操作單元採用9×9需要的範圍，因此填充區域是9×9像素。換言之，填充操作可以基於BDOF的操作單元，例如，為每一4×4子分區做BDOF，以及操作單元是4×4，或者填充操作可以與BDOF的操作單元相關，例如，為每一4×4子分區做BDOF，其需要5×5區域，以及填充區域是5×5像素。
8連接搜索型樣 在DMVR整數搜索的一個實施例中，使用一個整數搜索運行的8連接搜索而不是十字型搜索型樣。在基於VVC的DMVR整數搜索中使用的十字形搜索型樣檢查中心位置的十字形4位置。一個整數搜索運行等於搜索的一個反覆運算。執行8連接搜索用於運動細化的CU中的每一子分區。8連接搜索檢查與中心位置相關的八個連接的整數位置，包括中心位置的左、上、右、下、左上、右上、左下以及右下相鄰位置。在DMVR整數搜索的可選實施例中，7連接搜索用於一個整數搜索運行。7連接搜索檢查與中心位置相關的十字4位置以及3個角落位置。在DMVR整數搜索的另一個可選實施例中，6連接搜索用於一個整數搜索運行，其中6連接搜索檢查與中心位置相關的檢查4位置以及2角落位置。
DMVR的適應性啟用參數誤差面階段在基於VVC的DMVR中，在分數樣本細化階段使用參數誤差面等式來減少DMVR的計算複雜度。在DMVR操作後執行BDOF操作來進一步細化雙向預測塊的運動。從DMVR操作生成的細化MV是BDOF操作的輸入。BDOF操作可以被啟用或禁用，如果後續BDOF操作被啟用，本發明的實施例禁用DMVR的參數誤差面階段。在另一個實施例中，DMVR的參數誤差面階段總是被禁用。
DMVR的整數搜索階段中的2像素距離搜索在基於VVC的 DMVR中，1像素距離MV變化被採用用於一個整數搜索反覆運算。本發明的實施例細化2像素距離MV變化用於1整數搜索反覆運算。對於每一整數搜索反覆運算，所搜索的位置在細化位置與當前中心位置之間的水平方向或垂直方向就有2像素距離。例如，每一整數搜索檢查在x+2整數距離、x-2整數距離、y+2整數距離以及y-2整數距離的多個位置。通常，本發明的實施例執行M像素距離MV變化用於DMVR中的一個整數搜索反覆運算，其中M大於或等於2。在另一個實施例中，僅一個整數搜索反覆運算被執行而不是具有兩個搜索反覆運算的基於VVC的DMVR。在另一個實施例中，在M像素距離整數搜索後，參數誤差面操作被修正來使用M像素距離整數SAD結果來估計參數誤差面MV細化結果。參數誤差面演算法可以接收M像素距離整數搜索SAD結果來估計MV進一步的細化量，以及因為參數誤差面演算法的輸入是基於M像素距離的值，該結果將需要乘以M以及添加到最終MVD改變。例如，藉由使用DMVR中2像素距離整數搜索，獲得周圍位置的2像素距離SAD結果，以及如果參數誤差面演算法需要將x方向MV細化x_frac(0~1之間)、將y方向MV細化y_frac(0~1之間)，最終細化的MVD是integer_MVD+(x_frac*2,y_frac*2)。可以組合上述合作實施例。
最佳SAD非中心情況下的參數誤差面支援 僅當先前整數搜索反覆運算的最佳SAD是中心位置時，其是原始起始位置，基於VVC的DMVR執行參數誤差面操作。在本發明的一個實施例中，也執行參數誤差面操作用於當先前整數搜索反覆運算的最佳SAD不是中心位置的情況。先前整數搜索反覆運算檢查與原始中心位置相關的上、左、下、右位置以及一個角落位置，藉由實施支持參數誤差面的實施例用於最佳SAD非中心情況，一些SAD結果可以被再用。例如，如果先前整數搜索反覆運算的最佳SAD是右邊位置，來自先前整數搜索反覆運算的上、中心以及下方位置的SAD結果可以被再用來估計垂直 分數部分。類似地，如果先前整數搜索反覆運算的最佳SAD是左邊位置，來自先前整數搜索反覆運算的上方、中心以及下方位置的SAD結果可以被再用來估計垂直分數部分。如果先前整數搜索反覆運算的最佳SAD是上方或下方位置，來自先前整數搜索反覆運算的左邊、中心以及右邊位置的SAD結果可以被再用來估計水平分數部分。
在另一個實施例中，當在DMVR中採用基於8連接的整數搜索時，兩個角落位置以及先前最佳邊緣位置被用於估計參數誤差面。兩個角落位置是先前最佳邊緣位置最近的角落位置，其中最佳邊緣位置意味著與先前整數反覆運算中最佳SAD相關的上方、下方、左邊以及右邊位置之一。
用於不同CU的大搜索區域以及適應性搜索區域 在基於VVC的DMVR中，搜索區域(SR)數目等於2，其包括搜索左邊兩個像素、右邊兩個像素、下方兩個像素以及上方兩個像素。對於所有CU尺寸，SR數目被固定為2。本發明的實施例採用不同的SR數目用於不同的CU尺寸。在另一個實施例中，不同的SR數目用於不同的幀解析度。在又一實施例中，SR數目被適應性地控制。例如，較大SR數目被應用於較大MV幅度。在另一個示例中，較大SR數目被應用於較大CU。
具有MVD鏡像類演算法的DMVR低延遲B支持 因為DMVR僅啟動真正的雙向預測合併候選，基於VVC的DMVR對低延遲B(low-delay-B,LDB)情況無效。本發明的實施例使用修正的MVD鏡像演算法來支援DMVR的LDB情況。修正的MVD鏡像演算法類似於基於VVC的DMVR中的原始MVD鏡像演算法。在原始MVD鏡像演算法中，列表0中修正的MV等於原始候選MVL0加搜索的MVD，以及列表1中修正的MV等於原始候選MVL1減去搜索的MVD。在修正的MVD鏡像演算法中，LDB情況中的任何非真正雙向預測合併候選由如下導出：列表0中修正的MV等於原始候選MVL0加搜索的MVD， 以及列表1中的修正MV等於原始候選MVL1加搜索的MVD乘以變數α。α等於列表0與列表1的POC距離的比，列表0的POC距離是當前圖像到列表0參考圖像的圖像POC距離，以及列表1的POC距離是當前圖像到列表1參考圖像的圖像POC距離。
在搜索之前，簡單濾波操作被採用來獲得列表0的搜索區域。對於列表1的搜索區域，如基於VVC的DMVR中使用的如雙線性濾波，插值濾波器被用於獲得列表1的搜索區域，列表1的搜索區域上兩個整數位置之間的距離是α乘以1像素距離。例如，如果α是0.5，列表1的搜索區域上兩個整數位置之間的距離是實際參考圖像上的0.5整數像素距離。
在另一個實施例中，反轉α規則，因此列表0中的修正MV等於原始候選MVL0加搜索的MVD乘以α，以及列表1中的修正MV等於原始候選MV1加搜索的MVD。在一個實施例中，列表0與列表1的SR可以不同，如果列表1 POC距離大於列表0 POC距離，列表1上的SR可以大於列表0上的SR，以致當執行SAD匹配時，列表0中的每一“1整數步驟”意味著列表1中的“大於1整數步驟”。
具有FRUC雙邊演算法的DMVR低延遲B支持 為了支持DMVR低延遲B(LDB)情況，在一個實施例中，基於FRUC(PMVD)雙向的演算法用於支援LDB情況的MV細化。
僅整數像素匹配用於SAD 基於VVC的DMVR緊接著參數誤差面分數MV搜索後使用整數搜索的兩個反覆運算。如果原始MV具有分數部分，藉由將參考圖像像素插值到分數位置像素，獲得基於VVC的DMVR中的整數搜索的搜索區域。因為其總是直接使用參考圖像的原始整數像素來構建搜索區域，本發明的一些實施例跳過插值參考圖像像素用於導出搜索區域。對由原始整數像素導出的搜索區域執行整數位置搜索，以及然後參數誤差面操作被採用 來決定分數像素細化。在一個實施例中，為了使用參考圖像的原始整數像素來構建搜索區域，原始合併候選MV被舍入到最近的整數MV，以及所述舍入的MV被用於導出搜索區域。在一個實施例中，如果在整數位置搜索後不啟動參數誤差面操作，例如，當最佳SAD與中心位置不相關時，禁用參數誤差面操作，整數搜索MVD被添加回原始MV，其中分數部分MV保持不變。
DMVR分割進程的MV複製 因為其將CU分割成多個子分區以及對每一子分區執行DMVR的運動細化，基於VVC的DMVR具有分割進程行為。藉由跳過一些子分區的運動細化，本發明的實施例實施快速演算法。快速演算法執行運動細化僅用於預定或選擇的子分區，以及除預定或選擇的子分區外的任何子分區(即，跳過的子分區)直接使用相鄰子分區運動細化結果。例如，所有偶數行子分區被跳過以及僅對奇數行子分區執行運動細化。如果當前CU被分割成M列以及N行子分區，偶數行子分區意味著偶數水平偏移的子分區。奇數行子分區的細化MV被直接複製作為偶數行子分區的細化MV。
在另一個實施例中，跳過的子分區直接使用相鄰子分區運動細化結果導出運動細化結果，也包括基於周圍相鄰子分區的細化MV導出運動細化結果，例如，使用平均演算法。在另一個實施例中，對於每一K*W像素的子分區，執行子採樣操作以將每一分區子採樣為K/2*W/2像素，以及僅對子採樣的子分區執行DMVR細化操作。更普遍地，對具有K*W像素的每一子分區執行子採樣操作來生成子採樣的子分區，每一具有K/A*L/B像素，以及對子採樣的子分區執行DMVR細化操作，其中A與B是正整數。
支持非相等距離的雙邊DMVR 僅當列表0與列表1的距離相等時，基於VVC的DMVR啟動，其中列表0的POC距離是當前圖像與列表0參考圖像之間的POC差異以及列表1的POC距離是當前圖像與列表1參考圖像之間的POC差異。本發明的實施例支持非相等距離真正的雙向預測合併候選。修 正MVD鏡像演算法類似於基於VVC的DMVR中的原始MVD鏡像演算法。在原始MVD鏡像演算法中，列表0中的修正MV等於原始候選MVL0加搜索的MVD，以及列表1中的修正MV等於原始候選MVL1減去搜索的MVD。在修正的MVD鏡像演算法中，列表0中的修正MV等於原始候選MVL0加搜索的MVD，以及列表1中的修正MV等於原始候選MVL1減去搜索的MVD乘以變數α。α等於列表0與列表1參考圖像的POC距離的比。
在DMVR的整數搜索階段前，簡單濾波被採用來導出列表0的搜索區域，如雙線性濾波。列表1的搜索區域由插值來導出，其中列表1的搜索區域上兩個整數位置之間的距離是α乘以1像素距離。例如，如果α等於0.5，列表1的搜索區域上兩個整數位置之間的距離是0.5乘以實際參考圖像上的整數像素距離。在另一個實施例中，可以反轉α規則，以致列表0中的修正MV等於原始候選MVL0加搜索MVD乘以α，以及列表1中的修正MV等於原始候選MVL1減去搜索MVD。
在一個實施例中，列表0的搜索區域不同於列表1的搜索區域，例如，如果列表1 POC距離大於列表0 POC距離，列表1上的搜索區域比列表0上的搜索區域更大，以致在SAD匹配期間，列表0中的每一“1整數步驟”意味著列表1中的“大於1整數步驟”。在另一個實施例中，如果列表0 POC距離大於列表1 POC距離，列表0上的搜索區域比列表1上的搜索區域更大，以致在SAD匹配期間，列表1中的每一“1整數步驟”意味著這列表0中的“大於1整數步驟”。
AMVR MV的參數誤差面 在一些實施例中，參數誤差面演算法用於導出AMVR的估計的分數MV結果。該AMVR具有4像素單元MVD、1像素單元MVD或者2像素單元MVD，參數誤差面演算法被應用於AMVR。例如，AMVR具有4像素單元的MV結果，以及參數誤差面演算法被應用於AMVR 來導出分數MV部分。
由大初始SAD值的提早跳過 在基於VVC的DMVR操作中，如果初始匹配位置的初始SAD小於預定閾值，DMVR操作被提早跳過。在一些實施例中，如果初始匹配位置的初始SAD大於預定閾值，DMVR操作被提早跳過。
快速DMVR編碼器演算法 在一些實施例中，為了支持DMVR操作中的MMVD，一個快速演算法被採用來僅對MMVD候選中的大距離候選執行DMVR操作。大距離候選是具有較大MVD的MMVD候選。
DMVR候選的部分選擇 在本發明的一些實施例中，預定規則被採用來選擇一些合併候選用於DMVR細化，因此DMVR操作被隱式關閉用於未選擇的合併候選。在一個實施例中，預定規則選擇偶數合併候選用於DMVR細化，如候選0、2、4等等。在一個實施例中，預定規則選擇奇數合併候選用於DMVR細化，如候選1、3、5等等。在另一個實施例中，預定規則選擇非空間合併候選用於DMVR細化。在又一實施例中，首先計算當前CU的角落空間相鄰MV的MV差異(diversity)，以及如果該MV差異較小，該DMVR操作被禁用用於該當前CU。
禁用BDOF用於大MVD修正 在一個實施例中，如果在執行DMVR操作後，DMVR搜索結果示出大MVD修正，後續的BDOF操作被關閉。例如，當初始MV與細化MV之間的MV差異大於閾值時，BDOF操作被禁用。
根據DMVR匹配重新排序MMVD候選 在一些實施例中，對每一MMVD候選執行SAD匹配，以及SAD匹配具有與DMVR操作類似的MVD鏡像行為。合併候選列表中的MMVD候選根據SAD匹配結果重新排序。
DMVR的簡化 有三個技術可以用於簡化DMVR操作。第一個技術與DMVR搜索型樣相關。在一個實施例中，DMVR搜索型樣被改變成一個 反覆運算中的全搜索，以致總共25個位置將被搜索以及將比較25個成本值。在另一個實施例中，DMVR搜索型樣被改變到9點用於每一反覆運算，例如，該9點包括中心位置以及8個連接位置。在又一實施例中，DMVR搜索型樣被改變成9點用於一個反覆運算。第一技術的通常情況是將DMVR搜索型樣改變到一個反覆運算或每一反覆運算中的M點。在該第一技術中，藉由限制DMVR的搜索範圍實現DMVR操作的簡化。
在第二技術的實施例中，DMVR的最終運動補償(MC)被移除，然而，由8抽頭傳統MC濾波器生成搜索區域。在第二技術的另一個實施例中，最終MC被改變到雙線性濾波器以及搜索範圍保持不變。
第三簡化技術與DMVR中的分數搜索操作相關。第三技術移除基於VVC的DMVR中的參數誤差面操作。
一些實施例組合兩個或多個描述的簡化技術。在一個實施例中，DMVR的最終運動補償被移除以及由8抽頭傳統MC濾波器生成搜索範圍，DMVR搜索型樣被改變成9點用於每一反覆運算，以及從DMVR操作中移除參數誤差面操作。在另一個實施例中，DMVR的最終運動補償被移除以及由8抽頭傳統MC濾波器生成搜索範圍，DMVR搜索型樣被改成成一個反覆運算中的全搜索，以及從DMVR操作中移除參數誤差面操作。在一個實施例中，DMVR的最終運動補償被改成成雙線性濾波器以及搜索區域保持不變，DMVR搜索型樣被改變成9點用於每一反覆運算，以及參數誤差面操作從DMVR操作中被移除。在另一個實施例中，DMVR的最終運動補償被改變成雙線性濾波器以及搜索範圍保持不變，DMVR搜索型樣被改變成一個反覆運算中的全搜索，以及從DMVR操作中移除參數誤差面。在組合第一以及第三技術的一個實施例中，DMVR搜索型樣被改變成一個反覆運算中的全搜索，以及從該DMVR操作中移除參數誤差面操作。在組合該第一技術與第三技術的另一個實施例中，DMVR 搜索被改變成9點用於每一反覆運算，以及參數誤差面操作被移除。
視訊編碼器以及解碼器實施例 前述提出的視訊編解碼方法可以在視訊編碼器或解碼器中實施。例如，提出的視訊處理方法被實施與編碼的幀間預測模組，與/或解碼器的幀間預測模組。在另一個示例中，提出的視訊處理方法被實施於編碼器的運動補償模組，與/或解碼器的運動補償模組。或者，任何提出的方法可以被實施為耦合到編碼器的幀間預測或運動補償模組與/或解碼器的幀間預測模組或運動補償模組的電路，以致提供幀間預測模組或運動補償模組所需要的資訊。
第16圖示出了實施本發明各種實施例的視訊編碼器1600的示例性系統框圖。幀內預測模組1610基於當前圖像的重構視訊資料提供幀內預測子。幀間預測模組1612基於來自其他一個或多個圖像的視訊資料執行運動估計(ME)以及運動補償(MC)來提供幀間預測子。為了根據本發明一些實施例由雙向預測編碼當前塊，幀間預測模組1612藉由從列表0參考圖像執行運動估計以及運動補償首先決定列表0參考塊以及藉由從列表1參考圖像執行運動估計以及運動補償決定列表1參考塊。當前塊被拆分成多個子分區用於運動細化。藉由用N像素細化搜索列表0以及列表1參考塊周圍來細化每一子分區的列表0以及列表1參考塊。為每一子分區導出細化的MV，以及如果每一子分區的運動補償所需要任何像素在子分區的參考塊之外，使用該子分區的參考塊的邊界像素生成填充像素。根據細化的MV，幀間預測模組1612執行運動補償用於每一子分區來生成該當前塊的最終幀間預測子。
幀內預測模組1610或幀間預測模組1612提供所選擇的預測子到加法器1616來形成預測誤差，也稱為預測殘差。當前塊的預測殘差進一步由變換模組(T)1618緊接著量化模組(Q)1620處理。已變換以及量化的殘差訊號然後由熵編碼器1632編碼來形成視訊位元流。當前塊的最終幀間預測子的運動資訊 也由熵編碼器1632編碼。視訊位元流然後與邊資訊一起打包。當前塊的已變換以及量化的殘差資訊由逆量化模組(IQ)1622以及逆變換模組(IT)1624處理來恢復預測殘差。如第16圖所示，藉由在重構模組(REC)1626添加回所選擇的預測子來生成重構視訊資料，恢復預測殘差。該重構視訊資料可以被存儲與參考圖像緩衝器(Ref.Pict.Buffer)1630以及用於其他圖像的預測。由於編碼處理，從REC 1626恢復的重構視訊資料可能受到各種損害，因此，在存儲到參考圖像緩衝器1630之前，環路處理濾波器1628被應用於重構視訊資料來進一步增強圖像品質。
在第17圖示出了解碼從第16圖的視訊編碼器1600生成的視訊位元流的對應的視訊解碼器1700。該視訊位元流是視訊解碼器1700的輸入以及由熵解碼器1710解碼來解析並恢復已轉換及量化的殘差訊號以及其他系統資訊。解碼器1700的解碼進程類似於在編碼器1600的重構環路，除了解碼器1700僅需要幀間預測模組1714中的運動補償預測。每一塊由幀內預測模組1712或幀間預測模組1714來解碼。開關1716根據解碼模式資訊選擇來自幀內預測模組1712的幀內預測子或者來自幀間預測1714的幀間預測子。為了解碼在雙向預測中編解碼的當前塊，根據初始MV，幀間預測模組1714藉由從列表0參考圖像執行運動補償決定列表0參考塊以及藉由從列表1參考圖像執行運動補償決定列表1參考塊。當前塊被首先拆分成多個子分區用於運動細化。幀間預測模組1714藉由用N像素細化搜索初始MV周圍執行運動細化來導出每一子分區的細化MV。在運動細化後，在需要一個或多個像素用於導出每一子分區的最終預測子的情況下，執行填充操作來生成每一子分區的填充像素。換言之，對子分區基礎執行填充操作而不是CU基礎。然後根據細化的MV導出當前塊的最終幀間預測子。與當前塊有關的已變換以及量化的殘差資訊由逆量化模組(IQ)1720以及逆變換模組(IT)1722來恢復。藉由在重構模組(REC)1718添加回最終幀間預測子重構當前塊的所恢復的殘差訊號來生成重構視訊。該重構視訊由 環路處理濾波器(濾波器)1724進一步處理來生成最終解碼視訊。如果當前解碼圖像是解碼次序中後續圖像的參考圖像，當前解碼圖像的重構視訊也被存儲於參考圖像緩衝器1726。
第16圖以及第17圖中的視訊編碼器1600以及視訊解碼器1700的各種元件可以由硬體元件、用於執行存儲於記憶體中的程式指令的一個或多個處理器或應用於處理器的組合來實施。例如，處理器執行程式指令來控制與當前圖像中當前塊相關的輸入資料的接收。處理器配備有單個或多個處理核心。在一些示例中，處理器執行程式指令來執行編碼器1600以及解碼器1700中一些元件的功能，以及電性耦合於處理器的記憶體用於存儲程式指令、對應於塊的重構圖像的資訊與/或編碼或解碼器進程中的中間資料。一些實施例中的記憶體包括非暫態電腦可讀媒介，如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或其他合適的存儲媒介。記憶體也可以是以上描述的兩個或多個非暫態電腦可讀媒介的組合。如第16圖以及第17圖所述，編碼器1600以及解碼器1700可以在相同的電子裝置中實施，如果在相同的電子裝置中實施，那麼編碼器1600以及解碼器1700的各種功能元件可以共用或再用。
用運動細化以及子分區基礎填充編碼或解碼雙向預測塊的視訊處理方法的實施例可以在集成到視訊壓縮晶片的電路或集成到視訊壓縮軟體的程式碼中實施來執行以上描述的處理。例如，用於生成運動補償預測子的填充操作可以在將在電腦處理器、數位訊號處理器(DSP)、微處理器或現場可程式閘陣列(FPGA)上執行的程式碼中實現。這些處理器可以用於執行根據本發明的特定任務，藉由執行定義由本發明呈現的特定方法的機器可讀軟體代碼或韌體代碼。
貫穿說明書對“一個實施例”、“一些實施例”或者類似語言意 味著結合實施例描述的特定特徵、結果或特性可以包括於本發明的至少一個實施例中。因此，貫穿說明書各個位置出現的短語“在一個實施例中”或“在一些實施例中”不都是指相同的實施例，這些實施例可以單獨或結合一個或多個其他實施例來實施。此外，所描述的特徵、結果或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域中的技術人員將認識到，本發明可以不具有一個或多個特定細節或用其他方法、元件等來實施。換言之，公知的細節或操作未被示出或詳細描述以避免混淆本發明的方面。
在不背離其精神以及基本特徵的情況下，本發明的可以以其他特定形式實施。所描述的示例在所有方面僅被考慮是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍指示而非前述的描述。申請專利範圍內的含義以及等同範圍內容的所有變化都在其範圍內。
S1502~S1514:步驟

Claims (20)

  1. 一種視訊編解碼系統中的處理視訊資料的方法，包括接收與一當前圖像中一當前塊相關的輸入資料；將該當前塊分割成多個子分區；對於該當前塊中的每一子分區：根據一初始MV從一個或多個參考圖像中獲得一參考塊；藉由利用N像素細化搜索該初始MV周圍來對每一子分區執行運動細化來導出一細化的MV；以及填充該參考塊的一個或多個邊界像素，該填充是子分區基礎填充，該填充該參考塊的一個或多個邊界像素包括藉由複製該參考塊的上方、下方、左邊以及右邊的邊界像素擴展每一子分區的該參考塊；根據該細化的MV執行該當前塊中該等子分區的運動補償來生成該當前塊的一最終預測子；以及根據該最終預測子編碼或解碼該當前塊。
  2. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，進一步包括檢查該當前塊的一尺寸、寬度或高度是否大於或等於一閾值，以及當該當前塊的該尺寸、寬度或高度大於或等於該閾值時，將該當前塊分割成多個子分區。
  3. 如申請專利範圍第2項所述之視訊編解碼系統中的處理視訊資料的方法，其中該閾值是16×16、16×8、8×16、8或16，以及從該當前塊拆分的每一子分區的一尺寸是16×16、16×8、或8×16樣本。
  4. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中每一子分區的一尺寸是W×H樣本以及每一子分區的該參考塊的 一尺寸是(W+7)×(H+7)樣本。
  5. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中被應用於每一子分區的該運動細化包括水平以及垂直方向上至多2像素細化的一整數搜索。
  6. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中導出該細化的MV包括應用一整數搜索緊接著是一分數樣本細化。
  7. 如申請專利範圍第6項所述之視訊編解碼系統中的處理視訊資料的方法，其中一8連接搜索型樣被用於該整數搜索，以及該8連接搜索型樣檢查與一中心位置相關的八個連接的整數位置，包括該中心位置的左邊、上方、右邊、下方、左上方、右上方、左下方以及右下方相鄰位置。
  8. 如申請專利範圍第6項所述之視訊編解碼系統中的處理視訊資料的方法，其中使用一參數誤差面操作來導出該分數樣本細化，以及一中心位置成本以及四個相鄰位置的成本用於最適一二維抛物線誤差面等式。
  9. 如申請專利範圍第8項所述之視訊編解碼系統中的處理視訊資料的方法，其中當一後續的雙向光流操作被啟用時，該參數誤差面操作被禁用。
  10. 如申請專利範圍第6項所述之視訊編解碼系統中的處理視訊資料的方法，其中應用該整數搜索包括採用一2像素距離MV變化用於該整數搜索中的一個搜索反覆運算。
  11. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中執行運動細化包括根據該當前塊的一尺寸或該當前圖像的一幀解析度，決定一搜索區域數目N。
  12. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中獲得每一子分區的該參考塊包括如果該初始MV具有一分數 部分，將參考圖像像素插入分數位置像素。
  13. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中為每一子分區獲得該參考塊包括直接使用該一個或多個參考圖像的原始整數像素，以及一參數誤差面操作被採用來決定一分數像素細化。
  14. 如申請專利範圍第13項所述之視訊編解碼系統中的處理視訊資料的方法，其中該初始MV被舍入到一最近整數MV，以及該舍入的MV被用於導出每一子分區的該參考塊。
  15. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，僅當使用該細化MV的該子分區的運動補償所需要的任何像素在該參考塊外時，填充該參考塊的一個或多個邊界像素用於該當前塊中的每一子分區。
  16. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中執行運動細化包括僅對一個或多個預定或所選擇的子分區執行運動細化，除該預定或所選擇子分區之外的其他子分區直接使用一相鄰子分區運動細化結果。
  17. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，其中如果一初始匹配位置的一初始絕對差和大於一預定閾值，運動細化被跳過用於該當前塊。
  18. 如申請專利範圍第1項所述之視訊編解碼系統中的處理視訊資料的方法，進一步包括如果該初始MV與該細化的MV之間的一MV差異大於一閾值，禁用一後續的雙向光流操作。
  19. 一種視訊編解碼系統中的處理視訊資料的裝置，該裝置包括一個或多個電子電路用於：接收與一當前圖像中一當前塊相關的輸入資料； 將該當前塊分割成多個子分區；對於該當前塊中的每一子分區：根據一初始MV從一個或多個參考圖像中獲得一參考塊；藉由利用N像素細化搜索該初始MV周圍來對每一子分區執行運動細化來導出一細化的MV；以及填充該參考塊的一個或多個邊界像素，該填充是子分區基礎填充，該填充該參考塊的一個或多個邊界像素包括藉由複製該參考塊的上方、下方、左邊以及右邊的邊界像素擴展每一子分區的該參考塊；根據該細化的MV執行該當前塊中該等子分區的運動補償來生成該當前塊的一最終預測子；以及根據該最終預測子編碼或解碼該當前塊。
  20. 一種存儲程式指令的非暫態電腦可讀媒介，該指令使得一裝置的處理電路執行視訊資料的視訊處理方法，以及該方法包括：接收與一當前圖像中一當前塊相關的輸入資料；將該當前塊分割成多個子分區；對於該當前塊中的每一子分區：根據一初始MV從一個或多個參考圖像中獲得一參考塊；藉由利用N像素細化搜索該初始MV周圍來對每一子分區執行運動細化來導出一細化的MV；以及填充該參考塊的一個或多個邊界像素，該填充是子分區基礎填充，該填充該參考塊的一個或多個邊界像素包括藉由複製該參考塊的上方、下方、左邊以及右邊的邊界像素擴展每一子分區的該參考塊；根據該細化的MV執行該當前塊中該等子分區的運動補償來生成該當前塊的一最終預測子；以及 根據該最終預測子編碼或解碼該當前塊。
TW109108461A 2019-03-14 2020-03-13 運動細化以及子分區基礎填充的視訊處理的方法以及裝置 TWI738248B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962818171P 2019-03-14 2019-03-14
US62/818,171 2019-03-14
WOPCT/CN2020/079288 2020-03-13
PCT/CN2020/079288 WO2020182216A1 (en) 2019-03-14 2020-03-13 Methods and apparatuses of video processing with motion refinement and sub-partition base padding

Publications (2)

Publication Number Publication Date
TW202038627A TW202038627A (zh) 2020-10-16
TWI738248B true TWI738248B (zh) 2021-09-01

Family

ID=72426942

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108461A TWI738248B (zh) 2019-03-14 2020-03-13 運動細化以及子分區基礎填充的視訊處理的方法以及裝置

Country Status (4)

Country Link
US (1) US11985324B2 (zh)
EP (1) EP3918804A4 (zh)
TW (1) TWI738248B (zh)
WO (1) WO2020182216A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11889099B2 (en) * 2019-03-05 2024-01-30 Hfi Innovation Inc. Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
EP4268468A1 (en) * 2020-12-22 2023-11-01 Qualcomm Incorporated Multi-pass decoder-side motion vector refinement
CN116998155A (zh) * 2021-02-20 2023-11-03 抖音视界有限公司 图像/视频编解码中的边界填充运动矢量剪裁
EP4364419A1 (en) * 2021-06-30 2024-05-08 Telefonaktiebolaget LM Ericsson (publ) Selective subblock-based motion refinement
CN117546466A (zh) * 2021-06-30 2024-02-09 瑞典爱立信有限公司 重叠解码器侧运动细化
WO2023060912A1 (en) * 2021-10-15 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US11968356B2 (en) * 2022-03-16 2024-04-23 Qualcomm Incorporated Decoder-side motion vector refinement (DMVR) inter prediction using shared interpolation filters and reference pixels
WO2023217235A1 (en) * 2022-05-12 2023-11-16 Mediatek Inc. Prediction refinement with convolution model
WO2023221993A1 (en) * 2022-05-16 2023-11-23 Mediatek Inc. Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121506A1 (en) * 2016-12-27 2018-07-05 Mediatek Inc. Method and apparatus of bilateral template mv refinement for video coding
WO2018130206A1 (en) * 2017-01-12 2018-07-19 Mediatek Inc. Method and apparatus of candidate skipping for predictor refinement in video coding

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3971930B2 (ja) 2002-01-18 2007-09-05 日本電信電話株式会社 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2008084996A1 (en) 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
US8111755B2 (en) 2008-06-25 2012-02-07 International Business Machines Corporation Method and system for low-complexity Slepian-Wolf rate estimation in Wyner-Ziv video encoding
US8467346B2 (en) 2009-06-19 2013-06-18 Futurewei Technologies, Inc. Method and apparatus for generating time-frequency patterns for reference signal in an OFDM wireless communication system
KR20110050283A (ko) 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
US8837592B2 (en) 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US20120102154A1 (en) 2010-10-26 2012-04-26 Futurewei Technologies, Inc. Cloud-Based Transcoding Platform Systems and Methods
JP2013005077A (ja) 2011-06-14 2013-01-07 Sony Corp 画像処理装置および方法
US20130301727A1 (en) * 2012-05-14 2013-11-14 Qualcomm Incorporated Programmable and scalable integer search for video encoding
JP6278900B2 (ja) 2012-12-26 2018-02-14 シャープ株式会社 画像復号装置
US20140192862A1 (en) 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
GB201305812D0 (en) 2013-03-28 2013-05-15 Univ Warwick Gesture tracking and classification
CN105393534A (zh) 2013-06-18 2016-03-09 夏普株式会社 照度补偿装置、lm预测装置、图像解码装置、图像编码装置
US9860529B2 (en) 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
WO2015050483A1 (en) 2013-10-01 2015-04-09 Telefonaktiebolaget L M Ericsson (Publ) Encoder and method for video processing
JP6569665B2 (ja) 2014-03-25 2019-09-04 株式会社ソシオネクスト 画像復号装置、画像復号方法、及び集積回路
CN106797475B (zh) 2014-10-08 2019-12-10 联发科技股份有限公司 视频编码方法
KR102302674B1 (ko) 2015-05-13 2021-09-16 삼성전자주식회사 영상신호 제공장치 및 영상신호 제공방법
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10477231B2 (en) 2015-06-16 2019-11-12 Lg Electronics Inc. Method and device for predicting block on basis of illumination compensation in image coding system
US20180249172A1 (en) 2015-09-02 2018-08-30 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
US10999595B2 (en) 2015-11-20 2021-05-04 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
US20170150186A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Flexible transform tree structure in video coding
US10362314B2 (en) 2015-11-27 2019-07-23 Mediatek Inc. Apparatus and method for video coding by intra-prediction
KR101698314B1 (ko) 2015-12-09 2017-01-20 경북대학교 산학협력단 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
MX2021012481A (es) 2016-03-16 2022-05-30 Hfi Innovation Inc Metodo y aparato de procesamiento de datos de video con tama?o restringido de bloque en codificacion de video.
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN116708781A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018028615A1 (en) 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
US10880552B2 (en) 2016-09-28 2020-12-29 Lg Electronics Inc. Method and apparatus for performing optimal prediction based on weight index
US10798404B2 (en) 2016-10-05 2020-10-06 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation
WO2018097693A2 (ko) 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
WO2018166357A1 (en) 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of motion refinement based on bi-directional optical flow for video coding
US11184636B2 (en) 2017-06-28 2021-11-23 Sharp Kabushiki Kaisha Video encoding device and video decoding device
CN110786013B (zh) 2017-06-30 2022-06-14 华为技术有限公司 用于运动向量细化的搜索区域
GB2564133B (en) 2017-07-04 2021-03-17 Canon Kk Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
JP7182000B2 (ja) * 2018-11-16 2022-12-01 北京字節跳動網絡技術有限公司 インター－イントラ複合予測モードにおける重み
CN113170097B (zh) * 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
US11930184B2 (en) * 2019-03-08 2024-03-12 Interdigital Ce Patent Holdings, Sas Motion vector derivation in video encoding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121506A1 (en) * 2016-12-27 2018-07-05 Mediatek Inc. Method and apparatus of bilateral template mv refinement for video coding
WO2018130206A1 (en) * 2017-01-12 2018-07-19 Mediatek Inc. Method and apparatus of candidate skipping for predictor refinement in video coding

Also Published As

Publication number Publication date
US20220150507A1 (en) 2022-05-12
EP3918804A4 (en) 2023-02-08
CN113545081A (zh) 2021-10-22
TW202038627A (zh) 2020-10-16
US11985324B2 (en) 2024-05-14
EP3918804A1 (en) 2021-12-08
WO2020182216A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
TWI738248B (zh) 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
CN110581998B (zh) 视频处理方法、装置和计算机可读记录介质
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TWI720532B (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
CN112544082B (zh) 一种视频编解码的帧间预测方法及装置
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
CN113424525A (zh) 解码器侧细化工具的尺寸选择性应用
TW202139702A (zh) 視訊編解碼系統中的視訊處理方法和裝置
CN113316935A (zh) 使用局部照明补偿的运动候选列表
WO2020177665A1 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
CN112840645A (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
CN112292861B (zh) 用于解码端运动矢量修正的基于误差面的子像素精确修正方法
CN115086677A (zh) 运动候选推导
CN115086675A (zh) 运动候选推导
CN115086676A (zh) 运动候选推导
CN113545081B (zh) 视频编解码系统中的处理视频数据的方法以及装置
TW202349962A (zh) 使用具有運動向量差的合併模式的視訊編解碼方法和裝置
CN117546464A (zh) 视频处理的方法、设备和介质
CN113557720A (zh) 视频编解码中的多假设预测当中的自适应权重