TWI730380B - 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質 - Google Patents

在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質 Download PDF

Info

Publication number
TWI730380B
TWI730380B TW108129241A TW108129241A TWI730380B TW I730380 B TWI730380 B TW I730380B TW 108129241 A TW108129241 A TW 108129241A TW 108129241 A TW108129241 A TW 108129241A TW I730380 B TWI730380 B TW I730380B
Authority
TW
Taiwan
Prior art keywords
weight
list
current block
predictor
candidate
Prior art date
Application number
TW108129241A
Other languages
English (en)
Other versions
TW202015441A (zh
Inventor
蘇郁琪
陳慶曄
黃毓文
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202015441A publication Critical patent/TW202015441A/zh
Application granted granted Critical
Publication of TWI730380B publication Critical patent/TWI730380B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊編解碼系統中利用雙向預測處理視訊的方法和設備，用於藉由雙向預測來對當前塊進行編碼或解碼。所述方法包含利用多個權重集來混合列表0預測子和列表1預測子，並且可以基於視訊資訊隱式地確定在多個權重集中的選擇。每個權重集是由多個候選權重組成的，並且所述方法包含為所述當前塊選擇一個候選權重。所述方法另包含將與針對所述當前塊所選擇的權重相關聯的權重對用於對針對所述當前塊的列表0預測子以及針對列表1預測子進行加權平均，以生成最終幀間預測子。其中所述視訊處理方法和設備根據所述當前塊的最終幀間預測子來對所述當前塊進行編碼或解碼。

Description

在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和 可讀介質
本發明涉及視訊編碼和解碼系統中的視訊處理方法和設備。特別地，本發明涉及在幀間預測中藉由雙向預測來對視訊資料進行編碼或解碼。
高效視訊編碼(HEVC)標準是由ITU-T研究組的視訊編碼聯合協作小組(JCT-VC)的視訊編碼專家開發的最新視訊編碼標準。HEVC標準提高了其進行中的標準H.264/AVC的視訊壓縮性能，以滿足對更高的圖片解析度、更高的畫面播放速率以及更好的視訊品質的需求。即將到來的稱為通用視訊編碼(VVC)的視訊標準針對的是新一代視訊壓縮技術，該技術具有比HEVC標準更高的壓縮能力。VVC標準中解決了三類視訊，分別是標準動態範圍視訊(SDR)、高動態範圍視訊(HDR)以及360°視訊。在VVC標準的開發期間提出了許多編碼工具，以提高視訊壓縮效率，與幀間預測中應用的雙向預測有關的一些編碼工具包括具有CU權重的雙向預測(BCW)和雙向光流(BDOF)。
具有CU權重的雙向預測(BCW)也稱為廣義雙向預測(GBi)，它是一種編碼工具，旨在藉由允許將不同的權重用於在雙向預測中組合列表0 預測子(predictor)以及列表1預測子來增加視訊壓縮增益，而非像傳統的雙向預測那樣使用相等的權重。BCW計算雙向預測塊的最終幀間(inter)預測子，作為藉由根據兩個參考圖片執行運動補償而得出的兩個預測子的加權平均值。可以自我調整地確定這兩個預測子的權重。式1示出了由傳統的雙向預測生成的最終幀間預測子PTraditionalBiPred，式2示出了由BCW生成的最終幀間預測子PGBi。
PTraditionalBiPred=(PL0+PL1+RoundingOffset)>>shiftNum 式1
PGBi=(w0×PL0+w1×PL1+RoundingOffsetGBi)>>shiftNumGbi 式2
根據式2，在混合前分別根據選擇的權重w0和權重w1對列表0預測子PL0和列表1預測子PL1進行了加權。RoudingOffset、shiftNum、RoundingOffsetGBi以及shiftNumGBi分別表示傳統的雙向預測和BCW中的用於歸一化雙向預測子的數量。從權重集中選擇列表1預測子PL1的權重w1的值，其中，權重集是由預定義數量的候選權重組成的。例如，權重集包括7個候選權重{-1/4、1/4、3/8、1/2、5/8、3/4、5/4}，並且除了候選權重1/2之外，其它所有候選權重都與不相等的權重對相關聯。使用索引來指示權重集中針對列表1預測子PL1選擇的權重w1的位置。在權重對(w1，w2)的混合增益(blending gain)被固定成1時，藉由式3根據所選擇的權重w1來得出列表0預測子PL0的對應權重w0。
w0=1-w1 式3
對於藉由普通幀間預測模式(也稱為高級運動向量預測(AMVP)模式)編碼的塊，視訊編碼器針對藉由雙向預測編碼的各個塊顯式地通報(signaling)BCW中的權重選擇。對於藉由跳過(Skip)或合併(Merge)模式編碼的塊，BCW中的權重選擇是從所選擇的合併候選者繼承的。
雙向光流(BDOF)BDOF藉由假設光流和物體的穩定運動來實現樣本級運動細化(refinement)。BDOF僅適用於真正雙向預測的塊，其中，真正雙向預測的塊是當前圖片中根據兩個參考圖片預測的塊，一個參考圖片是在前圖片，而另一參考圖片是在後圖片。藉由將從列表0的參考圖片檢索到的一個列表0預測子和從列表1的參考圖片檢索到的一個列表1預測子進行混合，可以得出雙向預測塊的預測子。第1圖例示了應用BDOF以將雙向片(slice)(B-片)中的雙向預測塊中的一個特定樣本進行細化的示例，其中，該樣本是藉由兩個參考圖片(參考0和參考1)中的對應的像素來預測的。BDOF使用5×5視窗來得出每個樣本的運動細化，因此，對於每個N×N塊，需要(N+4)×(N+4)塊的對應的梯度資訊和運動補償結果以得出基於樣本的運動細化。在BDOF中，使用6抽頭梯度濾波器和6抽頭內插濾波器來生成梯度資訊。BDOF的計算複雜度遠高於傳統的雙向預測的計算複雜度。
在HEVC標準支援的傳統雙向預測中，幀間預測子是根據式4中所示的公式來生成的，其中，P(0)和P(1)分別是對應的列表0預測子和列表1預測子。
P Conventional[i,j]=(P (0)[i,j]+P (1)[i,j]+1)>>1 式4
式5中示出了藉由BDOF生成的幀間預測子，其中，Ix (0)和Ix (1)分別表示列表0預測子和列表1預測子這兩者中的x方向梯度，並且Iy (0)和Iy (1)分別表示列表0預測子和列表1預測子這兩者中的y方向梯度。x方向的偏移和y方向的偏移分別為vx和vy，並且將這些偏移用於細化幀間預測子中的樣本，如第1圖所示。
Figure 108129241-A0305-02-0006-3
可以基於內插結果直接得出x方向梯度和y方向梯度，或者可以使用梯度濾波器和內插濾波器的另一集合來計算這些梯度。還引入了一種附加移位(梯度移位)，以在各個梯度的得出過程中對梯度值進行歸一化。以下示出了偏移vx和vy的得出過程。首先，定義了成本函數diffCost(x,y)以搜索偏移vx和vy的最優值。如式6所示，偏移vx和vy的最優值使成本函數diffCost(x,y)最小化，並且使用一個5×5視窗來得出運動細化。如式7所示，可以使用參數S1、S2、S3、S5以及S6來表示偏移vx和vy的解。
Figure 108129241-A0305-02-0006-1
Figure 108129241-A0305-02-0006-2
可以根據式8進一步簡化用於計算偏移vx和vy這兩者的公式。
Figure 108129241-A0305-02-0007-4
可以看到，BDOF過程中所需的位深(bitdepth)是相對較大的，尤其是對於計算五個參數S1、S2、S3、S5以及S6而言。在示例中，視訊序列中的像素值的位元深為10位元，並且藉由分數內插濾波器或梯度濾波器來增加梯度的位深，例如，表示一個x方向梯度或者一個y方向梯度所需的位深為15位。可以藉由梯度移位來減少這15位，例如，在四位梯度移位之後，用11位來表示一個梯度值。即使藉由使用梯度移位將梯度的大小減小到11位，BDOF操作所需的位深仍然很大。需要一個12位元乘以12位的乘法器來計算參數S1、S2以及S5，而需要另一個12位元乘以15位的乘法器來計算參數S3和S6。當視窗大小相對較大時，需要超過32位元來表示參數S3和S6。
跳過和合併因為運動資訊是從空間上相鄰的塊或者時間上並置的塊繼承而來的，所述跳過模式和合併模式可提高幀間預測的編碼效率。為了以跳過或合併模式來對塊進行編碼，並非是通報運動資訊，而僅是通報表示從候選者集合中選擇的最終合併候選者的索引。以跳過或合併模式編碼的塊重複使用的運動資訊包括：運動向量(MV)、幀間預測子以及所選擇的最終候選者的參考圖片索引。注意到，如果選擇的最終候選者是時間運動候選者，則將參考圖片索引始終設定成零。當以合併模式對塊進行編碼時，對預測殘差進行編碼，然而由於以跳過模式編碼的塊的殘差數據被強制為零，因此跳過模式還跳過了通報預測殘差。
在HEVC標準中針對以跳過或合併模式編碼的當前預測單元 (PU)20的合併候選者集合是由與當前PU 20的相鄰塊相關聯的四個空間運動候選者以及與當前PU 22的並置PU 22相關聯的一個時間運動候選者組成的。如第2圖所示，第一合併候選者是左預測子A1 212、第二合併候選者是上預測子B1 214、第三合併候選者是右上預測子B0 213以及第四合併候選者是左下預測子A0 211。合併候選者集合中包括左上預測子B2 215，以替換不可用的空間預測子。第五合併候選者是第一可用時間預測子TBR 221和TCTR 222中的時間預測子。編碼器基於運動向量補償(諸如藉由率失真優化(RDO)決定)，針對以跳過或合併模式編碼的每個PU，從候選者集合中選擇一個最終候選者，並且向解碼器通報表示所選擇的最終候選者的索引。解碼器根據在視訊位元流中發送的索引從候選者集合中選擇相同的最終候選者。由於跳過和合併候選者的得出類似，因此為方便起見，下文中所稱的“合併”模式可以對應於合併模式以及跳過模式。
局部照明補償(LIC)LIC是一種編碼工具，該編碼工具使用當前塊和參考塊中的相鄰樣本來執行幀間預測，以減少從一個圖片到另一圖片的照明波動。LIC基於使用縮放因數a和偏移b的線性模型。藉由參照當前塊和參考塊中的相鄰樣本來得出縮放因數a和偏移b。可以針對每個CU自我調整地啟用或禁用LIC。
視訊編解碼系統中的視訊處理的示例性方法執行雙向運動補償以對視訊塊進行編碼或解碼。示例性視訊處理方法包括以下步驟：接收與當前圖片中的當前塊相關聯的輸入視訊資料，並且藉由根據列表0中的參考圖片執行運動補償來確定所述當前塊的列表0預測子並且藉由根據列表1中的參考圖片執行運動補償來確定所述當前塊的列表1預測子。根據本發明的實施方式， 選擇多個權重集中的一個權重集用於對所述當前塊進行處理。每個權重集是由若干候選權重組成的，並且所述多个權重集中的一個權重集中的至少一個候選權重不在另一權重集中。所述視訊處理方法還包括以下步驟：針對所述當前塊從所選擇的權重集中選擇權重，並且藉由使用與針對所述當前塊所選擇的權重相關聯的權重對對所述列表0預測子以及列表1預測子進行加權平均來計算最終幀間預測子。根據當前塊的最終幀間預測子來對當前塊進行編碼或解碼。
每個權重集可以包含不同數量的候選權重，例如，一個權重集包括五個候選權重，而另一權重集包括七個候選權重。在本發明的一些實施方式中，針對當前塊的權重集是基於與以下項中的一項或組合有關的視訊資訊而隱式地選擇的：時間層ID、所述當前圖片與參考圖片之間的計數圖片(POC)差異、低延遲視訊圖片或者非低延遲視訊圖片、量化參數(QP)、編碼單元(CU)大小、編碼樹單元(CTU)大小以及指示列表1的運動向量差異(MVD)是否等於零的標誌。例如，如果所述當前圖片是低延遲視訊圖片，則選擇具有五個候選權重的第一權重集用於所述當前塊，而如果所述當前圖片是非低延遲視訊圖片，則選擇具有三個候選權重的第二權重集用於所述當前塊。
在實施方式中，將與每個候選權重相關聯的權重對的混合增益固定成1，所述權重對包括所述列表0預測子的權重和所述列表1預測子的權重，並且所述列表1預測子的權重是所述候選權重，而所述列表0預測子的權重是藉由將1減去所述候選權重而得出的。在另一實施方式中，未將與每個候選權重相關聯的權重對的混合增益全部固定成1，將至少一個候選權重與具有合計不為1的權重的權重對相關聯，而將其餘的候選權重與具有合計為1的權重的權重對相關聯。
選擇權重的實施方式包括：如果所述當前塊是按高級運動向量預測(AMVP)模式編碼的或者是要以高級運動向量預測(AMVP)模式編碼的， 則顯式地通報或解析索引以指示針對所述當前塊所選擇的權重，而如果所述當前塊是以合併或跳過模式進行編碼的或者是要以合併或跳過模式進行編碼的，則隱式地確定所述選擇的權重。當所述當前塊的運動資訊是從選擇的合併候選者繼承時，從所選擇的合併候選者繼承所選擇的權重。
所述視訊處理方法的示例性實施方式還包括用於在所述視訊編解碼系統中對所述當前塊的權重進行選擇的預選過程，所述預選過程跳過對所選擇的權重集中的一個或更多個候選權重的評估而僅對所選擇的權重集中的剩餘的候選權重進行評估，並且根據所述預選過程的評估結果從所述剩餘的候選權重中選擇所述權重。在一個實施方式中，對通報或解析索引以指示針對所述當前塊在所選擇的權重集中所選擇的權重，並且如果在預選過程中跳過所選擇的權重集中的一個或更多個候選權重的評估，則自我調整地調節所述索引。
在一些實施方式中，所述權重集中的每個權重集是由與相等的權重對相關聯的一個候選權重以及與不相等的權重對相關聯的多個候選權重組成的，並且只有當所選擇的權重與所述相等的權重對相關聯的時候，才基於雙向光流對所述當前塊的列表0預測子和列表1預測子中的樣本進行細化。
在所述視訊處理方法的變體中，示例性實施方式在雙向預測中僅啟用具有CU權重的雙向預測(BCW)編碼工具和雙向光流(BDOF)編碼工具中的一種編碼工具。所述視訊處理方法包括以下步驟：接收與當前塊相關聯的輸入資料，藉由根據列表0中的參考圖片執行運動補償來確定針對所述當前塊的列表0預測子並且藉由根據列表1中的參考圖片執行運動補償來確定針對所述當前塊的列表1預測子，藉由僅啟用BCW編碼工具和BDOF編碼工具中的一個編碼工具，使用所述列表0預測子和列表1預測子來計算所述當前塊的最終幀間預測子，並且根據所述當前塊的最終幀間預測子來對所述當前塊進行編碼或解碼。在啟用所述BCW編碼工具時，允許將不同的權重用於混合所述 列表0預測子和所述列表1預測子，而在啟用所述BDOF編碼工具時，基於光流理論對所述列表0預測子中的樣本和列表1預測子中的樣本進行細化。在一些實施方式中，所述視訊處理方法還包括以下步驟：針對所述當前塊從權重集中選擇權重，並且藉由使用與所選擇的權重相關聯的權重對對所述列表0預測子和列表1預測子進行加權平均來計算最終幀間預測子。所述權重集是由與相等的權重對相關聯的一個候選權重以及與不相等的權重對相關聯的多個候選權重組成的。當針對所述當前塊所選擇的權重與所述相等的權重對相關聯時，禁用所述BCW編碼工具，而當所述BCW編碼工具被禁用時，啟用所述BDOF編碼工具，以對所述列表0預測子中的樣本和列表1預測子中的樣本進行細化。在一些其它情況下，當針對所述當前塊所選擇的權重與所述不相等的權重對相關聯時，啟用所述BCW編碼工具而禁用所述BDOF編碼工具。
在僅啟用所述BCW編碼工具和BDOF編碼工具中的一種編碼工具的實施方式中，首先評估與所述相等的權重對相關聯的所述候選權重，並且如果在AMVP模式測試中的所述相等的權重對的最佳模式不是仿射幀間模式，則在評估與所述不相等的權重對相關聯的所述候選權重期間跳過對仿射幀間模式的測試。
可以根據與所述當前圖片與參考圖片之間的圖片距離、QP或者時間層ID有關的資訊來選擇針對所述當前塊的權重。在將所述BDOF編碼工具應用於所述當前塊的一些實施方式中，將列表0內插像素與列表1內插像素之間的梯度和的範圍以及差異的範圍中的一者或兩者以預定義的位深進行向右移位。將列表0內插像素與列表1內插像素之間的梯度和的範圍以及差異的範圍中的一者或兩者在進行向右移位之前或之後是藉由剪裁來進行限制的。
本公開的各方面還提供了用於在視訊編解碼系統中對視訊資料進行處理的設備的實施方式。所述設備的實施方式包括一個或更多個電子電路， 所述一個或更多個電子電路被配置為：接收當前圖片中的當前塊的輸入資料，藉由執行運動補償來確定針對所述當前塊的列表0預測子和列表1預測子，從多個權重集中選擇權重集，針對所述當前塊從所選擇的權重集中選擇權重，藉由使用與針對所述當前塊所選擇的權重相關聯的權重對對所述當前塊的列表0預測子以及列表1預測子進行加權平均來計算最終幀間預測子；以及根據所述當前塊的最終幀間預測子來對所述當前塊進行編碼或解碼。每個權重集是由多個候選權重組成的，並且所述權重集中的一個權重集中的至少一個候選權重不在另一權重集中。在所述設備的另一實施方式中，僅啟用了所述BCW編碼工具和BDOF編碼工具中的一種編碼工具，用於對每個雙向預測塊的最終幀間預測子進行計算。
本公開的各方面還提供了一種存儲程式指令的非暫時性電腦可讀介質，所述程式指令使設備的處理電路執行視訊處理方法，所述視訊處理方法利用從多個權重集中的一個權重集中選擇的權重來對當前塊進行編碼或解碼，以用於混和列表0預測子和列表1預測子。可以根據與低延遲視訊圖片或非低延遲視訊圖片有關的視訊資訊或者指示列表1的MVD是否等於零的標誌來選擇所述權重集。
藉由閱讀下面對具體實施方式的描述，本發明的其它方面和特徵對於本領域普通技術人員將變得顯而易見。
215:左上預測子
212:左預測子
214:上預測子
213:右上預測子
211:左下預測子
221、222:第一可用時間預測子
20、22:當前PU
S302-S312、S402-S414:步驟
500:視訊編碼器
510:幀內預測模組
512:幀間預測模組
514:開關
516:加法器
518:變換模組(T)
520:量化模組(Q)
532:熵編碼器
522:逆量化模組(IQ)
524:逆變換模組(IT)
526:重建模組(REC)
530:參考圖片緩衝器(Ref.Pict.Buffer)
528:處理濾波器
600:視訊解碼器
610:熵解碼器
614:幀間預測模組
612:幀內預測模組
616:開關
620:逆量化模組(IQ)
622:逆變換模組(IT)
618:重建模組(REC)
624:處理濾波器(濾波器)
626:參考圖片緩衝器
參照下面的附圖，對本公開的作為示例提出的各種實施方式進行詳細描述，並且其中：第1圖例示了將雙向光流(BDOF)應用於樣本細化的示例。
第2圖例示了用於構造在HEVC標準中定義的合併候選者集合的空間運動候選 者和時間運動候選者的位置。
第3圖是示出了藉由雙向預測處理當前塊的本發明的示例性實施方式的流程圖。
第4圖是示出了藉由雙向預測處理當前塊的本發明的另一示例性實施方式的流程圖。
第5圖例示了根據本發明的實施方式的結合視訊處理方法的視訊編解碼系統的示例性系統框圖。
第6圖例示了根據本發明的實施方式的結合視訊處理方法的視訊解碼系統的示例性系統框圖。
容易理解，如在本文中一般性描述的且在附圖中例示的，本發明的元件可以各種不同的配置來佈置和設計。因此，如在附圖中所示的，下面對本發明的系統和方法的實施方式的更詳細描述並非旨在對所要求保護的本發明的範圍進行限制，而只是代表本發明的選擇實施方式。在本公開中，描述了用於利用BCW編碼工具處理雙向預測塊的系統和方法，並且可以在視訊編碼器或視訊解碼器中實現這些方法中的每一種方法或方法組合。第5圖和第6圖分別例示了實現所述方法中的一種方法或方法組合的示例性視訊編碼器和解碼器。本公開的各個實施方式提高了壓縮效率和/或降低了計算複雜度。本文所述的系統和方法是按以下部分進行組織的。“BCW的多個預定義權重集”部分展示了在BCW中採用一個以上權重集來處理雙向預測塊的示例性方法。“不等於一的混合增益”部分描述了允許權重對的混合增益不等於1的示例性實施方式。“編碼器處權重對的預選”部分描述了一種採用預選過程來跳過對權重集中的一個或更多個候選權重進行評估的示例性方法。“BCW與BDOF之間的交互”部分描述 了在雙向預測中實現BCW編碼工具和BDOF編碼工具的各種示例性方法。“仿射幀間模式的提早終止”部分例示了在對雙向預測塊的不相等的權重對進行評估期間將仿射幀間模式提早終止的示例性實施方式。“用於單向預測的參數得出與通報”部分描述了從多個預定義參數集中選擇LIC的參數的示例性實施方式。“在BDOF中對梯度和的範圍和/或像素差異進行移位元”部分以及“在BDOF中對梯度和的範圍進行限制和移位元和/或對像素差異進行限制和移位元”部分描述了減小BDOF編碼工具所需的乘法器大小的一些示例。“視訊編碼器和解碼器的實現”部分與第5圖和第6圖一起例示了結合所述視訊處理方法中的一種方法或方法組合的視訊編碼系統與視訊解碼系統。
為了提高BCW或BDOF編碼工具的編碼性能，或者降低BDOF所需的位深或計算複雜度，以下段落呈現了各種視訊處理方法。
BCW的多個預定義權重集具有CU權重的雙向預測(BCW)(也稱為廣義雙向預測(GBi))是這樣的技術，即，當在雙向預測中對當前塊進行編碼時或者要對當前塊進行編碼時，該技術允許將不同的權重用於混合列表0參考塊和加權的列表1參考塊，以對當前塊進行預測。在常規的BCW編碼工具中，對於所有雙向預測塊，僅使用一個預定義的權重集。藉由從相同的權重集中選擇一個權重來針對每個雙向預測塊確定權重對。本發明的示例性實施方式在BCW編碼工具中採用兩個或更多個預定義的權重集。每個權重集是由預定的候選權重組成的，並且一個權重集中有至少一個候選權重不在另一個權重集中。每個權重集中的權重或偏移的數量可能不同。例如，一個權重集是由五個候選權重組成的，而另一權重集是由七個候選權重組成的。在本發明的一些實施方式中，基於視訊資訊隱式地確定在多個權重集當中的選擇。例如，可以根據時間層ID、當前圖片與參考圖片之間的計數圖片(POC)差異、或者當前視訊是低延遲的還是非低延遲的來隱式地選擇BCW中用於對當前圖片中的當前塊進 行編碼的權重集。在一些其它實施方式中，可以根據量化參數(QP)、CU大小、CTU大小或者標誌mvd_l1_zero_flag的值，在塊級別或CU級別更自我調整地確定對權重集的選擇，其中，mvd_l1_zero_flag指示列表1的運動向量差(MVD)是否等於零。在又一實施方式中，在編碼器側自我調整地確定BCW中使用的權重集，然後將該權重集顯式地發信號至解碼器側，以使解碼器側可以根據視訊位元流來對該權重集進行解析。
在根據mvd_l1_zero_flag的值從兩個權重集中選擇權重集的實施方式中，如果當前塊的mvd_l1_zero_flag等於零(這意味著列表1中存在非零MVD)，則採用第一權重集{-1/4，3/8，1/2，5/8，5/4}，否則就採用第二權重集{11/8，3/4，1/2，5/8，5/4}來對所述當前塊進行編碼或解碼。在該實施方式中，在所述兩個權重集中僅僅前兩個候選權重是不同的，其餘的候選權重都是相同的。使用預定義的權重集中的一個預定義的權重集來得出權重w0和權重w1中的一個，例如，從預定義的權重集中選擇權重w1，而根據權重w1得出權重w0，並且在該示例中，權重w0是藉由1減去權重w1而計算出的。在此示例中，兩個權重集包括列表1預測子的權重，因此，當採用第一權重集{-1/4，3/8，1/2，5/8，5/4}時，針對w0的對應權重集為{5/4，5/8，1/2，3/8，-1/4}，或者當採用第二權重集{11/8，3/4，1/2，5/8，5/4}時，針對w0的對應權重集為{-3/8，1/4，1/2，3/8，-1/4}。
在優選實施方式中，視訊編碼器或解碼器根據當前視訊是低延遲視訊還是非低延遲視訊，在兩個權重集當中針對權重w0和w1中的一個權重確定權重集。例如，針對低延遲視訊選擇第一權重集{-1/4，3/8，1/2，5/8，5/4}，而針對非低延遲視訊選擇第二權重集{3/8，1/2，5/8}，並且由於這兩個權重w1和w0的混合增益被固定成1，因此對應的權重集為{5/4，5/8，1/2，3/8，-1/4}和{5/8，1/2，3/8}。即，如果兩個權重集被用於權重w1，則兩個對應的權重集 被用於權重w0。在該示例中，第一權重集具有五個候選權重，因此，在BCW中，與非低延遲視訊中的雙向預測塊相比，低延遲視訊中的雙向預測塊具有更多的權重選擇。第二個權重集只有三個候選權重，並且一個候選權重(即，1/2)對應于相等的權重對，而兩個候選權重(即，3/8和5/8)對應兩個不相等的權重對。對於每個雙向預測塊，首先根據該塊是否在低延遲視訊圖片中來選擇權重集，接著確定索引以從所選擇的權重集中選擇候選權重。該索引會被顯式地通報或者被隱式地確定，例如，如果雙向預測塊是以合併或跳過模式進行編碼或者是要以合併或跳過模式進行編碼，則所述索引是從選擇的合併候選者繼承的，而如果雙向預測塊是以AMVP模式進行編碼或者要以AMVP模式進行編碼，則在CU級別通報該索引，以使解碼器可以在CU級別對該索引進行解碼。
在實現例中，藉由式9來計算雙向預測塊的最終BCW預測子，其中，P0是列表0預測子，P1是列表1的預測子，並且w是從針對列表1預測子的多個預定義的權重集中的一個預定義的權重集中選擇的權重。將兩個加權的預測子和偏移值相加，然後移位3位，其中，移位3位等效於除以8。針對權重w的預定義的權重集的一些示例是{-2，3，4，5，10}和{3，4，5}。
BCW預測子=((8-w)×P0+w×P1+偏移)>>3 式9
第3圖示出了根據本發明的實施方式的藉由雙向預測處理當前塊的視訊處理方法的流程圖。在步驟302中，視訊編碼系統或視訊解碼系統接收當前塊的輸入資料，並且當前塊是要藉由視訊編碼系統中的雙向預測進行編碼的，或者當前塊是藉由視訊解碼系統中的雙向預測進行解碼的。在步驟S304中，基於當前塊的運動資訊，藉由根據L0參考圖片執行運動補償來確定當前塊的列表0(L0)預測子，並且藉由根據L1參考圖片執行運動補償來確定當前塊的列表1(L1)預測子。存在兩個或更多個權重集可用於對L0預測子和L1預測子進行加權平均，並且在步驟S306中，視訊編碼系統或視訊解碼系統從多個 權重集中選擇一個權重集用於對當前塊進行處理。每個權重集是由多個候選權重組成的，例如，一個候選權重與相等的權重對相關聯，而剩餘的候選權重與不相等的權重對相關聯。相等的權重對和不相等的權重對中的每個權重對是用於對L0預測子和L1預測子進行加權平均的。在步驟S308中，從針對當前塊選擇的權重集中選擇權重，並且在步驟S310中，藉由使用與所選擇的權重相關聯的權重對對L0預測子和L1預測子進行加權平均來計算最終幀間預測子。在步驟S312中，視訊編解碼系統或視訊解碼系統根據最終幀間預測子對當前塊進行編碼或解碼。藉由雙向預測對塊進行編碼的處理順序可以與第3圖的流程圖所示的處理順序不同，例如，可以在步驟S302與步驟S304之前執行從多個權重集中選擇權重集的步驟S306，因為可以針對整個片、圖片或視訊資料序列來選擇權重集。
不等於一的混合增益 在一些實施方式中，如在先前實施方式中所述，列表0預測子的權重w0與列表1預測子的權重w1之和不必為1，即，權重對的混合增益沒有被固定成1。將具有合計為一的權重的權重對稱為等於一的集合，而將具有合計不為一的權重的權重對稱為不等於一的集合。w0或w1的權重集可以包含與等於一的集合相關聯的一個或更多個權重，以及與不等於一的集合相關聯的一個或更多個權重。例如，w1的權重集為{-1/4，3/8，1/2，5/8，5/4}，而w0的對應的權重集為{7/4，5/8，1/2，3/8，-2/4}，因此，第一個候選權重和最後一個候選權重是不等於一的集合，而其餘的候選權重是等於一的集合。
在實施方式中，結合採用多個權重集的方法來實現允許不等於一的混和增益的方法，例如，第一權重集僅包含等於一的集合，而第二權重集包含等於一的集合和不等於一的集合兩者，並且可以基於諸如mvd_l1_zero_flag、低延遲視訊或非低延遲視訊、CU大小、QP、片級別或CU級別的時間層ID之 類的資訊來自我調整地選擇第一權重集和第二權重集。例如，如果mvd_l1_zero_flag等於零，則選擇具有所有候選權重與等於一的集合相關聯的第一權重集，即，第一權重集中的每個候選權重與其對應的權重的混合增益等於一。如果mvd_l1_zero-flag等於一，則選擇包含與等於一的集合和不等於一的集合都相關聯的候選權重的第二權重集。權重w1的第一權重集的示例為{-1/4，3/8，1/2，5/8，5/4}，而權重w0的對應的權重集為{5/4，5/8，1/2，3/8，-1/4}；權重w1的第二權重集的示例為{-1/4，3/8，1/2，5/8，5/4}，而權重w0的對應的權重集為{7/4，5/8，1/2，3/8，-2/4}。即使第一權重集和第二權重集這兩者中的五個候選權重都是相同的，權重w0的對應的權重中的一些權重也是不同的。在另一示例中，針對低延遲圖片中的雙向預測塊選擇權重w1的第一權重集{-1/4，3/8，1/2，5/8，5/4}，和權重w0的對應的權重集為{5/4，5/8，1/2，3/8，-1/4}；並且針對非低延遲圖片中的雙向預測塊選擇權重w1的第二權重集{11/8，3/4，1/2，5/8，5/4}，和權重w0的對應的權重集為{-3/8，3/8，1/2，1/4，-1/4}。
編碼器處權重對的預選本發明的一些實施方式藉由在一些預定義的條件下針對BCW執行權重預選過程來降低計算複雜度和編碼執行時間。可以跳過對權重集中包括的一個或更多個候選權重的評估，並且權重集中的剩餘的候選權重被稱為預選的權重。根據評估結果，從預選的權重中選擇當前塊的權重。在實施方式中，編碼器首先執行相等權重測試，以藉由使用列表0預測子和列表1預測子的相等權重進行雙向預測來評估低延遲圖片中的當前塊的編碼。在這個實施方式中，在相等權重測試中，根據當前圖片與參考圖片中的每個參考圖片之間的POC差異，跳過對權重集中的一個或更多個權重的評估。例如，對在相等權重測試中選擇的列表0參考圖片與當前圖片之間的POC差異(diffP0)和在相等權重測試中選擇的列表1參考圖片與當前圖片之間的POC差異(diffP1)進行比較，並且根據比較結果，可以跳過權重集中的至少一個候 選權重的評估。針對權重w0的權重集的示例是{-1/4，3/8，1/2，5/8，5/4}，並且如果diffP0的值大於diffP1，則跳過對權重對w0=5/4和w1=-1/4的評估，類似地，如果diffP1的值大於diffP0，則跳過對權重對w0=-1/4和w1=5/4的評估。在另一示例中，如果diffP0和diffP1都大於閾值，則跳過對一個或更多個預設的候選權重的評估，而在又一示例中，如果diffP0和diffP1中的一個大於閾值，則跳過對一個或更多個預設的候選權重的評估。
在權重預選的一個實施方式中，當跳過至少一個候選權重的評估時，將對用於指示權重集中的選擇的權重的索引的通報自我調整地調節至更高效，以使解碼器可以該調節後的索引進行解析。例如，原始權重集為{5/4，5/8，1/2，3/8，-1/4}，被用於通報第一候選權重(w=5/4)的碼字為001，並且被用於通報第五候選權重(w=-1/4)的碼字為0001。在這種情況下，當因預定義的條件而在編碼器處跳過權重集中的第一候選權重的評估時，將第五候選權重的碼字改變成001以增加編碼增益。當滿足該預定義條件並且索引的碼字為001時，對應的解碼器將所選擇的權重確定為第五候選權重(w=-1/4)。
BCW與BDOF之間的交互 BCW和BDOF都是旨在增強雙向預測中的壓縮性能的編碼工具。BCW提供了應用不同的權重來混合列表0預測子和列表1預測子以生成雙向預測塊的最終幀間預測子的靈活性。BDOF根據光流理論來細化列表0預測子的樣本以及列表1預測子的樣本。當將BDOF應用于當前塊時，視訊編解碼系統針對當前塊以每像素為基礎修改運動向量。即，不是檢索參考塊的每個像素作為塊單元，根據BDOF，視訊編解碼系統針對當前塊確定對運動向量的每像素修改，並且構造參考塊，以使該參考塊包括由運動向量以及針對當前塊的對應像素的每像素修改所標識的參考像素。
在本發明的一些實施方式中，一次僅啟用BCW編碼工具和BDOF編碼工具中的一個編碼工具以避免性能受到另一工具的影響並且節省執 行時間。在一些情況下，當前圖片與來自列表0中的參考圖片之間的差異以及當前圖片與來自列表1的參考圖片之間的差異是非常不同的，因此，對來自BDOF中的列表0和列表1的局部運動向量的相等移動的假設是不正確的。在這些情況下，藉由將較大的權重分配給具有當前圖片與參考圖片之間較小差異的清單，對用於混和列表0預測子和列表1預測子的不相等的加權可能會有所幫助。另選地，在當前圖片與來自列表0中的參考圖片之間的差異以及當前圖片與來自列表1的參考圖片之間的差異相等時，對來自BDOF中的列表0和列表1的局部運動向量的相等移動的假設可能更精確，並且可以將BCW禁用，因為在這種情況下更有可能選擇用於混合預測子的相等的加權。
在BCW中，權重集通常是由與相等的權重對相關聯的一個候選權重以及與不相等的權重對相關聯的多個候選權重組成的。編碼器可以藉由系統地測試候選權重中的每個候選權重來從權重集中選擇最佳的候選權重。在對雙向預測塊進行編碼或解碼的實施方式中，如果針對BCW編碼工具選擇了與不相等的權重對相關聯的候選權重，則禁用BDOF編碼工具，而如果針對BCW編碼工具選擇了與相等的權重對相關聯的候選權重，則啟用BDOF編碼工具。當選擇與相等的權重對相關聯的候選權重以混合列表0預測子和列表1預測子時，這等效為禁用BCW編碼工具，因為常規的雙向預測子是藉由將具有相等的權重的列表0預測子和列表1預測子相混合而生成的。換句話說，當啟用BDOF編碼工具時，將禁用BCW編碼工具。在這種情況下，使用相等的權重來混合列表0預測子和列表1預測子來以某種方式滿足了對BDOF中的列表0和列表1的局部運動向量的相等偏移的假設。
第4圖示出了根據本發明的實施方式的用於藉由雙向預測處理當前塊的視訊編碼方法的流程圖。在步驟402中，視訊編碼或解碼系統接收當前塊的輸入資料，並且在步驟S404中，根據當前塊的運動資訊，藉由根據L0 參考圖片執行運動補償來確定針對當前塊的L0預測子，並且藉由根據L1參考圖片執行運動補償來確定針對當前塊的L1預測子。在視訊編碼器側，輸入資料對應於要編碼的像素資料，而在視訊解碼器側，輸入資料對應於要解碼的編碼資料或預測殘差。在該實施方式中，僅將BCW編碼工具和BDOF編碼工具中的一種編碼工具應用於當前塊，因此，步驟S406檢查是否啟用BCW編碼工具。如果啟用BCW編碼工具，則步驟S408從多個權重對中選擇權重對，以混合L0預測子和L1預測子。如果禁用BCW編碼工具，則在步驟S410中，啟用BDOF編碼工具以基於光流理論對L0預測子和L1預測子進行細化，其中，L0預測子和L1預測子是由相等的加權權重對組合的。在步驟S412中，視訊編碼或解碼系統使用L0預測子和L1預測子來計算當前塊的最終幀間預測子，並且在步驟S414中，根據最終幀間預測子對當前塊進行編碼或解碼。在第4圖所示該實施方式中，根據是啟用還是禁用BCW編碼工具來啟用BDOF編碼工具，在另一實施方式中，根據是啟用還是禁用BDOF編碼工具來啟用BCW編碼工具。
一些其它的實施方式仍然允許同時啟用BCW編碼工具和BDOF編碼工具兩者，但在啟用BDOF編碼工具時更改BCW編碼工具中的一項或更多項設定。在一個實施方式中，當啟用BDOF編碼工具時，對BCW中的權重選擇進行限制，例如，當啟用BDOF編碼工具時，只能使用權重集中的若干候選權重。換句話說，當啟用BDOF編碼工具時，在BCW中不支援在禁用BDOF編碼工具時BCW中所支持的權重中的一個或更多個權重。在啟用BDOF編碼工具時BCW中所支援的權重可以是預定義的，或者可以向解碼器顯式地通報。
更一般地，在啟用BDOF編碼工具時BCW中所支援的權重的數量與在禁用BDOF編碼工具時BCW中所支援的權重的數量是不同的，或者當啟用BDOF編碼工具時，在BCW中不支援在禁用BDOF編碼工具時BCW中的至少一個不受支持的權重。在BCW中採用多個權重集的實施方式在啟用 BDOF編碼工具時選擇一個權重集，而在禁用BDOF編碼工具時選擇另一權重集。這兩個權重集可以包含相同或不同數量的候選權重。
BCW中的權重選擇還可以取決於與圖片距離(例如POC)、QP、時間層ID或者這些因素的任何組合有關的資訊。例如，根據來自列表0的參考圖片和來自列表1的參考圖片對當前圖片中的當前塊進行預測。來自列表0的參考圖片的POC、當前圖片的POC以及來自列表1的參考圖片的POC分別為1、2以及7。當前圖片與來自列表0的參考圖片之間的POC差異(diff_POC0)為1，而當前圖片與來自列表1的參考圖片之間的POC差異(diff_POC1)為5。在一個實施方式中，將diff_POC0與diff_POC1之間的差異和預定義的閾值進行比較，並且如果該差異大於預定義的閾值，則在啟用BDOF時在BCW中只能使用選擇的權重。在該示例中，diff_POC0與diff_POC1之間的差異為4，並且如果該差異大於預定義的閾值，則編碼器只需要測試BCW中的所選擇的權重，而無需測試權重集中的所有權重。
仿射幀間模式的提早終止如前所述，BCW中的權重集通常是由與相等的權重對相關聯的一個候選權重以及與不相等的權重對相關聯的多個候選權重組成的。編碼器藉由系統地評估權重集中的候選權重中的每個候選權重來選擇最佳的候選權重。在一些實施方式中，編碼器首先對與相等的權重對相關聯的候選權重進行評估，然後對與不相等的權重對相關聯的候選權重進行評估。如果在高級運動向量預測(AMVP)模式測試中相等的權重對的最佳模式不是仿射幀間模式，則本發明的實施方式在對與不相等的權重對相關聯的候選權重進行評估期間跳過對仿射幀間模式的測試。
用於單向預測的參數得出與通報 將具有縮放因數a和偏移b的線性模型用於局部照明補償(LIC)，其中，藉由在編碼器側和解碼器側參照當前塊和參考塊的相鄰樣本來得出縮放因數和偏移。然而，訪問當前塊和參考 塊的相鄰樣本會導致硬體流水線延遲問題。為了在解碼器側解決該延遲問題，LIC參數得出的實施方式在編碼器處從多個預定義的LIC參數集中選擇最佳的LIC參數集，並向解碼器顯示地通報所選擇的參數集的索引，使得解碼器可以解析該索引以恢復所選擇的參數集。可以將這種編碼器得出LIC參數的方法應用於CU級別、CTU級別或者片級別的單向預測。可以對CU的大小進行約束，以僅允許具有特定大小的CU採用該編碼器得出LIC參數的方法，例如，僅當CU的面積、寬度或高度大於某個閾值或者小於某個閾值時，將該編碼器得出LIC參數的方法應用於單向預測的CU。可以默認為僅設定該閾值，或者根據諸如QP、時間層ID、與一些因素(比如片級別的亮度、非低延遲情況或者mvd_l1_zero_flag的值)有關的統計結果的資訊來顯示地確定該閾值。在CU大小約束的情況下，可以禁用編碼器得出LIC參數的方法而無需任何通報。可以將CU大小約束應用於BCW編碼工具。在編碼非低延遲圖片的實施方式中，在CU大小約束的情況下，當CU的面積、寬度或高度大於某個閾值或者小於某個閾值時，可以禁用BCW而無需任何通報。
在BDOF中對梯度和的範圍和/或像素差異進行移位 實現BDOF的實施方式以預定義的位元深來對梯度和的範圍進行移位。例如，將梯度和的範圍向右移位4位，因此可以將計算參數所需的乘法器從12位乘以12位減少到8位乘以8位，以及從12位乘以15位減少到8位乘以15位。另一實施方式將列表0內插像素與列表1內插像素之間的差異的範圍進行向右移位，例如，將列表0內插像素與列表1內插像素之間的差異的範圍向右移位4位，因此可以將乘法器減小到12位乘以12位以及12位乘以11位。可以一起實現上述兩個實施方式，因此梯度和的範圍以及列表0內插像素與列表1內插像素之間的差異都進行了移位。例如，將梯度和以及列表0內插像素與列表1內插像素之間的差異的範圍都向右移位4位，因此將乘法器減少到8位乘以8位以 及8位乘以11位。在另一示例中，將梯度和向右移位4位，而將列表0內插像素與列表1內插像素之間的差異向右移位7位。這樣，僅需要8位元乘以8位的乘法器即可計算BDOF中的參數。梯度和或者列表0與列表1之間的差異的移位數可以是隱式地預定義的值(取決於輸入位深)或者顯式地通報給解碼器以按序列級別、圖片級別或片級別進行解析。
在BDOF中對梯度和的範圍進行限制和移位元和/或對像素差異進行限制和移位 實現BDOF的實施方式藉由剪裁(clipping)以預定義的位深來限制梯度和的範圍然後將梯度和的受限範圍進行移位。可以交換剪裁操作和移位元操作的順序。可以根據應用的需要將剪裁數量或移位數量設定成任意數量。例如，將梯度和的範圍限制成10位，然後將梯度的範圍向右移位2位。用於計算參數的乘法器會減少到8位乘以8位以及8位乘以15位。在另一實施方式中，將列表0與列表1之間的差異的範圍裁剪裁成12位，然後將所得到的值向右移位1位。乘法器會減少到12位乘以12位以及12位乘以11位。在一個實施方式中，在BDOF中，對梯度和以及列表0內插像素與列表1內插像素之間的差異都進行限制並移位，例如，將梯度和的範圍剪裁至10位，然後向右移位2位，並且將列表0內插像素與列表1內插像素之間的差異剪裁至12位，然後向右移位1位。乘法器會減少到8位乘以8位以及8位乘以11位。此外，所有參數S1、S2、S3、S5以及S6都可以用32位來表示。表1中示出了針對梯度和以及列表0內插像素與列表1內插像素之間的差異的限制範圍操作和移位元操作的組合的更多示例。針對梯度和或者列表0與列表1之間的差異的限制的範圍和移位數可以是隱式地預定義的值(取決於輸入位元深)或者顯示地通報給解碼器以按序列級別、圖片級別或片級別進行解析。
Figure 108129241-A0305-02-0024-5
Figure 108129241-A0305-02-0025-6
視訊編碼器和解碼器的實現 可以在視訊編碼器或解碼器中實現前面提到的視訊編碼方法。例如，所提出的視訊編碼方法是在編碼器的預 測子得出模組和/或解碼器的預測子得出模組中實現的。在另一示例中，所提出的視訊處理方法是在編碼器的運動補償模組和/或解碼器的運動補償模組中實現的。另選地，所提出的方法中的任何方法都被實現為與編碼器的預測子得出或運動補償模組和/或解碼器的預測子得出模組或運動補償模組聯接的電路，從而提供預測子得出模組或運動補償模組所需的資訊。
第5圖例示了實現本發明的各種實施方式的視訊編碼器500的示例性系統框圖。幀內預測模組510基於當前圖片的重建的視訊資料來提供幀內預測子。幀間預測模組512執行運動估計(ME)和運動補償(MC)，以基於來自一個或多個其它圖片的視訊資料提供幀間預測子。根據本發明的一些實施方式，為了藉由雙向預測來對當前塊進行編碼，使用多個權重集中的一個權重集，並且針對當前塊從該權重集中選擇權重。所述權重集中的每一個權重集是由多個候選權重組成的，並且每個候選權重與權重對關聯。幀間預測模組512首先藉由根據列表0參考圖片執行運動估計和運動補償來確定列表0預測子，並且藉由根據列表1參考圖片執行運動估計和運動補償來確定列表1預測子，然後，藉由使用與所選擇的權重相關聯的權重對對針對當前塊的列表0預測子和列表1預測子進行加權平均來計算當前塊的最終幀間預測子。在一些其它實施方式中，幀間預測模組512僅啟用了BCW編碼工具和BDOF編碼工具中的一種編碼工具用於生成每個雙向預測塊的最終幀間預測子。例如，當藉由應用不同的權重以混合當前塊的列表0預測子和列表1預測子來啟用BCW編碼工具時，禁用BDOF編碼工具，而當使用相等的權重對來混合列表0預測子和列表1預測子時，啟用BDOF編碼工具來對當前塊的列表0預測子和列表1預測子進行細化。藉由開關514，幀內預測模組510或者幀間預測模組512將所選擇的預測子提供給加法器516以形成預測誤差(也稱為預測殘差)。藉由變換模組(T)518及後面的量化模組(Q)520對當前塊的預測殘差加以進一步處理。然後， 藉由熵編碼器532將經變換和量化的殘差信號進行編碼以形成視訊位元流。然後，將視訊位元流與輔助資訊打包在一起。藉由逆量化模組(IQ)522和逆變換模組(IT)524對當前塊的經變換和量化的殘差信號進行處理以恢復預測殘差。如第5圖所示，藉由在重建模組(REC)526處將預測殘差添加回至所選擇的預測子來恢復該預測殘差，以生成重建的視訊資料。可以將重建的視訊資料存儲在參考圖片緩衝器(Ref.Pict.Buffer)530並用於其它圖片的預測。從REC 526中恢復的所重建的視訊資料可能經受因編碼處理而造成的各種損害；因此，在將重建的視訊資料存儲在參考圖片緩衝器530中之前，將回路處理濾波器528應用于所述重建的視訊資料，以進一步提高圖片品質。
第6圖中示出了用於對從第5圖的視訊編碼器500生成的視訊位元流進行解碼的對應的視訊解碼器600。視訊位元流是視訊解碼器600的輸入，並且由熵解碼器610進行解碼以解析和恢復經變換和量化的殘差信號以及其它系統資訊。除了解碼器600只需要幀間預測模組614中的運動補償預測之外，解碼器600的其它解碼過程類似於編碼器500處的重建回路。藉由幀內預測模組612或者幀間預測模組614對每個塊進行解碼。開關616根據解碼的模式資訊選擇來自幀內預測模組612的幀內預測子或者來自幀間預測模組614的幀間預測子。幀間預測模組614藉由根據列表0參考圖片執行運動補償來確定列表0預測子，並且藉由根據列表1參考圖片執行運動補償來確定列表1預測子。然後，根據一些示例性實施方式，幀間預測模組614藉由使用權重對對列表0預測子和列表1預測子進行加權平均，來生成針對當前塊的最終幀間預測子。根據來自權重集的為當前塊選擇的權重得出權重對，並且根據與以下各項有關的視訊資訊從多個權重集中選擇權重集：時間層I、當前圖片與參考圖片之間的POC差異、低延遲或非低延遲視訊、QP、CU大小、CTU大小、指示列表1的MVD等於零的標誌或者這些項的組合。在一些其它實施方式中，幀間預測模組 614藉由僅啟用BCW編碼工具和BDOF編碼工具中的一個編碼工具來生成當前塊的最終幀間預測子。每個塊相關聯的經變換和量化的殘留信號是藉由逆量化模組(IQ)620和逆變換模組(IT)622來恢復的。藉由在重建模組(REC)618中添加回預測子來重建恢復的殘留信號，以生成重建的視訊。藉由回路處理濾波器(濾波器)624對該重建的視訊加以進一步處理以生成最終解碼視訊。如果當前解碼的圖片是在解碼順序中的後面的圖片的參考圖片，則也將當前解碼的圖片的重建的視訊存儲在參考圖片緩衝器626中。
第5圖和第6圖中的視訊編碼器500和視訊解碼器600的各種元件可以由硬體元件、被配置為執行存儲在記憶體中的程式指令的一個或更多個處理器或者硬體和處理器的組合來實現。例如，處理器執行程式指令以控制接收與當前圖片相關聯的輸入資料。處理器配備有一個或多個處理核心。在一些示例中，處理器執行用於執行編碼器500和解碼器600中的一些元件的功能的程式指令，並且使用與處理器電連接的記憶體來存儲程式指令、與塊的重建的圖像相對應的資訊和/或在編碼或解碼過程期間的中間資料。在一些實施方式中，記憶體包括非暫時性電腦可讀介質，例如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或其它合適的存儲介質。記憶體也可以是上面列出的非暫時性電腦可讀介質中的兩種或更多種的組合。如第5圖和第6圖所示，編碼器500和解碼器600可以在同一電子裝置中實現，因此，如果在同一電子裝置中實現，則可以共用或重用編碼器500和解碼器600這兩者的各種功能元件。
可以在用於執行上述處理的集成到視訊壓縮晶片中的電路或集成到視訊壓縮軟體中的程式碼中實現用於對雙向預測塊進行編碼或解碼的視訊處理方法的實施方式。例如，可以在要在電腦處理器、數位訊號處理器(DSP)、微處理器或現場可程式設計閘陣列(FPGA)上執行的程式碼中實現從多個權重 集中選擇權重集以對當前塊進行編碼。這些處理器可以被配置成，藉由執行被定義根據本發明具體實施的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。
貫穿本說明書對“實施方式”、“一些實施方式”或類似語言的引用意指可以在本發明的至少一個實施方式中包括結合該實施方式描述的特定特徵、結構或特性。因此，貫穿本說明書的各個地方出現的短語“在實施方式中”或“在一些實施方式中”並不一定都是指同一實施方式，這些實施方式可以單獨地或者與一個或更多個其它實施方式結合地實現。而且，可以在一個或更多個實施方式中以任何合適的方式組合所描述的特定特徵、結構或特性。然而，相關領域的技術人員將認識到，可以在缺少這些具體細節中的一個或更多個的情況下或者利用其它方法、元件等來具體實踐本發明。在其它情況下，未詳細示出或描述公知的結構或操作，以避免混淆本發明的各方面。
可以在不脫離本發明精神和實質特徵的情況下以其它特定形式來具體實施本發明。所述示例在所有方面均作為示例而非限制來考慮。因此，藉由所附權利要求而非前述描述來指示本發明的範圍。落入權利要求的等同物的含義和範圍內的所有改變將被涵蓋在這些權利要求的範圍內。
S302-S312:步驟

Claims (21)

  1. 一種在視訊編解碼系統中藉由雙向預測處理視訊資料的方法，所述方法包括以下步驟：接收與當前圖片中的當前塊相關聯的輸入資料，其中，所述當前塊是已藉由雙向預測編碼的或者是要藉由雙向預測編碼的；藉由根據列表0中的參考圖片執行運動補償來確定針對所述當前塊的列表0預測子並且藉由根據列表1中的參考圖片執行運動補償來確定針對所述當前塊的列表1預測子；針對所述當前塊從多個權重集中選擇權重集，其中，每個權重集由多個候選權重組成，並且在所述多個權重集的一個權重集中的至少一個候選權重不在另一個權重集中；針對所述當前塊從所選擇的權重集中選擇權重；藉由使用與針對所述當前塊所選擇的權重相關聯的權重對對所述當前塊的所述列表0預測子以及所述列表1預測子進行加權平均來計算最終幀間預測子；以及根據所述當前塊的所述最終幀間預測子對所述當前塊進行編碼或解碼。
  2. 如申請專利範圍第1項所述之方法，其中，所述多個權重集中的每個權重集由不同數量的候選權重組成。
  3. 如申請專利範圍第1項所述之方法，其中，所述當前塊的所述權重集是基於與以下各項中的一項或組合有關的視訊資訊而隱式地選擇的：時間層ID、所述當前圖片與參考圖片之間的計數圖片(POC)差異、所述當前圖片係低延遲視訊圖片或者非低延遲視訊圖片、量化參數(QP)、編碼單元(CU)大小、編碼樹單元(CTU)大小以及指示列表1的運動向量差異(MVD)是否 等於零的至少一個標誌。
  4. 如申請專利範圍第3項所述之方法，其中，所述多個權重集包括第一權重集和第二權重集，所述第一權重集由五個候選權重組成，而所述第二權重集由三個候選權重組成，如果所述當前圖片是低延遲視訊圖片，則選擇所述第一權重集用於所述當前塊，而如果所述當前圖片是非低延遲視訊圖片，則選擇所述第二權重集用於所述當前塊。
  5. 如申請專利範圍第1項所述之方法，其中，將與每個候選權重相關聯的權重對的混合增益固定成1，該權重對包括所述列表0預測子的權重和所述列表1預測子的權重，並且所述列表1預測子的權重是所述候選權重，而所述列表0預測子的權重是藉由1減去所述候選權重而得出的。
  6. 如申請專利範圍第1項所述之方法，其中，不將與每個候選權重相關聯的權重對的混合增益全部固定成1，將至少一個權重集中的至少一個候選權重與具有合計不為1的權重的權重對相關聯。
  7. 如申請專利範圍第6項所述之方法，其中，將其餘的候選權重中的每個候選權重與具有合計為1的權重的權重對相關聯。
  8. 如申請專利範圍第1項所述之方法，其中，如果所述當前塊是以高級運動向量預測(AMVP)模式編碼的或者是要以高級運動向量預測(AMVP)模式編碼的，則顯式地通報或解析索引以指示針對所述當前塊所選擇的權重，而如果所述當前塊是以合併模式或跳過模式編碼的或者是要以合併模式或跳過模式編碼的，則針對所述當前塊所選擇的權重是藉由繼承來自選擇的合併候選者的運動資訊而從所述選擇的合併候選者繼承的。
  9. 如申請專利範圍第1項所述之方法，其中，針對所述當前塊從所選擇的權重集中選擇權重的步驟還包括預選過程，並且所述預選過程跳過對所選擇的權重集中的一個或更多個候選權重的評估而僅對所選擇的權重集中的 剩餘的候選權重進行評估，其中，根據所述預選過程的評估結果從所述剩餘的候選權重中選擇所述權重。
  10. 如申請專利範圍第9項所述之方法，其中，通報或解析索引以指示針對所述當前塊在所選擇的權重集中所選擇的權重，並且如果在所述預選過程中跳過所選擇的權重集中的一個或更多個候選權重的評估，則自我調整地調節所述索引。
  11. 如申請專利範圍第1項所述之方法，其中，所述權重集中的每個權重集由與相等的權重對相關聯的一個候選權重以及與不相等的權重對相關聯的多個候選權重組成，並且所述計算最終幀間預測子的步驟還包括：只有當所選擇的權重與所述相等的權重對相關聯時，才基於雙向光流對所述當前塊的所述列表0預測子和所述列表1預測子中的樣本進行細化，其中所述相等的權重對中包含的兩個權重相等，所述不相等的權重對中包含的兩個權重不相等。
  12. 一種在視訊編解碼系統中藉由雙向預測處理視訊資料的方法，所述方法包括以下步驟：接收與當前圖片中的當前塊相關聯的輸入資料，其中，所述當前塊是已藉由雙向預測編碼的或者是要藉由雙向預測編碼的；藉由根據列表0中的參考圖片執行運動補償來確定針對所述當前塊的列表0預測子並且藉由根據列表1中的參考圖片執行運動補償來確定針對所述當前塊的列表1預測子；藉由僅啟用具有CU權重的雙向預測(BCW)編碼工具與雙向光流(BDOF)編碼工具中的一個編碼工具，使用所述列表0預測子和所述列表1預測子來計算所述當前塊的最終幀間預測子，其中，在啟用所述BCW編碼工具時，允許將不同的權重用於混合所述列表0預測子和所述列表1預測子，而在啟用所述 BDOF編碼工具時，基於光流理論對所述列表0預測子中的樣本和所述列表1預測子中的樣本進行細化；以及根據所述當前塊的最終幀間預測子對所述當前塊進行編碼或解碼。
  13. 如申請專利範圍第12項所述之方法，所述方法還包括以下步驟：針對所述當前塊從權重集中選擇權重，其中，所述權重集由與相等的權重對相關聯的一個候選權重以及與不相等的權重對相關聯的多個候選權重組成，並且藉由使用與所選擇的權重相關聯的權重對對所述列表0預測子和所述列表1預測子進行加權平均來計算所述最終幀間預測子，其中所述相等的權重對中包含的兩個權重相等，所述不相等的權重對中包含的兩個權重不相等。
  14. 如申請專利範圍第13項所述之方法，其中，當針對所述當前塊所選擇的權重與所述相等的權重對相關聯時，禁用所述BCW編碼工具；並且當所述BCW編碼工具被禁用時，啟用所述BDOF編碼工具，以對所述列表0預測子中的樣本和所述列表1預測子中的樣本進行細化。
  15. 如申請專利範圍第13項所述之方法，其中，如果所選擇的權重與不相等的權重對相關聯，則禁用所述BDOF編碼工具。
  16. 如申請專利範圍第13項所述之方法，其中，首先評估與所述相等的權重對相關聯的所述候選權重，並且如果在高級運動向量預測(AMVP)模式測試中所述相等的權重對的最佳模式不是仿射幀間模式，則在評估與所述不相等的權重對相關聯的所述候選權重期間跳過仿射幀間模式的測試。
  17. 如申請專利範圍第12項所述之方法，其中，根據與所述當前圖片與參考圖片之間的圖片距離、量化參數(QP)或者時間層ID有關的資訊來選擇針對所述當前塊的所述權重。
  18. 如申請專利範圍第12項所述之方法，其中，當啟用所述BDOF編碼工具時，將列表0內插像素與列表1內插像素之間的梯度和的範圍 以及差異的範圍中的一者或兩者以預定義的位深向右移位。
  19. 如申請專利範圍第18項所述之方法，其中，在向右移位之前或之後，列表0內插像素與列表1內插像素之間的梯度和的範圍以及差異的範圍中的一者或兩者是藉由剪裁來進行限制的。
  20. 一種在視訊編解碼系統中藉由雙向預測處理視訊資料的設備，所述設備包括一個或更多個電子電路，所述一個或更多個電子電路被配置為：接收與當前圖片中的當前塊相關聯的輸入資料，其中，所述當前塊是已藉由雙向預測編碼的或者是要藉由雙向預測編碼的；藉由根據列表0中的參考圖片執行運動補償來確定針對所述當前塊的列表0預測子並且藉由根據列表1中的參考圖片執行運動補償來確定針對所述當前塊的列表1預測子；針對所述當前塊從多個權重集中選擇權重集，其中，每個權重集由多個候選權重組成，並且在所述多個權重集的一個權重集中的至少一個候選權重不在另一個權重集中；針對所述當前塊從所選擇的權重集中選擇權重；藉由使用與針對所述當前塊所選擇的權重相關聯的權重對對所述當前塊的所述列表0預測子以及所述列表1預測子進行加權平均來計算最終幀間預測子；以及根據所述當前塊的所述最終幀間預測子對所述當前塊進行編碼或解碼。
  21. 一種存儲程式指令的非暫時性電腦可讀介質，所述程式指令使設備的處理電路執行針對視訊資料的雙向預測處理方法，並且所述雙向預測處理方法包括以下步驟：接收與當前圖片中的當前塊相關聯的輸入資料，其中，所述當前塊是藉由 雙向預測編碼的或者是要藉由雙向預測編碼的；藉由根據列表0中的參考圖片執行運動補償來確定針對所述當前塊的列表0預測子並且藉由根據列表1中的參考圖片執行運動補償來確定針對所述當前塊的列表1預測子；針對所述當前塊從多個權重集中選擇權重集，其中，每個權重集由多個候選權重組成，並且在所述多個權重集的一個權重集中的至少一個候選權重不在另一個權重集中；針對所述當前塊從所選擇的權重集中選擇權重；藉由使用與針對所述當前塊所選擇的權重相關聯的權重對對所述當前塊的所述列表0預測子以及所述列表1預測子進行加權平均來計算最終幀間預測子；以及根據所述當前塊的所述最終幀間預測子對所述當前塊進行編碼或解碼。
TW108129241A 2018-08-17 2019-08-16 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質 TWI730380B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862719186P 2018-08-17 2018-08-17
US62/719,186 2018-08-17
US201862738034P 2018-09-28 2018-09-28
US62/738,034 2018-09-28
PCT/CN2019/101011 WO2020035054A1 (en) 2018-08-17 2019-08-16 Methods and apparatuses of video processing with bi-direction predicition in video coding systems
WOPCT/CN2019/101011 2019-08-16

Publications (2)

Publication Number Publication Date
TW202015441A TW202015441A (zh) 2020-04-16
TWI730380B true TWI730380B (zh) 2021-06-11

Family

ID=69524700

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108129241A TWI730380B (zh) 2018-08-17 2019-08-16 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質

Country Status (7)

Country Link
US (1) US11470348B2 (zh)
EP (1) EP3834416A4 (zh)
CN (1) CN112930684B (zh)
BR (1) BR112021002857A8 (zh)
MX (1) MX2021001833A (zh)
TW (1) TWI730380B (zh)
WO (1) WO2020035054A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516067B1 (ko) * 2016-07-14 2023-03-30 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
KR102708989B1 (ko) * 2018-09-21 2024-09-23 브이아이디 스케일, 인크. 양방향 옵티컬 플로우를 위한 복잡도 감소 및 비트 폭 제어
CN112913247B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 使用局部照明补偿的视频处理
KR20210029819A (ko) * 2018-11-16 2021-03-16 삼성전자주식회사 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치
CN118784864A (zh) * 2018-12-07 2024-10-15 夏普株式会社 运动图像解码装置
MX2021008468A (es) * 2019-01-14 2021-08-19 Interdigital Vc Holdings Inc Metodo y aparato para codificacion y decodificacion de video con flujo optico bi-direccional adaptado a prediccion ponderada.
WO2020147747A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
CN113519160B (zh) * 2019-03-05 2023-09-05 寰发股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
JP6867611B2 (ja) * 2019-03-11 2021-04-28 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
SI3941060T1 (sl) * 2019-03-12 2024-02-29 Lg Electronics Inc. Postopek naprava za zunanje napovedovanje na podlagi dmvr in bdof
CN115606183A (zh) * 2020-04-07 2023-01-13 抖音视界有限公司（Cn） 参考图片环绕的剪裁操作
WO2021204251A1 (en) 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222036A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements
CN113709488B (zh) * 2020-06-30 2023-02-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11722658B2 (en) * 2021-06-25 2023-08-08 Tencent America LLC Method and apparatus for video coding
KR20240052025A (ko) * 2021-09-03 2024-04-22 주식회사 윌러스표준기술연구소 Lic(local illumination compensation) 모드를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
US20230209060A1 (en) * 2021-12-29 2023-06-29 Mediatek Inc. Method and Apparatus for Multiple Hypothesis Prediction in Video Coding System

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934444A (zh) * 2010-04-06 2013-02-13 三星电子株式会社 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
WO2015015058A1 (en) * 2013-07-31 2015-02-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2018044441A1 (en) * 2016-08-29 2018-03-08 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
WO2018084339A1 (ko) * 2016-11-04 2018-05-11 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
TW201818723A (zh) * 2016-09-22 2018-05-16 聯發科技股份有限公司 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置
TW201830968A (zh) * 2016-12-22 2018-08-16 聯發科技股份有限公司 用於視訊編解碼的運動細化的方法以及裝置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023242B (zh) * 2007-04-09 2017-07-07 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
JP2012244353A (ja) * 2011-05-18 2012-12-10 Sony Corp 画像処理装置および方法
JPWO2013058363A1 (ja) * 2011-10-20 2015-04-02 ソニー株式会社 画像処理装置および方法
CN105409218B (zh) * 2013-04-08 2021-05-25 Ge视频压缩有限责任公司 解码器和解码方法
US10602188B2 (en) * 2015-06-10 2020-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
CN107925775A (zh) * 2015-09-02 2018-04-17 联发科技股份有限公司 基于双向预测光流技术的视频编解码的运动补偿方法及装置
KR102267922B1 (ko) * 2015-09-23 2021-06-22 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
WO2017076221A1 (en) * 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
EP3413563A4 (en) 2016-02-03 2019-10-23 Sharp Kabushiki Kaisha DEVICE FOR DECODING MOVEMENT PICTURES, APPARATUS FOR CODING MOVEMENT IMAGES AND DEVICE FOR GENERATING FORECAST PICTURES
WO2017188566A1 (ko) 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR102480191B1 (ko) * 2016-05-13 2022-12-21 브이아이디 스케일, 인크. 비디오 코딩을 위한 일반화된 다중-가설 예측 시스템 및 방법
ES2699748B2 (es) * 2016-07-05 2021-05-13 Kt Corp Metodo y aparato para procesar senal de video
US11509930B2 (en) * 2016-07-12 2022-11-22 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium therefor
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
WO2018070632A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
BR112019018922A8 (pt) 2017-03-16 2023-02-07 Mediatek Inc Método e aparelho de refinamento de movimento com base em fluxo óptico bi-direcional para codificação de vídeo
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
KR102653715B1 (ko) 2017-07-03 2024-04-01 브이아이디 스케일, 인크. 양방향 광학 흐름에 기반한 모션 보상 예측
WO2019234578A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
US11523109B2 (en) 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934444A (zh) * 2010-04-06 2013-02-13 三星电子株式会社 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
WO2015015058A1 (en) * 2013-07-31 2015-02-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2018044441A1 (en) * 2016-08-29 2018-03-08 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
TW201818723A (zh) * 2016-09-22 2018-05-16 聯發科技股份有限公司 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置
WO2018084339A1 (ko) * 2016-11-04 2018-05-11 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
TW201830968A (zh) * 2016-12-22 2018-08-16 聯發科技股份有限公司 用於視訊編解碼的運動細化的方法以及裝置

Also Published As

Publication number Publication date
US11470348B2 (en) 2022-10-11
MX2021001833A (es) 2021-05-12
WO2020035054A1 (en) 2020-02-20
EP3834416A1 (en) 2021-06-16
US20210266595A1 (en) 2021-08-26
TW202015441A (zh) 2020-04-16
BR112021002857A2 (pt) 2021-05-11
CN112930684A (zh) 2021-06-08
EP3834416A4 (en) 2022-08-17
BR112021002857A8 (pt) 2023-02-07
CN112930684B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
TWI730380B (zh) 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質
US11956462B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
CN111034194B (zh) 编解码视频图像的方法以及电子设备
US10715827B2 (en) Multi-hypotheses merge mode
US20200275112A1 (en) Mutual Excluding Settings For Multiple Tools
US11070815B2 (en) Method and apparatus of intra-inter prediction mode for video coding
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US11889099B2 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
US11785242B2 (en) Video processing methods and apparatuses of determining motion vectors for storage in video coding systems
WO2019161798A1 (en) Intelligent mode assignment in video coding
EP4022923A1 (en) Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement
WO2024149384A1 (en) Regression-based coding modes
WO2024222798A1 (en) Methods and apparatus of inheriting block vector shifted cross-component models for video coding
JP2009232324A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム