TWI720492B - 使用雙向cu加權的視訊編解碼的方法和裝置 - Google Patents

使用雙向cu加權的視訊編解碼的方法和裝置 Download PDF

Info

Publication number
TWI720492B
TWI720492B TW108117805A TW108117805A TWI720492B TW I720492 B TWI720492 B TW I720492B TW 108117805 A TW108117805 A TW 108117805A TW 108117805 A TW108117805 A TW 108117805A TW I720492 B TWI720492 B TW I720492B
Authority
TW
Taiwan
Prior art keywords
merge candidate
list
candidate
merge
current block
Prior art date
Application number
TW108117805A
Other languages
English (en)
Other versions
TW202005372A (zh
Inventor
蘇郁琪
陳慶曄
林芷儀
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202005372A publication Critical patent/TW202005372A/zh
Application granted granted Critical
Publication of TWI720492B publication Critical patent/TWI720492B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種對編解碼系統進行編碼或解碼的方法和裝置，其中對編解碼系統啟用雙向CU（編碼單元）加權（BCW）以允許使用多對加權。 根據該方法，為當前塊生成合併候選列表，其中當目標合併候選對應於所選合併候選時，與合併候選列表中的目標合併候選相關聯的當前塊的雙向預測子的當前雙向CU加權被設置為預定義加權對。 在另一種方法中，當目標合併候選對應於所選擇的合併候選時，與合併候選列表中的目標合併候選相關聯的雙向預測子的當前雙向CU加權繼承自目標合併候選。

Description

使用雙向CU加權的視訊編解碼的方法和裝置
本發明涉及使用雙向預測（bi-directional prediction）的視訊編解碼。 特別地，本發明公開了和與雙向CU加權相關聯的語法設計有關的方法。
高效視訊編解碼（HEVC）標準是在ITU-T視訊編解碼專家組（VCEG）和ISO / IEC運動圖像專家組（MPEG）標準化組織，並且尤其是在被稱為視訊編解碼聯合協作團隊（JCT-VC）的聯合視訊項目下開發的。 在HEVC中，一個切片被劃分為多個編解碼樹單元（CTU）。 在主配置文檔（profile）中，CTU的最小和最大大小由序列參數集（SPS）中的語法元素指定。 允許的CTU大小可以是8x8、16x16、32x32或64x64。 對於每個切片，根據光柵掃描順序處理切片內的CTU。
合併模式
為了提高HEVC中的運動向量（MV）編碼的編解碼效率，HEVC具有跳過（Skip）和合併（Merge）模式。 跳過和合併模式從空間相鄰塊（空間候選）或時間共同定位塊（co-located block）（時間候選）獲得運動資訊。 當PU是跳過或合併模式時，不編解碼運動資訊。 相反，僅編解碼所選候選的指數。 對於跳過模式，殘差信號被強制為零而不進行編解碼。 在HEVC中，如果特定塊被編碼為跳過或合併，則發信候選指數以指示候選集中的哪個候選用於合併。每個合併的PU重用所選候選的MV、預測方向和參考圖像指數。
對於HEVC參考軟體HM-4.0中的合併模式，如第1圖所示，從A0、A1、B0和B1導出多達四個空間MV候選，並且從TBR或TCTR導出一個時間MV候選(首先使用TBR，如果TBR不可用，則使用TCTR代替)。注意，如果四個空間MV候選中的任何一個不可用，則位置B2然後用於導出MV候選作為替換。在四個空間MV候選和一個時間MV候選的推導過程之後，應用去除冗餘(修剪)以移除冗餘MV候選。如果在去除冗餘(修剪)之後，可用MV候選的數量小於5，則導出三種類型的附加候選並將其添加到候選集(即，候選列表)。編碼器基於速率-失真優化(rate-distortion optimization，簡寫為RDO)判決選擇候選集合中的一個最終候選用於跳過或合併模式，並將指數(index)發送到解碼器。
在下文中，為方便起見，跳過和合併模式都可以稱為“合併模式(Merge mode)”。換句話說，此後的本公開中的“合併模式”可以表示跳過和合併模式。
合併模式和AMVP模式
為了實現HEVC中的混合編解碼架構的最佳編解碼效率，針對每個PU存在兩種預測模式(即，幀內預測和幀間預測)。對於幀內預測模式，空間相鄰重建像素可用於生成方向預測。HEVC有多至35個方向。對於幀間預測模式，時間重建參考幀可用於生成運動補償預測。有三種不同的模式，包括跳過、合併和幀間高級運動向量預測(AMVP)模式。
當以幀間AMVP模式編解碼PU時，利用發送的運動向量差(MVD)執行運動補償預測，其可與運動向量預測子(MVP)一起用於導出運動向量(MV)。為了在幀間AMVP模式中確定MVP，使用高級運動向量預測(AMVP)方案來選擇包括兩個空間MVP和一個時間MVP的AMVP候選集中的運動向量預測子。 因此，在AMVP模式中，需要對MVP的MVP指數和相應的MVD進行編碼和傳輸。 另外，用於指定雙向預測（bi-prediction）和單向預測（uni-prediction）（其為列表0（即，L0）和列表1（即，L1））中的預測方向的幀間預測方向，以及每個列表的參考幀指數也應當被編碼和傳輸。
當以跳過或合併模式編解碼PU時，除了所選候選的合併指數之外，不發送運動資訊，因為跳過和合併模式利用運動推斷方法。 由於跳過和合併模式的運動向量差（motion vector difference，簡寫為MVD）為零，因此跳過或合併編碼塊的MV與運動向量預測子（MVP）相同（即，MV = MVP + MVD = MVP）。 因此，跳過或合併編碼塊從位於共址圖像中的空間相鄰塊（空間候選）或時間塊（時間候選）獲得運動資訊。 共址圖像是列表0或列表1中的第一參考圖像，其在切片報頭中發信。 在跳過PU的情況下，也省略殘差信號。 為了確定跳過和合併模式的合併指數，合併方案用於在包含四個空間MVP和一個時間MVP的合併候選集中選擇運動向量預測子。
第1圖示出了用於導出AMVP和合併方案的空間和時間MVP的相鄰PU。 在AMVP中，左MVP是A0 、A1 中的第一個可用的MVP，頂部MVP是來自B0 、B1 、B2 的第一個可用的MVP，並且時間MVP是來自TBR 或TCTR 的第一個可用的MVP（首先使用TBR ， 如果TBR 不可用，則使用TCTR 代替）。 如果左MVP不可用且頂部MVP並非縮放的MVP，則如果在B0 、B1 和B2 中存在縮放的MVP，則可以導出第二頂部MVP。 在HEVC中，AMVP的MVP的列表大小是2。 因此，在兩個空間MVP和一個時間MVP的推導過程之後，只有前兩個MVP可以包括在MVP列表中。 如果在去除冗餘之後，可用MVP的數量小於2，則將零向量候選添加到候選列表中。
一般雙向預測（Bi-prediction，簡寫為GBi）
在JVET-C0047（C.Chen等人，“Generalized bi-prediction for inter coding”，在ITU-T SG 16 WP 3 和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊開發小組（JVET），第3次會議：日內瓦，CH，2016年5月26日至6月1日，文件：JVET-C0047中提出了一般雙向預測（GBi）。GBi的概念是允許分別使用來自L0和L1的預測子的不同加權，而不是在傳統雙向預測中使用相等加權。 預測子生成可以總結在方程式（1）和（2）中。 PTraditionalBiPred = (PL0 + PL1 + RoundingOffset) >> shiftNum (1) PGBi = (w0 * PL0 + w1 * PL1 + RoundingOffsetGBi ) >> shiftNumGBi . (2)
在上述等式中，PTraditionalBiPred 和 PGBi 分別是傳統雙向預測和GBi的最終預測子，PL0 和PL1 是來自L0和L1的預測子，w0 和w1 是L0和L1的選擇的GBi加權，以及RoundingOffset、shiftNum、 RoundingOffset1和shiftNum1分別用於標準化傳統雙向預測和GBi中的最終預測子。 對於AMVP模式（即，正常幀間預測模式），如果在雙向預測模式中對CU進行編碼，則對於一個CU明確地發信GBi中的加權選擇。 對於合併模式，加權選擇繼承自合併候選。
在JVET-D0102（C.Chen，等人，“EE3：Generalized bi-prediction”，在ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29/ WG 11的聯合視訊探索小組（JVET），第4次會議：成都，CN，2016年10月15 - 21日，文件：JVET-D0102）中，w0 和w1 的加權是{6, 5, 4, 3, 2} 和{2, 3, 4, 5, 6}，在表1中示出了mvd_l1_zero_flag等於0的情況下的二值化（binarization），其中mvd_l1_zero_flag等於1表示列表1的mvd被設置為零並且不被發送到解碼器。 表 1
Figure 108117805-A0304-0001
基於表1中所示的二值化，將5 GBi指數映射到5 GBi編碼順序指數。 第2圖示出了GBi編碼順序指數的發信。 在AMVP中，首先發信標誌以指示幀間預測是單向預測還是雙向預測。 如果幀間預測是雙向預測，則發信相等加權標誌（equal-weighting flag）以指示雙向預測是否屬於相等（即，GBi編碼順序指數= 0）或不相等加權（即，GBi編碼順序指數= 1、2、3或4）情況。 如果相等加權標誌等於0，則基於截斷的一元編碼來發信GBi編碼順序指數1、2、3或4的非相等加權標誌，如表1所示。
仿射運動模型
沿著時間軸在圖像上發生的運動可以由許多不同的模型來描述。 假設A（x，y）是所考慮的位置（x，y）處的原始像素，A'（x'，y'）是像素A（x，y）的當前參考圖像中位置（x'，y'）處的對應像素，仿射運動模型描述如下。
仿射模型能夠描述二維塊旋轉以及二維形變以將正方形（或矩形）變換為平行四邊形。 該模型可描述如下： x’ = a0 + a1 *x + a2 *y, and y’ = b0 + b1 *x + b2 *y. (3)
在提交給ITU-VCEG的貢獻ITU-T13-SG16-C1016中（Lin等人，“Affine transform prediction for next generation video coding”，ITU-U，第16研究組，問題Q6 / 16，貢獻C1016 ，2015年9月，日內瓦，CH），公開了一個四參數仿射預測，其中包括仿射合併模式。 當仿射運動塊正在移動時，塊的運動向量場可以通過兩個控制點運動向量或四個參數來描述，其中（vx，vy）表示運動向量
Figure 02_image001
(4)
第3圖中示出了四參數仿射模型的示例，其中塊310對應於當前塊，塊320對應於參考塊。 變換後的塊是矩形塊。 該移動塊中每個點的運動向量場可以用下面的等式描述：
Figure 02_image003
(5)
在上面的等式中，(v0x , v0y )是塊的左上角處的控制點運動向量（即，v0 ），並且(v1x , v1y )是塊的右上角處的另一個控制點運動向量（即，v1 ）。 當解碼兩個控制點的MV時，可以根據上面的等式確定塊的每個4×4塊的MV。 換句話說，可以通過兩個控制點處的兩個運動向量來指定塊的仿射運動模型。 此外，雖然塊的左上角和右上角用作兩個控制點，但是也可以使用其他兩個控制點。
在貢獻ITU-T13-SG16-C1016中，對於幀間模式編碼CU，發信仿射標誌以指示當CU大小等於或大於16×16時是否應用仿射幀間模式。如果當前塊（例如，當前CU）以仿射幀間模式編碼，則使用相鄰有效重構塊來構建候選MVP對列表。第4圖示出了用於導出角點衍生（corner-derived）仿射候選的相鄰塊集合。如第4圖所示，
Figure 02_image005
對應於當前塊410的左上角的塊V0的運動向量，其從相鄰塊a0的運動向量（稱為左上（above-left）塊）、a1（稱為內左上（inner above-left）塊）和a2（稱為下左上（lower above-left）塊）中選擇，並且
Figure 02_image007
對應於當前塊410的右上角處的塊V1的運動向量，其選自相鄰塊b0（稱為上方塊）和b1（稱為右上塊）的運動向量。
在上面的等式中，MVa是與塊a0、a1或a2相關聯的運動向量，MVb是從塊b0和b1的運動向量中選擇的，並且MVc是從塊c0和c1的運動向量中選擇的。選擇具有最小DV的MVa和MVb以形成MVP對。 因此，雖然僅針對最小DV搜索兩個MV集（即，MVa和MVb），但是第三DV集（即，MVc）也參與選擇過程。 第三DV集對應於當前塊410的左下角處的塊的運動向量，其從相鄰塊c0（稱為左塊）和c1（稱為左下塊）的運動向量中選擇。在第4圖的示例中，用於構造仿射運動模型的控制點MV的相鄰塊（a0、a1、a2、b0、b1、b2、c0和c1）被稱為本公開中的相鄰塊集（neighbouring block set）。
在ITU-T13-SG16-C-1016中，還提出了仿射合併模式。 如果當前是合併PU，則檢查相鄰的五個塊（第4圖中的c0、b0、b1、c1和a0塊）以確定它們中的一個是否為仿射幀間模式或仿射合併模式。 如果是，則發信affine_flag以指示當前PU是否是仿射模式。 當當前PU以仿射合併模式編碼時，它從有效的相鄰重建塊獲得用仿射模式編碼的第一塊。 候選塊的選擇順序是從左側、上方、右上方、左下方到左上方(c0àb0àb1àc1àa0)，如第4圖所示。第一個仿射編解碼塊的仿射參數用於導出當前PU的v0 和v1 。
在HEVC中，每個PU的經解碼的MV以16：1的比率被下採樣並且存儲在時間MV緩衝器中以用於後續幀的MVP推導。 對於16x16塊，僅左上方的4x4 MV存儲在時間MV緩衝器中，並且存儲的MV表示整個16x16塊的MV。
傳統的子PU時間運動向量預測(Sub-PU TMVP)
為了提高編解碼效率，在合併模式中應用子PU時間運動向量預測（子PU TMVP，也稱為高級時間運動向量預測，ATMVP）模式。 也就是說，子PU TMVP是合併模式的合併候選。如第5圖所示，與傳統時間候選不同，子PU TMVP模式將當前PU劃分為多個子PU，並找到每個子PU的所有對應時間並置運動向量。大小為MxN的當前PU具有(M/P)×(N/Q)個子PU，每個子PU的大小為PxQ，其中M可被P整除，並且N可被Q整除。第5圖中的示例對應於當前PU 510被劃分為16個子PU(即，M/P=4且N/Q=4)的情況。指示了子PU 0(511)和子PU 1(512)。子PU TMVP的詳細算法描述如下。
在步驟1中，對於在子PU TMVP模式中編解碼的當前PU 510，為時間並置圖像520中並置PU的子PU(521和522)確定表示為vec_init(523和524)的“初始運動向量”。例如，vec_init可以是當前PU 510的第一可用空間相鄰塊的MV。在第5圖中，vec_init_0 523指向子塊525並且vec_init_1 523指向子塊526。或者，其他相鄰塊的MV也可以用作初始運動向量。傳統上，vec_init是空間相鄰塊中的第一個可用候選。例如，如果第一可用空間相鄰塊具有L0和L1 MV，並且LX是用於搜索並置資訊的第一列表，則當LX=L0時vec_init使用L0 MV，或者當LX=L1時使用L1。LX(L0或L1)的值取決於哪個列表(L0或L1)更適合並置資訊。如果L0對於並置資訊(例如，POC(圖像順序計數)距離比L1更近)更好，則LX等於L0，反之亦然。可以在切片級別、磚(brick)級別、條帶(tile)級別或圖像級別執行LX分配。
然後開始“並置圖像搜索過程”。“並置圖像搜索過程”是為子PU TMVP模式中的所有子PU找到主要並置圖像。主要並置圖像表示為main_colpic。傳統上，它首先搜索由第一可用空間相鄰塊選擇的參考圖像。然後，在B切片中，它搜索從L0(或L1)、參考指數0，然后指數1，然后指數2開始的當前圖像的所有參考圖像，依此類推(增加指數順序)。如果它完成搜索L0(或L1)，則它搜索另一個列表。在P切片中，它首先搜索由第一可用空間相鄰塊選擇的參考圖像。 然後，它從參考指數0，然後指數1，然後指數2開始搜索列表的當前圖像的所有參考圖像，依此類推（增加指數順序）。
在搜索期間，對於每個搜索到的圖像，執行名為“可用性檢查”的過程。 “可用性檢查”過程檢查由vec_init_scaled指向的當前PU的圍繞中心位置的並置子PU，其中vec_init_scaled是具有來自vec_init的適當MV縮放的MV。可以使用各種方式來確定“圍繞中心位置（around centre position）”。 “圍繞中心位置”可以對應於中心像素。例如，如果PU大小是M * N，則中心等於位置（M / 2，N / 2）。 “圍繞中心位置”也可以對應於中心子PU的中心像素。 “圍繞中心位置”可以是上述兩種方法取決於當前PU形狀的混合。在“可用性檢查”中，如果檢查結果是幀間模式，則可用性為真;否則（檢查結果是幀內模式），則可用性為假。在“可用性檢查”之後，如果可用性為真，則將當前搜索到的圖像標記為主並置圖像並且搜索過程結束。如果可用性為真，則使用“圍繞中心位置”的MV並針對當前塊縮放以導出“默認MV”。如果可用性為假，則它將搜索下一個參考圖像。
在“並置圖像搜索過程”期間，當vec_init的參考圖像不等於原始參考圖像時，需要MV縮放。 MV縮放過程是使用運動向量的縮放版本。分別基於當前圖像與vec_init的參考圖像和搜索的參考圖像之間的時間距離縮放MV。 在MV縮放之後，縮放的MV被表示為vec_init_scaled。
在步驟2中，對於每個子PU，它還在main_colpic中找到並置位置。 假設當前子PU是子PU i，則計算並置位置，如下所示： collocated location x = Sub-PU_i_x + vec_init_scaled_i_x(integer part) + shift_x, collocated location y = Sub-PU_i_y + vec_init_scaled_i_y(integer part) + shift_y.
在上述等式中，子PU_i_x表示當前圖像內的子PU i的水平左上位置（整數位置），子PU_i_y表示當前圖像內的子PU i的垂直左上位置（ 整數位置），vec_init_scaled_i_x表示vec_init_scaled_i的水平部分，它有整數部分和小數部分，我們在計算中只使用整數部分，而vec_init_scaled_i_y表示vec_init_scaled_i的垂直部分，它有整數部分和小數部分，我們在計算中只使用整數部分。 shift_x表示移位值。shift_x可以是子PU寬度的一半。 shift_y表示移位值。 在一個示例中，shift_y可以是子PU高度的一半，但是也可以使用其他方法。
最後，在步驟3中，它找到每個子PU的運動資訊時間預測子，其被表示為每個子PU的子PU_MI_i。 子PU_MI_i是來自collocated_picture_i_L0和collocated_picture_i_L1的並置位置x、並置位置y的運動資訊（MI）。 這裡MI被定義為{MV_x，MV_y，參考列表，參考指數和其他合併模式敏感資訊，例如局部照度補償標誌}的集合。 此外，在一個示例中，可以根據並置MV的並置圖像、當前圖像和參考圖像之間的時間距離關係來縮放MV_x和MV_y。 如果MI不可用於某些子PU，則將使用圍繞中心位置的子PU的MI（換句話說，使用默認MV）。 在第5圖中，子塊525和526的運動向量分別標記為527和528。
傳統上，候選列表中僅存在一個子PU TMVP候選。
空間 - 時間運動向量預測（STMVP）
在JEM-3.0（Chen等人，““Algorithm Description of Joint Exploration Test Model 3”,，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG11的聯合視訊探索小組（JVET），第3次會議：日內瓦，CH，2016年5月26日至6月1日，文件：JVET-C1001）中，空間 - 時間運動向量預測（STMVP）也包括在合併模式編解碼中。 在STMVP中，通過使用時間運動向量預測子和空間相鄰運動向量，在光柵掃描順序之後遞歸地導出子CU的運動向量。第6圖說明了STMVP的概念。讓我們考慮包含四個4×4子CU，A、B、C和D的8×8 CU 610。當前幀中的相鄰N×N塊標記為a、b、c和d。子CU A的運動推導通過識別其兩個空間相鄰開始。第一個相鄰是子CU A之上的NxN塊(塊c)。如果該塊c不可用或者是幀內編碼，則檢查子CU A上方的其他N×N塊(從左到右，從塊c開始)。第二相鄰是子CU A左側的塊(塊b)。如果塊b不可用或者是幀內編碼，則檢查子CU A左側的其他塊(從上到下，從塊b開始)。從每個列表的相鄰塊獲得的運動資訊被縮放到給定列表的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來導出子塊A的時間運動向量預測子(TMVP)。獲取位置D處的共同定位塊(co-located block)的運動資訊並相應地縮放。最後，在擷取和縮放運動資訊之後，對每個參考列表分別平均所有可用運動向量(最多3個)。平均運動向量被指定為當前子CU的運動向量。
冗餘移除和附加運動候選
對於幀間模式、跳過模式和合併模式，在導出空間運動候選之後，執行修剪處理以檢查空間候選之間的冗餘。
在移除冗餘或不可用候選之後，可以在編碼器側和解碼器側動態地調整候選列表的大小，使得截斷的一元二值化(truncated unary binarization)可以有益於指數的熵編解碼。雖然候選列表的動態大小可以帶來編碼增益，但它也引入了解析問題。因為時間運動候選包括在候選列表中，所以當前一圖像的一個MV不能被正確解碼時，編碼器側的候選列表與解碼器側的候選列表之間可能發生不匹配，並且候選指數的解析錯誤會發生。此解析錯誤可能會嚴重傳播，並且可能無法正確解析或解碼當前圖像的其餘部分。更糟糕的是，該解析錯誤可能影響可能也用於時間運動候選的後續幀間圖像。因此，MV的一個小的解碼錯誤可能導致解析許多後續圖像的失敗。
在HEVC中，為了解決上述解析問題，使用固定候選列表大小來解耦候選列表構造和指數的解析。 此外，為了補償由固定列表大小引起的編碼性能損失，將附加候選分配給候選列表中的空位置。 在此過程中，指數以最大長度的截斷一元碼編碼，其中最大長度在跳過模式和合併模式的切片報頭中傳輸，並且對於幀間模式固定為2。
對於幀間模式，在推導和修剪兩個空間運動候選和一個時間運動候選之後，添加零向量運動候選以填充AMVP候選列表中的空位置。對於跳過模式和合併模式，在四個空間運動候选和一個時間運動候選的推導和修剪之後，如果可用候選的數量小於固定候選列表大小，則導出並添加附加候選以填充合併候選列表中的空位置。
使用兩種類型的附加候選來填充合併候選列表：組合的雙向預測運動候选和零向量運動候選。通過根據預定義的順序組合兩個原始運動候選來創建組合的雙向預測運動候選。在添加組合的雙向預測運動候選之後，如果合併候選列表仍具有空位置，則將零向量運動候選添加到剩餘位置。
重疊塊運動補償（OBMC）
重疊塊運動補償（OBMC）是一種運動補償技術，其基於從其附近的塊運動向量（MV）導出的運動補償信號來估計像素的強度值。 重疊塊運動補償技術基於從其附近塊運動向量（MV）導出的運動補償信號，找到像素強度值的線性最小均方誤差（LMMSE）估計。 從估計理論的角度來看，這些MV被認為是其真實運動的可信的假設（different plausible hypotheses），並且為了最大化編解碼效率，它們的加權應該最小化受單位增益約束（unit-gain constraint）的均方預測誤差。
當開發高效視訊編解碼（HEVC）時，使用OBMC提出了若干提議以提供編解碼增益。其中一些描述如下。
在JCTVC-C251中，將OBMC應用於幾何分區。在幾何分區中，變換塊很可能包含屬於不同分區的像素。在幾何分區中，由於兩個不同的運動向量用於運動補償，因此分區邊界處的像素可能具有大的不連續性，這些不連續性可能產生一些視覺假象，例如，塊狀假象。這反過來又降低了轉換效率。假設由幾何分區創建的兩個區域由區域1和區域2表示。如果其中的任何四個連接的相鄰(左、上、右和底)屬於區域2(1)，區域1(2)中的像素被定義為邊界像素。第7圖示出了灰色陰影像素屬於區域1(灰色區域710)的邊界並且白色陰影像素屬於區域2(白色區域720)的邊界的示例。區域1中的邊界像素由填充有點的灰色塊表示，區域2中的邊界像素由填充有點的白色塊表示。如果像素是邊界像素，則使用來自兩個運動向量的運動預測的加權和來執行運動補償。對於使用包含邊界像素的區域的運動向量的預測，加權是3/4，對於使用其他區域的運動向量的預測，加權是1/4。重疊邊界改善了重建視訊的視覺質量，同時還提供了BD速率增益。
在JCTVC-F299中，OBMC應用於對稱運動分區。如果編碼單元(CU)被劃分為兩個2NxN或Nx2N預測單元(PU)，則將OBMC應用於兩個2NxN預測塊的水平邊界，並且應用於兩個Nx2N預測塊的垂直邊界。由於那些分區可能具有不同的運動向量，因此分區邊界處的像素可能具有大的不連續性，這可能導致視覺假象並且還降低了變換/編解碼效率。在JCTVC-F299中，引入了OBMC來平滑運動分區的邊界。
第8A圖示出了用於2NxN分區的OBMC的示例，第8B圖示出了用於Nx2N分區的OBMC的示例。填充點的像素表示屬於分區0的像素，空白像素表示屬於分區1的像素。亮度分量中的重疊區域分別被定義為水平或垂直邊界的每一側上的兩行(row)或兩列(column)像素。對於與分區邊界(810或820）相鄰的像素行或列（即，在第8A圖和第8B圖中標記為A的像素），OBMC加權因子是（3 / 4,1 / 4）。換句話說，對於分區1的行812中的像素A，基於分區1的MV1生成MC（運動補償的）像素A1 ，並且基於分區0的MV0生成MC像素A0 。依據（3/4 A1 + 1/4 A0 ）推導出OBMC處理的像素A。 類似的推導適用於列822中的OBMC像素。對於距離分區邊界兩行或兩列的像素（即，第8A圖和第8B圖中標記為B的像素），OBMC加權因子是（7 / 8,1/ 8）。 對於色度分量，重疊區域分別被定義為水平或垂直邊界的每一側上的一行或一列像素，並且加權因子是（3 / 4,1 / 4）。
在ATMVP、STMVP、仿射模式預測和基於模式的運動向量推導（PMVD）合併模式中，應用子塊運動補償。 CU / PU被分成幾個子塊。 每個塊可以具有不同的參考圖像和不同的MV。 如果每個子塊的MV非常多樣化，則子塊運動補償需要大量帶寬。 當OBMC應用於沒有和具有子塊模式的CU時，分別如第9A圖和第9B圖所示的過程根據用於評估新出現的正在開發中新編解碼標準（命名為通用視訊編解碼（versatile video coding，簡寫為VVC））的JEM軟體執行。如果當前CU在沒有子塊模式的情況下被編碼，則通過使用當前MC預測子C、來自塊A的OBMC預測子A'和來自塊B的OBMC預測子B'的加權和來生成最終預測子。如果當前CU使用子塊模式編碼，則通過使用當前MC預測子C、來自上方塊A的OBMC預測子A'、來自左塊B的OBMC預測子B'、來自右塊D的OBMC預測子D'和來自底部塊E的OBMC預測子E'的加權和來生成最終預測子。加權和的處理順序地逐個執行。 這導致高計算複雜性和資料依賴性。 為了簡化OBMC過程，本發明的一個方面公開了簡化所需計算的方法。
去塊濾波器（De-blocking Filter，簡寫為DF)）
高效視訊編解碼（HEVC）是在2013年1月完成的新視訊編解碼標準。HEVC將圖像劃分為16x16、32x32或64x64樣本的編碼樹單元（CTU）。 可以使用四叉樹結構將編碼樹單元進一步劃分為更小的塊，這種塊中的每一個被稱為編碼單元（CU）。 CU可以進一步劃分為預測單元（PU），並且也是變換單元（TU）的變換四叉樹的根。
去塊濾波器可用於減輕由基於塊的編碼引起的塊偽像。對於位於網格上的四個樣本長度的每個邊界分別進行濾波決策，將圖像劃分為8×8個樣本的塊。只有8x8網格上的邊界（PU或TU邊界）才會被去塊。涉及去塊每個四樣本長度垂直邊界和水平邊界的邊界樣本分別在第10A圖和第10B圖中示出。第10A圖中的線1010對應於水平邊界，而第10B圖中的線1020對應於垂直邊界。對於每個四樣本長度邊界計算邊界強度（boundary strength，簡寫為Bs）值，並且可以採用表2中定義的3個可能值。在去塊過程中單獨處理亮度和色度分量。對於亮度分量，僅濾波Bs值等於1或2的塊邊界。在色度分量的情況下，僅濾波Bs值等於2的邊界。 表 2
Figure 108117805-A0304-0002
對於亮度分量，檢查每個四樣本長度邊界的附加條件以確定是否應當應用去塊濾波，並且如果應用去塊，則進一步確定是否應當應用正常濾波器或強濾波器。
在正常濾波模式中，可以修改邊界每側的兩個樣本。在強濾波模式中，可以修改邊界每側的三個樣本。
加權預測(Weighted Prediction，簡寫為WP)
在HEVC中，加權預測(WP)可用於補償幀之間的照度變化。WP將加權和偏移應用於一個運動補償預測塊。在WP中的切片級別發信加權和偏移值。
公開了一種對編解碼系統進行編碼或解碼的方法和裝置，其中，對於編解碼系統，能夠使用雙向CU(編碼單元)加權(BCW)以允許使用多對加權。根據該方法，為當前塊生成合併候選列表，其中當目標合併候選對應於選定的合併候選時，用於與合併候選列表中的目標合併候選相關聯的當前塊的雙向預測子的當前雙向CU加權被設置為預先定義加權對。當為當前塊選擇合併模式時，根據合併候選列表對當前塊或當前塊的當前運動資訊進行編碼或解碼。
在一個實施例中，所選擇的合併候選對應於子塊模式，其中當前塊被劃分為多個子塊以用於運動補償。子塊模式可以對應於ATMVP(高級時間運動向量預測)模式。在正在開發的新興VVC(通用視訊編碼)中，ATMVP也被稱為subTMVP(子塊TMVP(子塊時間運動向量預測子))。對應於與目標合併候選相關聯的當前塊的雙向預測子的當前雙向CU加權的BCW指數可以被導出為並置的中心子塊和並置的中心子塊的空間相鄰子塊中的最頻繁的BCW指數。在另一實施例中，如果合併候選處於子塊模式，例如ATMVP、STMVP或仿射模式，則合併候選的GBi指數被設置為預定義指數。例如，GBi指數設置為指示加權相等的指數，這意味著L0和L1列表的加權都為0.5。
在另一實施例中，所選擇的合併候選對應於時間合併候選。 在又一個實施例中，所選擇的合併候選對應於成對平均合併候選。 在又一個實施例中，所選擇的合併候選對應於基於歷史的合併候選，其也被稱為基於歷史的運動向量預測子（HMVP）。 在又一個實施例中，所選擇的合併候選對應於UMVE（終極運動向量表達）合併候選，其在VVC的最新版規範中也稱為MMVD（與MVD合併）。
在一個實施例中，預定義的加權對對應於（0.5,0.5），這意味著在用於合併模式或幀間預測模式的雙向預測中，來自列表0和列表1的預測子的加權相等。
公開了編解碼系統的編碼或解碼的另一種方法和裝置，其中，為編解碼系統啟用雙向CU（編碼單元）加權（BCW）以允許使用多對加權。 根據該方法，為當前塊生成合併候選列表，其中，當合併候選對應於選定的合併候選時，與合併候選列表中目標合併候選相關聯的雙向預測子的當前雙向CU加權從目標合併候選繼承。 當為當前塊選擇合併模式時，根據合併候選列表對當前塊或當前塊的當前運動資訊進行編碼或解碼。
在一個實施例中，所選擇的合併候選對應於基於歷史的合併候選。 在另一實施例中，所選擇的合併候選對應於UMVE（終極運動向量表達）合併候選。
公開了編解碼系統的編碼或解碼的又一方法和裝置，其中，對於編解碼系統，能夠使用雙向CU（編碼單元）加權（BCW）以允許使用多對加權。 為當前塊生成合併候選列表、基於歷史的列表（HMVP列表）或仿射候選列表，其中在合併候選列表、基於歷史的列表（HMVP列表） 或者仿射候選列表中插入一個新候選之前，根據包括基於歷史的候選更新、仿射候選比較、運動向量、預測方向、參考指數或其組合，並排除與目標合併候選相關聯的BCW指數的一個或多個因素檢查是否在在合併候選列表、基於歷史的列表（HMVP列表） 或者仿射候選列表中插入一個新候選。如果新候選是冗餘的，則不插入新候選。 當分別為當前塊選擇合併模式或仿射合併模式時，根據合併候選列表或仿射候選列表對當前塊或當前塊的當前運動資訊進行編碼或解碼; 或者在以合併模式或AMVP模式編碼當前塊之後更新基於歷史的列表（HMVP列表），並且在合併模式中構建合併候選列表或在AMVP模式中建立AMVP列表期間引用該列表。
以下描述是實現本發明的最佳方案。 進行該描述是為了說明本發明的一般原理，而不應被視為具有限制意義。 通過參考所附申請專利範圍最好地確定本發明的範圍。
方法1.用於發信的GBi改進
當前，一旦發信標誌以指示雙向預測情況，就基於截斷的一元編碼來發信GBi指數。 GBi在新興的VVC中也稱為BCW（具有CU加權的雙向預測）。 之後發信另一個標誌來表示不相等的GBi加權。 實際上，可以通過將GBi指數信令從雙向預測信令分支移動到單向預測信令分支來進一步減少語法開銷來改進GBi語法設計。 第11圖示出了基於GBi指數的數量等於5的示例的AMVP中改進的GBi語法設計的信令。 AMVP在新興的VVC中也稱為幀間預測。
在第11圖中，在AMVP中，首先發信標誌以指示幀間預測是否是具有相等加權情況的雙向預測。如果標誌的值等於1，則幀間預測在相等的稱重情況下是雙向預測。如果標誌的值等於0，則發信標誌以表示預測是否是L0或L1情況。對於兩種情況，隨後發信GBi標誌以指示幀間預測是單向預測還是具有不相等加權情況的雙向預測。例如，如果在L0情況且GBi標誌等於0，則幀間預測是L0單向預測。如果在L0情況下並且GBi標誌等於1，則發信另一個標誌以指示GBi編碼順序指數。由於每個幀間預測方向（L0或L1）可以發信兩個不同的GBi編碼順序指數，因此在所提出的GBi語法設計中可以全部覆蓋所有四個不相等的GBi編碼順序指數的信令。所提出的GBi語法設計具有兩個優點：（1）在相等加權情況下用於雙向預測的較短碼字（僅一位元），其經常發生，以及（2）用於發信不相等GBi編碼順序指數的較短碼字。
對於詳細的語法設計，可以在發信運動資訊（例如，參考指數，MVD和MVP）傳輸之後發信第11圖中所示的示例中的GBi標誌。 信令步驟的示例如下所示： 1. 確定幀間預測方向（在發信標誌“等加權情況下的雙向預測”和“L1”之後，如第11圖所示） 2. 基於幀間預測，發信用於L0、L1或兩者的運動資訊（例如，參考指數、MVP指數、MVD）。 3. 如果幀間預測是具有不相等GBi加權的單向預測或雙向預測，則發信GBi標誌。 4. 如果GBi標誌等於1，則發信另一位元以指示GBi編碼順序指數。
此外，可以在發送運動資訊（諸如參考指數、MVD和MVP）傳輸之前發信第11圖的示例中所示的GBi標誌。 信令步驟如下所示： 1. 確定幀間預測方向（在發信標誌“等加權情況下的雙向預測”和第2圖中所示的“L1”之後） 2. 如果幀間預測是具有不相等GBi加權的單向預測或雙向預測，則發信GBi標誌。 3. 如果GBi標誌等於1，則再發信一位元以指示GBi編碼順序指數。 4. 基於幀間預測，為L0、L1或兩者發信運動資訊（例如，參考指數、MVP指數、MVD）。
仿射MVP修剪
在仿射幀間和仿射合併模式中，如果要構造任何MVP列表，則仿射MVP將被列表中的現有MVP修剪。在仿射幀間和仿射合併使用單獨的列表的情況中，待添加的仿射MVP將被列表中的其他仿射MVP修剪。然而，對於使用統一列表的仿射合併，要添加的仿射MVP不僅可以用列表中的現有仿射MVP進行修剪，而且還可以用列表中的其他非仿射MVP進行修剪。
當僅用仿射MVP修剪一個仿射MVP時，可以應用不同的修剪方案。此外，所提出的仿射MVP修剪可以應用於單獨的仿射候選列表構造，例如仿射AMVP MVP候選列表和/或仿射合併候選列表。
在一個實施方案中，修剪可以通過完全修剪(full pruning)完成。換句話說，每個待添加的仿射MVP將由所有現有的仿射MVP修剪。
在另一個實施例中，第4圖中的組B、組C和組A中的仿射MVP可以首先在他們的組中修剪，然後由第三組中倖存的MVP修剪另兩組中的倖存候選。例如，來自C1的仿射MVP將由來自C0的仿射MVP修剪，並且來自B1的仿射MVP將由來自B0的仿射MVP修剪。然後，來自B組的MVP將被來自A0的MVP修剪，來自C組的MVP將被來自A0的MVP修剪。注意，在組A中，如ITU-T13-SG16-C1016，僅搜索位置A0。
在另一個實施例中，待添加的仿射MVP將僅由列表中的某個MVP修剪。例如，待添加的仿射MVP將僅由MVP列表中的第一仿射MVP、MVP列表中的第二仿射MVP或MVP列表中的最後彷射MVP修剪。
在另一個實施例中，一組仿射MVP將僅由來自其他兩個組中的一個的MVP修剪。例如，來自C組的MVP將由來自B組的MVP進行修剪，來自B組的MVP將被來自A組的MVP修剪。
在另一個實施例中，仿射MVP將僅由其自己的組中的其他MVP修剪。例如，來自B組的仿射MVP將僅被來自B組的其他MVP修剪，來自C組的仿射MVP將僅被來自C組的其他MVP修剪，並且來自A組的仿射MVP將僅被來自A組的其他MVP修剪。
在另一實施例中，首先將C0的仿射MVP放入列表中。 然後，在之後添加B0的仿射MVP。 將B0與C0進行比較。 然後添加B1的仿射MVP。 B1與B0進行比較。 然後添加C1的仿射MVP。 將C1與C0進行比較。 然後添加A0的仿射MVP。 將A0與C0和B0進行比較。
可以通過比較控制點的MV的相似性來完成修剪。在一個實施例中，如果MV差異小於閾值，則將修剪待添加的仿射MVP。在另一個實施例中，如果兩個MVP中的控制點的MV相同，則只能修剪待添加的仿射MVP。
當通過統一合併列表中的仿射MVP和其他非仿射MVP修剪一個仿射MVP時，可以應用不同的修剪方案。
除了上述方法之外，由相鄰塊生成的仿射MVP也可以由其他非仿射MVP修剪。在一個實施例中，如果要添加的控制點的仿射MVP的MV與現有的非仿射MVP中的一個相同或相似，或者4參數仿射模型的兩個控制點的仿射MVP的MV之間的差異或6參數仿射模型的三個控制點的仿射MVP的MV之間的差異小於閾值，將修剪待增加的仿射MVP。
在另一個實施例中，如果現有的非仿射MVP之一來自ATMVP模式，並且參考MV來自仿射塊，則將根據待添加仿射MVP的控制點和使用ATMVP模式的左上角、右上角和左下角MV之間的相似性來修剪待添加的仿射MVP。
仿射MV推導
對於具有四個參數的仿射模型，可以根據等式（5）導出每個子塊的MV。 等式（5）中的w是兩個控制點之間的距離，其等於當前塊的寬度，因為兩個控制點的位置在拐角處，如第12圖所示。可以簡單地通過移位進行劃分，因為所有塊的寬度必須是2的冪。
然而，存儲控制點的MV可能在引用控制點的MV時引入一些錯誤。 這是因為控制點MV表示一個子塊的拐角處而不是子塊的中心的運動。 這個問題可以通過存儲子塊的中心位置而不是角落的MV來解決，如第13圖所示。不幸的是，這可能導致與在仿射塊中導出子塊的MV期間的除法運算相關聯的高複雜度，因為兩個控制點的MV之間的距離將變為不等於2的冪的數字。
為了解決這個問題，建議改變第二控制點的位置以確保兩個控制點之間的距離等於2的冪，如第14圖所示。改變控制點的位置後 ，子塊MV的推導變為：
Figure 02_image009
(6)
在上述方程式中，
Figure 02_image011
是新控制點的中心MV，而
Figure 02_image013
是兩個控制點之間的新距離，其為二的冪。
類似地，對於具有六個參數的仿射模型，每個子塊的MV可以通過以下方式導出：
Figure 02_image015
(7)
在上述方程中，W是塊的寬度，而V0 、V1 和V2 是三個控制點的MV，其位置位於當前塊的角落，如第15圖所示。
為了讓MV在被參考時更好地表示子塊並且還確保劃分不會變得太複雜，控制點的位置將如第16圖所示地改變。
在該改變之後，子塊的MV可如下推導出：
Figure 02_image017
(8)
在上述方程中，
Figure 02_image011
和
Figure 02_image019
是新控制點的中心MV。 W '是左上角控制點和右上角控制點之間的新距離。 H '是左上角控制點和左下角控制點之間的新距離。
AMVP模式的參考指數重新排序
在本發明中，還公開了一種根據合併列表中候選的參考幀對參考幀指數重新排序的方法。
由於更頻繁地選擇具有較小指數的合併候選，因此也可以在AMVP模式中更頻繁地選擇那些候選中的參考幀。
在一個實施例中，在AMVP模式中，僅將合併列表中的第一候選的參考幀重新排序為指數0。 例如，如果合併列表中的第一候選的參考幀是幀5並且參考幀的原始參考幀指數等於2，則在AMVP模式中，幀5的參考指數將被改變為0並且原始參考指數等於0的參考幀的參考指數將被改變為1。具有等於1的原始參考指數的參考幀的參考指數將被重新排序為2。在另一實施例中，參考指數等於0和2的參考幀剛剛交換。 例如，如果參考指數等於2的參考幀是幀5，並且參考指數等於0的參考幀是幀3，則幀5和幀3的重新排序的參考指數將分別是0和2。
在另一個實施例中，可以重新排序多於一個參考幀的參考幀指數。 重新排序的指數取決於合併候選的合併指數。 例如，我們使用前三個合併候選來重新排序AMVP模式中的參考幀指數。 當第一、第二和第三合併候選的參考幀分別是幀5、5和3時，幀5的參考幀指數將變為0並且幀3的參考幀指數將變為1。在一個實施例中 ，首先對幀5和幀3的參考幀指數進行重新排序，並且參考指數的其餘部分將由起始自具有最小原始參考指數的參考幀的其餘部分填充。 例如，如果原始參考指數0、1、2、3分別對應於幀1、4、3、5，那麼重新排序的參考指數將成為參考指數0、1、2、3分別對應於幀5、3 、1、4。 在另一個實施例中，只能交換參考幀。 例如，如果原始參考指數0、1、2、3分別對應於幀1、4、3、5，那麼重新排序的參考指數將成為參考指數0、1、2、3分別對應於幀5、3 、4、1（即幀5和1交換，幀3和4交換）。
仿射和一般雙向預測之間的相互作用
在JVET-K0248（Y.Su等人，“CE4.4.1: Generalized bi-prediction for inter coding”，在ITU-T SG 16 WP 3和ISO / IEC JTC 1/SC 29/WG 11的聯合視訊探索小組（JVET），第11次會議：Ljubljana，SI，2018年7月10日至18日，文件：JVET-K0248）中，公開了一般雙向預測（GBi）。 傳統雙向預測與GBi之間的區別在於，不等加權可以應用於GBi的L0和L1預測子。 例如，我們可以對L0施加較大的加權，對L1使用較小的加權。加權選擇被明確地發信給解碼器。 目前，有五個加權集，包括{-2,10}、{3,5}、{4,4}、{5,3}和{10，-2}分別用於L0和L1。 仿射模式和GBi之間存在一些相互作用，因為雙向預測可以用於仿射模式。 提出了兩種方法。 第一個是擴展GBi以支持仿射模式。 在該方法中，當使用仿射模式時，可以使用L0和L1的不同加權。 當使用仿射模式時，另一種方法不允許GBi。 也就是說，將加權選擇推斷為某個預定義值，並且不發信GBi加權選擇。 在一個實施例中，仿射模式中的加權選擇是相等的。 在另一個實施方案中，GBi加權是不相等的。
部分係數編解碼
觀察到有時使用對角線掃描方法的係數可以在大多數非零係數出現在小區域中時引入冗餘。 例如，如果大多數非零係數位於當前塊的上部區域中，如第17圖所示，則編解碼底部區域的係數將是浪費。 因此，根據一個實施例，首先將一個係數塊劃分為多個區域。 根據最後一個係數的位置，將發信標誌以指示是否僅需要掃描部分係數。例如，一個係數塊被劃分為四個區域。 在一個示例中，這四個區域可以具有相同的尺寸。 如果最後一個係數位於右上區域內的位置，則發信標誌以指示是否僅需要掃描左上區域和右上區域中的係數。 第18圖示出了僅掃描部分係數的示例。 在另一示例中，如果最後一個係數在左下區域中，則發信標誌以指示是否僅需要掃描左上和左下區域中的係數。在另一示例中，如果最後一個係數在右下區域中，則需要掃描當前塊中的所有係數，不需要另外的標記。 在另一個實施例中，當前塊可以被劃分為四個區域，其中四個區域可以具有不同的大小。 左上區域可以小於其他三個部分，或者左上+右上區域的面積小於左下+右下區域的面積，和/或左上+右下區域的面積小於右上+右下區域的面積。
在一個實施例中，該部分係數編解碼僅應用於幀內預測塊。 在另一實施例中，該部分係數編解碼僅應用於某些幀內模式或某些幀內MPM模式。 在另一實施例中，該部分係數編解碼僅應用於幀間預測塊。 在另一實施例中，該部分係數編解碼僅應用於非正方形塊。 在另一實施例中，該部分係數編解碼僅應用於方塊。 在另一實施例中，該部分係數編解碼僅應用於小於某個閾值的塊大小/區域/寬度/高度。 在另一實施例中，該部分係數編解碼僅應用於大於某個閾值的塊大小/區域/寬度/高度。 在另一實施例中，僅在使用某些變換（例如DCT-5/8和/或DST-7）時應用該部分係數編解碼。
平均MVP或平均合併候選
為了提高編解碼效率，已經公開了用於跳過、合併、直接（direct）和/或幀間模式的平均運動向量預測子（MVP）或平均合併候選。
在所提出的平均MVP或平均合併候選中，通過平均兩個或一組可用MVP或合併候選的運動資訊來生成候選。 候選組可以是任何空間候選/ MVP和/或任何時間候選/ MVP和/或任何仿射候選/ MVP和/或任何其他候選/ MVP的組。
對於平均或平均候選（average or mean candidates），所提出的方法中的平均MV計算可以有相同加權或不同加權。 例如，對於具有兩個候選/ MVP的對，加權可以是1和1，然後除以2。或者，加權可以是2和-1或-1和2，而不需要除法。 更一般地，加權可以是N1、N2、...... Nn，然後除以（N1 + N2 + ... + Nn）。
在一個實施例中，平均候選被推導為指向相同參考圖像的兩個或一組MV的平均值。 例如，它以預定義的順序搜索候選列表中的每對候選。 對於每對，如果兩個候選使MV指向至少一個列表中的相同參考圖像，則可以導出平均候選; 否則，平均候選不能從該對中導出。 導出平均候選的過程繼續，直到搜索了所有可能的對或者完全填充了候選列表。
在另一實施例中，平均候選被推導為兩個或一組縮放的MV的平均值，其被縮放為來自兩個或一組候選的目標參考圖像指數。 例如，平均候選的列表0或列表1的MV被導出為來自候選組的列表0或列表1的平均MV，其在平均之前被縮放到目標參考圖像指數。 給定的目標參考圖像指數可以被預定義，或者顯式地發送到位元流中，或者隱式地從候選組的MV中導出。 例如，目標參考圖像指數被導出為來自候選組的參考圖像指數的多數/最小/最大值。 在另一實施例中，即使平均候選指向不同的參考圖像，也將其導出為兩個或一組MV的平均值。
基於歷史的合併模式構建
基於歷史的合併模式在歷史數組中存儲一些先前CU的合併候選。 對於當前CU，除了原始的合併模式候選構造之外，它還可以使用歷史數組中的一個或多個候選來豐富合併模式候選。 在JVET-K0104（L.Zhang等人，“CE4-related: History-based Motion Vector Prediction”，在ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊探索小組（JVET），第11次會議：SI，Ljubljana，2018年7月10日至18日，文件：JVET-K0104）中示出了實施例的詳細描述。 基於歷史的方法也可以應用於AMVP候選列表。
UMVE 預測
在JVET-K0115（S.Jeong等人，“CE4 Ultimate motion vector expression in J0024（Test 4.2.9）”，ITU-T SG 16 WP 3和/IEC JTC 1/SC 29/WG 11的聯合視訊探索小組（JVET），第11次會議：Ljubljana，SI，2018年7月10日至18日，文件：JVET-K0115）中，呈現了JVET-J0024（S.Akula等人，“Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon”, ITU-T SG 16 WP 3和/IEC JTC 1/SC 29/WG 11的聯合視訊探索小組（JVET），第10次會議：聖地亞哥，美國，2018年4月10日至20日，文件：JVET-J0024）中提出的極限運動向量表達式（ultimate motion vector expression，簡寫為UMVE）。第19A圖示出了當前幀1910中的當前塊1912的UMVE搜索過程的示例。參考列表L1中的幀1920和參考列表L1中的幀1930對應於用於雙向預測的兩個參考。線1940對應於通過當前塊1912的中心的線和幀1920和1930中的兩個對應像素。圍繞與線1940相關聯的中心點（例如，線1942和1944）執行搜索。為了簡化搜索過程，將僅搜索垂直和水平中心點周圍的特定位置，如第19B圖所示L0參考（1950）和L1參考（1952）。 UMVE用於跳過或合併模式，具有建議的運動向量表達方法。 UMVE重複使用與VVC相同的合併候選。在合併候選中，可以選擇候選，並且通過所提出的運動向量表達方法進一步擴展候選。 UMVE提供具有簡化信令的新運動向量表達。表達方法包括預測方向資訊、起始點、運動幅度和運動方向。
該提出的技術按原樣使用合併候選列表。 但是，只有默認合併類型（MRG_TYPE_DEFAULT_N）的候選才會被考慮用於UMVE的擴展。 預測方向資訊指示L0、L1和L0與L1預測中的預測方向。 在B切片中，所提出的方法可以通過使用鏡像技術從具有單向預測的合併候選生成雙向預測候選。 例如，如果合併候選是L1的單向預測，則通過搜索列表0中的參考圖像來確定參考指數L0，該參考圖像與列表1的參考圖像鏡像。如果沒有相應的圖像，則使用離當前圖像最近的參考圖像。 L0的MV通過縮放L1的MV來導出。 縮放因子通過POC（圖像順序計數）距離計算。
如果UMVE候選的預測方向與原始合併候選中的一者相同，則將具有值0的指數發信為UMVE預測方向。 然而，如果UMVE候選的預測方向與原始合併候選的預測方向不同，則發信值為1的指數。 在發信第一位元之後，基於UMVE預測方向的預定義優先級順序發信剩餘預測方向。 優先級順序是L0 / L1預測、L0預測和L1預測。 如果合併候選的預測方向是L1，則針對UMVE'預測方向L1發信代碼'0'。 發信代碼'10'用於UMVE'預測方向L0和L1。發信代碼'11'用於UMVE'預測方向L0。 如果L0和L1預測列表相同，則不發信UMVE的預測方向資訊。
基礎候選（base candidate）指數定義起始點。 基本候選指數表示列表中候選中的最佳候選，如表3所示。 表 3.
Figure 108117805-A0304-0003
各距離的距離指數如表4所示。 表 4.
Figure 108117805-A0304-0004
方向指數表示MVD相對於起始點的方向。 方向指數可以表示四個方向，如表5所示。 表 5.
Figure 108117805-A0304-0005
為了降低編碼器複雜度，應用塊限制。 如果CU的寬度或高度小於4，則不執行UMVE。
合併模式中的成對平均候選（Pairwise Average Candidate）
在JVET-L090（Y.Haiso等人，“CE4.4.12: Pairwise average candidates”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11的聯合視訊探索小組（JVET），第12次會議：澳門，CN，2018年10月3日至12日，文件：JVET-L090）中，提出了合併模式下的成對平均候選。 通過對當前合併候選列表中的預定義候選對進行平均來生成成對平均候選。 針對每個參考列表分別計算平均運動向量。 如果兩個運動向量在一個列表中可用，則即使它們指向不同的參考圖像，也將這兩個運動向量平均化; 如果只有一個運動向量可用，則直接使用該一個運動向量; 如果沒有可用的運動向量，則保持此列表無效。
進一步提高GBi指數的編解碼效率的方法公開如下。
A.在合併模式中確定空間候選的GBi指數
在一個實施例中，如果合併候選是空間候選，則從空間合併候選繼承GBi指數。 在另一實施例中，如果合併候選是空間候選，則不從空間合併候選繼承GBi指數。 在這種情況下，可以將GBi指數設置為預定義指數。 例如，GBi指數被設置為表示相等加權的指數，這意味著L0和L1列表的加權都是0.5。
B. 在合併模式中確定時間候選的GBi指數
在一個實施例中，如果合併候選是時間候選，則從時間合併候選繼承GBi指數。 在另一實施例中，如果合併候選是時間候選，則不從時間合併候選繼承GBi指數。 在這種情況下，可以將GBi指數設置為預定義指數。 例如，GBi指數被設置為表示相等加權的指數。
C.在合併模式下確定成對平均候選的GBi指數
在一個實施例中，如果合併候選是雙向預測中的平均候選，則從L0列表中的候選繼承GBi指數。 在一個實施例中，如果合併候選是雙向預測中的平均候選，則從L1列表中的候選繼承GBi指數。 在另一實施例中，如果合併候選是從L0中的候選c0和L1中的候選c1的平均值導出的平均候選。 如果由c0的GBI指數指示的L1加權大於由c1的GBi指數指示的L1加權，則平均候選的GBi指數從候選c0繼承。在另一實施例中，如果合併候選是從L0中的候選c0和L1中的候選c1的平均值導出的平均候選。 如果由c0的GBI指數指示的L0加權大於由c1的GBi指數指示的L0加權，則平均候選的GBi指數從候選c0繼承。在另一實施例中，如果合併候選是平均候選，則將GBi指數設置為預定義指數。 例如，GBi指數被設置為表示相等加權的指數，這意味著L0和L1列表的加權都是0.5。
在另一個實施例中，GBi指數從c0繼承。 在另一個實施例中，GBi指數繼承自c1。 在另一實施例中，如果c0的L1加權大於c1的L1加權，則平均候選的GBi指數從候選c0繼承，反之亦然。 在另一實施例中，如果c0的L0加權大於c1的L0加權，則平均候選的GBi指數從候選c0繼承，反之亦然。 在另一實施例中，如果合併候選是平均候選，則將GBi指數設置為預定義指數。 例如，GBi指數被設置為表示相等加權的指數，這意味著L0和L1列表的加權都是0.5。
D.在合併模式中確定組合候選的GBi指數
在組合的合併候選模式中，構建兩個候選列表以形成雙向預測中的L0和L1合併候選。 在一個實施例中，如果合併候選是組合候選，則從為L0構建的合併候選列表中的候選繼承GBi指數。 在一個實施例中，如果合併候選是組合候選，則從為L1建立的合併候選列表繼承GBi指數。 在另一實施例中，如果合併候選是從為L0建立的候選列表中的候選c0和為L1建立的候選列表中的候選c1的組合導出的組合候選。如果由c0的GBI指數指示的L1加權大於由c1的GBi指數指示的L1加權，則平均候選的GBi指數從候選c0繼承。 在另一實施例中，如果合併候選是從針對L0建立的候選列表中的候選c0和針對L1建立的候選列表中的候選c1的組合導出的。 如果由c0的GBI指數指示的L0加權大於由c1的GBi指數指示的L0加權，則平均候選的GBi指數從候選c0繼承。 在另一實施例中，如果合併候選是組合候選，則將GBi指數設置為預定義指數。 例如，GBi指數被設置為表示相等加權的指數，這意味著L0和L1列表的加權都是0.5。
E.確定子塊合併候選的GBi指數
在一個實施例中，如果合併候選處於子塊模式，例如在ATMVP、STMVP或仿射合併模式中，則合併候選的GBi指數可以從並置的子塊的中心子塊的GBi指數繼承。 在一個實施例中，如果合併候選處於子塊模式，例如在ATMVP、STMVP或仿射模式中，則合併候選的GBi指數可以從在並置中心子塊和其他空間相鄰子塊中發生的最頻繁的GBi指數導出。 在另一實施例中，如果合併候選使用子塊模式，例如ATMVP、STMVP或仿射模式，則合併候選的GBi指數被設置為預定義指數。 例如，GBi指數被設置為表示相等加權的指數，這意味著L0和L1列表的加權都是0.5。
F.在合併模式下確定基於歷史的候選的GBi指數
在JVET-K0104中，基於歷史的合併模式在歷史數組中存儲一些先前CU的合併候選，並且對於當前CU，除了原始合併模式候選構造之外，它還可以使用歷史數組內的一個或多個候選來 豐富合併模式候選。 在一個實施例中，如果CU是從歷史數組中的候選繼承的，則CU的GBi指數可以從歷史數組中的對應候選繼承。 在另一實施例中，如果CU是從歷史數組中的候選繼承的，則CU的GBi指數被設置為指示相等加權的指數，這意味著L0和L1列表的加權都是0.5。
G.在修剪過程中確定GBi指數
在一個實施例中，在合併候選移除、基於歷史的候選更新或仿射候選比較的修剪過程中，除了與參考指數、運動向量和預測方向（L0、L1或雙向預測）相關的資訊之外， GBi指數可用於確定冗餘候選。 在另一個實施例中，在合併候選移除、基於歷史的候選更新或仿射候選比較的修剪過程中，GBi指數不用於確定冗餘候選。
H.確定UMVE的GBi指數
在JVET-K0115中，UMVE重複使用（re-use）合併候選並且在合併候選中，可以選擇候選並且通過JVET-K0115中提出的一些運動向量表達方法進一步擴展候選。 在一個實施例中，UMVE模式中的合併候選的GBi指數可以從在正常合併模式中生成的相應合併候選繼承。 在另一個實施例中，UMVE模式中的合併候選的GBi指數可以被設置為指示相等加權的指數，這意味著L0和L1列表的加權都是0.5。
I.確定OBMC的GBi指數
在一個實施例中，OBMC模式中的CU的GBi指數可以從其運動向量被引用的相鄰塊繼承。 在另一實施例中，當OBMC應用於沒有子塊模式的CU時，OBMC預測子的GBi指數（即，第9A圖中的A'、B'）繼承自相應相鄰的GBi指數（即，分別為第9A圖的A和 B）。 在另一個實施例中，A'和B'的GBi指數不是從相應的相鄰繼承的，A'和B'的GBi指數被設置為預定義的指數。例如，A'和B'的GBi指數被設置為表示相等加權的指數，這意味著L0和L1列表的加權都是0.5。在一個實施例中，當OBMC以子塊模式應用於CU時，所有OBMC預測子的GBi指數(即，第9B圖中的A'、B'、D'和E')繼承自相應相鄰(即，第9B圖中的A、B、D和E)的GBi指數。在另一個實施例中，所有OMBC預測子的GBi指數不是從相應的相鄰繼承的。所有OMBC預測子的GBi指數都被設置為預定義的指數。例如，所有OMBC預測子的GBi指數被設置為表示相等加權的指數，這意味著L0和L1列表的加權都是0.5。在另一實施例中，GBi與OMBC互斥，這意味著當OBMC應用於具有或不具有子塊模式的CU時，MC預測子的GBi指數和所有OBMC預測子被設置為預定義指數。例如，MC預測子的GBi指數和所有OBMC預測子被設置為表示相等加權的指數，這意味著L0和L1列表的加權均為0.5。
J.GBi與去塊濾波器的交互
在HEVC中，可以通過比較兩個相鄰CU的邊界像素之間的運動向量或參考指數來確定邊界強度(Bs)值。在一個實施例中，考慮兩個相鄰CU的GBi指數確定Bs值。例如，如果兩個相鄰CU的GBi指數之間的差異大於閾值，則BS值可以設置為1或2。又例如，如果兩個相鄰CU的GBi指數之間的差異小於閾值，則Bs值可以設置為1或2。在另一實施例中，不考慮兩個相鄰CU的GBi指數確定Bs值。
K.GBi與加權預測的交互
在一個實施方案中，GBi和WP是互斥的。例如，如果將WP應用於切片，則切片中所有CU的GBi指數都被設置為指示相等加權的指數，這意味著L0和L1列表的加權都是0.5。在另一個實施方案中，GBi和WP是相互包含的。例如，如果將WP應用於切片，則對於雙向預測情況，首先將WP的加權和偏移應用於兩個運動補償預測塊中的每一個，然後基於GBi加權計 算兩個微調的預測塊的加權和。
可以在編碼器和/或解碼器中實現任何前述提出的方法。例如，任何所提出的方法可以在編碼器的MV推導模塊和/或解碼器的MV推導模塊中實現。或者，任何所提出的方法可以實現為耦合到編碼器的MV推導模塊和/或解碼器的MV推導模塊的電路，以便提供MV推導模塊所需的資訊。另外，本領域具有通常知識者了解，本說明書中的編碼在一些情況下也可以理解為編解碼。
第20圖示出了示例性視訊編解碼系統的流程圖，其中根據本發明的實施例，對編解碼系統啟用雙向CU(編碼單元)加權(BCW)以允許使用多對加權。流程圖中示出的步驟以及本公開中的其他後續流程圖可以實現為在編碼器側和/或解碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式代碼。流程圖中示出的步驟還可以基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器的硬體來實現。根據該方法，在步驟2010中接收與圖像中的當前塊相關聯的輸入資料。在步驟2020中為當前塊生成合併候選列表，其中當目標合併候選對應於所選合併候選時，與合併候選列表中的目標合併候選相關聯的當前塊的雙向預測子的當前雙向CU加權被設置為預定義加權對。在步驟2030中，當為當前塊選擇合併模式時，根據合併候選列表對當前塊或當前塊的當前運動資訊進行編碼或解碼。
第21圖示出了另一示例性視訊編解碼系統的流程圖，其中根據本發明的實施例，對編解碼系統啟用雙向CU(編碼單元)加權(BCW)以允許使用多對加權。根據該方法，在步驟2110中接收與圖像中的當前塊相關聯的輸入資料。在步驟2120中為當前塊生成合併候選列表，其中當目標合併候選對應於所選合併候選時，與合併候選列表中的目標合併候選相關聯的當前塊的雙向預測子的當前雙向CU加權繼承自目標合併候選。在步驟2130中，當為當前 塊選擇合併模式時，根據合併候選列表對當前塊或當前塊的當前運動資訊進行編碼或解碼。
第22圖示出了又一示例性視訊編解碼系統的流程圖，其中根據本發明的實施例，對編解碼系統啟用雙向CU(編碼單元)加權(BCW)以允許使用多對加權。根據該方法，在步驟2210中接收與圖像中的當前塊相關聯的輸入資料。在步驟2210中為當前塊生成合併候選列表、基於歷史的列表(HMVP列表)或仿射候選列表，其中在合併候選列表、基於歷史的列表(HMVP列表)或者仿射候選列表中插入一個新候選之前，根據包括基於歷史的候選更新、仿射候選比較、運動向量、預測方向、參考指數或其組合並排除與目標合併候選相關聯的BCW指數的一個或多個因素檢查是否在在合併候選列表、基於歷史的列表(HMVP列表)或者仿射候選列表中插入該一個新候選，並且如果新候選是冗餘的(redundant)，則不插入該新候選。在步驟2230中，當分別為當前塊選擇合併模式或仿射合併模式時，根據合併候選列表或仿射候選列表對當前塊或當前塊的當前運動資訊進行編碼或解碼；或者在以合併模式或AMVP模式編解碼當前塊之後更新基於歷史的列表(HMVP列表)，並且在合併模式中構建合併候選列表或在AMVP模式中建立AMVP列表期間引用該列表。
所示的流程圖旨在示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域具有通常知識者可以修改每個步驟，重新安排步驟，分割步驟，或組合步驟以實施本發明。在本公開中，已經使用特定語法和語義來說明用於實現本發明的實施例的示例。所屬領域具有通常知識者可以通過用等同的語法和語義替換語法和語義來實踐本發明而不脫離本發明的精神。
呈現以上描述以使得所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者來說是顯而易見的，並且這裡定義的一般原理可以應用於其他實施例。 因此，本發明不限於所示出和描述的特定實施例，而是與符合本文所公開的原理和新穎特徵的最寬範圍相一致。 在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。 然而，所屬領域具有通常知識者將理解，可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中的程式代碼，以執行這裡描述的處理。本發明的實施例還可以是要在數位信號處理器（DSP）上執行的程式代碼，以執行這裡描述的處理。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可程式化門陣列（FPGA）執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以用不同的編程語言和不同的格式或樣式開發。還可以針對不同的目標平台編譯軟體代碼。然而，軟體代碼的不同代碼格式、樣式和語言以及配置代碼以執行根據本發明的任務的其他裝置將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。 所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。 因此，本發明的範圍由所附申請專利範圍而不是前面的描述表示。 在申請專利範圍的含義和等同範圍內的所有變化都包含在其範圍內。
310、320‧‧‧塊 410、1912‧‧‧當前塊 510‧‧‧當前PU 520‧‧‧時間並置圖像 521、522‧‧‧子PU 523、524‧‧‧vec_init 525、526‧‧‧子塊 527、528‧‧‧運動向量 610‧‧‧CU 710‧‧‧灰色區域 720‧‧‧白色區域 810、820‧‧‧分區邊界 812‧‧‧行 822‧‧‧列 1010、1020、1940、1942、1944‧‧‧線 1910、1920、1930‧‧‧幀 1950‧‧‧L0參考 1952‧‧‧L1參考 2010~2030、2110~2130、2210~2230‧‧‧步驟
第1圖示出了用於導出合併模式的候選的空間和時間相鄰塊。 第2圖示出了GBi（一般雙向預測）編碼順序指數的發信。 第3圖示出了四參數仿射模型的示例，其中可以基於兩個控制點處的運動向量導出運動模型。 第4圖示出了用於導出角點導出的仿射候選的相鄰塊集合。 第5圖示出了子PU時間運動向量預測（Sub-PU TMVP）的情況，其中當前PU被劃分為16個子Pu。 第6圖示出了空間 - 時間運動向量預測（STMVP）的概念。 第7圖示出了重疊塊運動補償（OBMC）的示例，其中灰色陰影像素屬於區域1的邊界，並且白色陰影像素屬於區域2的邊界。 第8A圖示出了用於2NxN分區的重疊塊運動補償（OBMC）的示例。 第8B圖示出了用於Nx2N分區的重疊塊運動補償（OBMC）的示例。 第9A圖示出了沒有子塊模式的CU的OBMC過程的示例。 第9B圖示出了具有子塊模式的CU的OBMC過程的示例。 第10A圖示出了去塊每個四樣本長度垂直邊界所涉及的邊界樣本的示例。 第10B圖示出了去塊每個四樣本長度水平邊界所涉及的邊界樣本的示例。 第11圖示出了基於GBi指數的數量等於5的示例在AMVP中發信改進的GBi語法設計的示例。 第12圖示出了根據傳統仿射模型的等式（5）中使用的w，其中w是兩個控制點之間的距離。 第13圖示出了根據子塊的中心位置之間的距離而不是角點的等式（5）中使用的w。 第14圖示出了通過改變第二控制點的位置以使兩個控制點之間的距離等於2的冪來根據距離在等式（5）中使用的w。 第15圖示出了根據傳統仿射模型的等式（7）中使用的W，其中w是三個控制點之間的距離。 第16圖通過修改三個控制點以簡化計算，示出了根據距離在等式（7）中使用的W。 第17圖示出了當前塊的上部區域中的非零係數的示例，其中底部區域的係數編解碼將是浪費。 第18圖示出了僅掃描部分係數的示例。 第19A圖示出了當前幀中的當前塊的UMVE搜索過程的示例。 第19B圖示出了針對L0參考和L1參考在垂直和水平中心點周圍的特定位置處的UMVE搜索的示例。 第20圖示出了示例性視訊編解碼系統的流程圖，其中根據本發明的實施例，對編解碼系統啟用雙向CU（編碼單元）加權（BCW）以允許使用多對加權。 第21圖示出了另一示例性視訊編解碼系統的流程圖，其中根據本發明的實施例，對編解碼系統啟用雙向CU（編碼單元）加權（BCW）以允許使用多對加權。 第22圖示出了又一示例性視訊編解碼系統的流程圖，其中根據本發明的實施例，對於編解碼系統啟用雙向CU（編碼單元）加權（BCW）以允許使用多對加權。
2010~2030‧‧‧步驟

Claims (15)

  1. 一種視訊編碼或解碼的方法，用於編解碼系統，其中，為該編解碼系統啟用雙向編碼單元加權以允許使用多對加權，該方法包括： 接收與圖像中的當前塊相關聯的輸入資料; 生成該當前塊的合併候選列表，其中當目標合併候選對應於選定的合併候選時，與該合併候選列表中的該目標合併候選相關聯的該當前塊的雙向預測子的當前雙向編碼單元加權被設置為預定義的加權對；以及 當為該當前塊選擇合併模式時，根據該合併候選列表對該當前塊或該當前塊的當前運動資訊進行編碼或解碼。
  2. 如申請專利範圍第1項所述之方法，其中，該選定的合併候選對應於子塊模式，並且其中，該當前塊被劃分為多個子塊以用於運動補償。
  3. 如申請專利範圍第2項所述之方法，其中，該子塊模式對應於高級時間運動向量預測模式。
  4. 如申請專利範圍第1項所述之方法，其中，該選定的合併候選對應於時間合併候選。
  5. 如申請專利範圍第1項所述之方法，其中，該選定的合併候選對應於成對平均合併候選。
  6. 如申請專利範圍第1項所述之方法，其中，該選定的合併候選對應於基於歷史的合併候選。
  7. 如申請專利範圍第1項所述之方法，其中，該選定的合併候選對應於終極運動向量表達合併候選。
  8. 如申請專利範圍第1項所述之方法，其中，該預定義的加權對對應於（0.5,0.5）。
  9. 一種用於編解碼系統的視訊編碼或解碼的裝置，其中，為編解碼系統啟用雙向編碼單元加權以允許使用多對加權，，該裝置包括一個或多個配置的電子設備或處理器以執行以下操作： 接收與圖像中當前塊相關聯的輸入資料; 生成該當前塊的合併候選列表，其中當目標合併候選對應於選定的合併候選時，與該合併候選列表中的該目標合併候選相關聯的該當前塊的雙向預測子的當前雙向編碼單元加權被設置為預定義的加權對；以及 當為該當前塊選擇合併模式時，根據該合併候選列表對該當前塊或該當前塊的當前運動資訊進行編碼或解碼。
  10. 一種視訊編碼或解碼的方法，用於編解碼系統，其中，為該編解碼系統啟用雙向編碼單元加權以允許使用多對加權，該方法包括： 接收與圖像中的當前塊相關聯的輸入資料; 生成該當前塊的合併候選列表，其中當目標合併候選對應於所選擇的合併候選時，與該合併候選列表中的該目標合併候選相關聯的雙向預測子的當前雙向編碼單元加權從該目標合併候選繼承；以及 當為該當前塊選擇合併模式時，根據該合併候選列表對該當前塊或該當前塊的當前運動資訊進行編碼或解碼。
  11. 如申請專利範圍第10項所述之方法，其中，該所選擇的合併候選對應於基於歷史的合併候選。
  12. 如申請專利範圍第10項所述之方法，其中，該所選擇的合併候選對應於終極運動向量表達合併候選。
  13. 一種視訊編碼或解碼裝置，用於編解碼系統，其中，為該編解碼系統啟用雙向編碼單元加權以允許使用多對加權，該裝置包括一個或多個電子設備或處理器被配置為執行以下操作： 接收與圖像中的當前塊相關聯的輸入資料; 生成該當前塊的合併候選列表，其中當目標合併候選對應於所選擇的合併候選時，與該合併候選列表中的該目標合併候選相關聯的雙向預測子的當前雙向編碼單元加權從該目標合併候選繼承；以及 當為該當前塊選擇合併模式時，根據該合併候選列表對該當前塊或該當前塊的當前運動資訊進行編碼或解碼。
  14. 一種視訊編碼或解碼的方法，用於編解碼系統，其中，為該編解碼系統啟用雙向編碼單元加權以允許使用多對加權，該方法包括： 接收與圖像中的當前塊相關聯的輸入資料; 為該當前塊生成合併候選列表、基於歷史的列表或仿射候選列表，其中在該合併候選列表、該基於歷史的列表或者該仿射候選列表中插入一個新候選之前，根據包括基於歷史的候選更新、仿射候選比較、運動向量、預測方向、參考指數或其組合，並排除與目標合併候選相關聯的雙向編碼單元加權指數的一個或多個因素檢查是否在該合併候選列表、該基於歷史的列表或者該仿射候選列表中插入該新候選，以及其中如果該新候選是冗餘的，則不插入該新候選；以及 當分別為該當前塊選擇合併模式或仿射合併模式時，根據該合併候選列表或該仿射候選列表對該當前塊或該當前塊的當前運動資訊進行編碼或解碼; 或者在以合併模式或高級運動向量預測模式編解碼該當前塊之後更新該基於歷史的列表，並且在合併模式中構建該合併候選列表或在高級運動向量預測模式中建立高級運動向量預測列表期間引用該列表。
  15. 一種視訊編碼或解碼裝置，用於編解碼系統，其中，為該編解碼系統啟用雙向編碼單元加權以允許使用多對加權，該裝置包括一個或多個電子設備或處理器被配置為執行以下操作： 接收與圖像中的當前塊相關聯的輸入資料; 為該當前塊生成合併候選列表、基於歷史的列表或仿射候選列表，其中在該合併候選列表、該基於歷史的列表或者該仿射候選列表中插入一個新候選之前，根據包括基於歷史的候選更新、仿射候選比較、運動向量、預測方向、參考指數或其組合，並排除與目標合併候選相關聯的雙向編碼單元加權指數的一個或多個因素檢查是否在該合併候選列表、該基於歷史的列表或者該仿射候選列表中插入該新候選，以及其中如果該新候選是冗餘的，則不插入該新候選；以及 當分別為該當前塊選擇合併模式或仿射合併模式時，根據該合併候選列表或該仿射候選列表對該當前塊或該當前塊的當前運動資訊進行編碼或解碼; 或者在以合併模式或高級運動向量預測模式編解碼該當前塊之後更新該基於歷史的列表，並且在合併模式中構建該合併候選列表或在高級運動向量預測模式中建立高級運動向量預測列表期間引用該列表。
TW108117805A 2018-05-23 2019-05-23 使用雙向cu加權的視訊編解碼的方法和裝置 TWI720492B (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201862675239P 2018-05-23 2018-05-23
US62/675,239 2018-05-23
US201862719826P 2018-08-20 2018-08-20
US62/719,826 2018-08-20
US201862742476P 2018-10-08 2018-10-08
US62/742,476 2018-10-08
US201862743014P 2018-10-09 2018-10-09
US62/743,014 2018-10-09
PCT/CN2019/088069 WO2019223746A1 (en) 2018-05-23 2019-05-23 Method and apparatus of video coding using bi-directional cu weight
WOPCT/CN2019/088069 2019-05-23

Publications (2)

Publication Number Publication Date
TW202005372A TW202005372A (zh) 2020-01-16
TWI720492B true TWI720492B (zh) 2021-03-01

Family

ID=68615673

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108117805A TWI720492B (zh) 2018-05-23 2019-05-23 使用雙向cu加權的視訊編解碼的方法和裝置

Country Status (6)

Country Link
US (1) US11895291B2 (zh)
EP (1) EP3794819A4 (zh)
CN (2) CN112154660B (zh)
BR (1) BR112020023571A8 (zh)
TW (1) TWI720492B (zh)
WO (1) WO2019223746A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
WO2020003269A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for lut updating
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
CN110662064B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 Lut中的运动候选的检查顺序
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
BR112020024162A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método de processamento de vídeo e aparelho para processar dados de vídeo, meios de armazenamento e de gravação legíveis por computador não transitórios, método para armazenar uma representação de fluxo de bits de um vídeo
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
TW202029755A (zh) * 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
AU2019364883B2 (en) 2018-10-24 2023-07-20 Huawei Technologies Co., Ltd. A method and an apparatus for determining motion information for a current block, a method and an apparatus for constructing and updating a history-based motion vector predictor list, and non-transitory computer-readable storage medium, and video encoding/decoding methods and apparatus
US11570430B2 (en) * 2018-12-06 2023-01-31 Lg Electronics Inc. Method and device for processing video signal on basis of inter-prediction
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113302918A (zh) * 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
KR20220122802A (ko) * 2019-06-13 2022-09-02 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩을 위한 모션 벡터 예측
CN114145022A (zh) * 2019-06-14 2022-03-04 Lg电子株式会社 推导双向预测的权重索引信息的图像解码方法及其装置
WO2020263027A1 (ko) * 2019-06-28 2020-12-30 에스케이텔레콤 주식회사 양방향 예측 가중치 인덱스를 유도하는 방법 및 영상 복호화 장치
US20230146398A1 (en) * 2020-03-31 2023-05-11 Nokia Technologies Oy Merge candidate list for gradual decoding refresh
US20230171405A1 (en) * 2021-11-30 2023-06-01 Tencent America LLC Scene transition detection based encoding methods for bcw
WO2024022145A1 (en) * 2022-07-28 2024-02-01 Mediatek Inc. Method and apparatus of amvp with merge mode for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN107710762A (zh) * 2015-06-19 2018-02-16 诺基亚技术有限公司 用于视频编码和解码的装置、方法、以及计算机程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011095260A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Managing predicted motion vector candidates
HUE053483T2 (hu) * 2010-10-08 2021-06-28 Ge Video Compression Llc Blokk particionálást és összevonást támogató kép kódolás
TWI613911B (zh) * 2011-10-31 2018-02-01 Jvc Kenwood Corp 動態影像解碼裝置及動態影像解碼方法
JP5725006B2 (ja) * 2011-12-28 2015-05-27 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
CN105432084B (zh) 2013-07-19 2018-10-26 寰发股份有限公司 用于三维视频编码的参考视图选择的方法
JP6574976B2 (ja) 2014-03-18 2019-09-18 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
JP6430542B2 (ja) * 2014-06-16 2018-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃにおける簡略化シフティングマージ候補およびマージリスト導出
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
JP6078138B1 (ja) * 2015-10-30 2017-02-08 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置及び動画像符号化方法
SG11201806865YA (en) * 2016-03-15 2018-09-27 Mediatek Inc Method and apparatus of video coding with affine motion compensation
EP4060992A1 (en) 2016-05-13 2022-09-21 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
WO2018062892A1 (ko) * 2016-09-28 2018-04-05 엘지전자(주) 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN107710762A (zh) * 2015-06-19 2018-02-16 诺基亚技术有限公司 用于视频编码和解码的装置、方法、以及计算机程序

Also Published As

Publication number Publication date
EP3794819A1 (en) 2021-03-24
CN116800981A (zh) 2023-09-22
BR112020023571A2 (pt) 2021-02-09
TW202005372A (zh) 2020-01-16
CN112154660B (zh) 2023-07-14
BR112020023571A8 (pt) 2023-02-07
EP3794819A4 (en) 2022-12-07
US11895291B2 (en) 2024-02-06
WO2019223746A1 (en) 2019-11-28
CN112154660A (zh) 2020-12-29
US20210211644A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
TWI720492B (zh) 使用雙向cu加權的視訊編解碼的方法和裝置
TWI720460B (zh) 在視訊編解碼中具有高級控制之候選重組
US11589049B2 (en) Method and apparatus of syntax interleaving for separate coding tree in video coding
US20200014931A1 (en) Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
JP7425808B2 (ja) 動き候補リスト構築プロセスの条件付き実行
CN113170191B (zh) 视频编解码的预测方法以及预测装置
TW202007155A (zh) 一種視訊編解碼的幀間預測方法及裝置
US20200344492A1 (en) Method and Apparatus of Constraining Merge Flag Signaling in Video Coding
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
TWI734254B (zh) 視訊編碼之多重假設方法和裝置
CN112840645B (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
US11539977B2 (en) Method and apparatus of merge with motion vector difference for video coding
TWI729458B (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
TW202021361A (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
TWI830558B (zh) 視頻編解碼系統中多重假設預測的方法和裝置