TW202046718A - 用於多個工具的互相排斥設定 - Google Patents

用於多個工具的互相排斥設定 Download PDF

Info

Publication number
TW202046718A
TW202046718A TW109106446A TW109106446A TW202046718A TW 202046718 A TW202046718 A TW 202046718A TW 109106446 A TW109106446 A TW 109106446A TW 109106446 A TW109106446 A TW 109106446A TW 202046718 A TW202046718 A TW 202046718A
Authority
TW
Taiwan
Prior art keywords
prediction
codec
inter
mode
codec mode
Prior art date
Application number
TW109106446A
Other languages
English (en)
Other versions
TWI735172B (zh
Inventor
江嫚書
陳俊嘉
徐志瑋
蔡佳銘
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202046718A publication Critical patent/TW202046718A/zh
Application granted granted Critical
Publication of TWI735172B publication Critical patent/TWI735172B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了實施編解碼模式互相排斥組的一視訊解碼器。該視訊解碼器接收將被解碼為一視訊的一當前圖像的一當前塊的一像素塊的資料。當該當前塊的一第一編解碼模式被啟用時，該當前塊的一第二編解碼模式被禁用，其中該第一編解碼模式以及該第二編解碼模式指定不同的方法用於計算該當前塊的一幀間預測。藉由使用根據一啟用的編解碼模式計算的一幀間預測來解碼該當前塊。

Description

用於多個工具的互相排斥設定
本發明通常涉及視訊處理。具體地，本發明涉及發信編解碼模式的方法。
除非在此另有指示，本節所描述的方案不是下文所列申請專利範圍的先前技術並且不因包括於本節而被承認為先前技術。
高效視訊編解碼(HEVC)是由視訊編解碼的聯合協作小組(JCT-VC)開發的國際視訊編解碼標準。HEVC是基於混合塊的運動補償DCT類變換編解碼架構。壓縮的基礎單元是2N×2N正方形塊，術語稱為編碼單元(coding unit，CU)，以及每一CU可以被遞迴地拆分成四個較小的CU直到達到預定的最小尺寸。每一CU包含一個或多個預測單元(prediction unit，PU)。
為了實現HEVC中混合編解碼架構的最佳編解碼效率，每一PU有兩種類型的預測模式，其是幀內預測以及幀間預測。對於幀內預測模式，空間相鄰重構像素可以被用於生成定向預測。HEVC中至多有35個方向。對於幀間預測模式，時間重構參考幀可以用於生成運動補償預測。有三個不同的模式，包括跳過(Skip)、合併(Merge)以及幀間高級運動向量預測(Advanced Motion Vector Prediction，AMVP)模式。
當PU在幀間AMVP模式中編解碼時，用所傳輸的運動向量差異(MVD)執行運動補償預測，MVD可以與運動向量預測子(MVP)一起使用用於生成運動向量(MV)。為了在幀間AMVP模式中決定MVP，高級運動向量預測(AMVP)方案用於在包括兩個空間MVP以及一個時間MVP的AMVP候選集合中選擇運動向量預測子。因此，在AMVP模式中，MVP的MVP索引以及對應的MVD需要被編碼並傳輸。此外，來在雙向預測以及單向預測(其是列表0(L0)以及列表1(L1))中指定預測方向的幀間預測方向與每一列表的參考幀索引也應該被編碼並被傳輸。
當PU在跳過或合併模式中編解碼時，除了所選擇候選的合併索引，沒有運動資訊被傳輸。這是因為跳過以及合併模式利用運動推斷方法(MV=MVP+MVD，其中MVD=0)來從空間相鄰塊(空間候選)或位於並位圖像中的時間塊(時間候選)來獲得運動資訊，其中並位圖像是列表0或列表1中的第一參考圖像，其在條帶標頭(slice header)中被發信。在跳過PU的情況下，殘差訊號也被省略。為了決定跳過以及合併模式的合併索引，合併方案用於在包含四個空間MVP以及一個時間MVP的合併候選集合中選擇運動向量預測子。
後續的概述僅是說明性的並不旨在以任何方式進行限制。即，後續概述被提供來介紹本文所描述新穎以及非顯而易見技術的概念、亮點、益處以及優勢。選擇而不是所有實施例在細節描述中被進一步描述。因此，後續概述不旨在識別所要求保護主題的基本特徵，或者不旨在用於決定所要求保護主題的範圍。
本發明的實施例提供了實施編解碼模式或工具的互相排斥組的一視頻解碼器。該解碼器接收將被解碼為一視頻的一當前圖像的一當前塊的一區塊的資料。當該當前塊的一第一編解碼模式被啟用時，該解碼器禁用該當前塊的一第二編解碼模式，其中該第一編解碼模式以及該第二編解碼模式指定不同的方法用於計算該當前塊的一幀間預測。換言之，僅當該第一編解碼模式被禁用時，該當前塊的該第二編解碼模式可以被應用。該解碼器藉由使用根據該啟用的編解碼模式計算的一幀間預測解碼該當前塊。
在後續細節描述中，以示例的方式給出了許多具體系列以提供相關教導的透徹理解。基於本文所描述的教導的各種變體、衍生與/或擴展在本發明的保護範圍內。在一些情況中，與本文公開的一個或多個示例實施方式有關的公知的方法、進程、元件與/或電路可以在沒有細節的情況下在相對高層級進行描述，以避免不必要地混淆本發明的教導的方面。I. 合併模式
第1圖示出了合併模式的運動候選。如圖所示，從A0、A1、B0以及B1導出至多四個空間MV候選，以及從TBR或TCTR導出一個時間MV候選(首先使用TBR，如果TBR不可用，使用TCTR)。如果任一四個空間MV候選是不可用的，然後位置B2被用於導出MV候選作為替代。在四個空間MV候選以及一個時間MV候選的導出進程後，在一些實施例中應用移除冗餘(修剪)來移除冗餘MV候選。如果在移除冗餘(修剪)後，可用MV候選的數目小於5，三個類型的額外候選被導出以及被添加到候選集合(候選列表)中。視訊編碼器基於率失真優化(RDO)決定在跳過或合併模式的候選集合內選擇一個最終候選，以及傳輸索引到視訊解碼器。(跳過模式以及合併模式在本文中被共同稱為“合併模式”)。II. 解碼器運動向量細化 ( DMVR)
為了增加合併模式的MV的精度，在一些實施例中，應用了基於雙向匹配的解碼器側運動向量細化或DMVR。在雙向預測操作中，視訊編解碼器在參考圖像列表L0以及參考圖像列表L1中的初始MV周圍搜索細化的MV。雙向匹配方法計算參考圖像列表L0與列表L1中兩個候選塊之間的失真(distortion)。
第2圖概念地示出了使用基於雙向匹配的解碼器側運動向量細化來編碼或解碼當前塊200。如圖所示，基於由這些MV候選(如，R0’或R1’)參考的像素與當前塊200之間的差異，為初始MV(如，MV0以及MV1)周圍的MV候選(如，MV0’以及MV1’)計算SAD(絕對差和)。具有最低SAD的MV候選成為細化的MV並用於生成雙向預測訊號。
在一些實施例中，DMVR被應用如下。對於亮度CB寬度或高度＞16的DMVR，CU被拆分成多個16x16、16x8或8x16亮度子塊(以及對應的色度子塊)。接下來，當列表0與列表1之間的零MVD位置(由初始MV指示，標記為MV0以及MV1)的SAD較小時，每一子塊或小CU的DMVR被早早結束。基於25點SAD的整數步搜索(即，±2整數步細化搜索範圍)，搜索範圍分數樣本藉由雙線性插值來生成。
在一些實施例中，當滿足DMVR的啟用條件時，DMVR被應用於被編解碼的CU。在一些實施例中，DMVR的啟用條件可以是(i)到(v)的任何子集。(i)具有雙向預測MV的CU級合併模式；(ii)一個參考圖像在關於當前圖像的過去圖像中以及另一個參考圖像在關於當前圖像的未來圖像中；(iii)從兩個參考圖像到當前圖像的距離(如，圖像次序計數或POC差異)是相同的；(iv)CU具有超過64個亮度樣本；(v)CU高度以及CU寬度都超過或等於8個亮度樣本。
由DMVR進程導出的細化的MV用於生成幀間預測樣本以及也用於未來圖像編解碼的時間運動向量預測。而原始MV用於去塊進程(deblocking process)並且也用於未來CU編解碼的空間運動向量預測。a. 搜索方案
如第2圖所示，包圍初始MV的搜索點以及MV偏移服從MV差異鏡像原則。換言之，由DMVR檢查的任何點，標記為候選MV對(MV0，MV1)服從以下兩個等式：
Figure 02_image001
Figure 02_image003
其中MV_offset表示初始MV與參考圖像之一中細化的MV之間的細化偏移。在一些實施例中，細化搜索範圍是來自初始MV的兩個整數亮度樣本。
第3圖示出了DMVR的搜索進程。如圖所示，搜索包括整數樣本偏移搜索階段以及分數樣本細化階段。
第4圖示出了DMVR整數樣本搜索圖樣。如圖所示，25點全搜索被應用於整數樣本偏移搜索。首先計算初始MV對的SAD。如果初始MV對的SAD小於閾值，DMVR的整數樣本階段被結束。否則計算剩餘24點的SAD以及以光柵掃描次序檢查。具有最小SAD的點被選擇為整數樣本偏移搜索階段的輸出。為了減少DMVR細化不確定性的處罰，其提出在DMVR進程中偏好原始MV。由多個初始MV候選參考的多個參考塊之間的SAD會被減少為其SAD值的1/4。
回到第3圖。整數樣本搜索緊接著分數樣本細化。為了節省計算複雜度，藉由使用參數化誤差表層等式(parametric error surface equation) 導出分數樣本細化，而不是使用SAD比較的額外搜索。基於整數樣本搜索階段的輸出，分數樣本細化被有條件地調用。當在第一次迭代(iteration)或第二次迭代中以中心具有最小SAD結束整數樣本搜索階段時，分數樣本細化被進一步應用。
在基於參數化誤差表層的子像素偏移估計中，當前位置成本以及從中心到四個相鄰位置的成本被用於適合以下形式的2-D抛物線誤差表層等式：
Figure 02_image005
其中(xmin ,ymin )對應於具有最小成本的分數位置以及C對應於最小成本值。藉由使用五個搜索點的成本值解析上述等式，(xmin ,ymin )被計算為：
Figure 02_image007
Figure 02_image009
因為所有成本值是整數以及最小值是E(0,0)，xmin 以及ymin 的值通常被自動約束為-8與8之間。這對應於VTM4中具有1/16像素MV精度的半峰偏移(half peal offset)。所計算的分數(xmin ,ymin )被添加到整數距離細化MV來獲得子像素精確細化δMV。b ．雙線性插值以及樣本填充
在一些實施例中，MV的解析度是1/16亮度樣本。使用8抽頭插值濾波器來插值分數位置處的樣本。在DMVR中，搜索點在具有整數樣本偏移的初始分數像素MV周圍，因此這些分數位置的樣本需要被插值用於DMVR搜索進程。為了減少計算複雜度，雙線性插值濾波器用於生成分數樣本用於DMVR中的搜索進程。藉由使用雙線性濾波器的另一個重要影響是具有2樣本搜索範圍，相比於普通運動補償進程，DMVR不存取更多的參考樣本。在用DMVR搜索進程取得細化的MV後，普通的8抽頭插值濾波器被應用來生成最終預測。為了不存取更多的參考樣本到正常MC進程，基於原始MV不需要用於插值進程但基於細化的MV需要被用於插值進程的樣本從這些可用樣本來填充。c. 最大 DMVR 處理單元
在一些實施例中，當CU的寬度與/或高度大於16亮度樣本，其進一步進入寬度與/或高度等於16亮度樣本的子塊。DMVR搜索進程的最大單元尺寸被限制於16x16。III. 加權預測 ( WP)
加權預測(WP)是由H.264/AVC以及HEVC標準支援的編解碼工具來有效地編解碼具有填充的視訊內容。對WP的支援也被添加到VVC標準中。WP允許加權參數(權重以及偏移)將被發信用於每一參考圖像列表L0與L1中每一參考圖像。然後，在運動補償期間，對應的參考圖像的權重以及偏移被應用。IV. 基於照明的預測偏移
如之前所提到的，幀間預測探索幀之間的像素關聯性以及如果場景是靜止的，關聯性將是有效的，以及運動估計可以容易地在時間相鄰幀中找到具有類似像素值的類似塊。然而，在一些實際案例中，多個幀將用不同的照明條件拍攝。即使內容是類似的並且場景是靜止的，多個幀之間的像素值將不同。
在一些實施例中，相鄰導出的預測偏移(Neighboring-derived Prediction Offset，NPO)被用於添加預測偏移來改善運動補償預測子。根據這一偏移，多個幀之間的不同照明條件可以被考慮。使用相鄰重構像素(neighboring reconstructed pixel，NRP)以及擴展的運動補償預測子(extended motion compensated predictor，EMCP)來導出該偏移。
第5圖概念地示出了導出基於照明的預測偏移。為NRP以及EMCP選擇的圖樣是當前PU左邊的N個像素以及上方的M個像素，其中N與M是預定值。該圖樣可以是任何尺寸以及形狀以及可以根據任何編碼參數來決定，如PU或CU尺寸，只要它們對NRP以及EMCP兩者是相同的。偏移被計算為NRP的平均像素值減去EMCP的平均像素值。所導出的偏移在PU上是獨一無二的並且與運動補償預測子被應用於整個PU。
第6圖示出了預測偏移的示例導出。首先，對於每一相鄰位置(邊界的左邊以及上方，灰色陰影)，個體偏移被計算為NRP中的對應像素減去EMCP中的像素。在該示例中，偏移值6,4,2,-2被生成用於上方相鄰位置以及6,6,6,6用於左邊相鄰位置。第二，當計算並獲得所有個體偏移後，當前PU中每一位置的所導出的偏移將是來自左邊以及上方位置的偏移的平均值。例如，在左上角落的第一位置中，藉由平均來自左邊以及上方的偏移生成偏移6。對於下一個位置，偏移等於(6+4)/2，即5。可以以光柵掃描次序順序地處理並生成每一位置的偏移。因為相鄰像素更高度相關於邊界像素，偏移也一樣。這一方法可以根據像素位置適應偏移。所導出的偏移將適應於整個PU以及將與運動補償預測子一起單獨地被應用於每一PU位置。
在一些實施例中，局部亮度補償(local illumination compensation，LIC)被用於修正幀間預測的結果。LIC是使用當前塊以及參考塊的相鄰樣本來生成線性模型的幀間預測的方法，該線性模型由縮放因數a以及偏移b來表徵。縮放因數a以及偏移b藉由參考當前塊以及參考塊的相鄰樣本來導出。對於每一CU，可以適應性地啟用或禁用LIC模式。V. 廣義雙向預測 ( GBI)
廣義雙向預測(generalized bi-prediction，GBI)是對來自L0以及L1的預測子分別使用不同權重的幀間預測的方法，而不是如傳統雙向預測使用相等的權重。GBI也稱為具有加權平均的雙向預測(BMA)或具有CU級權重的雙向預測(BCW)。在HEVC中，藉由平均從兩個不同的參考圖像獲得的兩個預測訊號與/或使用兩個不同的運動向量生成雙向預測訊號。在一些實施例中，雙向預測模式被擴展到超出簡單平均來允許兩個預測訊號的加權平均。
Figure 02_image011
在一些實施例中，加權平均雙向預測中允許五個不同的可能權重，或者w∈{-2,3,4,5,10}。對於每一雙向預測CU，以兩個方式之一決定權重w：1)對於非合併CU，在運動向量差異後發信權重索引；2）對於合併CU，基於合併候選索引從相鄰塊推斷加權索引。雙向預測的加權平均僅被應用於具有256或更多亮度樣本的CU(即，CU寬度乘以CU高度大於或等於256)。對於低延遲圖像，所有5個權重被使用。對於非低延遲圖像，僅三個不同的可能權重被使用(w∈(3,4,5))。
在一些實施例中，在視訊編碼器，快速搜索演算法被應用來找到加權索引而不顯著地增加編碼器複雜度。當與AMVR組合時，其允許以不同精度編解碼CU的MVD，如果當前圖像是低延遲圖像，不相等的權重被條件地檢查用於1像素以及4像素運動向量精度。當與仿射(affine)組合時，僅當仿射模式被選擇為當前最佳模式時，仿射運動估計(ME)將使用不相等的權重。當用於雙向預測的兩個參考圖像相同時，條件地檢查不相等的權重。當某些條件不被滿足時，根據當前圖像與其參考圖像之間的POC(圖像次序計數)，編解碼的QP(量化參數)，以及時間級別，不搜索不相等的權重。VI. 雙向光流 ( BDOF)
在一些實施例中，雙向光流(BDOF)也稱為BIO，被用於細化在4x4子塊級別的CU的雙向預測訊號。特別地，藉由使用樣本梯度以及一組導出的位移，視訊編解碼器細化雙向預測訊號。
當滿足啟用條件時，應用BDOF。在一些實施例中，BDOF的啟用條件可以是(1)到(4)的任何子集。(1)CU高度與CU寬度都大於或等於8亮度樣本；(2)不使用仿射模式或ATMVP合併模式對CU進行編解碼，其屬於子塊合併模式；(3)使用“真正”雙向預測模式對CU進行編解碼，即，兩個參考圖像之一在顯示次序中當前圖像之前以及另一個參考圖像在顯示次序的當前圖像之後；(4)CU具有超過64個亮度樣本。在一些實施例中，BDOF被應用於亮度分量。
BDOF模式是基於光流的概念，其假定物件的運動是平滑的。對於每一4x4子塊，藉由最小化L0與L1預測樣本之間的差異計算運動細化(vx ,vy )。運動細化然後用於調整4x4子塊中雙向預測樣本值。後續步驟被應用於BDOF進程。
首先，藉由直接計算兩個相鄰樣本之間的差異計算兩個預測訊號的水平以及垂直梯度
Figure 02_image013
以及
Figure 02_image015
，k=0,1，即：
Figure 02_image017
Figure 02_image019
其中
Figure 02_image021
是在列表k(k=0,1)中預測訊號的座標(i,j)處的樣本值，以及基於亮度位元深度(bitDepth)計算shift1，如shift1=max(6,bitDepth-6)。那麼，梯度的自動以及交叉關聯S1、S2、S3、S5以及S6被計算如下：
Figure 02_image023
Figure 02_image025
Figure 02_image027
Figure 02_image029
,
Figure 02_image031
其中
Figure 02_image033
Figure 02_image035
Figure 02_image037
其中Ω是4x4子塊周圍的6x6視窗以及na 與nb 的值被設置為分別等於min(1,bitDepth-11)以及min(4,bitDepth-8)。然後使用交叉以及自動關聯術語導出運動細化(vx ,vy )，如下：
Figure 02_image039
Figure 02_image041
最終，藉由調整雙向預測樣本來計算CU的BDOF樣本，如下：
Figure 02_image043
在一些實施例中，na 、nb 以及ns2 的值分別等於3、6以及12。在一些實施例中，這些值被選擇以致BDOF進程中乘數不超過15位元，以及BDOF進程中的中間參數的最大位元寬度被保持在32位元內。為了導出梯度值，需要生成在當前CU邊界外的列表k(k=0,1)中的一些預測樣本
Figure 02_image021
。
在一些實施例中，BDOF使用CU邊界周圍的一個擴展的列(row)/行(column)。第7圖示出了由BDOF使用的擴展的CU區域用於編解碼一CU。為了控制生成超出邊界預測樣本的計算複雜度，線性濾波器需要在擴展區域(CU的白色位置)生成預測樣本，以及正常的8抽頭運動補償插值濾波器用於生成CU(CU的陰影位置)內的預測樣本。這些擴展的樣本值僅被用於梯度計算。對於BDOF進程中的剩餘步驟，如果需要CU邊界外的任何樣本以及梯度值，它們從它們最近的相鄰塊來填充(如，複製)。VII. 組合的幀間與幀內預測 ( CIIP)
在一些實施例中，當CIIP的啟用條件被滿足時，CIIP的CU級語法被發信。例如，額外的旗標被發信來指示組合的幀間/幀內預測(CIIP)模式是否被應用於當前CU。啟用條件可以包括CU在合併模式中被編解碼，以及CU包含至少64個亮度樣本(即，CU寬度乘以CU高度等於或大於64)。為了形成CIIP預測，需要幀內預測模式。一個或多個可能的幀內預測模式可以被使用：例如，DC、平面、水平或垂直。然後，使用常規幀內與幀間解碼進程來導出幀間預測以及幀內預測訊號。最終，執行幀間以及幀內預測訊號的加權平均來獲得CIIP預測。
在一些實施例中，如果僅一個幀內預測模式(如，平面)對於CIIP是可用的，用於CIIP的該幀內預測模式可以被隱式分配給該模式(如，平面)。在一些實施例中，至多四個幀內預測模式(包括DC、PLANAR、水平以及垂直模式)可以用於預測CIIP模式中的亮度分量。例如，如果CU形狀非常寬(即，寬度大於高度的兩倍)，那麼水平模式不被允許；如果CU形狀非常窄(即，高度大於寬度的兩倍)，那麼垂直模式不被允許。在這些情況下，僅3個幀內預測模式被允許。CIIP模式可以使用三個最可能的模式(most probable modes，MPM)用於幀內預測。如果CU形狀如上定義的非常寬或者非常窄，在未發信的情況下將MPM旗標推斷為1。否則，MPM旗標被發信來指示CIIP幀內預測模式是否是多個CIIP MPM候選模式之一。如果MPM旗標是1，MPM索引被進一步發信來指示在CIIP幀內預測中使用哪一MPM候選模式。否則，如果MPM旗標是0，幀內預測模式被設置為MPM候選列表中的“丟失”模式。例如，如果PLANAR模式不在MPM候選列表中，那麼PLANAR是丟失模式，以及幀內預測模式被設置為PLANAR。因為CIIP中允許4個可能的幀內預測模式，以及MPM候選列表僅包含3個幀內預測模式，4個可能模式之一必須是該丟失模式。CIIP編解碼的CU的幀內預測模式將被保留以及用於未來相鄰CU的幀內模式編解碼。
使用被應用於常規合併模式的相同的幀間預測進程來導出CIIP模式Pinter中的幀間預測訊號(或幀間預測)，以及使用緊接著常規幀內預測進程的CIIP幀內預測模式來導出幀內預測或幀內預測訊號Pintra。幀內與幀間預測訊號然後使用加權平均來組合，其中加權值取決於相鄰塊，取決於幀內預測模式，或者取決於樣本位於編碼塊中何處。在一些實施例中，如果幀內預測模式是DC或平面模式，或者如果塊寬度或高度小於4，那麼相等權重被應用於幀內預測以及幀間預測訊號。否則，基於幀內預測模式(這種情況中的水平模式或者垂直模式)以及塊中的樣本位置決定權重。從幀內預測參考樣本最近部分開始以及在該幀內預測參考樣本最遠部分結束，每一4區域的權重wt被分別設置為6、5、3以及2。在一些實施例中，CIIP預測或者CIIP預測訊號PCIIP根據如下來導出：
Figure 02_image045
其中(N1,N2,N3) = (8,4,3)或者(N1,N2,N3) = (4,2,2)。當(N1,N2,N3) = (4,2,2)時，wt從1,2或3中來選擇。VIII. 擴散濾波器 ( diffusion filter ， DIF)
用於視訊編解碼的擴散濾波器是使用擴散濾波器來應用於視訊編解碼中的預測訊號。假定pred是由幀內或運動補償預測獲得的給定塊上的預測訊號。為了處理濾波器的邊界點，預測訊號被擴展到預測訊號predext 。藉由添加塊的左邊與上方的一線重構樣本到預測訊號來形成擴展預測以及然後所生成的訊號在所有方向上是鏡像的。
藉由用固定的遮罩hI 卷積預測訊號實現均勻擴散濾波器。在一些實施例中，預測訊號pred由
Figure 02_image047
來替代，使用後續提到的邊界擴展。此次，濾波器遮罩hI 被定義為：
Figure 02_image049
如水平濾波器hhor 以及垂直濾波器hver 的定向擴散濾波器被使用，其具有固定遮罩。濾波被限制於僅沿著垂直或沿著水平方向來應用。藉由應用固定濾波器遮罩hver 到預測訊號實現垂直濾波器以及藉由使用轉置遮罩
Figure 02_image051
實現水平濾波器。
以與均勻擴散濾波器相同的方式執行預測訊號的擴展。IX. 雙向濾波 ( bilateral filtering ， BIF)
相比於像素域中的量化，在變換域執行量化是公知的技術以更好的保留圖像以及視訊中資訊。然而，其也是公知的，已量化的變換塊可以生成視訊中的靜止圖像以及移動物件的邊緣周圍的邊緣震盪效應(ringing artifact)。應用雙向濾波器可以顯著地減少邊緣震盪效應。在一些實施例中，在逆變換已經被執行並且與預測的樣本值組合後，小的、低複雜度雙向濾波器被直接應用於重構樣本。
在一些實施例中，當應用雙向濾波時，重構圖像中的每一樣本被它自身與其相鄰樣本的加權平均值所替代。基於距離中心樣本的距離以及樣本值的差異計算權重。第8圖示出了示例性8x8變換單元塊以及雙向濾波器口徑。濾波器口徑用於位於(1,1)出的樣本。如圖所示，因為濾波器是在如第1圖示出的小加號的形狀內，所有的距離是0或1。位於(i,j)處的樣本使用其相鄰樣本(k,l)進行濾波。權重w(i,j,k,l)是為樣本(k,l)分配的權重來濾波樣本(i,j)，以及其定義如下：
Figure 02_image053
I(i,j)以及I(k,l)分別是樣本(i,j)以及(k,l)的原始重構強度值。
Figure 02_image055
是空間參數，以及
Figure 02_image057
是範圍參數。雙向濾波器的屬性(或強度)由這兩個參數來控制。與更遠的樣本以及具有更大強度差異的樣本相比，位於樣本較近的樣本將被濾波，以及與樣本具有較小強度差異的樣本將被濾波。在一些實施例中，基於變換單元尺寸設置
Figure 02_image055
，以及基於用於當前塊的QP設置
Figure 02_image057
。
Figure 02_image059
Figure 02_image061
在一些實施例中，在編碼器以及解碼器兩者中的逆變換後，雙向濾波器被直接應用於每一TU塊。結果，後續幀內編解碼塊從已經用雙向濾波器的樣本值來預測。這也使得可能在編碼器的率失真決定中包括雙向濾波操作。
在一些實施例中，僅使用其直接相鄰樣本濾波變換單元中的每一樣本。濾波器具有位於將被濾波的樣本中心的加號形濾波口徑。輸出的濾波樣本值ID (i,j)被計算如下：
Figure 02_image063
對於TU尺寸大於16x16，塊被作為使用TU塊寬度=TU塊高度=16的多個16x16塊。此外，矩形塊被作為正方形塊的幾個示例。在一些實施例中，為了減少計算的數量，使用為二維陣列中特定QP存儲所有權重的查閱資料表(LUT)實施雙向濾波器。LUT使用將被濾波的樣本與參考樣本之間的強度差異作為一個維度上的LUT的索引，以及TU尺寸在另一個維度上作為索引。為了LUT的有效儲存，在一些實施例中，權重被舍入到8位元精度。X. 哈 德碼 變換域濾波器 ( hadamard transform domain filter ， HAD)
在一些實施例中，哈德碼變換域濾波器(HAD)被應用於具有非0變換係數的亮度重構塊，以及如果量化參數大於17排除4x4塊。濾波器參數從編解碼資訊明確地導出。如果應用了HAD濾波器，在塊重構後在解碼樣本上執行HAD。濾波結果即用於輸出也用於空間以及時間預測。濾波器具有相同的實施方式用於幀內與幀間CU濾波兩者。根據HAD濾波器，對於來自重構塊像素的每一像素，進程包括以下步驟：(1)根據掃描圖樣，掃描用於處理包括當前像素的像素周圍的4個相鄰像素，(2)讀取像素的4點哈德碼變換，以及(3)基於後續公式的頻譜濾波：
Figure 02_image065
其中(i)是哈德碼頻譜中頻譜分量的索引，R(i)是對應於索引的重構像素的頻譜分量，m=4是等於頻譜分量數目的標準化常數，σ是使用以下等式從編解碼器量化參數QP導出的列表參數：
Figure 02_image067
對應於DC值的第一頻譜分量在沒有濾波的情況下被旁路。濾波頻譜的逆4點哈德碼變換。在濾波步驟後，濾波像素被放入到累加緩衝器中的原始位置。在完成像素濾波後，累加的值由用於每一像素濾波的處理組的數目來歸一化。由於在塊周圍使用一個樣本的填充，所以對於塊中的每個像素，處理組的數目等於4，並且通過在2位元上右移來執行歸一化。
第9圖示出了哈德碼變換域濾波器下的列表進程。如圖所示，相等的濾波器形狀是3x3像素。在一些實施例中，塊中的所有像素可以被獨立地處理用於最大並行。2x2分組濾波的結果可以被再用用於空間並位樣本。在一些實施例中，一個2x2濾波器被執行用於塊的每一新像素，剩餘三個被使用。XI. 三角形預測單元模式 ( TPM)
在一些實施例中，三角形預測單元模式(TPM)被用於執行CU的幀間預測。在TPM下，CU在對角線或反對角線反向被拆分成兩個三角形預測單元。CU中的每一三角形預測單元使用其自身的單向運動向量以及參考幀進行幀間預測。換言之，CU沿著劃分當前塊的直線來分割。轉換以及量化進程然後被應用於整個CU。在一些實施例中，這一模式僅被應用於跳過以及合併模式。在一些實施例中，TPM可以被擴展為用直線將CU拆分成兩個預測單元，其可以由角度以及距離來表示。拆分線可以用所發信的索引來指示並且所發信的索引然後被映射到角度以及距離。此外，一個或多個索引被發信來指示兩個分割的運動候選。在預測每一預測單元後，適應性加權進程被應用於兩個預測單元之間的對角線邊緣來導出整個CU的最終預測。
第10圖示出了沿著CU的兩個三角形預測單元之間的對角線邊緣應用的適應性加權。第一加權因數組{7/8,6/8,4/8,2/8,1/8}以及{7/8,4/8,1/8}被分別用於亮度以及色度樣本。第二加權因數組{7/8,6/8,5/8,4/8,3/8,2/8,1/8}以及{6/8,4/8,2/8}被分別用於亮度以及色度樣本。基於兩個三角形預測單元的運動向量的比較選擇一個加權因數組。當兩個三角形預測單元的參考圖像彼此不同或者它們的運動向量差異大於16像素時，使用第二加權因數組。否則，使用第一加權因數組。XII. 互相排斥的組
在一些實施例中，為了簡化硬體實施複雜度，互相排斥的規則被實施來限制部分I到XI描述的不同工具或編解碼模式的級聯。工具或編解碼模式的級聯硬體實施方式使得硬體設計更加複雜以及導致更長的管線延遲(pipeline latency)。藉由實施互相排斥的規則，管線階段可以做的更短，以及硬體利用率可以做的更高(即，較少的空閒硬體)。通常，互相排斥的規則用於確保兩個或多個工具或編解碼模式的某些集合中的工具或編解碼模式不同時被啟用用於編解碼一當前CU。
在一些實施例中，實施多個(如，四個)工具或編解碼模式的互相排斥組。互相排斥組可以包括一些或所有後續編解碼模式或工具：GBI(通用雙向預測)、CIIP(組合的幀間與幀內預測)、(BDOF)雙向光流、DMVR(解碼器側運動向量細化)以及加權預測(WP)。
在一些實施例中，對於任何CU，視訊編解碼器(視訊編碼器或視訊解碼器)的預測階段在一些預測工具或編解碼模式中間實施互相排斥的規則。互相排斥意味著僅這些編解碼工具的一個被單獨地啟動用於編解碼，而不是兩個編解碼工具被啟動用於相同的CU。特別地，它可以定義工具的互相排斥組，在該組，對於任何CU，該組中僅一個工具被啟動用於編解碼，沒有屬於相同互相排斥組內的兩個工具被啟動用於相同的CU。在一些實施例中，不同的CU可以具有不同的啟動工具。
對於一些實施例，互相排斥組包括GBI、BDOF、DMVR、CIIP、WP。即，對於任何CU，在GBI、BDOF、DMVR、CIIP以及WP中，僅該組中的僅一個工具被啟動用於編解碼，而不是它們的兩個被啟動用於相同的CU。例如，當CIIP旗標等於1時，DMVR/BDOF/GBI不被應用。換言之，當CIIP旗標等於0時，DMVR/BDOF/GBI可以被應用(如果DMVR/BDOF/GBI的啟用條件被滿足)。在一些實施例中，互相排斥組包括GBI、BDOF、DMVR、CIIP以及WP的任何兩個或三個或一些子集。特別地，互相排斥組可以包括BDOF、DMVR、CIIP；互相排斥組可以包括GBI、DMVR、CIIP；互相排斥組可以包括GBI、BDOF、CIIP；互相排斥組可以包括GBI、BDOF、DMVR；互相排斥組可以包括GBI以及BDOF；互相排斥組可以包括GBI以及DMVR；互相排斥組可以包括GBI以及CIIP；互相排斥組可以包括BDOF、DMVR、CIIP；互相排斥組可以包括BDOF以及CIIP；互相排斥組可以包括DMVR以及CIIP。例如互相排斥組包括GBI、BDOF、CIIP，如果CIIP被啟用(ciip_flag等於1)，BDOF是關閉的以及GBI是關閉的(其意味著相等權重用於混合來自列表0以及列表1的幀間預測而不管BCW權重索引)。例如包括GBI、DMVR、CIIP的互相排斥組，如果CIIP被啟用(ciip_flag等於1)，DMVR是關閉的以及GBI是關閉的(其意味著相等權重用於混合來自列表0以及列表1的幀間預測而不管BCW權重索引)。例如包括GBI、DMVR的互相排斥組，如果GBI被啟用(GBI權重索引指示不相等的權重)，DMVR被關閉。例如包括GBI、BDOF的互相排斥組，如果GBI被啟用(GBI權重索引指示不相等的權重)，BDOF被關閉。
根據互相排斥的規則，可以節省相關語法元素(或從位元流省略)。例如，如果互相排斥組包括GBI、BDOF、DMVR、CIIP，然後，如果CIIP模式未被啟用用於當前CU(例如，其是GBI或BDOF或DMVR)，因為CIIP由排除規則關閉，CIIP旗標或語法元素可以被節省或忽略(而不是從編碼器發送到解碼器)用於這一CU。對於互相排斥組的一些其他實施例，對於某一CU排除或禁用的工具，相關語法元素可以被節省或忽略。
在一些實施例中，優先次序被應用於互相排斥組。在一些實施例中，互相排斥組內的每一工具具有某一原始或傳統啟用條件。啟用條件是在互相排斥前用於每一工具的原始啟用規則。例如，DMVR的啟用條件包括真正雙向預測以及當前圖像與L0圖像/L1圖像之間相等的POC距離以及其他；GBI的啟用條件包括雙向預測以及來自語法的GBI索引(當AMVP)或者繼承的GBI索引(當合併模式)。
一個優先規則可以是預定義的用於互相排斥組。互相排斥組內的工具或編解碼模式具有每一工具的一個優先數目。如果工具A以及B都可以被啟動(即，它們的啟用條件被滿足)用於相同的CU，但是工具A相比工具B具有更好的預定優先級(定義為工具A＞工具B)，那麼，如果工具A被啟動或啟用，工具B被關閉或禁用。
不同的實施例具有如包括GBI、DMVR、BDOF、CIIP以及WP或{GBI、DMVR、BDOF、CIIP、WP}的任何子集的互相排斥組的不同優先規則。例如，在一些實施例中，優先規則指定GBI>DMVR>BDOF>CIIP。在一些實施例中，優先規則指定GBI>DMVR>BDOF。在一些實施例中，優先規則指定DMVR>GBI>BDOF。在一些實施例中，優先規則指定DMVR>GBI。在一些實施例中，優先規則指定GBI>BDOF。在一些實施例中，優先規則指定GBI>DMVR。在一些實施例中，優先規則指定DMVR>GBI>BDOF>CIIP。在一些實施例中，優先規則指定DMVR>BDOF>GBI>CIIP。在一些實施例中，優先規則指定CIIP>GBI>BDOF。在一些實施例中，優先規則指定CIIP>GBI>DMVR。預定規則也指定GBI、BDOF、DMVR、CIIP的任何子集中的任何其他次序。又例如，排斥組包括{GBI、CIIP}以及優先規則指定CIIP>GBI，因此當使用CIIP時(ciip_flag等於1)，GBI被關閉(或禁用)其意味著相等權重被應用來混合來自列表0以及列表1的預測子。又例如，排斥組包括{DMVR,CIIP}以及優先規則指定CIIP>DMVR，因此當使用CIIP時(ciip_flag等於1)，不使用DMVR。又例如，排斥組包括{BDOF,CIIP}以及優先規則指定CIIP>BDOF，因此當使用CIIP時(ciip_flag等於1)，BDOF不被使用。又例如，排斥組包括{BDOF,GBI}以及優先規則指定GBI>BDOF，因此當使用GBI時(GBI索引指示不相等的權重用於混合來自列表0以及列表1的預測)，BDOF不被使用。又例如，排斥組包括{DMVR,GBI}以及優先規則指定GBI>DMVR，因此當使用GBI時(GBI索引指示不相等的權重用於混合來自列表0以及列表1的預測)，DMVR不被使用。
在一些實施例中，互相排斥組的優先規則不是預定義的，但也基於當前CU的一些參數(例如CU尺寸或當前MV)。例如，對於包括DMVR以及BDOF的互相排斥組，可以有基於CU尺寸或CU的其他參數的排除規則，當DMVR以及BDOF的啟用條件都滿足時，給定優先級給DMVR或BDOF。例如，在一些實施例中，如果當前CU尺寸大於閾值，DMVR的優先級(用於工具排斥)高於BDOF。在一些實施例中，如果當前CU尺寸大於閾值，BDOF的優先級(用於工具排斥)高於DMVR。
在一些實施例中，如果當前CU長寬比大於閾值，DMVR的優先級(用於工具排斥)大於BDOF。如果CU_width>CU_height，長寬比被定義為CU_width/CU_height或者如果CU_height>=CU_width，長寬比被定義為CU_height/CU_width。在一些實施例中，如果當前CU長寬比大於閾值，BDOF的優先級(用於工具排除)大於DMVR的優先級。在一些實施例中，對於一些合併模式候選(如果被選擇用於幀間預測)，DMVR的優先級(用於工具排除)高於BDOF的優先級，而對於其他合併候選(如果被選擇用於幀間預測)，BDOF的優先級(用於工具排除)高於DMVR的優先級。
在一些實施例中，對於一個真正的雙向預測合併候選，如果L0 MV的鏡像(以及隨後縮放)MV與L1 MV非常類似，那麼，DMVR的優先級(用於工具排除)高於BDOF的優先級。在一些實施中，對於一個真正的雙向預測合併候選，如果L0 MV的鏡像(以及隨後縮放)MV與L1 MV非常類似，那麼BDOF的優先級(用於工具排除)高於DMVR的優先級。
在一些實施例中，互相排斥組可以包括一些或所有後續的編解碼模式或工具：LIC(局部亮度補償)、DIF(均勻亮度幀間預測濾波器或擴散濾波器)、BIF(雙向濾波器)、HAD濾波器(哈德碼變換域濾波器)。這些工具或編解碼模式被應用於殘差訊號或預測訊號或重構訊號，即，它們對“後階段”起作用。後階段被定義為在預測(幀內/幀間預測)之後或者在參考解碼之後或在其兩者之後的管線階段。在一些實施例中，互相排斥組還可以包括不同於LIC、DIF、BIF以及HAD的前階段工具或編解碼模式。
在一些實施例中，互相排斥組可以包括以下8個編解碼模式或工具的所有或子集：GBI、BDOF、DMVR、CIIP、LIC、DIF、BIF、HAD。即，對於任何CU，僅它們中的一個被啟動用於編碼，而不是GBI、BDOF、DMVR、CIIP、LIC、DIF、BIF、HAD中的兩個編解碼模式或工具被啟動用於相同的CU。在一些實施例中，互相排斥模式包括LIC、DIF、BIF、HAD。在一些實施例中，互相排斥組包括DIF、BIF、HAD。在一些實施例中，互相排斥組包括LIC、BIF、HAD。在一些實施例中，互排斥組包括LIC、DIF、HAD。在一些實施例中，互排斥組包括LIC、DIF、BIF。在一些實施例中，互排斥組包括LIC以及DIF。在一些實施例中，互排斥組包括LIC、BIF。在一些實施例中，互排斥組包括LIC以及HAD。在一些實施例中，互排斥組包括DIF以及HAD。在一些實施例中，互排斥組包括DIF以及HAD。在一些實施例中，互排斥組包括BIF以及HAD。 XIII. 多假設預測模式的發信
CIIP與TPM兩者用兩個候選生成當前CU的最終預測。任一CIIP或TPM可以被視為一種類型的多假設預測合併模式，其中預測的一個假設由一個候選生成以及預測的另一個假設由另一個候選生成。對於CIIP，一個候選來自幀內模式以及另一個候選來自合併模式。對於TPM，兩個候選來自合併模式的候選列表。
在一些實施例中，多假設模式用於改善幀間預測，其是跳過與/或合併模式的改善方法。在原始跳過以及合併模式中，一個合併索引用於選擇一個運動候選，其可以是由候選自身，從合併候選列表導出的單向預測或雙向預測。所生成的運動補償預測子在一些實施例中被稱為第一假設(或第一預測)。在多假設模式下，除了第一假設還生成第二假設。該預測子的第二假設可以由來自基於幀間預測模式(合併或跳過模式)的運動候選的運動補償，或者藉由基於幀內預測模式的幀內預測來生成。
當該第二假設(或第二預測)由幀內預測模式生成時，多假設模式被稱為幀內MH模式或MH模式幀內或MH幀內或幀間-幀內模式。由CIIP編解碼的CU藉由使用幀內MH模式來編解碼。當該第二假設藉由由運動候選或幀間預測模式(如，合併或跳過模式)的運動補償生成時，多假設模式被稱為幀間MH模式或MH模式幀間或MH幀間(或也被稱為合併的MH模式或者MH合併)。由TPM編解碼的CU的對角線邊緣區域藉由使用幀間MH模式來編解碼。
對於多假設模式，每一多假設候選(或稱為具有多假設的每一候選)包含一個或多個候選(即，第一假設)與/或一個幀內預測模式(即，第二假設)，其中該運動候選從候選列表I來選擇與/或幀內預測模式從候選列表II來選擇。對於幀內MH模式，每一多假設候選(或具有多假設的每一候選)包含一個運動候選以及一個幀內預測模式，其中該運動候選從候選列表I來選擇以及該幀內預測模式被固定為一個模式(如，平面)或從候選列表II來選擇。幀間MH模式使用兩個運動候選，以及兩個運動候選的至少一個從候選列表I中來導出。在一些實施例中，候選列表I等於該當前塊的合併候選列表以及幀間MH模式的多假設候選的兩個運動候選都從候選列表I選擇。在一些實施例中，候選列表1是合併候選列表的子集。在一些實施例中，對於幀間MH模式，用於生成每一預測單元的預測的兩個運動的每一者用所發信的索引來指示。當該索引指的是候選列表1中的雙向預測運動候選時，列表0或列表1的運動根據該索引來選擇。當該索引指的是候選列表I中的單向預測運動候選時，使用該單向預測運動。
第11a圖概念地示出了藉由使用幀內MH模式來編碼或解碼像素塊。圖式示出了當前由視訊編碼器編碼或解碼的視訊圖像1100。該視訊圖像1100包括當前被編碼或解碼為當前塊的像素塊1110。該當前塊1110由幀內MH模式編碼，特別地，組合的預測1120基於該當前塊1110的第一預測1122(第一假設)以及該當前塊1110的第二預測1124(第二假設)來生成。該組合的預測1120然後被用於重構該當前塊1110。
該當前塊1110藉由使用幀內MH模式來編解碼。特別地，基於至少一個參考幀1102以及1104由幀間預測獲得第一預測。藉由基於該當前塊1110的相鄰像素1106的幀內預測獲得第二預測1124。如圖所述，該第一預測1122基於幀間預測模式或從第一候選列表1132(候選列表I)選擇的運動候選1142來生成，該第一候選列表1132具有一個或多個候選幀間預測模式。該候選列表I可以是當前塊1110的合併候選列表。該第二預測1124基於幀內預測模式1144來生成，該幀內預測模式1144被預定義為一個幀內預測模式(如，平面)或者從具有一個或多個候選幀內預測模式的第二候選列表1134(候選列表II)來選擇。如果僅一個幀內預測模式(如，平面)被用於幀內MH，用於幀內MH的幀內預測模式被設置為不需要發信的幀內預測模式。
第11b圖示出了藉由使用幀間MH模式來編解碼的當前塊1110。特別地，基於至少一個參考幀1102以及1104，藉由幀間預測獲得第一預測1122。基於至少一個參考幀1106以及1108，藉由幀間預測獲得第二預測1124。如圖所示，基於幀間預測模式或運動候選1142(第一預測模式)生成第一預測1122，該運動候選1142從第一候選列表1132(候選列表I)來選擇。第二預測1124基於幀間預測模式或運動候選1146來生成，該運動候選1146也從第一候選列表1132(候選列表I)來選擇。該候選列表1可以是當前塊的合併候選列表。
在一些實施例中，當前支援幀內MH模式時，除了合併模式的原始語法，一個旗標被發信(例如，來表示是否應用幀內MH模式)。這一旗標可以由位元流中的語法元素來表示或指示。在一些實施例中，如果旗標存在，一個額外的幀內模式索引被發信來指示來自候選列表II的幀內預測模式。在一些實施例中，如果旗標打開，幀內MH模式的幀內預測模式(如，CIIP，或者任何一個幀內MH模式)隱式從候選列表II來選擇或者在沒有一個額外幀內模式索引的情況下隱式地分配一個幀內預測模式。在一些實施例中，當旗標關閉時，可以使用幀間MH模式(如，TPM，或者任何一個具有不同預測單元形狀的其他的幀間MH模式)。
在一些實施例中，視訊編碼器(視訊編碼器或視訊解碼器)移除CIIP中的所有雙向預測用例。即，僅當當前合併候選是單向預測時，視訊編碼器啟動CIIP。在一些實施例中，視訊編碼器移除用於CIIP合併候選的所有雙向預測候選。在一些實施例中，視訊編碼器檢索一個雙向預測(合併候選)的L0資訊以及將其改變成單向預測候選並用於CIIP。在一些實施例中，該視訊編碼器檢索一個雙向預測(合併候選)的L1資訊並且將其改變成CIIP的單向預測候選。藉由移除CIIP的所有雙向預測行為，相關語法元素可以被節省或從傳輸中省略。
在一些實施例中，當生成CIIP模式的幀間預測時，根據一個預定規則，具有雙向預測的運動候選被變成單向預測。在一些實施例中，基於POC距離，預定規則指定或選擇列表0或列表1運動向量。當當前POC(或當前圖像的POC)與由列表x(其中x是0或1)運動向量參考的(參考圖像的)POC之間的距離(標記為D1 )小於當前POC與由列表y(其中y是0或1並且y不等於x)運動向量參考的POC之間的距離(標記為D2 )時，列表x運動向量被選擇來生成CIIP的幀間預測。如果D1 與D2 相同或者D1 與D2 的差異小於閾值，列表x(其中x被預定為0或1)運動向量被選擇為生成CIIP的幀間預測。在一些其他實施例中，預定規則通常選擇列表x運動向量，其中x被預定為0或1。在一些其他實施例中，這一雙向到單向預測方案可以被應用於運動補償來生成該預測。當該當前編解碼的CIIP CU的運動資訊被節省用於由後續或接下來的CU參考時，在應用這一雙向到單向預測方案前的運動資訊被使用。在一些實施例中，在生成CIIP的合併候選列表後，這一雙向到單向預測方案被應用。如運動補償與/或運動資訊節省與/或去塊的進程可以使用所生成的單向預測運動資訊。
在一些實施例中，由單向預測運動候選形成的新的候選列表被構建用於CIIP。在一些實施例中，根據預定規則，這一候選列表可以從合併候選列表中生成用於常規合併模式。例如，當像常規合併模式做的那樣生成候選列表時，該預定規則可以指定雙向預測運動候選可以被忽略。CIIP的這一新候選列表的長度可以等於或小於常規合併模式。對於另一個示例，預定規則可以指定CIIP的候選列表再使用TPM的候選列表或者CIIP的該候選列表可以被再用以用於TPM。上述提出的方法可以與隱式規則或顯示規則組合。隱式規則可以取決於塊寬度或高度或面積以及顯示規則可以在CU、CTU、條帶、圖塊(tile)、圖塊組、SPS、PPS級等發信一旗標。
在一些實施例中，CIIP以及TPM被分類成組合預測模式的一組並且CIIP與TPM的語法也被統一而不是使用兩個各自的旗標來決定是否使用CIIP以及是否使用TPM。統一方案如下：當用於組合的預測模式的該組的啟用條件被滿足時(例如，CIIP以及TPM啟用條件的統一集合，包括高層級語法、尺寸約束、所支援的模式，或條帶類型)，CIIP或TPM可以用統一的語法來啟用或禁用。首先，第一箱(bin)被發信(或使用該第一箱發信第一旗標)來指示是否應用多假設預測模式。第二，如果該第一箱指示應用該多假設預測模式，第二箱被發信(或使用該第二箱發信一第二旗標)來指示CIIP與TPM之一被應用。例如，當第一箱(或該第一旗標)等於0時，如常規合併模式的非多假設預測模式被應用，否則，如CIIP或TPM的多假設預測模式被應用。當該第一箱(或第一旗標)指示多假設預測模式被應用時(regular_merge_flag等於0)，該第二旗標被發信。當該第二箱(或該第二旗標)等於0，TPM被應用以及需要TPM的額外語法(如，TPM的額外語法是指示TPM的兩個運動候選或TPM的分割方向)。當該第二箱(或該第二旗標)等於1時，CIIP被應用以及可能需要CIIP的額外的語法(如，CIIP的額外語法來指示CIIP的兩個候選)。用於組合的預測模式的該組的啟用條件的示例包括(1)高層級語法CIIP以及(2)TPM被啟用。XIV. LIC 的發信
在一些實施例中，所有雙向預測被移除用於LIC模式。在一些實施例中，僅當當前合併候選是單向預測時LIC是被允許的。在一些實施例中，視訊編碼器檢索一個雙向預測的L0資訊(候選)，將當前合併候選改成單向預測候選，以及然後應用LIC。在一些實施例中，視訊編碼器檢索一個雙向預測的L1資訊(候選)，將其改變成單向預測候選，以及然後應用LIC。
在一些實施例中，當生成幀間預測用於LIC模式時，根據預定規則，具有雙向預測的運動候選被轉變成單向預測。在一些實施例中，該預定規則基於POC距離指定或選擇列表0或列表1運動向量。當當前POC與由列表x(其中x是0或1)運動向量參考的(參考圖像的)POC之間的距離(標記為D1 )小於當前POC與由列表y(其中y是0或1並且y不等於x)運動向量參考的POC之間的距離(標記為D2 )時，然後列表x運動向量被選擇用於細化藉由應用LIC的幀間預測 。如果D1 與D2 相同或者D1 與D2 的差異小於閾值，那麼列表x(其中x被預定為0或1)運動向量被選擇用於細化藉由使用LIC的幀間預測。在一些實施例中，預定規則制定或選擇列表x運動向量，其中x被預定為0或1。在一些實施例中，這一雙向到單向預測方案可以僅被應用於運動補償來生成該預測。當當前編解碼的LIC CU的運動資訊被節省用於參考後續或隨後的CU時，在應用這一雙向到單向預測方案之間的運動資訊被使用。在一些實施例中，在生成LIC的合併候選列表後，這一雙向到單向預測方案被應用。如運動補償的進程與/或運動資訊節省的進程使用所生成的單向預測運動資訊。
在一些實施例中，由單向預測運動候選形成的新的候選列表被構建用於LIC。在一些實施例中，根據預定規則，候選列表可以從合併候選列表生成用於常規合併模式。例如，預定規則可以像常規合併模式那樣在生成候選列表期間忽視雙向預測運動候選。用於LIC的這一新候選列表的長度可以等於或小於常規合併模式。
在一些實施例中，在合併模式中，啟用LIC的標準不僅取決於合併候選的LIC旗標，還取決於使用LIC或歷史統計的相鄰合併候選的數目。例如，如果使用LIC的合併列表中候選的數目大於預定閾值，那麼不管合併候選的LIC旗標是打開或關閉，LIC被啟用用於當前塊。又例如，歷史FIFO緩衝器記錄了最近編碼塊的LIC模式使用，假定FIFO緩衝器中記錄尺寸是M，如果M中的N個使用了LIC模式，那麼LIC被啟用用於該當前塊。此外，這一實施例也可以與所提到的雙向到單向預測方案組合用於LIC，即，如果當前塊的LIC旗標由於使用LIC的相鄰合併候選的數目大於閾值或者歷史FIFO緩衝器中M個記錄中的N個使用LIC模式被啟用，以及合併候選使用雙向預測，然後列表x運動向量被選擇，其中x被預定為0或1。
以上所有組合可以用隱式規則或顯示規則來決定。隱式規則可以取決於塊寬度、高度、面積、塊尺寸長寬比、色彩分量或圖像類型。該顯示規則可以在CU、CTU、條帶、圖塊、圖塊組、圖像、SPS、PPS級等的一旗標來發信。XV. 示例性視訊編碼器
第12圖示出了可以實施編解碼模式或工具的互相排斥組的示例性視訊編碼器1200。如圖所示，視訊編碼器1200從視訊源1205接收輸入視訊訊號以及將訊號編碼進位元流1295。視訊編碼器1200具有各種元件或模組用於編碼來自視訊源1205的訊號，至少包括從變換模組1210、量化模組1211、逆量化模組1214、逆變換模組1215、幀內圖像估計模組1220、幀內預測模組1225、運動補償模組1230、運動估計模組1235、環路濾波器1245、重構圖像緩衝器1250、MV緩衝器1265以及MV預測模組1275以及熵編碼器1290選擇的一些元件。運動補償模組1230以及運動估計模組1235是幀間預測模組1240的一部分。
在一些實施例中，模組1210-1290是由計算裝置或電子裝置的一個或多個處理單元(如，處理器)執行的軟體指令的模組。在一些實施例中，模組1210-1290是由電子裝置的一個或多個積體電路實施的硬體電路的模組。雖然模組1210-1290被示出為分離的模組，一些模組可以被組合成單個模組。
視訊源1205提供表示未經壓縮的每一視訊幀的像素資料的原始視訊訊號。減法器1208計算視訊源1205的原始視訊像素資料與來自運動補償模組1230或幀內預測模組1225的已預測像素資料1213之間的差異。變換模組1210將該差異(或殘差像素資料或殘差訊號1209)轉換成變換係數(如，藉由執行離散余弦變換或DCT)。量化模組1211將變換係數量化成已量化資料(或已量化係數)1212，其中由熵編碼器1290編碼進位元流1295。
逆量化模組1214解量化已量化資料(或已量化係數)1212來獲得變換係數，以及逆變換模組1215對變換係數執行逆變換來生成重構殘差1219。該重構殘差1219與已預測像素資料1213相加來生成重構像素資料1217。在一些實施例中，重構像素資料1217被暫時存儲在線性緩衝器(未示出)用於幀內圖像預測以及空間MV預測。重構像素由環路濾波器1245濾波並存儲在重構圖像緩衝器1250中。在一些實施例中，重構圖像緩衝器1250是視訊編碼器1200的外部儲存區。在一些實施例中，重構圖像緩衝器1250是視訊編碼器1200的內部儲存區。
幀內圖像估計模組1220基於重構像素資料1217執行幀內預測來生成幀內預測資料。幀內預測資料被提供到熵編碼器1290來被編碼到位元流1295中。幀內預測資料也由幀內預測模組1225來使用來生成已預測像素資料1213。
運動估計模組1235藉由生成MV來參考存儲於重構圖像緩衝器1250中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供到運動補償模組1230來生成已預測像素資料。
除了在位元流中編碼完整實際的MV，視訊編碼器1200使用MV預測來生成已預測MV，以及用於運動補償的MV與已預測MV之間的差異被編碼為殘差運動資料以及被存儲於位元流1295中。
MV預測模組1275基於參考MV生成已預測MV，參考MV被生成用於編碼先前視訊幀，即，用於執行運動補償的運動補償MV。MV預測模組1275從來自MV緩衝器1265的先前視訊幀檢索參考MV。視訊編碼器1200將為當前視訊幀生成的MV存儲於MV緩衝器1265作為用於生成已預測MV的參考MV。
MV預測模組1275使用參考MV來創造已預測MV。已預測MV可以由空間MV或時間MV預測來計算。當前幀的已預測MV與運動補償MV(MC MV)之間的差異(殘差運動資料)由熵編碼器1290編碼進位元流1295。
熵編碼器1290藉由使用熵編碼技術將各種參數以及資料編碼進位元流1295，如上下文自我調整二進位算術編解碼(CABAC)或霍夫曼編碼。熵編碼器1290將各種標頭(header)元素、旗標與已量化係數1212以及殘差運動資料編碼為語法元素到位元流1295。位元流1295反過來存儲在儲存裝置或通過如網路的通訊媒介傳輸到解碼器。
環路濾波器1245對重構像素資料1217執行濾波或光滑操作來減少編碼偽影(artifact)，特別在像素塊的邊界。在一些實施例中，所執行的濾波操作包括樣本適應性偏移(SAO)。在一些實施例中，濾波操作包括適應性環路濾波器(ALF)。
第13圖示出了實施編解碼模式或工具的互相排斥組的視訊編碼器1200的部分。如圖所示，視訊編碼器1200實施組合的預測模組1310，其可以接收由幀內圖像預測模組1225生成的幀內預測值。該組合的預測模組1310也可以從運動補償模組1230以及第二運動補償模組1330接收幀間預測值。組合的預測模組1310反過來生成已預測像素資料1213，其可以進一步由一組預測濾波器1350進行濾波。
MV緩衝器1265提供合併候選到運動補償模組1230以及1330。MV緩衝器1265也存儲用於編碼當前塊的運動資訊以及運動方向以由後續塊使用。合併候選可以由MV細化模組1365改變、擴展與/或細化。
編解碼模式(或工具)控制模組1300控制幀內圖像預測模組1225、運動補償模組1230、第二運動補償模組1330、MV細化模組1365、組合的預測模組1310以及預測濾波器1350的操作。
編解碼模組控制1300可以啟用MV細化模式1365來藉由搜索細化的MV(如，用於DMVR)執行MV細化操作或基於MV調整計算梯度(gradient)(如，用於BDOF)。編解碼模式控制模組1300可以啟用幀內預測模組1225以及運動補償模組1230來實施MH模式幀內(或幀間-幀內)模式(如，CIIP)。編解碼模式控制模組1300可以啟用運動補償模組1230以及第二運動補償模組1330來實施MH模式幀間模式(如，用於TPM的對角線邊緣區域)。當組合來自幀內圖像預測模組1225、運動補償模組1230與/或第二運動補償模組1330的預測訊號來實施如CIIP、TPM、GBI與/或WP的編解碼模式時，編解碼模式控制模組1300可以啟用組合的預測模組1310來採用不同的加權方案。編解碼模式控制1300也可以啟用預測濾波器1350來在已預測像素資料或重構像素資料1217上應用LIC、DIF、BIF與/或HAD濾波器。
編解碼模式控制模式1300也決定啟用與/或禁用哪一編解碼模式用於編解碼當前塊。編解碼模式控制模組1300然後控制幀內圖像預測模組1225、運動補償模組1230、第二運動補償模組1330、MV細化模組1365、組合的預測模組1310以及預測濾波器1350的操作來啟用與/或禁用特定編解碼模式。
在一些實施例中，編解碼模式控制1300僅啟用來自兩個或多個編解碼模式的特定集合的多個編解碼模式的子集(一個或多個)用於編碼當前塊或CU。編解碼模式的這一特定集合包括後續編解碼模式的所有或任何子集：CIIP、TPM、BDOF、DMVR、GBI、WP、LIC、DIF、BIF以及HAD。在一些實施例中，當啟用當前塊的第一編解碼模式的第一條件被滿足時，編解碼模式控制1300禁用當前塊的第二編解碼模式。
在一些實施例中，當啟用該第一編解碼模式的條件被滿足以及該第一編解碼模式被啟用時，除了第一編解碼模式，編解碼模式控制1300禁用編解碼模式的特定集合中的所有模式。在一些實施例中，當啟用該當前塊第一編解碼模式的第一條件以及啟用該當前塊的該第二編解碼模式的第二條件都被滿足並且該第一編解碼模式被啟用時，該編解碼模式控制1300禁用第二編解碼模式。例如，在一些實施例中，當編解碼模式控制1300決定啟用GBI以及BDOF的條件都被滿足並且GBI索引指示不相等的權重來混合列表0以及列表1的預測時，編解碼模式控制1300將禁用BDOF。又例如，在一些實施例中，當編解碼模式控制1300決定用於啟用GBI以及DMVR的條件都被滿足並且GBI索引指示不相等的權重來混合列表0以及列表1的預測時，編解碼模式控制1300將禁用DMVR。
在一些實施例中，編解碼模式控制1300從一個或多個編解碼模式中識別最高優先級的編解碼模式。如果最高優先級編解碼模式被啟用，編解碼模式控制1300然後禁用編解碼模式特定集合中的所有其他編解碼模式，而不管每一其他編解碼模式的啟用條件是否被滿足。在一些實施例中，根據基於當前塊的參數定義的優先級規則(如當前塊的尺寸或長寬比)，編解碼模式的特定集合的每一編解碼模式被分配一優先級。
編解碼模式控制1300生成或發信語法元素1390到熵編碼器1290來指示一個或多個編解碼模式被啟用。視訊編碼器1200還可以在編解碼模式的特定集合中禁用一個或多個其他編解碼模式而不需要發信語法元素用於禁用一個或多個其他編解碼模式。在一些實施例中，第一語法元素(如第一旗標)用於指示是否應用多假設預測模式以及第二語法元素(如第二旗標)用於指示是否應用CIIP或TPM。該第一以及第二語法元素由熵編碼器1290對應地編解碼為第一箱(bin)以及第二箱。在一些實施例中，僅當第一箱指示多假設模式被啟用時，用於在CIIP於TPM之間決定的第二箱被發信。
第14圖概念地示出了用於實施編解碼模式或工具的互相排斥組的進程1400。在一些實施例中，實施編碼器1200的計算裝置的一個或多個處理單元(或處理器)藉由執行存儲於電腦可讀媒介中的指令執行進程1400。在一些實施例中，實施編碼器1200的電子裝置執行進程1400。
編碼器接收(在塊1410)將被編碼為一視訊的一當前圖像的一當前塊的一像素塊的資料。
編碼器識別(在塊1430)一個或多個編解碼模式中的一最高優先級編解碼模式。在一些實施例中，根據基於該當前塊參數定義的一優先級規則，編解碼模式的特定集合的每一編解碼模式被分配一優先級。
如果該最高優先級編解碼模式被啟用，該編碼器禁用(在塊1140)該編解碼模式特定集合中的所有其他編解碼模式。用於啟用各種編解碼模式的條件被描述於與這些編解碼模式相關以上段落。用於啟用編解碼模式的條件可以包括從位元流接收明確語法元素用於該編解碼模式。用於啟用編解碼模式的條件也可以包括具有被編解碼的當前塊的特定特性或參數(如，尺寸、長寬比)。例如，當編解碼模式的該特定集合包括被分配較高優先級的一第一編解碼模式以及被分配較低優先級的第二編解碼模式時，以及當該第一編解碼模式被啟用時，該編碼器禁用(在塊1445)該當前塊的該第二編解碼模式。在一些實施例中，當該第一編解碼模式被啟用時，除了該第一編解碼模式，該編碼器禁用該編解碼模式特定集合中的所有編解碼模式。在一些實施例中，如果GBI權重索引指示不相等的權重，編碼器啟用GBI(其意味著使用不相等的權重來混合來自列表0以及列表1的幀間預測)，而且因為GBI被分配比BDOF更高的優先級而禁用BDOF。又例如，在一些實施例中，因為GBI被分配比DMVR更高的優先級，如果GBI權重索引指示不相等權重，編碼器啟用GBI(其意味著使用不相等的權重來混合來自列表0以及列表1的幀間預測)，但是禁用DMVR。又例如，在一些實施例中，因為CIIP被分配比被禁用工具更高的優先級，如果CIIP旗標等於1，編碼器啟用CIIP，但禁用GBI、BDOF與/或DMVR。
藉由使用一幀間預測，該編碼器在該位元流中編碼(在塊1450)該當前塊，該幀間預測根據所啟用的編解碼模式來計算。XVI. 示例性視訊解碼器
第15圖示出了可以實施編解碼模式或工具的互相排斥組的示例性視訊解碼器1500。如圖所示，視訊解碼器1500是接收位元流1595以及將該位元流的內容解碼成視訊幀的像素資料用於顯示的圖像解碼或視訊解碼電路。視訊解碼器1500具有幾個元件或模組用於解碼位元流1595，包括從逆量化模組1505、逆變換模組1510、幀內預測模組1525、運動補償模組1530、環路濾波器1545、解碼圖像緩衝器1550、MV緩衝器1565、MV預測模組1575以及解析器1590中選擇的一些元件。運動補償模組1530是幀間預測模組1540的一部分。
在一些實施例中，模組1510-1590是由計算裝置的一個或多個處理單元(如處理器)執行的軟體指令的模組。在一些實施例中，模組1510-1590是由電子裝置的一個或多個IC實施的硬體電路的模組。雖然模組1510-1590被示出為分離的模組，一些模組可以被組合成單個模組。
根據由視訊編解碼或圖像編解碼標準定義的語法，解析器1590(或熵解碼器)接收位元流1595以及執行初始解析。所解析語法元素包括各種標頭元素、旗標以及已量化資料(或已量化係數)1512。解析器1590藉由使用如上下文適應性算術編解碼(CABAC)或霍夫曼編碼的熵編解碼技術解析出各種語法元素。
逆量化模組1505解量化已量化的資料(或已量化係數)1512來獲得變換係數，以及逆變換模組1510對變換係數1516執行逆變換來生成重構殘差訊號1519。重構殘差訊號1519與來自幀內預測模組1525或運動補償模組1530的已預測像素資料1513相加來生成已解碼像素資料1517。已解碼像素資料由環路濾波器1545濾波以及被存儲於解碼圖像緩衝器1550中。在一些實施例中，解碼圖像緩衝器1550是視訊解碼器1550的外部儲存。在一些實施例中，解碼器圖像緩衝器1550是視訊解碼器1550的內部儲存。
幀內預測模組1525從位元流1595接收幀內預測資料並根據其，從存儲於解碼圖像緩衝器1550的已解碼像素資料1517生成已預測像素資料1513。在一些實施例中，解碼像素資料1517也被存儲於線性緩衝器(未示出)用於幀間圖像預測以及空間MV預測。
在一些實施例中，解碼圖像緩衝器1550的內容用於顯示。顯示裝置1555檢索解碼圖像緩衝器1550的內容用於直接顯示或者檢索解碼圖像緩衝器的內容到顯示緩衝器。在一些實施例中，該顯示裝置通過像素傳輸從解碼圖像緩衝器1550中接收像素值。
運動補償模組1530根據運動補償MV(MC MV)從存儲於解碼圖像緩衝器1550的已解碼像素資料1517生成已預測像素資料1513。藉由將從位元流1595接收的殘差運動資料與從MV預測模組1575接收的已預測MV相加來解碼這些運動補償MV。
MV預測模組1575基於參考MV生成已預測MV，參考MV被生成用於解碼先前視訊幀，如，運動補償MV用於執行運動補償。MV預測模組1575檢索從MV緩衝器1565檢索先前視訊幀的參考MV。視訊解碼器1500將為解碼當前視訊幀生成的運動補償MV存儲於MV緩衝器1565作為用於生成已預測MV的參考MV。
環路濾波器1545對已解碼像素資料1517執行濾波或光滑操作來減少編解碼的偽影，尤其在像素塊的邊界。在一些實施例中，所執行的濾波操作包括樣本適應性偏移(SAO)。在一些實施例中，濾波操作包括適應性環路濾波器(ALF)。
第16圖示出了實施編解碼模式或工具的互相排斥組的視訊解碼器1500的部分。如圖所示，視訊解碼器1500實施組合的預測模組1610，其接收由幀內圖像預測模組1525生成的幀內預測值。組合的預測模組1610也可以接收從運動補償模組1530以及第二運動補償模組1630接收幀間預測值。該組合的預測模組1610反過來生成已預測像素資料1513，其可以進一步由一組預測濾波器1650進行濾波。
MV緩衝器提供合併候選到運動補償模組1530以及1630。該MV緩衝器1565也存儲用於解碼當前塊的運動資訊以及模式方向以由後續塊使用。合併候選可以由MV細化模組1665進行更改、擴展與/或細化。
編解碼模式(或工具)控制1600控制幀內圖像預測模組1525、運動補償模組1530、第二運動補償模組1630、MV細化模組1665、組合的預測模組1610以及預測濾波器1650的操作。
編解碼模式控制1600可以啟用MV細化模組1665來藉由搜索細化的MV執行MV細化(如，用於DMVR)操作或者基於MV調整計算梯度(如，用於BDOF)。編解碼模式控制模組1600可以啟用幀內預測模組1525以及運動補償模組1530來實施MH模式幀內(或幀間-幀內)模式(如，CIIP)。編解碼模式控制模組1600可以啟用運動補償模組1530以及第二運動補償模組1630來實施MH模式幀間模式(如，用於TPM的對角線邊緣區域)。當組合來自幀內圖像預測模組1525、運動補償模組1530與/或第二運動補償模組1630的預測訊號以實施如CIIP、TPM、GBI與/或WP的編解碼模式時，編解碼模式控制模組1600可以啟用組合的預測模組1610來採用不同的權重方案。編解碼模式控制1600還可以啟用預測濾波器1650來對已預測像素資料1513或已解碼像素資料1517應用LIC、DIF、BIF與/或HAD濾波器。
編解碼模式控制模組1600也決定啟用與/或禁用哪一編解碼模式用於編解碼該當前塊。該編解碼模式控制模組1600然後控制幀內圖像預測模組1525、運動補償模組1530、第二運動補償模組1630、MV細化模組1665、組合的預測模組1610以及預測濾波器1650的操作來啟用與/或禁用特定的編解碼模式。
在一些實施例中，編解碼模式控制1600僅啟用來自兩個或多個編解碼模式的特定集合的編解碼模式的一子集(一個或多個)用於編解碼當前塊或CU。這一編解碼模式的特定集合可以包括後續編解碼模式的所有或任何子集：CIIP、TPM、BDOF、DMVR、GBI、WP、LIC、DIF、BIF以及HAD。在一些實施例中，當啟用該當前塊的一編解碼模式的第一條件被滿足時，該編解碼模式控制1600禁用該當前塊的第二編解碼模式。
在一些實施例中，當啟用該第一編解碼模式的條件被滿足並且該第一編解碼模式被啟用時，除了該第一編解碼模式，該編解碼模式控制1600禁用該編解碼模式特定子集中的所有編解碼模式。在一些實施例中，當啟用該當前塊的該第一編解碼模式的第一條件以及啟用該當前塊的該第二編解碼模式的第二條件都滿足並且該第一編解碼模式被啟用時，該編解碼模式控制1600禁用該第二編解碼模式。例如，在一些實施例中，當編解碼模式控制1600決定用於啟用GBI以及BDOF的條件都被滿足以及GBI索引指示不相等的權重來混合列表0以及列表1的預測時，編解碼模式控制1600將禁用BDOF。又例如，在一些實施例中，當編解碼模式控制1600決定啟用GBI以及DMVR的條件都被滿足以及GBI索引指示不相等的權重來混合列表0以及列表1的預測時，編解碼模式控制1600將禁用DMVR。
在一些實施例中，編解碼模式控制1600從一個或多個編解碼模式中識別最該優先級編解碼模式。如果該最高優先級編解碼模式被啟用，編解碼模式控制1600然後禁用編解碼模式特定集合中的所有其他編解碼模式，而不管每一其他編解碼模式的啟用條件是否被滿足。在一些實施例中，根據基於該當前塊的參數定義的優先級規則，如當前塊的尺寸或長寬比，編解碼模式特定集合的每一編解碼模式被分配一優先級。
編解碼模式控制1600從熵解碼器1590接收一語法元素1690來指示一個或多個編解碼模式被啟用。在沒有接收語法元素用於禁用一個或多個其他編解碼模式的情況下，視訊解碼器1500還可以禁用一個或多個其他編解碼模式。在一些實施例中，第一語法元素(如，第一旗標)用於指示是否應用多假設預測模式以及第二語法元素(如，第二旗標)用於指示是否應用CIIP或TPM模式。對應地從該位元流1595中的第一箱以及第二箱來解碼該第一以及第二元素。在一些實施例中，僅當該第一箱指示多假設模式被啟用時，用於在CIIP於TPM之間決定的第二箱被發信。
第17圖概念地示出了用於實施編解碼模式或工具的互相排斥組的進程1700。在一些實施例中，實施解碼器1500的計算裝置的一個或多個處理單元(如處理器)藉由執行存儲於電腦可讀媒介的指令來執行進程1700。在一些實施例中，實施解碼器1500的電子裝置執行進程1700。
解碼器接收(在塊1710)將被解碼為一視訊的一當前圖像的一當前塊的一像素塊的資料。
解碼器在一個或多個編解碼模式中識別(在塊1730)一最高優先級編解碼模式。在一些實施例中，根據基於當前塊的參數定義的一優先級規則，該編解碼模式特定集合的每一編解碼模式被分配一優先級。
如果該最高優先級編解碼模式被啟用，解碼器禁用(在塊1740)該編解碼模式特定集合的所有其他編解碼模式。啟用各種編解碼模式的條件在與這些編解碼模式相關的上述段落中進行描述。啟用編解碼模式的條件可能包括從該位元流中接收明確的語法元素用於該編解碼模式。啟用編解碼模式的條件還可以包括具有被編解碼的該當前塊的特定特性或參數(如，尺寸、長寬比)。例如，當該編解碼模式特定集合包括被分配較高優先級的一第一編解碼模式以及被分配較低優先級的一第二編解碼模式時，以及當該第一編解碼模式被啟用時，該解碼器禁用(在塊1745)該當前塊的該第二編解碼模式。在一些實施例中，當該第一編解碼模式被啟用時，除了該第一編解碼模式，該解碼器禁用該編解碼模式特定集合中的所有編解碼模式。在一些實施例中，因為GBI被分配了比BDOF更高的優先級，如果GBI權重索引指示不相等的權重，該解碼器啟用GBI(其意味著使用不相等的權重來混合來自列表0以及列表1的幀間預測子)，而禁用BDOF。右例如，在一些實施例中，因為GBI被分配比DMVR更高的優先權，如果GBI權重索引指示不相等的權重，解碼器啟用GBI(其意味著使用不相等的權重來混合來自列表0以及列表1的幀間預測)，禁用DMVR。又例如，在一些實施例中，因為CIIP被分配比其他被禁用工具更高的優先級，如果CIIP旗標等於1，編碼器啟用CIIP，但禁用GBI、BDOF與/或DMVR。
藉由使用根據所啟用的編解碼模式計算的幀間預測，該解碼器解碼(在塊1750)該當前塊。XVII. 示例性電子系統
許多上述描述的特徵以及應用被實施為被指定為記錄在電腦可讀儲存媒介(也被稱為電腦可讀媒介)上的一組指令的軟體進程。當這些指令被一個或多個計算或處理單元(如，一個或多個處理器、處理器核心或其他處理單元)執行時，它們使得處理單元執行指令中指示的動作。電腦可讀媒體的示例包括但不限於CD-ROM、快速驅動器、隨機存取記憶體(RAM)晶片、硬碟驅動器、可擦可程式設計唯讀記憶體(EPROM)、電可擦可程式設計唯讀記憶體(EEPROM)等。電腦可讀媒介包括但不限於無線地或通過有線連接傳輸的載波以及電子訊號。
在本說明書中，術語“軟體”旨在包括駐留於唯讀記憶體中的固件或存儲於磁儲存的應用，其可以被讀入存儲由處理器處理。另外，在一些實施例中，多個軟體發明可以被實施為較大程式的子部分而同時保持獨特的軟體發明。在一些實施例中，多個軟體發明也可以被實施為分離的程式。最終，分離程式的任何組合一起實施在本發明範圍內所描述的軟體發明。在一些實施例中，當被安裝來操作一個或多個電子系統時，軟體程式定義一個或多個特定的機器實施方式，其運行以及執行軟體程式的操作。
第18圖概念地示出了用其實施本發明一些實施例中的電子系統1800。電子系統1800可以是電腦(如，臺式電腦、個人電腦、平臺電腦等)、電話、PDA或任何其他合適的電子裝置。這種電子系統包括各種類型的電腦可讀媒體以及介面用於各種其他類型的電腦可讀媒體。電子系統1800包括匯流排1805、處理單元1810、影像處理單元(GPU)1815、系統記憶體1820、網路1825、唯讀記憶體1830、永久儲存裝置1835、輸入裝置1840以及輸出裝置1845。
匯流排1805共同表示通信地連接電子系統1800的多個內部裝置的所有系統、週邊設備以及晶片組匯流排。例如，匯流排1805通信地將處理單元1810與GPU 1815、唯讀記憶體1830、系統記憶體1820以及永久儲存裝置1835連接在一起。
從這各種記憶體單元，處理單元1810檢索要執行的指令以及要處理的資料以執行本發明的進程。處理單元可以是不同實施例中的單個處理器或多核處理器。一些實施例被傳輸來由GPU 1815執行。GPU 1815可以分流由處理單元1810提供的各種計算或實施影像處理。
唯讀記憶體(ROM)830存儲由處理單元1810以及電子系統的其他模組使用的資料以及指令。另一方面，永久儲存裝置1835是讀寫存儲裝置。這一裝置是即使當電子系統1800關閉時，存儲指令以及資料的非揮發性記憶體。本發明的一些實施例使用大容量儲存裝置(如磁或光碟以及其對應的硬碟驅動器)作為永久儲存裝置1835。
其他實施例使用可移除儲存裝置(如軟碟、快速存儲裝置等以及其對應的硬碟驅動器)作為永久儲存裝置。像永久儲存裝置1835，系統記憶體1820是讀寫存儲裝置。然而，不像儲存裝置1835，系統記憶體1820是揮發性讀寫記憶體，如隨機存取記憶體。系統記憶體1820存儲處理器在運行時使用的一些指令以及資料。在一些實施例中，根據本發明的進程被存儲於系統記憶體1820、永久儲存裝置1835與/或唯讀記憶體1830中。例如，各種存儲單元包括根據一些實施例的處理多媒體視訊的指令。從這各種存儲單元，處理單元1810檢索要執行的指令以及要處理的資料以執行一些實施例的處理。
匯流排1805也連接到輸入以及輸出裝置1840以及1845。輸入裝置1840使能使用者來與電子系統通信資訊以及選擇命令。輸入裝置1840包括字母鍵盤以及定位裝置(也叫“游標控制裝置”)、攝像機(如，網路攝像機)、麥克風或用於接收聲音命令的類似裝置等。輸出裝置1845顯示由電子系統生成的圖像或其他輸出資料。輸出裝置1845包括印表機以及顯示裝置，如陰極射線管(CRT)或者液晶顯示幕(LCD)以及揚聲器或類似聲音輸出裝置。一些實施例包括如同時作為輸入以及輸出裝置的觸控式螢幕的裝置。
最終，如第18圖所示，匯流排1805也通過網路介面卡(未示出)將電子系統1800耦合到網路1825。以這種方式，電腦可以是電腦網路的一部分(如局域網(“LAN”)、廣域網路(“WAN”)、或內聯網、或網路的網路，如互聯網)。電子系統1800的任何或所有元件可以結合本發明來使用。
一些實施例包括電子元件，如微處理器、以機器可讀或電腦可讀媒介(或者成為電腦可讀儲存媒體、機器可讀存儲媒體或機器可讀儲存媒體)形式存儲電腦程式指令儲存以及記憶體。這種電腦可讀媒體的一些示例包括RAM、ROM、唯讀光碟(CD-ROM)、可記錄光碟(CD-R)、可再寫光碟(CD-RW)、唯讀數位通用光碟(如，DVD-ROM、雙層DVD-ROM)、各種可記錄/可再寫DVD(如，DVD-RAM、DVD-RW、DVD+RW等)、快速記憶體(如，SD卡、小型SD卡、微小型SD卡等)、磁與/或固態硬碟驅動器、唯讀以及可記錄藍光光碟、超密度光碟、任何其他光碟或磁媒體以及軟碟。電腦可讀媒體可以存儲由至少一個處理單元執行的電腦程式以及包括用於執行各種操作的指令的集合。電腦程式的示例或電腦代碼包括機器代碼(如由編譯器生成)以及包括由電腦、電子元件或使用注釋器的微處理器執行的高層級代碼的檔。
雖然上述描述主要指執行軟體的微處理器或多核處理器，許多上述描述的特徵以及應用由一個或多個積體電路來執行，如特定應用積體電路(ASIC)或現場可程式設計閘陣列(FPGA)。在一些實施例中，這種積體電路執行存儲於電路自身的指令。此外，一些實施例執行可程式設計邏輯裝置(PLD)、ROM或RAM裝置中的軟體。
如本說明書以及本申請任何申請專利範圍中所使用的，術語“電腦”、“伺服器”、“處理器”以及“記憶體”都指電子或其他科技裝置。這些術語排除人或人群。出於說明的目的，術語顯示(display)或顯示(displaying)意味著在電子裝置上顯示。如這一說明書以及本申請任何申請專利範圍中使用的，術語“電腦可讀媒介”、“電腦可讀媒體”以及“機器可讀媒介”都限制於以電腦可讀形式存儲資訊的有形的、物理物件。這些術語排除任何無線訊號、有線下載訊號以及任何其他短暫的訊號。
雖然本發明已經參考各種特定細節進行描述，本領域具有通常知識者將能認識到，在不背離本發明精神的情況下，本發明可以以其他特定形式實施。此外，各種圖示(包括第14以及17圖)概念地示出了進程。這些進程的特定操作可以以所示出以及所描述的精確循序執行。特定操作可以不以一個連續的系列操作來執行，以及不同的特定操作可以在不同實施例中執行。此外，進程可以使用各種子進程或者作為較大巨集進程的部分來實施。因此，本領域具有通常知識者將理解，本發明不由前述說明性細節所限制，而是由所附申請專利範圍來定義。附注
本文所描述的主題有時示出了包括於不同其他元件或與其連接的不同元件。能夠理解，這種描繪的架構僅是示例，以及事實上可以實施實現相同功能的許多其他的架構。概念上來說，實現相同功能的元件的任何安排是有效“關聯的”以致實現所期望的功能。因此，本文組合來實現特定功能的任何兩個元件可以被視為彼此“關聯”以致實現所期望的功能，而不管架構或中間元件。同樣地，如此關聯的任何兩個元件也可以被視為彼此“可操作地連接”或“可操作地耦合”來實現所期望的功能，以及能夠如此關聯的任何兩個元件也可以被視為彼此“可操作地耦合”來實現所期望的功能。可操作地耦合的具體示例包括但不限於物理上可匹配與/或物理上交互的元件與/或無線地可瞭解與/或無線地交互的元件與/或邏輯地交互與/或邏輯可交互的元件。
此外，關於本文中實質上任何複數與/或單數術語的使用，本領域具有通常知識者的這些人可以根據上下文以及應用適當地將其從複數轉換成單數與/或從單數轉換成複數。為了清楚起見，這裡可以明確闡述各種單數/複數置換。
此外，本領域技術人員表將能理解，通常，本文所使用的術語，尤其是所附申請專利範圍中使用的術語(如所附申請專利範圍的主體)通常意為“開放式”的術語，如，術語“包括(including)”應當被解釋為“包括但不限於”，術語“具有”應當被解釋為“至少具有”，術語“包括(includes)”應當被解釋為“包括但不限於”等。本領域這些技術人員將能進一步理解，如果特定數目的所引申請專利範圍的表述是有意的，這種意圖將明確列舉在申請專利範圍中，以及沒有這種表述的情況下這種意圖不存在。例如，為了幫助理解，後續所附申請專利範圍可以包含介紹性短語“至少一個”以及“一個或多個”的使用來介紹申請專利範圍表述。然而，這種短語的使用不應該被解釋為暗示由不定冠詞“a”或“an”介紹的申請專利範圍表述限制包含這種引入的申請專利範圍表述的任何特定申請專利範圍到僅包含一個這種表示的實施方式，即使當相同的申請專利範圍包括介紹性短語“一個或多個”或“至少一個”以及如“a”或“an”的不定冠詞，“a”與/或“an”應當被解釋為意味著“至少一個”或“一個或多個”，相同的情況也適用於介紹申請專利範圍表述的定冠詞。此外，即使特定數目的所介紹申請專利範圍表述被明確列舉，本領域具有通常知識者將意識到，這種表述應當被解釋為意味著至少一個所列舉的數目，如沒有其他修改的“兩個表述”的純表述意味著至少兩個表述，或者兩個或多個表述。此外，在使用類似於“至少一個A、B以及C等”的慣例的情況下，通常這種構造旨在本領域具有通常知識者將能理解該慣例，如“系統具有至少一個A、B以及C”將包括但不限於系統單獨具有A、單獨具有B、單獨具有C、一起具有A與B、一起具有A與C、一起具有B與C，與/或一起具有A、B以及C等。在使用類似於“至少一個A、B或C”慣例的這些情況下，通常這種構造旨在本領域具有通常知識者將能夠理解該慣例，如“系統具有至少一個A、B或C”將包括但不限於系統單獨具有A、單獨具有B、單獨具有C、一起具有A與B、一起具有A與C、一起具有B與C，與/或一起具有A、B以及C等。本領域技術人員將能進一步理解，事實上在描述、申請專利範圍或圖示中，表示兩個或多個可替換術語的任何分隔詞與/或短語將被理解成考慮包括術語之一、術語任一個或者術語兩者的可能性。例如，短語“A或B”將被理解成包括“A或B”或者“A與B”的可能性。
從上文可以理解，出於說明的目的，本發明的各種實施方式已經在此進行描述，以及在不背離本發明範圍以及精神的情況下，可以進行各種修正。因此，本文所描述的各種實施方式不旨在被限制，真正的範圍以及精神由後續申請專利範圍來指示。
200:當前塊 1100:視訊圖像 1102、1104、1106、1108:參考幀 1110:當前塊 1120:組合的預測 1122:第一預測 1124:第二預測 1132:第一候選列表 1134:第二候選列表 1142:運動候選 1144:幀內預測模式 1146:運動候選 1200:視訊編碼器 1205:視訊源 1208:減法器 1209:殘差訊號 1210:變換模組 1211:量化模組 1212、1512:已量化係數 1213、1513:已預測像素資料 1214、1505:逆量化模組 1215、1510:逆變換模組 1216、1516:變換係數 1217:重構像素資料 1219:重構殘差 1220:幀內圖像估計模組 1225、1525:幀內預測模組 1230、1530:運動補償模組 1235:運動估計模組 1240、1540:幀間預測模組 1245、1545:環路濾波器 1250:重構圖像緩衝器 1265、1565:MV緩衝器 1275、1575:MV預測模組 1290:熵編碼器 1295、1595:位元流 1300、1600:編解碼模式控制模組 1310、1610:組合的預測模組 1330、1630:第二運動補償模組 1350、1650:預測濾波器 1365、1665:MV細化模組 1390、1690:語法元素 1410~1450、1710~1750:步驟 1500:視訊解碼器 1517:已解碼像素資料 1519:重構殘差訊號 1555:顯示裝置 1550:解碼圖像緩衝器 1590:解析器 1800:電子系統 1805:匯流排 1810:處理單元 1815:影像處理單元 1820:系統記憶體 1825:網路 1830:唯讀記憶體 1835:永久儲存裝置 1840:輸入裝置 1845:輸出裝置
附圖被包括來提供本發明的進一步理解，以及被併入並構成本發明的一部分。圖式說明了本發明的實施方式，以及與描述一起用於解釋本發明的原理。因為為了清楚地說明本發明的概念，一些元件可以被示出為與實際實施方式中的尺寸不成比例，圖式不需要按比例繪製。 第1圖示出了合併模式的運動候選。 第2圖概念地示出了使用基於雙向匹配(bilateral-matching)的解碼器側運動向量細化(refinement)來編碼或解碼一當前塊。 第3圖示出了解碼器運動向量細化(Decoder Motion Vector Refinement，DMVR)的搜索進程。 第4圖示出了DMVR整數亮度樣本搜索圖樣(pattern)。 第5圖概念地示出了導出基於照明(lighting-based)的預測偏移。 第6圖示出了預測偏移的示例導出。 第7圖示出了由BDOF使用的擴展的CU區域用於編解碼一CU。 第8圖示出了示例性8×8轉換單元塊以及雙向濾波器口徑(aperture)。 第9圖示出了哈德碼(Hadamard)變換域濾波器下的濾波進程。 第10圖示出了沿著兩個三角形預測單元之間的對角線邊緣應用的適應性加權。 第11a圖概念地示出了藉由使用幀內MH模式(MH mode for intra)來編碼或解碼一像素塊。 第11b圖概念地示出了藉由使用幀間MH模式(MH mode for inter)來編解碼當前塊。 第12圖示出了可以實施編解碼模式或工具的互相排斥組的示例性視訊編碼器。 第13圖示出了可以實施編解碼模式或工具的互相排斥組的該視訊編碼器的一部分。 第14圖概念地示出了用於在視訊編碼器實施編解碼模式或工具的互相排斥組的一進程。 第15圖示出了可以實施編解碼模式或工具的互相排斥組的示例性視訊解碼器。 第16圖示出了可以實施互相排斥的編解碼模式或工具分組的該視訊解碼器的一部分。 第17圖概念地示出了用於在視訊解碼器實施編解碼模式或工具的相互排斥組的一進程。 第18圖概念地示出了用其實施本發明一些實施例的電子系統。
1410~1450:步驟

Claims (13)

  1. 一種視訊解碼方法，包括： 接收將被解碼為一視訊的一當前圖像的一當前塊的一像素塊的資料； 當該當前塊的一第一編解碼模式被啟用時，禁用該當前塊的一第二編解碼模式，其中該第一編解碼模式與該第二編解碼模式指定不同的方法用於計算該當前塊的一幀間預測；以及 藉由使用根據一啟用的編解碼模式計算的一幀間預測解碼該當前塊。
  2. 如申請專利範圍第1項所述之視訊解碼方法，其中兩個或多個編解碼模式的一特定集合包括該第一編解碼模式以及該第二編解碼模式，以及其中當該第一編解碼模式被啟用時，除了該第一編解碼模式，禁用該編解碼模式特定集合中的所有編解碼模式。
  3. 如申請專利範圍第2項所述之視訊解碼方法，其中該編解碼模式的特定集合包括廣義雙向預測(GBI)、解碼器側運動向量細化(DMVR)、以及組合幀間與幀內預測(CIIP)，以及其中： 廣義雙向預測是該視訊解碼器執行兩個不同方向中兩個預測訊號加權平均來生成該幀間預測的一編解碼模式， 解碼器側運動向量細化是該視訊解碼器搜索一初始運動向量周圍一細化的運動向量以及使用該細化的運動向量來生成該幀間預測的一編解碼模式，以及 組合幀間與幀內預測是該視訊解碼器將一幀間預測訊號與一幀內預測訊號組合來生成該幀間預測的一編解碼模式。
  4. 如申請專利範圍第2項所述之視訊解碼方法，其中該編解碼模式的特定集合包括廣義雙向預測(GBI)、雙向光流(BDOF)以及組合的幀間預測與幀內預測(CIIP)，以及其中： 廣義雙向預測是該視訊解碼器執行兩個不同方向中兩個預測訊號加權平均來生成該幀間預測的一編解碼模式， 雙向光流是該視訊解碼器計算一運動細化來最小化不同方向的預測樣本之間的失真以及基於所計算的細化調整該幀間預測的一編解碼模式，以及 組合的幀間預測與幀內預測是該視訊解碼器將一幀間預測訊號與一幀內預測訊號組合來生成該幀間預測的一編解碼模式。
  5. 如申請專利範圍第1項所述之視訊解碼方法，其中該第一編解碼模式是組合的幀間與幀內預測(CIIP)以及該第二編解碼模式是廣義雙向預測(GBI)。
  6. 如申請專利範圍第1項所述之視訊解碼方法，其中該第一編解碼模式是廣義雙向預測(GBI)以及該第二編解碼模式是雙向光流(BDOF)。
  7. 如申請專利範圍第1項所述之視訊解碼方法，其中該第一編解碼模式是廣義雙向預測(GBI)以及該第二編解碼模式是解碼器側運動向量細化(DMVR)。
  8. 如申請專利範圍第1項所述之視訊解碼方法，其中該第一編解碼模式是組合的幀間與幀內預測(CIIP)以及該第二編解碼模式是雙向光流(BDOF)。
  9. 如申請專利範圍第1項所述之視訊解碼方法，其中該第一編解碼模式是組合的幀間與幀內預測(CIIP)以及該第二編解碼模式是解碼器側運動向量細化(DMVR)。
  10. 一種電子裝置，包括： 一視訊解碼器電路，用於執行操作，包括： 接收將被解碼為一視訊的一當前圖像的一當前塊的一像素塊的資料； 當該當前塊的一第一編解碼模式被啟用時，禁用該當前塊的一第二編解碼模式，其中該第一編解碼模式以及該第二編解碼模式指定不同的方法用於計算該當前塊的一幀間預測；以及 藉由使用根據一啟用的編解碼模式計算的一幀間預測解碼該當前塊。
  11. 如申請專利範圍第10項所述之電子裝置，其中兩個或多個編解碼模式的一特定集合包括該第一編解碼模式以及該第二編解碼模式，以及其中當該第一編解碼模式被啟用時，除了該第一編解碼模式，禁用該編解碼模式特定集合中的所有編解碼模式。
  12. 如申請專利範圍第10項所述之電子裝置，其中該編解碼模式的特定集合包括廣義雙向預測(GBI)、解碼器側運動向量細化(DMVR)以及組合的幀間與幀內預測(CIIP)，以及其中： 廣義雙向預測是該視訊解碼器執行兩個不同方向的兩個預測訊號的加權平均來生成該幀間預測的一編解碼模式， 解碼器側運動向量細化是該視訊解碼器搜索一初始運動向量周圍的一細化的運動向量以及使用該細化的運動向量來生成該幀間預測的一編解碼模式，以及 組合的幀間與幀內預測是該視訊解碼器組合一幀間預測訊號與一幀內預測訊號來生成該幀間預測的一編解碼模式。
  13. 如申請專利範圍第10項所述之電子裝置，其中該編解碼模式的特定集合包括廣義雙向預測(GBI)、雙向光流(BDOF)以及組合幀間與幀內預測(CIIP)，以及其中： 廣義雙向預測是該視訊解碼器執行兩個不同方向中兩個預測訊號的加權平均來生成該幀間預測的一編解碼模式， 雙向光流是該視訊解碼器計算一運動細化來最小化不同方向的預測樣本之間的失真以及基於所計算的該運動細化調整該幀間預測的一編解碼模式，以及 組合的幀間與幀內預測是該視訊解碼器組合一幀間預測訊號與一幀內預測訊號來生成該幀間預測的一編解碼模式。
TW109106446A 2019-02-27 2020-02-27 用於多個工具的互相排斥設定 TWI735172B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962810997P 2019-02-27 2019-02-27
US62/810,997 2019-02-27
US16/802,448 2020-02-26
US16/802,448 US11166037B2 (en) 2019-02-27 2020-02-26 Mutual excluding settings for multiple tools

Publications (2)

Publication Number Publication Date
TW202046718A true TW202046718A (zh) 2020-12-16
TWI735172B TWI735172B (zh) 2021-08-01

Family

ID=72141887

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109106443A TWI737201B (zh) 2019-02-27 2020-02-27 用於發信合併工具的方法及裝置
TW109106446A TWI735172B (zh) 2019-02-27 2020-02-27 用於多個工具的互相排斥設定

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW109106443A TWI737201B (zh) 2019-02-27 2020-02-27 用於發信合併工具的方法及裝置

Country Status (5)

Country Link
US (2) US11178414B2 (zh)
CN (1) CN113853794A (zh)
MX (1) MX2021010259A (zh)
TW (2) TWI737201B (zh)
WO (1) WO2020173485A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110800302A (zh) * 2017-06-07 2020-02-14 联发科技股份有限公司 用于视频编解码的帧内-帧间预测的方法及装置
WO2020057504A1 (en) * 2018-09-17 2020-03-26 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
MX2021004738A (es) * 2018-10-27 2021-06-04 Huawei Tech Co Ltd Lista de fusion separada para candidatos de fusion de subbloque y armonizacion de tecnicas intra-inter para codificacion de video.
WO2020098647A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for affine prediction
CN113056914B (zh) * 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020177684A1 (en) * 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Enabling dmvr based on the information in the picture header
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
KR20200107866A (ko) * 2019-03-08 2020-09-16 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113475076B (zh) * 2019-03-11 2024-03-12 阿里巴巴集团控股有限公司 用于对视频数据进行编码的帧间预测方法
WO2020185747A1 (en) * 2019-03-11 2020-09-17 Vid Scale, Inc. Methods and systems for post-reconstruction filtering
WO2020184847A1 (ko) * 2019-03-12 2020-09-17 엘지전자 주식회사 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
CN113545074B (zh) * 2019-03-21 2023-12-01 北京字节跳动网络技术有限公司 组合帧间帧内预测的改进的加权处理
KR102534071B1 (ko) * 2019-03-22 2023-05-30 로즈데일 다이나믹스 엘엘씨 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
US20220014775A1 (en) * 2019-05-02 2022-01-13 Xris Corporation Method for encoding/decoding video signal and device therefor
US11172212B2 (en) * 2019-06-06 2021-11-09 Qualcomm Incorporated Decoder-side refinement tool on/off control
KR102417212B1 (ko) * 2019-06-17 2022-07-05 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 디코더 측 모션 벡터 개선을 위한 방법들 및 장치들
KR20200144480A (ko) * 2019-06-18 2020-12-29 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP7460664B2 (ja) * 2019-06-19 2024-04-02 エルジー エレクトロニクス インコーポレイティド 決定された予測モードを適用して予測サンプルを生成する映像デコーディング方法及びその装置
WO2020262929A1 (ko) * 2019-06-23 2020-12-30 엘지전자 주식회사 비디오/영상 코딩 시스템에서 신택스 시그널링 방법 및 장치
CN114424541B (zh) * 2019-08-16 2024-05-31 苹果公司 压缩视频及重建压缩视频的系统、方法、及存储介质
KR102635319B1 (ko) * 2019-08-20 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용
US11736720B2 (en) * 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
US20220337865A1 (en) * 2019-09-23 2022-10-20 Sony Group Corporation Image processing device and image processing method
WO2023025098A1 (en) * 2021-08-23 2023-03-02 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20230069984A1 (en) * 2021-08-24 2023-03-09 Tencent America LLC Hardware friendly design for intra mode coding
CN117957840A (zh) * 2021-10-30 2024-04-30 北京达佳互联信息技术有限公司 视频编解码中考虑边界外条件的运动补偿
US20230199217A1 (en) * 2021-12-21 2023-06-22 Mediatek Inc. Shared Architecture For Multiple Video Coding Modes

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
CN107172432A (zh) 2017-03-23 2017-09-15 杰发科技（合肥）有限公司 一种视频处理方法、装置及终端
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)

Also Published As

Publication number Publication date
MX2021010259A (es) 2021-09-21
TWI735172B (zh) 2021-08-01
US20200275112A1 (en) 2020-08-27
US11178414B2 (en) 2021-11-16
TWI737201B (zh) 2021-08-21
US20200275115A1 (en) 2020-08-27
CN113853794A (zh) 2021-12-28
TW202034689A (zh) 2020-09-16
US11166037B2 (en) 2021-11-02
WO2020173485A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
TWI735172B (zh) 用於多個工具的互相排斥設定
TWI711300B (zh) 照度補償方法及相應之視訊處理裝置
US11297348B2 (en) Implicit transform settings for coding a block of pixels
US11553173B2 (en) Merge candidates with multiple hypothesis
US20190238883A1 (en) Hardware Friendly Constrained Motion Vector Refinement
US11902563B2 (en) Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
US11245922B2 (en) Shared candidate list
KR20120118457A (ko) 비디오 인코딩 및 디코딩을 위한 템플릿 매칭 예측의 복잡도를 감소시키는 방법 및 장치
JP7375224B2 (ja) 符号化・復号方法、装置及びそのデバイス
TW202046728A (zh) 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
CN110832854A (zh) 利用插值进行帧内预测的方法和装置
WO2019161798A1 (en) Intelligent mode assignment in video coding
WO2023131298A1 (en) Boundary matching for video coding
TWI830548B (zh) 視訊編碼方法和相關電子設備
WO2024007789A1 (en) Prediction generation with out-of-boundary check in video coding
WO2024017224A1 (en) Affine candidate refinement
WO2023274360A1 (en) Utilization of recursive prediction unit in video coding
TW202341741A (zh) 視訊編解碼方法及相關裝置
TW202404354A (zh) 利用卷積模型的預測改進
TW202420819A (zh) 視訊編解碼中帶越界檢查的預測生成
TW202402054A (zh) 用於候選清單的相似性閾值
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化