TWI711300B - 照度補償方法及相應之視訊處理裝置 - Google Patents

照度補償方法及相應之視訊處理裝置 Download PDF

Info

Publication number
TWI711300B
TWI711300B TW108115036A TW108115036A TWI711300B TW I711300 B TWI711300 B TW I711300B TW 108115036 A TW108115036 A TW 108115036A TW 108115036 A TW108115036 A TW 108115036A TW I711300 B TWI711300 B TW I711300B
Authority
TW
Taiwan
Prior art keywords
block
current block
pixels
current
sub
Prior art date
Application number
TW108115036A
Other languages
English (en)
Other versions
TW201946470A (zh
Inventor
蔡佳銘
陳俊嘉
徐志瑋
陳慶曄
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201946470A publication Critical patent/TW201946470A/zh
Application granted granted Critical
Publication of TWI711300B publication Critical patent/TWI711300B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一種實現照度補償的視訊編解碼器。視訊編解碼器接收要編碼為當前塊的第一視訊圖像中的第一像素塊，其中當前塊與參考第二視訊圖像中的第二像素塊作為參考塊的運動向量相關聯。視訊編解碼器通過使用運動向量來為當前塊執行幀間預測，以產生用于當前塊的一組運動補償像素。視訊編解碼器通過應用基于參考塊和當前塊的相鄰樣本計算的綫性模型來修改當前塊的運動補償像素組。基於當前塊在較大塊內的位置來識別相鄰樣本。

Description

照度補償方法及相應之視訊處理裝置
本公開一般涉及視訊處理。特別地，本公開涉及照度補償的信令。
除非本文另有說明，否則本部分中描述的方法不是後面列出的申請專利範圍的現有技術，並且不包括在本部分中作為現有技術。
高效視訊編解碼(HEVC)基於基於混合塊(hybrid block-based)的運動補償的DCT類變換編解碼架構。用於壓縮的基本單元(稱為編解碼單元(CU))是2N×2N方塊，並且每個CU可以遞歸地分成四個較小的CU，直到達到預定義的最小尺寸。每個CU包含一個或多個預測單元(PU)。
為了實現HEVC中混合編解碼架構的最佳編解碼效率，每個PU有兩種預測模式，即幀內預測和幀間預測。幀內預測模式使用空間相鄰重建像素來生成方向預測子，而幀間預測模式使用時間重建參考幀來生成運動補償預測子。在執行預測並且從源塊中減去預測子之後，以變換單元(TU)對殘差塊進行進一步變換和量化，然後將其編碼為位元流。可以生成更準確的預測子，將獲得更小的殘差塊，並且可以實現更高的壓縮比。
幀間預測探索幀之間的像素的相關性，並且如果場景是靜止的並且運動估計可以找到在時間相鄰幀中具有相似像素值的類似塊，則可以是有效的。但是，幀在不同的光照條件下被捕獲。即使內容相似且場景靜止，幀之間的像素值也可能不同。
以下概述僅是說明性的，並不旨在以任何方式進行限制。也就是說，提供以下概述以介紹本文描述的新穎和非顯而易見的技術的概念、要點、益處和優點。在下面的詳細描述中進一步描述選擇的部分實現方式而非不是所有實現方式。因此，以下發明內容並非旨在標識所要求保護的主題的必要特徵，也不旨在用於確定所要求保護的主題的範圍。
本公開的一些實施例提供了一種實現照度補償的視訊編解碼器。視訊編解碼器接收要編碼為當前塊的第一視訊圖像中的第一像素塊，其中當前塊與參考第二視訊圖像中的第二像素塊作為參考塊的運動向量相關聯。視訊編解碼器通過使用運動向量來為當前塊執行幀間預測，以產生用于當前塊的一組運動補償像素。視訊編解碼器通過應用基于參考塊和當前塊的相鄰樣本計算的綫性模型來修改當前塊的運動補償像素的集合。基於較大塊內的當前塊的位置來識別相鄰樣本。在一些實施例中，視訊編解碼器基於當前塊的預測設定確定是否啟用照度補償模式，且視訊編解碼器在啟用照度補償模式時通過應用綫性模型來修改當前塊。
在一些實施例中，如果當前塊不是較大塊或CTU的最頂部(top-most)塊或最左側(left-most)塊，則可以禁用照度補償(illumination compensation)模式。在一些實施例中，當對於當前塊開啟通用雙預測(General Bi-prediction，簡寫為GBi)、雙向光流(Bi-directional optical flow，簡寫為BIO)、子PU時間運動向量預測(SPTMVP或ATMVP)、仿射模式、雙邊模板MV微調(DMVR)、多假設內合並模式、多假設合並模式或多假設合並+AMVP模式時，關閉照度補償模式。
在一些實施例中，基於較大塊內的當前塊的位置來識別相鄰樣本。 綫性模型基于一組照度補償參數，其包括縮放因子和綫性模型的偏移。較大的塊可以包括多個子塊，並且當前塊是第一子塊。第一子塊的相鄰像素用作相鄰樣本以計算用于修改當前塊和較大塊的其他子塊的綫性模型。在一些實施例中，較大塊的相鄰像素被子采樣並用作相鄰樣本以計算用于修改當前塊和較大塊的其他子塊的綫性模型。
在一些實施例中，當前塊可以是包括多個CU的CTU中的CU。基於CTU的相鄰像素導出當前塊的所識別的相鄰樣本。在一些實施例中，當前塊是預測單元(PU)，並且較大的塊是包括多個PU並且具有大於閾值的大小的編解碼單元(CU)。基於CU的相鄰像素導出當前塊的所識別的相鄰樣本。
在一些實施例中，所識別的當前塊的相鄰樣本是與當前塊垂直或水平對齊的較大塊的相鄰像素。並且當當前塊位於較大塊的頂部邊緣但不在較大塊的左邊緣時，相鄰樣本可以包括較大塊上方的相鄰像素，不包括其他像素。當當前塊位於較大塊的左邊緣但不位於較大塊的頂部邊緣時，相鄰樣本可以包括較大塊左側的相鄰像素，而不包括其他像素。
在一些實施例中，當殘差像素可用時，通過使用基於預測像素和殘差像素的相鄰塊的重建像素來計算相鄰樣本，並且當殘差像素不可用時，通過使用相鄰塊的預測像素來計算相鄰樣本。在一些實施例中，線性模型從當前塊的相鄰塊繼承。
100、200:當前塊
102:第一視訊圖像
104:運動向量
106、116、140:相鄰樣本
110:像素
112:第二視訊圖像
120:運動補償模塊
122:運動補償的當前塊
124:預測像素
126:殘差像素
128:照度補償的當前塊
130:照度補償模塊
132:線性模型
150:啟用條件
160:重建圖像緩衝器
170、1020:歷史緩衝器
210:參考PU
300、400、500:CTU
310、330、410、510、611~614:CU
320、321、340、341、420、421、422、440、441、442、、520、540、621、641:區域
315、335、415、515、615:MV
311、430、530、631:參考塊
700:視訊編碼器
705:視訊源
708:減法器
710:變換模塊
711:量化模塊
713、913:預測像素資料
714、905:逆量化模塊
715、910:逆變換模塊
716、916:變換係數
717:重建像素資料
719:重建殘差
720:圖像內估計模塊
725、925:幀內預測模塊
730、930:運動補償模塊
735:運動估計模塊
740、940:幀間預測模塊
745、945:環路濾波器
750:重建圖像緩衝器
765、965:MV緩衝器
775、975:MV預測模塊
790:熵編碼器
795、995:位元流
800、1000:照度補償模塊
810、1010:修改的像素資料
830、1030:與當前塊相關聯的運動向量
850、1050:行緩衝器
900:視訊解碼器
912:量化係數
990:解析器
917:解碼像素資料
919:重建殘差信號
950:解碼圖像緩衝器
955:顯示設備
1100:過程
1110~1170:步驟
1200:電子系統
1205:匯流排
1210:處理單元
1215:圖形處理單元
1220:系統記憶體
1225:網路
1230:只讀記憶體
1235:永久存儲設備
1240:輸入設備
1245:輸出設備
包括附圖以提供對本公開的進一步理解，並且附圖被併入並構成本公開的一部分。附圖示出了本公開的實施方式，並且與說明書一起用於解釋本公開的原理。可以理解的是，附圖不一定按比例繪製，因為為了清楚地說明本公開的 概念，一些部件可能被示出為與實際實施中的尺寸不成比例。
第1圖概念性地示出了根據本公開的一些實施例的照度補償模式。
第2圖示出了針對作為當前塊的預測單元(PU)的不同像素位置導出NPO偏移。
第3a圖示出了當前塊的照度補償模式，該當前塊是較大塊的最頂部子塊。
第3b圖示出了當前塊的照度補償模式，該當前塊是較大塊的最左側子塊。
第4圖示出了從當前CTU外部獲取的當前CU的相鄰樣本。
第5圖示出了在照度補償模式期間其L形鄰居為CTU中的CU提供相鄰樣本的CTU。
第6圖示出了CU的照度補償模式參數由CTU內的其他CU繼承或共享。
第7圖說明與本發明的一些實施例一致的實施照度補償模式的實例視訊編碼器。
第8圖示出了與本公開的一些實施例一致的實現照度補償模式的視訊編碼器的部分。
第9圖說明與本發明的一些實施例一致的實施照度補償模式的實例視訊解碼器。
第10圖說明與本發明的一些實施例一致的實施照度補償模式的視訊解碼器的部分。
第11圖概念性地示出了用於執行當前塊的照度補償模式的過程。
第12圖概念性地示出了用於實現本公開的一些實施例的電子系統。
在以下詳細描述中，通過示例闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化，衍生物和/或擴展都在本 公開的保護範圍內。在一些實例中，可以在沒有細節的情況下以相對較高的級別描述與本文公開的一個或多個示例實現有關的公知方法、過程、組件和/或電路，以避免不必要地模糊本公開的教導的各方面。
本公開的一些實施例提供了可以實現照度補償模式的視訊編解碼器。具體地，當將像素塊編碼或解碼為要編解碼的當前像素塊時，當啟用照度補償模式時，視訊編解碼器可將線性模型(基於一組照度補償參數)應用於當前塊的幀間預測(或運動補償的)像素值。將線性模型應用於當前塊的每個像素位置，以補償不是由於運動引起的變化，例如，照度條件的變化。
在一些實施例中，視訊編解碼器接收第一視訊圖像中的第一像素塊以編碼為當前塊。當前塊與運動向量相關聯，該運動向量將第二視訊圖像中的第二像素塊作為參考塊。視訊編解碼器通過使用運動向量來為當前塊執行幀間預測，以產生用於當前塊的一組運動補償像素。視訊編碼器可基於特定條件集啟用或禁用當前塊的照度補償模式。當啟用照度補償時，視訊編解碼器可為當前塊提供線性模型或一組照度補償參數，並使用線性模型或該組照度補償參數來修改當前塊的運動補償像素集。可以基於為當前塊和參考塊識別的相鄰樣本來計算線性模型。
第1圖概念性地示出了根據本公開的一些實施例的照度補償模式。該圖示出了像素塊100，其是由視訊編解碼器編解碼的當前塊。當前塊100在第一視訊圖像102中。當前塊100與運動向量104相關聯。運動向量104參考一組像素110作為第二視訊圖像112中的參考塊。
基於運動向量104、視訊編解碼器的運動補償模塊120執行幀間預測以產生用於當前塊的一組預測像素124。該組預測像素124添加有一組殘差像素126，以產生用於當前塊100的一組重建像素。
視訊編解碼器包括照度補償模塊130，其可應用線性模型132來修改 經運動補償的當前塊122的像素值。線性模型132可由縮放因子和偏移來表徵。照度補償可以根據線性模型132修改運動補償的當前塊122的每個像素位置處的像素值。當前塊的修改的像素或照度補償的當前塊128存儲在重建圖像緩衝器160中，將被後續塊和/或視訊圖像顯示或引用。在一些實施例中，照度補償通過應用線性模型132來修改運動補償的當前塊122的像素值來微調(refine)預測像素124。
可以基於當前塊的相鄰樣本106和參考塊的相鄰樣本116(第1圖中也合併示為相鄰樣本140)動態地導出線性模型132。塊的相鄰樣本通常是指L形區域(或L形模板)的像素採樣，其採樣區域包含靠近當前塊的頂部與靠近當前塊的左側的像素。當確定用於照度補償的線性模型時，不同實施例中的視訊編解碼器可以使用相對於當前塊的不同位置的像素作為相鄰樣本(換句話說，不同的L形區域)。在一些實施例中，當前塊的相鄰樣本採樣自緊鄰當前塊的頂部和當前塊左側的像素。在一些實施例中，當前塊是較大塊的子塊或CTU中的CU，並且相鄰樣本取自較大塊或CTU的相鄰像素而不是來自當前塊的相鄰像素。
在一些實施例中，將當前塊的L形模板和參考塊的L形模板中的像素子採樣為特定大小。在子採樣之後，可以通過子採樣L形來計算線性模型的加權因子和偏移因子。
視訊編解碼器可使用相鄰塊的重建像素作為相鄰樣本來計算線性模型。如果相鄰塊的殘差像素還不可用，則視訊編解碼器可僅使用相鄰塊的預測像素作為相鄰樣本來計算線性模型。
不必基於相鄰樣本計算線性模型132，當前塊100還可以從相鄰塊(例如，在合併模式期間提供所選擇的合併候選的相鄰塊)繼承其線性模型132。當前塊還可以從歷史緩衝器170擷取先前使用的線性模型。
視訊編解碼器可以對或可以不對當前塊執行照度補償。如果針對當前塊禁用或繞過照度補償，則視訊編解碼器可能不計算當前塊的線性模型，並且可能不基於線性模型修改當前塊的運動補償像素。
視訊編解碼器可基於一個或一個以上啟用條件150啟用或禁用照度補償。這些啟用條件150可包含當前塊的大小，當前塊在較大塊內的位置(例如，CTU中的當前CU位置)，或與當前塊相關的其他操作的配置設置，例如，通用雙預測(GBi)、雙向光流(BIO)、子PU時間運動向量預測(SPTMVP或ATMVP)、仿射模式、雙邊模板MV微調(DMVR)、多假設內合併模式、多假設合併模式、多假設合併+AMVP模式等。當前塊也可以在合併模式期間從相鄰塊繼承其照度補償設置，包括是否啟用照度補償模式。在一些實施例中，視訊編解碼器可基於照度補償模式的設置推斷其它操作的配置設置。
不同實施例中的視訊編解碼器可以使用不同類型的照度補償模式，其可以使用不同的線性模型或修改當前塊的不同方法來補償照度變化。照度補償模式的示例包括：相鄰導出的預測偏移(NPO)，其線性模型將偏移應用於當前塊的每個像素位置；和局部照度補償(Local Illumination compensation，簡寫為LIC)，其線性模型將縮放因子和偏移應用於當前塊的每個像素值。
I.相鄰導出的預測偏差(NPO)
相鄰導出的預測偏移(Neighboring-derived Prediction Offset，簡寫為NPO)用於添加預測偏移以改進運動補償的預測子。通過該偏移，可以考慮幀之間的不同照明條件。使用相鄰重建像素(neighboring reconstructed pixel，簡寫為NRP)和擴展的運動補償預測子(EMCP)導出偏移。NRP是當前塊的相鄰樣本。EMCP是參考塊的相鄰樣本。
在一些實施例中，為NRP和EMCP選擇的模式分別是當前塊和參考塊左邊的N個像素和上方的M個像素，其中N和M是預定值。圖案可以具有 任何尺寸和形狀，並且可以根據任何編碼參數(例如PU或CU尺寸)來確定，只要它們對於NRP和EMCP都是相同的。然後，將偏移計算為NRP的平均像素值減去EMCP的平均像素值。該導出的偏移在PU上是唯一的，並且與運動補償預測子一起應用於整個PU。
第2圖示出了針對作為當前塊的PU 200的不同像素位置導出NPO偏移。對於每個相鄰位置(當前塊200的邊界左側和上方的陰影區域)，將個體偏移計算為NRP中的對應像素(當前塊200的相鄰像素)減去EMCP中的對應像素(參考PU 210的相鄰像素)。在該示例中，對於上述相鄰位置，偏移值是6、4、2、-2，對於左相鄰位置，偏移值是6、6、6、6。
基於上方和左方相鄰位置的偏移值，計算當前塊的各個位置的偏移位置。具體地，將當前塊200中的每個位置的導出偏移量計算為來自左側和上方位置的偏移的平均值。例如，對於頂行中最左側的位置，通過平均來自左(6)和上(6)的偏移來生成6的偏移。對於頂行中的第二個最左側位置，偏移量5計算為來自左(4)和上(6)的偏移的平均值。可以按光柵掃描順序依次處理和生成每個位置的偏移。由於相鄰像素與邊界像素的相關性更高，因此偏移也是如此。在一些實施例中，偏移值根據像素位置是自適應的。導出的偏移在PU上是自適應的，並且與運動補償的預測子一起單獨地應用於每個PU位置。
II.局部照度補償(Local Illumination Compensation，簡寫為LIC)
局部照度補償(LIC)是幀間預測的方法，其使用當前塊的相鄰樣本和參考塊的相鄰樣本來導出包括縮放因子a和偏移b的線性模型。針對每個CU自適應地啟用或禁用LIC。
當LIC應用於塊時，採用最小平方誤差(least square error)方法通過使用當前塊的相鄰樣本及參考圖像中其對應的參考採樣來導出參數a和b(即，參考塊的相鄰的採樣)。在一些實施例中，使用子採樣(subsample)(例如，2： 1子採樣)的CU的相鄰樣本和參考圖像中的相應像素(由當前CU或子CU的運動資訊識別)的來導出參數a和b。導出LIC參數並分別應用於每個預測方向。
當以2Nx2N合併模式對CU進行編碼時，以類似於合併模式中的運動資訊複製的方式從相鄰塊複製LIC標誌；否則，向CU發信LIC標誌以指示LIC是否適用。在一些實施例中，當針對圖像啟用LIC時，執行額外CU級別速率-失真(rate-distortion，簡寫為RD)檢查以確定是否針對CU應用LIC。
當針對CU啟用LIC時，均值移除的絕對差之和(mean-removed sum ofabsolute difference，簡寫為MR-SAD)和均值移除的絕對Hadamard變換差之和(mean-removed sum of absolute Hadamard-transformed difference，簡寫為MR-SATD)可用分別於整數像素(integer pel)運動搜索和非整數像素(fractional pel)運動搜索。在一些實施例中，SAD和SATD分別用於整數像素運動搜索和非整數像素運動搜索。
在一些實施例中，當在當前圖像與其參考圖像之間沒有明顯的照度變化時，對於整個圖像禁用LIC。可以在編碼器處計算當前圖像的直方圖和當前圖像的每個參考圖像以識別這種情況。如果當前圖像與當前圖像的每個參考圖像之間的直方圖差異小於給定閾值，則對當前圖像禁用LIC；否則，對當前圖像啟用LIC。
III.位置約束
在一些實施例中，當前塊可以是包含多個子塊的較大塊的子塊。當前塊也可以是包含多個CU的較大CTU中的CU。當前塊還可以是包括多個視訊處理和分配單元(Video Processing and Distribution Unit，簡寫為VPDU)的大CU內的VPDU。
在一些實施例中，視訊編解碼器可使用位置約束來確定是否啟用或禁用當前塊的照度補償模式(例如，LIC，NPO)。即，如果較大塊內的當前塊 的位置滿足約束，則開啟照度補償模式，否則關閉。在一些實施例中，當當前CU處於當前CTU內的最上側位置時，開啟照度補償模式。在一些實施例中，當當前塊處於當前CTU內的最左側位置時，開啟照度補償模式。在一些實施例中，當當前塊位於CTU最左側位置和/或最上側位置時，開啟照度補償模式。在一些實施例中，當當前塊不滿足位置約束時，隱式地關閉照度補償模式，並且視訊編碼器不發信開啟/關閉用於照度補償模式的語法。
與位置約束相結合，從中獲取相鄰樣本的L形模板可以丟棄垂直部分或水平部分。例如，如果當前CU是當前CTU的最左側CU但不是當前CTU的最頂部CU(例如，CU的起始X坐標等於當前CTU坐標的起始X坐標但是當前CU的起始Y坐標不等於當前CTU坐標的起始Y坐標)，從中獲取相鄰樣本的L形區域可以僅包括垂直部分而不包括水平部分。相反，如果當前CU是當前CTU的最頂部CU而不是當前CTU的最左側CU，則從其獲取相鄰樣本的L形區域可以僅包括水平部分而不包括垂直部分。在一些實施例中，來自當前CTU上方的CTU行的重建採樣在CTU行緩衝器中可用於當前流水線級。因此，使用CTU的頂部或左側相鄰像素作為相鄰樣本來計算當前CU的線性模型可以減少延遲時間。
第3a圖示出了當前塊的照度補償模式，該當前塊是較大塊的最頂部子塊。具體地，該圖示出了在CTU 300中的CU 310。CU 310是CTU 300的最頂部CU。然而，CU 310不是CTU 300的最左側CU。
由於CU 310的頂部邊緣接觸CTU 300的頂部邊緣，因此針對CU 310開啟照度補償模式。然而，用於計算用於照度補償模式的線性模型的相鄰樣本僅包括L形的水平部分，示為區域320。區域320不包括與CTU 300或CU 310的左邊緣相鄰的像素。CU 310具有由MV 315標識的對應參考塊311。在計算CU 310的線性模型時，僅使用區域321中的相鄰樣本到參考塊311的頂部。不 使用參考塊311左側的採樣。
第3b圖示出了當前塊的照度補償模式，該當前塊是較大塊的最左側子塊。具體地，該圖示出了CTU 300中的CU 330。CU 330是CTU 300的最左側CU。然而，CU 330不是CTU 300的最頂部CU。
由於CU 330的左邊緣接觸CTU 300的左邊緣，因此針對CU330開啟照度補償模式。然而，用於計算用於照度補償模式的線性模型的相鄰樣本僅包括L形的垂直部分，示為區域340。區域340不包括與CTU 300或CU 330的頂部邊緣相鄰的像素。CU 330具有由MV 335標識的對應參考塊331。在計算CU 330的線性模型時，僅使用參考塊331左側的區域341中的相鄰樣本。不使用參考塊331上方的採樣。
在一些實施例中，對於當前塊的照度補償模式，從其獲取相鄰樣本的L形模板可以在包括當前塊的較大塊之外。相鄰樣本可以是與CU垂直或水平對齊的CTU的相鄰像素。
第4圖示出了從當前CTU外部獲取的當前CU的相鄰樣本。在該示例中，對CTU 400內的當前CU 410執行照度補償模式。用於照度補償模式的當前CU 410的相鄰樣本取自“修改的”L形區域420，其包括水平部分421和垂直部分422。L形的水平部分421恰好位於當前CTU 400的外部，其水平位置與CU 410對齊。L形的垂直部分422也恰好位於當前CTU 400之外，其垂直位置與CU 410對齊。L形的水平部分421也可以位於遠離當前CTU的位置，但其水平位置與CU 410對齊。L形的垂直部分422也可以位於遠離當前CTU的位置，其垂直位置與CU 410對齊。
通過參考參考塊430的MV 415來幀間預測CU 410。參考塊430的相鄰樣本取自L形區域440，其包括水平部分441和垂直部分442。L形區域440具有與L形區域420對應的相同相對位置(即，區域441和442相對於參考 塊430具有與來自如區域421和422相對於CU 410相同的相對位置)。
在一些實施例中，照度補償模式使用CTU的L形相鄰區域中的像素來提供CTU內的任何CU的相鄰樣本。第5圖示出了CTU 500，其相鄰L形區域520在照度補償模式期間為CTU 500中的CU 510提供相鄰樣本。如圖所示，當前CTU 500的相鄰L形區域520用於導出(基於子採樣或類似於幀內模式平面模式的平面模式)當前CU 510的估計的相鄰L形區域。與當前CU 510相關聯的515參考參考塊530，並且來自參考塊530的相鄰L形區域540的相鄰樣本用於導出當前CU 510的照度補償模式參數(線性模型的縮放因子和偏移)。
在一些實施例中，當前塊是包括其他子塊的較大塊的子塊，並且為當前塊計算的照度補償模式參數適用於較大塊的其他子塊。例如，在一些實施例中，內部CU(CU不接觸CTU行頂部邊界)可以使用頂部CU(CU接觸CTU行頂部邊界)的照度補償模式參數(線性模型的縮放因子和偏移)。在一些實施例中，頂部CU的照度補償線性模型通過合併模式由CTU中的其他CU繼承。在一些實施例中，在合併模式中，可以繼承照度補償模式開/關標誌以及照度補償模式參數。此外，頂部CU可以被配置為不繼承照度補償模式參數，而是從CTU行的頂部相鄰像素導出照度補償模式參數。因此，頂部CU可以使用CTU行的頂部相鄰像素來導出精確的照度補償模式參數，並且內部CU可以通過合併模式重用頂部CU的照度補償模式參數。
第6圖示出了CU的照度補償模式參數由CTU內的其他CU繼承或共享。該圖示出了包括四個CU 611-614的CTU 600。CU 611位於CTU 600的左上角。換句話說，緊鄰CTU 600的頂部和左側的相鄰像素也緊鄰CU 611的頂部和左側。
為了計算CU 611的照度補償模式參數(或線性模型)，L形區域621中的像素用作相鄰樣本。L形區域621包括緊鄰CTU 600和CU 610的頂部和 左側的相鄰像素。CU 610與MV 615相關聯，MV 615參考參考塊631。參考塊631上方和左側的L形區域641中的像素用作參考塊631的相鄰樣本。L形區域641中的相鄰樣本和L形區域621中的相鄰樣本用於確定CU 611的照度補償模式參數(或線性模型)650。
線性模型650用於對CU 611執行照度補償。它還用於對CU 612、613、614執行照度補償，即使它們不與L形區域621相鄰。
在一些實施例中，CU 612、613和614可以通過合併模式從CU 611繼承線性模型650，例如，通過選擇對應於CU 611的合併候選。在一些實施例中，歷史緩衝區用於存儲先前編解碼的CU的照度補償參數。可以從歷史緩衝器(例如，170)擷取先前編解碼的CU的照度補償參數，並用於修改當前塊的像素。
計算上文針對CTU內的CU的照度補償模式參數的方法可用於計算較大塊內的子塊以及較大CU內的VPDU或PU的照度補償模式參數。舉例來說，如果CU具有多個PU且每一PU具有特定大小，那麼僅CU的第一PU(例如，CU的左上角處的PU)使用其相鄰重建採樣來導出照度補償模式參數。CU中的其他PU可以固有來自第一PU的模型參數。
在一些實施例中，如果當前塊大小大於或等於特定閾值，則將當前塊劃分為多個子塊，並且獨立地為每個子塊執行照度補償模式。對於當前子塊，如果視訊編解碼器不能同時獲得L形模板的預測像素和殘差像素，則視訊編解碼器可僅使用L形模板的預測像素用於照度補償模式。
IV.基於預測設置的照度補償
在一些實施例中，位元流中的顯式標誌可用於發信號通知當前塊是啟用還是禁用照度補償模式。還可以基於CTU中的當前CU的位置來啟用或禁用照度補償模式。還可以基於當前塊的大小來啟用或禁用照度補償模式。例 如，在一些實施例中，大於或等於特定閾值的當前CU或PU具有隱含地關閉的照度補償模式。
在一些實施例中，與編碼或解碼當前塊有關的其他工具或操作的配置設置(諸如與幀間預測或幀內預測相關的那些)用於確定對當前塊是啟用還是禁用照度補償。例如，用於當前塊的其他幀間預測工具的設置，諸如通用雙預測(GBi)、雙向光流(BIO)、子PU時間運動向量預測(SPTMVP或ATMVP)、仿射模式、雙邊模板MV微調(DMVR)、多假設內合併模式、多假設合併模式、多假設合併+AMVP模式可用於隱式地打開或關閉照度補償。示例包括：BIO開啟時推斷照度補償模式已關閉；GBi開啟，推斷照度補償模式關閉；BIO和GBI開啟，推斷照度補償模式已關閉；DMVR開啟，推斷照度補償模式關閉；多假設(幀內合並(Intra-Merge))，推斷照度補償模式已關閉。其他工具的配置設置也可用于推斷照度補償模式的設置。上面列出的配置設置的一些組合也可用于推斷照度補償模式的設置。
在一些實施例中，當開啟照度補償模式時，關閉與編碼或解碼當前塊有關的其他工具或操作。例子包括：
當照度補償模式開啟時，BIO關閉；當照度補償模式開啟時，GBi關閉；當照度補償模式開啟時，BIO和GBI關閉；當照度補償模式開啟時，DMVR關閉；當開啟照度補償模式時，關閉多假設內合併模式和DMVR。照度補償模式的設置還可以用於開啟或關閉上述工具或操作的一些組合。關閉其他工具或操作可以是隱式的(不使用位元流語法元素)或顯式的(使用位元流語法元素)。
例如，如果開啟照度補償模式(通過語法或通過合併模式繼承)，則可以隱式地關閉GBi。在一些實施例中，如果開啟照度補償模式，則可以將GBI索引語法重新用於AMVP。例如，如果開啟照度補償模式(通過語法或通過合併模式繼承)，則可以保存多假設內合併的語法元素並推斷為0(關閉)。
A.雙向光流(BIO)
雙向光流(Bi-directional Optical Flow，簡寫為BIO)利用光流和穩定運動的假設來實現採樣級運動微調。它僅適用於真正的雙向預測塊，它是從兩個參考幀預測的，一個是前一幀，另一個是後一幀。BIO可以利用一個5x5窗口來導出一個採樣的運動微調，因此對於一個NxN塊，需要運動補償結果和一個(N+4)x(N+4)塊的相應梯度資訊來導出當前塊的基於採樣的運動微調。一個6抽頭(tap)梯度濾波器和一個6抽頭插值濾波器用於在BIO中生成梯度資訊。
B.廣義雙預測(GBi)
廣義雙向預測(Generalized bi-prediction，簡寫為GBi)是加權雙預測技術，其允許分別使用來自L0和L1的預測子的不同權重，而不是使用相等權重。它使用塊級自適應權重計算塊的預測信號作為兩個運動補償預測塊的加權平均，其中權重值不限於0.5。視訊編解碼器可通過使用索引從一組候選權重中選擇候選權重來指示GBi的權重值。
C.時間運動向量預測(SPTMVP或ATMVP)
為了提高編解碼效率，在合併模式中應用子PU時間運動向量預測(Sub-PU TMVP)模式。對於Sub-PU TMVP候選，將當前PU劃分為多個子PU，並且為每個子PU識別對應的時間並置運動向量(temporal collocated motion vector)。大小為MxN的當前PU具有(M/P)×(N/Q)個子PU，每個子PU的大小為PxQ，其中M可被P整除，並且N可被Q整除。用於導出Sub-PU TMVP的算法描述如下。
步驟1：對於當前PU，Sub-PU TMVP模式找到“初始運動向量”，其將其表示為vec_init。根據定義，vec_init是第一個可用空間相鄰塊的第一個可用列表。例如，如果第一可用空間相鄰塊具有L0和L1 MV，並且LX是用 於搜索並置資訊的第一列表，則如果LX=L0則vec_init使用L0 MV，如果LX=L1則使用L1。LX(L0或L1)的值取決於哪個列表(L0或L1)對於並置資訊更好，如果L0對於並置資訊更好(例如，POC距離比L1更近)，則LX=L0，反之亦然。LX分配可以是切片級別或圖像級別。
並置圖像搜索過程用於在Sub-PU TMVP模式中找到所有子PU的主要並置圖像。主要並置圖像表示為main_colpic。並置圖像搜索處理搜索由第一可用空間相鄰塊選擇的參考圖像，然後搜索當前圖像的所有參考圖像。對於B切片，搜索過程開始於L0(或L1)、參考索引0，然后索引1，然后索引2，依此類推。如果搜索過程完成搜索L0(或L1)，則它隨後搜索另一個列表。對於P切片，搜索過程搜索由第一可用空間相鄰塊選擇的參考圖像，然後從參考索引0開始搜索列表的當前圖像的所有參考圖像，然后索引1，然后索引2，依此類推。
對於每個搜索到的圖像，並置(collocated)圖像搜索過程執行運動資訊的可用性檢查。當執行可用性檢查時，將vec_init的縮放版本(表示為vec_init_scaled)添加到當前PU的圍繞中心(around-center)位置。然後使用添加的位置來檢查搜索到的圖像的預測類型(幀內/幀間)。圍繞中心位置可以是(i)中心像素(PU大小M * N，中心=位置(M/2，N/2))，(ii)中心子PU的中心像素，或者(iii)a(i)和(ii)的組合取決於當前PU的形狀，或(iv)某些其他位置。如果預測類型是幀間類型，則運動資訊可用(可用性為真)。如果預測類型是幀內類型，則運動資訊不可用(可用性為假)。當搜索過程完成可用性檢查時，如果運動資訊可用，則將當前搜索到的圖像記錄為主並置圖像。如果運動資訊不可用，則搜索過程繼續搜索下一個圖像。
當vec_init的參考圖像不是當前參考圖像時，並置圖像搜索過程執行MV縮放以創建vec_init的縮放版本(即，vec_init_scaled)。基於當前圖像、 vec_init的參考圖像和搜索的參考圖像之間的時間距離來創建vec_init的縮放版本。
步驟2：對於每個子PU，Sub-PU TMVP模式進一步找到子PU的初始運動向量，表示為vec_init_sub_i(i=0~((M/P)x(N/Q)-1))。根據定義，vec_init_sub_i=vec_init_scaled。
步驟3：對於每個子PU，Sub-PU TMVP模式找到用於參考列表0的並置圖像和用於參考列表1的並置圖像。根據定義，僅存在一個用於當前PU的所有子PU的參考列表0和參考列表1的並置圖像(即，main_colpic)。
步驟4：對於每個子PU，Sub-PU TMVP模式根據以下內容找到並置圖像中的並置位置：並置位置x=sub-PU_i_x+integer(vec_init_sub_i_x)+shift_x並置位置y=sub-PU_i_y+integer(vec_init_sub_i_y)+shift_y
術語sub-PU_i是當前子PU。術語sub-PU_i_x是當前圖像內的子PU_i的水平左上位置(整數位置)；sub-PU_i_y是當前圖像內的子PU_i的垂直左上位置(整數位置)；vec_init_sub_i_x是vec_init_sub_i的水平部分(僅限整數部分)；vec_init_sub_i_y是vec_init_sub_i的垂直部分(僅限整數部分)；shift_x是一個移位值，可以是子PU寬度的一半；shift_y是一個移位值，可以是子PU高度的一半。
步驟5：對於每個子PU，Sub-PU TMVP模式找到運動資訊時間預測子，其被表示為SubPU_MI_i。SubPU_MI_i是來自步驟4中計算的並置位置上的collocated_picture_i_L0和collocated_picture_i_L1的運動資訊(MI)。並置MV的MI被定義為{MV_x，MV_y，參考列表，參考索引，其他合併模式敏感資訊}的集合。合併模式敏感資訊可以是諸如包括局部照度補償標誌的資訊。可以根據並置MV的並置圖片、當前圖片和參考圖片之間的時間距離來縮放 MV_x和MV_y。
如上所述，在一些實施例中，將多個Sub-PU TMVP候選添加到合併候選列表。使用不同的算法來導出不同的Sub-PU TMVP候選。在一些實施例中，假設在候選列表中總共存在M_C個候選，則N_SSub-PU TMVP候選被添加到候選列表中，M_C>N_S。用於導出每個Sub-PU TMVP候選i(i=1,2，...，N_S)的算法表示為algo_i。對於不同的Sub-PU TMVP候選(例如，Sub-PU TMVP候選i和Sub-PU TMVP候選j，i和j是不同的)，algo_i可以與algo_j不同。
D.PMVD和DMVR
基於模式的運動向量導出(PMVD)是從參考幀的現有運動向量(MV)導出時間運動向量預測子(MVP)的方法。類似於以跳過和合併模式編解碼的塊，由PMVD編解碼的塊不需要將運動資訊從視訊編碼器發送到視訊解碼器。相反，解碼器在可用參考幀中搜索可用於重建塊的合適運動向量。PMVD是幀速率上轉換(frame rate up-conversion，簡寫為FRUC)的一種形式，其允許在解碼器處導出塊的運動資訊而無需來自編碼器的信令(signaling)。
解碼器可通過檢查一組候選運動向量以選擇初始運動向量來執行PMVD，然後通過搜索由初始運動向量指向的區域周圍來執行解碼器側運動向量微調(DMVR)以用於具有最小的匹配成本或失真成本的參考像素設置。搜索的結果是微調的運動向量，其隨後用於解碼塊。解碼器可以通過針對塊的每個子塊進一步微調運動向量來執行第二級DMVR。
DMVR是用於視訊編解碼(編碼/解碼)以微調當前像素塊的運動向量而不傳輸附加資訊(例如，語法元素)的技術。但是，DMVR可以增加計算工作量並增加處理時間。在一些實施例中，為了確保通過增加處理時間來證明DMVR的視訊質量改善是合理的，基於當前塊的某些屬性或特性來跳過或部分 地執行DMVR。
在一些實施例中，PMVD和DMVR用於導出和微調用於當前塊的雙向幀間預測(或雙向預測)的兩個運動向量。當前幀中的當前塊由指向第一參考幀中的第一參考像素集的第一運動向量和指向第二參考幀中的第二參考像素集的第二運動向量編碼。通過第一參考像素組和第二參考像素組的組合來預測當前塊。PMVD和DMVR技術用於識別和微調第一和第二運動向量，使得使用第一和第二參考像素組的組合來重建當前塊的失真成本是最小的。
E.多假設合併模式
多假設模式平均多個合併候選或多個AMVP候選或多個幀間候選及多個幀內候選以形成最終預測子。在一些重要的實施例中，多假設模式使用一個合併候選或一個AMVP候選或一個幀間候選及一個幀內候選來進行平均並形成最終預測子。在一些實施例中，多假設(幀內合併)是一個合併候選及一個幀內模式；多假設(合併)是一個合併候選及一個合併候選；多假設(合併+AMVP)是一個合併候選及一個AMVP候選。
V.大型CTU的方法和語法設計
更大解析度視訊壓縮的應用變得更加重要。在下一代視訊編解碼中，CTU大小和最大TU大小分別大於64x64和32x32，例如，CTU大小可以是128x128或256x256，並且對於亮度分量，最大TU大小可以是64x64或128x128，對於色度分量，最大TU大小可以為32x32或64x64。然而，如果我們想要重用HEVC解碼器結構，例如，32x32或64x64解碼器流水線，應修改一些語法設計或編碼/解碼算法，以支持更大的CTU和更大的TU。
對於大CTU設計，如果CTU大小大於最大TU大小，則存在兩種分區方法。一種是將CTU隱式地分割為大小等於最大TU大小或預定義/導出大小的CU，然後顯式地信令CU分割語法。另一個是即使在CU大小大於最大 TU大小時也顯式地信令CU分割語法。如果葉CU大小大於TU大小，則推斷當前CU被分成多於一個TU，其大小等於最大TU大小或預定義/導出大小。
在亮度/色度分離編解碼中，首先編解碼亮度CTU，然後對色度CTU進行編解碼。如果亮度CTU大小為128x128或256x256且色度CTU大小為64x64或128x128，則傳統的64x64流水線解碼器架構(在每個流水線級或每個流水線緩衝器中可能具有64x64亮度紋理/殘差緩衝器和/或32x32色度紋理殘留緩衝器)不合適。例如，128x128亮度CU可以隱式地劃分為四個64x64 CU，並且64x64色度CU也可以隱式地劃分為四個32x32 CU。然而，在位元流中，順序地信令四個亮度CU。在解碼器中，它不能一起接收64x64亮度紋理/殘差和32x32色度紋理/殘差。因此，傳統的64×64流水線解碼器架構不適合或需要針對具有大CTU的亮度/色度分離編解碼進行修改。
為了重用傳統的64×64(或更小)流水線解碼器架構，在一些實施例中，亮度/色度分量相關語法(例如，殘差、量化級別、預測模式、編解碼參數)以交織的方式在MxN塊中重新排序。MxN塊可以是預定義或導出的塊大小，或等於最大TU大小，或者是與最大/最小TU大小相關的大小。在一個實施例中，如果亮度CTU大小是128x128並且色度CTU大小是64x64，並且亮度的最大TU大小是64x64並且色度是32x32，並且CTU被推斷為分成四個CU，則四個64x64亮度CU和四個32x32色度CU被交錯發信(interleaved signaled)。例如，64x64亮度CU之後是32x32色度CU，並且之後編碼三對{64x64亮度CU，32x32色度CU}。64x64亮度CU和32x32色度可以進一步分成子CU。在一些實施例中，仍然應用亮度/色度分離編解碼的概念。64x64亮度CU和32x32色度CU可以具有不同的編解碼樹。
在一些實施例中，如果亮度CTU大小是128x128並且色度CTU大小是64x64，並且亮度的最大TU大小是64x64並且對於色度32x32，則即使當 CU大小大於最大TU大小時，也明確地信令CU分割(例如128x128亮度CU和64x64色度CU中的信號分割標誌)。如果將128x128亮度CU分成四個64x64 CU，則在編解碼第一個64x64 CU(64x64亮度CU可以進一步分成子CU)之後，它首先對色度分量進行編碼/解碼。如果64x64色度CU也被分成四個32x32 CU(32x32色度CU可以進一步分成子CU)，則對第一個32x32色度CU進行編碼/解碼。在對第一32x32色度CU進行編碼/解碼之後，對第二64x64亮度CU進行編碼/解碼，並且對第二32x32色度CU進行編碼/解碼，依此類推。如果128x128亮度CU被分成四個64x64 CU但64x64色度未被分成子CU(色度TU被推斷為四個32x32 TU)，則它對第一個64x64亮度CU進行編碼/解碼，然後編碼/解碼64x64色度CU和32x32色度TU的模式資訊。在對第一個32x32色度TU進行編碼/解碼之後，對第二個64x64亮度CU進行編碼/解碼，並對第二個32x32色度TU進行編碼/解碼，依此類推。當128x128亮度CU未分割但64x64色度CU被分割時，可以應用類似的概念。它首先對128x128亮度CU和第一個64x64亮度TU的模式資訊進行編碼/解碼，然後對64x64色度CU和第一個32x32色度CU的分割語法進行編碼/解碼。在對第一個32x32色度CU進行編碼/解碼之後，對第二個64x64亮度TU進行編碼/解碼，並對第二個32x32色度CU進行編碼/解碼，依此類推。在另一實例中，如果未分割128x128亮度CU和64x64色度CU，則首先對128x128亮度CU的分割語法和模式資訊進行編碼/解碼，然後對第一64x64亮度TU進行編碼/解碼。然後，它對64x64色度CU和第一個32x32色度CU的分割語法和模式資訊進行編碼/解碼。在對第一個32x32色度TU進行編碼/解碼之後，對第二個64x64亮度TU進行編碼/解碼，對第二個32x32色度TU進行編碼/解碼，依此類推。
在一些實施例中，可首先對大小大於最大TU大小或預定義/導出大小的亮度CU和色度CU的分割語法進行編碼/解碼。舉例來說，可首先編碼/ 解碼128x128亮度CU的第一CU分割語法和64x64色度CU的第一CU分割語法。然後，根據CU被分割或不分割，模式資訊和/或CU/TU語法以交織的方式被編碼/解碼。交織單元可以等於最大TU大小或預定義/導出大小。
除了語法重新排序之外，對於若干特定編解碼工具，一些實施例提供了一種方法來解決針對PU_thd大小流水線的硬體編解碼器實現的某個工具處理太大CU的問題。定義PU大小閾值PU_thd。該方法可以應用於亮度/色度分離編解碼或亮度/色度編解碼樹共享。PU_thd可以等於預定義/導出的大小，等於最大TU大小，或者與最大/最小TU大小相關的大小。
A.DMVR
定義PU大小閾值PU_thd。存在若干實施例來解決針對PU_thd大小流水線的編解碼器處理用於DMVR的過大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，隱式地關閉DMVR模式。在一些實施例中，對於算法級別，當進行DMVR時，其將當前PU子採樣為PU_thd的大小。在子採樣之後，PU_thd大小流水線的編解碼器可以進行用於子採樣PU的DMVR。可以針對大小為PU_thd的每個子PU共享通過子採樣的DMVR的MV微調結果，以用於運動補償處理。在一些實施例中，對於DMVR，如果當前PU大於或等於PU_thd，則可以將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU大小)。然後，可以獨立地為每個子PU執行DMVR。
B.LIC/NPO
有若干實施例解決了針對PU_thd大小流水線的編解碼器處理用於LIC/NPO的太大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，隱含地關閉LIC/NPO模式。在一些實施例中，對於算法級別，當進行LIC/NPO時，其將當前PU的L形模板和參考PU的L形模板子採樣為 PU_thd的大小。在子採樣之後，可以通過子採樣L形來計算LIC/NPO的加權因子和偏移因子。然後，對於LIC/NPO加權(或偏移處理)運動補償處理，可以為大小為PU_thd的(當前PU的)每個子PU共享LIC/NPO的加權因子和偏移因子。在一些實施例中，對於LIC/NPO，如果當前PU大於或等於PU_thd，則可以將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU大小)。然後，可以獨立地為每個子PU執行LIC/NPO。對於當前子PU，如果當前子PU的L形模板的頂部或左部或兩者都不能獲得“預測+殘差”像素，則可以將“預測”像素用於LIC/NPO算法。
C.FRUC/PMVD(L形模板模式)
有若干實施例來解決針對PU_thd大小流水線的編解碼器處理用於FRUC(L形模板模式)的太大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，隱含地關閉FRUC(L形模板模式)模式。在一些實施例中，對於算法級別，當執行FRUC(L形模板模式)時，其將當前PU的L形模板和參考PU的L形模板子採樣為PU_thd的大小。在子採樣之後，可以通過PU_thd的硬體緩衝器大小來處理MV微調。然後，可以針對大小為PU_thd的(當前PU的)每個子PU共享微調的MV，以用於稍後的運動補償處理。在一些實施例中，對於FRUC(L形模板模式)，如果當前PU大於或等於PU_thd，則可以將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU大小)。然後，可以獨立地為每個子PU執行FRUC(L形模板模式)。對於當前子PU，如果當前子PU的L形模板的頂部或左部或兩者都不能獲得“預測+殘差”像素，則可以使用FRUC(L形模板模式)算法的“預測”像素。
D.FRUC(雙向微調模式)
有幾個實施例解決了針對PU_thd大小流水線的編解碼器處理用於 FRUC(雙向微調模式)的太大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，隱含地關閉FRUC(雙向微調模式)模式。在一些實施例中，對於算法級別，當進行FRUC(雙向微調模式)時，其將當前PU子採樣為PU_thd的大小。在子採樣之後，PU_thd大小流水線的編解碼器可以針對初始PU級別MV微調進行用於子採樣PU的FRUC(雙向微調模式)。通過子採樣FRUC(雙向微調模式)的MV微調結果可以針對大小為PU_thd的每個子PU共享，用於階段2微調(4x4微調或KxK微調，其中K=4或8或其他值)和運動補償處理。對於一些實施例，對於FRUC(雙向微調模式)，如果當前PU大於或等於PU_thd，則可以將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU大小)。然後，可以獨立地為每個子PU執行FRUC(雙向微調模式)。
E.ATMVP
有幾個實施例解決了針對PU_thd大小流水線的編解碼器處理用於FRUC的太大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，隱含地關閉ATMVP模式。在一些實施例中，對於算法級別，當進行ATMVP時將當前PU子採樣為PU_thd的大小。在子採樣之後，PU_thd大小流水線的編解碼器可以進行用於子採樣PU的ATMVP。在一些實施例中，對於ATMVP，如果當前PU大於或等於PU_thd，則可以將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU大小)。然後，可以獨立地為每個子PU執行ATMVP。
F. STMVP
存在若干實施例來解決針對PU_thd大小流水線的編解碼器處理用於STMVP的過大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，隱含地關閉STMVP模式。在一些實施例中，對於STMVP， 如果當前PU大於或等於PU_thd，則可以將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU大小)。然後，可以獨立地為每個子PU執行STMVP。
G.解碼器側MV/預測子導出
存在若干實施例解決了針對PU_thd大小流水線的編解碼器的解碼器側MV/預測子微調/導出工具(例如，PMVD、BIO、解碼器側MV導出/微調、解碼器側幀內模式導出)處理太大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，隱含地關閉解碼器側MV/預測子微調/導出工具。
對於解碼器側MV/預測子微調/導出工具，如果當前PU大於或等於PU_thd，則可將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU大小)。然後，可以獨立地為每個子PU執行解碼器側MV/預測子微調/導出工具。在一些實施例中，對於算法級別，當進行解碼器側MV/預測子微調/導出工具時，對當前PU的相鄰像素進行子採樣，將參考採樣和/或當前模板採樣為PU_thd的大小。
H.LM模式
存在若干實施例解決了針對PU_thd大小流水線的編解碼器處理用於LM幀內模式的太大CU的問題。在一些實施例中，對於如果當前PU大於或等於PU_thd的情況，則隱式地關閉LM模式。在一些實施例中，對於LM模式，如果當前PU大於或等於PU_thd，則可以將當前PU劃分為M個子PU，每個大小為PU_thd(使得M * PU_thd=當前PU尺寸)。然後，可以獨立地為每個子PU執行LM模式。每個子PU將從其對應的亮度塊導出所需資訊。
I.LM緩衝器管理
如果色度模式使用LM模式，且色度CU大小大於最大TU大小或流水線緩衝器大小，則可以在解碼相應的亮度採樣時生成LM預測子。例如，如 果64x64色度使用LM模式，則當它解碼第一個對應的64x64亮度CU/TU時，可以生成第一個32x32 LM預測子並將其存儲在流水線緩衝器或預測子緩衝器中。在解碼所有64x64亮度CU/TU之後，生成64x64色度LM預測子且其可以用於採樣重建。
VI.示例的視訊編碼器
第7圖說明與本發明的一些實施例一致的實施照度補償模式的實例視訊編碼器700。如圖所示，視訊編碼器700從視訊源705接收輸入視訊信號並將信號編碼到位元流795中。視訊編碼器700具有用於編碼來自視訊源705的信號的若干組件或模塊，包括變換模塊710、量化模塊711、逆量化模塊714、逆變換模塊715、圖像內估計模塊720、幀內預測模塊725、運動補償模塊730、運動估計模塊735、環路濾波器745、重建圖像緩衝器750、MV緩衝器765和MV預測模塊775，以及熵編碼器790。運動補償模塊730和運動估計模塊735是幀間預測模塊740的一部分。
在一些實施例中，模塊710-790是由計算設備或電子裝置的一個或多個處理單元(例如，處理器)執行的軟體指令的模塊。在一些實施例中，模塊710-790是由電子裝置的一個或多個集體電路(IC)實現的硬體電路的模塊。儘管模塊710-790被示為單獨的模塊，但是一些模塊可以組合成單個模塊。
視訊源705提供原始視訊信號，其呈現每個視訊幀的像素資料而無需壓縮。減法器708計算來自的視訊源705的原始視訊像素資料與來自運動補償模塊730或幀內預測模塊725的預測像素資料713之間的差異。變換模塊710將差值(或殘差像素資料或殘差信號709)轉換為變換係數716(例如，通過執行離散餘弦變換/DCT)。量化模塊711將變換係數716量化為量化資料(或量化係數)712，其由熵編碼器790編碼到位元流795中。
逆量化模塊714對量化資料(或量化係數)712進行去量化以獲得變 換係數，並且逆變換模塊715對變換係數執行逆變換以產生重建殘差719。重建殘差719與預測像素資料713相加來產生重建像素資料717。在一些實施例中，重建像素資料717臨時存儲在行緩衝器(line)(未示出)中，用於圖像內預測和空間MV預測。重建的像素由環路濾波器745濾波並存儲在重建的圖像緩衝器750中。在一些實施例中，重建的圖像緩衝器750是視訊編碼器700外部的記憶體。在一些實施例中，重建的圖像緩衝器750是視訊編碼器700內部的記憶體。
圖像內估計模塊720基於重建的像素資料717執行幀內預測以產生幀內預測資料。幀內預測資料被提供給熵編碼器790以被編碼成位元流795。幀內預測模塊725還使用幀內預測資料來產生預測像素資料713。
運動估計模塊735通過產生MV來執行幀間預測，以參考存儲在重建圖像緩衝器750中的先前解碼的幀的像素資料。這些MV被提供給運動補償模塊730以產生預測的像素資料。
代替對位元流中的完整實際MV進行編碼，視訊編碼器700使用MV預測來生成預測的MV，並且用於運動補償的MV與預測的MV之間的差被編碼為殘差運動資料並存儲在位元流795中。
MV預測模塊775基於為先前視訊幀編碼而生成的參考MV(即，用於執行運動補償的運動補償MV)來生成預測的MV。MV預測模塊775從MV緩衝器765擷取來自先前視訊幀的參考MV。視訊編碼器700將針對當前視訊幀生成的MV存儲在MV緩衝器765中作為用於生成預測MV的參考MV。
MV預測模塊775使用參考MV來創建預測的MV。可以通過空間MV預測或時間MV預測來計算預測的MV。預測的MV與當前幀的運動補償MV(MC MV)之間的差異(殘差運動資料)由熵編碼器790編碼到位元流795中。
熵編碼器790通過使用諸如上下文自適應二進位算術編解碼(CABAC)或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流795中。熵編碼器790將各種標頭(header)元素、標誌以及量化的變換係數712和殘差運動資料作為語法元素編碼到位元流795中。位元流795又存儲在存儲設備中或通過通信媒體，如網路傳輸到解碼器。
環路濾波器745對重建的像素資料717執行濾波或平滑操作以減少編解碼的偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括採樣自適應偏移(SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(ALF)。
第8圖示出了與本公開的一些實施例一致的實現照度補償模式的視訊編碼器700的部分。如圖所示，照度補償模塊800接收當前塊的重建像素資料717，其是預測像素資料713和重建殘差719之和。重建像素資料717是可能未執行照度補償的運動補償像素。基於運動補償像素，照度補償模塊800生成經過修改的像素資料810以進一步處理並存儲在重建圖像緩衝器750和行緩衝器850中。重建圖像緩衝器750存儲當前幀的重建塊以及參考幀。行緩衝器850存儲恰好在當前CTU行之上的最後解碼的CTU或CU行。
照度補償模塊800應用線性模型(或一組照度補償參數)來修改當前塊的重建像素資料717。在一些實施例中，應用線性模型來微調預測的像素資料713。照度補償模塊800可以基於存儲在重建的圖像緩衝器750和/或行緩衝器850中的像素資料來生成線性模型。例如，可以從重建圖像緩衝器750和/或行緩衝器850的內容導出當前塊的相鄰樣本而可以基於重建圖像緩衝器750的內容導出參考塊的相鄰樣本。可以由幀間預測模塊740提供與當前塊相關聯的運動向量830，以從重建的圖像緩衝器750定位參考塊及其相鄰樣本的像素。照度補償模塊800還可以從歷史緩衝器820中擷取綫性模型。，其存儲最近編 解碼的塊的綫性模型(或照度補償參數)。
雖然未示出，但是照度補償模塊800可以接收適用於當前塊的操作的配置設置(例如，GBi、BIO、DMVR和其他預測工具)，以及當前塊本身的配置設置(例如，它的大小)。在一些實施例中，這些配置設置由運動估計模塊735或速率-失真過程提供。
VII.示例視訊解碼器
第9圖說明與本發明的一些實施例一致的實施照度補償模式的實例視訊解碼器900。如圖所示，視訊解碼器900是圖像解碼或視訊解碼電路，其接收位元流995並將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器900具有用於解碼位元流995的若干組件或模塊，包括逆量化模塊905、逆變換模塊910、幀內預測模塊925、運動補償模塊930、環路濾波器945、已解碼圖像緩衝器950、MV緩衝器965、MV預測模塊975和解析器990。運動補償模塊930是幀間預測模塊940的一部分。
在一些實施例中，模塊910-990是由計算設備的一個或多個處理單元(例如，處理器)執行的軟體指令的模塊。在一些實施例中，模塊910-990是由電子裝置的一個或多個IC實現的硬體電路的模塊。儘管模塊910-990被示為單獨的模塊，但是一些模塊可以組合成單個模塊。
解析器990(或熵解碼器)接收位元流995並根據由視訊編解碼或圖像編碼標准定義的語法執行初始解析。經解析的語法元素包括各種標頭元素、標誌以及量化資料(或量化係數)912。解析器990通過使用諸如上下文自適應二進位算術編解碼(CABAC)或霍夫曼編碼之類的熵編解碼技術來解析各種語法元素。
逆量化模塊905對量化資料(或量化係數)912進行去量化以獲得變換係數，並且逆變換模塊910對變換係數916執行逆變換以產生重建殘差信號 919。在重建殘差信號919中添加來自幀內預測模塊925或運動補償模塊930的預測像素資料913，以產生解碼像素資料917。解碼的像素資料由環路濾波器945濾波並存儲在解碼圖像緩衝器950中。在一些實施例中，解碼圖像緩衝器950是視訊解碼器900外部的記憶體。在一些實施例中，解碼圖像緩衝器950是視訊解碼器900內部的記憶體。
幀內預測模塊925從位元流995接收幀內預測資料，並且據此根據存儲在解碼圖像緩衝器950中的解碼像素資料917產生預測像素資料913。在一些實施例中，解碼像素資料917還存儲在行緩衝器(未示出)中，用於圖像內預測和空間MV預測。
在一些實施例中，解碼圖像緩衝器950的內容用於顯示。顯示設備955或者擷取解碼圖像緩衝器950的內容以便直接顯示，或者將解碼圖像緩衝器的內容擷取到顯示緩衝器。在一些實施例中，顯示設備通過像素傳輸從解碼圖像緩衝器950接收像素值。
運動補償模塊930根據運動補償MV(MC MV)從存儲在解碼圖像緩衝器950中的解碼像素資料917產生預測像素資料913。通過將從位元流995接收的殘差運動資料與從MV預測模塊975接收的預測MV相加來解碼這些運動補償MV。
MV預測模塊975基於參考MV生成預測的MV，參考MV是用於解碼先前視訊幀(例如，用於執行運動補償的運動補償MV)而生成的。MV預測模塊975從MV緩衝器965擷取先前視訊幀的參考MV。視訊解碼器900將用於解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器965中為用於產生預測MV的參考MV。
環路濾波器945對解碼的像素資料917執行濾波或平滑操作，以減少編解碼的偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操 作包括採樣自適應偏移(SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(ALF)。
第10圖示出了與本公開的一些實施例一致的實現照度補償模式的視訊解碼器900的部分。如圖所示，照度補償模塊1000接收當前塊的解碼像素資料917，其是預測像素資料913和重建殘差919的和。解碼像素資料917是可能未執行照度補償的運動補償像素。基於運動補償像素917，照度補償模塊800生成經過修改的像素資料1010以進一步處理並存儲在解碼圖像緩衝器950和行緩衝器1050中。解碼圖像緩衝器950存儲當前幀的先前重建的塊以及參考幀。行緩衝器1050存儲恰好在當前CTU行之上的最後解碼的CTU或CU行。
照度補償模塊1000應用線性模型(基於一組照度補償參數)來修改當前塊的解碼像素資料917。在一些實施例中，應用線性模型來微調預測的像素資料913。照度補償模塊1000可以基於存儲在解碼圖像緩衝器950和/或行緩衝器1050中的像素資料來生成線性模型。例如，可以基於解碼圖像緩衝器950和/或行緩衝器1050的內容導出當前塊的相鄰樣本，而可以基於解碼圖像緩衝器950的內容導出參考塊的相鄰樣本。可以由幀間預測模塊940提供與當前塊相關聯的運動向量1030，以從解碼圖像緩衝器950定位參考塊及其相鄰樣本的像素。照度補償模塊1000還可以從歷史緩衝器1020擷取綫性模型，其存儲最近編解碼的塊的綫性模型(或照度補償參數)。
儘管未示出，但是照度補償模塊1000可以接收適用於當前塊的操作的配置設置(例如，GBi、BIO、DMVR和其他預測工具)，以及當前塊本身的配置設置(例如，它的大小)。在一些實施例中，這些配置設置由解析器或熵解碼器990提供。
第11圖概念性地示出了用於執行當前塊的照度補償模式的過程1100。在一些實施例中，實現視訊編解碼器(編碼器700或解碼器900)的計 算設備的一個或多個處理單元(例如，處理器)通過執行存儲在計算機可讀介質中的指令來執行過程1100。在一些實施例中，實現視訊編解碼器的電子裝置執行過程1100。
視訊編解碼器(在步驟1110)接收第一視訊圖像中的第一像素塊以編解碼為當前塊。從由逆變換操作產生的殘差和由幀間預測或幀內預測產生的預測像素重建像素塊。在編碼時，像素塊將在位元流中編碼為當前塊。在解碼時，像素塊從位元流解碼為當前塊。當前塊與運動向量相關聯，該運動向量將第二視訊圖像中的第二像素塊作為參考塊。視訊編解碼器通過使用運動向量來執行(在步驟1120)當前塊的幀間預測，以產生用於當前塊的一組運動補償像素。
視訊編解碼器基於(i)當前塊在較大塊中的位置，(ii)當前塊的大小，或(iii)當前塊的幀間預測設置確定(在步驟1130)是否啟用或禁用當前塊的照度補償模式。在一些實施例中，當前塊可以是較大塊的子塊或CTU中的CU。如果當前塊不是較大塊或CTU的最頂部塊或最左側塊，則可以禁用照度補償模式。在一些實施例中，當對於當前塊開啟GBi、BIO、SPTMVP或ATMVP、仿射模式、DMVR、多假設內合併模式、多假設合併模式或多假設合併及AMVP模式時，關閉照度補償模式。
視訊編解碼器確定(在步驟1140處)是啟用還是禁用照度補償模式。如果啟用了照度補償模式，則處理進行到1160。如果禁用了照度補償，則處理進行到1150。
在步驟1150，視訊編解碼器將當前塊的經運動補償像素集合編碼成位元流或輸出當前塊的經運動補償像素集合以供顯示。
在步驟1160，視訊編解碼器通過應用基于參考塊和當前塊的相鄰樣本計算的綫性模型來修改當前塊的經運動補償像素的集合。基於較大塊內的當 前塊的位置來識別相鄰樣本。綫性模型基于一組照度補償參數，其包括綫性模型的縮放因子和偏移。較大的塊可以包括多個子塊，並且當前塊是第一子塊。第一子塊的相鄰像素用作相鄰樣本以計算用于修改當前塊和較大塊的其他子塊的綫性模型。在一些實施例中，較大塊的相鄰像素被子采樣並用作相鄰樣本以計算用于修改當前塊和較大塊的其他子塊的綫性模型。
在一些實施例中，當前塊可以是包括多個CU的CTU中的CU。基於CTU的相鄰像素導出當前塊的所識別的相鄰樣本。在一些實施例中，當前塊是預測單元(PU)，並且較大的塊是包括多個PU並且具有大於閾值的大小的編解碼單元(CU)。基於CU的相鄰像素導出當前塊的所識別的相鄰樣本。
在一些實施例中，所識別的當前塊的相鄰樣本是較大塊的與當前塊垂直或水平對齊的相鄰像素。相鄰樣本可以包括較大塊上方的相鄰像素，並且當當前塊位於較大塊的頂部邊緣但不在較大塊的左邊緣時不包括其他像素。相鄰樣本可以包括較大塊左側的相鄰像素，而當當前塊位於較大塊的左邊緣但不位於較大塊的頂部邊緣時，不包括其他像素。
在一些實施例中，當剩餘像素可用時，通過使用基於預測像素和殘差像素的相鄰塊的重建像素來計算相鄰樣本，並且當殘差像素不可用時，通過使用相鄰塊的預測像素來計算相鄰樣本。在一些實施例中，線性模型從當前塊的相鄰塊(其提供所選擇的合併候選)繼承。
視訊編解碼器(在步驟1170處)將當前塊的經修改的經運動補償的像素集合編碼到位元流中或輸出當前塊的經修改的經運動補償的像素集合以供顯示。
VIII.示例的電子系統
許多上述特徵和應用被實現為被指定為記錄在計算機可讀存儲介質(也稱為計算機可讀介質)上的一組指令的軟體過程。當這些指令由一個或多 個計算或處理單元(例如，一個或多個處理器、處理器核或其他處理單元)執行時，它們使處理單元執行指令中指示的動作。計算機可讀介質的示例包括但不限於CD-ROM、閃存驅動器、隨機存取記憶體(RAM)晶片、硬碟驅動器、可擦除可程式化只讀記憶體(EPROM)、電可擦除可程式化只讀記憶體(EEPROM)。計算機可讀介質不包括通過無線或有線連接傳遞的載波和電子信號。
在本說明書中，術語“軟體”旨在包括駐留在只讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可被讀入記憶體以供處理器處理。而且，在一些實施例中，多個軟體發明可以實現為較大程式的子部分，同時保持不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，一起實現這裡描述的軟體發明的單獨程式的任何組合都在本公開的範圍內。在一些實施例中，當軟體程式被安裝在一個或多個電子系統上以被操作時，定義執行和執行軟體程式的操作的一個或多個特定機器實現。
第12圖概念性地示出了電子系統1200，利用該電子系統1200實現本公開的一些實施例。電子系統1200可以是計算機(例如，台式計算機、個人計算機、平板計算機等)、電話、PDA或任何其他種類的電子設備。這種電子系統包括各種類型的計算機可讀介質和用於各種其他類型的計算機可讀介質的介面。電子系統1200包括匯流排1205、處理單元1210、圖形處理單元(GPU)1215、系統記憶體1220、網路1225、只讀記憶體1230、永久存儲設備1235、輸入設備1240和輸出設備1245。
匯流排1205共同表示通信地連接電子系統1200的眾多內部設備的所有系統、外圍設備和晶片組匯流排。例如，匯流排1205將處理單元1210與GPU 1215、只讀記憶體1230、系統記憶體1220和永久存儲設備1235通信地連接。
從這些各種記憶體單元，處理單元1210擷取要執行的指令和要處理的資料，以便執行本公開的過程。在不同實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1215並由GPU 1215執行。GPU 1215可以卸載(offload)各種計算或補充由處理單元1210提供的圖像處理。
只讀記憶體(ROM)1230存儲由處理單元1210和電子系統的其他模塊使用的靜態資料和指令。另一方面，永久存儲設備1235是讀寫存儲設備。該設備是非易失性記憶體單元，即使在電子系統1200關閉時也存儲指令和資料。本公開的一些實施例使用大容量存儲設備(諸如磁碟或光碟及其相應的磁碟驅動器)作為永久存儲設備1235。
其他實施例使用可移動存儲設備(諸如軟碟，閃存設備等，以及其對應的磁碟驅動器)作為永久存儲設備。與永久存儲設備1235類似，系統記憶體1220是讀寫記憶體設備。然而，與存儲設備1235不同，系統記憶體1220是易失性讀寫記憶體，例如隨機存取記憶體。系統記憶體1220存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的過程存儲在系統記憶體1220、永久存儲設備1235和/或只讀記憶體1230中。例如，各種記憶體單元包括用於根據一些實施例處理多媒體剪輯的指令。從這些各種記憶體單元，處理單元1210擷取要執行的指令和要處理的資料，以便執行一些實施例的過程。
匯流排1205還連接到輸入和輸出設備1240和1245。輸入設備1240使用戶能夠向電子系統傳送資訊和選擇命令。輸入設備1240包括字母數位鍵盤和指示設備(也稱為“光標控制設備”)、相機(例如，網路攝像頭)、麥克風或用於接收語音命令等的類似設備。輸出設備1245顯示由電子系統生成的圖像或輸出資料。輸出設備1245包括打印機和顯示設備，例如陰極射線管(CRT)或液晶顯示器(LCD)，以及揚聲器或類似的音頻輸出設備。一些實施例包括 諸如觸摸屏的設備，其用作輸入和輸出設備。
最後，如第12圖所示，匯流排1205還通過網路適配器(未示出)將電子系統1200耦合到網路1225。以這種方式，計算機可以是計算機網路的一部分(例如局域網(“LAN”)、廣域網(“WAN”)或內聯網、或網路網(例如因特網))。電子系統1200的任何或所有組件可以與本公開結合使用。
一些實施例包括電子組件，例如微處理器，將計算機程式指令存儲在機器可讀或計算機可讀介質中(或者稱為計算機可讀存儲介質、機器可讀介質或機器可讀存儲介質)的存儲設備和記憶體。這種計算機可讀介質的一些示例包括RAM、ROM、只讀光碟(CD-ROM)、可記錄光碟(CD-R)、可重寫光碟(CD-RW)、只讀數位通用光碟(例如，DVD-ROM、雙層DVD-ROM)、各種可記錄/可重寫DVD(例如DVD-RAM、DVD-RW、DVD+RW等)、閃存(例如SD卡、mini-SD卡、micro-SD卡等)、磁性和/或固態硬碟驅動器、只讀和可記錄Blu-Ray®光碟、超高密度光碟，任何其他光學或磁性介質以及軟碟。計算機可讀介質可以存儲可由至少一個處理單元執行的計算機程式，並且包括用於執行各種操作的指令集。計算機程式或計算機代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由計算機、電子組件或使用解釋器(interpreter)的微處理器執行的更高級代碼的文件。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但是許多上述特徵和應用由一個或多個集體電路執行，例如專用集體電路(ASIC)或現場可程式化門陣列(FPGA)。在一些實施例中，這種集體電路執行存儲在電路自身上的指令。另外，一些實施例執行存儲在可程式化邏輯器件(PLD)、ROM或RAM器件中的軟體。
如在本說明書和本申請的任何請求項中使用的，術語“計算機”、“服務器”、“處理器”和“記憶體”均指電子或其他技術設備。這些條款不包括人或人 群。出於說明書的目的，術語顯示或顯示裝置顯示在電子設備上。如在本說明書和本申請的任何請求項中所使用的，術語“計算機可讀介質”、“計算機可讀媒體”和“機器可讀介質”完全限於以計算機可讀的有形形式存儲資訊的有形實體對象。這些術語不包括任何無線信號、有線下載信號和任何其他短暫信號。
雖然已經參考許多具體細節描述了本公開，但是本領域具有通常知識者將認識到，在不脫離本公開的精神的情況下，本公開可以以其他具體形式實施。另外，許多附圖(包括第11圖)概念性地示出了過程。這些過程的具體操作可能無法按照所示和描述的確切順序執行。可以不在一個連續的一系列操作中執行特定操作，並且可以在不同的實施例中執行不同的特定操作。此外，該過程可以使用多個子過程來實現，或者作為更大的宏過程的一部分來實現。因此，本領域具有通常知識者將理解，本公開不受前述說明性細節的限制，而是由所附申請專利範圍限定。
附加聲明
文中描述的主題有時示出了包含在其它不同部件內的或與其它不同部件連接的不同部件。應當理解：這樣描繪的架構僅僅是示例性的，並且，實際上可以實施實現相同功能的許多其它架構。在概念意義上，實現相同功能的部件的任何布置是有效地“相關聯的”，以使得實現期望的功能。因此，文中被組合以獲得特定功能的任意兩個部件可以被視為彼此“相關聯的”，以實現期望的功能，而不管架構或中間部件如何。類似地，這樣相關聯的任意兩個部件還可以被視為彼此“可操作地連接的”或“可操作地耦接的”，以實現期望的功能，並且，能夠這樣相關聯的任意兩個部件還可以被視為彼此“操作上可耦接的”，以實現期望的功能。“操作上可耦接的”的具體示例包含但不限於：實體地可聯結和/或實體地相互、作用的部件、和/或無線地可相互作用和/或無線地相互作用的部件、和/或邏輯地相互作用的和/或邏輯地可相互作用的部件。
此外，關於文中基本上任何複數和/或單數術語的使用，只要對於上下文和/或應用是合適的，所屬技術領域具有通常知識者可以將複數變換成單數，和/或將單數變換成複數。為清楚起見，這裡可以明確地闡述各種單數/複數排列。
所屬技術領域具有通常知識者將會理解，通常，文中所使用的術語，特別是在所附申請專利範圍(例如，所附申請專利範圍中的主體)中所使用的術語通常意在作為“開放性”術語(例如，術語“包含”應當被解釋為“包含但不限幹”，術語“具有”應當被解釋為“至少具有”，術語“包含”應當被解釋為“包含但不限幹”等)。所屬技術領域具有通常知識者還將理解，如果意在所介紹的申請專利範圍陳述對象的具體數目，則這樣的意圖將會明確地陳述在申請專利範圍中，在缺乏這樣的陳述的情況下，不存在這樣的意圖。例如，為了幫助理解，所附申請專利範圍可以包含使用介紹性短語“至少一個”和“一個或更多個”來介紹申請專利範圍陳述對象。然而，這樣的短語的使用不應當被解釋為：用不定冠詞“一個(a或an)”的申請專利範圍陳述對象的介紹將包含這樣介紹的申請專利範圍陳述對象的任何申請專利範圍限制為只包含一個這樣的陳述對象的發明，即使在同一申請專利範圍包含介紹性短語“一個或更多個”或“至少一個”以及諸如“一個(a)”或“一個(an)”之類的不定冠詞的情況下(例如，“一個(a)”和/或“一個(an)”應當通常被解釋為意味著“至少一個”或“一個或更多個”)也如此；上述對以定冠詞來介紹申請專利範圍陳述對象的情況同樣適用。另外，即使明確地陳述了介紹的申請專利範圍陳述對象的具體數目，但所屬技術領域具有通常知識者也會認識到：這樣的陳述通常應當被解釋為意味著至少所陳述的數目(例如，僅有“兩個陳述對象”而沒有其他修飾語的陳述通常意味著至少兩個陳述對象，或兩個或更多個陳述對象)。此外，在使用類似於“A、B和C中的至少一個等”的慣用語的情況下，通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用 語的含義(例如，“具有A、B和C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系統等)。在使用類似於“A、B或C中的至少一個等”的慣用語的情況下，通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用語的含義(例如，“具有A、B或C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系統等)。所屬技術領域具有通常知識者將進一歩理解，不管在說明書、申請專利範圍中還是在附圖中，表示兩個或更多個可替換的術語的幾乎任意析取詞和/或短語應當理解成考慮包含術語中的一個、術語中的任一個或所有兩個術語的可能性。例如，短語“A或B”應當被理解成包含“A”、“B”、或“A和B”的可能性。
從前述內容可以理解，本文已經出於說明的目的描述了本公開的各種實施方式，並且在不脫離本公開的範圍和精神的情況下可以進行各種修改。因此，本文公開的各種實施方式不旨在是限制性的，真正的範圍和精神由所附申請專利範圍指示。
100‧‧‧當前塊
102‧‧‧第一視訊圖像
104‧‧‧運動向量
106、116、140‧‧‧相鄰樣本
110‧‧‧像素
112‧‧‧第二視訊圖像
120‧‧‧運動補償模塊
122‧‧‧運動補償的當前塊
124‧‧‧預測像素
126‧‧‧殘差像素
128‧‧‧照度補償的當前塊
130‧‧‧照度補償模塊
132‧‧‧線性模型
150‧‧‧啟用條件
160‧‧‧重建圖像緩衝器
170‧‧‧歷史緩衝器

Claims (18)

  1. 一種照度補償方法，包括：接收要編碼為當前塊的第一視訊圖像中的第一像素塊，其中，該當前塊與參考第二視訊圖像中的第二像素塊作為參考塊的運動向量相關聯；通過使用該運動向量為該當前塊執行幀間預測，以生成該當前塊的一組運動補償像素；以及通過應用基於該參考塊和該當前塊的相鄰樣本計算的線性模型來修改該當前塊的該組運動補償像素，其中基於該當前塊在較大塊中的位置來識別該相鄰樣本。
  2. 如申請專利範圍第1項所述之照度補償方法，其中，該線性模型基於包括縮放因子和偏移的一組照度補償參數。
  3. 如申請專利範圍第1項所述之照度補償方法，其中，該較大塊包括多個子塊，其中第一子塊是該當前塊，其中該第一子塊的相鄰像素用作該當前塊的該相鄰樣本以計算用於修改該當前塊和該較大塊的其他子塊的該線性模型。
  4. 如申請專利範圍第1項所述之照度補償方法，其中，該較大塊包括多個子塊，其中第一子塊是該當前塊，其中該第一子塊的相鄰像素用作該當前塊的該相鄰樣本以計算用於修改該當前塊和該較大塊的其他子塊的該線性模型。
  5. 如申請專利範圍第1項所述之照度補償方法，其中，該當前塊是預測單元，並且該較大塊是包括多個預測單元並且具有大於閾值的大小的編解碼單元，其中，基於該編解碼單元的相鄰像素導出該當前塊的所識別的該相鄰樣本。
  6. 如申請專利範圍第1項所述之照度補償方法，其中，該當前塊的該 相鄰樣本是該較大塊的與該當前塊垂直或水平對齊的相鄰像素。
  7. 如申請專利範圍第1項所述之照度補償方法，其中，當該當前塊位於該較大塊的頂部邊緣但不位於較大塊的左邊緣時，該當前塊的所識別的該相鄰樣本包括該較大塊上方的相鄰像素，並且不包括其他像素。
  8. 如申請專利範圍第1項所述之照度補償方法，其中，當該當前塊位於該較大塊的左邊緣但不在該較大塊的頂邊緣時，該當前塊的所識別的該相鄰樣本包括該較大塊左邊的相鄰像素，並且不包括其他像素。
  9. 如申請專利範圍第1項所述之照度補償方法，其中，當相鄰塊的殘差像素可用時，通過使用基於該相鄰塊的預測像素和殘差像素的重建像素來計算所識別的該相鄰樣本；當該相鄰塊的該殘差像素不可用時，通過使用該相鄰塊的該預測像素來計算所識別的該相鄰樣本。
  10. 如申請專利範圍第1項所述之照度補償方法，其中，該該線性模型從該當前塊的相鄰塊繼承。
  11. 如申請專利範圍第1項所述之照度補償方法，其中，該較大塊包括多個子塊，該多個子塊包括該當前塊，其中該較大塊的相鄰像素被子採樣並用作該相鄰樣本以計算用於修改該當前塊和該較大塊的其他子塊的該線性模型。
  12. 如申請專利範圍第1項所述之照度補償方法，其中，對該當前塊執行幀間預測包括：為該當前塊生成一組預測像素，並且其中，修改該當前塊的該組運動補償像素包括應用該線性模型來微調該當前塊的該組預測像素。
  13. 一種照度補償方法，包括：接收要編碼為當前塊的第一視訊圖像中的第一像素塊，其中，該當前塊與參考第二視訊圖像中的第二像素塊作為參考塊的運動向量相關聯；通過使用該運動向量為該當前塊執行幀間預測，以生成該當前塊的一組運動 補償像素；基於該當前塊的預測設置確定是否啟用照度補償模式，其中確定是否啟用該照度補償模式還基於該當前塊在較大塊內的位置；以及當啟用該照度補償模式時，通過應用線性模型來修改該當前塊。
  14. 如申請專利範圍第13項所述之照度補償方法，其中，當該當前塊的大小大於閾值時，禁用該照度補償模式。
  15. 如申請專利範圍第13項所述之照度補償方法，其中，當該當前塊不是該較大塊的最頂部塊或最左側塊時，禁用該照度補償模式。
  16. 如申請專利範圍第13項所述之照度補償方法，還包括：當對於該當前塊開啟通用雙預測、雙向光流、子預測單元時間運動向量預測(SPTMVP或ATMVP)、仿射模式、雙邊模板運動向量微調、多假設內合併模式、多假設合併模式和多假設合併+AMVP模式中的至少一個時，禁用該照度補償模式。
  17. 一種視訊處理裝置，包括：編碼器電路，能夠：接收要編碼為當前塊的第一視訊圖像中的第一像素塊，其中，該當前塊與參考第二視訊圖像中的第二像素塊作為參考塊的運動向量相關聯；通過使用該運動向量為該當前塊執行幀間預測，以生成該當前塊的一組運動補償像素；通過應用基於該參考塊和該當前塊的相鄰樣本計算的線性模型來修改該當前塊的該組運動補償像素，其中基於該當前塊在較大塊中的位置來識別該相鄰樣本；以及將該當前塊的經修改的該組運動補償像素編碼為位元流。
  18. 一種視訊處理裝置，包括：解碼器電路，能夠： 接收從位元流解碼的第一視訊圖像中的第一像素塊作為當前塊，其中，該當前塊與參考第二視訊圖像中的第二像素塊作為參考塊的運動向量相關聯；通過使用該運動向量為該當前塊執行幀間預測，以生成該當前塊的一組運動補償像素；通過應用基於該參考塊和該當前塊的相鄰樣本計算的線性模型來修改該當前塊的該組運動補償像素，其中基於該當前塊在較大塊中的位置來識別該相鄰樣本；以及輸出該當前塊的經修改的該組運動補償像素以供顯示。
TW108115036A 2018-04-30 2019-04-30 照度補償方法及相應之視訊處理裝置 TWI711300B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862664387P 2018-04-30 2018-04-30
US62/664,387 2018-04-30
US201862785713P 2018-12-28 2018-12-28
US62/785,713 2018-12-28
PCT/CN2019/085043 WO2019210829A1 (en) 2018-04-30 2019-04-29 Signaling for illumination compensation
WOPCT/CN2019/085043 2019-04-29

Publications (2)

Publication Number Publication Date
TW201946470A TW201946470A (zh) 2019-12-01
TWI711300B true TWI711300B (zh) 2020-11-21

Family

ID=68387028

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108115036A TWI711300B (zh) 2018-04-30 2019-04-30 照度補償方法及相應之視訊處理裝置

Country Status (4)

Country Link
US (2) US11343541B2 (zh)
CN (2) CN116684594A (zh)
TW (1) TWI711300B (zh)
WO (1) WO2019210829A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7248664B2 (ja) 2017-10-05 2023-03-29 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ビデオ符号化および復号における適応的照度補償のための方法および装置
MX2020012768A (es) * 2018-05-28 2021-02-15 Interdigital Vc Holdings Inc Dependencia de datos en codificacion/decodificacion.
TWI729497B (zh) * 2018-09-17 2021-06-01 聯發科技股份有限公司 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
CN112868240B (zh) 2018-10-23 2023-06-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
WO2020084508A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonization between local illumination compensation and inter prediction coding
US11388394B2 (en) * 2019-01-04 2022-07-12 Qualcomm Incorporated Local illumination compensation (LIC) for virtual pipeline data units (VPDUS)
CN113302918A (zh) * 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
WO2020147805A1 (en) 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering using motion prediction
CN111526362B (zh) * 2019-02-01 2023-12-29 华为技术有限公司 帧间预测方法和装置
US11997308B2 (en) * 2019-03-08 2024-05-28 Interdigital Madison Patent Holdings, Sas Local illumination compensation for video encoding or decoding
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
MX2021012503A (es) * 2019-06-21 2021-11-12 Panasonic Ip Corp America Sistema y metodo de codificacion de video.
WO2020254500A1 (en) * 2019-06-21 2020-12-24 Interdigital Vc Holdings France, Sas Local illumination compensation flag inheritance
US11259016B2 (en) 2019-06-30 2022-02-22 Tencent America LLC Method and apparatus for video coding
US11778322B2 (en) * 2020-08-17 2023-10-03 Mediatek Inc. Method and apparatus for performing electronic image stabilization with dynamic margin
US11924409B2 (en) * 2021-02-21 2024-03-05 Alibaba (China) Co., Ltd. Systems and methods for inter prediction compensation
WO2023172851A1 (en) * 2022-03-08 2023-09-14 Innopeak Technology, Inc. Model adjustment for local illumination compensation in video coding
WO2024039910A1 (en) * 2022-08-19 2024-02-22 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for adaptive motion compensated filtering
WO2024037641A1 (en) * 2022-08-19 2024-02-22 Mediatek Inc. Out-of-boundary reference block handling
JP2024047921A (ja) * 2022-09-27 2024-04-08 シャープ株式会社 画像復号装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710764A (zh) * 2015-06-09 2018-02-16 高通股份有限公司 确定用于视频译码的照明补偿状态的系统及方法
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译系统中基于照度补偿预测块的方法和设备

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
US8111755B2 (en) * 2008-06-25 2012-02-07 International Business Machines Corporation Method and system for low-complexity Slepian-Wolf rate estimation in Wyner-Ziv video encoding
US8467346B2 (en) * 2009-06-19 2013-06-18 Futurewei Technologies, Inc. Method and apparatus for generating time-frequency patterns for reference signal in an OFDM wireless communication system
KR20110050283A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US20120102154A1 (en) * 2010-10-26 2012-04-26 Futurewei Technologies, Inc. Cloud-Based Transcoding Platform Systems and Methods
JP2013005077A (ja) * 2011-06-14 2013-01-07 Sony Corp 画像処理装置および方法
JP6278900B2 (ja) * 2012-12-26 2018-02-14 シャープ株式会社 画像復号装置
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
GB201305812D0 (en) * 2013-03-28 2013-05-15 Univ Warwick Gesture tracking and classification
JP6360053B2 (ja) 2013-06-18 2018-07-18 シャープ株式会社 照度補償装置、画像復号装置、画像符号化装置
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
EP3053337B1 (en) * 2013-10-01 2020-07-29 Telefonaktiebolaget LM Ericsson (publ) Encoder and method for video processing
JP6569665B2 (ja) * 2014-03-25 2019-09-04 株式会社ソシオネクスト 画像復号装置、画像復号方法、及び集積回路
KR102302674B1 (ko) * 2015-05-13 2021-09-16 삼성전자주식회사 영상신호 제공장치 및 영상신호 제공방법
EP3332551A4 (en) * 2015-09-02 2019-01-16 MediaTek Inc. METHOD AND APPARATUS FOR MOVEMENT COMPENSATION FOR VIDEO CODING BASED ON TECHNIQUES FOR OPERATIONAL RADIO RADIATION
US20170150156A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
US10362314B2 (en) * 2015-11-27 2019-07-23 Mediatek Inc. Apparatus and method for video coding by intra-prediction
KR101698314B1 (ko) * 2015-12-09 2017-01-20 경북대학교 산학협력단 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
CN114786009A (zh) * 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN116708782A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018028615A1 (en) * 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
US10880552B2 (en) * 2016-09-28 2020-12-29 Lg Electronics Inc. Method and apparatus for performing optimal prediction based on weight index
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
CN117528106A (zh) * 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
BR112019018922A8 (pt) * 2017-03-16 2023-02-07 Mediatek Inc Método e aparelho de refinamento de movimento com base em fluxo óptico bi-direcional para codificação de vídeo
US11184636B2 (en) * 2017-06-28 2021-11-23 Sharp Kabushiki Kaisha Video encoding device and video decoding device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710764A (zh) * 2015-06-09 2018-02-16 高通股份有限公司 确定用于视频译码的照明补偿状态的系统及方法
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译系统中基于照度补偿预测块的方法和设备

Also Published As

Publication number Publication date
US11343541B2 (en) 2022-05-24
WO2019210829A1 (en) 2019-11-07
CN116684594A (zh) 2023-09-01
CN112042189A (zh) 2020-12-04
TW201946470A (zh) 2019-12-01
US20210051345A1 (en) 2021-02-18
US20220248064A1 (en) 2022-08-04
CN112042189B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
TWI711300B (zh) 照度補償方法及相應之視訊處理裝置
US10715827B2 (en) Multi-hypotheses merge mode
TWI735172B (zh) 用於多個工具的互相排斥設定
US11172203B2 (en) Intra merge prediction
TWI706667B (zh) 隱式變換設置
US11553173B2 (en) Merge candidates with multiple hypothesis
WO2019206190A1 (en) Storage of motion vectors for affine prediction
US11924413B2 (en) Intra prediction for multi-hypothesis
US20240080490A1 (en) Signaling for multi-reference line prediction and multi-hypothesis prediction
TW202031046A (zh) 具有應用的塊設定以及運動儲存設定的三角形預測
JP2023100979A (ja) オプティカルフローによる予測洗練化、双方向オプティカルフローおよびデコーダ側の動きベクトル洗練化のための方法および装置
US11805245B2 (en) Latency reduction for reordering prediction candidates
TW202404354A (zh) 利用卷積模型的預測改進