TWI731365B - Merge索引編碼 - Google Patents

Abstract

描述了用於編碼和解碼數位視頻的設備、系統和方法。在典型方面，一種用於視頻處理的方法包括：使用Merge索引編碼執行視頻資料塊和視頻資料塊的位元流表示之間的轉換。所述位元流表示包括指示用於所述轉換的Merge候選的Merge索引。所述Merge索引被劃分為第一部分和第二部分。所述第一部分使用第一二值化方法編碼，並且所述第二部分使用與所述第一二值化方法不同的第二二值化方法編碼。

Description

Merge索引編碼 相關申請的交叉引用

根據適用的《專利法》和/或《巴黎公約》的規定，本申請及時要求於2018年7月2日提交的國際專利申請No.PCT/CN2018/093987的優先權和權益。出於美國法律的所有目的，國際專利申請No.PCT/CN2018/093987的全部公開以引用方式併入作為該專利文件的公開的一部分。

該專利文件涉及視頻編碼技術、設備和系統。

儘管視頻壓縮有所進步，但數位視頻仍占互聯網和其他數位通信網路上的最大頻寬使用。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視頻使用的頻寬需求將繼續增長。

描述了與使用包含編碼候選的一組查找表(LUT)來編碼和解碼數位視頻有關的設備、系統和方法。所述方法可以應用於現有視頻編碼標準(例如，高效視頻編碼(HEVC))和未來視頻編碼標準或視頻編解碼器。

在一個典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括執行視頻的視頻資料的第一塊和視頻的位元流表示之間的轉換，以及基於所述視頻資料的第一塊的編碼特性，使用與所述第一塊關聯的運動信息更新運動候選表。

在另一典型方面，公開的技術可以用於提供一種用於處理視頻的方法。該方法包括在當前視頻塊和視頻的位元流表示之間的轉換期間保持一個或多個運動候選表，將與當前視頻塊關聯的運動候選與所述一個或多個表中的多個條目進行比較，以及基於所述比較更新所述一個或多個表。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括執行視頻的視頻塊和視頻的位元流表示之間的轉換，同時在所述轉換中保持一個或多個運動候選表，基於所述視頻塊中的當前視頻塊的編碼特性，確定使用所述一個或多個運動候選表執行當前視頻塊和視頻的位元流表示之間的轉換的適合性，根據所述適合性執行當前視頻塊和視頻的位元流表示之間的轉換，以及選擇性地使用與當前視頻塊關聯的運動候選更新所述一個或多個運動候選表。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括在當前視頻塊和包括當前視頻塊的視頻的位元流表示之間的轉換期間保持一個或多個運動候選表，確定使用Merge模式或高級運動向量預測模式(AMVP)對當前視頻塊進行編碼，以及基於所述確定，使用所述一個或多個運動候選表執行當前視頻塊和視頻的位元流表示之間的轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括通過組合一個或多個運動候選表和來自一個或多個非相鄰塊的非相鄰候選集，確定視頻的視頻資料塊的運動候選列表。該方法還包括使用所述運動候選列表執行視頻資料塊和視頻的位元流表示之間的轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括以從多個可用運動向量精度選擇的M像素(pel)或子像素的運動向量精度，保持用於視頻的視頻塊和視頻的位元流表示之間的轉換的高級運動向量預測(AMVP)候選列表。M是正整數。該方法包括對於與視頻塊關聯的每個可用高級運動向量預測(AMVP)候選執行：取整AMVP候選，將所述取整的AMVP候選與所述AMVP候選列表中的現有候選進行比較，以及在確定所述取整的AMVP候選與現有候選不同時將所述AMVP候選添加到所述AMVP候選列表。該方法還包括將所述AMVP候選列表與來自一個或多個運動候選表的一個或多個運動候選組合以獲得組合列表，並且基於所述組合列表執行所述轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括以從多個可用運動向量精度選擇的M像素或子像素的運動向量精度，保持用於視頻的視頻塊和視頻的位元流表示之間的轉換的高級運動向量預測(AMVP)候選列表，M是正整數。該方法還包括將與視頻塊關聯的AMVP候選與所述AMVP候選列表中的現有AMVP候選進行比較，在確定所述AMVP候選與現有候選不同時將所述AMVP候選添加到所述AMVP候選列表，以及基於所述AMVP候選列表執行所述轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括使用Merge索引執行視頻的視頻資料塊和視頻的位元流表示之間的轉換。所述位元流表示包括指示用於所述轉換的Merge候選的Merge索引。所述Merge索引被劃分為第一部分和第二部分。所述第一部分使用第一二值化方法編碼，並且所述第二部分使用與所述第一二值化方法不同的第二二值化方法編碼。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括基於視頻的一個或多個先前視頻塊保持一個或多個幀內預測模式候選表，以及使用所述一個或多個幀內預測模式候選表執行視頻的當前視頻塊和視頻的位元流表示之間的轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括基於視頻的視頻塊的非相鄰塊的幀內預測模式確定一組幀內預測模式預測器，以及使用所述一組幀內預測模式預測器執行視頻塊和視頻的位元流表示之間的轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括基於視頻的一個或多個先前視頻塊保持一個或多個照明補償(IC)參數表，以及使用所述一個或多個IC參數表執行視頻的當前視頻塊和視頻的位元流表示之間的轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻處理的方法。該方法包括基於當前視頻塊的非相鄰塊的照明補償(IC)參數導出視頻的當前視頻塊的IC參數，以及使用導出的IC參數執行當前視頻塊和視頻的位元流表 示之間的轉換。

在另一典型方面，公開的技術可以用於提供一種用於視頻編碼的方法。該方法包括接收視頻資料的第一塊的位元流表示，以及基於一組查找表(LUT)處理所述位元流表示以產生所述視頻資料的第一塊，其中所述一組LUT包括編碼候選。

在另一典型方面，公開的技術可以用於提供另一種用於視頻編碼的方法。該方法包括接收視頻資料塊的位元流表示，以及基於來自非相鄰塊的編碼候選處理所述位元流表示，其中所述編碼候選是非運動候選。

在又一典型方面，公開的技術可以用於提供另一種用於視頻編碼的方法。該方法包括接收視頻資料塊的位元流表示，以及使用多個運動向量(MV)精度並且基於高級運動向量預測(AMVP)候選列表，處理所述位元流表示以產生視頻資料塊，其中所述視頻資料塊包括低MV精度，並且其中每個AMVP候選在插入所述AMVP候選列表之前被取整，並與可用的AMVP候選進行修剪(pruned)。

在又一典型方面，公開的技術可以用於提供另一種用於視頻編碼的方法。該方法包括接收視頻資料塊的位元流表示，以及使用Merge索引編碼處理所述位元流表示以產生視頻資料塊，其中所述位元流表示包括被劃分為第一部分和第二部分的Merge索引，其中所述第一部分通過第一二值化方法處理，並且其中所述第二部分通過與所述第一二值化方法不同的第二二值化方法處理。

在又一典型方面，上述方法以處理器可執行代碼的形式體現並存儲在電腦可讀程式介質中。

在又一典型方面，公開了一種配置或可操作以執行上述方法的設備。該設備可以包括被程式設計為實現該方法的處理器。

在又一典型方面，視頻解碼器裝置可以實施如本文中所述的方法。

在附圖、說明書和權利要求中更詳細地描述了公開技術的上述和其他方面和特徵。

100:HEVC視頻編碼器和解碼器

200:H.264/AVC中的巨集塊(MB)分割

300:編碼塊(CB)劃分為預測塊(PB)

700:四叉樹加二叉樹(QTBT)的編碼 塊(CB)

1510:原始Merge候選列表

1520:添加組合後選後的Merge候選列表

1800，2000:編碼單元(CU)

1801，2001，2002，2003，2004:子編碼單元

1850，2110，2111，2210:參考圖片

1851:對應塊

2011，2012，2013，2014:相鄰塊

2100:當前圖片

2101，2102:運動向量

2103，2104:時間距離

2200:當前編碼單元

2300:FRUC演算法中的單向運動估計

3500，3700，3800，3900，4000，4100，4200 4300，4400，4500，4600，4700，4800:方法

3510，3520，3702，3704，3802，3804，3806 3902，3904，3906，3908，4002，4004，4006 4102，4104，4202，4204，4206，4208，4302 4304，4306，4308，4402，4502，4504，4602 4604，4702，4704，4802，4804:步驟

3600:裝置

3602:處理器

3604:記憶體

3606:視頻處理電路

圖1示出了典型高效視頻編碼(HEVC)視頻編碼器和解碼器的示例性框圖。

圖2示出了H.264/AVC中的巨集塊(MB)分割的示例。

圖3示出了將編碼塊(CB)劃分為預測塊(PB)的示例。

圖4A和4B分別示出了將編碼樹塊(CTB)細分為CB和變換塊(TB)以及對應四叉樹的示例。

圖5A和5B示出了用於最大編碼單元(LCU)的細分以及對應四叉樹加二叉樹(QTBT)的示例。

圖6A示出了四叉樹(QT)分割的示例。

圖6B示出了垂直二叉樹(BT)分割的示例。

圖6C示出了水平二叉樹(BT)分割的示例。

圖6D示出了垂直三叉樹(TT)分割的示例。

圖6E示出了水平三叉樹(TT)分割的示例。

圖7示出了基於QTBT的CB的示例性細分。

圖8A-8I示出了支援多叉樹類型(MTT)的CB的分割的示例，其是QTBT的概括(generalization)。

圖9示出了構建Merge候選列表的示例。

圖10示出了空間候選的位置的示例。

圖11示出了經受空間Merge候選的冗餘校驗的候選對的示例。

圖12A和12B示出了基於當前塊的尺寸和形狀的第二預測單元(PU)的位置的示例。

圖13示出了用於時間Merge候選的運動向量縮放的示例。

圖14示出了用於時間Merge候選的候選位置的示例。

圖15示出了產生組合雙向預測Merge候選的示例。

圖16示出了用於運動向量預測候選的推導過程的示例。

圖17示出了用於空間運動向量候選的運動向量縮放的示例。

圖18示出了使用用於編碼單元(CU)的替代時間運動向量預測(ATMVP)演算法的運動預測的示例。

圖19示出了源塊和源圖片的識別的示例。

圖20示出了由空時運動向量預測(STMVP)演算法使用的具有子塊的編碼單元(CU)和相鄰塊的示例。

圖21示出了模式匹配運動向量推導(PMMVD)模式中的雙邊匹配的示例，其是基於畫面播放速率上轉換(FRUC)演算法的特殊Merge模式。

圖22示出了FRUC演算法中的模板匹配的示例。

圖23示出了FRUC演算法中的單向運動估計的示例。

圖24示出了基於雙邊模板匹配的解碼器側運動向量細化(DMVR)演算法的示例。

圖25示出了用於導出照明補償(IC)參數的相鄰樣本的示例。

圖26示出了用於導出空間Merge候選的相鄰塊的示例。

圖27示出了提出的67個幀內預測模式的示例。

圖28示出了用於最可能模式推導的相鄰塊的示例。

圖29A和29B示出了具有QTBT結構的I條帶中的對應亮度和色度子塊。

圖30示出了來自非相鄰塊和查找表(LUT)的候選的迭代插入的示例。

圖31示出了來自非相鄰塊和LUT的候選的基於優先順序的插入的示例。

圖32示出了來自非相鄰塊和LUT的候選的基於優先順序的插入的另一示例。

圖33示出了在一個塊之後更新的基於LUT的MVP/幀內模式預測/IC參數的示例的編碼流程。

圖34示出了在一個區域之後更新的基於LUT的MVP/幀內模式預測/IC參數的示例的編碼流程。

圖35示出了根據本公開技術的用於視頻編碼的示例性方法的流程圖。

圖36是用於實現本檔中描述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺的示例的框圖。

圖37示出了根據本公開技術的用於視頻處理的示例性方法的流程圖。

圖38示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖39示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖40示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖41示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖42示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖43示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖44示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖45示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖46示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖47示出了根據本公開技術的用於視頻處理的示例性方法的另一流程圖。

圖48示出了根據本公開技術的用於視頻處理的示例性方法的又一流程圖。

由於對更高分辨率視頻的需求的增加，視頻編碼方法和技術在現代技術中普遍存在。視頻編解碼器通常包括壓縮或解壓縮數位視頻的電子電路或軟體，並且不斷改進以提供更高的編碼效率。視頻編解碼器將未壓縮視頻轉換成壓縮格式，反之亦然。視頻品質，用於表示視頻的資料量(由位元速率確定)，編碼和解碼演算法的複雜性，對資料丟失和錯誤的敏感性，編輯的簡易性，隨機存取和端到端延遲(延遲時間)之間存在複雜的關係。壓縮格式通常符合標準視頻壓縮規範，例如，高效視頻編碼(HEVC)標準(也稱為H.265或MPEG-H第2部分)，待最終確定的通用視頻編碼標準或其他當前和/或未來的視頻編碼標準。

公開技術的實施例可以應用於現有視頻編碼標準(例如，HEVC，H.265)和未來標準以改進壓縮性能。在本檔中使用章節標題來提高描述的可讀性，並且不以任何方式將討論或實施例(和/或實現方式)僅限制到相應的章節。

1.視頻編碼的示例性實施例

圖1示出了典型HEVC視頻編碼器和解碼器的示例性框圖。產生符合HEVC的位元流的編碼演算法通常如下進行。每個圖片被劃分為塊狀區域，精確的塊劃分被傳送到解碼器。視頻序列的第一圖片(以及進入視頻序列的每個乾 淨的隨機訪問點處的第一圖片)僅使用圖片內預測(其使用同一圖片內區域到區域的空間資料預測，但不依賴其他圖片)進行編碼。對於序列的或隨機訪問點之間的所有剩餘圖片，圖片間時間預測編碼模式通常用於大多數塊。用於圖片間預測的編碼處理包括選擇包括所選參考圖片的運動資料和要應用於預測每個塊的樣本的運動向量(MV)。編碼器和解碼器通過使用MV和模式決策資料應用運動補償(MC)來產生相同的圖片間預測信號，其作為輔助信息被傳輸。

通過線性空間變換來變換圖片內或圖片間預測的殘差信號，其是原始塊與其預測之間的差。然後對變換係數進行縮放，量化，熵編碼，並與預測信息一起傳輸。

編碼器複製解碼器處理循環(參見圖1中的灰色陰影框)，使得兩者都將為後續資料產生相同的預測。因此，通過逆縮放來構造量化的變換係數，然後對其進行逆變換以複製殘差信號的解碼近似。然後將殘差添加到預測，然後可以將該相加的結果饋送到一個或兩個環路濾波器中以平滑由逐塊處理和量化引起的偽像。最終圖片表示(即解碼器輸出的副本)存儲在解碼圖片緩衝器中以用於後續圖片的預測。通常，圖片的編碼或解碼處理的順序通常不同於它們從源到達的順序；需要區分解碼器的解碼順序(即位元流順序)和輸出順序(即顯示順序)。

通常期望由HEVC編碼的視頻材料作為逐行掃描圖像輸入(由於源視頻源自該格式或者由編碼之前的去交錯產生)。HEVC設計中不存在明確的編碼特徵以支援隔行掃描的使用，因為隔行掃描不再用於顯示器，並且對於分發而言變得非常不常見。然而，在HEVC中已提供了中繼資料語法以允許編碼器通過 將隔行掃描視頻的每個區(即，每個視頻幀的偶數或奇數行)編碼為單獨的圖片來指示已發送隔行掃描視頻或通過將每個隔行掃描幀編碼為HEVC編碼圖片指示它已被發送。這提供了一種對隔行掃描視頻進行編碼的有效方法，而不需要支援用於它的特殊解碼處理。

1.1.H.264/AVC中的分割樹結構的示例

先前標準中的編碼層的核心是巨集塊，其包含亮度樣本的16×16塊，並且在4：2：0顏色採樣的通常情況下，包含色度樣本的兩個對應的8×8塊。

幀內編碼塊使用空間預測來利用像素之間的空間相關性。定義了兩個分割：16×16和4×4。

幀間編碼塊通過估計圖片之間的運動來使用時間預測而不是空間預測。可以針對16×16巨集塊或其任何子巨集塊分割獨立地估計運動：16×8，8×16，8×8，8×4，4×8，4×4，如圖2中所示。每個子巨集塊分割僅允許一個運動向量(MV)。

1.2 HEVC中的分割樹結構的示例

在HEVC中，通過使用表示為編碼樹的四叉樹結構將編碼樹單元(CTU)劃分為編碼單元(CU)以適應各種局部特性。使用圖片間(時間)還是圖片內(空間)預測來編碼圖片區域的決定是在CU級別進行的。可以根據PU劃分類型將每個CU進一步劃分為一個，兩個或四個預測單元(PU)。在一個PU內部，應用相同的預測處理，並且基於PU將相關信息傳輸到解碼器。在通過應用基於PU劃分類型的預測處理來獲得殘差塊之後，可以根據類似於CU的編碼樹的另一種四叉樹結構將CU分割為變換單元(TU)。HEVC結構的關鍵特徵之一是 它具有多個分割概念，包括CU，PU和TU。

使用HEVC的混合視頻編碼中涉及的某些特徵包括：

(1)編碼樹單元(CTU)和編碼樹塊(CTB)結構：HEVC中的類似結構是編碼樹單元(CTU)，其具有由編碼器選擇的尺寸並且可以大於傳統的巨集塊。CTU由亮度CTB和對應色度CTB和語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後HEVC支援使用樹結構和類似四叉樹的信號通知將CTB劃分為更小的塊。

(2)編碼單元(CU)和編碼塊(CB)：CTU的四叉樹語法指定其亮度和色度CB的尺寸和位置。四叉樹的根與CTU關聯。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。將CTU劃分成亮度和色度CB被聯合信號通知。一個亮度CB和通常兩個色度CB以及關聯的語法形成編碼單元(CU)。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有關聯的分割為預測單元(PU)和變換單元(TU)的樹。

(3)預測單元和預測塊(PB)：在CU級別做出是使用幀間圖片還是幀內圖片預測來編碼圖片區域的決定。PU分割結構的根在CU級別。取決於基本預測類型決定，然後亮度和色度CB可以進一步在尺寸上劃分並從亮度和色度預測塊(PB)進行預測。HEVC支援從64×64下至4×4樣本的可變PB尺寸。圖3示出了M×M CU的允許PB的示例。

(4)變換單元(Tu)和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級別。亮度CB殘差可以與亮度變換塊(TB)相同，或者可 以進一步劃分成較小的亮度TB。這同樣適用於色度TB。類似於離散餘弦變換(DCT)的整數基函數被定義為方形TB尺寸4×4，8×8，16×16和32×32。對於亮度幀內圖片預測殘差的4×4變換，交替地指定從離散正弦變換(DST)的形式導出的整數變換。

1.2.1.樹狀結構分割為TB和TU的示例

對於殘差編碼，可以將CB遞迴地劃分為變換塊(TB)。劃分由殘差四叉樹信號通知。僅指定了方形CB和TB劃分，其中塊可以遞迴地劃分成象限，如圖4A和4B中所示。對於尺寸為M×M的給定亮度CB，標誌信號通知指示它是否被劃分為尺寸為M/2×M/2的四個塊。如果可能進一步劃分，如序列參數集(SPS)中指示的殘差四叉樹的最大深度信號通知的，則為每個象限分配一個標誌，所述標誌指示它是否被劃分為四個象限。由殘差四叉樹產生的葉節點塊是通過變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，劃分是隱含的。當劃分將導致亮度TB尺寸小於指示的最小值時，不劃分是隱含的。在每個維度中色度TB尺寸是亮度TB尺寸的一半，除了當亮度TB尺寸為4×4時，在該情況下單個4×4色度TB用於由四個4×4亮度TB覆蓋的區域。在圖片內預測的CU的情況下，最近相鄰TB(在CB內或外)的解碼樣本用作用於幀內圖片預測的參考資料。

與先前的標準相反，HEVC設計允許TB跨越圖片間預測CU的多個PB以最大化四叉樹結構的TB劃分的潛在編碼效率益處。

1.2.2.父節點和子節點

根據四叉樹結構劃分CTB，其節點是編碼單元。四叉樹結構中的多 個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點(即，葉節點不被進一步分割)。非葉節點包括樹結構的根節點。根節點對應於視頻資料的初始視頻塊(例如，CTB)。對於多個節點中的每個相應的非根節點，相應的非根節點對應於視頻塊，所述視頻塊是與相應的非根節點的樹結構中的父節點對應的視頻塊的子塊。多個非葉節點中的每個相應的非葉節點在樹結構中具有一個或多個子節點。

1.3.聯合探索模型(JEM)中具有較大CTU的四叉樹加二叉樹塊結構的示例

在一些實施例中，使用稱為聯合探索模型(JEM)的參考軟體來探索未來的視頻編碼技術。除二叉樹結構外，JEM還描述了四叉樹加二叉樹(QTBT)和三叉樹(TT)結構。

1.3.1.QTBT塊分割結構的示例

與HEVC相反，QTBT結構消除了多個分割類型的概念，即，它消除了CU，PU和TU概念的分離，並且支持CU分割形狀的更多靈活性。在QTBT塊結構中，CU可以具有方形或矩形形狀。如圖5A中所示，首先由四叉樹結構分割編碼樹單元(CTU)。四叉樹葉節點進一步由二叉樹結構分割。在二叉樹劃分中有兩種劃分類型，對稱水平劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元(CU)，並且該分割用於預測和變換處理而無需任何進一步劃分。這意味著CU，PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊(CB)組成，例如，一個CU在4：2：0色度格式的P和B條帶的情況下包含一個亮度CB和兩個色度CB，並且有時由單個分量的CB組成，例如，一個CU在I條帶的情況下包含僅一個亮度CB或僅兩個色度CB。

為QTBT劃分方案定義以下參數：

-- CTU尺寸：四叉樹的根節點尺寸，與HEVC中相同的概念

-- MinQTSize：最小允許的四叉樹葉節點尺寸

-- MaxBTSize：最大允許的二叉樹根節點尺寸

-- MaxBTDepth：最大允許的二叉樹深度

-- MinBTSize：最小允許的二叉樹葉節點尺寸

在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize(寬度和高度)被設置為4×4，並且MaxBTDepth被設置為4。四叉樹劃分首先應用於CTU以產生四叉樹葉節點。四叉樹葉節點可以具有從16×16(即，MinQTSize)到128×128(即，CTU尺寸)的尺寸。如果四叉樹葉節點是128×128，則由於尺寸超過MaxBTSize(即64×64)，它將不會由二叉樹進一步劃分。否則，四叉樹葉節點可以由二叉樹進一步劃分。因此，四叉樹葉節點也是二叉樹的根節點，並且它具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth(即4)時，不考慮進一步的劃分。當二叉樹節點的寬度等於MinBTSize(即4)時，不考慮進一步的水平劃分。類似地，當二叉樹節點的高度等於MinBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點而無需任何進一步的劃分。在JEM中，最大CTU尺寸為256×256亮度樣本。

圖5A示出了通過使用QTBT進行塊劃分的示例，並且圖5B示出了對應的樹表示。實線表示四叉樹劃分並且虛線表示二叉樹劃分。在二叉樹的每個劃 分(即，非葉)節點中，一個標誌被信號通知以指示使用哪種劃分類型(即，水平或垂直)，其中0表示水平劃分並且1表示垂直劃分。對於四叉樹分割，不需要指示劃分類型，原因是四叉樹劃分總是水平地和垂直地劃分塊以產生具有相同尺寸的4個子塊。

另外，QTBT方案支援亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B條帶，一個CTU中的亮度和色度CTB共用相同的QTBT結構。然而，對於I條帶，亮度CTB通過QTBT結構分割為CU，並且色度CTB通過另一QTBT結構分割為色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P或B條帶中的CU由所有三個顏色分量的編碼塊組成。

在HEVC中，限制小塊的幀間預測以減少運動補償的記憶體訪問，使得4×8和8×4塊不支持雙向預測，並且4×4塊不支援幀間預測。在JEM的QTBT中，這些限制被去除。

1.4.用於通用視頻編碼(VVC)的三叉樹(TT)

圖6A示出了四叉樹(QT)劃分的示例，並且圖6B和6C分別示出了垂直和水平二叉樹(BT)劃分的示例。在一些實施例中，除了四叉樹和二叉樹之外，還支持三叉樹(TT)分割，例如水平和垂直中心側三叉樹(如圖6D和6E中所示)。

在一些實現方式中，支援兩級樹：區域樹(四叉樹)和預測樹(二叉樹或三叉樹)。首先通過區域樹(RT)劃分CTU。可以使用預測樹(PT)進一步劃分RT葉。還可以用PT進一步劃分PT葉片直到達到最大PT深度。PT葉是基本編碼單元。為方便起見，它仍被稱為CU。CU無法進一步劃分。預測和變換都以 與JEM相同的方式應用於CU。整個分割結構稱為“多類型樹”。

1.5.替代視頻編碼技術中的分割結構的示例

在一些實施例中，支持稱為多叉樹類型(MTT)的樹結構，其是QTBT的一般化。在QTBT中，如圖7中所示，首先由四叉樹結構分割編碼樹單元(CTU)。四叉樹葉節點進一步由二叉樹結構分割。

MTT的結構由兩種類型的樹節點構成：區域樹(RT)和預測樹(PT)，支援九種類型的分割，如圖8A-8I中所示。區域樹可以遞迴地將CTU劃分成方塊，直到4×4尺寸的區域樹葉節點。在區域樹中的每個節點處，可以從三種樹類型之一形成預測樹：二叉樹，三叉樹和非對稱二叉樹。在PT劃分中，禁止在預測樹的分支中具有四叉樹分割。與JEM中一樣，亮度樹和色度樹在I條帶中分離。

2 HEVC/H.265中的幀間預測的示例

多年來，視頻編碼標準已得到顯著改進，並且現在部分地提供高編碼效率和對更高分辨率的支援。諸如HEVC和H.265的最新標準基於混合視頻編碼結構，其中利用時間預測加變換編碼。

2.1 預測模式的示例

每個幀間預測的預測單元(PU)具有用於一個或兩個參考圖片列表的運動參數。在一些實施例中，運動參數包括運動向量和參考圖片索引。在其他實施例中，還可以使用inter_pred_idc對兩個參考圖片列表中的一個的使用信號通知。在另外的其他實施例中，運動向量可以被明確地編碼為相對於預測器的增量。

當用跳過模式(skip mode)對CU進行編碼時，一個PU與CU關聯，並且不存在顯著的殘差係數，沒有編碼的運動向量變化量或參考圖片索引。指定Merge模式，由此從包括空間和時間候選的相鄰PU獲得當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，不僅適用於跳過模式。Merge模式的替代方案是運動參數的顯式傳輸，其中對於每個PU，明確地對運動向量，每個參考圖片列表的對應參考圖片索引和參考圖片列表使用信號通知。

在H.264/MPEG-4 AVC標準中，預測類型的細微性降低到“條帶級別”。條帶是幀的空間上不同的區域，其與同一幀中的任何其他區域分開編碼。當信號指示要使用兩個參考圖片列表中的一個時，PU從一個運動向量和參考索引產生。這被稱為“單向預測”。對於P條帶和B條帶都可以進行單向預測。當信號指示要使用兩個參考圖片列表時，PU從兩個運動向量和參考索引產生。這被稱為“雙向預測”。雙向預測僅適用於B條帶。

2.1.1 構建Merge模式的候選的實施例

當使用Merge模式預測PU時，指向Merge候選列表中的條目的索引從位元流解析並用於檢索運動信息。可以根據以下步驟序列總結該列表的構建：步驟1：初始候選推導；步驟1.1：空間候選推導；步驟1.2：空間候選的冗餘校驗；步驟1.3：時間候選推導；步驟2：附加候選插入；步驟2.1：雙向預測候選的創建；及 步驟2.2：零運動候選的插入。

圖9示出了基於上面總結的步驟序列構建Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選中選擇最多一個Merge候選。由於在解碼器處假設每個PU的候選的恆定數量，因此當候選的數量未達到在條帶報頭中信號通知的Merge候選的最大數量(MaxNumMergeCand)時產生附加候選。由於候選的數量是恆定的，因此使用截斷一元碼二值化(TU)來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選列表相同。

2.1.2 構建空間Merge候選

在空間Merge候選的推導中，在位於圖10中描繪的位置的候選中選擇最多四個Merge候選。推導的順序是A1，B1，B0，A0和B2。僅當位置A1，B1，B0，A0的任何PU不可用(例如，因為它屬於另一條帶(slice)或片(tile))或幀內編碼時才考慮位置B2。在添加位置A1處的候選之後，對剩餘候選的添加進行冗餘校驗，其確保具有相同運動信息的候選從列表排除，使得提高編碼效率。

為了降低計算複雜度，在所述的冗餘校驗中並未考慮所有可能的候選對。而是僅考慮與圖11中的箭頭連結的對，並且如果用於冗餘校驗的對應候選不具有相同的運動信息，則僅將候選添加到列表。重複運動信息的另一來源是與不同於2N×2N的分割關聯的“第二PU”。作為示例，圖12A和12B分別描繪了針對N×2N和2N×N的情況的第二PU。當當前PU被分割為N×2N時，位置A1處的候選不被考慮用於列表構建。在一些實施例中，添加該候選可以導致具有相同 運動信息的兩個預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。類似地，當當前PU被分割為2N×N時，不考慮位置B₁。

2.1.3 構建時間Merge候選

在該步驟中，僅將一個候選添加到列表。特別地，在該時間Merge候選的推導中，基於屬於與給定參考圖片列表內的當前圖片具有最小圖片順序計數(POC)差的圖片的共位PU來導出縮放運動向量。在條帶報頭中明確地對要用於導出共位PU的參考圖片列表信號通知。

圖13示出了用於時間Merge候選(作為虛線)的縮放運動向量的推導的示例，其使用POC距離tb和td從共位PU的運動向量縮放，其中tb被定義為當前圖片的參考圖片和當前圖片之間的POC差，並且td被定義為共位圖片的參考圖片和共位圖片之間的POC差。時間Merge候選的參考圖片索引被設定為等於零。對於B條帶，獲得兩個運動向量，一個用於參考圖片列表0，另一個用於參考圖片列表1，並且組合以獲得雙向預測Merge候選。

在屬於參考幀的共位PU(Y)中，在候選C₀和C₁之間選擇時間候選的位置，如圖14中所示。如果位置C₀處的PU不可用，幀內編碼，或在當前CTU之外，則使用位置C₁。否則，位置C₀用於推導時間Merge候選。

2.1.4 構建附加類型的Merge候選

除了空時Merge候選之外，存在兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。通過利用空時Merge候選來產生組合雙向預測Merge候選。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考 圖片列表運動參數與另一個的第二參考圖片列表運動參數組合來產生組合雙向預測候選。如果這兩個元組提供不同的運動假設，則它們將形成新的雙向預測候選。

圖15示出了該處理的示例，其中具有mvL0和refIdxL0或mvL1和refIdxL1的原始列表(710，左側)中的兩個候選用於創建添加到最後列表(720，右側)的組合雙向預測Merge候選。

插入零運動候選以填充Merge候選列表中的剩餘條目，並因此達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，其從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量對於單向和雙向預測分別是一和二。在一些實施例中，不對這些候選執行冗餘校驗。

2.1.5 並行處理的運動估計區域的示例

為了加速編碼處理，可以並存執行運動估計，由此同時導出給定區域內的所有預測單元的運動向量。從空間鄰域導出Merge候選可能干擾並行處理，原因是一個預測單元不能從相鄰PU導出運動參數，直到其關聯的運動估計完成。為了減輕編碼效率和處理等待時間之間的折衷，可以定義運動估計區域(MER)。可以使用“log2_parallel_merge_level_minus2”語法元素在圖片參數集(PPS)中對MER的尺寸信號通知。當定義MER時，屬於相同區域的Merge候選被標記為不可用，並且因此在列表構造中不予考慮。

表1中示出了圖片參數集(PPS)原始位元組序列有效載荷(RBSP) 語法，其中log2_parallel_merge_level_minus2加2指定變數Log2ParMrgLevel的值，所述變數在用於Merge模式的亮度運動向量的導出過程以及用於空間Merge候選的推導過程中使用，如現有視頻編碼標準中規定的。log2_parallel_merge_level_minus2的值應當在0至CtbLog2SizeY-2的範圍內，包括0和CtbLog2SizeY-2。

變數Log2ParMrgLevel如下導出：Log2ParMrgLevel=log2_parallel_merge_level_minus2+2

應當注意，Log2ParMrgLevel的值指示Merge候選列表的並行推導的內置能力。例如，當Log2ParMrgLevel等於6時，可以並行地導出包含在64×64塊中的所有預測單元(PU)和編碼單元(CU)的Merge候選列表。

表1：一般圖片參數集RBSP語法

2.2 AMVP模式下的運動向量預測的實施例

運動向量預測利用運動向量與相鄰PU的空時相關性，其用於運動參數的顯式傳輸。它通過首先檢查左上方時間相鄰的PU位置的可用性，去除冗餘候選並添加零向量以使候選列表為恆定長度來構建運動向量候選列表。然後， 編碼器可以從候選列表選擇最佳預測器，並且傳送指示所選候選的對應索引。與Merge索引信號類似，使用截斷一元碼來編碼最佳運動向量候選的索引。

2.2.1 構造運動向量預測候選的示例

圖16總結了用於運動向量預測候選的推導過程，並且可以針對每個參考圖片列表以refidx作為輸入來實現。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於五個不同位置的每個PU的運動向量導出兩個運動向量候選，如先前在圖10中所示。

對於時間運動向量候選推導，從兩個候選選擇一個運動向量候選，其基於兩個不同的共位位置而導出。在製作空時候選的第一列表之後，去除列表中的重複運動向量候選。如果潛在候選的數量大於二，則從列表去除其相關參考圖片列表內的參考圖片索引大於1的運動向量候選。如果空時運動向量候選的數量小於2，則將附加零運動向量候選添加到列表。

2.2.2 構建空間運動向量候選

在空間運動向量候選的推導中，在五個潛在候選中考慮最多兩個候選，其從位於如先前圖10中所示的位置的PU導出，那些位置與運動Merge的位置相同。當前PU的左側的推導順序被定義為A0，A1，縮放A0和縮放A1。當前PU的上側的導出順序被定義為B0，B1，B2，縮放B0，縮放B1，縮放B2。因此對於每一側，存在可用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況總結如下：

-- 無空間縮放

(1)相同的參考圖片列表，以及相同的參考圖片索引(相同的POC)

(2)不同的參考圖片列表，但是相同的參考圖片(相同的POC)

-- 空間縮放

(3)相同的參考圖片列表，但是不同的參考圖片(不同的POC)

(4)不同的參考圖片列表，以及不同的參考圖片(不同的POC)

首先檢查無空間縮放情況，接著檢查允許空間縮放的情況。當POC在相鄰PU的參考圖片和當前PU的參考圖片之間不同時，考慮空間縮放而不管參考圖片列表。如果左候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助左和上MV候選的並行推導。否則，不允許上述運動向量的空間縮放。

如圖17中的示例中所示，對於空間縮放情況，以與時間縮放類似的方式縮放相鄰PU的運動向量。一個區別是參考圖片列表和當前PU的索引被給出作為輸入；實際縮放處理與時間縮放處理相同。

2.2.3 構建時間運動向量候選

除了參考圖片索引推導之外，用於推導時間Merge候選的所有過程與用於推導空間運動向量候選的所有過程相同(如圖14中的示例中所示)。在一些實施例中，參考圖片索引被信號通知到解碼器。

2.2.4 Merge/AMVP信息的信號

對於AMVP模式，可以在位元流對四個部分信號通知，例如，預測方 向，參考索引，MVD和mv預測器候選索引，其在表2-4中所示的語法的上下文中描述。而對於Merge模式，可能只需要對Merge索引信號通知。

表3：預測單元語法

表4：運動向量差語法

對應的語義包括：five_minus_max_num_merge_cand指定從5減去的條帶中支持的Merge MVP候選的最大數量。Merge MVP候選的最大數量MaxNumMergeCand如下導出：MaxNumMergeCand=5-five_minus_max_num_merge_cand

MaxNumMergeCand的值應當在1至5的範圍內，包括1和5。

merge_flag[x0][y0]指定是否從相鄰幀間預測分割推斷當前預測單元的幀間預測參數。陣列索引x0，y0指定所考慮的預測塊的左上亮度樣本相對于圖片的左上亮度樣本的位置(x0，y0)。

當merge_flag[x0][y0]不存在時，推斷如下：

-- 如果CuPredMode[x0][y0]等於MODE_SKIP，則推斷merge_flag[x0][y0]等於1。

-- 否則，推斷merge_flag[x0][y0]等於0。

merge_idx[x0][y0]指定Merge候選列表的Merge候選索引，其中x0，y0 指定所考慮的預測塊的左上亮度樣本相對于圖片的左上亮度樣本的位置(x0，y0)。

3.聯合探索模型(JEM)中的幀間預測方法的示例

在一些實施例中，使用稱為聯合探索模型(JEM)的參考軟體來探索未來的視頻編碼技術。在JEM中，在若干編碼工具中採用基於子塊的預測，例如仿射預測，替代時間運動向量預測(ATMVP)，空時運動向量預測(STMVP)，雙向光流(BIO)，畫面播放速率上轉換(FRUC)，局部自適應運動向量分辨率(LAMVR)，重疊塊運動補償(OBMC)，局部照明補償(LIC)和解碼器側運動向量細化(DMVR)。

3.1 基於子CU的運動向量預測的示例

在具有四叉樹加二叉樹(QTBT)的JEM中，每個CU可以具有用於每個預測方向的至多一組運動參數。在一些實施例中，通過將大CU劃分為子CU並且導出大CU的所有子CU的運動信息，在編碼器中考慮兩個子CU級運動向量預測方法。替代時間運動向量預測(ATMVP)方法允許每個CU從比共位(collocated)參考圖片中的當前CU小的多個塊提取多組運動信息。在空時運動向量預測(STMVP)方法中，通過使用時間運動向量預測器和空間相鄰運動向量來遞迴地導出子CU的運動向量。在一些實施例中，並且為了保留用於子CU運動預測的更準確的運動場，可以禁用參考幀的運動壓縮。

3.1.1 替代時間運動向量預測(ATMVP)的示例

在ATMVP方法中，通過從小於當前CU的塊提取多組運動信息(包括運動向量和參考索引)來修改時間運動向量預測(TMVP)方法。

圖18示出了用於CU 1800的ATMVP運動預測處理的示例。ATMVP方法以兩個步驟預測CU 1800內的子CU 1801的運動向量。第一步驟是用時間向量識別參考圖片1850中的對應塊1851。參考圖片1850也稱為運動源圖片。第二步驟是將當前CU 1800劃分成子CU 1801，並從對應於每個子CU的塊獲得每個子CU的運動向量以及參考索引。

在第一步驟中，參考圖片1850和對應塊由當前CU 1800的空間相鄰塊的運動信息確定。為了避免相鄰塊的重複掃描處理，使用當前CU 1800的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關參考索引被設定為時間向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應塊，其中對應塊(有時稱為共位塊)總是相對於當前CU處於右下或中心位置。

在一個示例中，如果第一Merge候選來自左相鄰塊(即，圖19中的A1)，則利用關聯的MV和參考圖片來識別源塊和源圖片。

在第二步驟中，通過向當前CU的座標添加時間向量，由運動源圖片1850中的時間向量識別子CU 1851的對應塊。對於每個子CU，其對應塊的運動信息(例如，覆蓋中心樣本的最小運動網格)用於導出子CU的運動信息。在識別出對應的N×N塊的運動信息之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的運動向量和參考索引，其中運動縮放和其他過程適用。例如，解碼器檢查是否滿足低延遲條件(例如，當前圖片的所有參考圖片的POC小於當前圖片的POC)並且可能使用運動向量MVx(例如，對應於參考圖片列表X的運動向量)來預測每個子CU的運動向量MVy(例如，其中X等於0或1並且Y等於1-X)。

3.1.2 空時運動向量預測(STMVP)示例

在STMVP方法中，按照光柵掃描順序遞迴地導出子CU的運動向量。圖20示出了具有四個子塊的一個CU和相鄰塊的示例。考慮包括四個4×4子CU A(2001)，B(2002)，C(2003)和D(2004)的8×8CU 2000。當前幀中的相鄰4×4塊標記為a(2011)，b(2012)，c(2013)和d(2014)。

子CU A的運動推導通過識別其兩個空間鄰域開始。第一鄰域是子CU A 1101上方的N×N塊(塊c 2013)。如果該塊c(2013)不可用或幀內編碼，則檢查子CU A(2001)上方的其他N×N塊(從左到右，從塊c 2013開始)。第二鄰域是子CU A 2001左側的塊(塊b 2012)。如果塊b(2012)不可用或幀內編碼，則檢查子CU A 2001左側的其他塊(從上到下，從塊b 2012開始)。從每個列表的相鄰塊獲得的運動信息被縮放到給定列表的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來導出子塊A 2001的時間運動向量預測器(TMVP)。塊D 2004處的共位塊的運動信息被提取並相應地縮放。最後，在檢索和縮放運動信息之後，對每個參考列表分別平均所有可用的運動向量。將平均運動向量指定為當前子CU的運動向量。

3.1.3 子CU運動預測模式信號的示例

在一些實施例中，子CU模式被啟用作為附加Merge候選，並且不需要附加的語法元素來對模式信號通知。添加兩個附加Merge候選以合併每個CU的候選列表以表示ATMVP模式和STMVP模式。在其他實施例中，如果序列參數集指示啟用了ATMVP和STMVP，則可以使用多達七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P或B條帶中的每 個CU，可能需要兩個附加Merge候選再進行兩次以上的RD檢查。在一些實施例中，例如JEM，Merge索引的所有二進位位元(bin)由CABAC(基於上下文的自適應二進位算術編碼)進行上下文編碼。在其他實施例中，例如，HEVC，僅對第一二進位位元進行上下文編碼，並且對剩餘二進位位元進行上下文旁路編碼。

3.2 自適應運動向量差分辨率的示例

在一些實施例中，當條帶報頭中的use_integer_mv_flag等於0時，以四分之一亮度樣本為單位對運動向量差(MVD)(在PU的運動向量和預測運動向量之間)信號通知。在JEM中，引入了局部自適應運動向量分辨率(LAMVR)。在JEM中，MVD可以以四分之一亮度樣本，整數亮度樣本或四亮度樣本為單位進行編碼。在編碼單元(CU)級別控制MVD分辨率，並且對於具有至少一個非零MVD分量的每個CU有條件地對MVD分辨率標誌信號通知。

對於具有至少一個非零MVD分量的CU，對第一標誌信號通知以指示是否在CU中使用四分之一亮度樣本MV精度。當第一標誌(等於1)指示未使用四分之一亮度樣本MV精度時，對另一標誌信號通知以指示是使用整數亮度樣本MV精度還是四亮度樣本MV精度。

當CU的第一MVD分辨率標誌為零或未針對CU編碼(意味著CU中的所有MVD均為零)時，四分之一亮度樣本MV分辨率用於CU。當CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，CU的AMVP候選列表中的MVP被取整到對應精度。

在編碼器中，CU級RD檢查用於確定將哪個MVD分辨率用於CU。也 就是說，對於每個MVD分辨率，執行CU級RD檢查三次。為了加快編碼器速度，在JEM中應用以下編碼方案：

-- 在具有正常四分之一亮度樣本MVD分辨率的CU的RD檢查期間，存儲當前CU的運動信息(整數亮度樣本精度)。存儲的運動信息(在取整之後)用作在RD檢查期間針對具有整數亮度樣本和4亮度樣本MVD分辨率的相同CU的進一步小範圍運動向量細化的起始點，使得耗時的運動估計處理不重複三次。

-- 有條件地調用具有4亮度樣本MVD分辨率的CU的RD檢查。對於CU，當RD成本整數亮度樣本MVD分辨率遠大於四分之一亮度樣本MVD分辨率時，跳過針對CU的4亮度樣本MVD分辨率的RD檢查。

3.2.1 AMVP候選列表構建的示例

在JEM中，該過程類似於HEVC設計。然而，當當前塊選擇較低的MV精度(例如，整數精度)時，可以應用取整操作。例如，可以通過將運動向量右移或左移位到當前塊的運動向量精度來執行取整運動向量。在當前實現方式中，在從空間位置選擇2個候選之後，如果兩者都可用，則將這兩個候選取整，然後進行修剪。

3.3 模式匹配運動向量推導(PMMVD)的示例

PMMVD模式是基於畫面播放速率上轉換(FRUC)方法的特殊Merge模式。利用該模式，塊的運動信息不信號通知，而是在解碼器端導出。

對於CU，當其Merge標誌為真時，可以對FRUC標誌信號通知。當FRUC標誌為假時，可以對Merge索引信號通知並且使用常規Merge模式。當FRUC標誌 為真時，可以對另一個FRUC模式標誌信號通知來指示將使用哪種方法(例如，雙邊匹配或模板匹配)來導出該塊的運動信息。

在編碼器端，基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。例如，通過使用RD成本選擇來檢查CU的多個匹配模式(例如，雙邊匹配和模板匹配)。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麼對於CU，FRUC標誌設置為真，並且使用相關的匹配模式。

通常，FRUC Merge模式中的運動推導處理有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動細化。在CU級，基於雙邊匹配或模板匹配，導出整個CU的初始運動向量。首先，產生MV候選列表，並且選擇導致最低匹配成本的候選作為進一步CU級細化的起點。然後在起點附近執行基於雙邊匹配或模板匹配的局部搜索。將最小匹配成本的MV結果作為整個CU的MV值。隨後，以導出的CU運動向量為起點，進一步在子CU級細化運動信息。

例如，對於W×H CU運動信息推導執行以下推導過程。在第一階段，推導出整個W×H CU的MV。在第二階段，該CU進一步被劃分為M×M子CU。M的值按照等式(3)計算，D是預先定義的劃分深度，在JEM中默認設置為3。然後導出每個子CU的MV。

圖21示出了在畫面播放速率上轉換(FRUC)方法中使用的雙邊匹配 的示例。通過在兩個不同的參考圖片(2110，2111)中沿當前CU(2100)的運動軌跡找到兩個塊之間最接近的匹配，使用雙邊匹配來獲得當前CU的運動信息。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0(2101)和MV1(2102)與當前圖片和兩個參考圖片之間的時間距離(例如，TD0(2103)和TD1(2104))成正比。在一些實施例中，當當前圖片2100暫時位於兩個參考圖片(2110，2111)之間並且當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

圖22示出了在畫面播放速率上轉換(FRUC)方法中使用的模板匹配的示例。模板匹配可以用於通過找到當前圖片中的模板(例如，當前CU的頂部和/或左側相鄰塊)與參考圖片2210中的塊(例如，與模板尺寸相同)之間的最接近匹配來獲取當前CU 2200的運動信息。除了上述的FRUC Merge模式外，模板匹配也可以應用於AMVP模式。在JEM和HEVC中，AMVP都具有兩個候選。通過模板匹配方法，可以導出新的候選。如果通過模板匹配新導出的候選與第一個現有的AMVP候選不同，則將其插入AMVP候選列表的最開始處，並且然後將列表尺寸設置為2(例如，通過刪除第二個現有AMVP候選)。當應用於AMVP模式時，僅應用CU級搜索。

CU級設置的MV候選可以包括以下：(1)原始AMVP候選，如果當前CU處於AMVP模式，(2)所有MERGE候選，(3)插值MV場(field)(稍後描述)中的數個MV，以及頂部和左側相鄰運動向量。

當使用雙邊匹配時，Merge候選的每個有效MV可以用作輸入，以產生假設為雙邊匹配的MV對。例如，Merge候選在參考列表A處的一個有效MV為 (MVa，ref_a)。然後在另一個參考列表B中找到其配對的雙向MV的參考圖片ref_b，使得ref_a和ref_b在時間上位於當前圖片的不同側。如果參考列表B中的參考ref_b不可用，則將參考ref_b確定為與參考ref_a不同的參考，並且其到當前圖片的時間距離是列表B中的最小距離。確定參考ref_b後，通過基於當前圖片和參考ref_a、參考ref_b之間的時間距離縮放MVa導出MVb。

在一些實現方式中，還可以將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置(0，0)，(W/2，0)，(0，H/2)和(W/2，H/2)處插值的MV。當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV候選集。在一些實現方式中，在CU級，可以將AMVP CU的15個MV和MergeCU的13個MV添加到候選列表中。

在子CU級設置的MV候選包括從CU級搜索確定的MV，(2)頂部、左側、左上方和右上方相鄰的MV，(3)參考圖片中共位的MV的縮放版本，(4)一個或多個ATMVP候選(例如，最多四個)和/或(5)一個或多個STMVP候選(例如，最多四個)。來自參考圖片的縮放MV如下導出。兩個列表中的參考圖片都被遍歷。參考圖片中子CU的共位位置處的MV被縮放為起始CU級MV的參考。ATMVP和STMVP候選可以是前四個。在子CU級，一個或多個MV(例如，最多17個)被添加到候選列表中。

插值MV場的產生。在對幀進行編碼之前，基於單向ME為整個圖片產生插值運動場。然後，運動場可以稍後用作CU級或子CU級MV候選。

在一些實施例中，兩個參考列表中每個參考圖片的運動場在4×4的塊 級別上被遍歷。圖23示出了在FRUC方法中的單向運動估計(ME)900的示例。對於每個4×4塊，如果與塊關聯的運動通過當前圖片中的4×4塊，並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片(與HEVC中TMVP的MV縮放相同方式)，並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。

插值和匹配成本。當運動向量指向分數採樣位置時，需要運動補償插值。為了降低複雜度，對雙邊匹配和模板匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。

匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本可以是雙邊匹配或模板匹配的絕對和差(SAD)。在確定起始MV後，雙邊匹配在子CU級搜索的匹配成本C如下計算： C=SAD+w．(|MV _x -MV _x ^s |+|MV _y -MV _y ^s |) 等式(4)

這裡，w是權重係數。在一些實施例中，w可以被經驗地設置為4。MV和MVs分別指示當前MV和起始MV。仍然可以將SAD用作模式匹配在子CU級搜索的匹配成本。

在FRUC模式下，MV通過僅使用亮度樣本導出。導出的運動將用於亮度和色度，用於MC幀間預測。確定MV後，對亮度使用8抽頭(8-taps)插值濾波器並且對色度使用4抽頭(4-taps)插值濾波器執行最終MC。

MV細化是基於模式的MV搜索，以雙邊匹配成本或模板匹配成本為標準。在JEM中，支援兩種搜索模式-無限制中心偏置菱形搜索(UCBDS)和自適應交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣本MV精度下直接搜索MV，接著是八分之一亮度樣本MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8個亮度樣本。

在雙邊匹配Merge模式下，應用雙向預測，因為CU的運動信息是基於在兩個不同的參考圖片中沿著當前CU運動軌跡的兩個塊之間的最近匹配得出的。在模板匹配MERGE模式下，編碼器可以從列表0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇可以基於如下的模板匹配成本：如果costBi<=factor*min(cost0,cost1)

則使用雙向預測；否則，如果cost0<=cost1則使用列表0中的單向預測；否則，使用列表1中的單向預測；這裡，cost0是列表0模板匹配的SAD，cost1是列表1模板匹配的SAD，並且costBi是雙邊模板匹配的SAD。例如，當因數的值等於1.25時，意味著選擇處理朝雙向預測偏移。幀間預測方向選擇可應用於CU級模板匹配處理。

3.4 解碼器側運動向量細化(DMVR)的示例

在雙向預測操作中，為了預測一個塊區域，將使用列表0的運動向量 (MV)和列表1的MV分別形成的兩個預測塊組合以形成單個預測信號。在解碼器側運動向量細化(DMVR)方法中，通過雙邊模板匹配處理進一步細化雙向預測的兩個運動向量。雙邊模板匹配在解碼器中應用以在雙向模板和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而不傳輸附加的運動信息。

在DMVR中，分別從列表0的初始MV0和列表1的MV1產生雙向模板作為兩個預測塊的加權組合(即，平均)，如圖24中所示。模板匹配操作包括計算產生的模板和參考圖片中的樣本區域(初始預測塊周圍)之間的成本度量。對於兩個參考圖片中的每一個，產生最小模板成本的MV被視為該列表的更新MV以替換原始MV。在JEM中，對於每個列表搜索九個MV候選。九個MV候選包括原始MV和8個周圍MV，其中一個亮度樣本在水平或垂直方向或兩個方向上偏移到原始MV。最後，兩個新的MV，即如圖24中所示的MV0'和MV1'，用於產生最終的雙向預測結果。絕對差和(SAD)用作成本度量。

DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片並且另一個MV來自未來的參考圖片，而不傳輸附加的語法元素。在JEM中，當針對CU啟用LIC，仿射運動，FRUC或子CU Merge候選時，不應用DMVR。

3.5 局部照明補償

局部照明補償(IC)基於用於照明變化的線性模型，使用縮放因數a和偏移b。並且針對每個幀間模式編碼的編碼單元(CU)自適應地啟用或禁用它。

當IC應用於CU時，採用最小平方誤差方法以通過使用當前CU的相鄰 樣本及其對應的參考樣本來導出參數a和b。更具體地，如圖25中所示，使用CU的子採樣(2：1子採樣)相鄰採樣和參考圖片中的對應採樣(由當前CU或子CU的運動信息識別)。導出IC參數並分別應用於每個預測方向。

當以Merge模式對CU進行編碼時，以與Merge模式中的運動信息複製類似的方式從相鄰塊複製IC標誌；否則，對於CU對IC標誌信號通知指示LIC是否應用。

當對於圖片啟用IC時，需要附加CU級RD檢查以確定是否對CU應用LIC。當為CU啟用IC時，分別對於整數像素運動搜索和分數像素運動搜索，使用均值移除絕對差和(MR-SAD)和均值移除絕對哈達瑪變換差和(MR-SATD)代替SAD和SATD。

為了降低編碼複雜度，在JEM中應用以下編碼方案。當當前圖片與其參考圖片之間沒有明顯的照明變化時，對整個圖片禁用IC。為了識別該情況，在編碼器處計算當前圖片和當前圖片的每個參考圖片的長條圖。如果當前圖片和當前圖片的每個參考圖片之間的長條圖差異小於給定閾值，則對於當前圖片禁用IC；否則，對於當前圖片將啟用IC。

3.6 具有雙邊匹配細化的Merge/跳過模式的示例

首先通過將空間相鄰和時間相鄰塊的運動向量和參考索引插入具有冗餘校驗的候選列表中來構建Merge候選列表直到可用候選的數量達到最大候選尺寸19。通過根據預定插入順序插入空間候選，時間候選，仿射候選，高級時間MVP(ATMVP)候選，空間時間MVP(STMVP)候選和HEVC中使用的附 加候選(組合候選和零候選)來構建Merge/跳過模式的Merge候選列表，並且在圖25中所示的編號塊的上下文中：

(1)用於塊1-4的空間候選

(2)用於塊1-4的外推仿射候選

(3)ATMVP

(4)STMVP

(5)虛擬仿射候選

(6)空間候選(塊5)(僅在可用候選的數量小於6時使用)

(7)外推仿射候選(塊5)

(8)時間候選(如在HEVC中導出的)

(9)非相鄰空間候選，後面是外推仿射候選(塊6至49)

(10)組合候選

(11)零候選

可以注意到，除了STMVP和仿射之外，IC標誌也從Merge候選繼承。而且，對於前四個空間候選，在具有單向預測的候選之前插入雙向預測候選。

4.二值化方法和Merge索引編碼的示例

在一些實施例中，可以選擇幾種二值化方法。對於一個語法元素，應首先基於分佈將相關值二值化為二進位位元串。對於每個二進位位元，可以使用上下文或旁路編碼方法對其進行編碼。

4.1 示例性一元碼和截斷一元碼(TU)二值化處理

對於每個不帶正負號的整數值符號x

0，CABAC中的一元碼字由 x “1”位加終止“0”位組成。截斷一元碼(TU)代碼僅針對x定義，其中0

x

S，其中對於x<S，代碼由一元代碼給出，而對於x=S，終止“0”位被忽略，使得x=S的TU代碼由僅由x “1”位組成的代碼字給出。

表6：截斷一元碼二值化的二進位位元串

4.2 示例性K階Exp-Golomb(EGk)二值化處理

對於EGk二值化，具有相同代碼長度k+2‧1(x)+1的符號的數量在幾何上增長。通過反轉理想代碼長度和符號概率之間的香農關係，我們可以例如容易推斷出EG0是pdf p(x)=½‧(x+1)-2的最佳代碼，其中x

0。這意味著對於適當選擇的參數k，EGk代碼表示通常觀察到的pdf的尾部的理想無首碼代碼的相當好的一階近似。

表7：EG0二值化的二進位位元串

4.3 示例性截斷Rice(TR)二值化處理

該處理的輸入是對TR二值化，cMax和cRiceParam的請求。

該處理的輸出是將每個值symbolVal與對應的二進位位元串關聯的TR二值化。

TR 二進位位元串是首碼二進位位元串和(當存在時)尾碼二進位位元串的連接。

為了推導首碼二進位位元串，以下適用：

-- symbolVal的首碼值prefixVal如下導出： prefixVal=symbolVal>>cRiceParam

-- TR二進位位元串的首碼如下指定：如果prefixVal小於cMax>>cRiceParam，則首碼二進位位元串是由binIdx索引的長度為prefixVal+1的位串。binIdx小於prefixVal的二進位位元等於1。binIdx等於prefixVal的二進位位元等於0。

當cMax大於symbolVal且cRiceParam大於0時，存在TR二進位位元串的尾碼，並且它如下導出：

-- 尾碼值suffixVal如下導出：suffixVal=symbolVal-((prefixVal)<<cRiceParam)

-- 通過調用具有等於(1<<cRiceParam)-1的cMax值的suffixVal的固定長度(FL)二值化處理來指定TR二進位位元串的尾碼。

應當注意，對於輸入參數cRiceParam=0，TR二值化恰好是截斷一元碼二值化，並且總是使用等於被解碼的語法元素的最大可能值的cMax值來調用它。

4.4 示例性固定長度(FL)二值化處理

該處理的輸入是對FL二值化和cMax的請求。

該處理的輸出是將每個值symbolVal與對應的二進位位元串關聯的FL二值化。

通過使用符號值symbolVal的fixedLength位元不帶正負號的整數二進位位元串來構建FL二值化，其中fixedLength=Ceil(Log2(cMax+1))。FL二值化的二進位位元的索引使得binIdx=0與最高有效位相關，其中binIdx的值朝向最低有效位增加。

4.5 merge_idx的示例性編碼

如HEVC規範中所指定的，如果允許的Merge候選的總數大於1，則首先將Merge索引二值化為二進位位元串。

使用cRiceParam等於0的TR，即TU。merge_idx的第一二進位位元用一個上下文編碼，剩餘的二進位位元(如果存在)用旁路編碼。

5 JEM中的幀內預測的示例性實施例

5.1 具有67個幀內預測模式的幀內模式編碼的示例

為了捕獲在自然視頻中呈現的任意邊緣方向，定向幀內模式的數量從HEVC中使用的33擴展到65。附加定向模式在圖27中被描繪為淺灰色虛線箭頭，並且平面和DC模式保持不變。這些更密集的定向幀內預測模式適用於所有塊尺寸以及亮度和色度幀內預測兩者。

5.2 亮度幀內模式編碼的示例

在JEM中，幀內預測模式的總數已從HEVC中的35增加到67。圖27描繪了67個幀內預測模式的示例。

為了適應增加數量的定向幀內模式，使用具有6個最可能模式(MPM)的幀內模式編碼方法。涉及兩個主要技術方面：1)6個MPM的推導，以及2)6個MPM和非MPM模式的熵編碼。

在JEM中，MPM列表中包括的模式被分為三組：

-- 相鄰幀內模式

-- 導出幀內模式

-- 預設幀內模式

使用五個相鄰幀內預測模式來形成MPM列表。5個相鄰塊的那些位置與Merge模式中使用的那些位置相同，即左(L)，上(A)，左下(BL)，右上(AR) 和左上(AL)，如圖28中所示。通過將5個相鄰幀內模式以及平面和DC模式插入MPM列表來形成初始MPM列表。修剪處理用於去除重複模式，使得只有唯一模式可以包括在MPM列表中。包括初始模式的順序是：左，上，平面，DC，左下，右上，然後左上。例如，修剪可以包括以下操作：(a)與現有條目進行比較以獲得唯一性，然後(b)如果唯一，則添加到列表，以及(c)如果不唯一，則(c1)不添加或(c2)添加和刪除匹配的現有條目，使得添加後，條目數不會增加。

如果MPM列表未滿(即，列表中有少於6個MPM候選)，則添加導出模式；通過將-1或+1加到已經包括在MPM列表中的角度模式來獲得這些幀內模式。這樣的附加導出模式不從非角度模式(DC或平面)產生。

最後，如果MPM列表仍未完成，則按以下順序添加預設模式：垂直，水平，模式2和對角模式。作為該處理的結果，產生6個MPM模式的唯一列表。

對於使用6個MPM對所選模式進行熵編碼，使用截斷一元碼二值化。前三個二進位位元用上下文編碼，所述上下文取決於與當前信號通知的二進位位元相關的MPM模式。MPM模式分為三類：(a)主要為水平的模式(即，MPM模式數小於或等於對角方向的模式數)，(b)主要為垂直的模式(即，MPM模式大於對角方向的模式數，以及(c)非角度(DC和平面)類。因此，基於該分類，使用三個上下文對MPM索引信號通知。

用於選擇剩餘的61個非MPM的編碼如下完成。61個非MPM首先分為兩組：選擇模式組和非選擇模式組。選擇模式組包含16個模式，並且剩餘模式(45個模式)分配給非選擇模式組。當前模式所屬的模式組在位元流中用標誌指示。如果要指示的模式在選擇模式組內，則使用4位固定長度代碼對選擇模式 信號通知，如果要指示的模式來自非選擇組，則使用截斷二進位碼對選擇模式信號通知。通過對61個非MPM模式進行子採樣產生選擇模式組，如下：

-- 選擇模式組={0,4,8,12,16,20...60}

-- 非選擇模式組={1,2,3,5,6,7,9,10...59}

在編碼器側，使用HM的類似兩階段幀內模式決策處理。在第一階段中，即幀內模式預選階段，使用較低複雜度的絕對變換差和(SATD)成本從所有可用幀內模式預選N個幀內預測模式。在第二階段中，進一步應用更高複雜度的R-D成本選擇以從N個候選選擇一個幀內預測模式。然而，當應用67個幀內預測模式時，由於可用模式的總數大致加倍，如果直接使用HM的相同編碼器模式決策處理，則幀內模式預選階段的複雜度也將增加。為了最小化編碼器複雜度增加，執行兩步幀內模式預選處理。在第一步中，基於絕對變換差和(SATD)度量從原始的35個幀內預測模式(圖27中的黑色實線箭頭所示)選擇N(N取決於幀內預測塊尺寸)個模式；在第二步中，通過SATD進一步檢查所選N個模式的直接鄰域(如圖27中的淺灰色虛線箭頭指示的附加幀內預測方向)，並且更新所選N個模式的列表。最後，如果尚未包括，則將前M個MPM添加到N個模式，並且為第二階段R-D成本檢查產生候選幀內預測模式的最終列表，其以與HM相同的方式完成。基於HM中的原始設置，M的值增加1，並且N稍微減小，如下表10中所示。

5.3 色度幀內模式編碼的示例

在JEM中，允許總共11個幀內模式用於色度CB編碼。那些模式包括5個傳統的幀內模式和6個跨分量線性模型模式。色度模式候選列表包括以下三個部分：

●CCLM模式

●DM模式，從覆蓋當前色度塊的共位的五個位置的亮度CB導出的幀內預測模式

○按順序檢查的五個位置是：I條帶的當前色度塊的相應亮度塊內的中心(CR)，左上(TL)，右上(TR)，左下(BL)和右下(BR)4×4塊。對於P和B條帶，僅檢查這五個子塊中的一個，因為它們具有相同的模式索引。圖29A和29B中示出了五個共位的亮度位置的示例。

●來自空間相鄰塊的色度預測模式：

○5個色度預測模式：從左，上，左下，右上和左上空間相鄰塊

○平面和DC模式

○添加導出模式，通過將-1或+1添加到已經包括在列表中的角度模式來獲得這些幀內模式。

○垂直，水平，模式2

每當將新的色度幀內模式添加到候選列表時應用修剪處理。然後將非CCLM色度幀內模式候選列表尺寸修整為5。對於模式信號，首先對標誌信號通知以指示是使用CCLM模式之一還是使用傳統色度幀內預測模式之一。然後可 以遵循幾個標誌以指定用於當前色度CB的精確色度預測模式。

6.現有實現方式的示例

當前HEVC設計可以採用當前塊與其相鄰塊(緊鄰當前塊)的相關性來更好地編碼運動信息。然而，相鄰塊可能對應於具有不同運動軌跡的不同物件。在該情況下，來自其相鄰塊的預測效率不高。

來自非相鄰塊的運動信息的預測可以帶來額外的編碼增益，具有將所有運動信息(通常在4×4級別上)存儲到快取記憶體中的成本，這顯著增加了硬體實現方式的複雜性。

一元碼二值化方法適用於較少數量的允許Merge候選。然而，當允許候選的總數變大時，一元碼二值化可能是次優的。

AMVP候選列表構建處理的HEVC設計僅調用兩個空間AMVP候選中的修剪。不使用完全修剪(每個可用候選與所有其他候選相比)，因為由於有限的修剪而導致編碼損失可忽略不計。然而，如果有更多的AMVP候選可用，則修剪變得很重要。此外，當啟用LAMVR時，應當研究如何構建AMVP候選列表。

7.用於基於LUT的運動向量預測的示例性方法

為了克服現有實現方式的缺點，可以在各種實施例中實現使用存儲有至少一個運動候選以預測塊的運動信息的一個或多個查找表的基於LUT的運動向量預測技術，以提供具有更高編碼效率的視頻編碼。每個LUT可以包括一個或多個運動候選，每個運動候選與對應的運動信息關聯。運動候選的運動信息 可以包括部分或全部預測方向，參考索引/圖片，運動向量，LIC標誌，仿射標誌，運動向量推導(MVD)精度和/或MVD值。運動信息還可以包括塊位置信息以指示運動信息來自何處。

可以增強現有和未來的視頻編碼標準的基於公開技術的基於LUT的運動向量預測在針對各種實現方式描述的以下示例中闡明。由於LUT允許基於歷史資料(例如，已經處理的塊)執行編碼/解碼處理，因此基於LUT的運動向量預測也可以稱為基於歷史的運動向量預測(HMVP)方法。在基於LUT的運動向量預測方法中，在編碼/解碼處理期間保持具有來自先前編碼的塊的運動信息的一個或多個表。在一個塊的編碼/解碼期間，取決於塊的編碼特性，可以使用LUT中的關聯運動信息(例如，通過添加到運動候選列表)。在對塊進行編碼/解碼之後，可以基於塊的編碼特性來更新LUT。也就是說，LUT的更新基於編碼/解碼順序。以下提供的公開技術的示例解釋了一般概念，並不意味著被解釋為限制。在示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。

關於術語，以下示例LUT的條目是運動候選。術語運動候選用於指示存儲在查找表中的一組運動信息。對於傳統的AMVP或Merge模式，AMVP或Merge候選用於存儲運動信息。例如，在一些實施例中，可以通過將運動向量差添加到AMVP候選來導出運動信息。如下面將描述的，並且在非限制性示例中，具有用於運動向量預測的運動候選的LUT的概念被擴展到具有用於幀內模式編碼的幀內預測模式的LUT，或者擴展到具有用於IC參數編碼的照明補償參數的LUT，或者擴展到具有濾波器參數LUT。用於運動候選的基於LUT的方法可以擴展到其他類型的編碼信息，如本專利文獻，現有和未來視頻編碼標準中所述。

示例1和2有利地限定了如公開技術中使用的LUT。

示例1.在一個示例中，表尺寸(例如，運動候選的最大允許條目的數量)和/或表的數量可以取決於序列分辨率，最大編碼單元尺寸，Merge候選列表的尺寸。

(a)在一個示例中，沒有表尺寸的附加信號。

(b)推斷表尺寸與信號通知的最大Merge候選相同。

(c)替代地，推斷表尺寸與信號通知的最大Merge候選減去特定值相同。特定值可以被定義為在Merge候選列表構建處理中可以訪問多少空間/時間相鄰塊，例如，在HEVC中為5。

示例2.可以構建具有不同作用的多個LUT。

(a)在一個示例中，一個LUT(第一LUT)可以包括具有來自AMVP編碼塊的純運動信息的運動候選；並且另一個LUT(第二LUT)可以包括來自AMVP和Merge編碼塊的運動信息。

(b)在一個示例中，一個LUT(第一LUT)可以包括具有純單向預測的運動候選；並且另一個LUT(第二LUT)可以包括具有雙向預測的運動候選。

(c)當對塊進行編碼時，可以定義LUT的檢查順序。對於每個LUT，可以在訪問第二LUT之前首先檢查多個運動候選。在一個示例中，對於上述情況，當對塊進行編碼時，首先檢查來自第二LUT的運動候選，然後檢查來自第一LUT的運動候選，反之亦然。

示例3-5有利地描述了在公開技術的實施例中使用的更新程式。

示例3.可以基於塊的編碼特性用與塊關聯的運動信息來更新LUT。例如，可以用Merge或AMVP模式對塊進行編碼。

(a)在一個示例中，在用幀內模式對塊進行編碼/解碼之後不更新LUT。在另一示例中，在用幀內塊複製模式對塊進行編碼/解碼之後不更新LUT。也就是說，在一些實施例中，可以僅在對幀間編碼塊進行編碼/解碼之後更新LUT。

(b)在又一示例中，在用仿射模式(例如，仿射Merge或仿射AMVP模式)對塊進行編碼/解碼之後不更新LUT。也就是說，可以在對非仿射編碼塊進行編碼/解碼之後更新LUT。

示例4.在通過添加從編碼塊獲得的運動候選來更新LUT之前，可以應用修剪。

(a)在一個示例中，要添加的新運動候選需與選擇表中的所有現有運動候選進行修剪。也就是說，將新運動候選與選擇表中的所有現有運動候選進行比較以確保不存在重複候選。

(b)替代地，可以僅將新運動候選與特定數量的現有運動候選進行修剪。例如，在選擇性地將其添加為LUT的最後條目之前，可以將其與LUT中的最後m個運動候選(m是整數)進行比較。

(c)在一些實施例中，選擇表是用於為從其獲得運動候選的編碼塊構建運動候選列表的表。在一些實施例中，運動候選可以用於更新部分或全部可用LUT。

示例5.可以週期性地更新LUT。

(a)可以在對給定區域尺寸進行編碼/解碼之後更新LUT。這意味著區域內的所有塊都將使用相同的LUT。

(b)在一個示例中，在對每N個LCU進行編碼/解碼之後更新LUT， N是諸如1或2的整數。

(c)在一個示例中，在對每N個CU進行編碼/解碼之後更新LUT，N是諸如4或8的整數。替代地，在對每N個幀間編碼的CU進行編碼/解碼之後更新LUT，N是諸如4或8的整數。

(d)當存在具有可以用於更新LUT的運動信息的多個塊時，可以僅使用編碼/解碼順序中的最後塊來更新LUT。

(i)替代地，可以僅利用用運動信息編碼並且允許更新LUT的編碼/解碼順序中的最後塊來更新LUT。

(ii)替代地，可以利用用運動信息編碼並且允許更新LUT的所有塊來更新LUT。

示例6-11有利地描述了在公開技術的實施例中使用LUT。

示例6.當用Merge或AMVP模式對塊進行編碼時可以使用LUT。

(a)在一個示例中，當用幀內模式對塊進行編碼時可以不使用LUT。

(b)在一個示例中，當用幀內塊複製模式對塊進行編碼時可以不使用LUT。

(c)在一個示例中，當用仿射Merge或仿射AMVP模式對塊進行編碼時可以不使用LUT。

(d)要針對AMVP編碼塊和Merge編碼塊檢查的LUT中的運動候選的數量可以不同。

(i)在一個示例中，兩個數量設置為相同(例如，16、44)。

(ii)替代地，兩個數量可以不同。

(iii)替代地，要針對AMVP編碼塊檢查的運動候選的數量應當小於針對Merge編碼塊檢查的運動候選的數量(例如，對於AMVP和Merge編碼塊分別 為4和16)。

(iv)在一個示例中，兩個數量可以取決於LUT尺寸和最大允許的AMVP和/或Merge候選數量。

示例7.當不允許具有特定信息(例如，塊模式)的塊使用來自LUT的信息(如子塊編碼塊)時，不允許與塊關聯的編碼運動信息更新LUT。也就是說，在對這樣的塊進行編碼或解碼之後，跳過更新LUT的處理。

(a)替代地，滿足某些條件(例如塊模式等於例如仿射，或塊尺寸等於例如4×4，或其他條件)的塊不允許使用來自LUT的信息，但是允許編碼運動信息更新LUT。(僅寫入模式，僅允許寫入LUT)

(b)替代地，如果滿足具有某些條件(例如，塊是編碼的三角預測模式)的塊的編碼運動信息不允許更新LUT，但是編碼/解碼處理仍然可以使用來自LUT的運動候選。(僅讀取模式，僅允許從LUT讀取)。

(c)在一個示例中，不允許仿射編碼塊使用來自LUT的運動候選。同時，不允許仿射運動更新LUT，即，運動候選不能是仿射運動。

(i)替代地，允許一些子塊(在當前塊內)的導出運動(通過仿射模型)更新LUT。也就是說，運動候選包括從當前塊的運動信息導出的運動信息。

(ii)替代地，允許LUT用於導出仿射模型參數。在該情況下，塊的位置也存儲在LUT中。

示例8.當存在多個查找表時，可以應用多個表中的運動候選的不同檢查順序。

(a)對於某些塊，使用來自第一LUT的前m個運動候選，並且然後檢查來自第二LUT的最後n個運動候選(最近添加的)。m和n都是正整數(>0)。

(b)對於新LCU行中的第一LCU，它使用來自第一LUT的最後m個運動候選，並且然後檢查來自第二LUT的前n個運動候選(最近)。m和n都是正整數(>0)。

(c)某些塊可以被定義為新LCU行中的第一LCU或新LCU行中的第一編碼塊，或者用於編碼覆蓋條帶的第一列中的樣本的塊。

示例9.基於LUT的運動向量編碼方法可以與非相鄰候選(例如，Merge候選或AMVP候選)組合。

(a)在一個示例中，可以添加m個非相鄰候選和來自LUT的n個運動候選。m和n都是正整數(>0)。

(b)在一個示例中，可以檢查m個非相鄰塊，並且可以檢查來自LUT的n個運動候選。應當注意，當檢查塊或檢查運動候選時，可能不會將任何一個添加到(例如，Merge)候選列表。

(c)在一個示例中，可以以交織方式添加非相鄰候選和來自LUT的運動候選。

(i)檢查非相鄰塊的順序保持不變。來自一個非相鄰塊的一個候選之後是來自LUT的運動候選。

(ii)檢查非相鄰塊的順序保持不變。然而，如果一個非相鄰塊位於某個範圍之外(例如，在當前LCU行之外)，則它將由LUT中的運動候選替換。

(iii)在一個示例中，檢查非相鄰塊的順序保持不變。然而，如果一個非相鄰塊用幀內模式或幀內塊複製模式編碼，則它將由LUT中的運動候選替換。

(iv)在圖30中給出了Merge候選列表重建的檢查順序的示例。

(d)在一個示例中，與來自LUT的運動候選相比，非相鄰候選具有 更高的優先順序。

(i)在該情況下，首先檢查所有非相鄰塊。如果候選的總數仍然小於最大允許數量，則通過檢查來自LUT的運動候選進一步應用基於LUT的方法。

(ii)替代地，與非相鄰候選相比，來自LUT的運動候選具有更高的優先順序。首先通過檢查來自LUT的運動候選應用基於LUT的方法。如果候選的總數仍然小於最大允許數量，則檢查非相鄰塊以將非相鄰候選添加到Merge候選列表。

(iii)類似地，當在AMVP編碼處理中允許非相鄰方法和基於LUT的方法時，可以以與上述示例中描述的類似方式處理優先順序。

(iv)在圖31中示出了示例。

(e)在一個示例中，可以不是一個接一個地調用兩種方法(例如，非相鄰方法和基於LUT的方法)。而是，可以應用一種方法，然後添加一些其他類型的候選，並且然後可以應用第二種方法。在圖32中示出了示例，其中在TMVP處理之前檢查非相鄰候選，並且然後檢查來自LUT的運動候選。

(f)可以執行用於插入非相鄰候選和來自LUT的運動候選的自適應順序。

(i)在一個示例中，首先檢查來自非相鄰候選的所有雙向預測Merge候選，接著檢查來自LUT的運動候選，並且然後檢查單向預測的非相鄰候選。

(ii)在一個示例中，對於一個塊，可以在來自LUT的運動候選之前檢查非相鄰候選，而對於另一個塊，可以在非相鄰候選之前檢查來自LUT的運動候選。

示例10.默認運動候選可以包括在LUT中。

(a)在一個示例中，零運動向量候選(具有一個或多個參考圖片) 被視為預設運動候選。

(b)在一個示例中，默認運動候選可以從當前條帶/片中的先前編碼運動信息或從來自不同圖片的先前編碼運動導出。

(c)可以在位元流中，例如在序列參數集(SPS)，圖片參數集(PPS)，條帶報頭等中對默認運動候選信號通知。

示例11.可以應用LUT中的運動候選的重新排序。

(a)在一個示例中，在對一個塊進行編碼之後，可以從該塊獲得新運動候選。可以首先將其添加到LUT並且然後可以應用重新排序。在該情況下，對於子序列塊，它將使用重新排序的LUT。例如，在完成對某個單元(例如，一個LCU，一個LCU行，多個LCU等)的編碼之後發生重新排序。

(b)在一個示例中，不重新排序LUT中的運動候選。然而，當對塊進行編碼時，可以首先應用運動候選的重新排序，接著檢查並插入到Merge/AMVP/或其他種類的運動信息候選列表。

示例12有利地描述了局部自適應運動向量分辨率(LAMVR)改善。

示例12.當啟用多個運動向量精度時(例如，當使用整數運動向量(IMV)精確工具來支援1像素，2像素，4像素或子像素MV精度時)，並且對於具有較低MV精度(例如，整數精度或更低)的塊，以下可以應用：

(a)將取整應用於來自LUT的運動候選。在一些實施例中，針對其他AMVP候選進一步應用運動候選的修剪。

(b)替代地，對於要添加到AMVP候選列表的每個AMVP候選(例如，從空間和/或時間相鄰塊導出)，首先對其進行取整並且然後與其他可用的AMVP候選進行修剪。

(c)替代地，將所有AMVP候選(例如，從空間和/或時間相鄰塊導出)插入到AMVP候選列表而不進行取整和修剪。之後，候選可以進行取整。在一個示例中，在取整之後，進一步在取整的AMVP候選中應用修剪。如果可用AMVP候選的總數小於最大允許數量，則可以進一步應用基於LUT的方法來添加更多AMVP候選。

示例13有利地提供Merge索引編碼實施例。

示例13.代替使用cRiceParam等於0的TR(或TU)，Merge索引可以被劃分為兩個部分，並且每個部分可以調用不同的二值化方法。

(a)第一部分用一元碼二值化方法編碼。

(b)在一個示例中，第二部分可以使用FL二值化方法。

(c)替代地，第二部分可以使用EGk二值化方法(其中k等於0、1...)。

(d)這兩個部分可以被定義為(Merge候選的總數減去N，N)，其中N是給定值。表11示出了一些示例。在表11示出的示例中，Merge候選的總數是14，並且N=7。當Merge索引的值在[0，Merge候選的總數-(N+1)=6]的範圍內時，應用第一部分的一元碼二值化方法。當Merge索引的值在[Merge候選總數-N=7，Merge候選總數-1=13]的範圍內時，應用第一部分的一元碼二值化方法和第二部分的FL二值化方法。

(e)僅當Merge索引大於預定或信號閾值時，才可以調用所提出的方法。

表11：Merge索引的二進位位元串(Merge總數為15，N=8)

示例14-16有利地提供了具有幀內預測模式的LUT和從非相鄰塊進行幀內模式預測的實施例。

示例14.類似於具有運動候選的LUT用於運動向量預測，提出可以構建和/或更新一個或多個LUT以存儲來自先前編碼的塊的幀內預測模式，並且LUT可以用於編碼/解碼幀內編碼塊。

(a)當應用基於LUT的方法時，每個LUT的條目數相同，例如，等於允許的幀內預測的總數。

(b)當應用基於LUT的方法時，可以為每個幀內預測模式進一步分配變數(即，cnt)以記錄在先前編碼的塊中已經使用幀內預測模式的次數。

(c)當用選擇幀內預測模式更新LUT時，將修改關聯的cnt，例如增加1。

示例15.非相鄰塊的幀內預測模式可以用作用於編碼幀內編碼塊的幀內預測模式預測器。

示例16.替代地，可以聯合使用LUT和基於非相鄰的方法。

(a)在一個示例中，LUT或非相鄰塊中的幀內預測模式可以在MPM列表構建處理中使用。

(b)替代地，LUT或非相鄰塊中的幀內預測模式可以用於重新排序非MPM幀內預測模式。

示例17-19有利地提供了具有IC參數的LUT和從非相鄰塊進行IC參數推導的實施例。

示例17.類似於具有運動候選的LUT用於運動向量預測，提出可以構建和/或更新一個或多個LUT以存儲來自先前編碼的塊的照明參數，並且LUT可以用於編碼/解碼IC編碼塊。

(a)在對塊/區域進行編碼之後，如果用IC模式對一個或多個塊進行編碼，則可以使用對應的IC參數來更新LUT。

(b)在編碼新圖片/條帶/LCU行之前，可以用信號通知的IC參數(例如，基於整個圖片/條帶/LCU行導出)來初始化LUT。

示例18.可以應用基於非相鄰的方法，其中當導出當前塊的IC參數時，代替使用空間鄰域作為模板，如圖25中所示，可以利用非相鄰塊的空間鄰域來避免降低編解碼器的並行性。

(c)在一個示例中，為每個IC編碼塊存儲IC參數。

示例19.可以聯合使用LUT和基於非相鄰的方法。

(d)在一個示例中，可以類似於Merge/AMVP候選列表構建IC參數的參數列表。可以對IC參數的索引信號通知。

(e)添加來自非相鄰塊和LUT的IC參數的規則可以類似於在AMVP或Merge模式中的運動向量編碼的規則。

8.用於基於LUT的運動向量預測的附加實施例

在圖33中描繪了用於基於LUT的預測方法的編碼流程的示例。在示例5的上下文中，在解碼區域之後完成更新處理。在圖34中描繪了示例以避免頻繁更新LUT。

以上描述的示例可以包含在下面描述的方法(例如方法3500)的上下文中，所述方法可以在視頻解碼器和/或視頻編解碼器處實現。

圖35示出了用於視頻編碼的示例性方法的流程圖，其可以在視頻編解碼器中實現。在步驟3510，方法3500包括接收視頻資料的第一塊的位元流表示。

在步驟3520，方法3500包括基於包括編碼候選的一組查找表(LUT)處理位元流表示以產生視頻資料的第一塊。

在一些實施例中，編碼候選包括運動候選。在其他實施例中，LUT組中的LUT的數量或LUT組中的LUT的尺寸基於序列分辨率、最大編碼單元(LCU)尺寸、或Merge或高級運動向量預測(AMVP)候選列表的尺寸。在示例中，未對LUT的尺寸信號通知。在另一示例中，LUT的尺寸等於Merge候選的最大數量。在又一示例中，LUT的尺寸比Merge候選的最大數量小固定值，其中固定值基於可以在Merge或AMVP候選列表中訪問的時間或空間相鄰塊的數量。

在一些實施例中，該組LUT的第一LUT包括具有僅來自高級運動向量預測(AMVP)編碼塊的運動信息的運動候選，並且該組LUT中的第二LUT包括具有來自AMVP和Merge編碼塊的運動信息的運動候選。在其他實施例中，該組LUT的第一LUT包括僅具有單向預測的運動候選，並且該組LUT的第二LUT包括僅具有雙向預測的運動候選。在示例中，在檢查第一LUT中的運動候選之前檢查第二LUT中的運動候選。在另一示例中，在檢查第一LUT中的運動候選之後檢查第二LUT中的運動候選。

在一些實施例中，方法3500還包括基於視頻資料的第一塊的編碼特性更新該組LUT的子組，其中該子組排除該組LUT中的至少一個LUT。

在一些實施例中，方法3500還包括基於視頻資料的第一塊的編碼特性阻止使用該組LUT中的至少一個LUT。

以上示例可以應用於用於其他編碼信息的基於LUT的方法，例如在達到區域尺寸之後更新LUT。

在示例中，編碼特性指示視頻資料的第一塊被幀內編碼。在另一示例中，編碼特性指示視頻資料的第一塊被幀內塊複製(IBC)編碼。在又一示例中，編碼特性指示視頻資料的第一塊被仿射Merge編碼或仿射高級運動向量預測(AMVP)編碼。

在一些實施例中，方法3500還包括從編碼塊獲得新運動候選，並且在將新運動候選添加到該組LUT之前修剪該組LUT。可以實現修剪的各種示例。在示例中，將新運動候選與該組LUT的子組中的每個運動候選進行修剪。在另一示例中，將新運動候選與單個LUT中的每個運動候選進行修剪。在又一示例中，將新運動候選與該組LUT中的運動候選的子組進行修剪。

在一些實施例中，方法3500還包括週期性地更新該組LUT中的至少一個LUT。

在一些實施例中，方法3500還包括接收視頻資料的第二塊的位元流表示，並且基於視頻資料的第二塊的編碼特性阻止使用或更新該組LUT。在示例中，編碼特性指示視頻資料的第二塊具有預定尺寸或被仿射編碼。

在一些實施例中，編碼候選包括幀內預測模式候選。在其他實施例中，編碼候選包括候選照明補償(IC)參數。在另外的其他實施例中，編碼候選包括候選濾波參數。

在一些實施例中，公開技術可以用於提供另一種用於視頻編碼的方法。該方法包括接收視頻資料塊的位元流表示，以及基於來自非相鄰塊的編碼 候選處理位元流表示，其中編碼候選是非運動候選。

在一些實施例中，公開技術可以用於提供另一種用於視頻編碼的方法。該方法包括接收視頻資料塊的位元流表示，以及使用多個運動向量(MV)精度並且基於高級運動向量預測(AMVP)候選列表處理位元流表示以產生視頻資料塊，其中視頻資料塊包括低MV精度，並且其中每個AMVP候選在插入AMVP候選列表中之前被取整，並與可用AMVP候選進行修剪。

在一些實施例中，公開技術可以用於提供另一種用於視頻編碼的方法。該方法包括接收視頻資料塊的位元流表示，以及使用Merge索引編碼處理位元流表示以產生視頻資料塊，其中位元流表示包括被劃分為第一部分和第二部分的Merge索引，其中第一部分通過第一二值化方法處理，並且其中第二部分通過與第一二值化方法不同的第二二值化方法處理。

例如，第一二值化方法是一元碼二值化方法。例如，第二二值化方法是固定長度(FL)二值化方法。例如，第二二值化方法是k階Exp-Golomb(EGk)二值化方法。

9.公開技術的示例性實現方式

圖36是視頻處理裝置3600的框圖。裝置3600可以用於實現本文描述的一個或多個方法。裝置3600可以體現在智慧手機，平板電腦，電腦，物聯網(IoT)接收器等中。裝置3600可以包括一個或多個處理器3602，一個或多個記憶體3604和視頻處理硬體3606。處理器3602可以配置成實現本專利中描述的一個或多個方法(包括但不限於方法3500)。記憶體(多個記憶體)3604可以用於存儲用於實 現本文描述的方法和技術的資料和代碼。視頻處理硬體3606可以用於在硬體電路中實現本檔中描述的一些技術。

在一些實施例中，視頻編碼方法可以使用在如關於圖36所述的硬體平臺上實現的裝置來實現。

圖37是根據本公開技術的用於視頻處理的示例性方法3700的流程圖。方法3700包括執行視頻的視頻資料的第一塊和包括第一塊的視頻的位元流表示之間的轉換(3702)，並且基於視頻資料的第一塊的編碼特性，使用與第一塊關聯的運動信息更新運動候選表(3704)。

在一些實施例中，編碼特性指示使用Merge模式對視頻資料的第一塊進行編碼。在一些實施例中，編碼特性指示使用高級運動向量預測(AMVP)模式對視頻資料的第一塊進行編碼。在一些實施例中，編碼特性指示視頻資料的第一塊未被幀內編碼。在一些實施例中，編碼特性指示視頻資料的第一塊未被幀內塊複製(IBC)編碼。在一些實施例中，編碼特性指示視頻資料的第一塊被幀間編碼。在一些實施例中，編碼特性指示視頻資料的第一塊未被仿射編碼。

在一些實施例中，該方法包括基於運動候選表執行視頻的視頻資料的第二塊和視頻的位元流表示之間的第二轉換。在一些實施例中，該方法還包括基於視頻資料的第二塊的第二編碼特性，使用與第二塊關聯的運動信息阻止更新運動候選表。

在一些實施例中，第二編碼特性指示視頻資料的第二塊被仿射AMVP 編碼。在一些實施例中，第二編碼特性指示視頻資料的第二塊被仿射Merge編碼。在一些實施例中，第二編碼特性指示視頻資料的第二塊被幀內編碼。

在一些實施例中，該方法包括執行視頻的視頻資料的第三塊和視頻的位元流表示之間的第三轉換而不使用運動候選表。在一些實施例中，該方法包括基於視頻資料的第三塊的第三編碼特性，使用與第三塊關聯的運動信息更新運動候選表。第三編碼特性可以指示使用Merge模式或高級運動向量預測(AMVP)模式對視頻資料的第三塊進行編碼。

在一些實施例中，更新包括週期性地更新運動候選表。在一些實施例中，更新包括每次在處理視頻幀的給定區域之後更新運動候選表。在一些實施例中，給定區域包括條帶。在一些實施例中，給定區域包括N個最大編碼單元(LCU)，N是整數。N可以是1或2。在一些實施例中，給定區域包括N個編碼單元(CU)或N個幀間編碼的編碼單元(CU)，N是整數。N可以是4或8。

在一些實施例中，第一塊是與用於更新表的運動信息關聯的給定區域中的多個塊中的最後塊。該方法還包括使用多個塊中的其他塊的運動信息阻止更新表。在一些實施例中，該方法包括使用與給定區域中的多個塊關聯的運動信息更新運動候選表。

在一些實施例中，與塊關聯的運動信息包括用於幀內模式編碼的一個或多個幀內預測模式。在一些實施例中，與塊關聯的運動信息包括用於IC參數編碼的一個或多個照明補償(IC)參數。在一些實施例中，與塊關聯的運動信息包括一個或多個濾波器參數。

圖38是根據當前公開技術的用於視頻處理的示例性方法3800的流程圖。在操作3802，方法3800包括在當前視頻塊和視頻的位元流表示之間的轉換期間保持一個或多個運動候選表。在操作3804，方法3800包括將與當前視頻塊關聯的運動候選與一個或多個表中的多個條目進行比較。在操作3806，方法3800包括基於比較更新一個或多個表。

在一些實施例中，多個條目對應於一個或多個表中的所有條目。在一些實施例中，條目的數量是m，m是整數。在一些實施例中，m個條目是一個或多個表中的一個中的最後m個條目。

在一些實施例中，更新包括將運動候選添加到一個或多個表中的一個。在一些實施例中，更新包括將運動候選添加作為一個或多個表中的一個的最後條目。

在一些實施例中，一個或多個表不包括重複條目。在一些實施例中，該方法還包括使用更新的一個或多個表執行當前視頻塊之後的第二視頻塊和視頻的位元流表示的轉換。

圖39是根據當前公開技術的用於視頻處理的示例性方法3900的流程圖。在操作3902，方法3900包括執行視頻的視頻塊和視頻的位元流表示之間的轉換，同時在轉換中保持一個或多個運動候選表。在操作3904，方法3900包括基於視頻塊中的當前視頻塊的編碼特性，確定使用一個或多個運動候選表來執行當前視頻塊和視頻的位元流表示之間的轉換的適合性。在操作3906，方法3900包括根據適合性執行當前視頻塊和視頻的位元流表示之間的轉換。在操作3908，該方 法還包括使用與當前視頻塊關聯的運動候選來選擇性地更新一個或多個運動候選表。

在一些實施例中，適合性指示一個或多個運動候選表不適合用於執行當前視頻塊和視頻的位元流表示之間的轉換。編碼特性可以指示當前視頻塊被子塊編碼，仿射編碼，或具有預定塊尺寸。在一些實施例中，根據編碼特性跳過更新。在一些實施例中，根據編碼特性執行更新。例如，更新可以包括使用當前視頻塊內的一組子塊的運動信息來更新一個或多個運動候選表。

在一些實施例中，適合性指示一個或多個運動候選表適合用於執行當前視頻塊和視頻的位元流表示之間的轉換。在一些實施例中，根據編碼特性跳過更新。例如，編碼特性可以指示當前視頻塊被三角預測模式編碼。在一些實施例中，根據編碼特性執行更新。例如，編碼特性可以指示當前視頻塊被仿射編碼。更新可以包括將當前視頻塊的位置存儲在一個或多個表中以用於導出仿射參數。

在一些實施例中，運動候選包括當前視頻塊的運動信息。在一些實施例中，運動候選包括從當前視頻塊的運動信息導出的信息。在一些實施例中，運動候選與運動信息關聯，所述運動信息包括以下的至少一種：預測方向，參考圖片索引，運動向量值，強度補償標誌，仿射標誌，運動向量差精度或運動向量差值。在一些實施例中，運動候選包括用於Merge編碼塊的多個Merge候選。在一些實施例中，運動候選包括用於幀內編碼塊的幀內預測模式。在一些實施例中，運動候選包括用於IC編碼塊的多個照明補償(IC)參數。在一些實施例中，運動候選包括在濾波處理中使用的濾波器參數。

圖40是根據當前公開技術的用於視頻處理的示例性方法4000的流程圖。在操作4002，方法4000包括在當前視頻塊和包括當前視頻塊的視頻的位元流表示之間的轉換期間保持一個或多個運動候選表。在操作4004，方法4000包括確定使用Merge模式或高級運動向量預測(AMVP)模式對當前視頻塊進行編碼。在操作4006，方法4000包括基於確定，使用一個或多個運動候選表執行當前視頻塊和視頻的位元流表示之間的轉換。

在一些實施例中，該方法包括在確定當前視頻塊被幀內編碼時阻止使用一個或多個運動候選表。在一些實施例中，該方法包括在確定當前視頻塊被幀內塊複製(IBC)編碼時阻止使用一個或多個運動候選表。在一些實施例中，該方法包括在確定當前視頻塊被仿射Merge編碼或仿射高級運動向量預測(AMVP)編碼時阻止使用一個或多個運動候選表。

在一些實施例中，使用一個或多個運動候選表包括按順序檢查一個或多個表中的運動候選。在一些實施例中，檢查包括檢查一個或多個表的第一表中的一組前m個運動候選，並且檢查一個或多個表的第二表中的一組最後n個運動候選。m和n都是正整數。在一些實施例中，一組最後n個運動候選是最近添加到第二表的一組運動候選。在一些實施例中，檢查包括檢查一個或多個表的第一表中的一組最後m個運動候選，並且檢查一個或多個表的第二表中的一組前n個運動候選。m和n都是正整數。在一些實施例中，一組前n個運動候選是最近添加到第二表的一組運動候選。

在一些實施例中，一個或多個運動候選表包括一個或多個默認運動 候選。在一些實施例中，一個或多個默認運動候選包括對應於一個或多個參考圖片的一個或多個零運動向量候選。在一些實施例中，一個或多個預設運動候選從先前編碼的運動信息導出。在一些實施例中，在位元流表示中的序列參數集(SPS)，圖片參數集(PPS)或條帶報頭中對一個或多個默認運動候選信號通知。在一些實施例中，運動候選與運動信息關聯，所述運動信息包括以下的至少一種：預測方向，參考圖片索引，運動向量值，強度補償標誌，仿射標誌，運動向量差精度或運動向量差值。在一些實施例中，運動候選包括用於Merge編碼塊的多個Merge候選。在一些實施例中，運動候選包括用於幀內編碼塊的幀內預測模式。在一些實施例中，運動候選包括用於IC編碼塊的多個照明補償(IC)參數。在一些實施例中，運動候選包括在濾波處理中使用的濾波器參數。

在一些實施例中，該方法包括在執行轉換之後基於當前視頻塊的運動信息更新一個或多個表。在一些實施例中，該方法還包括基於更新表執行視頻的後續視頻塊和視頻的位元流表示之間的轉換。

圖41是根據當前公開技術的用於視頻處理的示例性方法4100的流程圖。在操作4102，方法4100包括通過組合一個或多個運動候選表和來自一個或多個非相鄰塊的非相鄰候選集確定視頻的視頻資料塊的運動候選列表。在操作4104，方法4100包括使用運動候選列表執行視頻資料塊和視頻的位元流表示之間的轉換。

在一些實施例中，組合包括檢查來自非相鄰候選集的m個候選並且檢查來自一個或多個運動候選表的n個運動候選。在一些實施例中，組合包括將來自非相鄰候選集的m個候選中的至少一個添加到運動候選列表。在一些實施例 中，組合包括將來自一個或多個運動候選表的n個運動候選中的至少一個添加到運動候選列表。

在一些實施例中，組合包括以交織方式檢查來自非相鄰候選集和一個或多個運動候選表的候選。在一些實施例中，檢查包括在檢查來自一個或多個表的運動候選之前檢查來自非相鄰候選集的非相鄰候選。在一些實施例中，檢查包括檢查來自非相鄰候選集的雙向預測運動候選，檢查來自一個或多個運動候選表的運動候選，並且檢查來自非相鄰候選集的單向預測運動候選。

在一些實施例中，檢查包括檢查來自非相鄰候選集的非相鄰候選，並且基於與非相鄰候選關聯的非相鄰塊的編碼特性，用來自一個或多個運動候選表的運動候選替換非相鄰候選。在一些實施例中，非相鄰塊的編碼特性指示非相鄰塊位於預定範圍之外。預定範圍可以包括最大編碼單元的當前行。在一些實施例中，非相鄰塊的編碼特性指示非相鄰塊被幀內編碼或幀內塊複製編碼。

在一些實施例中，非相鄰候選集具有比一個或多個運動候選表更高的優先順序。組合可以包括在檢查該組運動候選表之前檢查來自非相鄰候選集的所有候選。在一些實施例中，一個或多個運動候選表具有比該非相鄰候選集更高的優先順序。組合可以包括在檢查非相鄰候選集之前檢查來自該組運動候選表的所有候選。

在一些實施例中，通過進一步組合從指定運動預測方法產生的候選來獲得運動候選列表。指定運動預測方法可以包括時間運動向量預測器(TMVP)方法。

在一些實施例中，運動候選與運動信息關聯，所述運動信息包括以下的至少一種：預測方向，參考圖片索引，運動向量值，強度補償標誌，仿射標誌，運動向量差精度或運動向量差值。在一些實施例中，運動候選列表包括用於Merge編碼塊的多個Merge候選。在一些實施例中，運動候選列表包括用於幀內編碼塊的幀內預測模式。在一些實施例中，運動候選列表包括用於IC編碼塊的多個照明補償(IC)參數。在一些實施例中，運動候選列表包括在濾波處理中使用的濾波器參數。

在一些實施例中，使用Merge模式對視頻資料塊進行編碼，並且非相鄰候選集包括多個Merge候選。在一些實施例中，使用高級運動向量預測(AMVP)模式對視頻資料塊進行編碼，並且非相鄰候選集包括多個AMVP候選。

圖42是根據當前公開技術的用於視頻處理的示例性方法4200的流程圖。在操作4202，方法4200包括以從多個可用運動向量精度選擇的M像素或子像素的運動向量精度，保持用於視頻的視頻塊和視頻的位元流表示之間的轉換的高級運動向量預測(AMVP)候選列表。M是正整數。在操作4204，方法4200包括對於與視頻塊關聯的每個可用高級運動向量預測(AMVP)候選執行：取整AMVP候選，將取整的AMVP候選與AMVP候選列表中的現有候選進行比較，並且在確定取整的AMVP候選與現有候選不同時，將AMVP候選添加到AMVP候選列表。在操作4206，方法4200包括將AMVP候選列表與來自一個或多個運動候選表的一個或多個運動候選組合以獲得組合列表。在操作4208，方法4200還包括基於組合列表執行轉換。

在一些實施例中，從視頻塊的空間或時間相鄰塊導出每個可用AMVP 候選。在一些實施例中，在AMVP候選列表中的候選的數量小於預定閾值的情況下執行組合。

在一些實施例中，該方法包括在組合之前取整一個或多個運動候選的每一個。在一些實施例中，對於一個或多個運動候選的每一個，組合包括將運動候選與AMVP候選列表中的現有AMVP候選進行比較，並且在確定運動候選與現有AMVP候選不同時將運動候選添加到組合列表。

在一些實施例中，運動候選與運動信息關聯，所述運動信息包括以下的至少一種：預測方向，參考圖片索引，運動向量值，強度補償標誌，仿射標誌，運動向量差精度或運動向量差值。在一些實施例中，運動候選包括用於Merge編碼塊的多個Merge候選。在一些實施例中，運動候選包括用於幀內編碼塊的幀內預測模式。在一些實施例中，運動候選包括用於IC編碼塊的多個照明補償(IC)參數。在一些實施例中，運動候選包括在濾波處理中使用的濾波器參數。在一些實施例中，該方法包括在執行轉換之後基於視頻塊的運動信息更新一個或多個表。在一些實施例中，該方法還包括基於更新表執行視頻的後續視頻塊和視頻的位元流表示之間的轉換。

圖43是根據當前公開技術的用於視頻處理的示例性方法4300的流程圖。在操作4302，方法4300包括以從多個可用運動向量精度選擇的M像素或子像素的運動向量精度保持用於視頻的視頻塊和視頻的位元流表示之間的轉換的高級運動向量預測(AMVP)候選列表。M是正整數。在操作4304，方法4300包括將與視頻塊關聯的AMVP候選與AMVP候選列表中的現有AMVP候選進行比較。在操作4306，方法4300包括在確定AMVP候選與現有候選不同時，將AMVP候選添加到AMVP候選列表。在操作4308，方法4300還包括基於AMVP候選列表執行 轉換。

在一些實施例中，該方法包括在將AMVP候選與現有AMVP候選進行比較之前對AMVP候選進行取整。在一些實施例中，該方法包括在將AMVP候選添加到列表之後取整AMVP候選列表中的所有候選。在一些實施例中，該方法包括修剪AMVP候選列表中的所有候選以去除任何重複條目。

圖44是根據當前公開技術的用於視頻處理的示例性方法4400的流程圖。在操作4402，方法4400包括使用Merge索引執行視頻的視頻資料塊和視頻的位元流表示之間的轉換。位元流表示包括指示用於轉換的Merge候選的Merge索引。Merge索引被劃分為第一部分和第二部分。第一部分使用第一二值化方法編碼，並且第二部分使用與第一二值化方法不同的第二二值化方法編碼。

在一些實施例中，第一二值化方法是一元碼二值化方法。在一些實施例中，第二二值化方法是固定長度(FL)二值化方法。替代地，第二二值化方法可以是k階Exp-Golomb(EGk)二值化方法。在一些實施例中，由於Merge索引大於預定或信號閾值，Merge索引被劃分為第一部分和第二部分。

圖45是根據當前公開技術的用於視頻處理的示例性方法4500的流程圖。在操作4502，方法4500包括基於視頻的一個或多個先前視頻塊保持一個或多個幀內預測模式候選表。在操作4504，方法4500包括使用一個或多個幀內預測模式候選表執行視頻的當前視頻塊和視頻的位元流表示之間的轉換。

在一些實施例中，一個或多個幀內預測模式候選表中的每個表的尺 寸是相同的。在一些實施例中，每個表的尺寸等於幀內預測模式候選的支援類型的總數。

在一些實施例中，該方法包括將計數器分配給每種類型的幀內預測模式候選。計數器指示在先前編碼塊中使用對應類型的次數。在一些實施例中，該方法包括在用對應類型的幀內預測模式候選更新一個或多個表中的一個的情況下修改計數器。

在一些實施例中，該方法包括基於當前視頻塊更新一個或多個幀內預測模式候選表。在一些實施例中，該方法還包括使用更新的一個或多個幀內預測模式候選表來執行視頻的後續視頻塊和視頻的位元流表示之間的第二轉換。

圖46是根據當前公開技術的用於視頻處理的示例性方法4600的流程圖。在操作4602，方法4600包括基於視頻的視頻塊的非相鄰塊的幀內預測模式確定一組幀內預測模式預測器。在操作4604，方法4600包括使用一組幀內預測模式預測器執行視頻塊和視頻的位元流表示之間的轉換。

在一些實施例中，上述方法4500和4600包括基於以下的至少一種構建最可能模式(MPM)列表：一個或多個預測模式候選表或非相鄰塊的幀內預測模式。在一些實施例中，該方法包括基於以下的至少一種重新排序非最可能模式(MPM)幀內預測模式：一個或多個預測模式候選表或非相鄰塊的幀內預測模式。

圖47是根據當前公開技術的用於視頻處理的示例性方法4700的流程圖。在操作4702，方法4700包括基於視頻的一個或多個先前視頻塊保持一個或多個照明補償(IC)參數表。在操作4702，方法4700包括使用一個或多個IC參數表執行視頻的當前視頻塊和視頻的位元流表示之間的轉換。

在一些實施例中，當前視頻塊被IC編碼。在一些實施例中，該方法包括在執行視頻資料的編碼區域的轉換之前初始化一個或多個IC參數表。編碼區域可以包括圖片，條帶或最大編碼單元行。

在一些實施例中，該方法包括基於當前視頻塊的IC參數更新一個或多個IC參數表。在一些實施例中，該方法包括使用更新的一個或多個IC參數表執行視頻的後續視頻塊和視頻的位元流表示之間的第二轉換。後續視頻資料塊可以被照明補償IC編碼。

圖48是根據當前公開技術的用於視頻處理的示例性方法4800的流程圖。在操作4802，方法4800包括基於當前視頻塊的非相鄰塊的IC參數導出視頻的當前視頻塊的照明補償(IC)參數。在操作4804，方法4800包括使用導出的IC參數執行當前視頻塊和視頻的位元流表示之間的轉換。

在一些實施例中，上述方法4700和4800包括構建IC候選列表，其中每個IC候選與對應的IC參數關聯。可以為IC候選分配索引。可以針對位元流表示中的視頻塊對IC候選的索引信號通知。

從前述內容將理解，為了便於說明，本公開技術的具體實施例已經 在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了所附權利要求之外，本公開的技術不受限制。

本專利文件中描述的主題和功能操作的實現方式可以在各種系統、數位電子電路、或電腦軟體、韌體或硬體中實現，包括本說明書中公開的結構及其結構等效體，或其中一個或多個的組合。本說明書中描述的主題的實現方式可以實現為一個或多個電腦程式產品，即編碼在有形和非揮發電腦可讀介質上的電腦程式指令的一個或多個模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多個處理器或電腦。除硬體外，該裝置還可以包括為所述電腦程式創建執行環境的代碼，例如，構成處理器韌體、協定堆疊、資料庫管理系統、作業系統或其中一個或多個的組合的代碼。

電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的程式設計語言(包括編譯語言或解釋語言)編寫，並且它可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或適合在計算環境中使用的其他單元。電腦程式不一定與檔案系統中的檔對應。程式可以存儲在保存其他程式或資料的檔的一部分(例如，存儲在標記語言文檔中的一個或多個腳本)中、專用於所述程式的單個檔中、或多個協調檔(例如，存儲一個或多個模組、副程式或部分代碼的檔)中。電腦程式可以部署成在一台或多台電腦上執行，所述電腦位於一個網站上或分佈在多個網站上，並通過通信網路互連。

本說明書描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行，所述處理器執行一個或多個電腦程式，通過在輸入資料上操作並產生輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA(現場可程式設計閘陣列)或ASIC(專用積體電路)。

例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括用於存儲資料的一個或多個大型存放區設備，例如，磁片、磁光碟或光碟，或可操作聯接到一個或多個大型存放區設備以從其接收資料或向其傳輸資料，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非揮發性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備。處理器和記憶體可以由專用邏輯電路來補充，或Merge到專用邏輯電路中。

本說明書和附圖僅意在被視為示例性的，其中示例性是指示例。如本文所用，除非上下文另有明確說明，否則單數形式“a”、“an”和“the”也應包括複數形式。此外，“或”的使用旨在包括“和/或”，除非上下文另有明確說明。

雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或權利要求範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實 現。相反，在單個實施例的上下文中描述的各種特徵也可以在多個實施例中單獨實現，或在任何合適的子組合中實現。而且，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除權利要求組合中的一個或多個特徵，並且權利要求的組合可以涉及子組合或子組合的變型。

類似地，儘管圖中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或按照先後循序執行這樣的操作，或執行所有示出的操作。而且，本專利文件所述實施例中各種系統部件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實現方式和示例，其他實現方式、增強和變型可以基於本專利文件中描述和示出的內容做出。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100:HEVC視頻編碼器和解碼器

Claims (9)

1. 一種用於視頻處理的方法，其包括：使用Merge索引執行視頻的視頻資料塊和視頻的位元流表示之間的轉換，其中所述位元流表示包括指示用於所述轉換的Merge候選的Merge索引，並且其中所述Merge索引被劃分為第一部分和第二部分，所述第一部分使用第一二值化方法編碼，並且所述第二部分使用與所述第一二值化方法不同的第二二值化方法編碼。
2. 如請求項1所述的方法，其中所述第一二值化方法是一元碼二值化方法。
3. 如請求項1或2所述的方法，其中所述第二二值化方法是固定長度(FL)二值化方法。
4. 如請求項1或2所述的方法，其中所述第二二值化方法是k階Exp-Golomb(EGk)二值化方法。
5. 如請求項1所述的方法，其中在所述Merge索引的值在0到M-N的範圍內的情況下應用所述第一二值化方法，M是所述Merge候選的最大數量，並且N是預定整數。
6. 如請求項1所述的方法，其中在所述Merge索引的值在M-N到M-1的範圍內的情況下應用所述第一和第二二值化方法二者，M是所述Merge候選的最大數量，並且N是預定整數。
7. 如請求項1或2所述的方法，其中由於所述Merge索引大於預定或信號通知的閾值，所述Merge索引被劃分為第一部分和第二部分。
8. 一種視頻系統中的裝置，其包括處理器和其上具有指令的非揮發性記憶體，其中所述指令在由所述處理器執行時使所述處理器實現根據請求項1至7中任一項所述的方法。
9. 一種儲存在非揮發性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於執行根據請求項1至7中任一項所述的方法的程式碼。

Images