TW202002639A - 哪個查找表需要更新或不更新 - Google Patents

Abstract

一種視頻解碼方法，包括：維護若干個表，其中每個表包括一組運動候選，並且每個運動候選與從先前編碼的視頻塊推導出的對應運動信息相關聯；在視頻區域中的當前視頻塊和當前視頻塊的位元流表示之間執行轉換；以及基於更新規則更新一個或多個表。

Description

哪個查找表需要更新或不更新

本申請文件涉及視頻編碼技術、設備和系統。 [相關申請的交叉引用] 根據適用的《專利法》和/或《巴黎公約》的規定，本申請及時要求於2018年6月29日提交的國際專利申請號PCT/CN2018/093663的優先權和利益。根據美國法律，將國際專利申請號PCT/CN2018/093663的全部公開以引用方式併入本文，作為本申請公開的一部分。

儘管視訊壓縮有所進步，數位視訊在互聯網和其它數位通信網路上使用的頻寬仍然最大。隨著能夠接收和顯示視頻的連接使用者設備數量的增加，預計數位視訊使用的頻寬需求將繼續增長。

本文件公開了用於使用運動向量的Merge清單編碼和解碼數位視訊的方法、系統和設備。

在一個示例方面，公開了一種視頻解碼方法，該方法包括：維護若干個表，其中每個表包括一組運動候選，並且每個運動候選與從先前編碼的視頻塊推導出的對應運動信息相關聯；在視頻區域中的當前視頻塊和當前視頻塊的位元流表示之間執行轉換；以及基於更新規則更新一個或多個表。

在另一個示例方面，公開了另一種視頻解碼方法。該方法包括：檢查一組表，每個表包括一個或多個運動候選，每個運動候選與該運動候選的運動信息相關聯；基於一個或多個表處理視頻塊的運動信息；以及基於從該處理生成的視頻塊更新一個或多個表。

在又一個示例方面，公開了另一種視頻解碼方法。該方法包括：檢查一組表，每個表包括一個或多個運動候選，每個運動候選與該運動候選的運動信息相關聯；基於視頻塊在圖片中的位置選擇一個或多個表；基於所選擇的一個或多個表處理視頻塊的運動信息；以及基於從該處理生成的視頻塊更新所選擇的表。

在又一個示例方面，公開了另一種視頻解碼方法。該方法包括：檢查一組表，每個表包括一個或多個運動候選，每個運動候選與該運動候選的運動信息相關聯；基於視頻塊和一個或多個表中的一個運動候選之間的距離選擇一個或多個表；基於所選擇的一個或多個表處理視頻塊的運動信息；以及基於從該處理生成的視頻塊更新所選擇的表。

在又一示例方面，公開了實現本文所述的視頻編碼方法的視頻編碼設備。

在又一典型的方面，本文所述的各種技術可以實施為存儲在非暫時性電腦可讀介質上的電腦程式產品。電腦程式產品包括用於執行本文所述方法的程式碼。

在又一典型的方面，公開了實現本文所述的視頻解碼方法的視頻解碼裝置。

在附件、附圖和下面的描述中闡述了一個或多個實現的細節。其它特徵將從說明書和附圖以及申請專利範圍中顯而易見。

為了提高視頻的壓縮比，研究人員不斷尋找新的技術來編碼視頻。

1.介紹

本文件涉及視頻編碼技術。具體地，涉及視頻編碼中的運動信息編碼（諸如Merge模式、AMVP模式）。可應用于現有的視頻編碼標準，或待最終確定的標準多功能視頻編碼。也可能適用于未來的視頻編碼標準或視頻轉碼器。

簡要討論

視頻編碼標準主要是通過開發公知的ITU-T和ISO/IEC標準而發展起來的。ITU-T開發了H.261和H.263，ISO/IEC開發了MPEG-1和MPEG-4視覺，並且兩個組織聯合開發了H.262/MPEG-2視頻、H.264/MPEG-4高級視頻編碼（AVC）和H.265/HEVC標準。自H.262以來，視頻編碼標準基於混合視頻編碼結構，其中採用了時域預測加變換編碼。典型HEVC編碼器框架的示例如圖1所示。

2.1 分割結構

2.1.1 H.264/AVC中的分割樹結構

先前標準中編碼層的核心是巨集塊，包含16×16的亮度樣點塊，並且在常規的4:2:0顏色採樣情況下，包含兩個對應的8×8的色度樣點塊。

內部編碼塊使用空間預測來探索像素之間的空間相關性。定義了兩種分割：16x16和4x4。

幀間編碼塊通過估計圖片之間的運動來使用時域預測，而不是空間預測。可以單獨估計16x16宏塊或其任何子宏塊分割的運動：16x8、8x16、8x8、8x4、4x8、4x4（見圖2）。每個子宏塊分割只允許一個運動向量（MV）。

2.1.2 HEVC中的分割樹結構

在HEVC中，通過使用四叉樹結構（表示為編碼樹）將CTU劃分成CU來適應各種局部特性。在CU級別決定是使用幀間（時域）預測還是幀內（空間）預測對圖片區域進行編碼。根據PU的分割類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU中，應用相同的預測處理，並且相關資訊以PU為基礎傳輸到解碼器。在基於PU分割類型通過應用預測處理獲得殘差塊後，可以根據與CU的編碼樹相似的另一個四叉樹結構將CU分割成變換單元（TU）。HEVC結構的一個重要特徵是它具有多個分割概念，包括CU、PU以及TU。

以下，使用HEVC的混合視頻編碼中涉及的各種特徵突出顯示如下。

1）編碼樹單元和編碼樹塊（CTB）結構：HEVC中的類似結構是編碼樹單元（CTU），其具有由編碼器選擇並且可以大於傳統的宏塊的尺寸。CTU由亮度 CTB和相應的色度 CTB以及語法元素組成。亮度 CTB的尺寸L×L可以選擇為L=16、32或64個樣點，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支援使用樹結構和四叉樹式信令將CTB分割為更小的塊。

2）編碼單元（CU）和編碼塊（CB）：CTU的四叉樹語法規定了其亮度和色度 CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度 CTB的尺寸是亮度 CB支持的最大尺寸。CTU的亮度和色度 CB的劃分是聯合發信令的。一個亮度CB和通常兩個色度CB以及相關的語法一起形成編碼單元（CU）。CTB可以只包含一個CU，也可以劃分形成多個CU，並且每個CU都有一個相關的劃分，分割成預測單元（PU）和轉換單元樹（TU）。

3）預測單元和預測塊（PB）：在CU級別決定是使用幀間預測還是幀內預測對圖片區域進行編碼。PU分割結構的根位於CU級。取決於基本的預測類型決定，可以在尺寸上進一步劃分亮度和色度 CB，並從亮度和色度預測塊（PB）中預測亮度和色度 CB。HEVC支援從64×64到4×4個樣點的可變PB尺寸。圖3示出了MxM CU的允許PB示例。

4）TU和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根位於CU級。亮度CB殘差可能與亮度變換塊（TB）相同，或者也可能進一步劃分成更小的亮度TB。同樣適用於色度TB。對於4×4、8×8、16×16和32×32的方形TB定義了與離散餘弦變換（DCT）相似的整數基函數。對於亮度幀內預測殘差的4×4變換，也可以指定從離散正弦變換（DST）形式推導的整數變換。

圖4示出了將CTB細分成CB（和轉換塊（TB））的示例。實線指示CB邊界，並且虛線指示TB邊界。（a）帶分割的CTB。（b）對應的四叉樹。

2.1.2.1 分割成變換塊和單元的樹形結構劃分

對於殘差編碼，CB可以遞迴地分割為轉換塊（TB）。分割由殘差四叉樹發信令。只指定了方形CB和TB分割，其中塊可以遞迴地劃分為四象限，如圖4所示。對於尺寸為M×M的給定的亮度 CB，標誌指示它是否被劃分成四個尺寸為M/2×M/2的塊。如果可以進一步劃分，如SPS中指示的殘差四叉樹的最大深度所指示的那樣，每個象限都會分配一個標誌，指示是否將其劃分為四個象限。由殘差四叉樹生成的葉節點塊是由變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度 TB尺寸。當CB尺寸大於最大TB尺寸時，則暗示劃分。當劃分將導致比指示的最小值更小的亮度TB尺寸時，則暗示不劃分。色度TB尺寸在每個維度上是亮度TB尺寸的一半，但當亮度TB尺寸為4×4時除外，在這種情況下，被四個4×4亮度TB覆蓋的區域使用單個4×4色度TB。在幀內預測的CU的情況下，最近相鄰TB（CB內或CB外）的解碼樣點用作幀內預測的參考資料。

與以前的標準不同，對於幀間預測的CU，HEVC設計允許TB跨越多個PB，以最大化得益於四叉樹結構的TB分割的潛在編碼效率。

2.1.2.2 父節點和子節點

根據四叉樹結構對CTB進行劃分，其節點為編碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點（例如，葉節點不會進一步劃分）。非葉節點包括樹結構的根節點。根節點對應於視頻資料的初始視頻塊（例如，CTB）。對於多個節點的每個各自的非根節點，各自的非根節點對應於視頻塊，該視頻塊是對應於各自非根節點的樹結構中的父節點的視頻塊的子塊。多個非葉節點的每個各自的非葉節點在樹結構中具有一個或多個子節點。

2.1.3 JEM中具有較大CTU的四叉樹加二叉樹塊結構

為探索HEVC之外的未來視頻編碼技術，VCEG和MPEG於2015年共同成立了聯合視頻探索團隊（JVET）。從那時起，JVET採用了許多新的方法，並將其應用到了名為聯合探索模型（JEM）的參考軟體中。

2.1.3.1 QTBT塊分割結構

與HEVC不同，QTBT結構消除了多個分割類型的概念，即QTBT結構消除了CU、PU和TU概念的分離，並支持CU分割形狀的更多靈活性。在QTBT塊結構中，CU可以是方形或矩形。如圖5所示，首先用四叉樹結構對編碼樹單元（CTU）進行分割。四叉樹葉節點進一步被二叉樹結構分割。在二叉樹劃分中有兩種分割類型：對稱的水平劃分和對稱的垂直劃分。二叉樹葉節點被稱為編碼單元（CU），該劃分用於預測和轉換處理，而無需進一步分割。這意味著在QTBT編碼塊結構中CU、PU和TU具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊（CB）組成，例如，在4:2:0色度格式的P條帶和B條帶中，一個CU包含一個亮度 CB和兩個色度 CB，並且CU有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度 CB或僅包含兩個色度 CB。

為QTBT分割方案定義了以下參數。 –CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同。 –MiNQTSize：最小允許的四叉樹葉節點尺寸 –MaxBTSize：最大允許的二叉樹根節點尺寸 –MaxBTDePTh：最大允許的二叉樹深度 –MiNBTSize：最小允許的二叉樹葉節點尺寸

在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣點塊的128×128 個亮度樣點，MiNQTSize被設置為16×16，MaxBTSize被設置為64×64，MiNBTSize（寬度和高度）被設置為4×4，MaxBTSize被設置為4。四叉樹分割首先應用於CTU，以生成四叉樹葉節點。四叉樹葉節點的尺寸可以具有從16×16（即，MiNQTSize）到128×128（即，CTU尺寸）的尺寸。如果葉四叉樹節點是128×128，則其不會被二叉樹進一步劃分，因為其尺寸超過了MaxBTSize（例如，64×64）。否則，葉四叉樹節點可以被二叉樹進一步分割。因此，四叉樹葉節點也是二叉樹的根節點，並且其二叉樹深度為0。當二叉樹深度達到MaxBTDePTh（即，4）時，不考慮進一步劃分。當二叉樹節點的寬度等於MiNBTSize（即，4）時，不考慮進一步的水平劃分。同樣，當二叉樹節點的高度等於MiNBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而不需要進一步的分割。在JEM中，最大CTU尺寸為256×256 個亮度樣點。

圖5（左側）圖示了通過使用QTBT進行塊分割的示例，圖5（右側）圖示了相應的樹表示。實線表示四叉樹分割，並且虛線表示二叉樹分割。在二叉樹的每個劃分（即，非葉）節點中，會對一個標誌發信令來指示使用哪種分割類型（即，水平或垂直），其中0表示水平劃分，1表示垂直劃分。對於四叉樹分割，不需要指明分割類型，因為四叉樹分割總是水平和垂直劃分一個塊，以生成尺寸相同的4個子塊。

此外，QTBT方案支援亮度和色度具有單獨的QTBT結構的能力。目前，對於P條帶和B條帶，一個CTU中的亮度和色度 CTB共用相同的QTBT結構。然而，對於I條帶，用QTBT結構將亮度CTB分割為CU，用另一個QTBT結構將色度CTB分割為色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，P條帶或B條帶中的CU由所有三種顏色分量的編碼塊組成。

在HEVC中，為了減少運動補償的記憶體訪問，限制小塊的幀間預測，使得4×8和8×4塊不支持雙向預測，並且4×4塊不支援幀間預測。在JEM的QTBT中，這些限制被移除。

2.1.4 多功能視頻編碼（VVC）的三叉樹

在一些實施例中，支持四叉樹和二叉樹以外的樹類型。在實現中，還引入了另外兩個三叉樹（TT）劃分，即水平和垂直的中心側三叉樹，如圖6（d）和圖6（e）所示。

圖6示出了：（a）四叉樹劃分（b）垂直二叉樹劃分（c）水平二叉樹劃分（d）垂直中心側三叉樹劃分（e）水平中心側三叉樹劃分。

在一些實現中，有兩個層次的樹：區域樹（四叉樹）和預測樹（二叉樹或三叉樹）。首先用區域樹（RT）對CTU進行劃分。可以進一步用預測樹（PT）劃分RT葉。也可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本的編碼單元。為了方便起見，它仍然被稱為CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構被稱為「多類型樹」。

2.1.5 分割結構

此回應中使用的稱為多樹型（MTT）的樹結構是QTBT的廣義化。在QTBT中，如圖5所示，首先用四叉樹結構對編碼樹單元（CTU）進行分割。然後用二叉樹結構對四叉樹葉節點進行進一步分割。

MTT的基本結構由兩種類型的樹節點組成：區域樹（RT）和預測樹（PT），支援九種類型的劃分，如圖7所示。

圖7圖示了以下示例：（a）四叉樹分割，（b）垂直二叉樹分割，（c）水平二叉樹分割，（d）垂直三叉樹分割，（e）水平三叉樹分割，（f）水平向上非對稱二叉樹分割，（g）水平向下非對稱二叉樹分割，（h）垂直的左非對稱二叉樹分割，和（i）垂直的右非對稱二叉樹分割。

區域樹可以遞迴地將CTU劃分為方形塊，直至4x4尺寸的區域樹葉節點。在區域樹的每個節點上，可以從三種樹類型中的一種形成預測樹：二叉樹（BT）、三叉樹（TT）和/或非對稱二叉樹（ABT）。在PT劃分中，可能禁止在預測樹的分支中進行四叉樹分割。和JEM一樣，亮度樹和色度樹在I條帶中被分開。RT和PT的信令方法如圖8所示。

2.2 HEVC/H.265中的幀間預測

每個幀間預測的PU具有一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。對兩個參考圖片清單中的一個的使用也可以使用inter_pred_idc發信令。運動向量可以相對於預測值顯式地編碼為增量，這種編碼模式稱為高級運動向量預測（AMVP）模式。

當CU採用跳躍模式編碼時，一個PU與CU相關聯，並且沒有顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定了一種Merge模式，通過該模式，可以從相鄰的PU（包括空間和時域候選）中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中運動向量、每個參考圖片清單對應的參考圖片索引和參考圖片清單的使用都會在每個PU中顯式地發信令。

當信令指示要使用兩個參考圖片清單中的一個時，從一個樣點塊中生成PU。這被稱為「單向預測」。單向預測對P條帶和B條帶都可用。

當信令指示要使用兩個參考圖片清單時，從兩個樣點塊中生成PU。這被稱為「雙向預測」。雙向預測僅對B條帶可用。

下面文本提供了HEVC中規定的幀間預測模式的細節。描述將從Merge模式開始。

2.2.1 Merge模式

2.2.1.1 Merge模式的候選的推導

當使用Merge模式預測PU時，從位元流分析指向Merge候選清單中條目的索引，並用於檢索運動信息。該清單的結構在HEVC標準中有規定，並且可以按照以下步驟順序進行概括：

步驟1：初始候選推導 步驟1.1：空域候選推導 步驟1.2：空域候選的冗餘檢查 步驟1.3：時域候選推導

步驟2：附加候選插入 步驟2.1：雙向預測候選的創建 步驟2.2：零運動候選的插入

在圖9中也示意性描述了這些步驟。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到條帶標頭中發信令的最大Merge候選數（MaxNumMergeCand）時，生成附加的候選。由於候選數是恒定的，所以最佳Merge候選的索引使用截斷的一元二值化（TU）進行編碼。如果CU的大小等於8，則當前CU的所有PU都共用一個Merge候選列表，這與2N×2N預測單元的Merge候選清單相同。

下面詳細介紹與上述步驟相關的操作。

2.2.1.2 空域候選推導

在空間Merge候選的推導中，在位於圖10所示位置的候選中最多選擇四個Merge候選。推導順序為A₁ 、B₁ 、B₀ 、A₀ 和B₂ 。只有當位置A₁ 、B₁ 、B₀ 、A₀ 的任何PU不可用（例如，因為它屬於另一個條帶或片）或是內部編碼時，才考慮位置B₂ 。在增加A₁ 位置的候選後，對其餘候選的增加進行冗餘檢查，其確保具有相同運動信息的候選被排除在清單之外，從而提高編碼效率。為了降低計算的複雜度，在所提到的冗餘檢查中並不考慮所有可能的候選對。相反，只有與圖11中的箭頭連結的對才會被考慮，並且只有當用於冗餘檢查的對應候選沒有相同的運動信息時，才將候選添加到列表中。複製運動信息的另一個來源是與2N×2N不同的分區相關的「第二PU」。例如，圖12分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表構建不考慮A₁ 位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動信息的預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B₁ 。

2.2.1.3 時域候選推導

在此步驟中，只有一個候選添加到列表中。特別地，在這個時域Merge候選的推導中，基於與給定參考圖片清單中當前圖片具有最小圖片順序計數POC差異的並置PU推導了縮放運動向量。用於推導並置PU的參考圖片清單在條帶標頭中顯式地發信令。圖13中的虛線示出了時域Merge候選的縮放運動向量的獲得，其使用POC距離tb和td從並置PU的運動向量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義為並置圖片的參考圖片與並置圖片之間的POC差異。時域Merge候選的參考圖片索引設置為零。HEVC規範中描述了縮放處理的實際實現。對於B條帶，得到兩個運動向量（一個是對於參考圖片清單0，另一個是對於參考圖片清單1）並將其組合使其成為雙向預測Merge候選。時域Merge候選的運動向量縮放的說明。

在屬於參考幀的並置PU（Y）中，在候選C₀ 和C₁ 之間選擇時域候選的位置，如圖14所示。如果位置C₀ 處的PU不可用、內部編碼或在當前CTU之外，則使用位置C₁ 。否則，位置C0被用於時域Merge候選的推導。

2.2.1.4 附加候選插入

除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數相結合，生成組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。圖15示出了原始列表中（在左側）的兩個候選被用於創建添加到最終列表（在右側）中的組合雙向預測Merge候選的情況，其具有MvL0和refIdxL0或MvL1和refIdxL1的兩個候選。有許多關於組合的規則需要考慮以生成這些附加Merge候選。

插入零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移和從零開始並且每次將新的零運動候選添加到清單中時都會增加的參考圖片索引。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。最後，對這些候選不執行冗餘檢查。

2.2.1.5 並行處理的運動估計區域

為了加快編碼處理，可以並存執行運動估計，從而同時推導給定區域內所有預測單元的運動向量。從空間鄰域推導Merge候選可能會干擾並行處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編碼效率和處理延遲之間的平衡，HEVC定義了運動估計區域（MER）。可使用如下所述的語法元素「log2_parallel_merge_level_minus2」 在圖片參數集中對MER的尺寸中發信令。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表構建中不考慮。

7.3.2.3 圖片參數設置原始位元組序列有效載荷（RBSP）語法

7.3.2.3.1 通用圖片參數集RBSP語法

log2_parallel_Merge_level_MiNus2加2指定變數Log2ParMrgLevel的值，該變數用於第8.5.3.2.2條中規定的Merge模式亮度運動向量的推導過程，以及第8.5.3.2.3條中規定的空間Merge候選的推導過程。log2_parallel_Merge_level_MiNus2的值應在0到CtbLog2SizeY−2的範圍內，包括0和CtbLog2SizeY−2。

變數Log2ParMrgLevel推導如下：

Log2ParMrgLevel = log2_parallel_Merge_level_MiNus2 + 2

注釋3–Log2ParMrgLevel的值表示Merge候選列表並行推導的內置功能。例如，當Log2ParMrgLevel等於6時，可以並行推導64x64塊中包含的所有預測單元（PU）和編碼單元（CU）的Merge候選列表。

2.2.2 AMVP模式中的運動向量預測

運動向量預測利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過檢查左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恒定來構建運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳的預測值，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動向量候選的索引使用截斷的一元進行編碼。在這種情況下要編碼的最大值是2（圖2至圖8）。在下面的章節中，將詳細介紹運動向量預測候選的推導過程。

2.2.2.1 運動向量預測候選的推導

圖16概括了運動向量預測候選的推導過程。

在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選的推導，基於位於圖11所示的五個不同位置的每個PU的運動向量最終推推導兩個運動向量候選。

對於時域運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的並置位置推導的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片清單中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加附加的零運動向量候選。

2.2.2.2 空間運動向量候選

在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選來自圖11所描繪位置上的PU，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A₀ 、A₁ 、以及縮放的A₀ 、縮放的A₁ 。當前PU上面的推導順序定義為B₀ 、B₁ 、B₂ 、縮放的B₀ 、縮放的B₁ 、縮放的B₂ 。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下：

--無空間縮放 （1）相同的參考圖片清單，並且相同的參考圖片索引（相同的POC） （2）不同的參考圖片清單，但是相同的參考圖片索引（相同的POC）

--空間縮放 （3）相同的參考圖片清單，但是不同的參考圖片索引（不同的POC） （4）不同的參考圖片清單，並且不同的參考圖片索引（不同的POC）

首先檢查無空間縮放的情況，然後檢查空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片清單。如果左側候選的所有PU都不可用或是內部編碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的平行推導。否則，不允許對上述運動向量進行空間縮放。

在空間縮放處理中，相鄰PU的運動向量以與時域縮放相似的方式縮放，如圖17所示。主要區別在於，給出了當前PU的參考圖片清單和索引作為輸入，實際縮放處理與時域縮放處理相同。

2.2.2.3 時域運動向量候選

除了參考圖片索引的推導外，時域Merge候選的所有推導過程與空間運動向量候選的推導過程相同（圖2至圖6）。向解碼器發參考圖片索引的信令。

2.2.2.4 AMVP信息的信令

對於AMVP模式，可以在位元流對四個部分發信令，包括預測方向、參考索引、MVD和MV預測候選索引。

語法表：

7.3.8.9 運動向量差語法

2.3 聯合探索模型（JEM）中新的幀間預測方法

2.3.1 基於子CU的運動向量預測

在具有QTBT的JEM中，每個CU對於每個預測方向最多可以具有一組運動參數。通過將大的CU分割成子CU並推導該大CU的所有子CU的運動信息，編碼器中考慮了兩種子CU級的運動向量預測方法。可選時域運動向量預測（ATMVP）方法允許每個CU從多個小於並置參考圖片中當前CU的塊中獲取多組運動信息。在空時運動向量預測（STMVP）方法中，通過利用時域運動向量預測值和空間鄰接運動向量遞迴地推導子CU的運動向量。

為了為子CU運動預測的保持更精確的運動場，當前禁用參考幀的運動壓縮。

2.3.1.1 可選時域運動向量預測

在可選時域運動向量預測（ATMVP）方法中，運動向量時域運動向量預測（TMVP）是通過從小於當前CU的塊中提取多組運動信息（包括運動向量和參考索引）來修改的。如圖18所示，子CU為方形N×N塊（默認N設置為4）。

ATMVP分兩步預測CU內的子CU的運動向量。第一步是用所謂的時域向量識別參考圖中的對應塊。參考圖片稱為運動源圖片。第二步是將當前CU劃分成子CU，並從每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引，如圖18所示。

在第一步中，參考圖片和對應的塊由當前CU的空間相鄰塊的運動信息確定。為了避免相鄰塊的重複掃描處理，使用當前CU的Merge候選列表中的第一個Merge候選。第一個可用的運動向量及其相關聯的參考索引被設置為時域向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊（有時稱為並置塊）始終位於相對於當前CU的右下角或中心位置。在一個示例中，如果第一個Merge候選來自左相鄰塊（例如，圖19中的A₁ ），則使用相關的MV和參考圖片來識別源塊和源圖片。

圖19示出了源塊和源圖片的識別的示例。

在第二步中，通過將時域向量添加到當前CU的座標中，通過運動源圖片中的時域向量識別子CU的對應塊。對於每個子CU，使用其對應塊的運動信息（覆蓋中心樣點的最小運動網格）來推導子CU的運動信息。在識別出對應N×N塊的運動信息後，將其轉換為當前子CU的運動向量和參考索引，與HEVC的TMVP方法相同，其中應用運動縮放和其它處理。例如，解碼器檢查是否滿足低延遲條件（例如，當前圖片的所有參考圖片的POC都小於當前圖片的POC），並可能使用運動向量MV_x （與參考圖片清單X對應的運動向量）來為每個子CU預測運動向量MV_y （X等於0或1且Y等於1−X）。

2.3.1.2 空時運動向量預測

在這種方法中，子CU的運動向量是按照光柵掃描順序遞迴推導的。圖20說明了該概念。我們來考慮一個8×8的 CU，它包含四個4×4的子CU A、B、C和D。當前幀中相鄰的4×4的塊標記為a、b、c和d。

子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A上方的N×N塊（塊c）。如果該塊c不可用或內部編碼，則檢查子CU A上方的其它N×N塊（從左到右，從塊c處開始）。第二個鄰居是子CU A左側的一個塊（塊b）。如果塊b不可用或是內部編碼，則檢查子CU A左側的其它塊（從上到下，從塊b處開始）。每個清單從相鄰塊獲得的運動信息被縮放到給定清單的第一個參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推導子塊A的時域運動向量預測（TMVP）。提取位置D處的並置塊的運動信息並進行相應的縮放。最後，在檢索和縮放運動信息後，對每個參考列表分別平均所有可用的運動向量（最多3個）。將平均運動向量指定為當前子CU的運動向量。

圖20示出了具有四個子塊（A-D）和相鄰塊（a-d）的一個CU的示例。

2.3.1.3 子CU運動預測模式信令通知

子CU模式作為附加的Merge候選模式啟用，並且不需要附加的語法元素來對該模式發信令。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P條帶或B條帶中的每個CU，需要對兩個附加Merge候選進行兩次額外的RD檢查。

在JEM中，Merge索引的所有bin文件都由CABAC進行上下文編碼。然而在HEVC中，只有第一個bin文件是上下文編碼的，並且其餘的biN文件是上下文旁路編碼的。

2.3.2自我調整運動向量差解析度

在HEVC中，當在條帶標頭中use_integer_mv_flag等於0時，運動向量差（MVD）（在PU的運動向量和預測運動向量之間）以四分之一亮度樣點為單位發信令。在JEM中，引入了局部自我調整運動向量解析度（LAMVR）。在JEM中，MVD可以用四分之一亮度樣點、整數亮度樣點或四亮度樣點的單位進行編碼。MVD解析度控制在編碼單元（CU）級別，並且MVD解析度標誌有條件地為每個至少有一個非零MVD分量的CU發信令。

對於具有至少一個非零MVD分量的CU，第一個標誌將發信令以指示CU中是否使用四分之一亮度樣點MV精度。當第一個標誌（等於1）指示不使用四分之一亮度樣點MV精度時，另一個標誌發信令以指示是使用整數亮度樣點MV精度還是使用四亮度樣點MV精度。

當CU的第一個MVD解析度標誌為零或沒有為CU編碼（意味著CU中的所有MVD都為零）時，CU使用四分之一亮度樣點MV解析度。當一個CU使用整數亮度樣點MV精度或四亮度樣點MV精度時，該CU的AMVP候選列表中的MVP將取整到對應的精度。

在編碼器中，CU級別的RD檢查用於確定哪個MVD解析度將用於CU。也就是說，對每個MVD解析度執行三次CU級別的RD檢查。為了加快編碼器速度，在JEM中應用以下編碼方案。

在對具有正常四分之一亮度採樣MVD解析度的CU進行RD檢查期間，存儲當前CU（整數亮度採樣精度）的運動信息。在對具有整數亮度樣點和4亮度樣點MVD解析度的同一個CU進行RD檢查時，將存儲的運動信息（取整後）用作進一步小範圍運動向量細化的起始點，從而使耗時的運動估計處理不會重複三次。

有條件地調用具有4亮度樣點MVD解析度的CU的RD檢查。對於CU，當整數亮度樣點MVD解析度的RD檢查成本遠大於四分之一亮度樣點MVD解析度的RD檢查成本時，將跳過對CU的4 亮度樣點MVD解析度的RD檢查。

2.3.3模式匹配運動向量推導

模式匹配運動向量推導（PMMVD）模式是基於畫面播放速率上轉換（FRUC）技術的特殊Merge模式。在這種模式下，塊的運動信息不會被發信令，而是在解碼器側推導。

對於CU，當其Merge標誌為真時，對FRUC標誌發信令。當FRUC標誌為假時，對Merge索引發信令並且使用常規Merge模式。當FRUC標誌為真時，對另一個FRUC模式標誌發信令來指示將使用哪種模式（雙邊匹配或範本匹配）來推導該塊的運動信息。

在編碼器側，基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。即通過使用RD成本選擇來檢查CU的兩個匹配模式（雙邊匹配和範本匹配）。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麼對於CU，FRUC標誌設置為真，並且使用相關的匹配模式。

FRUC Merge模式中的運動推導過程有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動優化。在CU級，基於雙邊匹配或範本匹配，推導整個CU的初始運動向量。首先，生成一個MV候選列表，並且選擇導致最低匹配成本的候選作為進一步優化CU級的起點。然後在起始點附近執行基於雙邊匹配或範本匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV值。接著，以推導的CU運動向量為起點，進一步在子CU級細化運動信息。

例如，對於W×H CU運動信息推導執行以下推導過程。在第一階段，推推導了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照等式（1）計算，D是預先定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV值。

等式（1）

如圖21所示，通過沿當前CU的運動軌跡在兩個不同的參考圖片中找到兩個塊之間最接近的匹配，使用雙邊匹配來推導當前CU的運動信息。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0和MV1與當前圖片和兩個參考圖片之間的時間距離（例如，TD0和TD1成正比。作為特殊情況，當當前圖片暫時位於兩個參考圖片之間並且當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

如圖22所示，通過在當前圖片中的範本（當前CU的頂部和/或左側相鄰塊）和參考圖片中的塊（與範本尺寸相同）之間找到最接近的匹配，使用範本匹配來推導當前CU的運動信息。除了上述的FRUC Merge模式外，範本匹配也應用於AMVP模式。在JEM中，正如在HEVC中一樣，AMVP有兩個候選。利用範本匹配方法，推導了新的候選。如果由範本匹配新推導的候選與第一個現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，並且然後將列表大小設置為2（即移除第二個現有AMVP候選）。當應用于AMVP模式時，僅應用CU級搜索。

2.3.3.1 CU級MV候選集

CU級的MV候選集包括： （i）原始AMVP候選，如果當前CU處於AMVP模式， （ii）所有Merge候選， （iii）在第2.3.3.2節中介紹的插值MV場中的幾個MV。 （iv）頂部和左側相鄰運動向量

當使用雙邊匹配時，Merge候選的每個有效MV用作輸入，以生成假設為雙邊匹配的MV對。例如，Merge候選在參考列表A處的一個有效MV為（MVa，ref_a ）。然後在另一個參考列表B中找到其配對的雙邊MV的參考圖片ref_b ，以便ref_a 和ref_b 在時間上位於當前圖片的不同側。如果參考列表B中的參考ref_b 不可用，則將參考ref_b 確定為與參考ref_a 不同的參考，並且其到當前圖片的時間距離是清單B中的最小距離。確定參考ref_b 後，通過基於當前圖片和參考ref_a 、參考ref_b 之間的時間距離縮放MVa推導MVb。

還將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置（0，0），（W/2，0），（0，H/2）和（W/2，H/2）處插值的MV。

當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV候選集。

在CU級，可以將AMVP CU的最多15個 MV和Merge CU的最多13個 MV添加到候選列表中。

2.3.3.2 子CU級MV候選集

在子CU級設置的MV候選包括: （i）從CU級搜索確定的MV， （ii）頂部、左側、左上方和右上方相鄰的MV， （iii）來自參考圖片的並置MV的縮放版本， （iv）最多4個ATMVP候選， （v）最多4個STMVP候選。

來自參考圖片的縮放MV推導如下。兩個清單中的所有參考圖片都被遍歷。參考圖片中子CU的並置位置處的MV被縮放為起始CU級MV的參考。

ATMVP和STMVP候選被限制為前四個。在子CU級，最多17個MV被添加到候選列表中。

2.3.3.3 插值MV場的生成

在對幀進行編碼之前，基於單向ME生成整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。

首先，兩個參考清單中每個參考圖片的運動場在4×4的塊級別上被遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊（如圖23所示），並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片（與HEVC中TMVP的MV縮放相同），並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。

2.3.3.4 插補匹配成本

當運動向量指向分數採樣位置時，需要運動補償插值。為了降低複雜度，對雙邊匹配和範本匹配都使用雙線性插值而不是常規的8階HEVC插值。

匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對和差（SAD）。在確定起始MV後，雙邊匹配在子CU級搜索的匹配成本C計算如下：

等式（2）

這裡，w是權重係數，被經驗地設置為4。MV和

分別指示當前MV和起始MV。仍然將SAD用作模式匹配在子CU級搜索的匹配成本。

在FRUC模式下，MV通過僅使用亮度樣點推導。推導的運動將用於亮度和色度的MC幀間預測。確定MV後，對亮度使用8階（8-taps）內插濾波器並且對色度使用4階（4-taps）內插濾波器執行最終MC。

2.3.3.5 MV細化

MV細化是基於模式的MV搜索，以雙邊成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（UCBDS）和自我調整交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣點精度下直接搜索MV，接著是八分之一亮度樣點MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8 個亮度樣點。

2.3.3.6 範本匹配FRUC Merge模式下預測方向的選擇

在雙邊Merge模式下，總是應用雙向預測，因為CU的運動信息是在兩個不同的參考圖片中基於當前CU運動軌跡上兩個塊之間的最近匹配得出的。範本匹配Merge模式沒有這種限定。在範本匹配Merge模式下，編碼器可以從清單0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇基於如下的範本匹配成本： 如果 costBi>=factor*min（cost0,cost1） 則使用雙向預測； 否則，如果 cost0>=cost1 則使用列表0中的單向預測； 否則， 使用列表1中的單向預測；

其中cost0是清單0範本匹配的SAD，cost1是清單2範本匹配的SAD，並且costBi是雙向預測範本匹配的SAD。factor的值等於1.25，意味著選擇處理朝雙向預測偏移。幀間預測方向選擇可以僅應用於CU級範本匹配處理。

2.3.4解碼器側運動向量細化

在雙向預測操作中，對於一個塊區域的預測，將兩個分別由列表0的運動向量（MV）和列表1的MV形成的預測塊組合形成單個預測信號。在解碼器側運動向量細化（DMVR）方法中，通過雙邊範本匹配處理進一步細化雙向預測的兩個運動向量。解碼器中應用的雙邊範本匹配用於在雙邊範本和參考圖片中的重建樣點之間執行基於失真的搜索，以便在不傳輸附加運動信息的情況下獲得細化的MV。

在DMVR中，雙邊範本被生成為兩個預測塊的加權組合（即平均），其中兩個預測塊分別來自列表0的初始MV0和列表1的MV1。範本匹配操作包括計算生成的範本與參考圖片中的樣點區域（在初始預測塊周圍）之間的成本度量。對於兩個參考圖片中的每一個，產生最小範本成本的MV被視為該列表的更新MV，以替換原始MV。在JEM中，為每個列表搜索九個MV候選。九個MV候選包括原始MV和8個周邊MV，這八個周邊MV在水平或垂直方向上或兩者與原始MV具有一個亮度樣點的偏移。最後，使用圖24所示的兩個新的MV（即MV0′和MV1′）生成最終的雙向預測結果。絕對差異之和（SAD）被用作成本度量。

在不傳輸附加語法元素的情況下，將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，並且另一個MV來自未來的參考圖片。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

2.3.5 具有雙邊匹配細化的Merge/跳躍模式

首先構建Merge候選列表，通過將空間相鄰塊和時域相鄰塊的運動向量和參考索引插入候選清單，並進行冗餘檢查，直到可用候選數量達到最大候選數目19。Merge/跳過模式的Merge候選清單是通過根據預先定義的插入順序插入空間候選（圖11）、時域候選、仿射候選、高級時域MVP（ATMVP）候選、空時MVP（STMVP）候選和HEVC中使用的附加候選（組合候選和零候選）來構建的： -塊1-4的空間候選。 -塊1-4的外推仿射候選。 - ATMVP。 - STMVP。 -虛擬仿射候選。 -空間候選（塊5）（僅當可用候選數小於6時使用）。 -外推仿射候選（塊5）。 -時域候選（如HEVC中推導的）。 -後接外推仿射候選的非相鄰的空間候選（塊6至塊49，如圖25所示）。 -組合候選。 -零候選

值得注意的是，除了STMVP和仿射之外，IC標誌也繼承自Merge候選。此外，對於前四個空間候選，在單向預測候選之前插入雙向預測候選。

在一些實現中，可以訪問未與當前塊連接的塊。如果使用非內部模式對非相鄰塊進行編碼，則相關的運動信息可以作為附加Merge候選添加。

3. 本文公開的實施例所解決的問題的示例

當前的HEVC設計可以將當前塊與其相鄰塊（與當前塊相鄰）的相關性用於更好地編碼運動信息。然而，相鄰塊可能對應於具有不同運動軌跡的不同物件。在這種情況下，從相鄰塊進行預測不是有效的。

從非相鄰塊的運動信息預測可以帶來額外的編碼效益，代價是將所有運動信息（通常在4x4級別）存儲到緩存中，這顯著地增加硬體實現的複雜性。

4. 一些示例

為了克服現有實現的缺點，可以在各種實施例中實現基於LUT的運動向量預測技術，以提供具有更高編碼效率的視頻編碼，基於LUT的運動向量預測技術使用存儲至少一個運動候選以預測塊的運動信息的一個或多個查找表。每個LUT可以包括一個或多個運動候選，每個運動候選與相應的運動信息關聯。運動候選的運動信息可以包括預測方向、參考索引/圖片、運動向量、LIC標誌、仿射標誌、運動向量推導（MVD）精度和/或MVD值的部分或全部。運動信息還可以包括塊位置資訊，以指示運動信息來自何處。

在下面對各種實現描述的示例中說明了基於所公開的技術的基於LUT的運動向量預測，其可以增強現有和未來的視頻編碼標準。由於LUT允許基於歷史資料（例如，已處理的塊）執行編碼/解碼過程，因此基於LUT的運動向量預測也可以稱為基於歷史的運動向量預測（HMVP）方法。在基於LUT的運動向量預測方法中，在編碼/解碼過程中保持一個或多個表，其運動信息來自先前的編碼塊。在塊的編碼/解碼期間，可以將LUT中的相關運動信息添加到運動候選清單中，並且可以在編碼/解碼該塊後更新LUT。下面的示例應該視為解釋一般概念的示例。這些示例不應該被狹隘地理解。此外，這些示例可以以任何方式組合。

一些實施例可以使用存儲了至少一個運動候選的一個或多個查找表來預測塊的運動信息。實施例可以使用運動候選來指示存儲在查找表中的一組運動信息。對於傳統的AMVP或Merge模式，實施例可以使用AMVP或Merge候選，用於存儲運動信息。

下面的示例說明了一般概念。

查找表的示例

示例A1：每個查找表可以包含一個或多個運動候選，其中每個候選與其運動信息關聯。

a. 這裡，候選運動的運動信息可能包括預測方向、參考索引/圖片、運動向量、LIC標誌、仿射標誌、MVD精度、MVD值的部分或全部。

b. 運動信息還可以包括塊位置資訊，以指示運動信息來自何處。

c. 可為每個查找表進一步分配計數器。 i. 在對圖片/條帶/LCU（CTU）行/片進行編碼/解碼的開始處，可以將計數器初始化為零。 ii. 在一個示例中，可以在編碼/解碼CTU/CTB/CU/CB/PU/特定區域尺寸（例如，8x8或16x16）後更新計數器。 iii. 在一個示例中，每次將一個候選添加到查找表中，計數器增加1。 iv. 在一個示例中，計數器不應大於表的大小（允許的運動候選的數量）。 v. 或者，計數器可用於指示已嘗試將多少運動候選添加到查找表中（它們中的一些在查找表中，但稍後可能從表中移除）。在這種情況下，計數器可能大於表的大小。

d. 表的大小（允許的運動候選數量）和/或表的數量可以是固定的或自我調整的。所有表的表大小可能相同，或者不同表的表大小可能不同。 i. 或者，不同的查找表可能使用不同的尺寸（例如，1或2）。 ii. 在一個示例中，可以預先定義表的大小和/或表的數目。 iii.在一個示例中，表的大小和/或表的數量可以在視頻參數集（VPS）、序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、片標頭、編碼樹單元（CTU）、編碼樹塊（CTB）、編碼單元（CU）或預測單元（PU）、覆蓋多個CTU/CTB/CU/PU的區域中進行信號通知。 iv. 表的大小和/或表的數量可能進一步取決於條帶類型、圖片的時域層索引、一個條帶和最近的內部條帶之間的圖片順序計數（POC）距離。

e. 假設有N個表用於編碼執行緒，則可能需要N*P個表來編碼條帶，其中P表示LCU行數或片數。 i. 或者，編碼條帶只需要P個表，其中P表示LCU行數，其中每個LCU行只使用一個查找表，即使當片被禁用時N可能大於1。

LUT的選擇

示例B1：對於編碼塊，可以按順序檢查來自一個查找表中的部分或全部運動候選。在編碼塊期間檢查一個運動候選時，可以將其添加到運動候選列表（例如，AMVP、Merge候選列表）。

a. 或者，可以按順序檢查來自多個查找表的運動候選。

b. 查找表索引可在CTU、CTB、CU或PU、或覆蓋多個CTU/CTB/CU/PU的區域中信號通知。

示例B2：查找表的選擇可能取決於塊的位置。

a. 可能取決於覆蓋該塊的CTU位址。這裡，我們以兩個查找表（雙重查找表，DLUT）為例來說明這個理念： i. 如果塊位於CTU行中的前M個 CTU之一，則可以使用第一個查找表對塊進行編碼，而對於位於CTU行中其餘CTU中的塊，可以使用第二個查找表。 ii. 如果塊位於CTU行中的前M個 CTU之一，則可以首先檢查第一個查找表的運動候選對塊進行編碼，如果第一個表中沒有足夠的候選，則可以進一步使用第二個查找表。而對於位於CTU行中其餘CTU中的塊，可以使用第二個查找表。 iii. 或者，對於位於CTU行中其餘CTU中的塊，可以首先檢查第二個查找表的運動候選對塊進行編碼，如果第二個表中沒有足夠的候選，則可以進一步使用第一個查找表。

b. 可能取決於塊的位置和與一個或多個查找表中一個運動候選相關聯的位置之間的距離。 iv. 在一個示例中，如果一個運動候選與要編碼的塊之間較小的距離相關聯，則其可以比另一個運動候選更早地進行檢查。

查找表的使用

示例C1：要檢查的查找表中的運動候選總數可以預先定義。

a. 可能進一步取決於編碼資訊、塊尺寸、塊形狀等。例如，對於AMVP模式，可能只檢查m個運動候選，而對於Merge模式，可能檢查n個運動候選（例如，m=2，n=44）。

b. 在一個示例中，要檢查的運動候選總數可以在視頻參數集（VPS）、序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、片標頭、編碼樹單元（CTU）、編碼樹塊（CTB）、編碼單元（CU）或預測單元（PU）、覆蓋多個CTU/CTB/CU/PU的區域中信號通知。

示例C2：查找表中包含的運動候選可以直接由塊繼承。

a. 它們可用於Merge模式編碼，即可以在Merge候選列表推導過程中檢查運動候選。

b. 它們可用於仿射Merge模式編碼。 i. 如果查找表中的運動候選的仿射標誌是1，則可以將其添加為仿射Merge候選。

c. 可啟用查找表中的運動候選的檢查，當： i. 插入TMVP候選後，Merge候選列表未滿； ii. 為空間Merge候選推導檢查某個空間相鄰塊後，Merge候選列表未滿； iii. 所有空間Merge候選後，Merge候選列表未滿； iv. 組合雙向預測Merge候選後，Merge候選列表未滿； v. 在將運動候選添加到Merge候選列表之前，可以應用修剪。

示例C3：查找表中包含的運動候選可用作編碼塊的運動信息的預測值。

a. 它們可用於AMVP模式編碼，即可在AMVP候選列表推導過程中檢查運動候選。

b.可啟用查找表中的運動候選的檢查，當： i. 插入TMVP候選後，AMVP候選列表未滿； ii. 在插入TMVP候選之前，從空間鄰居中選擇並修剪後AMVP候選列表未滿； iii. 當沒有來自上方相鄰塊的不帶縮放的AMVP候選時和/或當沒有來自左側相鄰塊的不帶縮放的AMVP候選時。 iv. 在將運動候選添加到AMVP候選列表中之前，可以應用修剪。

c. 檢查與當前參考圖片具有相同參考圖片的運動候選。 i. 可選地，此外，還檢查與當前參考圖片具有不同參考圖片的運動候選（帶縮放的MV）。 ii. 或者，首先檢查與當前參考圖片具有相同參考圖片的所有運動候選，然後檢查與當前參考圖片具有不同參考圖片的運動候選。 iii. 或者，與Merge中相同的方式來檢查運動候選。

示例C4：查找表中運動候選的檢查順序定義如下（假設允許檢查K（K>=1）個運動候選）：

a. 查找表中的最後K個運動候選，例如，按LUT的條目索引的降冪順序。

b. 前K%L個候選，其中L是K>=L時的查找表大小，例如，按LUT的條目索引的降冪順序。

c.當K>=L時，查找表中的所有候選（L個候選）。

d. 或者，此外，基於運動候選索引的降冪順序。

e. 或者，根據候選資訊（例如與運動候選相關的位置和當前塊的距離）選擇K個運動候選。

f. 不同查找表的檢查順序在下一小節查找表的使用中定義。

g. 一旦Merge/AMVP候選清單達到最大允許的候選數目，檢查處理將終止。

h. 或者，一旦增加的候選運動數量達到最大允許的運動候選數目，檢查處理將終止。 i. 在SPS、PPS、條帶標頭、片標頭中可以信號通知指示允許表的大小和允許檢查的運動候選的數目（即K=L）的一個語法元素。

示例C5：可以在SPS、PPS、條帶標頭、片標頭、CTU、CTB、CU或PU、覆蓋多個CTU/CTB/CU/PU的區域中信號通知對塊的運動信息編碼啟用/禁用查找表的使用。

示例C6：是否從查找表中應用預測可能進一步取決於編碼資訊。當推斷不應用于塊時，跳過指示預測的附加信令。或者，當推斷不應用于塊時，不需要訪問查找表中的運動候選，並且省略了對相關運動候選的檢查。

a. 是否從查找表應用預測可能取決於塊尺寸/塊形狀。在一個示例中，對於較小的塊（如4x4、8x4或4x8塊），不允許從查找表執行預測。

b. 是否從查找表應用預測可能取決於塊是用AMVP編碼的還是用Merge模式編碼的。在一個示例中，對於AMVP模式，不允許從查找表執行預測。

c. 是否從查找表應用預測可能取決於塊是用仿射運動還是其他運動（如平移運動）編碼的。在一個示例中，對於仿射模式，不允許從查找表執行預測。

示例C7：先前編碼的幀/條帶/片中的查找表的運動候選可用於預測不同幀/條帶/片中塊的運動信息。

a. 在一個示例中，只能將與當前塊的參考圖片相關聯的查找表用於編碼當前塊。

b. 在一個示例中，只能將與當前塊具有相同條帶類型和/或相同量化參數的圖片相關聯的查找表用於編碼當前塊。

查找表的更新

示例D1：使用運動信息對塊進行編碼後（即，幀內塊複製模式、幀間編碼模式），可以更新一個或多個查找表。

a. 在一個示例中，是否更新查找表可以複用之前選擇查找表的規則。

b. 可基於編碼資訊和/或塊/LCU的位置更新查找表。

c. 如果用直接信號通知的運動信息對塊進行編碼（如AMVP模式），則可以將塊的運動信息添加到查找表中。 i. 或者，如果用直接從空間相鄰塊繼承的不進行任何細化的運動信息對塊進行編碼（例如，不進行細化的空間Merge候選），則不應將塊的運動信息添加到查找表中。 ii. 或者，如果用直接從自空間相鄰塊繼承的經過細化的運動信息對塊進行編碼（如DMVR、FRUC），則不應將塊的運動信息添加到任何查找表中。 iii. 或者，如果用直接從存儲在查找表中的運動候選繼承的運動信息對塊進行編碼，則不應將塊的運動信息添加到任何查找表中。

d. 選擇塊內的M（M>=1）個典型位置，並使用與典型位置相關聯的運動信息更新查找表。 i. 在一個示例中，典型位置被定義為塊內四個角位置（如圖26中的C0-C3）之一。 ii. 在一個示例中，典型位置被定義為塊內的中心位置（如圖26中的Ca-Cd）。 iii. 當該塊不允許子塊預測時，M設為1。 iv. 當該塊允許子塊預測時，M可以被設置為1、或子塊的總數目、或介於1和子塊的總數目之間的任何值，包括1和子塊的總數目。 v. 或者，當該塊允許子塊預測時，M可以設置為1，且典型子塊的選擇基於 1. 使用的運動信息的頻率， 2. 是否是雙向預測塊， 3. 基於參考圖片索引/參考圖片, 4. 相比於其它運動向量的運動向量差（例如，選擇最大的MV差） 5. 其它編碼資訊。

e. 當選擇M（M>=1）組典型位置來更新查找表時，在將其作為附加運動候選添加到查找表之前，可以檢查進一步的條件。 i.可以應用新運動信息集對於查找表中現有運動候選的修剪。 ii. 在一個示例中，新的一組運動信息不應與查找表中現有運動候選的任何或部分相同。 iii. 或者，對於來自新運動信息集和一個現有運動候選的相同參考圖片，MV差應不小於一個/多個閾值。例如，MV差的水平和/或垂直分量應大於1像素距離。 iv. 或者，當K>L時，新運動信息集僅對最後K個候選或前K%L個現有運動候選進行修剪，以允許重新啟動舊的運動候選。 v. 或者，不應用修剪。

f. 如果使用M組運動信息更新查找表，則相應的計數器應增加M。

g. 假設在對當前塊進行編碼之前，要更新的查找表的計數器用K表示，在對塊進行編碼之後，對於一組選定的運動信息（使用上述方法），將其添加為索引等於K%L的附加運動候選（其中L是查找表大小）。示例如圖27所示。 i. 或者，將其添加為索引等於min（K+1，L-1）的附加運動候選。另外，如果K>=L，則從查找表中移除第一個運動候選（索引等於0），並將後續K個候選的索引減1。

h. 在對一個內部約束塊進行編碼後，查找表可能被清空。

i. 如果在查找表中添加了運動信息條目，則還可以通過從運動信息中推導，更多的運動信息條目添加到該表中。在這種情況下，與查找表關聯的計數器可能會增加大於1。 i. 在一個示例中，運動信息條目的MV被縮放並放入表中； ii. 在一個示例中，運動信息條目的MV通過（dx，dy）添加並放入表中； iii. 在一個示例中，計算出兩個或多個運動信息條目的MV的平均值，並將其放入表中。

示例D2：如果一個塊位於圖片/條帶/片邊界，則可能始終不允許更新查找表。

示例D3：可以禁用上述LCU行的運動信息來對當前LCU行進行編碼。

a. 在這種情況下，在新的條帶/片/LCU行的開頭，可用的運動候選數目可以重置為0。

示例D4：在用新的時域層索引對條帶/片進行編碼的開頭，可用的運動候選數目可以重置為0。

示例D5：可以使用具有相同時域層索引的一個條帶/片/LCU行/多個條帶對查找表進行連續更新。

a. 或者，只能在編碼/解碼每S個（S>=1）CTU/CTB/CU/CB或編碼/解碼某個區域（例如，尺寸等於8x8或16x16）後更新查找表。

b. 或者，一個查找表一旦達到最大允許計數器，就可能停止更新。

c. 在一個示例中，計數器可以是預先定義的。或者，可以在視頻參數集（VPS）、序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、片標頭、編碼樹單元（CTU）、編碼樹塊（CTB）、編碼單元（CU）或預測單元（PU）、覆蓋多個CTU/CTB/CU/PU的區域中信號通知。

圖28是視頻處理裝置2800的框圖。裝置2800可用于實施本文所述的一種或多種方法。裝置2800可實施在智慧手機、平板電腦、電腦、物聯網（IoT）接收器等之中。裝置2800可包括一個或多個處理器2802、一個或多個記憶體2804和視頻處理電路2806。處理器2802可以配置為實現本文中描述的一個或多個方法。記憶體（多個記憶體）2804可用於存儲用於實現本文所述方法和技術的資料和代碼。視頻處理電路2806可用於在硬體電路中實現本文中描述的一些技術。

圖29是視頻解碼方法2900的示例的流程圖。方法2900包括維護（步驟2902）若干個表（例如，查找表；LUT），其中每個表包括一組運動候選，並且每個運動候選與從先前編碼的視頻塊推導出的相應運動信息相關聯，在當前視頻塊和視頻區域中的當前視頻塊的位元流之間執行（步驟2904）轉換，並基於更新規則更新（步驟2906）一個或多個表。

圖30是視頻解碼方法3000示例的流程圖。方法3000包括檢查（步驟3002）若干個表（例如查找表；LUT），每個表包括一個或多個運動候選，每個運動候選與運動候選的運動信息相關聯，基於選擇的一個或多個表處理視頻塊的運動信息（步驟3006），以及基於從該處理生成的視頻塊更新（步驟3006）一個或多表。

從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於申請專利範圍的限定。

本文中公開的和其他描述的實施例、模組和功能操作可以在數位電子電路、或電腦軟體、韌體或硬體中實現，包括本文中所公開的結構及其結構等效體，或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品，即一個或多個編碼在電腦可讀介質上的電腦程式指令的模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語「資料處理裝置」包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器韌體的代碼、協定疊、資料庫管理系統、作業系統或其中一個或多個的組合。傳播信號是人為產生的信號，例如機器產生的電信號、光學信號或電磁信號，生成這些信號以對資訊進行編碼，以便傳輸到適當的接收裝置。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件案系統中的文件對應。程式可以存儲在保存其他程式或資料的文件的部分中（例如，存儲在標記語言文文件中的一個或多個腳本）、專用於該程式的單個文件中、或多個協調文件（例如，存儲一個或多個模組、副程式或部分代碼的文件）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站上或分佈在多個網站上，並通過通信網路互連。

本文中描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行，該處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或通過操作耦合到一個或多個大型存放區設備來從其接收資料或將資料傳輸到一個或多個大型存放區設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光磁片；以及CDROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。

雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或申請專利範圍範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的一些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在一些組合中起作用，甚至最初要求是這樣，但在一些情況下，可以從組合中移除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。

同樣，儘管圖式中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或循序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。

2800‧‧‧裝置 2802‧‧‧處理器 2804‧‧‧記憶體 2806‧‧‧視頻處理電路 2900、3000‧‧‧方法 2902～2906、3002～3006‧‧‧步驟

圖1是示出視訊轉碼器實現的示例的框圖。 圖2圖示了H.264視頻編碼標準中的巨集塊分割。 圖3圖示了將編碼塊（CB）劃分成預測塊（PB）的示例。 圖4圖示了將編碼樹塊（CTB）細分成CB和轉換塊（TB）的示例實現。實線表示CB邊界，且虛線表示TB邊界，包括帶分割的示例CTB和相應的四叉樹。 圖5示出了用於分割視頻資料的四叉樹二叉樹（QTBT）結構的示例。 圖6示出了視頻塊分割的示例。 圖7示出了四叉樹分割的示例。 圖8示出了樹型信令的示例。 圖9示出了Merge候選列表構造的推導過程的示例。 圖10示出了空間Merge候選的示例位置。 圖11示出了考慮到空間Merge候選的冗餘檢查的候選對的示例。 圖12示出了Nx2N和2NxN分割的第二個PU的位置的示例。 圖13圖示了時域Merge候選的示例運動向量縮放。 圖14示出了時域Merge候選的候選位置以及它們的並置圖片。 圖15示出了組合雙向預測Merge候選的示例。 圖16示出了運動向量預測候選的推導過程的示例。 圖17示出了空間運動向量候選的運動向量縮放的示例。 圖18示出了編碼單元（CU）的運動預測的示例可選時域運動向量預測（ATMVP）。 圖19圖示地描繪了源塊和源圖片的識別的示例。 圖20示出了具有四個子塊和相鄰塊的一個CU的示例。 圖21圖示了雙邊匹配的示例。 圖22圖示了範本匹配的示例。 圖23描繪了畫面播放速率上轉換（FRUC）中的單邊運動估計（ME）的示例。 圖24示出了基於雙邊範本匹配的解碼器側運動向量細化（DMVR）的示例。 圖25示出了用於推導空間Merge候選的空間相鄰塊的示例。 圖26描繪了查找表的典型位置的選擇是如何更新的示例。 圖27說明了用新的一組運動信息更新查找表的示例。 圖28是用於實現本文中所述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺示例的框圖。 圖29是視頻位元流處理的另一示例方法的流程圖。 圖30是視頻位元流處理的另一示例方法的流程圖。

2900‧‧‧方法

2902~2906‧‧‧步驟

Claims (19)

1. 一種方法，包括： 維護若干個表，其中每個表包括一組運動候選，並且每個運動候選與從先前編碼的視頻塊推導出的對應運動信息相關聯； 在視頻區域中的當前視頻塊和所述當前視頻塊的位元流表示之間執行轉換；以及 基於更新規則更新所述一個或多個表。
2. 根據申請專利範圍第1項所述的方法，其中所述更新規則包括所述當前視頻塊的編碼資訊。
3. 根據申請專利範圍第2項所述的方法，其中所述編碼資訊包括編碼模式。
4. 根據申請專利範圍第3項所述的方法，其中所述編碼模式包括幀間編碼模式，其根據不同圖片中的參考樣點預測所述視頻塊。
5. 根據申請專利範圍第3項所述的方法，其中所述編碼模式包括幀內塊複製（IBC）編碼模式，其根據同一圖片中的參考樣點預測所述視頻塊。
6. 根據申請專利範圍第1項所述的方法，其中所述更新規則包括所述視頻區域中的所述視頻塊的位置。
7. 根據申請專利範圍第6項所述的方法，其中所述視頻塊的所述位置包括覆蓋所述視頻塊的編碼樹單元（CTU）的位址。
8. 根據申請專利範圍第1項所述的方法，其中所述更新規則包括表使用資訊。
9. 根據申請專利範圍第1項所述的方法，還包括： 檢查一組表，每個表包括一個或多個運動候選，每個運動候選與所述運動候選的運動信息相關聯； 基於一個或多個表處理所述視頻塊的運動信息；以及 基於從所述處理生成的所述視頻塊更新所述一個或多個表。
10. 根據申請專利範圍第1項所述的方法，其中當一個表用於視頻區域中的當前視頻塊和所述當前視頻塊的位元流表示之間的所述轉換處理時，更新相同的表。
11. 根據申請專利範圍第1項至第10項中任一項所述的方法，其中通過將從所述當前視頻塊推導出的運動信息添加到選擇的表中，更新所述選擇的表。
12. 根據申請專利範圍第1項至第11項中任一項所述的方法，其中運動候選與運動信息相關聯，所述運動信息包括以下至少一個：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度、或運動向量差值。
13. 根據申請專利範圍第1項至第12項中任一項所述的方法，其中運動候選與用於幀內編碼塊的幀內預測模式相關聯。
14. 根據申請專利範圍第1項至第13項中任一項所述的方法，其中運動候選與用於照明補償（IC）編碼塊的多個IC參數相關聯。
15. 根據申請專利範圍第1項至第13項中任一項所述的方法，其中運動候選與濾波處理中使用的濾波器參數相關聯。
16. 一種視頻解碼裝置，包括處理器，其被配置為實現申請專利範圍第1項至第15項的一項或多項中所述的方法。
17. 一種視頻編碼裝置，包括處理器，其被配置為實現申請專利範圍第1項至第15項的一項或多項中所述的方法。
18. 一種其上存儲了代碼的電腦可讀程式介質，所述代碼包括指令，當處理器執行所述指令時，使所述處理器實現申請專利範圍第1項至第15項的一項或多項中所述的方法。
19. 本文所述的方法，系統或裝置。

Images