TWI840400B

TWI840400B - 基於多運動模型的視頻編碼和解碼

Info

Publication number: TWI840400B
Application number: TW108130494A
Authority: TW
Inventors: 張莉; 張凱; 劉鴻彬; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-08-26
Filing date: 2019-08-26
Publication date: 2024-05-01

Abstract

描述了基於多運動模型的影片編碼和解碼的方法、系統和設備。用於影片處理的示例性方法包含，對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊確定解碼的候選，以及使用候選進行影片塊的進一步處理。

Description

基於多運動模型的視頻編碼和解碼

本文件涉及影片編碼和解碼技術。

[相關申請的交叉引用]

根據適用的專利法和/或根據巴黎公約的規則，本申請及時要求2018年8月26日作為國際專利申請No.PCT/CN2018/102370提交的在先中國專利申請的優先權和權益，其在提交後隨後被放棄。出於所有目的，國際專利申請No.PCT/CN2018/102370的全部公開通過引用整合為本申請公開的一部分。

數位影片考慮網際網路和其他數位通訊網路上的最大頻寬使用。隨著連接的能夠接收和顯示影片的用戶裝置的數目增加，期望對於數位影片使用的頻寬要求將繼續增長。

本公開技術可以由影片解碼器或編碼器實施例使用，其中進行基於多運動模型的影片編碼和/或解碼。

一個示例性方面中，公開了一種影片處理的方法。該方法包含：對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊確定解碼的候選；以及使用候選進行影片塊的進一步處理。

在另一示例性方面中，公開了一種影片處理的方法。該方法包含：對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊確定編解碼的候選；以及使用候選進行影片塊的進一步處理。

在又一示例性方面中，公開了一種影片處理的方法。該方法包含：對於來自若干運動模型的一個或多個運動模型，使用與其他影片塊相關的運動候選，為影片塊確定解碼的候選，其中運動候選包含來自一個或多個運動模型中的相同運動模型的兩個或更多個運動候選；以及使用候選進行影片塊的進一步處理。

在又一示例性方面中，公開了一種影片處理的方法。該方法包含：對於來自若干運動模型的一個或多個運動模型，使用與其他影片塊相關的運動候選，為影片塊確定編碼的候選，其中運動候選包含來自一個或多個運動模型中的相同運動模型的兩個或更多個運動候選；以及使用候選進行影片塊的進一步處理。

在又一示例性方面中，公開了一種影片處理的方法。該方法包含：對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊進行解碼的候選的搜索；以及使用候選進行影片塊的進一步處理，其中搜索的搜索順序是基於一個或多個目標運動模型中的至少一個運動模型。

在又一示例性方面中，公開了一種影片處理的方法。該方法包含：對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊進行編碼的候選的搜索；以及使用候選進行影片塊的進一步處理，其中搜索的搜索順序是基於一個或多個目標運動模型中的至少一個運動模型。

在一些實施例中，方法可以優選地包含一個或多個運動候選，包含檢查那些來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊，以便識別具有與一個或多個目標運動模型之一相同的運動模型的至少一個運動候選。

在一些實施例中，方法可以優選地包含，在從包括空間相鄰塊的人工搜索過程識別的運動候選之前，至少一個運動候選被識別和使用為候選。

在一些實施例中，方法可以優選地包含，在來自預設運動向量(MV)構建過程的運動候選之前，至少一個運動候選被識別和使用為候選。

在一些實施例中，方法可以優選地包含，在檢查來自對應的相鄰鄰近塊的一個或多個運動候選之後，在人工搜索過程期間檢查一個或多個運動候選。

在一些實施例中，方法可以優選地包含，若干運動模型包括雙向模式、對稱模式、後向模式和前向模式。

在一些實施例中，方法可以優選地包含，一個或多個運動候選中的每一個屬於與一個或多個目標運動模型不同的給定運動模型，並且其中若干運動模型還包括給定運動模型。

在一些實施例中，方法可以優選地包含，一個或多個運動候選中的每一個屬於相同的運動模型，並且其中相同的運動模型的指示被信令通知，並且之後是指示對應於非相鄰塊之一的運動候選的索引。

在一些實施例中，方法可以優選地包含，從先前編解碼塊推導的運動資訊包括基於歷史的運動向量預測(HMVP)候選。

在一些實施例中，方法可以優選地包含，運動候選被以第一語法元素和第二語法元素信令通知，第一語法元素指示若干運動模型中的給定運動模型，第二語法元素指示與給定運動模型相關聯的運動候選的候選索引。

在一些實施例中，方法可以優選地包含，運動候選之一選擇為解碼器側的候選，並且其中影片塊的位元流表示排除對應於運動候選的信令通知。

在一些實施例中，方法可以優選地包含，候選以運動候選的單個索引信令通知。

在一些實施例中，方法可以優選地包含，基於與相同運動模型相關聯的空間相鄰塊確定運動候選。

在一些實施例中，方法可以優選地包含，基於與相同運動模型相關聯的空間非相鄰塊確定運動候選。

在一些實施例中，方法可以優選地包含，運動候選包括具有相同運動模型的基於歷史的運動向量預測(HMVP)候選。

在一些實施例中，方法可以優選地包含，運動候選是基於不同塊或與一個或多個基於歷史的運動向量預測(HMVP)候選相關聯的查找表(LUT)的運動模型匹配的搜索，或者不同塊或LUT的人工搜索，或者一個或多個預設運動向量。

在一些實施例中，方法可以優選地包含，來自一個或多個運動模型中的每一個的允許的多個候選的對應的大小是相等的。

在一些實施例中，方法可以優選地包含，來自一個或多個運動模型的允許的多個候選的對應的大小包括不同的大小。

在一些實施例中，方法可以優選地包含，運動候選的對應的大小被預定或在序列參數集(SPS)、圖片參數集(PPS)或條帶標頭中信令通知。

在一些實施例中，方法可以優選地包含，運動候選的大小是基於影片塊的大小，影片塊的形狀，影片塊的編解碼模式，包括影片塊的圖片的圖片類型，包括影片塊的條帶的條帶類型或低延遲檢查標誌。

在一些實施例中，方法可以優選地包含，搜索順序對於不同運動模型是不同的。

在一些實施例中，方法可以優選地包含，搜索順序是預定的。

在一些實施例中，方法可以優選地包含，搜索順序配置為對於不同影片塊改變。

在一些實施例中，方法可以優選地包含，搜索順序是基於與一個或多個運動模型不同的運動模型相關聯的搜索順序結果。

在一些實施例中，方法可以優選地包含，搜索順序是基於影片塊的大小、影片塊的形狀或影片塊的編解碼模式中至少一個。

在一些實施例中，方法可以優選地包含，一個或多個運動模型中的每一個與對應的歷史運動向量(MV)列表相關聯，並且其中歷史MV列表提供運動候選。

在一些實施例中，方法可以優選地包含，一個或多個運動模型的第一子集與對應的歷史MV列表相關聯，其中一個或多個運動模型的第二子集不與對應的歷史MV列表相關聯，其中第一子集包括雙向預測和對稱模型，其中第二子集包括前向預測和後向預測模型。

在一些實施例中，方法可以優選地包含，在確定包括與一個或多個運動模型相關聯的MV的幀間編碼影片塊被編碼或解碼時，歷史MV列表被更新。

在一些實施例中，方法可以優選地包含，由cu_subtype_index指代的運動模型索引的編解碼被擴展，以允許除一個或多個運動模型中的五個運動模型之外還包含多個候選。

在一些實施例中，方法可以優選地包含，編解碼是基於截斷一元二值化方法。

在一些實施例中，方法可以優選地包含，cu_subtype_index的編解碼中的每個bin以至少一個上下文編解碼。

在一些實施例中，方法可以優選地包含，cu_subtype_index的編解碼中的第一組bin以至少一個上下文編解碼，並且其中cu_subtype_index的編解碼中的第二組bin以旁路模式編解碼。

在又一示例性方面中，上述方法可以由包括處理器的影片解碼器裝置實現。

在又一示例性方面中，上述方法可以由包括處理器的影片編碼器裝置實現。

在又一示例性方面中，這些方法可以體現為處理器可執行指令的形式，並儲存在非暫態電腦可讀介質中。

本文件中進一步描述了這些和其他的方面。

1500:裝置

1502:處理器

1504:記憶體

1506:影片處理電路

1700:系統

1702:輸入

1704:編解碼組件

1706、1708:組件

1710:顯示介面

1800、1810、1820、1830、1840、1850:方法

1802、1804、1812、1814、1822、1824、1832、1834、1842、1844、1852、1854:步驟

A₀、A₁、B₀、B₁、B₂、C₀、C₁、A、B、C、D、F、G:位置

CTB:編解碼樹塊

tb、td:距離

圖1是H.264/高級影片編解碼(AVC)中的MB分割的圖示。

圖2示出了將編解碼塊(CB)劃分為預測塊(PBs)的模式的示例。

圖3示出了將編解碼樹塊(CTB)細分為CBs的示例。

圖4示出了merge候選列表構建的推導過程的示例。

圖5示出了空域merge候選的位置的示例。

圖6示出了為空域merge候選的冗餘檢查考慮的候選對的示例。

圖7示出了Nx2N和2NxN分割的第二預測單元(PU)的位置的示例。

圖8示出了時域merge候選的運動向量縮放的示例。

圖9示出了共位(co-located)圖片中的時域merge候選的候選位置的示例。

圖10示出了組合的雙向預測merge候選的示例。

圖11示出了運動向量預測候選的推導過程的示例。

圖12示出了空域運動向量候選的運動向量縮放的示例。

圖13A和圖13B示出了可能的遞迴CU/PU結構的示例。

圖14示出了AVS3中使用的當前塊及其鄰近塊的示例。

圖15是影片處理裝置的示例的方塊圖。

圖16示出了影片編碼器的示例性實現方式的方塊圖。

圖17是其中可以實現本公開技術的示例性影片處理系統的方塊圖。

圖18A-18F是影片處理方法的示例的流程圖。

本文件提供各種技術，其可以由影片位元流的解碼器使用，以改善解壓縮的或解碼的數字影片的品質。此外，影片編碼器還可以在處理編碼期間實現這些技術，以便重構用於進一步編碼的解碼的幀。

本文件中使用了章節標題以便於理解，並且不將實施例和技術限制到對應的章節。因此，來自一個章節的實施例可以與來自其他章節的實施例組合。

1、概述

本專利文件涉及影片編解碼技術。具體地，其涉及圖像/影片編碼中的運動向量編解碼。其可以應用於現有影片編解碼標準，比如HEVC，或待定的標準(多功能影片編解碼)、第三代中國音訊和影片編解碼標準(AVS3)。其還可以應用於未來影片編解碼標準或影片編解碼器。

2、背景

影片編解碼標準已經主要通過熟知的ITU-T和ISO/IEC標準的發展而演化。ITU-T產生H.261和H.263，ISO/IEC產生MPEG-1和MPEG-4 Visual，並且兩個組織聯合產生了H.262/MPEG-2 Video和H.264/MPEG-4 Advanced Video Coding(AVC)和H.265/HEVC標準。自從H.262，影片編解碼標準是基於混合影片編解碼結構，其中採用時域預測加變換編解碼。

分割結構

H.264/AVC中的分割樹結構

之前的標準中的編解碼層的核心是巨集塊，含有亮度樣本的16×16塊，並且，在4：2：0顏色取樣的通常情況下，兩個對應的色度樣本的8×8塊。

幀內編解碼塊使用空域預測來利用像素之間的空域相關性。定義了兩種分割：16x16和4x4。

幀間編解碼塊通過估計圖片之間的運動使用時域預測，而非空域預測。可以對於16x16巨集塊或其任意子巨集塊分割獨立地估計運動，子巨集塊分割為：16x8、8x16、8x8、8x4、4x8、4x4(見圖2)。每個子巨集塊分割僅允許一個運動向量(MV)。

圖1是H.264/Advanced Video Coding(AVC)中的MB分割的圖示。

2.1.2 HEVC中的分割樹結構

在HEVC中，通過使用指代為編解碼樹的四叉樹結構將CTU劃分為CU，以適應於各種局部特性。在CU級進行使用幀間圖片(時域)還是幀內圖片(空域)預測來編碼圖片區域的決定。每個CU可以根據PU劃分類型進一步劃分為一個、兩個或四個PU。在一個PU內，應用相同預測過程，並且在PU的基礎上將相關資訊傳輸到解碼器。在通過基於PU劃分類型應用預測過程獲取殘差塊之後，CU可以根據相似於用於CU的編解碼樹的另一四叉樹結構被分割為變換單元(TU)。HEVC結構的一個關鍵特徵是，其具有多個分割概念，包含CU、PU，以及TU。

以下，使用HEVC的混合影片編解碼中涉及的各種特徵被如下強調。

1)編解碼樹單元和編解碼樹塊(CTB)結構：HEVC中的類同的結構是編解碼樹單元(CTU)，其具有由編碼器選擇的大小，並且可以大於傳統巨集塊。CTU由亮度CTB和對應的色度CTB以及語法元素構成。亮度CTB的大小L×L可以選擇為L=16、32，或64樣本，較大的大小典型地允許更好的壓縮。然後，HEVC支持使用樹結構和四叉樹狀信令通知將CTB分割為更小的塊。

2)編解碼單元(CU)和編解碼塊(CB)：CTU的四叉樹語法指定其亮度和色度CB的大小和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的大小是亮度CB的最大支持大小。 CTU到亮度和色度CB的劃分被聯合地信令通知。一個亮度CB和通常兩個色度CB，連同相關聯的語法，形成編解碼單元(CU)。CTB可以含有僅一個CU或可以被劃分以形成多個CU，並且每個CU具有到預測單元(PU)的相關聯的分割和變換單元(TU)的樹。

3)預測單元和預測塊(PB)：在CU級進行使用幀間圖片或幀內圖片預測來編解碼圖片區域的決定。PU分割結構具有在CU級的根。根據基本預測類型決定，然後亮度和色度CB可以被進一步劃分大小，並且被從亮度和色度預測塊(PB)預測。HEVC支持從64×64到4×4樣本的可變PB大小。圖2示出了MxM CU的允許的PB的示例。

圖2示出了將編解碼塊(CB)劃分為預測塊(PB)的模式的示例。將CB劃分為PB的模式，受到某些大小約束。對於幀內圖片預測的CB，僅支持M x M和M/2 x M/2。

4)TU和變換塊：使用塊變換編解碼預測殘差。TU樹結構具有其在CU級的根。亮度CB殘差可以與亮度變換塊(TB)相同，或可以被進一步劃分為更小的亮度TB。相同的適用於色度TB。對正方形TB大小4×4、8×8、16×16和32×32，定義類似於離散余弦變換(DCT)的整數基函數。對於亮度幀內圖片預測殘差的4×4變換，替換地指定從離散正弦變換(DST)的形式推導的整數變換。

圖3示出了編解碼樹塊(CTB)細分為CB的示例。 CTB細分為CB[和變換塊(TB)]。實線指示CB界線，並且點線指示TB界線。(a)具有其分割的CTB。(b)對應的四叉樹。

2.1.2.1 到變換塊和單元的樹結構分割

對於殘差編解碼，CB可以被遞迴分割為變換塊(TB)。分割被殘差四叉樹信令通知。僅指定正方形CB和TB分割，其中塊可以被遞迴四分劃分，如圖3中所示。對於大小M×M的給定亮度CB，標誌信令通知其是否被劃分為大小M/2×M/2的四個塊。如果進一步劃分是可能的，則如由SPS中指示的殘差四叉樹的最大深度所信令通知的，每個四分被分配指示其是否被劃分為四個四分的標誌。從殘差四叉樹所得的葉節點塊是變換塊，其被變換編解碼進一步處理。編碼器指示其將使用的最大和最小亮度TB大小。當CB大小大於最大TB大小時，暗示劃分。當劃分將導致亮度TB大小小於指示的最小時，暗示不劃分。色度TB大小在每個維度上是亮度TB大小的一半，除了當亮度TB大小是4×4之外，在此情況下將單個4×4色度TB用於由四個4×4亮度TB覆蓋的區域。在幀內圖片預測的CU的情況下，最接近鄰近TB的解碼的樣本(在CB內或外)被用作幀內圖片預測的參考資料。

與之前的標準不同，HEVC設計允許TB跨幀間圖片預測的CU的多個PB，以最大化四叉樹結構TB分割的潛在編解碼效率收益。

2.1.2.2 父和子節點

CTB被根據四叉樹結構劃分，四叉樹結構的節點為編解碼單元。四叉樹結構中的多個節點包含葉節點和非葉節點。葉節點在樹結構中不具有子節點(即，葉節點不進一步劃分)。非葉節點包含樹結構的根節點。根節點對應於影片資料的初始影片塊(例如，CTB)。對於多個節點中的每個相應的非根節點，相應的非根節點對應於作為對應於相應的非根節點的樹結構中的父節點的影片塊子塊的影片塊。多個非葉節點中的每個相應的非葉節點具有樹結構中的一個或多個子節點。

2.2 HEVC/H.265中的幀間預測

每個幀間預測PU具有一個或兩個參考圖片列表的運動參數。運動參數包含運動向量和參考圖片索引。兩個參考圖片列表之一的使用還可以被使用inter_pred_idc信令通知。運動向量可以顯式地編解碼為相對於預測符的差量(delta)，這樣的編解碼模式稱為AMVP模式。

當以跳過模式編解碼CU時，一個PU與CU相關聯，並且不存在顯著殘差係數，不存在編解碼運動向量差量(delta)或參考圖片索引。merge模式被指定，藉此從鄰近PU獲取當前PU的運動參數，包含空域和時域候選。merge模式可以應用於任意幀間預測PU，不僅是跳過模式。merge模式的替代是運動參數的顯式傳輸，其中每個PU顯式地信令通知運動向量、每個參考圖片列表的對應的參考圖片索引，以及參考圖片列表使用。

當信令通知指示要使用兩個參考圖片列表之一時，從樣本的一個塊產生PU。這稱為‘單向預測’。單向預測對於P-條帶和B-條帶兩者都可用。

當信令通知指示兩個參考圖片列表都要使用時，從樣本的兩個塊產生PU。這稱為‘雙向預測’。雙向預測僅對於B-條帶可用。

以下文本提供現有HEVC實現方式中指定的幀間預測模式的細節。

2.2.1 merge模式

2.2.1.1 merge模式的候選的推導

當使用merge模式預測PU時，指向merge候選列表中的條目的索引被從位元流解析，並且用於取回運動資訊。此列表的構建在HEVC標準中指定，並且可以根據以下步驟的序列概括：

步驟1：初始候選推導

步驟1.1：空域候選推導

步驟1.2：空域候選的冗餘檢查

步驟1.3：時域候選推導

步驟2：附加候選插入

步驟2.1：雙向預測候選的創建

步驟2.2：零運動候選的插入

這些步驟也示意性地在圖4中繪示。對於空域merge候選推導，最多四個merge候選在位於五個不同位置中的候選之中選擇。對於時域merge候選推導，最多一個merge候選在兩個候選之中選擇。因為對於每個PU在解碼器處假設不變數目的候選，當候選的數目未達到條帶標頭中信令通知的merge候選的最大數目(MaxNumMergeCand)時，生成附加候選。由於候選的數目是不變的，使用截斷一元二值化(TU)編碼最佳merge候選的索引。如果CU的大小等於8，當前CU的全部PU共用單個merge候選列表，其與2N×2N預測單元的merge候選列表相同。

以下，詳述與前述步驟相關聯的操作。

2.2.1.2 空域候選推導

在空域merge候選的推導中，最多四個merge候選在位於圖5中繪示的位置的候選之中選擇。推導的順序是A₁、B₁、B₀、A₀和B₂。僅當位置A₁、B₁、B₀、A₀的任何PU都不可用(例如，因為其屬於另一條帶或片)或是幀內編解碼時，考慮位置B₂。在位置A₁添加候選之後，添加其餘的候選經受冗餘檢查，冗餘檢查確保具有相同運動資訊的候選被從列表排除，從而改善編解碼效率。為降低計算複雜度，不是全部可能的候選對都在提到的冗餘檢查中被考慮。反之，僅以圖6中的箭頭聯接的對被考慮，並且僅如果用於冗餘檢查的對應的候選不具有相同的運動資訊，才將候選添加到列表。重複運動資訊的另一個來源是與2Nx2N不同的分割相關聯的“第二PU”。作為示例，圖7繪示了分別對於N×2N和2N×N的情況的第二PU。當當前PU被分割為N×2N時，位置A₁處的候選對列表構建不被考慮。實際上，通過添加此候選將導致具有相同的運動資訊的兩個預測單元，其對於在編解碼單元中僅具有一個PU是冗餘的。相似地，當當前PU被分割為2N×N時，位置B₁不被考慮。

2.2.1.3 時域候選推導

在此步驟中，僅將一個候選添加到列表。特別地，在此時域merge候選的推導中，基於屬於給定參考圖片列表內的與當前圖片具有最小POC差的圖片的共位PU來推導縮放的運動向量。在條帶標頭中顯式地信令通知要用於推導共位PU的參考圖片列表。獲取用於時域merge候選的縮放運動向量，如13中的點線所示，其使用POC距離tb和td從共位PU的運動向量縮放，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差，並且td被定義為共位圖片的參考圖片與共位圖片之間的POC差。時域merge候選的參考圖片索引被設定為等於零。在HEVC規範中描述了縮放過程的實際實現。對於B-條帶，獲取並組合兩個運動向量，一個用於參考圖片列表0，另一個用於參考圖片列表1，以進行雙向預測merge候選。

圖8示出了時域merge候選的運動向量縮放的示例。

在屬於參考幀的共位PU(Y)中，時域候選的位置被選擇在候選C₀與C₁之間，如圖9中所繪示的。如果位置C₀處的PU不可用、是幀內編解碼的，或在當前CTU之外，則使用位置C₁。否則，在時域merge候選的推導中使用位置C₀。

2.2.1.4 附加的候選插入

除空時(spatio-temporal)merge候選之外，存在兩個附加類型的merge候選：組合雙向預測merge候選和零merge候選。組合雙向預測merge候選通過利用空時merge候選而生成。組合雙向預測merge候選僅用於B-條帶。組合雙向預測候選通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數組合而生成。如果兩個元組(tuple)提供不同運動假說，則它們將形成新的雙向預測候選。作為示例，圖10繪示了當原始列表(左側)中的兩個候選(其具有mvL0和refIdxL0，或者mvL1和refIdxL1)被用於創建添加到最終列表(右側)的組合雙向預測merge候選時的情況。現有實現方式提供關於被考慮以生成這些附加merge候選的組合的許多規則。

插入零運動候選以填充merge候選列表中的其餘條目，並且因此達到MaxNumMergeCand容量。這些候選具有零空域位移(displacement)和參考圖片索引，其從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數目對於單向和雙向預測分別是1和2。最後，不對這些候選進行冗餘檢查。

2.2.1.5 並行處理運動估計區域

為了加速編碼過程，可以並行地進行運動估計，從而同時推導給定區域內的全部預測單元的運動向量。從空域附近推導的merge候選可能會幹擾並行處理，因為一個預測單元無法從相鄰PU推導運動參數，直到其相關聯的運動估計完成。為了減輕編解碼效率和處理延遲之間的權衡，HEVC定義了運動估計區域(MER)，使用“log2_parallel_merge_level_minus2”語法元素在圖片參數集中信令通知運動估計區域(MER)的大小。當定義了MER時，落入同一區域的merge候選被標記為不可用，並且因此在列表構建中不予考慮。

7.3.2.3 圖片參數集RBSP語法

7.3.2.3.1 總體圖片參數集RBSP語法

log2_parallel_merge_level_minus2加2指定變量Log2ParMrgLevel的值，其被使用在如條款8.5.3.2.2中指定的merge模式的亮度運動向量的推導過程中和如條款8.5.3.2.3中指定的空域merge候選的推導過程中。log2_parallel_merge_level_minus2的值應在0至CtbLog2SizeY-2的範圍內，包含。

變量Log2ParMrgLevel如下推導：Log2ParMrgLevel=log2_parallel_merge_level_minus2+2 (7-37)

注釋3-Log2ParMrgLevel的值指示merge候選列表的並行推導的內置容量。例如，當Log2ParMrgLevel等於6時，64x64塊中含有的全部預測單元(PU)和編解碼單元(CU)的merge候選列表可以並行地推導。

2.2.2 AMVP模式中的運動向量預測

運動向量預測利用運動向量與鄰近PU的空時相關性，其用於運動參數的顯式傳輸。其通過首先檢查左、上時間上鄰近PU位置的可用性，刪除冗餘候選並添加零向量以使候選列表為不變長度，從而構建運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳預測符，並傳輸指示所選擇的候選的對應的索引。與merge索引信令通知相似地，最佳運動向量候選的索引是使用截斷一元編碼的。在這種情況下要編碼的最大值是2(見圖6)。在以下的章節中，提供了關於運動向量預測候選的推導過程的細節。

2.2.2.1 運動向量預測候選的推導

圖11概括了運動向量預測候選的推導過程。

在運動向量預測中，考慮了兩種類型的運動向量候選：空域運動向量候選和時域運動向量候選。對於空域運動向量候選推導，基於位於五個不同位置中的每個PU的運動向量，最終推導兩個運動向量候選，如圖5中所繪示的。

對於時域運動向量候選推導，從兩個候選中選擇一個運動向量候選，其被基於兩個不同共位位置推導。在構成空時候選的第一列表之後，移除列表中的重複運動向量候選。如果潛在候選的數目大於二，則相關聯的參考圖片列表內的參考圖片索引大於1的運動向量候選被從列表移除。如果空時運動向量候選的數目小於二，則附加零運動向量候選被添加到列表。

2.2.2.2 空域運動向量候選

在空域運動向量候選的推導中，在五個潛在候選之中考慮最多兩個候選，其從位於如圖5中所繪示的位置中的PU推導，這些位置與運動merge的位置相同。當前PU的左側的推導的順序定義為A₀、A₁，以及縮放的A₀、縮放的A₁。當前PU的上側的推導的順序定義為B₀、B₁、B₂、縮放的B₀、縮放的B₁、縮放的B₂。因此對於每側存在可以用作運動向量候選的四種情況，兩種情況不需要使用空域縮放，並且兩種情況使用空域縮放。四種不同的情況概括如下。

沒有空域縮放

(1)相同的參考圖片列表，並且相同的參考圖片索引(相同POC)

(2)不同參考圖片列表，但相同的參考圖片(相同POC)

空域縮放

(3)相同的參考圖片列表，但不同參考圖片(不同POC)

(4)不同參考圖片列表，並且不同參考圖片(不同POC)

首先檢查非空域縮放情況，然後檢查空域縮放。當POC在鄰近PU的參考圖片與當前PU的參考圖片之間不同時，考慮空域縮放，而無論參考圖片列表如何。如果左側候選的全部PU都不可用或者是幀內編解碼的，則允許對上運動向量進行縮放，以幫助左和上MV候選的並行推導。否則，上運動向量不允許空域縮放。

圖14示出了空域運動向量候選的運動向量縮放的示例。

在空域縮放過程中，鄰近PU的運動向量以與時域縮放相似的方式縮放，如圖12所繪示的。主要差異是，參考圖片列表和當前PU的索引作為輸入給定；實際縮放過程與時域縮放的過程相同。

2.2.2.3 時域運動向量候選

除參考圖片索引推導之外，時域merge候選的推導的全部過程與空域運動向量候選的推導相同(見圖4)。參考圖片索引被信令通知到解碼器。

2.2.2.4 Merge/AMVP資訊的信令通知

對於AMVP模式，四部分被在位元流中信令通知，即，預測方向、參考索引、MVD和mv預測符候選索引(在以下語法表中強調)。而對於merge模式，僅merge索引可能需要被信令通知。

語法表：

7.3.6.1 通常條帶分段標頭語法

7.3.8.6 預測單元語法

語義

five_minus_max_num_merge_cand指定5減去條帶中支持的mergeMVP候選的最大數目。mergeing MVP候選的最大數目，MaxNumMergeCand如下推導：MaxNumMergeCand=5-five_minus_max_num_merge_cand (7-53)

MaxNumMergeCand的值應在1至5的範圍內，包含。

merge_flag[x0][y0]指定是否從鄰近幀間預測的分割推斷當前預測單元的幀間預測參數。陣列索引x0、y0指定所考慮的預測塊的左上亮度樣本相對於圖片的左上亮度樣本的的位置(x0，y0)。

當merge_flag[x0][y0]不存在時，其如下推斷：如果CuPredMode[x0][y0]等於MODE_SKIP，則merge_flag[x0][y0]被推斷為等於1。

否則，merge_flag[x0][y0]被推斷為等於0。

merge_idx[x0][y0]指定merging候選列表的merging候選索引，其中x0、y0指定考慮的預測塊的左上亮度樣本相對於圖片的左上亮度樣本的位置(x0，y0)。

2.3 AVS2中的編解碼結構

相似於HEVC，AVS2也採用基於CU、PU和TU的編解碼/預測/變換結構的概念。首先，圖片被分割為最大編解碼單元(LCU)，其由2Nx2N樣本構成。一個LCU可以為單個CU或可以被以四叉樹分割結構劃分為四個更小的CU；CU可以被遞迴劃分，直到其達到最小CU大小限制，如圖13A中所示。一但CU層級樹的劃分完成，葉節點CU可以被進一步劃分為PU。PU是幀內和幀間預測的基本單元，並且允許多種不同形狀以編碼不規則圖像樣式，如圖13B所示。在圖13A中，示出了AVS2中的最大可能遞迴CU結構，例如LCU大小=64，最大層級深度=4；圖13B示出了AVS2中的跳過、幀內模式，以及幀間模式的可能的PU劃分，包含對稱和非對稱預測(對於幀內預測，d=1，2；並且，對於幀間預測d=0，1，2)。

2.4 AVS2/AVS3中的幀間預測

相似於HEVC，存在兩個幀間編解碼幀類型，P幀和B幀。P幀是使用單個參考圖片前向預測幀，而B幀是由使用兩個參考幀的前向、後向，雙向預測和對稱預測構成的雙向預測幀。在B幀中，除常規前向、後向、雙向和跳過/直接預測模式之外，對稱預測定義為特別雙向預測模式，其中僅一個前向運動向量(MV)被編解碼，並且基於圖片順序計數器(POC)距離從前向MV推導後向MV。對稱模式可以高效地表示對象的線性運動模型。

2.4.1 編解碼單元的語法和語義

以B幀作為示例，基於CuTypeIndex和ShapeOfPartitionIndex和以下表81推導CU類型(CuType)，預測分割類型和PU預測模式(PuPredMode)。

2.4.2 基於多運動模型的SKIP/DIRECT模式

當前塊的SKIP模式的運動資訊被從先前解碼的塊推導，並且不編碼殘差資訊。相似於SKIP模式，DIRECT模式不具有要傳輸的運動資訊，而預測殘差和模式資訊被傳輸。

作為傳統SKIP和DIRECT模式的擴展，其中僅利用來自一個時域預測塊(CuSubtypeIdx等於0)的運動資訊，在AVS2和AVS3中引入四個基於附加運動模型的SKIP和DIRECT模式，即雙向DIRECT/SKIP模式(CuSubtypeIdx等於1)，對稱DIRECT/SKIP模式(CuSubtypeIdx等於2)、後向DIRECT/SKIP模式(CuSubtypeIdx等於3)和前向DIRECT/SKIP模式(CuSubtypeIdx等於4)。

設計基於優先級的運動資訊推導方法，其考慮塊的運動模型(預測方向)。將較高優先級分配給具有與當前塊相同的運動模型的鄰近塊的運動資訊。

對於基於附加運動模型的四個跳過/直接模式中的每一個，運動資訊推導過程可以被劃分為按順序進行的三個步驟。

運動模型匹配搜索：如圖14所示，以該順序進行在位置F，G，C，A，B，D處找到具有與當前塊相同的運動模型的鄰近塊的初始處理。一旦找到與當前塊共用相同運動模型的第一塊，則將該塊的運動資訊分配給當前塊。

人工搜索：在不存在與當前塊共享相同運動模型的鄰近塊的情況下(即，沒有從步驟1找到結果)，進行人工構建當前塊的運動資訊的第二過程。此過程因運動模型而異。

對於雙向DIRECT/SKIP模式，計數以前向方向編解碼多少空域鄰近者，用Nfw指代，以及以後向方向編解碼多少空域鄰近者，用Nbw表示。如果Nfw和Nbw都等於或大於1，則將第一前向和第一後向預測塊的運動資訊的組合分配給當前塊。搜索順序與第一步相同，即從位置F，G，C，A，B和D。

對於對稱DIRECT/SKIP模式，按順序執行以下步驟：計算用雙向編解碼多少空域鄰近者，用Nbi指代。

如果Nbi等於或大於2，則以F，G，C，A，B和D的掃描順序將最後一個塊的鄰近雙向預測塊的運動資訊的運動資訊(其等於D，B，A，C，G和F的掃描順序中的第一塊)分配給當前塊。

否則(如果Nbi小於2)如果Nbw等於或大於1(其中Nbw指代用後向方向編解碼了多少空域鄰近者)，則第一後向預測塊的運動資訊的後向運動向量(由MvE1指代)被分配給當前塊，並且前向運動向量MvE0被設定為等於Clip3(-32768，32767，-MvE1)。搜索順序與第一步驟相同，即從位置F，G，C，A，B和D。

否則(如果Nbi小於2且Nbw小於1)，如果Nfw等於或大於1(其中Nfw指代用前向方向編解碼多少空域鄰近者)，則第一前向預測塊的運動資訊的前向運動向量(由MvE0指代)被分配給當前塊，並後向運動向量MvE1被設定為等於Clip3(-32768，32767，-MvE0)。搜索順序與第一步驟相同，即從位置F，G，C，A，B和D。

對於後向DIRECT/SKIP模式，計數用雙向編解碼多少空域鄰近者，用Nbi指代。將最後鄰近雙向預測塊的後向運動資訊分配給當前塊。搜索順序與第一步驟相同，即從位置F，G，C，A，B和D。

對於前向DIRECT/SKIP模式，計數用雙向編解碼多少空域鄰近者，由Nbi指代。將最後鄰近雙向預測塊的前向運動資訊分配給當前塊。搜索順序與第一步驟相同，即從位置F，G，C，A，B和D。

預設MV構建：僅當步驟1)和步驟2)都未能找到可用運動向量時才調用該步驟。在AVS2/AVS3中，以下適用：對於雙向/對稱跳過/直接模式，對前向和後向方向兩者設定零運動向量。

對於後向DIRECT/SKIP模式，後向運動向量被設定為零MV，即(0，0)。

對於前向DIRECT/SKIP模式，前向運動向量被設定為零MV，即(0，0)。

由於存在多種SKIP和DIRECT模式，因此需要在信令通知SKIP和DIRECT模式的運動模型中攜帶一些輔助資訊(side information)。在AVS2參考軟件RD3.0中，速率-失真優化方法用於選擇模式以編解碼塊。在計算新SKIP和DIRECT模式的RD成本時，考慮輔助資訊以產生更準確的成本值。

3.由實施例解決的問題的示例

基於AVS2/AVS3多運動模型的跳過/直接模式採用當前塊與其相鄰的鄰近塊之間的運動模型的相關性。然而，它不能利用當前塊和非相鄰塊之間的相似性。可以使用歷史中先前編解碼的運動資訊，以用於更好的運動向量預測。類似的想法也可以應用於多方向跳過/直接模式，其中一些細節將被開發以適應AVS2/AVS3中的設計。

另外，對於每個運動模型，僅允許一個候選，這可能限制運動預測的編解碼增益。

4.本公開技術的示例實施例

為瞭解決該問題，若干方法包括使用一個或多個查找表(LUT，以儲存歷史中的運動資訊)來預測塊的運動資訊。可以在各種實施例中實現使用儲存有至少一個運動候選的一個或多個查找表的基於LUT的運動向量預測技術，以預測塊的運動資訊，從而提供具有更高編解碼效率的影片編解碼。每個LUT可以包括一個或多個運動候選，每個運動候選與相應的運動資訊相關聯。運動候選的運動資訊可包含預測方向、參考索引/圖片、運動向量、LIC標誌、仿射標誌、運動向量推導(MVD)精度，和/或MVD值中的部分或全部。運動資訊還可以包含塊位置資訊，以指示運動資訊來自哪裏。

在以下針對各種實現所描述的示例中闡明瞭基於本公開的技術的基於LUT的運動向量預測(其可以增強現有和未來的影片編解碼標準)。因為LUT允許基於歷史資料(例如，已經處理的塊)執行編碼/解碼過程，所以基於LUT的運動向量預測也可以被稱為基於歷史的運動向量預測(HMVP)方法。在基於LUT的運動向量預測方法中，在編碼/解碼過程期間保持具有從先前編解碼塊推導的運動資訊的一個或多個表。在一個塊的編碼/解碼期間，可以將LUT中的相關聯的運動資訊添加到運動候選列表(例如，AMVP/merge列表)，並且在編碼/解碼一個塊之後，可以更新LUT。然後使用更新的LUT來編解碼隨後的塊。也就是說，LUT中的運動候選的更新是基於塊的編碼/解碼順序。以下示例應被視為解釋總體概念的示例。不應以狹隘的方式解釋這些示例。此外，這些示例可以以任何方式組合。

LUT的條目是運動候選。請注意，使用HMVP(基於歷史的運動向量預測符)候選來指示儲存在查找表中的一組運動資訊。

以下詳細的實施例示例應被視為解釋總體概念的示例。不應以狹義的方式解釋這些實施例。此外，這些實施例可以以任何方式組合。

1.對於給定運動模型，來自屬於相同運動模型的HMVP候選或非相鄰空域塊或時域塊的運動候選可以用作基於多運動模型的方法(例如，AVS2中的SKIP/DIRECT模式設計)的候選。

a.在一個示例中，在進行人工搜索過程之前，HMVP候選或來自非相鄰空域塊或時域塊的運動候選可以被按順序檢查。如果存在來自屬於相同運動模型的一個HMVP候選或非相鄰空域塊或時域塊的一個運動候選，其被標記為最終運動候選，並且搜索過程終止。

b.在一個示例中，在進行預設MV構建過程之前，HMVP候選或來自非相鄰空域塊或時域塊的運動候選可以被按順序檢查。如果存在來自屬於相同運動模型的一個HMVP候選或非相鄰空域塊或時域塊的一個運動候選，其被標記為最終運動候選，並且搜索過程終止。

c.在一個示例中，可以在人工搜索過程中考慮HMVP候選或來自非相鄰空域塊或時域塊的運動候選。例如，可以在位置F，G，C，A，B和D之後搜索HMVP候選。在此情況下，一個HMVP候選或來自非相鄰空域塊或時域塊的運動候選可以被視為來自相對位置的一個候選，如來自相鄰空域塊的那些候選。

2.基於多運動模型的方法中定義的運動模型(例如，AVS2中的SKIP/DIRECT模式設計)可以被進一步擴展，以覆蓋HMVP的使用。也就是說，HMVP候選可以被視為新的運動模型，並且被添加到基於多運動模型的方法的候選列表中。

a.在一個示例中，儲存HMVP候選的LUT的每個條目被視為新的運動模型。

b.替代地，全部HMVP候選被視為一個新的運動模型。如果運動模型的指示表示其屬於HMVP類別，該指示可以首先被信令通知，之後是HMVP候選的索引。

3.基於多運動模型的方法中定義的運動模型(例如，AVS2中的SKIP/DIRECT模式)可以被進一步擴展，以覆蓋來自非相鄰塊的運動資訊的使用。也就是說，來自非相鄰塊的運動資訊可以被視為新的運動模型，並且被添加到基於多運動模型的方法中的候選列表中。

a.在一個示例中，非相鄰塊的每個運動候選被視為新的運動模型。

b.替代地，來自非相鄰塊的全部運動候選被視為一個新的運動模型，命名為非相鄰運動類別。如果運動模型的指示表示其屬於非相鄰運動類別，則該指示可以首先被信令通知，之後是來自非相鄰塊的運動候選的索引。

4.可以在AVS2/AVS3中的現有運動模型之前/之後插入新的運動模型。

a.在一個示例中，在全部現有運動模型之後插入全部HMVP候選。

b.替代地，在AVS2/AVS3中的一些現有運動模型之前插入一些HMVP候選，而在AVS2/AVS3中的全部現有運動模型之後插入其他HMVP候選。

c.候選的整個列表(時域、雙向、對稱、後向和前向、HMVP和/或非相鄰塊的運動模型)可以在每個模型找到其相關候選之後被重新排序。

i.在一個示例中，如雙向、對稱、後向和前向的全部或多個運動模型中的零運動候選可以被來自其他運動模型的運動候選替代。

5.相似於PCT/CN2018/093663和PCT/CN2018/093987中的HMVP的設計，來自先前編解碼塊的編解碼運動資訊可以被用作編解碼當前塊的預測符。然而，基於運動模型，編解碼運動資訊被分類並插入到多個查找表。

a.在一個示例中，HMVP過程中使用的運動模型的類別與基於多運動模型的方法(例如，AVS2中的SKIP/DIRECT模式)中使用的那些相同，即，雙向、對稱方向、後向、前向。

b.替代地，SKIP/DIRECT模式中定義的運動模型的僅一部分在HMVP過程中使用，以降低儲存運動模型的全部類型的HMPV候選所需的記憶體。

6.並非如在基於多運動模型的方法(例如，AVS2的SKIP/DIRECT模式)中對於每個運動模型僅允許一個候選，對於一個運動模型允許多個候選。也就是說，對於每個運動模型可以構建候選列表。

a.在一個示例中，多個候選的索引可以被進一步信令通知。在此情況下，涉及兩個語法元素(第一個指示運動模型，並且第二個指示對應於選擇的運動模型的候選列表的候選索引)。

b.替代地，可以在解碼器側選擇多個候選之一，而不信令通知。

c.替代地，僅構建一個候選列表，然而，可以添加具有相同運動模型的多個候選。在此情況下，可以僅信令通知一個索引。

d.在一個示例中，可從從具有相同運動模型的相鄰空域鄰近塊推導多個候選。

e.在一個示例中，可從具有相同運動模型的非相鄰空域鄰近塊推導多個候選。

f.在一個示例中，可從具有相同運動模型的HMVP候選推導多個候選。

g.在一個示例中，可從SKIP/DIRECT模式中使用的三個步驟(運動模型匹配的搜索、人工搜索、預設MV)任一個推導多個候選。

h.全部運動模型的允許的多個候選的大小可以是相同的。

i.替代地，不同運動模型的允許的多個候選的大小可以是不同的。

j.允許的多個候選的(多個)大小可以是預定的或在序列參數集/圖片參數集/條帶標頭等中信令通知的。

k.允許的多個候選的(多個)大小可以進一步取決於塊大小/塊形狀/編解碼模式(跳過或直接)/圖片或條帶類型/低延遲檢查標誌。

7.基於多運動模型的方案中的搜索順序和/或搜索點(空域/時域鄰近塊)可以取決於運動模型。

a.在一個示例中，對於不同運動模型可以使用不同搜索順序。順序可以是預定的。

b.在一個示例中，搜索順序可以依塊而異以適應性地改變。

c.在一個示例中，搜索順序可以基於另一運動模型的搜索結果適應性地改變。

d.在一個示例中，基於多運動模型的方案中的搜索順序和/或搜索點(空域/時域鄰近塊)可以取決於塊形狀/塊大小/編碼模式等。

8.可以在HMVP候選與來自非相鄰空域塊或時域塊的候選之間應用修剪。

a.如果兩個候選是相同的或運動向量差小於(多個)閾值，可以將兩者中的僅一個添加到候選列表。

9.可以在HMVP候選與從現有基於多模型運動的SKIP/DIRECT模式設計推導的候選之間應用修剪。

a.相似地，可以在來自非相鄰空域塊或時域塊的候選與從現有SKIP/DIRECT模式設計推導的候選之間應用修剪。

b.在一個示例中，從現有SKIP/DIRECT模式設計推導的候選指示在章節2.4.2中的‘運動模型匹配的搜索’過程中找到的候選。

c.在一個示例中，從現有SKIP/DIRECT模式設計推導的候選指示在章節2.4.2中的‘預設MV構建’過程之後找到的候選。

d.在一個示例中，如果從現有基於多模型運動的SKIP/DIRECT模式設計推導的候選是來自‘人工搜索過程’或‘預設MV構建過程’，則修剪過程被跳過。

10.在一個示例中，僅在相同運動模型的MV候選之間進行修剪操作。

11.在一個示例中，存在每個運動模型的單獨歷史MV列表。當搜索運動模型時，該模型的歷史MV列表中的MV候選可以被添加到merge候選列表。

a.在一個實施例中，僅對諸如雙向預測模型和對稱預測模型的一些運動模型建立歷史MV列表，而不對諸如前向預測模型和後向預測模型的其他一些模型建立。

b.在一個實施例中，運動模型的歷史MV列表僅在用該運動模型的MV編碼/解碼幀間編解碼塊之後更新。

12.cu_subtype_index的編解碼可以被擴展，以允許其包含除五個現有運動模型之外的多個候選。

a.在一個示例中，可以利用截斷二值化方法。

b.在一個示例中，可以以上下文編解碼每個bin。

c.在一個示例中，可以以上下文編解碼部分bin，並且可以以旁路模式編解碼其餘bin。

13.允許的運動模型的總數可以是預定的。

a.替代地，允許的運動模型的總數可以在序列標頭、圖片標頭、條帶標頭中信令通知。

b.在一個示例中，每個HMVP候選就允許的運動模型的信令通知而言可以被視為一個運動模型。

14.提出了當以HMVP候選(即，來自儲存來自先前編解碼塊的運動資訊的查找表)編解碼塊時，這樣的候選不用於更新LUT。

圖15是一種影片處理裝置1500的方塊圖。裝置1500可用於實現本文描述的一個或多個方法。裝置1500可以實現為智能手機、平板電腦、電腦、物聯網(IoT)接收器等。裝置1500可以包含一個或多個處理器1502、一個或多個記憶體1504和影片處理電路1506。(多個)處理器1502可以被配置為實現本文件中描述的一種或多種方法。記憶體(多個記憶體)1504可以用於儲存用於實現本文描述的方法和技術的資料和代碼。影片處理電路1506可用於以硬體電路實現本文件中描述的一些技術。

圖16是影片編碼器的示例實現方式的方塊圖。圖16示出編碼器實現方式具有內置的反饋路徑，其中影片編碼器還進行影片解碼功能(重構影片資料的壓縮表示，以用於下一影片資料的編碼)。

圖17是示出可以實現本文公開的各種技術的示例影片處理系統1700的方塊圖。各種實現方式可以包含系統1700的一些或所有組件。系統1700可以包含用於接收影片內容的輸入1702。影片內容可以以原始或未壓縮格式接收，例如8或10位元多分量像素值，或者可以是壓縮或編碼格式。輸入1702可以表示網路介面、外圍總線介面或儲存介面。網路介面的示例包含諸如乙太網、無源光網路(PON)等的有線介面和諸如Wi-Fi或蜂窩介面的無線介面。

系統1700可以包含編解碼組件1704，其可以實現本文件中描述的各種編解碼或編碼方法。編解碼組件1704可以減少從輸入1702到編解碼組件1704的輸出的影片的平均位元率，以產生影片的編解碼表示。因此，編解碼技術有時被稱為影片壓縮或影片編碼技術。編解碼組件1704的輸出可以被儲存，或者經由連接的通信傳輸，如組件1706所表示的。在輸入1702處接收的影片的儲存或通信的位元流(或編解碼)表示可以由組件1708使用，以生成發送到顯示介面1710的像素值或可顯示影片。從位元流表示生成用戶可視影片的過程有時被稱為影片解壓縮。此外，雖然某些影片處理操作被稱為“編解碼”操作或工具，但是應當理解，編解碼工具或操作在編碼器處使用，並且逆轉編解碼結果的對應的解碼工具或操作將由解碼器進行。

外圍總線介面或顯示介面的示例可以包含通用序列匯流排(USB)或高畫質多媒體介面(HDMI)或Displayport等。儲存介面的示例包含SATA(串列進階技術附接)、PCI、IDE介面等。本文件中描述的技術可以體現為各種電子裝置，諸如移動電話、膝上型電腦、智能電話或能夠執行數位資料處理和/或影片顯示的其他裝置。

圖18A是用於影片處理的示例性方法1800的流程圖。方法1800包含，在步驟1802，對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊確定解碼的候選。

方法1800包含，在步驟1804，使用候選進行影片塊的進一步處理。

圖18B是影片處理的示例性方法1810的流程圖。方法1810包含，在步驟1812，對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊確定編解碼的候選。

方法1810包含，在步驟1814，使用候選進行影片塊的進一步處理。

圖18C是影片處理的示例性方法1820的流程圖。方法1820包含，在步驟1822，對於來自若干運動模型的一個或多個運動模型，使用與其他影片塊相關的運動候選，為影片塊確定解碼的候選，運動候選包含來自一個或多個運動模型的相同運動模型的兩個或更多個運動候選。

方法1820包含，在步驟1824，使用候選進行影片塊的進一步處理。

圖18D是影片處理的示例性方法1830的流程圖。方法1830包含，在步驟1832，對於來自若干運動模型的一個或多個運動模型，使用與其他影片塊相關的運動候選，為影片塊確定編碼的候選，運動候選包含來自一個或多個運動模型的相同運動模型的兩個或更多個運動候選。

方法1830包含，在步驟1834，使用候選進行影片塊的進一步處理。

圖18E是影片處理示例性方法1840的流程圖。方法1840包含，在步驟1842，對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊進行解碼的候選的搜索。

方法1840包含，在步驟1844，使用候選進行影片塊的進一步處理。在一些實施例中，搜索的搜索順序是基於一個或多個目標運動模型中的至少一個運動模型。

圖18F是影片處理的示例性方法1850的流程圖。方法1850包含，在步驟1852，對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊進行編碼的候選的搜索。

方法1850包含，在步驟1854，使用候選進行影片塊的進一步處理。在一些實施例中，搜索的搜索順序是基於一個或多個目標運動模型中的至少一個運動模型。

上述進行影片塊的進一步處理包括執行所述影片塊與影片塊的位元流表示之間的轉換。

通過將所公開的技術的實施例整合到HEVC參考軟體中而實現的改進在下面的實驗結果中示出。

下表示出了所提出的方案的Bjøntegaard差量(delta)位元率(或BD率)增益和處理時間影響。遵循參考軟體TAVS3-1.0上的常見的測試條件，對RA和LDP配置進行不同組的模擬(具有不同的編碼器複雜度)。例如，“RA”表示對應於被設計為在編解碼影片資料中使能相對頻繁的隨機存取點而不太強調延遲的最小化的一組編解碼條件的隨機存取。相反，“LDP”表示使用P幀的低延遲條件，其被設計為使能交互式實時通信，而不太強調隨機存取的易用性。在全部測試中，表大小S設定為8，並應用約束FIFO規則(刪除並向候選表添加條目)。

當存在多達8個HMVP候選時，與TAVS3-1.0參考軟體模型相比，上述模擬結果表明，本文件中描述的一些實施例以3、4或5全速率失真優化(RDO)過程分別實現了隨機存取(RA)的BD率降低1.88%、2.14%、1.94%。對於LDP情況，提出的HMVP以2或3完整RDO過程分別實現了2.06%和2.48%的BD率降低。注意到較小的編碼和解碼時間影響，並且在某些情況下，與TAVS2-1.0相比，編碼器運行時間甚至可以減少。

本文件中描述的所公開的和其他方案、示例、實施例、模組和功能操作可以實現為數位電子電路，或者電腦軟體、韌體或硬體，包含本文件中公開的結構及其結構等同，或它們中的一個或多個的組合。所公開的和其他實施例可以實現為一個或多個電腦程式產品，即，在非暫態電腦可讀介質上編解碼的一個或多個電腦程式指令模組，用於由資料處理裝置執行或控制資料處理裝置的操作。非暫態電腦可讀介質可以是機器可讀記憶體件、機器可讀儲存基板、記憶體器件，影響機器可讀傳播信號的物質組合，或者它們中的一個或多個的組合。術語“資料處理裝置”包含用於處理資料的全部裝置、設備和機器，包含例如可程式處理器、電腦或多個處理器或電腦。除了硬體之外，裝置還可以包含為所討論的電腦程式創建執行環境的代碼，例如，構成處理器固件的代碼、協議疊、資料庫管理系統、操作系統，或者它們的一個或多個的組合。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以編碼資訊，從而傳輸到合適的接收器裝置。

電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的程式語言編寫，包含編譯或解釋語言，並且可以以任何形式部署，包含如獨立程式或適合在計算環境中使用的模組、組件、子例程或其他單元。電腦程式不一定對應於文件系統中的文件。程式可以儲存在保存其他程式或資料(例如，儲存在標記語言文件中的一個或多個腳本)的文件的一部分中、儲存在專用於所討論的程式的單個文件中，或儲存在多個協調文件中(例如，儲存一個或多個模組、子程式或代碼各部分的文件)。電腦程式可以部署為在一個電腦上或在位於一個站點上或分布在多個站點上並通過通訊網路互連的多個電腦上執行。

本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA(現場可程式邏輯陣列)或ASIC(應用特定積體電路)。

作為示例，適合於執行電腦程式的處理器包含通用和專用微處理器，以及任何類型的數位電腦的任意一個或多個處理器。總體上，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。總體上，電腦還將包含或可操作地耦合至儲存資料的一個或多個大容量儲存裝置，以從之接收資料或向其傳輸資料，例如磁碟、磁光碟或光碟。然而，電腦不一定需要這樣的裝置。適用於儲存電腦程式指令和資料的非暫態電腦可讀介質包含所有形式的非揮發性記憶體、介質和記憶體裝置，包含例如半導體記憶體裝置，例如EPROM、EEPROM和快閃記憶體裝置；磁碟，例如內部硬碟或可移動磁碟；磁光碟；以及CD ROM和DVD-ROM碟。處理器和記憶體可以由應用特定積體電路補充或並入應用特定積體電路中。

雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何主題或可要求保護的範圍的限制，而是作為特定技術的特定實施例特有的特徵的描述。在本專利文件中單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在某些情況下可以從組合中去除來自所要求保護的組合的一個或多個特徵，並且所要求保護的組合可以涉及子組合或子組合的變體。

類似地，儘管在附圖中以特定順序描繪了操作，但是這不應該被理解為實現期望的結果要求以所示的特定順序或按序列順序執行這樣的操作，或者執行所有示出的操作。此外，在本專利文檔中描述的實施例中的各種系統組件的分離不應被理解為在所有實施例中都需要這種分離。

僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和示出的內容來進行其他實現方式、增強和變體。

1802~1804:步驟

Claims

一種視頻處理方法，包括：為視頻中的當前塊和所述視頻的位元流之間的轉換，從歷史運動向量預測HMVP表中的一個或多個運動候選中確定第一運動候選，其中，所述當前塊是用基於多運動模型的跳過或直接模式編解碼的，所述位元流包括所述當前塊的候選索引；以及基於所述第一運動候選執行所述轉換；其中，所述多運動模型的每個運動模型對應於從相同規則推導的一個或多個運動候選，並且所述候選索引與用於所述當前塊的所述多運動模型的運動模型相關聯；其中，所述多運動模型包括至少一個第一運動模型，所述第一運動模型從所述歷史運動向量預測HMVP表中推導第二運動候選，其中，所述HMVP表中的一個或多個運動候選是從所述視頻的一個或多個先前塊推導的，並且根據所述先前塊的編解碼順序排列在所述HMVP表中，其中，所述先前塊的編解碼順序對應於所述先前塊的編碼//解碼順序，其中，所述多運動模型還包括至少一個第二運動模型，所述第二運動模型包括以下中的至少一個：從不同於所述當前圖片的圖片中推導第三運動候選的運動模型，或者從塊的空域相鄰塊中推導第四運動候選的運動模型，以及其中，所述至少一個第一運動模型排列在所述至少一個第二運動模型之後。
如請求項1所述的方法，其中，所述第二運動模型對應於時域模式、雙向模式、對稱模式、後向模式和前向模式中的至少一種。
請求項1所述的方法，其中，所述第二運動模型在運動模型匹配搜索、人工搜索或預設運動向量構建過程中推導所述第四運動候選。
如請求項1所述的方法，其中，使用截斷二值化方法對所述候選索引編解碼。
如請求項1所述的方法，其中，所述候選索引的每個bin用一個或多個上下文編解碼。
如請求項1所述的方法，其中，與所述HMVP表的所述第一運動模型的數量相關聯的資訊在序列報頭中信令通知。
如請求項1所述的方法，其中，所述HMVP表中的所述一個或多個運動候選中的每個運動候選對應於第一運動模型。
如請求項1所述的方法，其中，從所述HMVP表中搜索所述一個或多個運動候選的檢查順序是預先定義的。
如請求項1所述的方法，其中，對應於所述第一運動模型並用於從所述HMVP表中搜索所述一個或多個運動候選的檢查順序不同於對應於所述第二運動模型的檢查順序。
如請求項1所述的方法，其中，執行所述轉換包括從所述當前塊生成所述位元流。
如請求項1所述的方法，其中，執行所述轉換包括從所述位元流生成所述當前塊。
一種處理視頻資料的裝置，包括處理器和其上具有指令的非揮發性記憶體，其中，所述指令在由所述處理器執行時使得所述處理器：為視頻中的當前塊和所述視頻的位元流之間的轉換，從歷史運動向量預測HMVP表中的一個或多個運動候選中確定第一運動候選，其中，所述當前塊是用基於多運動模型的跳過或直接模式編解碼的，所述位元流包括所述當前塊的候選索引；以及基於所述第一運動候選執行所述轉換；其中，所述多運動模型的每個運動模型對應於從相同規則推導的一個或多個運動候選，並且所述候選索引與用於所述當前塊的所述多運動模型的運動模型相關聯；其中，所述多運動模型包括至少一個第一運動模型，所述第一運動模型從所述歷史運動向量預測HMVP表中推導第二運動候選，其中，所述HMVP表中的一個或多個運動候選是從所述視頻的一個或多個先前塊推導的，並且根據所述先前塊的編解碼順序排列在所述HMVP表中，其中，所述先前塊的編解碼順序對應於所述先前塊的編碼// 解碼順序，其中，所述多運動模型還包括至少一個第二運動模型，所述第二運動模型包括以下中的至少一個：從不同於所述當前圖片的圖片中推導第三運動候選的運動模型，或者從塊的空域相鄰塊中推導第四運動候選的運動模型，以及其中，所述至少一個第一運動模型排列在所述至少一個第二運動模型之後。
一種存儲指令的非暫態電腦可讀介質，所述指令使得處理器：為視頻中的當前塊和所述視頻的位元流之間的轉換，從歷史運動向量預測HMVP表中的一個或多個運動候選中確定第一運動候選，其中，所述當前塊是用基於多運動模型的跳過或直接模式編解碼的，所述位元流包括所述當前塊的候選索引；以及基於所述第一運動候選執行所述轉換；其中，所述多運動模型的每個運動模型對應於從相同規則推導的一個或多個運動候選，並且所述候選索引與用於所述當前塊的所述多運動模型的運動模型相關聯；其中，所述多運動模型包括至少一個第一運動模型，所述第一運動模型從所述歷史運動向量預測HMVP表中推導第二運動候選，其中，所述HMVP表中的一個或多個運動候選是從所述視頻的一個或多個先前塊推導的，並且根據所述先前塊的編解碼順序排列在所述HMVP表中，其中，所述先前塊的編解碼順序對應於所述先前塊的編碼//解碼順序，其中，所述多運動模型還包括至少一個第二運動模型，所述第二運動模型包括以下中的至少一個：從不同於所述當前圖片的圖片中推導第三運動候選的運動模型，或者從塊的空域相鄰塊中推導第四運動候選的運動模型，以及其中，所述至少一個第一運動模型排列在所述至少一個第二運動模型之後。
一種存儲位元流的非暫態電腦可讀介質，所述位元流由視頻處理裝置執行的方法生成，其中，所述方法包括：為視頻中的當前塊和所述視頻的位元流之間的轉換，從歷史運動向量預測HMVP表中的一個或多個運動候選中確定第一運動候選，其中，所述當前塊是用基於多運動模型的跳過或直接模式編解碼的，所述位元流包括所述當前塊的候選索引；以及基於所述運動候選生成所述位元流；其中，所述多運動模型的每個運動模型對應於從相同規則推導的一個或多個運動候選，並且所述候選索引與用於所述當前塊的所述多運動模型的運動模型相關聯；其中，所述多運動模型包括至少一個第一運動模型，所述第一運動模型從所述歷史運動向量預測HMVP表中推導第二運動候選，其中，所述HMVP表中的一個或多個運動候選是從所述視頻的一個或多個先前塊推導的，並且根據所述先前塊的編解碼順序排列在所述HMVP表中，其中，所述先前塊的編解碼順序對應於所述先前塊的編碼/解碼順序，其中，所述多運動模型還包括至少一個第二運動模型，所述第二運動模型包括以下中的至少一個：從不同於所述當前圖片的圖片中推導第三運動候選的運動模型，或者從塊的空域相鄰塊中推導第四運動候選的運動模型，以及其中，所述至少一個第一運動模型排列在所述至少一個第二運動模型之後。
一種存儲視頻的位元流的方法，包括：為視頻中的當前塊和所述視頻的位元流之間的轉換，從歷史運動向量預測HMVP表中的一個或多個運動候選中確定第一運動候選，其中，所述當前塊是用基於多運動模型的跳過或直接模式編解碼的，所述位元流包括所述當前塊的候選索引；以及基於所述第一運動候選執行生成所述位元流；將所述位元流存儲在非暫態電腦可讀介質中；其中，所述多運動模型的每個運動模型對應於從相同規則推導的一個或多個運動候選，並且所述候選索引與用於所述當前塊的所述多運動模型的運動模型相關聯；其中，所述多運動模型包括至少一個第一運動模型，所述第一運動模型從所述歷史運動向量預測HMVP表中推導第二運動候選，其中，所述HMVP表中的一個或多個運動候選是從所述視頻的一個或多個先前塊推導的，並且根據所述先前塊的編解碼順序排列在所述HMVP表中，其中，所述先前塊的編解碼順序對應於所述先前塊的編碼/解碼順序，其中，所述多運動模型還包括至少一個第二運動模型，所述第二運動模型包括以下中的至少一個：從不同於所述當前圖片的圖片中推導第三運動候選的運動模型，或者從塊的空域相鄰塊中推導第四運動候選的運動模型，以及其中，所述至少一個第一運動模型排列在所述至少一個第二運動模型之後。
如申請專利範圍第1項所述的方法，還包括：對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊確定編碼的候選；以及使用所述候選進行所述影片塊的進一步處理。
如申請專利範圍第16項所述的方法，其中檢查所述一個或多個運動候選，其包含來自對應的非相鄰空域或時域塊或從所述先前編解碼塊推導的所述運動資訊的那些運動候選，以便識別具有與所述一個或多個目標運動模型之一相同的運動模型的至少一個運動候選。
如申請專利範圍第17項所述的方法，其中，識別並使用所述至少一個運動候選作為在從包括空間相鄰塊的人工搜索過程識別的運動候選之前的候選。
如申請專利範圍第17項所述的方法，其中識別並使用所述至少一個運動候選作為來自預設運動向量(MV)構建過程的運動候選之前的候選。
如申請專利範圍第17項所述的方法，其中在檢查來自對應的相鄰鄰近塊的所述一個或多個運動候選之後，在人工搜索過程期間檢查所述一個或多個運動候選。
如申請專利範圍第16項所述的方法，其中所述若干運動模型包括雙向模式、對稱模式、後向模式和前向模式。
如申請專利範圍第16項所述的方法，其中所述一個或多個運動候選中的每一個屬於與所述一個或多個目標運動模型不同的給定運動模型，並且其中所述若干運動模型還包括所述給定運動模型。
如申請專利範圍第16項所述的方法，其中所述一個或多個運動候選中的每一個屬於相同的運動模型，並且其中以信令通知所述相同的運動模型的指示，並且之後是指示對應於所述非相鄰塊之一的所述運動候選的索引。
如申請專利範圍第16項所述的方法，其中從所述先前編解碼塊推導的所述運動資訊包括基於歷史的運動向量預測(HMVP)候選。
如申請專利範圍第1項所述的方法，還包括：對於來自若干運動模型的一個或多個運動模型，使用與其他影片塊相關的運動候選，為影片塊確定編碼的候選，其中所述運動候選包含來自所述一個或多個運動模型中的相同運動模型的兩個或更多個運動候選；以及使用所述候選進行所述影片塊的進一步處理。
如申請專利範圍第25項所述的方法，其中以第一語法元素和第二語法元素來信令通知所述運動候選，第一語法元素指示所述若干運動模型中的給定運動模型，第二語法元素指示與所述給定運動模型相關聯的所述運動候選的候選索引。
如申請專利範圍第25項所述的方法，其中選擇所述運動候選之一作為為解碼器側的候選，並且其中所述影片塊的位元流表示排除對應於所述運動候選的信令通知。
如申請專利範圍第25項所述的方法，其中以所述運動候選的單個索引信令通知所述候選。
如申請專利範圍第25項所述的方法，其中基於與相同運動模型相關聯的空間相鄰塊確定所述運動候選。
如申請專利範圍第25項所述的方法，其中基於與相同運動模型相關聯的空間非相鄰塊確定所述運動候選。
如申請專利範圍第25項所述的方法，其中所述運動候選包括具有相同運動模型的基於歷史的運動向量預測(HMVP)候選。
如申請專利範圍第25項所述的方法，其中所述運動候選是基於不同塊或與一個或多個基於歷史的運動向量預測(HMVP)候選相關聯的查找表(LUT)的運動模型匹配的搜索、或者不同塊或LUT的人工搜索，或者一個或多個預設運動向量。
如申請專利範圍第25項所述的方法，其中來自所述一個或多個運動模型中的每一個的允許的多個候選的對應大小是相等的。
如申請專利範圍第25項所述的方法，其中來自所述一個或多個運動模型的允許的多個候選的對應大小包括不同的大小。
如申請專利範圍第25項所述的方法，其中所述運動候選的對應的大小是預定的或在序列參數集(SPS)、圖片參數集(PPS)或條帶標頭中信令通知。
如申請專利範圍第25項所述的方法，其中所述運動候選的大小是基於所述影片塊的大小，所述影片塊的形狀，所述影片塊的編解碼模式，包括所述影片塊的圖片的圖片類型，包括所述影片塊的條帶的條帶類型或低延遲檢查標誌。
如申請專利範圍第1項所述的方法，還包括：對於來自若干運動模型的一個或多個目標運動模型，使用來自對應的非相鄰空域或時域塊或從先前編解碼塊推導的運動資訊的一個或多個運動候選，並基於它們的相關聯的運動模型，為影片塊進行編碼的候選的搜索；以及使用所述候選進行所述影片塊的進一步處理，其中所述搜索的搜索順序是基於所述一個或多個目標運動模型中的至少一個運動模型。
如申請專利範圍第37項的所述的方法，其中所述搜索順序對於不同運動模型是不同的。
如申請專利範圍第37項所述的方法，其中所述搜索順序是預定的。
如申請專利範圍第37項所述的方法，其中所述搜索順序被配置為對於不同影片塊改變。
如申請專利範圍第37項所述的方法，其中所述搜索順序是基於與所述一個或多個運動模型不同的運動模型相關聯的搜索順序結果。
如申請專利範圍第37項所述的方法，其中所述搜索順序是基於所述影片塊的大小、所述影片塊的形狀或所述影片塊的編解碼模式中至少一個。
如申請專利範圍第16項所述的方法，其中所述一個或多個運動模型中的每一個與對應的歷史運動向量(MV)列表相關聯，並且其中所述歷史MV列表提供所述運動候選。
如申請專利範圍第43項所述的方法，其中所述一個或多個運動模型的第一子集與對應的歷史MV列表相關聯，其中所述一個或多個運動模型的第二子集不與對應的歷史MV列表相關聯，其中所述第一子集包括雙向預測和對稱模型，並且其中所述第二子集包括前向預測和後向預測模型。
如申請專利範圍第43項所述的方法，其中在確定包括與所述一個或多個運動模型相關聯的MV的幀間編解碼影片塊被編碼或解碼時，更新所述歷史MV列表。
如申請專利範圍第16至45項中任一項所述的方法，其中擴展由cu_subtype_index指代的運動模型索引的編解碼，以允許除所述一個或多個運動模型中的五個運動模型之外還包含多個候選。
如申請專利範圍第46項所述的方法，其中所述編解碼是基於截斷一元二值化方法。
如申請專利範圍第46項所述的方法，其中以至少一個上下文編解碼cu_subtype_index的編解碼中的每個bin。
如申請專利範圍第46項所述的方法，其中以至少一個上下文編解碼cu_subtype_index的編解碼中的第一組bin，並且其中以旁路模式編解碼cu_subtype_index的編解碼中的第二組bin。
一種影片系統中的裝置，包括處理器和其上具有指令的非暫態電腦可讀介質，其中由所述處理器執行所述指令時，使所述處理器實現申請專利範圍第1至11項、第16-49項中的任一項所述的方法。
一種電腦程式產品，儲存在非暫態電腦可讀介質上，所述電腦程式產品包含用於進行申請專利範圍第1至11項、第16-49項中的任一項所述的方法的程式代碼。