TW202021344A

TW202021344A - 依賴形狀的幀內編碼

Info

Publication number: TW202021344A
Application number: TW108123175A
Authority: TW
Inventors: 劉鴻彬; 張莉; 張凱; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-07-01
Filing date: 2019-07-01
Publication date: 2020-06-01
Also published as: CN110677679B; CN110677678A; CN110677679A; TW202007153A; TWI731361B; WO2020008328A1; WO2020008324A1; CN110677678B

Abstract

一種視訊位元流處理方法，該方法包含：對於幀內編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則產生幀內模式候選的列表，以及使用幀內模式候選的列表重建視訊塊的解碼表示。形狀依賴性規則還可以擴展到合併候選列表或高級運動向量預測候選列表的幀間編碼情況。

Description

依賴形狀的幀內編碼

本專利文件涉及視頻編碼技術。

數位視訊佔網際網路和其他數位通訊網絡上最大的頻寬使用。隨著能夠接收和顯示視訊的所連接的用戶裝置的數量增加，預計數位視訊使用的頻寬需求將繼續增長。

所公開的技術可以由視訊解碼器或編碼器實施例使用，其中使用依賴塊形狀的編碼技術來改進視訊塊的幀內編碼的編碼性能。

在一個示例方面，公開了一種視訊位元流處理方法。該方法包含：對於幀內編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則產生合併候選的列表，以及使用合併候選的列表重建視訊塊的編碼表示。

在另一示例方面，一種重建視訊塊的方法包含：對於幀間編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則，產生高級運動向量預測（AMVP）候選的列表，並且使用AMVP候選的列表來重建視訊塊的編碼表示。

在另一示例方面，上述方法可以由包含處理器的視訊解碼器裝置實現。

在另一示例方面，上述方法可以由視訊編碼器裝置來實現，該視訊編碼器裝置包含用於在視訊編碼過程期間解碼已編碼的視訊的處理器。

在又一示例方面，這些方法可以以處理器可執行的指令的形式實現並儲存在電腦可讀取程式媒介上。

在本文件中進一步描述了這些和其他方面。

本專利文件提供了可以由視訊位元流的解碼器使用以改進解壓縮或解碼的數位視訊的品質的各種技術。此外，視訊編碼器還可以在編碼的過程期間實現這些技術，以便重建編碼或解碼幀用於進一步編碼。在以下描述中，術語視訊塊用於表示像素的邏輯分組，並且不同的實施例可以利用不同尺寸的視訊塊工作。此外，視訊塊可以對應於一個色度或亮度分量，或者可以包含另一個分量表示，諸如RGB表示。

爲了便於理解，在本文件中使用章節標題，並且實施例和技術不限於對應的章節。這樣，來自一個章節的實施例可以與來自其他章節的實施例組合。

1 、概述

該專利文件中描述的技術涉及視訊編碼技術。具體地，該專利文件中描述的技術涉及視訊編碼中的幀內/幀間模式編碼。它可以應用於像高效視訊編碼（HEVC）之類的現有的視訊編碼標準或者待最終確定的標準（通用視訊編碼）。它也可以適用於未來的視訊編碼標準或視訊編解碼器。

2 、背景

視訊編碼標準主要是通過衆所周知的ITU-T和ISO/IEC標準的發展而得以演進。ITU-T製作了H.261和H.263標準，ISO/IEC製作了MPEG-1和MPEG-4 Visual標準，並且兩個組織聯合制作了H.262/MPEG-2視訊標準和H.264/MPEG-4高級視訊編碼（Advanced Video Coding，AVC）標準和H.265/HEVC[1]標準。從H.262開始，視訊編碼標準基於混合視訊編碼結構，其中利用時域預測加變換編碼。爲了探索HEVC之外的未來視訊編碼技術，由VCEG和MPEG於2015年聯合成立聯合視訊探索團隊（JVET）。從那時起，JVET採用了許多新方法並將其納入名爲聯合勘探模型（JEM）的參考軟體。在2018年4月，VCEG（Q6/16）和ISO/IEC JTC1 SC29/WG11（MPEG）之間的聯合視訊專家組（JVET）被創建用於VVC標準，目標是與HEVC相比降低50％的位元率。

圖21繪示了視訊編碼器的示例的實現方式的方塊圖。

2.1 具有更大編碼樹單元（ CTU ）的四元樹加二元樹（ QTBT ）塊結構

在HEVC中，通過使用表示爲編碼樹的四元樹結構將CTU劃分成CU，以適應各種局部特性。在CU級別進行使用圖片間（時域）預測還是圖片內（空間）預測來對圖片區域編碼的決定。根據PU劃分類型，每個CU可以進一步劃分成一個、兩個或四個預測單元（PU）。在一個PU內部，應用相同的預測過程，並且在PU的基礎上將相關資訊發送到解碼器。在通過基於PU劃分類型應用預測過程而獲得了殘差塊（residual block）之後，可以根據類似於CU的編碼樹的另一個四元樹結構將CU分割爲變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個分割概念，包含CU、PU和TU。

QTBT結構去除了多種分割類型的概念，即，它去除了CU、PU和TU概念的分離，並且支持CU分割形狀的更大靈活性。在QTBT塊結構中，CU可以具有正方形或矩形形狀。如圖1中所示，CTU首先被四元樹結構分割。四元樹葉節點被二元樹結構進一步分割。在二元樹劃分中有兩種劃分類型：對稱水平劃分和對稱垂直劃分。二元樹葉節點被稱爲編碼單元（CU），並且該劃分被用於預測和變換處理而無需任何進一步的分割。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顔色分量的編碼塊（CB）組成，例如，在4：2：0色度格式的P和B切片的情況下，一個CU包含一個亮度CB和兩個色度CB；並且CU有時由單個分量的CB組成，例如，在I切片的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。

爲QTBT分割方案定義以下參數：

在QTBT分割結構的一個示例中，CTU尺寸被設置爲具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize 被設置爲16×16，MaxBTSize 被設置爲64×64，MinBTSize （寬度和高度）被設置爲4×4，並且MaxBTDepth 被設置爲4。首先將四元樹分割應用於CTU以產生四元樹葉節點。四元樹葉節點可以具有從16×16（即，MinQTSize ）到128×128（即，CTU尺寸）的尺寸。如果葉四元樹節點是128×128，則由於該尺寸超過MaxBTSize （即，64×64），所以它不會被二元樹進一步劃分。否則，葉四元樹節點可以被二元樹進一步分割。因此，四元樹葉節點也是二元樹的根節點，並且二元樹深度爲0。當二元樹深度達到MaxBTDepth （即，4）時，不考慮進一步的劃分。當二元樹節點的寬度等於MinBTSize （即，4）時，不考慮進一步的水平劃分。類似地，當二元樹節點的高度等於MinBTSize 時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二元樹的葉節點，而無需任何進一步的劃分。在JEM中，最大CTU尺寸爲256×256亮度樣本。

圖1繪示了通過使用QTBT進行塊分割的示例，圖1（右）繪示了對應的樹表示。實線表示四元樹劃分，虛線表示二元樹劃分。在二元樹的每個劃分（即，非葉）節點中，信令通知一個標誌以指示使用哪種劃分類型（即，水平或垂直），其中0表示水平劃分並且1表示垂直劃分。對於四元樹劃分，不需要指示劃分類型，因爲四元樹劃分總是水平地且垂直地劃分塊以産生具有相等尺寸的4個子塊。

另外，QTBT方案支持使亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B切片，一個CTU中的亮度CTB和色度CTB共享相同的QTBT結構。然而，對於I切片，通過QTBT結構將亮度CTB分割爲CU，並且通過另一QTBT結構將色度CTB分割爲色度CU。這意味著I切片中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P切片或B切片中的CU由所有三個顔色分量的編碼塊組成。

在HEVC中，限制小塊的幀間預測以減少運動補償的記憶體存取，使得對於4×8和8×4塊不支持雙向預測，並且對於4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被去除。

2.2 HEVC/H.265 中的幀間預測

每個幀間預測的PU具有一個或兩個參考圖片列表的運動參數。運動參數包含運動向量和參考圖片索引。也可以使用inter_pred_idc 信令通知兩個參考圖片列表中的一個的使用。可以將運動向量明確地編碼爲相對於預測值的變化量。

當用跳過模式（skip mode）對CU進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數，沒有編碼的運動向量變化量或參考圖片索引。指定合併模式，由此從鄰近的多個PU獲得當前PU的運動參數，包含空間和時域候選。合併模式可以應用於任何幀間預測的PU，而不僅僅應用於跳過模式。合併模式的可選模式是運動參數的顯式傳輸，其中按照每個PU，明確地信令通知運動向量（更準確地說，與運動向量預測值相比的運動向量差）、每個參考圖片列表的對應的參考圖片索引和參考圖片列表的使用。在本公開中，這樣的模式被稱爲高級運動向量預測（AMVP）。

當信令指示要使用兩個參考圖片列表中的一個時，從一個樣本塊産生PU。這被稱爲“單向預測”。單向預測可用於P切片和B切片。

當信令指示要使用兩個參考圖片列表時，從兩個樣本塊産生PU。這被稱爲“雙向預測”。雙向預測僅可用於B切片。

以下文本提供關於HEVC中指定的幀間預測模式的細節。描述將從合併模式開始。

2.2.1 合併模式

2.2.1.1 合併模式的候選的推導

當使用合併模式預測PU時，從位元流解析指向合併候選列表 中的條目的索引，並用其檢索運動資訊。該列表的構造在HEVC標準中規定，並且可以根據以下步驟順序進行總結：

這些步驟也在圖2中示意性地描繪。對於空間合併候選推導，在位於五個不同位置的候選中選擇最多四個合併候選。對於時域合併候選推導，在兩個候選中選擇最多一個合併候選。由於在解碼器處假設每個PU的恆定數量的候選，因此當從步驟1獲得的候選的數量未達到在切片報頭中信令通知的最大數量的合併候選（MaxNumMergeCand）時，產生附加候選。由於候選的數量是恆定的，因此使用截斷一元碼二值化（TU）來編碼最佳合併候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共享單個合併候選列表，其與2N×2N預測單元的合併候選列表相同。

在下文中，詳細描述了與前述步驟相關聯的操作。

2.2.1.2 空間候選推導

在空間合併候選的推導中，在位於圖3中描繪的位置中的候選中選擇最多四個合併候選。推導的順序是A₁ 、B₁ 、B₀ 、A₀ 和B₂ 。僅當位置A₁ 、B₁ 、B₀ 、A₀ 的任何PU不可用（例如，因爲它屬另一個切片或片）或者是幀內編碼時，才考慮位置B₂ 。在添加位置A₁ 處的候選之後，對剩餘候選的添加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在列表之外，從而提高編碼效率。爲了降低計算複雜度，在所提到的冗餘檢查中並未考慮所有可能的候選對。相反,如果用於冗餘檢查的對應的候選具有相同的運動資訊，則僅考慮與圖4中的箭頭鏈接的對，並且僅將候選添加到列表中。重複運動資訊的另一個來源是與不同於2Nx2N的劃分相關聯的“第二 PU ”。作爲示例，圖5描繪了分別用於N×2N和2N×N的情況的第二PU。當當前PU被分割爲N×2N時，位置A₁ 處的候選不被考慮用於列表構造。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分割爲2N×N時，不考慮位置B₁ 。

2.2.1.3 時域候選推導

在該步驟中，僅將一個候選添加到列表。具體地，在該時域合併候選的導出中，基於屬與給定參考圖片列表內的當前圖片具有最小POC差異的圖片的共位的（co-located）PU來導出縮放的運動向量。在切片報頭中明確地信令通知要用於導出共位的PU的參考圖片列表。獲得用於時域合併候選的縮放的運動向量，如圖6中的虛線所示，該縮放的運動向量是使用POC距離tb和td從共位的PU的運動向量縮放的，其中tb被定義爲當前圖片的參考圖片與當前圖片之間的POC差異，並且td被定義爲是共位的圖片的參考圖片與共位的圖片之間的POC差異。時域合併候選的參考圖片索引被設置爲等於零。HEVC規範[1]中描述了縮放過程的實際實現。對於B切片，獲得兩個運動向量，一個用於參考圖片列表0，另一個用於參考圖片列表1，組合該兩個運動向量以得到雙向預測合併候選。

圖6是用於時域合併候選的運動向量縮放的圖示。

在屬參考幀的共位的PU（Y）中，在候選C₀ 和C₁ 之間選擇時域候選的位置，如圖7中所示。如果位置C₀ 處的PU不可用，是幀內編碼，或者在當前CTU行之外，則使用位置C₁ 。否則，位置C₀ 用於時域合併候選的推導。

2.2.1.4 附加候選插入

除了空間和時域合併候選之外，存在兩種附加類型的合併候選：組合的雙向預測合併候選和零合併候選。通過利用空間和時域合併候選來產生組合的雙向預測合併候選。組合的雙向預測合併候選僅用於B切片。通過將初始候選的第一參考圖片列表運動參數與另一個的第二參考圖片列表運動參數組合來產生組合的雙向預測候選。如果這兩個元組（tuple）提供不同的運動假設，則它們將形成新的雙向預測候選。作爲示例，圖8描繪了當原始列表（左側）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選用於創建添加到最終列表（右側）的組合的雙向預測合併候選時的情況。關於被認爲產生這些附加的合併候選的組合有許多規則，在[1]中定義。

插入零運動候選以填充合併候選列表中的剩餘條目，並因此達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量對於單向和雙向預測分別是1和2。最後，不對這些候選執行冗餘檢查。

2.2.1.5 用於並行處理的運動估計區域

爲了加速編碼處理，可以並行執行運動估計，由此同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導合併候選可能干擾並行處理，因爲一個預測單元不能從相鄰的PU推導運動參數，直到其相關聯的運動估計完成爲止。爲了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域（MER），其尺寸在圖片參數集合中使用“log2_parallel_merge_level_minus2”語法元素[1]信令通知。當定義MER時，屬同一區域中的合併候選被標記爲不可用，因此在列表構造中不予考慮。

2.2.2 AMVP

AMVP利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。對於每個參考圖片列表，通過首先檢查左側、上方時域鄰近的PU位置的可用性，移除冗餘候選並添加零向量以使候選列表爲恆定長度來構造運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳預測值，並發送指示所選擇的候選的對應的索引。與合併索引信令類似，使用截斷一元碼（truncated unary）來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖9）。在以下章節中，提供了關於運動向量預測候選的推導過程的細節。

2.2.2.1 AMVP 候選的推導

圖9總結了運動向量預測候選的推導過程。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選推導，最終基於位於五個不同位置的每個PU的運動向量推導兩個運動向量候選，如圖3所示。

對於時域運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共位的位置推導的。在製作空時候選的第一列表之後，移除列表中的重複運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片列表內的參考圖片索引大於1的運動向量候選。如果空時運動向量候選的數量小於2，則將附加的零運動向量候選添加到列表中。

2.2.2.2 空間運動向量候選

在空間運動向量候選的推導中，在五個潛在候選中考慮最多兩個候選，其從位於如圖3中所示的位置的PU推導出，這些位置與運動合併的位置相同。當前PU的左側的推導順序被定義爲A₀ 、A₁ ，以及縮放的A₀ 、縮放的A₁ 。當前PU的上側的推導順序被定義爲B₀ 、B₁ 、B₂ 、縮放的B₀ 、縮放的B₁ 、縮放的B₂ 。因此，對於每一側，存在四種可用作運動向量候選的情況，其中兩種情況不需要使用空間縮放，以及兩種情況使用空間縮放。四種不同的情況總結如下。

首先檢查無空間縮放情況，然後檢查空間縮放。當POC在鄰近的PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片列表時，考慮空間縮放。如果左側候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助在MV候選的左側和上方的並行推導。否則，上述運動向量不允許空間縮放。

圖10是空間運動向量候選的運動向量縮放的圖示。

在空間縮放過程中，以與時域縮放類似的方式縮放鄰近的PU的運動向量，如圖10所示。主要區別在於參考圖片列表和當前PU的索引作爲輸入給出；實際縮放過程與時域縮放過程相同。

2.2.2.3 時域運動向量候選

除了參考圖片索引推導之外，用於推導時域合併候選的所有過程與用於推導空間運動向量候選的所有過程相同（參見圖7）。將參考圖片索引信令通知給解碼器。

2.3 JEM 中的新的幀間合併候選

2.3.1 基於子 CU 的運動向量預測

在具有QTBT的JEM中，每個CU可以具有用於每個預測方向的至多一個運動參數集合。通過將大CU劃分成子CU並且推導大CU的所有子CU的運動資訊，在編碼器中考慮兩個子CU級運動向量預測方法。可選時域運動向量預測（ATMVP）方法允許每個CU從比並置參考圖片中的當前CU小的多個塊中提取多個運動資訊集合。在空時運動向量預測（STMVP）方法中，通過使用時域運動向量預測值和空間鄰近運動向量來遞歸地（recursively）推導子CU的運動向量。

爲了保留用於子CU運動預測的更準確的運動場，當前禁用參考幀的運動壓縮。

2.3.1.1 可選時域運動向量預測

在可選時域運動向量預測（ATMVP）方法中，通過從小於當前CU的塊中提取多個運動資訊的集合（包含運動向量和參考索引）來修改運動向量時域運動向量預測（TMVP）。如圖11中所示，子CU是正方形N×N塊（默認地將N設置爲4）。

ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步驟是利用所謂的時域向量識別參考圖片中的對應的塊。參考圖片稱爲運動源圖片。第二步驟是將當前CU分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖11所示。

在第一步驟中，參考圖片和對應的塊由當前CU的空間鄰近塊的運動資訊確定。爲了避免鄰近塊的重複掃描過程，使用當前CU的合併候選列表中的第一合併候選。第一可用運動向量以及其相關聯的參考索引被設置爲時域向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊（有時稱爲並置塊）總是相對於當前CU位於右下或中心位置。

在第二步驟中，通過向當前CU的座標添加時域向量，通過運動源圖片中的時域向量來識別子CU的對應的塊。對於每個子CU，其對應的塊（覆蓋中心樣本的最小運動網格）的運動資訊用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將該運動資訊轉換爲當前子CU的運動向量和參考索引，其中運動縮放和其他過程適用。例如，解碼器檢查是否滿足低延遲條件（即，當前圖片的所有參考圖片的POC小於當前圖片的POC）並且可能使用運動向量MV_x （對應於參考圖片列表X的運動向量）以預測每個子CU的運動向量MV_y （其中X等於0或1並且Y等於1-X）。

2.3.1.2 空時運動向量預測

在該方法中，按照光柵掃描順序遞歸地推導子CU的運動向量。圖12繪示了這個概念。讓我們考慮含有四個4×4子CU A、B、C和D的8×8 CU。當前幀中的鄰近4×4塊標記爲a、b、c和d。

子CU A的運動推導通過識別其兩個空間鄰域開始。第一鄰域是子CU A上方的N×N塊（塊c）。如果該塊c不可用或者是幀內編碼的，則檢查子CU A上方的其他N×N塊（從左到右，在塊c開始）。第二鄰域是子CU A左側的塊（塊b）。如果塊b不可用或者是幀內編碼的，則檢查子CU A左側的其他塊（從上到下，在塊b開始）。從每個列表的鄰近塊獲得的運動資訊被縮放到給定列表的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來推導子塊A的時域運動向量預測值（TMVP）。提取位置D處的並置塊的運動資訊並相應地縮放。最後，在檢索和縮放運動資訊之後，對於每個參考列表，所有可用的運動向量（最多3個）被單獨平均。平均運動向量被指定爲當前子CU的運動向量。

2.3.1.3 子 CU 運動預測模式信令

子CU模式被啓用作爲附加的合併候選，並且不需要附加的語法元素來信令通知模式。將兩個附加的合併候選添加到每個CU的合併候選列表以表示ATMVP模式和STMVP模式。如果序列參數集合指示啓用了ATMVP和STMVP，則至多使用七個合併候選。附加合併候選的編碼邏輯與HM中的合併候選相同，這意味著，對於P或B切片中的每個CU，兩個附加的合併候選需要另外兩個RD檢查。

在JEM中，合併索引的所有二進制位通過上下文自適應二進制算術編碼（CABAC）進行上下文編碼。而在HEVC中，僅第一個二進制位是上下文編碼的，而剩餘的二進制位是上下文旁路編碼的。

2.3.2 非相鄰的合併候選

在J0021中，Qualcomm提出從非相鄰的鄰近位置推導附加的空間合併候選，其被標記爲6到49，如圖13中所示。在合併候選列表中的TMVP候選之後添加推導的候選。

在J0058中，Tencent提出從外部參考區域中的位置推導附加的空間合併候選，該外部參考區域具有對當前塊的偏移（-96，-96）。

如圖14中所示，位置標記爲A（i，j）、B（i，j）、C（i，j）、D（i，j）和E（i，j）。與其先前的B或C候選相比，每個候選B（i，j）或C（i，j）在垂直方向上具有16的偏移。與其先前的A或D候選相比，每個候選A（i，j）或D（i，j）在水平方向上具有16的偏移。與其先前的E候選相比，每個E（i，j）在水平方向和垂直方向上具有16的偏移。從內到外檢查候選。候選的順序是A（i，j）、B（i，j）、C（i，j）、D（i，j）和E（i，j）。進一步研究合併候選的數量是否可以進一步減少。在合併候選列表中的TMVP候選之後添加候選。

在J0059中，在時域候選之後根據它們的數位順序檢查如圖15中的從6到27的擴展空間位置。爲了節省MV行緩衝區，所有空間候選都被限制在兩個CTU行內。

2.4 在 JEM 中的幀內預測

2.4.1 具有 67 個幀內預測模式的幀內模式編碼

爲了捕獲在自然視訊中呈現的任意邊緣方向，定向幀內模式的數量從在HEVC中使用的33擴展到65。附加的定向模式在圖16中被描繪爲紅色虛線箭頭，並且平面模式和DC模式保持不變。這些更密集的定向幀內預測模式適用於所有塊尺寸以及亮度和色度幀內預測。

2.4.2 Luma 幀內模式編碼

爲了適應增加數量的定向幀內模式，使用具有6種最可能模式（MPM）的幀內模式編碼方法。涉及兩個主要技術方面：1）6個MPM的推導，以及2）6個MPM和非MPM模式的熵編碼。

在JEM中，包含在MPM列表中的模式被分類爲三組：

使用五個鄰近的幀內預測模式來形成MPM列表。5個鄰近塊的那些位置與合併模式中使用的那些位置相同，即左側（L）、上方（A）、左下方（BL）、右上方（AR）和左上方（AL），如圖17所示。通過將5個鄰域幀內模式以及平面模式和DC模式插入MPM列表來形成初始MPM列表。修剪過程用於移除重複模式，以便只有唯一模式可以包含在MPM列表中。包含初始模式的順序是：左側、上方、平面、DC、左下方、右上方，然後左上方。

圖17繪示了用於MPM推導的鄰近塊的示例。

如果MPM列表未滿（即，列表中少於6個MPM候選），則添加推導的模式；通過將-1或+1加到已包含在MPM列表中的角度模式（angular mode）來獲得這些幀內模式。這樣的附加的推導的模式不是從非角度模式（DC或平面）產生的。

最後，如果MPM列表仍未完成，則按以下順序添加默認模式：垂直、水平、模式2和對角線模式。作爲該過程的結果，產生6個MPM模式的唯一列表。

對於使用6個MPM的所選擇的模式的熵編碼，使用截斷一元碼二值化。前三個二進制位（bin）使用上下文編碼，該上下文取決於與當前信令通知的二進制位相關的MPM模式。MPM模式分類爲三類：（a）主要爲水平的模式（即，MPM模式數量小於或等於對角線方向的模式數量），（b）主要爲垂直的模式（即，MPM模式大於對角線方向的模式數量，以及（c）非角度（DC和平面）類。因此，基於該分類，使用三個上下文來信令通知MPM索引。

用於選擇剩餘的61個非MPM的編碼如下完成。61個非MPM首先劃分爲兩個集合：所選擇的模式集合和未選擇的模式集合。所選擇的模式集合含有16個模式，其餘模式（45個模式）分配給未選擇的模式集合。當前模式所屬的模式集合在具有標誌的位元流中指示。如果要指示的模式在所選擇的模式集合內，則使用4位固定長度代碼信令通知所選擇的模式，並且如果要指示的模式來自未選擇的集合，則使用截斷二進制碼（truncated binary code）信令通知。所選擇的模式集合是通過對61個非MPM模式進行子採樣產生的，如下所示：

所選擇的模式集合 = {0, 4, 8, 12, 16, 20 ... 60}

未選擇的模式集合 = {1, 2, 3, 5, 6, 7, 9, 10 ... 59}

在編碼器側，使用HM的類似的兩階段幀內模式決定過程。在第一階段，即幀內模式預選階段，使用較低複雜度的絕對變換差和（SATD）成本來從所有可用的幀內模式中預選N 個幀內預測模式。在第二階段，進一步應用更高複雜度的R-D成本選擇以從N 個候選中選擇一個幀內預測模式。然而，當應用67個幀內預測模式時，由於可用的模式的總數大致加倍，如果直接使用HM的相同編碼器模式決定過程，則幀內模式預選階段的複雜度也將增加。爲了最小化編碼器複雜度增加，執行兩步驟幀內模式預選過程。在第一步驟，基於絕對變換差和（SATD）測量，從原始的35個幀內預測模式（在圖16中用黑色實線箭頭表示）中選擇N 個（N 取決於幀內預測塊尺寸）模式；在第二步驟，通過SATD進一步檢查所選擇的N 個模式的直接鄰域（如圖16中的虛線箭頭所示的附加幀內預測方向），並且更新所選擇的N 個模式的列表。最後，如果尚未包含，則將前M 個MPM添加到N 個模式，並且爲第二階段R-D成本檢驗產生候選幀內預測模式的最終列表，其以與HM相同的方式完成。基於HM中的原始設置，M 的值增加1，並且如表1中所示，N 略微減小。表 1 ：幀內模式預選步驟中的模式候選的數量

2.4.3 色度幀內模式編碼

在JEM中，允許總共11個幀內模式用於色度CB編碼。這些模式包含5個傳統的幀內模式和6個跨組件線性模型模式。色度模式候選的列表包含以下三個部分：

每當將新的色度幀內模式添加到候選列表時，就應用修剪過程。然後將非CCLM色度幀內模式候選列表尺寸修整爲5。對於模式信令，首先用信令通知標誌以指示是使用CCLM模式中的一個還是使用傳統色度幀內預測模式中的一個。然後可以跟隨再多幾個標誌以指定用於當前色度CB的精確色度預測模式。

3. 由實施例解決的問題的示例

使用QTBT，存在完全不同的CU形狀，例如4×32和32×4等。對於不同的CU形狀，它們可以與鄰近的塊具有不同的相關性。然而，在幀內模式和幀間模式編碼中，合併列表、AMVP列表或MPM列表以相同的方式用於所有CU形狀的構造，這是不合理的。

同時，用於MPM列表構造的默認幀內模式總是垂直（VER）、水平（HOR）、模式2以及對角線模式（DIG），這是不合理的。

4. 實施例的示例

爲了解決本專利文件中描述的技術問題，並提供其他益處，提出了依賴形狀的幀內/幀間模式編碼，其中可以構造不同的合併列表、AMVP列表或MPM列表。

以下詳細示例應被視爲解釋一般概念的示例。不應以狹義的方式解釋這些示例性特徵。此外，這些示例性特徵可以以任何方式組合。

圖20是視訊處理裝置2000的方塊圖。裝置2000可以用於實現本文描述的一個或多個方法。裝置2000可以實現在智能手機、平板電腦、電腦、物聯網（IoT）接收器等中。裝置2000可以包含一個或多個處理器2002、一個或多個記憶體2004和視訊處理硬體2006。（多個）處理器2002可以被配置爲實現本專利文件中描述的一個或多個方法，諸如參照方法2200和2300描述的方法。記憶體（多個記憶體）2004可以用於儲存用於實現本文描述的方法和技術的資料和代碼，諸如參照方法2200和2300描述的方法。視訊處理硬體2006可以是用於以硬體電路實現在本專利文件中描述的一些方法。

圖22是視訊位元流處理的方法2200的流程圖。方法2200包含：對於幀間編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則產生（步驟2202）合併候選的列表，並且使用合併候選的列表重建（步驟2204）視訊塊的編碼表示。

參照方法2200，第一形狀依賴性規則指定順序，以該順序檢查鄰近的塊以用於插入合併候選的列表中。參照方法2200，第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，在來自相對於視訊塊的左側鄰近的塊的候選之前，首先通過使用來自相對於視訊塊的上方鄰近的塊的候選來產生合併候選的列表。

參照方法2200，在來自相對於視訊塊的左下方鄰近的塊的候選之前，檢查來自相對於視訊塊的右上方鄰近的塊的候選，或者在來自相對於視訊塊的左下方鄰近的塊的候選之前，檢查來自相對於視訊塊的左上方鄰近的塊的候選。

參照方法2200，第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，合併候選的列表包含來自相對於視訊塊的上方鄰近的塊的合併候選。參照方法2200，上方鄰近的塊中的一個是中間塊。

參照方法2200，第一形狀依賴性規則指定在視訊塊的高度大於視訊塊的寬度的M倍的情況下，其中M是整數，合併候選的列表包含來自相對於視訊塊的左側鄰近的塊的合併候選。參照方法2200，左側鄰近的塊是中間塊。

參照方法2200，根據預測方向對合併候選的列表進行排序。參照方法2200，合併候選的列表包含在單向預測合併候選之前的雙向預測合併候選。

圖23是重建視訊塊的方法2300的流程圖。方法2300包含：對於幀間編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則產生（步驟2302）合併候選的列表，並且使用合併候選的列表重建（步驟2304）視訊塊的編碼表示。

參照方法2300，第一形狀依賴性規則指定順序，以該順序檢查鄰近的塊以用於插入AMVP候選的列表中。參照方法2300，第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，AMVP的列表包含來自相對於視訊塊的上方鄰近的塊、相對於視訊塊的右上方鄰近的塊、以及相對於視訊塊的左上方鄰近的塊的AMVP候選，該AMVP候選在相對於視訊塊的左下方鄰近的塊和相對於視訊塊的左側鄰近的塊之前檢查。參照方法2300，第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，AMVP候選的列表包含來自相對於視訊塊的上方鄰近的塊的AMVP候選，其中檢查來自上方鄰近的塊的AMVP候選。參照方法2300，上方鄰近的塊是中間塊。

參照方法2300，第一形狀依賴性規則指定在視訊塊的高度大於視訊塊的寬度的M倍的情況下，其中M是大於或等於1的整數，AMVP候選的列表包含來自相對於視訊塊的左側鄰近的塊的AMVP候選，其中檢查來自左側鄰近的塊的AMVP候選。參照方法2300，左側鄰近的塊是中間塊。

參照方法2200和2300，視訊塊的形狀是正方形或矩形中的一個。參照方法2200和2300，視訊塊的形狀對應於寬度和高度的比率。

參照方法2200和2300，第一形狀依賴性規則基於視訊塊的編碼條件選擇性地應用兩個不同的依賴性規則。參照方法2200和2300，編碼條件包含平移運動編碼模式或仿射運動編碼模式。參照方法2200和2300，編碼條件包含視訊塊中的像素的數量或視訊塊的高度或視訊塊的寬度是否超過大於或等於臨界值。參照方法2200和2300，該方法應用於視訊塊的亮度分量或色度分量中的一個或多個。

參照方法2200和2300，視訊塊可以表示壓縮視訊位元流的CU。視訊塊的形狀可以取決於高寬比、或高度和寬度的實際值、或高度和寬度的相對值。在各種實施例中，可以隱式地或顯式地產生各種候選的列表（例如，通過將列表儲存在記憶體中）。

參照方法2200和2300，鄰近的塊的一些示例及其使用在本文件的第4章中描述。例如，如第4章中所述，在視訊塊的不同形狀下，可以優選頂部鄰近的塊或左側鄰近的塊。在一些實施例中，頂部或左側的中心或中間塊（或子塊）可以是優選的塊，使用來自該優選的塊的候選添加到列表。

參照方法2200、和2300，可以使用基於碼字的技術（例如，上下文自適應二進制算術編碼或可變長度編碼）在視訊位元流中對視訊塊進行編碼，在該技術中可以通過使用還取決於視訊塊的形狀的位元流產生規則來實現位元效率。

參照方法2200和2300，編碼視訊塊的形狀可以用於決定哪些塊用於候選，或者決定將候選放置在候選的列表中的順序，或者兩者。

視訊解碼裝置包含處理器，該處理器可以被配置爲實現參照方法2200或2300所述的方法。視訊編碼裝置包含處理器，該處理器可以被配置爲實現參照方法2200或2300所述的方法。其上儲存有電腦代碼的電腦程式産品，該代碼在由處理器執行時使處理器實現參照方法2200或2300描述的方法。

應當理解，所公開的技術可以實現在視訊編碼器或解碼器中，以在被壓縮的編碼單元具有與傳統正方形形狀的塊或矩形塊顯著不同的形狀時提高壓縮效率。例如，使用諸如4×32或32×4尺寸的單元的長的或高的編碼單元的新編碼工具可得益於所公開的技術。

本文件中描述的公開和其他技術方案、示例、實施例、模塊和功能操作可以以數位電子電路實現，或者以電腦軟體、韌體或硬體實現，包含本文件中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現爲一個或多個電腦程式産品，即，在電腦可讀取媒介上編碼的一個或多個電腦程式指令模塊，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀取媒介可以是機器可讀取儲存設備、機器可讀取儲存基板、記憶體設備、影響機器可讀取傳播信號的物質組合、或者它們中的一個或多個的組合。術語“資料處理裝置”包含用於處理資料的所有設備、裝置和機器，包含例如可編程處理器、電腦或多個處理器或電腦。除了硬體，該設備可以包含代碼，該代碼創建用於討論中的電腦程式的執行環境，例如，構成處理器韌體、協議疊、資料庫管理系統、作業系統、或它們的一個或多個的組合的代碼。傳播信號是人工產生的信號，例如機器產生的電信號、光信號或電磁信號，其被產生以對資訊進行編碼以便傳輸到合適的接收器裝置。

電腦程式（也稱爲程式、軟體、軟體應用、脚本或代碼）可以用任何形式的編程語言編寫，包含編譯或解釋語言，並且可以以任何形式來部署電腦程式，包含獨立程式或適合在計算環境中使用的模塊、組件、子程式或其他單元。電腦程式並不必需對應於檔案系統中的檔案。程式可以儲存在檔案的保存其他程式或資料（例如，儲存在標記語言文件中的一個或多個脚本）的部分中，儲存在專用於所討論的程式的單個檔案中，或儲存在多個協調檔案中（例如，儲存一個或多個模塊、子程式或代碼部分的檔案）。可以部署電腦程式以在一個電腦上或在位於一個站點上或分布在多個站點上並通過通訊網絡互連的多個電腦上執行。

本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程處理器執行，以通過對輸入資料進行操作並產生輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現爲專用邏輯電路，例如FPGA（現場可編程門陣列）或ASIC（專用積體電路）。

舉例來說，適合於執行電腦程式的處理器包含通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從維讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包含或可操作地耦合到用於儲存資料的一個或多個大容量儲存設備，例如磁碟、磁光碟或光碟，以從該一個或多個大容量儲存設備接收資料，或將資料傳輸到該一個或多個大容量儲存設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀取媒介包含所有形式的非揮發性記憶體、媒介和記憶體設備，包含例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁碟，例如內部硬碟或可移動磁碟；磁光碟；以及CD ROM和DVD-ROM磁碟。處理器和記憶體可以由專用邏輯電路補充或並入專用邏輯電路中。雖然本文件包含許多細節，但這些細節不應被解釋爲對任何發明或可要求保護的範圍的限制，而是作爲特定於特定發明的特定實施例的特徵的描述。

雖然本文件包含許多細節，但這些細節不應被解釋爲對任何發明或可要求保護的範圍的限制，而是作爲特定於特定發明的特定實施例的特徵的描述。在本文件中，在單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述爲以某些組合起作用並且甚至最初如此要求權利保護，但是在某些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。

類似地，雖然在圖式中以特定順序描繪了操作，但是這不應該被理解爲要求以所示的特定順序或按順序執行這樣的操作，或者執行所有繪示的操作，以實現期望的結果。此外，在本文件中描述的實施例中的各種系統組件的分離不應被理解爲在所有實施例中都要求這種分離。

僅描述了幾個實現方式和示例，並且可以基於本文件中描述和繪示的內容來做出其他實現方式、增強和變型。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

2000、2200、2300:方法 2002:處理器 2004:記憶體 2006:視訊處理硬體 2202至2204、2302、2304:步驟 A、B、C、D:子編碼單元（子CU） A₀、A₁、B₀、B₁、B₂、C₀、C₁:位置 a、b、c、d:塊 tb、td:POC距離 AL、TL:左上方 AR、TR:右上方 BL:左下方 BR:右下方 CR:中心 L:左側

圖1是四元樹二元樹（QTBT）結構的圖示。圖2繪示了用於合併候選列表構造的示例推導過程。圖3繪示了空間合併候選的示例位置。圖4繪示了考慮用於空間合併候選的冗餘檢查的候選對的示例。圖5繪示了用於N×2N和2N×N劃分的第二預測單元（PU）的位置的示例。圖6是用於時域（temporal）合併候選的運動向量縮放的圖示。圖7繪示了用於時域合併候選C0和C1的示例候選位置。圖8繪示了組合的雙向預測合併候選的示例。圖9繪示了用於運動向量預測候選的推導過程的示例。圖10是空間運動向量候選的運動向量縮放的圖示。圖11繪示了用於編碼單元（CU）的高級時域運動向量預測（ATMVP）運動預測的示例。圖12繪示了具有四個子塊（A至D）的一個CU以及它的鄰近塊（a至d）的示例。圖13繪示了在J0021中提出的非相鄰合併候選。圖14繪示了在J0058中提出的非相鄰合併候選。圖15繪示了在J0059中提出的非相鄰合併候選。圖16繪示了提出的67幀內預測模式。圖17繪示了用於最可能模式（MPM）推導的鄰近塊的示例。圖18繪示了I切片中的色度CB的對應的子塊的示例。圖19A和圖19B繪示了用於MPM列表的附加塊的示例。圖20是視訊處理裝置的示例的方塊圖。圖21繪示了視訊編碼器的示例實現方式的方塊圖。圖22是視訊位元流處理方法的示例的流程圖。圖23是視訊位元流處理方法的示例的流程圖。

2200:方法

2202至2204:步驟

Claims

一種視訊位元流處理方法，該方法包含：對於幀間編碼的視訊塊，根據取決於該視訊塊的形狀的第一形狀依賴性規則，產生合併候選的列表；以及使用該合併候選的列表來重建該視訊塊的編碼表示。
如請求項1所述的方法，其中該第一形狀依賴性規則指定順序，以該順序檢查鄰近的塊以用於插入該合併候選的列表中。
如請求項2所述的方法，其中該第一形狀依賴性規則指定在該視訊塊的寬度大於該視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，在來自相對於該視訊塊的左側鄰近的塊的候選之前，首先通過使用來自相對於視訊塊的上方鄰近的塊的候選來產生該合併候選的列表。
如請求項3所述的方法，其中：在來自相對於該視訊塊的左下方鄰近的塊的候選之前，檢查來自相對於該視訊塊的右上方鄰近的塊的候選，或者在來自相對於該視訊塊的左下方鄰近的塊的候選之前，檢查來自相對於該視訊塊的左上方鄰近的塊的候選。
如請求項1所述的方法，其中該第一形狀依賴性規則指定在該視訊塊的寬度大於該視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，該合併候選的列表包含來自相對於該視訊塊的上方鄰近的塊的合併候選。
如請求項5所述的方法，其中該上方鄰近的塊中的一個是中間塊。
如請求項1所述的方法，其中該第一形狀依賴性規則指定在該視訊塊的高度大於該視訊塊的寬度的M倍的情況下，其中M是整數，該合併候選的列表包含來自相對於該視訊塊的左側鄰近的塊的合併候選。
如請求項7所述的方法，其中該左側鄰近的塊是中間塊。
如請求項1所述的方法，其中根據預測方向對該合併候選的列表進行排序。
如請求項9所述的方法，該合併候選的列表包含在單向預測合併候選之前的雙向預測合併候選。
一種視訊位元流處理方法，所述方法包含：對於幀間編碼的視訊塊，根據取決於該視訊塊的形狀的第一形狀依賴性規則，產生高級運動向量預測（AMVP）候選的列表；以及使用該高級運動向量預測候選的列表來重建該視訊塊的編碼表示。
如請求項11所述的方法，其中該第一形狀依賴性規則指定順序，以該順序檢查鄰近的塊以用於插入該高級運動向量預測候選的列表中。
如請求項12所述的方法，其中該第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，該高級運動向量預測候選的列表包含來自相對於該視訊塊的上方鄰近的塊、相對於該視訊塊的右上方鄰近的塊、以及相對於該視訊塊的左上方鄰近的塊的高級運動向量預測候選，該高級運動向量預測候選在相對於該視訊塊的左下方鄰近的塊和相對於該視訊塊的左側鄰近的塊之前檢查。
如請求項12所述的方法，其中該第一形狀依賴性規則指定在該視訊塊的寬度大於該視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，該高級運動向量預測候選的列表包含來自相對於該視訊塊的上方鄰近的塊的高級運動向量預測候選，其中檢查來自上方鄰近的塊的該高級運動向量預測候選。
如請求項14所述的方法，其中該上方鄰近的塊是中間塊。
如請求項12所述的方法，其中該第一形狀依賴性規則指定在該視訊塊的高度大於該視訊塊的寬度的M倍的情況下，其中M是大於或等於1的整數，該高級運動向量預測候選的列表包含來自相對於該視訊塊的左側鄰近的塊的高級運動向量預測，其中檢查來自左側鄰近的塊的該高級運動向量預測候選。
如請求項16所述的方法，其中該左側鄰近的塊是中間塊。
如請求項1至17中任一項所述的方法，其中該視訊塊的形狀是正方形或矩形中的一個。
如請求項1至17中任一項所述的方法，其中該視訊塊的形狀對應於該寬度和該高度的比率。
如請求項1至19中任一項所述的方法，其中該第一形狀依賴性規則基於該視訊塊的編碼條件選擇性地應用兩個不同的依賴性規則。
如請求項20所述的方法，其中該編碼條件包含平移運動編碼模式或仿射運動編碼模式。
如請求項20所述的方法，其中該編碼條件包含該視訊塊中的像素的數量或該視訊塊的高度或該視訊塊的寬度是否大於或等於臨界值。
如請求項1至22中任一項所述的方法，其中該方法應用於該視訊塊的亮度分量或色度分量中的一個或多個。
一種視訊解碼裝置，該視訊解碼裝置包含：處理器，其被配置爲實現如請求項1至23中的一項或多項所述的方法。
一種視訊編碼裝置，該視訊編碼裝置包含：處理器，其被配置爲實現如請求項1至23中的一項或多項所述的方法。
一種電腦程式産品，其上儲存有電腦代碼，該代碼在由一處理器執行時使該處理器實現如請求項1至23中任一項所述的方法。