TW202023279A - 與擴展四叉樹相關的分割的二值化 - Google Patents

Abstract

一種視頻處理的方法，該方法涉及與擴展四叉樹相關的分割的二值化，包括：對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，確定對視頻區域的至少一個視頻塊啟用了擴展四叉樹（EQT）分割；以及基於該確定來執行轉換。EQT分割將視頻塊劃分成多個子塊，使得多個子塊中的至少一個子塊具有與視頻塊的一半寬度乘以視頻塊的一半高度不同的尺寸。視頻塊的編碼表示是使用來自包括碼字和分割類型之間的映射的表的碼字而表示的。

Description

與擴展四叉樹相關的分割的二值化

本發明是有關於一種視頻編碼和壓縮的領域。 [相關申請的交叉引用] 根據適用的專利法和/或依據巴黎公約的規則，本申請是為了及時要求2018年8月28日提交的國際專利申請No. PCT/CN2018/102727的優先權和權益。為了根據美國法律的所有目的，國際專利申請No. PCT/CN2018/102727的全部公開通過引用併入作為本申請的公開的一部分。

儘管視訊壓縮技術取得了進步，但數位視訊仍佔互聯網和其他數位通信網路上最大的頻寬使用。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計對數位視訊使用的頻寬需求將繼續增長。

公開了用於基於規則的視頻塊的擴展四叉樹分割和二叉樹分割的共存的技術。在一個有利方面，這些規則使得能夠在壓縮視頻位元流中有效地信令通知分割的視頻資料。

視頻處理的第一示例性方法，包括：對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，確定對視頻區域的至少一個視頻塊啟用了擴展四叉樹（Extended QuadTree，EQT）分割；以及基於該確定來執行轉換，其中EQT分割將視頻塊劃分成多個子塊，使得多個子塊中的至少一個子塊具有與視頻塊的一半寬度乘以視頻塊的一半高度不同的尺寸。

視頻處理的第二示例性方法，包括：對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，確定對視頻區域的至少一個視頻塊啟用了擴展四叉樹（EQT）分割；以及基於該確定來執行轉換，其中EQT分割將視頻塊劃分成多個子塊，使得多個子塊中的至少一個子塊具有與視頻塊的一半寬度乘以視頻塊的一半高度不同的尺寸，並且其中視頻塊的編碼表示是使用來自包括碼字和分割類型之間的映射的表的碼字而表示的。

視頻處理的第三示例性方法，包括：對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，確定對視頻區域的至少一個視頻塊啟用了擴展四叉樹（EQT）分割；以及基於該確定來執行轉換，其中EQT分割將視頻塊劃分成多個子塊，使得多個子塊中的至少一個子塊具有與視頻塊的一半寬度乘以視頻塊的一半高度不同的尺寸，其中視頻塊的編碼表示包括使用上下文自我調整二進位算術編碼（Context Adaptive Binary Arithmetic Coding，CABAC）技術而編碼的二進位位元串的一個或多個位元，並且其中二進位位元串指示分割的視頻塊的分割類型。

視頻處理的第四示例性方法，包括：對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，基於規則確定是否對視頻區域的至少一個視頻塊啟用了擴展四叉樹（EQT）分割和/或是否使用二叉樹（BT）分割來分割了視頻區域的視頻塊；以及基於該確定來執行轉換。

在另一示例方面，公開了一種可視媒體編碼器設備。編碼器實施上述方法。

在又一方面，公開了一種可視媒體解碼器裝置。解碼器實施上述方法。

在又一方面，所公開的技術以電腦可運行程式碼的形式體現並儲存在電腦可讀介質上。

在整個本文件中進一步描述了這些和其他方面

1. 概述

本專利文件涉及圖片/視頻編碼，尤其涉及分割結構，即如何在圖片/條帶邊緣處將一個編碼樹單元（Coding Tree Unit，CTU）劃分成多個編碼單元（Coding Unit，CU）。它可以應用於現有視頻編碼標準，如HEVC，或將完成的標準（多功能視頻編碼）。它也可以應用於未來的視頻編碼標準或視頻轉碼器。

2. 介紹

視頻編碼標準主要通過開發眾所周知的ITU-T和ISO/IEC標準而發展。ITU-T產生了H.261和H.263，ISO/IEC產生了MPEG-1和MPEG-4 Visual，兩個組織聯合產生了H.262/MPEG-2視頻和H.264/MPEG-4高級視頻編碼（Advanced Video Coding，AVC）和H.265/HEVC標準。自H.262開始，視頻編碼標準基於混合視頻編碼結構，其中利用時域預測加變換編碼。圖1中描繪了典型HEVC編碼器框架的示例。

2.1 H.264/AVC中的分割樹結構

先前標準中的編碼層的核心是巨集塊，其包含16×16亮度樣本塊，並且在4:2:0顏色採樣的通常情況下，包含兩個對應的8×8色度樣本塊。圖2示出了H.264/AVC中的MB分割的示例。

幀內編碼塊使用空域預測來利用像素之間的空域相關性。定義了兩個分割：16×16和4×4。

幀間編碼塊通過估計圖片之間的運動來使用時域預測而不是空域預測。可以針對16×16宏塊或其任何子宏塊分割16×8、8×16、8×8、8×4、4×8、4×4（參見圖5）獨立地估計運動。允許每子宏塊分割僅一個運動向量（Motion Vector，MV）。

2.2 HEVC中的分割樹結構

在HEVC中，通過使用表示為編碼樹的四叉樹結構來將CTU劃分成CU，以適應各種局部特性。是否使用圖片間（時域）或圖片內（空域）預測來編碼圖片區域的決定是在CU級別做出的。根據PU劃分類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並且基於PU將相關資訊發送到解碼器。在通過應用基於PU劃分類型的預測過程來獲得殘差塊之後，可以根據類似於CU的編碼樹的另一四叉樹結構將CU分割成變換單元（Transform Unit，TU）。HEVC結構的關鍵特徵之一是它具有多個分割概念，包括CU、PU和TU。

在下文中，使用HEVC的混合視頻編碼中涉及的各種特徵如下突出顯示。

1）編碼樹單元和編碼樹塊（Coding Tree Block，CTB）結構：HEVC中的類比結構是編碼樹單元（CTU），其具有由編碼器選擇的尺寸並且可以大於傳統宏塊。CTU由亮度CTB和對應的色度CTB和語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣本，更大的尺寸通常能夠實現更好的壓縮。然後，HEVC支援使用樹結構和類似四叉樹信令將CTB分割成更小的塊。

2）編碼單元（CU）和編碼塊（CB）：CTU的四叉樹語法指定其亮度和色度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。將CTU劃分成亮度和色度CB是聯合信令通知的。一個亮度CB和通常兩個色度CB以及相關聯的語法形成編碼單元（CU）。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有相關聯地分割的預測單元（PU）和變換單元（TU）的樹。

3）預測單元和預測塊（PB）：是否使用幀間或幀內預測來編碼圖片區域的決定是在CU級別做出的。PU分割結構具有處於CU級別的根。取決於基本預測類型決定，亮度和色度CB然後可以被進一步劃分，並從亮度和色度預測塊（PB）預測。HEVC支援從64×64下至4×4樣本的可變PB尺寸。

圖3描繪了在受到某些尺寸限制的情況下將CB劃分成PB的模式的示例。對於幀內預測的CB，僅支持M×M和M/2×M/2。

4）TU和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構具有處於CU級別的根。亮度CB殘差可以與亮度變換塊（TB）相同，或者可以被進一步劃分成更小的亮度TB。這同樣應用於色度TB。針對方形TB尺寸4×4、8×8、16×16和32×32定義了類似於離散余弦變換（Discrete Cosine Transform，DCT）的整數基函數的整數基函數。對於亮度幀內預測殘差的4×4變換，交替地指定從離散正弦變換（Discrete Sine Transform，DST）的形式導出的整數變換。

圖4示出了將CTB細分為CB和變換塊（TB）的示例。實線指示CB邊界，虛線指示TB邊界。左：CTB及其分割，右：對應的四叉樹。

2.3在JEM中的具有更大CTU的四叉樹加二叉樹塊結構

為探索超HEVC的未來視頻編碼技術，聯合視頻探索組（Joint Video Exploration Team，JVET）由VCEG和MPEG於2015年聯合創立。從那時起，JVET已經採用了許多新方法，並將其納入了名為聯合探索模型（Joint Exploration Model，JEM）的參考軟體中。

2.3.1 QTBT（四叉樹加二叉樹）塊分割結構

與HEVC不同，QTBT結構移除了多個分割類型的概念，即它移除了CU、PU和TU概念的分離，並且支持CU分割形狀的更大靈活性。在QTBT塊結構中，CU可以具有方形或矩形形狀。如圖5所示，編碼樹單元（CTU）首先由四叉樹結構分割。四叉樹葉節點進一步由二叉樹結構分割。在二叉樹劃分中有兩種劃分類型，對稱水平劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元（CU），並且該分段（segmentation）用於預測和變換處理而無需任何進一步的分割。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊（CB）組成，例如，在4:2:0色度格式的P條帶和B條帶的情況下，一個CU包含一個亮度CB和兩個色度CB，並且有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。

為QTBT分割方案定義了以下參數。

- CTU尺寸：四叉樹的根節點尺寸，與HEVC中相同的概念

- MinQTSize：最小允許的四叉樹葉節點尺寸

- MaxBTSize：最大允許的二叉樹根節點尺寸

- MaxBTDepth：最大允許的二叉樹深度

- MinBTSize：最小允許的二叉樹葉節點尺寸

在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize（對於寬度和高度兩者）被設置為4×4，並且MaxBTDepth被設置為4。四叉樹分割首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點可以具有從16×16（即，MinQTSize）到128×128（即，CTU尺寸）的尺寸。如果葉四叉樹節點是128×128，則由於尺寸超過MaxBTSize（即64×64），因此它不會被二叉樹進一步劃分。否則，葉四叉樹節點可以由二叉樹進一步分割。因此，四叉樹葉節點也是二叉樹的根節點，並且其二叉樹深度為0。當二叉樹深度達到MaxBTDepth（即，4）時，不考慮進一步的劃分。當二叉樹節點的寬度等於MinBTSize（即，4）時，不考慮進一步的水平劃分。類似地，當二叉樹節點的高度等於MinBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理來進一步處理二叉樹的葉節點，而無需任何進一步的分割。在JEM中，最大CTU尺寸為256×256亮度樣本。

圖5（左）示出了通過使用QTBT進行塊分割的示例，圖5（右）示出了對應的樹表示。實線指示四叉樹劃分，並且虛線指示二叉樹劃分。在二叉樹的每個劃分（即，非葉）節點中，信令通知一個標誌以指示使用哪種劃分類型（即，水平或垂直），其中0指示水平劃分，並且1指示垂直劃分。對於四叉樹劃分，不需要指示劃分類型，因為四叉樹劃分總是水平和垂直地劃分塊以產生具有相等尺寸的4個子塊。

此外，QTBT方案支援亮度和色度具有單獨的QTBT結構的能力。目前，對於P條帶和B條帶，一個CTU中的亮度和色度CTB共用相同的QTBT結構。然而，對於I條帶，亮度CTB通過QTBT結構分割成CU，並且色度CTB通過另一QTBT結構分割成色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P條帶或B條帶中的CU由所有三個顏色分量的編碼塊組成。

在HEVC中，限制小塊的幀間預測以減少運動補償的記憶體訪問，使得不針對4×8和8×4塊支持雙向預測，並且不針對4×4塊支援幀間預測。在JEM的QTBT中，這些限制被移除。

2.4 VVC的三叉樹

還支援除了四叉樹和二叉樹之外的樹類型。在實施方式中，引入了另外兩種三叉樹（Triple Tree，TT）分割，即水平和垂直中心側三叉樹，如圖6（d）和圖6（e）所示。

圖6（a）-6（e）描繪了以下內容。圖6（a）-四叉樹分割，圖6（b）垂直二叉樹分割，圖6（c）水平二叉樹分割，圖6（d）垂直中心側三叉樹分割，圖6（e）水平中心側三叉樹分割。

存在兩個級別的樹，區域樹（四叉樹）和預測樹（二叉樹或三叉樹）。首先通過區域樹（Region Tree，RT）對CTU進行分割。可以使用預測樹（Prediction Tree，PT）進一步劃分RT葉。還可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本編碼單元。為方便起見，它仍被稱為CU。CU不能被進一步劃分。預測和變換兩者都以與JEM相同的方式應用於CU。整個分割結構稱為「多類型樹」。

2.5 擴展四叉樹示例

1. 擴展四叉樹（EQT）分割結構，對應於包括用於視頻資料的塊的擴展四叉樹分割過程的塊分割過程，其中擴展四叉樹分割結構表示將視頻資料的塊分割成最終子塊，並且當擴展四叉樹分割過程決定將擴展四叉樹分割應用於一個給定塊時，所述一個給定塊總是被劃分成四個子塊；基於視頻位元流解碼最終子塊；以及基於根據導出的EQT結構解碼的最終子塊對視頻資料的塊進行解碼。

a. EQT分割過程可以遞迴地應用於給定塊以生成EQT葉節點。可替代地，當EQT應用於某個塊時，對於由於EQT產生的子塊中的每一個，它可以被進一步劃分成BT和/或QT和/或TT和/或EQT和/或其他種類的分割樹。

b. 在一個示例中，EQT和QT可以共用相同的深度增量過程和葉節點尺寸的相同限制。在這種情況下，當節點的尺寸達到最小允許的四叉樹葉節點尺寸或者節點的EQT深度達到最大允許的四叉樹深度時，可以隱式地終止對一個節點的分割。

c. 可替代地，EQT和QT可以共用不同的深度增量過程和/或葉節點尺寸的限制。當節點的尺寸達到最小允許的EQT葉節點尺寸或與節點相關聯的EQT深度達到最大允許的EQT深度時，可以隱式地終止通過EQT對一個節點的分割。此外，在一個示例中，可以在序列參數集（Sequence Parameter Set，SPS）、和/或圖片參數集（Picture Parameter Set，PPS）、和/或條帶標頭、和/或CTU、和/或區域、和/或片、和/或CU中信令通知EQT深度和/或最小允許的EQT葉節點尺寸。

d. 代替使用應用於方塊的當前四叉樹分割，對於具有M×N（M和N是非零正整數值，相等或不相等）尺寸的塊，在EQT中，可以將一個塊相等地劃分為四個分割，諸如M/4×N或M×N/4（在圖7A和圖7B中描繪了示例），或者相等地劃分為四個分割並且分割尺寸取決於M和N的最大值和最小值。在一個示例中，一個4×32塊可以被劃分成四個4×8子塊，而32×4塊可以被劃分成四個8×4子塊。

e. 代替使用應用於方塊的當前四叉樹分割，對於具有M×N（M和N是非零正整數值，相等或不相等）尺寸的塊，在EQT中，可以將一個塊不相等地劃分成四個分割，諸如兩個分割的尺寸等於(M*w0/w) × (N*h0/h)，並且另外兩個分割的尺寸等於(M*(w-w0)/w) × (N*(h-h0)/h)。

例如，w0和w可以分別等於1和2，即寬度減半，而高度可以使用其他比率而不是2:1來得到子塊。這種情況的示例在圖7C和圖7E中描繪。可替代地，h0和h可以分別等於1和2，即高度減半，而寬度可以使用其他比率而不是2:1。這種情況的示例在圖7D和圖7F中描繪。

圖7G和圖7H示出了四叉樹分割的兩個替代示例。

圖7I示出了具有不同形狀的分割的四叉樹分割的更一般情況。

圖7J和圖7K示出了圖7A和圖7B的一般示例。

總的來說，圖7A至圖7K示出了以下維度。（a）M×N/4（b）M/4×N，（c）子塊寬度固定為M/2，高度等於N/4或3N/4，對於頂部兩個分割更小（d）子塊高度固定為N/2，寬度等於M/4或3M/4，對於左側兩個分割更小（e）子塊寬度固定為M/2，高度等於3N/4或N/4，對於底部兩個分割更小（f）子塊高度固定為N/2，寬度等於3M/4或M/4，對於右側兩個分割更小（g）M×N/4和M/2×N/2；（h）N×M/4和N/2×M/2（i）M1×N1、(M-M1)×N1、M1×(N-N1)和(M-M1)×(N-N1)（j）M×N1、M×N2、M×N3和M×N4，其中和N1+N2+N3+N4=N（k）M1×N、M2×N、M3×N和M4×N，其中M1+M2+M3+M4=M。

2. 靈活樹（Flexible Tree，FT）分割結構，對應於包括用於視頻資料的塊的FT分割過程的塊分割過程，其中FT分割結構表示將視頻資料的塊分割成最終子塊，並且當FT分割過程決定將FT分割應用於一個給定塊時，所述一個給定塊被劃分成K個子塊，其中K可以大於4；基於視頻位元流解碼最終子塊；以及基於根據導出的FT結構解碼的最終子塊對視頻資料的塊進行解碼。

a. 可以遞迴地將FT分割過程應用於給定塊以生成FT樹葉節點。當節點達到最小允許的FT葉節點尺寸或與節點相關聯的FT深度達到最大允許的FT深度時，隱式地終止對一個節點的分割。

b. 可替代地，當FT應用於某個塊時，對於由於FT產生的子塊中的每一個，它可以被進一步劃分成BT、和/或QT、和/或EQT、和/或TT、和/或其他種類的分割樹。

c. 可替代地，此外，可以在序列參數集（SPS）、和/或圖片參數集（PPS）、和/或條帶標頭、和/或CTU、和/或區域、和/或片、和/或CU中信令通知FT深度或最小允許的FT葉節點尺寸或FT的最小允許的分割尺寸。

d. 與EQT類似，由於FT分割產生的所有子塊可以具有相同的尺寸；可替代地，不同子塊的尺寸可以不同。

e. 在一個示例中，K等於6或8。圖8A至圖8D中描繪了一些示例，其示出了FT分割的示例：（a0 K=8，M/4*N/2（b）K=8，M/2*N/4（c）K=6，M/2*N/2和M/4*N/2，（d）K=6，M/2*N/2和M/2*N/4

3. 對於TT，可以移除沿水平或垂直方向的劃分限制。

a. 在一個示例中，泛化TT（Generalized TT，GTT）分割模式可以被定義為水平和垂直兩者的劃分。示例在圖9A和圖9B中示出。

4. 所提出的方法可以在某些條件下應用。換句話說，當不滿足（多個）條件時，不需要信令通知分割類型。

f. 可替代地，可以使用所提出的方法來替換現有的分割樹類型。可替代地，此外，所提出的方法可以僅在某些條件下用作替換。

g. 在一個示例中，條件可以包括圖片和/或條帶類型；和/或塊尺寸；和/或編碼模式；和/或一個塊是否位於圖片/條帶/片邊界處。

h. 在一個示例中，可以以與QT相同的方式對待所提出的EQT。在這種情況下，當指示分割樹類型是QT時，可以進一步信令通知詳細的四叉樹分割模式的更多標誌/指示。可替代地，可以將EQT視為附加分割模式。

i. 在一個示例中，信令通知EQT或FT或GTT的分割方法可以是有條件的，即，在一些情況下可以不使用一個或一些EQP/FT/GTT分割方法，並且不用信令通知對應於信令通知這些分割方法的位元。

2.6 JVET-K0287中的邊緣處理

在JVET-K0287中，提出了一種邊界處理方法用於多功能視頻編碼（VVC）。AVS-3.0也採用了類似的方法。

由於VVC中的強制四叉樹邊界分割解決方案未經優化。JVET-K0287提出了使用常規塊分割語法來保持上下文自我調整二進位算術編碼（CABAC）引擎的連續性以及匹配圖片邊界的邊界分割方法。

通用邊界分割獲得以下規則（編碼器和解碼器兩者）：

• 對於邊界定位塊（boundary located block）使用正常塊（非邊界）的完全相同的分割語法（例如，如圖10的VTM-1.0），語法需要保持不變。

• 如果對於邊界CU解析了無劃分模式，則使用強制邊界分割（Forced Boundary Partition，FBP）來匹配圖片邊界。

• 在強制邊界分割（非單個邊界分割）之後，沒有進一步的分割。

圖10示出了用於通用邊界分割的未改變的語法和改變的語義的示例。強制邊界分割描述如下：

• 如果塊的尺寸大於最大允許的BT尺寸，則在當前強制分割級別中使用強制QT來執行FBP；

• 否則，如果當前CU的右下方樣本位於底部圖片邊界下方而未擴展右邊界，則在當前強制分割級別中使用強制水平BT來執行FBP；

• 否則，如果當前CU的右下方樣本位於右圖片邊界的右側，而不是底部邊界下方，則在當前強制分割級別中使用強制垂直BT來執行FBP；

• 否則，如果當前CU的右下方樣本位於右圖片邊界的右側和底部邊界下方，則在當前強制分割級別中使用強制QT來執行FBP。

3 當前技術的局限性

1. EQT和QT/BT/TT的分割之間可能存在一些冗餘。例如，對於M×N的塊，可以將其劃分成垂直BT三次（首先劃分成兩個M/2*N分割，然後對於每個M/2*N分割，進一步應用垂直BT劃分）以得到四個M/4*N分割。此外，為了得到四個M/4×N分割，該塊可以選擇直接使用如圖7B的EQT。

2. 如何在位元流中有效地信令通知EQT仍然是一個未解決的問題。

4 示例實施例

為了解決該問題以及視頻編碼技術中的其他可能的改進，提出了若干實施例來處理EQT的情況。這些實施例的益處有時會被明確地描述，但是也將由本領域技術人員理解。

下面的列表應該被視為解釋一般概念的示例。不應以狹義的方式解釋這些實施例。此外，這些實施例可以以任何方式組合。

示例1. 在一個實施例中，當啟用EQT時，在某些條件下不允許某些BT分割。在這種情況下，可以用來自示例2和/或示例3的方法來信令通知對不允許BT分割的指示。

a. 當啟用如M*N/4的EQT（如圖7A所描繪）時，在如圖11A所示的一個示例中，如果下側部分以水平BT從父塊（parent block）劃分並且上側部分也以水平BT而劃分，則在該塊中不允許水平BT。

b. 當啟用如M/4*N的EQT（如圖7B所描繪）時，在如圖11B所示的一個示例中，如果右側部分以垂直BT從父塊劃分並且左側部分也以垂直BT而劃分，則在該塊中不允許垂直BT。

c. 當啟用如M*N/4的EQT（如圖7A所描繪）時，在如圖11C所示的一個示例中，如果中心部分以水平TT從父塊劃分，則在該塊中不允許水平BT。

d. 當啟用如M/4*N的EQT（如圖7B所描繪）時，在如圖11D所示的一個示例中，如果中心部分以垂直TT從父塊劃分，則在該塊中不允許垂直BT。

e. 當啟用如圖7G的最左側中的EQT時，在如圖11E所示的一個示例中，在以水平TT從父塊劃分的中心部分的塊中不允許垂直BT。

f. 當啟用如圖7H的最左側中的EQT時，在如圖11F所示的一個示例中，如果中心部分以垂直TT從父塊劃分，則在該塊中不允許水平BT。

示例2. 在一些實施例中，用於分割的語法元素在不允許某些分割的條件下以及在允許它們的條件下以相同方式二進位化。語法信令通知方法不是專門設計以避免不允許的分割。規範的編碼器必須避免選擇不允許的分割。包括不允許的分割的位元流被視為不規範的位元流。

a. 在一個示例中，不能在規範的位元流中信令通知不允許的分割。信令通知了不允許的分割，由解碼器將位元流確定為不規範。

示例3. 在一些實施例中，不能從編碼器向解碼器信令通知不允許分割，即，沒有用以表示不允許的分割的碼字。

a. 在如圖11A所示的一個示例中，如果下側部分以水平BT從父塊劃分並且上側部分也以水平BT而劃分，則沒有用以表示塊的水平BT的碼字。

b. 在如圖11B所示的一個示例中，如果右側部分以垂直BT從父塊劃分並且左側部分也以垂直BT而劃分，則沒有用以表示塊的垂直BT的碼字。

c. 在如圖11C所示的一個示例中，如果中心部分以水平TT從父塊劃分，則沒有用以表示塊的水平BT的碼字。

d. 在如圖11D所示的一個示例中，如果中心部分以垂直TT從父塊劃分，則沒有用以表示塊的垂直BT的碼字。

e. 在如圖11E所示的一個示例中，如果中心部分以水平TT從父塊劃分，則沒有用以表示塊的垂直BT的碼字。

f. 在如圖11F所示的一個示例中，如果中心部分以垂直TT從父塊劃分，則沒有用以表示塊的水平BT的碼字。

示例4. 在一個示例中，分割的二值化在圖12中示出。碼字的表示如下：

表1

應該注意，所有表中交換所有「0」和「1」是等價的。

a. 在一個示例中，信令通知標誌以指示應用BT還是EQT，隨後是指示應用水平分割還是垂直分割的標誌。

b. 可替代地，信令通知標誌以指示應用水平分割還是垂直分割，隨後是指示應用BT還是EQT的標誌。碼字的表示的示例如下：

表2

示例5. 如果沒有用以表示水平BT的碼字，如示例3.a所聲明的。碼字的表示的示例如下：

表3

碼字的表示的替代示例如下：

表4

示例6. 如果沒有用以表示垂直BT的碼字，如示例3.b所聲明的。碼字的表示的示例如下：

表6

碼字的表示的替代示例如下：

表7

示例7. 在一個示例中，四種類型的EQT（如圖7A所示的相等水平EQT，如圖7B所示的相等垂直EQT，如圖7G所示的非相等水平EQT和如圖7H所示的非相等垂直EQT）可以由編碼器選擇並被信令通知給解碼器。

a. 在一個示例中，信令通知標誌以指示應用BT還是EQT。如果選擇EQT，則信令通知隨後的標誌以指示選擇相等EQT還是非相等EQT。在那些一個或兩個標誌之後，信令通知指示水平分割還是垂直分割的標誌。示例性碼字表如下。

表8

a. 可替代地，信令通知標誌以指示應用水平分割還是垂直分割，隨後是指示應用BT還是EQT的標誌。如果選擇EQT，則信令通知隨後的標誌以指示選擇相等EQT還是非相等EQT。示例性碼字表如下。

表9

b. 如果沒有用以表示水平BT的碼字，如示例3.a所聲明的。碼字的表示的示例如下：

表10

碼字的表示的另一個示例如下：

表11

c. 如果沒有用以表示垂直BT的碼字，如示例3.b所聲明的。碼字的表示的示例如下：

表12

碼字的表示的替代示例如下：

表13

示例8. 用於對分割類型的指示的二進位位元串的每個二進位位元（位元）可以用一個或多個上下文進行CABAC編碼。

a. 在一個示例中，無進一步劃分（不劃分）模式被視為分割類型之一。

b. 可替代地，可以用上下文對二進位位元串的僅部分二進位位元進行編碼，並且可以用旁路模式（即，不利用上下文）對剩餘二進位位元進行編碼。

c. 對於用上下文編碼的二進位位元，可以使用一個或多個上下文。

d. 上下文可以取決於：

（a）二進位位元的位置或索引。

（b）空域/時域相鄰塊的分割。

（c）當前塊的當前分割深度（例如，QT深度/BT深度）。

（d）空域/時域相鄰塊和/或空域/時域非鄰近塊的分割深度（例如，QT深度/BT深度）。

（e）空域/時域相鄰塊的編碼模式。

（f）條帶類型/圖片類型。

（g）顏色分量。

（h）根據先前編碼的塊的、分割類型的統計結果。

示例9. 是否以及如何不允許冗餘分割可以取決於顏色分量，諸如Y/Cb/Cr。

示例10. 可以在VPT/SPS/PPS/條帶標頭/CTU/CU/CTU組/CU組中從編碼器向解碼器信令通知是否以及如何不允許冗餘分割。

示例11. 在一些實施例中，在BT劃分之後不允許EQT。如果當前塊的一個或多個父塊以BT而劃分，則對於當前塊不允許EQT。圖15A和圖15B示出了塊從父塊劃分的兩個示例，其中圖15A以一個深度的BT而劃分，並且圖15B以兩個深度的BT而劃分。

a. 分割的信令通知取決於塊是否以一個或多個深度的BT而從父塊劃分。在一個示例中，如果塊以一個或多個深度的BT而從父塊劃分，則沒有用以表示EQT的碼字。

b. 可替代地，在BT劃分之後允許EQT。

示例12. 在一些實施例中，在TT劃分之後不允許EQT。如果當前塊的一個或多個父塊以TT而劃分，則對於當前塊不允許EQT。

a. 可替代地，在TT劃分之後允許EQT。

示例13. 在一些實施例中，在QT劃分之後不允許EQT。如果當前塊的一個或多個父塊以QT而劃分，則對於當前塊不允許EQT。

a. 可替代地，QT劃分之後允許EQT。

示例14. 在一些實施例中，在EQT劃分之後不允許QT。如果當前塊的一個或多個父塊以EQT而劃分，則對於當前塊不允許QT。

a. 可替代地，在EQT劃分之後允許QT。

示例15. 在一些實施例中，在EQT劃分之後不允許TT。如果當前塊的一個或多個父塊以EQT而劃分，則對於當前塊不允許TT。

a. 可替代地，在EQT劃分之後允許TT。

示例16. 在一些實施例中，在EQT劃分之後不允許BT。如果當前塊的一個或多個父塊以EQT而劃分，則對於當前塊不允許BT。

a. 可替代地，在EQT劃分之後允許BT。

示例17. 在一些實施例中，在EQT劃分之後不允許EQT。如果當前塊的一個或多個父塊以EQT而劃分，則對於當前塊不允許EQT。

a. 可替代地，在EQT劃分之後允許EQT。

示例18. 在一些實施例中，如果當前塊的形狀或尺寸滿足一些條件，則不允許EQT。（假設當前塊的寬度和高度為W和H，T1、T2和T為一些整數）

a. 如果W>=T1且H>=T2，則不允許EQT；

b. 如果W>=T1或H>=T2，則不允許EQT；

c. 如果W>=T1且H>=T2，則不允許EQT；

d. 如果W>=T1或H>=T2，則不允許EQT；

e. 如果W×H>=T，則不允許EQT；

f. 如果W×H>=T，則不允許EQT；

g. 如果H>=T，則不允許水平EQT；

h. 如果H>=T，則不允許水平EQT；

i. 如果W>=T，則不允許垂直EQT；

j. 如果W>=T，則不允許垂直EQT；

示例19. 在一些實施例中，如果當前塊的形狀或尺寸滿足一些條件，則允許EQT。（假設當前塊的寬度和高度為W和H，T1、T2和T為一些整數）

a. 如果W>=T1且H>=T2，則允許EQT；

b. 如果W>=T1或H>=T2，則允許EQT；

c. 如果W>=T1且H>=T2，則允許EQT；

d. 如果W>=T1或H>=T2，則允許EQT；

e. 如果W×H>=T，則允許EQT；

f. 如果W×H>=T，則允許EQT；

g. 如果H>=T，則允許水平EQT；

h. 如果H>=T，則允許水平EQT；

i. 如果W>=T，則允許垂直EQT；

j. 如果W>=T，則允許垂直EQT；

示例20. 在一些實施例中，如果當前塊的深度滿足一些條件，則不允許EQT。

a. 如果劃分深度>=T，則不允許EQT；

b. 如果劃分深度>=T，則不允許EQT；

c. 如果QT劃分深度>=T，則不允許EQT；

d. 如果QT劃分深度>=T，則不允許EQT；

e. 如果BT劃分深度>=T，則不允許EQT；

f. 如果BT劃分深度>=T，則不允許EQT；

g. 如果TT劃分深度>=T，則不允許EQT；

h. 如果TT劃分深度>=T，則不允許EQT；

i. 如果EQT劃分深度>=T，則不允許EQT；

j. 如果EQT劃分深度>=T，則不允許EQT；

示例21. 在一些實施例中，如果當前塊的深度滿足一些條件，則允許EQT。

a. 如果劃分深度>=T，則允許EQT；

b. 如果劃分深度>=T，則允許EQT；

c. 如果QT劃分深度>=T，則允許EQT；

d. 如果QT劃分深度>=T，則允許EQT；

e. 如果BT劃分深度>=T，則允許EQT；

f. 如果BT劃分深度>=T，則允許EQT；

g. 如果TT劃分深度>=T，則允許EQT；

h. 如果TT劃分深度>=T，則允許EQT；

i. 如果EQT劃分深度>=T，則允許EQT；

如果EQT劃分深度>=T，則允許EQT；

圖13示出了可用於實施目前所公開的技術的各個部分的硬體設備1300的示例實施例的方塊圖。硬體設備1300可以是膝上型電腦、智慧型電話、平板電腦、可擕式攝像機或能夠處理視頻或其他類型的可視媒體（例如，圖像）的其他類型的設備。設備1300包括處理資料的處理器或控制器1302，以及與處理器1302通信的、儲存和/或緩衝資料的記憶體1304。例如，處理器1302可以包括中央處理單元（Central Processing Unit，CPU）或微控制器單元（Microcontroller Unit，MCU）。在一些實施方式中，處理器1302可以包括現場可程式設計閘陣列（Field-Programmable Gate-Array，FPGA）。在一些實施方式中，設備1300包括用於智慧型電話設備的各種可視和/或通信資料處理功能的圖形處理單元（Graphics Processing Unit，GPU）、視頻處理單元（Video Processing Unit，VPU）和/或無線通訊單元，或與其通信。例如，記憶體1304可以包括並儲存處理器可運行代碼，其在由處理器1302運行時配置設備1300以執行各種操作，例如，諸如接收資訊、命令和/或資料，處理資訊和資料，以及將處理後的資訊/資料發送或提供給另一設備，諸如執行器或外部顯示器。為了支援設備1300的各種功能，記憶體1304可以儲存資訊和資料，諸如指令、軟體、值、圖像以及由處理器1302處理或引用的其他資料。例如，各種類型的隨機存取記憶體（Random Access Memory，RAM）設備、唯讀記憶體（Read Only Memory，ROM）設備、快閃記憶體設備和其他合適的儲存介質可以用來實施記憶體1304的儲存功能。設備1300可以進一步包括用於執行諸如變換和解碼的重複計算功能的專用視頻處理電路1306。在一些實施例中，視頻處理電路1306可以在處理器1302內部實施。在一些實施例中，視頻處理電路1306可以是圖形處理器單元（GPU）。

圖14A是處理視頻資料的示例方法1400的流程圖。視頻資料可以是例如數位視訊或數位圖像。方法1400包括：對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，確定（步驟1402）對視頻區域的至少一個視頻塊啟用了擴展四叉樹（EQT）分割。方法1400還包括基於該確定來執行（步驟1404）轉換，其中EQT分割將視頻塊劃分成多個子塊，使得多個子塊中的至少一個子塊具有與視頻塊的一半寬度乘以視頻塊的一半高度不同的尺寸。

在一些實施例中，對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換的該確定包括基於規則確定不允許視頻塊的二叉樹（BT）分割。在一些實施例中，該規則指定：對於M×N視頻塊，其中M和N是整數，並且對於M×N/4結構的EQT分割，如果視頻塊的下側部分是以水平BT從父塊劃分的並且視頻塊的上側部分也以水平BT而劃分，則在視頻塊的下側部分中不允許水平BT。

在一些實施例中，該規則指定：對於M×N視頻塊，其中M和N是整數，並且對於M/4×N結構的EQT分割，如果視頻塊的右側部分是以垂直BT從父塊劃分的並且視頻塊的左側部分也以垂直BT而劃分，則在視頻塊的右側部分中不允許垂直BT。

在一些實施例中，該規則指定：對於M×N視頻塊，其中M和N是整數，並且對於M×N/4結構的EQT分割，如果視頻塊包括用水平三叉樹（TT）分割從父塊劃分的中心部分，則在視頻塊的中心部分中不允許水平BT。

在一些實施例中，該規則指定：對於M×N視頻塊，其中M和N是整數，並且對於M/4×N結構的EQT分割，如果視頻塊包括用垂直三叉樹（TT）分割從父塊劃分的中心部分，則在視頻塊的中心部分中不允許垂直BT。

在一些實施例中，該規則指定：對於M×N視頻塊，其中M和N是整數，如果視頻塊包括用水平三叉樹（TT）分割從父塊劃分的中心部分，則在視頻塊的中心部分中不允許垂直BT。

在一些實施例中，該規則指定：對於M×N視頻塊，其中M和N是整數，如果視頻塊包括用垂直三叉樹（TT）分割從父塊劃分的中心部分，則在視頻塊的中心部分中不允許水平BT。

在一些實施例中，視頻塊的編碼表示的語法元素是使用二值化過程而生成的，其中該二值化過程與用於未應用該規則的另一視頻塊的另一編碼表示的語法元素的二值化過程相同。

在一些實施例中，位元流包括視頻塊的編碼表示，並且包括基於該規則而不允許的視頻塊的BT分割過程的碼字，其中，位元流中不包括對基於該規則而不允許的視頻塊的BT分割的指示。

在一些實施例中，位元流包括視頻塊的編碼表示，並且不包括基於該規則而不允許的視頻塊的BT分割過程的碼字。

在一些實施例中，如果視頻塊的下側部分是以水平BT從父塊劃分的並且視頻塊的上側部分也以水平BT而劃分，則位元流不包括塊的下側部分的水平BT的碼字。

在一些實施例中，如果視頻塊的右側部分是以垂直BT從父塊劃分的並且視頻塊的左側部分也以垂直BT而劃分，則位元流不包括塊的右側部分的垂直BT的碼字。

在一些實施例中，如果視頻塊包括用水平三叉樹（TT）分割從父塊劃分的中心部分，則位元流不包括塊的中心部分的水平BT的碼字。

在一些實施例中，如果視頻塊包括用垂直三叉樹（TT）分割從父塊劃分的中心部分，則位元流不包括塊的中心部分的垂直BT的碼字。

在一些實施例中，如果視頻塊包括用水平三叉樹（TT）分割從父塊劃分的中心部分，則位元流不包括塊的中心部分的垂直BT的碼字。

在一些實施例中，如果視頻塊包括用垂直三叉樹（TT）分割從父塊劃分的中心部分，則位元流不包括塊的中心部分的水平BT的碼字。在一些實施例中，視頻區域包括一個或多個視頻塊。

在一些實施例中，對於圖14A中示出的方法，視頻塊的編碼表示是使用來自包括碼字和分割類型之間的映射的表的碼字而表示的。

在一些實施例中，表如下所示：

在一些實施例中，第一標誌和第二標誌被包括在視頻塊的編碼表示中，第一標誌指示EQT分割或BT分割被應用於視頻塊，第二標誌指示水平分割或垂直分割被應用於視頻塊，並且在視頻塊的編碼表示中第一標誌在第二標誌之前。

在一些實施例中，表如下所示：

在一些實施例中，第一標誌和第二標誌被包括在視頻塊的編碼表示中，第一標誌指示水平分割或垂直分割被應用於視頻塊，第二標誌指示EQT分割或BT分割被應用於視頻塊，並且在視頻塊的編碼表示中第一標誌在第二標誌之前。

在一些實施例中，表如下所示：

在一些實施例中，表如下所示：

在一些實施例中，表如下所示：

在一些實施例中，表如下所示：

在一些實施例中，表如下所示：

在一些實施例中，第一標誌、第二標誌和第三標誌被包括在視頻塊的編碼表示中，第一標誌指示EQT分割或BT分割被應用於視頻塊，回應於EQT分割被應用，第二標誌指示相等EQT分割或非相等分割被應用於視頻塊，第三標誌指示水平分割或垂直分割被應用於視頻塊，並且在視頻塊的編碼表示中，第一標誌在第二標誌之前並且第二標誌在第三標誌之前。

在一些實施例中，表如下所示：

在一些實施例中，第一標誌、第二標誌和第三標誌被包括在視頻塊的編碼表示中，第一標誌指示水平分割或垂直分割被應用於視頻塊，第二標誌指示EQT分割或BT分割被應用於視頻塊，回應於EQT分割被應用，第三標誌指示相等EQT分割或非相等分割被應用於視頻塊，並且在視頻塊的編碼表示中，第一標誌在第二標誌之前並且第二標誌在第三標誌之前。

在一些實施例中，表如下所示：

在一些實施例中，表如下所示：

在一些實施例中，表如下所示：

在一些實施例中，表如下所示：

在一些實施例中，視頻區域包括一個或多個視頻塊。在一些實施例中，執行轉換包括生成視頻塊的編碼表示。在一些實施例中，執行轉換包括生成視頻塊。

在一些實施例中，對於圖14A中示出的方法，視頻塊的編碼表示包括使用上下文自我調整二進位算術編碼（CABAC）技術而編碼的二進位位元串的一個或多個位元，並且二進位位元串指示分割的視頻塊的分割類型。

在一些實施例中，CABAC技術對二進位位元串進行編碼以指示無劃分模式作為被分割的視頻塊的一種分割類型。

在一些實施例中，一個或多個位元包括第一位元集合和第二位元集合，其中第一位元集合是用CABAC技術而編碼的，第二位元集合是用旁路模式而沒有利用上下文而編碼的，並且第一位元集合與第二位元集合不同。

在一些實施例中，一個或多個位元是用利用一個或多個上下文的CABAC技術而編碼的。在一些實施例中，用於編碼的一個或多個上下文取決於以下中的至少一個：（a）位元的位置或索引，（2）空域或時域相鄰視頻塊的分割，（3）視頻塊的當前分割，（4）空域或時域相鄰視頻塊的分割深度或者空域或時域非鄰近視頻塊的分割深度，（5）空域或時域相鄰視頻塊的編碼模式，（6）視頻塊的條帶類型或圖片類型，（7）視頻塊的顏色分量，或者（8）根據先前編碼的視頻塊的、分割類型的統計結果。在一些實施例中，視頻區域包括一個或多個視頻塊。在一些實施例中，執行轉換包括生成視頻塊的編碼表示。在一些實施例中，執行轉換包括生成視頻塊。

圖14B是處理視頻資料的示例方法1420的流程圖。視頻資料可以是例如數位視訊或數位圖像。方法1420包括：對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，基於規則確定（操作1422）是否對視頻區域的至少一個視頻塊啟用了擴展四叉樹（EQT）分割和/或是否使用二叉樹（BT）分割來分割了視頻區域的視頻塊。方法1420還包括基於該確定來執行（操作1424）轉換。

在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過BT分割而劃分之後，對於視頻塊不允許EQT分割。在一些實施例中，響應於視頻塊是以一個或多個深度使用BT分割而從一個或多個父視頻塊劃分的，視頻塊的編碼表示不包括EQT分割的碼字。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過BT分割而劃分之後，對於視頻塊允許EQT分割。

在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過三叉樹（TT）劃分而劃分之後，對於視頻塊不允許EQT分割。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過三叉樹（TT）劃分而劃分之後，對於視頻塊允許EQT分割。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過四叉樹（QT）劃分而劃分之後，對於視頻塊不允許EQT分割。

在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過四叉樹（QT）劃分而劃分之後，對於視頻塊允許EQT分割。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊不允許四叉樹（QT）劃分。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊允許四叉樹（QT）劃分。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊不允許三叉樹（TT）劃分。

在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊允許三叉樹（TT）劃分。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊不允許BT分割。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊允許BT分割。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊不允許EQT分割。在一些實施例中，該規則指定在視頻塊的一個或多個父視頻塊通過EQT分割而劃分之後，對於視頻塊允許EQT分割。

在一些實施例中，該規則基於視頻塊是亮度塊或色度塊。在一些實施例中，該規則是在視頻參數集（Video Parameter Set，VPS）、序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、編碼樹單元（CTU）、編碼單元（CU）、CTU組或CU組中信令通知的。

在一些實施例中，該規則指定如果視頻塊的維度滿足以下條件之一，則不允許EQT分割：（a）如果W>=T1且H>=T2，則不允許EQT；（b）如果W>=T1或H>=T2，則不允許EQT；（c）如果W>=T1且H>=T2，則不允許EQT；（d）如果W>=T1或H>=T2，則不允許EQT；（e）如果W×H>=T，則不允許EQT；（f）如果W×H>=T，則不允許EQT；（g）如果H>=T，則不允許水平EQT；（h）如果H>=T，則不允許水平EQT；（i）如果W>=T，則不允許垂直EQT；以及（j）如果W>=T，則不允許垂直EQT，其中視頻塊以像素為單位的寬度和高度分別為W和H，並且其中T1、T2和T是整數。

在一些實施例中，該規則指定如果視頻塊的形狀或尺寸滿足以下條件之一，則允許EQT分割：（a）如果W>=T1且H>=T2，則允許EQT；（b）如果W>=T1或H>=T2，則允許EQT；（c）如果W>=T1且H>=T2，則允許EQT；（d）如果W>=T1或H>=T2，則允許EQT；（e）如果W×H>=T，則允許EQT；（f）如果W×H>=T，則允許EQT；（g）如果H>=T，則允許水平EQT；（h）如果H>=T，則允許水平EQT；（i）如果W>=T，則允許垂直EQT；以及（j）如果W>=T，則允許垂直EQT，其中視頻塊以像素為單位的寬度和高度分別為W和H，並且其中T1、T2和T是整數。

在一些實施例中，該規則指定如果視頻塊的深度滿足以下條件之一，則不允許EQT分割：（a）如果劃分深度>=T，則不允許EQT；（b）如果劃分深度>=T，則不允許EQT；（c）如果QT劃分深度>=T，則不允許EQT；（d）如果QT劃分深度>=T，則不允許EQT；（e）如果BT劃分深度>=T，則不允許EQT；（f）如果BT劃分深度>=T，則不允許EQT；（g）如果TT劃分深度>=T，則不允許EQT；（h）如果TT劃分深度>=T，則不允許EQT；（i）如果EQT劃分深度>=T，則不允許EQT；以及（j）如果EQT劃分深度>=T，則不允許EQT，其中T是整數。

在一些實施例中，該規則指定如果視頻塊的深度滿足以下條件之一，則允許EQT分割：（a）如果劃分深度>=T，則允許EQT；（b）如果劃分深度>=T，則允許EQT；（c）如果QT劃分深度>=T，則允許EQT；（d）如果QT劃分深度>=T，則允許EQT；（e）如果BT劃分深度>=T，則允許EQT；（f）如果BT劃分深度>=T，則允許EQT；（g）如果TT劃分深度>=T，則允許EQT；（h）如果TT劃分深度>=T，則允許EQT；（i）如果EQT劃分深度>=T，則允許EQT；以及（j）如果EQT劃分深度>=T，則允許EQT，其中T是整數。

在一些實施例中，視頻區域包括一個或多個視頻塊。在一些實施例中，對視頻區域中的一個視頻塊或視頻區域中的多個視頻塊啟用EQT分割。在一些實施例中，EQT分割將視頻塊劃分成多個子塊，使得多個子塊中的至少一個子塊具有與視頻塊的一半寬度乘以視頻塊的一半高度不同的尺寸。在一些實施例中，EQT分割將視頻塊劃分成具有與視頻塊的高度相同的高度的四個子塊。在一些實施例中，EQT分割將視頻塊劃分成具有與視頻塊的寬度相同的寬度的四個子塊。在一些實施例中，執行轉換包括生成視頻塊的編碼表示。在一些實施例中，執行轉換包括生成視頻塊。

在一些實施例中，確定操作1402、1422可以包括經由網路連接或位元流的本機存放區副本接收位元流，其中位元流包括視頻塊的編碼表示。在一些實施例中，例如，在編碼期間，可以以先前編碼的位元的形式接收位元流，並且可以從編碼器的本機存放區器重構位元流。

在一些實施例中，例如，在可視媒體解碼器裝置中，該執行1404、1424可以包括生成未壓縮的可視資料（例如，視頻或圖像）並將其儲存在顯示記憶體中或顯示到使用者介面。

在一些實施例中，例如，在可視媒體編碼器裝置中，執行轉換1404、1424可以包括生成可視媒體的壓縮位元流表示並儲存壓縮位元流，以用於將來使用或通過通信連接將壓縮位元流傳遞到記憶體或另一設備。

在一些實施例中，一種可視媒體解碼器裝置，包括：處理器，被配置為實施（多個）上述方法1400、1420及其附加特徵。在一些實施例中，一種可視媒體編碼器裝置，包括：處理器，被配置為實施（多個）上述方法1400、1420及其附加特徵。

在一些實施例中，電腦可讀程式介質可以具有儲存在其上的代碼。該代碼包括指令，該指令在由處理器運行時使得處理器實施貫穿本文件描述的（多個）方法1400、1420及其附加特徵。

從前述內容可以理解，本文已經出於說明的目的描述了目前所公開的技術的特定實施例，但是在不脫離本發明的範圍的情況下可以進行各種修改。因此，除了所附申請專利範圍之外，目前所公開的技術不受限制。

關於本文描述的方法，可以在表示編碼視頻的位元流的欄位中指示最小允許的葉節點尺寸或最大允許的四叉樹深度。可以基於給定塊被編碼的條件選擇性地執行給定塊的分割過程。該條件可以與用於編碼給定塊的編碼模式或與給定塊相關聯的尺寸參數相關。

使用所公開的技術，在一些實施例中，連續地分割視頻塊的方法可以包括使用包括BT、TT、QT或EQT的多種分割可能之一來分割塊。本文描述的各種規則可以用於控制在塊的分割的哪個深度處使用哪種分割可能。此外，避免了分割的重複最終結果，從而允許基於更少數量的位元來信令通知最終分割。

圖16是可以在其中實施所公開的技術的示例視頻處理系統的方塊圖。圖16是示出可以在其中實施本文公開的各種技術的示例視頻處理系統1600的方塊圖。各種實施方式可以包括系統1600的一些或所有元件。系統1600可以包括用於接收視頻內容的輸入1602。視頻內容可以以例如8或10位元多分量像素值的原始或未壓縮的格式而接收，或者可以是壓縮或編碼格式。輸入1602可以表示網路介面、週邊匯流排界面或儲存介面。網路介面的示例包括諸如乙太網、無源光纖網路（Passive Optical Network，PON）等的有線介面和諸如Wi-Fi或蜂窩介面的無線介面。

系統1600可以包括可以實施本文件中描述的各種編碼方法的編碼元件1604。編碼元件1604可以將視頻的平均位元速率從輸入1602減小到編碼元件1604的輸出，以產生視頻的編碼表示。因此，編碼技術有時被稱為視訊壓縮或視頻轉碼技術。編碼元件1604的輸出可以被儲存，或者經由如元件1606所表示的連接的通信而發送。在輸入1602處接收的視頻的儲存或通信傳送的位元流（或編碼）表示可以由元件1608用於生成傳送到顯示介面1610的像素值或可顯示視頻。從位元流表示生成使用者可視視頻的過程有時被稱為視頻解壓縮。此外，雖然某些視頻處理操作被稱為「編碼」操作或工具，但是應該理解，編碼工具或操作在編碼器處使用，並且反轉編碼結果的對應的解碼工具或操作將由解碼器執行。

週邊匯流排界面或顯示器介面的示例可以包括通用序列匯流排（Universal Serial Bus，USB）或高清晰度多媒體介面（High Definition Multimedia Interface，HDMI）或Displayport等。儲存介面的示例包括SATA（Serial Advanced Technology Attachment，串列高級技術附件）、PCI、IDE介面等。本文件中描述的技術可以體現在各種電子設備中，諸如行動電話、膝上型電腦、智慧型電話或能夠執行數位資料處理和/或視頻顯示的其他設備。

本文件中描述的所公開的和其他實施例、模組和功能操作可以在數位電子電路中實施，或者在電腦軟體、韌體或硬體（包括本文件中公開的結構及其結構等同物）中實施，或者在它們中的一個或多個的組合中實施。所公開的和其他實施例可以實施為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的電腦程式指令的一個或多個模組，該電腦程式指令用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀儲存基板、記憶體設備、影響機器可讀傳播信號的物質組合、或者它們中的一個或多個的組合。術語「資料處理裝置」囊括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或者多個處理器或電腦。除了硬體之外，裝置還可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器韌體、協定疊、資料庫管理系統、作業系統、或者它們中一個或多個的組合的代碼。傳播信號是被生成以對資訊進行編碼以用於發送到合適的接收器裝置的人工生成的信號，例如機器生成的電信號、光學信號或電磁信號。

電腦程式（也已知為程式、軟體、軟體應用、腳本或代碼）可以以任何形式的程式設計語言（包括編譯或解釋語言）編寫，並且其可以以任何形式部署，包括作為獨立程式或作為適合在計算環境中使用的模組、元件、子常式或其他單元。電腦程式不一定對應於檔案系統中的檔。程式可以儲存在保存其他程式或資料（例如，儲存在標記語言文件中的一個或多個腳本）的檔的一部分中，儲存在專用於所討論的程式的單個檔中，或儲存在多個協調檔中（例如，儲存一個或多個模組、副程式或代碼部分的檔）。電腦程式可以被部署以在一個電腦上或在位於一個網站上或跨多個網站分佈並通過通信網路互連的多個電腦上運行。

本文件中描述的過程和邏輯流程可以由運行一個或多個電腦程式的一個或多個可程式設計處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實施為專用邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（Application Specific Integrated Circuit，專用積體電路）。

適合於運行電腦程式的處理器包括例如通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包括用於儲存資料的一個或多個大型存放區設備（例如，磁片、磁光碟或光碟），或可操作地耦合以從該一個或多個大型存放區設備接收資料或向該一個或多個大型存放區設備傳遞資料、或者從其接收資料並向其傳遞資料。然而，電腦不需要這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或可換式磁片；磁光碟；以及CD ROM和DVD-ROM磁片。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。

雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可能要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本專利文件中在單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種特徵也可以分別在多個實施例中或以任何合適的子組合實施。此外，儘管特徵可以在上面描述為以某些組合起作用並且甚至最初如此要求保護，但是在一些情況下可以從組合排除來自所要求保護的組合的一個或多個特徵，並且所要求保護的組合可以針對子組合或子組合的變化。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或以先後循序執行這樣的操作或者執行所有示出的操作以實現期望的結果。此外，在本專利文件中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都需要這樣的分離。

僅描述了一些實施方式和示例，並且可以基於本專利文件中描述和示出的內容來進行其他實施方式、增強和變化。

1300:硬體設備 1302:處理器 1304:記憶體 1306:視訊處理電路 1400、1420:方法 1402、1404、1422、1424:操作 1600:系統 1602:輸入 1604:編碼元件 1606、1608:元件 1610:顯示介面

圖1是示出視訊轉碼器實施方式的示例的方塊圖。 圖2示出了H.264視頻編碼標準中的巨集塊分割。 圖3示出了將編碼塊（Coding Block，CB）劃分成預測塊（Prediction Block，PB）的示例。 圖4示出了用於將CTB細分為CB和變換塊（Transform Block，TB）的示例實施方式。實線指示CB邊界，虛線指示TB邊界，包括帶有分割的示例CTB和對應的四叉樹。 圖5示出了用於分割視頻資料的四叉樹二叉樹（Quad Tree Binary Tree，QTBT）結構的示例。 圖6示出了（a）四叉樹分割（b）垂直二叉樹分割（c）水平二叉樹分割（d）垂直中心側三叉樹分割（e）水平中心側三叉樹分割的示例。 圖7A至圖7K示出了分割區塊的示例。 圖8A至圖8D示出了擴展四叉樹分割的示例。 圖9A和圖9B示出了視頻資料的最大編碼單元（Largest Coding Unit，LCU）的示例分割。 圖10示出了M×N塊的泛化三叉樹分割的示例。 圖11A至圖11F描繪了從EQT分割中排除BT模式的示例。 圖12示出了劃分塊的示例。 圖13是用於實施本文件中描述的可視媒體解碼或可視媒體編碼技術的硬體平臺的示例的方塊圖。 圖14A-圖14B是示出用於視頻處理的方法的示例的流程圖。 圖15A-圖15B描繪了EQT分割的規則的示例。 圖16是可以在其中實施所公開的技術的示例視頻處理系統的方塊圖。

1400:方法

1402、1404:操作

Claims (23)

1. 一種視頻處理的方法，包括： 對於視頻區域的視頻塊的編碼表示和視頻塊之間的轉換，確定對視頻區域的至少一個視頻塊啟用了擴展四叉樹EQT分割；以及 基於所述確定來執行轉換， 其中EQT分割將視頻塊劃分成多個子塊，使得多個子塊中的至少一個子塊具有與視頻塊的一半寬度乘以視頻塊的一半高度不同的尺寸，並且 其中視頻塊的編碼表示是使用來自包括碼字和分割類型之間的映射的表的碼字而表示的。
2. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

   
3. 根據申請專利範圍第2項所述的方法， 其中第一標誌和第二標誌被包括在視頻塊的編碼表示中， 其中第一標誌指示EQT分割或BT分割被應用於視頻塊， 其中第二標誌指示水準分割或垂直分割被應用於視頻塊，並且 其中在視頻塊的編碼表示中，第一標誌在第二標誌之前。
4. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

   
5. 根據申請專利範圍第4項所述的方法， 其中第一標誌和第二標誌被包括在視頻塊的編碼表示中， 其中第一標誌指示水準分割或垂直分割被應用於視頻塊， 其中第二標誌指示EQT分割或BT分割被應用於視頻塊，並且 其中在視頻塊的編碼表示中，第一標誌在第二標誌之前。
6. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

   
7. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

   
8. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

   
9. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

   
10. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

    
11. 根據申請專利範圍第10項所述的方法， 其中第一標誌、第二標誌和第三標誌被包括在視頻塊的編碼表示中， 其中第一標誌指示EQT分割或BT分割被應用於視頻塊， 其中回應于EQT分割被應用，第二標誌指示相等EQT分割或非相等分割被應用於視頻塊， 其中第三標誌指示水準分割或垂直分割被應用於視頻塊，並且 其中在視頻塊的編碼表示中，第一標誌在第二標誌之前並且第二標誌在第三標誌之前。
12. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

    
13. 根據申請專利範圍第12項所述的方法， 其中第一標誌、第二標誌和第三標誌被包括在視頻塊的編碼表示中， 其中第一標誌指示水準分割或垂直分割被應用於視頻塊， 其中第二標誌指示EQT分割或BT分割被應用於視頻塊， 其中回應于EQT分割被應用，第三標誌指示相等EQT分割或非相等分割被應用於視頻塊，並且 其中在視頻塊的編碼表示中，第一標誌在第二標誌之前並且第二標誌在第三標誌之前。
14. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

    
15. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

    
16. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

    
17. 根據申請專利範圍第1項所述的方法，其中，所述表如下所示：

    
18. 根據申請專利範圍第1項所述的方法，其中，視頻區域包括一個或多個視頻塊。
19. 根據申請專利範圍第1項所述的方法，其中，執行轉換包括生成視頻塊的編碼表示。
20. 根據申請專利範圍第1項所述的方法，其中，執行轉換包括生成視頻塊。
21. 一種解碼器裝置，包括處理器，其中所述處理器被配置為實施如申請專利範圍第1至20項中的一項或多項所述的方法。
22. 一種編碼器裝置，包括處理器，其中所述處理器被配置為實施如申請專利範圍第1至20項中的一項或多項所述的方法。
23. 一種電腦可讀程式介質，具有存儲在其上的代碼，所述代碼包括指令，其中所述指令在由處理器運行時使得所述處理器實施如申請專利範圍第1至20項中的一項或多項所述的方法。

Images