TW202005400A - 廣義三叉樹 - Google Patents

Abstract

描述了用於使用靈活和有效劃分技術的方法、系統和設備，並且其具體地用於廣義三叉樹（GTT）劃分。用於可視媒體解碼的示例性方法包括對當前可視媒體塊應用劃分過程，其在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊；基於位元流表示，對三個子塊解碼；以及基於三個子塊和該劃分過程，對當前可視媒體塊解碼。另一個用於媒體編碼的示例方法包括接收與當前可視媒體塊相關聯的輸入資料；對輸入資料應用劃分過程，其在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊；基於該劃分過程，對三個子塊編碼；以及基於所述編碼，生成當前可視媒體塊的位元流表示。

Description

廣義三叉樹

本揭露是有關於一種視頻編碼技術、設備和系統。

儘管視訊壓縮有所進步，但數位視訊仍占網際網路和其他數位通信網路上最大的頻寬使用。隨著能夠接收和顯示視頻的所連接的使用者設備的數量增加，預計數位視訊使用的頻寬需求將繼續增長。

本揭露公開了用於通過使用靈活且有效的劃分技術來劃分視頻圖片從而編碼和解碼數位視訊的方法、系統和設備，並且具體地使用廣義三叉樹（GTT）劃分過程。

在一個示例方面，公開了一種可視媒體解碼方法。該方法包括對當前可視媒體塊應用劃分過程，該劃分過程在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊；基於位元流表示，對所述三個子塊進行解碼；以及基於所述三個子塊和所述劃分過程，對當前可視媒體塊進行解碼。

在另一示例方面，公開了一種可視媒體編碼方法。該方法包括接收與當前可視媒體塊相關聯的輸入資料；對輸入資料應用劃分過程，該劃分過程在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊；基於所述劃分過程，對所述三個子塊進行編碼；以及基於所述編碼，生成當前可視媒體塊的位元流表示。

在又一個示例方面，公開了一種可視媒體處理方法。該方法包括基於第一劃分方法，將當前可視媒體塊劃分為多個子塊；以及基於第二劃分方法，劃分所述多個子塊中的至少一個，其中第一和第二劃分方法中的每個包括以下中的一個：（a）第一劃分過程，其將塊或子塊在水平和垂直兩個方向上劃分為三個子塊，（b）第二劃分過程，其將塊或子塊劃分為恰好四個子塊，所述四個子塊包含至少一個尺寸不同於該塊或子塊的寬度的一半乘以該塊或子塊的高度的一半的子塊，或（c）四叉樹（QT）劃分過程，並且其中不允許所述第一劃分方法和所述第二劃分方法的至少一種組合。

在又一示例方面，公開了一種實現本文描述的可視媒體編碼方法的可視媒體編碼器設備。

在又一代表性方面，本文描述的各種技術可以體現為儲存在非暫時性電腦可讀取媒體上的電腦程式產品。該電腦程式產品包括用於執行本文描述的方法的程式碼。

在又一代表性方面，可視媒體解碼器設備可以實現如本文中所描述的方法。

在隨附的附件、附圖和以下描述中闡述了一個或多個實施方式的細節。根據說明書和附圖以及申請專利範圍，其他特徵將是顯而易見的。

為了改進視頻的壓縮比，研究人員正不斷尋找用於編碼視頻的新技術。

1. 本文件中公開的一些方面的概述

本專利檔涉及圖像/視頻編碼，尤其涉及劃分結構，即，如何將一個編碼樹單元（Coding Tree Unit，CTU）劃分成多個編碼單元（Coding Unit，CU）或者如何將一個CU劃分成多個更小的CU。它可以應用於像HEVC之類的現有的視頻編碼標準或者待最終確定的標準（通用視頻編碼）。它也可以適用於未來的視頻編碼標準或視頻轉碼器。本檔中描述的技術可以應用於編碼和解碼視頻，例如圖片或圖像的序列。該技術還可以用於單個圖片或圖像的編碼和解碼。因此，該技術適用於編碼或解碼視頻或圖像形式的可視媒體。為了提高可讀性，在整個說明書的大部分中使用“視頻”一詞來表示視頻或圖像。

2. 討論

視頻編碼標準主要是通過眾所周知的ITU-T和ISO/IEC標準的發展而得以演進。ITU-T製作了H.261和H.263標準，ISO/IEC製作了MPEG-1和MPEG-4 Visual標準，並且兩個組織聯合制作了H.262/MPEG-2視頻標準和H.264/MPEG-4高級視頻編碼（Advanced Video Coding，AVC）標準和H.265/HEVC標準。從H.262開始，視頻編碼標準基於混合視頻編碼結構，其中利用時間預測加變換編碼。圖1中描繪了典型HEVC編碼器框架的示例[1]。

2.1 H.264/AVC 中的劃分樹結構

先前標準中的編碼層的核心是巨集塊，其包含16×16的亮度（luma）樣本塊、以及在4：2：0顏色採樣的通常情況下的兩個對應的8×8的色度（chroma）樣本塊。

幀內編碼塊使用空間預測來利用像素之間的空間相關性。兩種劃分被定義為：16x16和4x4。

幀間編碼塊通過估計圖片之間的運動來使用時間預測而不是空間預測。可以對於16x16巨集區塊或其如下任何子巨集區塊劃分獨立地估計運動：16x8、8x16、8x8、8x4、4x8、4x4（參見圖2）[2]。每子巨集區塊劃分僅允許一個運動向量（MV）。

2.2 HEVC 中的劃分樹結構

在HEVC中，通過使用表示為編碼樹的四叉樹結構將CTU劃分成CU，以適應各種局部特性。使用圖片間（時間）預測還是圖片內（空間）預測來對圖片區域編碼的決策是在CU級進行的。根據PU劃分類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並且在PU的基礎上將相關資訊發送到解碼器。在通過基於PU劃分類型應用預測過程而獲得了剩餘區塊之後，可以根據類似於CU的編碼樹的另一個四叉樹結構將CU劃分為變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個劃分概念，包括CU、PU和TU。

在下文中，對使用HEVC的混合視頻編碼中涉及的各種特徵強調如下。

1）編碼樹單元和編碼樹塊（CTB）結構：HEVC中的類似結構是編碼樹單元（CTU），其具有由編碼器選擇的尺寸並且可以大於傳統巨集區塊。CTU由亮度CTB和相應的色度CTB以及語法元素組成。亮度CTB的尺寸L×L可以被選擇為L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支援使用樹結構和類似四叉樹的信令來將CTB劃分為更小的塊。

2）編碼單元（CU）和編碼塊（CB）：CTU的四叉樹語法指定其亮度CB和色度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。將CTU劃分成亮度CB和色度CB是信令聯合的。一個亮度CB和通常兩個色度CB以及相關聯的語法一起形成編碼單元（CU）。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有相關聯的、向預測單元（PU）以及變換單元（TU）的樹的劃分。

3）預測單元和預測塊（PB）：使用幀間圖片預測還是幀內圖片預測來對圖片區域編碼的決策是在CU級進行的。PU劃分結構的根在CU級。取決於基本預測類型決策，然後可以在尺寸上進一步劃分亮度CB和色度CB，並根據亮度和色度預測塊（PB）對其進行預測。HEVC支援從64×64到4×4樣本的可變PB尺寸。圖3示出了對於MxM CU所允許的PB的示例。

4）TU和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級。亮度CB殘差可以與亮度變換塊（TB）相同，或者可以被進一步劃分成更小的亮度TB。這同樣適用於色度TB。對於正方形TB尺寸4×4、8×8、16×16和32×32，定義類似於離散餘弦變換（DCT）的整數基函數。對於亮度幀內圖片預測殘差的4×4變換，可以替代地指定從離散正弦變換（DST）的形式匯出的整數變換。

向變換塊和單元的樹結構劃分

對於殘差編碼，可以將CB遞迴地劃分為變換塊（TB）。由殘差四叉樹信令通知劃分。僅指定正方形CB和TB劃分，其中塊可以被遞迴地劃分到象限（quadrant），如圖4所示。對於尺寸為M×M的給定亮度CB，旗標（flag）表明是否將該CB劃分成四個尺寸為M/2×M/2的塊。如果如SPS中指示的殘差四叉樹的最大深度所信令通知的，每個象限能夠進一步劃分，則為每個象限分配旗標，該旗標指示是否將其劃分成四個象限。由殘差四叉樹產生的葉節點塊是變換塊，通過變換編碼對其進一步處理。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，劃分是隱含的。當劃分將導致亮度TB尺寸小於所指示的最小值時，不劃分是隱含的。除了當亮度TB尺寸為4×4時，色度TB尺寸在每個維度上是亮度TB尺寸的一半，在亮度TB尺寸為4×4的情況下，單個4×4色度TB被用於由四個4×4亮度TB覆蓋的區域。在幀內圖片預測的CU的情況下，最近鄰的TB（在CB內或在CB外）的解碼後樣本被用作用於幀內圖片預測的參考資料。

與先前的標準相反，HEVC設計允許TB跨越多個PB以用於圖片間預測的CU，以使四叉樹結構的TB劃分的潛在編碼效率益處最大化。

2.3 JEM 中具有更大 CTU 的四叉樹加二叉樹（ QTBT ）塊結構

為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG於2015年聯合成立聯合視頻探索團隊（JVET）。從那時起，JVET採用了許多新方法[3]並將其納入名為聯合勘探模型（JEM）[4]的參考軟體。

2.3.1 QTBT 塊劃分結構

與HEVC不同[5]，QTBT結構去除了多種劃分類型的概念，即，它去除了CU、PU和TU概念的分離，並且支持CU劃分形狀的更大靈活性。在QTBT塊結構中，CU可以具有正方形或矩形形狀。如圖5A和圖5B中所示，編碼樹單元（CTU）首先被四叉樹結構劃分。四叉樹葉節點被二叉樹結構進一步劃分。在二叉樹劃分中有兩種劃分類型：對稱水平劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元（CU），並且該劃分被用於預測和變換處理而無需任何進一步的劃分。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊（CB）組成，例如，在4：2：0色度格式的P和B條帶（slice）的情況下，一個CU包含一個亮度CB和兩個色度CB；並且CU有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。

為QTBT劃分方案定義以下參數。 - CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同 - MinQTSize：最小允許的四叉樹葉節點尺寸 - MaxBTSize：最大允許的二叉樹根節點尺寸 - MaxBTDepth：最大允許的二叉樹深度 - MinBTSize：最小允許的二叉樹葉節點尺寸

在QTBT劃分結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize（寬度和高度）被設置為4×4，並且MaxBTDepth被設置為4。首先將四叉樹劃分應用於CTU以生成四叉樹葉節點。四叉樹葉節點可以具有從16×16（即，MinQTSize）到128×128（即，CTU尺寸）的尺寸。如果葉四叉樹節點是128×128，則由於該尺寸超過MaxBTSize（即，64×64），所以它不會被二叉樹進一步劃分。否則，葉四叉樹節點可以被二叉樹進一步劃分。因此，四叉樹葉節點也是二叉樹的根節點，並且二叉樹深度為0。當二叉樹深度達到MaxBTDepth（即，4）時，不考慮進一步的劃分。當二叉樹節點的寬度等於MinBTSize（即，4）時，不考慮進一步的水平劃分。類似地，當二叉樹節點的高度等於MinBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而無需任何進一步的劃分。在JEM中，最大CTU尺寸為256×256亮度樣本。

圖5A描繪了通過使用QTBT進行塊劃分的示例，圖5B示出了對應的樹表示。實線表示四叉樹劃分，虛線表示二叉樹劃分。在二叉樹的每個劃分（即，非葉）節點中，信令通知一個旗標以指示使用哪種劃分類型（即，水平或垂直），其中0表示水平劃分並且1表示垂直劃分。對於四叉樹劃分，不需要指示劃分類型，因為四叉樹劃分總是水平地且垂直地劃分塊以產生具有相等尺寸的4個子塊。

另外，QTBT方案支援使亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B條帶，一個CTU中的亮度CTB和色度CTB共用相同的QTBT結構。然而，對於I條帶，通過QTBT結構將亮度CTB劃分為CU，並且通過另一QTBT結構將色度CTB劃分為色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P條帶或B條帶中的CU由所有三個顏色分量的編碼塊組成。

在HEVC中，小塊的幀間預測受限於減少運動補償的記憶體訪問，使得對於4×8和8×4塊不支持雙向預測，並且對於4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被去除。

2.4 通用視頻編碼（ VVC ）的三叉樹

如文獻[3]中所提出的，支持不同於四叉樹和二叉樹的樹類型。在該實現中，引入了另外兩個三叉樹（TT）劃分，即，水平和垂直中心側三叉樹，如圖6（d）和圖6（e）所示。

圖6示出以下示例：（a）四叉樹劃分（b）垂直二叉樹劃分（c）水平二叉樹劃分（d）垂直中心側三叉樹劃分以及（e）水平中心側三叉樹劃分。

在文獻[3]中，存在兩個級別的樹：區域樹（四叉樹）和預測樹（二叉樹或三叉樹）。CTU首先被區域樹（RT）劃分。可以用預測樹（PT）進一步劃分RT葉。還可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本編碼單元。為方便起見，它仍被稱為CU。CU不能被進一步劃分。預測和變換都以與JEM相同的方式被應用於CU。整個劃分結構被稱為「多類型樹」。

3. 現有技術方案的缺點

諸如QTBT或TT的劃分樹的現有設計已經顯示出了高得多的編碼增益。但是，它們也可能存在以下問題：

BT和TT均試圖減少塊的劃分數目（2或3個劃分，而不是QT採用的4個劃分）。對於具有高紋理的區域，可能優選更多的劃分（例如，更小的劃分）。使用當前的設計，可能需要相當多的位元來實現這一點。

代替修改劃分數目，我們還可以修改四叉樹劃分以覆蓋不同的情況。當前的四叉樹劃分總是將一個N×N正方塊劃分成四個N/2×N/2個子塊。引入更多劃分模式可帶來額外的編碼增益。

4. 示例實施例

所公開的技術的實施例描述了不同的劃分結構，例如擴展四叉樹（extended quad tree，EQT）和靈活樹（flexible tree，FT）。

在以下描述中，應當注意，僅對於某一深度/級別允許劃分結構，可以通過信令通知指示這種劃分結構的使用。換句話說，如果對於某個深度/級別不允許劃分結構，則將自動跳過劃分結構的信令通知。所提出的方法可以單獨應用，或彼此互組合或與現有技術相結合。

示例1：提出了一種擴展四叉樹（EQT）劃分結構，其對應於一種塊劃分過程，該塊劃分過程包括用於視頻資料塊的擴展四叉樹劃分過程，其中擴展四劃分結構表示將視頻資料塊劃分成最終子塊，並且當擴展四叉樹劃分過程決策將擴展四叉樹劃分應用於一個給定塊時，所述一個給定塊總是被劃分成四個子塊；基於視頻位元流對最終子塊解碼；以及基於根據匯出的EQT結構而被解碼的最終子塊，對視頻資料塊解碼。

示例1A：EQT劃分過程可以遞迴地應用於給定塊以生成EQT葉節點。可替代地，當EQT應用於某個塊時，對於由於EQT而產生的每個子塊，它可以進一步被劃分成BT和/或QT和/或TT和/或EQT和/或其他種類的劃分樹。

示例1B：提出尺寸為M×N（M和N是非零正整數值，相等或不相等）的塊可以被等分為四個劃分，例如M/4×N或M×N/4（示例在圖7A和圖7B中描繪），或者被等分為四個劃分並且劃分尺寸取決於M和N的最大值和最小值。在一個示例中，一個4×32塊可以被劃分成四個4x8子塊，而32x4塊可以被劃分成四個8x4子塊。

示例1C：可替代地，尺寸為M×N（M和N是非零正整數值，相等或不相等）的塊可以被不等分成四個劃分，例如兩個劃分的尺寸等於(M*w0/w) x (N*h0/h)，並且另外兩個劃分的尺寸為(M*(w-w0)/w) x (N*(h-h0)/h)。

例如，w0和w可以分別等於1和2，即寬度減半，而高度可以使用除了2:1之外的其他比率來獲得子塊。這種情況的示例在圖7C和圖7E中描繪。可替代地，h0和h可以分別等於1和2，即高度減半，而寬度可以使用除了2:1之外的其他比率。這種情況的示例在圖7D和圖7F中描繪。

圖7G和7H示出了擴展四叉樹劃分的兩個替代示例。

圖7I示出了具有不同形狀的劃分的擴展四叉樹劃分的更一般情況，其中每個劃分可具有其自己的尺寸。

圖7J和圖7K示出了圖7A和圖7B的一般示例，其中四個劃分為：（c）子塊寬度固定為M/2，高度等於N/4或3N/4，頂部兩個劃分較小，（d）子塊高度固定為N/2，寬度等於M/4或3M/4，左側兩個劃分較小可以具有不同的尺寸，（e）子塊寬度固定為M/2，高度等於3N/4或N/4，底部兩個劃分較小，（f）子塊高度固定為N/2，寬度等於3M/4或M/4，右側兩個劃分較小， (g) M x N/4 和 M/2 x N/2； (h) N x M/4 和 N/2 x M/2， (i) M1 x N1、(M-M1) x N1、M1 x (N-N1) 和 (M-M1) x (N-N1)， (j) M x N1、M x N2、M x N3 和 M x N4，其中並且 N1+N2+N3+N4 = N，以及 (k) M1 x N、M2 x N、M3x N 和 M4 x N 其中M1+M2+M3+M4 = M。

示例2：對於TT，可以去除沿水平或垂直方向的劃分的限制。

示例2A：在一個示例中，廣義TT（GTT）劃分模式可以被定義為對於水平和垂直兩者的劃分。圖8中示出了示例。

示例3：可以在某些條件下應用所提出的方法。換句話說，當不滿足條件（或多個條件）時，不需要信令通知劃分類型。

示例3A：可替代地，可以使用所提出的方法來替代現有劃分樹類型。可替代地，此外，所提出的方法可以僅在某些條件下用作替代。

示例3B：在一個示例中，條件可以包括圖片和/或條帶類型；和/或塊尺寸；和/或編碼模式；和/或一個塊是否位於圖片/條帶/片（tile）邊界。

示例3C：在一個實施例中，可以以與QT相同的方式來處理所提出的EQT。在這種情況下，當指示劃分樹類型是QT時，可以進一步信令通知更詳細的四叉樹劃分模式的更多的標誌/指示。可替代地，可以將EQT視為額外的劃分模式。

示例3D：在一個示例中，EQT或FT或GTT的劃分方法的信令可以是有條件的，即，在一些情況下（例如，當劃分尺寸的相應變換矩陣不存在時）可以不使用一個或一些EQT/FT/GTT劃分方法，並且不信令通知對應於表明這些劃分方法的位元（或二進位數字）。

實施例3E：在一個實施例中，不同EQT、FT、QT或GTT的所有組合並不都是允許的。在一個劃分結構可以通過EQT、FT、QT和GTT的多個組合來實現的情況下，則只有一個組合被認為是有效的並且所有其他組合均為無效的。下面給出一個示例，圖9A也可以被視為一個M×M塊首先被劃分成兩個水平BT，並且對於每個BT，進一步應用垂直TT。對於這樣的示例，如果信令告知FT未被用於第一深度，則使用BT，並且對於頂部BT，應用垂直TT。當對第二BT的劃分結構進行編碼時，不允許垂直TT，即，不需要信令通知是否使用垂直TT。

示例3F：在一個示例中，如果色度樹遵循與亮度相同的樹，則應當對於亮度和色度禁用導致不可用色度劃分的劃分。

示例3F1：可替代地，仍然允許將這種劃分用於亮度，而不允許相關的色度劃分。在這樣的配置中，亮度塊和色度塊都被認為是在劃分樹類型的葉節點中。

圖10A是可視媒體解碼方法1000的流程圖表示。可視媒體可以是視頻或單個圖像。方法1000包括：在步驟1002，對當前可視媒體塊應用劃分過程，該劃分過程在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊。

方法1000包括：在步驟1004，基於位元流表示對三個子塊解碼。

方法1000包括：在步驟1006，基於三個子塊和該劃分過程對當前可視媒體塊解碼。

圖10B是可視媒體編碼方法1020的流程圖表示。可視媒體可以是視頻或單個圖像。方法1020包括：在步驟1022，接收與當前可視媒體塊相關聯的輸入資料。

方法1020包括：在步驟1024，對輸入資料應用劃分過程，該劃分過程在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊。

方法1020包括：在步驟1026，基於該劃分過程對三個子塊編碼。

方法1020包括：在步驟1028，基於該編碼生成當前可視媒體塊的位元流表示。

在一些實施例中，方法1000和1020還包括基於一個或多個條件做出關於在該位元流表示中選擇性地包括用於該劃分過程的一個或多個信令位元的決策。

在示例中，該劃分過程替換現有劃分過程，現有劃分過程包含二叉樹（BT）劃分過程、三叉樹（TT）劃分過程或四叉樹（QT）劃分過程。在另一個示例中，一個或多個信令位元和為現有劃分過程設計的解碼過程現在用於該劃分過程。

在示例中，一個或多個條件分別基於包括當前可視媒體塊的圖片或片條帶的圖片類型或片條帶類型。

在示例中，一個或多個條件基於當前可視媒體塊的尺寸。

在示例中，一個或多個條件基於當前可視媒體塊的編碼模式。

在示例中，一個或多個條件基於當前可視媒體塊的位置。在另一個示例中，當前可視媒體塊的位置在包括當前可視媒體塊的圖片、條帶或片的邊界處。

在示例中，該劃分過程以與四叉樹（QT）劃分過程類似的方式來實現。在另一個示例中，劃分過程是QT劃分之外的劃分模式。

在示例中，條件包括對於該劃分過程的選定劃分尺寸的變換矩陣的不可用。

在示例中，當前可視媒體塊的色度分量和亮度分量遵循相同的劃分樹，並且其中該條件包括在該劃分過程的劃分導致不可用的色度劃分的情況下對用於亮度分量和色度分量兩者的信令的排除。

在示例中，當前可視媒體塊的色度分量和亮度分量遵循相同的劃分樹，並且其中該條件包括在該劃分過程的劃分導致不可用的色度劃分時並且在色度分量和亮度分量兩者均為相同的劃分樹的葉節點的情況下包括僅用於亮度分量的信令。

在一些實施例中，方法1000和1020還包括遞迴地將該劃分過程應用於三個塊中的至少一個以生成一個或多個葉節點的步驟。

在一些實施例中，方法1000和1020還包括將不同於該劃分過程的替代劃分過程應用於三個塊中的至少一個以生成一個或多個葉節點。在示例中，替代劃分過程包括四叉樹（QT）劃分過程、二叉樹（BT）劃分過程、三叉樹（TT）劃分過程或擴展四叉樹（EQT）劃分過程中的至少一個。

圖10C是可視媒體處理方法1040的流程圖表示。可視媒體可以是視頻或單個圖像。方法1040包括，在步驟1042，基於第一劃分方法，將當前可視媒體塊劃分為多個子塊。

方法1040包括，在步驟1044，基於第二劃分方法，劃分所述多個子塊中的至少一個。

在一些實施例中，第一和第二劃分方法中的每個包括以下中的一個：（a）第一劃分過程，其將塊或子塊在水平和垂直兩個方向上劃分為三個子塊，（b）第二劃分過程，其將塊或子塊劃分為恰好四個子塊，所述四個子塊包含至少一個尺寸不同於該塊或子塊的寬度的一半乘以該塊或子塊的高度的一半的子塊，或（c）四叉樹（QT）劃分過程，並且不允許所述第一劃分方法和所述第二劃分方法的至少一種組合。

在一些實施例中，以及在方法1000、方法1020和方法1040的上下文中，當前可視媒體塊包括視頻塊或單個圖像。

圖11示出了可以被用以實現本公開技術的各個部分的硬體設備1100的示例實施例的框圖。硬體設備1100可以是筆記型電腦、智慧型手機、平板電腦、可擕式攝像機或能夠處理視頻的其他類型的設備。設備1100包括用於處理資料的處理器或控制器1102，以及與處理器1102通信以儲存和/或緩衝資料的記憶體1104。例如，處理器1102可以包括中央處理單元（CPU）或微控制器單元（MCU）。在一些實現方式中，處理器1102可以包括現場可程式設計閘陣列（FPGA）。在一些實現方式中，設備1100包括用於智慧型電話設備的各種可視和/或通信資料處理功能的圖形處理單元（GPU）、視頻處理單元（VPU）和/或無線通訊單元或與之通信。例如，記憶體1104可以包括並儲存處理器可執行代碼，其在由處理器1102執行時配置設備1100以執行各種操作，例如接收資訊、命令和/或資料，處理資訊和資料，並且將處理後的資訊/資料發送或提供給諸如致動器或外部顯示器的另一個設備。為了支援設備1100的各種功能，記憶體1104可以儲存資訊和資料，諸如指令、軟體、值、圖像以及由處理器1102處理或參考的其他資料。例如，各種類型的隨機存取記憶體（RAM）設備1100、唯讀記憶體（ROM）設備、快閃記憶體設備和其他合適的儲存介質可已被用於實現記憶體1104的儲存功能。設備1100還可以包括專用視頻處理電路1106，用於執行重複的計算功能，諸如變換和解碼。在一些實施例中，視頻處理電路1106可以在處理器1102內部實現。在一些實施例中，視頻處理電路1106可以是圖形處理器單元（GPU）。

在本檔的第2部分的示例和申請專利範圍部分中描述了對方法1000、方法1020和方法1040的各種可能的變型和添加。例如，接收操作可以包括接收本機存放區的位元流或通過網路連接接收位元流（例如，串流接收）。例如，可以通過使用視頻位元流的協定語法的先驗知識來解析視頻位元流中的位元，從而實現匯出操作。解碼操作可以包括從視頻的已壓縮或編碼後位元表示中生成未壓縮的像素值（亮度和/或顏色）。

在一些實施例中，視頻可視媒體解碼過程可以生成解碼後的視頻資料，該解碼後的視頻資料可以儲存在視頻緩衝器中並顯示在使用者介面上以供使用者查看。在一些實施例中，可以對未壓縮或輕微壓縮格式的視頻執行可視媒體編碼處理，該未壓縮或輕微壓縮格式的視頻例如是從相機設備或數位存放裝置捕獲的等等。

在下面的實驗結果中示出了通過將所公開的技術的實施例結合到HEVC參考軟體中而實現的改進。測試序列包括通用測試條件（CTC）中的HEVC標準測試序列，其是由JCT-VC（視頻編碼聯合協作團隊）指定的。

在上表中，負百分比表示該特定場景的位元速率節省。各種類別（例如，類別A1、A2、......、E）表示測試序列的不同解析度，「主層級」和「低層級」標記表示不同的位元速率範圍，其分別使用量化參數（QP）{22, 27, 32, 37}和{32, 37, 42, 47}，並且「RA」、「LDB」和「LDP」表示不同的編碼條件。

例如，類別A1和A2的解析度是4K，並且類別B、C、D和E的解析度分別是1080p、832×480、416×240和720p。

例如，「RA」表示對應於一組編碼條件的隨機訪問，該組編碼條件被設計為在已編碼視頻資料中實現相對頻繁的隨機訪問點，而不太強調延遲的最小化。相反，「LDx」表示低延遲並且對應於兩組編碼條件，該兩組編碼條件被設計為實現互動式即時通信，而不太強調隨機訪問的容易性。具體地，「LDB」是LD條件使用B圖片的變型，而「LDP」是使用P幀的變型。

從前述內容可以理解，本文已經出於說明的目的描述了本公開技術的具體實施例，但是可以在不脫離本發明範圍的情況下進行各種修改。因此，本公開的技術除了所附申請專利範圍外不受限制。

本檔中描述的公開和其他實施例、模組和功能操作可以以數位電子電路實現，或者以電腦軟體、韌體或硬體實現，包括本檔中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀取媒體上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀取媒體可以是機器可讀取儲存裝置、機器可讀儲存基板、記憶體設備、影響機器可讀傳播信號的物質組合、或者它們中的一個或多個的組合。術語「資料處理裝置」涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器韌體、協定疊、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對資訊進行編碼以便傳輸到合適的接收器設備。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言編寫，包括編譯或解釋語言，並且可以以任何形式來部署電腦程式，包括獨立程式或適合在計算環境中使用的模組、元件、子程式或其他單元。電腦程式並不必需對應於檔案系統中的文件。程式可以儲存在文件的保存其他程式或資料（例如，儲存在標記語言文件中的一個或多個腳本）的部分中，儲存在專用於所討論的程式的單個文件中，或儲存在多個協調檔中（例如，儲存一個或多個模組、副程式或代碼部分的文件）。可以部署電腦程式以在一個電腦上或在位於一個網站上或分佈在多個網站上並通過通信網路互連的多個電腦上執行。

本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式設計處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

舉例來說，適合於執行電腦程式的處理器包括通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包括或可操作地耦合到用於儲存資料的一個或多個大型儲存設備，例如磁片、磁光碟或光碟，以從該一個或多個大型儲存設備接收資料，或將資料傳輸到該一個或多個大型儲存設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀取媒體包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM磁片。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。

雖然本檔包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本檔中，在單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求權利保護，但是在某些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按循序執行這樣的操作，或者執行所有示出的操作，以實現期望的結果。此外，在本檔中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都要求這種分離。

僅描述了幾個實現方式和示例，並且可以基於本檔中描述和示出的內容來做出其他實現方式、增強和變型。

1000、1020、1040‧‧‧方法 1002～1006、1022～1028、1042～1044‧‧‧步驟 1100‧‧‧硬體設備 1102‧‧‧處理器 1104‧‧‧記憶體 1106‧‧‧視頻處理電路

圖1是示出視訊轉碼器實現方式的示例的框圖。 圖2示出了H.264視頻編碼標準中的巨集塊劃分。 圖3示出了將編碼塊（CB）劃分為預測塊（PU）的示例。 圖4示出了用於將CTB細分為CB和變換塊（TB）的示例實現方式。實線表示CB邊界，並且虛線表示TB邊界，包括帶有其劃分的示例CTB以及相應的四叉樹。 圖5A和圖5B示出了用於劃分視頻資料的四叉樹二叉樹（QTBT）結構的示例。 圖6示出了以下的示例：（a）四叉樹劃分（b）垂直二叉樹劃分（c）水平二叉樹劃分（d）垂直中心側三叉樹劃分，並且（e）水平中心側三叉樹劃分。 圖7A至圖7K示出了劃分區塊的示例。 圖8示出了M×N塊的廣義三叉樹劃分的示例。 圖9A和圖9B示出了視頻資料的最大編碼單元（LCU）的示例劃分。 圖10A是示出可視媒體解碼的方法的示例的流程圖。 圖10B是示出可視媒體編碼的方法的示例的流程圖。 圖10C是示出可視媒體處理的方法的示例的流程圖。 圖11是用於實現本檔中描述的可視媒體解碼或可視媒體編碼技術的硬體平臺的示例的框圖。

1000‧‧‧方法

1002~1006‧‧‧步驟

Claims (22)

1. 一種可視媒體解碼方法，包括： 對當前可視媒體塊應用劃分過程，所述劃分過程在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊； 基於位元流表示，對所述三個子塊解碼；以及 基於所述三個子塊和所述劃分過程，對當前可視媒體塊解碼。
2. 一種可視媒體解碼方法，包括： 接收與當前可視媒體塊相關聯的輸入資料； 對輸入資料應用劃分過程，所述劃分過程在水平和垂直兩個方向上將當前可視媒體塊劃分為三個子塊； 基於所述劃分過程，對所述三個子塊編碼；以及 基於所述編碼，生成當前可視媒體塊的位元流表示。
3. 如申請專利範圍第1或2項中任一項所述的方法，還包括： 基於一個或多個條件，做出關於在所述位元流表示中選擇性地包括用於所述劃分過程的一個或多個信令位元的決策。
4. 如申請專利範圍第3項所述的方法，其中所述劃分過程替換現有劃分過程，所述現有劃分過程包含二叉樹（BT）劃分過程、三叉樹（TT）劃分過程或四叉樹（QT）劃分過程。
5. 如申請專利範圍第4項所述的方法，其中所述一個或多個信令位元和為現有劃分過程設計的解碼過程現在用於所述劃分過程。
6. 如申請專利範圍第3項所述的方法，其中所述一個或多個條件分別基於包括當前可視媒體塊的圖片或條帶的圖片類型或條帶類型。
7. 如申請專利範圍第3項所述的方法，其中所述一個或多個條件基於當前可視媒體塊的尺寸。
8. 如申請專利範圍第3項所述的方法，其中所述一個或多個條件基於當前可視媒體塊的編碼模式。
9. 如申請專利範圍第3項所述的方法，其中所述一個或多個條件基於當前可視媒體塊的位置。
10. 如申請專利範圍第9項所述的方法，其中所述當前可視媒體塊的位置在包括當前可視媒體塊的圖片、條帶或片的邊界處。
11. 如申請專利範圍第3項所述的方法，其中所述劃分過程以與四叉樹（QT）劃分過程類似的方式來實現。
12. 如申請專利範圍第11項所述的方法，其中所述劃分過程是QT劃分之外的劃分模式。
13. 如申請專利範圍第3項所述的方法，其中所述條件包括對於所述劃分過程的選定劃分尺寸的變換矩陣的不可用。
14. 如申請專利範圍第3項所述的方法，其中當前可視媒體塊的色度分量和亮度分量遵循相同的劃分樹，並且其中所述條件包括在所述劃分過程的劃分導致不可用的色度劃分的情況下對用於亮度分量和色度分量兩者的信令的排除。
15. 如申請專利範圍第3項所述的方法，其中當前可視媒體塊的色度分量和亮度分量遵循相同的劃分樹，並且其中所述條件包括在所述劃分過程的劃分導致不可用的色度劃分時並且在色度分量和亮度分量兩者均為相同的劃分樹的葉節點的情況下包括僅用於亮度分量的信令。
16. 如申請專利範圍第1或2項所述的方法，還包括： 遞迴地將所述劃分過程應用於所述三個塊中的至少一個以生成一個或多個葉節點。
17. 如申請專利範圍第1或2項所述的方法，還包括： 將不同於所述劃分過程的替代劃分過程應用於所述三個塊中的至少一個以生成一個或多個葉節點， 其中所述替代劃分過程包括四叉樹（QT）劃分過程、二叉樹（BT）劃分過程、三叉樹（TT）劃分過程或擴展四叉樹（EQT）劃分過程中的至少一個。
18. 一種可視媒體處理的方法，包括： 基於第一劃分方法，將當前可視媒體塊劃分為多個子塊；以及 基於第二劃分方法，劃分所述多個子塊中的至少一個， 其中所述第一劃分方法和第二劃分方法中的每個包括以下中的一個：（a）第一劃分過程，其將塊或子塊在水平和垂直兩個方向上劃分為三個子塊，（b）第二劃分過程，其將塊或子塊劃分為恰好四個子塊，所述四個子塊包含至少一個尺寸不同於該塊或子塊的寬度的一半乘以該塊或子塊的高度的一半的子塊，或（c）四叉樹（QT）劃分過程，並且 其中不允許所述第一劃分方法和所述第二劃分方法的至少一種組合。
19. 如申請專利範圍第1至18項中任一項所述的方法，其中當前可視媒體塊包括視頻塊。
20. 如申請專利範圍第1至18項中任一項所述的方法，其中當前可視媒體塊包括單個圖像。
21. 一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由所述處理器運行時使所述處理器實現如申請專利範圍第1至20項中的一項或多項所限定的方法。
22. 一種儲存在非暫時性電腦可讀取媒體上的電腦程式產品，所述電腦程式產品包含用於執行如申請專利範圍第1至20項中的一項或多項所限定的方法的程式碼。

Images