TW202130174A

TW202130174A - 發信圖像以及視訊的塊分割

Info

Publication number: TW202130174A
Application number: TW109135487A
Authority: TW
Inventors: 向時達; 賴貞延; 陳慶曄
Original assignee: 聯發科技股份有限公司
Priority date: 2019-10-14
Filing date: 2020-10-14
Publication date: 2021-08-01
Also published as: WO2021073521A1; EP4042691A4; EP4042691A1; MX2023005616A; US11589044B2; US11924426B2; CN114731414A; MX2022004469A; US20230164318A1; KR20220082022A; TWI792074B; US20210112247A1

Abstract

提供了一種對塊分割應用約束的視訊系統。該系統從一位元流接收分割控制參數，其指定用於啟用三元樹拆分的一最大塊尺寸被約束為64或更小。該系統從位元流接收待解碼為視訊的當前圖像的當前塊的像素塊的資料。該系統將該當前塊遞迴地拆分成一個或多個分割，其中三元樹分割不允許用於該當前塊的一部分除非該分割小於或等於該最大塊尺寸。該系統重構該當前塊的該一個或多個分割。

Description

發信圖像以及視訊的塊分割

本發明通常涉及視頻以及圖像的編解碼。更具體地，本發明涉及發信已編解碼視頻或圖像中區塊(如，編碼單元)的分割結構的方法。

除非在此另有指示，本節所描述的方法不是下文所列申請專利範圍的先前技術以及不藉由包括於本節而被承認為先前技術。

在高效視訊編解碼(HEVC)中，已編解碼的圖像被分割成由編解碼樹單元(CTU)表示的非重疊正方形塊區域。已編解碼的圖像可以由一些條帶(slice)來表示，每一者包括整數數目的CTU。條帶中的單個CTU以光柵掃描次序(raster scanning order)來處理。雙向預測(B)條帶可以用使用至多兩個運動向量以及參考索引來預測每一塊的樣本值的幀內預測或幀間預測來解碼。幀內(I)條帶僅使用幀內預測來解碼。預測(P)條帶用使用至多一個運動向量以及參考索引來預測每一塊的樣本值的幀內預測或幀間預測來解碼。

CTU可以被進一步分割成多個非重疊的編碼單元(CU)來適應各種局部運動以及紋理特性。在四叉樹(quadtree，QT)拆分結構上建立的編碼樹被採用來表示從CTU拆分的多個CU分割。關於尺寸M×M像素樣本的CTU，其中M是64、32以及16中的一個值。CTU可以包括相同尺寸M×M的單個單元，或者拆分成尺寸M/2×M/2的四個較小單元。與編解樹的根(root)節點有關的CTU以及四個M/2×M/2單元是從編解碼樹的根節點拆分的子四叉樹節點。四個四叉樹節點的每一個可以成為父節點用於尺寸在每一空間維度上減少一半的另一個拆分成四個子節點。四叉樹拆分可以被遞迴地應用直到達到葉尺寸。編碼樹的葉節點與CU相關。最小以及最大CU尺寸可以在序列參數集(SPS)中指定。

可以為每一CU指定一個或多個預測單元(PU)。預測單元與相關的CU語法一起作為發信預測子資訊的基礎單元。所指定的預測進程被應用於預測PU內的相關像素樣本的值。CU可以被拆分成一個、兩個或四個PU，取決於與所選擇的PU類型。

CU可以進一步使用殘差四叉樹(RQT)結構來分割用於表示相關預測殘差訊號。RQT的葉節點對應于生成的變換單元(TU)。變換單元包括尺寸8×8、16×16或32×32的亮度樣本的變換塊(TB)或者尺寸4×4亮度樣本的四個變換塊，以及4:2:0色彩格式中圖像的色度樣本的兩個對應的變換塊。整數變換被應用於變換塊以及已量化系數值在位元流中被編解碼。最小以及最大變換塊尺寸在序列參數集中被指定。

在HEVC中，術語編碼樹塊、編碼塊、預測塊以及變換塊被定義於分別指示來自相關CTU、CU、PU以及TU的一個色彩分量的2-D樣本陣列。因此，CTU在不使用三個單獨色彩平面編解碼的色彩圖像中包含一個亮度CTB、兩個色度CTB以及相關的與語法元素。所發信的編碼樹分割通常被應用於亮度塊以及色度塊兩者，但是當遇到某些最小尺寸約束時可以有例外。

後續的概述僅是說明性的並不旨在以任何方式進行限制。即，後續概述被聽來介紹本文所描述的新穎以及非顯而易見技術的概念、亮度、益處以及優勢。選擇以及不是所有的實施方式都在細節描述中被進一步描述。因此，後續概述不旨在識別所要求保護主題的基本特徵，也不旨在決定所要求保護主題的範圍。

本發明提供了對塊分割應用約束的視頻系統的一些實施例。該系統從一位元流中接收一分割控制參數，該分割控制參數指定用於啟用三元樹(TT)拆分的一最大塊尺寸被約束為64或更小。該系統從待解碼為一視訊的一當前圖像的一當前塊的一像素塊的一位元流接收資料。該系統將該當前塊遞迴地拆分成一個或多個分割，其中TT拆分不被允許用於該當前塊的一分割除非該分割小於或等於該最大塊尺寸。該系統重構該當前塊的該一個或多個分割。

在一些實施例中，在包括該當前塊的一條帶的一條帶標頭中發信該分割控制參數。該分割控制參數在該當前圖像的一圖像標頭中被發信。該分割控制參數可以在包括該當前圖像的一視訊圖像序列的一序列參數集(SPS)中被發信。在一些實施例中，SPS或圖像標頭設置該分割控制參數的一預設值，其可以由包括該當前塊的條帶標頭來覆寫。

在一些實施例中，該分割控制參數藉由參考四叉樹拆分葉塊的一最小尺寸指定該最大塊尺寸，例如藉由使用(i)可以由三元樹拆分進一步分割的一塊的該最大塊尺寸的底為2的對數與(ii)該四叉樹拆分葉塊的該最小尺寸的底為2的對數之間的差異指定該分割控制參數。該四叉樹拆分葉塊的該最小尺寸被約束為64與一編碼樹塊尺寸之間的一較小值。其中用於啟用TT拆分的該最大塊尺寸被進一步約束為小於一編碼樹塊尺寸

該四叉樹拆分葉塊的該最小尺寸藉由參考一最小編碼塊尺寸來指定，以及該四叉樹拆分葉塊的該最小尺寸藉由使用(i)該四叉樹拆分葉塊的該最小尺寸的底為2的對數與(ii)該最小編碼塊尺寸的底為2的對數之間的差異來指定。

在一些實施例中，該最大塊尺寸基於虛擬管線資料單元(VPDU)的尺寸來決定，以及該最大塊尺寸基於確保每一VPDU可以由相同的管線階段完整地處理來定義。

在後續細節描述中，以示例的方式給出了許多具體細節以提供本發明的透徹理解。基於本文所描述教導的任何變體、衍生與/或拓展都在本發明的保護範圍內。在一些情況下，為了不必要地混淆本發明的教導的方面，本文所公開的一個或多個示例性實施方式的公知的方法、進程、元件與/或電路在相對較高層級而沒有詳細描述。I ．塊分割結構

第1圖示出了用於表示將CTU分割成多個CU的編碼樹結構。實線指示CU邊界以及虛線指示TU邊界。第2圖示出了HEVC中定義的將CU拆分成多個PU的8種類型的分割。A. 二元樹 (BT) 塊分割

在一些實施例中，二元樹塊分割結構被用於分割塊。在二元樹拆分結構中，塊可以被遞迴地拆分成兩個更小的塊或分割。

第3圖示出了將CU拆分成兩個分割的各種拆分類型，包括可以垂直或水準分割CU的不同的對稱以及非對稱拆分類型。對於一些實施例，最有效以及最簡單的拆分類型是對稱水準以及垂直拆分，僅這兩個拆分類型被用於二元樹拆分結構。

對於尺寸M×N的給定塊，語法元素bt_split_flag可以被發信來指示是否將塊拆分成兩個更小的塊。如果旗標為真，另一個語法元素bt_split_mode被發信來指示使用了哪一拆分類型(即，水準或垂直)。如果使用了水準拆分，塊被拆分成尺寸M×N/2的兩個更小塊。否則，如果使用了垂直拆分，那麼塊被拆分成尺寸M/2×N的兩個更小塊。二元樹拆分進程可以被遞迴地應用直到當前塊尺寸(寬度或高度)達到最小塊尺寸(寬度或高度)，其可以在高層級語法集(如SPS)中定義。因為二元樹具有兩個拆分類型(即，水準以及垂直)，可以指示最小塊寬度以及高度。當拆分將大致塊高度小於所指示的最小值時，暗示非水準拆分。當拆分將導致寬度小於所指示的最小值時，暗示非垂直拆分。

第4圖示出了塊分割(左)以及其對應二元樹(右)的示例。對於二元樹的每一拆分(即，非葉)節點，一個旗標被發信來指示使用了哪一拆分類型(水準或垂直)，“0”表示水準拆分以及“1”表示垂直拆分。B ．四叉樹 + 二元樹 (QTBT) 塊分割

在一些實施例中，四叉樹加二叉樹(QTBT)結構被採用用於將CU分割成更小的CU。每一CTU可以包含一個CU或者首先使用四叉樹拆分結構拆分成多個更小的CU。四叉樹拆分可以被遞迴地應用於CU直到當前CU的尺寸達到最小四叉樹葉節點尺寸。如果當前四叉樹塊不大於最大二元樹根節點尺寸，其可以使用二元樹拆分結構進一步進行分割。二元樹拆分可以被遞迴地應用直到當前CU尺寸(寬度或高度)達到最小二元樹葉節點尺寸(寬度或高度)或當前二元樹深度達到最大二元樹深度。有兩個拆分類型，對稱水準拆分以及對稱垂直拆分。二元樹葉節點與CU相關聯。對於二元樹的每一拆分(即，非葉)節點，一個旗標被發信來指示使用了哪一拆分類型(水準或垂直)。“0”水準拆分以及“1”指示垂直拆分。最小四叉樹葉節點尺寸、最大二元樹根節點尺寸、最小二元樹葉節點寬度以及高度，以及最大二元樹深度可以在高層級語法集合中指示。第5圖示出了塊分割(左)以及其對應的QTBT(右)的示例。實線指示四叉樹拆分以及虛線指示二元樹拆分。C. 多類型樹 (MTT) 塊分割

在多類型樹(MTT)結構中，水準以及垂直中心側三元樹(TT)被進一步添加到QTBT結構中用於拆分CU。第6圖示出了使用五個拆分類型之一的將CU拆分成多個更小的CU。拆分類型(d)以及(e)被稱為三叉樹或三元樹拆分類型以及可以被採用來將塊拆分成三個更小的塊，所有在一個空間維度具有減小的尺寸而在其他空間維度保持相同的尺寸。當前CU的二元樹深度btDepthC在MTT結構中根據如下來定義： btDepthC = log2( (widthR * heightR) / (widthC * heightC))

其中，widthC以及heightC分別表示當前CU的寬度以及高度，以及widthR與heightR分別表示對應的MTT根節點的寬度以及高度，以及函數log2(x)是x的底為2的對數。

在一些實施例中，每一編碼樹單元(CTU)可以由具有嵌入的多類型樹(使用二元以及三元拆分)的四叉樹來分割成一個或多個較小尺寸的CU。語法元素split_cu_flag首先被發信來指示當前編碼單元是否被進一步拆分成不止一個編碼單元。當split_cu_flag等於0時，當前CU是葉節點以及不被進一步拆分。否則，當前CU被進一步分割，以及語法元素split_qt_flag被進一步發來指示當前編碼單元是否由四叉樹拆分來分割。當split_qta_flag等於1時，當前CU由四叉樹拆分被進一步分割成四個CU，具有一半的水準以及垂直尺寸。否者，語法元素mtt_split_cu_vertical_flag以及mtt_split_cu_binary_flag被發信來指示所選擇的MTT拆分的方向(垂直或水準)以及類型(二元或三元樹)。II. 用於分割的塊尺寸的約束

虛擬管線資料單元(VPDU)被定義為圖像中的非重疊的M×M-亮度(L)/N×N-色度(C)單元。在硬體解碼器中，連續的VPDU由多個管線階段同時處理以及不同的階段同時處理不同的VPDU。VPDU的尺寸大致與大部分管線階段的緩衝器尺寸成比例。在HEVC硬體解碼器中，VPDU尺寸通常被設置為匹配最大變換塊(TB)尺寸，其被稱為最大允許的塊尺寸，或MaxTbSizeY。

在一些實施例中，為了減少已編解碼視訊中的VPDU尺寸，CU分割根據後續來約束：(1)對於包含一個或多個CU的每一VPDU，CU被完整包含於VPDU中。(2)對於包含一個或多個VPDU的每一CU，VPDU被完整包含於CU中。(3)CU的處理順序不能留下一個VPDU，以後再訪問。這確保每一VPDU可以由相同的管線階段完全處理。

第7圖示出了當基於VPDU的約束被應用時像素塊的相容以及非相容的分割結構。圖式示出了可以被進一步分割用於編解碼的塊700(如，CTU)。塊700的尺寸是128×128亮度樣本。塊700被處理為四個VPDU(701-704)(由虛線拆分)，每一VPDU對應於64×64亮度樣本區域。

圖式示出了各種示例性方案(a)通過(i)用於將塊700分割成多個CU。一些分割方案與VPDU相容而其他則不。具體的，因為每一VPDU包含一個或多個CU，CU被完整包含於VPDU中，以及對於包含一個或多個VPDU的每一CU，VPDU被完整地包含於CU中，分割方案(a)、(b)、(c)以及(d)導致CU與VPDU相容。這確保不需要將VPDU作為一個CU的部分進行部分處理，並在以後作為另一個CU的一部分進行重新訪問。

分割方案(e),(f),(g),(h),(i),(j),(k)，(i)生成與VPDU相容的多個CU，因為每一方案需要待部分處理的至少一個VPDU作為一個CU的部分以及稍後重訪作為另一個CU的部分。換言之，存在跨越多個管線階段的至少一個VPDU。

在一些實施例中，當被允許用於當前塊的TT拆分基於VPDU約束來決定時，如，由於管線限制的最大允許的塊尺寸。可以基於後續參數決定TT拆分是否被允許： - 三元拆分模式ttSplit - 亮度樣本中的編碼塊寬度cbWidth - 亮度樣本中的編碼塊高度cbHeigth - 所考慮編碼塊的左上亮度樣本相對于圖像的左上亮度樣本的位置(x0,y0) - 多類型樹深度mttDepth - 具有偏移的最大多類型樹深度maxMttDepth - 最大三元樹尺寸maxTtSize - 變數treeType指定單樹(SINGLE_TREE)或雙樹是否用於分割編碼樹節點，以及當雙樹被使用時，亮度(DUAL_TREE_LUMA)或色度分量(DUAL_TREE_CHROMA)當前是否被處理。 - 變數modeType指定幀內(MODE_INTRA)、IBC(MODE_IBC)以及幀間編碼模式是否可以被使用(MODE_TYPE_ALL)，或者是否僅幀內以及IBC編碼模式可以被使用(MODE_TYPE_INTRA)，或者是否僅幀間編碼模式(MODE_TYPE_INTER)可以用於編碼樹節點內的編碼單元。

這些參數用於決定變數“allowTtSplit”。根據以下，變數cbSize基於ttSplit來推導：

	ttSplit = = SPLIT_TT_VER	ttSplit = = SPLIT_TT_HOR
cbSize	cbWidth	cbHeight

變數allowTtSplit根據後續來推導：(由MaxTbSizeY指示的VPDU尺寸) - 如果一個或多個後續條件為真，allowTtSplit被設置為FALSE： - cbSize小於或等於2*MinTtSizeY - cbWidth大於Min(MaxTbSizY, maxTtSize) - cbHeight大於Min(MaxTbSizY, maxTtSize) - mttDepth大於或等於maxMttDepth - x0 + cbWidth大於pic_width_in_luma_samples - y0 + cbHeight大於pic_height_in_luma_samples - treeType等於DUAL_TREE_CHROMA以及(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小於或等於32 - treeType等於DUAL_TREE_CHROMA以及(cbWidth/SubWidthC)等於8以及TTSplit等於SPLIT_TT_VER - treeType等於DUAL_TREE_CHROMA以及modeType等於MODE_TYPE_INTRA - cbWidth*cbHeight等於64以及modeType等於MODE_TYPE_INTER - 否則，允許TTSplit被設置為等於TRUE。

在一些實施例中，涉及CU分割結構的高層級語法參數基於管線處理的限制來指定，即，當分割CU時實施VPDU相關的約束(如，最大允許的塊尺寸)。在一些實施例中，視訊編解碼系統可以包括一個或多個語法元素用於推導最大允許的塊尺寸的值用於在相關的資料結構中啟用TT拆分。

在一些實施例中，用於啟用TT拆分的最大允許的塊尺寸的值被約束用於位元流一致性需求。因此，為了決定TT拆分對當前CU是否是允許的，視訊編解碼系統可以僅測試當前CU的寬度或高度是否大於用於啟用TT拆分的最大允許的塊尺寸，以及不進一步測試用於每一當前CU的VPDU尺寸。例如，當VPDU尺寸等於64時，視訊編解碼系統可以約束在位元流中發信的用於啟用TT拆分的最大允許的塊尺寸小於或等於64。

在一些實施例中，參數maxTtSize被約束為小於或等於64，其中變數maxTtSize從指示用於啟用TT拆分的最大允許的塊尺寸的一個或多個已編碼語法元素值來推導。在一些實施例中，變數maxTtSize從已編解碼的高層級語法元素log2_diff_max_tt_min_t來推導，根據： maxTtSize = 1 ＜＜ ( log2_diff_max_tt_min_tt + log2MinMaxTT )

在log2_diff_tt_min_tt的最大允許值等於Min(6,CtbLog2SizeY) – log2MinMaxTT的約束下。變數log2MinMaxTT指示最大TT尺寸的允許的最小值的底為2的對數以及CtbLog2SizeY指示所指定的CTB尺寸的底為2的對數。

決定TT拆分是否被允許用於當前CU的進程可以被進一步簡化。因此，變數allowTtSplict被推導如下： - 如果一個或多個下列條件為真，allowTtSplit被設置為等於FALSE： - cbsize小於或等於2*MinTtSizeY - cbheight大於maxTtSize - cbheight大於maxTtSize - mttDepth大於或等於maxMttDepth - x0 + cbWidth大於pic_width_in_luma_samples - y0 + cbHeight大於pic_height_in_luma_samples - treeType等於DUAL_TREE_CHROMA以及( cbWidth / SubWidthC ) * ( cbHeight / SubHeightC )小於或等於32 - treeType等於DUAL_TREE_CHROMA以及(cbwidth/subwidthC)等於8以及ttSplit等於SPLIT_TT_VER - treeType等於DUAL_TREE_CHROMA以及modeType等於MODE_TYPE_INTRA - cbWidth * cbHeight等於64以及modetype等於MODE_TYPE_INTER - 否則，allowTtSplit被設置為等於TRUE。

為了滿足VDPU約束，在一些實施例中，變數minQtSizeY以及minQtSizeC從分別指示最小允許的塊尺寸用於亮度以及色度的QT葉節點的一個或多個已編碼語法元素值來推導，當幀內雙樹模式被啟用時，變數minQtSizeY以及minQtSizeC的值在幀內條帶中被約束為小於或等於64。在一些實施例中，當幀內雙樹模式被啟用時，變數minQtSizeY以及minQtSizeC的值在幀內條帶中被約束為小於或等於Min(64, CtbSizeY)，其中變數minQtSizeY以及minQtSizeC從分別為亮度以及色度指示亮度樣本的最小允許的塊尺寸擁有QT葉節點的一個或多個已編解碼的語法元素值來推導，以及變數CtbSizeY指示已編解碼視訊序列中亮度樣本中的CTB尺寸。

在一些實施例中，當幀內雙樹模式被啟用時，尺寸大於64的當前CU可以被進一步拆分成多個較小的CU，每一者被包含於由四叉樹拆分的VPDU區域內。

在一些實施例中，變數minQtSizeY以及minQtSizeC的值被約束為小於或等於Min(64, CtbSizeY)用於所有條帶類型。因此，當尺寸大於64的當前CU部分交叉(或跨越交叉)右邊或底部圖像邊界時，當前CU可以被進一步由四叉樹拆分來拆分成多個較小的CU。III. 分割深度的約束

在一些實施例中，與最大MTT深度相關的約束參數被指定。約束參數用於基於具有使用二元拆分與/或三元拆分的嵌入式多類型樹的四叉樹控制CU分割結構。根據本發明的一方面，當最小QT尺寸大於最小編碼塊尺寸時，最大MTT深度被約束為大於0。在一些實施例中，當最小QT尺寸大於最小編碼塊尺寸時，最大MTT深度被約束為大於0。

在一些實施例中，SPS語法元素log2_ctu_size_minus5加5指定每一CTU的亮度編碼樹塊尺寸(的底為2的對數)。根據以下，語法元素log2_ctu_size_minus5可以用於推導ctblog2SizeY以及ctbSizeY： CtbLog2SizeY = log2_ctu_size_minus5 + 5 CtbSizeY = 1 ＜＜ CtbLog2SizeY

在一些實施例中，SPS語法元素log2_min_luma_coding_block_size_minus加2指定最小亮度編碼塊尺寸的底為2的對數。語法元素log2_min_luna_coding_block_size_minus2可以用於推導亮度樣本中CB的最小尺寸，標記為MinCbLog2SizeY或MinCbSizeY。在一些實施例中，MinCbSizeY被約束為小於或等於Min(64, CtbSizeY)。MinCbLog2SizeY以及MinCbSizeY可以根據以下來推導： MinCbLog2SizeY = log2_min_luma_coding_block_size_minus2 + 2 MinCbSizeY = 1 ＜＜ MinCbLog2SizeY

在一些實施例中，條帶標頭(SH)語法元素slice_log2_diff_qt_min_cb_luma指定從CTU的QT拆分生成的亮度也塊的亮度樣本中最小尺寸的底為2對數與當前條帶中用於亮度CU的亮度樣本的最小編碼塊尺寸的底為2對數之間的差異。

在一些實施例中，條帶標頭(slice header，SH)語法元素slice_max_mtt_hierarchy_depth_luma指定從當前條帶的四叉樹葉的多類型樹拆分生成的編碼單元的最大層次深度。當slice_max_mtt_hierarchy_depth_luma為非0時，語法元素slice_log2_diff_max_bt_min_qt_luma以及slice_log2_diff_max_tt_min_qt_luma在當前條帶標頭中被編解碼。條帶標頭語法元素slice_log2_diff_max_bt_min_qt_luma指定可以使用二元拆分來拆分的亮度編碼塊的最大尺寸(寬度或高度)(或底為2的對數)與從當前條帶中CTU的四叉樹拆分生成的亮度葉塊的最小尺寸(亮度樣本中的寬度或高度)(底為2的對數)之間的差異。SH語法元素slice_log2_diff_max_tt_min_qt_luma指定可以使用三元拆分來拆分的亮度編碼塊的最大尺寸(亮度樣本中的寬度或高度)(的底為2的對數)與從當前條帶中CTU的四叉樹拆分生成的亮度葉塊的最小尺寸(亮度樣本中的寬度或高度)(的底為2的對數)之間的差異。

變數MinQtLog2SizeY或者MinQtSizeY指示從CTU的QT拆分生成的亮度葉塊的亮度樣本的最小尺寸。slice_log2_diff_max_bt_min_qt_luma以及slice_log2_diff_max_tt_min_qt_luma的值被約束為0到CtbLog2SizeY − MinQtLog2SizeY的範圍，包括0以及CtbLog2SizeY − MinQtLog2SizeY。MinQtSizeY被約束為(MinCbSizeY, Min(64,CtbSizeY))的範圍，包括MinCbSizeY以及Min(64,CtbSizeY)。

語法元素slice_log2_diff_min_qt_min_cb_luma可以用於根據如下推導MinQtLog2SizeY以及MinQtSizeY： MinQtLog2SizeY = MinCbLog2SizeY + slice_log2_diff_min_qt_min_cb_luma MinQtSizeY = 1 ＜＜ MinQtLog2SizeY

因為MinQtSizeY的值被約束在(MinCbSizeY, Min(64,CtbSizeY))的範圍內，slice_log2_diff_min_qt_min_cb_luma的範圍是0到Min(6,CtbLog2SizeY) – MinCbLog2SizeY，包括0以及Min(6,CtbLog2SizeY) – MinCbLog2SizeY。

變數MaxBtSizeY指示可以使用二元拆分來拆分的亮度編碼塊的亮度樣本中的最大尺寸。變數MaxBtSizeY被推導如下： MaxBtSizeY = 1 ＜＜ ( MinQtLog2SizeY + slice_log2_diff_max_bt_min_qt_luma )

在一些實施例中，最大BT尺寸被約束為大於或等於最小QT尺寸。這樣，當當前編碼塊(作為分割的結果)達到最小QT尺寸時，編碼塊可以被進一步遞迴地使用二元拆分來分割直到當前編碼塊等於最小編碼塊尺寸。在一些實施例中，最大TT尺寸被約束為大於或等於最小QT尺寸。這樣，當當前編碼塊(作為分割的結果)達到最小QT尺寸時，編碼塊可以被進一步反覆運算地使用三元拆分來分割直到當前編碼塊等於最小編碼塊尺寸。

變數MaxTtSizeY指示可以使用三元拆分來拆分的亮度編碼塊的亮度樣本的最大尺寸。變數MaxTtSizeY可以從語法元素slice_log2_diff_max_tt_min_qt_luma來推導，如下： MaxTtSizeY = 1 ＜＜ ( MinQtLog2SizeY + slice_log2_diff_max_tt_min_qt_luma )

因為MaxTtSizeY在MinQtSize到Min (64, CtbSizeY)的範圍內，slice_log2_diff_max_tt_min_qt_luma在0到Min(6,CtbLog2SizeY) – MinQtLog2SizeY的範圍內。

在一些實施例中，條帶標頭語法元素slice_log2_diff_min_qt_min_cb_chroma、slice_log2_diff_max_bt_min_qt_chroma以及slice_log2_diff_max_tt_min_qt_chroma分別指定色度編碼塊(的亮度樣本)的最小QT尺寸、最大BT尺寸以及最大TT尺寸。在一些實施例中，這三個SH語法元素的預設值由SPS中相關對應的語法元素指定。例如，在一些實施例中，可以有對應的SPS參數sps_log2_diff_min_qt_min_cb_chroma、sps_log2_diff_max_bt_min_qt_chroma以及sps_log2_diff_max_tt_min_qt_chroma在SPS層級分別指定色度編碼塊的(亮度樣本)的最小QT尺寸、最大BT尺寸以及最大TT尺寸。

在一些實施例中，所推導的最大BT尺寸以及最大TT尺寸可以大於或等於最小QT尺寸。因此，當當前編碼塊達到最小QT尺寸以及二元或三元拆分被啟用時，當前編碼塊可以使用二元或三元拆分被進一步遞迴地分割直到當前編碼塊等於最小編碼塊尺寸。然而，當slice_max_mtt_hierarchy_depth_luma等於0時，二元拆分以及三元拆分都被禁用。在一些實施例中，如果最小QT尺寸大於最小編碼塊尺寸，沒有編碼塊可以被拆分成最小編碼塊，因為這可以對分割沿著圖像邊界的CU造成問題，其中每一超出邊界的CU需要被進一步反覆運算地分割直到整個CU在圖像邊界內。在一些實施例中，當slice_log2_diff_min_qt_min_cb_luma 為非0時，syntax slice_max_mtt_hierarchy_depth_luma被約束為大於0。

第8圖概念地示出了用於控制像素塊800的分割結構的約束參數。像素塊800可以使用QT以及MTT兩者分割的CTU。圖式一起示出了CTU 800以及示出CTU 800的部分分割結構的樹810。

CTU 800的尺寸是128×128。CTU 800被約束為不允許MTT(如,TT)拆分用於尺寸大於64的分割。換言之，MTT拆分不允許用於CTU 800，但MTT拆分被允許用於64×64或更小的CTU 800的QT拆分。為了確保每一VPDU可以由相同的管線階段完整地處理，MTT的這一最大允許塊尺寸可以基於VPDU的尺寸來決定。

藉由參考QT葉的最小尺寸(變數minQTSizeY)用於TT的最大允許尺寸(如，變數MaxBtSizeY或MaxTtSizeY)也可以被發信，例如，用於MTT的最大允許尺寸可以表達為MaxTtSizeY的底為2的對數與MinQtSizeY的底為2對數之間的差異，如slice_log2_diff_max_tt_min_qt_luma或者圖像標頭或SPS中對應訊號。QT葉的最小尺寸可以藉由參考CB的最小尺寸(變數MinCbSizeY)來發信。例如，QT葉的最小尺寸可以被變大為MinQtSizeY的底為2對數與MinCbSizeY的底為2的對數之間的差異，如slice_log2_diff_min_qt_min_cb_luma或者圖像標頭或SPS中對應的訊號。IV. 發信塊分割結構

在一些實施例中，關於最大MTT深度的資訊基於最小QT尺寸的底為2的對數與最小編碼塊尺寸的底為2的對數之間的差異來發信。在一些實施例中，MaxMttDepthY指示從四叉樹葉的多類型樹拆分生成的編碼單元的最大層次深度在(0, 2*(CtbLog2SizeY-MinCbLog2SizeY))的範圍內，包括0以及2*(CtbLog2SizeY-MinCbLog2SizeY)。變數MaxMttDepthY可以被推導如下： MaxMttDepthY = slice_max_mtt_hierarchy_depth_luma + ( ( 1 + slice_log2_diff_min_qt_min_cb_luma ) ＞＞ 1).

在一些實施例中，用於控制CU分割結構的約束參數被指定。在一些實施例中，當當前編碼塊達到(或具有)最小QT尺寸時，只要至少一個MTT拆分類型(BT以及TT)仍被啟用，其被允許被進一步遞迴地拆分直到最小編碼塊尺寸。視訊編碼器可以發信最大BT尺寸或最大TT尺寸為小於最小QT尺寸，當當前MTT深度為非0時，其中至少一個最大BT尺寸以及最大TT尺寸被約束為大於或等於最小QT尺寸。因此，所指定的MTT結構可以禁用MTT拆分類型之一用於大於尺寸約束的編碼塊，尺寸約束為小於最小QT尺寸。具體地，藉由指定對應的尺寸約束等於最小編碼塊尺寸，視訊編碼器可以禁用僅一個MTT類型。

在一些實施例中，發信第一MTT類型的最大尺寸的第一語法元素指定該第一MTT類型的亮度樣本中最大尺寸(的底為2的對數)與當前條帶中亮度CU的亮度樣本中最小編解碼塊尺寸(的底為2的對數)之間的差異。當第一MTT類型的最大尺寸小於最小QT尺寸以及該最小QT尺寸大於最小編碼塊尺寸時，發信第二MTT類型的最大尺寸的第二語法元素指定該第一MTT類型的亮度樣本中最大尺寸(的底為2的對數)與從當前條帶的CTU的四叉樹拆分生成的亮度葉塊的亮度樣本中最小尺寸(寬度或高度)(的底為2的對數)之間的差異。否則發信第二MTT類型的最大尺寸的第二語法元素指定第二MTT類型的亮度樣本中最大尺寸(的底為2的對數)與當前條帶中亮度CU的亮度樣本中最小編碼塊尺寸(的底為2的對數)之間的差異。

表1提供了用於指定塊分割結構的條帶標頭(SH)的示例性語法表。語法允許所指定的最大尺寸小於最小QT尺寸的一個MTT類型。表1

slice_header( ) {	Descriptor
….
if( partition_constraints_override_enabled_flag ) {
partition_constraints_override_flag	ue(v)
if( partition_constraints_override_flag ) {
slice_log2_diff_min_qt_min_cb_luma	ue(v)
slice_max_mtt_hierarchy_depth_luma	ue(v)
if( slice_max_mtt_hierarchy_depth_luma != 0 ) {
slice_log2_max_bt_luma	ue(v)
slice_log2_max_tt_luma	ue(v)
}
if( slice_type = = I && qtbtt_dual_tree_intra_flag ) {
slice_log2_diff_min_qt_min_cb_chroma	ue(v)
slice_max_mtt_hierarchy_depth_chroma	ue(v)
if( slice_max_mtt_hierarchy_depth_chroma != 0 ) {
slice_log2_max_bt_chroma	ue(v)
slice_log2_max_tt_chroma	ue(v)
}
}
}
}
….
}

變數MaxBtSizeY以及MaxTtSizeY根據如下來推導： MaxBtSizeY = 1 ＜＜ ( MinCbLog2SizeY + slice_log2_max_bt_luma ) MaxTtSizeY = 1 ＜＜ ( ( ( MaxBtSizeY ＜ MinQtSizeY && MinQtLog2SizeY ＞ MinCbLog2SizeY ) ? MinQtLog2SizeY : MinCbLog2SizeY ) + slice_log2_max_tt_luma ).

在一些其他實施例中，變數MaxBtSizeY以及MaxTtSizeY根據如下來推導： MaxBtSizeY = 1 ＜＜ ( MinCbLog2SizeY + slice_log2_max_bt_luma ) MaxTtSizeY = 1 ＜＜ ( ( ( MaxBtSizeY ＜ MinQtSizeY ) ? MinQtLog2SizeY : MinCbLog2SizeY ) + slice_log2_max_tt_luma ).

在一些其他實施例中，發信第一MTT類型的最大尺寸的第一語法元素指定該第一MTT類型的亮度樣本的最大尺寸的底為2的對數與當前條帶中亮度CU的亮度樣本中最小編碼塊尺寸的底為2的對數之間的差異。發信第二MTT類型的最大尺寸的第二語法元素指定第二MTT類型的亮度樣本中最大尺寸的底為2的對數與當前條帶中亮度CU的亮度樣本中最小編碼塊尺寸的底為2的對數。變數MaxBtSizeY以及MaxTtSizeY根據如下來推導： MaxBtSizeY = 1 ＜＜ ( MinCbLog2SizeY + slice_log2_max_bt_luma ) MaxTtSizeY = 1 ＜＜ ( MinCbLog2SizeY + slice_log2_max_tt_luma )

在一些實施例中，MaxBtSizeY變數MaxBtSizeY以及的至少一個值被約束為大於或等於MinQtSizeY。

值得注意的是，當雙樹分割模式被啟用時(qtbtt_dual_tree_intra_flag equal等於1)，所提出的方法以及相關實施例可以被進一步應用來指定其他相關語法元素來在幀內條帶的條帶標頭中發信最大BT尺寸以及最大TT尺寸用於拆分色度編解碼塊。所提出的方法以及相關實施例可以被進一步應用來指定其他相關語法元素來在SPS中發信默認最大BT尺寸以及默認最大TT尺寸。

在一些實施例中，當當前編碼塊達到最小QT尺寸時，其被允許被進一步遞迴地分割直到達到最小編碼塊尺寸(由如：啟用二元或三元拆分用於編碼塊尺寸小於或等於最小QT尺寸而對二元或三元拆分的最大尺寸沒有任何約束)。在一些實施例中，在最大BT尺寸大於或等於最小QT尺寸的約束下，視訊編碼器可以發信最大TT尺寸小於最小QT尺寸。因此，所指定的MTT結構可以禁用尺寸大於所指定尺寸約束的編碼塊的三元拆分，即小於最小QT尺寸。具體地，藉由指定對應的最大尺寸約束為等於最小編碼塊尺寸，視訊編碼器可以有效地禁用三元拆分。

在一些實施例中，發信二元拆分類型的最大尺寸的語法元素指定可以使用二元拆分來拆分的亮度編碼塊(亮度樣本)的最大尺寸(底為2的對數)與亮度葉塊(其從當前條帶的CTU的四叉樹拆分來生成)的最小編碼塊尺寸(亮度樣本的寬度或高度)(底為2的對數)的差異。發信三元類型的最大尺寸的另一個語法元素指定可以使用三元拆分來拆分的亮度編碼塊的最大尺寸(亮度樣本的寬度或高度)(底為2的對數)與當前條帶中亮度CU的亮度樣本的最小塊尺寸(底為2的對數)之間的差異。表2提供了可以支援所指定最大尺寸小於最小QT尺寸的三元拆分類型的條帶標頭的示例性語法表。表2

slice_header( ) {	Descriptor
….
if( partition_constraints_override_enabled_flag ) {
partition_constraints_override_flag	ue(v)
if( partition_constraints_override_flag ) {
slice_log2_diff_min_qt_min_cb_luma	ue(v)
slice_max_mtt_hierarchy_depth_luma	ue(v)
if( slice_max_mtt_hierarchy_depth_luma != 0 ) {
slice_log2_diff_max_bt_min_qt_luma	ue(v)
slice_log2_diff_max_tt_min_cb_luma	ue(v)
}
if( slice_type = = I && qtbtt_dual_tree_intra_flag ) {
slice_log2_diff_min_qt_min_cb_chroma	ue(v)
slice_max_mtt_hierarchy_depth_chroma	ue(v)
if( slice_max_mtt_hierarchy_depth_chroma != 0 ) {
slice_log2_diff_max_bt_min_qt _chroma	ue(v)
slice_log2_diff_max_tt_min_cb _chroma	ue(v)
}
}
}
}
….
}

變數MaxBtSizeY指示允許BT拆分的亮度CB的最大尺寸。變數MaxTtSizeY指示允許TT拆分的亮度CB的最大尺寸。MaxBtSizeY以及MaxTtSizeY在MinQtSize到Min (64, CtbSizeY)的範圍內，包括MinQtSize以及Min (64, CtbSizeY)。MaxBtSizeY以及MaxTtSizeY被推導如下： MaxBtSizeY = 1 ＜＜ ( MinQtLog2SizeY + slice_log2_diff_max_bt_min_qt_luma ) MaxTtSizeY = 1 ＜＜ (MinCbLog2SizeY + slice_log2_diff_min_tt_min_cb_luma ).

變數MaxBtSizeC指示允許BT拆分的色度CB的最大尺寸。變數MaxTtSizeY指示允許TT拆分的色度CB的最大尺寸。變數MaxBtSizeC以及MaxTtSizeC被推導如下： MaxBtSizeC = 1 ＜＜ ( MinQtLog2SizeC + slice_log2_diff_max_bt_min_qt_chroma ) MaxTtSizeC = 1 ＜＜ ( MinCbLog2SizeY + slice_log2_diff_min_tt_min_cb_chroma )

值得注意的是，當雙樹分割模式被啟用時(qtbtt_dual_tree_intra_flag等於1)，節II到IV中描述的方法以及相關的實施例可以被進一步應用於其他相關語法元素用於在幀內條帶的條帶標頭中發信推導最大MTT深度的資訊，來拆分色度編碼塊。所提出的方案可以被進一步應用於在圖像標頭發信相關約束參數。所提出的方案以及相關實施例也可以被應用於其他相關語法元素用於在SPS發信推導預設最大MTT深度的資訊。例如，有對應於條帶標頭參數的圖像標頭參數以及SPS參數，如在序列或圖像層級設置預設值用於這些參數的slice_log2_diff_max_tt_min_qt_luma以及slice_log2_diff_min_qt_min_cb_luma。

任何前述提出的方案可以在編碼器與/或解碼器中實施。例如，任何提出的方法可以在編碼器的熵編碼(或高層級語法編碼)模組，與/或解碼器的熵解碼(或高層級語法解碼)模組中實施。或者，任何前述提出的方法可以被實施為集成到編碼器的熵編碼(或高層級語法編碼)模組與/或解碼器的熵解碼(或高層級語法解碼)模組的電路。任何前述提出的方法也可以在圖像編碼器與/或解碼器中實施，其中所生成的位元流對應於僅使用幀內圖像預測的一個已編解碼幀。V. 示例性视频编码器

第9圖示出了發信關於塊分割的約束的示例性視訊編碼器900。如圖所示，視訊編碼器900從視訊源905接收輸入視訊訊號以及將訊號編碼進位元流995。視訊編碼器900具有用於編碼來自視訊源905的訊號的各種元件或模組，至少包括從變換模組910、量化模組911、逆量化模組914、逆變換模組915、幀內圖像估計模組920、幀內預測模組925、運動補償模組930、運動估計模組935、環路濾波器945、重構圖像緩衝器950、MV緩衝器965、MV預測模組975以及熵編碼器990中選擇的一些元件。運動補償模組930以及運動估計模組935是幀間預測模組940的一部分。

在一些實施例中，模組910-990是由計算裝置或電子裝置的一個或多個處理單元(如，處理器)執行的軟體指令的模組。在一些實施例中，模組910-990是由電子裝置的一個或多個積體電路(IC)實施的硬體電路的模組。雖然模組910-990被示出為分離的模組，一些模組可以被組合成單個模組。

視訊源905提供表示未經壓縮的每一視訊幀的像素資料的原始視訊訊號。減法器908計算視訊源905的原始視訊像素資料與來自運動補償模組930或幀內預測模組925的已預測像素資料913之間的差異。變換模組910將該差異(或殘差像素資料或殘差訊號909)變換成變換係數(如，藉由執行離散余弦變換，或DCT)。量化模組911將該變換係數量化成已量化資料(或已量化係數)912，其由熵編碼器990編碼進位元流995。

逆量化模組914解量化已量化的資料(或已量化的係數)912來獲得變換係數，以及該逆變換模組915對該變換係數執行逆變換來生成重構的殘差919。重構的殘差919與已預測像素資料913相加來生成重構的像素資料917。在一些實施例中，重構的像素資料917被暫時地存儲在線性緩衝器(未示出)中用於幀內圖像預測以及空間MV預測。重構的像素由環路濾波器945進行濾波以及被存儲於重構圖像緩衝器950中。在一些實施例中，重構圖像緩衝器950是視訊編碼器900的外部存儲區。在一些實施例中，重構圖像緩衝器950是視訊編碼器900的內部存儲區。

幀內圖像估計模組920基於重構的像素資料917執行幀內預測來生成幀內預測資料。幀內預測資料被提供給熵編碼器990來被編碼進位元流995。幀內預測資料也由幀內預測模組925使用來生成已預測像素資料913。

運動估計模組935藉由生成MV來參數存儲於重構圖像緩衝器950中的先前已解碼幀的像素資料來執行幀間預測。這些MV被提供給運動補償模組930來生成已預測像素資料。

視訊編碼器900使用MV預測來生成已預測MV而不是在位元流中編碼完整實際的MV，以及用於運動補償的MV與已預測MV之間的差異被編碼為殘差運動資料以及被存儲於位元流995中。

MV預測模組975基於被生成用於編碼先前視訊幀的參考MV(即用於執行運動補償的運動補償MV)來生成已預測MV。MV預測模組975從來自MV緩衝器965的先前視訊幀檢索參考MV。視訊解碼器900在MV緩衝器965中存儲為當前視訊幀生成的MV作為用於生成已預測MV的參考MV。

MV預測模組975使用參考MV來創造已預測MV。該已預測MV可以由空間MV預測或時間MV預測來計算。已預測MV與當前幀的運動補償MV(MC MV)之間的差異由熵編碼器990編碼進位元流995。

藉由使用如上下文自我調整二進位算術編碼(CABAC)或霍夫曼編碼的熵編碼技術，熵編碼器990將各種參數以及資料編碼進位元流995。熵編碼器990將各種標頭元素、旗標與已量化的變換係數912以及殘差運動資料集作為語法元素一起編碼進位元流995。位元流995反過來被存儲於儲存裝置或通過如網路的通信媒介被傳輸到解碼器。

環路濾波器945對重構的像素資料執行濾波或光滑操作來減少編碼解的偽影，尤其是在像素塊的邊界。在一些實施例中，所執行的濾波操作包括樣本適應性偏移(SAO)。實施例中，濾波操作包括適應性環路濾波器(ALF)。

第10圖示出了實施塊分割約束的視訊編碼器900。特別地，分割引擎1010基於硬體約束(如，VPDU尺寸)以及率/失真資訊1015的集合生成分割約束1020的集合用於熵編碼器990。熵編碼器990編碼或發信分割約束1020的集合到位元流995。分割約束1020可以包括在視訊層級(如，序列、圖像、條帶、塊)的不同層級適用的約束以及由熵編碼器990在條帶標頭、圖像標頭、SPS等中被發信。分割約束1020可以包括最大MTT塊尺寸、最小QT葉尺寸等。分割引擎1010也提供分割結構1030到變換模組910以致變換模組可以根據分割結構1030對被編解碼的像素的當前塊(如，CTU)執行變換操作。

第11圖概念地示出了用於發信塊分割約束的進程1100。在一些實施例中，計算裝置的一個或多個處理單元(如，處理器)實施編碼器900，藉由執行存儲於電腦可讀媒介中的指令執行進程1100。在一些實施例中，實施解碼器900的電子裝置執行進程1100。

編碼器發信(在塊1110)在位元流中分割控制參數，指定用於啟用三元樹拆分的最大塊尺寸被約束為64或更小。

在一些實施例中，在包括當前塊的條帶的條帶標頭中發信的分割控制參數。分割控制參數可以在當前圖像的圖像標頭中發信。分割控制參數可以在包括當前圖像的視訊圖像的序列的序列參數集(SPS)中被發信。在一些實施例中，SPS或圖像標頭設置分割控制參數的預設值，其可以由包括當前塊的條帶標頭覆寫。

在一些實施例中，分割控制參數藉由參考四叉樹拆分葉塊的最小尺寸指定最大塊尺寸，例如，作為(i)塊可以進一步由三元樹拆分來分割的最大塊尺寸的底為2的對數以及(ii)四叉樹拆分葉塊的最小尺寸的底為2的對數之間的差異。四叉樹拆分葉塊的最小尺寸被約束為64與編碼樹塊尺寸之間的較小值。用於啟用TT拆分的最大塊尺寸被進一步約束為小於編碼樹塊尺寸。

四叉樹葉塊尺寸的最小尺寸可以藉由參考最小編碼塊尺寸來指定，以及四叉樹拆分葉塊的最小尺寸由使用(i)四叉樹拆分葉塊的最小尺寸的底為2對數與(ii)最小編碼塊尺寸的底為2對數之間的差異來指定。

在一些實施例中，基於虛擬管線資料單元(VPDU)的尺寸決定最大塊尺寸，以及基於確保每一VPDU可以由相同的管線階段完全處理來定義最大塊尺寸。

編碼器(在塊1120)接收待編碼進位元流中的視訊的當前圖像的當前塊的原始像素資料。

編碼器將當前塊遞迴地拆分(在塊1130)成一個或多個分割。除非分割小於或等於最大塊尺寸，編碼器不允許(在塊1135)TT拆分用於當前塊的分割，除非該分割小於或等於最大塊尺寸。

編碼器(在塊1140)將當前塊的一個或多個分割編碼進位元流。VI. 示例性視訊編碼器

第12圖示出了應用約束到塊分割的示例性視訊解碼器1200。如圖所示，視訊解碼器1200是接收位元流1295以及將位元流的內容解碼成視訊幀的像素資料用於顯示的圖像解碼或視訊解碼電路。視訊解碼器1200具有用於解碼位元流1295的多個元件或模組，包括從逆量化模組1211、逆變換模組1210、幀內預測模組1225、運動補償模組1230、環路濾波器1245、解碼圖像緩衝器1250、MV緩衝器1265、MV預測模組1275以及解析器1290選擇的一些元件。運動補償模組1230是幀間預測模組1240的一部分。

在一些實施例中，模組1210-1290是由計算裝置的一個或多個處理單元(如，處理器)執行的軟體指令的模組。在一些實施例中，模組1210-1290是由電子裝置的一個或多個IC實施的硬體電路的模組。雖然模組1210-1290被示出為分離的模組，一些模組可以被組合成單個模組。

解析器1290(或熵解碼器)根據由視訊編解碼或圖像編解碼標準定義到的語法執行初始解析。所解析的語法元素包括各種標頭元素、旗標以及已量化資料(或已量化係數)1212。解析器1290藉由使用如上下文適應性算術編解碼(CABAC)或霍夫曼編碼的熵編碼技術解析出各種語法元素。

逆量化模組1211解量化已量化的資料(或已量化係數)1212來獲得變換係數，以及逆變換模組1210對變換係數執行逆變換來生成重構的參數訊號1219。重構的殘差訊號1219與來自幀內預測模組1225或運動補償模組1230的已預測像素資料1213相加來生成已解碼像素資料1217。已解碼像素資料由環路濾波器1245進行濾波並存儲於解碼圖像緩衝器1250中。在一些實施例中，解碼圖像緩衝器1250是視訊解碼器1200的外部儲存區。在一些實施例中，解碼圖像緩衝器1250是視訊解碼器1200的內部儲存區。

幀內預測模組1225從位元流1295接收幀內預測資料並根據其，從存儲於解碼圖像緩衝器1250的已解碼像素資料1217生成已預測像素資料1213。在一些實施例中，解碼像素資料1217也被存儲於線性緩衝器(未示出)用於幀內圖像預測以及空間MV預測。

在一些實施例中，解碼圖像緩衝器1250的內容用於顯示。顯示裝置1255檢索解碼圖像緩衝器1250的內容直接用於顯示或者檢索解碼圖像緩衝器的內容到顯示緩衝器。在一些實施例中，顯示裝置通過像素傳輸接收來自解碼圖像緩衝器1250的像素值。

運動補償模組1230根據運動補償MV(MC MV)從存儲於解碼圖像緩衝器1250的解碼像素資料1217生成已預測像素資料1213。藉由將來自位元流1295的殘差運動資料與來自MV預測模組1275的已預測MV相加解碼這些運動補償MV。

MV預測模組1275基於被生成用於解碼先前視訊幀的參考MV生成已預測MV，如運動補償MV用於執行運動補償。MV預測模組1275從MV緩衝器1265檢索先前視訊幀的參考MV。視訊解碼器1200將為解碼當前視訊幀生成的運動補償MV存儲於MV緩衝器1265作為用於生成已預測MV的參考MV。

環路濾波器對已解碼像素資料1217執行濾波或光滑操作來減少編解碼的偽影，尤其在像素塊的邊界。在一些實施例中，所執行的濾波操作包括樣本適應性偏移(SAO)。在一些實施例中，濾波操作包括適應性環路濾波(ALF)。

第13圖示出了實施塊分割約束的視訊解碼器1200的部分。特別地，熵解碼器1290從位元流1295解析與塊分割相關的語法元素以及生成分割約束1320的集合。分割約束可以包括在視訊層次(如，序列、圖像、條帶、塊)的不同層級適用的約束以及可以在條帶標頭、圖像標頭、SPS等中被發信。分割約束1320可以包括最大MTT塊尺寸、最小QT葉尺寸等。根據分割約束1320，解碼器可以不允許超出最大塊尺寸的某些拆分模式。

所生成的分割約束1320被應用於分割引擎1310，其生成分割結構1330用於逆變換模組1210以致其可以根據分割結構對單個分割(如，CU)執行逆變換操作。

第14圖概念地示出了應用塊分割約束的進程1400。在一些實施例，計算裝置的一個或多個處理單元(如，處理器)實施解碼器來藉由執行存儲與電腦可讀媒介中的執行來執行進程1400。在一些實施例中，實施解碼器1200的電子裝置執行進程1400。

解碼器(在塊1410)從位元流接收分割控制參數，指定用於啟用三元樹(TT)拆分的最大塊尺寸。在一些實施例中，該最大塊尺寸被約束為64或更小。

在一些實施例中，在包括當前塊的條帶的條帶標頭中發信分割控制參數。該分割控制參數可以在該當前圖像的一圖像標頭中被發信。該分割控制參數可以在包括該當前圖像的視訊圖像的序列的序列參數集(SPS)中被發信。在一些實施例中，SPS或圖像標頭設置分割控制參數的預設值，其可以由包括當前塊的條帶標頭來覆寫。

在一些實施例中，藉由參考四叉樹拆分葉塊的最小尺寸，分割控制參數指定最大塊尺寸，例如藉由使用(i)塊可以由三元樹拆分來進一步分割的最大塊尺寸的底為2的對數與(ii)四叉樹拆分葉塊的最小尺寸的底為2的對數之間的差異。四叉樹拆分葉塊的最小尺寸被約束為64與編碼樹塊尺寸之間的較小值。用於啟用TT拆分的最大塊尺寸可以進一步被約束為小於編碼樹塊尺寸。

四叉樹拆分葉塊的最小尺寸可以藉由參考最小編碼塊尺寸來指定，以及四叉樹拆分葉塊的最小尺寸藉由使用(i)四叉樹拆分葉塊的最小尺寸的底為2的度數與(ii)該最小編碼塊尺寸的底為2的對數之間的差異來指定。

在一些實施例中，基於虛擬管線資料單元(VPDU)的尺寸決定最大塊尺寸，以及基於確保每一VPDU可以由相同的管線階段完整地處理來定義最大塊尺寸。

在一些實施例中，在包括當前塊的條帶的條帶標頭中發信分割控制參數。該分割控制參數可以在當前圖像的圖像標頭中被發信。該分割控制參數可以在包括當前圖像的視訊圖像的序列的序列參數集合(SPS)中被發信。在一些實施例中，SPS或圖像標頭設置用於分割控制參數的預設值，其可以由包括當前塊的條帶標頭來覆寫。

解碼器(在塊1420)從位元流接收待解碼為視訊的當前圖像的當前塊的像素塊。

解碼器(在塊1430)將當前塊遞迴地拆分成一個或多個分割。解碼器(在塊1435)禁用TT拆分用於當前塊的分割除非該分割小於或等於最大塊尺寸。

解碼器(在塊1440)重構該當前塊的一個或多個分割。

在一些實施例中，編碼器可以在位元流中發信(或生成)一個或多個語法元素，以致解碼器可以從位元流解析該一個或多個語法元素。VII. 示例性電子系統

許多上述描述的特徵以及應用被實施為軟體進程，其被指定為記錄在電腦可讀儲存媒介(也稱為電腦可讀媒介)上的一組指令。當這些指令由一個或多個計算或處理單元(如，一個或多個處理器、處理器核心或其他處理單元)執行時，使得處理單元執行指令中所指示的動作。電腦可讀媒介的示例包括但不限於CD-ROM、快速驅動器、隨機存取記憶體(RAM)晶片、硬碟驅動器、可擦可程式設計唯讀記憶體(EPROM)、電可擦可程式設計唯讀記憶體(EEPROM)等。電腦可讀媒介不包括無線傳輸或在有線連接上傳輸的載波以及電子訊號。

在本說明書中，術語“軟體”意為包括駐留於唯讀記憶體中的固件或者存儲與磁存儲中的應用，其可以被讀取到記憶體由處理器進行處理。另外，在一些實施例中，多個軟體發明可以被實施為較大成的子部分而保留軟體發明的獨立性。在一些實施例中，多個軟體發明也可以被實施為分離的程式。最後，分離程式的任何組合與本文所描述的軟體發明一起都在本發明的範圍內。在一些實施例中，當被安裝來操作一個或多個電子系統時，軟體成定義一個或多個特定機器實施方式，其執行以及允許軟體程式的操作。

第15圖概念地示出了可以實施本發明的一些實施例的電子系統1500。電子系統1500可以是電腦(如，臺式電腦、個人電腦、平板電腦等)、電話、PDA或者任何合適的電子裝置。這種電子裝置包括各種類型的電腦可讀媒介自己介面用於各種其他類型的電腦可讀媒介。電子系統1500包括匯流排1505、處理單元1510、影像處理單元(GPU)1515、系統記憶體1520、網路1525、唯讀記憶體1530、永久儲存裝置1535、輸入裝置1540以及輸出裝置1545。

匯流排1505共同表示通信地連接電子系統1500的多個內部裝置的所有系統、週邊設備以及晶片集匯流排。例如，匯流排1505通信地連接處理單元1510、GPU 1515、唯讀記憶體1530、系統記憶體1520以及永久儲存裝置1535。

從這些各種存儲單元，處理單元1510檢索待執行的指令以及待處理的資料以執行本發明的進程。處理單元在不同實施例中可以是單個處理器或者多核處理器。一些實施例被傳輸以及由GPU 1515來執行。GPU 1515可以分擔由處理器單元1510提供的各種計算或完成影像處理。

唯讀記憶體(ROM)存儲由處理單元1510以及電子系統的其他模組使用的靜態資料以及指令。另一方面，永久儲存裝置1535是讀寫存儲裝置。該裝置是非即使電子系統1500關閉時存儲指令以及資料的易失性存儲單元。本發明的一些實施例使用大容量儲存裝置(如磁或光碟以及其對應的硬碟驅動)作為永久儲存裝置1535。

其他實施例使用可以移除儲存裝置(如軟碟、快速儲存裝置等以及其對應的硬碟驅動器)作為永久儲存裝置。像永久儲存裝置1535，系統記憶體1520是讀寫存儲裝置。然而，不像儲存裝置1535、系統記憶體1520是揮發性讀寫記憶體，如隨機存取記憶體。系統記憶體1520存儲處理器在運行時使用的一些指令以及資料。在一些實施例中，根據本發明的進程被存儲於系統記憶體1520、永久儲存裝置1535與/或唯讀記憶體1530。例如，各種存儲單元包括用於處理根據一些實施例的多媒體的指令。從這些記憶體單元，處理單元1510檢索待執行的額指令以及待處理的資料來執行一些實施例的進程。

匯流排1505也連接到輸入以及輸出裝置1540以及1545。輸入裝置1540使能使用者來通信資訊以及選擇命令到電子系統。輸入裝置1540包括字母鍵盤以及定位裝置(也稱為游標控制裝置)、攝像機(如，網路攝像機)、麥克風或語音接收聲音命令的類似裝置。輸入裝置1545顯示由電子系統或其他輸出資料生成的圖像。輸出裝置1545包括印表機以及顯示裝置，如陰極射線管(CRT)或液晶顯示幕(LCD)。以及揚聲器或者類似的音訊輸出裝置。一些實施例包括如作為輸入以及輸出裝置兩者的觸控式螢幕。

最終，如第15圖所示，匯流排1505也通過網路介面卡(未示出)將電子系統1500耦合到網路1525。以這種方式，電腦可以是電腦網路(如局域網(LAN)、廣域網路(WAN)、或內聯網或者網路的網路(如網際網路))的一部分。電子系統1500的任何或所有元件可以結合本發明來使用。

一些實施例包括電子元件，如微處理器、以及其可讀存儲電腦程式指令儲存以及記憶體或電腦可讀媒介(或者成為電腦可讀儲存媒介、及其可讀媒介或機器可讀儲存媒介)。這種電腦可讀媒介的一些示例包括RAM、ROM、唯讀光碟(CD-ROM)、可記錄光碟(CD-R)、可再寫光碟(CD-RW)、唯讀數位通用光碟(如，DVD-ROM、雙層DVD-ROM)、各種可記錄/可再寫DVD(如，DVD-RAM、DVD-RW、DVD+RW等)、快速記憶體(如，SD卡、mini-SD卡、micro-SD卡等)、磁與/或固態硬碟驅動器、唯讀以及可記錄藍光光碟、超密度光碟、任何其他光或磁媒介以及軟碟。電腦可讀媒介可以用存儲由至少一個處理單元執行的電腦程式以及包括用於執行各種操作的指令的集合。電腦程式或電腦代碼的示例包括機器代碼，如由編譯器生成的，以及包括由計算器、電子元件或使用注釋器的微處理器執行的高層級代碼的檔。

雖然上述討論優先指執行軟體的微處理器或多核處理器，許多上述討論的特徵以及應用由一個或多個積體電路來執行，如專用積體電路(ASIC)或現場可程式設計閘陣列(FPGA)。在一些實施例中，這種積體電路執行存儲於電路自身上的指令。此外，一些實施例執行存儲於可程式設計邏輯裝置(PLD)、ROM或RAM裝置中的軟體。

如說明書以及本申請的任何請求項中所使用的，術語“電腦”、“伺服器”、“處理器”以及“記憶體”都指電子或其他技術裝置。這些術語不包括人或人群。出於說明的目的，術語顯示意味著在電子裝置上顯示。如說明書以及本申請任何請求項中使用的，術語“電腦可讀媒介”、“電腦可讀媒體”以及“機器可讀媒介”都被限制於以電腦可讀形式存儲資訊的有形的、物理物件。這些術語排除任何無線訊號、有線下載的訊號以及任何其他短暫訊號。

雖然本發明以及參考各種具體的細節進行描述，本領域具有通常知識者將能意識到本發明可以以其他具體的形式呈現而不背離本發明的精神。此外，一些圖式(包括第11圖以及第14圖)概念地示出了進程。這些進程的具體的操作可以不以所示以及所描述的次序執行。具體的操作可以不以一個連續的操作來執行，以及不同具體操作可以在不同的實施例中執行。此外，進程可以使用各種子進程實施，或者作為較大巨集進程的一部分。因此，本領域具有通常知識者將能理解，本發明不由前述說明性的細節限制，而是由所附申請專利範圍定義。附注

本文所描述的主題有時示出了包括於不同其他元件或與其連接的不同元件。能夠理解，這種描繪的架構僅是示例，以及事實上可以實施實現相同功能的許多其他的架構。概念上來說，實現相同功能的元件的任何安排是有效“關聯的”以致實現所期望的功能。因此，本文組合來實現特定功能的任何兩個元件可以被視為彼此“關聯”以致實現所期望的功能，而不管架構或中間元件。同樣地，如此關聯的任何兩個元件也可以被視為彼此“可操作地連接”或“可操作地耦合”來實現所期望的功能，以及能夠如此關聯的任何兩個元件也可以被視為彼此“可操作地耦合”來實現所期望的功能。可操作地耦合的具體示例包括但不限於物理上可匹配與/或物理上交互的元件與/或無線地可瞭解與/或無線地交互的元件與/或邏輯地交互與/或邏輯可交互的元件。

此外，關於本文中實質上任何複數與/或單數術語的使用，本領域具有通常知識者的這些人可以根據上下文以及應用適當地將其從複數轉換成單數與/或從單數轉換成複數。為了清楚起見，這裡可以明確闡述各種單數/複數置換。

此外，本領域技術人員表將能理解，通常，本文所使用的術語，尤其是所附申請專利範圍中使用的術語(如所附申請專利範圍的主體)通常意為“開放式”的術語，如，術語“包括(including)”應當被解釋為“包括但不限於”，術語“具有”應當被解釋為“至少具有”，術語“包括(includes)”應當被解釋為“包括但不限於”等。本領域這些技術人員將能進一步理解，如果特定數目的所引申請專利範圍的表述是有意的，這種意圖將明確列舉在申請專利範圍中，以及沒有這種表述的情況下這種意圖不存在。例如，為了幫助理解，後續所附申請專利範圍可以包含介紹性短語“至少一個”以及“一個或多個”的使用來介紹申請專利範圍表述。然而，這種短語的使用不應該被解釋為暗示由不定冠詞“a”或“an”介紹的申請專利範圍表述限制包含這種引入的申請專利範圍表述的任何特定申請專利範圍到僅包含一個這種表示的實施方式，即使當相同的申請專利範圍包括介紹性短語“一個或多個”或“至少一個”以及如“a”或“an”的不定冠詞，“a”與/或“an”應當被解釋為意味著“至少一個”或“一個或多個”，相同的情況也適用於介紹申請專利範圍表述的定冠詞。此外，即使特定數目的所介紹申請專利範圍表述被明確列舉，本領域具有通常知識者將意識到，這種表述應當被解釋為意味著至少一個所列舉的數目，如沒有其他修改的“兩個表述”的純表述意味著至少兩個表述，或者兩個或多個表述。此外，在使用類似於“至少一個A、B以及C等”的慣例的情況下，通常這種構造旨在本領域具有通常知識者將能理解該慣例，如“系統具有至少一個A、B以及C”將包括但不限於系統單獨具有A、單獨具有B、單獨具有C、一起具有A與B、一起具有A與C、一起具有B與C，與/或一起具有A、B以及C等。在使用類似於“至少一個A、B或C”慣例的這些情況下，通常這種構造旨在本領域具有通常知識者將能夠理解該慣例，如“系統具有至少一個A、B或C”將包括但不限於系統單獨具有A、單獨具有B、單獨具有C、一起具有A與B、一起具有A與C、一起具有B與C，與/或一起具有A、B以及C等。本領域技術人員將能進一步理解，事實上在描述、申請專利範圍或圖示中，表示兩個或多個可替換術語的任何分隔詞與/或短語將被理解成考慮包括術語之一、術語任一個或者術語兩者的可能性。例如，短語“A或B”將被理解成包括“A或B”或者“A與B”的可能性。

從上文可以理解，出於說明的目的，本發明的各種實施方式已經在此進行描述，以及在不背離本發明範圍以及精神的情況下，可以進行各種修正。因此，本文所描述的各種實施方式不旨在被限制，真正的範圍以及精神由後續申請專利範圍來指示。

701~704:VPDU 800:像素塊 810:分割树 905:視訊源 908:加法器 910:變換 911:量化 912、1212:已量化係數 913、1213:已預測像素資料 914、1211:逆量化 915、1210:逆變換 916、1216:變換係數 917:重構的像素資料 919、1219:重構的殘差 920:幀內圖像估計 925:幀內圖像預測 930、1230:運動補償 940、1240:幀間預測 935:運動估計 945、1245:環路濾波器 950:重構圖像緩衝器 965、1265:MV緩衝器 975、1275:MV預測 995:位元流 990:熵編碼器 900:視訊編碼器 1010、1310:分割引擎 1015:率/失真 1020、1320:分割約束 1030、1330:分割結構 1110~1140、1410~1440:步驟 1290:熵解碼器 1217:解碼像素資料 1225:幀內預測 1250:解碼圖像緩衝器 1255:顯示 1200:視訊解碼器 1530:ROM 1535:永久儲存裝置 1520:系統存取 1545:輸出裝置 1515:GPU 1510:處理單元 1540:輸入裝置 1525:網路

附圖被包括以提供本發明的進一步理解，以及被包括並構成本發明的一部分。附圖示出了本發明的實施方式，以及與描述一起用於解釋本發明的原理。能夠理解，因為一些部分被示出為與實際尺寸不成比例來清楚說明本發明的概念，本發明不需要按比例繪製。第1圖示出了用於表示將CTU分割成多個CU的編碼樹結構。實線指示CU邊界以及虛線指示TU邊界。第2圖示出了HEVC中定義的將CU拆分成多個PU的8種分割類型。第3圖示出了將CU拆分成兩個分割的各種拆分類型，包括可以垂直或水準分割CU的不同的對稱以及非對稱拆分類型。第4圖示出了塊分割以及其對應的二元樹的示例。第5圖示出了塊分割以及其對應的QTBT的示例。第6圖示出了使用五個拆分類型之一將CU拆分成多個較小的CU。第7圖示出了當應用基於VPDU的約束時像素塊的相容以及非相容的分割結構。第8圖概念地示出了用於控制像素塊的分割結構的約束參數。第9圖示出了發信關於塊分割的約束的示例性視訊編碼器。第10圖示出了實施塊分割約束的視訊編碼器的部分。第11圖概念地示出了用於發信塊分割約束的進程。第12圖示出了對塊分割應用約束的示例性視訊解碼器。第13圖示出了實施塊分割約束的視訊解碼器的部分。第14圖概念地示出了應用塊分割約束的進程。第15圖概念地示出了實施本發明一些實施例的電子系統。

1110~1140:步驟

Claims

一種解碼方法，包括：從一位元流中接收一分割控制參數，該分割控制參數指定用於啟用三元樹(TT)拆分的一最大塊尺寸被約束為64或更小；從待解碼為一視訊的一當前圖像的一當前塊的一像素塊的一位元流接收資料；將該當前塊遞迴地拆分成一個或多個分割，其中TT拆分不被允許用於該當前塊的一分割除非該分割小於或等於該最大塊尺寸；以及重構該當前塊的該一個或多個分割。
如請求項1所述之解碼方法，其中該分割控制參數藉由參考四叉樹拆分葉塊的一最小尺寸指定該最大塊尺寸。
如請求項2所述之解碼方法，其中藉由使用(i)可以由三元樹拆分進一步分割的一塊的該最大塊尺寸的底為2的對數與(ii)該四叉樹拆分葉塊的該最小尺寸的底為2的對數之間的差異指定該分割控制參數。
如請求項2所述之解碼方法，其中該四叉樹拆分葉塊的該最小尺寸藉由參考一最小編碼塊尺寸來指定。
如請求項4所述之解碼方法，其中該四叉樹拆分葉塊的該最小尺寸藉由使用(i)該四叉樹拆分葉塊的該最小尺寸的底為2的對數與(ii)該最小編碼塊尺寸的底為2的對數之間的差異來指定。
如請求項2所述之解碼方法，其中該四叉樹拆分葉塊的該最小尺寸被約束為64與一編碼樹塊尺寸之間的一較小值。
如請求項1所述之解碼方法，其中用於啟用TT拆分的該最大塊尺寸被進一步約束為小於一編碼樹塊尺寸。
如請求項1所述之解碼方法，該最大塊尺寸基於一虛擬管線資料單元(VPDU)的尺寸來決定。
如請求項7所述之解碼方法，基於確保每一VPDU可以由一相同的管線階段完整地處理來定義該最大塊尺寸。
如請求項1所述之解碼方法，其中該分割控制參數在包括該當前塊的一條帶的一條帶標頭中被發信。
如請求項1所述之解碼方法，其中該分割控制參數在該當前圖像的一圖像標頭中被發信。
如請求項1所述之解碼方法，其中該分割控制參數在包括該當前圖像的一視訊圖像序列的一序列參數集(SPS)中被發信。
一種視訊編碼方法，包括：在一位元流中發信一分割控制參數，該分割控制參數指定用於啟用三元樹(TT)拆分的一最大塊尺寸被約束為64或更小；接收待編碼進該位元流中的一視訊的一當前圖像的一當前塊的原始像素資料；遞迴地將該當前塊拆分成一個或多個分割，其中TT拆分不被允許用於該當前塊的一分割除非該分割小於或等於該最大塊尺寸；以及將該當前塊的該一個或多個分割編碼進該位元流。
一種電子裝置，包括：一視訊解碼器電路，用於執行操作，包括：從一位元流中接收一分割控制參數，該分割控制參數指定用於啟用三元樹(TT)拆分的一最大塊尺寸被約束為64或更小；從待解碼為一視訊的一當前圖像的一當前塊的一像素塊的一位元流接收資料；將該當前塊遞迴地拆分成一個或多個分割，其中TT拆分不被允許用於該當前塊的一分割除非該分割小於或等於該最大塊尺寸；以及重構該當前塊的該一個或多個分割。