TWI629895B

TWI629895B - 視訊解碼的裝置

Info

Publication number: TWI629895B
Application number: TW106102285A
Authority: TW
Inventors: 朴銀姬; 閔正惠
Original assignee: 三星電子股份有限公司
Priority date: 2011-10-31
Filing date: 2012-10-31
Publication date: 2018-07-11
Also published as: US20150215645A1; US9307263B2; PT2773109T; PL3166317T3; CN107529060B; EP3846479A1; LT3145197T; LT3166317T; US9532072B2; DK3166317T3; KR20150060624A; CN107465933A; IN2014MN00900A; SI3145197T1; EP3145197A1; RS55403B1; JP2014534768A; EP3399760B1; US9521430B2; TW201631965A

Abstract

一種視訊解碼的裝置，包括藉由使用從位元串流獲得的轉換單元的尺寸資訊來決定當前轉換單元。當當前轉換單元是色度成分的轉換單元時決定包括在當前轉換單元中之當前子區塊的內文集合，此內文集合獨立於當前子區塊的位置。當當前轉換單元是明度成分的轉換單元時，基於當前轉換單元的位置決定包括在當前轉換單元中之當前子區塊的內文集合。基於當前子區塊的內文集合決定內文模型以用於獲得第一臨界值信息，此第一臨界值信息指示位在當前子區塊中的當前轉換係數是否大於第一臨界值；以及基於已決定的內文模型解碼當前子區塊的第一臨界值信息。

Description

視訊解碼的裝置

本發明是關於視訊的編碼以及解碼，且更特定言之，是關於選擇用於轉換係數的尺寸（size）資訊的熵編碼以及解碼的內文模型的方法及裝置。

根據影像壓縮方法（諸如，MPEG-1、MPEG-2或MPEG-4 H.264/MPEG-4進階視訊編碼（advanced video coding；AVC）），將影像分割為具有預定大小的區塊，且接著藉由畫面間預測（inter prediction）或畫面內預測（intra prediction）而獲得區塊的殘餘資料（residual data）。藉由轉換、量化、掃描、行程編碼（run length coding）以及熵編碼來壓縮殘餘資料。在熵編碼中，可對諸如轉換係數或運動向量的語法元素（syntax element）做熵編碼，以輸出位元串流。在解碼器端，自位元串流提取語法元素，且基於所提取的語法元素來執行解碼。

本發明提供選擇用於轉換係數級的熵編碼以及解碼的內文模型的方法及裝置，其中用於轉換係數級的熵編碼以及解碼的不必要的內文模型將被移除且內文模型經簡化以減少儲存內文模型的記憶體成本。

本發明亦提供選擇用於轉換係數級的熵編碼以及解碼的內文模型的方法及裝置，其中用於轉換係數級的熵編碼以及解碼的內文模型是基於色彩資訊、包含轉換係數的子集的位置以及1的連續長度的資訊或其類似者來選擇，以藉此提高選擇內文模型的操作速度且簡化所述操作，而不會大幅地降低熵編碼以及解碼效能。

根據本發明的態樣，提供一種視訊編碼的方法，所述方法包括：藉由使用從位元串流獲得的轉換單元的尺寸資訊來決定當前轉換單元；當所述當前轉換單元是色度成分的轉換單元時，決定包括在所述當前轉換單元中之當前子區塊的內文集合，所述內文集合獨立於所述當前子區塊的位置；當所述當前轉換單元是明度成分的轉換單元時，基於所述當前轉換單元的所述位置來決定包括在所述當前轉換單元中之所述當前子區塊的所述內文集合；基於所述當前子區塊的所述內文集合來決定內文模型以用於獲得第一臨界值信息，其中所述第一臨界值信息指示位在所述當前自區塊中的當前轉換係數是否大於第一臨界值；以及，基於已決定的所述內文模型來解碼所述當前子區塊的所述第一臨界值信息。

根據本發明的實施例，藉由使用減少的數目的內文模型，可減少用於儲存內文模型的記憶體的使用量，且可執行轉換係數級的熵編碼以及解碼而不會極大地降低效能。

下文中，在本申請案的各種實施例中描述的「影像」可為包含性概念，其不僅指靜態影像，亦指視訊影像。

當對與影像相關的資料執行各種操作時，將與影像相關的資料分割為資料群組，且可對同一資料群組中所包含的資料執行相同操作。在本說明書中，根據預定標準形成的資料群組稱作「資料單元」。下文中，將對每一「資料單元」執行的操作理解為使用資料單元中所包含的資料來執行。

下文中，將參看圖1至圖13描述根據本發明的實施例的用於視訊的編碼以及解碼的方法及裝置，其中具有樹狀結構的語法元素是基於具有階層式樹狀結構的編碼單元來編碼或解碼的。另外，將參看圖14至圖29詳細描述用於參看圖1至圖13描述的視訊的編碼以及解碼中的熵編碼以及解碼的方法。

圖1為根據本發明的實施例的視訊編碼裝置100的方塊圖。

視訊編碼裝置100包含階層式編碼器110以及熵編碼器120。

階層式編碼器110可以預定資料單元為單位來分割待編碼的當前圖像以對資料單元中的每一者執行編碼。詳言之，階層式編碼器110可基於最大編碼單元來分割當前圖像，所述最大編碼單元為最大尺寸（miximum size）的編碼單元。根據本發明的實施例的最大編碼單元可以是尺寸為32×32、64×64、128×128、256×256等的資料單元，其中資料單元的形狀是寬度以及長度為2的冪次方且大於8的正方形。

根據本發明的實施例的編碼單元可藉由最大尺寸以及深度來表徵。深度表示編碼單元自最大編碼單元在空間上分割的次數，且隨著深度加深，根據深度的較深編碼單元可自最大編碼單元分割為最小編碼單元。最大編碼單元的深度為最上層深度（uppermost depth），且最小編碼單元的深度為最下層深度（lowermost depth）。由於對應於每一深度的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此對應於較上層深度的編碼單元可包含對應於較下層深度的多個編碼單元。

如上所述，當前圖像的影像資料根據編碼單元的最大尺寸而分割為最大編碼單元，且最大編碼單元中的每一者可包含根據深度而分割的較深編碼單元。由於根據本發明的實施例的最大編碼單元是根據深度來分割，因此包含於最大編碼單元中的空間域的影像資料可根據深度而階層式分類。

限制最大編碼單元的高度以及寬度之階層式分割的總次數的編碼單元的最大深度以及最大尺寸可為預設的。

階層式編碼器110對藉由根據深度來分割最大編碼單元的區域而獲得的至少一個分割區域做編碼，且決定深度以根據所述至少一個分割區域來輸出最終編碼的影像資料。換言之，階層式編碼器110藉由根據當前圖像的最大編碼單元來對根據深度的較深編碼單元中的影像資料做編碼，以及選擇具有最小編碼誤差（encoding error）的深度來決定經編碼深度。所決定的經編碼深度以及根據最大編碼單元的經編碼影像資料輸出至熵編碼器120。

基於對應於等於或低於最大深度的至少一個深度的較深編碼單元而對最大編碼單元中的影像資料做編碼，且基於較深編碼單元中的每一者而比較對影像資料做編碼的結果。可在比較較深編碼單元的編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大編碼單元選擇至少一個經編碼深度。

隨著編碼單元根據深度而階層式分割，且隨著編碼單元的數目增大，最大編碼單元的尺寸被分割。且，即使編碼單元對應於一個最大編碼單元中的同一深度，仍藉由單獨量測每一編碼單元的影像資料的編碼誤差而決定是否將對應於同一深度的編碼單元中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大編碼單元中時，影像資料仍根據深度分割為區域且編碼誤差仍可根據所述一個最大編碼單元中的區域而不同，且因此經編碼深度可根據影像資料中的區域而不同。因此，可在一個最大編碼單元中決定一或多個經編碼深度，且可根據至少一個經編碼深度的編碼單元而劃分最大編碼單元的影像資料。

因此，階層式編碼器110可決定包含於最大編碼單元中的具有樹狀結構的編碼單元。根據本發明的實施例的「具有樹狀結構的編碼單元」包含在最大編碼單元中所包含的所有較深編碼單元中的、對應於已決定為經編碼深度的深度編碼單元。可根據最大編碼單元的同一區域中的深度而階層式決定具有經編碼深度的編碼單元，且可在不同區域中獨立地進行決定。類似地，可以獨立於另一區域中的經編碼深度而決定當前區域中的經編碼深度。

根據本發明的實施例的最大深度為與自最大編碼單元至最小編碼單元執行的分割次數相關的索引。本發明實施例的第一最大深度可表示自最大編碼單元至最小編碼單元執行的總分割次數。本發明實施例的第二最大深度可表示自最大編碼單元至最小編碼單元的總深度層級數。舉例而言，當最大編碼單元的深度為0時，最大編碼單元被分割一次的編碼單元的深度可設定為1，且最大編碼單元被分割兩次的編碼單元的深度可設定為2。此處，若最小編碼單元為最大編碼單元被分割四次的編碼單元，則存在深度0、1、2、3以及4的5個深度層級，且因此第一最大深度可設定為4，且第二最大深度可設定為5。

可根據最大編碼單元執行預測編碼以及轉換。根據最大編碼單元，亦基於根據等於最大深度的深度、或小於最大深度的深度的較深編碼單元來執行預測編碼以及轉換。

由於每當根據深度來分割最大編碼單元，較深編碼單元的數目便增大，因此對隨著深度加深而產生的所有較深編碼單元執行包含預測編碼以及轉換的編碼。為便於描述，在最大編碼單元中，現將基於當前深度的編碼單元來描述預測編碼以及轉換。

視訊編碼裝置100可按各種方式選擇用於對影像資料做編碼的資料單元的尺寸或形狀。為了對影像資料做編碼，諸如預測編碼、轉換以及熵編碼的操作將執行，且於此時，可用於所有操作或不同資料單元的相同資料單元將可用於每一操作。

舉例而言，視訊編碼裝置100可不僅選擇用於對影像資料做編碼的編碼單元，而且可選擇不同於編碼單元的資料單元，以便對編碼單元中的影像資料執行預測編碼。

為了在最大編碼單元中執行預測編碼，可基於對應於經編碼深度的編碼單元（亦即，基於不再分割為對應於較下層深度的編碼單元的編碼單元）來執行預測編碼。下文中，不再分割且變為用於預測編碼的基礎單元的編碼單元現將被稱為「預測單元」。藉由分割預測單元而獲得的分區可包含藉由分割預測單元的高度以及寬度中的至少一者而獲得的預測單元或資料單元。

舉例而言，當2N×2N（其中N為正整數）的編碼單元不再分割且變為2N×2N的預測單元時，分區的尺寸可為2N×2N、2N×N、N×2N或N×N。分區類型的實例包含藉由對稱地分割預測單元的高度或寬度而獲得的對稱分區（symmetrical partition）、藉由非對稱地分割預測單元的高度或寬度（例如，1:n或n:1）而獲得的分區、藉由用幾何方式分割預測單元而獲得的分區，以及具有任意（arbitrary）形狀的分區。

預測單元的預測模式可為畫面內模式、畫面間模式以及跳過模式中的至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N的分區執行畫面內模式或畫面間模式。且，可僅對2N×2N的分區執行跳過模式。在編碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。

視訊編碼裝置100亦可不僅基於用於對影像資料做編碼的編碼單元，而且可基於不同於編碼單元的資料單元而對編碼單元中的影像資料執行轉換。

為了在編碼單元中執行轉換，可基於具有小於或等於編碼單元的尺寸的資料單元來執行轉換。舉例而言，用於轉換的資料單元可包含用於畫面內模式的資料單元以及用於畫面間模式的資料單元。

用作轉換的基礎的資料單元現將稱為「轉換單元」。類似於編碼單元，編碼單元中的轉換單元可按遞回（recursively）方式分割為較小尺寸的區域，以使得可單獨以區域為單位來決定轉換單元。因此，可根據具有根據轉換深度的樹狀結構的轉換單元而劃分編碼單元中的殘餘資料。

亦可在轉換單元中設定指示藉由分割編碼單元的高度以及寬度而達到轉換單元所執行的分割次數的轉換深度。舉例而言，在2N×2N的當前編碼單元中，當轉換單元的尺寸為2N×2N時，轉換深度可為0，當轉換單元的尺寸為N×N時，轉換深度可為1，且當轉換單元的尺寸為N/2×N/2時，轉換深度可為2。亦即，亦可根據轉換深度而設定具有樹狀結構的轉換單元。

根據對應於經編碼深度的編碼單元的編碼資訊不僅需要關於經編碼深度的資訊，而且需要與預測編碼以及轉換相關的資訊。因此，階層式編碼器110不僅用來決定具有最小編碼誤差的經編碼深度，而且用來決定預測單元中的分區類型、根據預測單元的預測模式，以及用於轉換的轉換單元的尺寸。

稍後將參看圖3至圖12，以詳細描述根據本發明的實施例之依據最大編碼單元中的根據樹狀結構的編碼單元以及決定分區的方法。

階層式編碼器110可藉由基於拉格朗日乘數（Lagrangian multiplier）使用位元率-失真最佳化（Rate-Distortion Optimization）來量測根據深度的較深編碼單元的編碼誤差。

熵編碼器120按照位元串流的形式輸出基於由階層式編碼器110決定的至少一個經編碼深度而編碼的最大編碼單元的影像資料，以及根據經編碼深度且關於編碼模式的資訊。經編碼影像資料可為影像的殘餘資料的編碼結果。根據經編碼深度關於編碼模式的資訊可包含關於經編碼深度的資訊、關於預測單元中的分區類型的資訊、預測模式資訊以及轉換單元的尺寸資訊。詳言之，如稍後將描述，熵編碼器120可基於轉換單元的色彩成分資訊、當前子集的位置以及先前子集中是否存在具有大於第一臨界值的值的重要轉換係數而獲得指示多個內文集合中的一者的內文集合索引，以便基於具有連續1的先前轉換係數的長度而獲得內文偏移。另外，熵編碼器120基於所獲得的內文集合索引以及所獲得的內文偏移來決定指示內文模型的內文索引ctdldx，所述內文模型將應用於指示重要轉換係數是否大於第一臨界值（亦即，1）的第一臨界值旗標Greaterthan1旗標以及指示重要轉換係數是否大於第二臨界值（亦即，2）的第二臨界值旗標Greaterthan2旗標。稍後將描述決定用於由熵編碼器120執行的轉換係數的熵編碼的內文模型的操作。

可藉由使用根據深度的分割資訊來定義關於經編碼深度的資訊，根據深度的分割資訊指示是否對較下層深度而非當前深度的編碼單元執行編碼。若當前編碼單元的當前深度為經編碼深度，則對當前編碼單元中的影像資料做編碼且輸出，且因此，分割資訊可定義為不將當前編碼單元分割為較下層深度。或者，若當前編碼單元的當前深度並非經編碼深度，則對較下層深度的編碼單元執行編碼，且因此分割資訊可定義為分割當前編碼單元以獲得較下層深度的編碼單元。

若當前深度並非經編碼深度，則對分割為較下層深度的編碼單元的編碼單元執行編碼。由於較下層深度的至少一個編碼單元存在於當前深度的一個編碼單元中，因此對較下層深度的每一編碼單元重複地執行編碼，且因此可對具有同一深度的編碼單元按遞迴方式執行編碼。

由於針對一個最大編碼單元而決定具有樹狀結構的編碼單元，且針對經編碼深度的編碼單元而決定關於至少一個編碼模式的資訊，因此可針對一個最大編碼單元而決定關於至少一個編碼模式的資訊。且，最大編碼單元的影像資料的經編碼深度可根據位置而不同，此是因為影像資料是根據深度而進行階層式分割，且因此可針對影像資料而設定關於經編碼深度以及編碼模式的資訊。

因此，熵編碼器120可將關於相應經編碼深度以及編碼模式的編碼資訊指派給包含於最大編碼單元中的編碼單元、預測單元以及最小單元中的至少一者。

根據本發明的實施例的最小單元為藉由將構成最下層深度的最小編碼單元分割為4份而獲得的正方形資料單元。或者，最小單元可為可包含於最大編碼單元中所包含的所有編碼單元、預測單元、分區單元以及轉換單元中的最大正方形資料單元。

舉例而言，經由熵編碼器120而輸出的編碼資訊可分類為根據編碼單元的編碼資訊，以及根據預測單元的編碼資訊。根據編碼單元的編碼資訊可包含關於預測模式以及關於分區的尺寸的資訊。根據預測單元的編碼資訊可包含關於畫面間模式的估計方向、關於畫面間模式的參考影像索引、關於運動向量、關於畫面內模式的色度成分（chroma component）以及關於畫面內模式的內插方法的資訊。且，關於根據圖像、片段或GOP而定義的編碼單元的最大尺寸的資訊，以及關於最大深度的資訊可插入至位元串流的標頭（header）中。

在視訊編碼裝置100中，較深編碼單元可為藉由將較上層深度的編碼單元（其為上一層）的高度或寬度劃分為2份而獲得的編碼單元。換言之，在當前深度的編碼單元的尺寸為2N×2N時，較下層深度的編碼單元的尺寸為N×N。且，尺寸為2N×2N的當前深度的編碼單元可包含較下層深度的最多4個編碼單元。

因此，視訊編碼裝置100可藉由基於考慮當前圖像的特性而決定的最大編碼單元的尺寸以及最大深度，藉由針對每一最大編碼單元來決定具有最佳形狀以及最佳尺寸的編碼單元，而形成具有樹狀結構的編碼單元。且，由於藉由使用各種預測模式以及轉換中的任一者對每一最大編碼單元執行編碼，因此可考慮各種影像尺寸的編碼單元的特性來決定最佳編碼模式。

因此，若在習知巨集區塊中對具有高解析度或大資料量的影像做編碼，則每圖像的巨集區塊的數目過度地增大。因此，針對每一巨集區塊產生的壓縮資訊的片段數目增大，且因此難以傳輸壓縮資訊，且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像的尺寸的而增大編碼單元的最大尺寸的同時考慮影像的特性而調整編碼單元，所以可提高影像壓縮效率。

圖2為根據本發明的實施例的視訊解碼裝置200的方塊圖。

視訊解碼裝置200包含語法元素提取單元210、熵解碼器220以及階層式解碼器230。用於視訊解碼裝置200的各種操作的各種術語（諸如，編碼單元、深度、預測單元、轉換單元以及關於各種編碼模式的資訊）的定義與參看圖1且參考視訊編碼裝置100所述的術語相同。

語法元素提取單元210接收且剖析的位元串流。熵解碼器220自所剖析的位元串流中提取每一編碼單元的經編碼影像資料，其中編碼單元具有根據每一最大編碼單元的樹狀結構，且將所提取的影像資料輸出至階層式解碼器230。

且，熵解碼器220自所剖析的位元串流中針對具有根據每一最大編碼單元的樹狀結構的編碼單元提取關於經編碼深度、編碼模式的資訊、色彩成分資訊、預測模式資訊等。關於經編碼深度以及編碼模式的所提取的資訊輸出至階層式解碼器230。位元串流中的影像資料分割為最大編碼單元，使得階層式解碼器230可對每一最大編碼單元的影像資料做解碼。

可針對關於對應於經編碼深度的至少一個編碼單元的資訊而設定根據最大編碼單元關於經編碼深度以及編碼模式的資訊，且關於編碼模式的資訊可包含關於對應於經編碼深度的相應編碼單元的分區類型、關於預測模式以及轉換單元的尺寸的資訊。且，可將根據深度的分割資訊作為關於經編碼深度的資訊來提取。

由熵解碼器220提取的根據每一最大編碼單元關於經編碼深度以及編碼模式的資訊為有關於經決定以在編碼器（諸如視訊編碼裝置100）根據每一最大編碼單元而對根據深度的每一較深編碼單元重複地執行編碼時所產生之最小編碼誤差的經編碼深度以及編碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差的經編碼深度以及編碼模式來對影像資料做解碼而復原影像。

由於關於經編碼深度以及編碼模式的編碼資訊可指派給相應編碼單元、預測單元以及最小單元中的預定資料單元，因此熵解碼器220可提取根據預定資料單元關於經編碼深度以及編碼模式的資訊。被指派關於經編碼深度以及編碼模式的相同資訊的預定資料單元可推斷為包含於同一最大編碼單元中的資料單元。

且，如稍後將描述，熵解碼器220可基於轉換單元的色彩成分資訊、當前子集的位置以及先前子集中是否存在具有大於第一臨界值的值的重要轉換係數而獲得指示多個內文集合中的一者的內文集合索引，以便基於具有連續1的先前轉換係數的長度而獲得內文偏移。另外，熵解碼器220基於所獲得的內文集合索引以及所獲得的內文偏移來決定指示內文模型的內文索引ctdldx，所述內文模型將應用於指示重要轉換係數是否大於第一臨界值（亦即，1）的第一臨界值旗標Greaterthan1旗標以及指示重要轉換係數是否大於第二臨界值（亦即，2）的第二臨界值旗標Greaterthan2旗標。

階層式解碼器230藉由基於根據最大編碼單元關於經編碼深度以及編碼模式的資訊以對每一最大編碼單元中的影像資料做解碼來復原當前圖像。換言之，階層式解碼器230可基於關於每一最大編碼單元中所包含的具有樹狀結構的編碼單元中的每一編碼單元的分區類型、預測模式以及轉換單元的所提取的資訊而對經編碼影像資料做解碼。解碼程序可包含：包含畫面內預測以及運動補償的預測；以及逆轉換。

階層式解碼器230可基於根據經編碼深度關於每一編碼單元的預測單元的分區類型以及預測模式的資訊，根據所述編碼單元的分區以及預測模式來執行畫面內預測或運動補償。

且，階層式解碼器230可基於根據經編碼深度關於編碼單元的轉換單元的尺寸的資訊根據編碼單元中的每一轉換單元來執行逆轉換，以便根據最大編碼單元來執行逆轉換。

階層式解碼器230可藉由使用根據深度的分割資訊而決定當前最大編碼單元的至少一個經編碼深度。若分割資訊指示影像資料在當前深度中不再分割，則當前深度為經編碼深度。因此，階層式解碼器230可藉由使用關於預測單元的分區類型、預測模式以及轉換單元的尺寸的資訊來相對於當前最大編碼單元的影像資料對當前深度的編碼單元做解碼。

換言之，可藉由觀測針對編碼單元、預測單元以及最小單元中的預定資料單元而指派的編碼資訊集合來收集含有包含相同分割資訊的編碼資訊的資料單元，且可將所收集的資料單元視為待由階層式解碼器230在同一編碼模式中解碼的一個資料單元。

視訊解碼裝置200可獲得關於在對每一最大編碼單元按遞迴方式執行編碼時產生最小編碼誤差的至少一個編碼單元的資訊，且可使用所述資訊來對當前圖像做解碼。換言之，可對決定為每一最大編碼單元中的最佳編碼單元的具有樹狀結構的編碼單元的經編碼影像資料做解碼。

因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器接收的關於最佳編碼模式的資訊藉由使用根據影像資料的特性而適應性地決定的編碼單元的尺寸以及編碼模式來有效地對影像資料做解碼以及復原。

現將參看圖3至圖13來描述根據本發明的實施例的決定具有樹狀結構的編碼單元、預測單元以及轉換單元的方法。

圖3為用於描述根據本發明的實施例的編碼單元的概念的圖式。

編碼單元的尺寸可用寬度×高度來表達，且可包含64×64、32×32、16×16以及8×8。64×64的編碼單元可分割為64×64、64×32、32×64或32×32的分區，且32×32的編碼單元可分割為32×32、32×16、16×32或16×16的分區，16×16的編碼單元可分割為16×16、16×8、8×16或8×8的分區，且8×8的編碼單元可分割為8×8、8×4、4×8或4×4的分區。

在視訊資料310中，解析度為1920×1080，編碼單元的最大尺寸為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，編碼單元的最大尺寸為64，且最大深度為3。在視訊資料330中，解析度為352×288，編碼單元的最大尺寸為16，且最大深度為1。圖3所示的最大深度表示自最大編碼單元至最小編碼單元的總分割次數。

若解析度高或資料量大，則編碼單元的最大尺寸可為大的，以便不僅提高編碼效率而且準確地反映影像的特性。因此，具有高於視訊資料330的解析度的視訊資料310以及320的編碼單元的最大尺寸可為64。

由於視訊資料310的最大深度為2，因此視訊資料310的編碼單元315可包含長軸尺寸為64的最大編碼單元，以及長軸尺寸為32以及16的編碼單元，此是因為深度藉由分割最大編碼單元兩次而加深為兩層。同時，由於視訊資料330的最大深度為1，因此視訊資料330的編碼單元335可包含長軸尺寸為16的最大編碼單元，以及長軸尺寸為8的編碼單元，此是因為深度藉由分割最大編碼單元一次而加深為一層。

由於視訊資料320的最大深度為3，因此視訊資料320的編碼單元325可包含長軸尺寸為64的最大編碼單元，以及長軸尺寸為32、16以及8的編碼單元，此是因為深度藉由分割最大編碼單元三次而加深為三層。隨著深度加深，可精確地表達詳細資訊。

圖4為根據本發明的實施例的基於具有階層式結構的編碼單元的視訊編碼器400的方塊圖。

畫面內預測器410關於當前畫面405而在畫面內模式中對編碼單元執行畫面內預測，且運動估計器420以及運動補償器425藉由使用當前畫面405以及參考畫面495而在畫面間模式中分別對編碼單元執行畫面間估計以及運動補償。

自畫面內預測器410、運動估計器420以及運動補償器425輸出的資料經由轉換器430以及量化器440作為經量化的轉換係數而輸出。經量化的轉換係數經由逆量化器460以及逆轉換器470復原為空間域中的資料，且空間域中的所復原的資料在經由解區塊單元480以及迴路濾波單元490的後處理之後作為參考畫面495來輸出。經量化的轉換係數可經由熵編碼器450作為位元串流455輸出。

在對諸如第一臨界值旗標Gtr1旗標或第二臨界值旗標Gtr2旗標的轉換單元的語法元素做編碼時，熵編碼器450基於轉換單元的色彩成分資訊、當前子集的位置以及先前子集中是否存在具有大於第一臨界值的值的重要轉換係數而獲得內文集合索引，基於具有連續1的先前轉換係數的長度而獲得內文偏移，且基於所獲得的內文集合索引以及所獲得的內文偏移而決定指示內文模型的內文索引。

為了使視訊編碼器400應用於視訊編碼裝置100中，視訊編碼器400的所有部件（亦即，畫面內預測器410、運動估計器420、運動補償器425、轉換器430、量化器440、熵編碼器450、逆量化器460、逆轉換器470、解區塊單元480以及迴路濾波單元490）在考慮每一最大編碼單元的最大深度的同時，基於具有樹狀結構的編碼單元中的每一編碼單元來執行操作。

具體言之，畫面內預測器410、運動估計器420以及運動補償器425在考慮當前最大編碼單元的最大尺寸以及最大深度的同時決定具有樹狀結構的編碼單元中的每一編碼單元的分區以及預測模式，且轉換器430決定具有樹狀結構的編碼單元中的每一編碼單元中的轉換單元的尺寸。

圖5為根據本發明的實施例的基於編碼單元的視訊解碼器500的方塊圖。

剖析器510自位元串流505剖析待解碼的經編碼影像資料以及解碼所需的關於編碼的資訊。經編碼影像資料經由熵解碼器520以及逆量化器530作為經逆量化的資料而輸出，且經逆量化的資料經由逆轉換器540而復原為空間域中的影像資料。

畫面內預測器550關於空間域中的影像資料對處於畫面內模式中的編碼單元執行畫面內預測，且運動補償器560藉由使用參考畫面585對處於畫面間模式中的編碼單元執行運動補償。

通過畫面內預測器550以及運動補償器560的空間域中的影像資料可在經由解區塊單元570以及迴路濾波單元580後處理之後作為所復原的畫面595輸出。且，經由解區塊單元570以及迴路濾波單元580後處理的影像資料可作為參考畫面585輸出。

為了使視訊解碼器500應用於視訊解碼裝置200中，視訊解碼器500的所有部件（亦即，剖析器510、熵解碼器520、逆量化器530、逆轉換器540、畫面內預測器550、運動補償器560、解區塊單元570以及迴路濾波單元580）針對每一最大編碼單元基於具有樹狀結構的編碼單元來執行操作。

畫面內預測器550以及運動補償器560決定具有樹狀結構的每一編碼單元的分區以及預測模式，且逆轉換器540必須決定每一編碼單元的轉換單元的尺寸。且，在對諸如第一臨界值旗標Gtr1旗標或第二臨界值旗標Gtr2旗標的轉換單元的語法元素做編碼時，熵解碼器520基於轉換單元的色彩成分資訊、當前子集的位置以及先前子集中是否存在具有大於第一臨界值的值的重要轉換係數而獲得內文集合索引，基於具有連續1的先前轉換係數的長度而獲得內文偏移，且基於所獲得的內文集合索引以及所獲得的內文偏移而決定指示內文模型的內文索引。

圖6為根據本發明的實施例說明根據深度以及分區的較深編碼單元的圖式。

視訊編碼裝置100以及視訊解碼裝置200使用階層式編碼單元以便考慮影像的特性。可根據影像的特性來適應性地決定編碼單元的最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據編碼單元的預定最大尺寸決定根據深度的較深編碼單元的尺寸。

在根據本發明的實施例的編碼單元的階層式結構600中，編碼單元的最大高度以及最大寬度各為64，且最大深度為4。由於深度沿著階層式結構600的垂直軸加深，因此將較深編碼單元的高度以及寬度各自分割。且，沿著階層式結構600的水平軸展示作為用於每一較深編碼單元的預測編碼的基礎的預測單元以及分區。

換言之，編碼單元610為階層式結構600中的最大編碼單元，其中深度為0且尺寸（亦即，高度乘寬度）為64×64。深度沿著垂直軸而加深，且存在尺寸為32×32且深度為1的編碼單元620、尺寸為16×16且深度為2的編碼單元630、尺寸為8×8且深度為3的編碼單元640，以及尺寸為4×4且深度為4的編碼單元650。尺寸為4×4且深度為4的編碼單元650為最小編碼單元。

編碼單元的預測單元以及分區根據每一深度沿著水平軸而配置。換言之，若尺寸為64×64且深度為0的編碼單元610是預測單元時，則預測單元可分割為包含於編碼單元610中的分區，亦即，尺寸為64×64的分區610、尺寸為64×32的分區612、尺寸為32×64的分區614或尺寸為32×32的分區616。

類似地，尺寸為32×32且深度為1的編碼單元620的預測單元可分割為包含於編碼單元620中的分區，亦即，尺寸為32×32的分區620、尺寸為32×16的分區622、尺寸為16×32的分區624以及尺寸為16×16的分區626。

類似地，尺寸為16×16且深度為2的編碼單元630的預測單元可分割為包含於編碼單元630中的分區，亦即，包含於編碼單元中的尺寸為16×16的分區630、尺寸為16×8的分區632、尺寸為8×16的分區634以及尺寸為8×8的分區636。

類似地，尺寸為8×8且深度為3的編碼單元640的預測單元可分割為包含於編碼單元640中的分區，亦即，包含於編碼單元中的尺寸為8×8的分區640、尺寸為8×4的分區642、尺寸為4×8的分區644以及尺寸為4×4的分區646。

尺寸為4×4且深度為4的編碼單元650為最小編碼單元以及最下層深度的編碼單元。編碼單元650的預測單元僅指派給尺寸為4×4的分區。

為了決定構成最大編碼單元610的編碼單元的至少一個經編碼深度，視訊編碼裝置100的階層式編碼器110對包含於最大編碼單元610中的對應於每一深度的編碼單元執行編碼。

隨著深度加深，包含相同範圍中的資料以及相同尺寸的根據深度的較深編碼單元的數目增大。舉例而言，需要對應於深度2的四個編碼單元來涵蓋包含於對應於深度1的一個編碼單元中的資料。因此，為了比較根據深度的相同資料的編碼結果，將對應於深度1的編碼單元以及對應於深度2的四個編碼單元各自編碼。

為了針對深度中的當前深度執行編碼，沿著階層式結構600的水平軸，可藉由針對對應於當前深度的編碼單元中的每一預測單元執行編碼而針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度的最小編碼誤差以及隨著深度沿著階層式結構600的垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇編碼單元610中具有最小編碼誤差的深度以及分區作為編碼單元610的經編碼深度以及分區類型。

圖7為用於描述根據本發明的實施例的編碼單元710與轉換單元720之間的關係的圖式。

視訊編碼裝置100或視訊解碼裝置200針對每一最大編碼單元根據具有小於或等於最大編碼單元的尺寸的編碼單元來對影像做編碼或解碼。可基於不大於相應編碼單元的資料單元而選擇在編碼期間用於轉換的轉換單元的尺寸。

舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若編碼單元710的尺寸為64×64，則可藉由使用尺寸為32×32的轉換單元720來執行轉換。

且，可藉由對尺寸為小於64×64的32×32、16×16、8×8以及4×4的轉換單元中的每一者執行轉換而對尺寸為64×64的編碼單元710的資料做編碼，且接著可選擇具有最小編碼誤差的轉換單元。

圖8為用於描述根據本發明的實施例的對應於經編碼深度的編碼單元的編碼資訊的圖式。

視訊編碼裝置100的輸出單元130可對關於分區類型的資訊800、關於預測模式的資訊810，以及關於對應於經編碼深度的每一編碼單元的轉換單元的尺寸的資訊820進行編碼且作為關於編碼模式的資訊而傳輸。

資訊800指示關於藉由分割當前編碼單元的預測單元而獲得的分區的形狀的資訊，其中分區為用於當前編碼單元的預測編碼的資料單元。舉例而言，尺寸為2N×2N的當前編碼單元CU_0可分割為尺寸為2N×2N的分區802、尺寸為2N×N的分區804、尺寸為N×2N的分區806以及尺寸為N×N的分區808中的任一者。此處，關於分區類型的資訊800設定為指示尺寸為2N×N的分區804、尺寸為N×2N的分區806以及尺寸為N×N的分區808中的一者。

資訊810指示每一分區的預測模式。舉例而言，資訊810可指示對由資訊800指示的分區執行的預測編碼的模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。

資訊820指示將要基於何時對當前編碼單元執行轉換的轉換單元。舉例而言，轉換單元可為第一畫面內轉換單元822、第二畫面內轉換單元824、第一畫面間轉換單元826或第二畫面間轉換單元828。

根據每一較深編碼單元，視訊解碼裝置200的熵解碼器220可提取且使用資訊800、810以及820以用於解碼。

圖9為根據本發明的實施例的根據深度的較深編碼單元的圖式。

分割資訊（split information）可用以指示深度的改變。分割資訊指示當前深度的編碼單元是否分割為較下層深度的編碼單元。

用於深度為0且尺寸為2N_0×2N_0的編碼單元900的預測編碼的預測單元910可包含尺寸為2N_0×2N_0的分區類型912、尺寸為2N_0×N_0的分區類型914、尺寸為N_0×2N_0的分區類型916以及尺寸為N_0×N_0的分區類型918的分區。圖9僅說明藉由對稱地分割預測單元910而獲得的分區類型912至918，但分區類型不限於此，且預測單元910的分區可包含非對稱分區、具有預定形狀的分區以及具有幾何形狀的分區。

根據每一分區類型，對尺寸為2N_0×2N_0的一個分區、尺寸為2N_0×N_0的兩個分區、尺寸為N_0×2N_0的兩個分區以及尺寸為N_0×N_0的四個分區重複地執行預測編碼。可對尺寸為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的分區執行在畫面內模式以及畫面間模式中的預測編碼。僅對尺寸為2N_0×2N_0的分區執行在跳過模式中的預測編碼。

若編碼誤差在尺寸為2N_0×2N_0、2N_0×N_0以及N_0×2N_0的分區類型912至916中的一者中最小，則預測單元910可能不分割為較下層深度。

若編碼誤差在尺寸為N_0×N_0的分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對深度為2且尺寸為N_0×N_0的分區類型編碼單元重複地執行編碼以搜尋最小編碼誤差。

用於深度為1且尺寸為2N_1×2N_1（=N_0×N_0）的（分區類型）編碼單元930的預測編碼的預測單元940可包含尺寸為2N_1×2N_1的分區類型942、尺寸為2N_1×N_1的分區類型944、尺寸為N_1×2N_1的分區類型946以及尺寸為N_1×N_1的分區類型948的分區。

若編碼誤差在尺寸為N_1×N_1的分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對深度為2且尺寸為N_2×N_2的編碼單元960重複地執行編碼以搜尋最小編碼誤差。

當最大深度為d時，可執行根據每一深度的分割操作直至深度變為d-1時，且可對分割資訊做編碼直至深度為0至d-2中的一者時。換言之，當執行編碼直至在對應於深度d-2的編碼單元在操作970中分割之後深度為d-1時，用於深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元980的預測編碼的預測單元990可包含尺寸為2N_(d-1)×2N_(d-1)的分區類型992、尺寸為2N_(d-1)×N_(d-1)的分區類型994、尺寸為N_(d-1)×2N_(d-1)的分區類型996以及尺寸為N_(d-1)×N_(d-1)的分區類型998的分區。

可對分區類型992至998中的尺寸為2N_(d-1)×2N_(d-1)的一個分區、尺寸為2N_(d-1)×N_(d-1)的兩個分區、尺寸為N_(d-1)×2N_(d-1)的兩個分區、尺寸為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。

即使當尺寸為N_(d-1)×N_(d-1)的分區類型998具有最小編碼誤差時，由於最大深度為d，因此深度為d-1的編碼單元CU_(d-1)不再分割為較下層深度，且將構成當前最大編碼單元900的編碼單元的經編碼深度決定為d-1，且可將當前最大編碼單元900的分區類型決定為N_(d-1)×N_(d-1)。且，由於最大深度為d，因此不設定用於最小編碼單元980的分割資訊。

資料單元999可為當前最大編碼單元的「最小單元」。根據本發明的實施例的最小單元可為藉由將最小編碼單元980分割為4份而獲得的矩形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據編碼單元900的深度來比較編碼誤差而選擇具有最小編碼誤差的深度以決定經編碼深度，且將相應分區類型以及預測模式設定為經編碼深度的編碼模式。

因而，在所有深度1至d中比較根據深度的最小編碼誤差，且可將具有最小編碼誤差的深度決定為經編碼深度。可對經編碼深度、預測單元的分區類型以及預測模式做編碼且作為關於編碼模式的資訊而傳輸。且，由於編碼單元自深度0分割為經編碼深度，因此僅經編碼深度的分割資訊設定為0，且排除經編碼深度的深度的分割資訊設定為1。

視訊解碼裝置200的熵解碼器220可提取且使用關於編碼單元900的經編碼深度以及預測單元的資訊以對編碼單元912做解碼。視訊解碼裝置200可藉由使用根據深度的分割資訊而將分割資訊為0的深度決定為經編碼深度，且使用關於相應深度的編碼模式的資訊以用於解碼。

圖10至圖12為用於描述根據本發明的實施例的編碼單元1010、預測單元1060與轉換單元1070之間的關係的圖式。

編碼單元1010為在最大編碼單元中對應於由視訊編碼裝置100決定的經編碼深度的具有樹狀結構的編碼單元。預測單元1060為編碼單元1010中的每一者的預測單元的分區，且轉換單元1070為編碼單元1010中的每一者的轉換單元。

當最大編碼單元的深度在編碼單元1010中為0時，編碼單元1012以及1054的深度為1，編碼單元1014、1016、1018、1028、1050以及1052的深度為2，編碼單元1020、1022、1024、1026、1030、1032以及1048的深度為3，且編碼單元1040、1042、1044以及1046的深度為4。

在預測單元1060中，藉由分割編碼單元而獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，編碼單元1014、1022、1050以及1054中的分區類型的尺寸為2N×N，編碼單元1016、1048以及1052中的分區類型的尺寸為N×2N，且編碼單元1032的分區類型的尺寸為N×N。編碼單元1010的預測單元以及分區小於或等於每一編碼單元。

對小於編碼單元1052的資料單元中的轉換單元1070中的編碼單元1052的影像資料執行轉換或逆轉換。且，轉換單元1070中的編碼單元1014、1016、1022、1032、1048、1050、1052以及1054的尺寸以及形狀不同於預測單元1060中的編碼單元。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一編碼單元中的資料單元個別地執行畫面內預測、運動估計、運動補償、轉換以及逆轉換。

因此，對在最大編碼單元的每一區域中具有階層式結構的編碼單元中的每一者以遞迴方式執行編碼以決定最佳編碼單元，且因此可獲得具有遞迴樹狀結構的編碼單元。編碼資訊可包含關於編碼單元的分割資訊、關於分區類型的資訊、關於預測模式的資訊，以及關於轉換單元的尺寸的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定的編碼資訊。表1

視訊編碼裝置100的熵編碼器120可輸出關於具有樹狀結構的編碼單元的編碼資訊，且視訊解碼裝置200的熵解碼器220可自所接收的位元串流提取關於具有樹狀結構的編碼單元的編碼資訊。

分割資訊指示當前編碼單元是否分割為較下層深度的編碼單元。若當前深度d的分割資訊為0，則當前編碼單元不再分割為較下層深度的深度為經編碼深度，且因此可針對經編碼深度而定義關於分區類型、預測模式以及轉換單元的尺寸的資訊。若根據分割資訊進一步分割當前編碼單元，則對較下層深度的四個分割編碼單元獨立地執行編碼。

預測模式可為畫面內模式、畫面間模式以及跳過模式中的一者。可在所有分區類型中定義畫面內模式以及畫面間模式，且僅在尺寸為2N×2N的分區類型中定義跳過模式。

關於分區類型的資訊可指示：尺寸為2N×2N、2N×N、N×2N以及N×N的對稱分區類型，其是藉由對稱地分割預測單元的高度或寬度而獲得；以及尺寸為2N×nU、2N×nD、nL×2N以及nR×2N的非對稱分區類型，其是藉由非對稱地分割預測單元的高度或寬度而獲得。可藉由以1:n以及n:1（其中n為大於1的整數）分割預測單元的高度而分別獲得尺寸為2N×nU以及2N×nD的非對稱分區類型，且可藉由以1:n以及n:1分割預測單元的寬度而分別獲得尺寸為nL×2N以及nR×2N的非對稱分區類型（asymmetrical partition type）。

轉換單元的尺寸可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若轉換單元的分割資訊為0，則轉換單元的尺寸可為2N×2N，此為當前編碼單元的尺寸。若轉換單元的分割資訊為1，則可藉由分割當前編碼單元而獲得轉換單元。且，若尺寸為2N×2N的當前編碼單元的分區類型為對稱分區類型，則轉換單元的尺寸可為N×N，且若當前編碼單元的分區類型為非對稱分區類型，則轉換單元的尺寸可為N/2×N/2。

關於具有樹狀結構的編碼單元的編碼資訊可包含對應於經編碼深度的編碼單元、預測單元以及最小單元中的至少一者。對應於經編碼深度的編碼單元可包含含有相同編碼資訊的預測單元以及最小單元中的至少一者。

因此，藉由比較鄰近資料單元的編碼資訊而決定鄰近資料單元是否包含於對應於經編碼深度的同一編碼單元中。且，藉由使用資料單元的編碼資訊而決定對應於經編碼深度的相應編碼單元，且因此可決定最大編碼單元中的經編碼深度的分佈。

因此，若基於鄰近資料單元的編碼資訊而預測當前編碼單元，則可直接參考且使用鄰近於當前編碼單元的較深編碼單元中的資料單元的編碼資訊。

或者，若基於鄰近資料單元的編碼資訊而預測當前編碼單元，則使用資料單元的經編碼的資訊而搜尋鄰近於當前編碼單元的資料單元，且可參考所搜尋的鄰近編碼單元以用於預測當前編碼單元。

圖13為用於描述根據表1的編碼模式資訊的編碼單元、預測單元與轉換單元之間的關係的圖式。

最大編碼單元1300包含經編碼深度的編碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於編碼單元1318為經編碼深度的編碼單元，因此分割資訊可設定為0。關於尺寸為2N×2N的編碼單元1318的分區類型的資訊可設定為尺寸為2N×2N的分區類型1322、尺寸為2N×N的分區類型1324、尺寸為N×2N的分區類型1326、尺寸為N×N的分區類型1328、尺寸為2N×nU的分區類型1332、尺寸為2N×nD的分區類型1334、尺寸為nL×2N的分區類型1336以及尺寸為nR×2N的分區類型1338中的一者。

當分區類型設定為對稱（亦即，分區類型1322、1324、1326或1328）時，若轉換單元的分割資訊（TU尺寸旗標）為0，則設定尺寸為2N×2N的轉換單元1342，且若TU尺寸旗標為1，則設定尺寸為N×N的轉換單元1344。

當分區類型設定為非對稱（亦即，分區類型1332、1334、1336或1338）時，若TU尺寸旗標為0，則設定尺寸為2N×2N的轉換單元1352，且若TU尺寸旗標為1，則設定尺寸為N/2×N/2的轉換單元1354。

TU尺寸旗標為一種類型的轉換索引；對應於轉換索引的轉換單元的尺寸可根據編碼單元的預測單元類型或分區類型而改變。

當分區類型設定為對稱（亦即，分區類型1322、1324、1326或1328）時，若轉換單元的TU尺寸旗標為0，則設定尺寸為2N×2N的轉換單元1342，且若TU尺寸旗標為1，則設定尺寸為N×N的轉換單元1344。

當分區類型設定為非對稱（亦即，分區類型1332（2N×nU）、1334（2N×nD）、1336（nL×2N）或1338（nR×2N））時，若TU尺寸旗標為0，則設定尺寸為2N×2N的轉換單元1352，且若TU尺寸旗標為1，則設定尺寸為N/2×N/2的轉換單元1354。

參看圖13，上述TU尺寸旗標為具有值0或1的旗標，但TU尺寸旗標不限於1個位元，且轉換單元可在TU尺寸旗標自0增大時進行階層式分割。轉換單元分割資訊（TU尺寸旗標）可用作轉換索引的實例。

在此狀況下，在根據實施例的TU尺寸旗標與轉換單元的最大尺寸以及最小尺寸一起使用時，可表達實際使用的轉換單元的尺寸。視訊編碼裝置100可對最大轉換單元尺寸資訊、最小轉換單元尺寸資訊以及最大轉換單元分割資訊做編碼。經編碼的最大轉換單元尺寸資訊、最小轉換單元尺寸資訊以及最大轉換單元分割資訊可插入至序列參數集合（sequence parameter set；SPS）中。視訊解碼裝置200可將最大轉換單元尺寸資訊、最小轉換單元尺寸資訊以及最大轉換單元分割資訊用於視訊解碼。

舉例而言，（a）若當前編碼單元的尺寸為64×64且最大轉換單元為32×32，則（a-1）若TU尺寸旗標為0，則轉換單元的尺寸為32×32；（a-2）若TU尺寸旗標為1，則轉換單元的尺寸為16×16；且（a-3）若TU尺寸旗標為2，則轉換單元的尺寸為8×8。

或者，（b）若當前編碼單元的尺寸為32×32且最大轉換單元為32×32，則（b-1）若TU尺寸旗標為0，則轉換單元的尺寸為32×32，且由於轉換單元的尺寸無法小於32×32，因此可不需設定TU尺寸旗標。

或者，（c）若當前編碼單元的尺寸為64×64且最大TU尺寸旗標為1，則TU尺寸旗標可為0或1，且可不需設定其他TU尺寸旗標。

因此，在定義最大TU尺寸旗標為「MaxTransformSizeIndex」、最小TU尺寸旗標為「MinTransformSize」且在TU尺寸旗標為0時的轉換單元（亦即，基礎轉換單元RootTu）為「RootTuSize」，則可在當前編碼單元中獲得的最小轉換單元的尺寸「CurrMinTuSize」可由下文方程式（1）來定義： CurrMinTuSize = max (MinTransformSize, RootTuSize/(2^MaxTransformSizeIndex)) ... （1）

與可在當前編碼單元中獲得的最小轉換單元的尺寸「CurrMinTuSize」相比，基礎轉換單元尺寸「RootTuSize」（其為在TU尺寸旗標為0時的轉換單元的尺寸）可指示可關於系統而選擇的最大轉換單元。亦即，根據方程式（1），「RootTuSize/(2^MaxTransformSizeIndex)」為藉由以對應於最大轉換單元分割資訊的分割次數分割「RootTuSize」（其為在轉換單元分割資訊為0時的轉換單元的尺寸）而獲得的轉換單元的尺寸，且「MinTransformSize」為最小轉換單元的尺寸，且因此，「RootTuSize/(2^MaxTransformSizeIndex)」以及「MinTransformSize」中的較小值可為「CurrMinTuSize」（其為可在當前編碼單元中獲得的最小轉換單元的尺寸）。

根據本發明的實施例，基礎轉換單元的尺寸「RootTuSize」可根據預測模式而變化。

舉例而言，若當前預測模式為畫面間模式，則可根據下文方程式（2）來決定「RootTuSize」。在方程式（2）中，「MaxTransformSize」表示最大轉換單元尺寸，且「PUSize」表示當前預測單元尺寸。 RootTuSize = min(MaxTransformSize, PUSize) ......... （2）

換言之，若當前預測模式為畫面間模式，則基礎轉換單元尺寸的尺寸「RootTuSize」（其為在TU尺寸旗標為0時的轉換單元）可設定為最大轉換單元尺寸以及當前預測單元尺寸中的較小值。

若當前分區單元的預測模式為畫面內模式，則可根據下文方程式（3）來決定「RootTuSize」。「PartitionSize」表示當前分區單元的尺寸。 RootTuSize = min(MaxTransformSize, PartitionSize) ........（3）

換言之，若當前預測模式為畫面內模式，則基礎轉換單元尺寸「RootTuSize」可設定為最大轉換單元尺寸以及當前分區單元尺寸中的較小值。

然而，應注意，基礎轉換單元尺寸的尺寸「RootTuSize」（其根據本發明的實施例為當前最大轉換單元尺寸且根據分區單元的預測模式而變化）是屬於實例的一種，且用於決定當前最大轉換單元尺寸的因素並不僅限於此。

下文中，將詳細描述在圖1的視訊編碼裝置100的熵編碼器120中執行的語法元素的熵編碼操作，以及在圖2的視訊解碼裝置200的熵解碼器220中執行的語法元素的熵解碼操作。

如上所述，視訊編碼裝置100以及視訊解碼裝置200藉由將最大編碼單元分割為小於或等於最大編碼單元的編碼單元而執行編碼以及解碼。可獨立於其他資料單元基於成本來決定用於預測以及轉換的預測單元以及轉換單元。由於可藉由遞迴地對包含於最大編碼單元中的具有階層式結構的每一編碼單元做編碼來決定最優編碼單元，因此可組態具有樹狀結構的資料單元。換言之，針對每一最大編碼單元，可組態具有樹狀結構的編碼單元以及各自具有樹狀結構的預測單元及轉換單元。針對解碼，需要傳輸階層式資訊，階層式資訊是除指示階層式資訊之外亦指示具有階層式結構的資料單元的結構資訊以及用於解碼的非階層式資訊的資訊。

如上文參看圖10至圖12所述，與階層式結構相關的資訊為決定具有樹狀結構的編碼單元、具有樹狀結構的預測單元以及具有樹狀結構的轉換單元所需的資訊，且包含指示最大編碼單元的尺寸的轉換單元分割旗標（TU尺寸旗標）、經編碼深度、預測單元的分區資訊、指示是否分割編碼單元的分割旗標、轉換單元的尺寸資訊以及指示是否分割轉換單元的轉換單元分割旗標（TU尺寸旗標）。除階層式結構資訊之外的編碼資訊的實例包含應用於每一預測單元的畫面內/畫面間預測的預測模式資訊、運動向量資訊、預測方向資訊、在使用多個色彩成分的狀況下應用於每一資料單元的色彩成分資訊以及轉換係數資訊。下文中，階層式資訊以及非階層式（extra-hierarchical）資訊可稱為待熵編碼或熵解碼的語法元素。

特定言之，根據本發明的實施例，提供決定用於有效地對轉換係數的層級（亦即，語法元素的尺寸資訊）做熵編碼以及解碼的內文模型的方法。下文中，將詳細描述決定用於轉換係數的層級的熵編碼以及解碼的內文模型的方法。

圖14為說明根據本發明的實施例的包含於轉換單元中的轉換係數資訊的熵編碼以及解碼的操作的流程圖。

參看圖14，首先在操作1410中對coded_block_flag做熵編碼或解碼，coded_block_flag指示在當前轉換單元中所包含的轉換係數中是否存在並非0的轉換係數（下文中，稱作「重要係數」）。

若coded_block_flag為0，則當前轉換單元中僅存在轉換係數0，且因此僅將值0作為coded_block_flag來熵編碼或解碼，且不對轉換係數級資訊做熵編碼或解碼。

在操作1420中，若當前轉換單元中存在重要係數，則對指示重要係數的位置的重要圖（significance map）SigMap做熵編碼或解碼。

重要圖SigMap可由重要位元以及指示最後重要係數的位置的預定資訊形成。重要位元指示根據每一掃描索引的轉換係數是重要係數還是0，且可由significant_coeff_flag[i]表示。如稍後將描述，重要圖以具有預定尺寸的子集為單位而設定，所述子集是藉由分割轉換單元而獲得。因此，significant_coeff_flag[i]用以指示轉換單元中所包含的子集中所包含的轉換係數中的第i掃描索引的轉換係數是否為0。

根據習知H.264，另外對指示每一重要係數是否為最後重要係數的旗標（End-Of-Block）做熵編碼或解碼。然而，根據本發明的實施例，對最後重要係數的位置資訊自身會做熵編碼或解碼。如上文參看圖1至圖13所描述，根據本發明的實施例的轉換單元的尺寸不限於4×4，而亦可為較大尺寸，諸如8×8、16×16或32×32。另外對指示每一重要係數是否為最後重要係數的旗標（End-Of-Block）做熵編碼或解碼是低效的，此是因為旗標（End-Of-Block）的尺寸增大。因此，根據本發明的實施例，可對最後重要係數的位置資訊自身做熵編碼或解碼。舉例而言，若最後重要係數的位置為(x, y)，其中x及y為整數，則可對(x, y)的坐標值做熵編碼或解碼。

圖15說明根據本發明的實施例藉由分割轉換單元而獲得的子集。儘管圖15中說明了尺寸為16×16的轉換單元1500，但轉換單元1500的尺寸不限於16×16且亦可為4×4至32×32。

參看圖15，為了對轉換單元1500中所包含的轉換係數做熵編碼以及解碼，將轉換單元1500分割為具有預定尺寸的子集。舉例而言，如圖15所說明，轉換單元1500可分割為尺寸為4×4的子集。子集的尺寸不限於4×4且可為各種尺寸。

如圖15所說明，將轉換單元1500分割為16個子集，且針對每一子集單元對轉換係數資訊做熵編碼或解碼。經熵編碼或解碼的轉換係數資訊可為（例如）指示子集中所包含的重要係數是否具有大於預定第一臨界值（諸如1）的值的第一臨界值旗標（Greaterthan1旗標，下文中稱作「Gtr1旗標」），指示子集中所包含的重要係數是否具有大於預定第二臨界值（諸如2）的值的第二臨界值旗標（Greaterthan2旗標，下文中稱作「Gtr2旗標」），或指示大於預定第二臨界值的重要係數的層級的層級3。此處，假定第一臨界值設定為1，且第二臨界值設定為2，但第一臨界值以及第二臨界值不限於此且可修改。第一臨界值旗標（Gtr1旗標）僅針對包含1的重要圖的轉換係數而設定，亦即，僅針對重要係數而設定，而不針對轉換係數0設定。另外，第二臨界值旗標（Gtr2旗標）僅針對第一臨界值旗標為1的轉換係數設定。

在圖15中，假定包含最後重要係數的子集為子集11 1510。根據掃描次序自包含最後重要係數的子集11 1510向後執行對每一子集執行的轉換係數資訊的熵編碼以及解碼。

圖16說明根據本發明的實施例的包含於圖15的轉換單元1500中的子集1600。

參看圖15以及圖16，假定圖15中所說明的轉換單元1500中所包含的任何子集包含如圖16所說明的尺寸為4×4的轉換係數。如上所述，根據本發明的實施例，以子集為單位對重要圖SigMap、第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標做熵編碼或解碼。

圖17說明對應於圖16的子集1600的重要圖SigMap 1700。

參看圖16以及圖17，設定關於包含於圖16的子集1600中且不具有值0的轉換係數中的重要係數具有值1的重要圖SigMap 1700。使用預定內文模型對重要圖SigMap 1700做熵編碼或解碼。

圖18說明對應於圖16的子集1600的第一臨界值旗標Gtr1旗標1800。

參看圖16至圖18，設定關於值為1的轉換係數的第一臨界值旗標Gtr1旗標1800，其指示對應轉換係數是否具有大於第一臨界值（亦即，1）的值。若臨界值旗標Gtr1旗標1800為1，則此指示對應轉換係數具有大於1的值，且若臨界值旗標Gtr1旗標1800為0，則此指示對應係數具有值1。

圖19說明對應於圖16的子集1600的第二臨界值旗標Gtr2旗標1900。

參看圖16至圖19，在轉換係數中的第一臨界值旗標Gtr1 旗標1800設定為1時，第二臨界值旗標Gtr2 flag 1900只會關於轉換係數而被設定，且第二臨界值旗標Gtr2旗標1900指示對應轉換係數是否具有大於第二臨界值（亦即，2）的值。若第二臨界值旗標Gtr2旗標1900為1，則此指示對應轉換係數具有大於2的值，且若第二臨界值旗標Gtr2旗標1900為0，則此指示對應係數具有值2。

參看圖19，對第二臨界值旗標Gtr2旗標1900為1的轉換係數（亦即，在圖16中值為23及3的轉換係數）的層級資訊自身做熵編碼或解碼。此處，包括了為1的第二臨界值旗標Gtr2旗標1900的轉換係數便是具有大於2的值的轉換係數，且因此，將藉由自對應轉換係數的層級（層級3）減去3而獲得的值而作為對應轉換係數的層級資訊來編碼。在上述實例中，當執行熵編碼時，將20而非23作為層級資訊來編碼，且將0而非3來作為層級資訊來編碼。當執行熵解碼時，可藉由對包括了為1的第二臨界值旗標Gtr2旗標1900的轉換係數的層級3做熵編碼，且接著將其加上3來復原轉換係數的層級資訊。

圖20為繪示包含於圖16至圖19所說明的子集中的轉換係數以及經熵編碼或解碼的轉換係數資訊的表格。如上所述，根據本發明的實施例，根據預定掃描次序以子集為單位自最後重要係數以對重要圖SigMap、第一臨界值旗標Gtr1旗標、第二臨界值旗標Gtr2旗標以及指示重要係數的位置以及層級資訊的層級資訊（層級3）做熵編碼或解碼。

圖21A為說明根據本發明的實施例的熵編碼裝置2100的結構的結構方塊圖。圖21A的熵編碼裝置2100對應於圖1的視訊編碼裝置100的熵編碼器120。

參看圖21A，熵編碼裝置2100包含二進位化器2110、內文建模器2120以及二進位算術編碼器2130。且，二進位算術編碼器2130包含常規編碼引擎2132以及旁路編碼引擎2134。

輸入至熵編碼裝置2100的語法元素可能並非二進位值，且因此，若語法元素並非二進位值，則二進位化器2110將語法元素二進位化以輸出由二進位值0或1組成的二進位字串（bin string）。二進位表示由0或1組成的串流的每一位元，且由內文適應性二進位算術編碼（context adaptive binary arithmetic coding；CABAC）編碼。若語法元素為在相同頻率下包含0及1的資料，則語法元素輸出至不使用機率值的旁路編碼引擎2134。

內文建模器2120向常規編碼引擎2132提供關於當前編碼符號的機率模型。詳言之，內文建模器2120將用於對當前編碼符號的二進位值做編碼的二進位值的機率輸出至二進位算術編碼器2130。當前編碼符號是指經編碼的當前語法元素藉由二進位化而形成時（亦即，由二進位值形成時）的每一二進位值。

內文模型為相對於二進位的機率模型，且包含指示0及1中的哪一者對應於最可能符號（most probable symbol；MPS）以及最不可能符號（least probable symbol；LPS）以及MPS或LPS的機率的資訊。下文中，內文模型可簡稱作內文。且，內文集合指包含多個內文的集合。

常規編碼引擎2132基於自內文建模器2120提供的關於MPS或LPS的資訊以及MPS或LPS的機率資訊來對當前編碼符號執行二進位算術編碼。

如稍後將描述，為了決定用於子集的第一臨界值旗標Gtr1旗標的熵編碼的內文模型，根據本發明的實施例的內文建模器2120基於轉換單元的色彩成分資訊、指示當前子集在轉換單元中所處的位置的子集的位置資訊以及在根據關於上文的圖15描述的處理次序在當前子集之前處理的子集中是否存在具有大於第一臨界值的值的重要係數來獲得內文集合索引ctxset，內文集合索引ctxset用於決定包含多個內文的多個內文集合中的用於第一臨界值旗標的熵編碼的內文集合。另外，內文建模器2120基於具有連續1的先前轉換係數的長度來獲得內文偏移c1，內文偏移c1用於決定用於第一臨界值旗標Gtr1旗標的熵編碼的內文集合中所包含的多個內文中的一者。且，內文建模器2120藉由使用內文集合索引ctxset以及內文偏移c1來獲得指示用於第一臨界值旗標Gtr1旗標的熵編碼的內文的內文索引ctxIdx1。當始終對轉換單元的第一臨界值旗標Gtr1旗標做熵編碼或解碼時，內文偏移c1的值得以維持或修改，且因此，內文始終在每次對轉換單元的第一臨界值旗標Gtr1旗標做熵編碼或解碼時得以維持或更新。

且，內文建模器2120基於轉換單元的色彩成分資訊、指示當前子集在轉換單元中所處的位置的子集的位置資訊以及在根據關於上文的圖15描述的處理次序在當前子集之前處理的子集中是否存在具有大於第一臨界值的值的重要係數來獲得內文集合索引ctxset，內文集合索引ctxset指示用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的多個內文集合中的一者。用以獲得用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文集合索引ctxset的參數與用以獲得用於第一臨界值旗標Gtr1旗標的熵編碼以及解碼的內文集合索引ctxset的參數相同。因此，當決定用於第二臨界值旗標Gtr2旗標的熵編碼的內文集合時，內文建模器2120亦可使用上文描述的用於決定用於第一臨界值旗標的熵編碼的內文集合的內文集合索引ctxset。用於決定用於第二臨界值旗標Gtr2旗標的熵編碼的內文集合中所包含的多個內文中的一者的內文偏移c2具有值0。因此，指示用於第二臨界值旗標Gtr2旗標的熵編碼的內文的內文索引ctxIdx2設定為與第一臨界值旗標Gtr1旗標的內文集合索引ctxset相同。

圖21B為說明根據本發明的實施例的熵解碼裝置2150的結構的結構方塊圖。圖21B的熵解碼裝置2150對應於圖2的視訊解碼裝置200的熵解碼器220。熵解碼裝置2150執行在上文描述的熵編碼裝置2100中執行的熵編碼的逆操作。

參看圖21B，熵解碼裝置2150包含內文建模器2160、常規解碼引擎2170、旁路（bypass）解碼器2180以及去二進位化器2190。

藉由旁路編碼而編碼的符號輸出至旁路解碼器2180以待解碼，且藉由常規編碼而編碼的符號由常規解碼引擎2170解碼。常規解碼引擎2170基於由內文建模器2160提供的內文模型來以算術方式對當前編碼符號的二進位值做解碼。

內文建模器2160以與上文描述的圖21A的內文建模器2120相同的方式決定用於第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵解碼的內文模型。圖21B的內文建模器2160以與上文關於編碼描述的圖21A的內文建模器2120相同的方式（除了其相對於解碼操作以外）決定用於第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵解碼的內文模型。

去二進位化器2190將在常規解碼引擎2170或旁路解碼器2180中復原的二進位字串復原為語法元素。

下文中，將詳細描述藉由使用圖21A以及圖21B的內文建模器2120以及2160進行的決定第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文模型的操作。

圖22為說明根據本發明的實施例的內文建模器2200的結構方塊圖。

參看圖22，內文建模器2200包含映射單元2210、內文集合獲得單元2220、內文偏移獲得單元2230以及內文決定單元2240。

映射單元2210獲得經熵編碼或解碼的當前子集中所包含的重要係數的位置資訊。當執行熵編碼時，映射單元2210可自當前子集中所包含的轉換係數的資訊獲得重要係數的位置。當執行熵解碼時，映射單元2210可自重要圖SigMap獲得子集中所包含的重要係數的位置。

內文集合獲得單元2220獲得指示包含多個內文的多個內文集合中的一者的內文集合索引ctxset，所述多個內文用於關於重要係數的第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼。

詳言之，內文集合獲得單元2220基於轉換單元的色彩成分資訊、正處理的當前子集的位置資訊以及在當前子集之前處理的子集中是否存在具有大於第一臨界值的值的重要係數而獲得內文集合索引，所述內文集合索引用於決定用於第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文集合。

內文偏移獲得單元2230決定指示內文集合索引ctxset中所包含的多個內文中的一者的內文偏移。當對第一臨界值旗標Gtr1旗標執行熵編碼或解碼時，可基於在正根據預定掃描次序處理當前子集中所包含的重要係數時處理的當前重要係數之前的具有連續1的先前轉換係數的長度來決定內文偏移c1。第二臨界值旗標Gtr2旗標的內文偏移c2具有值0。

內文決定單元2240藉由使用內文集合索引ctxset以及內文偏移c1來獲得指示用於第一臨界值旗標Gtr1旗標的熵編碼或解碼的內文的內文索引ctxIdx1。為了對第一臨界值旗標Gtr1旗標做熵編碼以及解碼，當假定設定了n個內文集合（n為整數），且n個內文集合具有m個內文（m為整數）時，總共n*m個內文可用於第一臨界值旗標Gtr1旗標的熵編碼或解碼。當假定指示n個內文集合中的一者的內文集合索引ctxSet為0至(n-1)的整數且指示m個內文偏移中的一者的內文偏移c1為0至(m-1)的整數時，可基於以下方程式決定指示n*m個內文中的一者的內文索引ctxIdx1：ctxIdx1=ctxSet*m + c1。

可基於以下方程式決定指示用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的一個內文的內文索引ctxIdx2：ctxIdx2=ctxSet*1+c2。如上所述，由於c2為0，因此僅基於集合索引ctxSet的值來決定指示用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文的內文索引ctxIdx2。

圖23說明根據本發明的實施例的應用於明度成分的轉換單元的多個內文集合以及每一內文集合中所包含的多個內文。圖24說明根據本發明的實施例的應用於色度成分的轉換單元的多個內文集合以及每一內文集合中所包含的多個內文。

參看圖23，為了對關於明度成分子集中所包含的轉換係數的第一臨界值旗標Gtr1旗標做熵編碼以及解碼，使用第一內文集合2310、第二內文集合2320、第三內文集合2330以及第四內文集合2340中的任一者中所包含的內文。四個內文集合中的任一者中所包含的不同內文可藉由0至3的內文偏移c1區分，如圖23所說明。因此，可藉由使用內文集合索引ctxset以及內文偏移c1來決定應用於明度成分的子集的轉換單元的第一臨界值旗標Gtr1旗標的總共16個內文中的內文。亦即，可藉由以下方程式來決定指示應用於明度成分的子集的轉換單元的第一臨界值旗標Gtr1旗標的總共16個內文中的一者的內文索引ctxIdx1：ctxIdx1=ctxSet*4 + c1。

類似地，參看圖24，為了對關於色度成分子集中所包含的轉換單元的第一臨界值旗標Gtr1旗標做熵編碼以及解碼，使用總共兩個內文集合（第一內文集合2410以及第二內文集合2420）中的內文集合的任一者中所包含的內文。內文集合中所包含的不同內文可藉由0至3的內文偏移c1_chroma來區分，如圖24所說明。如稍後將描述，關於色度成分的內文偏移c1_chroma可按與關於明度成分的內文偏移c1相同的方式設定。可藉由以下方程式來決定指示應用於色度成分的子集中所包含的轉換係數的第一臨界值旗標Gtr1旗標的總共8個內文中的一者的內文索引ctxIdx1_chroma：ctxIdx1_chroma=ctxSet*4 + c1_chroma。

圖27A說明根據本發明的實施例的決定用於明度成分的重要係數以及色度成分的重要係數的第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文集合的內文集合索引ctxset。

參看圖27A，內文集合獲得單元2220基於轉換單元的色彩成分資訊、正處理的當前子集的位置資訊以及在當前子集之前處理的子集中是否存在具有大於第一臨界值的值的重要係數而獲得內文集合索引ctxset，內文集合索引ctxset用於決定用於第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文集合。

舉例而言，關於明度成分的轉換單元中所包含的轉換係數，若在先前處理的子集中不存在具有大於1的值的重要係數（無GreatT1），且當對位於最左側位置的子集中所包含的重要係數的第一臨界值旗標做熵編碼或解碼時，獲得第一內文集合（ctxset=0）。若在先前處理的子集中存在具有大於1的值的重要係數（至少一個GreatT1），且當對位於最左側位置的子集（子集0）中所包含的重要係數的第一臨界值旗標做熵編碼或解碼時，獲得第二內文集合（ctxset=1）。若在先前處理的子集中不存在具有大於1的值的重要係數（無GreatT1），且當對並不位於最左側位置的子集（其他子集）中所包含的重要係數的第一臨界值旗標做熵編碼或解碼時，獲得第三內文集合（ctxset=2）。且，若在先前處理的子集中存在具有大於1的值的重要係數（至少一個GreatT1），且當對並不位於最左側位置的子集（其他子集）中所包含的重要係數的第一臨界值旗標做熵編碼或解碼時，獲得第四內文集合（ctxset=3）。

關於色度成分的轉換單元中所包含的轉換係數，僅基於先前處理的子集中是否存在具有大於1的值的重要係數來獲得內文集合。換言之，若在先前處理的子集中不存在具有大於1的值的重要係數（無GreatT1），則獲得第一內文集合（ctxset=0），且若在先前處理的子集中存在具有大於1的值的重要係數（至少一個GreatT1），則獲得第二內文集合（ctxset=1）。

圖27B說明根據本發明的實施例的用於第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文偏移。

參看圖27B，為了決定用於第一臨界值旗標Gtr1旗標的熵編碼以及解碼的內文集合中所包含的內文，針對子集中所包含的重要係數中的具有大於1的值的重要係數而獲得第一內文偏移（c1=0）。關於在子集中所包含的重要係數中的被第一次處理的重要係數，獲得第二內文偏移（c1=1）。若具有連續1的先前轉換係數的長度為1，則獲得第三內文偏移（c1=2）。若具有連續1的先前轉換係數的長度為2或大於2，則獲得第四內文偏移（c1=3）。內文偏移c1可應用於明度成分與色度成分兩者。

用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文偏移c2具有值0。

當基於圖27A以及圖27B的表格決定用於子集中所包含的轉換係數的熵編碼或解碼的內文集合索引ctxset以及內文偏移c1或c2時，內文決定單元2240根據以下方程式來決定指示應用於明度成分的子集中所包含的轉換單元的第一臨界值旗標Gtr1旗標的總共16個內文中的一者的內文索引ctxIdx1：ctxIdx1=ctxSet*4 + c1。且，內文決定單元2240根據以下方程式來決定指示應用於色度成分的子集中所包含的轉換單元的第一臨界值旗標Gtr1旗標的總共8個內文中的一者的內文索引ctxIdx1_chroma：ctxIdx1_chroma=ctxSet*4 + c1。參看圖27A以及圖27B的表格，應用於第一臨界值旗標Gtr1旗標的內文的總數為24，亦即，用於明度成分的4×4=16個加用於色度成分的2×4=8個。

且，內文決定單元2240根據以下方程式決定指示應用於第二臨界值旗標Gtr2旗標的內文的內文索引ctxIdx2：ctxIdx2=ctxset*1+c2。亦即，指示應用於第二臨界值旗標Gtr2旗標的內文的內文索引ctxIdx2設定為與內文集合索引ctxset的值相同。因此，參看圖27A以及圖27B的表，應用於第一臨界值旗標Gtr1旗標的內文的總數為8，亦即，用於明度成分的4個及用於色度成分的4個。

圖25為說明根據本發明的實施例的決定用於轉換係數級的熵編碼以及解碼的內文模型的方法的流程圖。

參看圖25，在操作2510中，映射單元2210將轉換單元分割為具有預定單元的子集且獲得包含於每一子集中且並非0的重要係數。如上所述，當執行熵編碼時，映射單元2210可自當前子集中所包含的轉換係數的資訊獲得重要係數的位置。當執行熵解碼時，映射單元2210可自重要圖SigMap獲得子集中所包含的重要係數的位置。

在操作2520中，內文集合獲得單元2220基於轉換單元的色彩成分資訊、包含重要係數且當前被處理的第一子集的位置以及在第一子集之前處理的第二子集中是否存在大於預定第一臨界值的重要值來獲得內文集合索引ctxset，內文集合索引ctxset用於決定用於第一臨界值旗標的熵編碼以及解碼的內文集合，第一臨界值旗標指示包含多個內文的多個內文集合中的重要係數是否具有大於第一臨界值的值。如圖27A以及圖27B所示，關於明度成分的轉換單元中所包含的轉換係數，內文集合獲得單元2220可取決於第一子集的位置是否為位於最左側位置的子集0，以及在先前處理的子集中是否存在具有大於1的值的重要係數來獲得指示四個內文集合中的內文集合的內文集合索引ctxset。且，關於色度成分的轉換單元中所包含的轉換係數，內文集合獲得單元2220可僅基於先前處理的子集中是否存在具有大於1的值的重要係數來獲得指示兩個內文集合中的一者的內文集合索引ctxset。

在操作2530中，內文偏移獲得單元2230基於具有連續1的先前轉換係數的長度來獲得內文偏移，所述內文偏移用於決定用於第一臨界值旗標Gtr1旗標的熵編碼或解碼的內文集合中所包含的多個內文中的一者。如上所述，內文偏移獲得單元2230可基於正根據預定掃描次序處理當前子集中所包含的重要係數時處理的當前重要係數之前的先前轉換係數連續1的的長度來決定內文偏移c1。內文偏移獲得單元2230可將用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文偏移c2設定為始終具有值0而不必考慮其他參數。

在操作2540中，內文決定單元2240藉由使用內文集合索引ctxset以及內文偏移c1來獲得指示用於第一臨界值旗標Gtr1旗標的熵編碼以及解碼的內文的內文索引ctxIdx1。如上所述，當假定指示n個內文集合中的一者的內文集合索引ctxSet為0至(n-1)的整數且指示m個內文偏移中的一者的內文偏移c1為0至(m-1)的整數時，內文決定單元2240可根據以下方程式決定指示n*m個內文中的一者的內文索引ctxIdx1：ctxIdx1=ctxSet*m + c1。且，內文決定單元2240可根據以下方程式決定指示用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的一個內文的內文索引ctxIdx2：ctxIdx2=ctxSet*1+c2。由於c2為0，因此僅基於集合索引ctxSet的值來決定指示用於第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文的內文索引ctxIdx2。

圖26為說明根據本發明的實施例的決定用於轉換係數級的熵編碼以及解碼的內文模型的方法的詳細流程圖。

參看圖26，在操作2611中，映射單元2210將轉換單元分割為具有預定尺寸的子集且獲得包含於每一子集中且並非0的重要係數。

在操作2612中，內文集合獲得單元2220基於用於決定內文集合的參數中的當前子集的位置以及色彩成分資訊來決定內文集合索引ctxset。舉例而言，在當前子集為位於轉換單元的最左側位置的子集0或色度成分時，將ctxset設定為0，且若當前子集並非位於轉換單元的最左側位置的子集或為明度成分，則將ctxset設定為2。

在操作2613中，內文集合獲得單元2220決定在剛好在當前子集之前處理的先前子集中是否存在具有大於第一臨界值的值的重要係數。由於操作2613中的決定，若先前子集中存在具有大於第一臨界值的值的重要係數，則內文集合獲得單元2220將在操作2612中設定的內文集合索引ctxset的值增加1；否則若先前子集中不存在具有大於第一臨界值的值的重要係數，則內文集合獲得單元2220維持在操作2612中設定的內文集合索引ctxset的值。

在操作2615中，內文偏移獲得單元2230設定應用於第一次處理的當前子集的重要係數的第一臨界值旗標Gtr1旗標的內文偏移c1的值。

在操作2616中，內文決定單元2240根據以下方程式獲得指示應用於第一臨界值旗標Gtr1旗標的內文的內文索引ctxIdx1：ctxIdx1=ctxset*4 + min(c1, 3)。方程式是基於圖27A以及圖27B，且具有連續1的轉換係數的長度在操作2620中得以決定，且若至少三個第一臨界值旗標Gtr1旗標繼續，則內文偏移索引c1可具有3或更大的值。然而，參看圖27B，由於針對至少兩個連續1將內文偏移索引c1設定為具有值2，因此min(c1,3)用以將內文偏移索引c1限制為不大於3。

在操作2617中，常規編碼引擎2132以及常規解碼引擎2170基於由所獲得的內文索引ctxIdx1指示的內文模型而對第一臨界值旗標Gtr1旗標做熵編碼或解碼。

在操作2618中，內文偏移獲得單元2230決定當前編碼或解碼的第一臨界值旗標Gtr1旗標是否具有值0以及內文偏移索引c1是否為0。執行操作2618的決定操作以便決定重要係數中的連續1的數目。由於操作2618中的決定，若當前編碼或解碼的第一臨界值旗標Gtr1旗標具有值0且內文偏移索引c1並非0，則在操作2620中將內文偏移索引c1增加1。由於操作2618中的決定，否則，若當前編碼或解碼的第一臨界值旗標Gtr1旗標不具有值0或內文偏移索引c1為0，則在操作2619中將內文偏移索引c1重設為1。

操作2615至2620為子集中所包含的轉換係數的第一臨界值旗標Gtr1旗標的熵編碼或解碼的操作。為了加速操作，替代關於每一重要係數對第一臨界值旗標Gtr1旗標做熵編碼或解碼，可僅針對僅預定數目（#）個重要係數自最後重要係數對第一臨界值旗標Gtr1旗標做熵編碼或解碼（最大迴圈#）。對對應第一臨界值旗標Gtr1旗標未被熵編碼或解碼的重要係數的層級資訊自身做熵編碼或解碼。

在操作2621至2624中，對第二臨界值旗標Gtr2旗標做熵編碼或解碼。

在操作2621中，決定內文偏移索引c1的值是否為0。在操作2622中，指示應用於第二臨界值旗標Gtr2旗標的熵編碼或解碼的內文的內文索引ctxIdx2設定為與在執行第一臨界值旗標Gtr1旗標的熵編碼以及解碼時決定的內文集合索引ctxset相同。

在操作2623中，常規編碼引擎2132以及常規解碼引擎2170基於由所獲得的內文索引ctxIdx2指示的內文模型來對第二臨界值旗標Gtr2旗標做熵編碼或解碼。

在操作2624中，常規編碼引擎2132以及常規解碼引擎2170對具有大於第二臨界值的值的轉換係數的層級做熵編碼或解碼。如上所述，可對藉由自對應轉換係數減去預定值而獲得的層級值（層級3）做熵編碼或解碼。

圖28說明根據本發明的實施例的包含圖20的子集中所包含的轉換係數以及用於經熵編碼或解碼的轉換係數資訊的熵編碼或解碼的內文偏移索引c1的表格。如上所述，內文偏移索引c1是基於具有連續值1的轉換係數的長度而決定且假定根據圖27B而獲得。且，在圖28中，假定每一轉換係數的處理次序為自左至右。

且，此處，假定並不基於關於當前子集中所包含的轉換係數的資訊而是基於轉換單元的色彩成分資訊、當前子集的位置以及在當前子集之前處理的子集中是否存在具有大於第一臨界值的值的重要係數而決定內文集合索引ctxset，內文集合索引ctxset用於第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼。

參看圖28，最初處理的子集的值為1的最後重要係數（2810）不大於1，且因此第一臨界值旗標Gtr1旗標具有值0。參看圖27B，將關於最初處理的重要係數的第一臨界值旗標Gtr1旗標的內文偏移c1設定為1。

接下來，關於最後重要係數（2810）的下一重要係數的第一臨界值旗標Gtr1旗標的內文偏移c1具有值2。此是因為先前存在具有值1的重要係數（2810）。類似地，關於下一重要係數2830的第一臨界值旗標Gtr1旗標的內文偏移c1具有值3。此是因為先前存在具有兩個連續1的兩個重要係數（2810及2820）。

由於重要轉換係數（2830）的第一臨界值旗標Gtr1旗標具有值1，因此關於重要係數（2830）之後的所有重要係數的第一臨界值旗標Gtr1旗標的內文偏移c1具有值0。此是因為，若第一臨界值旗標Gtr1旗標由於圖26的操作2618中的決定而具有值1，則根據操作2619將內文偏移c1設定為0，且因此將關於此後的所有重要係數的內文偏移c1設定為0。

圖29說明根據本發明的實施例包含子集中所包含的轉換係數以及用於經熵編碼或解碼的轉換係數資訊的熵編碼或解碼的內文偏移索引c1的表格。比較圖28及圖29，圖29與圖28的不同之處在於最後重要係數（2910）具有值2，且因此第一臨界值旗標Gtr1旗標具有值1。如上所述，將關於最初處理的重要係數2910的第一臨界值旗標Gtr1旗標的內文偏移c1設定為1，且關於重要係數（2910）之後的所有重要係數的第一臨界值旗標GTR1的內文偏移c1具有值0。

根據上文描述的用於決定內文模型的方法以及裝置，基於轉換單元的色彩成分資訊、當前子集的位置以及在當前子集之前處理的子集中是否存在具有大於第一臨界值的值的重要係數而獲得內文集合索引ctxset，且基於具有連續1的先前轉換係數的長度而獲得內文偏移c1。

用於決定內文索引或內文偏移的標準不限於本發明的實施例且亦可修改。

舉例而言，如表2所說明，可藉由將機率類似的狀況分組來設定內文偏移c1。

【表2】

當比較表2以及圖27B時，表2繪示分組於同一群組中以映射於一個內文中的一個連續轉換係數以及兩個連續轉換係數。且，可基於先前子集中所包含的等於或大於1的重要係數的數目來對內文集合分組以便如表3所示來設定內文集合索引ctxset。

另外，可如下文表4至表6所示基於包含當前轉換單元的片段的類型、當前子集的位置以及先前子集中的具有等於或大於預定臨界值的值的轉換係數的數目來設定內文集合索引ctxset。

參看(例如)表4，當對片段I中所包含的轉換單元的子集中所包含的轉換係數做熵編碼或解碼時，可基於當前子集的位置、先前子集中的具有等於或大於預定臨界值T1的值的轉換係數的數目為0、1至4還是4個以上來將0至5中的一者設定為內文集合索引ctxset的值。

參看(例如)表5，當對片段P中所包含的轉換單元的子集中所包含的轉換係數做熵編碼或解碼時，可基於當前子集的位置、先前子集中的具有等於或大於預定臨界值T1的值的轉換係數的數目為0、1至3還是3個以上來將0至5中的一者設定為內文集合索引ctxset的值。

參看(例如)表6，當對片段B中所包含的轉換單元的子集中所包含的轉換係數做熵編碼或解碼時，可基於當前子集的位置、先前子集中的具有等於或大於預定臨界值T1的值的轉換係數的數目為0、1或2還是2個以上來將0至5中的一者設定為內文集合索引ctxset的值。

本發明的實施例可寫為電腦程式，且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體的實例包含磁性儲存媒體（例如，ROM、軟碟、硬碟等）以及光學記錄媒體（例如，CD-ROM或DVD）。

儘管已參考本發明的例示性實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍界定的本發明的精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。

100‧‧‧視訊編碼裝置
110‧‧‧階層式編碼器
120‧‧‧熵編碼器
200‧‧‧視訊解碼裝置
210‧‧‧語法元素提取單元
220‧‧‧熵解碼器
230‧‧‧階層式解碼器
310‧‧‧視訊資料
315‧‧‧編碼單元
320‧‧‧視訊資料
325‧‧‧編碼單元
330‧‧‧視訊資料
335‧‧‧編碼單元
400‧‧‧視訊編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧轉換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆轉換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考畫面
500‧‧‧視訊解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆轉換器
550‧‧‧畫面內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧迴路濾波單元
585‧‧‧參考畫面
595‧‧‧所復原的畫面
600‧‧‧階層式結構
610‧‧‧編碼單元/分區/最大編碼單元
612‧‧‧分區
614‧‧‧分區
616‧‧‧分區
620‧‧‧編碼單元/分區
622‧‧‧分區
624‧‧‧分區
626‧‧‧分區
630‧‧‧編碼單元/分區
632‧‧‧分區
634‧‧‧分區
636‧‧‧分區
640‧‧‧編碼單元/分區
642‧‧‧分區
644‧‧‧分區
646‧‧‧分區
710‧‧‧編碼單元
720‧‧‧轉換單元
800‧‧‧資訊
802‧‧‧分區
804‧‧‧分區
806‧‧‧分區
808‧‧‧分區
810‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一畫面內轉換單元
824‧‧‧第二畫面內轉換單元
826‧‧‧第一畫面間轉換單元
828‧‧‧第二畫面間轉換單元
900‧‧‧編碼單元/當前最大編碼單元
910‧‧‧預測單元
912‧‧‧分區類型/編碼單元/分區
914‧‧‧分區類型
916‧‧‧分區類型
918‧‧‧分區類型
920‧‧‧操作
930‧‧‧編碼單元
940‧‧‧預測單元
942‧‧‧分區類型
944‧‧‧分區類型
946‧‧‧分區類型
948‧‧‧分區類型
950‧‧‧操作
960‧‧‧編碼單元
970‧‧‧操作
980‧‧‧編碼單元
990‧‧‧預測單元
992‧‧‧分區類型
994‧‧‧分區類型
996‧‧‧分區類型
998‧‧‧分區類型
999‧‧‧資料單元
1010‧‧‧編碼單元
1012‧‧‧編碼單元
1014‧‧‧編碼單元
1016‧‧‧編碼單元
1018‧‧‧編碼單元
1020‧‧‧編碼單元
1022‧‧‧編碼單元
1024‧‧‧編碼單元
1026‧‧‧編碼單元
1028‧‧‧編碼單元
1030‧‧‧編碼單元
1032‧‧‧編碼單元
1040‧‧‧編碼單元
1042‧‧‧編碼單元
1044‧‧‧編碼單元
1046‧‧‧編碼單元
1048‧‧‧編碼單元
1050‧‧‧編碼單元
1052‧‧‧編碼單元
1054‧‧‧編碼單元
1060‧‧‧預測單元
1070‧‧‧轉換單元
1300‧‧‧最大編碼單元
1302‧‧‧編碼單元
1304‧‧‧編碼單元
1306‧‧‧編碼單元
1312‧‧‧編碼單元
1314‧‧‧編碼單元
1316‧‧‧編碼單元
1318‧‧‧編碼單元
1322‧‧‧分區類型
1324‧‧‧分區類型
1326‧‧‧分區類型
1328‧‧‧分區類型
1332‧‧‧分區類型
1334‧‧‧分區類型
1336‧‧‧分區類型
1338‧‧‧分區類型
1342‧‧‧轉換單元
1344‧‧‧轉換單元
1352‧‧‧轉換單元
1354‧‧‧轉換單元
1410‧‧‧操作
1420‧‧‧操作
1430‧‧‧操作
1500‧‧‧轉換單元
1510‧‧‧子集11
1600‧‧‧子集
1700‧‧‧重要圖SigMap
1800‧‧‧第一臨界值旗標Gtr1 flag
1900‧‧‧第二臨界值旗標Gtr2 flag
2100‧‧‧熵編碼裝置
2110‧‧‧二進位化器
2120‧‧‧內文建模器
2130‧‧‧二進位算術編碼器
2132‧‧‧常規編碼引擎
2134‧‧‧旁路編碼引擎
2150‧‧‧熵解碼裝置
2160‧‧‧內文建模器
2170‧‧‧常規解碼引擎
2180‧‧‧旁路解碼器
2190‧‧‧去二進位化器
2200‧‧‧內文建模器
2210‧‧‧映射單元
2220‧‧‧內文集合獲得單元
2230‧‧‧內文偏移獲得單元
2240‧‧‧內文決定單元
2310‧‧‧第一內文集合
2320‧‧‧第二內文集合
2330‧‧‧第三內文集合
2340‧‧‧第四內文集合
2410‧‧‧第一內文集合
2420‧‧‧第二內文集合
2510‧‧‧操作
2520‧‧‧操作
2530‧‧‧操作
2540‧‧‧操作
2611‧‧‧操作
2612‧‧‧操作
2613‧‧‧操作
2614‧‧‧操作
2615‧‧‧操作
2616‧‧‧操作
2617‧‧‧操作
2618‧‧‧操作
2619‧‧‧操作
2620‧‧‧操作
2621‧‧‧操作
2622‧‧‧操作
2623‧‧‧操作
2624‧‧‧操作
2810‧‧‧最後重要係數
2820‧‧‧重要係數
2830‧‧‧重要係數
2910‧‧‧最後重要係數
CU‧‧‧編碼單元
CU_0‧‧‧當前編碼單元
CU_1‧‧‧編碼單元
CU_(d-1)‧‧‧編碼單元
PU‧‧‧預測單元
TU‧‧‧轉換單元

藉由參看附圖詳細描述本發明的例示性實施例，本發明的以上以及其他特徵以及優點將變得更顯而易見。圖1為根據本發明的實施例的用於對視訊做編碼的裝置的方塊圖。圖2為根據本發明的實施例的用於對視訊做解碼的裝置的方塊圖。圖3為用於描述根據本發明的實施例的編碼單元的概念的圖式。圖4為根據本發明的實施例的基於具有階層式結構的編碼單元的視訊編碼器的方塊圖。圖5為根據本發明的實施例的基於具有階層式結構的編碼單元的視訊解碼器的方塊圖。圖6為根據本發明的實施例說明根據深度以及分區（partition）的較深編碼單元（deeper coding unit）的圖式。圖7為用於描述根據本發明的實施例的編碼單元（coding unit）與轉換單元（transformation）之間的關係的圖式。圖8為用於描述根據本發明的實施例的對應於經編碼深度的編碼單元的編碼資訊的圖式。圖9為根據本發明的實施例的根據深度的較深編碼單元的圖式。圖10至圖12為用於描述根據本發明的實施例的編碼單元、預測單元與頻率轉換單元之間的關係的圖式。圖13為用於描述根據表1的編碼模式資訊的編碼單元、預測單元與轉換單元之間的關係的圖式。圖14為說明根據本發明的實施例的包含於轉換單元中的轉換係數資訊的熵編碼以及解碼的操作的流程圖。圖15說明根據本發明的實施例藉由分割轉換單元而獲得的子集。圖16說明根據本發明的實施例的包含於圖15的轉換單元中的子集。圖17說明對應於圖16的子集的重要圖（significant map）。圖18說明對應於圖16的子集的第一臨界值旗標。圖19說明對應於圖16的子集的第二臨界值旗標。圖20為繪示包含於圖16至圖19所說明的子集中的轉換係數以及經熵編碼以及解碼的轉換係數資訊的表格。圖21A為說明根據本發明的實施例的熵編碼裝置的結構方塊圖。圖21B為說明根據本發明的實施例的熵解碼裝置的結構方塊圖。圖22為說明根據本發明的實施例的內文建模器（context modeler）的結構方塊圖。圖23說明根據本發明的實施例的應用於明度成分（luminance component）的轉換單元的多個內文集合以及每一內文集合中所包含的多個內文。圖24說明根據本發明的實施例的應用於色度成分的轉換單元的多個內文集合以及每一內文集合中所包含的多個內文。圖25為說明根據本發明的實施例的決定用於轉換係數級的熵編碼以及解碼的內文模型的方法的流程圖。圖26為說明根據本發明的實施例的決定用於轉換係數級的熵編碼以及解碼的內文模型的方法的詳細流程圖。圖27A說明根據本發明的實施例的決定用於明度成分的重要轉換係數以及色度成分的重要轉換係數的第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文集合的內文集合索引ctxset。圖27B說明根據本發明的實施例的用於第一臨界值旗標Gtr1旗標以及第二臨界值旗標Gtr2旗標的熵編碼以及解碼的內文偏移。圖28說明繪示根據本發明的實施例的用於子集中所包含的轉換係數的熵編碼或解碼的內文偏移索引c1以及圖20的經熵編碼或解碼的轉換係數資訊的表格。圖29說明繪示根據本發明的另一實施例的用於子集中所包含的轉換係數的熵編碼以及解碼的內文偏移索引c1以及經熵編碼或解碼的轉換係數資訊的表格。

Claims

一種視訊解碼的裝置，所述裝置包括：藉由使用從位元串流獲得的轉換單元的尺寸資訊來決定當前轉換單元；當所述當前轉換單元是色度成分(chroma component)的轉換單元時，決定包括在所述當前轉換單元中之當前子區塊的內文集合，該決定係獨立於所述當前子區塊的位置；當所述當前轉換單元是明度成分的轉換單元時，基於所述當前子區塊的所述位置來決定包括在所述當前轉換單元中之所述當前子區塊的所述內文集合；基於所述當前子區塊的所述內文集合及內文偏移來決定內文模型以用於獲得第一臨界值信息，其中所述第一臨界值信息指示位在所述當前子區塊中的當前轉換係數是否大於第一臨界值；以及基於已決定的所述內文模型來解碼所述當前子區塊的所述第一臨界值信息。
如申請專利範圍第1項所述的裝置，其中所述第一臨界值為1。