TWI575887B - 在樣本陣列多元樹細分中之繼承技術 - Google Patents

Description

在樣本陣列多元樹細分中之繼承技術

本發明係有關於用於表示空間取樣資訊信號諸如視訊或靜像之資訊樣本陣列之編碼方案。

於影像及視訊編碼中，圖像或針對該等圖像之特定樣本陣列集合通常分解成區塊，該等區塊與關聯特定編碼參數。圖像通常係由多個樣本陣列組成。此外，一圖像也可關聯額外輔助樣本陣列，該等樣本陣列例如載明透明資訊或深度對映表。一圖像的樣本陣列(包括輔助樣本陣列)也可集合成一或多個所謂的平面群組，此處各個平面群組係由一或多個樣本陣列組成。一圖像的平面群組可獨立地編碼，或若該圖像係關聯多於一個平面群組，則以來自同一圖像之其它平面群組的預測編碼。各平面群組通常分解成多個區塊。該等區塊(或樣本陣列之相對應區塊)係藉跨圖像預測或圖像內-預測而預測。各區塊可具有不同尺寸且可以是方形或矩形。一圖像分割成多個區塊可藉語法固定，或可(至少部分地)在位元串流內部傳訊。經常發送之語法元素傳訊針對預定大小之區塊的細分。此等語法元素可載明一區塊是否且如何細分成更小型區塊及相關聯之編碼參數，例如用於預測目的。針對一區塊(或樣本陣列之相對應 區塊)的全部樣本，相關聯之編碼參數的解碼係以某個方式載明。於該實例中，於一區塊的全部樣本係使用相同預測參數集合預測，該等預測參數諸如參考指數(識別在已編碼圖像集合中之一參考圖像)、移動參數(載明一參考圖像與該目前圖像間之區塊移動之量測值)、載明間插濾波器之參數、內-預測模式等。移動參數可以具有一水平成分及一垂直成分之位移向量表示，或藉更高階移動參數表示，諸如仿射六成分組成之移動參數。也可能多於一個特定預測參數集合(諸如參考指數及移動參數)係與單一區塊相關聯。該種情況下，針對此等特定預測參數之各集合，產生針對該區塊(或樣本陣列之相對應區塊)之單一中間預測信號，及終預測信號係由包括疊置中間預測信號之一組合所建立。相對應加權參數及可能地，也包括一常數偏位(加至該加權和)可針對一圖像或一參考圖像或一參考圖像集合為固定，或其含括在針對相對應區塊之預測參數集合。原先區塊(或樣本陣列之相對應區塊)與其預測信號間之差，也稱作為殘差信號，該差通常係經變換及量化。經常，施加二維變換至該殘差信號(或針對該殘差區塊之相對應樣本陣列)。用於變換編碼，已經使用特定預測參數集合之區塊(或樣本陣列之相對應區塊)可在施加變換之前進一步分裂。變換區塊可等於或小於用於預測之區塊。也可能一變換區塊包括多於一個用來預測的區塊。不同變換區塊可具有不同大小，變換區塊可表示方形或矩形區塊。於變換後，所得變換係數經量化，獲得所謂的變換係數位準。變換係數位準及預測參 數以及若存在時，細分資訊係經熵編碼。

於影像及視訊編碼標準中，由語法所提供的將一圖像(或一平面群組)細分成區塊之可能性極為有限。通常只能規定是否(以及可能地如何)具有預先界定尺寸之一區塊可細分成更小型區塊。舉個實例，於H.264之最大區塊尺寸為16x16。16x16區塊也稱作為巨集區塊，於第一步驟，各圖像分割成巨集區塊。針對各個16x16巨集區塊，可傳訊其是否編碼成16x16區塊，或兩個16x8區塊，或兩個8x16區塊，或四個8x8區塊。若16x16區塊被細分成四個8x8區塊，則各個8x8區塊可編碼為一個8x8區塊，或兩個8x4區塊，四個4x4區塊。在最先進影像及視訊編碼標準中載明分割成區塊的小集合可能性具有用以傳訊細分資訊之側邊資訊率可維持小之優點，但具有針對該等區塊傳輸預測參數所需位元率低之缺點，容後詳述。傳訊細分資訊之側邊資訊率確實通常表示針對一區塊之顯著大量總位元率。當達成此種側邊資訊時，編碼效率增高，例如可藉使用較大型區塊大小達成。視訊序列之實際影像或圖像係由具有特定性質之任意形狀物件組成。舉個實例，此等物件或物件部件係以獨特質地或獨特移動為其特徵。通常相同預測參數集合可獲加至此種物件或物件部件。但物件邊界通常並不吻合大型預測區塊(例如於H.264之16x16巨集區塊)可能的區塊邊界。

編碼器通常決定細分(在有限種可能性集合中)導致特定率失真成本量測之最小化。針對任意形狀物件， 如此可能導致大量小區塊。且因此等小區塊係與需要傳輸的一預測參數集合相關聯，故側邊資訊率變成總位元率的一大部分。但因小區塊中之數者仍然表示同一物件或物件部件區，故對多個所得區塊之預測參數為相同或極為相似。

換言之，一圖像細分或拼貼成較小型部分或拼貼塊或區塊實質上影響編碼效率及編碼複雜度。如前文摘述，一圖像細分成多個較小區塊允許編碼參數之空間更精細設定，藉此允許此等編碼參數更佳適應於圖像/視訊材料。另一方面，以更細粒度設定編碼參數對通知解碼器有關需要的設定值之所需側邊資訊量加諸更高負荷。又復，須注意編碼器(進一步)空間上細分圖像/視訊成為區塊的任何自由度，劇增可能的編碼參數設定值量，及因而通常使得針對導致最佳率/失真折衷的編碼參數設定值之搜尋又更困難。

一個目的係提供一種用以編碼表示空間取樣資訊信號諸如但非限於視訊圖像或靜像之資訊樣本陣列之編碼方案，該方案允許達成在編碼複雜度與可達成的率失真比間更佳的折衷，及/或達成更佳率失真比。

此項目的可藉如申請專利範圍第1項之解碼器、如申請專利範圍第10項之編碼器、如申請專利範圍第11項之方法、如申請專利範圍第12項之電腦程式、及如申請專利範圍第13項之資料串流而達成。

本發明的潛在構想為當多元樹細分不僅用來細 分一連續區亦即樣本陣列成為多個葉區，同時中間區也係用來在相對應共同定位區塊間共享編碼參數時，在編碼複雜度與可達成的率失真比間可達成更佳的折衷，及/或可達成更佳率失真比。藉此措施，在局部拼貼葉區所進行的編碼程序可與個別編碼參數相關聯，但無需分開地對各葉區明確地傳輸整個編碼參數。反而，藉使用該多元樹細分可有效地探討相似性。

依據一個實施例，首先表示空間取樣資訊信號之資訊樣本陣列於空間上置於樹根區，然後根據抽取自一資料串流之多元樹細分資訊，藉由遞歸地多次分割該樹根區之子集，而至少將該樹根區之一子集分割成不同尺寸的更小型單純連結區，為了允許找出就率失真意義上，過度細小細分與過度粗大細分間的良好折衷，資訊樣本陣列進行空間分割成的樹根區的最小區尺寸係含括在該資料串流且在解碼端從該資料串流抽取。據此，解碼器可包含一抽取器，其係組配來從資料串流抽取最大區尺寸及多元樹細分資訊；一細分器，其係組配來將表示空間取樣資訊信號之一資訊樣本陣列空間分割成最大區尺寸，及依據該多元樹細分資訊，將該等樹根區之至少一個子集藉遞歸地多重區分該等樹根區之該子集而細分成更小型單純連結不同尺寸區；及一重建器，其係組配來使用該細分而將來自該資料串流之資訊樣本陣列重建成多個較小型單純連結區。

依據一個實施例，資料串流也含有高達樹根區子集接受遞歸地多重區分的最高階層式層級。藉此辦法，多 元樹細分資訊的傳訊變得更容易且需更少編碼位元。

此外，重建器可經組配來在取決於中間細分的粒度，執行下列措施中之一者或多者：至少在內-及跨-預測模式中決定欲使用哪一個預測模式；從頻域變換至空間域，執行及/或設定跨-預測之參數；執行及/或設定針對用於內-預測之參數。

此外，抽取器可經組配來以深度優先遍歷順序而從資料串流抽取與經區分的樹區塊之葉區相關聯的語法元素。藉由此種辦法，抽取器可探討已經編碼鄰近葉區之語法元素統計學，具有比使用寬度優先遍歷順序更高的機率。

依據另一個實施例，使用又一細分器來依據又一多元樹細分資訊來將該較小型單純連結區之至少一個子集細分成又更小型單純連結區。第一階段細分可由重建器用來執行資訊樣本區之預測，而第二階段細分可由重建器用來執行自頻域至空間域的再變換。定義殘差細分相對於預測細分為從屬，使得總細分的編碼較少耗用位元；另一方面，由從屬所得之殘差細分之限制度及自由度對編碼效率只有小量負面影響，原因在於大部分具有相似移動補償參數之圖像部係比具有相似頻譜性質之圖像部更大。

依據又另一實施例，又一最大區尺寸係含在該資料串流內，又一最大區尺寸界定樹根子區大小，該樹根子區係在該等樹根子區之至少一子集依據又更多元樹細分資訊而細分成為又更小型單純連結區之前先被分割。如此轉而允許一方面預測子區之最大區尺寸之獨立設定，及另一 方面允許殘差細分，如此可找出較佳率/失真折衷。

依據本發明之又另一實施例，資料串流包含與第二語法元素子集不相交的第一語法元素子集形成該多元樹細分資訊，其中在該解碼端之一合併器允許依據第一語法元素子集而組合空間鄰近的多元樹細分之小型單純連結區來獲得該樣本陣列之一中間細分。重建器可經組配來使用中間細分而重建樣本陣列。藉此方式，編碼器更容易調適有效細分成為資訊樣本陣列之性質的空間分布，而找出最佳率/失真折衷。舉例言之，若最大區尺寸為大，則多元樹細分資訊可能因樹根區的變大而更複雜。但另一方面，若最大區尺寸為小，則更可能鄰近樹根區係有關具有相似性質的資訊內容，使得此等該樹根區也可一起處理。合併填補前述極端間之此一間隙，藉此允許接近最佳化的粒度細分。從編碼器觀點，合併語法元素允許更鬆弛的或更運算上不複雜的編碼程序，原因在於若編碼器錯誤使用太細小的細分，則此誤差可藉編碼器隨後補償，藉由隨後設定合併語法元素有或無只調整適應一小部分在合併語法元素設定前已經被設定的語法元素達成。

依據又另一實施例，最大區尺寸及多元樹細分資訊係用於殘差細分而非預測細分。

用來處理表示空間取樣資訊信號之一資訊樣本陣列之多元樹細分之單純連結區之一深度優先遍歷順序而非寬度優先遍歷順序係依據一實施例使用。藉由使用該深度優先遍歷順序，各個單純連結區有較高機率來具有已經 被橫過的鄰近單純連結區，使得當重建個別目前單純連結區時，有關此等鄰近單純連結區資訊可被正面地探勘。

當資訊樣本陣列首先被分割成零層級的階層式尺寸的樹根區規則排列，然後再細分該等樹根區之至少一個子集成為不等大小的更小型單純連結區時，重建器可使用鋸齒形掃描順序來掃描該樹根區，針對各個欲區分的樹根區，以深度優先遍歷順序處理該等單純連結的葉區，隨後又更以鋸齒形掃描順序步入下個樹根區。此外，依據深度優先遍歷順序，具有相同階層式層級的單純連結的葉區也可以鋸齒形掃描順序橫過。如此，維持具有鄰近單純連結葉區的或然率增高。

依據一個實施例，雖然與多元樹結構節點相關聯之旗標係於深度優先遍歷順序循序排列，但旗標之循序編碼使用機率估算脈絡，其針對在多元樹結構的相同階層式層級內部與多元樹結構節點相關聯之旗標為相同，但針對在多元樹結構的不同階層式層級內部的多元樹結構節點相關聯之旗標為不同，藉此允許欲提供的脈絡數目間之良好折衷，及另一方面，調整適應旗標之實際符元統計數字。

依據一個實施例，針對所使用的預定旗標之機率估算脈絡也係取決於依據深度優先遍歷順序在該預定旗標前方的旗標，且係對應於與該預定旗標相對應之區具有預定相對位置關係之樹根區之各區。類似於前述構面下方潛在的構想，使用深度優先遍歷順序保證有高機率：已經編碼旗標也包含鄰近預定旗標區之該等區的對應旗標，使此 一知識可用來更優異地調適脈絡用於該預定旗標。

可用於設定針對一預定旗標之旗標可以是對應於位在該預定旗標相對應區上區及/或左區的該等旗標。此外，用以選擇脈絡之旗標可限於與屬於預定旗標相關聯之節點相同階層式層級的旗標。

依據一個實施例，編碼傳訊包含最高階層式層級之指示及與不等於最高階層式層級之節點相關聯之一旗標序列，各個旗標載明相關聯節點是否為中間節點或子代節點，及於深度優先或寬度優先遍歷順序循序解碼得自該資料串流之旗標序列，跳過最高階層式層級之節點而自動地指向相同葉節點，因而減低編碼率。

依據又一個實施例，多元樹結構之編碼傳訊可包含最高階層式層級之指示。藉此方式，可能將旗標的存在限於最高階層式層級以外的階層式層級，原因在於總而言之排除具有最高階層式層級之區塊的進一步區分。

於空間多元樹細分屬於一次多元樹細分資訊之葉節點及未經區分樹根區之二次細分的一部分之情況下，用於編碼二次細分旗標的脈絡可經選擇使得該脈絡針對與相等大小區相關聯之旗標為相同。

依據額外實施例，其中資訊樣本陣列被細分的單純連結區有利地合併或分組係以減少量之資料編碼。為了達成此項目的，針對單純連結區，定義預定相對位置關係來允許針對預定的單純連結區，識別在多個單純連結區內部，與該預定單純連結區具有預定相對位置關係之單純連 結區。換言之，若該數目為零，則在該資料串流內部可不存在有針對該預定單純連結區之一合併指標。又，若與該預定單純連結區具有預定相對位置關係之單純連結區數目為1，則可採用或使用該單純連結區之編碼參數來預測該預定單純連結區之編碼參數而無需任何其它語法元素。否則，換言之，若與該預定單純連結區具有預定相對位置關係之單純連結區數目為大於1，則可遏止導入其它語法元素，即便與此等經識別之單純連結區相關聯之編碼參數彼此相同亦如此。

依據一個實施例，若鄰近單純連結區之編碼參數彼此不等，則一參考鄰近識別符可識別若與該預定單純連結區具有預定相對位置關係之單純連結區數目之一適當子集；而此適當子集係用在於採用該等編碼參數或預測該預定單純連結區之編碼參數時。

依據又其它實施例，表示二維資訊信號之空間取樣的一樣本區藉遞歸地多重區分而空間細分成多個不同大小的單純連結區，係依據該資料串流所含一第一語法元素子集施行，接著為依據該資料串流內部之一第二語法元素子集從該第一子集不相連接的空間鄰近單純連結區之組合，來獲得該等樣本陣列之中間細分成單純連結區之不相連接集合，其聯合成多個單純連結區。當從資料串流重建樣本陣列時，使用中間細分。如此允許使得就細分的較非關鍵性而言變成最佳化，原因在於實際上太過精細的細分可藉隨後的合併加以補償。又，細分與合併組合允許達成 中間細分，該中間細分乃單純藉遞歸地多重區分所不可能達成者，因此藉使用語法元素之不相連集合做細分與合併的級聯(concatenation)允許有效或中間細分更優異地適應二維資訊信號之實際內容。相較於其優點，從語法元素之額外子集所導致的用來指示合併細節之額外管理資料量為可忽略不計。

10‧‧‧編碼器

12、110‧‧‧預測器

14‧‧‧殘差預編碼器

16、106‧‧‧殘差重建器

18‧‧‧資料串流插入器

20‧‧‧區塊分割器、分割器

22‧‧‧資料串流

24‧‧‧圖像

26‧‧‧區塊或子區

28、104a‧‧‧細分器

30、104b‧‧‧合併器

32、116‧‧‧輸入端

34‧‧‧減法器

36、108‧‧‧加法器

38‧‧‧回路內濾波器

40‧‧‧預測參數

100‧‧‧解碼器

102‧‧‧抽取器

104‧‧‧圖像分割器、分割器

112‧‧‧選擇性回路內濾波器

114‧‧‧選擇性後濾波器

118‧‧‧編碼資料串流細分資訊

120‧‧‧預測參數

122‧‧‧殘差資料

124‧‧‧輸出端

140、200‧‧‧光柵掃描順序

150‧‧‧樹區塊

152a-d‧‧‧子區塊、葉區

154a-d‧‧‧小型子區塊、葉區

156a-d‧‧‧又更小型子區塊、葉區

190‧‧‧傳輸1

202‧‧‧傳輸0

204‧‧‧傳輸1

206‧‧‧傳輸0

208‧‧‧傳輸1

210‧‧‧傳輸0000

212‧‧‧傳輸00

214‧‧‧傳輸0

216‧‧‧層級0

218‧‧‧層級1

220‧‧‧層級2

222‧‧‧層級3

300-320、400-406、450-472、550-556‧‧‧步驟

350‧‧‧箭頭

400‧‧‧左上樣本

402‧‧‧左鄰近樣本

404‧‧‧頂鄰近樣本

500‧‧‧圖像

502、504、506‧‧‧樣本陣列

508‧‧‧方向

510、512‧‧‧平面群組

514‧‧‧選定樣本

516‧‧‧目前區塊

518、520‧‧‧位置

522/524‧‧‧共同定位區塊

606‧‧‧樣本陣列

608‧‧‧非重疊樹區塊

610‧‧‧子區塊

後文將參考下列圖式描述本發明之較佳實施例，附圖中第1圖顯示依據本案之一實施例編碼器之方塊圖；第2圖顯示依據本案之一實施例解碼器之方塊圖；第3a-c圖示意地顯示四叉樹細分之一具體實施例，其中第3a圖顯示第一階層式層級，第3b圖顯示第二階層式層級，及第3c圖顯示第三階層式層級；第4圖示意地顯示依據一實施例針對第3a至3c圖之說明性四叉樹細分之樹結構；第5a、b圖示意地顯示第3a至3c圖之四叉樹細分及具有指標指示個別葉區塊之樹結構；第6a、b圖示意地顯示依據不同實施例表示第4圖之樹結構及第3a至3c圖之四叉樹細分的二進制串或旗標序列；第7圖顯示一流程圖，顯示依據一實施例藉資料 串流抽取器所執行之步驟；第8圖顯示一流程圖，例示說明依據又一實施例資料串流抽取器之功能；第9a、b圖顯示依據一實施例例示說明性四叉樹細分之示意圖，強調一預定區塊之鄰近候選區塊；第10圖顯示依據又一實施例資料串流抽取器之功能之一流程圖；第11圖示意地顯示依據一實施例來自平面及平面群組中之一圖像之組成且例示說明使用跨平面適應/預測之編碼；第12a及12b圖示意地例示說明依據一實施例之一子樹結構及相對應細分來描述繼承方案；第12c及12d圖示意地例示說明依據一實施例之一子樹結構來描述分別使用採用及預測之繼承方案；第13圖顯示一流程圖，顯示依據一實施例藉編碼器實現繼承方案所執行之步驟；第14a及14b圖顯示一次細分及從屬細分，來例示說明依據一實施例具體實現關聯跨-預測之一繼承方案的可能性；第15圖顯示一方塊圖例示說明依據一實施例關聯該繼承方案之一種解碼方法；第16圖顯示一示意圖，例示說明依據一實施例在多元樹細分子區間之掃描順序，該等子區係接受內-預測；第17a、b圖顯示一示意圖，例示說明依據其它實 施例不同的細分可能性。

於後文圖式之詳細說明中，出現在數幅圖間之元件係以共通元件符號指示來避免重複說明此等元件。反而有關一個圖式內部呈現之元件的解釋也適用於其中出現個別元件之其它圖式，只要於此等其它圖式所呈現之解釋指出其中的偏差即可。

又，後文說明始於就第1至11圖解釋之編碼器及解碼器實施例。就此等圖式呈現之實施例組合本案之多個構面，但若個別對編碼方案內部實施也優異，如此，就隨後之圖式，實施例將簡短討論前述個別構面，此等實施例係以不同意義表示就第1圖及第11圖描述之實施例之摘要。

第1圖顯示依據本發明之實施例之編碼器。第1圖之編碼器10包含一預測器12、一殘差前置編碼器14、一殘差重建器16、一資料串流插入器18及一區塊分割器20。編碼器10係用以將一時空取樣資訊信號編碼成一資料串流22。時空取樣資訊信號例如可為視訊，亦即一序列圖像。各圖像表示一影像樣本陣列。時空資訊信號之其它實例例如包含藉例如光時(time-of-light)相機拍攝的深度影像。又須注意一空間取樣資訊信號可包含每個圖框或時間戳記多於一個陣列，諸如於彩色視訊之情況下，彩色視訊例如包含每個圖框一亮度樣本陣列連同二彩度樣本陣列。也可能對資訊信號之不同成分亦即亮度及彩度之時間取樣率可能不同。同理，適用於空間解析度。視訊也可伴隨有額外空 間取樣資訊，諸如深度或透明度資訊。但後文描述的注意焦點將集中在此等陣列中之一者的處理來首先更明白瞭解本發明之主旨，然後轉向多於一個平面的處理。第1圖之編碼器10係組配來形成資訊串流22，使得資訊串流22中之語法元素描述粒度在全圖像與個別影像樣本間之圖像。為了達成此項目的，分割器20係組配來將各圖像24細分為不同大小的單純連接區26。後文中，此等區將簡稱為區塊或子區26。

容後詳述，分割器20使用多元素細分來將圖像24細分成不同尺寸的區塊26。為了又更精準，後文就第1圖至第11圖所摘述之特定實施例大部分使用四叉樹細分。容後詳述，分割器20內部可包含細分器28之級聯用來將圖像24細分成前述區塊26，接著為合併器30其允許將此等區塊26組合成群組來獲得位在圖像24之未經細分與細分器28所界定的細分間之有效細分或粒度。

如第1圖之虛線舉例說明，預測器12、殘差預編碼器14、殘差重建器16及資料串流插入器18係在由分割器20所界定的圖像細分上操作。舉例言之，容後詳述，預測器12使用由分割器20所界定之預測細分來決定預測細分之個別子區是否個別子區應使用個別子區之相對應預測參數依據所選用之預測模式之設定值，接受圖像內預測或跨圖像預測。

殘差預編碼器14又轉而使用圖像類似之個別子區來編碼由預測器12所提供之圖像24之預測殘差。殘差重 建器16從殘差預編碼器14所輸出之語法元素重建殘差，殘差重建器16也在前述殘差細分上操作。資料串流插入器18可探討前述分割，亦即預測細分及殘差細分，來利用例如熵編碼決定語法元素間之插入順序及鄰近關係用於將藉殘差預編碼器14及預測器12輸出的語法元素插入資料串流22。

如第1圖所示，編碼器10包含一輸入端32，此處該原先資訊信號進入編碼器10。一減法器34、殘差預編碼器14及資料串流插入器18以所述順序在資料串流插入器18之輸入端32與編碼資料串流22輸出之輸出端間串聯。減法器34及殘差預編碼器14為預測回路之一部分，該預測回路係藉殘差重建器16、加法器及預測器12所關閉，該等元件係以所述順序在殘差預編碼器14之輸出端與減法器34之反相輸入端間串聯。預測器12之輸出端也係連結至加法器36之又一輸入端。此外，預測器12包含直接連結至輸入端32之一輸入端且可包含又另一輸入端，其也係透過選擇性回路內濾波器38而連結至加法器36之輸出端。又，預測器12於操作期間產生側邊資訊，因此預測器12之輸出端也耦接至資料串流插入器18。同理，分割器20包含一輸出端其係連結至資料串流插入器18之另一輸入端。

已經描述編碼器10之結構，其操作模式之進一步細節詳述如後。

如前述，分割器20針對各個圖像24決定如何將圖像細分成小區26。依據欲用於預測之圖像24之細分，預測 器12針對相對應於此種細分之各個小區決定如何預測個別小區。預測器12輸出小區之預測給減法器34之反相輸入端，及輸出給加法器36之又一輸入端，及將反映預測器12如何從視訊之先前編碼部分獲得此項預測之方式的預測資訊輸出給資料串流插入器18。

於減法器34之輸出端，如此獲得預測殘差，其中殘差預編碼器14係依據也由分割器20所規定之殘差細分來處理此種預測殘差。如於後文中藉第3圖至第10圖進一步詳細說明，由殘差預編碼器14所使用之圖像24之殘差細分可與預測器12所使用之預測細分相關，使各預測子區採用作為殘差子區或更進一步細分成為更小的殘差子區。但也可能有全然獨立無關的預測細分及殘差細分。

殘差預編碼器14將各個殘差子區藉二維變換接受從空間至頻域的變換，接著為或特有地涉及所得變換區塊之所得變換係數量化，因此失真結果係來自於量化雜訊。例如資料串流插入器18例如可使用熵編碼而將描述前述變換係數的語法元素無損耗地編碼成資料串流22。

殘差重建器16又使用再量化接著為再變換，將變換係數重新轉換成殘差信號，其中該殘差信號係在加法器36內部組合藉減法器34所得的預測來獲得預測殘差，藉此獲得在加法器36之輸出端一目前圖像之重建部分或子區。預測器12可直接使用該重建圖像子區用於內-預測，換言之，用來藉由從先前在鄰近重建的預測子區外推法而用來預測某個預測子區。但藉由從鄰近頻譜預測目前子區頻譜 而在頻域內部直接進行內-預測理論上也屬可能。

用於交互預測，預測器12可使用先前已經編碼及重建的圖像版本，據此已經藉選擇性回路內濾波器38濾波。濾波器38例如可包含一解區塊濾波器或一適應性濾波器，具有適合優異地形成前述量化雜訊之移轉功能。

預測器12選擇預測參數，顯示藉由使用與圖像24內部之原先樣本比較而預測某個預測子區之方式。容後詳述，預測參數對各個預測子區可包含預測模式之指示，諸如圖像內-預測及跨圖像預測。於圖像內-預測之情況下，預測參數也包含欲內-預測之預測子區內緣主要延伸的角度指示；及於跨圖像預測之情況下，移動向量、移動圖像指數及最終高次冪移動變換參數；及於圖像內部及/或跨圖像預測二者之情況下，用來預測重建影像樣本之選擇性濾波資訊，基於此可預測目前預測子區。

容後詳述，前述由分割器20所界定的細分實質上影響藉殘差預編碼器14、預測器12及資料串流插入器18所能達成的最高率/失真比。於細分太細的情況下，由預測器12所輸出欲插入資料串流22之預測參數40需要過高編碼速率，但藉預測器12所得之預測可能較佳，及藉殘差預編碼器14欲編碼之殘差信號可能較小使其可藉較少位元編碼。於細分太過粗大之情況下，則適用相反情況。又，前述思考也以類似方式適用於殘差細分：圖像使用個別變換區塊之較細粒度變換，結果導致用來運算變換之複雜度減低及結果所得變換之空間解析度增高。換言之，較少殘差子區 允許在個別殘差子區內部之內容的頻譜分配更為一致。換言之，頻譜解析度減低，顯著係數及不顯著係數(亦即量化為零)之比變差。換言之，變換粒度須調整適應局部圖像內容。此外，與更細小粒度之正面效果獨立無關，更細小粒度規則地增加需要的側邊資訊量來指示對該解碼器所選用的細分。容後詳述，後述實施例對編碼器10提供極為有效的調整適應細分至欲編碼資訊信號內容，其藉指示資料串流插入器18將細分資訊插入資料串流22來傳訊欲用在解碼端的細分。細節顯示如下。

但在以進一步細節界定分割器20之細分之前，依據本發明之實施例的解碼器將就第2圖以進一步細節詳細說明。

第2圖之解碼器係以參考符號100指示及包含一抽取器102、一圖像分割器104、一殘差重建器106、一加法器108、一預測器110、一選擇性回路內濾波器112及一選擇性後濾波器114。抽取器102在解碼器100之輸入端116接收編碼資料串流，及從該編碼資料串流中抽取細分資訊118、預測參數120及殘差資料122，抽取器102分別將該等資訊輸出給圖像分割器104、預測器110及殘差重建器106。殘差重建器106具有一輸出端連結至加法器108之第一輸入端。加法器108之另一輸入端及其輸出端係連結至一預測回路，於該預測回路中選擇性回路內濾波器112及預測器110係以所述順序串聯從加法器108之輸出端至預測器110之旁通路徑，直接類似於前文於第1圖所述加法器36與預測器12間之 連結，換言之，一者用於圖像內-預測及另一者用於跨圖像預測。加法器108之輸出端或選擇性回路內濾波器112之輸出端可連結至解碼器100之輸出端124，此處重建資訊信號例如係輸出至複製裝置。選擇性後濾波器114可連結至前導至輸出端124之路徑來改良在輸出端124之重建信號的視覺印象之視覺品質。

概略言之，殘差重建器106、加法器108及預測器110之作用類似第1圖之元件16、36及12。換言之，同樣仿真前述第1圖元件之操作。為了達成此項目地，殘差重建器106及預測器110係藉預測參數120，及藉圖像分割器104依據得自抽取器102之細分資訊118載明的細分控制，來以預測器12所進行或決定進行之相同方式預測該預測子區，及如同殘差預編碼器14之方式，以相同粒度重新變換所接收的變換係數。圖像分割器104又仰賴細分資訊118以同步方式重建由分割器20所選用的細分。抽取器可使用細分資訊來控制資料抽取諸如就脈絡選擇、鄰近決定、機率估算、資料串流語法的剖析等。

對前述實施例可進行若干偏差。某些偏差將在後文詳細說明就細分器28所執行的細分及合併器30所執行的合併中述及，而其它偏差將就隨後第12至16圖做說明。於無任何障礙存在下，全部此等偏差皆可個別地或呈子集而施加至前文第1圖及第2圖之詳細說明部分。舉例言之，分割器20及104並未決定預測細分而只決定每個圖像之殘差細分。反而其也可能針對選擇性回路內濾波器38及112決定 濾波細分。其它預測細分或其它殘差編碼細分獨立無關或具有相依性。此外，藉此等元件決定細分可能並非以逐一框為基礎進行。反而對某個圖框所進行的細分可重新使用或採用於某個數目之下列圖框，單純隨後轉移新細分。

於提供有關圖像分割成為子區的進一步細節中，後文說明首先係把關注焦點集中在細分器28及104a推定所負責的細分部分。然後描述合併器30及合併器104b所負責進行的合併處理程序。最後，描述跨平面適應/預測。

細分器28及104a分割圖像之方式使得一圖像被再分割成為可能具有不同大小的多個區塊用於影像或視訊資料的預測編碼及殘差編碼。如前述，圖像24可用作為一個或多個影像樣本值陣列。於YUV/YCbCr彩色空間之情況下，例如第一陣列可表示亮度通道，而另二陣列表示彩度通道。此等陣列可具有不同維度。全部陣列可分組為一或多個平面群組，各個平面群組係由一或多個連續所組成，使得各平面係含在一且唯一平面群組。後文適用於各個平面群組。一特定平面群組之第一陣列可稱作為此一平面群組之一次陣列。可能的隨後陣列為從屬陣列。一次陣列之區塊分割可基於四叉樹辦法進行，容後詳述。從屬陣列之區塊分割可基於一次陣列的分割而導算出。

依據後述實施例，細分器28及104a係組配來將一次陣列分割成為多個相等大小的方形區塊，後文中稱作為樹區塊。當使用四叉樹時，樹區塊之邊長典型為2的倍數，諸如16、32或64。但為求完整，須注意使用其它類型的樹 以及二元樹或有任何葉數目之樹皆屬可能。此外，樹的子代數目可取決於樹的層級且取決於該樹表示何種信號。

此外如前文說明，樣本陣列也表示視訊序列以外之其它資訊，諸如深度對映圖或光欄位。為求簡明，後文說明的關注焦點係聚焦在四叉樹作為多元樹之代表例。四叉樹為在各個內部節點恰有四個子代之樹。各個樹區塊組成一個一次四叉樹連同在該一次四叉樹之各個葉子的從屬四叉樹。一次四叉樹決定該給定樹區塊之細分用來預測，而從屬四叉樹決定一給定預測樹區塊的細分用以殘差編碼。

一次四叉樹之根節點係與完整樹區塊相對應。舉例言之，第3a圖顯示一樹區塊150。須回應各個圖像被分割成此種樹區塊150之列及行的規則格網，因而無間隙地覆蓋樣本陣列。但須注意針對後文顯示之全部區塊細分，不含重疊的無縫細分不具關鍵重要性。反而鄰近區塊可彼此重疊，只要並無葉區塊為鄰近葉區塊之適當子部分即可。

連同樹區塊150之四叉樹結構，各個節點可進一步分割成為四個子代節點，於一次四叉樹之情況下，表示樹區塊150可分裂成四個子區塊，具有樹區塊150之半寬及半高。於第3a圖中，此等子區塊係以元件符號152a至152d指示。以相同方式，此等子區塊各自進一步再分割成為四個更小的子區塊具有原先子區塊的半寬及半高。於第3b圖中，係針對子區塊152c舉例顯示，子區塊152c被細分成為四個小型子區塊154a至154d。至目前為止，第3a圖至第3c 圖顯示樹區塊150如何首先被分割成為四個子區塊152a至152d，然後左下子區塊152c又被分割成四個小型子區塊154a至154d；及最後如第3c圖所示，此等小型子區塊之右上區塊154b再度被分割成為四個區塊，各自具有原先樹區塊150之八分之一寬度及八分之一長度，此等又更小的子區塊標示以156a至156d。

第4圖顯示如第3a至3c圖所示基於四叉樹分割實例之潛在樹結構。樹節點旁的數字為所謂的細分旗標值，將於後文討論四叉樹結構傳訊時進一步詳細說明。四叉樹之根節點顯示於該圖頂端(標示為層級「0」)。此根節點於層級1之四個分支係與第3a圖所示四個子區塊相對應。因此等子區塊中之第三者又在第3b圖中被細分成其四個子區塊，第4圖於層級1的第三節點也具有四個分支。再度，與第3c圖之第二(右上)子代節點的細分相對應，有四個子分支連結在四叉樹階層層級2之第二節點。於層級3之節點不再進一步細分。

一次四叉樹之各葉係與個別預測參數可載明之可變尺寸區塊相對應(亦即內部或跨、預測模式、移動參數等)。後文中，此等區塊稱做預測區塊。特別，此等葉區塊為第3c圖所示區塊。簡短回頭參考第1圖及第2圖之說明，分割器20或細分器28決定如前文解說之四叉樹細分。細分器152a-d執行樹區塊150、子區塊152a-d、小型子區塊154a-d等再細分或更進一步分割的決策，目標係獲得如前文指示太過細小預測細分與太過粗大預測細分間的最佳折衷。預 測器12轉而使用所載明的預測細分來以依據預測細分之粒度或針對例如第3c圖所示區塊表示的各個預測子區來決定前述預測參數。

第3c圖所示預測區塊可進一步分割成更小型區塊用以殘差編碼。針對各預測區塊，亦即針對一次四叉樹之各葉節點，藉一個或多個用於殘差編碼之從屬四叉樹決定相對應細分。例如，當允許16x16之最大殘差區塊大小時，一給定32x32預測區塊將分割成四個16x16區塊，各自係藉用於殘差編碼之從屬四叉樹決定。本實例中各個16x16區塊係與從屬四叉樹之根節點相對應。

恰如一給定樹區塊細分成預測區塊之情況所述，各預測區塊可使用從屬四叉樹分解來分割成多個殘差區塊。一從屬四叉樹之各葉係對應於一個殘差區塊，對該殘差區塊可藉殘差預編碼器14而載明個別殘差編碼參數(亦即變換模式、變換係數等)，該等殘差編碼參數又轉而控制殘差重建器16及106。

換言之，細分器28可組配來針對各圖像或針對各圖像群組決定一預測細分及一從屬預測細分決定方式可首先將圖像分割成樹區塊150之規則排列，藉四叉樹細分而遞歸地區分此等樹區塊之一子集來獲得預測細分成預測區塊，若在個別樹區塊未進行區分，則該預測區塊可為樹區塊，或然後進一步細分此等預測區塊之一子集，則為四叉樹細分之葉區塊；同理，若一預測區塊係大於從屬殘差細分的最大尺寸，經由首先將個別預測區塊分割成子樹區塊 之規則排列，然後依據四叉樹細分程序，將此等此樹區塊之一子集細分來獲得殘差區塊，若在個別預測區塊未進行分割成子樹區塊，則該殘差區塊可為預測區塊，或若該個別子樹區塊未進行分割成又更小區，則該殘差區塊為子樹區塊，或為殘差四叉樹細分的葉區塊。

如前文摘述，針對一次陣列所選用的細分可對映至從屬陣列。當考慮與一次陣列相同尺寸之從屬陣列時此點相當容易，但當從屬陣列維度係與一次陣列維度不同時必須採用特殊措施。概略言之，於不同尺寸情況下，一次陣列細分對映至從屬陣列可藉空間對映進行，亦即經由將一次陣列細分之區塊邊界空間對映至從屬陣列。特別，針對各個從屬陣列，在水平方向及垂直方向可有定標因數，其決定一次陣列對從屬陣列之維度比。從屬陣列分割成用於預測及殘差編碼的子區塊可藉一次四叉樹，一次陣列之共同定位樹區塊各自的從屬四叉樹決定，從屬陣列所得樹區塊係藉相對定標因數定標。當水平方向及垂直方向之定標因數相異(例如於4：2：2彩度次取樣中)時，所得從屬陣列之預測區塊及殘差區塊將不再是方形。此種情況下，可預先決定或適應性選擇(針對整個序列，該序列中之一個圖像或針對各個單一預測區塊或殘差區塊)非方形殘差區塊是否應分裂成方形區塊。例如於第一情況下，編碼器及解碼器將在每次對映區塊並非方形時於細分時同意細分成方形區塊。於第二情況下，細分器28將透過資料串流插入器18及資料串流22傳訊選擇給細分器104a。例如於4：2：2彩度次 取樣之情況下，從屬陣列具有一次陣列的半寬但等高，殘差區塊之高度為寬度的兩倍。藉由將此區塊縱向分裂，可再度獲得兩個方形區塊。

如前述，細分器28或分割器20分別透過資料串流22傳訊基於四叉樹之分割給細分器104a。為了達成此項目的，細分器28通知資料串流插入器18有關針對圖像24所選用的細分。資料串流插入器又傳輸一次四叉樹及二次四叉樹的結構，因此，傳輸圖像陣列分割成為可變尺寸區塊用於在資料串流或位元串流22內部之預測區塊或殘差區塊給解碼端。

最小及最大可容許區塊大小傳輸作為側邊資訊且可依據不同圖像而改變。或最小或最大容許區塊大小可於編碼器及解碼器固定。此等最小及最大區塊大小可針對預測區塊及殘差區塊而有不同。用於四叉樹結構之傳訊，四叉樹必須被遍歷，針對各節點必須載明此特定節點是否為四叉樹之一葉節點(亦即相對應區塊不再進一步細分)，或此特定節點是否分支成其四個子代節點(亦即相對應區塊以對半尺寸分割成四個子區塊)。

一個圖像內部的傳訊係以光柵掃描順序逐一樹區塊進行，諸如由左至右及由上至下，如第5a圖於140顯示。此種掃描順序也可不同，例如以棋盤方式從右下至左上進行。於較佳實施例中，各樹區塊及因而各四叉樹係以深度優先方式遍歷用來傳訊該細分資訊。

於較佳實施例中，不僅細分資訊，亦即樹結構， 同時預測資料等，亦即與該樹的葉節點相關聯之有效負載係以深度優先順序傳輸/處理。如此進行之原因在於深度優先遍歷具有優於寬度優先順序之優點。於第5b圖中，四叉樹結構係以葉節點標示為a、b、…、j呈現。第5a圖顯示所得區塊分割。若區塊/葉節點係在寬度優先順序遍歷，則獲得下列順序：abjchidefg。但於深度優先順序，該順序為abc…ij。如從第5a圖可知，於深度優先順序，左鄰近區塊及頂鄰近區塊經常性係在目前區塊之前傳輸/處理。如此，移動向量預測及脈絡模型經常性使用對左及頂鄰近區塊所載明的參數來達成改良編碼效率。用於寬度優先順序，並非此種情況，原因在於區塊j例如係在區塊e、g及i之前傳輸。

結果，針對各個樹區塊之傳訊係沿一次四叉樹的四叉樹結構遞歸進行，使得針對各個節點傳輸一旗標，載明相對應區塊是否分裂成四個子區塊。若此旗標具有值「1」(用於「真」)，則此傳訊程序對全部四個子代節點遞歸地重複，亦即子區塊以光柵掃描順序(左上、右上、左下、右下)直到達到一次四叉樹的葉節點。注意葉節點之特徵為具有細分旗標之值為「0」。針對節點係駐在一次四叉樹的最低階層式層級及如此對應於最小容許預測區塊大小的情況，無須傳輸細分旗標。用於第3a-c圖之實例，如第6a圖之190所示，首先將傳輸「1」載明樹區塊150為分裂成為其四個子區塊152a-d。然後，以光柵掃描順序200遞歸地編碼全部四個子區塊152a-d之細分資訊。針對首二子區塊152a、b，將傳輸「0」，規定其未經細分(參考第6a圖202)。用於第三 子區塊152c(左下)，將傳輸「1」，載明此一區塊係經細分(參考第6a圖204)。現在依據遞歸辦法，將處理此一區塊之四個子區塊154a-d。此處將針對第一子區塊(206)傳輸「0」及針對第二(右上)子區塊(208)傳輸「1」。現在第3c圖的最小子區塊大小之四個區塊156a-d將接受處理。若已經達到本實例的最小容許區塊大小，則無須再傳輸資料，原因在於不可能進一步細分。否則，載明此等區塊不再進一步細分之「0000」將傳輸，如第6a圖於210指示。隨後，將對第3b圖之下方兩個區塊傳輸「00」(參考第6a圖212)，及最後對第3a圖之右下區塊傳輸「0」(參考214)。故表示四叉樹結構的完整二進制串將為第6a圖所示者。

於第6a圖之此種二進制串表示型態之不同背景影線係對應於基於四叉樹細分的階層關係中的不同層級。影線216表示層級0(對應於區塊大小等於原先樹區塊大小)，影線218表示層級1(對應於區塊大小等於原先樹區塊大小之半)，影線220表示層級2(對應於區塊大小等於原先樹區塊大小的四分之一)，影線222表示層級3(對應於區塊大小等於原先樹區塊大小的八分之一)。相同階層式層級(對應於在二進制串表示型態中的相同區塊大小及相同色彩)之全部細分旗標例如可藉插入器18使用一個且同一個機率模型做熵編碼。

注意針對寬度優先遍歷之情況，細分資訊將以不同順序傳輸，顯示於第6b圖。

類似於用於預測之各樹區塊的細分，所得預測區 塊分割成殘差區塊必須於位元串流傳輸。又針對作為側邊資訊傳輸且可能依圖像而改變之殘差編碼可有最大及最小區塊大小。或針對殘差編碼之最大及最小區塊大小在編碼器及解碼器可固定。於一次四叉樹的各個葉節點，如第3c圖所示，相對應預測區塊可分割成最大容許大小之殘差區塊。此等區塊為從屬四叉樹結構用於殘差編碼的組成根節點。舉例言之，若圖像之最大殘差區塊大小為64x64及預測區塊大小為32x32，則整個預測區塊將對應於大小32x32的一個從屬(殘差)四叉樹根節點。另一方面，若針對圖像之最大殘差區塊為16x16，則32x32預測區塊將由四個殘差四叉樹根節點所組成，各自具有16x16之大小。在各個預測區塊內部，從屬四叉樹結構之傳訊係以光柵掃描順序以根節點逐一進行(左至右，上至下)。類似於一次(預測)四叉樹結構的情況，針對各節點，編碼一旗標，載明此一特定節點是否分裂成為四個子代節點。然後若此旗標具有值「1」，則針對全部四個相對應的子代節點及其相對應子區塊以光柵掃描順序(左上、右上、左下、右下)遞歸地重複直到達到從屬四叉樹的葉節點。如同一次四叉樹之情況，針對在從屬四叉樹最低階層式層級上的節點無須傳訊，原因在於該等節點係相對於最小可能殘差區塊大小的區塊而無法再進一步分割。

用於熵編碼，屬於相同區塊大小之殘差區塊的殘差區塊細分旗標可使用一個且同一個機率模型編碼。

如此，依據前文就第3a至6a圖所呈現的實例，細 分器28界定用於預測之一次細分及用於殘差編碼目的之一次細分的具有不同大小區塊的子從屬細分。資料串流插入器18係藉針對各樹區塊以鋸齒形掃描順序傳訊來編碼一次細分，位元順序係依據第6a圖建立，連同編碼一次細分之最大一次區塊大小及最大階層式層級。針對各個如此界定的預測區塊，相關聯之預測參數已經含括在位元串流。此外，類似資訊亦即依據第6a圖之最大尺寸大小、最大階層式層級及位元順序的編碼可針對各預測區塊進行，該預測區塊之大小係等於或小於殘差細分之最大尺寸大小；以及針對各個殘差樹根區塊進行，其中預測區塊已經被預先分割成超過對殘差區塊所界定之最大尺寸大小。針對各個如此界定之殘差區塊，殘差資料係插入該資料串流。

抽取器102在輸入端116從該資料串流抽取個別位元順序及通知圖像分割器104有關如此所得之細分資訊。此外，資料串流插入器18及抽取器102可使用前述順序用在預測區塊及殘差區塊間來傳輸額外語法元素，諸如藉殘差預編碼器14所輸出之殘差資料及藉預測器12所輸出之預測參數。使用此種順序之優點在於藉由探討鄰近區塊已經編碼/解碼的語法元素，可選擇針對某個區塊編碼個別語法元素之適當脈絡。此外，同理，殘差預編碼器14及預測器12以及殘差重建器106及預測器110可以前文摘述之順序處理個別預測區塊及殘差區塊。

第7圖顯示步驟之流程圖，該等步驟可藉抽取器102執行來當編碼時以前文摘述之方式從資料串流22抽取 細分資訊。於第一步驟中，抽取器102將圖像24劃分成為樹根區塊150。此步驟於第7圖係以步驟300指示。步驟300涉及抽取器102從資料串流22抽取最大預測區塊大小。此外或另外，步驟300可涉及抽取器102從資料串流22抽取最大階層式層級。

其次於步驟302中，抽取器102從該資料串流解碼一旗標或一位元。進行第一時間步驟302，抽取器102知曉個別旗標為於樹根區塊掃描順序140屬於第一樹根區塊150之位元順序的第一旗標。因此一旗標為具有階層式層級0之旗標，於步驟302中，抽取器102可使用與該階層式層級0相關聯之脈絡模型來決定一脈絡。各脈絡具有個別機率估算用於與其相關聯之旗標的熵編碼。脈絡之機率估算可個別地適應脈絡於個別脈絡符號統計數字。例如，為了於步驟302決定用來解碼階層式層級0之旗標的適當脈絡，抽取器102可選擇一脈絡集合中之一個脈絡，其係與階層式層級0相關聯，取決於鄰近樹區塊之階層式層級0旗標，又更取決於界定目前處理樹區塊之鄰近樹區塊諸如頂及左鄰近樹區塊之四叉樹細分的位元串中所含之資訊。

次一步驟中，亦即步驟304，抽取器102檢查目前旗標是否提示區分。若屬此種情況，則抽取器102將目前區塊，目前為樹區塊區分，或於步驟306指示此一種區分給細分器104a，其於步驟308檢查目前階層式層級是否等於最大階層式層級減1。舉例言之，抽取器102例如也具有於步驟300從資料串留所抽取的最大階層式層級。若目前階層式層 級不等於最大階層式層級減1，則於步驟310抽取器102將目前階層式層級遞增1及返回步驟302來從該資料串流解碼下一個旗標。本次，於步驟302欲解碼之旗標屬於另一個階層式層級，因此依據一實施例，抽取器102可選擇不同脈絡集合中之一者，該集合係屬於目前階層式層級。該選擇也可基於已經解碼的鄰近樹區塊依據第6a圖之細分位元序列。

若解碼一旗標，及步驟304之檢查洩漏此旗標並未提示目前區塊的區分，則抽取器102前進步驟312來檢查目前階層式層級是否為0。若屬此種情況，抽取器102就步驟314於掃描順序140之下一個樹根區塊進行處理，或若未留下任何欲處理的樹根區塊，則停止處理抽取細分資訊。

須注意，第7圖之描述關注焦點係聚焦在只有預測細分之細分指示旗標的解碼，故實際上，步驟314涉及有關例如目前樹區塊相關聯之其它倉(bin)或語法元素的解碼。該種情況下，若存在有又一個或下一個樹根區塊，則抽取器102由步驟314前進至步驟302，從細分資訊解碼下一個旗標，亦即有關新樹區塊之旗標序列的第一旗標。

於步驟312中，若階層式層級不等於0，則操作前進至步驟316，檢查是否存在有有關目前節點之其它子代節點。換言之，當抽取器102在步驟316進行檢查時，在步驟312已經檢查目前階層式層級為0階層式層級以外的階層式層級。如此又轉而表示存在有親代節點，其係屬於樹根區塊150或更小型區塊152a-d或又更小區塊152a-d等中之一者。目前解碼旗標所屬的樹結構節點具有一親代節點，該 親代節點為該目前樹結構之另外三個節點所共用。具有一共用親代節點之此等子代節點間的掃描順序舉例說明於第3a圖，針對階層式層級0具有元件符號200。如此，於步驟316中，抽取器102檢查是否全部四個子代節點皆已經在第7圖之處理程序中被參訪。若非屬此種情況，亦即目前親代節點有額外子代節點，則第7圖之處理程序前進至步驟318，此處在目前階層式層級內部依據鋸齒形掃描順序200之下一個子代節點被參訪，因此其相對應子區塊現在表示第7圖之目前區塊，及隨後，於步驟302從有關區塊或目前節點之資料串流解碼一旗標。但於步驟316，若對目前親代節點並無額外子代節點，則第7圖之方法前進至步驟320，此處目前階層式層級遞減1，其中隨後該方法係以步驟312進行。

藉由執行第7圖所示步驟，抽取器102與細分器104a協力合作來在編碼器端從資料串流取回所選用的細分。第7圖之方法關注焦點集中在前述預測細分之情況。組合第7圖之流程圖，第8圖顯示抽取器102及細分器104a如何協力合作來從資料串流取回殘差細分。

特定言之，第8圖顯示針對從預測細分所得各個預測區塊，藉抽取器102及細分器104a分別所進行之步驟。如前述，此等預測區塊係在預測細分之樹區塊150間依據鋸齒掃描順序140遍歷，且例如第3c圖所示使用在各樹區塊150內部目前參訪的深度優先遍歷來通過樹區塊。依據深度優先遍歷順序，經過區分之一次樹區塊之葉區塊係以深度 優先遍歷順序參訪，以鋸齒形掃描順序200參訪具有共用目前節點之某個階層式層級的子區塊，以及在前進至此種鋸齒形掃描順序200的下一個子區塊之前首先主要掃描此等子區塊各自的細分。

用於第3c圖之實例，樹區塊150之葉節點間所得掃描順序係以元件符號350顯示。

用於目前參訪的預測區塊，第8圖之處理程序始於步驟400。於步驟400，標示目前區塊之目前大小的內部參數設定為等於殘差細分之階層式層級0的大小，亦即殘差細分之最大區塊大小。須回憶最大殘差區塊大小可小於預測細分的最小區塊大小，或可等於或大於後者。換言之，依據一個實施例，編碼器可自由選擇前述任一種可能。

於次一步驟，亦即步驟402，執行檢查有關目前參訪區塊的預測區塊大小是否大於標示為目前大小的內部參數。若屬此種情況，則可為預測細分之一葉區塊或預測細分之一樹區塊而未經任何進一步區分的目前參訪預測區塊係大於最大殘差區塊大小，此種情況下，第8圖之處理程序前進至第7圖之步驟300。換言之，目前參訪的預測區塊被分割成殘差樹根區塊，此種目前參訪預測區塊內部的第一殘差樹區塊之旗標順序的第一順序係在步驟302解碼等等。

但若目前參訪預測區塊具有大小等於或小於指示目前大小的內部參數，則第8圖之處理程序前進至步驟404，此處檢查預測區塊大小來決定其是否等於指示目前大 小的內部參數。若為是，則分割步驟300可跳過，處理程序直接前進至第7圖之步驟302。

但若目前參訪預測區塊之預測區塊大小係小於指示目前大小的內部參數，則第8圖之處理程序前進至步驟406，此處階層式層級遞增1，目前大小設定為新階層式層級之大小，諸如以2分割(於四叉樹細分之例中於二軸方向)。隨後，再度進行步驟404之檢查，藉步驟404及406所形成之回路效果為階層式層級經常性地與欲區分之相對應區塊大小相對應，而與具有小於或等於/大於最大殘差區塊大小之個別預測區塊獨立無關。如此，當於步驟302解碼旗標時，所進行的脈絡模型係同時取決於該旗標所指的階層式層級及區塊大小。針對不同階層式層級或區塊大小的旗標使用不同脈絡之優點在於機率估算極為適合旗標值發生的實際機率分佈，另一方面具有欲處理的中等脈絡數目，因而減少脈絡管理之額外管理資料量，以及增加脈絡調整適應於實際符元統計數字。

如前文已述，有多於一個樣本陣列，此等樣本陣列可分組成一個或多個平面群組。例如進入輸入端32之欲編碼輸入信號可為視訊序列或靜像之一個圖像。如此該圖像係呈一或多個樣本陣列形式。於視訊序列或靜像之一圖像編碼脈絡中，樣本陣列為指三個彩色平面，諸如紅、綠及藍，或指亮度平面及彩度平面例如於YUV或YCbCr之彩色表示型態。此外，也可呈現表示α亦即透明度及/或3-D視訊材料之深度資訊的樣本陣列。多個此等樣本陣列可一 起分組成為所謂的平面群組。例如亮度(Y)可為只有一個樣本陣列之一個平面群組，及彩度諸如CbCr可為有兩個樣本陣列之另一個平面群組；或在另一實例中，YUV可為有三個矩陣之一個平面群組及3-D視訊材料之深度資訊可以是只有一個樣本陣列的不同平面群組。針對每個平面群組，一個一次四叉樹結構可在資料串流22內部編碼用來表示分割成預測區塊；及針對各個預測區塊，二次四叉樹結構表示分割成殘差區塊。如此，依據前述第一實例，亮度成分為一個平面群組，此處彩度成分形成另一個平面群組，一個四叉樹結構係針對亮度平面之預測區塊，一個四叉樹結構係針對亮度平面之殘差區塊，一個四叉樹結構係針對彩度平面之預測區塊，及一個四叉樹結構係針對彩度平面之殘差區塊。但於前述第二實例中，可能有一個四叉樹結構針對亮度及彩度一起的預測區塊(YUV)，一個四叉樹結構針對亮度及彩度一起的殘差區塊(YUV)，一個四叉樹結構針對3-D視訊材料之深度資訊的預測區塊，及一個四叉樹結構針對3-D視訊材料之深度資訊的殘差區塊。

又，於前文說明中，輸入信號係使用一次四叉樹結構分割成多個預測區塊，現在描述此等預測區塊如何使用從屬四叉樹結構而進一步細分成殘差區塊。依據另一實施例，細分並非結束在從屬四叉樹階段。換言之，使用從屬四叉樹結構從細分所得之區塊可能使用三元四叉樹結構進一步細分。此種分割又轉而用在使用額外編碼工具之目的，其可能協助殘差信號的編碼。

前文描述關注焦點集中在分別藉細分器28及細分器104a進行細分。如前述，分別藉細分器28及104a進行細分可控制前述編碼器10及解碼器100之模組的處理粒度。但依據後文敘述之實施例，細分器228及104a分別接著為合併器30及合併器104b。但須注意合併器30及104b為選擇性且可免除。

但實際上及容後詳述，合併器對編碼器提供以將預測區塊或殘差區塊中之若干者組合成群組或群簇的機會，使得其它模組或其它模組中之至少一部分可將此等區塊群組一起處理。舉例言之，預測器12可藉由使用細分器28的細分最佳化來犧牲所測定的部分預測區塊之預測參數間的偏差，及使用對全部此等預測區塊共用的預測參數來取代，只要預測區塊分組連同屬於該組的全部區塊之共用參數傳輸的傳訊就率/失真比意義上而言，比較全部此等預測區塊之預測參數個別地傳訊更具有展望性即可。基於此等共用預測參數，在預測器12及110取回預測之處理程序本身仍然係以預測區塊逐一進行。但也可能預測器12及110甚至對整個預測區塊群組一次進行預測程序。

容後詳述，也可能預測區塊群組不僅使用針對一組預測區塊之相同的或共用的預測參數，反而另外或此外，允許編碼器10發送針對此一群組之一個預測參數連同對屬於此一群組的預測區塊之預測殘差，因而可減少用來傳訊此一群組之預測參數之傳訊額外管理資料量。後述情況下，合併程序只影響資料串流插入器18而非影響由殘差 預編碼器14及預測器12所做的決策。但進一步細節容後詳述。然而，為求完整，須注意前述構面也適用於其它細分，諸如前述殘差細分或濾波細分。

首先，樣本集合諸如前述預測區塊及殘差區塊的合併係以更一般性意義激勵，亦即並非限於前述多元樹細分。但隨後之說明焦點將集中在前述實施例由多元樹細分所得區塊之合併。

概略言之，用於傳輸相關聯之編碼參數之目的合併與特定樣本集合相關聯之語法元素，允許於影像及視訊編碼應用上減少側邊資訊率。舉例言之，欲編碼之樣本陣列通常係區分成特定樣本集合或樣本集合，其可表示矩形區塊或方形區塊，或樣本之任何其它集合，包括任意形狀區、三角形或其它形狀。於前述實施例中，單純連結區為從多元樹細分所得之預測區塊及殘差區塊。樣本陣列之細分可藉語法固定；或如前述，細分也可至少部分在位元串流內部傳訊。為了將用於傳訊細分資訊及側邊資訊率維持為小，語法通常只允許有限數目的選擇來導致簡單的區分，諸如將區塊細分成為更小型區塊。樣本集合係與特定編碼參數相關聯，其可載明預測資訊或殘差編碼模式等。有關此議題之細節係如前文說明。針對各樣本集合，可傳輸諸如用來載明預測編碼及/或殘差編碼之個別編碼參數。為了達成改良編碼效率，後文描述之合併構面，亦即將二或多個樣本集合合併成所謂的樣本集合群組，允許達成若干優點，容後詳述。舉例言之，樣本集合可經合併， 使得此一群組的全部樣本集合共享相同編碼參數，其可連同群組中之樣本集合中之一者傳輸。藉此方式，編碼參數無須針對樣本集合群組中之各個樣本集合個別地傳輸，反而取而代之，編碼參數只對整個樣本集合群組傳輸一次。結果，用來傳輸編碼參數之側邊資訊例如減少，且總編碼效率可改良。至於替代之道，一或多個編碼參數之額外精製可針對一樣本集合群組中之一個或多個樣本集合傳輸。精製可施加至一群組中之全部樣本集合，或只施加至針對其傳輸之該樣本集合。

後文進一步描述之合併構面也對編碼器提供以形成位元串流22時的較高自由度，原因在於合併辦法顯著增加用來選擇區分一圖像樣本陣列之可能性數目。因編碼器可在較多選項間選擇，諸如用來減少特定率/失真測量值，故可改良編碼效率。操作編碼器有數種可能。於簡單辦法，編碼器可首先決定最佳樣本陣列的細分。簡短參考第1圖，細分器28將在第一階段決定最佳細分。隨後，針對各樣本集合，檢查是否與另一樣本集合或另一樣本集合群組合併，減低特定率/失真成本量測值。就此方面而言，與一合併樣本集合群組相關聯之預測參數可重新估算，諸如藉由執行新的移動搜尋和估算；或已經針對共用樣本集合及候選樣本集合或用於合併的樣本集合群組已經測定之預測參數可針對所考慮的樣本集合群組而評估。更綜合性辦法中，特定率/失真成本測量值可對額外候選樣本集合群組評估。

須注意後文描述之合併辦法並未改變樣本集合之處理順序。換言之，合併構想可以一種方式具體實施，使得延遲不再增加，亦即各樣本集合維持可在同一個時間瞬間解碼而未使用合併辦法。

舉例言之，藉由減少編碼預測參數數目所節省的位元率係大於額外耗用在編碼合併資訊用來指示合併給解碼端的位元率，合併辦法(容後詳述)導致編碼效率增高。進一步須提及所述用於合併的語法延伸對編碼器提供額外自由度來選擇圖像或平面群組區分成多個區塊。換言之，編碼器並非限於首先進行細分及然後檢查所得區塊中之若干者是否具有預測參數相同集合或類似集合。至於一個簡單的替代之道，依據率-失真成本測量值，編碼器首先決定細分，及然後針對各個區塊編碼器可檢查與其鄰近區塊或相關聯已經測定的區塊群組中之一者合併是否減低率-失真成本測量值。如此，可重新估算與該新區塊群組相關聯之預測參數，諸如藉由進行新移動搜尋；或已經對目前區塊及鄰近區塊或區塊群組測定的該等預測參數可針對新區塊群組評估。合併資訊給予區塊為基礎傳訊。有效地，合併也可解譯為針對目前區塊之預測參數推論的結果，其中推論的預測參數係設定為等於鄰近區塊中之一者的預測參數。另外，針對一區塊群組中之區塊可傳輸殘差。

如此，容後描述之合併構想下方潛在的基本構想係藉由將鄰近區塊合併成為一區塊群組來減低傳輸預測參數或其它編碼參數所需的位元率，此處各區塊群組係與編 碼參數諸如預測參數或殘差編碼參數之一個獨特集合相關聯。除了細分資訊(若存在)外，合併資訊也在位元串流內部傳訊。合併構想之優點為從編碼參數之側邊資訊減少導致編碼效率增高。須注意此處所述合併方法也可延伸至空間維度以外的其它維度。舉例言之，在數個不同視訊圖像的內部之一樣本或區塊集合群組可合併成一個區塊群組。合併也可適用於4-壓縮及光欄位編碼。

如此，簡短回頭參考前文第1圖至第8圖之說明，注意在細分後之合併程序為優異，而與細分器28及104a細分圖像之特定方式獨立無關。更明確言之，後者也可以類似於H.264之方式細分圖像，換言之，將各圖像細分成具有預定尺寸諸如16x16亮度樣本或在資料串流內部傳訊大小的矩形或方形聚集區塊之規則排列，各聚集區塊具有與其相關聯之若干編碼參數包含例如針對各聚集區塊界定區分成1、2、4或若干其它區分數目的規則子格用作為預測粒度或位元串流中之相對應預測參數以及用來界定殘差及相對應的殘差變換粒度之區分用的區分參數。

總而言之，合併提供前文簡短討論之優點，諸如減少於影像及視訊編碼應用中之側邊資訊率位元。表示矩形或方形區塊或任意形狀區或任何其它樣本集合諸如任何單純連結區或樣本之特定樣本集合通常係連結特定編碼參數集合；針對各樣本集合，編碼參數係含括在位元串流，編碼參數例如表示預測參數其規定相對應樣本集合係如何使用已編碼樣本加以預測。一圖像樣本陣列區分成樣本集 合可藉語法固定，或可藉在該位元串流內部之相對應細分資訊傳訊。針對該樣本集合之編碼參數可以預定順序亦即語法所給定的順序傳輸。依據合併功能，合併器30可針對一共用樣本集合或一目前區塊諸如與一或多個其它樣本集合合併的預測區塊或殘差區塊，合併器30可傳訊入一樣本集合群組。一群組樣本集合之編碼參數因此只須傳輸一次。於特定實施例中，若目前樣本集合係與已經傳輸編碼參數之一樣本集合或既有樣本集合群組合併，則目前樣本集合之編碼參數未傳輸。反而，目前樣本集合之編碼參數係設定為等於目前樣本集合與其合併之該樣本集合或該樣本集合群組之編碼參數。至於替代之道，編碼參數中之一者或多者之額外精製可對目前樣本集合傳輸。精製可應用於一群組的全部樣本集合或只施加至針對其傳輸之該樣本集合。

依據一實施例，針對各樣本集合諸如前述預測區塊、前述殘差區塊或前述多元樹細分之葉區塊，全部先前編碼/解碼樣本集合之集合係稱作為「因果樣本集合之集合」。例如參考第3c圖。本圖顯示之全部區塊皆為某種細分結果，諸如預測細分或殘差細分或任何多元樹細分等，此等區塊間定義之編碼/解碼順序係以箭頭350定義。考慮此等區塊間之某個區塊為目前樣本集合或目前單純連結區，其因果樣本集合之集合係由沿著順序350在目前區塊前方的全部區塊所組成。但須回應只要考慮後文有關合併原理之討論，則未使用多元樹細分之其它細分亦屬可能。

可用來與目前樣本集合合併之該等樣本集合於後文中稱作為「候選樣本集合之集合」，經常性為「因果樣本集合之集合」之一子集。如何形成該子集之方式為解碼器所已知，或可從編碼器至解碼器而在資料串流或位元串流內部載明。若特定目前樣本集合係經編碼/解碼，則此候選樣本集合之集合並非空白，其係在編碼器在資料串流內部傳訊，或在解碼器從該資料串流導算該共用樣本集合是否與本候選樣本集合之集合中之一個樣本集合合併，及若是，係與該等樣本集合中之哪一者合併。否則，合併無法用於本區塊，原因在於候選樣本集合之集合經常性為空白。

有不同方式來測定因果樣本集合之集合中將表示候選樣本集合之集合的該子集。舉例言之，候選樣本集合之測定可基於目前樣本集合內部之樣本，其具有獨特的幾何形狀定義，諸如矩形區塊或方形區塊之左上影像樣本。始於此種獨特幾何形狀定義樣本，決定特定非零數目樣本，表示此種獨特幾何形狀定義樣本之直接空間鄰近樣本。舉例言之，此種特定非零數目樣本包含目前樣本集合之獨特幾何定義樣本之上鄰近樣本及左鄰近樣本，故鄰近樣本之非零數目至多為2，或為1若上或左鄰近樣本中之一者無法取得或係位在該圖像外側；或為零，於缺失二鄰近樣本之情況下。

候選樣本集合之集合可經決定來涵蓋含有前述鄰近樣本之非零數目中之至少一者的該等樣本集合。例如參考第9圖。目前樣本集合目前考慮為合併物件，須為區塊 X，而其幾何形狀獨特定義樣本須舉例說明為左上樣本，以400指示。樣本400之頂及左鄰近樣本分別指示為402及404。因果樣本幾何之集合及因果區塊之集合係以加影線方式強調。因此此等區塊中，區塊A及B包含鄰近樣本402及404中之一者，此等樣本形成候選區塊集合及候選樣本集合之集合。

依據另一實施例，用於合併目的所決定的候選樣本集合之集合可額外地或排它地包括含有一特定非零數目樣本之樣本集合，該數目可為1或2，二者具有相同空間位置，但係含在不同圖像，亦即先前編碼/解碼圖像。舉例言之，除了第9a圖之區塊A及B之外，可使用先前編碼圖像之區塊，其包含在樣本400之相同位置的樣本。藉此方式，注意只有上鄰近樣本404或只有左鄰近樣本402可用來定義前述鄰近樣本之非零數目。大致上，候選樣本集合之集合可從在目前圖像或其它圖像內部先前經過處理之資料而導算出。導算可包括空間方向資訊，諸如與目前圖像之特定方向及影像梯度相關聯之變換係數；或可包括時間方向資訊，諸如鄰近移動表示型態。由此等在接收器/解碼器可利用的資料及在資料串流內部之其它資料及側邊資訊(若存在)，可導算出候選樣本集合之集合。

須注意候選樣本集合之導算係藉在編碼器端之合併器30及在解碼器端之合併器104b並排執行。恰如前述，二者可基於對二者已知之預先界定之方式決定彼此獨立無關之候選樣本集合之集合；或編碼器可在位元串流內 部傳訊暗示線索，其係將合併器104b帶到一個位置來以於在編碼器端決定候選樣本集合之集合的合併器30之相同方式，執行此等候選樣本集合之導算。

容後詳述，合併器30及資料串流插入器18合作來針對各樣本集合傳輸一或多個語法元素，其載明該樣本集合是否與另一樣本集合合併，該另一樣本集合又可為已經合併的樣本集合群組之一部分，以及候選樣本集合之該集合中之哪一者係用於合併。抽取器102轉而據此抽取此等語法元素及通知合併器104b。特別，依據後文描述之特定實施例，針對一特定樣本集合傳輸一或二個語法元素來載明合併資訊。第一語法元素載明目前樣本集合是否與另一樣本集合合併。若第一語法元素載明該目前樣本集合係與另一樣本集合合併，唯有此種情況才傳輸的第二語法元素載明候選樣本集合之集合中之哪一者用於合併。若導算出候選樣本集合之集合為空白，則可遏止第一語法元素之傳輸。換言之，若導算出之候選樣本集合之集合並非空白，則唯有此種情況才可傳輸第一語法元素。唯有導算出之候選樣本集合之集合含有多於一個樣本集合時才可傳輸第二語法元素，原因在於若在該候選樣本集合之集合中只含有一個樣本集合，則絕不可能做進一步選擇。又復，若候選樣本集合之集合包含多於一個樣本集合，則第二語法元素之傳輸可被遏止；但若候選樣本集合之集合中之全部樣本集合係與同一個編碼參數相關聯時則否。換言之，第二語法元素唯有在一導算出之候選樣本集合之集合中之至少兩 個樣本集合係與不同編碼參數相關聯時才可傳輸。

於該位元串流內部，一樣本集合之合併資訊可在與該樣本集合相關聯之預測參數或其它特定編碼參數之前編碼。預測參數或編碼參數唯有在合併資訊傳訊目前樣本集合並未與任何其它樣本集合合併時才傳輸。

某個樣本集合例如一區塊之合併資訊可在適當預測參數子集之後編碼；或更一般性定義，已經傳輸與該個別樣本集合相關聯之編碼參數。預測/編碼參數子集可由一個或多個參考圖像指數、或一個或多個移動參數向量或參考指數組分、及一個或多個移動參數向量組分等所組成。已經傳輸之預測參數或編碼參數子集可用來從恰如前文說明已經導算之較大的候選樣本集合之臨時集合中導算出一候選樣本集合之集合。舉個實例，可計算目前樣本集合之已編碼預測參數及編碼參數與先前候選樣本集合之相對應預測參數或編碼參數間之差值測量值或依據預定距離測量值之距離。然後，只有計算得之差值測量值或距離係小於或等於預定臨界值或導算出之臨界值的該等樣本集合被含括在最終集合亦即縮小的候選樣本集合之集合。例如參考第9a圖。目前樣本集合須為區塊X。有關本區塊之編碼參數之一子集須已經插入位元串流22。假設例如區塊X為預測區塊，該種情況下，適當編碼參數之子集可為此區塊X之預測參數子集，諸如包含圖像參考指數及移動對映資訊諸如移動向量之一集合中之一子集。若區塊X為殘差區塊，則編碼參數之子集為殘差資訊子集，諸如變換係數或對映 表指示在區塊X內部之顯著變換係數位置。基於此項資訊，資料串流插入器18及抽取器102二者可使用此項資訊來決定區塊A及B中之一子集，該子集在本特定實施例中構成前述候選樣本集合之初步集合。特定言之，因區塊A及B屬於因果樣本集合之集合，及編碼參數為區塊X之編碼參數為目前編碼/解碼時由編碼器及解碼器二者可利用。因此，使用不同辦法之前述比較可用來排除候選樣本集合A及B之初步集合中之任何區塊數目。然後結果所得縮小的候選樣本集合之集合可如前文說明使用，換言之，用來決定合併指示器是否指示從該資料串流中傳輸合併或從該資料串流中抽取合併，取決於在該縮小候選樣本集合之集合內部的樣本集合數目以及第二語法元素是否必須在其中傳輸而定；或已經從該資料串流中抽取出，具有第二語法元素指示在該縮小候選樣本集合內部哪一個樣本集合須為合併伴侶區塊。

前述距離相對於其做比較之前述臨界值可為固定且為編碼器及解碼器二者所已知，或可基於計算得之距離而導算出，諸如不同值之中數或若干其它取中傾向等。此種情況下，無可避免地，縮小候選樣本集合之集合須為候選樣本集合之初步集合之適當子集。另外，唯有依據距離量測值為最小距離之該等樣本集合才從該候選樣本集合之初步集合中選出。另外，使用前述距離測量值，從該候選樣本集合之初步集合中只選出恰好一個樣本集合。於後述情況下，合併資訊只須載明哪一個目前樣本集合係欲與 單一候選樣本集合合併即可。

如此，候選區塊集合可如後文就第9a圖所示而形成或導算出。始於第9a圖之目前區塊X之左上樣本位置400，在編碼器端及解碼器端導算出其左鄰近樣本402位置及其頂鄰近樣本404位置。如此，候選區塊集合至多只有兩個元素，亦即第9a圖之加畫影線之因果集合中含有兩個樣本位置中之一者(屬於第9a圖之情況)中之該等區塊為區塊B及A。如此，候選區塊集合只具有目前區塊之左上樣本位置的兩個直接相鄰區塊作為其元素。依據另一實施例，候選區塊集合可由在目前區塊之前已經編碼的全部區塊給定，且含有表示目前區塊任何樣本之直接空間鄰近樣本的一個或多個樣本。直接空間鄰近限於目前區塊之任何樣本之直接左鄰近樣本及/或直接頂鄰近樣本及/或直接右鄰近樣本及/或直接底鄰近樣本。例如參考第9b圖顯示另一區塊細分。此種情況下，候選區塊包含四個區塊，亦即區塊A、B、C及D。

另外，候選區塊集合可額外地或排它地包括含有一個或多個樣本其係位在目前區塊之任何樣本相同位置，但含在不同圖像，亦即已編碼/解碼圖像之區塊。

又另外，候選區塊集合表示前述區塊集合之一子集，其係藉空間方向或時間方向之鄰近關係決定。候選區塊子集可經固定、傳訊或導算。候選區塊子集之導算可考慮在該圖像或其它圖像中對其它區塊所做的決策。舉個實例，與其它候選區塊相同或極為相似之編碼參數相關聯之 區塊不可含括在候選區塊集合。

後文對實施例之描述適用於含有目前區塊之左上樣本之左及頂鄰近樣本只有兩個區塊被考慮作為至多可能的候選者之情況。

若候選區塊集合並非空白，則稱作為merge_flag之一個旗標載明目前區塊是否與任何候選區塊合併。若merge_flag係等於0(用於「否」)，則此區塊不會與其候選區塊中之一者合併，通常傳輸全部編碼參數。若merge_flag等於1(用於「是」)，則適用後述者。若候選區塊集合含有一個且只有一個區塊，則此候選區塊用於合併。否則，候選區塊集合恰含二區塊。若此二區塊之預測參數為相同，則此等預測參數用於目前區塊。否則(該二區塊具有不同預測參數)，傳訊稱作為merge_left_flag之旗標。若merge_left_flag係等於1(用於「是」)，則含有目前區塊之左上樣本位置之左鄰近樣本位置之該區塊係從該候選區塊集合中被選出。若merge_left_flag係等於0(用於「否」)，則從該候選區塊集合中選出另一(亦即頂鄰近)區塊。所選定區塊之預測參數係用於目前區塊。

就合併摘述前述實施例中之數者，參考第10圖顯示藉抽取器102執行來從進入輸入端116之資料串流22中抽取合併資訊所進行的步驟。

處理始於450，識別針對目前樣本集合或區塊之候選區塊或樣本集合。須回憶起區塊之編碼參數係以某個一維順序而在資料串流22內部傳輸，及據此，第10圖係指 針對目前參訪的樣本集合或區塊取回合併資訊之方法。

如前述，識別及步驟450包含基於鄰近構面而在先前解碼區塊亦即因果區塊集合中之識別。例如，該等鄰近區塊可指向候選者，候選者含有於空間或時間上在一個或多個目前區塊X之幾何形狀預定樣本鄰近的某個鄰近樣本。此外，識別步驟可包含兩個階段，亦即第一階段涉及基於鄰近恰如前述識別導致一初步候選區塊集合；及第二階段據此單純該等區塊為在步驟450前已經從資料串流解碼之指向區塊，該區塊已經傳輸之編碼參數滿足對目前區塊X之編碼參數之適當子集的某個關係。

其次，方法前進至步驟452，於該處決定候選區塊數目是否大於零。若屬此種情況，則於步驟454從資料串流中抽取merge_flag。抽取步驟454可涉及熵解碼。於步驟454用於熵解碼merge_flag之脈絡可基於屬於例如候選區塊集合或初步候選區塊集合之語法元素，其中對語法元素之相依性可限於下述資訊：屬於關注集合的區塊是否接受合併。選定脈絡之機率估算可經調整適應。

但候選區塊數目決定為零452，第10圖方法前進至步驟456，此處目前區塊之編碼參數係從位元串流抽取，或於前述二階段性識別替代之道的情況下，其中於抽取器102以區塊掃描順序諸如第3c圖所示順序350處理下一區塊進行後，其餘編碼參數。

參考步驟454，步驟454之後該方法前進，步驟458檢查所抽取的merge_flag是否提示目前區塊合併的出現或 不存在。若未進行合併，則方法前進至前述步驟456。否則，方法以步驟460前進，包括檢查候選區塊數目是否等於1。若屬此種情況，候選區塊中某個候選區塊指示之傳輸並非必要，因此第10圖方法前進至步驟462，據此目前區塊之合併伴侶設定為唯一候選區塊，其中於步驟464之後合併伴侶區塊之編碼參數係用來調整編碼參數或目前區塊之其餘編碼參數之調適或預測。以調適為例，目前區塊遺漏的編碼參數單純係拷貝自合併伴侶區塊。於另一種情況下，亦即預測之情況下，步驟464可涉及從資料串流進一步抽取殘差資料，有關目前區塊之遺漏編碼參數之預測殘差之殘差資料及得自合併伴侶區塊此種殘差資料與此等遺漏編碼參數之預測的組合。

但候選區塊數目於步驟460決定為大於1，第10圖方法前進至步驟466，此處進行檢查編碼參數或編碼參數之關注部分，亦即在目前區塊之資料串流內部尚未移轉的部分相關聯之子部分係彼此識別。若屬此種情況，此等共用編碼參數係設定為合併參考，或候選區塊係於步驟468設定為合併伴侶，或個別關注編碼參數係用在步驟464之調適或預測。須注意合併伴侶本身可以是已經傳訊合併之區塊。於本例中，合併參數之經調適或經預測所得編碼參數係用於步驟464。

但否則，於編碼參數不同的情況下，第10圖方法前進至步驟470，此處額外語法元素係抽取自資料串流，亦即此種merge_left_flag。脈絡之分開集合可用於熵解碼此旗 標。用於熵解碼merge_left_flag之脈絡集合也可包含單純一個脈絡。於步驟470後，merge_left_flag指示的候選區塊在步驟472設定為合併伴侶，及在步驟464用於調適或預測。於步驟464後，抽取器102以區塊順序處理下一個區塊。

當然，可能有其它替代之道。例如，組合語法元素可在資料串流內部傳輸，而非如前述分開語法元素merge_flag及merge_left_flag，組合語法元素傳訊合併處理程序。又，前述merge_left_flag可在資料串流內部傳輸，而與兩個候選區塊是否具有相同預測參數獨立無關，藉此減低執行第10圖處理程序之運算額外管理資料量。

如前文就例如第9b圖已述，多於二區塊可含括在候選區塊集合。又，合併資訊亦即傳訊一區塊是否合併之一資訊；若是，欲合併的候選區塊可藉一或多個語法元素傳訊。一個語法元素可載明該區塊是否與前述候選區塊中之任一者諸如前述merge_flag合併。若候選區塊之集合非空白則可指傳輸旗標。第二語法元素可傳訊哪一個候選區塊採用於合併，諸如前述merge_left_flag，但通常指示兩個或多於兩個候選區塊間之選擇。唯有第一語法元素傳訊目前區塊欲合併候選區塊中之一者時才可傳輸第二語法元素。第二語法元素又更唯有在候選區塊集合含有多於一個候選區塊時，及/或候選區塊中之任一者具有於候選區塊之任何其它者不同的預測參數時才傳輸。語法可取決於給予多少候選區塊及/或不同預測參數如何與候選區塊相關聯。

傳訊欲使用候選區塊中之哪些區塊的語法可在 編碼器端及解碼器端同時及/或並排設定。舉例言之，若於步驟450識別三項候選區塊選擇，語法係選用為只有三項選擇為可利用，例如在步驟470考慮用於熵編碼。換言之，語法元素係經選擇使得其符元字母表單純具有與所存在的候選區塊之選擇同樣多個元素。全部其它選擇機率可考慮為零，熵編碼/解碼可在編碼器及解碼器同時調整。

又，如前文就步驟464所記，稱作為合併方法結果之預測參數可表示與目前區塊相關聯之預測參數完整集合，或可表示此等預測參數之一子集，諸如針對其使用多重假說預測之區塊之一個假說的預測參數。

如前述，有關合併資訊之語法元素可使用脈絡模型進行熵編碼。語法元素可由前述merge_flag及merge_left_flag組成(或類似語法元素)。於一具體實例中，三個脈絡模型或脈絡中之一者可於步驟454用於編碼/解碼merge_flag。所使用的脈絡模型指數merge_flag_ctx可如下導算出：若候選區塊集合含有二元素，則merge_flag_ctx之值係等於兩個候選區塊之merge_flag之值之和。但若候選區塊集合含有一個元素，則merge_flag_ctx之值係等於此一候選區塊之merge_flag值的兩倍。因鄰近候選區塊之merge_flag可為1或0，針對merge_flag有三個脈絡可用。merge_left_flag可只使用單一機率模型編碼。

但依據替代實施例，可使用不同脈絡模型。例如非二進制語法元素可對映至一二進制符元序列，所謂的倉(bins)。界定合併資訊之若干語法元素或語法元素倉之脈絡 模型可基於已經傳輸之語法元素或鄰近區塊或候選區塊數目或其它量測值而導算出，同時其它語法元素或語法元素倉可以固定脈絡模型編碼。

有關前文區塊合併之描述，須注意候選區塊集合也可以對前述任何實施例所述之相同方式導算出而有下列修正：候選區塊限於使用移動補償預測或解譯之區塊。唯有該等元素可為候選區塊集合之元素。合併資訊之傳訊及脈絡模型化可以前述方式進行。

轉向參考前述多元樹細分實施例之組合及現在描述之合併構面。若該圖像係藉使用基於四叉樹細分結構而分割成不等大小方形區塊，例如merge_flag及merge_left_flag或其它載明合併之語法元素可與針對四叉樹結構各個葉節點所傳輸之預測參數交插。再度考慮例如第9a圖。第9a圖顯示一圖像基於四叉樹細分成可變大小預測區塊之實例。最大尺寸之上二區塊為所謂的樹區塊，亦即其為最大可能尺寸之預測區塊。圖中之其它區塊係獲得為其相對應樹區塊的細分。目前區塊標示為「X」。全部影線區塊係在目前區塊之前編解碼，故形成因果區塊集合。如於針對實施例中之一者候選區塊集合之導算描述，唯有含有目前區塊之左上樣本位置之直接(亦即頂或左)鄰近樣本才可成為候選區塊集合的成員。如此，目前區塊合併區塊「A」或區塊「B」。若merge_flag係等於零(用於「否」)，目前區塊「X」並未合併二區塊中之任一者。若區塊「A」及「B」具有相同預測參數，則無須做區別，原因在於與二 區塊中之任一者合併將導致相同結果。因此，此種情況下，未傳輸merge_left_flag。否則，若區塊「A」及「B」具有不同預測參數，merge_left_flag=1(用於「是」)將合併區塊「X」與「B」，而merge_left_flag等於0(用於「否」)將合併區塊「X」與「A」。於另一較佳實施例中，額外鄰近(已經傳輸的)區塊表示合併候選者。

第9b圖顯示另一實例。此處目前區塊「X」及左鄰近區塊「B」為樹區塊，亦即其具有最大容許區塊大小。頂鄰近區塊「A」之大小為樹區塊大小的四分之一。屬於因果區塊集合之元素的該等區塊加影線。注意依據較佳實施例中之一者，目前區塊「X」只可與二區塊「A」或「B」合併，而不可與任何其它頂相鄰區塊合併。於另一較佳實施例中，額外相鄰(已經傳輸的)區塊表示合併候選者。

繼續描述有關依據本案實施例如何處理圖像之不同樣本陣列之該構面之前，須注意前文討論有關多元樹細分，及一方面傳訊及另一方面合併構面顯然此等構面可提供彼此獨立探討之優點。換言之，如前文解釋，多元樹細分與合併之組合具有特定優點，但優點也來自於替代例，此處合併特徵例如係以藉細分器30及104a進行細分具體實現，而非基於多元樹細分之四叉樹，反而係與此等巨集區塊規則區分成為更小型區分的聚集區塊細分相對應。另一方面，多元樹細分連同位元串流內部之最大樹區塊大小傳輸的組合，以及多元樹細分連同深度優先遍歷順序傳送區塊之相對應編碼參數之使用具有與是否同時使用合併 特徵獨立無關之優點。大致上，直覺地考慮當樣本陣列編碼語法係以不僅允許細分一區塊，同時也允許合併二或多個細分後所獲得之區塊之方式擴充時，編碼效率提高，可瞭解合併的優點。結果，獲得一組區塊其係以相同預測參數編碼。此組區塊之預測參數只須編碼一次。又，有關樣本集合之合併，再度須瞭解所考慮的樣本集合可為矩形區塊或方形區塊，該種情況下，合併樣本集合表示矩形區塊及/或方形區塊的集合。另外，所考慮的樣本集合為任意形狀圖像區，及合併樣本集合表示任意形狀圖像區之集合。

後文描述之關注焦點在於當每個圖像有多於一個樣本陣列時一圖像之不同樣本陣列的處理，後文次描述中摘述的若干構面為與所使用的細分種類獨立無關之優點，亦即與細分是否基於多元樹細分獨立無關且與是否使用合併獨立無關。始於描述有關圖像之不同樣本陣列之處理之特定實施例前，本實施例之主要議題係簡短介紹每個圖像不同樣本陣列之處理領域。

後文討論之目光焦點集中在一圖像之不同樣本陣列之區塊間之編碼參數用在影像或視訊編碼應用用途，特別一圖像之不同樣本陣列間適應性預測編碼參數之方式應用於例如第1及2圖之編碼器及解碼器或其它影像或視訊編碼環境。如前述，樣本陣列表示與不同彩色成分相關聯之樣本陣列，或與額外資訊諸如透明度資訊或深度對映圖像關聯之圖像。與圖像之彩色成分相關之樣本陣列也稱作為彩色平面。後文描述之技術也稱作為跨平面採用/預測， 可用在基於區塊之影像及視訊編碼器及解碼器，藉此針對一圖像之樣本陣列區塊的處理順序為任意順序。

影像及視訊編碼器典型係設計用於編碼彩色圖像(靜像或視訊序列圖像)。彩色圖像包含多個彩色平面，其表示不同彩色成分之樣本陣列。經常彩色圖像係以一亮度平面及二彩度平面組成的樣本陣列集合編碼，此處後者載明色差成分。於若干應用領域，也常見編碼樣本陣列集合係由表示三原色紅、綠、及藍之樣本陣列的三個彩色平面組成。此外，為了改良彩色表示型態，彩色圖像可由多於三個彩色平面組成。此外，一圖像可與載明該圖像之額外資訊之輔助樣本陣列相關聯。例如，此等輔助樣本陣列可以是載明相關彩色樣本之透明度之樣本陣列(適合用於載明顯示目的)，或為載明深度對映圖之樣本陣列(適合用來呈現多個視線，例如用於3D顯示)。

於習知影像及視訊編碼標準(諸如H.264)，彩色平面通常一起編碼，因而特定編碼參數諸如巨集區塊及次巨集區塊預測模式、參考指數及移動向量用於一區塊之全部彩色成分。亮度平面可考慮為一次彩色平面，在位元串流中載明特定編碼參數；而彩度平面可視為二次平面，相對應之編碼參數係從一次亮度平面推定。各亮度區塊係與表示該圖像中同一區的兩個彩度區塊相關聯。依據所使用的彩度取樣格式，彩度樣本陣列可比針對一區塊之亮度樣本陣列更小。針對由一亮度成分及二彩度成分所組成的各巨集區塊，使用在區分成更小型區塊(若巨集區塊經細分)。 針對由一亮度樣本區塊及二彩度樣本區塊所組成之各區塊(可為巨集區塊本身或為巨集區塊之一子區塊)，採用相同預測參數集合，諸如參考指數、移動參數及偶爾內-預測模式。於習知視訊編碼標準之特定輪廓中(諸如於H.264之4：4：4輪廓)，可獨立編碼一圖像之不同彩色平面。於該組態中，可針對一巨集區塊之彩色成分分開選擇巨集區塊區分、預測模式、參考指數及移動參數。習知編碼標準或為全部彩色平面係使用相同特定編碼參數(諸如細分資訊及預測參數)集合一起編碼，或為全部彩色平面係各自完全獨立編碼。

若彩色平面係一起編碼，細分及預測參數之一個集合須用於一區塊之全部彩色成分。如此確保側邊資訊維持小量，但比較獨立編碼，可能導致編碼效率的減低，原因在於對不同色彩成分使用不同區塊分解及預測參數，可能導致率-失真成本的減低。舉例言之，針對彩度成分使用不同移動向量或參考圖框，可顯著減少彩度成分之殘差信號能，及增高其總編碼效率。若彩色平面係分開編碼，則編碼參數諸如區塊區分、參考指數及移動參數可針對各個彩色成分分開選擇來針對各個彩色成分最佳化編碼效率，但不可能採用彩色成分間之冗餘。特定編碼參數之多元傳輸確實導致側邊資訊的增加(比較組合編碼)，此種提高側邊資訊率可能對總體編碼效率造成負面影響。又，於最先進視訊編碼標準(諸如H.264)中，支援輔助樣本陣列係限於輔助樣本陣列係使用其本身的編碼參數集合編碼。

如此，於至目前為止，所述全部實施例中，圖像平面可如前述處理，但如前文討論，多個樣本陣列之編碼的總編碼效率(可能與不同彩色平面及/或輔助樣本陣列有關)可能增高，此時可基於區塊基準例如決定對於一區塊之全部樣本陣列是否皆以相同編碼參數編碼，或是否使用不同編碼參數。後文跨平面預測之基本構想例如允許以區塊為基礎做出此種適應性決策。例如基於率失真標準，編碼器可選擇針對一特定區塊之全部或部分樣本陣列是否使用相同編碼參數編碼，或針對不同樣本陣列是否使用不同編碼參數編碼。藉由針對一特定樣本陣列區塊，傳訊從不同樣本陣列之已編碼共同定位區塊是否推論特定編碼參數，也可達成此項選擇。可能針對群組中之一圖像配置不同樣本陣列，其也稱作為樣本陣列群組或平面群組。另一平面群組可含有一圖像之一個或多個樣本陣列。然後，在一平面群組內部之樣本陣列區塊共享相同所選編碼參數，諸如細分資訊、預測模式及殘差編碼模式；而其它編碼參數諸如變換係數位準係針對該平面群組內部之各個樣本陣列分開傳輸。一個平面群組係編碼為一次平面群組，亦即從其它平面群組並未推定或預測編碼參數。針對二次平面群組之各區塊，適應性選擇所選編碼參數之一新集合是否傳輸，或所選編碼參數是否從一次平面集合或另一二次平面集合推定或預測。針對特定區塊所選編碼參數是否係推定或預測的決策係含括在該位元串流。跨平面預測允許側邊資訊率與預測品質間之折衷比較由多個樣本陣列所組成之 最先進圖像編碼有更高自由度。優點為相對於由多個樣本陣列所組成之習知圖像編碼，編碼效率改良。

平面內採用/預測可擴充影像或視訊編碼器，諸如前述實施例之影像或視訊編碼器，使得可針對一彩色樣本陣列或輔助樣本陣列之一區塊或彩色樣本陣列及/或輔助樣本陣列之一集合，適應性選擇所選定之編碼參數集合是否從在同一個圖像內已經編碼之共同定位其它樣本陣列區塊推定或預測，或針對該區塊所選定之編碼參數集合是否分開編碼而未參考同一個圖像內部之共通定位的其它樣本陣列區塊。所選定之編碼參數集合是否針對一樣本陣列區塊或多個樣本陣列區塊推定或預測之決策可含括於該位元串流。與一圖像相關聯之不同樣本陣列無須具有相同大小。

如前述，與一圖像相關聯之樣本陣列(樣本陣列可表示彩色成分及/或輔助樣本陣列)可排列成二或多個所謂的平面群組，此處各平面群組係由一或多個樣本陣列組成。含在特定平面群組之樣本陣列無需具有相等大小。注意此種排列成平面群組包括各樣本陣列係分開編碼的情況。

更明確言之，依據一實施例，針對一平面群組之各區塊，適應性選擇編碼區塊是否載明一區塊如何從針對同一圖像之不同平面群組的已經編碼之共同定位區塊推定或預測，或此等編碼參數是否針對該區塊分開編碼。載明一區塊如何預測之編碼參數包括下列編碼參數中之一者或 多者：區塊預測模式載明針對該區塊使用哪一種預測(內預測、使用單一移動向量及參考圖像之跨-預測、使用二移動向量及參考圖像之跨-預測、使用更高階之跨-預測，亦即非平移移動模型及單一參考圖像、使用多個移動模型及參考圖像之跨-預測)，內-預測模式載明如何產生內-預測信號，一識別符載明多少預測信號組合來產生針對該區塊之終預測信號，參考指數載明哪一個(哪些)參考圖像用於移動補償預測，移動參數(諸如位移向量或仿射移動參數)載明預測信號如何使用參考圖像而產生，一識別符載明參考圖像如何濾波來產生移動補償預測信號。注意大致上，一區塊可只與所述編碼參數之一子集相關聯。舉例言之，若區塊預測模式載明一區塊為內-預測，則一區塊之編碼參數可額外地包括內-預測模式，但未載明如何產生跨-預測信號之編碼參數諸如參考指數及移動參數；或若區塊預測模式載明跨-預測，則相關聯之編碼參數可額外地包括參考指數及移動參數，但未載明內-預測模式。

二或多個平面群組中之一者可在該位元串流內部編碼或指示作為一次平面群組。針對此一次平面群組之全部區塊，載明預測信號如何產生之編碼參數經傳輸而未參考同一圖像之其它平面群組。其餘平面群組係編碼為二次平面群組。針對二次平面群組之各區塊，傳輸一或多個語法元素，該語法元素傳訊載明該區塊如何預測之編碼參數是否從其它平面群組之共同定位區塊推定或預測，或針對該區塊是否傳輸此等編碼參數之一新集合。一或多個語 法元素中之一者可稱作為跨平面預測旗標或跨平面預測參數。若語法元素傳訊未推定或預測相對應編碼參數，則該區塊之相對應編碼參數之新集合在該位元串流內傳輸。若語法元素傳訊相對應編碼參數係經推定或預測，則決定在所謂之參考平面群組中之共同定位區塊。針對該區塊及參考平面群組之指定可以多種方式組配。一個實施例中，特定參考群組係針對各個二次平面群組指定；此種指定可為固定，或可於高階語法結構諸如參數集合、存取單元標頭、圖像標頭或截割片標頭中傳訊。

於第二實施例中，參考平面群組之指定係在位元串流內部編碼，及藉針對一區塊編碼的一個或多個語法元素傳訊來載明所選定之編碼參數是否經推定或預測或是否經分開編碼。

為了容易瞭解關聯跨平面預測及後文詳細說明實施例之前述可能，參考第11圖，示意地顯示由三個樣本陣列502、504及506所組成之一圖像。為求更容易瞭解，第11圖只顯示樣本陣列502-506之子部。樣本陣列顯示為彷彿其於空間中彼此對齊，使得樣本陣列502-506彼此沿方向508重疊，樣本陣列502-506之樣本沿方向508突起結果導致全部樣本陣列502-506之樣本係彼此於空間正確定位。換言之，平面502及506係沿水平方向及垂直方向展開來彼此調整適應其空間解析度及彼此對齊。

依據一實施例，一圖像之全部樣本陣列屬於空間景象之同一部分，其中沿垂直方向及水平方向之解析度在 個別樣本陣列502-506間可不同。又，為了用於舉例說明目的，樣本陣列502及504被考慮屬於一個平面群組510，而樣本陣列506被考慮屬於另一個平面群組512。又，第11圖顯示實例情況，此處沿樣本陣列504之水平軸之空間解析度為於樣本陣列502之水平方向之解析度的兩倍。此外，樣本陣列504相對於樣本陣列502被視為形成一次陣列，樣本陣列502形成相關於一次陣列504之從屬陣列。如前文說明，此種情況下，如藉第1圖細分器30決定，樣本陣列504被細分成多個區塊係由從屬陣列502所採用，其中依據第11圖之實例，因樣本陣列502之垂直解析度為一次陣列504之垂直方向解析度之半，各個區塊已經對半平分成兩個水平並排區塊，當以樣本陣列502內部之樣本位置為單位測量時，各區塊由於對半故再度成為方形區塊。

如第11圖舉例說明，對樣本陣列506所選用之細分係與其它樣本群組510之細分不同。如前述，細分器30可與平面群組510之細分分開地或獨立無關地選擇像素陣列506之細分。當然，樣本陣列506之解析度可與平面群組510之平面502及504之解析度不同。

現在當編碼個別樣本陣列502-506時，編碼器10開始例如以前述方式編碼平面群組510之一次陣列504。第11圖所示區塊例如可為前述預測區塊。另外，區塊可為界定粒度用來定義某些編碼參數之殘差區塊或其它區塊。跨平面預測並未限於四叉樹或多元樹細分，但四叉樹或多元樹細分舉例說明於第11圖。

於一次陣列504之語法元素傳輸後，編碼器10可決定宣布一次陣列504為從屬平面502之參考平面。編碼器10及抽取器30分別可透過位元串流22傳訊此項決定，同時從樣本陣列504形成平面群組510之一次陣列之事實顯然易明其中關聯性，該資訊又轉而也可為位元串流22之一部分。總而言之針對在樣本陣列502內部之各區塊，插入器18或編碼器10之任何其它模組連同插入器18可決定是否遏止此區塊之編碼參數在位元串流內部之移轉，以及在位元串流內部傳訊及取而代之針對該區塊在位元串流內部傳訊將使用在一次陣列504內部之共同定位區塊的編碼參數替代；或決定在一次陣列504內部之共同定位區塊之編碼參數是否將用作為樣本陣列502之目前區塊之編碼參數的預測，而只移轉在位元串流內部針對該樣本陣列502之目前區塊之其殘差資料。於負面決策之情況下，編碼參數如常在資料串流內部移轉。針對各區塊決策係在資料串流22中傳訊。於解碼器端，抽取器102使用針對各區塊之此種跨平面預測資訊來據此獲得樣本陣列502之個別區塊之編碼參數，換言之，若跨平面採用/預測資訊提示跨平面採用/預測，則藉由推論一次陣列504之共同定位區塊之編碼參數，或另外從該資料串流抽取該區塊之殘差資料且將此殘差資料與得自一次陣列504之共同定位區塊之編碼參數之預測組合；或如常與一次陣列504獨立無關，抽取樣本陣列502之目前區塊之編碼參數。

也如前述，參考平面並非限於駐在跨平面預測目 前關注的該區塊所在相同位元平面。因此如前文說明，平面群組510表示一次平面群組或二次平面群組510之參考平面群組。此種情況下，位元串流可能含有一語法元素，該語法元素針對樣本陣列506之各區塊指示前述一次平面群組或參考平面群組510之任何平面502及504之共同定位巨集區塊的編碼參數之採用/預測是否應進行，於後述情況下，樣本陣列506之目前區塊之編碼參數係如常傳輸。

須注意針對在一平面群組內部之多個平面的細分/預測參數可相同，亦即由於其對一平面群組只編碼一次(一平面群組之全部二次平面係從同一個平面群組內部之一次平面推定細分資訊及/或預測參數)，細分資訊及/或預測參數之適應性預測或干擾係在多個平面群組間進行。

須注意參考平面群組可為一次平面群組或二次平面群組。

於一平面群組內部之不同平面區塊間的共同定位容易瞭解一次樣本陣列504之細分係由從屬樣本陣列502於空間採用，但前述區塊細分來使所採用之葉區塊變成方形區塊除外。於不同平面群組間跨平面採用/預測之情況下，共同定位可以一種方式定義，因而允許此等平面群組之細分間的更高自由度。給定該參考平面群組，決定在該參考平面群組內部之共同定位區塊。共同定位區塊及參考平面群組之導算可藉類似後文說明之方法進行。選定二次平面群組512之樣本陣列506中之一者在目前區塊516內部之特定樣本514。目前區塊516之左上樣本亦同，如第11圖 顯示於514用於舉例說明目的；或於目前區塊516之樣本接近目前區塊516中央或目前區塊內部之任何其它樣本，其幾何形狀經獨特定義。計算在參考平面群組510之樣本陣列502及504內部之此種選定樣本515之位置。樣本陣列502及504內部之樣本514位置於第11圖分別指示於518及520。參考平面群組510內實際上使用哪一個平面502及504可經預先決定或可在位元串流內部傳訊。決定在參考平面群組510之相對應樣本陣列502或504內部最接近位置518及520之樣本，含有此樣本之區塊被選用作為個別樣本陣列502及504內部的共同定位區塊。於第11圖之情況下，分別為區塊522及524。用來於其它平面決定共同定位區塊之替代辦法容後詳述。

於一實施例中，載明目前區塊516之預測之編碼參數係在相同圖像500之不同平面群組510內部使用共同定位區塊522/524之相對應預測參數完全推定而未傳輸額外側邊資訊。推定可包含單純拷貝相對應編碼參數，或編碼參數之調整適應將目前平面群組512與參考平面群組510間之差異列入考慮。舉個實例，此種調整適應可包含加入移動參數校正(例如位移向量校正)用來考慮亮度及彩度樣本陣列間之相位差；或調整適應可包含修改移動參數之精度(例如修改位移向量之精度)來考慮亮度及彩度樣本陣列之不同解析度。於額外實施例中，用來載明預測信號產生之一個或多個所推定之編碼參數並未直接用於目前區塊516，反而係用作為目前區塊516之相對應編碼參數之預 測，及目前區塊516之此等編碼參數之精製係於位元串流22傳輸。舉個實例，未直接使用推定的移動參數，反而載明移動參數間之偏差的移動參數差(諸如位移向量差)係用於目前區塊516，推定的移動參數係編碼於位元串流；於解碼器端，經由組合推定的移動參數及傳輸的移動參數差獲得實際使用的移動參數。

於另一實施例中，一區塊之細分，諸如前述預測細分成預測區塊之樹區塊(亦即使用相同預測參數集合之樣本區塊)係從根據第6a或6b圖相同圖像亦即位元序列之不同平面群組已經編碼的共同定位區塊而適應性地推定或預測。一個實施例中，二或多個平面群組中之一者係編碼為一次平面群組。針對此一次平面群組之全部區塊，傳輸細分參數而未推定同一圖像內的其它平面群組。其餘平面群組係編碼為二次平面群組。針對二次平面群組之區塊，傳輸一個或多個語法元素，傳訊細分資訊是否從其它平面群組之共同定位區塊推定或預測，或細分資訊是否於該位元串流傳輸。一或多個語法元素中之一者可稱作為跨平面預測旗標或跨平面預測參數。若語法元素傳訊未推定或預測細分資訊，則該區塊之細分資訊係在該位元串流傳輸而未述及同一個圖像的其它平面群組。若語法元素傳訊該細分資訊係經推定或預測，則決定在所謂的參考平面群組中之共同定位區塊。該區塊之參考平面群組之組態可以多種方式組配。於一個實施例中，一特定參考平面群組指定給各個二次平面群組；此項指定可為固定，或可於高階語法 結構傳訊作為參數集合、接取單元標頭、圖像標頭或截割片標頭。於第二實施例中，參考平面的指定係在位元串流內部編碼，及藉一個或多個語法元素傳訊，該等語法元素係針對一區塊編碼來載明細分資訊是否經推定或預測或分開編碼。參考平面群組可為一次平面群組或其它二次平面群組。給定參考平面群組，決定在該參考平面群組內部之共同定位區塊。共同定位區塊為對應於目前區塊之相同影像區的參考平面群組，或表示共享該影像區與目前區塊之最大部分的參考平面群組內部之區塊。共同定位區塊可被區分成更小型預測區塊。

於額外實施例中，目前區塊之細分資訊，諸如依據第6a或6b圖之基於四叉樹之細分資訊係使用在同一個平面之不同群組的共同定位區塊之細分資訊推定，而未傳輸額外側邊資訊。舉一個特定實例，若共同定位區塊被區分成2或4個預測區塊，則該目前區塊也區分成2或4個子區塊用以預測目的。至於另一特定實例，若共同定位區塊被區分成四個子區塊，且此等子區塊中之一者進一步區分成四個更小型子區塊，則目前區塊也被區分成四個子區塊及此等子區塊中之一者(對應於共同定位區塊之該子區塊進一步分解者)也被區分成四個更小型子區塊。於又一較佳實施例中，推定的細分資訊並未直接用於目前區塊，反而係用作為目前區塊之實際細分資訊的預測，相對應精製資訊係於位元串流傳輸。舉個實例，由共同定位區塊所推定之細分資訊可進一步精製。針對與共同定位區塊中未被區分成 更小型區塊之一子區塊相對應的各個子區塊，語法元素可於位元串流編碼，其載明子區塊是否在目前平面群組進一步分解。此種語法元素之傳輸可以子區塊的大小作為條件。或可於位元串流中傳訊在參考平面群組進一步區分之子區塊未在目前平面群組進一步區分成更小型區塊。

於又一實施例中，一區塊細分成預測區塊及編碼參數載明子區塊如何預測二者係從針對同一圖像之不同平面群組的已經編碼之共同定位區塊適應性推定或預測。於本發明之較佳實施例中，二或多個平面群組中之一者係編碼作為一次平面群組。針對此種一次平面群組之全部區塊，細分資訊之預測參數係未參考同一圖像的其它平面群組而傳輸。其餘平面群組編碼為二次平面群組。針對二次平面群組之區塊，傳輸一或多個語法元素，其傳訊細分資訊及預測參數是否從其它平面群組之共同定位區塊推定或預測；或細分資訊及預測參數是否在位元串流傳輸。一或多個語法元素中之一者可稱作為跨平面預測旗標或跨平面預測參數。若語法元素傳訊細分資訊及預測參數係未經推定或預測，則該區塊之細分資訊及結果所得子區塊之預測參數係於該位元串流傳輸而未述及相同圖像的其它平面群組。若語法元素傳訊針對該子區塊之細分資訊及預測參數係經推定或預測，則決定該所謂的參考平面群組中之共同定位區塊。針對該區塊之參考平面群組的指定可以多種方式組配。於一個實施例中，一特定參考平面群組指派給各個二次平面群組；此種指派可為固定或可於高階語法結構 諸如參數集合、接取單元標頭、圖像標頭或截割片標頭傳訊。於第二實施例中，參考平面群組之指派係在位元串流內部編碼，及藉針對一區塊編碼之一或多個語法元素傳訊來載明細分資訊及預測參數是否經推定或預測或分開編碼。參考平面群組可為一次平面群組或其它二次平面群組。給定參考平面群組，決定在該參考平面群組內部的共同定位區塊。該共同定位區塊可以是在參考平面群組中與目前區塊的相同影像區相對應之區塊，或表示在該參考平面群組內部於該目前區塊共享最大部分影像區之區塊之該區塊。共同定位區塊可劃分成更小型預測區塊。於較佳實施例中，針對該目前區塊之細分資訊以及所得子區塊之預測參數係使用在相同圖像之不同平面群組中共同定位區塊之細分資訊及相對應子區塊之預測參數，而未傳輸額外側邊資訊。至於特定實例，若共同定位區塊被分割成2或4個預測區塊，則目前區塊也分割成2或4個子區塊用於預測目的，及針對目前區塊之子區塊的預測參數係如前述導算。舉另一個特定實例，若共同定位區塊被分割成四個子區塊，且此等子區塊中之一者被進一步分割成四個更小型子區塊，則目前區塊也分割成四個子區塊，且此等子區塊中之一者(與共同定位區塊被進一步分解之該子區塊相對應者)也分割成四個更小型子區塊，全部但未進一步區分的子區塊之預測參數係如前文說明推定。於又一較佳實施例中，細分資訊完全係基於在參考平面群組中之共同定位區塊的細分資訊推定，但該等子區塊推定之預測參數只用作 為子區塊之實際預測參數之預測。實際預測參數與推定預測參數間之導算係在位元串流編碼。於又一實施例中，推定之細分資訊係用作為目前區塊之實際細分資訊的預測，差異係在位元串流(如前述)中傳輸，但預測參數完全經推定。於另一個實施例中，推定的細分資訊及推定的預測參數二者係用作為預測，而實際細分資訊與預測參數間之差及其推定值係在位元串流傳輸。

於另一實施例中，針對一平面群組之一區塊，適應性選擇殘差編碼模式(諸如變換類型)是否針對相同圖像從不同平面群組之已經編碼共同定位區塊推定或預測，或殘差編碼模式是否針對該區塊分開編碼。此一實施例係類似於前述針對預測參數之適應性推定/預測之實施例。

於另一實施例中，一區塊(例如一預測區塊)之細分成變換區塊(亦即施加二維變換之樣本區塊)係從針對同一圖像之不同平面群組的已經編碼之共同定位區塊適應性推定或預測。本實施例係類似前述細分成預測區塊之適應性推定/預測之實施例。

於另一實施例中，一區塊細分成變換區塊及所得變換區塊之殘差編碼模式(例如變換類型)係從針對同一區塊之不同平面群組的已經編碼之共同定位區塊推定或預測。本實施例係類似前文細分成預測區塊之適應性推定/預測及針對所得預測區塊之預測參數之實施例。

於另一實施例中，一區塊細分成預測區塊、相關聯之預測參數、預測區塊之細分資訊、及針對該變換區塊 之殘差編碼模式係從針對同一圖像之不同平面群組已經編碼的共同定位區塊適應性推定或預測。本實施例表示前述實施例之組合。也可能只推定或預測所述編碼參數中之一部分。

如此，跨平面採用/預測可提高前述編碼效率。但藉跨平面採用/預測所得編碼效率增益也可在基於多元樹細分所使用的其它區塊細分取得，而與是否實施區塊合併獨立無關。

就跨平面適應/預測之前述實施例可應用於影像及視訊編碼器及解碼器，其將一圖像之彩色平面及(若存在)與該圖像相關聯之輔助樣本陣列分割成區塊及將此等區塊與編碼參數結合。用於各區塊，一編碼參數集合可含括在位元串流。例如，此等編碼參數可為描述在解碼器端一區塊如何預測和解碼之參數。至於特定實例，編碼參數可表示巨集區塊或區塊預測模式、細分資訊、內-預測模式、用於移動補償預測之參考指數、移動參數諸如位移向量、殘差編碼模式、變換係數等。與一圖像相關聯之不同樣本陣列可具有不同大小。

其次描述前文參考第1至8圖所述在基於樹之分割方案內部用於編碼參數加強傳訊之一方案。至於其它方案，亦即合併及跨平面採用/預測，加強傳訊方案(後文中常稱作為繼承)之效果及優點係與前述實施例獨立描述，但後述方案可與前述實施例中之任一者或單獨或組合式組合。

大致上，在一基於樹之分割方案的內部用來編碼 側邊資訊之改良編碼方案(稱作為繼承，說明如下)允許比較習知編碼參數處理獲得下列優點。

於習知影像及視訊編碼中，圖像或針對圖像之特定樣本陣列集合通常分解成多個區塊，該等區塊係與特定編碼參數相關聯。圖像通常係由多個樣本陣列組成。此外，圖像也可關聯額外輔助樣本陣列，其例如可載明透明資訊或深度對映圖。一圖像之樣本陣列(包括輔助樣本陣列)可分組成一或多個所謂的平面群組，此處各個平面群組係由一或多個樣本陣列組成。一圖像之平面群組可獨立編碼，或若該圖像係與多於一個平面群組相關聯，則一圖像之平面群組可從同一圖像之其它平面群組預測。各個平面群組通常分解成多個區塊。該等區塊(或樣本陣列之相對應區塊)係藉跨圖像預測或圖像內-預測而預測。區塊可具有不同大小且可為方形或矩形。一圖像分割成為多個區塊可藉語法固定，或可(至少部分)在位元串流內部傳訊。經常傳輸的語法元素傳訊具有預定大小區塊之細分。此等語法元素可載明一區塊是否細分及如何細分成更小型區塊，且與編碼參數關聯用於例如預測目的。針對一區塊的全部樣本(或相對應樣本陣列之區塊)，相關聯編碼參數之解碼係以預定方式載明。於該實例中，一區塊的全部樣本係使用預測參數之同一集合預測，諸如參考指數(識別在已經編碼圖像集合中之一參考圖像)、移動參數(載明一參考圖像與目前圖像間之一區塊移動之測量)、載明內插濾波器之參數、內-預測模式等。移動參數可以具有水平成分及垂直成分之位移向量表 示，或以更高階移動參數諸如六個成分所組成之仿射移動參數表示。可能有多於一個特定預測參數集合(諸如參考指數及移動參數)係與單一區塊相關聯。該種情況下，針對特定預測參數之各集合，產生針對該區塊(或樣本陣列之相對應區塊)之單一中間預測信號，最終預測信號係藉包括重疊中間預測信號之組合建立。相對應加權參數及可能也常數偏移(加至該加權和)可針對一圖像或一參考圖像或一參考圖像集合而固定；或可含括在針對相對應區塊之預測參數集合中。原先區塊(或相對應樣本陣列區塊)與其預測信號間之差也稱作為殘差信號通常經變換及量化。經常施加二維變換至殘差信號(或殘差區塊之相對應樣本陣列)。用於變換編碼，已經使用特定預測參數集合之區塊(或相對應樣本陣列區塊)可在施加變換之前進一步分割。變換區塊可等於或小於用於預測之區塊。也可能一變換區塊包括用於預測之區塊中之多於一者。不同變換區塊可具有不同大小，變換區塊可表示方形區塊或矩形區塊。於變換後，所得變換係數經量化，及獲得所謂之變換係數層次。變換係數層次以及預測參數及(若存在)細分資訊係經熵編碼。

於若干影像及視訊編碼標準中，藉語法提供將一圖像(或一平面群組)細分成多個區塊的可能性極為有限。通常只載明是否(以及可能地如何)具預定大小之區塊可細分成更小型區塊。舉例言之，於H.264之最大型區塊為16x16。16x16區塊也稱作為巨集區塊，於第一步驟各圖像分割成為巨集區塊。針對各個16x16巨集區塊，可傳訊是否編碼成 16x16區塊，或編碼成兩個16x8區塊，或兩個8x16區塊，或四個8x8區塊。若一個16x16區塊細分成四個8x8區塊，則此等8x8區塊各自可編碼成一個8x8區塊，或兩個8x4區塊，或兩個4x8區塊或四個4x4區塊。在最先進影像及視訊編碼標準中載明細分成為多個區塊之可能性的最小集合具有用以傳訊細分資訊之側邊資訊率維持為小之優點，但具有傳輸針對該等區塊之預測參數所要求的位元率變顯著之缺點，容後詳述。用以傳訊預測參數之側邊資訊率通常確實表示一區塊之顯著量總位元率。及當此側邊資訊減少時，例如可使用較大型區塊大小達成時，可提高編碼效率。一視訊序列之實際影像或圖像係由具特定性質之任意形狀物件組成。舉個實例，此等物件或物件部分係以獨特紋理或獨特移動為其特徵。通常相同預測參數集合可應用於此種物件或物件部分。但物件邊界通常並未重合大型預測區塊可能的區塊邊界(例如於H.264之16x16巨集區塊)。編碼器通常決定導致最小型特定率-失真成本測量值之細分(於有限可能性集合中)。針對任意形狀物件，如此可導致大量小型區塊。且因此等小型區塊係與須傳輸之一預測參數集合相關聯，故側邊資訊率變成總位元率之顯著部分。但因若干小型區塊仍然表示相同物件或物件部分之區，多個所得區塊之預測參數為相同或極為相似。直覺上，當語法係以一種方式擴充，其不僅允許細分一區塊，同時也在細分後所得多個區塊間共享編碼參數時可提高編碼效率。於基於樹之細分中，藉由以基於樹之階層式關係指定編碼參數或其部 分給一個或多個親代節點，可達成針對一給定區塊集合的編碼參數之共享。結果，共享參數或其部分可用來減少針對細分後所得區塊傳訊編碼參數實際選擇所需的側邊資訊。減少可藉刪除隨後區塊之參數之傳訊而達成，或可藉針對隨後區塊之參數的預測模型化及/或脈絡模型化之共享參數而達成。

後述繼承方案之基本構想係藉由沿該等區塊之基於樹的階層關係共享資訊，來減少傳輸編碼資訊所需的位元率。共享資訊係在位元串流內部傳訊(除細分資訊之外)。繼承方案之優點為針對編碼參數由減低側邊資訊率結果導致編碼效率增高。

為了減少側邊資訊率，根據後述實施例，針對特定樣本集合之個別編碼參數，亦即單純連結區，其可表示多元樹細分之矩形區塊或方形區塊或任意形狀區或任何其它樣本集合係以有效方式在資料串流內部傳訊。後述繼承方案允許編碼參數無須針對樣本集合中之各個樣本集合明確地含括在位元串流。編碼參數可表示預測參數，其載明對應樣本集合係使用已編碼樣本預測。多項可能及實例已經如前文說明確實也適用於此處。如前文已述，及容後詳述，有關下列幾種方案，一圖像之樣本陣列基於樹狀劃分成為多個樣本集合可藉語法固定，或可藉在位元串流內部之相對應細分資訊傳訊。如前述，針對樣本集合之編碼參數可以預先界定之順序傳輸，該順序係藉語法而給定。

依據繼承方案，解碼器或解碼器之抽取器102係 組配來以特定方式導算出個別單純連結區或樣本集合之編碼參數。特定言之，編碼參數或其部分諸如用於預測目的之參數係沿該給定基於樹之分割方案而在各區塊間共享，沿該樹狀結構之共享群組分別係由編碼器或插入器18決定。於一特定實施例中，分割樹之一給定內部節點之全部子代節點之編碼參數的共享係使用特定二進制值共享旗標指示。至於替代之道，針對各節點可傳輸編碼參數之精製，使得沿基於樹之區塊的階層式關係，參數之累積精製可應用至在一給定頁節點之該區塊的全部樣本集合。於另一實施例中，沿基於樹之該等區塊階層關係傳輸用於內部節點之編碼參數部分可用於在一給定葉節點針對該區塊之編碼參數或其部分之脈絡適應性熵編碼及解碼。

第12a及12b圖顯示使用基於四叉樹分割之特例的繼承之基本構想。但如前文指示數次，其它多元樹細分方案也可使用。該樹狀結構係顯示於第12a圖，而與第12a圖之樹狀結構相對應之空間分割係顯示於第12b圖。其中所示分割係類似就第3a至3c圖所示。概略言之，繼承方案將允許側邊資訊指派給在該樹結構內部之不同非葉層的節點。依據側邊資訊指派給在該樹之不同層的節點，諸如第12a圖之樹之內部節點或其根節點，在第12b圖所示區塊之樹階層式關係中可達成不同程度之共享側邊資訊。若決定在層4之全部葉節點，於第12a圖之情況下全部具有相同親代節點，虛擬地共享側邊資訊，虛擬上，如此表示第12b圖中以156a至156d指示的最小型區塊共享此側邊資訊，而不 再需要針對全部此等小型區塊156a至156d完整傳輸側邊資訊，亦即傳輸四次，但如此維持為編碼器之選項。也可能決定第12a圖之階層式層次1(層2)的全區，亦即在樹區塊150右上角之四分之一部分包括子區塊154a、154b及154d及前述又更小型子區塊156a至156d，係用作為其中共享編碼參數之區。如此，增加共享側邊資訊之區。下一個增加層次為加總層1的全部子區塊，亦即子區塊152a、152c及152d及前述更小型區塊。換言之，此種情況下，整個樹區塊具有指派給該區塊之側邊資訊，此樹區塊150之全部子區塊共享側邊資訊。

於後文繼承說明中，下列註記係用來描述該等實施例：

a.目前葉節點之重建樣本：r

b.相鄰葉之重建樣本：r’

c.目前葉節點之預測器：p

d.目前葉節點之殘差：Res

e.目前葉節點之重建殘差：RecRes

f.定標及反變換：SIT

g.共享旗標：f

至於繼承之第一實例，可描述在內部節點之內-預測傳訊。更精確言之，描述如何傳訊在基於樹區塊之內部節點劃分用之內-預測模式用以預測目的。藉由從樹的根節點通過至葉節點，內部節點(包括根節點)可傳遞部分側邊資訊，該等資訊將由其相對應之子代節點探討。更明確言 之，共享旗標f係針對內部節點發射而具有下列意義：

˙若f具有數值1(「真」)，則該給定內部節點的全部子代節點共享相同內-預測模式。除了共享具有數值1之旗標f之外，內部節點也傳訊內-預測模式參數來由全部子代節點使用。結果，全部隨後子代節點並未攜帶任何預測模式資訊及任何共享旗標。為了重建全部相關葉節點，解碼器從相對應內部節點施加內-預測模式。

˙若f具有數值0(「偽」)，則相對應內部節點之子代節點並未共享相同內-預測模式，屬於內部節點之各個子代節點攜帶一分開共享旗標。

第12c圖顯示前述於內部節點之內-預測傳訊。於層1之內部節點傳遞由內-預測模式資訊所給定的共享旗標及側邊資訊，及子代節點並未攜帶任何側邊資訊。

至於第二繼承實例，可描述跨-預測精製。更明確言之，描述如何在基於樹之區塊分割內部模式，傳訊跨-預測模式之側邊資訊用於例如藉移動向量所給定之移動參數的精製目的。藉由從樹的根節點通過至葉節點，內部節點(包括根節點)可傳遞部分側邊資訊，該等資訊將由其相對應之子代節點探討。更明確言之，共享旗標f係針對內部節點發射而具有下列意義：

˙若f具有數值1(「真」)，則該給定內部節點之全部子代節點共享相同移動向量參考。除了共享具有數值1之旗標f外，內部節點也傳訊移動向量及參考指數。結果全部隨後子代節點未攜帶額外共享旗標，反而可攜帶此一繼承的 移動向量參考之精製。用於全部相關葉節點之重建目的，解碼器在該給定葉節點加移動向量精製給屬於其相對應內部親代節點具有共享旗標f之數值1的繼承的移動向量參考值。如此表示在一給定葉節點之移動向量精製為欲施加至自此葉節點用於移動補償預測的實際移動向量與其相對應內部親代節點之移動向量參考值間之差。

˙若f具有數值0(「偽」)，則相對應內部節點之子代節點並未必然共享相同跨-預測模式，以及在該等子代節點並未藉由使用得自相對應內部節點之移動參數而進行移動參數之精製，屬於內部節點之各個子代節點攜帶一分開共享旗標。

第12d圖顯示前述移動參數精製。層1之內部節點係傳遞共享旗標及側邊資訊。屬於葉節點之子代節點只攜帶移動參數精製，例如層2的內部子代節點未攜帶側邊資訊。

現在參考第13圖。第13圖顯示流程圖，例示說明解碼器諸如第2圖之解碼器用於從資料串流重建表示空間實例資訊信號之一資訊樣本陣列(其藉多元樹細分而細分成不同大小的葉區)之操作模式。如前述，各葉區具有選自於多元樹細分之一系列階層式層級中之一個階層式層級。例如，第12b圖所示全部區塊皆為葉區。葉區156c例如係與階層式層級4(或層級3)相關聯。各葉區具有與其相關聯之編碼參數。此等編碼參數之實例已經說明如前。針對各葉區，編碼參數係以一個別語法元素集合表示。各個語法元素為 選自於一語法元素類型集合中之一個個別語法元素類型。各語法元素類型例如為預測模式、移動向量成分、內-預測模式之指示等。依據第13圖，解碼器進行下列步驟。

於步驟550，繼承資訊係抽取自資料串流。於第2圖之情況下，抽取器102係負責步驟550。繼承資訊指示繼承是否用於目前資訊樣本陣列。後文描述將顯示繼承資訊有若干可能，諸如共享旗標f及多元樹結構劃分成一次部分及二次部分的傳訊。

資訊樣本陣列已經構成一圖像之一子部分，諸如樹區塊，例如第12b圖之樹區塊150。如此繼承資訊指示針對特定樹區塊150是否使用繼承。此種繼承資訊例如可針對全部預測細分之樹區塊而插入資料串流。

又，若指示使用繼承，則繼承資訊指示由一葉區集合所組成的且對應於多元樹細分之該階層式層級序列之一階層式層級的該資訊樣本陣列之至少一個繼承區係低於該葉區集合相關聯之各個階層式層級。換言之，繼承資訊指示針對目前樣本陣列諸如樹區塊150是否使用繼承。若為是，表示此樹區塊150之至少一個繼承區或子區內部的葉區共享編碼參數。如此，繼承區可能非為葉區。於第12b圖之實例中，繼承區例如可為由子區塊156a至156b所形成之區。另外，繼承區可更大，也額外涵蓋子區塊154a、b及d，及甚至另外，繼承區可為樹區塊150本身，其全部葉區塊共享與該繼承區相關聯之編碼參數。

但須注意，在一個樣本陣列或樹區塊150內部可 界定多於一個繼承區。例如假設左下子區塊152c也分割成更小型區塊。此種情況下，子區塊152c可形成一繼承區。

於步驟552，檢查繼承資訊，是否使用繼承。若為是，第13圖之處理程序前進至步驟554，此處相對於每個跨繼承區，包括預定語法元素類型之至少一個語法元素的繼承子集係從資料串流抽取出。隨後步驟556中，然後此繼承子集拷貝入在該語法元素集合內部之一相對應語法元素繼承子集，或用作為該繼承子集之預測，該繼承子集表示至少一個繼承區之葉區集合組成相關聯的編碼參數。換言之，針對在該繼承資訊內部指示的各個繼承區，資料串流包含語法元素之繼承子集。又換言之，繼承係有關可資利用於繼承之至少某一個語法元素類型或語法元素類別。舉例言之，預測模式或跨-預測模式或內-預測模式語法元素可接受繼承。例如針對繼承區在該資料串流內部所含的繼承子集可包括跨-預測模式語法元素。繼承子集也包含額外語法元素，其語法元素類型係取決於與該繼承方案相關聯之前述固定式語法元素類型之值。舉例言之，於跨-預測模式為繼承子集之固定式成分之情況下，定義移動補償之語法元素諸如移動向量成分可藉語法而可含括或可未含括於該繼承子集。例如假設樹區塊150之右上四分之一，亦即子區塊152b為繼承區，則單獨跨-預測模式可指示用於本繼承區，或連同移動向量及移動向量指標而用於跨-預測模式。

含在繼承子集之全部語法元素係拷貝入在該繼承區內部之葉區塊亦即葉區塊154a、b、d及156a至156d之 相對應編碼參數，或用作為其預測。於使用預測之情況下，針對個別葉區塊傳輸殘差。

針對葉區塊150傳輸繼承資訊之一項可能性為前述共享旗標f之傳輸。於步驟550，繼承資訊之抽取於本例中包含後述。更明確言之，解碼器可經組配來使用從較低階層式層級至較高階層式層級之階層式層級順序，針對與該多元樹細分之至少一個階層式層級之任何繼承集合相對應之非葉區，抽取及檢查得自該資料串流之共享旗標f，有關是否個別繼承旗標或共享旗標載明繼承與否。舉例言之，階層式層級之繼承集合可藉第12a圖之階層式層1至層3形成。如此，針對非屬葉節點且係位在於任何層1至層3之子樹結構之任何節點，可具有在該資料串流內部與其相關聯之一共享旗標。解碼器係以從層1至層3之順序諸如於深度優先或寬度優先遍歷順序抽取此等共享旗標。一旦共享旗標中之一者等於1，則解碼器知曉含在相對應繼承區之葉區塊共享該繼承子集，隨後接著於步驟554之抽取。針對目前節點之子代節點，不再需要繼承旗標之檢查。換言之，此等子代節點之繼承旗標並未在資料串流內部傳輸，原因在於顯然此等節點區已經屬於其中語法元素之繼承子集為共享之該繼承區。

共享旗標f可以前述傳訊四叉樹細分之位元交叉。例如，包括細分旗標及共享旗標二者之交叉位元序列可為：10001101(0000)000, 其為第6a圖所示之相同細分資訊，具有二散置的共享旗標，該等旗標藉下方畫線強調來指示第3c圖中在樹區塊150左下四分之一之子區塊共享編碼參數。

定義指示繼承區之繼承資訊之另一種方式係使用彼此以從屬方式定義之二細分，如前文分別參考預測細分及殘差細分之解釋。概略言之，一次細分之葉區塊可形成該繼承區，該繼承區界定其中語法元素之繼承子集為共享之區；而從屬細分定義此等繼承區內部之區塊，針對該等區塊語法元素之繼承子集係經拷貝或用作為預測。

例如考慮殘差樹作為預測樹的延伸。進一步考慮預測區塊可進一步分割成更小型區塊用於殘差編碼目的。針對與預測相關四叉樹之葉節點相對應之各預測區塊，用於殘差編碼之相對應細分係由一個或多個從屬四叉樹決定。

此種情況下，替代在內部節點使用任何預測參數，發明人考慮殘差樹係以下述方式解譯，殘差樹也載明預測樹之精製表示使用恆定預測模式(藉預測相關樹之相對應葉節點傳訊)但具有經過精製之參考樣本。後述實例舉例說明此種情況。

例如，第14a及14b圖顯示用於內-預測之四叉樹分割，鄰近參考樣本係針對一次細分之一個特定葉節點強調，而第14b圖顯示相同預測葉節點之殘差四叉樹細分帶有已精製的參考樣本。第14b圖所示全部子區塊針對在第14a圖強調之個別葉區塊共享含在資料串流內部之相同內-預 測參數。如此，第14a圖顯示習知用於內-預測之四叉樹分割實例，此處顯示一個特定葉節點之參考樣本。但於發明人之較佳實施例中，經由使用在殘差樹中已經重建的葉節點之鄰近樣本，諸如第14b圖之灰色影線條文指示，針對殘差樹中各個葉節點計算一分開內-預測信號。然後藉將量化殘差編碼信號加至此預測信號而以尋常方式獲得一給定殘差葉節點之重建信號。然後此重建信號用作為隨後預測程序之參考信號。注意用於預測之解碼順序係與殘差解碼順序相同。

如第15圖所示，於解碼程序中，針對各殘差葉節點，經由使用參考樣本r’依據實際內-預測模式(藉預測相關四叉樹葉節點指示)，計算預測信號p。

於SIT處理程序後，RecRes=SIT(Res)

計算重建的信號r及儲存用於下一個預測計算程序：r=RecRes+p用於預測之解碼程序係與第16圖所示殘差解碼順序相同。

各個殘差葉節點係如前段所述解碼。重建信號r係儲存於緩衝器，如第16圖所示。本緩衝器中，參考樣本r’將取用於下次預測及解碼程序。

於已經就第1至16圖以前文摘述之各構面之組合式分開子集描述特定實施例後，將描述本案之額外實施例，關注焦點係集中在前述某些構面，但實施例表示前述若干實施例之普及化。特定言之，有關第1及2圖之架構的 前述實施例主要組合本案之多個構面，也可優異地採用在其它應用用途或其它編碼領域。如前文經常述及，例如多元樹細分可未經合併及/或未經跨平面採用/預測及/或無繼承而使用。舉例言之，最大區塊大小之傳輸、深度優先遍歷順序之使用、依據個別細分旗標之階層式層級之脈絡適應、及在位元串流內部最大階層式層級之傳輸來節省側邊資訊位元率，全部此等構面皆優異但彼此獨立無關。當考慮繼承方案時此點亦為真。編碼參數之繼承之優點為與確切使用之多元樹細分獨立無關來將一圖像細分成單純連結區，及優點係與多於一個樣本陣列的存在或跨平面採用/預測的使用獨立無關。同理，也適用於涉及跨平面採用/預測及繼承之優點。

據此，普及化該等實施例，使用前文摘述繼承方案之編碼方案並未限於混成編碼環境。換言之，可未經預測而進行重建。繼承的編碼參數可與其它編碼參數諸如濾波細節指示等有關。如前述，資訊樣本陣列被細分成的單純連結區可植基於四叉樹細分且可為方形或矩形形狀。又，用來細分樣本陣列之特定描述之實施例僅為特定實施例，也可使用其它細分。若干可能顯示於第17a及b圖。例如第17a圖顯示一樣本陣列606細分成彼此毗連的非重疊樹區塊606之規則二維排列，其中部分係依據多元樹結構而細分成具有不同大小之子區塊610。如前述，雖然四叉樹細分係舉例說明於第17a圖，但各親代節點也可能分割成任何其它的子代節點數目。第17b圖顯示藉將多元樹細分直接應用 至整個像素陣列606而將樣本陣列606細分成不同大小的子區塊之實施例。換言之，整個像素陣列606被視為該樹區塊處理。第17a及17b圖之細分皆導致樣本陣列606細分成單純連結區，依據第17a及17b圖之實施例，該等區為非重疊。但若干替代之道為可能。舉例言之，區塊可彼此重疊。但重疊可限制為下述程度：各區塊有一部分非與任何鄰近區塊重疊，或各區塊樣本至多重疊沿預定方向與目前區塊並排排列之鄰近區塊中之一個區塊。後述情況將表示左及右鄰近區塊可重疊目前區塊，因而全然覆蓋目前區塊，但其彼此並未重疊；同理，適用於垂直方向及對角線方向之鄰近區塊。

如前文參考第1至16圖所述，資訊樣本陣列並未必然表示一視訊圖像或一靜像。樣本陣列也可表示某些景物之深度對映圖或透明對映圖。

編碼參數及繼承資訊之決定可為迭代重複程序。舉例言之，若先前初步預備，就率/失真意義而言，鄰近單純連結區之最佳化決定編碼參數屬於先前初步預備，同理，就率/失真意義而言，最佳化決定親代區，當考慮繼承允許完全遏止全部此等單純連結區之編碼參數的明確傳輸，以及藉只遞交殘差或藉單純傳輸共享編碼參數，完全置換此等編碼參數之遞交。

雖然已經就裝置脈絡說明數個構面，但顯然此等構面也表示相對應方法之說明，此處一區塊或一裝置係對應於一方法步驟或一方法步驟特徵。同理，於方法步驟脈 絡中所描述之構面也表示對應區塊或項目或對應裝置之特徵的描述。部分或全部方法步驟可藉(或使用)硬體裝置，例如微處理器、可規劃電腦或電子電路執行。於若干實施例中，最重要方法步驟中之某一者或某多個可藉此種裝置執行。

本發明之編碼/壓縮信號可儲存在數位儲存媒體上，或可在傳輸媒體諸如無線傳輸媒體或有線傳輸媒體諸如網際網路傳輸。

依據若干具體實現要求，本發明之實施例可於硬體或軟體具體實現。具體實現可使用數位儲存媒體執行，例如軟碟、DVD、藍光碟、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，其上儲存可電子式讀取之控制信號，其係與可規劃電腦系統協力合作(或可協力合作)因而執行個別方法。因此，數位儲存媒體可為電腦可讀取。

依據本發明之若干實施例包含具有可電子式讀取控制信號之資料載體，其可與可規劃電腦系統協力合作因而執行此處所述方法中之一者。

一般而言，本發明之實施例可實施為具有程式碼之一種電腦程式產品，該程式碼可操作用來當電腦程式產品在電腦上跑時執行該等方法中之一者。程式碼例如可儲存在機器可讀取載體上。

其它實施例包含儲存在機器可讀取載體上之用來執行此處所述方法中之一者之電腦程式。

換言之，因此，本發明方法之實施例為一種電腦 程式，該電腦程式具有程式碼用來當該電腦程式在電腦上跑時執行此處所述方法中之一者。

因此本發明之又一實施例為一種資料載體(或數位儲存媒體或電腦可讀取媒體)包含於其上紀錄用來執行此處所述方法中之一者之電腦程式。

因此本發明方法之又一實施例為表示用來執行此處所述方法中之一者之電腦程式之資料串流或信號序列。該資料串流或信號序列例如係組配來透過資料通訊連結，例如透過網際網路傳輸。

又一實施例例如包含一種處理手段，例如電腦或可程式邏輯裝置，其係組配來或調適來執行此處所述方法中之一者。

又一實施例包含其上安裝有用以執行此處所述方法中之一者之電腦程式之電腦。

於若干實施例中，可規劃邏輯裝置(例如場可規劃閘陣列)可用來執行此處所述方法之部分或全部功能。於若干實施例中，場可規劃閘陣列可與微處理器協力合作來執行此處所述方法中之一者。概略言之，該等方法較佳係藉任一種硬體裝置執行。

前述實施例僅用於舉例說明本發明之原理。須瞭解此處所述配置之細節之修改及變化為熟諳技藝人士顯然易知。因此意圖僅受隨附之申請專利範圍之範圍所限而非受用於舉例說明此處實施例之特定細節所限。

Claims (29)

1. 一種用以從資料串流重建表示空間取樣資訊信號之資訊樣本陣列之解碼器，該資訊樣本陣列係藉多元樹細分而被細分成不同大小的葉區之多元樹結構，其中該多元樹結構被分成以一彼此從屬方式定義的一一次細分及一從屬細分，使得該一次細分之一樹根區塊被細分成該一次細分之多個葉區塊，該等葉區塊轉而形成該從屬細分的該等樹根區塊，進一步細分成該多元樹結構的葉區，該多元樹結構的各葉區係與該多元樹細分之一序列階層式層級中之一階層式層級相關聯，該多元樹結構的各葉區具有與其相關聯之多個編碼參數，針對各葉區，該等編碼參數係藉一個別語法元素集合表示，各個語法元素係屬一語法元素類型集合中之一個別語法元素類型，且該解碼器包含：用來從該資料串流抽取該多元樹結構的一抽取器，以從該資料串流獲得一繼承資訊，該繼承資訊指示是否使用繼承，且若指示欲使用繼承，則該資訊樣本陣列中由該多元樹結構的一葉區集合所組成之至少一個繼承區，係對應於該多元樹細分之該序列階層式層級中之一階層式層級，該繼承區係低於該多元樹結構的該葉區集合相關聯之該等階層式層級中之各者，且係由該一次細分之葉區所形成；其中該抽取器係進一步組配來從每個繼承區之資 料串流抽取包括一預定語法元素類型之至少一個語法元素之一繼承子集，其中該預定語法元素類型之該至少一個語法元素為一內-預測模式語法元素，其中該解碼器係組配來：針對組成該個別繼承區之該多元樹結構的各該葉區以一殘差解碼順序來解碼一殘差信號，將該繼承子集拷貝入該語法元素集合內部表示與該多元樹結構之該葉區集合相關聯之編碼參數之語法元素之一相對應繼承子集，該個別之至少一個繼承區係由該葉區集合所組成，及針對組成該個別繼承區之該多元樹結構的各個該等葉區，以該殘差解碼順序，根據藉由該內-預測模式語法元素指示之一內-預測模式，藉由使用該多元樹結構的已重建葉區之一重建信號的鄰近樣本作為一參考信號，來計算一分開的內預測信號，並藉由相加該內預測信號及該殘差信號來重建該多元樹結構之該個別葉區。
2. 如請求項1之解碼器，其中該空間取樣資訊信號係一序列的圖像，其中各個圖像於每個圖框包含一亮度樣本陣列連同二彩度樣本陣列，其中用於相對於該亮度樣本陣列的該等彩度樣本陣列的空間解析度之一在水平方向的定標因數，係不同於用於空間解析度之一在垂直方向的定標因數。
3. 如請求項1之解碼器，其中該資訊樣本陣列係相關於不 同顏色成分並形成一圖像之多個彩色平面的其中之一樣本陣列，且該解碼器係組配來獨立解碼該圖像之該等不同彩色平面。
4. 如請求項1之解碼器，其中該空間取樣資訊信號係伴隨有深度資訊的一視訊。
5. 一種用以從資料串流重建表示空間取樣資訊信號之資訊樣本陣列之方法，該資訊樣本陣列係藉多元樹細分而被細分成不同大小的葉區之多元樹結構，其中該多元樹結構被分成以一彼此從屬方式定義的一一次細分及一從屬細分，使得該一次細分之一樹根區塊被細分成該一次細分之葉區塊，該等葉區塊轉而形成該從屬細分的該等樹根區塊，進一步細分成該多元樹結構的葉區，該多元樹結構的各葉區係與該多元樹細分之一序列階層式層級中之一階層式層級相關聯，該多元樹結構的各葉區具有與其相關聯之編碼參數，針對各葉區，該等編碼參數係藉一個別語法元素集合表示，各個語法元素係屬一語法元素類型集合中之一個別語法元素類型，且該方法包含：從該資料串流抽取該多元樹結構，以從該資料串流獲得一繼承資訊，該繼承資訊指示是否使用繼承，且若指示欲使用繼承，則該資訊樣本陣列中之至少一個繼承區，其係由該多元樹結構的一葉區集合所組成，對應於該多元樹細分之該序列階層式層級中之一階層式層級，該繼承區係低於該多元樹結構的該葉區集合相關聯 之該等階層式層級中之各者，且係由該一次細分之葉區所形成；從每個繼承區之資料串流抽取包括一預定語法元素類型之至少一個語法元素之一繼承子集，其中該預定語法元素類型之該至少一個語法元素為一內-預測模式語法元素，針對組成該個別繼承區之該多元樹結構的各該葉區以一殘差解碼順序來解碼一殘差信號，將該繼承子集拷貝入該語法元素集合內部表示與該多元樹結構之該葉區集合相關聯之編碼參數之語法元素之一相對應繼承子集，該個別之至少一個繼承區係由該葉區集合所組成，及針對組成該個別繼承區之該多元樹結構的各個該等葉區，以該殘差解碼順序，根據藉由該內-預測模式語法元素指示之一內-預測模式，藉由使用該多元樹結構的已重建葉區之一重建信號的鄰近樣本作為一參考信號，來計算一分開的內預測信號，並藉由相加該內預測信號及該殘差信號來重建該多元樹結構之該個別葉區。
6. 如請求項5之方法，其中該空間取樣資訊信號係一序列的圖像，其中各個圖像於每個圖框包含一亮度樣本陣列連同二彩度樣本陣列，其中用於相對於該亮度樣本陣列的該等彩度樣本陣列的空間解析度之一在水平方向的定標因數，係不同於用於空間解析度之一在垂直方向定 標因數。
7. 如請求項5之方法，其中該資訊樣本陣列係相關於不同顏色成分並形成一圖像之多個彩色平面的其中之一樣本陣列，且該方法包含獨立解碼該圖像之該等不同彩色平面。
8. 如請求項5之方法，其中該空間取樣資訊信號係伴隨有深度資訊的一視訊。
9. 一種用以將表示空間取樣資訊信號之資訊樣本陣列編碼成資料串流之編碼器，該資訊樣本陣列係藉多元樹細分而被細分成不同大小的葉區之多元樹結構，其中該多元樹結構被分成以一彼此從屬方式定義的一一次細分及一從屬細分，使得該一次細分之一樹根區塊被細分成該一次細分之多個葉區塊，該等葉區塊轉而形成該從屬細分的該等樹根區塊，進一步細分成該多元樹結構的葉區，該多元樹結構的各葉區係與該多元樹細分之一序列階層式層級中之一階層式層級相關聯，該多元樹結構的各葉區具有與其相關聯之多個編碼參數，針對各葉區，該等編碼參數係藉一個別語法元素集合表示，各個語法元素係屬一語法元素類型集合中之一個別語法元素類型，且該編碼器包含：用來將該多元樹結構插入該資料串流的一插入器，以將一繼承資訊插入該資料串流，該繼承資訊指示是否使用繼承，若指示欲使用繼承，則該資訊樣本陣列中由該多元樹結構的一葉區集合所組成之至少一個繼 承區，係對應於該多元樹細分之該序列階層式層級中之一階層式層級，該繼承區係低於該多元樹結構的該葉區集合相關聯之該等階層式層級中之各者，且係由該一次細分之葉區所形成；其中該插入器係進一步組配來將包括一預定語法元素類型之至少一個語法元素之一繼承子集插入每個繼承區之該資料串流，其中該預定語法元素類型之該至少一個語法元素為一內-預測模式語法元素，其中該編碼器係組配來：針對組成該個別繼承區之該多元樹結構的各該葉區以一殘差解碼順序來編碼一殘差信號，及將該繼承子集拷貝入該語法元素集合內部表示與該多元樹結構之該葉區集合相關聯之編碼參數之語法元素之一相對應繼承子集，該個別之至少一個繼承區係由該葉區集合所組成，及針對組成該個別繼承區之該多元樹結構的各個該等葉區，以該殘差解碼順序，根據藉由該內-預測模式語法元素指示之一內-預測模式，藉由使用該多元樹結構的已重建葉區之一重建信號的鄰近樣本作為一參考信號，來計算一分開的內預測信號，並藉由針對該多元樹結構之該個別葉區的重建將欲相加至該內預測信號之該殘差信號編碼成該資料串流來編碼該多元樹結構之該個別葉區。
10. 如請求項9之編碼器，其中該空間取樣資訊信號係一序 列的圖像，其中各個圖像於每個圖框包含一亮度樣本陣列連同二彩度樣本陣列，其中用於相對於該亮度樣本陣列的該等彩度樣本陣列的空間解析度之一在水平方向的定標因數，係不同於用於空間解析度之一在垂直方向的定標因數。
11. 如請求項9之編碼器，其中該資訊樣本陣列係相關於不同顏色成分並形成一圖像之多個彩色平面的其中之一樣本陣列，且該編碼器係組配來獨立編碼該圖像之該等不同彩色平面。
12. 如請求項9之編碼器，其中該空間取樣資訊信號係伴隨有深度資訊的一視訊。
13. 一種用以將表示空間取樣資訊信號之資訊樣本陣列編碼成資料串流之方法，該資訊樣本陣列係藉多元樹細分而被細分成不同大小的葉區之多元樹結構，其中該多元樹結構被分成以一彼此從屬方式定義的一一次細分及一從屬細分，使得該一次細分之一樹根區塊被細分成該一次細分之多個葉區塊，該等葉區塊轉而形成該從屬細分的該等樹根區塊，進一步細分成該多元樹結構的葉區，該多元樹結構的各葉區係與該多元樹細分之一序列階層式層級中之一階層式層級相關聯，該多元樹結構的各葉區具有與其相關聯之多個編碼參數，針對各葉區，該等編碼參數係藉一個別語法元素集合表示，各個語法元素係屬一語法元素類型集合中之一個別語法元素類型，且該方法包含： 將該多元樹結構插入該資料串流，以將一繼承資訊插入該資料串流，該繼承資訊指示是否使用繼承，且若指示欲使用繼承，則該資訊樣本陣列中由該多元樹結構的一葉區集合所組成之至少一個繼承區，係對應於該多元樹細分之該序列階層式層級中之一階層式層級，該繼承區係低於該多元樹結構的該葉區集合相關聯之該等階層式層級中之各者，且係由該一次細分之葉區所形成；其中該方法進一步包含將包括一預定語法元素類型之至少一個語法元素之一繼承子集插入每個繼承區之資料串流，其中該預定語法元素類型之該至少一個語法元素為一內-預測模式語法元素，其中該方法進一步包含針對組成該個別繼承區之該多元樹結構的各該葉區以一殘差解碼順序來編碼一殘差信號，及將該繼承子集拷貝入該語法元素集合內部表示與該多元樹結構之該葉區集合相關聯之編碼參數之語法元素之一相對應繼承子集，該個別之至少一個繼承區係由該葉區集合所組成，及針對組成該個別繼承區之該多元樹結構的各個該等葉區，以該殘差解碼順序，根據藉由該內-預測模式語法元素指示之一內-預測模式，藉由使用該多元樹結構的已重建葉區之一重建信號的鄰近樣本作為一參考信號，來計算一分開的內預測信號，並藉由針對該 多元樹結構之該個別葉區的重建將欲相加至該內預測信號之該殘差信號編碼成該資料串流來編碼該多元樹結構之該個別葉區。
14. 如請求項13之方法，其中該空間取樣資訊信號係一序列的圖像，其中各個圖像於每個圖框包含一亮度樣本陣列連同二彩度樣本陣列，其中用於相對於該亮度樣本陣列的該等彩度樣本陣列的空間解析度之一在水平方向的定標因數，係不同於用於空間解析度之一在垂直方向的定標因數。
15. 如請求項13之方法，其中該資訊樣本陣列係相關於不同顏色成分並形成一圖像之多個彩色平面的其中之一樣本陣列，且該方法包含獨立解碼該圖像之該等不同彩色平面。
16. 如請求項13之方法，其中該空間取樣資訊信號係伴隨有深度資訊的一視訊。
17. 一種資料結構產品，從其中表示空間取樣資訊信號之資訊樣本陣列係可藉由根據請求項5之方法重建，該資訊樣本陣列係藉多元樹細分而被細分成不同大小的葉區之多元樹結構。
18. 如請求項17之資料結構產品，其中該空間取樣資訊信號係一序列的圖像，其中各個圖像於每個圖框包含一亮度樣本陣列連同二彩度樣本陣列，其中用於相對於該亮度樣本陣列的該等彩度樣本陣列的空間解析度之一在水平方向的定標因數，係不同於用於空間解析度之一在垂 直方向的定標因數。
19. 如請求項17之資料結構產品，其中該資訊樣本陣列係相關於不同顏色成分並形成一圖像之多個彩色平面的其中之一樣本陣列，且該方法使用可自資料串流重建的該資訊樣本陣列，係包含獨立解碼該圖像之該等不同彩色平面。
20. 如請求項17之資料結構產品，其中該空間取樣資訊信號係伴隨有深度資訊的一視訊。
21. 一種儲存具有程式碼之電腦程式之電腦可讀數位儲存媒體，當在一電腦上運行時，該程式碼用以執行如請求項5或15之方法。
22. 一種產生資料串流的編碼器，該資料串流中編碼有：表示一空間取樣資訊信號之一資訊樣本陣列，該資訊樣本陣列係藉多元樹細分而被細分成不同大小的葉區之多元樹結構，其中該多元樹結構被分成以一彼此從屬方式定義的一一次細分及一從屬細分，使得該一次細分之一樹根區塊被細分成該一次細分之多個葉區塊，該等葉區塊轉而形成該從屬細分的該等樹根區塊，進一步細分成該多元樹結構的葉區，該多元樹結構的各葉區係與該多元樹細分之一序列階層式層級中之一階層式層級相關聯，其中該資料串流包含：細分資訊，其傳訊關聯於該多元樹結構的各葉區之該一次細分及該從屬細分，具有與其相關聯之多個 編碼參數，該等編碼參數針對各葉區係藉一個別語法元素集合來表示，各個語法元素係屬一語法元素類型集合中之一個別語法元素類型；繼承資訊，其指示是否使用繼承，且若指示欲使用繼承，則該資訊樣本陣列中由該多元樹結構的一葉區集合所組成之至少一個繼承區，係對應於該多元樹細分之該序列階層式層級中之一階層式層級，該繼承區係低於該多元樹結構的該葉區集合相關聯之該等階層式層級中之各者，且係由該一次細分之葉區所形成；一繼承子集，其包括每個繼承區之一預定語法元素類型之至少一個語法元素，其中該預定語法元素類型之該至少一個語法元素為一內-預測模式語法元素，一殘差信號，以該殘差解碼排序，組成該個別繼承區之該多元樹結構的各該葉區，及其中該繼承資訊傳訊至一解碼器，該解碼器解碼該資料串流，該繼承子集要被拷貝入該語法元素集合內部表示與該多元樹結構之該葉區集合相關聯之編碼參數之語法元素之一相對應繼承子集，該個別之至少一個繼承區係由該葉區集合所組成，及其中該等葉區塊係於每一寫碼的葉區塊使用一分開的內預測信號來寫碼在該資料串流內，其中以該殘差解碼順序針對組成該個別繼承區之該多元樹結構的各該葉區計算的該分開的內預測信號，係根據由該內-預測模式語法元素指示之一內-預測模式，藉由使用該多 元樹結構的已重建葉區之一重建信號的鄰近樣本作為一參考信號，使得用於該多元樹結構之該個別葉區之該殘差信號係要針對該多元樹結構之該個別葉區的重建而相加至該內預測信號。
23. 如請求項22的編碼器，其中該空間取樣資訊信號係一序列的圖像，其中各個圖像於每個圖框包含一亮度樣本陣列連同二彩度樣本陣列，其中用於相對於該亮度樣本陣列的該等彩度樣本陣列的空間解析度之一在水平方向的定標因數，係不同於用於空間解析度之一在垂直方向的定標因數。
24. 如請求項22的編碼器，其中該資訊樣本陣列係相關於不同顏色成分並形成一圖像之多個彩色平面的其中之一樣本陣列，且該方法使用可自該資料串流重建的該資訊樣本陣列，係包含獨立解碼該圖像之該等不同彩色平面。
25. 如請求項22的編碼器，其中該空間取樣資訊信號係伴隨有深度資訊的一視訊。
26. 一種解碼資料串流的解碼器，該資料串流中編碼有：表示一空間取樣資訊信號之一資訊樣本陣列，該資訊樣本陣列係藉多元樹細分而被細分成不同大小的葉區之多元樹結構，其中該多元樹結構被分成以一彼此從屬方式定義的一一次細分及一從屬細分，使得該一次細分之一樹根區塊被細分成該一次細分之多個葉區塊，該等葉區塊轉而形成該從屬細分的該等樹根區塊，進一步 細分成該多元樹結構的葉區，該多元樹結構的各葉區係與該多元樹細分之一序列階層式層級中之一階層式層級相關聯，其中該資料串流包含：細分資訊，其傳訊關聯於該多元樹結構的各葉區之該一次細分及該從屬細分，具有與其相關聯之多個編碼參數，該等編碼參數針對各葉區係藉一個別語法元素集合來表示，各個語法元素係屬一語法元素類型集合中之一個別語法元素類型；繼承資訊，其指示是否使用繼承，且若指示欲使用繼承，則該資訊樣本陣列中由該多元樹結構的一葉區集合所組成之至少一個繼承區，係對應於該多元樹細分之該序列階層式層級中之一階層式層級，該繼承區係低於該多元樹結構的該葉區集合相關聯之該等階層式層級中之各者，且係由該一次細分之葉區所形成；一繼承子集，其包括每個繼承區之一預定語法元素類型之至少一個語法元素，其中該預定語法元素類型之該至少一個語法元素為一內-預測模式語法元素，一殘差信號，以該殘差解碼排序，組成該個別繼承區之該多元樹結構的各該葉區，及其中該繼承資訊傳訊至一解碼器，該解碼器解碼該資訊串流，該繼承子集要被拷貝入該語法元素集合內部表示與該多元樹結構之該葉區集合相關聯之編碼參數之語法元素之一相對應繼承子集，該個別之至少一個繼 承區係由該葉區集合所組成，及其中該等葉區塊係於每一寫碼的葉區塊使用一分開的內預測信號來寫碼在該資料串流內，其中以該殘差解碼順序針對組成該個別繼承區之該多元樹結構的各該葉區計算的該分開的內預測信號，係根據由該內-預測模式語法元素指示之一內-預測模式，藉由使用該多元樹結構的已重建葉區之一重建信號的鄰近樣本作為一參考信號，使得用於該多元樹結構之該個別葉區之該殘差信號係要針對該多元樹結構之該個別葉區的重建而相加至該內預測信號。
27. 如請求項26的解碼器，其中該空間取樣資訊信號係一序列的圖像，其中各個圖像於每個圖框包含一亮度樣本陣列連同二彩度樣本陣列，其中用於相對於該亮度樣本陣列的該等彩度樣本陣列的空間解析度之一在水平方向的定標因數，係不同於用於空間解析度之一在垂直方向的定標因數。
28. 如請求項26的解碼器，其中該資訊樣本陣列係相關於不同顏色成分並形成一圖像之多個彩色平面的其中之一樣本陣列，且該方法使用可自該資料串流重建的該資訊樣本陣列，係包含獨立解碼該圖像之該等不同彩色平面。
29. 如請求項26的解碼器，其中該空間取樣資訊信號係伴隨有深度資訊的一視訊。