TW202011355A - 解碼器、編碼器、及相關聯方法與資料串流 - Google Patents

Abstract

一種使用次分割以編碼一空間取樣資訊信號之編碼結構以及編碼一次分割或一多樹型結構之編碼結構被說明，其中代表性實施例是有關圖像及/或視訊編碼應用。

Description

解碼器、編碼器、及相關聯方法與資料串流

本發明係有關使用次分割技術以編碼空間取樣資訊信號之編碼結構以及用以編碼次分割或多樹結構之編碼結構，其中代表性實施例係有關圖像及/或視訊編碼應用。

於影像以及視訊編碼中，圖像或對於圖像之取樣陣列的特定組集通常被分解成為與特定編碼參數關聯的方塊。該等圖像通常由複數個取樣陣列組成。此外，一圖像也可以是與另外的輔助取樣陣列相關聯的，該等另外的輔助取樣陣列可以是，例如，指示透明資訊或深度圖。一圖像之取樣陣列(包含輔助取樣陣列)可被群集成為一個或多個所謂的平面群組，其中各平面群組包含一個或多個取樣陣列。一圖像平面群組可單獨地被編碼，或如果該圖像被關聯於一個以上的平面群組，則可具有來自相同圖像之其他平面群組的預測。各平面群組通常被分解成為方塊。該等方塊(或取樣陣列的對應方塊)藉由圖像間預測或圖像內預測之一者被預測。該等方塊可具有不同的尺度並且可以是正方形或矩形之一者。成為方塊之圖像的分割可利用語法被固定，或其可以(至少部份地)在位元流內部被傳信。通常語法元素被發送而傳信供用於預定尺度方塊之次分割。此些語法元素可指明一方塊是否以及如何被次分割為較小的方塊以及關聯的編碼參數，例如，用於預測目的。對於所有方塊取樣(或取樣陣列的對應方塊)，相關編碼參數之解碼以某種方式明確地被指明。在這個範例中，在一方塊中的所有取樣使用相同組集之預測參數被預測，例如，參考指標(辨認已被編碼的圖像組集中之一參考圖像)、移動參數(指明用於在一參考圖像以及目前圖像之間的方塊移動之量測)、用以指明插值濾波器及圖像內預測模式等等之參數。移動參數可藉由具有水平以及垂直分量之位移向量或藉由較高階移動參數（例如，由六個分量組成的仿射移動參數）被表示。其也有可能是，一組以上之特定預測參數(例如，參考指標以及移動參數)被關聯於一單一方塊。因此，對於這些特定預測參數之各組參數，對於方塊(或取樣陣列之對應方塊)之一單一中間預測信號被產生，並且最後的預測信號藉由包含加疊中間預測信號之組合被建立。對應的加權參數並且也可有一固定偏移量(其被加到加權和上)可被固定於一圖像、或一參考圖像、或一組參考圖像，或它們可被包含在供用於對應方塊的該組預測參數中。在原始方塊(或取樣陣列之對應方塊)以及它們的預測信號之間的差量，同時也稱為殘差信號，通常被轉換並且被量化。通常，一種二維轉換技術被施加至該殘差信號(或對於殘差方塊之對應取樣陣列)上。對於轉換編碼，一特定組集之預測參數已被使用其上之方塊(或取樣陣列之對應方塊)，可在施加轉換之前進一步地被切割。轉換方塊可以是等於或較小於被使用於預測之方塊。其也有可能是，一轉換方塊被包含在被使用於預測之一個以上的方塊中。不同的轉換方塊可具有不同的尺度並且該等轉換方塊可被表示為正方形或矩形方塊。在轉換之後，產生的轉換係數被量化並且所謂的轉換係數位準被取得。轉換係數位準以及預測參數，並且如果存在的話，則次分割資訊被進行熵編碼。

於影像以及視訊編碼規格中，對於次分割一圖像(或一平面群組)成為藉由語法提供之方塊的可能性是非常有限的。通常，其可能僅被指明一預定尺度方塊是否以及(可能如何地)可被次分割為較小的方塊。如一範例，H.264中之最大方塊尺度是16x16。該等16x16方塊同時也被稱為巨方塊，並且於第一步驟中，各圖像被分隔為巨方塊。對於各個16x16之巨方塊，其可被傳信關於其被編碼為16x16方塊，或為二個16x8方塊，或為二個8x16方塊，或為四個8x8方塊。如果一16x16方塊被次分割為四個8x8方塊，則這些8x8方塊各可被編碼為下列之一者：被編碼為一8x8方塊、或為二個8x4方塊、或為二個4x8方塊、或為四個4x4方塊。於目前影像以及視訊編碼規格中，用以指明分割為方塊之可能的小組集具有用以傳信次分割資訊之側資訊率可被保留為小量的優點，但其亦具有下面之缺點：用以發送用於方塊之預測參數的必須位元率可能如下面所說明地成為顯著。用以傳信預測資訊之側資訊率通常表示對於一方塊之所有位元率的一重要數量。並且當這側資訊被縮小時，編碼效率將可被增加，例如，其將可藉由使用較大的方塊尺度而被達成。真實的影像或視訊序列圖像是由具有特定性質之任意形狀物件組成。如於一範例中，此些物件或物件部份具有獨特條理或一獨特移動之特徵。並且通常，相同組集之預測參數可被應用於此一物件或物件部份。但是對於大的預測方塊(例如，H.264中之16x16巨方塊)，物件邊界通常不重疊於可能之方塊邊界。一編碼器通常決定次分割(在可能的有限組集之中)，那將導致最小量之特定位元率失真成本量測。對於任意形狀之物件，這可能導致大量的小方塊。並且由於這些小方塊各者被關聯於一組預測參數，其將需要被傳送，因此側資訊率可能成為所有位元率之一重要部份。但是由於數個小方塊仍然表示相同物件或物件部份之區域，對於一些被取得之方塊的預測參數是相同的或非常相似的。

亦即，次分割或鋪排一圖像成為較小部分或如瓷磚塊或方塊，大體上將會影響編碼效率以及編碼複雜性。如上所述，使一圖像次分割為較高數量之較小方塊，將使編碼參數有一空間較細設定，因而可引動這些編碼參數對圖像/視訊素材有較佳的調適性。另一方面，為了告知解碼器關於必要的設定，將以一較細的方塊尺度設定編碼參數，將在必要的側資訊數量上造成較高的負擔。更進一步地，應注意到，對於使編碼器(進一步地)空間次分割圖像/視訊成為方塊之任何自由度，將極端地增大可能的編碼參數設定之數量，並且因此大體上使得對於導致最佳位元率/失真折衷之搜查甚至更困難者。

依據本申請之第一論點，其目的是用以提供一編碼結構，例如，用以編碼表示空間取樣資訊信號，例如，但是並不限定於，視訊之圖像或靜態圖像，的一資訊取樣陣列，其將可達成在編碼複雜性以及可達成位元率/失真比之間的較佳折衷，及/或達成一較佳位元率/失真比。

這目的藉由依據以下被達成。

依據第一論點，本申請是依據空間地分割表示一空間取樣資訊信號之一資訊取樣陣列使首先成為樹根區域，接著依據自一資料流抽取的多樹型次分割資訊，藉由遞迴式多分隔該等樹根區域之子集，次分割該等樹根區域之至少一子集使成為不同尺度之較小簡單連接區域，使得當資訊取樣陣列空間地被分割成為樹根區域之最大區域尺度，被包含在資料流之內並且在解碼側自資料流被抽取時，則將可在失真率意義上於一非常細的次分割以及一非常粗的次分割之間找到具有適當編碼複雜性之好的折衷。

因此，依據本發明第一論點，一解碼器包括一抽取器，該抽取器被組配以自一資料流抽取一最大區域尺度以及多樹型次分割資訊；一次分割器被組配以空間地分割表示空間取樣資訊信號之一資訊取樣陣列成為最大區域尺度之樹根區域，並且依據多樹型次分割資訊，藉由遞迴式多分隔該等樹根區域之子集，次分割樹根區域之至少一子集成為不同尺度之較小的簡單連接區域；以及一重建器被組配，以自使用該次分割使成為較小的簡單連接區域之資料流而重建該等資訊取樣陣列。

依據本發明一實施例，資料流同時也包含最大階系位準，當高至該最大階系位準時，樹根區域子集接受遞迴式多分隔。藉由這措施，使得多樹型次分割資訊之傳信更容易並且對於編碼則只需較少之位元。

更進一步地，重建器可被組配以依據多樹型次分割之一方塊尺度進行一個或多個下面的措施:決定在至少區域內以及區域間的預測模式中使用哪一預測模式；於自頻譜至空間領域之轉換，進行一區域間預測，及/或對其設定參數；進行一區域內預測，及/或對其設定參數。

更進一步地，抽取器可被組配而以一深度優先走訪順序自資料流抽取出關聯於被分隔的樹型方塊之支葉區域的語法元素。藉由這措施，抽取器可利用比使用一廣度優先走訪順序具有較高可能性之已被編碼的鄰近支葉區域之語法元素的統計資料。

依據另外的實施例，一進一步的次分割器被使用，以便依據進一步的多樹型次分割資訊，次分割較小簡單連接區域之至少一子集成為更小簡單連接區域。第一級次分割可被重建器所使用，以供進行資訊取樣之區域預測，而第二級次分割可被重建器所使用，以進行自頻譜至空間領域之再轉換。定義殘差次分割為相對於預測次分割之從屬者，將使得所有次分割之編碼有較少的位元消耗，並且另一方面，由於大多情況下具有相似移動補償參數之圖像部分是比具有相似的頻譜特性部分較大，故對於自從屬者產生的殘差次分割之限定以及自由性，在編碼效率上將僅具有較少的負面影響。

依據更進一步的一實施例，一進一步的最大區域尺度被包含在資料流中，定義樹根子區域尺度成為較小的簡單連接區域之進一步的最大區域尺度，在次分割樹根子區域至少一子集之前，依據進一步的多樹型次分割資訊，首先被分割為更小簡單連接區域。如此，依次地，一方面將可使預測次分割最大區域尺度之一獨立設定成為可能，並且另一方面，因此，殘差次分割將可使發現一較佳的位元率/失真折衷。

更依據本發明進一步的實施例，資料流包括自形成多樹型次分割資訊之一語法元素的第二子集脫連之一語法元素的第一子集，其中在解碼側之一合併器是可依據語法元素第一子集，而結合空間地鄰近多樹型次分割之較小的簡單連接區域，以得到取樣陣列之一中間次分割。重建器可被組配以使用中間次分割重建取樣陣列。利用這措施，編碼器可較容易地將有效的次分割調適至資訊取樣陣列性質之空間分配，而發現一最理想的位元率/失真折衷。例如，如果最大區域尺度是高的，則由於樹根區域成為較大，故多樹型次分割資訊是有可能成為更複雜。然而，另一方面，如果最大區域尺度是小的，則其將極可能是鄰近樹根區域具有相似性能的資訊內容，以至於這些樹根區域也可共同地被處理。此合併步驟填補在先前所提到的極端之間的隙縫，因而導致近乎最佳的方塊尺度次分割。自編碼器觀點而言，合併的語法元素允許更輕鬆或計算上較不複雜的編碼程序，由於如果編碼器錯誤地使用一太細的次分割，這錯誤於隨後可藉由在其後設定合併語法元素，或可僅調適已在設定合併語法元素之前被設定的一小部份語法元素，利用編碼器被補償。

依據更進一步的實施例，最大區域尺度以及多樹型次分割資訊被使用於殘差次分割而非用於預測次分割。

依據本發明一進一步的論點，本申請之一目的是提供一編碼結構，藉由其可達成一較佳的位元率/失真折衷。

這目的可藉由依據申請專利範圍第1項之解碼器、依據申請專利範圍第9項之編碼器、依據申請專利範圍第5或13項之方法、依據申請專利範圍第17項或第18項之資料串流來達成。

這論點之下的構想是，用以處理表示空間取樣資訊信號之資訊取樣陣列的四叉樹次分割之簡單連接區域的深度優先走訪順序，是比廣度優先走訪順序更好，該事實是由於，當使用深度優先走訪順序時，各簡單連接區域將具有較高的可能性以具有已先前被移動之鄰近的簡單連接區域，以至於當重建各別之目前簡單的連接區域時，關於這些鄰近的簡單連接區域之資訊可明確地被利用。

當資訊取樣陣列首先被分割為零級階系尺度之樹根區域規則性排列，接著將該等樹根區域至少一子集次分割為不同尺度之較小的簡單連接區域時，重建器可使用一曲折掃描，以便藉由對於將被分隔之各個樹根區域，在以曲折掃描順序進一步地進入下一個樹根區域之前，以深度優先走訪順序先處理簡單連接之支葉區域。此外，依據深度優先走訪順序，相同階系位準之簡單連接支葉區域同時也可以曲折掃描順序被走訪。因此，具有鄰近簡單連接支葉區域的增大可能性被保留。

依據本發明進一步的論點，其目的是提供用以編碼一多樹型結構之傳信的編碼結構，該多樹型結構標示一樹根區域之空間多樹型次分割，依據該標示，樹根區域遞迴式多分隔為較小的簡單連接區域，以至於用以編碼傳信所必要的資料量減少。

這目的利用依據以下而被達成。

這論點之下的構想是，雖然其是有利於以一深度優先走訪順序，依序地排列被關聯於多樹型結構節點的旗標，依序的旗標編碼應使用概率估計脈絡，其對於被關聯於位於多樹型結構相同階系位準內之多樹型結構節點的旗標是相同，但是對於位於多樹型結構不同階系位準內之多樹型結構的節點是不同，因此另一方面允許在將被提供的脈絡數目以及對於旗標之實際符號統計的調適性之間有一好的折衷。

依據一實施例，對於所使用預定旗標的概率估計脈絡同時也取決於在依據深度優先走訪順序所預定旗標之前的旗標以及對應至樹根區域的範圍，該樹根區域對於預定旗標對應的範圍具有一預定相對位置關係。相似於先前論點之下的構想，深度優先走訪順序之使用保證已被編碼的旗標同時也包括對應至鄰近對應於預定旗標範圍的範圍之旗標的高度機率性，以至於這知識可被使用以較佳地調適脈絡被使用於預定旗標。

可被使用對於一預定旗標設定脈絡之旗標，可以是對應至位於預定旗標對應的範圍之頂部及/或左方的區域。此外，被使用於挑選脈絡之旗標可被限定在屬於與預定旗標關聯的節點之相同階系位準的旗標。

因此，本發明提供一種解碼器，其用以解碼出標示一樹根方塊之一空間多樹型次分割的一多樹型結構之編碼傳信，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼傳信包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，並且各旗標指明對應至各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，該解碼器被組態以使用概率估計脈絡而依序地熵解碼出該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於關聯位在多樹型結構之不同階系位準內的多樹型結構節點是不同。

其中該空間多樹型次分割是一四叉樹次分割，並且依照該深度優先走訪順序，一曲折掃描被定義於具有一共同親源節點的四叉樹次分割之相同階系位準的節點之中，其中該解碼器組配來對於一預定旗標之概率估計脈絡，同時也取決於依照該深度優先走訪順序先前於該預定旗標以及對應至對於該預定旗標對應的一區域具有一預定相對位置關係的樹根方塊區域的旗標。

其中該解碼器同時也組配來自該資料流抽取出一最高階系位準之一指示，該樹形方塊遞迴式地在其下被多分隔，該旗標序列僅包括不等於最高階系位準之階系位準的旗標。

其中該解碼器組配來解碼出標示複數個樹根方塊之一空間多樹型次分割的多樹型結構之傳信，該等複數個樹根方塊以在該等複數個樹根方塊之中被定義的一曲折掃描順序，共同形成一較大之二維部分的一連續以及規則性的網格分割。

其中該解碼器組配來解碼出標示複數個樹根方塊的一空間多樹型次分割之多樹型結構的傳信，該等樹根方塊是依次地，以在複數個樹根方塊之中被定義之一深度優先走訪順序之一較大二維部分之另外的多樹型次分割之支葉方塊，並且其中該等多樹型結構之編碼傳信各包括以深度優先走訪順序被關聯於各別的多樹型結構節點之一旗標序列，並且各旗標指明對應至各別的旗標所關聯的節點之各別樹根方塊的一區域是否被多分隔，該解碼器被組態以使用對於被關聯於相同尺度區域之旗標是相同之概率估計脈絡依序地熵解碼該等旗標。

本發明還提供一種用以解碼出標示一樹根方塊之一空間多樹型次分割的一多樹型結構之編碼傳信的方法，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼傳信包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，並且各旗標指明對應至各別的旗標關聯之節點的樹根方塊之一區域，是否被多分隔，該方法包括使用概率估計脈絡而依序地熵解碼出該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於關聯位在多樹型結構之不同階系位準內的多樹型結構節點是不同。

本發明還提供一種用以產生標示一樹根方塊之一空間多樹型次分割的一多樹型結構之編碼傳信的編碼器，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼傳信包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，並且各旗標指明對應至各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，該編碼器被組態以使用概率估計脈絡而依序地熵編碼該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。

本發明還提供一種用於編碼器以供產生標示一樹根方塊之一空間多樹型次分割的一多樹型結構之編碼傳信的方法，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼傳信包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，並且各旗標指明對應至各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，該方法包括使用概率估計脈絡而依序地熵編碼該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。

本發明還提供一種具有一電腦程式被儲存在其上之電腦可讀取數位儲存媒體，該電腦程式具有一程式碼，當在一電腦上執行時，該程式碼進行依據上述方法。

本發明還提供一種資料流，其中被編碼具有標示一樹根方塊之一空間多樹型次分割的一多樹型結構之編碼傳信，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼傳信包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，並且各旗標指明對應至各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，其中該等旗標使用概率估計脈絡而依序地被熵編碼成為該資料流，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。

因此，依據進一步的一論點，用以編碼多樹型結構傳信之一編碼構造被提供，其可引動更有效的編碼。

這目的可藉由以下被達成。

依據這論點，編碼傳信包括一最高階系位準以及不等於最高階系位準而被關聯於多樹型結構節點的一旗標序列之指示，各旗標指明被關聯的節點是否為一中間節點或子系節點，並且隨著跳過最高階系位準節點並且自動地指定相同支葉節點，以一深度優先或廣度優先走訪順序，發生自資料串流之旗標序列的依序解碼，因此降低編碼率。

依據進一步的一實施例，多樹型結構的編碼傳信可包括最高階系位準之指示。藉由這措施，由於最高階系位準方塊之進一步分割被排除時，其可將旗標之存在限定在不是最高階系位準之階系位準。

在空間多樹型次分割是支葉節點之第二次分割以及主要多樹型次分割之未分隔的樹根區域之部份的情況，則被使用於編碼第二次分割之旗標脈絡可被挑選，使得此些脈絡對於被關聯於相同尺度範圍之旗標是相同的。

依據進一步的實施例，資訊取樣陣列被次分割所成的簡單連接區域之一有利合併或群集被編碼而具有一降低資料量。為了這目的，對於多個簡單連接區域，一預定相對位置關係被定義，而引動對於在複數個簡單連接區域內之多個簡單連接區域之一預定簡單連接區域的辨認，而該等複數個簡單連接區域則對於該預定簡單連接區域具有預定相對位置關係。亦即，如果數目是零，對於預定簡單連接區域之一合併指示器不在資料流之內出現。進一步地，如果具有對於預定簡單連接區域之預定相對位置關係的簡單連接區域數目是1的話，則簡單連接區域之編碼參數可被採用或可被使用於對於預定簡單連接區域之編碼參數之預測而不需要任何進一步的語法元素。否則，如果具有對於預定簡單連接區域之預定相對位置關係的簡單連接區域數目是較大於1，即使被關聯於這些辨認的簡單連接區域之編碼參數是彼此相同，進一步的語法元素之引介亦可被抑制。

依據一實施例，如果鄰近簡單連接區域之編碼參數是彼此不相等，則一參考鄰近識別符可識別具有對於預定簡單連接區域之預定相對位置關係的簡單連接區域數目之一適當子集，並且當採用編碼參數或預測預定簡單連接區域之編碼參數時，這適當子集被使用。

依據更進一步之實施例，藉由遞迴式多分隔使表示一個二維資訊信號空間取樣的一取樣區域成為不同尺度的複數個簡單連接區域之空間次分割，依據被包含在資料流中之語法元素的第一子集被進行，其後緊隨著依據自第一子集脫連的資料流內之語法元素的一第二子集之一空間鄰近簡單連接區域組合，以取得成為簡單連接區域之脫連組集的取樣陣列之一中間次分割，其之結合是複數個簡單連接區域。當自資料流重建取樣陣列時，中間次分割被使用。由於一太細的次分割可在之後藉由合併被補償之事實，這可使得有關次分割之最佳化較不緊要。進一步地，次分割以及合併之組合將可實現中間次分割，其將不可能僅僅經由遞迴式多分隔得到，以至於藉由語法元素的脫連組集之使用的次分割以及合併之串連使得對於二維資訊信號實際內容之有效中間次分割將可有較佳調適。對照於一些優點，用以指示合併細節而自增加的語法元素子集所產生之額外的經常支出是可以忽略的。

因此本發明提供一種用以解碼一多樹型結構之一編碼傳信之解碼器，該編碼傳信包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該解碼器組配來自一資料串流解碼出該最高階系位準之指示，並且接著隨著跳過最高階系位準節點並且自動地指定相同支葉節點，而以一深度優先或廣度優先走訪順序，自資料串流依序地解碼出該旗標序列。

本發明還提供一種用以解碼一多樹型結構之一編碼傳信之方法，該編碼傳信包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該方法包括自一資料串流解碼出該最高階系位準之指示，並且接著隨著跳過最高階系位準節點並且自動地指定相同支葉節點，而以一深度優先或廣度優先走訪順序，自資料串流依序地解碼出該旗標序列。

本發明還提供一種用以產生一多樹型結構之一編碼傳信之編碼器，該編碼傳信包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該編碼器組配來編碼來自一資料串流之最高階系位準指示，並且接著隨著跳過最高階系位準節點並且自動地指定相同支葉節點，而以一深度優先或廣度優先走訪順序，依序地編碼來自資料串流之該旗標序列。

本發明還提供一種用以產生一多樹型結構之一編碼傳信之方法，該編碼傳信包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該方法包括編碼來自一資料串流之最高階系位準指示，並且接著隨著跳過最高階系位準節點並且自動地指定相同支葉節點，而以一深度優先或廣度優先走訪順序，依序地編碼來自資料串流之該旗標序列。

本發明還提供一種具有一電腦程式被儲存在其上之電腦可讀取數位儲存媒體，該電腦程式具有一程式碼，當在一電腦上執行時，該程式碼進行上述方法。

於下面的圖形說明中，出現在多數這些圖形中的元件利用共同的參考數目被指示並且將避免重複解說這些元件。當然，有關出現在一圖形內之元件的說明同時也可應用至其他圖形，於該等圖形中只要在這些其他的圖形中呈現說明指出偏差，則各別的元件將產生。

進一步地，下面的說明開始於將參考第1至11圖解釋之編碼器以及解碼器的實施例。參考這些圖形所說明之實施例結合本申請之許多論點，然而，其如果在一編碼結構之內分別地實作則將同時也可以是有利的，並且因此，有關隨後的圖形，實施例簡潔地被論述，其分別地說明剛提到的論點，而這些實施例之各者以不同的意義表示對於第1以及11圖所說明的實施例概念。

第1圖展示依據本發明一實施例之編碼器。第1圖之編碼器10包括預測器12、殘差預編碼器14、殘差重建器16、資料流插入器18以及方塊分割器20。編碼器10是用以將時間空間取樣資訊信號編碼成為資料流22。時間空間取樣資訊信號可以是，例如，視訊，亦即，一圖像序列。各圖像表示一圖像取樣陣列。時間空間資訊信號之其他範例包括，例如，利用，例如，光時相機所獲得的深度影像。進一步地，應注意到，一空間取樣資訊信號之每個訊框或時戳可包括一個以上的陣列，例如於每個訊框，例如，彩色視訊之情況中，其包括與二個色度取樣陣列在一起之亮度取樣陣列。其同時也可以是對於資訊信號不同的分量，亦即，亮度以及色度，之時間取樣率是不同的。相同情況適用於空間解析度。一視訊同時也可被伴隨著進一步的空間取樣資訊，例如，深度或透明度資訊。然而，下面的說明，為較佳地了解本申請之主要問題起見，將先聚焦於這些陣列之一者的處理，接著再轉向一個以上平面的處理。

第1圖之編碼器10被組配以產生資料流22，因而資料流22之語法元素以位於整個圖像以及個別的影像取樣之間的一方塊尺度說明圖像。為此目的，分割器20被組配以次分割各個圖像24成為不同尺度的簡單連接區域26。下面，這些區域將簡單地被稱為方塊或子區域26。

如下面之更詳細的論述，分割器20使用一多樹型次分割以便將圖像24次分割為不同尺度之方塊26。甚至更精確地，下面有關第1至11圖之論述的特定實施例大多數使用四叉樹次分割。同時下面將更詳細說明，分割器20可內部地包括用以次分割圖像24使成為剛提及之方塊26的次分割器28串連，隨後一合併器30將可結合這些方塊26群集，以便取得位於圖像24之非次分割以及利用次分割器28被定義的次分割之間的有效次分割或方塊尺度。

如第1圖虛線之展示，預測器12、殘差預編碼器14、殘差重建器16以及資料流插入器18在利用分割器20被定義之圖像次分割上運作。例如，下面將更詳細論述，預測器12使用藉由分割器20被定義之預測次分割，以便對於預測次分割之個別的子區域，藉由依據選擇之預測模式對於各別的子區域設定對應的預測參數而決定關於該各別的子區域是否應接受圖像內預測或圖像間預測。

殘差預編碼器14，依次地，可使用圖像24之殘差次分割，以便編碼利用預測器12被提供之圖像24的預測殘差。因殘差重建器16自利用殘差預編碼器14被輸出之語法元素而重建殘差，殘差重建器16同時也在剛提及的殘差次分割上運作。資料流插入器18可利用剛提及的分割，亦即，預測以及殘差次分割，以便決定在對於由殘差預編碼器14以及預測器12輸出的語法元素之插入的語法元素之中的插入順序以及鄰近關係，例如，使用熵編碼技術使成為資料流22。

如第1圖之展示，編碼器10包括原始資訊信號進入編碼器10之輸入32。減法器34、殘差預編碼器14以及資料流插入器18以所提及之順序連續地在輸入32以及編碼資料流22被輸出之資料流插入器18的輸出之間被連接。減法器34以及殘差預編碼器14是預測迴路之部份，該預測迴路藉由以所提及之順序連續地在殘差預編碼器14輸出以及減法器34反相輸入之間被連接的殘差重建器16、加法器36以及預測器12而閉合。預測器12之輸出也被連接至加法器36之進一步的輸入。此外，預測器12包括直接地連至輸入32之一輸入並且可能包括再進一步之輸入，該輸入同時也經由選用的迴路內濾波器38被連接至加法器36的輸出。進一步地，預測器12在運作期間產生側資訊，並且因此，預測器12一輸出也被耦接至資料流插入器18。同樣地，分割器20包括一輸出，其被連接至資料流插入器18之另一輸入。

說明編碼器10結構之後，下面將更詳細地說明操作模式。

如上面之說明，分割器20決定如何次分割各圖像24成為子區域26。依據將被使用於預測之圖像24的次分割，預測器12決定對應至這次分割的各子區域，如何預測各別的子區域。預測器12將子區域之預測輸出至減法器34之反相輸入並且至加法器36之進一步的輸入，並且將反映預測器12如何自視訊之先前編碼部分取得這預測之方式的預測資訊輸出至資料流插入器18。

在減法器34之輸出，預測殘差因此被取得，在其中殘差預編碼器14依據也利用分割器20被標示之殘差次分割而處理這預測殘差。如在下面有關第3至10圖之進一步的詳細說明，殘差預編碼器14所使用之圖像24的殘差次分割可以是有關於預測器12使用之預測次分割，因而各預測子區域被採用作為殘差子區域或進一步地被次分割為較小的殘差子區域。然而，完全獨立的預測以及殘差次分割將也是可能的。

殘差預編碼器14利用二維轉換支配各殘差子區域自空間至頻譜域之一轉換，其後緊隨著，或固有地涉及，所形成轉換方塊之形成轉換係數之一量化，因而失真自量化雜訊產生。資料流插入器18可藉由使用，例如，熵編碼技術，例如，無損地將上述之轉換係數之語法元素編碼成為資料流22。

殘差重建器16，依次地，藉由使用其後跟隨著再轉換之一再量化，使轉換係數再轉變成為一殘差信號，其中在加法器36內之殘差信號與減法器34使用之預測結合，以供取得預測殘差，因此在加法器36輸出取得目前圖像之重建部分或子區域。預測器12可直接地使用重建的圖像子區域以供用於圖像內預測，其是用以藉由自鄰近區域中之先前重建的預測子區域之推斷而預測某一預測子區域。然而，藉由自鄰近一子區域而直接地預測目前子區域之頻譜，在頻域內進行一圖像內預測理論上也是可能的。

對於圖像間預測，預測器12可使用藉由選用的迴路內濾波器38同樣地被過濾的版本之一先前編碼以及重建的圖像。迴路內濾波器38，例如，可包括一解方塊效應濾波器及/或一調適濾波器，後者具有調適以有利地形成先前所提到的量化雜訊的轉移函數。

預測器12藉由使用在圖像24內之對於原始取樣之對照而預測某一預測子區域之方式以選擇預測參數。預測參數，如下面更詳細之論述，可包括對於各預測子區域之預測模式的一指示，例如，圖像內預測以及圖像間預測。於圖像內預測情況中，預測參數同時也可包括一角度指示，沿著該角度，將被圖像內預測的預測子區域之邊緣主要地延伸，並且於圖像間預測之情況中，可包括移動向量、移動圖像指標及最後較高階移動轉換參數，以及於圖像內及/或圖像間圖像預測兩情況中，包括用於過濾目前預測子區域被預測所依據重建影像取樣之選用的過濾器資訊。

如下面更詳細的論述，先前提及利用分割器20被定義的次分割大體上影響藉由殘差預編碼器14、預測器12以及資料流插入器18最大可得的位元率/失真比。於太細的次分割情況中，利用預測器12被輸出將被插進入資料流22中之預測參數40使一太大的編碼率成為必需，雖然利用預測器12所取得的預測可能是較佳並且將利用殘差預編碼器14被編碼的殘差信號可能是較小，以至於同一者可能以較少的位元被編碼。於太粗的次分割情況，則情況相反。進一步地，剛提及的思維同時也以相似的方式適用於殘差次分割:使用個別的轉換方塊之較細方塊尺度之圖像轉換將導致對於計算轉換之較低的複雜性以及形成轉換之增大的空間解析度。亦即，較小的殘差子區域將能夠使在個別的殘差子區域內之內容頻譜分配更均勻。然而，頻譜解析度被降低並且在顯著和非顯著之間的比率，亦即，被量化為零值，係數將更差。亦即，轉換方塊尺度應局域性地被調適至圖像內容。此外，無關於來自較細方塊尺度的實際影響，一較細的方塊尺度規則地增大必要的側資訊數量，以便指示針對解碼器所選擇之次分割。如下面將更詳細之論述，下面說明的實施例將提供編碼器10，其具有可將被編碼的資訊信號內容非常有效地次分割的調適能力，並且將藉由指示資料流插入器18將次分割資訊插入被編碼資料流22中而傳信將被使用的次分割至解碼側。下面將說明其細節。

然而，在更詳細地定義分割器20次分割之前，依據本申請一實施例將參考第2圖的解碼器更詳細地被說明。

第2圖解碼器利用參考標號100被指示並且包括一抽取器102、分割器104、殘差重建器106、加法器108、預測器110、選用迴路濾波器112以及選用後級濾波器114。抽取器102在解碼器100之輸入116接收被編碼的資料流並且自被編碼的資料流抽取出次分割資訊118、預測參數120以及殘差資料122，抽取器102將其分別地輸出至圖像分割器104、預測器110以及殘差重建器106者。殘差重建器106具有被連接至加法器108之第一輸入的一輸出。加法器108的其他輸入以及其輸出被連接於預測迴路，選用迴路濾波器112以及預測器110以所提到之順序連續地連接於預測迴路，其具有自加法器108的輸出至預測器110的旁通途徑，相似於上面提到在第1圖的加法器36以及預測器12之間的連接方式，亦即，一者對於圖像內預測以及另一者對於圖像間預測。加法器108之輸出或迴路內濾波器112的輸出之任一者可被連接至，例如，重建的資訊信號被輸出至再生裝置之解碼器100的輸出124。一選用後級濾波器114可被連接於通到輸出124之途徑，以便改進在輸出124之重建信號的視覺感受之視覺品質。

大體而言，殘差重建器106、加法器108以及預測器110作用如同第1圖之元件16、36以及12。換句話說，同樣地仿效在先前提及的第1圖之元件的操作。因此，殘差重建器106以及預測器110分別地依據來自抽取器102之次分割資訊118，利用預測參數120及利用圖像分割器104標示之次分割被控制，以便如預測器12所進行或決定進行之相同方式而預測該等預測子區域，並且如殘差預編碼器14進行之相同方式而再轉換以相同方塊尺度所接收的轉換係數。圖像分割器104，依次地，依據次分割資訊118之同步方式，而重建利用第1圖之分割器20所選擇的次分割。抽取器可依次地使用次分割資訊，以便控制資料抽取，例如，就脈絡挑選、鄰近區域決定、概率估計、分析資料流語法等等而言。

多數個變化可在上面實施例上被進行。其一些在下面利用次分割器28進行次分割以及利用合併器30進行合併的詳細說明之內被提到並且其他者將參考第12至16圖被說明。在無任何障礙之下，所有這些變化可分別地是或群集地被應用至先前在第1圖以及第2圖分別地提到的說明。例如，分割器20以及104可不用僅決定每個圖像之一預測次分割以及殘差次分割。反之，它們同時也可分別地對於選用迴路內濾波器38以及112決定一濾波器次分割。不論無關或有關於分別地對於預測或殘差編碼之其他的次分割。此外，利用這些元件的次分割之決定可能不依訊框接訊框之基礎上被進行。反之，對於某一訊框所決定的次分割，可由僅轉移一新的次分割而供接著下面的某些訊框再使用或採用。

為提供關於使圖像成為子區域之分割的進一步詳細說明，下面的說明首先聚焦於次分割器28以及104a被假定有任務之次分割部份上。接著將說明合併器30以及合併器104b被假定有任務之合併處理。最後，將說明平面間調適/預測。

次分割器28以及104a分割圖像之方式，使得為影像或視訊資料之預測以及殘差編碼目的，因而一圖像是可分割為可能不同尺度的一些方塊。如在先前提到的，圖像24可能是為一個或多個影像取樣數值陣列。於YUV/YCbCr彩色空間情況中，例如，第一陣列可表示亮度頻道而其他二陣列可表示色度頻道。這些陣列可具有不同尺度。所有陣列可被群集成為一個或多個平面群組，其具有由一個或多個連續的平面組成的各平面群組，因而各平面被包含在一個並且僅一個平面群組中。下面的情況適用於各平面群組。一特定平面群組之第一陣列可被稱為這平面群組之主要陣列。可能跟隨的陣列是次級陣列。主要陣列之方塊分割可依據如下面說明之一四叉樹方法被完成。次級陣列的方塊分割可依據主陣列的分割被得到。

依據下面說明之實施例，次分割器28以及104a被組配以分割主要陣列成為一些相等尺度之正方形方塊，即下面所謂的樹型方塊。樹型方塊之邊緣長度典型地是二的次方，例如，當四叉樹被使用時，其是16、32或64。然而，為完整起見，值得注意的是，其他樹型的型式之使用將也是可能，例如，二元樹型或具有任何支葉數目之樹型。此外，樹型子系之數目可依據樹型位準以及依據樹型正表示之信號而變化。

除此之外，如上面所提到的，取樣陣列同時也可分別地表示除視訊序列之外的其他資訊，例如，深度圖或光場。為簡明起見，下面的說明將集中於對多樹型之代表範例的四叉樹上。四叉樹是在每個內部節點正好具有四個子系之樹型。每個樹型方塊構成一主要四叉樹與一起在主要四叉樹之每個支葉上之次級四叉樹。主要四叉樹決定用於預測之一給與樹型方塊之次分割，而次級四叉樹則決定用於殘差編碼目的之給與預測方塊之次分割。

主要四叉樹的根節點對應至整個之樹型方塊。例如，第3a圖展示一樹型方塊150。應注意，每個圖像被分割為此些樹型方塊150之列及行的規則性網格，以至於它們，例如，無隔閡地涵蓋取樣陣列。然而，應注意到，對於隨後展示的所有方塊次分割，無重疊之無縫次分割是無關緊要的。反之，只要無支葉方塊是一鄰近支葉方塊之適當的子部份，則鄰近方塊是可彼此重疊。

沿著對於樹型方塊150之四叉樹結構，每個節點可進一步地被分割為四個子系節點，其於主要四叉樹之情況中，指示每個樹型方塊150可被分切成為具有樹型方塊150之一半寬度以及一半高度的四個次方塊。於第3a圖中，這些子方塊利用參考符號152a至152d被標示。以相同方式，這些子方塊各可進一步地被切割成為具有原始子方塊一半寬度以及一半高度的四個較小子方塊。於第3d圖中，這對於子方塊152c展示範例，其被次分割為四個小的子方塊154a至154d。目前為止，第3a至3c圖展示樹型方塊150如何首先被分割為其之四個子方塊152a至152d之範例，接著左下方的子方塊152c進一步地被分割為四個小的子方塊154a至154d，並且最後，如第3c圖之展示，這些較小的子方塊之右上方的方塊154b再次被分割為四個原始樹型方塊150的八分之一寬度以及高度的方塊，這些更小方塊以156a至156d被表示。

第4圖展示如第3a-3d圖所展示之對於四叉樹為基礎之分割範例的下面樹型結構。樹型節點之旁的數目是所謂的次分割旗標之數值，其稍後當討論四叉樹結構之傳信時，將更詳細地被說明。四叉樹之根節點被描述於圖形頂部上(被標示“位準0”)。在這根節點之位準1的四個分支對應至如第3a圖展示之四個子方塊。因這些子方塊之第三者進一步地被次分割為如第3b圖中之四個子方塊，第4圖中在位準1之第三節點同時也具有四個分支。再次地，對應至第3c圖之第二(頂部右方)子系節點的次分割，有四個子分支與四叉樹階系位準2之第二節點連接。在位準3之節點不再進一步地被次分割。

主要四叉樹之各個支葉對應至個別的預測參數(亦即，圖像內或圖像間、預測模式、移動參數等等)可指明之一可變尺度的方塊。於下面，這些方塊被稱為預測方塊。尤其，這些支葉方塊是第3c圖展示之方塊。藉由簡要地返回參考第1以及2圖之說明，分割器20或次分割器28決定如剛說明之四叉樹次分割。次分割器152a-d進行樹型方塊150、子方塊152a-d、小的子方塊154a-d等等之分割決定，以進一步地次分割或分隔，以在如已先於上面被指出之一太細預測次分割以及一太粗預測次分割之間找到一最理想的取捨。預測器12，依次地，使用標示的預測次分割，以便依據預測次分割或對於，例如，利用第3c圖展示之方塊被表示的各個預測子區域之方塊尺度，以決定在上面提及之預測參數。

第3c圖展示之預測方塊可進一步地被分割為用於殘差編碼目的之較小方塊。對於各個預測方塊，亦即，對於主要四叉樹之各個支葉節點，對應的次分割藉由用於殘差編碼之一個或多個次級的四叉樹被決定。例如，當允許一16x16之最大的殘差方塊尺度時，一給與的32×32預測方塊可被分割為四個16×16方塊，其各利用殘差編碼之一次級的四叉樹被決定。這範例中之各個16×16方塊對應至一次級的四叉樹之根節點。

如對於一給與的樹型方塊之次分割使成為預測方塊之情況中之說明，各個預測方塊可藉由使用次級的四叉樹分解被分割為一些殘差方塊。一次級四叉樹的各個支葉對應至一殘差方塊，該殘差方塊可利用殘差預編碼器14指明個別的殘差編碼參數(亦即，轉換模式、轉換係數等等)，該殘差預編碼器14之殘差編碼參數依次地分別控制殘差重建器16以及106。

換句話說，次分割器28可被組配，以對於各圖像或對於各圖像群集，而決定一預測次分割以及一次級殘差次分割，其首先分割圖像成為樹型方塊150之一規則性排列，利用四叉樹次分割以遞迴式分隔這些樹型方塊之一子集，以便取得成為預測方塊之預測次分割–如果在各別的樹型方塊無分割發生，則其可以是樹型方塊或四叉樹次分割之支葉方塊–接著進一步地以相似方式次分割這些預測方塊之一子集，如果一預測方塊是較大於次級殘差次分割之最大尺度，則藉由首先分割各別的預測方塊使成為子樹型方塊一規則性排列，接著依據四叉樹次分割程序，次分割這些次樹型方塊之一子集，以便取得殘差方塊-如果在各別的預測方塊無成為次樹型方塊之分割發生則其可以是預測方塊，如果在各別的次樹型方塊無分割使成為更小區域發生則可以是次樹型方塊，或殘差四叉樹次分割之支葉方塊。

如上面之簡要論述，對於一主要陣列所選擇之次分割可被映射至次級陣列上。當考慮到如主陣列相同尺度之次級陣列時，這是容易的。然而，當次級陣列的尺度不同於主陣列的尺度時，特定措施必須被採用。大體而言，於不同尺度的情況中，主陣列次分割至次級陣列上的映射可藉由空間映射被完成，亦即，藉由空間地映射主陣列次分割的方塊邊緣至次級的陣列。特別是，對於各個次級陣列，其可能有決定主陣列對次級陣列的尺度比率之水平以及垂直方向的尺度調整因素。用於預測以及殘差編碼之使次級陣列分割為子方塊的分割可分別地藉由主要陣列之所排列的樹型方塊各者之主要四叉樹以及次級四叉樹被決定，而次級陣列所產生的樹型方塊利用相對尺度調整因素被尺度調整。於水平以及垂直方向之尺度調整因素不同(例如，於4:2:2色度次取樣)的情況中，次級陣列之產生的預測以及殘差方塊將可能不再是正方形。於這情況中，其可適應性地預定或挑選非正方形殘差方塊是否將可被切割成為正方形方塊(對於整個序列、得自序列的一圖像，或對於一個別的預測或殘差方塊)。於第一種情況中，例如，編碼器以及解碼器將可接受，對於每次被映射的方塊不是正方形時使成為正方形方塊之次分割。於第二種情況中，次分割器28將經由資料流插入器18以及資料流22傳信挑選至次分割器104a。例如，於4:2:2色度次取樣之情況中，其中次級陣列具有如主要陣列的一半寬度但卻有相同高度，殘差方塊將是如寬度的兩倍高。藉由垂直地切割這方塊，將可能再次得到二個正方形方塊。

如上面所提到的，次分割器28或分割器20，分別地經由資料流22將四叉樹為基礎之分割傳信至次分割器104a。因此，次分割器28告知資料流插入器18關於針對圖像24所選擇之次分割。資料流插入器接著傳送主要以及次要四叉樹之結構，以及因此，圖像陣列成為在資料流或位元流22內之預測或殘差編碼的可變尺度方塊分割，分別至解碼側。

最小以及最大的可接受方塊尺度作為側資訊被發送並且可能自圖像至圖像地改變。或者，最小以及最大的可接受方塊尺度可在編碼器以及解碼器中被固定。這些最小以及最大的方塊尺度對於預測以及殘差方塊可以是不同的。對於四叉樹結構之傳信，四叉樹必須被移動，並且對於各節點其必須被指明，這特定節點是否為該四叉樹之一支葉節點(亦即，對應的方塊不再進一步地被次分割)或其是否將分支成為其之四個子系節點(亦即，對應的方塊將被分割為具有一半尺度的四個子方塊)。

在一圖像內之傳信以一光束掃描順序依樹型方塊至樹型方塊方式進行，例如在第5a圖之140所示自左方至右方以及頂部至下面之順序。這掃描順序也可以是不同的，如自底部右方至頂部左方或以一棋盤式順序。於一較佳實施例中，各個樹型方塊以及因此各個四叉樹以深度優先順序被走訪以供傳信次分割資訊。

於一較佳實施例中，不僅次分割資訊，亦即，樹型之結構，但同時也有預測資料等等，亦即，關聯於樹型支葉節點的酬載，以深度優先順序被發送/被處理。這被完成，因為深度優先走訪具有超過廣度優先順序之大量優點。於第5b圖中，一四叉樹結構以被呈現被標示著a、b、…、j之支葉節點。第5a圖展示所產生的方塊分割。如果方塊/支葉節點以廣度優先順序被走訪，則吾人將取得下面的順序：abjchidefg。然而，以深度優先順序，則其順序是abc…ij。如自第5a圖所見，以深度優先順序，左方鄰近的方塊以及頂部鄰近的方塊永遠在目前方塊之前被發送/被處理。因此，移動向量預測以及脈絡模型可永遠使用被指示用於左方以及頂部鄰近方塊的參數，以便得到一改進的編碼性能。對於廣度優先順序，則不是如此，因方塊j，例如，在方塊e、g、以及i之前被發送。

因此，對於各個樹型方塊之傳信遞迴式是沿著主要四叉樹之四叉樹結構被完成，因而對於各節點，一旗標被發送，其指明對應的方塊是否被切割成為四個子方塊。如果這旗標具有數值“1”(代表“真”)，則對於所有四個子系節點，亦即，子方塊，這傳信處理程序以光束掃描順序(頂部左方、頂部右方、底部左方、底部右方)遞迴式被重複，直到抵達主要四叉樹之支葉節點為止。應注意到，一支葉節點是具特徵於具有一數值“0”的一次分割旗標。對於一節點存在於主要四叉樹最低階系位準上並且因此對應至最小可接受的預測方塊尺度之情況，則將無次分割旗標必須被發送。對於第3a-c圖中之範例，吾人將可能首先發送“1”，如在第6a圖中之190所展示，其指明樹型方塊150被切割成為其之四個子方塊152a-d。接著，吾人將可能以光束掃描順序200遞迴式編碼所有的四個子方塊152a-d之次分割資訊。對於首先的二個子方塊152a、b，吾人將可能發送“0”，其指明它們不被次分割(參看第6a圖中之202)。對於第三個子方塊152c(底部左方)，吾人將可能發送“1”，其指明這方塊被次分割(參看第6a圖中之204)。接著，依據遞迴式方法，這方塊之四個子方塊154a-d將可能被處理。在此，吾人將可能對於第一子方塊(206)發送“0”並且對於第二(頂部右方)子方塊(208)發送“1”。接著，第3c圖中最小的方塊尺度之四個方塊156a-d將可被處理。於這情況中，已到達最小的容許方塊尺度之情況，由於進一步的次分割是不可能的，故無更多的資料將必須被發送。另外指明這些方塊將不進一步地被分割之“0000”，將被發送，如在第6a圖中之210的指示。在此步驟之後，吾人將可對於第3b圖之下方的二個方塊發送“00”(參看第6a圖中之212)，並且最後對於第3a圖中之底部右方的方塊發送“0”(參看214)。因此，表示四叉樹結構之全部的二元序列將是第6a圖中所展示者。

於第6a圖之這二元序列表示中不同的背景斜線對應至四叉樹為基礎之次分割的階系中之不同位準。斜線216表示位準0(對應至等於原始樹型方塊尺度之一方塊尺度)，斜線218表示位準1(對應至等於一半原始樹型方塊尺度之一方塊尺度)，斜線220表示位準2(對應至等於四分之一原始樹型方塊尺度之一方塊尺度)，並且斜線222表示位準3(對應至等於八分之一原始樹型方塊尺度之一方塊尺度)。相同階系位準之所有次分割旗標(對應至二元序列表示範例中之相同方塊尺度以及相同顏色)，例如，可利用插入器18使用一相同概率模型被熵編碼。

應注意，對於廣度優先走訪之情況，次分割資訊將以不同的順序被發送，如第6b圖中之展示。

相似於對於預測目的之各樹型方塊的次分割，使成為殘差方塊之各形成預測方塊之分割必須於位元流中被發送。同時，可以有被發送作為側資訊並且自圖像至圖像改變之用於殘差編碼的一最大以及最小方塊尺度。或者，用於殘差編碼之最大的以及最小方塊尺度可在編碼器以及解碼器中被固定。在主要四叉樹之各個支葉節點，如第3c圖展示者，對應的預測方塊可被分割為最大可接受尺度之殘差方塊。這些方塊是用於殘差編碼之次級四叉樹結構的組成根節點。例如，如果用於圖像之最大的殘差方塊尺度是64×64並且預測方塊尺度是32x32，則整體預測方塊將對應至尺度32x32之一次級(殘差)四叉樹根節點。另一方面，如果對於圖像之最大的殘差方塊尺度是16×16，則32x32預測方塊將由各個尺度為16×16之四個殘差四叉樹根節點所組成。在各個預測方塊之內，次級四叉樹結構之傳信是以光束掃描順序(左方至右方，頂部至底部)利用根節點接根節點方式所完成。如同於主要(預測)四叉樹結構之情況中，對於各個節點，一旗標被編碼，其指明這特定節點是否被分割為其之四個子系節點。接著，如果這旗標具有一數值“1”，則這程序步驟對於所有四個對應的子系節點以及其之對應的子方塊，以光束掃描順序(頂部左方、頂部右方、底部左方、底部右方)遞迴式被重複，直到抵達次級四叉樹之一支葉節點為止。如於主要四叉樹之情況中，對於次級四叉樹最低階系位準上之節點不需要傳信，由於那些節點對應至不可更進一步被分割之最小可能殘差方塊尺度的方塊。

對於熵編碼，屬於相同方塊尺度之殘差方塊的殘差方塊次分割旗標可使用一相同的概率模型被編碼。

因此，依據上面有關第3a至6a圖所呈現之範例，次分割器28對於預測目的定義一主要的次分割並且對於殘差編碼目的定義主要次分割之不同尺度方塊的次級次分割。資料流插入器18藉由對於各個樹型方塊以一曲折掃描順序傳信而編碼主要的次分割，一位元序列依據第6a圖與編碼主要次分割的最大主要方塊尺度以及最大階系位準一起建立。因此，對於各個定義的預測方塊，關聯的預測參數已被包含進入資料流。此外，相似資訊，亦即，依據第6a圖之最大尺度、最大階系位準以及位元序列，之編碼發生於其尺度是等於或較小對於殘差次分割之最大尺度的各個預測方塊，並且發生於其尺度超過對於殘差方塊所定義的最大尺度之預測方塊被預分割成之各個殘差樹根方塊。因此，對於各個被定義的殘差方塊，殘差資料被插進資料流內。

抽取器102在輸入116自資料流抽取各別的位元序列並且告知分割器104關於因此被取得之次分割資訊。除此之外，資料流插入器18以及抽取器102可在預測方塊以及殘差方塊之中使用先前提及的順序以進一步地發送語法元素，例如，藉由殘差預編碼器14輸出之殘差資料以及藉由預測器12輸出之預測參數。使用這順序具有優點，其中用以編碼某一方塊之個別的語法元素之適當脈絡可藉由利用鄰近方塊之先前被編碼/被解碼的語法元素被選擇。此外，同樣地，殘差預編碼器14以及預測器12、殘差重建器106以及預編碼器110可以上面敘述之順序處理個別的預測以及殘差方塊。

第7圖展示步驟流程圖，其可藉由抽取器102被進行，以便當如上面論述的方式編碼時可自資料流22抽取出次分割資訊。於第一步驟中，抽取器102分割圖像24成為樹根方塊150。這步驟被指示如第7圖中之步驟300。步驟300可涉及自資料流22抽取最大預測方塊尺度之抽取器102。同時或可選擇地，步驟300可涉及自資料流22抽取最大階系位準的抽取器102。

接著，於步驟302中，抽取器102自資料流解碼出一旗標或位元。第一次步驟302被進行，抽取器102了解各別的旗標是屬於樹根方塊掃描順序140之第一樹根方塊150的位元序列之第一旗標。由於這旗標是階系位準0之一旗標，抽取器102於步驟302中可使用關聯於階系位準0的一脈絡模型，以便決定一脈絡。各個脈絡可具有用以熵解碼與之關聯的旗標之一各別的概率估計。該等脈絡之概率估計可對各別脈絡符號統計量分別脈絡地被調適。例如，為了於步驟302中決定用以解碼階系位準0之旗標的一適當脈絡，抽取器102可挑選一組脈絡之一脈絡，其取決於鄰近樹型方塊的階系位準0旗標被關聯於階系位準0，或甚至進一步地取決於，包含在位元串列內之資訊，該位元串列是定義目前處理的樹型方塊之鄰近樹型方塊(例如，頂部以及左方的鄰近樹型方塊)之四叉樹次分割。

於接著之步驟中，亦即，步驟304，抽取器102檢查關於最近被解碼之旗標是否建議一分隔。如果是這情況，則抽取器102分隔當前之方塊–目前是一樹型方塊–或於步驟306中指示這分隔至次分割器104a，並且檢查，於步驟308中，關於目前之階系位準是否等於最大階系位準減一。例如，於步驟300中，抽取器102，例如，同時也可具有自資料流抽取的最大階系位準。如果目前之階系位準不等於最大的階系位準減一，則於步驟310中抽取器102增加1至目前之階系位準，並且回至步驟302以自資料流解碼下一個旗標。這時，將於步驟302中被解碼的旗標屬於另外的階系位準，並且，因此，依據一實施例，抽取器102可挑選一不同組集脈絡之一者，該組集屬於目前之階系位準。該挑選同時也可以是取決於依據第6a圖已被解碼之鄰近樹型方塊的次分割位元序列。

如果一旗標被解碼，並且於步驟304中之檢查揭露這旗標並不建議目前方塊之一分割，則抽取器102繼續進行步驟312以檢查關於目前之階系位準是否為0。如果是這情況，則抽取器102於步驟314中以掃描順序140對於下一個樹根方塊繼續進行處理或如果沒有將被處理的樹根方塊留下，則停止處理抽取次分割資訊。

應注意到，第7圖之說明僅集中在預測次分割的次分割指示旗標之解碼，以至於，事實上，步驟314可能涉及例如，有關目前樹型方塊之進一步的二元值或語法元素之解碼。於任何情況中，如果一進一步的或下一個樹根方塊存在，則抽取器102自步驟314繼續進行至步驟302以自次分割資訊解碼下一個旗標，亦即，關於新樹根方塊的旗標序列之第一旗標。

如果於步驟312中，階系位準結果是不等於0，則於步驟316中操作繼續進行關於目前節點之進一步的子系節點是否存在之檢查。亦即，當抽取器102於步驟316中進行檢查時，於步驟312中其已被檢查目前之階系位準是否為除了0階系位準之外的一階系位準。接著，這表示一親源節點存在，其屬於一樹根方塊150或較小的方塊152a-d，或更小的方塊152a-d，以及等等之一者。最近被解碼的旗標所屬之樹型結構節點具有一親源節點，其是相用於目前樹型結構之三個進一步的節點。在具有一共同親源節點之此些子系節點中的掃描順序已在第3a圖中對於階系位準0以參考標號200作為範例地被說明。因此，於步驟316中，抽取器102檢查關於所有的這些四個子系節點是否已在第7圖處理程序之內被視訪過。如果不是這情況，亦即，如果有目前親源節點之進一步的子系節點，則第7圖處理程序繼續進行步驟318，其中下一個子系節點依據在目前階系位準內之一曲折掃描順序200將被視訪，以至於其之對應的子方塊此刻代表處理程序7之目前方塊，並且隨後，於步驟302中，一旗標將自關於目前方塊或目前節點之資料流被解碼出。然而，如果於步驟316中，對於目前之親源節點無進一步的子系節點，則第7圖之處理程序繼續進行至步驟320，其中目前之階系位準在處理程序繼續進行步驟312之後將被減去1。

藉由進行第7圖展示之步驟，抽取器102以及次分割器104a相配合以自資料流重新獲得在編碼器側被選擇之次分割。第7圖之處理程序是集中在上面所說明的預測次分割情況。第8圖展示，與第7圖的流程圖組合，抽取器102以及次分割器104a如何相配合以自資料流重新獲得殘差次分割。

尤其是，第8圖展示對於自預測次分割所產生的各個預測方塊，分別地藉由抽取器102以及次分割器104a所進行之步驟。這些預測方塊被走訪，如上面提到的，其是依據在預測次分割的樹型方塊150中之一曲折掃描順序140並且使用用以走訪支葉方塊之目前視訪的各個樹型方塊150內之一深度優先走訪順序，例如，於第3c圖中所展示。依據深度優先走訪順序，分隔的主要樹型方塊之支葉方塊以深度優先走訪順序被視訪，其以曲折掃描順序200視訪某一階系位準之子方塊是否具有一共用之目前節點並且在繼續進行至下一個子方塊之前首先以這曲折掃描順序200主要地掃描各個這些子方塊之次分割。

對於第3c圖中之範例，在樹型方塊150支葉節點之中所產生的掃描順序以參考標號350被展示。

對於一目前視訪的預測方塊，第8圖之處理程序開始於步驟400。於步驟400中，指示目前方塊之目前尺度的一內在參數被設定而等於殘差次分割階系位準0之尺度，亦即，殘差次分割的最大方塊尺度。應記得，最大殘差方塊尺度可能較低於預測次分割的最小方塊尺度或可能等於或較大於後者。換句話說，依據一實施例，編碼器是自由地選擇任何剛提及的可能性。

於接著的步驟中，亦即，步驟402，關於目前視訪的方塊之預測方塊尺度是否較大於指示目前尺度之內部參數的檢查被進行。如果是這情況，則目前視訪的預測方塊，其可能是預測次分割之一支葉方塊或預測次分割之一樹型方塊，其不更進一步地被分隔，是較大於最大的殘差方塊尺度，並且於這情況中，第8圖之處理程序繼續進行第7圖之步驟300。亦即，目前視訪的預測方塊被分割為殘差樹根方塊，並且在這目前視訪的預測方塊內之第一殘差樹型方塊的旗標序列之第一旗標，於步驟302中被解碼以及等等。

然而，如果目前視訪之預測方塊具有等於或較小於指示目前尺度之內部參數的尺度，則第8圖之處理程序繼續進行至步驟404，其中預測方塊尺度被檢查以決定其是否等於指示目前尺度之內部參數。如果是這情況，則分割步驟300可被跳過並且處理程序繼續直接地進行第7圖之步驟302。

然而，如果，目前視訪的預測方塊之預測方塊尺度是較小於指示目前尺度之內部參數，則第8圖之處理程序繼續進行步驟406，其中階系位準被增加1並且目前之尺度被設定而使得新的階系位準之尺度，例如被除以2(於四叉樹次分割情況之兩個軸方向中)。隨後，再次進行步驟404之檢查。利用步驟404以及406所形成之迴路的作用是階系位準經常對應至將被分隔之對應的方塊尺度，無關於各別的預測方塊較小於或等於/較大於最大殘差方塊尺度。因此，當於步驟302中解碼旗標時，進行之脈絡模型同時依據旗標指示之方塊的階系位準以及尺度。對於不同階系位準或方塊尺度的旗標之不同脈絡的分別地使用之一優點是，其中概率估計可在旗標評估發生之中良好地適用於實際概率分配，另一方面，其具有一相對適度之將被處理的脈絡數目，因此降低脈絡管理經常支出以及增大脈絡對實際符號統計資料之調適性。

如上面所提到的，其可能有一個以上的取樣陣列並且這些取樣陣列可被群集成為一個或多個平面群組。將被編碼之輸入信號，進入輸入32，例如，可能是一視訊序列之一圖像或一靜止影像。因此，該圖像可能以一個或多個取樣陣列形式被給與。於一視訊序列之一圖像或一靜止影像的編碼脈絡中，取樣陣列可指示三個彩色平面，例如紅、綠以及藍或指示亮度以及色度平面，如以YUV或YCbCr之彩色表示。此外，表示屬性，亦即，對於3D視訊素材之透明度，及/或深度資訊之取樣陣列也可呈現。一些這種取樣陣列可群集一起而形成所謂的平面群組。例如，亮度(Y)可以是僅具有一取樣陣列之一平面群組並且色度，例如CbCr，可以是具有二個取樣陣列之另外的平面群組，或於另外的範例中，YUV可以是具有三個矩陣之一平面群組，並且對於3D視訊素材之一深度資訊可以是僅具有一取樣陣列之一不同的平面群組。對於每個平面群組，一主要四叉樹結構可在資料流22之內被編碼而表示成為預測方塊之分割並且對於各個預測方塊，一次要四叉樹結構表示成為殘差方塊之分割。因此，依據剛提及之第一範例，其中亮度分量是一平面群組，而色度分量則形成其他的平面群組，其可能是用於亮度平面預測方塊之一個四叉樹結構，用於亮度平面殘差方塊之一個四叉樹結構，用於色度平面預測方塊之一個四叉樹結構以及用於色度平面殘差方塊之一個四叉樹結構。然而，於先前提及的第二範例中，其可能是一起用於亮度以及色度(YUV)預測方塊之一個四叉樹結構，一起用於亮度以及色度(YUV)殘差方塊之一個四叉樹結構，用於3D視訊素材之深度資訊預測方塊的一個四叉樹結構以及用於3D視訊素材之深度資訊殘差方塊的一個四叉樹結構。

進一步地，於先前的說明中，輸入信號使用一主要四叉樹結構被分割為預測方塊並且其說明這些預測方塊如何進一步地使用一次級四叉樹結構被次分割為殘差方塊。依據一不同實施例，次分割可能不在次級四叉樹級結束。亦即，自使用次級四叉樹結構之一分割所取得的方塊可使用一第三代四叉樹結構進一步地被次分割。這分割，依次地，可能被使用於使用可幫助編碼殘差信號之進一步的編碼工具之目的上。

先前的說明集中在分別地藉由次分割器28以及次分割器104a所進行之次分割上。如上面所提到的，藉由次分割器28以及104a被定義之次分割，可能分別地控制先前提到的編碼器10以及解碼器100模組之處理方塊尺度。然而，依據下面說明之實施例，分別地，次分割器228以及104a，於其之後分別地接隨著一合併器30以及合併器104b。然而，應注意到，合併器30以及104b是選用的並且可被去除。

然而，實際上，並且如下面更詳細之論述，合併器提供結合一些預測方塊或殘差方塊為群集或聚集給編碼器之機會，以至於其他者，或至少一些其他的模組可一起處理這些方塊群集。例如，預測器12可犧牲在一些預測方塊的預測參數間之小的偏移，其藉由使用次分割器28之次分割而最佳化地被決定，且如果對於屬於這群集所有方塊之一共同參數一起傳送之群集的預測方塊之傳信，在位元率/失真比意義上比傳信分別地對於所有這些預測方塊之預測參數是更有希望的話，則其將替代地使用共用於所有這些預測方塊之預測參數。對於預測器12以及110重新獲得預測之處理，其本身，依據這些共用預測參數，仍可以預測方塊方式發生。然而，其也有可能是預測器12以及110對於全體預測方塊群集進行一次預測處理。

如下面更詳細之論述，其也有可能是，預測方塊的群集不僅是對於使用供用於一群集的預測方塊之相同或共用之預測參數，其同時也可以是，可選擇地，或另外地，使編碼器10一起發送對於這群集之一預測參數以及屬於這群集之預測方塊之預測殘差，以至於對於這群集之預測參數的傳信經常費用可被降低。於後者之情況中，合併處理程序可能僅影響資料流插入器18而不影響殘差預編碼器14以及預測器12之決定。然而，下面將呈現更多細節。然而，為完整起見，應注意到，剛提及的論點同時也可應用至其他的次分割上，例如，上面提及之殘差次分割或過濾器次分割。

首先，取樣組集之合併，例如，先前所提到的預測以及殘差方塊，以更普遍的意義被激發，亦即，非限定於上面所提及之多樹型次分割。然而，對於上面剛說明之實施例，接著之說明將集中於自多樹型次分割所產生的方塊之合併。

大體而言，對於發送關聯的編碼參數之目的，合併關聯於取樣特定組集的語法元素將可降低影像以及視訊編碼應用中之側資訊率。例如，將被編碼之信號的取樣陣列通常被分隔成為取樣的特定組集或取樣組集，其可表示矩形或正方形方塊，或任何其他的取樣採集，包含成任意形狀之區域，三角形或其他的形狀。在先前所說明之實施例中，簡單地連接區域是自多樹型次分割所產生的預測方塊以及殘差方塊。取樣陣列之次分割可被固定，如利用語法，或，如上面的說明，次分割可以是，至少部份地，在位元流內部被傳信。為維持對於傳信次分割資訊之側資訊率為小量的，語法通常僅允許導致簡易分割之限定數目選擇，例如，方塊次分割為較小的方塊。取樣組集被關聯於特定編碼參數，其可指定預測資訊或殘差編碼模式，等等。關於這論題之細節已在上面被說明。對於各個取樣組集，例如，用以指明預測及/或殘差編碼之個別的編碼參數可被發送。為了達成改進的編碼效率，下面說明之合併論點，亦即，將二個或更多個取樣組集合併成為所謂的取樣組集之群集，將可具有一些優點，其將在下面進一步地被說明。例如，取樣組集可被合併，因而此一群集的所有取樣之組集共用相同的編碼參數，其可與群集中的取樣組集之一者共同被發送。藉由如此進行，編碼參數不必須得對於取樣組集之群集的各個取樣組集分別地被發送，反而，編碼參數對於取樣組集之所有群集僅被發送一次。因而，對於發送編碼參數之側資訊率可被降低並且全面之編碼效率可被改進。如一供選擇之方法，對於一個或多個編碼參數之一另外的精緻度可對於一取樣組集的群集之一個或多個取樣組集而被發送。該精緻度可以是應用於一群集之所有取樣組集或僅僅應用於將被發送的取樣組集之其中一者。

將在下面進一步地被說明之合併論點同時也提供產生位元流22之較大的自由度給編碼器，因為該合併方法顯著地增大對於挑選供用於一圖像之取樣陣列的分割之可能性數量。因為該編碼器可在更多的選項之間做出選擇，例如，對於最小化一特定位元率/失真量測，故編碼效率可被改進。操作一編碼器可以有數個可能性。於一簡易的方法中，編碼器可首先決定取樣陣列之最佳的次分割。概略地參看至第1圖，次分割器28可在第一階段中決定最理想的次分割。隨後，其可對於各個取樣組集被檢查，是否另外的取樣組集或取樣組集之另外的群集之合併，降低特定位元率/失真成本量測。於此，關聯於取樣組集之一合併群集的預測參數可重新被估計，例如，藉由進行一新的移動搜尋，或已對於共有之取樣組集被決定之預測參數以及供用於合併之候選取樣組集或取樣組集之群集可針對被考慮的取樣組集之群集而被評估。一更廣泛之方法中，對於取樣組集之附加候選群集的一特定位元率/失真成本量測可被評估。

應注意到，此後說明之合併方法並不改變取樣組集之處理順序。亦即，合併概念可以使延遲不會增大的方式被實作，亦即，各個取樣組集可如不使用合併方法之相同時間，而保持可解碼。

如果，例如，藉由降低編碼預測參數之數目而被儲存之位元率，是較大於附加地耗費於供指示對解碼側之合併的編碼合併資訊之位元率，將在下面進一步地被說明之合併方法將導致一增大的編碼效率。應進一步注意到，對於合併所說明的語法延伸部份，關於挑選一圖像或平面群組成為方塊之分割方面，提供編碼器額外之自由度。換句話說，編碼器並不被限定於首先處理次分割而接著去檢查產生的一些方塊是否具有相同的組集或相似組集的預測參數。如一簡易的選擇，編碼器可首先依據位元率失真成本量測決定次分割並且接著編碼器可檢查，對於各個方塊，關於與其之鄰近方塊或被關聯之先前被決定的方塊群集之一者的合併，是否降低位元率失真成本量測。於此，關聯於新的方塊群集之預測參數可重新被估計，例如，藉由進行一新的移動搜尋，或對於目前之方塊以及鄰近的方塊或方塊群集已被決定的預測參數可對於新的方塊群集被評估。合併資訊可以方塊基礎之方式被傳信。有效地，合併同時也可以解釋為對於一目前方塊之預測參數的推論，其中被推論之預測參數被設定為等於鄰近方塊之一者的預測參數。可選擇地，殘差量可對於一方塊群集內之方塊被發送。

因此，在下面進一步被說明之合併概念下的基本構想將藉由合併鄰近的方塊使成為方塊群集，而降低發送預測參數或其他編碼參數所需的位元率，其中各方塊群集被關聯於唯一的編碼參數組集，例如，預測參數或殘差編碼參數。除了次分割資訊之外，如果出現的話，合併資訊在位元流之內部被傳信。合併概念之優點是對於編碼參數自一減少的側資訊率所產生之增大的編碼效率。應注意到，此處說明之合併處理程序同時也可延伸至除了空間維度之外的其他維度。例如，一取樣或方塊之組集的群集，分別地，位於數個不同的視訊圖像之內，可被合併成為一個方塊群集。合併同時也可被應用至4D壓縮以及光場編碼。

因此，概要地返回至先前第1至8圖的說明，值得注意的是，次分割之後隨著合併處理具有分別地無關於特定方式次分割圖像之次分割器28以及104a之優點。更確切地說，後者也可以相似，例如，H.264，的方式次分割圖像，亦即，藉由次分割各個圖像使成為預定尺度(例如，16x16亮度取樣或在資料流內被傳信的尺度)之矩形或正方形巨方塊的規則性排列，各巨方塊具有某些與之關聯的編碼參數，其包括，尤其是，分割參數，其對各個巨方塊，定義使成為一規則性子網格1、2、4之分割或一些被視為用以預測之方塊尺度的其他分隔數目以及於資料流中與用以定義殘差量以及對應的殘差轉換方塊尺度的分隔之對應的預測參數。

於任何情況中，合併提供上面所提概述的優點，例如，降低影像以及視訊編碼應用中之側資訊位元率。特定的取樣組集，其可代表矩形或正方形方塊或任意形狀之區域或任何其他取樣收集，例如，任何簡單連接區域或取樣通常被連接於編碼參數之一特定組集並且對於各個取樣組集，編碼參數被包含在位元流中，該等編碼參數表示，例如，預測參數，其指明對應的取樣組集如何使用已先前被編碼的取樣被預測。使圖像的取樣陣列成為取樣組集之分隔可藉由語法被固定或可藉由對應的次分割資訊在位元流內部被傳信。對於取樣組集之編碼參數可以利用語法被給與的一預定順序被發送。依據合併功能，合併器30可傳信，對於一共同取樣組集或一目前方塊，例如，一預測方塊或殘差方塊，其與一個或多個其他取樣組集被合併成為取樣組集之一群集。對於一取樣組集之群集的編碼參數，因此，將僅需要被發送一次。於一特定實施例中，如果目前之取樣組集與編碼參數已先前地被發送之一取樣組集或一已存在的取樣組集群集合併的話，則一目前取樣組集之編碼參數將不被發送。反之，對於目前之取樣組集的編碼參數被設定為等於目前之取樣組集被合併的取樣組集或取樣組集之群集的編碼參數。如另一選擇方法，對於一個或多個編碼參數之另外的精緻度可對於一目前之取樣組集被發送。該精緻度可以被應用至一群集的所有取樣組集或僅被應用至被發送的取樣組集。

依據一實施例，對於各個取樣組集，例如，如上面提到的一預測方塊、上面提到的一殘差方塊、或上面提到的一多樹型次分割之支葉方塊，所有先前被編碼/被解碼的取樣組集之組集被稱為“因果性取樣組集之組集”。參看，例如，第3c圖。這圖形中所展示的所有方塊是某一次分割之結果，例如，一預測次分割或一殘差次分割或任何多樹型次分割，或其類似者，並且在這些方塊之中被定義的編碼/解碼順序利用箭號350被定義。考慮在這些方塊中之某一方塊是目前之取樣組集或目前之簡單地連接區域時，則其之因果性取樣組集之組集將是由沿著順序350之先前於目前方塊的所有方塊所組成。然而，再次地，回顧到不使用多樹型次分割之另外的次分割，其將不但可能是而且是下面的合併原理之關切議題。

取樣組集，其可被使用於與一目前取樣組集之合併，在下面將被稱為“候選取樣組集之組集”，並且經常是“因果性取樣組集之組集”的一子集。子集如何被形成之方式可以是已知於解碼器或其可在資料流或位元流內部自編碼器被指定至解碼器。如果一特定之目前取樣組集被編碼/被解碼，並且其候選取樣組集之組集不是空的，則其在編碼器處被傳信於資料流內或在解碼器處自資料流被得到，是否共同取樣組集與得自這候選取樣組集之組集的一取樣組集合併，並且，如果如此，則與它們合併。否則，該合併不能被使用於這方塊，由於候選取樣組集之組集反正總是空的。

有不同的方法以決定因果性多個取樣組集之組集的子集，其將表示多個候選取樣組集之組集。例如，候選取樣組集之決定可依據目前取樣組集內部之一取樣，其是唯一幾何式被定義，例如，一矩形或正方形方塊之左上方影像取樣。自這唯一幾何式被定義的取樣開始，一特定非零值數目之取樣被決定，其直接地表示這唯一幾何式被定義的取樣之空間鄰近者。例如，這特定非零值數目之取樣包括唯一地幾何式被定義的目前取樣組集之取樣的頂部鄰近者以及左方鄰近者，因而鄰近取樣的非零值數目可以是，最大為二，如果頂部或左方鄰近者之一是不可供用的或位於圖像之外則是一，或於兩鄰近者皆是缺失的情況中，則為零值。

候選取樣組集之組集接著可被決定以包括含有非零值數目之剛提及鄰近取樣的至少一者的那些取樣組集。參看，例如，第9a圖。被考慮作為合併物件之目前取樣組集，可能是方塊X並且其是幾何式唯一被定義的取樣，應可範例式作為在400所指示之頂部左方取樣。取樣400之頂部以及左方鄰近者以402以及404被指示。因果性取樣組集之組集或因果性方塊之組集以斜線方式被強調。在這些方塊之中，方塊A以及B包括鄰近取樣402以及404之一者，並且因此，這些方塊形成候選方塊之組集或候選取樣組集之組集。

依據另外的實施例，為合併目的被決定的候選取樣組集之組集也可額外地或專門地被包含多個取樣組集，該等取樣組集含有一特定非零值數目取樣，其可以是具有相同空間位置之一個或二個，但是卻被包含在一不同圖像中，亦即，例如，一先前被編碼/被解碼的圖像。例如，除了第9a圖中A以及B方塊之外，先前被編碼的圖像之一方塊可被使用，其包括在如取樣400之相同位置取樣。順便地，值得注意的是，僅有頂部鄰近取樣404或僅有左方鄰近取樣402可被使用，以定義在先前提及的非零值數目之鄰近取樣。大體上，候選取樣組集之組集可在目前圖像之內或其他圖像中自先前所處理的資料被得到。有關組集得到之資訊可包含空間方向資訊，例如，有關於一特定方向的轉換係數和目前圖像之影像梯度或其可包含時間方向資訊，例如，鄰近移動表示。候選取樣組集之組集可被得自可供用於接收器/解碼器之此等資料以及其他資料與在資料流內之側資訊，如果存在的話。

應注意到，候選取樣組集之得到程序利用在編碼器側之合併器30以及在解碼器側之合併器104b兩者平行地被進行。如剛所提到的，兩者可依據其兩者所知的預定方式而彼此無關地決定候選取樣組集之組集或編碼器可在位元流內傳信注意事項，其將合併器104b帶入一位置，以相當於合併器30在編碼器側所決定的候選取樣組集之組集的方式而進行這些候選取樣組集之得到程序。

如將在下面更詳細之說明，合併器30以及資料流插入器18合作，以便發送供用於各取樣組集之一個或多個語法元素，其指明該等取樣組集是否與另外的取樣組集合併，依次地，其可以是已先前合併之取樣組集的群集之部份並且其中用於合併之候選取樣組集的組集被採用。抽取器102，依次地，抽取這些語法元素並且因此通知合併器104b。尤其是，依據稍後說明之特定實施例，一個或二個語法元素被發送以供指明用於一特定取樣組集之合併資訊。第一語法元素指明目前之取樣組集是否與另外的取樣組集合併。第二語法元素，其僅如果第一語法元素指明目前之取樣組集與另外的取樣組集合併，指明供用於合併的哪個候選取樣組集之組集被採用時方被發送。如果得到的候選取樣組集之一組集是空的，則第一語法元素之發送可被抑制。換句話說，僅如果所得到的候選取樣組集之一組集不是空的話，第一語法元素方可被發送。僅如果得到的候選取樣組集之一組集包含一個以上的取樣組集時，第二語法元素方可被發送，因為如果僅一個取樣組集被包含在候選取樣組集之組集中，則進一步的挑選無論如何是不可能的。更進一步地，如果候選取樣組集之組集包括一個以上的取樣組集，但是如果候選取樣組集之組集的所有取樣組集被關聯於相同的編碼參數，則第二語法元素之發送可能被抑制。換句話說，僅如果候選取樣組集之一得到組集之至少二個取樣組集被關聯於不同的編碼參數，則第二語法元素方可被發送。

在位元流之內，對於一取樣組集之合併資訊可在預測參數或其他特定編碼參數被關聯於取樣組集之前被編碼。僅如果合併資訊傳信目前之取樣組集將不與任何其他取樣組集合併，則預測或編碼參數方可被發送。

對於某一取樣組集，亦即，一方塊，之合併資訊，例如，可在預測參數，或更廣義地，關聯於各別的取樣組集之編碼參數之一適當子集被發送之後被編碼。預測/編碼參數之子集可由一個或多個參考圖像指標或移動參數向量之一個或多個分量或一參考指標以及一移動參數向量之一個或多個分量等等所組成。已先前被發送預測或編碼參數之子集可被使用以供得到自候選取樣組集的一較大暫定組集之候選取樣組集的一組集，其可如上面說明被得到。如一範例，在目前取樣組集之已編碼之預測與編碼參數以及候選取樣組集之初步組集的對應的預測或編碼參數之間，依據一預定距離量測之一差異量測或距離可被計算出。接著，僅被計算的差異量測或距離較小於或等於一預定或被得到的臨界值之那些取樣組集，被包含在候選取樣組集之最後，亦即，減小組集。例如，參看第9a圖。目前之取樣組集可以是方塊X。關於這方塊之編碼參數的一子集可已經被插入資料流22中。想像，例如，方塊X是一預測方塊，於其情況中，編碼參數之適當子集可以是對於這方塊X之預測參數的一子集，例如，得自包括一圖像參考指標以及移動映射資訊，例如，一移動向量之一組集的一子集。如果方塊X是殘差方塊，則編碼參數之子集是一殘差資訊之子集，例如，轉換係數或指示在方塊X內之重要轉換係數的位置之映射圖。依據這資訊，資料流插入器18以及抽取器102兩者皆可使用這資訊，以便決定得自方塊A以及B的一子集，於這特定實施例中，其形成先前所提到的候選取樣組集之初步組集。尤其是，由於方塊A以及B屬於因果性取樣組集之組集，在方塊X之編碼參數目前正被編碼/被解碼之時，其編碼參數是可供用於編碼器以及解碼器兩者。因此，在先前所提到的使用差異量測之對照可被使用以排除候選取樣組集A以及B之初步組集的任何數目方塊。候選取樣組集之減小組集接著可如上面說明地被使用，亦即，以便決定關於指示一合併之一合併指示符是否在其內部被發送或者是否將依據在候選取樣組集之減小組集內之取樣組集數目自資料流被抽取出，以及決定關於一第二語法元素是否必須在其內部被發送，或必須自資料流被抽取出一第二語法元素，該第二語法元素指示在候選取樣組集之減小組集內之哪些取樣組集將是用於合併之搭配方塊。

對照於先前所提到的臨界值，在先前所提到被比較的距離可被固定並且是已知於編碼器以及解碼器兩者或可依據所計算的距離，例如，差異數值之中間數，或一些其他中央傾向值或其類似者被得到。於這情況，候選取樣組集之減小組集將無可避免地是候選取樣組集的初步組集之一適當子集。可選擇地，僅對於依據距離量測之距離被最小化的那些取樣組集自候選取樣組集之初步組集被挑選出。可選擇地，使用先前所提到距離量測，則正好有一取樣組集自候選取樣組集之初步組集被挑選出。於後面情況中，合併資訊將僅需要指示目前之取樣組集是否將與一個別的候選取樣組集合併。

因此，候選方塊之組集可如下面關於第9a圖之說明被形成或被得到。開始於第9a圖中目前方塊X之頂部左方的取樣位置400，其之左方鄰近的取樣402位置以及其之頂部鄰近取樣404位置在其之編碼器以及解碼器側被得到。候選方塊之組集因此可僅具有高至二個元素，亦即，得自第9a圖中包含二個取樣位置之一者的因果性方塊之斜線組集的那些方塊，其於第9a圖之情況中，是方塊B以及A。因此，候選方塊之組集可僅具有目前方塊之頂部左方取樣位置的二個直接鄰近方塊作為其之元素。依據另外的實施例，候選方塊之組集可利用已在目前方塊之前被編碼並且包含表示目前方塊之任何取樣直接空間鄰近者之一個或多個取樣的所有方塊被給與。該直接空間鄰近區域可被限定於目前方塊之任何取樣的直接左方鄰近者及/或直接頂部鄰近者及/或直接右方鄰近者及/或直接底部鄰近者。例如，參看第9b圖，其展示另外的方塊次分割。於這情況中，候選方塊包括四個方塊，亦即，方塊A、B、C、以及D。

可選擇地，候選方塊之組集，額外地，或專門地，可含有包括將被置放在相同於目前方塊之任何取樣位置的一個或多個取樣之方塊，但是被包含在一不同者，亦即，已被編碼/被解碼的圖像中。

更不同地，方塊之候選組集表示在上面說明之方塊組集的一子集，其藉由以空間或時間方向表示之鄰近區域被決定。候選方塊之子集可被固定，被傳信或被得到。候選方塊子集之得到可考慮對於該圖像中或其他圖像中的其他方塊之決定。如一範例，被關聯於相同或比其他候選方塊更相似的編碼參數之方塊，可能不被包含在方塊之候選組集中。

下面實施例之說明，將應用於僅包含目前方塊之頂部-左方取樣的左方以及頂部鄰近取樣之被考慮作為最大可能的候選者之二個方塊的情況中。

如果候選方塊之組集不是空的，則被稱為merge_flag(合併_旗標)之一旗標被傳信，該旗標指明目前方塊是否與任何候選方塊合併。如果merge_flag是等於0 (“假”)，則這方塊不與其候選方塊之一者合併，並且所有編碼參數如常地被發送。如果merge_flag是等於1(“真”)，則下述適用。如果候選方塊之組集包含一個並且僅一個方塊，則這候選方塊被使用於合併。否則，候選方塊之組集確切地僅包含二個方塊。如果這二個方塊之預測參數是相同的，則這些預測參數被使用於目前之方塊。否則(二個方塊具有不同的預測參數)，被稱為merge_left_flag (合併_左方_旗標)之一旗標被傳信。如果merge_left_flag是等於1 (“真”)，則包含目前方塊之頂部-左方取樣位置的左方鄰近取樣位置之方塊自候選方塊之組集被挑選出。如果merge_left_flag是等於0(“假”)，得自候選方塊之組集的其他(亦即，頂部鄰近)方塊被挑選。被挑選的方塊之預測參數被使用於目前之方塊。

總結有關合併的一些上面說明實施例，參考第10圖，其展示利用抽取器102進行以自進入輸入116之資料流22抽取出合併資訊之步驟。

處理程序開始於450，其辨識用於一目前取樣組集或方塊之候選方塊或取樣組集。應記得，用於方塊之編碼參數以某種一維順序在資料流22之內被發送，並且因此，第10圖是有關於目前被視訪的取樣組集或方塊重新獲得合併資訊之處理程序。

如在先前所提到的，辨識以及步驟450可包括依據鄰近區域論點在先前被解碼的方塊，亦即，因果性方塊組集之中的辨識。例如，那些鄰近方塊可被指定為候選者，其包含在空間或時間方面鄰近於目前方塊X之一個或多個幾何式預定取樣之某些鄰近的取樣。進一步地，辨識步驟可包括二個階段，亦即，第一階段包含如剛提及的辨識，亦即，依據鄰近區域，導致候選方塊之一初步組集的辨識；以及第二階段，依據該第二階段，僅被指定候選的那些方塊(其已被發送之編碼參數滿足對於目前方塊X之編碼參數的一適當子集之某種關係)，已在步驟450之前自資料流被解碼。

接著，處理步驟至步驟452，其決定關於候選方塊數目是否較大於零值。如果是這情況，則於步驟454中一merge_flag自資料流被抽取出。抽取步驟454可包含熵解碼。於步驟454中，用於熵解碼merge_flag之脈絡可依據語法元素被決定，該等語法元素屬於，例如，候選方塊之組集或候選方塊之初步組集，其中語法元素上之相依性可被限定於屬於相關組集之方塊是否已接受合併之資訊。被挑選的脈絡之概率估計可被調適。

然而，如果候選方塊數目被決定為零值取代452時，則第10圖之處理程序繼續進行步驟456，於其中目前方塊之編碼參數自位元流被抽取出，或於上面提到之二個階段辨識選擇的情況中，自其餘的編碼參數被抽取出，其中在抽取器102以方塊掃描順序(例如，第3c圖中展示之順序350)繼續進行處理下一個方塊之後。

返回至步驟454，處理程序在步驟454之抽取後，繼續進行步驟458關於被抽取之merge_flag是否建議目前方塊合併之發生或無的檢查。如果沒有合併將發生，則處理程序繼續進行在先前所提到的步驟456。否則，處理程序繼續進行步驟460，其包含關於候選方塊數目是否等於一之檢查。如果是這情況，則關於在候選方塊之中的某一候選方塊的指示之發送是不需要的，並且因此第10圖之處理程序繼續進行步驟462，依據該步驟，目前方塊之合併搭配者被設定而僅為在其之後的候選方塊，於步驟464中，合併的搭配方塊之編碼參數被使用於編碼參數或目前方塊之其餘編碼參數的調適或預測。於調適情況中，目前方塊之缺失的編碼參數僅自合併搭配方塊被複製。於其他情況中，亦即，於預測情況中，步驟464可涉及自資料流進一步抽取出殘差資料，該殘差資料是有關目前方塊之缺失編碼參數之預測殘差量，以及這殘差資料與自合併搭配方塊取得之這些缺失的編碼參數之預測的組合。

然而，如果於步驟460中，候選方塊數目被決定為較大於一，則第10圖之處理程序進至步驟466，其中關於編碼參數或編碼參數之相關部份–亦即，有關其對於目前方塊之在資料流之內尚未被轉換的部份之子部份–是否彼此相同的檢查被進行。如果是這情況，於步驟468中，這些共同的編碼參數被設定為合併參考或候選方塊被設定為合併搭配者，並且於步驟464中，各別的相關編碼參數被使用於調適或預測。

應注意到，合併搭配者其本身可能已經是其合併被傳信的方塊。於這情況中，於步驟464中，被採用的或預測地被取得的合併搭配之編碼參數被使用。

否則，亦即，於編碼參數是不相同的情況中，第10圖之處理程序繼續進行至步驟470，其中進一步的語法元素自資料流被抽取出，亦即，這merge_left_flag。一分別的脈絡組集可被使用於熵-解碼這旗標。被使用於熵-解碼merge_left_flag之脈絡組集同時也可僅包括一個脈絡。在步驟470之後，利用merge_left_flag被指示之候選方塊於步驟472中被設定為合併搭配者，並且被使用於步驟464中之調適或預測。在步驟464之後，抽取器102繼續以方塊順序進行處理下一個方塊。

當然，其存在著許多的選擇。例如，一結合語法元素可在資料流之內，替代先前所說明之分別的語法元素merge_flag以及merge_left_flag，而被發送，該結合語法元素傳信合併處理程序。進一步地，無關於二個候選方塊是否具有相同預測參數，在先前所提到的merge_left_flag可在資料流之內被發送，因此降低對於進行第10圖之處理程序的計算式經常支出。

如先前有關，例如，第9b圖之表示，多於二個以上的方塊可被包含在候選方塊之組集中。進一步地，合併資訊，亦即，傳信一方塊是否被合併之資訊，並且，如果是合併，則候選方塊將與其合併，而利用一個或多個語法元素被傳信。一語法元素可指明該方塊是否與任何的候選方塊合併，例如，上面所說明之merge_flag。僅如果候選方塊之組集不是空的，則旗標可被發送。一第二語法元素可傳信哪些候選方塊被採用於合併，例如，在先前所提到的merge_left_flag，但是一般指示在二個或二個以上的候選方塊之中的一選擇。僅如果第一語法元素傳信目前之方塊將與候選方塊之一者合併，則第二語法元素可被發送。僅如果候選方塊之組集包含一個以上的候選方塊及/或如果任何的候選方塊比任何其他的候選方塊具有不同的預測參數，則第二語法元素可進一步地被發送。該語法可以是依據於有多少的候選方塊被給與及/或依據於不同的預測參數如何被關聯於該等候選方塊。

用以傳信哪些候選方塊之方塊將被使用的語法，可在編碼器以及解碼器側同時地及/或平行地被設定。例如，如果對於在步驟450中被辨識的候選方塊有三種選擇，則語法被選擇，因而僅這三個選擇是可供選擇的並且被考慮用於熵編碼，例如，於步驟470中。換句話說，語法元素被選擇，因而其之符號字母僅具有如候選方塊之選擇存在般的許多元素。對於所有其他選擇的概率可被考慮為零值並且可在編碼器以及解碼器同時地調整熵-編碼/解碼。

進一步地，如先前有關步驟464所提到者，被推斷作為合併處理之結果的預測參數，可能表示被關聯於目前方塊的預測參數之完整組集或它們可表示這些預測參數之一子集，例如，對於使用多個假設預測之一方塊的一假設之預測參數。

如在上面所提到的，有關於合併資訊之語法元素可使用脈絡模型被熵編碼。語法元素可以是由上面所說明的merge_flag以及merge_left_flag(或相似的相似語法元素)所組成。於一具體之範例中，出自三個脈絡模型或多個脈絡之一者可於步驟454中被使用於編碼/解碼merge_flag。被使用的脈絡模型指標merge_flag_ctx可如下所述地被得到：如果候選方塊之組集包含二個元素，則merge_flag_ctx數值是等於二個候選方塊之merge_flag之總數值。然而，如果候選方塊之組集包含一個元素，則merge_flag_ctx數值可能是等於這一候選方塊之merge_flag的二倍數值。由於鄰近候選方塊之各個merge_flag可能是一或零值之任一者，則有三個脈絡是可供用於merge_flag。merge_left_flag可僅使用一單一概率模型被編碼。

然而，依據另一實施例，不同的脈絡模型可被使用。例如，非二元語法元素可被映射至一個二元符號序列上，即所謂的二元值。對於定義合併資訊的一些語法元素二元值或語法元素之脈絡模型，可依據先前被發送之鄰近方塊的語法元素或候選方塊數目或其他的量測被得到，而其他的語法元素或語法元素二元值可利用一固定脈絡模型被編碼。

關於上面方塊合併之說明，值得注意的是，候選方塊之組集同時也可以如上面說明之任何實施例之相同方式卻具有下面的修正而被得到：候選方塊分別地被限定在使用移動補償預測或圖像間預測之方塊。僅那些可以是候選方塊之組集的元素。合併資訊之傳信以及脈絡模型化可如上面說明地被完成。

返回至上面說明之多樹型次分割實施例以及接著說明之合併論點的組合，假設圖像藉由四叉樹為基礎之次分割結構之使用而被分割成為可變尺度之正方形方塊，例如，指明合併的merge_flag以及merge_left_flag或其他的語法元素，可被交錯於對於四叉樹結構之各個支葉節點被發送的預測參數中。再次考慮到，例如，第9a圖。第9a圖展示用於圖像之四叉樹為基礎之次分割使成為可變尺度之預測方塊的範例。最大尺度的頂部二個方塊是所謂的樹型方塊，亦即，它們是最大的可能尺度之預測方塊。這圖形中的其他方塊如同它們對應樹型方塊之次分割般地被取得。目前之方塊被標記為“X”。所有斜線方塊在目前方塊之前被編碼/解碼，因而它們形成因果性方塊組集。如於實施例之一者的候選方塊組集之得到的說明中所說明地，僅包含目前方塊之頂部-左方取樣位置的直接(亦即，頂部或左方)鄰近取樣之方塊可以是候選方塊組集之成員。因此目前之方塊可與方塊“A”或方塊“B”之任一者合併。如果merge_flag是等於0 (“假”)，則目前之方塊“X”不與任何的二個方塊合併。如果方塊“A”以及“B”具有相同的預測參數，則不需要區分，因為與任何二個方塊之合併將導致相同的結果。因此，於這情況中，merge_left_flag不被發送。否則，如果方塊“A”以及“B”具有不同的預測參數，則merge_left_flag等於1(“真”)將合併方塊“X”以及“B”，因而merge_left_flag等於0(“假”)將合併方塊“X”以及“A”。於其他較佳實施例中，另外的鄰近(已被發送)方塊表示用於合併之候選者。

於第9b圖中，另一範例被展示。此處目前之方塊“X”以及左方的鄰近方塊“B”是樹型方塊，亦即，它們具有最大之允許的方塊尺度。頂部鄰近方塊“A”之尺度是樹型方塊尺度的四分之一。斜線方塊是因果性方塊組集之元素。注意，依據較佳實施例之一者，目前方塊“X”僅可能與二個方塊“A”或“B”合併，而不與任何其他頂部鄰近的方塊合併。於其他較佳實施例中，另外的鄰近(已被發送)方塊表示用於合併之候選者。

在進行關於如何處理依據本申請實施例之圖像的不同取樣陣列之論點的說明之前，應注意，上面關於多樹型次分割以及一方面的傳信與另一方面之合併論點的論述，明白地表示這些論點能提供可彼此無關地被利用之優點。亦即，如上面先前的說明，一多樹型次分割與合併的組合具有特定優點，但是優點同時也因此產生自不同者，例如，合併特點利用次分割器30以及104a被進行的次分割被實施，而不是依據一四叉樹或多樹型次分割，但卻是對應至一巨方塊次分割，使這些巨方塊成為較小的分隔之規則性分隔。另一方面，依次地，組合多樹型次分割與最大樹型方塊尺度指示的發送在位元流內，以及多樹型次分割的使用與輸送方塊對應的編碼參數之深度優先走訪順序的使用，是有利地無關於合併特點是否同時地被使用。大體上，合併之優點可被了解，當考慮那點時，直覺地，編碼效率可被增大，當取樣陣列編碼之語法以一方式被延伸時，其不僅是允許次分割一方塊，但同時也允許合併在次分割之後被取得的二個或更多個方塊。因此，吾人取得以相同預測參數被編碼的一方塊群集。對於此一方塊群集的預測參數將僅需要被編碼一次。進一步地，有關取樣組集的合併，應再注意到，被考慮的取樣組集可能是矩形或正方形方塊，於其情況中，合併的取樣組集表示矩形及/或正方形方塊之採集。可選擇地，然而，考慮的取樣組集是任意成形之圖像區域並且合併的取樣組集表示任意地成形的圖像區域之採集。

下面的說明將集中於，每個圖像有一個以上的取樣陣列情況中，一圖像之不同取樣陣列之處理，並且在下面的附屬說明所論述的一些論點是有利地無關於被使用之次分割的類型，亦即，無關於次分割是否依據多樹型次分割，並且無關於是否使用合併。在開始說明關於一圖像的不同取樣陣列之處理的特定實施例之前，這些實施例的主要議題經由進入每個圖像之不同取樣陣列的處理領域的短介紹被引發。

下面的論述將集中在一影像或視訊編碼應用中一圖像之不同取樣陣列的方塊之間的編碼參數，並且，尤其是，集中於調適地預測在一圖像的不同取樣陣列之間的編碼參數之方式，該圖像的不同取樣陣列是在，例如，但不是專門地，分別地在第1與第2圖之編碼器以及解碼器中，或在另外的影像或視訊編碼環境中。該等取樣陣列，如上面所提到的，可表示有關於不同色彩成份的取樣陣列或關聯一圖像與添加資訊(例如，透明度資料或深度圖)的取樣陣列。有關於一圖像之色彩成份的取樣陣列同時也被稱為色彩平面。下面說明之技術同時也被稱為平面間採納/預測，並且其可被使用於方塊為基礎之影像以及視訊編碼器與解碼器中，而對於一圖像之取樣陣列的方塊之處理順序可以是任意的。

影像以及視訊編碼器大體上針對編碼彩色圖像(一靜止影像或一視訊序列圖像)被設計。一彩色圖像是由複數個色彩平面所組成，其表示對於不同色彩成份的取樣陣列。通常，彩色圖像被編碼為由一亮度平面以及二個色度平面組成的一組取樣陣列，其之二個色度平面指定色彩差異成份。於一些應用範圍中，其通常是被編碼的取樣陣列之組集由表示對於紅色、綠色、以及藍色之三個主要色彩的取樣陣列之三個彩色平面所組成。此外，對於一被改進的色彩表示，一彩色圖像可以是由三個以上的色彩平面組成。更進一步地，一圖像可被關聯於輔助取樣陣列，其指定用於圖像之附加資訊。例如，此些輔助取樣陣列可以是指定用於被關聯的色彩取樣陣列的透明度(適合於特定顯示目的)之取樣陣列，或指定一深度圖(適合於產生複數個觀看圖像，例如，用於3-D顯示器)之取樣陣列。

於習見的影像以及視訊編碼標準中(例如H.264)，色彩平面通常一起被編碼，因而特定的編碼參數，例如，巨方塊以及子巨方塊預測模式、參考指標、以及移動向量被使用於一方塊之所有色彩成份上。亮度平面可被考慮作為特定編碼參數在位元流中被指定之主色彩平面，並且色度平面可被考慮作為次要平面，其對應的編碼參數自主亮度平面被推斷。各亮度方塊被關聯於表示一圖像中相同範圍的二個色度方塊。依據被使用的色度取樣形式，色度取樣陣列可以是較小於對於一方塊之亮度取樣陣列。對於由一亮度以及二個色度成份組成的各個巨方塊，使成為較小的方塊之相同分割被使用(假設該巨方塊被次分割)。對於由一亮度取樣方塊以及二個色度取樣方塊組成的各個方塊(其可以是巨方塊本身或該巨方塊之一子方塊)，相同的預測參數組集，例如，參考指標、移動參數、並且有時是圖像內預測模式，被採用。於習見的視訊編碼標準之特定概況(例如，於H.264中之4：4：4)中，其也有可能是獨立地用以編碼一圖像之不同的色彩平面。於那組配中，巨方塊分隔、預測模式、參考指標、以及移動參數，可分別地被選擇以供用於一巨方塊或子方塊之色彩成份。習見編碼標準中，所有色彩平面使用特定編碼參數之相同組集(例如，次分割資訊以及預測參數)一起被編碼或所有色彩平面彼此完全獨自地被編碼。

如果色彩平面一起被編碼，則一組次分割以及預測參數必須被使用於一方塊之所有色彩成份。這確保側資訊被維持在小量，但比較於一獨立的編碼，其可能導致編碼效率之降低，因為不同的方塊分解以及對於不同色彩成份的預測參數之使用可能導致較小的位元率-失真成本。如一範例，對於色度成份使用一不同的移動向量或參考訊框可主要地降低對於色度成份之殘差信號能量並且增大它們整體的編碼效率。如果彩色平面獨自地被編碼，編碼參數，例如，方塊分隔、參考指標、以及移動參數可被挑選以個別地供用於各色彩成份，以便最佳化各色彩成份之編碼效率。但是卻不可能採用在色彩成份之間的冗餘。特定編碼參數之複數發送將導致增大的側資訊率(比較於結合編碼)並且這增大的側資訊率可對整體編碼效率具有一負面影響。同時，對於目前視訊編碼標準(例如，H.264)中之輔助取樣陣列的支援被限定於輔助取樣陣列使用它們獨有的編碼參數組集被編碼之情況中。

因此，在到目前為止被說明的所有實施例中，圖像平面可如上面說明地被處理，但是同時也如上面之論述，當可能依據一方塊基礎而決定，例如，對於一方塊是否所有取樣陣列以相同編碼參數被編碼或是否不同的編碼參數被使用時，對於複數個取樣陣列(其可能是有關於不同的色彩平面及/或輔助取樣陣列)之編碼的所有編碼效率可被增加。下面之平面間預測的基本構想允許，例如，以一方塊為基礎之調適性決定。編碼器可選擇，例如，依據一位元率-失真準則，對於一特定方塊之所有或一些取樣陣列是否使用相同編碼參數被編碼或是否不同的編碼參數使用於不同的取樣陣列。這挑選同時也可藉由對於一取樣陣列之一特定方塊傳信關於特定編碼參數是否自在不同取樣陣列之同一位置而被編碼的方塊被推斷而達成。也有可能安排對於一圖像中的不同取樣陣列於群集，其同時也稱為取樣陣列群集或平面群組。各平面群組可包含一圖像之一個或多個取樣陣列。接著，一平面群組內之取樣陣列的方塊共用相同被挑選之編碼參數，例如，次分割資訊、預測模式、以及殘差編碼模式，而其他的編碼參數，例如，轉換係數分別地對於平面群組內之各取樣陣列被發送。一平面群組被編碼作為主平面群組，亦即，無編碼參數自其他的平面群組被推斷或被預測。對於一次要平面群組之各方塊，其可能調適地被選擇，被挑選的編碼參數之一新的組集是否被發送，或被挑選的編碼參數是否自主要的或另外的次要平面群組被推斷或被預測。對於一特定方塊被挑選的編碼參數是否被推斷或被預測之決定將被包含在位元流中。相對於由複數個取樣陣列組成之目前圖像編碼技術，平面間預測允許較大的自由度以挑選在側資訊率以及預測品質之間的折衷。相對於由複數個取樣陣列組成之習見的圖像編碼技術，其優點是編碼效率被改進。

平面內採納/預測可能以可調適地被選擇之方式而延伸一影像或視訊編碼器，例如，上面實施例的那些，其方式係對於一色彩取樣陣列或一輔助取樣陣列或一組色彩取樣陣列及/或輔助取樣陣列之一方塊而可調適地選擇一被挑選的編碼參數組集是否自在相同圖像中的其他取樣陣列之同一位置而編碼的方塊被推斷或被預測，或對於方塊之被挑選的編碼參數組集是否獨自地被編碼而不必參考在相同圖像中的其他取樣陣列之同一位置的方塊。對於一取樣陣列之一方塊或複數個取樣陣列之一方塊，被挑選的編碼參數組集是否被推斷或被預測之決定，可被包含在位元流中。關聯於一圖像之不同的取樣陣列不需要具有相同尺度。

如上面之說明，關聯於一圖像之取樣陣列(該等取樣陣列可表示色彩成份及/或輔助取樣陣列)可被配置成為二個或更多個所謂的平面群組，其中各平面群組由一個或多個取樣陣列所組成。被包含在一特定平面群組中之取樣陣列不需要具有相同尺度。注意到，這成為平面群組之配置包含各取樣陣列分別地被編碼的情況。

更確切地，依據一實施例，對於一平面群組之各方塊，其調適地被選擇指明一方塊如何被預測之編碼參數是否自在相同圖像之不同平面群組的同一位置而編碼的方塊被推斷或被預測，或對於該方塊的這些編碼參數是否分別地被編碼。指定一方塊如何被預測之編碼參數被包含在一個或多個下面的編碼參數中：指明哪個預測被使用於一方塊之方塊預測模式(圖像內預測、使用一單一移動向量以及參考圖像之圖像間預測、使用二個移動向量以及參考圖像之圖像間預測、使用一較高階，亦即，非平移移動模型以及一個別的參考圖像之圖像間預測、使用複數個移動模型以及參考圖像之圖像間預測)、指明一圖像內預測信號如何被產生之圖像內預測模式、指明多少預測信號被結合以供產生方塊的最後預測信號之一識別符、指明哪些參考圖像被採用於移動補償預測之參考指標、指明預測信號如何使用參考圖像被產生之移動參數(例如，位移向量或仿射移動參數)、指明參考圖像如何被過濾以供產生移動補償預測信號之一識別符。應注意到，通常一方塊僅可被關聯於所提到的編碼參數之一子集。例如，如果方塊預測模式指明一方塊是圖像內預測，則對於一方塊之編碼參數同時也可另包含圖像內預測模式，但是指定一圖像間預測信號如何被產生的編碼參數，例如，參考指標以及移動參數，將不被指定；或如果方塊預測模式指定圖像間預測，則被關聯的編碼參數同時可包含參考指標以及移動參數，但是圖像內預測模式將不被指定。

二個或更多平面群組之一者可在位元流之內被編碼或被指示作為主要平面群組。對於這主要平面群組的所有方塊，指明預測信號如何被產生之編碼參數被發送而不必參考相同圖像的其他平面群組。其餘平面群組被編碼作為次要平面群組。對於次要平面群組之各方塊，一個或多個語法元素被發送，其傳信用以指明方塊如何被預測之編碼參數是否自其他平面群組之同一位置的方塊被推斷或被預測，或這些編碼參數之一新的組集是否對於該方塊被發送。一個或多個語法元素之一者可被稱為平面間預測旗標或平面間預測參數。如果語法元素傳信對應的編碼參數不被推斷或被預測，則對於該方塊之對應的編碼參數之一新的組集於位元流中被發送。如果語法元素傳信號對應的編碼參數被推斷或被預測，則在一所謂的參考平面群組中之同一位置的方塊被決定。對於該方塊之參考參考平面群組分配可以複數個方式被組配。於一實施例中，一特定參考平面群組被指定至各個次要平面群組；這分配可被固定或其可以高位準語法結構(例如，參數組集、接取單元檔頭、圖像檔頭、或片頭)被傳信。

於第二實施例中，參考平面群組之分配在位元流內部被編碼並且藉由對於一方塊被編碼的一個或多個語法元素被傳信，以便指明被挑選的編碼參數是否被推斷或被預測或分別地被編碼。

為了減輕剛提及與平面間預測以及下面詳細實施例有關之可能性，參考至第11圖，其說明地展示由三個取樣陣列502、504以及506構成之圖像500。為更容易了解起見，僅有取樣陣列502-506之子部分被展示於第11圖中。取樣陣列被展示好似它們空間相互地被對齊，因而取樣陣列502-506沿著方向508彼此相互覆蓋並且因而沿著方向508之取樣陣列502-506的取樣之投射導致所有這些取樣陣列502-506之取樣將彼此正確地被空間定位。換句話說，平面502以及506已沿著水平以及垂直方向被延伸，以便相互調適它們空間解析度並且相互對齊它們。

依據一實施例，一圖像之所有取樣陣列屬於一空間景象之相同部份，其中在個別的取樣陣列502-506之間沿著垂直以及水平方向之解析度可能不同。進一步地，為說明之目的，取樣陣列502以及504被考慮屬於一個平面群組510，而取樣陣列506被考慮屬於另外的平面群組512。進一步地，第11圖說明範例情況，其中沿著取樣陣列504水平軸之空間解析度是二倍於取樣陣列502之水平方向的解析度。此外，取樣陣列504被考慮以形成相對於取樣陣列502之主要陣列，後者形成相對於主要陣列504之一次級陣列。如較早的說明，於這情況中，如利用第1圖之次分割器30所決定成為方塊的取樣陣列504之次分割被次級陣列502所採用，其中依據第11圖範例，由於取樣陣列502之垂直解析度是主要陣列504垂直方向之解析度的一半，各個方塊已被對分成為二個水平並列方塊，當在取樣陣列502之內以取樣位置單位被量測時，對分再次地成為正方形方塊。

如第11圖之範例展示，對於取樣陣列506被選擇之次分割是不同於其他平面群組510之次分割。如先前的說明，次分割器30可分別地或無關於平面群組510之次分割而挑選像素陣列506之次分割。當然，取樣陣列506之解析度同時也可以不同於平面群組510之平面502以及504的解析度。

接著，當編碼個別的取樣陣列502-506時，編碼器10可開始於編碼平面群組510的主要陣列504，例如，以上面說明之方式。第11圖展示之方塊，例如，可以是上面提及的預測方塊。可選擇地，該等方塊是殘差方塊或用以定義某些編碼參數之定義方塊尺度的其他方塊。平面間預測不被限定於四叉樹或多樹型次分割，雖然這在第11圖中被展示。

在對於主要陣列504的語法元素發送之後，編碼器10可決定聲明主要陣列504將為次級平面502的參考平面。編碼器10以及抽取器30，分別地，可經由位元流22傳信這決定，而其關聯性可由於取樣陣列504形成平面群組510的主要陣列之事實而清楚，該資訊，依次地，也可以是位元流22之部份。於任何情況中，對於在取樣陣列502之各個方塊，插入器18或與插入器18一起之編碼器10的任何其他模組，可決定抑制在位元流之內這方塊的編碼參數之一轉換並且在位元流之內傳信關於那方塊在主要的陣列504之內同一位置的一方塊之編碼參數將可替代地被使用，或在主要的陣列504之內在同一位置的方塊之編碼參數將可被使用作為對於取樣陣列502的目前方塊之編碼參數的一預測，而僅在位元流之內傳送對於取樣陣列502之目前方塊的殘差資料。於否定的決定情況中，編碼參數照例地在資料流內被傳送。對於各個方塊之決定在資料流22之內被傳信。在解碼器側，抽取器102使用對於各個方塊之這平面間預測資訊，以便因此得到取樣陣列502各別的方塊之編碼參數，亦即，如果平面間採納/預測資訊建議平面間採納/預測，或無關於主要陣列504照例地抽取取樣陣列502目前方塊之編碼參數的話，則藉由推斷在主要陣列504同一位置的方塊之編碼參數，或可選擇地，自資料流抽取出對於那方塊之殘差資料並且結合這殘差資料與自主要陣列504同一位置的方塊之編碼參數所取得的一預測。

同時也如先前的說明，參考平面不被限定於存在如同對於目前相關的平面間預測之方塊之相同平面群組內。因此，如上面之說明，平面群組510可表示對於次要平面群組512之主要平面群組或參考平面群組。於這情況中，位元流可包含一語法元素，該語法元素指示對於取樣陣列506各個方塊關於在先前提到的主要平面群組或參考平面群組510之任何平面502以及504在同一位置的巨方塊之編碼參數的採納/預測是否將可被進行，而在後者之情況中，取樣陣列506目前方塊之編碼參數照例地被發送。

應注意到，對於一平面群組內部之平面的次分割及/或預測參數可以是相同的，亦即，因為對於一平面群組它們僅被編碼一次(一平面群組之所有次要平面自相同平面群組內部之主要平面推斷次分割資訊及/或預測參數)，並且次分割資訊及/或預測參數之調適性預測或推斷在平面群組之間被完成。

應注意到，參考平面群組可以是一主要平面群組或一次要平面群組。

在一平面群組內不同平面的方塊之間的同一位置是容易理解的，因主要取樣陣列504之次分割被次級取樣陣列502空間地採納，除了剛說明的方塊次分割以便使採納的支葉方塊成為正方形方塊之外。於不同平面群組之間的平面間採納/預測情況中，同一位置可以一方式被定義，以便允許在這些平面群組次分割之間有較大的自由度。給與參考平面群組，在參考平面群組內部之同一位置的方塊被決定。在同一位置以及參考平面群組的方塊之取得可藉由相似於下面的處理程序被完成。於次要平面群組512取樣陣列506之一者的目前方塊516中之一特定取樣514被挑選。同樣地，為了說明目的，其可能是如第11圖中以514展示的目前方塊516之頂部-左方取樣，或接近目前方塊516中間的目前方塊516中之一取樣或目前方塊內部之任何其他的取樣，其是幾何式唯一地被定義。參考參考平面群組510之取樣陣列502以及504內部之這挑選的取樣515之位置被計算。在取樣陣列502以及504內之取樣514的位置，在第11圖中分別地以518以及520被指示。在參考平面群組510內的平面502以及504何者實際上被使用可被預定或可在位元流之內被傳信。在參考平面群組510對應的取樣陣列502或504內之取樣，分別地是最接近位置518以及520，被決定並且包含這取樣之方塊被選擇，作為分別地在各別的取樣陣列502以及504內之同一位置的方塊。於第11圖情況中，這些分別地是方塊522以及524。稍後將說明，用以決定在其他平面中的同一位置之方塊的另一選擇方法。

於一實施例中，指明對於目前方塊516之預測的編碼參數，使用相同圖像500之一不同的平面群組510中在同一位置的方塊522/524之對應的預測參數而完全地被推斷，而不必發送附加的側資訊。該推斷可由一簡單地複製對應的編碼參數或考慮在目前512以及參考平面群組510之間的差量之編碼參數調適所組成。如一範例，這調適可由對於考慮在亮度以及色度取樣陣列之間的相位差量而增加一移動參數更正(例如，一位移向量更正)所構成；或該調適可由對於考慮亮度以及色度取樣陣列之不同解析度而修改移動參數之精確性(例如，修改位移向量之精確性)所構成。於一進一步的實施例中，用以指明預測信號產生的一個或多個被推斷之編碼參數不直接地被使用於目前方塊516，但是可被使用作為對於目前方塊516之對應的編碼參數之一預測並且對於目前方塊516之這些編碼參數的精緻度於位元流22中被發送。如一範例，被推斷之移動參數不直接地被使用，但是指明在被使用於目前方塊516之移動參數以及被推斷的移動參數之間的偏移之移動參數差量(例如，一位移向量差量)於位元流中被編碼；在解碼器側，實際被使用的移動參數藉由結合被推斷的移動參數以及被發送的移動參數差量而被取得。

於另外的實施例中，一方塊之次分割，例如，在先前提及的預測次分割成為預測方塊之樹型方塊(亦即，其預測參數之相同組集被使用的取樣方塊)調適地自在對於相同圖像之一不同平面群組的同一位置而編碼之方塊被推斷或被預測，亦即，依據第6a或6b圖之位元序列。於一實施例中，二個或更多個平面群組之一者被編碼作為主要平面群組。對於這主要平面群組的所有方塊，次分割資訊被發送而不必參考至相同圖像的其他平面群組。其餘平面群組被編碼作為次要平面群組。對於次要平面群組之方塊，一個或多個語法元素被發送，該等語法元素傳信次分割資訊是否自一在其他平面群組之同一位置的方塊被推斷或被預測，或次分割資訊是否於位元流中被發送。一個或多個語法元素之一者可被當為平面間預測旗標或平面間預測參數。如果語法元素傳信，次分割資訊不被推斷或被預測，則對於該方塊之次分割資訊於位元流中被發送，而不必參考相同圖像的其他平面群組。如果語法元素傳信，次分割資訊被推斷或被預測，則在一所謂的參考平面群組中同一位置的方塊被決定。對於該方塊之參考平面群組的分配可以複數個方式被組配。於一實施例中，一特定參考平面群組被指定至各個次要平面群組；這分配可被固定或其可以高位準語法結構(如參數組集、接取單元檔頭、圖像檔頭、或片頭)被傳信。於第二實施例中，參考平面群組之分配於位元流內部被編碼並且藉由對於一方塊被編碼的一個或多個語法元素被傳信，以便指明次分割資訊是否被推斷或被預測或分別地被編碼。參考平面群組可以是主要平面群組或另外的次要平面群組。給與參考平面群組，在參考平面群組內部之同一位置的方塊被決定。在同一位置的方塊是在對應至相同影像範圍之參考平面群組中如目前之方塊的方塊，或該方塊表示與目前方塊共用影像範圍最大部份之參考參考平面群組內部的方塊。在同一位置的方塊可被分隔成為較小的預測方塊。

於進一步的實施例中，對於目前方塊之次分割資訊，例如，依據第6a或6b圖之四叉樹為基礎的次分割資訊，完全地使用在相同圖像之一不同平面群組中之同一位置的方塊之次分割資訊被推斷，而不必發送附加的側資訊。如一特定範例，如果在同一位置的方塊被分隔成為二個或四個預測方塊，目前之方塊同時也因預測目的被分隔成為二個或四個子方塊。如另一特定範例，如果在同一位置的方塊被分隔成為四個子方塊並且這些子方塊之一者進一步地被分隔成為四個較小的子方塊，該目前之方塊同時也被分隔成為四個子方塊並且這些子方塊之一者(對應至在同一位置而進一步地被分解的方塊之一子方塊)同時也被分隔成為四個較小的子方塊。於進一步之較佳實施例中，被推斷的次分割資訊不直接地被使用於目前之方塊，但其被使用作為對於目前方塊之實際次分割資訊的一預測，並且對應的精緻度資訊於位元流中被發送。如一範例，自在同一位置之方塊被推斷的次分割資訊可進一步地被精緻化。對於各個子方塊，其對應至在同一位置而不被分隔成為較小方塊之方塊中的一子方塊，一語法元素可在位元流中被編碼，其指明該子方塊是否於目前平面群組中進一步地被分解。此一語法元素之發送可依子方塊尺度被調整。或其可於位元流中傳信，關於進一步地於參考平面群組中被分隔的一子方塊不於目前平面群組中被分隔成為較小的方塊。

於進一步的實施例中，一方塊成為預測方塊之次分割以及指明那子方塊如何被預測之編碼參數兩者皆調適地自對於在相同圖像之一不同平面群組之同一位置而編碼的一方塊被推斷或被預測。於本發明一較佳實施例中，二個或更多個平面群組之一者被編碼作為主要平面群組。對於這主要平面群組之所有方塊，次分割資訊以及預測參數被發送而不必參考相同圖像的其他平面群組。其餘平面群組被編碼作為次要平面群組。對於次要平面群組之方塊，一個或多個語法元素被發送，其傳信次分割資訊以及預測參數是否自在其他平面群組之同一位置的一方塊被推斷或被預測或次分割資訊以及預測參數是否於位元流中被發送。一個或多個語法元素之一者可被當為平面間預測旗標或平面間預測參數。如果語法元素傳信，次分割資訊以及預測參數不被推斷或被預測，則對於該方塊之次分割資訊以及對於產生的子方塊之預測參數於位元流中被發送，而不必參考相同圖像的其他平面群組。如果語法元素傳信，對於該子方塊之次分割資訊以及預測參數被推斷或被預測，則在一所謂的參考平面群組中之同一位置的方塊被決定。對於該方塊之參考平面群組的分配可以複數個方式被組配。於一實施例中，一特定參考平面群組被指定至各個次要平面群組；這分配可被固定或其可以高位準語法結構(例如，參數組集、接取單元檔頭、圖像檔頭、或片頭)被傳信。於第二實施例中，參考平面群組之分配在位元流內部被編碼並且藉由對於一方塊被編碼之一個或多個語法元素被傳信，以便指明次分割資訊以及預測參數是否被推斷或被預測或分別地被編碼。參考平面群組可以是主要平面群組或另外的次要平面群組。給與參考平面群組，在參考平面群組內部之同一位置的方塊被決定。在同一位置的方塊可以是對應至相同影像範圍的參考平面群組中作為目前方塊之方塊，或該方塊表示與目前方塊共用影像範圍最大部份之參考平面群組內部的方塊。在同一位置的方塊可被分隔成為較小的預測方塊。於一較佳實施例中，對於目前方塊之次分割資訊以及對於產生的子方塊之預測參數使用在相同圖像之一不同平面群組中之同一位置的方塊之次分割資訊以及對應的子方塊之預測參數完全地被推斷，而不必發送附加的側資訊。如一特定範例，如果在同一位置的方塊被分隔成為二個或四個預測方塊，則目前方塊同時也因為預測目的而被分隔成為二個或四個子方塊，並且對於目前方塊之子方塊的預測參數如上面說明地被得到。如另外的特定範例，如果在同一位置的方塊被分隔成為四個子方塊並且這些子方塊之一者進一步地被分隔成為四個較小子方塊，則目前方塊同時也被分隔成為四個子方塊並且這些子方塊之一者(對應至在同一位置進一步地被分解的方塊之一子方塊)同時也被分隔成為四個較小的子方塊並且對於所有不進一步地被分隔之子方塊的預測參數如上面說明地被推斷。於進一步的較佳實施例中，次分割資訊完全地依據在參考平面群組中同一位置的方塊之次分割資訊被推斷，但是對於該等子方塊之被推斷的預測參數僅被使用作為對於子方塊之實際預測參數的預測。在實際預測參數以及被推斷的預測參數之間的偏移量於位元流中被編碼。於進一步的實施例中，被推斷的次分割資訊被使用作為用於目前方塊之實際次分割資訊之預測並且該差量於位元流中被發送(如上面之說明)，但是預測參數被完全地推斷。於另外的實施例中，推斷的次分割資訊以及推斷的預測參數兩者皆被使用作為預測並且在實際次分割資訊與預測參數之間的差量以及它們的推斷數值於位元流中被發送。

於另一實施例中，其調適地被選擇，對於一平面群組之一方塊，殘差編碼模式(例如，轉換型式)是否自在同相同圖像之一不同平面群組之一位置而編碼的方塊被推斷或被預測或殘差編碼模式對於該方塊是否分別地被編碼。這實施例是相似於在上面說明之預測參數的調適性推斷/預測之實施例。

於另外的實施例中，一方塊(例如，一預測方塊)成為轉換方塊(亦即，一個二維轉換被應用的取樣方塊)之次分割自在相同圖像之一不同平面群組之同一位置而編碼的方塊被調適地推斷或預測。這實施例是相似於在上面說明之次分割成為預測方塊的調適性推斷/預測之實施例。

於另外的實施例中，一方塊成為轉換方塊之次分割以及對於產生的轉換方塊之殘差編碼模式(例如，轉換型式)自在相同圖像之一不同平面群組之同一位置而編碼的方塊被調適地推斷或預測。這實施例是相似於在上面說明之對於次分割成為預測方塊之調適性推斷/預測以及對於產生的預測方塊之預測參數的實施例。

於另外的實施例中，一方塊成為預測方塊之次分割，關聯的預測參數、預測方塊之次分割資訊、以及對於轉換方塊之殘差編碼模式自在相同圖像之一不同平面群組之同一位置而編碼的方塊被調適地推斷或預測。這實施例表示上面所說明之實施例的組合。其也有可能是，僅一些所提到的編碼參數被推斷或被預測。

因此，平面間採納/預測可增加先前說明之編碼效率。然而，經由平面間採納/預測之編碼效率增益同時也是可得自多樹型為基礎的次分割被使用之外的其他方塊次分割之情況中，並且無關於方塊合併是否被執行。

在上面論述之有關平面間調適/預測的實施例是可應用至影像以及視訊編碼器與解碼器，其分割一圖像之彩色平面，以及，如果呈現的話，關聯於一圖像之輔助取樣陣列成為方塊，並且關聯這些方塊與編碼參數。對於各個方塊，一組編碼參數可被包含在於位元流中。例如，這些編碼參數可以是說明一方塊如何被預測或在解碼器側如何被解碼的參數。如特定範例，編碼參數可表示巨方塊或方塊預測模式、次分割資訊、圖像內預測模式、被使用於移動補償預測之參考指標、移動參數，例如位移向量、殘差編碼模式、轉換係數等等。關聯於一圖像之不同的取樣陣列可具有不同的尺度。

接著將說明一結構，其是用於在一樹型為基礎之分割結構，例如，在上面有關第1至8圖之說明那些，之內的編碼參數之提高傳信。如其他的結構，亦即，合併以及平面間採納/預測，提高傳信結構之作用以及優點，於下面通常被稱為繼承結構，將無關於上面之實施例地被說明，雖然在下面說明之結構是可單獨地或以組合方式，與上面任何的實施例結合。

大體上，對於接著說明在一樹型為基礎之分割結構內之編碼側資訊的改進編碼結構，其被稱為繼承結構，相對於習見的編碼參數處理結構可具有下面的優點。

於習見的影像以及視訊編碼中，圖像或對於圖像取樣陣列之特定組集通常被分解成為方塊，其與特定編碼參數相關聯。該等圖像通常由複數個取樣陣列組成。此外，一圖像同時也可關聯於附加輔助取樣陣列，例如，其可能指明透明資訊或深度圖。一圖像之取樣陣列(包含輔助取樣陣列)可被群集成為一個或多個所謂的平面群組，其中各個平面群組由一個或多個取樣陣列所組成。一圖像之平面群組可獨自地被編碼，或如果該圖像被關聯於一個以上的平面群組，則具有可自相同圖像的其他平面群組之預測。各個平面群組通常被分解成為方塊。該等方塊(或取樣陣列對應的方塊)藉由圖像間預測或圖像內預測之任一者被預測。該等方塊可具有不同的尺度並且可以是正方形或矩形。使成為方塊之一圖像的分割可以利用語法被固定，或其可在位元流內部被傳信(至少部份地)。通常語法元素被發送，其傳信對於預定尺度之方塊的次分割。此些語法元素可指明一方塊是否並且如何被次分割成為較小的方塊，例如，以及用於預測目的之關聯編碼參數。對於一方塊之所有取樣(或取樣陣列對應的方塊)關聯編碼參數之解碼被指定以某種方式進行。於範例中，一方塊中的所有取樣使用相同預測參數組集被預測，例如，參考指標(其辨識已被編碼的圖像組集中之一參考圖像)、移動參數(其指明對於在一參考圖像以及目前圖像之間一方塊的移動之量測)、用以指明插值過濾器之參數、圖像內預測模式等等。移動參數可利用具有一水平以及垂直分量之位移向量被表示，或利用較高階移動參數，例如，由6個分量組成之仿射移動參數被表示。其也有可能是，一個以上的特定預測參數組集(例如，參考指標以及移動參數)關聯於一個別的的方塊。因此，對於這些特定預測參數之各個組集，一個別的中間預測信號對於該方塊(或取樣陣列的對應方塊)被產生，並且最後的預測信號藉由包含疊加中間預測信號之組合而被建立。對應的加權參數並且同時也可能是一固定偏移量(其被添加至加權總和上)可對於一圖像、或一參考圖像、或一組參考圖像被固定，或它們可被包含在用於對應的方塊之預測參數組集中。在原始方塊(或取樣陣列對應的方塊)以及它們的預測信號之間的差量，同時也被稱為殘差信號，其通常被轉換並且被量化。通常，一個二維轉換被應用至殘差傳信號(或對於殘差方塊之對應取樣陣列)。對於轉換編碼，對於一預測參數特定組集已被使用之方塊(或取樣陣列的對應方塊)，其可在施加轉換之前進一步地被切割。該等轉換方塊可等於或較小於被使用於預測之方塊。也有可能是，一轉換方塊包含一個以上被使用於預測的方塊。不同的轉換方塊可具有不同的尺度並且該等轉換方塊可表示正方形或矩形方塊。在轉換之後，產生的轉換係數被量化並且所謂的轉換係數被得到。該等轉換係數以及該等預測參數，並且如果呈現的話，次分割資訊被熵編碼。

於一些影像以及視訊編碼標準中，對於利用語法所提供之次分割一圖像(或一平面群組)成為方塊的可能性是非常有限的。通常，其可僅被指明，一預定尺度之方塊是否(以及可能如何)可被次分割成為較小的方塊。如一範例，於H.264中之最大方塊尺度是16x16。該等16x16方塊同時也被稱為巨方塊並且各個圖像在第一步驟中被分隔成為巨方塊。對於各個16x16巨方塊，其可被傳信，其是否被編碼作為16x16方塊，或作為二個16x8方塊，或作為二個8x16方塊，或作為四個8x8方塊。如果一16x16方塊被次分割成為四個8x8方塊，則這些8x8方塊各可被編碼作為一個8x8方塊，或作為二個8x4方塊，或作為二個4x8方塊，或作為四個4x4方塊。於目前影像以及視訊編碼標準中，對於用以指明分隔成為方塊之小組集的可能性，具有用以傳信次分割資訊之側資訊率可被維持為小量之優點，但是亦具有下列缺點，對於發送供用於方塊之預測參數所需的位元率可能如下面說明地成為顯著。用以傳信預測資訊之側資訊率通常表示對於一方塊之所有位元率的顯著數量。並且當這側資訊被降低時，則編碼效率可被增加，例如，其可藉由使用較大的方塊尺度被達成。一視訊序列的真正影像或圖像是由具有特定性質之任意形狀物件組成。如一範例，此些物件或該等物件之部份是具有唯一紋理或唯一移動的特徵。並且通常，相同組集之預測參數可被應用於此一物件或一物件之部份上。但是，物件邊界通常不是與大的預測方塊(例如，H.264中之16x16巨方塊)之可能的方塊邊界一致的。一編碼器通常決定次分割(在限定的可能性組集之中)，其導致最小的特定位元率-失真成本量測。對於任意形狀之物件，這可導致大數量的小方塊。並且由於這些小方塊各關聯於一組預測參數，其需要被發送，則側資訊率可能成為所有位元率之主要部份。但是由於數個小方塊仍然表示相同物件或一物件部份之範圍，對於一些所取得的方塊之預測參數是相同或非常相似的。直覺地，當語法以一方式被延伸時，編碼效率可被增大，其不僅允許次分割一方塊，但同時也允許共用在次分割之後取得的多個方塊之間的編碼參數。於一樹型為基礎之次分割中，對於給與方塊組集之編碼參數的共用可藉由排定編碼參數或其部份至樹型為基礎階系中之一個或多個親源節點而被達成。因而，被共用的參數或其部份可被使用，以便降低傳信在次分割之後所取得的方塊之編碼參數的實際選擇所必需的側資訊。側資訊之降低可藉由忽略隨後方塊之參數傳信或藉由使用對於預測及/或對於隨後方塊的參數脈絡模型化之共用參數被達成。

下面說明之繼承結構的基本構想是降低藉由共用沿著方塊之樹型為基礎階系的資訊而發送編碼參數所需的位元率。共用資訊在位元流內部被傳信(除了次分割資訊之外)。該繼承結構之優點是因減少用於編碼參數之側資訊率所產生的增加編碼效率。

依據下面說明之實施例，為了降低側資訊率，對於特定取樣組集之各別的編碼參數，亦即，簡單連接區域，其可表示一多樹型次分割之矩形或正方形方塊或任意形狀的區域或任何其他的取樣採集，其以有效率之方式在資料流之內被傳信。下面說明之繼承結構，將使得對於這些全部取樣組集之各者的編碼參數不需要明確地被包含在位元流中。該等編碼參數可表示預測參數，其指明對應的取樣組集如何使用已被編碼的取樣被預測。許多可能性以及範例已在上面被說明並且同時也適用於此。同時也如上面指示的，並且將在下面進一步地說明，就下面的繼承結構而言，其是關係到，使一圖像的取樣陣列之樹型為基礎的分割成為取樣組集可利用語法被固定或可藉由對應的次分割資訊在位元流內部被傳信。對於取樣組集之編碼參數，可如上面的說明，以藉由語法給與的一預定順序被發送。

依據繼承結構，解碼器或解碼器之抽取器102被組配以一特定方式而得到個別的簡單連接區域或取樣組集之編碼參數上的資訊。尤其是，編碼參數或其部份，例如，作為預測目的之那些參數，在沿著給與的樹型基礎之分隔結構的方塊與沿著分別地利用編碼器插入器18被決定之樹型結構的共用群集之間被共用。於一特定實施例中，對於給與的分隔樹型內部節點之所有子系節點，編碼參數之共用藉由使用一特定二元值共用旗標被指示。如一選擇方法，編碼參數之精緻度可對於各個節點被發送，因而沿著方塊之樹型為基礎階系的參數之累積精緻度可被應用至在一給與的支葉節點之方塊的所有取樣組集。於另外的實施例中，對於沿著方塊的樹型為基礎之階系的內部節點被發送之編碼參數的部份，可被使用於對於在一給與的支葉節點之方塊編碼的參數或其部份之脈絡調適熵編碼以及解碼技術。

第12a以及12b圖說明，對於使用一四叉樹為基礎之分隔的特定情況之繼承的基本構想。然而，如在上面之多次指示，其他的多樹型次分割結構也可被使用。樹型結構被展示於第12a圖中，而對應至第12a圖的樹型結構之對應的空間分割展示於第12b圖。在其中展示之分割是相似於有關第3a至3c圖之展示。大體而言，繼承結構將允許側資訊被指定至在樹型結構內之不同的非支葉層之節點。依據分配至樹型中的不同層之節點的側資訊分配，例如，第12a圖之樹型中的內部節點或其根節點，不同程度之共用側資訊可在第12b圖中展示的方塊樹型階系之內被達成。例如，如果決定，第4層中所有的支葉節點，其於第12a圖的情況中都具有相同親源節點，將實際地共用側資訊，這意謂著第12b圖中以156a至156d指示之最小方塊將共用這側資訊並且其不再需要對於所有的這些小方塊156a至156d全部地發送側資訊，亦即，不需要發送四次，雖然這被保留作為對於編碼器之一選擇。然而，同時也可決定第12a圖之階系位準1(層2)的整個區域，亦即，在樹型方塊150頂部右手邊角落包含子方塊154a、154b、與154d以及剛提及之更小子方塊156a至156d，作為其中編碼參數被共用之區域。因此，共用側資訊之範圍被增大。增大的下一個位準將可總和層1所有子方塊，亦即，子方塊152a、152c、和152d以及在先前提到的較小方塊。換句話說，於這情況中，整個樹型方塊將可具有被指定至該處的側資訊，使這樹型方塊150之所有子方塊共用側資訊。

於下面繼承的說明中，下面的標誌被使用於說明實施例： a. 目前支葉節點之重建取樣：

b. 鄰近支葉之重建取樣：

c. 目前支葉節點之預測器：

d. 目前支葉節點之殘差量：

e. 目前支葉節點之重建殘差量：

f. 尺度調整以及逆向轉換：

g. 共用旗標：

作為繼承之第一範例，在內部節點之圖像內預測傳信可被說明。更確切地，將說明如何傳信用於預測目的之在一樹型為基礎之方塊分隔的內部節點之圖像內預測模式。藉由在樹型上自根節點走訪至支葉節點，內部節點(包含根節點)可傳送將被其之對應的子系節點所利用的部份側資訊。更明確地，對於內部節點一共用旗標f被發送，其具有下面的意義： l 如果f 具有一數值1(“真”)，所給與的內部節點之所有子系節點將共用相同的圖像內預測模式。除了具有數值1的共用旗標f 之外，內部節點同時也傳信將被使用於所有子系節點的圖像內預測模式參數。因此，所有隨後的子系節點不攜帶任何預測模式資訊以及任何共用旗標。對於所有關於支葉節點之重建，解碼器應用來自對應的內部節點之圖像內預測模式。 l 如果具有一數值0(“假”)，對應的內部節點之子系節點不共用相同的圖像內預測模式並且是為一內部節點的各子系節點攜帶一個別的共用旗標。

第12c圖展示如上面說明之內部節點的圖像內預測傳信。層1中的內部節點傳送共用旗標以及利用圖像內預測模式資訊所給與的側資訊並且該等子系節點不攜帶任何側資訊。

作為繼承之第二範例，圖像間預測精緻度可被說明。更確切地，其說明對於移動參數(例如，利用移動向量所給與)精緻度目的而如何在一樹型為基礎之方塊分割的內部節點傳信圖像間預測模式之側資訊。藉由在樹型上自根節點走訪至支葉節點，內部節點(包含根節點)可傳送將藉由其之對應的子系節點被精緻化之部份的側資訊。更明確地，一共用旗標f對於內部節點被發送，而具有下面的意義： l 如果f具有數值1(“真”)，所給與的內部節點之所有子系節點將共用相同的移動向量參考。除了具有數值1的共用旗標f之外，內部節點同時也傳信移動向量以及參考指標。因此，所有隨後的子系節點不攜帶進一步的共用旗標，但是可能攜帶這繼承的移動向量參考之一精緻化。對於所有關於支葉節點之重建，解碼器在給與的支葉節點增加移動向量精緻化至繼承的移動向量參考，該繼承移動向量參考是屬於其之對應的具有數值1之共用旗標f的內部親源節點。這意謂著在一給與的支葉節點之移動向量精緻化是在將被應用於這支葉節點的移動補償預測之實際移動向量以及其之對應的內部親源節點之移動向量參考之間的差量。 l 如果f具有一數值0(“假”)，則對應的內部節點之子系節點不必定得共用相同的圖像間預測模式並且在子系節點藉由使用來自對應的內部節點節點之移動參數而沒有移動參數精緻化被進行，並且為一內部節點的各個子系節點攜帶一個別的共用旗標。

第12d圖展示如在上面說明的移動參數精緻化。層1中之內部節點節點傳送共用的旗標以及側資訊。作為支葉節點之子系節點僅攜帶移動參數精緻度，並且，例如，層2中之內部子系節點則不攜帶側資訊。

接著參考第13圖。第13圖展示一流程圖，其說明解碼器之操作模式，例如第2圖的解碼器，用於重建表示一空間範例資訊信號的一資訊取樣陣列，其中來自一資料流之資訊信號藉由多樹型次分割被次分割成為不同尺度之支葉區域。如上面的說明，各支葉區域相關聯於得自多樹型次分割之一序列階系位準的一階系位準。例如，第12b圖中展示之所有方塊是支葉區域。支葉區域156c，例如，關聯於層4之階系(或位準3)。各支葉區域與編碼參數關聯。這些編碼參數範例已在上面被說明。編碼參數，對於各個支葉區域，藉由一各別的語法元素組集被表示。各個語法元素是出自一組語法元素型式之一各別的語法元素型式。此些語法元素型式是，例如，一預測模式、一移動向量成份、一圖像內預測模式之指示或其類似者。依據第13圖，解碼器進行下面的步驟。

於步驟550中，一繼承資訊自資料流被抽取出。於第2圖情況中，抽取器102是負責步驟550。繼承資訊指示關於繼承是否針對目前之資訊取樣陣列被使用。下面的說明將揭示對於繼承資訊有數種可能性，例如，尤其是，共用旗標f以及被分割成為一主要以及次要部份之多樹型結構的傳信。

資訊取樣陣列可能先前已是一圖像之次要部份，例如，一樹型方塊，亦即，例如，第12b圖之樹型方塊150。因此，繼承資訊指示關於繼承是否對於特定樹型方塊150被使用。例如，對於預測次分割之所有樹型方塊，此繼承資訊可被插入資料流中。

進一步地，繼承資訊指示，如果繼承被指示將被使用，至少資訊取樣陣列之一個繼承區域，其是由一組支葉區域所構成並且對應至多樹型次分割階系位準之序列的一階系位準，該階系位準是較低於與支葉區域組集關聯的各個階系位準。換句話說，繼承資訊指示，對於目前之取樣陣列，例如，樹型方塊150，繼承是否將被使用。如果是，則其表示這樹型方塊150之至少一個繼承區域或子區域，於其之內支葉區域共用編碼參數。因此，繼承區域可以不是一支葉區域。於第12b圖之範例中，這繼承區域可能是，例如，利用子方塊156a至156b所形成的區域。可選擇地，繼承區域可以是較大的並且同時也可能包圍著子方塊154a、b以及d，並且甚至可選擇地，繼承區域可能是樹型方塊150其本身，而其所有支葉方塊共用關聯於繼承區域之編碼參數。

應注意到，然而，一個以上的繼承區域可分別地在一個取樣陣列或樹型方塊150之內被定義。可想像，例如，底部左方子方塊152c同時也被分隔成為較小的方塊。於這情況中，子方塊152c同時也可形成一繼承區域。

於步驟552中，繼承資訊被檢查關於繼承是否將被使用。如果是，則第13圖之處理程序繼續進行步驟554，其中至少包含預定語法元素型式之一語法元素的一繼承子集於每圖像間繼承區域自資料流被抽取。於下面的步驟556中，這繼承子集接著被複製進入，或被使用作為預測，語法元素之一對應的繼承子集，該語法元素是在表示關聯於各別的至少一繼承區域構成的支葉區域組集之編碼參數的語法元素組集之內。換句話說，對於在繼承資訊之內被指示的各個繼承區域，資料流包括語法元素之一繼承子集。更換句話說，繼承是有關可供用於繼承之至少某一語法元素型式或語法元素類型。例如，語法元素可能接受以繼承之預測模式或圖像間預測模式或圖像內預測模式。例如，包含在對於繼承區域的資料流之內的繼承子集可包括一圖像間預測模式語法元素。繼承子集同時也可包括進一步的語法元素，該等語法元素型式取決於在先前提及的關聯於繼承結構之固定語法元素型式的數值。例如，於圖像間預測模式是繼承子集之一固定成份的情況中，定義移動補償(例如，移動向量分量)之語法元素，可能或不可利用語法而被包含在繼承子集中。想像，例如，樹型方塊150頂部右方四分之一處，亦即，子方塊152b，是繼承區域，接著圖像間預測模式可對於這繼承區域單獨地被指示或圖像間預測模式與移動向量以及移動向量指標一起被指示。

被包含在繼承子集中之所有語法元素被複製至或被使用作為預測，對於支葉方塊之對應的編碼參數，該等支葉方塊對應的編碼參數是在繼承區域之內，亦即，支葉方塊154a、b、d、以及156a至156d。於預測被使用之情況中，殘差量對於個別的支葉方塊被發送。

對於樹型方塊150發送繼承資訊之一可能性是在先前所提到之一共用旗標f的發送。於步驟550中之繼承資訊的抽取，於這情況中，可包括下面步驟。尤其是，解碼器可被組配，以使用自較低階系位準至較高階系位準的一階系位準順序，而對於對應至多樹型次分割之至少一階系位準的任一繼承組集之非支葉區域，自資料流抽取並且檢查共用旗標f，關於各別的繼承旗標或共用旗標是否有標示繼承。例如，階系位準之繼承組集可利用第12a圖中層1至3之階系被形成。因此，對於不是一支葉節點並且位於任何層1至3之內的任何子樹型結構節點可具有在資料流之內與之關聯的共用旗標。解碼器以自層1至層3順序抽取這些共用旗標，例如，以一深度優先或寬度優先走訪順序。只要是共用旗標之一者等於1，解碼器就了解，包含在一對應的繼承區域中之支葉方塊於步驟554中的抽取之後則共用繼承子集。對於目前節點之子系節點，繼承旗標之檢查不再是必需的。換句話說，對於這些子系節點之繼承旗標不在資料流之內被發送，由於明顯地這些節點範圍早已屬於語法元素繼承子集在其內被共用之繼承區域。

共用旗標f可被插入先前所提的傳信四叉樹次分割之位元。例如，包含次分割旗標以及共用旗標兩者之一插入位元序列可以是： 10 0011 01(0000)000,

其是如第6a圖中展示之相同次分割資訊，具有二個以底線被強調的散置共用旗標，以便指示於第3c圖中在樹型方塊150底部左手邊四分之一內的所有子方塊共用編碼參數。

定義繼承資訊之另一方式，指示繼承區域將可以是以次級方式被定義的二個次分割之相互使用，如上面有關分別地對於預測以及殘差次分割的說明。大體而言，主要次分割的支葉方塊可形成定義多個區域之繼承區域，在該等區域之內語法元素之繼承子集被共用，而次級次分割則定義在其中語法元素之繼承子集被複製或被使用作為預測的這些繼承區域內之方塊。

考慮到，例如，殘差樹型作為預測樹型之一延伸。進一步地，考慮到一情況，其中對於殘差編碼之目的，預測方塊可進一步地被分割成為較小的方塊。對於對應至關於預測之四叉樹的一支葉節點的各個預測方塊，用於殘差編碼之對應的次分割利用一個或多個次級四叉樹被決定。

於這情況中，不是使用在內部節點的任何預測傳信，吾等考慮解釋殘差樹型之方式為，就使用一固定預測模式之意義上而言，其同時也指明預測樹型之精緻化(利用預測相關的樹型之對應的支葉節點之傳信)，但是具有精緻化參考取樣。下面的範例說明這情況。

例如，第14a以及14b圖展示對於主要次分割的一特定支葉節點被強調的鄰近參考取樣之用於圖像內預測的四叉樹分割，而第14b圖則展示對於具有精緻化參考取樣之相同預測支葉節點的殘差四叉樹次分割。第14b圖展示的所有子方塊，共用包含在對於第14a圖中被強調之各別的支葉方塊的資料流內之相同的圖像間預測參數。因此，第14a圖展示對於用於圖像內預測之習見的四叉樹分隔之範例，其中用於一特定支葉節點之參考取樣被展示。於我們之較佳實施例中，然而，對於殘差樹型中各個支葉節點之一分別的圖像內預測信號，藉由使用已重建殘差樹型中的支葉節點的鄰近取樣被計算，例如，如利用第4(b)圖中之灰色斜線所指示者。接著，一給與的殘差支葉節點之重建信號以藉由增加量化的殘差信號至這預測信號的一般方式被取得。這重建信號接著被使用作為對於下面預測處理程序之參考信號。應注意到，對於預測之解碼順序是相同於殘差解碼順序。

於解碼處理程序中，如第15圖中之展示，對於各個殘差支葉節點，預測信號依據實際圖像內預測模式(如利用預測相關之四叉樹支葉節點被指示)藉由使用參考取樣

被計算。

在SIT處理程序之後，

重建信號

被計算並且被儲存以供用於下一個預測計算處理程序：

對於預測之解碼順序是相同於殘差解碼順序，其在第16圖中被說明。

各個殘差支葉節點如先前段落所說明地被解碼。重建信號

被儲存在緩衝器中，如第16圖之展示。參考取樣

將自這緩衝器被拿取，以供用於接著之預測以及解碼處理程序。

在說明具有上面概述論點的組合不同子集之有關第1至16圖之特定實施例之後，本申請之進一步的實施例將被說明，其將集中在已先前在上面說明的某些論點，但是其實施例則表示上面說明的一些實施例之歸納。

第17圖展示依據此進一步的實施例之解碼器。該解碼器包括一抽取器600、一次分割器602以及一重建器604。這些方塊以所提到的順序在第17圖之解碼器輸入606以及輸出608之間被串列地連接。抽取器600被組配以在輸入606自利用解碼器所接收的資料流抽取一最大區域尺度及一多樹型次分割資訊。該最大區域尺度可對應至，例如，在上面提到的最大方塊尺度，其指示簡單連接區域的尺度，現在簡要地被稱為預測次分割之“方塊”，或對應至定義殘差次分割之樹型方塊尺度的最大方塊尺度。多樹型次分割資訊，依次地，可對應至四叉樹次分割資訊並且可以相似於第6a以及6b圖之方式被編碼成為位元流。然而，在上面有關先前圖形說明之四叉樹次分割僅是出自可能的高數目範例之一範例。例如，對一親源節點之子系節點數目可以是較大於一的任何數目，並且該數目可依據階系位準變更。此外，一次分割節點之分隔可能不被形成，因而對應至某一節點之子系節點的子方塊範圍是彼此相等。當然，其他的分隔法則也可應用並且可自階系位準至階系位準地變更。進一步地，多樹型次分割最大階系位準上的一資訊，或其對應者，自多樹型次分割產生的子區域最小尺度不需要在資料流之內被發送並且抽取器因此可不自資料流抽取此資訊。

次分割器602被組配以空間地分割一資訊取樣陣列，例如，陣列24，成為最大區域尺度的樹根區域150。資訊取樣陣列，如在上面的說明，可能表示一時間上變化資訊信號，例如，一視訊或一3D視訊或其類似者。可選擇地，資訊取樣陣列可表示一靜態圖像。次分割器602進一步地被組配，以依據利用抽取器600所抽取的多樹型次分割資訊，藉由遞迴式多分隔樹根區域子集，將樹根區域之至少一子集次分割成為不同尺度之較小簡單連接區域。如剛剛有關抽取器600之說明，分割不被限定於四個一組之分割。

重建器604，依次地，被組配以使用成為較小簡單連接區域的次分割，重建來自資料流606之資訊取樣陣列。較小簡單連接區域，例如，對應至第3c圖展示之方塊，或對應至第9a以及9b圖展示之方塊。處理順序不被限定於深度優先走訪順序。

當映射第2圖展示之元件至第17圖展示之元件上時，接著第2圖之元件102對應至第12圖之元件600，第2圖之元件104a對應至第12圖之次分割器602，並且元件104b、106、108、110、112以及114形成重建器604。

在資料流之內發送最大區域尺度之優點是，編碼器將可藉由使用較少之側資訊調適次分割至一般的圖像內容，因為編碼器被給與機會以依據圖像而決定圖像上的最大區域尺度。於一較佳實施例中，對於各個圖像之最大區域尺度在位元流之內被傳送。可選擇地，最大區域尺度以較粗的方塊尺度，例如，以圖像群集單元，在位元流之內被發送。

第18圖是圖解地展示第17圖之解碼器可解碼的一資料流內容。資料流包括資料610，例如，編碼參數以及殘差資訊，基於其與多樹型次分割資訊之組合，重建器可重建資訊取樣陣列。除了這之外，當然，資料流包括多樹型次分割資訊612以及最大區域尺度614。依解碼順序，最大區域尺度之編碼/解碼順序最好是優先於多樹型次分割資訊612以及其餘資料610。多樹型次分割資訊612以及其餘資料610可被編碼成為資料流而使多樹型次分割資訊612優先於其餘資料610，但同時也如上面的說明，多樹型次分割資訊612可依子區域單元方式而與其餘資料610交錯，其中資訊取樣陣列依據多樹型次分割資訊被分割。同時，次分割資訊也可隨時間改變，例如，對於各個圖像。編碼可使用時間方式之預測被進行。亦即，僅對先前次分割資訊的差量可被編碼。剛剛所提的內容也適用於最大的區域尺度。然而，後者也可以粗的時間解析度而改變。

如利用點線之指示，資料流可進一步包括最大階系位準上之資訊，亦即，資訊616。以點線展示之618的三個空白方格將指示，資料流也可包括於另外的時間用於進一步的多樹型次分割之資料元素612-616，其可以是相對於利用元素612-616被定義之多樹型次分割的次級次分割，或可以是獨立地被定義之資訊取樣陣列的一次分割。

第19圖以一非常簡要方式展示藉由第17圖的解碼器以產生第18圖之可解碼的資料流之編碼器。該編碼器包括一次分割器650以及一最後的編碼器652。次分割器被組配以決定一最大區域尺度以及多樹型次分割資訊，並且以空間地分割且次分割資訊取樣陣列，因此剛好如同次分割器602，因此利用在資料流之內被發送的資訊612以及614被控制。最後編碼器652被組配以使用該次分割成為藉由次分割器650與最大區域尺度以及多樹型次分割資訊一起定義之較小的簡單連接區域，而編碼資訊取樣陣列成為資料流。

如先前提及的，為簡要起見，應了解展示第19圖編碼器之第19圖的方塊圖示作為建構成為一次分割器650以及一最後編碼器652。更確切地，次分割器650以及最後編碼器652兩者皆必須決定包括兩者之最佳的語法元素組集，其關於次分割之指示，亦即，最大區域尺度614以及多樹型次分割資訊612，以及其餘資料610並且為了決定這最佳化語法元素組集，一疊代演算法可被使用，依據該演算法，語法元素之初步組集分別地利用次分割器602以及重建器604被嘗試。這將於第19圖藉由既有的嘗試編碼器654被說明，其被展示，以便說明元素610-614的一些語法元素組集可能已初步地在利用次分割器650以及最後編碼器652之實際資料流插入以及編碼串流產生之前在嘗試編碼器654之內被使用於編碼。雖然以分別的實體被展示，嘗試編碼器654以及最後編碼器652，就最大程度，可分別地由副程式、電路部件、或韌體邏輯而製作。

依照另外的實施例，一解碼器可如第20圖展示地被構成。第20圖之解碼器包括一次分割器700以及一重建器702。次分割器被組配以使用一四叉樹次分割，藉由遞迴式四叉樹分隔方式，而空間地次分割，表示一空間取樣資訊信號之一資訊取樣陣列，例如，資訊取樣陣列24，成為不同尺度方塊，例如，分別地有關第3c圖以及第9a與9b圖的說明。重建器702被組配以使用，例如，藉由以深度優先走訪順序處理方塊之次分割，而重建來自一資料流之資訊取樣陣列成為方塊或簡單連接區域，該深度優先走訪順序，例如，已在上面被說明並且以350在第3c圖中被展示。

如上面的說明，使用該深度優先走訪順序於重建與四叉樹次分割有關之影像取樣陣列中將有助於利用在鄰近方塊的資料流之內已先前被解碼的語法元素，以便增加目前方塊之編碼效率。

應注意到，第20圖之次分割器700可能不預期資料流包括四叉樹次分割的最大區域尺度514上之資訊。進一步地，依照第20圖之實施例，一最大階系位準616可能不在資料流中被指示。依照第20圖之實施例，就特定專用語法元素而言，即使四叉樹次分割資訊不需要明確地在資料流之內被傳信。反之，次分割器700可自其餘資料流資料之分析而預測四叉樹次分割，例如，可能地包含在資料流內之極小圖像的分析。可選擇地，於資訊取樣陣列屬於一視訊圖像或一些其他時間上變化資訊信號之情況中，次分割器700被組配，於自資料流抽取四叉樹次分割資訊中，自一先前被解碼的資訊取樣陣列之一先前被重建/被解碼的四叉樹次分割，預測對於資訊取樣之目前陣列的次分割資訊。進一步地，如於上面說明之第1至16圖的實施例之情況，使成為樹型方塊之取樣陣列的預分割不需要被進行。反之，四叉樹次分割可在取樣陣列上直接地被進行。

關於第20圖展示之元件以及第2圖展示之元件的一致性，次分割器700對應至第2圖之次分割器104a，而重建器702對應至元件104b、106、108、110、112、以及114。相似於第17圖之說明，合併器104b可被停用。進一步地，重建器702不被限定於混合編碼。相同情況適用至第12圖之重建器604。如利用點線之展示，第15圖解碼器可包括抽取，例如，四叉樹次分割資訊之一抽取器，依據該四叉樹次分割資訊，次分割器空間地次分割器資訊取樣陣列，這抽取器對應至第2圖的抽取器102。如以點線箭號之展示，次分割器700甚至可自利用重建器702輸出的資訊取樣之一重建陣列而預測資訊取樣之目前陣列的次分割。

一編碼器可提供一資料流，該資料流是可利用第15圖之解碼器而解碼，解碼器是如第19圖展示地被構成，亦即，被構成為一次分割器和一最後編碼器，而次分割器被組配以決定四叉樹次分割並且因此空間地次分割資訊取樣陣列，並且最後的編碼器被組配以使用藉由深度優先走訪順序處理方塊之次分割而編碼資訊取樣陣列使成為資料流。

第21圖展示一解碼器，其用以解碼標示一樹型方塊之空間多樹型次分割的多樹型結構之被編碼的傳信，例如，第6a以及6b圖中所展示有關四叉樹次分割之傳信。如上面所提到的，多樹型次分割不被限定於四叉樹次分割。進一步地，依據親源節點階系位準，以編碼以及解碼兩側已知的方式，或以指示至解碼器作為側資訊之方式，每個親源節點之子系節點數目可能不同。以一深度優先走訪順序(例如，第3c圖中之順序350)之編碼的傳信包括關聯於多樹型結構節點的一序列旗標。各個旗標指明對應至被關聯於各別的旗標節點之樹型方塊的一區域是否被多重分隔，例如，第6a以及6b圖中旗標序列之旗標。第21圖之解碼器接著被組配，以使用概率估計脈絡而依序地熵解碼該等旗標，該等概率估計脈絡對於關聯位於多樹型結構相同階系位準之內的多樹型結構節點之旗標是相同，但是對於位於多樹型結構不同階系位準之內的多樹型結構節點是不同。深度優先走訪順序有助於利用多樹型結構鄰近子方塊之鄰近取樣的統計性，而對於關聯於不同階系位準節點的旗標之不同概率估計脈絡的使用將可使得在一方面之脈絡管理經常支出以及另一方面之編碼效率之間有一折衷方案。

可選擇地，第21圖可歸納在先前以另外的方式有關第1-16圖所提到的說明。第16圖之解碼器可被組配，以解碼一多樹型結構之被編碼的信號，其是不必定得標示一樹型方塊之空間多樹型次分割，但是其包括以深度優先走訪順序關聯於多樹型結構節點的一序列旗標，如在上面的說明。例如，多樹型結構可在解碼側被使用，以供用於其他的目的，例如，其他的編碼應用中，例如，音訊編碼或其他的應用。進一步地，依據對於第21圖的這不同選擇，被編碼的傳信同時也包括多樹型結構最大階系位準上的資訊並且旗標序列僅以深度優先順序與多樹型結構節點關聯，而不與位於這最大階系位準內之節點關聯。藉由這措施，旗標數目顯著地被降低。

關於第21圖的上面說明之選擇，值得注意的是，用以提供藉由第21圖解碼器所解碼之多樹型結構的編碼傳信之一各別的編碼器，同時也可無關於上面說明的應用情景而被使用。

雖然一些論點已依一裝置之脈絡被說明，應清楚，這些論點同時也表示對應方法之說明，其中一方塊或裝置對應至一方法步驟或一方法步驟特點。類似地，依方法步驟之脈絡所說明的論點同時也表示對應的方塊或對應的裝置項目或特點之說明。一些或所有的方法步驟可利用(或使用)一硬體裝置(例如，一微處理器、一可程式電腦或一電子電路)被執行。於一些實施例中，一個或多個這些最重要方法步驟可利用此一裝置被執行。

本發明之編碼/壓縮的信號可被儲存在一數位儲存媒體上或可於一發送媒體上被發送，例如，無線發送媒體或有線發送媒體，例如，網際網路。

依據某些實作例需要，本發明實施例可以硬體或軟體被實作。該實作例可使用數位儲存媒體被進行，例如，軟式磁碟片、DVD、藍光片、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，其等具有被儲存在其上之電子式可讀取控制信號，其配合(或能夠配合)於可程式電腦系統，因而各別的方法被進行。因此，數位儲存媒體可以是電腦可讀取。

依據本發明之一些實施例包括具有電子式可讀取控制信號之一資料載體，其是可配合於一可程式電腦系統，因而於此處說明的各種方法之一者被進行。

大體上，本發明實施例可被實作如具有一程式碼之電腦程式產品，當該電腦程式產品在一電腦上執行時，該程式碼是可操作用於進行該等方法之一者。該程式碼，例如，可被儲存在一機器可讀取載體上。

其他的實施例包括用以進行於此處說明的各種方法之一者的電腦程式，其被儲存在一機器可讀取載體上。

換句話說，本發明方法之一實施例，因此是一電腦程式，其具有當該電腦程式在一電腦上執行時，用以進行於此說明的各種方法之一者的一程式碼。

本發明方法之進一步的實施例，因此，是一資料載體(或一數位儲存媒體、或一電腦可讀取媒體)，其包括被記錄在其上，用以進行於此處說明的各種方法之一者的電腦程式。

本發明方法之進一步的實施例，因此，是一資料流或一信號序列，其表示用以進行於此處說明的各種方法之一者的電腦程式。該資料流或信號序列，例如，可被組配以經由一資料通訊連接(例如，經由網際網路)被傳送。

進一步的一實施例包括一處理構件，例如，電腦或可程式邏輯裝置，其被組配或調適，以進行於此處說明的各種方法之一者。

進一步的一實施例包括一電腦，在其上被安裝電腦程式而用以進行於此處說明的各種方法之一者。

於一些實施例中，一可程式邏輯裝置(例如，一場可程式閘陣列)可被使用以進行於此處說明的各種方法之一些或所有的功能。於一些實施例中，一場可程式閘陣列可配合於一微處理器，以便進行於此處說明的各種方法之一者。大體上，該等方法最好是利用任何硬體裝置被進行。

在上面說明的實施例是僅對於本發明原理的說明。熟習本技術者應了解，本發明在配置上可有各種修改以及變化。因此，本發明將僅由待決之申請專利範圍之範疇所限定而非此處實施例之說明以及解說所表示之特定細節所限定。

10:編碼器 12、110:預測器 14:殘差預編碼器 16、106:殘差重建器 18:資料流插入器 20:方塊分割器 32、116:輸入 34:減法器 36、108:加法器 38、112、114:濾波器 40、120:預測參數 100:解碼器 102、600:抽取器 104a:分割器 118:次分割資訊 122:殘差資料 124:輸出 140、200:光束掃描順序 150:樹型方塊 152a-152d:子方塊 154a-154d:次子方塊 156a-156d:次次子方塊 190:切割方塊 202:不次分割之方塊 204:次分割之方塊 206:不次分割之第一子方塊 208:次分割之第二子方塊 210、212、214:不再分割之方塊 216、218、220、222:方塊尺度 22:資料流 24:圖像 26:子區域 28、602、650、700:次分割器 30、104b:合併器 300-320:解碼旗標步驟 350:掃描順序 400、402、404:方塊取樣 400-406:預測方塊產生步驟 450-472:合併資訊抽取步驟 500:圖像 502、504、506:取樣陣列 508:方向 510、512:平面群組 514:特定取樣方塊 516:目前方塊 518、520:取樣方塊位置 522、524:方塊 550-556:解碼器進行步驟 604、702:重建器 606:解碼器輸入 608:解碼器輸出 610:編碼參數、殘差資訊 612:多樹型次分割資訊 614:最大區域尺度 616:最大階系位準 618:資訊 652:最後編碼器 654:嘗試編碼器

下面將參照下面有關的圖形而說明本發明之較佳實施例，其中：

第1圖展示依據本申請之一實施例的編碼器方塊圖；

第2圖展示依據本申請之一實施例的解碼器方塊圖；

第3a-c圖是圖解地展示對於一四叉樹次分割之說明範例，其中第3a圖展示第一階系位準，第3b圖展示第二階系位準並且第3c圖展示第三階系位準；

第4圖是圖解地展示依據一實施例之第3a至3c圖之四叉樹次分割的樹型結構；

第5a、5b圖是圖解地展示第3a至3c圖的四叉樹次分割以及具有指示個別支葉方塊之指標的樹型結構；

第6a、6b圖是分別地依據不同實施例圖解地展示表示第4圖樹型結構以及第3a至3c圖之四叉樹次分割的旗標之二元數列或序列；

第7圖展示依據一實施例示出藉由一資料流抽取器被進行之步驟的流程圖；

第8圖展示依據進一步的實施例示出資料流抽取器之功能的流程圖；

第9a、9b圖展示依據一實施例之四叉樹次分割的分解圖，其中對於一預定方塊的鄰近候選方塊被強調；

第10圖展示依據一進一步的實施例之資料流抽取器的功能之流程圖；

第11圖是圖解地展示依據一實施例，得自多數平面以及平面群組的圖像結構並且展示使用平面間調適/預測之編碼；

第12a以及12b圖是圖解地展示依據一實施例之一子樹型結構以及對應的次分割以便示出繼承結構；

第12c以及12d圖是分別圖解地展示依據實施例之一子樹型結構，以便展示具有採納以及預測之繼承結構；

第13圖展示依據一實施例展示藉由實現一繼承結構之編碼器而被進行之步驟的流程圖；

第14a以及14b圖展示依據一實施例之一主要的次分割以及一次級的次分割，以便示出可能地實作與預測間有關之一繼承結構；

第15圖展示依據一實施例以示出與繼承結構有關之解碼處理程序的方塊圖；

第16圖展示對於解碼處理程序之範例殘差解碼順序；

第17圖展示依據一實施例之解碼器方塊圖；

第18圖展示依據一實施例以說明資料流內容之分解圖；

第19圖展示依據一實施例之編碼器方塊圖；

第20圖展示依據一進一步實施例之解碼器的方塊圖；以及

第21圖展示依據一進一步實施例之解碼器的方塊圖。

10:編碼器

12:預測器

14:殘差預編碼器

16:殘差重建器

18:資料流插入器

20:方塊分割器

22:資料流

24:圖像

26:子區域

28:次分割器

30:合併器

32:輸入

34:減法器

36:加法器

38:濾波器

40:預測參數

Claims (50)

1. 一種解碼器，其包括： 一抽取器，其組配來從一資料串流抽取一最大區域尺度以及多樹型次分割資訊； 一次分割器，其組配來空間地分割表示一空間取樣資訊信號之一資訊取樣陣列成為一最大區域尺度之樹根區域，並且依照一多樹型次分割資訊，藉由遞迴式多分隔該等樹根區域之一子集，至少將該等樹根區域之該子集予以次分割成為不同尺度之較小簡單連接區域；以及 一重建器，其組配來從該資料串流使用次分割成為較小簡單連接區域而重建該取樣陣列。
2. 如請求項1之解碼器，其中該次分割器組配來進行使該等資訊取樣陣列成為樹根區域之分割，使得該等樹根區域是由最大區域尺度決定之尺度的矩形方塊，其規則地排列以便無隔閡地覆蓋該等資訊取樣陣列。
3. 如請求項1或2之解碼器，其中該次分割器組配來在次分割該等樹根區域之子集時，進行下列步驟： 對於各樹根區域，檢查該多樹型次分割資訊關於各別的樹根區域是否要被分隔，並且 如果該各別的樹根區域要被分隔的話，則： 依據關聯於一第一階系位準的一分隔規則，而將該各別的樹根區域分隔成該第一階系位準之區域，並且 對於該第一階系位準之該等區域，遞迴式重複該檢查以及分隔，以便使用與之關聯的分隔規則而取得較高階之階系位準的區域， 當依據該多樹型次分割資訊而無進一步的分隔將被進行，或達到一最大階系位準時，則停止該遞迴式重複動作， 其中依照該多樹型次分割資訊不進一步分隔之樹根區域之該子集的區域，分別表示該多樹型次分割之較小的簡單連接區域以及支葉區域。
4. 如請求項3之解碼器，其中該抽取器組配成也自該資料串流抽取最大階系位準。
5. 如請求項3或4之解碼器，其中該次分割器組配來依照關聯於該第一以及較高階之階系位準的分隔規則，進行成為相等尺度之子區域之一分隔，因此被取得之子區域數目於所有階系位準是共同的。
6. 如請求項3至5中任一項的解碼器，其中該抽取器組配來從該資料串流抽取以一深度優先走訪順序關聯於樹根區域子集的該等支葉區域之語法元素。
7. 如請求項3至6中任一項的解碼器，其中該多樹型次分割資訊具有分別地關聯於各樹根區域以及不屬於最大階系位準區域之該第一以及較高階之階系位準之區域之分隔指示旗標，該等分隔指示旗標指示分別地關聯的樹根區域以及該第一與較高階之階系位準之區域是否被分隔。
8. 如請求項7之解碼器，其中該抽取器組配來使用脈絡而依在分別地關聯的樹根區域以及該第一與較高階之階系位準之區域中定義的一深度優先走訪順序，脈絡調適地解碼該等分隔指示旗標，其中該等脈絡對於有關相同階系位準之分隔指示旗標是相同，但是對於有關不同階系位準之分隔指示旗標是不同。
9. 如請求項3至8中任一項的解碼器，其中各支葉區域具有與之關聯的編碼參數，對於各支葉區域，該等編碼參數是利用一各別的語法元素組集表示，各語法元素是得自一語法元素型式組集之一各別的語法元素型式，並且其中該抽取器組配來進行下列步驟： 對於各樹根區域，自該資料串流抽取一繼承資訊，該繼承資訊指示繼承是否被使用於該各別的樹根區域之內，並且如果指示繼承將被使用，在各別的樹根區域之區域中的一繼承區域，依據次分割資訊，將被分隔， 對於依據該各別的繼承資訊，其中有使用到繼承之樹根區域的該繼承區域： 自該資料串流抽取一繼承子集，其包含一預定語法元素型式之至少一語法元素， 複製該繼承子集使成為在語法元素組集內之一對應的語法元素繼承子集，或使用該繼承子集作為該對應的語法元素繼承子集之預測，其中該對應的語法元素繼承子集表示關聯於空間上位於各別繼承區域內之支葉區域的編碼參數。
10. 如請求項3至9中任一項的解碼器，其中各支葉區域具有與其關聯的編碼參數，對於各支葉區域，該等編碼參數由一各別的語法元素組集表示，各語法元素是得自一語法元素型式組集之一各別的語法元素型式，並且其中該抽取器組配來進行下列步驟： 對於依據次分割資訊將被分隔的至少一階系位準之一繼承組集區域，且使用自較低階系位準至較高階系位準之一階系位準順序，自該資料串流抽取一關聯的繼承旗標，並檢查各別的繼承旗標是否標示繼承； 對於關聯的繼承旗標標示繼承之各區域： 自該資料串流抽取一繼承子集，該子集包含一預定語法元素型式之至少一語法元素， 複製該繼承子集使成為在語法元素組集內之一對應的語法元素繼承子集，或使用該繼承子集作為該對應的語法元素繼承子集之預測，其中該對應的語法元素繼承子集表示關聯於空間上位於關聯繼承旗標標示繼承之各別繼承區域內之支葉區域的編碼參數；並且 在使用自較低階系位準至較高階系位準之階系位準順序以檢查該等繼承旗標時，抑止對於空間上位於關聯繼承旗標標示繼承之各別繼承區域內之支葉區域的進一步繼承旗標之抽取與檢查。
11. 如請求項1至10中任一項的解碼器，其中該重建器組配來以依據成為較小簡單連接區域之次分割而定的粒度而進行一個或多個下面的措施： 決定在至少區域內以及區域間的預測模式中要使用哪一預測模式； 自頻譜至空間域之轉換； 進行一區域間預測，及/或對其設定參數；及 進行一區域內預測，及/或對其設定參數。
12. 如請求項1至10中任一項的解碼器，其中該重建器組配來以依據成為較小簡單連接區域之次分割而定的粒度而進行資訊取樣陣列的一預測，且該抽取器組配來從該資料串流抽取下級次的多樹型次分割資訊，並且其中該解碼器進一步包括： 一進一步的次分割器，其組配來依照該下級次的多樹型次分割資訊，藉由遞迴式地多分隔該等較小簡單連接區域之一子集，至少將該等較小簡單連接區域之該子集，次分割成為更小簡單連接區域，其中該重建器組配來以該等更小簡單連接區域為單位進行自頻譜至空間域的再轉換。
13. 如請求項12之解碼器，其中該抽取器組配來從該資料串流抽取一進一步的最大區域尺度，並且其中該次分割器組配來將超過該進一步的最大區域尺度之各個較小簡單連接區域分割成為該進一步的最大區域尺度之樹根子區域，並且依照該下級次的多樹型次分割資訊，至少次分割該等樹根子區域之子集成為該等更小簡單連接區域。
14. 如請求項13之解碼器，其中該次分割器組配來於次分割該等較小簡單連接區域之子集時： 對於各較小簡單連接區域，檢查該下級次的多樹型次分割資訊，有關各別的較小簡單連接區域是否超過該進一步的最大區域尺度，並且，如果該各別的較小簡單連接區域超過該進一步的最大區域尺度，則將該各別的較小簡單連接區域分割成為該進一步的最大區域尺度之樹根子區域； 對於各樹根子區域： 檢查該下級次的多樹型次分割資訊，有關該各別的樹根子區域是否將被分隔，並且 如果該各別的樹根子區域將被分隔的話，則： 分隔該各別的樹根子區域成為次子區域，並且 遞迴式地重複對於該等次子區域之檢查以及分隔，直到依據該下級次的多樹型次分割資訊無進一步分隔將被進行或達到進一步的最大階系位準為止，並且 其中對於不超過該進一步的最大區域尺度之較小簡單連接區域，跳過成為樹根子區域之分割。
15. 如請求項1至14中任一項的解碼器，其進一步包括： 一合併器，其組配來依據該資料串流之語法元素之一第一子集，其與形成該多樹型次分割資訊之資料串流的語法元素之一第二子集脫連，將該等較小簡單連接區域中之空間上鄰近者結合，以取得該資訊取樣陣列之一中間次分割，其中該重建器被組配來使用該中間次分割來重建該資訊取樣陣列。
16. 如請求項15之解碼器，其中該資訊取樣陣列是得自一資訊取樣整體陣列之一簡單連接部分，該解碼器包括： 一預測器，其組配來從該資料串流預測該資訊取樣陣列，其中該重建器組配來以該等較小簡單連接區域為單位，進行自頻譜至空間域之再轉換，以取得對於該資訊取樣陣列之一殘差量，並且結合該殘差量以及該資訊取樣陣列之預測以重建該資訊取樣陣列。
17. 一種解碼方法，其包括下列步驟： 自一資料串流抽取一最大區域尺度以及多樹型次分割資訊；及 空間地分割表示一空間取樣資訊信號之一資訊取樣陣列成為該最大區域尺度之樹根區域，並且依照一多樹型次分割資訊，藉由遞迴式多分隔該等樹根區域之一子集，至少次分割該等樹根區域之該子集成為不同尺度之較小簡單連接區域；及 使用次分割成為較小簡單連接區域而自該資料串流重建該取樣陣列。
18. 一種編碼器，其包括： 一次分割器，其組配來空間地分割表示一空間取樣資訊信號之一資訊取樣陣列成為最大區域尺度之樹根區域，並且依照一多樹型次分割資訊，藉由遞迴式多分隔該等樹根區域之一子集，至少次分割該等樹根區域之該子集成為不同尺度之較小簡單連接區域；以及 一資料串流產生器，其組配來使用成為較小簡單連接區域之次分割，將該取樣陣列編碼成為一資料串流且將最大區域尺度以及多樹型次分割資訊插入該資料串流。
19. 一種用以編碼之方法，其包括下列步驟： 空間地分割表示一空間取樣資訊信號之一資訊取樣陣列成為一最大區域尺度之樹根區域，並且依照一多樹型次分割資訊，藉由遞迴式地多分隔該等樹根區域之一子集，至少次分割該等樹根區域之該子集成為不同尺度之較小的簡單連接區域；及 使用成為較小簡單連接區域之次分割，將該取樣陣列編碼成為一資料串流且將最大區域尺度以及多樹型次分割資訊插入該資料串流。
20. 一種儲存有電腦程式之電腦可讀數位儲存媒體，該電腦程式具有一程式碼，該程式碼在一電腦上執行時，用以進行如請求項17或19之方法。
21. 一種資料串流，其中有表示空間取樣資訊信號的一資訊取樣陣列被編碼入該資料串流，該資料串流包括一最大區域尺度以及一多樹型次分割資訊，依據該資訊，表示該空間取樣資訊信號之該資訊取樣陣列被分割成的該最大區域尺度之樹根區域之至少一子集，將藉由遞迴式多分隔該等樹根區域之該子集而被次分割成為不同尺度的較小簡單連接區域。
22. 一種解碼器，其包括： 一次分割器，其組配來使用一四叉樹次分割方式，藉由遞迴式四叉樹分隔，而空間地次分割表示一空間取樣資訊信號之一資訊取樣陣列成為不同尺度的方塊； 一重建器，其組配來依一深度優先走訪順序處理方塊之方式使用空間地次分割成為方塊來重建該資料串流之該資訊取樣陣列。
23. 如請求項22之解碼器，其中該次分割器組配來在空間地次分割該資訊取樣陣列時，將該資訊取樣陣列分割成為零階階系位準尺度之樹根方塊的一規則性排列，並且次分割樹根方塊之至少一子集成為不同尺度的較小方塊，其是藉由對於各樹根方塊，檢查該資訊取樣陣列被編碼所成之資料串流中所含之四叉樹次分割資訊來進行，其中該檢查係要查知各別的樹根方塊是否將被分隔，並且如果該各別的樹根方塊將被分隔，則將該各別的樹根方塊分隔成為一第一階系位準之四個方塊，並且遞迴式重複對於該等第一階系位準方塊之檢查以及分割，以便取得較高階級之階系位準方塊，當依據該四叉樹次分割資訊而無分割要進行、或達到一最大的階系位準時則停止該遞迴式重複動作，其中不進一步被分隔之樹根方塊的子集之方塊以及不被分隔之樹根方塊表示不同尺度的方塊，其中該重建器組配來於重建該資訊取樣陣列時，以一掃描順序走訪該等不同尺度的方塊，依據該掃描順序，該等樹根方塊以一曲折掃描順序被掃描，其對屬於該樹根方塊之子集的各樹根方塊，在以該曲折掃描順序進一步地進入下一個樹根方塊之前，以深度優先走訪順序處理該等不同尺度的方塊。
24. 如請求項23之解碼器，其中該重建器包括： 一抽取器，其組配來從該資料串流以該掃描順序，抽取關聯於該等不同尺度的方塊之語法元素。
25. 如請求項24之解碼器，其中該抽取器組配來對於一目前被抽取的語法元素，使用與相對目前被抽取的該語法元素所關聯之方塊具有一預定相對位置關係之不同尺度的方塊相關聯之語法元素，以設定一概率估計脈絡，並且使用所設定的概率估計脈絡於熵解碼該目前被抽取的語法元素，或對於該目前被抽取的語法元素所關聯之方塊之編碼參數進行一預測，並且結合該預測與該目前被抽取之語法元素作為殘差量，以取得目前被抽取的語法元素所關聯之方塊的編碼參數。
26. 如請求項25之解碼器，其中依照該深度優先走訪順序，相同階系位準之方塊也以一曲折掃描順序被掃描。
27. 如請求項22至26中任一項的解碼器，其中該重建器組配來以依據該四叉樹次分割而定的粒度進行一個或多個下面的措施： 決定在至少區域內以及區域間的預測模式中要使用哪一預測模式； 自頻譜至空間域之轉換； 進行一區域間預測，及/或對其設定參數；及 進行一區域內預測，及/或對其設定參數。
28. 如請求項22至27中任一項的解碼器，其中該重建器包括一抽取器，該抽取器使用依據在已自該資料串流抽取出之該等不同尺度方塊之中的鄰近方塊之語法元素而定的脈絡，自該資料串流抽取關聯於該等不同尺度的方塊之語法元素。
29. 一種用以解碼之方法，其包括下列步驟： 使用一四叉樹次分割，藉由遞迴式進行四叉樹分隔，而空間地次分割表示一空間取樣資訊信號之一資訊取樣陣列成為不同尺度的方塊；及 以一深度優先走訪順序處理方塊之方式使用空間地次分割成為方塊來重建該資料串流之該資訊取樣陣列。
30. 一種編碼器，其包括： 一次分割器，其組配來使用一四叉樹次分割方式，藉由遞迴式進行四叉樹分隔，而空間地次分割表示一空間取樣資訊信號之一資訊取樣陣列成為不同尺度的方塊； 一資料串流產生器，其組配來以依一深度優先走訪順序處理方塊之方式使用空間次分割成為方塊來將該資料串流之資訊取樣陣列編碼入一資料串流。
31. 一種用以編碼之方法，其包括下列步驟： 使用一四叉樹次分割方式，藉由遞迴式進行四叉樹分隔，而空間地次分割表示一空間取樣資訊信號之一資訊取樣陣列成為不同尺度的方塊； 以依一深度優先走訪順序處理方塊之方式使用空間次分割成為方塊將資料串流之該資訊取樣陣列編碼入一資料串流。
32. 一種儲存有電腦程式之電腦可讀數位儲存媒體，該電腦程式具有一程式碼，該程式碼在一電腦上執行時，用以進行如請求項29或31之方法。
33. 一種編碼有資訊取樣陣列之資料串流，該資訊取樣陣列表示一空間取樣資訊信號，該資訊取樣陣列使用一四叉樹次分割方式，藉由遞迴式四叉樹分隔，而空間地次分割成為不同尺度的方塊，該資訊取樣陣列以依一深度優先走訪順序處理方塊之方式使用空間次分割成為資料串流的方塊而被編碼入一資料串流。
34. 一種解碼器，其用以解碼出標示樹根方塊之空間多樹型次分割的多樹型結構之編碼信令，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼信令包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，並且各旗標指明對應於各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，該解碼器組配來使用概率估計脈絡而依序地熵解碼出該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。
35. 如請求項34之解碼器，其中該空間多樹型次分割是一四叉樹次分割，並且依照該深度優先走訪順序，一曲折掃描被定義於具有一共同親源節點的四叉樹次分割之相同階系位準的節點間，其中該解碼器組配成使得對於一預定旗標之概率估計脈絡也取決於依照該深度優先走訪順序居於該預定旗標之前以及對應於相對於該預定旗標所對應的一區域具有一預定相對位置關係的樹根方塊區域的旗標。
36. 如請求項32之解碼器，其中該解碼器組配成使得被使用於該預定旗標之一概率估計脈絡取決於依照該深度優先走訪順序居於該預定旗標之前以及對應於相對於該預定旗標所對應的區域之頂部或左方的樹根方塊區域的旗標。
37. 如請求項35或36之解碼器，其中該解碼器組配成使得被使用於該預定旗標之該概率估計脈絡僅取決於位於該預定旗標所關聯的節點之相同階系位準內之旗標。
38. 如請求項35至37中任一項的解碼器，其中該解碼器也組配來從該資料串流抽取出一最高階系位準之一指示，該樹形方塊遞迴式地被多分隔到該位準，其中之旗標序列僅包括不等於最高階系位準之階系位準的旗標。
39. 如請求項34至38中任一項的解碼器，其中該解碼器組配來解碼出標示多個樹根方塊之一空間多樹型次分割的多樹型結構之信令，該等多個樹根方塊以在該等多個樹根方塊間定義的一曲折掃描順序，共同形成一較大之二維部分的一連續以及規則性的網格分割。
40. 如請求項34至38中任一項的解碼器，其中該解碼器組配來解碼出標示多個樹根方塊的一空間多樹型次分割之多樹型結構的信令，該等樹根方塊則是以在該等多個樹根方塊間定義之一深度優先走訪順序之一較大二維部分之另外的多樹型次分割之支葉方塊，且其中該等多樹型結構之編碼信令各包括以深度優先走訪順序關聯於各別的多樹型結構節點之一旗標序列，且各旗標指明對應於各別的旗標所關聯的節點之各別樹根方塊的一區域是否被多分隔，該解碼器組配來使用對於關聯於相同尺度區域之旗標是相同之概率估計脈絡依序地熵解碼該等旗標。
41. 一種用以解碼出標示樹根方塊之空間多樹型次分割的多樹型結構之編碼信令的方法，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼信令包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，且各旗標指明對應於各別的旗標關聯之節點的樹根方塊之一區域，是否被多分隔，該方法包括使用概率估計脈絡而依序地熵解碼出該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。
42. 一種用以產生標示樹根方塊之空間多樹型次分割的多樹型結構之編碼信令的編碼器，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼信令包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，且各旗標指明對應於各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，該編碼器組配來使用概率估計脈絡而依序地熵編碼該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。
43. 一種用於編碼器以供產生標示樹根方塊之空間多樹型次分割的多樹型結構之編碼信令的方法，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼信令包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，且各旗標指明對應於各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，該方法包括使用概率估計脈絡而依序地熵編碼該等旗標，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。
44. 一種儲存有電腦程式之電腦可讀數位儲存媒體，該電腦程式具有一程式碼，該程式碼在一電腦上執行時，用以進行如請求項41或43之方法。
45. 一種編碼有多樹型結構之編碼信令的資料串流，該編碼信令標示樹根方塊之空間多樹型次分割，依據該空間多樹型次分割，該樹根方塊遞迴式被多分隔成為支葉方塊，該編碼信令包括以一深度優先順序關聯於多樹型結構節點之一旗標序列，且各旗標指明對應於各別旗標關聯之節點的樹根方塊之一區域是否被多分隔，其中該等旗標使用概率估計脈絡而依序地被熵編碼入該資料串流，該等概率估計脈絡對於關聯位在多樹型結構之相同階系位準內的多樹型結構節點之旗標是相同，但是對於位在多樹型結構之不同階系位準內的多樹型結構節點是不同。
46. 一種用以解碼多樹型結構之編碼信令之解碼器，該編碼信令包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該解碼器組配來進行下列步驟： 自一資料串流解碼出該最高階系位準之指示，並且接著 以一深度優先或廣度優先走訪順序，藉由跳過最高階系位準節點並且自動地指定相同支葉節點，而自該資料串流依序地解碼出該旗標序列。
47. 一種用以解碼多樹型結構之編碼信令之方法，該編碼信令包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該方法包括下列步驟： 自一資料串流解碼出該最高階系位準之指示，並且接著 以一深度優先或廣度優先走訪順序，藉由跳過最高階系位準節點並且自動地指定相同支葉節點，而自該資料串流依序地解碼出該旗標序列。
48. 一種用以產生多樹型結構之編碼信令之編碼器，該編碼信令包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該編碼器組配來進行下列步驟： 編碼該最高階系位準指示進入一資料串流，及接著 以一深度優先或廣度優先走訪順序，藉由跳過最高階系位準節點並且自動地指定相同支葉節點，而依序地編碼該旗標序列進入該資料串流。
49. 一種用以產生多樹型結構之編碼信令之方法，該編碼信令包括一最高階系位準之一指示以及一關聯不等於該最高階系位準之多樹型結構節點的旗標序列，各旗標指明關聯的節點是否為一中間節點或是子系節點，該方法包括下列步驟： 編碼該最高階系位準指示進入一資料串流，及接著 以一深度優先或廣度優先走訪順序，藉由跳過最高階系位準節點並且自動地指定相同支葉節點，而依序地編碼該旗標序列進入該資料串流。
50. 一種儲存有電腦程式之電腦可讀數位儲存媒體，該電腦程式具有一程式碼，該程式碼在一電腦上執行時，用以進行如請求項47或49之方法。

Images