TW202021343A

TW202021343A - 解碼器、編碼器、及相關聯方法和電腦程式

Info

Publication number: TW202021343A
Application number: TW108129640A
Authority: TW
Inventors: 希克史瓦茲; 菲利浦希利; 西蒙奧汀; 迪特利夫馬皮; 湯瑪士威剛德; 班加明布洛斯
Original assignee: 美商Ｇｅ影像壓縮有限公司
Priority date: 2010-10-08
Filing date: 2011-10-11
Publication date: 2020-06-01
Also published as: BR112013008461A2; US20200244975A1; JP2018082466A; KR20200043496A; PL3703373T3; HK1244981A1; KR20190021482A; KR101893923B1; US20200128259A1; KR20180099914A; KR101526778B1; TWI554086B; CN106878725B; CN107071438B; EP2625855A1; US20130287116A1; TW202332270A; TWI520579B; KR20170119727A; EP2625855B1

Abstract

若針對圖像的目前區塊，對該區塊該位元串流傳訊支持分割圖樣中之一者，避免藉區塊合併而造成分割的逆轉，則可達成編碼效率的進一步增高。更明確言之，若該經傳訊的該等支持分割圖樣中之一者載明該區塊之細分成二或多個細分區塊，則執行針對全部細分區塊之某些編碼參數候選者的去除，但於編碼順序中該等細分區塊之第一細分區塊除外。更明確言之，該等編碼參數候選者係從針對個別細分區塊之該編碼參數候選者集合中去除，其編碼參數係與該等細分區塊中之任一者聯結的編碼參數相同，該等編碼參數候選者當與該個別細分區塊合併時將導致該支持分割圖樣中之一者。藉此手段，避免分割編碼與合併編碼間之冗餘。

Description

解碼器、編碼器、及相關聯方法和電腦程式

本案係有關於圖像及/或視訊編碼及更明確言之係有關支持區塊分割及區塊合併的編解碼器。

許多圖像及/或視訊編解碼器係以區塊為單位處理圖像。舉例言之，圖像編碼解器使用區塊粒度來達成以高空間解析度設定的極為精準地設定預測參數與下述者間的良好折衷，然而，一方面耗用過多預測參數之側邊資訊，及另一方面，太過粗糙設定預測參數，造成因預測參數的較低空間解析度所致之編碼預測殘差的位元需要量增加。實際上，預測參數之最佳設定係位在兩個極端間之某處。

已經做過若干嘗試來針對前文摘述問題獲得最佳解決辦法。舉例言之，替代使用圖像規則細分成成列及成行規則排列的區塊，多樹分割細分尋求以對細分資訊的合理需求而提高細分圖像成為區塊的自由度。雖言如此，即便多樹分割細分仍需顯著量資料的信號化，且即便於使用此種多樹細分之情況下，細分圖像的自由度相當有限。

為了使得一方面信號化圖像細分所需側邊資訊量及另一方面，細分圖像的自由度間獲得更佳折衷，可使用區塊合併來以信號化該合併資訊合理的額外資料需要量而增加可能的圖像細分數目。針對合併區塊，編碼參數需在位元串流內部以只有一次全部發送，類似彷彿所得合併區塊群組為該圖像的直接細分部分般。

但因區塊合併與區塊分割的組合新近造成剩餘冗餘故，仍然需要達成更佳編碼效率。

如此，本發明之目的係提供具增高編碼效率之編碼構思。此項目的係藉審查中之申請專利範圍獨立項達成。

本發明的潛在構思是若針對圖像的目前區塊，對該區塊該位元串流傳訊支持分割圖樣中之一者，避免藉區塊合併而造成分割的逆轉，則可達成編碼效率的進一步增高。更明確言之，若該經傳訊的該等支持分割圖樣中之一者載明該區塊之細分成二或多個細分區塊，則執行針對全部細分區塊之某些編碼參數候選者的去除，但於編碼順序中該等細分區塊之第一細分區塊除外。更明確言之，該等編碼參數候選者係從針對個別細分區塊的該編碼參數候選者集合中去除，其編碼參數係與該等細分區塊中之任一者聯結的編碼參數相同，該等編碼參數候選者當與該個別細分區塊合併時將導致該支持分割圖樣中之一者。藉此手段，避免分割編碼與合併編碼間之冗餘，及藉探索尺寸縮小的編碼參數候選者集合，可更加減少為了傳訊合併資訊的傳訊額外管理資料量。又復，維持區塊分割與區塊合併的組合的正面效果。換言之，由於組合區塊分割與區塊合併，相較於不含區塊合併的情況，可達成分割圖樣的變化增加。傳訊額外管理資料量的增加維持在合理極限內。最後，區塊合併允許超越目前區塊邊界而統一細分區塊，因而提供若未使用區塊合併時將無法達成的粒度。

應用與該合併候選者集合的略為不同觀點，依據本發明之又一構面，前文解說的構思自行彰顯於經組配來解碼傳訊針對一圖像之一目前區塊支持分割圖樣中之一者之一位元串流的解碼器中，該解碼器係經組配來若該所傳訊的支持分割圖樣中之一者載明該目前區塊細分成二或多個細分區塊，則針對全部細分區塊，但於編碼順序中該等細分區塊中之一第一細分區塊除外，從針對該個別細分區塊之一編碼參數候選者集合中，去除候選區塊，該等候選區塊當與該個別細分區塊合併時將導致該等支持分割圖樣中之一者。

本發明之優異體現乃隨附之申請專利範圍附屬項的主題。

有關後文說明，須注意每當關聯不同圖式使用相同元件符號時，有關此等圖式中之一者呈示的個別元件說明將同等適用於其它圖式，但限制條件為此等解說從一幅圖式轉移至另一幅圖式不會與此另一幅圖式的其餘描述相衝突。

第1圖顯示依據本發明之一實施例之編碼器10。編碼器10係經組配來將圖像20編碼成位元串流30。當然圖像20可以是視訊的一部分，於該種情況下，編碼器將是視訊編碼器。

圖像20包含目前藉編碼器10所編碼之一區塊40。如第1圖所示，圖像20可包含多於一個區塊40。舉例言之，圖像20可以細分成區塊40的規則排列使得區塊40係以第1圖具體顯示般排列成列及成行。但圖像20的任何其它細分成區塊40也屬可能。更明確言之，圖像20細分成區塊40可以固定，亦即藉內設而為解碼器所已知，或可在位元串流30內部傳訊給解碼器。更明確言之，圖像20的區塊40大小各異。舉例言之，多樹細分諸如四元樹細分可施加至圖像20，或施加至圖像20的規則前細分成為規則排列的樹根區塊，而獲得區塊40，於此種情況下，區塊40形成多樹細分的葉區塊。

總而言之，編碼器10係經組配來針對目前區塊40，在位元串流30內部傳訊支持分割圖樣中之一者。換言之，例如就某個速率失真最佳化意義而言，編碼器10判定是否更佳進一步分割區塊40，及判定支持分割圖樣中之哪一者須用在目前區塊40來調整在圖像20之目前區塊40內部某些編碼參數所設定的粒度。容後詳述，編碼參數例如可表示預測參數，諸如間預測參數。此等間預測參數例如可包含參考圖像指數、移動向量等。支持分割圖樣例如可包含非分割模式，亦即一個選項，據此目前區塊40不再進一步分割；水平分割模式，亦即一個選項據此目前區塊40係沿水平延伸線細分成上部或頂部及底部或下部；及垂直分割模式，亦即一個選項據此目前區塊40係沿垂直延伸線垂直細分成左部及右部。此外，支持分割圖樣中之一者也包含一個選項據此目前區塊40進一步規則地細分成四個細分區塊，各自占目前區塊40的四分之一。又，分割可有關圖像20的全部區塊40或僅只其適當子集，諸如具有聯結某個編碼模式諸如間預測參數者。此外，合併適用於區塊分割的可能區塊集合可藉針對可執行合併的各區塊40，額外地受位元串流信號化約束，有關合併是否將為區分分割所利用。當然，此種信號化也可針對個別分割的各個潛在合併候選者進行。又，不同支持分割圖樣之子集為區塊40可資利用，例如取決於區塊大小、於區塊40為多樹細分葉區塊之情況下區塊40的細分程度、其組合或其個別。

換言之，雖然圖像20細分成區塊因而獲得區塊40可固定或在位元串流傳訊，但欲用在目前區塊40的分割圖樣係在位元串流30內部以分割資訊形式傳訊。如此，分割資訊可視為圖像20細分成區塊40的一種延伸。另一方面，仍然保有圖像20細分成區塊40的原先粒度之額外關聯性。舉例言之，編碼器10可經組配來在位元串流30內部傳訊在由區塊40所界定的粒度用在圖像20之個別部分或區塊40的編碼模式，同時編碼器10係經組配來以由針對個別區塊40所選個別分割圖樣所界定的增高(更精細)粒度來變更在個別區塊40內部個別細碼模式之編碼參數。舉例言之，以區塊40粒度傳訊的編碼模式可有內預測模式、間預測模式等不同模式，諸如時間性間預測模式、觀看間預測模式等。然後與由個別區塊40分割所得一或多個子區塊(區間)聯結的編碼參數種類取決於分配給個別區塊40的編碼模式。舉例言之，針對內編碼區塊40，編碼參數可包含沿該方向圖像20的先前解碼部分的圖像內容係用來填補個別區塊40之空間方向。於間編碼區塊40之情況下，編碼參數可包含用於移動補償預測的移動向量等。

第1圖具體顯示目前區塊40細分成兩個細分(較小)區塊50及60。更明確言之，具體顯示垂直分割模式。較小區塊50及60也可稱作子區塊50及60或區間50及60或預測單元50及60。更明確言之，編碼器10係經組配來於此種情況下，此處支持分割圖樣中之被傳訊的一者載明目前區塊40細分成二或多個細分區塊50及60，則針對全部細分區塊，但於編碼順序中該等細分區塊50及60中之一第一細分區塊除外，從針對該個別細分區塊之一編碼參數候選者集合中去除候選區塊，該等候選區塊當與該個別細分區塊合併時將導致該等支持分割圖樣中之一者。更精確言之，針對各個支持分割圖樣，在所得一或多個區間50及60中界定編碼順序。於第1圖中，編碼順序係以箭頭70舉例說明，界定左區間50係比右區間60更早編碼。以水平分割模式為例，可界定上區間係比區間更早編碼。總而言之，編碼器10係經組配來針對編碼順序70中的第二區間60，從針對個別第二區間60的編碼參數候選者集合中，去除具有與第一區間50聯結的編碼參數相同編碼參數的編碼參數候選者以避免此種合併的結果，換言之，區間50及60二者具有與其聯結的相同編碼參數之事實實際上可藉由以較低編碼率，針對目前區塊40選擇非分割模式而同等地獲得。

更明確言之，編碼器10係經組配來以有效方式使用區塊合併連同區塊分割。考慮區塊合併，編碼器10針對各個區間50及60決定個別編碼參數候選者集合。編碼器可經組配來基於與先前解碼區塊聯結的編碼參數，針對各個區間50及60決定編碼參數候選者集合。更明確言之，在編碼參數候選者集合內部的至少部分編碼參數候選者可等於，亦即可採用先前解碼區間的編碼參數。此外或另外，至少部分編碼參數候選者可藉適當組合諸如中數、平均值等而從與多於一個先前解碼區間聯結的編碼參數候選者導算出。但因編碼器10係經組配來執行編碼參數候選者之縮小集合的測定，且若在去除後留下多於一個此種編碼參數候選者，針對各個非第一區間60在剩餘未被移除的編碼參數候選者中，取決於一個未被移除的或擇定的編碼參數候選者，設定與個別區間聯結的編碼參數，則編碼器10係經組配來執行移除使得編碼參數候選者將有效地導致區間50及60的重新統一被移除。換言之，有效地避免語法群組，據此有效分割情況係以比較藉單獨使用分割資訊直接傳訊此種分割的情況更複雜地編碼。

此外，隨著編碼參數候選者集合的變小，因此等候選者集合裡的成員數目較少，故將合併資訊編碼成位元串流30所需側邊資訊量減少。更明確言之，因解碼器可以第1圖編碼器之相同方式決定編碼參數候選者集合及隨後縮小集合，第1圖之編碼器10可藉下述方式探索編碼參數候選者的縮小集合，例如，使用較少位元來將語法元素插入位元串流30，載明未被去除的編碼參數候選者中之哪一者係欲用在合併。當然，若針對個別區間的未經去除的編碼參數候選者數目只有一個，則語法元素導入位元串流30內可完全被遏止。總而言之，由於合併，亦即取決於未經去除的編碼參數候選者之剩餘一者或擇定一者，設定與個別區間聯結的編碼參數，編碼器10可遏止個別區間的編碼參數完全重新插進位元串流30，藉此也減少側邊資訊。依據本案之若干實施例，編碼器10可經組配來在位元串流30內部信號化用以精製個別區間的編碼參數候選者之剩餘一者或擇定一者之精製資訊。

依據前述第1圖說明，編碼器10係經組配來決定欲藉比較其編碼參數與該區間的編碼參數而去除的合併候選者，其合併將獲得另一支持分割圖樣。在第1圖例示說明之情況下，例如假設左區間50的編碼參數形成針對右區間60的編碼參數候選者集合中之一個成員，則此種編碼參數候選者的處理方式將有效地去除至少一個編碼參數候選者。但當額外編碼參數候選者等於左區間50的編碼參數時，該等額外編碼參數候選者也可被移除。但依據本發明之另一實施例，編碼器10可經組配來針對於編碼順序中各個第二及隨後區間，決定一候選區塊集合，從此一候選區塊集合中去除該或該等候選區塊，當與個別區間合併時，導致支持分割圖樣中之一者。就某方面而言，如此表示後述情況。編碼器10可經組配來針對個別區間50或60(亦即於編碼順序中的第一者及隨後者)決定合併候選者，使得候選者集合中之各個成員具有目前區塊40的恰一個區間或先前編碼區塊40中之任一者與其聯結在於該候選者採用聯結區間的個別編碼參數。舉例言之，候選者集合的各個成員可等於，亦即採用先前編碼區間之此等編碼參數中之一者，或可至少從單只一個此種先前編碼區間之編碼參數導算出，諸如藉使用額外發送的精製資訊而額外定標或精製。但編碼器10也可經組配來此一候選者集合伴有額外成員或候選者，亦即已經從多於一個先前編碼區間之編碼參數組合導算出的編碼參數候選者，或已經藉修改諸如只取一個移動參數列表的編碼參數，而從一個先前編碼區間之編碼參數導算出的編碼參數候選者。針對「組合」成員，個別候選者成員與一個個別區間之編碼參數間並無1：1聯結。依據第1圖描述的第一替代之道，編碼器10可經組配來從整個候選者集合中去除全部候選者，其編碼參數係等於區間50的編碼參數。依據第1圖描述的後述替代之道，編碼器10可經組配來只去除與區間50聯結的候選者集合成員。協調兩個觀點，編碼器10可經組配來從候選者集合部分去除顯示對某個(例如鄰近)先前編碼區間的1：1聯結的候選者，而未將去除(及搜尋具有相等編碼參數的候選者)延伸至具有藉組合所得編碼參數的候選者其餘部分。但當然，若一個組合也將導致冗餘表示型態，則此點可藉從該列表中去除冗餘編碼參數而予解決，或藉也對組合候選者執行冗餘查核而予解決。

已經描述依據本發明之一實施例的編碼器後，參考第2圖，描述依據一實施例的解碼器80。第2圖之解碼器80係經組配來解碼位元串流30，如前述，位元串流30傳訊針對圖像20之目前區塊40的支持分割圖樣中之一者。解碼器80係經組配來若被傳訊的支持分割圖樣中之一者載明目前區塊40細分成二或多個區間50及60，則針對於編碼順序70中區間裡的第一區間50除外的全部區間，亦即針對第1及2圖所示實例的區間60，從針對個別區間的編碼參數候選者之一集合中，去除具有編碼參數相同或等於任一區間聯結的編碼參數之編碼參數候選者，當合併個別區間時將導致支持分割圖樣中之一者，換言之，未曾在位元串流30內部信號化，反而雖言如此係屬支持分割圖樣中之一者。

換言之，解碼器功能大致上重合就第1圖描述的編碼器功能。舉例言之，解碼器80可經組配來若未經去除的編碼參數候選者數目為非零，則取決於未經去除的參數候選者中之一者而設定與個別區間60聯結之編碼參數。舉例言之，解碼器80設定區間60之編碼參數，使得等於未經去除的編碼參數候選者中之一者，有或無額外精製及/或有或無依據編碼參數所指稱的時間距離而定標。舉例言之，未經去除的候選者中，欲合併的編碼參數候選者可以聯結另一個參考圖像指數，而非針對區間60在位元串流30內部明確傳訊的參考圖像指數。於該種情況下，編碼參數候選者的編碼參數可界定移動向量，各自係有關於一個別參考圖像指數，及解碼器80可經組配來依據二參考圖像指數間之比而定標最終擇定的未經去除的編碼參數候選者之移動向量。如此，依據前文剛才所述的替代之道，接受合併的編碼參數將涵蓋移動參數，而參考圖像指數將分開。但如前述，依據另一實施例，參考圖像指數也可成為接受合併的編碼參數之一部分。

同等適用於第1圖之編碼器及第2圖之解碼器，合併表現可限於間預測區塊40。據此，解碼器80及編碼器10可經組配來針對目前區塊40支持內及間預測模式，且唯有在目前區塊40係以間預測模式編碼之情況下才進行候選者的合併及去除。據此，只有此等間預測先前編碼區間的編碼/預測參數可用來決定/組成候選者列表。

如前文已經討論，編碼參數可以是預測參數，解碼器80可經組配來使用區間50及60的預測參數來導出個別區間的預測信號。當然，編碼器10也係以相同方式執行預測信號的偏離。但編碼器10額外地設定編碼參數連同在位元串流30內部的全部其它語法元素來以適當最佳化意義達成若干最佳化。又復，如前文已述，編碼器可經組配來唯有於針對該個別區間未經去除的編碼參數候選者數目係大於1之情況下，才將指數插入未經去除的編碼參數候選者。據此，取決於例如針對區間60的未經去除的編碼參數候選者數目，若未經去除的編碼參數候選者數目大於1，則解碼器80可經組配來只預期位元串流30包含一語法元素載明未經去除的編碼參數候選者中之哪一者係用於合併。但如前述，藉使用組合編碼參數延伸候選者列表/集合，亦即已經經由組合多於一個或多於兩個先前編碼區間的編碼參數導出參數，限制候選者集合表現縮減至經由採用或偏離恰一個先前編碼區間的編碼參數已經獲得的該等候選者，通常可排除發生候選者集合數目小於2的情況。相反情況亦屬可能，亦即通常去除與導致另一支持分割圖樣的該等區間相同值的全部編碼參數候選者。

有關於決定方面解碼器80的動作如同編碼器10。換言之，解碼器80可經組配來基於與先前解碼區間聯結之編碼參數，針對在編碼順序70中在第一區間50之後的區間決定編碼參數候選者集合。換言之，編碼順序不僅在個別區塊40的區間50及60界定，同時也在圖像20本身的區塊40界定。如此，在區間60之前已經編碼的全部區間針對接續區間中之任一者，諸如第2圖的區間60，用作為決定編碼參數候選者集合的基礎。如前文已述，編碼器及解碼器可在某個空間及/或時間環境下，限制針對區間的編碼參數候選者集合之決定。舉例言之，解碼器80可經組配來基於個別非第一區間鄰近的先前已解碼區間聯結的編碼參數，決定針對非第一區間60的編碼參數候選者集合，其中此等區間可位在目前區塊40外部及內部。當然，可針對於編碼順序中的第一區間執行合併候選者的決定。只是並未進行去除。

與第1圖之描述重合，解碼器80可經組配來針對先前已解碼區間之一初始集合中之個別非第一區間60，決定編碼參數候選者集合，但以內預測模式編碼者除外。

又復，當編碼器將細分資訊導入位元串流來將圖像20細分成區塊40時，解碼器80可經組配來依據位元串流30的細分資訊而回復將圖像20細分成此等編碼區塊40。

有關第1圖及第2圖，須注意目前區塊40的殘差信號就編碼參數而言，可以與藉區間所界定的粒度不同的粒度，透過位元串流30而發送。舉例言之，第1圖之編碼器10可經組配來以與分割成區間50及60並列或獨立的方式將區塊40細分成一或多個變換區塊。編碼器可藉額外細分資訊針對區塊40信號化個別變換區塊細分。解碼器80轉而可經組配來依據位元串流裡的額外細分資訊來回復區塊40進一步細分成一或多個變換區塊，及以此等變換區塊為單位而從該位元串流導算出目前區塊40的殘差信號。變換區塊分割的意義可以是在編碼器的變換諸如DCT及在解碼器的相對應反變換諸如IDCT係個別地在區塊40的各個變換區塊內部執行。為了將圖像20重構為區塊40，然後編碼器10組合諸如相加藉於個別區間50及60施加編碼參數所導出的預測信號與殘差信號。但須注意殘差編碼可能並未涉及任何變換及反變換，及例如預測殘差反而係在空間域編碼。

在後文描述額外實施例的進一步可能細節之前，將就第3及4圖說明第1及2圖之編碼器及解碼器可能的內部結構。第3圖示例顯示如何可在內部組成編碼器10。如圖所示，編碼器10可包含減法器108、變換器100及位元串流產生器102，如第3圖指示可執行熵編碼。元件108、100及102係在接收圖像20的輸入端112與輸出前述位元串流30的輸出端114間串聯。更明確言之，減法器108具有其非反相輸入端連結至輸入端112，及變換器100連結在減法器108與位元串流產生器102的第一輸入端間，又有一輸出端係連結至輸出端114。第3圖之編碼器10進一步包含反變換器104及加法器110以所述順序串聯至變換器100的輸出端。編碼器10進一步包含預測器106，其係連結在加法器110之一輸出端及加法器110之又一輸入端與該減法器108的反相輸入端間。

第3圖之元件係互動如下：預測器106預測圖像20部分，預測結果亦即預測信號施加至減法器108的反相輸入端。減法器108之輸出端又表示預測信號與個別圖像20部分間之差，亦即殘差信號。殘差信號係接受變換器100的變換編碼。換言之，變換器100可進行變換諸如DCT等，及針對變換殘差信號亦即變換係數的隨後量化，因而獲得變換係數位準。反變換器104重構重構藉變換器100輸出的終殘差信號而獲得重構殘差信號，該重構殘差信號係相對應於輸入變換器100的殘差信號，但因變換器100量化所致資訊遺失除外。重構殘差信號與預測信號相加作為預測器106的輸出結果導致圖像20個別部分的重構，且從加法器110輸出端前傳至預測器106輸入端。預測器106係以前述不同模式操作，諸如內預測模式、間預測模式等。預測模式及藉預測器106施加的相對應編碼或預測參數來獲得預測信號係藉預測器106而前傳至熵編碼器102用以插入位元串流。

相對應於就編碼器可能顯示於第3圖之第2圖解碼器80內部結構的可能體現係顯示於第4圖。如圖所示，解碼器80可包含位元串流提取器150，其如第4圖所示係體現為熵解碼器、反變換器152、及加法器154，該等元件係以所述順序連結在解碼器之輸入端158與輸出端160間。又，第4圖之解碼器包含連結在加法器154輸出端與其又一輸入端間之預測器156。熵解碼器150係連結至預測器156之參數輸入端。

簡短描述第4圖解碼器之功能，熵解碼器150係用來提取含在位元串流30的全部資訊。所使用的熵編碼方案可以是可變長度編碼或算術編碼。藉此，熵解碼器150從位元串流回復表示殘差信號的變換係數位準，且前傳給反變換器152。又，熵解碼器150從該位元串流回復全部編碼模式及聯結的編碼參數且前傳給預測器156。此外，分割資訊及合併資訊係藉提取器150而從位元串流提取。反變換亦即重構殘差信號及如預測器156所導出的預測信號藉加法器154組合，諸如相加，而又轉而在輸出端160輸出如此回復的重構信號及前傳給預測器156。

從比較第3及4圖顯然易知，元件152、154及156之功能上係相對應於第3圖之元件104、110及106。

於如此第1至4圖之描述中，有關圖像20可能的細分及變更涉及編碼圖像20的若干參數中之相對應粒度已經呈現若干不同可能性。一個此種可能性再度係就第5a圖及第5b圖描述。第5a圖顯示圖像20之一部分。依據第5a圖之實施例，編碼器及解碼器係經組配來首先將圖像20細分成樹根區塊200。一個此種樹根區塊係顯示於第5a圖。圖像20細分成樹根區塊如虛線例示說明係成列及成行規則地進行。樹根區塊200的大小可藉編碼器擇定及藉位元串流30傳訊給解碼器。另外，此等樹根區塊200的大小可藉內設固定。樹根區塊200係藉使用四元樹分割而細分來獲得前述區塊40，可稱作為編碼區塊或編碼單元。此等編碼區塊或編碼單元係以細實線畫在第5a圖。藉此，編碼器以細分資訊伴隨各個樹根區塊200，及將細分資訊插入位元串流。此一細分資訊指示樹根區塊200如何細分成區塊40。於此等區塊40之粒度或以此等區塊40為單位，在圖像20內部預測模式各異。如前文指示，各個區塊40或有某個預測模式諸如間預測模式的各區塊係伴以分割資訊，該分割資訊有關哪個支持分割圖樣係用於個別區塊40。於第5a圖之例示說明例中，針對許多編碼區塊40，選用非分割模式使得編碼區塊40空間上重合相對應區間。換言之，編碼區塊40目前為具有個別預測參數集合與其聯結的一個區間。預測參數的分類又係取決於與個別編碼區塊40聯結的模式。但其它編碼區塊例示顯示為進一步分割。在樹根區塊200右上角的編碼區塊40例如顯示為分割成四個區間，而在樹根區塊200右下角的編碼區塊具體顯示為垂直分割成兩個區間。分割成區間的細分係以虛線顯示。第5a圖也顯示在如此界定的區間中之編碼順序。如圖所示，採用深度優先的橫過順序。跨越樹根區塊邊界，編碼順序可以掃描順序繼續，據此，樹根區塊200之各列係以逐列方式從圖像20的頂至底掃描。藉此手段，某個區間有最大機會有個先前已編碼區間相鄰其頂邊界及左邊界。各個區塊40或有某個預測模式諸如間預測模式的各個區塊可有個合併切換指標在該位元串流內部，該指標指示針對其中相對應的區間是否已經啟動合併。須注意區塊分割成區間/預測單元可限於至多兩個區間的分割，只有針對最小可能的區塊40的區塊大小，此一規則才有例外。於使用四元樹分割來獲得區塊40之情況下，避免將圖像20細分成區塊40的細分資訊及將區塊40細分成區間的分割資訊間之冗餘。另外，只允許分割成一或二個區間，含括或不含括非對稱者。

第5b圖顯示細分樹。實線顯示樹根區塊200之細分，而虛線象徵四元樹細分的葉區塊之分割，其為編碼區塊40。換言之，編碼區塊的分割表示一種四元細分的延伸。

如前文已注意，各個編碼區塊40可並列地細分成變換區塊，故變換區塊可表示個別編碼區塊40的不同細分。未顯示於第5a及5b圖，對各個此等變換區塊，可分開地進行變換來變換編碼區塊的殘差信號。

後文中將說明本發明之額外實施例。雖然前述實施例的關注焦點集中在一方面區塊合併與另一方面區塊分割間之關係，後文描述也包括本編解碼器已知之其它編碼原理諸如SKIP/DIRECT模式有關的本案構面。雖言如此，後文描述不應視為只描述分開實施例，亦即與前文描述分開的實施例。反而後文描述也洩示前述實施例的可能體現細節。據此，後文描述使用前文已述圖式的元件符號，使得後述個別可能體現也界定前述實施例可能的變化。大部分此等變化可個別地移轉至前述實施例。

換言之，本案實施例描述下述方法，藉合併與特定樣本集合亦即區塊聯結的語法元素用於發送聯結的編碼參數目的而減少影像及視訊編碼應用中的側邊資訊率之方法。本案實施例特別可考慮合併語法元素與圖像部分分割成多個分割圖樣的組合，及與SKIP/DIRECT模式的組合，其中編碼參數係從目前區塊的空間及/或時間鄰近關係推定。就此前述實施例可經修改來體現樣本集合亦即區塊之合併組合不同分割圖樣及SKIP/DIRECT模式。

又復，在描述此等變化例及進一步細節之前，呈現圖像及視訊編解碼器的綜論。

於圖像及視訊編碼應用中，圖像聯結的樣本陣列通常分割成特定樣本集合(或樣本集合)，可表示矩形區塊或正方形區塊或包括任意形狀區域、三角形、或任何其它形狀之任何其它樣本集合。樣本陣列之細分可藉語法加以固定，或細分係(至少部分)在位元串流內部傳訊。為了將用以傳訊細分資訊的側邊資訊率維持為低，語法通常只允許有限的選擇數目，結果導致單純分割諸如區塊細分成更小區塊。常用的分割方案係將方形區塊分割成四個小方形區塊，或分割成兩個相等大小矩形區塊，或分割成兩個不同大小矩形區塊，此處實際上採用的分割是在位元串流內部傳訊。樣本集合係聯結特定編碼參數，可載明預測資訊或殘差編碼模式等。於視訊編碼應用中，常進行分割用於移動表示型態目的。全部區塊樣本(在分割圖樣內部)係聯結同一個移動參數集合，該集合可包括載明預測型別(例如列表0、列表1、或雙向預測；及/或平移(translational)或仿射(affine)預測或有不同移動模型的預測)之參數、載明所採用的參考圖像之參數、通常發送給預測器作為差值的載明相對於參考圖像移動(例如位移向量、仿射移動參數向量、或針對任何其它移動模型之移動參數向量)之參數、載明移動參數準確度(例如半樣本或四分之一樣本準確度)之參數、載明參考樣本信號權值(例如用於照明補償目的)之參數、或載明內插濾波器之參考，該內插濾波器係採用來導算出目前區塊40的移動補償預測信號。假設針對各個樣本集合，發送個別編碼參數(例如用以載明預測及/或殘差編碼)。為了達成改良編碼效率，本發明提出一種方法及合併二或多個樣本集合成為所謂樣本集合群組的特定實施例。此一群組的全部樣本集合共享相同編碼參數，編碼參數可連同群組中之相同集合中之一者發送。藉此方式，無需針對該樣本集合群組的各個樣本集合分別發送編碼參數，反而編碼參數只對整個樣本集合群組發送一次。結果，用以發送編碼參數的側邊資訊率減低，及總編碼效率改良。至於另一替代之道，可對樣本集合群組的一或多個樣本集合發送編碼參數中之一或多者的額外精製。精製可施加至一群組的全部樣本集合或只施加至發送的樣本集合。

本發明之實施例特別係有關於合併程序與區塊分割成多個子區塊50及60(如前述)的組合。通常影像或視訊編碼系統支持區塊40的多種分割圖樣。舉例言之，方形區塊可不分割，或可分割成具有相等尺寸的四個方形區塊，或分割成具有相等尺寸的兩個矩形區塊(方形區塊可垂直或水平平分)，或分割成具有不同尺寸(水平地或垂直地)的矩形區塊。所述分割圖樣具體例係例示說明於第6圖。除了前文描述外，分割可能涉及甚至多於一個分割層級。舉例言之，方形子區塊可選擇性地運用相同分割圖樣更進一步分割。當此種分割處理組合允許(方形或矩形)區塊與例如其鄰近區塊中之一者組合的合併處理組合時，出現的議題為藉分割圖樣與合併信號之不同組合可達成相同的結果所得分割。因此，相同資訊可使用不同碼字組於位元串流發送，顯然就編碼效率而言並非最佳。舉個簡單例，發明人考慮未經進一步分割的方形區塊(如顯示於第6圖左上角)。藉發送本區塊40並未細分的語法元素可直接傳訊此一分割。但藉發送載明本區塊例如細分成兩個垂直(或水平)對齊的矩形區塊50及60之語法元素，也可傳訊相同圖樣。然後發明人發送合併資訊，載明此等矩形區塊中之第二者合併第一矩形區塊，結果獲得恰與傳訊該區塊未經進一步劃分時相同的分割。經由首先載明該區塊係細分成四個方形子區塊及然後，發送有效合併全部四區塊的合併資訊，也可達成相同目的。此一構思顯然並非最佳(原因在於發明人以不同碼字組用來傳訊相同情況)。

本發明之實施例描述一個構思及減低側邊資訊率之可能性，及如此提高合併構思組合針對一區塊提供不同分割圖樣構思的編碼效率。若注意第6圖之實例分割圖樣，則當發明人禁止(亦即從位元串流語法規格中排除)矩形區塊合併第一矩形區塊之情況下，可避免以兩個矩形區塊「模擬」未藉任一種分割圖樣進一步分割的方塊。當更深入注意該項議題，藉合併第二矩形區塊與係與第一矩形區塊相同參數(例如載明預測資訊)聯結的任何其它鄰近區塊(亦即非第一矩形區塊)，也可能「模擬」未經細分圖樣。本發明之實施例規定發送合併資訊的條件，當合併參數導致其係也可藉傳訊支持分割圖樣中之一者達成的圖樣時，特定合併參數之發送係從位元串流語法中排除。舉個實例，若如第1及2圖所示，目前分割圖樣載明細分成兩個矩形區塊例如在發送第二區塊亦即第1及2圖之60的合併資訊前，可查核哪個可能的合併候選者具有與第一矩形區塊亦即第1及2圖之50相同的參數(例如用以載明預測信號之參數)。及具有相同移動參數的全部候選者(包括第一矩形區塊本身)係從合併候選者集合中移除。發送用來傳訊合併資訊的碼字組或旗標係適用於所得候選者集合。若因參數查核而候選者集合變成空白，則未發送合併資訊。若候選者集合只由一個分錄組成，則只傳訊該區塊是否合併，但候選者無需傳訊，原因在於可在解碼器側等導出。針對前述實例相同構思也採用來分割圖樣，將方形區塊劃分成四個小方形區塊。此處，合併旗標的發送係調整為分割圖樣既未載明無細分，兩個分割圖樣中之任一者也未載明細分成相等大小的兩個矩形區塊，可藉合併旗標的組合達成。雖然發明人描述的構思大部分係在具特定分割圖樣的前述實例，但顯然相同構思(避免藉另一分割圖樣與相對應合併資訊組合的特定分割圖樣規格)也可採用於分割圖樣之任何其它集合。

就只允許分割的構思而言，所述發明之優點為針對傳訊圖像分割成與相同參數聯結的部分(例如用以載明預測信號)提供遠更大的自由度。舉個實例，從經細分的較大區塊之方形區塊合併所得額外分割圖樣係顯示於第7圖。但須注意藉合併額外鄰近區塊(先前經細分區塊外部)可達成遠更多的所得圖樣。只有少數碼字組用以傳訊分割資訊及合併資訊，提供多個分割可能性，編碼器可以比率失真意義(例如藉最小化特定比率失真措施)選擇最佳選項(針對給定編碼器複雜度)。一個辦法其中只有一個分割圖樣(例如細分成相等大小之四個區塊)提供來組合合併辦法，比較該辦法之優點為藉短碼字組替代數個細分及合併旗標，可傳訊常用圖樣(如同例如具不同尺寸的矩形)。

須考慮的另一構面為就某方面而言，合併構思係類似出現在視訊編碼設計的SKIP或DIRECT模式。於SKIP/DIRECT模式中，基本上並未針對目前區塊發送移動參數，而係從空間及/或時間鄰近關係推定。於SKIP/DIRECT模式的特定有效構思中，從空間及/或時間鄰近關係產生移動參數候選者(參考訊框指數、位移向量等)之列表，此一列表的指數傳輸載明選擇哪個候選者參數。針對雙向預測方塊(或多假說訊框)，可針對各個參考列表傳訊分開的候選者。可能的候選者可包括目前區塊之頂區塊、目前區塊之左區塊、目前區塊之左上區塊、目前區塊之右上區塊、多個此等候選者之中數預測器、於一或多個先前參考訊框裡的共同定位區塊(或任何其它已編碼區塊，或得自已編碼區塊之組合)。當組合合併構思與SKIP/DIRECT模式時，須確保SKIP/DIRECT模式及合併模式二者皆不應包括相同候選者。此項目的可藉不同組態達成。可能允許SKIP/DIRECT模式(例如具有比合併模式更多個候選者)只用於特定區塊(例如具有比規定尺寸更大的尺寸，或只用於方形區塊等)，而不支持合併模式用於此等區塊。或者可去除SKIP/DIRECT模式，而全部候選者(包括表示針對空間/時間鄰近區塊的參數組合之該等參數)係加至合併模式作為候選者。此一選項也於前文就第1至5圖敘述如前。加大的候選者集合可只用於特定區塊(大小係大於給定之最小尺寸，或方形區塊等)，於該處針對其它區塊，使用縮小的候選者集合。或者作為又一變化例，合併模式係用於縮小的候選者集合(例如只有頂及左鄰近區塊)，額外候選者(例如左上模式、共同定位區塊等)係用於SKIP/DIRECT模式。又於此種組態中，只有特定區塊(大小係大於給定之最小尺寸，或方形區塊等)才允許SKIP/DIRECT模式，而合併模式係允許用於更大區塊集合。此種組合之優點為針對不同區塊大小提供用以傳訊重複使用原已傳輸參數(例如用來載明預測)之多個選項。舉個實例，針對較大方形區塊提供更多選項，原因在於此處額外耗用位元率提供比率失真效率的增加。針對較小區塊，提供較小選項集合。此處候選者集合的增加並未帶來比率失真效率的任何增益，原因在於傳訊擇定的候選者需要每個位元之樣本比值小之故。

如前述，本發明之實施例也提供具有產生位元串流之較大自由度的編碼器，原因在於合併辦法顯著增加針對圖像之樣本陣列選擇分割的可能數目。因編碼器可在更多選項間作選擇，例如用以最小化特定比率失真測量值，故可改良編碼效率。舉個實例，可藉細分與合併之組合表示的若干額外圖樣(例如第7圖之圖樣)可額外測試(使用相對應區塊大小用於移動估計及模式決策)，藉純粹分割(第6圖)及藉分割與合併(第7圖)所提供之圖樣中之最佳者可基於特定比率失真測量值而選擇。此外，針對各區塊，可測試與已編碼候選者集合中之任一者合併是否獲得特定比率失真測量值的增加，及然後在編碼程序期間設定相對應合併旗標。要言之，操作編碼器有數個可能性。於簡單辦法中，編碼器可首先決定樣本陣列的最佳細分(如同於業界現沿編碼方案)。然後可針對各個樣本集合，與另一樣本集合或另一組樣本集合合併是否減低特定比率失真成本測量值。此時，可重新估計(例如藉執行新移動搜尋)與合併樣本集合群組聯結的預測參數，或針對所考慮的樣本集合群組，可評估已經針對目前樣本集合及候選者樣本集合(或樣本集合群組)決定的預測參數。於更全面性辦法中，可針對額外候選者樣本集合群組評估特定比率失真成本測量值。舉個特定實例，當測試多個可能分割圖樣(例如參考第6圖)時，可額外測試可藉分割與合併(例如參考第7圖)的組合表示的部分或全部圖樣。換言之，針對全部圖樣，進行特定移動估算及模式決定程序，及選擇獲得最小比率失真測量值之圖樣。此一處理程序也可組合前述低複雜度處理程序，因此針對所得區塊，額外測試與已編碼區塊(例如第6圖及第7圖之圖樣外部)合併，獲得比率失真測量值減小。

後文中，諸如針對第1及3圖之編碼器及第2及4圖之解碼器描述前摘實施例之某個可能細節體現。如前記，同等適用於圖像及視訊編碼。如前文描述，圖像或針對圖像的特定樣本陣列集合可分解成區塊，該等區塊係與特定編碼參數聯結。圖像通常係由多個樣本陣列組成。此外，圖像也可與額外輔助樣本陣列聯結，該等樣本陣列例如可載明透明資訊或深度對映圖。圖像之樣本陣列(包括輔助樣本陣列)可組合成一或多個所謂的平面群組，此處各個平面群組係由一或多個樣本陣列組成。圖像之平面群組可獨立編碼，或若該圖像係於多於一個平面群組聯結，則以來自相同圖像的其它平面群組之預測編碼。各個平面群組通常分解成多個區塊。區塊(或樣本陣列之相對應區塊)係藉圖像間預測或藉圖像內預測而預測。區塊可具不同尺寸，且可以是正方形或矩形。圖像分割成多個區塊可藉語法固定，或可能(至少部分地)在位元串流裡傳訊。經常發送語法元素其傳訊預定大小區塊的細分。此等語法元素可載明一個區塊是否且如何細分成較小區塊且係聯結編碼參數，例如係用於預測目的。可能分割圖樣的實例係顯示於第6圖。針對一個區塊的全部樣本(或相對應樣本陣列區塊)，係以某種方式載明相聯結的編碼參數之解碼。於該實例中，一個區塊的全部樣本係使用同一個預測參數集合預測，諸如參考指數(識別在已編碼圖像集中裡的參考圖像)、移動參數(載明參考圖像與目前圖像間之區塊的移動測量值)、載明內插濾波器之參數、內預測模式等。移動參數可以具水平及垂直成分的位移向量表示，或藉更高次冪移動參數表示，諸如由六個成分組成的仿射移動參數。也可能多於一個特定預測參數集合(諸如參考指數及移動參數)係與單一區塊聯結。於該種情況下，針對各個特定預測參數集合，產生針對該區塊(或相對應樣本陣列區塊)的單一中間預測信號，及終預測信號係藉包括疊置中間預測信號的組合建立。相對應加權參數及可能也包括常數補償值(加至加權和)可針對圖像或參考圖像或參考圖像集合而固定，或可含括於針對相對應區塊的預測參數集合。原先區塊(或相對應樣本陣列區塊)與其預測信號間之差也稱作殘差信號，通常係經變換及量化。經常二維變換係施加至殘差信號(或殘差區塊的相對應樣本陣列)。用於變換編碼，已經使用特定預測參數集合的區塊(或相對應樣本陣列區塊)在應用變換前，可更進一步分裂。變換區塊可等於或小於用於預測的區塊。也可能變換區塊包括用於預測的區塊中之多於一者。不同變換區塊可具不同大小，變換區塊可表示正方形或矩形區塊。於前述第1至5圖之實例中，業已發現第一細分的葉節點亦即編碼區塊40，可並列地進一步分割成一方面界定編碼參數粒度的區間，及它方面二維變換個別地施加其它的變換區塊。變換後，所得變換係數經量化，獲得所謂的變換係數位準。變換係數位準以及預測參數及若存在時細分資訊係經熵編碼。

於最先進圖像及視訊編碼標準中，由語法所提供的細分圖像(或平面群組)成為區塊的可能性極為有限。通常只可載明預定大小的區塊是否及(可能地如何)細分成更小區塊。舉個實例，於H.264的最大區塊大小為16x16。16x16區塊又稱巨集區塊，於第一步驟中各個圖像被分割成多個巨集區塊。針對各個16x16巨集區塊，可傳訊其是否編碼為16x16區塊，或編碼成兩個16x8區塊，或編碼成兩個8x16區塊，或編碼成四個8x8區塊。若一個16x16區塊細分成四個8x8區塊，則此等8x8區塊各自可編碼成一個8x8區塊，或編碼成兩個8x4區塊，或編碼成兩個4x8區塊，或編碼成四個4x4區塊。於最先進圖像及視訊編碼標準中，載明分割成區塊的可能性小集合具有優點：用以傳訊細分資訊之側邊資訊率可維持為小，但有缺點為如後文解說，例如發送區塊之預測參數要求的位元率可變顯著。用以傳訊預測資訊之側邊資訊率確實通常表示顯著量針對一區塊的總位元率。及當此側邊資訊減少時可提高編碼效率，例如可使用較大區塊尺寸而達成。也可能比較H.264增加支持分割圖樣集合。舉例言之，第6圖闡釋的分割圖樣可提供全部尺寸(或擇定尺寸)的方形區塊。視訊序列之實際影像或圖像係由具特定性質的任意形狀物件組成。舉個實例，此等物件或物件部分係以獨特質地或獨特移動為其特徵。及通常可針對此種物件或物件部分施加相同預測參數集合。但物件邊界通常不重合大型預測區塊(例如於H.264的16x16巨集區塊)的可能區塊邊界。編碼器通常決定細分(在可能的有限集合中)，結果導致特定比率失真成本測量值之最小值。針對任意形狀物件，如此可能導致大量小區塊。當提供如上多個分割圖樣(如所述)時此項陳述維持為真。須注意分割圖樣數量不應變過大，原因在於否則要求大量側邊資訊及/或編碼器/解碼器複雜度來傳訊及處理此等圖樣。如此任意形狀物件常因分割而導致大量小區塊。且因此等小區塊各自係聯結一個需被傳輸的預測參數集合，側邊資訊率可變成總位元率的顯著部分。但因小區塊中之數者仍然表示相同物件或物件部分之各區，多個所得區塊之預測參數為相同或極為類似。直覺地，當語法延伸使得不僅允許細分一區塊，同時也合併細分後所得的二或多個區塊時可提高編碼效率。結果，將獲得以相同預測參數編碼的區塊群組。此種區塊群組的預測參數只須編碼一次。於前述第1至5圖之實例中，若進行合併，亦即縮小的候選者集合並未消失，則例如目前區塊40的編碼參數並未發送。換言之，編碼器並未發送與目前區塊聯結的編碼參數，及解碼器並不預測位元串流30含有目前區塊40的編碼參數。反而，依據其特定實施例，只有精製資訊可傳遞給合併的目前區塊40。也對圖像20的其它編碼區塊40進行候選者集合的測定及其縮小以及合併等。編碼區塊略沿編碼鏈形成編碼區塊群組，其中針對此等群組的編碼參數係在位元串流裡只完整發送一次。

若藉減少編碼預測參數數目省下的位元率係大於額外耗用來編碼合併資訊的位元率，則所述合併確實導致編碼效率增高。更進一步值得一提，所述語法延伸(用於合併)對編碼器提供選擇圖像或平面群組分割成多個區塊的額外自由度。編碼器並未限於先做細分，及然後查核所得區塊中之若干者具有相同預測參數集合。至於一個簡單替代之道，編碼器可首先決定細分作為先進編碼技術。及然後可針對各區塊查核與其鄰近區塊(或相聯結的已決定的區塊群組)中之一者合併是否減低比率失真成本測量值。此時，與新區塊群組聯結的預測參數可重新估計(例如藉執行新移動搜尋)，或針對目前區塊及鄰近區塊或區塊群組已經決定的預測參數可對新區塊群組加以評估。編碼器也可直接查核由分裂與合併的組合所提供的圖樣(之子集)；亦即以如前述所得形狀，可進行移動估計及模式決定。合併資訊可以區塊為基準而傳訊。有效地，合併也可解譯為針對目前區塊推定預測參數，於該處推定的預測參數係設定為等於鄰近區塊中之一者的預測參數。

此時，須注意不同分割圖樣與合併資訊的組合可導致相同形狀(係與相同參數聯結)。此點顯然並非最佳，原因在於相同訊息可以不同碼字組的組合發送。為了避免(或減少)此項缺點，本發明之實施例描述一個構思，禁止相同形狀(聯結一特定參數集合)藉不同分割及合併語法元素傳訊。因此，針對全部先前細分區塊的全部區塊(於編碼順序中的第一者除外)，於編碼器及解碼器諸如10及50檢查針對全部合併候選者，合併是否將導致圖樣可藉分割而無合併資訊傳訊。此點為真的全部候選者區塊係從合併候選者集合中移除，所發送的合併資訊係適用於所得候選者集合。若無剩餘候選者，則未發送合併資訊；若剩餘一個候選者，則只發送載明該區塊是否合併的旗標。用於更進一步例示說明此一構思，一個較佳實施例敘述如後。所述實施例就其中只允許分割的構思之優點為提供遠更大的自由度用以傳訊將一圖像分割成與相同參數(例如用以載明預測信號)聯結的部分。比較其中只提供一個分割圖樣(例如細分成四個具相等大小的區塊)組合合併辦法之該辦法的優點為：常用圖樣(例如不同尺寸的矩形)可藉短的碼字組替代數個細分旗標及合併旗標傳訊。

先進編碼標準如H.264也含特殊間預測模式稱作SKIP及DIRECT模式，其中載明預測的參數係從空間及/或時間鄰近區塊而完全推定。SKIP與DIRECT間之差異為SKIP模式未發送不含殘差信號的額外信號。於多個提示的SKIP/DIRECT模式改良中，替代單一候選者(如同於H.264)，從目前區塊的空間及/或時間鄰近關係推定可能的候選者列表。可能的候選者可包括目前區塊之頂區塊、目前區塊之左區塊、目前區塊之左上區塊、目前區塊之右上區塊、多個此等候選者之中數預測器、於一或多個先前參考訊框裡的共同定位區塊(或任何其它已編碼區塊，或得自已編碼區塊之組合)。用於與合併模式組合，須確保SKIP/DIRECT模式及合併模式二者皆不應包括相同候選者。此項目的可藉不同組態達成。所述組合之優點為針對不同區塊大小提供重複使用已發送的參數(例如用以載明預測)。

本發明之實施例之一項優點為藉將鄰近區塊合併成為區塊群組而減低發送預測參數所要求的位元率，此處各個區塊群組係聯結一獨特編碼參數集合，例如預測參數或殘差編碼參數。合併資訊係在位元串流內部傳訊(若存在時，除了細分資訊之外)。組合不同分裂圖樣及SKIP/DIRECT模式，可確保SKIP/DIRECT模式及所提供圖樣中並無任一者係藉發送相對應合併資訊「模擬」。本發明之實施例之一項優點為從編碼參數之減少側邊資訊率導致編碼效率提高。本發明之實施例可應用於影像及視訊編碼應用，其中樣本集合係聯結特定編碼參數或預測參數。目前描述的合併處理也延伸至三維或更多維。舉例言之，在數幅視訊圖像裡的區塊群組可被合併成一個區塊群組。也可應用至光域編碼的4D壓縮。另一方面，也可用於1D信號的壓縮，此處1D信號係經分割，及給定的分割係經合併。

本發明之實施例也係有關於一種於影像及視訊編碼應用減低側邊資訊率之方法。於影像及視訊編碼應用中，特定樣本集合(可表示矩形或正方形區塊或任意形狀區或任何其它樣本集合)通常係聯結特定編碼參數集合。針對此等樣本集合中之各者，編碼參數係含括於位元串流。編碼參數可表示預測參數，載明如何運用已編碼樣本而預測相對應的樣本集合。一圖像的樣本陣列分割成多個樣本集合可藉語法固定，或可藉位元串流內部的相對應細分資訊傳訊。可允許一區塊的多個分割圖樣。樣本集合之編碼參數係以藉語法所給定的預定順序發送。本發明之實施例也呈示一種方法，藉該方法可針對一目前樣本集合傳訊，該目前樣本集合係與一或多個其它樣本集合合併(例如用於預測目的)成樣本集合群組。因此，相對應合併資訊的可能數值集合係適用於所採用的分割圖樣，該等特定分割圖樣無法由其它分割圖樣與相對應合併資訊的組合表示。一樣本集合群組的編碼參數只需發送一次。於特定實施例中，若目前樣本集合係與其編碼參數已經發送的樣本集合(或樣本集合群組)合併，則目前樣本集合的編碼參數未發送；反而目前樣本集合的編碼參數係設定為等於與目前樣本集合合併的樣本集合(或樣本集合群組)的編碼參數。至於替代辦法，針對目前樣本集合可發送針對編碼參數中之一者或多者的額外精製；精製可施加至全部一群組的全部樣本集合或只施加至其發送的樣本集合。

於較佳實施例中，針對各個樣本集合，全部先前已編碼樣本集合之集合係稱作「因果樣本集合之集合」。可用來合併目前樣本集合之該等樣本集合係稱作「候選者樣本集合之集合」且經常性地是「因果樣本集合之集合」之一子集。此一子集如何形成之方式可以是解碼器或已知，或可載明於位元串流內部。總而言之，編碼器10及解碼器80決定欲縮減的候選集合。若一目前樣本集合係經編碼，及其候選者樣本集合之集合為非空白，傳訊(或導出)目前樣本集合是否與此一候選者樣本集合之集合中的一個樣本集合合併，且若是，則係哪一個樣本集合(若存在有多於一個候選者)。否則此一區塊無法使用合併。合併將導致也藉分割圖樣所直接載明的形狀之候選區塊係從候選者集合中排除，來避免由分割資訊與合併資料的不同組合呈現相同形狀。換言之，如前述，就第1至5圖而言藉去除個別候選者而縮小候選者集合。

於一較佳實施例中，候選者樣本集合之集合數目為零，或更多樣本集合含有至少特定非零的樣本數目(可以是1或2或甚至以上)其表示在目前樣本集合內部的任何樣本之直接空間鄰近樣本。於本發明之另一較佳實施例中，候選者樣本集合之集合可額外地(或排它地)包括含有至少特定具有相同空間所在位置的非零的樣本數目(可以是1或2或甚至以上)，亦即包含候選者樣本集合及目前接受合併的目前樣本集合二者，但係含在不同圖像。於本發明之另一較佳實施例中，候選者樣本集合之集合可從目前圖像內部或其它圖像的先前已處理資料而導算出。導出方法可包括與目前圖像的特定方向及影像梯度聯結之空間方向資訊，諸如變換係數，或可包括時間方向資訊諸如鄰近移動表示型態。由在接收器可用的此等資料及其它資料及側邊資訊(若存在時)，可導出候選者樣本集合之集合。(從原先候選者集合)去除候選者將導致與可藉特定分割圖樣表示之相同形狀係在編碼器及解碼器以相同方式導出，使得編碼器及解碼器以確切相同方式導出用以合併的最終候選者集合。

於一較佳實施例中，所考慮的樣本集合為矩形區塊或正方形區塊。然後，合併的樣本集合表示矩形區塊及/或正方形區塊集合。於本發明之另一較佳實施例中，所考慮的樣本集合為為任意形狀圖像區域，及合併樣本集合表示任意形狀圖像區域之集合。

於一較佳實施例中，針對各個樣本集合發送一或多個語法元素，載明該樣本集合是否合併另一樣本集合(可以是已經合併的樣本集合群組之一部分)，及哪一個候選者樣本集合之集合係採用於合併。但若候選者集合為空白(例如因去除候選者所致，該候選者將產生可藉不同分割圖樣傳訊的分割但無合併)，則未發送該語法元素。

於一較佳實施例中，一或二個語法元素係傳送用來載明合併資訊。第一語法元素載明目前樣本集合是否與另一樣本集合合併。唯有當第一語法元素載明目前樣本集合係與另一樣本集合合併時才發送的第二語法元素載明候選者樣本集合之集合中之哪一者係採用於合併。於一較佳實施例中，唯有當導出候選者樣本集合之集合為非空白(在可能去除將產生分割而該分割可藉不同分割圖樣傳訊而無合併的候選者)時，才發送第一語法元素。於另一較佳實施例中，唯有當導出候選者樣本集合之集合含有多於一個樣本集合時，才發送第二語法元素。於本發明之又一較佳實施例中，唯有當導出候選者樣本集合之集合中的至少兩個樣本集合係聯結不同編碼參數時，才發送第二語法元素。

於本發明之一較佳實施例中，針對一樣本集合的合併資訊資在預測參數(或更概略言之，與樣本集合聯結的特定編碼參數)之前編碼。唯有當合併資訊傳訊目前樣本集合不與另一樣本集合合併時才發送預測參數或編碼參數。

於另一較佳實施例中，針對一樣本集合的合併資訊係在已經發送預測參數之一子集(或更概略言之，與樣本集合聯結之該特定編碼參數)後編碼。該預測參數子集可由一或多個參考圖像指數、或移動參數向量之一或多個成分、或參考指數及移動參數向量之一或多個成分等所組成。已發送的預測參數或編碼參數子集係用來導出(縮小的)候選者樣本集合之集合。舉個實例，可求出已編碼預測參數或編碼參數與原先候選者樣本集合之集合之相對應預測參數或編碼參數間之差測量值。及唯有計算得之差測量值係小於或等於預定或導出的臨界值的該等樣本集合係含括在最終的(縮小的)候選者樣本集合之集合。臨界值可基於計算得之差測量值導出。或舉另一個實例，只選擇其差測量值為最小化的該等樣本集合。或基於差測量值只選擇一個樣本集合。於後述情況下，可以只載明目前樣本集合是否組合單一候選者樣本集合之方式而縮小合併資訊。

下列較佳實施例係針對表示矩形區塊及正方形區塊之樣本集合描述，但可以直捷方式擴充至任意形狀區域或其它樣本集合。

1. 初候選者樣本集合之導出

本章節初始樣本集合之導出係有關於初候選者集合之導出。全部候選者區塊中之若干者後來可藉下述方式去除，藉分析相聯結的參數(例如預測資訊)，及去除合併將導致終分割其也可藉使用另一分割圖樣獲得的該等候選者區塊。本一處理程序係說明於其次小節。

於一較佳實施例中，初候選者區塊集合形成如下。始於目前區塊的左上樣本位置，導出其左鄰樣本位置及其右鄰樣本位置。初候選者區塊集合只有至多兩個成員，亦即含有兩個樣本位置中之一者的因果區塊集合中之該等區塊。如此，初候選者區塊集合可以只有目前區塊的左上樣本位置的兩個鄰近區塊作為其成員。

於本發明之另一較佳實施例中，初候選者區塊集合係藉下述全部區塊給定，該等區塊在目前區塊之前已經編碼，且含有表示目前區塊的任何樣本之直接空間鄰近區塊(直接空間鄰近區塊可限於直接左鄰近區塊及/或直接頂鄰近區塊及/或直接右鄰近區塊及/或直接底鄰近區塊)的一或多個樣本。於本發明之另一較佳實施例中，初候選者區塊集合確實額外地(或排它地)包括區塊，該等區塊含有一或多個樣本係位在與目前區塊的任一個樣本相同位置，但係含在不同的(已編碼的)圖像。於本發明之另一較佳實施例中，初候選者區塊集合表示前述(鄰近)區塊集合之一個子集。候選者區塊之子集可以是固定、傳訊或導出。候選者區塊之子集可以考慮針對圖像中或其它圖像中所做決策。舉個實例，與其它候選者區塊相同(或極為相似的)編碼參數相聯結的區塊可能未含括於初候選者區塊集合。

於本發明之一較佳實施例中，初候選者區塊集合係針對前述實施例中之一者導出，但有下列限制：唯有使用移動補償預測(間預測)的區塊才能成為候選者區塊集合的成員。亦即內編碼區塊不含括於(初)候選者集合。

如前文已述，可藉用於區塊合併的額外候選者而擴充候選者列表，諸如藉組合雙預測合併候選者、非定標雙預測合併候選者、及零移動向量。

初候選者區塊集合的導出係藉編碼器及解碼器二者以相同方式進行。

2. 終候選者區塊集合之導出

導出初候選者集合後，在初候選者集合內部的候選者區塊相聯結的參數係經分析，合併將導致分割而可藉使用不同分割圖樣表示的該等合併候選者被移除。若可被合併的樣本陣列具有不同形狀及尺寸，則可存在有相同分割，該分割可藉至少兩個不同碼字組描述。舉例言之，若編碼器決定將樣本陣列分裂成兩個樣本陣列，則藉合併兩個樣本陣列可逆轉此分裂。為了避免如此冗餘描述，取決於允許的特定區塊形狀及分裂而約束用於合併的候選者區塊集合。另一方面，許可的樣本陣列形狀可受用於合併的特定候選者列表所限。分裂及合併二者可設計在一起，使得於二者之組合中避免冗餘描述。

於本發明之一較佳實施例中，第6圖闡釋之分裂模型(或分割模型)集合係支持用於方形區塊。若具特定尺寸的方形區塊係分裂成具相等大小的四個較小方形區塊(第6圖之左下圖樣)，則該分割圖樣集合可施加至結果所得的四個方形區塊，使得載明階層分割。

導出初候選者區塊集合後，候選者列表的縮小係如下述進行。

-若該目前區塊未經進一步分割(第6圖之左上圖樣)，則初候選者列表未縮小。亦即全部初候選者表示用於合併的終候選者。 -若目前區塊係分割成恰兩個任意尺寸區塊，則此二區塊中之一者係在另一者之前編碼，係藉語法決定。針對第一編碼區塊，初候選者集合未縮小。但針對第二編碼區塊，具有與第一區塊相同相聯結的參數之全部候選者區塊係從候選者集合移開(包括第一編碼區塊)。 -若一區塊係分割成四個具相等大小的方形區塊，則前三個區塊(以編碼順序表示)之初候選者列表未縮小。全部初候選者列表之區塊也係存在於終候選者列表。但於編碼順序中的第四(最末)區塊，適用下述： -若在與目前區塊不同列(於第6圖左下例示說明的分割方案中)的該等區塊具有相同相聯結的參數(例如移動參數)，則具有與目前區塊同一列的已編碼區塊相同移動參數之全部候選者係從候選者集合中移除(如此包括同一列的區塊)。 -若在與目前區塊不同行(於第6圖左下例示說明的分割方案中)的該等區塊具有相同相聯結的參數(例如移動參數)，則具有與目前區塊同一行的已編碼區塊相同移動參數之全部候選者係從候選者集合中移除(如此包括同一行的區塊)。

於低複雜度實施例之變化例(使用第6圖之分割圖樣)中，候選者列表的縮小係如下述進行。 -若該目前區塊未經進一步分割(第6圖之左上圖樣)，則初候選者列表未縮小。亦即全部初候選者表示用於合併的終候選者。 -若目前區塊係分割成恰兩個任意尺寸區塊，則此二區塊中之一者係在另一者之前編碼，係藉語法決定。針對第一編碼區塊，初候選者集合未縮小。但針對第二編碼區塊，該分割圖樣的第一編碼區塊係從候選者集合移開。 -若一區塊係分割成四個具相等大小的方形區塊，則前三個區塊(以編碼順序表示)之初候選者列表未縮小。全部初候選者列表之區塊也係存在於終候選者列表。但於編碼順序中的第四(最末)區塊，適用下述： -若針對後來編碼的另一列中區塊(目前區塊以外)，合併資訊傳訊係與該列的第一編碼區塊合併，則與目前區塊同一列的區塊係從候選者集合移除。 -若針對後來編碼的另一行中區塊(目前區塊以外)，合併資訊傳訊係與該行的第一編碼區塊合併，則與目前區塊同一行的區塊係從候選者集合移除。

於另一較佳實施例中，支持第6圖闡釋之相同分割圖樣，但不含將方形區塊分割成具相等大小的兩個矩形區塊之圖樣。候選者列表的縮小係如藉前述實施例中任一者所述進行，但區塊分裂成四個方形區塊的圖樣例外。此處，或為全部初候選者皆允許全部子區塊，或為只有最末編碼子區塊的候選者列表受約束如下。若先前已編碼的三個區塊係與相同參數聯結，則與此等參數聯結的全部候選者係從候選者列表中移除。於低複雜度版本中，若三個先前已編碼子區塊已經合併在一起，則最後編碼子區塊無法與此三個子區塊中之任一者合併。

於另一較佳實施例中，支持針對一區塊(或任何其它樣本陣列集合形式)的不同分割圖樣集合。針對未分割的樣本陣列集合，初候選者列表的全部候選者可用於合併。若一樣本陣列係恰分割成兩個樣本陣列，針對於編碼順序中的第一樣本陣列，初候選者列表的全部候選者係插入終候選者列表。針對於編碼順序中的第二樣本陣列，具有與第一樣本陣列相同聯結參數的全部候選者皆被移除。或於低複雜度版本中，只有第一樣本陣列係從候選者集合移除。針對將一樣本陣列分裂成多於兩個樣本陣列之分割圖樣，候選者的移除係取決於另一分割圖樣是否可以目前分割圖樣及相對應合併資訊模擬。候選者的移除程序遵照明確如前述構思，但考慮實際上支持的候選者圖樣。

於又一較佳實施例中，若針對特定區塊支持SKIP/DIRECT模式，也呈示SKIP/DIRECT模式候選者的合併候選者係從候選者列表中移除。此項去除可置換前述候選者區塊的移除，或連同前述候選者區塊移除一起使用。

3. 與SKIP/DIRECT模式組合

SKIP/DIRECT模式可支持全部或只特定區塊大小及/或區塊形狀。候選者區塊集合係用於SKIP/DIRECT模式。SKIP與DIRECT間之差異為是否發送殘差資訊。推定SKIP與DIRECT之參數(例如用於預測)係等於相對應候選者中之任一者。候選者係藉將指數發送入候選者列表而選擇。

於一較佳實施例中，用於SKIP/DIRECT的候選者列表可含有不同候選者。一個實例係例示說明於第8圖。候選者列表可包括下列候選者(目前區塊係以Xi標示)： -中數(介於左、上、角隅間) -左區塊(Li) -上區塊(Ai) -角隅區塊(依序：右上(Ci1)、左下(Ci2)、左上(Ci3)) -於不同的但已編碼圖像的並列區塊

於一較佳實施例中，合併候選者包括Li(左區塊)及Ai(上區塊)。選擇此等合併候選者要求小量側邊資訊來傳訊目前區塊係與哪一個區塊合併。

下列記法係用來描述下列實施例： -set_mvp_ori乃用於SKIP/DIRECT模式的候選者集合。此一集合係由{中數、左、上、角隅、並列}組成，於該處中數為中數(於左、上及角隅之有序集合中的中間值)，及並列係由最靠近的參考框給定且係依時間距離定標。 -set_mvp_comb乃用於SKIP/DIRECT模式組合區塊合併處理的候選者集合。

針對較佳實施例，SKIP/DIRECT模式與區塊合併模式間的組合可以原先候選者集合處理。如此表示SKIP/DIRECT模式具有與其單獨被激勵時的相同候選者集合。組合此二模式的關注焦點係來自於間訊框(inter frame)傳訊側邊資訊的互補性。儘管實際上此二模式係使用鄰近區塊資訊來改良目前區塊的信號化，但區塊合併模式只處理左及上鄰近區塊，而SKIP/DIRECT模式係處理高達五個候選者。主要互補性駐在於處理鄰近資訊的不同辦法。區塊合併處理保有針對全部參考列表的完整鄰近資訊集合。如此表示區塊合併保有來自其鄰近區塊的完整側邊資訊，而不只是參考列表的移動向量，而SKIP/DIRECT模式針對各個參考列表分開地處理預測參數，及針對各個參考列表發送指數入候選者列表。亦即針對雙預測圖像，發送兩個指數來傳訊針對參考列表0之一候選者及參考列表1之一候選者。

於另一較佳實施例中，稱作set_mvp_comb的一個候選者集合可針對SKIP/DIRECT模式組合區塊合併模式而找出。此一組合集合為原先集合(set_mvp_ori)的一部分且允許針對SKIP/DIRECT模式傳訊的縮減，原因在於候選者列表：set_mvp_comb的縮減。應從原先列表(set_mvp_ori)中去除的候選者為對區塊合併處理為冗餘者或不常用者。

於另一較佳實施例中，SKIP/DIRECT模式與區塊合併程序間的組合可以組合候選者集合(set_mvp_comb)處理，該集合為不含中數的原先集合(set_mvp_ori)。因針對中數用於SKIP/DIRECT模式觀察得效率低，故縮減原先列表獲致編碼效率的改良。

於另一較佳實施例中，SKIP/DIRECT模式與區塊合併的組合可以組合候選者集合(set_mvp_comb)處理，該組合集合為只含角隅及/或只含並列作為候選者的原先集合(set_mvp_ori)。

於另一較佳實施例中，SKIP/DIRECT模式與區塊合併程序的組合可以組合候選者集合處理，該組合集合為只含角隅及並列作為候選者的set_mvp_ori。如前文已述，儘管SKIP/DIRECT模式與區塊合併間之互補性，應從列表中去除的候選者為區塊合併程序的候選者可能冗餘之候選者。此等候選者為左及上。組合候選者集合(set_mvp_comb)可縮減成只有兩個候選者：角隅及並列。使用此一候選者集合set_mvp_comb的SKIP/DIRECT模式組合區塊合併程序，獲得於間訊框傳訊側邊資訊效率的高度提升。於本實施例中，SKIP/DIRECT模式與區塊合併並未共享任何候選者區塊。

於額外實施例中，可使用SKIP/DIRECT模式與區塊合併的略不同組合。可能允許SKIP/DIRECT模式(例如具有比合併模式更多個候選者)只用於特定區塊(例如具有比載明尺寸更大的尺寸，或只針對方形區塊等)，而不支持此等區塊的合併模式。或SKIP/DIRECT模式可被去除而全部候選者(包括表示空間/時間鄰近區塊的參數組合之該等參數)係加至合併模式作為候選者。此一選項已經描述於第1至5圖。加大的候選者集合可只用在特定區塊(尺寸大於給定最小尺寸，或方形區塊等)，而針對其它區塊則係使用縮小的候選者集合。或作為又一變化例，合併模式係用在縮減的候選者集合(例如只有上及左鄰近區塊)，而其它候選者(例如左上鄰近區塊、共同定位區塊等)係用於SKIP/DIRECT模式。又於此等組態中，SKIP/DIRECT模式只允許用於特定區塊(尺寸大於給定最小尺寸，或方形區塊等)，而合併模式允許用於更大型區塊集合。

4. 合併資訊之發送

針對較佳候選者，特別針對第1至5圖之實施例，適用後文說明。假設只有含有目前區塊之左上樣本的左及上鄰近樣本的兩個區塊被視為候選者。若終候選者區塊集合(在如前述去除候選者後)為非空白，則傳訊一個旗標稱作merge_flag載明目前區塊是否合併任一個候選者區塊。若merge_flag係等於0 (用於「偽」)，則此一區塊不與其候選者區塊中之一者合併，全部編碼參數係尋常傳送。若merge_flag係等於1 (用於「真」)，則適用後述。若候選者區塊集合含有一且唯一區塊，則此一候選者區塊係用來合併。否則候選者區塊集合含有恰兩個區塊。若此二區塊的預測參數為相同，則此等預測參數係用於目前區塊。否則(兩個區塊有不同預測參數)傳訊稱作merge_left_flag的旗標。若merge_left_flag係等於1 (用於「真」)，則從該候選者區塊集合中選定含有目前區塊之左上樣本位置的左鄰近樣本位置之該區塊。若merge_left_flag係等於0 (用於「偽」)，則從候選者區塊集合中出另一個(亦即上鄰近)區塊。擇定區塊的預測參數係用於目前區塊。於另一實施例中，發送組合語法元素其傳訊合併程序。於另一實施例中，發送merge_left_flag而與兩個候選者區塊是否具有相同預測參數無關。

須注意語法元素merge_left_flag也可定名為merge_index，原因在於其功能係檢索在未經去除候選者中之擇定者。

於另一較佳實施例中，多於兩個區塊可含括於候選者區塊集合。合併資訊(亦即是否合併一區塊，及若是則係合併哪個候選者區塊)係藉一或多個語法元素傳訊。此處，碼字組集合係取決於終候選者集合的候選者數目，且以於編碼器及解碼器的相同方式擇定。於一個實施例中，合併資訊係使用一個語法元素發送。於另一實施例中，一個語法元素載明該區塊是否合併任一個候選者區塊(比較前述merge_flag)。此一旗標係唯有在候選者區塊集合為非空白時發送。第二語法元素傳訊哪個候選者區塊用來合併；唯有當第一語法元素傳訊目前區塊係與候選者區塊中之一者合併時才發送。於本發明之一較佳實施例中，唯有當候選者區塊集合含有多於一個候選者區塊時及/或當該等候選者區塊中之任一者具有與該等候選者區塊中之任何其它者不同的預測參數時才發送。語法可取決於給定多少候選者區塊及/或取決於不同預測參數如何聯結候選者區塊。

如同針對DIRECT模式，可能增加用於區塊合併的候選者集合。

如於其它較佳實施例所述，第二語法元素合併指數唯有在候選者列表含有多於一個候選者時才發送。如此要求在剖析合併指數前導出列表，防止並列進行此二處理程序。為了許可剖析產出量增加，且為了就傳輸誤差而言使得剖析處理更穩健，藉針對各個指數值使用固定碼字組及固定候選者數目，可去除此種相依性。若此一數目無法藉候選者選擇而達成，則可導出附屬候選者來完成列表。此等額外候選者可包括從已在列表上的可能不同候選者的移動參數建立之所謂組合候選者，及零移動向量。

於另一較佳實施例中，用以傳訊候選者集合中的哪個區塊之中法係在編碼器及解碼器同時調適。舉例言之，若給定三項合併區塊選擇，該等三項選擇只存在於語法且考慮用於熵編碼。全部其它選擇的機率被視為0，熵編解碼器係在編碼器及解碼器同時調整。

由於合併處理結果而被推定的預測參數可表示與一區塊聯結的完整預測參數集合，或可表示此等預測參數之子集(例如使用多假說預測的一區塊中之一個假說的預測參數)。

於一較佳實施例中，與合併資訊有關的語法元素係使用脈絡模型化作熵編碼。語法元素可由前述merge_flag及merge_left_flag組成。

於一個較佳實施例中，三個脈絡模型中之一者係用來編碼merge_flag。所使用的脈絡模型merge_flag_ctx係導出如下。若候選者區塊集合含有兩個成員，則merge_flag_ctx之值係等於兩個候選者區塊之merge_flag值之和。若候選者區塊集合含有一個成員，則merge_flag_ctx之值係等於此一候選者區塊之merge_flag值之兩倍。

於一較佳實施例中，merge_left_flag係使用單一機率模型編碼。

可使用編碼merge_idx (merge_left_flag)的不同脈絡模型。

於其它實施例中，可使用不同脈絡模型。非二元語法元素可對映至一序列二元符碼(倉(bin))。某些語法元素或語法元素倉的脈絡模型可基於已發送的鄰近區塊之語法元素或候選者區塊數目或其它測量值導出，而其它語法元素或語法元素倉可以固定脈絡模型編碼。

5. 編碼器操作

含括合併構思給編碼器提供產生位元串流的較大自由度，原因在於合併辦法當然係以較高信號化額外管理資料量來增加選擇分割用於一圖像的樣本陣列之可能性數目。可藉細分與合併的組合表示的部分或全部額外圖樣(例如第7圖之圖樣，當支持第6圖之分割圖樣時)可額外測試(使用相對應區塊大小用於移動估計及模式決定)，及由純粹分割(第6圖)及分割與合併(第7圖)所提供的圖樣中之最佳者可基於特定比率失真測量值選擇。此外，針對各個區塊，可測試合併任何已編碼候選者集合是否獲得特定比率失真測量值的減低，及然後在編碼過程中設定相對應於合併旗標。

於另一較佳實施例中，編碼器可首先決定樣本陣列之最佳細分(如同先進編碼方案)。然後可針對各個樣本集合查核合併另一樣本集合或另一群組樣本集合是否減低特定比率失真成本測量值。此時，與合併樣本集合群組相聯結的預測參數可重新估計(例如藉進行新移動搜尋)，或已經對目前樣本集合及用於合併的候選者樣本集合(或樣本集合群組)決定的預測參數可對所考慮的樣本集合群組評估。

於另一較佳實施例中，特定比率失真成本測量值可針對額外候選者樣本集合群組評估。舉個特定實例，當測試各個可能的分割圖樣(例如參考第6圖)時，可額外測試可藉分割與合併的組合(例如參考第7圖)表示的部分或全部圖樣。亦即，針對全部圖樣，進行特定移動估計及模式決定，選擇獲得最小比率失真測量值的圖樣。此項處理也組合前述低複雜度處理，因此針對所得區塊，額外地測試與已編碼區塊合併(例如在第6圖及第7圖之圖樣外部)是否獲得比率失真測量值的減低。

於另較佳實施例中，編碼器測試可以優先順序藉分割與合併表示的不同圖樣，及藉給定即時要求測試儘可能多個圖樣。優先順序也可基於已編碼區塊及所選分割圖樣修改。

移轉前摘實施例至特定語法的一個方式係於後文就下列圖式解說。更明確言之，第9至11圖顯示利用前摘實施例之語法的不同部分。更明確言之，依據如下摘述實施例，圖像20首先向上分割成編碼樹區塊，其圖像內容係使用第9圖所示語法coding_tree編碼。如圖所示，針對entropy_coding_mode_flag=1，例如係有關脈絡適應性二元算術編碼模式或另一種特定熵編碼模式，目前編碼樹區塊的四元樹細分係藉在記號400稱作split_coding_unit_flag的旗標而在語法部分coding_tree內部傳訊。如第9圖所示，依據後述實施例，樹根區塊經細分，如第9圖所示，藉split_coding_unit_flag於深度優先橫過順序傳訊。每當到達葉節點，即表示編碼單元，立即使用語法函數coding_unit編碼。由第9圖可知，注意於402的條件子句，檢查目前split_coding_unit_flag設定與否。若是，則遞歸呼叫函數coding_tree，結果導致分別在編碼器及解碼器又一split_coding_unit_flag的進一步發送/提取。若否，亦即若split_coding_unit_flag=0，則第5a圖樹根區塊200之目前子區塊為葉區塊，為了編碼此一編碼單元，於404呼叫第10圖之函數coding_unit。

於本描述實施例中，使用前述選項，據此合併單純可用於間預測模式可資利用的圖像。換言之，內編碼截割片/圖像絕不使用合併。由第10圖可見，此處唯有在截割片型別係不等於內圖像截割片型別之情況下，才在406發送旗標merge_flag。依據本發明，合併只係有關於間預測相關的預測參數。依據本發明，merge_flag係對整個編碼單元40傳訊，也傳訊給解碼器針對目前編碼單元的某個分割模式，亦即無分割模式。據此，函數prediction_unit係在408呼叫，標示目前編碼單元作為預測單元。但此並非切換成合併選項的唯一可能性。反而若在406未設定與整個編碼單元有關的merge_flag，則非內圖像截割片之編碼單元的預測型別係在410藉語法元素pred_type傳訊，取決於於目前編碼單元未進一步分割之情況下，例如在412針對目前編碼單元的任何分割呼叫函數prediction_unit。於第10圖，只顯示四個不同分割選項，但也可利用第6圖所示其它分割選項。另一項可能為分割選項PART_NxN無法取得反而利用其它者。第10圖使用分割模式名稱與第6圖所示分割選項間之聯結係藉個別分割選項下方個別下標指示於第6圖。針對各個分割呼叫函數prediction_unit，諸如於前述編碼順序的區間50及60。函數prediction_unit始於在414查核merge_flag。若merge_flag係經設定，則在416無可避免地接著merge_index。在步驟414查核係用以檢查如於406信號化的整個編碼單元相關的merge_flag已經設定與否。若否，則於418再度信號化merge_flag；及若後者經設定，則在420接著merge_index，指示針對目前區間的合併候選者。再度，唯有在目前編碼單元之目前預測模式為間預測模式(參考422)之情況下，merge_flag才在418對目前區間信號化。

如從第11圖可見，依據本發明，在424針對目前編碼單元傳輸使用中的預測參數係唯有於合併並不用在本預測單元時進行。

雖然第9至11圖實施例的前文描述已經描述大部分函數及語義，若干額外資訊呈示如下。

merge_flag[x0][y0]載明針對目前編碼單元(參考附圖之50及60)的間預測參數是否係從鄰近間預測區間推定。陣列指數x0、y0載明所考慮的預測區塊之左上亮度樣本(參考附圖之50及60)相對於圖像之左上亮度樣本(參考附圖之20)的位置(x0,y0)。

merge_flag[x0][y0]載明合併候選者列表之合併候選者指數，於該處x0、y0載明所考慮的預測區塊之左上亮度樣本相對於圖像之左上亮度樣本的位置(x0,y0)。

雖然在前文第9至11圖之描述中並未特別指示，但合併候選者或合併候選者列表在本實施例中係不僅使用空間上鄰近預測單元/區間的編碼參數或預測參數具體決定，同時反而也藉使用時間上鄰近且先前已編碼圖像之時間上鄰近區間的預測參數而形成候選者列表。此外，空間上及/或時間上鄰近預測單元/區間的預測參數之組合係使用且含括於合併候選者列表。當然也可只使用其子集。更明確言之，第12圖顯示決定空間鄰近者亦即空間鄰近區間或預測單元的一個可能性。第12圖具體顯示預測單元或區間60及恰相鄰區間60邊界500的像素B₀ 至B₂ 及A₀ 及A₁ ，換言之，B₂ 係對角線相鄰區間60之左上像素，B1係位在區間60垂直上方且相鄰右上像素，B0係位在區間60之右上像素的對角線，A1係位在區間60水平左方且相鄰左下像素，A0係位在區間60之左下像素的對角線。含括像素B₀ 至B₂ 及A₀ 及A₁ 中之至少一者的區間形成空間鄰近者，其預測參數形成合併候選者。

為了執行前述該等候選者的去除其將導致也可資利用的另一分割模式，可使用下列函數：

更明確言之，若下列條件中之任一者為真，則候選者N亦即植基於涵蓋像素N=(B₀ 、B₁ 、B₂ 、A₀ 、A₁ )，亦即位置(xN,yN)之預測單元/區間的編碼/預測參數係從候選者列表移除(請參考第6圖分割模式PartMode及相對應分割指數PartIdx檢索在編碼單元內部的個別區間)： -目前預測單元之PartMode為PART_2NxN及PartIdx係等於1，及涵蓋亮度位置(xP,yP-1)(PartIdx=0)及亮度位置(xN,yN)(Cand. N)的預測單元具有相同移動參數：

-目前預測單元之PartMode為PART_Nx2N及PartIdx係等於1，及涵蓋亮度位置(xP-1,yP)(PartIdx=0)及亮度位置(xN,yN)(Cand. N)的預測單元具有相同移動參數：

-目前預測單元之PartMode為PART_NxN及PartIdx係等於3，及涵蓋亮度位置(xP-1,yP)(PartIdx=2)及亮度位置(xP-1,yP-1)(PartIdx=0)的預測單元具有相同移動參數：

且涵蓋亮度位置(xP,yP-1)(PartIdx=1)及亮度位置(xN,yN)(Cand. N)的預測單元具有相同移動參數：

-目前預測單元之PartMode為PART_NxN及PartIdx係等於3，及涵蓋亮度位置(xP,yP-1)(PartIdx=1)及亮度位置(xP-1,yP-1)(PartIdx=0)的預測單元具有相同移動參數：

且涵蓋亮度位置(xP-1,yP)(PartIdx=2)及亮度位置(xN,yN)(Cand. N)的預測單元具有相同移動參數：

就此方面而言，請注意位置或所在位置(xP,yP)標示目前區間/預測單元之最頂上像素。換言之，依據第一項，查驗全部編碼參數候選者，該候選者係已經藉直接採用鄰近預測單元亦即預測單元N的個別編碼參數導出。但其它額外編碼參數候選者可以其係等於個別預測單元的編碼參數之相同方式檢查，將導致獲得也由該語法所支持的另一分割圖樣。依據剛才所述實施例，編碼參數的相等涵蓋查驗移動向量亦即mvLX、參考指數亦即refIxLX、及預測旗標predFlagLX的相等指示與參考列表X而X為0至1相聯結的參數亦即移動向量及參考指數係用於間預測。

請注意剛才所述用以移除鄰近預測單元/區間之編碼參數候選者的可能性也適用於第6圖右半所示支持非對稱分割模式的情況。於該種情況下，模式PART_2NxN可表示全部水平細分模式及PART_Nx2N可相對應於全部垂直細分模式。又，模式PART_NxN可從支持的分割模式或分割圖樣中排除，及於該種情況下，只須進行首二移除檢查。

有關第9至12圖之實施例，也須注意可能從候選者列表中排除內預測區間，換言之，其編碼參數當然係不含括於候選者列表。

又，注意三個脈絡可用在merge_flag及merge_index。

雖然已經就裝置脈絡描述若干構面，但顯然此等構面也表示相對應方法的描述，於該處區塊或裝置係相對應於方法步驟或方法步驟之特徵結構。同理，於方法步驟脈絡描述的構面也表示相對應區塊的描述或相對應設備的項目或特徵結構。部分或全部方法步驟可藉(或使用)硬體設備執行，例如微處理器、可規劃電腦、或電子電路。於若干實施例中，最重要方法步驟中之某一者或某多者可藉此種設備執行。

取決於某些體現需求，本發明之實施例可於硬體或軟體體現。體現可使用下列數位儲存媒體執行，例如具有可電子讀取控制信號儲存其上的，該等控制信號與可規劃電腦系統協作(或可協作)來執行個別方法之軟碟、DVD、藍光碟、CD、ROM、PROM、EPROM、EEPROM、或快閃記憶體。因此數位儲存媒體可以是可電腦讀取式。

依據本發明之若干實施例包含具有可電子讀取控制信號的資料載體，該等控制信號可與可規劃電腦系統協作來執行此處所述方法中之一者。

大致上，本發明之實施例可體現為具程式代碼之電腦程式產品，該程式代碼係可操作用來當電腦程式產品在電腦上運行時執行該等方法中之一者。程式代碼例如可儲存在機器可讀取載體上。

其它實施例包含儲存在機器可讀取載體上用以執行此處所述方法中之一者的電腦程式。

換言之，因此本發明之實施例包含具有程式代碼當該電腦程式在電腦上運行時用以執行此處所述方法中之一者的電腦程式。

因此本發明方法之又一實施例為資料載體(或數位儲存媒體，或電腦可讀取媒體)包含用以執行此處所述方法中之一者的電腦程式記錄於其上。該資料載體、數位儲存媒體、或記錄媒體典型為具體有形及/或非暫時性。

因此本發明方法之又一實施例為表示用以執行此處所述方法中之一者的電腦程式之資料串流或一序列信號。該資料串流或序列信號。例如可經組配來透過資料通訊連結，例如透過網際網路轉移。

又一實施例包含經組配來或適用於執行此處所述方法中之一者的處理構件，例如電腦或可規劃邏輯裝置。

又一實施例包含其上安裝用以執行此處所述方法中之一者的電腦程式之電腦。

依據本發明之又一實施例組配來轉移(例如電子式或光學式)用以執行此處所述方法中之一者的電腦程式給接收器之裝置或系統。接收器例如可以是電腦、行動構件、記憶體構件等。裝置或系統例如可包含用以轉移電腦程式給接收器之檔案伺服器。

於若干實施例中，可規劃邏輯裝置(例如可現場規劃閘陣列)可用來執行此處所述方法的部分或全部功能。於若干實施例中，可現場規劃閘陣列可與微處理器協作來執行此處所述方法中之一者。一般而言，該等方法較佳係藉任一種硬體裝置執行。

前述實施例僅供舉例說明本發明之原理。須瞭解此處描述的配置及細節之修改與變更為熟諳技藝人士顯然易知。因此，意圖僅受隨附之申請專利範圍所限而非受呈現作為此處實施例之描述及解說用之特定細節所限。

10:編碼器 20:圖像 30:位元串流 40:區塊 50:細分區塊、子區塊、區間、第一區間、預測單元 60:細分區塊、子區塊、區間、第二區間、預測單元 70:編碼順序箭頭 80:解碼器 100:變換器 102:熵編碼器、位元串流產生器 104、152:反變換器 106、156:預測器 108:減法器 110、154:加法器 112、158:輸入端 114、160:輸出端 150:熵解碼器、位元串流提取器 152:反變換器 200:樹根區塊 400-424:記號、步驟 500:邊界

本發明之較佳實施例將就附圖以進一步細節描述於下文，附圖中：第1圖顯示依據一實施例編碼器之方塊圖；第2圖顯示依據一實施例解碼器之方塊圖；第3圖顯示第1圖之編碼器可能的內部結構之方塊圖；第4圖顯示第2圖之編碼器可能的內部結構之方塊圖；第5a圖示意地顯示一圖像可能細分成樹根區塊、編碼單元(區塊)及預測單元(區間)；第5b圖顯示依據具體實施例第5a圖所示樹根區塊低抵區間高度的細分樹；第6圖顯示依據一實施例可能的支持分割圖樣之一集合實施例；第7圖顯示當使用依據第6圖之區塊分割時，從組合區塊合併與區塊分割有效導致之可能分割圖樣；第8圖示意顯示依據一實施例SKIP/DIRECT模式之候選區塊；第9至11圖顯示依據一實施例語法之語法部分；及第12圖示意顯示依據一實施例一個區間之鄰近區間的界定。

10:編碼器

20:圖像

30:位元串流

40:區塊

50:第一區間

60:第二區間

70:編碼順序

Claims

一種組配來解碼位元串流的解碼器，該位元串流係傳訊針對一圖像之一目前區塊的支持分割圖樣中之一者，該解碼器係組配來：若該所傳訊的支持分割圖樣中之一者載明該目前區塊細分成二或更多個進一步區塊，則：針對全部進一步區塊，但於一編碼順序中該等進一步區塊中之一第一進一步區塊除外，從個別進一步區塊之一編碼參數候選者集合中，去除具有與該等進一步區塊中之任一者關聯的編碼參數相同的編碼參數之編碼參數候選者，該等進一步區塊中之該任一者當與該個別進一步區塊合併時將得到該等支持分割圖樣中之一者。
如請求項1之解碼器，其中該解碼器係組配來：若未被去除的編碼參數候選者數目為非零，則取決於該等未被去除的編碼參數候選者中之一者而設定與該個別進一步區塊關聯的編碼參數。
如請求項1之解碼器，其中該解碼器係組配來：若未被去除的編碼參數候選者數目為非零，則設定與該個別進一步區塊關聯的編碼參數等於該等未被去除的編碼參數候選者中之一者，有或無一額外細化及/或有或無依據一時間距離的縮放。
如請求項2至3中任一者之解碼器，其中該解碼器係組配來：針對該目前區塊支持內(intra)及交互(inter)預測模式，且唯有於該目前區塊係以交互預測模式編碼之情況下才執行該合併與去除。
如請求項2至4中任一者之解碼器，其中該等編碼參數為預測參數，及該解碼器係組配來使用該個別進一步區塊之該等預測參數來針對該個別進一步區塊導出一預測信號。
如請求項1至5中任一者之解碼器，其中該解碼器係組配來：若針對一個別進一步區塊之未被去除的編碼參數候選者數目為大於1，則取決於針對該個別進一步區塊之未被去除的編碼參數候選者數目，僅只預期該位元串流包含一語法元素，其載明該等未被去除的編碼參數候選者中之哪一者被用於合併。
如請求項1至6中任一者之解碼器，其中該解碼器係組配來基於與先前解碼區塊關聯的編碼參數而決定針對該個別進一步區塊之該編碼參數候選者集合。
如請求項1至7中任一者之解碼器，其中該解碼器係組配來至少部分基於與先前解碼區塊關聯的編碼參數而決定針對該個別進一步區塊之該編碼參數候選者集合，該等先前解碼區塊係鄰近該個別進一步區塊且分別地位在該目前區塊外部及內部。
如請求項1至8中任一者之解碼器，其中該解碼器係組配來從把以內預測模式編碼者排除的先前解碼區塊之一初始集合中，決定針對該個別進一步區塊之該編碼參數候選者集合。
如請求項1至9中任一者之解碼器，其中該解碼器係組配來依據該位元串流中所含的細分資訊將該圖像細分成編碼區塊，該等編碼區塊包括該目前區塊。
如請求項10之解碼器，其中該解碼器係組配來依據該位元串流中所含之更細分資訊而將該目前區塊更細分成一或多個變換區塊，及以該等變換區塊為單位，從位元串流導出該目前區塊之一殘差信號。
如請求項1至11中任一者之解碼器，其中該解碼器係組配來若支持分割圖樣中所傳訊之一者載明將該區塊細分為兩個進一步區塊，則針對於一編碼順序中該等進一步區塊中之一第二進一步區塊，從針對該第二進一步區塊之編碼參數候選者集合中，去除具有與於一編碼順序中該等進一步區塊中之該第一進一步區塊關聯的編碼參數相同編碼參數之編碼參數候選者。
如請求項1至12中任一者之解碼器，其中該等支持分割圖樣包含一非分割模式、一水平分割模式、及一垂直分割模式，及該解碼器係組配來：若該等支持分割圖樣中之該傳訊者載明將該區塊細分成四個進一步區塊，則：針對於一編碼順序中該等進一步區塊中之第四區塊，從針對第四進一步區塊之一編碼參數候選者集合中，去除具有與該等進一步區塊中之一者關聯的編碼參數相同編碼參數之編碼參數候選者，該等進一步區塊中之該一者係與該第四進一步區塊在同一列，但限制條件為該等進一步區塊中之另二者在具有與其關聯之彼此相等編碼參數的一不同列中，及針對該第四區塊，從針對該第四進一步區塊之該編碼參數候選者集合中，去除具有與該等進一步區塊中之一者關聯的編碼參數相同編碼參數之編碼參數候選者，該等進一步區塊中之該一者係與該第四進一步區塊在同一行，但限制條件為該等進一步區塊中之另二者在具有與其關聯的彼此相等編碼參數之一不同行中。
一種組配來將圖像編碼成位元串流之編碼器，該編碼器係組配來：在一位元串流內傳訊針對一目前區塊的支持分割圖樣中之一者；及若該所傳訊的支持分割圖樣中之一者載明該目前區塊細分成二或更多個進一步區塊，則：針對全部進一步區塊，但於一編碼順序中該等進一步區塊中之一第一進一步區塊除外，從針對該個別進一步區塊之一編碼參數候選者集合中，去除具有與該等進一步區塊中之任一者關聯的編碼參數相同編碼參數之編碼參數候選者，該等進一步區塊中之該任一者當與個別進一步區塊合併時將得到該等支持分割圖樣中之一者。
一種組配來解碼位元串流的解碼器，該位元串流傳訊針對一圖像之一目前區塊的支持分割圖樣中之一者，該解碼器係組配來：若該所傳訊的支持分割圖樣中之一者載明該區塊細分成二或更多個進一步區塊，則：針對全部進一步區塊，但於一編碼順序中該等進一步區塊中之一第一進一步區塊除外，從個別進一步區塊之一候選區塊集合中，去除當與該個別進一步區塊合併時將得到該等支持分割圖樣中之一者的候選區塊。
如請求項15之解碼器，其中該解碼器係組配來：若未被去除的候選區塊數目為非零，則藉由取決於與該等未被去除的候選區塊中之一者關聯的編碼參數，設定該個別進一步區塊之編碼參數，而合併該個別進一步區塊與該等未被去除的候選區塊中之該一者。
如請求項15之解碼器，其中該解碼器係組配來：若未被去除的候選區塊數目為非零，則藉由在有或無一額外細化及/或依據時間距離的縮放之情況下，設定該個別進一步區塊之編碼參數等於與該等未被去除的候選區塊中之一者關聯的編碼參數，而合併該個別進一步區塊與該等未被去除的候選區塊中之該一者。
如請求項16至17中任一者之解碼器，其中該解碼器係組配來：針對該目前區塊支持內(intra)及交互(inter)預測模式，且唯有於該目前區塊以交互預測模式編碼之情況下才執行該合併與去除。
如請求項16至18中任一者之解碼器，其中該等編碼參數為預測參數，及該解碼器係組配來運用該個別進一步區塊之該等預測參數以導出該個別進一步區塊之一預測信號。
如請求項15至19中任一者之解碼器，其中該解碼器係組配來：若針對一個別進一步區塊之未被去除的候選區塊數目大於1，則取決於針對該個別進一步區塊之未被去除的候選區塊數目，僅只預期該位元串流包含一語法元素，其載明該等未被去除的候選區塊中之哪一者被用於合併。
如請求項15至20中任一者之解碼器，其中該解碼器係組配來從先前解碼區塊中決定針對該個別進一步區塊的該候選區塊集合。
如請求項15至21中任一者之解碼器，其中該解碼器係組配來從鄰近該個別進一步區塊的先前解碼區塊之一初始集合中，決定針對該個別進一步區塊的該候選區塊集合，該初始集合包括分別在該目前區塊外部及內部的鄰近區塊。
如請求項15至22中任一者之解碼器，其中該解碼器係組配來從先前解碼區塊之一初始集合中但排除以一內編碼模式編碼者，決定針對該個別進一步區塊的該候選區塊集合。
如請求項15至23中任一者之解碼器，其中該解碼器係組配來依據該位元串流中所含的細分資訊而將該圖像細分成編碼區塊，該等編碼區塊包括該目前區塊。
如請求項24之解碼器，其中該解碼器係組配來依據更細分資訊而將該目前區塊更細分成一或多個變換區塊，及以該等變換區塊為單位，從位元串流導出該目前區塊之一殘差信號。
一種組配來將圖像編碼成位元串流之編碼器，該編碼器係組配來：在一位元串流內傳訊針對一目前區塊的支持分割圖樣中之一者；及若該所傳訊的支持分割圖樣中之一者載明該區塊細分成二或更多個進一步區塊，則：針對全部進一步區塊，但於一編碼順序中該等進一步區塊中之一第一進一步區塊除外，從個別進一步區塊之一候選區塊集合中，去除當與該個別進一步區塊合併時將得到該等支持分割圖樣中之一者的候選區塊。
一種用以解碼位元串流之方法，該位元串流傳訊針對一圖像之一目前區塊所支持分割圖樣中之一者，該方法包含：若該所傳訊的支持分割圖樣中之一者載明該目前區塊細分成二或更多個進一步區塊，則：針對全部進一步區塊，但於一編碼順序中該等進一步區塊中之一第一進一步區塊除外，從個別進一步區塊之一編碼參數候選者集合中，去除具有與該等進一步區塊中之任一者關聯的編碼參數相同編碼參數之編碼參數候選者，該等進一步區塊中之該任一者當與該個別進一步區塊合併時將得到該等支持分割圖樣中之一者。
一種將圖像編碼成位元串流之方法，該方法包含：在一位元串流內傳訊針對一目前區塊的支持分割圖樣中之一者；及若該所傳訊的支持分割圖樣中之一者載明該目前區塊細分成二或更多個進一步區塊，則：針對全部進一步區塊，但於一編碼順序中該等進一步區塊中之一第一進一步區塊除外，從個別進一步區塊之一編碼參數候選者集合中，去除具有與該等進一步區塊中之任一者關聯的編碼參數相同編碼參數之編碼參數候選者，該等進一步區塊中之該任一者當與該個別進一步區塊合併時將得到該等支持分割圖樣中之一者。
一種具有程式碼之電腦程式，當該程式碼在一電腦上運行時，用以執行如請求項27或28之方法。