TWI789632B

TWI789632B - 用於參考圖像重新取樣擴展之編碼器與解碼器、編碼方法及解碼方法

Info

Publication number: TWI789632B
Application number: TW109133170A
Authority: TW
Inventors: 雅構夏契茲德拉富恩特; 卡斯登蘇荷寧; 寇尼拉斯黑爾吉; 湯瑪士夏以爾; 羅伯特史庫濱; 湯瑪士威剛德
Original assignee: 弗勞恩霍夫爾協會
Priority date: 2019-09-24
Filing date: 2020-09-24
Publication date: 2023-01-11
Also published as: KR20220063279A; BR112022005530A2; AU2020352589B2; TW202127871A; WO2021058638A1; US11909957B2; MX2022003581A; CA3155627A1; JP2022549451A; AU2024202855A1; JP2024102275A; AU2020352589A1; EP4035361A1; US20240155108A1; US20220377317A1; CN114982229A

Abstract

本發明提供一種用於解碼包含經編碼圖像資料之一經編碼視訊信號以重建構一視訊之一視訊序列的多個圖像之視訊解碼器。該視訊解碼器包含一輸入介面，該輸入介面經組配用於接收包含該經編碼圖像資料之該經編碼視訊信號。此外，該視訊解碼器包含一資料解碼器，該資料解碼器經組配用於取決於該經編碼圖像資料來重建構該視訊序列之該多個圖像。此外，提供根據實施例之用於編碼及解碼之其他視訊解碼器、視訊編碼器、系統、方法、電腦程式及經編碼視訊信號。

Description

用於參考圖像重新取樣擴展之編碼器與解碼器、編碼方法及解碼方法

發明領域

本發明係關於視訊編碼及視訊解碼，且詳言之係關於用於參考圖像重新取樣擴展的編碼器及解碼器、編碼方法及解碼方法。

發明背景

H.265/HEVC (HEVC =高效率視訊寫碼)為視訊編解碼器，其已經提供用於促進或甚至致能編碼器及/或解碼器處的並行處理之工具。舉例而言，HEVC支援將圖像細分成彼此獨立地編碼之影像塊之陣列。HEVC支援之另一概念係關於WPP，根據WPP，可自左向右例如以條帶並行地處理圖像之CTU列或CTU排，其限制條件為在處理連續CTU排時遵從某一最小CTU偏移(CTU=寫碼樹單元)。然而，具有甚至更高效地支援視訊編碼器及/或視訊解碼器之並行處理能力的視訊編解碼器將係有利的。

發明概要

在下文中，描述根據目前先進技術對VCL劃分之介紹(VCL =視訊寫碼層)。

通常，在視訊寫碼中，圖像樣本之寫碼程序需要較小分區，在該等分區中，樣本被分成用於諸如預測或變換寫碼之聯合處理的一些矩形區域。因此，將圖像劃分成在視訊序列之編碼期間恆定的特定大小之區塊。在H.264/AVC標準中，使用16×16個樣本之固定大小區塊(所謂的巨集區塊)(AVC =先進視訊寫碼)。

在目前先進技術HEVC標準(參見[1])中，存在64×64個樣本之最大大小的經寫碼樹區塊(CTB)或寫碼樹單元(CTU)。在HEVC之進一步描述中，對於此類區塊，使用更常見術語CTU。

CTU係以光柵掃描次序進行處理，以左上方CTU開始，逐排處理圖像中之CTU，向下至右下方CTU。

經寫碼CTU資料被組織成一種被稱作圖塊之容器。最初，在先前視訊寫碼標準中，圖塊意謂包含圖像之一或多個連續CTU的區段。圖塊用於經寫碼資料之分段。自另一視角，整個圖像亦可定義為一個大的區段且因此在歷史上，仍應用術語圖塊。除了經寫碼圖像樣本以外，圖塊亦包含與圖塊自身之寫碼程序相關的額外資訊，該資訊置放於所謂的圖塊標頭中。

根據目前先進技術，視訊寫碼層(VCL)亦包含用於分片及空間劃分之技術。此劃分可例如出於各種原因而應用於視訊寫碼中，各種原因包括並行化中之處理負載平衡、網路傳輸中之CTU大小匹配、誤差減輕等。

其他實例係關於RoI(RoI=感興趣區)編碼，其中例如，在圖像之中間存在一區，觀看者可例如運用放大操作(解碼僅僅RoI)或漸進解碼器再新(GDR) (其中框內資料(其典型地投入視訊序列之一個訊框)在時間上分佈於若干連續訊框上)選擇該區為例如框內區塊之行，該框內區塊之行在圖像平面上滑移並在本端以與框內圖像對於整個圖像平面重設其相同的方式重設時間預測鏈。對於後者而言，兩個區存在於每一圖像中，一個區最近經重設且一個區潛在受誤差及誤差傳播影響。

參考圖像重新取樣(RPR)為在視訊寫碼中使用以不僅藉由使用較粗量化參數而且藉由調適潛在每一傳輸圖像之解析度來調適視訊之品質/速率的技術。因此，用於框間預測之參考可能具有與當前經預測用於編碼的圖像不同的大小。基本上，RPR需要在預測迴路(例如待定義的上取樣及下取樣濾波器)中之重新取樣程序。

取決於口味，RPR可導致在任一圖像處之經寫碼圖像大小的變化，或限於發生在僅僅某一特定圖像處，例如僅僅在例如限定至區段邊界適應性HTTP串流的特定位置處。

本發明之目標為提供用於視訊編碼及視訊解碼之改良概念。

本發明之目標係藉由獨立技術方案之標的物來解決。

在附屬請求項中提供較佳實施例。

諸圖之以下描述以呈現基於區塊之預測性編碼解碼器的編碼器及解碼器之描述開始，基於區塊之預測性編碼解碼器用於寫碼視訊之圖像以便形成可建置本發明之實施例之寫碼框架的實例。參看圖7至圖9描述各別編碼器及解碼器。在下文中，呈現本發明之概念的實施例之描述以及關於此等概念可如何分別建置至圖7及圖8之編碼器及解碼器中的描述，但運用圖1至圖3及之後描述的實施例亦可用以形成並不根據在圖7及圖8之編碼器及解碼器下層的寫碼框架操作的編碼器及解碼器。

圖7展示用於例示性使用基於變換之殘餘寫碼將圖像12預測性地寫碼至資料串流14中的設備。使用參考符號10指示該設備或編碼器。圖8展示對應視訊解碼器20，例如經組配以亦使用基於變換之殘餘解碼自資料串流14預測性地解碼圖像12'的設備20，其中撇號用以指示就由預測殘餘信號之量化引入的寫碼損失而言，如由解碼器20重建構之圖像12'與最初由設備10編碼之圖像12偏離。圖7及圖8例示性地使用基於變換之預測殘餘寫碼，但本申請案之實施例不限於此類預測殘餘寫碼。對於參看圖7及圖8所描述之其他細節亦係如此，如將在下文所概述的。

編碼器10經組配以使預測殘餘信號經受空間至頻譜變換且將因此獲得之預測殘餘信號編碼成資料串流14。同樣，解碼器20經組配以自該資料串流14解碼預測殘餘信號且使因此獲得之預測殘餘信號經受頻譜至空間變換。

在內部，編碼器10可包含產生預測殘餘24之預測殘餘信號形成器22，以便量測預測信號26與初始信號(例如，與圖像12)之偏差。預測殘餘信號形成器22可例如係自初始信號(例如，自圖像12)減去預測信號之減法器。編碼器10接著進一步包含變換器28，該變換器使預測殘餘信號24經受空間至頻譜變換以獲得譜域預測殘餘信號24'，該譜域預測殘餘信號接著藉由亦由編碼器10包含之量化器32經受量化。因此，將經量化預測殘餘信號24''寫碼至位元串流14中。為此目的，編碼器10可視情況包含熵寫碼器34，該熵寫碼器將如變換及量化之預測殘餘信號熵寫碼至資料串流14中。預測信號26由編碼器10之預測級36基於編碼至資料串流14中且可自資料串流14解碼的預測殘餘信號24"產生。為此目的，如圖7中所展示，預測級36可在內部包含：解量化器38，其解量化預測殘餘信號24"以便獲得譜域預測殘餘信號24"'，該信號除量化損失以外對應於信號24'；繼之以反向變換器40，其使後一預測殘餘信號24"'經受反向變換，例如，頻譜至空間變換，以獲得除量化損失以外對應於初始預測殘餘信號24之預測殘餘信號24""。預測級36之組合器42接著諸如藉由相加再組合預測信號26及預測殘餘信號24""以便獲得經重建構信號46，亦即，初始信號12之重建構。經重建構信號46可對應於信號12'。預測級36之預測模組44接著藉由使用例如空間預測(例如，圖像內預測)及/或時間預測(例如，圖像間預測)基於信號46產生預測信號26。

同樣，如圖8中所示，解碼器20可在內部由對應於預測級36並以對應於預測級之方式互連的組件組成。詳言之，解碼器20之熵解碼器50可對來自資料串流之經量化譜域預測殘餘信號24"進行熵解碼，接著以上文關於預測級36之模組描述的方式互連及協作的解量化器52、反向變換器54、組合器56及預測模組58基於預測殘餘信號24"恢復經重建構信號以使得如圖8中所示組合器56之輸出產生經重建構信號，亦即圖像12'。

儘管上文未特定描述，但容易瞭解編碼器10可根據某一最佳化方案(諸如以最佳化某一速率及變形相關準則(例如寫碼成本)方式)設定一些寫碼參數，包括例如預測模式、運動參數及類似者。舉例而言，編碼器10及解碼器20以及對應模組44、58可分別支援不同預測模式，諸如框內寫碼模式及框間寫碼模式。編碼器及解碼器藉以在此等預測模式類型之間切換的粒度可對應於圖像12及12'分別分成寫碼片段或寫碼區塊之細分。以此等寫碼片段為單位，例如可將圖像細分成經框內寫碼之區塊及經框間寫碼之區塊。經框內寫碼區塊係基於如在下文更詳細地概述的各別區塊之空間已經寫碼/經解碼鄰域來預測。若干框內寫碼模式可存在並經選擇用於各別經框內寫碼片段，包括定向或角度框內寫碼模式，各別片段根據定向或角度框內寫碼模式藉由沿著對各別定向框內寫碼模式具專一性的某一方向將鄰域之取樣值外推至各別經框內寫碼片段中來填充。框內寫碼模式可(例如)亦包含一或多個其他模式，諸如：DC寫碼模式，用於各別經框內寫碼區塊的預測根據該DC寫碼模式指派DC值至各別經框內寫碼片段內之全部樣本；及/或平面框內寫碼模式，各別區塊之預測根據該平面框內寫碼模式估算或判定為藉由相對於具有由二維線性函數基於相鄰樣本定義的平面之驅動傾斜及偏移的各別經框內寫碼區塊之取樣位置的二維線性函數描述的取樣值之空間分佈。與其比較，可例如在時間上預測經框間寫碼區塊。對於經框間寫碼區塊，運動向量可在資料串流內發信號，該等運動向量指示圖像12所屬於的視訊之先前經寫碼圖像的部分之空間位移，先前經寫碼/解碼圖像在資料串流處經取樣以便獲得用於各別經框間寫碼區塊之預測信號。此意謂除了藉由資料串流14包含的殘餘信號寫碼(諸如表示經量化譜域預測殘餘信號24"之熵寫碼變換係數層級)之外，資料串流14可已將其編碼成用於指派寫碼模式至各種區塊的寫碼模式參數、用於區塊中之一些的預測參數(諸如用於經框間寫碼片段之運動參數)，及任擇的其他參數(諸如用於控制及發信圖像12及12'分別成片段的細分之參數)。解碼器20使用此等參數以與編碼器相同之方式細分圖像，從而將相同預測模式指派給片段，且執行相同預測以產生相同預測信號。

圖9說明一方面經重建構信號(例如，經重建構圖像12')與另一方面如在資料串流14中發信之預測殘餘信號24""及預測信號26之組合之間的關係。如上文已指示，該組合可為相加。預測信號26在圖9中說明為圖像區域成使用陰影線例示性指示之經框內寫碼區塊及非陰影例示性指示的經框間寫碼區塊之細分。該細分可係成區塊之任何細分，諸如圖像區域成正方形區塊或非正方形區塊之列及行之常規細分，或圖像12自樹根區塊成具有變化大小之多個葉區塊的多分樹細分，諸如四分樹細分或其類似者，其中在圖9中說明該等細分之混合，其中將圖像區域首先細分為樹根區塊之列及行，接著進一步根據成一或多個葉區塊之遞歸多分樹細分來細分根區塊。

再次，資料串流14可具有其中對於經框內寫碼區塊80寫碼的框內寫碼模式，其指派若干支援框內寫碼模式中之一者給各別經框內寫碼區塊80。對於經框間寫碼區塊82，資料串流14可具有寫碼於其中之一或多個運動參數。一般而言，經框間寫碼區塊82並不限於在時間上寫碼。替代地，經框間寫碼區塊82可為自超出當前圖像12自身之先前經寫碼部分預測的任何區塊，先前經寫碼部分諸如圖像12所屬之視訊的先前經寫碼圖像，或在編碼器及解碼器分別為可調式編碼器及解碼器之情況下，另一視圖或階層式下部層之圖像。

圖9中之預測殘餘信號24""亦說明為圖像區域成區塊84之細分。此等區塊可被稱作變換區塊，以便將其與寫碼區塊80及82區分開。實際上，圖9說明編碼器10及解碼器20可使用圖像12及圖像12'分別成區塊之兩個不同細分，亦即成寫碼區塊80及82之一個細分及成變換區塊84之另一細分。兩種細分可能相同，例如，每一寫碼區塊80及82可同時形成變換區塊84，但圖9說明如下情況：其中例如成變換區塊84之細分形成成寫碼區塊80、82之細分的擴展，使得區塊80及82之兩個區塊之間的任何邊界重疊兩個區塊84之間的邊界，或替代而言，每一區塊80、82與變換區塊84中之一者重合抑或與變換區塊84之叢集重合。然而，亦可獨立於彼此判定或選擇細分，使得變換區塊84可替代地跨越區塊80、82之間的區塊邊界。就細分成變換區塊84而言，類似陳述因此如同關於細分成區塊80、82所提出之彼等陳述而成立，例如，區塊84可係圖像區域分成區塊(具有或不具有成列及行的配置)之常規細分的結果、圖像區域之遞歸多分樹細分的結果，或其組合或任何其他類別之分塊。順便指出，應注意，區塊80、82及84不限於正方形、矩形或任何其他形狀。

圖9進一步說明預測信號26與預測殘餘信號24""之組合直接產生經重建構信號12'。然而，應注意，多於一個預測信號26可根據替代實施例與預測殘餘信號24""組合以產生圖像12'。

在圖9中，變換區塊84應具有以下顯著性。變換器28及反向變換器54以此等變換區塊84為單位執行其變換。舉例而言，許多編解碼器將某種DST或DCT用於所有變換區塊84。一些編解碼器允許跳過變換，使得對於變換區塊84中之一些，直接在空間域中寫碼預測殘餘信號。然而，根據下文描述之實施例，編碼器10及解碼器20以使得其支援若干變換之方式進行組配。舉例而言，由編碼器10及解碼器20支援之變換可包含： o DCT-II (或DCT-III)，其中DCT代表離散餘弦變換 o DST-IV，其中DST代表離散正弦變換 o DCT-IV o DST-VII o 識別變換(IT)

當然，雖然變換器28將支援此等變換之所有正向變換版本，但解碼器20或反向變換器54將支援其對應的後向或反向版本： o 反向DCT-II(或反向DCT-III) o 反向DST-IV o 反向DCT-IV o 反向DST-VII o 識別變換(IT)

後續描述提供關於可由編碼器10及解碼器20支援之變換的更多細節。在任何情況下，應注意，所支援變換之集合可包含僅一個變換，諸如一個頻譜至空間或空間至頻譜變換。

如上文已概述，已呈現圖7至圖9作為實例，在該實例中可實施下文進一步描述之本發明概念以便形成根據本申請案的編碼器及解碼器之特定實例。因此，圖7及圖8之編碼器及解碼器可分別表示下文所描述之編碼器及解碼器的可能實施。然而，圖7及圖8僅為實例。然而，根據本申請案之實施例之編碼器可使用下文更詳細地概述之概念執行圖像12之基於區塊之編碼，且與諸如圖7之編碼器的不同之處例如在於根據本申請案之實施例之編碼器並非視訊編碼器，但為靜態圖像編碼器，不同之處在於根據本申請案之實施例之編碼器不支援框間預測，或不同之處在於細分成區塊80以不同於圖9中例示之方式執行。同樣，根據本申請案之實施例之解碼器可使用下文進一步概述之寫碼概念自資料串流14執行圖像12'之基於區塊之解碼，但與例如圖8之解碼器20之不同之處可在於根據本申請案之實施例之解碼器並非視訊解碼器，但為靜態圖像解碼器，不同之處在於根據本申請案之實施例之解碼器不支援框內預測，或不同之處在於根據本申請案之實施例之解碼器以不同於關於圖9所描述之方式將圖像12'細分成區塊，及/或不同之處在於根據本申請案之實施例之解碼器不自變換域中而自例如空間域中之資料串流14導出預測殘餘。

在下文中，在圖1中描述根據實施例之通用視訊編碼器，在圖2中描述根據實施例之通用視訊解碼器，且在圖3中描述根據實施例之通用系統。

圖1說明根據實施例之通用視訊編碼器101。

該視訊編碼器101經組配以用於藉由產生一經編碼視訊信號而編碼一視訊之多個圖像，其中該多個圖像中之每一者包含初始圖像資料。

視訊編碼器101包含一資料編碼器110，該資料編碼器經組配以用於產生包含經編碼圖像資料之該經編碼視訊信號，其中該資料編碼器經組配以將該視訊之該多個圖像編碼為該經編碼圖像資料。

此外，該視訊編碼器101包含一輸出介面120，該輸出介面經組配以用於輸出該多個圖像中之每一者的該經編碼圖像資料。

圖2說明根據實施例之通用視訊解碼器151。

視訊解碼器151經組配以用於解碼包含經編碼圖像資料之經編碼視訊信號以重建構一視訊之多個圖像。

視訊解碼器151包含經組配以用於接收經編碼視訊信號的輸入介面160。

此外，視訊解碼器包含資料解碼器170，該資料解碼器經組配以用於藉由解碼經編碼圖像資料來重建構視訊之多個圖像。

圖3說明根據實施例之通用系統。

該系統包含圖1之視訊編碼器101及圖2之視訊解碼器151。

視訊編碼器101經組配以產生經編碼視訊信號。視訊解碼器151經組配以解碼經編碼視訊信號以重建構視訊之圖像。

請求項1至33中主張本發明之第一態樣。第一態樣提供樣本長寬比發信。

請求項34至72中主張本發明之第二態樣。第二態樣提供參考圖像重新取樣限制以減少實施負擔。

請求項73至131中主張本發明之第三態樣。第三態樣提供基於可撓區之參考以用於參考圖像重新取樣之縮放，且詳言之提供更高效解決縮放使用情況。

在下文中，現在詳細地描述本發明之第一態樣。

詳言之，第一態樣提供樣本長寬比發信。

樣本長寬比(SAR)與正確地向消費者呈現經寫碼視訊有關，使得當經寫碼樣本陣列之長寬比隨時間經由RPR (例如藉由一個維度中之子取樣)變化時，所呈現圖像之長寬比可如預期保持恆定。

諸如在HEVC或AVC中的序列參數集(SPS)中之視訊可用性資訊(VUI)中的當前最新技術SAR發信僅允許對於整個經寫碼視訊序列設定恆定SAR，例如，僅在經寫碼視訊序列之開始處允許SAR變化(例如每經寫碼視訊序列之樣本長寬比係恆定的)。

因此，作為本發明之部分，SAR發信之新的模式經引入至視訊寫碼中。序列層級參數集，例如SPS，含有一指示，其指示 • RPR在使用中(因此經寫碼圖像大小可變化) • 無實際SAR給定於VUI中， • 實際上，經寫碼視訊之SAR經指示為動態且可在經寫碼視訊序列(CVS)內變化 • 經寫碼圖像之實際SAR係經由在解析度切換點處的補充增強資訊(SEI)訊息指示

vui_parameters( ) {	描述符
aspect_ratio_info_present_flag	u(1)
if( aspect_ratio_info_present_flag ) {
aspect_ratio_idc	u(8)
if( aspect_ratio_idc = = EXTENDED_SAR ) {
sar_width	u(16)
sar_height	u(16)
}
} else {
if (sps_rpr_enabled_flag )
aspect_ratio_dynamic_sei_present_flag	u(1)
}
[…]

動態SAR資訊SEI訊息

dynamic_sar_info( payloadSize ) {	描述符
sar_cancel_flag	u(1)
if( !sar_cancel_flag ) {
sar_persistence_flag	u(1)
sei_aspect_ratio_idc	u(8)
if( sei_aspect_ratio_idc = = EXTENDED_SAR ) {
sei_sar_width	u(16)
sei_sar_height	u(16)
}
}

同樣，可例如使用vui _aspect _ratio _constant 旗標。

旗標vui _aspect _ratio _constant 旗標可例如為指示一樣本長寬比對於視訊序列是否恆定或該樣本長寬比在該視訊序列內是否可變的一指示。

舉例而言，若vui _aspect _ratio _constant 旗標可例如設定為0 (或可例如設定為假，或可例如設定為-1)，則此可例如指示呈現例如在SEI訊息中之動態SAR資訊。

在一替代實施例中，VUI (例如SPS)中之SAR資訊用作預設，只要無SEI訊息可用，其便被使用。SEI訊息中之資訊將在SPS中之資訊中改寫。

vui_parameters( ) {	描述符
default_aspect_ratio_info_present_flag	u(1)
if( default_aspect_ratio_info_present_flag ) {
default_aspect_ratio_idc	u(8)
if( default_aspect_ratio_idc = = EXTENDED_SAR ) {
default_sar_width	u(16)
default_sar_height	u(16)
}
}
if (sps_rpr_enabled_flag )
aspect_ratio_dynamic_sei_present_flag	u(1)

[…]

在另一實施例中，SAR資訊係與圖像解析度相關聯並在圖像參數集(PPS)中發信，其中圖像解析度被發信。預設SAR係在SPS中發信，若SAR對於某一圖像解析度變化，則發信不同SAR，從而改寫預設SAR。 SPS VUI:

vui_parameters( ) {	描述符
default_ aspect_ratio_info_present_flag	u(1)
if(default_aspect_ratio_info_present_flag ) {
default _ aspect_ratio_idc	u(8)
if(default_aspect_ratio_idc = = EXTENDED_SAR ) {
default _sar_width	u(16)
default _sar_height	u(16)
}
}
[…]

且如對於SEI情況，SPS可另外指示SAR可變化且SAR經更新至PPS中(類似於之前的aspect_ratio_dynamic_sei_present_flag)。因此，可能有可能約束或限制SAR對於一些應用不改變，從而使得其較容易實施或RPR/ARC。 PPS:

vui_parameters( ) {	描述符
[…]
pps_aspect_ratio_info_present_flag	u(1)
if(pps_aspect_ratio_info_present_flag ) {
pps_aspect_ratio_idc	u(8)
if(pps_aspect_ratio_idc = = EXTENDED_SAR ) {
pps_sar_width	u(16)
pps_sar_height	u(16)
}
}
[…]

若pps_aspect_ratio_info_present_flag經設定為0，則預設SAR自SPS取得且若非，則提供實際SAR。

在下文中，現在詳細地描述本發明之第二態樣。

詳言之，第二態樣提供關於參考圖像重新取樣之約束的發信。

以各種方式限制RPR方案允許減少實施負擔。在運用不包括比如在以下發明中之額外限制的通用RPR方案情況下，實施者將必須過度提供其解碼器硬體以執行以下操作： • 在任意當前圖像(最壞情況：每一圖像)處重新取樣 • 重新取樣經解碼圖像緩衝器(DPB)、對比具有較小參考圖像的經定義位置的中間圖像群組(GOP)中之任一圖像 • 同時重新取樣變化解析度之多個圖像至目標解析度 • 具有(參考)圖像品質損失之參考圖像(ref pic)的級聯重新取樣鏈

以下內容中之發明性限制允許減少一編解碼器之實施成本，該編解碼器相較於不受限制RPR編解碼器提供此受限制RPR方案。

在一個實施例中，解析度變化僅僅在隨機存取點(RAP)處被允許，例如經重新取樣圖像之最大數目為在此RAP處之隨機存取可解碼跳過圖像(RASL)圖像的量，且RAP通常出現在一或多個GOP之一距離(例如，幾十個圖像間隔)處，其減少此類重新取樣操作必須被支援所藉以之最壞情況速率。

在另一實施例中，解析度變化僅僅在階層式GOP內之關鍵圖像處被允許，例如如下之圖像 • 具有最低時間層，及 • 每一GOP中出現一次，及 • 且按寫碼次序隨後的所有圖像具有較低POC(例如稍早呈現時戳)，以使得當參考圖像經重新取樣時，更高時間層之GOP內的緊接著圖像中無一者需要級聯的上取樣/下取樣。

根據另一實施例，解析度變化僅僅在按呈現次序緊隨關鍵圖像之後的圖像(或換言之，按呈現次序的下一GOP之第一圖像)處被允許。

在另一實施例中，連續解析度變化之間的時間距離藉由層級定義中之最小圖像次序計數(POC)距離限制。

在另一實施例中，連續解析度變化之間的時間距離藉由在層級定義中之間的經寫碼圖像之一最小數目限制。

在另一實施例中，解析度變化可僅僅發生在藉由等於0之non_reference_picture_flag標記為不可拋棄或參考圖像的圖像處。

在另一實施例中，解析度變化之速率藉由層級定義限制。

在另一實施例中，當前圖像的參考圖像之重新取樣限於使用單一重新取樣比率，例如，當前圖像之具有不同於當前圖像之解析度的所有參考圖像需要具有相同解析度。

在另一實施例中，當當前圖像之一個參考圖像需要重新取樣時，需要當前圖像之所有參考圖像使用重新取樣，例如，該一個參考圖像在同一初始解析度上。

在另一實施例中，允許當前圖像之僅僅一個參考圖像需要重新取樣。

根據另一實施例，需要在解析度變化點處重新取樣的圖像之最大數目係在經寫碼視訊序列/位元串流中任擇地指示為用於解碼器之保證且當該指示並不存在時，其藉由層級定義推斷或指示。

在另一實施例中，初始(未經重新取樣)參考圖像在經重新取樣之後自參考圖像清單及/或經解碼圖像緩衝器移除，例如經標記為不用於參考，以使得僅僅經重新取樣之參考圖像可自其上獲得。

在另一實施例中，在經寫碼視訊序列內使用的重新取樣比率限於包括至具有序列或位元串流範疇之參數集(解碼參數集，DPS；序列參數集SPS)中的重新取樣比率之集合。

在下文中，現在詳細地描述本發明之第三態樣。

詳言之，第二態樣提供基於可撓區之參考用於參考圖像重新取樣之縮放。

如上文所論述，在諸如SHVC及SVC之分層編解碼器中，闡述進階可縮放性之兩個模式，亦即RoI可縮放性(下層圖像之區在較高層中放大)及擴展可縮放性(下層圖像經由額外內容在較高層中擴展)，如下文在圖4中所示。

擴展可縮放性可例如指通俗地被稱作縮小的用例，例如視訊在其覆蓋更多內容(例如較大俘獲角度、場景之更多部分、共同較大區等)意義上在時間上變化的用例。

圖4說明感興趣區(RoI)可縮放性對比擴展之可縮放性。

在當縮放及移動區經定義用於預測及待被預測時允許放大及縮小的情境中。此稱為RoI可縮放性(典型地放大)或擴展可縮放性(典型地縮小)。在具有可縮放寫碼之RoI可縮放性中，典型地一區經定義於按比例擴大至參考圖像之尺寸的參考圖像中。然而，在可縮放寫碼中，在其間執行預測的較高及較低層圖像描繪同一時刻。

由於對於SHVC及SVC，此對於分層寫碼進行且在彼等情況中共置基礎層不表示任何移動，例如，已知基礎層中之對應樣本，有可能完全按比例擴大基礎層中之已知區並對彼按比例擴大參考進行操作。

然而，在RPR應用中，在其之間執行預測的兩個圖像不描繪同一時間例項，且因此經定義區中之某一內容可時間例項A (低解析度)至時刻B (高解析度)移動進入放大/縮小區域。不允許參考彼等用於預測之區對於寫碼效率係有害的。

然而，對於RPR，參考可例如由於物件移動至RoI放大區域中而指向在對應參考區外部的某一區域。此在圖5a中展示而不實際上改變經寫碼解析度：圖5a描繪隨時間之圖像內的內容片段(灰色)移動之第一說明。

在第一實施例中，定義包括比RoI之區域更大之區域的參考區以使得出現至RoI縮放區域中的圖中之灰色框係在參考中：圖5b描繪隨時間之圖像內的內容片段(灰色)移動之第二說明。

此將導致對於對應於RoI之圖像重建構比RoI大一點的區域且額外區域將藉由指示裁剪窗移除。問題起因於用於上取樣參考之縮放因數係在Versative視訊寫碼(VVC)中自裁剪出圖像計算的事實。首先假設不存在RoI，水平縮放因數HorScale及垂直縮放因數VerScale將經計算為： HorScale=CroppedOutWidthPic/CroppedOutWidthRefPic VerScale=CroppedOutHeightPic/CroppedOutHeightRefPic

基於裁剪出圖像指示比率的原因在於取決於感興趣圖像大小，一些額外樣本需要經解碼，此係因為編解碼器需要大小為最小大小的倍數(在VVC 8樣本中)。因此，若Pic或RefPic中之任一者不為8之倍數，則一些樣本將被添加至輸入圖像以使其達成8之倍數且比率將變為不同並導致錯誤縮放因數。此問題在位元串流需要經編碼為「可合併」(例如，其可經合併至其他位元串流)的情況下可變得甚至更差，如在圖像大小需要為CTU大小之倍數(變成128)的彼情況下。因此，校正縮放因數需要考量裁剪窗。

在所描述情境(組合RPR與RoI)中，利用用於包括一些額外參考之裁剪窗，裁剪窗之使用將係不適當的。如所描述，吾人可定義參考圖像中之大一點的RoI，其可用於參考但在當前經重建構圖像中運用裁剪窗情況下被丟棄。然而，若水平縮放因數HorScale及垂直縮放因數VerScale經計算為， HorScale=CroppedOutWidthPic/WidthEnlargedRefRoI VerScale=CroppedOutHeightPic/HeightEnlargeRefRoI 則結果將不正確，此係因為放大RoI中之樣本中之一些實際上對應於裁剪出區中的樣本。

在以下內容中，描述根據實施例之第一群組的基於裁剪窗之概念。

因此，在實施例之該第一群組中，計算可例如如下： HorScale=CodedPicWidth/RefRoIWidth VerScale=CodedPicHeight/RefRoIHeight 其將包括待裁剪出用於縮放因數之計算的樣本。

關於發信，在一個實施例中，經放大RoI之發信將指示裁剪窗資訊將在縮放因數計算中被忽略。

在另一實施例中，在位元串流(例如參數集或圖塊標頭)中指示裁剪窗是否需要被考慮用於縮放因數之計算。

pic_parameter_set( ) {	描述符
…
roi_offset_present_flag	u(1)
if( scaled_ref_layer_offset_present_flag) {
roi_left_offset	se(v)
roi_top_offset	se(v)
roi_right_offset	se(v)
roi_bottom_offset	se(v)
}
use_cropping_for_scale_factor_derivation_flag	u(1)
}

裁剪窗可例如亦被稱作一致性裁剪窗。用於裁剪窗/一致性裁剪窗之偏移可例如亦被稱作pps _ conf _ win _ left _ offset 、pps _ conf _ win _ top _ offset 、pps _ conf _ win _ right _ offset 及pps _ conf _ win _ botton _ offset 。

可例如使用一旗標pps _ scaling _ window _ explicit _ signalling _ flag ，而非使用旗標use _ cropping _ for _ scale _ factor _ derivation _ flag 用於決定裁剪窗上的經編碼視訊信號內之資訊是否應被忽略用於按比例擴大參考圖像內之一區(或用於決定裁剪窗上的經編碼視訊信號內之資訊是否應用於按比例擴大參考圖像內之該區)。

舉例而言，若旗標pps _ scaling _ window _ explicit _ signalling _ flag 經設定為0 (或例如經設定為假，或例如經設定為-1)，則裁剪窗上的經編碼視訊信號內之資訊可例如用於按比例擴大參考圖像內之區。且，舉例而言，若旗標pps _ scaling _ window _ explicit _ signalling _ flag 經設定為1 (或例如經設定為真)，則裁剪窗上的經編碼視訊信號內之資訊可例如被忽略用於按比例擴大參考圖像內之區。

以上方法之缺點中之一者係為了允許參考在RoI外部的樣本，例如，參考至經放大RoI上的樣本，經解碼用於當前圖像的區域變得較大。更具體地，在RoI外部的區域中解碼樣本，其稍後在運用裁剪窗情況下被丟棄。此導致可潛在計數允許在參考圖像中之對應RoI外部的參考之寫碼效率增益的額外樣本額外負擔及寫碼效率減少。

更高效方法將係僅僅解碼RoI (省略必要額外樣本以使圖像為8之倍數或如之前所論述的CTU)但允許經放大RoI內之參考樣本。

在以下內容中，描述根據實施例之第二群組的基於定界框之概念。

在實施例之該第二群組中，在紅色矩形外部但在綠色框內(RoI偏移加額外RoI偏移)的樣本用於判定經重新取樣之參考圖像而非僅僅使用紅色RoI。

環繞紅色切口的用於MV的定界框之大小經定義/發信，具有限制記憶體存取/線緩衝器要求及亦允許運用逐圖像上取樣方法實施之優點。

此發信可包括至PPS (additional_roi_X)中：

pic_parameter_set( ) {	描述符
…
roi_offset_present_flag	u(1)
if( scaled_ref_layer_offset_present_flag) {
roi_left_offset	se(v)
roi_top_offset	se(v)
roi_right_offset	se(v)
roi_bottom_offset	se(v)
}
additional_roi_offset_present_flag	u(1)
if( additional_roi_offset_present_flag) {
additional_roi_left_offset	ue(v)
additional_roi_top_offset	ue(v)
additional_roi_right_offset	ue(v)
additional_roi_bottom_offset	ue(v)
}

因此，縮放因數之導出將係如下： HorScale=CroppedOutWidthPic/RefRoIWidth VerScale=CroppedOutHeightPic/RefRoIHeight

在一個實施例中，參考樣本將藉由使用roi_X_offsets及應用MV找到共置樣本而識別，若參考樣本在藉由additional_roi_x指示之經放大RoI外部，則其將被剪輯。或替代地，在此經放大RoI外部的樣本將用放大經RoI內之最後樣本填補。

在另一實施例中，此經放大RoI僅僅用作可用於實施最佳化的限制或約束條件。例如，若參考圖像視需要而非運作中(基於區塊)首先經完全上取樣，則僅僅經放大RoI而非整個圖像經重新取樣，從而節省大量處理。

一另外問題係何時同時使用多於一個參考圖像。在彼情況下，有必要識別RoI區資訊應用於的圖像。在此情況下，圖塊標頭將指示參考列表中之條目中之一些不參考整個圖像而是其一部分，而非將資訊添加至PPS。例如

slice_header( ) {	描述符
slice_pic_parameter_set_id	ue(v)
…
if( ( nal_unit_type != IDR_W_RADL && nal_unit_type != IDR_N_LP ) \| \| sps_idr_rpl_present_flag ) {
for( i = 0; i ＜ 2; i++ ) {
if( num_ref_pic_lists_in_sps[ i ] ＞ 0 && !pps_ref_pic_list_sps_idc[ i ] && ( i = = 0 \| \| ( i = = 1 && rpl1_idx_present_flag ) ) )
ref_pic_list_sps_flag[ i ]	u(1)
if( ref_pic_list_sps_flag[ i ] ) {
if( num_ref_pic_lists_in_sps[ i ] ＞ 1 &&
( i = = 0 \| \| ( i = = 1 && rpl1_idx_present_flag ) ) )
ref_pic_list_idx[ i ]	u(v)
} else
ref_pic_list_struct( i, num_ref_pic_lists_in_sps[ i ] )
for( j = 0; j ＜ NumLtrpEntries[ i ][ RplsIdx[ i ] ]; j++ ) {
if( ltrp_in_slice_header_flag[ i ][ RplsIdx[ i ] ] )
slice_poc_lsb_lt[ i ][ j ]	u(v)
delta_poc_msb_present_flag[ i ][ j ]	u(1)
if( delta_poc_msb_present_flag[ i ][ j ] )
delta_poc_msb_cycle_lt[ i ][ j ]	ue(v)
}
}
if( ( slice_type != I && num_ref_entries[ 0 ][ RplsIdx[ 0 ] ] ＞ 1 ) \| \| ( slice_type = = B && num_ref_entries[ 1 ][ RplsIdx[ 1 ] ] ＞ 1 ) ) {
num_ref_idx_active_override_flag	u(1)
if( num_ref_idx_active_override_flag )
for( i = 0; i ＜ ( slice_type = = B ? 2: 1 ); i++ )
if( num_ref_entries[ i ][ RplsIdx[ i ] ] ＞ 1 )
num_ref_idx_active_minus1[ i ]	ue(v)
}
for( i = 0; i ＜ ( slice_type = = B ? 2: 1 ); i++ )
for(j=0;j＜ NumRefPics[ i ];j++)
RoiInfo(i,j)
}
}

在其他實施例中，額外約束條件準備就緒： - 僅僅具有較低POC之參考圖像可具有RoI資訊。典型地將具有所描述特徵之RoI切換將適用於開放GOP切換情境且因此具有較高POC之POC將已經表示RoI場景。 - 僅僅一個參考圖像可具有RoI資訊。

在另一實施例中，RoIInfo()係在圖像參數集中攜載且圖塊標頭僅僅攜載每參考圖像之旗標(RoI_flag)，指示RoI資訊是否將應用於重新取樣(縮放因數之導出)。以下圖運用四個經寫碼圖像說明原理，在切換點之前兩個圖像及在切換點之後兩個圖像。在切換點處，總的解析度保持恆定但進行RoI之上取樣。兩個PPS經定義，其中兩個後者圖像的PPS指示參考圖像內之RoI。另外，兩個後者圖像之圖塊標頭攜載用於其參考圖像中之每一者的RoI_flag[i]，該值在圖中指示為「RoI_flag」或「RF=x」。

另外，圖塊標頭可對於每一參考圖像攜載不僅如上所述之RoI_flag，而且在旗標為真的情況下，攜載至在參數集中攜載的RoIInfo()之陣列中的額外索引以識別哪一RoI資訊適用於特定參考圖像。

圖6a說明具有混合參考圖像之當前圖像。

在以下內容中，描述根據實施例之第三群組的縮小情況。

作為RoI可縮放性之替代，在實施例之該第三群組中，吾人可考慮擴展可縮放性，例如，自RoI圖像進入較大區域。在此情況下，特定言之在當前經解碼圖像中之區經識別為用於擴展可縮放性(例如縮小)的區情況下，亦應忽略參考圖像之裁剪窗。

圖6b說明用於在當前圖像中之識別區的情況下忽略參考圖像之裁剪窗的實例。 HorScale=IdentifiedRegionInPicWidth/CodedRefPicWidth VerScale=IdentifiedRegionInPicHeight/CodedRefPicHeight

儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述之態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備(比如微處理器、可規化電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可由此設備執行最重要之方法步驟中之一或多者。

視某些實施要求而定，本發明之實施例可以硬體或軟體，或至少部分以硬體或至少部分以軟體實施。實施可使用數位儲存媒體來執行，該媒體例如軟性磁碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規化電腦系統協作(或能夠協作)，使得執行各別方法。因此，數位儲存媒體可係電腦可讀的。

根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可規化電腦系統協作，使得執行本文中所描述之方法中的一者。

一般而言，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上運行時，該程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。

其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中的一者的電腦程式。

換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式於電腦上運行時執行本文中所描述之方法中之一者的程式碼。

因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或所記錄的媒體典型地為有形及/或非暫時性的。

因此，本發明方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通信連接(例如，經由網際網路)而傳送。

另一實施例包含處理構件，例如經組配或經調適以執行本文中所描述之方法中的一者的電腦或可規化邏輯裝置。

另一實施例包含電腦，其上安裝有用於執行本文中所描述之方法中之一者的電腦程式。

根據本發明之另一實施例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置等等。設備或系統可(例如)包含用於傳送電腦程式至接收器之檔案伺服器。

在一些實施例中，可規化邏輯裝置(例如，場可規化閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規化閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。一般而言，該等方法較佳地由任何硬體設備執行。

本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。

本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦的組合來執行。

上述實施例僅說明本發明之原理。應理解，本文中所描述之配置及細節的修改及變化對於熟習此項技術者將為顯而易見的。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉由本文中實施例之描述及解釋所呈現的特定細節限制。參考文獻

[1] ISO/IEC, ITU-T. High efficiency video coding. ITU-T Recommendation H.265 | ISO/IEC 23008 10 (HEVC), edition 1, 2013; edition 2, 2014.

12,12':圖像 14:資料串流 20:解碼器/設備 22:預測殘餘信號形成器 24:預測殘餘 24",24"":預測殘餘信號 24"':譜域預測殘餘信號 26:預測信號 28:變換器 34:熵寫碼器 36:預測級 38,52:解量化器 42,56:組合器 44,58:預測模組 46:經重建構信號 50:熵解碼器 54:反向變換器 80:經框內寫碼區塊 82:經框間寫碼區塊 84:變換區塊 101:視訊編碼器 110:資料編碼器 120:輸出介面 151:視訊解碼器 160:輸入介面 170:資料解碼器

在下文中，參考諸圖更詳細地描述本發明的實施例，其中：圖1說明根據一實施例之視訊編碼器。圖2說明根據一實施例之視訊解碼器。圖3說明根據實施例之系統。圖4說明所感興趣區(RoI)可縮放性對擴展之可縮放性。圖5a描繪隨時間之圖像內的內容片段(灰色)移動之第一說明。圖5b描繪隨時間之圖像內的內容片段(灰色)移動之第二說明。圖6a說明具有混合參考圖像之當前圖像。圖6b說明用於忽略參考圖像之裁剪窗的實例。圖7說明視訊編碼器。圖8說明視訊解碼器。圖9說明一方面經重建構信號(例如，經重建構圖像)與另一方面如在資料串流中發信之預測殘餘信號及預測信號之組合之間的關係。

151:視訊解碼器

160:輸入介面

170:資料解碼器

Claims

一種視訊解碼器，用於解碼包含經編碼圖像資料的一經編碼視訊信號以解碼一視訊之一視訊序列之多個圖像，該視訊解碼器包含：一輸入介面，其受組配成可接收包含該經編碼圖像資料及一序列參數集的該經編碼視訊信號，該序列參數集包含一指示，該指示指出一樣本長寬比是否對該視訊序列為恆定、或者該樣本長寬比是否在該視訊序列內可變，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該輸入介面受組配成可接收在該經編碼視訊信號內的一補充增強資訊(SEI)訊息，該SEI訊息包含用於一第一群組的一第一指定樣本長寬比值，該第一群組為該視訊序列之該等多個圖像中之一或多者，一資料解碼器，其受組配成可解碼該經編碼圖像資料以獲得多個經解碼圖像，其中，該資料解碼器受組配成可取決於該指示而重建構該視訊序列之該等多個圖像，其中，該資料解碼器受組配成可輸出該等多個經解碼圖像，並且其中，該資料解碼器受組配成可輸出用於該等多個經解碼圖像中之一或多者的樣本長寬資訊，用於該等多個經解碼圖像中之該一或多者的該樣本長寬資訊取決於指出一樣本長寬比是否對該視訊序列為恆定或者該樣本長寬比是否在該視訊序列內可變的該指示。
如請求項1之視訊解碼器，其中，若該指示指出該樣本長寬比為恆定，則該序列參數集包含用於該視訊序列的一樣本長寬比值，其中，用於該視訊序列之該等多個圖像的該樣本長寬比資訊指明該視訊序列之該等多個圖像具有為在該序列參數集中所包含之該樣本長寬比值的一樣本長寬比。
如請求項1之視訊解碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該輸入介面受組配成可接收在該經編碼視訊信號內的一第三訊息，該第三訊息包含用於一第二群組的一第二指定樣本長寬比值，該第二群組為該視訊序列之該等多個圖像中之一或多者且不同於該第一群組，其中，用於該等多個圖像中之屬於該第二群組之該一或多者的該樣本長寬比資訊指明該等多個圖像中之屬於該第二群組之該一或多者具有為該第二指定樣本長寬比值的一樣本長寬值。
如請求項3之視訊解碼器，其中，為該視訊序列之該等多個圖像中之該一或多者的該第一群組包含在包含有該第一特定樣本長寬比值之該SEI訊息被該輸入介面接收之後、且在包含有該第二特定樣本長寬比值之該第三訊息被該輸入介面接收之前，由該輸入介面所接收到的被編碼在該經編碼圖像資料中的該視訊序列之該等多個圖像中之該一或多者，並且其中，為該視訊序列之該等多個圖像中之該一或多者的該第二群組包含在包含有該第二特定樣本長寬比之該第三訊息被該輸入介面接收之後，由該輸入介面所接收到的被編碼在該經編碼圖像資料中的該視訊序列之該等多個圖像中之該一或多者。
如請求項3之視訊解碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該序列參數集不包含用於該視訊序列之該等多個圖像中之任一者的任何樣本長寬比值。
如請求項5之視訊解碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則為該視訊序列之該等多個圖像中之該一或多者的該第一群組包含在包含有該第二特定樣本長寬比之該第三訊息被該輸入介面接收之前，由該輸入介面所接收到的被編碼在該經編碼圖像資料中的該視訊序列之該等多個圖像中之該一或多者。
如請求項1之視訊解碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該序列參數集包含用於該視訊序列的一預設樣本長寬比值，其中，用於該視訊序列之該等多個圖像的該樣本長寬比資訊取決於該預設樣本長寬比值。
如請求項1之視訊解碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該序列參數集包含與該序列參數集是否包含一預設樣本長寬比值有關的資訊，其中，若該序列參數集包含該預設樣本長寬比值，則用於該視訊序列之該等多個圖像的該樣本長寬比資訊取決於該預設樣本長寬比值。
一種視訊編碼器，用於編碼一視訊之一視訊序列之多個圖像，該視訊編碼器包含：一資料編碼器，其受組配成可取決於該視訊序列之該等多個圖像而產生一經編碼視訊信號，以及一輸出介面，用於輸出該經編碼視訊信號，其中，該資料編碼器受組配成可將該視訊序列之該等多個圖像編碼成經編碼圖像資料，其中，該資料編碼器受組配成可產生包含一指示的一序列參數集，該指示指出一樣本長寬比是否對該視訊序列為恆定、或者該樣本長寬比是否在該視訊序列內可變，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該資料編碼器受組配成可產生一補充增強資訊(SEI)訊息，該SEI訊息包含用於一第一群組的一第一指定樣本長寬比值，該第一群組為該視訊序列之該等多個圖像中之一或多者，並且其中，該資料編碼器受組配成可藉使得該經編碼視訊信號包含該序列參數集、該SEI訊息及該經編碼圖像資料的方式來產生該經編碼視訊信號。
如請求項9之視訊編碼器，其中，若該指示指出該樣本長寬比為恆定，則該序列參數集包含用於該視訊序列的一樣本長寬比值。
如請求項9之視訊編碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該資料編碼器受組配成可產生一第三訊息，該第三訊息包含用於一第二群組的一第二指定樣本長寬比值，該第二群組為該視訊序列之該等多個圖像中之一或多者且不同於該第一群組，並且，該資料編碼器受組配成可藉使得該經編碼視訊信號進一步包含該第三訊息的方式來產生該經編碼視訊信號。
如請求項11之視訊編碼器，其中，該資料編碼器受組配成可在該經編碼視訊信號內配置：該序列參數集，其係在該SEI訊息之前，該SEI訊息，其係在對於為該視訊序列之該等多個圖像中之該一或多者的該第一群組之編碼之前，對於為該視訊序列之該等多個圖像中之該一或多者的該第一群組的該編碼，其係在該第三訊息之前，以及該第三訊息，其係在對於為該視訊序列之該等多個圖像中之該一或多者的該第二群組之編碼之前。
如請求項11之視訊編碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該序列參數集不包含用於該視訊序列之該等多個圖像中之任一者的任何樣本長寬比值。
如請求項13之視訊編碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該資料編碼器受組配成可在該經編碼視訊信號內將該序列參數集配置在該SEI訊息之前、並將該SEI訊息配置在對於為該視訊序列之該等多個圖像中之該一或多者的該第一群組之編碼之前。
如請求項9之視訊編碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該資料編碼器受組配成可藉使得該序列參數集包含用於該視訊序列的一預設樣本長寬比值的方式來產生該序列參數集。
如請求項15之視訊編碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該資料編碼器被組配成可藉造成下述情況的方式來產生該經編碼視訊信號：該視訊序列之該等多個圖像中之被以於該經編碼視訊信號內被配置在該序列參數集與該SEI訊息之間的一編碼所編碼的一或多個圖像具有該預設樣本長寬比值。
如請求項9之視訊編碼器，其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該資料編碼器被組配成可藉使得該序列參數集包含與該序列參數集是否包含一預設樣本長寬比值有關的資訊的方式來產生該序列參數集。
一種用於解碼經編碼視訊信號的方法，該經編碼視訊信號包含將一視訊之一視訊序列之多個圖像編碼的經編碼圖像資料，該方法包含：接收包含有該經編碼圖像資料的該經編碼視訊信號，其中，接收該經編碼視訊信號的作業包含接收在該經編碼視訊信號內的一序列參數集，該序列參數集包含一指示，該指示指出一樣本長寬比是否對該視訊序列為恆定、或者該樣本長寬比是否在該視訊序列內可變，若該指示指出該樣本長寬比在該視訊序列內可變，接收在該經編碼視訊信號內的一補充增強資訊(SEI)訊息，該SEI訊息包含用於一第一群組的一第一指定樣本長寬比值，該第一群組為該視訊序列之該等多個圖像中之一或多者，解碼該經編碼圖像資料以獲得多個經解碼圖像，輸出該等多個經解碼圖像，以及輸出用於該等多個經解碼圖像中之一或多者的樣本長寬資訊，用於該等多個經解碼圖像中之該一或多者的該樣本長寬資訊取決於指出一樣本長寬比是否對該視訊序列為恆定或者該樣本長寬比是否在該視訊序列內可變的該指示。
一種用於編碼一視訊之一視訊序列之多個圖像的方法，該方法包含：取決於該視訊序列之該等多個圖像而產生一經編碼視訊信號，以及輸出該經編碼視訊信號，其中，產生一經編碼視訊信號之作業包含：將該視訊序列之該等多個圖像編碼成經編碼圖像資料，其中，產生一經編碼視訊信號之作業包含：產生包含一指示的一序列參數集，該指示指出一樣本長寬比是否對該視訊序列為恆定、或者該樣本長寬比是否在該視訊序列內可變，其中，該方法進一步包含：若該指示指出該樣本長寬比在該視訊序列內可變，則產生一補充增強資訊(SEI)訊息，該SEI訊息包含用於一第一群組的一第一指定樣本長寬比值，該第一群組為該視訊序列之該等多個圖像中之一或多者，並且其中，產生一經編碼視訊信號的作業是以會使得該經編碼視訊信號包含該序列參數集、該SEI訊息及該經編碼圖像資料的方式進行。
一種電腦程式，用以於在一電腦或一信號處理器上被執行時實施如請求項18或19之方法。
一種將一視訊之一視訊序列之多個圖像編碼的經編碼視訊信號，其中，該經編碼視訊信號包含一序列參數集及經編碼圖像資料，其中，該經編碼圖像資料包含對於該視訊序列之該等多個圖像的編碼，其中，該序列參數集包含一指示，該指示指出一樣本長寬比是否對該視訊序列為恆定、或者該樣本長寬比是否在該視訊序列內可變，並且其中，若該指示指出該樣本長寬比在該視訊序列內可變，則該經編碼視訊信號進一步包含一補充增強資訊(SEI)訊息，該SEI訊息包含用於一第一群組的一第一指定樣本長寬比值，該第一群組為該視訊序列之該等多個圖像中之一或多者。
一種用於產生經編碼視訊信號及重建構一視訊之一視訊序列之多個圖像的系統，該系統包含：如請求項9之視訊編碼器，以及如請求項1之視訊解碼器，其中，該視訊編碼器受組配成可取決於該視訊序列之該等多個圖像而產生該經編碼視訊信號，其中，該視訊解碼器受組配成可取決於該經編碼視訊信號而重建構該視訊序列之該等多個圖像。