TW202037167A

TW202037167A - 允許逐子圖像或逐區域隨機存取之視訊編碼解碼器及使用它之視訊合成技術

Info

Publication number: TW202037167A
Application number: TW109103098A
Authority: TW
Inventors: 羅伯特史庫濱; 雅構夏契茲德拉富恩特; 寇尼拉斯黑爾吉; 湯瑪士夏以爾; 卡斯登蘇荷寧; 湯瑪士威剛德
Original assignee: 弗勞恩霍夫爾協會
Priority date: 2019-02-01
Filing date: 2020-01-31
Publication date: 2020-10-01
Also published as: MX2021009140A; JP2023113865A; WO2020157287A1; CN118714302A; US11968399B2; KR20210118183A; BR112021014857A2; JP2022523728A; US20210360291A1; US20240214612A1; EP3918789A1; CN113545045A; CN113545045B; TWI799682B; JP7293368B2

Abstract

描述了允許更有效視訊合成/合併及/或逐步解碼再新之更有效實施的視訊編碼解碼器概念，以及允許視訊合成/合併例如在合成/合併任務之複雜度方面更有效的概念。

Description

允許逐子圖像或逐區域隨機存取之視訊編碼解碼器及使用它之視訊合成技術

發明領域

本申請案係關於視訊寫碼及視訊合成。

發明背景

各種應用利用子圖像，亦即，為單獨編碼及解碼起見將視訊圖像再分成子圖像。在此等應用中，存在360°視訊及逐步解碼再新。

在360°視訊之情況下，以不同解析度單獨地提供子圖像(在HEVC之情況下為影像塊)，如圖1之左側所展示。使用者取決於其檢視定向而選擇在高解析度下之一些影像塊及低解析度下之一些影像塊，如圖1之中間所展示，且將其合併至共同位元串流中，如圖10之右側所展示。每當使用者改變其檢視定向時，在高解析度及低解析度下之影像塊之集合改變。然而，並非具有高解析度之所有影像塊皆變成低解析度影像塊，且反之亦然。此意謂僅對於改變其解析度之影像塊之子集，需要切換點，該切換點通常為用於彼特定子圖像位元串流之隨機存取點(RAP)。

逐步解碼再新(GDR)為在非RAP處開始解碼位元串流且能夠在解碼給定數目個圖像之後以與已在如圖11中所說明之RAP處開始解碼程序相同的質量展示視訊之機構。

舉例而言，圖11中說明了四個連續非RAP圖像(以寫碼次序900連續)，其相等地再分成三個影像塊群組tile_group0、tile_group1及tile_group2，亦即，再分成個別圖像之區域。視訊902之圖像由參考符號904a至904d指示，且圖像再分成之區域係使用參考906指示。各區域906指示為以獨立方式寫碼，亦即，以形成隨機存取點之方式，亦即，藉由在其中記錄「IRAP」，或不以獨立方式寫碼，亦即，以藉由在其中記錄「框間」而參考其他圖像之方式寫碼。圖11中所展示之四個圖像904a至904d之所有區域906皆未寫碼為隨機存取點。實情為，在圖11之實例中，僅其區域中之一者為隨機存取點，但在圖11之實例中，諸如圖像904a至904c之三個連續圖像之區域在空間上完全覆蓋視訊902之圖像之圖像區域，且因此，在圖像之此三元組之後，此三元組之最末圖像，此處為圖像904c，可用於無假影之解碼器，其限制條件為編碼器注意到，彼圖像904c之非RAP區域僅參考-為預測及/或熵上下文導出起見，例如，亦即，在寫碼互依性方面-作為RAP區域或非RAP區域之區域，其自身直接或間接地僅具有對RAP區域之寫碼相依性。亦即，當解碼開始於RAP時，但在不久之後，在經解碼圖像已逐步再新之後，並未立即達成清潔解碼圖像，以除去缺失參考之假影。此處，此為圖像904c。通常，GDR可藉由劃分區域(例如，影像塊)中之內容及利用非對準子圖像RAP編碼該等區域來達成。

作為二個所提及情境中之任一者的結果，跨越不同子位元串流之參考變化。亦未清楚地進行對不同子圖像之RAP標記，此係因為此類子圖像僅作為I_SLICES類型發信(不應用對先前經解碼圖像之預測)，且僅藉由在參考圖像清單中不包括在具有I_SLICE類型之圖像之前的子圖像來進行對同一子圖像位元串流之連續子圖像的中斷預測。

儘管存在以上現有視訊寫碼概念，但仍需要例如允許更有效視訊合成及/或逐步解碼再新之更有效實施的視訊寫碼環境。

因此，本發明之目標為提供一種允許更有效視訊合成/合併及/或逐步解碼再新之更有效實施的視訊編碼解碼器，及/或允許視訊合成/合併例如在合成/合併任務之複雜度方面更有效的概念。

此目標係藉由本申請案之獨立技術方案的主題來達成。

發明概要

本申請案之第一態樣旨在藉由以下操作來顯現視訊編碼解碼器中更有效的視訊合成/合併及/或逐步解碼再新之實施：引入隨機存取點發信粒度指示，其向視訊解碼器指示在哪一粒度下允許子圖像相關資訊在視訊之圖像內在空間上變化。子圖像相關資訊將個別子圖像識別為以隨機存取點方式寫碼或不以隨機存取點方式寫碼。亦即，若在資料串流中發信之隨機存取點發信粒度指示與子圖像相關資訊分開或為除子圖像相關資訊之外的資訊，則呈現第一粒度，此指示對於形成隨機存取點發信粒度指示之範疇的一或多個圖像之集合中之各圖像，子圖像相關資訊呈現個別圖像之所有子圖像的共同狀態。亦即，所有子圖像接著呈現發信相關聯子圖像之隨機存取點寫碼的第一狀態，或發信相關聯子圖像之非隨機存取點寫碼的第二狀態。然而，若隨機存取點發信粒度指示呈現第二粒度，則此指示對於一或多個圖像之集合中之各圖像，允許子圖像相關資訊呈現個別圖像之子圖像的不同狀態。作為此隨機存取點發信粒度指示之引入的結果，合成此資料串流以使視訊以將該資料串流之圖像再分成子圖像所根據之方式編碼成該資料串流的任務在對一或多個輸入視訊串流之儲集器提出的要求方面得以緩解，該一或多個輸入視訊串流在本文中有時被稱作子串流，子圖像寫碼成該等子串流。特定言之，此等輸入視訊串流無需以彼此相依方式寫碼，其中若一個子串流中之一個子圖像經RAP寫碼，則亦以RAP方式寫碼其他子串流之經時間對準子圖像。若在一個共同輸入視訊串流中寫碼一些子串流，則該等子串流可以常見方式寫碼，其中個別輸入視訊資料串流之各圖像以個別圖像之所有子圖像使輸入視訊資料串流中之子圖像相關資訊與其相關聯的方式寫碼，該子圖像相關資訊為個別圖像之所有子圖像的第一狀態或個別圖像之所有子圖像的第二狀態。但其他子串流中之經時間對準子圖像可不以RAP方式寫碼。在合成包含隨機存取點發信粒度指示之視訊資料串流時，合成器/合併器以使得存在再分成子圖像之圖像的方式自由合成經寫碼成經合成資料串流之視訊的圖像，該等子圖像之子圖像相關資訊已自個別輸入視訊資料串流採用或接受，而不管至少一者為RAP而至少另一者不為RAP。因此，不需要引入例如存在於各子圖像之經合成資料串流中之子圖像相關資訊的一或多個新狀態。換言之，子圖像相關資訊可僅自一或多個輸入視訊資料串流之個別儲集器接受。

子圖像可為影像塊或影像塊之群組，亦即，子圖像可獨立於同一圖像之其他子圖像寫碼。替代地，子圖像可為形成MCTS之影像塊或影像塊之群組，亦即，運動受限影像塊集合，此意謂除此以外，子圖像可獨立於在空間上偏移之其他圖像之子圖像寫碼，其中在彼情況下，圖像可以連續方式再分成子圖像，使得不同圖像之子圖像與在空間上重合之子圖像邊界共對準或在空間上對準。因此，包括此隨機存取點發信粒度指示之此資料串流將能夠藉助於使用與在子串流之儲集器中使用之字母相同的字母發信子圖像相關資訊，該等子串流可能已在圖像粒度狀態中寫碼。子圖像相關資訊可例如包含在諸如NAL單元類型之多個類型之間的整數值語法元素區分。各子圖像可在一或多個NAL單元中寫碼，各NAL單元具有例如此整數值語法元素。因此，無論隨機存取點發信粒度指示將指示第一粒度抑或第二粒度，由整數值語法元素區分之多個NAL單元類型中之一或多個NAL單元類型之第一子集將對應於子圖像相關資訊之第一狀態，而一或多個NAL單元類型之第二子集將對應於該子圖像相關資訊之第二狀態。

隨機存取點發信粒度指示可包含於資料串流之SPS或VPS中，其中一或多個圖像之集合形成包含視訊之一系列圖像或覆蓋整個視訊的隨機存取點發信粒度指示之範疇。替代地，隨機存取點發信粒度指示可在資料串流中按存取單元傳送，其中一或多個圖像之集合形成僅包含一個圖像之隨機存取點發信粒度指示之範疇。

在子圖像相關資訊針對任何圖像呈現此圖像之不同子圖像之不同狀態的情況下，不能夠剖析隨機存取點發信粒度指示之視訊解碼器可將資料串流識別為非一致資料串流。能夠剖析及解碼隨機存取發信粒度指示之其他視訊解碼器可取決於此指示調適解碼行為：在隨機存取點發信粒度指示呈現第一粒度且子圖像相關資訊針對形成隨機存取點發信粒度指示之範疇之一或多個圖像之集合之任一圖像呈現此圖像之不同子圖像之不同狀態的情況下，該等視訊解碼器可將資料串流識別為非一致資料串流。

另外或替代地，在隨機存取點發信粒度指示呈現第二粒度，亦即子圖像粒度之情況下，可激活視訊解碼器之更多功能性，其中隨後關於本申請案之其他態樣論述該等功能性，此係因為此等功能性可同樣有利地用以達成更有效視訊編碼解碼器，而無論一方面使用子圖像相關資訊之並置且另一方面使用隨機存取點發信粒度指示。亦即，根據以下態樣之解碼器可僅在子圖像粒度狀態中操作而不需要發信此狀態之使用。

根據本申請案之一第二態樣，目標為使視訊編碼解碼器在表示該視訊編碼解碼器關於逐子圖像寫碼及例如關於該視訊編碼解碼器用於表示合成視訊之使用方面更具可撓性。其圖像被再分成子圖像。該目標係藉由回應於在用於各子圖像之資料串流中傳送之子圖像相關資訊的評估而顯現視訊解碼器來達成。特定言之，根據第二態樣，其中此視訊經編碼成之資料串流包含用於各圖像之各子圖像的子圖像相關資訊，當呈現第一狀態時，該子圖像相關資訊將個別子圖像識別為以隨機存取點方式寫碼，且當呈現第二狀態時，將個別子圖像識別為不以隨機存取點方式寫碼。視訊解碼器相對於圖像之子圖像之子圖像相關資訊檢測該等圖像。若子圖像相關資訊針對任何圖像呈現預定圖像之所有子圖像的第一狀態，亦即，該預定圖像之所有子圖像表示隨機存取點，則視訊解碼器清空其經解碼圖像緩衝區。類似於第一態樣，此概念允許自實際上已針對不同視訊編碼解碼器域產生之子串流合成資料串流，其中一個圖像內之子圖像必須在子圖像相關資訊中重合，亦即，一個圖像之所有子圖像將必須呈現相同狀態。然而，當合成此資料串流時，可僅採用或接受用以合成資料串流之各種子圖像之子圖像相關資訊的狀態。另外，視訊解碼器仍然能夠識別真實隨機存取點，此係因為整個圖像可藉由識別圖像來恢復無假影，其中子圖像相關資訊呈現個別圖像之所有子圖像之第一狀態。結合第一態樣，若隨機存取點發信粒度指示呈現第二粒度，亦即，子圖像粒度，則視訊解碼器可應用識別隨機存取點圖像之此功能性，其中經解碼圖像緩衝區可回應於看到此等圖像之子圖像相關資訊呈現用於個別圖像之所有子圖像之第一狀態而被清空。與第一態樣組合，此視訊解碼器可甚至在清空經解碼圖像緩衝區時改變其排程：在隨機存取點發信粒度指示呈現第一粒度，亦即，逐圖像粒度之情況下，視訊解碼器可回應於子圖像相關資訊根據子圖像之間的解碼/寫碼次序呈現某一圖像之第一子圖像之第一狀態，而清空經解碼圖像緩衝區，這是因為需要與其他子圖像相關之子圖像相關資訊以呈現相同狀態，亦即，第一狀態，不論如何。在隨機存取點發信粒度指示呈現第二粒度，亦即，子圖像粒度之情況下，回應於子圖像相關資訊針對某一圖像呈現預定圖像之所有子圖像之第一狀態而清空經解碼圖像緩衝區又可經排程以在解碼彼圖像之最末子圖像時發生。

本申請案之第三態樣及第四態樣係關於對解碼器側之經解碼圖像緩衝區管理。本申請案之此等態樣可與第一態樣及第二態樣中之任一者組合且具有與上文關於態樣1及2所概述之類似目標。亦即，本申請案之第三態樣及第四態樣旨在提供視訊編碼解碼器，其允許經合成資料串流以使得合成器/合併器無需協調或統一描述在對經合成資料串流產生貢獻之各種子串流中發信的參考圖像集合應保持於DPB中之參考圖像緩衝區描述的方式自子圖像相關子串流合成，使得經合成資料串流將在各圖像開始時立刻發信哪些圖像針對當前圖像形成參考圖像集合，使得解碼器可在此當前圖像開始時自經解碼圖像緩衝區移除所有其他圖像。實情為，根據第三態樣及第四態樣，視訊編碼解碼器允許資料串流發信參考圖像緩衝區描述，其提供關於解碼當前圖像或在當前經寫碼/經解碼圖像之各子圖像之下一圖像處個別地解碼所需的參考圖像集合之資訊，使得參考圖像緩衝區描述可在當前圖像之子圖像之間不同。此參考圖像緩衝區描述針對當前圖像之當前子圖像描述含有充當後續圖像之當前子圖像或子圖像之參考的子圖像之圖像，該後續圖像藉助於該等圖像之來源與當前參考圖像相關聯，例如，此係因為與一個子視訊相關。當經寫碼為分開的子視訊時，子圖像之緩衝區描述實際上指示含有子圖像之參考圖像，該等子圖像屬於同一子視訊且將作為子圖像維持於DPB中，該等子圖像充當彼子視訊之當前子圖像或後續子圖像的參考。根據本申請案之第三態樣，解碼器具有以下功能性：根據子圖像之參考圖像緩衝區描述形成應保持於DPB中之此當前圖像之子圖像的參考圖像之集合聯集，以便在經解碼圖像緩衝區中標記將保持於其中之彼等圖像，同時諸如在結束解碼當前圖像時自經解碼圖像緩衝區移除其他圖像。根據本申請案之第四態樣，解碼器能夠以子圖像而非完整圖像為單位執行經解碼圖像之排空。分別針對各子圖像執行子圖像之標記及移除。換言之，根據第四態樣，經解碼圖像緩衝區係以當前經解碼圖像之每子圖像一個子圖像經解碼圖像緩衝區為單位進行管理，且子圖像之標記應保持於個別子圖像經解碼圖像緩衝區中，而應自其移除之其他標記係基於在當前經解碼圖像之個別子圖像之資料串流中提交的參考圖像緩衝區描述而執行。如上文已提及，後面的第三態樣及第四態樣可例如與第一態樣組合，使得解碼器可僅具有剛剛關於第三態樣及第四態樣所描述之功能性，例如在隨機存取點發信粒度指示呈現第二粒度之情況下，而在隨機存取點發信粒度指示呈現第一粒度，亦即圖像粒度之情況下以圖像為單位管理/排空經解碼圖像緩衝區，在此情況下解碼器可經組配以基於當前經解碼圖像之首先遇到的參考圖像緩衝區描述，亦即基於首先針對當前圖像發信之參考圖像緩衝區描述而執行經解碼圖像緩衝區排空及標記。

本申請案之第五態樣係關於POC處置。類似於第三態樣及第四態樣，第五態樣旨在提供視訊編碼解碼器，其允許資料串流由已諸如使用不同隨機存取點週期、圖像群組或甚至使用不同圖框速率單獨寫碼之子串流合成，藉此產生應對合成資料串流產生貢獻之時間共對準的子圖像，該等子圖像實際上在具有不同POC值之各種子串流中發信。本申請案之第五態樣可與先前態樣中之任一者組合，且旨在藉由使合成器/合併器不必協調與不同子圖像相關聯且具有不同來源之子串流之POC值來緩解此合成/合併程序。實情為，視訊編碼解碼器允許資料串流發信實際上屬於資料串流之同一圖像的子圖像之不同POC值，其中解碼器經組配以針對當前經解碼圖像之各子圖像，基於彼子圖像之經解碼POC值及與個別子圖像相關聯且由解碼器保持更新之一或多個子圖像間POC補償參數而導出個別子圖像之最終POC值，使得對於各圖像，子圖像之最終POC值對於視訊之各圖像彼此相等。一或多個子圖像間POC補償參數可補償貢獻子串流之間的圖框速率、圖像群組之不同大小、不同POC最小數目及其類似者。一或多個子圖像間POC補償參數可包含POC偏移值及POC步長差。一些參數可由解碼器自身判定，該等參數諸如基於隨機存取點子圖像之經發信POC值與不形成隨機存取點之同一圖像之至少一個其他子圖像之最終POC值之間的差在隨機存取點子圖像處的POC偏移值。關於POC步長差之提示又可在資料串流中傳送，以便導引解碼器且緩解此等POC步長差之判定。此等提示可由合成器/合併器插入至資料串流中，該合成器/合併器可基於貢獻子串流中之高層級參數而存取此知識。

本申請案之第六態樣係關於視訊編碼解碼器之想法，該視訊編碼解碼器按以下方式實施逐步解碼再新：解碼器不僅在時間點方面或在自其向前完成逐步解碼再新之圖像的方面，且亦在滿足對執行預測導出之某些約束方面基於在逐步解碼再新期間在資料串流中傳送之寫碼參數知曉逐步解碼再新。特定言之，根據本申請案之第六態樣，視訊解碼器經組配以針對視訊之參考圖像中之各者記錄參考圖像成再新圖像區域及非再新圖像區域之再分。解碼器自資料串流解碼關於當前經解碼圖像內之再新更新區域的資訊，且使用框間預測自資料串流解碼再新更新區域。另外，解碼器判定當前經解碼圖像之與再新更新區域不相交且將獨立於參考圖像之非再新圖像區域而經寫碼/經解碼的第一區域，且藉由基於在第一區域之資料串流中發信之寫碼參數自參考圖像導出第一區域之預測，以取決於參考圖像之再新圖像區域之位置的方式自資料串流解碼第一區域，使得預測獨立於參考圖像之非再新圖像區域。舉例而言，運動向量可經剪輯以便到達非再新圖像區域中，及/或可使用填補以便將參考圖像中之經運動補償預測區塊之超出再新圖像區域的部分填充至非再新圖像區域中。替代地，運動向量候選者清單建構可不包括源自再新圖像區域外部之運動向量。第二區域可由解碼器以不同方式處理。第二區域與第一區域及再新更新區域不相交，且可由解碼器解碼，包括自再新圖像區域以及非再新圖像區域之預測。藉由此措施，更新圖像區域在圖像間持續增長。解碼器知曉該增長，此係因為解碼器必須甚至追蹤再新圖像區域之增長且必須相應地執行關於第一區域之預測導出。使解碼器知曉逐步解碼再新具有若干優點：解碼器知曉當前再新情形、可能隨機存取週期等等。與預測導出相關聯之工作及取決於參考圖像之再新圖像區域之位置顯現此導出之必要性幾乎無成本，此係因為解碼器可能需要例如在圖像之外邊界或經獨立寫碼圖像影像塊之外邊界處實施類似措施。編碼器又能夠編碼在較寬值範圍內之寫碼參數，此係因為解碼器自預測重導向寫碼參數之一些可發信狀態，這會導致參考圖像之非再新圖像區域與僅取決於再新圖像區域之預測的相依性。然而，放大寫碼參數可發信狀態可能使壓縮效率相對於此等寫碼參數之寫碼更高。

關於圖1解釋了自子串流之儲集器合成資料串流的任務。進行此操作以解釋與其相關聯之問題，亦即，與子串流之不同來源相關聯之問題，及例如隨機存取點定位、相關聯POC值、不同GOP結構等等之差異，僅舉幾例。接著根據隨後描述之實施例解決此等問題。此等實施例係關於本申請案之不同態樣，且其可彼此組合以便產生其他實施例，如下文亦將進一步解釋。然而，應注意，圖1中進行之假定中之一些對於稍後描述之實施例並非必要的，或換言之，關於圖1所解釋及論述之特徵中的一些可關於隨後描述之實施例省略，同時仍然達成來自個別實施例處理之態樣的優點。此等情形亦將在下文論述。

圖1展示資料串流10係基於多個子串流12或其儲集器藉由合成該資料串流而產生的情境。此合成或合併程序由合成器/合併器14進行。特定言之，資料串流10係以將圖像18之視訊16編碼成資料串流的方式產生。圖1中之箭頭20將說明視訊16之圖像18之間所界定之呈現時間次序，亦即，當解碼器22自資料串流10解碼視訊16時由解碼器22輸出圖像18之次序。圖像18在空間上再分成子圖像24，如由圖1中之虛線26所說明，該等虛線因此表示子圖像之邊界。特定言之，資料串流10使視訊16以彼此獨立地編碼子圖像24所根據之方式編碼成該資料串流。子圖像至資料串流10中之獨立編碼，及因此以彼此獨立的方式自資料串流10解碼子圖像24之可能性至少與一個圖像18內，亦即在圖像內部之子圖像相關。舉例而言，在圖1中，圖像18說明為再分成子圖像24，使得各圖像18包含藉由在其中記錄個別數字而在圖1中列舉之六個子圖像。因此，子圖像3例如以獨立於同一圖像18之任何其他子圖像的方式編碼成資料串流10。因此，子圖像3，諸如圖1中所展示之陰影子圖像，可由解碼器22以獨立於同一圖像18之其他子圖像1、2、4、5及6的方式自資料串流10解碼，亦即，該等子圖像亦展示為陰影的。然而，根據圖1之資料串流10之另一特性為視訊16之圖像18以在一系列圖像內連續的方式在空間上再分成子圖像24。亦即，當比較不同圖像時，該等圖像之邊界26在空間上重合。除此之外，共置或在空間上對準之子圖像，亦即，圖1中其中記錄有同一數字之子圖像24形成一個子視訊，因為各子圖像24不僅獨立於同一圖像之其他子圖像編碼，且亦獨立於相對於個別子圖像在空間上偏移之其他圖像之子圖像，亦即屬於另一子視訊或圖1中其中記錄有另一數字的所有子圖像編碼。以HEVC之術語而言，例如圖1之各子圖像24可為MCTS。在無視訊16之甚至不同圖像之寫碼獨立性或空間偏移子圖像之後一特性的情況下，子圖像24可例如使用HEVC之術語作為一或多個影像塊。

由視訊16之空間共對準子圖像24形成的個別子視訊同樣在28處展示於圖1中。因此，所有此等子視訊由子圖像24之序列合成。編碼器30將此等子視訊28獨立地編碼成多個子串流32或子串流32之儲集器。實際上，子視訊28可由編碼器30成組地處理。子視訊28之群組可寫碼成一個輸入資料串流，以便使視訊編碼成該輸入資料串流，該輸入資料串流由子視訊28之群組以彼此獨立寫碼之方式合成，使得此輸入視訊資料串流由各子視訊28之子串流32合成。子串流32由合成器/合併器14接收，該合成器/合併器又基於子串流32合成資料串流10。取決於應用，僅子視訊28之子集或僅子串流32之子集可實際上對資料串流10產生貢獻，且此外，此子集可在視訊16之圖像18之間改變或變化。

如由合成器/合併器14進行之此合成/合併任務的目標為在編碼域中執行任務。亦即，合成器/合併器14避免了預測殘差之再量化或再執行運動補償。子視訊28之各子圖像24例如經寫碼成對應子串流32之一或多個NAL單元34，且若子圖像24屬於應對經合成資料串流10之視訊16產生貢獻的彼等子圖像，則合成器/合併器14將個別一或多個NAL單元插入至資料串流10中，如使用同一參考符號，亦即34所展示，但具有撇號以便指示除運動向量資訊或預測殘差資料以外，合成器/合併器14仍然可能必須調適此等NAL單元中之其他寫碼參數。根據下文中所闡明之實施例，合成器/合併器14使得在基於子串流32形成資料串流10時必須經調適之子串流32之部分的機會減少。此亦與子串流32或輸入視訊資料串流之參數集相關，當合成器/合併器14旨在在資料串流10中形成對應參數集36時，子串流為該等輸入視訊資料串流之部分。

圖1之情形可藉由另外參考圖10來說明。圖10展示子視訊28之儲集器360°視訊之子區段的情況。在圖10之實例中，將整個場景再分成24個子視訊。在圖10之實例中提供許多子視訊：24個子視訊以高解析度展示此場景且由編碼器30編碼成二個輸入視訊資料串流38a及38b，一次更高效地使用較大RAP距離，及另一次諸如關於輸入視訊資料串流38b，使用較低RAP距離，藉此導致不太高效的壓縮。同樣，提供二個另外的輸入視訊資料串流，其中之各者亦具有完整場景，其中24個子視訊同樣編碼成該等輸入視訊資料串流，一個輸入視訊資料串流38c具有較高RAP距離，且另一輸入視訊資料串流38d具有較低RAP距離。經合成視訊資料串流之圖像16說明為展示完整場景。特定言之，各圖像16由經寫碼成資料串流38a及38b之子視訊之12個彼此在時間上對準的子圖像合成，且12個子圖像彼此在時間上對準且與獲自資料串流38c及38d之高解析度子圖像在時間上對準。亦即，在圖10之實例中，視埠呈現為12個子圖像或影像塊寬。在圖10中間，影線展示在經合成資料串流之圖像16內之一系列子圖像24，其對處於高解析度及低解析度之經合成視訊之圖像16產生貢獻。關於不同RAP距離版本進行另一選擇。對於各高解析度子圖像24及對於各低解析度子圖像24，對於某一圖像時間例項，存在資料串流38a及38c中之一或多個NAL單元，該資料串流分別係使用較高RAP距離更高效地寫碼，且另一資料串流38b及38d分別係使用較低RAP距離寫碼。較佳地，經合成資料串流10係使用經更高效寫碼之資料串流38a及38c之NAL單元來合成。所有資料串流38a至38d可個別地使用各資料串流38a至38d內之同步隨機存取點將子串流38編碼成該等資料串流。亦即，在資料串流38a至38d中之各者中經寫碼的視訊之圖像各自再分成24個子圖像24，且對於各此類圖像，該等子圖像中之全部或無一者以隨機存取點方式寫碼成個別輸入視訊資料串流38a至38d。

每當視埠改變時，問題出現。亦即，對資料串流10產生貢獻之合成/合併的一系列貢獻子串流改變。在圖8之實例中，96個子串流可用，但僅24個關於某一圖像對經合成資料串流10產生貢獻。舉例而言，假定視埠由二個子圖像或影像塊24改變。因此，圖像16之四個子圖像24改變其起始子串流：源於高解析度資料串流38a之此四個子圖像中之二者現在獲自低解析度資料串流38c及38d中之一者，且來源於低解析度資料串流38c之其他二個子圖像24現在獲自低解析度資料串流38d。特定言之，為了減少遇到下一隨機存取點之時間，低RAP距離版本資料串流38b及38d分別初步用於此等四個子圖像24。所提及之四個子圖像改變其在圖像16內之位置。然而，所有其他子圖像24保持分別以資料串流38a及38c之個別更高效版本下載。其不需要及隨機存取點。作為變型，應注意，可能允許合成器/合併器14將經更高效寫碼之輸入視訊資料串流38c之對應NAL單元插入至自高解析度改變至低解析度之彼等子圖像24的資料串流10中，其中使用自高解析度至低解析度之降取樣(down sampling)以便導出具有較低解析度之對應非RAP子圖像的參考圖像。

亦即，在剛剛關於圖1以及圖10所說明之此情境實例中，已說明與360°串流式傳輸相關聯之以下問題。特定言之，當使用者加入服務，亦即，調入至服務中，亦即，試圖看見全景視訊時，需要隨機存取點圖像。亦即，在無稍後描述之實施例的情況下，經編譯資料串流10將要求開始圖像內之各子圖像將以隨機存取點方式寫碼。亦即，彼圖像之所有NAL單元將必須以隨機存取點方式寫碼。以HEVC語言而言，該等單元必須屬於例如NAL單元類型IDR、CRA或BLA。亦即，在無下文進一步描述之實施例的情況下，解碼器必須遇到RAP圖像以便開始解碼。然而，當使用者切換視埠時，如之前關於圖10所概述，由於僅將一些子位元串流32最新添加至對資料串流10產生貢獻或合併至其中之位元串流32之子集，因此要求所有子位元串流32，亦即甚至在貢獻位元串流之子組內剩餘的彼等子位元串流使其子圖像24以隨機存取點方式寫在開始圖像中寫碼將係極低效的。實情為，如剛剛關於圖10所概述，僅一些子圖像位元串流32有效地具有RAP且其他子圖像位元串流不具有將為較佳的。然而，此意謂以下情形：在資料串流10內之NAL單元34'中指示的NAL單元類型將接著必須相對於其在基本NAL單元34中之設定而改變。特定言之，開始圖像之子圖像24之NAL單元34之被設定成IDR、CRA或BLA的NAL類型可不與對應版本34'及資料串流10中之同一NAL單元類型相關聯，此係因為資料串流之要求為若子圖像位元串流中之一者具有此等NAL單元類型中之一者，則所有其他子圖像位元串流將必須具有同一NAL單元類型。特定言之，目前為止界定之解碼器將在其發現用於資料串流10之某一存取單元，亦即用於視訊16之某一圖像18的IDR或CRA (其中EOS NALU在前) NAL單元時重新開始解碼程序且清空其解碼器圖像緩衝區(DPB)，此係任何圖像皆無法或不用於參考。此意謂若例如先前所描述之情境將藉由在資料串流10之當前版本中使用該資料串流之HEVC來實施，則在將子位元串流32合併在一起時，若對於視訊16之一些圖像18，並非所有貢獻子位元串流32而是僅其一部分含有對應於隨機存取點寫碼之NAL單元類型，則將必須採取措施。實情為，在彼情況下，此圖像18內之RAP NAL單元將必須重寫至非RAP NAL單元中，該程序亦需要諸如切片、影像塊及/或影像塊群組標頭之其他標頭的改變，此係因為該等標頭之內容取決於所討論之NAL單元是否為RAP。

因此，接著關於圖2所描述之實施例試圖改良超出目前技術之子圖像RAP之發信。舉例而言，已建議以使得子圖像經寫碼成之NAL類型在各圖像內連續的方式移動遠離剛剛概述之職責以將NAL單元類型指派至資料串流之NAL單元。舉例而言，WO 2015/059194已提議例如在NALU標頭中使用基於每NAL單元之發信，更具體言之，專用NALU類型，其用以指示子圖像隨機存取點類型或含有替代獲得HEVC一致性資料串流所需之所有參數之替代資訊的恢復點SEI訊息。然而，以後續文件中所提出之方式解決上文所概述之問題仍需要合成器/合併器14執行「串流轉換」之繁瑣任務，且因此，下文所概述之實施例試圖克服此問題且試圖避免合成器/合併器14花費額外RAP類型之發信附加項的必要性。

圖2展示根據本申請案之一實施例的關於本申請案之第一態樣之視訊編碼解碼器的概念。圖2展示迄今為止可與此對應新視訊編碼解碼器一致之對應資料串流10及視訊解碼器22的實施例。已再用作圖1之參考符號10的圖1之資料串流10可對應於現在關於圖2所提出之描述，因此，允許至少部分地解決上文所概述之問題。

亦即，圖2之視訊解碼器22接收資料串流10，該資料串流是由圖像之視訊編碼成。資料串流10使視訊以視訊圖像在空間上再分成之子圖像彼此獨立地編碼所根據的方式編碼成該資料串流。各子圖像經寫碼成資料串流10之個別一或多個NAL單元34'。亦即，NAL單元34'尤其攜載運動資訊及預測殘差資訊。應主張，除了上文關於圖1所提出之描述以外，子圖像寫碼獨立性亦可僅與經寫碼成資料串流10之視訊之一個圖像18內的子圖像相關。因此，圖2例示性地展示一個圖像18，其再分成子圖像24及子圖像24在資料串流10內寫碼成之對應NAL單元34'。當然，亦可進行寫碼以得到如上文關於圖1所概述之單獨經寫碼子視訊。

對於各圖像18之各子圖像24，解碼器22自資料串流10解碼子圖像相關資訊40。某一子圖像24之子圖像相關資訊可例如為指示個別子圖像24經寫碼成之一或多個NAL單元34'之NAL單元類型的語法元素。當呈現第一狀態時，子圖像相關資訊40將其子圖像24識別為以隨機存取點方式經寫碼成該子圖像之一或多個NAL單元34'。亦即，其形成子圖像隨機存取。亦即，子圖像將以獨立方式經寫碼成其一或多個NAL單元34'而不參考任何其他子區塊。當呈現第二狀態時，子圖像相關資訊將其子圖像24識別為不以隨機存取點方式寫碼。亦即，具有此子圖像相關資訊40之NAL單元34'可使其相關聯子區塊24使用對其他子區塊之寫碼在該NAL單元中寫碼。特定言之，子圖像相關資訊40可包含各子圖像24之整數值語法元素，該語法元素區分多個NAL單元類型，該等多個NAL單元類型中之一或多個NAL單元類型之第一子集對應於第一狀態，亦即子圖像RAP狀態，該等多個NAL單元類型中之一或多個NAL單元類型之第二子集對應於第二狀態，亦即非RAP狀態。

然而，圖2之解碼器22進一步經組配以關於一或多個圖像之集合42自資料串流10讀取隨機存取點發信粒度指示44。其可作為與多於僅一個圖像相關之一種較高層級發信在資料串流10中傳送。亦即，在彼情況下，一或多個圖像18之集合42將包含諸如GOP或其類似者之一系列圖像，或甚至整個視訊16。指示44可例如由資料串流10之序列參數集或視訊參數集包含。另一方面，指示44可僅與一個存取單元相關，亦即，視訊16之一個圖像18。換言之，集合42可包含一個圖像。此每存取單元發信可包含於資料串流10之PPS、圖像參數集或存取單元定界符或其類似者中。此指示44將具有至少二個可發信狀態/粒度。當呈現或發信第一粒度時，指示44將指示對於一或多個圖像之集合42之各圖像18，子圖像相關資訊40呈現個別圖像18之所有子圖像24的共同狀態。換言之，子圖像相關資訊40將呈現對於集合42內之一個圖像18內之所有子圖像24相等的狀態。該相等可甚至在考慮NAL單元類型之層級時保持成立。亦即，在指示44發信第一粒度，亦即圖像粒度之情況下，屬於一個圖像18之子圖像24的NAL單元34'之NAL單元類型可能需要相同，亦即彼此相等。

然而，若指示44指示第二粒度，其可被稱作子圖像粒度，則此指示對於集合42之各圖像18，允許子圖像相關資訊40呈現個別圖像18之子圖像24的不同狀態。

亦即，圖2之解碼器將能夠自資料串流解碼指示44，且基於該指示而決定資料串流10是否屬於需要子圖像相關資訊40在各圖像18內相同的類型，或資料串流10是否屬於並非後一限制之情況的類型。在下文更詳細地描述之解碼任務中之一或多者方面，解碼器22可取決於指示44以不同方式起作用。

然而，在任何情況下，前述合成器/合併器14能夠按以下方式採用將指示44設定至子圖像粒度的可能性：該合成器/合併器可藉由將與當前圖像之時間共對準子圖像24相關的寫碼子串流32之儲集器之NAL單元34放置在一起而合成資料串流10之存取單元，此存取單元，諸如圖2中之46，與該當前圖像相關，且該合成器/合併器可在進行此操作時接受或採用NAL單元類型之NAL單元或使其保持不變，使得此存取單元46內之資料串流10中之NAL單元34'在子圖像相關資訊40中與放置在一起之NAL單元重合。

在下文中，描述了一些實施例，其針對指示44指示子圖像粒度之情況描述圖2之解碼器22之功能性。然而，將理解，所有此等實施例及其描述亦適用於未經組配以自資料串流10讀取或解碼指示44之解碼器。換言之，隨後解釋之實施例不應限於指示44存在於資料串流中且解碼器22經組配以自資料串流10讀取該指示的情況。實情為，本申請案之其他態樣的隨後解釋之實施例將同時解譯為能夠以如下事實處理的解碼器之描述：某些設定，諸如子圖像之隨機存取點寫碼或非隨機存取點寫碼在一個圖像內變化。然而，此等解碼器可不具有任何特定替代功能性，此係因為其關於取決於指示44以不同方式起作用之圖2之解碼器22而成立。

簡單概述目前為止已描述之內容，圖2展示以下概念：資料串流10中之額外指示44，諸如較高層級發信，諸如經寫碼視訊序列層級或甚至位元串流層級上之發信，亦即，對於經寫碼視訊序列CVS之串聯，實現將諸如NAL單元類型發信之NAL單元層級發信重解譯為子圖像隨機存取指示。舉例而言，指示44可以可被稱作sub_picture_random_access_process_enabled_flag之旗標之形式發信。當此旗標將等於零時，例如指示隨機存取功能性之NAL單元類型將由解碼器22解譯為全圖像層級隨機存取。然而，當旗標之值將等於一時，個別NAL單元類型將解譯為子圖像隨機存取點。

作為替代方案，指示44可體現為每存取單元發信。舉例而言，存取單元定界符NAL單元可用以指示在彼存取單元定界符NAL單元處開始之存取單元中允許哪一類型之隨機存取。可將語法元素添加至此存取單元定界符NAL單元，該語法元素指示以下狀態中之一者：1)定界符所屬於之存取單元之圖像之所有子圖像24含有隨機存取圖像(IRAP)，2)一些子圖像24可含有隨機存取圖像(IRAP)，3)子圖像24皆不含有隨機存取圖像(IRAP)。

使用指示44，解碼器可容易地識別哪一種隨機存取功能性可應用於集合42之圖像18，該圖像界定指示44之範疇，亦即，與指示44相關的範疇，且解碼器可容易地識別關於以下實施例所描述之以下程序中之一者是否由解碼器22進行。

在恢復在指示44發信子圖像粒度之情況下哪一解碼器22進行操作的描述之前，應注意，圖2之解碼器22可經組配以在指示44指示圖像粒度且子圖像相關資訊40針對指示44所屬於之集合42之任何圖像18呈現彼圖像之不同子圖像24之不同狀態的情況下，將資料串流10識別為非一致資料串流，亦即，與視訊編碼解碼器不一致的資料串流。

圖3展示解碼器22關於清空其經解碼圖像緩衝區之行為的實施例，該經解碼圖像緩衝區亦即可預測其內之參考圖像基於哪些圖像尚待解碼而經緩衝的緩衝區。圖3藉由實線說明子圖像粒度情況之解碼器22之功能性，而虛線展示圖像粒度情況之對應功能性。同樣，應注意，圖3迄今為止將被視為關於關於圖2所描述之解碼器所描述之功能性的擴展之描述，該解碼器能夠解碼指示44且根據圖3中所描繪之任何模式起作用，或該圖對於資料串流10不包含指示44且解碼器22必然地根據子圖像粒度模式起作用之情況被視為對替代解碼器22之描述。

如圖3中所展示，根據圖3之實施例之解碼器22經組配以針對某一存取單元或針對某一圖像18檢查子圖像相關資訊40是否呈現彼圖像之所有子圖像24的隨機存取點狀態，如50處所展示。若為是，亦即，回應於此，則解碼器在52處清空其經解碼圖像緩衝區48。同樣，解碼器22可將步驟50及52之此功能性應用於圖像18，其中指示44指示子圖像粒度，而在指示44指示圖像粒度之情況下，應用由圖3中之虛線說明之替代方法。根據此替代方法，解碼器22針對某一存取單元或圖像18檢查存取單元中首先遇到之子圖像24或個別圖像的子圖像相關資訊40是否為在54處寫碼之隨機存取點，且若為是，亦即，回應於此，則解碼器清空56經解碼圖像緩衝區48。解碼器22用於在指示44一方面指示子圖像粒度且另一方面指示圖像粒度之情況下清空經解碼圖像緩衝區48的不同行為亦可能因此自身相對於解碼器22開始解碼彼存取單元46之個別NAL單元34'的時間，諸如相對於解碼器22自經寫碼圖像緩衝區擷取存取單元46之NAL單元34'的時間，顯現於經解碼圖像緩衝區在52或56處之不同清空排程中。雖然經解碼圖像緩衝區48在步驟52中，亦即在子圖像粒度域處之清空可在以解碼次序58解碼最末子圖像24之一或多個NAL單元34'時發生，但當當前存取單元之所有子圖像明顯為隨機存取點時，在步驟56之情況下，亦即在圖像粒度域中清空經解碼圖像緩衝區48可在以寫碼/解碼次序58解碼第一子圖像24之一或多個NAL單元34'時發生，亦即當存在於彼子圖像之資料串流中之子圖像相關資訊40明顯指示隨機存取點寫碼時，亦即，甚至在以寫碼/解碼次序58解碼當前圖像或存取單元之第二子圖像24之前。同樣，根據指示44不存在之替代性實施例，關於圖3所解釋之與圖像粒度模式相關的功能性可不實施於解碼器22中。

亦即，圖3解釋一實施例，在該實施例中，解碼程序經改變以僅在某一圖像之資料串流10中之所有子圖像24明顯為子圖像隨機存取點且因此整個圖像為隨機存取點自身時清空解碼器22之經解碼圖像緩衝區48且執行隨機存取點操作。因此，解碼器22可經組配以解碼至當前存取單元中之最末NAL單元34'以判定此存取單元是否為全隨機存取點。

接著關於圖4所描述之解碼器的實施例專注於與個別參考圖像或儲存於經解碼圖像緩衝區48中之圖像之移除相關的解碼器之功能性/操作模式，尚待解碼之圖像不再需要該功能性/操作模式。亦即，雖然圖3專注於經解碼圖像緩衝區48之清空，亦即，當前在個別經解碼圖像緩衝區中緩衝之所有圖像之移除，但圖4專注於資料串流10可傳送參考圖像緩衝區描述，亦即關於參考圖像之資訊的另一態樣，該等參考圖像將保持於經解碼圖像緩衝區48中以便充當尚待解碼圖像之框間預測的可能基礎。為此目的，資料串流10傳送關於參考圖像集合之資訊，該資訊在每圖像或每存取單元基礎上更新。類似於子圖像相關資訊40，待維持於經解碼圖像緩衝區中以供未來使用之關於參考圖像集合的此資訊，亦即參考圖像緩衝區描述，在各子圖像24之資料串流10中發信，亦即在該資料串流之對應一或多個NAL單元34'中發信。根據圖4中藉由使用實線及虛線所描繪之變型，此參考圖像緩衝區描述可為取決於指示44經受類似約束之資訊，如目前已關於用於指示RAP及非RAP寫碼之子圖像相關資訊40所描述。因此，在圖2中使用參考符號40'指示參考圖像緩衝區描述以說明取決於指示44或可替代指示44或除指示44之外存在的類似指示在限制方面之類似性。特定言之，由某一圖像18之第一子圖像24之緩衝區描述40'指示的參考圖像集合可能需要等於由同一圖像18之任何其他子圖像24之緩衝區描述40'指示的參考圖像集合，或需要至少包括由彼圖像18之第二及後續子圖像之參考圖像緩衝區描述40'以寫碼/解碼次序58指示的所有參考圖像。在指示44 (或參考圖像緩衝處置之對應指示)指示子圖像粒度之情況下，由一個圖像18之各種子圖像24之緩衝區描述40'指示的參考圖像集合之集合可自由地以任何方式彼此不同，亦即，可指示參考圖像之彼此不同集合。彼此不同意謂一個圖像內之子圖像及以下圖像中之對應後續子圖像需要不同參考圖像，亦即不同參考圖像集合，此係由於例如該等參考圖像之來自預測參考的對應前置子圖像包含於彼此不同的參考圖像集合中。子圖像之相互對應關係由例如其來源產生，亦即，其可作為子視訊28單獨寫碼成對應子串流32。後一自由情況使得合成器/合併器能夠藉由在將此等NAL單元放置在一起以形成資料串流10之一個存取單元時僅接受參考圖像緩衝區描述40'而無修改，基於子串流32之儲集器之NAL單元34合成資料串流10，該參考圖像緩衝區描述將因此一方面在最終資料串流10中之NAL單元34'之間相等且另一方面在子串流32之儲集器中之NAL單元34之間相等。

因此，在恢復圖4之描述之前，此意謂圖之實施例之資料串流未必包含子圖像相關資訊40。關於圖2所描述之實施例可包括或可不包括參考圖像緩衝區描述40'。接著，類似於上文關於圖3進行之陳述，圖4之描述可解譯為描述目前為止關於圖2及圖3所描述之實施例的可能擴展/修改，以及解碼器僅實施圖4中使用實線所說明之功能性的獨立實施例。亦即，特定而言，指示44可不存在於資料串流中。

根據圖4，解碼器22經組配以如下執行自經解碼圖像緩衝區48之圖像移除。特定言之，藉由針對各圖像循環地執行此等步驟60及62，解碼器在步驟60處標記經解碼圖像緩衝區48中將保持於經解碼圖像緩衝區48中以充當尚待解碼圖像之預測參考的圖像，且移除62經解碼圖像緩衝區48中之未經標記參考圖像，該等參考圖像未經標記且無需由解碼器未來顯示/輸出。然而，為了執行標記60，解碼器針對當前存取單元或當前圖像之各子圖像i解碼64指示參考圖像集RefP_i 之緩衝區描述40'。接著藉由形成當前存取單元或圖像之所有子圖像之集合RefP_i 的聯集來識別66經解碼緩衝區48中待在步驟60中標記之圖像。如圖4中所說明，經解碼圖像緩衝區中之未經標記參考圖像在步驟62處之移除可因此在以寫碼/解碼次序58解碼當前存取單元或圖像之最末子圖像24時發生。亦即，移除62可發生在剖析或解碼當前圖像之所有子圖像24之後或至少在提取所有子圖像28之後，或更精確而言，在自經解碼圖像緩衝區提取所有NAL單元34'之後。當然，僅在未經標記之圖像無需用於輸出之情況下移除該等圖像，此係因為該等圖像並非經輸出圖像或因為其已經輸出。

在解碼器22能夠在關於步驟60至66所描述之子圖像粒度模式以及在圖4中由虛線說明之圖像粒度模式中操作的情況下，解碼器22可替代地如下在自經解碼圖像緩衝區移除圖像時起作用，解碼器22可取決於指示44在該子圖像粒度模式與該圖像粒度模式之間切換。特定言之，當圖像粒度模式在作用中時，解碼器22仍可執行待維持於經解碼圖像緩衝區48中之參考圖像的標記68，且在步驟70中逐存取單元/圖像地執行未經標記參考圖像自經解碼圖像緩衝區48之移除，但為判定待標記之參考圖像起見，且關於移除70之排程，可應用不同行為。特定言之，在步驟72中，解碼器可解碼告知在寫碼/解碼次序58中首先遇到之子圖像28之參考圖像集合的緩衝區描述，且在索引對應於解碼/寫碼次序之情況下識別74待在步驟68中標記為彼集合，亦即RefP₁ 之參考圖像。當然，相較於寫碼/解碼次序58中之第一者，解碼器22亦可自當前存取單元或當前圖像之其他子圖像之資料串流10讀取/解碼參考圖像緩衝區描述40'，但此資訊不用於步驟68中之標記。另外，未經標記參考圖像在步驟70處之移除可發生在以寫碼/解碼次序58解碼第二子圖像之前，或換言之，在剖析或以寫碼/解碼次序58解碼第一子圖像之後。當然，僅在未經標記之圖像無需用於輸出之情況下移除該等圖像，此係因為該等圖像並非經輸出圖像或因為其已經輸出。

根據剛剛提及之可能性，若解碼器22除某一存取單元之寫碼/解碼次序58中之第一者以外亦讀取關於子圖像28之參考圖像緩衝區描述，則解碼器22可經組配以在除寫碼/解碼次序58中之第一者以外由任何子圖像28之緩衝區描述40'指示的參考圖像集合包含由彼圖像之第一子圖像24之緩衝區描述40'指示的參考圖像集合不包含之參考圖像的情況下，將資料串流10識別為非一致資料串流。

圖5說明關於上文關於圖4所概述之概念的替代方案。根據圖4，已以圖像為單位排空經解碼圖像緩衝區48。已根據子圖像粒度模式採取措施，以僅移除不再需要之圖像，該等圖像無需用於輸出且亦無需作為關於其子圖像中之任一者的參考。根據圖5之實施例，解碼器22能夠以子圖像24為單位執行經解碼圖像緩衝區48之排空。關於此實施例關於先前所描述之實施例的可能組合，如上文關於圖4所提供之相同模式適用。亦即，接著關於圖5所描述之實施例可與圖2或圖3之解碼器之描述組合，且因此，根據圖5實施之解碼器可或可不替代地經組配以諸如回應於指示44在圖像粒度模式中操作。

根據圖5之概念如下。特定言之，由解碼器22解碼之資料串流10使視訊16以使得視訊圖像18連續地再分成經共對準子圖像24之方式編碼成該資料串流，該等共對準子圖像係以使得在空間上不重疊之子圖像24或屬於不同子視訊之子圖像彼此獨立地寫碼的方式寫碼。因此，寫碼在子視訊28中發生，藉此產生子串流32之儲集器。如上文關於圖1所解釋，各子串流32使個別子視訊28編碼成該子串流，各子視訊28包含某一子圖像，亦即，資料串流10之視訊16之圖像18中之子圖像24的可能候選者。子串流32彼此獨立地編碼。其每子圖像24含有一或多個NAL單元34。作為編碼程序之部分，NAL單元34可能已具備子圖像識別符80。亦即，各NAL單元34可用此子圖像識別符80標記以便實現子串流32之儲集器之間的區分。如關於圖1所解釋，可已選擇子串流32之儲集器之僅一子集，或更精確而言恰當子集，以便使用該等子串流之NAL單元34，該等NAL單元使當前時戳之對應子圖像編碼成該等NAL單元，以便藉由將該等NAL單元放置在一起來形成資料串流10之存取單元46。在將該等NAL單元放置在一起時，產生資料串流10之NAL單元34'仍在此處具有子圖像識別符80。此在圖5中按以下方式說明：位元串流32之儲集器之標識符80由整數1…N區分。經寫碼成資料串流10之視訊16之圖像18各自具有六個子圖像24。對於一個圖像18內之各子圖像24，資料串流10在對應存取單元46中具有使用子圖像識別符80A_i 標記之一或多個NAL單元34'，其中i = 1 … 6，其中A_i ∈ {1 … N}。選擇哪些子視訊28或哪些子串流32以用於合成資料串流10可取決於應用且可在時間上恆定或變化。另外，將資料串流10放置在一起所藉助之各NAL單元34及其版本34'指示為包含上文所描述之參考圖像緩衝區描述40'。由於子串流32之單獨編碼而清楚的是，此資訊40'對於不同子串流32係不同的。

在以子圖像24為單位執行經解碼圖像緩衝區48之排空時，解碼器22如下起作用。一般而言，解碼器22針對當前經解碼圖像18自資料串流10解碼關於當前經解碼圖像18之各子圖像24之參考圖像集合的緩衝區描述40'。對於當前經解碼圖像18之各子圖像24，解碼器接著使用個別子圖像24之參考圖像緩衝區描述以識別彼等子圖像，且經解碼圖像緩衝區48應保持於與個別子圖像在空間上共置之經解碼圖像緩衝區48中，亦即，屬於同一子視訊28。移除其他子圖像。因此逐子圖像進行移除。

如圖5中所描繪，為此目的，視訊解碼器可將解碼器圖像緩衝區48在邏輯上分裂成視訊16之圖像18當前在空間上再分成之各子圖像24的子圖像DPB 48₁ 至48₆ 。一方面，應注意，僅出於說明之目的，圖像18在本申請案之圖中說明為再分成六個子圖像。任何其他數目亦可為可行的。子圖像DPB 48_i 中之每一者用以緩衝自資料串流10中之NAL單元34'出現之圖像18的子圖像24，該NAL單元用與個別子圖像DPB相關聯之某一子圖像識別符80標記。換言之，解碼器22使各子圖像DPB 48_i 與某一預定子圖像識別符A_i 相關聯，且因此獨佔地使用各子圖像DPB 48_i ，以用於緩衝由用子圖像識別符80標記之NAL單元34'寫碼之先前經寫碼圖像18的子圖像，該子圖像識別符等於彼預定子圖像識別符A_i 。對於當前經解碼圖像，解碼器22進行以下操作：對於各子圖像DPB 48_i ，解碼器22檢測當前經解碼圖像18是否含有對應子圖像24，該對應子圖像之子圖像識別符80等於與個別子圖像DPB 48_i 相關聯的預定子圖像識別符A_i ，且若如此，則使用由後一緩衝區描述40'針對對應子圖像指示之參考圖像集合以識別個別子圖像DPB 48_i 中之彼等子圖像，該等子圖像應分別保持於彼子圖像DPB 48_i 及經解碼圖像緩衝區48中。藉助於僅將經寫碼成用某一可區分子圖像識別符標記之NAL單元34'之彼等子圖像收集於彼子圖像DPB 48_i 中，在彼子圖像DPB 48_i 中之所有此等子圖像屬於同一子視訊28。然而，若對於某一子圖像DPB 48_i ，NAL單元34'不存在於當前存取單元中且因此對應子圖像24不包含於當前圖像18中，則解碼器22清空對應子圖像DPB 48_i 且將個別子圖像DPB 48_i 再指派至當前經解碼圖像18之非對應子圖像24的另一預定子圖像識別符，該子圖像識別符不等於所有子圖像DPBs 48₁ 至48₆ 之預定子圖像標識符。代替清空，取決於應用，解碼器可使其中所含之子圖像經受子取樣或其類似操作而非清空經再指派子圖像DPB，以便將其中所含之參考子圖像再用作子圖像DPB已再指派至之預定子圖像識別符之子圖像24之參考子圖像。

在用其他實施例之描述進行本申請案之描述之前，上文關於圖4及圖5所概述之實施例將以其他言語再次簡單概述。特定言之，圖4呈現全圖像傾印之概念，而圖5表示部分圖像傾印之實施例。二個實施例具有以下共同點：其處理不回應於隨機存取點，而是回應於參考圖像緩衝區描述，亦即關於不再需要用於參考之參考圖像/子圖像之資訊而執行經解碼圖像緩衝區排空的情形。如上文所解釋，隨機存取點並非圖像資訊經判定為不再需要用於參考之唯一情況，且因此可(若已輸出)自個別經解碼圖像緩衝區移除。在AVC或HEVC中，在解碼程序期間將經解碼圖像緩衝區中之圖像標記為「用於參考」或「不用於參考」。舉例而言，在HEVC中，存在所謂參考圖像集(RPS)之發信。RPS指示經解碼圖像緩衝區中之哪些圖像用於當前圖像或以解碼次序在後之圖像的參考，亦即，RPS (RefP)發信將哪一圖像標記為用於參考。未出現在RPS中之彼等者被標記為「不用於參考」，且因此若不需要用於輸出(例如，已輸出)，則可自經解碼圖像緩衝區移除。

如上文所論述，對於僅一些影像塊/子圖像自高至低解析度切換或反過來的360°，隨機存取點可經對準，此係因為參考圖像可為不同的。

對於RAP情況，在若干位元串流拼接在一起，亦即轉換成新的位元串流10之子圖像位元串流之情況下，將需要將RPS重寫，此過程將導致待由合成器/合併器14執行之此類操作的複雜度增加。

新的視訊編碼解碼器可具有標記參考圖像之不同方式，但問題將始終適用：不同參考可適用於位元串流內之不同子圖像，且若如圖4中使用虛線所展示針對存取單元之第一切片/影像塊進行標記程序，且此需要傳送存取單元中之所有切片/影像塊的所有資訊，則當串流合併在一起時，將需要標頭之重寫。

因此，圖4及圖5之實施例之想法為改變參考圖像標記之程序以便允許關於經解碼圖像緩衝區進行子圖像隨機存取或子圖像饋送及移除。

根據圖4之實施例，仍以圖像為單位進行經解碼圖像緩衝區移除，但仍允許子圖像隨機存取。根據實施圖4之實施例之可能性，序列或圖像層級上之發信，諸如指示44，界定標記程序是否以圖4中使用虛線所說明之圖像粒度方式進行，或是否僅在當前存取單元中之最末子圖像之後，諸如在剖析或解碼當前存取單元中之最末子圖像的NAL單元或切片或影像塊之後進行。在二種方法之間切換之發信可以sub_picture_management_process_enabled_flag形式包含於諸如SPS或PPS之參數集處。

在子圖像處置之情況下，如上文所概述，該子圖像處置可為二種之間的切換省略之唯一模式，根據實施實例，該程序可包含產生當前圖像18之各子圖像24之經時間標記圖像清單，其中在結束時，檢查哪一者被標記為「不用於參考」。舉例而言，使用來自HEVC之RPS發信40'作為參考圖像指示之實例，可使用以下偽程式碼以便識別應保持於經解碼圖像緩衝區中之圖像： N=number of pic in DPB. Mark N pics as “not used for reference” For i=0…NumSubPicBitstream { If Pic in active RPS =＞ mark that picture as “as used for reference” }

當針對當前存取單元解碼所有子圖像位元串流時，自DPB移除被標記為「不用於參考」且已輸出之所有圖像。

然而，相比於重寫所有RPS資訊之方法，此方法需要經解碼圖像緩衝區中之較多記憶體。

在圖4之關於子圖像DPB移除模式之實施例的替代實施中，在各圖像開始處，亦即，當處理第一切片/影像塊或子圖像時，藉由將所有圖像標記為「不用於參考」來進行第一程序，而另外，對於各切片/影像塊/子圖像剖析，進行將逐切片/影像塊/子圖像指示之圖像標記為「用於參考」的另一程序。在已輸出參考圖像且傳遞/接收當前圖像之所有切片/影像塊/子圖像之後根據最終結果，亦即，在剖析/解碼最末切塊/影像塊/子圖像時進行參考圖像傾印。

圖5係關於以下情況：用運動約束影像塊，亦即MCTS，或更一般而言獨立於在空間上偏移之子圖像或屬於不同子視訊之子圖像的子圖像編碼內容，該等子圖像不僅包含同一圖像中之子圖像，且亦包含其他圖像之子圖像。在此類情況下，有可能使用子圖像識別符來標記子圖像特定區域，使得該等區域可自經解碼圖像緩衝區移除。經MCTS編碼之位元串流可僅參考自身。

在圖5中，已使用分別標記圖像18之子圖像區域的可能性。若子圖像被標記為「不用於參考」且彼圖像已經輸出，則彼區域可自經解碼圖像緩衝區移除。因此，將有可能執行分別針對各子圖像進行標記之程序，同時剖析切片/影像塊群組或子圖像標頭處之NAL單元類型及RPS而不必等待直至剖析存取單元之所有NAL單元為止。

根據圖5，此係藉由基於例如在資料串流中傳送之某一參數集中之資訊初始化多個子圖像DPB 48_i 來進行，或藉由再指派子圖像DPB或藉由針對各新出現之子圖像識別符(用於各新的子視訊)分配DPB空間來進行。在初始化之後，圖像(意謂用於預測之經重建構樣本及對應可參考資料，諸如運動向量)將儲存於對應於子圖像識別符A_i 之子圖像DPBs 48_i 中。子圖像識別符A_i 可例如為一個影像塊群組ID。

接著，將剖析參考圖像集，亦即指示哪些圖像需要保持用於經解碼圖像緩衝區48中之預測的清單以及對應ID，且此將影響是否可移除子圖像之對應子圖像DPB中之子圖像。顯然，在一些情境中，圖像內之影像塊設置可改變。例如，在子圖像位元串流合併情境中，可能發生的是，在一段時間內，具有ID 0及1之子圖像合併在一起且隨後具有ID 1及2之子圖像合併在一起。在此情況下，基於參數集指示而清空子圖像DPB。每當經激活之參數集不含有先前子圖像ID時，清空對應於彼子圖像之子圖像DPB。當然，僅在圖像不既定用於輸出，亦即其已經輸出或其不再需要用於輸出之情況下進行圖像之移除。

將關於圖4及圖5作出若干註釋。舉例而言，除上文關於圖5所描述之註釋以外，子圖像DPB之管理可在同時管理之子圖像DPB之數目超過視訊16之圖像18中之子圖像24之數目的範圍內有所不同。舉例而言，對於在子串流32之儲集器中遇到，或更精確而言在資料串流10中遇到的各子圖像識別符80，解碼器22可提供單獨子圖像DPB。

另外，應注意，圖5之描述專注於關於經解碼圖像緩衝區排空之子圖像粒度處置。然而，雖然圖5因此描述可相應地起作用之解碼器，但圖5亦應被視為對能夠以圖5中所展示之方式，亦即以子圖像處置模式以及以逐圖像處置模式，諸如回應於圖2中所展示之指示44或某一等效信號化而起作用之解碼器的描述。在彼情況下，圖5之解碼器22可以圖4中使用虛線所描繪之方式逐圖像地管理經解碼圖像緩衝區48。

關於上文所提及之緩衝區描述40'，應注意，其可指示參考圖像應以任何方式，諸如以清單形式，以指示對應參考圖像之分析項形式，諸如藉助於該等參考圖像之POC或其類似者保持於DPB中。緩衝區描述40'可積極地引用此等圖像，或可向外引用彼等圖像以自DPB移除。

另外，圖4及圖5專注於經解碼圖像緩衝區之排空，但顯然，此等圖之解碼器22使用剛剛經解碼圖像內容來填充經解碼圖像緩衝區。舉例而言，在圖4之情況下填充經解碼圖像緩衝區48可在子圖像處置之情況下或在子圖像處置及逐圖像處置二種情況下逐圖像地進行。在專注於逐子圖像DBP排空之圖5中，亦可逐子圖像地進行填充，一旦已解碼某一子圖像，其便插入至其對應子圖像DPB中。當然，替代方法可為將以畫旁畫(picture-by-picture)進行經解碼圖像緩衝區48之填充，亦即，當前經解碼圖像18之經解碼子圖像24將在解碼當前圖像18結束時同時插入至其對應子圖像DPB中。在逐圖像DPB排空模式之情況下，圖5之解碼器可充當圖4之對應模式中之解碼器(亦即，如以圖4中之虛線展示)。

另外，應關於上文所描述之與經解碼圖像緩衝區處置相關的實施例作出一些簡要註釋。特定言之，迄今為止，已提及視訊16之圖像18之子圖像24可以使得子圖像可取決於其他圖像之其他子圖像的方式類似子視訊寫碼，只要該等子圖像屬於同一子視訊但獨立於任何其他子圖像，亦即，同一圖像18之其他子圖像及其他圖像18之屬於不同子視訊之子圖像。屬於同一子視訊之此子圖像可在時間上改變視訊16之圖像18內之子圖像位置。圖6說明此情況。存在不同可能性以便處理此情形。在圖6中，例示性展示視訊16之二個圖像18。在一個圖像18中，存在屬於具有子圖像ID 2、7、3、4、5、6之子視訊的子圖像24。在後續圖像中，可見仍存在具有子圖像ID 2、7、4及5之子視訊之子圖像24，但處於不同子圖像位置處。代替具有子圖像ID 3及6之子圖像24，二個新的子圖像，或更精確而言，新的子圖像ID，亦即9及12之子圖像存在於後一圖像中。

現假定後一圖像18b之屬於亦出現在先一圖像18a中之彼等子圖像標識符的子圖像24不以隨機存取點方式寫碼，且另外參考圖像18a之子圖像。亦即，在解碼圖像18b時，圖像18a之正確子圖像24將存在於解碼器28之經解碼圖像緩衝區48中但需要採取措施以便執行參考，亦即經運動補償預測，以正確地執行關於此等子圖像標識符之圖像18b之子圖像24之解碼的預測。

便於解決此問題之一個可能性可為合成器/合併器14關注此等情形。可使用WO 2016/026526中所呈現之技術，合成器/合併器14根據WO 2016/026526將無輸出圖像18c插入至資料串流10中，該合成器/合併器藉由使用分段恆定，亦即在各子圖像位置內恆定之運動向量場，重排此圖像18a之圖像內容，使得在後續圖像18b中仍需要之子圖像24配置於該等子圖像之新的子圖像位置處，該等子圖像在此後續圖像18b中呈現該等位置。另外，合成器/合併14注意到，對於此圖像18b，參考圖像18a作為參考圖像經重導向以便替代地將圖像18c為參考圖像。另外，對於圖像18b之屬於此等子視訊之子圖像24，應禁止運動向量預測，該等子視訊之存在於圖像18a中的子圖像由無輸出圖像18c重導向。

另一可能性將為，解碼器22在經解碼圖像緩衝區中重排其圖像以便在諸如圖6中之子圖像ID 2、7、4及5之圖像18b之子圖像的子圖像改變其子圖像位置時產生新的經重排參考圖像。根據此程序，經解碼圖像緩衝區中之參考圖像將在空間上分成其子圖像，且子圖像將經重加擾。如上文關於圖1所概述，此處置亦可涉及在圖像18b中之某些子圖像24指示為屬於同一圖像內容之情況下的空間重取樣，然而相比於諸如圖像18a之先前圖像之子圖像，空間解析度減小。以此方式，可考慮自圖像18a中之子圖像佈局至新的圖像18b中之子圖像佈局的轉變而不插入輸出圖像18c。

且甚至另一替代方案可為解碼器22重導向用以對圖像18b之子圖像進行寫碼之運動向量。解碼器22可產生圖像18b中之經重排子圖像之運動向量的運動向量偏移以補償相對於參考圖像18a之子圖像位置改變。運動向量偏移在涉及解碼圖像18b之子圖像24的經運動補償預測中添加至屬於圖像18b之子圖像24之子串流的經寫碼運動向量，或更精確而言，添加至子圖像亦存在於圖像18a中之彼等子串流的經寫碼運動向量。藉此，導出圖像18a中之此等子圖像之經框間預測區塊的正確預測子，其指向參考圖像18a中之正確位置，亦即，在屬於圖像18a及18b二者中所展示之彼等子視訊之子圖像內但在不同子圖像位置處的正確位置。

經解碼圖像緩衝區中關於參考圖像之子圖像重排及可能由解碼器22執行之運動向量重導向可由與視訊16之圖像18內之個別子圖像位置之子圖像識別符相關性的所觀測改變觸發，該相關性相應地描述參考圖像及其子圖像在資料串流10中之子圖像重排。替代地，此等程序可由資料串流10中之顯式資料串流指示觸發，該資料串流由合成器/合併器14寫入至資料串流中，例如，在PPS內。

接著關於圖7所描述之實施例旨在描述視訊編碼解碼器環境，其在圖像次序計數(POC)處置方面緩解應用，諸如上文關於圖1所描述之彼等應用。因此，圖7描述用於處理使視訊編碼成其之資料串流之解碼器的可能功能性，其中圖像18再分成子圖像24，且其中子圖像24寫碼為彼此分離之子視訊28之部分，如關於上圖，諸如關於圖5所描述。關於圖7所描述之功能性可為例如由子圖像指示，諸如由關於圖2所描述之指示44觸發的解碼器22之某一模式。圖7允許在圖像18之子圖像24之資料串流10中傳輸不同POC值，使得不同POC值甚至出現在一個圖像18內。若圖7之功能性將僅表示解碼器22之一個模式，則另一模式可為針對一個圖像18僅允許一個POC值。

若資料串流10係基於如上文關於圖1所描述之子串流32之儲集器而合成，則例如在呈現時間次序20中之對應子視訊28內之子圖像24的圖像次序計數可能不同。舉例而言，差異可源於子視訊24之間的不同圖框速率。當然，視訊16將具有對視訊16產生貢獻之子視訊28之最小圖框速率。因此，在合成資料串流10時，較高圖框速率子視訊28之對應圖像將必須由合成器/合併器14跳過。在將此較高圖框速率子視訊28編碼成其對應子串流32時，編碼程序當然必須注意，此圖像無需作為應該保持之其他P或B圖像的參考圖像且對視訊16產生貢獻連同較低圖框速率子視訊28之子圖像24的合成。另外或替代地，各種子視訊28中之子圖像24之圖像次序計數值之時間發展的此差異及對應子串流32可分別源於基於此等子串流32之不同GOP結構。舉例而言，不同GOP長度，亦即，每GOP不同數目之子圖像24可適用於不同子串流32。當然，用於得到子串流32之產生/編碼程序應按以下方式進行：使得至少就對視訊16之圖像18之合成產生貢獻的對應子視訊28之彼等子圖像24而言，分別在呈現時間次序20以及寫碼/解碼次序58二者方面以該等圖像之依序次序在該視訊之個別子視訊28及子串流32內重合。

因此，圖7展示使子視訊28之子圖像24編碼成其之一或多個NAL單元34具備POC值90，該等NAL單元由合成器/合併器14選擇以便用以藉由將該等NAL單元放置在一起來參與資料串流10之對應存取單元46。POC值在其個別子視訊28內以呈現時間次序20在圖像群組(GOP)基礎上對子圖像24排序。亦即，可能的是，每當新的GOP開始時，NAL單元34內之GOP值90再次開始該次序。較佳地，圖7之概念允許合成器/合併器14在將貢獻子串流32之NAL單元34放置在一起以產生資料串流10之存取單元46中之對應NAL單元34'時僅接受POC值90而不修改。圖7藉由影線說明各種子視訊28及其在對應子串流32內之對應NAL單元34的子圖像24，該等子圖像24在寫碼/解碼次序58方面對應於一個共同時間瞬時及一個共同寫碼/解碼等級，以便在串流10中一起形成對應存取單元46。為了考慮對應於當前經解碼圖像18或當前經解碼存取單元46之不同子圖像之NAL單元34'之間的POC值90中之差，解碼器22如下起作用。特定言之，解碼器22針對當前經解碼圖像18之各子圖像24自資料串流解碼包含於NAL單元34'中之POC值90。另外，解碼器22針對當前經解碼圖像18之各子圖像24，或更精確而言，針對當前經解碼圖像18中之圖像24源於的各子視訊28管理應使POC校正函數94參數化之一或多個子圖像間POC補償參數92，該POC校正函數在應用於對應子視訊28之POC值90時得到對於視訊16之各圖像18相同的最終POC值96。根據實例，可能的是，由於用於經寫碼成此等NAL單元34'之子圖像24所屬於之子視訊之寫碼的不同GOP長度，由資料串流之一個存取單元46內之NAL單元34'攜載的POC值90不同。在彼情況下，只要貢獻子視訊28及子串流32在合成/合併期間不改變，一個存取單元46內之POC值90之間的相互偏移就趨向於對於連續存取單元46及資料串流10恆定，只要促成子串流之32個GOP皆未開始新的GOP即可。子圖像間POC補償參數92可包含例如POC補償偏移，其由函數94添加至對應子視訊之POC值90以便考慮直至GOP最近開始時對應子視訊28之當前子圖像24之各種子串流32之間的差，亦即，該子圖像之子視訊28內之IRAP子圖像24。每當新的子視訊28開始對視訊16之圖像18產生貢獻或運行子視訊28中之一者藉由具有其中資訊40發信RAP之子圖像而開始新的GOP時，解碼器22基於比較，亦即藉由計算差而分別更新或計算或重設彼子視訊或子串流32之POC補償偏移，其中任何子視訊28或子串流32之最終POC值96中之任一者在彼時間點處仍維持於視訊16中，亦即同一存取單元46中，且此處未寫碼有任何隨機存取點。由於子串流32之間的圖框速率差，子圖像間POC補償參數92亦可包含使用函數94定標POC值90以得到最終POC值96所藉以的因數。由於此圖框速率差，資料串流10之存取單元46內之POC值90之間的互差(mutual difference)在使用前述POC補償偏移來偏移補償之後趨向於與POC值90之互差相關，該互差係根據POC步長差在時間上定標。此定標之差由反向定標此等POC值來補償。解碼器22可自資料串流10導出此定標因數作為參數92之部分，該資料串流可已由合成器/合併器14基於對圖框速率之評估分別將基本子視訊28及對應子串流32寫入至該資料串流中。

因此，簡要概述，解碼器22可管理POC補償參數92以使函數94參數化。因此，經參數化之函數94在應用於對應於當前圖像18之某一子圖像24的POC值90時得到最終POC值96。以此方式獲得之最終POC值96對於視訊16之各圖像18彼此相等。參數92之間的偏移可由解碼器22在隨機存取點子圖像24處以上文所描述之方式更新，其限制條件為非RAP子圖像24分別存在於彼圖像18或存取單元46中。若當前圖像18之所有子圖像24經隨機存取點寫碼，則解碼器22可將偏移設定成針對子圖像24相等的任何預設值。另外或替代地，RAP子圖像本身可諸如藉由適當地參數化編碼器30而設定成同一預設POC值。此值可為零。解碼器不必在此編碼器約束下進行任何操作。然而，可能的是，編碼器30可自由地將一個圖像18之RAP子圖像24之POC設定為不同值，且對於此等情況，解碼器可經組配以將此等RAP子圖像之POC值設定成諸如零之預設POC值，或設定成等於針對首先遇到之RAP子圖像發信之POC值90的值。每當子視訊28最新對視訊16之合成產生貢獻時，參數92之間的定標因數可由解碼器22判定。

如下文進一步概述，解碼器22可能必須注意由解碼器22執行以便保持來自對應NAL單元34'之子圖像24之運動向量預測子定標被正確地執行。當定標與參考圖像A相關之運動向量預測子以參考當前圖像之當前經預測區塊之一定需要POC距離b時，進行運動預測子定標，該參考圖像A具有至包含其中已使用個別運動向量預測子之區塊的圖像之POC距離a。由於定標應關於與個別子串流32之POC定義相關的POC距離執行，因此此定標可能必須由解碼器22仍基於個別子串流之POC值90進行。根據HEVC運動向量預測子定標，例如，若參數92之間的圖框速率定標因數並非二之冪，則可另外產生不同運動向量定標。

如上文已提及，上文所描述之實施例可彼此組合。此不僅藉由組合關於圖3、圖4、圖5及圖7所描述之實施例中之每一者與圖2之實施例而成立，且亦關於關於圖3、圖4、圖5及圖7所描述之實施例之間的組合而成立。此等概念中之每一者緩解所得視訊編碼解碼器概念在滿足關於圖1所概述之視訊合成/合併之任務方面的使用。當然，圖1中所概述之實例不應被視為限制在上述實施例中闡明之視訊寫碼編碼解碼器實例。

在開始本申請案之另一實施例之涉及本申請案之另一態樣之係關於略微不同主題，亦即逐步解碼再新的描述之前，圖7之實施例將以其他言語再次描述及促進。特定言之，如上文已概述，圖7之實施例係關於POC差量導出。如所描述，子圖像24，各子圖像可例如為一個影像塊或一組影像塊(其與聯合位元串流10一致)可具有未對準之隨機存取點或不同參考結構或GOP結構。如上文所概述，此類使用情況可能發生例如在最初單獨編碼之位元串流32一起合併成單一資料串流10時。

在此類情況下，在各子圖像24之子位元串流32內指示的圖像次序計數(POC)可為不同的，但與一個共同時間瞬時相關或對經合併資料串流10中之一個共同存取單元46產生貢獻。當情況如此時，此導致以下負擔：在位元串流32內，亦即在NAL單元34內發信之POC值將必須由合成器/合併器重寫，使得該等POC值可合併成所得經合成資料串流以便得到用於一個存取單元之一個POC值。圖7之實施例減輕此負擔且允許合併此子圖像子串流32而不調整經寫碼成NAL單元之POC值，諸如各子圖像24之標頭，亦即影像塊群組標頭。

POC用於導出存取單元邊界。亦即，通常，POC用以使切片群組或影像塊群組或NAL單元與存取單元46相關聯。此在與圖2之實施例組合的情況下可為圖7之解碼器22之替代行為：在指示44指示子圖像粒度之情況下，圖7中所描述之概念將由解碼器22應用，而在指示44指示圖像粒度之情況下，解碼器22將預期各存取單元46僅具有在存取單元46內相等之一個POC值。在圖像粒度之情況下，解碼器22將回應於POC值自一個NAL單元改變為另一NAL單元而識別下一存取單元46之開始。在圖7中所描述之子圖像粒度功能性之情況下，可由解碼器22基於例如由合成器/合併器14插入至資料串流10中之存取單元分隔符而識別將資料串流10中之連續存取單元46分開的存取單元介面。

在POC值用於解碼程序中之不同程序之間，存在圖像輸出，亦即，以POC之增加或次序輸出圖像以用於圖像參考，亦即，以判定哪些圖像用於參考，無論短期參考圖像抑或長期參考圖像。

當自同一資料串流10解碼若干子圖像24時，關於圖7所描述之實施例允許同一存取單元46內之子圖像24中之每一者之NAL單元34'中之POC的不同發信值，同時仍允許最後用於圖像輸出及圖像參考之剛剛提及之任務的POC值96之正確導出。隨機存取點通常導致解碼器在位元串流開始處開始解碼程序所藉由的POC值之重設。當解碼器發現IDR時，其通常將POC值0指派至彼圖像且基於此導出後續圖像之POC值。以下存取單元或存取單元內之NAL單元含有資訊，諸如(影像塊群組)標頭位元，其發信該等NAL單元所屬於之存取單元之POC。通常，POC用切片/影像塊群組之標頭中之LSB位元發信，且MSB位元由解碼器導出。此程序若應用於圖7中所概述之情境中，則在存取單元之子圖像含有一個存取單元內之不同POC LSB值或不同POC LSB長度時將導致存取單元邊界、參考圖像及輸出次序之錯誤導出。

關於圖7所描述之實施例使用每子圖像deltaPOC計算，其追蹤不同子圖像位元串流32之間的差。舉例而言，當解碼器22之解碼程序在常規全圖像IRAP處開始時，存取單元46之所有NAL單元34'攜載相同POC值(NAL POC LSB)。在此例項及最新引入之deltaPOC處，將POC MSB設定成0。現在，在CVS之過程中，子圖像RAP可出現且攜載不同NAL POC LSB，例如零值，而存取單元中之其他NAL POC LSB保持不變(不等於0)。每當如上文所描述或經由目前先進技術發信，諸如藉助於NAL單元類型或SEI訊息辨識子圖像RAP時，針對此子圖像導出deltaPOC作為存取單元中之子圖像IRAP NALU POC LSB與其他NALU POC LSB之間的差。作為圖像輸出、圖像參考等等之上述功能性的基礎針對所有NALU導出全圖像POC 96。當處置子圖像IRAP NALU時，全圖像POC 96併有非零deltaPOC，而對於剩餘非子圖像IRAP NALU，將個別0 deltaPOC併入至全圖像POC 96之計算中對於存取單元46之所有NALU產生相同的全圖像POC值96。圖8說明根據圖7之使用實例之POC補償，其中展示視訊16之四個連續圖像18a至18d，各圖像再分成三個子圖像24，其中第一圖像18a為IRAP圖像，亦即，第一圖像之所有子圖像24為隨機存取點，而第二圖像18b及第四圖像18d之子圖像24未經RAP寫碼。第三圖像18c使一個子圖像24，亦即圖8中之上部子圖像以隨機存取點方式寫碼，而其他子圖像不以此方式寫碼。如可見，圖8說明函數94之簡單實例，亦即具有表示POC補償參數，亦即個別子圖像24中所記錄之總和之第二加數的常數之加法。第一加數表示經發信POC值，亦即至可參數化函數之輸入，而所得總和對應於最終POC值96。如圖8中所說明，解碼器藉由圖像18c之非RAP子圖像24中之一者之最終POC值與RAP子圖像24之經傳輸POC值的減法98來獲得POC補償偏移。

可經由SPS/PPS層級旗標閘控所描述之全圖像POC方案之引入。替代地，替代deltaPOC值，亦即POC補償偏移之隱式導出，資料串流10內之參數集可指示應藉助於函數94減去/添加至各子圖像POC值90之deltaPOC，使得所得全圖像POC 96針對資料串流10中之當前經解碼圖像18或當前存取單元46之各子圖像24對準。在子圖像IRAP NALU在存取單元46中之情況下，可能需要可導出之全圖像POC的額外約束。

舉例而言，可對資料串流10作出要求，亦即，對位元串流一致性作出以下要求：至少一個子圖像非IRAP NALU存在於存取單元46中，亦即，各圖像18之至少一個子圖像24以非RAP方式寫碼，以允許導出當前全圖像POC 96，所有子圖像IRAP NALU之deltaPOC，亦即POC補償偏移將根據該導出而導出。換言之，當用新的NAL單元類型、用旗標且不藉由允許不同NAL單元類型發信子RAP時。在此情況下，若不向NAL單元中之一者指示NAL單元為子RAP，則僅使用此發信。

不同方案可如下。當存取46中之所有子圖像被辨識為子圖像IRAP時，重設POC MSB且計算每子圖像24之deltaPOC，使得所有子圖像產生相同的全圖像POC。舉例而言，第一子圖像deltaPOC在此情況下設定為0，且所有其他子圖像deltaPOC接著針對存取單元中之第一子圖像IRAP NALU相應地設定成產生全圖像POC 96。

亦如上文已描述，參與合成資料串流10之子串流32有可能具有不同POC步長。此可發生於例如會議情境中。可在30 PFS下寫碼一個串流且在60 FPS下寫碼另一子串流32。在此情況下，如上文已描述，一個選項為以最低共同圖框速率，亦即30 FPS合併。出於此目的，60 FPS子串流32之最高時間層級可下降，藉此將圖框速率減小至30 FPS。然而，二個串流中之時間上鄰近的圖像之間的POC步長將為不同的，此係因為60 FPS編碼器必須在關於30 FPS編碼器使用相對較大POC步長之情況下適應較高量之圖框。在將串流一起合併成共同位元串流的如上文所描述之情境中，必須注意確保正確POC導出。當子圖像位元串流之POC具有不同步長時，圖7之實施例允許強制執行經寫碼視訊序列10內之個別子圖像24之POC值90的定標。舉例而言，合併器/合成器14將被告知或自身導出POC步長與輸入子圖像位元串流32之差，且將個別POC定標因數寫入至對資料串流10之合成產生貢獻之所有子圖像位元串流的參數集中，以便對準所有全圖像POC。

上文已進行另一通知，亦即，經定標全圖像POC用於參考圖像導出及輸出次序，而運動向量定標可保持根據未經定標POC差進行。藉此，進行如由初始編碼器設想之正確運動向量定標。

作為在解碼器側追蹤個別子圖像24之所有POC值90，亦即未經定標POC的替代方案，解碼器可藉由在導出運動向量定標之POC差時使用個別POC定標因數而亦自經定標POC值導出在編碼器側上使用以執行運動向量候選者定標的POC值差。

另外，儘管參數92之間的POC偏移值描述為由解碼器自動判定，但替代地或另外，POC偏移值由合成器/合併器14插入至資料串流10中，正如上文已關於POC定標因數所描述。

關於圖9，本申請案繼續進行對允許逐步解碼再新之視訊編碼解碼器之實例的描述。圖9說明基於此實施例之概念。

特定言之，圖9說明視訊102之連續圖像100，亦即沿連續圖像之寫碼/解碼次序58排序的四個連續圖像。圖9說明將視訊102編碼成資料串流106之編碼器及自資料串流106解碼或重建構視訊102之解碼器108。該概念如下。為了實現逐步解碼再新，視訊解碼器108針對視訊102之參考圖像中之每一者記錄個別參考圖像成再新圖像區域及非再新圖像區域之再分。詳言之，參考圖像為按解碼次序58在當前經解碼圖像之前的彼等圖像，該等圖像可用作當前經解碼圖像或任何後續圖像之預測參考。剛剛提及之再新圖像及非再新圖像區域將自以下描述變得明晰。特定言之，解碼器108自某一圖像100a之資料串流106解碼關於圖9中展示為交叉陰影的再新更新區域110之資訊。在圖9之實例中，其涵蓋圖像100a之左手側三分之一。編碼器例如將各圖像100a至100d編碼成個別存取單元112a至112d且在存取單元112a中針對圖像100a發信將再新更新區域110定位於圖像100a內之資訊114。再新更新區域114之指示可發起逐步解碼再新，其導致對圖像100a及一些後續圖像之寫碼及解碼的特殊措施，直至完成編碼器104及解碼器108二側上之逐步解碼再新，如下文將更詳細地解釋。

特定言之，由資訊114定位之區域110僅由編碼器104藉由框內寫碼而編碼，亦即，表示以隨機存取點方式寫碼之區域，且解碼器108因此相應地，亦即使用框內預測解碼再新更新區域110。圖像100a之其他區域，亦即剩餘區域116之寫碼不受進一步限制，且可由編碼器104編碼且相應地由解碼器108使用框內預測及/或框間預測基於先前圖像而解碼。

對於寫碼/解碼次序58中之下一圖像100b，尚未完成逐步解碼再新。編碼器104將此圖像100b編碼成對應存取單元112b且同樣在其中發信關於彼圖像100b內之再新更新區域110的資訊114。在圖9之實例中，圖像100b之再新更新區域覆蓋圖像100b之水平中間三分之一，且相應地在空間上鄰接先前圖像100a之再新更新區域110。雖然存取單元112a內之資訊114發起逐步解碼再新，但關於圖像112b之資訊114表示此經發起逐步解碼再新之繼續。圖像100b之區域110同樣由編碼器104僅藉由框內預測編碼且相應地由解碼器108解碼。然而，作為經發起逐步解碼再新之部分，解碼器108以及編碼器104執行以下任務：首先，編碼器104及解碼器108執行參考圖像之再新圖像區域的前述記錄。當已在圖像100a處發起逐步解碼再新且圖像100a形成關於後續圖像100b之參考圖像時，圖像100a之再新更新區域110表示圖像100a之再新圖像區域，而另一區域116為非再新圖像區域。再新圖像區域在圖9中藉由以實線118圈出而指示。其次，解碼器108及編碼器104在當前經編碼/經解碼圖像內，亦即在當前描述圖像100b中判定第一區域120，該第一區域與同一圖像100b之再新更新區域110不相交且將獨立於參考圖像，此處為圖像100a之非再新圖像區域而經寫碼及經解碼。編碼器104可寫碼關於區域120在何處之顯式信令，或更佳地，編碼器104及解碼器108將區域120判定為與圖像100a，亦即寫碼/解碼次序58中緊接在前之圖像之再新圖像區域118共置的圖像100b之區域。為了區分區域120與再新更新區域110，圖9中使用交叉影線說明再新更新區域110，而簡單影線用於區域120。

編碼器及解碼器二者採取特殊措施以便將區域120編碼成對應存取單元112b/自對應存取單元112b解碼區域120。特定言之，編碼器104例如並不限制由編碼器及解碼器導出區域120之預測所基於的寫碼參數之可發信域。換言之，編碼器104使用自先前圖像判定此等圖像之預測的寫碼參數，諸如使用經運動補償預測，及使用描述校正此預測所使用之預測殘差的預測殘差資訊將圖像編碼成對應存取單元。寫碼參數及預測殘差資訊經寫碼成存取單元以便描述對應圖像。然而，在再新更新區域110內，編碼器104獨佔地使用框內預測，亦即，不使用自任何其他圖像之預測。關於區域120，編碼器104使用框間預測且不限制例如寫碼參數之可發信域，但相比於諸如區域116之其他區域，基於經發信寫碼參數導出區域120之預測的不同方式由編碼器104及解碼器108使用。特定言之，考慮個別參考圖像，此處為圖像100a之再新圖像區域110的位置。舉例而言，編碼器104自由地將區域120之運動向量編碼成資料串流106，若預測導出不會變化，則該等運動向量會導致區域120對區域116之相依性，亦即，實際上指向參考圖像100a之部分的運動向量到達區域116中。類似地，編碼器104可使用運動向量預測以寫碼區域120之運動向量，但在說明由用於寫碼圖像100a之運動向量形成的運動向量預測子候選者之對應運動向量預測清單時，編碼器104使用獨佔地用於再新圖像區域110內之區塊的運動向量獨佔地填充此等運動向量預測子候選者清單。編碼器104可使用實際上重導向至區域120之預測導出結果之實際上亦已可由區域120之寫碼參數之其他狀態發信的可發信狀態之可能性使編碼器104提高壓縮效率之可能性提高，此係因為例如有時由編碼器104及解碼器108隨後重導向至其他狀態從而導致預測僅僅取決於更新圖像區域110的彼等寫碼參數狀態可為相較於立刻描述此預測而無編碼器104及解碼器108之任何重導向的寫碼參數狀態可使用更少位元編碼的狀態。亦即，編碼器104及解碼器108可例如剪輯實際上在區域120之資料串流106中發信的運動向量以免超出參考圖像100a之再新圖像區域110之邊界。替代地或另外，編碼器及解碼器108可對由在區域120之資料串流106中發信之運動向量指向的參考圖像108之部分使用填補，該等運動向量超出再新圖像區域110之邊界。甚至替代地或另外，由編碼器104及解碼器108進行之運動向量候選者清單建構可以使得自填充此等清單排除參考圖像100a內之再新圖像區域110之外的運動向量之方式進行。編碼器104可例如藉由在資料串流106內發信而將所選運動向量預測子發信至解碼器108且將該預測子編索引成相應地解釋之此運動向量候選者清單。在圖9之情況下，圖像100b之剩餘區域，圖像100b之右側三分之一表示區域116，其與此圖像100b之第一區域120及再新更新區域110以及由包括框間預測之編碼器104寫碼而無對圖像100a之再新圖像區域110之任何限制的區域不相交。亦即，圖像100b之區域116為經框間預測區域而無任何限制。

在圖9之實例中，隨後經寫碼/經解碼圖像100c表示在圖像100a處發起之逐步解碼再新的完成。編碼器104針對此圖像100c將指示圖像100c之再新更新區域110之位置的資訊114寫碼成對應存取單元112c，該再新更新區域在圖9之情況下覆蓋圖像100c之右側三分之一。亦即，圖9展示在表示逐步解碼再新開始之圖像100a處開始的連續圖像100a至100c之再新更新區域110呈現視訊102之圖像之圖像區域的彼此不相交部分。此圖像110同樣由編碼器104框內寫碼且相應地由解碼器108解碼。

對於圖像100c，圖像100b亦表示參考圖像。該圖像之再新圖像區域118由編碼器及解碼器判定為圖像100b之第一區域120及再新更新區域110的聯集。此又意謂在逐步解碼再新期間，再新圖像區域118持續增長。同樣，編碼器104及解碼器108將圖像100c之第一區域120判定為諸如與緊接在前之圖像，亦即圖像100b之再新圖像區域110在空間上重疊的區域。此區域120如先前關於圖像100b之區域120所描述而經寫碼/經解碼，彼區域120具有二個參考圖像候選者，亦即具有再新圖像區域118之圖像100a與具有再新圖像區域118之圖像100b之間的差。框間預測用於區域120，亦即為除框間預測模式以外所允許之寫碼模式，但圖像100c之區域120之寫碼參數經重導向至狀態，使得所得預測不引發區域120之寫碼/解碼與圖像100a及100b之非再新區域116的任何相依性。

自圖像100c向前，由編碼器104在圖像100a處發起之逐步解碼再新完成，且再新圖像區域118自彼圖像100c向前覆蓋，完整圖像屬於視訊102之圖像。間歇地或週期性地，編碼器104可發起另一逐步解碼再新，且再新圖像區域將摺疊以對應於彼後續逐步解碼再新之首先發起圖像之再新更新區域110。

如關於圖9所描述之逐步解碼再新可描述為子圖像框內再新填補。其可使用影像塊或影像塊群組實施或可在不使用影像塊之情況下實施。在圖9之實施例中，可被稱作子圖像之圖像之一些部分，亦即區域110藉由應用框內寫碼而再新，而後續圖像以受限方式經框間寫碼及框間解碼。根據圖9之實例，圖像再分成行，此處例示性地再分成N = 3行，但應清楚的是，可以不同方式選擇行數N，且可選擇再新圖像區域118甚至在此逐步解碼再新期間之不同增長形式，諸如以區塊而非圖像行為單位之增長。如關於圖9所解釋，在第一子圖像RAP處，亦即，存取單元0處之圖像、在圖9之情況下的圖像100a、第一行，使情況為僅在框內區塊內編碼colldx=0。

在下一存取單元處，AU=1，亦即，第二圖像編碼/解碼次序58、圖9中之100b、第二行，亦即colldx=1，僅用框內區塊編碼，且第一行用可僅為已在行colldx=0處在先前圖像中經解碼之參考樣本的經框間寫碼區塊編碼。然而，替代約束編碼器能夠在資料串流中編碼之運動向量，圖9之實施例亦自由地編碼運動向量，當行colldx=0時，該等運動向量實際上將導致對其他區域之相依性。特定言之，根據圖9之實施例，指示框內刷新區域，亦即此實例中之第一行，且若運動向量指向外，則將諸如最外像素線之正交外插的填補用於超出存取單元1之圖像之行colldx=0之經框間寫碼區塊的經參考區塊。替代地或另外，可應用基於區域之指示的運動向量剪輯以確保再新區域之運動向量不依賴於非再新區域。當連續解碼圖像時，經再新區域118增加且因此指示每圖像經再新區域110。

應注意，圖9之替代方案將為編碼器104藉由指示此等區域110之圖案而發信連續圖像100a至100c，亦即形成逐步寫碼再新之一系列圖像之更新再新區域110的連續位置。此圖案將描述再新。亦可指示每序列之區域。因此，此種資訊可針對圖像100a，亦即GDR序列100a至100c之開始圖像發信一次，藉此發信GDR開始及圖像100a至100c之區域110。前一指示可為可在PPS中指示之指示。替代地，可針對圖像100a，諸如在其PPS中發信GDR開始指示，而在此GDR開始圖像處開始之GGR圖像序列中之區域110之位置的圖案可為在較高層級下，諸如在SPS中發信之圖案。

關於以上實施例，另外注意以下內容。以上實施例呈現有利的視訊編碼解碼器概念。該等概念中之許多允許如上文所概述之有利視訊合成。然而，應注意，編碼器可直接形成上文所描述之本發明資料串流10中之任一者，亦即，而不合成經預編碼子串流。在此任務中，編碼器可採用上文存在之資料串流10之有利特性，諸如逐子圖像而非全域圖像地選擇RAP時間例項及參考圖像緩衝區描述的可能性。

因此，以上實施例亦係關於視訊解碼器-及對應視訊編碼器及資料串流-其用於自資料串流10解碼圖像18之視訊16，該資料串流是由視訊以圖像在空間上再分成之子圖像24彼此獨立地編碼所根據的方式編碼成。視訊解碼器經組配以針對視訊之一或多個圖像之集合42之各圖像之各子圖像自資料串流解碼子圖像相關資訊40，諸如語法元素nal_unit_type，其在呈現第一狀態時，諸如在呈現狀態IDR_N_LP時將個別子圖像識別為以隨機存取點方式寫碼，且在呈現第二狀態時，諸如在呈現狀態TRAIL_NUT時將個別子圖像識別為不以隨機存取點方式寫碼。解碼器針對一或多個圖像之集合42，諸如語法元素mixed_nalu_types_in_pic_flag包含於該等圖像之PPS中之一圖像，自資料串流解碼可被稱為mixed_nalu_types_in_pic_flag之隨機存取點發信粒度指示44，其在呈現諸如0之第一粒度或第一狀態時指示對於一或多個圖像之集合之各圖像，子圖像相關資訊呈現個別圖像之所有子圖像之共同狀態，諸如IDR_N_LP，且在呈現諸如1之第二粒度或第二狀態時指示對於一或多個圖像之集合之各圖像，允許子圖像相關資訊呈現個別圖像之子圖像之不同狀態，諸如至少一個子圖像之IDR_N_LP及同一圖像內之至少一個其他子圖像之TRAIL_NUT。換言之，呈現諸如等於0之第一狀態的mixed_nalu_types_in_pic_flag可指示nal_unit_type之值對於圖像之所有經寫碼切片NAL單元，且因此對於一個圖像內之所有子圖像為相同的。除此以外，然而，若mixed_nalu_types_in_pic_flag呈現另一狀態，例如等於1，則此可指示圖像之一或多個子圖像之VCL NAL單元皆具有nal_unit_type之特定值，諸如來自由STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP及CRA_NUT中之一或多者組成之NAL單元類型集合的值，而圖像中之其他VCL NAL單元皆具有nal_unit_type之不同特定值，亦即來自由TRAIL_NUT、RADL_NUT及RASL_NUT中之一或多者組成之另一集合的值。換言之，呈現諸如1之第二狀態的mixed_nalu_types_in_pic_flag可指定參考包括mixed_nalu_types_in_pic_flag之PPS之各圖像具有多於一個VCL NAL單元，該VCL NAL單元不具有nal_unit_type之相同值，且該圖像並非IRAP圖像，而呈現諸如0之另一狀態的mixed_nalu_types_in_pic_flag可指示參考彼PPS之各圖像具有一或多個VCL NAL單元且參考PPS之各圖像之VCL NAL單元具有nal_unit_type之相同值。藉由此方式，mixed_nalu_types_in_pic_flag可設定成諸如1之第一狀態，以便向參考PPS之圖像，諸如來源於子圖像位元串流合併操作之圖像指示該等圖像含有具有不同NAL單元類型之切片。

儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，在方法步驟之上下文中所描述之態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備，比如微處理器、可規劃電腦或電子電路執行方法步驟中之一些或全部。在一些實施例中，可由此設備執行最重要之方法步驟中之一或多者。

取決於某些實施要求，本發明之實施例可在硬體或軟體中實施。實施可使用數位儲存媒體來執行，該媒體例如軟性磁碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統協作(或能夠協作)，使得執行個別方法。因此，數位儲存媒體可為電腦可讀的。

根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可規劃電腦系統協作，使得執行本文中所描述之方法中的一者。

本發明之經編碼視訊信號或資料串流分別可儲存於數位儲存媒體上或可在諸如無線傳輸媒體或諸如網際網路之有線傳輸媒體的傳輸媒體上傳輸。

通常，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上執行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。

其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中之一者的電腦程式。

換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式於電腦上運行時執行本文中所描述之方法中之一者的程式碼。

因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或所記錄媒體通常為有形的及/或非暫時性的。

因此，本發明之方法之另一實施例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通訊連接，例如經由網際網路傳送。

另一實施例包含處理構件，例如經組配或經調適以執行本文中所描述之方法中之一者的電腦或可規劃邏輯裝置。

另一實施例包含電腦，其上安裝有用於執行本文中所描述之方法中之一者的電腦程式。

根據本發明之另一實施例包含經組配以將用於執行本文中所描述之方法中之一者的電腦程式(例如，電子地或光學地)傳送至接收器的設備或系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置等等。設備或系統可例如包含用於將電腦程式傳送至接收器之檔案伺服器。

在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，該等方法較佳地由任何硬體設備來執行。

本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。

本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。

本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來進行。

本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或軟體執行。

上述實施例僅說明本發明之原理。應理解，對本文中所描述之組配及細節的修改及變化將對熟習此項技術者顯而易見。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉由本文中實施例之描述解釋所呈現的特定細節限制。

1,2,3,4,5,6,7,9,12:子圖像ID 10,106:資料串流 14:合成器/合併器 16,102,902:視訊 18,100a,100b,100c,100d,904a,904b,904c,904d:圖像 18a:第一圖像 18b:第二圖像 18c:第三圖像 18d:第四圖像 20:呈現時間次序 22,108:解碼器 24:子圖像/圖像 26:邊界 28:子視訊 30,104:編碼器 32:子串流 34,34':NAL單元 36:參數集 38a,38b,38c,38d:輸入視訊資料串流 40:子圖像相關資訊 40':緩衝區描述 42:集合 44:指示 46,112a,112b,112c,112d:存取單元 48:經解碼圖像緩衝區/解碼器圖像緩衝區 48₁,48₂,48₃,48₄,48₅,48₆:子圖像解碼器圖像緩衝區(DPB) 50,52,54,56,60,62,64,66,68,70,72,74:步驟 58:寫碼/解碼次序 80:子圖像識別符 90:圖像次序計數(POC)值 92:子圖像間POC補償參數 94:函數 96:最終POC值 98:減法 110,114:再新更新區域 116,120,906:區域 118:再新圖像區域 900:寫碼次序

本申請案之有利態樣為附屬請求項之標的。下文中關於諸圖描述本申請案之較佳實施例，在圖中：圖1 展示說明用於基於若干輸入子串流合成資料串流或將子串流合併成經合成資料串流之環境的示意圖，其中解碼器解碼彼經合成資料串流；亦展示用於形成子串流之對應編碼器以及合成器/合併器自身；關於圖2至圖8所描述之實施例用以描述可由合成器/合併器及/或解碼器應用之有利功能性及概念；圖2 展示說明視訊編碼解碼器概念之示意圖，該概念允許指示將子圖像粒度抑或圖像粒度用於隨機存取點信號化；圖3 展示說明解碼器用於清空其經解碼圖像緩衝區之可能功能性的示意性流程圖；圖4 展示用於說明解碼器在執行經解碼圖像緩衝區排空時之有利功能性的示意性流程圖；圖5 展示說明經組配以按子圖像為單位執行經解碼圖像緩衝區排空之解碼器的示意圖；圖6 展示說明用於解決屬於經合成視訊資料串流之圖像內之連續子視訊的子圖像之子圖像重排之可能措施的示意圖；圖7 展示說明用於視訊解碼器以便處置視訊之不同子圖像之不同POC域之有利措施的示意圖。圖8 展示說明根據一實施例之圖7關於隨機存取點子圖像處之POC偏移補償之概念的示意圖；圖9 展示說明允許高效逐步解碼再新之編碼器及解碼器之實施例的示意圖；圖10 展示說明視訊資料串流由與全景場景之不同MCTS相關的子串流合成之360°串流式傳輸實例之實例的示意圖；且圖11 展示說明逐步解碼再新之示意圖。

1,2,3,4,5,6:子圖像ID

10:資料串流

14:合成器/合併器

16:視訊

18:圖像

20:呈現時間次序

22:解碼器

24:子圖像/圖像

26:邊界

28:子視訊

30:編碼器

32:子串流

34,34':NAL單元

36:參數集

Claims

一種用於自資料串流解碼圖像之視訊的視訊解碼器，該資料串流是由該視訊以該等圖像在空間上再分成之子圖像彼此獨立地編碼所根據的一方式編碼成，該視訊解碼器經組配以：針對該視訊之一或多個圖像的一集合之各圖像之各子圖像，自該資料串流解碼一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以該隨機存取點方式寫碼，針對一或多個圖像之該集合，自該資料串流解碼一隨機存取點發信粒度指示，該隨機存取點發信粒度指示在呈現一第一粒度時指出對於一或多個圖像之該集合之各圖像，該子圖像相關資訊呈現個別圖像之所有子圖像之一共同狀態，且在呈現一第二粒度時，指出對於一或多個圖像之該集合之各圖像，該子圖像相關資訊被允許呈現該個別圖像之該等子圖像之不同狀態。
如請求項1之視訊解碼器，其經組配以在以下情況下將該資料串流識別為一非一致資料串流：該隨機存取點發信粒度指示呈現該第一粒度且該子圖像相關資訊針對一或多個圖像之該集合之一預定圖像呈現該預定圖像之不同子圖像之不同狀態。
如請求項1及2中任一項之視訊解碼器，其中該隨機存取點發信粒度指示包含於該資料串流之一SPS或VPS中，且一或多個圖像之該集合包含該視訊之一系列圖像或覆蓋該視訊，或在該資料串流中按存取單元傳送，且一或多個圖像之該集合包含一個圖像。
如請求項1至3中任一項之視訊解碼器，其中該子圖像相關資訊包含一整數值語法元素，其區分多個NAL單元類型，該等多個NAL單元類型中之一或多個NAL單元類型之一第一子集對應於該第一狀態，且該等多個NAL單元類型中之一或多個NAL單元類型之一第二子集對應於該第二狀態。
如請求項1至4中任一項之視訊解碼器，其中該隨機存取點發信粒度指示以區分至少三個粒度之一形式在該資料串流中傳送，該至少三個粒度包含一個粒度，該粒度在由該隨機存取點發信粒度指示呈現時，指出對於一或多個圖像之該集合之各圖像，該子圖像相關資訊呈現該個別圖像之所有子圖像的該第一狀態，以及另一粒度，其在由該隨機存取點發信粒度指示呈現時，指出對於一或多個圖像之該集合之各圖像，該子圖像相關資訊呈現該個別圖像之所有子圖像的該第二狀態，以及又一粒度，其在由該隨機存取點發信粒度指示呈現時，指出對於一或多個圖像之該集合之各圖像，該子圖像相關資訊被允許呈現該個別圖像之該等子圖像的不同狀態。
如請求項1至5中任一項之視訊解碼器，其包含一解碼器圖像緩衝區(DPB)，且經組配以在該隨機存取點發信粒度指示呈現該第二粒度之情況下，回應於該子圖像相關資訊針對一或多個圖像之該集合之一預定圖像呈現該預定圖像之所有子圖像之該第一狀態而清空該DPB。
如請求項6之視訊解碼器，其經組配以：在該隨機存取點發信粒度指示呈現該第二粒度之情況下，在剖析或解碼當前經解碼圖像之所有子圖像之後執行該清空。
如請求項1至7中任一項之視訊解碼器，其包含一DPB，且經組配以在該隨機存取點發信粒度指示呈現該第一粒度之情況下，回應於該子圖像相關資訊針對一或多個圖像之該集合之一預定圖像呈現該預定圖像之一第一子圖像之該第一狀態而清空該DPB，該第一子圖像在該預定圖像之該等子圖像之間界定的一子圖像解碼次序中為第一。
如請求項8之視訊解碼器，其經組配以：在該隨機存取點發信粒度指示呈現該第一粒度之情況下，在剖析或解碼該當前經解碼圖像之該第一子圖像之後執行該清空。
如請求項1至9中任一項之視訊解碼器，其包含一DPB且經組配以：在該DPB中標記將保持於該DPB中以充當一預測參考之圖像，自該DPB移除未經標記且在未來顯示中不需要之圖像，在該隨機存取點發信粒度指示呈現該第二粒度之情況下，針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之一參考圖像緩衝區描述，且藉由針對該當前經解碼圖像形成由該當前經解碼圖像之該等子圖像之該等參考圖像緩衝區描述指出的參考圖像之集合之一聯集，來識別該DPB中待標記之該等圖像。
如請求項10之視訊解碼器，其經組配以：逐圖像循環地執行該DPB中將保持於該DPB中以充當一預測參考之該等圖像的該標記，及未經標記且在未來顯示中不需要的該等圖像自該DPB之該移除，且在該隨機存取點發信粒度指示呈現該第二粒度之情況下，在剖析或解碼該當前經解碼圖像之所有子圖像之後執行該移除。
如請求項1至11中任一項之視訊解碼器，其包含一DPB且經組配以：在該DPB中標記將保持於該DPB中以充當一預測參考之圖像，自該DPB移除未經標記且在未來顯示中不需要之圖像，在該隨機存取點發信粒度指示呈現該第一粒度之情況下，針對一當前經解碼圖像，自該資料串流解碼當前經解碼圖像之該子圖像中之一第一[例如在解碼/串流式傳輸次序中第一]子圖像的一參考圖像緩衝區描述，且針對該當前經解碼圖像，取決於該當前經解碼圖像之該第一子圖像之該參考圖像緩衝區描述，而識別該DPB中待標記之該等圖像。
如請求項12之視訊解碼器，其經組配以：逐圖像循環地執行該DPB中將保持於該DPB中以充當一預測參考之該等圖像的該標記，及未經標記且在未來顯示中不需要的該等圖像自該DPB之該移除，在該隨機存取點發信粒度指示呈現該第一粒度之情況下，在剖析或解碼該當前經解碼圖像之該第一子圖像之後執行該移除。
如請求項12或13之視訊解碼器，其經組配以在以下情況下將該資料串流識別為一非一致資料串流：由該當前經解碼圖像之除該第一子圖像以外的任何子圖像之該參考圖像緩衝區描述指出的參考圖像之一集合，其包含由該當前經解碼圖像之該第一子圖像之該參考圖像緩衝區描述指出的參考圖像之一集合不包含的該DPB中之一參考圖像。
如請求項1至14中任一項之視訊解碼器，其中該等圖像以在一系列圖像內連續的一方式在空間上再分成該等子圖像，使得子視訊經寫碼成該系列圖像，且在該系列圖像中之各圖像中，一個子圖像屬於該等子視訊中之一者，且其中各子圖像獨立於該等圖像之屬於一不同子視訊的子圖像而編碼，該視訊解碼器包含一DPB且經組配以在該隨機存取點發信粒度指示呈現該第二粒度之情況下，執行以子圖像為單位排空該DPB，且在該隨機存取點發信粒度指示呈現該第一粒度之情況下，執行以圖像為單位排空該DPB。
如請求項15之視訊解碼器，其經組配以：在該隨機存取點發信粒度指示呈現該第二粒度之情況下，針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之一參考圖像緩衝區描述，且對於各子視訊，使用該當前經解碼圖像之屬於個別子視訊的一子圖像之該參考圖像緩衝區描述，以在該DPB中屬於該個別子視訊之子圖像當中識別出應保持於該DPB中之子圖像。
如請求項15之視訊解碼器，其經組配以：在該隨機存取點發信粒度指示呈現該第二粒度之情況下，將該DPB分裂成子圖像DPB，該等子圖像DPB至少包含該等圖像在空間上再分成之各子圖像之一個子圖像DPB，針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之一參考圖像緩衝區描述及一子圖像識別符，且藉由將各子圖像DPB用於與個別子圖像DPB相關聯之一預定子圖像識別符之子圖像的緩衝而緩衝該DPB中之該等圖像之該等子圖像，對於各子圖像DPB，檢測該當前經解碼圖像是否含有一對應子圖像，該對應子圖像之該子圖像識別符等於與該個別子圖像DPB相關聯之該預定子圖像識別符，且若是，則使用該對應子圖像之該參考圖像緩衝區描述以識別該個別子圖像DPB中應保持於該DPB中之子圖像。
如請求項17之視訊解碼器，其經組配以：在該隨機存取點發信粒度指示呈現該第二粒度之情況下，若該當前經解碼圖像不含有一對應子圖像，該對應子圖像之該子圖像識別符等於與該個別子圖像DPB相關聯之該預定子圖像識別符，則清空該個別子圖像DPB且將該個別子圖像DPB再指派至該當前經解碼圖像之一非對應子圖像之另一預定子圖像識別符，該預定子圖像識別符不等於所有子圖像DPB之該預定子圖像識別符。
如請求項1至18中任一項之視訊解碼器，其中該等圖像以在一系列圖像內連續的一方式在空間上再分成該等子圖像，使得子視訊經寫碼成一系列圖像，且在該系列圖像中之各圖像中，一個子圖像屬於該等子視訊中之一者，且其中各子圖像獨立於該等圖像之屬於一不同子視訊的子圖像而編碼，該視訊解碼器經組配以針對一或多個圖像的該集合之各圖像之各子圖像，自該資料串流解碼一第一圖像次序計數(POC)值，若該隨機存取點發信粒度指示呈現該第二粒度，則針對各子視訊管理可使一可參數化函數參數化之一或多個子圖像間POC補償參數，該可參數化函數在應用於針對一當前經解碼圖像之屬於該個別子視訊之一子圖像解碼的該第一POC值時，得到一最終POC值，使得該當前經解碼圖像之該等子圖像之該等最終POC值彼此相等。
如請求項19之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC補償偏移，該POC補償偏移藉由該可參數化函數使針對該個別子視訊之子圖像解碼的該第一POC值偏移，且該視訊解碼器經組配以在遇到屬於該預定子視訊之一第一子圖像後重設一預定圖像之一預定子視訊之該POC補償偏移，其中該子圖像相關資訊使用針對該第一子圖像解碼之一第一POC值與另一子圖像之一最終POC值之間的一差來呈現該第一狀態，其中該子圖像相關資訊呈現該第二狀態且該第二狀態由一圖像包含，該圖像包含該第一子圖像。
如請求項19或20之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC補償偏移，該POC補償偏移藉由該可參數化函數使針對該個別子視訊之子圖像解碼的該第一POC值偏移，且該視訊解碼器經組配以若該子圖像相關資訊呈現一預定圖像之所有子圖像之該第一狀態，則將該預定圖像之該等子圖像所屬於之所有子視訊之該POC補償偏移相等地設定成一預設POC值。
如請求項19至21中任一項之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC步長定標因數，該POC步長定標因數藉由該可參數化函數對該最終POC值定標。
如請求項22之視訊解碼器，其經組配以針對各子視訊自該資料串流導出該POC步長定標因數。
如請求項19至23中任一項之視訊解碼器，其經組配以：將該最終POC值用於圖像輸出及/或經緩衝參考圖像之參考。
如請求項19至24中任一項之視訊解碼器，其經組配以：針對各子視訊將針對屬於該個別子視訊之該等子圖像解碼的該等POC值用於對在解碼屬於該個別子視訊之該等子圖像時使用的運動向量預測候選者定標。
如請求項19至25中任一項之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC步長定標因數，該POC步長定標因數藉由該可參數化函數對該最終POC值定標，且該視訊解碼器經組配以：針對各子視訊，藉由對該等最終POC值反向定標以便獲得經反向定標POC值來執行在解碼屬於該個別子視訊之該等子圖像時使用的運動向量預測候選者定標，且將該等經反向定標POC值用於對在解碼屬於該個別子視訊之該等子圖像時使用的運動向量預測候選者定標。
一種用於自資料串流解碼圖像之視訊的視訊解碼器，該資料串流是由該視訊以該等圖像在空間上再分成之子圖像彼此獨立地編碼所根據的一方式編碼成，該視訊解碼器包含一解碼器圖像緩衝區(DPB)且經組配以：針對該視訊之各圖像之各子圖像，自該資料串流解碼一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以一隨機存取點方式寫碼，回應於該子圖像相關資訊針對該視訊之一預定圖像呈現該預定圖像之所有子圖像之該第一狀態而清空該DPB。
如請求項27之視訊解碼器，其經組配以：在剖析或解碼該預定圖像之所有子圖像之後執行該清空。
如請求項27至28中任一項之視訊解碼器，其經組配以回應於在該資料串流中之一發信，回應於該子圖像相關資訊針對一或多個圖像之該集合之一預定圖像呈現該預定圖像之一第一子圖像之該第一狀態而清空該DPB，該第一子圖像在該預定圖像之該等子圖像之間界定的一子圖像解碼次序中為第一。
如請求項29之視訊解碼器，其經組配以：回應於該子圖像相關資訊呈現該第一子圖像之該第一狀態，在剖析或解碼該當前經解碼圖像之該第一子圖像之後執行清空該DPB。
如請求項27至30中任一項之視訊解碼器，其經組配以：在該DPB中標記將保持於該DPB中以充當一預測參考之圖像，自該DPB移除未經標記且在未來顯示中不需要之圖像，針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之一參考圖像緩衝區描述，且藉由針對該當前經解碼圖像形成由該當前經解碼圖像之該等子圖像之該等參考圖像緩衝區描述指出的參考圖像之集合之一聯集，來識別該DPB中待標記之該等圖像。
一種用於自資料串流解碼圖像之視訊的視訊解碼器，該資料串流是由該視訊以該等圖像在空間上再分成之子圖像彼此獨立地編碼所根據的一方式編碼成，該視訊解碼器包含一解碼器圖像緩衝區(DPB)且經組配以：在該DPB中標記將保持於該DPB中以充當一預測參考之圖像，自該DPB移除未經標記且在未來顯示中不需要之圖像，針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之一參考圖像緩衝區描述，且藉由針對該當前經解碼圖像形成由該當前經解碼圖像之該等子圖像之該等參考圖像緩衝區描述指出的參考圖像之集合之一聯集，來識別該DPB中待標記之該等圖像。
如請求項31或32之視訊解碼器，其經組配以：逐圖像循環地執行該DPB中將保持於該DPB中以充當一預測參考之該等圖像的該標記，及未經標記且在未來顯示中不需要的該等圖像自該DPB之該移除，且在剖析或解碼該當前經解碼圖像之所有子圖像之後執行該移除。
如請求項31或32或33中任一項之視訊解碼器，其經組配以回應於在該資料串流中之一發信，針對該當前經解碼圖像，取決於該當前經解碼圖像之一第一子圖像之該參考圖像緩衝區描述，而識別該DPB中待標記之該等圖像。
如請求項34之視訊解碼器，其經組配以回應於在該資料串流中之一發信，在以下情況下將該資料串流識別為一非一致資料串流：由該當前經解碼圖像之除該第一子圖像以外的任何子圖像之該參考圖像緩衝區描述指出的參考圖像之一集合，其包含由該當前經解碼圖像之該第一子圖像之該參考圖像緩衝區描述指出的參考圖像之一集合不包含的該DPB中之一參考圖像。
一種用於自資料串流解碼圖像之視訊的視訊解碼器，該資料串流是由該視訊以一方式編碼成，根據該方式，該等圖像以在一系列圖像內連續的一方式在空間上再分成子圖像，使得子視訊經寫碼成該系列圖像，且在該系列圖像中之各圖像中，一個子圖像屬於該等子視訊中之一者，且其中各子圖像獨立於該等圖像之屬於一不同子視訊的子圖像而編碼，該視訊解碼器包含一解碼器圖像緩衝區(DPB)且經組配以：以子圖像為單位執行排空該DPB。
如請求項36之視訊解碼器，其經組配以：針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之一參考圖像緩衝區描述，且對於各子視訊，使用該當前經解碼圖像之屬於個別子視訊的一子圖像之該參考圖像緩衝區描述，以在該DPB中屬於該個別子視訊之子圖像當中識別出應保持於該DPB中之子圖像。
如請求項36之視訊解碼器，其經組配以：將該DPB分裂成子圖像DPB，該等子圖像DPB至少包含該等圖像在空間上再分成之各子圖像之一個子圖像DPB，針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之資訊、一參考圖像緩衝區描述及一子圖像識別符，且藉由將各子圖像DPB用於與個別子圖像DPB相關聯之一預定子圖像識別符之子圖像的緩衝，緩衝該DPB中之該等圖像之該等子圖像，對於各子圖像DPB，檢測該當前經解碼圖像是否含有一對應子圖像，該對應子圖像之該子圖像識別符等於與該個別子圖像DPB相關聯之該預定子圖像識別符，且若是，則使用該對應子圖像之該參考圖像緩衝區描述以識別該個別子圖像DPB中應保持於該DPB中之子圖像。
如請求項38之視訊解碼器，其經組配以：在剖析或解碼該當前經解碼圖像之該對應子圖像之後且在解碼該當前經解碼圖像之下一子圖像之前，移除該個別子圖像DPB中不屬於該個別子圖像DPB中應保持於該DPB中之該等子圖像的子圖像。
如請求項38至39中任一項之視訊解碼器，其經組配以：若該當前經解碼圖像不含有一對應子圖像，該對應子圖像之該子圖像識別符等於與該個別子圖像DPB相關聯之該預定子圖像識別符，則清空該個別子圖像DPB且將該個別子圖像DPB再指派至該當前經解碼圖像之一非對應子圖像之另一預定子圖像識別符，該預定子圖像識別符不等於所有子圖像DPB之該預定子圖像識別符。
如請求項36至40中任一項之視訊解碼器，其經組配以回應於在該資料串流中之一發信，以圖像為單位執行排空該DPB。
如請求項36至41中任一項之視訊解碼器，其經組配以回應於在該資料串流中之一發信，取決於由該個別圖像之一首先遇到之子圖像之該資料串流所包含的一參考圖像緩衝區描述，在各圖像處執行排空該DPB。
如請求項36至42中任一項之視訊解碼器，其經組配以回應於在該資料串流中之一發信，在剖析或解碼該個別圖像之一首先遇到之子圖像之後，取決於由該首先遇到之子圖像之該資料串流所包含的一參考圖像緩衝區描述，在各圖像處執行排空該DPB。
一種用於自資料串流解碼圖像之視訊的視訊解碼器，該資料串流是由該視訊以一方式編碼成，根據該方式，該等圖像以在一系列圖像內連續的一方式在空間上再分成子圖像，使得子視訊經寫碼成該系列圖像，且在該系列圖像中之各圖像中，一個子圖像屬於該等子視訊中之一者，且其中各子圖像獨立於該等圖像之屬於一不同子視訊的子圖像而編碼，該視訊解碼器經組配以：針對該視訊之各圖像之各子圖像，自該資料串流解碼一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以該隨機存取點方式寫碼，針對該視訊之各圖像之各子圖像，自該資料串流解碼一第一圖像次序計數(POC)值，針對各子視訊管理可使一可參數化函數參數化之一或多個子圖像間POC補償參數，該可參數化函數在應用於針對一當前經解碼圖像之屬於該個別子視訊之一子圖像解碼的該第一POC值時，得到一最終POC值，使得該當前經解碼圖像之該等子圖像之該等最終POC值彼此相等。
如請求項44之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC補償偏移，該POC補償偏移藉由該可參數化函數使針對該個別子視訊之子圖像解碼的該第一POC值偏移，且該視訊解碼器經組配以：在遇到屬於該預定子視訊之一第一子圖像後重設一預定圖像之一預定子視訊之該POC補償偏移，其中該子圖像相關資訊使用針對該第一子圖像解碼之一第一POC值與另一子圖像之一最終POC值之間的一差來呈現該第一狀態，其中該子圖像相關資訊呈現該第二狀態且該第二狀態由一圖像包含，該圖像包含該第一子圖像。
如請求項44或45之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC補償偏移，該POC補償偏移藉由該可參數化函數使針對該個別子視訊之子圖像解碼的該第一POC值偏移，且該視訊解碼器經組配以：若該子圖像相關資訊呈現一預定圖像之所有子圖像之該第一狀態，則將該預定圖像之該等子圖像所屬於之所有子視訊之該POC補償偏移相等地設定成一預設POC值。
如請求項44至46中任一項之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC步長定標因數，該POC步長定標因數藉由該可參數化函數對該最終POC值定標。
如請求項47之視訊解碼器，其經組配以針對各子視訊自該資料串流導出該POC步長定標因數。
如請求項44至48中任一項之視訊解碼器，其經組配以：將該最終POC值用於圖像輸出及/或經緩衝參考圖像之參考。
如請求項44至49中任一項之視訊解碼器，其經組配以：針對各子視訊將針對屬於該個別子視訊之該等子圖像解碼的該等POC值用於對在解碼屬於該個別子視訊之該等子圖像時使用的運動向量預測候選者定標。
如請求項44至50中任一項之視訊解碼器，其中對於各子視訊，該一或多個子圖像間POC補償參數包含一POC步長定標因數，該POC步長定標因數藉由該可參數化函數對該最終POC值定標，且該視訊解碼器經組配以針對各子視訊，藉由對該等最終POC值反向定標以便獲得經反向定標POC值來執行在解碼屬於該個別子視訊之該等子圖像時使用的運動向量預測候選者定標，且將該等經反向定標POC值用於對在解碼屬於該個別子視訊之該等子圖像時使用的運動向量預測候選者定標。
一種用於自資料串流解碼圖像之視訊的視訊解碼器，該視訊解碼器經組配以：針對該視訊之參考圖像中之每一者記錄個別參考圖像成一再新圖像區域及非再新圖像區域之再分，自該資料串流解碼關於一當前經解碼圖像內之一再新更新區域的一資訊，且使用框內預測自該資料串流解碼該再新更新區域，判定該當前經解碼圖像之一第一區域，該第一區域與該再新更新區域不相交且將獨立於該等參考圖像之該非再新圖像區域而經寫碼，藉由基於在該第一區域之該資料串流中發信之寫碼參數自該等參考圖像導出該第一區域之一預測，以取決於該等參考圖像之該再新圖像區域之一位置的一方式自該資料串流解碼該第一區域，使得該預測獨立於該等參考圖像之該非再新圖像區域，且將該當前經解碼圖像之一再新圖像區域判定為該第一區域及該再新更新區域之一聯集。
如請求項52之視訊解碼器，其中該第一區域鄰接該再新更新區域。
如請求項52至53中任一項之視訊解碼器，其經組配以將該當前經解碼圖像之該第一區域判定為該當前經解碼圖像之與一緊接在前經解碼之圖像之一再新圖像區域共置的一區域。
如請求項52至54中任一項之視訊解碼器，其中該等寫碼參數包含運動向量及/或至運動向量候選者清單中之運動向量索引。
如請求項52至55中任一項之視訊解碼器，其經組配以藉由執行以下操作中之一或多者來執行導出該預測：剪輯運動向量以免該等參考圖像之參考部分與該等參考圖像之該非再新圖像區域重疊，自該再新圖像區域填補該等參考圖像之由運動向量參考且與該等參考圖像之該非再新圖像區域重疊的部分，自運動向量預測子候選者清單排除該等參考圖像之該非再新圖像區域之運動向量，該運動向量預測子候選者清單中之運動索引針對第一區域點發信。
如請求項52至56中任一項之視訊解碼器，其經組配以：藉由自該等參考圖像之該再新圖像區域以及該非再新圖像區域預測該第二區域而解碼一第二區域，該第二區域與該第一區域及該再新更新區域不相交。
如請求項52至57中任一項之視訊解碼器，其經組配以：針對一預定圖像解碼一逐步解碼再新信號化，且回應於此，藉由使各參考圖像完全由該非再新圖像區域合成而開始記錄該個別參考圖像成該再新圖像區域及該非再新圖像區域之該再分，使用框內預測自該資料串流解碼該預定圖像之一再新更新區域，且藉由自該等參考圖像之該非再新圖像區域預測該第二區域而解碼該預定圖像之一第二區域，且將該預定圖像之一再新圖像區域判定為該預定圖像之該再新更新區域。
如請求項58之視訊解碼器，其經組配以：自該逐步解碼再新信號化導出關於在該預定圖像處開始之一系列圖像之一再新更新區域的一資訊，其中該系列圖像之該等再新更新區域彼此不重疊且完全覆蓋該視訊之一圖像區域。
如請求項58或59之視訊解碼器，其經組配以：自相較於包含該逐步解碼再新信號化之一第二參數集合具有更大範疇的該資料串流之一第一參數集合，導出關於在該預定圖像處開始之一系列圖像之一再新更新區域的資訊。
如請求項60之視訊解碼器，其中該第一參數集合為一序列參數集且該第二參數集合為一圖像參數集。
一種視訊合成設備，其經組配以自多個子串流合成一經合成資料串流，經合成視訊資料串流是由再分成子圖像之經合成圖像之一經合成視訊編碼成，其中該等子串流是由該經合成視訊之該等經合成圖像之該等子圖像以一方式編碼成，該方式使得對於各經合成圖像，個別經合成圖像之各子圖像獨立於經編碼成該等子串流中之其他者的該個別經合成視訊之其他子圖像而編碼成該等子串流中之一者，該視訊合成設備經組配以藉由將該等子串流放置在一起來合成該經合成資料串流，其中對於各子串流，針對經編碼成個別子串流之各子圖像將一子圖像相關資訊自該個別子串流接受至該經合成資料串流中，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以一隨機存取點方式寫碼，在該經合成資料串流中針對一系列經合成圖像設定一隨機存取點發信粒度指示以便呈現一第一粒度，藉此指示對於該系列經合成圖像中之各經合成圖像，該子圖像相關資訊被允許呈現該個別經合成圖像之該等子圖像的不同狀態。
如請求項62之視訊合成，其經組配以：在藉由將該等子串流放置在一起來合成該經合成資料串流時，對於各子串流，針對經編碼成該個別子串流之各子圖像將關於參考圖像之一集合的資訊自該個別子串流接受至該經合成資料串流中。
如請求項62之視訊合成，其經組配以：在藉由將該等子串流放置在一起來合成該經合成資料串流時，對於各子串流，針對經編碼成該個別子串流之各子圖像將一圖像次序計數(POC)值自該個別子串流接受至該經合成資料串流中。
如請求項64之視訊合成，其經組配以：在藉由將該等子串流放置在一起來合成該經合成資料串流時，對於各子串流，將一或多個子圖像間POC補償參數寫入至經該合成資料串流中，該一或多個子圖像間POC補償參數用於使一可參數化函數參數化，使得該可參數化函數在應用於經編碼成該個別子串流之子圖像之該等POC值時，得到對於一個經合成圖像中之子圖像相等的一最終POC值。
一種視訊合成設備，其經組配以自多個子串流合成一經合成資料串流，經合成視訊資料串流是由再分成子圖像之經合成圖像之一經合成視訊編碼成，其中該等子串流是由該經合成視訊之該等經合成圖像之該等子圖像以一方式編碼成，該方式使得對於各經合成圖像，個別經合成圖像之各子圖像獨立於經編碼成該等子串流中之其他者的該個別經合成視訊之其他子圖像而編碼成該等子串流中之一者，該視訊合成設備經組配以：在藉由將該等子串流放置在一起來合成該經合成資料串流時，對於各子串流，針對經編碼成個別子串流之各子圖像將關於個別子圖像之參考圖像之一集合的資訊自該個別子串流接受至該經合成資料串流中。
一種視訊合成設備，其經組配以自多個子串流合成一經合成資料串流，經合成視訊資料串流是由再分成子圖像之經合成圖像之一經合成視訊編碼成，其中該等子串流是由該經合成視訊之該等經合成圖像之該等子圖像以一方式編碼成，該方式使得對於各經合成圖像，個別經合成圖像之各子圖像獨立於經編碼成該等子串流中之其他者的該個別經合成視訊之其他子圖像而編碼成該等子串流中之一者，該視訊合成設備經組配以：藉由將該等子串流放置在一起來合成該經合成資料串流，其中對於各子串流，針對經編碼成該個別子串流之各子圖像將一圖像次序計數(POC)值自該個別子串流接受至該經合成資料串流中。
如請求項67之視訊合成，其經組配以：在藉由將該等子串流放置在一起來合成該經合成資料串流時，對於各子串流，將一或多個子圖像間POC補償參數寫入至經該合成資料串流中，該一或多個子圖像間POC補償參數用於使一可參數化函數參數化，使得該可參數化函數在應用於經編碼成該個別子串流之子圖像之該等POC值時，得到對於一個經合成圖像中之子圖像相等的一最終POC值。
一種資料串流，其使圖像之一視訊以該等圖像在空間上再分成之子圖像彼此獨立地編碼所根據的一方式編碼成該資料串流，該資料串流包含：針對該視訊之一或多個圖像的一集合之各圖像之各子圖像的一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以該隨機存取點方式寫碼，針對一或多個圖像之該集合的一隨機存取點發信粒度指示，該隨機存取點發信粒度指示在呈現一第一粒度時指出對於一或多個圖像之該集合之各圖像，該子圖像相關資訊呈現個別圖像之所有子圖像之一共同狀態，且在呈現一第二粒度時，指出對於一或多個圖像之該集合之各圖像，允許該子圖像相關資訊呈現該個別圖像之該等子圖像之不同狀態。
一種資料串流，其使圖像之一視訊以一方式編碼成該資料串流，根據該方式，該等圖像以在一系列圖像內連續的一方式在空間上再分成子圖像，使得子視訊經寫碼成該系列圖像，且在該系列圖像中之各圖像中，一個子圖像屬於該等子視訊中之一者，且其中各子圖像獨立於該等圖像之屬於一不同子視訊的子圖像而編碼，該資料串流包含：針對該視訊之各圖像之各子圖像的一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以該隨機存取點方式寫碼，且一或多個子圖像間圖像次序計數(POC)補償參數，其用於使一可參數化函數參數化，使得該可參數化函數在應用於經編碼成個別子串流之子圖像之POC值時，得到對於一個經合成圖像中之子圖像相等的一最終POC值。
一種用於將圖像之視訊編碼成資料串流之視訊編碼器，該視訊編碼器經組配以：針對該視訊之參考圖像中之每一者記錄個別參考圖像成一再新圖像區域及非再新圖像區域之再分，將關於一當前經解碼圖像內之一再新更新區域的一資訊編碼成該資料串流，且使用框內預測將該再新更新區域編碼成該資料串流，判定該當前經解碼圖像之一第一區域，該第一區域與該再新更新區域不相交且將獨立於該等參考圖像之該非再新圖像區域而經寫碼，藉由基於在該第一區域之該資料串流中發信之寫碼參數自該等參考圖像導出該第一區域之一預測，以取決於該等參考圖像之該再新圖像區域之一位置的一方式將該第一區域編碼成該資料串流，使得該預測獨立於該等參考圖像之該非再新圖像區域，且將該當前經解碼圖像之一再新圖像區域判定為該第一區域及該再新更新區域之一聯集。
一種用於自資料串流解碼圖像之視訊的方法，該資料串流是由該視訊以該等圖像在空間上再分成之子圖像彼此獨立地編碼所根據的一方式編碼成，該方法包含：針對該視訊之一或多個圖像的一集合之各圖像之各子圖像，自該資料串流解碼一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以該隨機存取點方式寫碼，針對一或多個圖像之該集合，自該資料串流解碼一隨機存取點發信粒度指示，該隨機存取點發信粒度指示在呈現一第一粒度時指出對於一或多個圖像之該集合之各圖像，該子圖像相關資訊呈現個別圖像之所有子圖像之一共同狀態，且在呈現一第二粒度時，指出對於一或多個圖像之該集合之各圖像，允許該子圖像相關資訊呈現該個別圖像之該等子圖像之不同狀態。
一種用於自資料串流解碼圖像之視訊的方法，該資料串流是由該視訊以該等圖像在空間上再分成之子圖像彼此獨立地編碼所根據的一方式編碼成，該方法包含：針對該視訊之各圖像之各子圖像，自該資料串流解碼一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以一隨機存取點方式寫碼，回應於該子圖像相關資訊針對該視訊之一預定圖像呈現該預定圖像之所有子圖像之該第一狀態而清空在解碼該視訊時使用之一解碼器圖像緩衝區(DPB)。
一種用於自資料串流解碼圖像之視訊的方法，該資料串流是由該視訊以該等圖像在空間上再分成之子圖像彼此獨立地編碼所根據的一方式編碼成，該方法包含：標記在解碼該視訊時使用之一解碼器圖像緩衝區(DPB)中應保持於該DPB中以充當一預測參考的圖像，自該DPB移除未經標記且在未來顯示中不需要之圖像，針對一當前經解碼圖像，自該資料串流解碼該當前經解碼圖像之各子圖像之一參考圖像緩衝區描述，且藉由針對該當前經解碼圖像形成由該當前經解碼圖像之該等子圖像之該等參考圖像緩衝區描述指出的參考圖像之集合之一聯集，來識別該DPB中待標記之該等圖像。
一種用於自資料串流解碼圖像之視訊的方法，該資料串流是由該視訊以一方式編碼成，根據該方式，該等圖像以在一系列圖像內連續的一方式在空間上再分成子圖像，使得子視訊經寫碼成該系列圖像，且在該系列圖像中之各圖像中，一個子圖像屬於該等子視訊中之一者，且其中各子圖像獨立於該等圖像之屬於一不同子視訊的子圖像而編碼，該方法包含：以子圖像為單位對在解碼該視訊時使用之一解碼器圖像緩衝區(DPB)執行排空。
一種用於自資料串流解碼圖像之視訊的方法，該資料串流是由該視訊以一方式編碼成，根據該方式，該等圖像以在一系列圖像內連續的一方式在空間上再分成子圖像，使得子視訊經寫碼成該系列圖像，且在該系列圖像中之各圖像中，一個子圖像屬於該等子視訊中之一者，且其中各子圖像獨立於該等圖像之屬於一不同子視訊的子圖像而編碼，該方法包含：針對該視訊之各圖像之各子圖像，自該資料串流解碼一子圖像相關資訊，該子圖像相關資訊在呈現一第一狀態時將個別子圖像識別為以一隨機存取點方式寫碼，且在呈現一第二狀態時將該個別子圖像識別為不以該隨機存取點方式寫碼，針對該視訊之各圖像之各子圖像，自該資料串流解碼一第一圖像次序計數(POC)值，針對各子視訊管理可使一可參數化函數參數化之一或多個子圖像間POC補償參數，該可參數化函數在應用於針對一當前經解碼圖像之屬於該個別子視訊之一子圖像解碼的該第一POC值時，得到一最終POC值，使得該當前經解碼圖像之該等子圖像之該等最終POC值彼此相等。
一種用於自資料串流解碼圖像之視訊的方法，該方法包含：針對該視訊之參考圖像中之每一者記錄個別參考圖像成一再新圖像區域及非再新圖像區域之再分，自該資料串流解碼關於一當前經解碼圖像內之一再新更新區域的一資訊，且使用框內預測自該資料串流解碼該再新更新區域，判定該當前經解碼圖像之一第一區域，該第一區域與該再新更新區域不相交且將獨立於該參考圖像之該非再新圖像區域而經解碼，藉由基於在該第一區域之該資料串流中發信之寫碼參數自該等參考圖像導出該第一區域之一預測，以取決於該等參考圖像之該再新圖像區域之一位置的一方式自該資料串流解碼該第一區域，使得該預測獨立於該等參考圖像之該非再新圖像區域，且將該當前經解碼圖像之一再新圖像區域判定為該第一區域及該再新更新區域之一聯集。
一種用於將圖像之視訊編碼成資料串流的方法，該方法包含：針對該視訊之參考圖像中之每一者記錄個別參考圖像成一再新圖像區域及非再新圖像區域之再分，將關於一當前經解碼圖像內之一再新更新區域的一資訊編碼成該資料串流，且使用框內預測將該再新更新區域編碼成該資料串流，判定該當前經解碼圖像之一第一區域，該第一區域與該再新更新區域不相交且將獨立於該等參考圖像之該非再新圖像區域而經寫碼，藉由基於在該第一區域之該資料串流中發信之寫碼參數自該等參考圖像導出該第一區域之一預測，以取決於該等參考圖像之該再新圖像區域之一位置的一方式將該第一區域編碼成該資料串流，使得該預測獨立於該等參考圖像之該非再新圖像區域，且將該當前經解碼圖像之一再新圖像區域判定為該第一區域及該再新更新區域之一聯集。
一種資料串流，其藉由如請求項78之方法編碼。