TWI817099B

TWI817099B - 視訊的編碼與解碼

Info

Publication number: TWI817099B
Application number: TW110111131A
Authority: TW
Inventors: 奈爾奧德果; 派翠斯昂諾; 吉羅姆拉契
Original assignee: 日商佳能股份有限公司
Priority date: 2020-03-27
Filing date: 2021-03-26
Publication date: 2023-10-01
Also published as: WO2021191159A1; US20230121486A1; TW202137768A; GB2593549B; CN115362684A; GB2593549A; JP2023518925A; CL2022002565A1; CL2022003212A1; GB2593543A; CL2022003217A1; KR20220160029A; GB202004958D0; JP7490068B2; GB2593543B; CL2022003218A1; CL2022003214A1; BR112022016463A2; CL2022003216A1; EP4128785A1

Abstract

一序列的影像被編碼於位元流中成為一連串的圖像單元PU-01~03。各個圖像單元對應於一個編碼影像並且包含一或更多網路抽象層(NAL)單元NAL-01~23。所述NAL單元可以為：視訊編碼層(VCL)NAL單元，其各個包含有編碼影像資料；或適應參數集NAL單元，其各個包含適應參數集(APS)，具有對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數。APS NAL單元可以為前置APS NAL單元P-APS或者尾置APS NAL單元S-APS。應用至該位元流的額外侷限為禁止在圖像單元中包含前置APS NAL單元，在有關圖像單元的第一NAL單元之後。這可以避免一個以上的APS應用至屬於相同圖像單元的切片中，並且，因此，降低了APS緩衝器的大小。或者，或額外地，它允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。當在編碼視訊序列中，以特定時序執行隨機存取解碼時，這可以降低重寫操作。

Description

視訊的編碼與解碼

本發明關係於視訊編碼與解碼，更明確地說，關係於使用適應參數集(APS)的視訊編碼與解碼。

近來，由MPEG與ITU-T研究群16的VCEG所形成之合作團隊，即結合視訊專家群(JVET)開始被稱為多功能視訊編碼(VVC)的新的視訊編碼標準的工作。VVC的目標為對現存HEVC標準的壓縮效能提供顯著改良(即，典型多達以前的兩倍)，並且，在2020年完成。主要目標應用與服務包含-但並不限於-360度與高動態範圍(HDR)視訊。總言之，JVET使用由獨立測試實驗室所進行的正式主觀測試，來評估來自32個組織的回應。當相較於使用HEVC時，一些提案展現典型40%或更高的壓縮效率增益。在超高解析度(UHD)視訊測試材料上，顯示有特別效果。因此，我們可以期待最終標準的壓縮效率增益將遠超過該所定50%的目標。

VVC提供適應參數集或APS以表達可以為編碼視訊序列的一或更多切片所共用的參數。VVC Draft8定義APS為包含有語法元件的語法結構，這些語法元件應用至在切片或圖像信頭中所找到的零或更多語法元件所決定的零或更多切片。一個以上的APS可以被應用至屬於相同編碼圖像的切片。圖像單元對應於剛好一個編碼圖像。圖像單元隨後為一組網路抽象層(NAL)單元。在VVC Draft8中，當具有相同APS類型與相同APS識別碼時，任何出現在圖像單元內的APS係被侷限為共用相同內容。同時，當圖像單元被使用可能參考在切片NAL單元前送出的APS的幾個切片加以編碼時，當在編碼視訊序列中以特定計時執行隨機存取解碼時，一些組態可能需要額外解碼操作，以在記憶體中保留使用中的APS，及/或位元流重寫操作。

因此，吾人想要改良APS的編碼與其參考。

依據本發明的第一態樣，其中提供一種編碼在位元流中之一序列影像的方法，包含：提供在該位元流中之一連串的圖像單元，各個所述圖像單元對應一編碼影像並包含一或更多網路抽象層(NAL)單元，可以包含在該連串的圖像單元中的所述NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含一適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可以包含在該連串圖像單元中的該APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中；及禁止在該圖像單元中包含前置APS NAL單元，在該有關圖像單元的第一NAL單元之後。

這可以解決在VVC8中，兩版本的APS可能應用至相同圖像單元的不同切片之問題。然後，為了解碼該位元流，該解碼器必須在記憶體中儲存兩版本的APS，以用於給定對的該APS識別碼與APS類型的值。在最差情況例子中，解碼器可能必須將記憶體大小變雙倍(以維持兩版本各個APS)，以儲存解碼圖像單元所需的所述APS。另外，解碼器必須維持VCL NAL單元相對於該APS NAL單元的順序，以確定哪些VCL NAL單元參考第一或第二版本的APS NAL單元。藉由禁止在圖像單元中包含前置APS NAL單元，在有關圖像單元中的第一NAL單元之後，需要兩版本的APS的一些狀況可以免除。

依據本發明的第二態樣，其中提供一種編碼一序列影像的方法，其係與第一態樣者相同，而與第一態樣的禁止在該圖像單元中包含前置APS NAL單元，在有關圖像單元的第一NAL單元之後不同，該第二態樣涉及禁止在該圖像單元中包含尾置APS NAL單元，在有關圖像單元的最後NAL單元之前。

此方法係針對相同問題但與第一態樣方法的互補。藉由在有關圖像單元的最後NAL單元之前，禁止在該圖像單元中包含尾置APS NAL單元，需要兩版本APS的一些狀況可以免除。

也有可能同時進行禁止在圖像單元中包含前置APS NAL單元，在有關圖像單元的最後NAL單元之前，以及，禁止在該圖像單元中包含前置APS NAL單元，在有關圖像單元的第一NAL單元之後。這可以進一步加強免除需要兩版本APS的情況。

依據本發明的第三態樣，其中提供一種編碼在位元流中之一序列影像的方法，包含：提供在該位元流中之一連串圖像單元，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可以包含在該連串圖像單元中的所述NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且同時也包含適應參數集NAL單元，其各個包含適應參數集(APS)，其具有用以針對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型的處理操作的參數，及可以包含在該連串圖像單元中的該APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中，如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中，各個APS NAL單元具有APS類型與APS識別碼；及允許在相同圖像單元中包含前置APS NAL單元與尾置APS NAL單元，其具有相同APS類型與相同APS識別碼，但不同內容。

允許在相同圖像單元中，包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元完成超越VVC8的侷限的新自由度。在VVC8中，即使APS NAL單元有不同(前置與尾置)類型，但它們也不能出現在一個圖像單元中。

當應用執行對位元流的隨機存取，以開始在某一圖像單元(隨機存取點)的解碼，應用可能必須在該圖像單元的VCL NAL單元之前，提供某些APS NAL單元。例如，應用可以在圖像單元的開始處插入必要的APS NAL單元。但所得之位元流似乎違反了VVC8的某些侷限。這可能隨後造成解碼進入錯誤狀態。

一侷限為尾置APS NAL單元可以被插入在該PU的第一VCL NAL單元之前，不同於當該APS被送出在該PU的第一VCL NAL之前，編碼器必須使用前置APS NAL單元的侷限。同時，所述插入也可能造成圖像單元具有尾置與前置APS NAL單元，其包含具有相同識別碼與類型但不同內容的APS，這並不為VVC8所允許。

應用可能因此必須重寫APS NAL單元的APS類型(nal_unit_type )，以產生新的前置APS NAL單元。另外，應用也可能必須移動與重寫尾置APS NAL單元成為在下一PU的開始處的新前置APS NAL單元。如果此下一PU也剛好包含與新前置APS NAL單元具有相同類型識別碼與類型的APS NAL單元，則應用也可能必須移動與重寫該APS NAL單元。

這些使得位元流符合VVC8的移動操作成本很大，因為在最差情況中，在隨機存取圖像單元後，它們可能需要重寫該PU的所有APS NAL單元。

本發明的第三態樣的方法提出、移除或修改對語法結構的侷限，以確保有較少或甚至沒有重寫操作。

一實施例更包含：禁止包含尾置APS NAL單元的圖像單元的VCL NAL單元，使用與特定VCL NAL單元相關的尾置APS NAL單元；並允許在解碼順序中圖像單元中的跟隨尾置APS NAL單元的VCL NAL單元使用該尾置APS NAL單元。

另一實施例更包含侷限可以包含在圖像單元中的APS NAL單元，使得：前置APS NAL單元必須在有關圖像單元中的任何尾置APS NAL單元之前以及在該有關圖像單元中的最後VCL NAL單元之前；及尾置APS NAL單元必須在有關圖像單元中的任何前置APS NAL單元之後以及在有關圖像單元中的第一VCL NAL單元之後。

另一實施例更包含禁止在圖像單元中包含尾置APS NAL單元，在有關圖像單元的最後NAL單元之前。

另一實施例更包含禁止在圖像單元中包含前置APS NAL單元，在有關圖像單元的第一NAL單元之後。

另一實施例更包含禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元被包含具有相同APS類型與相同APS識別碼的APS的一前置APS NAL單元所跟隨。這手法也可以應用至本發明的第二態樣，而不(如同在第三態樣中一般)允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

另一實施例更包含在圖像單元中禁止VCL NAL單元為尾置APS NAL單元所超前，該VCL NAL單元參考具有特定APS類型與特定APS識別碼的APS，及該尾置APS NAL單元包含具有相同APS類型與相同APS識別碼的APS。此手法也可以應用至本發明的第一態樣，而不(如同在第三態樣中)允許在相同圖像單元中包含具有相同APS尖型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

同時，最後兩個手法也可以被使用，而不(如同在第一態樣中)禁止在圖像單元中包含前置APS NAL單元，在該有關圖像單元的第一NAL單元之後，及不(如同在第二態樣中)禁止在圖像單元中包含尾置APS NAL單元在該有關圖像單元的最後NAL單元之前，及不(如同在第三態樣中)允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。因此，依據本發明之另一態樣，其中提供一種編碼在位元流中之序列影像的方法，包含：在該位元流中，提供一連串的圖像單元，各個所述影像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，所述可包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，則APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則APS必須包含尾置APS NAL單元中，各個所述APS NAL單元具有APS類型與APS識別碼；進行以下之一或兩者：禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元為包含有具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨；及禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元為包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。

依據本發明第四態樣，其中提供一種解碼一序列編碼影像的方法，包含：接收具有一連串圖像單元的位元流，各個所述圖像單元對應一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並也包含適應參數集NAL單元，其各個包含適應參數集(APS)，其具有用以針對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中；及以一符合準則，檢查所接收位元流的符合性，其中所述一或更多符合準則為一侷限，其禁止在圖像單元中包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後。

依據本發明第五態樣，其中提供一種解碼一序列編碼影像的方法，其中，不同於(在第四態樣中)以侷限檢查接收位元流的符合性，其禁止在圖像單元中包含前置APS NAL單元在有關圖像單元的第一NAL單元後，所接收的位元流的符合性係以侷限加以檢查，禁止在圖像單元中包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前。

在一實施例中，該檢查涉及以禁止在圖像單元中包含尾置APS NAL單元在該有關圖像單元的最後NAL單元之前的侷限以及禁止在圖像單元中包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後的侷限兩者，來檢查符合性。

依據本發明第六態樣，其中提供一種解碼一序列編碼影像的方法，包含：接收具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以針對包含在一或更多VCL NAL單元的影像資料，執行一或更多類型處理操作的參數，及該可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，則APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中，各個所述APS NAL單元具有APS類型與APS識別碼；及以一或更多符合準則檢查所接收位元流的符合性，該一符合準則允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

在一實施例中，該符合準則包含：禁止包含該特定VCL NAL單元的該圖像單元中的所述VCL NAL單元，使用與該特定VCL NAL單元相關的尾置APS NAL單元；及允許在解碼順序跟隨該尾置APS NAL單元的圖像單元的VCL NAL單元，使用該尾置APS NAL單元。

在另一實施例中，符合準則包含侷限可包含在圖像單元中的APS NAL單元，使得：前置APS NAL單元必須在有關圖像單元中的任何尾置APS NAL單元之前以及在有關圖像單元的最後VCL NAL單元之前；及尾置APS NAL單元必須在有關圖像單元的任何前置APS NAL單元之後與在有關圖像單元的第一VCL NAL單元之後。

在另一實施例中，符合準則包含一侷限，禁止在圖像單元中包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前。

在另一實施例中，符合準則包含禁止在圖像單元中包含前置APS NAL單元在有關圖像單元的第一NAL單元之後。

在另一實施例中，符合準則包含禁止在圖像單元中之參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元被包含有具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨。此手法也可以被應用至本發明第五態樣，而不必(如同在第六態樣)允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

在另一實施例中，符合準則包含禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元為包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。此手法也可以應用至本發明的第四態樣，而不必(如同在第六態樣)允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

同時，最後兩個手法也可以被使用，而不必(如同在第四態樣)禁止在圖像單元中包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後，及不必(如同在第五態樣)禁止在圖像單元中包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前，及不必(如同在第六態樣)允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。因此，依據本發明的另一態樣，其中提供一種解碼一序列編碼影像的方法，包含：接收具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可以包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元並且也包含適應參數集NAL單元，VCL NAL單元各個包含編碼影像資料，適應參數集NAL單元各個包含適應參數集(APS)，其具有針對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中，各個所述APS NAL單元具有APS類型與APS識別碼；及以一或更多符合準則，檢查所接收位元流的符合性，其中所述符合準則包含以下之一或兩者：禁止準則，禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元為包含具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨；及禁止準則，禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元被包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。

在實施前述第一至第六態樣的方法與本發明的其他態樣中，NAL單元並不限VCL NAL單元與APS NAL單元。例如，可以包含於該連串圖像單元中的NAL單元可以更包含圖像信頭NAL單元，其不是VCL NAL單元也不是APS NAL單元並且如果出現在圖像單元中，則在該有關圖像單元的第一VCL NAL單元之前。在此情況下，參考此PH的APS NAL單元不只必須在第一VCL NAL單元之前，同時，也必須在PH NAL單元之前。不同於PH NAL單元，更上位公式化為非VCL NAL單元，其既不是VCL NAL也不是APS NAL單元，其發信參考給APS用於一或更多VCL NAL單元。APS NAL單元的排序侷限現應相關於這些非VCL NAL單元。例如，前置APS NAL單元應在第一非VCL NAL單元與第一VCL NAL單元之前。

依據本發明第七態樣，其提供一種編碼位元流中之一序列影像的裝置，包含：提供手段，用以提供在該位元流中之一連串圖像單元，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的該NAL單元：包含各個包含編碼影像資料的視訊編碼層(VCL)NAL單元；並且也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，並且，可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中在該有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中；並且，如果APS出現在圖像單元中在該有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中；及禁止手段，禁止在圖像單元中包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後。

依據本發明第八態樣，其中提供一種用於編碼一序列影像於一位元流中的裝置，包含：提供手段，用以提供一連串圖像單元於該位元流中，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含有適應參數集(APS)，具有對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，並且，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中；及禁止手段，用以禁止在圖像單元中，包含尾置APS NAL單元在該有關圖像單元的最後NAL單元之前。

依據本發明第九態樣，其中提供一種編碼一序列影像於位元流中之裝置，包含：提供手段，用以提供一連串圖像單元於該位元流中，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可以包含於該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，以及，可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中，在有關圖像單元的第一VCL NAL之前，該APS必須包含在前置APS NAL單元中，並且，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則APS必須出現在尾置APS NAL單元中，各個所述APS NAL單元具有APS類型與APS識別碼；及允許手段，允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

依據本發明第十態樣，其中提供一種用以解碼一序列編碼影像的裝置，包含：接收手段，用以接收具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含一適應參數集(APS)，具有用以針對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在一圖像單元中在該有關圖像單元的第一VCL NAL之前，則APS必須被包含在前置APS NAL單元中；並且如果APS出現在一圖像單元中，在該有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中；及檢查手段，用以以一或更多符合準則檢查所接收位元流的符合性，其中該一符合準則為侷限，用以禁止圖像單元中包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後。

依據本發明第十一態樣，其中提供一種用以解碼一序列編碼影像的裝置，包含：接收手段，用以接收具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含於該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，各個包含編碼影像資料；並且同時也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含於該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元在有關圖像單元中的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，並且，如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元之中；及檢查手段，用以以一或更多符合準則，檢查所接收位元流的符合性，其中所述一符合準則為一侷限，其禁止在圖像單元中包含尾置APS NAL單元在該有關圖像單元的最後NAL單元之前。

依據本發明第十二態樣，其中提供一種用以解碼一序列編碼影像的裝置，包含：接收手段，用以接收具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含該連串圖像單元中的NAL單元：包含視訊編碼層(VCL) NAL單元，其各個包含編碼影像資料；並也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有參數用以對包含在一或更多VCL NAL單元的影像資料執行一或更多類型的處理操作，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元及尾置APS NAL單元，其中如果APS出現在圖像單元中在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在有關圖像單元中的最後VCL NAL之後的圖像單元中，則APS必須包含在尾置APS NAL單元之中，各個所述APS NAL單元具有APS類型與APS識別符，及檢查手段，用以以一符合準則檢查所接收位元流的符合性，所述一或更多符合準則允許在同一圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

在第四至第六態樣與其他態樣的方法以及第十至第十二態樣的裝置中，在符合性檢查顯現出非符合位元流情況，位元流的解碼可能被整個或部分放棄。同時，也可以要對解碼器的使用者採取例如通知錯誤的動作。解碼器也可能發信號給編碼器，該位元流不符合並不適用於解碼。編碼器也可以藉由再編碼該序列的影像，以產生符合位元流來作出反應。如後所注意到，在所有解碼方法或者在所有實施本發明的解碼器中，符合性檢查並不是強制的。

依據本發明第十三態樣，其中提供一種程式，其當為處理器或電腦所執行時，造成該處理器或電腦執行本發明第一至第六態樣之任一的方法。

該程式可以被設在其本身或可以為承載媒體所執行或承載於其中，其上。承載媒體可以為非暫態，例如，儲存媒體，特別是電腦可讀取儲存媒體。承載媒體也可以是暫態的，例如，信號或其他傳輸媒體。該信號可以經由任何適當網路，包含網際網路加以傳送。本發明的其他特性係為獨立項與附屬項所特徵化。

依據本發明第十四態樣，其中提供一代表一序列編碼影像並具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元包含：視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並也包含適應參數集NAL單元，其各個包含一適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可以包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中在該有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中，在該有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中；其中該連串圖像單元的所有圖像單元均不會包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後。

表示先前位元流特徵的另一方式為禁止在圖像單元中包含前置APS NAL單元，在有關圖像單元的第一NAL單元之後。

依據本發明第十五態樣，其中提供一代表一序列編碼影像並具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元包含：視訊編碼層(VCL) NAL單元，其各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多處理類型的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中；其中該連串圖像單元的所有圖像單元均不會包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前。

表示先前位元流特徵的另一方式為禁止在圖像單元中包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前。

較佳地，該連串圖像單元的這些圖像單元均不會包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前，及該連串圖像單元的這些圖像單元均不會包含前置APS NAL單元在有關圖像單元的第一NAL單元之後。

表示先前位元流特徵之另一方式為禁止在圖像單元中包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前，以及，禁止在圖像單元中包含前置APS NAL單元在有關圖像單元的第一NAL單元之後。

依據本發明的第十六態樣，其中提供一代表一序列編碼影像並在該位元流中具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；同時也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元中在有關圖像單元的第一VCL NAL之前，則該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中，各個所述APS NAL單元具有APS類型與APS識別碼，其中該連串圖像單元的至少一圖像單元包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

表示先前位元流特徵的另一方式為允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

在一實施例中：對於該串連圖像單元的每個圖像單元有尾置APS NAL單元，該尾置單元並未為包含該特定VCL NAL單元的圖像單元的這些VCL NAL單元所使用；以及，對於具有此一尾置APS NAL單元未為包含該特定VCL NAL單元的該圖像單元的這些VCL NAL單元所使用的至少一圖像單元，該尾置APS NAL單元係為在解碼順序中的該尾置APS NAL單元隨後的一或更多圖像單元的一或更多VCL NAL單元所使用。

表示先前位元流特徵的另一方式為：禁止包含該特定VCL NAL單元的該圖像單元的這些VCL NAL單元使用尾置APS NAL單元；及允許在解碼順序中在該尾置APS NAL單元之後的圖像單元的VCL NAL單元使用該尾置APS NAL單元。

在一實施例中：在包含前置APS NAL單元的各個圖像單元中，該前置APS NAL單元係在有關圖像單元的任一尾置APS NAL之前以及在有關圖像單元的最後VCL NAL單元之前；及在包含尾置APS NAL單元的各個圖像單元中，尾置APS NAL單元必須在有關圖像單元的任何前置APS NAL單元之後及在有關圖像單元的第一VCL NAL單元之後。

表示先前位元流特徵的另一方式為包含在該連串圖像單元中的APS NAL單元被侷限，以使得：前置APS NAL單元係在有關圖像單元中的任何尾置APS NAL單元之前並在有關圖像單元的最後VCL NAL單元之前；及尾置APS NAL單元在有關圖像單元中的任何前置APS NAL單元之後及在有關圖像單元的第一VCL NAL單元之後。

在一實施例中，該連串的圖像單元均未包含尾置APS NAL單元在該有關圖像單元的最後NAL單元之前。

表示先前位元流特徵的另一方式為禁止在圖像單元中，包含尾置APS NAL單元在有關圖像單元的最後NAL單元之後。

在一實施例中，該連串的圖像單元均未包含前置APS NAL單元在有關圖像單元的第一NAL單元之後。

表示先前位元流特徵的另一方式為禁止在圖像單元中包含前置APS NAL單元在有關圖像單元的第一NAL單元之後。

在一實施例中，在參考具有特定APS類型與特定APS識別碼的APS的任何包含VCL NAL單元的圖像單元中，該參考VCL NAL單元並未為包含具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨。此手法也可以應用至本發明的第十五態樣，而不必(如第十六態樣)允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

表示先前位元流特徵的另一方式為在圖像單元中，參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元被禁止為包含具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨。

在一實施例中，在包含參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元的任一圖像單元中，該參考VCL NAL單元並未為包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。此手法也可以應用至本發明第十四態樣，而不必(如第十六態樣)允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。

表示先前位元流特徵的另一方式為在圖像單元中之參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元禁止被包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。

同時，最後兩手法也可以被使用而不必(第十四態樣的)位元流特徵，該連串圖像單元的這些圖像單元都不包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後，及不必(第十五態樣的)位元流特徵，該連串的圖像單元的這些圖像單元都不包含尾置APS NAL單元在有關圖像單元的最後NAL單元之前，及不必(第十六態樣的)位元流特徵，該連串圖像單元的至少一圖像單元，包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。因此，依據本發明另一態樣，其中提供一位元流表示一序列編碼影像並具有一連串圖像單元在該位元流中，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；同時也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元的影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果APS出現在圖像單元在有關圖像單元的第一VCL NAL之前，該APS必須包含在前置APS NAL單元中，以及，如果APS出現在圖像單元中在有關圖像單元的最後VCL NAL之後，則該APS必須包含在尾置APS NAL單元中，各個所述APS NAL單元具有一APS類型與APS識別碼；位元流具有以下特徵之一或兩者：在包含參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元的任何圖像單元中，該參考VCL NAL單元並不為包含具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨；在包含參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元的任何圖像單元中，表示VCL NAL單元不為包含相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。

第十四至十六態樣與其他進一步態樣的位元流如何被使用並未作特別限制。本發明第十七態樣提供一種依據第十四至第十六態樣與其他進一步態樣，編碼在位元流中的一序列影像的方法。

本發明第十八態樣提供一種解碼一序列編碼影像的方法，該方法包含依據第十四至第十六態樣之任一接收位元流。

在此態樣中，接收位元流就夠。並不需要符合性檢查。例如，解碼器可以簡單地接收第十四至第十六態樣之任一的位元流並將之解碼。例如，一實施例更包含解碼NAL單元，取得包含在VCL NAL單元中之影像資料與包含在APS NAL單元中的APS的參數，及使用所取得之APS參數，處理所取得之影像資料。

依據本發明第十九態樣，其中提供一種位元流，其係由本發明之第一至第三態樣之任一的編碼方法所產生。

位元流通常呈現暫態信號的形式。然而，在非暫態形式中，位元流可以例如被儲存在電腦可讀儲存器或記錄媒體中，例如媒體儲存裝置中。DVD、藍光碟或其他光學儲存媒體為用於位元流的儲存媒體的例子。因此，依據本發明第二十態樣，其中提供一電腦可讀儲存媒體，儲存本發明之第十四至第十六及第十九態樣之任一的位元流。

本發明之一態樣中的任意特性可以以適當組合被應用至本發明之其他態樣中。尤其，方法態樣可以應用至設備態樣，反之亦然。

再者，實施為硬體的特性也可以實施為軟體，或反之亦然。於此之對軟體及硬體特性的任何參考應被據此建立。

於此所述之任何設備特性也可以提供成為方法特性，及反之亦然。如此所用，功能手段用語特性也可以以其對應結構方式被交替表示，例如，適當程式化處理器與相關記憶體。

應了解的是，於此所述與定義的各種特性的特定組合為本發明的態樣也可以分開被實施及/或供應及/或使用。

本發明以下所述之實施例有關於改良影像(或圖像)的編碼與解碼。

在此說明書中，“發信”可以表示將有於一或更多參數或語法元素的資訊，例如，用以決定子圖像的識別碼、子圖像的尺寸/寬度/高度的一或多者的資訊插入(提供/包含/編碼入)位元流或由位元流抽出/取得(解碼)，而不管只有單一影像部(例如切片)被包含在子圖像中、不管切片是否為矩形切片、及/或包含在子圖像中切片的數目。

在此說明書中，“處理”可以表示對資料執行的任何類型操作，例如，編碼或解碼影像資料，用於一或更多影像/圖像。

在此說明書中，用語“切片”係被使用作為影像部分的例子(此影像部分的其他例子將會是影像部，其包含一或更多編碼樹單元)。可以了解，本發明的實施例也可以根據不是切片的影像部分，以及，適當修改的參數/值/語法，例如用於影像部分的信頭(而不是切片信頭或切片段信頭)加以實施。也可以了解到，於此所述被發信為切片信頭、切片段信頭、序列參數集(SPS)、或圖像參數集(PPS)中的各種資訊也可以在其他處發信，只要其能夠與在這些媒體中發信提供相同功能即可。也可以了解到，切片、磚群、磚、編碼樹單元(CTU)/最大編碼單元(LCU)、編碼樹區塊(CTB)、編碼單元(CU)、預測單元(PU)、轉換單元(TU)、或像素/取樣的區塊的任一均可以被稱為影像部分。

也可以了解：當元件或工具被描述為“作動”時，該元件/工具被“致能”或“可用”或“被使用”；當被描述為“不作動”時，元件/工具被“去能”或“不可用”或“未被使用”；及“可以推導出”表示能夠在不必明確地在位元流中發信，即可由其他資訊決定/取得相關值或參數。再者，也可以了解到，當旗標被描述為“作動”時，表示該旗標指示相關元件/工具為“作動”(即“作用中”)。

在此說明書中，除非特別明述，否則有關用語與以下所述最新版VVC Draft8、VVC8有相同定義。斜體字用語具有其本身VVC8定義。

切片：一整數完整磚或在一磚圖像內的整數個連續完整CTU列，其係專屬地包含在單一NAL單元中。

切片信頭 ：編碼切片的一部，包含有屬於在以切片表示之磚內的所有磚或CTU列的資料元素。

磚：在一圖像的特定磚行與特定磚列內的CTU的矩形區域。

子圖像 ：在圖像內的一或更多切片的矩形區塊。

圖像 ( 或影像 ) ：以單色格式表示之一陣列亮度取樣，或者，以4:2:0,4:2:2與4:4:4彩色格式表示之一陣列亮度取樣與兩對應陣列的色度取樣。

編碼圖像 ：圖像的編碼代表，包含在AU內有nuh_layer_id的特定值的VCL NAL單元以及包含該圖像的所有CTU。

編碼代表 ：以其編碼形式表示的資料元素。

光域掃描 ：矩形二維圖案映射為一維圖案，使得由左至右掃描，一維圖案的第一項係來自該二維圖案最高列，各個由左至右掃描，隨後類似地由該圖案(向下)的第二列、第三列等。

區塊：M×N(M行乘以N列)陣列取樣，或M×N陣列的轉換係數 。

編碼區塊 ：用於M與N的一些值的M×N區塊，使得CTB的分割成編碼區塊 為分割。

編碼樹區塊 (CTB) ：用於N的一些值的N×N區塊的取樣，使得元件分割為CTB為分割。

編碼樹單元 (CTU) ：具有三個取樣陣列的圖像的一CTB亮度取樣、兩對應CTB色度取樣、或者、單色圖像的取樣的CTB，或者，使用用以編碼這些取樣的三個分開彩色面與語法結構加以編碼的圖像。

編碼單元 (CU) ：具有三個取樣陣列的圖像的一個編碼區塊亮度取樣、兩對應編碼區塊的色度取樣，或單色圖像的一編碼區塊的取樣，或者，一圖像，其係使用用以編碼這些取樣的三個分開色彩平面與語法結構 加以編碼。

元件：來自構成以4:2:0、4:2:2或4:4:4彩色格式表示的圖像的三陣列(亮度與兩色度)之一的一陣列或單一取樣，或者，來自構成以單色格式表示的圖像的該陣列或該陣列的單一取樣。

圖像參數集 (PPS) ：包含語法元素 的語法結構 ，其適用至如在圖像信頭 或切片信頭 中找到的語法元素 所決定的零或更多整個編碼圖像 。

序列參數集 (SPS) ：包含語法元素 的語法結構 ，其適用至零或更多整個CLV，零或更多整個CLV由在圖像信頭中找到的語法元素參考的PPS中找到的語法元素的內容所決定。

適應參數集 (APS)：包含語法元素 的語法結構 ，其適用至在由切片或圖像信頭 中找到的零或更多語法元素所決定的零或更多切片。

網路抽象層 (NAL)單元：語法結構 包含所跟隨資料類型的表示以及包含以配置有必須仿真防止位元組的RBSP形式表示的資料的位元組。

視訊編碼層 (VCL)NAL單元：編碼切片NAL單元與NAL單元次組的集合用語，這些具有在說明書中被分類為VCL NAL單元的nal_unit_type的保留值。

圖像信頭 (PH)：包含語法元素 的語法結構 ，其應用至編碼圖像的所有切片。

切片信頭 ：編碼切片的一部，其包含屬於呈現在該切片內的磚內的所有磚或CTU列的資料元素。

適應迴路濾波器 (ALF)：濾波程序，其係被應用為解碼程序的一部分並為在APS中所表達的參數所控制。

亮度映射與色度縮放 (LMCS)：一種可以應用為解碼程序一部分的程序，其將亮度取樣映射至特定值並可以對色度取樣的值應用縮放操作。

縮放名單 ：有關於各個頻率指數的名單，其具有用於該縮放操作的縮放因素。

圖像單元 (PU)：一組NAL單元，其係依據一指定分類規則而彼此相關並在解碼順序中為連續的，並剛好包含一個編碼圖像。

存取點 (AU)：一組PU，其屬於不同層並包含有關於相同時間用以自DPB輸出的編碼圖像。

圖1示出依據本發明實施例之圖像分割成磚與切片，其係相容於VVC8。圖像101與102被分割成以虛線表示的編碼樹單元(CTU)。CTU為用於VVC8的編碼與解碼的基本單位。例如，在VVC8中，CTU可以編碼128×128像素的區域。

編碼樹單元(CTU)也可以被稱為(像素的)區域或元件取樣(值)、巨集區塊、或甚至編碼區塊。其可以被同時用以編碼/解碼該圖像的不同影像元件或者它可以被限定至只有一個影像元件，使得該圖像的不同影像元件可以被分開/個別地編碼/解碼。當影像的資料包含用於各個元件的分開資料時，CTU為一群編碼樹區塊(CTB)，具有每一元件一個CTB。

如圖1所示，該圖像也可以依據一柵格的磚加以分割(即分割成一或更多柵格的磚)，具有以淺實線所代表的磚邊界。磚為圖像部(圖像的部/部分)，其係為(像素/元件取樣的)矩形區域，其可以為該CTU分割所獨立界定。一磚也可以對應於一序列CTU，例如，在VVC8中，如同在圖1的代表例，分割技術可以限制磚的邊界以重合/對準CTU的邊界。

磚被界定使得磚邊界中斷編碼/解碼程序的空間相依性。換句話說，給定圖像中，磚被界定/指定為使得它可以彼此無關地編碼/解碼在同一圖像中空間”相鄰”的磚。這表示在磚中的CTU的編碼/解碼並非根據來自相同圖像中的另一磚的像素/取樣或參考資料。

例如本發明實施例或VVC8的一些編碼/解碼系統提供切片的概念(即，也使用根據一或更多切片的分割技術)。此機制促成圖像的分割成一群或幾群磚，一群磚係被一起稱為切片。各個切片係由一個磚或幾個磚或部分磚構成。提供了由圖像101與102所示的兩種不同類型切片。第一類型切片被限制為在圖像中形成矩形區/區域的切片，為在圖像101中的深實線所表示。圖像101具有圖像分剖成六個不同矩形切片(0)-(5)。第二類型切片被限制為以光域掃描順序的連續磚(使得它們形成一序列的磚)，如同圖像102的深實線所表示。圖像102具有圖像被分割成三個不同切片(0)-(2)，其係由以光域掃描順序的連續磚構成。

通常，矩形切片為用以處理視訊中想要區域(RoIs)的結構/配置/組態的選擇。

切片可以編碼於位元流中(或由該處解碼)成為一或幾個網路抽象層(NAL)單元。NAL單元為將資料密封於編碼/解碼位元流(例如，包含整數量的位元組的封包，其中多數封包一起形成編碼視訊資料)中的資料的邏輯單元。

在VVC8的編碼/解碼系統中，切片被正規地編碼成單一NAL單元。當切片被編碼於位元流中成為幾個NAL單元時，各個用於該切片的NAL單元係被稱為切片段。切片段包含切片段信頭，其包含有用於該切片段的編碼參數。依據一變化例，切片的第一切片段NAL單元的信頭包含該切片的所有編碼參數。該切片的後續NAL單元的切片段信頭可以包含較該第一NAL單元為少的參數。在此情況下，第一切片段為獨立切片段及後續段則為附屬切片段(因為它們只依附來自第一切片段的NAL單元的編碼參數)。

圖2示出符合VVC8的編碼系統要求的依據本發明實施例之位元流組織(即，結構、架構或配置)。位元流200係由代表/指示一排序序列語法元素與編碼(影像)資料的資料所組成。語法元素與編碼(影像)資料係被置放(即，封裝/群集)為一連串NAL單元201-209。有不同NAL單元類型。網路抽象層(NAL)提供能力以將位元流密封為不同協定，如即時協定/網際網路協定(RTP/IP)、ISO為主媒體檔案格式等的封裝。網路抽象層也提供用於封裝損失回彈的框架。

NAL單元被分割成視訊編碼層(VCL)NAL單元與非VCL NAL單元。VCL NAL單元包含實際編碼視訊資料。非VCL NAL單元包含其他資訊。此其他資訊可以為用於解碼已編碼視訊資料所需的參數或者可以加強解碼視訊資料的可用性的補充資料。圖2的NAL單元206對應於切片(即，它們包含用於該切片的實際編碼視訊資料)並構成圖2的例示位元流的VCL NAL單元。

所有編碼單一編碼圖像的NAL單元(VCL與相關非VCL NAL單元)形成一圖像單元。在此例子中，非VCL NAL單元208係相關於兩VCL NAL單元206及這三個NAL單元可以一起形成一圖像單元。

不同NAL單元201-205與209對應於不同參數集，這些NAL單元為非VCL NAL單元。

DCI表示解碼相容性資訊。DCI NAL單元201包含參數，對於給定解碼程序，它們為常數。

VPS表示視訊參數集。VPS NAL單元202包含界定用於整個視訊(例如，整個視訊包含一或更多序列圖像/影像)的參數，並且，因此，當解碼整個位元流的編碼視訊資料時，它們可以被應用。

DCI NAL單元可以界定較在VPS NAL單元中的參數更靜態(表示它們為穩定並且在解碼處理其間並未改變多少)的參數。換句話說，DCI NAL單元的參數較VPS NAL單元的參數不常改變。

SPS表示序列參數集。SPS NAL單元203包含界定用於視訊序列(即，一序列圖像或影像)的參數。尤其，該SPS NAL單元可以界定視訊序列的子圖像佈局與相關參數。有關於各個子圖像的參數指明應用至子圖像的編碼侷限。依據一變化例，SPS NAL單元包含旗標，其指示在子圖像間之時間預測係被限定，使得只有來自同一子圖像的資料才能在時間預測處理期間被使用。另一旗標可以致能或去能在整個子圖像邊界的迴路濾波器(即，後濾波)。

PPS表示圖像參數集。PPS NAL單元204包含界定用於一圖像或一群圖像的參數。如在VVC8指定，PPS的語法包含語法元素，其指明在亮度取樣中的圖像尺寸及用於指明各個圖像的分割成磚與切片的語法元素。PPS包含語法元素，這使得它可能決定在圖像/圖框中的切片位置。

APS表示適應參數集。APS包含用於迴路濾波器的參數，這些濾波器典型為適應迴路濾波器(ALF)或重整形模型(或亮度映射色度縮放(LMCS)模型)或用於切片層次的縮放矩陣。

APS包含aps_params_type語法元素，其描述在APS中出現的參數類型。例如，aps_params_type等於ALF_APS表示APS包含ALF參數；aps_params_type等於LMCS_APS表示其包含LMCS參數，並且，最後，當等於SCALING_APS時，則表示出現縮放名單參數。

第二語法元素adaptation_parameter_set_id提供用於APS的識別碼。

兩類型的NAL單元可以包圍APS：前置APS NAL單元205及尾置APS NAL單元209。依據VVC8規格，當前置APS NAL單元出現在PU時，它們不應跟隨該PU的最後VCL NAL單元。當尾置APS NAL單元出現在PU時，它們不應在該PU的第一VCL NAL單元之前。在第一與最後VCL NAL單元之間，前置與尾置APS NAL單元可以以任何順序出現。例如，第一尾置APS NAL單元可以為一前置NAL單元所跟隨，然後，是VCL NAL單元及另一尾置APS NAL單元。

SEI代表補充加強資訊。位元流也可以包含SEI NAL單元(未示於圖3)。

各種參數集(或NAL單元)在位元流中發生的頻率(或包含的頻率)為可變的。界定用於整個位元流的VPS可以只在位元流中發生一次。相反地，界定用於切片的APS可以在各個圖像中的各個切片發生一次。實際上，不同切片可以依賴(例如，參考)相同APS，因此，對於一圖像，對於在位元流中，通常有較切片為少的APS NAL單元。

AUD NAL單元207為存取單元去限制器NAL單元，其分開兩存取單元。一存取單元為一組NAL單元，其可以包含一或更多編碼圖像，具有相同解碼時戳(即，一群NAL單元，其相關於具有相同時戳的一或更多編碼圖像)。

PH NAL單元208為圖像信頭NAL單元，其群集與單一編碼圖像的一組切片共同的參數。該圖像可以參考一或更多APS，以表示為該圖像的切片所使用的ALF參數、重整形模型及縮放矩陣。

各個VCL NAL單元206包含用於一切片的視訊/影像資料。該切片可以對應於整個圖像或子圖像，單一磚或多數磚，或部分磚(部份磚)。例如，圖2的切片包含幾個磚220。切片係由切片信頭210與一原始位元組序列酬載(RBSP)211所構成，該酬載包含編碼成編碼區塊240的編碼像素/元件取樣資料。當切片對應至整個圖像時，可能沒有PH NAL單元208，並且，其內容被插入在切片信頭210的開始處。

切片信頭210(其為VCL NAL單元206的一部)及圖像信頭(其為PH NAL單元208的一部)可以參考在一或更多APS中的參數，藉由發信給包含所參考APS的各個APS NAL單元的識別碼與類型。VVC8規格要求包含APS的NAL單元應在參考該APS的PH或VCL NAL單元之前。

圖3示出一可以實施本發明的一或更多實施例的資料通訊系統。該資料通訊系統包含傳輸裝置，在此例中為伺服器301，其可操作以經由資料通訊網路300傳送資料流的資料封包至一接收裝置，在此例中為客戶終端302。該資料通訊網路300可以是廣域網路(WAN)或區域網路(LAN)。此網路可以例如一無線網路(Wifi/802.11a或b或g)、乙太網路、網際網路或由幾個不同網路構成的混合網路。在本發明的一特定實施例中，資料通訊系統可以是數位電視廣播系統，其中伺服器301發送相同資料內容給多數客戶。

由伺服器301所提供的資料流304可以由多媒體資料構成，其呈現有視訊與音訊資料。在本發明的一些實施例中，音訊及視訊資料流可以為伺服器301分別使用麥克風與攝影機加以捕捉。在一些實施例中，資料流可以儲存在伺服器301上，或可為伺服器301自另一資料提供者所接收、或可以於伺服器301產生。伺服器301設有編碼器，用以編碼視訊與音訊流，尤其是用以提供傳輸用的壓縮位元流，其係為出現作為至編碼器輸入的資料的更精簡表示法。

為了取得傳送資料品質與傳送資料品質的較佳比率，視訊資料的壓縮可以例如依據HEVC格式或H.264/AVC格式或多功能視訊編碼(VVC)格式。

客戶302接收所傳送的位元流並解碼該重建位元流，以在顯示裝置上播放視訊影像，及在喇叭上播放音訊資料。

雖然圖2的例子中考量了串流情況，但可以了解，在本發明的一些實施例中，在編碼器與解碼器間之資料通訊可以使用例如光碟的媒體儲存裝置加以執行。

圖4示意出被組態以實施本發明至少一實施例之處理裝置400。處理裝置400可以為一裝置，例如，微電腦、工作站或輕型攜帶裝置。裝置400包含通訊匯流排413被連接至： -中央處理單元411，例如，微處理器，簡稱CPU； -唯讀記憶體406，簡稱ROM，用以儲存電腦程式，以實現本發明； -隨機存取記憶體412，簡稱RAM，用以儲存本發明實施例的方法的可執行碼及暫存器適用以記錄實施依據本發明實施例之編碼一序列數位影像的方法及/或解碼位元流的方法的必要變數與參數；及 -通訊介面402，連接至通訊網路403，將要被處理的數位資料係透過該網路傳送或接收。

選用地，設備400也可以包含以下元件： -資料儲存手段404，例如硬碟，用以儲存實施本發明一或更多實施例的方法的電腦程式，以及在實施本發明的一或更多實施例期間所使用或產生的資料； -用於碟片406的磁碟機405，磁碟機適用以自碟片406讀取資料或寫入資料至該磁碟上； -用以顯示資料及/或作為與使用者的圖形界面的螢幕409，其係藉由鍵盤410或任何其他指示手段進行。

設備400可以連接至各種週邊，例如，數位攝影機420或麥克風408，各個連接至一輸入/輸出卡(未示出)，以供給多媒體資料給設備400。

通訊匯流排提供在設備400所包含的或連接至其上的各種元件間之通訊與相互可操作性。匯流排的說明並非限制，並且，更明確地說，中央處理單元係可直接或藉由設備400的其他元件與設備400的任一元件傳遞指令。

碟片406可以為例如光碟(CD-ROM)、可寫或不是、ZIP碟片或記憶體卡的任何資訊媒體所替代，並且，更一般來說，以資訊儲存手段替代，其可以為整合或未整合入設備、可能可移除或適用以儲存一或更多程式的微電腦或微處理器所讀取，程式的執行使得編碼一序列數位影像的方法及/或解碼一位元流的方法可以依據本發明加以實施。

可執行碼可以儲存在唯讀記憶體406、在硬碟404、在可移除數位媒體，例如前述的碟片406上。依據一變化例，程式的可執行碼可以藉由通訊網路403經由介面402加以接收，以在被執行之前，儲存在例如硬碟404的設備400的儲存手段之一中。

中央處理單元411適用以依據本發明控制與指導指令或者程式的軟體碼的部分的執行，指令係被儲存在前述儲存手段之一中。於開機時，儲存在例如硬碟404或唯讀記憶體406的非揮發記憶體中之程式係被傳送至隨機存取記憶體412，其然後包含所述程式的可執行碼，及暫存器，用以儲存執行本發明所需的變數與參數。

在此實施例中，該設備為可程式設備，其使用軟體以實施本發明。然而，或者，本發明也可以以硬體(例如，以特殊應用積體電路或ASIC的形式)實施。

圖5示出依據本發明至少一實施例之編碼器的方塊圖。編碼器係為連接模組所呈現，各個模組係適用以例如將被裝置400的CPU411執行的規劃指令形式加以實施，方法的至少一對應步驟實施至少一實施例，以依據本發明一或更多實施例來編碼一序列影像的一影像。

原始序列的數位影像i0至in 501係被接收成為編碼器500的輸入。各個數位影像係被表示為一組取樣，有時也稱為像素。

在編碼處理實施後，位元流510係被編碼器500所輸出。位元流510包含用於多數編碼單元或影像部分，例如，切片的資料，各個切片包含切片信頭，用以傳送用以編碼切片和包含編碼視訊資料的切片主體的編碼參數的編碼值。

輸入數位影像i0至in 501係被模組502所分割為多數像素區塊。所述區塊對應於影像部分並可以為可變尺寸(例如，4×4、8×8、16×16、32×32、64×64、128×128像素並且也可以考量幾個矩形區塊尺寸)。針對各個輸入區塊，選擇編碼模式。提供有編碼模式的兩個族群：根據空間預測編碼的編碼模式(內(intra)預測)，及根據時間預測的編碼模式(間(inter)編碼、合併、SKIP)。可能編碼模式被測試。

模組503實施內預測處理，其中予以編碼的給定區塊係為由該予以編碼的區塊的附近的像素計算出的預測器所預測。如果選擇了內編碼，則所選內預測器的表示與在給定區塊以及其預測器間之差異係被編碼，以提供殘餘區塊。

時間預測係為動作預估模組504與動作補償模組505所實施。首先，來自一組參考影像516的一個參考影像係被選擇，及也稱為參考區域或影像部分的該參考影像的最接近(以像素值類似度表示為最接近)將被編碼的給定區塊的區域的一部分係為動作評估模組504所選擇。動作補償模組505然後使用所選擇區域預測予以編碼的區塊。在選定參考區域與給定區塊之間也稱為殘餘區塊的差係為動作補償模組505所計算。所選擇參考區塊為動作資訊(例如，動作向量)所指明。

因此，在兩情況(空間及時間預測)中，藉由將原始區塊減去預測而計算出殘餘區塊。跳脫(SKIP)模式為例外。在此情況中，任何殘餘區塊被省略。

由模組503所實施之內(INTRA)預測中，編碼了預測方向。在時間預測中，至少一動作向量被編碼。在由模組504、505、516、518、517所實施之間預測中，用以識別此動作向量的至少一動作向量或資訊(資料)係被編碼用於時間預測。

如果選擇間預測，則屬於動作向量與殘餘區塊的資訊係被編碼。為了進一步降低位元率，假設動作為齊性的，動作向量係為有關於動作向量預測器的差所編碼。一組動作資訊預測器的動作向量預測器係由動作向量預測與編碼模組517所從動作向量場518取得。

編碼器500更包含選擇模組506，用以藉由應用編碼成本準則，例如比率-失真準則而選擇編碼模式。為了進一步降低冗餘度，(例如，DCT)轉換係由轉換模組507所施加至殘餘區塊，所取得之轉換資料然後被量化模組508所量化，並為熵編碼模組509所熵編碼。最後，除了在跳脫模式外，被編碼的現行區塊的編碼殘餘區塊係被插入位元流510中。

編碼器500也執行編碼影像的解碼，以產生用於後續影像的動作評估的參考影像。一組參考影像516被儲存於記憶體中。這促成接收該位元流的編碼器與解碼器具有相同參考框。逆向量化模組511執行量化資料的逆向量化(去量化)，隨後為逆向轉換模組512所進行逆向轉換。逆向內預測模組513使用預測資訊，以決定哪一預測器被使用於給定區塊，以及，逆向動作補償模組514實際地將由模組512所取得之殘餘區塊加入至由該組參考影像516所取得之參考區域。

後濾波然後為模組515所應用，以濾波像素的重建框(影像或影像部分)。所得濾波與重建框係被加入作為在該組參考影像516中之另一參考影像。

圖6示出解碼器600的方塊圖，其可以用以依據本發明實施例從編碼器接收資料。解碼器由連接模組所表示，各個模組係被適用以例如由裝置400的CPU 411所執行的程式指令的形式實施由解碼器600所實施方法的對應步驟。

解碼器600接收包含編碼單元(例如，對應於影像選項、區塊或編碼單元CU的資料)的位元流601，其各個由包含編碼參數的資訊的信頭以及包含編碼視訊資料的主體所構成。在VVC中之位元流的例示結構已參考圖2加以描述。如同有關於圖5所解釋，編碼視訊資料被熵編碼，及動作向量預測器索引，以預定數量的位元編碼給定影像部分(例如，區塊或CU)。所接收編碼視訊資料係為模組602所熵解碼。殘餘資料然後被模組603去量化，然後逆向轉換被模組604所應用，以取得像素值。

表示編碼模式的模式資料也被熵解碼並根據該模式，對影像資料的編碼區塊(單元/集/群組)執行內(INTRA)類型解碼或間(INTER)類型解碼。

在內模式中，內預測器係被內逆向預測模組605根據在位元流中指明的內預測模式所決定。

如果模式為間，則動作預測資訊係由位元流中抽取出，以找出(識別出)由編碼器所使用的參考區域。動作預測資訊係由參考框索引與動作向量殘餘區塊所構成。動作向量預測器被動作向量解碼模組610所加入至動作向量殘餘區塊，以取得動作向量。

動作向量解碼模組610應用動作向量解碼至由動作預測所編碼的各個影像部分(例如，現行區域或CU)。一旦取得現行區塊CU的動作向量預測器的索引，則有關於該影像部分(例如，現行區塊或CU)的動作向量的實際值可以被模組606所解碼並使用以施加逆向動作補償。由解碼動作向量所指示的參考影像部分係由在一組參考影像/圖像608中的參考影像所抽取出，使得模組606可以執行動作補償。動作向量場資料611係被以解碼動作向量更新，以被用於後續解碼動作向量的逆向預測。

最後，取得解碼區塊。適當時，後濾波模組607可以施加後濾波。最後，解碼器600提供解碼視訊信號609。

圖7示出由編碼器500所執行的編碼方法的部分，用以依據本發明實施例將視訊的圖像編碼入位元流中。處理迴路701連續施加步驟702至705給予待編碼的各個圖像。圖像的編碼開始於將圖像取樣壓縮為典型為切片的部分。在步驟702中，圖像被分割成一或更多切片並且這些切片被連續壓縮。壓縮一切片涉及將該切片分割成編碼單元，各個編碼單元例如使用內或間預測加以編碼。在步驟703中，一組參數被決定，其組態迴路濾波器，例如，適應迴路濾波器(ALF)或LMCS濾波器。在另一例子中，用於殘餘區塊的量化的縮放參數被決定。這些參數典型被編碼於APS中。

各個APS具有APS類型(例如，ALF_APS、LMCS_APS或SCALING_APS)及APS識別碼。在步驟704，APS類型被依據APS容器的內容加以設定。編碼器以每APS類型維持使用中識別碼名單。各個這些名單包含APS的APS識別碼，其中有關APS類型的APS參數係在步驟703中決定。在處理迴路701的第一迭代之前，各個名單在空白狀態下初始化。

對於給定類型APS，步驟704決定識別碼值，以根據先前決定APS與其識別碼值，決定用以相關於現行APS的識別碼值。

例如，以下被應用至各個類型的APS。以現行識別碼出現在相同類型的APS的前一識別碼的名單中，來決定現行APS的APS內容(APS參數)是否與前一APS者相同。如果是，則現存識別碼係相關於現行APS。

否則，因為具有出現在名單中的現存識別碼的所有APS與現行APS具有不同內容，所以，新的識別碼必須相關於現行APS並然後被插入該名單中。在任何給定時間均有有限數量的可能識別碼值可以使用並且如果所有可能識別值都已經被使用，則在該名單內決定一現存APS識別碼，其將替換於該名單中之現行APS。例如，所決定的APS可以是最少使用的或者是最舊的APS。

在步驟705中，編碼器然後產生包含編碼資料的NAL單元。更明確地說，其產生包含APS、切片NAL單元與選用地圖像信頭NAL單元的NAL單元。

APS NAL單元發信該APS的類型與識別碼。例如，APS的語法元素可以如下：

adaptation_parameter_set_id 語法元素為APS的識別碼值及aps_params_type 為APS的類型。取決於APS的類型，可以提供ALF參數alf_data() 、LMCS參數lmcs_data() 或縮放名單資料scaling_list_data() 。

在給定圖像單元中，當APS出現在第一VCL NAL單元之前時，編碼器必須使用前置APS NAL單元，以及，當APS跟隨PU的最後VCL時，編碼器必須使用尾置NAL單元。在第一與最後VCL NAL單元之間，編碼器可以使用前置或尾置APS NAL單元(除了在本發明的部分實施例中所特別說明之外)。

切片NAL單元的信頭與圖像信頭可以藉由參考APS的類型與識別碼而指示這些APS NAL單元。然而，因為切片NAL單元的信頭或圖像信頭具有語法元素，其對於APS識別碼具有規定語意，以及，對於各個APS類型，APS識別碼的語意為不同，APS類型係在語意中暗示並可以為解碼器所推論。

編碼器發信該該圖像信頭表示用於迴路濾波器參數的特定APS。例如，在VVC8中現行想到的實施法中，圖像信頭包含如下語法元素：

在此想到的實施法的圖像信頭包含幾個ALF APS識別碼，用以對PU的切片施加ALF濾波。這些識別碼係例如以ph_alf_aps_id_luma[i] 語法元素所指定，具有i範圍由0至ph_num_alf_aps_ids_luma 。ph_num_alf_aps_ids_luma 指明在圖像信頭中為了ALF濾波亮度分量所發信的APS識別碼數量。另外，ph_alf_aps_id_chroma 、ph_cc_alf_cb_aps_id 與ph_cc_alf_cr_aps_id 語法元素指明用於色度分量的ALF APS識別碼。

在此想到實施法中的圖像信頭也包含ph_lmcs_aps_id 語法元素，其以LMCS_APS類型(即， aps_params_type)指明APS的識別碼，其包含應用至現行PU的LMCS參數。

類似地，圖像信頭包含ph_scaling_list_aps_id ，其指明APS的識別碼，以 aps_params_type等於SCALING_APS，其界定用於現行PU的縮放名單資料。

在本發明的實施例中，並不需要所有不同APS類型都被使用並且替代實施法，也可以單單使用一或兩個APS類型加以想出。同時，也無關於特定APS類型為何。例如，也可以想出用於ALF之外的濾波器的參數。參數也並不限於濾波參數。

當PU的各個切片或者該PU的兩個或更多切片所使用的APS不同時，APS識別碼可以被發信用於在圖像信頭中的一或更多切片。或者，APS識別碼可以被發信於切片信頭中，而不是在圖像信頭NAL單元(或作為覆蓋值)中。例如，在VVC8中想到的一實施法，切片信頭可以包含以下語法元素：

切片信頭可以例如界定slice_alf_aps_id_luma[i] ，其為切片所用以作亮度分量的第i個ALF APS識別碼。有關於圖像信頭，slice_alf_aps_id_chroma 、slice_cc_alf_aps_id 與slice_cc_alf_cr_aps_id 可以表示用於色度分量的ALF APS之識別碼。

圖8例示依據本發明實施例之編碼視訊序列的一般解碼處理。構成編碼視訊序列的NAL單元的解碼處理涉及使用迴路801，以連續處理編碼視訊序列的圖像單元的NAL單元。對於各個NAL單元，在步驟802中，解碼器藉由剖析該NAL單元信頭，而決定NAL單元的類型。例如，在VVC中，NAL單元信頭為2位元組並包含以下順序的五個語法元素：

第一forbidden_zero_bit 為一位元，其通常應等於0。當等於1時，NAL單元的內容未被指定，並應為符合解碼器所忽略。然後，nuh_reserved_zero_bit 為等於0的一位元。nuh_layer_id 為6位元所表示的整數值。其指明在編碼視訊序列中的一層的識別碼。這語法元素為nal_unit_type 所跟隨，其為5位元編碼的整數並代表NAL單元的類型。針對各個不同類型的NAL單元指定一獨特值。例如，對於前置APS NAL單元，nal_unit_type 可以等於17，及對於尾置APS NAL單元，nal_unit_type 可以等於18。最後，該2位元組NAL單元信頭的最後三個位元編碼nuh_temporal_id_plus1 語法元素。這表示NAL單元的時間位準。

然後，解碼處理持續步驟803，依據NAL單元的類型解碼NAL單元資料。

更明確地說，現參考圖9，在步驟901中檢查是否NAL單元包含APS。如果是，則前置與尾置APS NAL單元(對於VVC8，nal_unit_type 等於17或18)係被解碼如下：首先，在步驟902中，解碼器剖析APS(在APS的aps_params_type 語法元素中指明)類型及在步驟903中，剖析APS NAL單元的識別碼(adaptation_parameter_set_id 語法元素)。

在步驟904中，解碼器然後儲存包含在NAL單元中的APS資料於記憶體中。APS資料係有關於對應在步驟902及903中所剖析的類型與識別碼的一對值。另外，解碼器也可以將所儲存的APS資料與一布林值相關，其指明是否該APS被設為尾置或前置NAL單元。

另外，解碼器也可以儲存代表現行APS NAL單元相對於其他NAL單元的位置的位置資料。例如，現行APS NAL單元的位置可以由NAL單元離開編碼視訊序列開始處的索引與其所屬的PU的索引的組合加以表示。當一切片或圖像信頭NAL單元參考具有一對APS類型與APS識別碼值的APS時，這資訊使得解碼器可能可以決定要使用的APS資料。

記憶體中儲存有APS資料的部分可以被稱為APS緩衝器。

VCL(即，包含切片信頭)與圖像信頭(PH) NAL單元的解碼處理係被例示於圖10。

在步驟1001中，解碼器首先檢查是否NAL單元類型對應於VCL或PH NAL單元。對於VVC8，其對應於nal_unit_type 於範圍0至12，或在圖像信頭中時，為等於19。當驗證出NAL單元為VCL/PH NAL單元時，解碼器應用步驟1002至1006。在步驟1002，包含於NAL單元中之切片或圖像信頭被剖析，以決定至APS的參考。對於各個APS類型，解碼器使用APS識別碼維持一參考名單。

首先，當NAL單元包含圖像信頭時，對APS的參考可以應用於該PU的所有切片。在步驟1003中，出現在圖像信頭中的APS識別碼與APS類型係被抽取，並且，針對各個APS類型，在步驟1003，更新有關APS類型至APS的參考名單。

步驟1003涉及當出現如下時，剖析以下語法元素的值： -ph_lmcs_aps_id 語法元素，其指示APS類型 LMCS_APS的任何APS的APS識別碼。當未出現時，LMCS濾波可能不施加並且在此APS類型至APS的參考名單中不插入任何事項。否則，剖析值被加入至相關於該 LMCS_APS類型的名單。 -ph_scaling_list_aps_id 語法元素，其指明具有類型等於SCALING_APS的APS的識別碼。當未出現時，縮放名單可以使用預設值，及此APS類型至APS的參考名單保持不變。否則，解碼器將所剖析值加入至與SCALING_APS類型相關的名單中。 -ph_alf_aps_id_luma[i] ，具有i範圍由0至ph_num_alf_aps_ids_luma 及/或ph_cc_alf_cb_aps_id 及 / 或 ph_cc_alf_cr_aps_id 及/或ph_alf_aps_id_chroma 語法元素。這些語法元素表示具有類型等於ALF_APS的APS的識別碼。當並未出現在元件中時，它可以指示該ALF並未應用至有關元件或它使用預設值。用於此APS類型的名單係被維持不變。否則，各個剖析值係被加入至有關於ALF_APS類型的名單中。

當NAL單元為VCL NAL單元(對於VVC8，nal_unit_type 範圍於0至12)時，它包含切片信頭。此切片信頭可以包含藉由在步驟1002中剖析切片信頭所找到的對APS的參考。例如，切片信頭的slice_alf_aps_id_luma[i] ，slice_alf_aps_id_chroma ，slice_cc_alf_cb_aps_id 以及slice_cc_alf_cr_aps_id 語法元素表示在VVC8中對ALF APS的參考。當出現在切片信頭中時，解碼器儲存於步驟1003中所剖析識別碼值於有關於ALF_APS類型的參考APS的名單中。

然後，在步驟1004中，解碼器由在步驟904中所填滿的APS緩衝器中檢索具有出現在步驟1003中所決定的APS參考的名單中的類型與識別碼的APS。這些APS被標示為使用於解碼現行PU的VCL NAL單元。選用地，在步驟1005中，解碼器檢查包含在圖像信頭或切片信頭中的APS的參考是否有效。例如，如果在步驟1003的更新參考名單後，名單包含了未出現在APS緩衝器中的APS的參考，表示沒有具有相同APS類型與APS識別碼的APS出現在APS緩衝器中，解碼器可以回報錯誤，及解碼器可以停止該切片或PU的解碼。確實，用以解碼一圖像單元的一切片或圖像信頭所需的所有APS必須在NAL單元參考該APS之前被提供。

在步驟1006中，NAL單元被解碼。在PH NAL單元情況中，圖像信頭的解碼主要包含剖析在NAL單元中所提供的參數。它們被儲存在用以解碼該PH所屬的PU的VCL NAL單元的記憶體中。VCL NAL單元的解碼涉及解碼這些編碼單元。該解碼器典型使用在圖像信頭NAL單元(以及其他非VCL NAL單元)中所剖析的參數，以解碼像素值。更明確地說，它使用在步驟1003所更新的至APS的參考名單，以存取在APS緩衝器中之APS，然後，使用所參考APS的APS參數，應用LMCS、縮放轉換及ALF濾波。

回到圖8，在步驟802中，解碼器可以決定APS、PH及VCL NAL單元以外的其他NAL單元類型，例如參數集NAL及SEI信息。在此情況中，在步驟803的解碼NAL單元涉及剖析出現在NAL單元中的參數並將之儲存在用以解碼可能參考到它們的VCL NAL單元的記憶體中。

第一群實施例

上述提議VVC8語法結構可能在實用上造成特定問題。例如，需要儲存使用中APS的APS緩衝器的大小可能太多。同時，需要管理APS的處理量也可能太多。這些問題將於此參考圖11A加以解釋。

圖11A示出符合VVC8的例示位元流。為了符合，VVC8要求在給定圖像單元中： (a)如果APS出現在一圖像單元，在有關圖像單元的第一VCL NAL之前則APS必須包含在前置APS NAL單元中；及 (b)如果APS出現在圖像單元中，在有關圖像單元的最後VCL NAL單元之後則APS必須包含在尾置APS NAL單元中。

另一方面，如果在該PU的第一與最後VCL NAL單元之間，編碼器則可以使用前置或尾置APS NAL單元。

其中有另一侷限： (c)有關於一特定VCL NAL單元的前置或尾置APS NAL單元並不為該特定VCL NAL單元所使用，而是為在該解碼順序中跟隨該前置或尾置APS NAL單元的VCL NAL單元所使用。

VVC8定義在VCL與非VCL NAL單元間之相關性如下： (1)有關於非VCL NAL單元：用於VCL NAL單元的非VCL NAL單元(當出現時)，其中VCL NAL單元係相關於非VCL NAL單元的相關VCL NAL單元。 (2)有關VCL NAL單元：在解碼順序中的前一VCL NAL單元，用於具有nal_unit_type等於EOS_NUT、EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、 FD_NUT、RSV_NVCL_27、或者，於 UNSPEC_30..UNSPEC_31的範圍中的非VCL NAL單元；否則，則為在解碼順序中的下一VCL NAL單元。

這些定義的作用在於有關於尾置NAL單元的VCL NAL單元為在解碼順序中超前該有關尾置APS NAL單元的VCL NAL單元；以及，有關於前置NAL單元的VCL NAL單元為在解碼順序中跟隨有關尾置APS NAL單元的VCL NAL單元。

在圖11A的符合位元流具有三個圖像單元PU-01、PU-02及PU-03的NAL單元。

第一圖像單元PU-01具有PH NAL單元，其被跟隨有前置APS NAL單元的NAL單元NAL-01。此前置APS NAL單元提供第一APS類型(例如，ALF類型)的APS，具有識別碼等於0。在圖11A中，第一APS類型為水平影線所標示。在PU-01中，單一切片NAL單元NAL-02跟隨前置APS NAL單元NAL-01。此切片表示具有0的APS識別碼的APS(例如，slice_alf_aps_luma[0] 等於0)。

在第二圖像單元PU-02中，第一NAL單元NAL-03為前置NAL單元，其也具有識別碼等於0但具有不同類型(例如，其包含LCMS參數)。此第二APS類型(例如，LMCS類型)係以垂直影線所標示。然後，圖像信頭(PH)NAL單元NAL-04藉由指示ph_lmcs_aps_id 等於0參考用於LMCS參數的此APS。隨後的切片NAL單元NAL-05參考具有識別碼等於0的ALF APS，其被提供在前一圖像單元PU-01的NAL單元NAL-01中。注意，切片NAL單元NAL-05係有關於尾置APS NAL單元NAL-06，因為它在解碼順序中係在NAL-06之前。這表示在侷限(c)之下，VCL NAL單元NAL-05並不能使用尾置APS NAL單元NAL-06的APS。

圖像單元PU-02也包含尾置APS NAL單元NAL-06，其包含具有識別碼等於0的ALF APS。此APS具有相同類型(ALF、水平影線)及與NAL單元NAL-01的APS相同的識別碼(0)。編碼器因此更新ALF類型與識別碼0的APS為該NAL單元NAL-06的APS。切片NAL單元NAL-07參考具有識別碼等於0的ALF APS，因此，參考NAL-06的ALF APS。這是符合侷限(c)，因為NAL-07在解碼順序中跟隨NAL-06。因此，NAL-07並不是有關於APS NAL單元NAL-06的VCL NAL單元。

在此例示位元流中，PU-02的切片NAL-05與NAL-07分別表示使用相同識別碼值的兩個不同ALF APS，但APS NAL單元在位元流中之順序暗示用於有關二切片的ALF APS參數不同(或者，被允許為不同；其中並沒任何事項來阻止編碼器將NAL-01與NAL-06的內容作成相同)。結果，為了解碼圖11A的位元流，對於一給定對的APS識別碼與APS類型的值，解碼器必須儲存兩版本的APS於記憶體中(圖9的步驟904)。在最差情況的例子中，解碼器可能必須使記憶體尺寸雙倍(以保持兩版本的各個APS)，以儲存解碼圖像單元所需的APS。另外，解碼器必須維持VCL NAL單元相對於APS NAL單元的順序，以決定哪些VCL NAL單元參考第一或第二版本的APS NAL單元。

為了解決這些問題，第一群實施例針對語法結構施加進一步侷限，以確保PU的切片參考一單一版本的APS。

另外，在VVC8中，只有ALF參數(並且不是LMCS參數或縮放名單)允許在相同圖像單元中由一切片改變至另一切片。然而，未來版的VVC可能允許通常APS參數變化，並且，以下的實施例並不限於解決針對PU的切片的兩或更多版本ALF APS參數的問題。

第一實施例

在第一實施例中，位元流編碼的進一步侷限(除了VVC8侷限外)為 (d1)前置APS NAL單元必須在PU的VCL NAL單元(即，圖像單元的第一切片NAL單元)之前。

換句話說，VVC8的自由度被侷限，使得在PU的第一與最後VCL NAL單元之間，編碼器可能不能使用前置APS NAL單元。結果，這防止了在前一圖像單元中所送的APS在該第一VCL NAL單元之後的更新。該更新被作成在第一VCL NAL單元之前，並且，因此，該第一VCL NAL單元(或者，該圖像單元的任一後續VCL NAL單元)不能參考在現行圖像單元中更新的APS的前一版本。

解碼器在步驟1005中，檢查位元流的侷限是否有效。如果不是，則解碼器可能中止解碼處理。

在步驟705中，編碼器產生NAL單元，使得位元流侷限有效。例如，編碼器只有在各個PU的第一VCL NAL單元前，產生前置NAL單元。

第二實施例

在第二實施例中，(除了VVC8侷限外)位元流編碼的進一步侷限為： (d2)尾置APS NAL單元在(最後)VCL NAL單元之後。

類似於在第一實施例所提之前置NAL單元的侷限(d1)，其防止在前一PU送出的AP的更新在最後VCL NAL單元之前。在尾置中的APS不能更新在前一PU所送的APS。例如，圖11A的位元流並未符合，因為尾置APS NAL-06在圖像單元PU-02的最後VCL NAL單元NAL-07前送出。因此，解碼器可能在步驟1005中認為，該位元流並未符合並可能回報解碼警告或錯誤，以通知該事件。

第三實施例

第一與第二實施例的進一步侷限(d1)及(d2)當然可以組合提出。

圖11B為使用依據本發明第二或第三實施例的以編碼器產生的位元流的例子。在此例子中，圖像單元PU-01、PU-02與PU-03等同於圖11A的圖像單元。主要差異為編碼器侷限(在步驟704)了APS NAL單元NAL-07在PU-02中的順序：在圖11A中的圖像單元PU-02的尾置APS NAL-06的等同物係被送出在圖11B的圖像單元PU-02的最後VCL NAL單元(現NAL-06)之後作為NAL-07。在兩NAL單元NAL-05與NAL-06中的切片表示具有識別碼0與類型等於ALF的ALF APS：不是在前一PU中所送的前置APS中或在現行PU開始處所送的APS，就是只有在前一PU中所送的尾置APS所送的APS。

解碼904以記憶體消耗看來是較有效，因為只需單一版本APS來解碼PU的所有切片。

另外，這些APS不是在前一PU就是在現行PU的開始處提供，這簡化了APS緩衝器的更新處理。解碼PU的第一VCL NAL單元為該APS緩衝器狀態準備好用於解碼的確認，但在符合VVC8的位元流中，則並不是如此。再者，必須選擇具有給定識別碼與類型的適當版本APS的步驟1004被簡化，因為本發明確保在PU的所有切片將使用特有版本的APS。

雖然圖11B呈現第二/第三實施例的例子，但將了解的是，在第一實施例也可以完成相同或對應優點。當第一與第二實施例的侷限(d1)與(d2)被組合使用時，完成了最佳優點。

第二群實施例

下述第二群實施例將針對由VVC8語法結構造成的另一問題。

在VVC8中的APS有可能再使用參數用於位元流的一或更多切片。所述一或更多切片可能屬於不同圖像單元。例如，圖12A的位元流具有三個圖像單元PU-01、PU-02與PU-03。PU-01包含兩前置APS NAL單元NAL-02及NAL-06及兩尾置APS NAL單元NAL-04與NAL-08。在此例子中，它們與圖像單元PU-01中的VCL NAL單元NAL-03、NAL-05與NAL-08交錯。NAL-02、NAL-04與NAL-06的APS為不同APS類型，例如，分別為ALF、縮放名單及LMCS，但具有相同識別碼0。NAL-08的APS為ALF類型，如同NAL-02的APS者，並具有識別碼1。

圖像單元PU-02包含兩切片NAL單元NAL-09與NAL-10。編碼器在步驟703中決定PU-01的APS，對於下一PU，即PU-02為有效。切片NAL-09可以例如參考NAL-06，以及，切片NAL-10參考NAL-08。於編碼PU，即PU-02時，編碼器決定具有識別碼等於0的類型LMCS的APS需要根據切片NAL-10的內容更新。為此理由，它產生新參數，用於具有識別碼0的類型LMCS的APS。尾置APS NAL單元NAL-11包含此APS，因為NAL單元NAL-11係在最後VCL NAL單元NAL-10之後(依據以上侷限(a)，前置APS NAL單元不能跟隨PU的最後VCL NAL單元)。

當應用對位元流執行隨機存取，以開始在圖像單元PU-02的解碼(假設PU-02為隨機存取點)，則應用必須在PU，即PU-02的切片NAL單元之前，提供NAL單元NAL-06與NAL-08。結果，它將NAL-06與NAL-08插在PU，即PU-02的開始處，在NAL單元，即NAL-09之前，如圖12B所示。如圖12B所示的所得位元流違反VVC8的兩個侷限。這將使得解碼的步驟1005進入錯誤狀態。

首先，NAL-08為在PU的第一VAL NAL單元前的尾置APS NAL單元，並且，依據以上侷限(a)，編碼器必須使用前置APS NAL單元，當該APS在PU的第一VCL NAL單元之前被送出。在圖12B的例子中，尾置NAL單元NAL-08被插入在PU，即PU-02的第一VCL NAL單元之前，這並不符合VVC。

第二，PU-02具有尾置與前置APS NAL單元NAL-11及NAL-06，其包含具有相同識別碼(0)與類型(LMCS)但不同內容的APS，這在VVC8中並不允許。

因此，該應用必須重寫前置APS NAL單元NAL-08的類型(nal_unit_type )，以產生新的前置APS NAL單元NAL-23(nal_unit_type 被設定為等於18)如於圖12C所示。另外，應用必須移動與重寫圖12B的尾置APS NAL單元NAL-11成為在PU，即PU-03的開始處的新前置APS NAL單元NAL-24。如果此PU-03的PU也剛好包含具有與NAL-24相同的識別碼與類型的APS NAL單元，則應用也必須移動與重寫它們。

這些移動操作以使位元流符合VVC8成本很高，因為在最差情況下，它們可能需要重寫在隨機存取圖像單元後的該PU的所有APS NAL單元。

為了解決這些問題，第二群實施例提出、移除或修改對語法結構的侷限，以確保有較少或甚至沒有重寫操作。

第四實施例

(除了前述之侷限(a)與(b)外)VVC8的侷限為任何具有相同APS類型與相同識別碼的APS必須具有相同內容。即使APS為不同APS NAL單元類型-尾置和前置上的不同，此侷限仍適用。換句話說，如果需要與現存APS參數不同的新APS參數，則編碼器必須配置不同APS類型與識別碼組合給承載有新APS參數的APS NAL單元，或者，如果沒有剩下自由組合可用，則它必須更換現存APS，例如最舊的現存APS。

在第四實施例中，解碼器允許具有相同類型與識別碼尾置與前置APS NAL單元具有不同內容。結果，如果後續宣告對於符合第四實施例的位元流為有效，則位元流為有效(即，通過在步驟1005中的符合性檢查)： (e)在PU內的具有特定NAL單元類型(nal_unit_type )與adaptation_parameter_set_id 的特定值及aps_params_type 的特定值的所有APS NAL單元應具有相同內容。

結果，NAL單元NAL-11的移動操作並不必要，因為NAL單元NAL-06(前置APS NAL單元)具有與NAL單元NAL-11(尾置APS NAL單元)不同的NAL單元類型。圖12D呈現沒有NAL單元NAL-11的移動操作的位元流。

第五實施例

上述第四實施例允許具有APS的相同識別碼與類型的前置與尾置APS NAL單元具有不同內容。然而，此修正的結果為使之可能藉由使用不同類型NAL單元以提供APS而更新在兩切片間之APS。例如，現參考圖13，PU-01的PU以圖像信頭NAL單元NAL-01開始。此PU包含兩APS NAL單元NAL-02與NAL-04，其包含具有相同識別碼與相同類型但不同內容的APS。NAL-02為前置NAL單元及NAL-04為尾置NAL單元。結果，切片NAL-03可以參考在NAL-02 APS NAL單元中的APS參數，而切片NAL-05參考在NAL-04 APS NAL單元中的參數。結果，PU-01的PU的解碼需要額外記憶體，以儲存兩版本的APS，其具有相同組合的類型與識別碼值。

在第五實施例中，編碼器可以在給定PU內產生尾置APS NAL單元，其侷限為現行PU的NAL單元均不會參考在尾置APS NAL單元中的APS，而不管尾置APS NAL單元在PU中的位置。包含尾置APS NAL單元的位元流應符合以下侷限： (f)尾置APS NAL單元並未供包含尾置APS NAL單元的PU的VCL NAL單元所使用，而是供在解碼順序中，跟隨在該尾置APS NAL單元後的PU的VCL NAL單元所使用。

參考圖13的例子，尾置APS NAL單元NAL-04只可供在第五實施例中的後續PU中的NAL單元所使用。因此，切片NAL-05不能參考在尾置APS NAL單元NAL-04中的參數。下一PU，即PU-02的切片NAL-09及NAL-10可以參考在尾置APS NAL單元NAL-04中的APS。然而，因為在NAL-04中的APS與在NAL-02中的APS具有相同識別碼與類型，所以這些切片(NAL-09及NAL_10)不能參考在NAL-02中的初始版本APS。

第六實施例

除了第五實施例的侷限為PU的NAL單元不能參考在該PU的尾置APS NAL單元內的APS外，第六實施例禁止在給定PU中的前置與尾置NAL單元的某些混合。這表示： (g1)當PREFIX APS NAL單元出現在PU時，它們不應跟在PU的最後VCL NAL單元，或SUFFIX APS NAL單元後；及 (g2)當SUFFIX APS NAL單元出現在PU時，它們不應超前該PU的第一VCL NAL單元或PREFIX APS NAL單元。

換句話說，侷限(a)當APS被送出在該PU的第一VCL NAL單元之前時，編碼器必須使用前置APS NAL單元，以及侷限(b)當APS跟隨該PU的最後VCL時，編碼器必須使用尾置NAL單元仍然適用。然而，在該PU的第一與最後VCL NAL單元間，編碼器可以使用前置或尾置APS NAL單元的任何混合的自由度則被侷限。只有當順序為前置然後尾置APS NAL單元的混合才被允許。此侷限是無關於APS類型與APS識別碼。在一變化例中，侷限可以適用至一APS類型但對於另一APS類型則否。

這簡化解碼處理，因為解碼器能夠在解碼器剖析該位元流的第一尾置APS NAL單元的同時，決定在一給定PU中可以參考的APS的名單的完成。

第七實施例

如同在第四實施例，第七實施例允許具有相同類型與識別碼的尾置與前置APS NAL單元具有不同內容。因此，侷限(e)適用至符合第七實施例的位元流： (e)在PU內的具有特定NAL單元類型、 adaptation_parameter_set_id的特定值及aps_params_type 的特定值的所有APS NAL單元應具有相同內容。

第二實施例的進一步侷限也提出： (d2)尾置APS NAL單元必須在最後VCL NAL單元之後。

此侷限是無關於APS類型與APS識別碼。在一變化例中，侷限可以適用至一種APS類型但並不適用另一APS類型。

VVC8的侷限(a)與(b)仍適用。在該PU的第一與最後VCL NAL單元間的編碼器可以使用前置或尾置APS NAL單元的任意混合的自由度係為侷限(2)所侷限。它防止VCL NAL單元或PU的圖像信頭參考界定在尾置APS NAL單元中的APS。確實，為了參考，APS應提供在所參考的NAL單元之前。此最後侷限暗示在SUFFIX APS NAL單元中的APS是在所有NAL單元之後，該等NAL單元係為可能參考在給定PU中的APS。只有來自解碼順序中的下一PU的VCL NAL單元可以參考這些APS。

第八實施例

第八實施例建築於第四至第六實施例之任一之上並增加第一實施例的進一步侷限。 (d1)前置APS NAL單元必須在第一VCL NAL單元之前。

VCC8的侷限(a)與(b)仍適用。該編碼器可以在PU的第一與最後VCL NAL單元之間使用前置或尾置APS NAL單元的任意混合的自由度係為侷限(d1)所侷限。

這不只防止複雜重寫操作同時也確保解碼器並不必如有關於第一實施例所解釋的針對解碼給定PU的切片緩衝兩版本的APS。

第九實施例

第九實施例建築於第七實施例之上並在之上進一步增加侷限 (d1)前置APS NAL單元必須在第一VCL NAL單元之前。

VVC8的侷限(a)與(b)仍適用。編碼器可以在該PU的第一與最後VCL NAL單元之間使用前置或尾置APS NAL單元的任意組合的自由度為侷限(d1)所侷限。

這不只防止複雜重寫操作同時也確保解碼器並不必如有關於第一實施例所解釋的針對解碼給定PU的切片緩衝兩版本的APS

第十實施例

在第十實施例中，當共用APS的相同類型與識別碼時，編碼器允許尾置與前置APS NAL單元具有不同內容。另外，針對符合位元流，需要以下侷限： (h1)在PU內，參考具有特定識別碼值與特定類型值的APS的VCL NAL單元不應為包含具有這些特定識別碼與類型值的APS的前置APS NAL單元所跟隨。

這實施例使之可能在兩VCL NAL單元間提供前置與尾置APS NAL單元。如果編碼器需要產生具有APS的新的APS NAL單元用於下一PU，則它並不必緩衝用於幾個VCL NAL單元的APS。

侷限(h1)確保當使用相同識別碼與類型值時，相同PU的兩切片將不會參考(提供在多個前置APS NAL單元中的)不同APS。

在一變化例中，編碼器可以發信於SPS中，以在參數集信頭中的旗標，例如PPS或SPS，表示是否允許交錯APS。

第十一實施例

在第十一實施例中，當共用APS的相同類型與識別碼時，編碼器允許尾置與前置APS NAL單元具有不同內容。另外，符合位元流需要以下侷限： (h2)在PU內，參考具有特定識別碼值與特定類型值的APS的VCL NAL單元不應被具有這些識別碼與類型特定值的APS的尾置APS NAL單元所超前。

此實施例使之可能在兩VCL NAL單元間提供前置與尾置APS NAL單元。如果編碼器需要產生具有APS的新APS NAL單元，用於下一PU，則它並不必緩衝用於幾個VCL NAL單元的APS。

侷限(h2)確保尾置APS NAL單元不被用於給定PU的NAL單元，只為後續PU的VCL NAL單元所使用。

第十二實施例

在第十二實施例中，當共用APS的相同類型與識別碼時，編碼器允許尾置與前置APS NAL單元具有不同內容。另外，分別適用至第十及第十一實施例的侷限(h1)及(h2)均需要符合位元流。

此實施例使之可能在兩VCL NAL單元之間提供前置與尾置APS NAL單元。如果編碼器要產生具有APS的新APS NAL單元用於下一PU，它並不必緩衝用於幾VCL NAL單元的APS。

在一變化例中，編碼器可以發信於SPS中，以在參數集信頭中的旗標，例如PPS或SPS表示是否允許交錯APS。

第一群實施例的其他實施例

第二群實施例的實施例中所用的某些手法也有用於解決第一群實施例所針對的問題。因此，第一群實施例的其他實施例係被如下考量。這些其他實施例並不需解決隨機存取問題，並且，因此，並不涉及第四至第十二實施例的侷限(e)，其中所有具有特定NAL單元類型(nal_unit_type )與在PU內的adapptation_parameter_set_id 的特定值及aps_params_type 的特定值的APS NAL單元應具有相同內容。

第十三實施例

此實施例組合侷限： (h1)在PU內，參考具有特定識別碼值與特定類型值的APS的VCL NAL單元不應為包含具有這些特定識別碼與類型值的APS的前置APS NAL單元所跟隨；及 (d2)尾置APS NAL單元必須在最後VCL NAL單元之後。

第十四實施例

此實施例組合侷限： (h2)在PU內，參考具有特定識別碼值與特定類型值的APS的VCL NAL單元不應被具有這些識別碼與類型的特定值的APS的尾置APS NAL單元所超前；及 (d1)前置APS NAL單元必須在第一VCL NAL單元之前。

第十五實施例

此實施例組合侷限： (h1)在PU內，參考具有特定識別碼值與特定類型值的APS的VCL NAL單元不應為包含具有這些特定識別碼與類型值的APS的前置APS NAL單元所跟隨；及 (h2)在PU內，參考具有特定識別碼值與特定類型值的APS的VCL NAL單元不應被具有這些識別碼與類型的特定值的APS的尾置APS NAL單元所超前。

在此實施例，不需要侷限(d1)也不需要侷限(d2)。

本發明實施例的實施

依據本發明其他實施例也可以了解到，依據前述實施例/變化例的解碼器係被設在使用者終端，例如電腦、行動電話(蜂巢式手機)、平板電腦或任何其他類型能提供/顯示內容給使用者的裝置(例如，顯示設備)中。依據另一實施例，依據前述實施例/變化例的編碼器係被提供於影像捕捉設備中，其也包含相機、攝影機或網路攝影機(例如，閉路電視或視訊監視攝影機)之中，其捕捉與提供內容給編碼器編碼。此兩實施例係被如下參考圖14及15加以提供。

圖14為包含網路攝影機1402與客戶設備1404的網路攝影機系統1400的示意圖。

網路攝影機1402包含成像單元1406、編碼單元1408、通訊單元1410及控制單元1412。網路攝影機1402與客戶設備1404係相互連接以能彼此透過網路300通訊。

成像單元1406包含透鏡與影像感應器(例如，電荷耦合裝置(CCD)或互補金屬氧化物半導體(CMOS))，並捕捉物體影像並根據該影像產生影像資料。此影像可以是靜態影像或視訊影像。成像單元也可以包含變焦手段及/或移動拍攝手段，其可以適用以分別 (光學或數位式)變焦或移動拍攝。

編碼單元1408藉由使用在前述實施例/變化例之一或更多者所解釋的所述編碼方法，來編碼該影像資料。編碼單元1408使用在前述實施例/變化例中所解釋的至少之一編碼方法。另外，例如，編碼單元1408可以使用在前述實施例/變化例中所解釋的編碼方法的組合。

網路攝影機1402的通訊單元1410傳送為編碼單元1408所編碼的已編碼影像資料給客戶設備1404。

再者，通訊單元1410也可以接收來自客戶設備1404的命令。命令包含為編碼單元1408所用以設定編碼用的參數的命令。

控制單元1412依據為通訊單元1410接收或使用者輸入的命令，控制網路攝影機1402中的其他單元。

客戶設備1404包含通訊單元1414、解碼單元1416及控制單元1418。

客戶設備1404的通訊單元1414可以傳送命令給網路攝影機1402。再者，客戶設備1404的通訊單元1414自網路攝影機1402接收該編碼影像資料。

解碼單元1416藉由使用在一或更多前述實施例/變化例中所解釋的所述解碼方法，解碼該已編碼影像資料。其他例子中，解碼單元1416可以使用前述實施例/變化例中所解釋的解碼方法的組合。

客戶設備1404的控制單元1418依據使用者操作或通訊單元1414所接收的命令，控制在客戶設備1404中的其他單元。客戶設備1404的控制單元1418也可以控制顯示設備1420，以顯示為解碼單元1416所解碼的影像。

客戶設備1404的控制單元1418也可以控制顯示設備1420，以顯示GUI(圖形使用者界面)，以指定用於網路攝影機1402的參數值，例如，編碼單元1408的編碼用的參數的值。客戶設備1404的控制單元1418也可以依據使用者對顯示設備1420所顯示的GUI的操作輸入，控制在客戶設備1404中的其他單元。

客戶設備1404的控制單元1418也可以控制客戶設備1404的通訊單元1414，以傳送命令給網路攝影機1402，其依據對顯示設備1420所顯示GUI的使用者操作輸入，指定用於網路攝影機1402的參數的值。

圖15為例示智慧手機1500的示意圖。

智慧手機1500包含通訊單元1502、解碼/編碼單元1504、控制單元1506、及顯示單元1508。

通訊單元1502經由網路9200接收已編碼影像資料。

解碼/編碼單元1504解碼為該通訊單元1502所接收的已編碼影像資料。解碼/編碼單元1504藉由使用在前述一或更多實施例/變化例所解釋的所述解碼方法，解碼該已編碼影像資料。解碼/編碼單元1504也可以使用在前述實施例/變化例中所解釋的至少一編碼或解碼方法。另一例子中，解碼/編碼單元1504也可以使用在前述實施例/變化例中所解釋的解碼或編碼方法的組合。

控制單元1506依據使用者操作或通訊單元1502所接收的命令，控制在智慧手機1500中的其他單元。例如，控制單元1506控制顯示單元1508，以顯示為解碼/編碼單元1504所解碼的影像。

智慧手機也可以更包含影像記錄裝置1510(例如，數位攝影機或相關電路)，以記錄影像或視訊。此等記錄影像或視訊可以在控制單元1506的指令下為解碼/編碼單元1504所編碼。

智慧手機可以更包含適用以感應智慧手機的方位的感應器1512。此等感應器可以包含加速計、陀螺儀、羅盤、全球定位系統(GPS)單元或類似定位感應器。此等感應器1512可以決定是否智慧手機改變方位並且當編碼視訊流時，此資訊也可以使用。

雖然本發明已經參考實施例與其變化例加以描述，但可了解的是本發明並不限於所揭露的實施例/變化例。將為熟習於本技藝者所了解，各種變化與修改可以在不脫離如隨附申請專利範圍所界定的本發明的範圍下完成。於本說明書中所揭露的各種特性(包含任一隨附申請專利範圍、摘要及圖式)，及/或所揭露的任一方法或處理的所有步驟可以以任意組合，除非組合的至少部分特性及/或步驟有相互排斥的情形。在本說明書中所揭露的各個特性(包含任一隨附申請專利範圍、摘要及圖式)可以以作為相同、等效或類似目的的替代特性加以更換，除非有特別說明之外。因此，除非特別說明，否則於此所揭露的各個特性只是統稱連續等效或類似特性的一個例子。

也可以了解的是，上述的比較、決定、推論、評估、選擇、執行、實行或考量的任何結果，例如，在編碼、處理或分割處理期間作出的選擇可以在自位元流中表示或由位元流資料中決定/推論，例如，結果的旗標或指示資訊，使得所表示或決定/推論的結果可以在處理中被使用，而不是在實際執行例如解碼或分割處理期間的比較、決定、評估、選擇、執行、實行或考量。應了解的是，當使用“表”或“查看表”時，例如陣列的其他資料類型也可以被用以執行相同功能，只要該資料類型能執行相同功能(例如，表示在不同元件間的關係/映圖)即可。

在申請專利範圍中，用語“包含”並不排除其他元件或步驟，及不定冠詞“a”或“an”並不排除多數。在相互不同附屬項中所描述的不同特性並不表示這些特性的組合並不能有利地使用。出現在請求項中的元件符號只是例示用，應不對申請專利範圍有限定作用。

在前述實施例/變化例中，所述功能可以以硬體、軟體、韌體或其任意組合加以實行。如果以軟體實行，則這些功能可以以一或更多指令或碼被儲存或傳輸於電腦可讀媒體上，並為硬體為主處理單元所執行。

電腦可讀媒體可以包含電腦可讀儲存媒體，其對應於有形媒體，例如資料儲存媒體，或通訊媒體，包含例如，依據通訊協定促成電腦程式由一地點轉移至另一地點的任何媒體。以此方式，電腦可讀媒體通常對應於(1)有形電腦可讀儲存媒體，其為非暫態，或(2)通訊媒體，例如，信號或載波。資料儲存媒體可以為任何可用媒體，其可以為一或更多電腦或一或更多處理器所存取，以取回指令、碼及/或資料結構，用以實行在本案中所描述的技術。電腦程式產品可以包含電腦可讀媒體。

以例示及不作限定用，此等電腦可讀儲存媒體可以包含RAM、ROM、EEPROM、CD-ROM、或其他光碟儲存、磁碟儲存、或其他磁儲存裝置、快閃記憶體或任何其他媒體，其可以用以儲存以指令或資料結構表示的想要程式碼並可以為電腦所存取者。同時，任何有關者適當被稱為電腦可讀媒體。例如，如果指令由網站、伺服器、或其他遠端來源使用同軸電纜、光纜、對絞線、數位用戶線(DSL)、或無線技術，例如紅外線、無線電及微波傳送，則同軸電纜、光纜、對絞線、DSL或例如紅外線、無線電、及微波的無線技術係被包含在媒體的定義中。然而，應了解的是，電腦可讀媒體及資料儲存媒體並不包含連接、載波、信號或其他暫時媒體，而是直指非暫態有形儲存媒體。例如於此所用的碟片包含小型碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)、軟碟及藍光碟，其中碟片通常磁性再生資料，同時，碟片也以雷射光學地再生資料。上述之組合也應被包含在電腦可讀媒體的範圍內。

指令可以為例如一或更多數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式閘/邏輯陣列(FPGA)、或其他等效整合或分立邏輯電路的一或更多處理器所執行。因此，於此所用之用語”處理器”可以表示任何前述結構或任何適用以實行於此所述之技術的其他結構。另外，在一些態樣中，於此所述之功能可以設在組態以編碼及解碼的專用硬體及/或軟體模組之內或整合於組合的編解碼器中。同時，這些技術也可以以一或更多電路或邏輯元件中完整實行。

依據本發明的方法/處理的任何步驟或者於此所述之功能可以以硬體、軟體、韌體或其任意組合方式加以實行。如果以軟體實行，則步驟/功能可以作成一或更多指令或碼或程式被儲存或傳輸於電腦可讀媒體上，並可以為一或更多例如可程式計算機器的硬體為主處理單元所執行，該機器可以為PC(個人電腦)、DSP(數位信號處理器)、電路、電路組、處理器與記憶體、通用微處理器或中央處理單元、微控制器、ASIC(特殊應用積體電路)、場可程式邏輯陣列(FPGA)、或其他等效積體或分立邏輯電路。因此，於此所用之用語“處理器”也可以表示任一前述結構或任何適用以實行於此所述技術的其他結構。

本發明的實施例也可以為各種類型的裝置或設備所實現，包含無線手機、積體電路(IC)或一組JC(例如，晶片組)。於此所述之各種元件、模組、或單元係用以描述被組態以執行這些實施例的裝置/設備的功能態樣，但並不必然需要藉由不同硬體單元來實現。相反地，各種模組/單元也可以組合於編解碼硬體單元中，或由配合操作的硬體單元所提供，包含結合適當軟體/韌體的一或更多處理器。

本發明的實施例可以以系統或設備的電腦所實現，該系統或設備讀取與執行記錄在儲存媒體上的電腦可執行指令(例如，一或更多程式)，以實行一或更多上述實施例的模組/單元/功能及/或其也包含一或更多處理單元或電路，用以執行一或更多上述實施例的功能，並藉由系統或設備的電腦執行的方法，例如，藉由由儲存媒體讀取與執行電腦可執行指令，以實行一或更多上述實施例及/或控制所述一或更多處理單元或電路，以實行一或更多上述實施例的功能。電腦可以包含一網路的分立電腦或分開處理單元，以讀取與執行電腦可執行指令。電腦可執行指令可以由例如通訊媒體的電腦可讀媒體經由網路或有形儲存媒體，提供給電腦。通訊媒體可以為信號/位元流/載波。有形儲存媒體為“非暫態電腦可讀儲存媒體”，其可以包含例如硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、分散計算系統的儲存、光碟(例如，光碟(CD)、數位多功能光碟(DVD)、或藍光碟片(BD)™)、快閃記憶體裝置、記憶卡、及類以物之一或多者。至少一部分的步驟/功能也可以被機器或專用元件，例如FPGA(場可程式閘陣列)或ASIC(特殊應用積體電路)以硬體方式實施。

101:圖像 102:圖像 200:位元流 201:NAL單元 202:NAL單元 203:NAL單元 204:NAL單元 205:NAL單元 206:NAL單元 207:NAL單元 208:NAL單元 209:NAL單元 210:切片信頭 211:原始位元組序列酬載 220:磚 240:編碼區塊 300:網路 301:伺服器 302:客戶 304:資料流 400:設備 403:通訊網路 404:硬碟 405:磁碟機 406:碟片 407:唯讀記憶體 408:麥克風 409:螢幕 410:鍵盤 411:中央處理單元 412:隨機存取記憶體 413:通訊匯流排 500:編碼器 501:原始序列影像 502:模組 503:模組 504:動作評估模組 505:動作補償模組 506:選擇模組 507:轉換模組 508:量化模組 509:熵編碼模組 510:位元流 511:逆向量化模組 512:逆向轉換模組 513:逆向內預測模組 514:逆向動作補償模組 515:後濾波模組 516:參考影像 517:動作向量預測與編碼 600:解碼器 601:位元流 602:熵解碼模組 603:去量化模組 604:逆向轉換模組 605:內逆向預測模組 606:逆向動作補償模組 607:後濾波模組 608:參考影像 609:解碼視訊信號 610:動作向量解碼模組 611:動作向量場資料 701:處理迴路 702:壓縮切片 703:決定APS參數 704:決定APS識別碼與類型 705:編碼NAL單元 801:迴路 802:取得NAL單元類型 803:解碼NAL單元 901:是否NAL單元包含APS 902:取得類型 903:取得識別碼 904:儲存APS於記憶體 905:檢查符合性 1400:網路攝影機系統 1402:網路攝影機 1404:客戶設備 1406:成像單元 1408:編碼單元 1410:通訊單元 1412:控制單元 1414:通訊單元 1416:解碼單元 1418:控制單元 1420:顯示設備 1500:智慧手機 1502:通訊單元 1504:解碼/編碼單元 1506:控制單元 1508:顯示單元 1510:影像記錄裝置 1512:感應器

本發明實施例將藉由例示方式與參考附圖加以描述，其中：

[圖1]示出依據本發明實施例之將圖像切割成磚片與切片；

[圖2]示出例示VVC位元流；

[圖3]為方塊圖，示意出可以實施本發明的一或更多實施例的資料通訊系統；

[圖4]為方塊圖，示出本發明的一或更多實施例可以實施的處理裝置的元件；

[圖5]為方塊圖，示出可以實施本發明的一或更多實施例的編碼器的元件；

[圖6]為方塊圖，示出可以實施本發明的一或更多實施例的解碼器的元件；

[圖7]為流程圖，示出依據本發明實施例的編碼程序；

[圖8]為流程圖，示出依據本發明實施例的解碼程序；

[圖9]為流程圖，示出圖8的解碼程序的更多細節部分；

[圖10]為流程圖，示出圖8的解碼程序的更多細節部分；

[圖11A]示出符合VVC8的位元流的例子；

[圖11B]示出依據本發明實施例的位元流；

[圖12A]示出符合VVC8的位元流的另一例子；

[圖12B]示出當需要隨機存取時，圖12A的位元流的第一修改；

[圖12C]示出當需要隨機存取時，圖12A的位元流的第二修改；

[圖12D]示出依據本發明實施例之對應於圖12A的例子的位元流；

[圖13]示出依據本發明另一實施例之位元流；

[圖14]為示意圖，示出本發明的一或更多實施例可以實施的網路攝影機系統；及

[圖15]為示意圖，示出本發明的一或更多實施例的智慧手機。

Claims

一種位元流中之序列影像的編碼方法，包含：提供在該位元流中之連串圖像單元，各個所述圖像單元對應一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的所述NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且同時也包含適應參數集NAL單元，其各個包含適應參數集(APS)，其具有用以針對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型的處理操作用的參數，及可包含在該連串圖像單元中的該APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中，如果前置APS NAL單元出現在圖像單元中，則該前置APS NAL單元超前該圖像單元的第一VCL NAL，以及，如果尾置APS NAL單元出現在該圖像單元中，則該尾置APS NAL單元跟隨該圖像單元的最後VCL NAL，各個所述APS NAL單元具有APS類型與APS識別碼；及允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
如請求項1之編碼方法，更包含：禁止包含該尾置APS NAL單元的該圖像單元的所述VCL NAL單元使用尾置APS NAL單元；及允許在解碼順序中跟隨該尾置APS NAL單元的圖像單元的VCL NAL單元使用該尾置APS NAL單元。
如請求項1之編碼方法，更包含：侷限可包含在圖像單元中的所述APS NAL單元，使得：前置APS NAL單元必須在該有關圖像單元的任何尾置APS NAL單元之前及在該有關圖像的最後VCL NAL單元之前；及尾置APS NAL單元必須在該有關圖像單元的任何前置APS NAL單元之後以及該有關圖像單元的第一VCL NAL單元之後。
如請求項1之編碼方法，更包含：禁止在圖像單元中包含尾置APS NAL單元，在該有關圖像單元的最後NAL單元之前。
如請求項1之編碼方法，更包含：禁止在圖像單元中包含前置APS NAL單元，在該有關圖像單元的第一NAL單元之後。
如請求項1至3中任一項之編碼方法，更包含：禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元為包含具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨。
如請求項1至3中任一項之編碼方法，更包含：禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元為包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。
如請求項1之編碼方法，其中可包含在該連串圖像單元中的所述NAL單元更包含非VCL NAL單元，其並不是APS NAL單元並發信給參考APS的一或更多VCL NAL單元並且如果出現在圖像單元中，則超前該有關圖像單元的第一VCL NAL單元。
一種序列編碼影像的解碼方法，包含：接收具有一連串圖像單元的位元流，各個所述圖像單元對應一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的所述NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以針對包含在一或更多VCL NAL單元的影像資料，執行一或更多類型處理操作的參數，及該可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中，如果前置APS NAL單元出現在圖像單元中，則該前置APS NAL單元超前該在圖像單元的第一VCL NAL，以及，如果尾置APS NAL單元出現在該圖像單元中，則該尾置APS NAL單元跟隨該圖像單元的最後VCL NAL，各個所述APN NAL單元具有APS類型與APS識別碼，其中，在給定圖像單元內所有具有前置NAL單元類型與特定APS識別碼與特定APS類型的APS NAL單元具有相同內容，在給定圖像單元內，所有具有尾置NAL單元類型與特定APS識別碼與特定APS類型的APS NAL單元具有相同內容，並在相同圖像單元中，允許包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
如請求項9的解碼方法，更包含以一或更多符合準則，檢查所接收位元流的符合性的步驟，所述一符合準則允許在相同圖像單元中，包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
如請求項10的解碼方法，其中該符合準則包含：禁止包含該特定VCL NAL單元的該圖像單元的所述VCL NAL單元使用尾置APS NAL單元；及允許在解碼順序中跟隨尾置APS NAL單元的圖像單元的VCL NAL單元使用該尾置APS NAL單元。
如請求項10的解碼方法，其中該符合準則包含侷限可包含在圖像單元中的所述APS NAL單元，使得：前置APS NAL單元必須在該有關圖像單元中的任何尾置APS NAL單元之前及在該有關圖像單元的最後VCL NAL單元之前；及尾置APS NAL單元必須在該有關圖像單元中的任何前置APS NAL單元之後及在該有關圖像單元的第一VCL NAL單元之後。
如請求項10的解碼方法，其中該符合準則包含一侷限，用以禁止在圖像單元中包含尾置APS NAL單元在該有關圖像單元的最後NAL單元之前。
如請求項10的解碼方法，其中該符合準則包含禁止在圖像單元中包含前置APS NAL單元在該有關圖像單元的第一NAL單元之後。
如請求項10至12中任一項的解碼方法，其中該符合準則包含禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元被包含具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨。
如請求項10至12中任一項的解碼方法，其中該符合準則包含禁止在圖像單元中參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元為包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。
如請求項9的解碼方法，其中可包含在該連串圖像單元中的所述NAL單元更包含非VCL NAL單元，其並不是APS NAL單元並發信給參考APS的一或更多VCL NAL單元並且如果出現在圖像單元中，則超前該有關圖像單元的第一VCL NAL單元。
一種將序列影像編碼在位元流中的裝置，包含：提供手段，用以於該位元流中提供一連串圖像單元，各個所述圖像單元對應一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含於該連串圖像單元中的所述NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，以及，可包含在該連串圖像單元中的APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中如果前置APS NAL單元出現在圖像單元中，則該前置APS NAL單元超前該有關圖像單元的第一VCL NAL，並且，如果尾置APS NAL單元出現在該圖像單元中，則該尾置APS NAL單元跟隨該圖像單元的最後VCL NAL，各個所述APS NAL單元具有APS類型與APS識別碼；及允許手段，允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
一種序列編碼影像的解碼裝置，包含：接收手段，用以接收具有一連串圖像單元的位元流，各個所述圖像單元對應於一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的所述NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含適應參數集(APS)，具有用以針對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的所述APS NAL 單元包含前置APS NAL單元與尾置APS NAL單元，其中如果前置APS NAL單元出現在圖像單元中，則該前置APS NAL單元超前該有關圖像單元的第一VCL NAL，並且，如果尾置APS NAL單元出現在該圖像單元中，則該尾置APS NAL單元跟隨該圖像單元的最後VCL NAL，各個所述APS NAL單元具有APS類型與APS識別碼，其中在給定圖像單元內所有具有前置NAL單元類型與特定APS識別碼與特定APS類型的APS NAL單元具有相同內容，在給定圖像單元內所有具有尾置NAL單元類型與特定APS識別碼與特定APS類型的APS NAL單元具有相同內容，並且在相同圖像單元內允許包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
如請求項19的解碼裝置，更包含檢查手段，用以以一或更多符合準則，檢查所接收的位元流的符合性，所述一或更多符合準則允許在相同圖像單元中包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
一種程式，當為處理器或電腦執行時，使得該處理器或電腦執行如請求項1至8中任一項的編碼方法或如請求項9至17中任一項的解碼方法。
一種儲存位元流的資料結構產品，該位元流代表序列編碼影像並且具有連串圖像單元，各個所述圖像單元對應一編碼影像並包含一或更多網路抽象層(NAL)單元，可包含在該連串圖像單元中的所述NAL單元：包含視訊編碼層(VCL)NAL單元，其各個包含編碼影像資料；並且也包含適應參數集NAL單元，其各個包含一適應參數集(APS)，具有用以針對包含在一或更多VCL NAL單元中的該影像資料，執行一或更多類型處理操作的參數，及可包含在該連串圖像單元中的所述APS NAL單元包含前置APS NAL單元與尾置APS NAL單元，其中，如果前置APS NAL單元出現在圖像單元中，則該前置APS NAL單元超前該圖像單元的第一VCL NAL，並且，如果尾置APS NAL單元出現在該圖像單元中，則該尾置APS NAL單元跟隨該圖像單元的最後VCL NAL，各個所述APS NAL單元具有APS類型與APS識別碼；及其中所有在給定圖像單元中的具有前置NAL單元類型與特定APS識別碼與特定APS類型的APS NAL單元具有相同內容，及所有在給定圖像單元中的具有尾置NAL單元類型與特定APS識別碼與特定APS類型的APS NAL單元具有相同內容，並且在相同圖像單元中允許包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
如請求項22的儲存位元流的資料結構產品，其中該連串圖像單元的至少一圖像單元包含具有相同APS類型與相同APS識別碼但不同內容的前置APS NAL單元與尾置APS NAL單元。
如請求項22的儲存位元流的資料結構產品，其中：在有尾置APS NAL單元的所述連串圖像單元的各個所述圖像單元中，該尾置單元並未為包含該特定VCL NAL單元的該圖像單元的所述VCL NAL單元所使用；及對於具有此一尾置APS NAL單元未為包含該特定VCL NAL單元的該圖像單元的所述VCL NAL單元所使用的至少一圖像單元，該尾置APS NAL單元係為在解碼順序中跟隨該尾置APS NAL單元的一或更多圖像單元的一或更VCL NAL單元所使用。
如請求項22至24中任一項的儲存位元流的資料結構產品，其中：在包含前置APS NAL單元的各個圖像單元中，所述前置APS NAL單元係在該有關圖像單元的任一尾置APS NAL單元之前及在該有關圖像單元的最後VCL NAL單元之前；及在包含尾置APS NAL單元的各個圖像單元中，所述尾置APS NAL單元必須在該有關圖像單元的任一前置APS NAL單元之後及在該有關圖像單元的第一VCL NAL單元之後。
如請求項22的儲存位元流的資料結構產品，其中：所述連串圖像單元的所述圖像單元均未包含尾置APS NAL單元在該有關圖像單元的最後NAL單元之前。
如請求項22的儲存位元流的資料結構產品，其中所述連串圖像單元的所述圖像單元均未包含前置 APS NAL單元在該有關圖像單元的第一NAL單元之後。
如請求項22至24中任一項的儲存位元流的資料結構產品，其中在任何圖像單元中，包含有參考具有特定APS類型與特定APS識別碼的APS的VCL NAL單元，該參考VCL NAL單元並不為包含具有相同APS類型與相同APS識別碼的APS的前置APS NAL單元所跟隨。
如請求項22至24中任一項的儲存位元流的資料結構產品，其中在任何圖像單元中，包含有參考特定APS類型與特定APS識別碼的APS的VCL NAL單元，該參考VCL NAL單元並未為包含具有相同APS類型與相同APS識別碼的APS的尾置APS NAL單元所超前。
一種編碼在如請求項22至29中任一項的儲存位元流的資料結構產品中的序列影像的方法。
一種序列編碼影像的解碼方法，該方法包含接收如請求項22至29中任一項的儲存位元流的資料結構產品。
如請求項31的解碼方法，更包含解碼所述NAL單元，取得包含在所述VCL NAL單元中的所述影像資料與包含在所述APS NAL單元中的所述APS的所述參數，並使用所取得APS參數，處理所取得影像資料。
一種資料結構產品，儲存由請求項1至8中任一項的編碼方法所產生的位元流。
一種電腦可讀儲存媒體，儲存如請求項22至29與33中任一項的位元流。