TW202127889A - 用以在視頻流中混合不同網路抽象層單元類型的網路抽象層單元的解碼器、編碼器和方法 - Google Patents

用以在視頻流中混合不同網路抽象層單元類型的網路抽象層單元的解碼器、編碼器和方法 Download PDF

Info

Publication number
TW202127889A
TW202127889A TW109144775A TW109144775A TW202127889A TW 202127889 A TW202127889 A TW 202127889A TW 109144775 A TW109144775 A TW 109144775A TW 109144775 A TW109144775 A TW 109144775A TW 202127889 A TW202127889 A TW 202127889A
Authority
TW
Taiwan
Prior art keywords
abstraction layer
network abstraction
bit stream
random access
layer unit
Prior art date
Application number
TW109144775A
Other languages
English (en)
Other versions
TWI792121B (zh
Inventor
亞果 桑切斯德拉富恩特
卡斯騰 蘇赫林
柯尼勒斯 赫爾格
湯馬士 席爾
羅伯 斯庫平
湯馬士 韋根
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202127889A publication Critical patent/TW202127889A/zh
Application granted granted Critical
Publication of TWI792121B publication Critical patent/TWI792121B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明涉及用於處理包括一第一子位元流和一第二子位元流的視頻資料流的解碼器、編碼器和相應方法。本文描述的概念提供用於在存取單元內混合不同網路抽象層單元類型的不同網路抽象層單元的解決方案，例如，內部隨機存取點網路抽象層單元類型可以與不同的內部隨機存取點網路抽象層單元類型或非內部隨機存取點網路抽象層單元類型混合，並且非內部隨機存取點網路抽象層單元類型可以與不同的非內部隨機存取點網路抽象層單元類型混合。

Description

用以在視頻流中混合不同網路抽象層單元類型的網路抽象層單元的解碼器、編碼器和方法
本發明的實施例涉及一種解碼器和相應的編碼器，用於解碼/編碼視頻流，特別是包括至少兩個視頻子流的視頻流。所述視頻流可以包括複數個存取單元，其中每個存取單元可以包括在所述兩個或更多個視頻子流的每一個中包含的至少一個圖像。每個圖像可以與特定網路抽象層（NAL, Network Abstraction Layer）單元類型的NAL單元相關聯。本文描述的創新概念引入了用於混合不同NAL單元類型的NAL單元的解決方案。
根據NAL單元是否分別包含編碼圖像或其他相關資料，可以將其分類為視頻編碼層（VCL, Video Coding Layer）和非VCL NAL單元。在HEVC標準中，包括幾種VCL NAL單元類型，其識別用於解碼器初始化和隨機存取目的的圖像類別，藉由使用兩字節NAL單元標頭的內容，可以很容易地識別相關有效載荷資料的目的。
視頻編碼技術可實現隨機存取和位元流拼接。關於隨機存取，位元流可以利用即時解碼刷新（IDR, Instantaneous Decoding Refresh）存取單元開始，IDR存取單元包含獨立編碼的圖像，亦即可以解碼一個編碼圖像而無需解碼NAL單元流中的任何先前圖像。IDR存取單元的存在表示在位元流中後續圖像將不需要參考其包含的在該圖像之前的圖像，以便進行其解碼。IDR圖像係使用在稱為封閉圖像組（GOP, Group Of Pictures）的編碼架構中。由CRA（乾淨隨機存取）圖像語法提供了上述IDR語法的替代方法，該語法指定在隨機存取點（RAP, Random Access Point）或內部隨機存取點（IRAP, Intra Random Access Point）的位置使用獨立編碼的圖像，即位元流中的位置，解碼器可以在該位置成功開始解碼圖像，而無需對位元流中較早出現的任何圖像進行解碼，這支援稱為開放GOP操作的有效時間編碼順序。
良好的隨機存取支援對於啟用頻道切換、搜索操作和動態流服務可能至關重要。以解碼順序中位於CRA圖像之後並在顯示順序中位於CRA圖像之前的某些圖像可能包含對在解碼器處不可用的圖像的圖像間預測參考。因此，這些不可解碼的圖像可能會被在CRA點開始其解碼過程的解碼器丟棄。為此，可以將這種不可解碼的圖像識別為隨機存取跳過前導圖像（RASL pictures, Random Access Skipped Leading pictures），IRAP圖像可以是IDR或CRA圖像，其中CRA圖像可以在位元流中跟隨RASL圖像，RASL圖像可能會被解碼器丟棄，因為它們可能包含對位元流中實際不存在的圖像的引用，例如：由於進行了拼接操作。
可以在解碼順序中位於IRAP圖像之後並在輸出順序中位於IRAP圖像之前的另一種類型的圖像是隨機存取解碼前導圖像（RADL pictures, Random Access Decodable Leading pictures），其可能不包含在解碼順序中位於IRAP圖像之前的任何圖像的參考，RASL和RADL圖像可以統稱為前導圖像（LP, leading pictures），而在解碼順序和輸出順序中跟隨IRAP圖像的圖像稱為尾隨圖像（TRAIL, trailing pictures），其可能不包含任何用於圖像間預測的LP參考。
在現今的視頻編碼中，還可以提供時間子層支援，因此，可以在NAL單元標頭中指定時間標識符，其指示分層時間預測結構中的級別，這有助於實現時間可伸縮性，而無需解析除NAL單元標頭之外的位元流部分。在某些情況下，可以在一個編碼視頻序列的解碼過程中調整已解碼時間子層的數量，可以通過存在逐步時間子層存取圖像（STSA pictures, Stepwise Temporal Sublayer Access pictures）來指示位元流中可以開始子層切換以開始對一些高的時間層進行解碼的點的位置。在STSA圖像的位置，可以從解碼較低的時間子層切換為解碼一個特定的較高的時間子層（但不解碼其上的其他層，除非其亦包含STSA圖像）。
對於多參考圖像管理，特定的一組先前解碼的圖像可以存在於解碼圖像緩衝區（DPB, Decoded Picture Buffer）中，用於解碼位元流中的其餘圖像。為了識別這些圖像，可以在每個片段標頭中發送圖像順序計數（POC, Picture Order Count）標識符的列表，保留的參考圖像的集合稱為參考圖像集（RPS, Reference Picture Set）；POC可以包含最低有效位元（LSB, least significant bit）部分和最高有效位元（MSB, most significant bit）部分，用於針對位元流中的每個圖像指示各自的當前圖像順序計數（POC值），其中，圖像順序可能與各個圖像的解碼順序不同。因此，對IRAP圖像之後的圖像進行解碼可能是具有挑戰性的，這些圖像是指IRAP圖像之前的參考圖像。
因此，本發明期望改進現有的編碼器和解碼器，其可以提供對位元流中的圖像和圖像序列的適當處理，特別是如果出現在IRAP圖像之後。
因此，本發明提供一種至少具有獨立請求項之特徵的解碼器以及至少具有獨立請求項之特徵的用於編碼及/或合併的相應裝置。更進一步，本發明提供分別對應之編碼和解碼方法，以及對應的電腦程式產品和位元流，而在附屬請求項中提出了有利的實施方式。
如上所述，位元流可以包括與IRAP NAL單元類型相關聯的圖像（該圖像也可以稱為IRAP圖像），以及與IRAP NAL單元類型不相關的圖像、亦即與非IRAP NAL單元類型相關聯的圖像（這些圖像也可以稱為非IRAP圖像）。
根據一實施態樣，本發明提供一種用於解碼視頻內容的解碼器，該解碼器被配置為解碼包括與視頻內容的圖像的第一空間片段有關的第一子位元流和與視頻內容的圖像的第二空間片段有關的第二子位元流的位元流。在這種情況下，位元流包括至少一個存取單元，其中，第一子位元流的至少一個第一NAL單元是非IRAP NAL單元類型的，例如RASL、RADL、TRAIL、STSA。所述至少一個存取單元還包括所述第二子位元流的至少一個不同的第二NAL單元，其是非IRAP NAL單元類型的，例如RASL、RADL、TRAIL、STSA，其中，所述第一子位元流的第一NAL單元和第二子位元流的第二NAL單元被混合。換句話說，非IRAP NAL單元與不同的非IRAP NAL單元混合，例如，可以將TRAIL圖像NAL單元類型的NAL單元與RASL圖像NAL單元類型的NAL單元混合。根據該非限制性示例，在一個存取單元內，可以將第一子位元流的TRAIL圖像與第二子位元流的RASL圖像混合。其他非限制性示例可以允許在一個存取單元內將第一子位元流的TRAIL圖像與第二子位元流的RADL圖像混合。一些另外的非限制性示例可以允許在一個存取單元內將第一子位元流的TRAIL圖像與第二子位元流的STSA圖像混合。一些另外的非限制性示例可以允許在一個存取單元內將第一子位元流的STSA圖像與第二子位元流的RADL圖像混合。一些其他非限制性示例可以允許在一個存取單元內將第一子位元流的STSA圖像與第二子位元流的RASL圖像混合。一些其他非限制性示例可以允許在一個存取單元內將第一子位元流的RASL圖像與第二子位元流的RADL圖像混合。
根據另一實施態樣，本發明提供一種用於對視頻內容進行解碼的解碼器，該解碼器被配置為對包括與視頻內容的圖像的第一空間片段有關的第一子位元流和與視頻內容的圖像的第二空間片段有關的第二子位元流進行解碼的位元流。在這種情況下，位元流包括至少一個存取單元，在該存取單元中，第一子位元流的至少一個第一NAL單元是IRAP NAL單元類型，該IRAP NAL單元類型與第二子位元流的至少一個第二NAL單元（其是另一種IRAP NAL單元類型）混合。換句話說，第一IRAP NAL單元與另一第二IRAP NAL單元混合，所述另一第二IRAP NAL單元可以是與第一IRAP NAL單元相同的NAL單元類型，或者可以是與第一IRAP NAL單元不同的NAL單元類型。例如，可以將CRA圖像NAL單元類型的NAL單元與相同NAL單元類型的另外的圖像混合，例如具有其他CRA圖像NAL或其他NAL單元類型的圖像，例如具有開頭圖像的IDR圖像NAL單元類型的NAL單元，亦即具有RADL的IDR圖像單元類型（IDR_W_RADL）。根據該非限制性示例，在一個存取單元內，第一子位元流的CRA圖像可以與第二子位元流的另一CRA圖像或第二子位元流的IDR_W_RADL圖像混合。
根據另一實施態樣，本發明提供一種用於對視頻內容進行解碼的解碼器，該解碼器被配置為對包括與視頻內容的圖像的第一空間片段有關的第一子位元流和與視頻內容的圖像的第二空間片段有關的第二子位元流進行解碼的位元流。在這種情況下，位元流包括至少一個存取單元，在該存取單元中，第一子位元流的至少一個第一NAL單元是IRAP NAL單元類型，該IRAP NAL單元類型與第二子位元流的至少一個第二NAL單元（其是非IRAP前導圖像NAL單元類型（例如，RASL或RADL）或STSA NAL單元類型之一）混合。換句話說，在一個存取單元中，IRAP NAL單元（IDR_W_RADL或CRA）與非IRAP NAL單元混合在一起，其中非IRAP NAL單元是RASL圖像、RADL圖像或STSA圖像其中之一。
根據另一實施態樣，本發明提供一種用於解碼視頻內容的解碼器，該解碼器被配置為解碼包括第一子位元流和第二子位元流的位元流，並且其中該解碼器被配置為從第一和第二子位元流的NAL單元的片段標頭，該NAL單元是IRAP NAL單元類型（例如，CRA、IDR_W_RADL），衍生出用於設置NAL單元所參考之圖像的POC的最高有效POC部分的資訊。在本示例中，如果在所述存取單元內的至少一個NAL單元為非即時解碼刷新（非IDR）單位類型，則對於位元流之一存取單元中的IRAP NAL單元類型的所有NAL單元，需要將最高有效POC部分設置為預定值。換句話說，如果存取單元內部的至少一個NAL單元參考非IDR圖像，例如為CRA圖像，則需要將最高有效POC部分設置為所述預定值。作為非限制性示例，所述預定值可以等於或大於與NAL單元所參考的圖像之前的圖像相關聯的POC的最高有效POC部分，換句話說，如果在存取單元內部存在非IDR圖像，則不會發生POC重置。
根據另一實施態樣，本發明提供一種用於解碼視頻內容的解碼器，該解碼器被配置為解碼包括第一子位元流和第二子位元流的位元流，並且其中該解碼器被配置為從第一和第二子位元流的NAL單元的片段標頭，該NAL單元是IRAP NAL單元類型（例如，CRA、IDR_W_RADL），衍生出用於設置NAL單元所參考之圖像的POC的最高有效POC部分的資訊。在本示例中，不允許任何圖像參照以解碼順序跨越位元流的任何存取單元，在該位元流中，所有NAL單元均為IRAP NAL單元類型，並且具有片段標頭，在該片段標頭中設置了最高有效POC部分達到預定值。換句話說，如果存取單元內部的每個圖像都可以引用IRAP NAL單元類型（例如CRA或IDR_W_RADL），並且可能具有設置為所述預定值的最高有效POC部分，則從參考圖像引用的任何圖像可能不允許前面所述存取單元。作為非限制性示例，所述預定值可以小於與NAL單元所參考的圖像之前的圖像相關聯的POC的最高有效POC部分。如果例如發生最高有效POC部分的重置，則預定值可以較小。因此，根據上述非限制性示例，如果存取單元可以僅包括IRAP圖像，並且如果發生了最高有效POC部分的重置，則可以不允許通過參考先前的參考圖像進行圖像參考。
根據另一實施態樣，本發明提供一種用於對視頻內容進行解碼的解碼器，該解碼器被配置為解碼包括第一子位元流和第二子位元流的位元流，並且其中該解碼器被配置為從第一子位元流和第二子位元流的NAL單元的片段標頭，該NAL單元是IRAP NAL單元類型（例如，CRA、IDR_W_RADL），衍生出用於設置NAL單元所參考之圖像的POC的最高有效POC部分的資訊。在該示例中，參考第一存取單元的參考圖像的任何圖像，該第一存取單元包括具有片段標頭的NAL單元，其中最高有效POC部分設置為第一預定值，並且按位元流順序位於位元流，其中所有NAL單元均為IRAP NAL單元類型，並具有片段標頭，在該片段標頭中，最高有效POC部分設置為第二預定值（按位元流順序），是不允許的。根據非限制性示例，所述第一預定值可以大於所述第二預定值。換句話說，如果第一（先前）存取單元的最高有效POC部分的第一預定值大於第二存取單元的最高有效POC部分的第二預定值，則可能不允許圖像在第二存取單元之後的內容可以參考在所述第二存取單元之前的參考圖像。
根據其他實施態樣，本發明提出相應的編碼器、編碼方法和解碼方法。
根據另一實施態樣，本發明提供多種電腦程式，其中，每個電腦程式被配置為當在一電腦或信號處理器上執行時實現本文所述的方法之一，使得本文所述的方法通過電腦程式之一實現。
在以下描述中，相同或等同的元件或具有相同或等同功能的元件係由相同或等同的元件符號表示。
由方塊圖所描述並且參考該方塊圖進行說明的方法步驟也可以是利用不同於所描述及/或所說明者的順序來執行。此外，關於裝置之特定功能的方法步驟可以用該裝置的該特徵來替換，反之亦然。
在圖像及存取單元中混合網路抽象層單元類型
1、在編碼圖像中混合單元類型
為了介紹的目的，圖1示出了根據本發明的實施例的示例性視頻位元流11的結構，該視頻位元流11可以由解碼器100和裝置10處理以用於編碼及/或合併視頻位元流11，視頻位元流11包括一系列連續圖像12a、12b、12c，其中兩個或以上之所述連續圖像12a、12b、12c可以分組在一個圖像組（GOP, Group of Pictures）12中，其能夠代表一預期視頻內容的至少一部分。
出於編碼的目的，每個圖像12a、12b、12c可以細分為數個空間片段，例如片段（slices）、圖塊（tiles）或塊（blocks），在本非限制性示例中，各該圖像12a、12b、12c都細分為兩個空間片段，亦即分為一第一（例如，左）空間片段131 和一第二（例如，右）空間片段132 。
位元流11可以細分為相關於圖像12a、12b、12c之第一空間片段131 的一第一子位元流11-1、以及相關於圖像12a、12b、12c之第二空間片段132 的一第二子位元流11-2。
部份圖像12a、12b可以例如利用預測編碼方式進行相關地編碼，部份圖像12b可以通過單一預測方式來預測，例如利用參考單一個先前圖像的方式，而部份其他圖像12a可以通過雙向預測方式來預測，例如利用參考先前或隨後的圖像的方式；部份其他圖像12c可以被獨立地編碼，即，這些圖像12c可以不參考先前或隨後的圖像。獨立編碼的圖像12c可以提供一（內部）隨機存取點（（I）RAP），其表示位元流11中的一位置，解碼器可以在該位置開始解碼後續圖像，而無需解碼在該位元流中較早出現的任何圖像；舉例而言，圖像12c是獨立編碼的圖像，也可以稱為（I）RAP圖像，在本發明中，術語RAP和IRAP可以同義地使用。
位元流11可以包括一個或以上之用於存取位元流11的存取單元30。在圖1所示之非限制性示例中，存取單元30可以包括包含在第一和第二子位元流11-1、11-2中依序排列的圖像片段131 、132 （相對出現順序而言）。分別包括這些依序排列的圖像片段131 、132 的圖像12a、12b、12c可以被分組為不同的類別，例如，分組為IRAP圖像（如上所述）和非IRAP圖像。
網路抽象層（NAL）可以提供用於定義該些圖像片段131 、132 和圖像12a、12b、12c的高階語法，特別是對於各該圖像12a、12b、12c，NAL單元可以與所述圖像片段131 、132 相關聯。因此，在本發明中，第一子位元流11-1和第二子位元流11-2的上述圖像片段131 、132 也可以被同義地稱為NAL單元。因此，第一和第二子位元流11-1、11-2也可以被稱為NAL單元流。每個NAL單元131 、132 可以包括特定的NAL單元類型，NAL單元類型又可以識別包含在NAL單元中的各個圖像的上述類別，即，各個NAL單元是IRAP類型還是非IRAP類型。
有多種應用依賴於在圖像內混合IRAP類型，其中IRAP類型是一存取單元30的隨機存取特性，或其部分藉由NAL單元類型表示，所採用的示例可以在單層或多層編碼解碼器域中找到，即，在單層編碼解碼器位元流中，由片段組成的一圖像是IRAP，而相同圖像的其他片段則不是，或在多層編碼解碼器中，一存取單元的一層中包含IRAP，而其他層則包含非IRAP圖像。
目前，習知技術提供對混合NAL單元類型的支援，其中可以將一種類型的IRAP NAL單元類型混合在具有TRAIL圖像的一圖像。然而，這種方式不能適當地涵蓋使用示例，因此激發了對如下所述特徵的需求，並且本發明為此提供解決方案。
激發對混合NAL單元類型的需求的主要使用示例是360°視頻，其中使用圖塊流，並且整個360°的子集僅以高解析度傳輸，而其餘則以低解析度傳輸。當觀看方向發生變化時，則不再需要一些高解析度的圖塊，而從此時開始，先前顯示為低解析度的圖塊就需要變成高解析度的新圖塊。這些圖塊圖塊是唯一發生變化的圖塊（從高解析度到低解析度，反之亦然），然後，使用以IRAP開頭的表示形式下載該些圖塊，而其他圖塊不需要此屬性。當將對應於不同圖塊的位元流合併為單個位元流時，一些圖塊包含與IRAP圖像相對應的NAL單元類型，而其他圖塊包含非IRAP圖像的NAL單元類型。
此外，還有一些其他使用示例，其係期望允許一存取單元具有不同類型的NAL單元。例如，在感興趣區域（RoI, Region of Interest）的情況下，如果有一1080p圖像且其RoI在720p之內，則可以設想視頻的不同部分（RoI或其餘部分）具有不同的RAP週期，其可用於在相同的位元流饋送至兩種類型之接收器的情況下，例如一種是對整個視頻感興趣，另一種僅對ROI感興趣。
在任何情況下，發生合併不同位元流的360°視頻流或最初將視頻編碼為不同區域具有不同RAP週期的不同部分的RoI流時，解碼器都會遇到在編碼後的NAL單元中出現的位元流圖像不一定相同的情況，因此，本發明提供一種用於混合不同NAL單元類型的NAL單元的解決方案。
1.1、混合尾隨圖像（習知技術）
習知技術中目前提出的解決方案是，利用一PPS旗標指示RAP圖像是否與非RAP圖像混合，然後在混合存取單元的NAL單元中可以遇到的NAL單元類型，針對非IRAP類型為TRAIL單元類型（最高為VCL_RSV_6或GDR），以及IDR_W_RADL（具有前導圖像的IDR）、IDR_N_LP（不具有前導圖像的IDR）和CRA（乾淨隨機存取）的一種，因此，現有技術建議將IRAP圖像與TRAIL圖像混合。
圖2顯示依據習知技術的一示例，其中IRAP NAL單元類型的NAL單元201與尾隨圖像類型（TRAIL）的NAL單元202混合。在本示例中，IRAP NAL單元類型是不具前導圖像的IDR（IDR_N_LP），所有其他存取單元都具有相同NAL單元類型（即TRAIL）的NAL單元。
1.2、混合前導圖像
然而，這些措施不適用於可應用開放式GOP結構引入前導圖像（LP）的預想應用。圖3顯示一種示例性情況，其顯示一IRAP NAL單元類型（例如，IDR_W_RADL）的NAL單元301及其相關聯的前導圖像302，在這種情況下，前導圖像302可以是NAL單元類型之RADL（隨機存取解碼前導圖像）的NAL單元302。IRAP類型（例如IDR_W_RADL）的NAL單元301可以與非IRAP NAL單元類型（例如TRAIL）的NAL單元303混合。非IRAP類型的前導圖像類型（RADL）的相關NAL單元302可以與不同非IRAP類型（例如TRAIL）的NAL單元304混合。
圖4顯示了另一個示例性情況，其顯示一IRAP NAL單元類型（例如CRA）的NAL單元301及其關聯的前導圖像302，在這種情況下可以是NAL單元類型RASL（隨機存取跳過前導圖像）的NAL單元302。另外，但未示出，相關聯的前導圖像302可以是NAL單元類型RADL（隨機存取解碼前導圖像）的NAL單元302。IRAP類型（例如CRA）的NAL單元301可以與非IRAP NAL單元類型（例如TRAIL）的NAL單元303混合。非IRAP類型的前導圖像類型（例如RASL）的相關NAL單元302可以與不同非IRAP類型（例如TRAIL）的NAL單元304混合。
因此，不僅對於在混合圖像中包括IRAP NAL單元的情況，而且對於在混合圖像中僅包括非IRAP NAL單元的情況，都需要處理必須混合NAL單元類型的編碼圖像。
簡要地說，習知技術可能建議將IRAP NAL單元與TRAIL類型的非IRAP NAL單元混合，或將相同類型的非IRAP NAL單元（即一TRAIL類型的NAL單元與一TRAIL類型的NAL單元）混合。
相反地，本發明建議將一第一非IRAP NAL單元類型（例如RASL、RADL、TRAIL、STSA）與至少一個不同的第二非IRAP NAL單元類型（例如RASL、RADL、TRAIL、STSA）混合。
因此，根據一個實施例，提供一解碼器100，用以對視頻內容12進行解碼，該解碼器100被配置為對包括與圖像12a、12b、12c的第一空間片段131 有關的第一子位元流11-1以及與圖像12a、12b、12c的第二空間片段132 有關的第二子位元流11-2的位元流11進行解碼。根據本實施例，位元流11包括至少一存取單元30，其中第一子位元流11-1的至少一第一NAL單元302係與第二子位元流11-2的至少一不同之第二NAL單元304混合，第一子位元流11-1的至少一第一NAL單元302係為一非IRAP NAL單元類型（例如RASL、RADL、TRAIL、STSA），第二子位元流11-2的至少一第二NAL單元304係為一不同的非IRAP NAL單元類型（例如RASL、RADL、TRAIL、STSA）。
例如，TRAIL圖像可以與RADL圖像或RASL圖像混合： ‧TRAIL + RADL ‧TRAIL + RASL
因此，在一實施例中，解碼器100可以被配置為處理位元流11，其中第一子位元流11-1的NAL單元302的非IRAP NAL單元類型是一隨機存取解碼前導圖像單元類型（RADL），而第二子位元流11-2的NAL單元304的非IRAP NAL單元類型是一尾隨圖像單元類型（TRAIL）。
在另一實施例中，解碼器100可以被配置為處理位元流11，其中第一子位元流11-1的NAL單元302的非IRAP NAL單元類型是一隨機存取跳過前導圖像單元類型（RASL），而第二子位元流11-2的NAL單元304的非IRAP NAL單元類型是一尾隨圖像單元類型（TRAIL）。
在本發明的一個實施例中，在位元流11中有一個指示，其例如作為一參數集（PPS、SPS、VPS）中的一旗標，在編碼圖像內的NAL單元類型可以混合如下： ‧TRAIL + RADL ‧TRAIL + RASL
這樣的訊號可以被攜帶於PPS中，用以指示可以混合TRAIL +（CRA、或IDR_W_LD、或IDR_N_P）。
舉例而言，如果未設置旗標（即旗標＝0），則圖像的所有NAL單元可以包括相同的NAL單元類型，並且一圖像或PU係為具有與該圖像或PU之編碼片段NAL單元相同的NAL單元類型。
此外，如果已設置旗標（即旗標＝1），則該圖像可以包括至少兩個子圖像。另外，該圖像的NAL單元可以包括至少兩種不同的NAL單元類型。另外，所述圖像的NAL單元可以不包括GDR的NAL單元類型。更進一步，如果所述圖片的一個NAL單元是以下NAL單元類型中的至少一種： ‧具有隨機存取解碼前導圖像的即時解碼器刷新（IDR_W_RADL） ‧不具前導圖像的即時解碼器刷新（IDR_N_LP） ‧乾淨隨機存取（CRA）
則所述圖像的所有其他可用NAL單元可以包括上述三種單元類型（IDR_W_RADL、IDR_N_LP、CRA）其中之一或尾隨圖像單元類型（TRAIL）。
再者，由於RADL和RASL圖像沒有與TRAIL圖像不同的規範解碼過程（例如IRAP圖像所有的規範解碼過程），因此該指示可以在SPS級別進行，例如，在一實施例中，該指示可以具有約束旗標的形式，例如一通用約束旗標；通用約束旗標可以指示是否允許NAL單元類型的某些混合。如果設置了這樣的通用約束旗標（即通用約束旗標=1），則可能表示圖像中沒有混合的NAL單元類型，並且參數集（PPS、SPS、VPS）中的上述旗標並未設置（即旗標=0）。如果未設置通用約束旗標（即通用約束標誌=0），則可能不會施加上述約束。
因此，根據一實施例，解碼器100可以被配置為從位元流11衍生出指示，其中，所述指示向解碼器100明確地發送訊號至解碼器100，以指示第二子位元流11-2之非IRAP NAL單元類型的NAL單元304係混合於第一子位元流11-1之非IRAP NAL單元類型的NAL單元302，第二子位元流11-2之非IRAP NAL單元類型的NAL單元304係為一尾隨圖像單元類型(TRAIL)，第一子位元流11-1之非IRAP NAL單元類型的NAL單元302係為隨機存取跳過前導圖像單元類型(RASL)或隨機存取解碼前導圖像單元類型(RADL)其中之一。
依據一實施例，該指示包括一參數集中的一語法元素。例如，該語法元素係包含於一圖像參數集(PPS, Picture Parameter Set)或一序列參數集(SPS, Sequence Parameter Set)的至少其中之一。
然而，當具RASL特性之圖塊與TRAIL圖像之圖塊混合於一圖像時，假設基於360度視頻圖塊的流場景，可能會發生圖塊在部分RAP點改變位置的情況，因此，由於所使用的參考圖像可能不正確（即，仍在描繪其他圖塊的內容），RASL圖塊無法被正確重建。對於應用程序來說，識別那些故障的重建圖像區域至關重要，同時出於播出連續性的原因，也不可以丟棄整個混合的前導圖像（包含TRAIL + RASL片段）。取而代之的是，客戶端要識別解碼和輸出圖像中的故障區域，而不將其用於後續處理。
相反地，例如，給定如圖5所示的設定，客戶端可以將圖像中包含的低解析度版本51用於那些混合的前導圖像中錯誤地重構的內容。在一實施例中，將對應於可能有故障的重建圖塊的區域指示給隨後的處理，例如，通過SEI信息或通過外部方式（例如應用程式），所述指示意味著將忽略/不輸出與具有RASL之NAL單元類型的NAL單元相對應的區域。
因此，根據一實施例，如果第一子位元流11-1的非IRAP NAL單元類型的NAL單元302是隨機存取跳過前導圖像單元類型（RASL）和非IRAP NAL單元類型的，且第二子位元流11-2的NAL單元304是尾隨圖像單元類型（TRAIL），則解碼器100可以被配置為從位元流11中衍生出指示。
在一個示例中，該指示可以指示解碼器100忽略或避免輸出第一子位元流11-1的視頻內容12的圖像12a、12b、12c的那些第一空間片段131 ，其係對應於第一子位元流11-1的隨機存取跳過前導（RASL）圖像單元類型的NAL單元302。
在另一示例中，該指示可以指示解碼器100，以輸出與第一子位元流11-1的隨機存取跳過前導圖像單元類型（RASL）的NAL單元302相對應的第一子位元流11-1的視頻內容12的圖像12a、12b、12c的該些第一空間片段131 ，並且另外將該些第一空間片段131 標記為斷開的空間片段。例如，解碼器100可以被配置為利用SEI（補充增強資訊）訊息將所述斷開的空間片段131 標記為朝向隨後的處理鏈。
此外，另一種選擇是避免將RASL圖像與尾隨圖像（TRAIL）混合，從而僅允許將RADL圖像與TRAIL圖像混合。因此，在一實施例中，在SPS中指示有一約束，即當CRA與TRAIL圖像混合時，相關聯的前導圖像必須僅是RADL類型。
因此，根據一實施例，解碼器100可以被配置為從參數集中解碼一約束指示，其中所述約束指示向解碼器100指示，若第二子位元流11-2之NAL單元304的非IRAP NAL單元類型是一非前導圖像NAL單元類型（例如TRAIL或STSA），然後如果第一子位元流11-1相關聯的IRAP-NAL單元301是乾淨隨機存取單元類型（CRA），則第一子位元流11-1之NAL單元302的非IRAP NAL單元類型僅是隨機存取解碼前導（RADL）圖像單元類型。
這對於一實施例尤其成立，其中第二位元流11-2之NAL單元304的非IRAP NAL單元類型是尾隨圖像單元類型（TRAIL），即此情況為將TRAIL+CRA與相關聯的RADL前導圖像混合。
在上述實施態樣中，其重點主要放在TRAIL NAL單元類型上。然而，在許多情況下，可能還會有STSA NAL單元類型，從而允許逐步進行時間子層存取，亦即，即使上述示例主要與TRAIL NAL單元類型的非IRAP NAL單元有關，本發明也可以提供用於混合STSA的非IRAP NAL單元的解決方案（逐步時間子層存取）單元類型，其至少具有RASL單元類型、RADL單元類型和TRAIL單元類型其中之一，即： ‧STSA + RASL ‧STSA + RADL ‧STSA + TRAIL
因此，根據一實施例，解碼器100可以被配置為解碼一位元流11，其中第一子位元流11-1之NAL單元302的非IRAP NAL單元類型是逐步時間子層存取單元類型（STSA），第二子位元流11-2之NAL單元304的非IRAP NAL單元類型是尾隨圖像單元類型（TRAIL）。
在另一實施例中，解碼器100可以被配置為解碼一位元流11，其中第一子位元流11-1之NAL單元302的非IRAP NAL單元類型是隨機存取解碼前導圖像單元類型（RADL），第二子位元流11-2之NAL單元304的非IRAP NAL單元類型為逐步時間子層存取單元類型（STSA）。
在另一實施例中，解碼器100可以被配置為解碼一位元流11，其中第一子位元流11-1之NAL單元302的非IRAP NAL單元類型是隨機存取跳過前導圖像單元類型（RASL），第二子位元流11-2之NAL單元304的非IRAP NAL單元類型為逐步時間子層存取單元類型（STSA）。
圖6顯示一示例性編碼結構，其中，在一個圖像片段132 （例如圖塊）中，圖像12a使用STSA NAL單元類型的NAL單元304來指示逐步時間子層存取，而在另一圖像片段131 （例如圖塊）中的相同圖像12a使用RASL NAL單元類型的NAL單元302。
由於無法將STSA NAL單元類型置於最低的時間級別0，因此STSA NAL單元將永遠不會與IRAP NAL單元混合。但是，其可以與RADL或RASL NAL單元類型混合使用，就像上面提到的TRAIL NAL單元一樣。
在一實施例中，旗標係包括在一參數集中，例如在PPS中，用以指示STSA NAL單元與RASL或RADL NAL單元類型混合。 ‧STSA + RADL ‧STSA + RASL ‧STSA + TRAIL
因此，在本發明一實施例中，例如在位元流11中存在一指示，用以作為參數集（PPS、SPS、VPS）中的一旗標，指示可以將已編碼圖像中的NAL單元類型混合如下： ‧STSA + RADL ‧STSA + RASL ‧STSA + TRAIL
在另一實施例中，例如可以利用在序列級別或圖像級別的約束旗標來指示是否允許此種混合。
因此，根據一實施例，解碼器100可以被配置為從位元流11衍生出一指示，其中，所述指示向解碼器100明確地發訊號通知，第二子位元流11-2之非IRAP NAL單元類型的NAL單元304與第一子位元流11-1之非IRAP NAL單元類型的NAL單元302混合，其中NAL單元304為逐步時間子層存取單元類型（STSA），NAL單元302是隨機存取跳過前導圖像單元類型（RASL）或隨機存取解碼前導圖像單元類型（RADL）其中之一。
根據一實施例，該指示包括參數集中的一語法元素。根據另一實施例，語法元素包含在一圖像參數集或一序列參數集的至少一個之中。
另外，可以將指示添加到位元流11，用以有效地指示包含STSA NAL單元304的圖像12a的所有NAL單元302、304滿足與STSA NAL單元類型相關聯的約束，即使其具有另一種NAL單元類型，例如RASL（參見例如NAL單元302）。這可以由SPS中的一旗標指示，其係指示包含RASL圖像的（空間）子集的位元流11-1（參見例如NAL單元302）滿足每個RASL圖像也是STSA圖像的約束。這樣的訊號對於合併用例尤為重要，其中，包含RASL或RADL NAL單元的原始位元流可以指示RADL和RASL NAL單元是否滿足STSA圖像的屬性，因此，若與STSA混合，則很容易推導混合編碼圖像是否具有STSA屬性。
因此，根據一實施例，解碼器100可以被配置為從位元流11的一參數集中解碼一約束旗標，約束旗標向解碼器100指示，位元流11的任何存取單元30包括非IRAP前導圖像NAL單元類型（例如RASL或RADL）的一個以上之NAL單元302與逐步時間子層存取單元類型（STSA）的一個以上之NAL單元304的混合，滿足與逐步時間子層存取單元類型（STSA）相關聯的約束，亦即，每個RASL圖像302可以被視為一STSA圖像。
所述約束可以向解碼器100指示，若在解碼順序上後續的且與比一逐步時間子層存取（STSA）單元類型更高的下一個時間子層相關聯的任一圖像在該逐步時間子層存取單元類型（STSA）之前，則該任一圖像係不允許參考該更高的下一個時間子層中的圖像。
另外，具有混合NAL單元類型（例如STSA+RASL或RADL）的編碼圖像12a的位元流11可以包括一旗標，其指示為其設置其標的圖像12a可以包含STSA NAL單元類型的NAL單元304，但（總體而言）不遵守與STSA NAL單元類型相關的約束。這將指示，即使編碼圖像12a可以具有等於STSA的NAL單元類型，STSA所隱含的屬性（即可以從該AU開始對另外的時間水平進行解碼）也不適用。因此，STSA的解析將被忽略，並且推斷為逐步時間子層存取。
因此，根據一實施例，解碼器100可以被配置為從參數集中解碼一旗標，該旗標向解碼器100指示包括非IRAP前導圖像（RASL或RADL）的一個以上之NAL單元302與逐步時間子層存取單元類型（STSA）的一個以上之NAL單元304的混合，不遵守與逐步時間子層存取（STSA）單元類型相關的約束。此外，解碼器100可以被配置為響應於所述旗標，避免解析逐步時間子層存取（STSA）單元類型的一個以上之NAL單元304，並且隱式地推斷逐步時間子層存取解碼，亦即STSA約束不適用於相應的存取單元。
此概念也可以獨立應用於混合如上所述之NAL單元類型。因此，根據一實施例，本發明提供一種用於對視頻內容12進行解碼的解碼器100，該解碼器100被配置為對位元流11進行解碼，並且從位元流11的參數集中對一約束旗標進行解碼，其中所述約束旗標指示解碼器100，在位元流11內，包括非IRAP前導圖像NAL單元類型（例如RASL或RADL）的NAL單元302的任何存取單元30滿足與逐步時間子層存取（STSA）單元類型相關聯的約束。
1.3、混合各種不同的RAP類型
在另一重要情況中，習知技術不能實現的是，允許將開放GOP（圖像組）結構的圖像與封閉GOP結構的圖像混合，舉例而言，本發明可混合兩種不同類型的IRAP NAL單元類型（例如IDR、CRA），例如可以允許混合IDR_W_RADL和CRA NAL單元類型，或者混合使用相同NAL單元類型的NAL單元，例如可允許混合CRA和CRA： ‧IDR_W_RADL + CRA ‧CRA + CRA
如上所述，本實施例使得能夠將與開放GOP結構相關聯的NAL單元類型的IRAP NAL單元及封閉GOP結構相關聯的NAL單元類型的IRAP NAL單元混合，例如，具有RADL的CRA可以與封閉的GOP結構相關聯，而具有RASL的CRA可以與開放的GOP結構相關聯。
因此，根據一實施例，其係提供用於對視頻內容12進行解碼的解碼器100，該解碼器100被配置為對包括與視頻內容12之圖像12a、12b、12c的第一空間片段131 有關的第一子位元流11-1，以及與視頻內容12之圖像12a、12b、12c的第二空間片段132 有關的第二子位元流11-2的位元流11進行解碼。根據本示例，位元流11至少包括一存取單元30，其中第一子位元流11-1的至少一個第一NAL單元302是IRAP NAL單元類型的，其與第二子位元流11-2的至少一個第二NAL單元304混合，該至少一個第二NAL單元304具有其他（相同或不同）IRAP NAL單元類型。
至少有一個用例非常有用。例如，一種利用圖塊流進行的360°視頻傳輸的方法是，傳輸整個低解析度視頻內容（無論其部分是否也作為高解析度圖塊進行傳輸）。在這種情況下，圖5顯示了觀看方向的變化以及高解析度圖塊選擇從一個視口到另一個視口的相應變化。
由於整個低解析度視頻內容始終在客戶端可用，並且此區域不需要逐圖塊流切換，因此可以使用CRA對低解析度內容進行編碼，因此與之相比，可以使用更高的編碼效率使用IDR的封閉GOP結構。同樣地，對於該區域而言，比用於流切換所需者更長的隨機存取點週期就足夠了，這再次有益於低解析度視頻的編碼效率。另一方面，高解析度圖塊可能會頻繁地從一個視口快速切換到另一個視口，依此類推，如圖5所示，因此，對於低解析度視頻，使用CRA和關聯的RASL圖像將不允許視口的平滑切換，這是因為圖像中的RASL區域更改了位置或代表新添加的圖塊流，因此無法正確解碼（由於缺少參考），因此在遇到視口更改時將其丟棄。
圖7顯示一示例，其中與封閉GOP結構相關聯的NAL單元304和與開放GOP結構相關聯的NAL單元302混合。在本特定但非限制性示例中，將具有前導RADL 314（封閉GOP）的CRA類型的NAL單元304與具有前導RASL 312（開放GOP）的CRA類型的NAL單元302混合。本非限制性示例示出一編碼結構，其中針對第二子位元流11-2中的高解析度區域使用具有CRA的封閉GOP結構結合RADL類型的前導圖像，針對第一子位元流11-1中的低解析度區域使用具有CRA的開放GOP結構結合RASL類型的前導圖像。
根據一實施例，解碼器100被配置為處理位元流11，其中第二子位元流11-2之NAL單元304的IRAP NAL單元類型是一種與封閉GOP結構相關聯的IRAP NAL單元類型，而第一子位元流11-1之NAL單元302的IRAP NAL單元類型是一種與開放GOP結構相關聯的IRAP NAL單元類型。
在如圖7所示的本特定但非限制性實施例中，第二子位元流11-2之NAL單元304的IRAP NAL單元類型是一種具有隨機存取解碼前導圖像單元類型的CRA單元類型（具有RADL的CRA），而第一子位元流11-1之NAL單元302的IRAP NAL單元類型是一種具有隨機存取跳過前導圖像單元類型的CRA單元類型（具有RASL的CRA）。
須注意者，圖7顯示存取單元的順序以及其中包含的圖像的顯示順序。然而，顯示順序可以不同於編碼順序，其也可以稱為位元流順序。如圖所示，存取單元30包括一混合圖像12a，其包括表示第一子位元流11-1中的圖像12a的第一空間片段131 a的一第一VCL NAL單元302和表示第二子位元流11-2中的圖像12a的第二空間片段132 a的一第二VCL NAL單元304。在這種情況下，第一和第二NAL單元是IRAP NAL單元。在本特定但非限制性示例中，第一和第二NAL單元302、304均是IRAP NAL單元類型CRA。同樣地，圖7顯示連續圖像的顯示順序。
因此，按照顯示順序，另一個存取單元31可以在上述存取單元30之前，所述先前之存取單元（AU）31包括一混合圖像12b，其包括表示第一子位元流11-1中的圖像12b的第一空間片段131 b的一第一VCL NAL單元312和表示第二子位元流11-2中的圖像12b的第二空間片段132 b的一第二VCL NAL單元314。該AU 31的第一NAL單元312是非IRAP NAL單元類型RASL，而該AU 31的第二NAL單元314是非IRAP NAL單元類型RADL。同樣地，圖7顯示連續圖像的顯示順序。
可選地，並且按照顯示順序，還可以在上述存取單元31之前放置一個以上之其他存取單元，例如示例性描述的存取單元32。更一般而言，在包括非IRAP NAL單元312、314（例如RASL或RADL）的存取單元31之前，可以按照顯示順序設置至少一個另外的存取單元32，其較佳包括非IRAP NAL單元322、324（例如RASL或RADL）。為了維持第一子位元流11-1中的開放GOP結構，可以在存取單元31的RASL NAL單元312之前（按顯示順序）設置NAL單元322，其係包含在之前的（按顯示順序）存取單元32，並且也可以是RASL類型。進而，為了在第二子位元流11-2中保持封閉GOP結構，可以在存取單元31的RADL NAL單元314之前（按顯示順序）設置NAL單元324，其係包含在之前的（按顯示順序）存取單元32，並且也可以是RADL類型。
編碼順序（也稱為位元流順序）可能與圖7中所示的顯示順序有所不同。例如，RADL和RASL圖像131 b、132 b、131 c、132 c被相關地編碼，這意味著它們從其各自的後續（按顯示順序）CRA圖像131 a、132 a中取得差分編碼資訊。例如，即使存取單元30跟隨（按顯示順序）存取單元31，包含在存取單元31中的RADL和RASL圖像131 b、132 b參考（按顯示順序）跟隨在存取單元30中的CRA圖像131 a、132 a。
RASL圖像131 b可以可選地進一步參照前面的（按顯示和編碼排序）圖像，例如在圖7中示例性描繪的先前的RASL圖像131 c。因此，前一存取單元32的所述另外的RASL圖像131 c必須在存取單元31的RASL圖像131 b之前被編碼。然而，前一存取單元32的所述另外的RASL圖像131 c本身可以參考以顯示順序跟隨但以編碼順序領先的圖像，例如存取單元30的IRAP（CRA）圖像131 a。這意味著，即使存取單元30的所述IRAP（CRA）圖像131 a是上述序列（按顯示順序）的最後一張圖像（即存取單元30的IRAP（CRA）圖像131 a在顯示順序上跟隨兩個RASL圖像131 b、131 c），存取單元30的IRAP（CRA）圖像131 a是按編碼順序排列的第一張圖像，也就是說，由於兩個RASL圖像131 b、131 c在編碼期間參考IRAP（CRA）圖像131 a，故圖像131 a必須被優先編碼。
對於RADL圖像也是如此。RADL圖像132 b可以可選地更參考前面的（以顯示和編碼順序）圖像，例如在圖7中示例性描繪的先前的RADL圖像132 c。因此，先前的存取單元32的所述另外的RADL圖像132 c必須在存取單元31的RADL圖像132 b之前進行編碼。但是，先前存取單元32的所述另外的RADL圖像132c本身可以參考以顯示順序跟隨但以編碼順序領先的圖像，例如存取單元30的IRAP（CRA）圖像132 a。這意味著，即使存取單元30的所述IRAP（CRA）圖像132 a是上述序列（按顯示順序）的最後一張圖像（即存取單元30的IRAP（CRA）圖像132 a在顯示順序上跟隨RADL圖像132 b、132 c），存取單元30的IRAP（CRA）圖像132 a是按編碼順序排列中的第一張圖像，也就是說，由於兩個RADL圖像132 b、132 c在編碼期間參考IRAP（CRA）圖像132 a，故圖像132 a必須被優先編碼。
用更籠統的術語來說，前導圖像（LP）類型的非IRAP圖像（例如RASL和RADL圖像131 b、131 c、132 b、132 c）可以引用以下（按顯示順序）IRAP圖像（例如CRA圖像131 a、132 a），其中IRAP圖像（例如CRA圖像131 a、132 a）必須優先進行編碼，即，在其領先之（按顯示順序）前導圖像（LP）類型的非IRAP圖像（例如RASL和RADL圖像131 b、131 c、132 b、132 c）之前進行編碼。這意味著，即使IRAP圖像（例如CRA圖像131 a、132 a）按照顯示順序跟隨前導圖像（LP）類型的非IRAP圖像（例如RASL和RADL圖像131 b、131 c、132 b、132 c），IRAP圖像（例如，CRA圖像131 a，132 a）首先被編碼。換句話說，前導圖像（LP）類型的非IRAP圖像（例如RASL和RADL圖像131 b、131 c、132 b、132 c）按顯示順序領先IRAP圖像（例如CRA圖像131 a、132 a），而IRAP圖像（例如CRA圖像131 a、132 a）以位元流順序（編碼順序）領先於前導圖像（LP）類型的非IRAP圖像（例如RASL和RADL圖像131 b、131 c、132 b、132 c）。換句話說，前導圖像（LP）類型的非IRAP圖像（例如RASL和RADL圖片131 b、131 c、132 b、132 c）以顯示順序領先於IRAP圖像（例如CRA圖像131 a、132 a），但是前導圖像（LP）類型的非IRAP圖片（例如RASL和RADL圖像131 b、131 c、132 b、132 c）以編碼/位元流順序跟隨IRAP圖像（例如CRA圖像131 a、132 a）。
在以上給定之情況和編碼結構中，本發明的優點之一是允許在存取單元30的圖像中混合具有前導RASL（開放GOP）的CRA和具有前導RADL（封閉GOP）的CRA。當在常規播放期間，在編碼視頻序列（CVS，Coded Video Sequence）中遇到這樣的混合NALU存取單元30（從頭開始解碼整個位元流11）時，所需的所有參考圖像均可用。因此，具有RASL NAL單元的混合圖像之後的圖像將被解碼並正常輸出。
然而，當在搜尋操作期間遇到這樣的混合NALU或在隨機存取過程中從這樣的AU開始解碼過程時，需要調用生成不可得之參考圖像的過程，並且進行以下任一： ‧需要通知後續的處理鏈，RASL區域未被正確解碼，並且將使用相應的低解析度區域，例如通過SEI指示。 ‧受影響的圖像可以完全從輸出中刪除。
這意味著，當開始解碼混合圖像時，一種選擇是將其視為GDR圖像，其中某些部分可被解碼並可以被正常顯示，而其他部分則無法正常顯示，並會隨時間刷新（直到所有RASL NAL單元結束）。例如，當選擇的RAP類型與圖7中所示的方式相反時，這種操作在360度場景中是相關的，即低解析度內容使用封閉GOP結構（例如具有RADL的CRA），而高解析度內容使用開放GOP結構（例如具有RASL的CRA），接著，因為低解析度內容使用封閉GOP配置，故其可以被顯示，而播放器將等待直到使用開放GOP結構的高解析度內容被清晰地解碼，然後才顯示它。
處理這種情況的另一種選擇是不顯示任何受到錯失參考影響的圖像（甚至不是部分錯失），並將其丟棄，亦即，丟棄任何具有等於RASL的NAL單元類型的混合圖像。
換句話說，可以將具有等於RASL的NAL單元類型312、322的任何混合圖像12b、12c標記為丟棄/捨棄（dropped/discarded），以確保連續的解碼行為。
因此，根據一實施例，解碼器100可以被配置為解碼並呈現存取單元31、32…的一個以上之圖像12b、12c…的同位空間片段132 b、132 c、…，隨後，按位元流順序，第二子位元流11-2的NAL單元304相關的至少一存取單元30（例如具RADL的CRA），其並置於空間片段132 b、132 c…，而與第二子位元流11-2的NAL單元304相關的至少一存取單元30的圖像12a的第二空間片段132 a則並置。此外，解碼器100可以被配置為按照位元流順序，將跟隨在第一子位元流11-1的NAL單元302相關的至少一存取單元30（例如具有RASL的CRA）之後的存取單元31、32…的一個以上之圖像12b、12c…的並置之空間片段131 b、131 c…，標記為被丟棄，其中並置之空間片段131 b、131 c…係並置於第一子位元流11-1的NAL單元302相關的至少一存取單元30的圖像12a的第一空間片段131 a。
根據另一實施例，解碼器100可以被配置為依據是在常規播放期間連續解碼的情況下（從開始對整個位元流11進行解碼），還是在解碼開始的情況下（例如，在搜索操作期間或在隨機存取期間，從此類AU開始的解碼程序），是否要對位元流11進行解碼而作用。
在常規播放的情況下（從開始就解碼整個位元流11），解碼器100可以被配置為解碼並呈現存取單元31、32…的一個以上之圖像12b、12c…的同位空間片段132 b、132 c、…，隨後，按位元流順序，第二子位元流11-2的NAL單元304相關的至少一存取單元30（例如具RADL的CRA），其並置於空間片段132 b、132 c…，而與第二子位元流11-2的NAL單元304相關的至少一存取單元30的圖像12a的第二空間片段132 a則並置。此外，在解碼開始的情況下（例如，在搜索操作期間或在隨機存取期間，從此類AU開始的解碼程序），解碼器100可以被配置為丟棄存取單元31、32…的一個以上之圖像12b、12c…，之後，按位元流順序跟隨至少一個存取單元30，在一個以上之丟棄的圖像12b，12c...之後恢復圖像輸出。換句話說，具有至少一個NAL單元312、322等於RASL的任何混合圖像12b、12c被丟棄/捨棄。
根據另一實施例，解碼器100可以被配置為利用SEI（補充增強資訊）訊息朝著後續處理鏈標記該斷開的空間片段131 b、131 c…。
在另一實施例中，在位元流中設有一指示，將AU視為CRA，即無錯誤圖像輸出旗標（NoIncorrectPicOutputFlag）等於1的IRAP，而不管是否存在IDR_W_RADL NAL單元類型。一指示為，AU是混合NALU，但具有IRAP以及上述開放GOP結構的特徵。換句話說，解碼器100可以被配置為從位元流11導出指示，該指示向解碼器100指示，利用對應於乾淨隨機存取NAL單元類型的方式，解碼與第一子位元流11-1和第二子位元流11-2有關的至少一個存取單元30。
在以上說明中，討論了將解碼器100配置為處理位元流11的實施例，其中
A）將非IRAP NAL單元類型（例如RASL、RADL、TRAIL、STSA）的NAL單元與不同的非IRAP NAL單元類型（例如RASL、RADL、TRAIL、STSA）的至少一個不同的第二NAL單元混合，或
B）將IRAP NAL單元類型（例如IDR_W_RADL、CRA）的NAL單元與不同的IRAP NAL單元類型（例如IDR_W_RADL、CRA）的至少一個NAL單元混合。
然而，根據另一實施例，解碼器100可以被配置為處理位元流11，其中
C）將IRAP NAL單元類型（IDR_W_RADL、CRA）的NAL單元與非IRAP前導圖像NAL單元類型（例如RASL、RADL）或STSA NAL單元類型其中之一的至少一NAL單元混合。
其他實施例還提供一種用於在位元流11的編碼及/或第一和第二子位元流11-1、11-2的合併期間處理視頻位元流11的相應裝置。所述裝置10可以是編碼器、合併器或網路節點中的至少一，用於根據本文所述的創新原理來處理位元流11。
因此，根據一實施例，其提供一種用於處理視頻內容12的裝置10，該裝置10被配置為提供與該視頻內容12的複數圖像12a、12b、12c的一第一空間片段131 有關的一第一子位元流11-1和與該視頻內容12的複數圖像12a、12b、12c的一第二空間片段132 有關的一第二子位元流11-2，其中該第一子位元流11-1與該第二子位元流11-2皆為一位元流11的一部份，其中
A) 該位元流(11)包括至少一個存取單元(30)，其中，該第一子位元流(11-1)的至少一個第一NAL單元(302)是一種非IRAP NAL單元類型，其係與該第二子位元流(11-2)的至少一個不同的第二NAL單元(304)混合，該第二NAL單元(304)是一種不同之非IRAP NAL單元類型，或
B) 該位元流(11)包括至少一存取單元(30)，其中，該第一子位元流(11-1)的至少一個第一NAL單元(302)是一種IRAP單元類型，其係與該第二子位元流(11-2)的至少一個第二NAL單元(304)混合，該第二NAL單元(304)是一種不同之IRAP NAL單元類型，或
C) 該位元流11包括至少一存取單元30，其中，該第一子位元流11-1的至少一個第一NAL單元302是一種IRAP NAL單元類型的，其係與該第二子位元流11-2的至少一個第二NAL單元304混合，該第二NAL單元304是一種非IRAP前導NAL單元類型（例如RASL、RADL）或一STSA NAL單元類型其中之一。
1.4、總結和範例語法
下面總結本發明允許的混合類型：
NAL 單元類型 待混合的單元類型
CRA_NUT IDR_W_RADL
TRAIL RADL或RASL或STSA
STSA RADL或RASL
RASL TRAIL或RADL
RADL TRAIL或RASL
在本發明中描述的新混合類型中，有兩種混合類型，一種稱為IRAP類型，另一種稱為不具有IRAP類型。
選項 1 ：
如以上章節中所述，一種選項是發出僅在PPS中設有旗標之訊號，其混合需要IRAP類型，例如重新使用將IDR或具TRAIL之CRA混合到VCL_RSV_6（mixed_nalu_types_in_pic_flag）的現有旗標，非IRAP類型可以在SPS/VPS/DPS處用約束旗標來發送信號。
mixed_nalu_types_in_pic_flag 旗標等於1表示每個參考的PPS的圖像具有一個以上的VCL NAL單元，並且VAL NAL單元的nal_unit_type值不同，至少有一個VCL NAL單元的nal_unit_type值在IDR_W_RADL到CRA_NUT的範圍內，並且該圖像不是IRAP IDR圖像。mixed_nalu_types_in_pic_flag等於0表示當VCL NAL單元的nal_unit_type值在IDR_W_RADL到CRA_NUT範圍內時，參考PPS的每個圖像具有一個以上之VCL NAL單元，並且參考PPS的每個圖像的VCL NAL單元具有相同的nal_unit_type的值。
然後，如果AU是位元流的第一個AU或序列終點（EOS，end of Sequence）NAL單元後的第一個AU，其參考mix_nalu_types_in_pic_flag等於1的PPS，則編碼圖像中的NAL單元類型必須為CRA_NUT和IDR_W_RADL，具有非IRAP類型的IDR/CRA的混合圖像僅允許AU不是位元流或序列中的第一個AU。
no_non_irap_mixed_nalu_types_in_pic_constraint_flag 旗標等於1表示位元流的一致性的要求，即序列中具有TRAIL、STSA、RASL及RADL的圖像的VCL NAL單元具有相同的nal_unit_type值。若其值等於0則不施加這種約束，亦即圖像可能在TRAIL、STSA、RASL和RADL中可能具有兩個不同的nal_unit_type值。
選項 2 ：
另一種選項是在PPS中使用指示不同組合的指示（idc）來代替旗標（mixed_nalu_types_in_pic_flag）。
no_mixed_nalu_types_in_pic_constraint_flag 旗標等於1表示位元流的一致性的要求，其中mixed_nalu_types_in_pic_idc必須等於0，若no_mixed_nalu_types_in_pic_constraint_flag旗標等於0則不施加這種約束。
mixed_nalu_types_in_pic_idc 等於0表示參考PPS的每個圖像具有一個以上之VCL NAL單元，且參考PPS的每個圖像的VCL NAL單元具有相同的nal_unit_type值。
mixed_nalu_types_in_pic_idc 等於1表示參考PPS的每個圖像具有二個以上之VCL NAL單元，且CL NAL單元均應具有TRAIL_NUT至RSV_VCL_6（包括兩端）範圍內的兩個特定的nal_unit_type值。
NAL 單元類型 待混合的單元類型
TRAIL RADL或RASL或STSA
STSA RADL或RASL
RASL TRAIL或RADL
RADL TRAIL或RASL
mixed_nalu_types_in_pic_idc 等於2表示參考PPS的每張圖像均具有二個以上的VCL NAL單元，而且一個以上之該等VCL NAL單元均應具有IDR_W_RADL至CRA_NUT（包括兩端）範圍內的一個特定的nal_unit_type值，且另一個VCL NAL單元均應具有TRAIL_NUT至RSV_VCL_6（包括兩端）範圍內的一個特定的nal_unit_type值，或是等於GRA_NUT的一個特定的nal_unit_type值。
該值對應於允許的NAL單元與現有旗標的混合。
NAL 單元類型 待混合的單元類型
CRA_NUT、IDR_W_RADL、IDR_N_LP TRAIL、STSA、RADL、RASL、 … VCL_RSV_6、GRA_NUT
mixed_nalu_types_in_pic_idc 等於3表示參考PPS的每張圖像均具有二個以上具有nal_unit_type IDR_W_RADL值的VCL NAL單元，以及一個以上具有nal_unit_type CRA_NUT值的VCL NAL單元。
NAL 單元類型 待混合的單元類型
CRA_NUT IDR_W_RADL
對於任何特定圖像的VCL NAL單元，適用以下條件： –如果mixed_nalu_types_in_pic_idc等於0，則對於圖像的所有編碼片段NAL單元，其nal_unit_type值應相同。圖像或PU被稱為具有與圖像或PU的編碼片段NAL單元相同的NAL單元類型。 –如果mixed_nalu_types_in_pic_idc等於1或2，則適用以下條件。 –如果圖像中的VCL NAL單元其中之一的nal_unit_type值等於TRAIL_NUT，則圖像或PU被稱為尾隨圖像或尾隨PU。 –否則（圖像中沒有TRAIL_NUT VCL NAL單元），圖像或PU被稱為前導圖像或前導PU。 –如果圖像中的VCL NAL單元其中之一的nal_unit_type值等於RADL_NUT，則該圖像或PU稱為RADL圖像或RADL PU。 –否則（圖像中的任何VCL NAL單元的nal_unit_type值均不等於RADL_NUT），則該圖像或PU被稱為RASL圖像或RASL PU。 –否則（mixed_nalu_types_in_pic_idc等於3），該圖像稱為CRA圖像或CRA PU。
可以通過如下的約束旗標來實現與將前導NAL單元類型視為STSA圖像有關的實施態樣。
general_constraint_info( ) { Descriptor
general_progressive_source_flag u(1)
…  
leading_stsa_pictures_flag u(1)
  …  
   while( !byte_aligned( ) )  
     gci_alignment_zero_bit f(1)
}  
Leading_stsa_pictures_flag等於1表示RADL和RASL圖像的幀間預測參考具有以下約束。若no_mixed_nalu_types_in_pic_constraint_flag等於0，則不施加這種約束。
當lead_stsa_pictures_flag等於1時，適用以下條件： –當當前圖像是RASL或RADL圖像時，在RefPicList [0]或RefPicList [1]中不應有與當前圖像的TemporalId相等的活動條目。 –當當前圖像是按解碼順序跟隨其後的RASL或RADL且在關聯IRAP圖像之前的圖像，其TemporalId等於當前圖像者，則不應有TemporalId等於當前圖像者的圖像，其包括在解碼順序中位於RASL或RADL圖像之前的RefPicList [0]或RefPicList [1]中作為活動條目者。
換句話說，與STSA圖像相關聯的限制禁止以解碼順序跟隨並與比STSA高的下一個更高時間子層相關聯的圖像使用STSA之前的該下一個更高的時間子層中的任何參考，即解碼器可以從STSA開始解碼下一個時間子層。這樣的限制當然也可以如上所述針對RASL/RADL圖像強制執行，因此，上述訊號可以用作這些屬性的指示。
2、在多層存取單元中混合圖像類型
通過非限制性示例，本小節可以涉及多層位元流中的多層存取單元，然而，本文描述的特徵可能已經被應用於單層。此外，作為非限制性示例，本小節通過參考長期參考圖像來描述本發明的原理，然而，本發明構思也可適用於短期參考圖像，即，本文描述的特徵通常可以應用於圖像參考。此外，作為非限制性示例，本小節可以通過將POC值設置為零（即MSB = 0）來描述POC MSB重置。但是，數值為零僅充當佔位符，以表示MSB的減小數值，例如MSB重置可能會發生任何等於0但小於相應位元流位置之當前MSB的預定值。
習知技術可以通過發送訊號通知最高有效的POC（圖像順序計數）位元（poc_msb_val）來為在分層存取單元內混合不同RAP類型的圖像提供支持，即在時間實例中，存取單元的層中確實同時包含RAP和非RAP圖像。但是，前導圖像NAL單元類型的參考圖像可能存在問題，這些參考圖像以編碼順序參考其關聯的IRAP圖像之前的圖像，如以下長期參考圖像的示例所示，但也適用於短期參考圖像，本發明為此提供了一種解決方案。
與當前POC訊號相關的語法如下。
SPS語法
seq_parameter_set_rbsp( ) { Descriptor
...  
log2_max_pic_order_cnt_lsb_minus4 ue(v)
  poc_msb_in_rap_pics_flag u(1)
   if( poc_msb_in_rap_pics_flag ＞ 0 )  
     poc_msb_len_minus1 ue(v)
...  
}  
片段標題語法
slice_header( ) { Descriptor
   ...  
  slice_pic_order_cnt_lsb u(v)
   if( poc_msb_in_rap_pics_flag  &&          nal_unit_type  ＞=  IDR_W_RADL  &&  nal_unit_type  ＜=  GDR_NUT )  
     poc_msb_val u(v)
...  
}  
上述POC MSB訊號的示例性用法是當所有層具有相同的IRAP NAL單元類型時，例如，如圖8所示，所有層具有IDR_W_RADL或CRA，將POC MSB設置為0。
圖8顯示一多層位元流11，其包括在第一層L0中的第一子位元流11-1和在第二層L1中的第二子位元流11-2，各層L1、L0可包括一個以上之時間子層T0、T1、T2，因此，圖像的空間片段可以散佈在所述不同層L0、L1和時間子層T0、T1、T2。
圖8更顯示一些示例性的多層存取單元30、31、32。在本示例中，多層存取單元30、31、32可以包括第一層L0中的第一子位元流11-1的第一NAL單元302，其係與第二層L1中的第二子位元流11-2的第二NAL單元304混合。如上所述，NAL單元可以包括不同的NAL單元類型，特別是IRAP和非IRAP NAL單元類型。另外，如上所述，NAL單元可包括片段標頭，其係用訊號發送圖像順序計數（POC）。本文描述的概念涉及最高有效POC部分，例如最高有效POC位元或稱POC MSB。因此，在附圖中，在每個IRAP NAL單元處描繪了POC MSB。
舉例而言，多層存取單元30、32表示對齊的存取單元，其中第一子位元流11-1中的第一NAL單元302的POC MSB與第二子位元流11-2的第二NAL單元304的POC MSB對齊，其中兩個NAL單元都是IRAP NAL單元類型。
多層存取單元31表示不對齊的存取單元，亦即其中第一子位元流11-1中的第一NAL單元302的POC MSB與第二子位元流11-2中的第二NAL單元304的POC MSB不對齊（例如，MSB=0），其具有非IRAP NAL單元類型。因此，可以將第一子位元流11-1的第一NAL單元302的POC MSB增加一預定值，例如，增加1。
圖8顯示在這種多層情況下可以如何使用之前描述的片段標頭中的MSB訊號，訊號的目的是在未對齊的RAP處保持POC值正確，例如CRA w MSB = 1的非對齊存取單元31，即當並非所有層在同一存取單元上都具有IRAP時，避免將POC（LSB和MSB）重置為零。
然而，圖8更顯示當POC對齊時，（例如，長期及/或長期）參考圖像12r存在問題，為了便於理解，以下附圖可能僅指長期參考圖像，但是本概念也適用於短期參考圖像。
須注意者，最後一個CRA存取單元32之前的圖像12a、12b、12c，即第二個對齊的RAP具有POC MSB＞ 0和POC LSB＞0。因此，在最後一個CRA存取單元32處重置MSB到0時（如圖8中示例所示），則不可能使用POC MSB或其增量（用於長期參考圖像）來參考任何先前的圖像12a、12b、12c ...。圖8中用綠色箭頭標有“ LT ref”表示這樣的一個示例。 因此，圖8所示的示例將顯示在這種情況下可能無法進行圖像參考。
因此，本發明提供了針對該問題的解決方案，使得圖像參考變得可能。
在一實施例中，一約束在規範中表達或通過位元流旗標（SPS，VPS，DPS）指示，只有當存取單元內的所有圖像均為IDR類型時，即IDR_W_RADL或IDR_N_LP，MSB才可以設置為0。因此，當使用CRA時，不會發生POC重置，並且允許LT參考（示例請參見圖9和10）。
如在圖9中可以看到的，存取單元32可以是對齊的存取單元32，其中，NAL單元302、304兩者都是IRAP NAL單元類型。 然而，由於第一子位元流11-1的第一NAL單元302是CRA類型的，因此不會發生POC重置，這意味著，圖9顯示了不允許POC重置的情況。
相反地，圖10顯示由於第一子位元流11-1的第一NAL單元302和第二子位元流11-2的第二NAL單元304都是IDR單位類型，因此可以允許POC重置的情形。
因此，根據一實施例，本發明提供一種用於對視頻內容12進行解碼的解碼器100，該解碼器100被配置為對包括第一子位元流11-1和第二子位元流11-2的位元流11進行解碼，其中，解碼器100被配置為從第一子位元流11-1和第二子位元流11-2的NAL單元302、304的片段標頭導出一資訊，其中，所述NAL單元302、304是IRAP NAL單元類型（例如IDR_W_LP、IDR_N_LP）該資訊是用於設定NAL單元302、304所參考的圖像12r的POC的最高有效POC部分（POC MSB）。根據本示例，若所述存取單元32內的NAL單元302、304是非即時解碼刷新單元類型，例如為CRA單位類型，則對於位元流11的存取單元32內的IRAP NAL單元類型的所有NAL單元302、304，要求將最高有效POC部分（POC MSB）設定為預定值。
如上所述，作為非限制性示例，本小節可以通過將POC值設定為零（即MSB = 0）來描述POC MSB重置。但是，數值為零僅充當佔位符，以象徵性地減小MSB值，例如MSB重置可能會發生任何等於0但小於在相應位元流位置的當前MSB的預定值。因此，上述預定值可以等於或大於與NAL單元302所參考的圖像12r之前的圖像12a、12b、…相關的POC的最高有效POC部分，換句話說，如果並非存取單元32內的所有NAL單元302、304都是IDR單元類型，則不允許發生POC重置。
在一些示例中，所述預定值可以等於零，即MSB ＝ 0。在一些其他示例中，所述預定值可以等於隱式推導的最高有效POC部分，例如，等於常規SOTA POC MSB隱式推導。
在另一實施例中，可能存在規範中表達的約束或通過位元流旗標（SPS，VPS，DPS）指示的約束，只要出現對齊的RAP存取單元32並將存取單元32的POC MSB設定為0，就不會允許在對齊的RAP存取單元32之前的（長期或短期）參考圖像12a、12b、12c、…，以位元流順序被對齊的RAP存取單元32之後的圖像12s所參考。
例如，圖11顯示圖像12s可以按解碼順序跟隨圖像12r，即使圖像12s可以按呈現順序位於圖像12r之前。
圖11和12顯示MSB等於0的任何圖像12r都沒有具有LT參考圖像的前導圖像12a、12b、12c、...，其中圖11表示從MSB = 1重置為MSB = 0，圖12表示MSB等於0，例如，因為POC_LSB足夠長而不會發生增量。因此，圖11顯示一種不允許POC MSB重置及圖像參考的情況，並且圖12顯示其中所有POC MSB可以等於零但是不允許圖像參考的情況。圖13顯示如果MSB不等於0，則允許LT參考圖像作為前導圖像。
因此，根據一實施例，本發明提供一種用於對視頻內容12進行解碼的解碼器100，該解碼器100被配置為對包括第一子位元流11-1和第二子位元流11-2的位元流11進行解碼，其中，解碼器100被配置為從第一子位元流11-1和第二子位元流11-2的NAL單元302、304的片段標頭導出一資訊，其中，所述NAL單元302、304是IRAP NAL單元類型（例如，CRA、IDR_W_LP、IDR_N_LP），該資訊是用於設置NAL單元302、304所參考的圖像12r的POC的最高有效POC部分（POC MSB）。根據本示例，不允許任何圖像參考以解碼順序越過位元流11的任何存取單元32，在其中，所有NAL單元302、304均是IRAP NAL單元類型，並且具有片段標頭，其中最高有效POC部分（POC MSB）被設定至一預定值。
再次，如上所述，本小節可以通過將POC值設定為零（即MSB = 0）來描述POC MSB重置，這是一個非限制性示例。但是，數值為零僅充當佔位符以表示MSB的降低值，例如，還可能的是，MSB重置可能發生在任何不等於0但小於相應位元流位置的當前MSB的預定值。因此，參考圖11至圖13描述的示例的所述預定值可以小於與NAL單元（302、304）所參考之圖像（12r）之前的圖像（12a、12b、12c...）相關聯的POC的最高有效POC部分（POC MSB），亦即發生POC重置。
在一些示例中，所述預定值可以等於零，即MSB ＝ 0。在一些其他示例中，所述預定值可以等於隱式導出的最高有效POC部分，例如，等於常規SOTA POC MSB隱式推導。
在另一實施例中，可能存在規範中表達的約束或通過位元流旗標（SPS、VPS、DPS）指示的約束，只要出現對齊的RAP存取單元32並將存取單元32的POC MSB設定為0（POC重置），則不允許以位元流順序跟隨在對齊的RAP存取單元32之後的圖像12s參考在對齊的RAP存取單元32之前且MSB非為0的（短期或長期）參考圖像12a、12b、12c...。
須注意者，如果在圖8所示的上述示例中使用LT參考圖像沒有增加MSB，則不會出現問題，因為LT參考圖像的參考僅須通過POC_LSB值即可完成。
圖14顯示在該示例中，沒有發生POC MSB重置，不能通過增加存取單元32的POC MSB值（在圖14所示的示例中，增加POC MSB值，即MSB = 3）或維持存取單元32的POC MSB值與先前存取單元31中的值相同，來指示沒有POC MSB重置。
因此，根據一實施例，本發明提供用於解碼視頻內容12的解碼器100，解碼器100被配置為對包括第一子位元流11-1和第二子位元流11-2的位元流11進行解碼，其中，解碼器100被配置為從第一子位元流11-1和第二子位元流11-2的NAL單元302、304的片段標頭導出一資訊，其中，所述NAL單元302、304具有IRAP NAL單元類型（例如CRA、IDR_W_LP、IDR_N_LP），該資訊用於設置NAL單元302、304所參考的圖像12r的POC的最高有效POC部分（POC MSB）。根據該示例，不允許按位元流順序跟隨位元流11的第二存取單元32的圖像12s對第一存取單元31的參考圖像12a、12b、12c…的任何圖像參考，其中，第一存取單元31由具有片段標頭的NAL單元301、303組成，其最高有效POC部分被設定為第一預定值，並且其以位元流順序位於位元流11的第二存取單元32之前，其中所有NAL單元302、304均具有IRAP NAL單元類型（例如CRA、IDR_W_LP、IDR_N_LP），並且具有片段標頭，其最高有效POC部分（POC MSB）設定為第二預定值。
再次，如上所述，作為非限制性示例，本小節可以通過將POC值設定為零（即MSB = 0）來描述POC MSB重置，但是，數值為零僅充當佔位符以表示減少MSB的值，例如MSB重置可能會發生任何不等於0但小於相應位元流位置的當前MSB的預定值。因此，對於參照圖14描述的示例，在前的第一存取單元31的所述第一預定POC MSB值可以大於後續的第二存取單元32的所述第二預定POC MSB值。在此種情況下，圖像參考將不被允許。相反地，可以指出，如果後續的第二存取單元32的第二預定MSB值可以大於先前的第一存取單元31的所述第一預定POC MSB值，則將允許圖像參考，換句話說，如果未發生POC重置，則將允許圖像參考。
例如，所述第二預定值可以等於零，以指示POC重置，因此，如果發生POC重置，則將不允許圖像參考。在一些其他示例中，所述第二預定值可以等於隱式推導的最高有效POC部分，例如，等於常規SOTA POC MSB隱式推導。
儘管已經在裝置的上下文中描述了一些實施態樣，但是很顯然地，這些實施態樣也代表了對相應方法的描述，其中方塊或裝置對應於方法步驟或方法步驟的特徵。類似地，在方法步驟的上下文中描述的實施態樣也表示對相應裝置的相應方塊或項目或特徵的描述。
方法步驟中的一些或全部可以由（或使用）硬件設備（例如微處理器、可編程電腦或電子電路）執行。在一些實施例中，最重要的方法步驟中的一個或多個可以由這樣的裝置執行。
取決於某些實施要求，本發明的實施例可以利用硬體或軟體或至少部分地以硬體或至少部分地以軟體來實施，可以使用具有儲存有電子可讀控制訊號的數位儲存媒體（例如軟碟、DVD、藍光、CD、ROM、PROM、EPROM、EEPROM或FLASH記憶體），並配合（或能夠配合）可編程電腦系統，從而執行相應的方法，來執行以實現該實施例。因此，數位儲存媒體可以是電腦可讀的。
根據本發明的一些實施例包括具有電子可讀控制訊號的資料載體，該電子可讀控制訊號能夠與可編程電腦系統協作，從而執行本文描述的方法之一。
一般而言，本發明的實施例可以被實現為具有程式碼的電腦程式產品，當電腦程式產品在電腦上運行時，該程式碼可操作用於執行方法之一，程式碼可以例如儲存在機器可讀載體上。
其他實施例包括儲存在機器可讀載體上的，用於執行本文描述的方法之一的電腦程式。
換言之，因此，本發明方法的一實施例是一種電腦程式，當電腦程式在電腦上運行時，該電腦程式具有用於執行本文描述的方法之一的程式碼。
因此，本發明方法的另一實施例是一種資料載體（或數位儲存媒體、或電腦可讀媒體），其包括記錄在其上的用於執行本文所述方法之一的電腦程式，資料載體、數位儲存媒體或記錄媒體通常是有形的及/或非暫時性的。
因此，本發明方法的另一實施例是表示用於執行本文描述的方法之一的電腦程式的資料流或訊號序列，資料流或訊號序列可以例如被配置為經由資料通訊連接，例如經由網際網路來傳輸。
另一實施例包括一處理裝置，例如電腦或可編程邏輯裝置，其被配置為或適於執行本文描述的方法之一。
另一實施例包括一種電腦，該電腦上安裝了用於執行本文描述的方法之一的電腦程式。
根據本發明的另一實施例包括一種設備或系統，該設備或系統被配置為（例如，以電子方式或光學方式）將用於執行本文描述的方法之一的電腦程式傳送給接收器，接收器可以是例如電腦、行動裝置、儲存裝置等，該設備或系統可以例如包括用於將電腦程式傳送到接收器的文件伺服器。
在一些實施例中，可編程邏輯裝置（例如場域可編程閘陣列）可以用於執行本文描述的方法的一些或全部功能。在一些實施例中，場域可編程閘陣列可以與微處理器協作以便執行本文描述的方法之一，通常，該方法較佳由任何硬體設備執行。
可以使用硬體設備、或使用電腦、或使用硬體設備和電腦的組合來實現本文描述的裝置。
可以使用硬體裝置、或使用電腦、或使用硬以裝置和電腦的組合來執行本文描述的方法。
儘管已經參考說明性實施例描述本發明，但是該描述並非旨在以限制性的意義來解釋，參考說明書，示例性實施例的各種修改和組合以及本發明的其他實施例，對於本領域技術人員是顯而易見的，因此，所附申請專利範圍將能夠涵蓋任何這樣的修改或實施方式。
10:裝置 100:解碼器 11:視頻位元流、位元流 11-1:第一子位元流 11-2:第二子位元流 12a,12b,12c,12r,12s:圖像 12:視頻內容、圖像組 131 :空間片段、NAL單元、圖像片段、第一空間片段 132 :NAL單元、圖像片段、第二空間片段 131 a,131 b,132 a,132 b,131 c,132 c:空間片段、圖像 30,31,32:存取單元（AU） 201,202,301,303:NAL單元 302:第一NAL單元、NAL單元、前導圖像 304:第二NAL單元、NAL單元 312:前導RASL、NAL單元、NAL單元類型 314:前導RADL、NAL單元 322:NAL單元、NAL單元類型 324:NAL單元 L1,L0:層 T0,T1,T2:時間子層
在下文中，參考附圖更詳細地描述本發明的實施例，其中： 圖1為一位元流示意圖，其可以被依據一實施例之一新穎之解碼器和用於編碼/合併之裝置來處理的。 圖2為一位元流示意圖，其具有IDR_N_LP NAL單元類型之存取單元，且其他存取單元具有相同之NAL單元類型。 圖3為一位元流示意圖，其具有IDR_W_LP NAL單元類型之存取單元，並具有混合TRAIL單元類型之對應RADL單元類型之存取單元。 圖4為一位元流示意圖，其具有CRA NAL單元類型之存取單元，並具有混合TRAIL單元類型之對應RASL單元類型之存取單元。 圖5顯示一完整的360度低解析度縮圖，且其具有可選的高解析度圖塊。 圖6顯示一示例性編碼結構，其中在一個圖塊（頂部示例）中，圖像使用STSA NAL單元類型來指示逐步的時間子層存取，而在另一圖塊（底部示例）中的同一圖像使用RASL NAL單位類型進行存取。 圖7顯示一示例性編碼結構，其用於使用封閉GOP結構的高解析度區域（頂部）和使用開放GOP結構的高解析度區域（底部）。 圖8顯示一示例性之多層位元流之編碼結構，其中POC MSB在層對齊的RAP圖像處重置。 圖9顯示一示例性之多層位元流之編碼結構，其中如果不是所有NAL單元為IDR，則不允許POC MSB重置。 圖10顯示一示例性之多層位元流之編碼結構，其中因所有NAL單元為IDR，故允許POC MSB重置。 圖11顯示一示例性之多層位元流之編碼結構，其中POC MSB重置並且不允許LT參考。 圖12顯示一示例性之多層位元流之編碼結構，其中所有POC MSB均等於0並且不允許LT參考。 圖13顯示一示例性之多層位元流之編碼結構，其中所有POC MSB均等於0並且允許LT參考。 圖14顯示一示例性之多層位元流之編碼結構，其中沒有POC MSB重置並且允許LT參考。
10:裝置
100:解碼器
11:視頻位元流、位元流
11-1:第一子位元流
11-2:第二子位元流
12a,12b,12c:圖像
12:視頻內容、圖像組
131:空間片段、NAL單元、圖像片段、第一空間片段
132:NAL單元、圖像片段、第二空間片段
30:存取單元(AU)

Claims (90)

  1. 一種解碼器，用於解碼一視頻內容，該解碼器被配置為： 解碼包括與該視頻內容的複數圖像的一第一空間片段有關的一第一子位元流和與該視頻內容的複數圖像的一第二空間片段有關的一第二子位元流的一位元流，其中 A) 該位元流包括至少一個存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種非內部隨機存取點網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導、尾隨圖像、逐步時間子層存取），其係與該第二子位元流的至少一個不同的第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之非內部隨機存取點網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導、尾隨圖像、逐步時間子層存取），或 B) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），或 C) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型的（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種非內部隨機存取點前導圖像網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導）或一種逐步時間子層存取網路抽象層單元類型其中之一。
  2. 如請求項1所述之解碼器， 其中，該等圖像之該等空間片段分別獨立相關於該視頻內容之該等圖像的多個已編碼之子圖像，該解碼器被配置為針對跨越多個子圖像邊界的運動補償預測使用邊界沿伸。
  3. 如請求項1或2所述之解碼器， 其中，在情況A)中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取解碼前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種尾隨圖像單元類型。
  4. 如請求項1或2所述之解碼器， 其中，在A)情況中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取跳過前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種尾隨圖像單元類型。
  5. 如請求項1或2所述之解碼器， 其中，在A)情況中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取跳過前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取解碼前導圖像單元類型。
  6. 如請求項1或2所述之解碼器， 其中，在A)情況中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種逐步時間子層存取單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種尾隨圖像單元類型。
  7. 如請求項3或4所述之解碼器， 其中，該解碼器係配置為從該位元流衍生一指示， 其中，該指示明確地發送至該解碼器，以指示該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係混合於該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元，該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為一尾隨圖像單元類型，該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為該隨機存取跳過前導圖像單元類型或該隨機存取解碼前導圖像單元類型其中之一。
  8. 如請求項7所述之解碼器， 其中該指示包括一參數集中的一語法元素。
  9. 如請求項8所述之解碼器， 其中該語法元素係包含於一圖像參數集或一序列參數集的至少其中之一。
  10. 如請求項1至9中任一項所述之解碼器， 其中， 若該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元是一隨機存取跳過前導圖像單元類型，且該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元是一尾隨圖像單元類型， 則該解碼器係配置為從指向該解碼器之該位元流衍生一指示 a) 忽略或不輸出，或 b) 輸出並標記為一斷開的空間片段， 該第一子位元流之該視頻內容之該等圖像之該第一空間片段對應該第一子位元流之該隨機存取跳過前導圖像單元類型的該網路抽象層單元。
  11. 如請求項10所述之解碼器， 其中，在情況b)中， 該解碼器係配置為利用一補充增強資訊訊息的方法將該斷開的空間片段標記指向一後續處理鏈。
  12. 如請求項1至11中任一項所述之解碼器， 其中，該解碼器係配置為從一參數集中解碼一約束指示，其中該約束指示係指示該解碼器 若該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種非前導圖像網路抽象層單元類型（如尾隨圖像單元類型或逐步時間子層存取單元類型）， 若該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型關聯之該第一子位元流之該非內部隨機存取點網路抽象層單元是該乾淨隨機存取單元類型，則該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型僅會是隨機存取解碼前導圖像單元類型。
  13. 如請求項12所述之解碼器， 其中，該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一尾隨圖像單元類型。
  14. 如請求項1或2所述之解碼器， 其中，在情況A)中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取解碼前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種逐步時間子層存取單元類型。
  15. 如請求項1或2所述之解碼器， 其中，在情況A)中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取跳過前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種逐步時間子層存取單元類型。
  16. 如請求項15所述之解碼器， 其中，該解碼器係配置為從該位元流衍生一指示， 其中該指示明確地發送至該解碼器，以指示該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係混合於該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元，該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為一逐步時間子層存取單元類型，該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為該隨機存取跳過前導圖像單元類型或該隨機存取解碼前導圖像單元類型其中之一。
  17. 如請求項16所述之解碼器， 其中該指示包括一參數集中的一語法元素。
  18. 如請求項17所述之解碼器， 其中該語法元素係包含於一圖像參數集或一序列參數集的至少其中之一。
  19. 如請求項14至18中任一項所述之解碼器， 其中，該解碼器係配置為從該位元流之一參數集中解碼一約束旗標，該約束旗標指示該解碼器 該位元流之任一存取單元滿足與該逐步時間子層存取單元類型相關聯之約束，其中該存取單元包括一個以上之非內部隨機存取點前導圖像網路抽象層單元類型（隨機存取跳過前導圖像單元類型或隨機存取解碼前導圖像單元類型）之該網路抽象層單元與一個以上之逐步時間子層存取單元類型之該網路抽象層單元的混合。
  20. 如請求項19所述之解碼器， 其中該約束係指示該解碼器，若在解碼順序上後續的且與比一逐步時間子層存取單元類型更高的下一個時間子層相關聯的任一圖像在該逐步時間子層存取單元類型之前，則該任一圖像係不允許參考該更高的下一個時間子層中的圖像。
  21. 如請求項14至18中任一項所述之解碼器， 其中，該解碼器係配置為從該位元流之一參數集中解碼一約束旗標，該約束旗標指示該解碼器 該位元流之任一存取單元不遵守與該逐步時間子層存取單元類型相關聯之約束，其中該存取單元包括一個以上之非內部隨機存取點前導圖像網路抽象層單元類型（隨機存取跳過前導圖像單元類型或隨機存取解碼前導圖像單元類型）之該網路抽象層單元與一個以上之逐步時間子層存取單元類型之該網路抽象層單元的混合，以及 其中，該解碼器更配置為回應該約束旗標，避免解析一個以上之該逐步時間子層存取單元類型之該網路抽象層單元，且隱式推斷一逐步時間子層存取解碼。
  22. 一種解碼器，用於解碼一視頻內容，該解碼器被配置為： 解碼一位元流；以及 從該位元流之一參數集中解碼一約束旗標，該約束旗標指示該解碼器，在該位元流中，包括非內部隨機存取點前導圖像網路抽象層單元類型（例如隨機存取跳過前導或隨機存取解碼前導）之任一存取單元，滿足與逐步時間子層存取單元類型相關聯之約束。
  23. 如請求項1或2所述之解碼器， 其中，在情況B)中， 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是與一封閉圖像組相關聯之一內部隨機存取點網路抽象層單元類型；以及 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是與一開放圖像組相關聯之一內部隨機存取點網路抽象層單元類型。
  24. 如請求項23所述之解碼器， 其中，該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種具有隨機存取解碼前導圖像單元類型的乾淨隨機存取單元類型；以及 其中，該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種具有隨機存取跳過前導圖像單元類型的乾淨隨機存取單元類型。
  25. 如請求項1或2所述之解碼器， 其中，在情況B)中， 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一具有隨機存取解碼前導圖像單元類型的即時解碼刷新；以及 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一乾淨隨機存取單元類型。
  26. 如請求項23至25中任一項所述之解碼器， 其中該解碼器係配置為 解碼並呈現存取單元之一個以上之圖像之一並置空間片段，其係在位元流順序上跟隨與該第二子位元流之該網路抽象層單元相關聯之該至少一存取單元，該並置空間片段係並置於與該第二子位元流之該網路抽象層單元相關聯之該至少一存取單元之該圖像之該第二空間片段；以及 標示待丟棄之該等存取單元之一個以上之圖像之一並置空間片段，其係在位元流順序上跟隨與該第一子位元流之該網路抽象層單元相關聯之該至少一存取單元，該並置空間片段係並置於與該第一子位元流之該網路抽象層單元相關聯之該至少一存取單元之該圖像之該第一空間片段。
  27. 如請求項23至25中任一項所述之解碼器， 其中該解碼器係配置為 在常規播放期間連續解碼的情況下， 解碼並呈現存取單元之一個以上之圖像之一並置空間片段，其係在位元流順序上跟隨與該第二子位元流之該網路抽象層單元相關聯之該至少一存取單元，該並置空間片段係並置於與該第二子位元流之該網路抽象層單元相關聯之該至少一存取單元之該圖像之該第二空間片段；以及 在開始解碼的情況下， 丟棄存取單元之一個以上之圖像，其係在位元流順序上跟隨該至少一存取單元，並在該一個以上之丟棄之圖像之後，恢復圖像輸出。
  28. 如請求項23至25中任一項所述之解碼器， 其中該解碼器係配置為 在常規播放期間連續解碼的情況下， 解碼並呈現存取單元之一個以上之圖像之一並置空間片段，其係在位元流順序上跟隨與該第二子位元流之該網路抽象層單元相關聯之該至少一存取單元，該並置空間片段係並置於與該第二子位元流之該網路抽象層單元相關聯之該至少一存取單元之該圖像之該第二空間片段，及 標示待丟棄之該等存取單元之一個以上之圖像之一並置空間片段，其係在位元流順序上跟隨與該第一子位元流之該網路抽象層單元相關聯之該至少一存取單元，該並置空間片段係並置於與該第一子位元流之該網路抽象層單元相關聯之該至少一存取單元之該圖像之該第一空間片段；以及 在開始解碼的情況下， 丟棄存取單元之一個以上之圖像，其係在位元流順序上跟隨該至少一存取單元，並在該一個以上之丟棄之圖像之後，恢復圖像輸出。
  29. 如請求項26至28中任一項所述之解碼器， 其中，該解碼器係配置為利用一補充增強資訊訊息的方法將該斷開的空間片段標記指向一後續處理鏈。
  30. 如請求項23至29中任一項所述之解碼器， 其中，該解碼器係配置為從該位元流衍生一指示，該指示係指示該解碼器，以利用對應一乾淨隨機存取單元類型之方式與該第一子位元流及該第二子位元流相關聯之該至少一存取單元，即使該存取單元包括與一乾淨隨機存取網路抽象層單元類型不同之一非內部隨機存取點網路抽象層單元類型（如具有隨機存取解碼前導圖像單元類型的即時解碼刷新）的一網路抽象層單元。
  31. 一種裝置，用於處理一視頻內容，該裝置被配置為： 提供與該視頻內容的複數圖像的一第一空間片段有關的一第一子位元流和與該視頻內容的複數圖像的一第二空間片段有關的一第二子位元流，其中該第一子位元流與該第二子位元流皆為一位元流的一部份，其中 A) 該位元流包括至少一個存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種非內部隨機存取點網路抽象層單元類型（例如隨機存取解碼前導、隨機存取跳過前導、尾隨圖像、逐步時間子層存取），其係與該第二子位元流的至少一個不同的第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之非內部隨機存取點網路抽象層單元類型（例如隨機存取解碼前導、隨機存取跳過前導、尾隨圖像、逐步時間子層存取），或 B) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），或 C) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型的（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種非內部隨機存取點前導圖像網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導）或一種逐步時間子層存取網路抽象層單元類型其中之一。
  32. 如請求項31所述之裝置， 其中，該等圖像之該等空間片段分別獨立相關於該視頻內容之該等圖像的多個已編碼之子圖像，該解碼器被配置為針對跨越多個子圖像邊界的運動補償預測使用邊界沿伸。
  33. 如請求項31或32所述之裝置， 其中，在情況A)中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取解碼前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種尾隨圖像單元類型。
  34. 如請求項31或32所述之裝置， 其中，在A)情況中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取跳過前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種尾隨圖像單元類型。
  35. 如請求項31或32所述之裝置， 其中，在A)情況中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取跳過前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取解碼前導圖像單元類型。
  36. 如請求項31或32所述之裝置， 其中，在A)情況中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種逐步時間子層存取單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種尾隨圖像單元類型。
  37. 如請求項33或34所述之裝置， 其中，該解碼器係配置為在該位元流中設定一指示， 用以指示該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係混合於該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元，該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為一尾隨圖像單元類型，該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為該隨機存取跳過前導圖像單元類型或該隨機存取解碼前導圖像單元類型其中之一。
  38. 如請求項37所述之裝置， 其中該指示包括一參數集中的一語法元素。
  39. 如請求項38所述之裝置， 其中該語法元素係包含於一圖像參數集或一序列參數集的至少其中之一。
  40. 如請求項31至39中任一項所述之裝置， 其中， 若該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元是一隨機存取跳過前導圖像單元類型，且該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元是一尾隨圖像單元類型， 則該裝置係配置為在該位元流中設定一指示 a) 忽略或不輸出，或 b) 輸出並標記為一斷開的空間片段， 該第一子位元流之該視頻內容之該等圖像之該第一空間片段對應該第一子位元流之該隨機存取跳過前導圖像單元類型的該網路抽象層單元。
  41. 如請求項40所述之裝置， 其中，在情況b)中， 該裝置係配置為利用一補充增強資訊訊息的方法將該斷開的空間片段標記指向一後續處理鏈。
  42. 如請求項31至41中任一項所述之裝置， 其中，該裝置係配置為在一參數集中設定一約束指示，用以指示 若該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種非前導圖像網路抽象層單元類型（如尾隨圖像單元類型或逐步時間子層存取單元類型）， 若該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型關聯之該第一子位元流之該非內部隨機存取點網路抽象層單元是該乾淨隨機存取單元類型，則該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型僅會是隨機存取解碼前導圖像單元類型。
  43. 如請求項42所述之裝置， 其中，該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一尾隨圖像單元類型。
  44. 如請求項31或32所述之裝置， 其中，在情況A)中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取解碼前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種逐步時間子層存取單元類型。
  45. 如請求項31或32所述之裝置， 其中，在情況A)中， 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種隨機存取跳過前導圖像單元類型；以及 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種逐步時間子層存取單元類型。
  46. 如請求項45所述之裝置， 其中，該裝置係配置為在該位元流中設定一指示， 用以指示該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係混合於該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元，該第二子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為一逐步時間子層存取單元類型，該第一子位元流之該非內部隨機存取點網路抽象層單元類型的該網路抽象層單元係為該隨機存取跳過前導圖像單元類型或該隨機存取解碼前導圖像單元類型其中之一。
  47. 如請求項46所述之裝置， 其中該指示包括一參數集中的一語法元素。
  48. 如請求項47所述之裝置， 其中該語法元素係包含於一圖像參數集或一序列參數集的至少其中之一。
  49. 如請求項44至48中任一項所述之裝置， 其中，該裝置係配置為在該位元流之一參數集中設定一約束旗標，該約束旗標指示 該位元流之任一存取單元滿足與該逐步時間子層存取單元類型相關聯之約束，其中該存取單元包括一個以上之非內部隨機存取點前導圖像網路抽象層單元類型（隨機存取跳過前導圖像單元類型或隨機存取解碼前導圖像單元類型）之該網路抽象層單元與一個以上之逐步時間子層存取單元類型之該網路抽象層單元的混合。
  50. 如請求項49所述之裝置， 其中該約束係指示，若在解碼順序上後續的且與比一逐步時間子層存取單元類型更高的下一個時間子層相關聯的任一圖像在該逐步時間子層存取單元類型之前，則該任一圖像係不允許參考該更高的下一個時間子層中的圖像。
  51. 如請求項44至48中任一項所述之裝置， 其中，該裝置係配置為在該位元流之一參數集中設定一約束旗標，該約束旗標指示 該位元流之任一存取單元不遵守與該逐步時間子層存取單元類型相關聯之約束，其中該存取單元包括一個以上之非內部隨機存取點前導圖像網路抽象層單元類型（隨機存取跳過前導圖像單元類型或隨機存取解碼前導圖像單元類型）之該網路抽象層單元與一個以上之逐步時間子層存取單元類型之該網路抽象層單元的混合，以及 隱式推斷一逐步時間子層存取解碼，而非解析該逐步時間子層存取單元類型之一個以上之該網路抽象層單元。
  52. 一種裝置，用於處理一視頻內容，該裝置被配置為： 處理一位元流；以及 在該位元流之一參數集中設定一約束旗標，該約束旗標指示，在該位元流中，包括非內部隨機存取點前導圖像網路抽象層單元類型（例如隨機存取跳過前導或隨機存取解碼前導）之存取單元，滿足與逐步時間子層存取單元類型相關聯之約束。
  53. 如請求項31或32所述之裝置， 其中，在情況B)中， 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是與一封閉圖像組相關聯之一內部隨機存取點網路抽象層單元類型；以及 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是與一開放圖像組相關聯之一內部隨機存取點網路抽象層單元類型。
  54. 如請求項53所述之裝置， 其中，該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種具有隨機存取解碼前導圖像單元類型的乾淨隨機存取單元類型；以及 其中，該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一種具有隨機存取跳過前導圖像單元類型的乾淨隨機存取單元類型。
  55. 如請求項31或32所述之裝置， 其中，在情況B)中， 該第二子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一具有隨機存取解碼前導圖像單元類型的即時解碼刷新；以及 該第一子位元流之該網路抽象層單元之該非內部隨機存取點網路抽象層單元類型是一乾淨隨機存取單元類型。
  56. 如請求項53至55中任一項所述之裝置， 其中該裝置係配置為在該位元流中設定一指示，用以指示與該第一子位元流及該第二子位元流相關聯之該至少一存取單元是利用對應一乾淨隨機存取網路抽象層單元類型之方式處理，即使該存取單元包括與一乾淨隨機存取網路抽象層單元類型不同之一非內部隨機存取點網路抽象層單元類型（如具有隨機存取解碼前導圖像單元類型的即時解碼刷新）的一網路抽象層單元。
  57. 如請求項31至56中任一項所述之裝置， 其中該裝置包括一編碼器、一合併器、及一網路節點其中之至少一。
  58. 一種方法，用於解碼一視頻內容，該方法包括： 解碼包括與該視頻內容的複數圖像的一第一空間片段有關的一第一子位元流和與該視頻內容的複數圖像的一第二空間片段有關的一第二子位元流的一位元流，其中 A) 該位元流包括至少一個存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種非內部隨機存取點網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導、尾隨圖像、逐步時間子層存取），其係與該第二子位元流的至少一個不同的第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之非內部隨機存取點網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導、尾隨圖像、逐步時間子層存取），或 B) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），或 C) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型的（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種非內部隨機存取點前導圖像網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導）或一種逐步時間子層存取網路抽象層單元類型其中之一。
  59. 一種方法，用於處理一視頻內容，該方法包括： 提供與該視頻內容的複數圖像的一第一空間片段有關的一第一子位元流和與該視頻內容的複數圖像的一第二空間片段有關的一第二子位元流，其中該第一子位元流與該第二子位元流皆為一視頻位元流的一部份，其中 A) 該位元流包括至少一個存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種非內部隨機存取點網路抽象層單元類型（例如隨機存取解碼前導、隨機存取跳過前導、尾隨圖像、逐步時間子層存取），其係與該第二子位元流的至少一個不同的第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之非內部隨機存取點網路抽象層單元類型（例如隨機存取解碼前導、隨機存取跳過前導、尾隨圖像、逐步時間子層存取），或 B) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種不同之內部隨機存取點網路抽象層單元類型（例如即時解碼刷新、乾淨隨機存取），或 C) 該位元流包括至少一存取單元，其中，該第一子位元流的至少一個第一網路抽象層單元是一種內部隨機存取點網路抽象層單元類型的（例如即時解碼刷新、乾淨隨機存取），其係與該第二子位元流的至少一個第二網路抽象層單元混合，該第二網路抽象層單元是一種非內部隨機存取點前導圖像網路抽象層單元類型（例如隨機存取跳過前導、隨機存取解碼前導）或一種逐步時間子層存取網路抽象層單元類型其中之一。
  60. 如請求項59所述之方法，包括將該第一子位元流合該第二子位元流結合至該視頻位元流。
  61. 一種資料流，其可利用如請求項58至60中任一項所述之方法所取得。
  62. 一種電腦可讀取之數位儲存媒體，其儲存有一電腦程式，當一電腦執行該電腦程式之一程式碼時，執行如請求項58至60中任一項所述之方法。
  63. 一種解碼器，用於解碼一視頻內容，該解碼器被配置為： 解碼包括一第一子位元流和一第二子位元流的一位元流， 其中，該解碼器被配置為從該第一子位元流和該第二子位元流之一網路抽象層單元之一片段標頭中衍生一資訊，用以設定該網路抽象層單元參考之一圖像之圖像順序計數的一最高有效圖像順序計數部分，其中該網路抽象層單元係為一內部隨機存取點網路抽象層單元類型（例如乾淨隨機存取、具前導圖像之即時解碼刷新、無前導圖像之即時解碼刷新）；以及 A) 其中，若該位元流之一存取單元內的至少一網路抽象層單元是一非即時解碼刷新單元類型（例如乾淨隨機存取），則對於該位元流之該存取單元內的該內部隨機存取點網路抽象層單元類型之所有網路抽象層單元，要求將該最高有效圖像順序計數部分設定為一預定值，或 B) 其中，不允許任何圖片參照以解碼順序跨越該位元流的任何存取單元，其中，所有網路抽象層單元均為一內部隨機存取點網路抽象層單元類型，並且具有片段標頭，其中該最高有效圖像順序計數部分設定為一預定值，或 C) 其中，不允許一第一存取單元之圖像被在一位元流順序中跟隨在該位元流之一第二存取單元之後的任何圖片參照，其中該第一存取單元由具有切片標頭的網路抽象層單元所組成，在該第一存取單元中，其最高有效圖像順序計數部分設定為一第一預定值，且其以該位元流順序在該位元流的該第二存取單元之前，在該第二存取單元中，其所有網路抽象層單元均為內部隨機存取點網路抽象層單元類型並具有一片段標頭，且其最高有效圖像順序計數部分設定為一第二預定值。
  64. 如請求項63所述之解碼器， 其中，在情況A)中， 該預定值係大於等於與該網路抽象層單元所參考之該圖像之前的一圖像相關聯之一圖像順序計數之一最高有效圖像順序計數部分。
  65. 如請求項63或64所述之解碼器， 其中，該預定值係等於0。
  66. 如請求項63或64所述之解碼器， 其中，該預定值係等於一隱式衍生最高有效圖像順序計數部分。
  67. 如請求項63所述之解碼器， 其中，在情況B)中， 該預定值係小於與該網路抽象層單元所參考之該圖像之前的一圖像相關聯之一圖像順序計數之一最高有效圖像順序計數部分。
  68. 如請求項63或67所述之解碼器， 其中，該預定值係等於0。
  69. 如請求項63或67所述之解碼器， 其中，該預定值係等於一隱式衍生最高有效圖像順序計數部分。
  70. 如請求項63所述之解碼器， 其中，在情況C)中， 該第一預定值係大於該第二預定值。
  71. 如請求項63或70所述之解碼器， 其中，該第二預定值係等於0。
  72. 如請求項63或70所述之解碼器， 其中，該第二預定值係等於一隱式衍生最高有效圖像順序計數部分。
  73. 如請求項63至72中任一項所述之解碼器， 其中，該位元流係為一多層位元流，以及 其中，該第一位元流屬於一第一層，且該第二位元流屬於一不同之第二層。
  74. 如請求項63至73中任一項所述之解碼器， 其中，該圖片參照包括一短期圖片參照與一長期圖片參照至少其中之一。
  75. 一種編碼器，用以編碼一視頻內容，該編碼器被配置為： 編碼包括一第一子位元流和一第二子位元流的一位元流， 其中，該編碼器係配置為在該第一子位元流和該第二子位元流之一網路抽象層單元之一片段標頭中，設定該網路抽象層單元參考之一圖像之圖像順序計數的一最高有效圖像順序計數部分，其中該網路抽象層單元係為一內部隨機存取點網路抽象層單元類型（例如乾淨隨機存取、具前導圖像之即時解碼刷新、無前導圖像之即時解碼刷新）；以及 A) 其中，若該位元流之一存取單元內的至少一網路抽象層單元是一非即時解碼刷新單元類型（例如乾淨隨機存取），則對於該位元流之該存取單元內的該內部隨機存取點網路抽象層單元類型之所有網路抽象層單元，要求將該最高有效圖像順序計數部分設定為一預定值，或 B) 其中，不允許任何圖片參照以解碼順序跨越該位元流的任何存取單元，其中，所有網路抽象層單元均為一內部隨機存取點網路抽象層單元類型，並且具有片段標頭，其中該最高有效圖像順序計數部分設定為一預定值，或 C) 其中，不允許一第一存取單元之圖像被在一位元流順序中跟隨在該位元流之一第二存取單元之後的任何圖片參照，其中該第一存取單元由具有切片標頭的網路抽象層單元所組成，在該第一存取單元中，其最高有效圖像順序計數部分設定為一第一預定值，且其以該位元流順序在該位元流的該第二存取單元之前，在該第二存取單元中，其所有網路抽象層單元均為內部隨機存取點網路抽象層單元類型並具有一片段標頭，且其最高有效圖像順序計數部分設定為一第二預定值。
  76. 如請求項75所述之編碼器， 其中，在情況A)中， 該預定值係大於等於與該網路抽象層單元所參考之該圖像之前的一圖像相關聯之一圖像順序計數之一最高有效圖像順序計數部分。
  77. 如請求項75或76所述之編碼器， 其中，該預定值係等於0。
  78. 如請求項75或76所述之編碼器， 其中，該預定值係等於一隱式衍生最高有效圖像順序計數部分。
  79. 如請求項75所述之編碼器， 其中，在情況B)中， 該預定值係小於與該網路抽象層單元所參考之該圖像之前的一圖像相關聯之一圖像順序計數之一最高有效圖像順序計數部分。
  80. 如請求項75或79所述之編碼器， 其中，該預定值係等於0。
  81. 如請求項75或79所述之編碼器， 其中，該預定值係等於一隱式衍生最高有效圖像順序計數部分。
  82. 如請求項75所述之編碼器， 其中，在情況C)中， 該第一預定值係大於該第二預定值。
  83. 如請求項75或82所述之編碼器， 其中，該第二預定值係等於0。
  84. 如請求項75或82所述之編碼器， 其中，該第二預定值係等於一隱式衍生最高有效圖像順序計數部分。
  85. 如請求項75至84中任一項所述之編碼器， 其中，該位元流係為一多層位元流，以及 其中，該第一位元流屬於一第一層，且該第二位元流屬於一不同之第二層。
  86. 如請求項75至85中任一項所述之編碼器， 其中，該圖片參照包括一短期圖片參照與一長期圖片參照至少其中之一。
  87. 一種方法，用於解碼一視頻內容，該方法包括： 解碼包括一第一子位元流和一第二子位元流的一位元流，以及 從該第一子位元流和該第二子位元流之一網路抽象層單元之一片段標頭中衍生一資訊，用以設定該網路抽象層單元參考之一圖像之圖像順序計數的一最高有效圖像順序計數部分，其中該網路抽象層單元係為一內部隨機存取點網路抽象層單元類型（例如乾淨隨機存取、具前導圖像之即時解碼刷新、無前導圖像之即時解碼刷新）；及 A) 其中，若該位元流之一存取單元內的至少一網路抽象層單元是一非即時解碼刷新單元類型（例如乾淨隨機存取），則對於該位元流之該存取單元內的該內部隨機存取點網路抽象層單元類型之所有網路抽象層單元，要求將該最高有效圖像順序計數部分設定為一預定值，或 B) 其中，不允許任何圖片參照以解碼順序跨越該位元流的任何存取單元，其中，所有網路抽象層單元均為一內部隨機存取點網路抽象層單元類型，並且具有片段標頭，其中該最高有效圖像順序計數部分設定為一預定值，或 C) 其中，不允許一第一存取單元之圖像被在一位元流順序中跟隨在該位元流之一第二存取單元之後的任何圖片參照，其中該第一存取單元由具有切片標頭的網路抽象層單元所組成，在該第一存取單元中，其最高有效圖像順序計數部分設定為一第一預定值，且其以該位元流順序在該位元流的該第二存取單元之前，在該第二存取單元中，其所有網路抽象層單元均為內部隨機存取點網路抽象層單元類型並具有一片段標頭，且其最高有效圖像順序計數部分設定為一第二預定值。
  88. 一種方法，用於編碼一視頻內容，該方法包括： 編碼包括一第一子位元流和一第二子位元流的一位元流，以及 在該第一子位元流和該第二子位元流之一網路抽象層單元之一片段標頭中，設定該網路抽象層單元參考之一圖像之圖像順序計數的一最高有效圖像順序計數部分，其中該網路抽象層單元係為一內部隨機存取點網路抽象層單元類型（例如乾淨隨機存取、具前導圖像之即時解碼刷新、無前導圖像之即時解碼刷新）；及 A) 其中，若該位元流之一存取單元內的至少一網路抽象層單元是一非即時解碼刷新單元類型（例如乾淨隨機存取），則對於該位元流之該存取單元內的該內部隨機存取點網路抽象層單元類型之所有網路抽象層單元，要求將該最高有效圖像順序計數部分設定為一預定值，或 B) 其中，不允許任何圖片參照以解碼順序跨越該位元流的任何存取單元，其中，所有網路抽象層單元均為一內部隨機存取點網路抽象層單元類型，並且具有片段標頭，其中該最高有效圖像順序計數部分設定為一預定值，或 C) 其中，不允許一第一存取單元之圖像被在一位元流順序中跟隨在該位元流之一第二存取單元之後的任何圖片參照，其中該第一存取單元由具有切片標頭的網路抽象層單元所組成，在該第一存取單元中，其最高有效圖像順序計數部分設定為一第一預定值，且其以該位元流順序在該位元流的該第二存取單元之前，在該第二存取單元中，其所有網路抽象層單元均為內部隨機存取點網路抽象層單元類型並具有一片段標頭，且其最高有效圖像順序計數部分設定為一第二預定值。
  89. 一種資料流，其可利用如請求項87或88所述之方法所取得。
  90. 一種電腦可讀取之數位儲存媒體，其儲存有一電腦程式，當一電腦執行該電腦程式之一程式碼時，執行如請求項87或88所述之方法。
TW109144775A 2019-12-20 2020-12-17 用以在視頻流中混合不同網路抽象層單元類型的網路抽象層單元的解碼器、編碼器和方法 TWI792121B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19219057 2019-12-20
EP19219057.7 2019-12-20

Publications (2)

Publication Number Publication Date
TW202127889A true TW202127889A (zh) 2021-07-16
TWI792121B TWI792121B (zh) 2023-02-11

Family

ID=69005436

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109144775A TWI792121B (zh) 2019-12-20 2020-12-17 用以在視頻流中混合不同網路抽象層單元類型的網路抽象層單元的解碼器、編碼器和方法

Country Status (9)

Country Link
US (1) US20230027374A1 (zh)
EP (1) EP4078973A1 (zh)
JP (1) JP2023507348A (zh)
KR (1) KR20220114562A (zh)
CN (1) CN115066905A (zh)
AU (1) AU2020406072A1 (zh)
CA (1) CA3164485A1 (zh)
TW (1) TWI792121B (zh)
WO (1) WO2021122817A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147668A (ko) * 2020-03-05 2022-11-03 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021188805A1 (en) * 2020-03-20 2021-09-23 Bytedance Inc. Order relationship between subpictures
JP2023522224A (ja) 2020-04-20 2023-05-29 バイトダンス インコーポレイテッド 参照ピクチャリスト上の制約

Also Published As

Publication number Publication date
JP2023507348A (ja) 2023-02-22
TWI792121B (zh) 2023-02-11
CA3164485A1 (en) 2021-06-24
EP4078973A1 (en) 2022-10-26
AU2020406072A1 (en) 2022-08-11
CN115066905A (zh) 2022-09-16
US20230027374A1 (en) 2023-01-26
KR20220114562A (ko) 2022-08-17
WO2021122817A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US11032575B2 (en) Random access in a video bitstream
US11997313B2 (en) Dependent random access point pictures
TW202127889A (zh) 用以在視頻流中混合不同網路抽象層單元類型的網路抽象層單元的解碼器、編碼器和方法
US11128881B2 (en) Personal video recorder
US20080155586A1 (en) Method and device for processing video stream in digital video broadcasting systems
CN114339244A (zh) 多层视频流的补充增强信息
JP2018507591A (ja) スケーラブルなビデオ符号化および復号化のための層間予測
US20220217406A1 (en) An apparatus, a method and a computer program for handling random access pictures in video coding
US20130293787A1 (en) Fast Channel Switching
TW202037167A (zh) 允許逐子圖像或逐區域隨機存取之視訊編碼解碼器及使用它之視訊合成技術
JP2022042506A (ja) メディアファイルのためのブランド
US20230336798A1 (en) File parser, file generator, encoder, decoder, client, server, and methods using parameter sets for coded video sequences
TWI789662B (zh) 有關子圖像之視訊寫碼技術
CN115550719A (zh) 信令通知预选的目的
KR20220163474A (ko) 비디오 코딩을 위한 파일 포맷 개념