TWI801882B - 子圖像相關視訊寫碼概念技術 - Google Patents

子圖像相關視訊寫碼概念技術 Download PDF

Info

Publication number
TWI801882B
TWI801882B TW110118546A TW110118546A TWI801882B TW I801882 B TWI801882 B TW I801882B TW 110118546 A TW110118546 A TW 110118546A TW 110118546 A TW110118546 A TW 110118546A TW I801882 B TWI801882 B TW I801882B
Authority
TW
Taiwan
Prior art keywords
layer
sub
video
picture
layers
Prior art date
Application number
TW110118546A
Other languages
English (en)
Other versions
TW202147848A (zh
Inventor
雅構 夏契茲德拉富恩特
卡斯登 蘇荷寧
寇尼拉斯 黑爾吉
湯瑪士 夏以爾
羅伯特 史庫濱
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202147848A publication Critical patent/TW202147848A/zh
Application granted granted Critical
Publication of TWI801882B publication Critical patent/TWI801882B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述視訊寫碼概念，其係關於編碼、解碼、提取及混合視訊資料流，該等視訊資料流具有以再分成獨立寫碼之子圖像之一方式編碼於其中之圖像。該等概念係關於具有再分圖像之一層及非再分圖像之一層的子圖像特定視訊資料流之一提取、層間預測工具之一處置及用於此類視訊資料流之層間預測的縮放窗之一處置、此類資料流之解碼器能力需求之一判定、此類資料流之層特定約束，以及用不同類型之獨立寫碼而編碼之子圖像的混合。

Description

子圖像相關視訊寫碼概念技術
發明領域
本揭露內容之實施例係關於用於將視訊內容編碼成視訊資料流之編碼器。另外實施例係關於用於自多層視訊資料流提取子圖像特定視訊資料流之設備。另外實施例係關於用於解碼視訊資料流之解碼器。另外實施例係關於用於將視訊內容編碼成視訊資料流之方法、用於解碼視訊資料流之方法，以及用於自多層視訊資料流提取子圖像特定視訊資料流之方法。另外實施例係關於視訊資料流。
發明背景
在視訊寫碼中，視訊序列之圖像可藉助於多個子圖像寫碼成視訊資料流，該等多個子圖像中之每一者包含圖像之一部分。換言之，視訊資料流可包含與相等呈現時間相關聯之多個子圖像。藉由選擇子圖像中之一或多者以用於解碼或呈現，所呈現視訊內容可在解碼器側上進行選擇。舉例言之，此類視訊資料流可用於檢視區相依串流情境下。如在待呈現子圖像中之一或多者而非整個圖像的情況下，不解碼整個視訊資料流而是僅解碼其一部分可為有利的。以彼方式，可在給定解碼成本下實現所呈現視訊內容之較佳速率-失真關係。為此目的，可在解碼之前提取視訊資料流之一部分。
因此，期望具有一種用於以提供子圖像特定視訊資料流之精確提取與低傳信額外負荷之間的良好折衷之方式編碼及處置包含多個子圖像特定視訊資料流的概念。
發明概要
根據本發明之第一態樣之實施例依賴於用以在提取或定義或描述多層視訊資料流之子圖像特定視訊資料流中在具有以非子圖像劃分方式編碼至其中之視訊的層與具有以再分成二個或更多個子圖像之方式編碼至其中之視訊的層之間進行區分的想法。在以非子圖像劃分方式編碼的層與以子圖像劃分方式編碼的層之間進行區分允許提取或描述包含延伸超出由子圖像特定視訊資料流表示之子圖像的圖像之子圖像特定視訊資料流。因此，舉例言之，實施例允許子圖像特定視訊資料流之提取或描述，其中以子圖像再分方式編碼之層的子圖像取決於以非子圖像再分方式編碼之層的圖像。此外，在諸如檢視區相依串流之應用程式中，具有在子圖像特定視訊資料流中可用之以非再分方式編碼之圖像可允許在檢視區之改變之情況下以非再分方式編碼之圖像之品質的至少一圖像立即可用。
根據本發明之第一態樣之實施例提供一種用於自多層視訊資料流提取子圖像特定視訊資料流的設備。包含多個層之多層視訊資料流由(或包含)位元流部分(諸如NAL單元)構成，該等位元流部分中之每一者屬於層中之一者。應注意，「由...構成」 (每當在本文中出現時)不應被理解為需要個體排他性地包含組成物之對象；相反地，除位元流部分以外，資料流亦可包含如本文中所描述之其他部分，其中位元流部分在資料流中之配置遵循某些規則，諸如位元流部分之集合屬於一個存取單元內之某一時戳。根據第一態樣，自多層視訊資料流提取子圖像特定視訊資料流，例如藉助於用於提取子圖像特定視訊資料流之設備，包含：針對例如輸出層集合之層集合中之每一層，檢查各別層是否具有以使得視訊之圖像再分成二個或更多個子圖像之方式編碼至其中之視訊，該等子圖像以相互獨立之方式編碼至各別層中，使得對於視訊之每一圖像，各別圖像之子圖像編碼至各別層之相互不同之位元流部分中；或檢查各別層是否具有以非子圖像再分方式編碼至其中之視訊。若各別層具有以非子圖像再分方式編碼至其中之視訊，則提取包含將屬於各別層之位元流部分自多層視訊資料流交接至子圖像特定視訊資料流中，使得子圖像特定視訊資料流具有完全編碼至其中的各別層之視訊。若各別層具有以使得視訊之圖像再分成二個或更多個子圖像之方式編碼至其中的視訊，則提取子層特定視訊資料流包含：針對屬於各別層之每一位元流部分，自位元流部分讀取顯露各別位元流部分具有編碼至其中的二個或更多個子圖像中之哪一子圖像的資訊，並且若各別位元流部分具有編碼至其中之屬於一或多個子圖像之預定集合的子圖像，則將各別層之各別位元流部分自多層視訊資料流交接至子圖像特定視訊資料流中。
另外實施例係藉由多層視訊資料流及用於編碼該多層視訊資料流之編碼器提供，多層視訊資料流包含關於可自多層視訊資料流提取之子圖像特定視訊資料流之解碼器能力需求資訊，其如由所描述設備執行以用於提取子圖像特定視訊資料流。在視訊資料流中傳信解碼器能力需求資訊允許更高效地利用解碼器能力及/或選擇用於鑒於待用於解碼之解碼器之能力而進行解碼的最佳可能視訊資料流。
根據本發明之第二態樣之實施例，多層視訊資料流包含第一層，其位元流部分具有以使得第一視訊之圖像再分成二個或更多個子圖像之方式編碼至其中的第一視訊，該等子圖像以相互獨立之方式編碼至第一層之位元流部分中，使得對於第一視訊之每一圖像，第一視訊之各別圖像之子圖像編碼至第一層之相互不同之位元流部分中。多層視訊資料流進一步包含第二層，其位元流部分具有第二視訊。第一層之位元流部分具有使用來自參考圖像之基於向量之預測編碼至其中之第一視訊。此外，第一層之位元流部分具有按以下方式編碼至其中之第一視訊：以包括第二視訊之圖像作為參考圖像之方式，以及以如下所述之一方式：其中用於編碼第一層之位元流部分且由第一層位元流部分包含之向量對於在基於向量之預測中之使用根據多層視訊資料流中之縮放窗之大小及位置被縮放及偏移以分別用於第一視訊之圖像及參考圖像。根據第二態樣之概念包含在自多層視訊資料流提取子圖像特定視訊資料流中，將屬於第二層之位元流部分自多層視訊資料流交接至子圖像特定視訊資料流中，使得子圖像特定視訊資料流具有完全編碼至其中的各別層之視訊。子圖像特定視訊資料流之提取進一步包含將屬於第一層且具有編碼至其中之屬於一或多個子圖像之預定集合的子圖像之每一位元流自多層視訊資料流交接至子圖像特定視訊資料流中。此外，子圖像特定視訊資料流之提取包含針對子圖像特定視訊資料流中之第一及/或第二層調適縮放窗信號化，使得第二視訊之圖像的縮放窗之空間區域在空間上對應於一或多個子圖像之預定集合的縮放窗之空間區域。
根據第二態樣之實施例可確保在子圖像特定視訊資料流之提取之後，在此期間第一層之圖像之大小可歸因於子圖像提取而改變，使用縮放窗對用於基於向量之預測的向量之縮放經執行，使得向量縮放至根據如由多層視訊資料流中所提供之縮放窗所預期之位置及大小的位置及大小。因此，第二態樣之實施例允許在圖像與其層間參考圖像之間的相對圖像大小歸因於子圖像提取而改變之情況下，例如其中參考層之圖像被完全轉遞至子圖像特定視訊資料流之情況(例如，如相對於第一態樣所描述的)，使用基於向量之層間預測與子圖像提取的組合。
根據本發明之第三態樣之實施例，在多層視訊資料流之編碼及/或解碼中，層間預測工具用於自多層視訊資料流之第一層寫碼視訊之第一版本/將視訊之第一版本寫碼至多層視訊資料流之第一層，層間預測工具用於自多層視訊資料流之第二層預測，其中第一版本被編碼且第一層使用第一組配設定來對視訊之第一版本進行逐子圖像獨立寫碼。此外，用於逐子圖像獨立寫碼之第二組配設定用於自多層視訊資料流之第二層寫碼視訊之第二版本/將視訊之第二版本寫碼至多層視訊資料流之第二層中。取決於第一及第二組配設定是否具有預定關係，在來自第二層之層間預測中撤銷啟動一或多個層間預測工具之預定子集。
因此，根據第三態樣之實施例允許精確地控制層間預測工具之使用，使得層間預測亦可用於其中多層位元流之圖像再分成子圖像之情況下，特定言之，在其中多層視訊資料流之不同層之圖像再分成不同數目個子圖像之情形下，例如，在其中一個層之圖像再分成子圖像而另一層之圖像不再分成子圖像之情況下。
根據本發明之第四態樣之實施例提供多層視訊位元流之編碼或處置，該多層視訊位元流具有以在一或多個第一層中再分成獨立寫碼之子圖像之方式編碼至其中的圖像，並且具有以在一或多個第二層中未再分之方式編碼至其中的圖像。多層視訊位元流具有編碼至其中之足以用於解碼層集合之若干參考解碼器能力需求，該層集合中之每一者包括第一層中之至少一者及第二層中之至少一者。針對參考解碼器能力需求中之每一者，多層視訊資料流包含關於歸因於至少一個第一層的各別參考解碼器能力需求之第一分率及歸因於至少一個第二層的各別參考解碼器能力需求之第二分率的資訊。
具有關於第一分率及關於第二分率之資訊允許精確地判定與若干視訊資料流中之每一者相關聯的解碼器能力需求，該等視訊資料流可自多層視訊資料流提取，諸如子圖像特定視訊資料流。
根據本發明之第五態樣之實施例提供與參考解碼器能力需求相關聯之約束(例如層特定約束)之選擇性應用於多層視訊資料流中所指示之層集合的彼等層，該等層具有以再分成獨立寫碼之子圖像之方式編碼至其中的視訊圖像。在子圖像特定視訊資料流之提取期間，當約束可能歸因於圖像大小之減小而收緊時，省略對圖像大小被保持之層(例如其圖像不再分之層)之約束的應用，可避免對非再分層施加不均衡之嚴格約束。
根據本發明之第六態樣之實施例提供視訊資料流中之一指示，該指示指示編碼至視訊資料流中之圖像是否藉助於一或多個獨立寫碼之子圖像進行編碼，指示區別一或多個獨立寫碼之子圖像與一或多個獨立解碼之子圖像之周圍之間的寫碼獨立性之不同類型。根據第六態樣之實施例允許將諸如不同類型之NAL單元的位元流部分混合至所構成位元流之一個圖像中，即，一個存取單元。因此，根據第六態樣之實施例允許在視訊位元流之混合中的更高靈活性。
較佳實施例之詳細說明
在下文中，詳細論述實施例，然而，應瞭解，實施例提供可以廣泛多種視訊寫碼概念體現之許多適用概念。所論述之特定實施例僅例示用以實施及使用本發明概念之特定方式，並且並不限制實施例之範圍。在以下描述中，闡述多個細節以提供對本揭露內容之實施例的較透徹解釋。然而，對於熟習此項技術者將顯而易見，可在並無此等特定細節之情況下實踐其他實施例。在其他情況下，以方塊圖形式而非詳細地展示熟知結構及裝置以便避免混淆本文中所描述之實例。另外，除非另外特定地指出，否則可將本文中所描述之不同實施例的形貌體彼此組合。
在實施例之以下描述中，相同或類似元件或具有相同功能性之元件具有相同參考符號或以相同名稱來識別，並且通常忽略具有相同附圖標記或以相同名稱識別之元件的重複描述。因此，為具有相同或類似附圖標記或以相同名稱識別之元件提供的描述可在不同實施例中相互交換或可應用於彼此。
諸圖之以下描述以相對於圖1之編碼器、提取器及解碼器之呈現開始。圖1之編碼器及提取器提供用於可在其中建置本發明之實施例的框架之實例。在下文中，呈現本發明概念之實施例的描述連同關於此類概念可如何建置至圖1之編碼器及提取器中的描述。但相對於後續圖2及在下文中所描述之實施例亦可用於形成並不根據相對於圖1所描述之框架而操作的編碼器及提取器。應進一步注意，編碼器、提取器及解碼器可彼此分開地實施，但其在圖1中出於例示性目的而聯合地加以描述。 0.根據圖1之編碼器40、提取器10、解碼器50及視訊資料流14
圖1說明編碼器40、提取器20及解碼器50之實例。編碼器40將視訊24編碼成視訊資料流14。視訊資料流14 (視訊資料流在本文中亦可被稱作位元流)可例如發射或可儲存在資料載體上。視訊24可包含圖像序列，該等圖像中之每一者可與呈現時間次序之呈現時間相關聯。視訊24可包含多個圖像26，該等圖像在圖1中由圖像260 及261 表示。圖像26中之每一者可與層(諸如，圖1中之第一層L1或第二層L0)相關聯。舉例言之，在圖1中，圖像260 與第二層L0相關聯且圖像261 與第一層L1相關聯。層L0之圖像260 可形成視訊序列240 。層L1之圖像261 可形成視訊序列241 。在實例中，視訊24之視訊序列240 、241 可包含表示相同內容且與相等呈現時間相關聯但具有不同解析度的圖像。然而，應注意，視訊24之與層L0及L1相關聯之視訊序列240 、241 可具有不同圖框速率。因此，舉例言之，對於視訊序列241 包含圖像261 之呈現時間中之每一者，視訊序列240 未必包含圖像260 。編碼器40可取決於(亦即，參考)視訊序列240 之與圖像261 在時間上並置(亦即，與相同呈現時間相關聯)之圖像260 (例如被稱作參考圖像，例如用於層間預測)而將視訊序列241 之圖像261 編碼至視訊資料流14中。換言之，層L0之圖像可為層L1之圖像的參考圖像。因此，自視訊資料流14解碼圖像261 可能需要將圖像260 編碼至視訊資料流14中。在此等實例中，層L0可被稱作基礎層，並且與層L0相關聯之圖像可具有第一解析度。與第一層L1 (其可被稱作增強層)相關聯之圖像261 可具有第二解析度，該第二解析度可高於第一解析度。舉例言之，編碼器40可將視訊24編碼成視訊資料流14，使得表示第一解析度下之視訊24的層L0可獨立於層L1自視訊資料流14解碼，從而得到具有第一解析度之視訊。在層L1之圖像261 取決於層L0之圖像260 之情況下，視訊序列240 、241 可視情況聯合地解碼，此可使得視訊具有高於第一解析度之解析度，例如第二解析度。因此，可存在用於解碼視訊資料流14之多個選項，個別選項具有待解碼之資料流的不同資料速率且使得視訊具有不同解析度。
應指出，圖1中所展示之層之數目為示例性的且視訊資料流14可具有多於二個層。亦應注意，視訊資料流14未必包含多個層，但在一些實例中可包含僅一個單層，諸如在章節6中所描述之實施例的實例中。
提取器10可接收視訊資料流14，並且可自其提取視訊資料流14之位元流部分之未必真子集，以便提供經提取視訊資料流12。換言之，經提取視訊資料流12可對應於視訊資料流14或可包括視訊資料流14之分配部分。應指出，提取器10可視情況在轉遞經提取視訊資料流12中之位元流部分時修改視訊資料流14之位元流部分的內容。舉例言之，提取器10可修改包含關於如何解碼經提取視訊資料流12之經寫碼視訊資料的資訊的描述性資料。提取器10可基於待自視訊資料流14提取之輸出層集合(OLS)而選擇待轉遞至經提取視訊資料流12之視訊資料流14的位元流部分。舉例言之，提取器10可接收指示待提取或待呈現之OLS的OLS指示。視訊資料流14可包括指示可自視訊資料流14提取之OLS之集合的OLS指示。OLS可指示視訊資料流14之層中之一或多者或全部被完全或部分地轉遞至經提取視訊資料流12。
換言之，OLS可例如指示多層視訊資料流14之層的(未必真)子集。OLS可在多層資料流自身中指示，諸如在OLS指示18中，該OLS指示可包括在位元流14之視訊參數集(VPS)中。實際上，多於一個此類OLS可在資料流14中指示，其中用於提取之一個OLS藉由外部構件(例如，經由API 20)判定。應注意，雖然主要指示待輸出或呈現之視訊之一或多個層，但OLS指示18亦可指示並不待輸出/呈現之非輸出參考層，該等非輸出參考層屬於一或多個輸出層，此係因為一或多個輸出層直接地或間接地(經由另一參考層)取決於該層。OLS指示18可指示一或多個OLS。
視情況，OLS指示18可指示OLS之視訊參數，例如在視訊參數集(VPS)中。舉例言之，視訊參數可指示參考解碼器能力需求(亦被稱作解碼器能力需求、(參考)位準資訊或(參考)位準指示)，其對解碼器提出能夠解碼由OLS描述之位元流的需求。應注意，視訊參數可指示針對一個OLS之一或多個參考解碼器能力需求，此係因為由OLS描述之位元流亦可在由提取器10提取之後藉由選擇/提取一或多個時間子層及/或OLS之一或多個層來縮放。例如，混合器或合併器(例如圖10之設備100)可使用經提取視訊資料流12形成位元流，或解碼器可選擇經提取視訊資料流12之子位元流以供解碼。
經提取視訊資料流12轉遞至解碼器50，該解碼器解碼經提取視訊資料流12以便獲得經解碼視訊24'。經解碼視訊24'可不同於視訊24，此係因為其未必包括視訊24之全部內容，及/或可具有另一解析度及/或可例如基於相對於視訊24之量化損耗而具有失真。
視訊資料流14之層中之一者的圖像26可包括一或多個子圖像28，或可再分成多個子圖像28。應注意，參考符號26將用於下文中以用於指代層之圖像，例如，圖像26可指代層L1之圖像261 或層L0之圖像260 。編碼器40可彼此相互獨立地編碼圖像26之子圖像28。亦即，可在不需要圖像26之另一子圖像28之情況下解碼圖像26之子圖像28中之一者。舉例言之，提取器10未必轉遞層之所有子圖像28，而是可轉遞層之圖像26中之每一者的子圖像28之子集或僅一者。因此，經提取視訊資料流12 (其在此情況下可被稱作子圖像特定視訊資料流12)之資料速率可低於視訊資料流14之資料速率，使得經提取視訊資料流12之解碼可能需要較少解碼器資源。在圖1之實例中，提取器10轉遞層L0之圖像240 及層L1之圖像261 之子圖像28。在此情境下，經解碼視訊24'包含表示視訊序列240 之經解碼圖像的經解碼視訊序列24'0 。此外，根據此實例之經解碼視訊序列24'包含表示包括視訊序列241 之圖像261 之子圖像28的經解碼圖像26'1 之經解碼視訊序列24'1 。
應注意，編碼器不僅指示OLS指示中之一或多個有意義/可提取層集合，而且，根據實施例，向資料流提供解碼器可用於決定所指示之某一OLS是否可由解碼器依據例如用於DPB及/或CPB之可用緩衝記憶體、處理核心、想要解碼延滯或其類似者來解碼的資訊；此資訊可包括於解碼器能力需求資訊中。
在已極一般化地描述多層視訊資料流、子圖像、位元流可縮放性及參考圖像之概念之後，在以下若干實施例中描述用於實施來自視訊資料流14之經提取視訊資料流12之提取過程及視訊資料流14中之相關聯指示及/或編碼視訊資料流14之方法。應注意，相對於提取過程所描述之形貌體亦表示待自其中提取之經提取視訊資料流的對應視訊資料流及視訊資料流之對應編碼過程之描述。舉例言之，規定提取器10以自視訊資料流14導出資訊之形貌體亦應被理解為視訊資料流14之使得資訊自視訊資料流導出之形貌體，並且因此在相應地編碼視訊資料流14之方面理解為編碼器40之形貌體。 1.根據第一態樣之編碼器40、提取器10及視訊資料流14
此章節描述根據參考圖1之第一態樣的實施例，其中章節0中所描述之細節可視情況應用於根據第一態樣之實施例。
根據第一態樣之實施例，圖1之提取器10 (其亦可被稱作用於提取子圖像特定視訊資料流之設備10)經組配以用於自多層視訊資料流14提取子圖像特定視訊資料流12。亦即，根據第一態樣，視訊資料流14包含多個層，並且包含位元流部分16，該等位元流部分中之每一者屬於多層視訊資料流14之層(例如，層L0、L1)中之一者。舉例言之，位元流部分16中之每一者可包括指示各別位元流部分16所屬之層的指示，諸如層ID。根據第一態樣之實施例，提取器10經組配以用於：針對來自層集合之每一層，檢查各別層是否具有以使得視訊之圖像(例如圖像261 、262 ，即編碼至各別層中之圖像)再分成二個或更多個子圖像28之方式編碼至其中之視訊24，該等子圖像以相互獨立之方式編碼至各別層中，使得對於視訊24之每一圖像261 、262 ，透視圖像之子圖像28編碼至各別層之相互不同之位元流部分16中；或各別層是否具有以非子圖像再分方式編碼至其中之視訊24。
舉例言之，層集合為由OLS指示之層集合，例如如相對於圖1所描述，OLS提取器10受到指令以藉由諸如API 20之外部構件提取之層集合，或該OLS提取器推斷待提取之層集合，例如在不存在各別指令之情況下。
舉例言之，彼此相互獨立地編碼之子圖像28可表示每一子圖像28獨立於(子圖像所屬之圖像的)任何其他子圖像而編碼且每一位元流部分16具有編碼至其中的僅一個(不多於一個，但可能僅為一個之一部分)子圖像。換言之，獨立寫碼之子圖像28可不需要在子圖像28所屬之圖像經寫碼至的位元流部分16之外的除獨立寫碼之子圖像28經寫碼至之位元流部分之外的位元流部分。已以非子圖像再分方式編碼視訊24可表示例如各別層經寫碼至之子部分的數目為一，或經寫碼至各別層中之子部分的數目為一。換言之，以非子圖像再分方式編碼可表示以其中每一圖像經編碼為一個子圖像之方式進行編碼。
若各別層(例如，圖1之層L0)具有以非子圖像再分方式編碼至其中之視訊，則提取器10可將屬於各別層之位元流部分16(圖1之視訊資料流14及12中之加點的位元流部分16)自多層視訊資料流14交接至子圖像特定視訊資料流12中，使得子圖像特定視訊資料流12具有完全編碼至其中的各別層之視訊24，例如，圖1中視訊序列240 。將各別層之視訊完全編碼至其中可表示例如各別層(例如，多層視訊資料流14之層L0)之所有位元流部分16包括於子圖像特定視訊資料流12中。替代地或另外，子圖像特定視訊資料流將各別層之視訊24完全編碼至其中可表示交接至子圖像特定視訊資料流12中之位元流部分16獨立於另一層之二個或更多個子圖像中之哪些在子圖像特定視訊資料流12中轉遞(即，屬於下文所提及之一或多個子圖像之預定集合)的選擇。
若提取器發現各別層(亦即，當前檢查層)具有以使得層之視訊之圖像26 (層L1之圖像261 )再分成二個或更多個子圖像28之方式編碼至其中的視訊24 (例如，層L1之視訊序列241 )，則提取器10可針對屬於各別層(諸如圖1中之層L1)的每一位元流部分16自位元流部分16讀取顯露各別位元流部分16具有編碼至其中的二個或更多個子圖像中之哪一子圖像的資訊。若各別位元流部分16具有編碼至其中之屬於一或多個子圖像之預定集合的子圖像，則提取器可將各別層之各別位元流部分16自多層視訊資料流14交接至子圖像特定視訊資料流12中。例如，在圖1中，子圖像之預定集合僅包括以交叉影線展示之子圖像28。舉例言之，提取器10可丟棄或離開或去除(即，不轉遞)屬於各別層但具有編碼至其中之並不屬於一或多個子圖像之預定集合的子圖像之每一位元流部分。
圖2更詳細地說明根據本發明之第一態樣之實施例相對於圖1中所展示之情境在視訊資料流14及子圖像特定視訊資料流12中傳信之資訊。根據圖2之示例性說明，子圖像之預定集合僅包含一個子圖像28，即層L1之圖像261 之交叉影線子圖像28。如圖2中所說明，基於發現層L0具有以非子圖像再分方式編碼至其中之視訊(即，視訊序列240 )，提取器10轉遞或交接與層L0相關聯之所有位元流部分16 (加點之位元流部分)。與層L1相關聯之位元流部分以子圖像劃分方式編碼至視訊資料流14中。在圖2之實例中，以交叉影線說明層L1之圖像261 之子圖像28寫碼至其中的位元流部分，並且僅以影線說明圖像261 之另外子圖像寫碼至其中之位元流部分。如圖2中所說明，屬於具有相等呈現時間之圖像的位元流部分可為共同存取單元(AU)之部分。此外，應注意，每一圖像26或子圖像28可寫碼至一或多個位元流部分16中。舉例言之，圖像26或子圖像28可進一步再分成截塊，該等截塊中之每一者可寫碼至一或多個位元流部分中。在圖2之例示性實例中，待在用於解碼之子圖像特定視訊資料流12中轉遞的子圖像28之預定集合，即一或多個子圖像之集合，僅具有一個子圖像，即交叉影線子圖像28。因此，在與層L1之圖像261 相關聯的位元流部分中，僅在子圖像特定視訊資料流12中轉遞子圖像28之交叉影線位元流部分。
換言之，設備10可對以二個或更多個獨立寫碼之子圖像28為單位而寫碼之層敏感，或並不對將層之位元流部分16交接至子流12中敏感。
舉例言之，可藉由外部構件(諸如API 20)將一或多個子圖像之預定集合提供至提取器10。亦即，提取器10可接收關於多層視訊資料流14之層的圖像26中哪些子圖像將被轉遞至解碼器50的資訊。
舉例言之，顯露以子圖像再分方式編碼之層之二個或更多個子圖像的子圖像28所屬之位元流部分的資訊可由子圖像識別符(例如，SH_subpic_ID)提供。舉例言之，此資訊(即，子圖像識別符)可提供於各別位元流部分之標頭(例如，經切分標頭)中。換言之，在位元流部分之描述性資料中，具有編碼至其中之圖像26或子圖像28中之一者的視訊資料之位元流部分16可具有與其相關聯之子圖像識別符，該子圖像識別符例如藉助於索引指示位元流部分所屬之子圖像。
在實例中，視訊資料流14可包含關聯表30，諸如用於使位元流部分中之子圖像識別符與視訊24之圖像中之子部分空間位置相關聯的subpicIDVal。
根據實施例，提取器10可藉由評估在用於各別層之視訊資料流14中傳信的語法元素而執行檢查層是否具有以非子圖像再分方式或以子圖像再分方式編碼至其中之視訊。舉例言之，可在各別層所相關聯之序列參數集中傳信各別語法元素。舉例言之，語法元素可顯露寫碼至各別層中之子圖像或子部分之數目。語法元素可含於圖像或子圖像組配資料22中，該語法元素在實例中可在視訊資料流14 (例如，序列參數集(SPS))中傳信。舉例言之，各別語法元素可為sps_num_subpics_minus1語法元素。
如圖2中所說明，視訊資料流14可視情況包含OLS指示18，該OLS指示指示層集合，例如，OLS，例如，指示待至少部分地在子圖像特定視訊資料流12中轉遞之層集合。如之前所描述，OLS指示18可例如包含包括經指示待在子圖像特定視訊資料流12中轉遞之層集合的OLS之集合。舉例言之，API 20向提取器10指示OLS指示18之OLS中的哪些OLS將例如藉由指示指向OLS指示18之OLS中之一者的索引而在子圖像特定視訊資料流12中轉遞。
視訊資料流14可視情況進一步包含解碼器能力需求資訊60，其可例如包含關於圖像大小、諸如CPB及/或DPB之緩衝器大小的緩衝器大小及類似資訊的資訊，例如HRD、DPD及TPL資訊。資訊可在視訊資料流14中以其各種版本之清單的形式給出，其中藉由加索引來引用應用於某一OLS之版本。亦即，對於某一可提取OLS，例如，由OLS指示18指示之OLS，可傳信指向對應HRD、DPD及/或TPL資訊之索引。
解碼器能力需求資訊60可為關於可自多層視訊資料流14提取之子圖像特定視訊資料流12的資訊。舉例言之，解碼器能力需求資訊60或其部分可由編碼器40藉由實際上以與提取器10將執行用於提取透視可提取子圖像特定視訊資料流12之提取過程相似的方式執行提取過程來判定，其中編碼器40可至少在一定程度上執行提取過程以便判定解碼器能力需求資訊60之某些參數。
應注意，提取器10可在自資料流12形成資料流14時調適一些資料。在圖1中，藉由將單引號用於視訊資料流12之位元流部分之參考符號16來指示此可能性。如圖2中所說明，流12之組件保持相同，該等組件亦可視情況為圖1之視訊資料流12之部分。根據本文中所描述之另外態樣，此等組件亦可存在於視訊資料流14及12之實施例中。舉例而言，流14中之圖像組配資料22指示寫碼至資料流14中之完整圖像26之圖像大小，而流12中之圖像組配資料22'指示寫碼成資料流14之圖像26'之圖像大小，就層L1而言，現在寫碼至非子圖像再分之流12中，即來自一個子圖像28之圖像261 '；位元流封包16具有編碼至其中之實際圖像內容，諸如VCL NAL單元，可至少相對於其算術寫碼之部分而在不進行任何修正之情況下按原樣交接。如可見，甚至OLS指示18'可自流14交接至流12中。其甚至可如其在流14中一樣被留下；關聯表30亦可相應地被修正；資料項18、20及22中之任一者之經修正版本可隱藏/嵌套在流12中，即可能已由編碼器40提供於其中，並且可因此僅由提取器使用以替代在形成流14時出現在流12中之對應完全支配版本，或可由提取器10基於流14中之總體資訊而動態地解釋且置放於流12中；解碼器50在接收或被饋送有流12時可能不再處於能夠看見關於子圖像再分層L1之圖像261 曾經在流14中的樣子之位置。
應注意，取決於檢查，提取器10可進一步決定諸如PPS及SPS之某些層特定參數集是否相應地從頭開始重新調適或產生，使得其中某些參數經調適以用於子圖像特定資料流12。此類參數包含圖像或子圖像組配資料22中之前文所提及之圖像大小及子圖像組配、裁剪窗偏移、位準指示符。因此，諸如就圖像大小及子圖像組配而言資料流12中之圖像或子圖像組配資料22的調適的此等調適並不針對非子圖像再分層進行，即「若各別層具有以非子圖像再分方式編碼至其中的視訊」，但「若各別層具有以使得視訊之圖像(26)再分成二個或更多個子圖像(28)之方式編碼至其中的視訊(24)」進行。
舉例言之，隨著圖像260 在子圖像特定視訊資料流12中轉遞，此等圖像可用作參考層，例如用於層L1之子圖像28。舉例言之，如相對於圖1所描述，多層視訊資料流14可允許例如資料流之資料速率的可縮放性。為此目的，例如層L0之基礎層可具有以第一解析度編碼至其中之視訊，並且增強層，例如層L1可為此類層，可將關於高於第一解析度之第二解析度之視訊的資訊編碼在其中。舉例言之，解碼經編碼至增強層中之圖像261 可能需要基礎層之在時間上並置之圖像之資訊。換言之，基礎層可為增強層之參考層。因此，在此情境下，若基礎層及增強層二者為層集合之部分，則可確保增強層之子圖像的參考圖像(其為基礎層之部分)在子圖像特定視訊資料流中可用。此外，在其中較低解析度視訊以非子圖像再分方式寫碼至基礎層中之實例中，並且因此，根據所呈現概念，基礎層之位元流部分交接至子圖像特定視訊資料流中。因此，可確保整個視訊內容之至少低解析度視訊在子圖像特定視訊資料流中可用，使得在待呈現且因此待解碼之子圖像改變之情況下，基礎層之至少低解析度圖像可立即用於解碼器，從而允許子圖像之快速改變。
換言之，在可縮放寫碼與子圖像結合使用時，例如在檢視區相依360度視訊串流情境中，一個常見設定為具有描繪整個360度視訊場景之低解析度基礎層及含有較高保真度或空間解析度之場景的增強層，但其中增強層圖像再分成若干獨立寫碼之子圖像。在此類設定中，有可能自增強層及非子圖像基礎層提取單個子圖像，例如，對應於用戶端之檢視方向的圖像部分，並且沿著全360度視訊基礎層對其進行解碼。
在諸如上文所提及之位元流組配(具有非子圖像參考層之子圖像)之情況下，諸如VVC規範中之目前先進技術提取過程將不產生一致性位元流。舉例而言，在自inBitstream之逐字副本產生暫時outBitstream之後，在用索引subpicIdx提取子圖像時，對於當前VVC草案規範之子圖像子位元流提取過程中之經提取OLS中的每一層i，實行以下步驟(例如以便自OLS指示18導出OLS指示18')： - 自outBitstream去除其中nuh_layer_id等於第i層之nuh_layer_id且其中sh_subpic_id不等於SubpicIdVal[subpicIdx]之所有VCL NAL單元，，即僅將其中nuh_layer_id等於第i層之nuh_layer_id且其中sh_subpic_id等於SubpicIdVal[subpicIdx]之VCL NAL單元交接至經提取位元流中。
應注意，去除具有不同於待提取之子圖像之子圖像ID之所有VCL NAL單元。
其中SubpicIdVal為來自子圖像索引Idx次序之AU特定映射，其中子圖像出現於位元流中，並且相關傳信結構及識別符ID值在屬於子圖像之截塊之截塊標頭中攜載為語法元素sh_subpic_id且例如藉由提取器促進以在提取期間識別子圖像。
圖3說明多層視訊資料流14之實例，該多層視訊資料流可為如相對於圖1及2所描述之視訊資料流14的實例。根據圖3，說明視訊之四個存取單元之序列。層L1之圖像261 中之每一者再分成二個子圖像，以索引0索引之第一子圖像及以索引1索引之第二子圖像，而層L0之圖像260 以非再分方式寫碼。
習知地，在如圖3之頂部中所描繪之原始位元流經歷例如subpicIdx 1之子圖像之提取時，非一致性位元流12*將產生為L1將丟失其來自L0之層間參考圖像(ILRP)，如在圖3之底部中所見。應注意，子圖像ID有可能在位元流過程中改變，因此提取係基於索引的。顯而易見，此類步驟將導致自非子圖像層去除所有NAL單元，例如，位元流部分，此係因為其具有子圖像索引0。
根據第一態樣之實施例可因此允許在其中子圖像特定視訊資料流包含非子圖像層之情境中子圖像特定視訊資料流的提取。換言之，實施例可允許子圖像特定視訊資料流之提取，其中子圖像可具有對非子圖像層之參考。
換言之，根據本發明之第一態樣之實施例，相比之下，可允許取決於其子圖像組配而自OLS中之每一層提取(即，去除) NAL單元。舉例而言，在一個實施例中，以上去除步驟以子圖像之存在為條件，例如藉由層SPS中之子圖像的數目，如下： - 在sps_num_subpics_minus1大於0時，自outBitstream去除其中nuh_layer_id等於第i層之nuh_layer_id且其中sh_subpic_id不等於SubpicIdVal[subpicIdx]之所有VCL NAL單元。
特定言之，應注意「在sps_num_subpics_minus1大於0時」，將VCL NAL單元之去除限定成具有至少二個子圖像之層或圖像的部分。
在另一實施例中，相對於每一層之非VCL NAL單元之該提取過程之額外步驟，諸如關於圖像大小、裁剪窗偏移、位準idc及子圖像組配之SPS/PPS調整係基於子圖像之存在而省略，如下。
如下導出輸出子位元流outBitstream： -     附件C.6中規定之子位元流提取過程以inBitstream、targetOlsIdx及tIdTarget作為輸入調用，並且過程之輸出經指派至outBitstream。 -     若在本說明書中未規定之一些外部構件可用於為子位元流outBitstream提供替代參數集，則用替代參數集替代所有參數集。 -     否則，在子圖像位準資訊SEI訊息存在於inBitstream中時，以下應用： […] For the i-th layer with i in the range of NumLayersInOls[ targetOlsIdx ] - 1 to 0, the following applies. -  When sps_num_subpics_minus1 is greater than 0, the following applies. […] //layer-specific tasks shuch as adjustments to SPS/PPS in terms of level, picture size, //conformance window, and subpicture parameters, removal of VCL NAL units
同樣，應注意「在sps_num_subpics_minus1大於0時」，將層特定任務限定成具有至少二個子圖像之層或圖像的部分。
圖4展示在以上實施例用於產生一致位元流之提取過程中時子圖像特定視訊資料流12之提取之示例性結果。 2.根據第二態樣之編碼器40、提取器10及視訊資料流14
此章節描述根據本發明之第二態樣之編碼器40、提取器10及視訊資料流14的實施例。根據第二態樣之編碼器40、提取器10及視訊資料流14可係根據如相對於圖1所描述之編碼器40、提取器10及視訊資料流14，並且可視情況亦係根據如章節1中相對於圖2所描述之第一態樣。
圖5說明編碼器40、提取器10、解碼器50及視訊資料流14之實施例，其中視訊資料流14包含至少第一層L1及第二層L0，例如，如相對於圖1及2所描述。圖5中示例性地說明之情境之視訊序列24、圖像26及子圖像28可係根據圖1及圖2中所展示之情境之描述。
根據第二態樣之實施例，多層視訊資料流14由位元流部分16構成或包含位元流部分16，例如，NAL單元，該等位元流部分中之每一者，例如如由與各別位元流部分相關聯之層ID指示，屬於多層視訊資料流14之層中之一者。多層視訊資料流14包含第一層，例如圖5中之層L1，左側，該第一層之位元流部分16具有以使得第一視訊241 之圖像261 再分成二個或更多個子圖像28 (例如，層L1之圖像261 之僅影線及交叉影線的半部)之方式編碼至其中的第一視訊241 。子圖像28以相互獨立之方式編碼至第一層L1之位元流部分16中，使得對於第一視訊241 之每一圖像261 ，第一視訊之各別圖像之子圖像28編碼至第一層L1之相互不同之位元流部分16中。舉例言之，如已相對於圖2解釋，僅影線子圖像28經編碼至視訊資料流14之僅影線位元流部分中，並且交叉影線子圖像28經編碼至視訊資料流14之交叉影線位元流部分中。多層視訊資料流14進一步包含第二層，例如，圖5中之層L0，左側，該第二層之位元流部分具有編碼至其中之第二視訊240 。舉例言之，第二視訊240 係關於至少覆蓋第一視訊241 之視訊內容且在時間上對準至該視訊內容的視訊內容，使得基於第二視訊之第一視訊的層間預測係可行的。舉例言之，層L0之圖像260 之視訊內容可覆蓋層L1之時間上對準之圖像261 的視訊內容。在實例中，第二視訊240 經編碼至視訊資料流14之第二層L0中，但未必相對於在空間上對應於第一視訊241 之第二視訊240 之空間圖像區域以非子圖像再分方式。換言之，經寫碼至第二層L0中之子部分之數目可為一。甚至換言之，第二層L0之每一圖像可經編碼為一個子圖像，或例如，替代地，若再分成子部分，則其可為一個子部分完全覆蓋第一視訊之佔據區域。第一層之位元流部分(亦即，交叉影線及僅影線位元流部分)具有使用來自參考圖像之基於向量之預測編碼至其中的第一視訊241 。此外，第一層之位元流部分具有按以下方式編碼至其中之第一視訊241 ：以包括(例如，至少)第二視訊240 之圖像作為參考圖像之方式，以及以如下所述之一方式：其中用於編碼第一層位元流部分且由第一層之位元流部分包含或傳信之向量70對於在基於向量之使用者預測中之使用根據多層視訊資料流14中之縮放窗72之大小及位置被縮放及偏移以分別用於第一視訊之圖像261 及參考圖像260 。
舉例言之，第二視訊240 之圖像至少包括於第一層之位元流部分已使用基於向量之預測編碼所用的參考圖像中。舉例而言，圖5之圖像260 可為圖像261 之參考圖像。換言之，第二視訊240 之圖像260 可充當用於編碼第一視訊241 之圖像261 的層間參考圖像。舉例言之，基於向量之預測可包括於基於運動向量之預測框架中，其中術語「運動」通常指代自一些參考圖像預測之第一視訊241 中的圖像內容自從預測其之參考圖像中之其對應圖像內容在空間上移動某一向量的事實。亦即，該圖像內容自其移位，其中參考圖像可為例如第一視訊241 之先前寫碼之圖像或第二視訊240 之同時或時間上對準之圖像。舉例言之，在圖5中之第一視訊241 及第二視訊240 之說明中描繪彼此頂部之圖像26可為此類圖像。
根據縮放窗72之大小及位置的向量70之偏移可例如根據縮放窗(例如，層L0之縮放窗720 及層L1之縮放窗721 )之間的位置偏移而執行。此外，舉例言之，根據縮放窗72之大小及位置縮放向量70可根據縮放窗(例如，縮放窗720 及721 )之間的大小比率而執行。
舉例言之，縮放窗72之大小及位置可藉助於縮放窗指示72在多層視訊資料流14中傳信，例如，在每圖像基礎上。舉例言之，縮放窗72之大小及位置可藉由縮放窗之二個相對拐角的位置或一個拐角之位置及x及y中之縮放窗之尺寸的指示而傳信。應注意，以與使用其座標或座標及尺寸不同之方式傳信縮放窗之某些定位亦可為可行的，諸如藉由使用對應旗標指示縮放窗與圖像邊界重合。在後一情況下，在實例中，僅當旗標並不指示縮放窗之定位與圖像邊界的重合時才使用座標或其類似者指示縮放窗之定位。
根據第二態樣之提取器10經組配以將屬於第二層L0之位元流部分自多層視訊資料流14交接至子圖像特定視訊資料流12中，使得子圖像特定視訊資料流12具有完全編碼至其中的各別層之視訊240 。舉例言之，提取器10可轉遞層L0之所有位元流部分16或可轉遞與層L0相關聯之位元流部分，此獨立於第一層L1之二個或更多個子圖像中的哪一者轉遞至子圖像特定視訊資料流12，即第一層L1之子圖像中的哪一者屬於如下文中所描述之一或多個子圖像之預定集合。換言之，根據第二態樣之設備10可例如如相對於圖1及圖2所描述在以非子圖像再分方式編碼之層L0的情況下交接第二層L0之位元流部分。
根據第二態樣之提取器10進一步經組配以將屬於第一層L1且具有編碼至其中之屬於一或多個子圖像之預定集合的子圖像28之每一位元流部分自多層視訊資料流14交接至子圖像特定視訊資料流12中。舉例言之，提取器10可丟棄或離開(即，不轉遞)屬於各別層(例如，層L1)但具有編碼至其中之並不屬於一或多個子圖像之預定集合的子圖像28之每一位元流部分。換言之，根據第二態樣之提取器10可選擇性地轉遞屬於子圖像之預定集合的集合之第一層L1之位元流部分，如相對於第一態樣所描述，參見圖1及圖2。如相對於圖1及圖2所描述，一或多個子圖像之預定集合可由藉由API提供至提取器10之資訊指示。
提取器10進一步經組配以針對子圖像特定視訊資料流12中之第一層L1及/或第二層L0調適縮放窗信號化74，使得第二視訊之圖像的縮放窗720 '之空間區域在空間上對應於一或多個子圖像之預定集合的縮放窗721 '之空間區域。
如圖5中所說明，在子圖像特定視訊資料流12之提取之後，由於提取及調整一或多個子圖像之預定集合之子圖像，例如，圖5中之子圖像28，由一或多個子圖像之預定集合界定之子圖像變成或構成資料流12之第一層L1之圖像261 '。提取器10可調適縮放窗信號化，使得在使用縮放窗720 '、721 '縮放之後，子圖像特定視訊資料流12之第二層L0之向量70的縮放與在子圖像特定視訊資料流12之第一層L1之並置圖像261 '中具有大小及位置的向量70相關聯或映射至該向量，該大小及位置對應於向量70的第二層L0之圖像之向量70與其相關聯或使用多層視訊資料流14中之縮放窗720 、721 映射至其的彼等大小及位置。換言之，提取器10可調適縮放窗信號化74，使得縮放窗720 '、721 '提供對資料流12之第一層L1之圖像261 '內的給定位置之向量70之判定，該判定使得具有大小及位置之向量對應於在多層視訊資料流14之層L1之圖像261 中具有對應位置之向量70 (對應位置對應於圖像261 '內之位置，而非相對於圖像之邊界)。然而，因為圖像261 '之大小可能已相對於圖像261 改變，所以縮放窗在相對於圖像之邊界界定時可能需要相對於其相對於圖像261 '之邊界的位置調適或移位。
根據實施例，提取器10可針對第一層L1調適縮放窗信號化74，使得第一層L1之縮放窗721 '在位置及大小上對應於第二層之縮放窗720 '。在圖5中藉助於以實線所描繪之縮放窗720 '、721 '說明此實例。
替代地，提取器10可藉由界定第二層L0之縮放窗720 '來調適縮放窗信號化74，以便與如由圖5中以虛線所描繪之縮放窗720 '、721 '指示的一或多個子圖像之預定集合之外周邊重合，或在圖6中亦說明。
根據另外實施例，提取器10可針對第一及第二層二者調適縮放窗信號化，即調適縮放窗720 '及721 '，使得縮放窗720 '及721 '之周邊重合。
舉例言之，提取器10可藉由在資料流14中使用子圖像組配資料22來調適縮放窗信號化74。換言之，提取器10可在資料流14中調適子圖像組配資料22，以便在資料流12中提供子圖像組配資料22'。舉例言之，子圖像組配資料22可包含縮放窗位置及大小之指示。提取器10可在組配資料22中調適縮放窗位置及大小以便獲得子圖像組配資料22'。
應注意，關於藉由提取器10調適或以隱藏方式包括或重新產生位元流部分的如相對於圖2所提供之相同註釋亦適用於圖5 (參見用於資料流12之位元流部分的單引號)，其中資訊74為可藉由編碼器以隱藏方式包括或可藉由提取器重新在運作中調適或產生之資訊的另一實例。
圖6說明上文所提及之實例，其中第二層L0之縮放窗720 '係藉由提取器10調適。換言之，圖6展示在層L1及層L0之右側子圖像之提取的情況下對縮放窗之調整的實例。
在下文中展示用於調適縮放窗之實施的示例性規範。
如下導出輸出子位元流outBitstream： -   附件C.6中規定之子位元流提取過程以inBitstream、targetOlsIdx及tIdTarget作為輸入調用，並且過程之輸出經指派至outBitstream。 -   若在本說明書中未規定之一些外部構件可用於為子位元流outBitstream提供替代參數集，則用替代參數集替代所有參數集。 -   否則，在子圖像位準資訊SEI訊息存在於inBitstream中時，以下應用： […] For the i-th layer with i in the range of NumLayersInOls[ targetOlsIdx ] - 1 to 0, the following applies. -       When sps_num_subpics_minus1 is greater than 0, the following applies. […] //other layer-specific tasks such as adjustments to SPS/PPS in terms of level, picture //size, conformance window, and subpicture parameters, removal of VCL NAL units j -   如下導出變數subPicLeftPos、subPicRightPos、subPicTopPos及subPicBottomPos： subPicLeftPos = sps_subpic_ctu_top_left_x[ subpicIdx ] * CtbSizeY    (C.XX) subPicRightPos = subPicLeftPos  + (sps_subpic_width_minus1[ subpicIdx ]+1) * CtbSizeY (C.XX) subPicTopPos = sps_subpic_ctu_top_left_y[ subpicIdx ] * CtbSizeY    (C.XX) subPicBottomPos = subPicTopPos + ( sps_subpic_height_minus1[ subpicIdx ] + 1 ) * CtbSizeY   (C.XX) […] //remaining other layer-specific tasks such as adjustments to SPS/PPS in terms of //level, picture size, conformance window, and subpicture parameters, removal of //VCL NAL units -否則(sps_num_subpics_minus1等於0，以下應用。 -   在所有所參考PPS NAL單元中重寫pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset及pps_scaling_win_bottom_offset之值以分別等於subPicLeftPos、(ppsPicWidth - subPicRightPos)、subPicTopPos、及(ppsPicHeight-subPicBottomPos)。
如相對於圖5及圖6根據第二態樣之實施例允許層間預測及諸如資料流12之子圖像特定視訊資料流之提取的組合，此係因為用於基於向量之預測中的向量17可正確地映射在經提取子圖像特定視訊資料流12之解碼中。
換言之，雖然原始位元流含有引導層間預測以藉由各別PPS中之所謂的縮放窗應用正確的按比例增大濾波器及MV偏移的控制資訊，但重要的係調整子位元流中之起因於一個EL子圖像+完整BL之提取的此類高位準參數以允許正確解碼。因此，作為此章之態樣的部分，縮放窗偏移參數經調整以就MV偏移及縮放因數導出而言補償增強層之經丟棄子圖像。在圖6中，說明在增強層中具有二個子圖像之實例，以及如何調整基礎層L0及增強層L1之縮放窗以在解碼器側產生正確層間預測，如最初在編碼器側上所執行，即含有子圖像之層(L1)中之縮放窗將經重寫以涵蓋提取之後僅對應於如圖6之右側所說明之經提取子圖像的完整經寫碼圖像，而無子圖像之層(L0)之縮放窗將經重寫以涵蓋對應於較高層之經提取子圖像的僅圖像區域，即涵蓋剩餘L1經寫碼圖像區域或子圖像之預測所需之樣本。類似於如上文所描述之實例，根據該實例，藉由提取器10自其中提取由一或多個子圖像之預定集合界定之一或多個子圖像的第一層L1之縮放窗721 '經調適。 3.根據第三態樣之編碼器40及解碼器50
此章節描述根據參考圖1之第三態樣的實施例，其中章節0中所描述之細節可視情況應用於根據第三態樣之實施例。並且，如圖2及圖5中所展示之資料流12、14之細節可包括於第三態樣之實施例中，在此情況下，相應地應用章節1及2之對應描述。
如之前所提及，編碼器40可在視訊24之圖像26之編碼中應用層間預測。舉例言之，編碼器14可使用層間預測來編碼層L1之圖像261 。編碼器40可例如使用在時間上與圖像261 並置之圖像260 以用於圖像261 之編碼中的層間預測。舉例言之，編碼器40可使用時間運動向量預測(TMVP)來預測用於圖像261 之編碼之運動向量。可用於層間預測之方法之其他實例為運用光學流之預測優化(PROF)或運動向量環繞，其將在下文中更精確地描述。如之前所提及，用於預測待編碼之圖像的圖像可被稱作待編碼之圖像的參考圖像。
在其中TMVP將需要對參考圖像運動向量(MV)儲存進行重新取樣之情況下，例如，單層解析度改變或多層空間尺寸可調能力(如其可藉由多層視訊序列24提供)，門控變數RprConstraintsActive[currentPic][refPic]用於停用TMVP之使用，如下。
位元流一致性需要藉由sh_collocated_ref_idx參考之圖像應為用於經寫碼圖像之所有截塊且RprConstraintsActive[ sh_collocated_from_l0_flag ? 0 : 1 ][ sh_collocated_ref_idx ]應等於0。
註釋-以上約束需要並置圖像具有與當前圖像相同之空間解析度及相同之縮放窗偏移。
圖7說明自多層位元流提取子圖像特定視訊資料流之實例，其中第一層L1之圖像261 再分成子圖像28且第二層L0之並置圖像260 不再分，即，經寫碼成單個子圖像。如之前所提及，相對於圖1描述章節內之實施例，以使得可應用圖1之元件之描述及對應參考符號。此外，相對於圖2之對應元件之描述亦可應用於根據第三態樣之實施例。
在具有子圖像之層與如上文(例如，章節1及2)所解釋之OLS中不具有子圖像之層組合且如經由圖7之左側的原始位元流所說明不使用空間尺寸可調能力時，編碼器亦將被允許使用TMVP。
然而，在如圖7之右側所展示提取子圖像且在提取過程期間調整縮放窗以允許樣本值之層間預測恰當地操作時，出現問題。在提取之後，RprConstraintsActive[currentPic][refPic]之導出條件已改變且TMVP不被允許，如自當前VVC草案規範之以下章節可見，特定言之定義了其中「RprConstraintsActive[ i ][ j ]」之部分： 否則，如下導出參考圖像清單RefPicList[ 0 ]及RefPicList[ 1 ]、參考圖像縮放比率RefPicScale[ i ][ j ][ 0 ]及RefPicScale[ i ][ j ][ 1 ]，以及參考圖像經縮放旗標RprConstraintsActive[ 0 ][ j ]及RprConstraintsActive[ 1 ][ j ]： for( i = 0; i ＜ 2; i++ ) { for( j = 0, k = 0, pocBase = PicOrderCntVal; j ＜ num_ref_entries[ i ][ RplsIdx[ i ] ]; j++) { […] fRefWidth is set equal to PicOutputWidthL of the reference picture RefPicList[ i ][ j ] fRefHeight is set equal to PicOutputHeightL of the reference picture RefPicList[ i ][ j ] refPicWidth, refPicHeight, refScalingWinLeftOffset, refScalingWinRightOffset, refScalingWinTopOffset, and refScalingWinBottomOffset, are set equal to the values of pps_pic_width_in_luma_samples, pps_pic_height_in_luma_samples, pps_scaling_win_left_offset, pps_scaling_win_right_offset, pps_scaling_win_top_offset, and pps_scaling_win_bottom_offset, respectively, of the reference picture RefPicList[ i ][ j ] RefPicScale[ i ][ j ][ 0 ] = ( ( fRefWidth  ＜＜  14 ) + ( PicOutputWidthL  ＞＞  1 ) ) / PicOutputWidthL RefPicScale[ i ][ j ][ 1 ] = ( ( fRefHeight  ＜＜  14 ) + ( PicOutputHeightL  ＞＞  1 ) ) / PicOutputHeightL RprConstraintsActive[ i ][ j ] = ( pps_pic_width_in_luma_samples  !=  refPicWidth  | | pps_pic_height_in_luma_samples  !=  refPicHeight  | | pps_scaling_win_left_offset  !=  refScalingWinLeftOffset  | | pps_scaling_win_right_offset  !=  refScalingWinRightOffset  | | pps_scaling_win_top_offset  !=  refScalingWinTopOffset  | | pps_scaling_win_bottom_offset  !=  refScalingWinBottomOffset ) } }
其中定義RprConstraintsActive[ i ][ j ]之部分定義對應於在此章節中較早列舉之註釋的條件，其定義「以上約束(對參考圖像之約束)需要並置圖像具有與當前圖像相同之空間解析度及相同之縮放窗偏移」。在當前圖像及參考圖像具有不同大小，例如單層解析度在空間可縮放位元流中在CVS (經寫碼視訊序列)或層間預測中改變時，諸如TMVP之任何基於語法之預測被禁用，此係因為此類預測將需要所涉及預測機制中之特殊注意事項。舉例而言，諸如MV候選者之語法出於語法預測目的而儲存於例如16x16樣本之額外常規儲存柵格中，且無解析度改變，當前圖像之(CTU-)區塊邊界與此常規儲存區之邊界對準。因此，發現同置MV儲存位置相對不重要，而在不等於1之取樣比率(即ref與當前圖像之間的解析度改變)出現或使用任意位置偏移(藉由ref與當前圖像之間的不同縮放窗位置)時，該等邊界可不再對準。用於預測之正確MV儲存位置之導出將接著為額外實施負擔，並且在VVC之情況下，設計折衷被採用為在此情況下不整合特殊注意事項，此係因為假定其很少發生在單層解析度改變之主要使用情況下且多層應用程式並非編解碼器之主要目標。
並且，應注意，當前運動向量預測並不利用縮放窗。縮放窗僅用於基於用於區塊之運動向量的樣本預測，即縮放窗定義運動向量將如何偏移。然而，對於運動向量預測，縮放窗被忽略，並且圖像之左上區塊映射至另一圖像之左上區塊(同置區塊)，在圖式中所說明之實例中，在執行提取時，在執行提取之後，與提取之前相比，其將導致完全不同之同置區塊。
類似於TMVP受影響之另一工具為運用光學流之預測優化(PROF)，其為VVC中之仿射運動預測模型的部分且經引入以更高效地表示某些類型之運動(例如放大或縮小、旋轉)且若選擇此模式，則應用基於CU之仿射運動補償之預測。CU之仿射運動模型由位於左上方及右上方拐角之二個控制點之MV (四參數模型)或位於左上方、右上方及左下方拐角之三個控制點之MV (六參數模型)描述。為實現運動補償之較精細粒度，運用光學流之預測優化(PROF)用於優化每一明度預測子區塊，以達到逐樣本運動補償之效果。明度子區塊中之預測樣本係藉由添加基於梯度所導出之差及基於樣本之運動向量差來優化。PROF不應用於色度樣本。
然而，在仿射運動預測過程中，與PROF相關之旗標cbProfFlagLX基於RprConstraintsActive[ i ][ j ]而導出，並且子圖像之提取之前及之後的導出之差異將導致編碼器/解碼器不匹配。
另一受影響工具為運動向量環繞，其用於某一類型之內容(呈等矩形投影格式之360度視訊)。舉例而言，在對象離開圖像之豎直邊界上之經寫碼圖像平面時，其通常再次自基礎投影之本質進入相對豎直邊界上之圖像平面。在運動向量環繞中，在運動向量點在圖像外部時，藉由使用相對邊界來進行樣本填補，此事實得到了促進。
然而，在樣本預測過程中，基於RprConstraintsActive[ i ][ j ]而導出控制運動向量環繞之旗標(refWraparoundEnabledFlag)，並且因此，在子圖像之提取之前及之後的導出之差異出現時，其將導致編碼器/解碼器不匹配，類似於TMVP或PROF之情況下。
第三態樣提供用於控制層間預測工具(諸如，TMVP、PROF及MV環繞)之使用的概念，使得可避免可在提取子圖像特定視訊資料流時出現的上文所描述之問題。根據第三態樣之實施例可藉由在原始位元流(即，多層視訊資料流14)之編碼中控制此等層間預測工具之使用來避免此等問題，以便避免在子圖像之提取之前及之後的不同行為。
根據第三態樣之實施例，用於將視訊24編碼成多層視訊資料流14的編碼器40支援逐子圖像獨立寫碼。此外，編碼器40經組配以使用用於多層視訊資料流14之第二層L0的層間預測工具之集合且使用用於逐子圖像獨立寫碼之第一組配設定來將視訊24之第一版本241 編碼至多層視訊資料流14之第一層L1中。根據第三態樣之編碼器40進一步經組配以用於使用用於逐子圖像獨立寫碼之第二組配設定來將視訊24之第二版本240 編碼至多層視訊資料流14之第二層L0中。編碼器40經組配以用於檢查第一及第二組配設定是否具有預定關係。若第一及第二組配設定不具有預定關係，則編碼器40撤銷啟動或避免利用一或多個層間預測工具之預定子集。
舉例言之，用於第一層L1及第二層L0之第一及第二組配設定可考慮是否以子圖像再分方式編碼各別層。換言之，第一及第二組配設定可包括關於子圖像之數目之資訊(例如，區別一個及多於一個，表示以非再分方式寫碼之圖像一個子圖像之數目)。舉例言之，用於第一層L1及第二層L0之第一及第二組配設定可包括關於子圖像之邊界、子圖像識別符及子圖像之邊界處理中之一或多者的資訊。
舉例言之，預定關係可使得在滿足以下條件中之一或多者或全部之集合的情況下第一及第二組配設定具有預定關係： -   第一及第二視訊分別以再分成多於一個子圖像之方式編碼至第一及第二層中， -   第一及第二視訊分別以再分成在第一及第二視訊當中相同之多個子圖像之方式編碼至第一及第二層中， -   第一及第二視訊分別以再分成在第一及第二視訊當中相同之多個子圖像之方式編碼至第一及第二層中，變化在空間上重合之子圖像邊界， -   第一及第二視訊分別以再分成在針對多層視訊資料流中之子圖像傳信之子圖像ID上重合的多個子圖像之方式編碼至第一及第二層中， -   第一及第二視訊分別以再分成在多個子圖像之邊界處理上重合的該等子圖像之方式編碼至第一及第二層中。
舉例言之，一或多個層間預測之預定子集包含層間運動向量預測，例如TMVP、基於向量之層間預測的光學流優化，以及基於向量之層間預測的運動向量環繞中之一或多者。
舉例言之，編碼器40可傳信第一及第二組配設定多層視訊資料流。
在實例中，若第一及第二組配設定具有預定關係，則編碼器40可啟動或利用一或多個層間預測工具之預定子集或其子集。
根據第三態樣之實施例，用於解碼多層視訊資料流之解碼器50經組配以用於使用用於自多層視訊資料流之第二層L0預測之層間預測工具的集合且使用用於逐子圖像獨立寫碼之第一組配設定而自多層視訊資料流之第一層L1解碼視訊24之第一版本241 。應注意，多層視訊資料流可為子圖像特定視訊資料流12或多層視訊資料流14。換言之，儘管在圖1中，解碼器50經展示以解碼子圖像特定視訊資料流12，解碼器50亦可能夠解碼多層視訊資料流14，此係因為其可例如在選擇另一OLS後藉由提取器10轉遞，如在圖1中所展示之情境中。由於藉由解碼器50解碼之多層視訊資料流可對應於子圖像特定視訊資料流12，因此視訊24之第一版本241 可不同於相對於編碼器40所提及之版本，此係因為多層視訊資料流可已經歷提取過程，如相對於圖1-7所描述。因此，相對於解碼器50所提及之視訊的第一版本241 在實例中可藉由省略一或多個子圖像而不同於相對於編碼器40所提及之版本。同樣適用於第一組配設定，其參考解碼器50係關於寫碼至待由解碼器50解碼之資料流之經提取/剩餘/通常經去除部分的圖像之圖像區域。舉例而言，若進入解碼器之多層視訊資料流僅係關於以前含有圖像之二個子圖像之一個子圖像28，則第一組配資料將僅指示非子圖像再分。
根據第三態樣之解碼器50可經組配以用於使用用於逐子圖像獨立寫碼之第二組配設定而自多層視訊資料流(即，提供至解碼器50之視訊資料流)之第二層L0解碼視訊24'之第二版本240 '。解碼器50經組配以用於檢查第一及第二組配設定是否具有預定關係。若第一及第二組配設定具有預定關係，則解碼器50可撤銷啟動一或多個層間預測工具之預定子集，如相對於編碼器40所描述。
根據實施例，解碼器50經組配以用於逐子圖像獨立解碼，包括子圖像邊界處之向量裁剪及/或子圖像邊界處之邊界填補。
舉例言之，上文引入之變數RprConstrainsActive可表示第一與第二組配設定之比較。舉例言之，編碼器40及解碼器50可取決於第一及第二組配設定是否具有預定關係而導出此變數，即相應地設定變數，並且可使用該變數來決定是否使用層間預測工具之預定子集。
在一個實施例中，如下調整RprConstraintsActive[ i ][ j ]之導出： 否則，如下導出參考圖像清單RefPicList[ 0 ]及RefPicList[ 1 ]、參考圖像縮放比率RefPicScale[ i ][ j ][ 0 ]及RefPicScale[ i ][ j ][ 1 ]，以及參考圖像經縮放旗標RprConstraintsActive[ 0 ][ j ]及RprConstraintsActive[ 1 ][ j ]： for( i = 0; i ＜ 2; i++ ) { for( j = 0, k = 0, pocBase = PicOrderCntVal; j ＜ num_ref_entries[ i ][ RplsIdx[ i ] ]; j++) { […] fRefWidth is set equal to PicOutputWidthL of the reference picture RefPicList[ i ][ j ] fRefHeight is set equal to PicOutputHeightL of the reference picture RefPicList[ i ][ j ] refPicWidth, refPicHeight, refScalingWinLeftOffset, refScalingWinRightOffset, refScalingWinTopOffset, and refScalingWinBottomOffset, are set equal to the values of pps_pic_width_in_luma_samples, pps_pic_height_in_luma_samples, pps_scaling_win_left_offset, pps_scaling_win_right_offset, pps_scaling_win_top_offset, and pps_scaling_win_bottom_offset, respectively, of the reference picture RefPicList[ i ][ j ] fRefSubpicsEnabled is set equal to sps_subpic_info_present_flag of the reference picture RefPicList[ i ][ j ] (thus meaning,that here it is checked whether the reference picture for ILMVP is subdivded into subpictures or not) RefPicScale[ i ][ j ][ 0 ] = ( ( fRefWidth  ＜＜  14 ) + ( PicOutputWidthL  ＞＞  1 ) ) / PicOutputWidthL RefPicScale[ i ][ j ][ 1 ] = ( ( fRefHeight  ＜＜  14 ) + ( PicOutputHeightL  ＞＞  1 ) ) / PicOutputHeightL RprConstraintsActive[ i ][ j ] = ( pps_pic_width_in_luma_samples  !=  refPicWidth  | | pps_pic_height_in_luma_samples  !=  refPicHeight  | | pps_scaling_win_left_offset  !=  refScalingWinLeftOffset  | | pps_scaling_win_right_offset  !=  refScalingWinRightOffset  | | pps_scaling_win_top_offset  !=  refScalingWinTopOffset  | | pps_scaling_win_bottom_offset  !=  refScalingWinBottomOffset | | sps_subpic_info_present_flag  !=  fRefSubpicsEnabled (thus meaning,that ILMVP is disabled if not both the reference picture as well as the picture to be coded are subdivded or both the reference picture as well as the picture to be coded are not subdivded) } }
替代地，在一個實施例中，位元流一致性需要在具有不同子圖像組配(經啟用vs.經停用)當前圖像及之參考圖像之間的預測中位元流不啟動TMVP、PROF或MvWrapAround且位元流攜載該約束之指示。
雖然對於TMVP，以上導出之影響在實例中並不影響解碼器，但對於PROF及MvWrapAround，解碼器可實行以上經修改導出且在執行/檢查各別工具時表現不同。
替代地，此類檢查可取決於當前圖像及參考圖像中之子圖像的數目或識別符、此類子圖像之邊界處理的屬性或另外特性而實行。 4.根據第四態樣之編碼器40及提取器10
此章節描述根據參考圖1之第四態樣的實施例，其中章節0中所描述之細節可視情況應用於根據第四態樣之實施例。並且，如圖2及圖5中所展示之資料流12、14之細節可視情況包括於第三態樣之實施例中，在此情況下，相應地應用章節1及2之對應描述。最佳地，相對於第一態樣、第二態樣及第三態樣所描述之形貌體亦可與第四態樣組合。
在自多層視訊資料流(諸如視訊資料流14)提取子圖像時，例如在先前章節1至3之實施例的實例中，可傳信或導出稍後用於判定經提取子位元流之某些位準限制(例如，位元速率、(經寫碼圖像緩衝器) CPB大小、圖像塊之數目等)的分率(例如藉由ref_level_fraction_minus1指示)。例如，此等位準約束可造成解碼器能力需求或與解碼器能力需求相關，解碼器必須滿足該等解碼器能力需求以便能夠解碼視訊資料流或由能力需求所參考之OLS描述的視訊序列。
習知地，此分率在不存在時如下經推斷為等於子圖像相對於完整圖像在其層中之大小的大小： 在不存在時，ref_level_fraction_minus1[ i ][ j ]之值經推斷為等於Ceil( 256 * SubpicSizeY[ j ] ÷ PicSizeInSamplesY * MaxLumaPs( general_level_idc ) ÷ MaxLumaPs( ref_level_idc[ i ] ) - 1。
然而，此機制存在多個問題。首先，以上推斷並不考慮到位元流可主控多個層的事實，例如關於比率SubpicSizeY[ j ] ÷ PicSizeInSamplesY並不足夠，此係因為一些位準限制具有位元流範圍(例如位元速率及CPB大小)，而其他位準限制具有層範圍(例如圖像塊之數目)。
因此，其為本發明態樣之部分，在一個實施例中，以關於OLS中之所有層之方式實行推斷，即，其為經導出之位元流特定的。
因此，作為本發明態樣之部分，在一個實施例中，對每子圖像之分率的推斷如下經改變以亦併入無子圖像之參考層之位準影響。
在不存在時，ref_level_fraction_minus1[ i ][ j ]之值經推斷為等於max(255,Ceil( 256 * SumOfSubpicSizeY[ j ] ÷ SumOfPicSizeInSamplesY * MaxLumaPs( general_level_idc ) ÷ MaxLumaPs( ref_level_idc[ i ] ) - 1) )。最大函數可不使用，從而導致Ceil( 256 * SumOfSubpicSizeY[ j ] ÷ SumOfPicSizeInSamplesY * MaxLumaPs( general_level_idc ) ÷ MaxLumaPs( ref_level_idc[ i ] ) - 1)。
其中SumOfSubpicSizeY及SumOfPicSizeInSamplesY為與OLS中所有層中之各別子圖像相關聯的所有樣本之總和。
圖8說明例如根據圖1、2、5中所說明之情境的子圖像特定視訊資料流14之提取之實例。圖8指示原始資料流之間的輸出圖像區域之相對改變。例如提取之前的資料流14之視訊24，以及提取之後的子圖像特定資料流12之視訊序列24'。
第二個問題係關於子圖像可與不含有對應子圖像之參考層組合使用的事實，如圖8中所說明，其中L0不具有子圖像。
為了覆蓋此情況或提供更準確位準限制，在另一實施例中，例如，如下實行ref_level_fraction_minus1之推斷： 其中SumOfSubpicSizeY及SumOfPicSizeInSamplesY為與OLS中所有層及OLS中無子圖像之所有層中之各別子圖像相關聯的所有樣本之總和。
在另一實施例中，ref_level_fraction_minus1[ i ][ j ]之推斷相對於目前先進技術不改變(其對於含有子圖像之層保持層特定分率)。實際上，作為以上改變之替代方案，如下文自每層特定分率導出OLS特定分率變數： Ols_fraction_nominator[ i ][ j ][ k ] = 0 Ols_fraction_denominator[ i ][ j ][ k ] = 0 Loop over layers in the k-Ols { Ols_fraction_nominator[ i ][ j ][ k ]=+ PicSizeInSamplesY[layer] * (sps_subpic_info_present_flag[layer] ? ref_level_fraction_minus1[ i ][ j ] : 255 ) Ols_fraction_denominator[ i ][ j ][ k ]=+ PicSizeInSamplesY[layer] } OlsRefLevelFraction[ i ][ j ][ k ] = Ols_fraction_nominator[ i ][ j ][ k ]/ Ols_fraction_denominator[ i ][ j ][ k ] 其中k為OLS之索引，i為參考位準之索引且J為子圖像之索引。
以上實施例可期望所有層當中的相同速率分佈。為了允許編碼器亦自由決定子圖像層及非子圖像層當中的速率分佈，在本發明之另一實施例中，位元流之OLS內無子圖像之層的分率經明確傳信。即對於給定參考位準，傳信非子圖像層全部一起對應於之位元流之OLS的哪一分率：
subpic_level_info( payloadSize ) { 描述符
num_ref_levels_minus1 u(3)
sli_cbr_constraint_flag u(1)
explicit_fraction_present_flag u(1)
if( explicit_fraction_present_flag )  
sli_num_subpics_minus1 ue(v)
while( !byte_aligned( ) )  
sli_alignment_zero_bit f(1)
for( i = 0; i  ＜=  num_ref_levels_minus1; i++ ) {  
non_subpic_layers_fraction [ i ] u(8)
ref_level_idc [ i ] u(8)
if( explicit_fraction_present_flag )  
for( j = 0; j  ＜=  sli_num_subpics_minus1; j++ )  
ref_level_fraction_minus1 [ i ][ j ] u(8)
}  
}  
non _ subpic _ layers _ fraction [ i ]規定與具有等於0之sps_num_subpics_minus1的位元流/OLS中之層相關聯的位元流/OLS特定位準限制之分率。在vps_max_layers_minus1等於0時non_subpic_layers_fraction[ i ]，或在位元流/OLS中之層不具有等於0之sps_num_subpics_minus1時non_subpic_layers_fraction[ i ]應等於0。
用於第i個ref_level_idc之第j個子圖像之變數OlsRefLevelFraction[ i ][ j ]設定為等於non_subpic_layers_fraction[ i ] + (255 - non_subpic_layers_fraction[ i ]) ÷ 255 * ref_level_fraction_minus1[ i ][ j ] + 1。
OlsRefLevelFraction[ i ][ j ]將為如在章節5中所論述的OLS特定使用。
根據第四態樣之實施例，多層視訊資料流14包含層集合，例如OLS，諸如經選擇以供解碼之OLS。例如OLS可包含如圖1中所說明之層L0及L1。應注意，由編碼器40編碼之多層視訊資料流可能不僅包含此層集合，即此一個層集合，而是可包含另外OLS，並且除圖1中所展示之層L0及層L1以外亦可包含另外層。根據第四態樣之編碼器40經組配以用於將層集合(例如，層L0及L1)之未減少版本編碼至多層視訊資料流14中，其中視訊版本(例如，視訊序列240 及視訊序列241 )以每層一或多個獨立寫碼之子圖像為單位編碼成層集合之未減少版本。「以一個獨立寫碼之子圖像為單位」之措辭應例如表示未再分成子圖像之經寫碼之層，即，諸如視訊版本240 之圖像260 的圖像形成一個子圖像。舉例言之，一或多個此類未再分層可存在於層集合中，並且一或多個子圖像劃分層可存在於層集合中。
根據第四態樣之編碼器40進一步經組配以用於將與解碼層集合之未減少版本相關的參考解碼器能力需求編碼至多層視訊資料流14中。此外，根據第四態樣之編碼器14經組配以用於將諸如圖2中所描繪之資訊22的資訊編碼至多層視訊資料流14中，針對層集合之每一層，該資訊係關於寫碼至層之大小之未減少版本之各別層中的圖像之圖像大小，並且針對各別層的一或多個獨立寫碼之子圖像中之每一者，該資訊係關於子圖像大小。根據第四態樣之編碼器40經組配以用於針對一或多個減少版本中之每一者，例如，子圖像特定視訊資料流12或視訊資料流12之另外版本，該等版本未必包含至少一個層之子圖像相關部分已去除的層集合之整個多層視訊資料流14，判定解碼器能力需求，例如OlsRefLevelFraction[ i ][ j ]，與解碼層集合之各別減少版本相關(注意，OlsRefLevelFraction[ i ][ j ]特定於與第j個子圖像相關之減少版本)。
編碼器40藉由按因數縮放參考解碼器能力需求來判定各別減少版本之解碼器能力需求，該因數係使用包括於層集合之各別減少版本中的獨立寫碼之子圖像之子圖像大小之總和除以圖像大小之總和的商來判定。換言之，層集合之減少版本指代對於其已去除與其他子圖像(諸如未被提取之子圖像)相關之位元流部分(即，其不為待在子圖像特定視訊資料流14中轉遞之子層之預定集合的部分)的層集合之版本。
舉例言之，編碼器40可在多層視訊資料流14中提供解碼器能力需求，比較例如如圖2中所說明之解碼器能力需求60。
解碼器能力需求資訊可被用作指示，經提取位元流是否可由將接收位元流之解碼器解碼。舉例言之，解碼器能力需求資訊可由接收位元流以用於設定或初始化解碼器之解碼器使用。
藉由針對重新使用版本中之每一者判定特定解碼器能力需求，解碼器能力需求可更精確地提供，使得可避免指示不必要的高解碼器能力需求之資訊，並且例如解碼器可根據其能力選擇最高品質OLS。
因此，根據第四態樣之提取器10之實施例，用於自包含層集合之多層視訊資料流14提取子圖像特定視訊資料流12的提取器10經組配以自多層視訊資料流14導出與解碼層集合之未減少版本相關的參考解碼器能力需求，多層視訊資料流14具有編碼至其中的層集合之未減少版本，並且視訊版本240 、241 以每層一或多個獨立寫碼之子圖像為單位編碼成層集合之未減少版本。根據此實施例，提取器10經組配以用於將諸如圖2中所說明之資訊22的資訊自多層視訊資料流導出，針對層集合之每一層，該資訊係關於寫碼至層集合之未減少版本之各別層中的圖像之圖像大小，並且針對各別層的一或多個獨立寫碼之子圖像中之每一者，該資訊係關於子圖像大小。此外，根據此實施例，提取器10經組配以用於藉由按因數縮放參考解碼器能力需求來針對其中至少一個層之子圖像相關部分已去除的層集合之例如藉助於由API提供之OLS指示20預定的預定減少版本判定與解碼層集合之預定減少版本相關的解碼器能力需求，該因數係使用包括於層集合之預定減少版本中的獨立寫碼之子圖像之圖像大小之總和除以圖像大小之總和的商來判定。
在下文中，第四態樣之替代性實施例將仍參考圖1及圖2描述。
根據此等替代性實施例，多層視訊資料流14包含多個層，諸如層L0及層L1。此外，編碼器40經組配以用於將視訊圖像26，諸如圖像260 及圖像261 ，以相對於一或多個第一層(諸如圖1中之層L1)再分成獨立寫碼之子圖像之方式及以相對於一或多個第二層(諸如層L0)未再分之方式編碼至多層視訊資料流之層中。換言之，編碼器14可以再分成獨立寫碼之子圖像方式將視訊24之圖像編碼至第一類型之層，諸如第一層L1中，並且可以未再分方式將圖像編碼至第二類型之一或多個層，諸如第二層L0中。應注意，多層視訊資料流14可包含第一類型之一或多個層及第二類型之一或多個層。根據此等替代性實施例之編碼器40經組配以用於將層之層集合之指示，諸如圖2中所說明的指示18編碼至多層視訊資料流14中，使得至少一個第一層包括於層集合中且至少一個第二層包括於層集合中。舉例言之，層集合之指示可為OLS指示18。多層視訊資料流14可包含多個層集合之指示，如相對於圖1所描述。
根據此等替代性實施例之編碼器40經組配以用於針對足以用於解碼層之層集合的若干參考解碼器能力需求中之每一者將關於歸因於至少一個第一層的各別參考解碼器能力需求之第一分率(例如圖9之第一分率134)及歸因於至少一個第二層的各別參考解碼器能力需求之區段分率132 (例如圖9之第二分率134)的資訊編碼至多層視訊資料流14中。例如第一分率134可藉由上文引入之語法元素ref_level_fraction_minus1[ i ][ j ]指示，並且第二分率132可藉由上文引入之語法元素non_subpic_layer_fraction[ i ][ j ]指示。
舉例言之，足以用於解碼層之層集合之參考解碼器能力需求可表示至少藉由最小CPB大小定義參考解碼器能力需求中之每一者。若干參考解碼器能力需求可能相對於其所指示最小CPB大小彼此相互不同。應注意，針對參考解碼器能力需求中之一些，層集合可一起僅消耗一分率，例如，可僅消耗全部可用CPB大小之分率，並且因此，將相對於圖10解釋之如混合器100之混合器可使用此類資訊，即，參考解碼器能力需求，以便決定可將多少不同流之OLS混合在一起之同時仍然滿足位準/參考解碼器能力需求。
舉例言之，解碼器能力需求，其亦可指代如解碼器能力資訊(DCI)，可指示解碼器用以解碼解碼器能力需求所相關聯之層集合的需求。舉例言之，層集合可具有與其相關聯之若干參考解碼器能力需求。舉例言之，與層集合相關聯之參考解碼器能力需求中之每一者可指代經寫碼成層集合之視訊24的不同版本，諸如包括不同子圖像之視訊的不同版本經寫碼成之不同子圖像特定視訊資料流。
第四態樣之實施例包括一種用於處置多層視訊資料流14之設備，該設備可處置由編碼器40之剛剛描述之替代性實施例提供的視訊資料流。舉例言之，用於處置多層視訊資料流14之設備為混合器，諸如下文中所描述之混合器100、提取器，諸如圖1、2、5之提取器10、解碼器，諸如解碼器50，或其組合。用於處置資料流之設備因此被稱作設備10、100。舉例言之，解碼器50及提取器10可組合或其中之一者可包括另一者。根據此等實施例之用於處置多層視訊資料流的設備經組配以用於自多層視訊資料流14解碼層之層集合之指示，該層集合包括如之前所描述之至少一個第一層及一個第二層。設備經組配以用於針對若干參考解碼器能力需求中之每一者自多層視訊資料流14解碼關於歸因於至少一個第一層的各別參考解碼器能力需求之第一分率及歸因於至少一個第二層的各別參考解碼器能力需求之第二分率的資訊。
圖9分別說明第一層之圖像261 及第二層之圖像260 以及歸屬之第一分率134及第二分率132之實例，此係因為其可根據第四態樣之剛剛描述之替代性實施例在視訊資料流14中傳信。在圖9之實例中，第一層之圖像261 再分成二個子圖像28。圖9a說明針對第一參考解碼器能力需求對第一分率1341 及第二分率1321 之判定，該第一參考解碼器能力需求可與如圖9中所指示之第一參考位準相關聯。在圖9之例示性實例中，第一參考位準與具有1000之示例性值的第一CPB 1301 (其在圖9中可表示解碼器能力需求之例示性實例)相關聯。在圖9中，分別針對圖像或子圖像中之每一者，指示其在與各別參考解碼器能力需求相關聯之視訊流之總圖像大小上的相對份額。舉例言之，根據圖9a，圖像260 之圖像大小具有視訊流之總圖像大小之20%之份額。換言之，圖9a說明針對具有二個子圖像包括於其中之包括圖像260 及261 之視訊資料流的參考解碼器能力需求之判定。第二分率1321 經判定為第二層之圖像260 相對於針對各別解碼器能力需求所指示之總CPB的份額。與圖9a中所說明之視訊資料流之解碼器能力需求相關聯的第一分率1341 為分佈到第一層之圖像261 之子圖像上的CPB之剩餘部分，即，並不由第二層之圖像260 使用之份額。
圖9b說明類似於圖9a中所展示之視訊資料流但僅包括第一層的圖像261 之子圖像28中之一者的視訊資料流的實例。因此，對應CPB位準小於圖9a之子圖像28中之一者的分率之大小。在圖9b之實例中，由於視訊資料流確實僅包含第一層之子圖像中之一者，因此圖像260 相對於在視訊資料流中傳信之總圖像區域的份額更高，即33%而非20%。考慮到在圖9b之情況下圖像261 僅包括二個子圖像28中之一者，如相對於圖9a所描述，相應地判定與圖9b之實例之參考解碼器能力需求相關聯的第二分率1322 及第一分率1342 。
根據實施例，編碼器40可藉由一方面將第一分率寫入至多層視訊資料流中且另一方面將第二分率除以一減去第一分率而編碼關於第一及第二分率之資訊。設備10、100可相應地藉由自資料流讀取第一分率及另外第二分率而解碼第一分率及第二分率之資訊。替代地，設備10、100可藉由自資料流讀取第一分率及另外分率且藉由將另外分率乘以一減去第一分率之差而導出第二分率來解碼關於第一及第二分率之資訊。
根據一些實例，編碼器40可將關於若干參考解碼器能力需求(例如圖1中所說明之解碼器能力需求60)中之一或多者的資訊編碼至多層視訊資料流中。換言之，編碼器40可將關於一或多個但未必所有若干參考解碼器能力需求之資訊編碼至多層視訊資料流中。舉例言之，關於若干參考解碼器能力需求中之其他者的資訊可藉由默認規則導出。舉例言之，在圖9之實例中，基於關於第一層之圖像261 再分成之子圖像之相對大小的資訊，關於圖9a及圖9b之解碼器能力需求中之一者的資訊可自另一者導出。
舉例言之，編碼器40可經組配以用於針對若干參考解碼器能力需求中之至少一者編碼資訊，使得第一分率134及第二分率132係關於多層視訊資料流之減少版本，例如，圖9b之第一分率1342 及第二分率1322 。編碼器可編碼資訊，使得第一分率針對存在於減少版本中的一或多個獨立寫碼之子圖像中之每一者自多層視訊資料流被導出。舉例言之，參考圖9a，意識到圖像261 之二個子圖像之間的比率，例如圖9a中之50%，該比率可自由編碼器40編碼成資料流14之視訊中之參數導出，諸如子圖像之寬度及或高度，例如以樣本或圖像塊量測，設備10，100可自左側子圖像之第一分率導出圖像261 之右側子圖像的第一分率。
另外或替代地，編碼器14可經組配以用於針對若干參考解碼器能力需求中之至少另一者編碼資訊，使得第一分率及第二分率係關於多層視訊資料流之未減少版本，例如，圖9a之第一分率1341 及第二分率1321 ，並且第一分率134針對至少一個第一層的獨立寫碼之子圖像中之每一者自多層視訊資料流14被導出。
如圖9中所說明，設備10、100可對第一分率134及第二分率132求和以便獲得各別層集合之實際解碼器能力需求，諸如CPB。如所說明，實際解碼器能力需求可特定於子圖像特定視訊資料流。
如所提及，設備10、100可為混合器，即設備10、100可將多層視訊資料流14與另一視訊資料流混合。為此目的，設備10、100可使用關於第一及第二分率之資訊以用於基於資料流14及另一輸入視訊資料流而形成另一資料流，例如，如相對於圖10所描述。 5.根據第五態樣之編碼器40及提取器10
此章節描述根據參考圖1之第五態樣的實施例，其中章節0中所描述之細節可視情況應用於根據第五態樣之實施例。並且，如圖2及圖5中所展示之資料流12、14之細節可視情況包括於第三態樣之實施例中，在此情況下，相應地應用章節1及2之對應描述。視情況，相對於第一、第二、第三及特定言之第四態樣所描述之形貌體亦可與第五態樣組合。特定言之，章節5中所描述之實施例之實例可與章節4中所描述之實施例相關，特定言之，相對於解碼器能力需求及第一及第二分率。
第五態樣之實施例可與對OLS之層的約束之選擇性應用相關。
如先前所提及，無論經明確傳信抑或推斷，以上語法元素ref_level_fraction_minus1[ i ][ j ]用於強加某些層特定約束，諸如在先前技術中之圖像塊之數目。然而，對於無子圖像之(參考)層，自編碼器角度來看，此等約束可能為不必要地嚴格的或甚至可能難以滿足，此係因為提取過程不會對各別層造成影響，而是收緊了該層必須滿足之約束。
因此，在另一實施例中，本發明態樣之部分為僅針對含有子圖像之OLS中之層(即，將經歷自提取過程之圖像大小之減少的層)選擇性地強加以下約束。因此，編碼器可利用非子圖像再分層之較少限定。
根據第五態樣之實施例，編碼器10可以再分成獨立寫碼之子圖像28方式將圖像261 編碼至一或多個第一層，例如第一層L1中，並且以未再分方式將圖像260 編碼至一或多個第二層中，例如層L0，例如如圖1或圖2中所說明。編碼器可針對層集合，例如OLS，或針對OLS指示18中所指示之一或多個OLS中之每一者的各別層集合選擇性地檢查對層集合之第一層(即具有以子圖像再分方式編碼至其中之圖像的層，即具有編碼至其中之再分成至少二個子圖像的圖像)的層特定約束。換言之，可針對具有以子圖像再分方式編碼至其中之圖像的層執行檢查，但可針對以未再分方式編碼至其中之圖像的層省略檢查。換言之，可僅針對具有以子圖像再分方式編碼至其中之圖像的層執行檢查。
針對第一層選擇性地檢查之約束係關於各別第一層之子圖像的預定參數集合。換言之，編碼器可針對各別第一層之子圖像中之每一者檢查約束所特定之一或多個參考解碼器能力需求中之每一者的約束。舉例言之，針對各別子圖像檢查約束之一或多個參考解碼器能力需求可指代由自各別第一層提取各別子圖像產生之子圖像序列，或可指代此子圖像序列與由自各別第一層提取各別子圖像產生之視訊序列或視訊資料流的比重。如章節0中所提及，由OLS描述之位元流亦可在由提取器10提取之後藉由選擇/提取OLS之一或多個時間子層及/或一或多個層來縮放。相同適用於提取器10提取子圖像特定視訊資料流之情況，使得由編碼器傳信的一或多個參考解碼器能力需求可藉由各別參考解碼器能力需求之分率(該分率特定於子圖像，例如章節4中所描述之第一分率)在定義用於參考解碼器能力需求中之每一者的程度上應用於視訊資料流中的每一子圖像。換言之，一或多個參考解碼器能力需求可與各別子圖像相關聯，參考解碼器能力需求中之每一者應用於可自特定於各別子圖像之子圖像特定視訊資料流提取之可能子位元流，並且參考解碼器能力需求中之每一者提出特定於參考解碼器能力需求的約束。
舉例言之，強加約束之參數可包括以下中之一或多者或全部： -          多個樣本，例如LUMA樣本，例如MaxLumaPs -          圖像大小，例如圖像寬度及/或圖像高度，例如多個樣本而言 -          一列中之圖像塊之數目及/或一行中之圖像塊之數目，例如MaxTileRows及/或MaxTileCols -          圖像塊之總數目
舉例言之，編碼器10可使用歸因於各別子圖像的各別參考解碼器能力需求之分率，例如如章節4中所描述之第一分率134，例如以下實例中之RefLevelFraction[ i ][ j ]來判定個別子圖像之參數或屬性，其中i指示各別參考解碼器能力需求且j指示各別子圖像。
下文為相對於當前VVC草案規範之突出顯示改變之實例規範： 位元流一致性需要在0至sps_num_subpics_minus1且sps_num_subpics_minus1大於0的範圍內(包括0及sps_num_subpics_minus1)提取第j個子圖像所產生之位元流中之每一層，並且符合general_tier_flag等於0且位準等於ref_level_idc[ i ]的配置文件，對於在0至num_ref_level_minus1的範圍內(包括0及num_ref_level_minus1)之i，應遵從如VVC規範之附件C中所規定之對每一位元流一致性測試的以下約束： - Ceil( 256 * SubpicSizeY[ j ] ÷ RefLevelFraction[ i ][ j ] )應小於或等於MaxLumaPs，其中MaxLumaPs規定於(VVC之)表A.1中以用於位準ref_level_idc[ i ]。 - Ceil( 256 * ( sps_subpic_width_minus1[ j ] + 1 ) * CtbSizeY ÷ RefLevelFraction[ i ][ j ] )之值應小於或等於Sqrt( MaxLumaPs * 8 )。 - Ceil( 256 * ( sps_subpic_height_minus1[ j ] + 1 ) * CtbSizeY ÷ RefLevelFraction[ i ][ j ] )之值應小於或等於Sqrt( MaxLumaPs * 8 )。 - SubpicWidthInTiles[ j ]之值應小於或等於MaxTileCols且SubpicHeightInTiles[ j ]之值應小於或等於MaxTileRows，其中MaxTileCols及MaxTileRows規定於(VVC之)表A.1中以用於位準ref_level_idc[ i ]。 - SubpicWidthInTiles[ j ] * SubpicHeightInTiles[ j ]之值應小於或等於MaxTileCols * MaxTileRows * RefLevelFraction[ i ][ j ]，其中MaxTileCols及MaxTileRows規定於(VVC之)表A.1以用於位準ref_level_idc[ i ]。
在另一實施例中，對於具有等於0之sps_num_subpics_minus1之OLS的層，RefLevelFraction[i][ j ]導出為等於255 (例如具有100%之分率)。
在另一實施例中，與MaxLumaPs、最大及最小縱橫比或圖像塊行或列、截塊或子圖像之數目相關之限制為層特定的且使用層特定ref_level_fraction (即針對無子圖像之層的255)，而如下文與CPB大小、位元速率及MinCR相關之層特定限制將基於等於OLS_fraction[ k ]之OLS特定OLSRefLevelFraction (例如如上文章節4中所導出)而執行。
如下導出變數SubpicCpbSizeVcl[ i ][ j ]及SubpicCpbSizeNal[ i ][ j ]： SubpicCpbSizeVcl[ i ][ j ] = Floor( CpbVclFactor * MaxCPB * OLSRefLevelFraction[ i ][ j ] ÷ 256)  (D.5) SubpicCpbSizeNal[ i ][ j ] = Floor( CpbNalFactor * MaxCPB * OLSRefLevelFraction[ i ][ j ] ÷ 256)  (D.6) 其中MaxCPB自ref_level_idc[ i ]導出，如條項A.4.2中所規定。 如下導出變數SubpicBitRateVcl[ i ][ j ]及SubpicBitRateNal[ i ][ j ]： SubpicBitRateVcl[ i ][ j ] = Floor( CpbVclFactor * ValBR * OLSRefLevelFraction[ i ][ j ] ÷ 256)  (D.7) SubpicBitRateNal[ i ][ j ] = Floor( CpbNalFactor * ValBR * OLSRefLevelFraction[ i ][ j ] ÷ 256)  (D.8)
註釋1-在提取子圖像時，所得位元流具有大於或等於SubpicCpbSizeVcl[ i ][ j ]之CpbSize (SPS中所指示或經推斷)且大於或等於SubpicBitRateVcl[ i ][ j ]及SubpicBitRateNal[ i ][ j ]之SubpicCpbSizeNal[ i ][ j ]及位元速率(SPS中所指示或經推斷)。
對應於第j個子圖像之AU 0的NumBytesInNalUnit變數之總和應小於或等於FormatCapabilityFactor * ( Max(SubpicSizeY[ j ]，fR * MaxLumaSr * OLSRefLevelFraction[ i ][ j ] ÷ 256 ) + MaxLumaSr * ( AuCpbRemovalTime[ 0 ] - AuNominalRemovalTime[ 0 ] ) * OLSRefLevelFraction[ i ][ j ] ) ÷ ( 256 * MinCr )針對AU 0之SubpicSizeInSamplesY之值，其中MaxLumaSr及FormatCapabilityFactor分別為位準ref_level_idc[ i ]下之表A.2及表A.3中所規定之值，其應用於AU 0，並且如(VVC草案之) A.4.2中所指示導出MinCr。
對應於第j個子圖像之AU n (其中n大於0)的NumBytesInNalUnit變數之總和應小於或等於FormatCapabilityFactor * MaxLumaSr * ( AuCpbRemovalTime[ n ] - AuCpbRemovalTime[ n - 1 ] ) * OLSRefLevelFraction[ i ][ j ] ÷ ( 256 * MinCr )，其中MaxLumaSr及FormatCapabilityFactor分別為位準ref_level_idc[ i ]下之表A.2及表A.3中所規定之值，其應用於AU n，並且如(VVC草案之) A.4.2中之所指示導出MinCr。
在下文中描述根據第五態樣之編碼器40、提取器10及多層視訊資料流14的實施例。
根據第五態樣，多層視訊資料流包含多個層。多層視訊資料流14已例如藉助於編碼器40以相對於一或多個第一層(例如，層L1)再分成獨立寫碼之子圖像之方式且以相對於一或多個第二層(例如，層L1)未再分之方式將視訊圖像26編碼至多層視訊資料流之層中。此外，多層視訊資料流14包含諸如如先前章節中所描述之OLS的層之層集合之指示，其中根據第五態樣，層集合包括至少一個第一層，即，圖像以再分成獨立寫碼之子圖像之方式編碼至之層。根據第五態樣，多層視訊資料流已將參考解碼器能力需求資訊(例如，如章節4中所描述)編碼至其中，參考解碼器能力需求資訊與解碼層集合之未減少版本相關且包括用於層集合之每一層之第一解碼器能力需求參數及用於層集合之第二解碼器能力需求參數。如章節4中所描述，未減少版本可指代經編碼成包括經編碼至層集合中之所有視訊資料(即，層集合中之至少一個第一層的所有子圖像)的層集合的視訊資料流之版本。舉例言之，第一解碼器能力需求參數可為層之圖像再分成之圖像塊的數目。舉例言之，圖像塊為圖像之相互獨立寫碼之區段。舉例言之，第二解碼器能力需求參數可指代所需或所必需圖像緩衝器大小，諸如ACPB及/或經解碼圖像緩衝器(DPB)大小及/或最小壓縮比(minCR)。
根據第五態樣，編碼器40經組配以用於針對已去除至少一個第一層之子圖像相關部分的層集合之一或多個減少版本中之每一者判定與解碼層集合之各別未減少版本或減少版本相關的另外參考解碼器能力需求資訊。層集合之減少版本可指代不包含層集合之所有視訊資料的視訊資料流，例如，子圖像相關視訊資料流12，即，其中在提取層集合的各別減少版本時省略子圖像相關部分(即，與相對於圖1、2、5所描述之子圖像之預定集合不相關的部分)之視訊資料流。編碼器40經組配以用於藉由使用第一分率縮放第一解碼器能力需求參數以獲得用於層集合之每一層之第三解碼器能力需求參數來判定另外參考解碼器能力需求資訊。舉例言之，第一分率可基於層集合內與該層集合之減少版本內之每一層的圖像之間的圖像大小之比率而判定。編碼器40可視情況將第一分率編碼至多層視訊資料流14中。因此，提取器10可視情況自多層視訊資料流14導出第一分率，或可替代地判定如由編碼器40執行之第一分率。
編碼器40進一步經組配以用於藉由使用第二分率縮放第二解碼器能力需求參數以獲得用於層集合之各別減少版本之第四解碼器能力需求參數來判定另外參考解碼器能力需求資訊。第二分率可例如不同於第一分率。
第二分率可基於對章節4寫碼之比率而判定，諸如分率132之分率134。編碼器40可視情況將第二分率編碼至多層視訊資料流14中。因此，提取器10可視情況自多層視訊資料流14導出第二分率或判定如由編碼器40執行之第二分率。
編碼器10藉由去除多層視訊資料流14之至少一個第一層之子圖像相關部分且向子圖像特定視訊資料流12提供第三及第四解碼器能力需求參數來基於多層視訊資料流14而形成子圖像特定視訊資料流12。替代地，編碼器10可藉由去除至少一個第一層之子圖像相關部分且向子圖像特定視訊資料流12提供第一及第二分率以供判定與藉由解碼器解碼層之層集合之預定未減少版本相關的另外參考解碼器能力需求資訊來基於多層視訊資料流而形成子圖像特定視訊資料流12。 6.根據圖10之編碼器40及解碼器110
圖10說明第一編碼器401 及第二編碼器402 ，該等編碼器中之每一者可視情況對應於如相對於圖1及章節1-5所描述之編碼器40。編碼器401 經組配以用於編碼視訊資料流121 ，並且編碼器402 經組配以用於編碼視訊資料流122 。視訊資料流121 、122 可視情況但未必包含多個層。換言之，根據圖10之視訊資料流121 、122 可視情況為多層視訊資料流，諸如視訊資料流14，但在實例中可包括僅一個單層。除此之外，根據圖10之視訊資料流121 、122 可視情況對應於如先前章節中所描述之視訊資料流14。
編碼器401 經組配以用於將圖像261 編碼成視訊資料流121 。編碼器402 經組配以用於將圖像262 編碼成視訊資料流122 。圖像261 及圖像262 可視情況藉助於一或多個獨立寫碼之子圖像28經編碼成各別視訊流121 、122 。編碼器401 、402 經組配以用於將指示圖像261 、262 是否藉助於一個或可獨立寫碼之子圖像經編碼成各別視訊資料流之指示80編碼至各別視訊資料流121 、122 中。指示80區別一或多個獨立寫碼之子圖像28與一或多個獨立寫碼之子圖像之周圍之間的寫碼獨立性之不同類型。舉例言之，一或多個獨立寫碼之子圖像之周圍可指代各別子圖像周圍之圖像區域。
舉例言之，指示80可為其中m ＞ 1之m-陣列語法元素，或可包括多於1個語法元素，以便指示是否存在任何此類獨立寫碼之子圖像，並且若是，則為顯露解碼獨立性之類型的另外語法元素。
圖10進一步說明用於基於一或多個輸入視訊資料流12(諸如視訊資料流121 及視訊資料流122 )而提供視訊資料流20的設備100。舉例言之，設備100可混合視訊資料流121 、122 ，以便判定視訊資料流20。因此，設備100可被稱作混合器100。視情況，設備100可進一步經組配以用於自一或多個輸入視訊資料流(諸如視訊資料流121 及/或視訊資料流122 )提取視訊資料流20。舉例言之，混合器100可自其輸入視訊資料流中之一或多者中的每一者提取視訊資料之一部分或全部且在視訊資料流20中提供視訊資料，其中視訊資料提取自其輸入視訊資料流中之不同者。舉例言之，如圖10中所說明，設備100可自視訊資料流121 、122 中之每一者提取子圖像中之一或多者且接著將其與同相同呈現時間相關聯之子圖像中之一或多者組合以便獲得視訊資料流20。
圖10進一步說明解碼器110，其可視情況對應於如相對於先前章節所描述之解碼器50。解碼器110經組配以用於在指示80中自視訊資料流20解碼。
在實例中，編碼器401 、402 及解碼器110可獨立於指示80所指示的寫碼獨立性之不同類型中之哪一者，回應於(例如，僅當，或若不…，則不執行)指示編碼至視訊資料流中之圖像藉助於一或多個獨立寫碼之子圖像進行編碼的指示80，執行以下動作中之一或多者： -   自視訊資料流之每一位元流封包讀取子圖像識別符，其指示一或多個獨立寫碼之子圖像中之哪一者經編碼至各別位元流封包中，及/或 -   防止迴路內濾波跨越子圖像邊界，及/或 -   自圖像之區塊之區塊位址導出圖像位置，取決於一或多個獨立寫碼之子圖像中之哪一者經編碼至預定位元流封包中而將區塊位址寫碼至視訊資料流之預定位元流部分中(並且，例如，否則藉由必然地參考諸如其左上方拐角之預定圖像位置而自區塊位址導出此類圖像位置)，及/或 -   允許在該視訊資料流之一個存取單元中出現不同NAL單元類型。例如允許圖10之混合器100以使得在經混合資料流90中一個子圖像28具有一個NAL單元類型且同一圖像內之另一子圖像28使用另一NAL單元類型寫碼之方式混合位元流121 、 2 ；NAL單元類型寫碼至位元流封包16中且在其變成流90之封包16'時在此處保持不修正；解碼器110確實未看見衝突，此係因為無論用於經解碼(經混合)圖像26'中之子圖像28的類型如何，圖像均使用寫碼獨立性完全寫碼，及/或 -   在編碼器側，針對一或多個獨立寫碼之子圖像中之每一者導出解碼器能力需求資訊。
舉例言之，圖像之子圖像之間的寫碼獨立性之不同類型包含 -   編碼器約束編碼類型，其中解碼器經組配以：若編碼器約束編碼類型係由相對於獨立寫碼之子圖像的指示指示，則在獨立寫碼之子圖像之邊界處不執行獨立性處置，以及 -   解碼器感知編碼類型，其中解碼器經組配以：若解碼器感知編碼類型係由相對於獨立寫碼之子圖像的指示指示，則藉由用於基於向量之預測的向量裁剪來在獨立寫碼之子圖像之邊界處執行獨立性處置及/或在獨立寫碼之子圖像之邊界處執行邊界填補。
換言之，根據第六態樣之實施例可允許混合子圖像或MCTS。
當前VVC草案規範包括用於使得能夠劃分成子圖像以實現提取及合併功能性之多種措施，例如 ●    截塊標頭中之子圖像識別符之攜載，或 ●    取決於子圖像識別符之區塊定址方案，或 ●    個別子圖像之一致性資訊，或 ●    圖像中之NAL單元類型(例如IRAP及TRAIL)之混合。
然而，所有此等措施取決於子圖像之邊界處理屬性，即，以與圖像之邊界相同的方式在子圖像之邊界外部外推樣本值以用於樣本及語法預測，即解碼器側之特殊邊界填補處理。此允許子圖像之獨立寫碼及隨後提取及合併。此屬性亦用於實現用於提取及合併功能性之所有以上措施。圖11說明在位元流之前二個存取單元中僅使用此類解碼器側處理之子圖像的位元流。換言之，圖6說明在其獨立寫碼之子圖像中混合解碼器側邊界處理及編碼器側邊界處理的位元流之實例。
然而，存在用於獨立寫碼此類矩形區域之另外方法，即在編碼期間遵從之運動約束，或換言之：編碼器側邊界處理。編碼器可藉由不指向每一子圖像之周邊外部來簡單地避免在提取或合併之後將導致重構錯誤的參考。基於目前先進技術傳信，編碼器將必須指示自圖11中之第二IRAP向前，L1之右側子圖像未獨立寫碼，此係因為未發生解碼器側邊界處理，並且因此可高效地使用用於提取及合併功能性之以上措施。最重要的為，一致性資訊與解碼器側邊界處理相關聯。然而，用於獨立寫碼之其他構件之僅指示應啟用編碼器且允許網路裝置或解碼器促進該等構件。
重要的為注意，混合關於在相鄰子圖像之間獨立寫碼之不同種類的此類位元流未必含有多於單層，如圖12中所說明。圖12說明子圖像獨立性之類型之單層混合的實例。
因此，本發明態樣之部分允許解碼器辨識：儘管不存在邊界填補，可藉由在位元流中指示藉由某些子圖像之約束編碼之構件獨立地寫碼區域來使用用於獨立區域寫碼之所有先前提及之措施(定址方案、一致性資訊)。在本發明態樣之一個實施例中，用於解碼器側填補程序之指示的旗標(等於1之sps_subpic_treated_as_pic_flag[ i ])改變成sps_subpic_treated_as_pic_mode[ i ]，其中新狀態(等於2)指示第i個子圖像經獨立寫碼為編碼器側邊界處理約束之構件。
在下文中展示實例：
if( !sps_independent_subpics_flag) {  
sps_subpic_treated_as_pic_mode [ i ] u(12)
sps_loop_filter_across_subpic_enabled_flag [ i ] u(1)
sps _subpic _treated _as _pic _mode [ i ] 等於12規定CLVS中之每一經寫碼圖像之第i個子圖像視為除迴路內濾波操作外之解碼過程中的圖像。sps_subpic_treated_as_pic_mode[ i ]等於0或1規定CLVS中之每一經寫碼圖像之第i個子圖像未視為除迴路內濾波操作外之解碼過程中的圖像。在不存在時，推斷sps_subpic_treated_as_pic_mode[ i ]之值等於12。保留sps_subpic_treated_as_pic_mode[ i ]之值3，用於由ITU-T | ISO/IEC未來使用。
以及除非子圖像為編碼器側約束或解碼器側邊界處理，否則實行不同類型之NAL單元不能混合的約束。
在圖像中之任何二個子圖像具有不同NAL單元類型時，對於圖像中含有至少一個P或B截塊之所有子圖像，sps_subpic_treated_as_pic_mode[ ]之值不應等於0。
圖13說明取決於獨立於編碼器側約束或解碼器側邊界處理之子圖像的NAL單元之經允許及經禁用混合之實例。 7.另外實施例
在先前章節0至6中，儘管已在設備之上下文中將一些態樣描述為形貌體，但顯而易見，此類描述亦可被視為方法之對應形貌體的描述。儘管已在方法之上下文中將一些態樣描述為形貌體，但顯而易見，此類描述亦可被視為關於設備之功能性的對應形貌體之描述。
可由(或使用)如例如微處理器、可規劃電腦或電子電路之硬體設備執行方法步驟中之一些或全部。在一些實施例中，可由此類設備執行最重要之方法步驟中之一或多者。
本發明之經編碼影像信號可儲存於數位儲存媒體上，或可在諸如無線發射媒體或諸如網際網路之有線發射媒體的發射媒體上發射。
取決於某些實施方式要求，本發明之實施例可以硬體或軟體，或至少部分以硬體或至少部分以軟體實施。實施方式可使用數位儲存媒體來執行，該數位儲存媒體例如軟碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該數位儲存媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統協作(或能夠協作)，使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可規劃電腦系統協作，使得執行本文中所描述之方法中之一者。
一般而言，本發明之實施例可實施為具有程式碼之電腦程式產品，在電腦程式產品運行於電腦上時，程式碼操作性地用於執行方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上用於執行本文中所描述之方法中之一者的電腦程式。
換言之，因此，本發明方法之實施例為具有在電腦程式運行於電腦上時用於執行本文中所描述之方法中之一者的程式碼之電腦程式。
因此，本發明方法之另外實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，該資料載體包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或記錄媒體通常為有形的及/或非暫時性的。
因此，本發明方法之另外實施例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料流或信號序列。資料流或信號序列可例如經組配以經由資料通訊連接而傳送，例如經由網際網路。
另外實施例包含處理構件，例如經組配或經調適以執行本文中所描述之方法中之一者的電腦或可規劃邏輯裝置。
另外實施例包含具有安裝於其上的用於執行本文中所描述之方法中之一者的電腦程式之電腦。
根據本發明之另外實施例包含經組配以將用於執行本文中所描述之方法中之一者的電腦程式(例如，電子地或光學地)傳送至接收器的設備或系統。接收器可例如為電腦、行動裝置、記憶體裝置或其類似者。設備或系統可例如包含用於將電腦程式傳送至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用於執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。一般而言，方法較佳由任何硬體設備執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦的組合來執行。
在前述實施方式中，可見各種形貌體出於精簡本揭露內容之目的而在實例中分組在一起。不應將此揭露方法解譯為反映以下意圖：所主張之實例需要比每一請求項中明確所敍述多的形貌體。實情為，如以下申請專利範圍所反映，主題在於單個所揭露實例之形貌體的不到全部。以下申請專利範圍特此併入至實施方式中，其中每一請求項就其自身而言可作為單獨實例。雖然每一技術方案就其自身而言可作為單獨實施例，但應注意，儘管附屬請求項可能在申請專利範圍中提及與一或多個其他請求項之特定組合，但其他實例亦可包括附屬請求項與每一其他附屬請求項之主題的組合或每一形貌體與其他附屬或獨立請求項之組合。除非陳述並不希望特定組合，否則在本文中提議此類組合。此外，希望亦包括請求項對於任何其他獨立請求項的形貌體，即使並不直接使此請求項附屬於獨立請求項亦如此。
上文所描述之實施例僅僅例示本揭露內容之原理。應理解，熟習此項技術者將顯而易見對本文中所描述之配置及細節的修改及變化。因此，其僅希望由接下來之申請專利範圍之範圍限制，而非由藉助於本文中實施例之描述及解釋所呈現的特定細節限制。
10:提取器/設備 100:設備/混合器 50、110:解碼器 12*:非一致性位元流 12:經提取視訊資料流/子圖像特定視訊資料流/視訊資料流/子流/流/資料流 121 、122 :視訊資料流/視訊流/位元流 1301 :第一CPB 1321 、1322 :第二分率 1341 、1342 :第一分率 14:多層視訊資料流/視訊資料流/資料流 16:位元流部分/位元流封包 16':封包 18:OLS指示/資料項/指示 18':OLS指示 20:API/資料項 22:圖像或子圖像組配資料/資料項/組配資料/資訊 22':圖像組配資料/子圖像組配資料 24:視訊 24':經解碼視訊/經解碼視訊序列/視訊/視訊序列 24'0 、24'1 :經解碼視訊序列 240 :視訊序列/第二視訊/第二版本/視訊版本 241 :視訊序列/第一視訊/第一版本/視訊版本 26':圖像/經解碼(經混合)圖像 26'1 :經解碼圖像 260 :圖像/參考圖像 261 ,262 :圖像 28:子圖像 30:關聯表 40:編碼器 401 :第一編碼器/編碼器 402 :第二編碼器/編碼器 60:解碼器能力需求資訊/解碼器能力需求 70:向量/大小及位置縮放向量 720 、721 、720 '、721 ':縮放窗 74:縮放窗信號化/資訊 80:指示 L0:第二層/層/基礎層 L1:第一層/層/增強層
下文相對於諸圖更詳細地描述本揭露內容之實施例及有利實施方式，在諸圖中： 圖1說明根據實施例之編碼器、提取器及解碼器之實例， 圖2說明根據實施例之編碼器、視訊資料流及提取器之實例， 圖3說明視訊資料流之實例及子圖像特定視訊資料流之錯誤提取之實例， 圖4說明子圖像特定視訊資料流之實例， 圖5說明根據本發明之第二態樣的編碼器、提取器及多層視訊資料流之實例， 圖6說明根據實施例之縮放窗的調適， 圖7說明子圖像特定視訊資料流之提取的另一實例， 圖8說明子圖像特定視訊資料流之輸出圖像面積分率的實例， 圖9說明參考解碼器能力需求之再分層及非再分層之分率的實例， 圖10說明編碼器、視訊資料流、用於混合及/或提取視訊資料流之設備及解碼器的實例， 圖11說明混合解碼器側邊界處理及編碼器側邊界處理之位元流的實例， 圖12說明混合解碼器側及編碼器側邊界處理之單層位元流的實例， 圖13說明取決於獨立性之類型的位元流部分之實例。
10:提取器/設備
12:經提取視訊資料流/子圖像特定視訊資料流/視訊資料流/子流/流/資料流
14:多層視訊資料流/視訊資料流/資料流
16:位元流部分/位元流封包
20:API/資料項
24:視訊
240:視訊序列/第二視訊/第二版本/視訊版本
241:視訊序列/第一視訊/第一版本/視訊版本
260:圖像/參考圖像
261:圖像
16':封包
24':經解碼視訊/經解碼視訊序列/視訊/視訊序列
24'0、24'1:經解碼視訊序列
26'1:經解碼圖像
28:子圖像
40:編碼器
50:解碼器
L0:第二層/層/基礎層
L1:第一層/層/增強層

Claims (59)

  1. 一種用於自由位元流部分(例如NAL單元)構成之一多層視訊資料流提取一子圖像特定視訊資料流的設備，該等位元流部分中之每一者屬於該多層視訊資料流之數個層中之一者，其中該多層視訊資料流包含一第一層，其數個位元流部分具有以使得一第一視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該第一視訊，該等子圖像以一相互獨立之方式編碼至該第一層之該等位元流部分中，使得對於該第一視訊之每一圖像，該第一視訊之該各別圖像之該等子圖像編碼至該第一層之相互不同之位元流部分中，以及一第二層，其數個位元流部分具有編碼至其中之一第二視訊，其中該第一層之數個位元流部分具有按以下方式編碼至其中之該第一視訊：使用來自數個參考圖像之基於向量之預測，以包括該第二視訊之數個圖像作為該等參考圖像之一方式，以及以如下所述之一方式：其中用於編碼該第一層之數個位元流部分且由該第一層之數個位元流部分包含之數個向量對於在該基於向量之預測中之使用根據該多層視訊資料流中傳信之數個縮放窗之大小及位置被縮放及偏移以分別用於該第一視訊之該等圖像及該等參考圖像，其中該設備經組配以將屬於該第二層之該等位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，使得該子圖像特定視訊資料流具有完全編碼至其中的該各別層之該視訊，並且將屬於該第一層且具有編碼至其中之屬於一或多個子圖像之一預定集合的一子圖像之每一位元流部分自該多層視訊資料流交接至該子圖像特定 視訊資料流中，並且針對該子圖像特定視訊資料流中之該等第一及/或第二層調適一縮放窗信號化，使得該第二視訊之該等圖像的該縮放窗之一空間區域在空間上對應於一或多個子圖像之該預定集合的該縮放窗之一空間區域。
  2. 如請求項1之設備，其經組配以針對該第一層調適該縮放窗信號化，使得該第一層之該縮放窗在位置及大小上對應於該第二層之該縮放窗。
  3. 如請求項1之設備，其經組配以丟棄屬於該第一層但具有編碼至其中之並不屬於一或多個子圖像之該預定集合的一子圖像之每一位元流部分。
  4. 如請求項1之設備，其經組配以經由一API接收一或多個子圖像之該預定集合之一指示。
  5. 如請求項1之設備，其中該基於向量之預測包括於一基於運動向量之預測框架中。
  6. 一種由數個位元流部分構成之多層視訊資料流，該等位元流部分中之每一者屬於該多層視訊資料流之數個層中之一者，其中該多層視訊資料流包含一第一層，其數個位元流部分具有以使得一第一視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該第一視訊，該等子圖像以一相互獨立之方式編碼至該第一層之該等位元流部分中，使得對於該第一視訊之每一圖像，該第一視訊之該各別圖像之該等子圖像編碼至該第一層之相互不同之位元流部分中，以及一第二層，其數個位元流部分具有編碼至其中之一第二視訊，其中該第一層之數個位元流部分具有按以下方式編碼至其中之該第一視訊： 使用來自數個參考圖像之基於向量之預測，以包括該第二視訊之數個圖像作為該等參考圖像之一方式，以及以如下所述之一方式：其中用於編碼該第一層之數個位元流部分且由該第一層之數個位元流部分包含之向量對於在該基於向量之預測中之使用根據該多層視訊資料流中傳信之數個縮放窗之大小及位置被縮放及偏移以分別用於該第一視訊之該等圖像及該等參考圖像，其中一子圖像特定視訊資料流可藉由以下操作自該多層視訊資料流被提取：將屬於該第二層之該等位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，使得該子圖像特定視訊資料流具有完全編碼至其中的該各別層之該視訊，並且將屬於該第一層且具有編碼至其中之屬於一或多個子圖像之一預定集合的一子圖像之每一位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，並且針對該子圖像特定視訊資料流中之該等第一及/或第二層調適一縮放窗信號化，使得該第二視訊之該等圖像的該縮放窗之一空間區域在空間上對應於一或多個子圖像之該預定集合的該縮放窗之一空間區域。
  7. 一種用於形成由位元流部分構成之一多層視訊資料流之編碼器，該等位元流部分中之每一者屬於該多層視訊資料流之數個層中之一者，其中該多層視訊資料流包含一第一層，其數個位元流部分具有以使得一第一視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該第一視訊，該等子圖像以一相互獨立之方式編碼至該第一層之該等位元流部分中，使得對於該第一視訊之每一圖像，該第一視訊之該各別圖像之該等子圖像編碼至該第一層之相互不同之位元 流部分中，以及一第二層，其數個位元流部分具有編碼至其中之一第二視訊，其中該第一層之數個位元流部分具有按以下方式編碼至其中之該第一視訊：使用來自數個參考圖像之基於向量之預測，以包括該第二視訊之數個圖像作為該等參考圖像之一方式，以及以如下所述之一方式：其中用於編碼該第一層之數個位元流部分且由該第一層之數個位元流部分包含之數個向量對於在該基於向量之預測中之使用根據該多層視訊資料流中傳信之數個縮放窗之大小及位置被縮放及偏移以分別用於該第一視訊之該等圖像及該等參考圖像，其中該編碼器經組配以根據該多層視訊資料流，使得一子圖像特定視訊資料流可藉由以下操作自該多層視訊資料流被提取：將屬於該第二層之該等位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，使得該子圖像特定視訊資料流具有完全編碼至其中的該各別層之該視訊，並且將屬於該第一層且具有編碼至其中之屬於一或多個子圖像之一預定集合的一子圖像之每一位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，並且針對該子圖像特定視訊資料流中之該等第一及/或第二層調適一縮放窗信號化，使得該第二視訊之該等圖像的該縮放窗之一空間區域在空間上對應於一或多個子圖像之該預定集合的該縮放窗之一空間區域。
  8. 一種用於將一視訊編碼成一多層視訊資料流之編碼器，其中該編碼器支援逐子圖像獨立寫碼且經組配以使用用於自該多層視訊資料流之一第二層進行預測的數個層間預測工具之 一集合且使用用於該逐子圖像獨立寫碼之一第一組配設定來將該視訊之一第一版本編碼至該多層視訊資料流之一第一層中，並且使用用於該逐子圖像獨立寫碼之一第二組配設定來將該視訊之一第二版本編碼至該多層視訊資料流之該第二層中，檢查該等第一及第二組配設定是否具有一預定關係，若該等第一及第二組配設定不具有該預定關係，則撤銷啟動或避免利用一或多個層間預測工具之一預定子集。
  9. 如請求項8之編碼器，其中該預定關係使得該等第一及第二組配設定在以下情況下具有該預定關係：該等第一及第二視訊分別以再分成多於一個子圖像之一方式編碼至該等第一及第二層中，及/或該等第一及第二視訊分別以再分成在該等第一及第二視訊當中相同之多個子圖像之一方式編碼至該等第一及第二層中，及/或該等第一及第二視訊分別以再分成在該等第一及第二視訊當中相同之多個子圖像之一方式編碼至該等第一及第二層中，其中該等子圖像之數個邊界在空間上重合，及/或該等第一及第二視訊分別以再分成在針對該多層視訊資料流中之該等子圖像傳信之數個子圖像ID上重合的多個子圖像之一方式編碼至該等第一及第二層中，及/或該等第一及第二視訊分別以再分成在多個子圖像之邊界處理上重合的該等子圖像之一方式編碼至該等第一及第二層中。
  10. 如請求項8之編碼器，其中一或多個層間預測工具之該預定子集包含層間運動向量預測， 基於向量之層間預測之光學流優化，及/或基於向量之層間預測中之運動向量環繞。
  11. 如請求項8之編碼器，其經組配以在該多層視訊資料流中傳信該等第一及第二組配設定。
  12. 如請求項8之編碼器，其經組配以若該等第一及第二組配設定具有該預定關係，則啟動或利用一或多個層間預測工具之該預定子集。
  13. 一種用於解碼一多層視訊資料流之解碼器，其中該解碼器經組配以使用用於自該多層視訊資料流之一第二層進行預測的數個層間預測工具之一集合且使用用於逐子圖像獨立寫碼之一第一組配設定而自該多層視訊資料流之一第一層解碼一視訊之一第一版本，並且使用用於該逐子圖像獨立寫碼之一第二組配設定而自該多層視訊資料流之該第二層解碼該視訊之一第二版本，檢查該等第一及第二組配設定是否具有一預定關係，若該等第一及第二組配設定具有該預定關係，則撤銷啟動一或多個層間預測工具之一預定子集。
  14. 如請求項13之解碼器，其經組配以用於逐子圖像獨立解碼，包括數個子圖像邊界處之向量裁剪及/或數個子圖像邊界處之邊界填補。
  15. 如請求項13之解碼器，其中該預定關係使得該等第一及第二組配設定在以下情況下具有該預定關係：該等第一及第二視訊分別以再分成多於一個子圖像之一方式編碼至該等第一及第二層中，及/或該等第一及第二視訊分別以再分成在該等第一及第二視訊當中相同之多個 子圖像之一方式編碼至該等第一及第二層中，及/或該等第一及第二視訊分別以再分成在針對該多層視訊資料流中之該等子圖像傳信之數個子圖像ID上重合的多個子圖像之一方式編碼至該等第一及第二層中，及/或該等第一及第二視訊分別以再分成在多個子圖像之邊界處理上重合的該等子圖像之一方式編碼至該等第一及第二層中。
  16. 如請求項13之解碼器，其中一或多個層間預測工具之該預定子集包含層間運動向量預測，基於向量之層間預測之光學流優化，及/或基於向量之層間預測中之運動向量環繞。
  17. 一種用於編碼包含一層集合之一多層視訊資料流的編碼器，其經組配以將該層集合之一未減少版本編碼至該多層視訊資料流中，其中數個視訊版本以每層一或多個獨立寫碼之子圖像為單位編碼成該層集合之該未減少版本，將與解碼該層集合之該未減少版本相關的一參考解碼器能力需求編碼至該多層視訊資料流中；將資訊編碼至該多層視訊資料流中，針對該層集合之每一層，該資訊係關於寫碼至該層集合之該未減少版本之該各別層中的數個圖像之一圖像大小，並且針對該各別層的該等一或多個獨立寫碼之子圖像中之每一者，該資訊係關於一子圖像大小；針對已去除至少一個層之一子圖像相關部分的該層集合之一或多個減少版本中之每一者，藉由按一因數縮放該參考解碼器能力需求來判定與解碼該層集合之該各別減少版本相關的一解碼器能力需求，該因數係使用包括於該層集合 之該各別減少版本中的獨立寫碼之子圖像之子圖像大小之一總和除以數個圖像大小之一總和的一商來判定。
  18. 一種用於自包含一層集合之一多層視訊資料流提取一子圖像特定視訊資料流的設備，其中該多層視訊資料流具有編碼至其中的該層集合之一未減少版本，其中數個視訊版本以每層一或多個獨立寫碼之子圖像為單位編碼成該層集合之該未減少版本，該設備經組配以自該多層視訊資料流導出與解碼該層集合之該未減少版本相關的一參考解碼器能力需求；自該多層視訊資料流導出資訊，針對該層集合之每一層，該資訊係關於寫碼至該層集合之該未減少版本之該各別層中的數個圖像之一圖像大小，並且針對該各別層的該等一或多個獨立寫碼之子圖像中之每一者，該資訊係關於一子圖像大小；針對已去除至少一個層之一子圖像相關部分的該層集合之一預定減少版本，藉由按一因數縮放該參考解碼器能力需求來判定與解碼該層集合之該預定減少版本相關的一解碼器能力需求，該因數係使用包括於該層集合之該預定減少版本中的獨立寫碼之子圖像之子圖像大小之一總和除以數個圖像大小之一總和的一商來判定。
  19. 一種用於編碼包含多個層之一多層視訊資料流的編碼器，其經組配以將數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，將數個層之一層集合之一指示編碼至該多層視訊資料流中，使得至少一個第一層包括於該層集合中且至少一個第二層包括於該層集合中， 針對足以用於解碼數個層之該層集合的若干參考解碼器能力需求中之每一者，將關於歸因於該至少一個第一層的該各別參考解碼器能力需求之一第一分率及歸因於該至少一個第二層的該各別參考解碼器能力需求之一第二分率的資訊編碼至該多層視訊資料流中。
  20. 如請求項19之編碼器，其經組配以藉由一方面將該第一分率寫入至該多層視訊資料流中且另一方面將該第二分率除以一減去該第一分率而編碼關於該等第一及第二分率之該資訊。
  21. 如請求項19之編碼器，其經組配以將關於該等若干參考解碼器能力需求中之一或多者的資訊編碼至該多層視訊資料流中。
  22. 如請求項19之編碼器，其經組配以針對該等若干參考解碼器能力需求中之至少一者編碼該資訊，使得該第一分率及該第二分率係關於該多層視訊資料流之一減少版本，並且使得該第一分率可針對存在於該減少版本中的一或多個獨立寫碼之子圖像中之每一者自該多層視訊資料流被導出。
  23. 如請求項19之編碼器，其經組配以針對該等若干參考解碼器能力需求中之至少一另一者編碼該資訊，使得該第一分率及該第二分率係關於該多層視訊資料流之一未減少版本，並且該第一分率可針對該至少一個第一層之該等獨立寫碼之子圖像中之每一者自該多層視訊資料流被導出。
  24. 一種用於處置包含多個層之一多層視訊資料流的設備，其中該多層視訊資料流之該等層具有以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至其中的數個視訊圖像，該設備經組配以自該多層視訊資料流解碼數個層之一層集合之一指示，其中至少一個第一層包括於該層集合中且至少一個第二層包括於該層集合中， 針對足以用於解碼數個層之該層集合的若干參考解碼器能力需求中之每一者，自該多層視訊資料流解碼關於歸因於該至少一個第一層的該各別參考解碼器能力需求之一第一分率及歸因於該至少一個第二層的該各別參考解碼器能力需求之一第二分率的資訊。
  25. 如請求項24之設備，其經組配以藉由一方面自該多層視訊資料流讀取該第一分率且另一方面將該第二分率除以一減去該第一分率而解碼關於該等第一及第二分率之該資訊。
  26. 如請求項24之設備，其經組配以藉由自該多層視訊資料流讀取該第一分率及一另外分率而解碼關於該等第一及第二分率之該資訊，並且藉由將該另外分率乘以一減去該第一分率之差而導出該第二分率。
  27. 如請求項24之設備，其經組配以對該等第一及第二分率求和以獲得該層集合之一實際解碼器能力需求。
  28. 如請求項24之設備，其經組配以自該多層視訊資料流解碼關於該等若干參考解碼器能力需求中之一或多者的資訊。
  29. 如請求項24之設備，其經組配以針對該等若干參考解碼器能力需求中之至少一者解碼該資訊，使得該第一分率及該第二分率係關於該多層視訊資料流之一減少版本，並且使得該第一分率可針對存在於該減少版本中的一或多個獨立寫碼之子圖像中之每一者自該多層視訊資料流被導出。
  30. 如請求項24之設備，其經組配以針對該等若干參考解碼器能力需求中之至少一另一者解碼該資訊，使得該第一分率及該第二分率係關於該多層視訊資料流之一未減少版本，並且該第一分率可針對該至少一個第一層之該等獨立寫碼之子圖像中之每一者自該多層視訊資料流被導出。
  31. 如請求項24之設備，其經組配以使用該資訊以基於將該多層視訊資料流或其一減少版本與另一視訊資料流混合而決定形成一另外資料流。
  32. 一種用於編碼包含多個層之一多層視訊資料流的編碼器，其經組配以將數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，將數個層之一層集合之一指示編碼至該多層視訊資料流中，使得至少一個第一層包括於該層集合中，將與解碼數個層之該層集合之一未減少版本相關的參考解碼器能力需求資訊編碼至該多層視訊資料流中，該參考解碼器能力需求資訊包括用於該層集合中之每一層之一第一解碼器能力需求參數及用於該層集合之一第二解碼器能力需求參數，針對已去除至少一個第一層之一子圖像相關部分的數個層之該層集合的一或多個減少版本中之每一者，藉由以下操作判定與解碼數個層之該層集合之該各別未減少版本相關的另外參考解碼器能力需求資訊：使用一第一分率縮放該第一解碼器能力需求參數以獲得用於該層集合之每一層之一第三解碼器能力需求參數，以及使用一第二分率縮放該第二解碼器能力需求參數以獲得用於該層集合之該各別減少版本之一第四解碼器能力需求參數。
  33. 一種用於自包含多個層之一多層視訊資料流提取一子圖像特定視訊資料流的設備，其中數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多 層視訊資料流之該等層中，該設備經組配以自該多層視訊資料流解碼數個層之一層集合之一指示，使得至少一個第一層包括於該層集合中，自該多層視訊資料流解碼與解碼數個層之該層集合之一未減少版本相關的參考解碼器能力需求資訊，該參考解碼器能力需求資訊包括用於該層集合中之每一層之一第一解碼器能力需求參數及用於該層集合之一第二解碼器能力需求參數，針對將去除至少一個第一層之一子圖像相關部分的數個層之該層集合之一預定減少版本，藉由以下操作判定與解碼數個層之該層集合之該預定未減少版本相關的另外參考解碼器能力需求資訊：使用一第一分率縮放該第一解碼器能力需求參數以獲得用於該層集合之每一層之一第三解碼器能力需求參數，以及使用一第二分率縮放該第二解碼器能力需求參數以獲得用於該層集合之該預定減少版本之一第四解碼器能力需求參數，以及藉由去除至少一個第一層之該子圖像相關部分且向該子圖像特定視訊資料流提供該等第三及第四解碼器能力需求參數來基於該多層視訊資料流而形成該子圖像特定視訊資料流，或藉由去除至少一個第一層之該子圖像相關部分且向該子圖像特定視訊資料流提供該等第一及第二分率以供判定與藉由一解碼器解碼數個層之該層集合之該預定未減少版本相關的該另外參考解碼器能力需求資訊來基於該多層視訊資料流而形成該子圖像特定視訊資料流。
  34. 一種用於編碼包含多個層之一多層視訊資料流的編碼器，其經組配以將數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方 式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，將層數個之一層集合之一指示編碼至該多層視訊資料流中，使得至少一個第一層包括於該層集合中，在該多層視訊資料流中指示足以用於解碼數個層之該層集合之一或多個參考解碼器能力需求，選擇性地針對該層集合中之該等第一層中之每一者，針對該等參考解碼器能力需求中之每一者，針對經寫碼至該各別第一層中之該等子圖像中之每一者，檢查是否滿足對一預定參數集合之特定於該各別參考解碼器能力需求之約束。
  35. 如請求項34之編碼器，其中該編碼器經組配以用於使用關於歸因於該各別子圖像的該各別參考解碼器能力需求之一分率的一資訊來判定該參數集合之該等參數。
  36. 如請求項34之編碼器，其中對於該各別子圖像，該參數集合包含數個樣本之一數目、一圖像寬度、一圖像高度、一列中之數個圖像塊之一數目、一行中之數個圖像塊之一數目、數個圖像塊之一總數中的一或多者或全部。
  37. 一種包含多個層之多層視訊資料流，其中該多層視訊資料流已將數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，將數個層之一層集合之一指示編碼至該多層視訊資料流中，使得至少一個第一層包括於該層集合中，在該多層視訊資料流中指示足以用於解碼數個層之該層集合之一或多個參考解碼器能力需求， 其中該多層視訊資料流將該等視訊圖像編碼至其中，使得選擇性地針對該層集合中之該等第一層中之每一者，針對該等參考解碼器能力需求中之每一者，針對經寫碼至該各別第一層中之該等子圖像中之每一者，滿足對一預定參數集合之特定於該各別參考解碼器能力需求之約束。
  38. 一種用於解碼一視訊資料流之解碼器，其經組配以自該視訊資料流解碼指示編碼至該視訊資料流中之數個圖像是否藉助於一或多個獨立寫碼之子圖像進行編碼的一指示，該指示區別該等一或多個獨立寫碼之子圖像與該等一或多個獨立寫碼之子圖像之一周圍之間的寫碼獨立性之不同類型。
  39. 如請求項38之解碼器，其經組配以獨立於該指示所指示的寫碼獨立性之該等不同類型中之哪一者，回應於該指示指示編碼至該視訊資料流中之該等圖像藉助於一或多個獨立寫碼之子圖像進行編碼，執行自該視訊資料流之每一位元流封包讀取一子圖像識別符，其指示該等一或多個獨立寫碼之子圖像中之哪一者經編碼至該各別位元流封包中，及/或防止一迴路內濾波跨越數個子圖像邊界，及/或自該圖像之一區塊之一區塊位址導出一圖像位置，取決於該等一或多個獨立寫碼之子圖像中之哪一者經編碼至預定位元流封包中而將該區塊位址寫碼至該視訊資料流之一預定位元流部分中，及/或允許在該視訊資料流之一個存取單元中出現不同NAL單元類型。
  40. 如請求項38之解碼器，其中該圖像之該等子圖像之間的寫碼獨立性之該等不同類型包含一編碼器約束編碼類型，其中該解碼器經組配以：若該編碼器約束編碼類型係由相對於該等獨立寫碼之子圖像的該指示指示，則在該等獨立寫碼之子圖像之數個邊界處不執行獨立性處置，以及 一解碼器感知編碼類型，其中該解碼器經組配以：若該解碼器感知編碼類型係由相對於該等獨立寫碼之子圖像的該指示指示，則藉由用於基於向量之預測的向量裁剪來在該等獨立寫碼之子圖像之數個邊界處執行獨立性處置及/或在該等獨立寫碼之子圖像之該等邊界處執行邊界填補。
  41. 一種用於編碼一視訊資料流之編碼器，其經組配以將指示編碼至該視訊資料流中之數個圖像是否藉助於一或多個獨立寫碼之子圖像進行編碼的一指示編碼至該視訊資料流中，該指示區別該等一或多個獨立寫碼之子圖像與該等一或多個獨立寫碼之子圖像之一周圍之間的寫碼獨立性之不同類型。
  42. 如請求項41之編碼器，其經組配以獨立於該指示所指示的寫碼獨立性之該等不同類型中之哪一者，若該指示指示編碼至該視訊資料流中之該等圖像藉助於一或多個獨立寫碼之子圖像進行編碼，則執行將一子圖像識別符寫入至該視訊資料流之每一位元流封包中，其指示該等一或多個獨立寫碼之子圖像中之哪一者經編碼至該各別位元流封包中，及/或防止一迴路內濾波跨越數個子圖像邊界，及/或自該圖像之一區塊之一區塊位址導出一圖像位置，取決於該等一或多個獨立寫碼之子圖像中之哪一者經編碼至預定位元流封包中而將該區塊位址寫碼至該視訊資料流之一預定位元流部分中，及/或允許在該視訊資料流之一個存取單元中出現不同NAL單元類型，及/或針對該等一或多個獨立寫碼之子圖像中之每一者導出解碼器能力需求資訊。
  43. 如請求項41之編碼器，其中該圖像之該等子圖像之間的寫碼獨立性之該等不同類型包含一編碼器約束編碼類型，其中該編碼器經組配以：若該編碼器約束編碼類型 係由相對於該等獨立寫碼之子圖像的該指示指示，則限定數個寫碼選項以免橫越數個子圖像邊界產生寫碼相依性，以及一解碼器感知編碼類型，其中該解碼器經組配以：若該解碼器感知編碼類型係由相對於該等獨立寫碼之子圖像的該指示指示，則藉由用於基於向量之預測的向量裁剪來在該等獨立寫碼之子圖像之數個邊界處執行獨立性處置及/或在該等獨立寫碼之子圖像之該等邊界處執行邊界填補，其應在解碼器側處被模仿。
  44. 一種用於自由數個位元流部分構成之一多層視訊資料流提取一子圖像特定視訊資料流的方法，該等位元流部分中之每一者屬於該多層視訊資料流之數個層中之一者，其中該方法包含對於來自該多層視訊資料流之一層集合(OLS)的每一層，檢查該各別層是否具有以使得一視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該視訊，該等二個或更多個子圖像以一相互獨立之方式編碼至該各別層中，使得對於該視訊之每一圖像，該各別圖像之該等子圖像編碼至該各別層之相互不同之位元流部分中，或檢查該各別層是否具有以一非子圖像再分方式編碼至其中之該視訊，若該各別層具有以一非子圖像再分方式編碼至其中之該視訊，則將屬於該各別層之該等位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，使得該子圖像特定視訊資料流具有完全編碼至其中的該各別層之該視訊，並且若該各別層具有以使得該視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該視訊，則對於屬於該各別層之每一位元流部分，自該位元流部分讀取顯露該各別位元流部分具有編碼至其中的該等二個或更多個子圖像中之哪一子圖像的一資訊，以及 若該各別位元流部分具有編碼至其中之屬於一或多個子圖像之一預定集合的一子圖像，則將該各別層之該各別位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中。
  45. 一種用於形成由數個位元流部分構成之一多層視訊資料流之方法，該等位元流部分中之每一者屬於該多層視訊資料流之數個層中之一者，該方法包含：向該多層視訊資料流提供指示該多層視訊資料流之一層集合(OLS)的一OLS指示，向該多層視訊資料流提供關於一子圖像特定視訊資料流之解碼器能力需求資訊，該子圖像特定視訊資料流可藉由以下操作自該多層視訊資料流被提取：檢查該各別層是否具有以使得一視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該視訊，該等二個或更多個子圖像以一相互獨立之方式編碼至該各別層中，使得對於該視訊之每一圖像，該各別圖像之該等子圖像編碼至該各別層之相互不同之位元流部分中，或檢查該各別層是否具有以一非子圖像再分方式編碼至其中之該視訊，若該各別層具有以一非子圖像再分方式編碼至其中之該視訊，則將屬於該各別層之該等位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，使得該子圖像特定視訊資料流具有完全編碼至其中的該各別層之該視訊，並且若該各別層具有以使得該視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該視訊，則對於屬於該各別層之每一位元流部分，自該位元流部分讀取顯露該各別位元流部分具有編碼至其中的該等二個或更多個子圖像中之哪一子圖像的一資訊，以及 若該各別位元流部分具有編碼至其中之屬於一或多個子圖像之一預定集合的一子圖像，則將該各別層之該各別位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中。
  46. 一種用於自由數個位元流部分構成之一多層視訊資料流提取一子圖像特定視訊資料流的方法，該等位元流部分中之每一者屬於該多層視訊資料流之數個層中之一者，其中該多層視訊資料流包含一第一層，其數個位元流部分具有以使得一第一視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該第一視訊，該等子圖像以一相互獨立之方式編碼至該第一層之該等位元流部分中，使得對於該第一視訊之每一圖像，該第一視訊之該各別圖像之該等子圖像編碼至該第一層之相互不同之位元流部分中，以及一第二層，其數個位元流部分具有編碼至其中之一第二視訊，其中該第一層之數個位元流部分具有按以下方式編碼至其中之該第一視訊：使用來自數個參考圖像之基於向量之預測，以包括該第二視訊之數個圖像作為該等參考圖像之一方式，以及以如下所述之一方式：其中用於編碼該第一層之數個位元流部分且由該第一層之數個位元流部分包含之數個向量對於在該基於向量之預測中之使用根據該多層視訊資料流中傳信之數個縮放窗之大小及位置被縮放及偏移以分別用於該第一視訊之該等圖像及該等參考圖像，其中該方法包含：將屬於該第二層之該等位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，使得該子圖像特定視訊資料流具有完全編碼至其中的該各別層之該視訊，以及 將屬於該第一層且具有編碼至其中之屬於一或多個子圖像之一預定集合的一子圖像之每一位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，以及針對該子圖像特定視訊資料流中之該等第一及/或第二層調適一縮放窗信號化，使得該第二視訊之該等圖像的該縮放窗之一空間區域在空間上對應於一或多個子圖像之該預定集合的該縮放窗之一空間區域。
  47. 一種用於形成由數個位元流部分構成之一多層視訊資料流之方法，該等位元流部分中之每一者屬於該多層視訊資料流之數個層中之一者，其中該多層視訊資料流包含一第一層，其數個位元流部分具有以使得一第一視訊之數個圖像再分成二個或更多個子圖像之一方式編碼至其中的該第一視訊，該等子圖像以一相互獨立之方式編碼至該第一層之該等位元流部分中，使得對於該第一視訊之每一圖像，該第一視訊之該各別圖像之該等子圖像編碼至該第一層之相互不同之位元流部分中，以及一第二層，其數個位元流部分具有編碼至其中之一第二視訊，其中該第一層之數個位元流部分具有按以下方式編碼至其中之該第一視訊：使用來自數個參考圖像之基於向量之預測，以包括該第二視訊之數個圖像作為該等參考圖像之一方式，以及以如下所述之一方式：其中用於編碼該第一層之數個位元流部分且由該第一層之數個位元流部分包含之數個向量對於在該基於向量之預測中之使用根據該多層視訊資料流中傳信之數個縮放窗之大小及位置被縮放及偏移以分別用於該第一視訊之該等圖像及該等參考圖像，其中該方法包含根據該多層視訊資料流，使得一子圖像特定視訊資料流可 藉由以下操作自該多層視訊資料流被提取：將屬於該第二層之該等位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，使得該子圖像特定視訊資料流具有完全編碼至其中的該各別層之該視訊，並且將屬於該第一層且具有編碼至其中之屬於一或多個子圖像之一預定集合的一子圖像之每一位元流部分自該多層視訊資料流交接至該子圖像特定視訊資料流中，並且針對該子圖像特定視訊資料流中之該等第一及/或第二層調適一縮放窗信號化，使得該第二視訊之該等圖像的該縮放窗之一空間區域在空間上對應於一或多個子圖像之該預定集合的該縮放窗之一空間區域。
  48. 一種用於使用逐子圖像獨立寫碼將一視訊編碼成一多層視訊資料流的方法，該方法包含：使用用於自該多層視訊資料流之一第二層進行預測的數個層間預測工具之一集合且使用用於該逐子圖像獨立寫碼之一第一組配設定來將該視訊之一第一版本編碼至該多層視訊資料流之一第一層中，以及使用用於該逐子圖像獨立寫碼之一第二組配設定來將該視訊之一第二版本編碼至該多層視訊資料流之該第二層中，檢查該等第一及第二組配設定是否具有一預定關係，若該等第一及第二組配設定不具有該預定關係，則撤銷啟動或避免利用一或多個層間預測工具之一預定子集。
  49. 一種用於解碼一多層視訊資料流的方法，該方法包含：使用用於自該多層視訊資料流之一第二層進行預測的數個層間預測工具之一集合且使用用於逐子圖像獨立寫碼之一第一組配設定而自該多層視訊資料流之一第一層解碼一視訊之一第一版本，以及 使用用於該逐子圖像獨立寫碼之一第二組配設定而自該多層視訊資料流之該第二層解碼該視訊之一第二版本，檢查該等第一及第二組配設定是否具有一預定關係，若該等第一及第二組配設定具有該預定關係，則撤銷啟動一或多個層間預測工具之一預定子集。
  50. 一種用於編碼包含一層集合之一多層視訊資料流的方法，該方法包含：將該層集合之一未減少版本編碼至該多層視訊資料流中，其中數個視訊版本以每層一或多個獨立寫碼之子圖像為單位編碼成該層集合之該未減少版本，將與解碼該層集合之該未減少版本相關的一參考解碼器能力需求編碼至該多層視訊資料流中；將資訊編碼至該多層視訊資料流中，針對該層集合之每一層，該資訊係關於寫碼至該層集合之該未減少版本之該各別層中的數個圖像之一圖像大小，並且針對該各別層的該等一或多個獨立寫碼之子圖像中之每一者，該資訊係關於一子圖像大小；針對已去除至少一個層之一子圖像相關部分的該層集合之一或多個減少版本中之每一者，藉由按一因數縮放該參考解碼器能力需求來判定與解碼該層集合之該各別減少版本相關的一解碼器能力需求，該因數係使用包括於該層集合之該各別減少版本中的獨立寫碼之子圖像之子圖像大小之一總和除以數個圖像大小之一總和的一商來判定。
  51. 一種用於自包含一層集合之一多層視訊資料流提取一子圖像特定視訊資料流的方法，其中該多層視訊資料流具有編碼至其中的該層集合之一未減少版本，其中數個視訊版本以每層一或多個獨立寫碼之子圖像為單位編碼成該層集合之該未減少版本，該方法包含： 自該多層視訊資料流導出與解碼該層集合之該未減少版本相關的一參考解碼器能力需求；自該多層視訊資料流導出資訊，針對該層集合之每一層，該資訊係關於寫碼至該層集合之該未減少版本之該各別層中的數個圖像之一圖像大小，並且針對該各別層的該等一或多個獨立寫碼之子圖像中之每一者，該資訊係關於一子圖像大小；針對已去除至少一個層之一子圖像相關部分的該層集合之一預定減少版本，藉由按一因數縮放該參考解碼器能力需求來判定與解碼該層集合之該預定減少版本相關的一解碼器能力需求，該因數係使用包括於該層集合之該預定減少版本中的獨立寫碼之子圖像之數個子圖像大小之一總和除以數個圖像大小之一總和的一商來判定。
  52. 一種用於編碼包含多個層之一多層視訊資料流的方法，該方法包含：將數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，將數個層之一層集合之一指示編碼至該多層視訊資料流中，使得至少一個第一層包括於該層集合中且至少一個第二層包括於該層集合中，針對足以用於解碼數個層之該層集合的若干參考解碼器能力需求中之每一者，將關於歸因於該至少一個第一層的該各別參考解碼器能力需求之一第一分率及歸因於該至少一個第二層的該各別參考解碼器能力需求之一第二分率的資訊編碼至該多層視訊資料流中。
  53. 一種用於處置包含多個層之一多層視訊資料流的方法，其中該多層視訊資料流之該等層具有以相對於一或多個第一層再分成獨立寫碼之子 圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至其中的數個視訊圖像，該方法包含：自該多層視訊資料流解碼數個層之一層集合之一指示，其中至少一個第一層包括於該層集合中且至少一個第二層包括於該層集合中，針對足以用於解碼數個層之該層集合的若干參考解碼器能力需求中之每一者，自該多層視訊資料流解碼關於歸因於該至少一個第一層的該各別參考解碼器能力需求之一第一分率及歸因於該至少一個第二層的該各別參考解碼器能力需求之一第二分率的資訊。
  54. 一種用於編碼包含多個層之一多層視訊資料流的方法，其包含：將數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，將數個層之一層集合之一指示編碼至該多層視訊資料流中，使得至少一個第一層包括於該層集合中，將與解碼數個層之該層集合之一未減少版本相關的參考解碼器能力需求資訊編碼至該多層視訊資料流中，該參考解碼器能力需求資訊包括用於該層集合中之每一層之一第一解碼器能力需求參數及用於該層集合之一第二解碼器能力需求參數，針對已去除至少一個第一層之一子圖像相關部分的數個層之該層集合的一或多個減少版本中之每一者，藉由以下操作判定與解碼數個層之該層集合之該各別未減少版本相關的另外參考解碼器能力需求資訊：使用一第一分率縮放該第一解碼器能力需求參數以獲得用於該層集合之每一層之一第三解碼器能力需求參數，以及 使用一第二分率縮放該第二解碼器能力需求參數以獲得用於該層集合之該各別減少版本之一第四解碼器能力需求參數。
  55. 一種用於自包含多個層之一多層視訊資料流提取一子圖像特定視訊資料流的方法，其中數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，該方法包含：自該多層視訊資料流解碼數個層之一層集合之一指示，使得至少一個第一層包括於該層集合中，自該多層視訊資料流解碼與解碼數個層之該層集合之一未減少版本相關的參考解碼器能力需求資訊，該參考解碼器能力需求資訊包括用於該層集合中之每一層之一第一解碼器能力需求參數及用於該層集合之一第二解碼器能力需求參數，針對將去除至少一個第一層之一子圖像相關部分的數個層之該層集合之一預定減少版本，藉由以下操作判定與解碼數個層之該層集合之該預定未減少版本相關的另外參考解碼器能力需求資訊：使用一第一分率縮放該第一解碼器能力需求參數以獲得用於該層集合之每一層之一第三解碼器能力需求參數，以及使用一第二分率縮放該第二解碼器能力需求參數以獲得用於該層集合之該預定減少版本之一第四解碼器能力需求參數，以及藉由去除至少一個第一層之該子圖像相關部分且向該子圖像特定視訊資料流提供該等第三及第四解碼器能力需求參數來基於該多層視訊資料流而形成該子圖像特定視訊資料流，或藉由去除至少一個第一層之該子圖像相關部分且向該子圖像特定視訊資料流提供該等第一及第二分率以供判定與藉由一解碼器解碼數個層之該層集合之 該預定未減少版本相關的該另外參考解碼器能力需求資訊來基於該多層視訊資料流而形成該子圖像特定視訊資料流。
  56. 一種用於編碼包含多個層之一多層視訊資料流的方法，其包含：將數個視訊圖像以相對於一或多個第一層再分成獨立寫碼之子圖像之一方式及以相對於一或多個第二層未再分之一方式編碼至該多層視訊資料流之該等層中，將數個層之一層集合之一指示編碼至該多層視訊資料流中，使得至少一個第一層包括於該層集合中，在該多層視訊資料流中指示足以用於解碼數個層之該層集合之一或多個參考解碼器能力需求，選擇性地針對該層集合中之該等第一層中之每一者，針對經寫碼至該各別第一層中之該等子圖像中之每一者，針對該等參考解碼器能力需求中之一或多者，檢查是否滿足對一預定參數集合之特定於該各別參考解碼器能力需求之約束。
  57. 一種用於解碼一視訊資料流之方法，其包含：自該視訊資料流解碼指示編碼至該視訊資料流中之數個圖像是否藉助於一或多個獨立寫碼之子圖像進行編碼的一指示，該指示區別該等一或多個獨立寫碼之子圖像與該等一或多個獨立寫碼之子圖像之一周圍之間的寫碼獨立性之不同類型。
  58. 一種用於編碼一視訊資料流之方法，其包含：將指示編碼至該視訊資料流中之數個圖像是否藉助於一或多個獨立寫碼之子圖像進行編碼的一指示編碼至該視訊資料流中，該指示區別該等一或多個獨立寫碼之子圖像與該等一或多個獨立寫碼之子圖像之一周圍之間的寫碼獨立性 之不同類型。
  59. 一種電腦程式，其用於當在一電腦或信號處理器上執行時實施如請求項44至58之方法中之任一者。
TW110118546A 2020-05-22 2021-05-21 子圖像相關視訊寫碼概念技術 TWI801882B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20176208.5 2020-05-22
EP20176208 2020-05-22

Publications (2)

Publication Number Publication Date
TW202147848A TW202147848A (zh) 2021-12-16
TWI801882B true TWI801882B (zh) 2023-05-11

Family

ID=70977328

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110118546A TWI801882B (zh) 2020-05-22 2021-05-21 子圖像相關視訊寫碼概念技術

Country Status (9)

Country Link
US (1) US20230199202A1 (zh)
EP (1) EP4154535A1 (zh)
JP (1) JP2023526460A (zh)
KR (1) KR20230015447A (zh)
CN (1) CN115868166A (zh)
AU (1) AU2021275492A1 (zh)
CA (1) CA3184462A1 (zh)
TW (1) TWI801882B (zh)
WO (1) WO2021234125A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115699728A (zh) 2020-06-08 2023-02-03 字节跳动有限公司 视频编解码中的子层信令
JP2023542214A (ja) * 2020-09-25 2023-10-05 北京字節跳動網絡技術有限公司 サブビットストリーム抽出

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120593A (zh) * 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Robert Skupin "AHG12: On subpicture conformance" Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: by teleconference, 15–24 April 2020 15–24 April 2020 http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=9939

Also Published As

Publication number Publication date
KR20230015447A (ko) 2023-01-31
AU2021275492A1 (en) 2022-12-15
TW202147848A (zh) 2021-12-16
CN115868166A (zh) 2023-03-28
WO2021234125A1 (en) 2021-11-25
CA3184462A1 (en) 2021-11-25
JP2023526460A (ja) 2023-06-21
US20230199202A1 (en) 2023-06-22
EP4154535A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
JP7485639B2 (ja) 効率的なマルチビュー／レイヤ符号化を可能とする符号化コンセプト
CN113347445B (zh) 解码器、编码器及其方法和可读存储介质
US20210306646A1 (en) Efficient scalable coding concept
CN111031316B (zh) 视频解码的方法和装置、计算机设备及存储介质
JP5063684B2 (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
BR112021013436A2 (pt) Sinalização de identificador de subimagem em codificação de vídeo
TWI801882B (zh) 子圖像相關視訊寫碼概念技術
JP7472292B2 (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
CN113632493B (zh) 变换跳过模式中的子块变换
AU2021257985A1 (en) Techniques for bitstream extraction for subpicture in coded video stream
TWI798714B (zh) 時間移動向量預測、層間參考及時間子層指示的視訊寫碼技術
CA3184357A1 (en) Processing of output layer sets of coded video
JP2022531117A (ja) ビデオデータをコーディングするための方法、装置、およびコンピュータプログラム
KR20220160029A (ko) 비디오 코딩 및 디코딩
CN114287132B (zh) 用于解码视频流的系统和方法
CN118383032A (zh) 缩放的帧内参考图片