TW202141986A - 視訊編解碼中的子畫面訊號傳遞 - Google Patents

視訊編解碼中的子畫面訊號傳遞 Download PDF

Info

Publication number
TW202141986A
TW202141986A TW110107744A TW110107744A TW202141986A TW 202141986 A TW202141986 A TW 202141986A TW 110107744 A TW110107744 A TW 110107744A TW 110107744 A TW110107744 A TW 110107744A TW 202141986 A TW202141986 A TW 202141986A
Authority
TW
Taiwan
Prior art keywords
video
picture
decoding
syntax element
parameter set
Prior art date
Application number
TW110107744A
Other languages
English (en)
Inventor
永 何
法迪姆 塞瑞金
穆漢麥德 傑德 柯本
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202141986A publication Critical patent/TW202141986A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種用於對視訊資料進行編解碼的示例裝置包括:被配置為儲存視訊資料的記憶體;以及在電路中實現並且通訊地耦合到記憶體的一個或多個處理器。一個或多個處理器被配置為確定視訊資料的序列參數集是否引用視訊參數集。基於序列參數集沒有引用視訊參數集,一個或多個處理器被配置為:確定第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的;以及基於設定檔-層級-層結構來對視訊資料進行編解碼。

Description

視訊編解碼中的子畫面訊號傳遞
本公開內容涉及視訊編碼和視訊解碼。
數位視訊能力可以被合併到各種各樣的裝置中,包括數位電視機、數位直播系統、無線廣播系統、個人數位助理(PDA)、筆記型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位錄音裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、行動或衛星無線電電話(所謂的“智慧型手機”)、視訊電話會議裝置、視訊流裝置等。數位視訊裝置實現視訊編解碼技術(諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分,高級視訊編解碼(AVC))、ITU-T H.265/高效率視訊編解碼(HEVC)所定義的標準以及此類標準的擴展中描述的那些技術)。通過實現這樣的視訊編解碼技術,視訊裝置可以更加高效地發送、接收、編碼、解碼和/或儲存數位視訊資訊。
視訊編解碼技術包括空間(畫面內,intra-picture)預測和/或時間(畫面間,inter-picture)預測以減少或去除在視訊序列中固有的冗餘。對於基於區塊的視訊編解碼,視訊切片(例如,視訊畫面或視訊畫面的一部分)可以被分割為視訊區塊,視訊區塊也可以被稱為編解碼樹單元(CTU)、編解碼單元(CU)和/或編解碼節點。畫面的經幀內編碼(I)的切片中的視訊區塊是使用相對於同一畫面中的相鄰區塊中的參考樣本的空間預測來編碼的。畫面的經幀間編碼(P或B)的切片中的視訊區塊可以使用相對於同一畫面中的相鄰區塊中的參考樣本的空間預測或者相對於其它參考畫面中的參考樣本的時間預測。畫面可以被稱為幀,並且參考畫面可以被稱為參考幀。
概括而言,本公開內容描述了用於視訊編解碼中的子畫面訊號傳遞的技術。更具體地,本公開內容描述了多個子畫面以及其它訊號傳遞和語法技術,其可以是相對于現有技術的改進。例如,本公開內容的技術可以通過減少或消除不必要的訊號傳遞來減少訊號傳遞開銷。
在一個示例中,一種對視訊資料進行編解碼的方法包括:確定所述視訊資料的序列參數集是否引用視訊參數集;基於所述序列參數集沒有引用所述視訊參數集,來確定第一語法元素的值指示設定檔-層級-層(profile-tier-layer)結構是在所述序列參數集中用訊號通知的;以及基於所述設定檔-層級-層結構來對所述視訊資料進行編解碼。
在另一示例中,一種方法包括:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在所述輸出層集中不存在具有所述逐步解碼刷新NAL單元類型的所述NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編解碼的情況下對所述編解碼層視訊序列的所述視訊資料進行編解碼。
在另一示例中,一種裝置包括:被配置為儲存所述視訊資料的記憶體;以及在電路中實現並且通訊地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置為:確定所述視訊資料的序列參數集是否引用視訊參數集;基於所述序列參數集沒有引用所述視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在所述序列參數集中用訊號通知的;以及基於所述設定檔-層級-層結構來對所述視訊資料進行編解碼。
在另一示例中,一種裝置包括:被配置為儲存所述視訊資料的記憶體;以及在電路中實現並且通訊地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置為:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在所述輸出層集中不存在具有所述逐步解碼刷新NAL單元類型的所述NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編解碼的情況下對所述編解碼層視訊序列的所述視訊資料進行編解碼。
在附圖和以下描述中闡述了一個或多個示例的細節。根據描述、附圖和申請專利範圍,其它特徵、目的和優點將是顯而易見的。
本申請要求享受於2020年3月4日遞交的美國臨時申請No. 62/984,895以及於2020年4月1日遞交的美國臨時申請No. 63/003,710的優先權,據此將兩個申請的全部內容通過引用的方式併入。
本公開內容描述了子畫面數量以及其它訊號傳遞和語法變化,這些變化可以是相比于現有技術(例如,一些標準草案的那些技術)的改進。例如,某些草案標準允許語法元素的冗餘和/或不必要的訊號傳遞,這可能增加與視訊編解碼相關聯的訊號傳遞頻寬(相比于原本可能需要的訊號傳遞頻寬)。此外,某些標準草案可能包括可能不必要地妨礙視訊編解碼器在某些用例(諸如視埠自適應串流)下滿足某些要求的能力的限制。
根據本公開內容的技術,可以減少或消除此類視訊標準中的冗餘和/或不必要的訊號傳遞,以減少與視訊編解碼相關聯的訊號傳遞頻寬。另外,根據本公開內容的技術,可以改變限制以提高視訊編解碼器滿足某些用例(諸如視埠自適應串流)的要求的能力。
圖1是示出可以執行本公開內容的技術的示例視訊編碼和解碼系統100的方塊圖。概括而言,本公開內容的技術涉及對視訊資料進行編解碼(編碼和/或解碼)。通常,視訊資料包括用於處理視訊的任何資料。因此,視訊資料可以包括原始的未經編碼的視訊、經編碼的視訊、經解碼(例如,經重構)的視訊、以及視訊元資料(例如,訊號傳遞資料)。
如圖1所示,在該示例中,系統100包括來源裝置102,來源裝置102提供要被目的地裝置116解碼和顯示的、經編碼的視訊資料。具體地,來源裝置102經由電腦可讀媒體110來將視訊資料提供給目的地裝置116。來源裝置102和目的地裝置116可以包括各種各樣的裝置中的任何一種,包括桌上型電腦、筆記本電腦(即,筆記型電腦)、平板電腦、機頂盒、諸如智慧型手機之類的電話手機、電視機、相機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸裝置等。在一些情況下,來源裝置102和目的地裝置116可以被配備用於無線通訊,並且因此可以被稱為無線通訊裝置。
在圖1的示例中,來源裝置102包括視訊來源104、記憶體106、視訊編碼器200以及輸出介面108。目的地裝置116包括輸入介面122、視訊解碼器300、記憶體120以及顯示裝置118。根據本公開內容,來源裝置102的視訊編碼器200和目的地裝置116的視訊解碼器300可以被配置為應用用於視訊編解碼中的子畫面訊號傳遞的技術。因此,來源裝置102表示視訊編碼裝置的示例,而目的地裝置116表示視訊解碼裝置的示例。在其它示例中,來源裝置和目的地裝置可以包括其它組件或佈置。例如,來源裝置102可以從諸如外部相機之類的外部視訊來源接收視訊資料。同樣,目的地裝置116可以與外部顯示裝置對接,而不是包括整合顯示裝置。
如圖1所示的系統100僅是一個示例。通常,任何數位視訊編碼和/或解碼裝置可以執行用於視訊編解碼中的子畫面訊號傳遞的技術。來源裝置102和目的地裝置116僅是這樣的編解碼裝置的示例,其中,來源裝置102生成經編解碼的視訊資料以用於傳輸給目的地裝置116。本公開內容將“編解碼”裝置指代為執行對資料的編解碼(例如,編碼和/或解碼)的裝置。因此,視訊編碼器200和視訊解碼器300分別表示編解碼裝置(具體地,視訊編碼器和視訊解碼器)的示例。在一些示例中,來源裝置102和目的地裝置116可以以基本上對稱的方式進行操作,使得來源裝置102和目的地裝置116中的每一者都包括視訊編碼和解碼組件。因此,系統100可以支持在來源裝置102和目的地裝置116之間的單向或雙向視訊傳輸,例如,以用於視訊串流傳輸、視訊回放、視訊廣播或視訊電話。
通常,視訊來源104表示視訊資料(即原始的未經編碼的視訊資料)的源,並且將視訊資料的順序的一系列畫面(也被稱為“幀”)提供給視訊編碼器200,視訊編碼器200對用於畫面的資料進行編碼。來源裝置102的視訊來源104可以包括視訊捕獲裝置,諸如攝影機、包含先前捕獲的原始視訊的視訊存檔單元、和/或用於從視訊內容提供者接收視訊的視訊饋送介面。作為另外的替代方式,視訊來源104可以生成基於電腦圖形的資料作為來源視訊,或者生成直播視訊、被存檔的視訊和電腦生成的視訊的組合。在每種情況下,視訊編碼器200對被捕獲的、預捕獲的或電腦生成的視訊資料進行編碼。視訊編碼器200可以將畫面從所接收的次序(有時被稱為“顯示次序”)重新排列為用於編解碼的編解碼次序。視訊編碼器200可以生成包括經編碼的視訊資料的位元流。然後,來源裝置102可以經由輸出介面108將經編碼的視訊資料輸出到電腦可讀媒體110上,以便由例如目的地裝置116的輸入介面122接收和/或取回。
來源裝置102的記憶體106和目的地裝置116的記憶體120表示通用記憶體。在一些示例中,記憶體106、120可以儲存原始視訊資料,例如,來自視訊來源104的原始視訊以及來自視訊解碼器300的原始的經解碼的視訊資料。另外或替代地,記憶體106、120可以儲存可由例如視訊編碼器200和視訊解碼器300分別執行的軟體指令。儘管記憶體106和記憶體120在該示例中被示為與視訊編碼器200和視訊解碼器300分開,但是應當理解的是,視訊編碼器200和視訊解碼器300還可以包括用於在功能上類似或等效目的的內部記憶體。此外,記憶體106、120可以儲存例如從視訊編碼器200輸出並且輸入到視訊解碼器300的經編碼的視訊資料。在一些示例中,記憶體106、120的部分可以被分配為一個或多個視訊緩衝器,例如,以儲存原始的經解碼和/或經編碼的視訊資料。
電腦可讀媒體110可以表示能夠將經編碼的視訊資料從來源裝置102輸送到目的地裝置116的任何類型的媒體或裝置。在一個示例中,電腦可讀媒體110表示通訊媒體,其使得來源裝置102能夠例如經由射頻網路或基於電腦的網路,來即時地向目的地裝置116直接發送經編碼的視訊資料。輸出介面108可以根據諸如無線通訊協定之類的通訊標準來對包括經編碼的視訊資料的傳輸訊號進行解調,並且輸入介面122可以根據諸如無線通訊協定之類的通訊標準來對所接收的傳輸訊號進行解調。通訊媒體可以包括任何無線或有線通訊媒體,例如,射頻(RF)頻譜或一條或多條實體傳輸線。通訊媒體可以形成諸如以下各項的基於封包的網路的一部分:區域網路、廣域網路、或諸如網際網路之類的全球網路。通訊媒體可以包括路由器、交換機、基地台、或對於促進從來源裝置102到目的地裝置116的通訊而言可以有用的任何其它裝置。
在一些示例中,來源裝置102可以將經編碼的資料從輸出介面108輸出到儲存裝置112。類似地,目的地裝置116可以經由輸入介面122從儲存裝置112存取經編碼的資料。儲存裝置112可以包括各種分布式或本地存取的資料儲存媒體中的任何一種,諸如硬碟驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼的視訊資料的任何其它適當的數位儲存媒體。
在一些示例中,來源裝置102可以將經編碼的視訊資料輸出到文件伺服器114或者可以儲存由來源裝置102生成的經編碼的視訊資料的另一中間儲存裝置。目的地裝置116可以經由串流傳輸或下載來從文件伺服器114存取被儲存的視訊資料。文件伺服器114可以是能夠儲存經編碼的視訊資料並且將該經編碼的視訊資料發送給目的地裝置116的任何類型的伺服器裝置。文件伺服器114可以表示網頁伺服器(例如,用於網站)、檔案傳輸協定(FTP)伺服器、內容遞送網路裝置、或網路附加儲存(NAS)裝置。目的地裝置116可以通過任何標準資料連接(包括網際網路連接)來從文件伺服器114存取經編碼的視訊資料。這可以包括適於存取被儲存在文件伺服器114上的經編碼的視訊資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,數位用戶線(DSL)、電纜調數據機等)、或這兩者的組合。文件伺服器114和輸入介面122可以被配置為根據以下各項來操作:串流控制傳輸協定、下載傳輸協定、或其組合。
輸出介面108和輸入介面122可以表示無線發射機/接收機、調數據機、有線聯網組件(例如,以太網卡)、根據各種IEEE 802.11標準中的任何一種標準進行操作的無線通訊組件、或其它實體組件。在其中輸出介面108和輸入介面122包括無線組件的示例中,輸出介面108和輸入介面122可以被配置為根據蜂窩通訊標準(諸如4G、4G-LTE(長期演進)、改進的LTE、5G等)來傳輸資料(諸如經編碼的視訊資料)。在其中輸出介面108包括無線發射機的一些示例中,輸出介面108和輸入介面122可以被配置為根據其它無線標準(諸如IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、Bluetooth™標準等)來傳輸資料(諸如經編碼的視訊資料)。在一些示例中,來源裝置102和/或目的地裝置116可以包括相應的單晶片系統(SoC)裝置。例如,來源裝置102可以包括用於執行被賦予視訊編碼器200和/或輸出介面108的功能的SoC裝置,並且目的地裝置116可以包括用於執行被賦予視訊解碼器300和/或輸入介面122的功能的SoC裝置。
本公開內容的技術可以應用於視訊編解碼,以支持各種多媒體應用中的任何一種,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如基於HTTP的動態自適應串流傳輸(DASH))、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼、或其它應用。
目的地裝置116的輸入介面122從電腦可讀媒體110(例如,通訊媒體、儲存裝置112、文件伺服器114等)接收經編碼的視訊位元流。經編碼的視訊位元流可以包括由視訊編碼器200定義的諸如以下語法元素之類的訊號傳遞資訊(其也被視訊解碼器300使用):所述語法元素具有描述視訊區塊或其它編解碼單元(例如,切片、畫面、畫面組、序列等)的特性和/或處理的值。顯示裝置118將經解碼的視訊資料的經解碼的畫面顯示給用戶。顯示裝置118可以表示各種顯示裝置中的任何一種,諸如陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器、有機發光二極管(OLED)顯示器、或另一種類型的顯示裝置。
儘管在圖1中未示出,但是在一些示例中,視訊編碼器200和視訊解碼器300可以各自與音頻編碼器和/或音頻解碼器整合,並且可以包括適當的MUX-DEMUX單元或其它硬體和/或軟體,以處理包括公共資料流中的音頻和視訊兩者的經多工的流。如果適用,MUX-DEMUX單元可以遵循ITU H.223多工器協定或其它協定(諸如用戶資料報協定(UDP))。
視訊編碼器200和視訊解碼器300各自可以被實現為各種適當的編碼器和/或解碼器電路中的任何一種,諸如一個或多個微處理器、數位訊號處理器(DSP)、專用積體電路(ASIC)、程式化現場可程式化邏輯閘陣列(FPGA)、分立邏輯、軟體、硬體、韌體、或其任何組合。當所述技術部分地用軟體實現時,裝置可以將用於軟體的指令儲存在適當的非暫時性電腦可讀媒體中,並且使用一個或多個處理器,用硬體來執行指令以執行本公開內容的技術。視訊編碼器200和視訊解碼器300中的每一者可以被包括在一個或多個編碼器或解碼器中,編碼器或解碼器中的任一者可以被整合為相應裝置中的組合編碼器/解碼器(CODEC)的一部分。包括視訊編碼器200和/或視訊解碼器300的裝置可以包括積體電路、微處理器、和/或無線通訊裝置(諸如蜂窩電話)。
視訊編碼器200和視訊解碼器300可以根據視訊編解碼標準(諸如ITU-T H.265(也被稱為高效率視訊編解碼(HEVC)標準)或對其的擴展(諸如多視圖和/或可伸縮視訊編解碼擴展))進行操作。替代地,視訊編碼器200和視訊解碼器300可以根據其它專有或行業標準(諸如ITU-T H.266標準,也被稱為通用視訊編解碼(VVC))進行操作。VVC標準的最新草案是在以下文檔中描述的:Bross等人,“Versatile Video Coding (Draft 8)”,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET),第17次會議:比利時布魯塞爾,2020年1月7-17日,JVET-Q2001-vC(下文中被稱為“VVC草案8”)。更新的草案是在以下文檔中描述的:Bross等人,“Versatile Video Coding Editorial Refinements on Draft 10”,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET),第20次會議,電話會議,2020年10月7-16日,JVET-T2001-v1。然而,本公開內容的技術不限於任何特定的編解碼標準。
通常,視訊編碼器200和視訊解碼器300可以執行對畫面的基於區塊的編解碼。術語“區塊”通常指代包括要被處理的(例如,在編碼和/或解碼過程中要被編碼、被解碼或以其它方式使用的)資料的結構。例如,區塊可以包括亮度和/或色度資料的樣本的二維矩陣。通常,視訊編碼器200和視訊解碼器300可以對以YUV(例如,Y、Cb、Cr)格式表示的視訊資料進行編解碼。也就是說,並不是對用於畫面的樣本的紅色、綠色和藍色(RGB)資料進行編解碼,視訊編碼器200和視訊解碼器300可以對亮度和色度分量進行編解碼,其中,色度分量可以包括紅色色相和藍色色相色度分量兩者。在一些示例中,視訊編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示,並且視訊解碼器300將YUV表示轉換為RGB格式。替代地,預處理和後處理單元(未示出)可以執行這些轉換。
概括而言,本公開內容可以涉及對畫面的編解碼(例如,編碼和解碼)以包括對畫面的資料進行編碼或解碼的過程。類似地,本公開內容可以涉及對畫面的區塊的編解碼以包括對用於區塊的資料進行編碼或解碼(例如,預測和/或殘差編解碼)的過程。經編碼的視訊位元流通常包括用於表示編解碼決策(例如,編解碼模式)以及將畫面分割為區塊的語法元素的一系列值。因此,關於對畫面或區塊進行編解碼的引用通常應當被理解為對用於形成畫面或區塊的語法元素的值進行編解碼。
HEVC定義了各種區塊,包括編解碼單元(CU)、預測單元(PU)和變換單元(TU)。根據HEVC,視訊編解碼器(諸如視訊編碼器200)根據四元樹結構來將編解碼樹單元(CTU)分割為CU。也就是說,視訊編解碼器將CTU和CU分割為四個相等的、不重疊的正方形,並且四元樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為“葉節點”,並且這種葉節點的CU可以包括一個或多個PU和/或一個或多個TU。視訊編解碼器可以進一步分割PU和TU。例如,在HEVC中,殘差四元樹(RQT)表示對TU的分區。在HEVC中,PU表示幀間預測資料,而TU表示殘差資料。經幀內預測的CU包括幀內預測資訊,諸如幀內模式指示。
作為另一示例,視訊編碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC,視訊編解碼器(諸如視訊編碼器200)將畫面分割為多個編解碼樹單元(CTU)。視訊編碼器200可以根據樹結構(諸如四元樹-二元樹(QTBT)結構或多類型樹(MTT)結構)分割CTU。QTBT結構去除了多種分割類型的概念,諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別:根據四元樹分割而被分割的第一級別、以及根據二元樹分割而被分割的第二級別。QTBT結構的根節點對應於CTU。二元樹的葉節點對應於編解碼單元(CU)。
在MTT分割結構中,可以使用四元樹(QT)分割、二元樹(BT)分割以及一種或多種類型的三叉樹(triple tree,TT)(也被稱為三元樹(ternary tree,TT))分割來對區塊進行分割。三叉樹或三元樹分割是其中區塊被分為三個子區塊的分割。在一些示例中,三叉樹或三元樹分割將區塊劃分為三個子區塊,而不通過中心劃分原始區塊。MTT中的分割類型(例如,QT、BT和TT)可以是對稱的或不對稱的。
在一些示例中,視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每一者,而在其它示例中,視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構,諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構(或者用於相應色度分量的兩個QTBT/MTT結構)。
視訊編碼器200和視訊解碼器300可以被配置為使用每HEVC的四元樹分割、QTBT分割、MTT分割、或其它分割結構。為了解釋的目的,關於QTBT分割給出了本公開內容的技術的描述。然而,應當理解的是,本公開內容的技術還可以應用於被配置為使用四元樹分割或者還使用其它類型的分割的視訊編解碼器。
可以以各種方式在畫面中對區塊(例如,CTU或CU)進行分組。作為一個示例,磚塊可以指代畫面中的特定圖塊(tile)內的CTU行的矩形區域。圖塊可以是畫面中的特定圖塊列和特定圖塊行內的CTU的矩形區域。圖塊列指代CTU的矩形區域,其具有等於畫面的高度以及由語法元素(例如,諸如在畫面參數集中)指定的寬度。圖塊行指代CTU的矩形區域,其具有由語法元素指定的高度(例如,諸如在畫面參數集中)以及等於畫面的寬度。
在一些示例中,可以將圖塊分割為多個磚塊,每個磚塊可以包括圖塊內的一個或多個CTU行。沒有被分割為多個磚塊的圖塊也可以被稱為磚塊。然而,作為圖塊的真實子集的磚塊可以不被稱為圖塊。
畫面中的磚塊也可以以切片來排列。切片可以是畫面的整數個磚塊,其可以唯一地被包含在單個網路抽象層(NAL)單元中。在一些示例中,切片包括多個完整的圖塊或者僅包括一個圖塊的完整磚塊的連續序列。
本公開內容可以互換地使用“NxN”和“N乘N”來指代區塊(諸如CU或其它視訊區塊)在垂直和水平維度方面的樣本大小,例如,16x16個樣本或16乘16個樣本。通常,16x16 CU在垂直方向上將具有16個樣本(y = 16),並且在水平方向上將具有16個樣本(x = 16)。同樣地,NxN CU通常在垂直方向上具有N個樣本,並且在水平方向上具有N個樣本,其中N表示非負整數值。CU中的樣本可以按行和列來排列。此外,CU不一定需要在水平方向上具有與在垂直方向上相同的數量的樣本。例如,CU可以包括NxM個樣本,其中M不一定等於N。
視訊編碼器200對用於CU的表示預測和/或殘差資訊以及其它資訊的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成用於CU的預測區塊。殘差資訊通常表示在編碼之前的CU的樣本與預測區塊之間的逐樣本差。
為了預測CU,視訊編碼器200通常可以通過幀間預測或幀內預測來形成用於CU的預測區塊。幀間預測通常指代根據先前編解碼的畫面的資料來預測CU,而幀內預測通常指代根據同一畫面的先前編解碼的資料來預測CU。為了執行幀間預測,視訊編碼器200可以使用一個或多個運動向量來生成預測區塊。視訊編碼器200通常可以執行運動搜索,以識別例如在CU與參考區塊之間的差異方面與CU緊密匹配的參考區塊。視訊編碼器200可以使用絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)、或其它這種差計算來計算差度量,以確定參考區塊是否與當前CU緊密匹配。在一些示例中,視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。
VVC的一些示例還提供仿射運動補償模式,其可以被認為是幀間預測模式。在仿射運動補償模式下,視訊編碼器200可以確定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其它不規則的運動類型)的兩個或更多個運動向量。
為了執行幀內預測,視訊編碼器200可以選擇幀內預測模式來生成預測區塊。VVC的一些示例提供六十七種幀內預測模式,包括各種方向性模式、以及平面模式和DC模式。通常,視訊編碼器200選擇幀內預測模式,幀內預測模式描述要根據其來預測當前區塊(例如,CU的區塊)的樣本的、當前區塊的相鄰樣本。假定視訊編碼器200以光柵掃描次序(從左到右、從上到下)對CTU和CU進行編解碼,則這樣的樣本通常可以是在與當前區塊相同的畫面中在當前區塊的上方、左上方或左側。
視訊編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如,對於幀間預測模式,視訊編碼器200可以對表示使用各種可用幀間預測模式中的哪一種的資料以及用於對應模式的運動資訊進行編碼。對於單向或雙向幀間預測,例如,視訊編碼器200可以使用高級運動向量預測(AMVP)或合併模式來對運動向量進行編碼。視訊編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。
在諸如對區塊的幀內預測或幀間預測之類的預測之後,視訊編碼器200可以計算用於該區塊的殘差資料。殘差資料(諸如殘差區塊)表示在區塊與用於該區塊的預測區塊之間的逐樣本差,該預測區塊是使用對應的預測模式來形成的。視訊編碼器200可以將一個或多個變換應用於殘差區塊,以在變換域中而非在樣本域中產生經變換的資料。例如,視訊編碼器200可以將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘差視訊資料。另外,視訊編碼器200可以在第一變換之後應用二次變換,諸如模式相關的不可分離二次變換(MDNSST)、訊號相關變換、Karhunen-Loeve變換(KLT)等。視訊編碼器200在應用一個或多個變換之後產生變換係數。
如上所述,在任何變換以產生變換係數之後,視訊編碼器200可以執行對變換係數的量化。量化通常指代如下的過程:在該過程中,對變換係數進行量化以可能減少用於表示變換係數的資料量,從而提供進一步的壓縮。通過執行量化過程,視訊編碼器200可以減小與一些或所有變換係數相關聯的位元深度。例如,視訊編碼器200可以在量化期間將n 位元的值向下捨入為m 位元的值,其中n 大於m 。在一些示例中,為了執行量化,視訊編碼器200可以執行對要被量化的值的按位右移。
在量化之後,視訊編碼器200可以掃描變換係數,從而從包括經量化的變換係數的二維矩陣產生一維向量。可以將掃描設計為將較高能量(並且因此較低頻率)的變換係數放在向量的前面,並且將較低能量(並且因此較高頻率)的變換係數放在向量的後面。在一些示例中,視訊編碼器200可以利用預定義的掃描次序來掃描經量化的變換係數以產生經序列化的向量,並且然後對向量的經量化的變換係數進行熵編碼。在其它示例中,視訊編碼器200可以執行自適應掃描。在掃描經量化的變換係數以形成一維向量之後,視訊編碼器200可以例如根據上下文自適應二進制算術編解碼(CABAC)來對一維向量進行熵編碼。視訊編碼器200還可以對用於描述與經編碼的視訊資料相關聯的元資料的語法元素的值進行熵編碼,以供視訊解碼器300在對視訊資料進行解碼時使用。
為了執行CABAC,視訊編碼器200可以將上下文模型內的上下文分配給要被發送的符號。上下文可以涉及例如符號的相鄰值是否為零值。機率確定可以是基於被分配給符號的上下文的。
視訊編碼器200還可以例如在畫面標頭、區塊標頭、切片標頭中為視訊解碼器300生成語法資料(諸如基於區塊的語法資料、基於畫面的語法資料和基於序列的語法資料)、或其它語法資料(諸如序列參數集(SPS)、畫面參數集(PPS)或視訊參數集(VPS))。同樣地,視訊解碼器300可以對這樣的語法資料進行解碼以確定如何解碼對應的視訊資料。
以這種方式,視訊編碼器200可以生成位元流,其包括經編碼的視訊資料,例如,描述將畫面分割為區塊(例如,CU)以及用於該區塊的預測和/或殘差資訊的語法元素。最終,視訊解碼器300可以接收位元流並且對經編碼的視訊資料進行解碼。
通常,視訊解碼器300執行與由視訊編碼器200執行的過程相反的過程,以對位元流的經編碼的視訊資料進行解碼。例如,視訊解碼器300可以使用CABAC,以與視訊編碼器200的CABAC編碼過程基本上類似的、但是相反的方式來對用於位元流的語法元素的值進行解碼。語法元素可以定義用於將畫面分割為CTU、以及根據對應的分割結構(諸如QTBT結構)對每個CTU進行分割以定義CTU的CU的分割資訊。語法元素還可以定義用於視訊資料的區塊(例如,CU)的預測和殘差資訊。
殘差資訊可以由例如經量化的變換係數來表示。視訊解碼器300可以對區塊的經量化的變換係數進行逆量化和逆變換以重現用於該區塊的殘差區塊。視訊解碼器300使用經訊號通知的預測模式(幀內預測或幀間預測)和相關的預測資訊(例如,用於幀間預測的運動資訊)來形成用於該區塊的預測區塊。視訊解碼器300然後可以對預測區塊和殘差區塊(在逐個樣本的基礎上)進行組合以重現原始區塊。視訊解碼器300可以執行額外處理,諸如執行去區塊過程以減少沿著區塊的邊界的視覺偽影。
根據本公開內容的技術,一種方法包括:確定視訊資料的序列參數集是否引用視訊參數集;基於序列參數集沒有引用視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的;以及基於設定檔-層級-層結構來對視訊資料進行編解碼。
在另一示例中,一種方法包括:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編解碼的情況下對編解碼層視訊序列的視訊資料進行編解碼。
在另一示例中,一種裝置包括:被配置為儲存視訊資料的記憶體;以及在電路中實現並且通訊地耦合到記憶體的一個或多個處理器,一個或多個處理器被配置為:確定視訊資料的序列參數集是否引用視訊參數集;基於序列參數集沒有引用視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的;以及基於設定檔-層級-層結構來對視訊資料進行編解碼。
在另一示例中,一種裝置包括:被配置為儲存視訊資料的記憶體;以及在電路中實現並且通訊地耦合到記憶體的一個或多個處理器,一個或多個處理器被配置為:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編解碼的情況下對編解碼層視訊序列的視訊資料進行編解碼。
概括而言,本公開內容可能涉及“用訊號通知”某些資訊(諸如語法元素)。術語“用訊號通知”通常可以指代對用於語法元素的值和/或用於對經編碼的視訊資料進行解碼的其它資料的傳送。也就是說,視訊編碼器200可以在位元流中用訊號通知用於語法元素的值。通常,用訊號通知指代在位元流中生成值。如上所述,來源裝置102可以基本上即時地或不是即時地(諸如可能在將語法元素儲存到儲存裝置112以供目的地裝置116稍後取回時發生)將位元流傳輸到目的地裝置116。
圖2A和2B是示出示例四元樹二元樹(QTBT)結構130以及對應的編解碼樹單元(CTU)132的概念圖。實線表示四元樹拆分,而虛線指示二元樹拆分。在二元樹的每個拆分(即非葉)節點中,用訊號通知一個標誌以指示使用哪種拆分類型(即,水平或垂直),其中,在該示例中,0指示水平拆分,而1指示垂直拆分。對於四元樹拆分,由於四元樹節點將區塊水平地並且垂直地拆分為具有相等大小的4個子區塊,因此無需指示拆分類型。因此,視訊編碼器200可以對以下各項進行編碼,而視訊解碼器300可以對以下各項進行解碼:用於QTBT結構130的區域樹級別(即實線)的語法元素(諸如拆分資訊)、以及用於QTBT結構130的預測樹級別(即虛線)的語法元素(諸如拆分資訊)。視訊編碼器200可以對用於由QTBT結構130的終端葉節點表示的CU的視訊資料(諸如預測和變換資料)進行編碼,而視訊解碼器300可以對視訊資料進行解碼。
通常,圖2B的CTU 132可以與定義與QTBT結構130的處於第一和第二級別的節點相對應的區塊的大小的參數相關聯。這些參數可以包括CTU大小(表示樣本中的CTU 132的大小)、最小四元樹大小(MinQTSize,其表示最小允許四元樹葉節點大小)、最大二元樹大小(MaxBTSize,其表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth,其表示最大允許二元樹深度)、以及最小二元樹大小(MinBTSize,其表示最小允許二元樹葉節點大小)。
QTBT結構的與CTU相對應的根節點可以在QTBT結構的第一級別處具有四個子節點,每個子節點可以是根據四元樹分割來分割的。也就是說,第一級別的節點是葉節點(沒有子節點)或者具有四個子節點。QTBT結構130的示例將這樣的節點表示為包括具有實線分支的父節點和子節點。如果第一級別的節點不大於最大允許二元樹根節點大小(MaxBTSize),則可以通過相應的二元樹進一步對這些節點進行分割。可以對一個節點的二元樹拆分進行迭代,直到從拆分產生的節點達到最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)。QTBT結構130的示例將這樣的節點表示為具有虛線分支。二元樹葉節點被稱為編解碼單元(CU),其用於預測(例如,畫面內或畫面間預測)和變換,而不進行任何進一步分割。如上所討論的,CU也可以被稱為“視訊區塊”或“區塊”。
在QTBT分割結構的一個示例中,CTU大小被設置為128x128(亮度樣本和兩個對應的64x64色度樣本),MinQTSize被設置為16x16,MaxBTSize被設置為64x64,MinBTSize(對於寬度和高度兩者)被設置為4,並且MaxBTDepth被設置為4。首先對CTU應用四元樹分割以生成四元樹葉節點。四元樹葉節點可以具有從16x16(即MinQTSize)到128x128(即CTU大小)的大小。如果四元樹葉節點為128x128,則由於該大小超過MaxBTSize(即,在該示例中為64x64),因此葉四元樹節點將不被二元樹進一步拆分。否則,四元樹葉節點將被二元樹進一步分割。因此,四元樹葉節點也是用於二元樹的根節點,並且具有為0的二元樹深度。當二元樹深度達到MaxBTDepth(在該示例中為4)時,不允許進一步拆分。當二元樹節點具有等於MinBTSize(在該示例中為4)的寬度時,其意味著不允許進一步的垂直拆分。類似地,具有等於MinBTSize的高度的二元樹節點意味著不允許針對該二元樹節點進行進一步的水平拆分。如上所述,二元樹的葉節點被稱為CU,並且根據預測和變換而被進一步處理,而無需進一步分割。
圖3是示出可以執行本公開內容的技術的示例視訊編碼器200的方塊圖。圖3是出於解釋的目的而提供的,並且不應當被認為對在本公開內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的,本公開內容描述了根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術的視訊編碼器200。然而,本公開內容的技術可以由被配置為其它視訊編解碼標準的視訊編碼裝置來執行。
在圖3的示例中,視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差生成單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、解碼畫面緩衝器(DPB)218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差生成單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如,視訊編碼器200的單元可以被實現為一個或多個電路或邏輯元件,作為硬體電路的一部分,或者作為處理器、ASIC或FPGA的一部分。此外,視訊編碼器200可以包括額外或替代的處理器或處理電路以執行這些和其它功能。
視訊資料記憶體230可以儲存要由視訊編碼器200的組件來編碼的視訊資料。視訊編碼器200可以從例如視訊來源104(圖1)接收被儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當參考畫面記憶體,其儲存參考視訊資料以在由視訊編碼器200對後續視訊資料進行預測時使用。視訊資料記憶體230和DPB 218可以由各種記憶體裝置中的任何一種形成,諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、電阻性RAM(RRAM)、或其它類型的記憶體裝置。視訊資料記憶體230和DPB 218可以由相同的記憶體裝置或單獨的記憶體裝置來提供。在各個示例中,視訊資料記憶體230可以與視訊編碼器200的其它組件在晶片上(如圖所示),或者相對於那些組件在晶片外。
在本公開內容中,對視訊資料記憶體230的引用不應當被解釋為限於在視訊編碼器200內部的記憶體(除非如此具體地描述),或者不限於在視訊編碼器200外部的記憶體(除非如此具體地描述)。確切而言,對視訊資料記憶體230的引用應當被理解為儲存視訊編碼器200接收以用於編碼的視訊資料(例如,用於要被編碼的當前區塊的視訊資料)的參考記憶體。圖1的記憶體106還可以提供對來自視訊編碼器200的各個單元的輸出的臨時儲存。
示出了圖3的各個單元以幫助理解由視訊編碼器200執行的操作。這些單元可以被實現為固定功能電路、可程式化電路、或其組合。固定功能電路指代提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指代可以被程式化以執行各種任務並且以可以執行的操作來提供靈活功能的電路。例如,可程式化電路可以執行軟體或韌體,軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作類型通常是不可變的。在一些示例中,這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可程式化),並且在一些示例中,這些單元中的一個或多個單元可以是積體電路。
視訊編碼器200可以包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路和/或可程式化核。在其中使用由可程式化電路執行的軟體來執行視訊編碼器200的操作的示例中,記憶體106(圖1)可以儲存視訊編碼器200接收並且執行的軟體的指令(例如,目標碼),或者視訊編碼器200內的另一記憶體(未示出)可以儲存這樣的指令。
視訊資料記憶體230被配置為儲存所接收的視訊資料。視訊編碼器200可以從視訊資料記憶體230取回視訊資料的畫面,並且將視訊資料提供給殘差生成單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是要被編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和幀內預測單元226。模式選擇單元202可以包括額外功能單元,其根據其它預測模式來執行視訊預測。作為示例,模式選擇單元202可以包括調色板單元、區塊內複製單元(其可以是運動估計單元222和/或運動補償單元224的一部分)、仿射單元、線性模型(LM)單元等。
模式選擇單元202通常協調多個編碼通路(pass),以測試編碼參數的組合以及針對這樣的組合所得到的率失真值。編碼參數可以包括將CTU分割為CU、用於CU的預測模式、用於CU的殘差資料的變換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇編碼參數的具有比其它測試的組合更佳的率失真值的組合。
在一些示例中,模式選擇單元202可以確定可以由熵編碼單元220編碼為位元流的參數集。例如,模式選擇單元202可以確定序列參數集和視訊參數集。
在一些示例中,模式選擇單元202可以確定視訊資料的序列參數集是否引用視訊參數集。基於序列參數集沒有引用視訊參數集,模式選擇單元202可以確定第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的。
在一些示例中,模式選擇單元202可以確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元。基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,模式選擇單元202可以確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面。
視訊編碼器200可以將從視訊資料記憶體230取回的畫面分割為一系列CTU,並且將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構(諸如上述HEVC的QTBT結構或四元樹結構)來分割畫面的CTU。如上所述,視訊編碼器200可以通過根據樹結構來分割CTU,從而形成一個或多個CU。這樣的CU通常也可以被稱為“視訊區塊”或“區塊”。
通常,模式選擇單元202還控制其組件(例如,運動估計單元222、運動補償單元224和幀內預測單元226)以生成用於當前區塊(例如,當前CU,或者在HEVC中為PU和TU的重疊部分)的預測區塊。為了對當前區塊進行幀間預測,運動估計單元222可以執行運動搜索以識別在一個或多個參考畫面(例如,被儲存在DPB 218中的一個或多個先前編解碼的畫面)中的一個或多個緊密匹配的參考區塊。具體地,運動估計單元222可以例如根據絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)等,來計算表示潛在參考區塊將與當前區塊的類似程度的值。運動估計單元222通常可以使用在當前區塊與所考慮的參考區塊之間的逐樣本差來執行這些計算。運動估計單元222可以識別從這些計算所得到的具有最低值的參考區塊,其指示與當前區塊最緊密匹配的參考區塊。
運動估計單元222可以形成一個或多個運動向量(MV),所述運動向量限定相對於當前區塊在當前畫面中的位置而言參考區塊在參考畫面中的的位置。然後,運動估計單元222可以將運動向量提供給運動補償單元224。例如,對於單向幀間預測,運動估計單元222可以提供單個運動向量,而對於雙向幀間預測,運動估計單元222可以提供兩個運動向量。然後,運動補償單元224可以使用運動向量來生成預測區塊。例如,運動補償單元224可以使用運動向量來取回參考區塊的資料。作為另一示例,如果運動向量具有分數樣本精度,則運動補償單元224可以根據一個或多個插值濾波器來對用於預測區塊的值進行插值。此外,對於雙向幀間預測,運動補償單元224可以取回用於由相應的運動向量標識的兩個參考區塊的資料並且例如通過逐樣本平均或加權平均來將所取回的資料進行組合。
作為另一示例,對於幀內預測或幀內預測編解碼,幀內預測單元226可以根據與當前區塊相鄰的樣本來生成預測區塊。例如,對於方向性模式,幀內預測單元226通常可以在數學上將相鄰樣本的值進行組合,並且跨當前區塊在所定義的方向上填充這些計算出的值以產生預測區塊。作為另一示例,對於DC模式,幀內預測單元226可以計算當前區塊的相鄰樣本的平均值,並且生成預測區塊以包括針對預測區塊的每個樣本的該得到的平均值。
模式選擇單元202將預測區塊提供給殘差生成單元204。殘差生成單元204從視訊資料記憶體230接收當前區塊的原始的未經編碼的版本,並且從模式選擇單元202接收預測區塊。殘差生成單元204計算在當前區塊與預測區塊之間的逐樣本差。所得到的逐樣本差定義了用於當前區塊的殘差區塊。在一些示例中,殘差生成單元204可以確定殘差區塊中的樣本值之間的差,以使用殘差差分脈衝編碼調變(RDPCM)來生成殘差區塊。在一些示例中,可以使用執行二進制減法的一個或多個減法器電路來形成殘差生成單元204。
在其中模式選擇單元202將CU分割為PU的示例中,每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支持具有各種大小的PU。如上所指出的,CU的大小可以指代CU的亮度編解碼區塊的大小,而PU的大小可以指代PU的亮度預測單元的大小。假定特定CU的大小為2Nx2N,則視訊編碼器200可以支持用於幀內預測的2Nx2N或NxN的PU大小、以及用於幀間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視訊編碼器200和視訊解碼器300還可以支持針對用於幀間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。
在其中模式選擇單元202不將CU進一步分割為PU的示例中,每個CU可以與亮度編解碼區塊和對應的色度編解碼區塊相關聯。如上所述,CU的大小可以指代CU的亮度編解碼區塊的大小。視訊編碼器200和視訊解碼器300可以支持2Nx2N、2NxN 或 Nx2N 的CU大小。
對於其它視訊編解碼技術(舉幾個示例,諸如區塊內複製模式編解碼、仿射模式編解碼和線性模型(LM)模式編解碼),模式選擇單元202經由與編解碼技術相關聯的相應單元來生成用於正被編碼的當前區塊的預測區塊。在一些示例中(諸如調色板模式編解碼),模式選擇單元202可以不生成預測區塊,而是替代地生成指示基於所選擇的調色板來重構區塊的方式的語法元素。在這樣的模式下,模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。
如上所述,殘差生成單元204接收用於當前區塊和對應的預測區塊的視訊資料。然後,殘差生成單元204為當前區塊生成殘差區塊。為了生成殘差區塊,殘差生成單元204計算在預測區塊與當前區塊之間的逐樣本差。
變換處理單元206將一種或多種變換應用於殘差區塊,以生成變換係數的區塊(本文中被稱為“變換係數區塊”)。變換處理單元206可以將各種變換應用於殘差區塊,以形成變換係數區塊。例如,變換處理單元206可以將離散餘弦變換(DCT)、方向變換、Karhunen-Loeve變換(KLT)、或概念上類似的變換應用於殘差區塊。在一些示例中,變換處理單元206可以對殘差區塊執行多種變換,例如,初級變換和二次變換(諸如旋轉變換)。在一些示例中,變換處理單元206不對殘差區塊應用變換。
量化單元208可以對變換係數區塊中的變換係數進行量化,以產生經量化的變換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數(QP)值來對變換係數區塊的變換係數進行量化。視訊編碼器200(例如,經由模式選擇單元202)可以通過調整與CU相關聯的QP值來調整被應用於與當前區塊相關聯的變換係數區塊的量化程度。量化可能引起資訊損失,並且因此,經量化的變換係數可能具有與變換處理單元206所產生的原始變換係數相比較低的精度。
逆量化單元210和逆變換處理單元212可以將逆量化和逆變換分別應用於經量化的變換係數區塊,以從變換係數區塊重構殘差區塊。重構單元214可以基於經重構的殘差區塊和由模式選擇單元202生成的預測區塊來產生與當前區塊相對應的重構區塊(儘管潛在地具有某種程度的失真)。例如,重構單元214可以將經重構的殘差區塊的樣本與來自模式選擇單元202所生成的預測區塊的對應樣本相加,以產生經重構的區塊。
濾波器單元216可以對經重構的區塊執行一個或多個濾波器操作。例如,濾波器單元216可以執行去區塊操作以減少沿著CU的邊緣的區塊效應偽影。在一些示例中,可以跳過濾波器單元216的操作。
視訊編碼器200將經重構的區塊儲存在DPB 218中。例如,在其中不需要濾波器單元216的操作的示例中,重構單元214可以將經重構的區塊儲存到DPB 218中。在其中需要濾波器單元216的操作的示例中,濾波器單元216可以將經濾波的重構區塊儲存到DPB 218中。運動估計單元222和運動補償單元224可以從DPB 218取回由經重構的(並且潛在地經濾波的)區塊形成的參考畫面,以對後續編碼的畫面的區塊進行幀間預測。另外,幀內預測單元226可以使用在DPB 218中的當前畫面的經重構的區塊來對當前畫面中的其它區塊進行幀內預測。
通常,熵編碼單元220可以對從視訊編碼器200的其它功能組件接收的語法元素進行熵編碼。例如,熵編碼單元220可以對來自量化單元208的經量化的變換係數區塊進行熵編碼。作為另一示例,熵編碼單元220可以對來自模式選擇單元202的預測語法元素(例如,用於幀間預測的運動資訊或用於幀內預測的幀內模式資訊)進行熵編碼。熵編碼單元220可以對作為視訊資料的另一示例的語法元素執行一個或多個熵編碼操作,以生成經熵編碼的資料。例如,熵編碼單元220可以執行上下文自適應變長編解碼(CAVLC)操作、CABAC操作、可變-可變(V2V)長度編解碼操作、基於語法的上下文自適應二進制算術編解碼(SBAC)操作、機率區間分割熵(PIPE)編解碼操作、指數哥倫布編碼操作、或對資料的另一種類型的熵編碼操作。在一些示例中,熵編碼單元220可以在其中語法元素未被熵編碼的旁路模式下操作。
視訊編碼器200可以輸出位元流,其包括用於重構切片或畫面的區塊所需要的經熵編碼的語法元素。具體地,熵編碼單元220可以輸出位元流。
關於區塊描述了上述操作。這樣的描述應當被理解為用於亮度編解碼區塊和/或色度編解碼區塊的操作。如上所述,在一些示例中,亮度編解碼區塊和色度編解碼區塊是CU的亮度分量和色度分量。在一些示例中,亮度編解碼區塊和色度編解碼區塊是PU的亮度分量和色度分量。
在一些示例中,不需要針對色度編解碼區塊重複關於亮度編碼區塊執行的操作。作為一個示例,不需要重多工用於識別用於亮度編解碼區塊的運動向量(MV)和參考畫面的操作來識別用於色度區塊的MV和參考畫面。確切而言,可以對用於亮度編解碼區塊的MV進行縮放以確定用於色度區塊的MV,並且參考畫面可以是相同的。作為另一示例,對於亮度編解碼區塊和色度編解碼區塊,幀內預測過程可以是相同的。
視訊編碼器200表示被配置為對視訊資料進行編碼的裝置的示例,該裝置包括:被配置為儲存視訊資料的記憶體;以及在電路中實現並且通訊地耦合到記憶體的一個或多個處理器,一個或多個處理器被配置為:確定視訊資料的序列參數集是否引用視訊參數集;基於序列參數集沒有引用視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的;以及基於設定檔-層級-層結構來對視訊資料進行編碼。
視訊編碼器200還表示被配置為對視訊資料進行編碼的裝置的示例,該裝置包括:被配置為儲存視訊資料的記憶體;以及在電路中實現並且通訊地耦合到記憶體的一個或多個處理器,一個或多個處理器被配置為:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編碼的情況下對編解碼層視訊序列的視訊資料進行編碼。
圖4是示出可以執行本公開內容的技術的示例視訊解碼器300的方塊圖。圖4是出於解釋的目的而提供的,並且不對在本公開內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的,本公開內容根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術描述了視訊解碼器300。然而,本公開內容的技術可以由被配置用於其它視訊編解碼標準的視訊編解碼裝置來執行。
在圖4的示例中,視訊解碼器300包括編解碼畫面緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和解碼畫面緩衝器(DPB)134。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和DPB 134中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如,視訊解碼器300的單元可以被實現為一個或多個電路或邏輯元件,作為硬體電路的一部分,或者作為處理器、ASIC或FPGA的一部分。此外,視訊解碼器300可以包括額外或替代的處理器或處理電路以執行這些和其它功能。
預測處理單元304包括運動補償單元316和幀內預測單元318。預測處理單元304可以包括加法單元,其根據其它預測模式來執行預測。作為示例,預測處理單元304可以包括調色板單元、區塊內複製單元(其可以形成運動補償單元316的一部分)、仿射單元、線性模型(LM)單元等。在其它示例中,視訊解碼器300可以包括更多、更少或不同的功能組件。
CPB記憶體320可以儲存要由視訊解碼器300的組件解碼的視訊資料,諸如經編碼的視訊位元流。例如,可以從電腦可讀媒體110(圖1)獲得被儲存在CPB記憶體320中的視訊資料。CPB記憶體320可以包括儲存來自經編碼的視訊位元流的經編碼的視訊資料(例如,語法元素)的CPB。此外,CPB記憶體320可以儲存除了經編解碼的畫面的語法元素之外的視訊資料,諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的畫面,視訊解碼器300可以輸出經解碼的畫面,和/或在解碼經編碼的視訊位元流的後續資料或畫面時使用經解碼的畫面作為參考視訊資料。CPB記憶體320和DPB 314可以由各種記憶體裝置中的任何一種形成,諸如DRAM,包括SDRAM、MRAM、RRAM或其它類型的記憶體裝置。CPB記憶體320和DPB 314可以由相同的記憶體裝置或單獨的記憶體裝置來提供。在各個示例中,CPB記憶體320可以與視訊解碼器300的其它組件在晶片上,或者相對於那些組件在晶片外。
另外或替代地,在一些示例中,視訊解碼器300可以從記憶體120(圖1)取回經編解碼的視訊資料。也就是說,記憶體120可以如上文所討論地利用CPB記憶體320來儲存資料。同樣,當視訊解碼器300的一些或全部功能是用要被視訊解碼器300的處理電路執行的軟體來實現時,記憶體120可以儲存要被視訊解碼器300執行的指令。
示出了圖4中示出的各個單元以幫助理解由視訊解碼器300執行的操作。這些單元可以被實現為固定功能電路、可程式化電路、或其組合。類似於圖3,固定功能電路指代提供特定功能並且關於可以執行的操作而預先設置的電路。可程式化電路指代可以被程式化以執行各種任務並且以可以執行的操作來提供靈活功能的電路。例如,可程式化電路可以執行軟體或韌體,軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作的類型通常是不可變的。在一些示例中,這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可程式化),並且在一些示例中,這些單元中的一個或多個單元可以是積體電路。
視訊解碼器300可以包括由可程式化電路形成的ALU、EFU、數位電路、類比電路和/或可程式化核。在其中由在可程式化電路上執行的軟體執行視訊解碼器300的操作的示例中,片上或片外記憶體可以儲存視訊解碼器300接收並且執行的軟體的指令(例如,目標碼)。
熵解碼單元302可以從CPB接收經編碼的視訊資料,並且對視訊資料進行熵解碼以重現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波器單元312可以基於從位元流中提取的語法元素來生成經解碼的視訊資料。
通常,視訊解碼器300逐區塊地重構畫面。視訊解碼器300可以單獨地對每個區塊執行重構操作(其中,當前正在被重構(即,被解碼)的區塊可以被稱為“當前區塊”)。
熵解碼單元302可以對定義經量化的變換係數區塊的經量化的變換係數的語法元素以及諸如量化參數(QP)和/或變換模式指示之類的變換資訊進行熵解碼。逆量化單元306可以使用與經量化的變換係數區塊相關聯的QP來確定量化程度,並且同樣地,確定供逆量化單元306應用的逆量化程度。逆量化單元306可以例如執行按位左移操作以對經量化的變換係數進行逆量化。逆量化單元306從而可以形成包括變換係數的變換係數區塊。
在逆量化單元306形成變換係數區塊之後,逆變換處理單元308可以將一種或多種逆變換應用於變換係數區塊,以生成與當前區塊相關聯的殘差區塊。例如,逆變換處理單元308可以將逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆方向變換或另一逆變換應用於變換係數區塊。
此外,預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來生成預測區塊。例如,如果預測資訊語法元素指示當前區塊是經幀間預測的,則運動補償單元316可以生成預測區塊。在這種情況下,預測資訊語法元素可以指示在DPB 314中的要從其取回參考區塊的參考畫面、以及標識相對於當前區塊在當前畫面中的位置而言參考區塊在參考畫面中的位置的運動向量。運動補償單元316通常可以以與關於運動補償單元224(圖3)所描述的方式基本類似的方式來執行幀間預測過程。
作為另一示例,如果預測資訊語法元素指示當前區塊是經幀內預測的,則幀內預測單元318可以根據由預測資訊語法元素指示的幀內預測模式來生成預測區塊。再次,幀內預測單元318通常可以以與關於幀內預測單元226(圖3)所描述的方式基本上類似的方式來執行幀內預測過程。幀內預測單元318可以從DPB 314取回當前區塊的相鄰樣本的資料。
在一些示例中,熵解碼單元302可以對經編碼的視訊位元流進行解碼,並且預測處理單元304可以從經編碼的視訊位元流確定參數集。例如,預測處理單元304可以確定序列參數集和視訊參數集。
在一些示例中,預測處理單元304可以確定視訊資料的序列參數集是否引用視訊參數集。基於序列參數集沒有引用視訊參數集,預測處理單元304可以確定第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的。第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的可以是基於序列參數集沒有引用視訊參數集,因為視訊編碼器200可以這樣設置第一語法元素的值以滿足位元流一致性要求。
在一些示例中,預測處理單元304可以確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元。基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,預測處理單元304可以確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面。第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面可以是基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,因為視訊編碼器200可以這樣設置第一語法元素的值以滿足位元流一致性要求。
重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如,重構單元310可以將殘差區塊的樣本與預測區塊的對應樣本相加來重構當前區塊。
濾波器單元312可以對經重構的區塊執行一個或多個濾波器操作。例如,濾波器單元312可以執行去區塊操作以減少沿著經重構的區塊的邊緣的區塊效應偽影。不一定在所有示例中都執行濾波器單元312的操作。
視訊解碼器300可以將經重構的區塊儲存在DPB 314中。例如,在其中不執行濾波器單元312的操作的示例中,重構單元310可以將經重構的區塊儲存到DPB 314中。在其中執行濾波器單元312的操作的示例中,濾波器單元312可以將經濾波的重構區塊儲存到DPB 314中。如上所討論的,DPB 314可以將參考資訊(諸如用於幀內預測的當前畫面以及用於後續運動補償的先前解碼的畫面的樣本)提供給預測處理單元304。此外,視訊解碼器300可以從DPB 314輸出經解碼的畫面(例如,經解碼的視訊),以用於在諸如圖1的顯示裝置118之類的顯示裝置上的後續呈現。
以這種方式,視訊解碼器300表示視訊資料解碼裝置的示例,該視訊解碼裝置包括:被配置為儲存視訊資料的記憶體;以及在電路中實現並且通訊地耦合到記憶體的一個或多個處理器,一個或多個處理器被配置為:確定視訊資料的序列參數集是否引用視訊參數集;基於序列參數集沒有引用視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在序列參數集中用訊號通知的;以及基於設定檔-層級-層結構來對視訊資料進行解碼。
視訊編碼器300還表示被配置為對視訊資料進行解碼的裝置的示例,該裝置包括:被配置為儲存視訊資料的記憶體;以及在電路中實現並且通訊地耦合到記憶體的一個或多個處理器,一個或多個處理器被配置為:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編碼的情況下對編解碼層視訊序列的視訊資料進行解碼。
如上所述,本公開內容描述了相比于現有技術而言用於改進視訊編解碼中的訊號傳遞的技術。這些現有技術可以是在通用視訊編解碼(VVC)標準的草案中闡述的技術。ITU-T和ISO/IEC的聯合視訊專家組(JVET)已經開發了VVC,以實現超過HEVC的顯著壓縮能力以用於拓寬的應用範圍。VVC草案8規定了歸一化的位元流和畫面格式、高級語法(HLS)和語義以及解析和解碼過程。VVC草案8還在附錄中規定了設定檔/層級/級別(PTL)限制、字節流格式、假設參考解碼器和補充增強資訊(SEI)。
VVC草案8從HEVC繼承了多個高級特徵,諸如網路抽象層(NAL)單元和參數集概念、圖塊和波前並行處理、分層編解碼、以及將SEI訊息用於補充資料訊號傳遞。在VVC草案8中包括額外新的高級特徵,包括矩形切片和子畫面概念、畫面分辨率適配、混合NAL單元類型、畫面標頭、逐步解碼刷新(GDR)畫面、虛擬邊界、以及用於參考畫面管理的參考畫面列表(RPL)。
在VVC草案8中支持子畫面概念,以解決360度視訊應用,諸如在以下文檔中規定的取決於視埠的串流傳輸:ISO/IEC JTC1/SC29/WG11 N19042,“Text of ISO/IEC DIS 23090-2 2nd edition OMAF”,2020年1月(以下稱為“OMAF”)。OMAF代表全景媒體格式。
畫面可以被劃分為一個或多個圖塊行和一個或多個圖塊列。圖塊是一系列CTU,其覆蓋畫面的矩形區域。光柵掃描切片包含在畫面的圖塊光柵掃描中的一系列完整的圖塊。矩形切片包含共同形成畫面的矩形區域的多個完整的圖塊、或者一個圖塊的共同形成畫面的矩形區域的多個連續的完整CTU行。子畫面包含共同覆蓋畫面的矩形區域的一個或多個矩形切片。因此,每個子畫面邊界也是切片邊界,並且每個垂直子畫面邊界也是垂直的圖塊邊界。
圖5是示出畫面的子畫面分割的示例的概念圖。在圖5的示例中,CTU由長虛線表示,圖塊由實線表示,切片由點線表示,並且子畫面由中等虛線表示。在該示例中,其中畫面包含4x6個CTU,並且被分割為6個圖塊(400、402、404、406、408和410),即在左手側的2個圖塊(400和402)(覆蓋16個CTU的一個切片)、在右手側的4個圖塊(404、406、408和410)(各自覆蓋1x2個CTU的2個垂直堆疊切片),總共產生9個切片和6個子畫面。
視訊編碼器200可以基於CTU來在SPS中顯式地用訊號通知子畫面佈局。在VVC草案8中,當使用子畫面時,不支持逐編解碼層視訊序列(CLVS)中的畫面分辨率變化。視訊編碼器200可以在SPS或PPS中(但不是在這兩者中)用訊號通知子畫面識別碼(ID)映射。當視訊編碼器200沒有顯式地用訊號通知子畫面ID時,視訊解碼器300可以使用子畫面索引作為子畫面ID。
當子畫面可用時,切片標頭攜帶slice_subpic_id語法元素以標識包含該切片的子畫面,並且slice_address是子畫面級別切片索引。可以將畫面級別切片索引和子畫面級別切片索引對齊,使得畫面級別切片索引和子畫面級別切片索引是按照對應於解碼順序的順序的。
畫面的切片和子畫面的形狀可以使得每個CTU在被解碼時具有CTU的整個左邊界和整個頂部邊界,這些邊界是畫面邊界或者是先前解碼的CTU的邊界。
當畫面是使用三個單獨的色彩平面來編解碼的時(separate_colour_plane_flag等於1),切片僅包含由colour_plane_id語法元素的對應值標識的一個色彩分量的CTU。視訊編碼器200可以在如下的約束下,將畫面內的具有colour_plane_id的不同值的經編解碼的切片彼此交錯:針對colour_plane_id的每個值,具有colour_plane_id的該值的經編解碼的切片NAL單元可以在針對每個經編解碼的切片NAL單元的第一CTU的圖塊掃描順序中是按照增加CTU地址的順序的。
現在討論VVC草案8的子畫面設計的多個缺點。一個這樣的缺點是子畫面存在訊號傳遞。VVC草案8要求視訊編碼器(諸如視訊編碼器200)始終在SPS中用訊號通知子畫面存在標誌,並且保持子畫面佈局在CLVS上是靜態的。由於當在CLVS中啟用畫面分辨率變化時不允許子畫面,因此子畫面存在標誌可能是有條件的。在VVC視訊編解碼器的將來版本中,子畫面佈局訊號傳遞可以被設計為處置圖像分辨率變化。
現在討論子畫面ID映射訊號傳遞。根據VVC草案8,視訊編碼器(諸如視訊編碼器200)可以在SPS或PPS中用訊號通知子畫面ID語法元素,並且切片標頭攜帶子畫面ID以標識包含該切片的子畫面。視訊編碼器200可以在PPS中用訊號通知子畫面映射ID以解決子畫面提取和重新定位場景。在這種情況下,視訊編碼器200可以不時地在PPS中用訊號通知所有子畫面的ID,即使大多數子畫面的位置和ID是一致的(例如,不重新排序)(在取決於視埠的串流傳輸情況期間)。對於常見情況而言,可能有益的是,用訊號通知僅用於其順序(例如,顯示順序、解碼順序或其它順序)被改變的那些子畫面的ID,以節省訊號傳遞位元(減少訊號傳遞開銷)。換句話說,為了節省訊號傳遞位元,視訊編碼器200可以僅用訊號通知用於其順序被改變的那些子畫面的子畫面ID和/或子畫面映射ID。
現在討論跨越子畫面的環路濾波。環路濾波可以用於減少區塊效應失真。loop_filter_across_subpic_enabled_flag[ i ](指示是否啟用跨越子畫面的環路濾波的語法元素)的語義如下。loop_filter_across_subpic_enabled_flag [ i ]等於1指定可以跨越CLVS中的每個經編解碼的畫面中的第i子畫面的邊界而執行環路內濾波操作。loop_filter_across_subpic_enabled_flag[ i ]等於0指定跨越CLVS中的每個經編解碼的畫面中的第i 子畫面的邊界不執行環路內濾波操作。當不存在時,推斷loop_filter_across_subpic_enabled_pic_flag[ i ]的值等於1 − sps_independent_subpics_flag。因此,如果在位元流中不存在loop_filter_across_subpic_enabled_pic_flag[ i ],視訊解碼器300可以推斷loop_filter_across_subpic_enabled_pic_flag[ i ]的值等於1 − sps_independent_subpics_flag。sps_independent_subpics_flag指示CLVS中的所有子畫面邊界是否被視為畫面邊界以及是否允許跨越子畫面邊界的環路濾波。
當所有子畫面被獨立地編解碼時,環路濾波不適用於子畫面邊界。然而,當個體子畫面被獨立地編解碼時,環路濾波可以適用或者可以不適用於子畫面邊界。loop_filter_across_subpic_enabled_flag[ i ]可以是以subpic_treated_as_pic_flag[ i ]一致為條件的。subpic_treated_as_pic_flag[ i ]可以指示CLVS中的每個經編解碼的畫面的第i子畫面是否被視為解碼過程(不包括環路內濾波操作)中的畫面。
現在討論SPS中的設定檔-層級-級別(PTL)訊號傳遞。在VVC草案8中,SPS中的語法元素sps_ptl_dpb_hrd_params_present_flag的值可以是0或1,而沒有約束。sps_ptl_dpb_hrd_params_present_flag可以指示在SPS中是否存在profile_tier_level( )語法結構和dpb_parameters( )語法結構,並且在SPS中還可以存在general_timing_hrd_parameters( )語法結構和ols_timing_hrd_parameters( )語法結構。當sps_video_parameter_set_id等於0時,SPS沒有引用視訊參數集(VPS),並且編解碼視訊序列(CVS)僅包含一個層。當在解碼引用SPS的每個CLVS時沒有引用VPS的情況下,在SPS中存在PTL語法結構。
現在討論切片標頭中的畫面標頭。VVC草案8允許切片標頭(SH)攜帶畫面標頭(PH)語法結構,而沒有約束。針對這種允許的最初動機是合併PH和SH以用於常見情況(諸如在存在每畫面一個切片的情況下)。然而,可能期望位元流一致性要求以限制SH中的PH,從而避免在多個SH中複製PH語法結構。針對每畫面單個切片的情況而允許SH中的PH的額外益處是允許容易的畫面邊界檢測(因為在VVC草案8中禁止PH重複)。此外,針對多個經編解碼的切片,可以約束PH語法結構的內容。
現在討論PPS ID長度。VVC草案8用ue(v)(例如,可變長度)來規定PPS ID資料類型,這與在HEVC中規定的是相同的。儘管在HEVC中SPS ID資料類型為ue(v),但是在VVC草案8中SPS ID資料類型被改變為u(4)(例如,4個位元)。根據VVC草案8,由於pps_pic_parameter_set_id的值應在0到63(含)的範圍內,因此可能有益的是,用u(6)(例如,6個位元)來定義PPS ID資料類型以簡化PPS解析過程。
現在討論對圖塊列的一般級別限制。如表1所示,在根據HEVC和VVC草案8的一般層級和級別限制中,圖塊列的最大數量小於圖塊行的最大數量。VVC草案8將每個子畫面邊界始終約束為切片邊界,並且每個垂直子畫面邊界始終約束為垂直圖塊邊界。對於等矩形投影畫面,子畫面可以覆蓋18度的給定MaxTileCols 20的最小方位角範圍,同時子畫面可以覆蓋8度的給定MaxTileRows 22的仰角範圍、或者甚至更小的仰角區域,因為最小子畫面高度可以等於CTU行高度。可能期望的是,增加MaxTileCols以滿足視埠自適應串流要求。 表1 一般層級和級別限制
級别 l 最大 亮度畫面大小 MaxLumaPs ( 樣本 ) 最大 CPB 大小 MaxCPB (CpbVclFactor CpbNalFactor 位元 ) 每畫面的最大切片 MaxSlicesPerPicture 圖塊行的最大數量 MaxTileRows 圖塊列的最大數量 MaxTileCols
主層級 層級
1 36 864 350 - 16 1 1
2 122 880 1 500 - 16 1 1
2.1 245 760 3 000 - 20 1 1
3 552 960 6 000 - 30 2 2
3.1 983 040 10 000 - 40 3 3
4 2 228 224 12 000 30 000 75 5 5
4.1 2 228 224 20 000 50 000 75 5 5
5 8 912 896 25 000 100 000 200 11 10
5.1 8 912 896 40 000 160 000 200 11 10
5.2 8 912 896 60 000 240 000 200 11 10
6 35 651 584 60 000 240 000 600 22 20
6.1 35 651 584 120 000 480 000 600 22 20
6.2 35 651 584 240 000 800 000 600 22 20
本公開內容描述了子畫面數量和其它訊號傳遞和語法變化,這些變化可以是對VVC草案8的改進。一種這樣的改進可以是針對子畫面存在標誌。VVC草案8規定了:當res_change_in_clvs_allowed_flag等於1時,指示是否存在子畫面資訊的subpic_info_present_flag的值應等於0。可能期望的是,使得subpic_info_present_flag的存在以res_change_in_clvs_allowed_flag為條件,如表2所示。對VVC草案8的修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。 表2 提議的subpic_info_present_flag的條件
seq_parameter_set_rbsp( ) { 描述符
 
res_change_in_clvs_allowed_flag u(1)
ue(v)
sps_log2_ctu_size_minus5 u(2)
   <CHANGE> if ( !res_change_in_clvs_allowed_flag ) { </CHANGE>  
subpic_info_present_flag u(1)
      if( subpic_info_present_flag ) {  
        sps_ num_subpics_minus1 ue(v)
         …  
      }  
   <CHANGE> } </CHANGE>  
   …  
}  
可以如下更新在VVC草案8中的subpic_info_present_flag的語義。修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。
subpic_info_present_flag等於1指定:存在用於CLVS的子畫面資訊,並且在CLVS的每個畫面中可以存在一個或多個子畫面。subpic_info_present_flag等於0指定:不存在用於CLVS的子畫面資訊,並且在CLVS的每個畫面中僅存在一個子畫面。<CHANGE>當不存在時,推斷subpic_info_present_flag的值等於0。</CHANGE>
例如,如果不存在subpic_info_present_flag,則視訊解碼器300可以推斷subpic_info_present_flag為0。
如果將來支持分辨率變化和子畫面兩者,則VVC草案8靜態子畫面佈局訊號傳遞方法可能是不夠的。本公開內容描述了在SPS中的額外標誌,其可以在SPS subpic_info_present_flag等於1時指示在SPS還是PPS中用訊號通知子畫面資訊語法結構。當在PPS中用訊號通知子畫面資訊語法結構時,每個子畫面的左上方位置的語法元素的長度是基於上限函數Ceil( Log2( ( pic_width_in_luma_samples + CtbSizeY  − 1 )  >>  CtbLog2SizeY ) )和Ceil( Log2( ( pic_height_ in_luma_samples + CtbSizeY − 1 )  >>  CtbLog2SizeY ) )個位元。
在另一示例中,可以在PPS中用訊號通知覆蓋標誌,以覆蓋PPS中的子畫面佈局的值和語法元素的屬性。
現在討論子畫面ID映射訊號傳遞。對於視埠自適應串流,視訊編碼器200或視訊解碼器300可以更新子畫面子集以匹配觀看朝向變化,並且這種變化通常可能是細微的。圖6是示出取決於OMAF視埠的示例的概念圖。在圖6的示例中,視訊解碼器300可以提取和合併高分辨率子畫面和低分辨率子畫面,以匹配在時間t1處的觀看朝向。在時間t2處,觀看者朝向變化,相應地在萃取器軌道中,高分辨率子畫面#14、#15、#20和#21替換先前的高分辨率子畫面#2、#3、#8和#9,以及低分辨率子畫面#26、#27、#32和#34替換先前的低分辨率子畫面38#、#39、#44和#45。在這個示例中,僅替換了24個子畫面中的8個子畫面。被替換的子畫面的百分比可以取決於子畫面分割粒度和觀看朝向移動速度。
根據VVC草案8,視訊編碼器200在PPS中用訊號通知所有子畫面ID,以用於動態子畫面變化。假設在一個畫面中可以存在96個子畫面以及可以存在最多64個PPS,則可能期望訊號傳遞開銷的減少。
本公開內容描述了用於在SPS中用訊號通知子畫面ID映射以及覆蓋在PPS中的一些或所有ID的子畫面ID覆蓋方案。對VVC草案8的删除的開始用<DELETE>來標記,並且删除的結束用</DELETE>來標記。其它修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。 表3 提議的PPS子畫面ID覆蓋
pic_parameter_set_rbsp( ) { 描述符
   …  
   <DELETE>subpic_id_mapping_in_pps_flag </DELETE> <CHANGE>pps_ subpic_id_override_enable_flag </CHANGE> u(1)
   <CHANGE> if( subpic_id_override_enable_flag ) { </CHANGE>  
     pps_num_subpics ue(v)
     pps_subpic_id_len_minus1 ue(v)
      <CHANGE>pps_subpic_idx_present_flag </ CHANGE> u(1)
      for( i = 0; <DELETE>i  <=  pps_num_subpic_minus1 </DELETE> <CHANGE> i < pps_num_subpics </CHANGE>; i++ ) {  
         <CHANGE> if( pps_subpic_idx_present_flag )  
           pps_subpic_idx [ i ] </CHANGE> u(v)
        pps_subpic_id [ i ] u(v)
      }  
   <CHANGE> } </CHANGE>  
   …  
}  
pps_subpic_id_override_enable_flag 等於1指定在PPS中存在pps_num_subpics_minus1、pps_subpic_id_len_minus1和pps_subpic_idx_present_flag。pps_subpic_id_override_enable_flag等於0指定在PPS中不存在pps_num_subpics_minus1、pps_subpic_id_len_minus1和pps_subpic_idx_present_flag。pps_num_subpics 指定在PPS中顯式地用訊號通知的子畫面ID的數量。當不存在時,推斷pps_num_subpics的值等於0。pps_subpic_idx_present_flag 等於1指定在PPS中存在pps_subpic_idx[ i ]。pps_subpic_idx_present_flag等於0指定在PPS中不存在pps_subpic_idx[ i ]。pps_subpic_idx [ i ]指定第i子畫面的索引。當不存在時,推斷pps_subpic_idx[ i ]的值等於i。pps_subpic_idx[ i ]語法元素的長度是Ceil( Log2( pps_num_subpics ) )個位元。pps_subpic_id [ i ]指定第( pps_subpic_idx[ i ] )子畫面的子畫面ID。pps_subpic_id[ i ]語法元素的長度是pps_subpic_id_len_minus1 + 1個位元。 針對i的每個值(在0到sps_num_subpics_minus1(含)的範圍內),如下推導變量SubpicIdVal[ i ]: for( i = 0; i  <=  sps_num_subpics_minus1; i++ ) SubpicIdVal[ i ] = subpic_id_mapping_in_sps_flag ? sps_subpic_id[ i ] : i if ( pps_subpic_id_override_enable_flag ) for( i = 0; i  <  pps_num_subpics; i++ ) SubpicIdVal[ pps_subpic_idx[ i ] ] = pps_subpic_id[ i ]
在另一示例中,可以不用訊號通知子畫面索引。視訊編碼器200可以在PPS中用訊號通知前N個子畫面ID,其中第( N – 1 )子畫面ID是其ID被改變的最後一個子畫面。
在表4中示出了提議的子畫面ID映射覆蓋語法。修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。 4 提議的 PPS 語法
pic_parameter_set_rbsp( ) { 描述符
   …  
  subpic_id_mapping _<CHANGE>override </CHANGE>_in_pps_flag u(1)
   if( subpic_id_mapping_<CHANGE>override</CHANGE>_in_pps_flag ) {  
     pps_num_subpics_minus1 ue(v)
     pps_subpic_id_len_minus1 ue(v)
      for( i = 0; i  <=  pps_num_subpic_minus1; i++ )  
        pps_subpic_id [ i ] u(v)
   }  
no_pic_partition _flag u(1)
   if( !no_pic_partition_flag ) {  
subpic_id_mapping_<CHANGE>override</CHANGE>_in_pps_flag等於1指定在PPS中存在子畫面ID映射語法元素。subpic_id_mapping_<CHANGE>override</CHANGE>_in_pps_flag等於0指定在PPS中不存在子畫面ID映射語法元素。 pps_num_subpics_minus1 <CHANGE>加1指定在PPS中存在的子畫面ID的數量。</CHANGE> pps_subpic_id[ i ]指定第i子畫面的子畫面ID。pps_subpic_id[ i ]語法元素的長度是pps_subpic_id_len_minus1 + 1個位元。 針對i的每個值(在0到sps_num_subpics_minus1(含)的範圍內),如下推導變量SubpicIdVal[ i ]: for( i = 0; i  <=  sps_num_subpics_minus1; i++ ) if( subpic_id_mapping_explicitly_signalled_flag ) SubpicIdVal[ i ] = ( subpic_id_mapping_<CHANGE>override</CHANGE>_in_pps_flag <CHANGE>&& (i <= pps_num_subpics_minus1 )</CHANGE>) ?                                        pps_subpic_id[ i ] : sps_subpic_id[ i ]      (80) else SubpicIdVal[ i ] = i
現在討論跨越子畫面的環路濾波。本公開內容描述了使loop_filter_across_subpic_enabled_flag[ i ]的訊號傳遞以subpic_treated_as_pic_flag[ i ]為條件,如表5所示。對VVC草案8的修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。 表5提議的在SPS中的環路濾波的條件
seq_parameter_set_rbsp( ) { 描述符
   …  
subpic_info_present_flag u(1)
   if( subpic_info_present_flag ) {  
     sps_ num_subpics_minus1 ue(v)
     sps_independent_subpics_flag u(1)
      for( i = 0; sps_num_subpics_minus1 > 0  &&  i  <=  sps_num_subpics_minus1; i++ ) {  
         …  
         if( !sps_independent_subpics_flag) {  
           subpic_treated_as_pic_flag [ i ] u(1)
            <CHANGE> if( !subpic_treated_as_pic_flag[ i ]) </CHANGE>  
             loop_filter_across_subpic_enabled_flag [ i ] u(1)
         }  
      }  
      …  
}  
可以如下更新loop_filter_across_subpic_enabled_flag[ i ]的語義。對VVC草案8的删除的開始用<DELETE>來標記,並且删除的結束用</DELETE>來標記的。其它修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。
loop_filter_across_subpic_enabled_flag [ i ]等於1指定可以跨越CLVS中的每個經編解碼的畫面中的第i子畫面的邊界來執行環路內濾波操作。loop_filter_across_subpic_enabled_flag[ i ]等於0指定跨越CLVS中的每個經編解碼的畫面中的第i子畫面的邊界不執行環路內濾波操作。當不存在時,推斷loop_filter_across_subpic_enabled_pic_flag[ i ]的值等於<DELETE> 1 − sps_independent_subpics_flag </DELETE> <CHANGE> 0 </CHANGE>。
例如,當不存在loop_filter_across_subpic_enabled_pic_flag[ i ]時,視訊解碼器300可以推斷loop_filter_across_subpic_enabled_pic_flag[ i ]為0。
現在討論SPS PTL訊號傳遞約束。一些草案視訊編解碼標準(例如,VVC草案8),位元流可以包含或者可以不包含VPS。當在位元流中不存在VPS時,可能根本不用訊號通知PTL結構。為了避免這樣的情況,根據本公開內容的技術,當不存在VPS時,要求sps_ptl_dpb_hrd_params_present_flag的值等於1,以使在SPS中用訊號通知PTL結構。換句話說,視訊編碼器200可以設置sps_ptl_dpb_hrd_params_present_flag的值等於1,並且在SPS中用訊號通知PTL結構。
在一個示例中,如下施加對sps_ptl_dpb_hrd_params_present_flag的約束:作為位元流一致性的要求,當sps_video_parameter_set_id等於0時,sps_ptl_dpb_hrd_params_present_flag的值等於1。
例如,視訊編碼器200或視訊解碼器300可以確定視訊資料的序列參數集是否引用視訊參數集。例如,視訊編碼器200可以確定不用訊號通知VPS,因為視訊編碼器200可以確定用訊號通知VPS不值得VPS將佔用的開銷,例如當正被編碼的位元流僅包含一個層時。視訊編碼器200可以對指示SPS是否引用VPS的語法元素進行編碼。例如,視訊編碼器200可以將sps_video_parameter_set_id的值編碼為0,以向視訊解碼器300指示SPS沒有引用VPS。例如,視訊解碼器300可以通過解析指示SPS是否引用VPS的語法元素來確定視訊資料的序列參數集是否引用VPS。例如,視訊解碼器300可以解析sps_video_parameter_set_id,並且確定sps_video_parameter_set_id的值等於0以確定SPS沒有引用VPS。
基於序列參數集沒有引用視訊參數集,視訊編碼器200或視訊解碼器300可以確定第一語法元素的值指示在序列參數集中用訊號通知指示設定檔-層級-層結構。視訊編碼器200或視訊解碼器300可以基於設定檔-層級-層結構來對視訊資料進行編解碼。
在另一示例中,視訊編碼器200可以在SPS中用訊號通知用於PTL語法結構存在的單獨標誌,並且上述約束可以適用於該標誌。
現在討論PH語法元素的條件。如下所闡述的,描述了no_gdr_constraint_flag的語義。對VVC草案8的修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。
no_gdr_constraint_flag 等於1指定不應存在具有等於在OlsInScope中存在的GDR_NUT的nuh_unit_type的NAL單元。no_gdr_constraint_flag等於0時不會施加此類約束。
gdr_enabled_flag 等於1指定在引用SPS的CLVS中可以存在GDR畫面。gdr_enabled_flag等於0指定在引用SPS的CLVS中不存在GDR畫面。<CHANGE> 作為位元流一致性的要求,gdr_enabled_flag應等於0</CHANGE>當no_gdr_constraint_flag等於1時。
例如,當no_gdr_constraint_flag等於1時,視訊編碼器200可以設置 gdr_enabled_flag應等於0;或者當no_gdr_constraint_flag等於1時,視訊解碼器300可以將gdr_enabled_flag推斷為0。
對於單層場景,non_reference_picture_flag語法元素可以是以ph_inter_slice_allowed_flag為條件。如下所闡述的,修改non_reference_picture_flag的語義。對VVC草案8的修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。
non_reference_picture_flag 等於1指定與PH關聯的畫面從不用作參考畫面。non_reference_picture_flag等於0指定與PH相關的畫面可以用作或者可以不用作參考畫面。<CHANGE>當不存在時,推斷non_reference_picture_flag的值等於1。</CHANGE>
例如,當不存在non_reference_picture_flag時,視訊解碼器300可以推斷non_reference_picture_flag等於1。
在表6中闡述了PH語法元素的條件。 表6 提議的PH語法
picture_header_structure( ) { 描述符
  gdr_or_irap_pic_flag u(1)
   if( gdr_or_irap_pic_flag)  
      gdr_pic_flag u(1)
   ph_inter_slice_allowed_flag u(1)
   if( ph_inter_slice_allowed_flag )  
      ph_intra_slice_allowed_flag u(1)
   <CHANGE> if( !ph_inter_slice_allowed_flag && !sps_video_parameter_set_id) </CHANGE>  
      non_reference_picture_flag u(1)
   …  
}  
在另一示例中,non_reference_picture_flag語法元素可以被放置在PH的開頭、或者緊接在PH中的畫面類型標誌(例如,gdr_or_irap_pic_flag和gdr_pic_flag)之後,以使得更容易丟棄畫面。
可以在SPS中用訊號通知all intra only flag語法元素,以指示slice_type應等於I(幀內)。All intra可以用在靜止圖像編解碼和快速流切換應用中。下文描述了sps_all_intra_enabled_flag的語義。
sps_all_intra_enabled_flag 等於1指定slice_type應等於I。sps_all_intra_enabled_flag等於0指定slice_type可以等於或者可以不等於0。
如下所闡述的,可以修改intra_only_constraint_flag的語義。對VVC草案8的修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。
intra_only_constraint_flag 等於1指定<CHANGE> sps_all_intra_enabled_flag應等於1</CHANGE>。intra_only_constraint_flag等於0可以不施加這樣的約束。
語法元素sps_all_intra_enabled_flag可以用於對PH處的語法元素(諸如ph_inter_slice_allowed_flag和non_reference_picture_flag)施加條件。
例如,視訊編碼器200或視訊解碼器300可以確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元。基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,視訊編碼器200或視訊解碼器300可以確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面。視訊編碼器200或視訊解碼器300可以在不對逐步解碼器刷新畫面進行編解碼的情況下對編解碼層視訊序列的視訊資料進行編解碼。
現在討論SH語法元素的條件。本公開內容描述了:僅當在畫面中存在一個切片時在SH中呈現PH語法結構。下文的表7示出了使用一般約束資訊來對picture_header_in_slice_header_flag施加條件。
在另一示例中,可以用訊號通知SPS語法元素sps_one_slice_per_picture以指定在CLVS中每個畫面應僅包含一個切片。sps_one_slice_per_picture可以用於對語法元素(諸如picture_header_in_slice_header_flag)施加條件。
在另一示例中,可以用訊號通知PPS語法元素pps_one_slice_per_picture以指定引用PPS的畫面應僅包含一個切片。pps_one_slice_per_picture可以用於對PPS中的語法元素num_slices_in_pic_minus1和SH中的picture_header_in_slice_header_flag施加條件。對VVC Draft 8的修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。 表7 提議的SH語法
slice_header( ) { 描述符
   <CHANGE> if( one_slice_per_pic_constraint_flag ) </CHANGE>  
picture_header_in_slice_header_flag u(1)
   if( picture_header_in_slice_header_flag )  
      picture_header_structure( )  
   if( subpic_info_present_flag )  
     slice_subpic_id u(v)
    
}  
如下所闡述的,修改picture_header_in_slice_header_flag的語義。對VVC草案8的修改的開始用<CHANGE>來標記,並且修改的結束用</CHANGE>來標記。
picture_header_in_slice_header_flag 等於1指定在切片標頭中存在PH語法結構。picture_header_in_slice_header_flag等於0指定在切片標頭中不存在PH語法結構。<CHANGE>當不存在時,則推斷picture_header_in_slice_header_flag的值等於0。</CHANGE>
在一些示例中,本公開內容描述了位元流一致性的如下要求:當picture_header_in_slice_header_flag等於1時,picture_header_structure( )的內容應針對CLVS中的所有經編解碼的切片是相同的。
現在討論PPS ID長度。pps_pic_parameter_set_id是以ue(v)來編解碼的,並且pps_pic_parameter_set_id的語義約束pps_pic_parameter_set_id的值在0到63(含)的範圍內。
與其它類似語法元素具有一致性可以是有益的,例如,用於SPS和VPS的ID。本公開內容描述了利用固定長度(例如,u(6)或6個位元)來編解碼pps_pic_parameter_set_id語法元素。
表8和表9示出了所描述的在VVC草案8中的PPS和PH的改變。對VVC草案8的改變的開始用<CHANGE>來標記,並且改變的結束用</CHANGE>來標記。 表8 提議的PPS語法
pic_parameter_set_rbsp( ) { 描述符
pps_pic_parameter_set_id <CHANGE> u(6) </CHANGE>
pps_seq_parameter_set_id u(4)
mixed_nalu_types_in_pic_flag u(1)
 
}  
表9 提議的PH語法
picture_header_structure( ) { 描述符
  gdr_or_irap_pic_flag u(1)
   if( gdr_or_irap_pic_flag )  
gdr_pic_flag u(1)
  ph_inter_slice_allowed_flag u(1)
   if( ph_inter_slice_allowed_flag )  
     ph_intra_slice_allowed_flag u(1)
  non_reference_picture_flag u(1)
  ph_pic_parameter_set_id <CHANGE> u(6) </CHANGE>
   …  
}  
例如,視訊編碼器200或視訊解碼器300可以確定畫面參數集的畫面參數集識別碼。畫面參數集識別碼可以具有6位元的固定長度。
現在討論對MaxTileCols的一般層級和層限制。對於視埠自適應串流,VR客戶端(其可以包括視訊解碼器300的示例)可以僅請求與VR客戶端的視埠匹配的那些子畫面以減少串流傳輸頻寬。例如,可以僅對在視埠內的子畫面進行串流傳輸,而不是對360度的子畫面進行串流傳輸。當視埠變化時,VR客戶端可以請求新的子畫面子集來覆蓋新的區域。
圖7是示出從第一視埠到第二視埠的示例移位的概念圖。在圖7的示例中,視埠可以從視埠484(以短劃線示出)移位到視埠486(以點線示出),或者視埠可以從視埠488(以短劃線示出)移位到視埠490(以點線示出),並且VR客戶端可以請求正被串流傳輸的子畫面子集相應地改變。在圖7中示出了兩個不同的子畫面分割(子畫面分割480和子畫面分割482)。在圖7的示例中,在給定相同的視埠移動的情況下,子畫面分割480可以比子畫面分割482消耗更少的頻寬。這是因為列492中的新子畫面比列494中的新子畫面小(因此佔用較少頻寬來進行串流傳輸),並且列492中的頂部和底部子畫面將不需要進行串流傳輸。
在一些示例中,根據本公開內容的技術,可以基於最大角速度來定義一般層級和層限制中的MaxTileCols的值。例如,最大角速度為每秒300度或在30fps下每畫面10度的情況下(參見OMAF),MaxTileCols可以被設置為多達36以用於高層級和級別。可以減小MaxTileCols的值,因為該值可以與子畫面分割粒度無關。
圖8是示出根據本公開內容的示例訊號傳遞技術的流程圖。視訊編碼器200或視訊解碼器300可以確定視訊資料的序列參數集是否引用視訊參數集(330)。例如,視訊編碼器200可以確定與視訊資料相關的SPS,並且可以確定VPS識別碼作為SPS的元素。VPS識別碼可以具有標識與SPS相關聯的特定VPS的值,或者可以具有指示SPS沒有引用VPS的值0。例如,視訊編碼器200可以確定用訊號通知VPS不值得VPS將佔用的開銷,例如,VPS將不會有意義地改善相關聯的視訊資料的任何解碼的品質。視訊編碼器200可以對指示SPS是否引用VPS的語法元素進行編碼。例如,視訊編碼器200可以將sps_video_parameter_set_id的值編碼為0,以向視訊解碼器300指示SPS沒有引用VPS。
例如,視訊解碼器300可以解析SPS中的VPS識別碼以確定SPS是否引用VPS。視訊參數集識別碼可以具有標識特定視訊參數集的值,或者可以具有值0,值0指示序列參數集沒有引用視訊參數集。例如,視訊解碼器300可以解析sps_video_parameter_set_id,並且確定sps_video_parameter_set_id的值等於0以確定SPS沒有引用VPS。
基於序列參數集沒有引用視訊參數集,視訊編碼器200或視訊解碼器300可以確定第一語法元素的值指示在序列參數集中用訊號通知設定檔-層級-層結構(332)。例如,視訊編碼器200可以基於SPS沒有引用視訊參數集,來將第一語法元素(例如,sps_ptl_dpb_hrd_params_present_flag)的值設置為等於1,以便符合根據本公開內容的技術的位元流一致性要求。例如,視訊解碼器300可以解析第一語法元素(例如,sps_ptl_dpb_hrd_params_present_flag)以確定第一語法元素的值(例如,1)指示在SPS中用訊號通知設定檔-層級-層結構。第一語法元素的值可以是基於SPS沒有引用視訊參數集,因為視訊編碼器200可以將第一語法元素的值設置為符合位元流一致性要求。
視訊編碼器200或視訊解碼器300可以基於設定檔-層級-層結構來對視訊資料進行編解碼(334)。例如,視訊編碼器200可以使用設定檔-層級-層結構來對視訊資料進行編碼。視訊編碼器200還可以在位元流中的SPS中(而不是在VPS中,因為SPS沒有引用VPS)向視訊解碼器300用訊號通知設定檔-層級-層結構。視訊解碼器300可以解析SPS以確定設定檔-層級結構,並且可以使用設定檔-層級-層結構來對視訊資料進行解碼。
在一些示例中,在編解碼包括編碼的情況下,視訊編碼器200可以在序列參數集中用訊號通知第一語法元素,並且在序列參數集中用訊號通知設定檔-層級-層結構。在一些示例中,在編解碼包括解碼的情況下,視訊解碼器300可以解析序列參數集中的第一語法元素並且解析序列參數集中的設定檔-層級-層結構。在一些示例中,視訊編碼器200或視訊解碼器300還可以確定畫面參數集識別碼,其中,畫面參數集識別碼具有6位元的固定長度。
圖9是示出根據本公開內容的另外示例訊號傳遞技術的流程圖。視訊編碼器200或視訊解碼器300可以確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元(340)。例如,視訊編碼器200可以執行多個編碼通路,並且基於用於多個編碼通路的不同參數組合的率失真值,來確定輸出層集不包括具有逐步解碼刷新的NAL單元標頭類型的任何NAL單元。例如,視訊編碼器200可以確定最佳編碼通路不包括任何逐步解碼刷新NAL單元。例如,視訊解碼器300可以解析語法元素(例如,no_gdr_constraint_flag)以確定在輸出層集中是否不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元。
基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,視訊編碼器200或視訊解碼器300可以確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面(342)。例如,視訊編碼器200可以基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,來將第一語法元素(例如,gdr_enabled_flag)的值設置為等於為0,以符合根據本公開內容的技術的位元流一致性要求。例如,視訊解碼器300可以解析第一語法元素(例如,gdr_enabled_flag)以確定第一語法元素的值(例如,0)指示在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元。第一語法元素的值可以是基於在輸出層集中不存在具有逐步解碼刷新NAL單元類型的NAL單元標頭類型的NAL單元,因為視訊編碼器200可以將第一語法元素的值設置為符合位元流一致性要求。
視訊編碼器200或視訊解碼器300可以在不對逐步解碼器刷新畫面進行編解碼的情況下對編解碼層視訊序列的視訊資料進行編解碼。例如,視訊編碼器200可以在不對逐步解碼器刷新畫面進行編碼的情況下對編解碼層視訊序列的視訊資料進行編碼。視訊解碼器300可以在不對逐步解碼器刷新畫面進行解碼的情況下對編解碼層視訊序列的視訊資料進行解碼。
在一些示例中,在編解碼包括解碼的情況下,視訊解碼器300可以確定在位元流中是否存在指示畫面是否不被用作參考畫面的第二語法元素。基於在位元流中不存在第二語法元素,視訊解碼器300可以推斷第二語法元素的值指示畫面不是參考畫面。
在一些示例中,在編解碼包括編碼的情況下,視訊編碼器200可以確定視訊資料的編解碼層視訊序列是否僅包含一個層,並且確定在編解碼層視訊序列的畫面中是否允許幀間切片。基於編解碼層視訊序列僅包含一個層並且幀間切片被允許,視訊編碼器200可以確定指示畫面是否不被用作參考畫面的第二語法元素的值。在一些示例中,在第二語法元素的值指示畫面不被用作參考畫面的情況下,視訊編碼器200可以避免用訊號通知第二語法元素。
在一些示例中,視訊編碼器200或視訊解碼器300可以進行以下操作:確定第三語法元素的值指示序列中的所有切片是幀內切片;以及基於序列中的所有切片是幀內切片,來使用幀內預測對序列中的所有切片進行編解碼。在一些示例中,在編解碼包括解碼的情況下,視訊解碼器可以通過解析第三語法元素來確定第三語法元素的值。在一些示例中,在編解碼包括編碼的情況下,視訊編碼器200可以在SPS中用訊號通知第三語法元素。在一些示例中,視訊編碼器200或視訊解碼器300可以確定第四語法元素的值指示應用僅幀內約束,其中,確定第三語法元素的值是基於應用僅幀內約束的。在一些示例中,視訊編碼器200或視訊解碼器300可以確定畫面參數集識別碼,其中,畫面參數集識別碼具有6位元的固定長度。
圖10是示出用於對當前區塊進行編碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視訊編碼器200(圖1和3)進行了描述,但是應當理解的是,其它裝置可以被配置為執行與圖10的方法類似的方法。
在該示例中,視訊編碼器200最初預測當前區塊(350)。例如,視訊編碼器200可以形成用於當前區塊的預測區塊。然後,視訊編碼器200可以計算用於當前區塊的殘差區塊(352)。為了計算殘差區塊,視訊編碼器200可以計算在原始的未經編碼的區塊與用於當前區塊的預測區塊之間的差。作為形成預測區塊和/或計算殘差區塊的一部分,視訊編碼器200可以執行圖8和/或9的技術。然後,視訊編碼器200可以對殘差區塊進行變換以及對殘差區塊的係數進行變換和量化(354)。接下來,視訊編碼器200可以掃描殘差區塊的經量化的變換係數(356)。在掃描期間或在掃描之後,視訊編碼器200可以對變換係數進行熵編碼(358)。例如,視訊編碼器200可以使用CAVLC或CABAC來對變換係數進行編碼。然後,視訊編碼器200可以輸出區塊的經熵編碼的資料(360)。
圖11是示出用於對視訊資料的當前區塊進行解碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視訊解碼器300(圖1和4)進行了描述,但是應當理解的是,其它裝置可以被配置為執行與圖11的方法類似的方法。
視訊解碼器300可以接收用於當前區塊的經熵編碼的資料(例如,經熵編碼的預測資訊和用於與當前區塊相對應的殘差區塊的變換係數的經熵編碼的資料)(370)。視訊解碼器300可以對經熵編碼的資料進行熵解碼以確定用於當前區塊的預測資訊並且重現殘差區塊的變換係數(372)。作為確定預測資訊的一部分,視訊解碼器200可以執行圖8和/或9的技術。視訊解碼器300可以例如使用如由用於當前區塊的預測資訊所指示的幀內或幀間預測模式來預測當前區塊(374),以計算用於當前區塊的預測區塊。然後,視訊解碼器300可以對所重現的變換係數進行逆掃描(376),以創建經量化的變換係數的區塊。然後,視訊解碼器300可以對變換係數進行逆量化和逆變換以產生殘差區塊(378)。最終,視訊解碼器300可以通過將預測區塊和殘差區塊進行組合來對當前區塊進行解碼(380)。
本公開內容包括以下示例。
條款1A。一種對視訊資料進行編解碼的方法,所述方法包括:確定子畫面的順序是否已經改變;如果所述子畫面的所述順序已經改變,則確定子畫面ID或子畫面映射ID中的一項或多項;如果所述子畫面的所述順序尚沒有改變,則不確定所述子畫面ID和所述子畫面映射ID中的一項或多項;以及基於所述子畫面的所述順序來對所述視訊資料進行編解碼。
條款2A。一種對視訊資料進行編解碼的方法,所述方法包括:確定在所述視訊資料中是否存在subpic_info_present_flag;基於不存在subpic_info_present_flag,來推斷用於subpic_info_present_flag的值等於0;基於subpic_info_present_flag的值來對所述視訊資料進行編解碼。
條款3A。一種對視訊資料進行編解碼的方法,所述方法包括:確定序列參數集(SPS)中的標誌;以及基於所述SPS中的所述標誌來對所述視訊資料進行編解碼,其中,所述SPS中的所述標誌指示子畫面資訊語法結構是在所述SPS中還是在畫面參數集(PPS)中用訊號通知的。
條款4A。根據條款3A所述的方法,其中,所述SPS中的所述標誌指示所述子畫面資訊語法結構是在所述PPS中用訊號通知的,並且所述方法還包括:將與所述PPS相關聯的每個子畫面的左上方位置的語法元素的長度設置為Ceil( Log2( ( pic_width_in_luma_samples + CtbSizeY − 1 ) >> CtbLog2SizeY ) )和Ceil( Log2( ( pic_height_ in_luma_samples + CtbSizeY − 1 ) >> CtbLog2SizeY ) )個位元。
條款5A。一種對視訊資料進行編解碼的方法,所述方法包括:確定PPS中的覆蓋標誌;基於所述覆蓋標誌指示覆蓋,來覆蓋所述PPS中的子畫面佈局的值和語法元素的屬性;以及基於所述覆蓋來對所述視訊資料進行編解碼。
條款6A。一種對視訊資料進行編解碼的方法,所述方法包括:確定所述視訊資料中是否存在loop_filter_across_subpic_enabled_pic_flag[ i ];基於不存在loop_filter_across_subpic_enabled_pic_flag[ i ],來推斷loop_filter_across_subpic_enabled_pic_flag[ i ]等於0;以及基於loop_filter_across_subpic_enabled_pic_flag[ i ]來對所述視訊資料進行編解碼。
條款7A。一種對視訊資料進行編解碼的方法,所述方法包括:確定在所述視訊資料中是否存在視訊參數集(VPS);基於不存在所述VPS,來確定sps_ptl_dpb_hrd_params_present_flag的值是否等於1;如果sps_ptl_dpb_hrd_params_present_flag等於1,則確定所述SPS中的設定檔-層級-層(PTL)結構;如果sps_ptl_dpb_hrd_params_present_flag不等於1,則不確定所述SPS中的設定檔-層級-層(PTL)結構;以及基於sps_ptl_dpb_hrd_params_preset_flag來對所述視訊資料進行編解碼。
條款8A。根據條款7A所述的方法,還包括:確定sps_video_parameter_set_id是否等於0;以及基於sps_video_parameter_set_id等於0,來確定sps_ptl_dpb_hrd_params_present_flag等於1。
條款9A。一種對視訊資料進行編解碼的方法,所述方法包括:確定sps_ptl_dpb_hrd_params_present_flag是否等於1;如果sps_ptl_dpb_hrd_params_present_flag等於1,則確定標誌,所述標誌指示在所述SPS中存在PTL語法結構;如果sps_ptl_dpb_hrd_params_present_flag不等於1,則不確定所述標誌;以及基於sps_ptl_dpb_hrd_params_present_flag來對所述視訊資料進行編解碼。
條款10A。一種對視訊資料進行編解碼的方法,所述方法包括:確定no_gdr_constraint_flag是否等於1;基於no_gdr_constraint_flag等於1,來確定gdr_enabled_flag等於0;以及基於gdr_enabled_flag來對所述視訊資料進行編解碼。
條款11A。一種對視訊資料進行編解碼的方法,所述方法包括:確定在所述視訊資料中是否存在non_reference_picture_flag;基於不存在non_reference_picture_flag,來推斷non_reference_picture_flag等於1;以及基於non_reference_picture_flag來對所述視訊資料進行編解碼。
條款12A。一種對視訊資料進行編解碼的方法,所述方法包括:確定non_reference_picture_flag的位置;以及基於non_reference_picture_flag來對所述視訊資料進行編解碼,其中,所述non_reference_picture_flag的所述位置是在畫面標頭(PH)的開始處或者緊接在所述PH中的畫面類型標誌之後。
條款13A。根據條款12A所述的方法,其中,所述畫面類型標誌包括gdr_or_irap_pic_flag或者gdr_pic_flag。
條款14A。一種對視訊資料進行編解碼的方法,所述方法包括:確定intra_only_constraint_flag是否等於1;基於所述intra_only_constraint_flag等於1,確定sps_all_intra_enabled_flag等於1;以及基於sps_all_intra_enabled_flag來對所述視訊資料進行編解碼。
條款15A。根據條款14A所述的方法,還包括:基於sps_all_intra_enabled_flag來對PH中的語法元素施加條件。
條款16A。根據條款15A所述的方法,其中,所述語法元素是ph_inter_slice_allowed_flag或non_reference_picture_flag中的至少一項。
條款17A。一種對視訊資料進行編解碼的方法,所述方法包括:確定在所述視訊資料中的畫面中是否僅存在一個切片;如果在所述畫面中僅存在一個切片,則在切片標頭(SH)中呈現PH語法結構;如果在所述畫面中不是僅存在一個切片,則不在所述SH中呈現PH語法結構;以及基於所述畫面來對所述視訊資料進行編解碼。
條款18A。根據條款17A所述的方法,還包括:確定指示僅包含一個切片的CLVS中的每個畫面的SPS語法元素。
條款19A。根據條款18A所述的方法,其中,所述SPS語法元素是sps_one_slice_per_picture。
條款20A。根據條款19A所述的方法,還包括:基於sps_one_slice_per_picture來對語法元素施加條件。
條款21A。根據條款20A所述的方法,其中,所述語法元素是picture_header_in_slice_header_flag。
條款22A。一種對視訊資料進行編解碼的方法,所述方法包括:確定PPS中的語法元素;基於所述語法元素,來確定引用所述PPS的畫面僅包含一個切片;以及基於所述語法元素來對所述視訊資料進行編解碼。
條款23A。根據條款22A所述的方法,還包括:基於所述語法元素來對所述PPS中的num_slices_in_pic_minus1和SH中的picture_header_in_slice_header_flag施加條件。
條款24A。根據條款23A所述的方法,還包括:確定是否存在picture_header_in_slice_header_flag;基於不存在picture_header_in_slice_header_flag,來推斷picture_header_in_slice_header_flag等於0;以及基於picture_header_in_slice_header_flag來對所述視訊資料進行編解碼。
條款25A。一種對視訊資料進行編解碼的方法,所述方法包括:確定picture_header_in_slice_header_flag是否等於1;基於picture_header_in_slice_header_flag等於1,來確定picture_header_structure( ) 的內容對於CLVS中的所有切片是相同的;以及基於所述picture_header_structure( )的內容來對所述視訊資料進行編解碼。
條款26A。一種對視訊資料進行編解碼的方法,所述方法包括:確定pps_pic_parameter_set_id;確定ph_pic_parameter_set_id;以及基於pps_pic_parameter_set_id和ph_pic_parameter_set_id來對所述視訊資料進行編解碼,其中,pps_pic_parameter_set_id和ph_pic_parameter_set_id具有相同的固定長度。
條款27A。根據條款26A所述的方法,其中,所述相同的固定長度為6個位元。
條款28A。一種對視訊資料進行編解碼的方法,所述方法包括:確定視埠移動的最大角速度;基於所述最大角速度,來確定MaxTileCols的值;以及基於所述MaxTileCols的值來對所述視訊資料進行編解碼。
條款29A。根據條款28A所述的方法,其中,所述最大角速度為每秒300度或者在每秒30幀下每畫面10度,並且MaxTileCols的值高達36。
條款30A。一種對視訊資料進行編解碼的方法,所述方法包括:確定前N個子畫面ID,其中,第(N-1)個子畫面ID是其ID被改變的最後一個子畫面;以及基於所述前N個子畫面ID來對所述視訊資料進行編解碼。
條款31A。根據條款30A所述的方法,其中,所述前N個子畫面ID是在PPS中用訊號通知的。
條款32A。根據條款30A或31A所述的方法,還包括:避免用訊號通知子畫面索引。
條款33A。根據條款30A-32A的任何組合所述的方法,還包括:確定覆蓋標誌,其中,對所述視訊資料進行編解碼是進一步基於所述覆蓋標誌的。
條款34A。根據條款1A-33A的任何組合所述的方法,其中,編解碼包括解碼。
條款35A。根據條款1A、3A-5A、7A-10A、12A-23A和25A-33A的任何組合所述的方法,其中,編解碼包括編碼。
條款36A。一種用於對視訊資料進行編解碼的裝置,所述裝置包括用於執行根據條款1A-35A的任何組合所述的方法的一個或多個構件。
條款37A。根據條款36A所述的裝置,其中,所述一個或多個構件包括在電路中實現的一個或多個處理器。
條款38A。根據條款36A和37A中任一項所述的裝置,還包括:用於儲存所述視訊資料的記憶體。
條款39A。根據條款36A-38A的任何組合所述的裝置,還包括:被配置為顯示經解碼的視訊資料的顯示器。
條款40A。根據條款36A-39A的任何組合所述的裝置,其中,所述裝置包括相機、電腦、行動裝置、廣播接收機裝置或機頂盒中的一者或多者。
條款41A。根據條款36A-40A的任何組合所述的裝置,其中,所述裝置包括視訊解碼器。
條款42A。根據條款36A-41A的任何組合所述的裝置,其中,所述裝置包括視訊編碼器。
條款43A。一種具有儲存在其上的指令的電腦可讀儲存媒體,所述指令在被執行時使得一個或多個處理器執行根據條款1A-33A的任何組合所述的方法。
條款1B。一種對視訊資料進行編解碼的方法,所述方法包括:
確定所述視訊資料的序列參數集是否引用視訊參數集;基於所述序列參數集沒有引用所述視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在所述序列參數集中用訊號通知的;以及基於所述設定檔-層級-層結構來對所述視訊資料進行編解碼。
條款2B。根據申請專利範圍1B所述的方法,其中,編解碼包括編碼,並且所述方法還包括:在所述序列參數集中用訊號通知所述第一語法元素;以及在所述序列參數集中用訊號通知所述設定檔-層級-層結構。
條款3B。根據申請專利範圍1B所述的方法,其中,編解碼包括解碼,並且所述方法還包括:解析所述序列參數集中的所述第一語法元素;以及解析所述序列參數集中的所述設定檔-層級-層結構。
條款4B。根據申請專利範圍1B-3B的任何組合所述的方法,還包括:確定畫面參數集的畫面參數集識別碼,其中,所述畫面參數集識別碼具有6位元的固定長度。
條款5B。一種對視訊資料進行編解碼的方法,所述方法包括:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在所述輸出層集中不存在具有所述逐步解碼刷新NAL單元類型的所述NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編解碼的情況下對所述編解碼層視訊序列的所述視訊資料進行編解碼。
條款6B。根據申請專利範圍5B所述的方法,其中,編解碼包括解碼,並且其中,所述方法還包括:確定在位元流中是否存在指示畫面是否不被用作參考畫面的第二語法元素;以及基於在所述位元流中不存在所述第二語法元素,來推斷所述第二語法元素的值指示所述畫面不是參考畫面。
條款7B。根據申請專利範圍5B所述的方法,其中,編解碼包括編碼,並且其中,所述方法還包括:確定所述視訊資料的編解碼層視訊序列是否僅包含一個層;確定在所述編解碼層視訊序列的畫面中是否允許幀間切片;基於所述編解碼層視訊序列僅包含一個層並且所述幀間切片被允許,來確定指示所述畫面是否不被用作參考畫面的第二語法元素的值。
條款8B。根據申請專利範圍7B所述的方法,其中,所述第二語法元素的值指示所述畫面不被用作參考畫面,並且其中,所述方法還包括:避免用訊號通知所述第二語法元素。
條款9B。根據申請專利範圍5B-8B的任何組合所述的方法,還包括:確定第三語法元素的值指示序列中的所有切片都是幀內切片;以及基於所述序列中的所有切片都是幀內切片,來使用幀內預測對所述序列中的所有切片進行編解碼。
條款10B。根據申請專利範圍9B所述的方法,其中,編解碼包括解碼,並且其中,確定所述第三語法元素的值包括解析所述第三語法元素。
條款11B。根據申請專利範圍9B所述的方法,其中,編解碼包括編碼,所述方法還包括:在SPS中用訊號通知所述第三語法元素。
條款12B。根據申請專利範圍9B-11B的任何組合所述的方法,還包括:確定第四語法元素的值指示僅幀內約束被應用;其中,確定所述第三語法元素的值是基於所述僅幀內約束被應用的。
條款13。根據申請專利範圍5B-12B的任何組合所述的方法,還包括:確定畫面參數集的畫面參數集識別碼,其中,所述畫面參數集識別碼具有6位元的固定長度。
條款14B。一種用於對視訊資料進行編解碼的裝置,所述裝置包括:被配置為儲存所述視訊資料的記憶體;以及在電路中實現並且通訊地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置為:確定所述視訊資料的序列參數集是否引用視訊參數集;基於所述序列參數集沒有引用所述視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在所述序列參數集中用訊號通知的;以及基於所述設定檔-層級-層結構來對所述視訊資料進行編解碼。
條款15B。根據申請專利範圍14B所述的裝置,其中,編解碼包括編碼,並且所述一個或多個處理器還被配置為:在所述序列參數集中用訊號通知所述第一語法元素;以及在所述序列參數集中用訊號通知所述設定檔-層級-層結構。
條款16B。根據申請專利範圍14B所述的裝置,其中,編解碼包括解碼,其中,作為確定所述第一語法元素的值的一部分,所述一個或多個處理器被配置為:解析所述序列參數集中的所述第一語法元素,並且其中,所述一個或多個處理器還被配置為:解析所述序列參數集中的所述設定檔-層級-層結構。
條款17B。根據申請專利範圍14B-16B的任何組合所述的裝置,還包括:確定畫面參數集的畫面參數集識別碼,其中,所述畫面參數集識別碼具有6位元的固定長度。
條款18B。一種用於對視訊資料進行編解碼的裝置,所述裝置包括:被配置為儲存所述視訊資料的記憶體;以及在電路中實現並且通訊地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置為:確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元;基於在所述輸出層集中不存在具有所述逐步解碼刷新NAL單元類型的所述NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及在不對逐步解碼器刷新畫面進行編解碼的情況下對所述編解碼層視訊序列的所述視訊資料進行編解碼。
條款19B。根據申請專利範圍18B所述的裝置,其中,編解碼包括解碼,並且其中,所述一個或多個處理器還被配置為:確定在位元流中是否存在指示畫面是否不被用作參考畫面的第二語法元素;以及基於在所述位元流中不存在所述第二語法元素,來推斷所述第二語法元素的值指示所述畫面不是參考畫面。
條款20B。根據申請專利範圍18B所述的裝置,其中,編解碼包括編碼,並且其中,所述一個或多個處理器還被配置為:確定所述視訊資料的編解碼層視訊序列是否僅包含一個層;確定在所述編解碼層視訊序列的畫面中是否允許幀間切片;基於所述編解碼層視訊序列僅包含一個層並且所述幀間切片被允許,來確定指示所述畫面是否不被用作參考畫面的第二語法元素的值。
條款21B。根據申請專利範圍20B所述的裝置,其中,所述第二語法元素的值指示所述畫面不被用作參考畫面,並且所述一個或多個處理器還被配置為:避免用訊號通知所述第二語法元素。
條款22B。根據申請專利範圍18B-21B的任何組合所述的裝置,其中,所述一個或多個處理器還被配置為:確定第三語法元素的值指示序列中的所有切片都是幀內切片;以及基於所述序列中的所有切片都是幀內切片,來使用幀內預測對所述序列中的所有切片進行編解碼。
條款23B。根據申請專利範圍22B所述的裝置,其中,編解碼包括解碼,並且其中,作為確定所述第三語法元素的值的一部分,所述一個或多個處理器被配置為:解析所述語法元素。
條款24B。根據申請專利範圍22B所述的裝置,其中,編解碼包括編碼,並且其中,所述一個或多個處理器還被配置為:在SPS中用訊號通知所述第三語法元素。
條款25B。根據申請專利範圍22B-24B的任何組合所述的裝置,其中,所述一個或多個處理器還被配置為:確定第四語法元素的值指示僅幀內約束被應用;其中,所述一個或多個處理器基於所述僅幀內約束被應用來確定所述第三語法元素的值。
條款26B。根據申請專利範圍18B-25B的任何組合所述的裝置,還包括:確定畫面參數集的畫面參數集識別碼,其中,所述畫面參數集識別碼具有6位元的固定長度。
要認識到的是,根據示例,本文描述的任何技術的某些動作或事件可以以不同的順序執行,可以被添加、合併或完全省略(例如,並非所有描述的動作或事件是對於實施所述技術都是必要的)。此外,在某些示例中,動作或事件可以例如通過多線程處理、中斷處理或多個處理器併發地而不是順序地執行。
在一個或多個示例中,所描述的功能可以用硬體、軟體、韌體或其任何組合來實現。如果用軟體來實現,則所述功能可以作為一個或多個指令或程式碼儲存在電腦可讀媒體上或者通過其進行傳輸並且由基於硬體的處理單元執行。電腦可讀媒體可以包括電腦可讀儲存媒體,其對應于諸如資料儲存媒體之類的有形媒體或者通訊媒體,所述通訊媒體包括例如根據通訊協定來促進電腦程式從一個地方傳送到另一個地方的任何媒體。以這種方式,電腦可讀媒體通常可以對應於(1)非暫時性的有形電腦可讀儲存媒體、或者(2)諸如訊號或載波之類的通訊媒體。資料儲存媒體可以是可以由一個或多個電腦或者一個或多個處理器存取以取得用於實現在本公開內容中描述的技術的指令、程式碼和/或資料結構的任何可用的媒體。電腦程式產品可以包括電腦可讀媒體。
舉例來說而非進行限制,這樣的電腦可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光碟儲存、磁碟儲存或其它磁儲存裝置、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程式碼以及能夠由電腦存取的任何其它媒體。此外,任何連接被適當地稱為電腦可讀媒體。例如,如果使用同軸電纜、光纖光纜、雙絞線、數位用戶線(DSL)或者無線技術(例如,紅外線、無線電和微波)從網站、伺服器或其它遠程源傳輸指令,則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術(例如,紅外線、無線電和微波)被包括在媒體的定義中。然而,應當理解的是,電腦可讀儲存媒體和資料儲存媒體不包括連接、載波、訊號或其它臨時性媒體,而是替代地針對非臨時性的有形儲存媒體。如本文所使用的,磁碟和光碟包括壓縮光碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中,磁碟通常磁性地複製資料,而光碟利用雷射來光學地複製資料。上述各項的組合也應當被包括在電腦可讀媒體的範圍之內。
指令可以由一個或多個處理器來執行,諸如一個或多個數位訊號處理器(DSP)、通用微處理器、專用積體電路(ASIC)、程式化現場可程式化邏輯閘陣列(FPGA)、或其它等效的積體或分立邏輯電路。因此,如本文所使用的術語“處理器”和“處理電路”可以指代前述結構中的任何一者或者適於實現本文描述的技術的任何其它結構。另外,在一些方面中,本文描述的功能可以在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供,或者被併入經組合的編解碼器中。此外,所述技術可以完全在一個或多個電路或邏輯元件中實現。
本公開內容的技術可以在多種多樣的裝置或裝置中實現,包括無線手機、積體電路(IC)或一組IC(例如,晶片組)。在本公開內容中描述了各種組件、模組或單元以強調被配置為執行所公開的技術的裝置的功能性方面,但是不一定需要通過不同的硬體單元來實現。確切而言,如上所述,各種單元可以被組合在編解碼器硬體單元中,或者由可互操作的硬體單元的集合(包括如上所述的一個或多個處理器)結合適當的軟體和/或韌體來提供。
已經描述了各個示例。這些和其它示例在所附的請求項的範圍內。
100:系統 102:來源裝置 104:視訊來源 106:記憶體 108:輸出介面 110:電腦可讀媒體 112:儲存裝置 114:伺服器 116:目的地裝置 118:顯示裝置 120:記憶體 122:輸入介面 130:四元樹二元樹(QTBT)結構 132:編碼樹單元(CTU) 200:視訊編碼器 202:模式選擇單元 204:殘差生成單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波器單元 218:解碼畫面緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:幀內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波器單元 314:解碼畫面緩衝器(DPB) 316:運動補償單元 318:幀內預測單元 320:編碼畫面緩衝器(CPB)記憶體 330:步驟 332:步驟 334:步驟 340:步驟 342:步驟 344:步驟 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 400:圖塊 402:圖塊 404:圖塊 406:圖塊 408:圖塊 410:圖塊 480:子畫面分割 482:子畫面分割 484:視埠 486:視埠 488:視埠 490:視埠 492:列 494:列
圖1是示出可以執行本公開內容的技術的示例視訊編碼和解碼系統的方塊圖。
圖2A和圖2B是示出示例四元樹二元樹(QTBT)結構以及對應的編解碼樹單元(CTU)的概念圖。
圖3是示出可以執行本公開內容的技術的示例視訊編碼器(encoder)的方塊圖。
圖4是示出可以執行本公開內容的技術的示例視訊解碼器(decoder)的方塊圖。
圖5是示出被分割為6x4個CTU、3x2個圖塊、9個切片和6個子畫面的畫面的概念圖。
圖6是示出示例性的取決於視埠的全景媒體格式(OMAF)的概念圖。
圖7是示出視埠自適應串流的示例的概念圖。
圖8是示出根據本公開內容的示例訊號傳遞技術的流程圖。
圖9是示出根據本公開內容的另外示例訊號傳遞技術的流程圖。
圖10是示出視訊編碼的示例的流程圖。
圖11是示出視訊解碼的示例的流程圖。
330:步驟
332:步驟
334:步驟

Claims (26)

  1. 一種對視訊資料進行編解碼的方法,所述方法包括: 確定所述視訊資料的序列參數集是否引用視訊參數集; 基於所述序列參數集沒有引用所述視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在所述序列參數集中用訊號通知的;以及 基於所述設定檔-層級-層結構來對所述視訊資料進行編解碼。
  2. 根據請求項1所述的方法,其中,編解碼包括編碼,並且所述方法還包括: 在所述序列參數集中用訊號通知所述第一語法元素;以及 在所述序列參數集中用訊號通知所述設定檔-層級-層結構。
  3. 根據請求項1所述的方法,其中,編解碼包括解碼,並且所述方法還包括: 解析所述序列參數集中的所述第一語法元素;以及 解析所述序列參數集中的所述設定檔-層級-層結構。
  4. 根據請求項1所述的方法,還包括: 確定畫面參數集的畫面參數集識別碼, 其中,所述畫面參數集識別碼具有6位元的固定長度。
  5. 一種對視訊資料進行編解碼的方法,所述方法包括: 確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元; 基於在所述輸出層集中不存在具有所述逐步解碼刷新NAL單元類型的所述NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及 在不對逐步解碼器刷新畫面進行編解碼的情況下對所述編解碼層視訊序列的所述視訊資料進行編解碼。
  6. 根據請求項5所述的方法,其中,編解碼包括解碼,並且其中,所述方法還包括: 確定在位元流中是否存在指示畫面是否不被用作參考畫面的第二語法元素;以及 基於在所述位元流中不存在所述第二語法元素,來推斷所述第二語法元素的值指示所述畫面不是參考畫面。
  7. 根據請求項5所述的方法,其中,編解碼包括編碼,並且其中,所述方法還包括: 確定所述視訊資料的編解碼層視訊序列是否僅包含一個層; 確定在所述編解碼層視訊序列的畫面中是否允許幀間切片; 基於所述編解碼層視訊序列僅包含一個層並且所述幀間切片被允許,來確定指示所述畫面是否不被用作參考畫面的第二語法元素的值。
  8. 根據請求項7所述的方法,其中,所述第二語法元素的值指示所述畫面不被用作參考畫面,並且其中,所述方法還包括:避免用訊號通知所述第二語法元素。
  9. 根據請求項5所述的方法,還包括: 確定第三語法元素的值指示序列中的所有切片都是幀內切片;以及 基於所述序列中的所有切片都是幀內切片,來使用幀內預測對所述序列中的所有切片進行編解碼。
  10. 根據請求項9所述的方法,其中,編解碼包括解碼,並且其中,確定所述第三語法元素的所述值包括解析所述第三語法元素。
  11. 根據請求項9所述的方法,其中,編解碼包括編碼,所述方法還包括: 在SPS中用訊號通知所述第三語法元素。
  12. 根據請求項9所述的方法,還包括: 確定第四語法元素的值指示僅幀內約束被應用; 其中,確定所述第三語法元素的所述值是基於所述僅幀內約束被應用的。
  13. 根據請求項5所述的方法,還包括: 確定畫面參數集的畫面參數集識別碼, 其中,所述畫面參數集識別碼具有6位元的固定長度。
  14. 一種用於對視訊資料進行編解碼的裝置,所述裝置包括: 被配置為儲存所述視訊資料的記憶體;以及 在電路中實現並且通訊地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置為: 確定所述視訊資料的序列參數集是否引用視訊參數集; 基於所述序列參數集沒有引用所述視訊參數集,來確定第一語法元素的值指示設定檔-層級-層結構是在所述序列參數集中用訊號通知的;以及 基於所述設定檔-層級-層結構來對所述視訊資料進行編解碼。
  15. 根據請求項14所述的裝置,其中,編解碼包括編碼,並且所述一個或多個處理器還被配置為: 在所述序列參數集中用訊號通知所述第一語法元素;以及 在所述序列參數集中用訊號通知所述設定檔-層級-層結構。
  16. 根據請求項14所述的裝置,其中,編解碼包括解碼,其中,作為確定所述第一語法元素的所述值的一部分,所述一個或多個處理器被配置為:解析所述序列參數集中的所述第一語法元素,並且其中,所述一個或多個處理器還被配置為: 解析所述序列參數集中的所述設定檔-層級-層結構。
  17. 根據請求項14所述的裝置,還包括: 確定畫面參數集的畫面參數集識別碼, 其中,所述畫面參數集識別碼具有6位元的固定長度。
  18. 一種用於對視訊資料進行編解碼的裝置,所述裝置包括: 被配置為儲存所述視訊資料的記憶體;以及 在電路中實現並且通訊地耦合到所述記憶體的一個或多個處理器,所述一個或多個處理器被配置為: 確定在輸出層集中是否不存在具有逐步解碼刷新網路抽象層(NAL)單元類型的NAL單元標頭類型的NAL單元; 基於在所述輸出層集中不存在具有所述逐步解碼刷新NAL單元類型的所述NAL單元標頭類型的NAL單元,來確定第一語法元素的值指示在編解碼層視訊序列中不存在逐步解碼器刷新畫面;以及 在不對逐步解碼器刷新畫面進行編解碼的情況下對所述編解碼層視訊序列的所述視訊資料進行編解碼。
  19. 根據請求項18所述的裝置,其中,編解碼包括解碼,並且其中,所述一個或多個處理器還被配置為: 確定在位元流中是否存在指示畫面是否不被用作參考畫面的第二語法元素;以及 基於在所述位元流中不存在所述第二語法元素,來推斷所述第二語法元素的值指示所述畫面不是參考畫面。
  20. 根據請求項18所述的裝置,其中,編解碼包括編碼,並且其中,所述一個或多個處理器還被配置為: 確定所述視訊資料的編解碼層視訊序列是否僅包含一個層; 確定在所述編解碼層視訊序列的畫面中是否允許幀間切片; 基於所述編解碼層視訊序列僅包含一個層並且所述幀間切片被允許,來確定指示所述畫面是否不被用作參考畫面的第二語法元素的值。
  21. 根據請求項20所述的裝置,其中,所述第二語法元素的所述值指示所述畫面不被用作參考畫面,並且所述一個或多個處理器還被配置為: 避免用訊號通知所述第二語法元素。
  22. 根據請求項18所述的裝置,其中,所述一個或多個處理器還被配置為: 確定第三語法元素的值指示序列中的所有切片都是幀內切片;以及 基於所述序列中的所有切片都是幀內切片,來使用幀內預測對所述序列中的所有切片進行編解碼。
  23. 根據請求項22所述的裝置,其中,編解碼包括解碼,並且其中,作為確定所述第三語法元素的所述值的一部分,所述一個或多個處理器被配置為: 解析所述語法元素。
  24. 根據請求項22所述的裝置,其中,編解碼包括編碼,並且其中,所述一個或多個處理器還被配置為: 在SPS中用訊號通知所述第三語法元素。
  25. 根據請求項22所述的裝置,其中,所述一個或多個處理器還被配置為: 確定第四語法元素的值指示僅幀內約束被應用; 其中,所述一個或多個處理器基於所述僅幀內約束被應用來確定所述第三語法元素的所述值。
  26. 根據請求項18所述的裝置,還包括: 確定畫面參數集的畫面參數集識別碼, 其中,所述畫面參數集識別碼具有6位元的固定長度。
TW110107744A 2020-03-04 2021-03-04 視訊編解碼中的子畫面訊號傳遞 TW202141986A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202062984895P 2020-03-04 2020-03-04
US62/984,895 2020-03-04
US202063003710P 2020-04-01 2020-04-01
US63/003,710 2020-04-01
US17/189,976 US11943429B2 (en) 2020-03-04 2021-03-02 Subpicture signaling in video coding
US17/189,976 2021-03-02

Publications (1)

Publication Number Publication Date
TW202141986A true TW202141986A (zh) 2021-11-01

Family

ID=77554923

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110107744A TW202141986A (zh) 2020-03-04 2021-03-04 視訊編解碼中的子畫面訊號傳遞

Country Status (7)

Country Link
US (1) US11943429B2 (zh)
EP (1) EP4115619A2 (zh)
KR (1) KR20220145836A (zh)
CN (1) CN115244934A (zh)
BR (1) BR112022016976A2 (zh)
TW (1) TW202141986A (zh)
WO (1) WO2021178570A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7443513B2 (ja) * 2019-11-05 2024-03-05 エルジー エレクトロニクス インコーポレイティド 映像/ビデオコーディング方法及び装置
KR20220141794A (ko) * 2020-03-05 2022-10-20 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220162742A (ko) * 2020-03-30 2022-12-08 엘지전자 주식회사 Sps 내 ptl, dpb 및 hrd 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US20230136821A1 (en) * 2020-04-16 2023-05-04 Lg Electronics Inc. Image coding method based on information included in picture header in video or image coding system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161039B2 (en) 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
JP6465863B2 (ja) * 2014-03-14 2019-02-06 シャープ株式会社 画像復号装置、画像復号方法及び記録媒体
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US10356415B2 (en) * 2014-06-20 2019-07-16 Qualcomm Incorporated Systems and methods for constraining representation format parameters for a parameter set
TWI605704B (zh) * 2017-03-01 2017-11-11 晨星半導體股份有限公司 重組影像檔案的方法

Also Published As

Publication number Publication date
WO2021178570A3 (en) 2021-10-21
CN115244934A (zh) 2022-10-25
BR112022016976A2 (pt) 2022-10-25
WO2021178570A2 (en) 2021-09-10
EP4115619A2 (en) 2023-01-11
US20210281832A1 (en) 2021-09-09
KR20220145836A (ko) 2022-10-31
US11943429B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
TW202110189A (zh) 用於視訊寫碼的環繞運動補償
TW202127873A (zh) 用於視頻寫碼中的子圖片的參考子圖片縮放比率
TW202135531A (zh) 用於視訊編解碼的經解碼圖片緩衝器(dpb)參數訊號傳遞通知
US11943429B2 (en) Subpicture signaling in video coding
TW201735608A (zh) 用於產生對視訊之顏色再映射資訊之補充增強資訊訊息之方法及系統
TW202126038A (zh) 用於視頻寫碼及轉換單元之高階語法之最大及最小區塊大小之傳信
TW202127886A (zh) 用於視頻譯碼的圖像標頭信令
TW202143733A (zh) 在視訊編解碼中的獨立子圖片信號傳遞
TW202131676A (zh) 視訊編碼中針對參考圖片重取樣的環繞偏移
EP3997875A1 (en) Deriving coding system operational configuration
TW202106023A (zh) 調色板模式下的增量量化參數訊令
TW202143735A (zh) 用於視訊資料的語法元素的訊號傳遞
TW202143711A (zh) 用於具有混合網路抽象層(nal)單元類型的視訊的高階語法
TW202143722A (zh) 在視訊解碼中的經解碼視訊序列起點存取單元
TW202203653A (zh) 用於視頻譯碼的語法元素的一般約束
TW202130172A (zh) 使用參考圖像尺寸進行運動補償
TW202133615A (zh) 基於色度變換跳過的用於色度的lfnst信號傳遞
TW202143712A (zh) 視訊轉碼中的低頻不可分離變換處理
TW202141988A (zh) 用於視訊譯碼中的變換跳過區塊的高級約束
TW202143708A (zh) 用於圖像和視訊解碼的區塊分割
TW202143715A (zh) 視訊譯碼中的子區塊合併候選的信令數目
TW202127874A (zh) 用於視訊編碼中的自我調整色彩變換的qp 偏移的靈活訊號傳遞
TW202147840A (zh) 視訊譯碼中的子圖片提取和約束
TW202139716A (zh) 在視訊解碼中共享的信號傳遞約束和序列參數集
TW202131687A (zh) 用於視訊編碼的單色調色板模式