TW202143711A - 用於具有混合網路抽象層(nal)單元類型的視訊的高階語法 - Google Patents

用於具有混合網路抽象層(nal)單元類型的視訊的高階語法 Download PDF

Info

Publication number
TW202143711A
TW202143711A TW110110112A TW110110112A TW202143711A TW 202143711 A TW202143711 A TW 202143711A TW 110110112 A TW110110112 A TW 110110112A TW 110110112 A TW110110112 A TW 110110112A TW 202143711 A TW202143711 A TW 202143711A
Authority
TW
Taiwan
Prior art keywords
picture
idr
video
reference picture
unit
Prior art date
Application number
TW110110112A
Other languages
English (en)
Inventor
永 何
法迪姆 塞瑞金
穆漢麥德 傑德 柯本
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202143711A publication Critical patent/TW202143711A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H04N5/40Modulation circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊編碼器進行以下操作:維護第一參考圖片列表;維護第二參考圖片列表;確定圖片是即時解碼再新(IDR)圖片;確定在用於IDR圖片的切片標頭中存在參考圖片列表語法元素;以及響應於確定圖片是IDR圖片並且在用於IDR圖片的切片標頭中存在參考圖片列表語法元素,來更新第一參考圖片列表和第二參考圖片列表,使得按照輸出順序或解碼順序,在第一參考圖片列表中沒有圖片以及在第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。

Description

用於具有混合網路抽象層(NAL)單元類型的視訊的高階語法
本申請要求享受以下申請的權益:於2020年3月20日遞交的美國臨時專利申請62/992,676,以及於2020年4月2日遞交的美國臨時專利申請63/004,105,據此將上述兩個申請的全部內容通過引用的方式併入。
本公開內容涉及視訊編碼和視訊解碼。
數位視訊能力可以被合併到各種各樣的設備中,包括數位電視機、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放器、視訊遊戲設備、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的“智能電話”)、視訊電話會議設備、視訊串流式傳輸設備等。數位視訊設備實現視訊譯碼技術(諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分,高階視訊譯碼(AVC))、ITU-T H.265/高效率視訊譯碼(HEVC)所定義的標準以及此類標準的擴展中描述的那些技術)。通過實現這樣的視訊譯碼技術,視訊設備可以更加高效地發送、接收、編碼、解碼和/或儲存數位視訊器訊息。
視訊譯碼技術包括空間(圖片內(intra-picture))預測和/或時間(圖片間(inter-picture))預測以減少或去除在視訊序列中固有的冗餘。對於基於區塊的視訊譯碼,視訊切片(例如,視訊圖片或視訊圖片的一部分)可以被分割為視訊區塊,視訊區塊也可以被稱為譯碼樹單元(CTU)、譯碼單元(CU)和/或譯碼節點。圖片的經幀內編碼(I)的切片中的視訊區塊是使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測來編碼的。圖片的經幀間編碼(P或B)的切片中的視訊區塊可以使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測或者相對於其它參考圖片中的參考樣本的時間預測。圖片可以被稱為幀,並且參考圖片可以被稱為參考幀。
視訊處理設備可以根據不同圖片的子圖片形成新圖片。要求圖片的所有子圖片在切片標頭中具有相同的RPL條目。因此,本公開內容的技術通過確保具有子圖片的IDR圖片包括RPL語法元素,使得能夠使用IDR圖片的子圖片來形成合併圖片。通過使用本公開內容的技術對視訊資料進行編碼,視訊處理設備可以例如從源自於隨機存取圖片的子圖片和源自於非隨機存取圖片的另一子圖片生成合併圖片。也就是說,視訊處理設備可以將源自於隨機存取圖片的子圖片和源自於非隨機存取圖片的另一子圖片合併成符合VVC的同一經譯碼圖片。通過以本文描述的方式對視訊資料進行編碼,當視訊解碼器接收到這樣的合併圖片時,視訊解碼器具有適當的參考圖片列表來對這樣的合併圖片進行解碼。
根據一個示例,一種對視訊資料進行編碼的方法包括:維護第一參考圖片列表;維護第二參考圖片列表;確定圖片是即時解碼再新(IDR)圖片;確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
根據另一示例,一種用於對視訊資料進行解碼的設備包括:記憶體,其被配置為儲存視訊資料;以及一個或多個處理器,其在電路中實現並且被配置為:維護第一參考圖片列表;維護第二參考圖片列表;確定圖片是即時解碼再新(IDR)圖片;確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
根據另一示例,一種電腦可讀儲存媒體儲存指令,所述指令在被一個或多個處理器執行時使得所述一個或多個處理器進行以下操作:維護第一參考圖片列表;維護第二參考圖片列表;確定圖片是即時解碼再新(IDR)圖片;確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
根據另一示例,一種用於視訊編碼的裝置包括:用於維護第一參考圖片列表的模組;用於維護第二參考圖片列表的模組;用於確定圖片是即時解碼再新(IDR)圖片的模組;用於確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素的模組;以及用於響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前的模組。
在附圖和以下描述中闡述了一個或多個示例的細節。根據描述、附圖和申請專利範圍,其它特徵、目的和優點將是顯而易見的。
視訊譯碼(coding)(例如,視訊編碼(encoding)和/或視訊解碼(decoding))通常涉及從同一圖片中的已經被譯碼的視訊資料區塊(例如,幀內預測)或不同圖片中的已經被譯碼的視訊資料區塊(例如,幀間預測)來預測視訊資料區塊。為了執行幀間預測,視訊編碼器和視訊解碼器被配置為維護(例如,構造、更新和/或儲存)參考圖片列表(RPL)。RPL包括已經被譯碼的圖片的列表,這些圖片可用於當前正被譯碼的圖片的譯碼。
在一些情況下,視訊編碼器還通過將預測區塊與原始區塊進行比較來計算殘差資料。因此,殘差資料表示預測區塊的樣本和原始區塊的樣本之間的差。為了減少用於用信號通知殘差資料所需要的位元數量,視訊編碼器對殘差資料進行轉換和量化,並且在經編碼的位元串流中用信號通知經轉換且經量化的殘差資料。通過轉換和量化過程實現的壓縮可能是有損的,這意味著轉換和量化過程可能將失真引入經解碼的視訊資料中。
視訊解碼器對殘差資料進行解碼並且將其與預測區塊相加,以產生經重構的視訊區塊,經重構的視訊區塊與單獨的預測區塊相比更加緊密地匹配原始視訊區塊。由於通過對殘差資料的轉換和量化而引入的損失,第一經重構的區塊可能具有失真或偽影。為了進一步提高經解碼的視訊的質量,視訊解碼器可以對經重構的視訊區塊執行一個或多個濾波操作。
視訊被編碼為一系列圖片,其中每個圖片被劃分為一個或多個切片。切片可以包括整數個區塊,例如,譯碼樹單元(CTU)。在一些實例中,切片內的區塊可以被分組為瓦片或某種其它此類分組。對於一些應用(如二維電影或電視),圖片通常對應於單個連續場景。對於其它類型的應用(諸如360度視訊),圖片可以包括多個子圖片,其中子圖片可以各自對應於單個連續場景,而圖片作為整體不對應。子圖片通常指代由圖片中的一個或多個切片組成的矩形區域。作為一個示例用例,在一些實現中,可以從96個不同的子圖片拼合360度圖片。96個不同的子圖片在邊界之間可以是連續的或不連續的。當對360度視訊進行串流式傳輸時,用戶可以僅接收子圖片中的一些子圖片。
為了支持360度視訊,通用視訊譯碼(VVC)標準支持子圖片。本公開內容描述了使得視訊譯碼器(例如,視訊編碼器或視訊解碼器)能夠支持針對子圖片的參考圖片縮放比的技術。本公開內容還描述了使得視訊譯碼器能夠同時支持參考圖片重採樣和子圖片的技術。
如下面更詳細地解釋的,在不具有子圖片的圖片中,用於該圖片的所有視訊譯碼層(VCL)網路抽象層(NAL)單元具有相同的NAL單元類型,例如,在VVC中的nal_unit_type的相同的值。NAL單元指代包含如下各項的語法結構:對要遵循的資料類型的指示、以及以原始位元組序列有效載荷(RBSP)的形式包含該資料的位元組,這些位元組根據需要與仿真防止位元組穿插在一起。然而,對於具有子圖片的圖片,不同的子圖片可以包括不同類型的VCL NAL單元。如下面將更詳細地解釋的,圖片內的混合NAL單元類型的現有實現可能導致其中用於對當前圖片進行譯碼所需要的某些參考圖片不可用的譯碼場景。本公開內容描述了用於以避免這樣的譯碼場景的方式來支持混合NAL單元類型的技術。更具體地,通過將視訊編碼器和視訊解碼器配置為響應於確定圖片是即時解碼再新(IDR)圖片並且在用於IDR圖片的切片標頭中存在參考圖片列表語法元素,來更新第一參考圖片列表和第二參考圖片列表,使得按照輸出順序或解碼順序,在第一參考圖片列表中沒有圖片以及在第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
視訊處理設備可以根據不同圖片的子圖片形成新圖片。要求圖片的所有子圖片在切片標頭中具有相同的RPL條目。因此,本公開內容的技術通過確保具有子圖片的IDR圖片包括RPL語法元素,使得能夠使用IDR圖片的子圖片來形成合併圖片。通過使用本公開內容的技術對視訊資料進行編碼,視訊處理設備可以例如根據源自於隨機存取圖片的子圖片和源自於非隨機存取圖片的另一子圖片來生成合併圖片。也就是說,視訊處理設備可以將源自於隨機存取圖片的子圖片和源自於非隨機存取圖片的另一子圖片合併成符合VVC的同一譯碼圖片。通過以本文描述的方式來對視訊資料進行編碼,當視訊解碼器接收到這樣的合併圖片時,視訊解碼器具有適當的參考圖片列表來解碼這樣的合併圖片。
圖1是示出可以執行本公開內容的技術的示例視訊編碼和解碼系統100的方塊圖。概括而言,本公開內容的技術涉及對視訊資料進行譯碼(編碼和/或解碼)。通常,視訊資料包括用於處理視訊的任何資料。因此,視訊資料可以包括原始的未經編碼的視訊、經編碼的視訊、經解碼(例如,經重構)的視訊、以及視訊元資料(諸如信令資料)。
如圖1中所示,在該示例中,系統100包括源設備102,源設備102提供要被目的地設備116解碼和顯示的、經編碼的視訊資料。具體地,源設備102經由電腦可讀媒體110來將視訊資料提供給目的地設備116。源設備102和目的地設備116可以包括各種各樣的設備中的任何一種,包括桌上型電腦、筆記本(即,膝上型)電腦、移動設備、平板電腦、機上盒、諸如智能電話之類的電話手機、電視機、相機、顯示設備、數位媒體播放器、視訊遊戲控制台、視訊串流式傳輸設備、廣播接收機設備等。在一些情況下,源設備102和目的地設備116可以被配備用於無線通信,並且因此可以被稱為無線通信設備。
在圖1的示例中,源設備102包括視訊源104、記憶體106、視訊編碼器200以及輸出介面108。目的地設備116包括輸入介面122、視訊解碼器300、記憶體120以及顯示設備118。根據本公開內容,源設備102的視訊編碼器200和目的地設備116的視訊解碼器300可以被配置為應用用於用信號通知並且解析用於具有混合NAL單元類型的視訊的高階語法的技術。因此,源設備102表示視訊編碼設備的示例,而目的地設備116表示視訊解碼設備的示例。在其它示例中,源設備和目的地設備可以包括其它組件或佈置。例如,源設備102可以從諸如外部相機之類的外部視訊源接收視訊資料。同樣,目的地設備116可以與外部顯示設備對接,而不是包括整合式顯示設備。
如圖1中所示的系統100僅是一個示例。通常,任何數位視訊編碼和/或解碼設備可以執行用於用信號通知並且解析用於具有混合NAL單元類型的視訊的高階語法的技術。源設備102和目的地設備116僅是這樣的譯碼設備的示例,其中,源設備102生成經譯碼的視訊資料以用於傳輸給目的地設備116。本公開內容將“譯碼”設備指代為執行對資料的譯碼(編碼和/或解碼)的設備。因此,視訊編碼器200和視訊解碼器300表示譯碼設備(具體地,分別是視訊編碼器和視訊解碼器)的示例。在一些示例中,源設備102和目的地設備116可以以基本上對稱的方式進行操作,使得源設備102和目的地設備116中的每一者都包括視訊編碼和解碼組件。因此,系統100可以支持在源設備102和目的地設備116之間的單向或雙向視訊傳輸,例如,用於視訊串流式傳輸、視訊回放、視訊廣播或視訊電話。
通常,視訊源104表示視訊資料(即原始的未經編碼的視訊資料)的源,並且將視訊資料的順序的一系列圖片(也被稱為“幀”)提供給視訊編碼器200,視訊編碼器200對用於圖片的資料進行編碼。源設備102的視訊源104可以包括視訊捕獲設備,諸如攝像機、包含先前捕獲的原始視訊的視訊存檔、和/或用於從視訊內容提供者接收視訊的視訊饋送介面。作為另外的替代方式,視訊源104可以生成基於電腦圖形的資料作為源視訊,或者生成實時視訊、被存檔的視訊和電腦生成的視訊的組合。在每種情況下,視訊編碼器200對被捕獲的、預捕獲的或電腦生成的視訊資料進行編碼。視訊編碼器200可以將圖片從所接收的次序(有時被稱為“顯示次序”)重新排列為用於譯碼的譯碼次序。視訊編碼器200可以生成包括經編碼的視訊資料的位元串流。然後,源設備102可以經由輸出介面108將經編碼的視訊資料輸出到電腦可讀媒體110上,以便由例如目的地設備116的輸入介面122接收和/或取回。
源設備102的記憶體106和目的地設備116的記憶體120表示通用記憶體。在一些示例中,記憶體106、120可以儲存原始視訊資料,例如,來自視訊源104的原始視訊以及來自視訊解碼器300的原始的經解碼的視訊資料。另外或替代地,記憶體106、120可以儲存由例如視訊編碼器200和視訊解碼器300分別可執行的軟體指令。儘管記憶體106和記憶體120在該示例中被示為與視訊編碼器200和視訊解碼器300分開,但是應當理解的是,視訊編碼器200和視訊解碼器300還可以包括用於功能上類似或等效目的的內部記憶體。此外,記憶體106、120可以儲存例如從視訊編碼器200輸出並且輸入到視訊解碼器300的經編碼的視訊資料。在一些示例中,記憶體106、120的部分可以被分配為一個或多個視訊緩衝器,例如,以儲存原始的經解碼和/或經編碼的視訊資料。
電腦可讀媒體110可以表示能夠將經編碼的視訊資料從源設備102輸送到目的地設備116的任何類型的媒體或設備。在一個示例中,電腦可讀媒體110表示通信媒體,其使得源設備102能夠例如經由射頻網路或基於電腦的網路,來實時地向目的地設備116直接發送經編碼的視訊資料。根據諸如無線通信協定之類的通信標準,輸出介面108可以對包括經編碼的視訊資料的傳輸信號進行調變,並且輸入介面122可以對所接收的傳輸信號進行解調。通信媒體可以包括任何無線或有線通信媒體,諸如射頻(RF)頻譜或一條或多條物理傳輸線。通信媒體可以形成諸如以下各項的基於分組的網路的一部分:局域網、廣域網、或諸如網際網路之類的全球網路。通信媒體可以包括路由器、交換機、基地台、或對於促進從源設備102到目的地設備116的通信而言可以有用的任何其它設備。
在一些示例中,源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地,目的地設備116可以經由輸入介面122從儲存設備112存取經編碼的資料。儲存設備112可以包括各種分布式或本地存取的資料儲存媒體中的任何一種,諸如硬碟驅動器、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼的視訊資料的任何其它適當的數位儲存媒體。
在一些示例中,源設備102可以將經編碼的視訊資料輸出到檔案伺服器114或者可以儲存由源設備102生成的經編碼的視訊資料的另一中間儲存設備。目的地設備116可以經由串流式傳輸或下載來從檔案伺服器114存取被儲存的視訊資料。
檔案伺服器114可以是能夠儲存經編碼的視訊資料並且將該經編碼的視訊資料發送給目的地設備116的任何類型的伺服器設備。檔案伺服器114可以表示網頁伺服器(例如,用於網站)、被配置為提供檔案傳輸協定服務(諸如檔案傳輸協定(FTP)或基於單向傳輸的檔案遞送(FLUTE)協定)的伺服器、內容遞送網路(CDN)設備、超文本傳輸協定(HTTP)伺服器、多媒體廣播多播服務(MBMS)或增強型MBMS(eMBMS)伺服器、和/或網路附加儲存(NAS)設備。檔案伺服器114可以另外或替代地實現一種或多種HTTP串流式傳輸協定,諸如基於HTTP的動態自適應串流式傳輸(DASH)、HTTP實時串流式傳輸(HLS)、實時串流式傳輸協定(RTSP)、HTTP動態串流式傳輸等。
目的地設備116可以通過任何標準資料連接(包括網際網路連接)來從檔案伺服器114存取經編碼的視訊資料。這可以包括適於存取被儲存在檔案伺服器114上的經編碼的視訊資料的無線信道(例如,Wi-Fi連接)、有線連接(例如,數位用戶線(DSL)、電纜調變解調器等)、或這兩者的組合。輸入介面122可以被配置為根據上文討論的用於從檔案伺服器114取回或接收媒體資料的各種協定或者用於取回媒體資料的其它此類協定中的任何一種或多種進行操作。
輸出介面108和輸入介面122可以表示無線發射器/接收機、調變解調器、有線連網組件(例如,以太網卡)、根據各種IEEE 802.11標準中的任何一種標準進行操作的無線通信組件、或其它物理組件。在其中輸出介面108和輸入介面122包括無線組件的示例中,輸出介面108和輸入介面122可以被配置為根據蜂巢式通信標準(諸如4G、4G-LTE(長期演進)、改進的LTE、5G等)來傳輸資料(諸如經編碼的視訊資料)。在其中輸出介面108包括無線發射器的一些示例中,輸出介面108和輸入介面122可以被配置為根據其它無線標準(諸如IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、Bluetooth™標準等)來傳輸資料(諸如經編碼的視訊資料)。在一些示例中,源設備102和/或目的地設備116可以包括相應的片上系統(SoC)設備。例如,源設備102可以包括用於執行歸屬於視訊編碼器200和/或輸出介面108的功能的SoC設備,並且目的地設備116可以包括用於執行歸屬於視訊解碼器300和/或輸入介面122的功能的SoC設備。
本公開內容的技術可以應用於視訊譯碼,以支持各種多媒體應用中的任何一種,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流式視訊傳輸(諸如基於HTTP的動態自適應串流式傳輸(DASH))、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼、或其它應用。
目的地設備116的輸入介面122從電腦可讀媒體110(例如,通信媒體、儲存設備112、檔案伺服器114等)接收經編碼的視訊位元串流。經編碼的視訊位元串流可以包括由視訊編碼器200定義的諸如以下語法元素之類的信令器訊息(其也被視訊解碼器300使用):所述語法元素具有描述視訊區塊或其它譯碼單元(例如,切片、圖片、圖片組、序列等)的特性和/或處理的值。顯示設備118將經解碼的視訊資料的經解碼的圖片顯示給用戶。顯示設備118可以表示各種顯示設備中的任何一種,諸如液晶顯示器(LCD)、等離子顯示器、有機發光二極管(OLED)顯示器、或另一種類型的顯示設備。
儘管在圖1中未示出,但是在一些示例中,視訊編碼器200和視訊解碼器300可以各自與音頻編碼器和/或音頻解碼器整合,並且可以包括適當的MUX-DEMUX單元或其它硬體和/或軟體,以處理包括公共資料串流中的音頻和視訊兩者的經複用的串流。如果適用,MUX-DEMUX單元可以遵循ITU H.223複用器協定或其它協定(諸如用戶資料報協定(UDP))。
視訊編碼器200和視訊解碼器300各自可以被實現為各種適當的編碼器和/或解碼器電路中的任何一種,諸如一個或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可編程閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體、或其任何組合。當所述技術部分地用軟體實現時,設備可以將用於軟體的指令儲存在適當的非暫時性電腦可讀媒體中,並且使用一個或多個處理器,用硬體來執行指令以執行本公開內容的技術。視訊編碼器200和視訊解碼器300中的每一者可以被包括在一個或多個編碼器或解碼器中,一個或多個編碼器或解碼器中的任一者可以被整合為相應設備中的組合編碼器/解碼器(CODEC)的一部分。包括視訊編碼器200和/或視訊解碼器300的設備可以包括積體電路、微處理器、和/或無線通信設備(諸如蜂巢式電話)。
視訊編碼器200和視訊解碼器300可以根據視訊譯碼標準(諸如ITU-T H.265(也被稱為高效率視訊譯碼(HEVC))或對其的擴展(諸如多視圖和/或可縮放視訊譯碼擴展))進行操作。替代地,視訊編碼器200和視訊解碼器300可以根據其它專有或行業標準(諸如ITU-T H.266標準,也被稱為通用視訊譯碼(VVC))進行操作。VVC標準的草案是在以下文檔中描述的:Bross等人,“Versatile Video Coding (Draft 8)”,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET),第17次會議:比利時布魯塞爾,2020年1月7-17日,JVET-Q2001-v15(下文的“VVC草案8”)。然而,本公開內容的技術不限於任何特定的譯碼標準。
通常,視訊編碼器200和視訊解碼器300可以執行對圖片的基於區塊的譯碼。術語“區塊”通常指代包括要被處理的(例如,在編碼和/或解碼過程中的被編碼的、被解碼的或以其它方式被使用的)資料的結構。例如,區塊可以包括亮度和/或色度資料的樣本的二維矩陣。通常,視訊編碼器200和視訊解碼器300可以對以YUV(例如,Y、Cb、Cr)格式表示的視訊資料進行譯碼。也就是說,視訊編碼器200和視訊解碼器300可以對亮度和色度分量進行譯碼,而不是對用於圖片的樣本的紅色、綠色和藍色(RGB)資料進行譯碼,其中,色度分量可以包括紅色色相和藍色色相色度分量兩者。在一些示例中,視訊編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示,並且視訊解碼器300將YUV表示轉換為RGB格式。替代地,預處理和後處理單元(未示出)可以執行這些轉換。
概括而言,本公開內容可以涉及對圖片的譯碼(例如,編碼和解碼)以包括對圖片的資料進行編碼或解碼的過程。類似地,本公開內容可以涉及對圖片的區塊的譯碼以包括對用於區塊的資料進行編碼或解碼(例如,預測和/或殘差譯碼)的過程。經編碼的視訊位元串流通常包括用於表示譯碼決策(例如,譯碼模式)以及將圖片分割為區塊的語法元素的一系列值。因此,關於對圖片或區塊進行譯碼的引用通常應當被理解為對用於形成圖片或區塊的語法元素的值進行譯碼。
HEVC定義了各種區塊,包括譯碼單元(CU)、預測單元(PU)和轉換單元(TU)。根據HEVC,視訊譯碼器(諸如視訊編碼器200)根據四叉樹結構來將譯碼樹單元(CTU)分割為CU。也就是說,視訊譯碼器將CTU和CU分割為四個相等的、不重疊的正方形,並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為“葉節點”,並且這樣的葉節點的CU可以包括一個或多個PU和/或一個或多個TU。視訊譯碼器可以進一步分割PU和TU。例如,在HEVC中,殘差四叉樹(RQT)表示對TU的分割。在HEVC中,PU表示幀間預測資料,而TU表示殘差資料。經幀內預測的CU包括幀內預測訊息,諸如幀內模式指示。
作為另一示例,視訊編碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC,視訊譯碼器(諸如視訊編碼器200)將圖片分割為多個譯碼樹單元(CTU)。視訊編碼器200可以根據樹結構(諸如四叉樹-二叉樹(QTBT)結構或多類型樹(MTT)結構)分割CTU。QTBT結構去除了多種分割類型的概念,諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別:根據四叉樹分割而被分割的第一級別、以及根據二叉樹分割而被分割的第二級別。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於譯碼單元(CU)。
在MTT分割結構中,可以使用四叉樹(QT)分割、二叉樹(BT)分割以及一種或多種類型的三叉樹(TT)(也被稱為三元樹(TT))分割來對區塊進行分割。三叉樹或三元樹分割是其中區塊被分為三個子區塊的分割。在一些示例中,三叉樹或三元樹分割將區塊劃分為三個子區塊,而不通過中心劃分原始區塊。MTT中的分割類型(例如,QT、BT和TT)可以是對稱的或不對稱的。
在一些示例中,視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每一者,而在其它示例中,視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構,諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構(或者用於相應色度分量的兩個QTBT/MTT結構)。
視訊編碼器200和視訊解碼器300可以被配置為使用每HEVC的四叉樹分割、QTBT分割、MTT分割、或其它分割結構。為了解釋的目的,關於QTBT分割給出了對本公開內容的技術的描述。然而,應當理解的是,本公開內容的技術還可以應用於被配置為使用四叉樹分割或者還使用其它類型的分割的視訊譯碼器。
在一些示例中,CTU包括具有三個樣本陣列的圖片的亮度樣本的譯碼樹區塊(CTB)、色度樣本的兩個對應CTB、或者單色圖片或使用三個單獨的色彩平面而譯碼的圖片的樣本的CTB、以及用於對樣本進行譯碼的語法結構。CTB可以是針對N的某個值而言的NxN樣本區塊,使得將分量劃分為CTB是一種分割。分量是來自以4:2:0、4:2:2或4:4:4色彩格式來構成圖片的三個陣列(亮度和兩個色度)中的一個的陣列或單個樣本、或以單色格式構成圖片的陣列或該陣列的單個樣本。在一些示例中,譯碼區塊是針對M和N的一些值而言的MxN樣本區塊,使得將CTB劃分為譯碼區塊是一種分割。
可以以各種方式在圖片中對區塊(例如,CTU或CU)進行分組。作為一個示例,磚塊(brick)可以指代圖片中的特定瓦片(tile)內的CTU行的矩形區域。瓦片可以是圖片中的特定瓦片列和特定瓦片行內的CTU的矩形區域。瓦片列指代CTU的矩形區域,其具有等於圖片的高度的高度以及由語法元素(例如,諸如在圖片參數集中)指定的寬度。瓦片行指代CTU的矩形區域,其具有由語法元素指定的高度(例如,諸如在圖片參數集中)以及等於圖片的寬度的寬度。
在一些示例中,可以將瓦片分割為多個磚塊,多個磚塊中的每個磚塊可以包括瓦片內的一個或多個CTU行。沒有被分割為多個磚塊的瓦片也可以被稱為磚塊。然而,作為瓦片的真實子集的磚塊可以不被稱為瓦片。
圖片中的磚塊也可以以切片來排列。切片可以是圖片的整數個磚塊,其可以唯一地被包含在單個網路抽象層(NAL)單元中。在一些示例中,切片包括多個完整的瓦片或者僅包括一個瓦片的連續序列的完整磚塊。
本公開內容可以可互換地使用“NxN”和“N乘N”來指代區塊(諸如CU或其它視訊區塊)在垂直和水平維度方面的樣本大小,例如,16x16個樣本或16乘16個樣本。通常,16x16 CU在垂直方向上將具有16個樣本(y = 16),並且在水平方向上將具有16個樣本(x = 16)。同樣地,NxN CU通常在垂直方向上具有N個樣本,並且在水平方向上具有N個樣本,其中N表示非負整數值。CU中的樣本可以按行和列來排列。此外,CU不一定需要在水平方向上具有與在垂直方向上相同的數量的樣本。例如,CU可以包括NxM個樣本,其中M不一定等於N。
視訊編碼器200對用於CU的表示預測和/或殘差訊息以及其它訊息的視訊資料進行編碼。預測訊息指示將如何預測CU以便形成用於CU的預測區塊。殘差訊息通常表示在編碼之前的CU的樣本與預測區塊之間的逐樣本差。
為了預測CU,視訊編碼器200通常可以通過幀間預測或幀內預測來形成用於CU的預測區塊。幀間預測通常指代根據先前譯碼的圖片的資料來預測CU,而幀內預測通常指代根據同一圖片的先前譯碼的資料來預測CU。為了執行幀間預測,視訊編碼器200可以使用一個或多個運動向量來生成預測區塊。視訊編碼器200通常可以執行運動搜索,以識別例如在CU與參考區塊之間的差異方面與CU緊密匹配的參考區塊。視訊編碼器200可以使用絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)、或其它這樣的差計算來計算差度量,以確定參考區塊是否與當前CU緊密匹配。在一些示例中,視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。
VVC的一些示例還提供仿射運動補償模式,其可以被認為是幀間預測模式。在仿射運動補償模式下,視訊編碼器200可以確定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其它不規則的運動類型)的兩個或更多個運動向量。
為了執行幀內預測,視訊編碼器200可以選擇幀內預測模式來生成預測區塊。VVC的一些示例提供六十七種幀內預測模式,包括各種方向性模式、以及平面模式和DC模式。通常,視訊編碼器200選擇幀內預測模式,幀內預測模式描述與當前區塊(例如,CU的區塊)相鄰的樣本,其中根據該相鄰的樣本來預測當前區塊的樣本。假定視訊編碼器200以光柵掃描次序(左到右、上到下)對CTU和CU進行譯碼,則這樣的樣本通常可以是在與當前區塊相同的圖片中在當前區塊的上方、左上方或左側。
視訊編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如,對於幀間預測模式,視訊編碼器200可以對表示使用各種可用幀間預測模式中的哪一種的資料以及用於對應模式的運動訊息進行編碼。對於單向或雙向幀間預測,例如,視訊編碼器200可以使用高階運動向量預測(AMVP)或合併模式來對運動向量進行編碼。視訊編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。
在諸如對區塊的幀內預測或幀間預測之類的預測之後,視訊編碼器200可以計算用於該區塊的殘差資料。殘差資料(諸如殘差區塊)表示在區塊與用於該區塊的預測區塊之間的逐樣本差,該預測區塊是使用對應的預測模式來形成的。視訊編碼器200可以將一個或多個轉換應用於殘差區塊,以在轉換域中而非在樣本域中產生經轉換的資料。例如,視訊編碼器200可以將離散餘弦轉換(DCT)、整數轉換、小波轉換或概念上類似的轉換應用於殘差視訊資料。另外,視訊編碼器200可以在第一轉換之後應用二次轉換,諸如模式相關的不可分離二次轉換(MDNSST)、信號相關轉換、Karhunen-Loeve轉換(KLT)等。視訊編碼器200在應用一個或多個轉換之後產生轉換係數。
如上所述,在任何轉換以產生轉換係數之後,視訊編碼器200可以執行對轉換係數的量化。量化通常指代如下的過程:在該過程中,對轉換係數進行量化以可能減少用於表示轉換係數的資料量,從而提供進一步的壓縮。通過執行量化過程,視訊編碼器200可以減小與一些或所有轉換係數相關聯的位元深度。例如,視訊編碼器200可以在量化期間將n位元的值向下舍入為m位元的值,其中n大於m。在一些示例中,為了執行量化,視訊編碼器200可以執行對要被量化的值的按位右移。
在量化之後,視訊編碼器200可以掃描轉換係數,從而從包括經量化的轉換係數的二維矩陣產生一維向量。可以將掃描設計為將較高能量(並且因此較低頻率)的轉換係數放在向量的前面,並且將較低能量(並且因此較高頻率)的轉換係數放在向量的後面。在一些示例中,視訊編碼器200可以利用預定義的掃描次序來掃描經量化的轉換係數以產生經串行化的向量,並且然後對向量的經量化的轉換係數進行熵編碼。在其它示例中,視訊編碼器200可以執行自適應掃描。在掃描經量化的轉換係數以形成一維向量之後,視訊編碼器200可以例如根據上下文自適應二進制算術譯碼(CABAC)來對一維向量進行熵編碼。視訊編碼器200還可以對用於描述與經編碼的視訊資料相關聯的元資料的語法元素的值進行熵編碼,以供視訊解碼器300在對視訊資料進行解碼時使用。
為了執行CABAC,視訊編碼器200可以將上下文模型內的上下文分配給要被發送的符元。上下文可以涉及例如符元的相鄰值是否為零值。概率確定可以是基於被分配給符元的上下文的。
視訊編碼器200還可以例如在圖片標頭、區塊標頭、切片標頭中為視訊解碼器300生成語法資料(諸如基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料)、或其它語法資料(諸如序列參數集(SPS)、圖片參數集(PPS)或視訊參數集(VPS))。同樣地,視訊解碼器300可以對這樣的語法資料進行解碼以確定如何解碼對應的視訊資料。
以這種方式,視訊編碼器200可以生成位元串流,其包括經編碼的視訊資料,例如,描述將圖片分割為區塊(例如,CU)以及用於該區塊的預測和/或殘差訊息的語法元素。最終,視訊解碼器300可以接收位元串流並且對經編碼的視訊資料進行解碼。
通常,視訊解碼器300執行與由視訊編碼器200執行的過程相反的過程,以對位元串流的經編碼的視訊資料進行解碼。例如,視訊解碼器300可以使用CABAC,以與視訊編碼器200的CABAC編碼過程基本上類似的、但是相反的方式來對用於位元串流的語法元素的值進行解碼。語法元素可以定義用於將圖片分割為CTU、以及根據對應的分割結構(諸如QTBT結構)對每個CTU進行分割以定義CTU的CU的分割訊息。語法元素還可以定義用於視訊資料的區塊(例如,CU)的預測和殘差訊息。
殘差訊息可以由例如經量化的轉換係數來表示。視訊解碼器300可以對區塊的經量化的轉換係數進行逆量化和逆轉換以重現用於該區塊的殘差區塊。視訊解碼器300使用經信號通知的預測模式(幀內預測或幀間預測)和相關的預測訊息(例如,用於幀間預測的運動訊息)來形成用於該區塊的預測區塊。視訊解碼器300然後可以對預測區塊和殘差區塊(在逐個樣本的基礎上)進行組合以重現原始區塊。視訊解碼器300可以執行額外處理,諸如執行去區塊過程以減少沿著區塊的邊界的視覺偽影。
概括而言,本公開內容可能涉及“用信號通知”某些器訊息(諸如語法元素)。術語“用信號通知”通常可以指代對用於語法元素的值和/或用於對經編碼的視訊資料進行解碼的其它資料的傳送。也就是說,視訊編碼器200可以在位元串流中用信號通知用於語法元素的值。通常,用信號通知指代在位元串流中生成值。如上所述,源設備102可以基本上實時地或不是實時地(諸如可能在將語法元素儲存到儲存設備112以供目的地設備116稍後取回時發生)將位元串流傳輸到目的地設備116。
圖2A和2B是示出示例四叉樹二叉樹(QTBT)結構130以及對應的譯碼樹單元(CTU)132的概念圖。實線表示四叉樹拆分,而虛線指示二叉樹拆分。在二叉樹的每個拆分(即非葉)節點中,用信號通知一個標誌以指示使用哪種拆分類型(即,水平或垂直),其中,在該示例中,0指示水平拆分,而1指示垂直拆分。對於四叉樹拆分,由於四叉樹節點將區塊水平地和垂直地拆分為具有相等大小的4個子區塊,因此無需指示拆分類型。因此,視訊編碼器200可以對以下各項進行編碼,而視訊解碼器300可以對以下各項進行解碼:用於QTBT結構130的區域樹級別(即,實線)的語法元素(諸如拆分器訊息)、以及用於QTBT結構130的預測樹級別(即,虛線)的語法元素(諸如拆分器訊息)。視訊編碼器200可以對用於由QTBT結構130的終端葉節點表示的CU的視訊資料(諸如預測和轉換資料)進行編碼,而視訊解碼器300可以對該視訊資料進行解碼。
通常,圖2B的CTU 132可以與定義與QTBT結構130的處於第一和第二級別的節點相對應的區塊的大小的參數相關聯。這些參數可以包括CTU大小(表示樣本中的CTU 132的大小)、最小四叉樹大小(MinQTSize,其表示最小允許四叉樹葉節點大小)、最大二叉樹大小(MaxBTSize,其表示最大允許二叉樹根節點大小)、最大二叉樹深度(MaxBTDepth,其表示最大允許二叉樹深度)、以及最小二叉樹大小(MinBTSize,其表示最小允許二叉樹葉節點大小)。
與CTU相對應的QTBT結構的根節點可以在QTBT結構的第一級別處具有四個子節點,這些子節點中的每個子節點可以是根據四叉樹分割來分割的。也就是說,第一級別的節點是葉節點(沒有子節點)或者具有四個子節點。QTBT結構130的示例將這樣的節點表示為包括具有實線分支的父節點和子節點。如果第一級別的節點不大於最大允許二叉樹根節點大小(MaxBTSize),則可以通過相應的二叉樹進一步對這些節點進行分割。可以對一個節點的二叉樹拆分進行迭代,直到從拆分產生的節點達到最小允許二叉樹葉節點大小(MinBTSize)或最大允許二叉樹深度(MaxBTDepth)。QTBT結構130的示例將這樣的節點表示為具有虛線分支。二叉樹葉節點被稱為譯碼單元(CU),其用於預測(例如,圖片內或圖片間預測)和轉換,而不進行任何進一步分割。如上所討論的,CU也可以被稱為“視訊區塊”或“區塊”。
在QTBT分割結構的一個示例中,CTU大小被設置為128x128(亮度樣本和兩個對應的64x64色度樣本),MinQTSize被設置為16x16,MaxBTSize被設置為64x64,MinBTSize(對於寬度和高度兩者)被設置為4,並且MaxBTDepth被設置為4。首先對CTU應用四叉樹分割以生成四叉樹葉節點。四叉樹葉節點可以具有從16x16(即MinQTSize)到128x128(即,CTU大小)的大小。如果四叉樹葉節點為128x128,則由於該大小超過MaxBTSize(即,在該示例中為64x64),因此葉四叉樹節點將不被二叉樹進一步拆分。否則,四叉樹葉節點將被二叉樹進一步分割。因此,四叉樹葉節點也是用於二叉樹的根節點,並且具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth(在該示例中為4)時,不允許進一步拆分。具有等於MinBTSize(在該示例中為4)的寬度的二叉樹節點意味著不允許針對該二叉樹節點進行進一步的垂直拆分(也就是說,對寬度的劃分)。類似地,具有等於MinBTSize的高度的二叉樹節點意味著不允許針對該二叉樹節點進行進一步的水平拆分(也就是說,對高度的劃分)。如上所述,二叉樹的葉節點被稱為CU,並且根據預測和轉換而被進一步處理,而無需進一步分割。
VVC草案8規定了規範的位元串流和圖片格式、高階語法(HLS)和語義以及解析和解碼過程。VVC還在附錄中規定了簡檔/層級/級別(PTL)限制、位元組串流格式、假設參考解碼器和補充增強器訊息(SEI)。
VVC從HEVC繼承了多個高階特徵,諸如網路抽象層(NAL)單元和參數集概念、瓦片和波前並行處理、分層譯碼以及將SEI消息用於補充資料信令。在VVC中引入了更多新的高階特徵,包括矩形切片和子圖片的概念、圖片分辨率自適應、混合NAL單元類型、圖片標頭(PH)、逐步解碼再新(GDR)圖片、虛擬邊界以及用於參考圖片管理的參考圖片列表(RPL)。
在取決於視埠的360°視訊串流式傳輸中,通常以較小的IRAP圖片間隔來對內容的一個版本進行編碼,以提供快速的視埠切換能力。VVC草案8允許不同的VCL NAL單元類型在圖片中共存,以實現在多個質量譯碼表示之間的快速視埠改變,以用於視埠自適應360°串流式傳輸。
圖3示出了360度視訊的取決於視埠的串流式傳輸的示例用例。子圖片A是始終呈現的背景視訊,並且前景子圖片B和子圖片C可以根據用戶的觀看朝向而呈現給用戶。與子圖片A相比,子圖片B和C具有更頻繁的隨機存取圖片以用於快速的視埠切換。用戶可以從子圖片B切換到子圖片C,並且然後切換回子圖片B,如圖3中所示。VVC允許將源自於隨機存取圖片的子圖片和源自於非隨機存取圖片的另一子圖片合併成符合VVC的同一經譯碼圖片。
IDR圖片在解碼過程中不使用幀間預測,並且可以是位元串流中按照解碼順序的第一個圖片,或者可以在位元串流中稍後出現。每個IDR圖片是CVS的按照解碼順序的第一個圖片。當針對其而言每個VCL NAL單元具有等於IDR_W_RADL的nal_unit_type的IDR圖片時,該圖片可以具有相關聯的RADL圖片。當針對其而言每個VCL NAL單元具有等於IDR_N_LP 的nal_unit_type的IDR圖片時,該圖片不具有任何相關聯的前導圖片。IDR圖片不具有相關聯的RASL圖片。
SPS語法元素sps_idr_rpl_present_flag用於指定在IDR圖片的切片標頭中存在參考圖片列表語法元素,以促進參考圖片列表的解析和構造。
PPS語法元素mixed_nalu_types_in_pic_flag用於指示:引用PPS的每個圖片具有一個以上的VCL NAL單元,這些VCL NAL單元不具有nal_unit_type的相同值,並且該圖片不是IRAP圖片。如下規定關於圖片中的混合NAL單元類型的約束:
對於任何特定圖片的VCL NAL單元,以下各項適用: -    如果mixed_nalu_types_in_pic_flag等於0,則對於圖片的所有經譯碼切片NAL單元,nal_unit_type的值應是相同的。圖片或PU被稱為具有與該圖片或PU的經譯碼切片NAL單元相同的NAL單元類型。 -    否則(mixed_nalu_types_in_pic_flag等於1),圖片的一個或多個子圖片的VCL NAL單元全部具有nal_unit_type的特定值,該特定值等於STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP或CRA_NUT,而圖片中的其它VCL NAL單元全部具有nal_unit_type的不同的特定值,該不同的特定值等於TRAIL_NUT、RADL_NUT或RASL_NUT。
在VVC草案8中針對混合NAL單元類型的設計具有一些潛在的缺陷。
現在將討論NAL單元類型定義內容。在表1中定義了VCL NAL單元類型。假定相同存取單元的所有VCL NAL單元必須具有NAL單元類型的相同值,並且該值定義存取單元的類型以及其經譯碼圖片。 表1 NAL單元類型碼和類別
nal_unit_type nal_unit_type 的名稱 NAL 單元的内容和 RBSP 語法結構 NAL 單元類型類別
0 TRAIL_NUT 尾隨圖片的經譯碼切片 slice_layer_rbsp( ) VCL
1 STSA_NUT STSA圖片的經譯碼切片 slice_layer_rbsp( ) VCL
2 RADL_NUT RADL圖片的經譯碼切片 slice_layer_rbsp( ) VCL
3 RASL_NUT RASL圖片的經譯碼切片 slice_layer_rbsp( ) VCL
4..6 RSV_VCL_4.. RSV_VCL_6 被預留的非IRAP VCL NAL 單元類型 VCL
7 8 IDR_W_RADL IDR_N_LP IDR圖片的經譯碼切片 slice_layer_rbsp( ) VCL
9 CRA_NUT CRA圖片的經譯碼切片 silce_layer_rbsp( ) VCL
在HEVC中存在三種基本類別的圖片:幀內隨機存取點(IRAP)圖片、前導圖片和尾隨圖片。對於混合NAL單元類型,一些NAL單元類型可以在所有三個類別中都是可用的,並且因此可能需要更新NAL單元類型定義。
現在將討論IDR參考圖片列表呈現的各方面。如下指定sps_idr_rpl_present_flag的語義。sps_idr_rpl_present_flag 等於1指定在IDR圖片的切片標頭中存在參考圖片列表語法元素。sps_idr_rpl_present_flag等於0指定在IDR圖片的切片標頭中不存在參考圖片列表語法元素。
由於IDR圖片被定義為針對其而言每個VCL NAL單元具有等於IDR_W_RADL或IDR_N_LP的nal_unit_type的IRAP圖片,因此該定義可能不適用於具有混合的IDR和非IRAP NAL單元類型的圖片。
此外,對於用於參考圖片列表構造的CRA圖片,存在如下位元串流一致性要求: -    在當前圖片是CRA圖片時,不應存在被RefPicList[ 0 ]或RefPicList[ 1 ]的條目引用的、按照輸出順序或解碼順序在按照解碼順序的任何在前的IRAP圖片(當存在時)之前的圖片。
類似的約束也適用於具有等於1的sps_idr_rpl_present_flag的IDR圖片。
現在將討論非IRAP圖片中的混合RASL NAL單元的各方面。隨機存取跳過前導(RASL)圖片是針對其而言每個VCL NAL單元具有等於RASL_NUT 的nal_unit_type 的經譯碼的圖片。RASL圖片是在從相關聯的IRAP圖片執行隨機存取時可能不可解碼的前導圖片。關於RASL圖片的約束如下: -    依賴於RASL圖片的每個圖片也必須是RASL圖片。RADL和RASL圖片按照解碼順序可以是混合的,但是RASL圖片按照輸出順序必須在RADL圖片之前 -    所有RASL圖片都是相關聯的CRA圖片的前導圖片。當相關聯的CRA圖片具有等於1的NoOutputBeforeRecoveryFlag時,RASL圖片不被輸出,並且可能無法被正確地解碼,因為RASL圖片可能包含對在位元串流中不存在的圖片的引用。對於非RASL圖片的解碼過程,RASL圖片不被用作參考圖片。當field_seq_flag等於0時,所有RASL圖片(當存在時)按照解碼順序在相同的相關聯的CRA圖片的所有非前導圖片之前
VVC草案8中的通用解碼過程規定:對於位元串流中的每個IRAP圖片,以下各項適用: -    如果圖片是按照解碼順序在位元串流中的層的第一個圖片、IDR圖片、或者按照解碼順序跟隨在層的EOS NAL單元之後的層的第一個圖片,則用於圖片的變數NoOutputBeforeRecoveryFlag被設置等於1。 -    否則,當圖片為CRA圖片時,以下各項適用: ○  如果在該規範中未指定的一些外部手段可用於將用於圖片的變數HandleCraAsCvsStartFlag設置為一個值,則用於該圖片的HandleCraAsCvsStartFlag被設置為等於由外部手段提供的值,並且NoOutputBeforeRecoveryFlag被設置為等於HandleCraAsCvsStartFlag。 ○  否則,用於該圖片的HandleCraAsCvsStartFlag和NoOutputBeforeRecoveryFlag兩者都被設置為等於0。
在當前圖片為RASL圖片並且相關聯的IRAP圖片的NoOutputBeforeRecoveryFlag等於1時,PictureOutputFlag被設置為等於0。
對於混合NAL單元類型,RASL NAL單元可以在前導或尾隨圖片中是可用的,如圖3中所示。到目前為止,不存在被指定以處置具有RASL_NUT的圖片但不處置RASL圖片的解碼過程。
現在將討論參考圖片條目約束的各方面。存在如下關於分步時間子層存取(STSA)圖片、尾隨圖片和RADL圖片的位元串流一致性要求: -    在當前切片具有等於STSA_NUT的nal_unit_type時,在RefPicList[ 0 ]或RefPicList[ 1 ]中不應存在具有等於該當前圖片的TemporalId的TemporalId以及等於該當前圖片的nuh_layer_id的nuh_layer_id的有效條目。 -    在當前圖片是按照解碼順序跟隨在具有等於當前圖片的TemporalId的TemporalId以及等於當前圖片的nuh_layer_id的nuh_layer_id的STSA圖片之後的圖片時,不應存在作為有效條目被包括在RefPicList[ 0 ]或RefPicList[ 1 ]中的如下圖片:該圖片按照解碼順序在STSA圖片之前,具有等於當前圖片的TemporalId的TemporalId,並且具有等於當前圖片的nuh_layer_id的nuh_layer_id。 -    在當前圖片是CRA圖片時,不應存在被RefPicList[ 0 ]或RefPicList[ 1 ]中的條目引用的、按照輸出順序或解碼順序在按照解碼順序的任何在前的IRAP圖片(當存在時)之前的圖片。 -    在當前圖片是尾隨圖片時,不應存在被RefPicList[ 0 ]或RefPicList[ 1 ]中的有效條目引用的、通過用於生成用於與當前圖片相關聯的IRAP圖片的不可用參考圖片的解碼過程而生成的圖片。 -    在當前圖片是按照解碼順序和輸出順序兩者跟隨在與相同IRAP圖片相關聯的一個或多個前導圖片(如果存在的話)之後的尾隨圖片時,不應存在被RefPicList[ 0 ]或RefPicList[ 1 ]中的條目引用的、通過用於生成用於與當前圖片相關聯的IRAP圖片的不可用參考圖片的解碼過程而生成的圖片。 -    在當前圖片是恢復點圖片或者按照輸出順序跟隨在恢復點圖片之後的圖片時,在RefPicList[ 0 ]或RefPicList[ 1 ]中不應存在包含通過用於生成用於恢復點圖片的GDR圖片的不可用參考圖片的解碼過程而生成的圖片的條目。 -    在當前圖片是尾隨圖片時,不應存在被RefPicList[ 0 ]或RefPicList[ 1 ]中的有效條目引用的、按照輸出順序或解碼順序在相關聯的IRAP圖片之前的圖片。 -    在當前圖片是按照解碼順序和輸出順序兩者跟隨在與相同IRAP圖片相關聯的一個或多個前導圖片(如果存在的話)之後的尾隨圖片時,不應存在被RefPicList[ 0 ]或RefPicList[ 1 ]中的條目引用的、按照輸出順序或解碼順序在相關聯的IRAP圖片之前的圖片。 -    在當前圖片是RADL圖片時,在RefPicList[ 0 ]或RefPicList[ 1 ]中不應存在作為以下各項中的任何一項的有效條目: ○  RASL圖片 ○  通過用於生成不可用參考圖片的解碼過程而生成的圖片 ○  按照解碼順序在相關聯的IRAP圖片之前的圖片
VVC草案8對用於混合NAL單元類型的IRAP VCL NAL單元約束如下:
對於在圖片picA中具有在IDR_W_RADL到CRA_NUT(含)的範圍內的nal_unit_type值nalUnitTypeA的每個切片,該圖片picA也包含具有nal_unit_type的另一值的一個或多個切片(即,用於圖片picA的mixed_nalu_types_in_pic_flag的值等於1)中,以下各項適用: -    切片應屬於針對其而言對應的subpic_treated_as_pic_flag[ i ]的值等於1的子圖片subpicA。 -    切片不應屬於picA的包含具有不等於nalUnitTypeA的nal_unit_type的VCL NAL單元的子圖片。 -    如果nalUnitTypeA等於CRA,則對於在CLVS中按照解碼順序並且按照輸出順序跟隨在當前圖片之後的所有後續PU,在那些PU中的subpicA中的切片的RefPicList[ 0 ]和RefPicList[ 1 ]都不應在有效條目中包括按照解碼順序在picA之前的任何圖片。
然而,不存在關於具有混合NAL單元類型的圖片的約束。
現在將討論混合NAL單元類型指示的各方面。VVC草案8在PPS中用信號通知mixed_nalu_types_in_pic_flag,解碼器必須解析PH並且跟蹤對於每個圖片所引用的PPS,以評估當前圖片的混合類型特性。對於不存在混合類型的常見情況,更高階級的指示符可以有助於簡化這樣的識別過程。在profile_tier_level( )語法結構中用信號通知語法元素no_mixed_nalu_types_in_pic_constraint_flag,其指定何時不對輸出層集應用混合NAL單元類型。然而,在層級別(例如,經譯碼層視訊序列(CLVS))處具有該指示以容易地識別圖片類型是有用的。
表2示出了PPS中的語法元素mixed_nalu_types_in_pic_flag。 表2 圖片參數集RBSP語法
pic_parameter_set_rbsp( ) { 描述符
pps_pic_parameter_set_id ue(v)
pps_seq_parameter_set_id u(4)
mixed_nalu_types_in_pic_flag u(1)
 
}  
本公開內容提出了用於用信號通知高階語法以支持VVC混合NAL單元類型的多種技術。
本公開內容提出了與NAL單元類型相關的技術。
基於VVC草案8的混合NAL單元類型概念,NAL單元類型定義可以按照下面在表3中所示的方式來更新。貫穿本公開內容,在<ADD>和</ADD>之間示出的文本表示所添加的文本,並且在<DEL>和</DEL>之間示出的文本表示相對于原始文本而刪除的(即,去除的)文本。 表3 所提議的NAL單元類型碼和類別
nal_unit_type nal_unit_type 的名稱 NAL 單元的内容和 RBSP 語法結構 NAL 單元類型類別
0 TRAIL_NUT <DEL>尾隨圖片</DEL> <ADD>非IRAP图片</ADD>的經譯碼切片 slice_layer_rbsp( ) VCL
1 STSA_NUT <DEL>STSA圖片</DEL>  <ADD>非IRAP圖片</ADD>的經譯碼切片 slice_layer_rbsp( ) VCL
2 RADL_NUT <DEL>RADL</DEL>  <ADD>非IRAP圖片</ADD>的經譯碼切片 slice_layer_rbsp( ) VCL
3 RASL_NUT <DEL>RASL</DEL>  <ADD>非IRAP</ADD>圖片的經譯碼切片 slice_layer_rbsp( ) VCL
4..6 RSV_VCL_4.. RSV_VCL_6 預留的非IRAP VCL NAL單元類型 VCL
7 8 IDR_W_RADL IDR_N_LP IDR圖片<ADD>或非IRAP圖片</ADD>的經譯碼切片 slice_layer_rbsp( ) VCL
9 CRA_NUT CRA圖片, <ADD>或非IRAP 圖片</ADD>的經譯碼切片 silce_layer_rbsp( ) VCL
前導圖片或尾隨圖片可以包括具有等於以下各項的NAL單元類型的NAL單元:IDR_W_RADL、IDR_N_LP、CRA_NUT、RASL_NUT、RADL_NUT、和/或STSA_NUT。
在本公開內容的另一示例中,GDR圖片可以是IRAP圖片。IRAP圖片可以具有混合的IDR、CRA和GDR子圖片或NAL單元。當隨機存取按照解碼順序發生在相關聯的IRAP圖片或先前的IDR、CRA或GDR NAL單元處時,前導或尾隨圖片中的圖片可能無法被正確地解碼以供輸出。
可以用信號通知新的PH NAL單元類型或圖片類型或標誌語法元素以指示圖片可以被跳過,因為當隨機存取發生在包含IDR、CRA或GDR NAL單元的先前圖片處時,該圖片可能無法被正確地解碼。可以用信號通知新的PH NAL單元類型、或圖片類型或標誌語法元素,以指示圖片是前導圖片或尾隨圖片。
本公開內容描述了與IDR參考圖片列表呈現相關的技術。可以如下所示地更新sps_idr_rpl_present_flag的語義: sps_idr_rpl_present_flag等於1指定在IDR<DEL>圖片</DEL>  <ADD>VCL NAL單元</ADD>的切片標頭中存在參考圖片列表語法元素。sps_idr_rpl_present_flag等於0指定在IDR<DEL>圖片</DEL>  <ADD>VCL NAL單元</ADD>的切片標頭中不存在參考圖片列表語法元素。
出了應用以下約束作為針對IDR圖片的位元串流一致性要求: <ADD>在當前圖片是IDR圖片並且sps_idr_rpl_present_flag等於1時,不應存在被RefPicList[ 0 ]或RefPicList[ 1 ]中的條目引用的、按照輸出順序或解碼順序在按照解碼順序的任何在前的IRAP圖片(如果存在的話)之前的圖片。</ADD>
本公開內容描述了與非IRAP圖片中的混合RASL NAL單元相關的技術。可以將RASL NAL單元與其它NAL單元類型(諸如在非IRAP圖片中但不是在RASL圖片中的IDR_W_RADL、IDR_N_LP、CRA_NUT、RADL_NUT、STSA_NUT和TRAIL_NUT)混合。當基於子圖片的位元串流合併發生在相關聯的CRA子圖片處時,RASL子圖片可能無法被正確地解碼。
VVC草案8使用NoOutputBeforeRecoveryFlag來控制RASL圖片的輸出,這樣的控制可能不適合RASL子圖片,因為合併可能不發生在相關聯的IRAP圖片處。
本公開內容提出了用於在PPS或PH中用信號通知用於指示引用PPS的圖片的一個或多個子圖片可能由於從相關聯的IRAP子圖片執行的隨機存取而無法被正確地解碼的標誌的技術。結果,當發生基於子圖片的位元串流合併時,可以不輸出相關聯的圖片。 表4 所提議的在PPS中的隨機存取跳過圖片標誌
pic_parameter_set_rbsp( ) { 描述符
pps_pic_parameter_set_id ue(v)
pps_seq_parameter_set_id u(4)
mixed_nalu_types_in_pic_flag u(1)
   <ADD>pps_random_access_skipped_picture_flag </ADD> <ADD> u(1) </ADD>
pic_width_in_luma_samples ue(v)
pic_height_in_luma_samples ue(v)
u(1)
}  
pps_random_access_skipped_picture_flag 等於1指定引用PPS的圖片具有帶有等於RASL_NUT的nal_unit_type值的一個或多個VCL NAL單元。pps_random_access_skipped_picture_flag等於0指定引用PPS的圖片不具有帶有等於RASL_NUT的nal_unit_type值的VCL NAL單元。
如下更新通用解碼過程: 對於位元串流中的每個圖片,以下各項適用: -    如果圖片是在位元串流中的層的按照解碼順序的第一個圖片、IDR圖片、或者按照解碼順序跟隨在層的EOS NAL單元之後的層的第一個圖片,則用於該圖片的變數NoOutputBeforeRecoveryFlag被設置為等於1。 <ADD> -    否則,當VCL NAL單元類型等於CRA_NUT時,以下各項適用: -     如果在該規範中未指定的一些外部手段可用於將用於第i子圖片的變數HandleCraAsCvsStartFlag[ i ]設置為一個值,則用於第i子圖片的HandleCraAsCvsStartFlag[ i ]被設置為等於由外部手段提供的值。 -     否則,HandleCraAsCvsStartFlag[ i ]被設置為等於0。 -     如果至少一個HandleCraAsCvsStartFlag[ i ]等於1(其中,i的範圍從0到sps_num_subpics_minus1),則NoOutputBeforeRecoveryFlag被設置為1,否則,NoOutputBeforeRecoveryFlag被設置為0。 </ADD> 在當前圖片是RASL圖片<ADD>或引用PPS的具有等於1的pps_random_access_skipped_picture_flag的值的圖片</ADD>並且<DEL>相關聯的IRAP圖片的</DEL> NoOutputBeforeRecoveryFlag等於1時,PictureOutputFlag被設置為等於0。
在另一示例中,可以為每個子圖片設置變數NoOutputBeforeRecoveryFlag。當第i IRAP或GDR子圖片具有等於1的NoOutputBeforeRecoveryFlag[ i ]時,解碼器不輸出按照解碼順序跟隨在IRAP或GDR子圖片之後並且不可解碼的相關聯的子圖片,並且可能也不輸出包含不可解碼的子圖片的圖片。可以在參數集或PH/SH中通過圖片類型、PH或SH NAL單元類型或語法元素指示來指示包含不可被正確地解碼的子圖片的圖片。
對於單層位元串流,如下更新以下約束: -    與CRA圖片相關聯的任何RASL圖片<ADD>或引用PPS的具有等於1的pps_random_access_skipped_picture_flag的前導圖片</ADD>應按照輸出順序在與CRA圖片相關聯的任何RADL圖片之前。
在一個示例中,可以為針對其而言一個或多個NAL單元具有等於RASL_NUT的nal_unity_type的前導圖片定義新的圖片類型PicTypeA,並且在當前圖片是RASL或PicTypeA圖片並且相關聯的IRAP圖片的NoOutputBeforeRecoveryFlag等於1時,PictureOutputFlag被設置為等於0。
在另一示例中,可以為針對其而言一個或多個NAL單元具有等於RASL_NUT的nal_unit_type的圖片定義新的圖片類型PicTypeB,並且在當前圖片是RASL或PicTypeB圖片並且NoOutputBeforeRecoveryFlag等於1時,PictureOutputFlag被設置為等於0。
在另一示例中,提出了不允許RASL_NUT VCL NAL單元與具有不同NAL單元類型的VCL NAL單元混合。可以如下更新關於混合NAL單元類型的約束。
對於任何特定圖片的VCL NAL單元,以下各項適用: -    如果mixed_nalu_types_in_pic_flag等於0,則對於圖片的所有經譯碼切片NAL單元,nal_unit_type的值應是相同的。圖片或PU被稱為具有與圖片或PU的經譯碼切片NAL單元相同的NAL單元類型。 -    否則(mixed_nalu_types_in_pic_flag等於1),圖片的一個或多個子圖片的VCL NAL單元全部具有nal_unit_type的特定值,該特定值等於STSA_NUT、RADL_NUT、<DEL> RASL_NUT、</DEL>  IDR_W_RADL、IDR_N_LP、或CRA_NUT,而圖片中的其它VCL NAL單元全部具有nal_unit_type的不同的特定值,該不同的特定值等於TRAIL_NUT、RADL_NUT、<DEL> 或 RASL_NUT</DEL>。
本公開內容描述了與參考圖片列表條目約束相關的技術。可以如下更新關於RADL圖片的約束: 在當前圖片是RADL圖片時,在RefPicList[ 0 ]或RefPicList[ 1 ]中不應存在作為RASL圖片<ADD>或包含RASL_NUT VCL NAL單元的圖片</ADD>的有效條目。
在另一示例中,可以如下表示約束:
對於在圖片picA中的具有nal_unit_type值RADL_NUT的每個切片(該圖片picA還包含具有nal_unit_type的另一值的一個或多個切片(即,用於圖片picA的mixed_nalu_types_in_pic_flag的值等於1)),subpicA中的切片的RefPicList[ 0 ]和RefPicList[ 1 ]都不應在有效條目中包括以下圖片中的任何圖片: -    RASL圖片或包含RASL_NUT VCL NAL單元的圖片 -    通過用於生成不可用參考圖片的解碼過程而生成的圖片 -    按照解碼順序在相關聯的IRAP圖片之前的圖片 圖4示出了所提議的約束禁止兩種幀間預測。
本公開內容描述了與混合NAL單元類型指示相關的技術。用信號通知SPS混合NAL單元類型標誌,以在CLVS級別啟用或禁用混合NAL單元類型。提議了如表5中所示的語法。 表5 所提議的SPS混合NAL單元類型語法
seq_parameter_set_rbsp( ) { 描述符
sps_seq_parameter_set_id u(4)
sps_video_parameter_set_id u(4)
sps_max_sublayers_minus1 u(3)
sps_reserved_zero_4bits u(4)
   <ADD>sps_ mixed_nalu_types_flag </ADD> <ADD> u(1) </ADD>
u(1)
}  
sps_mixed_nalu_types_flag等於1指定:在CLVS內的引用SPS的每個圖片具有一個或多個VCL NAL單元,並且當在圖片中存在一個以上的VCL NAL單元時,VCL NAL單元可以具有或可以不具有nal_unit_type的相同值。sps_mixed_nalu_types_flag等於0指定:在CLVS內的引用SPS的每個圖片具有一個或多個VCL NAL單元,並且在CLVS內的引用SPS的每個圖片的VCL NAL單元具有nal_unit_type的相同值。當sps_mixed_nalu_types_flag等於0時,mixed_nalu_types_in_pic_flag的值應等於0。
在一些示例中,可以如下指定語義: sps_mixed_nalu_types_flag等於1指定:在CLVS內的引用SPS的每個圖片具有一個以上的VCL NAL單元,並且VCL NAL單元可以不具有nal_unit_type的相同值。sps_mixed_nalu_types_flag等於0指定:在CLVS內的引用SPS的每個圖片具有一個或多個VCL NAL單元,並且在CLVS內的引用SPS的每個圖片的VCL NAL單元具有nal_unit_type的相同值。當sps_mixed_nalu_types_flag等於0時,mixed_nalu_types_in_pic_flag的值應等於0。
圖5是示出可以執行本公開內容的技術的示例視訊編碼器200的方塊圖。圖5是出於解釋的目的而提供的,並且不應當被認為對如在本公開內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的,本公開內容描述了根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術的視訊編碼器200。然而,本公開內容的技術可以由被配置用於其它視訊譯碼標準的視訊編碼設備來執行。
在圖5的示例中,視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差生成單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重構單元214、濾波器單元216、經解碼圖片緩衝器(DPB)218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差生成單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重構單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如,視訊編碼器200的單元可以被實現為一個或多個電路或邏輯元件,作為硬體電路的一部分,或者作為處理器、ASIC或FPGA的一部分。此外,視訊編碼器200可以包括額外或替代的處理器或處理電路以執行這些和其它功能。
視訊資料記憶體230可以儲存要由視訊編碼器200的組件來編碼的視訊資料。視訊編碼器200可以從例如視訊源104(圖1)接收被儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當參考圖片記憶體,其儲存參考視訊資料以在由視訊編碼器200對後續視訊資料進行預測時使用。視訊資料記憶體230和DPB 218可以由各種記憶體設備中的任何一種形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、電阻性RAM(RRAM)、或其它類型的記憶體設備。視訊資料記憶體230和DPB 218可以由同一記憶體設備或單獨的記憶體設備來提供。在各個示例中,視訊資料記憶體230可以與視訊編碼器200的其它組件在晶片上(如示出的),或者相對於那些組件在晶片外。
在本公開內容中,對視訊資料記憶體230的引用不應當被解釋為限於在視訊編碼器200內部的記憶體(除非如此特別地描述),或者限於在視訊編碼器200外部的記憶體(除非如此特別地描述)。確切而言,對視訊資料記憶體230的引用應當被理解為儲存視訊編碼器200接收以用於編碼的視訊資料(例如,用於要被編碼的當前區塊的視訊資料)的參考記憶體。圖1的記憶體106還可以提供對來自視訊編碼器200的各個單元的輸出的臨時儲存。
示出了圖5的各個單元以幫助理解由視訊編碼器200執行的操作。這些單元可以被實現為固定功能電路、可編程電路、或其組合。固定功能電路指代提供特定功能並且關於可以被執行的操作而預先設置的電路。可編程電路指代可以被編程以執行各種任務並且在可以被執行的操作中提供靈活功能的電路。例如,可編程電路可以執行軟體或韌體,軟體或韌體使得可編程電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作類型通常是不可變的。在一些示例中,這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可編程),並且在一些示例中,這些單元中的一個或多個單元可以是積體電路。
視訊編碼器200可以包括由可編程電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路和/或可編程核。在其中使用由可編程電路執行的軟體來執行視訊編碼器200的操作的示例中,記憶體106(圖1)可以儲存視訊編碼器200接收並且執行的軟體的指令(例如,目標代碼),或者視訊編碼器200內的另一記憶體(未示出)可以儲存這樣的指令。
視訊資料記憶體230被配置為儲存所接收的視訊資料。視訊編碼器200可以從視訊資料記憶體230取回視訊資料的圖片,並且將視訊資料提供給殘差生成單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是要被編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和幀內預測單元226。模式選擇單元202可以包括額外功能單元,其根據其它預測模式來執行視訊預測。作為示例,模式選擇單元202可以包括調色板單元、區塊內複製單元(其可以是運動估計單元222和/或運動補償單元224的一部分)、仿射單元、線性模型(LM)單元等。
模式選擇單元202通常協調多個編碼通路(pass),以測試編碼參數的組合以及針對這樣的組合所得到的率失真值。編碼參數可以包括將CTU分割為CU、用於CU的預測模式、用於CU的殘差資料的轉換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇編碼參數的具有比其它測試的組合更佳的率失真值的組合。
視訊編碼器200可以將從視訊資料記憶體230取回的圖片分割為一系列CTU,並且將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構(諸如上述HEVC的QTBT結構或四叉樹結構)來分割圖片的CTU。如上所述,視訊編碼器200可以通過根據樹結構來分割CTU,從而形成一個或多個CU。這樣的CU通常也可以被稱為“視訊區塊”或“區塊”。
通常,模式選擇單元202還控制其組件(例如,運動估計單元222、運動補償單元224和幀內預測單元226)以生成用於當前區塊(例如,當前CU,或者在HEVC中為PU和TU的重疊部分)的預測區塊。為了對當前區塊進行幀間預測,運動估計單元222可以執行運動搜索以識別在一個或多個參考圖片(例如,被儲存在DPB 218中的一個或多個先前經譯碼的圖片)中的一個或多個緊密匹配的參考區塊。具體地,運動估計單元222可以例如根據絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)等,來計算表示潛在參考區塊將與當前區塊的類似程度的值。運動估計單元222通常可以使用在當前區塊與正被考慮的參考區塊之間的逐樣本差來執行這些計算。運動估計單元222可以識別從這些計算所得到的具有最低值的參考區塊,其指示與當前區塊最緊密匹配的參考區塊。
運動估計單元222可以形成一個或多個運動向量(MV),所述運動向量限定相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置。然後,運動估計單元222可以將運動向量提供給運動補償單元224。例如,對於單向幀間預測,運動估計單元222可以提供單個運動向量,而對於雙向幀間預測,運動估計單元222可以提供兩個運動向量。然後,運動補償單元224可以使用運動向量來生成預測區塊。例如,運動補償單元224可以使用運動向量來取回參考區塊的資料。作為另一示例,如果運動向量具有分數樣本精度,則運動補償單元224可以根據一個或多個插值濾波器來對用於預測區塊的值進行插值。此外,對於雙向幀間預測,運動補償單元224可以取回用於由相應的運動向量標識的兩個參考區塊的資料並且例如通過逐樣本平均或加權平均來將所取回的資料進行組合。
作為另一示例,對於幀內預測或幀內預測譯碼,幀內預測單元226可以根據與當前區塊相鄰的樣本來生成預測區塊。例如,對於方向性模式,幀內預測單元226通常可以在數學上將相鄰樣本的值進行組合,並且跨當前區塊在所定義的方向上填充這些計算出的值以產生預測區塊。作為另一示例,對於DC模式,幀內預測單元226可以計算與當前區塊相鄰的樣本的平均值,並且生成預測區塊以包括針對預測區塊的每個樣本的該得到的平均值。
模式選擇單元202將預測區塊提供給殘差生成單元204。殘差生成單元204從視訊資料記憶體230接收當前區塊的原始的未經編碼的版本,並且從模式選擇單元202接收預測區塊。殘差生成單元204計算在當前區塊與預測區塊之間的逐樣本差。所得到的逐樣本差定義了用於當前區塊的殘差區塊。在一些示例中,殘差生成單元204還可以確定殘差區塊中的樣本值之間的差,以使用殘差差分脈衝譯碼調變(RDPCM)來生成殘差區塊。在一些示例中,可以使用執行二進制減法的一個或多個減法器電路來形成殘差生成單元204。
在其中模式選擇單元202將CU分割為PU的示例中,每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支持具有各種大小的PU。如上所指出的,CU的大小可以指代CU的亮度譯碼區塊的大小,而PU的大小可以指代PU的亮度預測單元的大小。假定特定CU的大小為2Nx2N,則視訊編碼器200可以支持用於幀內預測的2Nx2N或NxN的PU大小、以及用於幀間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視訊編碼器200和視訊解碼器300還可以支持針對用於幀間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。
在其中模式選擇單元202不將CU進一步分割為PU的示例中,每個CU可以與亮度譯碼區塊和對應的色度譯碼區塊相關聯。如上,CU的大小可以指代CU的亮度譯碼區塊的大小。視訊編碼器200和視訊解碼器300可以支持2Nx2N、2NxN 或 Nx2N 的CU大小。
對於其它視訊譯碼技術(舉幾個示例,諸如區塊內複製模式譯碼、仿射模式譯碼和線性模型(LM)模式譯碼),模式選擇單元202經由與譯碼技術相關聯的相應單元來生成用於正被編碼的當前區塊的預測區塊。在一些示例中(諸如調色板模式譯碼),模式選擇單元202可以不生成預測區塊,而是替代地生成指示基於所選擇的調色板來重構區塊的方式的語法元素。在這樣的模式下,模式選擇單元202可以將這些語法元素提供給熵編碼單元220以被編碼。
如上所述,殘差生成單元204接收用於當前區塊和對應的預測區塊的視訊資料。然後,殘差生成單元204生成用於當前區塊的殘差區塊。為了生成殘差區塊,殘差生成單元204計算在預測區塊與當前區塊之間的逐樣本差。
轉換處理單元206將一種或多種轉換應用於殘差區塊,以生成轉換係數的區塊(本文中被稱為“轉換係數區塊”)。轉換處理單元206可以將各種轉換應用於殘差區塊,以形成轉換係數區塊。例如,轉換處理單元206可以將離散餘弦轉換(DCT)、方向轉換、Karhunen-Loeve轉換(KLT)、或概念上類似的轉換應用於殘差區塊。在一些示例中,轉換處理單元206可以對殘差區塊執行多種轉換,例如,初級轉換和二次轉換(諸如旋轉轉換)。在一些示例中,轉換處理單元206不對殘差區塊應用轉換。
量化單元208可以對轉換係數區塊中的轉換係數進行量化,以產生經量化的轉換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數(QP)值來對轉換係數區塊的轉換係數進行量化。視訊編碼器200(例如,經由模式選擇單元202)可以通過調整與CU相關聯的QP值來調整被應用於與當前區塊相關聯的轉換係數區塊的量化程度。量化可能引起器訊息損失,並且因此,經量化的轉換係數可能具有與由轉換處理單元206所產生的原始轉換係數相比較低的精度。
逆量化單元210和逆轉換處理單元212可以將逆量化和逆轉換分別應用於經量化的轉換係數區塊,以從轉換係數區塊重構殘差區塊。重構單元214可以基於經重構的殘差區塊和由模式選擇單元202生成的預測區塊來產生與當前區塊相對應的重構區塊(儘管潛在地具有某種程度的失真)。例如,重構單元214可以將經重構的殘差區塊的樣本與來自由模式選擇單元202所生成的預測區塊的對應樣本相加,以產生經重構的區塊。
濾波器單元216可以對經重構的區塊執行一個或多個濾波器操作。例如,濾波器單元216可以執行去區塊操作以減少沿著CU的邊緣的區塊效應偽影。在一些示例中,可以跳過濾波器單元216的操作。
視訊編碼器200將經重構的區塊儲存在DPB 218中。例如,在其中不需要濾波器單元216的操作的示例中,重構單元214可以將經重構的區塊儲存到DPB 218中。在其中需要濾波器單元216的操作的示例中,濾波器單元216可以將經濾波的重構區塊儲存到DPB 218中。運動估計單元222和運動補償單元224可以從DPB 218取回由經重構的(並且潛在地經濾波的)區塊形成的參考圖片,以對後續經編碼的圖片的區塊進行幀間預測。另外,幀內預測單元226可以使用在DPB 218中的當前圖片的經重構的區塊來對當前圖片中的其它區塊進行幀內預測。
通常,熵編碼單元220可以對從視訊編碼器200的其它功能組件接收的語法元素進行熵編碼。例如,熵編碼單元220可以對來自量化單元208的經量化的轉換係數區塊進行熵編碼。作為另一示例,熵編碼單元220可以對來自模式選擇單元202的預測語法元素(例如,用於幀間預測的運動訊息或用於幀內預測的幀內模式訊息)進行熵編碼。熵編碼單元220可以對作為視訊資料的另一示例的語法元素執行一個或多個熵編碼操作,以生成經熵編碼的資料。例如,熵編碼單元220可以對資料執行上下文自適應變長譯碼(CAVLC)操作、CABAC操作、可變-可變(V2V)長度譯碼操作、基於語法的上下文自適應二進制算術譯碼(SBAC)操作、概率區間分割熵(PIPE)譯碼操作、指數哥倫布編碼操作、或另一種類型的熵編碼操作。在一些示例中,熵編碼單元220可以在其中語法元素未被熵編碼的旁路模式下操作。
視訊編碼器200可以輸出位元串流,其包括用於重構切片或圖片的區塊所需要的經熵編碼的語法元素。具體地,熵編碼單元220可以輸出位元串流。
關於區塊描述了上述操作。這樣的描述應當被理解為用於亮度譯碼區塊和/或色度譯碼區塊的操作。如上所述,在一些示例中,亮度譯碼區塊和色度譯碼區塊是CU的亮度分量和色度分量。在一些示例中,亮度譯碼區塊和色度譯碼區塊是PU的亮度分量和色度分量。
在一些示例中,關於亮度譯碼區塊執行的操作不需要被重複用於色度譯碼區塊。作為一個示例,用於識別用於亮度譯碼區塊的運動向量(MV)和參考圖片的操作不需要被重複用於識別用於色度區塊的MV和參考圖片。確切而言,可以對用於亮度譯碼區塊的MV進行縮放以確定用於色度區塊的MV,並且參考圖片可以是相同的。作為另一示例,對於亮度譯碼區塊和色度譯碼區塊,幀內預測過程可以是相同的。
視訊編碼器200表示被配置為對視訊資料進行編碼的設備的示例,該設備包括:被配置為儲存視訊資料的記憶體;以及一個或多個處理單元,其在電路中實現並且被配置為用信號通知用於具有混合NAL單元類型的視訊的高階語法。
圖6是示出可以執行本公開內容的技術的示例視訊解碼器300的方塊圖。圖6是出於解釋的目的而提供的,並且不對如在本公開內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的,本公開內容根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術描述了視訊解碼器300。然而,本公開內容的技術可以由被配置用於其它視訊譯碼標準的視訊譯碼設備來執行。
在圖6的示例中,視訊解碼器300包括經譯碼圖片緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重構單元310、濾波器單元312和經解碼圖片緩衝器(DPB)134。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重構單元310、濾波器單元312和DPB 134中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實現。例如,視訊解碼器300的單元可以被實現為一個或多個電路或邏輯元件,作為硬體電路的一部分,或者作為處理器、ASIC或FPGA的一部分。此外,視訊解碼器300可以包括額外或替代的處理器或處理電路以執行這些和其它功能。
預測處理單元304包括運動補償單元316和幀內預測單元318。預測處理單元304可以包括用於根據其它預測模式來執行預測的額外的單元。作為示例,預測處理單元304可以包括調色板單元、區塊內複製單元(其可以形成運動補償單元316的一部分)、仿射單元、線性模型(LM)單元等。在其它示例中,視訊解碼器300可以包括更多、更少或不同的功能組件。
CPB記憶體320可以儲存要由視訊解碼器300的組件解碼的視訊資料,諸如經編碼的視訊位元串流。例如,可以從電腦可讀媒體110(圖1)獲得被儲存在CPB記憶體320中的視訊資料。CPB記憶體320可以包括儲存來自經編碼的視訊位元串流的經編碼的視訊資料(例如,語法元素)的CPB。此外,CPB記憶體320可以儲存除了經譯碼的圖片的語法元素之外的視訊資料,諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的圖片,視訊解碼器300可以輸出經解碼的圖片,和/或在解碼經編碼的視訊位元串流的後續資料或圖片時使用經解碼的圖片作為參考視訊資料。CPB記憶體320和DPB 314可以由各種記憶體設備中的任何一種形成,諸如DRAM,包括SDRAM、MRAM、RRAM或其它類型的記憶體設備。CPB記憶體320和DPB 314可以由同一記憶體設備或單獨的記憶體設備來提供。在各個示例中,CPB記憶體320可以與視訊解碼器300的其它組件在晶片上,或者相對於那些組件在晶片外。
另外或替代地,在一些示例中,視訊解碼器300可以從記憶體120(圖1)取回經譯碼的視訊資料。也就是說,記憶體120可以如上文所討論地利用CPB記憶體320來儲存資料。同樣,當視訊解碼器300的一些或全部功能是用要被視訊解碼器300的處理電路執行的軟體來實現時,記憶體120可以儲存要被視訊解碼器300執行的指令。
示出了圖6中示出的各個單元以幫助理解由視訊解碼器300執行的操作。這些單元可以被實現為固定功能電路、可編程電路、或其組合。類似於圖5,固定功能電路指代提供特定功能並且關於可以被執行的操作而預先設置的電路。可編程電路指代可以被編程以執行各種任務並且在可以被執行的操作中提供靈活功能的電路。例如,可編程電路可以執行軟體或韌體,軟體或韌體使得可編程電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作的類型通常是不可變的。在一些示例中,這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可編程),並且在一些示例中,這些單元中的一個或多個單元可以是積體電路。
視訊解碼器300可以包括由可編程電路形成的ALU、EFU、數位電路、類比電路和/或可編程核。在其中由在可編程電路上執行的軟體執行視訊解碼器300的操作的示例中,片上或片外記憶體可以儲存視訊解碼器300接收並且執行的軟體的指令(例如,目標代碼)。
熵解碼單元302可以從CPB接收經編碼的視訊資料,並且對視訊資料進行熵解碼以重現語法元素。預測處理單元304、逆量化單元306、逆轉換處理單元308、重構單元310和濾波器單元312可以基於從位元串流中提取的語法元素來生成經解碼的視訊資料。
通常,視訊解碼器300以逐區塊為基礎重構圖片。視訊解碼器300可以單獨地對每個區塊執行重構操作(其中,當前正在被重構(即,被解碼)的區塊可以被稱為“當前區塊”)。
熵解碼單元302可以對定義經量化的轉換係數區塊的經量化的轉換係數的語法元素以及諸如量化參數(QP)和/或轉換模式指示之類的轉換訊息進行熵解碼。逆量化單元306可以使用與經量化的轉換係數區塊相關聯的QP來確定量化程度,並且同樣地,確定供逆量化單元306應用的逆量化程度。逆量化單元306可以例如執行按位左移操作以對經量化的轉換係數進行逆量化。逆量化單元306從而可以形成包括轉換係數的轉換係數區塊。
在逆量化單元306形成轉換係數區塊之後,逆轉換處理單元308可以將一種或多種逆轉換應用於轉換係數區塊,以生成與當前區塊相關聯的殘差區塊。例如,逆轉換處理單元308可以將逆DCT、逆整數轉換、逆Karhunen-Loeve轉換(KLT)、逆旋轉轉換、逆方向轉換或另一逆轉換應用於轉換係數區塊。
此外,預測處理單元304根據由熵解碼單元302進行熵解碼的預測訊息語法元素來生成預測區塊。例如,如果預測訊息語法元素指示當前區塊是經幀間預測的,則運動補償單元316可以生成預測區塊。在這種情況下,預測訊息語法元素可以指示在DPB 314中的要從其取回參考區塊的參考圖片、以及標識相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置的運動向量。運動補償單元316通常可以以與關於運動補償單元224(圖5)所描述的方式基本類似的方式來執行幀間預測過程。
作為另一示例,如果預測訊息語法元素指示當前區塊是經幀內預測的,則幀內預測單元318可以根據由預測訊息語法元素指示的幀內預測模式來生成預測區塊。再次,幀內預測單元318通常可以以與關於幀內預測單元226(圖5)所描述的方式基本上類似的方式來執行幀內預測過程。幀內預測單元318可以從DPB 314取回與當前區塊相鄰的樣本的資料。
重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如,重構單元310可以將殘差區塊的樣本與預測區塊的對應樣本相加來重構當前區塊。
濾波器單元312可以對經重構的區塊執行一個或多個濾波器操作。例如,濾波器單元312可以執行去區塊操作以減少沿著經重構的區塊的邊緣的區塊效應偽影。不一定在所有示例中都執行濾波器單元312的操作。
視訊解碼器300可以將經重構的區塊儲存在DPB 314中。例如,在其中不執行濾波器單元312的操作的示例中,重構單元310可以將經重構的區塊儲存到DPB 314。在其中執行濾波器單元312的操作的示例中,濾波器單元312可以將經濾波的重構區塊儲存到DPB 314。如上所討論的,DPB 314可以將參考器訊息(諸如用於幀內預測的當前圖片以及用於後續運動補償的先前經解碼的圖片的樣本)提供給預測處理單元304。此外,視訊解碼器300可以從DPB 314輸出經解碼的圖片(例如,經解碼的視訊),以用於在諸如圖1的顯示設備118之類的顯示設備上的後續呈現。
以這種方式,視訊解碼器300表示視訊解碼設備的示例,該視訊解碼設備包括:被配置為儲存視訊資料的記憶體;以及一個或多個處理器,其在電路中實現並且被配置為解析用於具有混合NAL單元類型的視訊的高階語法。
圖7是示出用於對當前區塊進行編碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視訊編碼器200(圖1和5)進行了描述,但是應當理解的是,其它設備可以被配置為執行與圖7的方法類似的方法。
在該示例中,視訊編碼器200最初預測當前區塊(350)。例如,視訊編碼器200可以形成用於當前區塊的預測區塊。然後,視訊編碼器200可以計算用於當前區塊的殘差區塊(352)。為了計算殘差區塊,視訊編碼器200可以計算在原始的未經編碼的區塊與用於當前區塊的預測區塊之間的差。然後,視訊編碼器200可以對殘差區塊進行轉換以及對殘差區塊的轉換係數進行量化(354)。接下來,視訊編碼器200可以掃描殘差區塊的經量化的轉換係數(356)。在掃描期間或在掃描之後,視訊編碼器200可以對轉換係數進行熵編碼(358)。例如,視訊編碼器200可以使用CAVLC或CABAC來對轉換係數進行編碼。然後,視訊編碼器200可以輸出區塊的經熵編碼的資料(360)。
圖8是示出用於對視訊資料的當前區塊進行解碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視訊解碼器300(圖1和6)進行了描述,但是應當理解的是,其它設備可以被配置為執行與圖8的方法類似的方法。
視訊解碼器300可以接收用於當前區塊的經熵編碼的資料(諸如經熵編碼的預測訊息和用於與當前區塊相對應的殘差區塊的轉換係數的經熵編碼的資料)(370)。視訊解碼器300可以對經熵編碼的資料進行熵解碼以確定用於當前區塊的預測訊息並且重現殘差區塊的轉換係數(372)。視訊解碼器300可以例如使用如由用於當前區塊的預測訊息所指示的幀內或幀間預測模式來預測當前區塊(374),以計算用於當前區塊的預測區塊。然後,視訊解碼器300可以對所重現的轉換係數進行逆掃描(376),以創建經量化的轉換係數的區塊。然後,視訊解碼器300可以對轉換係數進行逆量化以及將逆轉換應用於轉換係數以產生殘差區塊(378)。最終,視訊解碼器300可以通過將預測區塊和殘差區塊進行組合來對當前區塊進行解碼(380)。
圖9是示出用於對視訊資料進行編碼的示例方法的流程圖。儘管關於視訊編碼器200(圖1和5)進行了描述,但是應當理解的是,其它設備可以被配置為執行與圖9的方法類似的方法。
在圖9的示例中,視訊編碼器200維護第一參考圖片列表(402)。視訊編碼器200維護第二參考圖片列表(404)。第一參考圖片列表和第二參考圖片列表可以例如是上面討論的RefPicList[ 0 ]和RefPicList[ 1 ]。
視訊編碼器200確定圖片是即時解碼再新(IDR)圖片(406)。IDR圖片可以包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。圖片可以包括至少一個IDR子圖片,並且至少一個IDR子圖片的所有區塊可以是在不進行幀間預測的情況下被譯碼的。至少一個IDR子圖片可以具有相關聯的前導圖片。視訊編碼器200確定在用於IDR圖片的切片標頭中存在參考圖片列表語法元素(408)。
響應於確定圖片是IDR圖片並且在用於IDR圖片的切片標頭中存在參考圖片列表語法元素,視訊編碼器200更新第一參考圖片列表和第二參考圖片列表,使得按照輸出順序或解碼順序,在第一參考圖片列表中沒有圖片以及在第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前(410)。在前的IRAP圖片可以包括在前的IDR圖片或在前的CRA圖片中的一者。
視訊編碼器200可以在經編碼的視訊資料的位元串流中輸出以下各項:包括參考圖片列表語法元素的語法元素、以及指示在與IDR VCL NAL單元相對應的切片標頭中存在參考圖片列表語法元素的語法元素。視訊編碼器200可以在經編碼的視訊資料的位元串流中輸出指示圖片包括具有不同NAL單元類型的多個VCL NAL單元的語法元素。
以下條款表示上述技術和設備的示例說明。
條款1:一種對視訊資料進行解碼的方法,所述方法包括:接收所述視訊資料的網路抽象層(NAL)單元;確定用於所述NAL單元的NAL單元類型;以及基於所確定的NAL單元類型來確定所述NAL單元的內容。
條款2:所述用於對視訊資料進行解碼的方法,還包括:接收與所述NAL單元分開的、指示針對所述NAL單元的可允許NAL單元類型的一個或多個語法元素。
條款3:根據條款1或2所述的方法,還包括:構造一個或多個參考圖片列表,其中,用於所述一個或多個參考圖片列表的條目是至少部分地基於所述NAL單元類型來選擇的。
條款4:一種對視訊資料進行編碼的方法,所述方法包括:確定用於NAL單元的NAL單元類型;基於所確定的NAL單元類型來確定用於NAL單元的內容;以及在視訊資料的經編碼的位元串流中輸出所述NAL單元。
條款5:一種對視訊資料進行編碼的方法,所述方法包括:確定用於NAL單元的內容;基於所確定的內容來確定用於NAL單元的NAL單元類型;以及在視訊資料的經編碼的位元串流中輸出所述NAL單元。
條款6:一種對視訊資料進行譯碼的方法,所述方法包括:確定用於所述視訊資料的圖片的圖片類型;以及構造一個或多個參考圖片列表,其中,用於所述一個或多個參考圖片列表的條目是至少部分地基於所述圖片類型來選擇的。
條款7:根據條款6所述的方法,其中,譯碼包括解碼。
條款8:根據條款6所述的方法,其中,譯碼包括編碼。
條款9:一種用於對視訊資料進行譯碼的設備,所述設備包括用於執行根據條款1-8中任一項所述的方法的一個或多個模組。
條款10:根據條款9所述的設備,其中,所述一個或多個模組包括在電路中實現的一個或多個處理器。
條款11:根據條款9或10所述的設備,還包括:用於儲存視訊資料的記憶體。
條款12:根據條款9-11中任一項所述的設備,還包括:被配置為顯示經解碼的視訊資料的顯示器。
條款13:根據條款9-12中任一項所述的設備,其中,所述設備包括相機、電腦、移動設備、廣播接收機設備或機上盒中的一者或多者。
條款14:根據條款9-13中任一項所述的設備,其中,所述設備包括視訊解碼器。
條款15:根據條款9-14中任一項所述的設備,其中,所述設備包括視訊編碼器。
條款16:一種具有儲存在其上的指令的電腦可讀儲存媒體,所述指令在被執行時,使得一個或多個處理器執行條款1-8中任一項所述的方法。
條款17、一種對視訊資料進行編碼的方法,所述方法包括:維護第一參考圖片列表;維護第二參考圖片列表;確定圖片是即時解碼再新(IDR)圖片;確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
條款18、根據條款17所述的方法,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
條款19、根據條款17或18所述的方法,還包括:在經編碼的視訊資料的位元串流中輸出以下各項:包括所述參考圖片列表語法元素的語法元素、以及指示在與所述IDR VCL NAL單元相對應的切片標頭中存在所述參考圖片列表語法元素的語法元素。
條款20、根據條款19所述的方法,還包括:在所述經編碼的視訊資料的位元串流中輸出指示所述圖片包括具有不同的NAL單元類型的多個VCL NAL單元的語法元素。
條款21、根據條款17-20中任一項所述的方法,其中,所述圖片包括至少一個IDR子圖片。
條款22、根據條款21所述的方法,其中,所述至少一個IDR子圖片的所有區塊是在沒有進行幀間預測的情況下被譯碼的。
條款23、根據條款21或22所述的方法,其中,所述至少一個IDR子圖片具有相關聯的前導圖片。
條款24、根據條款17-23中任一項的方法,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
條款25、一種用於對視訊資料進行解碼的設備,所述設備包括:記憶體,其被配置為儲存視訊資料;一個或多個處理器,其在電路中實現並且被配置為:維護第一參考圖片列表;維護第二參考圖片列表;確定圖片是即時解碼再新(IDR)圖片;確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
條款26、根據條款25所述的設備,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
條款27、根據條款26所述的設備,其中,所述一個或多個處理器還被配置為:在經編碼的視訊資料的位元串流中輸出以下各項:包括所述參考圖片列表語法元素的語法元素、以及指示在與所述IDR VCL NAL單元相對應的切片標頭中存在所述參考圖片列表語法元素的語法元素。
條款28、根據條款27所述的設備,其中,所述一個或多個處理器還被配置為:在所述經編碼的視訊資料的位元串流中輸出指示所述圖片包括具有不同的NAL單元類型的多個VCL NAL單元的語法元素。
條款29、根據條款25-28中任一項所述的設備,其中,所述圖片包括至少一個IDR子圖片。
條款30、根據條款29所述的設備,其中,所述至少一個IDR子圖片的所有區塊是在沒有進行幀間預測的情況下被譯碼的。
條款31、根據條款29所述的設備,其中,所述至少一個IDR子圖片具有相關聯的前導圖片。
條款32、根據條款25-31中任一項所述的設備,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
條款33、根據條款25-32中任一項所述的設備,其中,所述設備包括無線通信設備,其進一步包括被配置為發送經編碼的視訊資料的發射器。
條款34、根據條款33所述的設備,其中,所述無線通信設備包括電話手持機,並且其中,所述發射器被配置為根據無線通信標準來調變包括所述經編碼的視訊資料的信號。
條款35、根據條款25-34中任一項所述的設備,還包括:被配置為捕獲所述視訊資料的相機。
條款36、根據條款25-35中任一項所述的設備,其中,所述設備包括相機、電腦、移動設備、廣播接收機設備或機上盒中的一者或多者。
條款37、一種儲存指令的電腦可讀儲存媒體,所述指令在被一個或多個處理器執行時使得所述一個或多個處理器進行以下操作:維護第一參考圖片列表;維護第二參考圖片列表;確定圖片是即時解碼再新(IDR)圖片;確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
條款38、根據條款37所述的電腦可讀儲存媒體,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
條款39、根據條款37或38所述的電腦可讀儲存媒體,其中,所述圖片包括至少一個IDR子圖片。
條款40、根據條款37-39中任一項所述的電腦可讀儲存媒體,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
條款41、一種用於對視訊資料進行編碼的裝置,所述裝置包括:用於維護第一參考圖片列表的模組;用於維護第二參考圖片列表的模組;用於確定圖片是即時解碼再新(IDR)圖片的模組;用於確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素的模組;以及用於響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前的模組。
條款42、根據條款41所述的裝置,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
條款43、根據條款42所述的裝置,還包括:用於在經編碼的視訊資料的位元串流中輸出以下各項的模組:包括所述參考圖片列表語法元素的語法元素、以及指示在與所述IDR VCL NAL單元相對應的切片標頭中存在所述參考圖片列表語法元素的語法元素。
條款44、根據條款43所述的裝置,還包括:用於在所述經編碼的視訊資料的位元串流中輸出指示所述圖片包括具有不同的NAL單元類型的多個VCL NAL單元的語法元素的模組。
條款45、根據條款41-44中任一項所述的裝置,其中,所述圖片包括至少一個IDR子圖片。
條款46、根據條款41-45中任一項所述的裝置,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
要認識到的是,根據示例,本文描述的任何技術的某些動作或事件可以以不同的順序執行,可以被添加、合併或完全省略(例如,並非所有描述的動作或事件對於所述技術的實施都是必要的)。此外,在某些示例中,動作或事件可以例如通過多線程處理、中斷處理或多個處理器併發地而不是順序地執行。
在一個或多個示例中,所描述的功能可以用硬體、軟體、韌體或其任何組合來實現。如果用軟體來實現,則所述功能可以作為一個或多個指令或代碼被儲存在電腦可讀媒體上或者通過其進行傳輸並且由基於硬體的處理單元執行。電腦可讀媒體可以包括電腦可讀儲存媒體,其對應于諸如資料儲存媒體之類的有形媒體,或者包括例如根據通信協定來促進電腦程序從一個地方傳送到另一個地方的任何媒體的通信媒體。以這種方式,電腦可讀媒體通常可以對應於(1)非暫時性的有形電腦可讀儲存媒體、或者(2)諸如信號或載波之類的通信媒體。資料儲存媒體可以是可以由一個或多個電腦或者一個或多個處理器存取以取回用於實現在本公開內容中描述的技術的指令、代碼和/或資料結構的任何可用的媒體。電腦程序產品可以包括電腦可讀媒體。
舉例來說而非進行限制,這樣的電腦可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光碟儲存、磁碟儲存或其它磁儲存設備、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程序代碼以及能夠由電腦存取的任何其它媒體。此外,任何連接被適當地稱為電腦可讀媒體。例如,如果使用同軸電纜、光纖光纜、雙絞線、數位用戶線(DSL)或者無線技術(諸如紅外線、無線電和微波)從網站、伺服器或其它遠程源傳輸指令,則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術(諸如紅外線、無線電和微波)被包括在媒體的定義中。然而,應當理解的是,電腦可讀儲存媒體和資料儲存媒體不包括連接、載波、信號或其它暫時性媒體,而是替代地針對非暫時性的有形儲存媒體。如本文所使用的,磁碟和光碟包括壓縮光碟(CD)、雷射光光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中,磁碟通常磁性地複製資料,而光碟利用雷射光來光學地複製資料。上述各項的組合也應當被包括在電腦可讀媒體的範圍之內。
指令可以由一個或多個處理器來執行,諸如一個或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、現場可編程閘陣列(FPGA)、或其它等效的積體或離散邏輯電路。因此,如本文所使用的術語“處理器”和“處理電路”可以指代前述結構中的任何一者或者適於實現本文描述的技術的任何其它結構。另外,在一些方面中,本文描述的功能可以在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供,或者被併入經組合的編解碼器中。此外,所述技術可以完全在一個或多個電路或邏輯元件中實現。
本公開內容的技術可以在多種多樣的設備或裝置中實現,包括無線手持機、積體電路(IC)或一組IC(例如,晶片組)。在本公開內容中描述了各種組件、模組或單元以強調被配置為執行所公開的技術的設備的功能性方面,但是不一定需要通過不同的硬體單元來實現。確切而言,如上所述,各種單元可以被組合在編解碼器硬體單元中,或者由互操作的硬體單元的集合(包括如上所述的一個或多個處理器)結合適當的軟體和/或韌體來提供。
已經描述了各個示例。這些和其它示例在所附的申請專利範圍的範圍內。
100:視訊編碼和解碼系統 102:源設備 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀介質媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 200:視訊編碼器 300:視訊解碼器 130:四叉樹二叉樹(QTBT)結構 132:譯碼樹單元(CTU) 202:模式選擇單元 204:殘差生成單元 206:轉換處理單元 208:量化單元 210:逆量化單元 212:逆轉換處理單元 214:重構單元 216:濾波器單元 218:經解碼圖片緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:幀內預測單元 230:視訊資料記憶體 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆轉換處理單元 310:重構單元 312:濾波器單元 314:經解碼圖片緩衝器(DPB) 316:運動補償單元 318:幀內預測單元 320:CPB記憶體 350:操作 352:操作 354:操作 356:操作 358:操作 360:操作 370:操作 372:操作 374:操作 376:操作 378:操作 380:操作 402:操作 404:操作 406:操作 408:操作 410:操作
圖1是示出可以執行本公開內容的技術的示例視訊編碼和解碼系統的方塊圖。
圖2A和圖2B是示出示例四叉樹二叉樹(QTBT)結構以及對應的譯碼樹單元(CTU)的概念圖。
圖3是360度視訊的取決於視埠的串流式傳輸的示例用例。
圖4示出了提議的約束的示例。
圖5是示出可以執行本公開內容的技術的示例視訊編碼器的方塊圖。
圖6是示出可以執行本公開內容的技術的示例視訊解碼器的方塊圖。
圖7是示出示例視訊編碼過程的流程圖。
圖8是示出示例視訊解碼過程的流程圖。
圖9是示出示例視訊編碼過程的流程圖。
402:操作
404:操作
406:操作
408:操作
410:操作

Claims (30)

  1. 一種對視訊資料進行編碼的方法,所述方法包括: 維護第一參考圖片列表; 維護第二參考圖片列表; 確定圖片是即時解碼再新(IDR)圖片; 確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及 響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
  2. 根據請求項1所述的方法,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
  3. 根據請求項2所述的方法,還包括: 在經編碼的視訊資料的位元串流中輸出以下各項:包括所述參考圖片列表語法元素的語法元素、以及指示在與所述IDR VCL NAL單元相對應的切片標頭中存在所述參考圖片列表語法元素的語法元素。
  4. 根據請求項3所述的方法,還包括: 在所述經編碼的視訊資料的位元串流中輸出指示所述圖片包括具有不同的NAL單元類型的多個VCL NAL單元的語法元素。
  5. 根據請求項1所述的方法,其中,所述圖片包括至少一個IDR子圖片。
  6. 根據請求項5所述的方法,其中,所述至少一個IDR子圖片的所有區塊是在沒有進行幀間預測的情況下被譯碼的。
  7. 根據請求項5所述的方法,其中,所述至少一個IDR子圖片具有相關聯的前導圖片。
  8. 根據請求項1所述的方法,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
  9. 一種用於對視訊資料進行解碼的設備,所述設備包括: 記憶體,其被配置為儲存視訊資料;以及 一個或多個處理器,其在電路中實現並且被配置為: 維護第一參考圖片列表; 維護第二參考圖片列表; 確定圖片是即時解碼再新(IDR)圖片; 確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及 響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
  10. 根據請求項9所述的設備,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
  11. 根據請求項10所述的設備,其中,所述一個或多個處理器還被配置為: 在經編碼的視訊資料的位元串流中輸出以下各項:包括所述參考圖片列表語法元素的語法元素、以及指示在與所述IDR VCL NAL單元相對應的切片標頭中存在所述參考圖片列表語法元素的語法元素。
  12. 根據請求項11所述的設備,其中,所述一個或多個處理器還被配置為: 在所述經編碼的視訊資料的位元串流中輸出指示所述圖片包括具有不同的NAL單元類型的多個VCL NAL單元的語法元素。
  13. 根據請求項9所述的設備,其中,所述圖片包括至少一個IDR子圖片。
  14. 根據請求項13所述的設備,其中,所述至少一個IDR子圖片的所有區塊是在沒有進行幀間預測的情況下被譯碼的。
  15. 根據請求項13所述的設備,其中,所述至少一個IDR子圖片具有相關聯的前導圖片。
  16. 根據請求項9所述的設備,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
  17. 根據請求項9所述的設備,其中,所述設備包括無線通信設備,其進一步包括被配置為發送經編碼的視訊資料的發射器。
  18. 根據請求項17所述的設備,其中,所述無線通信設備包括電話手持機,並且其中,所述發射器被配置為根據無線通信標準來調變包括所述經編碼的視訊資料的信號。
  19. 根據請求項9所述的設備,還包括: 被配置為捕獲所述視訊資料的相機。
  20. 根據請求項9所述的設備,其中,所述設備包括相機、電腦、移動設備、廣播接收機設備或機上盒中的一者或多者。
  21. 一種儲存指令的電腦可讀儲存媒體,所述指令在被一個或多個處理器執行時使得所述一個或多個處理器進行以下操作: 維護第一參考圖片列表; 維護第二參考圖片列表; 確定圖片是即時解碼再新(IDR)圖片; 確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素;以及 響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前。
  22. 根據請求項21所述的電腦可讀儲存媒體,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
  23. 根據請求項21所述的電腦可讀儲存媒體,其中,所述圖片包括至少一個IDR子圖片。
  24. 根據請求項21所述的電腦可讀儲存媒體,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
  25. 一種用於對視訊資料進行編碼的裝置,所述裝置包括: 用於維護第一參考圖片列表的模組; 用於維護第二參考圖片列表的模組; 用於確定圖片是即時解碼再新(IDR)圖片的模組; 用於確定在用於所述IDR圖片的切片標頭中存在參考圖片列表語法元素的模組;以及 用於響應於確定所述圖片是所述IDR圖片並且在用於所述IDR圖片的所述切片標頭中存在所述參考圖片列表語法元素,來更新所述第一參考圖片列表和所述第二參考圖片列表,使得按照輸出順序或解碼順序,在所述第一參考圖片列表中沒有圖片以及在所述第二參考圖片列表中沒有圖片在按照解碼順序的任何在前的即時隨機存取點(IRAP)圖片之前的模組。
  26. 根據請求項25所述的裝置,其中,所述IDR圖片包括IDR視訊譯碼層(VCL)網路抽象層(NAL)單元。
  27. 根據請求項26所述的裝置,還包括: 用於在經編碼的視訊資料的位元串流中輸出以下各項的模組:包括所述參考圖片列表語法元素的語法元素、以及指示在與所述IDR VCL NAL單元相對應的切片標頭中存在所述參考圖片列表語法元素的語法元素。
  28. 根據請求項27所述的裝置,還包括: 用於在所述經編碼的視訊資料的位元串流中輸出指示所述圖片包括具有不同的NAL單元類型的多個VCL NAL單元的語法元素的模組。
  29. 根據請求項25所述的裝置,其中,所述圖片包括至少一個IDR子圖片。
  30. 根據請求項25所述的裝置,其中,所述在前的IRAP圖片包括在前的IDR圖片或在前的乾淨隨機存取(CRA)圖片中的一者。
TW110110112A 2020-03-20 2021-03-19 用於具有混合網路抽象層(nal)單元類型的視訊的高階語法 TW202143711A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202062992676P 2020-03-20 2020-03-20
US62/992,676 2020-03-20
US202063004105P 2020-04-02 2020-04-02
US63/004,105 2020-04-02
US17/205,578 US11825073B2 (en) 2020-03-20 2021-03-18 High level syntax for video with mixed NAL unit types
US17/205,578 2021-03-18

Publications (1)

Publication Number Publication Date
TW202143711A true TW202143711A (zh) 2021-11-16

Family

ID=77748881

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110110112A TW202143711A (zh) 2020-03-20 2021-03-19 用於具有混合網路抽象層(nal)單元類型的視訊的高階語法

Country Status (7)

Country Link
US (1) US11825073B2 (zh)
EP (1) EP4122200A1 (zh)
KR (1) KR20220157378A (zh)
CN (1) CN115280775A (zh)
BR (1) BR112022018266A2 (zh)
TW (1) TW202143711A (zh)
WO (1) WO2021188898A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11533499B2 (en) * 2020-03-31 2022-12-20 Tencent America LLC Method for signaling mixed NAL unit type and subpicture partitioning in coded video stream
US11496730B2 (en) * 2020-04-03 2022-11-08 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using subpicture
CN114756322B (zh) * 2022-05-09 2024-02-20 北京航云物联信息技术有限公司 一种图片处理方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102270788B1 (ko) 2013-01-10 2021-06-29 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
WO2021132963A1 (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 슬라이스 또는 픽처에 대한 nal 유닛 타입 기반 영상 또는 비디오 코딩
CN115336273A (zh) * 2020-03-19 2022-11-11 字节跳动有限公司 用于图片编解码的帧内随机访问点
WO2021188805A1 (en) * 2020-03-20 2021-09-23 Bytedance Inc. Order relationship between subpictures

Also Published As

Publication number Publication date
KR20220157378A (ko) 2022-11-29
CN115280775A (zh) 2022-11-01
WO2021188898A1 (en) 2021-09-23
US20210297655A1 (en) 2021-09-23
US11825073B2 (en) 2023-11-21
BR112022018266A2 (pt) 2022-10-25
EP4122200A1 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
TW202110189A (zh) 用於視訊寫碼的環繞運動補償
TW202127873A (zh) 用於視頻寫碼中的子圖片的參考子圖片縮放比率
KR20230008733A (ko) 비디오 코딩에서의 파라미터 세트 신택스 엘리먼트들 및 변수들
TW202135531A (zh) 用於視訊編解碼的經解碼圖片緩衝器(dpb)參數訊號傳遞通知
TW202127886A (zh) 用於視頻譯碼的圖像標頭信令
US11659207B2 (en) General constraints of syntax elements for video coding
TW202143711A (zh) 用於具有混合網路抽象層(nal)單元類型的視訊的高階語法
US11943429B2 (en) Subpicture signaling in video coding
CN115486066A (zh) 在视频编解码中的独立子图片信令通知
CN115398896A (zh) 视频译码中的参考图片列表约束和信令
CN114128274A (zh) 推导译码系统操作配置
TW202106023A (zh) 調色板模式下的增量量化參數訊令
CN114208199A (zh) 用于视频译码的色度帧内预测单元
WO2021237020A1 (en) General constraint information signaling in video coding
TW202143735A (zh) 用於視訊資料的語法元素的訊號傳遞
CN114982233A (zh) 用信号通知视频译码中的缩放矩阵
CN115398921A (zh) 确定是否对在切片报头中的视频数据的图片的图片报头数据进行译码
CN114830673A (zh) 用于多个层的共享解码器图片缓冲器
TW202143722A (zh) 在視訊解碼中的經解碼視訊序列起點存取單元
TW202143712A (zh) 視訊轉碼中的低頻不可分離變換處理
TW202127874A (zh) 用於視訊編碼中的自我調整色彩變換的qp 偏移的靈活訊號傳遞
TW202133615A (zh) 基於色度變換跳過的用於色度的lfnst信號傳遞
TW202139716A (zh) 在視訊解碼中共享的信號傳遞約束和序列參數集
CN114868398A (zh) 用于视频译码的单色调色板模式
TW202127891A (zh) 用於視訊編碼的高階語法中子圖像的訊令編號