TW202131676A - 視訊編碼中針對參考圖片重取樣的環繞偏移 - Google Patents

視訊編碼中針對參考圖片重取樣的環繞偏移 Download PDF

Info

Publication number
TW202131676A
TW202131676A TW109145921A TW109145921A TW202131676A TW 202131676 A TW202131676 A TW 202131676A TW 109145921 A TW109145921 A TW 109145921A TW 109145921 A TW109145921 A TW 109145921A TW 202131676 A TW202131676 A TW 202131676A
Authority
TW
Taiwan
Prior art keywords
block
picture
reference picture
surround
video data
Prior art date
Application number
TW109145921A
Other languages
English (en)
Inventor
張耀仁
瓦迪姆 賽萊金
莫哈美德塞伊德 克班
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202131676A publication Critical patent/TW202131676A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

視訊解碼器可以被配置為從視訊資料的圖片參數集(PPS)資料結構獲得環繞偏移的值;回應於決定視訊資料的區塊是以訊框間預測模式編碼的,決定該區塊的運動向量和該區塊的參考圖片;基於環繞偏移的值決定參考圖片中的水平環繞位置;及基於水平環繞位置決定該區塊的預測區塊。

Description

視訊編碼中針對參考圖片重取樣的環繞偏移
本專利申請案主張於2019年12月27日提出申請的美國臨時專利申請案第62/954,341的權益,經由引用將其全部內容併入本文。
本案係關於視訊編碼和視訊解碼。
數位視訊能力可以併入到多種裝置中,包括數位電視、數位直接廣播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄裝置、數位媒體播放機、視訊遊戲裝置、視訊遊戲控制台、蜂巢或衛星無線電電話、所謂「智慧型電話」、視訊電話會議裝置、視訊串流裝置,及類似裝置。數位視訊裝置實現視訊編碼技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高級視訊編碼(AVC)、ITU-T H.265/高效視訊編碼(HEVC)定義的標準及該等標準的擴展中描述的技術。視訊裝置可以經由實現此種視訊編碼技術來更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊編碼技術包括空間(圖片內)預測及/或時間(圖片間)預測,以減少或移除視訊序列中固有的冗餘。對於基於區塊的視訊編碼,可以將視訊條帶(例如,視訊圖片,或視訊圖片中的部分)分區為視訊區塊,視訊區塊亦可以被稱為編碼樹單元(CTU)、編碼單元(CU)及/或編碼節點。使用相對於同一圖片中的相鄰區塊中的參考取樣的空間預測來編碼圖片的經訊框內編碼(I)的條帶中的視訊區塊。圖片的經訊框間編碼(P或B)的條帶中的視訊區塊可以使用關於同一圖片中的相鄰區塊中的參考取樣的空間預測或關於其他參考圖片中的參考取樣的時間預測。圖片可以被稱為訊框,並且參考圖片可以被稱為參考訊框。
本案的技術係關於訊框間預測,並且更具體地,係關於利用水平環繞運動補償的訊框間預測。在某些類型的視訊(例如360度視訊)中,參考圖片可以包括在圖片的左右邊界處的填充區域。該等填充區域是相同的,從而減少在從圖片的右側過渡到左側(反之亦然)時的視覺偽像。在一些編碼場景中,正被預測的區塊的運動向量可能指向參考圖片的邊界外部。例如,運動向量可以指向參考圖片最左邊界的左邊的取樣。然而,在此種情況下,視訊解碼器仍然可以經由計算參考圖片的相反一半中的水平環繞位置(例如,若運動向量指向參考圖片的最左邊界的左邊,則計算參考圖片的右邊部分中的水平環繞位置),來基於運動向量決定預測區塊。如下文將更詳細解釋的,為了決定水平環繞位置,視訊解碼器接收位元串流中的環繞偏移的值。然而,在一些編碼場景中,由於參考圖片重取樣(RPR),參考圖片可能具有與正被編碼的圖片不同的大小或解析度,在水平環繞運動補償的現有實現方式中,此情形可能導致環繞偏移,造成視訊解碼器標識參考圖片中的錯誤預測區塊。
本案的技術可以有利地使視訊編碼系統能夠以不導致環繞偏移的方式利用具有水平環繞運動補償的RPR,該環繞偏移造成視訊解碼器標識參考圖片中的錯誤預測區塊。具體地,經由從視訊資料的PPS資料結構獲得環繞偏移的值,根據本案的技術所配置的視訊解碼器可以同時支援RPR和水平環繞運動補償,而不會由於視訊解碼器在重取樣的參考圖片中定位錯誤的預測區塊而引入預測誤差。
在一個實例中,解碼視訊資料的方法包括以下步驟:從視訊資料的當前圖片的圖片參數集(PPS)資料結構獲得環繞偏移的值;回應於決定當前圖片的區塊是以訊框間預測模式編碼的,決定該區塊的運動向量和該區塊的參考圖片;基於環繞偏移的值決定參考圖片中的水平環繞位置;及基於水平環繞位置決定該區塊的預測區塊。
在另一實例中,用於解碼視訊資料的裝置包括:記憶體,被配置為儲存視訊資料,以及一或多個處理器,在電路系統中實現並被配置為從視訊資料的當前圖片的圖片參數集(PPS)資料結構中獲得環繞偏移的值;回應於決定當前圖片的區塊是以訊框間預測模式編碼的,決定該區塊的運動向量和該區塊的參考圖片,其中該區塊屬於參考PPS資料結構的條帶;基於環繞偏移的值決定參考圖片中的水平環繞位置;及基於水平環繞位置決定該區塊的預測區塊。
在另一實例中,電腦可讀取儲存媒體儲存指令,該等指令在由一或多個處理器執行時,使得一或多個處理器從視訊資料的當前圖片的圖片參數集(PPS)資料結構中獲得環繞偏移的值;回應於決定當前圖片的區塊是以訊框間預測模式編碼的,決定該區塊的運動向量和該區塊的參考圖片,其中該區塊屬於參考PPS資料結構的條帶;基於環繞偏移的值決定參考圖片中的水平環繞位置;及基於水平環繞位置決定該區塊的預測區塊。
在另一實例中,用於解碼視訊資料的裝置包括:用於從視訊資料的當前圖片的圖片參數集(PPS)資料結構獲得環繞偏移的值的構件;用於回應於決定當前圖片的區塊是以訊框間預測模式編碼的而決定該區塊的運動向量和該區塊的參考圖片的構件;用於基於環繞偏移的值來決定參考圖片中的水平環繞位置的構件;及用於基於水平環繞位置決定該區塊的預測區塊的構件。
在另一實例中,用於編碼視訊資料的方法包括以下步驟:決定環繞偏移的值;回應於決定當前圖片的區塊是以訊框間預測模式編碼的,決定該區塊的運動向量和該區塊的參考圖片,其中該區塊屬於參考PPS資料結構的條帶;基於環繞偏移的值決定參考圖片中的水平環繞位置;基於水平環繞位置決定該區塊的預測區塊;在視訊資料的當前圖片的圖片參數集(PPS)資料結構中包括環繞偏移的值;及輸出包括PPS資料結構的編碼的視訊資料的位元串流。
在另一實例中,用於編碼視訊資料的裝置包括:記憶體,被配置為儲存視訊資料,以及一或多個處理器,在電路系統中實現並被配置為決定環繞偏移的值;回應於決定當前圖片的區塊是以訊框間預測模式編碼的,決定該區塊的運動向量和該區塊的參考圖片;基於環繞偏移的值決定參考圖片中的水平環繞位置;基於水平環繞位置決定該區塊的預測區塊;在視訊資料的當前圖片的圖片參數集(PPS)資料結構中包括環繞偏移的值;及輸出包括PPS資料結構的編碼的視訊資料的位元串流。
在另一實例中,電腦可讀取儲存媒體儲存指令,該等指令在由一或多個處理器執行時,使得一或多個處理器決定環繞偏移的值;回應於決定當前圖片區塊是以訊框間預測模式編碼的,決定該區塊的運動向量和該區塊的參考圖片;基於環繞偏移的值決定參考圖片中的水平環繞位置;基於水平環繞位置決定區塊的預測區塊;在視訊資料的當前圖片的圖片參數集(PPS)資料結構中包括環繞偏移的值;及輸出包括PPS資料結構的編碼的視訊資料的位元串流。
在另一實例中,用於編碼視訊資料的裝置包括用於決定環繞偏移的值的構件;用於回應於決定當前圖片的區塊是以訊框間預測模式編碼的而決定該區塊的運動向量和該區塊的參考圖片的構件,其中該區塊屬於參考PPS資料結構的條帶;用於基於環繞偏移的值來決定參考圖片中的水平環繞位置的構件;用於基於水平環繞位置決定該區塊的預測區塊的構件;用於在視訊資料的當前圖片的圖片參數集(PPS)資料結構中包括環繞偏移的值的構件;及用於輸出包括PPS資料結構的編碼的視訊資料的位元串流的構件。
在附圖和以下描述中闡述一或多個實例的細節。其他特徵、目的和優點將從描述、附圖和請求項中變得顯而易見。
視訊編碼(例如,視訊編碼及/或視訊解碼)通常涉及根據同一圖片中的視訊資料的已經編碼的區塊(例如,訊框內預測)或不同圖片中的視訊資料的已經編碼的區塊(例如,訊框間預測)來預測視訊資料的區塊。在一些情況下,視訊編碼器亦經由將預測區塊與原始區塊進行比較來計算殘差(residual)資料。因此,殘差資料表示預測區塊和原始區塊之間的差。為了減少信號傳遞通知殘差資料所需的位元的數目,視訊編碼器對殘差資料進行變換和量化,並在編碼的位元串流中信號傳遞通知經變換和量化的殘差資料。經由變換和量化程序實現的壓縮可能是有損的,此情形意味著變換和量化程序可能為解碼的視訊資料引入失真。
視訊解碼器對殘差資料進行解碼並添加到預測區塊,以產生比單獨的預測區塊更接近地匹配原始視訊區塊的重構視訊區塊。由於殘差資料的變換和量化引入的損失,第一重構區塊可能存在失真或偽像。一種常見類型的偽像或失真被稱為區塊效應,其中用於編碼視訊資料的區塊的邊界是可見的。
為了進一步改良解碼的視訊的品質,視訊解碼器可以對重構的視訊區塊執行一或多個濾波操作。該等濾波操作的實例包括去區塊濾波、取樣自我調整偏移(SAO)濾波和自我調整迴路濾波(ALF)。該等濾波操作的參數可以由視訊編碼器決定並在編碼的視訊位元串流中顯式地信號傳遞通知,或者可以由視訊解碼器隱式地決定,而不需要在編碼的視訊位元串流中顯式地信號傳遞通知該等參數。
本案的技術係關於訊框間預測,並且更具體地,係關於利用水平環繞運動補償的訊框間預測。在某些類型的視訊(例如360度視訊)中,參考圖片可以包括在圖片的左右邊界處的填充區域。該等填充區域是相同的,從而減少在從圖片的右側過渡到左側(反之亦然)時的視覺偽像。在一些編碼場景中,正被預測的區塊的運動向量可能指向參考圖片的邊界外部的取樣。例如,運動向量可以指向參考圖片最左邊界的左邊的取樣。在其他編碼場景中,運動向量可以指向參考圖片的邊界內部的、但是使用採用參考圖片的邊界外部的取樣的內插操作所決定的內插取樣。然而,在此種情況下,視訊解碼器仍然可以經由計算參考圖片的相反一半中的水平環繞位置(例如,若運動向量指向參考圖片的最左邊界的左邊,則在參考圖片的右邊部分中),來基於運動向量決定預測區塊。如下文將更詳細解釋的,為了決定水平環繞位置,視訊解碼器接收位元串流中的環繞偏移的值。然而,在一些編碼場景中,由於RPR,參考圖片可能具有與正被編碼的圖片不同的大小或解析度,在水平環繞運動補償的現有實現方式中,此舉可能導致環繞偏移,造成視訊解碼器標識參考圖片中的錯誤預測區塊。
本案的技術可以有利地使視訊編碼系統能夠以不導致環繞偏移的方式利用具有水平環繞運動補償的RPR,該環繞偏移造成視訊解碼器標識參考圖片中的錯誤預測區塊。具體地,經由從視訊資料的圖片參數集(PPS)資料結構獲得環繞偏移的值,根據本案的技術所配置的視訊解碼器可以同時支援RPR和水平環繞運動補償,而不會由於視訊解碼器在重取樣的參考圖片中定位錯誤的預測區塊而引入預測誤差。
圖1是圖示可以執行本案的技術的示例性視訊編碼和解碼系統100的方塊圖。本案的技術通常針對編碼(編碼及/或解碼)視訊資料。通常,視訊資料包括用於處理視訊的任何資料。因此,視訊資料可以包括原始的未編碼的視訊、編碼的視訊、解碼的(例如,重構的)視訊,以及視訊中繼資料(諸如信號傳遞資料)。
如圖1所示,在此實例中,系統100包括源裝置102,該源裝置102提供要由目的裝置116解碼和顯示的、編碼的視訊資料。具體地,源裝置102經由電腦可讀取媒體110向目的裝置116提供視訊資料。源裝置102和目的裝置116可以包括多種裝置中的任何一種,多種裝置包括桌上型電腦、筆記本(亦即,膝上型)電腦、平板電腦、機上盒、諸如智慧型電話的電話手持機、電視、相機、顯示裝置、數位媒體播放機、視訊遊戲控制台、視訊串流裝置,或類似裝置。在一些情況下,源裝置102和目的裝置116可以被配備用於無線通訊,並因此可以被稱為無線通訊裝置。
在圖1的實例中,源裝置102包括視訊源104、記憶體106、視訊編碼器200和輸出介面108。目的裝置116包括輸入介面122、視訊解碼器300、記憶體120和顯示裝置118。根據本案,源裝置102的視訊編碼器200和目的裝置116的視訊解碼器300可以被配置為應用用於信號傳遞通知和處理環繞偏移的技術。因此,源裝置102表示視訊編碼裝置的實例,而目的裝置116表示視訊解碼裝置的實例。在其他實例中,源裝置和目的裝置可以包括其他元件或佈置。例如,源裝置102可以從外部視訊源(諸如外部相機)接收視訊資料。同樣地,目的裝置116可以與外部顯示裝置介面連接,而不是包括整合的顯示裝置。
圖1所示的系統100僅是一個實例。通常,任何數位視訊編碼及/或解碼裝置皆可以執行用於信號傳遞通知和處理環繞偏移的技術。源裝置102和目的裝置116僅僅是其中源裝置102產生編碼的視訊資料以傳輸到目的裝置116的此種編碼裝置的實例。本案用「編碼(coding)」裝置代表執行資料的編碼(coding)(編碼(encoding)及/或解碼(decoding))的裝置。因此,視訊編碼器200和視訊解碼器300表示編碼裝置的實例,具體地分別是視訊編碼器和視訊解碼器的實例。在一些實例中,源裝置102和目的裝置116可以以基本對稱的方式進行操作,使得源裝置102和目的裝置116中的每一個皆包括視訊編碼和解碼用元件。因此,系統100可以支援源裝置102和目的裝置116之間的單向或雙向視訊傳輸,例如用於視訊串流(streaming)、視訊重播、視訊廣播或視訊電話。
通常,視訊源104表示視訊資料(亦即,原始的、未編碼的視訊資料)的源,並向視訊編碼器200提供視訊資料的一系列順序圖片(亦稱為「訊框」),該視訊編碼器200對用於圖片的資料進行編碼。源裝置102的視訊源104可以包括視訊擷取裝置,諸如攝像機、包含先前擷取的原始視訊的視訊檔案,及/或從視訊內容提供者接收視訊的視訊饋送介面。作為另一替代,視訊源104可以產生基於電腦圖形的資料作為源視訊,或者實況視訊、存檔視訊和電腦產生視訊的組合。在每種情況下,視訊編碼器200對擷取的、預擷取的或電腦產生的視訊資料進行編碼。視訊編碼器200可以將圖片從接收的順序(有時稱為「顯示順序」)重新排列為用於編碼的編碼順序。視訊編碼器200可以產生包括編碼的視訊資料的位元串流。隨後源裝置102可以經由輸出介面108將編碼的視訊資料輸出到電腦可讀取媒體110上,用於由例如目的裝置116的輸入介面122接收及/或取得。
源裝置102的記憶體106和目的裝置116的記憶體120表示通用記憶體。在一些實例中,記憶體106、120可以儲存原始視訊資料,例如來自視訊源104的原始視訊和來自視訊解碼器300的原始的解碼的視訊資料。附加地或可替代地,記憶體106、120可以分別儲存可由例如視訊編碼器200和視訊解碼器300執行的軟體指令。儘管在此實例中記憶體106和記憶體120被示為與視訊編碼器200和視訊解碼器300分離,但是應當理解,視訊編碼器200和視訊解碼器300亦可以包括用於功能類似或等同目的的內部記憶體。此外,記憶體106、120可以儲存編碼的視訊資料,例如,從視訊編碼器200輸出並輸入到視訊解碼器300的編碼的視訊資料。在一些實例中,記憶體106、120中的部分可以被分配為一或多個視訊緩衝器,例如,以儲存原始的、解碼的及/或編碼的視訊資料。
電腦可讀取媒體110可以表示能夠將編碼的視訊資料從源裝置102傳輸到目的裝置116的任何類型的媒體或裝置。在一個實例中,電腦可讀取媒體110表示使源裝置102能夠經由例如射頻網路或基於電腦的網路即時地將編碼的視訊資料直接傳輸到目的裝置116的通訊媒體。根據諸如無線通訊協定的通訊標準,輸出介面108可以調制包括編碼的視訊資料的傳輸信號,並且輸入介面122可以解調接收的傳輸信號。通訊媒體可以包括任何無線或有線的通訊媒體,諸如射頻(RF)頻譜或者一或多條實體傳輸線。通訊媒體可以形成基於封包的網路中的部分,諸如區域網路、廣域網路,或諸如網際網路的全球網路。通訊媒體可以包括路由器、交換器、基地站,或可以有助於促進從源裝置102到目的裝置116的通訊的任何其他設備。
在一些實例中,源裝置102可以從輸出介面108向儲存裝置112輸出編碼的資料。類似地,目的裝置116可以經由輸入介面122從儲存裝置112存取編碼的資料。儲存裝置112可以包括多種分散式或本端存取的資料儲存媒體中的任何一種,諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或者用於儲存編碼的視訊資料的任何其他合適的數位儲存媒體。
在一些實例中,源裝置102可以向檔案伺服器114或可儲存由源裝置102產生的編碼的視訊的另一中間儲存裝置輸出編碼的視訊資料。目的裝置116可以經由串流或下載從檔案伺服器114存取儲存的視訊資料。檔案伺服器114可以是能夠儲存編碼的視訊資料並將該編碼的視訊資料傳輸到目的裝置116的任何類型的伺服器裝置。檔案伺服器114可以表示網頁伺服器(例如,用於網站)、檔案傳輸通訊協定(FTP)伺服器、內容傳遞網路裝置,或網路附加儲存(NAS)裝置。目的裝置116可以經由任何標準資料連接(包括網際網路連接)從檔案伺服器114存取編碼的視訊資料。該等標準資料連接可以包括無線通道(例如,Wi-Fi連接)、有線連接(例如,數位用戶線(DSL)、線纜數據機等),或者兩者的適用於存取儲存在檔案伺服器114上的編碼的視訊資料的組合。檔案伺服器114和輸入介面122可以被配置為根據串流傳輸協定、下載傳輸協定或其組合來進行操作。
輸出介面108和輸入介面122可以表示無線傳輸器/接收器、數據機、有線網路元件(例如,乙太網路卡)、根據多種IEEE 802.11標準中的任何一種進行操作的無線通訊元件,或其他實體元件。在輸出介面108和輸入介面122包括無線元件的實例中,輸出介面108和輸入介面122可以被配置為根據諸如4G、4G-LTE(長期進化)、高級LTE、5G等的蜂巢通訊標準,來傳輸諸如編碼的視訊資料的資料。在輸出介面108包括無線傳輸器的一些實例中,輸出介面108和輸入介面122可以被配置為根據諸如IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee )、Bluetooth 標準等的其他無線標準,來傳輸諸如編碼的視訊資料的資料。在一些實例中,源裝置102及/或目的裝置116可以包括各自的晶片上系統(SoC)元件。例如,源裝置102可以包括執行屬於視訊編碼器200及/或輸出介面108的功能的SoC元件,並且目的裝置116可以包括執行屬於視訊解碼器300及/或輸入介面122的功能的SoC元件。
本案的技術可以應用於視訊編碼,以支援多種多媒體應用中的任何一種,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如基於HTTP的動態自我調整串流(DASH)的網際網路串流視訊傳輸、編碼到資料儲存媒體上的數位視訊、儲存在資料儲存媒體上的數位視訊的解碼,或其他應用。
目的裝置116的輸入介面122從電腦可讀取媒體110(例如,通訊媒體、儲存裝置112、檔案伺服器114等)接收編碼的視訊位元串流。編碼的視訊位元串流可以包括由視訊編碼器200定義的信號傳遞資訊,其亦由視訊解碼器300使用,該信號傳遞資訊諸如具有描述視訊區塊或其他編碼單元(例如,條帶、圖片、圖片群組、序列等)的特性及/或處理的值的語法元素。顯示裝置118向使用者顯示解碼的視訊資料的解碼的圖片。顯示裝置118可以表示多種顯示裝置中的任何一種,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器,或另一類型的顯示裝置。
儘管在圖1中未圖示,但是在一些實例中,視訊編碼器200和視訊解碼器300可以各自與音訊編碼器及/或音訊解碼器整合,並且可以包括適當的MUX-DEMUX單元或其他硬體及/或軟體,以處理在共用資料串流中包括音訊和視訊兩者的多工串流。若適用,MUX-DEMUX單元可以依照ITU H.223多工器協定,或諸如使用者資料包通訊協定(UDP)的其他協定。
視訊編碼器200和視訊解碼器300均可被實現為多種合適的編碼器及/或解碼器電路系統中的任何一種,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。在以軟體來部分地實現該等技術時,裝置可以將軟體的指令儲存在合適的非暫時性電腦可讀取媒體中,並且使用一或多個處理器在硬體中執行該等指令以執行本案的技術。視訊編碼器200和視訊解碼器300中的每一個可以被包括在一或多個編碼器或解碼器中,其中任一個皆可以被整合為相應裝置中的組合編碼器/解碼器(CODEC)中的部分。包括視訊編碼器200及/或視訊解碼器300的裝置可以包括積體電路、微處理器,及/或諸如蜂巢式電話的無線通訊裝置。
視訊編碼器200和視訊解碼器300可以根據視訊編碼標準進行操作,視訊編碼標準諸如ITU-T H.265(亦稱為高效視訊編碼(HEVC))或其諸如多視圖及/或可縮放視訊編碼擴展的擴展。或者,視訊編碼器200和視訊解碼器300可以根據其他專有或行業標準進行操作,諸如聯合探索測試模型(JEM)或ITU-T H.266,亦稱為通用視訊編碼(VVC)。VVC標準的最新草案在Bross等人於2019年10月1日-11日在ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家小組(JVET)的瑞士日內瓦的第16次會議的JVET-P2001-v14(以下簡稱「VVC草案7」)的「通用視訊編碼(草案7)」中進行了描述。然而,本案的技術不限於任何特定的編碼標準。
通常,視訊編碼器200和視訊解碼器300可以執行基於區塊的圖片編碼。術語「區塊」通常是指包括要處理的資料(例如,編碼的、解碼的,或者另外在編碼及/或解碼程序中使用的資料)的結構。例如,區塊可以包括亮度及/或色度資料的取樣的二維矩陣。通常,視訊編碼器200和視訊解碼器300可以對以YUV(例如,Y、Cb、Cr)格式表示的視訊資料進行編碼。亦即,視訊編碼器200和視訊解碼器300可以對亮度和色度分量進行編碼,而不是對圖片取樣的紅、綠和藍(RGB)資料進行編碼,其中色度分量可以包括紅色調(hue)和藍色調色度分量。在一些實例中,視訊編碼器200在編碼之前將接收到的RGB格式的資料轉換成YUV表示,並且視訊解碼器300將YUV表示轉換成RGB格式。或者,預處理和後處理單元(未圖示)可以執行該等轉換。
本案通常可涉及圖片的編碼(例如,編碼和解碼),以包括對圖片的資料進行編碼或解碼的程序。類似地,本案可以涉及圖片區塊的編碼,以包括對區塊的資料進行編碼或解碼的程序,例如預測及/或殘差編碼。編碼的視訊位元串流通常包括表示編碼決策(例如,編碼模式)和將圖片分區為區塊的語法元素的一系列值。因此,對編碼圖片或區塊的引用通常應理解為編碼形成圖片或區塊的語法元素的值。
HEVC定義了各種區塊,包括編碼單元(CU)、預測單元(PU)和變換單元(TU)。根據HEVC,視訊編碼器(諸如視訊編碼器200)根據四叉樹結構將編碼樹單元(CTU)分區為多個CU。亦即,視訊編碼器將CTU和CU分區為四個相等的、不重疊的正方形,並且四叉樹的每個節點有零個或四個子節點。沒有子節點的節點可以被稱為「葉節點」,並且此種葉節點的CU可以包括一或多個PU及/或一或多個TU。視訊編碼器可以進一步分區PU和TU。例如,在HEVC中,殘差四叉樹(RQT)表示對TU的分區。在HEVC中,PU表示訊框間預測資料,而TU表示殘差資料。訊框內預測的CU包括訊框內預測資訊,諸如訊框內模式指示。
作為另一實例,視訊編碼器200和視訊解碼器300可以被配置為根據JEM或VVC進行操作。根據JEM或VVC,視訊編碼器(諸如視訊編碼器200)將圖片分區為複數個編碼樹單元(CTU)。視訊編碼器200可以根據樹結構來分區CTU,諸如四叉樹二叉樹(QTBT)結構或多類型樹(MTT)結構。QTBT結構移除了多個分區類型的概念,諸如HEVC的CU、PU和TU間的分離。QTBT結構包括兩個層級:根據四叉樹分區所分區的第一層級,以及根據二叉樹分區所分區的第二層級。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於編碼單元(CU)。
在MTT分區結構中,可以使用四叉樹(QT)分區、二叉樹(BT)分區和一或多個三叉樹(TT)(亦稱為三元樹(TT))分區來對區塊進行分區。三叉或三元樹分區是將區塊分離成三個子區塊的分區。在一些實例中,三叉或三元樹分區在不通過中心來劃分原始區塊的情況下將區塊劃分成三個子區塊。MTT中的分區類型(例如,QT、BT和TT)可以是對稱的或非對稱的。
在一些實例中,視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度和色度分量中的每一個,而在其他實例中,視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構,諸如一個QTBT/MTT結構用於亮度分量,並且另一QTBT/MTT結構用於兩個色度分量(或者兩個QTBT/MTT結構用於相應的色度分量)。
視訊編碼器200和視訊解碼器300可以被配置為使用按照HEVC的四叉樹分區、QTBT分區、MTT分區,或其他分區結構。出於說明的目的,本案的技術的描述是針對QTBT分區來呈現的。然而,應當理解,本案的技術亦可以應用於被配置為使用四叉樹分區或其他類型的分區的視訊編碼器。
可以在圖片中以各種方式對區塊(例如,CTU或CU)進行分類。作為一個實例,磚(brick)可以指圖片中特定片(tile)內的CTU行的矩形區域。片可以是圖片中特定片列和特定片行內CTU的矩形區域。片列指具有與圖片的高度相等的高度和由語法元素(例如,在圖片參數集中)指定的寬度的CTU的矩形區域。片行指具有由語法元素(例如,在圖片參數集中)指定的高度和與圖片的寬度相等的寬度的CTU的矩形區域。
在一些實例中,片可以被分區為多個磚,其之每一者磚可以包括該片內的一或多個CTU行。未被分區為多個磚的片亦可以被稱為磚。然而,作為片的真實子集的磚不能被稱為片。
圖片中的磚亦可以按條帶排列。條帶可以是圖片的可以排他地在單個網路抽象層(NAL)單元中包含的整數數目的磚。在一些實例中,條帶包括多個完整的片或者僅包括一個片的完整磚的連續序列。
本案可以互換地使用「NxN」和「N乘N」來代表區塊(諸如CU或其他視訊區塊)在垂直和水平維度態樣的取樣維度,例如16×16取樣或16乘16取樣。通常,16x16 CU會在垂直方向上具有16個取樣(y=16),並且在水平方向上具有16個取樣(x=16)。同樣,NxN CU通常在垂直方向上具有N個取樣,並且在水平方向上具有N個取樣,其中N表示非負整數值。CU中的取樣可以按行和列排列。此外,CU不一定需要在水平方向上和在垂直方向上具有相同數目的取樣。例如,CU可以包括NxM個取樣,其中M不一定等於N。
視訊編碼器200對表示預測及/或殘差資訊以及其他資訊的CU的視訊資料進行編碼。預測資訊指示如何預測該CU,以便針對該CU形成預測區塊。殘差資訊通常表示編碼之前的CU的取樣與預測區塊之間的逐取樣差。
為了預測CU,視訊編碼器200通常可以經由訊框間預測或訊框內預測來形成CU的預測區塊。訊框間預測通常是指根據先前編碼的圖片的資料來預測CU,而訊框內預測通常是指根據同一圖片的先前編碼的資料來預測CU。為了執行訊框間預測,視訊編碼器200可以使用一或多個運動向量來產生預測區塊。視訊編碼器200通常可以執行運動搜尋以標識與CU緊密匹配(例如,在CU和參考區塊之間的差態樣)的參考區塊。視訊編碼器200可使用絕對差和(SAD)、平方差和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量,以決定參考區塊是否與當前CU緊密匹配。在一些實例中,視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。
JEM和VVC的一些實例亦提供仿射(affine)運動補償模式,其可以被認為是訊框間預測模式。在仿射運動補償模式下,視訊編碼器200可以決定表示非平移運動的兩個或更多個運動向量,非平移運動諸如放大或縮小、旋轉、透視運動,或其他不規則運動類型。
為了執行訊框內預測,視訊編碼器200可以選擇訊框內預測模式來產生預測區塊。JEM和VVC的一些實例提供了六十七種訊框內預測模式,包括各種方向模式,以及平面模式和DC模式。通常,視訊編碼器200選擇描述當前區塊(例如,CU的區塊)的相鄰取樣的訊框內預測模式,從該當前區塊來預測當前區塊的取樣。假設視訊編碼器200以光柵掃瞄順序(從左到右、從上到下)對CTU和CU進行編碼,此種取樣在與當前區塊相同的圖片中通常可以在當前區塊的上方、上方和左側,或者左側。
視訊編碼器200對表示當前區塊的預測模式的資料進行編碼。例如,對於訊框間預測模式,視訊編碼器200可以對表示使用各種可用訊框間預測模式中的何種的資料,以及對應模式的運動資訊進行編碼。例如,對於單向或雙向訊框間預測,視訊編碼器200可以使用高級運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可以使用類似的模式來編碼仿射運動補償模式的運動向量。
在預測(諸如區塊的訊框內預測或訊框間預測)之後,視訊編碼器200可以計算區塊的殘差資料。殘差資料(諸如殘差區塊)表示區塊與該區塊的使用對應的預測模式形成的預測區塊之間的逐取樣差。視訊編碼器200可以對殘差區塊應用一或多個變換,以產生變換域而不是取樣域中的變換資料。例如,視訊編碼器200可以對殘差視訊資料應用離散餘弦變換(DCT)、整數變換、小波變換,或概念上類似的變換。此外,視訊編碼器200可以在第一變換之後應用二次變換,諸如模式相關的不可分離二次變換(MDNSST)、信號相關的變換、卡爾亨-洛夫(Karhunen-Loeve)變換(KLT)等。視訊編碼器200在應用一或多個變換後產生變換係數。
如前述,在任何變換產生變換係數之後,視訊編碼器200可以執行變換係數的量化。量化通常是指量化變換係數以儘可能減少用於表示變換係數的資料的數量從而提供進一步壓縮的程序。經由執行量化程序,視訊編碼器200可以減少與變換係數中的一些或全部相關聯的位元深度。例如,視訊編碼器200可以在量化期間將n 位元值向下捨入到m 位元值,其中n 大於m 。在一些實例中,為了執行量化,視訊編碼器200可以對要量化的值執行按位元右移。
在量化之後,視訊編碼器200可以掃瞄變換係數,從包括量化的變換係數的二維矩陣中產生一維向量。掃瞄可以被設計為將較高能量(並因此較低頻率)的變換係數放置在向量的前部,並將較低能量(並因此較高頻率)的變換係數放置在向量的後部。在一些實例中,視訊編碼器200可以利用預定義的掃瞄順序來掃瞄量化的變換係數以產生序列化的向量,隨後對向量的量化的變換係數進行熵編碼。在其他實例中,視訊編碼器200可以執行自我調整掃瞄。在掃瞄量化的變換係數以形成一維向量之後,視訊編碼器200可以例如根據上下文自我調整二進位算術編碼(CABAC)對該一維向量進行熵編碼。視訊編碼器200亦可以對描述與編碼的視訊資料相關聯的中繼資料的語法元素的值進行熵編碼,以供視訊解碼器300在解碼視訊資料時使用。
為了執行CABAC,視訊編碼器200可以將上下文模型內的上下文分配給要傳輸的符號。該上下文可以關於例如符號的相鄰值是否為零值。概率決定可以基於分配給符號的上下文。
視訊編碼器200亦可以向視訊解碼器300產生語法資料,諸如基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料,例如在圖片頭(header)、區塊頭、條帶頭或其他語法資料中,諸如自我調整參數集(APS)、圖片頭(PH)、序列參數集(SPS)、PPS,或視訊參數集(VPS)。APS通常是指包含應用於零個或多個條帶的語法元素的語法結構,該零個或多個條帶是由在條帶頭中找到的零個或多個語法元素決定的。PH是指包含應用於編碼的圖片的所有條帶的語法元素的語法結構。PPS是指包含應用於零個或多個完整編碼的圖片的語法元素的語法結構,該零個或多個完整編碼的圖片是由在每個條帶頭中找到的語法元素決定的。SPS是指包含應用於零個或多個完整CVS的語法元素的語法結構,該零個或多個完整CVS是由在由在每個條帶頭中找到的語法元素參考的PPS中找到的語法元素的內容決定的。語法結構通常是指在位元串流中以特定順序一起呈現的零個或多個語法元素。
視訊解碼器300可以同樣解碼此種語法資料,以決定如何解碼對應的視訊資料。以此種方式,視訊編碼器200可以產生包括編碼的視訊資料(例如,描述將圖片分區為區塊(例如,CU)的語法元素以及區塊的預測及/或殘差資訊)的位元串流。最終,視訊解碼器300可以接收位元串流並解碼編碼的視訊資料。
通常,視訊解碼器300執行與視訊編碼器200執行的程序相反的程序,以解碼位元串流的編碼的視訊資料。例如,視訊解碼器300可以使用CABAC以與視訊編碼器200的CABAC編碼程序基本相似但相反的方式來解碼位元串流的語法元素的值。語法元素可以定義將圖片的資訊分區為CTU,和根據對應的分區結構(諸如QTBT結構)對每個CTU進行分區,以定義CTU的CU。語法元素可以進一步定義視訊資料的區塊(例如,CU)的預測和殘差資訊。
殘差資訊可以由例如量化的變換係數來表示。視訊解碼器300可以對區塊的量化的變換係數進行逆量化和逆變換,以再現該區塊的殘差區塊。視訊解碼器300使信號傳遞通知的預測模式(訊框內或訊框間預測)和相關的預測資訊(例如,用於訊框間預測的運動資訊)來形成區塊的預測區塊。隨後視訊解碼器300可以(在逐個取樣的基礎上)組合預測區塊和殘差區塊,以再現原始區塊。視訊解碼器300可執行附加處理,諸如執行去區塊程序以減少沿著區塊的邊界的視覺偽像。
本案通常可以指「信號傳遞通知」某些資訊,諸如語法元素。術語「信號傳遞通知」通常可以指用於對編碼的視訊資料進行解碼的語法元素及/或其他資料的值的傳送。亦即,視訊編碼器200可以在位元串流中信號傳遞通知語法元素的值。通常,信號傳遞通知指在位元串流中產生值。如前述,源裝置102可以大體上即時地或者非即時地將位元串流傳輸到目的裝置116,諸如當將語法元素儲存到儲存裝置112以供目的裝置116稍後取得時可能發生的情況。
圖2A和圖2B是圖示示例性四叉樹二叉樹(QTBT)結構130和對應的編碼樹單元(CTU)132的概念圖。實線表示四叉樹分離(splitting),並且虛線指示二叉樹分離。在二叉樹的每個分離(亦即,非葉)節點中,信號傳遞通知一個標誌以指示使用何種分離類型(亦即,水平還是垂直),其中在本實例中,0指示水平分離,並且1指示垂直分離。對於四叉樹分離,不需要指示分離類型,因為四叉樹節點將區塊水平和垂直分離為4個具有相等大小的子區塊。因此,視訊編碼器200可以編碼並且視訊解碼器300可以解碼QTBT結構130的區域樹層級的語法元素(諸如分離資訊)(亦即,實線)和QTBT結構130的預測樹層級的語法元素(諸如分離資訊)(亦即,虛線)。視訊編碼器200可以編碼並且視訊解碼器300可以為由QTBT結構130的終端葉節點表示的CU解碼視訊資料,諸如預測和變換資料。
通常,圖2B的CTU 132可以與定義對應於QTBT結構130的第一和第二層的節點的區塊的大小的參數相關聯。該等參數可以包括CTU大小(表示取樣中CTU 132的大小)、最小四叉樹大小(MinQTSize,表示最小允許的四叉樹葉節點大小)、最大二叉樹大小(MaxBTSize,表示最大允許的二叉樹根節點大小)、最大二叉樹深度(MaxBTDepth,表示最大允許的二叉樹深度)和最小二叉樹大小(MinBTSize,表示最小允許的二叉樹葉節點大小)。
對應於CTU的QTBT結構的根節點可以在QTBT結構的第一層具有四個子節點,其中每個子節點可以根據四叉樹分區來進行分區。亦即,第一層的節點是葉節點(沒有子節點),或者具有四個子節點。QTBT結構130的實例將此種節點表示為包括父節點和具有用於分支的實線的子節點。若第一層的節點不大於最大允許的二叉樹根節點大小(MaxBTSize),則節點可以由相應的二叉樹進一步分區。可以反覆運算一個節點的二叉樹分離,直到分離產生的節點達到最小允許的二叉樹葉節點大小(MinBTSize)或最大允許的二叉樹深度(MaxBTDepth)。QTBT結構130的實例將此種節點表示為具有用於分支的虛線。二叉樹葉節點被稱為編碼單元(CU),其用於預測(例如,圖片內或圖片間預測)和變換,而無需任何進一步的分區。如前述,CU亦可以被稱為「視訊區塊」或「區塊」。
在QTBT分區結構的一個實例中,CTU大小被設置為128x128(亮度取樣和兩個對應的64x64色度取樣),MinQTSize被設置為16x16,MaxBTSize被設置為64x64,(寬度和高度兩者的)MinBTSize被設置為4,並且MaxBTDepth被設置為4。首先將四叉樹分區應用於CTU,以產生四叉樹葉節點。四叉樹葉節點可以具有從16×16(亦即,MinQTSize)到128×128(亦即,CTU大小)的大小。若葉四叉樹節點是128x128,則葉四叉樹節點不會被二叉樹進一步分離,因為其大小超過了MaxBTSize(亦即,在本實例中為64x64)。否則,葉四叉樹節點將被二叉樹進一步分區。因此,四叉樹葉節點亦是二叉樹的根節點,並且二叉樹深度為0。當二叉樹深度達到MaxBTDepth(在本實例中為4)時,不允許進一步分離。寬度等於MinBTSize(在本實例中為4)的二叉樹節點意味著不允許進一步水平分離。類似地,高度等於MinBTSize的二叉樹節點意味著該二叉樹節點不允許進一步的垂直分離。如前述,二叉樹的葉節點被稱為CU,並且根據預測和變換被進一步處理,而無需進一步分區。
本案描述了對VVC草案7的部分的可能修改,其可以允許使用帶有RPR的水平環繞運動補償。本文介紹了VVC草案7中可以改良的部分中的一些。VVC草案7第14版中的第7.3.2.3條內容如下:
seq_parameter_set_rbsp( ) { 描述符
  …  
   sps_ref_wraparound_enabled_flag u(1)
   if( sps_ref_wraparound_enabled_flag )  
      sps_ref_wraparound_offset_minus1 ue(v)
   …  
VVC草案7第14版中的第7.4.3.3條內容如下: sps_ref_wraparound_enabled_flag等於1指定在訊框間預測中應用水平環繞運動補償。 sps_ref_wraparound_enabled_flag等於0指定不應用水平環繞運動補償。當(CtbSizeY/MinCbSizeY+1)的值大於或等於(pic_width_in_luma_samples/MinCbSizeY−1)時,其中pic_width_in_luma_samples是參考SPS的任何PPS中的pic_width_in_luma_samples的值,sps_ref_wraparound_enabled_flag的值應等於0。 sps_ref_wraparound_offset_minus1加1指定用於以MinCbSizeY個亮度取樣為單位計算水平環繞位置的偏移。ref_wraparound_offset_minus1的值應在從(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSizeY)–1(含端值)的範圍內,其中pic_width_in_luma_samples是參考SPS的任何PPS中的pic_width_in_luma_samples的值。
VVC草案7第14版中的第7.3.2.4條內容如下:
pic_parameter_set_rbsp( ) { 描述符
  …  
   pic_width_in_luma_samples ue(v)
   pic_height_in_luma_samples ue(v)
   …  
VVC草案7第14版中的第7.4.3.4條內容如下: pic_width_in_luma_samples指定以亮度取樣為單位的關於PPS的每個解碼的圖片的寬度。pic_width_in_luma_samples不應等於0,應是Max(8, MinCbSizeY)的整數倍,並應小於或等於pic_width_max_in_luma_samples。 當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時,pic_width_in_luma_samples的值應等於pic_width_max_in_luma_samples。 pic_height_in_luma_samples指定以亮度取樣為單位的關於PPS的每個解碼的圖片的高度。pic_height_in_luma_samples不應等於0,並且應為Max(8, MinCbSizeY)的整數倍,並應小於或等於pic_height_max_in_luma_samples。 當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時,pic_height_in_luma_samples的值應等於pic_height_max_in_luma_samples。
VVC草案7第14版的第8.5.3.2.2條內容如下: xInti = Clip3( 0, picW − 1, sps_ref_wraparound_enabled_flag ? ClipH( ( sps_ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, ( xIntL + i ) ) xIntL + i )                   (644) yInti = Clip3( 0, picH − 1, yIntL + i )           (645)
VVC草案7第14版的第8.5.6.3.2條規定: xInti = Clip3( 0, picW − 1, sps_ref_wraparound_enabled_flag ? ClipH( ( sps_ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, xIntL + i − 3 ) xIntL + i − 3 )              (957) yInti = Clip3( 0, picH − 1, yIntL + i − 3         (958)
VVC草案7第14版的第8.5.6.3.3條規定: xInt = Clip3( 0, picW − 1, sps_ref_wraparound_enabled_flag ?   (968) ClipH( ( sps_ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, xIntL ) : xIntL ) yInt = Clip3( 0, picH − 1, yIntL )    (969)
VVC草案7第14版的第8.5.6.3.4條規定: xInti = Clip3( 0, picWC − 1, sps_ref_wraparound_enabled_flag ? ClipH(xOffset, picWC , xIntC + i − 1): xIntC + i − 1) yInti = Clip3( 0, picHC − 1, yIntC + i − 1 )         (974)
本案可以解決VVC草案7中的一或多個問題。在VVC中採用運動補償中的水平環繞偏移來減少使用填充的等矩形投影(PERP)格式的360度使用情況的主觀視覺偽像,其中左圖片邊界和右圖片邊界被填充至相同。亦即,在PERP格式的圖片中,左圖片邊界處的取樣值可以與右圖片邊界處的取樣值相同。
圖3圖示具有PERP格式的參考圖片中的環繞偏移的實例。在圖3的實例中,例如,視訊編碼器200或視訊解碼器300可以預測當前圖片138的當前PU 136。為了預測當前PU 136,視訊編碼器200或視訊解碼器300使用運動向量140來定位與共置的PU 144的左上角相關的預測區塊142的左上角。預測區塊142和共置的PU 144位於參考圖片146中。延伸到參考圖片146的邊界外部的參考圖元經由將位置移動如圖3所示的ERP寬度的距離而被環繞。亦即,在右邊部分找到否則將位於參考圖片146的左邊界的左邊的參考取樣。參考圖片146的右邊部分中的該等參考取樣在圖3中被示為環繞參考取樣148。ERP寬度被信號傳遞通知為環繞偏移。在VVC草案7中,以如下方式在SPS中信號傳遞通知環繞賦能標誌和環繞偏移: l sps_ref_wraparound_enabled_flag等於1指定在訊框間預測中應用水平環繞運動補償。sps_ref_wraparound_enabled_flag等於0指定不應用水平環繞運動補償。當(CtbSizeY/MinCbSizeY+1)的值小於或等於(pic_width_in_luma_samples/MinCbSizeY−1)時,其中pic_width_in_luma_samples是參考SPS的任何PPS中的pic_width_in_luma_samples的值,sps_ref_wraparound_enabled_flag的值應等於0。 l sps_ref_wraparound_offset_minus1加1指定用於以MinCbSizeY個亮度取樣為單位計算水平環繞位置的偏移。ref_wraparound_offset_minus1的值應在從(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSizeY)–1(含端值)的範圍內,其中pic_width_in_luma_samples是參考SPS的任何PPS中的pic_width_in_luma_samples的值。
圖4圖示參考圖元的位置可能如何被當前圖片的環繞偏移錯誤地移動到未知位置,亦即參考圖片的外部。在圖4中,wraparound_offset_curr表示從當前圖片150的PPS匯出的環繞偏移。由於參考圖片152具有與當前圖片150不同的高度和寬度,wraparound_offset_curr指向參考圖片152的外部。
環繞偏移可以小於或等於圖片寬度。由於RPR設計可能導致PPS中的圖片寬度和高度的更新,對於屬於不同PPS的不同圖片,環繞偏移可以是不同的。亦即,關於兩個不同PPS的當前圖片和參考圖片可以具有不同的寬度和高度,如圖4所示。VVC草案7修正了編碼層視訊序列(CLVS)中的環繞偏移。然而,VVC草案7可能導致視訊編碼器將圖元的位置以從當前圖片所參考的PPS中匯出的環繞偏移錯誤地移動到參考圖片外部,如圖4所示,參考圖片寬度和當前圖片寬度由於啟用了RPR而不同。
本案引入了可以解決VVC草案7的此缺點的技術。本案引入了對VVC草案7的若干修改,該等修改可以解決上述缺點。根據本案的一種技術,環繞偏移的信號傳遞可以從SPS移動到PPS。亦即,視訊編碼器200可以被配置為包括環繞偏移作為PPS語法結構的一部分,並且視訊解碼器300可以被配置為接收環繞偏移作為PPS語法結構的一部分。
環繞偏移可以小於或等於圖片寬度。因為RPR設計可以更新PPS中的圖片寬度和高度,所以本案提出可以在PPS中而不是在SPS中信號傳遞通知環繞偏移,以對準RPR的設計。在此種限制的第一個實例中,對於由CLVS中的編碼的圖片所參考的所有PPS,ref_wraparound_enabled_flag的值可以是相同的。在此種限制的第二個實例中,ref_wraparound_enabled_flag的值可以在CLVS中改變。該兩個實例皆可以應用於本案中提出的改變中的任何一個。
為實現本案的技術而對VVC草案7進行的修改的實例如下所示。貫穿本案,標籤「<ADD>」顯示由本案提出的添加的開始,並且標籤「</ADD>」顯示該等添加的結束。標籤「<DEL>」顯示由本案提出的刪除(亦即,文字移除)的開始,並且標籤「</DEL>」顯示該等刪除的結束。
在一些實例中,VVC草案7第14版中的第7.3.2.3條可以修改如下:
seq_parameter_set_rbsp( ) { 描述符
  …  
   <DEL>sps_ref_wraparound_enabled_flag u(1)
   if( sps_ref_wraparound_enabled_flag )  
      sps_ref_wraparound_offset_minus1 ue(v) </DEL>
   …  
在一些實例中,VVC草案7第14版中的第7.4.3.3條可以修改如下: <DEL>sps_ref_wraparound_enabled_flag等於1指定在訊框間預測中應用水平環繞運動補償。 sps_ref_wraparound_enabled_flag等於0指定不應用水平環繞運動補償。當(CtbSizeY/MinCbSizeY+1)的值大於或等於(pic_width_in_luma_samples/MinCbSizeY−1)時,其中pic_width_in_luma_samples是參考SPS的任何PPS中的pic_width_in_luma_samples的值,sps_ref_wraparound_enabled_flag的值應等於0。 sps_ref_wraparound_offset_minus1加1指定用於以MinCbSizeY個亮度取樣為單位計算水平環繞位置的偏移。ref_wraparound_offset_minus1的值應在從(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSizeY)–1(含端值)的範圍內,其中pic_width_in_luma_samples是參考SPS的任何PPS中的pic_width_in_luma_samples的值。</DEL>
在一些實例中,VVC草案7第14版中的第7.3.2.4條可以修改如下:
pic_parameter_set_rbsp( ) { 描述符
  …  
<ADD>   ref_wraparound_enabled_flag u(1)
   if( ref_wraparound_enabled_flag )  
      ref_wraparound_offset_minus1 ue(v)</ADD>
   …  
在一些實例中,VVC草案7第14版中的第7.4.3.4條可以修改如下: <ADD>ref_wraparound_enabled_flag等於1指定在訊框間預測中應用水平環繞運動補償。 ref_wraparound_enabled_flag等於0指定不應用水平環繞運動補償。當(CtbSizeY/MinCbSizeY+1)的值大於或等於(pic_width_in_luma_samples/MinCbSizeY−1)時,其中pic_width_in_luma_samples是參考SPS的任何PPS中的pic_width_in_luma_samples的值,ref_wraparound_enabled_flag的值應等於0。 位元串流一致性的要求是,對於由CLVS中的編碼的圖片參考的所有PPS,ref_wraparound_enabled_flag的值應是相同的。 ref_wraparound_offset_minus1加1指定用於以MinCbSizeY個亮度取樣為單位計算水平環繞位置的偏移。ref_wraparound_offset_minus1的值應在從(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSizeY)–1(含端值)的範圍內。</ADD>
本案的技術亦可以解決關於運動補償的問題。在VVC草案7中,參考圖片外部的圖元的位置可能被當前圖片的環繞偏移錯誤地移動,如圖4所示,其中參考圖片寬度和當前圖片寬度由於啟用了RPR而不同。本案引入了經由用參考圖片所參考的PPS中匯出的環繞偏移來替代當前圖片的環繞偏移來解決此問題的技術。
為實現本案的技術而對VVC草案7進行的修改的實例如下所示。
在一些實例中,VVC草案7第14版中的第8.5.3.2.2條可以修改如下: <ADD>ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。</ADD> xInti = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ? ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, ( xIntL + i ) ) :         (644) xIntL + i ) yInti = Clip3( 0, picH − 1, yIntL + i )           (645)
在一些實例中,VVC草案7第14版中的第8.5.6.3.2條可以修改如下: <ADD> ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。 </ADD> xInti = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ? ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, xIntL + i − 3 ) :         (957) xIntL + i − 3 ) yInti = Clip3( 0, picH − 1, yIntL + i − 3 )         (958)
在一些實例中,VVC草案7第14版中的第8.5.6.3.3條可以修改如下: <ADD> ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。 </ADD> xInt = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ?        (968) ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, xIntL ) : xIntL ) yInt = Clip3( 0, picH − 1, yIntL )    (969)
在一些實例中,VVC草案7第14版中的第8.5.6.3.4條可以修改如下: <ADD> ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。 </ADD> 變數xOffset被設置為等於 ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY ) / SubWidthC。 xInti = Clip3( 0, picWC − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ? ClipH( xOffset, picWC , xIntC + i − 1 ) : xIntC + i − 1 ) yInti = Clip3( 0, picHC − 1, yIntC + i − 1 )         (974)
在一些實例中,本案的技術不僅包括用參考圖片所參考的PPS中匯出的環繞偏移來替代當前圖片的環繞偏移,亦包括用參考圖片所參考的PPS中匯出的環繞標誌來替代當前圖片的環繞標誌。為實現本案的技術而對VVC草案7進行的改變的實例如下所示。
在一些實例中,VVC草案7第14版中的第8.5.3.2.2條可修改如下: <ADD>ref_wraparound_enabled_flag是參考圖片所參考的PPS中解析的ref_wraparound_enabled_flag。 ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。 </ADD> xInti = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ? ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, ( xIntL + i ) ) :          (644) xIntL + i ) yInti = Clip3( 0, picH − 1, yIntL + i )           (645)
在一些實例中,VVC草案7第14版中的第8.5.6.3.2條可修改如下: <ADD> ref_wraparound_enabled_flag是參考圖片所參考的PPS中解析的ref_wraparound_enabled_flag。 ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。 </ADD> xInti = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ? ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, xIntL + i − 3 ) :         (957) xIntL + i − 3 ) yInti = Clip3( 0, picH − 1, yIntL + i − 3 )         (958)
在一些實例中,VVC草案7第14版中的第8.5.6.3.3條可修改如下: <ADD> ref_wraparound_enabled_flag是參考圖片所參考的PPS中解析的ref_wraparound_enabled_flag。 ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。 </ADD> xInt = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ?        (968) ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY, picW, xIntL ) : xIntL ) yInt = Clip3( 0, picH − 1, yIntL )    (969)
在一些實例中,VVC草案7第14版中的第8.5.6.3.4條可修改如下: <ADD>ref_wraparound_enabled_flag是參考圖片所參考的PPS中解析的ref_wraparound_enabled_flag。 ref_wraparound_offset_minus1是參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1。</ADD> 變數xOffset被設置為等於 ( <DEL>sps_</DEL>ref_wraparound_offset_minus1 + 1 ) * MinCbSizeY ) / SubWidthC。 xInti = Clip3( 0, picWC − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag ? ClipH( xOffset, picWC , xIntC + i − 1 ) : xIntC + i − 1 ) yInti = Clip3( 0, picHC − 1, yIntC + i − 1 )         (974)
在一些實例中,本案的技術包括針對運動補償使用參考圖片與當前圖片之間的縮放比率來對從當前圖片所參考的PPS匯出的環繞偏移進行縮放。用於匯出參考圖片的環繞偏移(定義為ref_wraparound_offset)的一般公式可以表示如下: ref_wraparound_offset = curr_wraparound_offset * ref_pic_width ÷ curr_pic_width, 其中curr_wraparound_offset是當前圖片的環繞偏移,ref_pic_width被定義為參考圖片的pic_width_max_in_luma_samples,並且curr_pic_width被定義為當前圖片的pic_width_max_in_luma_samples。
考慮到定點計算的精度,可以以更高的精度來實現公式的計算。一個實例是使用VVC草案7中定義的scalingRatio[ 0 ],其經由向左移動14到ref_pic_width來計算ref_pic_width ÷ curr_pic_width的值。於是參考圖片的環繞偏移可以如下匯出: ref_wraparound_offset = ( ( curr_wraparound_offset * scalingRatio[ 0 ] ) + 8192 ) >> 14
在一些實例中,本案的技術包括不允許同時啟用RPR功能和環繞偏移功能。例如,在一些實例中,視訊解碼器300可以被配置為若sps_ref_wraparound_enabled_flag等於1,則推斷ref_pic_resampling_enabled_flag為0。在一些實例中,視訊解碼器300可以被配置為若ref_pic_resampling_enabled_flag等於1,則推斷sps_ref_wraparound_enabled_flag為0。
視訊編碼器200和視訊解碼器300可以被配置為在啟用子圖片的情況下應用環繞偏移。視訊編碼器200和視訊解碼器300可以被配置為在PPS中的解析程序和用於運動補償的解碼程序期間,將子圖片索引添加到環繞偏移的信號傳遞中。為實現本案的技術而對VVC草案7進行的改變的實例如下所示。
在一些實例中,VVC草案7第14版中的第7.3.2.4條可以修改如下:
pic_parameter_set_rbsp( ) { 描述符
   …  
 <ADD> pps_num_subpics_minus1 ue(v)
  for( i = 0; i <= pps_num_subpics_minus1; i++ ) {  
     ref_wraparound_enabled_flag[ i ] u(1)
     if( ref_wraparound_enabled_flag[ i ] )  
        ref_wraparound_offset_minus1[ i ] ue(v)
  } </ADD>
   …  
在一些實例中,VVC草案7第14版中的第7.4.3.4條可以修改如下: <ADD> ref_wraparound_enabled_flag[ i ]等於1指定在訊框間預測中應用對於第i個子圖片的水平環繞運動補償。ref_wraparound_enabled_flag等於0指定不對第i個子圖片應用水平環繞運動補償。當(CtbSizeY/MinCbSizeY+1)的值大於或等於(subpic_width_in_luma_samples/MinCbSizeY−1)時,其中subpic_width_in_luma_samples是第i個子圖片的子圖片寬度的值,ref_wraparound_enabled_flag的值應等於0。 ref_wraparound_offset_minus1[ i ]加1指定用於以MinCbSizeY個亮度取樣為單位計算第i個子圖片的水平環繞位置的偏移。ref_wraparound_offset_minus1[ i ]的值應在(CtbSizeY/MinCbSizeY)+1至(subpic_width_in_luma_samples/MinCbSizeY)–1(含端值)的範圍內。 </ADD>
在一些實例中,VVC草案7第14版中的第8.5.3.2.2條可修改如下: <ADD> 匯出RefSubPicIdx以使得參考圖片的SubpicIdList[ RefSubPicIdx ]等於當前條帶的slice_subpic_id。 ref_wraparound_offset_minus1[ RefSubPicIdx ]是在參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1[ RefSubPicIdx ]。 </ADD> xInti = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[ RefSubPicIdx ]</ADD> ? ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[ RefSubPicIdx ]</ADD> + 1 ) * MinCbSizeY, picW, ( xIntL + i ) ) :         (644) xIntL + i ) yInti = Clip3( 0, picH − 1, yIntL + i )           (645)
在一些實例中,VVC草案7第14版中的第8.5.6.3.2條可修改如下: <ADD>匯出RefSubPicIdx以使得參考圖片的SubpicIdList[ RefSubPicIdx ]等於當前條帶的slice_subpic_id。 ref_wraparound_offset_minus1[ RefSubPicIdx ]是在參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1[ RefSubPicIdx ]。</ADD> xInti = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[ RefSubPicIdx ]</ADD> ? ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[ RefSubPicIdx ]</ADD> + 1 ) * MinCbSizeY, picW, xIntL + i − 3 ) :         (957) xIntL + i − 3 ) yInti = Clip3( 0, picH − 1, yIntL + i − 3 )         (958)
在一些實例中,VVC草案7第14版中的第8.5.6.3.3條可修改如下: <ADD>匯出RefSubPicIdx以使得參考圖片的SubpicIdList[ RefSubPicIdx ]等於當前條帶的slice_subpic_id。 ref_wraparound_offset_minus1[ RefSubPicIdx ]是在參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1[ RefSubPicIdx ]。</ADD> xInt = Clip3( 0, picW − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[ RefSubPicIdx ]</ADD> ? ClipH( ( <DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[ RefSubPicIdx ]</ADD> + 1 ) * MinCbSizeY, picW, xIntL ) : xIntL )          (968) yInt = Clip3( 0, picH − 1, yIntL )    (969)
在一些實例中,VVC草案7第14版中的第8.5.6.3.4條可修改如下: <ADD>匯出RefSubPicIdx以使得參考圖片的SubpicIdList[ RefSubPicIdx ]等於當前條帶的slice_subpic_id。 ref_wraparound_offset_minus1[ RefSubPicIdx ]是在參考圖片所參考的PPS中解析的ref_wraparound_offset_minus1[ RefSubPicIdx ]。</ADD> 變數xOffset被設置為等於 ( <DEL>sps_</DEL>ref_wraparound_offset_minus1<ADD>[ RefSubPicIdx ]</ADD> + 1 ) * MinCbSizeY ) / SubWidthC。 xInti = Clip3( 0, picWC − 1, <DEL>sps_</DEL>ref_wraparound_enabled_flag<ADD>[ RefSubPicIdx ]</ADD> ? ClipH( xOffset, picWC , xIntC + i − 1 ) : xIntC + i − 1 ) yInti = Clip3( 0, picHC − 1, yIntC + i − 1 )         (974)
圖5是圖示可以執行本案的技術的示例性視訊編碼器200的方塊圖。圖5是出於說明的目的而提供的,並且不應被認為是對本案中廣泛示例和描述的技術的限制。出於說明的目的,本案根據JEM、VVC(正在開發中的ITU-T H.266)和HEVC(ITU-T H.265)的技術來描述視訊編碼器200。然而,本案的技術可以由被配置為其他視訊編碼標準的視訊編碼裝置來執行。
在圖5的實例中,視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波單元216、解碼圖片緩衝器(DPB)218和熵編碼單元220。可以在一或多個處理器中或在處理電路系統中實現視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波單元216、DPB 218和熵編碼單元220中的任何一個或全部。例如,視訊編碼器200的單元可以被實現為一或多個電路或邏輯元件,作為硬體電路系統的一部分,或者作為處理器、ASIC、FPGA的一部分。此外,視訊編碼器200可以包括附加的或可替代的處理器或處理電路系統來執行該等和其他功能。
視訊資料記憶體230可以儲存要由視訊編碼器200的元件編碼的視訊資料。視訊編碼器200可以從例如視訊源104(圖1)接收儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當參考圖片記憶體,其儲存用於在視訊編碼器200對後續視訊資料的預測中使用的參考視訊資料。視訊資料記憶體230和DPB 218可以由各種記憶體裝置中的任何一種形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、電阻RAM(RRAM)或其他類型的記憶體裝置。視訊資料記憶體230和DPB 218可以由相同的記憶體裝置或單獨的記憶體裝置提供。在各種實例中,視訊資料記憶體230可以與視訊編碼器200的其他元件在晶片上,如圖所示,或者相對於該等元件在晶片外。
在本案中,對視訊資料記憶體230的引用不應被解釋為限於視訊編碼器200內部的記憶體(除非如此具體描述),或者限於視訊編碼器200外部的記憶體(除非如此具體描述)。相反,對視訊資料記憶體230的引用應該理解為儲存視訊編碼器200接收用於編碼的視訊資料(例如,要被編碼的當前區塊的視訊資料)的參考記憶體。圖1的記憶體106亦可以提供來自視訊編碼器200的各個單元的輸出的臨時儲存。
圖5的各個單元被圖示以幫助理解視訊編碼器200執行的操作。該等單元可以被實現為固定功能電路、可程式設計電路或其組合。固定功能電路是指提供特定功能的電路,並被預設為可以執行的操作。可程式設計電路是指可被程式設計以執行各種任務並在可執行的操作中提供靈活功能的電路。例如,可程式設計電路可以執行軟體或韌體,使得可程式設計電路以由軟體或韌體的指令定義的方式操作。固定功能電路可以執行軟體指令(例如,接收參數或輸出參數),但是固定功能電路執行的操作的類型通常是不可變的。在一些實例中,該等單元中的一或多個可以是不同的電路區塊(固定功能的或可程式設計的),並且在一些實例中,該等單元中的一或多個可以是積體電路。
視訊編碼器200可以包括算數邏輯單位(ALU)、基本功能單元(EFU)、數位電路、類比電路,及/或由可程式設計電路形成的可程式設計核心。在使用由可程式設計電路執行的軟體來執行視訊編碼器200的操作的實例中,記憶體106(圖1)可以儲存視訊編碼器200接收並執行的軟體的指令(例如,目標代碼),或者視訊編碼器200內的另一記憶體(未圖示)可以儲存此種指令。
視訊資料記憶體230被配置為儲存接收的視訊資料。視訊編碼器200可以從視訊資料記憶體230取得視訊資料的圖片,並將視訊資料提供到殘差產生單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是待編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和訊框內預測單元226。模式選擇單元202可以包括附加的功能單元,以根據其他預測模式來執行視訊預測。作為實例,模式選擇單元202可以包括調色板(palette)單元、區塊內複製單元(其可以是運動估計單元222及/或運動補償單元224的一部分)、仿射單元、線性模型(LM)單元等。
模式選擇單元202通常協調多個編碼遍歷(pass),以測試編碼參數的組合以及此種組合的結果(resulting)率失真值。編碼參數可以包括將CTU分區為CU、用於CU的預測模式、用於CU的殘差資料的變換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇具有比其他測試組合更好的率失真值的編碼參數組合。
視訊編碼器200可以將從視訊資料記憶體230中取得到的圖片分區為一系列CTU,並將一或多個CTU封裝在條帶內。模式選擇單元202可以根據樹結構(諸如上述HEVC的QTBT結構或四叉樹結構),來分區圖片的CTU。如前述,視訊編碼器200可以經由根據樹結構分區CTU來形成一或多個CU。此種CU通常亦可以被稱為「視訊區塊」或「區塊」。
通常,模式選擇單元202亦控制其元件(例如,運動估計單元222、運動補償單元224和訊框內預測單元226),以產生當前區塊(例如,當前CU,或者在HEVC中PU和TU的重疊部分)的預測區塊。對於當前區塊的訊框間預測,運動估計單元222可以執行運動搜尋以標識一或多個參考圖片(例如,在DPB 218中儲存的一或多個先前編碼的圖片)中的一或多個緊密匹配的參考區塊。具體地,運動估計單元222可以計算表示可能參考區塊與當前區塊如何相似的值,例如根據絕對差和(SAD)、平方差和(SSD)、平均絕對差(MAD)、均方差(MSD)等。運動估計單元222通常可以使用當前區塊和所考慮的參考區塊之間的逐取樣差來執行該等計算。運動估計單元222可以標識具有由該等計算產生的最低值的參考區塊,該最低值指示最緊密匹配當前區塊的參考區塊。
運動估計單元222可以形成一或多個運動向量(MV),該等運動向量定義參考圖片中的參考區塊的位置相對於當前圖片中的當前區塊的位置。隨後運動估計單元222可以向運動補償單元224提供運動向量。例如,對於單向訊框間預測,運動估計單元222可以提供單個運動向量,而對於雙向訊框間預測,運動估計單元222可以提供兩個運動向量。隨後運動補償單元224可以使用運動向量來產生預測區塊。例如,運動補償單元224可以使用運動向量來取得參考區塊的資料。作為另一實例,若運動向量具有分數取樣精度,則運動補償單元224可以根據一或多個內插濾波器對預測區塊的值進行內插。此外,對於雙向訊框間預測,運動補償單元224可以取得由相應運動向量標識的兩個參考區塊的資料,並經由例如逐取樣平均或加權平均來組合取得的資料。
作為另一實例,對於訊框內預測,或訊框內預測編碼,訊框內預測單元226可以從與當前區塊相鄰的取樣產生預測區塊。例如,對於方向模式,訊框內預測單元226通常可以數學地組合相鄰取樣的值,並在當前區塊上沿定義的方向填充該等計算值,以產生預測區塊。作為另一實例,對於DC模式,訊框內預測單元226可以計算當前區塊的相鄰取樣的平均,並且產生預測區塊以包括預測區塊的每個取樣的所產生的平均。
模式選擇單元202將預測區塊提供到殘差產生單元204。殘差產生單元204從視訊資料記憶體230接收當前區塊的原始未編碼版本,並從模式選擇單元202接收預測區塊。殘差產生單元204計算當前區塊和預測區塊之間的逐取樣差。結果的逐取樣差定義了當前區塊的殘差區塊。在一些實例中,殘差產生單元204亦可以決定殘差區塊中的取樣值之間的差,以使用殘差差分脈衝碼調制(RDPCM)來產生殘差區塊。在一些實例中,可以使用執行二進位減法的一或多個減法器電路來形成殘差產生單元204。
在模式選擇單元202將CU分區為PU的實例中,每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支援具有各種大小的PU。如前述,CU的大小可以指CU的亮度編碼區塊的大小,並且PU的大小可以指PU的亮度預測單元的大小。假設特定CU的大小為2Nx2N,視訊編碼器200可支援用於訊框內預測的2Nx2N或NxN的PU大小,以及用於訊框間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱PU大小。視訊編碼器200和視訊解碼器300亦可以支援用於訊框間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分區。
在模式選擇單元202未進一步將CU分區為PU的實例中,每個CU可以與亮度編碼區塊和對應的色度編碼區塊相關聯。如前述,CU的大小可以指CU的亮度編碼區塊的大小。視訊編碼器200和視訊解碼器300可以支援2Nx2N、2NxN或Nx2N的CU大小。
對於其他視訊編碼技術,諸如區塊內複製模式編碼、仿射模式編碼和線性模型(LM)模式編碼(作為少數實例),模式選擇單元202經由與編碼技術相關聯的相應單元,針對正在編碼的當前區塊產生預測區塊。在一些實例中,諸如調色板模式編碼,模式選擇單元202可以不產生預測區塊,而是產生指示基於所選調色板來重構區塊的方式的語法元素。在此種模式下,模式選擇單元202可以將該等語法元素提供到熵編碼單元220以進行編碼。
如前述,殘差產生單元204接收當前區塊和對應預測區塊的視訊資料。隨後殘差產生單元204針對當前區塊產生殘差區塊。為了產生殘差區塊,殘差產生單元204計算預測區塊和當前區塊之間的逐取樣差。
變換處理單元206對殘差區塊應用一或多個變換,以產生變換係數的區塊(本文稱為「變換係數區塊」)。變換處理單元206可以對殘差區塊應用各種變換,以形成變換係數區塊。例如,變換處理單元206可以對殘差區塊應用離散餘弦變換(DCT)、方向變換、卡爾亨-洛夫變換(KLT),或概念上類似的變換。在一些實例中,變換處理單元206可以對殘差區塊執行多個變換,例如主變換和二次變換,諸如旋轉變換。在一些實例中,變換處理單元206不對殘差區塊應用變換。
量化單元208可以量化變換係數區塊中的變換係數,以產生量化的變換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數(QP)值來量化變換係數區塊的變換係數。視訊編碼器200(例如,經由模式選擇單元202)可以經由調整與CU相關聯的QP值來調整應用於與當前區塊相關聯的變換係數區塊的量化的程度。量化可能導致資訊損失,因此,量化的變換係數可能比由變換處理單元206產生的原始變換係數具有更低的精度。
逆量化單元210和逆變換處理單元212可以分別對量化的變換係數區塊應用逆量化和逆變換,以從變換係數區塊重構殘差區塊。重構單元214可以基於重構的殘差區塊和由模式選擇單元202產生的預測區塊來產生對應於當前區塊的重構區塊(儘管可能具有一定程度的失真)。例如,重構單元214可以將重構的殘差區塊的取樣添加到來自模式選擇單元202產生的預測區塊的對應取樣中,以產生重構的區塊。
濾波單元216可以對重構的區塊執行一或多個濾波操作。例如,濾波單元216可以執行去區塊操作以減少沿CU邊緣的區塊效應偽像。在一些實例中,可以跳過過濾單元216的操作。
視訊編碼器200在DPB 218中儲存重構的區塊。例如,在不需要濾波單元216的操作的實例中,重構單元214可以將重構的區塊儲存到DPB 218。在需要濾波單元216的操作的實例中,濾波單元216可以將經濾波的重構的區塊儲存到DPB 218。運動估計單元222和運動補償單元224可以從DPB 218中取得參考圖片,該參考圖片由重構的(並且可能經濾波的)區塊形成,以對隨後編碼的圖片的區塊進行訊框間預測。此外,訊框內預測單元226可以使用當前圖片的DPB 218中的重構區塊來對當前圖片中的其他區塊進行訊框內預測。
通常,熵編碼單元220可以對從視訊編碼器200的其他功能元件接收的語法元素進行熵編碼。例如,熵編碼單元220可以對來自量化單元208的量化的變換係數區塊進行熵編碼。作為另一實例,熵編碼單元220可以對來自模式選擇單元202的預測語法元素(例如,用於訊框間預測的運動資訊或用於訊框內預測的訊框內模式資訊)進行熵編碼。熵編碼單元220可以對作為視訊資料的另一實例的語法元素執行一或多個熵編碼操作,以產生熵編碼的資料。例如,熵編碼單元220可以對資料執行上下文自我調整可變長度編碼(CAVLC)操作、CABAC操作、變數到變數(V2V)長度編碼操作、基於語法的上下文自我調整二進位算術編碼(SBAC)操作、概率區間分區熵(PIPE)編碼操作、指數-戈倫(Exponential-Golomb)編碼操作,或另一種類型的熵編碼操作。在一些實例中,熵編碼單元220可以在語法元素未被熵編碼的旁路模式下操作。
視訊編碼器200可以輸出包括重構條帶或圖片的區塊所需的經熵編碼的語法元素的位元串流。具體地,熵編碼單元220可以輸出位元串流。
以上描述的操作是針對區塊進行描述的。此種描述應該理解為用於亮度編碼區塊及/或色度編碼區塊的操作。如前述,在一些實例中,亮度編碼區塊和色度編碼區塊是CU的亮度和色度分量。在一些實例中,亮度編碼區塊和色度編碼區塊是PU的亮度和色度分量。
在一些實例中,不需要對色度編碼區塊重複針對亮度編碼區塊執行的操作。作為一個實例,不需要為了標識色度區塊的運動向量(MV)和參考圖片而重複標識亮度編碼區塊的MV和參考圖片的操作。相反,亮度編碼區塊的MV可以被縮放以決定色度區塊的MV,並且參考圖片可以是相同的。作為另一實例,訊框內預測程序對於亮度編碼區塊和色度編碼區塊可以是相同的。
視訊編碼器200表示被配置為編碼視訊資料的裝置的實例,該裝置包括被配置為儲存視訊資料的記憶體,以及在電路系統中實現並被配置為執行本案的技術(包括請求項部分中的技術)的一或多個處理單元。
圖6是圖示可以執行本案的技術的示例性視訊解碼器300的方塊圖。圖6是出於說明的目的而提供的,並不限制本案中廣泛示例和描述的技術。出於說明的目的,本案根據JEM、VVC(正在開發中的ITU-T H.266)和HEVC(ITU-T H.265)的技術來描述視訊解碼器300。然而,本案的技術可以由被配置為其他視訊編碼標準的視訊編碼裝置來執行。
在圖6的實例中,視訊解碼器300包括編碼圖片緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波單元312和解碼圖片緩衝器(DPB)314。可以在一或多個處理器中或在處理電路系統中實現CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波單元312和DPB 314中的任何一個或全部。例如,視訊解碼器300的單元可以被實現為一或多個電路或邏輯元件,作為硬體電路系統的一部分,或者作為處理器、ASIC、FPGA的一部分。此外,視訊解碼器300可以包括附加的或可替代的處理器或處理電路系統來執行該等和其他功能。
預測處理單元304包括運動補償單元316和訊框內預測單元318。預測處理單元304可以包括附加單元,以根據其他預測模式執行預測。作為實例,預測處理單元304可以包括調色板單元、區塊內複製單元(其可以形成運動補償單元316的一部分)、仿射單元、線性模型(LM)單元等。在其他實例中,視訊解碼器300可以包括更多、更少或不同的功能元件。
CPB記憶體320可以儲存要由視訊解碼器300的元件解碼的視訊資料,諸如編碼的視訊位元串流。在CPB記憶體320中儲存的視訊資料可以例如從電腦可讀取媒體110(圖1)獲得。CPB記憶體320可以包括儲存來自編碼的視訊位元串流的編碼的視訊資料(例如,語法元素)的CPB。此外,CPB記憶體320可以儲存除編碼的圖片的語法元素外的視訊資料,諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存解碼的圖片,視訊解碼器300可以在解碼編碼的視訊位元串流的後續資料或圖片時輸出該解碼的圖片及/或將其用作參考視訊資料。CPB記憶體320和DPB 314可以由多種記憶體裝置中的任何一種形成,諸如DRAM,包括SDRAM、MRAM、RRAM或其他類型的記憶體裝置。CPB記憶體320和DPB 314可以由相同的記憶體裝置或單獨的記憶體裝置提供。在各種實例中,CPB記憶體320可以與視訊解碼器300的其他元件在晶片上,或者相對於該等元件在晶片外。
附加地或可替代地,在一些實例中,視訊解碼器300可以從記憶體120(圖1)取得編碼的視訊資料。亦即,記憶體120可以如前述利用CPB記憶體320儲存資料。同樣,在以要由視訊解碼器300的處理電路系統執行的軟體實現視訊解碼器300的功能中的一些或全部時,記憶體120可以儲存要由視訊解碼器300執行的指令。
圖6中所示的各種單元被圖示以幫助理解視訊解碼器300執行的操作。該等單元可以實現為固定功能電路、可程式設計電路或其組合。類似於圖5,固定功能電路是指提供特定功能的電路,並被預設為可以執行的操作。可程式設計電路是指可被程式設計以執行各種任務並在可執行的操作中提供靈活功能的電路。例如,可程式設計電路可以執行軟體或韌體,使得可程式設計電路以由軟體或韌體的指令定義的方式操作。固定功能電路可以執行軟體指令(例如,接收參數或輸出參數),但是固定功能電路執行的操作類型通常是不可變的。在一些實例中,該等單元中的一或多個可以是不同的電路區塊(固定功能的或可程式設計的),並且在一些實例中,該等單元中的一或多個可以是積體電路。
視訊解碼器300可以包括ALU、EFU、數位電路、類比電路,及/或由可程式設計電路形成的可程式設計核心。在由在可程式設計電路上執行的軟體來執行視訊解碼器300的操作的實例中,晶片上或晶片外記憶體可以儲存視訊解碼器300接收和執行的軟體的指令(例如,目標代碼)。
熵解碼單元302可以從CPB接收編碼的視訊資料,並對視訊資料進行熵解碼以再現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波單元312可以基於從位元串流提取的語法元素來產生解碼的視訊資料。
通常,視訊解碼器300在逐區塊的基礎上重構圖片。視訊解碼器300可以對每個區塊單獨執行重構操作(其中當前正在重構(亦即解碼)的區塊可以被稱為「當前區塊」)。
熵解碼單元302可以對定義量化的變換係數區塊的量化的變換係數的語法元素,以及變換資訊(諸如量化參數(QP)及/或(一或多個)變換模式指示)進行熵解碼。逆量化單元306可以使用與量化的變換係數區塊相關聯的QP來決定量化的程度,並且類似地,決定逆量化單元306要應用的逆量化的程度。逆量化單元306可以例如執行逐位元左移操作來對量化的變換係數進行逆量化。逆量化單元306可以由此形成包括變換係數的變換係數區塊。
在逆量化單元306形成變換係數區塊之後,逆變換處理單元308可以對變換係數區塊應用一或多個逆變換,以產生與當前區塊相關聯的殘差區塊。例如,逆變換處理單元308可以對變換係數區塊應用逆DCT、逆整數變換、逆卡爾亨-洛夫變換(KLT)、逆旋轉變換、逆方向變換,或另一逆變換。
此外,預測處理單元304根據由熵解碼單元302熵解碼的預測資訊語法元素產生預測區塊。例如,若預測資訊語法元素指示當前區塊是訊框間預測的,則運動補償單元316可以產生預測區塊。在此種情況下,預測資訊語法元素可以指示從中取得參考區塊的DPB 314中的參考圖片,以及標識參考圖片中的參考區塊的位置相對於當前圖片中的當前區塊的位置的運動向量。運動補償單元316通常可以以與針對運動補償單元224(圖5)描述的大體相似的方式來執行訊框間預測程序。
作為另一實例,若預測資訊語法元素指示當前區塊是訊框內預測的,則訊框內預測單元318可以根據由預測資訊語法元素指示的訊框內預測模式來產生預測區塊。同樣,訊框內預測單元318通常可以以與關於訊框內預測單元226(圖5)所描述的大體類似的方式來執行訊框內預測程序。訊框內預測單元318可以從DPB 314取得當前區塊的相鄰取樣的資料。
重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如,重構單元310可以將殘差區塊的取樣添加到預測區塊的對應取樣以重構當前區塊。
濾波單元312可以對重構的區塊執行一或多個濾波操作。例如,濾波單元312可以執行去區塊操作以減少沿著重構的區塊的邊緣的區塊效應偽像。濾波單元312的操作不一定在所有實例中執行。
視訊解碼器300可以將重構的區塊儲存在DPB 314中。例如,在不執行濾波單元312的操作的實例中,重構單元310可以將重構的區塊儲存到DPB 314。在執行濾波單元312的操作的實例中,濾波單元312可以將經濾波的重構的區塊儲存到DPB 314。如前述,DPB 314可以向預測處理單元304提供參考資訊,諸如用於訊框內預測的當前圖片的取樣和用於後續運動補償的先前解碼的圖片。此外,視訊解碼器300可以從DPB 314輸出解碼的圖片(例如,解碼的視訊),用於在顯示裝置(諸如圖1的顯示裝置118)上隨後呈現。
以此種方式,視訊解碼器300表示視訊解碼裝置的實例,該視訊解碼裝置包括被配置為儲存視訊資料的記憶體,以及在電路系統中實現並被配置為執行本案的技術(包括請求項部分的技術)的一或多個處理單元。
圖7是圖示用於編碼當前區塊的示例性方法的流程圖。當前區塊可以包括當前CU。儘管針對視訊編碼器200(圖1和圖5)進行描述,但是應當理解,其他裝置可以被配置為執行與圖7類似的方法。
在本實例中,視訊編碼器200最初預測當前區塊(350)。例如,視訊編碼器200可以形成當前區塊的預測區塊。隨後視訊編碼器200可以計算當前區塊的殘差區塊(352)。為了計算殘差區塊,視訊編碼器200可以計算原始未編碼區塊與當前區塊的預測區塊之間的差。隨後視訊編碼器200可以變換殘差區塊並量化殘差區塊的變換係數(354)。接下來,視訊編碼器200可以掃瞄殘差區塊的量化的變換係數(356)。在掃瞄期間,或在掃瞄之後,視訊編碼器200可以對變換係數進行熵編碼(358)。例如,視訊編碼器200可以使用CAVLC或CABAC對變換係數進行編碼。隨後視訊編碼器200可以輸出區塊的熵編碼的資料(360)。
圖8是圖示用於解碼視訊資料的當前區塊的示例性方法的流程圖。當前區塊可以包括當前CU。儘管針對視訊解碼器300(圖1和圖6)進行描述,但是應當理解,其他裝置可以被配置為執行與圖8類似的方法。
視訊解碼器300可以接收當前區塊的熵編碼的資料(370),諸如用於對應於當前區塊的殘差區塊的係數的熵編碼的預測資訊和熵編碼的資料。視訊解碼器300可以對熵編碼的資料進行熵解碼,以決定當前區塊的預測資訊,並再現殘差區塊的係數(372)。視訊解碼器300可預測當前區塊(374),例如,使用由當前區塊的預測資訊指示的訊框內或訊框間預測模式,來計算當前區塊的預測區塊。隨後視訊解碼器300可以逆掃瞄再現的係數(376),以建立量化的變換係數的區塊。隨後視訊解碼器300可以對變換係數進行逆量化和逆變換,以產生殘差區塊(378)。視訊解碼器300可經由組合預測區塊和殘差區塊來最終解碼當前區塊(380)。
圖9是圖示用於編碼視訊資料的當前區塊的示例性方法的流程圖。視訊資料可以是例如360度視訊資料。當前區塊可以包括當前CU。儘管針對視訊編碼器200(圖1和圖5)進行描述,但是應當理解,其他裝置可以被配置為執行與圖9類似的方法。
視訊編碼器200決定環繞偏移的值(400)。回應於決定視訊資料的當前圖片的區塊是以訊框間預測模式編碼的,視訊編碼器200決定該區塊的運動向量和該區塊的參考圖片(402)。例如,參考圖片可以是PERP格式的圖片。參考圖片的左邊部分和參考圖片的右邊部分可以被填充至相同。
視訊編碼器200基於環繞偏移的值來決定參考圖片中的水平環繞位置(404)。例如,水平環繞位置可以對應於預測區塊的左上角。
視訊編碼器200基於水平環繞位置決定該區塊的預測區塊(406)。例如,視訊編碼器200可以進一步基於參考圖片的圖片寬度和圖片高度來決定參考圖片中的水平環繞位置,並且在PPS資料結構中包括標識參考圖片的圖片寬度和圖片高度的資訊。
視訊編碼器200在當前圖片的PPS資料結構中包括環繞偏移的值(408)。例如,環繞偏移可以是第一子圖片的第一環繞偏移,視訊編碼器200可以被配置為在PPS資料結構中包括作為與第一子圖片相同的圖片的一部分的第二子圖片的第二環繞偏移的值。例如,視訊編碼器200可以決定對該區塊啟用水平環繞運動補償,並且在PPS資料結構中包括語法元素以指示對該區塊啟用水平環繞運動補償,並且回應於決定對該區塊啟用水平環繞運動補償而在PPS資料結構中包括環繞偏移的值。
視訊編碼器200輸出包括PPS資料結構的編碼的視訊資料的位元串流(410)。視訊編碼器200亦可以在編碼的視訊資料的位元串流中包括具有SPS ID值的SPS,並且PPS資料結構可以包括標識SPS ID值的語法元素。例如,視訊編碼器200可以經由輸出用於解碼和顯示的位元串流或者經由儲存位元串流用於稍後解碼來輸出編碼的視訊資料的位元串流。
圖10是圖示用於解碼視訊資料的當前區塊的示例性方法的流程圖。視訊資料可以是例如360度視訊資料。當前區塊可以包括當前CU。儘管針對視訊解碼器300(圖1和圖6)進行描述,但是應當理解,其他裝置可以被配置為執行與圖10類似的方法。
視訊解碼器300從視訊資料的當前圖片的PPS資料結構中獲得環繞偏移的值(420)。例如,視訊解碼器300可以接收PPS資料結構中的語法元素,基於語法元素的值決定對區塊啟用水平環繞運動補償,並且回應於決定對區塊啟用水平環繞運動補償而接收環繞偏移的值。視訊解碼器300亦可以接收具有SPS ID值的SPS,並且PPS資料結構可以包括標識SPS ID值的語法元素。例如,環繞偏移可以是第一子圖片的第一環繞偏移,並且視訊解碼器300亦可以被配置為從PPS資料結構獲得第二子圖片的第二環繞偏移的值,其中第一子圖片和第二子圖片是同一圖片的子圖片。
回應於決定當前圖片的區塊是以訊框間預測模式編碼的,視訊解碼器300決定該區塊的運動向量和該區塊的參考圖片(422)。例如,參考圖片可以是PERP格式的圖片。參考圖片的左邊部分和參考圖片的右邊部分可以被填充至相同。參考圖片可以具有關聯的PPS資料結構,其與當前圖片的PPS資料結構獨立。
視訊解碼器300基於環繞偏移的值決定參考圖片中的水平環繞位置(424)。例如,水平環繞位置可以對應於預測區塊的左上角。視訊解碼器300亦可以接收PPS資料結構中標識參考圖片的圖片寬度和圖片高度的資訊,並進一步基於參考圖片的圖片寬度和圖片高度來決定參考圖片中的水平環繞位置。
視訊解碼器300基於水平環繞位置決定該區塊的預測區塊(426)。視訊解碼器300亦可以被配置為決定殘差區塊,將殘差區塊添加到預測區塊以決定視訊資料的重構的區塊,將一或多個濾波器應用於重構的區塊以決定最終的解碼的區塊,以及輸出包括最終的解碼的區塊的視訊資料的解碼的圖片。
以下各條描述了上述裝置和技術的特徵。
第1條:一種解碼視訊資料的方法,包括以下步驟:在圖片參數集(PPS)中接收一或多個環繞偏移;及根據本案中描述的任何技術或技術組合來處理一或多個環繞偏移。
第2條:第1條的方法,亦包括以下步驟:接收具有序列參數集(SPS)ID值的序列參數集,其中PPS包括標識該SPS ID值的語法元素。
第3條:一種用於解碼視訊資料的裝置,該裝置包括用於執行第1或2條的方法的一或多個構件。
第4條:第3條的裝置,其中一或多個構件包括在電路系統中實現的一或多個處理器。
第5條:第3或4條的裝置,亦包括儲存視訊資料的記憶體。
第6條:第3-5條中任一條的裝置,亦包括被配置為顯示解碼的視訊資料的顯示器。
第7條:第3-6條中任一條的裝置,其中該裝置包括相機、電腦、行動裝置、廣播接收器裝置或機上盒中的一或多個。
第8條:第3-7條中任一條的裝置,其中該裝置包括視訊解碼器。
第9條:一種編碼視訊資料的方法,包括以下步驟:根據本案中描述的任何技術或技術組合來決定一或多個環繞偏移;及產生包括一或多個環繞偏移的圖片參數集。
第10條:第1條的方法,亦包括以下步驟:產生具有序列參數集(SPS)ID值的序列參數集,其中PPS包括標識該SPS ID值的語法元素。
第11條:一種用於解碼視訊資料的裝置,該裝置包括用於執行第9或10條的方法的一或多個構件。
第12條:第11條的裝置,其中一或多個構件包括在電路系統中實現的一或多個處理器。
第13條:第11或12條的裝置,亦包括儲存視訊資料的記憶體。
第14條:第11-13條中任一條的裝置,亦包括被配置為擷取視訊資料的相機。
第15條:第11-14條中任一條的裝置,其中該裝置包括相機、電腦或行動裝置中的一或多個。
第16條:第11-15條中任一條的裝置,其中該裝置包括視訊編碼器。
第17條:一種電腦可讀取儲存媒體,其上儲存有指令,當該等指令被執行時,使一或多個處理器執行第1、2、9或10條中任一條的方法。
第18條:一種用於編碼視訊資料的裝置,包括用於執行第1、2、9或10條中任一條的方法的構件。
應當認識到,根據實例,本文描述的任何技術的某些動作或事件可以以不同的順序執行,可以被一起添加、合併或省略(例如,並非所有描述的動作或事件對於技術的實踐皆是必要的)。此外,在某些實例中,可以併發地執行各動作或事件(例如經由多執行緒處理、中斷處理或多個處理器),而不是順序地執行。
在一或多個實例中,可以以硬體、軟體、韌體或其任何組合來實現所描述的功能。若以軟體實現,該等功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或經由其傳輸,並由基於硬體的處理單元執行。電腦可讀取媒體可以包括對應於諸如資料儲存媒體的有形媒體的電腦可讀取儲存媒體,或者包括例如根據通訊協定而促進將電腦程式從一個地方傳送到另一地方的任何媒體的通訊媒體。以此種方式,電腦可讀取媒體通常可以對應於(1)非暫時性的有形電腦可讀取儲存媒體,或者(2)諸如信號或載波的通訊媒體。資料儲存媒體可以是可由一或多個電腦或者一或多個處理器存取以取得指令、代碼及/或資料結構用於實現本案中描述的技術的任何可用媒體。電腦程式產品可以包括電腦可讀取媒體。
作為實例而非限制,此種電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存,或其他磁儲存裝置、快閃記憶體,或可用於以指令或資料結構的形式儲存期望的程式碼並且可以由電腦存取的任何其他媒體。此外,任何連接皆被恰當地稱為電腦可讀取媒體。例如,若使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL),或無線技術(諸如紅外線、無線電和微波)從網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纖電纜、雙絞線、DSL,或無線技術(諸如紅外線、無線電和微波)被包括在媒體的定義中。然而,應當理解,電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、信號,或其他暫時媒體,而是針對非暫時的有形儲存媒體。本文使用的磁碟和光碟包括壓縮光碟(compact disc,CD)、鐳射光碟、光學光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟則利用鐳射以光學方式再現資料。以上的組合亦應被包括在電腦可讀取媒體的範疇內。
指令可以由一或多個處理器執行,諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA),或其他等效的整合或個別邏輯電路系統。因此,本文使用的術語「處理器」和「處理電路系統」可以指任何前述結構或者適合用於實現本文描述的技術的任何其他結構。此外,在一些態樣,可以在被配置用於編碼和解碼的專用硬體及/或軟體模組中提供本文描述的功能,或者結合在組合的轉碼器中。同樣,可以在一或多個電路或邏輯元件中完整地實現該等技術。
可以在多種裝置或設備中實現本案的技術,多種裝置或設備包括無線手持機、積體電路(IC)或IC集(例如,晶片集)。在本案中描述了各種元件、模組或單元,以強調被配置為執行所揭示的技術的裝置的各功能態樣,但是不一定需要經由不同的硬體單元來實現。相反,如前述,各種單元可以組合在轉碼器硬體單元中,或者由包括如前述的一或多個處理器的交互操作硬體單元的集合結合合適的軟體及/或韌體來提供。
已經描述了各種實例。該等和其他實例在以下請求項的範疇內。
100:視訊編碼和解碼系統 102:源裝置 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀取媒體 112:儲存裝置 114:檔案伺服器 116:目的裝置 118:顯示裝置 120:記憶體 122:輸入介面 130:QTBT結構 132:編碼樹單元(CTU) 136:當前PU 138:當前圖片 140:運動向量 142:預測區塊 144:共置的PU 146:參考圖片 148:環繞參考取樣 150:當前圖片 152:參考圖片 200:視訊編碼器 202:模式選擇單元 204:殘差產生單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波單元 218:解碼圖片緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:訊框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波單元 314:解碼圖片緩衝器(DPB) 316:運動補償單元 318:訊框內預測單元 320:CPB記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 400:步驟 402:步驟 404:步驟 406:步驟 408:步驟 410:步驟 420:步驟 422:步驟 424:步驟 426:步驟
圖1是圖示可以執行本案的技術的示例性視訊編碼和解碼系統的方塊圖。
圖2A和圖2B是圖示示例性四叉樹二叉樹(QTBT)結構和對應的編碼樹單元(CTU)的概念圖。
圖3圖示參考圖片中的環繞偏移的實例。
圖4圖示被錯誤地移位到未知位置的參考圖元的位置。
圖5是圖示可以執行本案的技術的示例性視訊編碼器的方塊圖。
圖6是圖示可以執行本案的技術的示例性視訊解碼器的方塊圖。
圖7是圖示用於編碼視訊資料的程序的流程圖。
圖8是圖示用於解碼視訊資料的程序的流程圖。
圖9是圖示用於編碼視訊資料的程序的流程圖。
圖10是圖示用於解碼視訊資料的程序的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
420:步驟
422:步驟
424:步驟
426:步驟

Claims (43)

  1. 一種解碼視訊資料的方法,該方法包括以下步驟: 從該視訊資料的一當前圖片的一圖片參數集(PPS)資料結構中獲得一環繞偏移的一值; 回應於決定該當前圖片的一區塊是以一訊框間預測模式編碼的,決定該區塊的一運動向量和該區塊的一參考圖片; 基於該環繞偏移的該值決定該參考圖片中的一水平環繞位置;及 基於該水平環繞位置決定該區塊的一預測區塊。
  2. 根據請求項1之方法,該方法亦包括以下步驟: 接收該PPS資料結構中的一語法元素; 基於該語法元素的一值,決定對該區塊啟用水平環繞運動補償;及 回應於決定對該區塊啟用該水平環繞運動補償,接收該環繞偏移的該值。
  3. 根據請求項1之方法,該方法亦包括以下步驟: 接收該PPS資料結構中標識該參考圖片的一圖片寬度和一圖片高度的資訊;及 進一步基於該參考圖片的該圖片寬度和該圖片高度來決定該參考圖片中的該水平環繞位置。
  4. 根據請求項1之方法,其中該視訊資料包括360度視訊資料。
  5. 根據請求項1之方法,其中該參考圖片包括一填充的等矩形投影(PERP)格式的圖片。
  6. 根據請求項1之方法,其中該參考圖片的一左邊部分和該參考圖片的一右邊部分被填充至相同。
  7. 根據請求項1之方法,該方法亦包括以下步驟: 接收具有一序列參數集(SPS)ID值的一序列參數集,其中該PPS資料結構包括標識該SPS ID值的一語法元素,並且其中該區塊屬於參考該PPS資料結構的一條帶。
  8. 根據請求項1之方法,其中該參考圖片具有與該當前圖片的該PPS資料結構獨立的一關聯的PPS資料結構。
  9. 根據請求項1之方法,其中該水平環繞位置對應於該預測區塊的一左上角。
  10. 根據請求項1之方法,其中該環繞偏移包括一第一子圖片的一第一環繞偏移,該方法亦包括以下步驟: 從該PPS資料結構獲得一第二子圖片的一第二環繞偏移的一值,其中該第一子圖片和該第二子圖片是一同一圖片的子圖片。
  11. 根據請求項1之方法,該方法亦包括以下步驟: 決定一殘差區塊; 將該殘差區塊添加到該預測區塊以決定視訊資料的一重構的區塊; 將一或多個濾波器應用於該重構的區塊以決定一最終的解碼的區塊;及 輸出包括該最終的解碼的區塊的該視訊資料的一解碼的圖片。
  12. 根據請求項1之方法,其中該運動向量指向該參考圖片的一邊界外部的一取樣。
  13. 根據請求項1之方法,其中該運動向量指向由一內插操作決定的一內插取樣,該內插操作使用該參考圖片的一邊界外部的一取樣。
  14. 一種用於解碼視訊資料的裝置,該裝置包括: 一記憶體,被配置為儲存該視訊資料;及 一或多個處理器,在電路系統中實現,並被配置為: 從該視訊資料的一當前圖片的一圖片參數集(PPS)資料結構中獲得一環繞偏移的一值; 回應於決定該當前圖片的一區塊是以一訊框間預測模式編碼的,決定該區塊的一運動向量和該區塊的一參考圖片,其中該區塊屬於參考該PPS資料結構的一條帶; 基於該環繞偏移的該值決定該參考圖片中的一水平環繞位置;及 基於該水平環繞位置決定該區塊的一預測區塊。
  15. 根據請求項14之裝置,其中該一或多個處理器亦被配置為: 接收該PPS資料結構中的一語法元素; 基於該語法元素的一值,決定對該區塊啟用水平環繞運動補償;及 回應於決定對該區塊啟用該水平環繞運動補償,接收該環繞偏移的該值。
  16. 根據請求項14之裝置,其中該一或多個處理器亦被配置為: 接收該PPS資料結構中標識該參考圖片的一圖片寬度和一圖片高度的資訊;及 進一步基於該參考圖片的該圖片寬度和該圖片高度來決定該參考圖片中的該水平環繞位置。
  17. 根據請求項14之裝置,其中該視訊資料包括360度視訊資料。
  18. 根據請求項14之裝置,其中該參考圖片包括一填充的等矩形投影(PERP)格式的圖片。
  19. 根據請求項14之裝置,其中該參考圖片的一左邊部分和該參考圖片的一右邊部分被填充至相同。
  20. 根據請求項14之裝置,其中該一或多個處理器亦被配置為: 接收具有一序列參數集(SPS)ID值的一序列參數集,其中該PPS資料結構包括標識該SPS ID值的一語法元素,並且其中該區塊屬於參考該PPS資料結構的一條帶。
  21. 根據請求項14之裝置,其中該參考圖片具有與該當前圖片的該PPS資料結構獨立的一關聯的PPS資料結構。
  22. 根據請求項14之裝置,其中該水平環繞位置對應於該預測區塊的一左上角。
  23. 根據請求項14之裝置,其中該環繞偏移包括用於一第一子圖片的一第一環繞偏移,並且其中該一或多個處理器亦被配置為: 從該PPS資料結構獲得一第二子圖片的一第二環繞偏移的一值,其中該第一子圖片和該第二子圖片是一同一圖片的子圖片。
  24. 根據請求項14之裝置,其中該一或多個處理器亦被配置為: 決定一殘差區塊; 將該殘差區塊添加到該預測區塊以決定視訊資料的一重構的區塊; 將一或多個濾波器應用於該重構的區塊以決定一最終的解碼的區塊;及 輸出包括該最終的解碼的區塊的該視訊資料的一解碼的圖片。
  25. 根據請求項14之裝置,其中該裝置包括一無線通訊裝置,亦包括被配置為接收編碼的視訊資料的一接收器。
  26. 根據請求項25之裝置,其中該無線通訊裝置包括一電話手持機,並且其中該接收器被配置為根據一無線通訊標準來對包括該編碼的視訊資料的一信號進行解調。
  27. 根據請求項14之裝置,亦包括: 一顯示器,被配置為顯示解碼的視訊資料。
  28. 根據請求項14之裝置,其中該裝置包括一相機、一電腦、一行動裝置、一廣播接收器裝置,或一機上盒中的一或多個。
  29. 根據請求項14之裝置,其中該運動向量指向該參考圖片的一邊界外部的一取樣。
  30. 根據請求項14之裝置,其中該運動向量指向由一內插操作決定的一內插取樣,該內插操作使用該參考圖片的一邊界外部的一取樣。
  31. 一種電腦可讀取儲存媒體,其儲存指令,當該等指令由一或多個處理器執行時,使該一或多個處理器: 從該視訊資料的一當前圖片的一圖片參數集(PPS)資料結構中獲得一環繞偏移的一值; 回應於決定該當前圖片的一區塊是以一訊框間預測模式編碼的,決定該區塊的一運動向量和該區塊的一參考圖片,其中該區塊屬於參考該PPS資料結構的一條帶; 基於該環繞偏移的該值決定該參考圖片中的一水平環繞位置;及 基於該水平環繞位置決定該區塊的一預測區塊。
  32. 一種用於編碼視訊資料的裝置,該裝置包括: 一記憶體,被配置為儲存該視訊資料;及 一或多個處理器,在電路系統中實現,並被配置為: 決定一環繞偏移的一值; 回應於決定當前圖片的一區塊是以一訊框間預測模式編碼的,決定該區塊的一運動向量和該區塊的一參考圖片; 基於該環繞偏移的該值決定該參考圖片中的一水平環繞位置; 基於該水平環繞位置決定該區塊的一預測區塊; 在該視訊資料的該當前圖片的一圖片參數集(PPS)資料結構中包括一環繞偏移的一值;及 輸出包括該PPS資料結構的編碼的視訊資料的一位元串流。
  33. 根據請求項32之裝置,其中該一或多個處理器亦被配置為: 決定對該區塊啟用水平環繞運動補償; 在該PPS資料結構中包括一語法元素,其中該語法元素被設置為指示對該區塊啟用該水平環繞運動補償的一值;及 回應於決定對該區塊啟用該水平環繞運動補償,在該PPS資料結構中包括該環繞偏移的該值。
  34. 根據請求項32之裝置,其中該一或多個處理器亦被配置為: 進一步基於該參考圖片的一圖片寬度和一圖片高度來決定該參考圖片中的該水平環繞位置;及 在該PPS資料結構中包括標識該參考圖片的該圖片寬度和該圖片高度的資訊。
  35. 根據請求項32之裝置,其中該視訊資料包括360度視訊資料。
  36. 根據請求項32之裝置,其中該參考圖片包括一填充的等矩形投影(PERP)格式的圖片。
  37. 根據請求項32之裝置,其中該參考圖片的一左邊部分和該參考圖片的一右邊部分被填充至相同。
  38. 根據請求項32之裝置,其中該一或多個處理器亦被配置為: 在該編碼的視訊資料的位元串流中包括具有一序列參數集(SPS)ID值的一序列參數集,其中該PPS資料結構包括標識該SPS ID值的一語法元素。
  39. 根據請求項32之裝置,其中該水平環繞位置對應於該預測區塊的一左上角。
  40. 根據請求項32之裝置,其中該環繞偏移包括一第一子圖片的一第一環繞偏移,並且其中該一或多個處理器亦被配置為: 在該PPS資料結構中包括一第二子圖片的一第二環繞偏移的一值,其中該第一子圖片和該第二子圖片是一同一圖片的子圖片。
  41. 根據請求項32之裝置,其中該裝置包括一無線通訊裝置,亦包括被配置為傳輸該編碼的視訊資料的位元串流的一傳輸器。
  42. 根據請求項41之裝置,其中該無線通訊裝置包括一電話手持機,並且其中該傳輸器被配置為根據一無線通訊標準來對包括該編碼的視訊資料的位元串流的一信號進行調制。
  43. 根據請求項32之裝置,其中該裝置包括一相機、一電腦、一行動裝置、一廣播接收器裝置,或一機上盒中的一或多個。
TW109145921A 2019-12-27 2020-12-24 視訊編碼中針對參考圖片重取樣的環繞偏移 TW202131676A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962954341P 2019-12-27 2019-12-27
US62/954,341 2019-12-27
US17/131,192 US11425420B2 (en) 2019-12-27 2020-12-22 Wraparound offsets for reference picture resampling in video coding
US17/131,192 2020-12-22

Publications (1)

Publication Number Publication Date
TW202131676A true TW202131676A (zh) 2021-08-16

Family

ID=76546772

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109145921A TW202131676A (zh) 2019-12-27 2020-12-24 視訊編碼中針對參考圖片重取樣的環繞偏移

Country Status (8)

Country Link
US (1) US11425420B2 (zh)
EP (1) EP4082203A1 (zh)
JP (1) JP2023508368A (zh)
KR (1) KR20220115962A (zh)
CN (1) CN114846796A (zh)
IL (1) IL293447A (zh)
TW (1) TW202131676A (zh)
WO (1) WO2021133979A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11711537B2 (en) 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11418804B2 (en) 2019-12-31 2022-08-16 Tencent America LLC Method for wrap around motion compensation with reference picture resampling
US11368708B2 (en) * 2020-01-08 2022-06-21 Tencent America LLC Method for combination of wrap-around offset and reference picture resampling
WO2021173475A1 (en) * 2020-02-24 2021-09-02 Alibaba Group Holding Limited Methods for combining decoder side motion vector refinement with wrap-around motion compensation
US11785237B2 (en) * 2020-03-26 2023-10-10 Alibaba Group Holding Limited Methods for signaling video coding data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915986B2 (en) * 2017-03-20 2021-02-09 Qualcomm Incorporated Adaptive perturbed cube map projection
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
US11539939B2 (en) * 2019-11-27 2022-12-27 Hfi Innovation Inc. Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems
US11711537B2 (en) * 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation

Also Published As

Publication number Publication date
US20210203988A1 (en) 2021-07-01
JP2023508368A (ja) 2023-03-02
EP4082203A1 (en) 2022-11-02
KR20220115962A (ko) 2022-08-19
CN114846796A (zh) 2022-08-02
WO2021133979A1 (en) 2021-07-01
IL293447A (en) 2022-07-01
US11425420B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
US11095916B2 (en) Wraparound motion compensation in video coding
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
TW202143717A (zh) 視頻譯碼中的亮度映射與色度縮放(lmcs)
TW202115977A (zh) 用於視訊編碼的跨分量自我調整迴路濾波
TW202106012A (zh) 用於視訊寫碼之多重自適應迴路濾波器集合
US20210235124A1 (en) Decoded picture buffer (dpb) parameter signaling for video coding
US11425420B2 (en) Wraparound offsets for reference picture resampling in video coding
US11659207B2 (en) General constraints of syntax elements for video coding
TW202127887A (zh) 視訊解碼中用於聯合色度殘差模式的量化參數訊號傳遞
TW202044833A (zh) 使用不同色度格式之三角預測單元模式中之視訊寫碼
TW202106023A (zh) 調色板模式下的增量量化參數訊令
TW202139715A (zh) 視訊譯碼中的參考圖片列表和共位圖片訊號傳遞
TW202203649A (zh) 視訊譯碼中的通用約束資訊信號傳遞
TW202127881A (zh) 採用用於視訊編解碼之高階語法的子圖像傳訊
TW202127893A (zh) 用於視頻編碼中的參考圖片重採樣的參考圖片縮放比
TW202130172A (zh) 使用參考圖像尺寸進行運動補償
CN114391256A (zh) 用于视频编解码的变换单元设计
TW202119820A (zh) 視訊寫碼中之色度差量量化參數
US11563963B2 (en) Determining whether to code picture header data of pictures of video data in slice headers
TW202141988A (zh) 用於視訊譯碼中的變換跳過區塊的高級約束
TW202133615A (zh) 基於色度變換跳過的用於色度的lfnst信號傳遞
TW202131679A (zh) 在視訊編碼中利用縮減的歸零項的低頻不可分變換(lfnst)
TW202127874A (zh) 用於視訊編碼中的自我調整色彩變換的qp 偏移的靈活訊號傳遞
US11943429B2 (en) Subpicture signaling in video coding
TW202131687A (zh) 用於視訊編碼的單色調色板模式