TW202110189A - 用於視訊寫碼的環繞運動補償 - Google Patents

用於視訊寫碼的環繞運動補償 Download PDF

Info

Publication number
TW202110189A
TW202110189A TW109124828A TW109124828A TW202110189A TW 202110189 A TW202110189 A TW 202110189A TW 109124828 A TW109124828 A TW 109124828A TW 109124828 A TW109124828 A TW 109124828A TW 202110189 A TW202110189 A TW 202110189A
Authority
TW
Taiwan
Prior art keywords
motion compensation
syntax element
block
enabled
pps
Prior art date
Application number
TW109124828A
Other languages
English (en)
Inventor
法迪姆 塞瑞金
穆漢麥德 傑德 柯本
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202110189A publication Critical patent/TW202110189A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用於環繞運動補償的技術,諸如以便更好地確保用於執行環繞運動補償的參數是在公共參數集中可得到的。視訊編碼器可以在圖片參數集(PPS)中用訊號通知指示用於針對視訊資料的當前區塊的環繞運動補償的偏移的語法元素,視訊解碼器可以解析該語法元素。

Description

用於視訊寫碼的環繞運動補償
本公開內容涉及視訊編碼和視訊解碼。
數位視訊能力可以被合併到各種各樣的裝置中,包括數位電視機、數位直播系統、無線廣播系統、個人數位助理(PDA)、筆記型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議裝置、視訊串流裝置等。數位視訊裝置實施視訊編碼技術(諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分,高級視訊編碼(AVC))、ITU-T H.265/高效率視訊編碼(HEVC)、以及此類標準的擴展所定義的標準中描述的那些技術)。通過實施這樣的視訊編碼技術,視訊裝置可以更加高效地傳送、接收、編碼、解碼和/或儲存數位視訊資訊。
視訊編碼技術包括空間(幀內圖片)預測和/或時間(幀間圖片)預測以減少或去除在視訊序列中固有的冗余。對於基於區塊的視訊編碼,視訊切片(例如,視訊圖片或視訊圖片的一部分)可以被分割為視訊區塊,視訊區塊也可以被稱為寫碼樹單元(CTU)、寫碼單元(CU)和/或寫碼節點。圖片的經幀內編碼(I)的切片中的視訊區塊是使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測來編碼的。圖片的經幀間編碼(P或B)的切片中的視訊區塊可以使用相對於同一圖片中的相鄰區塊中的參考樣本的空間預測或者相對於其它參考圖片中的參考樣本的時間預測。圖片可以被稱為幀,並且參考圖片可以被稱為參考幀。
概括而言,本公開內容描述了用於環繞運動補償的技術。本公開內容描述了如下的示例技術:所述示例技術用於更好地確保用於執行環繞運動補償的參數是在公共參數集中可得到的,使得不會浪費視訊處理資源來存取來自不同參數集的資訊。本公開內容的技術還可以減少由於等待來自不同參數集的資料而導致的視訊處理中的延遲。本公開內容還描述了與色度格式化有關的示例技術。
在一個示例中,本公開內容描述了一種對視訊資料進行解碼的方法,所述方法包括:解析在圖片參數集(PPS)中的指示用於針對所述視訊資料的當前區塊的環繞運動補償的偏移的語法元素;以及基於用於環繞運動補償的所述偏移來對所述當前區塊進行幀間預測解碼。
在一個示例中,本公開內容描述了一種用於對視訊資料進行解碼的裝置,所述裝置包括:儲存器,其被配置為儲存圖片參數集(PPS)中的語法元素;以及處理電路,其被配置為:解析在所述PPS中的指示用於針對所述視訊資料的當前區塊的環繞運動補償的偏移的語法元素;以及基於用於環繞運動補償的所述偏移來對所述當前區塊進行幀間預測解碼。
在一個示例中,本公開內容描述了一種對視訊資料進行編碼的方法,所述方法包括:基於用於環繞運動補償的偏移來對所述視訊資料的當前區塊進行幀間預測編碼;以及在圖片參數集(PPS)中用訊號通知指示用於針對所述當前區塊的所述環繞運動補償的所述偏移的語法元素。
在一個示例中,本公開內容描述了一種用於對視訊資料進行編碼的裝置,所述裝置包括:儲存器,被配置為儲存圖片參數集(PPS)中的語法元素;以及處理電路,其被配置為:基於用於環繞運動補償的偏移來對所述視訊資料的當前區塊進行幀間預測編碼;以及在所述PPS中用訊號通知指示用於針對所述當前區塊的所述環繞運動補償的所述偏移的語法元素。
在一個示例中,本公開內容描述了一種用於對視訊資料進行解碼的裝置,所述裝置包括:用於解析在圖片參數集(PPS)中的指示用於針對所述視訊資料的當前區塊的環繞運動補償的偏移的語法元素的單元;以及用於基於用於環繞運動補償的所述偏移來對所述當前區塊進行幀間預測解碼的單元。
在一個示例中,本公開內容描述了一種具有儲存在其上的指令的電腦可讀儲存媒體,所述指令在被執行時使得一個或多個處理器進行以下操作:解析在圖片參數集(PPS)中的指示用於針對所述視訊資料的當前區塊的環繞運動補償的偏移的語法元素;以及基於用於環繞運動補償的所述偏移來對所述當前區塊進行幀間預測解碼。
在附圖和以下描述中闡述了一個或多個示例的細節。根據描述、附圖並且權利要求,其它特征、目的和優點將是顯而易見的。
本公開內容描述了與環繞運動補償有關的示例技術,並且在一些示例中,描述了利用參考圖片重新取樣的環繞運動補償。本公開內容還描述了與色度格式化有關的技術。
環繞運動補償可以用於對全向視訊內容(也被稱為360o視訊內容)進行編碼。環繞運動補償利用在360o視訊內容中環繞的視訊內容以用於幀間預測的目的。例如,視訊寫碼裝置(coder)(例如,視訊編碼器(encoder)或視訊解碼器(decoder))可以基於沿著參考圖片的相對邊界的樣本來產生用於對當前區塊進行幀間預測的預測區塊。例如,預測區塊可以包括來自參考圖片中的延伸超過參考圖片的左邊界並且繞回到參考圖片的右邊界的部分的樣本。在該示例中,預測區塊包括在參考圖片的左邊界附近的樣本和在參考圖片的右邊界附近的樣本。
在參考圖片重新取樣中,參考圖片列表中的一個或多個參考圖片的分辨率可以不同於包括正在被幀間預測的當前區塊的當前圖片的分辨率。在一些示例中,在參考圖片重新取樣中,可以使用環繞運動補償過程。然而,即使不執行參考圖片重新取樣,也可以執行環繞運動補償過程。
對於環繞運動補償,在特定參數集中用訊號通知指示環繞運動補償過程是否被啟用的語法元素。然而,一些現有技術利用來自一個參數集的參數值,來確定是否在不同的參數集中用訊號通知了指示環繞運動補償過程是否被啟用的語法元素。也就是說,在這些現有技術中,為了解析一個參數集以確定環繞運動補償過程是否啟用需要存取另一參數集。此外,可以在與指示環繞運動補償過程是否被啟用的語法元素相同的參數集中用訊號通知指示用於環繞運動補償的偏移的語法元素。
在那些技術中,可能存在某些問題。例如,視訊寫碼裝置(例如,視訊解碼器)可能需要存取多個不同參數集以確定指示環繞運動補償過程是否被啟用的語法元素的值。存取不同的參數集可能影響處理時間,因為參數集可能被儲存在不同的位置,並且潛在地在芯片外。作為另一示例,從視訊解碼器的角度來看,在視訊解碼器能夠確定環繞運動補償過程是否被啟用之前,視訊解碼器可能需要進行等待,直到接收到多個參數集。
本公開內容描述了如下的示例技術:其更好地確保用於確定環繞運動補償過程是否被啟用的參數是在公共參數集中(如果需要的話)可得到的。以這種方式,示例技術向視訊編碼提供了實用的應用,其可以提高視訊寫碼裝置的計算效率和操作。
本公開內容還描述了適用於色度格式化的示例技術。例如,本公開內容描述了在參數集的示例中用訊號通知用於推導一致性窗口的語法元素的示例。
圖1是示出可以執行本公開內容的技術的示例視訊編碼和解碼系統100的框圖。概括而言,本公開內容的技術涉及對視訊資料進行寫碼(coding)(編碼(encoding)和/或解碼(decoding))。通常,視訊資料包括用於處理視訊的任何資料。因此,視訊資料可以包括原始的未經編碼的視訊、經編碼的視訊、經解碼(例如,經重建)的視訊、以及視訊元資料(例如,信令資料)。
如圖1所示,在該示例中,視訊編碼和解碼系統100包括源裝置102,源裝置102提供要被目的地裝置116解碼和顯示的、經編碼的視訊資料。具體地,源裝置102經由電腦可讀媒體110來將視訊資料提供給目的地裝置116。源裝置102和目的地裝置116可以包括各種各樣的裝置中的任何一種,包括台式電腦、筆記本電腦(即,膝上型電腦)、平板電腦、機頂盒、電話手機(諸如智能電話)、電視機、相機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置、廣播接收器裝置等。在一些情況下,源裝置102和目的地裝置116可以被配備用於無線通信,並且因此可以被稱為無線通信裝置。
在圖1的示例中,源裝置102包括視訊源104、記憶體106、視訊編碼器200以及輸出介面108。目的地裝置116包括輸入介面122、視訊解碼器300、記憶體120以及顯示裝置118。根據本公開內容,源裝置102的視訊編碼器200和目的地裝置116的視訊解碼器300可以被配置為應用用於利用參考圖片重新取樣以及用於推導一致性窗口的語法元素的環繞運動補償的技術。因此,源裝置102表示視訊編碼裝置的示例,而目的地裝置116表示視訊解碼裝置的示例。在其它示例中,源裝置和目的地裝置可以包括其它組件或布置。例如,源裝置102可以從諸如外部相機之類的外部視訊源接收視訊資料。同樣,目的地裝置116可以與外部顯示裝置對接,而不是包括集成顯示裝置。
在圖1中所示的視訊編碼和解碼系統100僅是一個示例。通常,任何數位視訊編碼和/或解碼裝置可以執行用於利用參考圖片重新取樣的環繞運動補償以及用於推導一致性窗口的語法元素的技術。源裝置102和目的地裝置116僅是這樣的寫碼裝置的示例,其中,源裝置102產生經編碼的視訊資料以用於傳輸給目的地裝置116。本公開內容將「寫碼」裝置指代為執行對資料的寫碼(例如,編碼和/或解碼)的裝置。因此,視訊編碼器200和視訊解碼器300分別表示寫碼裝置(具體地,視訊編碼器和視訊解碼器)的示例。在一些示例中,源裝置102及目的地裝置116可以以基本上對稱的方式進行操作,使得源裝置102及目的地裝置116中的每一者都包括視訊編碼和解碼組件。因此,視訊編碼和解碼系統100可以支持在視訊裝置102、116之間的單向或雙向視訊傳輸,例如,以用於視訊串流式傳輸、視訊回放、視訊廣播或視訊電話。
通常,視訊源104表示視訊資料(即原始的未經編碼的視訊資料)的源,並且將視訊資料的連續的一系列圖片(也被稱為「幀」)提供給視訊編碼器200,視訊編碼器200對用於圖片的資料進行編碼。源裝置102的視訊源104可以包括視訊捕獲裝置,諸如攝像機、包含先前捕獲的原始視訊的視訊存檔單元、和/或用於從視訊內容提供者接收視訊的視訊饋送接口。作為另外的替代方式,視訊源104可以產生基於電腦圖形的資料作為源視訊,或者產生實時視訊、被存檔的視訊和電腦產生的視訊的組合。在每種情況下,視訊編碼器200可以對被捕獲的、預捕獲的或電腦產生的視訊資料進行編碼。視訊編碼器200可以將圖像從所接收的次序(有時被稱為「顯示次序」)重新排列為用於編碼的編碼次序。視訊編碼器200可以產生包括經編碼的視訊資料的位元串流。然後,源裝置102可以經由輸出介面108將經編碼的視訊資料輸出到電腦可讀媒體110上,以便由例如目的地裝置116的輸入介面122接收和/或取回。
源裝置102的記憶體106和目的地裝置116的記憶體120表示通用儲存器。在一些示例中,記憶體106、120可以儲存原始視訊資料,例如,來自視訊源104的原始視訊以及來自視訊解碼器300的原始的經解碼的視訊資料。另外或可替代地,記憶體106、120可以儲存可由例如視訊編碼器200和視訊解碼器300分別執行的軟體指令。盡管在該示例中將視訊編碼器200和視訊解碼器300分開示出,但是應當理解的是,視訊編碼器200和視訊解碼器300還可以包括用於在功能上類似或等效目的的內部儲存器。此外,記憶體106、120可以儲存例如從視訊編碼器200輸出並且輸入到視訊解碼器300的經編碼的視訊資料。在一些示例中,記憶體106、120的部分可以被分配為一個或多個視訊緩沖器,例如,以儲存原始的經解碼和/或經編碼的視訊資料。
電腦可讀媒體110可以表示能夠將經編碼的視訊資料從源裝置102移動到目的地裝置116的任何類型的媒體或裝置。在一個示例中,電腦可讀媒體110表示通信媒體,其使得源裝置102能夠例如經由射頻網路或基於電腦的網路,來實時地向目的地裝置116直接發送經編碼的視訊資料。輸出介面108可以根據諸如無線通信協定之類的通信標準,來對包括經編碼的視訊資料的傳輸訊號進行調變,並且輸入介面122可以根據諸如無線通信協定之類的通信標準,來對所接收的傳輸資訊進行解調。通信媒體可以包括任何無線或有線通信媒體,例如,射頻(RF)頻譜或一條或多條物理傳輸線。通信媒體可以形成諸如以下各項的基於分組的網路的一部分:局域網、廣域網、或諸如互聯網之類的全球網路。通信媒體可以包括路由器、交換機、基地台、或對於促進從源裝置102到目的地裝置116的通信而言可以有用的任何其它設備。
在一些示例中,源裝置102可以將經編碼的資料從輸出介面108輸出到儲存裝置112。類似地,目的地裝置116可以經由輸入介面122從儲存裝置112存取經編碼的資料。儲存裝置112可以包括各種分布式或本地存取的資料儲存媒體中的任何一種,諸如硬盤驅動器、藍光光盤、DVD、CD-ROM、閃存、易失性或非易失性儲存器、或用於儲存經編碼的視訊資料的任何其它適當的數位儲存媒體。
在一些示例中,源裝置102可以將經編碼的視訊資料輸出到檔案伺服器114或者可以儲存由源裝置102產生的經編碼的視訊資料的另一中間儲存裝置。目的地裝置116可以經由串流式傳輸或下載來從檔案伺服器114存取被儲存的視訊資料。
檔案伺服器114可以是能夠儲存經編碼的視訊資料並且將該經編碼的視訊資料發送給目的地裝置116的任何類型的伺服器裝置。檔案伺服器114可以表示網頁伺服器(例如,用於網站)、被配置為提供檔案傳輸協定服務(諸如檔案傳輸協定(FTP)或基於單向傳輸的檔案傳輸(FLUTE)協定)的伺服器、內容傳送網路(CDN)裝置、超文本傳輸協定(HTTP)伺服器、多媒體廣播多播服務(MBMS)或增強型MBMS(eMBMS)伺服器、和/或網路附加儲存(NAS)裝置。檔案伺服器114可以另外或替代地實施一種或多種HTTP串流式傳輸協定,諸如基於HTTP的動態自適應串流式傳輸(DASH)、HTTP實時串流式傳輸(HLS)、實時串流式傳輸協定(RTSP)、HTTP動態串流式傳輸等。
目的地裝置116可以通過任何標準資料連接(包括網際網路連接)來從檔案伺服器114存取經編碼的視訊資料。這可以包括適於存取被儲存在檔案伺服器114上的經編碼的視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,數位用戶線(DSL)、纜線數據機等)、或這兩者的組合。輸入介面122可以被配置為根據以上討論的用於從檔案伺服器114取回或接收媒體資料的各種協定中的任何一種或多種、或者用於取回媒體資料的其它這樣的協定來進行操作。
輸出介面108和輸入介面122可以表示無線發射器/接收器、數據機、有線網路連接組件(例如,乙太網卡)、根據各種IEEE 802.11標準中的任何一種標準進行操作的無線通信組件、或其它實體組件。在其中輸出介面108和輸入介面122包括無線組件的示例中,輸出介面108和輸入介面122可以被配置為根據蜂巢式通訊標準(諸如4G、4G-LTE(長期演進)、改進的LTE、5G等)來傳輸資料(諸如經編碼的視訊資料)。在其中輸出介面108包括無線傳輸器的一些示例中,輸出介面108和輸入介面122可以被配置為根據其它無線標準(諸如IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、Bluetooth™標準等)來傳輸資料(諸如經編碼的視訊資料)。在一些示例中,源裝置102和/或目的地裝置116可以包括相應的片上系統(SoC)裝置。例如,源裝置102可以包括用於執行被賦予視訊編碼器200和/或輸出介面108的功能的SoC裝置,並且目的地裝置116可以包括用於執行被賦予視訊解碼器300和/或輸入介面122的功能的SoC裝置。
本公開內容的技術可以應用於視訊編碼,以支持各種多媒體應用中的任何一種,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流式視訊傳輸(諸如基於HTTP的動態自適應串流式傳輸(DASH))、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼、或其它應用。
目的地裝置116的輸入介面122從電腦可讀媒體110(例如,儲存裝置112、檔案伺服器114等)接收經編碼的視訊位元串流。經編碼的視訊位元串流可以包括由視訊編碼器200定義的諸如以下語法元素之類的信令資訊(其也被視訊解碼器300使用),所述語法元素具有描述視訊區塊或其它編碼單元(例如,切片、圖片、圖片組、序列等)的特性和/或處理的值。顯示裝置118將經解碼的視訊資料的經解碼的圖片顯示給用戶。顯示裝置118可以表示各種顯示裝置中的任何一種,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器、或另一種類型的顯示裝置。
儘管在圖1中未示出,但是在一些示例中,視訊編碼器200和視訊解碼器300可以各自與音訊編碼器和/或音訊解碼器集成,並且可以包括適當的多工器-解多工器單元或其它硬體和/或軟體,以處理包括公共資料串流中的音頻和視訊兩者的經多工的串流。如果適用,多工器-解多工器單元可以遵循ITU H.223多工器協定或其它協定(諸如用戶資料報協定(UDP))。
視訊編碼器200和視訊解碼器300各自可以被實施為各種適當的編碼器和/或解碼器電路中的任何一種,諸如一個或多個微處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化門陣列(FPGA)、離散邏輯、軟體、硬體、韌體、或其任何組合。當所述技術部分地用軟體實施時,裝置可以將用於軟體的指令儲存在適當的非暫時性電腦可讀媒體中,並且使用一個或多個處理器,用硬體來執行指令以執行本公開內容的技術。視訊編碼器200和視訊解碼器300中的每一者可以被包括在一個或多個編碼器或解碼器中,編碼器或解碼器中的任一者可以被整合為相應裝置中的組合編碼器/解碼器(CODEC)的一部分。包括視訊編碼器200和/或視訊解碼器300的裝置可以包括積體電路、微處理器、和/或無線通訊裝置(諸如蜂巢式電話)。
視訊編碼器200和視訊解碼器300可以根據視訊寫碼標準(諸如ITU-T H.265(也被稱為高效率視訊編碼(HEVC)標準)或對其的擴展(諸如多視圖或可伸縮視訊編碼擴展))進行操作。替代地,視訊編碼器200和視訊解碼器300可以根據其它專有或行業標準(諸如ITU-T H.266標準,也被稱為多功能視訊寫碼(VVC))進行操作。VVC標準的草案描述於2019年7月3日至12日於瑞典哥德堡的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家小組(JVET)第15次會議JVET-O2001-vE上,Bross等人之「Versatile Video Coding (Draft 6)」(下文中稱為「VVC草案6」)。VVC標準的較新草案描述於2020年4月15日至24日的ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET)通過電話的第18次會議JVET-R2001-v8上,Bross等人之「Versatile Video Coding (Draft 9) 」(下文中稱為「VVC草案9」)。然而,本公開內容的技術不限於任何特定的寫碼標準。
通常,視訊編碼器200和視訊解碼器300可以執行對圖片的基於區塊的編碼。術語「區塊」通常指代包括要被處理的(例如,在編碼和/或解碼過程中要被編碼、被解碼或以其它方式使用的)資料的結構。例如,區塊可以包括亮度和/或色度資料的樣本的二維矩陣。通常,視訊編碼器200和視訊解碼器300可以對以YUV(例如,Y、Cb、Cr)格式表示的視訊資料進行編碼。也就是說,並不是對用於圖片的樣本的紅色、綠色和藍色(RGB)資料進行編碼,視訊編碼器200和視訊解碼器300可以對亮度和色度分量進行編碼,其中,色度分量可以包括紅色和藍色色相色度分量兩者。在一些示例中,視訊編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示,並且視訊解碼器300將YUV表示轉換為RGB格式。替代地,預處理和後處理單元(圖中未示出)可以執行這些轉換。
概括而言,本公開內容可以涉及對圖片的寫碼(例如,編碼和解碼)以包括對圖片的資料進行編碼或解碼的過程。類似地,本公開內容可以涉及對圖片的區塊的寫碼以包括對用於區塊的資料進行編碼或解碼(例如,預測和/或殘餘寫碼)的過程。經編碼的視訊位元串流通常包括用於表示寫碼決策(例如,寫碼模式)以及將圖片分割為區塊的語法元素的一系列值。因此,關於對圖片或區塊的寫碼的引用通常應當被理解為用於形成圖片或區塊的語法元素的寫碼值。
HEVC定義了各種區塊,包括寫碼單元(CU)、預測單元(PU)和轉換單元(TU)。根據HEVC,視訊寫碼裝置(諸如視訊編碼器200)根據四叉樹結構來將寫碼樹單元(CTU)分割為CU。也就是說,視訊寫碼裝置將CTU和CU分割為四個相等的、不重疊的正方形,並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為「葉節點」,並且這種葉節點的CU可以包括一個或多個PU和/或一個或多個TU。視訊寫碼裝置可以進一步分割PU和TU。例如,在HEVC中,殘差四叉樹(RQT)表示對TU的分區。在HEVC中,PU表示幀間預測資料,而TU表示殘差資料。經幀內預測的CU包括幀內預測資訊,諸如幀內模式指示。
作為另一示例,視訊編碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC,視訊寫碼裝置(諸如視訊編碼器200)將圖片分割為多個寫碼樹單元(CTU)。視訊編碼器200可以根據樹結構(諸如四叉樹-二叉樹(QTBT)結構或多類型樹(MTT)結構)分割CTU。QTBT結構去除了多種分割類型的概念,諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別:根據四叉樹分割而被分割的第一級、以及根據二叉樹分割而被分割的第二級。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於寫碼單元(CU)。
在MTT分割結構中,可以使用四叉樹(QT)分割、二叉樹(BT)分割以及一種或多種類型的三叉樹(TT)分割來對區塊進行分割。三叉樹分割是其中區塊被分為三個子區塊的分割。在一些示例中,三叉樹分割將區塊劃分為三個子區塊,而不通過中心劃分原始區塊。MTT中的分割類型(例如,QT、BT和TT)可以是對稱的或不對稱的。
在一些示例中,視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度和色度分量中的每一者,而在其它示例中,視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構,諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構(或者用於相應色度分量的兩個QTBT/MTT結構)。
視訊編碼器200和視訊解碼器300可以被配置為使用每HEVC的四叉樹分割、QTBT分割、MTT分割、或其它分割結構。為了解釋的目的,關於QTBT分割給出了本公開內容的技術的描述。然而,應當理解的是,本公開內容的技術還可以應用於被配置為使用四叉樹分割或者還使用其它類型的分割的視訊寫碼裝置。
可以以各種方式在圖片中對區塊(例如,CTU或CU)進行分組。作為一個示例,磚區塊(brick)可以指代圖片中的特定瓦片(tile)內的CTU列的矩形區域。瓦片可以是圖片中的特定瓦片行和特定瓦片列內的CTU的矩形區域。瓦片行指代CTU的矩形區域,其具有等於圖片的高度的高度以及由語法元素(例如在圖片參數集中)指定的寬度。瓦片列指代CTU的矩形區域,其具有由語法元素(例如在圖片參數集中)指定的高度以及等於圖片寬度的寬度。
在一些示例中,可以將瓦片分割為多個磚塊,每個磚塊可以包括瓦片內的一個或多個CTU行。沒有被分割為多個磚塊的瓦片也可以被稱為磚塊。然而,作為瓦片的真實子集的磚塊不可以被稱為瓦片。
圖片中的磚塊也可以被排列在切片中。切片可以是圖片的整數個磚塊,其可以唯一地被包含在單個網路抽象層(NAL)單元中。在一些示例中,切片包括多個完整的瓦片或者僅包括一個瓦片的完整磚塊的連續序列。
本公開內容可以互換地使用「NxN」和「N乘N」來指代區塊(諸如CU或其它視訊區塊)在垂直和水平維度方面的樣本大小,例如,16x16個樣本或16乘16個樣本。通常,16x16 CU在垂直方向上具有16個樣本(y 等於16),並且在水平方向上具有16個樣本(x等於 16)。同樣地,NxN CU通常在垂直方向上具有N個樣本,並且在水平方向上具有N個樣本,其中N表示非負整數值。CU中的樣本可以按行和列來排列。此外,CU不一定需要在水平方向上具有與在垂直方向上相同的數量的樣本。例如,CU可以包括NxM個樣本,其中M不一定等於N。
視訊編碼器200對用於CU的表示預測和/或殘差資訊以及其它資訊的視訊資料進行寫碼。預測資訊指示將如何預測CU以便形成用於CU的預測區塊。殘差資訊通常表示在編碼之前的CU的樣本與預測區塊之間的逐樣本差。
為了預測CU,視訊編碼器200通常可以通過幀間預測或幀內預測來形成用於CU的預測區塊。幀間預測通常指代根據先前編碼的圖片的資料來預測CU,而幀內預測通常指代根據同一圖片的先前編碼的資料來預測CU。為了執行幀間預測,視訊編碼器200可以使用一個或多個運動向量來產生預測區塊。視訊編碼器200通常可以執行運動搜索,以識別例如在CU與參考區塊之間的差異方面與CU緊密匹配的參考區塊。視訊編碼器200可以使用絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)、或其它這種差計算來計算差度量(difference metric),以確定參考區塊是否與當前CU緊密匹配。在一些示例中,視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。
在一些示例中,VVC可以提供仿射(affine)運動補償模式,其可以被認為是幀間預測模式。在仿射運動補償模式下,視訊編碼器200可以確定表示非平移運動(諸如放大或縮小、旋轉、視角運動(perspective mption)或其它不規則的運動類型)的兩個或更多個運動向量。
為了執行幀內預測,視訊編碼器200可以選擇幀內預測模式來產生預測區塊。在一些示例中,VVC提供了六十七種幀內預測模式,包括各種方向性模式,以及平面模式和DC模式。通常,視訊編碼器200選擇幀內預測模式,幀內預測模式描述要根據其來預測當前區塊(例如,CU的區塊)的樣本的、當前區塊的相鄰樣本。假定視訊編碼器200以光柵掃描次序(從左到右、從上到下)對CTU和CU進行寫碼,則這樣的樣本通常可以是在與當前區塊相同的圖片中在當前區塊的上方、左上方或左側的。
視訊編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如,對於幀間預測模式,視訊編碼器200可以對表示使用各種可用幀間預測模式中的哪一種的資料以及用於對應模式的運動資訊進行編碼。對於單向或雙向幀間預測,例如,視訊編碼器200可以使用高級運動向量預測(AMVP)或併合模式來對運動向量進行編碼。視訊編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。
在諸如對區塊的幀內預測或幀間預測之類的預測之後,視訊編碼器200可以計算用於該區塊的殘差資料。殘差資料(諸如殘差區塊)表示在區塊與用於該區塊的預測區塊之間的逐樣本差,該預測區塊是使用對應的預測模式來形成的。視訊編碼器200可以將一個或多個轉換應用於殘差區塊,以在轉換域中而非在樣本域中產生經轉換的資料。例如,視訊編碼器200可以將離散余弦轉換(DCT)、整數轉換、小波轉換或概念上類似的轉換應用於殘差視訊資料。另外,視訊編碼器200可以在第一轉換之後應用二次轉換,諸如依賴於模式相關的不可分二次轉換(MDNSST)、訊號相關轉換、Karhunen-Loeve轉換(KLT)等。視訊編碼器200在應用一個或多個轉換之後產生轉換系數。
如上所述,在任何轉換以產生轉換系數之後,視訊編碼器200可以執行對轉換系數的量化。量化通常指代如下的過程:在該過程中,對轉換系數進行量化以可能減少用於表示系數的資料量,從而提供進一步的壓縮。通過執行量化過程,視訊編碼器200可以減小與一些或所有系數相關聯的位元深度。例如,視訊編碼器200可以在量化期間將n位元的值向下捨入為m位元的值,其中n大於m。在一些示例中,為了執行量化,視訊編碼器200可以執行對要被量化的值的位元右移。
在量化之後,視訊編碼器200可以掃描轉換系數,從而從包括經量化的轉換系數的二維矩陣產生一維向量。可以將掃描設計為將較高能量(並且因此較低頻率)的系數放在向量的前面,並且將較低能量(並且因此較低頻率)的轉換系數放在向量的後面。在一些示例中,視訊編碼器200可以利用預定義的掃描次序來掃描經量化的轉換系數以產生經串行化的向量,並且然後對向量的經量化的轉換系數進行熵編碼。在其它示例中,視訊編碼器200可以執行自適應掃描。在掃描經量化的轉換系數以形成一維向量之後,視訊編碼器200可以例如根據上下文調適性二進位算術寫碼(CABAC)來對一維向量進行熵編碼。視訊編碼器200還可以對用於描述與經編碼的視訊資料相關聯的元資料的語法元素的值進行熵編碼,以供視訊解碼器300在對視訊資料進行解碼時使用。
為了執行CABAC,視訊編碼器200可以將上下文模型內的上下文分配給要被傳送的符號。上下文可以涉及例如符號的相鄰值是否為零值。概率確定可以是基於被分配給符號的上下文。
視訊編碼器200還可以例如在圖片表頭、區塊表頭、切片表頭中為視訊解碼器300產生語法資料(諸如基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料)、或其它語法資料(諸如序列參數集(SPS)、圖片參數集(PPS)或視訊參數集(VPS))。同樣地,視訊解碼器300可以對這樣的語法資料進行解碼以確定如何解碼對應的視訊資料。
以這種方式,視訊編碼器200可以產生位元串流,其包括經編碼的視訊資料,例如,描述將圖片分割為區塊(例如,CU)以及用於該區塊的預測和/或殘差資訊的語法元素。最終,視訊解碼器300可以接收位元串流並且對經編碼的視訊資料進行解碼。
通常,視訊解碼器300執行與由視訊編碼器200執行的過程相反的過程,以對位元串流的經編碼的視訊資料進行解碼。例如,視訊解碼器300可以使用CABAC,以與視訊編碼器200的CABAC編碼過程基本上類似的、但是相反的方式來對用於位元串流的語法元素的值進行解碼。語法元素可以定義圖片變成CTU的分割資訊、以及根據對應的分割結構(諸如QTBT結構)對每個CTU的分割,以定義CTU的CU。語法元素還可以定義用於視訊資料的區塊(例如,CU)的預測和殘差資訊。
殘差資訊可以由例如經量化的轉換系數來表示。視訊解碼器300可以對區塊的經量化的轉換系數進行逆量化和逆轉換以重現用於該區塊的殘差區塊。視訊解碼器300使用經訊號通知的預測模式(幀內預測或幀間預測)和相關的預測資訊(例如,用於幀間預測的運動資訊)來形成用於該區塊的預測區塊。視訊解碼器300然後可以對預測區塊和殘差區塊(在逐個樣本的基礎上)進行組合以重現原始區塊。視訊解碼器300可以執行額外處理,諸如執行去區塊化處理以減少沿著區塊的邊界的視覺偽影(visual artifacts)。
本公開內容通常可能涉及「用訊號通知」某些資訊(諸如語法元素)。術語「用訊號通知」通常可以指代對用於語法元素的值和/或用於對經編碼的視訊資料進行解碼的其它資料的傳送。也就是說,視訊編碼器200可以在位元串流中用訊號通知用於語法元素的值。通常,用訊號通知指代在位元串流中產生值。如上所述,源裝置102可以基本上實時地或不是實時地(諸如可能在將語法元素儲存到儲存裝置112以供目的地裝置116稍後取回時發生)將位元串流傳輸到目的地裝置116。
如下文更加詳細描述的,視訊編碼器200和視訊解碼器300可以被配置為執行環繞運動補償,並且在一些示例中,根據本公開內容的技術,執行利用參考圖片重新取樣的環繞運動補償和對用於推導一致性窗口的語法元素的確定。作為一個示例,用於環繞運動補償(諸如全向或360度視訊內容的一部分)的語法元素可由視訊編碼器200用訊號通知,並且也可由視訊解碼器300解析。在環繞運動補償中,視訊編碼器200和視訊解碼器300可以根據參考圖片來產生預測區塊,其中,預測區塊包括來自參考圖片的相對邊界(opposite boundaries)的樣本。
例如,在環繞運動補償中,用於當前區塊的運動向量可以標識在參考圖片中的延伸到參考圖片的邊界之外的區域。作為一示例,運動向量可以指代延伸超過參考圖片的左邊界的區域。在其中使用環繞運動補償的示例中,預測區塊可以包括從參考圖片的該區域直到左邊界的樣本,並且然後繞回以包括來自參考圖片的右邊界的樣本。環繞運動補償也可以被稱為水平環繞運動補償。
根據在本公開內容中描述的一個或多個示例,用於環繞運動補償的一個或多個語法元素可以被包括在相同的參數集中,諸如圖片參數集。此外,視訊編碼器200用訊號通知用於環繞運動補償的一個或多個語法元素(其不在圖片參數集中)或者視訊解碼器300解析這些語法元素可以不取決於在圖片參數集中可用的任何資訊。例如,在序列參數集中可以存在用於環繞運動補償的語法元素。然而,是否要在序列參數集中用訊號通知或解析該語法元素可以不取決於圖片參數集中的任何資訊。以此方式,視訊解碼器300能夠解析參數集中的語法元素,而無需解析另一參數集中的語法元素,這促進了高效的視訊編碼(例如,視訊解碼器300在開始解析之前不需要等待所有的參數集,並且當解析參數集時,視訊解碼器300不需要存取另一參數集的額外的儲存器)。
視訊寫碼裝置(例如,視訊編碼器200或視訊解碼器300)可以被配置為將用於確定環繞運動補償是否被應用的資訊寫碼(例如,視訊編碼器200可以用訊號通知,而視訊解碼器300可以解析)在參數集中(例如,PPS中的pic_width_luma_samples、或者SPS中的max_width_in_luma_samples),並且將指示環繞運動補償是否被應用的語法元素寫碼在同一參數集中(例如,在使用pic_width_luma_samples的情況下,在PPS中的ref_wraparound_enabled_flag,或者在使用max_width_in_luma_samples的情況下,在SPS中的ref_wraparound_enabled_flag)。當ref_wraparound_enabled_flag是PPS的一部分時,ref_wraparound_enabled可以被稱為pps_ref_wraparound_enabled_flag。當ref_wraparound_enabled_flag是SPS的一部分時,ref_wraparound_enabled可以被稱為sps_ref_wraparound_enabled_flag。
在一些示例中,視訊寫碼裝置可以被配置為對指示環繞運動補償是否被應用的語法元素進行寫碼(例如,視訊編碼器200可以用訊號通知,而視訊解碼器300可以解析),而不管亮度樣本中的圖片寬度如何(例如,不管圖片寬度如何)。例如,是否用訊號通知sps_ref_wraparound_enabled_flag或pps_ref_wraparound_enabled_flag不是基於pic_width_luma_samples的值的。
在一些示例中,視訊寫碼裝置可以被配置為使用在本公開內容中描述的技術中的任何技術或組合,來對用於推導一致性窗口的資訊進行編碼。例如,本公開內容描述了關於chroma_format_idc和separate_colour_plane標志語法元素的示例。
在Chen等人之「AHG8: Integrated Specification Text for Reference Picture Resampling」(ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET),第15次會議,瑞典哥德堡,2019年7月3日至12日,JVET-O1164(下文中稱為「JVET-O1164」))中,提出了參考圖像重新取樣(RPR)。在該提案中,當前圖片和參考圖片可以具有不同的分辨率。這樣,在運動補償期間,通過調整插值濾波器相位來在插值濾波期間考慮分辨率的差異。
sps_ref_wraparound_enabled_flag指示存在環繞運動補償。
   if( ( CtbSizeY / MinCbSizeY + 1)  <=  ( pic_width_in_luma_samples / MinCbSizeY − 1 ) ) {  
      sps_ref_wraparound_enabled_flag u(1)
      if( sps_ref_wraparound_enabled_flag )  
         sps_ref_wraparound_offset_minus1 ue(v)
   }  
在上文中,CtbSizeY是寫碼樹區塊的高度(最大寫碼區塊大小),MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示(例如,在亮度樣本中)圖片的圖片寬度。
在一些示例中,sps_ref_wraparound_enabled_flag等於1指定在幀間預測中應用水平環繞運動補償,而sps_ref_wraparound_enabled_flag等於0指定不應用水平環繞運動補償。當不存在時,則推斷sps_ref_wraparound_enabled_flag的值等於0。
在一些示例中,sps_ref_wraparound_offset_minus1加1指定用於以MinCbSizeY亮度樣本為單位計算水平環繞位置的偏移。ref_wraparound_offset_minus1的值可以在( CtbSizeY / MinCbSizeY ) + 1到(pic_width_in_luma_samples / MinCbSizeY ) − 1的範圍內(含)。
在JVET-O1164中,圖片大小信令從SPS被移到PPS,但是sps_ref_wraparound_enabled_flag仍然取決於由不再存在於SPS中的pic_width_in_luma_samples指示的圖片大小。例如,在以上語法中,是否在SPS中用訊號通知sps_ref_wraparound_enabled_flag,以及類似地是否在SPS中用訊號通知sps_ref_wraparound_offset_minus1,這取決於pic_width_in_luma_samples的值。然而,語法元素pic_width_in_luma_samples可能存在於PPS中,而不是SPS中。因此,視訊解碼器300可能需要解析PPS以確定pic_width_in_luma_samples的值,以確定是否解析sps_ref_wraparound_enabled_flag和sps_ref_wraparound_offset_minus1。
因此,可能存在如下的技術問題:確定環繞運動補償是否被啟用是基於不同參數集中的資訊的(例如,pic_width_in_luma_samples可在PPS中得到,而sps_ref_wraparound_enabled_flag在SPS中)。如上所述,需要不同的參數集可能導致解碼延遲以及來自儲存器存取的處理開銷。
本公開內容描述了對該問題的示例解決方案。示例技術可以單獨地或者以任何組合來使用。
在SPS中,視訊編碼器200可以被配置為將最大圖片大小作為以下項用訊號通知,而視訊解碼器300可以被配置為將最大圖片大小作為以下項進行接收:
   max_width_in_luma_samples ue(v)
   max_height_in_luma_samples ue(v)
在一個示例中,視訊編碼器200可以被配置為根據max_width_in_luma_samples而不是pic_width_in_luma_samples來用訊號通知sps_ref_wraparound_enabled_flag,並且視訊解碼器300可以被配置為根據max_width_in_luma_samples而不是pic_width_in_luma_samples來接收sps_ref_wraparound_enabled_flag。
下文提供了實施方式的示例。
   if( ( CtbSizeY / MinCbSizeY + 1)  <=  ( max_width_in_luma_samples / MinCbSizeY − 1 ) ) {  
      sps_ref_wraparound_enabled_flag u(1)
      if( sps_ref_wraparound_enabled_flag )  
         sps_ref_wraparound_offset_minus1 ue(v)
   }  
在一個示例中,視訊編碼器200可以在PPS中用訊號通知語法元素sps_ref_wraparound_enabled_flag和sps_ref_wraparound_offset_minus1,並且視訊解碼器300可以對它們進行解析。在這樣的示例中,由於在PPS中用訊號通知pic_width_in_luma_samples,因此可以保持信令條件(例如,如果((CtbSizeY / MinCbSizeY + 1) 小於或等於( max_width_in_luma_samples / MinCbSizeY − 1)))不變。然而,要求檢查條件(例如,如果((CtbSizeY / MinCbSizeY + 1) 小於或等於( max_width_in_luma_samples / MinCbSizeY − 1)))並不是在所有示例中都是必要的。根據此處描述的一個或多個示例,不是使用語法元素sps_ref_wraparound_enabled_flag和sps_ref_wraparound_offset_minus1,而是可以將語法元素稱為pps_ref_wraparound_enabled_flag和pps_ref_wraparound_offset_minus1。
在一些示例中,PPS可以包括pps_ref_wraparound_enabled_flag和pps_ref_wraparound_offset_minus1。在這樣的示例中,可能的是,SPS仍然包括sps_ref_wraparound_enabled_flag以提供用於指示環繞補償是否被啟用的SPS級別信令。
另外,由於在sps_ref_wraparound_enabled_flag信令中使用了CtbSizeY和MinCbSizeY,因此視訊編碼器200可以從PPS用訊號通知CTB大小(CtbSizeY)和最小CB大小(MinCbSizeY),並且視訊解碼器300可以對它們進行解析。代替從SPS用訊號通知或接收,可以另外在PPS中用訊號通知那些語法元素,其中PPS語法元素的語義被約束為使得在PPS中用訊號通知的CtbSizeY和MinCbSizeY應當與在SPS中用訊號通知的語法元素(例如,CtbSizeY和MinCbSizeY)相同或相等。換句話說,可以在SPS和PPS兩者中用訊號通知ref_wraparound_enabled_flag、ref_wraparound_offset_minus1、CtbSizeY和MinCbSizeY中的一項或多項作為彼此的副本,但是可能不要求是彼此的副本。
例如,如上所述,可能的是,PPS包括ref_wraparound_enabled_flag(例如,pps_ref_wraparound_enabled_flag),並且SPS包括ref_wraparound_enabled_flag(例如,sps_ref_wraparound_enabled_flag)。在一些示例中,pps_ref_wraparound_enabled_flag和sps_ref_wraparound_enabled_flag可以是彼此的副本。然而,在一些示例中,pps_ref_wraparound_enabled_flag和sps_ref_wraparound_enabled_flag可能是不同的。例如,在序列級別,可以啟用環繞運動補償(例如,sps_ref_wraparound_enabled_flag可以為真),但是在針對特定圖片的圖片級別,可以禁用環繞運動補償(例如,pps_ref_wraparound_enabled_flag可以為假)。
如上所述,一些技術要求用訊號通知sps_ref_wraparound_enabled_flag取決於滿足以下條件:「如果((CtbSizeY / MinCbSizeY + 1) <= (pic_width_in_luma_samples / MinCbSizeY − 1))」。同樣如上所述,關於這樣的條件存在技術問題,因為pic_width_in_luma_samples不是在SPS中可得到的。
在一些示例中,同樣如上所述,SPS可以包括sps_ref_wraparound_enabled_flag。為了確保從SPS解析sps_ref_wraparound_enabled_flag不需要存取PPS,可以從sps_ref_wraparound_enabled_flag信令中去除「若 ((CtbSizeY / MinCbSizeY + 1)小於或等於 (pic_width_in_luma_samples / MinCbSizeY − 1))」之條件。例如,視訊編碼器200和視訊解碼器300可以對指示是否應用環繞運動補償的語法元素(例如,ref_wraparound_enabled_flag)進行編碼,而不管(諸如在亮度樣本中的)圖像寬度如何(例如,而不管pic_width_in_luma_samples如何)。
在一個或多個示例中,sps_ref_wraparound_enabled_flag的語義可以被約束使得:如果(CtbSizeY / MinCbSizeY + 1) 大於 (pic_width_in_luma_samples / MinCbSizeY – 1),則sps_ref_wraparound_enabled_flag應當等於0。這可以被認為是sps_ref_wraparound_enabled_flag信令的逆條件。換句話說,如果sps_ref_wraparound_enabled_flag指示環繞補償被啟用(例如,sps_ref_wraparound_enabled_flag為1),則(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1)。以這種方式,如果sps_ref_wraparound_enabled_flag為1,則為了使位元串流是一致的,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1)。
另外或替代地,除了或代替SPS,視訊編碼器200可以從PPS用訊號通知色度格式IDC chroma_format_idc和separate_colour_plane_flag,而視訊解碼器300可以對它們進行解析。
作為對從SPS用訊號通知或解析的替代,可以另外在PPS中用訊號通知chroma_format_idc和可選的separate_colour_plane_flag,其中PPS中的chroma_format_idc和separate_colour_plane_flag的語義被約束為諸如它們應當分別與在SPS中用訊號通知的chroma_format_idc和separate_colour_plane_flag相同或相等。
   chroma_format_idc ue(v)
   if( chroma_format_idc  = =  3 )  
      separate_colour_plane_flag u(1)
在一些示例中,chroma_format_idc指定相對於亮度采樣的色度采樣,如在VVC草案6的條款6.2中所指定的。chroma_format_idc的值可以在0到3的範圍內(含)。在一些示例中,separate_colour_plane_flag等於1指定4:4:4色度格式的三個色彩分量分別被編碼,而separate_colour_plane_flag等於0指定色彩分量不是分別編碼的。當不存在separate_colour_plane_flag時,其被推斷為等於0。當separate_colour_plane_flag等於1時,編碼圖片由三個單獨的分量組成,每個分量由一個色彩平面(Y、Cb或Cr)的編碼樣本組成,並且使用單色編碼語法。在這種情況下,每個色彩平面與特定的colour_plane_id值相關聯。
在一個或多個示例中,chroma_format_idc用於推導一致性窗口,在JVET-O01164中chroma_format_idc被移到PPS中。色度格式IDC用於推導用於一致性窗口的縮放因子(在VVC規範中為SubWidthC)。在一些情況下,將色度格式IDC保留在SPS中導致在一致性窗口推導中的依賴性。在這種情況下,當在切片中使用的PPS和SPS是已知的時,推導可以僅在切片級別進行。如果將chroma_format_idc用訊號通知給PPS或者另外在PPS中用訊號通知,則可以在PPS解析時推導一致性窗口,這在位元串流中具有多個PPS和SPS的情況下可能是較佳的。
根據在本公開內容中描述的一個或多個示例,視訊解碼器300可以解析在圖片參數集(PPS)中的指示用於針對視訊資料的當前區塊的環繞運動補償的偏移的語法元素。例如,視訊解碼器300可以解析pps_ref_wraparound_offset_minus1。應當注意的是,pps_ref_wraparound_offset_minus1是指示用於環繞運動補償的偏移的語法元素的一個示例。然而,在PPS中可以存在指示用於針對當前區塊的環繞運動補償的偏移的語法元素的各個示例。作為一個示例,指示在圖片寬度與偏移之間的差的語法元素可以是在PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素。作為另一示例,可以在PPS中用訊號通知指示偏移的實際值的語法元素。可以存在關於指示偏移的資訊可以被包括在PPS中的各種方式,並且本公開內容不應當被認為限於pps_ref_wraparound_offset_minus1。
在PPS中的指示用於針對視訊資料的當前區塊的環繞運動補償的偏移的語法元素可以被認為是第一語法元素。在一些示例中,視訊解碼器300可以解析在PPS中的指示環繞運動補償是否被啟用的第二語法元素。第二語法元素的一個示例是pps_ref_wraparound_enabled_flag。例如,為了解析在PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素,視訊解碼器300可以基於在PPS中的指示環繞運動補償被啟用的第二語法元素來解析第一語法元素。也就是說,視訊解碼器300可以解析pps_ref_wraparound_enabled_flag,並且基於pps_ref_wraparound_enabled_flag為真,視訊解碼器300可以解析在PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素。
在一個或多個示例中,SPS也可以包括指示環繞補償是否被啟用的語法元素。例如,SPS可以包括sps_ref_wraparound_enabled_flag(例如,視訊編碼器200可以在SPS中編碼sps_ref_wraparound_enabled_flag)。在一個或多個示例中,視訊解碼器300可以解析在序列參數集(SPS)中的指示環繞運動補償是否被啟用的第二語法元素(例如,解析sps_ref_wraparound_enabled_flag),而不管圖片寬度如何。可以基於圖片寬度、最小區塊大小和最大區塊大小來約束指示第二語法元素(例如,sps_ref_wraparound_enabled_flag)的環繞運動補償被啟用的值。
例如,視訊解碼器300可以不需要確定以下條件是否為真:(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1)。確切而言,基於指示環繞運動補償被啟用的第二語法元素(例如sps_ref_wraparound_enabled_flag),(CtbSizeY / MinCbSizeY + 1)可能必須小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1)。如上所述,CtbSizeY是寫碼樹區塊的高度(最大寫碼區塊大小),MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括當前區塊的圖片的圖片寬度。
視訊解碼器300可以被配置為基於用於環繞運動補償的偏移來對當前區塊進行幀間預測解碼。例如,視訊解碼器300可以基於用於環繞運動補償的偏移來產生預測區塊,且將該預測區塊加到殘差區塊上以重建當前區塊。環繞偏移指定距圖片邊界的偏移,其中,當發生環繞時,預測區塊的延伸到圖片外部的部分將被移動。例如,環繞偏移可以指定在一個邊界(例如,左邊界)上延伸的預測區塊在另一邊界(例如,右邊界)上環繞達多少。作為一個示例,環繞偏移可以被認為是在圖片的左邊界附近的垂直線和在右邊界附近的垂直線。垂直線可以定義要環繞多少以標識其中運動向量指向預測區塊的在邊界上延伸的部分的樣本。
視訊編碼器200可以執行與視訊解碼器300類似的操作,但是用於編碼。例如,視訊編碼器200可以基於用於環繞運動補償的偏移來對視訊資料的當前區塊進行幀間預測編碼。視訊編碼器200可以基於用於環繞運動補償的偏移來產生預測區塊,並且用訊號通知指示在預測區塊與當前區塊之間的差的殘差區塊的資訊。
在一個或多個示例中,視訊編碼器200可以在圖片參數集(PPS)中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的語法元素。該語法元素的一個示例是pps_ref_wraparound_offset_minus1。然而,在PPS中可以存在指示用於針對當前區塊的環繞運動補償的偏移的語法元素的各個示例。作為一個示例,指示在圖片寬度與偏移之間的差的語法元素可以是在PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素。作為另一示例,可以在PPS中用訊號通知指示偏移的實際值的語法元素。可以存在關於指示偏移的資訊可以被包括在PPS中的各種方式,並且本公開內容不應當被認為限於pps_ref_wraparound_offset_minus1。
在PPS中的指示用於針對視訊資料的當前區塊的環繞運動補償的偏移的語法元素可以被認為是第一語法元素。視訊編碼器200可以被配置為在PPS中用訊號通知指示環繞運動補償是否被啟用的第二語法元素。第二語法元素的一個示例是pps_ref_wraparound_enabled_flag。在這樣的示例中,為了在PPS中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的語法元素,視訊編碼器200可以基於在PPS中的指示環繞運動補償被啟用的第二語法元素來用訊號通知第一語法元素。也就是說,視訊編碼器200可以用訊號通知pps_ref_wraparound_enabled_flag,並且基於pps_ref_wraparound_enabled_flag為真,視訊編碼器200可以在PPS中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的語法元素。
在一個或多個示例中,SPS也可以包括指示環繞補償是否被啟用的語法元素。例如,SPS可以包括sps_ref_wraparound_enabled_flag。在一個或多個示例中,視訊編碼器200可以在序列參數集(SPS)中用訊號通知指示環繞運動補償是否被啟用的第二語法元素(例如,用訊號通知sps_ref_wraparound_enabled_flag),而不管圖片寬度如何。可以基於圖片寬度、最小區塊大小和最大區塊大小來約束指示環繞運動補償被啟用的第二語法元素(例如,sps_ref_wraparound_enabled_flag)的值。
例如,視訊編碼器200可以不需要確定以下條件是否為真:(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1)。確切而言,基於指示環繞運動補償被啟用的第二語法元素(例如,sps_ref_wraparound_enabled_flag),(CtbSizeY / MinCbSizeY + 1)可能必須小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1)。如上所述,CtbSizeY是寫碼樹區塊的高度(最大寫碼區塊大小),MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括當前區塊的圖片的圖片寬度。
圖2A和圖2B是示出示例四叉樹二叉樹(QTBT)結構130以及對應的寫碼樹單元(CTU)132的概念圖。實線表示四叉樹拆分,而虛線表示二叉樹拆分。在二叉樹的每個拆分(即非葉)節點中,用訊號發送一個標記以指示使用哪種拆分類型(即,水平或垂直),在該示例中,0指示水平拆分,而1指示垂直拆分。對於四叉樹拆分,由於四叉樹節點將區塊水平地並且垂直地拆分為具有相等大小的4個子區塊,因此無需指示拆分類型。因此,視訊編碼器200可以對以下各項進行編碼,而視訊解碼器300可以對以下各項進行解碼:用於QTBT結構130的區域樹級別(即實線)的語法元素(諸如拆分資訊)、以及用於QTBT結構130的預測樹級別(即虛線)的語法元素(諸如拆分資訊)。視訊編碼器200可以對用於由QTBT結構130的終端葉節點表示的CU的視訊資料(諸如預測和轉換資料)進行編碼,而視訊解碼器300可以對視訊資料進行解碼。
通常,圖2B的CTU 132可以與定義與QTBT結構130的處於第一和第二級別的節點相對應的區塊的大小的參數相關聯。這些參數可以包括CTU大小(表示樣本中的CTU 132的大小)、最小四叉樹大小(MinQTSize,其表示最小允許四叉樹葉節點大小)、最大二叉樹大小(MaxBTSize,其表示最大允許二叉樹根節點大小)、最大二叉樹深度(MaxBTDepth,其表示最大允許二叉樹深度)、以及最小二叉樹大小(MinBTSize,其表示最小允許二叉樹葉節點大小)。
QTBT結構的與CTU相對應的根節點可以在QTBT結構的第一級別處具有四個子節點,每個子節點可以是根據四叉樹分割來分割的。也就是說,第一級別的節點是葉節點(沒有子節點)或者具有四個子節點。QTBT結構130的示例將這樣的節點表示為包括具有實線分支的父節點和子節點。如果第一級別的節點不大於最大允許二叉樹根節點大小(MaxBTSize),則可以通過相應的二叉樹進一步對這些節點進行分割。可以對一個節點的二叉樹拆分進行叠代,直到從拆分產生的節點達到最小允許二叉樹葉節點大小(MinBTSize)或最大允許二叉樹深度(MaxBTDepth)。QTBT結構130的示例將這樣的節點表示為具有虛線分支。二叉樹葉節點被稱為寫碼單元(CU),其用於預測(例如,圖片內或圖片間預測)和轉換,而不進行任何進一步分割。如上所討論的,CU也可以被稱為「視訊區塊」或「區塊」。
在QTBT分割結構的一個示例中,CTU大小被設置為128x128(亮度樣本和兩個對應的64x64色度樣本),MinQTSize被設置為16x16, MaxBTSize被設置為64x64,MinBTSize(對於寬度和高度兩者)被設置為4,並且MaxBTDepth被設置為4。首先對CTU應用四叉樹分割以產生四叉樹葉節點。四叉樹葉節點可以具有從16x16(即MinQTSize)到128x128(即CTU大小)的大小。如果葉四叉樹節點為128x128,則由於該大小超過MaxBTSize(即,在該示例中為64x64),因此其將不被二叉樹進一步拆分。否則,葉四叉樹節點將被二叉樹進一步分割。因此,四叉樹葉節點也是用於二叉樹的根節點,並且具有二叉樹的深度為0。當二叉樹深度達到MaxBTDepth(在該示例中為4)時,不允許進一步拆分。當二叉樹節點具有等於MinBTSize(在該示例中為4)的寬度時,其意味著不允許進一步的水平拆分。類似地,具有等於MinBTSize的高度的二叉樹節點意味著針對該二叉樹節點不允許進一步的垂直拆分。如上所述,二叉樹的葉節點被稱為CU,並且根據預測和轉換而被進一步處理,而無需進一步分割。
圖3是示出可以執行本公開內容的技術的示例視訊編碼器200的框圖。圖3是出於解釋的目的而提供的,並且不應當被認為對在本公開內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的,本公開內容在諸如HEVC視訊寫碼標準和開發中的H.266視訊寫碼標準之類的視訊寫碼標準的背景下描述了視訊編碼器200。然而,本公開內容的技術不限於這些視訊寫碼標準,並且通常適用於視訊編碼和解碼。
在圖3的示例中,視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重建單元214、濾波單元216、經解碼圖片緩衝器(DPB)218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重建單元214、濾波單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實施。此外,視訊編碼器200可以包括額外或替代的處理器或處理電路以執行這些和其它功能。
視訊資料記憶體230可以儲存要由視訊編碼器200的組件來編碼的視訊資料。視訊編碼器200可以從例如視訊源104(圖1)接收被儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當參考圖片儲存器,其儲存參考視訊資料以在由視訊編碼器200對後續視訊資料進行預測時使用。視訊資料記憶體230和DPB 218可以由各種儲存器裝置中的任何一種形成,諸如動態隨機存取儲存器(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、電阻性RAM(RRAM)、或其它類型的儲存器裝置。視訊資料記憶體230和DPB 218可以由相同的儲存器裝置或單獨的儲存器裝置來提供。在各個示例中,視訊資料記憶體230可以與視訊編碼器200的其它組件同在晶片上(如圖所示),或者相對於那些組件而在芯片外。
在本公開內容中,對視訊資料記憶體230的引用不應當被解釋為限於在視訊編碼器200內部的儲存器(除非如此具體地描述),或者不限於在視訊編碼器200外部的儲存器(除非如此具體地描述)。確切而言,對視訊資料記憶體230的引用應當被理解為儲存視訊編碼器200接收以用於編碼的視訊資料(例如,用於要被編碼的當前區塊的視訊資料)的參考儲存器。圖1的記憶體106還可以提供對來自視訊編碼器200的各個單元的輸出的暫時性儲存。
示出了圖3的各個單元以幫助理解由視訊編碼器200執行的操作。這些單元可以被實施為固定功能電路、可程式化電路、或其組合。固定功能電路指代提供特定功能並且在可以執行的操作上經預先設置的電路。可程式化電路指代可以經程式化以執行各種任務並且在可以執行的操作中提供靈活功能的電路。例如,可程式化電路可以執行軟體或韌體,軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作類型通常是不可變的。在一些示例中,這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可程式化),並且在一些示例中,一個或多個單元可以是積體電路。
視訊編碼器200可以包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、模擬電路和/或可程式化內核。在其中使用由可程式化電路執行的軟體來執行視訊編碼器200的操作的示例中,記憶體106(圖1)可以儲存視訊編碼器200接收並且執行的軟體的目標程式碼,或者視訊編碼器200內的另一儲存器(未示出)可以儲存此類指令。
視訊資料記憶體230被配置為儲存所接收的視訊資料。視訊編碼器200可以從視訊資料記憶體230取回視訊資料的圖片,並且將視訊資料提供給殘差產生單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是要被編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和幀內預測單元226。模式選擇單元202可以包括額外功能單元,其根據其它預測模式來執行視訊預測。作為示例,模式選擇單元202可以包括調色板單元、區塊內複製單元(其可以是運動估計單元222和/或運動補償單元224的一部分),仿射單元、線性模型(LM)單元等。
模式選擇單元202通常協調多個編碼遍次(pass),以測試編碼參數的組合以及針對這樣的組合所得到的率失真值。編碼參數可以包括將CTU分割為CU、用於CU的預測模式、用於CU的殘差資料的轉換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇編碼參數的具有比其它測試的組合更佳的率失真值的組合。
視訊編碼器200可以將從視訊資料記憶體230取回的圖片分割為一系列CTU,並且將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構(諸如,上述HEVC的QTBT結構或四叉樹結構)來分割圖片的CTU。如上所述,視訊編碼器200可以通過根據樹結構來分割CTU,從而形成一個或多個CU。這樣的CU通常也可以被稱為「視訊區塊」或「區塊」。
通常,模式選擇單元202還控制其組件(例如,運動估計單元222、運動補償單元224和幀內預測單元226)以產生用於當前區塊(例如,當前CU,或者在HEVC中為PU和TU的重疊部分)的預測區塊。為了對當前區塊進行幀間預測,運動估計單元222可以執行運動搜索以識別在一個或多個參考圖片(例如,被儲存在DPB 218中的一個或多個先前編碼的圖片)中的一個或多個緊密匹配的參考區塊。具體地,運動估計單元222可以例如根據絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)等,來計算表示潛在參考區塊將與當前區塊的類似程度的值。運動估計單元222通常可以使用在當前區塊與所考慮的參考區塊之間的逐樣本差來執行這些計算。運動估計單元222可以從這些計算中識別具有最低值的參考區塊,從而指示與當前區塊最緊密匹配的參考區塊。
運動估計單元222可以形成一個或多個運動向量(MV),所述運動向量限定相對於當前圖片中的當前區塊的位置而言參考區塊在參考圖片中的的位置。然後,運動估計單元222可以將運動向量提供給運動補償單元224。例如,對於單向幀間預測,運動估計單元222可以提供單個運動向量,而對於雙向幀間預測,運動估計單元222可以提供兩個運動向量。然後,運動補償單元224可以使用運動向量來產生預測區塊。例如,運動補償單元224可以使用運動向量來取回參考區塊的資料。作為另一示例,如果運動向量具有分數樣本精度,則運動補償單元224可以根據一個或多個插值濾波器來對用於預測區塊的值進行插值。此外,對於雙向幀間預測,運動補償單元224可以例如通過逐樣本平均或加權平均來取回用於由相應的運動向量識別的兩個參考區塊的資料,並且將所取回的資料進行組合。
如圖3所示,在一些示例中,運動補償單元224包括環繞運動補償(WMC)單元225。WMC單元225可以被配置為執行在本公開內容中描述的一種或多種示例技術。WMC單元225可以是運動補償單元224內的邏輯單元,或者可以是其本身在運動補償單元224內單獨的電路。
作為一個示例,模式選擇單元202可以確定環繞運動補償是否被啟用。基於環繞運動補償被啟用,模式選擇單元202可以確定用於環繞運動補償的偏移。WMC單元225可以使用用於環繞運動補償的偏移來產生用於當前區塊的預測區塊。如下所述,使用利用環繞運動補償而產生的預測區塊,殘差產生單元204可以產生殘差區塊,並且熵編碼單元220可以用訊號發送指示該殘差區塊的資訊。
作為另一示例,對於幀內預測或幀內預測寫碼,幀內預測單元226可以根據與當前區塊相鄰的樣本來產生預測區塊。例如,對於方向性模式,幀內預測單元226通常可以在數學上將相鄰樣本的值進行組合,並且在當前區塊上沿著所定義的方向來填充這些計算出的值以產生預測區塊。作為另一示例,對於DC模式,幀內預測單元226可以計算與當前區塊的相鄰樣本的平均值,並且產生預測區塊以包括針對預測區塊的每個樣本的該得到的平均值。
模式選擇單元202將預測區塊提供給殘差產生單元204。殘差產生單元204從視訊資料記憶體230接收當前區塊的原始的未經編碼的版本,並且從模式選擇單元202接收預測區塊。殘差產生單元204計算在當前區塊與預測區塊之間的逐樣本差。所得到的逐樣本差定義了用於當前區塊的殘差區塊。在一些示例中,殘差產生單元204還可以確定在殘差區塊中的樣本值之間的差,以使用殘餘差異脈碼調變(RDPCM)來產生殘差區塊。在一些示例中,可以使用執行二進制減法的一個或多個減法器電路來形成殘差產生單元204。
在其中模式選擇單元202將CU分割為PU的示例中,每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支持具有各種大小的PU。如上所指出的,CU的大小可以指代CU的亮度寫碼區塊的大小,而PU的大小可以指代PU的亮度預測單元的大小。假定特定CU的大小為2Nx2N,則視訊編碼器200可以支持用於幀內預測的2Nx2N或NxN的PU大小、以及用於幀間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視訊編碼器200和視訊解碼器300還可以支持針對用於幀間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。
在其中模式選擇單元不將CU進一步分割為PU的示例中,每個CU可以與亮度寫碼區塊和對應的色度寫碼區塊相關聯。如上所述,CU的大小可以指代CU的亮度寫碼區塊的大小。視訊編碼器200和視訊解碼器300可以支持2N×2N、2N×N或N×2N的CU大小。
對於其它視訊寫碼技術(諸如區塊內複製模式寫碼、仿射模式寫碼和線性模型(LM)模式寫碼),作為少數示例,模式選擇單元202經由與寫碼技術相關聯的相應單元來產生用於正被編碼的當前區塊的預測區塊。在一些示例中(諸如調色板模式寫碼),模式選擇單元202可以不產生預測區塊,而是替代產生指示基於所選擇的調色板來重建區塊的方式的語法元素。在這樣的模式下,模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。
如上所述,殘差產生單元204接收用於當前區塊和對應的預測區塊的視訊資料。然後,殘差產生單元204為當前區塊產生殘差區塊。為了產生殘差區塊,殘差產生單元204計算在預測區塊與當前區塊之間的逐樣本差。
轉換處理單元206將一種或多種轉換應用於殘差區塊,以產生轉換系數的區塊(本文中被稱為「轉換系數區塊」)。轉換處理單元206可以將各種轉換應用於殘差區塊,以形成轉換系數區塊。例如,轉換處理單元206可以將離散餘弦轉換(DCT)、方向轉換、Karhunen-Loeve轉換(KLT)、或概念上類似的轉換應用於殘差區塊。在一些示例中,轉換處理單元206可以對殘差區塊執行多種轉換,例如,初級轉換和二次轉換(諸如旋轉轉換)。在一些示例中,轉換處理單元206不對殘差區塊應用轉換。
量化單元208可以對轉換系數區塊中的轉換系數進行量化,以產生經量化的轉換系數區塊。量化單元208可以根據與當前區塊相關聯的量化參數(QP)值來對轉換系數區塊的轉換系數進行量化。視訊編碼器200(例如,經由模式選擇單元202)可以通過調整與CU相關聯的QP值來調整被應用於與當前區塊相關聯的轉換系數區塊的量化程度。量化可能導致資訊丟失,並且因此,經量化的轉換系數可以具有與轉換處理單元206所產生的原始轉換系數相比較低的精度。
逆量化單元210和逆轉換處理單元212可以將逆量化和逆轉換分別應用於經量化的轉換系數區塊,以從轉換系數區塊來重建殘差區塊。重建單元214可以基於經重建的殘差區塊和由模式選擇單元202產生的預測區塊來產生與當前區塊相對應的重建區塊(盡管潛在地具有某種程度的失真)。例如,重建單元214可以將經重建的殘差區塊的樣本與來自由模式選擇單元202所產生的預測區塊的對應樣本相加,以產生經重建的區塊。
濾波單元216可以對經重建的區塊執行一個或多個濾波器操作。例如,濾波單元216可以執行去區塊化操作以減少沿著CU的邊緣的區塊狀偽影。在一些示例中,可以跳過濾波單元216的操作。
視訊編碼器200將經重建的區塊儲存在DPB 218中。例如,在其中不需要濾波單元216的操作的示例中,重建單元214可以將經重建的區塊儲存到DPB 218中。在其中需要濾波單元216的操作的示例中,濾波單元216可以將經濾波的重建區塊儲存到DPB 218中。運動估計單元222和運動補償單元224可以從DPB 218取回由經重建的(並且潛在地經濾波的)區塊形成的參考圖片,以對後續編碼的圖片的區塊進行幀間預測。另外,幀內預測單元226可以使用在DPB 218中的當前圖片的經重建的區塊來對當前圖片中的其它區塊進行幀內預測。
通常,熵編碼單元220可以對從視訊編碼器200的其它功能組件接收的語法元素進行熵編碼。例如,熵編碼單元220可以對來自量化單元208的經量化的轉換係數區塊進行熵編碼。作為另一示例,熵編碼單元220可以對來自模式選擇單元202的預測語法元素(例如,用於幀間預測的運動資訊或用於幀內預測的幀內模式資訊)進行熵編碼。熵編碼單元220可以對作為視訊資料的另一示例的語法元素執行一個或多個熵編碼操作,以產生經熵編碼的資料。例如,熵編碼單元220可以執行上下文自適應變長寫碼(CAVLC)操作、CABAC操作、可變-可變(V2V)長度寫碼操作、基於語法的上下文自適應二進制算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作、或對資料的另一種熵編碼操作。在一些示例中,熵編碼單元220可以在其中語法元素未被熵編碼的旁路模式下操作。
如上所述,WMC單元225可以被配置為產生預測區塊,並且殘差產生單元204可以產生指示在預測區塊與當前區塊之間的差的殘差區塊。熵編碼單元220可以用訊號通知殘差區塊的資訊,該資訊指示在預測區塊與當前區塊之間的差。
在一個或多個示例中,模式選擇單元202可以使得熵編碼單元220在圖片參數集(PPS)中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的語法元素。作為一個示例,模式選擇單元202可以使得熵編碼單元220用訊號通知pps_ref_wraparound_offset_minus1。如上所述,pps_ref_wraparound_offset_minus1是在PPS中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的資訊的一種示例方式。然而,可以存在用訊號通知指示偏移的資訊的各種其它方式。例如,模式選擇單元202可以使得熵編碼單元220用訊號通知實際偏移值或者用訊號通知指示在圖片寬度與偏移之間的差的資訊。
此外,在PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素可以被認為是第一語法元素。模式選擇單元202可以使得熵編碼單元220在PPS中用訊號通知指示環繞運動補償是否被啟用的第二語法元素(例如,用訊號通知pps_ref_wraparound_enabled_flag)。例如,為了在PPS中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的語法元素,模式選擇單元202可以使得熵編碼單元220基於在PPS中的指示環繞運動補償被啟用的第二語法元素((例如,pps_ref_wraparound_enabled_flag,但不限於pps_ref_wraparound_enabled_flag))來用訊號通知第一語法元素(例如,pps_ref_wraparound_offset_minus1,但不限於pps_ref_wraparound_offset_minus1)。
此外,模式選擇單元202可以使得熵編碼單元220在序列參數集(SPS)中用訊號通知指示環繞運動補償是否被啟用的語法元素(例如,sps_ref_wraparound_enabled_flag)。模式選擇單元202可以使得熵編碼單元220在SPS中用訊號通知該語法元素,而不管圖片寬度如何。例如,模式選擇單元202在SPS中用訊號通知指示環繞運動補償是否被啟用的語法元素之前,可以不首先確定基於圖片寬度的特定條件是否滿足。例如,模式選擇單元202可以在確定是否用訊號通知sps_ref_wraparound_enabled_flag之前,可以不首先確定是否((CtbSizeY / MinCbSizeY + 1) 小於或等於 (max_width_in_luma_samples / MinCbSizeY − 1))。
然而,可以存在對sps_ref_wraparound_enabled_flag的約束。作為一個示例,如果sps_ref_wraparound_enabled_flag指示環繞運動補償被啟用,則((CtbSizeY / MinCbSizeY + 1) 小於或等於 max_width_in_luma_samples / MinCbSizeY − 1))應當為真。也就是說,在位元串流中可以存在sps_ref_wraparound_enabled_flag,而不管圖像寬度如何。然而,如果sps_ref_wraparound_enabled_flag為真,則((CtbSizeY / MinCbSizeY + 1) 小於或等於 (max_width_in_luma_samples / MinCbSizeY − 1))應當為真。如果((CtbSizeY / MinCbSizeY + 1) 小於或等於 (max_width_in_luma_samples / MinCbSizeY − 1))為假,則sps_ref_wraparound_enabled_flag為假(例如,環繞運動補償未被啟用)。換句話說,基於sps_ref_wraparound_enabled_flag指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度(最大寫碼區塊大小),MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括當前區塊的圖片的圖片寬度。因此,在一個或多個示例中,可以基於圖片寬度、最小區塊大小和最大區塊大小來約束指示環繞運動補償被啟用的sps_ref_wraparound_enabled_flag的值。
視訊編碼器200可以輸出位元串流,其包括用於切片或圖片的重建區塊所需要的經熵編碼的語法元素。具體地,熵編碼單元220可以輸出位元串流。
關於區塊描述了上述操作。這樣的描述應當被理解為用於亮度寫碼區塊和/或色度寫碼區塊的操作。如上所述,在一些示例中,亮度寫碼區塊和色度寫碼區塊是CU的亮度分量和色度分量。在一些示例中,亮度寫碼區塊和色度寫碼區塊是PU的亮度分量和色度分量。
在一些示例中,不需要針對色度寫碼區塊重覆關於亮度寫碼區塊執行的操作。作為一個示例,不需要重複用於識別用於亮度寫碼區塊的運動向量(MV)和參考圖片的操作來識別用於色度區塊的MV和參考圖片。確切而言,可以對用於亮度寫碼區塊的MV進行縮放以確定用於色度區塊的MV,並且參考圖片可以是相同的。作為另一示例,對於亮度寫碼區塊和色度寫碼區塊,幀內預測過程可以是相同的。
視訊編碼器200表示被配置為對視訊資料進行編碼的裝置的示例,該裝置包括被配置為儲存視訊資料的儲存器、以及一個或多個處理單元,所述一個或多個處理單元是在電路中實施的,並且被配置為編碼(code)(例如,編碼(encode))用於確定在參數集中是否存在指示環繞運動補償是否被啟用的語法元素的資訊(例如,PPS中的pic_width_in_luma_samples或者SPS中的max_width_in_luma_samples),並且在相同參數集中編碼(code)(例如,編碼(encode))指示環繞運動補償是否被啟用的語法元素(例如,如果使用PPS中的pic_width_in_luma_samples,則為pps_ref_wraparound_enabled_flag;或者如果使用SPS中的max_width_in_luma_samples,則為sps_ref_wraparound_enabled_flag)。視訊編碼器200還可以被配置為在位元串流中用訊號通知用於確定在參數集中是否存在指示環繞運動補償是否被啟用的語法元素的經編碼的資訊,並且在位元串流中用訊號通知在相同參數集中的指示環繞運動補償是否被啟用的經編碼的語法元素。
圖4是示出可以執行本公開內容的技術的示例視訊解碼器300的框圖。圖4是出於解釋的目的而提供的,並且不對在本公開內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的,本公開內容根據VVC和HEVC的技術描述了視訊解碼器300。然而,本公開內容的技術可以由被配置用於其它視訊寫碼標準的視訊寫碼裝置來執行。
在圖4的示例中,視訊解碼器300包括經寫碼圖片緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310、濾波單元312和經解碼圖片緩衝器(DPB)134。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310、濾波單元312和DPB 134中的任何一者或全部可以在一個或多個處理器中或者在處理電路中實施。此外,視訊解碼器300可以包括額外或替代的處理器或處理電路以執行這些和其它功能。
預測處理單元304包括運動補償單元316和幀內預測單元318。預測處理單元304可以包括加法單元,以根據其它預測模式來執行預測。作為示例,預測處理單元304可以包括調色板單元、區塊內覆制單元(其可以形成運動補償單元316的一部分)、仿射單元、線性模型(LM)單元等。在其它示例中,視訊解碼器300可以包括更多、更少或不同的功能組件。
CPB記憶體320可以儲存要由視訊解碼器300的組件解碼的視訊資料,諸如經編碼的視訊位元串流。例如,可以從電腦可讀媒體110(圖1)獲得被儲存在CPB記憶體320中的視訊資料。CPB記憶體320可以包括儲存來自經編碼的視訊位元串流的經編碼的視訊資料(例如,語法元素)的CPB。此外,CPB記憶體320可以儲存除了經編碼的圖片的語法元素之外的視訊資料,諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的圖片,視訊解碼器300可以輸出經解碼的圖片,和/或在解碼經編碼的視訊位元串流的後續資料或圖片時使用經解碼的圖片作為參考視訊資料。CPB記憶體320和DPB 314可以由各種儲存器裝置中的任何一種形成,諸如DRAM(包括SDRAM)、MRAM、RRAM、或其它類型的儲存器裝置。CPB記憶體320和DPB 314可以由相同的儲存器裝置或單獨的儲存器裝置來提供。在各個示例中,CPB記憶體320可以與視訊解碼器300的其它組件在芯片上,或者相對於那些組件在芯片外。
另外或替代地,在一些示例中,視訊解碼器300可以從記憶體120(圖1)取回經編碼的視訊資料。也就是說,記憶體120可以如上文所討論地利用CPB記憶體320來儲存資料。同樣,當視訊解碼器300的一些或全部功能是用要被視訊解碼器300的處理電路執行的軟體來實施時,記憶體120可以儲存要被視訊解碼器300執行的指令。
圖4中示出的各個單元以幫助理解由視訊解碼器300執行的操作。這些單元可以被實施為固定功能電路、可程式化電路、或其組合。類似於圖3,固定功能電路指代提供特定功能並且在可以執行的操作上預先設置的電路。可程式化電路指代可以被程式化以執行各種任務並且在可以執行的操作中提供靈活功能的電路。例如,可程式化電路可以執行軟體或韌體,軟體或韌體使得可程式化電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作類型通常是不可變的。在一些示例中,這些單元中的一個或多個單元可以是不同的電路區塊(固定功能或可程式化),並且在一些示例中,一個或多個單元可以是積體電路。
視訊解碼器300可以包括由可程式化電路形成的ALU、EFU、數位電路、類比電路和/或可程式化內核。在其中由在可程式化電路上執行的軟體執行視訊解碼器300的操作的示例中,晶片上或晶片外儲存器可以儲存視訊解碼器300接收並且執行的軟體的指令(例如,目標代碼)。
熵解碼單元302可以從CPB接收經編碼的視訊資料,並且對視訊資料進行熵解碼以再生語法元素。預測處理單元304、逆量化單元306、逆轉換處理單元308、重建單元310和濾波單元312可以基於從位元串流中提取的語法元素來產生經解碼的視訊資料。
通常,視訊解碼器300在逐區塊的基礎上重建圖片。視訊解碼器300可以單獨地對每個區塊執行重建操作(其中,當前正在被重建(即,被解碼)的區塊可以被稱為「當前區塊」)。
熵解碼單元302可以對定義經量化的轉換系數區塊的經量化的轉換系數的語法元素以及諸如量化參數(QP)和/或轉換模式指示之類的轉換資訊進行熵解碼。逆量化單元306可以使用與經量化的轉換系數區塊相關聯的QP來確定量化程度,並且同樣地,確定逆量化程度以供逆量化單元306應用。逆量化單元306可以例如執行按位左移操作以對經量化的轉換系數進行逆量化。逆量化單元306從而可以形成包括轉換系數的轉換系數區塊。
在逆量化單元306形成轉換系數區塊之後,逆轉換處理單元308可以將一種或多種逆轉換應用於轉換系數區塊,以產生與當前區塊相關聯的殘差區塊。例如,逆轉換處理單元308可以將逆DCT、逆整數轉換、逆Karhunen-Loeve轉換(KLT)、逆旋轉轉換、逆方向轉換或另一逆轉換應用於系數區塊。
此外,預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來產生預測區塊。例如,如果預測資訊語法元素指示當前區塊是經幀間預測的,則運動補償單元316可以產生預測區塊。在這種情況下,預測資訊語法元素可以指示在DPB 314中的要從其取回參考區塊的參考圖片、以及標識相對於當前圖片中的當前區塊的位置而言參考圖片中的參考區塊的位置的運動向量。運動補償單元316通常可以以實質上與前所描述之運動補償單元224(圖3)執行框間預測的方式類似的方式來執行幀間預測過程。
如圖4所示,在一些示例中,運動補償單元316包括環繞運動補償(WMC)單元317。WMC單元317可以被配置為執行在本公開內容中描述的一種或多種示例技術。WMC單元317可以是運動補償單元316內的邏輯單元,或者可以是其本身在運動補償單元316內單獨的電路。
作為一個示例,預測處理單元304可以確定環繞運動補償是否被啟用。基於環繞運動補償被啟用,預測處理單元304可以確定用於環繞運動補償的偏移。WMC單元317可以使用用於環繞運動補償的偏移來產生用於當前區塊的預測區塊。如下所述,使用利用環繞運動補償而產生的預測區塊,重建單元310可以將預測區塊加到殘差區塊上以重建當前區塊。
如上所述,預測處理單元304可以確定用於環繞運動補償的偏移。在一個或多個示例中,預測處理單元304可以解析圖片參數集(PPS)中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素。作為一個示例,預測處理單元304可以解析來自PPS的pps_ref_wraparound_offset_minus1。如上所述,pps_ref_wraparound_offset_minus1是在PPS中確定指示用於針對當前區塊的環繞運動補償的偏移的資訊的一種示例方式。然而,可以存在確定指示偏移的資訊的各種其它方式。例如,預測處理單元304可以解析實際偏移值,或者可以解析指示在圖片寬度與偏移之間的差的資訊。
此外,在PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素可以被認為是第一語法元素。預測處理單元304可以解析PPS中的指示環繞運動補償是否被啟用的第二語法元素(例如,解析pps_ref_wraparound_enabled_flag)。例如,為了解析PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素,預測處理單元304可以基於在PPS中的指示用於環繞運動補償是否被啟用的第二語法元素(例如,pps_ref_wraparound_enabled_flag,但不限於pps_ref_wraparound_enabled_flag)來解析第一語法元素(例如,pps_ref_wraparound_offset_minus1,但不限於pps_ref_wraparound_offset_minus1)。也就是說,預測處理單元304可以首先解析pps_ref_wraparound_enabled_flag,並且基於pps_ref_wraparound_enabled_flag為真,預測處理單元304可以解析PPS中的指示用於環繞運動補償的偏移的語法元素(例如,pps_ref_wraparound_offset_minus1,但不限於pps_ref_wraparound_offset_minus1)。
此外,預測處理單元304可以解析在序列參數集(SPS)中的指示環繞運動補償是否被啟用的語法元素(例如,sps_ref_wraparound_enabled_flag)。預測處理單元304可以解析SPS中的該語法元素,而不管圖片寬度如何。例如,預測處理單元304在解析在SPS中的指示環繞運動補償是否被啟用的語法元素之前,可以不首先確定是否滿足基於圖片寬度的特定條件。例如,預測處理單元304在確定是否解析sps_ref_wraparound_enabled_flag之前,可以不首先確定是否((CtbSizeY / MinCbSizeY + 1) 小於或等於 (max_width_in_luma_samples / MinCbSizeY − 1))。
然而,可以存在對sps_ref_wraparound_enabled_flag的約束。作為一個示例,如果sps_ref_wraparound_enabled_flag指示環繞運動補償被啟用,則((CtbSizeY / MinCbSizeY + 1) 小於或等於max_width_in_luma_samples / MinCbSizeY − 1))應當為真。也就是說,在位元串流中可以存在sps_ref_wraparound_enabled_flag,而不管圖像寬度如何。然而,如果sps_ref_wraparound_enabled_flag為真,則((CtbSizeY / MinCbSizeY + 1) 小於或等於 (max_width_in_luma_samples / MinCbSizeY − 1))應當為真。如果((CtbSizeY / MinCbSizeY + 1) 小於或等於(max_width_in_luma_samples / MinCbSizeY − 1))為假,則sps_ref_wraparound_enabled_flag為假(例如,環繞運動補償未被啟用)。換句話說,基於sps_ref_wraparound_enabled_flag指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度(最大寫碼區塊大小),MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括當前區塊的圖片的圖片寬度。
作為另一示例,如果預測資訊語法元素指示當前區塊是經幀內預測的,則幀內預測單元318可以根據由預測資訊語法元素指示的幀內預測模式來產生預測區塊。再次,幀內預測單元318通常可以以與前所描述之幀內預測單元226(圖3)執行框內預測的方式類似的方式來執行幀內預測過程。幀內預測單元318可以從DPB 314取回與當前區塊的相鄰樣本的資料。
重建單元310可以使用預測區塊和殘差區塊來重建當前區塊。例如,重建單元310可以將殘差區塊的樣本與預測區塊的對應樣本相加來重建當前區塊。
濾波單元312可以對經重建的區塊執行一個或多個濾波器操作。例如,濾波單元312可以執行去區塊化操作以減少沿著經重建的區塊的邊緣的區塊狀偽影。不一定在所有示例中都執行濾波單元312的操作。
視訊解碼器300可以將經重建的區塊儲存在DPB 314中。如上所討論的,DPB 314可以將參考資訊(諸如用於幀內預測的當前圖片以及用於後續運動補償的先前解碼的圖片的樣本)提供給預測處理單元304。此外,視訊解碼器300可以從DPB 314輸出經解碼的圖片,以用於在諸如圖1的顯示裝置118之類的顯示裝置上的後續呈現。
以這種方式,視訊解碼器300表示視訊解碼裝置的示例,該視訊解碼裝置包括被配置為儲存視訊資料的儲存器、以及一個或多個處理單元,所述一個或多個處理單元是在電路中實施的,並且被配置為從位元串流中接收用於確定在參數集中是否存在指示環繞運動補償是否被啟用的語法元素的資訊(例如,PPS中的pic_width_in_luma_samples或者SPS中的max_width_in_luma_samples),並且從位元串流中接收在相同參數集中的指示環繞運動補償是否被啟用的語法元素(例如,如果使用PPS中的pic_width_in_luma_samples,則為pps_ref_wraparound_enabled_flag;或者如果使用SPS中的max_width_in_luma_samples,則為sps_ref_wraparound_enabled_flag)。視訊解碼器300可以被配置為編碼(code)(例如,解碼)用於確定在參數集中是否存在指示環繞運動補償是否被啟用的語法元素的資訊,並且在相同參數集中編碼(例如,解碼)指示環繞運動補償是否被啟用的語法元素。
圖5是示出用於對當前區塊進行編碼的示例方法的流程圖。當前區塊可以包括當前CU。盡管關於視訊編碼器200(圖1和圖3)進行了描述,但是應當理解的是,其它裝置可以被配置為執行與圖5的方法類似的方法。
圖5的示例是關於處理電路(諸如視訊編碼器200的處理電路)來描述的。在圖5的示例中,儲存器可以被配置為儲存圖片參數集(PPS)中的語法元素。儲存器的示例包括記憶體106、視訊資料記憶體230、DPB 218或耦合到視訊編碼器200的任何其它一個或多個儲存器。
視訊編碼器200的處理電路可以被配置為基於用於環繞運動補償的偏移來對視訊資料的當前區塊進行幀間預測編碼(步驟500)。例如,WMC單元225可以被配置為基於用於環繞運動補償的偏移來產生預測區塊,並且熵編碼單元220可以用訊號通知指示在預測區塊與當前區塊之間的差的殘差區塊的資訊。殘差產生單元204可以產生指示在預測區塊與當前區塊之間的差的殘差區塊。
視訊編碼器200的處理電路可以在圖片參數集(PPS)中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的語法元素(步驟502)。該語法元素的一個示例是pps_ref_wraparound_offset_minus1。然而,指示用於環繞運動補償的偏移的語法元素的其它示例是可能的。
在一個或多個示例中,視訊編碼器200的處理電路可以在PPS中用訊號通知指示環繞運動補償是否被啟用的語法元素(例如,pps_ref_wraparound_enabled_flag)。例如,為了在PPS中用訊號通知指示用於針對當前區塊的環繞運動補償的偏移的語法元素,視訊編碼器200的處理電路可以被配置為基於在PPS中的指示環繞運動補償被啟用的第二語法元素(例如,pps_ref_wraparound_enabled_flag)來用訊號通知第一語法元素(例如,pps_ref_wraparound_offset_minus1)。
此外,視訊編碼器200的處理電路可以在序列參數集(SPS)中用訊號通知指示環繞運動補償是否被啟用的語法元素,而不管圖片寬度如何(例如,不管圖片寬度如何,用訊號通知sps_ref_wraparound_enabled_flag)。然而,基於sps_ref_wraparound_enabled_flag指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度(最大寫碼區塊大小),MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括當前區塊的圖片的圖片寬度。
圖6是示出用於對視訊資料的當前區塊進行解碼的示例方法的流程圖。當前區塊可以包括當前CU。儘管關於視訊解碼器300(圖1和圖4)進行了描述,但是應當理解的是,其它裝置可以被配置為執行與圖6的方法類似的方法。
圖6的示例是關於處理電路(例如,視訊解碼器300的處理電路)來描述的。在圖6的示例中,儲存器可以被配置為儲存圖片參數集(PPS)中的語法元素。儲存器的示例包括記憶體120、CPB記憶體320、DPB 314或耦合到視訊解碼器300的任何其它一個或多個儲存器。
視訊解碼器300的處理電路可以被配置為解析在圖片參數集(PPS)中的指示用於針對視訊資料的當前區塊的環繞運動補償的偏移的語法元素(步驟600)。該語法元素的一個示例是pps_ref_wraparound_offset_minus1。然而,指示用於環繞運動補償的偏移的語法元素的其它示例是可能的。
在一個或多個示例中,視訊解碼器300的處理電路可以解析在PPS中的指示環繞運動補償是否被啟用的語法元素(例如,pps_ref_wraparound_enabled_flag)。例如,為了解析在PPS中的指示用於針對當前區塊的環繞運動補償的偏移的語法元素,視訊解碼器300的處理電路可以被配置為基於在PPS中的指示環繞運動補償被啟用的第二語法元素(例如,pps_ref_wraparound_enabled_flag)來解析第一語法元素(例如,pps_ref_wraparound_offset_minus1)
此外,視訊解碼器300的處理電路可以解析在序列參數集(SPS)中的指示環繞運動補償是否被啟用的語法元素,而不管圖片寬度如何(例如,不管圖片寬度如何,解析sps_ref_wraparound_enabled_flag)。然而,基於sps_ref_wraparound_enabled_flag指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度(最大寫碼區塊大小),MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括當前區塊的圖片的圖片寬度。
視訊解碼器300的處理電路可以被配置為基於用於環繞運動補償的偏移來對視訊資料的當前區塊進行幀間預測解碼(步驟602)。例如,WMC單元317可以被配置為基於用於環繞運動補償的偏移來產生預測區塊,並且重建單元310可以將預測區塊加到殘差區塊上以重建當前區塊。
下文描述了可以單獨地或者結合在本公開內容中描述的一種或多種示例技術來執行的一個或多個示例。
示例1。一種寫碼視訊資料的方法,該方法包括:寫碼用於確定在參數集中是否存在指示環繞運動補償是否被啟用的語法元素的資訊;以及在相同參數集中寫碼指示環繞運動補償是否被啟用的語法元素。
示例2。根據示例1所述的方法,其中,所述參數集是序列參數集(SPS)。
示例3。根據示例1所述的方法,其中,所述參數集是圖片參數集(PPS)。
示例4。根據示例1和2中任一項所述的方法,其中,用於確定環繞運動補償是否被應用的資訊包括指示在亮度樣本中的最大寬度的資訊。
示例5。根據示例1和3中任一項所述的方法,其中,用於確定環繞運動補償是否被應用的資訊包括指示在亮度樣本中的圖片寬度的資訊。
示例6。根據示例1-5中任一項所述的方法,還包括:從位元串流接收用於確定在參數集中是否存在指示環繞運動補償是否被啟用的語法元素的資訊;以及從該位元串流接指示在相同參數集中的指示環繞運動補償是否被啟用的語法元素,其中,寫碼該資訊包括對該資訊進行解碼,並且其中,寫碼該語法元素包括對該語法元素進行解碼。
示例7。根據示例1-5中任一項所述的方法,其中,寫碼該資訊包括對該資訊進行編碼,並且寫碼該語法元素包括對該語法元素進行編碼,該方法還包括:在位元串流中用訊號通知用於確定在參數集中是否存在指示環繞運動補償是否被啟用的語法元素的經編碼的資訊;以及在位元串流中用訊號通知在相同參數集中的指示環繞運動補償是否被啟用的經編碼的語法元素。
示例8。一種寫碼視訊資料的方法,該方法包括:寫碼指示環繞運動補償是否啟用的語法元素,而不管亮度樣本中的圖片寬度如何。
示例9。根據示例8所述的方法,還包括:從位元串流接收該語法元素,其中,寫碼該語法元素包括對該語法元素進行解碼。
示例10。根據示例8所述的方法,其中,寫碼該語法元素包括對語法元素進行編碼,該方法還包括用訊號通知經編碼的語法元素。
示例11。一種寫碼視訊資料的方法,該方法包括:使用在本公開內容中描述的技術中的任何技術或組合來寫碼用於推導一致性窗口的資訊。
示例12。根據示例11所述的方法,還包括:從位元串流接收該資訊,其中,寫碼該資訊包括對該資訊進行解碼。
示例13。根據示例11所述的方法,其中,寫碼該資訊包括對該資訊進行編碼,該方法還包括:在位元串流中用訊號通知經編碼的資訊。
示例14。一種用於寫碼視訊資料的裝置,該裝置包括:被配置為儲存視訊資料的儲存器;以及包括固定功能或可編程電路中的至少一項的視訊編碼裝置,其中,該視訊編碼裝置被配置為執行根據示例1-13中任一項所述的方法。
示例15。根據示例14所述的裝置,其中,該視訊編碼裝置包括視訊解碼器,其中,該視訊解碼器被配置為執行根據示例1-6、8、9、11和12中任一項所述的方法。
示例16。根據示例14所述的裝置,其中,該視訊編碼裝置包括視訊編碼器,其中,該視訊編碼器被配置為執行根據示例1-5、7、8、10、11和13中任一項所述的方法。
示例17。根據示例14-16中任一項所述的裝置,還包括以下各項中的一項或多項:被配置為顯示經解碼的視訊資料的顯示器、相機、電腦、行動裝置、廣播接收器裝置、或機上盒。
示例18。一種具有儲存在其上的指令的電腦可讀儲存媒體,所述指令在被執行時使得一個或多個處理器執行根據示例1-13中任一項所述的方法。
示例19。一種用於寫碼視訊資料的裝置,該裝置包括用於執行根據示例1-13中任一項所述的方法的元件。
要認識到的是,根據示例,本文描述的任何技術的某些動作或事件可以以不同的順序執行,可以被添加、合並或完全省略(例如,並非所有描述的動作或事件是對於實施所述技術都是必要的)。此外,在某些示例中,動作或事件可以例如通過多線程處理、中斷處理或多個處理器並發地而不是順序地執行。
在一個或多個示例中,所描述的功能可以用硬體、軟體、韌體或其任何組合來實施。如果用軟體來實施,則所述功能可以作為一個或多個指令或代碼儲存在電腦可讀媒體上或者通過其進行傳輸並且由基於硬體的處理單元執行。電腦可讀媒體可以包括電腦可讀儲存媒體,其對應於諸如資料儲存媒體之類的有形媒體或者通信媒體,所述通信媒體包括例如根據通信協定來促進電腦程序從一個地方傳送到另一個地方的任何媒體。以這種方式,電腦可讀媒體通常可以對應於(1)非暫時性的有形電腦可讀儲存媒體、或者(2)諸如訊號或載波之類的通信媒體。資料儲存媒體可以是可以由一個或多個電腦或者一個或多個處理器存取以取得用於實施在本公開內容中描述的技術的指令、代碼和/或資料結構的任何可用的媒體。電腦程序產品可以包括電腦可讀媒體。
通過舉例而非限制性的方式,這樣的電腦可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光盤儲存、磁盤儲存或其它磁儲存裝置、快閃記憶體、或者能夠用於以指令或資料結構形式儲存期望的程序代碼以及能夠由電腦存取的任何其它媒體。此外,任何連接被適當地稱為電腦可讀媒體。例如,如果使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或者無線技術(例如,紅外線、無線電和微波)從網站、伺服器或其它遠端源傳輸指令,則同軸電纜、光纜、雙絞線、DSL或者無線技術(例如,紅外線、無線電和微波)被包括在媒體的定義中。然而,應當理解的是,電腦可讀儲存媒體和資料儲存媒體不包括連接、載波、訊號或其它暫時性媒體,而是替代地針對非暫時性的有形儲存媒體。如本文所使用的,磁碟和光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟和藍光光碟,其中,磁碟通常磁性地再現資料,而光碟則利用雷射光以光學方式再現資料。上述各項的組合也應當被包括在電腦可讀媒體的範圍之內。
指令可以由一個或多個處理器來執行,諸如一個或多個數位訊號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)、或其它等效的積體或離散邏輯電路。因此,如本文所使用的術語「處理器」和「處理電路」可以指代前述結構中的任何一者或者適於實現本文描述的技術的任何其它結構。另外,在一些態樣中,本文描述的功能可以在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供,或者被併入經組合的編解碼器中。此外,所述技術可以完全在一個或多個電路或邏輯元件中實施。
本公開內容的技術可以在多種多樣的裝置或裝置中實施,包括無線手機、積體電路(IC)或一組IC(例如,晶片組)。在本公開內容中描述了各種組件、模組或單元以強調被配置以執行所公開的技術的裝置的功能態樣,但是不一定需要通過不同的硬體單元來實施。確切而言,如上所述,各種單元可以被組合在編解碼器硬體單元中,或者由可互操作的硬體單元的集合(包括如上所述的一個或多個處理器)結合適當的軟體和/或韌體來提供。
已經描述了各個示例。這些和其它示例在所附的申請專利範圍的範疇內。
100:視訊編碼和解碼系統 102:源裝置 104:視訊源 106:記憶體 200:視訊編碼器 108:輸出介面 110:電腦可讀媒體 112:儲存裝置 114:檔案伺服器 116:目的地裝置 118:顯示裝置 120:記憶體 300:視訊解碼器 122:輸入介面 130:四叉樹二叉樹結構 132:寫碼樹單元 230:視訊資料記憶體 202:模式選擇單元 222:運動估計單元 224:運動補償單元 225:WMC單元 226:框內預測單元 204:殘差產生單元 214:重建單元 216:濾波單元 218:經解碼圖片緩衝器語法元素 212:逆轉換處理單元 206:轉換處理單元 208:量化單元 210:逆量化單元 220:熵編碼單元 320:CPB記憶體 302:熵解碼單元 306:逆量化單元 304:預測處理單元 316:運動補償單元 317:WMC單元 318:框內預測單元 308:逆轉換處理單元 310:重建構單元 312:濾波單元 314:DPB 500:步驟 502:步驟 600:步驟 602:步驟
圖1是示出可以執行本公開內容的技術的示例視訊編碼和解碼系統的框圖。
圖2A和圖2B是示出示例四叉樹二叉樹(QTBT)結構以及對應的寫碼樹單元(CTU)的概念圖。
圖3是示出可以執行本公開內容的技術的示例視訊編碼器的框圖。
圖4是示出可以執行本公開內容的技術的示例視訊解碼器的框圖。
圖5是示出用於對視訊資料的當前區塊進行編碼的示例方法的流程圖。
圖6是示出用於對視訊資料的當前區塊進行解碼的示例方法的流程圖。
600、602:步驟

Claims (30)

  1. 一種對視訊資料進行解碼的方法,該方法包括: 解析在圖片參數集(PPS)中的指示用於針對該視訊資料的當前區塊的環繞運動補償的偏移的語法元素;以及 基於用於環繞運動補償的該偏移來對該當前區塊進行幀間預測解碼。
  2. 如請求項1所述的方法,其中,該語法元素包括第一語法元素,該方法還包括: 解析在該PPS中的指示環繞運動補償是否被啟用的第二語法元素, 其中,解析在該PPS中的指示用於針對該當前區塊的環繞運動補償的該偏移的該語法元素包括:基於在該PPS中的指示環繞運動補償被啟用的該第二語法元素來解析該第一語法元素。
  3. 如請求項1所述的方法,其中,該語法元素包括第一語法元素,該方法還包括: 解析在序列參數集(SPS)中的指示環繞運動補償是否被啟用的第二語法元素,而不管圖片寬度如何。
  4. 如請求項3所述的方法,其中,該第二語法元素的指示環繞運動補償被啟用的值是基於該圖片寬度、最小區塊大小和最大區塊大小來約束的。
  5. 如請求項3所述的方法,其中,基於該第二語法元素指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度,MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括該當前區塊的圖片的該圖片寬度。
  6. 如請求項1所述的方法,其中,進行幀間預測解碼包括: 基於用於環繞運動補償的該偏移來產生預測區塊;以及 將該預測區塊加到殘差區塊上以重建該當前區塊。
  7. 一種用於對視訊資料進行解碼的設備,該設備包括: 儲存器,其被配置為儲存圖片參數集(PPS)中的語法元素;以及 處理電路,其被配置為: 解析在該PPS中的指示用於針對該視訊資料的當前區塊的環繞運動補償的偏移的語法元素;以及 基於用於環繞運動補償的該偏移來對該當前區塊進行幀間預測解碼。
  8. 如請求項7所述的設備,其中,該語法元素包括第一語法元素,並且其中,該處理電路被配置為: 解析在該PPS中的指示環繞運動補償是否被啟用的第二語法元素, 其中,為了解析在該PPS中的指示用於針對該當前區塊的環繞運動補償的該偏移的該語法元素,該處理電路被配置為:基於在該PPS中的指示環繞運動補償被啟用的該第二語法元素來解析該第一語法元素。
  9. 如請求項7所述的設備,其中,該語法元素包括第一語法元素,並且其中,該處理電路被配置為: 解析在序列參數集(SPS)中的指示環繞運動補償是否被啟用的第二語法元素,而不管圖片寬度如何。
  10. 如請求項9所述的設備,其中,該第二語法元素的指示環繞運動補償被啟用的值是基於該圖片寬度、最小區塊大小和最大區塊大小來約束的。
  11. 如請求項9所述的設備,其中,基於該第二語法元素指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度,MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括該當前區塊的圖片的該圖片寬度。
  12. 如請求項7所述的設備,其中,為了進行幀間預測解碼,該處理電路被配置為: 基於用於環繞運動補償的該偏移來產生預測區塊;以及 將該預測區塊加到殘差區塊上以重建該當前區塊。
  13. 如請求項7所述的設備,還包括顯示器,其被配置為顯示包括該當前區塊的圖片。
  14. 如請求項7所述的設備,還包括:相機、電腦、無線通信設備、廣播接收器設備或機頂盒中的至少一項。
  15. 一種對視訊資料進行編碼的方法,該方法包括: 基於用於環繞運動補償的偏移來對該視訊資料的當前區塊進行幀間預測編碼;以及 在圖片參數集(PPS)中用訊號通知指示用於針對該當前區塊的該環繞運動補償的該偏移的語法元素。
  16. 如請求項15所述的方法,其中,該語法元素包括第一語法元素,該方法還包括: 在該PPS中用訊號通知指示環繞運動補償是否被啟用的第二語法元素, 其中,在該PPS中用訊號通知指示用於針對該當前區塊的環繞運動補償的該偏移的該語法元素包括:基於在該PPS中的指示環繞運動補償被啟用的該第二語法元素來用訊號通知該第一語法元素。
  17. 如請求項15所述的方法,其中,該語法元素包括第一語法元素,該方法還包括: 在序列參數集(SPS)中用訊號通知指示環繞運動補償是否被啟用的第二語法元素,而不管圖片寬度如何。
  18. 如請求項17所述的方法,其中,該第二語法元素的指示環繞運動補償被啟用的值是基於該圖片寬度、最小區塊大小和最大區塊大小來約束的。
  19. 如請求項17所述的方法,其中,基於該第二語法元素指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度,MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括該當前區塊的圖片的該圖片寬度。
  20. 如請求項15所述的方法,其中,進行幀間預測編碼包括: 基於用於環繞運動補償的該偏移來產生預測區塊;以及 用訊號通知指示在該預測區塊與該當前區塊之間的差的殘差區塊的資訊。
  21. 一種用於對視訊資料進行編碼的設備,該設備包括: 儲存器,被配置為儲存圖片參數集(PPS)中的語法元素;以及 處理電路,其被配置為: 基於用於環繞運動補償的偏移來對該視訊資料的當前區塊進行幀間預測編碼;以及 在該PPS中用訊號通知指示用於針對該當前區塊的該環繞運動補償的該偏移的語法元素。
  22. 如請求項21所述的設備,其中,該語法元素包括第一語法元素,並且其中,該處理電路被配置為: 在該PPS中用訊號通知指示環繞運動補償是否被啟用的第二語法元素, 其中,為了在該PPS中用訊號通知指示用於針對該當前區塊的環繞運動補償的該偏移的該語法元素,該處理電路被配置為:基於在該PPS中的指示環繞運動補償被啟用的該第二語法元素來用訊號通知該第一語法元素。
  23. 如請求項21所述的設備,其中,該語法元素包括第一語法元素,並且其中,該處理電路被配置為: 在序列參數集(SPS)中用訊號通知指示環繞運動補償是否被啟用的第二語法元素,而不管圖片寬度如何。
  24. 如請求項23所述的設備,其中,該第二語法元素的指示環繞運動補償被啟用的值是基於該圖片寬度、最小區塊大小和最大區塊大小來約束的。
  25. 如請求項23所述的設備,其中,基於該第二語法元素指示環繞運動補償被啟用,(CtbSizeY / MinCbSizeY + 1)小於或等於(pic_width_in_luma_samples / MinCbSizeY − 1),其中,CtbSizeY是寫碼樹區塊的高度,MinCbSizeY指示最小寫碼區塊大小,並且pic_width_in_luma_samples指示包括該當前區塊的圖片的該圖片寬度。
  26. 如請求項21所述的設備,其中,為了進行幀間預測編碼,該處理電路被配置為: 基於用於環繞運動補償的該偏移來產生預測區塊;以及 用訊號通知指示在該預測區塊與該當前區塊之間的差的殘差區塊的資訊。
  27. 如請求項21所述的設備,還包括相機,其被配置為捕獲包括該當前區塊的圖片。
  28. 如請求項21該的設備,還包括:相機、電腦、無線通信設備、廣播接收器設備或機頂盒中的至少一項。
  29. 一種用於對視訊資料進行解碼的設備,該設備包括: 用於解析在圖片參數集(PPS)中的指示用於針對該視訊資料的當前區塊的環繞運動補償的偏移的語法元素的元件;以及 用於基於用於環繞運動補償的該偏移來對該當前區塊進行幀間預測解碼的元件。
  30. 一種具有儲存在其上的指令的電腦可讀儲存媒體,該指令在被執行時使得一個或多個處理器進行以下操作: 解析在圖片參數集(PPS)中的指示用於針對該視訊資料的當前區塊的環繞運動補償的偏移的語法元素;以及 基於用於環繞運動補償的該偏移來對該當前區塊進行幀間預測解碼。
TW109124828A 2019-07-23 2020-07-22 用於視訊寫碼的環繞運動補償 TW202110189A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962877751P 2019-07-23 2019-07-23
US62/877,751 2019-07-23
US16/934,483 2020-07-21
US16/934,483 US11095916B2 (en) 2019-07-23 2020-07-21 Wraparound motion compensation in video coding

Publications (1)

Publication Number Publication Date
TW202110189A true TW202110189A (zh) 2021-03-01

Family

ID=74190584

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109124828A TW202110189A (zh) 2019-07-23 2020-07-22 用於視訊寫碼的環繞運動補償

Country Status (6)

Country Link
US (1) US11095916B2 (zh)
EP (1) EP4005209A1 (zh)
KR (1) KR20220032563A (zh)
CN (1) CN114128286A (zh)
TW (1) TW202110189A (zh)
WO (1) WO2021016315A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114287135A (zh) 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
US20220385888A1 (en) * 2019-09-20 2022-12-01 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
CN114641992B (zh) * 2019-10-23 2024-04-05 北京字节跳动网络技术有限公司 参考图片重采样的信令
JP7395727B2 (ja) 2019-10-23 2023-12-11 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶方法
MX2022005905A (es) * 2019-11-15 2022-06-24 Hfi Innovation Inc Metodo y aparato para se?alizacion de compensacion de movimiento envolvente horizontal en la codificacion de video vr360.
WO2021100863A1 (en) * 2019-11-22 2021-05-27 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
US11539939B2 (en) * 2019-11-27 2022-12-27 Hfi Innovation Inc. Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems
US11711537B2 (en) * 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11412253B2 (en) * 2020-02-24 2022-08-09 Alibaba Group Holding Limited Methods for combining decoder side motion vector refinement with wrap-around motion compensation
EP4128776A4 (en) * 2020-03-26 2024-01-10 Alibaba Group Holding Ltd METHODS FOR SIGNALING VIDEO CODING DATA
CN115349263A (zh) * 2020-05-19 2022-11-15 谷歌有限责任公司 质量归一化视频转码的动态参数选择

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー 360度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
TWI822863B (zh) * 2018-09-27 2023-11-21 美商Vid衡器股份有限公司 360度視訊寫碼樣本導出
US11689724B2 (en) * 2018-11-02 2023-06-27 Sharp Kabushiki Kaisha Systems and methods for reference offset signaling in video coding
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
WO2020149648A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 변환 스킵 플래그를 이용한 영상 코딩 방법 및 장치
EP4358036A2 (en) * 2019-03-11 2024-04-24 Huawei Technologies Co., Ltd. Interpolation filter clipping for sub-picture motion vectors

Also Published As

Publication number Publication date
EP4005209A1 (en) 2022-06-01
KR20220032563A (ko) 2022-03-15
WO2021016315A1 (en) 2021-01-28
US20210029371A1 (en) 2021-01-28
CN114128286A (zh) 2022-03-01
US11095916B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
TW202110189A (zh) 用於視訊寫碼的環繞運動補償
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
TW202143717A (zh) 視頻譯碼中的亮度映射與色度縮放(lmcs)
TW202101989A (zh) 用於視訊寫碼之參考圖像重採樣及框間寫碼工具
CN114009026A (zh) 视频译码中的色度量化参数偏移的块级信令
TW202127886A (zh) 用於視頻譯碼的圖像標頭信令
TW201735608A (zh) 用於產生對視訊之顏色再映射資訊之補充增強資訊訊息之方法及系統
TW202127873A (zh) 用於視頻寫碼中的子圖片的參考子圖片縮放比率
TW202135531A (zh) 用於視訊編解碼的經解碼圖片緩衝器(dpb)參數訊號傳遞通知
TW202131676A (zh) 視訊編碼中針對參考圖片重取樣的環繞偏移
TW202127887A (zh) 視訊解碼中用於聯合色度殘差模式的量化參數訊號傳遞
TW202126040A (zh) 用於視訊編碼的簡化的調色板預測器更新
TW202106023A (zh) 調色板模式下的增量量化參數訊令
TW202127893A (zh) 用於視頻編碼中的參考圖片重採樣的參考圖片縮放比
TW202133612A (zh) 用於視訊解碼的基於塊的增量脈衝解碼調制
TW202203653A (zh) 用於視頻譯碼的語法元素的一般約束
TW202143711A (zh) 用於具有混合網路抽象層(nal)單元類型的視訊的高階語法
TW202133621A (zh) 支援有損解碼和無損解碼兩者的殘差解碼
TW202131698A (zh) 多層的共享解碼器圖片緩衝器
TW202119820A (zh) 視訊寫碼中之色度差量量化參數
TW202141988A (zh) 用於視訊譯碼中的變換跳過區塊的高級約束
TW202133615A (zh) 基於色度變換跳過的用於色度的lfnst信號傳遞
TW202143735A (zh) 用於視訊資料的語法元素的訊號傳遞
TW202127874A (zh) 用於視訊編碼中的自我調整色彩變換的qp 偏移的靈活訊號傳遞
TW202143722A (zh) 在視訊解碼中的經解碼視訊序列起點存取單元