TW202127893A - 用於視頻編碼中的參考圖片重採樣的參考圖片縮放比 - Google Patents

用於視頻編碼中的參考圖片重採樣的參考圖片縮放比 Download PDF

Info

Publication number
TW202127893A
TW202127893A TW109144365A TW109144365A TW202127893A TW 202127893 A TW202127893 A TW 202127893A TW 109144365 A TW109144365 A TW 109144365A TW 109144365 A TW109144365 A TW 109144365A TW 202127893 A TW202127893 A TW 202127893A
Authority
TW
Taiwan
Prior art keywords
reference picture
picture
resampling
block
video
Prior art date
Application number
TW109144365A
Other languages
English (en)
Inventor
張耀仁
法迪姆 塞瑞金
穆漢麥德 傑德 柯本
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202127893A publication Critical patent/TW202127893A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視頻編碼器和視頻解碼器可以被配置為：在參考圖片縮放被啟用的情況下禁用子圖片處理。在另一示例中，當參考圖片縮放被啟用時，視頻編碼器可以基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比。PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限。

Description

用於視頻編碼中的參考圖片重採樣的參考圖片縮放比
本申請主張於2019年12月20日提交的美國臨時申請No. 62/951,961的權益，該臨時申請的全部內容透過引用的方式被併入本文。
本公開內容涉及視頻編碼和視頻解碼。
可以將數位視頻能力併入廣泛範圍的設備中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理（PDA）、桌上型或膝上型計算機、平板計算機、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放器、視頻遊戲設備、視頻遊戲控制台、蜂窩式或衛星無線電話、所謂的"智能電話"、視頻電話會議設備、視頻串流傳輸設備等等。數位視頻設備實現視頻編碼技術，例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高級視頻編碼（AVC）、ITU-T H.265/高效率視頻編碼（HEVC）定義的標準以及此類標準的擴展中描述的那些視頻編碼技術。視頻設備可以透過實現此類視頻編碼技術來更高效率地發送、接收、編碼、解碼和/或儲存數位視頻資訊。
視頻編碼技術包括空間（圖片內）預測和/或時間（圖片間）預測以減少或移除視頻序列中固有的冗餘性。對於基於區塊的視頻編碼，可以將視頻切片（例如，視頻圖片或視頻圖片的一部分）分割成視頻區塊，這些視頻區塊也可以被稱為編碼樹單元（CTU）、編碼單元（CU）和/或編碼節點。圖片的幀內編碼（I）切片中的視頻區塊使用針對相同圖片中的相鄰區塊中的參考樣本的空間預測來進行編碼。圖片的幀間編碼（P或B）切片中的視頻區塊可以使用針對相同圖片中的相鄰區塊中的參考樣本的空間預測或者針對其它參考圖片中的參考樣本的時間預測。圖片也可以被稱為幀，並且參考圖片可以被稱為參考幀。
概括地說，本公開內容描述了用於參考圖片重採樣的技術，包括用於基於對參考圖片重採樣的使用來決定子圖片處理的技術以及用於限制參考圖片縮放比的技術。在一些示例中，視頻編碼器可以被配置為：當參考圖片的大小（例如，在像素數方面）與正被編碼的當前圖片不同時，執行參考圖片重採樣技術。參考圖片重採樣可以包括：對參考圖片執行縮放程序（例如，參考圖片縮放）。視頻編碼器還可以被配置為：使用子圖片處理來處理視頻資料的圖片。在子圖片處理中，視頻編碼器可以將子圖片定義為圖片的包括多個CTU的區域，其中該區域小於整個圖片。視頻編碼器和視頻解碼器隨後可以將子圖片視同圖片來處理，排除環內濾波操作。
在本公開內容的一個示例中，視頻編碼器和視頻解碼器可以被配置為：在參考圖片縮放被啟用的情況下禁用子圖片處理。同時應用參考圖片縮放和子圖片處理會導致增加的失真和/或降低的編碼效率。
在本公開內容的另一示例中，當參考圖片縮放被啟用時，視頻編碼器可以基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比。在該示例中，PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限。該限制避免了縮放比落在最佳範圍（例如，1/8至2之間的縮放比）之外的情況，並且因此可以提高編碼效率和/或減少失真。
在一個示例中，本公開內容描述了一種對視頻資料進行解碼的方法。所述方法可以包括：接收視頻資料的當前圖片，以及決定參考圖片重採樣對於當前圖片被啟用。所述方法還可以包括：基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼。
在另一示例中，本公開內容描述了一種被配置為對視頻資料進行解碼的裝置，所述裝置包括：被配置為儲存視頻資料的記憶體，以及在電路中實現並與所述記憶體相通信的一個或多個處理器。所述一個或多個處理器可以被配置為：接收所述視頻資料的當前圖片；決定參考圖片重採樣針對所述當前圖片被啟用；基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼。
在另一示例中，本公開內容描述了一種被配置為對視頻資料進行解碼的裝置，所述裝置包括：用於接收視頻資料的當前圖片的構件；以及用於決定參考圖片重採樣針對當前圖片被啟用的構件；所述裝置還包括：用於基於參考圖片重採樣被啟用而禁用針對當前圖片的子圖片處理的構件；以及用於使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼的構件。
在另一示例中，一種儲存指令的非暫時性計算機可讀儲存媒體，所述指令在被執行時使得被配置為對視頻資料進行解碼的一個或多個處理器進行以下操作：接收所述視頻資料的當前圖片；決定參考圖片重採樣針對所述當前圖片被啟用；基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼。
在另一示例中，本公開內容描述了一種被配置為對視頻資料進行編碼的裝置，所述裝置包括：被配置為儲存視頻資料的記憶體，以及在電路中實現並與所述記憶體相通信的一個或多個處理器。所述一個或多個處理器可以被配置為：接收所述視頻資料的當前圖片；決定參考圖片重採樣針對所述當前圖片被啟用；基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及使用所述參考圖片重採樣來對所述當前圖片的區塊進行編碼。
在圖式和以下描述中闡述了一個或多個示例的細節。其它特徵、目標和優點透過本描述、圖式和申請專利範圍將是顯而易見的。
概括地說，本公開內容描述了用於參考圖片重採樣的技術，包括用於基於對參考圖片重採樣的使用來決定子圖片處理的技術以及用於限制參考圖片縮放比的技術。在一些示例中，視頻編碼器和視頻解碼器可以被配置為：當參考圖片的大小（例如，在像素數方面）與正被編碼的當前圖片不同時，執行參考圖片重採樣技術。參考圖片重採樣可以包括：對參考圖片執行縮放程序（例如，參考圖片縮放）。
視頻編碼器和視頻解碼器還可以被配置為：使用子圖片處理來處理視頻資料的圖片。在子圖片處理中，視頻編碼器可以將子圖片定義為圖片的包括多個CTU的區域，其中該區域小於整個圖片。視頻編碼器和視頻解碼器隨後可以將子圖片視同圖片來處理，排除環內濾波操作。
通常，在使用子圖片處理時，優選不應用參考圖片縮放，因為子圖片需要小於參考圖片。然而，用於決定對參考圖片縮放的使用的示例性技術是基於對參考圖片重採樣和/或縮放視窗的啟用。
在本公開內容的一個示例中，視頻編碼器和視頻解碼器可以被配置為：在參考圖片縮放被啟用的情況下禁用子圖片處理。同時應用參考圖片縮放和子圖片處理會導致增加的失真和/或降低的編碼效率。
在本公開內容的另一示例中，當參考圖片縮放被啟用時，視頻編碼器可以基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比。在該示例中，PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限。該限制避免了縮放比落在最佳範圍（例如，1/8至2之間的縮放比）之外的情況，並且因此可以提高編碼效率和/或減少失真。
圖1是示出了可以執行本公開內容的技術的示例性視頻編碼和解碼系統100的方塊圖。本公開內容的技術通常涉及對視頻資料進行譯碼（編碼和/或解碼）。通常，視頻資料包括用於對視頻進行處理的任何資料。因此，視頻資料可以包括原始的未經編碼視頻、經編碼視頻、經解碼（例如，經重構）視頻、以及視頻元資料，例如信令資料。
如圖1中所示，在該示例中，系統100包括提供經編碼視頻資料的來源設備102，該經編碼視頻資料將由目的地設備116解碼和顯示。具體而言，來源設備102經由計算機可讀媒體110向目的地設備116提供視頻資料。來源設備102和目的地設備116可以包括廣泛範圍的設備中的任何設備，包括桌上型計算機、筆記型（即，膝上型）計算機、行動設備、平板計算機、機上盒、電話手持設備（例如智能電話）、電視、相機、顯示設備、數位媒體播放器、視頻遊戲控制台、視頻串流傳輸設備、廣播接收機設備等等。在一些情況下，來源設備102和目的地設備116可以被裝備用於無線通信，並且因此可以被稱為無線通信設備。
在圖1的示例中，來源設備102包括視頻源104、記憶體106、視頻編碼器200、以及輸出介面108。目的地設備116包括輸入介面122、視頻解碼器300、記憶體120、以及顯示設備118。根據本公開內容，來源設備102的視頻編碼器200和目的地設備116的視頻解碼器300可以被配置為：應用用於參考圖片重採樣的技術。因此，來源設備102表示視頻編碼設備的示例，而目的地設備116表示視頻解碼設備的示例。在其它示例中，來源設備和目的地設備可以包括其它元件或佈置。例如，來源設備102可以從外部視頻源（例如外部相機）接收視頻資料。類似地，目的地設備116可以與外部顯示設備對接，而不是包括積體的顯示設備。
如圖1中所示的系統100僅僅是一個示例。通常，任何數位視頻編碼和/或解碼設備可以執行用於參考圖片重採樣的技術。來源設備102和目的地設備116僅僅是此類譯碼設備的示例，其中來源設備102產生經編碼視頻資料以供傳輸至目的地設備116。本公開內容將"譯碼"設備稱為對資料執行譯碼（編碼和/或解碼）的設備。因此，視頻編碼器200和視頻解碼器300表示譯碼設備的示例，具體而言，分別表示視頻編碼器和視頻解碼器的示例。在一些示例中，來源設備102和目的地設備116可以用基本上對稱的方式來操作，以使得來源設備102和目的地設備116中的每個設備包括視頻編碼和解碼元件。因此，系統100可以支持來源設備102與目的地設備116之間的單向或雙向視頻傳輸，例如，用於視頻串流傳輸、視頻回放、視頻廣播、或視頻電話。
通常，視頻源104表示視頻資料的來源（例如，原始的未經編碼視頻資料），並向視頻編碼器200提供視頻資料的連續一系列圖片（也被稱為"幀"），視頻編碼器200對圖片的資料進行編碼。來源設備102的視頻源104可以包括視頻擷取設備，例如視頻相機、包含先前擷取的原始視頻的視頻存檔、和/或用於從視頻內容提供方接收視頻的視頻饋送介面。作為另外的替代方案，視頻源104可以產生基於計算機圖形的資料作為來源視頻，或者實況視頻、存檔視頻和計算機產生的視頻的組合。在每種情況下，視頻編碼器200對擷取的、預先擷取的、或計算機產生的視頻資料進行編碼。視頻編碼器200可以將圖片從接收到的順序（有時被稱為"顯示順序"）重新佈置成用於編碼的編碼順序。視頻編碼器200可以產生包括經編碼視頻資料的位元串流。來源設備102隨後可以經由輸出介面108將經編碼視頻資料輸出到計算機可讀媒體110上以供由例如目的地設備116的輸入介面122接收和/或取回。
來源設備102的記憶體106和目的地設備116的記憶體120表示通用記憶體。在一些示例中，記憶體106、120可以儲存原始視頻資料，例如，來自視頻源104的原始視頻以及來自視頻解碼器300的原始經解碼視頻資料。另外地或替代地，記憶體106、120可以分別儲存可由例如視頻編碼器200和視頻解碼器300執行的軟體指令。儘管在該示例中記憶體106和記憶體120與視頻編碼器200和視頻解碼器300分開地示出，但應該理解，視頻編碼器200和視頻解碼器300也可以包括內部記憶體以用於功能上類似或等效的目的。此外，記憶體106、120可以儲存例如從視頻編碼器200輸出並輸入到視頻解碼器300的經編碼視頻資料。在一些示例中，記憶體106、120的各部分可以被分配為一個或多個視頻緩衝器，例如，以儲存原始、經解碼和/或經編碼視頻資料。
計算機可讀媒體110可以表示能夠將經編碼視頻資料從來源設備102傳輸到目的地設備116的任何類型的媒體或設備。在一個示例中，計算機可讀媒體110表示通信媒體，以使得來源設備102能夠例如經由射頻網路或基於計算機的網路即時地將經編碼視頻資料直接發送給目的地設備116。輸出介面108可以根據通信標準（例如無線通信協定）對包括經編碼視頻資料的傳輸信號進行調變，並且輸入介面122可以根據該通信標準對接收到的傳輸信號進行解調。通信媒體可以包括任何無線或有線通信媒體，例如射頻（RF）頻譜或一個或多個實體傳輸線。通信媒體可以形成基於封包的網路的一部分，例如區域網路、廣域網路、或諸如網際網路之類的全域網路。通信媒體可以包括路由器、交換機、基地台、或可以用於促進從來源設備102到目的地設備116的通信的任何其它設備。
在一些示例中，來源設備102可以將經編碼資料從輸出介面108輸出到儲存設備112。類似地，目的地設備116可以經由輸入介面122來存取來自儲存設備112的經編碼資料。儲存設備112可以包括各種分散式或本地存取的資料儲存媒體中的任何資料儲存媒體，例如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、或用於儲存經編碼視頻資料的任何其它適當的數位儲存媒體。
在一些示例中，來源設備102可以將經編碼視頻資料輸出到檔案伺服器114或可以儲存由來源設備102產生的經編碼視頻資料的另一中間儲存設備。目的地設備116可以經由串流傳輸或下載來從檔案伺服器114存取所儲存視頻資料。
檔案伺服器114可以是能夠儲存經編碼視頻資料並將該經編碼視頻資料發送給目的地設備116的任何類型的伺服器設備。檔案伺服器114可以表示網頁伺服器（例如，用於網站）、被配置為提供檔案傳輸協定服務（例如，檔案傳輸協定（FTP）或單向檔案傳輸（FLUTE）協定）的伺服器、內容傳遞網路（CDN）設備、超文本傳輸協定（HTTP）伺服器、多媒體廣播多播服務（MBMS）或增強型MBMS（eMBMS）伺服器、和/或網路附接儲存（NAS）設備。另外地或替代地，檔案伺服器114可以實現一個或多個HTTP串流傳輸協定，例如HTTP上的動態自適應串流傳輸（DASH）、HTTP實況串流傳輸（HLS）、即時串流傳輸協定（RTSP）、HTTP動態串流傳輸等等。
目的地設備116可以透過任何標準資料連接（包括網際網路連接）從檔案伺服器114存取經編碼視頻資料。這可以包括適合存取儲存在檔案伺服器114上的經編碼視頻資料的無線信道（例如，Wi-Fi連接）、有線連接（例如，數位用戶線（DSL）、纜線數據機等等）、或兩者的組合。輸入介面122可以被配置為：根據上面討論的用於從檔案伺服器114取回或接收媒體資料的各種協定、或用於取回媒體資料的其它此類協定中的任何一種或多種協定來操作。
輸出介面108和輸入介面122可以表示無線發射機/接收機、數據機、有線網路元件（例如，乙太網卡）、根據IEEE 802.11標準的任何變型來操作的無線通信元件、或其它實體元件。在輸出介面108和輸入介面122包括無線元件的示例中，輸出介面108和輸入介面122可以被配置為：根據蜂窩式通信標準（例如4G、4G-LTE（長期演進）、改進的LTE、5G等等）來傳輸資料，例如經編碼視頻資料。在輸出介面108包括無線發射機的一些示例中，輸出介面108和輸入介面122可以被配置為：根據其它無線標準（例如，IEEE 802.11規範、IEEE 802.15規範（例如，ZigBeeTM ）、藍牙TM 標準等等）來傳輸資料，例如經編碼視頻資料。在一些示例中，來源設備102和/或目的地設備116可以包括相應的單晶片系統（SoC）設備。例如，來源設備102可以包括用於執行歸因於視頻編碼器200和/或輸出介面108的功能的SoC設備，並且目的地設備116可以包括用於執行歸因於視頻解碼器300和/或輸入介面122的功能的SoC設備。
本公開內容的技術可以應用於視頻編碼以支持各種多媒體應用中的任何多媒體應用，例如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流傳輸視頻傳輸、例如HTTP上的動態自適應串流傳輸（DASH），被編碼到資料儲存媒體上的數位視頻，對儲存在資料儲存媒體上的數位視頻的解碼，或其它應用。
目的地設備116的輸入介面122從計算機可讀媒體110（例如，通信媒體、儲存設備112、檔案伺服器114等等）接收經編碼視頻位元串流。經編碼視頻位元串流可以包括由視頻編碼器200定義以及由視頻解碼器300使用的信令資訊，例如具有描述視頻區塊或其它經編碼單元（例如，切片、圖片、圖片組、序列等等）的特性和/或處理的值的語法元素。顯示設備118向用戶顯示經解碼視頻資料的經解碼圖片。顯示設備118可以表示各種顯示設備中的任何顯示設備，例如液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器、或另一類型的顯示設備。
儘管在圖1中未示出，但在一些示例中，視頻編碼器200和視頻解碼器300可以均與音頻編碼器和/或音頻解碼器整合，並且可以包括適當的MUX-DEMUX單元或其他硬體和/或軟體，以處理在共同資料串流中包括音頻和視頻兩者的多工化串流。如果適用，MUX-DEMUX單元可以符合ITU H.223多工器協定或其他協定，例如用戶資料報協定（UDP）。
視頻編碼器200和視頻解碼器300均可以實現為各種合適的編碼器電路和/或解碼器電路中的任何一種，例如一個或多個微處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可編程閘陣列（FPGA）、離散邏輯單元、軟體、硬體、韌體或其任何組合。當技術部分地以軟體來實現時，設備可以將用於軟體的指令儲存在合適的非暫時性計算機可讀媒體中，並使用一個或多個處理器執行硬體中的指令以執行本公開內容的技術。視頻編碼器200和視頻解碼器300中的每一者可以被包括在一個或多個編碼器或解碼器中，編碼器或解碼器中的任一者可以被整合為相應設備中的組合編碼器/解碼器（CODEC）的一部分。包括視頻編碼器200和/或視頻解碼器300的設備可以包括積體電路、微處理器和/或無線通信設備，例如蜂窩式電話。
視頻編碼器200和視頻解碼器300可以根據視頻編碼標準來操作，例如ITU-T H.265，也被稱為高效率視頻編碼（HEVC）或其擴展，例如多視域和/或可縮放視頻編碼擴展。替代地，視頻編碼器200和視頻解碼器300可以根據其他專屬或產業標準（例如聯合探索測試模型（JEM）或ITU-T H.266（也被稱為通用視頻編碼（VVC）））來操作。Bross等人在ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組（JVET）第16次會議（2019年10月1日至11日，日內瓦，瑞士，JVET-P2001-v9）中在"通用視頻編碼（草案7）"（下文稱為"VVC草案7"）中描述了VVC標準的最新草案。參考軟體被稱為VVC測試模型（VTM）。然而，本公開內容的技術不限於任何特定的編碼標準。
通常，視頻編碼器200和視頻解碼器300可以對圖片執行基於區塊的譯碼。術語"區塊"通常是指包括要處理（例如，編碼、解碼、或在編碼和/或解碼程序中使用的其它處理）的資料的結構。例如，區塊可以包括亮度和/或色度資料的樣本的二維矩陣。通常，視頻編碼器200和視頻解碼器300可以對以YUV（例如，Y, Cb, Cr）格式表示的視頻資料進行譯碼。即，視頻編碼器200和視頻解碼器300可以對亮度和色度分量進行譯碼，而不是對圖片樣本的紅、綠和藍（RGB）資料進行譯碼，其中色度分量可以包括紅色調和藍色調色度分量兩者。在一些示例中，視頻編碼器200將接收到的RGB格式資料在編碼之前轉換為YUV表示，並且視頻解碼器300將YUV表示轉換為RGB格式。替代地，處理前和處理後單元（未示出）可以執行這些轉換。
本公開內容通常可以引用對圖片的譯碼（例如，編碼和解碼）以包括對圖片資料進行編碼或解碼的程序。類似地，本公開內容可以引用對圖片區塊的譯碼以包括對區塊的資料進行編碼或解碼的程序，例如，預測和/或殘差編碼。經編碼視頻位元串流通常包括表示編碼決策（編碼模式）並將圖片分割成區塊的語法元素的一系列值。因此，引用對圖片或區塊進行編碼通常應該被理解為對形成圖片或區塊的語法元素的值進行編碼。
HEVC定義各種區塊，包括編碼單元（CU）、預測單元（PU）以及轉換單元（TU）。根據HEVC，視頻編碼器（例如視頻編碼器200）根據四元樹結構將編碼樹單元（CTU）分割成CU。即，視頻編碼器將CTU和CU分割成四個均等的、非重疊方形，並且四元樹的每個節點有零個或四個子節點。沒有子節點的節點可以被稱為"葉節點"，並且此類葉節點的CU可以包括一個或多個PU和/或一個或多個TU。視頻編碼器還可以分割PU和TU。例如，在HEVC中，殘差四元樹（RQT）表示對TU的分割。在HEVC中，PU表示幀間預測資料，而TU表示殘差資料。幀內預測的CU包括幀內預測資訊，例如模式內指示。
舉另一示例，視頻編碼器200和視頻解碼器300可以被配置為根據VVC來操作。根據VVC，視頻編碼器（例如視頻編碼器200）將圖片分割成多個編碼樹單元（CTU）。視頻編碼器200可以根據樹結構（例如四元樹二元樹（QTBT）結構或多類型樹（MTT）結構）來分割CTU。QTBT結構移除了多種分割類型的概念，例如HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個層級：根據四元樹分割進行分割的第一層級，以及根據二元樹分割進行分割的第二層級。QTBT結構的根節點對應於CTU。二元樹的葉節點對應於編碼單元（CU）。
在MTT分割結構中，可以使用四元樹（QT）分割、二元樹（BT）分割、以及一種或多種類型的三叉樹（TT）（也被稱為三元樹（TT））分割來分割區塊。三叉樹或三元樹分割是其中將區塊劃分成三個子區塊的分割。在一些示例中，三叉樹或三元樹分割將區塊劃分成三個子區塊而不會穿過中心來劃分原始區塊。MTT中的分割類型（例如，QT、BT和TT）可以是對稱的或非對稱的。
在一些示例中，視頻編碼器200和視頻解碼器300可以使用單個QTBT或MTT結構來表示亮度和色度分量中的每個分量，而在其它示例中，視頻編碼器200和視頻解碼器300可以使用兩個或更多個QTBT或MTT結構，例如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一QTBT/MTT結構（或用於相應的色度分量的兩個QTBT/MTT結構）。
視頻編碼器200和視頻解碼器300可以被配置為：使用每HEVC的四元樹分割、QTBT分割、MTT分割、或其它分割結構。出於解釋的目的，針對QTBT分割來給出本公開內容的技術的描述。然而，應該理解，本公開內容的技術還可以應用於被配置為使用四元樹分割、或其它類型的分割的視頻編碼器。
在一些示例中，CTU包括具有三個樣本陣列的圖片的亮度樣本的編碼樹區塊（CTB）、該圖片的色度樣本的兩個對應CTB、或者單色圖片或使用用於對樣本進行編碼的三個單獨色彩平面和語法結構來編碼的圖片的樣本的CTB。CTB可以是對於某個N值的樣本的N×N區塊，以使得分量到CTB的劃分是分割。分量是構成4:2:0、4:2:2或4:4:4顏色格式的圖片的陣列或三個陣列（亮度和兩個色度）中的一個陣列的單個樣本，或者構成單色形式的圖片的陣列或陣列的單個樣本。在一些示例中，編碼區塊是對於某個M和N值的樣本的M×N區塊，以使得CTB到編碼區塊的劃分是分割。
可以用各種方式將區塊（例如，CTU或CU）編組到圖片中。舉一個示例，砌區塊可以指圖片中的特定瓦區塊內的CTU行的矩陣區域。瓦區塊可以是圖片中特定瓦區塊列和特定瓦區塊行內的CTU的矩陣區域。瓦區塊列是指具有與圖片高度相等的高度以及由語法元素（例如，諸如在圖片參數集合）指定的寬度的CTU的矩陣區域。瓦區塊行是指具有由語法元素（例如，諸如在圖片參數集合）指定的高度以及與圖片寬度相等的寬度的CTU的矩陣區域。
在一些示例中，可以將瓦區塊分割成多個砌區塊，每個砌區塊可以包括瓦區塊內的一個或多個CTU行。未被分割成多個砌區塊的瓦區塊也可以被稱為砌區塊。然而，作為瓦區塊的真子集的砌區塊可能無法被稱為瓦區塊。
圖片中的砌區塊還可以被佈置在切片中。切片可以是圖片的可以專門包含在單個網路抽象層（NAL）單元中的整數數量的砌區塊。在一些示例中，切片包括多個完整瓦區塊或者僅一個瓦區塊的連續序列的完整砌區塊。
本公開內容可以互換地使用"N×N"和"N乘N"來指區塊（例如CU或其它視頻區塊）在垂直和水平維度方面的樣本維度，例如，16×16樣本或16乘16樣本。通常，16×16 CU將具有垂直方向上的16個樣本（y = 16）和水平方向上的16個樣本（x = 16）。類似地，N×N CU通常具有垂直方向上的N個樣本和水平方向上的N個樣本，其中N表示非負整數值。CU中的樣本可以被佈置為行和列。此外，CU在水平方向上不一定需要具有與垂直方向上相同數量的樣本。例如，CU可以包括N×M樣本，其中M不必等於N。
視頻編碼器200對CU的表示預測和/或殘差資訊以及其它資訊的視頻資料進行編碼。預測資訊指示將如何預測CU以便形成該CU的預測區塊。殘差資訊通常表示在編碼之前CU的樣本與預測區塊之間的逐樣本差。
為了預測CU，視頻編碼器200通常可以透過幀間預測或幀內預測來形成CU的預測區塊。幀間預測通常是指從先前經編碼圖片的資料中預測CU，而幀內預測通常是指從相同圖片的先前經編碼資料中預測CU。為了執行幀間預測，視頻編碼器200可以使用一個或多個運動向量來產生預測區塊。視頻編碼器200通常可以執行運動搜索以識別例如在CU與參考區塊之間的差值方面與CU緊密匹配的參考區塊。視頻編碼器200可以使用絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）或其他此類差值計算來計算差值度量，以決定參考區塊是否與當前CU緊密匹配。在一些示例中，視頻編碼器200可以使用單向預測或雙向預測來預測當前CU。
VVC的一些示例還提供仿射運動補償模式，這可以被視為幀間預測模式。在仿射運動補償模式中，視頻編碼器200可以決定表示非平移運動（例如放大或縮小、旋轉、透視運動、或其它不規則運動類型）的兩個或更多個運動向量。
為了執行幀內預測，視頻編碼器200可以選擇幀內預測模式來產生預測區塊。VVC的一些示例提供67種幀內預測模式，包括各種定向模式以及平面模式和DC模式。通常，視頻編碼器200選擇描述當前區塊（例如，CU的區塊）的相鄰樣本的幀內預測模式，從這些相鄰樣本預測當前區塊的樣本。假定視頻編碼器200以光柵掃描順序（從左到右，從上到下）對CTU和CU進行編碼，則此類樣本通常可以在與當前區塊相同的圖片中當前區塊的上方、左上方、或左側。
視頻編碼器200對表示當前區塊的預測模式的資料進行編碼。例如，對於幀間預測模式，視頻編碼器200可以對表示使用哪些各種可用幀間預測模式的資料以及對應模式的運動資訊進行編碼。對於單向或雙向幀間預測，例如，視頻編碼器200可以使用高級運動向量預測（AMVP）或合併模式來對運動向量進行編碼。視頻編碼器200可以使用類似模式對仿射運動補償模式的運動向量進行編碼。
在預測（例如區塊的幀內預測或幀間預測）之後，視頻編碼器200可以計算區塊的殘差資料。殘差資料（例如殘差區塊）表示區塊與該區塊的使用對應預測模式形成的預測區塊之間的逐樣本差。視頻編碼器200可以向殘差區塊應用一個或多個轉換，以產生轉換域而不是樣本域中的經轉換資料。例如，視頻編碼器200可以向殘差視頻資料應用離散餘弦轉換（DCT）、整數轉換、小波轉換或概念上類似的轉換。另外，視頻編碼器200可以在第一轉換之後應用次級轉換，例如模式相關的不可分離次級轉換（MDNSST）、信號相關轉換、Karhunen-Loeve轉換（KLT）等等。視頻編碼器200在應用該一個或多個轉換之後產生轉換係數。
如上面提到的，在進行任何轉換以產生轉換係數之後，視頻編碼器200可以執行對轉換係數的量化。量化通常是指將轉換係數量化以可能地減少用於表示轉換係數的資料量的程序，從而提供進一步壓縮。透過執行量化程序，視頻編碼器200可以減少與一些或全部量化係數相關聯的位元度。例如，視頻編碼器200可以在量化期間將n位元值捨入為m位元值，其中n大於m。在一些示例中，為了執行量化，視頻編碼器200可以執行對要量化的值的按位元右移。
在量化之後，視頻編碼器200可以掃描轉換係數，從而從包括經量化轉換係數的二維矩陣中產生一維向量。掃描可以被設計為：將較高能量（並且因此較低頻率）轉換係數置於向量前面，並將較低能量（並且因此較高頻率）轉換係數置於向量後面。在一些示例中，視頻編碼器200可以利用預先定義的掃描順序來掃描經量化轉換係數以產生序列化向量，並且隨後採用對向量的經量化轉換係數進行熵編碼。在其它示例中，視頻編碼器200可以執行自適應掃描。在掃描經量化轉換係數以形成一維向量之後，視頻編碼器200可以例如根據上下文自適應二進制算術編碼（CABAC）對該一維向量進行熵編碼。視頻編碼器200還可以對描述與經編碼資料相關聯的元資料的語法元素的值進行熵編碼，以供視頻解碼器300在對視頻資料進行解碼時使用。
為了執行CABAC，視頻編碼器200可以將上下文模型內的上下文分配給要發送的符號。該上下文可以涉及例如符號的相鄰值是否是零值。概率決定可以基於分配給符號的上下文。
視頻編碼器200還可以例如在圖片標頭、區塊標頭、切片標頭中產生針對視頻解碼器300的語法資料（例如基於區塊的語法資料、基於圖片的語法資料、以及基於序列的語法資料）或者其它語法資料（例如序列參數集（SPS）、圖片參數集（PPS）或視頻參數集（VPS））。視頻解碼器300可以類似地對此類語法資料進行解碼以決定如何解碼對應的視頻資料。
以此方式，視頻編碼器200可以產生包括經編碼視頻資料的位元串流，例如，描述將圖片分割成區塊（例如，CU）的語法元素以及區塊的預測和/或殘差資訊。最終，視頻解碼器300可以接收位元串流並對經編碼視頻資料進行解碼。
通常，視頻解碼器300執行與由視頻編碼器200執行的程序相反的程序，以對位元串流的經編碼視頻資料進行解碼。例如，視頻解碼器300可以使用CABAC，以與視頻編碼器200的CABAC編碼程序基本上類似（儘管與之相反）的方式來對位元串流的語法元素的值進行解碼。語法元素可以定義用於根據對應的分割結構（例如QTBT結構）將圖片分割成CTU並分割每個CTU的分割資訊以定義CTU的CU。語法元素還可以定義視頻資料的區塊（例如，CU）的預測和殘差資訊。
殘差資訊可以由例如經量化轉換係數來表示。視頻解碼器300可以對區塊的經量化轉換係數進行逆量化和逆轉換以再現該區塊的殘差區塊。視頻解碼器300使用以信號發送的預測模式（幀內或幀間預測）和相關預測資訊（例如，幀間預測的運動資訊）來產生區塊的預測區塊。視頻解碼器300隨後可以將預測區塊和殘差區塊（在逐樣本的基礎上）進行組合以再現原始區塊。視頻解碼器300可以執行另外的處理（例如執行去區塊（deblocking）處理）以減少沿區塊的邊界的視覺偽像。
根據本公開內容的技術，視頻編碼器200和視頻解碼器300可以被配置為：接收視頻資料的當前圖片，決定參考圖片重採樣針對當前圖片被啟用，基於參考圖片重採樣被啟用而禁用針對當前圖片的子圖片處理，以及使用參考圖片重採樣來對當前圖片的區塊進行譯碼（例如，分別為編碼或解碼）。
本公開內容通常可以引用"以信號發送"某些資訊，例如語法元素。術語"以信號發送"通常可以指對語法元素的值和/或用於對經編碼視頻資料進行解碼的其它資料的通信。即，視頻編碼器200可以在位元串流中以信號發送語法元素的值。通常，以信號發送是指在位元串流中產生值。如上面提到的，來源設備102可以基本上即時地、或者非即時地（例如，可能在將語法元素儲存到儲存設備112以供由目的地設備116稍後取回的情況下發生）將位元串流傳輸到目的地設備116。
圖2A和圖2B是示出了示例性四元樹二元樹（QTBT）結構130以及對應的編碼樹單元（CTU）132的概念圖。實線表示四元樹分割，並且虛線指示二元樹分割。在二元樹的每個分割（即，非葉）節點中，以信號發送一個旗標以指示使用哪種分割類型（即，水平或垂直），其中在該示例中，0指示水平分割，並且1指示垂直分割。對於四元樹分割，不需要指示分割類型，因為四元樹節點將區塊水平和垂直地分割成為大小相等的4個子區塊。因此，視頻編碼器200可以對QTBT結構130的區域樹層級（例如，實線）的語法元素（例如分割資訊）以及QTBT結構130的預測樹層級（即，虛線）的語法元素（例如分割資訊）進行編碼並且視頻解碼器300可以對這些語法元素進行解碼。視頻編碼器200可以對視頻資料進行編碼並且視頻解碼器可以對視頻資料進行解碼，例如由QTBT結構130的終端葉節點表示的CU的預測和轉換資料。
通常，圖2B的CTU 132可以與定義與第一和第二層級處的QTBT結構130的節點相對應的區塊大小的參數相關聯。這些參數可以包括CTU大小（表示樣本中CTU 132的大小）、最小四元樹大小（MinQTSize，表示最小允許的四元樹葉節點大小）、最大二元樹大小（MaxBTSize，表示最大允許的二元樹根節點大小）、最大二元樹深度（MaxBTDepth，表示最大允許的二元樹深度）、以及最小二元樹大小（MinBTSize，表示最小允許的二元樹葉節點大小）。
與CTU相對應的QTBT結構的根節點可以在QTBT結構的第一層級具有四個子節點，其中每個子節點可以根據四元樹分割來分割。即，第一層級的節點是葉節點（沒有子節點）或者具有四個子節點。QTBT結構130的示例將此類節點表示為包括具有分支實線的父節點和子節點。如果第一層級的節點不大於最大允許的二元樹根節點大小（MaxBTSize），則可以透過相應的二元樹進一步分割這些節點。可以迭代對一個節點的二元樹分割，直到分割產生的節點達到最小允許的二元樹葉節點大小（MinBTSize）或最大允許的二元樹深度（MaxBTDepth）。QTBT結構130的示例將此類節點表示為具有分支的虛線。二元樹葉節點被稱為編碼單元（CU），其用於預測（例如，圖片內或圖片間預測）和轉換，而無需任何進一步分割。如上面討論的，CU還可以被稱為"視頻區塊"或"區塊"。
在QTBT分割結構的一個示例中，CTU大小被設置為128×128（亮度樣本和兩個對應的64×64色度樣本），MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize（用於寬度和高度兩者）被設置為4，並且MaxBTDepth被設置為4。將四元樹分割首先應用於CTU以產生四元樹葉節點。四元樹葉節點可以具有從16×16（即，MinQTSize）到128×128（即，CTU大小）的大小。如果四元樹葉節點為128×128，則四元樹葉節點將不會被二元樹進一步分割，因為大小超過了MaxBTSize（即，在該示例中為64×64）。否則，四元樹葉節點將被二元樹進一步分割。因此，四元樹葉節點也是二元樹的根節點，並且二元樹深度為0。當二元樹深度達到MaxBTDepth（在該示例中為4）時，不允許進一步分割。具有等於MinBTSize（在該示例中為4）的寬度的二元樹節點意味著針對該二元樹節點不允許進一步的垂直分割（即，對寬度的分割）。類似地，具有等於MinBTSize的高度的二元樹節點意味著針對該二元樹節點不允許進一步的水平分割（即，對高度的分割）。如上面提到的，二元樹的葉節點被稱為CU，並且根據預測和轉換對其進一步處理而無需進一步分割。
圖3是示出了可以執行本公開內容的技術的示例性視頻編碼器200的方塊圖。提供圖3是出於解釋的目的，並且不應被視為對本公開內容中廣泛例示和描述的技術的限制。出於解釋的目的，本公開內容根據VVC（正在開發的ITU-T H.266）和HEVC（ITU-T H.265）的技術描述了視頻編碼器200。然而，本公開內容的技術可以由被配置為其他視頻編碼標準的視頻編碼設備來執行。
在圖3的示例中，視頻編碼器200包括視頻資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重構單元214、濾波器單元216、經解碼圖片緩衝器（DPB）218以及熵編碼單元220。視頻資料記憶體230、模式選擇單元202、殘差產生單元204、轉換處理單元206、量化單元208、逆量化單元210、逆轉換處理單元212、重構單元214、濾波器單元216、DPB 218以及熵編碼單元220中的任何一者或全部可以在一個或多個處理器中或處理電路中實現。例如，視頻編碼器200的單元可以作為硬體電路的一部分或作為處理器、ASIC或FPGA的一部分被實現為一個或多個電路或邏輯元素。此外，視頻編碼器200可包括另外的或替代的處理器或處理電路來執行這些和其他功能。
視頻資料記憶體230可以儲存將由視頻編碼器200的元件進行編碼的視頻資料。視頻編碼器200可以從例如視頻源104（圖1）接收儲存在視頻資料記憶體230中的視頻資料。DPB 218可以充當參考圖片記憶體，該參考圖片記憶體儲存參考視頻資料以供視頻編碼器200在預測後續視頻資料時使用。視頻資料記憶體230和DPB 218可以由各種記憶體設備中的任何記憶體設備形成，例如動態隨機存取記憶體（DRAM），包括同步DRAM（SDRAM）、磁阻RAM（MRAM）、電阻RAM（RRAM）或其他類型的儲存設備。視頻資料記憶體230和DPB 218可以由相同的儲存設備或分離的儲存設備提供。在各種示例中，視頻資料記憶體230可以與視頻編碼器200的其他元件在晶片上（如圖所示），或者相對於那些元件在晶片外。
在本公開內容中，引用視頻資料記憶體230不應該被解釋為限於視頻編碼器200內部的記憶體（除非特別如此描述）或者視頻編碼器200外部的記憶體（除非特別如此描述）。相反，引用視頻資料記憶體230應該被理解為儲存視頻編碼器200接收以用於進行編碼的視頻資料（例如，用於要編碼的當前區塊的視頻資料）的參考記憶體。圖1的記憶體106還可以提供對來自視頻編碼器200的各個單元的輸出的暫時儲存。
示出圖3的各個單元以幫助理解由視頻編碼器200執行的操作。這些單元可以被實現為固定功能電路、可編程電路或其組合。固定功能電路是指提供特定功能並且對可以執行的操作進行預先設置的電路。可編程電路是指可以被編程以執行各種任務並且在可以執行的操作方面提供彈性功能的電路。例如，可編程電路可以執行使得可編程電路以軟體或韌體的指令所定義的方式來操作的軟體或韌體。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作類型通常是不可變的。在一些示例中，一個或多個單元可以是不同的電路區塊（固定功能或可編程），並且在一些示例中，一個或多個單元可以是積體電路。
視頻編碼器200可以包括算術邏輯單元（ALU）、基本功能單元（EFU）、數位電路、類比電路和/或由可編程電路形成的可編程核。在使用由可編程電路執行的軟體來執行視頻編碼器200的操作的示例中，記憶體106（圖1）可以儲存視頻編碼器200接收並執行的軟體的指令（例如，目標碼），或者視頻編碼器200內的另一記憶體（未示出）可以儲存此類指令。
視頻資料記憶體230被配置為儲存接收到的視頻資料。視頻編碼器200可以從視頻資料記憶體230取回視頻資料的圖片，並將視頻資料提供給殘差產生單元204和模式選擇單元202。視頻資料記憶體230中的視頻資料可以是要編碼的原始視頻資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和幀內預測單元226。模式選擇單元202可以包括另外的功能單元以根據其他預測模式來執行視頻預測。舉例而言，模式選擇單元202可以包括調色板單元、區塊內複製單元（其可以是運動估計單元222和/或運動補償單元224的一部分）、仿射單元、線性模型（LM）單元等等。
模式選擇單元202通常協調多個編碼輪次，以測試編碼參數的組合以及針對此類組合所產生的速率失真值。編碼參數可以包括CTU到CU的分割、用於CU的預測模式、用於CU的殘差資料的轉換類型、用於CU的殘差資料的量化參數等等。模式選擇單元202可以最終選擇具有比其他測試的組合更好的速率失真值的編碼參數組合。
視頻編碼器200可以將從視頻資料記憶體230取回的圖片分割成CTU的序列，並將一個或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構（例如上述HEVC的QTBT結構或四元樹結構）來分割圖片的CTU。如上所述，視頻編碼器200可根據樹結構透過分割CTU來形成一個或多個CU。此類CU通常還可以被稱為"視頻區塊"或"區塊"。
通常，模式選擇單元202還控制其元件（例如，運動估計單元222、運動補償單元224和幀內預測單元226）以產生針對當前區塊（例如，當前CU，或者在HEVC中，PU和TU的重疊部分）的預測區塊。對於當前區塊的幀間預測，運動估計單元222可執行運動搜索以在一個或多個參考圖片（例如，儲存在DPB 218中的一個或多個先前經編碼圖片）中識別一個或多個緊密匹配的參考區塊。具體而言，運動估計單元222可以例如根據絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）等等來計算表示潛在參考區塊與當前區塊的相似程度的值。運動估計單元222通常可以使用當前區塊與所考慮的參考區塊之間的逐樣本差來執行這些計算。運動估計單元222可以識別具有由這些計算產生的最低值的參考區塊，其指示與當前區塊最緊密匹配的參考區塊。
運動估計單元222可以形成一個或多個運動向量（MV），這些運動向量相對於當前圖片中的當前區塊的位置來定義參考圖片中的參考區塊的位置。運動估計單元222隨後可以將運動向量提供給運動補償單元224。例如，對於單向幀間預測，運動估計單元222可以提供單個運動向量，而對於雙向幀間預測，運動估計單元222可以提供兩個運動向量。運動補償單元224隨後可以使用運動向量來產生預測區塊。
例如，運動補償單元224可以使用運動向量來取回參考區塊的資料。舉另一示例，如果運動向量具有分數採樣精度，則運動補償單元224可以根據一個或多個內插濾波器來內插預測區塊的值。此外，對於雙向幀間預測，運動補償單元224可以取回由相應運動向量識別的兩個參考區塊的資料，並例如透過逐樣本平均或加權平均來組合所取回的資料。
在一些示例中，例如，在執行幀間預測時，運動補償單元224或視頻編碼器200的另一單元可以被配置為：當參考圖片的大小（例如，在像素數方面）不同於正被編碼的當前圖片時執行參考圖片重採樣技術。參考圖片重採樣可以包括：對參考圖片執行縮放程序（例如，參考圖片縮放）。視頻編碼器200還可以被配置為：使用子圖片處理來處理視頻資料的圖片。在子圖片處理中，視頻編碼器200可以將子圖片定義為圖片的包括多個CTU的區域，其中該區域小於整個圖片。視頻編碼器200隨後可以將子圖片視同圖片來處理之，排除環路內濾波操作（例如，由濾波器單元216執行的操作）。
在本公開內容的一個示例中，視頻編碼器200可以被配置為：在參考圖片縮放被啟用的情況下禁用子圖片處理。同時應用參考圖片縮放和子圖片處理會導致增加的失真和/或降低的編碼效率。
在本公開內容的另一示例中，當參考圖片縮放被啟用時，視頻編碼器200可以基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比。在該示例中，PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限。該限制避免了縮放比落在最佳範圍（例如，1/8至2之間的縮放比）之外的情況，並且因此可以提高編碼效率和/或減少失真。
舉另一示例，對於幀內預測或幀內預測編碼，幀內預測單元226可以從與當前區塊相鄰的樣本產生預測區塊。例如，對於定向模式，幀內預測單元226通常可以在數學上組合相鄰樣本的值，並跨當前區塊在定義的方向上填充這些經計算的值以產生預測區塊。舉另一示例，對於DC模式，幀內預測單元226可以計算當前區塊的相鄰樣本的平均值，並且產生預測區塊以針對該預測區塊的每個樣本包括該所得到的平均值。
模式選擇單元202將預測區塊提供給殘差產生單元204。殘差產生單元204從視頻資料記憶體230接收當前區塊的原始未經編碼版本，並從模式選擇單元202接收預測區塊。殘差產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得到的逐樣本差定義了當前區塊的殘差區塊。在一些示例中，殘差產生單元204還可以決定殘差區塊中的樣本值之間的差值以使用殘差差分脈衝編碼調變（RDPCM）來產生殘差區塊。在一些示例中，可以使用執行二進制減法的一個或多個減法器電路來形成殘差產生單元204。
在模式選擇單元202將CU分割成PU的示例中，每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視頻編碼器200和視頻解碼器300可以支持具有各種大小的PU。如上面指示的，CU的大小可以指CU的亮度編碼區塊的大小，並且PU的大小可以指PU的亮度預測單元的大小。假設特定CU的大小為2N×2N，則視頻編碼器200可以針對幀內預測支持2N×2N或N×N的PU大小，以及針對幀間預測支持2N×2N、2N×N、N×2N、N×N或類似的對稱PU大小。視頻編碼器200和視頻解碼器300還可以針對幀間預測支持2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非對稱分割。
在模式選擇單元202不將CU進一步分割成PU的示例中，每個CU可以與亮度編碼區塊和對應的色度編碼區塊相關聯。如上所述，CU的大小可以指CU的亮度編碼區塊的大小。視頻編碼器200和視頻解碼器300可以支持2N×2N、2N×N或N×2N的CU大小。
對於其他視頻編碼技術（例如區塊內複製模式編碼、仿射模式編碼和線性模型（LM）模式編碼，舉一些示例），模式選擇單元202經由與編碼技術相關聯的各個單元來產生正被編碼的當前區塊的預測區塊。在一些示例（例如調色板模式編碼）中，模式選擇單元202可能不產生預測區塊，而是產生語法元素，該語法元素指示基於所選擇的調色板來重構區塊的方式。在此類模式中，模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。
如上所述，殘差產生單元204接收當前區塊和對應預測區塊的視頻資料。殘差產生單元204隨後產生當前區塊的殘差區塊。為了產生殘差區塊，殘差產生單元204計算預測區塊與當前區塊之間的逐樣本差。
轉換處理單元206向殘差區塊應用一個或多個轉換以產生轉換係數的區塊（在本文中被稱為"轉換係數區塊"）。轉換處理單元206可以向殘差區塊應用各種轉換以形成轉換係數區塊。例如，轉換處理單元206可以向殘差區塊應用離散餘弦轉換（DCT）、方向轉換、Karhunen-Loeve轉換（KLT）或概念上類似的轉換。在一些示例中，轉換處理單元206可以對殘差區塊執行多個轉換，例如主轉換和次級轉換（例如旋轉轉換）。在一些示例中，轉換處理單元206不向殘差區塊應用轉換。
量化單元208可以對轉換係數區塊中的轉換係數進行量化，以產生經量化轉換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數（QP）值來對轉換係數區塊的轉換係數進行量化。視頻編碼器200（例如，經由模式選擇單元202）可以透過調整與CU相關聯的QP值來調整應用於與當前區塊相關聯的轉換係數區塊的量化程度。量化可能引起資訊的丟失，並且因此，經量化轉換係數可能具有比轉換處理單元206所產生的原始轉換係數要低的精度。
逆量化單元210和逆轉換處理單元212可以分別對經量化轉換係數區塊應用逆量化和逆轉換，以從轉換係數區塊重構殘差區塊。重構單元214可以基於經重構的殘差區塊和由模式選擇單元202產生的預測區塊來產生與當前區塊相對應的經重構區塊（儘管潛在地具有某種程度的失真）。例如，重構單元214可以將經重構的殘差區塊的樣本添加到來自模式選擇單元202產生之預測區塊的對應樣本，以產生經重構的區塊。
濾波器單元216可以對經重構的區塊執行一個或多個濾波器操作。例如，濾波器單元216可以執行解區塊操作以減少沿CU邊緣的塊狀偽影。在一些示例中，可以跳過濾波器單元216的操作。
視頻編碼器200將經重構的區塊儲存在DPB 218中。例如，在未執行濾波器單元216的操作的示例中，重構單元214可以將經重構的區塊儲存到DPB 218。在執行了濾波器單元216的操作的示例中，濾波器單元216可以將濾波後的經重構區塊儲存到DPB 218。運動估計單元222和運動補償單元224可以從DPB 218取回由經重構（並且潛在地經濾波）的區塊形成的參考圖片，以對後續經編碼圖片的區塊進行幀間預測。另外，幀內預測單元226可以使用當前圖片的DPB 218中的經重構區塊來對當前圖片中的其他區塊進行幀內預測。
通常，熵編碼單元220可以對從視頻編碼器200的其他功能元件接收的語法元素進行熵編碼。例如，熵編碼單元220可以對來自量化單元208的經量化轉換係數區塊進行熵編碼。舉另一示例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素（例如，用於幀間預測的運動資訊或用於幀內預測的幀內模式資訊）進行熵編碼。熵編碼單元220可以對語法元素（其是視頻資料的另一示例）執行一個或多個熵編碼操作，以產生經熵編碼的資料。例如，熵編碼單元220可以對資料執行上下文自適應可變長度編碼（CAVLC）操作、CABAC操作、可變到可變（V2V）長度編碼操作、基於語法的上下文自適應二進制算術編碼（SBAC）操作、概率區間分割熵（PIPE）編碼操作、指數哥倫布（Exponential-Golomb）編碼操作、或另一類型的熵編碼操作。在一些示例中，熵編碼單元220可以在語法元素未被熵編碼的旁路模式中操作。
視頻編碼器200可以輸出包括重構切片或圖片的區塊所需要的經熵編碼語法元素的位元串流。具體而言，熵編碼單元220可以輸出位元串流。
針對區塊描述了上述操作。此類描述應該被理解為用於亮度編碼區塊和/或色度編碼區塊的操作。如上所述，在一些示例中，亮度編碼區塊和色度編碼區塊是CU的亮度和色度分量。在一些示例中，亮度編碼區塊和色度編碼區塊是PU的亮度和色度分量。
在一些示例中，對於色度編碼區塊不需要重複針對亮度編碼區塊所執行的操作。舉一個示例，不需要重複用於識別亮度編碼區塊的運動向量（MV）和參考圖片的操作來識別色度區塊的MV和參考圖片。相反，可以縮放亮度編碼區塊的MV來決定色度區塊的MV，並且參考圖片可以相同。舉另一示例，對於亮度編碼區塊和色度編碼區塊，幀內預測處理可以是相同的。
視頻編碼器200表示被配置為對視頻資料進行編碼的設備的示例，該設備包括被配置為儲存視頻資料的記憶體、以及一個或多個處理單元，這些處理單元在電路中實現並且被配置為：接收視頻資料的當前圖片，決定參考圖片重採樣針對當前圖片被啟用，基於參考圖片重採樣被啟用而禁用針對當前圖片的子圖片處理，以及使用參考圖片重採樣來對當前圖片的區塊進行編碼。
圖4是示出了可以執行本公開內容的技術的示例性視頻解碼器300的方塊圖。提供圖4是出於解釋的目的，並且不限制本公開內容中廣泛例示和描述的技術。出於解釋的目的，本公開內容根據VVC（正在開發的ITU-T H.266）和HEVC（ITU-T H.265）的技術描述了視頻解碼器300。然而，本公開內容的技術可以由被配置為其他視頻編碼標準的視頻編碼設備來執行。
在圖4的示例中，視頻解碼器300包括經編碼圖片緩衝器（CPB）記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重構單元310、濾波器單元312、以及經解碼圖片緩衝器（DPB）314。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆轉換處理單元308、重構單元310、濾波器單元312以及DPB 314中的任何一者或全部可以在一個或多個處理器中或在處理電路中實現。例如，視頻解碼器300的單元可以作為硬體電路的一部分或者作為處理器、ASIC或FPGA的一部分被實現為一個或多個電路或邏輯元素。此外，視頻解碼器300可以包括另外的或替代的處理器或處理電路來執行這些和其他功能。
預測處理單元304包括運動補償單元316和幀內預測單元318。預測處理單元304可以包括另外的單元以根據其他預測模式來執行預測。舉例而言，預測處理單元304可以包括調色板單元、區塊內複製單元（其可以形成運動補償單元316的一部分）、仿射單元、線性模型（LM）單元等等。在其他示例中，視頻解碼器300可以包括更多、更少或不同的功能元件。
CPB記憶體320可以儲存將由視頻解碼器300的元件解碼的視頻資料，例如經編碼視頻位元串流。儲存在CPB記憶體320中的視頻資料可以例如從計算機可讀媒體110（圖1）獲得。CPB記憶體320可以包括儲存來自經編碼視頻位元串流的經編碼視頻資料（例如，語法元素）的CPB。此外，CPB記憶體320可以儲存除了經編碼圖片的語法元素之外的視頻資料，例如表示來自視頻解碼器300的各個單元的輸出的暫時資料。DPB 314通常儲存經解碼圖片，視頻解碼器300在對經編碼視頻位元串流的後續資料或圖片進行解碼時可以輸出該經解碼圖片和/或將其用作參考視頻資料。CPB記憶體320和DPB 314可以由各種記憶體設備中的任何記憶體形成，例如DRAM（包括SDRAM、MRAM、RRAM）或其他類型的記憶體設備。CPB記憶體320和DPB 314可以由相同的記憶體設備或分離的記憶體設備提供。在各種示例中，CPB記憶體320可以與視頻解碼器300的其他元件在晶片上，或者相對於那些元件在晶片外。
另外地或替代地，在一些示例中，視頻解碼器300可以從記憶體120（圖1）取回經編碼視頻資料。即，記憶體120可如上面針對CPB記憶體320所討論地儲存資料。類似地，當視頻解碼器300的一些或全部功能在由視頻解碼器300的處理電路執行的軟體中實現時，記憶體120可以儲存由視頻解碼器300執行的指令。
示出圖4中所示的各個單元以幫助理解由視頻解碼器300執行的操作。這些單元可以被實現為固定功能電路、可編程電路或其組合。類似於圖3，固定功能電路是指提供特定功能並且對可以執行的操作進行預先設置的電路。可編程電路是指可以被編程以執行各種任務並且在可以執行的操作方面提供彈性功能的電路。例如，可編程電路可以執行使得可編程電路以軟體或韌體的指令所定義的方式來操作的軟體或韌體。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路所執行的操作類型通常是不可變的。在一些示例中，一個或多個單元可以是不同的電路區塊（固定功能或可編程），並且在一些示例中，一個或多個單元可以是積體電路。
視頻解碼器300可以包括ALU、EFU、數位電路、類比電路和/或由可編程電路形成的可編程核。在視頻解碼器300的操作由在可編程電路上執行的軟體來執行的示例中，晶片上或晶片外記憶體可以儲存視頻解碼器300接收並執行的軟體的指令（例如，目標碼）。
熵解碼單元302可以從CPB接收經編碼視頻資料，並對視頻資料進行熵解碼以再現語法元素。預測處理單元304、逆量化單元306、逆轉換處理單元308、重構單元310和濾波器單元312可以基於從位元串流中提取的語法元素來產生經解碼視頻資料。
通常，視頻解碼器300在逐區塊基礎上重構圖片。視頻解碼器300可單獨地對每個區塊執行重構操作（其中當前正在重構（即，被解碼）的區塊可以被稱為"當前區塊"）。
熵解碼單元302可以對定義經量化轉換係數區塊的經量化轉換係數的語法元素以及轉換資訊（例如量化參數（QP）和/或轉換模式指示）進行熵解碼。逆量化單元306可以使用與經量化轉換係數區塊相關聯的QP來決定量化程度，並且類似地，決定逆量化單元306要應用的逆量化程度。逆量化單元306可以例如執行按位元左移運算以對經量化轉換係數進行逆量化。逆量化單元306從而可以形成包括轉換係數的轉換係數區塊。
在逆量化單元306形成轉換係數區塊之後，逆轉換處理單元308可以向轉換係數區塊應用一個或多個逆轉換以產生與當前區塊相關聯的殘差區塊。例如，逆轉換處理單元308可以向轉換係數區塊應用逆DCT、逆整數轉換、逆Karhunen-Loeve轉換（KLT）、逆旋轉轉換、逆方向轉換或另一逆轉換。
此外，預測處理單元304根據由熵解碼單元302熵解碼的預測資訊語法元素來產生預測區塊。例如，如果預測資訊語法元素指示當前區塊是幀間預測的，則運動補償單元316可以產生預測區塊。在這種情況下，預測資訊語法元素可以指示DPB 314中的從其取回參考區塊的參考圖片以及相對於當前圖片中的當前區塊的位置來識別參考圖片中的參考區塊的位置的運動向量。運動補償單元316通常可以以與針對運動補償單元224（圖3）所描述的方式基本上相似的方式來執行幀間預測處理。
在一些示例中，例如，在執行幀間預測時，運動補償單元316或視頻解碼器300的另一單元可以被配置為：在參考圖片的大小（例如，在像素數方面）不同於當前正被譯碼的圖片時執行參考圖片重採樣技術。參考圖片重採樣可以包括：運動補償單元316對參考圖片執行縮放程序（例如，參考圖片縮放）。視頻解碼器300還可以被配置為：使用子圖片處理來處理視頻資料的圖片。在子圖片處理中，視頻編碼器200可以將子圖片定義為圖片的包括多個CTU的區域，其中該區域小於整個圖片。視頻編碼器200可向視頻解碼器300以信號發送一個或多個語法元素，其中語法元素的值指示子圖片的大小和數量。視頻解碼器300隨後可以將子圖片視同圖片來處理之，排除環路內濾波操作（例如，由濾波器單元312執行的操作）。
在本公開內容的一個示例中，視頻解碼器300可以被配置為：在參考圖片縮放被啟用的情況下禁用子圖片處理。同時應用參考圖片縮放和子圖片處理會導致增加的失真和/或降低的編碼效率。
在本公開內容的另一示例中，當參考圖片縮放被啟用時，視頻解碼器300可以基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比。在該示例中，PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）受限。該限制避免了其中縮放比落在最佳範圍（例如，1/8至2之間的縮放比）之外的情況，並且因此可以提高編碼效率和/或減少失真。
舉另一示例，如果預測資訊語法元素指示當前區塊是幀內預測的，則幀內預測單元318可以根據由預測資訊語法元素指示的幀內預測模式來產生預測區塊。再次，幀內預測單元318通常可以以與針對幀內預測單元226（圖3）所描述的方式基本上相似的方式來執行幀內預測處理。幀內預測單元318可以從DPB 314取回當前區塊的相鄰樣本的資料。
重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如，重構單元310可以將殘差區塊的樣本添加到預測區塊的對應樣本以重構當前區塊。
濾波器單元312可以對經重構區塊執行一個或多個濾波器操作。例如，濾波器單元312可以執行解區塊操作以減少沿重構區塊邊緣的塊狀偽像。不必在所有示例中都執行濾波器單元312的操作。
視頻解碼器300可以將經重構區塊儲存在DPB 314中。例如，在不執行濾波器單元312的操作的示例中，重構單元310可以將經重構區塊儲存到DPB 314。在執行了濾波器單元312的操作的示例中，濾波器單元312可以將濾波後的經重構區塊儲存到DPB 314。如上面討論的，DPB 314可以將參考資訊（例如用於幀內預測的當前圖片的樣本以及用於後續運動補償的先前經解碼圖片）提供給預測處理單元304。此外，視頻解碼器300可以輸出來自DPB 314的經解碼圖片（例如，經解碼視頻）以供後續呈現在顯示設備（例如圖1的顯示設備118）上。
以此方式，視頻解碼器300表示視頻解碼設備的示例，該設備包括被配置為儲存視頻資料的記憶體、以及一個或多個處理單元，這些處理單元在電路中實現並且被配置為：接收視頻資料的當前圖片，決定參考圖片重採樣針對當前圖片被啟用，基於參考圖片重採樣被啟用而禁用針對當前圖片的子圖片處理，以及使用參考圖片重採樣來對當前圖片的區塊進行解碼。
如上面討論的，本公開內容描述了與參考圖片重採樣有關的技術。下面給出了VVC草案7版本14（JVET-P2001-v14）中與參考圖片重採樣有關的、並且透過本公開內容的技術改進的段落和條款。
下面示出了VVC草案7版本14中的7.3.2.3節中示出與參考圖片重採樣和子圖片處理有關的語法元素的條款。
seq_parameter_set_rbsp( ) { 描述符
  …  
ref_pic_resampling_enabled_flag u(1)
pic_width_max_in_luma_samples ue(v)
pic_height_max_in_luma_samples ue(v)
sps_log2_ctu_size_minus5 u(2)
subpics_present_flag u(1)
    if( subpics_present_flag ) {  
      sps_num_subpics_minus1 u(8)
       for( i = 0; i  ＜=  sps_num_subpics_minus1; i++ ) {  
          subpic_ctu_top_left_x [ i ] u(v)
          subpic_ctu_top_left_y [ i ] u(v)
          subpic_width_minus1 [ i ] u(v)
          subpic_height_minus1 [ i ] u(v)
          subpic_treated_as_pic_flag [ i ] u(1)
          loop_filter_across_subpic_enabled_flag [ i ] u(1)
       }  
    }  
  …  
下面再現了VVC草案7版本14中的7.4.3.3節中描述上述語法元素的語意的條款。ref_pic_resampling_enabled_flag 等於1指定在對參考SPS的CLVS中的經編碼圖片進行解碼時可以應用參考圖片重採樣。ref_pic_resampling_enabled_flag等於0指定在對參考SPS的CLVS中的圖片進行解碼時不應用參考圖片重採樣。pic_width_max_in_luma_samples 以亮度樣本為單位指定參考SPS的每個經解碼圖片的最大寬度。pic_width_max_in_luma_samples不應該等於0，並且應該是Max(8, MinCbSizeY)的整數倍。pic_height_max_in_luma_samples 以亮度樣本為單位指定參考SPS的每個經解碼圖片的最大高度。pic_height_max_in_luma_samples不應該等於0，並且應該是Max(8, MinCbSizeY)的整數倍。subpics_present_flag 等於1指定在SPS RBSP語法中存在子圖片參數。subpics_present_flag等於0指示在SPS RBSP語法中不存在子圖片參數。 註釋2 -當位元串流是子位元串流提取程序的結果並且僅包含子位元串流提取程序的輸入位元串流的子圖像的子集時，可能需要在SPS的RBSP中將subpics_present_flag的值設置為等於1。sps_num_subpics_minus1 加1指定子圖片的數量。sps_num_subpics_minus1應該在範圍0至254之間。如果不存在，則將sps_num_subpics_minus1的值推斷為等於0。subpic_ctu_top_left_x [ i ] 以CtbSizeY為單位指定第i個子圖片的左上CTU的水平位置。語法元素的長度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))位元。如果不存在，則將subpic_ctu_top_left_x[ i ]的值推斷為等於0。subpic_ctu_top_left_y [ i ] 以CtbSizeY為單位指定第i個子圖片的左上CTU的水平位置。語法元素的長度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))位元。如果不存在，則將subpic_ctu_top_left_y[ i ]的值推斷為等於0。subpic_width_minus1[ i ] 加1以CtbSizeY為單位指定第i個子圖片的寬度。語法元素的長度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))位元。如果不存在，則將subpic_width_minus1[ i ]的值推斷為等於Ceil(pic_width_max_in_luma_samples/CtbSizeY) − 1。subpic_height_minus1[ i ] 加1以CtbSizeY為單位指定第i個子圖片的高度。語法元素的長度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))位元。如果不存在，則將subpic_height_minus1[ i ]的值推斷為等於Ceil(pic_height_max_in_luma_samples/CtbSizeY) − 1。subpic_treated_as_pic_flag [ i ] 等於1指定CLVS中每個經編碼圖片的第i個子圖片在解碼程序中（排除環內濾波操作）被視為圖片。subpic_treated_as_pic_flag[ i ]等於0指定CLVS中的每個經編碼圖片的第i個子圖片在解碼程序中（排除環內濾波操作）不被視為圖片。如果不存在，將subpic_treated_as_pic_flag[ i ]的值推斷為等於0。
VVC草案7版本14中的7.3.2.4節中與參考圖片縮放有關的條款示出如下。
pic_parameter_set_rbsp( ) { 描述符
  …  
pic_width_in_luma_samples ue(v)
pic_height_in_luma_samples ue(v)
    …  
scaling_window_flag u(1)
    if( scaling_window_flag ) {  
scaling_win_left_offset ue(v)
scaling_win_right_offset ue(v)
scaling_win_top_offset ue(v)
scaling_win_bottom_offset ue(v)
    }  
    …  
下面再現了VVC草案7版本14中的7.4.3.4節中定義上述語法元素的語意的條款。pic_width_in_luma_samples 以亮度樣本為單位指定參考PPS的經解碼圖片的寬度。pic_width_in_luma_samples不應該等於0，應該是Max(8, MinCbSizeY)的整數倍，並且應該小於或等於pic_width_max_in_luma_samples。 當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_width_in_luma_samples的值應該等於pic_width_max_in_luma_samples。pic_height_in_luma_samples 以亮度樣本為單位指定參考PPS的每個經解碼圖片的高度。pic_height_in_luma_samples不應該等於0，並且應該是Max(8, MinCbSizeY)的整數倍，並且應該小於或等於pic_height_max_in_luma_samples。 當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_height_in_luma_samples的值應該等於pic_height_max_in_luma_samples。 令refPicWidthInLumaSamples和refPicHeightInLumaSamples分別是參考該PPS的當前圖片的參考圖片的pic_width_in_luma_samples和pic_height_in_luma_samples。滿足以下所有條件是位元串流一致性的要求： -      pic_width_in_luma_samples * 2應該大於或等於refPicWidthInLumaSamples。 -      pic_height_in_luma_samples * 2應該大於或等於refPicHeightInLumaSamples。 -      pic_width_in_luma_samples應該小於或等於refPicWidthInLumaSamples * 8。 -      pic_height_in_luma_samples應該小於或等於refPicHeightInLumaSamples * 8。scaling_window_flag 等於1指定在PPS中存在縮放視窗偏移參數。scaling_window_flag等於0指定在PPS中不存在縮放視窗偏移參數。當ref_pic_resampling_enabled_flag等於0時，scaling_window_flag的值應該等於0。scaling_win_left_offset 、scaling_win_right_offset 、scaling_win_top_offset 和scaling_win_bottom_offset 指定以亮度樣本為單位的偏移，將這些偏移應用於圖片大小以進行縮放比計算。當scaling_window_flag等於0時，將scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset的值推斷為等於0。 scaling_win_left_offset + scaling_win_right_offset的值應該小於pic_width_in_luma_samples，並且scaling_win_top_offset + scaling_win_bottom_offset的值應該小於pic_height_in_luma_samples。 變數PicOutputWidthL和PicOutputHeightL推導如下： PicOutputWidthL = pic_width_in_luma_samples −               ( scaling_win_right_offset + scaling_win_left_offset )      (74) PicOutputHeightL = pic_height_in_luma_samples −                                                            ( scaling_win_bottom_offset + scaling_win_top_offset )    (75)
本公開內容中所使用的其它術語包括： CLVS - 經編碼層視頻序列 CVS - 經編碼視頻序列 RBSP - 原始位元組序列酬載
通常，當參考圖片大小和當前圖片大小不同時，示例性參考圖片重採樣（RPR）程序向當前圖片應用參考圖片縮放程序。下面再現了VVC草案7條款8.3.2中的參考圖片縮放程序： RefPicScale[ i ][ j ][ 0 ]=( ( fRefWidth ＜＜ 14 ) + ( PicOutputWidthL ＞＞ 1)) / PicOutputWidthL RefPicScale[ i ][ j ][ 1 ]=( ( fRefHeight ＜＜ 14 ) + ( PicOutputHeightL ＞＞ 1 ) ) / PicOutputHeightL, 其中，在亮度採樣中，將fRefWidth和fRefHeight設置為分別等於參考圖片RefPicList[ i ] [ j ]的PicOutputWidthL和PicOutputHeightL。PicOutputWidthL和PicOutputHeightL是從圖片寬度和圖片高度裁切的縮放視窗寬度和高度,如下所示： PicOutputWidthL = pic_width_in_luma_samples − ( scaling_win_right_offset + scaling_win_left_offset ) PicOutputHeightL = pic_height_in_luma_samples − ( scaling_win_bottom_offset + scaling_win_top_offset )
圖5示出了參考圖片500中的參考縮放視窗502和當前圖片510中的當前縮放視窗512的示例。縮放比的範圍應該被適當地設置為在1/8至2的範圍中（包括端點）。測試表明，該縮放比範圍將得到最佳編碼效率和最小失真。在該範圍之外的縮放比值可能導致透視的破壞性失真。由於縮放比是透過縮放視窗的寬度和高度（PicOutputWidthL和PicOutputHeightL）推導出的，因此應該將1/8至2的範圍應用於參考圖片與當前圖片之間的縮放視窗寬度和高度。然而，示例性VVC設計（例如，VVC草案7中定義的技術）不正確地將該範圍應用於圖片寬度和圖片高度，而不是縮放視窗寬度和高度。因此，VVC草案7中的RPR設計可以推導出在預先定義的範圍（例如，1/8至2的縮放比範圍）之外的縮放因子。本公開內容描述了解決該問題的技術。
當前的VVC規範（例如，VVC草案7）的設計概念在RPR被禁用時（例如，在ref_pic_resampling_enabled_flag的值等於0時）或在子圖片處理被啟用時（例如，在subpics_present_flag的值等於1時）不允許參考圖片縮放功能。當ref_pic_resampling_enabled_flag的值等於0時，圖片寬度和高度在CVS中保持恆定，並且視頻解碼器300推斷縮放視窗偏移為0。這意味著縮放視窗寬度和高度（PicOutputWidthL和PicOutputHeightL）在CVS中將是常數，並且因此參考圖片縮放比始終被設置為1。然而，當subpics_present_flag的值等於1時（例如，指示可以使用子圖片處理），圖片寬度和高度在CVS中被設置為常數，並且縮放視窗偏移可以用大於0的值來表示。由於縮放視窗寬度和高度（PicOutputWidthL和PicOutputHeightL）的動態值，這種情況可能使得視頻解碼器300啟用參考圖片縮放功能。因此，在VVC規範中應該禁用子圖片中的縮放視窗偏移的特徵。本公開內容也解決了該問題。
在本公開內容中，對VVC草案7有幾個提議的改變。以下描述的一個或多個特徵（單獨地或在任何組合中）可以應用於當前的VVC草案7和/或VVC的未來版本。本公開內容的技術還可以與使用參考圖片重採樣、參考圖片縮放和/或子圖片處理的任何視頻編碼技術相結合使用。
在VVC草案7中，參考圖片縮放比的範圍應該在1/8至2的範圍中（包括端點），並且針對將該範圍應用於參考圖片與當前圖片之間的圖片寬度和高度存在位元串流一致性限制，如下所示： 令refPicWidthInLumaSamples和refPicHeightInLumaSamples分別是參考該PPS的當前圖片的參考圖片的pic_width_in_luma_samples和pic_height_in_luma_samples。滿足以下所有條件是位元串流一致性的要求： -     pic_width_in_luma_samples * 2應該大於或等於refPicWidthInLumaSamples。 -     pic_height_in_luma_samples * 2應該大於或等於refPicHeightInLumaSamples。 -     pic_width_in_luma_samples應該小於或等於refPicWidthInLumaSamples * 8。 -     pic_height_in_luma_samples應該小於或等於refPicHeightInLumaSamples * 8。
由於參考圖片縮放比是從縮放視窗的寬度和高度（PicOutputWidthL和PicOutputHeightL）推導出的，因此，如果對PicOutputWidthL和PicOutputHeightL沒有限制，則縮放比可能超出範圍。因此，根據本公開內容的一個示例，視頻編碼器200可以被配置為將1/8至2的該範圍應用於參考圖片與當前圖片之間的縮放視窗寬度和高度，如下所示： 令refPicOutputWidthL和refPicOutputHeightL分別是參考該PPS的當前圖片的參考圖片的PicOutputWidthL和PicOutputHeightL。視頻編碼器200和視頻解碼器300可以被配置為根據應該滿足以下所有條件的位元串流一致性限制進行操作： -     PicOutputWidthL * A應該大於或等於refPicOutputWidthL -     PicOutputWidthL * A應該大於或等於refPicOutputWidthL -     PicOutputWidthL應該小於或等於refPicOutputWidthL * B -     PicOutputWidthL應該小於或等於refPicOutputWidthL * B， 其中參數A和B可以是任何非零正數，並且B ＞ A。在一個示例中，A = 2並且B = 8。
因此，在本公開內容的一個示例中，視頻編碼器200和視頻解碼器300可以被配置為：基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比，其中PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限。視頻編碼器200和視頻解碼器300隨後可以使用所決定的參考圖片縮放比來執行參考圖片重採樣程序。在一個示例中，視頻編碼器200和視頻解碼器300可以被配置為：限制PicOutputWidthL和PicOutputHeightL的值，以使得PicOutputWidthL * A大於或等於refPicOutputWidthL，PicOutputHeightL * A大於或等於refPicOutputHeightL，PicOutputWidthL小於或等於refPicOutputWidthL * B，並且PicOutputHeightL小於或等於refPicOutputHeightL * B，其中參數A和B是任何非零正數，並且B大於A。在一個示例中，A = 2並且B = 8。
在一個示例中，視頻編碼器200和視頻解碼器300也可以被配置為將上述範圍應用於縮放視窗寬度和高度以及圖片寬度和高度，即，PicOutputWidthL、PicOutputHeightL、pic_width_in_luma_samples和pic_height_in_luma_samples。在另一示例中，視頻編碼器200和視頻解碼器300可以將由參數A和B指定的範圍僅應用於縮放視窗寬度和高度，即，PicOutputWidthL和PicOutputHeightL。
因此，在另一示例中，視頻編碼器200和視頻解碼器300還可以被配置為：相對於參考圖片的寬度和高度限制當前圖片的寬度和高度。例如，視頻編碼器200和視頻解碼器300還可以被配置為：限制pic_width_in_luma_samples和pic_height_in_luma_samples的值，以使得pic_width_in_luma_samples * A大於或等於refPicWidthInLumaSamples，pic_height_in_luma_samples * A大於或等於refPicHeightInLumaSamples，pic_width_in_luma_samples小於或等於refPicWidthInLumaSamples * B，並且pic_height_in_luma_samples小於或等於refPicHeightInLumaSamples * B，其中參數A和B是任何非零正數，並且B大於A。在一個示例中，A = 2並且B = 8。
在另一示例中，視頻編碼器200和視頻解碼器300可以被配置為：檢查和/或裁剪參考圖片比例RefPicScale[ i ][ j ] [ 0 ]和RefPicScale[ i ][ j ] [ 1 ]在指定範圍內，如下所示： RefPicScale[ i ][ j ] [ 0 ]應該小於或等於2M RefPicScale[ i ][ j ] [ 0 ]應該大於或等於2N RefPicScale[ i ][ j ] [ 1 ]應該小於或等於2M RefPicScale[ i ][ j ] [ 1 ]應該大於或等於2N ， 其中參數M和N可以是任何正整數，並且M ＞ N。在一個示例中，M = 15並且N = 11。
因此，在另一示例中，視頻編碼器200和視頻解碼器300可以被配置為：將一個或多個參考圖片比例裁剪到預先定義的範圍內，並且隨後根據經裁剪的參考圖片比例來執行參考圖片重採樣程序。
下在VVC草案7中，當RPR被禁用時（例如，當ref_pic_resampling_enabled_flag的值等於0時）或當子圖片處理被啟用時（例如，當subpics_present_flag的值等於1時），不允許參考圖片縮放功能。下面再現了VVC草案7的相關條款。
在VVC草案7版本14中的條款7.3.2.4中示出了相關語法，如下所示：
pic_parameter_set_rbsp( ) { 描述符
  …  
pic_width_in_luma_samples ue(v)
pic_height_in_luma_samples ue(v)
        …  
scaling_window_flag u(1)
        if( scaling_window_flag ) {  
scaling_win_left_offset ue(v)
scaling_win_right_offset ue(v)
scaling_win_top_offset ue(v)
scaling_win_bottom_offset ue(v)
        }  
        …  
相關語意在VVC草案7版本14中的條款7.4.3.4中示出如下： 當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_width_in_luma_samples的值應該等於pic_width_in_luma_samples。 當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_width_in_luma_samples的值應該等於pic_width_in_luma_samples。 當ref_pic_resampling_enabled_flag等於0時，scaling_window_flag的值應該等於0。
當subpics_present_flag等於1時，視頻編碼器200和視頻解碼器300將圖片的寬度和高度設置為常數，即，pic_width_in_luma_samples的值應該等於pic_width_max_in_luma_samples，而pic_height_in_luma_samples的值應該等於pic_height_max_in_samples。然而，在子圖片用例中，當scaling_window_flag等於1時，該程序錯過不允許參考圖片縮放功能。這違反了VVC草案7的設計原則。
本公開內容提議透過將視頻編碼器200和視頻解碼器300配置為在RPR被啟用時（例如，當RPR在SPS級被啟用時）禁用子圖片處理來解決前述問題。相對於VVC草案7的所提議變化下面在＜ADD＞和＜/ADD＞標籤之間示出。
ref_pic_resampling_enabled_flag u(1)
  ＜ADD＞if( !ref_pic_resampling_enabled_flag ) ＜/ADD＞  
subpics_present_flag u(1)
subpics_present_flag 等於1指定在SPS RBSP語法中存在子圖片參數。subpics_present_flag等於0指定在SPS RBSP語法中不存在子圖片參數。＜ADD＞如果不存在，則推斷subpics_present_flag的值等於0。＜/ADD＞
如上所示，視頻編碼器200和視頻解碼器300僅在RPR被禁用的情況下（例如，如由！ref_pic_resampling_enabled_flag所指示的）才分別對subpics_present_flag進行編碼和解碼。當未被編碼時，視頻解碼器300推斷subpics_present_flag的值為零，這指示子圖片處理被禁用。
因此，在該示例的另一示例中，視頻編碼器200和視頻解碼器300可以被配置為：在參考圖片重採樣被啟用的情況下禁用子圖片處理。換言之，視頻編碼器200和視頻解碼器300可以被配置為：僅在參考圖片重採樣被禁用時（例如，如由ref_pic_resampling_enabled_flag的值所指示的）才對subpics_present_flag進行譯碼。例如，視頻解碼器300可以被配置為：接收視頻資料的當前圖片，決定參考圖片重採樣針對當前圖片被啟用，基於參考圖片重採樣被啟用來禁用針對當前圖片的子圖片處理，以及使用參考圖片重採樣來對當前圖片的區塊進行解碼。
在另一示例中，視頻編碼器200和視頻解碼器300可以被配置為：如果子圖片處理被啟用（例如，在SPS級被啟用），則禁用對參考圖片重採樣旗標（ref_pic_resampling_enabled_flag）的譯碼。換言之，視頻解碼器300可以被配置為：如果subpics_present_flag的值等於1，則推斷ref_pic_resampling_enabled_flag的值等於0。
在另一示例中，視頻編碼器200可以被配置為如下限制scaling_window_flag的信令：當subpics_present_flag的值等於1時，scaling_window_flag的值應該等於0。
在另一示例中，如果子圖片的數量大於1（例如，當sps_num_subpics_minus1的值大於0時），則視頻編碼器200和視頻解碼器300可以推斷ref_pic_resampling_enabled_flag的值等於0。
在另一示例中，視頻編碼器200可以如下限制scaling_window_flag的信令：當子圖片的數量大於1時（例如，sps_num_subpics_minus1的值大於0），scaling_window_flag的值應該等於0。
在另一示例中，當ref_pic_resampling_enabled_flag的值等於1時，視頻編碼器200和視頻解碼器300可以將子圖片的數量設置為等於1（例如，sps_num_subpics_minus1的值等於0）。
圖6是示出了用於對當前區塊進行編碼的示例性方法的流程圖。當前區塊可以包括電流CU。儘管針對視頻編碼器200（圖1和圖3）進行了描述，但是應該理解，其它設備可以被配置為執行與圖6類似的方法。
在該示例中，視頻編碼器200初始地預測當前區塊（350）。例如，視頻編碼器200可以形成當前區塊的預測區塊。視頻編碼器200隨後可以計算當前區塊的殘差區塊（352）。為了計算殘差區塊，視頻編碼器200可以計算原始、未經編碼區塊與當前區塊的預測區塊之間的差值。視頻編碼器200隨後可以轉換殘差區塊並量化殘差區塊的轉換係數（354）。接著，視頻編碼器200可以掃描殘差區塊的經量化轉換係數（356）。在掃描期間或在掃描之後，視頻編碼器200可以對轉換係數進行熵編碼（358）。例如，視頻編碼器200可以使用CAVLC或CABAC來對轉換係數進行編碼。視頻編碼器200隨後可以輸出區塊的經熵編碼資料（360）。
圖7是示出了用於對視頻資料的當前區塊進行解碼的示例性方法的流程圖。當前區塊可以包括當前CU。儘管針對視頻編碼器300（圖1和圖4）進行了描述，但是應該理解，其他設備可以被配置為執行與圖7類似的方法。
視頻解碼器300可以接收當前區塊的經熵編碼資料，例如經熵編碼的預測資訊和與當前區塊相對應的殘差區塊的係數的經熵編碼資料（370）。視頻解碼器300可以對經熵編碼資料進行熵解碼，以決定當前區塊的預測資訊並再現殘差區塊的係數（372）。視頻解碼器300可以例如使用如由當前區塊的預測資訊所指示的幀內或幀間預測模式來預測當前區塊（374），以計算當前區塊的預測區塊。視頻解碼器300隨後可以對再現的係數進行逆掃描（376），以產生經量化轉換係數的區塊。視頻解碼器300隨後可以對轉換係數進行逆量化和逆轉換以產生殘差區塊（378）。視頻解碼器300最後可以透過組合預測區塊和殘差區塊來對當前區塊進行解碼（380）。
圖8是示出了示例性編碼方法的流程圖。圖8的技術可以由視頻編碼器200的一個或多個結構單元來執行。
在本公開內容的一個示例中，視頻編碼器200可以被配置為：接收視頻資料的當前圖片（400），並且決定參考圖片重採樣針對當前圖片被啟用（402）。視頻編碼器200還可以被配置為：基於參考圖片重採樣被啟用而禁用當前圖片的子圖片處理（404）。視頻編碼器200例如可以使用參考圖片重採樣來對對當前圖片的區塊進行編碼（406），而不執行任何子圖片處理。
在一個示例中，為了使用參考圖片重採樣來對當前圖片的區塊進行編碼，視頻編碼器200還可以被配置為：決定當前圖片的第一區塊的參考圖片，基於參考圖片具有與當前圖片不同的大小來對參考圖片執行參考圖片縮放過，並使用經縮放的參考圖片來對第一區塊進行編碼。
在另一示例中，視頻編碼器200還可以被配置為：基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比。在該示例中，視頻編碼器200可以被配置為：分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）來限制PicOutputWidthL和PicOutputHeightL的值。視頻編碼器200可以使用所決定的參考圖片縮放比來執行參考圖片重採樣程序。
在一個示例中，視頻編碼器200和視頻解碼器300被配置為：限制PicOutputWidthL和PicOutputHeightL的值，以使得PicOutputWidthL * A大於或等於refPicOutputWidthL，PicOutputHeightL * A大於或等於refPicOutputHeightL，PicOutputWidthL小於或等於refPicOutputWidthL * B，並且PicOutputHeightL小於或等於refPicOutputHeightL * B，其中參數A和B是任何非零正數，並且B大於A。在一個示例中，A = 2並且B = 8。
在本公開內容的另一示例中，視頻編碼器200被配置為：決定用於參考圖片縮放程序的一個或多個參考圖片縮放值，將該一個或多個參考圖片縮放值裁剪到預先定義的範圍內，並根據經裁剪的參考圖片縮放值來執行參考圖片重採樣程序。
圖9是示出了示例性解碼方法的流程圖。圖9的技術可以由視頻解碼器300的一個或多個結構單元來執行。
在本公開內容的一個示例中，視頻解碼器300可以被配置為：接收視頻資料的當前圖片（450），並且參考圖片重採樣決定針對當前圖片被啟用（452）。視頻解碼器300還可以被配置為：基於參考圖片重採樣被啟用而禁用當前圖片的子圖片處理（454）。視頻編碼器200例如可以使用參考圖片重採樣來對當前圖片的區塊進行編碼（456），而不執行任何子圖片處理。
在本公開內容的另一示例中，視頻解碼器300可以被配置為：基於參考圖片重採樣被啟用來決定子圖片數量為一。例如，為了基於參考圖片重採樣被啟用來決定子圖片的數量為一，視頻解碼器300可以被配置為：基於參考圖片重採樣被啟用來決定指示子圖片數量減去1的語法元素值等於0。
在本公開內容的另一示例中，為了使用參考圖片重採樣來對當前圖片的區塊進行解碼，視頻解碼器300還可以被配置為：決定當前圖片的第一區塊的參考圖片，基於參考圖片具有與當前圖片不同的大小來對參考圖片執行參考圖片縮放程序，並使用經縮放的參考圖片對第一區塊進行解碼。
在本公開內容的另一示例中，視頻解碼器300可以被配置為：基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比，其中PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限，並使用所決定的參考圖片縮放比來執行參考圖片重採樣程序。在一個示例中，PicOutputWidthL和PicOutputHeightL的值受限以使得PicOutputWidthL * A大於或等於refPicOutputWidthL，PicOutputHeightL * A大於或等於refPicOutputHeightL，PicOutputWidthL小於或等於refPicOutputWidthL * B，並且PicOutputHeightL小於或等於refPicOutputHeightL * B，其中參數A和B是任何非零正數，並且B大於A。在一個示例中，A = 2並且B = 8。
在本公開內容的另一示例中，視頻解碼器300被配置為：決定用於參考圖片縮放程序的一個或多個參考圖片縮放值，將該一個或多個參考圖片縮放值裁剪到預先定義的範圍內，並根據經裁剪的參考圖片縮放值來執行參考圖片重採樣程序。
下面描述本公開內容的其它說明性示例。
條款1 - 一種被配置為對視頻資料進行解碼的裝置，該裝置包括：用於接收視頻資料的當前圖片的構件；用於決定參考圖片重採樣針對當前圖片被啟用的構件；用於基於參考圖片重採樣被啟用而禁用針對當前圖片的子圖片處理的構件；以及用於使用參考圖片重採樣來對當前圖片的區塊進行解碼的構件。
條款2 - 根據條款1所述的裝置，還包括：用於基於參考圖片重採樣被啟用而決定子圖片數量為1的構件。
條款3 - 根據條款2所述的裝置，其中，用於基於參考圖片重採樣被啟用而決定子圖片數量為1的構件包括：用於基於參考圖片重採樣被啟用而決定指示子圖片數量減去1的語法元素值等於0的構件。
條款4 - 根據條款1所述的裝置，其中，用於使用參考圖片重採樣來對當前圖片的區塊進行解碼的構件包括：用於決定當前圖片的第一區塊的參考圖片的構件；用於基於參考圖片具有與當前圖片不同的大小來對參考圖片執行參考圖片縮放程序的構件；以及用於使用經縮放參考圖片來對第一區塊進行解碼的構件。
條款5 - 根據條款4所述的裝置，還包括：用於基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比的構件，其中PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限；以及用於使用所決定的參考圖片縮放比來執行參考圖片重採樣程序的構件。
條款6 - 根據條款5所述的裝置，其中，PicOutputWidthL和PicOutputHeightL的值受限以使得PicOutputWidthL * A大於或等於refPicOutputWidthL，PicOutputHeightL * A大於或等於refPicOutputHeightL，PicOutputWidthL小於或等於refPicOutputWidthL * B，並且PicOutputHeightL小於或等於refPicOutputHeightL * B，其中參數A和B是任何非零正數，並且B大於A。
條款7 - 根據條款6所述的裝置，其中A等於2並且B等於8。
條款8 - 根據條款4所述的裝置，還包括：用於決定用於參考圖片縮放程序的一個或多個參考圖片縮放值的構件；用於將該一個或多個參考圖片縮放值裁剪到預先定義的範圍內的構件；以及用於根據經裁剪的參考圖片縮放值來執行參考圖片重採樣程序的構件。
條款9 - 根據條款1所述的裝置，還包括：用於顯示當前圖片的構件。
方面1 - 一種對視頻資料進行譯碼的方法，該方法包括：基於當前圖片的縮放視窗的寬度（PicOutputWidthL）和當前圖片的縮放視窗的高度（PicOutputHeightL）來決定用於參考圖片重採樣程序的參考圖片縮放比，其中PicOutputWidthL和PicOutputHeightL的值分別相對於參考圖片的縮放視窗的寬度（refPicOutputWidthL）和參考圖片的縮放視窗的高度（refPicOutputHeightL）而受限；以及使用所決定的參考圖片縮放比來執行參考圖片重採樣程序。
方面2 - 根據方面1所述的方法，還包括：限制PicOutputWidthL和PicOutputHeightL的值以使得PicOutputWidthL * A大於或等於refPicOutputWidthL、PicOutputHeightL * A大於或等於refPicOutputHeightL、PicOutputWidthL小於或等於refPicOutputWidthL * B、以及PicOutputHeightL小於或等於refPicOutputHeightL * B，其中參數A和B是任何非零正數，並且B大於A。
方面3 - 根據方面2所述的方法，其中A等於2並且B等於8。
方面4 - 根據方面1所述的方法，還包括：相對於參考圖片的寬度（refPicWidthInLumaSamples）和高度（refPicHeightInLumaSamples）來限制當前圖片的寬度（pic_width_in_luma_samples）和高度（pic_height_in_luma_samples）。
方面5 - 根據方面4所述的方法，其中，相對於參考圖片的寬度和高度來限制當前圖片的寬度和高度包括：限制pic_width_in_luma_samples和pic_height_in_luma_samples的值，以使得pic_width_in_luma_samples * A大於或等於refPicWidthInLumaSamples、pic_height_in_luma_samples * A大於或等於refPicHeightInLumaSamples、pic_width_in_luma_samples小於或等於refPicWidthInLumaSamples * B、以及pic_height_in_luma_samples小於或等於refPicHeightInLumaSamples * B，其中參數A和B是任何非零正數，並且B大於A。
方面6 - 根據方面5所述的方法，其中A等於2並且B等於8。
方面7 - 根據方面1-6的任何組合所述的方法。
方面8 - 一種對視頻資料進行譯碼的方法，該方法包括：將一個或多個參考圖片比例裁剪到預先定義的範圍內；以及根據經裁剪的參考圖片比例來執行參考圖片重採樣程序。
方面9 - 一種對視頻資料進行譯碼的方法，該方法包括：在參考圖片重採樣被啟用的情況下禁用子圖片處理。
方面10 - 一種對視頻資料進行譯碼的方法，該方法包括：
僅當參考圖片重採樣被禁用時才對subpics_present_flag進行譯碼。
方面11 - 一種對視頻資料進行譯碼的方法，該方法包括：如果子圖片處理在序列參數集處被啟用，則禁用對參考圖片重採樣旗標（ref_pic_resampling_enabled_flag）的譯碼。
方面12 - 根據方面1-11的任何組合所述的方法。
方面13 - 根據方面1-12中的任何方面所述的方法，其中譯碼包括解碼。
方面14 - 根據方面1-13中的任何方面所述的方法，其中譯碼包括編碼。
方面15 - 一種用於對視頻資料進行譯碼的設備，該設備包括用於執行方面1-14中的任何方面的方法的一個或多個構件。
方面16 - 根據方面15所述的設備，其中，該一個或多個構件包括在電路中實現的一個或多個處理器。
方面17 - 根據方面15和16中的任何方面所述的設備，還包括：用於儲存視頻資料的記憶體。
方面18 - 根據方面15-17中的任何方面所述的設備，還包括：被配置為顯示經解碼視頻資料的顯示器。
方面19 - 根據方面15-18中的任何方面所述的設備，其中，該設備包括相機、計算機、行動設備、廣播接收機設備、或機上盒中的一個或多個。
方面20 - 根據方面15-19中的任何方面所述的設備，其中，該設備包括視頻解碼器。
方面21 - 根據方面15-20中的任何方面所述的設備，其中，該設備包括視頻編碼器。
方面22 - 一種其上儲存有指令的計算機可讀儲存媒體，該指令在被執行時使得一個或多個處理器執行方面1-14中的任何方面的方法。
方面23 - 本公開內容中所描述的技術的任何組合。
應該認識到，取決於示例，本文所描述的任何技術的某些動作或事件可以按不同順序來執行，可以添加、合併或完全省略（例如，並非所有所描述的動作或事件對於本文技術的實踐是必需的）。此外，在某些示例中，動作或事件可以例如透過多線程處理、中斷處理或多個處理器併發地而不是順序地執行。
在一個或多個示例中，可以在硬體、軟體、韌體、或者其任何組合中實現所描述的功能。如果在軟體中實現，則各功能可以作為一條或多條指令或碼儲存在計算機可讀媒體上或透過計算機可讀媒體來發送，並由基於硬體的處理單元來執行。計算機可讀媒體可以包括計算機可讀儲存媒體，其對應於有形媒體，例如資料儲存媒體或通信媒體，通信媒體包括促進例如根據通信協定將計算機程序從一地轉移到另一地的任何媒體。以此方式，計算機可讀媒體通常可對應於(1)非暫時性的有形計算機可讀儲存媒體，或(2)通信媒體，例如信號或載波。資料儲存媒體可以是能被一個或多個計算機或一個或多個處理器存取以取回用於實現本公開內容中所描述技術的指令、碼和/或資料結構的任何可用媒體。計算機程序產品可以包括計算機可讀媒體。
舉例而言而非限制，這種計算機可讀儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其它光碟儲存、磁碟儲存或其它磁儲存設備、快閃記憶體、或可以用於儲存具有指令或資料結構形式並且可以由計算機存取的期望程式碼的任何其它媒體。此外，任何連接適當地稱為計算機可讀媒體。例如，如果使用同軸電纜、光纖電纜、雙絞線、數位用戶線（DSL）或諸如紅外線、無線電和微波之類的無線技術從網站、伺服器或者其它遠程來源傳輸指令，則同軸電纜、光纖電纜、雙絞線、DSL或諸如紅外線、無線電和微波之類的無線技術包括在媒體的定義中。然而，應該理解，計算機可讀儲存媒體和資料儲存媒體不包括連接、載波、信號或其它暫時性媒體，而是替代地針對非暫時性、有形儲存媒體。如本文所使用的，磁碟（disk）和光碟（disc）包括壓縮光碟（CD）、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地複製資料，而光碟利用雷射來光學地複製資料。上面各項的組合也應該包括在計算機可讀媒體的範圍內。
指令可由一個或多個處理器執行，例如一個或多個數位信號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可編程閘陣列（FPGA）、或其它等效積體或離散邏輯電路。相應地，如本文中使用的術語"處理器"和"處理電路"可以指任何前述結構或適合於實現本文所描述的技術的任何其它結構。另外，在一些方面，本文所描述的功能可以在被配置用於編碼和解碼的專用硬體和/或軟體模組內提供、或被併入經組合的編解碼器中。此外，各技術可以完全在一個或多個電路或邏輯元素中實現。
本公開內容的技術可以在廣泛多樣的設備或裝置中實現，包括無線手持設備、積體電路（IC）或一組IC（例如，晶片組）。在本公開內容中描述了各種元件、模組或單元以強調被配置為執行所公開技術的設備的功能方面，但不一定要求由不同硬體單元實現。相反，如上所述，各個單元可以被組合在編解碼器硬體單元中或由可互操作的硬體單元（包括如上所述的一個或多個處理器）結合適當軟體和/或韌體的集合來提供。
已經描述了各個示例。這些和其它示例落入所附申請專利範圍的範圍內。
100:視頻編碼和解碼系統 102:來源設備 104:視頻源 106:記憶體 108:輸出介面 110:計算機可讀媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 130:四元樹二元樹（QTBT）結構 132:編碼樹單元（CTU） 200:視頻編碼器 202:模式選擇單元 204:殘差產生單元 206:轉換處理單元 208:量化單元 210:逆量化單元 212:逆轉換處理單元 214:重構單元 216:濾波器單元 218:經解碼圖片緩衝器（DPB） 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:幀內預測單元 230:視頻資料記憶體 300:視頻解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆轉換處理單元 310:重構單元 312:濾波器單元 314:經解碼圖片緩衝器（DPB） 316:運動補償單元 318:幀內預測單元 320:經編碼圖片緩衝器（CPB）記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 400:步驟 402:步驟 404:步驟 406:步驟 450:步驟 452:步驟 454:步驟 456:步驟 500:參考圖片 502:參考縮放視窗 510:當前圖片 512:當前縮放視窗
圖1是示出了可以執行本公開內容的技術的示例性視頻編碼和解碼系統的方塊圖。
圖2A和圖2B是示出了示例性四元樹二元樹（QTBT）結構以及對應的編碼樹單元（CTU）的概念圖。
圖3是示出了可以執行本公開內容的技術的示例性視頻編碼器的方塊圖。
圖4是示出了可以執行本公開內容的技術的示例性視頻解碼器的方塊圖。
圖5是示出了參考圖片和當前圖片內的縮放視窗的概念圖。
圖6是示出了示例性編碼方法的流程圖。
圖7是示出了示例性解碼方法的流程圖。
圖8是示出了示例性編碼方法的流程圖。
圖9是示出了示例性解碼方法的流程圖。
450:步驟
452:步驟
454:步驟
456:步驟

Claims (27)

  1. 一種對視頻資料進行解碼的方法，所述方法包括： 接收視頻資料的當前圖片； 決定參考圖片重採樣針對所述當前圖片被啟用； 基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及 使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼。
  2. 根據請求項1所述的方法，還包括： 基於所述參考圖片重採樣被啟用而決定子圖片數量為1。
  3. 根據請求項2所述的方法，其中，基於所述參考圖片重採樣被啟用而決定所述子圖片數量為1包括： 基於所述參考圖片重採樣被啟用而決定指示所述子圖片數量減去1的語法元素值等於0。
  4. 根據請求項1所述的方法，其中，使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼包括： 決定針對所述當前圖片的第一區塊的參考圖片； 基於所述參考圖片具有與所述當前圖片不同的大小來對所述參考圖片執行參考圖片縮放程序以產生經縮放參考圖片；以及 使用所述經縮放參考圖片來對所述第一區塊進行解碼。
  5. 根據請求項4所述的方法，還包括： 基於所述當前圖片的縮放視窗的寬度（PicOutputWidthL）和所述當前圖片的所述縮放視窗的高度（PicOutputHeightL）來決定用於所述參考圖片重採樣的參考圖片縮放比，其中，PicOutputWidthL和PicOutputHeightL的值分別相對於所述參考圖片的縮放視窗的寬度（refPicOutputWidthL）和所述參考圖片的所述縮放視窗的高度（refPicOutputHeightL）而受限；以及 使用所決定的參考圖片縮放比來執行所述參考圖片重採樣。
  6. 根據請求項5所述的方法，其中，PicOutputWidthL和PicOutputHeightL的值受限以使得PicOutputWidthL * A大於或等於refPicOutputWidthL、PicOutputHeightL * A大於或等於refPicOutputHeightL、PicOutputWidthL小於或等於refPicOutputWidthL * B、以及PicOutputHeightL小於或等於refPicOutputHeightL * B，其中，參數A和B是任何非零正數，並且B大於A。
  7. 根據請求項6所述的方法，其中A等於2並且B等於8。
  8. 根據請求項4所述的方法，還包括： 決定用於所述參考圖片縮放程序的一個或多個參考圖片縮放值； 將所述一個或多個參考圖片縮放值裁剪到預先定義的範圍內；以及 根據經裁剪的參考圖片縮放值來執行所述參考圖片重採樣。
  9. 根據請求項1所述的方法，還包括： 顯示所述當前圖片。
  10. 一種被配置為對視頻資料進行解碼的裝置，所述裝置包括： 記憶體，被配置為儲存視頻資料；以及 在電路中實現並與所述記憶體相通信的一個或多個處理器，所述一個或多個處理器被配置為： 接收所述視頻資料的當前圖片； 決定參考圖片重採樣針對所述當前圖片被啟用； 基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及 使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼。
  11. 根據請求項10所述的裝置，其中，所述一個或多個處理器還被配置為： 基於所述參考圖片重採樣被啟用而決定子圖片數量為1。
  12. 根據請求項11所述的裝置，其中，為了基於所述參考圖片重採樣被啟用而決定所述子圖片數量為1，所述一個或多個處理器還被配置為： 基於所述參考圖片重採樣被啟用而決定指示所述子圖片數量減去1的語法元素值等於0。
  13. 根據請求項10所述的裝置，其中，為了使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼，所述一個或多個處理器還被配置為： 決定針對所述當前圖片的第一區塊的參考圖片； 基於所述參考圖片具有與所述當前圖片不同的大小來對所述參考圖片執行參考圖片縮放程序以產生經縮放參考圖片；以及 使用所述經縮放參考圖片來對所述第一區塊進行解碼。
  14. 根據請求項13所述的裝置，其中，所述一個或多個處理器還被配置為： 基於所述當前圖片的縮放視窗的寬度（PicOutputWidthL）和所述當前圖片的所述縮放視窗的高度（PicOutputHeightL）來決定用於所述參考圖片重採樣的參考圖片縮放比，其中，PicOutputWidthL和PicOutputHeightL的值分別相對於所述參考圖片的縮放視窗的寬度（refPicOutputWidthL）和所述參考圖片的所述縮放視窗的高度（refPicOutputHeightL）而受限；以及 使用所決定的參考圖片縮放比來執行所述參考圖片重採樣。
  15. 根據請求項14所述的裝置，其中，PicOutputWidthL和PicOutputHeightL的值受限以使得PicOutputWidthL * A大於或等於refPicOutputWidthL、PicOutputHeightL * A大於或等於refPicOutputHeightL、PicOutputWidthL小於或等於refPicOutputWidthL * B、以及PicOutputHeightL小於或等於refPicOutputHeightL * B，其中，參數A和B是任何非零正數，並且B大於A。
  16. 根據請求項15所述的裝置，其中A等於2並且B等於8。
  17. 根據請求項13所述的裝置，其中，所述一個或多個處理器還被配置為： 決定用於所述參考圖片縮放程序的一個或多個參考圖片縮放值； 將所述一個或多個參考圖片縮放值裁剪為處於預先定義的範圍內；以及 根據經裁剪的參考圖片縮放值來執行所述參考圖片重採樣。
  18. 根據請求項10所述的裝置，還包括： 顯示器，被配置為顯示所述當前圖片。
  19. 一種被配置為對視頻資料進行解碼的裝置，所述裝置包括： 用於接收視頻資料的當前圖片的構件； 用於決定參考圖片重採樣針對所述當前圖片被啟用的構件； 用於基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理的構件；以及 用於使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼的構件。
  20. 一種儲存指令的非暫時性計算機可讀儲存媒體，所述指令在被執行時使得被配置為對視頻資料進行解碼的一個或多個處理器進行以下操作： 接收所述視頻資料的當前圖片； 決定參考圖片重採樣針對所述當前圖片被啟用； 基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及 使用所述參考圖片重採樣來對所述當前圖片的區塊進行解碼。
  21. 一種被配置為對視頻資料進行編碼的裝置，所述裝置包括： 記憶體，被配置為儲存視頻資料；以及 在電路中實現並與所述記憶體相通信的一個或多個處理器，所述一個或多個處理器被配置為： 接收所述視頻資料的當前圖片； 決定參考圖片重採樣針對所述當前圖片被啟用； 基於所述參考圖片重採樣被啟用而禁用針對所述當前圖片的子圖片處理；以及 使用所述參考圖片重採樣來對所述當前圖片的區塊進行編碼。
  22. 根據請求項21所述的裝置，其中，為了使用所述參考圖片重採樣來對所述當前圖片的區塊進行編碼，所述一個或多個處理器還被配置為： 決定所述當前圖片的第一區塊的參考圖片； 基於所述參考圖片具有與所述當前圖片不同的大小來對所述參考圖片執行參考圖片縮放程序以產生經縮放參考圖片；以及 使用所述經縮放參考圖片來對所述第一區塊進行編碼。
  23. 根據請求項22所述的裝置，其中，所述一個或多個處理器還被配置為： 基於所述當前圖片的縮放視窗的寬度（PicOutputWidthL）和所述當前圖片的所述縮放視窗的高度（PicOutputHeightL）來決定用於所述參考圖片重採樣的參考圖片縮放比； 分別相對於所述參考圖片的縮放視窗的寬度（refPicOutputWidthL）和所述參考圖片的所述縮放視窗的高度（refPicOutputHeightL）來限制PicOutputWidthL和PicOutputHeightL的值；以及 使用所決定的參考圖片縮放比來執行所述參考圖片重採樣。
  24. 根據請求項23所述的裝置，其中，所述一個或多個處理器還被配置為： 限制PicOutputWidthL和PicOutputHeightL的值以使得PicOutputWidthL * A大於或等於refPicOutputWidthL、PicOutputHeightL * A大於或等於refPicOutputHeightL、PicOutputWidthL小於或等於refPicOutputWidthL * B、以及PicOutputHeightL小於或等於refPicOutputHeightL * B，其中，參數A和B是任何非零正數，並且B大於A。
  25. 根據請求項24所述的裝置，其中A等於2並且B等於8。
  26. 根據請求項21所述的裝置，其中，所述一個或多個處理器還被配置為： 決定用於所述參考圖片縮放程序的一個或多個參考圖片縮放值； 將所述一個或多個參考圖片縮放值裁剪為處於預先定義的範圍內；以及 根據經裁剪的參考圖片縮放值來執行所述參考圖片重採樣。
  27. 根據請求項21所述的裝置，還包括： 相機，被配置為擷取所述當前圖片。
TW109144365A 2019-12-20 2020-12-16 用於視頻編碼中的參考圖片重採樣的參考圖片縮放比 TW202127893A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962951961P 2019-12-20 2019-12-20
US62/951,961 2019-12-20
US17/119,758 US11632540B2 (en) 2019-12-20 2020-12-11 Reference picture scaling ratios for reference picture resampling in video coding
US17/119,758 2020-12-11

Publications (1)

Publication Number Publication Date
TW202127893A true TW202127893A (zh) 2021-07-16

Family

ID=76439034

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109144365A TW202127893A (zh) 2019-12-20 2020-12-16 用於視頻編碼中的參考圖片重採樣的參考圖片縮放比

Country Status (5)

Country Link
US (1) US11632540B2 (zh)
EP (1) EP4078969A1 (zh)
CN (1) CN114830667A (zh)
TW (1) TW202127893A (zh)
WO (1) WO2021126758A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563947B2 (en) * 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
WO2021233404A1 (en) * 2020-05-21 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video coding
WO2023194334A1 (en) * 2022-04-07 2023-10-12 Interdigital Ce Patent Holdings, Sas Video encoding and decoding using reference picture resampling
WO2023200237A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 기하 분할된 블록에 대한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
KR102660160B1 (ko) * 2018-11-22 2024-04-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
US11032548B2 (en) * 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
KR20220024659A (ko) * 2019-06-24 2022-03-03 알리바바 그룹 홀딩 리미티드 비디오 처리에서의 적응적 해상도 변경
EP4011079A1 (en) * 2019-08-06 2022-06-15 Dolby Laboratories Licensing Corporation Canvas size scalable video coding
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
WO2021061400A1 (en) * 2019-09-23 2021-04-01 Alibaba Group Holding Limited Methods and apparatuses for prediction refinement with optical flow in reference picture resampling
US11317093B2 (en) * 2019-09-24 2022-04-26 Tencent America LLC Method for reference picture resampling with offset in video bitstream
JP7414980B2 (ja) * 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
US11336913B2 (en) * 2019-11-22 2022-05-17 Apple Inc. Reference picture re-sampling

Also Published As

Publication number Publication date
US11632540B2 (en) 2023-04-18
EP4078969A1 (en) 2022-10-26
US20210195172A1 (en) 2021-06-24
WO2021126758A1 (en) 2021-06-24
CN114830667A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US11095916B2 (en) Wraparound motion compensation in video coding
TW202101989A (zh) 用於視訊寫碼之參考圖像重採樣及框間寫碼工具
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
TW202143717A (zh) 視頻譯碼中的亮度映射與色度縮放（lmcs）
CN113812157A (zh) 用于视频译码的基于置零模式的低频不可分离变换信号通知
US11490099B2 (en) Reference subpicture scaling ratios for subpictures in video coding
TW202046740A (zh) 適應性迴路濾波器組之索引發信
TW202127893A (zh) 用於視頻編碼中的參考圖片重採樣的參考圖片縮放比
TW202041009A (zh) 用於轉換跳過模式之係數寫碼
TW202135531A (zh) 用於視訊編解碼的經解碼圖片緩衝器（dpb）參數訊號傳遞通知
TW202131676A (zh) 視訊編碼中針對參考圖片重取樣的環繞偏移
CN115486066A (zh) 在视频编解码中的独立子图片信令通知
TW202106023A (zh) 調色板模式下的增量量化參數訊令
CN116508321A (zh) 视频译码期间基于联合分量神经网络的滤波
TW202127881A (zh) 採用用於視訊編解碼之高階語法的子圖像傳訊
TW202110187A (zh) 用於視訊寫碼之改寫參數集合之記憶體約束
TW202133621A (zh) 支援有損解碼和無損解碼兩者的殘差解碼
TW202131698A (zh) 多層的共享解碼器圖片緩衝器
TW202127882A (zh) 視訊編解碼中的層間參考圖像傳訊
TW202119820A (zh) 視訊寫碼中之色度差量量化參數
CN114391256A (zh) 用于视频编解码的变换单元设计
TW202106013A (zh) 用於視訊寫碼中之自適應迴路濾波器之剪切索引寫碼
TW202141988A (zh) 用於視訊譯碼中的變換跳過區塊的高級約束
TW202143715A (zh) 視訊譯碼中的子區塊合併候選的信令數目
TW202133615A (zh) 基於色度變換跳過的用於色度的ｌｆｎｓｔ信號傳遞