TW202209881A - 多個自我調整迴路濾波器組 - Google Patents

多個自我調整迴路濾波器組 Download PDF

Info

Publication number
TW202209881A
TW202209881A TW110126020A TW110126020A TW202209881A TW 202209881 A TW202209881 A TW 202209881A TW 110126020 A TW110126020 A TW 110126020A TW 110126020 A TW110126020 A TW 110126020A TW 202209881 A TW202209881 A TW 202209881A
Authority
TW
Taiwan
Prior art keywords
self
loop filter
video data
tuning
alf
Prior art date
Application number
TW110126020A
Other languages
English (en)
Inventor
楠 胡
瓦迪姆 賽萊金
瑪塔 卡克基維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202209881A publication Critical patent/TW202209881A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊轉碼器可以被配置為:在與視訊資料相關聯的自我調整參數集中對多個自我調整迴路濾波器組進行編碼。一種視訊解碼器可以接收與視訊資料相關聯的該自我調整參數集中的該多個自我調整迴路濾波器組;從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及將所決定的一或多個自我調整迴路濾波器應用於該視訊資料。

Description

多個自我調整迴路濾波器組
本專利申請案主張享受於2020年7月24日提出申請的美國臨時申請案第62/705,992的權益,以引用方式將上述申請案的完整內容併入本文。
本案內容係關於視訊編碼和視訊解碼。
可以將數位視訊功能納入多種設備,這些設備包括:數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌面型電腦、平板電腦、電子書閱讀器、數碼相機、數位記錄設備、數位媒體播放機、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電話、所謂的「智慧手機」、視訊電話會議設備、視訊資料流式設備等等。數位視訊設備可實現視訊譯碼技術,例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高級視訊譯碼(AVC)、ITU-T H.265/高效視訊譯碼(HEVC)以及這些標準的擴展中定義的標準中描述的那些技術。經由實現此類視訊譯碼技術,視訊設備可以更有效地發送、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊譯碼技術包括空間(圖片內)預測及/或時間(圖片間)預測以減少或去除視訊序列中固有的冗餘。對於基於塊的視訊譯碼,可以將視訊切片(例如,視訊圖片或視訊圖片的一部分)劃分為視訊塊,這些視訊塊亦可以被稱為譯碼樹單元(CTU)、譯碼單元(CU)及/或譯碼節點。相對於同一圖片中相鄰塊中的參考取樣,使用空間預測對圖片的內解碼(I)切片中的視訊塊進行編碼。圖片的間解碼(P或B)切片中的視訊塊可使用相對於同一圖片中相鄰塊中參考取樣的空間預測,或相對於其他參考圖片中的參考取樣的時間預測。圖片可以被稱為訊框,並且參考圖片可以被稱為參考訊框。
概括地說,本案內容描述了用於使用自我調整迴路濾波器對視訊資料進行譯碼的技術。具體而言,本案內容描述了用於對指示多個自我調整迴路濾波器組的資料進行編碼和解碼,以及為該多個自我調整迴路濾波器組中的特定自我調整迴路濾波器組決定自我調整迴路濾波器的技術。本案內容的技術可以經由提供從中決定自我調整迴路濾波器的多個自我調整迴路濾波器組,來實現更好的內容自我調整和譯碼效率。此外,描述了用於用訊號傳送多個自我調整迴路濾波器組的技術,其可以允許具有相對低的管理負擔成本的訊號傳遞。
在一個實例中,本案內容描述了一種對視訊資料進行解碼的方法,該方法包括:接收與該視訊資料相關聯的自我調整參數集中的多個自我調整迴路濾波器組;從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及將所決定的一或多個自我調整迴路濾波器應用於該視訊資料。
在另一實例中,本案內容描述了一種被配置為對視訊資料進行解碼的裝置,該裝置包括:被配置為儲存該視訊資料的記憶體;及在電路中實現並且與該記憶體通訊的一或多個處理器,該一或多個處理器被配置為:接收與該視訊資料相關聯的自我調整參數集中的多個自我調整迴路濾波器組;從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及將所決定的一或多個自我調整迴路濾波器應用於該視訊資料。
在另一實例中,本案內容描述了一種被配置為對視訊資料進行解碼的裝置,該裝置包括:用於接收與該視訊資料相關聯的自我調整參數集中的多個自我調整迴路濾波器組的單元,用於從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器的單元,以及用於將所決定的一或多個自我調整迴路濾波器應用於該視訊資料的單元。
在另一實例中,本案內容描述了一種儲存指令的非暫時性電腦可讀取儲存媒體,當被執行時,該等指令使被配置為對視訊資料進行解碼的設備的一或多個處理器:接收與該視訊資料相關聯的自我調整參數集中的多個自我調整迴路濾波器組;從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及將所決定的一或多個自我調整迴路濾波器應用於該視訊資料。
在附圖和下文的描述中闡述了一或多個實例的細節。其他特徵、目標和優點從說明書、附圖以及申請專利範圍將是顯而易見的。
概括地說,本案內容描述了用於使用自我調整迴路濾波器對視訊資料進行譯碼的技術。具體而言,本案內容描述了用於對指示多個自我調整迴路濾波器組的資料進行編碼和解碼,以及為該多個自我調整迴路濾波器組中的特定自我調整迴路濾波器組決定自我調整迴路濾波器的技術。本案內容的技術可以經由提供從中決定自我調整迴路濾波器的多個自我調整迴路濾波器組來實現更好的內容自我調整和譯碼效率。此外,所描述的技術可以包括:用於用訊號傳送多個自我調整迴路濾波器組的技術,其可以允許具有相對低的管理負擔成本的訊號傳遞。
圖1是說明可以執行本案內容的技術的實例視訊編碼和解碼系統100的方塊圖。概括地說,本案內容的技術涉及對視訊資料進行譯碼(編碼及/或解碼)。概括地說,視訊資料包括用於處理視訊的任何資料。因此,視訊資料可以包括原始的未編碼的視訊、編碼視訊、解碼(例如,經重構的)視訊以及視訊中繼資料,例如訊號傳遞資料。
如圖1所示,在該實例中,系統100包括源設備102,其提供要由目的地設備116解碼和顯示的編碼視訊資料。具體而言,源設備102經由電腦可讀取媒體110向目的地設備116提供視訊資料。源設備102和目的地設備116可以包括多種設備中的任何一種,包括桌面式電腦、筆記型電腦(即膝上型電腦)、行動設備、平板電腦、機上盒、例如智慧手機的電話手持設備、電視機、照相機、顯示設備、數位媒體播放機、視訊遊戲控制台、視訊資料流式設備、廣播接收器設備等等。在一些情況下,源設備102和目的地設備116可以被配備用於無線通訊,因此可以被稱為無線通訊設備。
在圖1的實例中,源設備102包括視訊源104、記憶體106、視訊轉碼器200和輸出介面108。目的地設備116包括輸入介面122、視訊解碼器300、記憶體120和顯示設備118。根據本案內容,源設備102的視訊轉碼器200和目的地設備116的視訊解碼器300可以被配置為:應用用於自我調整迴路濾波的技術。因此,源設備102表示視訊編碼設備的實例,而目的地設備116表示視訊解碼設備的實例。在其他實例中,源設備和目的地設備可以包括其他部件或佈置。例如,源設備102可以從諸如外部攝像機的外部視訊源接收視訊資料。同樣,目的地設備116可以與外部顯示裝置介面,而不是包括整合的顯示設備。
圖1所示的系統100僅是一個實例。通常,任何數位視訊編碼及/或解碼設備皆可以執行用於自我調整迴路濾波的技術。源設備102和目的地設備116僅僅是此類譯碼設備的實例,其中源設備102產生經解碼的視訊資料以傳輸到目的地設備116。本案內容將「譯碼」設備稱為執行資料的譯碼(編碼及/或解碼)的設備。因此,視訊轉碼器200和視訊解碼器300分別表示譯碼設備的實例,具體而言,分別是視訊轉碼器和視訊解碼器。在一些實例中,源設備102和目的地設備116可以以基本上對稱的方式操作,從而使得源設備102和目的地設備116之每一者包括視訊編碼和解碼用部件。因此,系統100可以支援源設備102與目的地設備116之間的單向或雙向視訊傳輸,例如,用於視訊資料流式、視訊重播、視訊廣播或視訊電話。
通常,視訊源104表示視訊資料的來源(亦即,原始、未編碼的視訊資料),並將視訊資料的一系列順序的圖片(亦被稱為「訊框」)提供給視訊轉碼器200,視訊轉碼器200對圖片的資料進行編碼。源設備102的視訊源104可以包括視訊擷取裝置(例如攝像機,包含先前擷取的原始視訊的視訊檔案及/或視訊饋送介面),以從視訊內容提供者接收視訊。作為另一替代方案,視訊源104可以產生基於電腦圖形的資料作為源視訊,或者即時視訊、歸檔視訊和電腦產生的視訊的組合。在每種情況下,視訊轉碼器200對擷取的、預擷取的或電腦產生的視訊資料進行編碼。視訊轉碼器200可以將圖像從接收的順序(有時被稱為「顯示順序」)重新排列為用於譯碼的譯碼順序。視訊轉碼器200可以產生包括編碼視訊資料的位元串流。隨後,源設備102可以經由輸出介面108將編碼視訊資料輸出到電腦可讀取媒體110上,以經由例如目的地設備116的輸入介面122進行接收及/或檢索。
源設備102的記憶體106和目的設備116的記憶體120代表通用記憶體。在一些實例中,記憶體106、120可以儲存原始視訊資料,例如,來自視訊源104的原始視訊和來自視訊解碼器300的原始、經解碼視訊資料。補充地或可替代地,記憶體106、120可以儲存分別可由例如視訊轉碼器200和視訊解碼器300執行的軟體指令。儘管在該實例中記憶體106和記憶體120與視訊轉碼器200和視訊解碼器300分開示出,但應當理解的是:視訊轉碼器200和視訊解碼器300亦可以包括內部記憶體,以實現功能上相似或等效的目的。此外,記憶體106、120可以儲存編碼視訊資料,例如從視訊轉碼器200輸出並輸入到視訊解碼器300的編碼視訊資料。在一些實例中,可以分配記憶體106、120的一些部分作為一或多個視訊緩衝器,例如,以儲存原始、解碼及/或編碼視訊資料。
電腦可讀取媒體110可以代表能夠將編碼視訊資料從源設備102傳輸到目的地設備116的任何類型的媒體或設備。在一個實例中,電腦可讀取媒體110表示通訊媒體,以使源設備102能夠例如經由射頻網路或基於電腦的網路將編碼視訊資料直接即時發送到目的地設備116。輸出介面108可以根據通訊標準(例如無線通訊協定)來調制包括編碼視訊資料的傳輸訊號,並且輸入介面122可以對接收到的傳輸訊號進行解調。通訊媒體可以包括任何無線或有線通訊媒體,例如射頻(RF)頻譜或一或多條實體傳輸線。通訊媒體可以形成基於封包的網路的一部分,例如區域網路、廣域網或例如網際網路的全球網路。通訊媒體可以包括路由器、交換機、基地台或有助於從源設備102到目的地設備116的通訊的任何其他設備。
在一些實例中,源設備102可以將編碼資料從輸出介面108輸出到存放裝置112。類似地,目的地設備116可以經由輸入介面122存取來自存放裝置112的編碼資料。存放裝置112可以包括各種分散式或本端存取的資料儲存媒體中的任何一種,例如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體器、揮發性或非揮發性記憶體或用於儲存編碼視訊資料的任何其他合適的數位儲存媒體。
在一些實例中,源設備102可以將經編碼視訊資料輸出到檔案伺服器114或者可以儲存由源設備102產生的經編碼視訊資料的另一中間存放裝置。目的地設備116可以經由資料串流或下載來存取來自檔案伺服器114的儲存的視訊資料。
檔案伺服器114可以是能夠儲存經編碼視訊資料並將該經編碼視訊資料發送到目的地設備116的任何類型的伺服器設備。檔案伺服器114可以代表網路服務器(例如,用於網站)、被配置為提供檔案傳輸通訊協定服務(例如檔案傳輸通訊協定(FTP)或基於單向傳輸協定的檔案傳輸 (FLUTE))的伺服器、內容傳輸網路 (CDN) 設備、超文字傳輸協定(HTTP) 伺服器、多媒體廣播多播服務 (MBMS)或增強型MBMS(eMBMS)伺服器及/或網路附加儲存(NAS)設備。檔案伺服器114可以補充地或替代地實現一或多個HTTP資料流式協定,例如基於HTTP的動態自我調整資料流式(DASH)、HTTP即時資料流式(HLS)、即時資料流式協定(RTSP)、HTTP動態資料流式,等等。
目的地設備116可以經由包括網際網路連接的任何標準資料連接來存取來自檔案伺服器114的編碼視訊資料。這可以包括適合存取儲存在檔案伺服器114上的編碼視訊資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,數位用戶線路(DSL)、纜線數據機等)或這二者的組合。輸入介面122可以被配置為:根據上文論述的用於從檔案伺服器114檢索或接收媒體資料的各種協定或者用於檢索媒體資料的其他此類協定中的任何一或多個進行操作。
輸出介面108和輸入介面122可以代表無線發射器/接收器、數據機、有線網路部件(例如,乙太網路卡)、根據各種IEEE 802.11標準中的任何一種進行操作的無線通訊部件,或者其他實體部件。在輸出介面108和輸入介面122包括無線部件的實例中,輸出介面108和輸入介面122可以被配置為根據蜂巢通訊標準(例如,4G、4G-LTE(長期進化)、高級LTE、5G等)來傳輸資料(例如編碼視訊資料)。在輸出介面108包括無線發射器的一些實例中,輸出介面108和輸入介面122可以配置為根據其他無線標準(例如,IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、Bluetooth™標準等)來傳輸資料(例如編碼視訊資料)。在一些實例中,源設備102及/或目的地設備116可以包括各自的片上系統(SoC)設備。例如,源設備102可以包括SoC設備以執行貢獻於視訊轉碼器200及/或輸出介面108的功能,並且目的地設備116可以包括SoC設備以執行貢獻於視訊解碼器300及/或輸入介面122的功能。
本案內容的技術可以應用於支援各種多媒體應用中的任何一種的視訊譯碼,例如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路流式視訊傳輸,例如HTTP(DASH)上的動態自我調整資料流式、編碼到資料儲存媒體上的數位視訊,對儲存在資料儲存媒體上的數位視訊進行解碼,或者其他應用。
目的地設備116的輸入介面122從電腦可讀取媒體110(例如,通訊媒體、存放裝置112、檔案伺服器114等)接收經編碼視訊位元串流。經編碼視訊位元串流可以包括由視訊轉碼器200定義的訊號傳遞資訊,其亦由視訊解碼器300使用,例如具有描述視訊塊或其他編碼單元(例如,切片、圖片、圖片組、序列等)的特性及/或處理的值的語法元素。顯示設備118向使用者顯示解碼視訊資料的解碼圖片。顯示設備118可以代表多種顯示設備中的任何一種,例如液晶顯示器(LCD)、等離子顯示器、有機發光二極體(OLED)顯示器或另一種類型的顯示設備。
儘管未在圖1中顯示,但在一些實例中,視訊轉碼器200和視訊解碼器300可以分別與音訊編碼器及/或音訊解碼器整合在一起,並且可以包括適當的MUX-DEMUX單元或其他硬體及/或軟體,以用於處理公共資料串流中包括音訊和視訊二者的多工串流。若適用,MUX-DEMUX單元可以符合ITU H.223多工器協定或其他協定,例如使用者資料包通訊協定(UDP)。
視訊轉碼器200和視訊解碼器300可以各自實現為各種合適的編碼器及/或解碼器電路中的任何一種,例如一或多個微處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、離散邏輯單元、軟體、硬體、韌體或其任何組合。當這些技術部分地以軟體實現時,設備可將用於軟體的指令儲存在合適的非暫時性電腦可讀取媒體中,並使用一或多個處理器以硬體方式執行指令以執行本案內容的技術。視訊轉碼器200和視訊解碼器300中的每一個可以包括在一或多個編碼器或解碼器中,其中的任意一個可以整合作為相應設備中的組合編碼器/解碼器(CODEC)的一部分。包括視訊轉碼器200及/或視訊解碼器300的設備可以包括積體電路、微處理器及/或無線通訊設備,例如蜂巢式電話。
視訊轉碼器200和視訊解碼器300可以根據視訊譯碼標準(例如ITU-T H.265,亦被稱為高效視訊譯碼(HEVC)或其擴展,例如多視圖及/或可調節視訊譯碼擴展)來進行操作。或者,視訊轉碼器200和視訊解碼器300可以根據其他專有或工業標準(例如ITU-T H.266,亦被稱為多功能視訊譯碼(VVC))來操作。在Bross等人的「Versatile Video Coding (Draft 10)」,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET),第18次會議,遠端會議,2020年6月22日-7月1日,JVET-S2001-vA(以下簡稱「 VVC草案10」)中描述了VVC標準的草案。然而,本案內容的技術不限於任何特定的譯碼標準。
通常,視訊轉碼器200和視訊解碼器300可以執行圖片的基於塊的譯碼。術語「塊」通常是指包括待處理的資料的結構(例如,待編碼及/或解碼,或者在編碼及/或解碼程序中以其他方式待使用)。例如,塊可以包括亮度及/或色度資料取樣的二維矩陣。通常,視訊轉碼器200和視訊解碼器300可以對以YUV(例如,Y,Cb,Cr)格式表示的視訊資料進行解碼。亦即,視訊轉碼器200和視訊解碼器300可以對亮度和色度分量進行譯碼,而不是對圖片取樣的紅、綠和藍(RGB)資料進行譯碼,其中色度分量可以包括紅色和藍色色度分量。在一些實例中,視訊轉碼器200在編碼之前將接收到的RGB格式的資料轉換成YUV表示,並且視訊解碼器300將YUV表示轉換成RGB格式。或者,預處理和後處理單元(未圖示)可以執行這些轉換。
本案內容通常可以提及圖片的譯碼(例如,編碼和解碼)以包括對圖片的資料進行編碼或解碼的程序。類似地,本發明可以提及對圖片的塊的譯碼以包括對塊的資料進行編碼或解碼的程序,例如,預測及/或殘差譯碼。經編碼視訊位元串流通常包括語法元素的一系列值,這些值表示譯碼決策(例如,譯碼模式)以及將圖片劃分為塊。因此,提及對圖片或塊進行譯碼通常應理解為對形成圖片或塊的語法元素的值進行譯碼。
HEVC定義了各種塊,包括譯碼單元(CU)、預測單元(PU)和變換單元(TU)。根據HEVC,視訊譯碼器(例如,視訊轉碼器200)根據四叉樹結構將譯碼樹單元(CTU)劃分為CU。亦即,視訊譯碼器將CTU和CU劃分為四個相等、不重疊的正方形,並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為「葉節點」,並且這種葉節點的CU可以包括一或多個PU及/或一或多個TU。視訊譯碼器可進一步劃分PU和TU。例如,在HEVC中,殘差四叉樹(RQT)表示TU的劃分。在HEVC中,PU表示間預測資料,而TU表示殘差資料。內預測的CU包括內預測資訊,例如模式內指示。
作為另一實例,視訊轉碼器200和視訊解碼器300可以被配置為根據VVC操作。根據VVC,視訊譯碼器(例如,視訊轉碼器200)將圖片劃分為複數個譯碼樹單元(CTU)。視訊轉碼器200可根據樹結構(例如四叉樹-二叉樹(QTBT)結構或多類型樹(MTT)結構)來劃分CTU。QTBT結構消除了多個劃分類型的概念,例如HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別:根據四叉樹分區來劃分的第一級,以及根據二叉樹分區來劃分的第二級。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於譯碼單元(CU)。
在MTT分區結構中,可以使用四叉樹(QT)分區、二叉樹(BT)分區以及一或多個類型的三叉樹(TT)(亦被稱為三元樹(TT))分區來對塊進行劃分。三叉樹或三元樹分區是將一個塊分為三個子塊的一種分區方式。在一些實例中,三叉樹或三元樹分區將一個塊劃分為三個子塊,而不經由中心來對原始塊進行劃分。MTT中的分區類型(例如,QT、BT和TT)可以是對稱的或不對稱的。
在一些實例中,視訊轉碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度和色度分量中的每一個,而在其他實例中,視訊轉碼器200和視訊解碼器300可以使用兩個或兩個以上QTBT或MTT結構,例如,一個QTBT/MTT結構用於亮度分量,另一個QTBT/MTT結構用於兩個色度分量(或兩個QTBT/MTT結構用於相應的色度分量)。
視訊轉碼器200和視訊解碼器300可以被配置為對每個HEVC、QTBT分區、MTT分區或其他分區結構使用四叉樹分區。為了說明的目的,針對QTBT分區提供了對本案內容的技術的描述。然而,應當理解的是:本案內容的技術亦可以應用於被配置為使用四叉樹分區或其他類型分區的視訊譯碼器。
在一些實例中,CTU包括亮度取樣的譯碼樹塊(CTB)、具有三個取樣陣列的圖片的色度取樣的兩個相應CTB,或者單色圖片或使用三個單獨的顏色平面和用於對取樣譯碼的語法結構來譯碼的圖片的取樣的CTB。CTB可以是針對某個N值的NxN取樣塊,使得將分量劃分為CTB是分區。分量是來自以4:2:0、4:2:2或 4:4:4顏色格式組成圖片的三個陣列(亮度和兩個色度)中的一個的陣列或單個取樣,或者組成單色格式圖片的陣列或陣列的單個取樣。在一些實例中,譯碼塊是針對某個M和N值的MxN取樣塊,使得將CTB劃分為譯碼塊是一種分區。
可以用各種方式將塊(例如,CTU或CU)成組在圖片中。作為一個實例,磚塊(brick)可以指圖片中特定瓦片(tile)之內的CTU行的矩形區域。瓦片可以是圖片中特定瓦片列和特定瓦片行之內的CTU的矩形區域。瓦片列是指CTU的矩形區域,其具有等於圖片高度的高度和由語法元素指定的寬度(例如,如在圖片參數集中指定的)。瓦片行是指CTU的矩形區域,其具有由語法元素指定的高度(例如,諸如在圖片參數集中)以及與圖片寬度相等的寬度。
在一些實例中,可以將瓦片劃分成多個磚塊,每個磚塊可以包括瓦片內的一或多個CTU行。沒有被劃分為多個磚塊的瓦片亦可以被稱為磚塊。但是,作為瓦片的真實子集的磚塊不能被稱為瓦片。
圖片中的磚塊亦可以佈置為切片。切片可以是圖片的整數個磚塊,其可以排他地包含在單個網路抽象層(NAL)單元中。在一些實例中,切片包括多個完整瓦片或僅一個瓦片的連續的完整磚塊序列。
本案內容可互換地使用「NxN」和「N乘N」來代表塊(例如CU或其他視訊塊)的取樣尺寸在垂直維度和水平維度態樣的取樣維度,例如,16x16個取樣或16乘16個取樣。通常,16x16 CU在垂直方向上將具有16個取樣(y = 16),並且在水平方向上將具有16個取樣(x = 16)。同樣地,NxN CU通常在垂直方向上具有N個取樣,在水平方向上具有N個取樣,其中N表示非負整數值。CU中的取樣可以按行和列排列。此外,CU在水平方向上不一定具有與垂直方向上相同數量的取樣。例如,CU可以包括N×M個取樣,其中M不一定等於N。
視訊轉碼器200對表示預測及/或殘差資訊以及其他資訊的CU的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成用於CU的預測塊。殘差資訊通常代表編碼之前的CU取樣與預測塊之間的逐取樣差異。
為了預測CU,視訊轉碼器200通常可經由間預測或內預測來形成用於CU的預測塊。間預測通常是指根據先前譯碼的圖片的資料來預測CU,而內預測通常是指根據同一圖片的先前譯碼的資料來預測CU。為了執行間預測,視訊轉碼器200可使用一或多個運動向量來產生預測塊。視訊轉碼器200通常可以執行運動搜尋以辨識例如在CU與參考塊之間的差異態樣與CU緊密匹配的參考塊。視訊轉碼器200可以使用絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差異來計算差值度量,以決定參考塊是否與當前CU緊密匹配。在一些實例中,視訊轉碼器200可使用單向預測或雙向預測來預測當前CU。
VVC的某些實例亦提供了仿射運動補償模式,其可以被視為間預測模式。在仿射運動補償模式中,視訊轉碼器200可以決定表示非平移運動(例如放大或縮小、旋轉、透視運動或其他不規則運動類型)的兩個或兩個以上運動向量。
為了執行內預測,視訊轉碼器200可以選擇內預測模式以產生預測塊。VVC的某些實例提供了67種內預測模式,包括各種方向模式以及平面模式和DC模式。通常,視訊轉碼器200選擇內預測模式,該內預測模式描述與當前塊(例如,CU的塊)相鄰的取樣,從這些相鄰取樣預測當前塊的取樣。假設視訊轉碼器200以光柵掃瞄順序(從左到右,從上到下)對CTU和CU進行譯碼,則此類取樣通常可以在與當前塊相同的圖片中當前塊的上方、上方左側、或左側。
視訊轉碼器200對表示當前塊的預測模式的資料進行編碼。例如,對於間預測模式,視訊轉碼器200可對表示使用各種可用間預測模式中的哪一個的資料,以及相應模式的運動資訊進行編碼。對於單向或雙向間預測,例如,視訊轉碼器200可使用高級運動向量預測(AMVP)或合併模式來對運動向量進行編碼。視訊轉碼器200可使用類似模式來對仿射運動補償模式的運動向量進行編碼。
在預測(例如塊的內預測或間預測)之後,視訊轉碼器200可計算該塊的殘差資料。殘差資料(例如殘差塊)表示該塊與使用相應預測模式形成的該塊的預測塊之間的逐取樣差異。視訊轉碼器200可將一或多個變換應用於殘差塊,以在變換域而非取樣域中產生經變換的資料。例如,視訊轉碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘差視訊資料。另外,視訊轉碼器200可在第一變換之後應用次級變換,例如,與模式有關的不可分離的次級變換(MDNSST)、與訊號有關的變換、Karhunen-Loeve變換(KLT)等等。視訊轉碼器200在應用一或多個變換之後產生變換係數。
如前述,在進行任何變換以產生變換係數之後,視訊轉碼器200可以執行變換係數的量化。量化通常是指以下程序:對變換係數進行量化以可能減少用於表示變換係數的資料量,從而提供進一步壓縮。經由執行量化程序,視訊轉碼器200可以減小與一些或所有變換係數相關聯的位元深度。舉例而言,視訊轉碼器200可在量化期間將n位元值向下取整為m位元值,其中n大於m。在一些實例中,為了執行量化,視訊轉碼器200可以執行待量化的值的按位元右移。
在量化之後,視訊轉碼器200可以掃瞄變換係數,從而從包括量化變換係數的二維矩陣產生一維向量。可以將掃瞄設計為將較高能量(因此頻率較低)的變換係數放在向量的前部,並將較低能量(因此頻率較高)的變換係數放在向量的後部。在一些實例中,視訊轉碼器200可以利用預定義的掃瞄順序來掃瞄量化的變換係數以產生序列化的向量,隨後對向量的量化的變換係數進行熵編碼。在其他實例中,視訊轉碼器200可以執行自我調整掃瞄。在掃瞄量化的變換係數以形成一維向量之後,視訊轉碼器200可以例如根據上下文自我調整二進位算術譯碼(CABAC)對一維向量進行熵編碼。視訊轉碼器200亦可以對語法元素的值進行熵編碼,該語法元素描述與編碼視訊資料相關聯的中繼資料,以供視訊解碼器300在解碼視訊資料時使用。
為了執行CABAC,視訊轉碼器200可以將上下文模型內的上下文指派給要發送的符號。上下文可以涉及例如符號的相鄰值是否為零值。概率決定可以基於被分配給該符號的上下文。
視訊轉碼器200亦可以例如在圖片標頭、塊標頭、切片標頭或其他語法資料(例如序列參數集(SPS)、圖片參數集(PPS)或視訊參數集(VPS))中向視訊解碼器300產生語法資料,例如基於塊的語法資料、基於圖片的語法資料和基於序列的語法資料。視訊解碼器300可類似地解碼此類語法資料以決定如何對相應視訊資料進行解碼。
以此方式,視訊轉碼器200可以產生包括編碼視訊資料的位元串流,例如,描述將圖片劃分成塊(例如,CU)的語法元素以及針對塊的預測及/或殘差資訊。最終,視訊解碼器300可以接收位元串流並對編碼視訊資料進行解碼。
通常,視訊解碼器300執行與視訊轉碼器200所執行的程序相逆的程序以對位元串流的編碼視訊資料進行解碼。例如,視訊解碼器300可以使用CABAC以與視訊轉碼器200的CABAC編碼程序基本相似(儘管與之相逆)的方式來對位元串流的語法元素的值進行解碼。語法元素可定義分區資訊用於將圖片劃分為CTU,並根據相應分區結構對每個CTU進行劃分(例如,QTBT結構)以定義CTU的CU。語法元素亦可以定義針對視訊資料的塊(例如,CU)的預測和殘差資訊。
殘差資訊可以由例如量化的變換係數來表示。視訊解碼器300可以對塊的經量化的變換係數進行逆量化和逆變換以再現該塊的殘差塊。視訊解碼器300使用用訊號傳達的預測模式(內預測或間預測)和相關的預測資訊(例如,用於間預測的運動資訊)來形成針對該塊的預測塊。視訊解碼器300隨後可以(逐個取樣地)對預測塊和殘差塊進行組合以再現原始塊。視訊解碼器300可以執行額外處理,例如執行解塊程序以減少沿塊的邊界的視覺偽像。
本案內容可以概括地提及「用訊號傳送」某些資訊,例如語法元素。術語「用訊號傳送」通常可以代表語法元素及/或用於對編碼視訊資料進行解碼的其他資料的值的通訊。亦即,視訊轉碼器200可以用訊號傳送位元串流中的語法元素的值。通常,用訊號傳送是指在位元串流中產生值。如前述,源設備102可以基本即時地或不即時地將位元串流傳輸到目的地設備116,例如在將語法元素儲存到存放裝置112以供稍後由目的地設備116取回時可能發生。
根據本案內容的技術,如下文將更詳細解釋的,視訊轉碼器200和視訊解碼器300可以被配置為對自我調整參數集中的多個自我調整迴路濾波器組進行譯碼,並將來自多個自我調整迴路濾波器組的一或多個自我調整迴路濾波器應用於視訊資料。
濾波
在VVC中,可以應用自我調整迴路濾波器(ALF)來使原始取樣和濾波取樣之間的均方誤差最小化。在一些實例中,自我調整迴路濾波器的輸入取樣是取樣自我調整偏移(SAO)濾波器的輸出取樣。ALF的輸出取樣儲存在經解碼圖片緩衝器(DPB)中或作為輸出圖片發送出去。聯合勘探模型(JEM)軟體中採用的ALF濾波器形狀為5x5、7x7和9x9菱形。視訊轉碼器200可以在圖片級別選擇濾波器形狀並用訊號傳送。為了在碼效率和濾波器複雜度之間獲得更好的權衡,在VVC中,亮度和色度分量分別僅支援7x7菱形400和5x5菱形402,如圖2所示。圖2圖示VVC版本1中的實例ALF濾波器形狀。
在一個實例中,對於每個濾波器,整數係數
Figure 02_image001
以7位元小數精度表示。
Figure 02_image001
的絕對值經由使用第0階Exp-Golomb碼後跟非零係數的符號位元進行譯碼。在圖2中,每個方塊對應於亮度取樣或色度取樣,中心方塊對應於當前的、待濾波的取樣。為了減少與發送係數和乘法次數相關聯的管理負擔,圖2中的濾波器形狀是點對稱的。另外,如公式(1)所示,所有濾波器係數之和應等於128,即1.0的定點表示,具有7位元小數精度。
 
Figure 02_image003
  (1)
在公式(1)中,
Figure 02_image005
是係數的數量,
Figure 02_image005
對於7x7和5x5濾波器形狀分別等於13和7。
在VVC中,非線性被引入ALF。視訊轉碼器200和視訊解碼器300可在相鄰取樣值與當前待濾波的取樣值之間的差異太大時應用簡單的裁剪功能以減小相鄰取樣值的影響。為了對取樣進行濾波,ALF程序執行如下:
 
Figure 02_image007
(2)
其中
Figure 02_image009
是經SAO濾波後的取樣值。
非線性函數用裁剪函式定義為:
 
Figure 02_image011
(3)
其中
Figure 02_image013
等於0或1,並且
Figure 02_image015
是第
Figure 02_image017
個係數
Figure 02_image001
的濾波器分接點位置偏移。
在VVC版本1中,如公式(4)中一樣,係數
Figure 02_image001
的裁剪參數
Figure 02_image019
由裁剪索引
Figure 02_image021
決定。在公式(4)中,
Figure 02_image023
是內部位元深度。
 
Figure 02_image025
(4)
在濾波器中,用訊號傳送的係數的數量和用訊號傳送的裁剪索引的數量都是
Figure 02_image027
。在一個例子中,每個係數被限制在 [-128, 127]的範圍內,這相當於具有7位小數精度的[-1.0, 1.0)。在一個中,每個裁剪索引
Figure 02_image021
可以是0、1、2或3,並且經由使用兩位元固定長度碼來發訊號通知。為了簡化裁剪操作,如等式(4)所示,裁剪參數
Figure 02_image019
的值只能是2的冪。因此,簡單的按位元邏輯運算可以用作裁剪運算。
子塊級濾波器自我調整
在VVC版本1中,ALF遵循與JEM-7.0中的ALF相同的亮度分類框架。為了譯解碼效率和計算複雜度之間獲得更好的權衡,用於分類的塊大小可以從2x2個取樣增加到4x4個取樣。為了決定4x4塊的類索引,使用具有8x8亮度取樣的周圍訊窗來得出方向和活動資訊。在這個8x8亮度取樣訊窗中,首先計算每兩個取樣的四個梯度值,如圖3所示。圖3圖示了用於ALF分類的4x4子塊404(灰色方塊)的子取樣拉普拉斯值。計算標有圓點的取樣的梯度值。其他取樣的梯度值設置為0。對於具有座標
Figure 02_image029
的每個取樣,圖4圖示四個梯度值:水平梯度
Figure 02_image031
406、垂直梯度V 408、135度梯度D1 410以及45度梯度D2 412,其推導如下:
Figure 02_image033
(5)
變數
Figure 02_image017
Figure 02_image013
指的是4x4塊中左上角取樣的座標。所有計算出的水平梯度
Figure 02_image035
、垂直梯度
Figure 02_image037
、135度梯度
Figure 02_image039
和45度梯度
Figure 02_image041
的總和計算為:
 
Figure 02_image043
    (6)
如下式(7)所示計算水平和垂直梯度的最大值和最小值之比,用
Figure 02_image045
表示,以及兩個對角線梯度的最大值和最小值之比,用
Figure 02_image047
表示。
Figure 02_image049
(7)
隨後,
Figure 02_image045
Figure 02_image047
與兩個閾值
Figure 02_image051
Figure 02_image053
相互比較,得出方向性
Figure 02_image055
,如下所示: 步驟1:若
Figure 02_image057
Figure 02_image059
,則D設置為0(紋理),否則繼續執行步驟2。 步驟2:若
Figure 02_image061
,繼續第3步,否則繼續第4步。 步驟3:若
Figure 02_image063
,則D設置為1(弱對角線),否則,D設置為2(強對角線)。 步驟4:若
Figure 02_image065
,則D設置為(弱水平/垂直),否則,D設置為4(強水平/垂直)。
活動值A計算如下:
Figure 02_image067
(8)
Figure 02_image069
進一步映射到0至4的範圍,包括端點,量化值表示為
Figure 02_image071
。因此,每個4x4塊被歸類為25個類(C)之一,如下所示:
Figure 02_image073
(9)
因此,亮度濾波器組包含25個濾波器。然而,為了在保持譯碼效率的同時減少表示濾波器係數所需的位元數,可以合併不同的類。合併的類使用相同的濾波器。視訊轉碼器200可以用訊號傳送合併表。在合併表414中,作為實例,如圖5所示,經由使用固定長度碼用訊號傳送每個類別的濾波器索引。圖5圖示將25個亮度類別合併為7個經合併類別的實例,其中每個方塊代表一個基於D和
Figure 02_image071
的值的類別(索引可以從0至24,包括端點)。在該實例濾波器組中,視訊轉碼器200可以被配置為用訊號傳送7個亮度濾波器。對於每個類別,視訊轉碼器200可以在ALF_APS(自我調整參數集)中用訊號傳送濾波器索引(在該實例中從0至6)。
一旦從基於4x4塊的類索引和合併表的亮度濾波器組中獲得濾波器,在獲得該塊的濾波器取樣之前,可以根據如表1所示針對4x4塊計算的梯度值將如圖6所示的簡單幾何變換應用於濾波器。
表1 基於梯度值的幾何變換
梯度值 變換
Figure 02_image075
 並且
Figure 02_image077
沒有變換
Figure 02_image075
 並且
Figure 02_image079
對角翻轉
Figure 02_image081
 並且
Figure 02_image077
垂直翻轉
Figure 02_image081
 並且
Figure 02_image079
右旋轉
圖6圖示了7x7菱形濾波器形狀的幾何變換。幾何變換包括對角翻轉416、垂直翻轉418以及右旋轉420。
譯碼樹塊級自我調整
在JEM-7.0中,對切片的所有亮度CTB只應用一個亮度濾波器組,對切片的所有色度CTB只應用一個色度濾波器。但是,存在兩個缺點。首先,當CTB之間的統計資訊差異很大時,對顏色分量的所有CTB使用相同的濾波器/濾波器組可能會限制ALF的譯碼效率,特別是對於大解析度序列和混合內容視訊序列(例如,自然內容和螢幕內容二者)。其次,在針對切片得出濾波器時,直到收集整個切片的統計資訊才能計算濾波器。這種多通道編碼技術可能不適用於低延遲應用。為了解決該問題,一個實例解決方案使用來自先前經譯碼切片的統計資料。但是,這可能會導致一些效能損失。
除了亮度4x4塊基本濾波器自我調整以外,VVC亦支援CTB級別濾波器自我調整。在切片中,視訊轉碼器200可以被配置為針對不同的亮度CTB使用不同的亮度濾波器組,並且亦可以針對不同的色度CTB使用不同的色度濾波器。視訊轉碼器200可以對具有相似統計資料的CTB使用相同的濾波器。這種CTB級別濾波器自我調整提高了譯碼效率,尤其是對於低延遲應用。此外,VVC版本1允許視訊轉碼器200使用來自針對CTB的先前經譯碼圖片的濾波器。這種時間濾波器重用機制可以減少濾波器係數的管理負擔。在VVC版本1中,最多可以將七個用訊號傳送的訊號亮度濾波器組和八個用訊號傳送的色度濾波器應用於切片。當沒有任何用訊號傳送的濾波器時,可以將16個固定濾波器組中的一個應用於亮度CTB。
當ALF被啟用時,用訊號傳送固定濾波器組或用訊號傳送的亮度濾波器組的濾波器組索引用於亮度CTB。用訊號傳送被用訊號傳送的色度濾波器的濾波器索引用於色度CTB。經由使用從先前經譯碼圖片用訊號傳送的濾波器以及固定濾波器,當在低延遲應用中對當前CTU進行編碼時,可以經由僅使用當前CTU的統計資訊來決定三個CTU級別的開/關標誌位元和濾波器/濾波器組索引。因此,每個CTU的經編碼位元串流可以即時產生,而不是等待整個圖片的統計資料可用再產生。
行緩衝器減少
如圖2所示,在垂直方向上,對於亮度和色度分量,濾波器形狀分別具有7個分接點和5個分接點。因此,在VVC測試模型2.0(VTM-2.0)中,在對一行CTU進行解碼時,由於解塊濾波器和SAO濾波器的延遲,上一行CTU的7條亮度線和4條色度線必須儲存在ALF的行緩衝器中。然而,額外的行緩衝器需要較大的晶片面積,特別是對於高清(HD)和超高清(UHD)視訊序列來說。
為了使ALF硬體友好(例如,經由減少行緩衝器要求),可以應用虛擬邊界(VB)的概念來消除ALF的所有行緩衝器管理負擔。考慮VVC版本1中的解塊濾波器和SAO濾波器,VB的位置是水平CTU邊界上方的4個亮度取樣和2個色度取樣。當VB一側的一個取樣被濾波時,無法使用VB另一側的取樣。應用具有對稱取樣填充的經修改濾波,如圖7-圖9的實例所示,其中濾波器432的中心正方形是當前待濾波取樣的位置,粗線430是VB的位置。在圖7-圖9中,填充了虛線的濾波器分接點位置。圖7顯示了一個實例,其中濾波器432的一個濾波器分接點位置高於或低於VB 430。在該實例中,填充了一個濾波器分接點位置。圖8顯示了一個實例,其中濾波器432的四個濾波器分接點位置高於或低於VB 430。在該實例中,填充了四個濾波器分接點位置。
然而,當取樣位於VB 430每一側的最近的行上時,例如,如圖9所示,2D濾波器等效於水平濾波器。這可能會引入視覺偽影。為了解決該問題,在當前待濾波取樣位於VB每一側的最近行上時,濾波器強度得到補償,如公式(10)所示。公式(10)與公式(2)比較,右移了多3個位元。
Figure 02_image083
(10)
當應用VB處理時,4x4塊的分類亦被修改。在計算VB一側的4x4塊的類索引時,不使用VB另一側的梯度和取樣,如圖10所示。但是,在計算與VB相鄰的取樣的梯度值時,無法利用VB另一側的取樣。因此,當前邊的邊界取樣被重複擴展,如圖10所示。即VB當前一側的邊界取樣被鏡像到VB的另一側。由於可用梯度值的數量減少,公式(8)中的活動推導重新調整為:
Figure 02_image085
(11)
濾波器係數訊號傳遞
在VVC版本1中,在ALF自我調整參數集(APS)中用訊號傳送ALF係數。一個APS可以包含具有最多25個濾波器的一個亮度濾波器組(即一個亮度濾波器組),具有最多8個色度濾波器的一個色度濾波器組,具有最多4個濾波器的一個Cb交叉分量ALF(CC-ALF)濾波器組,以及具有最多4個濾波器的一個Cr CC-ALF濾波器組。每個亮度濾波器組皆支援將ALF應用於亮度分量的25個類。在VVC版本1中,最多支援8個ALF APS(例如,指定為ALF_APS)。
alf_data( ) { 描述符
    alf_luma_filter_signal_flag u(1)
    if( aps_chroma_present_flag ) {  
         alf_chroma_filter_signal_flag u(1)
         alf_cc_cb_filter_signal_flag u(1)
         alf_cc_cr_filter_signal_flag u(1)
    }  
    if( alf_luma_filter_signal_flag ) {  
         alf_luma_clip_flag u(1)
         alf_luma_num_filters_signalled_minus1 ue(v)
         if( alf_luma_num_filters_signalled_minus1 > 0 )  
             for( filtIdx = 0; filtIdx < NumAlfFilters; filtIdx++ )  
                  alf_luma_coeff_delta_idx[ filtIdx ] u(v)
         for( sfIdx = 0; sfIdx  <=  alf_luma_num_filters_signalled_minus1; sfIdx++ )  
             for( j = 0; j < 12; j++ ) {  
                  alf_luma_coeff_abs[ sfIdx ][ j ] ue(v)
                  if( alf_luma_coeff_abs[ sfIdx ][ j ] )  
                      alf_luma_coeff_sign[ sfIdx ][ j ] u(1)
             }  
         if( alf_luma_clip_flag )  
             for( sfIdx = 0; sfIdx  <=  alf_luma_num_filters_signalled_minus1; sfIdx++ )  
                  for( j = 0; j < 12; j++ )  
                      alf_luma_clip_idx[ sfIdx ][ j ] u(2)
    }  
    if( alf_chroma_filter_signal_flag ) {  
         alf_chroma_clip_flag u(1)
         alf_chroma_num_alt_filters_minus1 ue(v)
         for( altIdx = 0; altIdx  <=  alf_chroma_num_alt_filters_minus1; altIdx++ ) {  
             for( j = 0; j < 6; j++ ) {  
                  alf_chroma_coeff_abs[ altIdx ][ j ] ue(v)
                  if( alf_chroma_coeff_abs[ altIdx ][ j ] > 0 )  
                      alf_chroma_coeff_sign[ altIdx ][ j ] u(1)
             }  
             if( alf_chroma_clip_flag )  
                  for( j = 0; j < 6; j++ )  
                      alf_chroma_clip_idx[ altIdx ][ j ] u(2)
         }  
    }  
    if( alf_cc_cb_filter_signal_flag ) {  
         alf_cc_cb_filters_signalled_minus1 ue(v)
         for( k = 0; k < alf_cc_cb_filters_signalled_minus1 + 1; k++ ) {  
             for( j = 0; j < 7; j++ ) {  
                  alf_cc_cb_mapped_coeff_abs[ k ][ j ] u(3)
                  if( alf_cc_cb_mapped_coeff_abs[ k ][ j ] )  
                      alf_cc_cb_coeff_sign[ k ][ j ] u(1)
             }  
         }  
    }  
    if( alf_cc_cr_filter_signal_flag ) {  
         alf_cc_cr_filters_signalled_minus1 ue(v)
         for( k = 0; k < alf_cc_cr_filters_signalled_minus1 + 1; k++ ) {  
             for( j = 0; j < 7; j++ ) {  
                  alf_cc_cr_mapped_coeff_abs[ k ][ j ] u(3)
                  if( alf_cc_cr_mapped_coeff_abs[ k ][ j ] )  
                      alf_cc_cr_coeff_sign[ k ][ j ] u(1)
             }  
         }  
    }  
}  
在圖片標頭和切片標頭處,視訊轉碼器200可以用訊號傳送ALF_APS的索引。一個切片可以支援最多7個ALF_APS用於亮度分量,最多1個ALF_APS用於色度ALF,最多1個ALF_APS用於Cb CC-ALF,最多1個ALF_APS用於Cr CC-ALF。
         if( sh_alf_enabled_flag ) {  
             sh_num_alf_aps_ids_luma u(3)
             for( i = 0; i < sh_num_alf_aps_ids_luma; i++ )  
                  sh_alf_aps_id_luma[ i ] u(3)
             if( sps_chroma_format_idc  !=  0 ) {  
                  sh_alf_cb_enabled_flag u(1)
                  sh_alf_cr_enabled_flag u(1)
             }  
             if( sh_alf_cb_enabled_flag  | |  sh_alf_cr_enabled_flag )  
                  sh_alf_aps_id_chroma u(3)
             if( sps_ccalf_enabled_flag ) {  
                  sh_cc_alf_cb_enabled_flag u(1)
                  if( sh_cc_alf_cb_enabled_flag )  
                      sh_cc_alf_cb_aps_id u(3)
                  sh_cc_alf_cr_enabled_flag u(1)
                  if( sh_cc_alf_cr_enabled_flag )  
                      sh_cc_alf_cr_aps_id u(3)
             }  
         }  
在亮度CTB級別,用訊號傳送濾波器組索引(ALF_APS或固定濾波器組)。
         if( alf_ctb_flag[ 0 ][ CtbAddrX ][ CtbAddrY ] ) {  
             if( sh_num_alf_aps_ids_luma > 0 )  
                  alf_use_aps_flag ae(v)
             if( alf_use_aps_flag ) {  
                  if( sh_num_alf_aps_ids_luma > 1 )  
                      alf_luma_prev_filter_idx ae(v)
             } else  
                  alf_luma_fixed_filter_idx ae(v)
         }  
在色度CTB 級別,用訊號傳送ALF_APS中的ALF和CCALF濾波器索引。
         if( sh_alf_cb_enabled_flag ) {  
             alf_ctb_flag[ 1 ][ CtbAddrX ][ CtbAddrY ] ae(v)
             if( alf_ctb_flag[ 1 ][ CtbAddrX ][ CtbAddrY ]                   &&  alf_chroma_num_alt_filters_minus1 > 0 )  
                 alf_ctb_filter_alt_idx[ 0 ][ CtbAddrX ][ CtbAddrY ] ae(v)
         }  
         if( sh_alf_cr_enabled_flag ) {  
             alf_ctb_flag[ 2 ][ CtbAddrX ][ CtbAddrY ] ae(v)
             if( alf_ctb_flag[ 2 ][ CtbAddrX ][ CtbAddrY ]                   &&  alf_chroma_num_alt_filters_minus1 > 0 )  
                 alf_ctb_filter_alt_idx[ 1 ][ CtbAddrX ][ CtbAddrY ] ae(v)
         }  
    if( sh_cc_alf_cb_enabled_flag )  
         alf_ctb_cc_cb_idc[ CtbAddrX ][ CtbAddrY ] ae(v)
    if( sh_cc_alf_cr_enabled_flag )  
         alf_ctb_cc_cr_idc[ CtbAddrX ][ CtbAddrY ] ae(v)
VVC中ALF_APS的總數是有限的,這對於高解析度序列或具有混合內容的序列可能效率不高。亦即,因為ALF_APS的總數是有限的,並且每個ALF中的濾波器組的數量是有限的,因此視訊轉碼器可能無法決定對複雜視訊圖片或序列中的所有區域使用最佳ALF。
ALF_APS
本案內容描述了以下技術以進一步提升ALF的譯碼效率,特別是對於高解析度序列,例如1080P、4K和8K序列。在本案內容的一個實例中,視訊轉碼器200和視訊解碼器300可以被配置為:對包括多個亮度ALF濾波器組、色度ALF濾波器組及/或CC-ALF濾波器組的ALF_APS進行譯碼(例如,分別編碼和解碼)。
例如,視訊轉碼器200可以在一或多個APS中對多個ALF濾波器組編碼。視訊轉碼器200可以編碼一語法元素,該語法元素向視訊解碼器指示哪個APS用於特定圖片或子圖片。在該上下文中,子圖片可以是圖片的較小的區域,包括瓦片、瓦片組、磚塊、切片、譯碼樹塊或其他塊。視訊轉碼器200亦可以對指示多個ALF濾波器組中的哪個ALF濾波器組用於特定子圖片或子圖片的語法元素進行編碼。視訊解碼器300可以接收與視訊資料相關聯的自我調整參數集中的多個自我調整迴路濾波器組;從多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及將所決定的一或多個自我調整迴路濾波器應用於視訊資料。
例如,視訊解碼器300可以針對譯碼樹塊,對自我調整參數集中指示多個自我調整迴路濾波器組中特定自我調整迴路濾波器組的濾波器組索引進行解碼。視訊解碼器300亦可以被配置為:針對譯碼樹塊,對指示來自特定自我調整迴路濾波器組的特定自我調整迴路濾波器的濾波器索引進行解碼;及隨後將特定自我調整迴路濾波器應用於譯碼樹塊。視訊解碼器300亦可以被配置為:針對視訊資料的譯碼樹塊,對指示自我調整參數集的自我調整參數集索引進行解碼。
在一個實例中,針對每個顏色分量,視訊解碼器300可以被配置為:對於所有濾波器組共享相同的裁剪標誌位元。以下是本案內容的一種實例技術的實例語法結構。相對於VVC,本案內容的實例語法包括alf_luma_num_filter_set_minus 1語法元素,其指定可以用訊號傳送的亮度係數的自我調整迴路濾波器組的數量。同樣,語法可以包括用於指示色度分量的自我調整迴路濾波器組的數量(alf_chroma_num_filter_set_minus1)和用於CC-ALF的濾波器組的數量(alf_cc_cb_num_filter_set_minus1和alf_cc_cr_num_filter_set_minus1)的語法元素。此外,語法包括指示多個濾波器組中的特定濾波器組的語法元素(filterSetIdx)。
alf_data( ) { 描述符
    alf_luma_filter_signal_flag u(1)
    if( aps_chroma_present_flag ) {  
         alf_chroma_filter_signal_flag u(1)
         alf_cc_cb_filter_signal_flag u(1)
         alf_cc_cr_filter_signal_flag u(1)
    }  
    if( alf_luma_filter_signal_flag ) {  
        alf_luma_num_filter_set_minus1 ue(v)
         alf_luma_clip_flag u(1)
        for( filterSetIdx = 0; filterSetIdx <= alf_luma_num_filter_set_minus1; filterSetIdx++){  
        alf_luma_num_filters_signalled_minus1[filterSetIdx] ue(v)
         if( alf_luma_num_filters_signalled_minus1[filterSetIdx] > 0 )  
             for( filtIdx = 0; filtIdx < NumAlfFilters; filtIdx++ )  
                 alf_luma_coeff_delta_idx[filterSetIdx][ filtIdx ] u(v)
         for( sfIdx = 0; sfIdx  <=  alf_luma_num_filters_signalled_minus1[filterSetIdx]; sfIdx++ )  
             for( j = 0; j < 12; j++ ) {  
                  alf_luma_coeff_abs[filterSetIdx] [ sfIdx ][ j ] ue(v)
                  if( alf_luma_coeff_abs[filterSetIdx] [ sfIdx ][ j ] )  
                      alf_luma_coeff_sign[filterSetIdx] [ sfIdx ][ j ] u(1)
             }  
         if( alf_luma_clip_flag )  
             for( sfIdx = 0; sfIdx  <=  alf_luma_num_filters_signalled_minus1[filterSetIdx]; sfIdx++ )  
                  for( j = 0; j < 12; j++ )  
                      alf_luma_clip_idx[filterSetIdx] [ sfIdx ][ j ] u(2)
       }  
    }  
    if( alf_chroma_filter_signal_flag ) {  
        alf_chroma_num_filter_set_minus1 ue(v)
         alf_chroma_clip_flag u(1)
       for( filterSetIdx = 0; filterSetIdx <= alf_chroma_num_filter_set_minus1; filterSetIdx++){  
         alf_chroma_num_alt_filters_minus1[filterSetIdx] ue(v)
         for( altIdx = 0; altIdx  <=  alf_chroma_num_alt_filters_minus1[filterSetIdx]; altIdx++ ) {  
             for( j = 0; j < 6; j++ ) {  
                  alf_chroma_coeff_abs[filterSetIdx] [ altIdx ][ j ] ue(v)
                  if( alf_chroma_coeff_abs[filterSetIdx] [ altIdx ][ j ] > 0 )  
                      alf_chroma_coeff_sign[filterSetIdx] [ altIdx ][ j ] u(1)
             }  
             if( alf_chroma_clip_flag )  
                  for( j = 0; j < 6; j++ )  
                      alf_chroma_clip_idx[filterSetIdx] [ altIdx ][ j ] u(2)
         }  
      }  
    }  
    if( alf_cc_cb_filter_signal_flag ) {  
        alf_cc_cb_num_filter_set_minus1 ue(v)
        for( filterSetIdx = 0; filterSetIdx <= alf_cc_cb_num_filter_set_minus1; filterSetIdx++){  
         alf_cc_cb_filters_signalled_minus1[filterSetIdx] ue(v)
         for( k = 0; k < alf_cc_cb_filters_signalled_minus1[filterSetIdx]  + 1; k++ ) {  
             for( j = 0; j < 7; j++ ) {  
                  alf_cc_cb_mapped_coeff_abs[filterSetIdx] [ k ][ j ] u(3)
                  if( alf_cc_cb_mapped_coeff_abs[filterSetIdx] [ k ][ j ] )  
                      alf_cc_cb_coeff_sign[filterSetIdx] [ k ][ j ] u(1)
             }  
         }  
      }  
    }  
    if( alf_cc_cr_filter_signal_flag ) {  
        alf_cc_cr_num_filter_set_minus1 ue(v)
        for( filterSetIdx = 0; filterSetIdx <= alf_cc_cr_num_filter_set_minus1; filterSetIdx++){  
         alf_cc_cr_filters_signalled_minus1[filterSetIdx] ue(v)
         for( k = 0; k < alf_cc_cr_filters_signalled_minus1[filterSetIdx]  + 1; k++ ) {  
             for( j = 0; j < 7; j++ ) {  
                  alf_cc_cr_mapped_coeff_abs[filterSetIdx] [ k ][ j ] u(3)
                  if( alf_cc_cr_mapped_coeff_abs[filterSetIdx] [ k ][ j ] )  
                      alf_cc_cr_coeff_sign[filterSetIdx] [ k ][ j ] u(1)
             }  
         }  
      }  }
    }  
}  
在上文的實例中,視訊解碼器300可以被配置為:對適用於用於亮度分量的多個自我調整迴路濾波器組的所有自我調整迴路濾波器組的裁剪標誌位元進行解碼,以及對適用於用於色度分量的多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的裁剪標誌位元進行解碼。
在下文的實例中,視訊解碼器300可以被配置為:對用於亮度分量的多個自我調整迴路濾波器組的每個自我調整迴路濾波器組的各自裁剪標誌位元進行解碼,以及對用於色度分量的多個自我調整迴路濾波器組的每個自我調整迴路濾波器組的各自裁剪標誌位元進行解碼。在該實例中,對於每個顏色分量,每個濾波器組皆可以有自己的裁剪標誌位元。如下文所示,去掉了alf_luma_clip標誌和alf_chroma_clip_flag。改為每個特定的濾波器組都有自己的裁剪標誌位元,如 alf_luma_clip_flag[filterSetIdx]和 alf_chroma_clip_flag[filterSetIdx]所示。
alf_data( ) { 描述符
    alf_luma_filter_signal_flag u(1)
    if( aps_chroma_present_flag ) {  
         alf_chroma_filter_signal_flag u(1)
         alf_cc_cb_filter_signal_flag u(1)
         alf_cc_cr_filter_signal_flag u(1)
    }  
    if( alf_luma_filter_signal_flag ) {  
        alf_luma_num_filter_set_minus1 ue(v)
   <removed>    alf_luma_clip_flag</removed> u(1)
        for( filterSetIdx = 0; filterSetIdx <= alf_luma_num_filter_set_minus1; filterSetIdx++){  
        alf_luma_clip_flag[filterSetIdx] u(1)
        alf_luma_num_filters_signalled_minus1[filterSetIdx] ue(v)
         if( alf_luma_num_filters_signalled_minus1[filterSetIdx] > 0 )  
             for( filtIdx = 0; filtIdx < NumAlfFilters; filtIdx++ )  
                 alf_luma_coeff_delta_idx[filterSetIdx][ filtIdx ] u(v)
         for( sfIdx = 0; sfIdx  <=  alf_luma_num_filters_signalled_minus1[filterSetIdx]; sfIdx++ )  
             for( j = 0; j < 12; j++ ) {  
                  alf_luma_coeff_abs[filterSetIdx] [ sfIdx ][ j ] ue(v)
                  if( alf_luma_coeff_abs[filterSetIdx] [ sfIdx ][ j ] )  
                      alf_luma_coeff_sign[filterSetIdx] [ sfIdx ][ j ] u(1)
             }  
         if( alf_luma_clip_flag[filterSetIdx] )  
             for( sfIdx = 0; sfIdx  <=  alf_luma_num_filters_signalled_minus1[filterSetIdx]; sfIdx++ )  
                  for( j = 0; j < 12; j++ )  
                      alf_luma_clip_idx[filterSetIdx] [ sfIdx ][ j ] u(2)
       }  
    }  
    if( alf_chroma_filter_signal_flag ) {  
        alf_chroma_num_filter_set_minus1 ue(v)
        <removed> alf_chroma_clip_flag</removed> u(1)
       for( filterSetIdx = 0; filterSetIdx <= alf_chroma_num_filter_set_minus1; filterSetIdx++){  
         alf_chroma_clip_flag[filterSetIdx] u(1)
         alf_chroma_num_alt_filters_minus1[filterSetIdx] ue(v)
         for( altIdx = 0; altIdx  <=  alf_chroma_num_alt_filters_minus1[filterSetIdx]; altIdx++ ) {  
             for( j = 0; j < 6; j++ ) {  
                  alf_chroma_coeff_abs[filterSetIdx] [ altIdx ][ j ] ue(v)
                  if( alf_chroma_coeff_abs[filterSetIdx] [ altIdx ][ j ] > 0 )  
                      alf_chroma_coeff_sign[filterSetIdx] [ altIdx ][ j ] u(1)
             }  
             if( alf_chroma_clip_flag[filterSetIdx] )  
                  for( j = 0; j < 6; j++ )  
                      alf_chroma_clip_idx[filterSetIdx] [ altIdx ][ j ] u(2)
         }  
      }  
    }  
    if( alf_cc_cb_filter_signal_flag ) {  
        alf_cc_cb_num_filter_set_minus1 ue(v)
        for( filterSetIdx = 0; filterSetIdx <= alf_cc_cb_num_filter_set_minus1; filterSetIdx++){  
         alf_cc_cb_filters_signalled_minus1[filterSetIdx] ue(v)
         for( k = 0; k < alf_cc_cb_filters_signalled_minus1[filterSetIdx]  + 1; k++ ) {  
             for( j = 0; j < 7; j++ ) {  
                  alf_cc_cb_mapped_coeff_abs[filterSetIdx] [ k ][ j ] u(3)
                  if( alf_cc_cb_mapped_coeff_abs[filterSetIdx] [ k ][ j ] )  
                      alf_cc_cb_coeff_sign[filterSetIdx] [ k ][ j ] u(1)
             }  
         }  
      }  
    }  
    if( alf_cc_cr_filter_signal_flag ) {  
        alf_cc_cr_num_filter_set_minus1 ue(v)
        for( filterSetIdx = 0; filterSetIdx <= alf_cc_cr_num_filter_set_minus1; filterSetIdx++){  
         alf_cc_cr_filters_signalled_minus1[filterSetIdx] ue(v)
         for( k = 0; k < alf_cc_cr_filters_signalled_minus1[filterSetIdx]  + 1; k++ ) {  
             for( j = 0; j < 7; j++ ) {  
                  alf_cc_cr_mapped_coeff_abs[filterSetIdx] [ k ][ j ] u(3)
                  if( alf_cc_cr_mapped_coeff_abs[filterSetIdx] [ k ][ j ] )  
                      alf_cc_cr_coeff_sign[filterSetIdx] [ k ][ j ] u(1)
             }  
         }  
      }  
    }  
}  
上文所示的語法元素的語義描述如下。
alf_luma_num_filter_set_minus1加1指定了可以用訊號傳送亮度係數所針對的自我調整迴路濾波器組的數量。
alf_luma_clip_flag[filterSetIdx]等於0指定了線性自我調整迴路濾波應用於亮度分量,其中濾波器組由filterSetIdx標識。alf_luma_clip_flag[filterSetIdx]等於1指定了非線性自我調整迴路濾波可以應用於亮度分量,其中濾波器組由filterSetIdx標識。
alf_luma_num_filters_signalled_minus1[filterSetIdx]加1指定了可以用訊號傳送亮度係數所針對的自我調整迴路濾波器類的數量,其中濾波器組由filterSetIdx標識。alf_luma_num_filters_signalled_minus1的值應在0至−1的範圍內,包括端點。
alf_luma_coeff_delta_idx[filterSetIdx] [filtIdx] 指定了由filtIdx指示的濾波器類別的用訊號傳送的自我調整迴路濾波器亮度係數增量的索引,範圍從0至NumAlfFilters–1,濾波器組由 filterSetIdx標識。當 alf_luma_coeff_delta_idx[filterSetIdx] [ filtIdx ] 不存在時,其被推斷為等於0。alf_luma_coeff_delta_idx[filterSetIdx] [ filtIdx ] 的長度是 Ceil(Log2(alf_luma_num_filters_signalled_minus1 + 1 )) 位元。alf_luma_coeff_delta_idx[filterSetIdx] [filtIdx]的值應在0至alf_luma_num_filters_signalled_minus1的範圍內,包括端點。
alf_luma_coeff_abs[filterSetIdx] [ sfIdx ][ j ]指定由sfIdx1指示的用訊號傳送的亮度濾波器的第j個係數的絕對值,濾波器組由filterSetIdx標識。當 alf_luma_coeff_abs[filterSetIdx] [sfIdx ][ j ]不存在時,它被推斷為等於 0。alf_luma_coeff_abs[filterSetIdx] [ sfIdx ][ j ]的值應在0至128的範圍內,包括端點。
alf_luma_coeff_sign[filterSetIdx] [ sfIdx ][ j ]指定由 sfIdx 1 指示的濾波器的第 j 個亮度係數的符號,濾波器組由 filterSetIdx 標識,符號如下所示: — 若 alf_luma_coeff_sign[filterSetIdx] [ sfIdx ][ j ]等於0,則相應的亮度濾波器係數為正值。 — 否則(alf_luma_coeff_sign[filterSetIdx] [ sfIdx ][ j ]等於1),相應的亮度濾波器係數為負值。 當 alf_luma_coeff_sign[filterSetIdx] [ sfIdx ][ j ] 不存在時,它被推斷為等於0。 變數 filtCoeff[filterSetIdx] [ sfIdx ][ j ] ,其中filterSetIdx = 0..alf_luma_num_filter_set_minus1, sfIdx = 0..alf_luma_num_filters_signalled_minus1, j = 0..11,初始化如下: filtCoeff[filterSetIdx] [ sfIdx ][ j ] = alf_luma_coeff_abs[ sfIdx ][ j ] * ( 1 - 2 * alf_luma_coeff_sign[ sfIdx ][ j ]) (94) 具有元素 AlfCoeffL[aps_adaptation_parameter_set_id] [filterSetIdx] [filtIdx][j],其中filterSetIdx = 0..alf_luma_num_filter_set_minus1, filtIdx = 0..NumAlfFilters − 1並且j = 0..11 的亮度濾波器係數 AlfCoeffL[aps_adaptation_parameter_set_id],推導如下: AlfCoeffL [ aps_adaptation_parameter_set_id ][filterSetIdx] [ filtIdx ][ j ] = filtCoeff[ alf_luma_coeff_delta_idx[ filtIdx ] ][ j ]         (95) 位元串流一致性的要求是 AlfCoeffL[aps_adaptation_parameter_set_id] [filterSetIdx] [filtIdx][j],其中filtIdx = 0......NumAlfFilters - 1, j = 0......11,的值應在27 至27 -1的範圍內,包括端點。
alf_luma_clip_idx[filterSetIdx][sfIdx][j] 指定在乘以由sfIdx指示的訊號亮度濾波器的第j個係數之前要使用的裁剪值的裁剪索引,其中濾波器組由filterSetIdx標識。位元串流一致性的要求是 alf_luma_clip_idx[filterSetIdx][ sfIdx ][ j ],其中sfIdx = 0..alf_luma_num_filters_signaled_minus1並且j = 0..11,的值應在0至3的範圍內,包括端點。
具有元素 AlfClipL[aps_adaptation_parameter_set_id] [filterSetIdx] [ filtIdx ] [ j ],其中filterSetIdx = 0..alf_luma_num_filter_set_minus1,filtIdx = 0..NumAlfFilters - 1 和 j = 0..11的亮度濾波器裁剪值 AlfClipL[aps_adaptation_parameter_set_id]如下表8所示得出,依賴於BitDepth和clipIdx被設置為等於 alf_luma_clip_idx[filterSetIdx] [alf_luma_coeff_delta_idx[ filtIdx ] ][ j ]。
alf_chroma_num_filter_set_minus1加1指定了可以用訊號傳送色度係數所針對的自我調整迴路濾波器組的數量。
alf_chroma_clip_flag[filterSetIdx]等於0指定了線性自我調整迴路濾波應用於色度分量,其中濾波器組由filterSetIdx標識;alf_chroma_clip_flag[filterSetIdx]等於1指定了非線性自我調整迴路濾波應用於色度分量,其中濾波器組由filterSetIdx標識。若不存在,則推斷alf_chroma_clip_flag[filterSetIdx]等於0。
alf_chroma_num_alt_filters_minus1[filterSetIdx]加1指定色度分量的替代濾波器數量,其中濾波器組由filterSetIdx標識。alf_chroma_num_alt_filters_minus1[filterSetIdx]的值應在0至7的範圍內,包括端點。
alf_chroma_coeff_abs[filterSetIdx][altIdx][j]指定具有索引altIdx的替代色度濾波器的第j個色度濾波器係數的絕對值,其中濾波器組由filterSetIdx標識。當alf_chroma_coeff_abs[filterSetIdx][altIdx][j]不存在時,它被推斷為等於 0。alf_chroma_coeff_abs[filterSetIdx][sfIdx][j]的值應在0至128的範圍內,包括端點。
alf_chroma_coeff_abs[filterSetIdx][altIdx][j]指定具有索引altIdx的替代色度濾波器的第j個色度濾波器係數的符號,如下所示: —若alf_luma_coeff_sign[filterSetIdx] [altIdx][j]等於0,則相應色度濾波器係數為正值。 — 否則(alf_luma_coeff_sign[filterSetIdx] [altIdx][j]等於1),則相應亮度濾波器係數為負值。 當alf_chroma_coeff_sign[filterSetIdx][altIdx][j]不存在時,它被推斷為等於 0。 具有元素 AlfCoeffC [aps_adaptation_parameter_set_id][filterSetIdx][altIdx][j],其中filterSetIdx = 0..alf_ chroma _num_filter_set_minus1, altIdx = 0..alf_chroma_num_alt_filters_minus1,j = 0..5的亮度濾波器係數AlfCoeffC [aps_adaptation_parameter_set_id] [filterSetIdx] [altIdx],推導如下: AlfCoeffC[aps_adaptation_parameter_set_id ][filterSetIdx][altIdx][j] = alf_chroma_coeff_abs[filterSetIdx] [altIdx][j] * (1 - 2 * alf_chroma_coeff_sign[filterSetIdx] [altIdx ][j]) (98) 位元串流一致性的要求是 AlfCoeffC[aps_adaptation_parameter_set_id] [filterSetIdx] [altIdx][j],其中filterSetIdx = 0..alf_chroma_num_filter_set_minus1 altIdx = 0..alf_chroma_num_alt_filters_minus1, j = 0..5,的值應在-27 至27 -1的範圍內,包括端點。
alf_chroma_clip_idx[filterSetIdx][altIdx][j]指定在乘以具有索引altIdx 的替代色度濾波器的第j個係數之前要使用的裁剪值的裁剪索引,其中濾波器組由filterSetIdx標識。位元串流一致性的要求是 alf_chroma_clip_idx[filterSetIdx][altIdx][j],其中filterSetIdx = 0..alf_ chroma _num_filter_set_minus1,altIdx = 0..alf_chroma_num_alt_filters_minus1,j = 0..5,的值應在0到3的範圍內,包括端點。
具有元素AlfClipC[aps_adaptation_parameter_set_id] [filterSetIdx][altIdx][j]的色度濾波器裁剪值 AlfClipC[ aps_adaptation_parameter_set_id ] [filterSetIdx][ altIdx ]如下表8所示得出,其中filterSetIdx = 0..alf_chroma_num_filter_set_minus1,altIdx = 0..alf_chroma_num_alt_filters_minus1,j = 0..5,依賴於BitDepth和clipIdx被設置為等於alf_chroma_clip_idx[filterSetIdx][altIdx][j]。
表8—依賴於BitDepth和clipIdx的規格AlfClip
BitDepth clipIdx
0 1 2 3
8 28 25 23 21
9 29 26 24 22
10 210 27 25 23
11 211 28 26 24
12 212 29 27 25
13 213 210 28 26
14 214 211 29 27
15 215 212 210 28
16 216 213 211 29
alf_cc_cb_num_filter_set_minus1加1指定當前ALF APS中用訊號傳送的Cb顏色分量的交叉分量濾波器組的數量。
alf_cc_cb_filters_signalled_minus1[filterSetIdx]加1指定用於當前ALF APS中用訊號傳送的Cb顏色分量的交叉分量濾波器的數量,其中濾波器組由filterSetIdx標識。alf_cc_cb_filters_signalled_minus1[filterSetIdx]的值應在0至3的範圍內,包括端點。
alf_cc_cb_mapped_coeff_abs[filterSetIdx][k][j]指定用訊號傳送的第k個交叉分量濾波器的第j個映射係數的絕對值,其中濾波器組由filterSetIdx標識用於Cb顏色分量。當alf_cc_cb_mapped_coeff_abs[filterSetIdx][k][j]不存在時,它被推斷為等於0。
alf_cc_cb_coeff_sign[filterSetIdx][k][j]指定用訊號傳送的第k個交叉分量濾波器的第j個係數的符號如下所示,其中濾波器組由filterSetIdx標識用於Cb顏色分量: — 若alf_cc_cb_coeff_sign[filterSetIdx][k][j]等於0,則相應色度濾波器係數為正值。 — 否則(alf_cc_cb_sign[filterSetIdx][k][j]等於1),則相應交叉分量濾波器係數為負值。 當alf_cc_cb_coeff_sign[filterSetIdx][k][j]不存在時,它被推斷為等於0。 Cb顏色分量CcAlfApsCoeffCb [aps_adaptation_parameter_set_id][filterSetIdx][k]][j]的用訊號傳送的第k個交叉分量濾波器係數推導如下,其中j = 0..6,: — 若alf_cc_cb_mapped_coeff_abs[filterSetIdx][k][j]等於0,則 CcAlfApsCoeffCb [aps_adaptation_parameter_set_id][filterSetIdx][k][j]被設置為等於0。 — 否則, CcAlfApsCoeffCb [aps_adaptation_parameter_set_id[filterSetIdx][k][j]被設置為等於(1-2 * alf_cc_cb_coeff_sign[filterSetIdx][k][j]) * 2alf_cc_cb_mapped_coeff_abs[filterSetIdx] [ k ][ j ]-1
alf_cc_cr_num_filter_set_minus1加1指定當前ALF APS中用訊號傳送的Cr顏色分量的交叉分量濾波器組的數量。
alf_cc_cr_filters_signalled_minus1[filterSetIdx]加1指定用於當前ALF APS中用訊號傳送的Cr顏色分量的交叉分量濾波器的數量,其中濾波器組由filterSetIdx標識。alf_cc_cr_filters_signalled_minus1[filterSetIdx]的值應在0至3的範圍內,包括端點。
alf_cc_cr_mapped coeff_abs[filterSetIdx][k][j]指定用訊號傳送的第k個交叉分量濾波器的第j個映射係數的絕對值,其中濾波器組由filterSetIdx標識用於Cr顏色分量。當alf_cc_cr_mapped coeff_abs[filterSetIdx][k][j]不存在時,它被推斷為等於0。
alf_cc_cr_coeff_sign[filterSetIdx][k][j]指定用訊號傳送的第k個交叉分量濾波器的第j個係數的符號如下所示,其中濾波器組由filterSetIdx標識用於Cr顏色分量: — 若alf_cc_cr_coeff_sign[filterSetIdx][k][j]等於0,則相應色度濾波器係數為正值。 — 否則(alf_cc_cr_sign[filterSetIdx][k][j]等於1),則相應交叉分量濾波器係數為負值。 當alf_cc_cr_coeff_sign[filterSetIdx][k][j]不存在時,其被推斷為等於0。 Cr顏色分量CcAlfApsCoeffCr [aps_adaptation_parameter_set_id][filterSetIdx][k][j]的用訊號傳送的第k個交叉分量濾波器係數推導如下,其中j = 0..6,: —若alf_cc_cr_mapped_coeff_abs[filterSetIdx][k][j]等於0,則 CcAlfApsCoeffCr [aps_adaptation_parameter_set_id][filterSetIdx][k][j]被設置為等於0。 —否則, CcAlfApsCoeffCr [ aps_adaptation_parameter_set_id ] [filterSetIdx][ k ][ j ] 被設置為等於( 1 − 2 * alf_cc_cr_coeff_sign[filterSetIdx][ k ][ j ] ) * 2alf_cc_cr_mapped_coeff_abs[filterSetIdx][ k ][ j ] − 1
CTB級別
在CTB級別,一旦針對CTB用訊號傳送並決定了ALF_APS索引,若ALF_APS具有用於顏色分量的多個濾波器組,或者若該ALF_APS中的多個濾波器組用於顏色分量,則可以用訊號傳送濾波器組索引。在用訊號傳送濾波器組索引之後,若該濾波器組具有多個濾波器,則可以用訊號傳送濾波器索引。
在該實例中,視訊解碼器300可以被配置為:針對視訊資料的譯碼樹塊,對指示自我調整參數集的自我調整參數集索引進行解碼。視訊解碼器300亦可以被配置為:針對譯碼樹塊,對自我調整參數集中指示多個自我調整迴路濾波器組中特定自我調整迴路濾波器組的濾波器組索引進行解碼。視訊解碼器300亦可以被配置為:針對解碼樹塊,對指示來自特定自我調整迴路濾波器組的特定自我調整迴路濾波器的濾波器索引進行解碼;及將特定自我調整迴路濾波器應用於譯碼樹塊。
圖片/子圖片標頭
在圖片或子圖片級別(例如子圖片、切片、瓦片、瓦片組及/或磚塊)的標頭處,對於每個分量,一個圖片/子圖片可以使用ALF_APS中的所有濾波器組。在另一實例中,一個圖片/子圖片可以使用ALF_APS中的一個或一些但不是全部的濾波器組和濾波器。所使用的濾波器組和每個組中的所使用的濾波器索引可以在圖片標頭及/或子圖片標頭中用訊號傳送。
在一個實例中,視訊解碼器300可以被配置為:在圖片標頭處對指示多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於視訊資料的圖片的一或多個語法元素進行解碼;及將所指示的自我調整迴路濾波器組應用於視訊資料的圖片。在另一實例中,視訊解碼器300可以被配置為:在子圖片標頭處對指示多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於視訊資料的子圖片的一或多個語法元素進行解碼,其中子圖片包括視訊資料的子圖片、切片、瓦片、瓦片組或磚塊,以及將所指示的自我調整迴路濾波器組應用於視訊資料的子畫面。
區域資訊
圖片/子圖片(例如子圖片、切片、瓦片、瓦片組及/或磚塊)可以被劃分為若干區域。一個區域可以具有它自己的ALF_APS的濾波器使用資訊、濾波器組和濾波器索引,使得視訊譯碼器(例如,視訊解碼器300)可以僅選擇由區域中取樣的使用資訊定義的濾波器。
圖11A和圖11B是示出實例四叉樹二叉樹(QTBT)結構130以及相應譯碼樹單元(CTU)132的概念圖。實線表示四叉樹分割,虛線表示二叉樹分割。在二叉樹的每個拆分(即非葉)節點中,用訊號傳送一個標誌位元以指示使用哪種拆分類型(亦即,水平或垂直),在該實例中,0表示水平拆分,而1表示垂直拆分。對於四叉樹拆分,由於四叉樹節點將一個塊水平和垂直拆分為大小相等的4個子塊,因此無需指示拆分類型。因此,視訊轉碼器200可以對QTBT結構130的區域樹級別(即實線)的語法元素(例如拆分資訊)以及QTBT結構130的預測樹級別(即虛線)的語法元素(例如拆分資訊)進行編碼,並且視訊解碼器300可以對上述語法元素進行解碼。視訊轉碼器200可以對QTBT結構130的終端葉節點表示的CU的視訊資料(例如預測和變換資料)進行編碼,並且視訊解碼器300可以對上述資料進行解碼。
通常,圖2B的CTU 132可以與在第一和第二級別處定義與QTBT結構130的節點相對應的塊的大小的參數相關聯。這些參數可以包括CTU大小(代表取樣中CTU 132的大小)、最小四叉樹大小(MinQTSize,代表最小允許的四叉樹葉節點大小),最大二叉樹大小(MaxBTSize,代表最大允許的二叉樹根節點大小),最大二叉樹深度(MaxBTDepth,代表最大允許的最大二叉樹深度)以及最小二叉樹大小(MinBTSize,表示最小允許的二叉樹葉節點大小)。
與CTU相對應的QTBT結構的根節點可以在QTBT結構的第一級具有四個子節點,可以根據四叉樹劃分來劃分每個子節點。亦即,第一級的節點是葉節點(沒有子節點)或具有四個子節點。QTBT結構130的實例表示此類節點,包括父節點和具有實線分支的子節點。若第一級的節點不大於最大允許的二叉樹根節點大小(MaxBTSize),則可以經由相應的二叉樹進一步對節點進行劃分。可以反覆運算一個節點的二叉樹拆分,直到拆分產生的節點達到最小允許的二叉樹葉節點大小(MinBTSize)或最大允許的二叉樹深度(MaxBTDepth)。QTBT結構130的實例將此類節點表示為具有用於分支的虛線。二進位樹葉節點被稱為譯碼單元(CU),其用於預測(例如,圖片內預測或圖片間預測)和變換,而無需任何進一步的劃分。如上文所論述的,CU亦可以被稱為「視訊塊」或「塊」。
在QTBT分區結構的一個實例中,CTU大小設置為128x128(亮度取樣和兩個相應的64x64色度取樣),MinQTSize設置為16x16,MaxBTSize設置為64x64,MinBTSize(針對寬度和高度) 設置為4,並且MaxBTDepth設置為4。首先將四叉樹分區應用於CTU,以產生四叉樹葉節點。四叉樹葉節點的大小可以從16x16(即MinQTSize)到128x128(即CTU大小)。若四叉樹葉節點為128x128,則葉四叉樹節點將不會被二進位樹進一步拆分,因為該大小超過了MaxBTSize(亦即,在該實例中為64x64)。否則,二叉樹將對四叉樹葉節點進行進一步劃分。因此,四叉樹葉節點亦是二叉樹的根節點,並且二叉樹的深度為0。當二叉樹深度達到MaxBTDepth(在該實例中為4)時,不允許進一步拆分。寬度等於MinBTSize(在此實例中為 4)的二叉樹節點意味著不允許對該二叉樹節點進行進一步的垂直拆分(亦即,寬度的劃分)。類似地,高度等於MinBTSize的二叉樹節點意味著該二叉樹節點不允許進一步的水平拆分(亦即,對高度的分割)。如前述,二叉樹的葉節點被稱為CU,並且根據預測和變換對其進行進一步處理而無需進一步劃分。
圖12是說明可以執行本案內容的技術的實例視訊轉碼器200的方塊圖。提供圖12是為了解釋的目的,並且不應被認為是對本案內容中廣泛例示和描述的技術的限制。為了說明的目的,本案內容描述了根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術的視訊轉碼器200。然而,本案內容的技術可以由被配置為其他視訊譯碼標準的視訊編碼設備來執行。
在圖12的實例中,視訊轉碼器200包括視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、解碼圖片緩衝器(DPB)218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218以及熵編碼單元220中的任意一個或全部可以在一或多個處理器中或在處理電路中實現。例如,視訊轉碼器200的單元可以被實現為一或多個電路或邏輯部件,作為硬體電路的一部分,或者作為處理器、ASIC或FPGA的一部分。此外,視訊轉碼器200可包括額外的或替代的處理器或處理電路,以執行這些和其他功能。
視訊資料記憶體230可以儲存要由視訊轉碼器200的部件編碼的視訊資料。視訊轉碼器200可以從例如視訊源104(圖1)接收儲存在視訊資料記憶體230中的視訊資料。DPB 218可以用作參考圖片記憶體,該參考圖片記憶體儲存參考視訊資料,以供視訊轉碼器200預測後續視訊資料時使用。視訊資料記憶體230和DPB 218可以由多種記憶體設備中的任何一種形成,例如動態隨機存取記憶體(DRAM),包括同步DRAM(SDRAM)、磁阻性RAM(MRAM)、電阻性RAM(RRAM)或其他類型的存放裝置。視訊資料記憶體230和DPB 218可以由同一記憶體設備或分離的記憶體設備提供。在各個實例中,視訊資料記憶體230可以與視訊轉碼器200的其他部件一起在晶片上,如圖所示,或者相對於那些部件在晶片外。
在本案內容中,除非如此具體地描述,否則針對視訊資料記憶體230的引用不應解釋為限於視訊轉碼器200內部的記憶體;或者除非如此具體地描述,否則對視訊資料記憶體230的引用不應解釋為限於視訊轉碼器200外部的記憶體。而是,對視訊資料記憶體230的引用應被理解為儲存視訊轉碼器200所接收的用於編碼的視訊資料(例如,用於待編碼的當前塊的視訊資料)的參考記憶體。圖1的記憶體106亦可以提供對視訊轉碼器200的各個單元的輸出的臨時儲存。
圖示圖12的各個單元以説明理解由視訊轉碼器200執行的操作。這些單元可以實現為固定功能電路、可程式設計電路或其組合。固定功能電路是指提供特定功能並在可以被執行的操作上預先設置的電路。可程式設計電路是指可以被程式設計以執行各種任務並且在可以執行的操作中提供靈活功能的電路。例如,可程式設計電路可以執行使可程式設計電路以軟體或韌體的指令所定義的方式操作的軟體或韌體。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但固定功能電路執行的操作類型通常是不可變的。在一些實例中,這些單元中的一或多個單元可以是不同的電路塊(固定功能或可程式設計的),並且在一些實例中,這些單元中的一或多個單元可以是積體電路。
視訊轉碼器200可以包括從可程式設計電路形成的算數邏輯單位(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式設計核。在使用由可程式設計電路執行的軟體來執行視訊轉碼器200的操作的實例中,記憶體106(圖1)可以儲存視訊轉碼器200所接收和執行的軟體的指令(例如,目標代碼),或者視訊轉碼器200之內的另一記憶體(未圖示)可以儲存這些指令。
視訊資料記憶體230被配置為儲存接收到的視訊資料。視訊轉碼器200可以從視訊資料記憶體230檢索視訊資料的圖片,並將視訊資料提供給殘差產生單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是待編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和內預測單元226。模式選擇單元202可以包括額外功能單元,以根據其他預測模式來執行視訊預測。作為實例,模式選擇單元202可以包括調色板單元、塊內複製單元(其可以是運動估計單元222及/或運動補償單元224的一部分)、仿射單元、線性模型(LM)單元,等等。
模式選擇單元202通常協調多個編碼通路,以測試編碼參數的組合以及針對這些組合的所得速率失真值。編碼參數可以包括將CTU劃分為CU、用於CU的預測模式、用於CU的殘差資料的變換類型、用於CU的殘差資料的量化參數,等等。模式選擇單元202可以最終選擇具有比其他被測組合更好的速率失真值的編碼參數的組合。
視訊轉碼器200可將從視訊資料記憶體230檢索到的圖片劃分為一系列CTU,並將一或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構(例如上述HEVC的QTBT結構或四叉樹結構)來劃分圖片的CTU。如前述,視訊轉碼器200可根據樹結構經由劃分CTU來形成一或多個CU。此類CU亦通常可以被稱為「視訊塊」或「塊」。
概括地說,模式選擇單元202亦控制其部件(例如,運動估計單元222、運動補償單元224和內預測單元226)以產生針對當前塊(例如,當前CU,或在HEVC中,PU和TU的重疊部分)的預測塊。對於當前塊的間預測,運動估計單元222可以執行運動搜尋以辨識一個或一個以上參考圖片(例如,儲存在DPB 218中的一或多個先前譯碼的圖片)中的一或多個緊密匹配的參考塊。具體而言,運動估計單元222可以例如根據絕對差之和(SAD)、平方差之和(SSD)、平均絕對差(MAD)、均方差(MSD)等來計算表示潛在參考塊與當前塊的相似程度的值。運動估計單元222通常可使用當前塊與所考慮的參考塊之間的逐取樣差異來執行這些計算。運動估計單元222可辨識具有由這些計算產生的最低值的參考塊,最低值指示與當前塊最緊密匹配的參考塊。
運動估計單元222可形成一或多個運動向量(MV),其相對於當前圖片中的當前塊的位置,定義參考圖片中的參考塊的位置。運動估計單元222隨後可以將運動向量提供給運動補償單元224。例如,對於單向間預測,運動估計單元222可以提供單個運動向量,而對於雙向間預測,運動估計單元222可以提供兩個運動向量。運動補償單元224隨後可使用運動向量來產生預測塊。例如,運動補償單元224可以使用運動向量來檢索參考塊的資料。作為另一實例,若運動向量具有分數取樣精度,則運動補償單元224可根據一或多個內插濾波器對預測塊的值進行內插。此外,對於雙向間預測,運動補償單元224可以檢索由相應運動向量標識的兩個參考塊的資料,並對經檢索的資料進行組合(例如經由逐取樣平均或加權平均)。
作為另一實例,對於內預測或內預測譯碼,內預測單元226可以根據與當前塊相鄰的取樣來產生預測塊。例如,對於定向模式,內預測單元226通常可以經由數學的方式對相鄰取樣的值進行組合,並在當前塊上沿定義的方向填充這些計算出的值以產生預測塊。作為另一實例,對於DC模式,內預測單元226可以計算相鄰取樣到當前塊的平均值,並且產生預測塊以包括針對預測塊的每個取樣的該所得平均值。
模式選擇單元202將預測塊提供給殘差產生單元204。殘差產生單元204從視訊資料記憶體230接收當前塊的原始未編碼版本,並從模式選擇單元202接收預測塊。殘差產生單元204計算當前塊和預測塊之間的逐取樣差異。所得的逐取樣差異定義了針對當前塊的殘差塊。在一些實例中,殘差產生單元204亦可決定殘差塊中的取樣值之間的差以使用殘差差分脈衝代碼調制(RDPCM)來產生殘差塊。在一些實例中,可以使用執行二進位減法的一或多個減法器電路來形成殘差產生單元204。
在模式選擇單元202將CU劃分為PU的實例中,每個PU可以與亮度預測單元和相應的色度預測單元相關聯。視訊轉碼器200和視訊解碼器300可以支援具有各種大小的PU。如前述,CU的大小可以指的是CU的亮度譯碼塊的大小,而PU的大小可以指的是PU的亮度預測單元的大小。假設特定CU的大小為2Nx2N,則視訊轉碼器200可支援用於內預測的2Nx2N或NxN的PU大小,以及用於間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱PU大小。視訊轉碼器200和視訊解碼器300亦可支援針對用於間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱劃分。
在模式選擇單元202不進一步將CU劃分為PU的實例中,每個CU可與亮度解碼塊和相應色度解碼塊相關聯。如前述,CU的大小可以指CU的亮度編碼塊的大小。視訊轉碼器200和視訊解碼器300可以支援2N×2N、2N×N或N×2N的CU大小。
對於其他視訊解碼技術(例如,塊內複製模式譯碼、仿射模式譯碼和線性模型(LM)模式譯碼,僅舉幾例),模式選擇單元202會經由與譯碼技術相關聯的各個單元來產生針對正在被編碼的當前塊的預測塊。在一些實例(例如調色板模式譯碼)中,模式選擇單元202可以不產生預測塊,而是產生指示基於所選擇的調色板來對塊進行重構的方式的語法元素。在此類模式中,模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。
如前述,殘差產生單元204接收當前塊和相應預測塊的視訊資料。殘差產生單元204隨後產生當前塊的殘差塊。為了產生殘差塊,殘差產生單元204計算預測塊和當前塊之間的逐取樣差異。
變換處理單元206將一或多個變換應用於殘差塊以產生變換係數的塊(在本文中被稱為「變換係數塊」)。變換處理單元206可以將各種變換應用於殘差塊以形成變換係數塊。例如,變換處理單元206可以將離散餘弦變換(DCT)、方向變換、Karhunen-Loeve變換(KLT)或概念上類似的變換應用於殘差塊。在一些實例中,變換處理單元206可以對殘差塊執行多個變換,例如主變換和次變換,例如旋轉變換。在一些實例中,變換處理單元206不將變換應用於殘差塊。
量化單元208可以對變換係數塊中的變換係數進行量化,以產生量化的變換係數塊。量化單元208可以根據與當前塊相關聯的量化參數(QP)值來對變換係數塊的變換係數進行量化。視訊轉碼器200(例如,經由模式選擇單元202)可經由調整與CU相關聯的QP值來調整應用於與當前塊相關聯的變換係數塊的量化程度。量化可能會導致資訊丟失,因此,量化的變換係數的精度可能會比變換處理單元206產生的原始變換係數的精度低。
逆量化單元210和逆變換處理單元212可以分別對量化的變換係數塊應用逆量化和逆變換,以從變換係數塊重構殘差塊。重構單元214可以基於重構的殘差塊和由模式選擇單元202產生的預測塊來產生與當前塊相對應的重構塊(儘管可能具有某種程度的失真)。例如,重構單元214可以將重構的殘差塊的取樣添加到來自模式選擇單元202產生的預測塊的相應取樣,以產生重構塊。
濾波器單元216可對重構塊執行一或多個濾波操作。例如,濾波器單元216可以執行解塊操作以減少沿著CU的邊緣的塊狀偽影。在一些實例中,可以跳過濾波器單元216的操作。在一些實例中,濾波器單元216可以被配置為:應用自我調整迴路濾波器,並且可以被配置為:使用本案內容中所描述的自我調整迴路濾波器技術中的任一種。例如,濾波器單元216可以被配置為:從APS中的多個ALF濾波器組種的一個來決定ALF。視訊轉碼器200亦可以被配置為:在一或多個APS中對多個ALF濾波器組進行編碼,並且在經編碼視訊位元串流中對APS中的多個ALF濾波器組進行編碼。
視訊轉碼器200將重構的塊儲存在DPB 218中。例如,在不執行濾波器單元216的操作的實例中,重構單元214可以將重構塊儲存到DPB 218。在執行濾波器單元216的操作的實例中,濾波器單元216可以將經濾波的重構塊儲存到DPB 218。運動估計單元222和運動補償單元224可從DPB 218檢索由重構的(並且可能經濾波的)塊形成的參考圖像,以對隨後編碼的圖像的塊進行間預測。此外,內預測單元226可以使用當前圖片的DPB 218中的重構塊來對當前圖片中的其他塊進行內預測。
通常,熵編碼單元220可以對從視訊轉碼器200的其他功能部件接收的語法元素進行熵編碼。例如,熵編碼單元220可以對來自量化單元208的量化的變換係數塊進行熵編碼。作為另一實例,熵編碼單元220可以對來自模式選擇單元202的預測語法元素(例如,用於間預測的運動資訊或用於內預測的模式內資訊)進行熵編碼。熵編碼單元220可以對作為視訊資料的另一實例的語法元素執行一或多個熵編碼操作,以產生熵編碼資料。例如,熵編碼單元220可以執行上下文自我調整可變長度譯碼(CAVLC)操作、CABAC操作、可變到可變(V2V)長度譯碼操作、基於語法的上下文自我調整二進位算術譯碼(SBAC)操作、概率區間劃分熵(PIPE)譯碼操作、指數Golomb編碼操作或對資料的另一種熵編碼操作。在一些實例中,熵編碼單元220可以在語法元素未被熵編碼的旁通模式下操作。
視訊轉碼器200可輸出包括重構切片或圖片的塊所需的熵編碼語法元素的位元串流。特別地,熵編碼單元220可以輸出位元串流。
針對塊描述了上述操作。此類描述應該被理解為用於亮度譯碼塊及/或色度譯碼塊的操作。如前述,在一些實例中,亮度譯碼塊和色度譯碼塊是CU的亮度和色度分量。在一些實例中,亮度譯碼塊和色度譯碼塊是PU的亮度和色度分量。
在一些實例中,不必針對色度譯碼塊重複針對亮度譯碼塊執行的操作。作為一個實例,不需要重多工於辨識用於亮度譯碼塊的運動向量(MV)和參考圖片的操作來辨識用於色度塊的MV和參考圖片。而是,可以調節用於亮度譯碼塊的MV以決定用於色度塊的MV,並且參考圖片可以是相同的。作為另一實例,對於亮度譯碼塊和色度譯碼塊,內預測程序可以是相同的。
視訊轉碼器200代表被配置為對視訊資料進行編碼的設備的實例,其包括:被配置為儲存視訊資料的記憶體;及在電路中實現的一或多個處理單元,其被配置為:對自我調整參數集中的多個自我調整迴路濾波器組進行譯碼,並將來自多個自我調整迴路濾波器組的一或多個自我調整迴路濾波器應用於視訊資料。
圖13是說明可以執行本案內容的技術的實例視訊解碼器300的方塊圖。提供圖13是為了解釋的目的,並且不對本案內容中廣泛例示和描述的技術進行限制。為了說明的目的,本案內容描述了根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術的視訊解碼器300。然而,本案內容的技術可以由被配置為其他視訊譯碼標準的視訊譯碼設備來執行。
在圖13的實例中,視訊解碼器300包括譯碼圖片緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312以及解碼圖片緩衝器(DPB)314 。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和DPB 314中的任意一個或全部可以在一或多個處理器中或在處理電路中實現。例如,視訊解碼器300的單元可以被實現為一或多個電路或邏輯部件,作為硬體電路的一部分,或者作為處理器、ASIC或FPGA的一部分。此外,視訊解碼器300可包括額外的或替代的處理器或處理電路,以執行這些和其他功能。
預測處理單元304包括運動補償單元316和內預測單元318。預測處理單元304可以包括額外單元,以根據其他預測模式來執行預測。作為實例,預測處理單元304可以包括調色板單元、塊內複製單元(其可以形成運動補償單元316的一部分)、仿射單元、線性模型(LM)單元,等等。在其他實例中,視訊解碼器300可以包括更多、更少或不同的功能部件。
CPB記憶體320可以儲存將由視訊解碼器300的部件解碼的視訊資料(例如經編碼視訊位元串流)。可以例如從電腦可讀取媒體110(圖1)獲得儲存在CPB記憶體320中的視訊資料。CPB記憶體320可以包括儲存來自經編碼視訊位元串流的編碼視訊資料(例如,語法元素)的CPB。而且,CPB記憶體320可以儲存除經譯碼圖片的語法元素之外的視訊資料,例如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼圖片,當對經編碼視訊位元串流的後續資料或圖片進行解碼時,視訊解碼器300可以輸出及/或使用解碼圖片當作參考視訊資料。CPB記憶體320和DPB 314可以由各種存放裝置中的任何一個(例如,DRAM(包括SDRAM、MRAM、RRAM)或其他類型的存放裝置)形成。CPB記憶體320和DPB 314可以由同一記憶體設備或分離的記憶體設備提供。在各個實例中,CPB記憶體320可以與視訊解碼器300的其他部件一起在晶片上,或者相對於那些部件在晶片外。
補充地或替代地,在一些實例中,視訊解碼器300可以從記憶體120(圖1)檢索經譯碼的視訊資料。亦即,記憶體120可以如上文針對CPB記憶體320論述的一般儲存資料。同樣,當視訊解碼器300的一些或全部功能在要由視訊解碼器300的處理電路執行的軟體中實現時,記憶體120可以儲存要由視訊解碼器300執行的指令。
圖示圖13的各個單元以説明理解由視訊解碼器300執行的操作。這些單元可以實現為固定功能電路、可程式設計電路或其組合。與圖12類似,固定功能電路是指提供特定功能並在可以被執行的操作上預先設置的電路。可程式設計電路是指可以被程式設計以執行各種任務並且在可以執行的操作中提供靈活功能的電路。例如,可程式設計電路可以執行使可程式設計電路以軟體或韌體的指令所定義的方式操作的軟體或韌體。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但固定功能電路執行的操作類型通常是不可變的。在一些實例中,這些單元中的一或多個單元可以是不同的電路塊(固定功能或可程式設計的),並且在一些實例中,這些單元中的一或多個單元可以是積體電路。
視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式設計電路形成的可程式設計核心。在視訊解碼器300的操作由在可程式設計電路上執行的軟體執行的實例中,片上或片外記憶體可以儲存視訊解碼器300接收並執行的軟體的指令(例如,目標代碼)。
熵解碼單元302可以從CPB接收經編碼視訊資料,並對視訊資料進行熵解碼以再現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波器單元312可以基於從位元串流中提取的語法元素來產生經解碼視訊資料。
通常,視訊解碼器300逐塊地重構圖片。視訊解碼器300可單獨地對每個區塊執行重構操作(其中當前正在重構的即被解碼的塊可以被稱為「當前塊」)。
熵解碼單元302可對定義以下內容的語法元素進行熵解碼:量化的變換係數塊的量化的變換係數,以及變換資訊,諸如量化參數(QP)及/或變換模式指示。逆量化單元306可以使用與量化的變換係數塊相關聯的QP來決定量化度,並且同樣地,決定逆量化度以供逆量化單元306應用。逆量化單元306可以例如執行按位左移操作以對量化的變換係數進行逆量化。逆量化單元306從而可以形成包括變換係數的變換係數塊。
在逆量化單元306形成變換係數塊之後,逆變換處理單元308可以將一或多個逆變換應用於變換係數塊以產生與當前塊相關聯的殘差塊。例如,逆變換處理單元308可以將逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆方向變換或另一種逆變換應用於變換係數塊。
此外,預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來產生預測塊。例如,若預測資訊語法元素指示當前塊是間預測的,則運動補償單元316可以產生預測塊。在這種情況下,預測資訊語法元素可以指示:DPB 314中的從其檢索參考塊的參考圖片,以及用於辨識參考圖片中的參考塊相對於當前圖片中的當前塊位置的位置的運動向量。運動補償單元316通常可以用與針對運動補償單元224所描述的方式基本相似的方式來執行間預測程序(圖12)。
作為另一實例,若預測資訊語法元素指示當前塊是內預測的,則內預測單元318可以根據由預測資訊語法元素指示的內預測模式來產生預測塊。再次,內預測單元318通常可以用與針對內預測單元226(圖12)所描述的方式基本相似的方式來執行內預測程序。內預測單元318可以從DPB 314檢索針對當前塊的相鄰取樣的資料。
重構單元310可以使用預測塊和殘差塊來重構當前塊。例如,重構單元310可以將殘差塊的取樣添加到預測塊的相應取樣以重構當前塊。
濾波器單元312可對重構塊執行一或多個濾波操作。例如,濾波器單元312可以執行解塊操作以減少沿著重構塊的邊緣的塊狀偽影。不一定在所有實例中皆執行濾波器單元312的操作。濾波器單元312可以被配置為:應用自我調整迴路濾波器,並且可以被配置為:使用本案內容中所描述的自我調整迴路濾波器技術中的任一種。例如,濾波器單元312可以被配置為:接收與視訊資料相關聯的自我調整參數集中的多個自我調整迴路濾波器組;從多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及將所決定的一或多個自我調整迴路濾波器應用於視訊資料。
視訊解碼器300可以將重構塊儲存在DPB 314中。例如,在不執行濾波器單元312的操作的實例中,重構單元310可以將重構塊儲存到DPB 314。在執行濾波器單元312的操作的實例中,濾波器單元312可以將經濾波的重構塊儲存到DPB 314。如上文所論述的,DPB 314可以向預測處理單元304提供參考資訊,例如用於內預測的當前圖片的取樣以及用於隨後的運動補償的先前解碼的圖片。此外,視訊解碼器300可以從DPB 314輸出解碼圖片(例如,解碼視訊),以便隨後在顯示設備(例如圖1的顯示設備118)上呈現。
以這種方式,視訊解碼300代表視訊解碼設備的實例,該設備包括:被配置為儲存視訊資料的記憶體;及在電路中實現的一或多個處理單元,其被配置為:在與視訊資料相關聯的自我調整參數集中接收多個自我調整迴路濾波器組,從多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器,並將所決定的一或多個自我調整迴路濾波器應用於視訊資料。
圖14是說明根據本案內容的技術的、用於對當前塊進行編碼的一種實例方法的流程圖。當前塊可以包括當前CU。儘管針對視訊轉碼器200(圖1和圖12)進行了描述,但應該理解的是:其他設備可以被配置為執行與圖14類似的方法。
在該實例中,視訊轉碼器200最初預測當前塊(350)。舉例而言,視訊轉碼器200可形成當前塊的預測塊。視訊轉碼器200隨後可以計算當前塊的殘差塊(352)。為了計算殘差塊,視訊轉碼器200可計算原始未編碼塊與當前塊的預測塊之間的差。視訊轉碼器200隨後可以對殘差塊進行變換並對殘差塊的變換係數進行量化(354)。接下來,視訊轉碼器200可以對殘差塊的經量化的變換係數進行掃瞄(356)。在掃瞄期間或在掃瞄之後,視訊轉碼器200可對變換係數進行熵編碼(358)。例如,視訊轉碼器200可以使用CAVLC或CABAC對變換係數進行編碼。視訊轉碼器200隨後可以輸出塊的熵編碼資料(360)。
圖15是說明根據本案內容的技術的、用於對視訊資料的當前塊進行解碼的一種實例方法的流程圖。當前塊可以包括當前CU。儘管針對視訊解碼器300(圖1和圖13)進行了描述,但應該理解的是:其他設備可以被配置為執行與圖15類似的方法。
視訊解碼器300可接收當前塊的熵編碼資料,例如,熵編碼預測資訊和與當前塊相對應的殘差塊的變換係數的熵編碼資料(370)。視訊解碼器300可以對熵編碼資料進行熵解碼以決定針對當前塊的預測資訊並再現殘差塊的變換係數(372)。視訊解碼器300可例如使用由針對當前塊的預測資訊所指示的內預測或間預測模式來預測當前塊(374),以計算針對當前塊的預測塊。視訊解碼器300隨後可以變換對再現的變換係數進行逆掃瞄(376),以建立經量化的變換係數的塊。隨後,視訊解碼器300可對變換係數進行逆量化,並將逆變換應用於變換係數以產生殘差塊(378)。視訊解碼器300可經由對預測塊和殘差塊進行組合來最終對當前塊進行解碼(380)。在對當前塊進行解碼之後,視訊解碼器300可以使用本案內容的技術來應用濾波器,例如ALF。圖16是說明根據本案內容的技術的、用於對當前塊進行解碼的另一種實例方法的流程圖。圖16圖示了根據本案內容的用於應用ALF的方法。圖16的技術可由視訊解碼器300的一或多個結構單元執行,包括濾波器單元312。
在一個實例中,視訊解碼300可以被配置為:接收與視訊資料相關聯的自我調整參數集中的多個自我調整迴路濾波器組(500);從多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器(510);及將所決定的一或多個自我調整迴路濾波器應用於視訊資料(520)。在一個實例中,多個自我調整迴路濾波器組包括用於視訊資料的亮度分量的多個自我調整迴路濾波器組以及用於視訊資料的色度分量的多個自我調整迴路濾波器組。在另一個實例中,多個自我調整迴路濾波器組包括用於視訊資料的Cb分量的多個交叉分量自我調整迴路濾波器組以及用於視訊資料的Cr分量的多個交叉分量自我調整迴路濾波器組。
在另一個實例中,視訊解碼器300可以被配置為:針對譯碼樹塊,對自我調整參數集中指示多個自我調整迴路濾波器組中特定自我調整迴路濾波器組的濾波器組索引進行解碼;針對譯碼樹塊,對指示來自特定自我調整迴路濾波器組的特定自我調整迴路濾波器的濾波器索引進行解碼;及將特定自我調整迴路濾波器應用於譯碼樹塊。視訊解碼器300亦可以被配置為:針對視訊資料的譯碼樹塊,對指示自我調整參數集的自我調整參數集索引進行解碼。
在另一個實例中,視訊解碼器300可以被配置為:對第一語法元素進行解碼,第一語法元素指示自我調整參數集中用於視訊資料的亮度分量的自我調整迴路濾波器組的數量。在另一個實例中,視訊解碼器300可以被配置為:對第二語法元素進行解碼,第二語法元素指示自我調整參數集中用於視訊資料的色度分量的自我調整迴路濾波器組的數量。
在另一個實例中,視訊解碼器300可以被配置為:對適用於用於亮度分量的多個自我調整迴路濾波器組的所有自我調整迴路濾波器組的裁剪標誌位元進行解碼,以及對適用於用於色度分量的多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的裁剪標誌位元進行解碼。
在另一個實例中,視訊解碼器300可以被配置為:對用於亮度分量的多個自我調整迴路濾波器組的每個自我調整迴路濾波器組的各自裁剪標誌位元進行解碼,以及對用於色度分量的多個自我調整迴路濾波器組的每個自我調整迴路濾波器組的各自裁剪標誌位元進行解碼。
在另一個實例中,視訊解碼器300可以被配置為:在圖片標頭處對指示多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於視訊資料的圖片的一或多個語法元素進行解碼;及將所指示的自我調整迴路濾波器組應用於視訊資料的圖片。
在另一實例中,視訊解碼器300可以被配置為:在子圖片標頭處對指示多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於視訊資料的子圖片的一或多個語法元素進行解碼,其中子圖片包括視訊資料的子圖片、切片、瓦片、瓦片組或磚塊,以及將所指示的自我調整迴路濾波器組應用於視訊資料的子畫面。
下文描述了本案內容的其他說明性實例。
條款1—一種對視訊資料進行譯碼的方法,該方法包括:在自我調整參數集中對多個自我調整迴路濾波器組進行譯碼;及將來自該多個自我調整迴路濾波器組的一或多個自我調整迴路濾波器應用於該視訊資料。
條款2—根據條款1之方法,其中該多個自我調整迴路濾波器組包括用於亮度分量的多個自我調整迴路濾波器組、用於色度分量的多個自我調整迴路濾波器組、用於Cb分量的多個交叉分量自我調整迴路濾波器組以及用於Cr分量的多個交叉分量自我調整迴路濾波器組。
條款3—根據條款2之方法,亦包括:對指示用於亮度分量的自我調整迴路濾波器組的數量的第一語法元素進行譯碼。
條款4—根據條款2之方法,亦包括:對指示用於色度分量的自我調整迴路濾波器組的數量的第二語法元素進行譯碼。
條款5—根據條款2之方法,亦包括:對適用於用於亮度分量的該多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的裁剪標誌位元進行譯碼。
條款6—根據條款2之方法,亦包括:對適用於用於色度分量的該多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的裁剪標誌位元進行譯碼。
條款7—根據條款2之方法,亦包括:對針對用於亮度分量的該多個自我調整迴路濾波器組之每一者自我調整迴路濾波器組的各自裁剪標誌位元進行譯碼。
條款8—根據條款2之方法,亦包括:對針對用於色度分量的該多個自我調整迴路濾波器組之每一者自我調整迴路濾波器組的各自裁剪標誌位元進行譯碼。
條款9—根據條款1之方法,亦包括:對指示該多個自我調整迴路濾波器組中的自我調整迴路濾波器組的濾波器組索引進行譯碼。
條款10—根據條款1-9的任意組合所述的方法。
條款11—根據條款1-10中的任意條款所述的方法,其中譯碼包括解碼。
條款12—根據條款1-10中的任意條款所述的方法,其中譯碼包括編碼。
條款13—一種用於對視訊資料進行譯碼的設備,該設備包括用於執行根據條款1-12中的任意條款所述的方法的一或多個單元。
條款14—根據條款13之設備,其中該一或多個單元包括電路中實現的一或多個處理器。
條款15—根據條款13和14中的任意條款所述的設備,亦包括用於儲存該視訊資料的記憶體。
條款16—根據條款13-15中的任意條款所述的設備,亦包括被配置為顯示經解碼視訊資料的顯示器。
條款17—根據條款13-16中的任意條款所述的設備,其中該設備包括下列中的一項或多項:照相機、電腦、行動設備、廣播接收器設備或機上盒。
條款18—根據條款13-17中的任意條款所述的設備,其中該設備包括視訊解碼器。
條款19—根據條款13-18中的任意條款所述的設備,其中該設備包括視訊轉碼器。
條款20—一種具有儲存在其上的指令的電腦可讀取儲存媒體,當被執行時,該等指令使得一或多個處理器執行根據條款1-12中任意條款所述的方法。
條款21—本案內容中描述的技術的任何組合。
應該認識到的是:根據實例,本文中描述的技術中的任一種技術的某些動作或事件可以不同的循序執行,可以添加、合併或一起省略(例如,對於技術的實施來說,不是所有所描述的動作都是必要的)。此外,在某些實例中,動作或事件可以併發執行(例如,經由多執行緒處理、中斷處理或多處理器)而不是循序執行。
在一或多個實例中,可以用硬體、軟體、韌體、或它們的任意組合來實現所描述的功能。若用軟體來實現,則這些功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上、或者經由電腦可讀取媒體發送、以及由基於硬體的處理單元執行。電腦可讀取媒體可以包括電腦可讀取儲存媒體,其與諸如資料儲存媒體的有形媒體,或通訊媒體(其包括例如,根據通訊協定便於將電腦程式傳送從一個地點轉移到另一個地點的任何媒體)相對應。以這種方式,電腦可讀取媒體通常可以對應於(1)非暫時性的有形電腦可讀取儲存媒體或者(2)通訊媒體(諸如訊號或載波)。資料儲存媒體可以是可以由一或多個電腦或一或多個處理器存取以便取回用於本案內容中描述的技術的實現的指令、代碼及/或資料結構的任何可用媒體。電腦程式產品可以包括電腦可讀取媒體。
經由舉例而非限制的方式,這種電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、快閃記憶體器或者可以用於儲存具有指令或資料結構形式的所期望的程式碼並可以由電腦存取的任何其他媒體。此外,任何連接都可以被適當地稱為電腦可讀取媒體。例如,若使用同軸電纜、光纖線纜、雙絞線、數位用戶線路(DSL)、或諸如紅外線、無線電和微波的無線技術,從網站、伺服器、或其他遠端源發送指令,則,同軸電纜、光纖線纜、雙絞線、DSL、或諸如紅外線、無線電和微波的無線技術包含在媒體的定義中。然而,應該理解的是:電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、訊號或其他暫時性媒體,而是針對非暫時性、有形的儲存媒體。如本文中所使用的,磁碟(disk)和光碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中磁碟通常磁性地複製資料,而光碟則用鐳射來光學地複製資料。上述各項的組合亦應該包括在電腦可讀取媒體的範疇之內。
指令可由諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效整合或離散邏輯電路的一或多個處理器來執行。因此,如本文中所使用的,術語「處理器」和「處理電路」可以代表前述結構或適於本文中所描述的技術的實現的任何其他結構中的任何一個。此外,在一些態樣中,本文中描述的功能可以在配置用於編碼和解碼或者併入組合轉碼器的專用硬體及/或軟體模組中提供。此外,這些技術可以在一或多個電路或邏輯單元中完全實現。
本案內容的技術可以在多種設備或裝置中實現,這些設備或裝置包括無線手持設備、積體電路(IC)或一組IC(例如,晶片組)。本案內容中描述了各種部件、模組或單元以強調被配置為執行所揭示技術的設備的功能態樣,但不一定要求由不同的硬體單元來實現。而是如前述,各個單元可以組合在轉碼器硬體單元中,或者由可交互動操作的硬體單元的集合來提供,其包括如前述的一或多個處理器結合合適的軟體及/或韌體。
已經描述了各個實例。這些實例和其他實例在下文請求項的範疇之內。
100:視訊編碼和解碼系統 102:源設備 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀取媒體 112:存放裝置 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 130:四叉樹二叉樹(QTBT)結構 132:譯碼樹單元(CTU) 200:視訊轉碼器 202:模式選擇單元 204:殘差產生單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波器單元 218:解碼圖片緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波器單元 314:解碼圖片緩衝器(DPB) 316:運動補償單元 318:內預測單元 320:CPB記憶體 350:方塊 352:方塊 354:方塊 356:方塊 358:方塊 360:方塊 370:方塊 372:方塊 374:方塊 376:方塊 378:方塊 380:方塊 400:菱形 402:菱形 404:子塊 406:水平梯度
Figure 02_image031
408:垂直梯度V 410:135度梯度D1 412:45度梯度D2 414:合併表 416:對角翻轉 418:垂直翻轉 420:右旋轉 430:粗線 432:濾波器 500:方塊 510:方塊 520:方塊 c0 :整數係數 c1 :整數係數 c2 :整數係數 c3 :整數係數 c4 :整數係數 c5 :整數係數 c6 :整數係數 c7 :整數係數 c8 :整數係數 c9 :整數係數 c10 :整數係數 c11 :整數係數 c12 :整數係數 D1:135度梯度 D2:45度梯度 H:水平梯度 V:垂直梯度 VB:虛擬邊界
圖1是說明可以執行本案內容的技術的實例視訊編碼和解碼系統的方塊圖。
圖2是說明自我調整迴路濾波器形狀的實例的概念圖。
圖3是說明用於4x4子塊自我調整迴路濾波器分類的實例子取樣拉普拉斯值的概念圖。
圖4是說明亮度取樣的實例拉普拉斯值的概念圖。
圖5是說明自我調整迴路濾波器類別合併的實例的概念圖。
圖6是說明7x7菱形濾波器形狀的實例幾何變換的概念圖。
圖7是說明在虛擬邊界處亮度自我調整迴路濾波的對稱取樣填充的一個實例的概念圖。
圖8是說明在虛擬邊界處亮度自我調整迴路濾波的對稱取樣填充的另一個實例的概念圖。
圖9是說明在虛擬邊界處亮度自我調整迴路濾波的對稱取樣填充的另一個實例的概念圖。
圖10是說明在虛擬邊界處的自我調整迴路濾波器4x4子塊分類的概念圖。
圖11A和圖11B是示出實例四叉樹二叉樹(QTBT)結構以及相應編碼樹單元(CTU)的概念圖。
圖12是說明可以執行本案內容的技術的實例視訊轉碼器的方塊圖。
圖13是說明可以執行本案內容的技術的實例視訊解碼器的方塊圖。
圖14是說明根據本案內容的技術的、用於對當前塊進行編碼的一種實例方法的流程圖。
圖15是說明根據本案內容的技術的、用於對當前塊進行解碼的一種實例方法的流程圖。
圖16是說明根據本案內容的技術的、用於對當前塊進行解碼的另一種實例方法的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
500:方塊
510:方塊
520:方塊

Claims (24)

  1. 一種對視訊資料進行解碼的方法,該方法包括以下步驟: 接收與該視訊資料相關聯的一自我調整參數集中的多個自我調整迴路濾波器組; 從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及 將所決定的一或多個自我調整迴路濾波器應用於該視訊資料。
  2. 根據請求項1之方法,亦包括以下步驟: 針對該視訊資料的一譯碼樹塊,對該自我調整參數集中指示該多個自我調整迴路濾波器組中一特定自我調整迴路濾波器組的一濾波器組索引進行解碼; 針對該譯碼樹塊,對指示來自該特定自我調整迴路濾波器組的一特定自我調整迴路濾波器的一濾波器索引進行譯碼;及 將該特定自我調整迴路濾波器應用於該譯碼樹塊。
  3. 根據請求項2之方法,亦包括以下步驟: 針對該視訊資料的該譯碼樹塊,對指示該自我調整參數集的一自我調整參數集索引進行解碼。
  4. 根據請求項1之方法,其中該多個自我調整迴路濾波器組包括用於該視訊資料的亮度分量的多個自我調整迴路濾波器組以及用於該視訊資料的色度分量的多個自我調整迴路濾波器組。
  5. 根據請求項1之方法,其中該多個自我調整迴路濾波器組包括用於該視訊資料的Cb分量的多個交叉分量自我調整迴路濾波器組以及用於該視訊資料的Cr分量的多個交叉分量自我調整迴路濾波器組。
  6. 根據請求項1之方法,亦包括以下步驟: 對一第一語法元素進行解碼,該第一語法元素指示該自我調整參數集中用於該視訊資料的亮度分量的自我調整迴路濾波器組的一數量;及 對一第二語法元素進行解碼,該第二語法元素指示該自我調整參數集中用於該視訊資料的色度分量的自我調整迴路濾波器組的一數量。
  7. 根據請求項1之方法,亦包括以下步驟: 對適用於用於亮度分量的該多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的一裁剪標誌位元進行解碼;及 對適用於用於色度分量的該多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的一裁剪標誌位元進行解碼。
  8. 根據請求項1之方法,亦包括以下步驟: 對針對用於亮度分量的該多個自我調整迴路濾波器組之每一者自我調整迴路濾波器組的一各自裁剪標誌位元進行解碼;及 對針對用於色度分量的該多個自我調整迴路濾波器組之每一者自我調整迴路濾波器組的一各自裁剪標誌位元進行解碼。
  9. 根據請求項1之方法,亦包括以下步驟: 在一圖片標頭處對指示該多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於該視訊資料的一圖片的一或多個語法元素進行解碼;及 將所指示的自我調整迴路濾波器組應用於該視訊資料的該圖片。
  10. 根據請求項1之方法,亦包括以下步驟: 在一子圖片標頭處對指示該多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於該視訊資料的一子圖片的一或多個語法元素進行解碼,其中該子圖片包括該視訊資料的一子圖片、一切片、一瓦片、一瓦片組或一磚塊;及 將所指示的自我調整迴路濾波器組應用於該視訊資料的該子圖片。
  11. 根據請求項1之方法,亦包括以下步驟: 顯示該視訊資料。
  12. 一種被配置為對視訊資料進行解碼的裝置,該裝置包括: 一記憶體,其被配置為儲存該視訊資料;及 一或多個處理器,其在電路中實現並且與該記憶體通訊,該一或多個處理器被配置為: 接收與該視訊資料相關聯的一自我調整參數集中的多個自我調整迴路濾波器組; 從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及 將所決定的一或多個自我調整迴路濾波器應用於該視訊資料。
  13. 根據請求項12之裝置,其中該一或多個處理器亦被配置為: 針對該視訊資料的一譯碼樹塊,對該自我調整參數集中指示該多個自我調整迴路濾波器組中一特定自我調整迴路濾波器組的一濾波器組索引進行解碼; 針對該解碼樹塊,對指示來自該特定自我調整迴路濾波器組的一特定自我調整迴路濾波器的一濾波器索引進行解碼;及 將該特定自我調整迴路濾波器應用於該譯碼樹塊。
  14. 根據請求項13之裝置,其中該一或多個處理器亦被配置為: 針對該視訊資料的該譯碼樹塊,對指示該自我調整參數集的一自我調整參數集索引進行解碼。
  15. 根據請求項12之裝置,其中該多個自我調整迴路濾波器組包括用於該視訊資料的亮度分量的多個自我調整迴路濾波器組以及用於該視訊資料的色度分量的多個自我調整迴路濾波器組。
  16. 根據請求項12之裝置,其中該多個自我調整迴路濾波器組包括用於該視訊資料的Cb分量的多個交叉分量自我調整迴路濾波器組以及用於該視訊資料的Cr分量的多個交叉分量自我調整迴路濾波器組。
  17. 根據請求項12之裝置,其中該一或多個處理器亦被配置為: 對一第一語法元素進行解碼,該第一語法元素指示該自我調整參數集中用於該視訊資料的亮度分量的自我調整迴路濾波器組的一數量;及 對一第二語法元素進行解碼,該第二語法元素指示該自我調整參數集中用於該視訊資料的色度分量的自我調整迴路濾波器組的一數量。
  18. 根據請求項12之裝置,其中該一或多個處理器亦被配置為: 對適用於用於亮度分量的該多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的一裁剪標誌位元進行解碼;及 對適用於用於色度分量的該多個自我調整迴路濾波器組中的所有自我調整迴路濾波器組的一裁剪標誌位元進行解碼。
  19. 根據請求項12之裝置,其中該一或多個處理器亦被配置為: 對針對用於亮度分量的該多個自我調整迴路濾波器組之每一者自我調整迴路濾波器組的一各自裁剪標誌位元進行解碼;及 對針對用於色度分量的該多個自我調整迴路濾波器組之每一者自我調整迴路濾波器組的一各自裁剪標誌位元進行解碼。
  20. 根據請求項12之裝置,其中該一或多個處理器亦被配置為: 在一圖片標頭處對指示該多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於該視訊資料的一圖片的一或多個語法元素進行解碼;及 將所指示的自我調整迴路濾波器組應用於該視訊資料的該圖片。
  21. 根據請求項12之裝置,其中該一或多個處理器亦被配置為: 在一子圖片標頭處對指示該多個自我調整迴路濾波器組中的哪些自我調整迴路濾波器組可用於該視訊資料的一子圖片的一或多個語法元素進行解碼,其中該子圖片包括該視訊資料的一子圖片、一切片、一瓦片、一瓦片組或一磚塊;及 將所指示的自我調整迴路濾波器組應用於該視訊資料的該子圖片。
  22. 根據請求項12之裝置,亦包括: 一顯示器,其被配置為顯示該視訊資料。
  23. 一種被配置為對視訊資料進行解碼的裝置,該裝置包括: 用於接收與該視訊資料相關聯的一自我調整參數集中的多個自我調整迴路濾波器組的單元; 用於從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器的單元;及 用於將所決定的一或多個自我調整迴路濾波器應用於該視訊資料的單元。
  24. 一種儲存指令的非暫時性電腦可讀取儲存媒體,當該等指令被執行時,使被配置為對視訊資料進行解碼的一設備的一或多個處理器進行以下操作: 接收與該視訊資料相關聯的一自我調整參數集中的多個自我調整迴路濾波器組; 從該多個自我調整迴路濾波器組中決定一或多個自我調整迴路濾波器;及 將所決定的一或多個自我調整迴路濾波器應用於該視訊資料。
TW110126020A 2020-07-24 2021-07-15 多個自我調整迴路濾波器組 TW202209881A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062705992P 2020-07-24 2020-07-24
US62/705,992 2020-07-24
US17/126,671 US20220030232A1 (en) 2020-07-24 2020-12-18 Multiple adaptive loop filter sets
US17/126,671 2020-12-18

Publications (1)

Publication Number Publication Date
TW202209881A true TW202209881A (zh) 2022-03-01

Family

ID=77022303

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110126020A TW202209881A (zh) 2020-07-24 2021-07-15 多個自我調整迴路濾波器組

Country Status (7)

Country Link
US (1) US20220030232A1 (zh)
EP (1) EP4186237A1 (zh)
KR (1) KR20230038709A (zh)
CN (1) CN116158080A (zh)
BR (1) BR112023000377A2 (zh)
TW (1) TW202209881A (zh)
WO (1) WO2022020068A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023237094A1 (en) * 2022-06-11 2023-12-14 Beijing Bytedance Network Technology Co., Ltd. Extended Taps Using Different Sources for Adaptive Loop Filter in Video Coding

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114424531A (zh) * 2019-07-08 2022-04-29 Lg电子株式会社 基于环路内滤波的视频或图像编码
US11595676B2 (en) * 2020-09-16 2023-02-28 Tencent America LLC Method and apparatus for video coding
US11778177B2 (en) 2020-12-23 2023-10-03 Qualcomm Incorporated Adaptive loop filter with fixed filters
US11785213B2 (en) * 2021-03-12 2023-10-10 Tencent America LLC Method and apparatus for video filtering

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7256874B2 (ja) * 2019-03-08 2023-04-12 キヤノン株式会社 アダプティブループフィルタ
US11284114B2 (en) * 2019-04-23 2022-03-22 Qualcomm Incorporated Adaptive loop filter set index signaling
US11019334B2 (en) * 2019-05-17 2021-05-25 Qualcomm Incorporated Multiple adaptive loop filter sets for video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023237094A1 (en) * 2022-06-11 2023-12-14 Beijing Bytedance Network Technology Co., Ltd. Extended Taps Using Different Sources for Adaptive Loop Filter in Video Coding

Also Published As

Publication number Publication date
KR20230038709A (ko) 2023-03-21
WO2022020068A1 (en) 2022-01-27
BR112023000377A2 (pt) 2023-01-31
US20220030232A1 (en) 2022-01-27
EP4186237A1 (en) 2023-05-31
CN116158080A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
CN111602395B (zh) 用于视频译码的量化组
TW202209881A (zh) 多個自我調整迴路濾波器組
TW202218422A (zh) 用於在視訊譯碼期間進行濾波的多個神經網路模型
TW202213996A (zh) 用於視頻譯碼的濾波程序
TW202123705A (zh) 低頻不可分離變換(lfnst)訊號傳遞
WO2022076355A1 (en) Joint-component neural network based filtering during video coding
CN114982233A (zh) 用信号通知视频译码中的缩放矩阵
CN112335251B (zh) 以分组的旁路位元的系数编码
WO2022147494A1 (en) Multiple neural network models for filtering during video coding
WO2022072684A1 (en) Activation function design in neural network-based filtering process for video coding
TW202205865A (zh) 解塊濾波器參數訊號傳遞
CN114830657A (zh) 视频译码中具有减少的归零的低频不可分离变换(lfnst)
TW202308377A (zh) 視訊譯碼中的用信號通知的具有多個分類器的自我調整迴路濾波器
TW202215846A (zh) 約束用於以不同位元深度對視頻資料進行譯碼的自適應迴路濾波的操作位元深度
EP4128796A1 (en) Block partitioning for image and video coding
CN114402599A (zh) 用于视频编解码的高级语法中的子图片的信令号
CN114009045A (zh) 视频译码中的dc帧内模式预测
TW202234886A (zh) 具有固定濾波器的自我調整迴路濾波器
TW202308375A (zh) 用於視訊譯碼的濾波器的聯合截取操作
WO2024147884A1 (en) Adaptive loop filter classifiers
WO2024010790A1 (en) Reduced complexity multi-mode neural network filtering of video data
TW202315406A (zh) 用於視訊譯碼的多條輔助線的候選列表
TW202404371A (zh) 視訊譯碼中用於多種顏色分量的基於神經網路的濾波程序
TW202304201A (zh) 使用重疊區塊運動補償、組合訊框間-訊框內預測及/或亮度映射和色度縮放的視訊譯碼