TWI829210B - 用於編碼視訊資料的裝置和方法 - Google Patents

用於編碼視訊資料的裝置和方法 Download PDF

Info

Publication number
TWI829210B
TWI829210B TW111123771A TW111123771A TWI829210B TW I829210 B TWI829210 B TW I829210B TW 111123771 A TW111123771 A TW 111123771A TW 111123771 A TW111123771 A TW 111123771A TW I829210 B TWI829210 B TW I829210B
Authority
TW
Taiwan
Prior art keywords
template
prediction
modes
block
intra
Prior art date
Application number
TW111123771A
Other languages
English (en)
Other versions
TW202308380A (zh
Inventor
楊雨樵
鄧智友
Original Assignee
香港商鴻穎創新有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商鴻穎創新有限公司 filed Critical 香港商鴻穎創新有限公司
Publication of TW202308380A publication Critical patent/TW202308380A/zh
Application granted granted Critical
Publication of TWI829210B publication Critical patent/TWI829210B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一種透過電子裝置對位元流進行解碼的方法。所述電子裝置接 收所述位元流。此外，所述電子裝置根據所述位元流從圖像幀確定塊單元，且從用於所述塊單元的多個幀內預設模式中選擇多個幀內候選模式。所述電子裝置還針對所述多個幀內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式來重建所述塊單元。

Description

用於編碼視訊資料的裝置和方法
本披露總體上涉及視訊編碼，尤其涉及在基於模板的幀內模式推導(Template-based intra mode derivation，TIMD)中使用模板預測的技術。
基於模板的幀內模式推導(TIMD)係用於視訊編碼的編碼工具。在常規視訊編碼方法中，編碼器和解碼器可使用與目標塊相鄰的先前重建的樣本來生成用於預測目標塊的多個幀內預設模式中的一者。
然而，針對目標塊的TIMD預測僅基於透過使用模板預測而選擇的一個預測模式來確定，因此當TIMD被用於預測目標塊時，編碼效率可能不夠高。因此，編碼器和解碼器可能需要新的TIMD以更精確地預測或重建目標塊。
本披露涉及一種用於透過使用TIMD中的模板預測來預測圖像幀中的塊單元的裝置和方法。
在本披露的第一方面中，提供了一種用於對位元流進行解碼的方法和用於執行所述方法的電子裝置。所述方法包括：接收所述位元流；根據所述位元流從圖像幀確定塊單元；從用於所述塊單元的多個幀內預設模式中選擇多個幀內候選模式；針對所述多個幀內候選模式中的每一個生成模板預測；基於 所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式來重建所述塊單元。
第一方面的實施方式進一步包括：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊，以生成所述模板預測。
第一方面的實施方式進一步包括：透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值，其中，還基於所述多個代價值選擇所述多個預測模式。
在第一方面的另一實施方式中，由代價函數確定的所述多個代價值中的每一個對應於所述模板預測中的一個。
在第一方面的另一實施方式中，所述多個模板塊包括頂部相鄰塊和左相鄰塊，且每一個與所述塊單元相鄰。
第一方面的實施方式進一步包括：基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；以及加權地組合所述多個預測塊以生成具有多個加權參數的預測塊，其中，還基於所述預測塊來重建所述塊單元。
在第一方面的另一實施方式中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
在第一方面的另一實施方式中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
在第一方面的另一實施方式中，所述多個幀內候選模式是從所述多個幀內預設模式中選擇的多個最可能模式(most probable mode，MPM)。
第一方面的實施方式進一步包括：確定與所述塊單元相鄰的多個模板區域；透過使用梯度濾波器對所述多個模板區域進行濾波，以用於生成多個模板角度和多個模板幅度，其中所述多個模板角度中的每一個對應於所述多個模板幅度中的一個；以及基於所述多個模板角度和所述多個模板幅度來生成梯度長條圖(histogram of gradient，HoG)，以用於選擇所述多個幀內候選模式。
第一方面的實施方式進一步包括：基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的多個模板幅度，從所述多個幀內預設模式中選擇所述多個幀內候選模式。
在本披露的第二方面中，提供了一種用於對位元流進行解碼的方法和用於執行所述方法的電子裝置。所述方法包括：接收所述位元流；根據所述位元流從圖像幀確定塊單元和與所述塊單元相鄰的多個相鄰區域；基於所述相鄰區域從用多個幀內預設模式中選擇多個幀內候選模式；針對所述多個幀內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式來重建所述塊單元。
第二方面的實施方式進一步包括：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊，以生成所述模板預測。
第二方面的實施方式進一步包括：透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值，其中，還基於所述多個代價值選擇所述多個預測模式。
在第二方面的另一實施方式中，由代價函數確定的所述多個代價值中的每一個對應於所述模板預測中的一個。
在第二方面的另一實施方式中，所述多個模板塊包括頂部相鄰塊和左相鄰塊，且每一個與所述塊單元相鄰。
第二方面的實施方式進一步包括：基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；以及加權地組合所述多個預測塊以生成具有多個加權參數的預測塊，其中，還基於所述預測塊來重建所述塊單元。
在第二方面的另一實施方式中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
在第二方面的另一實施方式中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
在第二方面的另一實施方式中，所述多個相鄰區域係與所述塊單元相鄰的多個重建塊；在重建所述塊單元之前，基於至少一個重建模式來重建所述多個重建塊；以及所述多個幀內候選模式係基於所述至少一個重建模式從所述多個幀內預設模式中選擇的多個最可能模式MPM。
第二方面的實施方式進一步包括：透過使用梯度濾波器對所述多個相鄰區域進行濾波，以生成多個模板角度和多個模板幅度，其中所述多個模板角度中的每一個對應於所述多個模板幅度中的一個；以及基於所述多個模板角 度和所述多個模板幅度來生成梯度長條圖HoG，以用於選擇所述多個幀內候選模式。
第二方面的實施方式進一步包括：基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的多個模板幅度，從所述多個幀內預設模式中選擇所述多個幀內候選模式。
從以下詳細披露和對應的附圖可最好地理解本披露的各方面。不同特徵不是按比例繪製的，並且為了討論清楚起見，可任意增大或減小各種特徵的大小。
圖1示出了根據本披露的實施方式的配置為對視訊資料進行編碼和解碼的系統的框圖。
圖2示出了根據本披露的實施方式的在圖1中示出的第二電子裝置的解碼器模組的框圖。
圖3示出了根據本披露的實施方式的用於透過電子裝置來解碼視訊資料的方法的流程圖。
圖4A和圖4B係根據本披露的實施方式的塊單元的相鄰區域的示例性實施方式的示圖。
圖5A和圖5B係根據本披露的實施方式的塊單元、多個模板塊以及參考區域的示例性實施方式的示圖。
圖6示出了根據本披露的實施方式的在圖1中示出的第一電子裝置的編碼器模組的框圖。
以下披露包括與本披露中的實施方式相關的具體資訊。附圖和相應的詳細披露針對示例性實施方式。然而，本披露並不僅限於這些示例性實施方式。本領域技術人員將想到本披露的其他變形和實施方式。
除非另有說明，否則附圖中相同或相應的元件可由相同或相應的參考指示符來表示。附圖和說明通常未按比例繪製，並且不旨在對應於實際相對尺寸。
出於一致性和易於理解的目的，相似的特徵在示例性附圖中由參考指示符標識(但在一些示例中未示出)。然而，不同實施方式中的特徵可在其他方面有所不同，並且不應狹窄地局限於附圖中所示的內容。
本披露使用的短語“在一個實施方式中，”或“在一些實施方式中，”可各自指代相同或不同實施方式中的一者或多者。術語“耦合”被定義為連接，不論是直接連接還是透過中間部件間接連接，並且不一定限於物理連接。術語“包括”意指“包括但不一定限於”；其具體指示在如此描述的組合、組、系列和等效物中的開放式包括或成員身份。
出於解釋和非限制的目的，闡述了諸如功能實體、技術、協定和標準等具體細節以提供對所披露技術的理解。省略了對公知的方法、技術、系統和架構的詳細披露，以免不必要的細節使披露不清楚。
本領域技術人員將認識到在本披露描述的任何編碼功能或演算法可由硬體、軟體或軟體和硬體的組合來實施。所描述的功能可對應於模組，這些模組是軟體、硬體、固件或其任何組合。
軟體實施方式可包括程式，該程式具有存儲在諸如記憶體或其他類型的存放裝置的電腦可讀介質上的電腦可執行指令。例如，具有通信處理能力 的一個或多個微處理器或通用電腦可使用可執行指令予以程式設計，並執行所描述的功能或演算法。
這些微處理器或通用電腦可由專用積體電路(Applications Specific Integrated Circuitry，ASIC)、可程式設計邏輯陣列和/或使用一個或多個數位訊號處理器(Digital Signal Processor，DSP)形成。雖然披露的若干實施方式是面向在電腦硬體上安裝和執行的軟體，但是作為固件或硬體或如硬體與軟體的組合實施的替代實施方式也完全在本披露的範圍內。電腦可讀介質包括但不限於隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、可擦除可程式設計唯讀記憶體(Erasable Programmable Read-Only Memory，EPROM)、電可擦除可程式設計唯讀記憶體(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快閃記憶體、光碟唯讀記憶體(Compact Disc Read-Only Memory，CD-ROM)、盒式磁帶、磁帶、磁碟記憶體或能夠存儲電腦可讀指令的任何其他等效介質。
圖1示出了根據本披露的實施方式的配置為對視訊資料進行編碼和解碼的系統100的框圖。系統100包括第一電子裝置110、第二電子裝置120和通信介質130。
第一電子裝置110可為源裝置，其包括配置為編碼視訊資料且將經編碼的視訊資料傳輸到通信介質130的任何裝置。第二電子裝置120可為目的地裝置，其包括配置為經由通信介質130接收經編碼的視訊資料且解碼經編碼的視訊資料的任何裝置。
第一電子裝置110可經由通信介質130與第二電子裝置120有線或無線地通信。第一電子裝置110可包括源模組11計編碼器模組114和第一介面116。第二電子裝置120可包括顯示模組122、解碼器模組124和第二介面126。第一電子裝置110可以係視訊轉碼器，並且第二電子裝置120可以係視訊解碼器。
第一電子裝置110和/或第二電子裝置120可為行動電話、平板電腦、桌上型電腦、筆記本或其他電子裝置。圖1示出了第一電子裝置110和第二電子裝置120的一個示例。第一電子裝置110和第二電子裝置120可包括比圖示更多或更少的元件，或具有各種圖示的元件的不同配置。
源模組112可包括用以捕捉新視訊的視訊捕捉裝置、用以存儲先前捕捉到的視訊的視訊存檔和/或用以從視訊內容提供者接收視訊的視訊饋送介面。源模組112可生成基於電腦圖形的資料作為源視訊，或生成即時視訊、存檔視訊和電腦生成的視訊的組合作為源視訊。視訊捕捉裝置可為電荷耦合裝置(Charge-Coupled Device，CCD)圖像感測器、互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，CMOS)圖像感測器或相機。
編碼器模組114和解碼器模組124可以各自被實現為各種合適的編碼器/解碼器電路中的任何一種，諸如一個或多個微處理器、中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing Unit，GPU)、片上系統(System on Chip，SoC)、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)、離散邏輯、軟體、硬體、固件或其任意組合。當部分地以軟體實施時，裝置可將具有用於軟體的指令的程式存儲在合適的非暫時性電腦可讀介質中，且使用一或多個處理器執行硬體中的指令以執行所披露的方法。編碼器模組114和解碼器模組124的每一者可被包括於一個或多個編碼器或解碼器中，編碼器或解碼器中的任一者可被集成為裝置中的組合編碼器/解碼器(CODEC)的一部分。
第一介面116和第二介面126可以利用定制的協議或遵循現有標準或實際標準，包括但不限於乙太網、IEEE 802.11或IEEE 802.15系列、無線USB或電信標準，包括但不限於全球移動通信系統(Global System for Mobile Communication，GSM)、碼分多址2000(Code Division Multiple Access 2000，CDMA)、時分同步碼分多址(Time Division Synchronous Code Division Multiple Access，TD-SCDMA)、全球微波互聯接入(Worldwide Interoperability for Microwave Access，WiMAX)、第三代合作夥伴計畫長期演進(Third Generation Partnership Project Long-Term Evolution，3GPP-LTE)或時分LTE(Time-Division LTE，TD-LTE)。第一介面116和第二介面126可各自包括配置為經由通信介質130傳輸和/或存儲相容視訊位元流和經由通信介質130接收相容視訊位元流的任何裝置。
第一介面116和第二介面126可以包括電腦系統介面，該電腦系統介面使得相容視訊位元流能夠被存儲在存放裝置上或者從存放裝置接收。例如，第一介面116和第二介面126可包括支援周邊元件連接(Peripheral Component Interconnect，PCI)和高速周邊元件連接(Peripheral Component Interconnect Express，PCIe)匯流排協定、專有匯流排協定、通用序列匯流排(Universal Serial Bus，USB)協議、積體電路(Inter-Integrated Circuit，I2C)協定或可用於互連對等裝置的任何其他邏輯和物理結構的晶片組。
顯示模組122可包括使用液晶顯示器(Liquid Crystal Display，LCD)技術、等離子體顯示技術、有機發光二極體(Organic Light Emitting Diode，OLED)顯示技術或發光聚合物顯示器(Light Emitting Polymer Display，LPD)技術的顯示器，以及在其他實施方式中使用的其他顯示技術。顯示模組122可包括高清晰度顯示器或超高清晰度顯示器。
圖2示出了根據本披露的實施方式的在圖1中示出的第二電子裝置120的解碼器模組124的框圖。解碼器模組124包括熵解碼器(例如，熵解碼單元2241)、預測處理器(例如，預測處理單元2242)、逆量化/逆變換處理器(例如，逆量化/逆變換單元2243)、求和器(例如，求和器2244)、濾波器(例如， 濾波單元2245)和經解碼圖片緩衝器(例如，經解碼圖片緩衝器2246)。預測處理單元2242進一步包括幀內預測處理器(例如，幀內預測單元22421)和幀間預測處理器(例如，幀間預測單元22422)。解碼器模組124接收位元流並對該位元流進行解碼以輸出解碼的視訊。
熵解碼單元2241可以從圖1中的第二介面126接收包括多個語法元素的位元流，並且對位元流執行解析操作以從位元流提取語法元素。作為解析操作的一部分，熵解碼單元2241可以對位元流進行熵解碼以生成經量化的變換係數、量化參數、變換資料、運動向量、幀內模式、分割資訊以及其他語法資訊。
熵解碼單元2241可執行上下文自我調整可變長度編碼(Context Adaptive Variable Length Coding，CAVLC)、上下文自我調整二進位算術編碼(Context Adaptive Vinary Arithmetic Coding，CABAC)、基於語法的上下文自我調整二進位算術編碼(Syntax-based Context-adaptive Binary Arithmetic coding，SBAC)、概率區間分割熵(Probability Interval Partitioning Entropy，PIPE)編碼或另一熵編碼技術以生成量化的變換係數。熵解碼單元2241可以將經量化的變換係數、量化參數和變換資料提供給逆量化/逆變換單元2243，並且將運動向量、幀內模式、分割資訊和其他語法資訊提供給預測處理單元2242。
預測處理單元2242可從熵解碼單元2241接收語法元素，例如運動向量、幀內模式、分割資訊和其他語法資訊。預測處理單元2242可接收包括分割資訊的語法元素，並且根據分割資訊劃分圖像幀。
根據分割資訊，圖像幀中的每一個可以被劃分成至少一個圖像塊。該至少一個圖像塊可包括用於重建多個亮度樣本的亮度塊以及用於重建多個色度樣本的至少一個色度塊。該亮度塊和至少一個色度塊可以被進一步劃分以生 成巨集塊、編碼樹單元(Coding Tree Unit，CTU)、編碼塊(Coding Block，CB)、其子分割和/或另一等效的編碼單元。
在解碼處理期間，預測處理單元2242可以接收所預測的資料，該資料包括圖像幀中的特定一個圖像幀的當前圖像塊的幀內模式或運動向量。當前圖像塊可以係特定圖像幀中的亮度塊或色度塊之一。
幀內預測單元22421可基於與幀內模式相關的語法元素，針對與當前塊單元相同的幀中的一個或多個相鄰塊執行當前塊單元的幀內預測編碼，以便生成預測塊。幀內模式可指定選自當前幀內的相鄰塊的參考樣本的位置。當色度分量由預測處理單元2242重建時，幀內預測單元22421可以基於當前塊單元的多個亮度分量來重建當前塊單元的多個色度分量。
在當前塊的亮度分量由預測處理單元2242重建時，幀內預測單元22421可以基於當前塊單元的多個亮度分量來重建當前塊單元的多個色度分量。
幀間預測單元22422可基於與運動向量相關的語法元素對一個或多個參考圖像塊中的一個或多個塊執行當前塊單元的幀間預測編碼，以便生成預測塊。運動向量可指示當前圖像塊內的當前塊單元相對於參考圖像塊內的參考塊單元的位移。參考塊單元是被確定為與當前塊單元緊密匹配的塊。幀間預測單元22422可以接收存儲在經解碼圖片緩衝器2246中的參考圖像塊，並且基於接收到的參考圖像塊重建當前塊單元。
逆量化/逆變換單元2243可應用逆量化和逆變換以在圖元域中重建殘餘塊。逆量化/逆變換單元2243可將逆量化應用於殘餘經量化的變換係數以生成殘餘變換係數，且接著將逆變換應用於殘餘變換係數以生成圖元域中的殘餘塊。
逆變換可透過變換過程(例如，離散余弦變換(discrete cosine transform，DCT)、離散正弦變換(discrete sine transform，DST)、自我調整多重變換(adaptive multiple transform，AMT)、模式相關的不可分離二次變換(mode-dependent non-separable secondary transform，MDNSST)、超立方體歸根變換(Hypercube-Givens transform，HyGT)、信號相關變換、卡洛南-洛維變換(Karhunen-Loéve transform，KLT)、小波變換、整數變換、子帶變換或概念上類似的變換)來反向應用。逆變換可將殘餘資訊從變換域(例如，頻域)轉換回到圖元域。逆量化的程度可透過調整量化參數來修改。
求和器2244將重建的殘餘塊添加到從預測處理單元2242提供的預測塊中，以生成重建塊。
濾波單元2245可以包括解塊濾波器、樣本自我調整偏移(sample adaptive offset，SAO)濾波器、雙邊濾波器和/或自我調整環路濾波器(adaptive loop filter，ALF)，以將塊效應從重建塊中去除。除瞭解塊濾波器、SAO濾波器、雙邊濾波器和ALF之外，還可使用額外濾波器(環路內或環路後)。為了簡潔起見，這些濾波器未明確說明，但可對求和器2244的輸出進行濾波。濾波單元2245可以在濾波單元2245對特定圖像幀的重建塊進行濾波處理之後，將解碼後的視訊輸出到顯示模組122或其他視訊接收單元。
經解碼圖片緩衝器2246可以係參照圖片記憶體，其存儲供預測處理單元2242用於對位元流(以幀間編碼模式)進行解碼的參考塊。經解碼圖片緩衝器2246可由多種記憶體裝置中的任一者形成，例如動態隨機存取記憶體(dynamic random-access memory，DRAM)，包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magneto-resistive RAM，MRAM)、電阻RAM(resistive RAM，RRAM)，或其他類型的記憶體裝置。經解碼圖片緩衝器2246可與解碼器模組124的其他元件一起在晶片上，或相對於那些元件在晶片外。
圖3示出了根據本披露的實施方式的用於透過電子裝置來解碼視訊資料的方法300的流程圖。方法300僅是示例，因為存在執行視訊資料的解碼的各種方式。
方法300可以使用在圖1和圖2中示出的配置來執行，並且關於方法300參考這些圖的各種元件。在圖3中示出的每個框可以表示執行的一個或多個處理、方法、或者子常式。
圖3中的框的順序僅是說明性的並且可以改變。在不脫離本披露的情況下，可以添加額外的框或者可以使用更少的框。
在框310，解碼器模組124接收視訊資料。透過解碼器模組124接收到的視訊資料可以係位元流。
參照圖1和圖2，第二電子裝置120可以經由第二介面126從諸如第一電子裝置110的編碼器或者其他視訊提供者接收位元流。第二介面126可以向解碼器模組124提供位元流。
熵解碼單元2241可以解碼位元流以確定用於多個圖像幀的多個預測指示和多個分割指示。然後，解碼器模組124可以進一步基於預測指示和分割指示來重建多個圖像幀。預測指示和分割指示可以包括多個標誌和多個索引。
在框320，解碼器模組124根據視訊資料從圖像幀確定塊單元。
參照圖1和圖2，解碼器模組124可以基於位元流確定圖像幀並且根據位元流中的分割指示來劃分圖像幀以確定塊單元。例如，解碼器模組124可分割圖像幀以生成多個CTU，且可進一步劃分CTU中的一個以基於任意視訊編碼標準根據分割指示來確定塊單元。
在框330，解碼器模組124從用於塊單元的多個幀內預設模式中選擇多個幀內候選模式。
參照圖1和圖2，解碼器模組124可以確定用於透過幀內預測來預測塊單元的幀內預設模式。幀內預設模式可包括多個非角度模式和多個角度模式。非角度模式可包括平面模式和DC模式。此外，當解碼器模組124在高效視訊編碼(High efficiency video coding，HEVC)中解碼塊單元時，對於方法300，角度模式的數量可等於32。當解碼器模組124在通用視訊編碼(Versatile video coding，VVC)或VVC測試模型(VVC test model，VTM)中解碼塊單元時，對於方法300，角度模式的數量可等於65。此外，當解碼器模組124在增強壓縮模型(Enhanced compression model，ECM)中解碼塊單元時，對於方法300，角度模式的數量可等於129。由此，對於HEVC中的方法300，幀內預設模式的數量可等於34，對於VVC或VTM中的方法300，幀內預設模式的數量可等於67，且對於ECM中的方法300，幀內預設模式的數量可等於130。
圖4A和圖4B係根據本披露的實施方式的塊單元的相鄰區域的示例性實施方式的示圖。圖4A是塊單元4100和多個相鄰區域4110和4120的示例性實施方式的示圖。相鄰區域4110和4120可以係相鄰塊單元4100的多個重建塊。在重建塊單元4100之前，重建塊可以基於至少一個重建模式來重建。與塊單元4100相鄰的相鄰區域4110和相鄰區域4120是在重建塊單元4100之前重建的兩個不同的重建塊。解碼器模組124基於多個相鄰位置4111和4121來選擇相鄰區域4110和相鄰區域4120。相鄰位置4111可位於塊單元4100的左下角的左側，相鄰位置4121可位於塊單元4100的右上角的上方。當與塊單元4100相鄰的重建塊覆蓋相鄰位置4111時，重建塊可以被視為相鄰區域4110。當與塊單元4100相鄰的重建塊覆蓋相鄰位置4121時，重建塊可以被視為相鄰區域4120。相鄰區域4110和4120的至少一個重建模式可被用於確定幀內候選模式。當相鄰區域4110的重建模式與相鄰區域4120的重建模式相同時，相鄰區域4110和4120的至少一個重建模式的數量等於1。當相鄰區域4110的重建模式與相鄰區 域4120的重建模式不同時，相鄰區域4110和4120的至少一個重建模式的數量等於2。幀內候選模式可以係基於相鄰區域4110和4120的至少一個重建模式，從幀內預設模式中選擇的多個最可能模式MPM。可根據任何視訊編碼標準(諸如VVC、HEVC和高級視訊編碼(Advanced video coding，AVC)的選擇方案或視訊編碼標準的任何參考軟體(諸如VCM和ECM)，透過使用至少一個重建模式從幀內預設模式中來選擇該MPM。
圖4B是塊單元4200和與該塊單元4200相鄰的多個相鄰區域4210的示例性實施方式的示圖。解碼器模組124確定與塊單元4200相鄰的相鄰區域4210。相鄰區域4210可以係與塊單元4200相鄰的多個相鄰區域。包括在相鄰區域4210中的頂部相鄰區域可位於塊單元4200上方，並且包括在相鄰區域4210中的左相鄰區域可位於塊單元4200的左側。此外，可存在位於塊單元4200的左上角的左上側的左上相鄰區域。相鄰區域4210可包含多個重建樣本。頂部相鄰區域的高度可等於沿垂直方向的重建樣本的數量Nrt，並且頂部相鄰區域的寬度可等於塊單元4200的寬度。左相鄰區域的高度可以等於塊單元4200的高度，並且左相鄰區域的寬度可以等於沿水準方向的重建樣本的數量Nrl。此外，左上相鄰區域的高度可以等於沿垂直方向的重建樣本的數量Nrt，並且左上相鄰區域的寬度可以等於沿水準方向的重建樣本的數量Nrl。在一個實施方式中，數量Nrt和Nrl可以係正整數。此外，數量Nrt和Nrl可以彼此相等。進一步地，數量Nrt和Nrl可以大於或等於3。
相鄰區域4210中的所有重建樣本可以被設置為包括在多個模板區域中。透過使用梯度濾波器對模板區域進行濾波以生成多個模板梯度。換言之，相鄰區域可以被濾波。在一個實施方式中，梯度濾波器可以係索貝爾(Soble)濾波器。模板梯度透過基於以下濾波等式對相鄰區域4210中的重建樣本進行濾波來生成：
Figure 111123771-A0305-02-0018-1
其中，運算子*表示二維信號處理卷積運算，矩陣A表示相鄰區域4210中多個經濾波塊4211中的一個。換言之，每個模板梯度基於經濾波塊4211中的一個來生成。每個經濾波塊4211包括Nf個重建樣本。數量Nf可以係正整數。例如，當經濾波塊4211的尺寸為3×3時，數量Nf等於9。
經濾波塊4211的模板梯度可進一步計算，以生成多個模板幅度和多個模板角度。故，模板區域可以透過使用用於生成模板角度和模板幅度的梯度濾波器來濾波。每個模板幅度可透過匯出模板梯度中的對應一個的總和的絕對值來生成。此外，可基於兩個分數梯度Gx和Gy的劃分結果來匯出模板角度中的每一個。模板幅度和模板角度可透過以下等式來匯出：Amp=abs(G x )+abs(G y )
Figure 111123771-A0305-02-0018-10
模板角度與幀內預設模式之間的預定義關係可在第一電子裝置110和第二電子裝置120中被預定義。例如，該關係可以以查閱資料表(Look-up table，LUT)、等式或其組合的形式來存儲。故，當模板角度被確定時，解碼器模組124可以透過基於預定義關係將多個模板角度中的每個模板角度映射到多個幀內預設模式中的一個幀內預設模式來生成至少一個映射模式。換言之，該至少一個映射模式可以透過將多個模板角度中的每個模板角度映射到多個幀內預設模式來生成。例如，當塊單元4200的模板角度中的每個模板角度對應於相同的幀內預設模式時，該至少一個映射模式的數量可等於1。再者，當塊單元4200的模板角度中的一些模板角度對應於不同的幀內預設模式時，該至少一個映射 模式的數量可大於1。在一個實施方式中，360度可以被劃分成多個部分，並且每個部分可表示幀內預測索引。由此，如果模板角度落入一個分段中，則可以根據映射規則匯出對應於該分段的幀內預測索引。
經濾波塊4211中的特定塊的模板梯度可被計算，以生成模板幅度中的特定模板幅度和模板角度中的特定模板角度。由此，特定模板幅度可對應於特定模板角度。換言之，經濾波塊4211的模板角度中的每一個可對應於模板幅度中的對應一個。故，當至少一個映射模式被確定時，解碼器模組124可以透過基於至少一個映射模式累計模板幅度來生成梯度長條圖HoG。例如，當兩個彼此不同的模板角度對應於相同的幀內預設模式時，可針對與該兩個模板角度對應的一個映射模式來累計兩個模板角度的兩個模板幅度。故，HoG可透過基於至少一個映射模式累計模板幅度來生成。HoG的水準軸可表示幀內預測模式索引，並且HoG的垂直軸可表示累計的強度(例如，幅度)。在該實施方式中，基於模板角度和模板幅度來生成HoG，以用於選擇多個幀內候選模式。
一些幀內預設模式可基於HoG中的累計幅度被選擇為幀內候選模式。當幀內候選模式的數量等於6時，可基於前6個幅度來選擇6個幀內預測索引。當幀內候選模式的數量等於3時，可基於前3個幅度來選擇3個幀內預測索引。故，當幀內候選模式的數量等於X時，可基於前X個幅度來選擇X個幀內預測索引。數量X可以係正整數。在一個實施方式中，可將幀內預設模式中的非角度模式直接添加到幀內候選模式中。例如，非角度模式可以係平面模式。在另一實施方式中，非角度模式可為DC模式。
繼續參照圖3，在框340，解碼器模組124針對多個幀內候選模式中的每一個生成模板預測。
參照圖1和圖2，解碼器模組124可以確定與塊單元相鄰的多個模板塊。圖5A和圖5B係根據本披露的實施方式的塊單元、多個模板塊以及參考區 域的示例性實施方式的示圖。圖5A是塊單元5100、與塊單元5100相鄰的多個模板塊5101-5103以及與模板塊5101-5103相鄰的參考區域5130的示例性實施方式的示圖。在該實施方式中，參照圖4B和圖5A，相鄰區域4210可與多個模板塊5101-5103相同。模板塊5101中的第一模板塊可以係位於塊單元5100的左側的左相鄰塊，模板塊5102中的第二模板塊可以係位於塊單元5100上方的頂部相鄰塊，並且模板塊5103中的第三模板塊可以係位於塊單元5100的左上側的左上相鄰塊。頂部相鄰塊的高度可以等於沿垂直方向的頂部相鄰塊的重建樣本的數量Nbt，並且頂部相鄰塊的寬度可以等於塊單元4200的寬度。左相鄰塊的高度可以等於塊單元4200的高度，並且左相鄰塊的寬度可以等於沿水準方向的左相鄰塊的重建樣本的數量Nbl。再者，左上相鄰塊的高度可以等於頂部相鄰塊沿垂直方向的重建樣本的數量Nbt，並且左上相鄰塊的寬度可以等於左相鄰塊沿水準方向的重建樣本的數量Nbl。在一個實施方式中，數量Nbt和Nbl可為正整數。再者，數量Nbt和Nbl可以彼此相同或不同。此外，數量Nbt和Nbl可以大於或等於2。例如，數量Nbt可以等於2、3或4，並且數量Nbt可以等於2、3或4。
在一些實施方式中，解碼器模組124可將模板塊5101-5102確定為模板單元5110以生成模板預測。在另一實施方式中，解碼器模組124可以將模板塊5101-5103確定為模板單元5120以生成模板預測。解碼器模組124確定參考區域5130中的與多個模板塊5101-5103相鄰的多個模板參考。模板參考可以係在重建塊單元5100之前重建的多個參考樣本。此外，模板單元可以包括在重建塊單元5100之前重建的多個模板樣本。
塊單元5100可具有塊寬度W0和塊高度H0。第一模板塊5101可具有第一模板寬度W1和第一模板高度H0，第二模板塊5102可具有第二模板寬度W0和第二模板高度H2，並且第三模板塊5103可具有第三模板寬度W1和第三 模板高度H2。參考區域5130可具有參考寬度M和參考高度N。此外，參考寬度M可以等於2×(W0+W1)+1，並且參考高度N可以等於2×(H0+H2)+1。在實施方式中，數值W0、H0、W1、H2、M和N可以為正整數。在一個實施方式中，數值W1可等於數值H2。在另一個實施方式中，數值W1可以不同於數值H2。
圖5B是塊單元5200、與塊單元5200相鄰的多個模板塊5201-5203以及與模板塊5201-5203相鄰的參考區域5230的示例性實施方式的示意圖。模板塊5201中的第一模板塊可以係位於塊單元5200的左側的左相鄰塊，模板塊5202中的第二模板塊可以係位於塊單元5200上方的頂部相鄰塊，並且模板塊5203中的第三模板塊可以係位於塊單元5200的左上側的左上相鄰塊。在一些實施方式中，解碼器模組124可將模板塊5201-5202確定為模板單元5210以生成模板預測。在另一實施方式中，解碼器模組124可以將模板塊5201-5203確定為模板單元5220以生成模板預測。解碼器模組124確定參考區域5230中的與多個模板塊5201-5203相鄰的多個模板參考。模板參考可以係在重建塊單元5200之前重建的多個參考樣本。此外，模板單元可以包括在重建塊單元5200之前重建的多個模板樣本。
塊單元5200可具有塊寬度W0和塊高度H0。第一模板塊5201可具有第一模板寬度W1和大於塊高度H0的第一模板高度H1，第二模板塊5202可具有大於塊寬度W0的第二模板寬度W2和第二模板高度H2，並且第三模板塊5203可具有第三模板寬度W1和第三模板高度H2。參考區域5230可具有參考寬度M和參考高度N。此外，參考寬度M可以等於2×(W1+W2)+1，並且參考高度N可以等於2×(H1+H2)+1。在該實施方式中，數值W0、H0、W1、H1、W2、H2、M、N可以為正整數。在一個實施方式中，數值W1可等於數值H2。在另一個實施方式中，數值W1可以不同於數值H2。
解碼器模組124可透過使用幀內候選模式基於具有模板參考的參考區域來預測模板單元中的模板塊以生成模板預測。解碼器模組124可透過使用幀內候選模式中的一個基於模板參考來預測模板單元中的模板塊以生成模板預測中的一個。故，幀內候選模式的數量可等於模板預測的數量。例如，當幀內候選模式的數量等於6時，模板預測的數量也可等於6。
繼續參照圖3，在框350，解碼器模組124基於模板預測從多個幀內候選模式中選擇多個預測模式。
預測模式基於模板塊來選擇。參照圖1和圖2，解碼器模組124可以將模板預測與模板單元中的模板樣本進行比較。由於模板單元中的模板樣本是在重建塊單元之前被重建，因此模板樣本也在生成模板預測之前被重建。故，當模板預測被生成時，解碼器模組124將模板預測與模板單元中的重建模板樣本進行比較。
解碼器模組124可透過使用代價函數(cost function)從幀內候選模式中選擇預測模式來將模板塊的模板預測與模板單元進行比較。故，模板塊被預測以基於模板塊的模板預測來生成用於選擇預測模式的模板預測。解碼器模組124可以透過將重建的模板塊與模板預測進行比較來確定多個代價值。例如，解碼器模組124可以將重建的模板塊與透過使用幀內候選模式中的一個生成的模板預測中的一個進行比較，以生成代價值中的一個。故，由代價函數確定的每個代價值對應於透過使用幀內候選模式中的一個生成的模板預測中的一個。
代價函數可以包括但不限於絕對差和(Sum of Absolute Difference，SAD)、絕對變換差和(Sum of Absolute Transformed Difference，SATD)、平均絕對差(Mean Absolute Difference，MAD)、均方差(Mean Squared Difference，MSD)和結構相似性(Structural SIMilarity，SSIM)。應注意，在不脫離本發明的情況下，可使用任何代價函數。
解碼器模組124可基於模板預測的代價值從幀內候選模式中選擇預測模式，該模板預測的代價值係基於模板塊而生成的。當預測模式的數量等於2時，可以基於2個最低代價值選擇2個幀內預測索引。當預測模式的數量等於3時，可基於3個最低代價值選擇3個幀內預測索引。故，當預測模式的數量等於Y時，可以基於Y個最低代價值選擇Y個幀內預測索引。數量Y可以係正整數。
當選擇預測模式時，解碼器模組124可以根據基於模板塊生成的模板預測的代價值來確定多個加權參數。故，加權參數基於模板塊來確定。模板塊可被預測以基於模板塊的模板預測來生成用於選擇預測模式的模板預測。加權參數可以基於代價值來確定，並且代價值是透過分別將模板塊與模板預測中的每一個進行比較來確定的。
解碼器模組124可比較預測模式的代價值以確定加權參數。例如，當預測模式的數量等於2時，可以基於以下函數確定兩個預測模式的加權參數：
Figure 111123771-A0305-02-0023-5
其中，數值w 1、w 2為預測模式的加權參數，C 1和C 2為預測模式的代價值。
解碼器模組124可以透過使用預測模式和加權參數，基於塊單元的參考線來預測塊單元。解碼器模組124可以基於預測模式來預測塊單元以生成多個預測塊。預測塊中的每一個對應於預測模式中的一個，因此預測塊中的每一個還對應於加權參數中的一個。解碼器模組124可以透過預測塊和加權參數加權地組合預測塊以生成塊單元的預測塊。
Figure 111123771-A0305-02-0023-6
參照圖1和圖2，解碼器模組124可以透過多個加權參數直接加權組合模板預測。加權參數可基於HoG來確定。例如，加權參數可基於HoG中模板塊的累計幅度來確定。故，多個加權參數基於多個模板塊來確定。例如，當 組合的模板預測的數量等於3時，可基於以下函數來確定三個幀內候選模式的加權參數：其中，數值w 1、w 2、w 3為基於模板塊選擇的幀內候選模式的加權參數，A 1、A 2和A 3為基於模板塊選擇的幀內候選模式的累計幅度。在實施方式中，該加權參數w i 可以等於
Figure 111123771-A0305-02-0024-9
，並且數值p可以等於組合的模板預測的數量。
當幀內候選模式的數量等於3時，解碼器模組124可基於3個幀內候選模式生成塊單元的多個中間預測。可存在3個中間預測，每個中間預測透過使用幀內候選模式中的2個來生成。再者，1個中間預測可透過使用3個幀內候選模式來生成。當幀內候選模式的數量等於Y時，中間預測的數量NI可以小於或等於
Figure 111123771-A0305-02-0024-11
+
Figure 111123771-A0305-02-0024-12
+…+
Figure 111123771-A0305-02-0024-13
。例如，當數量Y等於2時，數量NI等於1。當數量Y等於3時，數量NI可以小於或等於4。此外，當數量Y等於4時，數量NI可以小於或等於11。例如，當Y的數量等於3並且解碼器模組124選擇兩個幀內候選模式來生成每個中間預測時，數量NI可等於3。在一個實施方式中，函數
Figure 111123771-A0305-02-0024-14
表示Y個元素的m個組合的數量，數量NI是大於或等於1的正整數，並且數量m是大於或等於2的正整數。
當中間預測透過使用Y個幀內候選模式中的m個來生成時，加權參數可基於m個幀內候選模式的累計幅度來確定。例如，數量Y等於4，並且數量m等於2。然後，兩個加權參數可僅基於用於生成中間預測中的一個的兩個幀內候選模式的兩個累計幅度來確定。例如，兩個加權參數可以等於A 1/(A 1+A 2)和A 2/(A 1+A 2)。
解碼器模組124可以透過使用代價函數將中間預測與模板單元進行比較以從中間預測中選擇預測塊。解碼器模組124可以透過將重建模板塊與中間預測進行比較來確定多個代價值。例如，解碼器模組124可以將重建模板塊與中間預測中的一個進行比較，以生成代價值中的一個。故，由代價函數確定 的代價值中的每一個對應於透過使用幀內候選模式中的至少2個生成的中間預測中的一個。
代價函數可以包括但不限於絕對差和SAD、絕對變換差和SATD、平均絕對差MAD、均方差MSD和結構相似性SSIM。應注意，在不脫離本發明的情況下，可使用任何代價函數。
解碼器模組124可以根據基於模板塊生成的中間預測的代價值來從中間預測中選擇預測塊。解碼器模組124可以選擇具有最低代價值的中間預測中的特定一個作為預測塊。故，用於生成特定中間預測的幀內候選模式可被視為預測模式。
返回至圖3，在框360，解碼器模組124基於多個預測模式重建塊單元。
進一步參照圖1和圖2，解碼器模組124可以從塊單元的位元流確定多個殘餘分量，並且將殘餘分量添加到預測塊中以重建塊單元。解碼器模組124可以重建圖像幀中的所有其他塊單元，以便重建圖像幀和視訊。
圖6示出了根據本披露的示例性實施方式的在圖1中示出的第一電子裝置110的編碼器模組114的框圖。編碼器模組114可包括預測處理器(例如，預測處理單元6141)、至少第一求和器(例如，第一求和器6142)和第二求和器(例如，第二求和器6145)、變換/量化處理器(例如，變換/量化單元6143)、逆量化/逆變換處理器(例如，逆量化/逆變換單元6144)、濾波器(例如，濾波單元6146)、經解碼圖片緩衝器(例如，經解碼圖片緩衝器6147)和熵編碼器(例如，熵編碼單元6148)。編碼器模組114的預測處理單元6141可以進一步包括分割處理器(例如，分割單元61411)、幀內預測處理器(例如，幀內預測單元61412)、以及幀間預測處理器(例如，幀間預測單元61413)。
編碼器模組114可以接收源視訊並且對源視訊進行編碼以輸出位元流。編碼器模組114可以接收包括多個圖像幀的源視訊，然後根據編碼結構來劃分圖像幀。每個圖像幀可以被劃分成至少一個圖像塊。
至少一個圖像塊可包括具有多個亮度樣本的亮度塊和具有多個色度樣本的至少一個色度塊。該亮度塊和至少一個色度塊可以被進一步劃分以生成巨集塊、編碼樹單元CTU、編碼塊CB、其子分割和/或另一等效的編碼單元。
編碼器模組114可以執行源視訊的額外子分割。應注意，所披露的實施方式總體上可應用於視訊編碼，而不管在編碼之前和/或期間源視訊是如何分割的。
在編碼過程期間，預測處理單元6141可接收圖像幀中的特定一個圖像幀的當前圖像塊。當前圖像塊可以係特定圖像幀中的亮度塊或色度塊之一。
分割單元61411可將當前圖像塊劃分為多個塊單元。幀內預測單元61412可相對於與當前塊單元相同的幀中的一個或多個相鄰塊執行當前塊單元的幀內預測編碼，以便提供空間預測。幀間預測單元61413可相對於一個或多個參考圖像塊中的一個或多個塊執行當前塊單元的幀間預測編碼，以提供時間預測。
預測處理單元6141可基於模式選擇方法(例如，代價函數)選擇由幀內預測單元61412和幀間預測單元61413生成的編碼結果中的一個。模式選擇方法可以係率失真優化(Rate-distortion optimization，RDO)過程。
預測處理單元6141可確定選擇的編碼結果且將對應於選擇的編碼結果的預測塊提供到第一求和器6142以用於生成殘餘塊，且提供到第二求和器6145以用於重建經編碼的塊單元。預測處理單元6141可進一步將諸如運動向量、幀內模式指示符、分割資訊和其他語法資訊的語法元素提供到熵編碼單元6148。
幀內預測單元61412可對當前塊單元進行幀內預測。幀內預測單元61412可以確定針對與當前塊單元相鄰的重建樣本的幀內預測模式，以便對當前塊單元進行編碼。
幀內預測單元61412可使用各種幀內預測模式對當前塊單元進行編碼。預測處理單元6141的幀內預測單元61412可從所選擇的模式中選擇適當的幀內預測模式。幀內預測單元61412可使用跨分量預測模式對當前塊單元進行編碼，以基於當前塊單元的亮度分量來預測當前塊單元的兩個色度分量中的一個。幀內預測單元61412可基於當前塊單元的兩個色度分量中的第二個來預測當前塊單元的兩個色度分量中的第一個。
作為由幀內預測單元61412執行的幀內預測的替代方案，幀間預測單元61413可對當前塊單元進行幀間預測。幀間預測單元61413可執行運動估計以估計用於生成運動向量的當前塊單元的運動。
運動向量可指示當前圖像塊內的當前塊單元相對於參考圖像塊內的參考塊單元的位移。幀間預測單元61413可接收存儲在經解碼圖片緩衝器6147中的至少一個參考圖像塊，且基於接收到的參考圖像塊來估計運動以生成運動向量。
第一求和器6142可透過從原始當前塊單元減去由預測處理單元6141確定的預測塊來生成殘餘塊。第一求和器6142可表示執行該減法的一個或多個元件。
變換/量化單元6143可將變換應用於殘餘塊以便生成殘餘變換係數，且接著量化該殘餘變換係數以進一步減小位元速率。變換可以係DCT、DST、AMT、MDNSST、HyGT、信號相關變換、KLT、小波變換、整數變換、子帶變換或概念上類似的變換中的一種。
該變換可將殘餘資訊從圖元值域轉換到變換域，例如頻域。可透過調整量化參數來修改量化程度。
變換/量化單元6143可執行包括經量化的變換係數的矩陣的掃描。可替代地，熵編碼單元6148可執行掃描。
熵編碼單元6148可從預測處理單元6141和變換/量化單元6143接收包括量化參數、變換資料、運動向量、幀內模式、分割資訊和其他語法資訊的多個語法元素。熵編碼單元6148可將語法元素編碼成位元流。
熵編碼單元6148可透過執行CAVLC、CABAC、SBAC、PIPE編碼或另一熵編碼技術來對經量化變換係數進行熵編碼以生成經編碼的位元流。經編碼的位元流可以被傳輸到另一個裝置(即，圖1中的第二電子裝置120)或者被存檔以用於之後的傳輸或者檢索。
逆量化/逆變換單元6144可應用逆量化和逆變換來重建圖元域中的殘餘塊以供之後用作參考塊。第二求和器6145可將重建的殘餘塊添加到從預測處理單元6141提供的預測塊，以便生成用於存儲在經解碼圖片緩衝器6147中的重建的塊。
濾波單元6146可包括解塊濾波器、SAO濾波器、雙邊濾波器和/或ALF，以從重建塊移除塊假影。除瞭解塊濾波器、SAO濾波器、雙邊濾波器和ALF之外，可使用額外濾波器(環路內或環路後)。為了簡潔起見，未說明這些濾波器，且可對第二求和器6145的輸出進行濾波。
經解碼圖片緩衝器6147可以係參考圖片記憶體，其存儲供編碼器模組614用於以諸如幀內或幀間編碼模式來編碼視訊的參考塊。經解碼圖片緩衝器6147可包括多種記憶體裝置，諸如DRAM(例如包括SDRAM、MRAM、RRAM)或其他類型的記憶體裝置。經解碼圖片緩衝器6147可與編碼器模組114的其他元件一起在晶片上，或相對於那些元件在晶片外。
編碼器模組114可以接收視訊資料，並且透過使用方法300使用多個幀內預設模式來預測視訊資料中的多個圖像幀。視訊資料可以係待編碼的視訊。編碼器模組114可以根據視訊資料從圖像幀中的一個來確定塊單元。
編碼器模組114可從用於塊單元的幀內預設模式中選擇多個幀內候選模式。幀內候選模式可以係基於用於塊單元的多個相鄰區域的至少一個重建模式而被確定的多個最可能模式(MPM)。幀內候選模式可基於透過多個模板角度和根據多個相鄰區域推導出的多個模板幅度生成的梯度長條圖(HoG)來選擇。
編碼器模組114可生成針對每個幀內候選模式的模板預測。可透過使用每個幀內候選模式，基於參考區域來預測與塊單元相鄰的模板單元。模板預測的數量可等於幀內候選模式的數量。
編碼器模組114可基於模板預測從幀內候選模式中選擇多個預測模式。模板預測可透過用於選擇預測模式的代價函數與模板單元中的多個重建樣本相比較。在另一實施方式中，模板預測可被直接加權組合以生成多個組合的模板預測。組合的模板預測可以透過用於選擇預測模式的代價函數與模板單元中的重建樣本相比較。
編碼器模組114可以基於預測模式確定預測塊，並且將塊單元中的多個圖元元素與預測塊進行比較以確定多個殘餘值。編碼器模組114可以將殘餘值編碼成位元流，用於發送給第二電子裝置120。此外，為了進一步對圖像幀中的其他塊和其他圖像幀進行編碼，編碼器模組114可以基於預測塊和殘餘值進一步重建塊單元。故，編碼器模組114還可以使用幀內預設模式來透過使用方法300來預測視訊資料中的圖像幀。
所披露的實施方式在所有方面都應被認為是說明性的而非限制性的。還應當理解的是，雖然本披露不限於具體披露的實施方式，但在不脫離本披露的範圍的情況下，許多重排、修改和替換是可能的。
300:方法
310、320、330、340、350、360:动作

Claims (20)

  1. 一種透過電子裝置對位元流進行解碼的方法，所述方法包括：接收所述位元流；根據所述位元流從圖像幀確定塊單元；從用於所述塊單元的多個幀內預設模式中選擇多個幀內候選模式；針對所述多個幀內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式來重建所述塊單元。
  2. 如請求項1所述之方法，進一步包括：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊，以生成所述模板預測。
  3. 如請求項2所述之方法，進一步包括：透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值，其中還基於所述多個代價值選擇所述多個預測模式。
  4. 如請求項3所述之方法，其中，由代價函數確定的所述多個代價值中的每一個對應於所述模板預測中的一個。
  5. 如請求項2所述之方法，其中，所述多個模板塊包括頂部相鄰塊和左相鄰塊，且每一個與所述塊單元相鄰。
  6. 如請求項1所述之方法，進一步包括： 基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；以及加權地組合所述多個預測塊以生成具有多個加權參數的預測塊，其中還基於所述預測塊來重建所述塊單元。
  7. 如請求項6所述之方法，其中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
  8. 如請求項7所述之方法，其中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
  9. 如請求項1所述之方法，其中，所述多個幀內候選模式是從所述多個幀內預設模式中選擇的多個最可能模式MPM。
  10. 如請求項1所述之方法，進一步包括：確定與所述塊單元相鄰的多個模板區域；透過使用梯度濾波器對所述多個模板區域進行濾波，以用於生成多個模板角度和多個模板幅度，其中所述多個模板角度中的每一個對應於所述多個模板幅度中的一個；以及基於所述多個模板角度和所述多個模板幅度來生成梯度長條圖HoG，以用於選擇所述多個幀內候選模式。
  11. 如請求項10所述之方法，進一步包括： 基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的多個模板幅度，從所述多個幀內預設模式中選擇所述多個幀內候選模式。
  12. 一種用於對位元流進行解碼的電子裝置，所述電子裝置包括：至少一個處理器；以及至少一個記憶體，耦接至所述至少一個處理器並且存儲多個指令，當所述多個指令由所述至少一個處理器執行時，使所述電子裝置：接收所述位元流；根據所述位元流從圖像幀確定塊單元；從用於所述塊單元的多個幀內預設模式中選擇多個幀內候選模式；針對所述多個幀內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式來重建所述塊單元。
  13. 如請求項12所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊，以生成所述模板預測。
  14. 如請求項13所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置： 透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值，其中還基於所述多個代價值選擇所述多個預測模式。
  15. 如請求項12所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；以及加權地組合所述多個預測塊以生成具有多個加權參數的預測塊，其中還基於所述預測塊來重建所述塊單元。
  16. 如請求項15所述之電子裝置，其中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
  17. 如請求項16所述之電子裝置，其中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
  18. 如請求項12所述之電子裝置，其中，所述多個幀內候選模式是從所述多個幀內預設模式中選擇的多個最可能模式MPM。
  19. 如請求項12所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：確定與所述塊單元相鄰的多個模板區域； 透過使用梯度濾波器對所述多個模板區域進行濾波，以用於生成多個模板角度和多個模板幅度，其中所述多個模板角度中的每一個對應於所述多個模板幅度中的一個；以及基於所述多個模板角度和所述多個模板幅度來生成梯度長條圖HoG，以用於選擇所述多個幀內候選模式。
  20. 如請求項19所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的多個模板幅度，從所述多個幀內預設模式中選擇所述多個幀內候選模式。
TW111123771A 2021-06-29 2022-06-24 用於編碼視訊資料的裝置和方法 TWI829210B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163216191P 2021-06-29 2021-06-29
US63/216191 2021-06-29

Publications (2)

Publication Number Publication Date
TW202308380A TW202308380A (zh) 2023-02-16
TWI829210B true TWI829210B (zh) 2024-01-11

Family

ID=82308518

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111123771A TWI829210B (zh) 2021-06-29 2022-06-24 用於編碼視訊資料的裝置和方法

Country Status (4)

Country Link
US (1) US20220417501A1 (zh)
EP (1) EP4117285A1 (zh)
CN (1) CN115550643A (zh)
TW (1) TWI829210B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024152384A1 (zh) * 2023-01-20 2024-07-25 Oppo广东移动通信有限公司 编解码方法及装置、编解码器、码流、存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
WO2022256825A1 (en) * 2021-06-03 2022-12-08 Qualcomm Incorporated Derived intra prediction modes and most probable modes in video coding
US20220417511A1 (en) * 2021-06-27 2022-12-29 Alibaba Singapore Holding Private Limited Methods and systems for performing combined inter and intra prediction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Bytedance Inc. "EE2-related: Template-based intra mode derivation using MPMs" Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29 20–28 Apr. 2021 https://jvet-experts.org/doc_end_user/documents/22_Teleconference/wg11/JVET-V0098-v2.zip

Also Published As

Publication number Publication date
US20220417501A1 (en) 2022-12-29
EP4117285A1 (en) 2023-01-11
CN115550643A (zh) 2022-12-30
TW202308380A (zh) 2023-02-16

Similar Documents

Publication Publication Date Title
KR102585855B1 (ko) 비디오 데이터를 코딩하기 위한 디바이스 및 방법
WO2019210840A1 (en) Device and method for coding video data based on different reference sets in linear model prediction
CN111316640B (zh) 基于调整的帧内模式列表以编码视频数据的设备及方法
US10924733B2 (en) Device and method for coding video data based on mode list including different mode groups
US20240089432A1 (en) Device and method for coding video data for geometric partitioning mode
US11425374B2 (en) Device and method for coding video data
TWI829210B (zh) 用於編碼視訊資料的裝置和方法
TWI807882B (zh) 用於編碼視訊資料的裝置和方法
US20200036991A1 (en) Device and method for coding video data with block sub-partition and reference sample selection
JP7345573B2 (ja) 動画像データをコーディングする装置及び方法
WO2023036341A1 (en) Device and method for intra predictions in video coding
WO2022268207A1 (en) Device and method for partitioning blocks in video coding
US20240305771A1 (en) Device and method for decoding video data