TWI807882B - 用於編碼視訊資料的裝置和方法 - Google Patents

用於編碼視訊資料的裝置和方法 Download PDF

Info

Publication number
TWI807882B
TWI807882B TW111123772A TW111123772A TWI807882B TW I807882 B TWI807882 B TW I807882B TW 111123772 A TW111123772 A TW 111123772A TW 111123772 A TW111123772 A TW 111123772A TW I807882 B TWI807882 B TW I807882B
Authority
TW
Taiwan
Prior art keywords
template
prediction
intra
modes
block
Prior art date
Application number
TW111123772A
Other languages
English (en)
Other versions
TW202310627A (zh
Inventor
鄧智友
楊雨樵
Original Assignee
香港商鴻穎創新有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商鴻穎創新有限公司 filed Critical 香港商鴻穎創新有限公司
Publication of TW202310627A publication Critical patent/TW202310627A/zh
Application granted granted Critical
Publication of TWI807882B publication Critical patent/TWI807882B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供了一種透過電子裝置解碼視訊資料的方法。所述電子裝置接收所 述視訊資料，並且根據所述視訊資料從圖像幀確定塊單元和與所述塊單元相鄰的多個相鄰區域。再者，所述電子裝置基於所述相鄰區域從多個幀內預設模式中選擇多個幀內候選模式，且針對所述多個幀內候選模式中的每一個生成模板預測。所述電子裝置還基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式且基於所述多個預測模式重建所述塊單元。

Description

用於編碼視訊資料的裝置和方法
本揭露總體上涉及視訊編碼，尤其涉及在基於模板的幀內模式推導(Template-based intra mode derivation，TIMD)中使用模板預測的技術。
基於模板的幀內模式推導TIMD係用於視訊編碼的編碼工具。在常規視訊編碼方法中，編碼器和解碼器可使用與目標塊相鄰的先前經重建的樣本來生成用於預測目標塊的多個幀內預設模式中的一者。
然而，針對目標塊的TIMD預測僅基於透過使用模板預測而選擇的一個預測模式來確定，故當TIMD被用於預測目標塊時，編碼效率可能不夠高。故，編碼器和解碼器可能需要新的TIMD以更精確地預測或重建目標塊。
本揭露涉及一種用於透過使用TIMD中的模板預測來預測圖像幀中的塊單元的裝置和方法。
在本揭露的第一方面中，提供了一種用於對視訊資料進行解碼的方法和用於執行所述方法的電子裝置。所述方法包括：接收所述視訊資料；根據所述視訊資料從圖像幀確定塊單元和與所述塊單元相鄰的多個相鄰區域；基於所述相鄰區域從多個幀內預設模式中選擇多個幀內候選模式；針對所述多個幀 內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式重建所述塊單元。
第一方面的實施方式進一步包括：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊，以生成所述模板預測。
第一方面的實施方式進一步包括：透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值，其中還基於所述多個代價值選擇所述多個預測模式。
在第一方面的另一實施方式中，由代價函數確定的所述多個代價值中的每一個對應於所述模板預測中的一個。
在第一方面的另一實施方式中，所述多個模板塊包括頂部相鄰塊和左相鄰塊，且每一個與所述塊單元相鄰。
第一方面的實施方式進一步包括：基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；加權地組合所述多個預測塊以生成具有多個加權參數的預測塊，其中，還基於所述預測塊來重建所述塊單元。
在第一方面的另一實施方式中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
在第一方面的另一實施方式中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
在第一方面的另一實施方式中，所述多個相鄰區域係與所述塊單元相鄰的多個重建塊；在重建所述塊單元之前，基於至少一個重建模式來重建所述多個重建塊；以及所述多個幀內候選模式係基於所述至少一個重建模式從所述多個幀內預設模式中選擇的多個最可能模式(most probable mode，MPM)。
第一方面的實施方式進一步包括：透過使用梯度濾波器對所述多個相鄰區域進行濾波，以生成多個模板角度和多個模板幅度，其中所述多個模板角度中的每一個對應於所述多個模板幅度中的一個；以及基於所述多個模板角度和所述多個模板幅度來生成梯度長條圖HoG，以選擇所述多個幀內候選模式。
第一方面的實施方式進一步包括：基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的多個模板幅度，從所述多個幀內預設模式中選擇所述多個幀內候選模式。
在本揭露的第二方面中，提供了一種用於解碼視訊資料的方法和用於執行所述方法的電子裝置。所述方法包括：接收所述視訊資料；根據所述視訊資料從圖像幀確定塊單元；從用於所述塊單元的多個幀內預設模式中選擇多個幀內候選模式；針對所述多個幀內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式來重建所述塊單元。
第二方面的實施方式進一步包括：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊，以生成所述模板預測。
第二方面的實施方式進一步包括：透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值；以及基於所述多個代價值選擇所述多個預測模式。
在第二方面的另一實施方式中，由代價函數確定的所述多個代價值中的每一個對應於所述模板預測中的一個。
在第二方面的另一實施方式中，所述多個模板塊包括頂部相鄰塊和左相鄰塊，且每一個與所述塊單元相鄰。
第二方面的實施方式進一步包括：基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；加權地組合所述多個預測塊以生成具有多個加權參數的預測塊；以及基於所述預測塊來重建所述塊單元。
在第二方面的另一實施方式中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
在第二方面的另一實施方式中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
在第二方面的另一實施方式中，所述多個幀內候選模式是從所述多個幀內預設模式中選擇的多個最可能模式MPM。
第二方面的實施方式進一步包括：確定與所述塊單元相鄰的多個模板區域；透過使用梯度濾波器對所述多個模板區域進行濾波，以用於生成多個模板角度和多個模板幅度，其中所述多個模板角度中的每一個對應於所述多個模板幅度中的一個；以及基於所述多個模板角度和所述多個模板幅度來生成梯度長條圖HoG，以選擇所述多個幀內候選模式。
第二方面的實施方式進一步包括：基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的幅度，從所述多個幀內預設模式中選擇所述多個幀內候選模式。
從以下詳細揭露和對應的附圖可最好地理解本揭露的各方面。不同特徵不是按比例繪製的，並且為了討論清楚起見，可任意增大或減小各種特徵的大小。
圖1示出了根據本揭露的實施方式的配置為對視訊資料進行編碼和解碼的系統的框圖。
圖2示出了根據本揭露的實施方式的在圖1中示出的第二電子裝置的解碼器模組的框圖。
圖3示出了根據本揭露的實施方式的用於透過電子裝置來解碼視訊資料的方法的流程圖。
圖4A和圖4B係根據本揭露的實施方式的塊單元的相鄰區域的示例性實施方式的示圖。
圖5A和圖5B係根據本揭露的實施方式的塊單元、多個模板塊以及參考區域的示例性實施方式的示圖。
圖6示出了根據本揭露的實施方式的用於透過電子裝置來解碼視訊資料的方法的流程圖。
圖7示出了根據本揭露的實施方式的用於透過電子裝置來解碼視訊資料的方法的流程圖。
圖8A、圖8B和圖8C係根據本揭露的實施方式的塊單元的相鄰區域的示例性實施方式的示圖。
圖9示出了根據本揭露的實施方式的在圖1中示出的第一電子裝置的編碼器模組的框圖。
以下揭露包括與本揭露中的實施方式相關的具體資訊。附圖和相應的詳細揭露針對示例性實施方式。然而，本揭露並不僅限於這些示例性實施方式。本領域技術人員將想到本揭露的其他變形和實施方式。
除非另有說明，否則附圖中相同或相應的元件可由相同或相應的參考指示符來表示。附圖和說明通常未按比例繪製，並且不旨在對應於實際相對尺寸。
出於一致性和易於理解的目的，相似的特徵在示例性附圖中由參考指示符標識(但在一些示例中未示出)。然而，不同實施方式中的特徵可在其他方面有所不同，並且不應狹窄地局限於附圖中所示的內容。
本揭露使用的短語“在一個實施方式中，”或“在一些實施方式中，”可各自指代相同或不同實施方式中的一者或多者。術語“耦合”被定義為連接，不論是直接連接還是透過中間部件間接連接，並且不一定限於物理連接。術語“包括”意指“包括但不一定限於”；其具體指示在如此描述的組合、組、系列和等效物中的開放式包括或成員身份。
出於解釋和非限制的目的，闡述了諸如功能實體、技術、協定和標準等具體細節以提供對所揭露技術的理解。省略了對公知的方法、技術、系統和架構的詳細揭露，以免不必要的細節使揭露不清楚。
本領域技術人員將認識到在本揭露描述的任何編碼功能或演算法可由硬體、軟體或軟體和硬體的組合來實施。所描述的功能可對應於模組，這些模組是軟體、硬體、固件或其任何組合。
軟體實施方式可包括程式，該程式具有存儲在諸如記憶體或其他類型的存儲裝置的電腦可讀介質上的電腦可執行指令。例如，具有通信處理能力的一個或多個微處理器或通用電腦可使用可執行指令予以程式設計，並執行所描述的功能或演算法。
這些微處理器或通用電腦可由專用積體電路(Applications Specific Integrated Circuitry，ASIC)、可程式設計邏輯陣列和/或使用一個或多個數位訊號處理器(Digital Signal Processor，DSP)形成。雖然揭露的若干實施方式是面向在電腦硬體上安裝和執行的軟體，但是作為固件或硬體或硬體與軟體的組合實施的替代實施方式也完全在本揭露的範圍內。電腦可讀介質包括但不限於隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、可擦除可程式設計唯讀記憶體(Erasable Programmable Read-Only Memory，EPROM)、電可擦除可程式設計唯讀記憶體(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快閃記憶體、光碟唯讀記憶體(Compact Disc Read-Only Memory，CD-ROM)、盒式磁帶、磁帶、磁碟記憶體或能夠存儲電腦可讀指令的任何其他等效介質。
圖1示出了根據本揭露的實施方式的配置為對視訊資料進行編碼和解碼的系統100的框圖。系統100包括第一電子裝置110、第二電子裝置120和通信介質130。
第一電子裝置110可為源裝置，其包括配置為編碼視訊資料且將經編碼的視訊資料傳輸到通信介質130的任何裝置。第二電子裝置120可為目的地 裝置，其包括配置為經由通信介質130接收經編碼的視訊資料且解碼經編碼的視訊資料的任何裝置。
第一電子裝置110可經由通信介質130與第二電子裝置120有線或無線地通信。第一電子裝置110可包括源模組112、編碼器模組114和第一介面116。第二電子裝置120可包括顯示模組122、解碼器模組124和第二介面126。第一電子裝置110可以係視訊轉碼器，並且第二電子裝置120可以係視訊解碼器。
第一電子裝置110和/或第二電子裝置120可為行動電話、平板電腦、桌上型電腦、筆記本或其他電子裝置。圖1示出了第一電子裝置110和第二電子裝置120的一個示例。第一電子裝置110和第二電子裝置120可包括比圖示更多或更少的元件，或具有各種圖示的元件的不同配置。
源模組112可包括用以捕捉新視訊的視訊捕捉裝置、用以存儲先前捕捉到的視訊的視訊存檔和/或用以從視訊內容提供者接收視訊的視訊饋送介面。源模組112可生成基於電腦圖形的資料作為源視訊，或生成即時視訊、存檔視訊和電腦生成的視訊的組合作為源視訊。視訊捕捉裝置可為電荷耦合裝置(Charge-Coupled Device，CCD)圖像感測器、互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，CMOS)圖像感測器或相機。
編碼器模組114和解碼器模組124可以各自被實現為各種合適的編碼器/解碼器電路中的任何一種，諸如一個或多個微處理器、中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing Unit，GPU)、片上系統(System on Chip，SoC)、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)、離散邏輯、軟體、硬體、固件或其任意組合。當部分地以軟體實施時，裝置可將具有用於軟體的指令的程式存儲在合適的非暫時性電腦可讀介質中，且使用一或多個處理器執 行硬體中的指令以執行所揭露的方法。編碼器模組114和解碼器模組124的每一者可被包括於一個或多個編碼器或解碼器中，編碼器或解碼器中的任一者可被集成為裝置中的組合編碼器/解碼器(CODEC)的一部分。
第一介面116和第二介面126可以利用訂製的協議或遵循現有標準或實際標準，包括但不限於乙太網、IEEE 802.11或IEEE 802.15系列、無線USB或電信標準，包括但不限於全球移動通信系統(Global System for Mobile Communication，GSM)、碼分多址2000(Code Division Multiple Access 2000，CDMA)、時分同步碼分多址(Time Division Synchronous Code Division Multiple Access，TD-SCDMA)、全球微波互聯接入(Worldwide Interoperability for Microwave Access，WiMAX)、第三代合作夥伴計畫長期演進(Third Generation Partnership Project Long-Term Evolution，3GPP-LTE)或時分LTE(Time-Division LTE，TD-LTE)。第一介面116和第二介面126可各自包括配置為經由通信介質130傳輸和/或存儲相容視訊位元流和經由通信介質130接收相容視訊位元流的任何裝置。
第一介面116和第二介面126可以包括電腦系統介面，該電腦系統介面使得相容視訊位元流能夠被存儲在存儲裝置上或者從存儲裝置接收。例如，第一介面116和第二介面126可包括支援周邊元件連接(Peripheral Component Interconnect，PCI)和高速周邊元件連接(Peripheral Component Interconnect Express，PCIe)匯流排協定、專有匯流排協定、通用序列匯流排(Universal Serial Bus，USB)協議、積體電路(Inter-Integrated Circuit，I2C)協定或可用於互連對等裝置的任何其他邏輯和物理結構的晶片組。
顯示模組122可包括使用液晶顯示器(Liquid Crystal Display，LCD)技術、等離子體顯示技術、有機發光二極體(Organic Light Emitting Diode，OLED)顯示技術或發光聚合物顯示器(Light Emitting Polymer Display，LPD)技術的顯 示器，以及在其他實施方式中使用的其他顯示技術。顯示模組122可包括高清晰度顯示器或超高清晰度顯示器。
圖2示出了根據本揭露的實施方式的在圖1中示出的第二電子裝置120的解碼器模組124的框圖。解碼器模組124包括熵解碼器(例如，熵解碼單元2241)、預測處理器(例如，預測處理單元2242)、逆量化/逆變換處理器(例如，逆量化/逆變換單元2243)、求和器(例如，求和器2244)、濾波器(例如，濾波單元2245)和經解碼圖片緩衝器(例如，經解碼圖片緩衝器2246)。預測處理單元2242進一步包括幀內預測處理器(例如，幀內預測單元22421)和幀間預測處理器(例如，幀間預測單元22422)。解碼器模組124接收位元流並對該位元流進行解碼以輸出解碼的視訊。
熵解碼單元2241可以從圖1中的第二介面126接收包括多個語法元素的位元流，並且對位元流執行解析操作以從位元流提取語法元素。作為解析操作的一部分，熵解碼單元2241可以對位元流進行熵解碼以生成經量化的變換係數、量化參數、變換資料、運動向量、幀內模式、分割資訊以及其他語法資訊。
熵解碼單元2241可執行上下文自我調整可變長度編碼(Context Adaptive Variable Length Coding，CAVLC)、上下文自我調整二進位算術編碼(Context Adaptive Vinary Arithmetic Coding，CABAC)、基於語法的上下文自我調整二進位算術編碼(Syntax-based Context-adaptive Binary Arithmetic coding，SBAC)、概率區間分割熵(Probability Interval Partitioning Entropy，PIPE)編碼或另一熵編碼技術以生成量化的變換係數。熵解碼單元2241可以將經量化的變換係數、量化參數和變換資料提供給逆量化/逆變換單元2243，並且將運動向量、幀內模式、分割資訊和其他語法資訊提供給預測處理單元2242。
預測處理單元2242可從熵解碼單元2241接收語法元素，例如運動向量、幀內模式、分割資訊和其他語法資訊。預測處理單元2242可接收包括分割資訊的語法元素，並且根據分割資訊劃分圖像幀。
根據分割資訊，每個圖像幀可以被劃分成至少一個圖像塊。該至少一個圖像塊可包括用於重建多個亮度樣本的亮度塊以及用於重建多個色度樣本的至少一個色度塊。該亮度塊和至少一個色度塊可以被進一步劃分以生成巨集塊、編碼樹單元(Coding Tree Unit，CTU)、編碼塊(Coding Block，CB)、其子分割和/或另一等效的編碼單元。
在解碼處理期間，預測處理單元2242可以接收所預測的資料，該資料包括圖像幀中的特定一個圖像幀的當前圖像塊的幀內模式或運動向量。當前圖像塊可以係特定圖像幀中的亮度塊或色度塊之一。
幀內預測單元22421可基於與幀內模式相關的語法元素，針對與當前塊單元相同的幀中的一個或多個相鄰塊執行當前塊單元的幀內預測編碼，以便生成預測塊。幀內模式可指定選自當前幀內的相鄰塊的參考樣本的位置。當色度分量由預測處理單元2242重建時，幀內預測單元22421可以基於當前塊單元的多個亮度分量來重建當前塊單元的多個色度分量。
在當前塊的亮度分量由預測處理單元2242重建時，幀內預測單元22421可以基於當前塊單元的多個亮度分量來重建當前塊單元的多個色度分量。
幀間預測單元22422可基於與運動向量相關的語法元素對一個或多個參照圖像塊中的一個或多個塊執行當前塊單元的幀間預測編碼，以便生成預測塊。運動向量可指示當前圖像塊內的當前塊單元相對於參照圖像塊內的參考塊單元的位移。參考塊單元是被確定為與當前塊單元緊密匹配的塊。幀間預測 單元22422可以接收存儲在經解碼圖片緩衝器2246中的參照圖像塊，並且基於接收到的參照圖像塊重建當前塊單元。
逆量化/逆變換單元2243可應用逆量化和逆變換以在圖元域中重建殘餘塊。逆量化/逆變換單元2243可將逆量化應用於殘餘經量化的變換係數以生成殘餘變換係數，且接著將逆變換應用於殘餘變換係數以生成圖元域中的殘餘塊。
逆變換可透過變換過程(例如，離散余弦變換(discrete cosine transform，DCT)、離散正弦變換(discrete sine transform，DST)、自我調整多重變換(adaptive multiple transform，AMT)、模式相關的不可分離二次變換(mode-dependent non-separable secondary transform，MDNSST)、超立方體歸根變換(Hypercube-Givens transform，HyGT)、信號相關變換、卡洛南-洛維變換(Karhunen-Loéve transform，KLT)、小波變換、整數變換、子帶變換或概念上類似的變換)來反向應用。逆變換可將殘餘資訊從變換域(例如，頻域)轉換回到圖元域。逆量化的程度可透過調整量化參數來修改。
求和器2244將經重建的殘餘塊添加到從預測處理單元2242提供的預測塊中，以生成重建塊。
濾波單元2245可以包括解塊濾波器、樣本自我調整偏移(sample adaptive offset，SAO)濾波器、雙邊濾波器和/或自我調整環路濾波器(adaptive loop filter，ALF)，以將塊效應從重建塊中去除。除瞭解塊濾波器、SAO濾波器、雙邊濾波器和ALF之外，還可使用額外濾波器(環路內或環路後)。為了簡潔起見，這些濾波器未明確說明，但可對求和器2244的輸出進行濾波。濾波單元2245可以在濾波單元2245對特定圖像幀的重建塊進行濾波處理之後，將解碼後的視訊輸出到顯示模組122或其他視訊接收單元。
經解碼圖片緩衝器2246可以係參照圖片記憶體，其存儲供預測處理單元2242用於對位元流(以幀間編碼模式)進行解碼的參考塊。經解碼圖片緩衝器2246可由多種記憶體裝置中的任一者形成，例如動態隨機存取記憶體(Dynamic Random-access Memory，DRAM)，包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magneto-resistive RAM，MRAM)、電阻RAM(resistive RAM，RRAM)，或其他類型的記憶體裝置。經解碼圖片緩衝器2246可與解碼器模組124的其他元件一起在晶片上，或相對於那些元件在晶片外。
圖3示出了根據本揭露的實施方式的用於透過電子裝置來解碼視訊資料的方法300的流程圖。方法300僅是示例，因為存在執行視訊資料的解碼的各種方式。
方法300可以使用在圖1和圖2中示出的配置來執行，並且關於方法300參考這些圖的各種元件。在圖3中示出的每個框可以表示執行的一個或多個處理、方法、或者子常式。
圖3中的框的順序僅是說明性的並且可以改變。在不脫離本揭露的情況下，可以添加額外的框或者可以使用更少的框。
在框310，解碼器模組124接收視訊資料。透過解碼器模組124接收到的視訊資料可以係位元流。
參照圖1和圖2，第二電子裝置120可以經由第二介面126從諸如第一電子裝置110的編碼器或者其他視訊提供者接收位元流。第二介面126可以向解碼器模組124提供位元流。
熵解碼單元2241可以解碼位元流以確定用於多個圖像幀的多個預測指示和多個分割指示。然後，解碼器模組124可以進一步基於預測指示和分割指示來重建多個圖像幀。預測指示和分割指示可以包括多個標誌和多個索引。
在框320處，解碼器模組124根據視訊資料從圖像幀確定塊單元和與塊單元相鄰的多個相鄰區域。
參照圖1和圖2，解碼器模組124可以基於位元流確定圖像幀並且根據位元流中的分割指示來劃分圖像幀以確定塊單元。例如，解碼器模組124可分割圖像幀以生成多個CTU，且可進一步劃分CTU中的一個以基於任意視訊編碼標準根據分割指示來確定塊單元。
圖4A和圖4B係根據本揭露的實施例的塊單元的多個相鄰區域的示例性實施方式的示圖。圖4A是塊單元4100和多個相鄰區域4110和4120的示例性實施方式的示圖。相鄰區域4110和4120可以係與塊單元4100相鄰的多個重建塊。在重建塊單元4100之前，重建塊可以基於至少一個重建模式來重建。與塊單元4100相鄰的相鄰區域4110和相鄰區域4120是在重建塊單元4100之前重建的兩個不同的重建塊。解碼器模組124基於多個相鄰位置4111和4121來選擇相鄰區域4110和相鄰區域4120。相鄰位置4111可位於塊單元4100的左下角的左側，相鄰位置4121可位於塊單元4100的右上角的上方。當與塊單元4100相鄰的重建塊覆蓋相鄰位置4111時，重建塊可以被視為相鄰區域4110。當與塊單元4100相鄰的重建塊覆蓋相鄰位置4121時，重建塊可以被視為相鄰區域4120。
圖4B是塊單元4200和與該塊單元4200相鄰的多個相鄰區域4210的示例性實施方式的示圖。解碼器模組124確定與塊單元4200相鄰的相鄰區域4210。相鄰區域4210可以係與塊單元4200相鄰的多個相鄰區域。包括在相鄰區域4210中的頂部相鄰區域可位於塊單元4200的上方，並且包括在相鄰區域4210中的左相鄰區域可位於塊單元4200的左側。此外，可存在位於塊單元4200的左上角的左上側的左上相鄰區域。相鄰區域4210可包含多個經重建樣本。頂部相鄰區域的高度可等於沿垂直方向的經重建樣本的數量Nrt，並且頂部相鄰區域的 寬度可等於塊單元4200的寬度。左相鄰區域的高度可以等於塊單元4200的高度，並且左相鄰區域的寬度可以等於沿水準方向的經重建樣本的數量Nrl。此外，左上相鄰區域的高度可以等於沿垂直方向的經重建樣本的數量Nrt，並且左上相鄰區域的寬度可以等於沿水準方向的經重建樣本的數量Nrl。在一個實施方式中，數位Nrt和Nrl可以係正整數。此外，數量Nrt和Nrl可以彼此相等。進一步地，數量Nrt和Nrl可以大於或等於3。
在框330，解碼器模組124基於相鄰區域從多個幀內預設模式中選擇多個幀內候選模式。
參照圖1和圖2，解碼器模組124可以確定用於透過幀內預測來預測塊單元的幀內預設模式。幀內預設模式可包括多個非角度模式和多個角度模式。非角度模式可包括平面模式和DC模式。此外，當解碼器模組124在高效視訊編碼(High efficiency video coding，HEVC)中解碼塊單元時，對於方法300，角度模式的數量可等於32。當解碼器模組124在通用視訊編碼(Versatile video coding，VVC)或VVC測試模型(VVC test model，VTM)中解碼塊單元時，對於方法300，角度模式的數量可等於65。此外，當解碼器模組124在增強壓縮模型(Enhanced compression model，ECM)中解碼塊單元時，對於方法300，角度模式的數量可等於129。故，對於HEVC中的方法300，幀內預設模式的數量可等於34，對於VVC或VTM中的方法300，幀內預設模式的數量可等於67，且對於ECM中的方法300，幀內預設模式的數量可等於130。
參照圖4A，相鄰區域4110和4120的至少一個重建模式可被用於確定幀內候選模式。當相鄰區域4110的重建模式與相鄰區域4120的重建模式相同時，相鄰區域4110和4120的至少一個重建模式的數量等於1。當相鄰區域4110的重建模式與相鄰區域4120的重建模式不同時，相鄰區域4110和4120的至少一個重建模式的數量等於2。幀內候選模式可以係基於相鄰區域4110和4120的 至少一個重建模式，從幀內預設模式中選擇的多個最可能模式MPM。可根據任何視訊編碼標準(諸如VVC、HEVC和高級視訊編碼(Advanced video coding，AVC)的選擇方案或視訊編碼標準的任何參考軟體(諸如VCM和ECM)，透過使用至少一個重建模式從幀內預設模式中來選擇該MPM。
參照圖4B，相鄰區域4210中的所有經重建樣本可以被設置為被包括在多個模板區域中。透過使用梯度濾波器對模板區域進行濾波以生成多個模板梯度。換言之，相鄰區域可以被濾波。在一個實施方式中，梯度濾波器可以係索貝爾(Soble)濾波器。模板梯度透過基於以下濾波等式(1)和(2)對相鄰區域4210中的經重建樣本進行濾波來生成：
Figure 111123772-A0305-02-0018-34
Figure 111123772-A0305-02-0018-33
其中，運算子*表示二維信號處理卷積運算，矩陣A表示相鄰區域4210中多個經濾波塊4211中的一個。換言之，基於經濾波塊4211中的一個來生成每個模板梯度。每個經濾波塊4211包括Nf個經重建樣本。數量Nf可以係正整數。例如，當經濾波塊4211的尺寸為3×3時，數量Nf等於9。
經濾波塊4211的模板梯度可進一步計算，以生成多個模板幅度和多個模板角度。故，模板區域可以透過使用用於生成模板角度和模板幅度的梯度濾波器來濾波。每個模板幅度可透過匯出模板梯度中的對應一個的總和的絕對值來生成。此外，可基於兩個分數梯度Gx和Gy的劃分結果來匯出模板角度中的每一個。模板幅度Amp和模板角度Angle可透過以下等式(3)和(4)來匯出：Amp=abs(G x )+abs(G y ) (3)
Figure 111123772-A0305-02-0018-3
模板角度與幀內預設模式之間的預定義關係可在第一電子裝置110和第二電子裝置120中被預定義。例如，該關係可以以查閱資料表(Look-up table，LUT)、等式或其組合的形式來存儲。故，當模板角度被確定時，解碼器模組124可以透過基於預定義關係將多個模板角度中的每個模板角度映射到多個幀內預設模式中的一個幀內預設模式來生成至少一個映射模式。換言之，該至少一個映射模式可以透過將多個模板角度中的每個模板角度映射到多個幀內預設模式來生成。例如，當塊單元4200的模板角度中的每個模板角度對應於相同的幀內預設模式時，該至少一個映射模式的數量可等於1。再者，當塊單元4200的模板角度中的一些模板角度對應於不同的幀內預設模式時，該至少一個映射模式的數量可大於1。在一個實施方式中，360度可以被劃分成多個部分，並且每個部分可表示幀內預測索引。故，如果模板角度落入一個分段中，則可以根據映射規則匯出對應於該分段的幀內預測索引。
經濾波塊4211中的特定塊的模板梯度可被計算，以生成模板幅度中的特定模板幅度和模板角度中的特定模板角度。故，特定模板幅度可對應於特定模板角度。換言之，經濾波塊4211的模板角度中的每一個可對應於模板幅度中的對應一個。故，當至少一個映射模式被確定時，解碼器模組124可以透過基於至少一個映射模式累計模板幅度來生成梯度長條圖(Histogram of Gradient，HoG)。例如，當兩個彼此不同的模板角度對應於相同的幀內預設模式時，可針對與該兩個模板角度對應的一個映射模式累計兩個模板角度的兩個模板幅度。故，HoG可透過基於至少一個映射模式累計模板幅度來生成。HoG的水準軸可表示幀內預測模式索引，並且HoG的垂直軸可表示累計的強度(例如，幅度)。在該實施方式中，基於模板角度和模板幅度來生成HoG，以用於選擇多個候選內模式。
一些幀內預設模式可基友根據相鄰區域4210中的所有重建樣本確定 的HoG的累計幅度被選擇為幀內候選模式。當幀內候選模式的數量等於6時，可基於前6個幅度來選擇6個幀內預測索引。當幀內候選模式的數量等於3時，可基於前3個幅度來選擇3個幀內預測索引。故，當幀內候選模式的數量等於X時，可基於前X個幅度來選擇X個幀內預測索引。數量X可以係正整數。在一個實施方式中，可將幀內預設模式中的非角度模式直接添加到幀內候選模式中。例如，非角度模式可以係平面模式。在另一實施方式中，非角度模式可為DC模式。
繼續參照圖3，在框340，解碼器模組124針對多個幀內候選模式中的每一個生成模板預測。
參照圖1和圖2，解碼器模組124可以確定與塊單元相鄰的多個模板塊(template block)。圖5A和圖5B係根據本揭露的實施例的塊單元、多個模板塊以及參考區域的示例性實施方式的示，圖5A是塊單元5100、與塊單元5100相鄰的多個模板塊5101-5103以及與模板塊5101-5103相鄰的參考區域5130的示例性實施方式的示圖。在該實施方式中，參照圖4B和圖5A，相鄰區域4210可與多個模板塊5101-5103相同。模板塊5101中的第一模板塊可以係位於塊單元5100的左側的左相鄰塊，模板塊5102中的第二模板塊可以係位於塊單元5100上方的頂部相鄰塊，並且模板塊5103中的第三模板塊可以係位於塊單元5100的左上側的左上相鄰塊。頂部相鄰塊的高度可以等於沿垂直方向的頂部相鄰塊的經重建樣本的數量Nbt，並且頂部相鄰塊的寬度可以等於塊單元4200的寬度。左相鄰塊的高度可以等於塊單元4200的高度，並且左相鄰塊的寬度可以等於沿水準方向的左相鄰塊的經重建樣本的數量Nbl。再者，左上相鄰塊的高度可以等於頂部相鄰塊沿垂直方向的經重建樣本的數量Nbt，並且左上相鄰塊的寬度可以等於左相鄰塊沿水準方向的經重建樣本的數量Nbl。在一個實施方式中，數量Nbt和Nbl可為正整數。再者，數量Nbt和Nbl可以彼此相同或不同。此外，數 量Nbt和Nbl可以大於或等於2。例如，數量Nbt可以等於2、3或4，並且數量Nbt可以等於2、3或4。
在一些實施方式中，解碼器模組124可將模板塊5101-5102確定為模板單元5110以生成模板預測。在另一實施方式中，解碼器模組124可以將模板塊5101-5103確定為模板單元5120以生成模板預測。解碼器模組124確定參考區域5130中且與多個模板塊5101-5103相鄰的多個模板參考。模板參考可以係在重建塊單元5100之前重建的多個參考樣本。此外，模板單元可以包括在重建塊單元5100之前重建的多個模板樣本。
塊單元5100可具有塊寬度W0和塊高度H0。第一模板塊5101可具有第一模板寬度W1和第一模板高度H0，第二模板塊5102可具有第二模板寬度W0和第二模板高度H2，並且第三模板塊5103可具有第三模板寬度W1和第三模板高度H2。參考區域5130可具有參考寬度M和參考高度N。此外，參考寬度M可以等於2×(W0+W1)+1，並且參考高度N可以等於2×(H0+H2)+1。在實施方式中，數值W0、H0、W1、H2、M和N可以為正整數。在一個實施方式中，數值W1可等於數值H2。在另一個實施方式中，數值W1可以不同於數值H2。
圖5B是塊單元5200、與塊單元5200相鄰的多個模板塊5201-5203以及與模板塊5201-5203相鄰的參考區域5230的示例性實施方式的示意圖。模板塊5201中的第一模板塊可以係位於塊單元5200的左側的左相鄰塊，模板塊5202中的第二模板塊可以係位於塊單元5200上方的頂部相鄰塊，並且模板塊5203中的第三模板塊可以係位於塊單元5200的左上側的左上相鄰塊。在一些實施方式中，解碼器模組124可將模板塊5201-5202確定為模板單元5210以生成模板預測。在另一實施方式中，解碼器模組124可以將模板塊5201-5203確定為模板單元5220以生成模板預測。解碼器模組124確定參考區域5230中且與多個 模板塊5201-5203相鄰的多個模板參考。模板參考可以係在重建塊單元5200之前重建的多個參考樣本。此外，模板單元可以包括在重建塊單元5200之前重建的多個模板樣本。
塊單元5200可具有塊寬度W0和塊高度H0。第一模板塊5201可具有第一模板寬度W1和大於塊高度H0的第一模板高度H1，第二模板塊5202可具有大於塊寬度W0的第二模板寬度W2和第二模板高度H2，並且第三模板塊5203可具有第三模板寬度W1和第三模板高度H2。參考區域5230可具有參考寬度M和參考高度N。此外，參考寬度M可以等於2×(W1+W2)+1，並且參考高度N可以等於2×(H1+H2)+1。在該實施方式中，數值W0、H0、W1、H1、W2、H2、M、N可以為正整數。在一個實施方式中，數值W1可等於數值H2。在另一個實施方式中，數值W1可以不同於數值H2。
解碼器模組124可透過使用幀內候選模式基於具有模板參考的參考區域來預測模板單元中的模板塊以生成模板預測。解碼器模組124可透過使用幀內候選模式中的一個基於模板參考來預測模板單元中的模板塊以生成模板預測中的一個。故，幀內候選模式的數量可等於模板預測的數量。例如，當幀內候選模式的數量等於6時，模板預測的數量也可等於6。
繼續參照圖3，在框350，解碼器模組124基於模板預測從多個幀內候選模式中選擇多個預測模式。
預測模式基於模板塊來選擇。參照圖1和圖2，解碼器模組124可以將模板預測與模板單元中的模板樣本進行比較。由於模板單元中的模板樣本是在重建塊單元之前被重建，故模板樣本也在生成模板預測之前被重建。故，當模板預測被生成時，解碼器模組124可將模板預測與模板單元中的經重建模板樣本進行比較。
解碼器模組124可透過使用代價函數(cost function)從幀內候選模 式中選擇預測模式來將模板塊的模板預測與模板單元進行比較。故，模板塊被預測以基於模板塊的模板預測來生成用於選擇預測模式的模板預測。解碼器模組124可以透過將經重建的模板塊與模板預測進行比較來確定多個代價值。例如，解碼器模組124可以將經重建的模板塊與透過使用幀內候選模式之一生成的模板預測之一進行比較，以生成代價值中的一個。故，由代價函數確定的每個代價值對應於透過使用幀內候選模式之一生成的模板預測之一。
代價函數可以包括但不限於絕對差和(Sum of Absolute Difference，SAD)、絕對變換差和(Sum of Absolute Transformed Difference，SATD)、平均絕對差(Mean Absolute Difference，MAD)、均方差(Mean Squared Difference，MSD)和結構相似性(Structural SIMilarity，SSIM)。應注意，在不脫離本發明的情況下，可使用任何代價函數。
解碼器模組124可基於模板預測的代價值從幀內候選模式中選擇預測模式，該模板預測的代價值係基於模板塊而生成的。當預測模式的數量等於2時，可以基於2個最低代價值選擇2個幀內預測索引。當幀內候選模式的數量等於3時，可基於3個最低代價值選擇3個幀內預測索引。故，當預測模式的數量等於Y時，可以基於Y個最低代價值選擇Y個幀內預測索引。數量Y可以係正整數。
當選擇預測模式時，解碼器模組124可以根據基於模板塊生成的模板預測的代價值來確定多個加權參數。故，加權參數基於模板塊來確定。模板塊可被預測以基於模板塊的模板預測來生成用於選擇預測模式的模板預測。加權參數可以基於代價值來確定，並且代價值是透過分別將模板塊與模板預測中的每一個進行比較來確定的。
解碼器模組124可比較預測模式的代價值以確定加權參數。例如，當預測模式的數量等於2時，可以基於以下函數(5)來確定兩個預測模式的加 權參數：
Figure 111123772-A0305-02-0024-5
其中，w1、w2為預測模式的加權參數，C1和C2為預測模式的代價值。
解碼器模組124可以透過使用預測模式和加權參數，基於塊單元的參考行來預測塊單元。解碼器模組124可以基於預測模式來預測塊單元以生成多個預測塊。預測塊中的每一個對應於預測模式中的一個，故預測塊中的每一個還對應於加權參數中的一個。解碼器模組124可以透過預測塊和加權參數加權地組合預測塊以生成塊單元的預測塊。
參照圖1和圖2，解碼器模組124可以透過多個加權參數直接加權組合模板預測。加權參數可基於HoG來確定。例如，加權參數可基於HoG中模板塊的累計振幅來確定。故，多個加權參數基於多個模板塊來確定。例如，當組合的模板預測的數量等於3時，可基於以下函數(6)來確定三個幀內候選模式的加權參數：
Figure 111123772-A0305-02-0024-6
其中，數值w 1、w 2、w 3、A 1、A 2和A 3係基於模板塊選擇的幀內候選模式的 加權參數和累計振幅。在實施方式中，該加權參數w i 可以等於
Figure 111123772-A0305-02-0024-7
，並 且數值p可以等於組合的模板預測的數量。
當候選內模式的數量等於3時，解碼器模組124可基於3個候選內模式生成塊單元的多個中間預測。可存在三個中間預測，每個中間預測透過使用幀內候選模式中的兩個來生成。再者，一個中間預測可透過使用三個幀內候選模式來生成。當幀內候選模式的數量等於Y時，中間預測的數量NI可以小於或等於
Figure 111123772-A0305-02-0024-27
+
Figure 111123772-A0305-02-0024-28
+…+
Figure 111123772-A0305-02-0024-29
。例如，當數量Y等於2時，數量NI等於1。當數量Y等於3時，數量NI可以小於或等於4。此外，當數量Y等於4時，數量N1可 以小於或等於11。例如，當Y的數量等於3並且解碼器模組124選擇兩個幀內候選模式來生成每個中間預測時，數量NI可等於3。在一個實施方式中，函數
Figure 111123772-A0305-02-0025-32
表示Y個元素的m個組合的數量，數量NI是大於或等於1的正整數，並且數量m是大於或等於2的正整數。
當中間預測透過使用Y個幀內候選模式中的m個來生成時，加權參數可基於m個幀內候選模式的累計幅度來確定。例如，數量Y等於4，並且數量m等於2。然後，兩個加權參數可僅基於用於生成中間預測中的一個的兩個幀內候選模式的兩個累計幅度來確定。例如，兩個加權參數可以等於A 1/(A 1+A 2)和A 2/(A 1+A 2).。
解碼器模組124可以透過使用代價函數將中間預測與模板單元進行比較以從中間預測中選擇預測塊。解碼器模組124可以透過將經重建模板塊與中間預測進行比較來確定多個代價值。例如，解碼器模組124可以將經重建模板塊與中間預測中的一個進行比較，以生成代價值中的一個。故，由代價函數確定的代價值中的每一個對應於透過使用幀內候選模式中的至少2個生成的中間預測中的一個。
代價函數可以包括但不限於絕對差和SAD、絕對變換差和SATD、平均絕對差MAD、均方差MSD和結構相似性SSIM。應注意，在不脫離本發明的情況下，可使用任何代價函數。
解碼器模組124可以根據基於模板塊生成的中間預測的代價值來從中間預測中選擇預測塊。解碼器模組124可以選擇具有最低代價值的中間預測中的特定一個作為預測塊。故，用於生成特定中間預測的幀內候選模式可被視為預測模式。
返回至圖3，在框360，解碼器模組124基於多個預測模式重建塊單元。
進一步參照圖1和圖2，解碼器模組124可以從塊單元的位元流確定多個殘餘分量，並且將殘餘分量添加到預測塊中以重建塊單元。解碼器模組124可以重建圖像幀中的所有其他塊單元，以便重建圖像幀和視訊。
圖6示出了根據本揭露的實施方式的用於透過電子裝置來解碼視訊資料的方法600的流程圖。方法600僅是示例，因為存在執行視訊資料的解碼的各種方式。
方法600可以使用在圖1和圖2中示出的配置來執行，並且關於方法600參考這些圖的各種元件。在圖6中示出的每個框可以表示執行的一個或多個處理、方法、或者子常式。
圖6中的框的順序僅是說明性的並且可以改變。在不脫離本揭露的情況下，可以添加額外的框或者可以使用更少的框。
在框610，解碼器模組124接收視訊資料。透過解碼器模組124接收到的視訊資料可以係位元流。
參照圖1和圖2，第二電子裝置120可以經由第二介面126從諸如第一電子裝置110的編碼器或者其他視訊提供者接收位元流。第二介面126可以向解碼器模組124提供位元流。
熵解碼單元2241可以解碼位元流以確定用於多個圖像幀的多個預測指示和多個分割指示。然後，解碼器模組124可以進一步基於預測指示和分割指示來重建多個圖像幀。預測指示和分割指示可以包括多個標誌和多個索引。
在框620，解碼器模組124根據視訊資料從圖像幀確定塊單元和與塊單元相鄰的多個相鄰區域。
參照圖1和圖2，解碼器模組124可以基於位元流確定圖像幀並且根據位元流中的分割指示來劃分圖像幀以確定塊單元。例如，解碼器模組124可 分割圖像幀以生成多個CTU，且可進一步劃分CTU中的一個以基於任意視訊編碼標準根據分割指示來確定塊單元。
參照圖4B，解碼器模組124確定與塊單元4200相鄰的相鄰區域4210。相鄰區域4210可以係與塊單元4200相鄰的多個相鄰區域。包括在相鄰區域中的頂部相鄰區域可位於塊單元4200上方，並且包括在相鄰區域中的左相鄰區域可位於塊單元4200的左側。此外，可存在位於塊單元4200的左上角的左上側的左上相鄰區域。相鄰區域4210可包含多個經重建樣本。頂部相鄰區域的高度可等於沿垂直方向的經重建樣本的數量Nrt，並且頂部相鄰區域的寬度可等於塊單元4200的寬度。左相鄰區域的高度可以等於塊單元4200的高度，並且左相鄰區域的寬度可以等於沿水準方向的經重建樣本的數量Nrl。在一個實施方式中，數位Nrt和Nrl可以係正整數。此外，數量Nrt和Nrl可以彼此相等。進一步地，數量Nrt和Nrl可以大於或等於3。
在框630，解碼器模組124確定多個幀內擴展模式，包括多個幀內預設模式和多個附加模式。
參照圖1和圖2，解碼器模組124可以確定用於透過幀內預測來預測塊單元的幀內預設模式。幀內預設模式可包括多個非角度模式和多個角度模式。非角度模式可包括平面模式和DC模式。此外，對於方法600，當解碼器模組124在HEVC中解碼塊單元時，角度模式的數量可等於32。此外，對於方法600，當解碼器模組124在VVC或VTM中解碼塊單元時，角度模式的數量可等於65。此外，對於方法600，當解碼器模組124在ECM中解碼塊單元時，角度模式的數量可等於129。故，對於HEVC中的方法600，幀內預設模式的數量可等於34，對於VVC或VTM中的方法600，幀內預設模式的數量可等於67，且對於ECM中的方法600，幀內預設模式的數量可等於130。
解碼器模組124可基於幀內預設模式生成附加模式。可在相鄰的幀 內預設模式之間添加附加模式中的至少一個。例如，在相鄰幀內預設模式之間可添加一個、兩個或更多個附加模式。再者，兩個相鄰的幀內預設模式之間的附加模式的數量可不同於另外兩個相鄰的幀內預設模式之間的附加模式的數量。例如，兩個相鄰的幀內預設模式之間的附加模式的數量可等於二，並且兩個相鄰的幀內預設模式之間的附加模式的數量可等於一。在一些實施方式中，與指向垂直方向或水準方向的幀內預設模式中的一者相鄰的兩個相鄰幀內預設模式之間的附加模式的數量可大於遠離指向垂直方向或水準方向的幀內預設模式中的一者且與指向具有45度、135度或-135度的傾斜角度的傾斜方向的幀內預設模式中的另一者相鄰的另外兩個相鄰幀內預設模式之間的附加模式的數量。例如，與指向垂直方向或水準方向的幀內預設模式中的一者相鄰的兩個相鄰幀內預設模式之間的附加模式的數量可等於二，與指向具有傾斜角度的傾斜方向的幀內預設模式中的一個相鄰的兩個相鄰幀內預設模式之間的附加模式的數量可等於一。在一些實施方式中，用於在相鄰幀內預設模式之間添加附加模式的第一添加方案可在編碼器和解碼器(如，第一電子裝置110和第二電子裝置120)中被預定義。
附加模式可進一步包括多個廣角模式。幀內預設模式的角度模式可被定義為沿順時針方向從45度到-135度。當塊單元是非正方形塊時，一些角度模式可用廣角模式代替。廣角模式可被定義為沿順時針方向從0度到45度，或者被定義為沿順時針方向從-135度到-90度。在一些實施方式中，每個廣角模式可被添加到附加模式中。在一些實施方式中，廣角模式的一部分可基於塊單元的塊形狀被添加到附加模式中。例如，當塊單元的塊寬度大於塊單元的塊高度時，沿順時針方向0度至45度之間的範圍內的傾斜方向指向的廣角模式可被添加到附加模式中。再者，當塊單元的塊寬度小於塊單元的塊高度時，沿順時針方向-135度至-90度之間的範圍內的傾斜方向指向的廣角模式可被添加到附加模 式中。在一些實施方式中，用於將廣角模式添加為附加模式的第二添加方案可以在編碼器和解碼器(諸如第一電子裝置110和第二電子裝置120)中被預定義。
解碼器模組124可以進一步基於所添加的廣角模式來生成附加模式。可在相鄰的廣角模式之間添加附加模式中的至少一個。例如，在相鄰廣角模式之間可添加一個、兩個或更多個附加模式。此外，兩個相鄰廣角模式之間的附加模式的數量可不同於另外兩個相鄰廣角模式之間的附加模式的數量。例如，相鄰兩個廣角模式之間的附加模式的數量可等於二，相鄰兩個廣角模式之間的附加模式的數量可等於一。在一些實施方式中，用於在相鄰廣角模式之間添加附加模式的第三添加方案可在編碼器和解碼器(例如，第一電子裝置110和第二電子裝置120)中被預定義。
表1示意地示出索引被分配給每個具有幀內預測角度的幀內擴展模式的示例性實施方式。在一些實施方式中，幀內擴展模式中的每一者可對應於表1中的平面模式、DC模式和多個幀內模式-29-159中的一者。
Figure 111123772-A0305-02-0029-8
Figure 111123772-A0305-02-0030-9
在一個實施方式中，位元流可包括指示幀內預設模式是否可擴展到幀內擴展模式的模式擴展標記。例如，當模式擴展標誌的值等於零時，幀內預設模式可不被擴展到幀內擴展模式，並且方法600結束。再者，當模式擴展標誌的值等於1時，幀內預設模式可被擴展到幀內擴展模式，且方法600可前進到框640。此外，位元流可包含解碼器側幀內模式推導(decoder-side intra mode derivation，DIMD)以指示是否執行DIMD模式。方法600可在DIMD模式中執行。故，當DIMD模式未被執行時，可以不執行方法600，並且位元流可以不包括模式擴展標誌。此外，當DIMD模式被執行時，可執行方法600，且位元流可包括模式擴展標誌以指示幀內預設模式是否可擴展到幀內擴展模式。
繼續參照圖6，在框640，解碼器模組124基於相鄰區域從多個幀內擴展模式中選擇多個幀內候選模式。
參照圖4B，相鄰區域4210中的所有經重建樣本可以被設置為被包括在多個模板區域中。透過使用梯度濾波器對模板區域進行濾波以生成多個模板梯度。換言之，相鄰區域可以被濾波。在一個實施方式中，梯度濾波器可以係 索貝爾(Soble)濾波器。模板梯度透過基於上述的濾波等式(1)和(2)對相鄰區域4210中的經重建樣本進行濾波來生成。換言之，每個模板梯度基於經濾波塊中的一個來生成。每個經濾波塊包括Nf個經重建樣本。數量Nf可以係正整數。例如，當經濾波塊的尺寸為3×3時，數量Nf等於9。
經濾波塊的模板梯度可進一步計算，以生成多個模板幅度和多個模板角度。故，模板區域可以透過使用用於生成模板角度和模板幅度的梯度濾波器來濾波。每個模板幅度可透過匯出模板梯度中的對應一個的總和的絕對值來生成。此外，可基於兩個分數梯度Gx和Gy的劃分結果來匯出模板角度中的每一個。模板幅度和模板角度可透過上述的等式(3)和(4)來匯出。
模板角度與幀內擴展模式之間的預定義關係可在第一電子裝置110和第二電子裝置120中被預定義。例如，該關係能以查閱資料表LUT、等式或其組合的形式來存儲。故，當模板角度被確定時，解碼器模組124可以透過基於預定義關係將多個模板角度中的每一個映射到多個幀內擴展模式中的一個來生成至少一個映射模式。換言之，該至少一個映射模式可以透過將多個模板角度中的每個模板角度映射到多個幀內擴展模式來生成。在一個實施方式中，360度可以被劃分成多個部分，並且每個部分表示幀內預測索引。故，如果模板角度落入一個分段中，則可以根據映射規則匯出對應於該分段的幀內預測索引。
經濾波塊中的特定塊的模板梯度可被計算，以生成模板幅度中的特定模板幅度和模板角度中的特定模板角度。故，特定模板幅度可對應於特定模板角度。換言之，經濾波塊的模板角度中的每一個可對應於模板幅度中的對應一個。故，當至少一個映射模式被確定時，解碼器模組124可以透過基於至少一個映射模式累計模板幅度來生成梯度長條圖HoG。例如，當兩個彼此不同的模板角度對應於相同的幀內擴展模式時，可針對與該兩個模板角度對應的一個映射模式來累計兩個模板角度的兩個模板幅度。故，HoG可透過基於至少一個 映射模式累計模板幅度來生成。HoG的水準軸可表示幀內預測模式索引，並且HoG的垂直軸可表示累計的強度(例如，幅度)。
一些幀內擴展模式可基於根據相鄰區域4210中的所有經重建樣本確定的HoG的累積幅度而被選擇為幀內候選模式。當幀內候選模式的數量等於6時，可基於前6個幅度來選擇6個幀內預測索引。當幀內候選模式的數量等於3時，可基於前3個幅度來選擇3個幀內預測索引。故，當幀內候選模式的數量等於X時，可基於前X個幅度來選擇X個幀內預測索引。數量X可以係正整數。在一個實施方式中，幀內預設模式中的非角度模式可被直接添加到幀內候選模式中。例如，非角度模式可以係平面模式。在另一實施方式中，非角度模式可為DC模式。
繼續參照圖6，在框650，解碼器模組124基於多個幀內候選模式生成加權預測。
參照圖1和圖2，解碼器模組124可以透過多個加權參數直接加權地組合多個預測塊，每個預測塊基於幀內候選模式中的一個來生成。解碼器模組124可以透過使用幀內候選模式基於與塊單元相鄰的參考行來預測塊單元以生成預測塊。加權預測可以透過基於加權參數加權地組合預測塊來生成。加權參數可基於HoG來確定。例如，加權參數可基於HoG中的累計振幅來確定。故，所述多個加權參數基於所述多個相鄰區域來確定。例如，當預測塊的數量等於3時，可基於上述函數(6)來確定三個幀內候選模式的加權參數：在一些實施方 式中，該加權參數w i 可以等於
Figure 111123772-A0305-02-0032-10
，並且數值p可以等於組合的模板預 測的數量。
在一些實施方式中，幀內候選模式中的特定一個可以係用於與其他幀內候選模式加權組合的預設候選模式。換言之，可基於HoG選擇兩個幀內候選模式，且當幀內候選模式的數量等於3時，幀內候選模式中的一個可為用於加權組合的預設候選模式。在一些實施方式中，預設候選模式的加權參數可以 係預定義值W d 。故，另一個加權參數w i 可以等於
Figure 111123772-A0305-02-0033-17
×(1-W d )。例 如，預定義值W d 等於22/64，並且幀內候選模式的數量等於3。故，其他加權參 數w 1和w 2可以分別等於
Figure 111123772-A0305-02-0033-13
和
Figure 111123772-A0305-02-0033-14
。
在一些實施方式中，可存在多個組合模式以生成多個加權候選。故，位元流可進一步包含用於選擇組合模式中的一個的索引。當解碼器模組124確定索引等於2時，解碼器模組124可以使用對應於索引2的一個組合模式來加權地組合預測塊以用於生成加權預測。
表2示意性示出其中將索引配置給各自具有不同加權組合的組合模式的示例性實施方式。索引可以係DIMD索引，以指示是否執行DIMD以及在DIMD模式中選擇組合模式中的哪一個。故，當DIMD索引等於2時，執行DIMD，並且透過基於加權參數1/3和2/3將平面模式與第二幀內候選模式加權組合來生成加權預測。
Figure 111123772-A0305-02-0033-11
表3示意性示出其中將索引配置給各自具有不同加權組合的組合模式的示例性實施方式。索引可以係混合索引，以指示在DIMD模式中選擇了組合的模式中的哪一個。故，當混合索引等於2時，基於加權參數1/3和2/3，透過將平面模式與第二幀內候選模式加權組合來生成加權預測。
表3
Figure 111123772-A0305-02-0034-18
繼續參照圖6，在框660，解碼器模組124基於加權預測重建塊單元。
解碼器模組124可以從塊單元的位元流確定多個殘餘分量，並且將殘餘分量添加到加權預測中以重建塊單元。解碼器模組124可以重建圖像幀中的所有其他塊單元，以便重建圖像幀和視訊。
圖7示出了根據本揭露的實施方式的用於透過電子裝置來解碼視訊資料的方法700的流程圖。方法700僅是示例，因為存在執行視訊資料的解碼的各種方式。
方法700可以使用在圖1和圖2中示出的配置來執行，並且關於方法700參考這些圖的各種元件。在圖7中示出的每個框可以表示執行的一個或多個處理、方法、或者子常式。
圖7中的框的順序僅是說明性的並且可以改變。在不脫離本揭露的情況下，可以添加額外的框或者可以使用更少的框。
在框710，解碼器模組124接收視訊資料。透過解碼器模組124接收到的視訊資料可以係位元流。
參照圖1和圖2，第二電子裝置120可以經由第二介面126從諸如第一電子裝置110的編碼器或者其他視訊提供者接收位元流。第二介面126可以向解碼器模組124提供位元流。
熵解碼單元2241可以解碼位元流以確定用於多個圖像幀的多個預測指示和多個分割指示。然後，解碼器模組124可以進一步基於預測指示和分割指示來重建多個圖像幀。預測指示和分割指示可以包括多個標誌和多個索引。
在框720，解碼器模組124根據視訊資料從圖像幀確定塊單元且從視訊資料確定塊單元的行索引。
參照圖1和圖2，解碼器模組124可以基於位元流確定圖像幀並且根據位元流中的分割指示來劃分圖像幀以確定塊單元。例如，解碼器模組124可分割圖像幀以生成多個CTU，且可進一步劃分CTU中的一個以基於任意視訊編碼標準根據分割指示來確定塊單元。
在一些實施方式中，在圖像幀中存在與塊單元相鄰的多個相鄰塊。相鄰塊各自包含多個相鄰樣本。在相鄰塊中與塊單元相鄰的相鄰樣本可以被分類成多個相鄰行。在實施方式中，每個相鄰行包括從與塊單元相鄰的所述相鄰樣本中選擇的多個行樣本。
在一些實施方式中，編碼器模組114可以選擇相鄰行中的一個以用於預測塊單元，並且向第二電子裝置120提供指示哪個是所選相鄰行的行索引。在一些實施方式中，解碼器模組124可基於行索引確定所選相鄰行，且解碼器模組124可確定用於預測塊單元的所選相鄰行中的行樣本。
繼續參照圖7，在框730，解碼器模組124透過對與塊單元相鄰的模板行進行濾波以確定多個幀內候選模式並基於幀內候選模式生成多個預測塊，且基於行索引來生成塊單元的加權預測。
在一些實施方式中，行索引可以包括第一行索引或第二行索引中的至少一個。第一行索引用於從與塊單元相鄰的相鄰區域選擇模板行以對模板行進行濾波以確定多個幀內候選模式，並且第二行索引用於選擇參考行以基於幀內候選模式生成多個預測塊。參照圖1和圖2，在一些實施方式中，解碼器模組 124可以透過使用第一行路索引而不使用第二行路索引來生成塊單元的加權預測。在一些實施方式中，解碼器模組124可以透過使用第二行索引而不使用第一行索引來生成塊單元的加權預測。在一些實施方式中，解碼器模組124可以透過使用第一行索引和第二行索引兩者來生成塊單元的加權預測。
圖8A、圖8B和圖8C係根據本揭露的實施例的塊單元的相鄰區域的示例性實施方式的示圖。圖8A和圖8B是塊單元和相鄰區域的示例性實施方式的示圖。解碼器模組124確定與塊單元8000相鄰的相鄰區域8100。相鄰區域8100可以包括與塊單元8000相鄰的多個重建樣本。可以在重建塊單元8000之前重建多個重建塊中的重建樣本。相鄰區域8100可包括與塊單元8000相鄰的多個模板行8110和8120。模板行8110和8120中的重建樣本可以被視為模板行8110和8120的行樣本。模板行8110的行寬可等於模板行8120的行寬。行寬可以等於沿著垂直方向在塊單元8000上方的行樣本的數量。行寬可以等於沿著水準方向位於塊單元8000的左側的行樣本的數量。在一些實施方式中，行寬可等於3。
解碼器模組124可以確定用於透過幀內預測來預測塊單元的多個幀內預設模式。幀內預設模式可包括多個非角度模式和多個角度模式。非角度模式可包括平面模式和DC模式。此外，對於方法600，當解碼器模組124在HEVC中解碼塊單元時，角度模式的數量可等於32。此外，對於方法700，當解碼器模組124在VVC或VTM中解碼塊單元時，角度模式的數量可等於65。此外，對於方法600，當解碼器模組124在ECM中解碼塊單元時，角度模式的數量可等於129。故，對於HEVC中的方法600，幀內預設模式的數量可等於34，對於VVC或VTM中的方法600，幀內預設模式的數量可等於67，且對於ECM中的方法600，幀內預設模式的數量可等於130。
解碼器模組124可以基於第一行索引從相鄰區域8100選擇一個模板行，並且透過使用梯度濾波器對所選模板行中的行樣本進行濾波。故，當行索 引是第一行索引時，所選相鄰行是所選模板行。例如，當第一行索引等於0時，所選模板行可以係模板行8110。此外，當第一行索引等於1時，所選模板行可以係模板行8120。在一些實施方式中，當模板行的數量大於2時，第一行索引可以大於1以指示其他模板行。在一些實施方式中，當模板行的數量等於2時，第一行索引可被設定為用於指示選擇兩個模板行中的哪一者要被濾波的行標誌。
在一個實施方式中，梯度濾波器可以係索貝爾(Soble)濾波器。透過基於上述濾波等式(1)和(2)對所選模板行中的行樣本進行濾波，可以生成多個模板梯度。換言之，基於所選模板行中的多個經濾波塊中的一個來生成各個模板梯度。每個經濾波塊包括Nf個行樣本。數量Nf可以係正整數。例如，當經濾波塊的尺寸為3×3時，數量Nf等於9。在一些實施方式中，當透過第一行索引選擇模板行8110時，模板行8110中的經濾波塊8111可經濾波以生成模板梯度中的一個。在一些實施方式中，當透過第一行索引選擇模板行8120時，模板行8120中的經濾波塊8121可經濾波以生成模板梯度中的一個。在一些實施方式中，第一行索引可以係多參考行(multiple reference line，MRL)索引或用於確定所選模板行的任何其他語法元素。
經濾波塊的模板梯度可進一步計算，以生成多個模板幅度和多個模板角度。故，所選模板行可以透過使用用於生成模板角度和模板幅度的梯度濾波器來濾波。每個模板幅度可透過匯出模板梯度中的對應一個的總和的絕對值來生成。此外，可基於兩個分數梯度Gx和Gy的劃分結果來匯出模板角度中的每一個。模板幅度和模板角度可透過上述的等式(3)和(4)來匯出。
模板角度與幀內預設模式之間的預定義關係可在第一電子裝置110和第二電子裝置120中被預定義。例如，該關係能以查閱資料表LUT、等式或其組合的形式來存儲。故，當模板角度被確定時，解碼器模組124可以透過基 於預定義關係將多個模板角度中的每個模板角度映射到多個幀內預設模式中的一個幀內預設模式來生成至少一個映射模式。換言之，該至少一個映射模式可以透過將多個模板角度中的每個模板角度映射到多個幀內預設模式來生成。在一個實施方式中，360度可以被劃分成多個部分，並且每個部分表示幀內預測索引。故，如果模板角度落入一個分段中，則可以根據映射規則匯出對應於該分段的幀內預測索引。
經濾波塊中的特定塊的模板梯度可被計算，以生成模板幅度中的特定模板幅度和模板角度中的特定模板角度。故，特定模板幅度可對應於特定模板角度。換言之，經濾波塊的模板角度中的每一個可對應於模板幅度中的對應一個。故，當至少一個映射模式被確定時，解碼器模組124可以透過基於至少一個映射模式累計模板幅度來生成梯度長條圖HoG。例如，當兩個彼此不同的模板角度對應於相同的幀內預設模式時，可針對與該兩個模板角度對應的一個映射模式來累計兩個模板角度的兩個模板幅度。故，HoG可透過基於至少一個映射模式累計模板幅度來生成。HoG的水準軸可表示幀內預測模式索引，並且HoG的垂直軸可表示累計的強度(例如，幅度)。
基於HoG的累計振幅，一些幀內預設模式可被選擇為幀內候選模式，HoG的累計振幅基於所選模板行中的所有行樣本來確定。當幀內候選模式的數量等於3時，可基於前3個幅度來選擇3個幀內預測索引。當幀內候選模式的數量等於2時，可基於前2個幅度來選擇2個幀內預測索引。故，當幀內候選模式的數量等於X時，可基於前X個幅度來選擇X個幀內預測索引。數量X可以係正整數。在一個實施方式中，可將幀內預設模式中的非角度模式直接添加到幀內候選模式中。例如，非角度模式可以係平面模式。在另一實施方式中，非角度模式可為DC模式。
解碼器模組124可透過多個加權參數加權地組合各自基於幀內候選 模式中的一個生成的多個預測塊。解碼器模組124可以透過使用幀內候選模式基於與塊單元相鄰的多個參考行中的一個來預測塊單元以生成預測塊。圖8C是塊單元8000和參考行(諸如第一參考行8200、第二參考行8210和第三參考行8220)的示例性實施方式的示圖。
在一些實施方式中，編碼器模組114可以選擇參考行中的一個以用於預測塊單元，並且向第二電子裝置120提供指示哪個是所選參考行的行索引。當行索引為第二行索引時，所選相鄰行為所選參考行。在一些實施方式中，解碼器模組124可基於第二行索引確定所選參考行，且解碼器模組124可將所選參考行中的行樣本確定為多個參考樣本。解碼器模組124可以基於參考樣本重建塊單元。透過使用多個幀內候選模式，可基於所選參考行中的參考樣本生成預測的塊。幀內候選模式的數量可等於預測塊的數量。
在一些實施方式中，當第二行索引等於第一預定義值時，解碼器模組124可選擇第一參考行8200，並將第一參考行8200中的行樣本確定為參考樣本。在一些實施方式中，當所述第二行路索引不同於所述第一預定義值時，解碼器模組124可選擇其他參考行8210和8220中的一個。在一些實施方式中，第二行索引可以係多參考行MRL索引或者用於確定所選參考行的任何其他語法元素。
加權參數可基於HoG來確定。例如，加權參數可基於HoG中的累計振幅來確定。故，所述多個加權參數基於所述多個相鄰區域來確定。例如，當預測塊的數量等於3時，可基於上述函數(6)來確定三個幀內候選模式的加權 參數：在實施方式中，該加權參數w i 可以等於
Figure 111123772-A0305-02-0039-20
，並且數值p可以等 於組合的模板預測的數量。
在一些實施方式中，幀內候選模式中的特定一個可以係用於與其他幀內候選模式加權組合的預設候選模式。換言之，可基於HoG選擇兩個幀內候 選模式，且當幀內候選模式的數量等於3時，幀內候選模式中的一個可為用於加權組合的預設候選模式。在一些實施方式中，預設候選模式的加權參數可以 係預定義值W d 。故，另一個加權參數w i 可以等於
Figure 111123772-A0305-02-0040-25
×(1-W d )。例 如，預定義值W d 等於22/64，並且幀內候選模式的數量等於3。故，其他加權參 數w 1和w 2可以分別等於
Figure 111123772-A0305-02-0040-21
和
Figure 111123772-A0305-02-0040-26
。
在一些實施方式中，可存在多個組合模式以生成多個加權候選。故，位元流可進一步包含用於選擇組合模式中的一個的索引。當解碼器模組124確定索引等於2時，解碼器模組124可以使用對應於索引2的一個組合模式來加權地組合預測塊以用於生成加權預測。上述表2和表3示意地示出將索引配置給各自具有不同的加權組合的組合模式的示範性實施方式。
繼續參照圖7，在框740，解碼器模組124基於加權預測來重建塊單元。
解碼器模組124可以從塊單元的位元流確定多個殘餘分量，並且將殘餘分量添加到加權預測中以重建塊單元。解碼器模組124可以重建圖像幀中的所有其他塊單元，以便重建圖像幀和視訊。
圖9示出了根據本揭露的示例性實施方式的在圖1中示出的第一電子裝置110的編碼器模組114的框圖。編碼器模組114可包括預測處理器(例如，預測處理單元9141)、至少第一求和器(例如，第一求和器9142)和第二求和器(例如，第二求和器9145)、變換/量化處理器(例如，變換/量化單元9143)、逆量化/逆變換處理器(例如，逆量化/逆變換單元9144)、濾波器(例如，濾波單元9146)、經解碼圖片緩衝器(例如，經解碼圖片緩衝器9147)和熵編碼器(例如，熵編碼單元9148)。編碼器模組114的預測處理單元9141可以進一步 包括分割處理器(例如，分割單元91411)、幀內預測處理器(例如，幀內預測單元91412)、以及幀間預測處理器(例如，幀間預測單元91413)。
編碼器模組114可以接收源視訊並且對源視訊進行編碼以輸出位元流。編碼器模組114可以接收包括多個圖像幀的源視訊，然後根據編碼結構來劃分圖像幀。每個圖像幀可以被劃分成至少一個圖像塊。
至少一個圖像塊可包括具有多個亮度樣本的亮度塊和具有多個色度樣本的至少一個色度塊。該亮度塊和至少一個色度塊可以被進一步劃分以生成巨集塊、編碼樹單元CTU、編碼塊CB、其子分割和/或另一等效的編碼單元。
編碼器模組114可以執行源視訊的額外子分割。應注意，所揭露的實施方式總體上可應用於視訊編碼，而不管在編碼之前和/或期間源視訊是如何分割的。
在編碼過程期間，預測處理單元9141可接收圖像幀中的特定一個圖像幀的當前圖像塊。當前圖像塊可以係特定圖像幀中的亮度塊或色度塊之一。
分割單元91411可將當前圖像塊劃分為多個塊單元。幀內預測單元91412可相對於與當前塊單元相同的幀中的一個或多個相鄰塊執行當前塊單元的幀內預測編碼，以便提供空間預測。幀間預測單元91413可相對於一個或多個參照圖像塊中的一個或多個塊執行當前塊單元的幀間預測編碼，以提供時間預測。
預測處理單元9141可基於模式選擇方法(例如，代價函數)選擇由幀內預測單元91412和幀間預測單元91413生成的編碼結果中的一個。模式選擇方法可以係率失真優化(Rate-distortion optimization，RDO)過程。
預測處理單元9141可確定選擇的編碼結果且將對應於選擇的編碼結果的預測塊提供到第一求和器9142以用於生成殘餘塊，且提供到第二求和器9145以用於重建經編碼的塊單元。預測處理單元9141可進一步將諸如運動向量、 幀內模式指示符、分割資訊和其他語法資訊的語法元素提供到熵編碼單元9148。
幀內預測單元91412可對當前塊單元進行幀內預測。幀內預測單元91412可以確定針對與當前塊單元相鄰的經重建樣本的幀內預測模式，以便對當前塊單元進行編碼。
幀內預測單元91412可使用各種幀內預測模式對當前塊單元進行編碼。預測處理單元9141的幀內預測單元91412可從所選擇的模式中選擇適當的幀內預測模式。幀內預測單元91412可使用跨分量預測模式對當前塊單元進行編碼，以基於當前塊單元的亮度分量來預測當前塊單元的兩個色度分量中的一個。幀內預測單元91412可基於當前塊單元的兩個色度分量中的第二個來預測當前塊單元的兩個色度分量中的第一個。
作為由幀內預測單元91412執行的幀內預測的替代方案，幀間預測單元91413可對當前塊單元進行幀間預測。幀間預測單元91413可執行運動估計以估計用於生成運動向量的當前塊單元的運動。
運動向量可指示當前圖像塊內的當前塊單元相對於參照圖像塊內的參考塊單元的位移。幀間預測單元91413可接收存儲在經解碼圖片緩衝器9147中的至少一個參照圖像塊，且基於接收到的參照圖像塊來估計運動以生成運動向量。
第一求和器9142可透過從原始當前塊單元減去由預測處理單元9141確定的預測塊來生成殘餘塊。第一求和器9142可表示執行該減法的一個或多個元件。
變換/量化單元9143可將變換應用於殘餘塊以便生成殘餘變換係數，且接著量化該殘餘變換係數以進一步減小位元速率。變換可以係DCT、DST、AMT、MDNSST、HyGT、信號相關變換、KLT、小波變換、整數變換、子帶變 換或概念上類似的變換中的一種。
該變換可將殘餘資訊從圖元值域轉換到變換域，例如頻域。可透過調整量化參數來修改量化程度。
變換/量化單元9143可執行包括經量化的變換係數的矩陣的掃描。可替代地，熵編碼單元9148可執行掃描。
熵編碼單元9148可從預測處理單元9141和變換/量化單元9143接收包括量化參數、變換資料、運動向量、幀內模式、分割資訊和其他語法資訊的多個語法元素。熵編碼單元9148可將語法元素編碼成位元流。
熵編碼單元9148可透過執行CAVLC、CABAC、SBAC、PIPE編碼或另一熵編碼技術來對經量化變換係數進行熵編碼以生成經編碼的位元流。經編碼的位元流可以被傳輸到另一個裝置(即，圖1中的第二電子裝置120)或者被存檔以用於之後的傳輸或者檢索。
逆量化/逆變換單元9144可應用逆量化和逆變換來重建圖元域中的殘餘塊以供之後用作參考塊。第二求和器9145可將經重建的殘餘塊添加到從預測處理單元9141提供的預測塊，以便生成用於存儲在經解碼圖片緩衝器9147中的經重建塊。
濾波單元9146可包括解塊濾波器、SAO濾波器、雙邊濾波器和/或ALF，以從經重建塊移除塊假影。除瞭解塊濾波器、SAO濾波器、雙邊濾波器和ALF之外，可使用額外濾波器(環路內或環路後)。為了簡潔起見，未說明這些濾波器，且可對第二求和器9145的輸出進行濾波。
經解碼圖片緩衝器9147可以係參照圖片記憶體，其存儲供編碼器模組914用於以諸如幀內或幀間編碼模式來編碼視訊的參考塊。經解碼圖片緩衝器9147可包括多種記憶體裝置，諸如DRAM(例如包括SDRAM、MRAM、RRAM)或其他類型的記憶體裝置。經解碼圖片緩衝器9147可與編碼器模組114的其他 元件一起在晶片上，或相對於那些元件在晶片外。
參照圖3和圖9，編碼器模組114可以接收視訊資料，並且透過使用方法300，使用多個幀內預設模式來預測視訊資料中的多個圖像幀。視訊資料可以係待編碼的視訊。編碼器模組114可根據視訊資料從圖像幀確定塊單元和與塊單元相鄰的多個相鄰區域。
編碼器模組114可基於相鄰區域從多個幀內預設模式中選擇多個幀內候選模式。幀內候選模式可以係基於用於塊單元的相鄰區域的至少一個經重建模式而被確定的多個最可能模式MPM。幀內候選模式可基於透過多個模板角度和根據相鄰區域推導出的多個模板幅度生成的梯度長條圖HoG來選擇。
編碼器模組114可生成針對每個幀內候選模式的模板預測。可透過使用每個幀內候選模式，基於參考區域來預測與塊單元相鄰的模板單元。模板預測的數量可等於幀內候選模式的數量。
編碼器模組114可基於模板預測從幀內候選模式中選擇多個預測模式。模板預測可透過用於選擇預測模式的代價函數與模板單元中的多個經重建樣本相比較。在另一實施方式中，模板預測可被直接加權組合以生成多個組合的模板預測。組合的模板預測可以透過用於選擇預測模式的代價函數與模板單元中的經重建樣本相比較。
編碼器模組114可以基於預測模式確定預測塊，並且將塊單元中的多個圖元元素與預測塊進行比較以確定多個殘餘值。編碼器模組114可以將殘餘值編碼成位元流，用於發送給第二電子裝置120。
此外，為了進一步編碼圖像幀中的其他塊單元和其他圖像幀中的其他塊單元，編碼器模組114可以透過使用方法300，使用幀內預設模式來重建塊單元。由編碼器模組114進行的方法300中的塊重建可以與由解碼器模組124進行的方法300中的塊重建相同。
參照圖2和圖9，編碼器模組114可以接收視訊資料，並且透過使用方法600，使用多個幀內預設模式來預測視訊資料中的多個圖像幀。視訊資料可以係待編碼的視訊。編碼器模組114可根據視訊資料從圖像幀確定塊單元和與塊單元相鄰的多個相鄰區域。
編碼器模組114可確定多個幀內擴展模式，包括多個幀內預設模式和多個附加模式。可在幀內擴展模式中添加多個廣角模式。再者，可在相鄰的幀內預設模式之間或相鄰的廣角模式之間添加附加模式。
編碼器模組114可基於相鄰區域從多個幀內擴展模式中選擇多個幀內候選模式。幀內候選模式可基於透過多個模板角度和根據相鄰區域推導出的多個模板幅度生成的梯度長條圖HoG來選擇。
編碼器模組114可基於多個幀內候選模式生成加權預測。幀內候選模式的加權參數可基於HoG中的累計振幅來確定。再者，當幀內候選模式中的一個是預設候選模式時，該預設候選模式的加權參數可以係預定義值W d 。故，其他加權參數可基於(1-W d )和HoG中的累計振幅推導出。在一些實施方式中，加權預測的組合可被預定義以加權地組合所有幀內候選模式。在一些實施方式中，加權預測的組合可選自多個組合模式。故，編碼器模組114可發信號通知索引，例如表2中的DIMD索引和表3中的混合索引，以供解碼器模組124確定加權預測的組合。
編碼器模組114可以透過任何其他預測方法預測塊單元以生成多個預測結果。可以透過代價函數將預測結果和加權預測與塊單元進行比較以確定如何預測塊單元。當選擇加權預測來預測塊單元時，加權預測可以被認為是預測塊。當基於模式擴展生成的加權預測沒有被選擇時，編碼器模組114可以用信號通知模式擴展標誌以指示方法600可以不用於塊單元。此外，當不選擇DIMD模式中的其他預測結果時，編碼器模組114可發信號通知DIMD標誌以 指示DIMD模式不用於塊單元。故，解碼器模組124還可基於DIMD模式來確定方法600不用於塊單元。
編碼器模組114可以將塊單元中的多個圖元元素與預測塊進行比較以確定多個殘餘值。編碼器模組114可以將殘餘值編碼成位元流，用於發送給第二電子裝置120。
此外，為了預測圖像幀中的其他塊單元和其他圖像幀中的其他塊單元，編碼器模組114可以透過使用方法600，使用幀內預設模式來重建塊單元。由編碼器模組114進行的方法600中的塊重建可以與由解碼器模組124進行的方法600中的塊重建相同。
參照圖7和圖9，編碼器模組114可以接收視訊資料並且透過使用與方法700相對應的編碼器方法，使用多個幀內預設模式來預測視訊資料中的多個圖像幀。視訊資料可以係待編碼的視訊。編碼器模組114可根據視訊資料從圖像幀確定塊單元和與塊單元相鄰的多個相鄰行。
在一些實施方式中，編碼器模組114可對多個模板行進行濾波以確定各自包含多個幀內候選模式和模板行中的對應一個的多個候選集合，且基於多個參考行來預測塊單元以基於每個候選集合的幀內候選模式來生成多個預測塊。在一些實施方式中，編碼器模組114可僅對一個模板行進行濾波以確定多個幀內候選模式，且基於多個參考行來預測塊單元以基於幀內候選模式生成多個預測塊。在一些實施方式中，編碼器模組114可對多個模板行進行濾波以確定各自包含多個幀內候選模式和模板行中的對應一個的多個候選集合，且僅基於一個參考行來預測塊單元以基於每個候選集合的幀內候選模式來生成多個預測塊。
編碼器模組114可以透過使用模板行和參考行兩者來預測塊單元，透過使用模板行和一個參考行來預測塊單元，並且透過使用一個模板行和參考 行來預測塊單元以生成多個預測塊。預測塊透過加權地組合多個預測塊來生成，每個預測塊對應於與模板行和參考行相關的不同預測方案。
編碼器模組114可基於模板行從多個幀內預設模式中選擇幀內候選模式。幀內候選模式可基於透過多個模板角度和根據模板行推導出的多個模板幅度生成的梯度長條圖HoG來選擇。編碼器模組114可透過使用多個幀內候選模式，基於參考行生成加權預測。幀內候選模式的加權參數可基於HoG中的累計振幅來確定。再者，當幀內候選模式中的一個是預設候選模式時，該預設候選模式的加權參數可以係預定義值W d 。故，其他加權參數可基於(1-W d )和HoG中的累計振幅推導出。在一些實施方式中，加權預測的組合可被預定義以加權地組合所有幀內候選模式。在一些實施方式中，加權預測的組合可選自多個組合模式。故，編碼器模組114可發信號通知索引，例如表2中的DIMD索引和表3中的混合索引，以供解碼器模組124確定加權預測的組合。
編碼器模組114可以透過任何其他預測方法預測塊單元以生成多個預測結果。可以透過代價函數將預測結果和加權預測與塊單元進行比較以確定如何預測塊單元。當選擇加權預測來預測塊單元時，加權預測可以被認為是預測塊。當基於模板行或參考行生成的加權預測未被選擇時，編碼器模組114可以用信號通知多行標誌以指示方法700可以不用於塊單元。此外，當不選擇DIMD模式中的其他預測結果時，編碼器模組114可發信號通知DIMD標誌以指示DIMD模式不用於塊單元。故，解碼器模組124還可基於DIMD模式來確定方法700不用於塊單元。
編碼器模組114可以將塊單元中的多個圖元元素與預測塊進行比較以確定多個殘餘值。編碼器模組114可以將殘餘值編碼成位元流，用於發送給第二電子裝置120。
此外，為了預測圖像幀中的其他塊單元和其他圖像幀中的其他塊單 元，編碼器模組114可以透過使用方法700，使用幀內預設模式來重建塊單元。由編碼器模組114進行的方法700中的塊重建可以與由解碼器模組124進行的方法700中的塊重建相同。
所揭露的實施方式在所有方面都應被認為是說明性的而非限制性的。還應當理解的是，雖然本揭露不限於具體揭露的實施方式，但在不脫離本揭露的範圍的情況下，許多重排、修改和替換是可能的。
300:方法
310、320、330、340、350、360:動作

Claims (18)

  1. 一種透過電子裝置解碼視訊資料的方法，所述方法包括：接收所述視訊資料；根據所述視訊資料從圖像幀確定塊單元和與所述塊單元相鄰的多個相鄰區域；基於所述相鄰區域從多個幀內預設模式中選擇多個幀內候選模式，其中：透過使用梯度濾波器對所述多個相鄰區域進行濾波，以生成多個模板角度和多個模板幅度，所述多個模板角度中的每一個對應於所述多個模板幅度中的一個，以及基於所述多個模板角度和所述多個模板幅度生成梯度長條圖HoG，以用於選擇所述多個幀內候選模式；針對所述多個幀內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式重建所述塊單元。
  2. 如請求項1所述之方法，進一步包括：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊以生成所述模板預測。
  3. 如請求項2所述之方法，進一步包括：透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值，其中還基於所述多個代價值選擇所述多個預測模式。
  4. 如請求項3所述之方法，其中，由代價函數確定的所述多個代價值中的每一個對應於所述模板預測中的一個。
  5. 如請求項2所述之方法，其中，所述多個模板塊包括頂部相鄰塊和左相鄰塊，且每一個與所述塊單元相鄰。
  6. 如請求項1所述之方法，進一步包括：基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；以及加權地組合所述多個預測塊以生成具有多個加權參數的預測塊，其中還基於所述預測塊來重建所述塊單元。
  7. 如請求項6所述之方法，其中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
  8. 如請求項7所述之方法，其中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
  9. 如請求項1所述之方法，其中，所述多個相鄰區域係與所述塊單元相鄰的多個重建塊；在重建所述塊單元之前，基於至少一個重建模式來重建所述多個重建塊；以及所述多個幀內候選模式係基於所述至少一個重建模式從所述多個幀內預設模 式中選擇的多個最可能模式MPM。
  10. 如請求項1所述之方法，進一步包括：基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的多個模板幅度從所述多個幀內預設模式中選擇所述多個幀內候選模式。
  11. 一種用於解碼視訊資料的電子裝置，所述電子裝置包括：至少一個處理器；以及至少一個記憶體，其耦接至所述至少一個處理器並且存儲多個指令，當所述多個指令由所述至少一個處理器執行時，使所述電子裝置：接收所述視訊資料；根據所述視訊資料從圖像幀確定塊單元和與所述塊單元相鄰的多個相鄰區域；基於所述相鄰區域從多個幀內預設模式中選擇多個幀內候選模式，其中：透過使用梯度濾波器對所述多個相鄰區域進行濾波，以生成多個模板角度和多個模板幅度，所述多個模板角度中的每一個對應於所述多個模板幅度中的一個，以及基於所述多個模板角度和所述多個模板幅度來生成梯度長條圖HoG，以用於選擇所述多個幀內候選模式；針對所述多個幀內候選模式中的每一個生成模板預測；基於所述模板預測從所述多個幀內候選模式中選擇多個預測模式；以及基於所述多個預測模式來重建所述塊單元。
  12. 如請求項11所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：確定與所述塊單元相鄰的多個模板塊；確定與所述多個模板塊相鄰的多個模板參考；以及透過使用所述多個幀內候選模式，基於所述多個模板參考來預測所述多個模板塊，以生成所述模板預測。
  13. 如請求項12所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：透過將所述多個模板塊分別與所述模板預測中的每一個進行比較來確定多個代價值，其中還基於所述多個代價值選擇所述多個預測模式。
  14. 如請求項11所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：基於所述多個預測模式來預測所述塊單元以生成多個預測塊，每個預測塊對應於所述多個預測模式中的一個；加權地組合所述多個預測塊以生成具有多個加權參數的預測塊；以及還基於所述預測塊來重建所述塊單元。
  15. 如請求項14所述之電子裝置，其中，所述多個預測模式基於多個模板塊來選擇；以及所述多個加權參數基於所述多個模板塊來確定。
  16. 如請求項15所述之電子裝置，其中，所述多個模板塊被預測以基於所述多個模板塊的所述模板預測來生成用於選擇所述多個預測模式的所述模板預測；所述多個加權參數基於多個代價值來確定；以及 所述多個代價值透過分別將所述多個模板塊與所述模板預測中的每個模板預測進行比較來確定。
  17. 如請求項11所述之電子裝置，其中，所述多個相鄰區域係與所述塊單元相鄰的多個重建塊；在重建所述塊單元之前，基於至少一個重建模式來重建所述多個重建塊；以及所述多個幀內候選模式係基於所述至少一個重建模式從所述多個幀內預設模式中選擇的多個最可能模式MPM。
  18. 如請求項11所述之電子裝置，其中，所述多個指令在由所述至少一個處理器執行時進一步使所述電子裝置：基於預定義的關係將所述多個模板角度中的每一個模板角度映射到所述多個幀內預設模式中的一個幀內預設模式，以生成至少一個映射模式；以及透過基於所述至少一個映射模式累計所述多個模板幅度來生成所述HoG，其中，基於所述HoG中累計的多個幅度，從所述多個幀內預設模式中選擇所述多個幀內候選模式。
TW111123772A 2021-06-25 2022-06-24 用於編碼視訊資料的裝置和方法 TWI807882B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163215359P 2021-06-25 2021-06-25
US63/215359 2021-06-25
US202163216191P 2021-06-29 2021-06-29
US63/216191 2021-06-29
US202163260572P 2021-08-25 2021-08-25
US63/260572 2021-08-25

Publications (2)

Publication Number Publication Date
TW202310627A TW202310627A (zh) 2023-03-01
TWI807882B true TWI807882B (zh) 2023-07-01

Family

ID=84544156

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111123772A TWI807882B (zh) 2021-06-25 2022-06-24 用於編碼視訊資料的裝置和方法

Country Status (4)

Country Link
US (1) US20240236308A1 (zh)
EP (1) EP4356611A1 (zh)
TW (1) TWI807882B (zh)
WO (1) WO2022268198A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024152384A1 (zh) * 2023-01-20 2024-07-25 Oppo广东移动通信有限公司 编解码方法及装置、编解码器、码流、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544596B1 (en) * 2013-12-27 2017-01-10 Google Inc. Optimized template matching approach to intra-coding in video/image compression
TW201818723A (zh) * 2016-09-22 2018-05-16 聯發科技股份有限公司 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108028942B (zh) * 2015-06-04 2020-06-26 清华大学 像素预测方法、编码方法、解码方法及其装置、存储介质
WO2017184970A1 (en) * 2016-04-22 2017-10-26 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
WO2017201141A1 (en) * 2016-05-17 2017-11-23 Arris Enterprises Llc Template matching for jvet intra prediction
US10757442B2 (en) * 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544596B1 (en) * 2013-12-27 2017-01-10 Google Inc. Optimized template matching approach to intra-coding in video/image compression
TW201818723A (zh) * 2016-09-22 2018-05-16 聯發科技股份有限公司 使用解碼器側圖框內預測推導的視訊編解碼的方法及裝置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Mohsen Abdoli et.al Non-CE: Decoder-side Intra Mode Derivation with Prediction Fusion Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH 19–29 March. 2019 https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0342-v5.zip *

Also Published As

Publication number Publication date
WO2022268198A1 (en) 2022-12-29
US20240236308A1 (en) 2024-07-11
EP4356611A1 (en) 2024-04-24
TW202310627A (zh) 2023-03-01

Similar Documents

Publication Publication Date Title
KR102585855B1 (ko) 비디오 데이터를 코딩하기 위한 디바이스 및 방법
WO2019210840A1 (en) Device and method for coding video data based on different reference sets in linear model prediction
CN111316640B (zh) 基于调整的帧内模式列表以编码视频数据的设备及方法
CN112369026A (zh) 用于基于一个或多个参考线编码视频数据的设备和方法
US20220345700A1 (en) Device and method for coding video data
US20240089432A1 (en) Device and method for coding video data for geometric partitioning mode
TWI807882B (zh) 用於編碼視訊資料的裝置和方法
TWI829210B (zh) 用於編碼視訊資料的裝置和方法
US20200036991A1 (en) Device and method for coding video data with block sub-partition and reference sample selection
JP7345573B2 (ja) 動画像データをコーディングする装置及び方法
US11051029B2 (en) Device and method for coding video data
US20240305771A1 (en) Device and method for decoding video data
WO2024199415A1 (en) Device and method for decoding video data