TW202101978A - 用於矩陣內部預測模式之參考取樣 - Google Patents
用於矩陣內部預測模式之參考取樣 Download PDFInfo
- Publication number
- TW202101978A TW202101978A TW109115110A TW109115110A TW202101978A TW 202101978 A TW202101978 A TW 202101978A TW 109115110 A TW109115110 A TW 109115110A TW 109115110 A TW109115110 A TW 109115110A TW 202101978 A TW202101978 A TW 202101978A
- Authority
- TW
- Taiwan
- Prior art keywords
- samples
- prediction
- block
- current block
- internal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明描述產生用於矩陣內部預測(MIP)工具之一預測區塊。一視訊寫碼器(例如視訊編碼或視訊解碼器)可基於參考樣本產生內部預測樣本，其中該等內部預測樣本為該預測區塊之一子取樣樣本集合。該視訊寫碼器可削減該等內部預測樣本，且在削減該等內部預測樣本之後，產生該預測區塊之一或多個剩餘樣本。
Description
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265/高效視訊寫碼(HEVC)定義之標準，及此等標準的擴展中所描述之技術。視訊器件可藉由實施此類視訊寫碼技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除為視訊序列所固有之冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經內部寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可稱為圖框，且參考圖像可稱為參考圖框。
一般而言，本發明描述用於仿射線性加權內部預測(亦稱作矩陣內部預測(MIP))之技術。在MIP中，當前區塊之參考樣本(例如基於諸如左上方樣本之相鄰樣本的樣本)經濾波以形成用於產生預測區塊的樣本。視訊編碼器發信預測區塊與當前區塊之間的殘餘值。視訊解碼器以類似於視訊編碼器之方式產生預測區塊並基於預測區塊及所接收殘餘值重建構當前區塊。
作為根據MIP產生預測區塊之部分，視訊寫碼器(例如視訊編碼器或視訊解碼器)可基於參考樣本產生內部預測樣本，其中該等內部預測樣本為預測區塊之子取樣樣本集合(例如預測區塊之樣本的一些而非所有)。視訊寫碼器可基於內部預測樣本(例如藉由內插內部預測樣本)產生預測區塊之一或多個剩餘樣本。
一些技術描述在產生一或多個剩餘樣本之後削減預測區塊之樣本。然而，延遲削減操作直至在產生一或多個剩餘供應之後為止可需要可被減少的額外操作。在不減少此等操作情況下，藉由視訊編碼器及視訊解碼器進行的處理時間可受到影響，此係因為在產生預測區塊時浪費處理時間。
本發明描述對內部預測樣本執行削減操作(例如在產生一或多個剩餘樣本之前)的實例技術。視訊寫碼器接著可基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本。因為較少樣本需要削減，因此產生預測區塊之處理時間可相對於其中在產生預測區塊之一或多個剩餘樣本之後執行削減的實例技術而減少。以此方式，本發明描述改良內部預測程序(諸如仿射線性加權內部預測(亦稱作MIP)之程序)的實例技術，並提供在視訊寫碼技術中之內部預測的實際應用。
在一個實例中，本發明描述一種解碼視訊資料之方法，該方法包含：產生當前區塊之預測區塊，其中產生當前區塊之預測區塊包含基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合；削減該等內部預測樣本；及在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本，及基於預測區塊及指示預測區塊與當前區塊之間的差的殘餘值重建構當前區塊。
在一個實例中，本發明描述一種編碼視訊資料的方法，該方法包含：產生當前區塊之預測區塊，其中產生當前區塊之預測區塊包含基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合；削減該等內部預測樣本；及在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本；判定指示當前區塊與預測區塊之間的差的殘餘值；及發信指示殘餘值之資訊。
在一個實例中，本發明描述一種用於解碼視訊資料之器件，該器件包含經組態以儲存當前區塊之參考樣本的記憶體及經組態以產生當前區塊之預測區塊的處理電路，其中為產生當前區塊之預測區塊，該處理電路經組態以：基於儲存於記憶體中之當前區塊的參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合；削減該等內部預測樣本；及在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本；及基於預測區塊及指示預測區塊與當前區塊之間的差的殘餘值重建構當前區塊。
在一個實例中，本發明描述一種用於編碼視訊資料之器件，該器件包含經組態以儲存當前區塊之參考樣本的記憶體及經組態以產生當前區塊之預測區塊的處理電路，其中為產生當前區塊之預測區塊，該處理電路經組態以：基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合；削減該等內部預測樣本；及在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本；判定指示當前區塊與預測區塊之間的差的殘餘值；及發信指示殘餘值之資訊。
在一個實例中，本發明描述一種用於解碼視訊資料之器件，該器件包含：用於產生當前區塊之預測區塊的構件，其中該用於產生當前區塊之預測區塊的構件包含用於基於當前區塊之參考樣本判定內部預測樣本的構件，該等內部預測樣本為預測區塊之子取樣樣本集合；用於削減內部預測樣本的構件；及用於在削減內部預測樣本之後基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本的構件；及用於基於預測區塊及指示預測區塊與當前區塊之間的差的殘餘值重建構當前區塊的構件。
在一個實例中，本發明描述一種其上儲存指令之電腦可讀儲存媒體，該等指令當經執行時使用於解碼視訊資料之器件的一或多個處理器產生當前區塊之預測區塊，其中使該一或多個處理器產生當前區塊之預測區塊的該等指令包含使該一或多個處理器執行以下操作的指令：基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合；削減該等內部預測樣本；及在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本；及基於預測區塊及指示預測區塊與當前區塊之間的差的殘餘值重建構當前區塊。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自描述、圖式及申請專利範圍而顯而易見。
本申請案主張2019年5月9日申請之美國臨時專利申請案62/845,732、2019年5月28日申請之美國臨時專利申請案62/853,573及2019年6月19日申請之美國臨時申請案62/863,729之權利，該等申請案中之每一者的全部內容以引用之方式併入。
在視訊寫碼中，視訊編碼器產生正經編碼的當前區塊之預測區塊及預測區塊與當前區塊之間的殘餘(例如差)。視訊編碼器發信指示殘餘之資訊至視訊解碼器。視訊解碼器使用與視訊編碼器相同之技術產生當前區塊之預測區塊，並添加殘餘至預測區塊以重建構當前區塊。
視訊編碼器及視訊解碼器(一般被稱作視訊寫碼器)可經組態以根據仿射線性加權內部預測(ALWIP)工具(亦稱作矩陣內部預測(MIP)工具)產生預測區塊。根據MIP，視訊寫碼器可基於參考樣本判定邊界值。參考樣本的實例包括來自當前區塊左側的行之相鄰樣本及來自當前區塊上方的列之相鄰樣本。
在一些實例中，視訊寫碼器可平均化參考樣本集以判定邊界值。作為一個實例，對於8×8大小的當前區塊，在當前區塊左側的行包括8個參考樣本。視訊寫碼器可判定兩個樣本之集合(例如第一集合包括8個參考樣本之前兩個樣本，且第二集合包括8個參考樣本之接下來兩個樣本)並判定兩個樣本之每一集合以產生左側的四個邊界值。視訊寫碼器可對於在當前區塊上方的列中之8個參考樣本執行類似操作以產生上方之四個邊界值。
在一些實例中，視訊寫碼器可將邊界值設定為等於參考樣本(例如在不平均化的情況下)。舉例而言，對於8×4大小之當前區塊，在當前區塊左側的行包括四個參考樣本。視訊寫碼器可將四個參考樣本設定為等於左側之四個邊界值。對於在當前區塊上方的8個參考樣本，視訊寫碼器可執行類似於8×8大小之當前區塊實例的平均化。
8×8及8×4為兩個區塊大小的實例。對於不同區塊大小，視訊寫碼器可執行類似操作。舉例而言，對於4×4大小之區塊，可不存在平均化。對於16×16大小區塊，可存在在左側的參考樣本之四個樣本集合的平均化及上方的兩個樣本集合的平均化，繼之以另一輪平均化。
在判定邊界值之後，視訊寫碼器可諸如藉由執行矩陣乘法及加法，使用預定或所發信參數來按比例調整及偏移。在一些技術中，被稱作內部預測樣本之所得值可形成預測區塊之一部分。亦即，若預測區塊包括樣本之集合，則在一些技術中，所得值(例如內部預測樣本)為預測區塊之子取樣樣本集合。視訊寫碼器接著可使用子取樣集合產生預測區塊之一或多個剩餘樣本(例如藉由使用子取樣集合內插)。在此等技術中，視訊寫碼器接著可削減預測區塊之值以使得預測區塊的值在設定範圍內。
然而，在此等技術中之一些中可存在缺陷。舉例而言，藉由延遲削減直至在產生預測區塊之剩餘值之後為止，相較於視訊寫碼器在產生預測區塊之剩餘值之前執行削減的情況，需要削減的樣本之數目增加。削減操作可使用視訊寫碼器之處理時間，其延遲預測區塊之產生，且隨後延遲當前區塊的編碼及重建構。
本發明描述在產生預測區塊之剩餘樣本之前削減內部預測樣本的實例技術。舉例而言，為產生預測區塊，視訊寫碼器可基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊的子取樣樣本集合。視訊寫碼器可削減內部預測樣本，且在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本。在此類技術中，因為在產生預測區塊之一或多個剩餘樣本之前對內部預測樣本執行削減，因此將需要對預測區塊執行之削減操作的數目可減少，此減少處理時間並改良視訊寫碼器之操作。
圖1為說明可執行本發明之技術的實例視訊編碼及解碼系統100的方塊圖，包括用於執行本文中所描述的用於矩陣內部預測模式之參考取樣的技術。本發明之技術通常係針對寫碼(編碼及/或解碼)視訊資料。一般而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經編碼的視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如發信資料。
如圖1中所展示，在此實例中，系統100包括源器件102，其提供待由目的地器件116解碼及顯示之經編碼視訊資料。詳言之，源器件102經由電腦可讀媒體110將視訊資料提供至目的地器件116。源器件102及目的地器件116可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機頂盒、諸如智慧型電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，源器件102及目的地器件116可經裝備用於無線通信，且由此可稱為無線通信器件。
在圖1之實例中，源器件102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地器件116包括輸入介面122、視訊解碼器300、記憶體120及顯示器件118。根據本發明，源器件102之視訊編碼器200及目的地器件116之視訊解碼器300可經組態以應用用於仿射線性加權內部預測(亦稱作矩陣內部預測(MIP))的技術。因此，源器件102表示視訊編碼器件之實例，而目的地器件116表示視訊解碼器件之實例。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件102可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件116可與外部顯示器件介接，而非包括整合式顯示器件。
如圖1中所示，系統100僅為一個實例。一般而言，任何數位視訊編碼及/或解碼器件可執行用於仿射線性加權內部預測(例如矩陣內部預測(MIP))的技術。源器件102及目的地器件116僅為源器件102產生經寫碼視訊資料以供傳輸至目的地器件116的此類寫碼器件之實例。本發明將「寫碼」器件稱為對資料執行寫碼(編碼及/或解碼)之器件。因此，視訊編碼器200及視訊解碼器300表示寫碼器件之實例，詳言之分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，器件102、116可以實質上對稱之方式操作，使得器件102、116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援視訊器件102、116之間的單向或雙向視訊傳輸以(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。
一般而言，視訊源104表示視訊資料源(亦即，原始未經編碼的視訊資料)且將視訊資料之依序圖像(亦稱為「圖框」)提供至視訊編碼器200，該視訊編碼器編碼圖像之資料。源器件102之視訊源104可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之原始視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200對所俘獲、所預先俘獲或電腦產生之視訊資料進行編碼。視訊編碼器200可將圖像之接收次序(有時被稱作「顯示次序」)重新配置成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源器件102接著可經由輸出介面108輸出經編碼視訊資料至電腦可讀媒體110上以由例如目的地器件116之輸入介面122接收及/或擷取。
源器件102之記憶體106及目的地器件116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如自視訊源104之原始視訊及自視訊解碼器300之原始經解碼視訊資料。另外或替代地，記憶體106、120可儲存分別可由例如視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括功能上類似或等效目的之內部記憶體。此外，記憶體106、120可儲存例如自視訊編碼器200輸出及輸入至視訊解碼器300的經編碼視訊資料。在一些實例中，可分配記憶體106、120之部分作為一或多個視訊緩衝器例如以儲存原始經解碼及/或經編碼視訊資料。
電腦可讀媒體110可表示能夠將經編碼視訊資料自源器件102輸送至目的地器件116的任何類型的媒體或器件。在一個實例中，電腦可讀媒體110表示用以使源器件102能即時例如經由射頻網路或基於電腦之網路直接傳輸經編碼視訊資料至目的地器件116的通信媒體。根據諸如無線通信協定之通信標準，輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可調變所接收之傳輸信號。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件102至目的地器件116的通信之任何其他設備。
在一些實例中，源器件102可自輸出介面108輸出經編碼資料至儲存器件112。類似地，目的地器件116可經由輸入介面122自儲存器件112存取經編碼資料。儲存器件112可包括多種分佈式或本端存取的資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。
在一些實例中，源器件102可將經編碼視訊資料輸出至檔案伺服器114，或可儲存由源器件102所產生之經編碼視訊的另一中間儲存器件。目的地器件116可經由串流傳輸或下載而自檔案伺服器114存取所儲存之視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件116的任何類型之伺服器器件。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路器件或網路附加儲存(NAS)器件。目的地器件116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器114上之經編碼視訊資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者的組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合來操作。
輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如，乙太網卡)、根據多種IEEE 802.11標準中之任一者來操作的無線通信組件或其他實體組件。在輸出介面108及輸入介面122包含無線組件之實例中，輸出介面108及輸入介面122可經組態以根據蜂巢式通信標準(諸如4G、4G-LTE(長期演進)、LTE進階、5G或其類似者)來傳遞資料，諸如經編碼視訊資料。在輸出介面108包含無線傳輸器的一些實例中，輸出介面108及輸入介面122可經組態以根據諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth™標準或其類似者的其他無線標準傳送資料(諸如經編碼視訊資料)。在一些實例中，源器件102及/或目的地器件116可包括各別晶片上系統(SoC)器件。舉例而言，源器件102可包括SoC器件以執行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地器件116可包括SoC器件以執行歸於視訊解碼器300及/或輸入介面122之功能性。
本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。
目的地器件116之輸入介面122自電腦可讀媒體110 (例如儲存器件112、檔案伺服器114或其類似者)接收經編碼視訊位元串流。經編碼視訊位元串流電腦可讀媒體110可包括由視訊編碼器200界定的發信資訊(其亦由視訊解碼器300使用)，諸如具有描述視訊區塊或其他經寫碼單元(例如圖塊、圖像、圖像之群組、序列或其類似者)的特性及/或處理之值的語法元素。顯示器件118向使用者顯示經解碼視訊資料之經解碼圖像。顯示器件118可表示多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
儘管圖1中未展示，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器200及視訊解碼器300各自可被實施為多種合適編碼器及/或解碼器電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合的電路。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)的部分。包括視訊編碼器200及/或視訊解碼器300之器件可包含積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
視訊編碼器200及視訊解碼器300可根據視訊寫碼標準操作，諸如ITU-T H.265，亦稱作高效視訊寫碼(HEVC)或其擴展，諸如多視圖及/或可調式視訊寫碼擴展。替代地，視訊編碼器200及視訊解碼器300可根據其他專有或行業標準，諸如ITU-T H.266 (亦稱作通用視訊寫碼(VVC))來操作。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)第14次會議：2019年3月19日至27日，Geneva, CH，JVET-N1001-v5，Bross等人之「Versatile Video Coding (Draft 5)」(下文中「VVC草案5)中描述VVC標準之草案。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)第17次會議：2020年1月7日至17日，Brussels, BE，JVET-Q2001-vE，Bross等人之「Versatile Video Coding (Draft 8)」(下文中「VVC草案8)中描述VVC標準之最新草案。然而，本發明之技藝不限於任何特定寫碼標準。
一般而言，視訊編碼器200及視訊解碼器300可執行圖像之基於區塊的寫碼。術語「區塊」通常係指包括待處理(例如編碼、解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括明度及/或色度資料之樣本之二維矩陣。一般而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼明度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式化資料轉換為YUV表示，且視訊解碼器300將YUV表示轉換為RGB格式。替代地，預處理單元及後處理單元(圖中未示)可執行此等轉換。
本發明通常可指對圖像進行寫碼(例如編碼及解碼)以包括編碼或解碼圖像之資料的程序。類似地，本發明可指對圖像之區塊進行寫碼以包括編碼或解碼區塊之資料的程序，例如，預測及/或殘餘寫碼。經編碼視訊位元串流通常包括表示寫碼決策(例如寫碼模式)及圖像成區塊之分割的語法元素的一系列值。因此，對寫碼圖像或區塊之提及通常應理解為寫碼形成圖像或區塊之語法元素的值。
HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)，及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四分樹結構將寫碼樹單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相同的非重疊正方形，且四分樹之每一節點具有零個或四個子節點。不具有子節點之節點可被稱作「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四分樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經內部預測之CU包括內部預測資訊，諸如內部模式指示。
作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據VVC操作。根據VVC，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹單元(CTU)。視訊編碼器200可根據樹結構分割CTU，諸如四分樹二進位樹(QTBT)結構或多類型樹(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四分樹分割進行分割之第一層級，及根據二進位樹分割進行分割之第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於寫碼單元(CU)。
在MTT分割結構中，區塊可使用四分樹(QT)分割、二進位樹(BT)分割及一或多種類型之三重樹(TT)分割來進行分割。三重樹分割為區塊分裂成三個子區塊的分割。在一些實例中，三重樹分割在不經由中心分隔原始區塊情況下將區塊分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。
在一些實例中，視訊編碼器200及視訊解碼器300可使用單個QTBT或MTT結構來表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或大於兩個QTBT或MTT結構，諸如用於明度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。
視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。
本發明可能可互換地使用「N×N」及「N乘N」以指區塊(諸如CU或其他視訊區塊)在垂直及水平尺寸方面之樣本尺寸，例如16×16樣本或16乘16樣本。一般而言，16×16 CU在垂直方向上將具有16個樣本(y = 16)且在水平方向上將具有16個樣本(x = 16)。同樣，N×N CU通常在垂直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可以列及行形式來配置CU中之樣本。此外，CU不一定在水平方向上及垂直方向上具有相同數目個樣本。舉例而言，CU可包含N×M個樣本，其中M未必等於N。
視訊編碼器200對CU之表示預測及/或殘餘資訊及其他資訊的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成CU之預測區塊。殘餘資訊通常表示在編碼之前CU與預測區塊的樣本之間的逐樣本差。
為了預測CU，視訊編碼器200可通常經由框間預測或內部預測形成CU之預測區塊。框間預測通常係指自先前經寫碼圖像之資料預測CU，而內部預測通常係指自同一圖像之先前經寫碼資料預測CU。為了執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200通常可執行運動搜尋以例如依據在CU與參考區塊之間的差識別緊密匹配CU的參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。
VVC之一些實例亦提供仿射運動補償模式，其可經視為框間預測模式。在仿射運動補償模式中，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或大於兩個運動向量。
為了執行內部預測，視訊編碼器200可選擇內部預測模式以產生預測區塊。VVC之一些實例提供六十七種內部預測模式，包括各種定向模式以及平面模式及DC模式。一般而言，視訊編碼器200選擇描述預測當前區塊之樣本所藉以的當前區塊(例如CU之區塊)之相鄰樣本的內部預測模式。假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU，此類樣本通常可在與當前區塊相同之圖像中處於當前區塊之上方、左上方或左側。
內部預測之另一實例為仿射線性加權內部預測(ALWIP)，亦稱作矩陣內部預測(MIP)。下文更詳細地描述MIP模式之實例。一般而言，在MIP中，視訊編碼器200基於由參考樣本(例如相鄰樣本)產生的邊界值產生預測區塊之樣本中的一些。視訊編碼器200基於由邊界值產生之樣本產生預測區塊的剩餘樣本中之一或多者。視訊解碼器300執行類似操作以產生用於MIP之預測區塊。
視訊編碼器200編碼表示當前區塊之預測模式的資料。舉例而言，針對框間預測模式，視訊編碼器200可編碼表示使用多種可用框間預測模式中之何者以及對應模式之運動資訊的資料。舉例而言，針對單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來對運動向量進行編碼。視訊編碼器200可使用類似模式來對仿射運動補償模式之運動向量進行編碼。
在區塊之預測(諸如內部預測或框間預測)之後，視訊編碼器200可計算該區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式所形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個變換應用於殘餘區塊，以在變換域而非樣本域中產生經變換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用二級變換，諸如模式依賴不可分離二級變換(MDNSST)、信號依賴變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個變換之後產生變換係數。
如上文所指出，在產生變換係數之任何變換之後，視訊編碼器200可執行變換係數之量化。量化通常指變換係數經量化以可能減少用於表示該等係數的資料之量，從而提供進一步壓縮之程序。藉由執行量化程序，視訊編碼器200可減少與係數中之一些或所有相關聯的位元深度。舉例而言，視訊編碼器200可在量化期間將n位元值捨入至m位元值，其中n大於m。在一些實例中，為了執行量化，視訊編碼器200可執行待量化值之按位元右移位。
在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於向量前部，且將較低能量(且因此較高頻率)變換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串列化向量，且接著熵編碼向量之經量化變換係數。在其他實例中，視訊編碼器200可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器200可例如根據上下文自適應二進位算術寫碼(CABAC)對一維向量進行熵編碼。視訊編碼器200亦可熵編碼描述與經編碼視訊資料相關聯之後設資料之語法元素的值，以供由視訊解碼器300用於解碼視訊資料。
為執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。上下文可係關於(例如)符號之相鄰值是否為零值。機率判定可基於指派給符號之上下文。
視訊編碼器200可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中向視訊解碼器300產生語法資料(諸如基於區塊之語法資料、基於圖像之語法資料以及基於序列之語法資料)。視訊解碼器300可類似地解碼此語法資料以判定如何解碼對應視訊資料。
以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如，描述圖像成區塊(例如CU)之分割的語法元素及用於區塊之預測及/或殘餘資訊)之位元串流。最終，視訊解碼器300可接收位元串流並解碼經編碼視訊資料。
一般而言，視訊解碼器300執行與視訊編碼器200所執行之程序互逆的程序，以對位元串流之經編碼視訊資料進行解碼。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序實質上類似但互逆的方式對位元串流之語法元素的值進行解碼。語法元素可定義圖像成CTU之分割資訊，及每一CTU根據對應分割結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如CU)的預測及殘餘資訊。
殘餘資訊可由例如經量化變換係數表示。視訊解碼器300可反量化及反變換區塊之經量化變換係數，以再生區塊之殘餘區塊。視訊解碼器300使用發信之預測模式(內部或框間預測)及相關預測資訊(例如用於框間預測之運動資訊)以形成區塊之預測區塊。視訊解碼器300可接著(在逐樣本基礎上)使預測區塊與殘餘區塊組合以再生初始區塊。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺假影。
根據本發明之技術，視訊寫碼器(例如視訊編碼器200或視訊解碼器300)可經組態以基於矩陣內部預測模式根據本發明中描述之技術的任一者或其組合產生當前區塊之預測區塊並基於該預測區塊寫碼當前區塊。下文更詳細地描述矩陣內部預測模式(MIP)的實例，亦稱作仿射線性加權內部預測(ALWIP)。作為一個實例，視訊編碼器200可使用MIP產生預測區塊，如本發明中所描述，並判定預測區塊與當前區塊之間的殘餘值，且發信指示殘餘值之值。視訊解碼器300可接收指示殘餘值的值並使用MIP產生預測區塊，如本發明中所描述。視訊解碼器300可基於殘餘值及預測區塊重建構當前區塊。
本發明通常可指「發信」某些資訊，諸如語法元素。術語「發信」通常可指用於解碼經編碼視訊資料之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中發信語法元素的值。一般而言，發信指在位元串流中產生值。如上文所提及，源器件102可實質上實時將位元串流傳送至目的地器件116，或不實時傳送，諸如可在將語法元素儲存至儲存器件112以供目的地器件116稍後擷取時發生。
圖2A及圖2B為說明實例四分樹二進位樹(QTBT)結構130及對應寫碼樹單元(CTU) 132之概念圖。實線表示四分樹分裂，且點線指示二進位樹分裂。在二進位樹之每一分裂(亦即，非葉)節點中，一個旗標經發信以指示使用哪一分裂類型(亦即，水平或垂直)，其中在此實例中，0指示水平分裂且1指示垂直分裂。對於四分樹分裂，不存在對於指示分裂類型之需要，此係由於四分樹節點將區塊水平地及垂直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器200可編碼，且視訊解碼器300可解碼用於QTBT結構130之區樹層級(亦即實線)的語法元素(諸如分裂資訊)及用於QTBT結構130之預測樹層級(亦即虛線)的語法元素(諸如分裂資訊)。視訊編碼器200可編碼，且視訊解碼器300可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。
一般而言，圖2B之CTU 132可與定義對應於在第一及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二進位樹大小(MaxBTSize，表示最大允許二進位樹根節點大小)、最大二進位樹深度(MaxBTDepth，表示最大允許二進位樹深度)，及最小二進位樹大小(MinBTSize，表示最小允許二進位樹葉節點大小)。
QTBT結構中對應於CTU之根節點可具有在QTBT結構之第一層級處的四個子節點，該等節點中之每一者可根據四分樹分割來進行分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二進位樹根節點大小(MaxBTSize)，則其可藉由各別二進位樹進一步分割。一個節點之二進位樹分裂可迭代，直至由分裂產生之節點達到最小允許二進位樹葉節點大小(MinBTSize)或最大允許二進位樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。二進位樹葉節點被稱作不更進一步分割之寫碼單元(CU)，其用於預測(例如圖像內或圖像間預測)及變換。如上文所論述，CU亦可稱為「視訊區塊」或「區塊」。
在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize(對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有自16×16 (亦即，MinQTSize)至128×128 (亦即，CTU大小)之大小。若葉四分樹節點為128×128，則葉四分樹節點將不由二進位樹進一步分裂，此係由於大小超過MaxBTSize(亦即，在此實例中64×64)。否則，葉四分樹節點將藉由二進位樹進一步分割。因此，四分樹葉節點亦為二進位樹之根節點並具有為0之二進位樹深度。當二進位樹深度達至MaxBTDepth (在此實例中，4)時，不准許進一步分裂。當二進位樹節點具有等於MinBTSize (在此實例中，4)之寬度時，其意指不准許進一步水平分裂。類似地，具有等於MinBTSize之高度的二進位樹節點意指不准許對彼二進位樹節點進行進一步垂直分裂。如上文所提及，二進位樹之葉節點被稱作CU，且根據預測及變換來進一步處理而不進一步分割。
在瑞士日內瓦第14次JVET會議期間，在2019年3月瑞士日內瓦第14次JVET會議，JVET-N0217，J. Pfaff, B. Stallenberger、M. Schafer、P. Merkle、P. Helle、T. Hinz、H. Schwarz、D. Marpe、T. Wiegand之「CE3: Affine linear weighted intra prediction」(下文中JVET-N0217)中描述的「仿射線性加權內部預測」或「ALWIP」工具經採用至VVC工作草案版本5中。ALWIP工具亦以名稱「矩陣內部預測」或「MIP」參考。作為對此工具之介紹，在以下描述中再現來自JVET-N0217的描述。
此等參考亦可提供關於視訊寫碼的資訊：2018年4月美國San Diego, CA 第10次JVET會議，JVET-J0021，M. Karczewicz等人之「Description of SDR, HDR and 360° video coding technology proposal by Qualcomm」；2017年7月意大利都靈第7次JVET會議，JVET-G1001，J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce之「Algorithm description of Joint Exploration Test Model 7」；及2019年3月瑞士日內瓦第14次JVET會議，JVET-N1002，J. Chen、Y. Ye、S. Kim之「Algorithm description for Versatile Video Coding and Test Model 5 (VTM5)」。
以下內容為來自JVET-N0217之ALWIP方法之描述。為了預測寬度W
及高度H
之矩形區塊的樣本，ALWIP採用在區塊左側之H個經重建構相鄰邊界樣本的一個線及在區塊上方的W
個經重建構相鄰邊界樣本之一個線作為輸入。若經重建構樣本不可用，則使用習知內部預測產生樣本(參看以下對於VVC參考樣本取代程序的描述)。相鄰邊界樣本可為用於MIP的參考樣本之實例。
預測信號之產生係基於以下步驟：
1. 視訊編碼器200及視訊解碼器300可藉由自邊界樣本(例如參考樣本，其可為相鄰樣本)求平均值來判定在W
=H
=4之情況下的四個樣本(被稱作邊界值)及在所有其他情況下的八個樣本(被稱作邊界值)。
2. 視訊編碼器200及視訊解碼器300可運用平均化樣本作為輸入來執行矩陣向量乘法，繼之以加上偏移。結果為預測區塊中之子取樣樣本集合的減少之預測信號。換言之，視訊編碼器200及視訊解碼器300可執行矩陣向量乘法及偏移之加法以基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合(例如預測區塊之一些而非所有樣本)。
3. 在剩餘位置處之預測信號係藉由線性內插自子取樣集合上之預測信號產生，該線性內插為在每一方向上之單一步驟線性內插。舉例而言，視訊編碼器200及視訊解碼器300可基於內部預測樣本產生預測區塊中之一或多個剩餘樣本。
4. 在一些情況下，矩陣向量乘法可導致超出範圍值。因此，視訊編碼器200及視訊解碼器300可對完整解析度預測信號(例如對預測區塊中之樣本)執行削減操作。
在以上實例中，在產生一或多個剩餘樣本之後執行削減操作。在此情況下，存在需要削減的樣本之數目大於理想數目的機會，此不利地影響處理時間。根據一或多個實例技術，視訊編碼器200及視訊解碼器300可對內部預測樣本(亦即，預測區塊之子取樣樣本集合)執行削減，且在削減內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本。以此方式，視訊編碼器200及視訊解碼器300可使用MIP產生當前區塊之預測區塊。因為在產生一或多個剩餘樣本之前執行削減，因此相對於在產生一或多個剩餘樣本之後執行削減的情況下需要削減的樣本之數目，可減少需要削減的預測區塊之樣本的數目。
產生預測信號所需要的矩陣及偏移向量係自矩陣之三個集合S 0
、S 1
、S 2
取得。集合S 0
由18個矩陣
，i
∈{0,…,17} (其中之每一者具有16列及4行)及18個偏移向量
，i
∈{0,…,17} (其中之每一者大小為16)組成。彼集合之矩陣及偏移向量用於大小4×4之區塊。集合S 1
由10個矩陣
，i
∈{0,…,9} (其中之每一者具有16列及8行)及10個偏移向量
，i
∈{0,…,9} (其中之每一者大小為16)組成。彼集合之矩陣及偏移向量用於大小4×8、8×4及8×8之區塊。集合S 2
由6個矩陣
，i
∈{0,…,5} (其中之每一者具有64列及8行)及大小64的6個偏移向量，i
∈{0,…,5}組成。彼集合(亦即，矩陣之S 0
、S 1
、S 2
)之矩陣及偏移向量或此等矩陣及偏移向量之部分用於所有其他區塊形狀。矩陣之以上實例不應被視為限制性，且該等技術可適用於各種矩陣。
矩陣向量乘積的計算中所需要的乘法之總數目始終小於或等於4⋅W
⋅H
。換言之，ALWIP(亦即，MIP)模式至多需要每個樣本四次乘法。
以下描述ALWIP(亦稱作MIP)之邊界的平均化。在第一步驟中，輸入邊界
及
減少至較小邊界
及
。此處，在4×4區塊之情況下，
及
由2個樣本組成，且在其他情況下，兩者均由4個樣本組成。
在本發明中
及
為參考樣本(例如鄰近當前區塊之樣本)之實例，且
及
為邊界值之實例。舉例而言，如下文所描述，視訊編碼器200及視訊解碼器300可基於當前區塊之參考樣本的集合(例如及)判定
及
(例如邊界值)。邊界值可等於參考樣本或參考樣本之集合的平均值。
在4×4區塊之情況下，對於0≤i
＜2，以下方程定義
且類似地定義
。
另外，若區塊寬度W
經給定為W=4⋅2 k
，則對於0≤i
＜4，以下方程定義：
並類似地定義
。
兩個減少之邊界
及
經串接成一減少之邊界向量
，其因此對於形狀4×4之區塊具有大小四且對於所有其他形狀之區塊具有大小八。若模式(mode
)係指ALWIP模式，則此串接定義如下：
因此，在一或多個實例中，可被視為視訊編碼器200及視訊解碼器300基於當前區塊的參考樣本之集合判定的邊界值之實例。邊界值可等於參考樣本或參考樣本集合之平均值，其中參考樣本為相鄰樣本(例如在當前區塊左側的一行中的參考樣本及在當前區塊上方的一列中的參考樣本)。
對於關於較大區塊之經子取樣預測信號之內插，可能需要經平均化邊界之第二版本。舉例而言，若min(W
,H
)＞8且W
≥H
，則W=8*2 l
，且對於0≤i
＜8，及以下方程定義：
。
若min(W
,H
)＞8且H
＞W
，則
經類似地定義。
以下內容描述藉由矩陣向量乘法產生減少之預測信號。視訊編碼器200及視訊解碼器300可自減少之輸入向量
產生減少之預測信號
。後一信號為關於寬度
及高度
之經下取樣區塊的信號。此處，及經定義為：
可藉由計算矩陣向量乘積及加上偏移來計算減少之預測信號：
.
此處，A
為具有
列及4行(在W
=H
=4情況下)及8行(在所有其他情況下)的矩陣。b
為大小
之向量。
矩陣A
及向量b
係自如下集合S 0
、S 1
、S 2
中之一者取得。索引idx
=idx
(W
,H
)定義如下：
此外，m
定義如下：
接著，若idx
≤1或idx
=2且min(W
,H
)＞4，則
且
。在idx
=2且min(W
,H
)=4的情況下，A
可為藉由遺漏在W
=4情況下對應於經下取樣區塊中之奇數x座標或在H
=4情況下對應於經下取樣區塊中之奇數y座標的
之每一列產生的矩陣。
減少之預測信號可在以下情況中由其轉置替換：
˙W
=H
=4且mode
≥18
˙ max(W
,H
)=8且mode
≥10
˙ max(W
,H
)＞8且mode
≥6
計算
所需要的乘法之數目在W
=H
=4之情況下為4，此係由於在此情況下A
具有4行及16列。在所有其他情況下，A
可具有8行及
列，且在此等情況下，需要8⋅Wred
⋅Hred
≤4次乘法，亦即亦在此等情況下，至多需要每個樣本4次乘法以計算
。
在一或多個實例中，可為基於當前區塊之參考樣本判定的內部預測樣本，該等內部預測樣本為該預測區塊之一子取樣樣本集合。舉例而言，視訊編碼器200及視訊解碼器300可基於當前區塊之參考樣本集合判定邊界值(例如
)，其中邊界值等於該等參考樣本或該等參考樣本之集合的平均值。視訊編碼器200及視訊解碼器300可對邊界值執行矩陣乘法以產生第一基於矩陣之內部預測樣本(例如第一基於矩陣之內部預測樣本為
的結果)。
視訊編碼器200及視訊解碼器300可將一偏移(例如b)應用於第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本(例如第二基於矩陣之內部預測樣本為
的結果)。內部預測樣本(例如
)為第二基於矩陣之內部預測樣本(例如之結果)。因此，為預測區塊之子取樣樣本集合的內部預測樣本可指為預測區塊中之子取樣樣本集合的第二基於矩陣之內部預測樣本(例如)。
以下內容提供整個ALWIP(亦即，MIP)程序之一些說明性實例。針對圖5至圖8中之不同形狀說明平均化、矩陣向量乘法及線性內插之整個程序。在一些實例中，視訊編碼器200及視訊解碼器300可將剩餘形狀處理為圖5至圖8中所說明之實例情況中之一者。
圖5為說明用於4×4區塊之矩陣內部預測模式的流程圖。給定4×4區塊，ALWIP採用沿著邊界之每一軸線的兩個平均值。所得四個輸入樣本進入矩陣向量乘法。矩陣係取自集合S 0
。在加上偏移之後，此產生16個最終預測樣本。對於產生預測信號，並不需要線性內插。因此，每個樣本執行總共(4⋅16)/(4⋅4)=4次乘法。
圖6為說明用於8×8區塊之矩陣內部預測模式的流程圖。給定8×8區塊，ALWIP採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本進入矩陣向量乘法。矩陣係取自集合S 1
。此會在預測區塊之奇數位置上產生16個樣本。因此，每個樣本執行總共(8⋅16)/(8⋅8)=2次乘法。在加上偏移之後，此等樣本藉由使用減少之頂部邊界而經垂直地內插。水平內插藉由使用原始左側邊界而隨後執行。在此情況下，內插程序不需要任何乘法。因此，需要每個樣本總共2次乘法來計算ALWIP預測。
在圖6中，視訊編碼器200及視訊解碼器300可對於具有8×8之大小的當前區塊，基於在當前區塊上方的一列中之兩個參考樣本的集合之平均值及在當前區塊左側的一行中之兩個參考樣本的集合之平均值判定邊界值。舉例而言，如圖6中所說明，為判定bdrytop
，視訊編碼器200及視訊解碼器300可判定來自當前區塊上方之列的兩個樣本之集合的平均值，且為判定bdryleft
，視訊編碼器200及視訊解碼器300可判定來自當前區塊左側之行的兩個樣本之集合的平均值。舉例而言，視訊編碼器200及視訊解碼器300可判定在當前區塊上方成該列的第一及第二樣本之平均值、在當前區塊上方成該列的第三及第四樣本之平均值，等等。視訊編碼器200及視訊解碼器300可對於在當前區塊左側的行執行類似操作。視訊編碼器200及視訊解碼器300可基於bdrytop
及bdryleft
判定bdryred
。接著，視訊編碼器200及視訊解碼器300可將predred
判定為A*bdryred
+b。如上文所描述，predred
為內部預測樣本之實例，其為預測區塊之子取樣樣本集合。視訊編碼器200及視訊解碼器300接著可使用如圖6中所說明之內插判定預測區塊之剩餘樣本。根據本發明中描述之一或多個實例，視訊編碼器200及視訊解碼器300可首先對內部預測樣本執行削減(例如對predred
執行削減)，且在削減內部預測樣本之後，基於經削減內部預測樣本(例如基於經削減predred
值)產生預測區塊中之一或多個剩餘樣本(例如藉由內插)。
圖7為說明用於8×4區塊之矩陣內部預測模式的流程圖。給定8×4區塊，ALWIP採用沿著邊界之水平軸的四個平均值及在邊界左側之四個原始邊界值。所得八個輸入樣本進入矩陣向量乘法。矩陣係取自集合S 1
。此會在預測區塊之奇數水平位置及每一垂直位置上產生16個樣本。因此，每個樣本執行總共(8⋅16)/(8⋅4)=4次乘法。在加上偏移之後，藉由使用原始左側邊界水平地內插此等樣本。在此情況下，內插程序不添加任何乘法。因此，需要每個樣本總共4次乘法以計算ALWIP預測。
在圖7中，視訊編碼器200及視訊解碼器300可對於具有8×4之大小的當前區塊，基於在當前區塊上方的一列中之兩個參考樣本之集合的平均值及在當前區塊左側的一行中的參考樣本判定邊界值。舉例而言，如圖7中所說明，為判定bdrytop
，視訊編碼器200及視訊解碼器300可判定來自當前區塊上方之列的兩個樣本之集合的平均值，且為判定bdryleft
，視訊編碼器200及視訊解碼器300可將來自當前區塊左側之行的樣本設定為等於bdryleft
。視訊編碼器200及視訊解碼器300可基於bdrytop
及bdryleft
判定bdryred
。接著，視訊編碼器200及視訊解碼器300可將predred
判定為A*bdryred
+b。如上文所描述，predred
為內部預測樣本之實例，其為預測區塊之子取樣樣本集合。視訊編碼器200及視訊解碼器300接著可使用如圖7中所說明之內插判定預測區塊之剩餘樣本。根據本發明中描述之一或多個實例，視訊編碼器200及視訊解碼器300可首先對內部預測樣本執行削減(例如對predred
執行削減)，且在削減內部預測樣本之後，基於經削減內部預測樣本(例如基於經削減predred
值)產生預測區塊中之一或多個剩餘樣本(例如藉由內插)。
圖8為說明用於16×16區塊之矩陣內部預測模式的流程圖。給定16×16區塊，ALWIP採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本進入矩陣向量乘法。矩陣係取自集合S 2
。此會在預測區塊之奇數位置上產生64個樣本。因此，每個樣本執行總共(8⋅64)/(16⋅16)=2次乘法。在加上偏移之後，藉由使用頂部邊界之八個平均值垂直地內插此等樣本。水平內插藉由使用原始左側邊界而隨後執行。在此情況下，內插程序不添加任何乘法。因此，總計而言，需要每個樣本兩次乘法以計算ALWIP預測。
在圖8中，視訊編碼器200及視訊解碼器300可對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在當前區塊上方的一列中之兩個參考樣本之集合的一平均值及來自該等中間樣本的兩個參考樣本之集合的一平均值及在當前區塊左側的一行中之四個參考樣本之集合的一平均值判定邊界值。作為一個實例，視訊編碼器200及視訊解碼器300可判定在當前區塊上方成該列之前兩個樣本的平均值以判定第一中間值，判定在當前區塊上方成該列之接下來兩個樣本以判定第二中間值，等等以產生八個中間值。接著，視訊編碼器200及視訊解碼器300可判定八個中間值之前兩個樣本的平均值以產生形成bdrytop
的四個值中之第一者，判定八個中間值之接下來兩個樣本的平均值以產生形成bdrytop
的四個值中之第二者，等等以產生bdrytop
之四個值。對於bdryleft
，視訊編碼器200及視訊解碼器300可判定左側行之前四個樣本的平均值以產生形成bdryleft
之四個值中之第一者，判定左側行之接下來四個樣本的平均值以產生形成bdryleft
之四個值中之第二者，等等。
視訊編碼器200及視訊解碼器300可基於bdrytop
及bdryleft
判定bdryred
。接著，視訊編碼器200及視訊解碼器300可將predred
判定為A*bdryred
+b。如上文所描述，predred
為內部預測樣本之實例，其為預測區塊之子取樣樣本集合。視訊編碼器200及視訊解碼器300接著可使用如圖8中所說明之內插判定預測區塊之剩餘樣本。根據本發明中描述之一或多個實例，視訊編碼器200及視訊解碼器300可首先對內部預測樣本執行削減(例如對predred
執行削減)，且在削減內部預測樣本之後，基於經削減內部預測樣本(例如基於經削減predred
值)產生預測區塊中之一或多個剩餘樣本(例如藉由內插)。
對於較大形狀，該程序可係相同的，且每個樣本之乘法之數目小於四。對於W
×8區塊(其中W
＞8)，僅水平內插可係必需的，因為在奇數水平及每一垂直位置處給定樣本。在此情況下，每個樣本(8⋅64)/(W
⋅8)=64⁄W
次乘法經執行以計算減少之預測。對於W
=16，在此情況下，不需要額外乘法用於線性內插。對於W
＞16，線性內插所需要的每個樣本之額外乘法的數目小於二。因此，每個樣本之乘法的總數小於或等於四。
對於W
×4區塊(其中W
＞8)，讓Ak
為藉由遺漏對應於沿著經下取樣區塊之水平軸之奇數項的每一列產生的矩陣。因此，輸出大小為32並且再次，僅水平內插仍待執行。對於減少預測之計算，執行每個樣本(8⋅32)/(W
⋅4)=64⁄W
次乘法。對於W
=16，不需要額外乘法，而對於W＞16，每個樣本小於2次乘法需要用於線性內插。因此，乘法之總數小於或等於四。相應地處理經轉置情況。
以下內容描述單一步驟線性內插。對於W
×H
區塊(其中max(W
,H
)≥8)，預測信號起因於藉由線性內插在Wred
×Hred
上的減少之預測信號
。取決於區塊形狀，線性內插在垂直、水平或兩個方向上進行。若線性內插將在兩個方向上應用，則在W
＜H
情況下線性內插首先在水平方向上應用，且在W
＞H
情況下線性內插首先在垂直方向上應用。
作為一個實例，可存在W
×H
區塊，其中max(W
,H
)≥8且W
≥H
。接著，一維線性內插對於垂直方向執行如下，且對於水平方向之操作可係相同的。首先，減少之預測信號藉由邊界信號擴展至頂部。以下將垂直上取樣因數定義為
及
。接著，以下內容藉由下式定義擴展之經減少預測信號
接著，自此擴展之經減少預測信號，垂直線性內插預測信號藉由下式產生：
對於0≤x
＜Wred
、0≤y
＜Hred
及0≤k
＜Uver
。
因為矩陣向量乘法可導致超範圍值，因此額外削減級經添加於
輸出預測上以保證樣本在[0,2 bitdepth
-1]範圍內。然而，在本發明中描述之一些實例中，削減操作可首先對predred
執行，且接著內插可隨後執行，其中內插係運用經削減predred
來執行。
以下內容為VVC參考樣本取代程序之描述。以下內容為如VVC工作草案版本5中所定義的參考樣本取代程序之規範本文。
“對此程序之輸入為：
– 一變數refIdx，其指定內部預測參考線索引，
– 一變數refW，其指定參考樣本寬度，
– 一變數refH，其指定參考樣本高度，
– 用於內部樣本預測的參考樣本refUnfilt[ x ][ y ]，其中x = −1 − refIdx，y = −1 − refIdx..refH − 1且x = −refIdx..refW − 1，y = −1 − refIdx，
– 一變數cIdx，其指定當前區塊之色彩分量。
此程序之輸出為用於內部樣本預測的修改之參考樣本refUnfilt[ x ][ y ]，其中x = −1 − refIdx，y = −1 − refIdx..refH − 1且x = −refIdx..refW − 1，y = −1 − refIdx。
變數bitDepth經如下導出：
– 若cIdx等於0，則bitDepth經設定為等於BitDepthY
。
– 否則，bitDepth設定為等於BitDepthC
。
樣本refUnfilt[ x ][ y ](其中x = −1 − refIdx，y = −1 − refIdx..refH − 1及x = −refIdx..refW − 1，y = −1 − refIdx)之值經如下修改：
– 若所有樣本refUnfilt[ x ][ y ](其中x = −1 − refIdx，y = −1 − refIdx..refH − 1且x = −refIdx..refW − 1，y = −1 − refIdx)標記為「不可用於內部預測」，則refUnfilt[ x ][ y ]之所有值經設定為等於1＜＜(bitDepth − 1)。
– 否則(至少一個而非所有樣本refUnfilt[ x ][ y ]經標記為「不可用於內部預測」)，以下經排序步驟適用：
1. 當refUnfilt[ −1 − refIdx ][ refH − 1 ]標記為「不可用於內部預測」時，對於標記為「可用於內部預測」的樣本refUnfilt[ x ][ y ]，自x = −1 − refIdx，y = refH − 1至x = −1 − refIdx，y = −1 − refIdx，接著自x = −refIdx，y = −1 − refIdx至x = refW − 1，y = −1 − refIdx開始依次搜尋。在找到經標記為「可用於內部預測」的樣本refUnfilt[ x ][ y ]後，搜尋結束且refUnfilt[ −1 − refIdx ][ refH − 1 ]之值經設定為等於refUnfilt[ x ][ y ]的值。
2. 對於x = −1 − refIdx，y = refH − 2..−1 − refIdx，當refUnfilt[ x ][ y ]標記為「不可用於內部預測」時，refUnfilt[ x ][ y ]之值經設定為等於refUnfilt[ x ][ y + 1]的值。
3. 對於x = 0..refW − 1，y = −1，當refUnfilt[ x ][ y ]標記為「不可用於內部預測」時，refUnfilt[ x ][ y ]之值經設定為等於refUnfilt[ x − 1 ][ y ]的值。
所有樣本refUnfilt[ x ][ y ](其中x = −1 − refIdx，y = −1 − refIdx..refH − 1且 x = −refIdx..refW − 1，y = −1 − refIdx)標記為「可用於內部預測」」。
以下內容描述VVC DC內部模式。在VVC工作草案版本5中，DC內部模式指定如下：8.4.5.2.10 內部預測模式 INTRA_DC 之規範
對此程序之輸入為：
– 一變數nTbW，其指定變換區塊寬度，
– 一變數nTbH，其指定變換區塊高度，
– 一變數refIdx，其指定內部預測參考線索引，
– 相鄰樣本p[ x ][ y ]，其中x = −1 − refIdx，y = −1 − refIdx..nTbH − refIdx − 1且x = − refIdx..nTbW − 1 − refIdx，y = −1 − refIdx。
此程序之輸出為預測樣本predSamples[x][y]，其中x = 0..nTbW − 1，y = 0..nTbH − 1。
藉由以下經排序步驟導出預測樣本predSamples[ x ][ y ](其中x = 0..nTbW − 1，y = 0..nTbH − 1)之值：
1. 如下導出變數dcVal：
– 當nTbW等於nTbH時：
– 當nTbW大於nTbH時：
– 當nTbW小於nTbH時：
2. 預測樣本predSamples[x][y]經導出如下：
predSamples[ x ][ y ] = dcVal，其中x = 0.. nTbW − 1，y = 0.. nTbH − 1 (8-116)
在VVC草案5中，MIP經指定如下，其中達成對完整解析度預測的削減操作：
對於根據predModeIntra之內部樣本預測程序，以下經排序步驟適用：
1. 基於矩陣之內部預測樣本predMip[ x ][ y ](其中x = 0..mipW − 1，y = 0..mipH − 1 )經如下導出：
– 如下導出變數modeId：
modeId = predModeIntra − ( isTransposed ? numModes / 2 : 0 ) (8-64)
– 權重矩陣mWeight[ x ][ y ](其中x = 0..2 * boundarySize − 1, y = 0..predC * predC − 1)係使用如表8-XX中指定的MipSizeId[ xTbCmp ][ yTbCmp ]及modeId導出[Ed. (BB):在採用非10位元權重解後加上權重矩陣]。
– 偏置向量vBias[y](其中y = 0..predC * predC − 1)係使用如表8-XX中指定的MipSizeId[ xTbCmp ][ yTbCmp ]及modeId導出[Ed. (BB):在採用非10位元權重解後加上偏置向量]。
– 變數sW係使用如表8-8中指定的MipSizeId[ xTbCmp ][ yTbCmp ]及modeId導出。
– 基於矩陣之內部預測樣本predMip[ x ][ y ](其中x = 0..mipW − 1，y = 0..mipH − 1 )經如下導出：
2. 當isTransposed等於TRUE時，predH×predW陣列predMip[ x ][ y ] (其中x = 0..predH − 1，y = 0..predW − 1)經轉置如下：
3. 經預測樣本predSamples[ x ][ y ] (其中x = 0..nTbW − 1，y = 0..nTbH − 1)經如下導出：
– 若needUpsBdryVer等於TRUE或needUpsBdryHor等於TRUE，則如條項8.4.5.2.4中指定的MIP預測上取樣程序係運用以下各者作為輸入來調用：輸入區塊高度predH、基於矩陣之內部預測樣本predMip[ x ][ y ](其中x = 0..predW - 1，y = 0..predH − 1)、變換區塊寬度nTbW、變換區塊高度nTbH、上取樣邊界寬度upsBdryW、上取樣邊界高度upsBdryH、頂部上取樣邊界樣本upsBdryT及左側上取樣邊界樣本upsBdryL，且輸出為預測之樣本陣列predSamples。
– 否則，predSamples[ x ][ y ](其中x = 0..nTbW − 1，y = 0..nTbH − 1)經設定為等於predMip[ x ][ y ]。
4. 經預測樣本predSamples[ x ][ y ] (其中x = 0..nTbW − 1，y = 0..nTbH − 1)經如下削減：
predSamples[ x ][ y ] = Clip1Y
( predSamples[ x ][ y ] ) (8-72)表 8 - 8 - 取決於 MipSizeId 及 modeId 之權重移位 sW 的規範
| modeId | ||||||||||||||||||
| MipSizeId | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 0 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 |
| 1 | 8 | 8 | 8 | 9 | 8 | 8 | 8 | 8 | 9 | 8 | ||||||||
| 2 | 8 | 8 | 8 | 8 | 8 | 8 |
運用用於ALWIP程序(亦稱作MIP或矩陣內部預測)之技術可存在某些問題。MIP採用沿著如上文針對邊界平均化所描述的邊界之每一軸線的樣本之非重疊平均值。舉例而言，2、4、8或16個樣本取決於區塊尺寸(寬度、高度)而經平均化，亦如圖5至圖8中所說明。所得平均化樣本取決於區塊尺寸經分組成大小4或8的向量，該向量與一矩陣相乘且加上一偏移向量。
如圖6及圖9中所說明，對於8×8區塊，經平均化樣本定位於沿著頂部邊界之奇數位置上(圖9中之灰色樣本)。圖9為說明用於8×8區塊之邊界樣本的矩陣內部預測模式平均化及定位的概念圖。然而，在平均化兩個樣本之後樣本的數學上準確位置係在如運用圖9中之條紋化箭頭所說明的一半定位位置處。預測樣本亦置放在如圖6中所說明的預測區塊內部的奇數位置(灰色樣本)上，首先繼之以垂直線性內插且接著繼之以水平線性內插。經平均化樣本在沿著頂部邊界之奇數位置上的定位與用於垂直內插之預測樣本的定位對準。
然而，歸因於沿著頂部邊界之平均化樣本的未對準，誤差被引入，此可僅藉由訓練矩陣及偏移向量來部分補償。對於諸如圖8中之16×16的其他區塊大小，觀測到經平均化邊界樣本之類似未對準。
本發明描述減少對準誤差的實例技術，其可以兩種方式改良MIP工具之寫碼效率：(1)不需要矩陣及偏移向量之訓練來補償預測區塊中的預測樣本之未對準定位。舉例而言，此可有助於8×4區塊情況(圖7)及不需要沿著垂直及/或水平方向內插的其他區塊大小。(2)在沿著垂直或水平方向執行內插情況下，邊界樣本與經預測樣本的正確對準進一步減少另外需要藉由矩陣及偏移向量之訓練補償的誤差。
運用ALWIP程序(亦稱作MIP或矩陣內部預測)可存在其他可能的問題。為自上述重申，MIP採用如上文針對邊界之平均化所描述的沿著邊界之每一軸線的樣本之非重疊平均值。舉例而言，2、4、8或16個樣本取決於區塊尺寸(寬度、高度)而經平均化，亦如圖5至圖8中所說明。所得平均化樣本取決於區塊尺寸經分組成大小4或8的向量，該向量與一矩陣相乘且加上一偏移向量。
此等預測操作之結果為可需要其他上取樣或內插以匹配正被預測的區塊之尺寸的經預測樣本的區塊。問題係在上述MIP方法中描述的預測操作亦需要預測正被預測的區塊之DC分量(或平均值)。若預測區塊之DC分量經單獨地預測，則可改良MIP方法之寫碼效率。同時，可減少矩陣參數及偏移向量參數的數目以及表示彼等參數之所需要位元深度。
亦如上文所描述，MIP涉及在線性內插之後對完整解析度預測的削減操作。此削減操作經指定用於方程(8-72)中之VVC。問題係此削減操作引入額外複雜度，此係由於對預測區塊之每一樣本執行削減操作。舉例而言，對預測區塊之每一或許多樣本的削減導致針對32×32寫碼單元(CU)之1024個削減操作，同時對8×8區塊大小(亦即，predred
之大小為8×8)達成減少之預測。
以下內容描述基於矩陣內部預測(MIP)模式(亦仿射線性加權內部預測(ALWIP))產生當前區塊之預測區塊的實例方式。下文之實例技術可獨立地應用，或一或多種技術可一起應用。
為了對準，所陳述未對準問題的解決方案之實例係視訊編碼器200及視訊解碼器300針對沿著頂部邊界之兩個位置應用平均化或更一般而言運用如圖10中所說明的奇數濾波器抽頭進行濾波。圖10為說明針對兩個位置運用3抽頭濾波器濾波邊界樣本的概念圖。在圖10中使用的樣本係在當前區塊上方，其中(0、0)識別為左上角。濾波產生圖10中之灰色樣本，其為用於產生預測區塊的樣本。相同技術可用於相鄰樣本之左側行。此外，圖10中所說明的濾波器為使用3樣本之濾波器的一個實例。可使用N大小之濾波器，其中作為一個實例，N為奇數。
在濾波器具有奇數個濾波器抽頭且濾波器關於中心濾波器係數對稱的情況下，經濾波樣本之正確對準接著可在沿著頂部邊界之與中心濾波器係數共置的整數位置上。圖10中之實例將[1 2 1]/4濾波器應用於沿著頂部邊界之奇數位置。具有不同數目個濾波器抽頭及頻率回應特性(例如平滑化或低通濾波器之截止頻率)的濾波器之其他實例為：[1、6、1]/8；[1、2、2、2、1]/8；[ 1、4、6、4、1]/16；[1、4、6、10、6、4、1]/32；等。
替代地，可應用諸如雙側濾波器之邊緣保留雜訊減少濾波器。在另一替代方案中，無下取樣濾波器用於邊界樣本(或應用一抽頭濾波器[1])以用於下取樣以避免邊界參考樣本的未對準(亦稱作無濾波情況下的子取樣)。當邊界參考樣本經下取樣時，適用於頂部邊界之技術亦可適用於左側邊界，或區塊之任何其他邊界。
本發明中所描述之濾波及下取樣技術可諸如基於用於邊界平均化之上述描述以與在MIP方法中應用的平均化類似之方式應用於邊界。MIP方法中平均化的樣本愈多，視訊編碼器200及視訊解碼器300應用的濾波器將愈寬。在一個實例中，濾波器抽頭之數目可接近於被平均化的樣本之數目。
所提議濾波及下取樣可應用於頂部邊界、左側邊界或兩個邊界。可運用上文在VVC參考樣本取代程序(VVC WD5方法)中所描述的程序產生邊界。所選擇邊界可取決於區塊尺寸，諸如寬度、高度、寬度及高度之最大值或最小值、寬度與高度之比等。所選擇邊界亦可取決於預測模式(MIP模式，等)等。所選擇邊界亦可在參數集、圖塊標頭、圖像塊群組標頭、寫碼單元標頭、其他單元標頭等中發信。
來自視訊編碼器200及視訊解碼器300應用於邊界的濾波器集合之濾波器可取決於區塊尺寸，諸如寬度、高度、寬度及高度之最大值或最小值、寬度與高度之比等。來自濾波器集合之濾波器亦可取決於預測模式(MIP模式等)等。濾波器(來自濾波器集合之索引，或係數等)可在參數集、圖塊標頭、圖像塊群組標頭、寫碼單元標頭、其他單元標頭等中發信。
邊界擴展可用以適應邊界之濾波。舉例而言，在圖10中，對於[1、2、1]/4濾波器，在頂部邊界之右側需要一個額外樣本。類似地，若濾波器應用於左側邊界，則在左側邊界之底部需要一個額外樣本。額外樣本可為在預測區塊上方或左側的邊界之最後樣本的複本。典型地，邊界樣本為來自相鄰區塊之經重建構樣本。替代地，額外相鄰樣本可被添加至頂部及左側邊界。若濾波器較寬，則擴展需要額外樣本。
MIP方法可運用多個邊界線或多個參考線擴展。一或多個參考線索引可經發信至視訊解碼器300。多個參考線可在應用MIP之前組合。舉例而言，視訊編碼器200及視訊解碼器300可運用相同權重或運用取決於參考線索引之權重來平均該等線。
在其他替代方案中，歸因於下取樣之未對準經保留且在矩陣乘法之後所預測樣本之位置(及添加之偏移)與「未對準經下取樣樣本」對準。舉例而言，在圖9中，所預測樣本歸因於平均化(在水平一半樣本位置處)與樣本位置對準。上取樣程序經修改以使得所預測樣本全部在整數對準位置處。在圖9中，垂直上取樣可如當前進行一樣地進行，而水平上取樣可用於導出所預測區塊中之所有樣本(定位的整數樣本)。
以下內容描述MIP DC值預測，其可解決上文針對預測DC分量所描述的問題。除了如上文針對藉由矩陣向量乘法進行的邊界之平均化及減少預測信號之產生所描述的平均化參考樣本的矩陣及向量乘法之外，待運用MIP預測的當前區塊之相鄰經重建構樣本可用於預測當前區塊之DC值如下：
或在不運用偏移向量b情況下：
減少之邊界樣本bdryred
的向量可根據上述針對邊界之平均化的描述獲得。向量亦可在如下減去DC值之後用於MIP預測：
可使用上文關於VVC DC內部模式所描述的VVC方法計算DC值。VVC方法亦描述於美國專利公開案第2018/0199062號中。該方法之益處在於在區塊之寬度及高度尺寸兩者為二之冪的情況下，除法運算得以避免並由右移位操作替代。在此方法(例如本發明中所描述之技術)中，DC值之計算取決於待預測的區塊之寬度及高度尺寸。
在區塊為正方形的情況下，在區塊左側之相鄰經重建構樣本及在區塊上方之相鄰經重建構樣本經平均化(總寬度+高度數目個樣本經平均化)。在寬度大於高度的情況下，在區塊上方之相鄰樣本經平均化(總寬度數目個樣本經平均化)。在高度大於寬度的情況下，在區塊左側的相鄰樣本經平均化以計算DC值(總高度數目個樣本經平均化)。典型地，直接鄰近於區塊的相鄰經重建構樣本用於計算。另外或替代地，定位距當前區塊某一距離(偏移)的線之經重建構樣本可用於計算DC值。
另外或替代地，沿著區塊之寬度及高度尺寸的相鄰經重建構樣本用於計算DC值。一個實例係將在區塊左側的相鄰樣本及在區塊上方的相鄰樣本單獨地平均如下：DC = [ average(左側相鄰樣本) + average(上方相鄰樣本) + 1] ＞＞ 1。另外或替代地，在美國專利公開案第2018/0199062號描述中用以計算DC值的其他方法可與MIP一起使用。
在導出減少之邊界樣本bdryred
的向量之前基於相鄰經重建構樣本計算DC值的益處在於兩者可同時被計算。舉例而言，相鄰樣本僅被讀取一次以獲得DC值及減少之邊界樣本兩者。
此技術意指VVC草案5之以下變化。插入至VVC草案5中的本文由＜ins＞…＜/ins＞標籤表示且自VVC草案5刪除的本文由＜dlt＞..＜/dlt＞表示。
為了產生輸入值p[ x ](其中x = 0..inSize − 1)，以下內容適用：
– ＜ins＞ 頂部參考樣本之DC值經計算如下：
– 左側參考樣本之DC值計算如下：
– 左側參考樣本之DC值計算如下：
dcVal = (dcValLeft+dcValTop+1) ＞＞ 1 ＜/ins＞
– 如條項8.4.5.2.3中指定的MIP邊界下取樣程序經調用用於作為輸入的具有區塊大小nTbW之頂部參考樣本、參考樣本refT[ x ](其中x = 0..nTbW − 1)及邊界大小boundarySize，及作為輸出的減少之邊界樣本redT[x](其中x = 0..boundarySize − 1)。
– 如條項8.4.5.2.3中指定的MIP邊界下取樣程序經調用用於作為輸入的具有區塊大小nTbH之左側參考樣本、參考樣本refL[ y ](其中y = 0..nTbH − 1)及邊界大小boundarySize，及作為輸出的減少之邊界樣本redL[x](其中x = 0..boundarySize − 1)。
– 減少之頂部及左側邊界樣本redT及redL如下指派給邊界樣本陣列pTemp[x](其中x = 0..2 * boundarySize − 1)：
– 若isTransposed等於1，則pTemp[ x ]經設定為等於redL[ x ](其中x = 0..boundarySize − 1)且pTemp[ x + boundarySize ]經設定為等於redT[ x ](其中x = 0..boundarySize − 1)。
– 否則，pTemp[ x ]經設定為等於redT[ x ](其中x = 0..boundarySize − 1)且pTemp[ x + boundarySize ]經設定為等於redL[ x ](其中x = 0..boundarySize − 1)。
– 輸入值p[ x ](其中x = 0..inSize − 1)經如下導出：
– 若MipSizeId[xTbCmp][yTbCmp]等於2，則以下適用：
– 否則(MipSizeId[ xTbCmp ][ yTbCmp ]小於2)，以下適用：
根據本發明中描述之一或多個實例，為減少MIP削減複雜度，本發明描述在線性內插程序之前移位削減操作。在內插程序之前移位削減操作的一個優點係將削減操作的數目限於減少之預測大小。此類實例技術之益處可見於圖11中，在圖11中所提議削減區域(以具有虛線輪廓及交叉影線填充的方框表示)與VVC草案5之MIP削減區域(以具有虛線輪廓及無交叉影線填充的方框表示)相比較。因此，如在圖11之實例中所展示，本發明之削減技術可導致較少削減操作之應用。
舉例而言，視訊編碼器200及視訊解碼器300可判定當前區塊待被預測或使用矩陣內部預測(MIP)預測。視訊編碼器200及視訊解碼器300可利用本發明中所描述之實例技術產生當前區塊之預測區塊。舉例而言，視訊編碼器200及視訊解碼器300可基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之一子取樣樣本集合。換言之，視訊編碼器200及視訊解碼器300可基於參考樣本(例如左側相鄰樣本及上方相鄰樣本)判定內部預測樣本(predred
)。如所描述，predred
為預測區塊之樣本中之一些。
為判定內部預測樣本(predred
)，視訊編碼器200及視訊解碼器300可基於當前區塊之參考樣本的集合判定邊界值(例如bdryred
)。如上文關於圖5至圖8所說明及描述，邊界值可等於參考樣本或參考樣本之集合的平均值。
舉例而言，如圖6中所說明，視訊編碼器200及視訊解碼器300可對於具有8×8之大小的當前區塊，基於在當前區塊上方的一列中之兩個參考樣本集合之平均值及在當前區塊左側的一行中之兩個參考樣本的集合之平均值判定邊界值(bdryred
)。如圖7中所說明，視訊編碼器200及視訊解碼器300可對於具有8×4之大小的當前區塊，基於在當前區塊上方的一列中之兩個參考樣本之集合的平均值及在當前區塊左側的一行中之參考樣本判定邊界值(bdryred
)。如圖8中所說明，視訊編碼器200及視訊解碼器300可對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在當前區塊上方的一列中之兩個參考樣本之集合的一平均值及來自該等中間樣本的兩個參考樣本之集合的一平均值及在當前區塊左側的一行中之四個參考樣本之集合的一平均值判定邊界值(bdryred
)。
視訊編碼器200及視訊解碼器300可對邊界值執行矩陣乘法以產生第一基於矩陣之內部預測樣本。舉例而言，視訊編碼器200及視訊解碼器300可將bdryred
乘以矩陣A以產生第一基於矩陣之內部預測樣本。視訊編碼器200及視訊解碼器300可將偏移應用於第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本。舉例而言，視訊編碼器200及視訊解碼器300可添加偏移「b」至A*bdryred
的結果以產生第二基於矩陣之內部預測樣本。內部預測樣本(例如predred
)可為第二基於矩陣之內部預測樣本，使得為預測區塊之樣本的子取樣集合的內部預測樣本包括為預測區塊中之子取樣樣本集合的第二基於矩陣之內部預測樣本。
根據本發明中描述之一或多個實例，視訊編碼器200及視訊解碼器300可削減內部預測樣本以產生經削減內部預測樣本。視訊編碼器200及視訊解碼器300可在削減內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本(例如藉由內插)。以此方式，視訊編碼器200及視訊解碼器300產生用於MIP之當前區塊之預測區塊。
在一或多個實例中，相較於在內插之後執行削減的實例，藉由在產生剩餘樣本之前削減內部預測樣本，線性內插可不產生超範圍樣本或產生較少超範圍樣本。因此，實例技術諸如藉由減少複雜度(例如減少執行削減操作所針對的樣本之數目)而減少MIP削減問題。自規範視點，在方程(8-72)中達成的削減現在應用於在方程(8-69)中計算的predMip[ x ][ y ]。其導致VVC草案5之以下變化。如前所述，插入至VVC草案5中的本文由＜ins＞…＜/ins＞標籤表示且自VVC草案5刪除的本文由＜dlt＞..＜/dlt＞表示。
對於根據predModeIntra之內部樣本預測程序，以下經排序步驟適用：
1. 基於矩陣之內部預測樣本predMip[ x ][ y ](其中x = 0..mipW − 1，y = 0..mipH − 1 )經如下導出：
– 如下導出變數modeId：
modeId = predModeIntra − ( isTransposed ? numModes / 2 : 0 ) (8-64)
– 權重矩陣mWeight[ x ][ y ](其中x = 0..2 * boundarySize − 1, y = 0..predC * predC − 1)係使用如表8-XX中指定的MipSizeId[ xTbCmp ][ yTbCmp ]及modeId導出[Ed. (BB):在採用非10位元權重解後加上權重矩陣]。
– 偏置向量vBias[y](其中y = 0..predC * predC − 1)係使用如表8-XX中指定的MipSizeId[ xTbCmp ][ yTbCmp ]及modeId導出[Ed. (BB):在採用非10位元權重解後加上偏置向量]。
– 變數sW係使用如表8-8中指定的MipSizeId[ xTbCmp ][ yTbCmp ]及modeId導出。
基於矩陣之內部預測樣本predMip[ x ][ y ](其中x = 0..mipW − 1，y = 0..mipH − 1 )經如下導出：
2. 基於矩陣之內部預測樣本predMip[ x ][ y ]經如下削減：
3. 當isTransposed等於TRUE時，predH×predW陣列predMip[ x ][ y ] (其中x = 0..predH − 1，y = 0..predW − 1)經轉置如下：
4. 經預測樣本predSamples[ x ][ y ] (其中x = 0..nTbW − 1，y = 0..nTbH − 1)經如下導出：
– 若needUpsBdryVer等於TRUE或needUpsBdryHor等於TRUE，則如條項8.4.5.2.4中指定的MIP預測上取樣程序係運用以下各者作為輸入來調用：輸入區塊高度predH、基於矩陣之內部預測樣本predMip[ x ][ y ](其中x = 0..predW - 1，y = 0..predH − 1)、變換區塊寬度nTbW、變換區塊高度nTbH、上取樣邊界寬度upsBdryW、上取樣邊界高度upsBdryH、頂部上取樣邊界樣本upsBdryT及左側上取樣邊界樣本upsBdryL，且輸出為預測之樣本陣列predSamples。
– 否則，predSamples[ x ][ y ](其中x = 0..nTbW - 1，y = 0..nTbH − 1)經設定為等於predMip[ x ][ y ]。
＜dlt＞
5. 經預測樣本predSamples[ x ][ y ] (其中x = 0..nTbW − 1，y = 0..nTbH − 1)經如下削減：
predSamples[ x ][ y ] = Clip1Y
( predSamples[ x ][ y ] ) ＜/dlt＞
圖3為說明可執行本發明之技術之實例視訊編碼器200的方塊圖。出於解釋之目的提供圖3，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明在諸如H.265/HEVC視訊寫碼標準及開發中之H.266/VVC視訊寫碼標準的視訊寫碼標準之情況下描述視訊編碼器200。然而，本發明之技術並不限於此等視訊寫碼標準，且通常適用於視訊編碼及解碼。
在圖3之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、DPB 218及熵編碼單元220中之任一者或全部可實施於一或多個處理器或處理電路中。此外，視訊編碼器200可包括額外或替代處理器或處理電路以執行此等及其他功能。
視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼的視訊資料。視訊編碼器200可自(例如)視訊源104 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料供用於由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由諸如動態隨機存取記憶體(DRAM)(包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件)的各種記憶體器件中之任一者形成。視訊資料記憶體230及DPB 218可由相同記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體230可與視訊編碼器200之其他組件一起在晶片上，如所說明，或相對於彼等組件在晶片外。
在本發明中，對視訊資料記憶體230之參考不應解譯為將記憶體限於在視訊編碼器200內部(除非特定地如此描述)，或將記憶體限於在視訊編碼器200外部(除非特定地如此描述)。實際上，對視訊資料記憶體230之參考應理解為對儲存視訊編碼器200所接收以用於編碼的視訊資料(例如，待被編碼的當前區塊之視訊資料)之記憶體的參考。圖1之記憶體106亦可提供對來自視訊編碼器200之各種單元的輸出的暫時儲存。
圖3的各種單元經說明以輔助理解藉由視訊編碼器200執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路指可經程式化以執行各種任務，並在可被執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作類型通常為不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊編碼器200可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體執行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並執行的軟體之目標碼，或視訊編碼器200內之另一記憶體(圖中未示)可儲存此類指令。
視訊資料記憶體230經組態以儲存接收到之視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224及內部預測單元226。在圖3之實例中，模式選擇單元202亦包括MIP單元227。MIP單元227可為內部預測單元226之部分但為了易於說明展示為獨立單元。結合視訊編碼器200之一個或多個其他單元，MIP單元227可經組態以執行本發明中所描述之實例技術。
模式選擇單元202可包括額外的功能單元以根據其他預測模式執行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。
模式選擇單元202通常協調多個編碼遍次以測試編碼參數之組合，及用於此等組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU之殘餘資料的變換類型、用於CU之殘餘資料的量化參數等。模式選擇單元202可最終選擇相比其他所測試組合具有更佳速率失真值的編碼參數之組合。
視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，且將一或多個CTU封裝於圖塊內。模式選擇單元202可根據樹結構，諸如上文所描述之QTBT結構或HEVC之四分樹結構來分割圖像之CTU。如上文所描述，視訊編碼器200可用根據樹結構分割CTU來形成一或多個CU。此CU通常亦可稱為「視訊區塊」或「區塊」。
一般而言，模式選擇單元202亦控制其組件(例如運動估計單元222、運動補償單元224、內部預測單元226及MIP單元227)以產生當前區塊(例如當前CU，或在HEVC中，PU與TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如儲存於DPB 218中的一或多個先前經寫碼圖像)中之一或多個緊密匹配參考區塊。詳言之，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或其類似者來計算表示可能參考區塊與當前區塊之類似程度的值。運動估計單元222通常可使用當前區塊與所考慮之參考區塊之間的逐樣本差執行此等計算。運動估計單元222可識別具有由此等計算產生之最低值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。
運動估計單元222可形成一或多個運動向量(MV)，其相對於當前圖像中之當前區塊的位置定義參考圖像中之參考區塊的位置。運動估計單元222接著可將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單一運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224接著可使用運動向量來產生預測區塊。舉例而言，運動補償單元224可使用運動向量來擷取參考區塊之資料。作為另一實例，若運動向量具有分數樣本精確度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取用於藉由各別運動向量識別之兩個參考區塊的資料，並例如經由逐樣本平均或加權平均來組合所擷取之資料。
作為另一實例，對於內部預測，或內部預測寫碼，內部預測單元226可自鄰近當前區塊之樣本產生預測區塊。舉例而言，對於定向模式，內部預測單元226通常可在數學上組合相鄰樣本的值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。作為另一實例，對於DC模式，內部預測單元226可計算與當前區塊相鄰之樣本的平均值，且產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。
MIP單元227可經組態以產生當前區塊之預測區塊，諸如使用矩陣內部預測(MIP)預測的當前區塊。舉例而言，為產生當前區塊之預測區塊，MIP單元227可經組態以：基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合；削減該等內部預測樣本；及在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本。預測區塊可包括經削減內部預測樣本及一或多個剩餘樣本。當前區塊之參考樣本可包括在當前區塊左側的一行中的參考樣本及在當前區塊上方的一列中的參考樣本。
為判定內部預測樣本，MIP單元227可經組態以基於當前區塊之參考樣本的集合判定邊界值。邊界值可等於參考樣本或參考樣本之集合的平均值。MIP單元227可對邊界值執行矩陣乘法以產生第一基於矩陣之內部預測樣本並將偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本。內部預測樣本可為第二基於矩陣之內部預測樣本，且為預測區塊之樣本的子取樣集合的內部預測樣本可包括為預測區塊中之子取樣樣本集合的第二基於矩陣之內部預測樣本。
為削減內部預測樣本，MIP單元227可削減第二基於矩陣之內部預測樣本。此外，在削減內部預測樣本之後，為基於該等經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本，MIP單元227可基於該等經削減第二基於矩陣之內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
可存在MIP單元227可基於當前區塊之參考樣本的集合判定邊界值所藉以的各種方式。作為一個實例，如圖6中所說明，MIP單元227可對於具有8×8之大小的當前區塊，基於在當前區塊上方的一列中的兩個參考樣本之集合的平均值及在當前區塊左側的一行中的兩個參考樣本之集合的平均值來判定邊界值。如圖7中所說明，MIP單元227可對於具有8×4之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的平均值及在當前區塊左側的一行中之參考樣本來判定邊界值。如圖8中所說明，MIP單元227可對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及來自該等中間樣本的兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之四個參考樣本之集合的一平均值判定邊界值。
模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204接收來自視訊資料記憶體230之當前區塊及來自模式選擇單元202之預測區塊的原始未經編碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。亦即，殘餘產生單元204可判定指示當前區塊與預測區塊之間的差的殘餘值。所得逐樣本差定義當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)來產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路來形成殘餘產生單元204。
在模式選擇單元202將CU分割成PU之實例中，每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可係指CU之明度寫碼區塊的大小，且PU之大小可係指PU之明度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於內部預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器200及視訊解碼器300亦可支援用於框間預測的2N×nU、2N×nD、nL×2N以及nR×2N之PU大小的不對稱分割。
在模式選擇單元未將CU進一步分割成PU的實例中，每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指代CU之明度寫碼區塊的大小。視訊編碼器200及視訊解碼器300可支援2N × 2N、2N × N或N × 2N之CU大小。
對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術，如少數實例，模式選擇單元202經由與寫碼技術相關聯之各別單元產生用於正編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，而產生指示基於所選擇之調色板來重建構區塊之方式的語法元素。在此類模式中，模式選擇單元202可將此等語法元素提供至待編碼之熵編碼單元220。
如上文所描述，殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204接著產生用於當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。
變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中稱為「變換係數區塊」)。轉換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、定向變換、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可對殘餘區塊執行多個變換，例如初級變換及二級變換，諸如旋轉變換。在一些實例中，變換處理單元206不將變換應用於殘餘區塊。
量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值量化變換係數區塊之變換係數。視訊編碼器200 (例如經由模式選擇單元202)可藉由調整與CU相關聯之QP值而調整應用於與當前區塊相關聯之係數區塊的量化程度。量化可引入資訊之損失，且因此，經量化變換係數可相比由變換處理單元206產生之原始變換係數具有較低精確度。
反量化單元210及反變換處理單元212可將反量化及反變換分別應用於經量化係數區塊，以自變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及藉由模式選擇單元202產生之預測區塊來產生對應於當前區塊之經重建構區塊(儘管可能具有一定程度的失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自由模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。
濾波器單元216可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應假影。在一些實例中，可跳過濾波器單元216之操作。
視訊編碼器200將經重建構區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波經重建構區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。另外，內部預測單元226可使用當前圖像之DPB 218中的經重建構區塊以對當前圖像中之其他區塊進行內部預測。
一般而言，熵編碼單元220可對自視訊編碼器200之其他功能組件所接收之語法元素進行熵編碼。舉例而言，熵編碼單元220可熵編碼來自量化單元208之經量化變換係數區塊。作為另一實例，熵編碼單元220可對來自模式選擇單元202之預測語法元素(例如用於框間預測之運動資訊或用於內部預測之內部模式資訊)進行熵編碼。熵編碼單元220可對語法元素(其為視訊資料之另一實例)進行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料執行上下文自適應可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可以略過模式操作，其中語法元素未經熵編碼。
視訊編碼器200可輸出位元串流，該位元串流包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。特定而言，熵編碼單元220可輸出該位元串流。以此方式，熵編碼單元220可發信指示殘餘值(例如由殘餘產生單元204產生的殘餘值)的資訊。
上文所描述之操作係關於區塊進行描述。此描述應理解為用於明度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，明度寫碼區塊及色度寫碼區塊為CU之明度及色度分量。在一些實例中，明度寫碼區塊及色度寫碼區塊為PU之明度及色度分量。
在一些實例中，無需針對色度寫碼區塊重複相對於明度寫碼區塊進行之操作。作為一個實例，無需重複識別明度寫碼區塊之運動向量(MV)及參考圖像的操作用於識別色度區塊之MV及參考圖像 。實情為，明度寫碼區塊之MV可經縮放以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，內部預測程序可針對明度寫碼區塊及色度寫碼區塊為相同的。
視訊編碼器200表示經組態以編碼視訊資料的器件之實例，該器件包括經組態以儲存視訊資料的記憶體，及實施於電路中且經組態以執行以下操作的一或多個處理單元：根據本發明中描述之技術中的任一者或其組合基於矩陣內部預測模式產生當前區塊之預測區塊並基於該預測區塊編碼當前區塊(例如基於預測區塊與當前區塊之間的差判定殘餘值)。視訊編碼器200亦可發信指示殘餘值的值。
圖4為說明可執行本發明之技術的實例視訊解碼器300的方塊圖。出於解釋之目的而提供圖4，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述視訊解碼器300係根據VVC及H.264/HEVC之技術來描述的。然而，本發明之技術可由經組態為其他視訊寫碼標準的視訊寫碼器件執行。
在圖4之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。CPB 記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及DPB 314中任一者或全部可實施於一或多個處理器或處理電路中。此外，視訊解碼器300可包括額外或替代處理器或處理電路以執行此等及其他功能。
預測處理單元304包括運動補償單元316及內部預測單元318。在圖4之實例中，預測處理單元304亦包括MIP單元319。MIP單元319可為內部預測單元318之部分但為了易於說明展示為獨立單元。結合視訊解碼器300之一個或多個其他單元，MIP單元319可經組態以執行本發明中所描述之實例技術。
預測處理單元304可包括根據其他預測模式執行預測之疊加單元。作為實例，預測處理單元304可包括調色板單元、區塊內複製單元(其可形成運動補償單元316之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同功能組件。
CPB記憶體320可儲存待由視訊解碼器300之組件解碼的視訊資料，諸如經編碼視訊位元串流。可(例如)自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如，語法元素)的CPB。此外，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的暫時資料。DPB 314通常儲存經解碼圖像，其中視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB記憶體320及DPB 314可由多種記憶體器件中之任一者形成，該等記憶體器件諸如動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。CPB記憶體320及DPB 314可藉由同一記憶體器件或獨立記憶體器件提供。在各種實例中，CPB 記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。
另外地或可替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可運用CPB 記憶體320儲存如上文所論述之資料。同樣地，當視訊解碼器300之一些或所有功能性實施於軟體中以藉由視訊解碼器300之處理電路執行時，記憶體120可儲存待由視訊解碼器300執行之指令。
圖4中展示之各種單元經說明以輔助理解藉由視訊解碼器300執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。類似於圖3，固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路指可經程式化以執行各種任務，並在可被執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作類型通常為不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在視訊解碼器300之操作藉由在可程式化電路上執行之軟體執行的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收並執行的軟體之指令(例如目標碼)。
熵解碼單元302可自CPB接收經編碼視訊資料且熵解碼視訊資料以再生語法元素。預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、及濾波器單元312可基於自位元串流提取之語法元素產生經解碼視訊資料。
一般而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可對每一區塊(其中當前經重建構(亦即經解碼)之區塊可被稱作「當前區塊」)個別地執行重建構操作。
熵解碼單元302可對定義經量化變換係數區塊之經量化變換係數的語法元素以及諸如量化參數(QP)及/或變換模式指示之變換資訊進行熵解碼。反量化單元306可使用與經量化變換係數區塊相關聯之QP判定量化程度，且同樣判定反量化程度供反量化單元306應用。反量化單元306可例如執行按位元左移操作以將經量化變換係數反量化。反量化單元306可藉此形成包括變換係數之變換係數區塊。
在反向量化單元306形成變換係數區塊後，反向變換處理單元308可將一或多個反向變換應用於變換係數區塊以產生與當前區塊相關聯的殘餘區塊。舉例而言，反變換處理單元308可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於變換係數區塊。
此外，預測處理單元304根據藉由熵解碼單元302熵解碼之預測資訊語法元素來產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元316可通常以實質上類似於關於運動補償單元224 (圖3)所描述之方式的方式執行框間預測程序。
作為另一實例，若預測資訊語法元素指示當前區塊經內部預測，則內部預測單元318可根據藉由預測資訊語法元素指示之內部預測模式來產生預測區塊。同樣，內部預測單元318通常可以實質上與關於內部預測單元226 (圖3)所描述之方式類似的方式執行內部預測程序。內部預測單元318可將相鄰樣本之資料自DPB 314擷取至當前區塊。
作為另一實例，預測處理單元304可判定當前區塊係使用矩陣內部預測(MIP)來預測。回應於判定當前區塊係使用MIP來預測，MIP單元319可經組態以執行本發明中所描述之實例技術。
MIP單元319可經組態以產生當前區塊之預測區塊，諸如使用矩陣內部預測(MIP)預測的當前區塊。舉例而言，為產生當前區塊之預測區塊，MIP單元319可經組態以：基於當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為預測區塊之子取樣樣本集合；削減該等內部預測樣本；及在削減該等內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本。預測區塊可包括經削減內部預測樣本及一或多個剩餘樣本。當前區塊之參考樣本可包括在當前區塊左側的一行中的參考樣本及在當前區塊上方的一列中的參考樣本。
為判定內部預測樣本，MIP單元319可經組態以基於當前區塊之參考樣本的集合判定邊界值。邊界值可等於參考樣本或參考樣本之集合的平均值。MIP單元319可對邊界值執行矩陣乘法以產生第一基於矩陣之內部預測樣本並將偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本。內部預測樣本可為第二基於矩陣之內部預測樣本，且為預測區塊之樣本的子取樣集合的內部預測樣本可包括為預測區塊中之子取樣樣本集合的第二基於矩陣之內部預測樣本。
為削減內部預測樣本，MIP單元319可削減第二基於矩陣之內部預測樣本。此外，在削減內部預測樣本之後，為基於該等經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本，MIP單元319可在削減內部預測樣本之後，基於該等經削減第二基於矩陣之內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
可存在MIP單元319可基於當前區塊之參考樣本的集合判定邊界值所藉以的各種方式。作為一個實例，如圖6中所說明，MIP單元319可對於具有8×8之大小的當前區塊，基於在當前區塊上方的一列中的兩個參考樣本之集合的平均值及在當前區塊左側的一行中的兩個參考樣本之集合的平均值來判定邊界值。如圖7中所說明，MIP單元319可對於具有8×4之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的平均值及在當前區塊左側的一行中之參考樣本來判定邊界值。如圖8中所說明，MIP單元319可對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及來自該等中間樣本的兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之四個參考樣本之集合的一平均值判定邊界值。
重建構單元310可使用預測區塊及殘餘區塊重建構當前區塊(例如基於預測區塊及指示預測區塊與當前區塊之間的差的殘餘值重建構當前區塊)。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。
濾波器單元312可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以沿經重建構區塊之邊緣減少區塊效應假影。濾波器單元312之操作不一定在所有實例中執行。
視訊解碼器300可將經重建構區塊儲存於DPB 314中。如上文所論述，DPB 314可將參考資訊提供至預測處理單元304，該參考資訊諸如用於內部預測之當前圖像及用於後續運動補償之經先前解碼圖像的樣本。此外，視訊解碼器300可輸出來自DPB之經解碼圖像用於後續呈現於顯示器件(諸如圖1之顯示器件118)上。
以此方式，視訊解碼器300表示視訊解碼器件之實例，該視訊解碼器件包括經組態以儲存視訊資料的記憶體，及實施於電路中且經組態以執行以下操作的一或多個處理單元：根據本發明中描述之技術中的任一者或其組合基於矩陣內部預測模式產生當前區塊之預測區塊並基於預測區塊解碼當前區塊(例如接收來自經編碼位元串流之指示殘餘值的值並基於預測區塊及殘餘值重建構當前區塊)。
圖12為說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU。儘管關於視訊編碼器200 (圖1及圖3)加以描述，但應理解，其他器件可經組態以執行類似於圖12之方法的方法。舉例而言，關於視訊編碼器200之MIP單元227描述圖12，該MIP單元為經組態以執行本發明中所描述之實例技術的處理電路之一個實例。
記憶體(例如視訊資料記憶體230、經解碼圖像緩衝器218或某一其他記憶體)可經組態以儲存當前區塊之參考樣本。當前區塊之參考樣本包括在當前區塊左側的一行中的參考樣本及在當前區塊上方的一列中的參考樣本。
圖12之實例可係針對於使用矩陣內部預測(MIP)預測當前區塊。MIP單元227可經組態以根據使用MIP預測當前區塊的圖12之實例產生當前區塊之預測區塊。
舉例而言，MIP單元227可基於該當前區塊之參考樣本判定內部預測樣本(例如predred
)，該等內部預測樣本為預測區塊之子取樣樣本集合(350)。以下內容描述用以判定內部預測樣本(例如predred
)的實例技術。
MIP單元227可基於當前區塊之參考樣本的集合判定邊界值(例如bdryred
)。邊界值(例如bdryred
)可等於參考樣本或參考樣本之集合的平均值。MIP單元227可對邊界值執行矩陣乘法以產生第一基於矩陣之內部預測樣本(例如執行A*bdryred
，其中A為用以產生第一基於矩陣之內部預測樣本的矩陣)。MIP單元227可將偏移應用於第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本(例如MIP單元227可將偏移「b」應用於第一基於矩陣之內部預測樣本以判定A*bdryred
+b，其為第二基於矩陣之內部預測樣本)。在一或多個實例中，內部預測樣本(例如predred
)為第二基於矩陣之內部預測樣本。
以下內容描述用於MIP單元227之用以判定邊界值(例如bdryred
)的實例技術。作為一個實例，MIP單元227可對於具有8×8之大小的當前區塊，基於在當前區塊上方的一列中的兩個參考樣本之集合的平均值及在當前區塊左側的一行中的兩個參考樣本之集合的平均值來判定邊界值。作為一個實例，MIP單元227可對於具有8×4之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的平均值及在當前區塊左側的一行中之參考樣本判定邊界值。作為一個實例，MIP單元227可對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在該當前區塊上方的一列中之兩個參考樣本之集合的平均值及來自該等中間樣本的兩個參考樣本之集合的平均值及在當前區塊左側的一行中之四個參考樣本之集合的平均值判定邊界值。
MIP單元227可削減內部預測樣本(352)。舉例而言，MIP單元227可執行經定義為Clip1之削減操作。用於削減操作(例如Clip1)之方程的一個實例為Clip1( x ) = Clip3(0, (1 ＜＜ BitDepth ) − 1, x)，其中x為內部預測樣本(例如predred
樣本值中之每一者)。如上文所描述，第二基於矩陣之內部預測樣本可為內部預測樣本(例如predred
)。在一些實例中，削減內部預測樣本可包括削減第二基於矩陣之內部預測樣本。
在削減內部預測樣本之後，MIP單元227可基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本(354)。舉例而言，在削減內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本可包括在削減內部預測樣本之後，及基於經削減第二基於矩陣之內部預測樣本產生預測區塊中之一或多個剩餘樣本。用以產生一或多個剩餘樣本之一個實例方式係運用內插(例如線性內插)。經削減內部預測樣本及一或多個剩餘樣本可共同形成預測區塊。
殘餘產生單元204可判定指示當前區塊與預測區塊之間的差的殘餘值(356)。熵編碼單元220可發信指示殘餘值的資訊(358)，例如以供視訊解碼器使用。
圖13為說明用於解碼視訊資料之當前區塊的實例方法之流程圖。當前區塊可包含當前CU。儘管關於視訊解碼器300 (圖1及圖4)加以描述，但應理解其他器件可經組態以執行類似於圖13之方法的方法。舉例而言，關於視訊解碼器300之MIP單元319描述圖13，該MIP單元為經組態以執行本發明中所描述之實例技術的處理電路之一個實例。
記憶體(例如經解碼圖像緩衝器314或某一其他記憶體)可經組態以儲存當前區塊之參考樣本。當前區塊之參考樣本包括在當前區塊左側的一行中的參考樣本及在當前區塊上方的一列中的參考樣本。
在圖13之實例中，預測處理單元304可判定當前區塊係使用矩陣內部預測(MIP)來預測。MIP單元319可經組態以回應於判定當前區塊係使用MIP來預測而根據圖13之實例產生當前區塊之預測區塊。
舉例而言，MIP單元319可基於當前區塊之參考樣本判定內部預測樣本(例如predred
)(370)。內部預測樣本可為預測區塊之子取樣樣本集合。以下內容描述用以判定內部預測樣本(例如predred
)的實例技術。
MIP單元319可基於當前區塊之參考樣本的集合判定邊界值(例如bdryred
)。邊界值(例如bdryred
)可等於參考樣本或參考樣本之集合的平均值。MIP單元319可對邊界值執行矩陣乘法以產生第一基於矩陣之內部預測樣本(例如執行A*bdryred
，其中A為用以產生第一基於矩陣之內部預測樣本的矩陣)。MIP單元319可將偏移應用於第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本(例如MIP單元319可將偏移「b」應用於第一基於矩陣之內部預測樣本以判定A*bdryred
+b，其為第二基於矩陣之內部預測樣本)。在一或多個實例中，內部預測樣本(例如predred
)為第二基於矩陣之內部預測樣本。
以下內容描述用於MIP單元319之用以判定邊界值(例如bdryred
)的實例技術。作為一個實例，MIP單元319可對於具有8×8之大小的當前區塊，基於在當前區塊上方的一列中的兩個參考樣本之集合的平均值及在當前區塊左側的一行中的兩個參考樣本之集合的平均值來判定邊界值。作為一個實例，MIP單元319可對於具有8×4之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的平均值及在當前區塊左側的一行中之參考樣本判定邊界值。作為一個實例，MIP單元319可對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在該當前區塊上方的一列中之兩個參考樣本之集合的平均值及來自該等中間樣本的兩個參考樣本之集合的平均值及在當前區塊左側的一行中之四個參考樣本之集合的平均值判定邊界值。
MIP單元319可削減內部預測樣本(372)。舉例而言，MIP單元319可執行經定義為Clip1之削減操作。用於削減操作(例如Clip1)之方程的一個實例為Clip1( x ) = Clip3(0, (1 ＜＜ BitDepth ) − 1, x)，其中x為內部預測樣本(例如predred
樣本值中之每一者)。如上文所描述，第二基於矩陣之內部預測樣本可為內部預測樣本(例如predred
)。在一些實例中，削減內部預測樣本可包括削減第二基於矩陣之內部預測樣本。
在削減內部預測樣本之後，MIP單元319基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本(374)。舉例而言，在削減內部預測樣本之後，基於經削減內部預測樣本產生預測區塊中之一或多個剩餘樣本可包括基於經削減第二基於矩陣之內部預測樣本產生預測區塊中之一或多個剩餘樣本。用以產生一或多個剩餘樣本之一個實例方式係運用內插(例如線性內插)。經削減內部預測樣本及一或多個剩餘樣本可共同形成預測區塊。
重建構單元310可基於預測區塊及指示預測區塊與當前區塊之間的差的殘餘值重建構當前區塊(376)。舉例而言，重建構單元310可添加殘餘值至預測區塊以重建構當前區塊並將當前區塊儲存於DPB 314中以供參考或稍後顯示。在一些實例中，濾波器單元312可在於DPB 314中儲存之前執行濾波。
以下為可單獨或組合利用之實例技術。
實例1。一種寫碼視訊資料之方法，該方法包含根據本發明中描述之技術中的任一者或其組合基於一矩陣內部預測模式產生一當前區塊之一預測區塊及基於該預測區塊寫碼該當前區塊。
實例2。如實例1之方法，其進一步包含接收來自一經編碼位元串流之指示殘餘值的值，其中該等殘餘值係基於該預測區塊與該當前區塊之間的一差，其中寫碼該當前區塊包含解碼該當前區塊，且其中解碼該當前區塊包含基於該預測區塊及該等殘餘值重建構該當前區塊。
實例3。如實例1之方法，其中寫碼該當前區塊包含編碼該當前區塊，且其中編碼該當前區塊包含基於該預測區塊與該當前區塊之間的一差判定殘餘值，該方法進一步包含發信指示該等殘餘值之值。
實例4。如實例1至3中任一項之方法，其中產生該預測區塊包含將具有一奇數個濾波器抽頭的一濾波器應用於該當前區塊之相鄰樣本以產生經濾波樣本及基於該等經濾波樣本產生該預測區塊。
實例5。如實例1至3中任一項之方法，其中產生該預測區塊包含將一邊緣保留雜訊減少濾波器應用於該當前區塊之相鄰樣本以產生經濾波樣本及基於該等經濾波樣本產生該預測區塊。
實例6。如實例1至3中任一項之方法，其中產生該預測區塊包含在不濾波的情況下對該當前區塊之相鄰樣本執行子取樣以產生子取樣樣本及基於該等子取樣樣本產生該預測區塊。
實例7。如實例4至6中之任一項之方法，其中該等相鄰樣本包含在當前區塊上方的相鄰樣本及在該當前區塊左側的相鄰樣本中之一或多者。
實例8。如實例7之方法，其進一步包含基於該當前區塊之區塊尺寸、預測模式或被發信的資訊中之一或多者判定應用該濾波器或在不濾波的情況下對在該當前區塊上方之該等相鄰樣本及該當前區塊左側的相鄰樣本中之一者或兩者執行子取樣。
實例9。如實例4至8中之任一項之方法，其進一步包含基於該當前區塊之區塊尺寸、預測模式或被發信的資訊中之一或多者選擇待應用的濾波器之一類型或在不濾波情況下執行子取樣所藉以的一方式。
實例10。如實例4至8中之任一項之方法，其進一步包含判定係應用該濾波器抑或在不濾波情況下執行子取樣需要存取在該當前區塊右側或在該當前區塊下方的一樣本及產生在當前區塊右上方或當前區塊下方的該樣本之一樣本值，其中應用該濾波器抑或在不濾波情況下執行子取樣包含應用該濾波器或在不濾波情況下運用所產生之樣本值執行子取樣。
實例11。如實例1至10中之任一項之方法，其中基於矩陣內部預測模式產生一當前區塊之一預測區塊包含基於相鄰經重建構樣本判定該當前區塊之一DC值。
實例12。如實例11之方法，其中基於相鄰經重建構樣本判定該當前區塊之該DC值包含在判定邊界參考樣本之前或與判定邊界參考樣本並行地基於相鄰經重建構樣本判定該當前區塊之該DC值。
實例13。如實例11及12之任一項之方法，其進一步包含基於僅僅一次自記憶體擷取該當前區塊之相鄰樣本值判定該DC值及減少之邊界參考樣本值兩者。
實例14。如實例1至13中之任一項之方法，其中產生該預測區塊包含：基於該當前區塊之參考樣本判定邊界值，其中該等邊界值等於該等參考樣本或該等參考樣本之集合的平均值；對該等邊界值執行一矩陣乘法以產生第一基於矩陣之內部預測樣本；將一偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本，該等第二基於矩陣之內部預測樣本為該預測區塊中之一子取樣樣本集合；削減該等第二基於矩陣之內部預測樣本；及在削減該等第二基於矩陣之內部預測樣本之後，基於該等經削減第二基於矩陣之內部預測樣本來內插該預測區塊中之剩餘樣本。
實例15。一種用於寫碼視訊資料之器件，該器件包含經組態以儲存該視訊資料之一記憶體及包含固定功能或可程式化電路中之至少一者的一視訊寫碼器，其中該視訊寫碼器經組態以執行實例1至14中之任一項之方法。
實例16。如實例15之器件，其進一步包含經組態以顯示經解碼視訊資料的一顯示器。
實例17。如實例15或16之器件，其中該器件包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
實例18。一種其上儲存有指令之電腦可讀儲存媒體，該等指令當經執行時促使一或多個處理器執行如實例1至14中任一項之方法。
實例19。一種用於寫碼視訊資料之器件，該器件包含用於執行如實例1至14中任一項之方法的構件。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多線程處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(digital subscriber line；DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」及「處理電路」可指上述結構或適用於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。又，可在一或多個電路或邏輯元件中充分實施該等技術。
本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合與合適之軟體及/或韌體一起結合來提供該等單元。
各種實例已予以描述。此等及其他實例係在以下申請專利範圍之範疇內。
100:視訊編碼及解碼系統
102:源器件
104:視訊源
106:記憶體
108:輸出介面
110:電腦可讀媒體
112:儲存器件
114:檔案伺服器
116:目的地器件
118:顯示器件
120:記憶體
122:輸入介面
130:四分樹二進位樹(QTBT)結構
132:對應寫碼樹單元(CTU)
200:視訊編碼器
202:模式選擇單元
204:殘餘產生單元
206:變換處理單元
208:量化單元
210:反量化單元
212:反變換處理單元
214:重建構單元
216:濾波器單元
218:經解碼圖像緩衝器(DPB)
220:熵編碼單元
222:運動估計單元
224:運動補償單元
226:內部預測單元
227:MIP單元
230:視訊資料記憶體
300:視訊解碼器
302:熵解碼單元
304:預測處理單元
306:反量化單元
308:反變換處理單元
310:重建構單元
312:濾波器單元
314:經解碼圖像緩衝器(DPB)
316:運動補償單元
318:內部預測單元
319:MIP單元
320:經寫碼圖像緩衝器(CPB)記憶體
圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。
圖2A及圖2B為說明實例四分樹二進位樹(QTBT)結構及對應寫碼樹單元(CTU)之概念圖。
圖3為說明可執行本發明之技術之實例視訊編碼器的方塊圖。
圖4為說明可執行本發明中之技術的實例視訊解碼器的方塊圖。
圖5為說明用於4×4區塊之矩陣內部預測模式的流程圖。
圖6為說明用於8×8區塊之矩陣內部預測模式的流程圖。
圖7為說明用於8×4區塊之矩陣內部預測模式的流程圖。
圖8為說明用於16×16區塊之矩陣內部預測模式的流程圖。
圖9為說明用於8×8區塊之邊界樣本的矩陣內部預測模式平均化及定位的概念圖。
圖10為說明針對兩個位置運用3抽頭濾波器濾波邊界樣本的概念圖。
圖11為說明用於8×8寫碼單元實例之實例削減區域及矩陣內部預測(MIP)削減區域的概念圖。
圖12為說明編碼視訊資料之實例的流程圖。
圖13為說明解碼視訊資料之實例的流程圖。
Claims (20)
- 一種解碼視訊資料之方法，該方法包含： 產生一當前區塊之一預測區塊，其中產生該當前區塊之該預測區塊包含： 基於該當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為該預測區塊之一子取樣樣本集合， 削減該等內部預測樣本，及 在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之一或多個剩餘樣本；及 基於該預測區塊及指示該預測區塊與該當前區塊之間的一差的殘餘值重建構該當前區塊。
- 如請求項1之方法， 其中基於該等參考樣本判定該等內部預測樣本包含： 基於該當前區塊之該等參考樣本的集合判定邊界值，其中該等邊界值等於該等參考樣本或該等參考樣本之集合的平均值； 對該等邊界值執行一矩陣乘法以產生第一基於矩陣之內部預測樣本；及 將一偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本，其中該等內部預測樣本為該等第二基於矩陣之內部預測樣本，且其中為該預測區塊之該等樣本之該子取樣集合的該等內部預測樣本包含為該預測區塊中之該子取樣樣本集合的該等第二基於矩陣之內部預測樣本， 其中削減該等內部預測樣本包含削減該等第二基於矩陣之內部預測樣本，且 其中，在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本包含在削減該等內部預測樣本之後，基於該等經削減第二基於矩陣之內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
- 如請求項2之方法，其中基於該當前區塊之該等參考樣本的集合判定邊界值包含以下各者中的一者： 對於具有8×8之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之兩個參考樣本之集合的一平均值判定邊界值； 對於具有8×4之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之參考樣本判定邊界值；或 對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及來自該等中間樣本的兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之四個參考樣本之集合的一平均值判定邊界值。
- 如請求項1之方法，其進一步包含： 判定該當前區塊係使用矩陣內部預測(MIP)來預測， 其中基於該當前區塊之參考樣本判定內部預測樣本，削減該等內部預測樣本及在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本包含回應於判定該當前區塊係使用MIP來預測，基於該當前區塊之參考樣本判定內部預測樣本，削減該等內部預測樣本，及在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
- 如請求項1之方法，其中該當前區塊之該等參考樣本包含在該當前區塊之左側的一行中之參考樣本及在該當前區塊上方的一列中之參考樣本。
- 一種編碼視訊資料之方法，該方法包含： 產生一當前區塊之一預測區塊，其中產生該當前區塊之該預測區塊包含： 基於該當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為該預測區塊之一子取樣樣本集合， 削減該等內部預測樣本，及 在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之一或多個剩餘樣本； 判定指示該當前區塊與該預測區塊之間的一差的殘餘值；及 發信指示該等殘餘值之資訊。
- 如請求項6之方法， 其中基於該等參考樣本判定該等內部預測樣本包含： 基於該當前區塊之該等參考樣本的集合判定邊界值，其中該等邊界值等於該等參考樣本或該等參考樣本之集合的平均值； 對該等邊界值執行一矩陣乘法以產生第一基於矩陣之內部預測樣本；及 將一偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本，其中該等內部預測樣本為該等第二基於矩陣之內部預測樣本，且其中為該預測區塊之該等樣本之該子取樣集合的該等內部預測樣本包含為該預測區塊中之該子取樣樣本集合的該等第二基於矩陣之內部預測樣本， 其中削減該等內部預測樣本包含削減該等第二基於矩陣之內部預測樣本，且 其中，在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本包含在削減該等內部預測樣本之後，基於該等經削減第二基於矩陣之內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
- 如請求項7之方法，其中基於該當前區塊之該等參考樣本的集合判定邊界值包含以下各者中的一者： 對於具有8×8之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之兩個參考樣本之集合的一平均值判定邊界值； 對於具有8×4之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之參考樣本判定邊界值；或 對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及來自該等中間樣本的兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之四個參考樣本之集合的一平均值判定邊界值。
- 如請求項6之方法，其中： 基於該當前區塊之參考樣本判定內部預測樣本，削減該等內部預測樣本及在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本包含對於該當前區塊係使用矩陣內部預測(MIP)來預測，基於該當前區塊之參考樣本判定內部預測樣本，削減該等內部預測樣本，及在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
- 如請求項6之方法，其中該當前區塊之該等參考樣本包含在該當前區塊之左側的一行中之參考樣本及在該當前區塊上方的一列中之參考樣本。
- 一種用於解碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存一當前區塊之參考樣本；及 處理電路，其經組態以： 產生該當前區塊之一預測區塊，其中為產生該當前區塊之該預測區塊，該處理電路經組態以： 基於儲存在該記憶體中之該當前區塊之該等參考樣本判定內部預測樣本，該等內部預測樣本為該預測區塊之一子取樣樣本集合， 削減該等內部預測樣本，及 在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之一或多個剩餘樣本；及 基於該預測區塊及指示該預測區塊與該當前區塊之間的一差的殘餘值重建構該當前區塊。
- 如請求項11之器件， 其中為基於該等參考樣本判定該等內部預測樣本，該處理電路經組態以： 基於該當前區塊之該等參考樣本的集合判定邊界值，其中該等邊界值等於該等參考樣本或該等參考樣本之集合的平均值； 對該等邊界值執行一矩陣乘法以產生第一基於矩陣之內部預測樣本；及 將一偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本，其中該等內部預測樣本為該等第二基於矩陣之內部預測樣本，且其中為該預測區塊之該等樣本之該子取樣集合的該等內部預測樣本包含為該預測區塊中之該子取樣樣本集合的該等第二基於矩陣之內部預測樣本， 其中為削減該等內部預測樣本，該處理電路經組態以削減該等第二基於矩陣之內部預測樣本，且 其中為在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本，該處理電路經組態以在削減該等內部預測樣本之後，基於該等經削減第二基於矩陣之內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
- 如請求項12之器件，其中為基於該當前區塊之該等參考樣本之集合判定邊界值，該處理電路經組態以執行以下各者中的一者： 對於具有8×8之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之兩個參考樣本之集合的一平均值判定邊界值； 對於具有8×4之大小的當前區塊，基於在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之參考樣本判定邊界值；或 對於具有16×16之大小的當前區塊，基於用以產生八個中間樣本的在該當前區塊上方的一列中之兩個參考樣本之集合的一平均值及來自該等中間樣本的兩個參考樣本之集合的一平均值及在該當前區塊左側的一行中之四個參考樣本之集合的一平均值判定邊界值。
- 如請求項11之器件，其中該處理電路經組態以： 判定該當前區塊係使用矩陣內部預測(MIP)來預測， 其中為基於該當前區塊之參考樣本判定內部預測樣本，削減該等內部預測樣本，及在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本，該處理電路經組態以回應於判定該當前區塊係使用MIP來預測，基於該當前區塊之參考樣本判定內部預測樣本，削減該等內部預測樣本，及在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本。
- 如請求項11之器件，其中該當前區塊之該等參考樣本包含在該當前區塊之左側的一行中之參考樣本及在該當前區塊上方的一列中之參考樣本。
- 一種用於編碼視訊資料之器件，該器件包含： 記憶體，其經組態以儲存一當前區塊之參考樣本；及 處理電路，其經組態以： 產生該當前區塊之一預測區塊，其中為產生該當前區塊之該預測區塊，該處理電路經組態以： 基於該當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為該預測區塊之一子取樣樣本集合， 削減該等內部預測樣本，及 在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之一或多個剩餘樣本； 判定指示該當前區塊與該預測區塊之間的一差的殘餘值；及 發信指示該等殘餘值之資訊。
- 一種用於解碼視訊資料之器件，該器件包含： 用於產生一當前區塊之一預測區塊的構件，其中該用於產生該當前區塊之該預測區塊的構件包含： 用於基於該當前區塊之參考樣本判定內部預測樣本的構件，該等內部預測樣本為該預測區塊之一子取樣樣本集合， 用於削減該等內部預測樣本的構件，及 用於在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之一或多個剩餘樣本的構件；及 用於基於該預測區塊及指示該預測區塊與該當前區塊之間的一差的殘餘值重建構該當前區塊的構件。
- 如請求項17之器件， 其中該用於基於該等參考樣本判定該等內部預測樣本的構件包含： 用於基於該當前區塊之該等參考樣本的集合判定邊界值的構件，其中該等邊界值等於該等參考樣本或該等參考樣本之集合的平均值； 用於對該等邊界值執行一矩陣乘法以產生第一基於矩陣之內部預測樣本的構件；及 用於將一偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本的構件，其中該等內部預測樣本為該等第二基於矩陣之內部預測樣本，且其中為該預測區塊之該等樣本之該子取樣集合的該等內部預測樣本包含為該預測區塊中之該子取樣樣本集合的該等第二基於矩陣之內部預測樣本， 其中該用於削減該等內部預測樣本的構件包含用於削減該等第二基於矩陣之內部預測樣本的構件，且 其中該用於基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本的構件包含用於在削減該等內部預測樣本之後，基於該等經削減第二基於矩陣之內部預測樣本產生該預測區塊中之該一或多個剩餘樣本的構件。
- 一種其上儲存有指令之電腦可讀儲存媒體，該等指令在執行時使得用於解碼視訊資料之一器件的一或多個處理器執行以下操作： 產生一當前區塊之一預測區塊，其中使該一或多個處理器產生該當前區塊之該預測區塊的該等指令包含使該一或多個處理器執行以下操作的指令： 基於該當前區塊之參考樣本判定內部預測樣本，該等內部預測樣本為該預測區塊之一子取樣樣本集合， 削減該等內部預測樣本，及 在削減該等內部預測樣本之後，基於該等經削減內部預測樣本產生該預測區塊中之一或多個剩餘樣本；及 基於該預測區塊及指示該預測區塊與該當前區塊之間的一差的殘餘值重建構該當前區塊。
- 如請求項19之電腦可讀儲存媒體， 其中使該一或多個處理器基於該等參考樣本判定該等內部預測樣本的該等指令包含使該一或多個處理器執行以下操作之指令： 基於該當前區塊之該等參考樣本的集合判定邊界值，其中該等邊界值等於該等參考樣本或該等參考樣本之集合的平均值； 對該等邊界值執行一矩陣乘法以產生第一基於矩陣之內部預測樣本；及 將一偏移應用於該等第一基於矩陣之內部預測樣本值以產生第二基於矩陣之內部預測樣本，其中該等內部預測樣本為該等第二基於矩陣之內部預測樣本，且其中為該預測區塊之該等樣本之該子取樣集合的該等內部預測樣本包含為該預測區塊中之該子取樣樣本集合的該等第二基於矩陣之內部預測樣本， 其中使該一或多個處理器削減該等內部預測樣本的該等指令包含使該一或多個處理器削減該等第二基於矩陣之內部預測樣本的指令，及 其中使該一或多個處理器在削減該等內部預測樣本之後基於該等經削減內部預測樣本產生該預測區塊中之該一或多個剩餘樣本的該等指令包含使該一或多個處理器在削減該等內部預測樣本之後基於該等經削減第二基於矩陣之內部預測樣本產生該預測區塊中之該一或多個剩餘樣本的指令。
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962845732P | 2019-05-09 | 2019-05-09 | |
| US62/845,732 | 2019-05-09 | ||
| US201962853573P | 2019-05-28 | 2019-05-28 | |
| US62/853,573 | 2019-05-28 | ||
| US201962863729P | 2019-06-19 | 2019-06-19 | |
| US62/863,729 | 2019-06-19 | ||
| US16/867,180 US11277637B2 (en) | 2019-05-09 | 2020-05-05 | Reference sampling for matrix intra prediction mode |
| US16/867,180 | 2020-05-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202101978A true TW202101978A (zh) | 2021-01-01 |
Family
ID=73046617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109115110A TW202101978A (zh) | 2019-05-09 | 2020-05-06 | 用於矩陣內部預測模式之參考取樣 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11277637B2 (zh) |
| EP (1) | EP3967041A1 (zh) |
| CN (1) | CN113785587B (zh) |
| TW (1) | TW202101978A (zh) |
| WO (1) | WO2020227405A1 (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10609423B2 (en) | 2016-09-07 | 2020-03-31 | Qualcomm Incorporated | Tree-type coding for video coding |
| WO2020207493A1 (en) | 2019-04-12 | 2020-10-15 | Beijing Bytedance Network Technology Co., Ltd. | Transform coding based on matrix-based intra prediction |
| EP3954115A4 (en) | 2019-05-22 | 2023-04-19 | Beijing Bytedance Network Technology Co., Ltd. | MATRIX-BASED INTRAPREDICTION USING UPSAMPLING |
| CN114051735A (zh) | 2019-05-31 | 2022-02-15 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测中的一步下采样过程 |
| CN114009043A (zh) * | 2019-06-03 | 2022-02-01 | Lg电子株式会社 | 基于矩阵的帧内预测装置和方法 |
| EP3963885A4 (en) * | 2019-06-05 | 2022-12-14 | Beijing Bytedance Network Technology Co., Ltd. | DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION |
| EP3984229A4 (en) | 2019-06-14 | 2022-07-06 | Telefonaktiebolaget Lm Ericsson (Publ) | SIMPLIFIED SUB-SAMPLING FOR MATRIX-BASED INTRA PREDICTION |
| WO2020251469A1 (en) * | 2019-06-14 | 2020-12-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Sample value clipping on mip reduced prediction |
| WO2020262951A1 (ko) * | 2019-06-24 | 2020-12-30 | 현대자동차주식회사 | 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치 |
| WO2021006612A1 (ko) * | 2019-07-08 | 2021-01-14 | 현대자동차주식회사 | 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치 |
| SG11202102925XA (en) | 2019-07-10 | 2021-04-29 | Guangdong Oppo Mobile Telecommunications Corp Ltd | Image component prediction method, encoder, decoder, and storage medium |
| KR20220038128A (ko) * | 2019-08-22 | 2022-03-25 | 엘지전자 주식회사 | 인트라 예측 장치 및 방법 |
| JP2022546170A (ja) * | 2019-08-30 | 2022-11-04 | アリババ グループ ホウルディング リミテッド | 映像信号の行列加重イントラ予測 |
| CN114424544A (zh) * | 2019-09-19 | 2022-04-29 | 瑞典爱立信有限公司 | 允许基于矩阵的帧内预测块具有多个变换块 |
| US20220182632A1 (en) * | 2019-09-19 | 2022-06-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Matrix multiplication process for matrix based intra prediction (mip) |
| CN114641997A (zh) | 2019-10-28 | 2022-06-17 | 北京字节跳动网络技术有限公司 | 基于颜色分量的语法信令通知和解析 |
| US11372644B2 (en) * | 2019-12-09 | 2022-06-28 | Meta Platforms, Inc. | Matrix processing instruction with optional up/down sampling of matrix |
| KR20220112668A (ko) * | 2019-12-19 | 2022-08-11 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 이미지 요소 예측 방법, 인코더, 디코더 및 저장 매체 |
| BR112023019178A2 (pt) * | 2021-03-22 | 2023-10-17 | Interdigital Ce Patent Holdings Sas | Método de codificação ou decodificação, aparelho, sinal, e, mídia de armazenamento legível por computador |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9900617B2 (en) * | 2014-06-20 | 2018-02-20 | Qualcomm Incorporated | Single color palette mode in video coding |
| AU2014216056A1 (en) * | 2014-08-25 | 2016-03-10 | Canon Kabushiki Kaisha | Method, apparatus and system for predicting a block of video samples |
| US9591325B2 (en) * | 2015-01-27 | 2017-03-07 | Microsoft Technology Licensing, Llc | Special case handling for merged chroma blocks in intra block copy prediction mode |
| ES2739668B1 (es) * | 2016-03-28 | 2021-12-03 | Kt Corp | Metodo y aparato para procesar senales de video |
| CN109076241B (zh) * | 2016-05-04 | 2023-06-23 | 微软技术许可有限责任公司 | 利用样本值的非相邻参考线进行帧内图片预测 |
| US10735774B2 (en) * | 2016-05-13 | 2020-08-04 | Interdigital Vc Holdings, Inc. | Method and apparatus for video coding with adaptive clipping |
| US20180199062A1 (en) | 2017-01-11 | 2018-07-12 | Qualcomm Incorporated | Intra prediction techniques for video coding |
| WO2019154936A1 (en) * | 2018-02-09 | 2019-08-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Partition-based intra coding concept |
| US11616966B2 (en) * | 2019-04-03 | 2023-03-28 | Mediatek Inc. | Interaction between core transform and secondary transform |
| US11381808B2 (en) * | 2019-04-25 | 2022-07-05 | Hfi Innovation Inc. | Method and apparatus of matrix based intra prediction in image and video processing |
-
2020
- 2020-05-05 US US16/867,180 patent/US11277637B2/en active Active
- 2020-05-06 TW TW109115110A patent/TW202101978A/zh unknown
- 2020-05-06 WO PCT/US2020/031671 patent/WO2020227405A1/en unknown
- 2020-05-06 EP EP20728330.0A patent/EP3967041A1/en active Pending
- 2020-05-06 CN CN202080033083.8A patent/CN113785587B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11277637B2 (en) | 2022-03-15 |
| EP3967041A1 (en) | 2022-03-16 |
| WO2020227405A1 (en) | 2020-11-12 |
| CN113785587B (zh) | 2024-04-19 |
| US20200359050A1 (en) | 2020-11-12 |
| CN113785587A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW202101978A (zh) | 用於矩陣內部預測模式之參考取樣 | |
| TW202101989A (zh) | 用於視訊寫碼之參考圖像重採樣及框間寫碼工具 | |
| TW202114418A (zh) | 用於視訊寫碼中低頻非可分離變換之變換及最後有效係數位置信令傳輸 | |
| TW202106019A (zh) | 視訊寫碼中之矩陣內部預測參數之發信 | |
| US11632563B2 (en) | Motion vector derivation in video coding | |
| TW202110182A (zh) | 視訊寫碼中用於變換略過模式及調色板模式之最小允許量化參數 | |
| CN113785589A (zh) | 仿射线性加权帧内预测中的预测信号滤波 | |
| TW202106012A (zh) | 用於視訊寫碼之多重自適應迴路濾波器集合 | |
| TW202123699A (zh) | 具有協調的運動場儲存及運動補償的幾何分區模式 | |
| US20200288126A1 (en) | Reshaping filter average calculation for video coding | |
| US11956475B2 (en) | Harmonization of prediction-domain filters with interpolation filtering | |
| TW202046740A (zh) | 適應性迴路濾波器組之索引發信 | |
| TW202007148A (zh) | 具有位置依賴之內部預測組合(pdpc)之合併模式依賴的內部平化(mdis)及內部插值濾波器切換 | |
| TW202041009A (zh) | 用於轉換跳過模式之係數寫碼 | |
| TW202044833A (zh) | 使用不同色度格式之三角預測單元模式中之視訊寫碼 | |
| TW202110177A (zh) | 用於視訊寫碼之適應性迴路濾波之非線性延伸 | |
| TW202034695A (zh) | 用於視訊寫碼之限制仿射運動繼承 | |
| TW202038609A (zh) | 用於視訊寫碼之共享候選清單及平行候選清單推導 | |
| TW202041003A (zh) | 用於視訊資料之框間-框內預測模式 | |
| TW202029774A (zh) | 藉由轉換域濾波之量化假影抑制及信號恢復 | |
| TW202112135A (zh) | 用於視訊寫碼之色度內預測單元 | |
| TW202106016A (zh) | 增強內部寫碼區塊之解碼產出量 | |
| TW202027507A (zh) | 在視訊寫碼中框內區塊複本之預測限制 | |
| TW202023277A (zh) | 用於視訊寫碼及處理之解塊濾波器 | |
| US11019332B2 (en) | Chroma intra prediction in video coding |