TW201943272A - 以角度模式延伸之位置相關框內預測組合 - Google Patents

以角度模式延伸之位置相關框內預測組合 Download PDF

Info

Publication number
TW201943272A
TW201943272A TW108111745A TW108111745A TW201943272A TW 201943272 A TW201943272 A TW 201943272A TW 108111745 A TW108111745 A TW 108111745A TW 108111745 A TW108111745 A TW 108111745A TW 201943272 A TW201943272 A TW 201943272A
Authority
TW
Taiwan
Prior art keywords
prediction
determined
coordinate
sample
angle
Prior art date
Application number
TW108111745A
Other languages
English (en)
Other versions
TWI812694B (zh
Inventor
德 艾瓦拉 吉特 范
法迪姆 塞瑞金
阿米爾 塞德
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201943272A publication Critical patent/TW201943272A/zh
Application granted granted Critical
Publication of TWI812694B publication Critical patent/TWI812694B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

本發明描述使用位置相關框內預測組合(PDPC)之技術。諸如一視訊編碼器或一視訊解碼器之一視訊寫碼器在一當前區塊框內模式使用一角度框內預測模式進行預測之狀況下利用PDPC。

Description

以角度模式延伸之位置相關框內預測組合
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、高效率視訊寫碼(HEVC)標準及此等標準的擴展中所描述之技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、CU及/或寫碼節點。圖像可被稱作「圖框」。參考圖像可被稱為參考圖框。
空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。可應用熵寫碼以實現甚至更進一步壓縮。
本發明描述用於使用框內預測寫碼視訊資料區塊之技術。舉例而言，本發明之技術包括使用經延伸與一角度框內預測模式(例如，對角框內預測模式或鄰近於該對角框內預測模式之角度框內預測模式)一起使用的一位置相關框內預測組合(Position Dependent Intra Prediction Combination；PDPC)對視訊資料之一區塊進行寫碼。在框內預測中，基於該當前區塊之相鄰像素產生用於一當前區塊之一預測區塊。在PDPC中，修改該預測區塊內的該等預測樣本，且將該等經修改預測樣本用以對該當前區塊進行編碼或解碼。對於編碼，一種視訊編碼器使用該等經修改預測樣本判定被發信至一視訊解碼器的殘餘值，且對於解碼，一種視訊解碼器將該等經修改預測樣本添加至該等所接收殘餘值以重建構該當前區塊。
PDPC技術受限於某些框內預測模式，諸如DC、平坦、豎直及水平框內預測模式。本發明描述將PDPC技術延伸至角度框內預測模式的實例方法。舉例而言，在PDPC技術中，將位於該當前區塊外部的參考樣本用以修改該等預測樣本。可能存在當PDPC技術延伸至角度框內預測模式時判定使用哪些參考樣本的複雜度。本發明描述判定使用之該等參考樣本的實例方法，及將該等參考樣本及經預測樣本加權以執行用於角度框內預測模式之PDPC技術的方法，諸如基於該等角度框內預測模式(例如，基於該等角度框內預測模式之角度)判定參考樣本。
在一個實例中，本發明描述一種對視訊資料進行解碼之方法，該方法包含：基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本；使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中修改該預測樣本包含基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本及基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；及基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本。
在一個實例中，本發明描述一種對視訊資料進行編碼之方法，該方法包含：基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本；使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中修改該預測樣本包含基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本及基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值；及發信指示該殘餘值之資訊。
在一個實例中，本發明描述一種用於對視訊資料進行解碼之器件，該器件包含：一記憶體，其經組態以儲存一預測區塊；及一視訊解碼器，其包含固定功能或可程式化電路系統中之至少一者。該視訊解碼器經組態以：基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之該預測區塊以供儲存於該記憶體中，該預測區塊包括複數個預測樣本；使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中為修改該預測樣本，該視訊解碼器經組態以：基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本及基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；及基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本。
在一個實例中，本發明描述一種用於對視訊資料進行編碼之器件，該器件包含：一記憶體，其經組態以儲存一預測區塊；及一視訊編碼器，其包含固定功能或可程式化電路系統中之至少一者。該視訊編碼器經組態以：基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之該預測區塊以供儲存於該記憶體中，該預測區塊包括複數個預測樣本；使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中為修改該預測樣本，該視訊編碼器經組態以基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本及基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值；及發信指示該殘餘值之資訊。
在一個實例中，本發明描述一種其上儲存指令之電腦可讀儲存媒體，該等指令當經執行時使得用於對視訊資料進行解碼之一器件之一或多個處理器進行以下操作：
在一個實例中，本發明描述一種其上儲存指令之電腦可讀儲存媒體，該等指令當經執行時使得用於對視訊資料進行解碼之一器件之一或多個處理器進行以下操作：基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本；使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中使得該一或多個處理器修改該預測樣本的該等指令包含使得該一或多個處理器進行以下操作的指令：基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本及基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；及基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本。
在一個實例中，本發明描述一種其上儲存指令之電腦可讀儲存媒體，該指令當經執行時使得用於對視訊資料進行編碼之一器件的一或多個處理器進行以下操作：基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本；使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中使得該一或多個處理器修改該預測樣本的該等指令包含使得該一或多個處理器進行以下操作的指令：基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本及基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值；及發信指示該殘餘值之資訊。
在一個實例中，本發明描述一種對視訊資料進行解碼之器件，該器件包含：用於基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊的構件，該預測區塊包括複數個預測樣本；用於使用位置相關框內預測組合(PDPC)修改該預測區塊中之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本的構件，其中該用於修改該預測樣本的構件包含用於基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本的構件及用於基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本的構件；及用於基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本的構件。
在一個實例中，本發明描述一種對視訊資料進行編碼之器件，該器件包含：用於基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊的構件，該預測區塊包括複數個預測樣本；用於使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本的構件，其中該用於修改該預測樣本的構件包含用於基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本的構件及用於基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本的構件；用於基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值的構件；及用於發信指示該殘餘值之資訊的構件。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
本申請案主張2018年4月2日申請的美國臨時申請案第62/651,424號之權益，該申請案之全部內容藉由參考併入。
本發明描述用於使用框內預測對視訊資料之一區塊進行寫碼的技術，且更特定言之，本發明描述與以使用位置相關框內預測組合(PDPC)方法的方式使用框內預測相關的技術，且更特定言之，該方式使用PDPC方法，其將此PDPC方法延伸至角度框內預測模式(例如，對角框內模式及鄰近於該等對角框內模式之角度模式)。本文中描述之技術一般將壓縮效率引入至對視訊資料之區塊進行寫碼，且更特定言之，藉由將此等技術用於角度框內預測模式(例如，對角框內模式及至鄰近於該等對角框內模式之角度模式)將壓縮效率引入至PDPC方法，其中壓縮效率係推進現有視訊寫碼技術之狀態且改良視訊寫碼處理器及視訊編解碼器之性能方面的一般合乎需要的目標。
如本發明中所使用，術語視訊寫碼一般指視訊編碼或視訊解碼。類似地，術語視訊寫碼器可一般指代視訊編碼器或視訊解碼器。此外，本發明中關於視訊解碼所描述之某些技術亦可應用於視訊編碼，且反之亦然。舉例而言，視訊編碼器及視訊解碼器時常經組態以執行相同程序或互逆程序。又，作為判定如何對視訊資料進行編碼之程序的部分，視訊編碼器通常執行視訊解碼。因此，除非相反地陳述，否則不應假定關於視訊解碼描述之技術亦無法作為視訊編碼之部分而執行，或反之亦然。
本發明亦可使用諸如當前層、當前區塊、當前圖像、當前片段等之術語。在本發明之情形中，術語當前意欲識別相較於(例如)經先前或已寫碼區塊、圖像及圖塊或尚待寫碼之區塊、圖像及圖塊的當前正被寫碼之區塊、圖像、圖塊等。
圖1為說明可使用PDPC方法將本發明之技術用於對視訊資料之區塊進行寫碼的實例視訊編碼及解碼系統10之方塊圖，且更特定言之，使用PDPC方法，其將此PDPC方法延伸至角度框內預測模式(例如，對角框內模式及至鄰近於該等對角框內模式之角度模式)。如圖1中所示，系統10包括提供稍後將由目的地器件14解碼之經編碼視訊資料的源器件12。特定而言，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型電腦(亦即，膝上型電腦)、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似物。在一些情況下，源器件12和目的地器件14可能經裝備以用於無線通信。因此，源器件12及目的地器件14可為無線通信器件。源器件12為實例視訊編碼器件(亦即，用於編碼視訊資料之器件)。目的地器件14為一實例視訊解碼器件(例如，用於對視訊資料進行解碼之器件或設備)。
在圖1的實例中，源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體20、視訊編碼器22及輸出介面24。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示器件32。在其他實例中，源器件12及目的地器件14可包括其他組件或配置。舉例而言，源器件12可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合顯示器件。
圖1之所說明系統10僅係一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件或設備執行。儘管通常本發明之技術由視訊編碼器件及視訊解碼器件來執行，但該等技術亦可由組合式視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料用於傳輸至目的地器件14之此類寫碼器件的實例。在一些實例中，源器件12及目的地器件14以實質上對稱方式操作，使得源器件12及目的地器件14中的每一者包括視訊編碼及解碼組件。因此，系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸，(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊資料的視訊饋入介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如，儲存媒體20)。本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，所俘獲、所預先俘獲或電腦產生之視訊可藉由視訊編碼器22編碼。輸出介面24可將經編碼視訊資訊輸出至電腦可讀媒體16上。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一些實例中，電腦可讀媒體16包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源器件12至目的地器件14的通信之設備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。
在一些實例中，經編碼資料(例如經編碼視訊資料)可自輸出介面24輸出至儲存器件。類似地，可由輸入介面26自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、伺服器或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之一組合。來自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術可應用於支援各種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器22之視訊編碼器22定義的語法資訊，語法資訊亦由視訊解碼器30使用，語法資訊包括描述區塊及其他寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。儲存媒體28可儲存藉由輸入介面26接收之經編碼視訊資料。顯示器件32向使用者顯示經解碼視訊資料。顯示器件32可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器22及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於適合的非暫時性電腦可讀媒體中，且可使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。視訊編碼器22及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。
在一些實例中，視訊編碼器22及視訊解碼器30可根據視訊寫碼標準操作。實例視訊寫碼標準包括但不限於：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可擴展視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。已藉由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發視訊寫碼標準(高效率視訊寫碼(HEVC)或ITU-T H.265)，包括其範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。在下文中被稱作HEVC WD之HEVC草案規範可自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/ JCTVC-N1003-v1.zip獲得。
視訊編碼器22及視訊解碼器30可根據其他專屬或工業標準操作，諸如聯合探索測試模型(JEM)或ITU-T H.266，其亦被稱作多功能視訊寫碼(VVC)。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)於2019年1月9日至18日在MA馬拉喀什的第13屆會議上，Bross等人之「Versatile Video Coding (Draft 4)」 (下文中「VVC草案4」) JVET-M1001-v5中描述VVC標準之最新草案。然而，本發明之技術受限於不限於任何特定寫碼標準。
在HEVC及VVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列，指示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色訊樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
此外，在HEVC及另一視訊寫碼規範中，為產生圖像之經編碼表示，視訊編碼器22可產生一組寫碼樹型單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以對該等寫碼樹型區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以對該寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
在根據HEVC之操作中，為產生經寫碼CTU，視訊編碼器22可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含明度樣本之寫碼區塊及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的色度樣本之兩個對應寫碼區塊，以及用於對該寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單個寫碼區塊及用於對該寫碼區塊之樣本進行寫碼的語法結構。
位元串流內的語法資料亦可定義CTU之大小。圖塊包括按寫碼次序之數個連續CTU。視訊圖框或圖像可分割成一或多個圖塊。如上所述，每一樹型區塊可根據四分樹分裂成CU。一般而言，四分樹資料結構包括每CU一個節點，其中根節點對應於樹型區塊。若將CU拆分成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
四分樹資料結構中之每一節點可提供對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，從而指示是否將對應於該節點之CU分裂成子CU。針對CU之語法元素可經遞回地定義，且可取決於該CU是否分裂成子CU。若CU未經進一步分裂，則其被稱作葉CU。若CU之區塊經進一步分裂，則其可通常被稱作非葉CU。在本發明之一些實例中，即使不存在原始葉CU之明顯分裂，葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則儘管該16×16 CU從未經分裂，但四個8×8子CU亦可被稱作葉CU。
除CU不具有大小區別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，可將樹型區塊分裂成四個子節點(亦稱作子CU)，且每一子節點又可為上代節點且可被分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可被分裂之最大次數(被稱作最大CU深度)，且亦可定義寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」指代HEVC之上下文中，或其他標準之上下文中的類似資料結構中的CU、PU或TU中之任一者(例如，H.264/AVC中的巨集區塊及其子區塊)。
CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且在一些實例中可為正方形形狀。在HEVC的實例中，CU之大小可介於8×8像素達至最大64×64像素或更大之樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可被分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據四分樹將CU分割成一或多個TU。TU可為正方形或非正方形(例如，矩形)形狀。
HEVC標準允許根據TU之變換。TU可針對不同CU而不同。通常基於針對經分割LCU所定義之給定CU內的PU之大小來對TU設定大小，但可並非總是此狀況。TU的大小通常與PU相同或比PU小。在一些實例中，可使用有時被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作TU。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。
葉CU可包括一或多個PU。一般而言，PU表示對應於對應CU之所有或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可包括於RQT中，該RQT可包括描述用於對應於PU之TU的框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括界定PU之一或多個運動向量的資料。定義用於PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之豎直分量、運動向量之解析度(例如，四分之一像素精度、八分之一像素精度)、運動向量所指向之參考圖框，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個TU。如上文所論述，可使用RQT(亦稱作TU四分樹結構)來指定TU。舉例而言，分裂旗標可指示葉CU是否經分裂成四個變換單元。在一些實例中，每一變換單元可進一步分裂成其他子CU。當TU未進一步分裂時，可將其稱作葉TU。大體而言，對於框內寫碼，屬於葉CU之所有葉TU含有產生自相同框內預測模式之殘餘資料。亦即，通常應用相同框內預測模式以計算經預測值，該等經預測值將在葉CU之所有TU中變換。對於框內寫碼，視訊編碼器22可使用框內預測模式將每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU不必受限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，PU可與用於同一CU之對應葉TU共置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別RQT結構相關聯。亦即，葉CU可包括指示該葉CU如何被分割成TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊(或LCU)。
如上文所論述，視訊編碼器22可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之PU可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單個預測區塊及用於對該預測區塊進行預測的語法結構。視訊編碼器22可針對CU之每一PU的預測區塊(例如，明度、Cb及Cr預測區塊)產生預測性區塊(例如，明度、Cb及Cr預測性區塊)。
視訊編碼器22及視訊解碼器30可經組態以根據VVC操作。根據VVC，視訊寫碼器(諸如視訊編碼器22)將圖像分割成複數個寫碼樹型單元(CTU)。視訊編碼器22可根據樹型結構分割CTU，諸如四分樹二進位樹型(QTBT)結構或多類型樹型(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四分樹分割進行分割的第一層級，及根據二元樹分割進行分割的第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於寫碼單元(CU)。
在MTT分割結構中，區塊可使用四分樹(QT)分割、二進位樹(BT)分割及一或多種類型之三重樹(TT)分割來分割。三重樹分割為區塊分裂成三個子區塊的分割。在一些實例中，三重樹分割在不經由中心分隔原始區塊情況下將區塊分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。
在一些實例中，視訊編碼器22及視訊解碼器30可使用單一QTBT或MTT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器22及視訊解碼器30可使用兩個或大於兩個QTBT或MTT結構，諸如用於明度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。
視訊編碼器22及視訊解碼器30可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割或其他分割結構。為解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解本發明之技術亦可應用於經組態以使用四分樹分割以及其他類型之分割的視訊寫碼器。
視訊編碼器22可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器22使用框內預測以產生PU之預測性區塊，則視訊編碼器22可基於包括PU之圖像的經解碼樣本產生PU之預測性區塊。
在視訊編碼器22產生用於CU之一或多個PU的預測性區塊(例如，明度、Cb及Cr預測性區塊)之後，視訊編碼器22可產生用於CU之一或多個殘餘區塊。舉例而言，視訊編碼器22可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中的各樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器22可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器22亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，如上文所論述，視訊編碼器22可使用四分樹分割將CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如，明度、Cb及Cr變換區塊)。變換區塊為供應用相同變換之樣本的矩形((例如正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以變換區塊樣本之語法結構。因此，CU之每一TU可具有明度變換區塊、Cb變換區塊以及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用於變換該變換區塊之樣本的語法結構。
視訊編碼器22可將一或多個變換應用於TU之變換區塊，以產生TU之係數區塊。舉例而言，視訊編碼器22可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器22可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器22可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在一些實例中，視訊編碼器22將變換之應用跳至變換區塊。在此等實例中，視訊編碼器22可以與變換係數相同之方式處理殘餘樣本值。因此，在視訊編碼器22跳過變換之應用的實例中，變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器22可量化係數區塊以可能減少用以表示係數區塊之資料的量，從而潛在地提供進一步壓縮。量化通常係指其中值之範圍壓縮為單個值的程序。舉例而言，可藉由以常數除以值且接著捨入至最接近的整數進行量化。為量化係數區塊，視訊編碼器22可量化係數區塊之變換係數。在視訊編碼器22量化係數區塊之後，視訊編碼器22可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器22可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)或另一熵寫碼技術。
視訊編碼器22可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。因此，位元串流包含視訊資料之經編碼表示。該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭且可囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
視訊解碼器30可接收由視訊編碼器22產生之位元串流。視訊解碼器30可解碼位元串流以重建構視訊資料之圖像。作為解碼位元串流之部分，視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可與由視訊編碼器22執行之過程大體互逆。舉例而言，視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。另外，視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構當前CU之TU的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構圖像。
本文所揭示之技術建構於基於區塊之框內預測上，該基於區塊之框內預測為包括AVC、HEVC及VVC之視訊標準的部分。在基於區塊之框內預測中，通常，使用來自鄰近經重建構區塊的參考樣本行來預測當前區塊內的樣本。可將一或多條樣本行用於預測。參考樣本藉由典型框內預測模式使用，諸如DC模式、平坦模式及角度/定向模式。
框內預測使用區塊之空間相鄰經重建構影像樣本執行影像區塊預測。在使用框內預測的情況下，藉由左上相鄰經重建構樣本(參考樣本)沿選定預測方向預測N×M(例如，4×4)區塊。作為一個實例，藉由左上相鄰經重建構樣本(亦即，參考樣本)沿選定預測方向預測該區塊。該等參考樣本位於正被預測之區塊外部。在使用參考樣本的情況下，視訊編碼器22基於參考樣本建構具有預測樣本之預測區塊。
大體而言，框內預測技術，視訊編碼器22判定指示預測區塊與當前區塊之間的差異的殘餘區塊(例如，指示預測樣本與當前區塊之樣本之間的差異的殘餘值)，且發信指示殘餘區塊中之殘餘值的資訊。視訊解碼器30類似地判定參考樣本且建構預測區塊。視訊解碼器30基於所接收資訊判定殘餘區塊之殘餘值，且將殘餘區塊之殘餘值添加至預測區塊之預測樣本以重建構當前區塊。
如更詳細描述，本發明中所描述之實例技術修改預測區塊之預測樣本中的一或多者(例如，全部)。視訊編碼器22可基於經修改之預測樣本判定殘餘值。視訊解碼器30可將殘餘值添加至經修改預測樣本以重建構當前區塊。亦如更詳細描述，該等技術適用於角度框內預測模式，且預測樣本進行修改的方式可係基於用以對當前區塊進行編碼或解碼之角度框內預測模式。
存在複數個框內預測模式。在一些實例中，明度區塊之框內預測包括35種模式，包括平坦模式、DC模式及33個角度模式(例如，對角框內預測模式及鄰近於該等對角框內預測模式之角度模式)。框內預測之35個模式如下表中所展示經索引化。在其他實例中，可定義可能不會已表示為33個角度模式的更多個包括預測角之框內模式。在其他實例中，與角度模式相關聯之預測角可能不同於用於HEVC中之彼等預測角。
表1-框內預測模式及相關聯名稱之規範
為了執行N×N區塊之平坦預測，針對位於(x,y)處之每一樣本pxy ，可藉由將雙線性濾波器應用於四個特定的相鄰經重建構樣本(亦即，參考樣本)來計算預測值。四個參考樣本包括右上經重建構樣本TR、左下經重建構樣本BL及位於與當前樣本同一行(rx,-1 )及列(r-1,y )中的兩個經重建構樣本。平坦模式可公式化如下：
pxy = ( (N-x1)·L + (N-y1) ·T + x1·R + y1·B ) / (2*N)
其中x1=x+1, y1=y+1, R=TR且B=BL。
對於DC模式，用相鄰經重建構樣本之平均值填充預測區塊。一般而言，針對模型化平滑地變化及恆定圖像區域應用平坦模式及DC模式兩者。
對於包括33個不同預測方向的HEVC中之角度框內預測模式，框內預測程序可描述如下。對於每一給定角度框內預測模式，可因此識別框內預測方向；舉例而言，框內模式18對應於純水平預測方向，且框內模式26對應於純豎直預測方向。
在給定特定框內預測方向的情況下，對於預測區塊之每一樣本，其座標(x,y)首先沿預測方向經投影至相鄰經重建構樣本之列/行。假設(x,y)經投影至兩個相鄰經重建構樣本L及R之間的分率方位α；則可使用雙分接頭雙線性內插濾波器計算(x,y)之預測值，公式化如下：
pxy = (1- a)·L + a·R.
舉例而言，預測區塊之樣本之座標(x,y)沿特定框內預測方向(例如，角度框內預測模式中之一者)投影。在HEVC中，為了避免浮點運算，使用整數算術將以上計算估算為：
pxy = ( (32- a')·L + a'·R + 16 )＞＞5,
其中a'為等於32*a之整數。
在一些實例中，在框內預測之前，使用2分接頭雙線性或3分接頭(1,2,1)/4濾波器對相鄰參考樣本進行濾波，被稱為框內參考平滑化，或與模式相關之框內平滑化(mode-dependent intra smoothing)。當進行框內預測時，給定框內預測模式索引(predModeIntra)及區塊大小(nTbS)，其決定參考平滑化程序是否執行及哪一平滑濾波器經使用。框內預測模式索引為指示框內預測模式之索引。
預測區塊之預測樣本係使用上文實例技術產生。在產生預測樣本之後，可使用位置相關框內預測組合(PDPC)修改預測樣本之一或多者。PDPC之形式描述於ITU-T SG16/Q6文件COM16-C1046「Position Dependent intra Prediction Combination (PDPC)，及2018年10月澳門第8屆JVET會議中X. Zhao、V. Seregin、A. Said、M. Karczewicz的「EE1 related: Simplification and extension of PDPC」JVET-H0057中。彼文件中所揭示的係應用於平坦、DC、水平及豎直模式的PDPC之介紹，而無如下文中所概括的發信。
位於(x,y)處的預測樣本pred(x,y)運用框內預測模式(DC、平坦、角度)進行預測，且其值使用單條參考樣本行的PDPC表達式進行修改：
pred(x,y) = (wL × R-1,y + wT × Rx,-1 - wTL × R-1,-1 + (64 - wL - wT + wTL) × pred' (x,y) + 32 ) ＞＞ 6, (等式1)
在等式1中，pred'(x,y)為如使用上文用於產生預測樣本之實例技術判定的預測樣本之值，且pred(x,y)為pred'(x,y)之經修改值。在等式1中，Rx,-1、R-1,y分別表示位於當前樣本(x,y)之頂部及左側及位於當前區塊外部的參考樣本，且R-1,-1表示位於當前區塊之左上角及外部的參考樣本。換言之，Rx,-1表示位於x座標與正被修改之預測樣本之x座標相同的當前區塊之上方一列的一樣本，且R-1,y表示位於y座標與正被修改之預測樣本之y座標相同的當前區塊之左側一行的一樣本。
正在用以修改預測樣本的樣本(例如，參考樣本)為圖像中之樣本(例如，明度及色度樣本)，且不一定為其他預測樣本(儘管可能)。舉例而言，假定正進行框內預測的當前區塊為大小經設定之N×M。對此當前區塊，視訊編碼器22及視訊解碼器30可產生N×M大小經設定之預測區塊。用以修改預測樣本之參考樣本為包括當前區塊之當前圖像之彼等參考樣本(例如，明度及/或色度樣本)，且位於當前區塊外部。
用於識別位於當前區塊外部的樣本之座標系統相對於當前區塊。舉例而言，位於當前區塊之左上角處的樣本具有座標(0, 0)。視訊編碼器22可判定位於預測區塊之左上角處的預測樣本(例如，具有座標(0, 0))與當前區塊中具有座標(0, 0)之樣本之間的殘餘。為重建構當前區塊中位於(0, 0)處的樣本，視訊解碼器30可將預測區塊中位於(0, 0)處的預測樣本添加至對應於位於(0, 0)處之樣本的殘餘值。因此，對於當前區塊中之每一樣本，預測區塊中存在對應樣本(例如，具有同一座標)。
因此，Rx,-1意謂y座標為-1，且因此指位於當前區塊上方之列中的樣本。x座標可與經修改之預測樣本的x座標相同。對於R-1,y，x座標為-1，且因此指位於當前區塊之左側的一行。y座標可與經修改之預測樣本的y座標相同。
或許同樣有可能使用不同座標系統，諸如其中(0, 0)座標指圖像之左上樣本的座標系統。實例技術係關於其中(0, 0)座標指區塊之左上樣本的座標系統所描述。
對於DC模式，如下計算具有尺寸寬度及高度之區塊的權重：
wT = 32 ＞＞ ( ( y＜＜1 ) ＞＞偏移), wL = 32 ＞＞ ( ( x＜＜1 ) ＞＞偏移), wTL = ( wL＞＞4 ) + ( wT＞＞4 )，
在上文等式中，偏移=(log2(寬度)+log2(高度)+2)＞＞2，而對於平坦模式，wTL=0，對於水平模式，wTL=wT，且對於豎直模式，wTL=wL。可僅僅運用加法及偏移計算PDPC權重。可使用等式1在單個步驟中計算pred(x,y)之值。
圖2A說明一個4×4區塊內部的(0, 0)方位之DC模式PDPC權重(wL,wT,wTL)。圖2B說明一個4×4區塊內部的(1, 0)方位之DC模式PDPC權重(wL,wT,wTL)。若將PDPC應用於DC、平坦、水平及豎直框內模式，則不應用額外邊界濾波器，諸如DC模式邊界濾波器或水平/豎直模式邊緣濾波器。等式1可經一般化以包括額外參考樣本行(例如，不限於當前區塊上方一列的樣本或當前區塊左側一列的樣本)。在此狀況下，多個參考樣本在Rx,-1、R-1,y、R-1,-1之鄰域中係可用的，且每一者可具有所指派的可(例如)藉由訓練進行最佳化的權重。
如本文所揭示，PDPC現可一般延伸至角度模式(例如，延伸至對角框內模式，且延伸至鄰近於對角模式之角度模式)。所意欲之對角框內模式為根據左下方向及右上方向預測的模式，以及若干鄰近角度模式，例如，左下方對角模式與豎直模式之間的N個鄰近模式，及右上方對角模式及水平模式之間的N個或M個鄰近模式。圖3說明如本文所揭示之角度模式的識別。大體而言，鄰近模式可為可用角度模式之選定子集。角度模式之間的間隔可(例如)為非均一的，且一些角度模式可(例如)被跳過。
在本發明中所描述之實例技術中，視訊編碼器22及視訊解碼器30可經組態以執行PDPC，其中在不包括DC、平坦、豎直或水平模式之角度模式中對當前區塊進行框內預測。然而，在將PDPC延伸至角度框內預測模式方面可能存在技術複雜度。舉例而言，參考樣本雖然位於當前區塊外部，但無需與正被修改之預測樣本具有相同x及/或y座標。因此，將哪些參考樣本用於修改預測樣本從而獲得視訊寫碼效率可能不明確。
舉例而言，若發信殘餘值所需的資訊減少，則出現頻寬效率增長。因此，用以修改預測區塊之參考樣本應使得相較於其他技術，自經修改預測區塊產生之殘餘值需要發信更少量的資訊。然而，若使用哪些參考樣本之判定過度充分，則在視訊解碼器30重建構當前區塊所花費的時間方面可能存在潛時。
本發明描述提供實際應用至視訊寫碼技術的實例技術，諸如運用角度框內預測模式使用的PDPC的彼等技術。舉例而言，實例技術提供技術解決方案以供使用運用角度框內預測模式之PDPC。下文更詳細地描述視訊編碼器22及視訊解碼器30可執行運用角度框內預測模式之PDPC的實例方法。
作為一個實例，視訊編碼器22可經組態以基於並非DC、平坦、水平或豎直框內預測模式的角度框內預測模式判定用於當前區塊之一預測區塊，該預測區塊包括複數個預測樣本，且使用位置相關框內預測組合(PDPC)修改該預測區塊之預測樣本以產生經修改預測樣本。應理解，儘管關於一個預測樣本描述該等技術，但實例技術並非如此受限制。在一些實例中，視訊編碼器22可使用PDPC修改預測區塊之其他預測樣本。
為修改預測樣本，視訊編碼器22可基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，且基於經判定之一或多個參考樣本修改該預測樣本以產生經修改預測樣本。視訊編碼器22可基於經修改預測樣本及當前區塊中之樣本值判定用於殘餘區塊之殘餘值，且發信指示殘餘值之資訊。
作為一個實例，視訊解碼器30可經組態以基於並非DC、平坦、水平或豎直框內預測模式的角度框內預測模式判定用於當前區塊之一預測區塊，該預測區塊包括複數個預測樣本，且使用位置相關框內預測組合(PDPC)修改該預測區塊之預測樣本以產生經修改預測樣本。類似於上文，儘管關於一個預測樣本描述該等技術，但實例技術並非如此受限制。在一些實例中，視訊解碼器30可使用PDPC修改預測區塊之其他預測樣本。
為修改預測樣本，視訊解碼器30可經組態以基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，且基於經判定之一或多個參考樣本修改該預測樣本以產生經修改預測樣本。視訊解碼器30亦可經組態以基於經修改預測樣本及殘餘值重建構當前區塊之樣本。
圖4A至圖4D說明由至對角及鄰近角度框內模式之PDPC延伸使用之樣本的界定。圖4A說明用於PDPC至右上方對角模式之延伸的參考樣本Rx,-1、R-1,y及R-1,-1的界定。預測樣本pred(x',y')位於預測區塊內的(x',y')處。參考樣本Rx,-1之座標x給定為：x = x' + y' + 1，且參考樣本R-1,y之座標y類似地給定為：y = x' + y' + 1。右上方對角模式之PDPC權重為(例如)：wT = 16 ＞＞ ( ( y'＜＜1 ) ＞＞偏移)、wL = 16 ＞＞ ( ( x'＜＜1 ) ＞＞偏移)、wTL = 0。
類似地，圖4B說明用於PDPC至左下方對角模式之延伸的參考樣本Rx,-1、R-1,y及R-1,-1的界定。參考樣本Rx,-1之座標x給定為：x = x' + y' + 1，且參考樣本R-1,y之座標y為：y = x' + y' + 1。右上方對角模式之PDPC權重為(例如)：wT = 16 ＞＞ ( ( y'＜＜1 ) ＞＞偏移)、wL = 16 ＞＞ ( ( x'＜＜1 ) ＞＞偏移)、wTL = 0。
在圖4A及圖4B中，視訊編碼器22及視訊解碼器30可各自判定位於當前區塊上方的一列(例如，正上方，但技術並非如此受限制)且判定經判定列中之x座標。經判定列中的x座標等於預測樣本之x座標加預測樣本之y座標加1。視訊編碼器22及視訊解碼器30可基於經判定列及經判定x座標判定一或多個參考樣本之參考樣本。
類似地，在圖4A及圖4B中，視訊編碼器22及視訊解碼器30可判定位於當前區塊左側的一行(例如，正左側，但技術並非如此受限制)且判定經判定行中的y座標。經判定行中之y座標等於預測樣本之x座標加預測樣本之y座標加1。視訊編碼器22及視訊解碼器30可基於經判定行及經判定y座標判定一或多個參考樣本之參考樣本。
基於經判定x座標及y座標，視訊編碼器22及視訊解碼器30可判定參考樣本(例如，基於經判定列及經判定x座標之第一參考樣本，及基於經判定行及經判定y座標之第二參考樣本)。又，視訊編碼器22及視訊解碼器30可根據上文用於對角模式的實例技術判定權重(例如，右上方對角模式及左下方對角模式，作為兩個實例)。隨後，基於等式1(作為一個非限制性實例)，視訊編碼器22及視訊解碼器30可判定經修改預測樣本(例如，pred(x,y))。
圖4C中說明鄰近右上方對角模式之狀況。大體而言，對於圖3中所定義之角度α，參考樣本R-1,y之y座標經判定如下：y = y' + tan(α) × (x' + 1)，且Rx,-1之x座標給定為：x = x' + cotan(α) × (y' + 1)，其中tan(α)及cotan(α)為角度α之正切及餘切。鄰近右上方對角模式之PDPC權重為(例如)：wT = 32 ＞＞ ( ( y'＜＜1 ) ＞＞偏移)、wL = 32 ＞＞ ( ( x'＜＜1 ) ＞＞偏移)、wTL = 0或wT = 32 ＞＞ ( ( y'＜＜1 ) ＞＞偏移)、wL = 0、wTL = 0。
類似地，圖4D中說明鄰近左下方對角模式之狀況。大體而言，對於圖3中所定義之角度β，參考樣本Rx,-1之x座標經判定如下：x = x' + tan(β) × (y' + 1)且R-1,y之y座標給定為：y = y' + cotan(β) × (x' + 1)，其中tan(β)及cotan(β)為角度β之正切及餘切。鄰近左下方對角模式之PDPC權重為(例如)：wL = 32 ＞＞ ( ( x'＜＜1 ) ＞＞偏移)、wT = 32 ＞＞ ( ( y'＜＜1 ) ＞＞偏移)、wTL = 0或wL = 32 ＞＞ ( ( x'＜＜1 ) ＞＞偏移)、wT =0、wTL = 0。
在圖4C及圖4D中，視訊編碼器22及視訊解碼器30可各自判定位於當前區塊上方的一列(例如，正上方，但技術並非如此受限制)且判定經判定列中之x座標。經判定列中之x座標係基於角度框內預測模式之角度。視訊編碼器22及視訊解碼器30可基於經判定列及經判定x座標判定一或多個參考樣本之參考樣本。
為判定經判定列中之x座標，視訊編碼器22及視訊解碼器30可判定角度框內預測模式之角度的餘切(例如，對於鄰近右上方對角模式)或正切(例如，對於鄰近左下方對角模式)中之一者。視訊編碼器22及視訊解碼器30可基於角度框內預測模式之角度的餘切或正切中之一者、預測樣本之x座標及預測樣本之y座標判定經判定列中之x座標。舉例而言，對於鄰近右上方對角角度框內預測模式，經判定列中之x座標等於x' + cotan(α) × (y' + 1)，且對於鄰近左下方對角模式，經判定列中之x座標等於x' + tan(β) × (y' + 1)，且y'為正被修改之預測樣本的x座標及y座標。
類似地，在圖4C及圖4D中，視訊編碼器22及視訊解碼器30可各自判定位於當前區塊左側的一行(例如，正左側，但技術並非如此受限制)且判定經判定行中的y座標。經判定行中之y座標係基於角度框內預測模式之角度。視訊編碼器22及視訊解碼器30可基於經判定行及經判定y座標判定一或多個參考樣本之參考樣本。
為判定經判定行中之y座標，視訊編碼器22及視訊解碼器30可判定角度框內預測模式之角度的餘切(例如，對於鄰近左下方對角模式)或正切(例如，對於鄰近右上方對角模式)中之一者。視訊編碼器22及視訊解碼器30可基於角度框內預測模式之角度的餘切或正切中之一者、預測樣本之x座標及預測樣本之y座標判定經判定行中之y座標。舉例而言，對於鄰近右上方對角角度框內預測模式，經判定行中之y座標等於y' + tan(α) × (x' + 1)，且對於鄰近左下方對角模式，經判定行中之y座標等於y' + cotan(β) × (x' + 1)，其中x'及y'為正被修改之預測樣本的x座標及y座標。
基於經判定x座標及y座標，視訊編碼器22及視訊解碼器30可判定參考樣本(例如，基於經判定列及經判定x座標之第一參考樣本，及基於經判定行及經判定y座標之第二參考樣本)。又，視訊編碼器22及視訊解碼器30可根據上文用於鄰近對角模式之實例技術判定權重(例如，鄰近右上方對角模式及鄰近左下方對角模式，作為兩個實例)。隨後，基於等式1(作為一個非限制性實例)，視訊編碼器22及視訊解碼器30可判定經修改預測樣本(例如，pred(x,y))。
上文描述用於右上方及左下方對角模式及鄰近右上方及鄰近左下方對角模式的實例技術作為可應用有PDPC之實例角度模式。實例技術可同樣延伸至其他角度模式。又，在一些實例中，一或多個參考樣本具有不同於預測區塊中之預測樣本之x座標及y座標兩者的x座標及y座標兩者。舉例而言，在上文判定各別列及各別行中之x座標及y座標以判定參考樣本的實例等式中，x座標不同於正被修改之預測樣本的x座標，且y座標不同於正被修改之預測樣本的y座標。亦即，參考樣本可能不會與正被修改之預測樣本相同的列或行中。
正如DC、平坦、水平及豎直模式PDPC之狀況，當PDPC延伸至此等角度模式時，不存在額外邊界濾波用於對角及鄰近對角模式，該邊界濾波(例如)如2017年7月意大利都靈第7屆JVET會議上'J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce的「Algorithm description of Joint Exploration Test Model 7」 JVET-G1001中所規定。
如上文所描述，本發明中所描述之實例技術可允許PDPC待應用於角度框內預測模式，其對複雜度具有最小影響。在實際實施方案中，角之正切及餘切的值可儲存於表中，從而使得其不會在運作中進行計算(例如，在執行時)。下文為用於總計129個角度模式的實例表：
TanAngTable[33] = {0, 1, 2, 3, 4, 5, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, 38, 40, 42, 44, 46, 49, 52, 55, 58, 61, 64}.
CotanAngTable[33] = {0, 65536, 32768, 21845, 16384, 13107, 10923, 8192, 6554, 5461, 4681, 4096, 3641, 3277, 2979, 2731, 2521, 2341, 2185, 2048, 1928, 1820, 1725, 1638, 1560, 1489, 1425, 1337, 1260, 1192, 1130, 1074, 1024}.
此外，該等表可已藉由區塊之角度框內預測使用，且可重新用於至對角及鄰近模式(例如，角度框內預測模式)之PDPC延伸。因此，PDPC之實施方案中可能不需要額外表。在一些實例中，可(例如)藉由訓練產生自訂表，以進一步最佳化PDPC。
在一些狀況下，藉由圍繞右下對角翻轉區塊將所有水平角度模式映射至豎直模式。圍繞豎直模式之對稱性允許角之數目進一步減少至33個，其中所儲存之正切及餘切值分別位於TanAngTable及CotanAngTable中。歸因於所需整數精確度，兩個表中的值在TanAngTable之狀況下藉由因數64按比例調整，且在CotanAngTable之狀況下藉由因數1024按比例調整。藉由在遍歷預測區塊的同時積累與角度模式對應之表值(其中增大x'及y')，來避免上文公式中用於計算座標x及y的乘法。
若計算分率值，則可使用(例如)藉由線性或立方內插的參考樣本之內插或最近相鄰捨入。舉例而言，為基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22及視訊解碼器30可經組態以基於角度框內預測模式判定一或多個樣本之集合，且將一或多個樣本之該集合內插以產生一或多個參考樣本。內插為一個實例。在一些實例中，視訊編碼器22或視訊解碼器30可執行內插、運用偏移之捨入或不運用偏移之捨入中的至少一者。視訊編碼器22或視訊解碼器30可基於一或多個樣本之該集合中的相鄰樣本在具有或不具有偏移之情況下執行此等捨入，以產生一或多個參考樣本。
在計算較大座標值的狀況下，可能需要截割來阻止對位於參考行緩衝器邊界外部的參考樣本之存取。若執行截割，則可使用最後一個可用的參考樣本，或PDPC可僅僅後降至角度框內預測，例如，其等效於將零權重應用於等式1中之wL、wT、wTL。舉例而言，為基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22及視訊解碼器30可經組態以判定基於角度框內預測模式識別的位於當前區塊外部的一或多個樣本未儲存於參考行緩衝器中，且基於儲存於參考行緩衝器中之最後一個參考樣本判定一或多個參考樣本。
在一些實例中，可針對當前區塊停用PDPC，或可針對某些經預測樣本停用PDPC，從而使用正常框內預測(例如，無經修改預測樣本)，而非使用參考行緩衝器中之最後一個樣本。作為一個實例，對於預測區塊中之預測樣本，視訊編碼器22或視訊解碼器30可判定第一參考樣本在參考緩衝器中係可用的，而第二參考樣本在參考緩衝器中不可用。在此實例中，視訊編碼器22或視訊解碼器30可判定對於預測樣本，PDPC停用。然而，在一些實例中，視訊編碼器22或視訊解碼器30可將第一參考樣本用於PDPC，且不利用第二參考樣本(例如，藉由將第二參考樣本之權重設定為等於零點)。
如上文所描述，在一些實例中，視訊編碼器22及視訊解碼器30可對預測區塊中之複數個預測樣本執行實例PDPC技術。然而，可能存在將PDPC技術用於預測樣本中的一些上，但不用於相同預測區塊中之其他預測樣本的情形。舉例而言，假定對於預測區塊中之第一預測樣本，視訊編碼器22或視訊解碼器30執行本發明中所描述之PDPC技術。然而，對於相同預測區塊中之第二預測樣本，假定對第二預測樣本執行PDPC技術所需的參考樣本未儲存於參考行緩衝器中。在此實例中，對於第二預測樣本，視訊編碼器22或視訊解碼器30可能不會執行PDPC技術，且可利用正常框內預測技術。在一些狀況下，對於第二預測樣本，或許有可能參考樣本中之一者在參考行緩衝器中可用但另一者不可用。在一些實例中，視訊編碼器22或視訊解碼器30可能不會對第二預測樣本執行PDPC技術，或可僅僅利用可用的參考樣本，且將零權重指派至應用於不可用參考樣本的權重。
以下表中說明至對角及鄰近角度模式的PDPC延伸之壓縮效率。在此實例測試中，總計存在鄰近於右上方對角模式的16個模式及鄰近於左下方對角模式之16個模式。實例測試條件為全部框內，且所利用之QP值為{22, 27, 32, 37}。表1(圖5A)表示不包括對角及鄰近模式邊界濾波的PDPC延伸(對角及鄰近)之全部框內測試條件BD速率。圖5A之表1列舉當測試針對對角運用邊界濾波且鄰近模式停用時的BD速率。此外，表2(圖5B)表示包括對角及鄰近模式邊界濾波的PDPC延伸(對角及鄰近)之全部框內測試條件BD速率。此外，圖5B之表2列舉當測試針對對角運用邊界濾波且鄰近模式允用時的BD速率。
類似用於對角及鄰近角度模式之PDPC延伸，PDPC可延伸至鄰近於水平及豎直模式之角度模式。在此狀況下鄰近角度模式可指在水平及豎直模式之兩側上的角度模式。在鄰近水平角度模式的狀況下，Rx, -1之x座標等於pred(x,y)之x座標。實例PDPC權重為：wT = 16 ＞＞ ( ( y＜＜1 ) ＞＞偏移)、wL =0、wTL = wT。在鄰近豎直角度模式的狀況下，R-1,y之y座標等於pred(x,y)之y座標。實例PDPC權重為：wL = 16 ＞＞ ( ( x＜＜1 ) ＞＞偏移)、wT =0、wTL = wL。
圖6為說明可實施本發明之技術之實例視訊編碼器22的方塊圖。為解釋之目的而提供圖6，且不應將其視為對如本發明中廣泛例示及描述之技術的限制。本發明之技術可適用於各種寫碼標準(例如，HEVC或VVC)或方法。
圖6之各種單元經說明以輔助理解藉由視訊編碼器22執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路指可經程式化以執行各種任務並在可被執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
在圖6之實例中，視訊編碼器22包括預測處理單元100、視訊資料記憶體101、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120可包括運動估計單元及運動補償單元(圖中未示)。
視訊資料記憶體101可經組態以儲存待由視訊編碼器22之組件編碼之視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體101中之視訊資料。經解碼圖像緩衝器116可為儲存參考視訊資料以供藉由視訊編碼器22(例如)用於在框內或框間寫碼模式中對視訊資料進行編碼時的參考圖像記憶體。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體101及經解碼圖像緩衝器116可由相同記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體101可與視訊編碼器22之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。視訊資料記憶體101可與圖1之儲存媒體20相同或為其部分。
視訊編碼器22接收視訊資料。視訊編碼器22可對視訊資料之圖像之圖塊中的每一CTU進行編碼。CTU中之每一者可與大小相等之明度CTB及圖像之對應CTB相關聯。作為對CTU進行編碼之部分，預測處理單元100可執行分割以將CTU之CTB分割成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可根據樹型結構分割與CTU相關聯的CTB。根據本發明的一或多種技術，對於在樹型結構之每一深度層級處的樹型結構之每一各別非葉節點，存在針對各別非葉節點的複數個允許之分裂圖案且對應於各別非葉節點之視訊區塊根據該複數個允許之分裂圖案中的一者而分割成對應於各別非葉節點之子節點的視訊區塊。在一個實例中，預測處理單元100或視訊編碼器22之另一處理單元可經組態以執行本文中所描述之技術之任何組合。
視訊編碼器22可對CTU之CU進行編碼以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為對CU進行編碼之部分，預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。根據本發明之技術，CU可僅僅包括單個PU。亦即，在本發明之一些實例中，CU未被劃分成單獨預測區塊，而是對整個CU執行預測過程。因此，每一CU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器22及視訊解碼器30可支援具有各種大小之CU。如上文所指示，CU之大小可指CU之明度寫碼區塊之大小，亦為明度預測區塊之大小。如上文所論述，視訊編碼器22及視訊解碼器30可支援CU大小，其由本文中描述之實例分割技術的任何組合定義。
框間預測處理單元120可藉由對CU之各PU執行框間預測而產生用於PU之預測性資料。如本文中所解釋，在本發明之一些實例中，CU可僅僅含有單個PU，亦即，CU及PU可係同義的。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測處理單元120可針對PU或CU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測處理單元120並不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測之區塊係使用空間預測自相同圖框內的先前經編碼之相鄰區塊而形成。若PU在P圖塊中，則框間預測處理單元120可使用單向框間預測以產生PU之預測性區塊。若PU在B圖塊中，則框間預測處理單元120可使用單向或雙向框間預測以產生PU之預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則該等相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目個框內預測模式，例如，35個方向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
在一個實例中，框內預測處理單元126可經組態以實施本發明之技術。在其他實例中，其他單元或模組可經組態以實施本發明之技術中的所有或一些。
預測處理單元100可自藉由框間預測處理單元120針對PU產生之預測性資料或藉由框內預測處理單元126針對PU產生之預測性資料中選擇用於CU之PU之預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合之速率/失真量度而選擇用於CU之PU的預測性資料。選定之預測性資料的預測性區塊在本文中可被稱作選定之預測性區塊。
殘餘產生單元102可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU的選定預測性區塊(例如，預測性明度區塊、預測性Cb區塊及預測性Cr區塊)而產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應選定預測性區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割或四分樹二進位樹(QTBT)分割，以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及定位可或可不基於CU之PU的預測區塊之大小及定位。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。視訊編碼器22可能不會使用RQT結構將CU進一步劃分成TU。就此而論，在一個實例中，CU包括單個TU。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元104並不將變換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可將係數區塊中之變換係數量化。量化處理可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言，n 位元變換係數可在量化期間被捨入至m 位元變換係數，其中n 大於m 。量化單元106可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器22可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊的損失。因此，經量化變換係數可具有比最初變換係數低的精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構之變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器22可重建構CU之寫碼區塊。
過濾器單元114可執行一或多個解區塊濾波及/或其他濾波運算，以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重建構寫碼區塊執行一或多個解區塊操作之後，儲存經重建構寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器22的其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼的資料。舉例而言，熵編碼單元118可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器22可輸出包括由熵編碼單元118所產生之經熵編碼資料的位元串流。舉例而言，根據本發明之技術，位元串流可包括表示CU之分區結構的資料。
圖7為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。為解釋之目的而提供圖7，且其並不限制如本發明中所廣泛例示及描述之技術。為解釋之目的，本發明描述在HEVC或VVC寫碼之上下文中的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
圖7中所示之各種單元經說明為輔助理解由視訊解碼器30執行之操作。單元可經實施為固定功能電路、可程式化電路或其組合。類似於圖6，固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路指可經程式化以執行各種任務並在可被執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
在圖7之實例中，視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160，及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括更多、更少或不同的功能組件。
視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的經編碼視訊資料，諸如經編碼視訊位元串流。可(例如)自電腦可讀媒體16、(例如)自諸如攝影機之本端視訊源、經由視訊資料之有線或無線網路通信，或藉由存取實體資料儲存媒體獲得儲存於視訊資料記憶體151中之視訊資料。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為參考圖像記憶體，其儲存參考視訊資料以供藉由視訊解碼器30用於(例如)在框內或框間模式中對視訊資料進行解碼時，或以供輸出。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM)；磁阻式RAM (MRAM)；電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體151及經解碼圖像緩衝器162可藉由同一記憶體器件或單獨記憶體器件來提供。在各種實例中，視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。視訊資料記憶體151可與圖1之儲存媒體28相同或為其部分。
視訊資料記憶體151接收且儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自視訊資料記憶體151接收經編碼視訊資料(例如，NAL單元)，且可剖析NAL單元以獲得語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。熵解碼單元150可執行大體上互逆於熵編碼單元118之彼程序的程序。
根據本發明之一些實例，熵解碼單元150或視訊解碼器30之另一處理單元可判定樹型結構，作為自位元串流獲得語法元素之部分。樹型結構可指定如何將初始視訊區塊(諸如，CTB)分割成較小視訊區塊(諸如，寫碼單元)。根據本發明的一或多種技術，對於在樹型結構之每一深度層級處的樹型結構之每一各別非葉節點，存在針對各別非葉節點的複數個允許之分裂類型且對應於各別非葉節點之視訊區塊根據該複數個允許之分裂圖案中的一者而分割成對應於各別非葉節點之子節點的視訊區塊。
除自位元串流獲得語法元素之外，視訊解碼器30可對未經分割之CU執行重建構操作。為對CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。如上文所論述，在本發明之一個實例中，CU包括單個TU。
作為對CU之TU執行重建構操作之部分，反量化單元154可反量化(亦即，解量化)與TU相關聯之係數區塊。在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用於係數區塊，以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若使用框內預測對CU或PU進行編碼，則框內預測處理單元166可執行框內預測以產生PU之預測性區塊。框內預測處理單元166可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元166可基於自位元串流獲得的一或多個語法元素判定用於PU之框內預測模式。
在一個實例中，框內預測處理單元166可經組態以實施本發明之技術。在其他實例中，其他單元或模組可經組態以實施本發明之技術中的所有或一些。
若使用框間預測對PU進行編碼，則熵解碼單元150可判定PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元164可基於一或多個參考區塊產生用於PU之預測性區塊(例如，預測性明度區塊、預測性Cb區塊及預測性Cr區塊)。如上文所論述，CU可僅僅包括單個PU。亦即，CU可能不會劃分成多個PU。
重建構單元158可使用CU之TU之變換區塊(例如，明度、Cb及Cr變換區塊)及CU之PU之預測性區塊(例如，明度、Cb及Cr區塊)(亦即，可適用之框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元158可增加變換區塊(例如，明度、Cb及Cr變換區塊)之樣本至預測性區塊(例如，明度、Cb及Cr預測性區塊)之對應樣本來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。
濾波器單元160可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於隨後運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上之呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之區塊對其他CU之PU執行框內預測或框間預測操作。
視訊解碼器輸出當前圖像之經解碼版本，其包括當前區塊之經解碼版本。當視訊解碼器為經組態以輸出可顯示經解碼視訊之視訊解碼器時，視訊解碼器可(例如)將當前圖像之經解碼版本輸出至顯示器件。當執行解碼作為視訊編碼過程之解碼迴路之部分時，視訊解碼器可儲存當前圖像之經解碼版本作為參考圖像以供用於對視訊資料之另一圖像進行編碼。
圖8為說明對視訊資料進行編碼之實例方法的流程圖。視訊編碼器22(例如，具有框內預測處理單元126)可經組態以基於並非DC、平坦、水平或豎直框內預測模式的角度框內預測模式判定用於當前區塊之一預測區塊，該預測區塊包括複數個預測樣本(200)。視訊資料記憶體101或DPB 16可儲存預測區塊。
視訊編碼器22(例如，具有框內預測處理單元126)可經組態以使用位置相關框內預測組合(PDPC)修改該預測區塊之預測樣本以產生經修改預測樣本(202)。舉例而言，為修改預測樣本，視訊編碼器22可經組態以基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本(204)，且基於經判定之一或多個參考樣本修改預測樣本以產生經修改預測樣本(206)。在一個實例中，為判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22可經組態以判定具有不同於預測區塊中之預測樣本之x座標及y座標兩者的x座標及y座標兩者的一或多個參考樣本。
作為一個實例，為判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22可經組態以判定位於當前區塊上方的一列且判定經判定列中之x座標。經判定列中的x座標等於預測樣本之x座標加預測樣本之y座標加1。視訊編碼器22可基於經判定列及經判定x座標判定一或多個參考樣本之參考樣本。作為另一實例，為判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22可經組態以判定位於當前區塊左側的一行且判定經判定行中之y座標。經判定行中之y座標等於預測樣本之x座標加預測樣本之y座標加1。視訊編碼器22可經組態以基於經判定行及經判定y座標判定一或多個參考樣本之參考樣本。
作為一個實例，為判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22可經組態以判定位於當前區塊上方的一列且判定經判定列中之x座標。經判定列中之x座標係基於角度框內預測模式之角度。視訊編碼器22可經組態以基於經判定列及經判定x座標判定一或多個參考樣本之參考樣本。為判定經判定列中之x座標，視訊編碼器22可經組態以判定角度框內預測模式之角度的餘切或正切中之一者，且基於角度框內預測模式之角度的餘切或正切中之一者、預測樣本之x座標及預測樣本之y座標判定經判定列中之x座標。
作為另一實例，為判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22可經組態以判定位於當前區塊左側的一行且判定經判定行中之y座標。經判定行中之y座標係基於角度框內預測模式之角度。視訊編碼器22可經組態以基於經判定行及經判定y座標判定一或多個參考樣本之參考樣本。為判定經判定行中之y座標，視訊編碼器22可經組態以判定角度框內預測模式之角度的餘切或正切中之一者，且基於角度框內預測模式之角度的餘切或正切中之一者、預測樣本之x座標及預測樣本之y座標判定經判定行中之y座標。
作為一個實例，為基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22可經組態以基於角度框內預測模式判定一或多個樣本之集合，且將一或多個樣本之該集合內插以產生一或多個參考樣本。在一些實例中，視訊編碼器22可經組態以對一或多個樣本之該集合進行內插、運用偏移捨入，或不運用偏移捨入，以產生一或多個參考樣本。
作為一個實例，為基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，視訊編碼器22可經組態以判定基於角度框內預測模式識別的位於當前區塊外部的一或多個樣本未儲存於參考行緩衝器中，且基於儲存於參考行緩衝器中之最後一個參考樣本判定一或多個參考樣本。在一些實例中，修改預測區塊之預測樣本可包括修改預測區塊之第一預測樣本，且一或多個參考樣本可為一或多個參考樣本之第一集合。視訊編碼器22可經組態以針對相同預測區塊之第二預測樣本判定用於第二預測樣本的一或多個參考樣本之一第二集合中的至少一個參考樣本未儲存於參考行緩衝器中，且執行以下步驟中之一者：(a)不將PDPC應用於第二預測樣本或(b)僅僅使用參考行緩衝器中之可用的參考樣本應用PDPC(例如，藉由將零權重應用於不可用的參考樣本)。
根據一或多個實例，視訊編碼器22可經組態以基於預測樣本之x座標及y座標判定複數個權重。為修改預測樣本，視訊編碼器22可經組態以基於經判定之一或多個參考樣本、經判定權重及預測樣本修改預測樣本以產生經修改預測樣本。
視訊編碼器22可經組態以基於經修改預測樣本及當前區塊中之樣本值判定用於殘餘區塊之殘餘值(208)。視訊編碼器22可經組態以發信指示殘餘值之資訊(210)。
圖9為說明對視訊資料進行解碼之實例方法的流程圖。視訊解碼器30(例如，具有框內預測處理單元166)可經組態以基於並非DC、平坦、水平或豎直框內預測模式的角度框內預測模式判定用於當前區塊之一預測區塊，該預測區塊包括複數個預測樣本(212)。視訊資料記憶體151或DPB 162可儲存預測區塊。
視訊解碼器30(例如，具有框內預測處理單元166)可經組態以使用位置相關框內預測組合(PDPC)修改該預測區塊之預測樣本以產生經修改預測樣本(214)。舉例而言，為修改預測樣本，視訊解碼器30可經組態以基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本(216)，且基於經判定之一或多個參考樣本修改該預測樣本以產生經修改預測樣本(218)。在一個實例中，為判定位於當前區塊外部的一或多個參考樣本，視訊解碼器30可經組態以判定具有不同於預測區塊中之預測樣本之x座標及y座標兩者的x座標及y座標兩者的一或多個參考樣本。
作為一個實例，為判定位於當前區塊外部的一或多個參考樣本，視訊解碼器30可經組態以判定位於當前區塊上方的一列且判定經判定列中之x座標。經判定列中的x座標等於預測樣本之x座標加預測樣本之y座標加1。視訊解碼器30可基於經判定列及經判定x座標判定一或多個參考樣本之參考樣本。作為另一實例，為判定位於當前區塊外部的一或多個參考樣本，視訊解碼器30可經組態以判定位於當前區塊左側的一行且判定經判定行中之y座標。經判定行中之y座標等於預測樣本之x座標加預測樣本之y座標加1。視訊解碼器30可經組態以基於經判定行及經判定y座標判定一或多個參考樣本之參考樣本。
作為一個實例，為判定位於當前區塊外部的一或多個參考樣本，視訊解碼器30可經組態以判定位於當前區塊上方的一列且判定經判定列中之x座標。經判定列中之x座標係基於角度框內預測模式之角度。視訊解碼器30可經組態以基於經判定列及經判定x座標判定一或多個參考樣本之參考樣本。為判定經判定列中之x座標，視訊解碼器30可經組態以判定角度框內預測模式之角度的餘切或正切中之一者，且基於角度框內預測模式之角度的餘切或正切中之一者、預測樣本之x座標及預測樣本之y座標判定經判定列中之x座標。
作為另一實例，為判定位於當前區塊外部的一或多個參考樣本，視訊解碼器30可經組態以判定位於當前區塊左側的一行且判定經判定行中之y座標。經判定行中之y座標係基於角度框內預測模式之角度。視訊解碼器30可經組態以基於經判定行及經判定y座標判定一或多個參考樣本之參考樣本。為判定經判定行中之y座標，視訊解碼器30可經組態以判定角度框內預測模式之角度的餘切或正切中之一者，且基於角度框內預測模式之角度的餘切或正切中之一者、預測樣本之x座標及預測樣本之y座標判定經判定行中之y座標。
作為一個實例，為基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，視訊解碼器30可經組態以基於角度框內預測模式判定一或多個樣本之集合，且對一或多個樣本之該集合進行內插以產生一或多個參考樣本。在一些實例中，視訊解碼器30可經組態以對一或多個樣本之該集合進行內插、運用偏移捨入，或不運用偏移捨入，以產生一或多個參考樣本。
作為一個實例，為基於角度框內預測模式判定位於當前區塊外部的一或多個參考樣本，視訊解碼器30可經組態以判定基於角度框內預測模式識別的位於當前區塊外部的一或多個樣本未儲存於參考行緩衝器中，且基於儲存於參考行緩衝器中之最後一個參考樣本判定一或多個參考樣本。在一些實例中，修改預測區塊之預測樣本可包括修改預測區塊之第一預測樣本，且一或多個參考樣本可為一或多個參考樣本之第一集合。視訊解碼器30可經組態以針對相同預測區塊之第二預測樣本判定用於第二預測樣本的一或多個參考樣本之一第二集合中的至少一個參考樣本未儲存於參考行緩衝器中，且執行以下步驟中之一者：(a)不將PDPC應用於第二預測樣本或(b)僅僅使用參考行緩衝器中之可用的參考樣本應用PDPC(例如，藉由將零權重應用於不可用的參考樣本)。
根據一或多個實例，視訊解碼器30可經組態以基於預測樣本之x座標及y座標判定複數個權重。為修改預測樣本，視訊解碼器30可經組態以基於經判定之一或多個參考樣本、經判定權重及預測樣本修改預測樣本以產生經修改預測樣本。
視訊解碼器30可經組態以基於經修改預測樣本及殘餘值重建構當前區塊之樣本(220)。舉例而言，視訊解碼器30可接收用於殘餘值之資訊。視訊解碼器30可將殘餘值添加至經修改預測樣本以重建構當前區塊中之樣本。
為了說明之目的，本發明之某些態樣已經關於HEVC標準之擴展而描述。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。
如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。在本發明中，片語「基於」可指示僅僅基於、至少部分地基於，或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以對樣本之一或多個區塊之樣本進行寫碼的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區，等等。在一些情形中，PU之論述可與巨集區塊或巨集區塊分區之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊及其他類型之視訊資料區塊。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如，信號或載波。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如一或多個DSP、通用微處理器、ASIC、FPGA或其它等效集成或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或設備中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元合併於編解碼器硬體單元中，或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧儲存媒體
22‧‧‧視訊編碼器
24‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
101‧‧‧視訊資料記憶體
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧視訊資料記憶體
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
218‧‧‧步驟
220‧‧‧步驟
圖1為說明經組態以實施本發明之技術的實例視訊編碼及解碼系統的方塊圖。
圖2A及圖2B為說明4×4區塊內的樣本方位之DC模式PDPC權重之實例的概念圖。
圖3為說明框內預測角度模式之實例的概念圖。
圖4A為說明對角右上方模式之實例的概念圖。
圖4B為說明對角左下方模式之實例的概念圖。
圖4C為說明鄰近對角右上方模式之實例的概念圖。
圖4D為說明鄰近對角左下方模式之實例的概念圖。
圖5A為說明表1之實例的概念圖，該表含有不包括對角及鄰近模式邊界濾波的PDPC延伸之所有框內測試條件BD速率。
圖5B為說明表2之實例的概念圖，該表含有包括對角及鄰近模式邊界濾波的PDPC延伸之所有框內測試條件BD速率。
圖6為說明視訊編碼器之實例的方塊圖。
圖7為說明視訊解碼器之實例的方塊圖。
圖8為說明對視訊資料進行編碼之實例方法的流程圖。
圖9為說明對視訊資料進行解碼之實例方法的流程圖。

Claims (55)

  1. 一種對視訊資料進行解碼之方法，該方法包含： 基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本； 使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中修改該預測樣本包含： 基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本；及 基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；及 基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本。
  2. 如請求項1之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含判定具有不同於該預測區塊中之該預測樣本之一各別x座標及y座標兩者的一x座標及一y座標兩者的該一或多個參考樣本。
  3. 如請求項1之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  4. 如請求項1之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  5. 如請求項1之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標係基於該角度框內預測模式之一角度；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  6. 如請求項5之方法，其中判定該經判定列中之該x座標包含： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定列中之該x座標。
  7. 如請求項1之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標係基於該角度框內預測模式之一角度；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  8. 如請求項7之方法，其中判定該經判定行中之該y座標包含： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定行中之該y座標。
  9. 如請求項1之方法，其中基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本包含： 基於該角度框內預測模式判定一或多個樣本之一集合；及 對一或多個樣本之該集合進行內插、運用偏移之捨入或不運用偏移之捨入中的至少一者，以產生該一或多個參考樣本。
  10. 如請求項1之方法，其中基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本包含： 判定基於該角度框內預測模式識別的位於該當前區塊外部的一或多個樣本未儲存於一參考行緩衝器中；及 基於儲存於該參考行緩衝器中之一最後一個參考樣本判定該一或多個參考樣本。
  11. 如請求項1之方法，其中修改該預測區塊之該預測樣本包含修改該預測區塊之一第一預測樣本，且其中該一或多個參考樣本包含一或多個參考樣本之一第一集合，該方法進一步包含： 針對相同預測區塊之一第二預測樣本判定用於該第二預測樣本的一或多個參考樣本之一第二集合中的至少一個參考樣本未儲存於一參考行緩衝器中；及 不將PDPC應用於該第二預測樣本或僅僅使用參考行緩衝器中之可用的參考樣本應用PDPC中之一者。
  12. 如請求項1之方法，其進一步包含： 基於該預測樣本之x座標及y座標判定複數個權重， 其中修改該預測樣本包含基於該經判定之一或多個參考樣本、該等經判定權重及該預測樣本修改該預測樣本以產生該經修改預測樣本。
  13. 一種對視訊資料進行編碼之方法，該方法包含： 基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本； 使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中修改該預測樣本包含： 基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本；及 基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本； 基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值；及 發信指示該殘餘值之資訊。
  14. 如請求項13之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含判定具有不同於該預測區塊中之該預測樣本之一各別x座標及y座標兩者的一x座標及一y座標兩者的該一或多個參考樣本。
  15. 如請求項13之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  16. 如請求項13之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  17. 如請求項13之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標係基於該角度框內預測模式之一角度；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  18. 如請求項17之方法，其中判定該經判定列中之該x座標包含： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定列中之該x座標。
  19. 如請求項13之方法，其中判定位於該當前區塊外部的一或多個參考樣本包含： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標係基於該角度框內預測模式之一角度；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  20. 如請求項19之方法，其中判定該經判定行中之該y座標包含： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定行中之該y座標。
  21. 如請求項13之方法，其中基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本包含： 基於該角度框內預測模式判定一或多個樣本之一集合；及 對一或多個樣本之該集合進行內插、運用偏移之捨入或不運用偏移之捨入中的至少一者，以產生該一或多個參考樣本。
  22. 如請求項13之方法，其中基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本包含： 判定基於該角度框內預測模式識別的位於該當前區塊外部的一或多個樣本未儲存於一參考行緩衝器中；及 基於儲存於該參考行緩衝器中之一最後一個參考樣本判定該一或多個參考樣本。
  23. 如請求項13之方法，其中修改該預測區塊之該預測樣本包含修改該預測區塊之一第一預測樣本，且其中該一或多個參考樣本包含一或多個參考樣本之一第一集合，該方法進一步包含： 針對相同預測區塊之一第二預測樣本判定用於該第二預測樣本的一或多個參考樣本之一第二集合中的至少一個參考樣本未儲存於一參考行緩衝器中；及 不將PDPC應用於該第二預測樣本或僅僅使用參考行緩衝器中之可用的參考樣本應用PDPC中之一者。
  24. 如請求項13之方法，其進一步包含： 基於該預測樣本之x座標及y座標判定複數個權重， 其中修改該預測樣本包含基於該經判定之一或多個參考樣本、該等經判定權重及該預測樣本修改該預測樣本以產生該經修改預測樣本。
  25. 一種用於對視訊資料進行解碼之器件，該器件包含： 一記憶體，其經組態以儲存一預測區塊；及 一視訊解碼器，其包含固定功能電路或可程式化電路中之至少一者，其中該視訊解碼器經組態以： 基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之該預測區塊以供儲存於該記憶體中，該預測區塊包括複數個預測樣本； 使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中為修改該預測樣本，該視訊解碼器經組態以： 基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本；及 基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；及 基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本。
  26. 如請求項25之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊解碼器經組態以判定具有不同於該預測區塊中之該預測樣本之一各別x座標及y座標兩者的一x座標及一y座標兩者的該一或多個參考樣本。
  27. 如請求項25之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊解碼器經組態以： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  28. 如請求項25之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊解碼器經組態以： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  29. 如請求項25之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊解碼器經組態以： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標係基於該角度框內預測模式之一角度；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  30. 如請求項29之器件，其中為判定該經判定列中之該x座標，該視訊解碼器經組態以： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定列中之該x座標。
  31. 如請求項25之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊解碼器經組態以： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標係基於該角度框內預測模式之一角度；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  32. 如請求項31之器件，其中為判定該經判定行中之該y座標，該視訊解碼器經組態以： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定行中之該y座標。
  33. 如請求項25之器件，其中為基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本，該視訊解碼器經組態以： 基於該角度框內預測模式判定一或多個樣本之一集合；及 對一或多個樣本之該集合進行內插、運用偏移之捨入或不運用偏移之捨入中的至少一者，以產生該一或多個參考樣本。
  34. 如請求項25之器件，其中為基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本，該視訊解碼器經組態以： 判定基於該角度框內預測模式識別的位於該當前區塊外部的一或多個樣本未儲存於一參考行緩衝器中；及 基於儲存於該參考行緩衝器中之一最後一個參考樣本判定該一或多個參考樣本。
  35. 如請求項25之器件，其中為修改該預測區塊之該預測樣本，該視訊解碼器經組態以修改該預測區塊之一第一預測樣本，其中該一或多個參考樣本包含一或多個參考樣本之一第一集合，且其中該視訊解碼器經組態以： 針對相同預測區塊之一第二預測樣本判定用於該第二預測樣本的一或多個參考樣本之一第二集合中的至少一個參考樣本未儲存於一參考行緩衝器中；及 不將PDPC應用於該第二預測樣本或僅僅使用參考行緩衝器中之可用的參考樣本應用PDPC中之一者。
  36. 如請求項25之器件，其中該視訊解碼器經組態以： 基於該預測樣本之x座標及y座標判定複數個權重， 其中為修改該預測樣本，該視訊解碼器經組態以基於該經判定之一或多個參考樣本、該等經判定權重及該預測樣本修改該預測樣本以產生該經修改預測樣本。
  37. 如請求項25之器件，其進一步包含經組態以顯示該當前區塊之一顯示器。
  38. 如請求項25之器件，其中該器件包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
  39. 一種用於對視訊資料進行編碼之器件，該器件包含： 一記憶體，其經組態以儲存一預測區塊；及 一視訊編碼器，其包含固定功能電路或可程式化電路中之至少一者，其中該視訊編碼器經組態以： 基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之該預測區塊以供儲存在該記憶體中，該預測區塊包括複數個預測樣本； 使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中為修改該預測樣本，該視訊編碼器經組態以： 基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本；及 基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本； 基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值；及 發信指示該殘餘值之資訊。
  40. 如請求項39之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊編碼器經組態以判定具有不同於該預測區塊中之該預測樣本之一各別x座標及y座標兩者的一x座標及一y座標兩者的該一或多個參考樣本。
  41. 如請求項39之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊編碼器經組態以： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  42. 如請求項39之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊編碼器經組態以： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標等於該預測樣本之一x座標加該預測樣本之一y座標加1；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  43. 如請求項39之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊編碼器經組態以： 判定位於該當前區塊上方的一列； 判定該經判定列中之一x座標，其中該經判定列中之該x座標係基於該角度框內預測模式之一角度；及 基於該經判定列及該經判定x座標判定該一或多個參考樣本中之一參考樣本。
  44. 如請求項43之器件，其中為判定該經判定列中之該x座標，該視訊編碼器經組態以： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定列中之該x座標。
  45. 如請求項39之器件，其中為判定位於該當前區塊外部的一或多個參考樣本，該視訊編碼器經組態以： 判定位於該當前區塊左側的一行； 判定該經判定行中之一y座標，其中該經判定行中之該y座標係基於該角度框內預測模式之一角度；及 基於該經判定行及該經判定y座標判定該一或多個參考樣本中之一參考樣本。
  46. 如請求項45之器件，其中為判定該經判定行中之該y座標，該視訊編碼器經組態以： 判定該角度框內預測模式之該角度的一餘切或正切中之一者；及 基於該角度框內預測模式之該角度的該餘切或正切中之一者、該預測樣本之一x座標及該預測樣本之一y座標判定該經判定行中之該y座標。
  47. 如請求項39之器件，其中為基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本，該視訊編碼器經組態以： 基於該角度框內預測模式判定一或多個樣本之一集合；及 對一或多個樣本之該集合進行內插、運用偏移之捨入或不運用偏移之捨入中的至少一者，以產生該一或多個參考樣本。
  48. 如請求項39之器件，其中為基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本，該視訊編碼器經組態以： 判定基於該角度框內預測模式識別的位於該當前區塊外部的一或多個樣本未儲存於一參考行緩衝器中；及 基於儲存於該參考行緩衝器中之一最後一個參考樣本判定該一或多個參考樣本。
  49. 如請求項39之器件，其中為修改該預測區塊之該預測樣本，該視訊編碼器經組態以修改該預測區塊之一第一預測樣本，其中該一或多個參考樣本包含一或多個參考樣本之一第一集合，且其中該視訊編碼器經組態以： 針對相同預測區塊之一第二預測樣本判定用於該第二預測樣本的一或多個參考樣本之一第二集合中的至少一個參考樣本未儲存於一參考行緩衝器中；及 不將PDPC應用於該第二預測樣本或僅僅使用參考行緩衝器中之可用的參考樣本應用PDPC中之一者。
  50. 如請求項39之器件，其中該視訊編碼器經組態以： 基於該預測樣本之x座標及y座標判定複數個權重， 其中為修改該預測樣本，該視訊編碼器經組態以基於該經判定之一或多個參考樣本、該等經判定權重及該預測樣本修改該預測樣本以產生該經修改預測樣本。
  51. 如請求項39之器件，其中該器件包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
  52. 一種儲存指令之電腦可讀儲存媒體，該等指令當經執行時使得用於對視訊資料進行解碼之一器件的一或多個處理器進行以下操作： 基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本； 使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中使得該一或多個處理器修改該預測樣本的該等指令包含使得該一或多個處理器進行以下操作的指令： 基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本；及 基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本；及 基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本。
  53. 一種儲存指令之電腦可讀儲存媒體，該等指令當經執行時使得用於對視訊資料進行編碼的一器件之一或多個處理器進行以下操作： 基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊，該預測區塊包括複數個預測樣本； 使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本，其中使得該一或多個處理器修改該預測樣本的該等指令包含使得該一或多個處理器進行以下操作的指令： 基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本；及 基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本； 基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值；及 發信指示該殘餘值之資訊。
  54. 一種用於對視訊資料進行解碼之器件，該器件包含： 用於基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊的構件，該預測區塊包括複數個預測樣本； 用於使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本的構件，其中該用於修改該預測樣本的構件包含： 用於基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本的構件；及 用於基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本的構件；及 用於基於該經修改預測樣本及一殘餘值重建構該當前區塊之一樣本的構件。
  55. 一種用於對視訊資料進行編碼之器件，該器件包含： 用於基於並非一DC、平坦、水平或豎直框內預測模式的一角度框內預測模式判定用於一當前區塊之一預測區塊的構件，該預測區塊包括複數個預測樣本； 用於使用位置相關框內預測組合(PDPC)修改該預測區塊之該複數個預測樣本中之一預測樣本以產生一經修改預測樣本的構件，其中該用於修改該預測樣本的構件包含： 用於基於該角度框內預測模式判定位於該當前區塊外部的一或多個參考樣本的構件；及 用於基於該經判定之一或多個參考樣本修改該預測樣本以產生該經修改預測樣本的構件； 用於基於該經修改預測樣本及該當前區塊中之一樣本值判定用於一殘餘區塊之一殘餘值的構件；及 用於發信指示該殘餘值之資訊的構件。
TW108111745A 2018-04-02 2019-04-02 以角度模式延伸之位置相關框內預測組合 TWI812694B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862651424P 2018-04-02 2018-04-02
US62/651,424 2018-04-02
US16/371,638 2019-04-01
US16/371,638 US11611757B2 (en) 2018-04-02 2019-04-01 Position dependent intra prediction combination extended with angular modes

Publications (2)

Publication Number Publication Date
TW201943272A true TW201943272A (zh) 2019-11-01
TWI812694B TWI812694B (zh) 2023-08-21

Family

ID=68054066

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111745A TWI812694B (zh) 2018-04-02 2019-04-02 以角度模式延伸之位置相關框內預測組合

Country Status (18)

Country Link
US (1) US11611757B2 (zh)
EP (1) EP3772263A1 (zh)
JP (1) JP7295879B2 (zh)
KR (1) KR20200139163A (zh)
CN (1) CN111937394B (zh)
AR (1) AR115330A1 (zh)
AU (2) AU2019249440A1 (zh)
BR (1) BR112020019715A2 (zh)
CA (1) CA3092999A1 (zh)
CL (1) CL2020002525A1 (zh)
CO (1) CO2020012311A2 (zh)
IL (1) IL277064A (zh)
MX (1) MX2020010366A (zh)
PH (1) PH12020551366A1 (zh)
SG (1) SG11202008461SA (zh)
TW (1) TWI812694B (zh)
WO (1) WO2019195283A1 (zh)
ZA (1) ZA202006816B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10382772B1 (en) * 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
US11509908B2 (en) * 2018-09-11 2022-11-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11652984B2 (en) 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US20200162737A1 (en) 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
WO2020111982A1 (en) * 2018-11-26 2020-06-04 Huawei Technologies Co., Ltd. Method of intra predicting a block of a picture
US11057622B2 (en) 2018-12-13 2021-07-06 Qualcomm Incorporated Position dependent intra prediction combination with non-square block diagonals
US11019360B2 (en) 2019-03-21 2021-05-25 Qualcomm Incorporated Generalized reference sample derivation methods for intra prediction in video coding
US11134257B2 (en) * 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode
US11445174B2 (en) * 2019-05-06 2022-09-13 Tencent America LLC Method and apparatus for video coding
US11363284B2 (en) 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
US11039156B2 (en) * 2019-06-11 2021-06-15 Tencent America LLC Unified position dependent prediction combination process
KR20220024643A (ko) * 2019-06-20 2022-03-03 인터디지털 브이씨 홀딩스 프랑스 에스에이에스 위치 의존적 인트라 예측 조합을 이용한 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스
EP4300964A3 (en) * 2019-06-21 2024-03-13 VID SCALE, Inc. Precision refinement for motion compensation with optical flow
US11197025B2 (en) 2019-06-21 2021-12-07 Qualcomm Incorporated Signaling of matrix intra prediction parameters in video coding
WO2020258020A1 (zh) * 2019-06-25 2020-12-30 Oppo广东移动通信有限公司 信息处理方法及装置、设备、存储介质
US11671592B2 (en) * 2019-12-09 2023-06-06 Qualcomm Incorporated Position-dependent intra-prediction combination for angular intra-prediction modes for video coding
KR20220079974A (ko) 2019-12-26 2022-06-14 엘지전자 주식회사 Pdpc를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11563977B2 (en) 2020-09-24 2023-01-24 Tencent America LLC Method and apparatus for video coding
CN115883834A (zh) * 2021-09-30 2023-03-31 维沃移动通信有限公司 帧内预测的方法及终端

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
EP2375751A1 (en) * 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
CA2840587C (en) 2011-06-28 2017-06-20 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video, accompanied with intra prediction
CN104247422B (zh) * 2011-11-07 2018-09-11 华为技术有限公司 用于改进帧内预测的新的角度表的方法和装置
CN105934948B (zh) * 2013-12-13 2019-04-02 高通股份有限公司 解码和编码视频数据的方法和装置及计算机可读存储介质
WO2016067557A1 (ja) * 2014-10-31 2016-05-06 日本電気株式会社 予測画像生成装置および予測画像生成方法
US20160373770A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10425648B2 (en) 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
KR20190015216A (ko) * 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
EP3453174A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
CN109314782A (zh) * 2016-05-24 2019-02-05 夏普株式会社 用于帧内预测编码的系统和方法
CA3025488A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
US10944963B2 (en) 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
KR102447450B1 (ko) 2016-09-05 2022-09-26 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
US20190200011A1 (en) * 2016-09-08 2019-06-27 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
WO2018132380A1 (en) * 2017-01-13 2018-07-19 Vid Scale, Inc. Prediction approaches for intra planar coding
WO2018216862A1 (ko) * 2017-05-24 2018-11-29 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN116405680A (zh) * 2017-09-28 2023-07-07 三星电子株式会社 编码方法和装置以及解码方法和装置
MX2020003722A (es) * 2017-10-09 2020-09-18 Arris Entpr Llc Predicción de peso en planos desiguales adaptativa.

Also Published As

Publication number Publication date
ZA202006816B (en) 2023-07-26
KR20200139163A (ko) 2020-12-11
CA3092999A1 (en) 2019-10-10
CL2020002525A1 (es) 2021-02-19
US11611757B2 (en) 2023-03-21
JP7295879B2 (ja) 2023-06-21
AU2023202344A1 (en) 2023-05-11
AU2019249440A1 (en) 2020-10-01
TWI812694B (zh) 2023-08-21
JP2021520117A (ja) 2021-08-12
EP3772263A1 (en) 2021-02-10
MX2020010366A (es) 2020-10-19
PH12020551366A1 (en) 2021-09-01
CN111937394B (zh) 2024-05-28
IL277064A (en) 2020-10-29
CO2020012311A2 (es) 2020-10-30
CN111937394A (zh) 2020-11-13
SG11202008461SA (en) 2020-10-29
AR115330A1 (es) 2020-12-23
RU2020131995A (ru) 2022-05-06
BR112020019715A2 (pt) 2021-02-09
US20190306513A1 (en) 2019-10-03
WO2019195283A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
TWI812694B (zh) 以角度模式延伸之位置相關框內預測組合
TWI767130B (zh) 具有廣角框內預測之定位相依框內預測結合
TWI722341B (zh) 用於在視訊寫碼中自適應之迴路濾波之線路緩衝減少
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
US10382781B2 (en) Interpolation filters for intra prediction in video coding
TWI693820B (zh) 為視訊寫碼中非方形區塊判定預測參數
CN110393010B (zh) 视频译码中的帧内滤波旗标
US11044473B2 (en) Adaptive loop filtering classification in video coding
TW201841501A (zh) 用於視訊寫碼之多種類型樹架構
TW201841502A (zh) 用於視訊寫碼之框內預測技術
TW201444350A (zh) 方形區塊預測
JP2018511234A (ja) コード化パラメータのｈｅｖｃ予測についての利用可能性検査を低減するためのパディング
TW201939952A (zh) 用於360度視訊之框內預測
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
TW202415068A (zh) 視訊寫碼中之三角合併模式索引之發信