TW201943278A - 用於視訊寫碼之多轉換調整級 - Google Patents

用於視訊寫碼之多轉換調整級 Download PDF

Info

Publication number
TW201943278A
TW201943278A TW108111352A TW108111352A TW201943278A TW 201943278 A TW201943278 A TW 201943278A TW 108111352 A TW108111352 A TW 108111352A TW 108111352 A TW108111352 A TW 108111352A TW 201943278 A TW201943278 A TW 201943278A
Authority
TW
Taiwan
Prior art keywords
conversion
block
adjustment operation
video data
procedure
Prior art date
Application number
TW108111352A
Other languages
English (en)
Inventor
阿米爾 塞德
席爾米 伊恩斯 埃伊爾梅茲
馬塔 卡茲維克茲
法迪姆 塞瑞金
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201943278A publication Critical patent/TW201943278A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種器件可針對視訊資料之一第一區塊執行一第一預測程序以產生一第一殘餘。該器件可將一第一轉換程序應用於該第一殘餘以產生用於視訊資料之該第一區塊的第一轉換係數且對該等第一轉換係數進行編碼。該器件可針對視訊資料之一第二區塊執行一第二預測程序以產生一第二殘餘。該器件可判定會將一第二轉換程序應用於該第二殘餘，該第二轉換程序包括該第一轉換程序及一調整前操作或一調整後操作中之至少一者。該器件可將該第一轉換程序及該調整前或調整後操作應用於該第二殘餘以產生用於該第二區塊之第二轉換係數。該寫碼器件可對該等第一及第二轉換係數進行寫碼。

Description

用於視訊寫碼之多轉換調整級
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、進階視訊寫碼(AVC)第10部分、ITU-T H.265、高效視訊寫碼(HEVC)所界定的標準及此等標準之擴展中所描述的彼等技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹區塊、寫碼單元(CU)及/或寫碼節點。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。為了進一步壓縮，可將殘餘資料自像素域轉換至轉換域，從而導致可接著進行量化之殘餘轉換係數。可應用熵寫碼以實現甚至更進一步壓縮。
大體而言，本發明描述用於減少儲存於一視訊寫碼器之該記憶體中的資料之量，且以經寫碼視訊資料之品質的最小降低來提高用於對該視訊資料進行寫碼之計算效率的技術。在一些實例中，本發明描述使用近似來替換一些複雜的轉換程序以獲得本發明之該記憶體縮減及計算效率益處的技術。
在一個實例中，一種視訊編碼器件對視訊資料進行編碼，該視訊資料用於針對視訊資料之一第一區塊預測一第一殘餘，且針對視訊資料之一第二區塊預測一第二殘餘。對於該第一殘餘，該視訊編碼器件判定會將一第一轉換程序應用於該第一殘餘，且隨後將該第一轉換程序應用於該第一殘餘以產生第一轉換係數。對於該第二殘餘，該視訊編碼器件判定會將一第二轉換程序應用於該第二殘餘。然而，該第二轉換程序可為添加有一調整前操作或一調整後操作中之至少一者的該第一轉換程序，而非一不同複雜轉換程序。該視訊編碼器件可接著將該第一轉換程序與該調整前或調整後程序之組合應用於該第二殘餘以得到第二轉換係數。該第一轉換程序與該調整前或調整後程序之該組合近似於該第二不同轉換。該視訊編碼器件可接著對該等第一及第二轉換係數進行寫碼。
類似地，當對該視訊資料進行解碼時，該視訊解碼器件可針對該第一區塊判定會將一第一反轉換程序應用於該第一區塊，且接著隨後將該第一反轉換程序應用於一第一殘餘。該視訊解碼器件可對該第一殘餘進行解碼以產生一第一經解碼區塊。針對該第二區塊，該視訊解碼器件可判定會將一第二反轉換程序應用於該第二殘餘，其中第二反轉換程序包括該第一反轉換程序及一調整前操作或一調整後操作中之至少一者，且接著隨後將該第一反轉換程序與該調整前或調整後程序之該組合應用於該第二區塊，以得到一第二殘餘。該視訊解碼器件可對該第二殘餘進行解碼以產生一第二經解碼區塊，且至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼。
在一個實例中，本發明係關於一種編碼視訊資料之方法，該方法包含：針對視訊資料之一第一區塊執行一第一預測程序以產生一第一殘餘；判定會將複數個轉換程序之一第一轉換程序應用於該第一殘餘；將該第一轉換程序應用於該第一殘餘以產生用於視訊資料之該第一區塊的第一轉換係數；對該等第一轉換係數進行編碼；針對視訊資料之一第二區塊執行一第二預測程序以產生一第二殘餘；判定會將一第二轉換程序應用於該第二殘餘，其中該第二轉換程序包含該第一轉換程序及除該第一轉換程序之外亦應用於該第二殘餘的一第一調整前操作或一第一調整後操作中之至少一者；將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第二殘餘以產生用於視訊資料之該第二區塊的第二轉換係數，其中若該第一調整前操作被應用，則在應用該第一轉換程序之前應用該第一調整前操作，且其中若該第一調整後操作被應用，則在應用該第一轉換程序之後應用該第一調整後操作；及對該等第二轉換係數進行編碼。
在另一實例中，本發明係關於一種視訊編碼器件，其包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以：針對視訊資料之一第一區塊執行一第一預測程序以產生一第一殘餘；判定會將複數個轉換程序之一第一轉換程序應用於該第一殘餘；將該第一轉換程序應用於該第一殘餘以產生用於視訊資料之該第一區塊的第一轉換係數；對該等第一轉換係數進行編碼；判定會將一第二轉換程序應用於第二殘餘，其中該第二轉換程序包含該第一轉換程序及除該第一轉換程序之外亦應用於該第二殘餘的一第一調整前操作或一第一調整後操作中之至少一者；將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第二殘餘以產生用於視訊資料之第二區塊的第二轉換係數，其中若該第一調整前操作被應用，則在應用該第一轉換程序之前應用該第一調整前操作，且其中若該第一調整後操作被應用，則在應用該第一轉換程序之後應用該第一調整後操作；及對該等第二轉換係數進行編碼。
在另一實例中，本發明係關於一種電腦可讀儲存媒體，其上儲存有指令，該等指令在經執行時使得一視訊編碼器件之一或多個處理器進行以下操作：針對視訊資料之一第一區塊執行一第一預測程序以產生一第一殘餘；判定會將複數個轉換程序之一第一轉換程序應用於該第一殘餘；將該第一轉換程序應用於該第一殘餘以產生用於視訊資料之該第一區塊的第一轉換係數；對該等第一轉換係數進行編碼；針對視訊資料之一第二區塊執行一第二預測程序以產生一第二殘餘；判定會將一第二轉換程序應用於該第二殘餘，其中該第二轉換程序包含該第一轉換程序及除該第一轉換程序之外亦應用於該第二殘餘的一第一調整前操作或一第一調整後操作中之至少一者；及將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第二殘餘以產生用於視訊資料之該第二區塊的第二轉換係數，其中若該第一調整前操作被應用，則在應用該第一轉換程序之前應用該第一調整前操作，且其中若該第一調整後操作被應用，則在應用該第一轉換程序之後應用該第一調整後操作；及對該等第二轉換係數進行編碼。
在另一實例中，本發明係關於一種編碼視訊資料之裝置，該裝置包含：用於針對視訊資料之一第一區塊執行一第一預測程序以產生一第一殘餘的構件；用於判定會將複數個轉換程序之一第一轉換程序應用於該第一殘餘的構件；用於將該第一轉換程序應用於該第一殘餘以產生用於視訊資料之該第一區塊的第一轉換係數的構件；用於對該等第一轉換係數進行編碼的構件；用於判定會將一第二轉換程序應用於該第二殘餘的構件，其中該第二轉換程序包含該第一轉換程序及除該第一轉換程序之外亦應用於該第二殘餘的一第一調整前操作或一第一調整後操作中之至少一者；用於將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第二殘餘以產生用於視訊資料之第二區塊的第二轉換係數的構件，其中若該第一調整前操作被應用，則在應用該第一轉換程序之前應用該第一調整前操作，且其中若該第一調整後操作被應用，則在應用該第一轉換程序之後應用該第一調整後操作；及用於對該等第二轉換係數進行編碼的構件。
在另一實例中，本發明係關於一種解碼視訊資料之方法，該方法包含：判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊；將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘；對該第一殘餘進行解碼以產生一第一經解碼區塊；判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者；將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作；對該第二殘餘進行解碼以產生一第二經解碼區塊；及至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼。
在另一實例中，本發明係關於一種視訊解碼器件，其包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以：判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊；將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘；對該第一殘餘進行解碼以產生一第一經解碼區塊；判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者；將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作；對該第二殘餘進行解碼以產生一第二經解碼區塊；及至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼。
在另一實例中，本發明係關於一種電腦可讀儲存媒體，其上儲存有指令，該等指令在經執行時使得一視訊解碼器件之一或多個處理器進行以下操作：判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊；將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘；對該第一殘餘進行解碼以產生一第一經解碼區塊；判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者；將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作；對該第二殘餘進行解碼以產生一第二經解碼區塊；及至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼。
在另一實例中，本發明係關於一種用於解碼視訊資料之裝置，該裝置包含：用於判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊的構件；用於將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘的構件；用於對該第一殘餘進行解碼以產生一第一經解碼區塊的構件；用於判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊的構件，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者；用於將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘的構件，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作；用於對該第二殘餘進行解碼以產生一第二經解碼區塊的構件；及用於至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼的構件。
下文在附圖及描述中闡述本發明之一或多個實例的細節。本發明之其它特徵、目標及優勢將自描述及圖式及申請專利範圍而顯而易見。
本發明主張2018年3月30日申請的美國臨時申請案第62/650,953號及2018年5月7日申請的美國臨時申請案第62/668,097號之權益，其中每一者之全部內容以引用的方式併入本文中。
本發明描述可運用轉換寫碼解決問題的技術，該技術為視訊壓縮標準之基礎部分。本發明之技術可為較大數目個不可分離轉換減少記憶體及計算複雜度，從而可能以合理成本實現較大寫碼增益。
本文中描述之技術可在算術運算數目及用以儲存轉換參數之記憶體兩方面顯著減少轉換之計算複雜度，此對於視訊寫碼起最佳作用，而在壓縮性能方面有極少損失甚至無損失。本發明之技術可根據轉換採用彼等記憶體節省，此係由於記憶體節省允許使用大量數目個轉換以改良寫碼增益。本發明描述如何將此等技術用於實際視訊寫碼系統中。
根據本文中描述之技術，視訊寫碼器可將調整前操作或調整後操作添加至不太複雜的轉換程序，以產生近似於一或多個複雜轉換程序之結果的轉換之序列，而非使用一或多個複雜轉換程序。儘管可藉由使用較少複雜程序將更多程序應用於此等技術中，但可更有效地處理視訊區塊及殘餘資料，尤其當區塊之大小大於8×8時。此係因為不太複雜的程序可更快地應用，在一些情況下按指數律成比例。此外，在已應用一或多個複雜轉換程序的情況下，所得視訊資料可仍近似等於所得視訊資料將呈現的視覺品質，從而在無視訊品質損耗的情況下導致更有效處理。
一些實例視訊寫碼標準僅僅使用一種類型之轉換(離散餘弦轉換)，但類似HEVC之其他標準採用多於一種類型之轉換以改良壓縮(參見2015年柏林施普林格出版社M.Wien的高效 視訊寫碼 ： 寫碼工具及規範 (High Efficiency Video Coding: Coding Tools and Specification )及2012年4月IEEE學報之影像處理第21卷第1874-1884頁J.Han、A.Saxena、V.Melkote及K.Rose的「Jointly optimized spatial prediction and block transform for video and image coding」，其中每一者之全部內容以引用的方式併入本文中)。在公開媒體視訊1 (AV1)標準聯盟及最新國際電信聯盟/運動圖像專家組(ITU/MPEG)標準化中，此方法藉由允許若干類型之離散正弦及餘弦轉換(DST及DCT)而得以進一步擴展。採用多個轉換可產生顯著壓縮改良(寫碼增益高2%)，且亦產生與計算複雜度相關的若干實際問題，包括(i)儲存關於所有轉換之資訊所需的記憶體的量；(ii)針對每一轉換之不等計算要求；及(iii)對於多個實施方案優化之所得需求。
本發明之技術解決上述一些或全部問題，方法為：用低複雜度轉換之預定義集合替換多個轉換，該等預定義集合可與允許有效且足夠精確近似最初所提議之轉換的新計算結構合併(例如，表示為稀疏矩陣及類似技術)。實驗模擬展示此方法可僅僅使用熟知且經高度最佳化的II型DCT加上新提議之近似級，以可忽略寫碼損耗替換聯合探索模型(JEM)軟體上的五個額外三角轉換。
圖1為說明經組態以實施本發明之技術的實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括提供稍後將由目的地器件14解碼之經編碼視訊資料的源器件12。特定而言，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型電腦(亦即，膝上型電腦)、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似物。在一些情況下，源器件12和目的地器件14可能經裝備以用於無線通信。因此，源器件12及目的地器件14可為無線通信器件。源器件12為實例視訊編碼器件(亦即，用於對視訊資料進行編碼之器件)。目的地器件14為實例視訊解碼器件(亦即，用於對視訊資料進行解碼之器件)。
在圖1之實例中，源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20及輸出介面24。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示器件32。在其他實例中，源器件12及目的地器件14可包括其他組件或配置。舉例而言，源器件12可自外部視訊源(諸如外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合顯示器件。
圖1之所說明系統10僅係一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件來執行。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料用於傳輸至目的地器件14之此類寫碼器件的實例。在一些實例中，源器件12及目的地器件14可以實質上對稱方式操作，使得源器件12及目的地器件14中的每一者包括視訊編碼及解碼組件。因此，系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊擷取器件，諸如視訊攝影機、含有先前擷取之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊資料的視訊饋入介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如，儲存媒體19)。本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，擷取、預先擷取或電腦產生之視訊可由視訊編碼器20編碼。輸出介面24可將經編碼視訊資訊輸出至電腦可讀媒體16。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一些實例中，電腦可讀媒體16包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源器件12至目的地器件14的通信之裝備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。
在一些實例中，經編碼資料可自輸出介面24輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、Blu-ray碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)，或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之一組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或非暫時性儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、Blu-ray光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源器件12接收經編碼視訊資料，且例如經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的運算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20之視訊編碼器20定義之語法資訊，語法資訊亦由視訊解碼器30使用，語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。儲存媒體28可儲存藉由輸入介面26接收之經編碼視訊資料。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
儘管圖1中未示出，但在一些實例中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及/或音訊解碼器整合，且可包括合適的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適的固定功能及/或可程式化電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。
在一些實例中，視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如現有或未來標準)來操作。實例視訊寫碼標準包括但不限於：ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺、ITU-T H.263、ISO/IEC MPEG-4視覺及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外，最近已藉由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發新的視訊寫碼標準(亦即，高效率視訊寫碼(HEVC)或ITU-T H.265)，包括其範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準操作，諸如聯合探索測試模型(JEM)或ITU-T H.266，其亦被稱作多功能視訊寫碼(VVC)。然而，本發明之技術受限於不限於任何特定寫碼標準。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列，指示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色訊樣本之二維陣列。SCr 為Cr色訊樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹單元(CTU)之集合。CTU中之每一者可包含明度樣本之寫碼樹區塊、色度樣本之兩個對應寫碼樹區塊，及用以對該等寫碼樹區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，CTU可包含單一寫碼樹區塊及用以對該寫碼樹區塊之樣本進行寫碼的語法結構。寫碼樹區塊可為樣本之N×N區塊。CTU亦可被稱作「樹區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以對樣本之一或多個區塊之樣本進行寫碼的語法結構。視訊單元之實例類型可包括CTU、CU、PU、轉換單元(TU)、巨集區塊、巨集區塊分區，等等。在一些情形中，PU之論述可與巨集區塊或巨集區塊分區之論述互換。視訊區塊之實例類型可包括寫碼樹區塊、寫碼區塊及其他類型之視訊資料區塊。
為產生經寫碼的CTU，視訊編碼器20可對CTU之寫碼樹區塊遞迴地執行四分樹分割，以將寫碼樹區塊劃分成寫碼區塊，之後命名為「寫碼樹單元」。寫碼區塊為樣本之N×N區塊。CU可包含明度樣本之寫碼區塊及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的色度樣本之兩個對應寫碼區塊，以及用於對該寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單個寫碼區塊及用於對該寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以預測該等預測區塊之語法結構。在單色圖像或包含單獨色彩平面之圖像中，PU可包含單個預測區塊及用於預測該預測區塊的語法結構。視訊編碼器20可針對CU之每一PU的預測區塊(例如，明度、Cb及Cr預測區塊)產生預測性區塊(例如，明度、Cb及Cr預測性區塊)。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於包括PU之圖像的經解碼樣本來產生PU之預測性區塊。
在視訊編碼器20產生用於CU之一或多個PU的預測性區塊(例如，明度、Cb及Cr預測性區塊)之後，視訊編碼器20可產生用於CU之一或多個殘餘區塊。舉例而言，視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可將殘餘區塊分解為一或多個轉換區塊。舉例而言，視訊編碼器20可使用四分樹分割將CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)分解為一或多個轉換區塊(例如，明度、Cb及Cr轉換區塊)。轉換區塊為供應用相同轉換之樣本的矩形((例如正方形或非正方形)區塊。CU之轉換單元(TU)可包含明度樣本之轉換區塊、色度樣本之兩個對應轉換區塊及用以轉換該等轉換區塊樣本之語法結構。因此，CU之每一TU可具有明度轉換區塊、Cb轉換區塊以及Cr轉換區塊。TU之明度轉換區塊可為CU之明度殘餘區塊的子區塊。Cb轉換區塊可為CU之Cb殘餘區塊之子區塊。Cr轉換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一轉換區塊及用於轉換該轉換區塊之樣本的語法結構。
作為另一實例，視訊編碼器20及視訊解碼器30可經組態以根據JEM或VVC操作。根據JEM或VVC，視訊寫碼器(諸如視訊編碼器20)將圖像分割成複數個寫碼樹單元(CTU)。視訊編碼器20可根據樹結構分割CTU，諸如四分樹二元樹(QTBT)結構或多類型樹(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四分樹分割進行分割的第一層級，及根據二元樹分割進行分割的第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。
在一些實例中，視訊編碼器20及視訊解碼器30可使用單一QTBT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器20及視訊解碼器30可使用兩個或大於兩個QTBT結構，諸如用於明度分量之一個QTBT結構及用於兩個色度分量之另一QTBT結構(或用於各別色度分量之兩個QTBT結構)。
視訊編碼器20及視訊解碼器30可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。
本發明可能可互換地使用「N×N」及「N乘N」以指區塊(諸如CU或其他視訊區塊)在豎直及水平維度方面之樣本尺寸，例如16×16樣本或16乘16樣本。大體而言，16×16 CU在豎直方向上將具有16個樣本(y = 16)且在水平方向上將具有16個樣本(x = 16)。同樣地，N×N CU通常在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU未必需要在水平方向上與在豎直方向上具有相同數目個樣本。舉例而言，CU可包含N×M個樣本，其中M未必等於N。
視訊編碼器20對CU之表示預測及/或殘餘資訊及其他資訊的視訊資料進行編碼。預測資訊指示將如何對CU進行預測以形成CU之預測區塊。殘餘資訊一般表示編碼前CU與預測區塊之樣本之間的逐樣本差。
為了預測CU，視訊編碼器20一般可經由框間預測或框內預測形成CU之預測區塊。框間預測一般係指自先前經寫碼圖像之資料預測CU，而框內預測一般係指自同一圖像之先前經寫碼資料預測CU。為了執行框間預測，視訊編碼器20可使用一或多個運動向量來產生預測區塊。視訊編碼器20一般可執行運動搜尋以識別例如在CU與參考區塊之間的差方面緊密匹配CU之參考區塊。視訊編碼器20可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器20可使用單向預測或雙向預測來預測當前CU。
JEM及VVC亦提供仿射運動補償模式，其可被視為框間預測模式。在仿射運動補償模式中，視訊編碼器20可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或多於兩個運動向量。
為了執行框內預測，視訊編碼器20可選擇框內預測模式以產生預測區塊。JEM及VVC提供六十七種框內預測模式，包括各種定向模式以及平坦模式及DC模式。大體而言，視訊編碼器20選擇描述相鄰樣本至當前區塊(例如，CU之區塊)的框內預測模式，其中自該框內預測模式預測當前區塊之樣本。此類樣本通常可與當前區塊相同之圖像中，在當前區塊之上方、左上方或左側，假定視訊編碼器20以光柵掃描次序(左至右、上至下)對CTU及CU進行寫碼。
視訊編碼器20可將一或多個轉換應用於TU之轉換區塊以產生TU之係數區塊。舉例而言，視訊編碼器20可將一或多個轉換應用於TU之明度轉換區塊，以產生TU之明度係數區塊。係數區塊可為轉換係數之二維陣列。轉換係數可為純量。視訊編碼器20可將一或多個轉換應用至TU之Cb轉換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個轉換應用於TU之Cr轉換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將轉換係數量化以可能地減少用以表示轉換係數之資料之量從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化轉換係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化轉換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。因此，位元流包含視訊資料之經編碼表示。該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下RBSP包括零個位元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之過程可與由視訊編碼器20執行之過程大體互逆。舉例而言，視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。另外，視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反轉換，以重建構當前CU之TU的轉換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的轉換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重構圖像。
轉換寫碼為所有現代視訊寫碼標準之基礎部分，比如高效視訊寫碼(HEVC)。眾所周知，最佳轉換寫碼應採用基於矩陣之卡忽南-列維(Karhunen-Loève)轉換(KLT)(或類似地自適應轉換)，此因為此等轉換可經最佳化至特定信號統計。然而，矩陣實施方案傾向於需要相對較高的數目計算及記憶體之相對較高量。實際上，類似離散餘弦轉換(DCT)的固定可分離轉換使用較少計算及較少記憶體來實施轉換，且因此已被廣泛地採納。
根據本文中描述之技術，視訊編碼器20可分別對視訊資料之第一區塊執行第一預測程序，且對視訊資料之第二區塊執行第二預測程序，以產生第一殘餘及第二殘餘。視訊編碼器20可針對第一殘餘判定會將複數個轉換程序之第一轉換程序應用於第一殘餘。視訊編碼器20可接著將第一轉換程序應用於第一殘餘以產生用於視訊資料之第一區塊的第一轉換係數。對於第二殘餘，視訊編碼器20可判定會將第二轉換程序應用於第二殘餘，其中第二轉換程序包括第一轉換程序，及調整前操作或調整後操作中之至少一者以應用於第二殘餘。視訊編碼器20可將第一轉換程序及調整前操作或調整後操作中之至少一者應用於第二殘餘以產生用於視訊資料之第二區塊的第二轉換係數。若應用調整前操作，則轉換處理單元252在應用第一轉換程序之前應用調整前操作。若應用調整後操作，轉換處理單元252在應用第一轉換程序之後應用調整後操作。藉由組合第一轉換程序及調整前及/或調整後操作，第二轉換程序可為更複雜三角轉換之近似及取代，而無需執行複雜三角轉換之大量計算操作，且不必將完整矩陣儲存於記憶體中。視訊編碼器20可接著繼續對第一轉換係數及第二轉換係數進行熵編碼。
進一步根據本文中描述之技術，視訊解碼器30可針對複數個視訊資料區塊之第一區塊，判定會將複數個反轉換程序之第一反轉換程序應用於第一區塊。視訊解碼器30可接著將第一反轉換程序應用於第一區塊之第一轉換係數以產生第一殘餘。視訊解碼器30可對第一殘餘進行解碼以產生第一經解碼區塊。對於第二區塊，視訊解碼器30可判定會將第二反轉換程序應用於第二區塊，其中第一反轉換程序及調整前操作或調整後操作中之至少一者。視訊解碼器30可將第一反轉換程序及調整前操作或調整後操作中之至少一者應用於第二區塊之第二轉換係數以產生第二殘餘。若應用調整前操作，則視訊解碼器30在應用第一反轉換程序之前應用調整前操作。若應用調整後操作，則視訊解碼器30在應用第一反轉換程序之後應用調整後操作。視訊解碼器30可對第二殘餘進行解碼以產生第二經解碼區塊。藉由組合第一轉換程序及調整前及/或調整後操作，此操作組合可為更複雜三角轉換之近似及取代，而無需執行複雜三角轉換之大量計算操作，且不必將完整矩陣儲存於記憶體中。視訊解碼器30可接著繼續至少部分基於第一經解碼區塊及第二經解碼區塊對視訊資料進行解碼。
圖2為說明用於使用轉換選擇之混合型視訊編碼的實例系統40的方塊圖。本發明之技術適用於圖2中所示之自適應轉換寫碼的構架，其中對於預測殘餘之每一區塊，可藉由編碼器選擇不同轉換，且將轉換之選擇編碼為旁側資訊。
圖2展示視訊編碼系統40之圖式(亦即，實例視訊編碼器，諸如視訊編碼器20)，其中視訊圖框首先被劃分成像素區塊(區塊間隔42)。像素區塊之實例類型可包括CU之寫碼區塊。此外，在圖2中，對於每一區塊，視訊編碼系統40自其預測值減去每一像素值(44)。視訊編碼器使用線性運算以數值方式轉換差(亦即，殘餘)之區塊(區塊轉換46)。在圖2之實例中，r 指示殘餘資料，Tt r 指示經轉換殘餘資料，且t 指示將哪個轉換應用於殘餘以產生Tt r 的一指示。
可藉由矩陣向量乘法實施線性轉換，但視訊寫碼應用程式已正在使用一些特殊的快速轉換，該等轉換具有自可相比等效矩陣向量乘積更有效地進行計算的三角函數導出之固定係數。然而，在本發明之上下文中，值得注意的是，計算效率之概念已隨著新硬體技術之出現而改變。舉例而言，在一些應用中，減小計算潛時可能比減少算術運算之數目更重要，其為計算複雜度之習知量測。
在圖2中，視訊編碼器可將經轉換殘餘資料量化(量化48)，且將經量化經轉換殘餘資料反量化(反量化50)。視訊編碼器可將反轉換應用於經反量化經轉換殘餘資料(反轉換52)以恢復殘餘資料。亦被稱作經解碼圖像緩衝器(DPB)的視訊編碼器之圖框緩衝器54儲存基於殘餘資料而判定的經重建構像素區塊。視訊編碼器可將儲存於圖框緩衝器54中之經重建構像素區塊用於其他像素區塊之預測(區塊預測56)。在圖2之實例中，藉由視訊編碼器應用於經轉換殘餘資料的反轉換可基於先前所應用以產生經轉換殘餘資料的轉換而判定。可將應用哪個轉換以產生經轉換殘餘資料的指示提供至視訊編碼器之熵編碼單元58。熵編碼單元58可對指示轉換之語法元素以及指示經量化經轉換殘餘資料之語法元素進行熵編碼。
早期視訊寫碼標準僅僅使用一種類型之區塊轉換。為改良壓縮，較新標準日益使用多個轉換。此在圖2之圖式中用虛線指示，該虛線將區塊轉換46與熵寫碼58及轉換組47連接起來，其表示編碼器用以傳遞至在解碼期間待應用反轉換的解碼器的旁側資訊。
為減少計算複雜度，通常以可分離方式計算區塊轉換，亦即，如圖3A及圖3B中所示，獨立地轉換樣本之水平線及豎直線(例如，明度及色度樣本)。在自適應轉換方案中，在轉換定向遍次期間用於選擇不同轉換的兩個可能選項可包括在水平及豎直方向上進行的一組轉換(分別為水平及豎直轉換遍次)。
圖3A及圖3B展示用於將轉換應用於視訊殘餘之二維區塊的實例選項。圖3A為說明用於在像素殘餘之二維區塊中計算可分離轉換的實例選項之概念圖。圖3B為說明用於在像素殘餘之二維區塊中計算不可分離轉換的實例選項之概念圖。
在被稱作可分離轉換的第一選項(例如，圖3A)中，分別轉換殘餘，首先在列中且接著在行中(或反之亦然)，如由圖3A中之箭頭所指示。更特定言之，對於W×H輸入區塊60之每一各別列，視訊編碼器/解碼器(一般被稱作視訊寫碼器)藉由將由各別列之元件組成的向量與W×H轉換矩陣相乘，來產生中間區塊62之一列。對於中間區塊62之每一各別行，視訊寫碼器藉由將由各別行之元件所組成的向量與W×H轉換矩陣相乘，來產生輸出區塊之一行。為減少計算複雜度，通常以可分離方式計算區塊轉換，亦即，如圖3A中所示，獨立地轉換水平線及豎直線。
在被稱作不可分離轉換的第二類型之區塊轉換(例如圖3B)中，所有殘餘被一起放置於單個向量中，如圖3B中所示，且一起進行轉換。此選項並不採用像素區塊之二維結構，但此選項更普遍且有效，且可採用不同於水平及豎直之定向特徵。舉例而言，對於由W×H值組成之輸入區塊64，轉換矩陣為W2 ×H2 。為判定輸出區塊或向量66，視訊寫碼器將輸入區塊64與轉換矩陣相乘。
在一些實例視訊寫碼標準中，使用可分離固定遍次。另外，將相同轉換用於水平及豎直轉換遍次兩者。ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家小組(JVET)中的JEM (JEM軟體)中採納在每一遍次中運用不同轉換的可分離固定遍次。測試已展示可運用可分離可變遍次獲得較佳壓縮。然而，在運用可分離可變遍次的情況下，寫碼程序可具有較大計算複雜度。
為最小化計算複雜度，一些實例視訊寫碼標準僅僅使用一個區塊大小及一種類型之可分離轉換(DCT)。在最近採用HEVC情況下，可分離轉換經界定用於若干區塊大小，且已採用離散正弦轉換(DST)。
在分別藉由N維向量x及y指示轉換之輸入及輸出向量的情況下，維度N之任何線性轉換可表示為
,
其中T為N ×N 轉換矩陣。除非另外說明，否則在本發明中，符號N 用以指示轉換之維度。為簡化量化程序，轉換矩陣通常自正交矩陣導出，亦即，滿足以下等式之彼等矩陣

實際上，運用已被縮放且其元件被轉變成整數的一種版本的正交轉換來完成計算。
存在可由三角函數定義的許多正交轉換集合，但一個群組在表明三角函數適用於媒體壓縮之後變得更為眾所周知。彼等離散三角轉換(DTT)為不同類型的離散餘弦轉換(DCT)及離散正弦轉換(DST)，且兩種類型按照慣例經編號介於1與8之間。可使用兩個縮放函數來建構該等轉換：
在使用彼等縮放函數的情況下，定義離散餘弦轉換之矩陣為：
DCT-1 :
,.
DCT-2 :
,.
DCT-3 :
,.
DCT-4 :
,.
DCT-5 :
,.
DCT-6 :
,.
DCT-7 :
,.
DCT-8 :
,.
在如DCT定義中所用的使用相同縮放函數bN (n) 的情況下，離散正弦轉換之矩陣被定義為：
DST-1 :
,.
DST-2 :
,.
DST-3 :
,
DST-4 :
,.
DST-5 :
,.
DST-6 :
,.
DST-7 :
,.
DST-8 :
, .
存在連接上文所列的十六個離散三角轉換的許多數學性質。在給定轉換矩陣T的情況下，最重要關係中之一些由矩陣轉位定義，其對應於反轉換。此係歸因於所有離散三角轉換被定義為正交。「反射」運算FTS 及STF 展示DTT矩陣之正交本質，其中F及S為由以下項定義之正交對合矩陣：
表I含有彼等關係之清單。
表 I ：由轉位及反射轉換定義的離散三角轉換之間的關係。T (Ci) 及T (Sj) 分別指示DCT-i及DST-j。
轉位及反射轉換(或轉換轉變)在實踐中有用，此係因為轉換表示可運用幾乎可忽略的額外計算複雜度及記憶體實施的運算，且因此藉由彼等轉換獲得的所有轉換實際上具有相同計算複雜度。
舉例而言，存在若干方法用於有效地計算DCT-2。由於轉換DCT-3、DST-2及DS -3藉由彼等轉位及反射轉換均可轉變至DCT-2(參見表I)，因此可使用相同的等效方法有效地計算此等轉換中之每一者。本文中描述之技術採用此事實。
在一些情況下，諸如圖4A之一般狀況68A，可將單個轉換矩陣(諸如DTT轉換中之任一者)應用於視訊資料(例如，解碼程序中之轉換係數或編碼程序之殘餘任一者)。
由於線性轉換可表示為矩陣-向量乘積，因此離散三角轉換之最大計算複雜度(按計算的運算數目，及用於其表示之記憶體)與N2 成比例。
歸因於與離散傅立葉轉換(DFT)之類似性，可使用快速傅里葉轉換(FFT)演算法有效地計算彼等轉換，其中複雜度與N×F 成比例，其中F取決於N 或N -1之質數因式分解。舉例而言，若N =2 K ，則F =K ，且複雜度與N log2 N 成比例，其通常比N2 低得多。由於複雜度可針對N 之不同值顯著變化，因此在壓縮應用中通常選擇狀況N =2 K 。
已針對DTT提議使用其特定性質的若干替代性快速方法，但此等替代亦具有較大複雜度變化，此係因為如表II中所示，針對所有DTT，定義複雜度之因數不等於N 。
表 II ：定義離散三角轉換中之複雜度的因數。
若干有效轉換計算演算法係基於轉換矩陣至稀疏因數之因式分解。本文中描述之技術之焦點係基於採用以下事實：當N為偶數時，DCT-1、DCT-2、DST-1及DCT-2之矩陣具有以偶數編號的列(其中元件具有偶對稱性)，及以奇數編號的列(其中元件具有奇對稱性)。
彼等對稱性允許使用圖4B上所展示的方案68B以約一半複雜度計算轉換，其中A 及B 為預/後處理低複雜度轉換，而R 及S為N/2 ×N/2 矩陣。
一些DTT之一個特徵在於，此因式分解允許進一步複雜度降低。舉例而言，對於DCT-2，矩陣R 對應於維度N/2之DCT-2。因此，可以遞歸方式繼續細分程序，從而進一步降低計算複雜度。此外，矩陣S對應於維度N/2之DCT-4，其亦可有效地進行計算。可藉由僅改變矩陣A 及B 用DCT-2計算DST-2。可使用類似程序用DCT-2計算DCT-3及DST-3，從而將矩陣R 與其轉置替換，及亦改變矩陣A 及B 。
為簡化此呈現，可能不會顯式地提及彼等特徵，但圖4B中應隱式地考慮彼等特徵，且其他類似圖式參考「快速三角轉換」。
用於ITU/MPEG JVET標準化之JEM(聯合實驗模型)之一個實例中的自適應多轉換(AMT)採用三角轉換。AMT寫碼方法採用以下三角轉換：DCT-2(僅僅編碼器)、DCT-3(僅僅解碼器，為DCT-2之倒數)、DCT-5、DCT-8、DST-1、DST-6(僅僅解碼器，為DST-7之倒數)及DST-7(僅僅編碼器)。
當前計算資源可能夠當N≤8時處理多個轉換，但正將愈來愈大的區塊用於視訊寫碼。有可能的是，新標準可能需要等於64之區塊尺寸的轉換，或甚至可能大至128。
對於自訂硬體實施方案，具有不同形式之複雜度減少技術的轉換可能針對每一狀況需要單獨硬體設計。硬體及研發成本亦很大程度上取決於最複雜狀況(亦即，，最差情境)，而非取決於平均複雜度。藉由允許單個最佳化實施方案而將統一方法用於轉換計算係有利的。
用於JEM的一些所提議AMT方法違反上文所有要求，此係由於一些實例AMT方法具有不同轉換，其具有極不同的最小計算要求。用於最小化計算複雜度的方法在轉換中係不同的，且甚至對於相同轉換、對於不同轉換尺寸不同。對於一些轉換及尺寸，並不知曉有效計算方法(比直接矩陣-向量計算更佳)。此最後一個問題對於較大轉換尺寸而言尤其重要，從而在過於昂貴的大型區塊中使用彼等轉換。
使用AMT族方法的一個困難在於，AMT方法應解決兩個衝突目標。多種轉換係合乎要求的，以改良壓縮效率。舉例而言，可使用卡忽南-列維轉換(KLT)獲得較高多樣性及較佳結果，但不存在用於大幅度降低一般轉換之計算複雜度的方法。可運用最小計算複雜度進行計算的DTT並不提供為獲得最大寫碼增益所需要的多變性。在考慮額外DTT中之至少一些可運用小於N2 之複雜度進行計算的情況下使用額外DTT。
本發明之技術可提供藉由多個DTT提供的相同或幾乎相同多樣性層級，但具有與最有效DTT相當的計算複雜度(針對所有轉換類型及尺寸)。此等技術係基於以下識別：提供更多多樣性且最小化計算複雜度所需的性質並不彼此互斥。此由於寫碼增益主要由轉換矩陣之前幾列界定而發生，該等列應類似於KLT矩陣之前幾列，而其他列不太重要。在數學上此意謂著，若已存在可運用低複雜度進行計算的轉換，則可在低維度之子空間中進行一些形式的低複雜度「調整」，以獲得為改良壓縮所需的多種轉換。
圖5A及圖5B為根據本文中所描述之一或多種技術的說明實例低複雜度轉換調整級的概念圖。圖5A展示通用方法70A，其中由P 及Q 表示之可選預處理及後處理級「調整」由矩陣T 界定之轉換，該轉換可運用低複雜度進行計算。此方法需要界定預處理及後處理級P 及Q ，其被稱作低複雜度轉換調整級(LCTAS)，亦運用低複雜度進行計算。以下章節界定滿足彼等要求之矩陣族。圖5B中展示快速三角轉換實例70B。
一個觀察結果為，調整級可與近似於其他轉換相關，但該等調整級可能不會符合通常所知曉之近似。舉例而言，為使用DST-3判定允許近似於DST-7之壓縮效能的調整級，形成將DST-3「調整」為更類似於DST-7的轉換。然而，並非轉換矩陣中之所有列均需要同樣類似。
圖6A及圖6B針對維度N =16的轉換展示此實例之實際結果。圖6A展示曲線圖72A至72P，其中矩陣之列對應於每一轉換(DST-7，經調整，及DST-3)。為了更易於識別近似誤差，圖6B展示矩陣差之曲線圖74A至74P，其中可觀測到，對應於最重要轉換組件的前幾列相比後幾列更佳地近似。
圖7A及7B為根據本文中所描述之一或多種技術的說明實例帶狀對角及區塊對角稀疏正交矩陣的概念圖76A及76B。若矩陣已知為稀疏的(亦即，當矩陣之大部分項為零時)，則可運用相對低複雜度計算矩陣-向量乘積。大體而言，可使用處理稀疏矩陣之任何技術。然而，對於其中轉換矩陣並非極大且計算成本較高的視訊寫碼應用程式，較佳使用具有預定義稀疏性圖案的矩陣。此避免用以表示稀疏性圖案的額外記憶體，且需要較簡單的自訂硬體設計。
兩種有用類型之稀疏轉換為帶狀矩陣，其僅僅在主要對角周圍具有非零元件，如圖7A及圖7B之實例中所示。對於彼等狀況，矩陣-向量乘積之計算複雜度為N×B，其中B為矩陣帶寬，亦即，每一列中之非零元件之數目的上限。圖7A及圖7B中之實例係運用帶寬等於4之矩陣獲得。轉換矩陣之帶狀結構易於闡明，但在計算複雜度方面，具有若干非零元件的任何矩陣顯著小於N2 ，以固定方式且易於實施可用於預處理/後處理的圖案。
圖8為根據本文中所描述之一或多種技術的表示吉文斯(Givens)正交轉換之概念性「蝶形」圖。轉換計算亦可使用已被因式分解成平行吉文斯旋轉之集合的矩陣進行最小化。彼等成對轉換具有圖8中所示之結構，且出於彼原因，通常被稱作計算「蝶形」。
因此，在圖8的實例中，蝶形接收rn 及rm 作為輸入，且亦接收參數θ 作為輸入。蝶形之輸出為tn 及tm 。tm 被計算為cos(θ)rm - sin(θ)rn 。 tn 被計算為cos(θ)rn + sin(θ)rm 。 當應用反轉換時，視訊解碼器30可將rm 計算為tm cos(θ) + tn sin(θ)，且將rn 計算為-tm sin(θ) + tn cos(θ)。儘管圖8及本發明之其他實例係關於吉文斯旋轉進行描述，但可使用其他轉換代替吉文斯旋轉，諸如內務(Householder)轉換、具有3個或更多個角的歐拉(Euler)旋轉及其他轉換。
圖9為根據本文中所描述之一或多種技術的表示用於轉換調整的由平行吉文斯旋轉構成之實例結構的概念圖。在維度N 之轉換中，可並行計算的多達N /2個旋轉形成平行吉文斯遍次。圖9展示使用四個此等遍次實施的維度N =16之轉換的實例。圖9上的組態對應於帶狀矩陣，其中帶寬等於遍次之數目的兩倍。類似於稀疏矩陣之狀況，顯著小於N2 的使用若干旋轉之任何實施方案(蝶形)可用於調整。
圖10A及圖10B為根據本文中所描述之一或多種技術的表示用僅僅DCT-2族轉換替換多個離散三角轉換的實例替換及低複雜度自適應狀態的概念圖78A及78B。其應用之更特定實例為其用於消除AMT視訊寫碼方法中的較高複雜度轉換。出於彼目的，使用DCT-2、DCT-3、DST-2及DST-3係有利的，此係由於此等特定DTT函數對應於相同類型之轉換(參見表I)，其為已經過最充分研究的且具有低複雜度的實施方案。此外，如表II中可見，其複雜度因數與用於視訊寫碼之尺寸充分匹配。
實驗結果展示，在僅僅使用預處理調整級(例如，圖5A及圖5B中的調整後矩陣Q並不需要)的情況下，所有剩餘DTT可與彼等轉換中之一者替換。下方表III展示應使用哪種轉換(亦即，待進行調整之「基礎」轉換)。圖10A及圖10B展示在AMT寫碼方法中，可如何僅僅使用DCT-2族轉換加上調整級，使用本文中描述之技術來替換多個DTT，該轉換為正交帶狀矩陣。實驗結果展示本文中描述之技術在調整矩陣P 之每一列中的非零元件數目以四為上限時具有極小損耗。
表 III ：可用於替換其他離散三角轉換的選自DCT-2、DCT-3、DST-2及DST-3之基礎轉換。
圖11中展示一種用於實施可分離轉換之系統，其中諸如視訊編碼器20之視訊編碼器可操作該系統。視訊編碼器20可在編碼程序期間使用圖11中所示之各種組件，該等組件：區塊預測單元80、殘餘緩衝器82、水平轉換單元84、轉換記憶體86、轉換選擇88、豎直轉換單元90及量化與寫碼單元92。為比較不同轉換方案，可考慮每一轉換之計算複雜度。轉換之計算複雜度可取決於：(1)含有轉換參數之記憶體的量，每當計算轉換時可進行存取且拷貝(如由圖11中之線77及79指示)；及/或(2)計算每一轉換所需的運算之數目，通常按像素在運算中進行標準化。
此等複雜度量測值取決於所使用之轉換的類型及定向遍次之類型。表IV展示不同狀況之比較。前兩列對應於一集合四個離散餘弦及正弦轉換(DCT,DST)，其含有DCT-2及DCT-3，以及DST-2及DST-3。此集合可被稱作DCT-2「族」(此係由於每一轉換均可運用基本上相同的演算法進行計算以實現複雜度降低)，且將其表示為DCT-2F。
表 IV ：用於維度N之L轉換之集合的基於轉換及定向遍次之類型的不同可分離轉換計算之計算複雜度，且B為用於LCTAS方法中之稀疏矩陣之帶寬。
接下來兩列表示直接使用矩陣-向量乘積計算的轉換。歸因於DCT-2F轉換之侷限性，此方法已用於自適應轉換方法中，既用於固定定向遍次，且用於自適應定向遍次。如表IV中所示，先前僅僅存在兩個衝突選項：
(1)DCT-F2 轉換 ：計算上有效，但多樣性極有限，其很大程度上限制寫碼增益。
(2) 基於矩陣之轉換 ：可表示任何類型的線性轉換，且因此會產生顯著寫碼增益，但計算複雜度隨著區塊尺寸快速增大。
如下一章節中所示，本發明之技術可大大減少此取捨，從而允許更為靈活的轉換集合，其中複雜度稍大於DCT-2F之複雜度。
上文所描述的用於低複雜度轉換調整級(LCTAS)之技術允許視訊寫碼系統10採用自適應轉換寫碼，其中針對大部分轉換計算使用DCT-2族之轉換中之一者，同時藉由低複雜度計算提供實現較佳壓縮的多樣性，其可被稱作轉換調整級。
在以下論述中，應注意，調整級之複雜度在算術運算及用以儲存調整級之參數的記憶體兩者方面較低。特別適用於可分離轉換使用案例的LCTAS之一個屬性為調整級可使用相同DCT-2族轉換。調整級可使用相同參數集合，且因此，僅僅需要一些具有極低複雜度的修改(例如，較少算術運算，且無額外參數)。
本發明之技術係基於用於提供更多的多樣性且用於最小化計算複雜度所需的性質並不彼此互斥的識別。此由於寫碼增益主要由轉換矩陣之前幾列界定而發生，該等列應類似於KLT矩陣之前幾列。轉換矩陣之其他列在提供寫碼增益方面不太重要。
在數學上此意謂著，若轉換可運用低複雜度計算，則視訊編碼器20及視訊解碼器30可經組態在低維度之子空間中具有一些形式之低複雜度「調整」，以獲得多種轉換，該等轉換可接著改良壓縮。如上文表IV中所示，假定帶寬值B相較於N相對較小(其一般因為矩陣稀疏而保留)，本發明之LCTAS技術的複雜度與DCT-2F幾乎相同，但提供更大靈活性。此等技術可因此改良計算器件之運行，諸如視訊編碼器及解碼器。
圖12展示具有本發明之實施方案的圖式。在一個實例中，視訊編碼器20及視訊解碼器30可經組態以使用DCT-2族之轉換中之一者執行主要計算。舉例而言，視訊編碼器20可在編碼程序期間使用圖12中所示之各種組件，該等組件包括區塊預測單元94、殘餘緩衝器96、水平轉換調整單元98、水平DCT-2F轉換單元100、豎直轉換調整單元102、轉換記憶體104、轉換選擇106、豎直DCT-2F轉換單元108及量化與寫碼單元110。如由圖12中之短劃線81及83指示，可使用單個信號(例如，使用2個位元)選擇將使用哪種形式之DCT-2F，但僅僅需要自轉換記憶體拷貝級調整之參數，如由線85及87指示。
此方案之複雜度展示於上文表IV之後兩列中，其中相較於完整矩陣方案，本發明之LCTAS技術在記憶體存取顯著減少的情況下提供多樣性。
本發明之技術可以若干方法實施。圖13A及圖13B展示16×8區塊中的可分離轉換之水平遍次的實例，從而展示對可如何將不同轉換調整級指派至區塊線的變化。舉例而言，圖13A展示正用於區塊中的經轉換之線中之每一者的不同調整之實例。圖13B展示使用相同調整且因此將記憶體存取減少一半的線對。可採用更一般方案，其中針對不同情境界定調整之數目。
舉例而言，寫碼樹單元可包括八列寫碼單元及八行寫碼單元(總計六十四個寫碼單元)。在一些實例中，寫碼樹單元中之每一寫碼單元進行相同轉換程序。在其他實例中，寫碼單元之每一列可進行相同轉換程序，但不同預及/或調整後操作應用於每一列及每一行(亦即，轉換程序及調整之多達十六個不同組合)，以在解碼之後以更多資料儲存於記憶體中為代價產生較高品質視訊資料。在另外其他實例中，每一行對及每一列對可進行不同預及/或調整後操作以提供媒體層級之品質/記憶體折衷方案。
圖14為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。出於解釋之目的而提供圖11，且不應將所述圖視為對如本發明中廣泛例示及描述之技術的限制。本發明之技術可適用於各種寫碼標準或方法。
處理電路系統包括視訊編碼器20，且視訊編碼器20經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言，視訊編碼器20包括積體電路系統，且圖11中說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊或該等單元中之兩者或多於兩者可組合為共同硬體電路區塊。硬體電路區塊可形成為電組件之組合，該等電組件形成諸如算術邏輯單元(ALU)、基本功能單元(EFU)之操作區塊，以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。
在一些實例中，圖14中所說明之單元中之一或多者可為在處理電路系統上執行之軟體單元。在此等實例中，用於此等軟體單元之目的碼儲存於記憶體中。作業系統可使得視訊編碼器20檢索目的碼並執行目的碼，其使得視訊編碼器20執行實施實例技術之操作。在一些實例中，軟體單元可為視訊編碼器20在啟動處執行之韌體。因此，視訊編碼器20為具有執行實例技術之硬體或具有在硬體上執行以特化執行該等實例技術之硬體的軟體/韌體的結構性組件。
在圖14之實例中，視訊編碼器20包括模式選擇單元240、殘餘產生單元250、轉換處理單元252、量化單元254、反量化單元258、反轉換處理單元260、重建構單元262、濾波器單元114、參考圖像記憶體264及熵編碼單元256。模式選擇單元240包括運動估計單元242、運動補償單元244、分割單元248及框內預測單元246。
視訊資料記憶體238可經組態以儲存待由視訊編碼器20之組件編碼之視訊資料。可例如自視訊源18獲得儲存於視訊資料記憶體238中之視訊資料。參考圖像記憶體264亦可被稱為經解碼圖像緩衝器。參考圖像記憶體264儲存參考視訊資料以供藉由視訊編碼器20例如在框內或框間寫碼模式中對視訊資料進行編碼時使用。視訊資料記憶體238及參考圖像記憶體264可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體238及參考圖像記憶體264可由相同的記憶體器件或單獨記憶體器件來提供。在各種實例中，視訊資料記憶體238可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。視訊資料記憶體238可與圖1之儲存媒體19相同或係該儲存媒體之部分。
視訊編碼器20接收視訊資料。視訊編碼器20可對視訊資料之圖像之圖塊中的每一CTU進行編碼。該等CTU中之每一者可與圖像之相等大小的明度寫碼樹區塊(CTB)及對應CTB相關聯。作為對CTU進行編碼之部分，模式選擇單元240可執行分割以將CTU之CTB分割成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，模式選擇單元240可根據樹結構分割與CTU相關聯之CTB。
視訊編碼器20可對CTU之CU進行編碼以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為對CU進行編碼之部分，分割單元248可在CU之一或多個PU當中分割與CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的非對稱分割。
運動估計單元242及運動補償單元244可藉由對CU之每一PU執行框間預測來產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。框內預測單元246可藉由對PU執行框內預測來產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測單元246可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元246可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測單元246可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則該等相鄰PU可在PU上方、右上方、左上方或左邊。框內預測單元246可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
模式選擇單元240可自用於PU的藉由運動估計單元242及運動補償單元244產生之預測性資料或用於PU的藉由框內預測單元246產生之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，模式選擇單元240基於數組預測性資料之速率/失真量度而選擇用於CU之PU的預測性資料。選定之預測性資料的預測性區塊在本文中可被稱作選定之預測性區塊。
殘餘產生單元250可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU的選定預測性區塊(例如，預測性明度區塊、預測性Cb區塊及預測性Cr區塊)而產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘餘產生單元250可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選擇預測性樣本區塊中的對應樣本之間的差的值。
轉換處理單元252可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的轉換區塊。因此，TU可與一明度轉換區塊及兩個色度轉換區塊相關聯。CU之TU的明度轉換區塊及色度轉換區塊的大小及定位可或可不基於CU之PU的預測區塊之大小及定位。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
轉換處理單元252可藉由將一或多個轉換應用於TU之轉換區塊而產生CU之每一TU的轉換係數區塊。轉換處理單元252可將各種轉換應用於與TU相關聯之轉換區塊。舉例而言，轉換處理單元252可將離散餘弦轉換(DCT)、定向轉換或概念上類似之轉換應用至轉換區塊。在一些實例中，轉換處理單元252不將轉換應用至轉換區塊。在此等實例中，轉換區塊可經處理為轉換係數區塊。
根據本發明之技術，轉換處理單元252可實施在本發明中別處描述之技術。舉例而言，在殘餘產生單元250對視訊資料之第一區塊執行第一預測程序以產生第一殘餘之後，轉換處理單元252可針對第一殘餘，判定會將複數個轉換程序之第一轉換程序應用於第一殘餘。轉換處理單元252可接著將第一轉換程序應用於第一殘餘以產生用於視訊資料之第一區塊的第一轉換係數。舉例而言，在測試程序期間，轉換處理單元可判定DCT-2轉換為待應用於第一殘餘之最佳轉換程序，且就此而論可將DCT-2轉換應用於第一殘餘。在一些情況下，第一轉換程序為離散三角轉換矩陣。在一些此等情形中，複數個轉換程序之每一轉換程序為離散三角轉換矩陣。在一些情況下，第一轉換程序為DCT-2矩陣、DCT-3矩陣、DST-2矩陣或DST-3矩陣中之一者。熵編碼單元256可對第一轉換係數進行熵編碼。
在殘餘產生單元250對視訊資料之第二區塊執行第二預測程序以產生第二殘餘之後，轉換處理單元252可判定會將第二轉換程序應用於第二殘餘，其中該第二轉換程序為第一轉換程序及除第一轉換程序之外亦應用於第二殘餘的第一調整前操作或第一調整後操作中之至少一者。舉例而言，若針對第二殘餘測試每一DTT，則轉換處理單元252可判定最佳轉換程序為DCT-6轉換程序。然而，在使用本文中描述之技術的情況下，可藉由運用調整前操作或調整後操作中之至少一者應用DCT-2轉換程序仔細近似於DCT-6轉換程序。就此而論，轉換處理單元可實際上測試DCT-2轉換程序與預及/或調整後操作之組合作為一取代，而非將DCT-6矩陣儲存於記憶體中且在測試階段執行複雜DCT-6轉換。若DCT-6之此近似為用於第二殘餘之最佳轉換程序，則轉換處理單元252可選擇此組合作為第二轉換程序。本質上，由應用DCT-2轉換程序與調整前及/或調整後操作而產生的第二轉換係數將近似等於由將DCT-6轉換程序應用於第二殘餘而產生的轉換係數。
在一些情況下，第一轉換程序及調整前操作或調整後操作中之至少一者各自為各別稀疏矩陣，如上所定義。在一些實例中，第一轉換程序之稀疏矩陣為帶狀對角矩陣。在其他實例中，第一轉換程序之稀疏矩陣為區塊對角矩陣。在一些其他實例中，調整前操作或調整後操作中之至少一者為一或多個吉文斯旋轉之各別集合。
轉換處理單元252可將第一轉換程序及第一調整前操作或第一調整後操作中之至少一者應用於第二殘餘，以產生用於視訊資料之第二區塊的第二轉換係數。若應用第一調整前操作，則轉換處理單元252在應用第一轉換程序之前應用第一調整前操作。若應用第一調整後操作，轉換處理單元252在應用第一轉換程序之後應用第一調整後操作。視訊編碼器20可接著繼續對第二轉換係數進行編碼，諸如藉由對第一轉換係數及第二轉換係數進行熵編碼。
為描述上文所描述之測試程序之實例，將通用區塊用於下文描述。當判定將應用上文所描述之第一或第二轉換程序時，轉換處理單元252可遵循類似程序。之後殘餘產生單元250預測用於視訊資料之區塊的殘餘。轉換處理單元252可自複數個轉換程序判定相比該複數個轉換程序包括較少轉換程序的轉換程序之子集。轉換程序之子集亦包括第一轉換程序。
轉換處理單元252亦可判定調整操作之組合，其中每一調整操作包括待應用於正在評估之殘餘的調整前操作或調整後操作中之至少一者。當結合轉換程序之子集之轉換程序應用每一調整操作時，所得轉換係數近似等於將自該複數個轉換程序中的未包括於轉換程序之子集中的轉換程序被應用於正在評估之殘餘而已產生的轉換係數。調整操作之集合的每一調整操作與轉換程序之子集的特定轉換程序相關聯。來自轉換程序之子集的一些轉換程序可與多個調整操作相關聯。
轉換處理單元252可判定用於轉換程序之子集的每一轉換程序的速率-失真特性，以及每一調整操作及調整操作之相關聯轉換程序的速率-失真特性。基於此等經判定速率-失真特性，轉換處理單元252可選擇來自轉換程序之子集的轉換程序或來自調整操作之集合的調整操作，及來自與選定調整操作相關聯的轉換程序之子集的轉換程序，作為應用於正在評估之殘餘的完整轉換程序。轉換處理單元252可將完整轉換程序應用於正在評估的殘餘，以產生用於視訊資料之彼區塊的轉換係數且對所述轉換係數進行編碼。
在一些實例中，轉換程序可實施為可分離固定遍次，意謂著在所有一維轉換期間應用相同轉換，但轉換可在豎直與水平遍次之間改變。在此等實例中，第一區塊可為第一寫碼樹單元，且第二區塊可為第二不同寫碼樹單元。
在其他實例中，轉換程序可實施為可分離可變遍次，其中單個寫碼樹單元內的寫碼單元之每一列(針對水平遍次)或每一行(針對豎直遍次)或列對或行對可使用不同轉換。在此等實例中，第一區塊可為寫碼樹單元之第一列或第一行中的第一寫碼單元，且第二區塊可為相同寫碼樹單元之不同列或不同行中的第二寫碼單元。在列對/行對使用相同轉換程序的實例中，殘餘產生單元250可針對寫碼樹單元之第三寫碼單元執行第三預測程序以產生第三殘餘，其中該第三寫碼單元處於寫碼樹單元之第三列中，且其中第二列及第三列為相連列。就此而論，轉換處理單元252可判定會將第二轉換程序應用於第三殘餘，且將第二轉換程序應用於第三殘餘以產生用於第三寫碼單元之第三轉換係數。轉換處理單元252可接著對第三轉換係數進行編碼。
量化單元254可將係數區塊中之轉換係數量化。量化程序可減少與該等轉換係數中之一些或全部相關聯的位元深度。舉例而言，n 位元轉換係數可在量化期間被捨入至m 位元轉換係數，其中n 大於m 。量化單位254可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊的損耗。因此，經量化轉換係數可具有比最初轉換係數低的精度。
反量化單元258及反轉換處理單元260可分別將反量化及反轉換應用於係數區塊，以自係數區塊重建構殘餘區塊。反量化可復原轉換係數之位元深度。重建構單元262可將經重建構殘餘區塊添加至來自藉由模式選擇單元240產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯之經重建構轉換區塊。藉由以此方式重建構CU之每一TU的轉換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減小與CU相關聯之寫碼區塊中的區塊假影。在濾波器單元114對經重建構寫碼區塊執行一或多個解區塊操作之後，參考圖像緩衝器264可儲存經重建構寫碼區塊。運動估計單元242及運動補償單元244可使用含有經重建構寫碼區塊之參考圖像來對其他圖像之PU執行框間預測。另外，框內預測單元246可使用參考圖像記憶體264中之經重建構寫碼區塊來對與CU相同的圖像中之其他PU執行框內預測作為CU。
熵編碼單元256可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元256可自量化單元254接收係數區塊，且可自模式選擇單元240接收語法元素。熵編碼單元256可對資料執行一或多個熵編碼操作，以產生經熵編碼資料。舉例而言，熵編碼單元256可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元256產生的經熵編碼之資料的位元串流。舉例而言，位元串流可包括表示用於CU之RQT的資料。
圖15為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖15，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
處理電路系統包括視訊解碼器30，且視訊解碼器30經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言，視訊解碼器30包括積體電路系統，且圖15中所說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊或該等單元中之兩者或多於兩者可組合為共同硬體電路區塊。硬體電路區塊可形成為電組件之組合，該等電組件形成諸如算術邏輯單元(ALU)、基本功能單元(EFU)之操作區塊，以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。
在一些實例中，圖15中所說明之單元中之一或多者可為在處理電路系統上執行之軟體單元。在此等實例中，用於此等軟體單元之目的碼儲存於記憶體中。作業系統可使得視訊解碼器30檢索目的碼並執行目的碼，其使得視訊解碼器30執行實施實例技術之操作。在一些實例中，軟體單元可為視訊解碼器30在啟動處執行之韌體。因此，視訊解碼器30為具有執行實例技術之硬體或具有在硬體上執行以特化執行該等實例技術之硬體的軟體/韌體的結構性組件。
在圖15之實例中，視訊解碼器30包括熵解碼單元270、視訊資料記憶體268、預測處理單元271、反量化單元276、反轉換單元278、重建構單元280、濾波器單元281及參考圖像記憶體282。預測處理單元271包括運動補償單元272及框內預測處理單元274。在其他實例中，視訊解碼器30可包括更多、更少或不同的功能組件。
視訊資料記憶體268可儲存待由視訊解碼器30之組件解碼的經編碼視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體268中之視訊資料可例如自電腦可讀媒體16獲得，例如經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體自諸如攝影機之本端視訊源獲得。視訊資料記憶體268可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。參考圖像記憶體282亦可被稱為參考圖像記憶體。參考圖像記憶體282儲存參考視訊資料以供藉由視訊解碼器30例如在框內或框間寫碼模式中對視訊資料進行編碼時使用，或以供輸出。視訊資料記憶體268及參考圖像記憶體282可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體268及參考圖像記憶體282可由相同的記憶體器件或單獨記憶體器件來提供。在各種實例中，視訊資料記憶體268可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件晶片外。視訊資料記憶體268可與圖1之儲存媒體28相同或為其部分。
視訊資料記憶體268接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元270可自視訊資料記憶體268接收經編碼視訊資料(例如，NAL單元)，且可剖析NAL單元以獲得語法元素。熵解碼單元270可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元271、反量化單元276、反轉換單元278、重建構單元280及濾波器單元281可基於自位元串流提取之語法元素產生經解碼視訊資料。熵解碼單元270可執行大體上與熵編碼單元256之彼程序互逆的程序。
除自位元串流獲得語法元素之外，視訊解碼器30亦可對未經分割之CU執行重建構操作。為對CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，反量化單元276可將與TU相關聯之係數區塊反量化(亦即，解量化)。在反量化單元276反量化係數區塊之後，反轉換單元278可將一或多個反轉換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反轉換單元278可將反DCT、反整數轉換、反卡忽南-列維轉換(KLT)、反旋轉轉換、反定向轉換或另一反轉換應用於係數區塊。
根據本發明之技術，反轉換單元278可實施在本發明中別處描述之技術。舉例而言，反轉換單元278可針對視訊資料之第一區塊判定會將複數個反轉換程序之第一反轉換程序應用於第一區塊。反轉換單元278可接著將第一反轉換程序應用於第一區塊之第一轉換係數以產生第一殘餘，且對第一殘餘進行解碼以產生第一經解碼區塊。在一些情況下，第一反轉換程序為離散三角轉換矩陣。在一些此等情形中，該複數個反轉換程序之每一反轉換程序為離散三角反轉換矩陣。在一些情況下，第一反轉換程序為DCT-2矩陣、DCT-3矩陣、DST-2矩陣或DST-3矩陣中之一者。舉例而言，第一反轉換程序可為作為反轉換程序之DST-3矩陣。
對於視訊資料之第二區塊，反轉換單元278可判定會將第二反轉換程序應用於第二區塊，其中第二反轉換程序包括第一反轉換程序及調整前操作或調整後操作中之至少一者。反轉換單元278可將第一反轉換程序及調整前操作或調整後操作中之至少一者應用於第二區塊之第二轉換係數以產生第二殘餘。若應用調整前操作，則反轉換處理單元156在應用第一反轉換程序之前應用調整前操作。若應用調整後操作，則反轉換處理單元156在應用第一反轉換程序之後應用調整後操作。視訊解碼器30可對第二殘餘進行解碼以產生第二經解碼區塊。視訊解碼器30可接著繼續至少部分基於第一經解碼區塊及第二經解碼區塊對視訊資料進行解碼。
本質上，第二殘餘近似等於由將更複雜轉換程序應用於第二區塊之第二轉換係數而產生的殘餘。在此實例中，結合調整前程序或調整後程序中之至少一者，DST-3反轉換程序可產生近似等於將自應用DST-4反轉換程序而已產生之殘餘的殘餘。
在一些情況下，第一反轉換程序及調整前操作或調整後操作中之至少一者各自為各別稀疏矩陣，如上所定義。在一些實例中，第一反轉換程序之稀疏矩陣為帶狀對角矩陣。在其他實例中，第一反轉換程序之稀疏矩陣為區塊對角矩陣。在一些實例中，調整前操作或調整後操作中之至少一者為一或多個吉文斯旋轉之各別集合。
在判定哪個反轉換程序應用於第二轉換係數時，反轉換單元278可分析索引值。舉例而言，反轉換單元278可讀取指示哪個轉換程序應用於第二轉換係數的第一索引值，且判定第一索引之值指示會將第一反轉換應用於第二寫碼區塊。此外，反轉換處理單元157可讀取指示是否除反轉換程序之外亦會將預及/或調整後操作應用於第二寫碼區塊的第二索引值，且判定指示除第一反轉換之外亦會將調整前操作及調整後操作中之至少一者應用於第二區塊的第二索引之值。
在一些實例中，轉換程序可實施為可分離固定遍次，意謂著在所有一維轉換期間應用相同轉換，但轉換可在豎直與水平遍次之間改變。在此等實例中，第一區塊可為第一寫碼樹單元，且第二區塊可為第二不同寫碼樹單元。
在其他實例中，轉換程序可實施為可分離可變遍次，其中單個寫碼樹單元內的寫碼單元之每一列(針對水平遍次)或每一行(針對豎直遍次)或列對或行對可使用不同轉換。在此等實例中，第一區塊可為寫碼樹單元之第一列或第一行中的第一寫碼單元，且第二區塊可為相同寫碼樹單元之不同列或不同行中的第二寫碼單元。在列對/行對使用相同轉換程序的實例中，反轉換單元278可判定會將第一反轉換程序及調整前操作或調整後操作中之至少一者應用於第三寫碼單元，其中該第三寫碼單元處於與第二列相連的寫碼樹單元之第三列中。反轉換單元278可接著將第一反轉換程序及調整前操作或調整後操作中之至少一者應用於第三寫碼單元之第三轉換係數以產生第三殘餘，對該第三殘餘進行解碼以產生第三經解碼寫碼單元，且至少部分基於該第三經解碼區塊而對視訊資料進行解碼。
若使用框內預測對PU進行編碼，則框內預測處理單元274可執行框內預測以產生PU之預測性區塊。框內預測處理單元274可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元274可基於自位元串流獲得之一或多個語法元素而判定PU之框內預測模式。
若使用框間預測對PU進行編碼，則熵解碼單元270可判定PU之運動資訊。運動補償單元272可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元272可基於一或多個參考區塊產生用於PU之預測性區塊(例如，預測性明度區塊、預測性Cb區塊及預測性Cr區塊)。
重建構單元280可使用CU之TU之轉換區塊(例如，明度、Cb及Cr轉換區塊)及CU之PU之預測性區塊(例如，明度、Cb及Cr區塊)(亦即，可適用之框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元280可將轉換區塊(例如，明度、Cb及Cr轉換區塊)之樣本添加至預測性區塊(例如，明度、Cb及Cr預測性區塊)之對應樣本來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。
濾波器單元281可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於參考圖像記憶體282中。參考圖像記憶體282可提供參考圖像用於後續運動補償、框內預測及呈現在顯示器件上，諸如圖1之顯示器件32。舉例而言，視訊解碼器30可基於參考圖像記憶體282中之區塊執行其他CU之PU的框內預測或框間預測操作。
為了說明之目的，本發明之某些態樣已經關於HEVC標準之擴展而描述。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。
如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。
圖16為說明可實施本發明中所描述之技術的視訊資料之第一實例解碼的流程圖。可藉由視訊解碼器30執行圖13之實例技術。在圖13之實例中，解碼器(例如，視訊解碼器30)可判定會將複數個反轉換程序之第一反轉換程序應用於複數個視訊資料區塊之第一區塊(300)。視訊解碼器30可接著將第一反轉換程序應用於第一區塊之第一轉換係數以產生第一殘餘(310)。視訊解碼器30可對第一殘餘進行解碼以產生第一經解碼區塊(320)。對於複數個視訊資料區塊之第二區塊，視訊解碼器30可判定會將第二反轉換程序應用於複數個視訊資料區塊之第二區塊，其中第二反轉換程序包括第一反轉換程序及調整前操作或調整後操作中之至少一者(330)。視訊解碼器30可將第一反轉換程序及調整前操作或調整後操作中之至少一者應用於第二區塊之第二轉換係數以產生第二殘餘(340)。若應用調整前操作，則視訊解碼器30在應用第一反轉換程序之前應用調整前操作。若應用調整後操作，則視訊解碼器30在應用第一反轉換程序之後應用調整後操作。視訊解碼器30可對第二殘餘進行解碼以產生第二經解碼區塊(350)。視訊解碼器30可接著繼續至少部分基於第一經解碼區塊及第二經解碼區塊對視訊資料進行解碼(360)。
在一些實例中，轉換程序可實施為可分離固定遍次，意謂著在所有一維轉換期間應用相同轉換，但轉換可在豎直與水平遍次之間改變。在此等實例中，第一區塊可為第一寫碼樹單元，且第二區塊可為第二不同寫碼樹單元。在其他實例中，轉換程序可實施為可分離可變遍次，其中單個寫碼樹單元內的寫碼單元之每一列(針對水平遍次)或每一行(針對豎直遍次)或列對或行對可使用不同轉換。在此等實例中，第一區塊可為寫碼樹單元之第一列或第一行中的第一寫碼單元，且第二區塊可為相同寫碼樹單元之不同列或不同行中的第二寫碼單元。
圖17為說明可實施本發明中所描述之技術的視訊資料之第一實例編碼的流程圖。圖14之實例技術可由視訊編碼器20執行。在圖14之實例中，編碼器(例如，視訊編碼器20)可針對視訊資料之第一區塊執行第一預測程序以產生第一殘餘(400)。視訊編碼器20可判定會將複數個轉換程序之第一轉換程序應用於第一區塊(410)。視訊編碼器20可接著將第一轉換程序應用於第一殘餘以產生用於視訊資料之第一區塊的第一轉換係數(420)。視訊編碼器20可接著對第一轉換係數進行熵編碼(430)。視訊編碼器20可針對視訊資料之第二區塊執行第二預測程序以產生第二殘餘(440)。視訊編碼器20可判定會將第二轉換程序應用於第二區塊(450)。第二轉換程序可包括第一轉換程序及除第一轉換程序之外亦應用於第二殘餘的第一調整前操作或第一調整後操作中之至少一者。視訊編碼器20可將第一轉換程序及調整前操作或調整後操作中之至少一者應用於第二殘餘以產生用於視訊資料之第二區塊的第二轉換係數(460)。若應用第一調整前操作，則視訊編碼器20在應用第一轉換程序之前應用第一調整前操作。若應用第一調整後操作，則視訊編碼器20在應用第一轉換程序之後應用第一調整後操作。視訊編碼器20可接著繼續對第二轉換係數進行熵編碼(470)。
在一些實例中，轉換程序可實施為可分離固定遍次，意謂著在所有一維轉換期間應用相同轉換，但轉換可在豎直與水平遍次之間改變。在此等實例中，第一區塊可為第一寫碼樹單元，且第二區塊可為第二不同寫碼樹單元。在其他實例中，轉換程序可實施為可分離可變遍次，其中單個寫碼樹單元內的寫碼單元之每一列(針對水平遍次)或每一行(針對豎直遍次)或列對或行對可使用不同轉換。在此等實例中，第一區塊可為寫碼樹單元之第一列或第一行中的第一寫碼單元，且第二區塊可為相同寫碼樹單元之不同列或不同行中的第二寫碼單元。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如信號或載波。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以檢索指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路系統。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合適合之軟體及/或韌體來提供該等單元。
已描述本發明之各種實例。涵蓋所描述之系統、操作或功能之任何組合。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
24‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧視訊編碼系統
42‧‧‧區塊間隔
46‧‧‧區塊轉換
47‧‧‧轉換組
48‧‧‧量化
50‧‧‧反量化
52‧‧‧反轉換
54‧‧‧圖框緩衝器
56‧‧‧區塊預測
58‧‧‧熵編碼單元
60‧‧‧W×H輸入區塊
62‧‧‧中間區塊
64‧‧‧輸入區塊
66‧‧‧輸出區塊或向量
68A‧‧‧一般狀況
68B‧‧‧方案
70A‧‧‧通用方法
70B‧‧‧快速三角轉換實例
72A-72P‧‧‧曲線圖
74A-74P‧‧‧曲線圖
76A‧‧‧概念圖
76B‧‧‧概念圖
77‧‧‧線
78A‧‧‧概念圖
78B‧‧‧概念圖
79‧‧‧線
80‧‧‧區塊預測單元
81‧‧‧短劃線
82‧‧‧殘餘緩衝器
83‧‧‧短劃線
84‧‧‧水平轉換單元
85‧‧‧線
86‧‧‧轉換記憶體
87‧‧‧線
88‧‧‧轉換選擇
90‧‧‧豎直轉換單元
92‧‧‧量化與寫碼單元
94‧‧‧區塊預測單元
96‧‧‧殘餘緩衝器
98‧‧‧水平轉換調整單元
100‧‧‧水平DCT-2F轉換單元
102‧‧‧豎直轉換調整單元
104‧‧‧轉換記憶體
106‧‧‧轉換選擇
108‧‧‧豎直DCT-2F轉換單元
110‧‧‧量化與寫碼單元
114‧‧‧濾波器單元
238‧‧‧視訊資料記憶體
240‧‧‧模式選擇單元
242‧‧‧運動估計單元
244‧‧‧運動補償單元
246‧‧‧框內預測單元
248‧‧‧分割單元
250‧‧‧殘餘產生單元
252‧‧‧轉換處理單元
254‧‧‧量化單元
256‧‧‧熵編碼單元
258‧‧‧反量化單元
260‧‧‧反轉換處理單元
262‧‧‧重建構單元
264‧‧‧參考圖像記憶體
268‧‧‧視訊資料記憶體
270‧‧‧熵解碼單元
271‧‧‧預測處理單元
272‧‧‧運動補償單元
274‧‧‧框內預測處理單元
276‧‧‧反量化單元
278‧‧‧反轉換單元
280‧‧‧重建構單元
281‧‧‧濾波器單元
282‧‧‧參考圖像記憶體
300‧‧‧步驟
310‧‧‧步驟
320‧‧‧步驟
330‧‧‧步驟
340‧‧‧步驟
350‧‧‧步驟
360‧‧‧步驟
400‧‧‧步驟
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
440‧‧‧步驟
450‧‧‧步驟
460‧‧‧步驟
470‧‧‧步驟
圖1為說明經組態以實施本發明之技術的實例視訊編碼及解碼系統的方塊圖。
圖2為說明用於使用轉換選擇之混合型視訊編碼的實例系統的方塊圖。
圖3A為說明用於在像素殘餘之二維區塊中計算可分離轉換的實例選項之概念圖。
圖3B為說明用於在像素殘餘之二維區塊中計算不可分離轉換的實例選項之概念圖。
圖4A及圖4B為說明使用矩陣因式分解之實例離散三角計算的概念圖。
圖5A及圖5B為根據本文中所描述之一或多種技術的說明實例低複雜度轉換調整級的概念圖。
圖6A及圖6B為根據本文中所描述之一或多種技術的說明兩個不同離散正弦轉換矩陣之間的比較的概念圖。
圖7A及7B為根據本文中所描述之一或多種技術的說明實例帶狀對角及區塊對角稀疏正交矩陣的概念圖。
圖8為根據本文中所描述之一或多種技術的表示吉文斯(Givens)正交轉換之概念性「蝶形」圖。
圖9為根據本文中所描述之一或多種技術的表示用於轉換調整的由平行吉文斯旋轉構成之實例結構的概念圖。
圖10A及圖10B為根據本文中所描述之一或多種技術的表示用僅僅離散餘弦轉換2族轉換替換多個離散三角轉換的實例替換及低複雜度自適應狀態的概念圖。
圖11為展示用於計算可分離轉換的實例系統之方塊圖。
圖12為展示用於使用低複雜度轉換調整級計算可分離轉換的實例系統之方塊圖。
圖13A及圖13B為展示可分離轉換之水平遍次之實例的概念圖。
圖14為說明經組態以執行本文中描述之技術中之一或多者的視訊編碼器之實例的方塊圖。
圖15為說明經組態以執行本文中描述之技術中之一或多者的視訊解碼器之實例的方塊圖。
圖16為說明可實施本發明中所描述之技術的視訊資料之第一實例解碼的流程圖。
圖17為說明可實施本發明中所描述之技術的視訊資料之第一實例編碼的流程圖。

Claims (59)

  1. 一種對視訊資料進行編碼之方法，其包含： 針對視訊資料之一第一區塊執行一第一預測程序以產生一第一殘餘； 判定會將複數個轉換程序之一第一轉換程序應用於該第一殘餘； 將該第一轉換程序應用於該第一殘餘以產生用於視訊資料之該第一區塊的第一轉換係數； 對該等第一轉換係數進行編碼； 針對視訊資料之一第二區塊執行一第二預測程序以產生一第二殘餘； 判定會將一第二轉換程序應用於該第二殘餘，其中該第二轉換程序包含該第一轉換程序及除該第一轉換程序之外亦應用於該第二殘餘的一第一調整前操作或一第一調整後操作中之至少一者； 將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第二殘餘以產生用於視訊資料之該第二區塊的第二轉換係數，其中若該第一調整前操作被應用，則在應用該第一轉換程序之前應用該第一調整前操作，且其中若該第一調整後操作被應用，則在應用該第一轉換程序之後應用該第一調整後操作；及 對該等第二轉換係數進行編碼。
  2. 如請求項1之方法，其進一步包含： 對視訊資料之第三區塊執行一第三預測程序以產生一第三殘餘； 自該複數個轉換程序判定轉換程序之一子集，其中轉換程序之該子集包括比該複數個轉換程序少的轉換程序，且其中轉換程序之該子集包括該第一轉換程序； 判定調整操作之一集合，其中每一調整操作包含待應用於該第三殘餘的一調整前操作或一調整後操作中之至少一者，且其中每一調整操作當結合轉換程序之該子集的一轉換程序應用時產生轉換係數，該等轉換係數近似等於由應用該複數個轉換程序中未包括於轉換程序之該子集中的一轉換程序而產生的轉換係數，且其中調整操作之該集合之每一調整操作與轉換程序之該子集之一轉換程序相關聯； 針對轉換程序之該子集之每一轉換程序判定用於該各別轉換程序的速率-失真特性； 針對調整操作之該集合之每一調整操作判定用於該各別調整操作之速率-失真特性及用於該各別調整操作之該相關聯轉換程序； 基於該等經判定速率-失真特性選擇來自轉換程序之該子集的該轉換程序或來自調整操作之該集合的該調整操作，及來自與該選定調整操作相關聯的轉換程序之該子集的該轉換程序，作為應用於該第三殘餘的一完整轉換程序； 將該完整轉換程序應用於該第三殘餘以產生用於視訊資料之該第三區塊的第三轉換係數；及 對該等第三轉換係數進行編碼。
  3. 如請求項2之方法，其中轉換程序之該子集包含一DCT-2矩陣、一DCT-3矩陣、一DST-2矩陣或一DST-3矩陣中之一或多者。
  4. 如請求項2之方法，其進一步包含： 在一位元串流中對指示來自轉換程序之該子集的該選定轉換程序的一或多個索引進行編碼；及 若選擇一調整操作，則在該位元串流中對指示來自調整操作之該集合的該選定調整操作的一或多個索引進行編碼。
  5. 如請求項1之方法，其中對該等第一轉換係數進行編碼及對該等第二轉換係數進行編碼包含對該等第一轉換係數進行熵編碼及對該等第二轉換係數進行熵編碼。
  6. 如請求項1之方法，其中該第一轉換程序包含一離散三角轉換矩陣。
  7. 如請求項5之方法，其中該複數個轉換程序之每一轉換程序包含一離散三角轉換矩陣。
  8. 如請求項1之方法，其中該第一轉換程序及該第一調整前操作或該第一調整後操作中之該至少一者各自包含一各別稀疏矩陣。
  9. 如請求項7之方法，其中該第一轉換程序之該稀疏矩陣包含一帶狀對角矩陣。
  10. 如請求項7之方法，其中該第一轉換程序之該稀疏矩陣包含一區塊對角矩陣。
  11. 如請求項1之方法，其中該第一調整前操作或該第一調整後操作中之該至少一者包含一或多個吉文斯旋轉之一集合。
  12. 如請求項1之方法，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，且其中該第一列不同於該第二列。
  13. 如請求項1之方法，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一行中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二行中的一第二寫碼單元，且其中該第一行不同於該第二行。
  14. 如請求項1之方法，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，其中該第一列不同於該第二列，且其中該方法進一步包含： 針對該寫碼樹之一第三寫碼單元執行一第三預測程序以產生一第三殘餘，其中該第三寫碼單元處於該寫碼樹單元之一第三列中，其中該第二列與該第三列為相連列； 判定會將該第二轉換程序應用於該第三殘餘； 將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第三殘餘以產生用於該第三寫碼單元之第三轉換係數；及 對該等第三轉換係數進行編碼。
  15. 如請求項1之方法，其中視訊資料之該第一區塊包含一第一寫碼樹單元，且其中視訊資料之該第二區塊包含不同於該第一寫碼樹單元之一第二寫碼樹單元。
  16. 一種視訊編碼器件，其包含： 一記憶體，其經組態以儲存視訊資料；及 一或多個處理器，其實施於電路系統中且經組態以： 針對視訊資料之一第一區塊執行一第一預測程序以產生一第一殘餘； 判定會將複數個轉換程序之一第一轉換程序應用於該第一殘餘； 將該第一轉換程序應用於該第一殘餘以產生用於視訊資料之該第一區塊的第一轉換係數； 對該等第一轉換係數進行編碼； 判定會將一第二轉換程序應用於第二殘餘，其中該第二轉換程序包含該第一轉換程序及除該第一轉換程序之外亦應用於該第二殘餘的一第一調整前操作或一第一調整後操作中之至少一者； 將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第二殘餘以產生用於視訊資料之第二區塊的第二轉換係數，其中若該第一調整前操作被應用，則在應用該第一轉換程序之前應用該第一調整前操作，且其中若該第一調整後操作被應用，則在應用該第一轉換程序之後應用該第一調整後操作；及 對該等第二轉換係數進行編碼。
  17. 如請求項16之視訊編碼器件，其中該一或多個處理器經進一步組態以： 對視訊資料之第三區塊執行一第三預測程序以產生一第三殘餘； 自該複數個轉換程序判定轉換程序之一子集，其中轉換程序之該子集包括比該複數個轉換程序少的轉換程序，且其中轉換程序之該子集包括該第一轉換程序； 判定調整操作之一集合，其中每一調整操作包含待應用於該第三殘餘的一調整前操作或一調整後操作中之至少一者，且其中每一調整操作當結合轉換程序之該子集的一轉換程序應用時產生轉換係數，該等轉換係數近似等於由應用該複數個轉換程序中未包括於轉換程序之該子集中的一轉換程序而產生的轉換係數，且其中調整操作之該集合之每一調整操作與轉換程序之該子集之一轉換程序相關聯； 針對轉換程序之該子集之每一轉換程序判定用於該各別轉換程序的速率-失真特性； 針對調整操作之該集合之每一調整操作判定用於該各別調整操作之速率-失真特性及用於該各別調整操作之該相關聯轉換程序； 基於該等經判定速率-失真特性選擇來自轉換程序之該子集的該轉換程序或來自調整操作之該集合的該調整操作，及來自與該選定調整操作相關聯的轉換程序之該子集的該轉換程序，作為應用於該第三殘餘的一完整轉換程序； 將該完整轉換程序應用於該第三殘餘以產生用於視訊資料之該第三區塊的第三轉換係數；及 對該等第三轉換係數進行編碼。
  18. 如請求項17之視訊編碼器件，其中轉換程序之該子集包含一DCT-2矩陣、一DCT-3矩陣、一DST-2矩陣或一DST-3矩陣中之一或多者，其中該一或多個處理器經進一步組態以： 在一位元串流中對指示來自轉換程序之該子集的該選定轉換程序的一或多個索引進行編碼；及 若選擇一調整操作，則在該位元串流中對指示來自調整操作之該集合的該選定調整操作的一或多個索引進行編碼。
  19. 如請求項16之視訊編碼器件，其中對該等第一轉換係數進行編碼及對該等第二轉換係數進行編碼包含對該等第一轉換係數進行熵編碼及對該等第二轉換係數進行熵編碼。
  20. 如請求項16之視訊編碼器件，其中該第一轉換程序包含一離散三角轉換矩陣，且其中該複數個轉換程序之每一轉換程序包含一離散三角轉換矩陣。
  21. 如請求項16之視訊編碼器件，其中該第一轉換程序及該第一調整前操作或該第一調整後操作中之該至少一者各自包含一各別稀疏矩陣，其中該第一轉換程序之該稀疏矩陣包含一帶狀對角矩陣或一區塊對角矩陣中之一者。
  22. 如請求項16之視訊編碼器件，其中該第一調整前操作或該第一調整後操作中之該至少一者包含一或多個吉文斯旋轉之一集合。
  23. 如請求項16之視訊編碼器件，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，且其中該第一列不同於該第二列。
  24. 如請求項16之視訊編碼器件，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一行中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二行中的一第二寫碼單元，且其中該第一行不同於該第二行。
  25. 如請求項16之視訊編碼器件，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，且其中該第一列不同於該第二列，且其中該一或多個處理器經進一步組態以： 針對該寫碼樹單元之一第三寫碼單元預測一第三殘餘，其中該第三寫碼單元處於該寫碼樹單元之一第三列中，其中該第二列及該第三列為相連列； 判定會將該第二轉換程序應用於該第三殘餘； 將該第一轉換程序及該第一調整前操作或該第一調整後操作中之至少一者應用於該第三殘餘以產生用於該第三寫碼單元之第三轉換係數；及 對該等第三轉換係數進行編碼。
  26. 如請求項16之視訊編碼器件，其中視訊資料之該第一區塊包含一第一寫碼樹單元，且其中視訊資料之該第二區塊包含不同於該第一寫碼樹單元之一第二寫碼樹單元。
  27. 如請求項16之視訊編碼器件，其進一步包含： 一攝影機，其經組態以擷取該視訊資料。
  28. 一種對視訊資料進行解碼之方法，其包含： 判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊； 將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘； 對該第一殘餘進行解碼以產生一第一經解碼區塊；判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者； 將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作； 對該第二殘餘進行解碼以產生一第二經解碼區塊；及 至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼。
  29. 如請求項28之方法，其進一步包含： 基於一第一索引之一值判定會將該第一反轉換應用於該第二寫碼區塊；及 基於一第二索引之一值判定除該第一反轉換之外亦會將該調整前操作及該調整後操作中之該至少一者應用於該第二區塊。
  30. 如請求項28之方法，其中該第一反轉換程序包含一離散三角轉換矩陣。
  31. 如請求項30之方法，其中該複數個反轉換程序之每一反轉換程序包含一離散三角轉換矩陣。
  32. 如請求項28之方法，其中該第二殘餘近似等於由將來自該複數個反轉換程序之一第二反轉換程序應用於該第二區塊之該等第二轉換係數而產生的一殘餘。
  33. 如請求項28之方法，其中該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者各自包含一各別稀疏矩陣。
  34. 如請求項33之方法，其中該第一反轉換程序之該稀疏矩陣包含一帶狀對角矩陣。
  35. 如請求項33之方法，其中該第一反轉換程序之該稀疏矩陣包含一區塊對角矩陣。
  36. 如請求項28之方法，其中該調整前操作或該調整後操作中之該至少一者包含一或多個吉文斯旋轉之一集合。
  37. 如請求項28之方法，其中該第一反轉換程序包含一DCT-2矩陣、一DCT-3矩陣、一DST-2矩陣或一DST-3矩陣中之一者。
  38. 如請求項28之方法，其進一步包含： 在一無線通信器件之一接收器處接收該視訊資料； 將該視訊資料儲存於該無線通信器件之一記憶體中；及 在該無線通信器件之一或多個處理器上處理該視訊資料。
  39. 如請求項38之方法，其中該無線通信器件包含一電話手機，且其中在該無線通信器件之該接收器處接收該視訊資料包含根據一無線通信標準解調變包含該視訊資料之一信號。
  40. 如請求項28之方法，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，且其中該第一列不同於該第二列。
  41. 如請求項28之方法，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一行中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二行中的一第二寫碼單元，且其中該第一行不同於該第二行。
  42. 如請求項28之方法，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，其中該第一列不同於該第二列，其中該方法進一步包含： 判定會將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於一第三寫碼單元，其中該第三寫碼單元處於該寫碼樹單元之一第三列中，其中該第二列及該第三列為相連列； 將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第三寫碼單元之第三轉換係數以產生一第三殘餘 對該第三殘餘進行解碼以產生一第三經解碼寫碼單元；及 至少部分基於該第三經解碼區塊對該視訊資料進行解碼。
  43. 如請求項28之方法，其中視訊資料之該第一區塊包含一第一寫碼樹單元，且其中視訊資料之該第二區塊包含不同於該第一寫碼樹單元之一第二寫碼樹單元。
  44. 一種視訊解碼器件，其包含： 一記憶體，其經組態以儲存視訊資料；及 一或多個處理器，其實施於電路系統中且經組態以： 判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊； 將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘； 對該第一殘餘進行解碼以產生一第一經解碼區塊； 判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者； 將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作； 對該第二殘餘進行解碼以產生一第二經解碼區塊；及 至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼。
  45. 如請求項44之視訊解碼器件，其中該一或多個處理器經進一步組態以： 基於一第一索引之一值判定會將該第一反轉換應用於該第二寫碼區塊；及 基於一第二索引之一值判定除該第一反轉換之外亦會將該調整前操作及該調整後操作中之該至少一者應用於該第二區塊。
  46. 如請求項44之視訊解碼器件，其中該第一反轉換程序包含一離散三角轉換矩陣，其中該複數個反轉換程序之每一反轉換程序包含一離散三角轉換矩陣。
  47. 如請求項44之視訊解碼器件，其中該第二殘餘近似等於由將來自該複數個反轉換程序之一第二反轉換程序應用於該第二區塊之該等第二轉換係數而產生的一殘餘。
  48. 如請求項44之視訊解碼器件，其中該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者各自包含一各別稀疏矩陣，其中該第一反轉換程序之該稀疏矩陣包含一帶狀對角矩陣或一區塊對角矩陣中之一者。
  49. 如請求項44之視訊解碼器件，其中該調整前操作或該調整後操作中之該至少一者包含一或多個吉文斯旋轉之一集合。
  50. 如請求項44之視訊解碼器件，其中該第一反轉換程序包含一DCT-2矩陣、一DCT-3矩陣、一DST-2矩陣或一DST-3矩陣中之一者。
  51. 如請求項44之視訊解碼器件，其中該器件包含一無線通信器件，該器件進一步包含經組態以接收經編碼視訊資料之一接收器。
  52. 如請求項51之視訊解碼器件，其中該無線通信器件包含一電話手機，且其中該接收器經組態以根據一無線通信標準解調變包含該經編碼視訊資料之一信號。
  53. 如請求項51之視訊解碼器件，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，且其中該第一列不同於該第二列。
  54. 如請求項51之視訊解碼器件，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一行中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二行中的一第二寫碼單元，且其中該第一行不同於該第二行。
  55. 如請求項51之視訊解碼器件，其中視訊資料之該第一區塊包含一寫碼樹單元之一第一列中的一第一寫碼單元，其中視訊資料之該第二區塊包含該寫碼樹單元之一第二列中的一第二寫碼單元，其中該第一列不同於該第二列，其中該一或多個處理器經進一步組態以： 判定會將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於一第三寫碼單元，其中該第三寫碼單元處於該寫碼樹單元之一第三列中，其中該第二列及該第三列為相連列； 將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第三寫碼單元之第三轉換係數以產生一第三殘餘 對該第三殘餘進行解碼以產生一第三經解碼寫碼單元；及 至少部分基於該第三經解碼區塊對該視訊資料進行解碼。
  56. 如請求項51之視訊解碼器件，其中視訊資料之該第一區塊包含一第一寫碼樹單元，且其中視訊資料之該第二區塊包含不同於該第一寫碼樹單元之一第二寫碼樹單元。
  57. 如請求項44之視訊解碼器件，其進一步包含： 一顯示器，其經組態以顯示該經解碼視訊資料。
  58. 一種電腦可讀儲存媒體，其上儲存有指令，該等指令在經執行時使得一視訊解碼器件之一或多個處理器進行以下操作： 判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊； 將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘； 對該第一殘餘進行解碼以產生一第一經解碼區塊； 判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者； 將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作； 對該第二殘餘進行解碼以產生一第二經解碼區塊；及 至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼。
  59. 一種用於對視訊資料進行解碼之裝置，該裝置包含： 用於判定會將複數個反轉換程序之一第一反轉換程序應用於複數個視訊資料區塊之一第一區塊的構件； 用於將該第一反轉換程序應用於該第一區塊之第一轉換係數以產生一第一殘餘的構件； 用於對該第一殘餘進行解碼以產生一第一經解碼區塊的構件； 用於判定會將一第二反轉換程序應用於該複數個視訊資料區塊之一第二區塊的構件，其中該第二反轉換程序包含該第一反轉換程序及一調整前操作或一調整後操作中之至少一者； 用於將該第一反轉換程序及該調整前操作或該調整後操作中之該至少一者應用於該第二區塊之第二轉換係數以產生一第二殘餘的構件，其中若該調整前操作被應用，則在應用該第一反轉換程序之前應用該調整前操作，且其中若該調整後操作被應用，則在應用該第一反轉換程序之後應用該調整後操作； 用於對該第二殘餘進行解碼以產生一第二經解碼區塊的構件；及 用於至少部分基於該第一經解碼區塊及該第二經解碼區塊對該視訊資料進行解碼的構件。
TW108111352A 2018-03-30 2019-03-29 用於視訊寫碼之多轉換調整級 TW201943278A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862650953P 2018-03-30 2018-03-30
US62/650,953 2018-03-30
US201862668097P 2018-05-07 2018-05-07
US62/668,097 2018-05-07
US16/368,455 2019-03-28
US16/368,455 US11647214B2 (en) 2018-03-30 2019-03-28 Multiple transforms adjustment stages for video coding

Publications (1)

Publication Number Publication Date
TW201943278A true TW201943278A (zh) 2019-11-01

Family

ID=68054072

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111352A TW201943278A (zh) 2018-03-30 2019-03-29 用於視訊寫碼之多轉換調整級

Country Status (5)

Country Link
US (1) US11647214B2 (zh)
EP (1) EP3777186A1 (zh)
CN (1) CN111971970B (zh)
TW (1) TW201943278A (zh)
WO (1) WO2019191626A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431971B2 (en) 2019-06-24 2022-08-30 Industrial Technology Research Institute Method and image processing apparatus for video coding

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887626B2 (en) 2016-05-13 2021-01-05 Sharp Kabushiki Kaisha Image decoding device and image encoding device
WO2019203569A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 전처리/후처리 행렬에 기초하는 근사 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2019212987A1 (en) * 2018-04-30 2019-11-07 Interdigital Vc Holdings, Inc. Flexible implementations of multiple transforms
US11166044B2 (en) * 2018-07-31 2021-11-02 Tencent America LLC Method and apparatus for improved compound orthonormal transform
US11039139B2 (en) * 2018-09-14 2021-06-15 Tencent America LLC Method and apparatus for identity transform in multiple transform selection
US11665368B2 (en) * 2018-12-06 2023-05-30 Lg Electronics Inc. Method and device for processing video signal by using transform having low complexify
CN113950829A (zh) * 2019-06-06 2022-01-18 北京字节跳动网络技术有限公司 简化的变换编解码工具
US11277641B2 (en) * 2019-12-31 2022-03-15 Qualcomm Incorporated Chroma transform skip and joint chroma coding enabled block in video coding
US11405615B2 (en) 2020-03-26 2022-08-02 Tencent America LLC Joint transform coding of multiple color components
US11616983B2 (en) * 2020-05-05 2023-03-28 Tencent America LLC Joint component secondary transform
CN113707172B (zh) * 2021-06-02 2024-02-09 西安电子科技大学 稀疏正交网络的单通道语音分离方法、系统、计算机设备
CN116156170B (zh) * 2023-04-24 2024-04-16 北京中星微人工智能芯片技术有限公司 数据流的发送方法、装置、电子设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347305A (en) * 1990-02-21 1994-09-13 Alkanox Corporation Video telephone system
US5867416A (en) * 1996-04-02 1999-02-02 Lucent Technologies Inc. Efficient frequency domain analysis of large nonlinear analog circuits using compressed matrix storage
US7242713B2 (en) * 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
US8019804B2 (en) * 2007-03-26 2011-09-13 City University Of Hong Kong Method and apparatus for calculating an SSD and encoding a video signal
US8031782B2 (en) * 2008-08-29 2011-10-04 ADC2 Technologies LLC Systems and methods for compression, transmission and decompression of video codecs
JP2012516627A (ja) * 2009-01-27 2012-07-19 トムソン ライセンシング ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
US8762441B2 (en) * 2009-06-05 2014-06-24 Qualcomm Incorporated 4X4 transform for media coding
WO2011009196A1 (en) * 2009-07-20 2011-01-27 Valorbec, Societe En Commandite Finite dataset interpolation method
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
US10194158B2 (en) * 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
KR20160072120A (ko) * 2013-10-18 2016-06-22 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
US10531123B2 (en) * 2015-03-06 2020-01-07 Korea Advanced Institute Of Science And Technology Image encoding and decoding method based on low-complexity transformation, and apparatus using same
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US10448053B2 (en) 2016-02-15 2019-10-15 Qualcomm Incorporated Multi-pass non-separable transforms for video coding
US20180288439A1 (en) * 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
US20200186835A1 (en) 2018-12-07 2020-06-11 Qualcomm Incorporated Computation of asymmetric transform pairs for video coding using adjustment stages and dct-2

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431971B2 (en) 2019-06-24 2022-08-30 Industrial Technology Research Institute Method and image processing apparatus for video coding

Also Published As

Publication number Publication date
CN111971970A (zh) 2020-11-20
US20190306522A1 (en) 2019-10-03
CN111971970B (zh) 2022-08-19
WO2019191626A1 (en) 2019-10-03
EP3777186A1 (en) 2021-02-17
US11647214B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
TW201943278A (zh) 用於視訊寫碼之多轉換調整級
US10349085B2 (en) Efficient parameter storage for compact multi-pass transforms
TWI745594B (zh) 與視訊寫碼中之變換處理一起應用之內部濾波
US10448053B2 (en) Multi-pass non-separable transforms for video coding
US10390048B2 (en) Efficient transform coding using optimized compact multi-pass transforms
TWI722341B (zh) 用於在視訊寫碼中自適應之迴路濾波之線路緩衝減少
US10863199B2 (en) Minimization of transform memory and latency via parallel factorizations
JP6396588B2 (ja) ビデオコード化における成分間予測及び適応色変換の調和
JP2019525575A (ja) 拡張型多重変換のためのルックアップテーブル
TW201943272A (zh) 以角度模式延伸之位置相關框內預測組合
JP2018506905A (ja) 予測残差のための機能強化された複数の変換
CN112425164B (zh) 多个可分离变换选择的变换变体
TWI826487B (zh) 用於視訊寫碼中之適應性運動向量差解析度及增加的運動向量儲存精確度的運動向量捨位
JP7455840B2 (ja) ビデオコーディングのためのツリーベース変換ユニット（ｔｕ）区分
TW201939952A (zh) 用於360度視訊之框內預測
TW202029774A (zh) 藉由轉換域濾波之量化假影抑制及信號恢復
TW202002654A (zh) 具有群組分流位元子之係數寫碼
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
JP2024515888A (ja) 複数シンボル算術コーディングのための方法、デバイス及び記憶媒体
TW202038611A (zh) 用於視訊寫碼之三角運動資訊