TW201722152A - 用於具有重組之視訊寫碼之非可分離二次轉變 - Google Patents

用於具有重組之視訊寫碼之非可分離二次轉變 Download PDF

Info

Publication number
TW201722152A
TW201722152A TW105130512A TW105130512A TW201722152A TW 201722152 A TW201722152 A TW 201722152A TW 105130512 A TW105130512 A TW 105130512A TW 105130512 A TW105130512 A TW 105130512A TW 201722152 A TW201722152 A TW 201722152A
Authority
TW
Taiwan
Prior art keywords
block
transition
coefficient
video
dimensional
Prior art date
Application number
TW105130512A
Other languages
English (en)
Inventor
趙欣
陳建樂
阿米爾 塞德
馬塔 卡茲維克茲
法迪姆 塞瑞金
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201722152A publication Critical patent/TW201722152A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154—Transform domain methods
    • H04N1/32181—Transform domain methods using Karhunen-Loeve transforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本發明描述其中一解碼器經組態以根據一係數掃描次序將一第一2維係數區塊重組為一第一1維係數向量並將一第一逆轉變應用於該第一1維係數向量以產生一第二1維係數向量的技術。該第一逆轉變為一非可分離轉變。該解碼器經進一步組態以將該第一1維係數向量重組為一第二2維係數區塊並將一第二逆轉變應用於該第二2維係數區塊以產生一殘差視訊區塊。該第二逆轉變將該第二2維係數區塊自一頻域轉換至一像素域。該解碼器經進一步組態以形成一經解碼視訊區塊，其中形成該經解碼視訊區塊包含將該殘差視訊區塊與一或多個預測性區塊求和。

Description

用於具有重組之視訊寫碼之非可分離二次轉變
本發明係關於視訊寫碼。
數位視訊頻能力可併入至廣泛範圍之裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊寫碼技術，諸如包括由ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264/MPEG-4進階視訊寫碼(AVC)第10部分、及ITU-T H.265高效率視訊寫碼(HEVC)所界定的各種標準及此等標準之擴展中所描述的彼等技術。視訊裝置可藉由實施此等視訊寫碼技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。 空間或時間預測導致待寫碼區塊之預測性區塊。殘差資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘差資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘差資料編碼經框內寫碼區塊。為進行進一步壓縮，可將殘差資料自像素域轉變至轉變域，從而產生殘差轉變係數，可隨後量化該等殘差轉變係數。可掃描最初配置成二維陣列之經量化之轉變係數以便產生轉變係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述視訊寫碼中之與應用於框內或框間預測殘差資料的二次轉變設計相關的技術。轉變可用於進階視訊編碼解碼器的情形中，諸如HEVC之擴展或下一代視訊寫碼標準。 在一個實例中，本發明描述一種方法，該方法包含：逆量化第一係數區塊；將第一逆轉變應用於經逆量化第一係數區塊的至少部分以產生第二係數區塊，第一逆轉變為非可分離轉變；將第二逆轉變應用於第二係數區塊以產生殘差視訊區塊，第二逆轉變將第二係數區塊自頻域轉換至像素域；及形成經解碼視訊區塊，其中形成經解碼視訊區塊包含將殘差視訊區塊與一或多個預測性區塊求和。 在一個實例中，本發明描述一種方法，該方法包含：形成殘差視訊區塊，其中形成殘差視訊區塊包含自正被寫碼之視訊區塊減去一或多個預測性區塊；將第一轉變應用於殘差視訊區塊以產生第一係數區塊，第一轉變將殘差視訊區塊自像素域轉換至頻域；將第二轉變應用於第一係數區塊的至少部分以產生第二係數區塊，第二轉變為非可分離轉變；及量化第二係數區塊。 在一個實例中，本發明描述一種用於解碼視訊資料之設備，該設備包含：記憶體，其經組態以儲存視訊資料；及視訊解碼器，其經組態以：逆量化第一係數區塊；將第一逆轉變應用於經逆量化第一係數區塊的至少部分以產生第二係數區塊，第一逆轉變為非可分離轉變；將第二逆轉變應用於第二係數區塊以產生殘差視訊區塊，第二逆轉變將第二係數區塊自頻域轉換至像素域；將殘差視訊區塊與一或多個預測性區塊求和；及基於殘差視訊區塊與一或多個預測性區塊之和而形成經解碼視訊區塊。 在一個實例中，本發明描述一種用於編碼視訊資料之設備，該設備包含：記憶體，其經組態以儲存視訊資料；及視訊編碼器，其經組態以：形成殘差視訊區塊，其中形成殘差視訊區塊包含自正被寫碼之視訊區塊減去一或多個預測性區塊；將第一轉變應用於殘差視訊區塊以產生第一係數區塊，第一轉變將殘差視訊區塊自像素域轉換至頻域；將第二轉變應用於第一係數區塊的至少部分以產生第二係數區塊，第二轉變為非可分離轉變；及量化第二係數區塊。 在一個實例中，本發明描述一種用於解碼視訊資料之設備，該設備包含：用於逆量化第一係數區塊的構件；用於將第一逆轉變應用於經逆量化第一係數區塊的至少部分以產生第二係數區塊的構件，第一逆轉變為非可分離轉變；用於將第二逆轉變應用於第二係數區塊以產生殘差視訊區塊的構件，第二逆轉變將第二係數區塊自頻域轉換至像素域；及用於形成經解碼視訊區塊的構件，其中用於形成經解碼視訊區塊的該構件包含用於將殘差視訊區塊與一或多個預測性區塊求和的構件。 在一個實例中，本發明描述一種用於編碼視訊資料之設備，該設備包含：用於形成殘差視訊區塊的構件，其中形成殘差視訊區塊包含自正被寫碼之視訊區塊減去一或多個預測性區塊；用於將第一轉變應用於殘差視訊區塊以產生第一係數區塊的構件，第一轉變將殘差視訊區塊自像素域轉換至頻域；用於將第二轉變應用於第一係數區塊的至少部分以產生第二係數區塊的構件，第二轉變為非可分離轉變；及用於量化第二係數區塊的構件。 在一個實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時使得用於解碼視訊資料之裝置之一個或多個處理器執行以下操作：逆量化第一係數區塊；將第一逆轉變應用於經逆量化第一係數區塊的至少部分以產生第二係數區塊，第一逆轉變為非可分離轉變；將第二逆轉變應用於第二係數區塊以產生殘差視訊區塊，第二逆轉變將第二係數區塊自頻域轉換至像素域；將殘差視訊區塊與一或多個預測性區塊求和；及基於殘差視訊區塊與一或多個預測性區塊之和而形成經解碼視訊區塊。 在一個實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時使得用於編碼視訊資料的裝置之一個或多個處理器執行以下操作：形成殘差視訊區塊，其中形成殘差視訊區塊包含自正被寫碼之視訊區塊減去一或多個預測性區塊；將第一轉變應用於殘差視訊區塊以產生第一係數區塊，第一轉變將殘差視訊區塊自像素域轉換至頻域；將第二轉變應用於第一係數區塊的至少部分以產生第二係數區塊，第二轉變為非可分離轉變；及量化第二係數區塊。 在一個實例中，本發明描述一種用於解碼視訊資料之方法，該方法包含：根據係數掃描次序將第一2維係數區塊重組為第一1維係數向量；將第一逆轉變應用於第一1維係數向量以產生第二1維係數向量，第一逆轉變為非可分離轉變；將第一1維係數向量重組為第二2維係數區塊；將第二逆轉變應用於第二2維係數區塊以產生殘差視訊區塊，第二逆轉變將第二2維係數區塊自頻域轉換至像素域；及形成經解碼視訊區塊，其中形成經解碼視訊區塊包含將殘差視訊區塊與一或多個預測性區塊求和。 在一個實例中，本發明描述一種用於編碼視訊資料之方法，該方法包含：形成殘差視訊區塊，其中形成殘差視訊區塊包含自正被寫碼之視訊區塊減去一或多個預測性區塊；將第一轉變應用於殘差視訊區塊的至少部分以產生第一2維係數區塊，第一轉變將殘差視訊區塊自像素域轉換至頻域；將第一2維係數區塊重組為第一1維係數向量；將第二轉變應用於第一1維係數向量的至少部分以產生第二1維係數向量，第二轉變為非可分離轉變；及根據係數掃描次序將第二1維係數向量重組為第二2維係數區塊。 在一個實例中，本發明描述一種用於解碼視訊資料之設備，該設備包含：記憶體，其經組態以儲存視訊資料；及視訊解碼器，其經組態以：根據係數掃描次序將第一2維係數區塊重組為第一1維係數向量；將第一逆轉變應用於第一1維係數向量以產生第二1維係數向量，第一逆轉變為非可分離轉變；將第一1維係數向量重組為第二2維係數區塊；將第二逆轉變應用於第二2維係數區塊以產生殘差視訊區塊，第二逆轉變將第二2維係數區塊自頻域轉換至像素域；將殘差視訊區塊與一或多個預測性區塊求和；將殘差視訊區塊與一或多個預測性區塊求和；及基於殘差視訊區塊與一或多個預測性區塊之和而形成經解碼視訊區塊。 在一個實例中，本發明描述一種用於編碼視訊資料之設備，該設備包含：記憶體，其經組態以儲存視訊資料；及視訊編碼器，其經組態以：形成殘差視訊區塊，其中形成殘差視訊區塊包含自正被寫碼之視訊區塊減去一或多個預測性區塊；將第一轉變應用於殘差視訊區塊的至少部分以產生第一2維係數區塊，第一轉變將殘差視訊區塊自像素域轉換至頻域；重組第一2維係數區塊以產生第一1維係數向量；將第二轉變應用於第一1維係數向量的至少部分以產生第二1維係數向量，第二轉變為非可分離轉變；及根據係數掃描次序將第二1維係數向量重組為第二2維係數區塊。 在一個實例中，本發明描述一種用於解碼視訊資料之設備，該設備包含：用於根據係數掃描次序將第一2維係數區塊重組為第一1維係數向量的構件；用於將第一逆轉變應用於第一1維係數向量以產生第二1維係數向量的構件，第一逆轉變為非可分離轉變；用於將第一1維係數向量重組為第二2維係數區塊的構件；用於將第二逆轉變應用於第二2維係數區塊以產生殘差視訊區塊的構件，第二逆轉變將第二2維係數區塊自頻域轉換至像素域；及用於形成經解碼視訊區塊的構件，其中用於形成經解碼視訊區塊的該構件包含用於將殘差視訊區塊與一或多個預測性區塊求和的構件。 在一個實例中，本發明描述一種用於編碼視訊資料之設備，該設備包含：用於形成殘差視訊區塊的構件，其中用於形成殘差視訊區塊的該構件包含用於自正被寫碼之視訊區塊減去一或多個預測性區塊的構件；用於將第一轉變應用於殘差視訊區塊的至少部分以產生第一2維係數區塊的構件，第一轉變將殘差視訊區塊自像素域轉換至頻域；用於重組第一2維係數區塊以產生第一1維係數向量的構件；用於將第二轉變應用於第一1維係數向量的至少部分以產生第二1維係數向量的構件，第二轉變為非可分離轉變；及用於根據係數掃描次序將第二1維係數向量重組為第二2維係數區塊的構件。 在一個實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時使得用於解碼視訊資料之裝置的一個或多個處理器執行以下操作：根據係數掃描次序將第一2維係數區塊重組為第一1維係數向量；將第一逆轉變應用於第一1維係數向量以產生第二1維係數向量，第一逆轉變為非可分離轉變；將第一1維係數向量重組為第二2維係數區塊；將第二逆轉變應用於第二2維係數區塊以產生殘差視訊區塊，第二逆轉變將第二2維係數區塊自頻域轉換至像素域；及形成經解碼視訊區塊，其中形成經解碼視訊區塊包含將殘差視訊區塊與一或多個預測性區塊求和。 在一個實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時使得用於編碼視訊資料之裝置的一個或多個處理器執行以下操作：形成殘差視訊區塊，包含自正被寫碼之視訊區塊減去一或多個預測性區塊；將第一轉變應用於殘差視訊區塊的至少部分以產生第一2維係數區塊，第一轉變將殘差視訊區塊自像素域轉換至頻域；重組第一2維係數區塊以產生第一1維係數向量；將第二轉變應用於第一1維係數向量的至少部分以產生第二1維係數向量，第二轉變為非可分離轉變；及根據係數掃描次序將第二1維係數向量重組為第二2維係數區塊。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
相關申請案 本申請案主張2015年9月29日申請之美國臨時申請案第62/234,644號，2016年2月12日申請之美國臨時申請案第62/294,897號，2016年4月15日申請之美國臨時申請案第62/323,496號，及2016年5月17日申請之美國臨時申請案第62/337,736號的權利，該等案中之每一者的全部內容以引用的方式併入本文中。 一般而言，本發明描述視訊寫碼中之與應用於框內或框間預測殘差資料的二次轉變設計相關的技術。轉變可用於進階視訊編碼解碼器的情形中，諸如HEVC之擴展或下一代視訊寫碼標準。 視訊編碼器可以適合於自視訊編碼器輸出至視訊解碼器的形式表示視訊資料之殘差區塊。需要減少用以表示殘差區塊的資料量以使得減少自視訊編碼器傳輸至視訊解碼器的資料量。在視訊寫碼中，相對於非可分離轉變更多地應用可分離轉變，此係由於可分離轉變與非可分離轉變相比可使用更少的運算(例如，加法、乘法)。可分離轉變係可經寫成兩個或大於兩個濾波之乘積的濾波。對比而言，非可分離濾波不可寫成兩個或大於兩個濾波之乘積。 視訊編碼器亦可應用二次轉變以增加係數區塊之能量精簡性，而非僅依賴於將像素域中之殘差區塊轉換至頻域中之係數區塊的轉變。舉例而言，二次轉變可將係數區塊之非零係數集中為更接近係數區塊之DC係數。因此，在係數區塊之DC係數與係數區塊之最後有效(亦即，非零)係數之間可存在較少係數，從而導致用以表示殘差區塊的資料之減少數量。類似地，視訊解碼器可應用逆一次轉變以將係數區塊轉變成殘差區塊。以此方式，可減少用以表示殘差區塊的資料，藉此減少針對視訊資料的頻寬及/或儲存要求，且可能減少視訊解碼器及視訊編碼器之能量使用。 現有二次轉變設計將二次轉變應用為可分離轉變。在一些情況下，已應用可分離轉變而不是非可分離轉變，此係由於可分離轉變相較於非可分離轉變具有較低複雜度。因此，對於視訊寫碼方案而言,可分離轉變可能已變得比非可分離轉變更有利。然而，非可分離轉變用作二次轉變可提供改良之轉變效率。舉例而言，與可分離二次轉變相比，裝置可能夠更快或以更少複雜度應用非可分離二次轉變。因此，根據本發明之實例，視訊解碼器可將第一逆轉變應用於經逆量化第一係數區塊的至少部分以產生第二係數區塊，第一逆轉變為非可分離轉變。另外，在此實例中，視訊解碼器可將第二逆轉變應用於第二係數區塊以產生殘差視訊區塊。第二逆轉變可將第二係數區塊自頻域轉換至像素域。在此實例中，視訊解碼器可形成經解碼視訊區塊。在一些實例中，作為形成經解碼視訊區塊之部分，視訊解碼器可將殘差視訊區塊與一或多個預測性區塊求和。 視訊資料壓縮(例如，不同框內預測模式)的差異可改變非可分離二次轉變之有效性。舉例而言，當使用第一框內預測模式時，第一非可分離二次轉變與第二非可分離二次轉變相比可具有更高能量精簡性。然而，在實例中，當使用第二框內預測模式時，第二非可分離二次轉變與第一非可分離二次轉變相比可具有更高能量精簡性。因此，可能需要准許自候選非可分離二次轉變之集合中選擇候選非可分離二次轉變的技術。亦即，視訊編碼器可自非可分離二次轉變之集合中選擇候選非可分離二次轉變，而非使用相同非可分離二次轉變用於不同視訊資料。舉例而言，視訊編碼器可基於框內預測模式調配非可分離二次轉變之子集。類似地，在一些實例中，視訊解碼器可自非可分離二次轉變之集合中選擇候選非可分離二次轉變。舉例而言，視訊解碼器可基於視訊資料之已經解碼資訊調配非可分離二次轉變之子集。以此方式，更合適之非可分離二次轉變可經選擇以應用於殘差區塊，與使用僅一個非可分離二次轉變候選者之實例相比較，此可導致用以表示殘差區塊的資料量減少。 在一些實例中，視訊編碼器可將轉變係數重組成二維係數區塊，而非必定以向量格式量化轉變係數。更特定言之，在一些情況下，量化單元可經組態以量化二維係數區塊，二維係數區塊可為藉由可分離轉變輸出的格式。因此，相同量化單元可用於其中視訊編碼器僅僅使用可分離轉變的情形，以及其中視訊編碼器使用可分離轉變及非可分離轉變的情形中。 圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括源裝置12，其提供待在稍後時間由目的地裝置14解碼之經編碼視訊資料。詳言之，源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或類似者。在一些情況下，可裝備源裝置12及目的地裝置14以用於無線通信。 目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任一類型之媒體或裝置。在一個實例中，電腦可讀媒體16可包含通信媒體以使源裝置12能夠即時地將經編碼視訊資料直接傳輸至目的地裝置14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源裝置12至目的地裝置14的通信之設備。 在一些實例中，可自輸出介面22將經編碼資料輸出至儲存裝置。類似地，可藉由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在再一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生之經編碼視訊的另一中間儲存裝置。目的地裝置14可經由串流或下載自儲存裝置存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將經編碼視訊資料傳輸至目的地裝置14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼之視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者的組合。自儲存裝置的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在圖1之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。根據本發明，源裝置12之視訊編碼器20可經組態以應用本發明中描述之技術，諸如與二次轉變有關的技術。根據本發明，目的地裝置14之視訊解碼器30可經組態以應用本發明中描述之技術，諸如與二次轉變有關的技術。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置12可自外部視訊源18(諸如外部攝影機)接收視訊資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合顯示裝置。 如上文所提，源裝置12包括輸出介面22且目的地裝置14包括輸入介面28。在一些實例中，輸出介面22表示傳輸器且輸入介面28表示接收器。在其他實例中，輸出介面22及輸入介面28表示收發器之實例(亦即，能夠無線地傳輸及接收資料信號之介面)。收發器可經組態以在無線信號中發送及接收視訊資料。舉例而言，輸出介面22當實施為收發器時可發送包括經編碼視訊資料之資料信號(例如，電腦可讀媒體16)，而輸入介面28當實施為收發器時可接收包括經編碼視訊資料之資料信號(例如，電腦可讀媒體16)。如上文所論述，視訊編碼器20可將經編碼視訊資料提供至輸出介面22，而輸入介面28可將經編碼視訊資料提供至視訊解碼器30。 圖1之所說明之系統10僅為一個實例。本發明中所描述之技術可由任何數位視訊編碼及/或解碼裝置執行。儘管通常本發明的技術由視訊編碼裝置和視訊解碼裝置來執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器」)執行。源裝置12及目的地裝置14僅僅為其中源裝置12產生經寫碼視訊資料以供用於傳輸至目的地裝置14的此等寫碼裝置之實例。在一些實例中，裝置12、14可以實質上對稱之方式操作，使得裝置12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援源裝置12與目的地裝置14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 源裝置12之視訊源18可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用於自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，源裝置12及目的地裝置14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中描述之技術一般適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。 電腦可讀媒體16可包括暫態媒體，諸如無線廣播或有線網路傳輸。在一些實例中，網路伺服器(未圖示)可自源裝置12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地裝置14。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。 目的地裝置14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義且亦由視訊解碼器30使用之語法資訊，其包括描述區塊及其他經寫碼單元之特性及/或處理的語法元素。顯示裝置32將經解碼視訊資料顯示給使用者，且可包含多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。 視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中的任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體，或其任何組合。當該等技術部分地以軟體實施時，裝置可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別裝置中之組合式編碼器/解碼器(編碼解碼器)的部分。包括視訊編碼器20及/或視訊解碼器30之裝置可包含積體電路、微處理器及/或無線通信裝置(諸如蜂巢式電話)。 視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如上文所描述的標準)且在一些實例中根據高效視訊寫碼(HEVC)標準(亦稱作ITU-T H.265或該HEVC標準之擴展)或根據下一代視訊寫碼標準操作。然而，本發明之技術並不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元，或其他硬體及軟體，以處置在共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合協定(諸如ITU H.223多工器協定)或其他協定(諸如，使用者資料報協定(UDP))。 大體上關於ITU-T H.265(亦稱作高效視訊寫碼(HEVC)，其描述於2013年4月之「SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services—Coding of moving video」高效視訊寫碼，ITU-T H.265中)描述本發明之技術。然而，此等技術可應用於其他視訊寫碼標準，包括HEVC之擴展及其他標準之擴展。其他視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。 H.265標準最近由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合合作小組(JCT-VC)完成。在下文中被稱作HEVC WD之HEVC草案規範可自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip獲得。 HEVC之多視圖擴展(MV-HEVC)亦已由JCT-3V開發。MV-HEVC之工作草案(WD)之實例(被稱作MV-HEVC WD8)可自phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002-v5.zip獲得。HEVC之可調式擴展(名為SHVC) 亦已由JCT-VC開發。被稱作SHVC WD6的SHVC之工作草案(WD)的實例可自phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zip獲得。 在HEVC及其他視訊編碼解碼器中，視訊圖框或圖像可分成可包括明度及色度樣本兩者的樹型區塊之序列，樹型區塊亦稱為最大寫碼單元(LCU)。位元串流內之語法資料可定義LCU之大小，LCU為就像素之數目而言的最大寫碼單元。圖塊包括按寫碼次序之許多連續樹型區塊。視訊圖框或圖像可分割成一或多個圖塊。 在HEVC中為產生經編碼CTU(亦即為編碼CTU)，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名「寫碼樹單元」。寫碼區塊為樣本之N×N區塊。CU可為具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，及用以寫碼寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。 可根據四分樹資料結構將每一樹型區塊分裂成CU。一般而言，四分樹資料結構包括每CU一個節點，其中根節點對應於樹型區塊。若CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。四分樹資料結構中之每一節點可提供對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，從而指示對應於該節點之CU是否分裂成子CU。針對CU之語法元素可經遞迴地定義，且可取決於該CU是否分裂成子CU。若CU不被進一步分裂，則其被稱作葉CU。在本發明中，葉CU的四個子CU亦稱作葉CU，即使不存在原始葉CU的明確分裂。舉例而言，若16×16大小之CU未經進一步分裂，則儘管該16×16 CU從未經分裂，但4個8×8子CU亦被稱作葉CU。 除CU不具有大小區別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，樹型區塊可分裂成四個子節點(亦稱作子CU)，且每一子節點又可為上代節點且可被分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。CU之大小對應於寫碼節點之大小，且大體上為正方形形狀。CU之大小可在8×8像素達至具有最大大小(例如64×64像素或更大)的樹型區塊之大小的範圍內。 CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及轉變單元(TU)。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)將CU分割成一或多個PU。作為編碼CU之部分，視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為經應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像的明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以預測預測區塊樣本之語法結構。視訊編碼器20可產生CU之每一PU的明度、Cb及Cr預測區塊之預測性明度、Cb及Cr區塊。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊及用以預測該預測區塊之語法結構。 視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。每一CU係以框內預測模式或框間預測模式中的一者寫碼。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本來產生PU之預測性區塊。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。 分割模式可在CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間而不同。PU可分割成非正方形。 此外，視訊編碼器20可將CU之每一殘差區塊分解為一或多個轉變區塊。轉變區塊可為經應用相同轉變的樣本之矩形(正方形或非正方形)區塊。CU之轉變單元(TU)可為明度樣本之轉變區塊、色度樣本之兩個對應的轉變區塊，及用於對轉變區塊樣本進行轉變的語法結構。因此，CU之每一TU可與明度轉變區塊、Cb轉變區塊及Cr轉變區塊相關聯。與TU相關聯之明度轉變區塊可為CU之明度殘差區塊之子區塊。Cb轉變區塊可為CU之Cb殘差區塊之子區塊。Cr轉變區塊可為CU之Cr殘差區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一轉變區塊及用於對該轉變區塊之樣本進行轉變的語法結構。在一些實例中，明度及色度分量之相同CU的殘差區塊可以不同方式分割。 與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU可為正方形或非正方形(例如，矩形)。本發明可使用術語「區塊」來指代在HEVC的上下文中的CU、PU或TU中之任一者，或在其他標準的上下文中之類似資料結構(例如，H.264/AVC中的巨集區塊及其子區塊)。 HEVC標準允許根據TU進行轉變，該等轉變對於不同CU可不同。TU的大小通常係基於針對經分割LCU定義之給定CU內的PU之大小而設定，但此可並非總是如此情況。TU的大小通常與PU相同或比PU小。在一些實例中，可使用被稱為「殘差四分樹」(RQT)之四分樹結構而將對應於CU之殘差樣本再分為較小單元。可將RQT之葉節點稱作轉變單元(TU)。與TU相關聯之像素差值可經轉變以產生可經量化之轉變係數。 葉CU可包括一或多個PU。大體而言，PU表示對應於該對應CU之全部或一部分的空間區域，且PU可包括用於擷取及/或產生用於PU的參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可包括於RQT中，該RQT可包括描述用於對應於PU之TU的框內預測模式的資料。RQT亦可被稱作轉變樹。在一些實例中，可在葉CU語法，而不是RQT中傳信框內預測模式。作為實例，當PU經框間模式編碼時，PU可包括定義PU之運動資訊(諸如一或多個運動向量)的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。 具有一或多個PU之葉CU亦可包括一或多個TU。如上文所論述，可使用RQT(亦稱作TU四分樹結構)來指定轉變單元。舉例而言，分裂旗標可指示葉CU是否分裂成四個轉變單元。接著，可將每一轉變單元進一步分裂為其他子TU。當TU未進一步分裂時，可將其稱作葉TU。大體而言，對於框內寫碼而言，屬於葉CU之所有葉TU共用相同之框內預測模式。亦即，一般應用相同框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘差值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU不必限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，PU可與用於同一CU之對應葉TU共置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。 此外，葉CU之TU亦可與各別四分樹資料結構(稱作RQT或如上文所提之轉變樹)相關聯。亦即，葉CU可包括一指示該葉CU如何被分割成TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊。將RQT之未被分裂的TU稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指葉CU及葉TU。 視訊序列通常包括視訊圖框或圖像系列。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。 在本發明中，「N×N」與「N乘N」可被互換地使用以指在垂直及水平尺寸方面的視訊區塊之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上具有16個像素(y=16)且在水平方向上具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來排列區塊中之像素。此外，區塊未必需要在水平方向上與垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。 在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘差資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之技術或模式的語法資料，且TU可包含在對殘差視訊資料應用轉變(例如離散餘弦轉變(DCT)、整數轉變、小波轉變或概念上類似的轉變)之後轉變域中的係數。殘差資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括表示CU之殘差資料的經量化轉變係數之TU。亦即，視訊編碼器20可計算殘差資料(以殘差區塊之形式)、轉變殘差區塊以產生轉變係數之區塊，且接著量化轉變係數以形成經量化轉變係數。視訊編碼器20可形成包括經量化轉變係數之TU，以及其他語法資訊(例如，TU之分裂資訊)。 如上文所提，在應用任何轉變以產生轉變係數之後，視訊編碼器20可執行轉變係數之量化。量化通常指將轉變係數量化以可能地減少用以表示該等係數之資料之量從而提供進一步壓縮的過程。量化過程可減少與係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。 在量化之後，視訊編碼器20可掃描轉變係數，從而自包括經量化轉變係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化轉變係數以產生可被熵編碼的串列化向量。在其他實例中，視訊編碼器20可執行適應性掃描。在掃描經量化轉變係數以形成一維向量後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法熵編碼表示一維向量中之轉變係數的特定語法元素。視訊編碼器20亦可熵編碼用於由視訊解碼器30在解碼視訊資料時使用的與經編碼視訊資料相關聯之語法元素。 一般而言，視訊解碼器30執行儘管與由視訊編碼器20執行之過程互逆但類似的過程，以解碼經編碼資料。舉例而言，視訊解碼器30逆量化且逆轉變所接收TU之轉變係數以再生殘差區塊。視訊解碼器30可使用傳信的預測模式(框內預測或框間預測)以形成經預測區塊。視訊解碼器30可(在逐像素基礎上)使經預測區塊與殘差區塊組合以再生原始區塊。視訊解碼器30可執行額外處理，諸如執行解區塊過程以減少沿區塊邊界之視覺假影。此外，視訊解碼器30可以儘管與視訊編碼器20之CABAC編碼過程互逆但與其實質上類似之方式使用CABAC解碼語法元素。 如前所提及，視訊編碼器20可將DCT、整數轉變、小波轉變或概念地類似轉變應用於殘差視訊資料。此等可分離轉變可指示導出輸入信號之替代表示的過程。給定N點向量x=[x0 、x1 、…、xN - 1 ]T 及給定向量之集合{ ɸ 0 、 ɸ 1 、…、 ɸ M - 1 }，可使用 ɸ 0 、 ɸ 1 、…、 ɸ M - 1 之線性組合估計或恰好地表示 x ，其可公式化如下，其中可為x 之近似值或等值，向量 f =[f i 、f 2 、...、f M - 1 ]被稱作轉變係數向量且{ɸ 0 、ɸ 1 、…、ɸ M - 1 }為轉變基礎向量。 在視訊寫碼之情形中，轉變係數可大致不相關且稀疏。舉例而言，輸入向量x的能量可精簡於僅僅幾個轉變係數上，且剩餘大部分轉變係數通常接近於零。 給定特定輸入資料，在能量精簡性方面之最佳轉變可為所謂的卡忽南-拉維(Karhunen-Loeve)轉變(KLT)。KLT使用輸入資料的協方差矩陣之特徵向量作為轉變基礎向量。因此，KLT實際上為資料相依之轉變且不具有通用數學公式。然而，在某些假定(諸如輸入資料形成一階靜止馬爾可夫過程)下，文獻中已證實對應KLT實際上為單一轉變的正弦族中之成員，在IEEE Trans. on Pattern Analysis and Machine Intelligence, 1, 356, 1979，Jain, A.K之「單一轉變的正弦族」中描述該等單一轉變。單一轉變的正弦族可使用經公式化如下的轉變基礎向量指示轉變： ɸ m (k)=A ·e ikɵ +B ·e -ikɵ 在上述等式中，e為大致等於2.71828的自然對數之底，A 、B 及ɵ 一般為複數，且取決於m 之值。另外，在上述等式中，ɸm 為向量，ɸm (k)指示向量ɸm 之第k個分量，且i指示複數之虛部。 若干熟知轉變(包括離散傅立葉轉變、餘弦轉變、正弦轉變及KLT(用於一階靜止馬爾可夫過程))為單一轉變的此正弦族之成員。如IEEE Trans. Sig. Processing SP-42,1038-1051 (1994年)，S.A. Martucci之「Symmetric convolution and the discrete sine and cosine transforms」中所描述，完整DCT及離散正弦轉變(DST)族可基於不同類型包括總共16個轉變，且不同類型DCT及DST的完整定義在下文中給出。不同類型可對應於A 、B 及ɵ 之不同值。 假定輸入N 點向量表示為 x =[x 0 、X1 、…、x N - 1 ]T ，且N 點向量藉由乘以矩陣而轉變至表示為 y =[y 0 、Y1 、…、yN - 1 ]T 的另一N 點轉變係數向量。將x轉變至y的過程可根據以下轉變公式中之一者進一步說明，其中k 在0至N-1(包括0及N-1)範圍內： DCT類型I(DCT-1)：DCT類型II(DCT-2)：DCT類型III(DCT-3)：DCT類型IV(DCT-4)：, DCT類型V(DCT-5)：DCT類型VI(DCT-6)：DCT類型VII(DCT-7)：DCT類型VIII(DCT-8)：, DST類型I(DST-1)：, DST類型II(DST-2)：DST類型III(DST-3)：DST類型IV(DST-4)：, DST類型V(DST-5)：, DST類型VI(DST-6)：, DST類型VII(DST-7)：, DST類型VIII(DST-8)：轉變類型(諸如DST類型)可由轉變基底函數之數學公式指定。舉例而言，4點DST-VII及8-點DST-VII具有相同轉變類型，不管N之值。 在不損失一般性的情況下，所有上文轉變類型可使用下文的通用公式來表示：. 在上文等式中，T為可由一個某種轉變(例如，DCT類型-I至DCT類型-VIII，或DST類型-I至DST類型-VIII)之定義指定的轉變矩陣，且T之列向量(例如，[Ti , 0 、Ti , 1 、Ti , 2 、…、Ti , N - 1 ])為第i個轉變基礎向量。應用於N 點輸入向量之轉變可被稱作N 點轉變。 亦應注意，應用於1-D輸入資料x之以上轉變公式可以如下文的矩陣乘法形式來表示在上述等式中，T 指示轉變矩陣，x 指示輸入資料向量，且y指示輸出轉變係數向量。 先前章節中介紹之轉變可應用於1-D輸入資料，且轉變亦可經擴展用於2-D輸入資料源。在以下論述中，X 為輸入M×N資料陣列。於2-D輸入資料上應用轉變之技術可包括可分離的及非可分離的2-D轉變。 可分離的2-D轉變順序對X之水平向量及垂直向量應用1-D轉變，公式如下：在上述等式中，C及R分別表示給定M×M及N×N轉變矩陣。自該公式，可見C針對X之行向量應用1-D轉變，而R針對X之列向量應用1-D轉變。在本文件之稍後部分中，為簡單起見，C及R表示為左(垂直)及右(水平)轉變，且其皆形成轉變對。存在C等於R且為正交矩陣的情況。在此情況下，可分離的2-D轉變可由僅一個轉變矩陣判定。 在一些實例中，非可分離的2-D轉變可首先藉由應用以下數學映射將X之所有元素重組成單個向量，即X'：接著，1-D轉變T'可如下應用於X'：在上述等式中，T'為(M*N)×(M*N)轉變矩陣。 在視訊寫碼中，可應用可分離2-D轉變，此係由於2-D轉變與1-D轉變相比可使用較少操作計數(例如，加法、乘法)。 在習知視訊編碼解碼器(諸如H.264/AVC)中，4點及8點DCT類型II之整數近似值應用於框內及框間預測殘差兩者。換言之，視訊寫碼器可將4點及8點DCT類型II之整數近似值應用於使用框內或框間預測產生的殘差區塊。為更好地適應殘差樣本之各種統計資料，將除DCT類型II外之更靈活類型之轉變用於新一代視訊編碼解碼器中。舉例而言，在HEVC中，4點類型VII DST之整數近似值可用於框內預測殘差。如IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), March 2010, 第726至729頁，J. Han, A. Saxena及K. Rose之「Towards jointly optimal spatial prediction and adaptive transform in video/image coding」中所描述，已在理論上證實並以實驗方式驗證用於HEVC之DST類型VII與DCT類型II相比對於沿框內預測方向產生的殘差向量更高效。舉例而言，DST類型VII與DCT類型II相比對於由水平框內預測方向產生的列殘差向量更高效。在HEVC中，4點DST類型VII之整數近似值僅僅應用於4×4明度框內預測殘差區塊。用於HEVC中之4點DST-VII在下文展示： 4×4 DST-VII： {29, 55, 74, 84} {74, 74,  0,-74} {84,-29,-74, 55} {55,-84, 74,-29} 在HEVC中，對於不為4×4明度框內預測殘差區塊之殘差區塊，亦可應用4點、8點、16點及32點DCT類型II之整數近似值，如下文所示： 4點DCT-II： {64, 64, 64, 64} {83, 36,-36,-83} {64,-64,-64, 64} {36,-83, 83,-36} 8點DCT-II： {64, 64, 64, 64, 64, 64, 64, 64} {89, 75, 50, 18,-18,-50,-75,-89} {83, 36,-36,-83,-83,-36, 36, 83} {75,-18,-89,-50, 50, 89, 18,-75} {64,-64,-64, 64, 64,-64,-64, 64} {50,-89, 18, 75,-75,-18, 89,-50} {36,-83, 83,-36,-36, 83,-83, 36} {18,-50, 75,-89, 89,-75, 50,-18} 16點DCT-II： {64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64} {90, 87, 80, 70, 57, 43, 25,  9, -9,-25,-43,-57,-70,-80,-87,-90} {89, 75, 50, 18,-18,-50,-75,-89,-89,-75,-50,-18, 18, 50, 75, 89} {87, 57,  9,-43,-80,-90,-70,-25, 25, 70, 90, 80, 43, -9,-57,-87} {83, 36,-36,-83,-83,-36, 36, 83, 83, 36,-36,-83,-83,-36, 36, 83} {80,  9,-70,-87,-25, 57, 90, 43,-43,-90,-57, 25, 87, 70, -9,-80} {75,-18,-89,-50, 50, 89, 18,-75,-75, 18, 89, 50,-50,-89,-18, 75} {70,-43,-87,  9, 90, 25,-80,-57, 57, 80,-25,-90, -9, 87, 43,-70} {64,-64,-64, 64, 64,-64,-64, 64, 64,-64,-64, 64, 64,-64,-64, 64} {57,-80,-25, 90, -9,-87, 43, 70,-70,-43, 87,  9,-90, 25, 80,-57} {50,-89, 18, 75,-75,-18, 89,-50,-50, 89,-18,-75, 75, 18,-89, 50} {43,-90, 57, 25,-87, 70,  9,-80, 80, -9,-70, 87,-25,-57, 90,-43} {36,-83, 83,-36,-36, 83,-83, 36, 36,-83, 83,-36,-36, 83,-83, 36} {25,-70, 90,-80, 43,  9,-57, 87,-87, 57, -9,-43, 80,-90, 70,-25} {18,-50, 75,-89, 89,-75, 50,-18,-18, 50,-75, 89,-89, 75,-50, 18} {9, -25, 43,-57, 70,-80, 87,-90, 90,-87, 80,-70, 57,-43, 25, -9}32 點DCT - II ： {64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64, 64,64,64,64,64,64,64,64,64,64,64} {90,90,88,85,82,78,73,67,61,54,46,38,31,22,13,4,-4,-13,-22,-31, -38,-46,-54,-61,-67,-73,-78,-82,-85,-88,-90,-90} {90,87,80,70,57,43,25,9,-9,-25,-43,-57,-70,-80,-87,-90,-90,-87, -80,-70,-57,-43,-25,-9,9,25,43,57,70,80,87,90} {90,82,67,46,22,-4,-31,-54,-73,-85,-90,-88,-78,-61,-38,-13,13,38, 61,78,88,90,85,73,54,31,4,-22,-46,-67,-82,-90} {89,75,50,18,-18,-50,-75,-89,-89,-75,-50,-18, 18,50,75,89,89,75,50,18,-18,-50,-75,-89,-89,-75,-50,-18,18,50,75,89} {88,67,31,-13,-54,-82,-90,-78,-46,-4,38,73,90,85,61,22,-22,-61, -85,-90,-73,-38,4,46,78,90,82,54,13,-31,-67,-88} {87,57,9,-43,-80,-90,-70,-25,25,70,90,80,43,-9,-57,-87,-87,-57,-9, 43,80,90,70,25,-25,-70,-90,-80,-43,9,57,87} {85,46,-13,-67,-90,-73,-22,38,82,88,54,-4,-61,-90,-78,-31, 31,78,90,61,4,-54,-88,-82,-38,22,73,90,67,13,-46,-85} {83,36,-36,-83,-83,-36,36,83,83,36,-36,-83,-83,-36,36,83,83,36, -36,-83,-83,-36,36,83,83,36,-36,-83,-83,-36,36,83} {82,22,-54,-90,-61,13,78,85,31,-46,-90,-67,4,73,88,38,-38,-88,-73, -4,67,90,46,-31,-85,-78,-13,61,90,54,-22,-82} {80,9,-70,-87,-25,57,90,43,-43,-90,-57,25,87,70,-9,-80,-80,-9,70, 87,25,-57,-90,-43,43,90,57,-25,-87,-70,9,80} {78,-4,-82,-73,13,85,67,-22,-88,-61,31,90,54,-38,-90,-46,46,90,38, -54,-90,-31,61,88,22,-67,-85,-13,73,82,4,-78} {75,-18,-89,-50,50,89,18,-75,-75,18,89,50,-50,-89,-18,75,75,-18, -89,-50,50,89,18,-75,-75,18,89,50,-50,-89,-18,75} {73,-31,-90,-22,78,67,-38,-90,-13,82,61,-46,-88,-4,85,54,-54,-85, 4,88,46,-61,-82,13,90,38,-67,-78,22,90,31,-73} {70,-43,-87,9,90,25,-80,-57,57,80,-25,-90,-9,87,43,-70,-70,43,87, -9,-90,-25,80,57,-57,-80,25,90,9,-87,-43,70} {67,-54,-78,38,85,-22,-90,4,90,13,-88,-31,82,46,-73,-61,61,73,-46, -82,31,88,-13,-90,-4,90,22,-85,-38,78,54,-67} {64,-64,-64,64,64,-64,-64,64,64,-64,-64,64,64,-64,-64,64,64,-64, -64,64,64,-64,-64,64,64,-64,-64,64,64,-64,-64,64} {61,-73,-46,82,31,-88,-13,90,-4,-90,22,85,-38,-78,54,67,-67,-54, 78,38,-85,-22,90,4,-90,13,88,-31,-82,46,73,-61} {57,-80,-25,90,-9,-87,43,70,-70,-43,87,9,-90,25,80,-57,-57,80,25, -90,9,87,-43,-70,70,43,-87,-9,90,-25,-80,57} {54,-85,-4,88,-46,-61,82,13,-90,38,67,-78,-22,90,-31,-73,73,31, -90,22,78,-67,-38,90,-13,-82,61,46,-88,4,85,-54} {50,-89,18,75,-75,-18,89,-50,-50,89,-18,-75,75,18,-89,50,50,-89, 18,75,-75,-18,89,-50,-50,89,-18,-75,75,18,-89,50} {46,-90,38,54,-90,31,61,-88,22,67,-85,13,73,-82,4,78,-78,-4,82, -73,-13,85,-67,-22,88,-61,-31,90,-54,-38,90,-46} {43,-90,57,25,-87,70,9,-80,80,-9,-70,87,-25,-57,90,-43,-43,90,-57, -25,87,-70,-9,80,-80,9,70,-87,25,57,-90,43} {38,-88,73,-4,-67,90,-46,-31,85,-78,13,61,-90,54,22,-82,82,-22, -54,90,-61,-13,78,-85,31,46,-90,67,4,-73,88,-38} {36,-83,83,-36,-36,83,-83,36,36,-83,83,-36,-36,83,-83,36,36,-83, 83,-36,-36,83,-83,36,36,-83,83,-36,-36,83,-83,36} {31,-78,90,-61,4,54,-88,82,-38,-22,73,-90,67,-13,-46,85,-85,46,13, -67,90,-73,22,38,-82,88,-54,-4,61,-90,78,-31} {25,-70,90,-80,43,9,-57,87,-87,57,-9,-43,80,-90,70,-25,-25,70,-90, 80,-43,-9,57,-87,87,-57,9,43,-80,90,-70,25} {22,-61,85,-90,73,-38,-4,46,-78,90,-82,54,-13,-31,67,-88,88,-67, 31,13,-54,82,-90,78,-46,4,38,-73,90,-85,61,-22} {18,-50,75,-89,89,-75,50,-18,-18,50,-75,89,-89,75,-50,18,18,-50, 75,-89,89,-75,50,-18,-18,50,-75,89,-89,75,-50,18} {13,-38,61,-78,88,-90,85,-73,54,-31,4,22,-46,67,-82,90,-90,82, -67,46,-22,-4,31,-54,73,-85,90,-88,78,-61,38,-13} {9,-25,43,-57,70,-80,87,-90,90,-87,80,-70,57,-43,25,-9,-9,25,-43, 57,-70,80,-87,90,-90,87,-80,70,-57,43,-25,9} {4,-13,22,-31,38,-46,54,-61,67,-73,78,-82,85,-88,90,-90,90,-90,88, -85,82,-78,73,-67,61,-54,46,-38,31,-22,13,-4} 如http://www.hhi.fraunhofer.de/fields-of-competence/image-processing/ research-groups/image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the-residual-quadtree-rqt.html中所描述，為了適應殘差區塊之各種特性，使用殘差四分樹(RQT)之轉變寫碼結構可應用於HEVC中。如上文簡單描述，每一圖像可分成多個寫碼樹單元(CTU)。可針對特定圖像塊或圖塊以光柵掃描次序寫碼CTU。CTU可為正方形區塊且可表示四分樹(例如，寫碼樹)之根。CTU大小可在8×8至64×64明度樣本範圍內，但通常使用64×64。每一CTU可經進一步分裂成稱為CU之較小正方形區塊。在CTU經遞迴地分裂成CU之後，每一CU可經進一步分成一或多個PU及一或多個TU。CU分割成TU可基於四分樹方法遞迴地實施。因此，每一CU之殘差信號係藉由樹狀結構(亦即，殘差四分樹(RQT))來寫碼。 RQT允許自4×4達32×32明度樣本之TU大小。圖2展示其中CU包括10個TU(標記有字母a至j)及對應區塊分割之實例。RQT的每一節點實際上可為TU。可以深度優先樹遍歷次序處理個別TU，深度優先樹遍歷次序在圖2中說明為字母次序，其遵循使用深度優先遍歷之遞歸Z掃描。四分樹方法可使得能夠使轉變適應於殘差信號之變化的空間頻率特性。通常，具有更大空間支援之更大轉變區塊大小提供更佳頻率解析度。然而，具有更小空間支援之更小轉變區塊大小提供更佳空間解析度。空間及頻率解析度兩者之間的折衷可藉由編碼器模式決策加以選擇。舉例而言，更大或更小轉變區塊大小之選擇可基於速率-失真最佳化技術。速率-失真最佳化技術可針對每一寫碼模式(例如，特定RQT分裂結構)計算寫碼位元與重建構失真之加權和(例如，速率-失真成本)。另外，速率-失真最佳化技術可選擇具有最少速率-失真成本之寫碼模式作為最佳模式。 在RQT中可定義三個參數：RQT之最大深度、RQT之最小允許轉變大小及最大允許轉變大小。最小及最大轉變大小可在4×4至32×32樣本範圍內變化，其可對應於先前段落中提及的所支援區塊轉變。RQT之最大允許深度可限制TU之數目。最大深度等於零可意謂若每一所包括轉變區塊(TB)達到最大允許之轉變大小(例如32×32)，則寫碼區塊(CB)無法經更進一步分裂。 三個參數中之每一者相互作用並影響RQT結構。考慮根CB大小為64×64，最大深度等於零且最大轉變大小等於32×32的情況。在此情況下，CB可被分割至少一次，此係由於否則的話其將產生可不被允許的64×64 TB。RQT參數(例如，最大RQT深度、最小及最大轉變大小)可在序列參數集層級處在位元串流中傳輸。關於RQT深度，可針對經框內及框間寫碼CU指定且傳信不同值。 可將四分樹轉變應用於框內殘差區塊及框間殘差區塊兩者。與當前殘差四分樹分割相同大小之DCT-II轉變可經應用於殘差區塊。然而，若當前殘差四分樹區塊為4×4並由框內預測產生，則可應用上述4×4 DST-VII轉變。在HEVC中，更大大小之轉變(例如，64×64轉變)主要歸因於其受限之益處及對於相對較小解析度視訊之相對高的複雜度而不被採用。 儘管相較於習知DCT類型II，DST類型VII可有效改良框內寫碼效率，但轉變效率可能由於預測殘差呈現各種統計資料而相對受限，且DCT類型II及DST類型VII之固定使用可不會有效適應所有可能的情況。 如2009年8月，Opt. Eng.，第48卷，第8號，第087004-1至087004-14頁，Lim等人之「Rate-distortion optimized adaptive transform coding」中所描述，轉變方案適應性地使用DCT或DST的整數版本以用於預測殘差，對於每一區塊，傳信DCT或DST轉變是否用於預測殘差。如2008年10月，Proc. 15th IEEE Int. Conf. Image Process.，第2116至2119頁，Y. Ye及M. Karczewicz之「Improved H.264 intra coding based on bidirectional intra prediction, directional transform, and adaptive coefficient scanning」中所描述，每一框內預測模式可映射至唯一轉變(例如，C及R)對、預定義為KLT對，使得模式相依轉變(MDDT)適用。以此方式，不同KLT可用於不同框內預測模式。然而，使用哪一轉變經預定義並取決於框內預測模式。 然而，如2012年1月IEEE Trans. Circuits Syst. Video Technol.第22卷，第1號，第138至151頁，X. Zhao等人之「Video coding with rate-distortion optimized transform」中所描述，可使用更多轉變且此等實例可明確地傳信來自自離線訓練過程導出的轉變候選者之預定義集合的轉變的索引(例如，編碼指示索引之資料)。類似於MDDT，在此等實例中，每一框內預測方向可具有其轉變對之唯一集合。可傳信索引以指定自該集合選擇哪個轉變對。舉例而言，對於最小區塊大小4×4，可存在多達四個垂直KLT及多達四個水平KLT。因此，在此實例中，可選擇16個組合。對於較大區塊大小，可使用較少數目個組合。在本發明中提出的技術可應用於框內及框間預測殘差兩者。在本發明中，框內預測殘差指使用框內預測產生的殘差資料。此外，在本發明中，框間預測殘差指使用框間預測產生的殘差資料。用於框間預測殘差，可選擇KLT之多達16個組合，且可針對每一區塊傳信該等組合(對於4×4為四且對於8×8為十六)中的一者之索引。 如IEEE Trans. Image Processing，Saxena等人之「DCT/DST-based transform coding for intra prediction in image/video coding」，及2012年IEEE Trans. Circuits Syst. Video Technol.第22卷，第4號，第545至554頁，Yeo等人之「Mode-dependent transforms for coding directional intra prediction residuals」中所描述，可使用多個轉變。然而，在此等實例中，替代使用KLT(其可經訓練) ，DCT(DCT-II)或DST(DST-VII)可用於轉變單元(其中左轉變及右轉變兩者係相同的)，且待使用哪一者由所傳信旗標判定。 此外，如2013年11月，IEEE Journal of Selected Topics in Signal Processing，第7卷，第6期，Zou等人之「Rate-Distortion Optimized Transforms Based on the Lloyd-Type Algorithm for Intra Block Coding」中所描述，使用若干預定義KLT對，可對於寫碼單元傳信(而不是導出)轉變對之索引，以使得CU之每一TU使用同一對轉變。 如JCTVC-G281，An等人之「Non-CE7:Boundary-Dependent Transform for Inter-Predicted Residue」中所描述，可根據TU在CU內的位置而將多個轉變選擇用於TU之框間預測殘差。C及R轉變兩者可選自DST-VII及DST-VII之倒轉版本。因此，對於CU內之TU，多達四個組合可係可能的。然而，由於組合可完全由PU之位置判定，因此可能不需要傳信正在使用哪個組合。 在2015年3月23日申請之美國臨時申請案第62/137,038號、2015年1月26日申請之美國臨時申請案第62/107,996號及2016年1月25日申請之美國專利申請案第15/005,736號中，增強型多轉變(EMT)技術經提出用於框內及框間預測殘差兩者。在EMT中，CU層級旗標可經傳信以指示是僅僅使用習知DCT-2轉變抑或使用其他非DCT2類型轉變。若CU層級經傳信為1，則可進一步對於當前CU內部的每一TU傳信兩位元TU層級索引以指示將來自轉變子集的哪個水平/垂直轉變用於當前TU。轉變子集可含有自DST-VII、DCT-VIII、DCT-V及DST-I中選擇的兩個轉變，且選擇可基於框內預測模式及其係水平轉變子集抑或垂直轉變子集。 圖3A為視訊編碼器(諸如視訊編碼器20)處之實例轉變過程之說明。圖3B為視訊解碼器(諸如視訊解碼器30)處之實例轉變過程的說明。在圖3A的實例中，視訊編碼器20應用前向一次轉變40(fwdT)，緊接著二次轉變41(fwdR)，緊接著前向量化42(fwdQua)。在圖3B的實例中，視訊解碼器30應用逆量化43(invQ)，緊接著逆二次轉變44(invR)，緊接著逆一次轉變45(invTran)。前向一次轉變40可將殘差樣本自像素域轉換成頻域中之轉變係數。逆一次轉變43可將頻域中之轉變係數轉換成像素域中之殘差樣本。 二次轉變41可以用於轉變係數之更好能量精簡。如圖3A及圖3B中所說明，二次轉變41可將另一轉變應用於自第一轉變過程導出的轉變係數上。 如2011年3月16日至23日，瑞士日內瓦，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC)，JCTVC-E380， E. Alshina, A. Alshin, F. Fernandes, A. Saxena, V. Seregin, Z. Ma, W.-J. Han(三星)之「CE7: Experimental results of ROT by Samsung」 中所描述，二次轉變可為旋轉轉變(ROT)。ROT不替換一次轉變。然而，ROT僅對於轉變係數矩陣之低頻部分被應用為二次轉變。使用如上文中所描述之ROT的情況下，對於每一框內寫碼TU，傳信指示應用來自四個預定義轉變候選者中的哪個ROT的索引。4×4二次轉變應用於4×4框內寫碼TU，而8×8二次轉變應用於8×8及更大的框內寫碼TU。舉例而言，在實例中，二次轉變可指定如下。在上文所說明的四個轉變候選者中，一個候選者對應於不應用二次轉變，且其他三個候選者對應於由α1、α2、…、α6之三個不同設定產生的Rvertical 及Rhorizontal 。更多詳細描述可在2010年4月15日至23日，德國德累斯頓，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC)，JCTVC-A124，K. McCann, W.-J. Han, I.-K. Kim, J.-H. Min, E. Alshina, A. Alshin, T. Lee, J. Chen, V. Seregin, S. Lee, Y.-M. Hong, M.-S. Cheon, N. Shlyakhov之「Video coding technology proposal by Samsung (and BBC)」中發現。 圖4為藉由視訊解碼器(諸如視訊解碼器30)應用的實例ROT之說明。在圖4的實例中，視訊解碼器對大小在4×4至32×32範圍內之轉變係數區塊62執行逆量化60(Inv Q)。此外，在圖4的實例中，視訊解碼器僅對於轉變係數矩陣之低頻部分應用逆ROT 64(Inv ROT)作為二次轉變。舉例而言，如圖4之實例中所示，4×4及8×8轉變係數矩陣之所有轉變係數可被認為在轉變係數矩陣之低頻部分中。然而，如圖4中所示，僅16×16及32×32轉變係數矩陣的左上8×8子區塊中之轉變係數被考慮為在轉變係數矩陣之低頻部分中。此外，在圖4之實例中，視訊解碼器將逆DCT轉變66(Inv DCT轉變)應用於轉變係數矩陣以將轉變係數矩陣轉換成殘差區塊。在圖4的實例中，在將逆DCT轉變66應用於16×16及32×32轉變係數矩陣之前，視訊解碼器可使用由應用逆ROT 64產生的對應8×8轉變係數矩陣替換16×16及32×32轉變係數矩陣之左上8×8子區塊。 如2015年6月，ITU-T SG16 Doc. VCEG-AZ05，E. Alshina, A. Alshin, J.-H. Min, K. Choi, A. Saxena, M. Budagavi之「Known tools performance investigation for next generation video coding」中所描述，ROT可經擴展至整個TU，不僅僅低頻部分。更特定言之，三個4×4可分離二次轉變候選者可經預定義，且所選擇候選者可在CU層級處以2位元索引明確地傳信。2位元索引可在本文中稱為ROT索引。在一個實例中，當ROT索引為0時，不應用二次轉變。然而，在此實例中，當ROT索引為1、2及3時，對應於三個預定義二次轉變候選者中之一者的二次轉變可應用於當前CU內部的每一TU。給定所選擇二次轉變，對於當前TU的每一4×4子區塊，可應用二次4×4可分離二次轉變。 二次轉變之設計可將可分離轉變應用為二次轉變。然而，由於非可分離轉變可在2-D影像區塊上提供優良寫碼增益，因此可改良二次轉變效率。換言之，在視訊寫碼之情形中，轉變係數可大致不相關且稀疏，使得輸入向量x之能量可僅僅精簡在幾個轉變係數上，且剩餘大部分轉變係數可通常接近於0。在實例中，KLT(其為非可分離轉變)可具有最佳能量精簡性，此係由於其使用輸入資料的協方差矩陣之特徵向量作為轉變基礎向量而非僅將係數自像素域轉變至頻域。 更特定言之，可分離轉變可俘獲沿水平及/或垂直方向之像素相關性。對比而言，非可分離轉變可俘獲2維影像區塊中之任一對兩個像素之間的相關性。因此，非可分離轉變可具有比可分離轉變更多的減少資料相關性的靈活性。舉例而言，對於展示沿非水平或非垂直方向(例如，45度邊緣紋理)之相關性的影像區塊，可分離轉變可能不會高效地減少沿45度方向之像素之間的相關性，而非可分離(轉變)可有效減少相關性。 鑒於上文所論述問題，提出以下技術。應理解下文所描述之本發明的技術可結合用於自適應性交叉分量殘差預測的技術(諸如在美國專利申請案第15/006,994號及美國臨時申請案第62/108,491號中描述的彼等技術)一起使用。下文描述在本發明中提出之詳細列舉技術。視訊編碼器20及/或視訊解碼器30可個別地應用詳細列舉技術。替代地，視訊編碼器20及/或視訊解碼器30可應用詳細列舉技術之任何組合。 根據第一技術，視訊編碼器20及/或視訊解碼器30經組態以在量化與轉變過程之間應用非可分離二次轉變。舉例而言，應用於平坦模式之非可分離轉變集合(包括三個非可分離轉變)可為如下。 在此實例之一個態樣中，非可分離二次轉變可為KLT，其可自離線訓練導出，或使用假定影像相關模型以分析形式離線導出。在一些實例中，影像相關模型為函數f(x,y)，其量測隨機向量的第i與第j個元素之間的協方差。隨機向量可為具有多個維度之隨機變數。換言之，影像相關函數可為對稱的：f(x,y) = f(y,x)，且協方差矩陣Cov(x,y)=f(x,y)可為半正定。相關模型之實例為f{x*y}=ρ| x - y | ，其中0≤ρ≤1。 在此實例之一個態樣中，非可分離二次轉變可為KLT，其可自離線訓練導出，或使用在編碼/解碼過程期間在線導出的KLT以分析形式離線導出。在一些情況下，在編碼/解碼過程期間，視訊編碼器20及/或視訊解碼器30經組態以收集轉變係數之統計資料，且更新(其中應用二次轉變)轉變係數之相關矩陣。基於經更新相關矩陣，視訊編碼器20及/或視訊解碼器30可經組態以提取本徵向量，並將KLT轉變核心作為由按其對應本徵值之次序配置的所有本徵向量組成的矩陣導出。 根據第一技術之實例，視訊編碼器20可形成殘差視訊區塊。在一些實例中，作為形成殘差視訊區塊之部分，視訊編碼器20自正被寫碼的視訊區塊減去一或多個預測性區塊。另外，視訊編碼器20可將第一轉變應用於殘差視訊區塊以產生第一係數區塊。在此實例中，第一轉變將殘差視訊區塊自像素域轉換至頻域。如本文所使用，像素域或空間域可指其中像素的值之變化對應於彼像素的明度及/或色彩之變化的域。然而，如本文所使用，頻域可指其中像素的值之變化對應於像素之像素值在像素域中改變的速率之變化的域。此外，視訊編碼器20可將二次轉變應用於第一係數區塊的至少部分以產生第二係數區塊。根據本發明之第一技術，第二轉變為非可分離轉變，諸如KLT。視訊編碼器20接著可量化第二係數區塊。 類似地，根據第一技術之實例，視訊解碼器30可逆量化第一係數區塊。另外，在此實例中，視訊解碼器30可將第一逆轉變(亦即，逆二次轉變)應用於經逆量化第一係數區塊的至少部分以產生第二係數區塊。根據本發明之第一技術，第一逆轉變為非可分離轉變，諸如KLT。此外，在此實例中，在應用第一逆轉變以產生第二係數區塊之後，視訊解碼器30可將第二逆轉變應用於第二係數區塊以產生殘差視訊區塊。在此實例中，第二逆轉變將第二係數區塊自頻域轉換至像素域。另外，在此實例中，視訊解碼器30可形成經解碼視訊區塊。在一些實例中，作為形成經解碼視訊區塊之部分，視訊解碼器30將殘差視訊區塊與一或多個預測性區塊求和。舉例而言，視訊解碼器30可將殘差視訊區塊與一或多個預測性區塊求和，並基於殘差視訊區塊與一或多個預測性區塊的和形成經解碼視訊區塊。 根據第二技術，視訊編碼器20及/或視訊解碼器30執行自三個或三個以上非可分離轉變候選者的預先選擇以調配非可分離轉變之子集。在一些實例中，非可分離轉變的子集可指KLT，其藉由離線訓練而導出，且針對編碼器20及/或解碼器30兩者，轉變核心經硬寫碼為固定數目。視訊編碼器20及/或視訊解碼器30可自轉變之子集中選擇用於當前TU的最終轉變。 舉例而言，視訊編碼器20可調配包括三個或三個以上非可分離轉變候選者之非可分離轉變的集合之子集。在此實例中，視訊編碼器20可自非可分離轉變之集合的子集中選擇一個候選者作為第一逆轉變。在此實例之一些態樣中，非可分離轉變之集合包括十二個轉變子集，十二個轉變子集包括非可分離轉變之集合的子集。在此實例之一些態樣中，非可分離轉變之集合係由視訊資料之明度框內預測模式指定。舉例而言，視訊編碼器20可指定視訊資料之第一明度框內預測模式與非可分離的轉變之第一集合一起使用，並可指定視訊資料之第二明度框內預測模式與非可分離的轉變之第二集合一起使用。更特定言之，視訊編碼器20可藉由傳信之索引(例如，指示索引之資料)及所選擇轉變子集指定轉變候選者。 類似地，視訊解碼器30可調配包括三個或三個以上非可分離轉變候選者之非可分離轉變的集合之子集。在此實例中，視訊解碼器30可自非可分離轉變之集合的子集中選擇一個候選者作為第二轉變。在此實例之一些態樣中，非可分離轉變之集合包括十二個轉變子集，十二個轉變子集包括非可分離轉變之集合的子集。在此實例之一些態樣中，非可分離轉變之集合係由視訊資料之明度框內預測模式指定。 在一實例中，用以調配轉變之子集的預先選擇可由已經解碼資訊(諸如框內預測模式、EMT CU層級及/或TU層級索引、RQT深度、經量化係數、參考預測區塊、PU內部之當前TU的相對位置(TU定位於當前PU之哪一邊界)、區塊大小、區塊形狀(其為正方形抑或非正方形區塊，及高度對寬度之比率))判定。換言之，視訊解碼器30可根據經解碼資訊而非依賴於單獨或額外傳信預先選擇轉變之子集。舉例而言，視訊編碼器20可基於經解碼資訊判定子集，解碼資訊包含框內預測模式、CU層級EMT索引、TU層級EMT索引、殘差四分樹深度、經量化係數、參考預測區塊及PU內部之當前TU的相對位置中之一或多者。在此實例之一些態樣中，應用十二個轉變子集，且指定自框內預測模式至轉變子集選擇的映射的查找表經預定義，給定框內預測模式及此查找表，首先選擇轉變子集(其包括三個不同非可分離轉變)，接著進一步藉由經解碼資訊指定三個非可分離轉變中的一者並將其用以執行第一轉變。類似地，在此實例之一些態樣中，視訊解碼器30可基於以下各者中之一或多者判定子集：框內預測模式、CU層級EMT索引、TU層級EMT索引、殘差四分樹深度、經量化係數、參考預測區塊、單元PU內部之當前TU的相對位置、區塊大小，及區塊形狀(其為正方形抑或非正方形區塊，及高度對寬度之比率)。 根據第二技術之一些實例，轉變子集之數目可限於小整數，例如，1、2、3、4、12或34。另外，在此實例之一些態樣中，不同轉變子集可含有不同類型的轉變。舉例而言，視訊編碼器20可預先選擇具有一或多個左轉變之第一子集、具有一或多個右轉變之第二集合或具有左及右轉變之第三集合作為預先選擇的子集。接著，在實例中，視訊編碼器20可自預先選擇的子集選擇一個轉變候選者作為所選擇轉變。舉例而言，視訊編碼器20可使用編碼器模式決策選擇轉變，且視訊編碼器20編碼指示轉變之索引的資料。類似地，視訊解碼器30可自位元串流解碼索引並基於經解碼索引自預先選擇的轉變之集合中選擇轉變。 在一些實例中，對應於不同框內預測模式的非可分離轉變之集合的轉變子集中之轉變候選者的總數係不同的。舉例而言，視訊編碼器20及/或視訊解碼器30可使用用於第一框內預測模式之第一子集及用於第二框內預測模式之第二子集。 在一實例中，存在總共12個轉變子集。在此實例中，12個轉變子集中之每一各別轉變子集含有三個非可分離轉變候選者。轉變子集可藉由明度框內預測模式指定，且對於不同框內模式，可應用同一轉變集合。如本文所使用，框內預測模式可指用於正被預測之區塊的各種預測方向。框內預測模式之實例可包括(但不限於)垂直、水平、對角線左下、對角線右下、垂直右、水平下、垂直左、水平上及用於正被預測區塊之其他預測方向。換言之，在此實例之一些態樣中，非可分離的轉變之集合藉由視訊資料之明度框內預測模式指定。舉例而言，視訊解碼器30可選擇12個轉變子集中之一個轉變子集用於特定明度框內預測模式。在實例之態樣中，視訊解碼器30可選擇所選擇子集中所含有的三個非可分離轉變候選者中之第一轉變以用於第一框內預測模式，並可選擇所選擇子集中所含有的三個非可分離轉變候選者中之第二轉變以用於第二框內預測模式。 在一實例中，存在總共12個轉變子集，且每一轉變子集可含有五個非可分離轉變候選者。轉變集合可藉由明度框內預測模式及EMT CU層級及TU層級索引指定。對於不同框內模式，可應用同一轉變集合。 在一實例中，轉變子集可含有僅僅一個轉變。對於不同TU大小，轉變子集中之轉變之數目可不同，典型數目可為(但不限於)2、3及4。對於不同框內預測模式，轉變子集中之轉變之數目可不同，典型數目可為(但不限於)2、3及4。在實例之態樣中，對於平坦或DC預測模式，轉變子集中之轉變之數目為2，而對於其他預測模式，轉變子集中之轉變之數目為3。 圖5及圖6係關於本發明之第三技術。圖5為說明包括二次轉變係數重組過程之實例編碼過程的一部分之方塊圖。圖6為說明包括二次轉變係數重組過程之實例解碼過程的一部分之方塊圖。在圖5中，視訊編碼器20將一次轉變100應用於殘差區塊101以產生2維係數區塊102。此外，圖5之編碼過程包括非可分離二次轉變106。非可分離二次轉變106可採取1維係數向量156作為輸入並產生1維係數向量108作為輸出。因此，在圖5的實例中，一次轉變100產生2維係數區塊102，但非可分離二次轉變106採用1維係數向量作為輸入。因此，視訊編碼器20可執行重組過程104以將2維係數區塊102轉變成1維係數向量105。在一些實例中，重組過程104可認為係非可分離二次轉變106之部分。 此外，量化過程114可採取2維係數區塊112作為輸入並可輸出經量化2維係數區塊116。因此，根據本發明之第三技術，視訊編碼器20可在視訊編碼器20在編碼期間應用二次轉變106之後應用二次轉變係數重組過程110以用於將藉由非可分離二次轉變106導出的1維係數向量108重組為2維係數區塊112。應用重組過程110可排除修改量化過程106以接納1維係數向量的需要。 在圖6中，視訊解碼器30可將逆量化150應用於經量化2維係數區塊151以導出2維係數區塊152。此外，圖6之解碼過程包括逆二次轉變158。逆二次轉變158可採取1維係數向量156作為輸入並輸出1維係數向量160。舉例而言，逆二次轉變158可採取16×1係數向量作為輸入並可輸出16×1係數向量。然而，逆量化150可輸出2維係數區塊152，且一次逆轉變166可採取2維係數區塊164作為輸入。因此，根據本發明之第三技術，在視訊解碼器30在解碼過程期間應用二次逆轉變158之前，視訊解碼器30可應用二次轉變係數重組過程154以用於將藉由逆量化150導出的2維係數區塊152重組為1維係數向量156。在應用逆二次轉變158之前應用重組過程154可排除修改逆量化150以產生1維係數向量的需要。此外，視訊解碼器30可應用二次轉變係數重組過程162以用於將1維係數向量160重組為2維係數區塊164。視訊解碼器30接著可將一次逆轉變166應用於2維係數區塊164以產生殘差區塊168。在應用一次逆轉變166之前應用重組過程162可排除修改一次逆轉變166之需要。在一些實例中，重組過程162被認為二次逆轉變158之一部分。 因此，根據第三技術，視訊編碼器20可形成殘差視訊區塊。作為形成殘差視訊區塊之部分，視訊編碼器20可自正被寫碼之視訊區塊減去一或多個預測性區塊。另外，視訊編碼器20可將第一轉變(例如，一次轉變100)應用於殘差視訊區塊的至少部分以產生第一2維係數區塊(例如，2維係數區塊102)。在此實例中，第一轉變將殘差視訊區塊自像素域轉換至頻域。另外，視訊編碼器20可將第一2維係數區塊重組為第一1維係數向量。在實例中，視訊編碼器20可將第二轉變應用於第一1維係數向量的至少部分以產生第二1維係數向量。在此實例中，第二轉變為非可分離轉變。在實例中，第二轉變為非可分離轉變。在此實例中，視訊編碼器20可根據係數掃描次序將第二1維係數向量重組為第二2維係數區塊。 類似地，視訊解碼器30可根據係數掃描次序將第一2維係數區塊(例如，2維係數區塊152)重組為第一1維係數向量(例如，1維係數向量156)。在此實例中，視訊解碼器30可藉由將非可分離轉變矩陣乘以第一1維係數向量以產生第二1維係數向量(例如，1維係數區塊160)而應用第一逆轉變(例如，非可分離二次逆轉變158)。在此實例中，第一逆轉變為非可分離轉變。在此實例中，視訊解碼器30可將第二1維係數向量重組為2維係數區塊(例如，2維係數區塊164)。視訊解碼器30可將第二逆轉變(例如，一次逆轉變166)應用於第二2維係數區塊以產生殘差視訊區塊(例如，殘差區塊168)。在此實例中，第二逆轉變將第二2維係數區塊自頻域轉換至像素域。在此實例中，視訊解碼器30可形成經解碼視訊區塊。作為形成經解碼視訊區塊之部分，視訊解碼器30可將殘差視訊區塊與一或多個預測性區塊求和。 在第三技術之一些實例中，應用第二轉變包含將2維轉變矩陣乘以第一1維係數向量。在實例之一些情況下，第一2維係數區塊為4×4區塊且2維轉變矩陣為藉由明度框內預測模式及寫碼單元層級索引選擇的16×16非可分離轉變矩陣。舉例而言，視訊編碼器20可藉由將16×16非可分離轉變矩陣乘以第一1維係數向量(例如，1維係數向量105)而應用第二轉變(例如，非可分離二次轉變106)，藉此產生第二1維係數向量(例如，1維係數向量108)。類似地，視訊解碼器30可藉由將16×16非可分離轉變矩陣乘以第一1維係數向量(例如，1維係數向量156)而應用第二轉變(例如，非可分離二次轉變158)，藉此產生第二1維係數向量(例如，1維係數向量160)。 在第三技術之一些實例中，對4×4係數群執行的二次轉變係數重組過程可取決於4×4係數群之係數掃描次序。舉例而言，若視訊編碼器20在熵編碼期間使用Z形掃描次序以處理表示4×4係數群之係數的語法元素，則視訊編碼器20可在作為應用非可分離二次轉變之部分將4×4係數群重組成16×1係數向量時使用相同Z形掃描次序。 此外，在第三技術之一些實例中，視訊編碼器20可判定用於4×4係數群之係數掃描次序。在此實例中，視訊編碼器20可基於經判定係數掃描次序將第一1維係數向量重組為第一2維係數區塊(例如，4×4係數群)。在此實例之一些態樣中，視訊編碼器20可將第一1維係數向量重組為第一2維係數區塊以使得第一2維係數區塊具有對應於(例如，匹配)經判定係數掃描次序的係數掃描次序。 類似地，視訊解碼器30可判定用於4×4係數群之係數掃描次序。在此實例中，視訊解碼器30可基於經判定係數掃描次序將第二2維係數區塊(例如，4×4係數群)重組為第二1維係數向量。在此實例之一些態樣中，視訊解碼器30可將第二2維係數區塊重組為第二1維係數向量，以使得第二1維係數向量具有對應於(例如，匹配)經判定係數掃描次序之係數掃描次序。 在第三技術之一些實例中，對4×4係數群執行的二次轉變係數重組過程可取決於已編碼/解碼資訊，諸如框內預測模式、EMT CU層級及/或TU層級索引、RQT深度及/或經量化係數。換言之，視訊編碼器20之重組過程110可基於框內預測模式、EMT CU層級及/或TU層級索引、RQT深度及/或經量化係數將1維係數向量108重組為2維係數區塊112。舉例而言，視訊編碼器20可基於選擇垂直明度預測模式抑或水平明度預測模式而將1維係數向量108重組為2維係數區塊112，以使得1維係數向量具有對應(例如，匹配)經判定係數掃描次序的係數掃描次序。類似地，視訊解碼器30之重組過程154可基於框內預測模式、EMT CU層級及/或TU層級索引、RQT深度及/或經量化係數重組2維係數區塊152以產生1維係數向量156。 在第三技術之一個實例中，在將非可分離二次轉變(例如，二次轉變102)應用於特定4×4係數區塊之後，視訊編碼器20可導出16×1係數向量(例如，1維係數向量108)並可根據(亦即，沿)用於特定4×4區塊之係數掃描次序將所得16個係數重組為4×4區塊(例如，2維係數區塊112)。視訊編碼器20可以具有較小索引之係數置放在4×4係數區塊中之具有較小掃描索引之位置處的方式執行16個係數之重組。舉例而言，當逐列自4×4係數區塊之頂部至4×4係數區塊之底部掃描4×4係數區塊(例如，根據框內預測模式)時，視訊編碼器20可將係數區塊之頂部列的四個係數重組為1維係數向量之前四個係數，將係數區塊之次頂部列的四個係數重組為1維係數向量之接下來四個係數，等等。 在對TU係數執行解量化之後，視訊解碼器30可對於當前TU之每一4×4子區塊導出4×4經解量化二次轉變係數區塊(例如，2維係數區塊152)。此外，對於當前TU之每一各別4×4子區塊，視訊解碼器30可基於用於4×4區塊之係數掃描次序將各別4×4經解量化區塊中之16個係數重組為各別16×1向量(例如，1維係數向量156)。視訊解碼器30可以具有較小掃描索引之係數置放在16×1係數向量中之具有較小索引之位置處的方式執行4×4係數之重組。 在一實例中，視訊編碼器20及/或視訊解碼器30可基於固定4×4係數掃描次序(例如，水平、垂直、對角線或Z形掃描次序)執行重組過程。以此方式，16×1係數向量中之具有較小索引的16個二次轉變係數可根據固定預定義4×4係數掃描次序置放在4×4係數區塊中。 根據第三技術之實例，在轉變過程(例如，一次轉變100)之後，視訊編碼器20可藉由首先使用將B 表示為向量且接著執行以下計算而將二次轉變(例如，二次轉變102)應用於當前M×N TU之每一各別4×4轉變係數子區塊B ：。 在上述等式中，T 為基於如上文所描述的明度框內預測模式及傳信之CU層級旗標而選擇的16×16非可分離轉變矩陣。此外，在圖5的實例中，可對應於1維係數向量105。由於應用上述等式，因此對於每一各別4×4子區塊，視訊編碼器20導出各別16×1二次轉變係數向量。在圖5的實例中，對應於1維係數向量108。視訊編碼器20可藉由執行以下操作將各別16×1二次轉變係數向量重組為各別4×4係數區塊：。 在上述等式中，j=0、1、…、15，scan_x及scan_y可分別為如已在HEVC中定義的x及y座標之掃描表。以此方式，各別4×4轉變係數子區塊B 可由各別導出之二次4×4轉變係數區塊F 替換。在圖5的實例中，F 對應於2維係數區塊112。在視訊編碼器20已執行用於每一4×4轉變係數子區塊之二次轉變之後，視訊編碼器20可進一步量化並熵編碼經更新M×N個係數區塊。 對於每一各別4×4係數子區塊F ，在量化過程(例如，逆量化150)之後，視訊解碼器30可藉由將各別4×4係數子區塊F 重組為16×1向量而導出16×1二次轉變係數向量。。 在此上述等式中，j=0、1、…、15，scan_x及scan_y分別為如已在HEVC中定義的4×4係數子區塊F 之x及y座標的掃描表。在圖6的實例中，對應於1維係數向量156且F 對應於2維係數區塊152。視訊解碼器30接著可藉由執行以下計算對應用逆二次轉變(例如，二次逆轉變158)：， 在上述等式中，T ' 為可藉由如上文中所描述的明度框內預測模式及傳信之CU層級旗標選擇的16×16非可分離轉變矩陣。由於上述等式之矩陣乘法，對於每一各別4×4子區塊i ，視訊解碼器30導出各別16×1二次轉變係數向量。在圖6的實例中，對應於1維係數向量160。視訊解碼器30藉由計算 而將16×1二次轉變係數向量重組為4×4係數區塊。在圖6的實例中，B 對應於2維係數區塊164。視訊解碼器30可藉由導出之二次4×4轉變係數區塊B 替換4×4轉變係數子區塊F 。在視訊解碼器30對於4×4係數子區塊中之每一者執行逆二次轉變之後，視訊解碼器30可輸入經更新M×N個係數區塊至逆轉變(例如，一次逆轉變166)。 如上文所指示，在一些實例中，視訊編碼器20可選擇非可分離二次轉變。根據第四技術，視訊編碼器20可傳信(例如，編碼)使用適用於TU、PU、CU或任何影像寫碼區塊單元之索引對非可分離二次轉變的選擇之指示且視訊解碼器30可接收該指示。換言之，視訊編碼器20可針對TU、PU、CU或其他影像寫碼區塊單元編碼指示一指示所選擇非可分離二次轉變的索引的資料。舉例而言，可藉由用於TU、PU、CU或其一組合的索引傳信對來自非可分離轉變之集合的第一逆轉變之選擇。類似地，視訊解碼器30可自視訊資料之位元串流獲得指示TU、PU、CU或其一組合之索引的資料，該索引指示所選擇非可分離二次轉變。為易於解釋，本發明可將指示所選擇非可分離二次轉變之索引稱為非可分離二次轉變(NSST)索引。 在一些實例中，視訊編碼器20可熵編碼NSST索引。作為熵編碼NSST索引之部分，視訊編碼器20可二進位化NSST索引。為了熵寫碼NSST索引，固定長度碼可用於二進位化，或可變長度碼(諸如截短一元碼或指數哥倫布碼)可用於二進位化。 根據第五技術，若殘差信號之能量受到限制，則視訊編碼器20可對於某些TU跳過NSST索引的傳信，且可不應用二次轉變。舉例而言，若不存在針對當前TU所傳輸的非零係數，則視訊編碼器20可針對當前TU跳過NSST索引的傳信。換言之，若不存在針對當前TU編碼的非零係數，則視訊編碼器20可跳過指示當前TU之NSST索引的資料的編碼。類似地，在其他實例中，NSST索引傳信的跳過可適用於LCU、CU、PU或任何其他區塊層級語法元素。因此，根據第五技術，視訊編碼器20可在視訊資料之編碼位元串流中產生指示適用於TU、PU、CU或其一組合之索引的資料，該索引指示所選擇候選者為第二轉變。 類似地，視訊解碼器30可自視訊資料之位元串流獲得指示適用於TU、PU、CU或其一組合之索引的語法元素。在此實例中，視訊解碼器30可自非可分離轉變的子集中選擇候選者，包含選擇藉由索引指示的候選者作為第一逆轉變。 在一些實例中，若在某一區塊層級處傳輸的非零係數之總數或總絕對和或平方值的和不大於給定臨限值，則跳過在彼某一區塊層級處的NSST索引且不應用二次轉變。舉例而言，當在某一LCU處所傳輸的非零係數之總數不大於10時，視訊編碼器20可跳過NSST索引的傳信且不應用二次轉變。在一些實例中，當在某一CU處所傳輸的非零係數之總絕對和不大於100時，視訊編碼器20可跳過NSST索引的傳信且不應用二次轉變。在一個實例中，當在某一PU處所傳輸的非零係數的平方值之和不大於100時，視訊編碼器20可跳過NSST索引的傳信且不應用二次轉變。 因此，根據第五技術，視訊編碼器20可判定是否在位元串流中編碼二次轉變(例如，非可分離二次轉變106)之索引。二次轉變之索引可從複數個可用二次轉變中識別二次轉變。在此實例中，視訊編碼器20可基於在特定區塊層級(例如，在LCU、CU、PU、TU中)處所傳輸的非零係數的總數之和、總絕對和或平方值和不大於給定臨限值進行不在位元串流中編碼二次轉變之索引的判定。在此實例中，視訊編碼器20可在特定區塊層級處傳信二次轉變的索引。在此實例中，視訊編碼器20可將其索引在位元串流中傳信的二次轉變應用於2維係數區塊的至少部分。 類似地，視訊解碼器30可判定是否在位元串流中傳信二次轉變(例如，非可分離逆轉變158)的索引。在此實例中，視訊解碼器30可基於在特定區塊層級處的非零係數的總數之和、總絕對和或平方值和不大於給定臨限值進行不在位元串流中編碼二次轉變之索引的判定。在此實例中，二次轉變之索引係在特定區塊層級處傳信。在此實例中，視訊解碼器30可將為由在位元串流中傳信之索引指示的二次轉變之逆的二次逆轉變應用於1維係數向量。 在一個實例中，視訊解碼器30可回應於視訊編碼器20判定2維係數區塊之非零係數的量不大於臨限值而將二次逆轉變應用於1維係數向量。在此實例中，針對視訊資料的不同區塊大小、不同框內預測模式或其一組合，臨限值可不同。 類似地，視訊編碼器20可判定2維係數區塊的非零係數之量是否大於臨限值。在此實例中，視訊編碼器20可回應於判定2維係數區塊的非零係數之量不大於臨限值而將二次轉變應用於2維係數區塊的至少部分。在此實例中，針對視訊資料的不同區塊大小、不同框內預測模式或其一組合，臨限值可不同。 在一些實例中，非零係數的總數之臨限值為1。在一實例中，非零係數之總數的臨限值針對不同區塊大小或不同框內預測模式可係不同的。 在一些實例中，視訊編碼器20及視訊解碼器30可將二次轉變及二次逆轉變應用於所有色彩分量(例如，Y、Cb及Cr)之係數值。在其他實例中，視訊編碼器20及視訊解碼器30可將二次轉變及二次逆轉變應用於一些但並非所有色彩分量。舉例而言，視訊編碼器20及視訊解碼器30可將二次轉變及二次逆轉變應用於明度(亦即，Y)分量之係數值，但並不應用於色度(例如，Cb及Cr)分量之係數值。在視訊編碼器20及視訊解碼器30將二次轉變及二次逆轉變應用於兩個或大於兩個色彩分量的實例中，兩個或大於兩個色彩分量可共用NSST索引。 根據第五技術之實例，若NSST索引在某一區塊層級處被傳信並共用於若干分量(例如，Y、Cb、Cr)且若來自共用相同NSST索引之所有分量的在彼某一區塊層級處傳輸的非零係數的總數之和或總絕對和或平方值之和不大於給定臨限值，則NSST索引可被跳過且不應用二次轉變。在一實例中，非零係數之總數的臨限值為1、2或3。在一些實例中，非零係數之總數的臨限值大於3。 在一實例中，若NSST索引係在某一區塊層級處傳信並經共用於Y、Cb及Cr分量，且若Y、Cb及Cr分量的非零係數之總數和小於給定臨限值，則NSST索引可被跳過且可不應用二次轉變。舉例而言，當Y、Cb及Cr分量之組合的在某一CU處傳輸的非零係數之絕對和不大於100時，視訊編碼器20可跳過NSST索引之傳信且不應用二次轉變。 在一實例中，若NSST索引係在某一區塊層級處傳信並經共用於Cb及Cr分量，且若Cb及Cr分量之非零係數的總數和小於給定臨限值，則視訊編碼器20可跳過NSST索引之傳信且不應用二次轉變。舉例而言，當某一CU之Cb及Cr分量的非零係數之總數不大於3時，視訊編碼器20可跳過NSST索引之傳信且不應用二次轉變。 根據第五技術之一些實例，非零係數之總數的臨限值針對不同區塊大小或不同框內預測模式可係不同的。舉例而言，LCU可具有比CU及PU大的臨限值。類似地，視訊編碼器20可將第一臨限值用於使用垂直框內預測模式寫碼的區塊，且可將第二不同臨限值用於使用水平框內預測模式寫碼的區塊。 在第五技術之實例中，若NSST索引係在某一區塊層級處傳信且經共用於Y、Cb及Cr分量，且若僅僅Y分量之非零係數的總數小於給定臨限值，則可跳過NSST索引且可不應用二次轉變。舉例而言，當僅僅Y分量的在某一CU處所傳輸的非零係數之總數不大於1、2、3或另一臨限值時，視訊編碼器20可跳過NSST索引之傳信且不應用二次轉變。 在一實例中，若NSST索引係在某一區塊層級處傳信且經共用於Cb及Cr分量，且若僅僅Cb分量之非零係數的總數小於給定臨限值，則可跳過NSST索引且可不應用二次轉變。舉例而言，當僅僅Cb分量的在某一CU處所傳輸的非零係數之總數不大於1、2、3或另一臨限值時，視訊編碼器20可跳過NSST索引之傳信且不應用二次轉變。類似地，當僅僅Cr分量的在某一CU處所傳輸的非零係數之總數不大於1、2、3或另一臨限值時，視訊編碼器20可跳過NSST索引之傳信且不應用二次轉變。 另外或替代地，在第五技術之一些實例中，非零係數之總數的臨限值針對不同區塊大小或不同框內預測模式可係不同的。換言之，LCU可具有比CU及PU大的臨限值。類似地，16×16色度預測模式可具有比4×4色度預測模式大的臨限值。舉例而言，視訊編碼器20可將第一臨限值用於使用垂直框內預測模式寫碼的區塊，且可將第二不同臨限值用於使用水平框內預測模式寫碼的區塊。 在第五技術之一實例中，當LCU、CU、PU或其他的類型區塊之大小大於或小於預定義臨限值，或在給定臨限值範圍內時，可跳過NSST索引之傳信且不應用二次轉變。舉例而言，當CU之大小小於8×8之預定義值時，視訊編碼器20可跳過在經編碼視訊位元串流中產生指示NSST索引的資料且不應用二次轉變。 在第五技術之實例中，當使用轉變跳過模式寫碼TU時，可跳過NSST索引之傳信且不應用二次轉變。換言之，當使用轉變跳過模式寫碼TU時，視訊編碼器20可跳過在經編碼視訊位元串流中產生指示NSST索引的資料且不應用二次轉變。 舉例而言，視訊編碼器20可基於正在轉變跳過模式中寫碼TU判定是否在位元串流中傳信二次轉變之索引(例如，編碼指示該索引的資料)。在此實例中，視訊編碼器20在經編碼視訊位元串流中產生指示位元串流中之二次轉變之索引的資料，且視訊編碼器20可基於正在位元串流中編碼指示第二轉變之索引的資料而將二次轉變應用於第一2維係數區塊的至少部分。類似地，視訊解碼器30可基於正在轉變跳過模式中寫碼TU判定二次轉變之索引是否在位元串流中傳信。換言之，視訊解碼器30可將藉由二次轉變之索引指示的二次逆轉變應用於1維係數向量。 此外，在第五技術之一些實例中，當使用二次轉變寫碼區塊(例如，TU)時，可不傳信轉變跳過模式。換言之，視訊編碼器20可在經編碼視訊位元串流中產生指示轉變跳過模式及二次轉變中之一者的資料。舉例而言，視訊編碼器20可在經編碼視訊位元串流中產生指示轉變跳過模式的資料，並省略傳信二次轉變。類似地，視訊編碼器20可省略在經編碼視訊位元串流中產生指示轉變跳過模式之資料，並在經編碼視訊位元串流中產生指示二次轉變之資料。 根據本發明之第六技術，對於特定寫碼模式，二次轉變可被停用及/或並不被傳信，且反之亦然。舉例而言，此等寫碼模式可包括(但未必限於)轉變跳過模式、線性方法(LM)模式、交叉分量殘差預測模式等。因此，若應用二次轉變，則特定寫碼模式可被停用及/或並不被傳信。舉例而言，在一些情況下，當應用二次轉變時，轉變跳過模式、LM模式及交叉分量殘差預測模式可被停用及/或轉變跳過模式、LM模式及交叉分量殘差預測模式之索引不被編碼。類似地，二次轉變可在使用轉變跳過模式、LM模式及交叉分量殘差預測模式中之一或多者時被停用及/或不被傳信。一般而言，自適應性交叉分量殘差預測可包括自同一區塊的另一色彩分量之殘差預測一個色彩分量(例如，Y、Cr或Cb)之殘差。 在第六技術之實例中，當啟用二次轉變時，特定模式可始終被停用。舉例而言，基於二次轉變被啟用，轉變跳過模式被停用。 在第六技術之實例中，當二次轉變經啟用時，特定模式可在一些條件下停用但在其他條件下啟用。條件可包括(但不限於)區塊大小、非零轉變係數之數目、寫碼針對明度抑或色度分量、相鄰預測模式及其他條件，且反之亦然。 在第六技術之實例中，特定預測模式可在二次轉變經應用時仍被啟用，但用於傳信此特定預測模式之上下文模型化可經修改以使得上下文模型化取決於所傳信二次索引/旗標。換言之，在二次轉變被應用時，可准許應用特定預測模式，但用於特定預測模式之上下文模型化被修改。 在一實例中，二次轉變仍經啟用用於特定預測模式，但用於傳信二次轉變之上下文模型化可經修改以使得上下文模型化取決於特定預測模式是否經應用。換言之，在應用二次轉變時可准許使用特定預測模式，而非停用不藉由視訊編碼器20及/或視訊解碼器30應用的預測模式，但用於特定預測模式之上下文模型化經修改。 根據本發明之第七實例，當將二次轉變應用於其他非明度分量(例如，色度)上時及當二次轉變選擇對於某一寫碼資訊有某一依賴性時，NSST索引值可自同置的明度分量繼承(例如，再使用)且不經編碼用於非明度分量。此寫碼資訊之實例可包括(但不限於)框內預測模式。如本文所使用，同置可指相同區塊之分量。在此實例之態樣中，以使用非明度分量之寫碼資訊而不是繼承同置明度分量之寫碼資訊的方式實現對於某一寫碼資訊之依賴性。 在一實例中，當二次轉變經執行用於色度分量(例如，Cr分量及/或Cb分量)，且視訊解碼器30基於所傳信NSST索引及框內預測模式選擇二次轉變時，則針對色度分量，視訊解碼器30可基於同置明度分量之NSST索引及當前色度分量之框內預測模式選擇二次轉變。 當色度分量之框內預測模式自同置明度分量(例如，Y分量)繼承時，則同置明度分量之框內預測模式可用於選擇二次轉變。舉例而言，視訊解碼器30可基於同置明度分量之NSST索引及同置明度分量之框內預測模式自子集中選擇二次轉變候選者。 在一實例中，當色度分量之框內預測模式為LM模式(例如，如美國專利申請案第15/006,994號中所描述)時，二次轉變可不應用於色度分量。舉例而言，視訊解碼器30可將二次轉變候選者應用於同置明度分量，且避免將二次轉變候選者應用於色度分量。 在一個實例中，當二次轉變經應用時，LM模式可不被應用或傳信。在此情況下，可因此修改框內模式寫碼以使得LM模式並非為待傳信的候選框內模式。此框內模式寫碼修改可包括(但不限於)：減少待寫碼的可用框內模式之數目，或以其他框內預測模式替代LM模式使得可用框內模式的總數相同。換言之，當應用二次轉變時，框內模式之傳信可經修改以不再傳信LM模式，此係由於當應用二次轉變時LM模式可經假定為並非候選框內模式。 另外或替代地，當色度分量之框內預測模式為LM模式時，可使用繼承的NSST索引及色度分量之平坦/DC模式選擇二次轉變。舉例而言，視訊解碼器30可基於同置明度分量之NSST索引及色度分量之平坦/DC模式自子集中選擇二次轉變候選者。 在一實例中，同置明度分量的NSST索引及框內預測模式兩者可經繼承用於當前非明度分量。舉例而言，視訊解碼器30可基於同置非明度分量之NSST索引及同置非明度分量之框內預測模式自子集中選擇二次轉變候選者。 圖7A為自明度框內模式至轉變集合索引的實例映射之說明。可藉由視訊編碼器20及/或視訊解碼器30執行下文所描述之實例。如圖7A中所說明，下文所描述之實例可實施於67個明度框內預測模式上，包括平坦(0)、DC(1)及65個有角度的明度框內預測模式(2至66)。為選擇轉變矩陣以用於執行非可分離轉變，可預定義總共12個非可分離16×16轉變集合。每一轉變集合含有三個16×16轉變候選者。在一實例中，轉變集合可藉由明度框內預測模式指定。舉例而言，如圖7A中所示，明度框內預測模式'0'指定轉變集合索引'0'，明度框內預測模式'1'指定轉變集合索引'0'，明度框內預測模式'2'指定轉變集合索引'1'，等等。 在圖7A的實例中，轉變集合可經指定，且在每一轉變集合內，來自3個候選者之所選擇轉變可藉由經明確傳信之CU層級ROT索引而指定。舉例而言，ROT索引可為位元串流中之每一CU傳信的索引值，且ROT索引值可在0至3範圍內。在一些情況下，ROT索引0指定不應用二次轉變，且ROT索引1至3指定來自3個不同ROT之一個所選擇轉變。在圖7A中定義自明度預測模式至轉變集合索引的映射。 另外，根據圖7A，對於大於34的明度框內預測模式(IPM)，可應用框內模式68-IPM之相同轉變集合索引。然而，為了利用框內預測模式IPM與68-IPM之間的對稱性，在編碼器/解碼器處，可在進行二次轉變之前/之後轉置轉變係數區塊。更特定言之，在圖7B的實例中，框內預測模式(IPM)在0至66範圍內。如圖7B中所說明，框內模式IPM及68-IPM為對稱的。舉例而言，框內模式18(水平預測)及50(垂直預測)為對稱的。由於IPM及68-IPM為對稱的，應用於此等兩個模式上的非可分離轉變具有某一聯繫。舉例而言，若吾人轉置自模式50(垂直預測)預測的殘差區塊，則殘差統計資料應非常類似於自模式18(水平預測)預測的殘差區塊。因此，用於框內模式IPM之非可分離轉變應類似於用於框內模式IPM之非可分離轉變加轉置操作。為了利用此對稱性及減少非可分離轉變集合之總數，對於大於34的框內模式IPM，可使用68-IPM之相同轉變集合且可在二次轉變之後轉置轉變係數區塊。在JVET-C1001之章節2.2.1：http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/3_Geneva/wg11/JVET-C1001-v3.zip中，描述66明度框內預測模式。 在本發明之第八技術中，視訊編碼器20及/或視訊解碼器30可經組態以將NSST之不同大小及不同形狀(除正方形或非正方形以外)應用於不同區塊大小。在一實例中，4×4 NSST可應用於4×4區塊，且8×8 NSST可應用於8×8及更大區塊的左上8×8轉變係數上。舉例而言，視訊編碼器20可將4×4二次轉變應用於4×4區塊，可將8×8二次轉變應用於8×8區塊，且可將8×8二次轉變應用於大於8×8的區塊之左上8×8係數。舉例而言，視訊編碼器20可將8×8二次轉變應用於16×16區塊之左上8×8係數。 在第八技術之實例中，當4×4 NSST應用於M×N個區塊(其中M≥4、N≥4、M及N為4的倍數、M≠N)時，M×N個區塊可由多個非重疊4×4子區塊分隔。對於每一4×4子區塊，可應用4×4 NSST。舉例而言，視訊編碼器20可將第一4×4二次轉變應用於8×4區塊之左上4×4係數，並將第二4×4二次轉變應用於8×4區塊之在左上4×4係數下方的4×4係數，以使得視訊編碼器20將NSST應用於8×4區塊的兩個4×4區塊中之每一者。 舉例而言，視訊編碼器20可將M×N個係數區塊分成複數個非重疊4×4子區塊。在此實例中，複數個非重疊4×4子區塊包括第一2維係數區塊及第二2維係數區塊，M及N各自大於4，M及N各自為4的倍數，且M並不等於N。在此實例中，對於複數個非重疊4×4子區塊之每一各別4×4子區塊，視訊編碼器20執行二次轉變以產生各別係數區塊。 類似地，視訊解碼器30可將M×N個係數區塊分成複數個非重疊4×4子區塊，複數個非重疊4×4子區塊包括第一2維係數區塊，M及N各自大於4，M及N各自為4之倍數，且M不等於N。在此實例中，視訊解碼器30可對於多個非重疊4×4子區塊的每一4×4子區塊執行4×4逆NSST。在此實例中，對於複數個4×4子區塊之每一各別4×4子區塊，視訊解碼器30應用逆二次轉變以產生各別2維係數區塊。 在第八技術之實例中，當8×8 NSST應用於M×N個區塊(其中M≥8，N≥8，M及N為8之倍數)時，M×N個區塊可分成多個非重疊8×8子區塊，且對於每一8×8子區塊，可應用8×8 NSST。舉例而言，視訊編碼器20可將第一8×8二次轉變應用於8x64區塊之左上8×8係數，並將第二8×8二次轉變應用於8x64區塊之在左上8×8係數下方的8×8係數，等等，以使得視訊編碼器20將NSST應用於8x64區塊的八個8×8區塊中之每一者。 在第八技術之實例中，替代正方形NSST，NSST可應用於位於係數區塊之任意區域中的轉變係數之群組。舉例而言，視訊編碼器20可將第一4x16二次轉變應用於8x64區塊之中心4x16係數。在一實例中，呈係數掃描次序之最初K個轉變係數可經組織成單一向量，且可對此轉變係數向量執行非可分離轉變。在此實例中，係數掃描次序可為(但不限於)對角線掃描、水平掃描或垂直掃描。 在第八技術之實例中，對於N×N區塊，可應用歸零NSST，以使得僅僅計算前M個係數，且剩餘N-M個係數可被認為係零。舉例而言，對於包括N數目個係數之1維係數向量，視訊編碼器20可應用僅計算1維係數向量之N個係數中之前M個係數並將1維係數向量之剩餘(亦即，N-M)係數設定為零的NSST。 若一群置零係數形成係數群(CG)(例如，如HEVC中所定義的4×4子區塊)，則當熵寫碼此CG時，旗標(其傳信在此CG中是否存在至少一個非零係數)可經跳過且不經寫碼。在一些實例中，替代不寫碼置零係數之語法元素，置零係數之語法元素可仍被寫碼但使用單獨上下文。 此外，在一些實例中，若一群置零係數形成係數群(CG)(例如，如HEVC中所定義的4×4子區塊)，則當熵寫碼此CG時，最後位置寫碼可經修改以包括最後位置不可呈現在此等置零係數位置中的約束。 圖8為說明可實施本發明中所描述之技術的視訊編碼器20之實例的方塊圖。根據本發明，視訊編碼器20可經組態以應用在本發明中描述的技術，諸如與二次轉變有關的技術。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中之任一者。 如圖8中所展示，視訊編碼器20接收待編碼之視訊圖框內的當前視訊區塊。在圖8之實例中，視訊編碼器20包括模式選擇單元240、參考圖像記憶體264(其亦可被稱作經解碼圖像緩衝器(DPB))、求和器250、轉變處理單元252、量化單元254及熵編碼單元256。模式選擇單元240又包括運動補償單元244、運動估計單元242、框內預測單元246及分割單元248。為了視訊區塊重建，視訊編碼器20亦包括逆量化單元258、逆轉變單元260及求和器262。在一些實例中，亦包括解塊濾波器(圖8中未展示)以對區塊邊界濾波以自重建之視訊移除方塊效應假影。解塊濾波器將求和器262的輸出濾波。除瞭解塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此類濾波器，但若需要，則可對求和器250之輸出進行濾波(作為迴路中濾波器)。 在編碼過程期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊分成多個視訊區塊。運動估計單元242及運動補償單元244執行所接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。替代地，框內預測單元246可執行所接收視訊區塊相對於與待寫碼區塊相同之圖框或圖塊中之一或多個相鄰區塊的框內預測性編碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊的適當寫碼模式。 此外，分割單元248可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元248可最初將圖框或圖塊分割成LCU，且基於速率失真分析(例如，速率失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元240可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。 模式選擇單元240可例如基於誤差結果選擇預測模式(框內或框間)中的一者，且提供所得預測區塊至求和器250以產生殘差資料並提供至求和器262以重建經編碼區塊以用作參考圖框。模式選擇單元240亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此等語法資訊)提供至熵編碼單元256。 運動估計單元242及運動補償單元244可高度整合，但為概念目的而單獨說明。由運動估計單元242執行之運動估計為產生運動向量之過程，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊(其相對於在該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊)之位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體264中的參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元242可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精度之運動向量。 運動估計單元242藉由比較PU之位置與參考圖像之預測性區塊之位置而計算框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可係選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，其中的每一者識別儲存於參考圖像記憶體264中之一或多個參考圖像。運動估計單元242將所計算運動向量發送至熵編碼單元256及運動補償單元244。 由運動補償單元244執行之運動補償可涉及基於由運動估計單元242判定之運動向量來提取或產生預測性區塊。再次，在一些實例中，運動估計單元242與運動補償單元244可在功能上整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元244即可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器250形成殘差視訊區塊。作為形成殘差視訊區塊之部分，求和器250可自正被寫碼的當前視訊區塊之像素值減去預測性區塊之像素值，從而形成像素差值，如下文所論述。一般而言，運動估計單元242相對於明度分量執行運動估計，且運動補償單元244將基於明度分量計算之運動向量用於色度分量與明度分量兩者。模式選擇單元240亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。 如上文所描述，作為由運動估計單元242及運動補償單元244執行之框間預測的替代方案，框內預測單元246可對當前區塊進行框內預測。詳言之，框內預測單元246可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元246可(例如)在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測單元246(或在一些實例中，模式選擇單元240)可自經測試模式中選擇適當框內預測模式來使用。 舉例而言，框內預測單元246可針對各種經測試框內預測模式使用速率失真分析計算速率失真值，且自該等經測試模式當中選擇具有最佳速率失真特性之框內預測模式。速率失真分析大體上判定經編碼區塊與原始、未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元246可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率失真值。 在選擇用於區塊之框內預測模式後，框內預測單元246可將指示用於區塊之所選框內預測模式的資訊提供至熵編碼單元256。熵編碼單元256可編碼指示所選框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，其可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改框內預測模式索引表的指示。 視訊編碼器20形成殘差視訊區塊。作為形成殘差視訊區塊之部分，視訊編碼器20可自正被寫碼之原始視訊區塊減去來自模式選擇單元240之預測資料。求和器250表示執行此減法運算之該或該等組件。轉變處理單元252將轉變(諸如離散餘弦轉變(DCT)或概念上類似之轉變)應用於殘差區塊，從而產生包含轉變係數值之視訊區塊。可使用小波轉變、整數轉變、子帶轉變、DST或其他類型之轉變而不是DCT。在任何情況下，轉變處理單元252將轉變應用於殘差區塊，從而產生轉變係數之區塊。轉變可將殘差資訊自像素域轉換至轉變域，諸如頻域。 另外，如上文所論述，轉變處理單元252可經組態以應用非可分離的二次轉變。在一些實例中，轉變處理單元252可經組態以根據係數掃描次序將藉由非可分離之二次轉變形成的1維係數向量重組為第二2維係數區塊以供量化單元254使用。轉變處理單元252可將所得轉變係數發送至量化單元254。 量化單元254量化轉變係數以進一步減小位元率。量化過程可減小與係數中的一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。 在量化之後，熵編碼單元256掃描並熵編碼指示經量化轉變係數的語法元素。舉例而言，熵編碼單元256可執行CAVLC、CABAC、SBAC、PIPE寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可基於相鄰區塊。在由熵編碼單元256進行熵寫碼之後，可將經編碼位元串流傳輸至另一裝置(例如，視訊解碼器30)，或加以存檔以供稍後傳輸或擷取。 逆量化單元258及逆轉變單元260分別應用逆量化及逆轉變以重建構像素域中之殘差區塊。詳言之，求和器262將經重建殘差區塊添加至由運動補償單元244或框內預測單元246較早產生之運動補償預測區塊，以產生用於儲存於參考圖像記憶體264中之經重建構之視訊區塊。該經重建構之視訊區塊可由運動估計單元242及運動補償單元244使用作為參考區塊以對隨後視訊圖框中之區塊進行框間寫碼。 視訊編碼器20一般使用上文所論述過程來對經寫碼視訊序列中之每一圖像的每一區塊進行編碼。另外，在一些實例中，視訊編碼器20可判定向其指派圖像中之每一者的時間層。此外，視訊編碼器20可經組態以對其他層(例如，其他視圖、可調式視訊寫碼層等)之圖像進行編碼。在任何情況下，視訊編碼器20可進一步針對(例如，各種視訊維度之)一或多個層編碼指示每一圖像屬於之層的資料。 圖9為說明可實施本發明中所描述之技術的視訊解碼器30之實例的方塊圖。根據本發明，視訊解碼器30可經組態以應用在本發明中描述的技術，諸如與二次轉變有關的技術。在圖9的實例中，視訊解碼器30包括熵解碼單元270、運動補償單元272、框內預測單元274、逆量化單元276、逆轉變單元278、參考圖像記憶體282及求和器280。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20(圖8)所描述之編碼遍次互逆的解碼遍次。運動補償單元272可基於自熵解碼單元270接收之運動向量產生預測資料，而框內預測單元274可基於自熵解碼單元270接收之框內預測模式指示符產生預測資料。 在解碼過程期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元270熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元270將運動向量及其他語法元素轉遞至運動補償單元272。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。 當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，框內預測單元274可基於所傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。在視訊圖框經寫碼為經框間寫碼(亦即，B或P或一般化P及B圖像(GPB))圖塊時，運動補償單元272基於自熵解碼單元270所接收之運動向量及其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體282中之參考圖像使用預設建構技術建構參考圖像清單(清單0及清單1)。運動補償單元272藉由剖析運動向量及其他語法元素判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊產生用於正被解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元272使用所接收語法元素中之一些以判定用以寫碼視訊圖塊之視頻區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、用於該圖塊之參考圖像清單中之一或多者的建構資訊、用於該圖塊之每一經框間編碼視訊區塊的運動向量、用於該圖塊之每一經框間寫碼視訊區塊的框間預測狀態、及用以解碼當前視訊圖塊中之視頻區塊的其他資訊。 運動補償單元272亦可執行基於內插濾波器之內插。運動補償單元272可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此情況下，運動補償單元272可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。 逆量化單元276逆量化(亦即，解量化)位元串流中所提供並由熵解碼單元270解碼的經量化之轉變係數。逆量化過程可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY 以判定應應用的量化程度及(同樣地)逆量化程度。 逆轉變單元278將逆轉變(例如，逆DCT、逆整數轉變或概念地類似的逆轉變過程)應用於轉變係數，以便在像素域中產生殘差區塊。另外，根據本發明之各種技術，逆轉變單元278可經組態以應用非可分離的逆二次轉變。在一些實例中，逆轉變單元278可經組態以根據係數掃描次序將1維係數向量重組為第二2維係數區塊。 在運動補償單元272基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30形成經解碼視訊區塊。作為形成經解碼視訊區塊之部分，視訊解碼器30可將來自逆轉變單元278之殘差區塊與由運動補償單元272產生的對應預測性區塊求和。求和器280表示執行此求和運算之該或該等組件。若需要，亦可應用解塊濾波器來對經解碼區塊濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)以使像素移轉平滑，或以其他方式改良視訊品質。接著，將給定圖框或圖像中之經解碼視訊區塊儲存於儲存用於隨後運動補償之參考圖像的參考圖像記憶體282中。參考圖像記憶體282亦儲存經解碼視訊用於稍後在顯示裝置(諸如圖1之顯示裝置32)上呈現。 視訊解碼器30一般使用上文所論述過程來對經寫碼視訊序列中之每個圖像的每一區塊進行解碼。另外，在一些實例中，視訊解碼器30可對指示向其指派圖像的時間層的資料進行解碼。此外，視訊解碼器30可經組態以對其他層(例如，其他視圖、可調式視訊寫碼層等)之圖像進行解碼。在任何情況下，視訊解碼器30可進一步針對(例如，各種視訊維度之)一或多個層解碼指示每一圖像屬於之層的資料。 在下文更詳細地描述可藉由視訊編碼器20或視訊解碼器30執行的本發明之技術。 圖10A為根據本發明中所描述之一或多個技術的藉由視訊編碼器20進行的實例轉變處理之說明。在圖10A的實例中，視訊編碼器20之轉變處理單元252包含一次轉變單元802、二次轉變單元804及重組單元806。一次轉變單元802將一次轉變(諸如DST或DCT)應用於殘差區塊上以產生2維係數區塊。二次轉變單元804將非可分離轉變(諸如KLT)應用於2維係數區塊以產生1維向量。重組單元806將1維向量重組為2維係數區塊。量化單元254量化2維區塊。 圖10B為根據本發明中所描述之一或多個技術的藉由視訊解碼器30進行的實例轉變處理之說明。在圖10B的實例中，視訊解碼器30之逆轉變單元278包含重組單元824、二次逆轉變單元826及一次逆轉變單元828。逆量化單元276逆量化提供於位元串流中且由熵解碼單元270解碼的經量化轉變係數。重組單元824將轉變係數自2維係數區塊重組至1維向量。二次逆轉變單元826將非可分離逆轉變(諸如KLT)應用於1維向量上以產生2維係數區塊。一次逆轉變單元828將可分離逆轉變應用於2維係數區塊上以產生用於視訊資料之殘差係數區塊。 圖11為說明可實施本發明中所描述之技術的視訊資料之第一實例解碼的流程圖。可藉由視訊解碼器30執行圖11之實例技術。在圖11的實例中，解碼器(例如，視訊解碼器30)逆量化第一係數區塊(902)。解碼器將第一逆轉變應用於經逆量化第一係數區塊的至少部分以產生第二係數區塊(904)。舉例而言，第一逆轉變為非可分離轉變。舉例而言，解碼器可將逆KLT應用於經逆量化第一係數區塊上。解碼器可將第二逆轉變應用於第二係數區塊以產生殘差視訊區塊(906)。該第二逆轉變將該第二係數區塊自一頻域轉換至一像素域。舉例而言，解碼器將逆DCT或DST應用於第二係數區塊上。解碼器形成經解碼視訊區塊(908)。作為形成經解碼視訊區塊之部分，解碼器可將殘差視訊區塊與一或多個預測性區塊求和。 圖12為說明可實施本發明中所描述之技術的視訊資料之第一實例編碼的流程圖。如所描述，圖12之實例技術可藉由編碼器20執行。在圖12的實例中，編碼器(例如，視訊編碼器20)形成殘差視訊區塊(1002)。作為形成殘差視訊區塊之部分，編碼器可自正被寫碼之視訊區塊減去一或多個預測性區塊。編碼器將第一轉變應用於殘差視訊區塊以產生第一係數區塊(1004)。舉例而言，第一轉變將殘差視訊區塊自像素域轉換至頻域。舉例而言，編碼器可將DCT或DST應用於殘差視訊區塊上。編碼器將第二轉變應用於第一係數區塊的至少部分以產生第二係數區塊(1006)。舉例而言，第二轉變為非可分離轉變。舉例而言，編碼器可將KLT應用於第二係數區塊上。接下來，編碼器量化第二係數區塊以用於熵編碼(1008)。 圖13為說明可實施本發明中所描述之技術的視訊資料之第二實例解碼的流程圖。如所描述，圖13之實例技術可藉由視訊解碼器30執行。在圖13的實例中，解碼器(例如，視訊解碼器30)根據係數掃描次序將第一2維係數區塊重組為第一1維係數向量(1102)。舉例而言，解碼器根據係數掃描次序重組第一2維係數區塊，其中具有較小索引值的第一2維係數區塊中之係數置放於第一1維係數向量中之較小掃描索引位置處。接下來，解碼器將第一逆轉變應用於第一1維係數向量以產生第二1維係數區塊(1104)。第一逆轉變為非可分離轉變。舉例而言，解碼器將逆KLT應用於1維係數向量上。決定器根據係數掃描次序將第二1維係數區塊重組為第二2維係數向量(1106)。接下來，解碼器將第二逆轉變應用於第二2維係數區塊以產生殘差視訊區塊(1108)。舉例而言，第二逆轉變將第二2維係數區塊自頻域轉換至像素域。舉例而言，解碼器將逆DCT或DST應用於第二2維係數區塊上。解碼器形成經解碼視訊區塊(1110)。作為形成經解碼區塊之部分，解碼器可將殘差視訊區塊與一或多個預測性區塊求和。 圖14為說明可實施本發明中所描述之技術的視訊資料之第二實例編碼的流程圖。如所描述，圖14之實例技術可藉由視訊編碼器20執行。在圖14的實例中，編碼器(例如，視訊編碼器20)形成殘差視訊區塊(1202)。作為形成殘差視訊區塊之部分，編碼器可自正被寫碼之視訊區塊減去一或多個預測性區塊。編碼器將第一轉變應用於殘差視訊區塊的至少部分以產生第一2維係數區塊(1204)。舉例而言，第一轉變將殘差視訊區塊自像素域轉換至頻域。舉例而言，編碼器將DCT或DST應用於殘差視訊區塊上。編碼器將第一2維係數重組為第一1維係數向量(1206)。接下來，編碼器將第二轉變應用於第一1維係數區塊的至少部分以產生第二1維係數向量(1208)。舉例而言，第二轉變為非可分離轉變。舉例而言，編碼器將KLT應用於第一1維係數區塊上。接下來，編碼器根據係數掃描次序將第二1維係數區塊重組為第二2維係數區塊(1210)。舉例而言，解碼器根據係數掃描次序重組1維係數向量，其中具有較小索引值的第二1維係數向量中之係數置放在第二2維係數區塊中之較小掃描索引位置處以用於量化及熵編碼。 應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多線緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。 在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於有形媒體(諸如資料儲存媒體)，或包括有助於將電腦程式自一處傳送至另一處(例如，根據通信協定)的任何媒體之通信媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉助於實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外，任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而取而代之，係有關非暫時性之有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。另外，技術可以全部實施於一或多個電路或邏輯元件中。 本發明之技術可在多種裝置或設備中實施，該等裝置或設備包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必需要藉由不同硬體單元來實現。確切而言，如上文所描述，各種單元可組合於編碼解碼器硬體單元中或由結合合適的軟體及/或韌體的包括如上文所描述之一或多個處理器的互操作性硬體單元之集合提供。 已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
32‧‧‧顯示裝置
30‧‧‧視訊解碼器
40‧‧‧前向一次轉變(fwdT)
41‧‧‧二次轉變(fwdR)
42‧‧‧前向量化(fwdQua)
43‧‧‧逆量化43(invQ)
44‧‧‧逆二次轉變(invR)
45‧‧‧逆一次轉變(invTran)
60‧‧‧逆量化60(Inv Q)
62‧‧‧轉變係數區塊
64‧‧‧逆旋轉轉變(ROT) (Inv ROT)
66‧‧‧逆離散餘弦轉變(DCT)轉變(Inv DCT轉變)
240‧‧‧模式選擇單元
242‧‧‧運動估計單元
244‧‧‧運動補償單元
246‧‧‧框內預測單元
248‧‧‧分割單元
250‧‧‧求和器
252‧‧‧轉變處理單元
254‧‧‧量化單元
256‧‧‧熵編碼單元
258‧‧‧逆量化單元
260‧‧‧逆轉變單元
262‧‧‧求和器
264‧‧‧參考圖像記憶體
270‧‧‧熵解碼單元
272‧‧‧運動補償單元
274‧‧‧框內預測單元
276‧‧‧逆量化單元
278‧‧‧逆轉變單元
280‧‧‧求和器
282‧‧‧參考圖像記憶體
802‧‧‧一次轉變單元
804‧‧‧二次轉變單元
806‧‧‧重組單元
824‧‧‧重組單元
826‧‧‧二次逆轉變單元
828‧‧‧一次逆轉變單元
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。 圖2為可利用本發明中所描述之技術的基於HEVC中之殘差四分樹之轉變方案的說明。 圖3A為視訊編碼器處之轉變過程的說明。 圖3B為視訊解碼器處之轉變過程的說明。 圖4為藉由視訊解碼器應用之實例旋轉轉變的說明。 圖5為說明包括二次轉變係數重組過程之實例編碼過程的方塊圖。 圖6為說明包括二次轉變係數重組過程之實例解碼過程之方塊圖。 圖7A為自明度框內模式至轉變集合索引的實例映射之說明。 圖7B為自0至66的框內預測模式(IPM)範圍之說明。 圖8為說明可實施本發明中所描述之技術的視訊編碼器之實例的方塊圖。 圖9為說明可實施本發明中所描述之技術的視訊解碼器之實例的方塊圖。 圖10A為根據本發明中所描述之一或多個技術的藉由視訊編碼器進行的實例轉變處理的說明。 圖10B為根據本發明中所描述之一或多個技術的藉由視訊解碼器進行的實例逆轉變處理之說明。 圖11為說明可實施本發明中所描述之技術的視訊資料之第一實例解碼的流程圖。 圖12為說明可實施本發明中所描述之技術的視訊資料之第一實例編碼的流程圖。 圖13為說明可實施本發明中所描述之技術的視訊資料之第二實例解碼的流程圖。 圖14為說明可實施本發明中所描述之技術的視訊資料之第二實例編碼的流程圖。

Claims (55)

  1. 一種用於解碼視訊資料之方法，該方法包含： 根據一係數掃描次序將一第一2維係數區塊重組為一第一1維係數向量； 將一第一逆轉變應用於該第一1維係數向量以產生一第二1維係數向量，該第一逆轉變為一非可分離轉變； 將該第一1維係數向量重組為一第二2維係數區塊； 將一第二逆轉變應用於該第二2維係數區塊以產生一殘差視訊區塊，該第二逆轉變將該第二2維係數區塊自一頻域轉換至一像素域；及 形成一經解碼視訊區塊，其中形成該經解碼視訊區塊包含將該殘差視訊區塊與一或多個預測性區塊求和。
  2. 如請求項1之方法，其中： 該第一2維係數區塊為一4×4係數群， 該方法進一步包含判定用於該4×4係數群之該係數掃描次序，及 將該第一2維係數區塊重組為該第一1維係數向量包含基於該經判定係數掃描次序將該第一2維係數區塊重組為該第一1維係數向量。
  3. 如請求項1之方法，其中該第一2維係數區塊為一第一4×4係數區塊，該第一1維係數向量為一16×1係數向量，且該第二2維係數區塊為一第二4×4係數區塊，該方法進一步包含： 根據該係數掃描次序重組該第一2維係數區塊，其中在該第一2維係數區塊中之具有較小索引值的係數置放在該第一1維係數向量中之較小掃描索引位置處。
  4. 如請求項1之方法，其中： 該第一2維係數區塊為一4×4係數群，且 將該第一2維係數區塊重組為該第一1維係數向量係基於經解碼資訊，該經解碼資訊包含一框內預測模式、一寫碼單元(CU)層級增強型多轉變(EMT)索引、一轉變單元(TU)層級EMT索引、一殘差四分樹深度或經量化係數中之一或多者。
  5. 如請求項1之方法，其中將該第一逆轉變應用於該第一1維係數向量係基於該第二2維係數區塊之非零係數的量不大於一臨限值。
  6. 如請求項5之方法，其中該臨限值針對該視訊資料的不同區塊大小、不同框內預測模式或其一組合係不同的。
  7. 如請求項1之方法，其進一步包含： 基於共用該第一逆轉變之一索引的複數個色彩分量之非零係數的一總數的一和、一總絕對和或平方值之和不大於該臨限值而判定該第一逆轉變之該索引係在該視訊資料之一位元串流中傳信； 解碼包含該第一逆轉變之該索引的一區塊層級語法元素，其中該索引用於該複數個色彩分量中之每一者；及 將該第一逆轉變應用於該第一1維係數向量包含基於該第一逆轉變之該索引對該第一1維係數向量執行該第一逆轉變。
  8. 如請求項1之方法，其進一步包含： 基於在一轉變跳過模式中寫碼一轉變單元而判定該第一逆轉變之一索引係在該視訊資料的一位元串流中傳信； 自該位元串流解碼該第一逆轉變之該索引， 其中將該第一逆轉變應用於該第一1維係數向量包含基於該第一逆轉變之該索引對該第一1維係數向量執行該第一逆轉變。
  9. 如請求項1之方法，其進一步包含： 將一M×N個係數區塊分成複數個非重疊4×4子區塊，該複數個非重疊4×4子區塊包括該第一2維係數區塊，M及N各自大於4，M及N各自為4之倍數，且M不等於N；及 針對該多個非重疊4×4子區塊中之每一4×4子區塊執行該第一逆轉變以產生複數個2維係數區塊，該複數個2維係數區塊包括該第二2維係數區塊。
  10. 如請求項1之方法，其中應用該第一逆轉變包含將一2維轉變矩陣乘以該第一1維係數向量。
  11. 如請求項10之方法，其中該第一2維係數區塊為4×4區塊且該2維轉變矩陣為藉由一明度框內預測模式及一寫碼單元層級索引選擇的一16×16非可分離轉變矩陣。
  12. 如請求項1之方法，其進一步包含： 逆量化該第一2維係數區塊。
  13. 一種用於編碼視訊資料之方法，該方法包含： 形成一殘差視訊區塊，其中形成該殘差視訊區塊包含自正被寫碼之一視訊區塊減去一或多個預測性區塊； 將一第一轉變應用於該殘餘視訊區塊的至少部分以產生一第一2維係數區塊，該第一轉變將該殘差視訊區塊自一像素域轉換至一頻域； 將該第一2維係數區塊重組為一第一1維係數向量； 將一第二轉變應用於該第一1維係數向量的至少部分以產生一第二1維係數向量，該第二轉變為一非可分離轉變；及 根據一係數掃描次序將該第二1維係數向量重組為一第二2維係數區塊。
  14. 如請求項13之方法，其中： 該第二2維係數區塊為一4×4係數群， 該方法進一步包含判定該4×4係數群之一係數掃描次序，及 將該第二1維係數向量重組為該第二2維係數區塊包含基於該經判定係數掃描次序將該第二1維係數向量重組為該第二2維係數區塊。
  15. 如請求項13之方法，其中該第一2維係數區塊為一第一4×4係數區塊，該第二1維係數向量為一16×1係數向量，且該第二2維係數區塊為一第二4×4係數區塊，該方法進一步包含： 根據該係數掃描次序重組該第二1維係數向量，其中在該第二1維係數向量中之具有較小索引值的係數係置放在該第二2維係數區塊中之較小掃描索引位置處。
  16. 如請求項13之方法，其中： 該第二2維係數區塊為一4×4係數群，且 將該第二1維係數向量重組為該第二2維係數區塊係基於一框內預測模式、一寫碼單元(CU)層級增強型多轉變(EMT)索引、一轉變單元(TU)層級EMT索引、一殘差四分樹深度或經量化係數中之一或多者。
  17. 如請求項13之方法，其進一步包含： 判定該第二2維係數區塊之非零係數的一量是否不大於一臨限值， 其中將該第二轉變應用於該第一2維係數區塊的至少部分係回應於判定該第二2維係數區塊之非零係數的該量不大於該臨限值。
  18. 如請求項17之方法，其中該臨限值針對該視訊資料的不同區塊大小、不同框內預測模式或其一組合而不同。
  19. 如請求項13之方法，其進一步包含： 判定是否在該視訊資料之一位元串流中編碼該第二轉變之一索引，其中基於共用該第二逆轉變之該索引的複數個色彩分量之非零係數的一總數的一和、一總絕對和或平方值之和不大於該臨限值而進行該第二逆轉變之該索引不在該位元串流中編碼的一判定，其中： 該第二轉變之該索引係在一區塊層級處傳信並經共用用於該複數個色彩分量，且 將該第二轉變應用於該第一2維係數區塊的至少部分包含基於該第二轉變之該索引係在該位元串流中傳信而對該第一2維係數區塊的至少部分執行該第二轉變。
  20. 如請求項13之方法，其進一步包含： 基於正在一轉變跳過模式中寫碼一轉變單元而判定是否在該視訊資料之一位元串流中編碼該第二轉變之一索引， 其中將該第二轉變應用於該第一2維係數區塊的至少部分包含基於該第二轉變之該索引在該位元串流中傳信而對該第一2維係數區塊的至少部分執行該第二轉變。
  21. 如請求項13之方法，其進一步包含： 將一M×N係數區塊分成複數個非重疊4×4子區塊，該複數個非重疊4×4子區塊包括該第一2維係數區塊，M及N各自大於4，M及N各自為4的倍數，且M不等於N；及 對於該多個非重疊4×4子區塊中之每一4×4子區塊執行該第二轉變以產生複數個2維係數區塊，該複數個2維係數區塊包括該第二2維係數區塊。
  22. 如請求項13之方法，其中應用該第二轉變包含將一2維轉變矩陣乘以該第一1維係數向量。
  23. 如請求項22之方法，其中該第一2維係數區塊為一4×4區塊且該2維轉變矩陣為藉由一明度框內預測模式及一寫碼單元層級索引選擇的一16×16非可分離轉變矩陣。
  24. 如請求項13之方法，其進一步包含： 量化該第二2維係數區塊。
  25. 一種用於解碼視訊資料的設備，其包含： 一記憶體，其經組態以儲存該視訊資料；及 一視訊解碼器，其經組態以： 根據一係數掃描次序將一第一2維係數區塊重組為一第一1維係數向量； 將一第一逆轉變應用於該第一1維係數向量以產生一第二1維係數向量，該第一逆轉變為一非可分離轉變； 將該第一1維係數向量重組為一第二2維係數區塊； 將一第二逆轉變應用於該第二2維係數區塊以產生一殘差視訊區塊，該第二逆轉變將該第二2維係數區塊自一頻域轉換至一像素域； 將該殘差視訊區塊與一或多個預測性區塊求和；及 基於該殘差視訊區塊與一或多個預測性區塊之該和形成一經解碼視訊區塊。
  26. 如請求項25之設備，其中該第一2維係數區塊為一4×4係數群且該視訊解碼器經進一步組態以： 判定用於該4×4係數群之一係數掃描次序；及 將該第一2維係數區塊重組為該第一1維係數向量，包含基於該經判定係數掃描次序將該第一2維係數區塊重組為該第一1維係數向量。
  27. 如請求項25之設備，其中該第一2維係數區塊為一第一4×4係數區塊，該第一1維係數向量為一16×1係數向量，該第二2維係數區塊為一第二4×4係數區塊，且該視訊解碼器經進一步組態以： 根據該係數掃描次序重組該第一2維係數區塊，其中在該第一2維係數區塊中之具有較小索引值的係數置放在該第一1維係數向量中之較小掃描索引位置處。
  28. 如請求項25之設備，其中該第一2維係數區塊為一4×4係數群且該視訊解碼器經進一步組態以： 基於經解碼資訊將該第一2維係數區塊重組為該第一1維係數向量，該經解碼資訊包含一框內預測模式、一寫碼單元(CU)層級增強型多轉變(EMT)索引、一轉變單元(TU)層級EMT索引、一殘差四分樹深度或經量化係數中之一或多者。
  29. 如請求項25之設備，其中該視訊解碼器經進一步組態以： 基於該第二2維係數區塊之非零係數的該量不大於一臨限值而將該第一逆轉變應用於該第一1維係數向量。
  30. 如請求項29之設備，其中該臨限值針對該視訊資料之不同區塊大小、不同框內預測模式或其一組合而不同。
  31. 如請求項25之設備，其中該視訊解碼器經進一步組態以： 基於共用該第一逆轉變之該索引的複數個色彩分量之非零係數的一總數之一和、一總絕對和或平方值之和不大於該臨限值而判定該第一逆轉變之一索引係在該視訊資料的一位元串流中傳信； 解碼包含該第一逆轉變之該索引的一區塊層級語法元素，其中該索引用於該複數個色彩分量中之每一者；及 將該第一逆轉變應用於該第一1維係數向量，包含基於該第一逆轉變之該索引對該第一1維係數向量執行該第一逆轉變。
  32. 如請求項25之設備，其中該視訊解碼器經進一步組態以： 基於一轉變單元係在一轉變跳過模式中寫碼而判定該第一逆轉變之一索引係在該視訊資料的一位元串流中傳信； 自該位元串流解碼該第一逆轉變之該索引；及 將該第一逆轉變應用於該第一1維係數向量，包含基於該第一逆轉變之該索引對該第一1維係數向量執行該第一逆轉變。
  33. 如請求項25之設備，其中該視訊解碼器經進一步組態以： 將一M×N係數區塊分成複數個非重疊4×4子區塊，該複數個非重疊4×4子區塊包括該第一2維係數區塊，M及N各自大於4，M及N各自為4的倍數，且M不等於N；及 對於該多個非重疊4×4子區塊中之每一4×4子區塊執行該第一逆轉變以產生複數個2維係數區塊，該複數個2維係數區塊包括該第二2維係數區塊。
  34. 如請求項25之設備，其中應用該第一逆轉變包含將一2維轉變矩陣乘以該第一1維係數向量。
  35. 如請求項34之設備，其中該第一2維係數區塊為一4×4區塊且該2維轉變矩陣為藉由一明度框內預測模式及一寫碼單元層級索引選擇的一16×16非可分離轉變矩陣。
  36. 如請求項25之設備，其中該視訊解碼器經進一步組態以： 逆量化該第一2維係數區塊。
  37. 如請求項25之設備，其中該設備包含經組態以顯示包含該經解碼視訊區塊之一圖像的一顯示器。
  38. 如請求項25之設備，其中該設備包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  39. 一種用於編碼視訊資料的設備，其包含： 一記憶體，其經組態以儲存該視訊資料；及 一視訊編碼器，其經組態以： 形成一殘差視訊區塊，其中形成該殘差視訊區塊包含自正被寫碼之一視訊區塊減去一或多個預測性區塊； 將一第一轉變應用於該殘差視訊區塊的至少部分以產生一第一2維係數區塊，該第一轉變將該殘差視訊區塊自一像素域轉換至一頻域； 重組該第一2維係數區塊以產生一第一1維係數向量； 將一第二轉變應用於該第一1維係數向量的至少部分以產生一第二1維係數向量，該第二轉變為一非可分離轉變；及 根據一係數掃描次序將該第二1維係數向量重組為一第二2維係數區塊。
  40. 如請求項39之設備，其中該第二2維係數區塊為一4×4係數群且其中該視訊編碼器經進一步組態以： 判定用於該4×4係數群之一係數掃描次序；及 將該第二1維係數向量重組為該第二2維係數區塊包含基於該經判定係數掃描次序將該第二1維係數向量重組為該第二2維係數區塊。
  41. 如請求項39之設備，其中該第一2維係數區塊為一第一4×4係數區塊，該第二1維係數向量為一16×1係數向量，該第二2維係數區塊為一第二4×4係數區塊，且該視訊解碼器經進一步組態以： 根據該係數掃描次序重組該第二1維係數向量，其中在該第二1維係數向量中之具有較小索引值的係數係置放在該第二2維係數區塊中之較小掃描索引位置處。
  42. 如請求項39之設備，其中： 該第二2維係數區塊為一4×4係數群，且 該視訊編碼器經進一步組態以基於一框內預測模式、一寫碼單元(CU)層級增強型多轉變(EMT)索引、一轉變單元(TU)層級EMT索引、一殘差四分樹深度或經量化係數中之一或多者將該第二1維係數向量重組為該第二2維係數區塊。
  43. 如請求項39之設備，其中該視訊編碼器經進一步組態以： 判定該第二2維係數區塊之非零係數的一量是否不大於一臨限值；及 回應於判定該第二2維係數區塊之非零係數的該量不大於該臨限值而將該第二轉變應用於該第一2維係數區塊的至少部分。
  44. 如請求項43之設備，其中該臨限值針對該視訊資料之不同區塊大小、不同框內預測模式或其一組合而不同。
  45. 如請求項39之設備，其中該視訊編碼器經進一步組態以： 判定是否在該視訊資料之一位元串流中編碼該第二轉變之一索引，其中基於共用該第二轉變之該索引的複數個色彩分量之非零係數的一總數之一和、一總絕對和或平方值之和不大於該臨限值進行不在該位元串流中編碼該第二轉變之該索引的判定，其中該第二轉變之該索引係在一區塊層級處傳信並經共用用於該複數個色彩分量；及 將該第二轉變應用於該第一2維係數區塊的至少部分包含基於該第二轉變之該索引在該位元串流中傳信而對該第一2維係數區塊的至少部分執行該第二轉變。
  46. 如請求項39之設備，其中該視訊編碼器經進一步組態以： 基於一轉變單元正在一轉變跳過模式中寫碼而判定是否在該視訊資料之一位元串流中編碼該第二轉變之一索引；及 將該第二轉變應用於該第一2維係數區塊的至少部分包含基於該第二轉變之該索引在該位元串流中傳信而對該第一2維係數區塊的至少部分執行該第二轉變。
  47. 如請求項39之設備，其中該視訊編碼器經進一步組態以： 將一M×N係數區塊分成複數個非重疊4×4子區塊，該複數個非重疊4×4子區塊包括該第一2維係數區塊，M及N各自大於4，M及N各自為4的倍數，且M不等於N；及 對於該多個非重疊4×4子區塊中之每一4×4子區塊執行該第二轉變以產生複數個2維係數區塊，該複數個2維係數區塊包括該第二2維係數區塊。
  48. 如請求項39之方法，其中應用該第二轉變包含將一2維轉變矩陣乘以該第一1維係數向量。
  49. 如請求項48之設備，其中該第一2維係數區塊為一4×4區塊且該2維轉變矩陣為藉由一明度框內預測模式及一寫碼單元層級索引選擇的一16×16非可分離轉變矩陣。
  50. 如請求項39之設備，其中該視訊編碼器經進一步組態以： 量化該第二2維係數區塊。
  51. 如請求項39之設備，其中該設備包含經組態以俘獲包含該視訊區塊之一圖像的一攝影機。
  52. 如請求項39之設備，其中該設備包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  53. 一種用於解碼視訊資料的設備，其包含： 用於根據一係數掃描次序將一第一2維係數區塊重組為一第一1維係數向量的構件； 用於將一第一逆轉變應用於該第一1維係數向量以產生一第二1維係數向量的構件，該第一逆轉變為一非可分離轉變； 用於將該第一1維係數向量重組為一第二2維係數區塊的構件； 用於將一第二逆轉變應用於該第二2維係數區塊以產生一殘差視訊區塊的構件，該第二逆轉變將該第二2維係數區塊自一頻域轉換至一像素域；及 用於形成一經解碼視訊區塊的構件，其中用於形成該經解碼視訊區塊的該構件包含用於將該殘差視訊區塊與一或多個預測性區塊求和的構件。
  54. 一種用於編碼視訊資料的設備，其包含： 用於形成一殘差視訊區塊的構件，其中形成該殘差視訊區塊包含自正被寫碼之一視訊區塊減去一或多個預測性區塊； 用於將一第一轉變應用於該殘差視訊區塊的至少部分以產生一第一2維係數區塊的構件，該第一轉變將該殘差視訊區塊自一像素域轉換至一頻域； 用於重組該第一2維係數區塊以產生一第一1維係數向量的構件； 用於將一第二轉變應用於該第一1維係數向量的至少部分以產生一第二1維係數向量的構件，該第二轉變為一非可分離轉變；及 用於根據一係數掃描次序將該第二1維係數向量重組為一第二2維係數區塊的構件。
  55. 一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使得用於解碼視訊資料之一裝置的一或多個處理器進行以下操作： 根據一係數掃描次序將一第一2維係數區塊重組為一第一1維係數向量； 將一第一逆轉變應用於該第一1維係數向量以產生一第二1維係數向量，該第一逆轉變為一非可分離轉變； 將該第一1維係數向量重組為一第二2維係數區塊； 將一第二逆轉變應用於該第二2維係數區塊以產生一殘差視訊區塊，該第二逆轉變將該第二2維係數區塊自一頻域轉換至一像素域；及 形成經解碼視訊區塊，其中形成該經解碼視訊區塊包含將該殘差視訊區塊與一或多個預測性區塊求和。
TW105130512A 2015-09-29 2016-09-21 用於具有重組之視訊寫碼之非可分離二次轉變 TW201722152A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562234644P 2015-09-29 2015-09-29
US201662294897P 2016-02-12 2016-02-12
US201662323496P 2016-04-15 2016-04-15
US201662337736P 2016-05-17 2016-05-17
US15/270,507 US10681379B2 (en) 2015-09-29 2016-09-20 Non-separable secondary transform for video coding with reorganizing

Publications (1)

Publication Number Publication Date
TW201722152A true TW201722152A (zh) 2017-06-16

Family

ID=58406050

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105130512A TW201722152A (zh) 2015-09-29 2016-09-21 用於具有重組之視訊寫碼之非可分離二次轉變
TW105130513A TW201715888A (zh) 2015-09-29 2016-09-21 用於視訊寫碼之非可分離二次轉變

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105130513A TW201715888A (zh) 2015-09-29 2016-09-21 用於視訊寫碼之非可分離二次轉變

Country Status (9)

Country Link
US (3) US10491922B2 (zh)
EP (2) EP3357243A1 (zh)
JP (2) JP6884770B2 (zh)
KR (2) KR20180063186A (zh)
CN (2) CN108141596B (zh)
AU (2) AU2016332318A1 (zh)
BR (2) BR112018006398A2 (zh)
TW (2) TW201722152A (zh)
WO (2) WO2017058615A1 (zh)

Families Citing this family (219)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3222044A1 (en) * 2014-11-21 2017-09-27 VID SCALE, Inc. One-dimensional transform modes and coefficient scan order
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
KR102169435B1 (ko) * 2016-03-21 2020-10-23 후아웨이 테크놀러지 컴퍼니 리미티드 가중된 행렬 계수의 적응형 양자화
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
KR102391235B1 (ko) * 2016-04-29 2022-04-27 인텔렉추얼디스커버리 주식회사 영상 신호 부호화/복호화 방법 및 장치
CN109155851A (zh) * 2016-05-02 2019-01-04 汉阳大学校产学协力团 利用画面内预测的影像编码、解码方法及装置
WO2017195476A1 (ja) 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
CN113411579B (zh) * 2016-05-13 2024-01-23 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
EP3457692B1 (en) * 2016-05-13 2024-01-10 Sony Group Corporation Image processing device and method
US10645395B2 (en) * 2016-05-25 2020-05-05 Arris Enterprises Llc Weighted angular prediction coding for intra coding
WO2017205704A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
US10523949B2 (en) 2016-05-25 2019-12-31 Arris Enterprises Llc Weighted angular prediction for intra coding
US20210343388A1 (en) * 2016-05-31 2021-11-04 Digital Hospital, Inc. Dosage Determination Apparatus
CN117221585A (zh) * 2016-06-22 2023-12-12 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
KR20180007680A (ko) * 2016-07-13 2018-01-23 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
CN109792519B (zh) * 2016-08-08 2023-06-23 Lg电子株式会社 基于帧内预测模式的图像处理方法及其装置
US11095892B2 (en) * 2016-09-20 2021-08-17 Kt Corporation Method and apparatus for processing video signal
US10880564B2 (en) 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US20180103251A1 (en) * 2016-10-07 2018-04-12 Industrial Technology Research Institute Method for selecting prediction mode of intra prediction, video encoding device and image processing apparatus
US11095893B2 (en) 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
WO2018117892A1 (en) * 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd. An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
US10277895B2 (en) * 2016-12-28 2019-04-30 Arris Enterprises Llc Adaptive unequal weight planar prediction
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
BR112019019702A2 (pt) * 2017-03-21 2020-04-14 Lg Electronics Inc método de transformada em sistema de codificação de imagem e aparelho para o mesmo
US20180288439A1 (en) * 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
CA3060201C (en) * 2017-04-13 2023-09-19 Lg Electronics Inc. Image encoding/decoding method and device therefor
US10855997B2 (en) * 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
JP2020109884A (ja) * 2017-04-28 2020-07-16 シャープ株式会社 動画像符号化装置及び動画像復号装置
WO2018221553A1 (ja) * 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置及び復号方法
WO2018221554A1 (ja) 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置及び復号方法
KR102361010B1 (ko) * 2017-06-21 2022-02-09 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
US11134272B2 (en) 2017-06-29 2021-09-28 Qualcomm Incorporated Memory reduction for non-separable transforms
WO2019009129A1 (ja) * 2017-07-03 2019-01-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
TWI777904B (zh) 2017-07-13 2022-09-11 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置及記錄媒體
TWI761551B (zh) * 2017-07-13 2022-04-21 美商松下電器（美國）知識產權公司 編碼裝置、編碼方法、解碼裝置及解碼方法
CN116055721A (zh) * 2017-07-28 2023-05-02 松下电器（美国）知识产权公司 编码装置和编码方法
JP6669938B2 (ja) * 2017-07-28 2020-03-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
CN115474043A (zh) * 2017-07-31 2022-12-13 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
CA3238672A1 (en) * 2017-08-04 2019-02-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for configuring transform for video compression
WO2019066574A1 (ko) * 2017-09-28 2019-04-04 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
KR20210095971A (ko) 2017-11-09 2021-08-03 삼성전자주식회사 움직임 벡터 해상도에 기초하여 영상을 부호화하는 장치 및 방법, 및 복호화 장치 및 방법
US20200374516A1 (en) * 2017-12-04 2020-11-26 Lg Electronics Inc. Image decoding method and apparatus based on efficient transformation of chroma component in image coding system
US11252420B2 (en) * 2017-12-15 2022-02-15 Lg Electronics Inc. Image coding method on basis of secondary transform and device therefor
RU2760566C2 (ru) * 2017-12-15 2021-11-29 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ кодирования изображения на основе неразделимого вторичного преобразования и устройство для него
EP4376412A2 (en) * 2017-12-15 2024-05-29 LG Electronics Inc. Image coding method on basis of transformation and device therefor
DE112018005899T5 (de) * 2017-12-18 2020-08-13 Arris Enterprises Llc System und Verfahren zum Konstruieren einer Ebene für planare Prädiktion
BR112020012643B1 (pt) * 2017-12-21 2022-05-17 Lg Electronics Inc Método para codificação de imagem com base em transformada seletiva e dispositivo para o mesmo
WO2019126347A1 (en) * 2017-12-22 2019-06-27 Interdigital Vc Holdings, Inc. Method and apparatus for video compression using efficient multiple transforms
CN111095924B (zh) 2017-12-28 2022-09-13 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2019164660A1 (en) 2018-02-23 2019-08-29 Futurewei Technologies, Inc. Position dependent spatial varying transform for video coding
CN108322745B (zh) * 2018-02-28 2019-12-03 中南大学 一种基于不可分二次变换模式的帧内快速选择方法
US10567801B2 (en) 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
EP3777165A1 (en) * 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Determination of set of candidate transforms for video encoding
US11647214B2 (en) * 2018-03-30 2023-05-09 Qualcomm Incorporated Multiple transforms adjustment stages for video coding
CN111937386B (zh) * 2018-04-01 2023-09-01 Lg电子株式会社 通过向分区块应用二次变换来处理视频信号的方法及设备
EP4250731A3 (en) * 2018-04-01 2023-12-06 LG Electronics Inc. Method and device for processing video signal by using reduced secondary transform
CN110213576B (zh) * 2018-05-03 2023-02-28 腾讯科技（深圳）有限公司 视频编码方法、视频编码装置、电子设备及存储介质
KR102532021B1 (ko) 2018-05-31 2023-05-12 후아웨이 테크놀러지 컴퍼니 리미티드 적응적 변환 타입의 공간 가변 변환
US10645396B2 (en) * 2018-06-04 2020-05-05 Tencent America LLC Method and apparatus for implicit transform splitting
CA3105072A1 (en) 2018-06-29 2020-01-02 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
AU2018204775A1 (en) * 2018-06-29 2020-01-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
US10687081B2 (en) * 2018-06-29 2020-06-16 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10666981B2 (en) * 2018-06-29 2020-05-26 Tencent America LLC Method, apparatus and medium for decoding or encoding
KR20230061564A (ko) * 2018-07-02 2023-05-08 엘지전자 주식회사 이차 변환을 기반으로 비디오 신호를 처리하는 방법 및 장치
WO2020009556A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR102555966B1 (ko) * 2018-07-12 2023-07-17 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
PL3707898T3 (pl) 2018-07-13 2021-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Wybór transformacji w koderze wideo i/lub dekoderze wideo
US11166044B2 (en) * 2018-07-31 2021-11-02 Tencent America LLC Method and apparatus for improved compound orthonormal transform
KR102553341B1 (ko) * 2018-08-12 2023-07-06 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
CN111758261B (zh) * 2018-09-02 2022-06-10 Lg电子株式会社 用于处理图像信号的方法和设备
WO2020046092A1 (ko) * 2018-09-02 2020-03-05 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
WO2020046085A1 (ko) * 2018-09-02 2020-03-05 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
BR112021003829A2 (pt) * 2018-09-02 2021-05-18 Lg Electronics Inc. método e aparelho para processamento de sinal de imagem
WO2020050665A1 (ko) * 2018-09-05 2020-03-12 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
JP7106652B2 (ja) * 2018-09-05 2022-07-26 エルジー エレクトロニクス インコーポレイティド 映像信号を処理するための方法及び装置
US10819979B2 (en) * 2018-09-06 2020-10-27 Tencent America LLC Coupled primary and secondary transform
CA3113988A1 (en) * 2018-09-23 2020-03-26 Lg Electronics Inc. Method for encoding/decoding video signals and apparatus therefor
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
WO2020067694A1 (ko) * 2018-09-24 2020-04-02 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
US11589075B2 (en) 2018-10-01 2023-02-21 Lg Electronics Inc. Encoding/decoding method for video signal and device therefor
US11128866B2 (en) 2018-10-18 2021-09-21 Qualcomm Incorporated Scans and last coefficient position coding for zero-out transforms
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
CN114374839B (zh) * 2018-11-12 2023-06-20 Lg电子株式会社 图像解码方法、图像编码方法和数据发送方法
CN113302924A (zh) * 2018-11-22 2021-08-24 交互数字Vc控股公司 用于视频编码和解码的量化
CN116684643A (zh) * 2018-12-06 2023-09-01 Lg电子株式会社 解码设备、编码设备和数据发送设备
US11284112B2 (en) 2018-12-06 2022-03-22 Tencent America LLC Method and apparatus for a primary transform using an 8-bit transform core
GB2579824B (en) 2018-12-14 2022-05-18 British Broadcasting Corp Video encoding and video decoding
WO2020130577A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020130581A1 (ko) * 2018-12-19 2020-06-25 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
CN113273214B (zh) * 2018-12-19 2023-08-29 Lg电子株式会社 基于二次变换的图像编码方法及其装置
GB2580326A (en) 2018-12-28 2020-07-22 British Broadcasting Corp Video encoding and video decoding
US11102490B2 (en) * 2018-12-31 2021-08-24 Tencent America LLC Coefficient scanning methods on adaptive angle mode
WO2020141892A1 (ko) * 2019-01-01 2020-07-09 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
BR112021013117A2 (pt) * 2019-01-02 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparelho para decodificar e codificar uma imagem usando codificação preditiva e codificação residual de transformada com base em bloco, métodos e fluxo de dados
KR20210080557A (ko) * 2019-01-07 2021-06-30 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
CN116760981A (zh) * 2019-01-12 2023-09-15 Lg电子株式会社 图像解码方法、图像变换方法、存储介质和数据发送方法
US11595663B2 (en) 2019-02-01 2023-02-28 Qualcomm Incorporated Secondary transform designs for partitioned transform units in video coding
KR20210079377A (ko) 2019-02-01 2021-06-29 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
AU2020214083B2 (en) * 2019-02-02 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
KR20210123300A (ko) 2019-02-02 2021-10-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
US10986339B2 (en) * 2019-02-08 2021-04-20 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection
US11190794B2 (en) * 2019-02-12 2021-11-30 Tencent America LLC Method and apparatus for video coding
CN117395439A (zh) 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
CN113519164A (zh) * 2019-03-02 2021-10-19 北京字节跳动网络技术有限公司 对分割结构的限制
CN117640927A (zh) 2019-03-04 2024-03-01 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
EP3939296A1 (en) * 2019-03-12 2022-01-19 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Selective inter-component transform (ict) for image and video coding
CN113574880B (zh) * 2019-03-13 2023-04-07 北京字节跳动网络技术有限公司 关于子块变换模式的分割
US11025937B2 (en) * 2019-03-16 2021-06-01 Tencent America LLC Method and apparatus for video coding
CN114501009B (zh) * 2019-03-21 2023-12-19 三星电子株式会社 视频解码设备和视频编码设备
US11025909B2 (en) * 2019-03-21 2021-06-01 Tencent America LLC Method and apparatus for video coding
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
WO2020207493A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
WO2020211807A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Matrix derivation in intra coding mode
EP3949407A4 (en) 2019-04-16 2023-04-12 HFI Innovation Inc. METHODS AND APPARATUS FOR ENCODING VIDEO DATA WITH ADAPTIVE SECONDARY TRANSFORMATION SIGNALING DEPENDING ON THE TB-PLANE SYNTAX
KR20210145762A (ko) * 2019-04-16 2021-12-02 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
BR112021020758A2 (pt) * 2019-04-16 2021-12-14 Lg Electronics Inc Codificação de imagem usando índice de transformada
CN114223207B (zh) * 2019-04-16 2023-09-22 寰发股份有限公司 用次要变换编解码视讯数据的方法以及装置
KR102470695B1 (ko) 2019-04-16 2022-11-25 엘지전자 주식회사 인트라 예측 기반 영상 코딩에서의 변환
KR102470696B1 (ko) * 2019-04-16 2022-11-28 엘지전자 주식회사 영상 코딩에서 매트릭스 기반의 인트라 예측을 위한 변환
CN113711591B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 用于色度残差的联合编解码的语法元素的信令
WO2020216303A1 (en) * 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Selective use of secondary transform in coded video
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
WO2020221373A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
WO2020228671A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
WO2020231229A1 (ko) 2019-05-15 2020-11-19 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11032572B2 (en) 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
EP3954115A4 (en) 2019-05-22 2023-04-19 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRAPREDICTION USING UPSAMPLING
US11641471B2 (en) 2019-05-27 2023-05-02 Lg Electronics Inc. Image coding method and device on basis of wide-angle intra prediction and transform
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
US20220232255A1 (en) * 2019-05-30 2022-07-21 Sharp Kabushiki Kaisha Image decoding apparatus
CN114051735A (zh) * 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
SG11202113262WA (en) * 2019-05-31 2021-12-30 Interdigital Vc Holdings Inc Transform selection for implicit multiple transform selection
US11218728B2 (en) * 2019-06-04 2022-01-04 Tencent America LLC Method and apparatus for video coding
US11134275B2 (en) * 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
KR20210133301A (ko) * 2019-06-06 2021-11-05 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
EP3967032A4 (en) 2019-06-07 2022-07-27 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS
WO2020251254A1 (ko) * 2019-06-10 2020-12-17 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding
US11695960B2 (en) 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
CN113994696A (zh) * 2019-06-15 2022-01-28 北京字节跳动网络技术有限公司 编解码视频中的块尺寸相关的二次变换的使用
KR20200144511A (ko) * 2019-06-18 2020-12-29 한국전자통신연구원 2차 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
MX2021016152A (es) 2019-06-19 2022-02-22 Lg Electronics Inc Se?alizacion de informacion que indica el conjunto de nucleo de transformacion en codificacion de imagen.
EP3965426A4 (en) * 2019-06-19 2022-08-10 LG Electronics Inc. TRANSFORMATION-BASED IMAGE CODING METHOD AND APPARATUS THEREOF
EP3754981A1 (en) * 2019-06-20 2020-12-23 InterDigital VC Holdings, Inc. Explicit signaling of reduced secondary transform kernel
US11949870B2 (en) 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
JP6912522B2 (ja) * 2019-06-24 2021-08-04 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN112135148B (zh) * 2019-06-25 2022-05-10 华为技术有限公司 非可分离变换方法以及设备
GB2585030A (en) * 2019-06-25 2020-12-30 British Broadcasting Corp Method of signalling in a video codec
CN116055745A (zh) * 2019-06-25 2023-05-02 三星电子株式会社 使用二次变换的视频信号处理方法及装置
CN114175645B (zh) 2019-07-06 2024-04-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
CA3146391A1 (en) 2019-07-10 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
EP3981146A4 (en) 2019-07-11 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. BITSTREAM CONFORMITY RESTRICTIONS FOR INTRA-BLOCK COPY IN VIDEO ENCODING
KR20220024500A (ko) 2019-07-12 2022-03-03 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR20220024499A (ko) * 2019-07-12 2022-03-03 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
JP7422858B2 (ja) 2019-08-03 2024-01-26 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体及び記憶方法
CN114208178A (zh) * 2019-08-06 2022-03-18 交互数字Vc控股法国有限公司 用于视频编码和解码的二次变换
KR20220031062A (ko) * 2019-08-08 2022-03-11 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN114223208B (zh) 2019-08-17 2023-12-29 北京字节跳动网络技术有限公司 为视频中的缩减二次变换的边信息的上下文建模
US11677984B2 (en) 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
KR20220057620A (ko) * 2019-09-12 2022-05-09 알리바바 그룹 홀딩 리미티드 변환-스킵 모드에서 비디오 데이터를 코딩하기 위한 방법 및 장치
AU2019232801A1 (en) 2019-09-17 2021-04-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
CN110636313B (zh) * 2019-09-18 2022-07-15 浙江大华技术股份有限公司 变换、二次变换矩阵训练方法、编码器及相关装置
US11184617B2 (en) 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
KR20220077908A (ko) * 2019-09-19 2022-06-09 주식회사 윌러스표준기술연구소 스케일링 프로세스를 사용하는 비디오 신호 처리 방법 및 장치
CA3151584C (en) * 2019-09-20 2024-04-02 Jani Lainema An apparatus, a method and a computer program for video coding and decoding
MX2022003185A (es) * 2019-09-20 2022-04-06 Lg Electronics Inc Metodo de codificacion de imagenes a base de transformacion y dispositivo para el mismo.
US11153576B2 (en) 2019-09-20 2021-10-19 Qualcomm Incorporated Scaling matrices and signaling for video coding
KR20220045048A (ko) * 2019-09-21 2022-04-12 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
JP7299413B2 (ja) 2019-09-21 2023-06-27 エルジー エレクトロニクス インコーポレイティド 変換に基づく映像コーディング方法及びその装置
US20220353504A1 (en) * 2019-09-23 2022-11-03 Lg Electronics Inc. Image coding method based on transform, and device therefor
US11206400B2 (en) 2019-09-26 2021-12-21 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) simplifications
KR20220050967A (ko) * 2019-10-04 2022-04-25 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
WO2021096174A1 (ko) * 2019-11-11 2021-05-20 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN114930845A (zh) 2019-11-11 2022-08-19 Lg电子株式会社 基于变换的图像编码方法及其装置
EP4060993A4 (en) 2019-11-11 2023-12-13 LG Electronics Inc. TRANSFORM-BASED IMAGE CODING METHOD AND ASSOCIATED DEVICE
KR20220066350A (ko) * 2019-11-13 2022-05-24 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR20220066351A (ko) * 2019-11-13 2022-05-24 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN114946189A (zh) * 2019-11-13 2022-08-26 Lg电子株式会社 基于变换的图像编码方法及其装置
EP4068783A4 (en) * 2019-11-26 2023-12-13 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIUM WITH RECORDED BIT STREAM
US11375220B2 (en) * 2019-11-27 2022-06-28 Tencent America LLC Method and apparatus for video decoding using a nominal directional mode and an angular offset
CN114830655B (zh) * 2019-12-12 2023-08-18 寰发股份有限公司 视频编解码的方法与装置
US11470353B2 (en) 2019-12-20 2022-10-11 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) with reduced zero-out in video coding
US11457229B2 (en) 2019-12-23 2022-09-27 Qualcomm Incorporated LFNST signaling for chroma based on chroma transform skip
WO2021134303A1 (zh) * 2019-12-30 2021-07-08 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN114830663A (zh) * 2019-12-31 2022-07-29 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN114830658A (zh) * 2019-12-31 2022-07-29 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
WO2021141443A1 (ko) * 2020-01-10 2021-07-15 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN115315944A (zh) * 2020-03-07 2022-11-08 抖音视界有限公司 视频编解码中的隐式多变换集信令通知
US11582491B2 (en) 2020-03-27 2023-02-14 Qualcomm Incorporated Low-frequency non-separable transform processing in video coding
US20210321137A1 (en) 2020-03-30 2021-10-14 Qualcomm Incorporated Low-frequency non-separable transform index signaling in video coding
US11616983B2 (en) * 2020-05-05 2023-03-28 Tencent America LLC Joint component secondary transform
US11272212B2 (en) * 2020-05-12 2022-03-08 Tencent America LLC Tuned line graph transforms
US11310529B2 (en) * 2020-05-27 2022-04-19 Tencent America LLC Mode-dependent joint component transform
US11785254B2 (en) 2020-05-29 2023-10-10 Tencent America LLC Implicit mode dependent primary transforms
CN115443655A (zh) * 2020-06-09 2022-12-06 阿里巴巴（中国）有限公司 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法
US11206428B1 (en) 2020-07-14 2021-12-21 Tencent America LLC Method and apparatus for frequency-dependent joint component secondary transform
US11683490B2 (en) * 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
US11871010B2 (en) 2020-10-02 2024-01-09 Qualcomm Incorporated Extended low-frequency non-separable transform (LFNST) designs with worst-case complexity handling
US11611770B2 (en) * 2020-10-14 2023-03-21 Tencent America LLC Method and apparatus for video coding
US11930186B2 (en) * 2020-11-11 2024-03-12 Tencent America LLC Method and apparatus for video coding
US20220150518A1 (en) * 2020-11-11 2022-05-12 Tencent America LLC Method and apparatus for video coding
US11924471B2 (en) 2020-11-12 2024-03-05 Qualcomm Incorporated Context-based transform index signaling in video coding
CN114598871A (zh) * 2020-12-03 2022-06-07 杭州海康威视数字技术股份有限公司 一种编码、解码方法、装置及其设备
KR20230169985A (ko) * 2021-04-12 2023-12-18 엘지전자 주식회사 저주파 비분리 변환 설계 방법 및 장치
US20220337854A1 (en) * 2021-04-16 2022-10-20 Tencent America LLC Interaction between transform partitioning and primary/secondary transform type selection
EP4338417A2 (en) * 2021-05-12 2024-03-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
EP4369715A1 (en) * 2021-07-06 2024-05-15 LG Electronics Inc. Non-separable primary transform-based image encoding/decoding method and device, and recording medium for storing bitstream
US20230078100A1 (en) * 2021-08-30 2023-03-16 Tencent America LLC Scan order of secondary transform coefficients
WO2023191332A1 (ko) * 2022-03-28 2023-10-05 현대자동차주식회사 적응적 다중변환선택을 이용하는 비디오 코딩을 위한 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
CN102474269A (zh) 2009-08-06 2012-05-23 松下电器产业株式会社 编码方法、解码方法、编码装置及解码装置
US9661338B2 (en) * 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
WO2012014461A1 (ja) 2010-07-28 2012-02-02 パナソニック株式会社 符号化方法および復号化方法
US10992958B2 (en) * 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US9998742B2 (en) 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10491922B2 (en) 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding

Also Published As

Publication number Publication date
US10873762B2 (en) 2020-12-22
US20200092583A1 (en) 2020-03-19
BR112018006398A2 (pt) 2018-10-09
EP3357242B1 (en) 2023-12-06
WO2017058615A1 (en) 2017-04-06
AU2016332317A1 (en) 2018-04-26
WO2017058614A1 (en) 2017-04-06
TW201715888A (zh) 2017-05-01
KR20180063187A (ko) 2018-06-11
CN108141596B (zh) 2022-03-08
US10681379B2 (en) 2020-06-09
US20170094314A1 (en) 2017-03-30
US20170094313A1 (en) 2017-03-30
CN108141597A (zh) 2018-06-08
CN108141597B (zh) 2022-03-08
BR112018006367A2 (pt) 2018-10-09
JP2018530247A (ja) 2018-10-11
CN108141596A (zh) 2018-06-08
KR20180063186A (ko) 2018-06-11
EP3357243A1 (en) 2018-08-08
EP3357242C0 (en) 2023-12-06
JP6884770B2 (ja) 2021-06-09
EP3357242A1 (en) 2018-08-08
JP6995744B2 (ja) 2022-01-17
AU2016332318A1 (en) 2018-04-26
JP2018530245A (ja) 2018-10-11
US10491922B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
US10873762B2 (en) Non-separable secondary transform for video coding
KR102435840B1 (ko) 비분리형 변환들을 위한 메모리 감소
CN112204969B (zh) 用于视频编解码的编解码自适应多重变换信息
CN109716772B (zh) 用于视频译码的变换选择
KR102519245B1 (ko) 강화된 다중 변환을 위한 룩-업 테이블
TWI766844B (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
TW201711464A (zh) 使用一全文自適應二進位算術寫碼設計來寫碼資料
JP2018537908A (ja) ビデオデータの符号情報をコーディングすること
TW201444350A (zh) 方形區塊預測
JP2017523685A (ja) イントラブロックコピーイングのためのブロックベクトルコーディング
MX2013014123A (es) Modelado de contexto eficiente de memoria.
EP3824628A1 (en) Transform variations of multiple separable transform selection
KR20210103481A (ko) 비디오 코딩을 위한 트리-기반 변환 유닛 (tu) 파티션
CN110800300B (zh) 用于不可分开转换的存储器减少