TW202137762A - 變換組 - Google Patents

變換組 Download PDF

Info

Publication number
TW202137762A
TW202137762A TW110118382A TW110118382A TW202137762A TW 202137762 A TW202137762 A TW 202137762A TW 110118382 A TW110118382 A TW 110118382A TW 110118382 A TW110118382 A TW 110118382A TW 202137762 A TW202137762 A TW 202137762A
Authority
TW
Taiwan
Prior art keywords
transform
transformation
primary
subgroup
coefficients
Prior art date
Application number
TW110118382A
Other languages
English (en)
Other versions
TWI791222B (zh
Inventor
米斯洽 希克曼
柏喬恩 史泰倫柏格
克里斯汀 巴特尼克
薩巴斯汀 波瑟
強納森 帕雅夫
菲利浦 希利
傑基 馬
馬汀 文肯
迪特利夫 馬皮
希可 史瓦茲
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202137762A publication Critical patent/TW202137762A/zh
Application granted granted Critical
Publication of TWI791222B publication Critical patent/TWI791222B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本發明係關於變換係數寫碼，其中可使用預定變換組。本發明之實施例提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中或自一資料串流編碼一圖像的一編碼器及一解碼器，該編碼器及解碼器支援用於該基於區塊之殘餘寫碼之一變換組。該編碼器及解碼器經組配以基於一當前殘餘區塊之一高度及一寬度自該變換組判定用於該當前殘餘區塊之變換的一變換候選清單，且使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼/解碼，並選擇性地在該資料串流中/自該資料串流傳訊/推導該所選變換。

Description

變換組
發明領域 本發明係關於圖像及視訊寫碼，且特定而言係關於基於區塊之圖像及視訊寫碼。該圖像可為靜態影像或動態圖像序列中之連續次序影像。本發明之一些特定實例及實施例係關於用於在視訊寫碼環境中利用用於變換之模式相關的變換候選集以獲得空間域中之各別殘餘信號來進行殘餘寫碼的聯合及擴展方案。
發明背景 除如同高效率視訊寫碼(HEVC)之一些標準中採用的DCT-II及4×4 DST-VII之外，其他標準，如聯合勘探測試模型(JEM)，例如可定義兩個額外的變換家族。即，自適應多核心變換(AMT)及模式相關之一組不可分離次級變換(NSST)。 2.1 自適應多核心變換 [1,8]
AMT藉由來自DCT/DST家族(亦即，DST-VII、DCT-VIII、DST-I及DCT-V)之變換來擴展用於亮度分量之可用變換組。若根據CU層級設定旗標，則AMT適用，否則使用DCT-II。對於經框間寫碼之區塊，兩個另外的期標在分別用於各水平及垂直變換之DST-VII與DCT-VIII之間作出抉擇。若區塊經框內寫碼，則其取決於框內預測模式，哪些變換可用。各框內模式映射至三個預定義組中之兩個。每一組各用於水平及垂直變換。各組由兩個變換組成。若有效係數之數目大於預定義臨限值，則針對各方向傳訊索引，否則使用各組中之第一變換。 2.2 模式相關之不可分離次級變換 [1,2]
NSST定義應用於核心變換(初級變換)之係數的第二級變換。「若變換係數區塊之寬度及高度兩者大於或等於8，則8×8不可分離次級變換應用於變換係數區塊之左上方8×8區域。否則，若變換係數區塊之W抑或Ｈ等於4，則應用4×4不可分離次級變換且對變換係數區塊之左上方min(8,W)×min(8,H)區域執行4×4不可分離變換。以上變換選擇規則適用於明度分量及色度分量兩者。」[1] 2.3 具有高頻調零之大區塊大小變換
「在JEM中，能夠進行大小高達128×128的大型區塊大小變換，其主要適用於較高解析度視訊，例如1080p及4K序列。針對大小(寬度或高度，或寬度及高度兩者)大於或等於64之彼等變換區塊使高頻變換係數歸零，以便僅維持較低頻率係數。舉例而言，對於M×N變換區塊，其中M作為區塊寬度且N作為區塊高度，當M大於或等於64時，僅保持左32行之變換係數。類似地，當N大於或等於64時，僅保持上32列之變換係數。在將變換跳過模式用於較大區塊時，使用整個區塊而無需使任何值歸零。」[1]
然而，現有技術可具有若干缺點。舉例而言，隨著圖像大小增加，寫碼工作亦大大增加。因此，將需要提供具有經改良效率之編解碼器。
因此，建議提供模式相關之變換候選集。識別用於獲得空間域中之殘餘信號之變換可採用利用已解碼語法元素之候選清單。可以候選清單中之可用變換為條件來對殘餘區塊之係數解碼。藉此，候選清單本身可藉由移除與已獲得的關於係數之資訊相衝突之彼等變換而以迭代方式減少。在解碼所有係數且超過一個變換候選留下時，可傳訊至候選清單之索引。
引入模式相關候選清單之創新概念可允許對用於殘餘區塊之變換之靈活及高效測試及傳訊。舉例而言，藉由結構化變換之誘導性約束條件對結構化變換進行分類可允許採用所選擇變換、所得係數及鄰近變換區塊之間的相關性。
發明概要 根據第一態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。該編碼器可經組配以基於當前殘餘區塊之高度及寬度來自該變換組判定用於該當前殘餘區塊之變換的變換候選清單。該編碼器可進一步經組配以使用來自該變換可選清單之一個所選變換對該殘餘區塊內之預測殘餘進行編碼，並選擇性地在該資料串流中傳訊該所選變換。傳訊可選擇性地指示以下事實：候選清單有可能僅含有一個候選變換，以使得傳訊可中斷。
根據第一態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。該解碼器可經組配以基於當前殘餘區塊之高度及寬度自該變換組判定用於該當前殘餘區塊之變換的變換候選清單，且在來自變換可選清單之一個所選變換的域中對該殘餘區塊內之預測殘餘進行解碼，同時選擇性地自該資料串流導出該所選變換。導出可選擇性地指示以下事實：候選清單有可能僅含有一個候選變換，以使得傳訊/導出可中斷。
根據第二態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。該編碼器可經組配以自變換組判定用於當前殘餘區塊之變換可選清單，且使用來自該變換可選清單之一個所選變換將變換係數資料編碼至資料串流中，該變換係數資料表示殘餘區塊內之預測殘餘。編碼器可進一步經組配為以取決於變換係數資料或取決於變換係數資料之一部分的方式，在資料串流中傳訊所選變換，及/或執行對可選清單之判定。
根據第二態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。該解碼器可經組配以自變換組判定用於當前殘餘區塊之變換可選清單，且使用來自該變換可選清單之一個所選變換自資料串流解碼變換係數資料，該變換係數資料表示殘餘區塊內之預測殘餘。解碼器可進一步經組配為以取決於變換係數資料或取決於資料變換係數資料之一部分的方式，自資料串流導出所選變換，及/或執行對可選清單之判定。
根據第三態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。該編碼器可經組配以自變換組判定用於當前殘餘區塊的變換可選清單，且在資料串流中傳訊所選變換。該編碼器可進一步經組配以取決於所選變換或取決於變換可選清單之方式使用來自變換可選清單之一個所選變換來編碼變換係數，該等變換係數表示殘餘區塊內之預測殘餘。
根據第三態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。該解碼器可經組配以自變換組判定用於當前殘餘區塊之變換可選清單，且自資料串流導出所選變換。該解碼器可進一步經組配以取決於所選變換或變換可選清單之方式使用來自變換可選清單之一個所選變換以自資料串流解碼變換係數，該等變換係數表示殘餘區塊內之預測殘餘。
根據第四態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。該編碼器可經組配以自變換組判定用於當前殘餘區塊之變換可選清單，且使用來自該變換可選清單之一個所選變換編碼殘餘區塊內之預測殘餘。該編碼器可進一步經組配以使用變換指示符在資料串流中傳訊所選變換，其中該變換指示符係使用具有一或多個位數之程式碼在資料串流中傳訊，其中該一或多個位數之組中之各者獨特地與各別變換特性相關聯。
根據第四態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。解碼器可經組配以自變換組判定用於當前殘餘區塊之變換可選清單，且使用來自變換可選清單之一個所選變換自資料串流對殘餘區塊內之預測殘餘解碼。該解碼器可進一步經組配以使用變換指示符自資料串流導出所選變換，其中該變換指示符係使用具有一或多個位數之程式碼自資料串流導出，其中該一或多個位數之組中之各者獨特地與各別變換特性相關聯。舉例而言，該程式碼可包含經受二進位算術寫碼之變換指示符之位元子或構成變換指示符且可自資料串流剖析之語法元素。
根據第五態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。該編碼器可進一步經組配以藉由將經框內預測區塊之空間鄰域應用至來自多個神經網路之所選神經網路上來預測經框內預測區塊，以獲得經框內預測區塊之預測，及基於所選神經網路及殘餘區塊之區塊大小自變換組判定用於覆蓋經框內預測區塊之殘餘區塊之可選變換組。該編碼器可進一步經組配以使用來自該可選變換組之一個所選變換對殘餘區塊內與經框內預測區塊之預測相關聯之預測殘餘進行編碼，且在資料串流中傳訊所選變換。
根據第五態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。該解碼器可經組配以藉由將經框內預測區塊之空間鄰域應用至來自多個神經網路之所選神經網路上來預測經框內預測區塊，以獲得經框內預測區塊之預測，及基於所選神經網路及殘餘區塊之區塊大小自變換組判定用於覆蓋經框內預測區塊之殘餘區塊之可選變換組。該解碼器可進一步經組配以在來自可選變換組之一個所選變換的域中自資料串流解碼殘餘區塊內與經框內預測區塊之預測相關聯的預測殘餘，同時自資料串流導出所選變換。
根據第六態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器。該編碼器可經組配以藉由將經框內預測區塊之空間鄰域應用至神經網路上來預測經框內預測區塊，以在初級變換的域中獲得經框內預測區塊之預測，及使用來自可選變換組之一個所選變換對殘餘區塊內與經框內預測區塊之預測相關聯的預測殘餘進行編碼，並在資料串流中傳訊所選變換，其中該可選變換組由至少一個多級變換填充，該至少一個多級變換包含初級變換及應用至該初級變換之初級變換係數之子群組上的次級變換。
根據第六態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼而自資料串流解碼圖像的解碼器。該解碼器可經組配以藉由將經框內預測區塊之空間鄰域應用至神經網路上來預測經框內預測區塊，以在初級變換的域中獲得經框內預測區塊之預測，及在來自可選變換組之一個所選變換的另一域中自資料串流解碼殘餘區塊內與經框內預測區塊之預測相關聯的預測殘餘，同時自資料串流導出所選變換，其中該可選變換組由至少一個多級變換填充，該至少一個多級變換包含初級變換及應用至該初級變換之初級變換係數之子群組上的次級變換。
根據第七態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。該編碼器可經組配以使用來自框內預測模式組中之所選框內預測模式，基於經框內預測區塊之空間鄰域來預測經框內預測區塊以獲得經框內預測區塊之預測，及基於該所選框內預測模式及殘餘區塊之區塊大小自變換組判定用於覆蓋經框內預測區塊之殘餘區塊之可選變換組。該編碼器可進一步經組配以使用來自可選變換組之一個所選變換對殘餘區塊內與經框內預測區塊之預測相關聯之預測殘餘進行編碼，且在資料串流中傳訊所選變換。
根據第七態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。該解碼器可經組配以使用來自框內預測模式組中之所選框內預測模式，基於經框內預測區塊之空間鄰域來預測經框內預測區塊以獲得經框內預測區塊之預測，及基於該所選框內預測模式及殘餘區塊之區塊大小自變換組判定用於覆蓋經框內預測區塊之殘餘區塊之可選變換組。該解碼器可進一步經組配以在來自可選變換組之一個所選變換的域中自資料串流解碼殘餘區塊內與經框內預測區塊之預測相關聯的預測殘餘，同時自資料串流導出所選變換。
根據第八態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。編碼器可經組配以基於針對鄰近殘餘區塊選擇之參考變換自變換組判定用於當前殘餘區塊之變換可選清單，例如，為了對後一者的預測殘餘寫碼而亦自變換組進行判定。該編碼器可進一步經組配以使用來自該變換可選清單之一個所選變換對殘餘區塊內之預測殘餘進行編碼，並選擇性地在資料串流中傳訊該所選變換。
根據第八態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼而自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。解碼器可經組配以基於針對鄰近殘餘區塊選擇之參考變換自變換組判定用於當前殘餘區塊之變換可選清單，例如，為了對後一者的預測殘餘寫碼而亦自變換組進行判定。解碼器可進一步經組配以在來自變換可選清單之一個所選變換的域中解碼殘餘區塊內之預測殘餘，同時自資料串流導出所選變換。
根據第九態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。編碼器可經組配以取決於當前區塊之量化參數之方式自變換組判定用於當前殘餘區塊的變換可選清單。若量化參數對應於比特定臨限值精細的量化，則用於當前殘餘區塊之變換可選清單經至少一個多級變換填充，該至少一個多級變換包含應用至當前殘餘區塊內之預測殘餘上的初級變換及應用至該初級變換之初級變換係數之子群組上的次級變換。然而，若量化參數對應於比特定臨限值粗糙之量化，則除了至少一個多級變換之外或代替至少一個多級變換，用於當前殘餘區塊之變換可選清單可經至少一個多級變換之修改填充，超出子群組之初級變換係數根據該修改而調零。在兩種情況下，編碼器可經組配以使用來自變換可選清單之一個所選變換對殘餘區塊內之預測殘餘進行編碼且在資料串流中傳訊所選變換。
根據第九態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。解碼器可經組配以取決於當前區塊之量化參數的方式自變換組判定用於當前殘餘區塊的變換可選清單。若量化參數對應於比特定臨限值精細的量化，則用於當前殘餘區塊之變換可選清單經至少一個多級變換填充，該至少一個多級變換包含應用至當前殘餘區塊內之預測殘餘上的初級變換及應用至該初級變換之初級變換係數之子群組上的次級變換。然而，若量化參數對應於比特定臨限值粗糙之量化，則除了至少一個多級變換之外或代替至少一個多級變換，用於當前殘餘區塊之變換可選清單經填充有該至少一個多級變換之修改，其中將超出子群組之初級變換係數調零。在兩種情況下，解碼器可經組配以在來自變換可選清單之一個所選變換域中解碼殘餘區塊內之預測殘餘，同時自資料串流導出所選變換。
根據第十態樣，本發明創新概念之實施例可提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像編碼至資料串流中的編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之變換組。編碼器可經組配以基於針對鄰近殘餘區塊選擇之參考變換自變換組判定用於當前殘餘區塊之變換可選清單，其方式取決於一或多個鄰近殘餘區塊中之有效變換係數的數目或取決於該等有效變換係數之總和。若該數目或總和大於特定臨限值，則用於當前殘餘區塊之變換可選清單經至少一個多級變換填充，該至少一個多級變換包括應用至當前殘餘區塊之預測殘餘上的初級變換及應用至該初級變換之初級變換係數之子群組上的次級變換。然而，若該數目或總和小於特定臨限值，則除了至少一個多級變換之外或代替至少一個多級變換，用於當前殘餘區塊之變換可選清單經該至少一個多級變換之修改填充，其中超出子群組之初級變換係數經調零。在兩種情況下，編碼器可經組配以使用來自變換可選清單之一個所選變換對殘餘區塊內之預測殘餘進行編碼且在資料串流中傳訊所選變換。
根據第十態樣，本發明創新概念之其他實施例可提供用於使用基於區塊之預測及基於區塊之殘餘解碼自資料串流解碼圖像的解碼器，該解碼器支援用於該基於區塊之殘餘解碼之變換組。解碼器可經組配以基於針對鄰近殘餘區塊選擇之參考變換自變換組判定用於當前殘餘區塊之變換可選清單，其方式取決於一或多個鄰近殘餘區塊中之有效變換係數的數目或取決於該等有效變換係數之總和。若該數目或總和大於特定臨限值，則用於當前殘餘區塊之變換可選清單經至少一個多級變換填充，該至少一個多級變換包括應用至當前殘餘區塊之預測殘餘上的初級變換及應用至初級變換之初級變換係數之子群組上的次級變換。然而，若該數目或總和小於特定臨限值，則除了至少一個多級變換之外或代替至少一個多級變換，用於當前殘餘區塊之變換可選清單經該至少一個多級變換之修改填充，其中超出子群組之初級變換係數經調零。在兩種情況下，解碼器可進一步經組配以在來自變換可選清單之一個所選變換域中解碼殘餘區塊內之預測殘餘，同時自資料串流導出所選變換。
根據另一態樣，提供電腦程式，其中各電腦程式經組配為在於電腦或信號處理器上執行時實施上述編碼及/或解碼方法，以使得上述方法係藉由電腦程式中之一者實施。
較佳實施例之詳細說明 相同或等效元件或具有相同或等效功能性之元件在以下描述中藉由相同或等效參考編號指示。
藉助於區塊圖描繪且參考該區塊圖描述之方法步驟亦可以與所描繪及/或所描述之次序不同的次序執行。此外，關於裝置之特定形貌體之方法步驟可經該裝置之該形貌體取代，且反之亦然。
術語變換在本文中亦可縮寫為術語trafo。術語變換可同義地用於變換(transformation/transform)(亦即，變換之結果)。
圖式的以下描述開始於對用於寫碼視訊之圖像以便形成將框架寫碼成可建構的本文中描述之實施例的實例的基於區塊之預測式編解碼器的視訊編碼器及視訊解碼器的描述的呈現。關於圖 1 至圖3 描述視訊編碼器及視訊解碼器。在下文中，本申請案之其他實施例的描述係關於圖式而呈現。相同者經編號，且在上述章節中，參考指代下文所描述及主張之實施例的上述部分。儘管所有此等實施例可分別建置至圖1及圖2之視訊編碼器及解碼器中，但本文中描述之實施例，諸如關於後續圖式所描述之彼等者，亦可用於形成並不根據構成圖 1 及圖 2 之視訊編碼器及視訊解碼器之基礎的寫碼框架操作的視訊編碼器及視訊解碼器。
圖1 展示用於將由一連串圖像12構成之視訊11預測性地寫碼至資料串流14中的設備。為此目的使用逐區塊預測性寫碼。另外，示例性地使用基於變換之殘餘寫碼。使用參考符號10指示設備或編碼器。
圖2 展示對應的解碼器20，亦即，經組配以自資料串流14在圖像區塊中預測性地解碼由圖像12'構成之視訊11'的設備20，此處亦示例性地使用基於變換之殘餘解碼，其中單引號已用以分別指示就由預測殘餘信號之量化引入的寫碼損失而言，如由解碼器20重建構之圖像12'及視訊11'偏離最初由設備10編碼之圖像12。
雖然圖 1 及圖 2 示例性地使用基於變換之預測殘餘寫碼，但本申請案之實施例不限於此類預測殘餘寫碼。對於關於圖 1 及圖 2 所描述之其他細節亦係如此，如將在下文所概述。
編碼器10經組配以對預測殘餘信號進行空間至頻譜變換且將由此獲得之預測殘餘信號編碼至資料串流14中。同樣地，解碼器20經組配以自資料串流14解碼預測殘餘信號且對由此獲得之預測殘餘信號進行頻譜至空間變換。
在內部，編碼器10可包含預測殘餘信號形成器22，該預測殘餘信號形成器產生預測殘餘24以便量測預測信號26與原始信號(亦即，視訊11或當前圖像12)之偏差。預測殘餘信號形成器22可例如為自原始信號(亦即，當前圖像12)減去預測信號26之減法器。
編碼器10接著進一步包含變換器28，該變換器對預測殘餘信號24進行空間至頻譜變換以獲得譜域預測殘餘信號24'，該譜域預測殘餘信號接著經受亦由編碼器10所包含之量化器32進行的量化。將因此經量化之預測殘餘信號24”寫碼至位元串流14中。
為此目的，編碼器10可任擇地包含熵寫碼器34，該熵寫碼器將如經變換及量化之預測殘餘信號熵寫碼至資料串流14中。預測殘餘24係由編碼器10之預測級36基於解碼成資料串流14且可自資料串流解碼的預測殘餘信號24''產生。
為此目的，如圖 1 中所展示，預測級36可在內部包含：解量化器38，其解量化預測殘餘信號24''以便獲得譜域預測殘餘信號24'''，該信號除量化損失以外對應於信號24'；解量化器之後的反變換器40，其使後一預測殘餘信號24'''經受反變換，亦即，頻譜至空間變換，以獲得除量化損失以外對應於原始預測殘餘信號24之預測殘餘信號24''''。預測級36之組合器42接著諸如藉由相加來重組合預測信號26與預測殘餘信號24''''，以便獲得經重建構信號46，亦即，原始信號12之重建構。經重建構信號46可對應於信號12'。
預測級36之預測模組44接著藉由使用例如空間預測(亦即，框內預測)及/或時間預測(亦即，框間預測)基於信號46產生預測信號26。與此有關的細節描述於下文中。
同樣地，在內部，解碼器20可由對應於預測級36且以對應於預測級之方式互連的組件構成。特定言之，解碼器20之熵解碼器50可對來自資料串流之經量化譜域預測殘餘信號24"進行熵解碼，接著以上文關於預測級36之模組描述的方式互連及協作的解量化器52、反變換器54、組合器56及預測模組58基於預測殘餘信號24"恢復經重建構信號，以使得如圖 2 中所示，組合器56之輸出產生經重建構信號，亦即視訊11'或其當前圖像12'。
雖然上文未具體描述，但易於明瞭的係，編碼器10可根據一些最佳化方案，諸如，以最佳化一些速率及失真相關準則(亦即，寫碼成本)之方式及/或使用部分速率控制，來設定一些寫碼參數，包括例如預測模式、運動參數及其類似者。如下文更詳細地描述，編碼器10及解碼器20以及對應模組44、58分別支援不同預測模式，諸如框內寫碼模式及框間寫碼模式或其中之前的模式形成構成圖像區塊的預測的一種原始預測模式的組或集合體的模式。編碼器及解碼器在此等預測組成之間切換的粒度可對應於圖像12及12'分別分成區塊之細分。應注意，此等區塊中的一些可為僅經框內寫碼之區塊，且一些區塊可為僅經框間寫碼之區塊，且任擇地，甚至其他區塊可為使用框內寫碼及框間寫碼兩者獲得之區塊，但細節闡述於下文中。
根據框內寫碼模式，基於各別區塊之空間已寫碼/解碼鄰域而獲得區塊之預測信號。可存在若干框內寫碼子模式，在該等框內寫碼子模式當中之選擇即表示一種框內預測參數。可存在定向或角向框內寫碼子模式，根據該等子模式，各別區塊之預測信號藉由將鄰域之樣本值沿著具體用於各別定向框內寫碼子模式之某一方向外插至各別區塊中來填充。框內寫碼子模式可例如亦包含：諸如DC寫碼模式之一或多個其他子模式，根據該等子模式，各別區塊之預測信號將DC值指派給各別區塊內之所有樣本；及/或平面框內寫碼模式，根據該模式，各別區塊之預測信號近似或判定為由二維線性函數所描述之樣本值在各別區塊之樣本位置上的空間分佈，其中基於相鄰樣本導出由二維線性函數定義之平面的傾斜及偏移。
與其相比較，根據框間預測模式，可例如藉由在時間上預測區塊內部來獲得區塊之預測信號。對於框間預測模式之參數化，可在資料串流內傳訊運動向量，該等運動向量指示視訊11之先前經寫碼圖像之部分的空間位移，在該空間位移處對先前經寫碼/經解碼圖像進行取樣以便獲得各別區塊之預測信號。此意謂，除由資料串流14包含之諸如表示經量化譜域預測殘餘信號24''之經熵寫碼之變換係數位準的殘餘信號寫碼以外，資料串流14亦可具有編碼於其中的用於指派給區塊預測模式之預測相關參數、用於所指派預測模式之預測參數(諸如用於框間預測模式之運動參數)，及任擇地，使用所指派預測模式及預測參數控制區塊之最終預測信號之組成的另外參數，如下文將更詳細地概述。另外，資料串流14可包含控制及傳訊圖像12及12'分別分成區塊之細分的參數。解碼器20使用此等參數以與編碼器10進行細分相同之方式細分圖像12，從而將相同預測模式及參數指派給區塊且執行相同預測以產生相同預測信號。
圖3 說明一方面經重建構信號(亦即，經重建構圖像12')與另一方面如在資料串流中傳訊之預測殘餘信號24''''及預測信號26之組合之間的關係。如上文已指示，該組合可為相加。
預測信號26在圖3 中說明為圖像區域分成具有變化大小之區塊80的細分，但此僅為實例。該細分可為任何細分，諸如，圖像區域分成區塊之列及行之常規細分，或圖像12分成具有變化大小之葉區塊的多分樹細分，諸如，四分樹細分或類似者，其中在圖 3 中 說明該等細分之混合，其中將圖像區域首先細分為樹根區塊之列及行，接著進一步根據遞歸多分樹細分來細分樹根區塊以產生區塊80。
圖3 中之預測殘餘信號24''''亦經說明為圖像區域分成區塊84之細分。此等區塊可被稱作變換或殘餘區塊，以便將其與寫碼區塊80區別。實際上，圖 3 說明編碼器10及解碼器20可分別使用將圖像12及圖像12'分成區塊之兩種不同細分，即，分成寫碼區塊80之一細分及分成區塊84之另一細分。兩種細分可能相同，亦即，各區塊80可同時形成變換區塊84且反之亦然，但圖 3 說明如下情況：例如分成變換區塊84之細分形成分成區塊80之細分的擴展，使得兩個區塊80之間的任何邊界覆疊兩個區塊84之間的邊界，或替代而言，各區塊80與變換區塊84中之一者重合抑或與變換區塊84之叢集重合。
然而，亦可獨立於彼此判定或選擇細分，使得變換區塊84可替代地跨越區塊80之間的區塊邊界。就分成變換區塊84之細分而言，如關於分成區塊80之細分所提出的彼等敍述，類似敍述因此亦係如此，亦即，區塊84可為圖像區域分成按列及行排列之區塊之常規細分的結果、圖像區域之遞歸多分樹細分的結果或其組合或任何其他種類之分段。
順便指出，應注意，區塊80及84不限於正方形、矩形或任何其他形狀。另外，將當前圖像12細分成區塊80 (在該等區塊形成預測信號)及將當前圖像12細分成區塊84 (在該等區塊寫碼預測殘餘)可能並非用於寫碼/解碼的僅有細分。此等細分形成執行預測信號判定及殘餘寫碼之粒度，但首先，殘餘寫碼可在無細分之情況下替代地進行，且其次，以不同於此等細分之粒度，編碼器10及解碼器20可設定某些寫碼參數，其可包括前述參數中之一些，諸如預測參數、預測信號組成控制信號及類似者。
圖3 說明預測信號26與預測殘餘信號24''''之組合直接產生經重建構信號12'。然而，應注意，根據替代性實施例，諸如自其他視圖或自其他寫碼層獲得之預測信號的多於一個預測信號26可與預測殘餘信號24''''組合以產生圖像12'，該等預測信號係例如在具有分開的DPB之分開的預測迴路中寫碼/解碼。
在圖 3 中，變換區塊84應具有以下顯著性。變換器28及反變換器54以此等變換區塊84為單位執行其變換。舉例而言，許多編解碼器將某種DST或DCT用於所有變換區塊84。一些編解碼器允許跳過變換，使得對於變換區塊84中之一些，直接在空間域中寫碼預測殘餘信號。然而，根據下文描述之實施例，編碼器10及解碼器20以使得其支援若干變換之方式進行組配。舉例而言，由編碼器10及解碼器20支援之變換可包含： o    DCT-II (或DCT-III)，其中DCT代表離散餘弦變換 o    DST-IV，其中DST代表離散正弦變換 o   DCT-IV o   DST-VII o   恆等變換(IT)
自然地，雖然變換器28將支援此等變換之所有正向變換版本，但解碼器20或反變換器54將支援其對應的後向或反向版本： o   反DCT-II (或反DCT-III) o   反DST-IV o   反DCT-IV o   反DST-VII o   恆等變換(IT)
在任何情況下，應注意，所支援變換組可僅包含一種變換，諸如一種頻譜至空間或空間至頻譜變換。
如上文已概述，已呈現圖 1 至圖3 作為實例，在該實例中可實施下文進一步描述之概念以便形成根據本申請案的視訊編碼器及解碼器之特定實例。就此而言，圖 1 及圖 2 之視訊編碼器及解碼器分別表示下文所描述之視訊編碼器及解碼器的可能實施。
關於申請專利範圍，應注意，「不可分離」係指在垂直及水平方向上之分離性。 3. 結構化多級變換
一般而言，大小為D=W*H之殘餘區塊的任意線性變換可由D*D參數定義。此處，將此等種類之變換稱為完全連接變換。雖然此等變換大部分係靈活的，但就所需操作之數目及必需參數儲存而言，其複雜度隨著大小D而二次方地增加。
因此，完全連接變換僅適用於較小的變換大小。為了降低複雜度，變換可經限制為具有特定結構，其允許高效實施並減少變換參數之數目。一種方法需要變換以便因子分解為多個變換，其中各變換級本身分離成獨立子群組。彼等多級變換之複雜度可藉由挑選變換級之數目、獨立子群組之尺寸並藉由亦限制子群組變換來進行調節。實例：由於分割成子塊而減少倍增數目
考慮具有寬度W及高度H之資料區塊。此資料區塊可由Ｈ×W矩陣 B 表示，其經串聯化至(H*W) × 1向量 b 以供進一步處理。
使資料區塊藉由完全連接變換進行變換。變換係藉由計算變換矩陣T與串聯化之資料區塊向量 b 之間的矩陣向量乘積T*b來完成。變換矩陣矩陣為(H*W) × (H*W)，導致根據輸出係數需要數目為H*W之倍增。因此，對於H*W輸出係數，需要總數為(H*W)²的倍增。
對於H = 8及W = 8，其產生變換係數計算所必需之4096個倍增。現今，使資料區塊細分成H/4*W/4個子區塊，其可由4x4矩陣 Bi 表示，假定Ｈ及W兩者均可被4整除。各子塊再次經串聯化至16×1向量 bi 以供進一步處理。現今計算變換係數，從而藉由完全連接變換對各子塊進行變換並縫合結果。變換係藉由計算子塊變換矩陣 Ti 與串聯化子塊 bi 之間的矩陣向量乘積Ti *bi 來再次完成。由於變換矩陣在此情況下為16×16，根據輸出係數需要總數為16之倍增。因此，為了計算單一子塊之變換係數，需要16*16=256倍增。由於具有H/4*W/4個子區塊，所有子區塊之必需數目之倍增為H/4*W/4*256=H*W*16。再次觀察H=8, W=8情況，歸因於分割成子區塊及獨立地變換各子區塊，倍增數目自4096至1024減少75%。藉由將另一變換級與不同分割相加，亦可考慮區塊間相關性。假定複雜度與第一級相同，則倍增之總數目為2048，因此複雜度僅為完全連接8×8變換之一半。
可藉由允許非雙射變換達成複雜度之進一步降低。更精確地，此處的此等變換被定義為假定變換級之某些子群組全部為零且由此縮減殘餘信號之維度的變換。此等變換被稱為利用維度縮減之變換且為具有如上文所描述之具有高頻調零之變換的概括。此處，係數調零可與任何先前變換級及任意大小結合應用。其包括係數調零應用於第一級之情況。此等變換不僅允許高效實施，而且允許非有效係數之高效傳訊，如稍後所描述。
為了充分描述如上文所引入之多級變換，各變換級需要藉由分成子群組之獨特分割及應用於此等子群組之變換來給定。
如上文所描述之多級變換之複雜度降低源自以下事實：各子群組變換可彼此獨立地應用，具有受限尺寸及/或可使用高效演算法來應用。因此，各子群組變換為以下類型中之一者：
子群組變換： ‧(恆等) ‧來自DCT/DST家族之變換 ‧完全連接變換，其用於高達64之子群組大小 ‧(置換+)成對吉文斯(Givens)旋轉 ‧(置換+)成對提昇方案變換 ‧多級變換本身
分割成子群組可藉由以下規則中之任一者給定，其中該等規則中之一些經描繪於圖 4 及圖5 中，由以下小寫字母指示： a) 對於各級及位置，標籤儲存於ROM中，該ROM將獨特子群組指派給該標籤。 b)對於各位置，標籤儲存於Rom中，該Rom將獨特子群組指派給該標籤。該分割用於變換之所有級。 c) 鑒於位置之獨特掃描次序及子群組大小清單D={d0,d1,dN}，藉由將連續位置分組沿著此掃描完成分割，其中各群組之大小由D之相關聯元素給定。 d)鑒於位置之獨特掃描次序，前d0連續位置被視為一個子群組，剩餘位置被視為第二子群組。 e) 以水平或垂直方向完成分割，使得各列或各行定義子群組。 f) 以水平方向完成分割，使得各列進一步分割成大小在{2, 4, 8, 16, 24, 48, 32, 64}中之子群組 g)以垂直方向完成分割，使得各行進一步分割成大小在{2, 4, 8, 16, 24, 48, 32, 64}中之子群組 h)藉由將含有第一位置(左上方)並具有形狀{4×4, 4×8, 4×12, 4×16, 8×4, 8×8, 12×4, 16×4}中之任一者的子區塊視為一個子群組來完成分割。剩餘位置形成第二群組。 i) 藉由將含有第一位置(左上方)並具有形狀{4×4, 4×8, 4×12, 4×16, 8×4, 8×8, 12×4, 16×4}中之任一者的子區塊視為一個子群組來完成分割。剩餘位置經分割成大小{1×2, 2×1, 2×2, 4×4}之群組。 j) 完成分成具有形狀4×4及/或2×2之子群組之分割。 k)具有在{2, 4, 8, 16}中之維度之子群組變換 l) 具有在{24, 32, 48, 64}中之維度之子群組變換 m)       完成分成具有在{2×2, 4×4, 4×8, 4×12, 4×16, 8×4, 8×8, 12×4, 16×4}中之形狀大小之子群組之分割 n)分割係藉由將含有第一位置之大小為min(8,寬度) × min(8,高度)之子群組視為一個群組而自殘餘區塊之寬度及高度導出，剩餘位置形成第二群組。 o)分割係藉由採用含有第一位置及大小在{4×4, 4×8, 4×12, 4×16, 8×4, 8×8, 12×4, 16×4}中之子群組，藉由應用以下規則而自殘餘區塊之寬度(W)及高度(H)導出：若W==H，則子群組之形狀為D×D，其中DD = min(W,8)。若W＞H，則子群組之高度經設定為4。其寬度係藉由採用{8, 12, 16}中之最大大小來選擇，該寬度不大於W。若Ｈ＞W，則子群組之寬度經設定為4。其高度係藉由採用{8, 12, 16}中之最大大小來選擇，該高度不大於H。 p)儲存於ROM中之置換+成對分割。 q)自預測模式導出 r) 層次結構： 1) N個水平變換(完全連接：dim M) 2) M個垂直變換(完全連接：dim N)變換類別：
結構化變換有助於一方面降低複雜度，而且允許藉由其誘導之限制將變換分組。此分類可有益於比較變換及定義用於量化量化及/或熵寫碼級之相依模型。
作為一類變換，如圖 6 中示例性地展示，考慮因子分解為此後分別被稱作初級及次級變換之兩個變換之多級變換。命名源自編碼器視角，係因為初級變換直接應用於空間域中之預測殘餘從而得到初級變換係數，而次級變換係應用於初級變換係數之子集。
應注意，初級變換及次級變換本身可經定義為多級變換，且次級變換相比初級變換維度縮減。
若變換不會因子分解為兩個變換，使得第二變換僅應用於第一變換之係數之子集，則此變換被稱為僅初級變換。
另一變換類別係藉由以下事實給定：變換可因子分解成垂直及水平變換，並被稱作可分離變換。其為多級變換之尤其簡單形式。在第一級中，逐列且在第二級中應用變換，將變換逐行應用於第一變換級之輸出(係數) (或反之亦然)。典型地，根據各級，同一變換應用於各列(行)。
變換之特殊類別係藉由其維度減少字元給定，亦即，若維度藉由變換明確減少且假定該等精密係數位置在該情況下為零來給定。
假定自如位元串流中所寫碼之係數對殘餘信號的重建構含有反變換作為熵寫碼階段之部分，該反變換經應用於解量化之前的係數(可能屬於不同殘餘區塊)，則有必要具有未引入捨入誤差之無損變換。變換是否無損亦可為分類特性。
變換之進一步分類可藉由區分經分析建構之變換(諸如來自DCT/DST家族之變換及在特定實例組上訓練之彼等變換)來完成。對於分析變換，分類可藉由其建構規則而精確完成。此建構規則可適用於不同變換大小，因此其亦允許比較變換，即使其大小不同。其可有助於探究區塊間相關性，例如，有助於取決於鄰近區塊之變換決策導出上下文模型。
並且，資料驅動之變換可取決於其專業化而得以進一步分類。具體地，更普遍的係訓練用於框內預測殘餘之變換，而精確訓練用於例如由精確框內方向給出之一個特定框內模式之變換產生更專業變換。此專業化可甚至藉由針對給定預測模式叢集資料而進一步提高。 3.1 初級變換及次級變換之示例性實施例
用於初級變換及次級變換之一些實例及實施例可列出於以下非窮盡性清單中：初級變換： A)
1. 級：分割成列，用於各列之專用變換 2. 級：分割成行，用於各行之專用變換。
其中各子群組變換可為任何類型，如上文所提及。 特定而言： A.1)
1. 級：分割成列，用於各子群組(列)之同一變換。 2. 級：分割成行，用於各子群組(行)之同一變換。 A.2)
1. 級：分割成列，用於各子群組(列)之同一DCT/DST變換。 2. 級：分割成行，用於各子群組(行)之同一DCT/DST變換。 A.3)
1. 級：分割成列，用於各子群組(列)之利用維度縮減之同一DCT/DST變換。 2. 級：分割成行，用於各子群組(行)之同一DCT/DST變換。 A.4)
1. 級：分割成列，用於各子群組(列)之同一DCT/DST變換。 2. 級：分割成行，用於各子群組(行)之利用維度縮減之同一DCT/DST變換。 A.5)
1. 級：分割成列，用於各子群組(列)之利用維度縮減之同一DCT/DST變換。 2. 級：分割成行，用於各子群組(行)之利用維度縮減之同一DCT/DST變換。 A.6)
1. 級：分割成列，用於各子群組(列)之恆等「變換」。 2. 級：分割成行，用於各子群組(行)之同一DCT/DST變換。 A.7)
1. 級：分割成列，用於各子群組(列)之同一DCT/DST變換。 2.級：分割成行，用於各子群(行)之恆等「變換」。 A.8)
1. 級：分割成列，用於各子群組(列)之恆等「變換」。 2. 級：分割成行，用於各子群組(行)之恆等「變換」。 (等效於完全不應用任何變換。) A.9)
1. 級：分割成列，用於各子群組(列)之同一完全連接變換。 2. 級：分割成行，用於各子群組(行)之同一完全連接變換。 A.10)
1. 級：分割成列，用於各子群組(列)之專用完全連接變換。 2.級：分割成行，用於各子群組(行)之專用完全連接變換。 B)
1. 級：沿列分割成具有大小S (例如8)之子群組 2. 級：沿行分割成具有大小S (例如8)之子群組
其中各子群組變換可為任何類型，如上文所提及。 尤其： B.1)
1. 級：沿列分割成具有大小S之子群組，該大小S為區塊寬度之一半。 2. 級：分割成行，用於各子群組(行)之同一變換。 B.2)
1. 級：分割成列，用於各子群組(列)之同一變換。 2. 級：沿行分割成具有大小S之子群組，該大小S為區塊高度之一半。 B.3)
1. 級：沿列分割成具有大小S之子群組，該大小S為區塊寬度之一半。 2. 級：沿行分割成具有大小S之子群組，該大小S為區塊高度之一半。 B.4)
1. 級：沿列分割成具有大小S之子群組。 2. 級：沿行分割成具有大小S之子群組。
第一子群組變換為DCT/DST類型，第二子群組經設定為零。 B.5)
1. 級：沿列分割成具有大小S之子群組。 2. 級：沿行分割成具有大小S之子群組。
第一子群組經設定為零，第二子群組變換為DCT/DST類型。 C)
1. 級：沿列分割成具有大小S (例如8)之子群組 2. 級：沿行分割成具有大小S (例如8)之子群組 3.級：具有旁路之層次結構(等效於具有恆等變換之子群組)
其中各子群組變換可為任何類型，如上文所提及。 尤其： C.1)
1. 級：分割成列，用於各子群組(列)之同一變換。 2. 級：分割成行，用於各子群組(行)之同一變換。 3. 級：利用維度縮減之變換。 C.2)
1. 級：分割成列，用於各子群組(列)之同一DCT/DST變換。 2. 級：分割成行，用於各子群組(行)之同一DCT/DST變換。 3. 級：利用維度縮減之變換。次級變換 ： A)
初級係數之子群組，其用於自min(8,W), min(8,H)導出之次級變換。次級變換為完全連接變換類型。 A.1)
初級係數之子群組，其用於自min(8,W), min(8,H)導出之次級變換。次級變換為利用維度縮減之完全連接變換類型。 B)
將初級係數分割成4×4個子群組。完全連接變換應用於子群組之子集並經組合於層次結構中。 B.1)
將初級係數分割成4×4個子群組。利用維度縮減之完全連接變換應用於子群組之子集並經組合於層次結構中。 C)
將初級係數分割成子群組。次級變換應用於彼等子群組之子集。次級變換之變換類型(亦即，連通性)取決於子群組在完全變換區塊內之位置。 4. 候選變換組 所選變換之解碼過程可由以下步驟組成：
第一，可利用已解碼語法元素建構候選清單。
對於所選變換之瞭解可支援自位元串流解碼係數之過程。因此，若候選清單含有多於一個變換，則可能有益的係藉由在係數解碼過程之前明確傳訊關於所選變換之資訊來減少候選清單(或甚至識別所選候選清單)。
另一方面，關於係數之已解碼資訊可用於判定候選當中之所選變換。在係數解碼過程期間，可藉由移除與已獲得的關於係數之資訊相衝突之彼等變換以迭代方式減少候選清單。在所有係數經解碼且多於一個變換候選留下時，必須傳訊至剩餘候選清單之索引。 4.1 候選清單之建構
藉由利用已解碼語法元素來建構用於殘餘區塊之變換候選清單。此等語法元素可包括變換區塊參數，諸如其總大小、形狀(寬度及高度)及色彩通道類型(明度或色度)，而且包括關於用於當前區塊之預測方法之資訊。可已藉由章節3中之複雜度考量來激勵使不同變換類型用於不同變化大小。
圖12 展示用於編碼具有多個殘餘區塊84、84'、84''之圖像12的非限制性實例。如針對殘餘區塊84示例性展示，各殘餘區塊包含可由各別區塊84之寬度及高度定義之特定區塊尺寸96。根據此非限制性實例，例如可參考各別區塊尺寸96來描述變換候選清單之建構。
因此，可提供編碼器10及解碼器20，其用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中/自資料串流14解碼圖像12，該編碼器10及解碼器20支援用於基於區塊之殘餘寫碼的變換組94。編碼器10及解碼器20可經組配以基於當前殘餘區塊84之大小96 (例如高度及寬度)自該變換組94判定122用於當前殘餘區塊84之變換的變換候選清單98。編碼器10可經組配以使用來自變換可選清單98之一個所選變換102對殘餘區塊84內之預測殘餘100進行編碼，並選擇性地在資料串流14中傳訊該所選變換102。解碼器20又可經組配以在來自變換可選清單98之一個所選變換102的域中對殘餘區塊84內之預測殘餘100進行解碼，同時選擇性地自資料串流14導出所選變換102。
關於術語『域』及『對應域』，應參考圖 16 ，其展示包含多個樣本105之上述殘餘區塊84的詳細描繪。樣本105之數目可判定區塊尺寸96，例如，殘餘區塊84 (例如4×4、8×8區塊等等)之寬度及高度。殘餘區塊84或樣本105可分別經受初級變換，其中區塊尺寸96及樣本105對應於初級變換域。樣本105經變換成初級變換係數114，其中一或多個初級變換係數114可包含於初級變換係數之子群組112中。初級變換之輸出，亦即，初級變換之對應域，對應於由初級變換係數114之數目定義之子群組112的大小。
在圖 16 中所展示之非限制性實例中，子群組112可包含一或多個零值初級變換係數114及一或多個有效(亦即，非零值)初級變換係數114。稍遲將在以下章節5中描述其中一或多個初級變換可經設定成零的一些特定實例。
目前，應繼續參考圖 16 來進一步描述一般原理。可以看出，在此非限制性實例中，子群組112為倒『L』形，亦即，保持包含有效係數114之左行及上列，而至少自編碼器視角來看，超出倒『L』範圍之剩餘初級變換係數114可經設定成零。在亦適用於解碼器之更普遍術語中，次級變換域相比初級變換域有所減少。
初級變換係數114之子群組112接著可經受次級變換，從而產生次級變換係數134之次級子群組138。子群組112之大小，亦即，初級變換係數114之數目(其對應於次級變換域)，可大於次級子群組138之大小，亦即，次級變換係數119之數目(其對應於次級變換之對應域)。
圖16 展示第一替代方案 A ，其中只有有效初級變換係數114係藉由次級變換來進行變換且零值初級變換係數隱形減少並未經傳訊，亦即，只有經變換的有效變換係數(次級子群組138)可在此情況下被寫碼。圖 16 (以短劃線)展示第二替代情況 B ，其中包括次級子群組138及在該子群組138之外的零值係數的整個子區塊117可存在，亦即，所有係數在此情況下被寫碼。
亦如圖 16 中所展示，編碼器10及解碼器20可對次級變換係數134進行反變換，其中反變換域可對應於次級變換之對應域。
如上文所提及，可藉由利用已解碼語法元素，例如變換區塊參數，諸如其總大小、形狀(寬度及高度)，或換言之，基於各別變換之域/對應域，來建構用於殘餘區塊之變換候選清單98。
因此，此態樣之編碼器10可支援多個區塊尺寸96 (亦即，高度及寬度)。對於各區塊尺寸，變換組94可包含變換子集，該變換之域對應於各別區塊尺寸96。對於變換組94中之各變換，編碼器10可支援反變換(應注意，諸如對於利用維度縮減之彼等變換T而言，未必的係，T*T-1 = 1)，該反變換之域與各別變換之對應域重合，其中編碼器10可使用反變換來填充對其選擇各別變換之殘餘區塊處之經解碼圖像緩衝器。編碼器10可進一步經組配以在判定變換候選清單98時獨佔地用來自變換子集之變換來填充變換，該等變換之域對應於當前殘餘區塊84之高度及寬度。
因此，此態樣之解碼器20可支援多個區塊尺寸(亦即，高度及寬度)。對於各區塊大小，變換組94包含變換子集，該等變換之對應域對應於各別區塊尺寸。應注意，此處所提及之變換為相對於在編碼器10處發生之變換的反變換。解碼器20可進一步經組配以在判定變換候選清單98時獨佔地用來自變換子集之變換來填充變換，該等變換之對應域對應於當前殘餘區塊84之高度及寬度。
概括而言，各變換(初級或次級變換)可包含與其輸入類似之域，及與其輸出類似之對應域，其中第一及次級變換之各別對應域可彼此不同。可例如藉由將一些初級及/或次級係數設定為零來達成減少之對應域，其將在下文加以更詳細解釋。
如上文最初所提及，計算複雜度可隨著變換大小而增加。因此，有助於將大小在臨限值以上的變換區塊之變換候選限定於更簡單的變換類型作為回報。目前，藉由考慮由一個水平及一個垂直變換類型定義之可分離變換給出簡單實例。由於高效演算法採用其蝶形結構，緊接著無額外計算複雜度的恆等「變換」的DCT-II被視為計算簡單變換類型。
如章節3中所陳述，各變換類型之複雜度可藉由引入變換候選降低，該等變換候選藉由強制特定係數為零而隱性地減少維數且由此減少所需倍增之數目。
在下文中，將描述編碼器10及解碼器20之一些示例性實施例，編碼器10及解碼器20經組配以將初級變換係數中之一或多者及/或次級變換中之一或多者設定為零，其亦將被稱作『調零』。可在編碼器端應用將係數設定為零，而解碼器可避免解碼為零之係數。
舉例而言，定義三個臨限值(T1, T2, T3)。T1遵照章節2.3，且由大小(寬度或高度)定義，使得只有在區塊之高度(寬度)小於T1時，DCT-II才為區塊之垂直(水平)變換的候選。否則，利用維度縮減之DCT-II為候選，其中最後的高度(寬度)-T1高頻係數經設定成零。除此之外，T2定義用於其他變換類型(如DST-VII、DCT-III，等等)之臨限值大小，使得只有在其大小小於T2時，完全大小變換才為候選。否則，其相對應的利用維度縮減之變換為候選。最後，T3定義用於恆等「變換」之臨限值大小，該等變換只有在其大小小於T3時才為候選。
根據一實例，編碼器10可經組配以在判定變換候選清單98時進行： 若當前殘餘區塊84之高度及寬度滿足第一準則(例如T1及T2)，則用來自變換子集之一或多個變換填充變換候選清單98，該一或多個變換之域對應於當前殘餘區塊84之高度及寬度，且該一或多個變換之對應域小於其域(例如，具有「寬度尺寸縮減」之變換)，或 若當前殘餘區塊84之高度及寬度不滿足第一準則，則自變換候選清單98中排除來自變換子集之一或多個變換，該一或多個變換之域對應於當前殘餘區塊84之高度及寬度，且該一或多個變換之對應域小於其域。
解碼器20又可經組配以在判定變換候選清單98時進行： 若當前殘餘區塊84之高度及寬度滿足第一準則(例如T1及T2)，則用來自變換子集之一或多個變換填充變換候選清單98，該一或多個變換之對應域對應於當前殘餘區塊84之高度及寬度，且該一或多個變換之域小於其對應域(亦即，具有「寬度尺寸縮減」之變換的反變換)(例如包含更少樣本/係數)，或 若當前殘餘區塊84之高度及寬度不滿足第一準則，則自變換候選清單98中排除來自變換子集之一或多個變換，該一或多個變換之對應域對應於當前殘餘區塊84之高度及寬度，且該一或多個變換之域小於其域。
上述一或多個變換可為以下中之一或多者：DCT-II、DST-VII及DCT-III。
根據另一實例，編碼器10及解碼器20可經組配以在判定變換候選清單98時進行： 若當前殘餘區塊84之高度及寬度滿足第二準則(例如T3)，則用來自變換子集之恆等變換填充變換候選清單98，該恆等變換之域對應於當前殘餘區塊84之高度及寬度，或 若當前殘餘區塊84之高度及寬度不滿足第二準則，則自變換候選清單98中排除來自變換子集之恆等變換，該恆等變換之域對應於當前殘餘區塊84之高度及寬度。
編碼器10及解碼器20可經組配以藉由核查高度、寬度、高度及寬度兩者，及/或高度與寬度之乘積是否超出特定臨限值來核查第一及/或第二準則。
除了藉由殘餘區塊之寬度及高度獨立地定義限制以外，可藉由檢查相對形狀來應用規則。舉例而言，若其寬度或高度中之任一者超過其他，則允許僅有候選。對於可分離變換候選，此可藉由將一個變換類型指派給較大變換維度及將另一變換類型指派給較小方向完成。對於利用維度縮減之變換，此資訊可用於決定哪些係數被設定成零。
根據又另一實例，編碼器10及解碼器20可經組配以在判定變換候選清單時進行： 若當前殘餘區塊之高度及寬度滿足第三準則(例如高度與寬度之比超出特定臨限值？)，則用來自變換子集之可分離頻譜分解變換來填充變換候選清單，該變換之域對應於當前殘餘區塊(84)之大小， 若當前殘餘區塊之高度及寬度不滿足第三準則，則自變換候選清單中排除來自變換子集之可分離頻譜分解變換，該變換之域對應於當前殘餘區塊(84)之大小。
根據此實例，編碼器10及解碼器20可經組配以藉由核查高度與寬度之比是否超出特定臨限值來核查第三準則。對於次級變換，殘餘區塊之寬度及高度可用於決定哪些係數在另一變換步驟中變換。根據自上文之複雜度論證，亦應限制(相比可分離變換)更靈活的變換結構，其視變換區塊大小而定。雖然較小區塊大小之變換級可經定義為使得前一變換級之完整結果(所有係數)在以下階段中(在被稱作僅初級變換之章節3中)經進一步變換，但由初級+次級變換組成之多級變換可用於較大區塊大小。
藉由假定例如次級變換適用於高達64之維度(初級變換係數)，用於次級輸入之建構規則可經公式化為由min(8, 寬度) × min(8, 高度)定義之子群組。為了減少所定義變換之總數目，吾人可限定次級變換子群組之形狀。舉例而言，藉由僅定義用於形狀8 × 8及4 × 4之次級變換，次級變換子群組係藉由適用於給定變換區塊大小之較大形狀(寬度*高度)選擇。
為了示例，在此情況下，具有大小(4 × 32)之變換區塊具有次級變換形狀(4 × 4)，而具有大小(8 × 16)之變換區塊具有次級變換形狀(8 × 8)。此外，次級變換本身之結構應以複雜度限制來定義，該等複雜度限制取決於其自身大小及或完全變換區塊之大小。例如，4×4次級變換可藉由完全連接變換定義，而較大次級變換在其複雜度方面應受到如章節3中所描述之任何方法限制，例如藉由限定其他變換級之數目或藉由強制特定係數為零來縮減其維度來進行限制。
因此，編碼器10及解碼器20可經組配以在判定變換候選清單(98)時用取決於區塊大小及形狀之變換填充變換候選清單(98)，其中可使用區塊之縮放，如上段所示例性描述。如上文所提及，例如，具有大小(4 × 32)之第一變換區塊具有次級變換形狀(4 × 4)，而具有大小(8 × 16)之第二變換區塊具有次級變換形狀(8 × 8)。亦即，第一及第二變換區塊之各列可構成1:2之縮放比率，而第一及第二變換區塊之各行可構成2:1之縮放比率。
因此，若當前殘餘區塊84之高度及寬度對應於第一預定區塊尺寸，則編碼器10及解碼器20可經組配以用來自變換子集之第一一或多個變換填充變換候選清單98，該一或多個變換之對應域對應於當前殘餘區塊84之高度及寬度且反轉多級變換106，該多級變換106包含應用至當前殘餘區塊84內之預測殘餘100上之初級變換108，及應用至初級變換108之初級變換係數114之第一子群組112上的次級變換110。
可替代地，若當前殘餘區塊84之高度及寬度對應於第二預定區塊尺寸，則編碼器10及解碼器20可經組配以用來自變換子集之第二一或多個變換填充變換候選清單98，該一或多個變換之對應域對應於當前殘餘區塊84之高度及寬度且反轉多級變換106，該多級變換106包含應用至當前殘餘區塊84內之預測殘餘100上之初級變換108，及應用至初級變換108之初級變換係數114之第一子群組112上的次級變換110。
在任一情況下，使第一一或多個變換之初級變換108之第一對應域映像至第一一或多個變換之初級變換108之第二對應域上的縮放不會使第一對應域內之第一子群組之圓周映像至第二對應域內之第二子群組之圓周上。
就經受初級及次級變換之區塊的上述高度/寬度比而言，有可能的係，第一對應域內之第一子群組112的圓周不會映像在第二子群組之圓周上，例如，即使初級變換之對應域之高度/寬度比(縱橫比)與第一及第二預定尺寸之高度/寬度比相同。
因此，編碼器10及解碼器20可經組配以在判定變換候選清單時進行：若當前殘餘區塊之高度及寬度對應於第一預定區塊尺寸，則用來自變換子集之一或多個變換填充變換候選清單，該一或多個變換之域對應於當前殘餘區塊84之高度及寬度，且該一或多個變換為多級變換106，該多級變換106包含應用至當前殘餘區塊內之預測殘餘100上之初級變換108，及應用至初級變換之初級變換係數114之第一子群組112上的次級變換110。可替代地，若當前殘餘區塊之高度及寬度對應於第二預定區塊尺寸，則編碼器10及解碼器20可經組配以用來自變換子集之第二一或多個變換填充變換候選清單，該一或多個變換之域對應於當前殘餘區塊84之高度及寬度，且該一或多個變換為多級變換106，該多級變換106包含應用至當前殘餘區塊內之預測殘餘100上之初級變換108，及應用至初級變換之初級變換係數114之第二子群組112上的次級變換110。在此實例中，使第一一或多個變換之初級變換之第一對應域映像至第一一或多個變換之初級變換之第二對應域上的縮放可能不會使第一對應域內之第一子群組之圓周映像至第二對應域內之第二子群組之圓周上。
考慮到變換級至其完全變換區塊大小之相對複雜度開銷(例如，藉由對完全變換區塊中之每像素倍增計數)，變換級之結構應受到其相對大小的進一步限制。此處，最壞的情況適用於僅初級多級變換，其中按照定義(參考章節3)，前一變換級之所有係數(或所有子群組)經輸入至下一變換級。此外，章節3之所有方法係可適用的。
除變換區塊形狀之外，用於獲得殘餘區塊之預測方法亦深入瞭解殘餘信號之特徵且由此可用於選擇適當變換候選。
因具有針對色度及明度殘餘區塊定義之不同變換候選，變換候選清單亦可適於色彩通道。雖然使專用色度變換組產生較高靈活性，但其亦增加儲存額外變換核心所需之記憶體的量。因此，需要具有變換結構/核心之聯合組以自其選擇候選。若色度殘餘區塊與明度變換區塊(例如屬於同一CU，無二元樹)相關聯，亦需要共用同一變換索引(必須僅經傳訊一次)或需要自所選明度變換導出所選色度變換。為了允許獨特的識別，色度候選清單必須經小心選擇並適於明度候選清單。大體上，色度次取樣用於視訊寫碼中，因此色度殘餘區塊大小且亦因此色度變換大小不同於所選明度變換大小。為了識別色度候選，所選明度變換之特性必須與色度區塊之候選清單中之變換類別相匹配。在具有來自DCT/DST類別之變換的情況下，其為直接的，因為該等變換係針對不同大小定義。因此，色度變換區塊之候選清單可經填充有與相關聯明度區塊相同但大小更小的變換類型(DCT/DST)，且所選變換可經獨特識別，從而知曉所選明度候選。藉由允許例如僅一個候選具有次級+變換，此特性亦允許獨特識別。此外，維度縮減之特性可用於識別相關聯色度變換候選。若藉由將預定義係數位置設定為零而使所選明度變換縮減維度，則可藉由採用強制同一相對位置為零的該候選來識別色度變換。此處，相對位置例如係指區塊之第一半或區塊之第一行等。若明度及色度清單中之相同數目之候選之間共用相同特性，則該清單內之次序及所選明度變換索引可用於識別色度變換。
其可有助於在量化參數處於特定範圍內的情況下僅將特定變換添加至候選清單。其尤其有助於利用維度縮減之變換，而且可取決於量化參數來訓練特殊化變換。
鑒於此等特性，變換候選清單可藉由建構規則導出或藉由查找表獲得。此處，具有用於所有可能的特性組合之變換候選清單之查找表的情況係更靈活的且因此係較佳變化形式。
以下章節提供用於建構變換候選清單之規則。 4.1.1 大殘餘區塊
寬度或高度大於64之大殘餘區塊可使用如以上章節2.3中所描述之具有高頻調零之DCT-II進行變換。 4.1.2 經框間預測之殘餘區塊
對於經框間預測之殘餘區塊，可使用AMT之變換及傳訊方案，亦即，候選清單可包含： {[DCT-II, DCT-II], [DST-VII, DST-VII], [DST-VII, DCT-VIII], [DCT-VIII, DST-VII], [DCT-VIII, DCT-VIII]} 其中: [垂直變換，水平變換] 4.1.3 經框內NN 預測之殘餘區塊 框內NN 變換
對於框內NN (神經網路)，提供用於框內NN預測區塊之專用變換組。在下文中，此等變換被稱為框內NN變換。
參考圖 7 ，可提供編碼器10 (類似於上文參考圖 1 所描述之編碼器)及解碼器20 (類似於上文參考圖 2 所描述之解碼器)，其用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中/自資料串流14解碼圖像12。編碼器10及解碼器20支援用於基於區塊之殘餘寫碼之變換組94，其中一或多個不同變換可在組94之內獲得。編碼器10及解碼器20經組配以藉由將經框內預測區塊80之空間鄰域90應用至來自多個神經網路92之所選神經網路上來預測經框內預測區塊80，從而獲得經框內預測區塊80之預測104。編碼器10及解碼器20可基於所選神經網路及基於殘餘區塊84之區塊大小96針對覆蓋經框內預測區塊80之殘餘區塊84而自變換組94判定可選變換組98。編碼器10可進一步使用來自可選變換組98之一個所選變換102對殘餘區塊84內與經框內預測區塊80之預測相關聯的預測殘餘100進行編碼，並在資料串流14中傳訊所選變換。解碼器20又可在來自可選變換組98之一個所選變換102的域中自資料串流14對殘餘區塊84內與經框內預測區塊80之預測104相關聯的預測殘餘100進行解碼，同時自資料串流14導出所選變換。
因此，可提供變換組94，其包括一或多個可選自該組94之可選組98。可選組98可包括一或多個變換102，其中一個變換102可選自可選組98。
編碼器10可使用一個所選變換102對預測殘餘100進行編碼。解碼器20可使用一個所選變換102對預測殘餘100進行解碼。 在以不同框內NN模式為條件時，針對預測殘餘之特定特徵來訓練此等變換。框內NN變換組98包括用於小區塊大小(例如在預定臨限值以下之區塊大小)的僅初級變換及用於較大區塊大小(例如在在預定臨限值以上之區塊大小)的初級+次級變換。
舉例而言，圖7 至圖10 展示包含多個樣本105之殘餘區塊84。殘餘區塊84可包含可分別被編碼及解碼之預測殘餘100。樣本105可經受一或多個變換，例如僅初級變換118 (圖 10 )或包含初級變換108及後續次級變換110之多級變換106 (圖 8 )。
樣本105可經受初級變換108，使得樣本105可自空間域變換至變換域中。因此，經變換區塊可包含一或多個初級變換係數114。多個初級變換係數114可一起排列於初級變換係數114之初級子群組112中。如例如在圖 9 中可見，初級變換108可將殘餘區塊84之一或多列自空間域變換至變換域中，而殘餘區塊84之各行未變換且因此仍保留在空間域中。
在一些實例中，初級變換係數114可藉助於次級變換110而進一步變換，使得初級變換係數114可經變換至各別次級變換域中。因此，再經變換之區塊117 (歸因於次級變換110)可包含一或多個次級變換係數134。多個次級變換係數134可一起排列於次級變換係數134之次級子群組138中。如例如圖 9 中可見，次級變換110可將區塊之一或多行自空間域變換至變換域中。如上文所提及，區塊之各列可能已藉助於初級變換108進行變換。因此，列與行可能已藉助於多級變換，亦即，藉由應用初級變換及後續次級變換，來變換。然而，變換係數不受限於列與行，因為其僅為一個非限制性實例。
如先前所提及，預定變換組94可獲自編碼器10及解碼器20可自其中進行選擇的組。舉例而言，參考圖 7 及圖 8 ，編碼器10及解碼器20可經組配以執行對可選組98之判定，使得對於在預定臨限值以上之區塊大小，可選變換組98係藉由第一數目之一或多個多級變換106填充，各多級變換包含應用至預測殘餘100上之初級變換108及應用至初級變換108之初級變換係數114之子群組112上之次級變換110，該次級變換110為不可分離的且取決於所選神經網路。子群組112表示初級變換108之低頻部分。
舉例而言，對於在 S = {4, 8, 16, 32} × {4, 8, 16, 32}中之各區塊大小及各框內NN預測模式，存在一組4個框內NN變換。更一般而言，多級變換之數目可為2至6，包含該兩者。對於除S中之彼等區塊大小以外的區塊大小，使用用於經導出大小s'之框內NN變換。大小s'係藉由採用S中之大小獲得，各大小處於垂直及水平維度，最小者在S中，但至少具有區塊大小。
參考圖 10 ，另外或可替代地，編碼器10及解碼器20可經組配以執行對可選組98之判定，使得針對在預定臨限值以下之區塊大小，可選變換組98係藉由第二數目之一或多個不可分離變換118填充。多級變換106 (圖8 )之第一數目與不可分離變換118 (圖10 )之第二數目可相等。
對於區塊高度(H)及區塊寬度(W)中無一者大於8的大小的框內NN變換經定義為僅初級變換。出於複雜度原因，較大變換經定義為初級+次級變換，具有低複雜度可分離初級變換及僅應用於初級係數子區塊之次級變換，該初級係數子區塊含有第一係數並具有大小(8, W) × min(8, H)。版本 1 ：
參考圖9，且此外除框內NN變換以外或替代框內NN變換，編碼器10及解碼器20可經組配以執行對可選組98之判定，使得可選變換組98藉由第三數目(例如1或5個)之一或多個可分離二維變換116進一步填充，亦即，用於框內NN預測之殘餘區塊之變換候選清單可包括來自DCT/DST家族之以下5個可分離(僅初級)變換： {[DCT-II, DCT-II], [DST-VII, DST-VII], [DST-VII, DCT-VIII], [DCT-VIII, DST-VII], [DCT-VIII, DCT-VIII]} 其中: [垂直變換，水平變換]版本 2 ：
此外除框內NN變換以外或替代框內NN變換，用於框內NN預測之殘餘區塊之變換候選清單可包括可分離(僅初級){DCT-II,DCT-II}變換。版本 3 ：
框內NN預測可經定義為使得在變換的域表示形態中而非在空間域表示形態中給出預測。因此，給出預測殘餘作為特定變換級之係數。在此情況下，有效應用之變換之第一級已由所用預測明確定義。
舉例而言，編碼器10及解碼器20可經組配以執行預測，使得在初級變換108之域118中獲得框內預測區塊80。編碼器10及解碼器20可經進一步組配以執行對可選組98之判定，使得可選變換組98藉由第四數目之一或多個多級變換106步填充，該一或多個多級變換各包含級變換108及應用至初級變換108之初級變換係數114之子群組112上的次級變換110，其中次級變換110可為不可分離的且取決於所選神經網路。
作為一實例，可給出預測殘餘作為DCT-II域中之係數，亦即，初級變換108可為可分離二維變換116 (圖9 )。在初級+次級變換之情況下，初級變換被視為由預測模式定義之變換(此處為DCT-II)。因此，基於DCT-II係數之子集定義次級變換。此處，其係基於具有大小min(8, W) × min(8, H)之最低頻率之係數子集而定義，亦即，子群組112表示初級變換108之低頻部分。
在此版本中，框內NN預測之殘餘區塊之所有變換候選具有藉由框內模式明確給出之相同第一變換級。除了在給出之變換級之頂部上建構之4個(例如介於2個與6個之間)的經過訓練的框內NN變換之外，明確給出之變換本身亦添加至候選清單作為僅初級變換(此次為用於所有框內NN模式之DCT-II)，亦即，可選變換組98可藉由初級變換108進一步填充。
用於框內NN變換之編碼器10及解碼器20之另一實例展示於圖 11 中。此實例可類似於上文參考圖 7 及圖 10 描述之實例，該等圖式亦應用於描述以下實例。
此實例之編碼器10可經組配以藉由將經框內預測區塊80之空間鄰域90應用至神經網路NN# 上來預測經框內預測區塊80，從而在初級變換108之域118 (圖10、圖11)中獲得經框內預測區塊80之預測104。編碼器10可經組配以使用來自可選變換組98之一個所選變換102對殘餘區塊84內與經框內預測區塊80之預測104相關聯之預測殘餘100進行編碼，且在資料串流14中傳訊所選變換102。在此實例中，可選變換組98係藉由至少一個多級變換106填充，該至少一個多級變換包含初級變換108及應用至初級變換108之初級變換係數114之子群組112 (圖8)上的次級變換110。
對應的解碼器20可經組配以藉由將經框內預測區塊80之空間鄰域90應用至神經網路NN# 上來預測經框內預測區塊80，從而在初級變換108之域118 (圖10、圖11)中獲得經框內預測區塊80之預測104。解碼器20可經組配以在來自可選變換組98之一個所選變換102之另一域119中自資料串流14解碼殘餘區塊84內與經框內預測區塊80之預測104相關聯的預測殘餘100，同時自資料串流14導出所選變換102。可選變換組98係藉由至少一個多級變換106填充，該至少一個多級變換包含初級變換108及應用至初級變換108之初級變換係數114之子群組112 (圖8)上的次級變換110。
編碼器10及解碼器20可經組配以藉由多個多級變換106填充可選變換組98，該多個多級變換各包含初級變換108及應用至初級變換108之初級變換係數114之子群組112上的次級變換110，該次級變換110為不可分離的。
多級變換之數目可介於2與6之間，包含該兩者。另外或可替代地，初級變換108可為可分離二維變換。另外或可替代地，子群組112可表示初級變換之低頻部分。
編碼器10及解碼器20可經組配以執行對可選組98之判定，使得可選變換組98藉由初級變換進一步填充。 4.1.4 經框內預測之殘餘區塊 (DC 、 平面、角向 )
對於經框內預測之殘餘區塊，在給出其實際應用之框內模式及區塊大小時，針對殘餘信號之特定特徵定義、訓練專用變換組。此等變換包括僅初級變換，且出於複雜度原因，亦包括初級+次級變換，其中初級變換具有尤其低複雜度的實施。
再次參考圖 7 ，可提供編碼器10 (類似於上文參考圖 1 所描述之編碼器)及解碼器20 (類似於上文參考圖 2 所描述之解碼器)，其用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中/自資料串流14解碼圖像12。編碼器10及解碼器20可經組配以使用來自框內預測模式之組120中之所選框內預測模式基於經框內預測區塊80之空間鄰域90來預測經框內預測區塊80，從而獲得經框內預測區塊80之預測104。編碼器10及解碼器20可進一步經組配以基於所選框內預測模式及殘餘區塊84之區塊大小96自變換組94判定用於覆蓋經框內預測區塊80之殘餘區塊84的可選變換組98。編碼器10可進一步經組配以使用來自可選變換組98之一個所選變換102對殘餘區塊84內與經框內預測區塊80之預測104相關聯之預測殘餘100進行編碼，且在資料串流14中傳訊所選變換102。解碼器20又可經組配以在來自可選變換組98之一個所選變換102的域中自資料串流14對殘餘區塊84內與經框內預測區塊80之預測104相關聯的預測殘餘100進行解碼，同時自資料串流(14)導出所選變換102。
如由AMT定義之DCT/DST家族之變換在初級變換當中，該等變換可與由NSST定義之變換組合以分別建構僅初級變換及初級+次級變換。換言之，初級變換108可取決於所選框內預測模式且可為可分離二維變換116。因此，且再次參考圖 8 ，編碼器10及解碼器20可經組配以執行對可選組98之判定，使得對於預定區塊大小之第一預定組中之區塊大小，可選變換組98係藉由一數目之一或多個多級變換106填充，各多級變換包含應用至預測殘餘100上之初級變換108及應用至初級變換108之初級變換係數114之子群組112上之次級變換110，該次級變換110為不可分離的且取決於所選框內預測模式。
額外變換可能已經受訓練，其包括高達64維之完全連接變換級及變換級係數，尤其為初級變換係數之框內模式相關分割(例如，子群組112可取決於所選框內預測模式)。此等變換中取決於其已解碼語法元素而適合於殘餘區塊的變換已在實驗中發現，且藉由查找表連同用於候選清單之以下建構規則給出。
因此，且再次參考圖10，編碼器10及解碼器20可經組配以執行對可選組98之判定，使得對於小於預定區塊大小之第一預定組的預定區塊大小之第二預定組中的區塊大小，可選變換組98藉由第二數目之一或多個不可分離變換118填充。
在以要求子群組為矩形之複雜度限制來建構多級變換時，密集及低維變換仍具有選擇子群組之形狀的自由。確切而言，形狀可為正方形或在垂直抑或水平方向上具有主要維度。若彼等中之任一者為較佳的，則該形狀取決於所選初級變換及實際框內預測模式。舉例而言，若DCT-II為初級變換且用水平定向模式中之一者預測殘餘區塊，則預期殘餘初級係數集中在區塊之左側上，因此子群組可經選擇為高度大於寬度。可針對垂直框內方向選擇相反情況。亮度分量 版本 1
為產生用於經框內預測之明度殘餘區塊之變換候選清單，可使用查找表。此表保存用於S3 = {64×64} + {4, 8, 16, 32} × {4, 8, 16, 32}+ {4x12, 12x4}中之大小的組合及I0 = {0,…,34}中之框內模式索引的變換候選清單。如上文所提及，編碼器10及解碼器20可經組配以基於所選框內預測模式及基於殘餘區塊84之區塊大小96而自變換組94中判定用於覆蓋經框內預測區塊80之殘餘區塊84的可選變換組98。 用於獲得殘餘區塊之候選清單之實際規則如下：
鑒於框內模式由{DC,平面} + 33個定向模式}中之框內方向中之一者指定，此框內方向用作至LUT之框內模式索引。
鑒於框內模式由{DC,平面} + 65個定向模式}中之框內方向中之一者指定，至LUT之框內模式索引係藉由以下映射獲得：
Figure 02_image001
對於大小在S3中之殘餘區塊，此大小用作至LUT之輸入，否則使用第二查找表，其針對I0中之各框內模式索引定義一組固定變換候選之。
因此，編碼器10及解碼器20可經組配成使得次級變換110取決於所選框內預測模式之方式包含框內預測模式聚合，例如，框內預測模式索引之量化或框內預測模式組120當中之角向框內預測模式之框內預測方向之量化。
另外或可替代地，編碼器10及解碼器20可經組配成使得初級變換108取決於所選框內預測模式之方式包含框內預測模式聚合，例如，框內預測模式索引之量化或框內預測模式組120當中之角向框內預測模式之框內預測方向之量化。版本 2
與版本1之差異在於用於大小未處於S3中之殘餘區塊之變換候選的偏差。此處，大小s'用於對查找表定址。其中，s'為S3中之最小大小，其中各維度大於s之對應維度或與其相等。色度分量 ( 無色度二元樹 ) 版本 1
用於色度殘餘區塊之變換候選係與明度變換候選獲自同一變換組。此處，各變換密鑰可定義兩個分開的色度變換候選。若色度分量之預測模式等於明度模式，則採用第一候選。否則，採用第二候選。版本 2
用於色度殘餘區塊之變換候選係與明度變換候選獲自同一變換組。此處，各變換密鑰可定義兩個分開的色度變換候選。若如此，則將兩個變換添加至色度候選清單。 4.1.5 取決於鄰近變換區塊之變換決策添加 / 替換及重排序候選 除了自變換區塊自身特性(諸如預測模式、區塊大小等)導出之變換候選以外，候選亦可自鄰近變換區塊導出。以下實例應在下文中論述：
舉例而言，圖12 展示圖像12經分割成當前殘餘區塊84及可緊鄰當前殘餘區塊84或在空間上與當前殘餘區塊84相隔之空間鄰近殘餘區塊84'、84''。假定鄰近殘餘區塊84'、84''在各種特性(諸如殘餘能量及信號結構)方面類似，則可藉由使所選鄰近變換之資訊包括至當前區塊84之候選之偏差過程中而利用此相似性。
參考圖 12 ，可提供編碼器10 (類似於上文參考圖 1 所描述之編碼器)及解碼器20 (類似於上文參考圖 2 所描述之解碼器)，其用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中/自資料串流14解碼圖像12。
編碼器10及解碼器20可經組配以基於針對鄰近殘餘區塊84'、84''選擇之參考變換自變換組94中判定122用於當前殘餘區塊84之變換可選清單98。編碼器10可經組配以使用來自該變換可選清單98之一個所選變換102對殘餘區塊84內之預測殘餘100進行編碼，並在資料串流14中傳訊該所選變換102。解碼器20又可經組配以在來自變換可選清單98之一個所選變換102的域中對殘餘區塊84內之預測殘餘100進行解碼，同時自資料串流14導出所選變換102。
一般而言，若鄰近變換區塊84'、84''與當前區塊84具有相同大小及預測模式，則鄰近變換區塊84'、84''之所選變換亦為當前區塊84之候選，其限制條件為清單係如上文所描述而建構。在此類情況下，當前候選清單可經重新排序，使得之前已選擇之候選經置於候選清單中之第一位置中之一者。因此，編碼器10及解碼器20可經組配以使用參考變換對可選清單98進行排序122。
舉例而言，編碼器10及解碼器20可經組配以藉由將參考變換或對應於該參考變換之變換(例如，相對於為1級，藉由高變換索引124傳訊且因此有可能為極特殊化變換，即用於大小不同之鄰近區塊之分析變換類型)定位於與最可能之選擇(例如，第一位置，或與索引124之最低索引值相關聯或具有與最短VLC相關聯之索引值的位置)相關聯之順位(「n# 」中之#)來對可選清單98進行排序122。可替代地，編碼器10及解碼器20可藉由將參考變換或對應於該參考變換之變換定位於與第二最可能選擇相關聯之順位(「n# 」中之#)來對可選清單98進行排序122。
其可改良候選之傳訊且亦使高效快速搜尋模式用於藉由跳過以下候選之測試來測試編碼器處之變換候選。
若多於一個鄰近區塊84'、84''之變換決策可用，則各候選在當前清單中之實際位置可以藉由將已更頻繁選擇之候選置於清單的前面而在鄰近區塊84'、84''中之選擇頻率為條件。可能有益的係保持清單中之第一候選不變且將最頻繁選擇之候選置於第二位置，係因為第一變換通常係最有可能的，即使係以鄰近決策為條件。
因此，編碼器10及解碼器20可經組配以基於針對一組鄰近殘餘區塊84'、84''選擇之參考變換而自變換組94判定122用於當前殘餘區塊84之變換可選清單98。
此外，編碼器10及解碼器20可經組配以藉由以對應於針對一組鄰近殘餘區塊84'、84''選擇參考變換之頻率的次序來互相定位參考變換而對可選清單98進行排序122。
當鄰近殘餘區塊84'、84''在預測模式或區塊大小方面有所不同時，所選鄰近變換並非一定已為當前區塊84之候選。在此類情況下，若已針對當前區塊大小定義所選變換，則可將所選變換添加至當前變換清單。因此，編碼器10及解碼器20可經組配以用參考變換填充122可選清單98。
若將變換實際上添加至候選清單，則應以兩種區塊之所選預測模式的相似性為條件。舉例而言，若使用定向模式預測兩種區塊且其方向索引之不同之處大於2，且鄰近區塊之所選變換為針對彼模式具體訓練的變換，則此變換不大可能為當前區塊之有前景的候選。若另一方面兩種預測模式類似或已選擇通用變換(諸如DCT或DST)，則亦可將其添加至當前候選清單。若兩種區塊之不同之處僅在於其大小且已經已知的所選變換係來自分析定義變換(諸如來自DCT/DST家族)，則可將當前區塊大小之對應變換直接導出且添加至候選清單。
因此，編碼器10及解碼器20可經組配以執行填充，前提是與鄰近區塊84'、84''及當前殘餘區塊84相關聯之一或多個特定特徵足夠類似，及/或參考變換為可分離頻譜分解變換。該一或多個特徵可例如包含框內預測模式中之一或多者。
另外或可替代地，參考變換可為可分析定義的可分離頻譜分解變換(諸如DCT、DST、FFT或類似者)，且編碼器10及解碼器20可經組配以經藉由使參考變換適於當前殘餘區塊84之區塊大小96來導出的另一變換填充122可選清單98。
即使在鄰近區塊之所選變換並非當前清單之候選時，亦知曉變換可有助於預測當前清單之最佳候選，且因此對候選之排序可以變換為條件。舉例而言，使鄰近區塊之初級變換來自DCT/DST家族，可將具有當前大小之對應初級變換的所有候選置於候選清單的前面，如上文所提及。
此外，假定鄰近區塊之能量係相關的，當鄰近殘餘區塊具有大量有效係數時，當前區塊之有效係數之數目將很可能較高。可針對極少係數之相反情況假定相同相關性。
因此，編碼器10及解碼器20可經組配以藉由根據在一或多個特定特徵方面與參考變換的相似性對可選變換組98中之變換進行排位來對可選清單98排序122，及/或以自可選清單98中排除超出在一或多個特定特徵方面與參考變換的特定不相似性的變換的方式判定變換可選清單98。舉例而言，該一或多個特徵可包含初級變換中之一或多者(例如，需要初級變換之等同性)。
此資訊可用於對候選進行重新排序或甚至用於自清單移除不大可能的變換。舉例而言，若鄰近殘餘區塊84'、84''已遠小於k有效係數，則可將具有帶有基於k係數之子群組而定義之次級變換的變換候選之此候選移除或置於最後位置。此外，若預期僅極少係數係有效的，則較不可能受益於具有共用相同初級變換而不同之處僅在於其次級變換之變換候選。若此類變換在候選當中，則在此類情況下可藉由僅保持彼等變換之第一者或甚至藉由經對應的僅初級變換取代此等變換來減少清單。
根據實例，編碼器10可經組配以基於針對鄰近殘餘區塊選擇之參考變換自變換組判定122用於當前殘餘區塊之變換可選清單98，其方式取決於一或多個鄰近殘餘區塊84'、84''中之有效變換係數的數目或該等有效變換係數之總和。若該數目或總和大於特定臨限值，則用於當前殘餘區塊之變換可選清單98經至少一個多級變換填充，該至少一個多級變換包含應用至當前殘餘區塊之預測殘餘100上的初級變換及應用至初級變換之初級變換係數之子群組上的次級變換。若該數目或總和小於特定臨限值，則除了至少一個多級變換之外或代替至少一個多級變換，用於當前殘餘區塊之變換可選清單經該至少一個多級變換之修改填充，其中超出子群組之初級變換係數經調零。在任一情況下，編碼器10可經組配以使用來自變換可選清單之一個所選變換對殘餘區塊內之預測殘餘進行編碼且在資料串流中傳訊所選變換。
對應的編碼器20可經組配以基於針對鄰近殘餘區塊84'、84''選擇之參考變換自變換組判定122用於當前殘餘區塊之變換可選清單98，其方式取決於一或多個鄰近殘餘區塊84'、84''中之有效變換係數的數目或取決於該等有效變換係數之總和。若該數目或總和大於特定臨限值，則用於當前殘餘區塊之變換可選清單98經至少一個多級變換填充，該至少一個多級變換包含應用至當前殘餘區塊之預測殘餘100上的初級變換及應用至初級變換之初級變換係數之子群組上的次級變換。若該數目或總和小於特定臨限值，則除了至少一個多級變換之外或代替至少一個多級變換，用於當前殘餘區塊之變換可選清單經該至少一個多級變換之修改填充，其中超出子群組之初級變換係數經調零。在任一情況下，解碼器20可經組配以在來自變換可選清單之一個所選變換的域中對殘餘區塊內之預測殘餘進行解碼，同時自資料串流導出所選變換。
另外或可替代地，編碼器10及解碼器20可經組配以藉由根據鄰近區塊84'之一或多個特定特徵對可選變換組98中之變換進行排位來對可選清單98排序122，及/或根據鄰近區塊84'之一或多個特定特徵以自可選清單98中排除變換的方式判定變換可選清單98。舉例而言，該一或多個特徵可包含一數目之有效變換係數中之一或多者。
另外或可替代地，該一或多個特徵可包含一數目之有效變換係數中之一或多者，其中若有效變換係數之數目在特定臨限值以下(例如，取決於子群組112中之係數之數目)，則較不可能對變換進行排位或排除屬於多級類型的具有經受次級變換之初級變換係數之子群組112之變換。4.1.6 提供適於量化參數之變換候選 可針對量化級之不同重建構點(且由此針對不同量化參數(QP))使變換最佳化。若針對預測模式而定義QP自適應變換組，則藉由以下規則中之一者來建構候選清單：
若針對當前QP而定義變換，則將此變換添加至候選清單。
將針對最接近當前QP的QP而定義的變換添加至候選清單。
將兩個變換添加至候選清單。首先為針對下一比當前QP更小之QP而定義的變換，其次為針對下一比當前QP更大之QP而定義的變換。
因此，參考圖 7 ，編碼器10及解碼器20可經組配以核查殘餘區塊84之量化參數是否包括於一組一或多個預定量化參數中。若回答為「是」，則編碼器10及解碼器20可執行可選組98之判定，以便經與該組一或多個預定量化參數相關聯之一或多個預定變換組進一步填充可選變換組98。
另外或可替代地，編碼器10及解碼器20可經組配以核查經框內預測區塊 之量化參數是否包括於一組一或多個預定量化參數中。若回答為「是」，則編碼器10及解碼器20可執行可選組98之判定，以便經與該組一或多個預定量化參數相關聯之一或多個預定變換組進一步填充可選變換組98。
進一步另外或可替代地，編碼器10及解碼器20可經組配以核查殘餘區塊84之量化參數是否包括於一組一或多個預定量化參數中。若回答為「是」，則編碼器10及解碼器20可執行可選組98之判定，以便經與該組一或多個預定量化參數相關聯之一或多個預定變換組進一步填充可選變換組98。
再另外或可替代地，編碼器10及解碼器20可經組配以核查當前區塊之量化參數是否包括於一組一或多個預定量化參數中。若回答為「是」，則編碼器10及解碼器20可執行可選組98之判定，以便經與該組一或多個預定量化參數相關聯之一或多個預定變換組進一步填充可選變換組98。經利用維度縮減之變換添加 / 取代候選
取決於變換區塊大小及量化參數(QP)，可能有益的係包括明確縮減預測殘餘之維度的變換候選，且由此允許對係數進行高效寫碼及以降低的複雜度實施。根據定義，此等變換僅產生針對殘餘信號之特定子類別之無誤差表示。另一方面，此與係數量化為零相似且可允許對非有效係數位置進行高效寫碼。 可應用以下規則中之一者：
若候選清單含有至少一個初級+次級變換且當前QP大於臨限值Tqp，則初級+次級變換由具有維度縮減特徵的對應變換取代。
藉由強制不屬於藉由次級變換進一步變換的係數之子群組的彼等係數為零根據清單中之對應初始候選來建構此等變換。
若候選清單含有至少一個初級+次級變換且當前QP大於臨限值Tqp，則針對每一初級+次級變換將利用維度縮減之變換添加至清單。藉由強制不屬於藉由次級變換進一步變換的係數之子群組的彼等係數為零根據清單中之初始候選來建構此等變換。
若候選清單含有至少一個初級+次級變換且鄰近變換區塊之有效係數之總和小於臨限值T，則初級+次級變換經對應的具有維度縮減特徵之變換取代。藉由強制不屬於藉由次級變換進一步變換的係數之子群組的彼等係數為零根據清單中之對應初始候選來建構此等變換。
若候選清單含有至少一個初級+次級變換且鄰近變換區塊之有效係數之總和小於臨限值T，則針對每一初級+次級變換將利用維度縮減之變換添加至清單。藉由強制不屬於藉由次級變換進一步變換的係數之子群組的彼等係數為零根據清單中之初始候選來建構此等變換。
根據實例，編碼器10可經組配以用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中，該編碼器支援用於該基於區塊之殘餘寫碼之變換組94。編碼器10可經組配以取決於當前區塊之量化參數之方式自變換組判定用於當前殘餘區塊84的變換可選清單98，以使若量化參數對應於比特定臨限值精細的量化，則用於當前殘餘區塊之變換可選清單98經至少一個多級變換106填充，該至少一個多級變換包含應用至當前殘餘區塊內之預測殘餘100上的初級變換108及應用至該初級變換之初級變換係數114之子群組112上的次級變換110。若量化參數對應於比特定臨限值粗糙之量化，則除了至少一個多級變換106之外或代替至少一個多級變換106，用於當前殘餘區塊之變換可選清單經該至少一個多級變換之修改填充，其中超出子群組112之初級變換係數114經調零。在任一情況下，編碼器10可經組配以使用來自變換可選清單98之一個所選變換102對殘餘區塊84內之預測殘餘100進行編碼且在資料串流14中傳訊所選變換。
此外，可提供對應的解碼器20，其用於使用基於區塊之預測及基於區塊之殘餘解碼對來自資料串流14之圖像12進行解碼，該解碼器支援用於基於區塊之殘餘解碼的變換組94。解碼器20可經組配以取決於當前區塊之量化參數之方式自變換組判定用於當前殘餘區塊84的變換可選清單98，以使若量化參數對應於比特定臨限值精細的量化，則用於當前殘餘區塊之變換可選清單98經至少一個多級變換106填充，該至少一個多級變換包含應用至當前殘餘區塊內之預測殘餘100上的初級變換108及應用至該初級變換之初級變換係數114之子群組112上的次級變換110。若量化參數對應於比特定臨限值粗糙之量化，則除了至少一個多級變換106之外或代替至少一個多級變換106，用於當前殘餘區塊之變換可選清單經該至少一個多級變換之修改填充，其中超出子群組112之初級變換係數114經調零。在任一情況下，解碼器20可經組配以在來自變換可選清單98之一個所選變換的域中對殘餘區塊84內之預測殘餘100進行解碼，同時自資料串流14導出所選變換。 4.2 變換候選清單之縮減
若新獲得的資訊不符合清單中之特定變換之約束條件，則在殘餘係數之解碼過程期間可隨後縮減變換候選清單。此有助於降低所選候選之寫碼成本且亦允許根據剩餘變換候選之特定特性調節以下語法元素，且由此提高寫碼效率。可能有益的係藉由對關於先前所選變換之資訊進行明確寫碼藉由縮減之候選清單來增加受影響語法元素之數目。
參考圖 14 ，可設置編碼器10及解碼器20，該編碼器及該解碼器用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中/自資料串流14解碼圖像12。編碼器10及解碼器20可以與如上所解釋類似之方式支援用於基於區塊之殘餘寫碼的變換組94。然而，根據此實例，編碼器10及解碼器20可經組配以自變換組94判定130用於當前殘餘區塊之變換可選清單98。編碼器10可經組配以使用來自變換可選清單98之一個所選變換102將變換係數資料126編碼至資料串流14中，該資料串流表示殘餘區塊84內之預測殘餘100。編碼器10可進一步經組配以在資料串流14中傳訊128所選變換102，及/或以取決於變換係數資料126或取決於變換係數資料126之一部分的方式執行對可選清單98之判定130。解碼器20又可經組配以使用來自變換可選清單98之一個所選變換102對來自資料串流14之變換係數資料126進行解碼，該資料串流表示殘餘區塊84內之預測殘餘100。解碼器20可進一步經組配以自資料串流14導出128所選變換102，及/或以取決於變換係數資料126或取決於資料變換係數資料126之一部分的方式執行對可選清單98之判定130。
舉例而言，編碼器10及解碼器20可經組配以藉由以來自變換組94之多個變換(其數目取決於變換係數資料126或變換係數資料之一部分)對可選清單98進行填充來判定130變換可選清單98，且可經組配為以一方式在資料串流14中執行傳訊128所選變換102，使得數目愈低，在資料串流14中用於傳訊所選變換102所花費的碼率就愈低。
另外或可替代地，編碼器10及解碼器20可經組配以藉由根據變換係數資料126或變換係數資料126之一部分而對變換可選清單98進行排序來判定130變換可選清單98，且可經組配以使用可變長度碼在資料串流14中執行對所選變換102之傳訊128，可變長度碼之碼字係根據變換可選清單98中之變換的次序而指派給變換可選清單98中之變換。
圖15 展示用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中/自資料串流14解碼圖像12的編碼器10及解碼器20之其他實例，編碼器10及解碼器20兩者支援用於基於區塊之殘餘寫碼的變換組。此實例之編碼器10及解碼器20可經組配以自變換組判定130用於當前殘餘區塊之變換可選清單98。編碼器10可經組配以取決於所選變換102或變換可選清單98之方式在資料串流14中傳訊128所選變換且可經組配以使用來自變換可選清單之一個所選變換對變換係數進行編碼140，該等變換係數表示殘餘區塊內之預測殘餘。解碼器20又可經組配以取決於所選變換102或取決於變換可選清單98之方式自資料串流14導出128所選變換，且使用來自變換可選清單之一個所選變換自資料串流14解碼140變換係數，該等變換係數表示殘餘區塊內之預測殘餘。
舉例而言，圖14 展示具有所選變換之變換係數134之多個值的區塊114，該所選變換之變換係數134值可以預定掃描次序136遍歷。在圖 13 中以「x」標記一個示例性有效(亦即，非零值的)變換係數位置132，該變換係數位置可為此實例中之最後的有效變換係數位置。
對變換候選清單的有可能的約束條件可包括需要至少特定數目之有效(亦即，非零值的)係數134以便補償變換候選之額外傳訊成本。雖然可藉由在已獲得有效係數134之準確數目之後縮減候選清單來滿足此約束條件，但亦有可能的係移除由最後的有效係數132之位置所指示之變換候選。由於通常預先寫碼最後的位置，故此增加有可能受縮減之清單影響的語法元素之數目。
根據實例(參考圖13及14)，編碼器10及解碼器20可經組配以使得變換係數資料126包含所選變換102之有效變換係數位置132之指示及所選變換之變換係數134之值，該等值係按循序遍歷所選變換之係數位置的預定掃描次序136自有效變換係數位置132向前遍歷，其中可選清單98之判定130係取決於該指示，亦即該指示為變換係數資料126之「部分」。
根據另一實例，編碼器10及解碼器20可經組配以對所選變換102之有效變換係數134之數目計數，其中可選清單98之判定130取決於該計數。
針對僅將另一變換級應用於其初級變換係數之特定子組的多級變換候選，可基於子組定義約束條件。此包括至少特定數目之有效位置必須落入此子組內。此約束條件可能已藉由有可能的有效位置之最大數目違反，該最大數目在對最後的有效位置進行解碼之後已知或一旦已知有效位置之準確數目則已知。一旦違反約束條件，則自清單移除對應的變換候選且以下解碼過程可受益於縮減之候選變換組。
因此，編碼器10及解碼器20可經組配以參考所選變換102之變換係數134之子群組138 (圖13)內的所選變換102之有效變換係數134之數目是否超出特定臨限值來評估變換係數資料126，且可取決於計數(亦即，取決於有效變換係數134之數目)來如下執行可選清單98之判定130： 1) 若數目大於特定臨限值，則當前殘餘區塊84之變換可選清單98經至少一個多級變換106填充，該至少一個多級變換包含應用至當前殘餘區塊之預測殘餘100上的初級變換及應用至初級變換106之初級變換係數114之子群組112上以產生所選變換102之變換係數之子群組138的次級變換。 2) 若數目小於特定臨限值，則當前殘餘區塊之變換可選清單未經任何多級變換106填充，該任何多級變換包含應用至當前殘餘區塊之預測殘餘100上的初級變換及應用至初級變換之初級變換係數之子群組上的次級變換。
此外，色度候選清單之縮減可取決於亮度分量之實際變換決策。不同候選清單(例如亮度及色度)亦可共用一個變換索引，在此類情況下，將第二清單縮減至藉由已針對第一清單經解碼之變換索引來給定的所選變換。示例性實施例 ： 在下文中，給出一些示例性實施例以便使上述一般描述具體化：
若有效係數之數目小於臨限值T0 (例如，3)，則將變換候選清單縮減至其前兩個條目。
若有效係數之數目小於臨限值T1 (例如，3)，則將變換候選清單縮減至其第一個條目。
若亮度及色度共用相同寫碼結構且(CU中之所有TU的)有效係數(包括亮度及色度分量)之總數目小於臨限值T0，則將CU中之所有TU之候選清單縮減至其第一個條目。
若(CU中之所有TU的)有效係數(包括亮度及色度分量)之總數目小於臨限值T0，則將CU中之所有TU之候選清單縮減至其前兩個條目。否則，若單一TU之有效亮度係數之總數目小於臨限值T1，則將候選清單縮減至其前5條目。
鑒於有效係數之數目及將臨限值映射至保持之候選數目之表，因此將候選清單縮減至其第一個條目。
鑒於有效係數之數目及將臨限值及預測模式映射至保持之候選數目之表，因此將候選清單縮減至其第一個條目。
鑒於有效係數之數目及將臨限值及QP映射至保持之候選數目之表，因此將候選清單縮減至其第一個條目。
若亮度及色度共用相同寫碼結構且未針對亮度分量寫碼殘餘信號，則將對準之色度分量之候選清單縮減至其第一個條目。
若亮度及色度共用相同寫碼結構且包括變換單元之亮度及色度分量的有效係數之總和小於臨限值T3 (例如，3)，則將CU中之所有TU之候選清單縮減至其第一個候選。
若亮度及色度共用相同寫碼結構且亮度變換已經解碼，則僅當色度變換候選與亮度變換為相同類別時才保持該等色度變換候選。
若亮度及色度共用相同寫碼結構且亮度變換已經解碼，則僅當色度變換候選與亮度變換為相同類別或若該等色度變換候選在清單中為第一個時才保持該等色度變換候選。
鑒於變換區塊之有效係數之位置，若對次級變換之輸入包括至少K有效係數，則針對各多級變換候選進行核查。否則，自候選清單移除該變換。
鑒於最後的有效位置之位置，對多少係數有可能係有效的計數。鑒於將臨限值映射至保持之候選數目之表，因此將候選清單縮減至其第一個條目。
鑒於變換區塊之最後的有效位置之位置及掃描次序，針對各多級變換候選核查對次級變換之輸入是否包括可能係有效之至少K位置。否則，自候選清單移除該變換。
鑒於變換區塊之最後的有效位置之位置及掃描次序，針對各次級變換對有可能有效之輸入係數之數目計數。
保持具有最大值的變換，移除所有其他次級變換。
所有實施例可以預測模式及QP為條件。 4.3 傳訊
如上文所提及，藉由利用關於變換區塊係數之已經解碼資訊來縮減變換候選清單降低用於傳訊實際所選變換所需之成本。另一方面，亦可藉由根據所選變換之特性調節係數解碼過程來採用此相依性。兩種方法要求語法元素之特定寫碼次序且可以交錯方式聯合地應用。作為特殊情況，當所有係數已經已知時，可在變換區塊之寫碼過程之一開始或在結束時完整地傳訊進入候選清單的變換索引。在後者情況下，可將關於所有係數的資訊用於縮減候選清單，而在前者情況下，無法預先縮減候選，但對各係數之解碼可受益於關於所使用變換的全部瞭解。
雖然顯而易見的係縮減候選清單亦降低用於所選候選之實際傳訊成本，但若其可以合理的複雜度獲利，則對所選變換上之係數之條件性寫碼更不直接且其係取決於實際所選變換、候選清單及殘餘信號自身。
若所選候選為利用維度縮減之變換，則根本不存在對傳訊係數之整個子群組之有效性資訊的需要。此亦允許對剩餘位置之更小組上之最後的位置之高效傳訊，甚至可藉由將有可能之最後的有效位置設定為藉由變換給定之最後的位置來完全省略該傳訊。在此類情況下，可針對如藉由變換所定義之各有可能之有效位置寫碼有效性旗標，而此處亦可應用針對位置之整個群組首先傳訊有效性群組旗標之概念。為了利用此相依性，可為有益的係在寫碼係數之前核查利用維度縮減之變換是否在候選當中，且若如此，則首先傳訊若且其中選擇彼等候選中之哪一者係必要的。
作為實例，且再次參考圖 13 及15 ，變換可選清單可包含不同數目之變換係數134之變換。編碼器10及解碼器20可經組配以編碼/解碼該等不同數目之變換係數134，其中編碼/解碼變換係數134之步驟包含編碼所選變換102之有效變換係數位置132之指示及該所選變換之變換係數134之值，該等值係按循序遍歷該所選變換之係數位置的預定掃描次序136自有效變換係數位置向前遍歷。此實例之編碼器10及解碼器20可經組配為以一方式編碼/解碼變換係數134，使得該所選變換之變換係數134之數目愈低，在資料串流14中用於編碼指示所花費的碼率愈低。 作為另一實例，編碼器10及解碼器20可經組配以取決於是否可使用利用或不利用維度縮減之變換(亦即，變換可選清單是否包含第一數目之變換係數134之變換(例如，利用維度縮減之變換)及大於第一數目之第二數目之變換係數134之變換)來選擇性地編碼/解碼變換係數134。
在所選變換之變換係數134之數目為第二數目的情況下，編碼器10及解碼器20可經組配以編碼/解碼所選變換之有效變換係數位置132之指示及該所選變換之變換係數134之值，該等值係按循序遍歷該所選變換之係數位置之預定掃描次序136自有效變換係數位置132向前遍歷。
在所選變換之變換係數134之數目為第一數目的情況下，編碼器10及解碼器20可經組配以編碼/解碼該所選變換之第一數目之變換係數134中之全部的值。
其中可將所選變換之瞭解用於更有效地寫碼係數之另一實例為其中由初級+次級變換定義超過一個變換候選而次級變換所應用於的位置之子群組不同的情況。在此類情況下，可能有益的係首先寫碼所選變換，或至少寫碼所使用的分割。利用此瞭解，可將一組專用上下文模型用於寫碼僅經歷初級變換的位置處之彼等係數，及藉由次級變換變換之彼等係數。 此瞭解亦可用於如下寫碼最後的有效位置：
首先，解碼指示最後的有效位置是否處於輸入至次級變換的位置內的旗標，接著將準確位置寫碼為與如由變換定義之最後的有可能之有效位置或與特定子群組之第一係數之位置的差值。
在更普遍術語中，且仍參考圖 13 及15 ，變換可選清單134可包含至少一個多級變換，各多級變換包含應用至當前殘餘區塊上之初級變換及應用至初級變換係數134之初級變換係數134之子群組138上之次級變換，其中子群組138不同於至少一個多級變換中之不同者。
根據第一替代例，編碼器10及解碼器20可經組配以藉由編碼/解碼所選變換之有效變換係數位置132之指示及該所選變換之變換係數134之值來編碼/解碼變換係數134，該等值係按循序遍歷該所選變換之係數位置之預定掃描次序136自有效變換係數位置132向前遍歷。該指示可取決於所選變換是否為多級變換。若所選變換為多級變換，則指示包含有效變換係數位置132是否在變換係數134之子群組138內的旗標，且若變換係數位置132在變換係數134之子群組138內，該指示則指示相對於按預定掃描次序136在所選變換之所有變換係數134當中最後遍歷的位置的有效變換係數位置132，且若變換係數位置132不在變換係數134之子群組138內，該指示則指示相對於按預定掃描次序136在不處於子群組138內之所有變換係數134當中最後遍歷的位置的有效變換係數位置132，其中在遍歷不在子群組138內之所有變換係數134之後，預定掃描次序136遍歷子群組138內之所有變換係數134。
根據第二替代例，編碼器10及解碼器20可經組配以藉由編碼來編碼/解碼變換係數134，若所選變換為多級類型，則藉由使用機率估計，使用熵寫碼對所選變換之變換係數134之值進行編碼，該機率估計取決於變換係數134是否在所選變換之變換係數134之子群組138內。
根據第三替代例，編碼器10及解碼器20可經組配以藉由編碼來編碼/解碼變換係數134，若所選變換為多級類型，則藉由使用取決於一或多個鄰近變換係數之機率估計，以取決於變換係數134是否在所選變換之變換係數134之子群組138內的方式，使用熵寫碼對所選變換之變換係數134之值進行編碼。
假定寫碼進入變換候選清單之索引以使得候選之傳訊成本取決於其在清單中之位置，其中成本根據位置上升。此可藉由利用截頂一元碼寫碼變換索引來進行。
另外，以根據候選之專業化將該等候選分類之方式建構變換候選清單。舉例而言，第一變換為跟隨有[DST-VII,DST-VII]且接著跟隨有尤其針對當前殘餘區塊之特定框內模式經過訓練的變換的最普遍之可分離變換[DCT-II,DCT-II]。藉由額外變換填滿清單，其中各額外變換專業用於可以彼框內模式出現之殘餘信號之特定性質。此專業化可藉由將叢集方法包括(諸如適配高斯混合模型)於資料實例而經訓練，且針對各所獲得叢集來訓練分離變換。在此分類候選清單之假設下，知曉所選變換深入瞭解實際殘餘信號之特徵且由此深入瞭解預期之係數分佈。尤其，針對較小變換索引，由於更高之寫碼成本而預期低信號能量，不可藉由使用更專業之變換藉由寫碼增益而調整變換索引。
此可藉由取決於變換索引自身而導出用於寫碼係數的上下文模型而採用。當使用哥倫布-萊斯碼用於寫碼係數位準時，亦可自所選變換索引導出實際萊斯參數。
根據實例，編碼器10可經組配以使用索引來傳訊所選變換，且可經組配以藉由使用二進位化及二進位熵寫碼對所選變換之變換係數134之值進行編碼來編碼變換係數134，其中用於二進位熵寫碼之機率估計取決於索引，及/或其中二進位化取決於索引。
各別解碼器20可經組配以使用索引導出所選變換，藉由使用二進位化及二進位熵寫碼對所選變換之變換係數134之值進行解碼來解碼變換係數134，其中用於二進位熵寫碼之機率估計取決於索引，及/或其中二進位化取決於索引。
索引可為可變長度寫碼(VLC)索引。
採用來自用於係數寫碼之所選變換的資訊的更複雜實例，假定存在可藉由變換係數之方差的相關性來模型化的變換係數之剩餘相依性。取得兩個係數且假定其均值為零，方差之相關性僅僅假定知曉係數中之一者較大，選擇另一者之機率模型具有較高方差，且由此第二係數有效之機率亦增大。此所假定方差相關性模型可包括於訓練變換之過程中以使得鑒於變換，假定特定相關性模型在解碼器處。實際相關性模型亦可取決於實際係數位置或多級變換之子群組。一個特定模型定義假定哪一係數具有方差相關性且此相關性有多強。此可用於使上下文模型選擇適於已經解碼的係數上之特定係數位置。更精確而言，當解碼特定位置處之係數時，核查已藉由所選變換針對彼位置定義哪一相關性模型。若已經解碼的係數在由模型給定之能量相關位置當中，則將彼等係數之位準分劃為亦由該模型定義之給定臨限值，且導出一組特定上下文模型，用於對有效性旗標及當前係數之位準進行解碼。
可自鄰近變換係數導出上述相關性。作為實例，編碼器10及解碼器20可經組配以藉由使用熵寫碼對所選變換之變換係數134之值進行編碼來編碼/解碼變換係數134，其中熵寫碼取決於一或多個鄰近變換係數134，在某種程度上取決於所選變換。
作為另一實例，編碼器10及解碼器20可經組配以藉由使用熵寫碼對所選變換之變換係數134之值進行編碼/解碼來編碼/解碼變換係數134，該熵寫碼係藉由以下進行：以取決於所選變換中之變換係數之位置的方式來選擇一或鄰近變換係數134之局部模板，進一步使用一或鄰近變換係數134之可能值之域至用於變換係數134之一組一或多個上下文的映射來判定用於變換係數134之所選上下文，及使用與所選上下文相關聯之機率估計對變換係數134之值進行熵寫碼，其中局部模板之選擇及映射中之至少一者係取決於所選變換。
作為一個具體實例，假定已經已知在解碼器處使用了初級+次級變換及哪一位置經歷次級變換。此外，假定兩個不同方差相關性模型，一個用於僅初級變換係數且一個用於剩餘係數位置。針對兩個模型，給定4組上下文模型及3個臨限值。當對係數進行解碼時，首先核查兩個上下文模型群組中之哪一者適用於當前位置。接著，取得最後4個已經解碼的係數位準之平均值且與臨限值進行比較。結果獨特地定義用於解碼當前係數之一組上下文模型。
可以看出，藉由所提供實例，關於所選變換的不同資訊可有益於係數之解碼過程之特定部分。此激勵將識別候選當中之所選變換所需之資訊拆分成特定變換特性且激勵傳訊分別與係數寫碼交錯之該等特性。藉此，可將已經解碼之關於變換的資訊用於解碼關於係數的資訊，而可將新獲得之關於係數的資訊用於縮減變換候選清單，且從而用於識別所選候選所需傳訊之資訊更少。
應以哪一次序寫碼哪一變換特性亦取決於清單中之可用候選及已獲得之關於殘餘信號的資訊，且可自適應地選擇。舉例而言，僅當利用維度縮減之變換在候選當中時才預先寫碼變換索引。此外，一旦最後的位置之至少一個座標已經解碼，則可以座標為條件進一步解碼所選變換。已瞭解，一個座標給定待在殘餘信號中預期之最大能量的一些跡象，且藉由例如對有可能之有效位置之最大數目計數來給定。僅當此預期值高於臨限值時，接下來才解碼變換索引，且可以所選變換之結構為條件來解碼第二座標。
根據此實例，編碼器10及解碼器20可經組配以一方式執行在資料串流14中對所選變換之傳訊，使得所選變換之傳訊關於變換係數資料之相對定位，及/或傳訊至語法元素之分解取決於變換可選清單。
否則，一旦有效位置之實際數目已知且違反最小係數之約束條件，則變換之解碼推遲或甚至可能經跳過。
在任一情況下，無論變換索引在變換區塊之開始、交錯或在結束處傳訊，將關於所選變換的資訊拆分成特性且分別傳訊該等特性在此等特性存在於鄰近變換區塊之間時均可係有益的。接著，可藉由使用針對各變換性質的一組專用上下文模型來採用此相依性。藉此，所選上下文模型亦可取決於已經解碼的鄰近殘餘區塊之所選變換。
根據此態樣，且參考圖 13 及14 ，提供編碼器10及解碼器20，其用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中/自資料串流14解碼圖像12，該編碼器10及解碼器20支援用於基於區塊之殘餘寫碼的變換組94。編碼器10及解碼器20可經組配以判定122來自變換組94的用於當前殘餘區塊84之變換可選清單98，且可經組配以使用來自變換可選清單之一個所選變換編碼/解碼殘餘區塊內之預測殘餘。編碼器10可經組配以使用變換指示符124在資料串流14中傳訊128所選變換，且解碼器20可經組配以藉由使用變換指示符124自資料串流14導出所選變換。該變換指示符124可使用具有一或多個位數之程式碼在資料串流14中傳訊，其中一組該一或多個位數中之各者獨特地與各別變換特性相關聯。該程式碼可包含經受二進位算術寫碼之變換指示符124之位元子或構成變換指示符124且可自資料串流14剖析之語法元素。
一般而言，僅知曉鄰近區塊之已選擇變換候選之索引無法深入瞭解當前區塊之所選變換。一個例外為，對候選進行排序以使得較高索引指示較高專業化或較高殘餘能量。此外，若實際所選鄰近變換對其預測模式高度專業，則僅當該等鄰近變換共用相同模式時對當前候選之比較才有意義。另一方面，知曉例如來自DCT/DST家族的主要變換已在鄰域中選擇，可藉由首先傳訊當前變換是否來自相同家族且由此縮減候選清單來採用此資訊。
根據實例，各變換特性可為所選變換是否為多級變換或所選變換是否為具有比變換係數之預定數目更小之變換係數的變換中之一者。
拆分所選候選之寫碼且藉由傳訊變換特性逐步地明確縮減候選清單的另一益處為有可能簡化對在清單中之不同候選當中的相依性之採用。舉例而言，變換索引之二進位化及上下文模型偏差可如下取決於清單中之變換候選。假定候選中之一者(較佳地假定第一候選)與最高機率相關聯，則首先寫碼指示此變換是否經使用的旗標，否則自清單移除該旗標。若剩餘變換候選為不同變換類別，則可首先解碼變換類別。此允許取決於用於剩餘變換索引傳訊之上下文模型偏差之變換類別。
假定將清單中之(剩餘)候選關於其預期機率進行排序，其中最可能之候選在清單中位於第一個。則可使用上下文模型化截頂一元碼以使變換索引二進位化。
根據實例，編碼器10及解碼器20可經組配以使用取決於鄰近殘餘區塊之變換指示符124的機率估計，使用熵寫碼對至少一個位數之組中之至少一者進行編碼/解碼。 4.3.1 例示性實施例
在下文中，給定一些具體但非限制性實例以便藉由一或多個例示性實施例使以上一般描述具體化。寫碼次序：
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一時，可首先解碼至候選清單之索引 ，接著解碼實際變換係數。
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一時，可首先解碼該區塊之所有係數 。若候選清單具有超過一個變換時，則在移除所有違反經解碼係數之候選之後，可寫碼至候選清單之索引。
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一，且候選清單含有具有不同初級變換類別的變換(諸如不可分離變換及來自DCT/DST家族之變換)時，可首先解碼初級變換類別且候選清單可因此減少。可隨後完成對該區塊之所有變換係數之解碼。若候選清單具有多於一個變換，則在移除所有違反經解碼係數之候選之後，可解碼至候選清單之索引。
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一，且候選清單含有僅初級及初級+次級變換時，可首先傳訊是否應用次級變換 。可隨後完成對該區塊之所有變換係數之解碼。若候選清單具有多於一個變換，則在移除所有違反經解碼係數之候選之後，可解碼至候選清單之索引。
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一，且候選清單含有至少一個利用維度縮減之變換時，可首先解碼是否使用利用維度縮減之變換 。若出現該情況且多於一個候選在設定為零之不同位置下利用維度縮減特性，則可接著傳訊索引，以便唯一地定義哪些位置設定成零。可隨後完成對該區塊之所有變換係數之解碼。若候選清單具有多於一個變換，則在移除所有違反經解碼係數之候選之後，可解碼至候選清單之索引。
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一時，可首先解碼最後的有效係數之位置 。若利用維度縮減之變換在候選當中，則在其與最後的有效位置衝突時移除。根據量化參數(QP)亦利用次級變換來變換，其中由最後的有效位置給定之可能其他變換係數之數目小於臨限值，經移除或進一步放回候選清單中。若多於一個變換候選留下，則解碼至清單之索引。隨後解碼係數。
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一時，則可首先解碼所有有效係數之位置 。若利用維度縮減之變換在候選當中，則在其與有效位置衝突時可經移除。根據量化參數(QP)亦利用次級變換來變換，其中由最後的有效位置給定之可能其他變換係數之數目小於臨限值，可經移除或進一步放回候選清單中。若多於一個變換候選留下，則可解碼至清單之索引。可隨後解碼剩餘係數位準及符號。
當已知針對區塊之殘餘信號經寫碼時，出現以下情況，當寫碼區塊旗標(CBF)已經解碼且其等於一，且候選清單含有不同類別之變換，使得各類別提供預期最後的有效位置位於不同區域中的證據時，可首先解碼此變換類別 ，接著解碼最後的有效位置。在必要時，可接著傳訊變換索引，接著傳訊係數。舉例而言，尤其對於高QP，利用次級變換之變換提供預期最後的位置處於藉由次級變換進一步變換之係數區域內的證據。對變換索引之傳訊：
變換索引可使用截斷一元程式 碼來寫碼，其中各位元子可使用專用上下文模型。不同的上下文模型組可根據剩餘變換候選之數目來使用。
變換索引可使用截斷一元程式碼 來寫碼，其中各位元子可使用專用上下文模型。針對各位元子之上下文模型選擇可視鄰近殘餘區塊之變換決策而定。根據剩餘變換候選之數目，可選擇用於截斷一元程式碼之各位元子的由k上下文模型組成之上下文模型組。可總計鄰近區塊之變換索引，且可將總和與k-1臨限值進行比較，該臨限值定義待使用之實際上下文模型。
變換索引可藉由首先寫碼旗標 來寫碼，該旗標可指示是否選擇第一候選。針對此旗標之上下文模型選擇可視鄰近殘餘區塊之變換決策而定。根據剩餘變換候選之數目，可選擇由k上下文模型組成之上下文模型組。可總計鄰近區塊之變換索引，且可將總和與k-1臨限值進行比較，該臨限值定義待使用之實際上下文模型。索引之剩餘部分可藉由固定長度程式碼來寫碼。
變換索引藉由首先寫碼旗標 來寫碼，該旗標指示是否選擇第一候選。否則固定長度程式碼可用於剩餘部分。旗標可使用由殘餘區塊之大小所選擇的專用上下文模型來寫碼。
鑒於分割成區塊包含分成寫碼單元(CU)，該等寫碼單元可進一步劃分成變換區塊(TU)，且至少一個殘餘可經寫碼以使得其寫碼區塊旗標為1，一個額外旗標可在CU 層級處寫碼 。若此旗標為零，則所有殘餘區塊可在其清單中獲取第一候選。否則，各清單之第一候選可置放在清單結束時且可寫碼各殘餘區塊之變換索引。
變換候選之數目可為5。可首先寫碼旗標，該旗標指示是否選擇第一候選。否則，可寫碼第二旗標 ，該第二旗標指示選擇第二或第三候選。最終決策可藉由第三旗標來寫碼。所有旗標可使用專用上下文模型來寫碼。
變換索引藉由首先寫碼旗標來寫碼 ，該旗標指示是否選擇第一候選。若剩餘變換候選與不同變換類別相關聯，則截斷一元程式碼可用於寫碼變換類別。此處，僅初級變換可形成一個類別，且初級+次級變換可形成第二類別。最終，在必要時，截斷一元程式碼可用於藉由利用專用上下文模型組根據變換類別來寫碼剩餘索引。
變換索引藉由首先寫碼旗標來寫碼 ，該旗標指示是否選擇第一候選。若剩餘變換候選與不同變換類別相關聯，則截斷一元程式碼可用於寫碼變換類別。此處，僅初級變換可形成一個類別，且初級+次級變換可形成第二類別。上下文模型可藉由計數已經解碼鄰近變換之變換類別之出現來選擇。若第一類別更頻繁地出現，則可使用第一上下文模型，若第二類別更頻繁地出現，則可使用第二上下文模型，若各類別之數目相等，則可使用第三上下文模型。最終，在必要時，截斷一元程式碼可用於藉由利用專用上下文模型組根據已經解碼變換類別來寫碼剩餘索引。
變換索引藉由首先寫碼旗標來寫碼 ，該旗標指示是否選擇第一候選。若剩餘變換候選與不同變換類別相關聯，則截斷一元程式碼可用於寫碼變換類別。此處，DCT/DST家族之變換形成第一類別 ，不可分離僅初級變換形成第二類別 且初級+次級變換形成第三類別 。最終，在必要時，截斷一元程式碼可用於藉由利用專用上下文模型組根據變換類別來寫碼剩餘索引。
鑒於最後的有效位置之一個座標已經解碼 ，且該座標為至少2，可接著解碼變換索引，另外當係數已經已知且候選清單已經減少時，對變換索引之解碼(在必要時)可推遲至最後的步驟。若該變換係在解碼最後的位置之第二座標時已經已知且其為初級+次級變換，則針對截斷一元程式碼部分之上下文模型選擇可使得與位於次級變換區域中之位置相關聯的二進位可使用與其他不同的上下文模型組。針對係數寫碼之上下文模型偏差： (參考圖 13 、圖 14 、圖 15 )
假定至候選清單之變換索引與殘餘信號之預期能量直接相關，因此其用於針對寫碼最後的有效位置之上下文模型選擇。各變換索引值定義其自身專用上下文模型組。
假定至候選清單之變換索引與殘餘信號之預期能量直接相關，因此其用於針對寫碼最後的有效位置之上下文模型選擇。變換索引0及1具有其自身專用上下文模型組，而剩餘索引共用一個上下文模型組。
鑒於變換類別已經已知，係數寫碼利用各變換類別之專用上下文模型組。利用專用上下文模型組之可能變換類別為來自DCT/DST家族之變換及不可分離變換。
鑒於對係數位置之分割由變換定義，且該分份為已知的，係數寫碼利用各子群組之專用上下文模型組。一個可能的分割由藉由次級變換進一步變換之係數給出。另一分割由以下變換級之數目指定。
各定義變換與一個上下文模型集相關聯且藉由解碼器已知。
鑒於變換已經唯一地識別，變換至上下文模型組之映射用於導出用於係數解碼之上下文模型組。
鑒於係數寫碼包含基於已經解碼之係數的上下文模型選擇，使得(已知)係數位準根據其相對位置經加權且累積。實際使用之上下文模型組藉由將總和相對於預定義之臨限值進行比較來選擇。所使用之權重及臨限值藉由所選變換來指定。特殊寫碼模式
可首先寫碼是否使用清單中的第一候選，否則，可核查剩餘變換候選中之至少一者是否係利用維度縮減之變換。在此情況下，可寫碼所選變換是否為彼等變換中之一者。若出現該情況且已自清單移除所有其他候選，則可核查剩餘變換在其明確地設定成零之位置中是否不同。必要時，可傳訊唯一地識別哪個維度縮減已經選擇的索引。因此，即使仍多於一個候選留下，亦準確地已知哪些係數位置保持可能有效。在必要時，可在已經解碼係數之後解碼針對所選擇變換之索引。
鑒於使用利用維度縮減之變換且已知明確地設定成零之位置，可跳過對最後的有效係數位置之傳訊。給定係數之掃描次序，最後的位置可設定成可能有效且在掃描次序中為最後的位置。在此情況下，有效旗標應傳訊用於最後的位置。
鑒於使用利用維度縮減之變換且已知藉由變換明確地設定成零之位置，所有剩餘係數組有效旗標可設定成一，且因此不需要寫碼。
鑒於使用利用維度縮減之變換且已知設定成零之位置，一組專用上下文模型可用於解碼剩餘係數。
鑒於使用利用維度縮減之變換且已知設定成零之位置，一組專用上下文模型可用於解碼區塊中的最後的係數位置。
鑒於使用利用維度縮減之變換，可使用用於寫碼係數位準之萊斯參數之專用偏差。
鑒於使用利用維度縮減之變換，可使用基於鄰近係數之用於上下文選擇的專用模板。
所有實施例可以預測模式及QP調節。 5. 設定成零之初級變換
在章節4.1中，提供一般描述，其中在下文中提供一些實例，其中一或多個僅初級係數經置零，亦即設定成零(參見以下章節5.1)。提供其他實例，其中某些位置處之一或多個係數經置零，亦即設定成零(參見以下章節5.2)。可具有經歷調零之可能性的係數亦可稱作用於調零『候選』。
一般而言，參考圖12，本發明之此態樣提供用於使用基於區塊之預測及基於區塊之殘餘寫碼將圖像12編碼至資料串流14中或自資料串流14解碼圖像12的編碼器10及解碼器20，該編碼器10及該解碼器20支援用於基於區塊之殘餘寫碼的變換組94。編碼器10及解碼器20可經組配以基於當前殘餘區塊84之大小96 (例如高度及寬度)自變換組94判定122用於當前殘餘區塊84之變換的變換候選清單98。編碼器10可經組配以使用來自變換可選清單98之一個所選變換102對殘餘區塊84內之預測殘餘100進行編碼，並選擇性地在資料串流14中傳訊所選變換102。解碼器20又在來自變換可選清單98之一個所選變換102的域中對殘餘區塊84內之預測殘餘100進行解碼，同時自資料串流14選擇性地導出所選變換102。 5.1 僅初級係數之調零
使多級變換包含初級及變換，將僅初級變換係數(亦即，未進一步變換之係數)設定成零。 a. 次級變換為完全大小變換 b. 次級變換為利用維度縮減之變換(可能有效係數之數目進一步減少)
舉例而言，在具有包含針對寬度及高度＞=8之殘餘區塊的初級(可分離)變換(例如[DCT-II、DCT-II]…)的變換候選的情況下，此變換與輸入大小為(8×8)之次級變換的組合亦可為候選。應用次級變換意指迫使未藉由次級變換進行進一步變換之所有係數為零。
舉例而言，在具有包含針對寬度或高度(但非兩者)等於4之殘餘區塊的初級(可分離)變換(例如[DCT-II、DCT-II]…)的變換候選的情況下，此變換與輸入大小為(4×4)之次級變換的組合亦可為候選。應用次級變換意指迫使未藉由次級變換進行進一步變換之所有係數為零。
舉例而言，在具有包含針對寬度及高度＞=8之殘餘區塊的初級(可分離)變換(例如[DCT-II、DCT-II]…)的變換候選的情況下，此變換與應用於大小為(4×4)之3個最左邊/最上方係數子群組的輸入尺寸為48及輸出尺寸為16之次級變換的組合亦可為候選。應用次級變換意指將未藉由次級變換進行進一步變換之所有係數設定成零，因此，另外次級變換為至16個係數之利用維度縮減之變換，最後的有效係數位置為(3,3)。 5.2 特定位置處之係數之調零
在具有包含初級及次級變換之多級變換的情況下，將位置X ＞ Tx或Y ＞ Ty之係數設定成零(例如Tx = Ty = 8)。 a. 次級變換為完全大小變換 b. 次級變換為利用維度縮減之變換(可能有效係數之數目進一步減少)
圖17展示已經歷初級變換的具有一大小(例如，寬度及高度＞8)之殘餘區塊之實例。由此，可展示具有複數個初級係數114之子群組112。在此實例中，子群組112可包含大小為4×4的初級係數114。此處展示大小為4×4之三個最左邊/最上方係數子群組。因此，彼等三個子群組112一起包含48個初級係數114。其可經歷尺寸為48×16之次級變換110，亦即，係數自48減少至16，其中一些初級係數可為用於調零之候選。
舉例而言，在具有包含針對寬度及高度＞=8之殘餘區塊的初級(可分離)變換(例如[DCT-II、DCT-II]…)的變換候選的情況下，此變換與應用於大小為(4×4)之三個最左邊/最上方係數子群組112的尺寸為(48×16)之次級變換的組合亦為候選。應用次級變換意指最後的有效係數位置可位於最大值(7,7)處，因此將剩餘僅初級係數(陰影線)設定成零。
舉例而言，在具有包含針對寬度及高度＞=8之殘餘區塊的初級(可分離)變換(例如[DCT-II、DCT-II]…)的變換候選的情況下，此變換與應用於大小為(4×4)之3個最左邊/最上方係數子群組的尺寸為(48×16)之次級變換的組合亦為候選。應用次級變換意指最後的有效係數位置可位於最大值(3,3)處，因此將剩餘僅初級係數設定成零。針對 1 + 2 之傳訊 a) 首先傳訊所選初級變換及係數。若係數在將驗證藉由利用次級變換之變換候選提供之限制的位置處係有效的(不為零)，則顯然未使用次級變換，因此可自候選清單中移除且不需要額外傳訊) b)若對應的初級+次級變換在候選當中，則首先傳訊所選初級變換，在應用次級變換時傳訊。在應用次級變換時，潛在地藉由使用一組專用上下文模型相應地設定允許的最大的最後的位置且傳訊最後的位置，接著傳訊剩餘係數資訊。 與當前技術發展水平之最新比較： c) 傳訊在最後一個位置之前/與最後一個位置交錯的次級變換/索引 d)依據最後一個位置而非最低有效位置之數目的次級變換限制。(顯性lastPosX+lastPosY ＞= T, 例如1或2) e) 依據次級變換旗標之係數sig旗標之上下文建模
因此，編碼器10及解碼器20可經組配以判定變換候選清單以使得變換候選清單之變換在對應域中重合，亦即變換係數之數目及排列相同。
變換候選清單之變換可包含第一變換及在對應域中重合(亦即變換係數之數目及排列相同)之第二變換。第二變換對應於應用至第一變換108之初級變換係數114之子群組112上的次級變換，其中在第一變換108之初級變換係數之子群組112之外的第一變換108的其他初級變換係數114經設定成零。
在此情況下，編碼器10可經組配以測試藉由將在第一變換108之初級變換係數之子群組112之外的第一變換108的其他初級變換係數114設定成零來相對於第二變換對當前殘餘區塊進行寫碼。
另外或可替代地，編碼器10及解碼器20可經組配以決定是否用至少一個多級變換106填充變換候選清單，或自變換候選清排除至少一個多級變換106，該至少一個多級變換106包含應用至當前殘餘區塊之預測殘餘100上的初級變換及應用於初級變換108之初級變換係數114之子群組112上以產生所選變換102之變換係數之子群組138的次級變換，或其中至少一個多級變換106將置放於變換候選清單中，其取決於有效變換係數根據變換係數資料126定位之位置。
另外或可替代地，編碼器10及解碼器20可經組配以決定是否用至少一個多級變換106填充變換候選清單，或自變換候選清單排除至少一個多級變換106，該至少一個多級變換106包含應用至當前殘餘區塊之預測殘餘100上的初級變換及應用至初級變換108之初級變換係數114之子群組112上以產生所選變換102之變換係數之子群組138的次級變換，或其中至少一個多級變換106將置放於變換候選清單中，其取決於在變換係數之子群組138之外的任何變換係數根據變換係數資料126是否有效。
另外或可替代地，編碼器10及解碼器20可經組配以藉由使用二進位化及二進位熵寫碼對所選變換之變換係數之值進行編碼或解碼來編碼或解碼變換係數，其中用於二進位熵寫碼之機率估計取決於所選變換，及/或其中二進位化取決於所選變換。
對所選變換之該依賴性可為對所選變換是否為多級變換之依賴性。
又另外或可替代地，編碼器10及解碼器20可經組配以決定是否用至少一個多級變換106填充變換候選清單98，或自變換候選清單98排除至少一個多級變換106，該至少一個多級變換106包含應用至當前殘餘區塊84之預測殘餘100上的初級變換及應用至初級變換106之初級變換係數114之子群組112上以產生所選變換102之變換係數之子群組138的次級變換，或其中至少一個多級變換106將位於變換候選清單98中，其取決於在子群組112內但在變換係數之子群組138之外的任何變換係數根據變換係數資料126是否為有效的。
又另外或可替代地，編碼器10及解碼器20可經組配以決定是否用至少一個多級變換106填充變換候選清單98，或自變換候選清單98排除至少一個多級變換106，該至少一個多級變換106包含應用至當前殘餘區塊84之預測殘餘100上的初級變換及應用至初級變換106之初級變換係數114之子群組112上以產生多級變換106之變換係數的次級變換，該等變換係數之數目低於當前殘餘區塊84之預測殘餘100內之殘餘樣本，且其變換係數位置對應於變換候選清單98中之等效於初級變換的另一變換之變換係數之子集138，其中初級變換106之初級變換係數114等於當前殘餘區塊84之預測殘餘100內之樣本105，或其中初級變換106之初級變換係數114的數目大於多級變換106之變換係數。另外或可替代地，編碼器10及解碼器20可經組配以決定至少一個多級變換106將相對於另一變換置放於變換候選清單98中，其中該決定取決於： a) 有效變換係數根據變換係數資料126定位之位置，或 b)有效變換係數根據變換係數資料126是否定位在變換係數之子群組138外，或 c) 有效變換係數根據變換係數資料126是否定位在初級變換係數114之子群組112外。
一些實例應參考圖 8 、 18 及 19 來解釋。
舉例而言，如上文所描述，傳訊可視有效變換係數位置132而定。圖 18 及 19 自解碼器視角示例性地展示變換係數114、134及變換係數114、134之子群組112、138。
圖18展示利用調零之多級變換之一個非限制性實例，其中初級變換可產生初級變換係數114之初級子群組112，該等初級變換係數可經歷可產生次級變換係數134之次級子群組138的次級變換。一些初級變換係數114及/或一些次級變換係數134可例如基於有效變換係數位置132來置零。
舉例而言，如圖 18 中所描繪，若已應用次級變換，則在次級子群組138外之變換係數134及因此在初級子群組138外之變換係數114可為零。
圖19展示亦自解碼器視角觀察到其中次級變換係數134可置零的另一實例。所概述之8×8區域表示初級變換係數114之初級子群組112，如上文所解釋。在以交叉影線(在最初申請之申請案中為綠色)標記之區域內的變換係數可表示僅初級變換係數。在以陰影線(在最初申請之申請案中為藍色)自左上至右下標記之區域內的變換係數可表示在應用次級變換的情況下將必須為零的變換係數位置。此又意謂，若在(藍色)左上至右下陰影區域中存在有效(非零值)係數，則解碼器20瞭解到不需要執行次級變換，此係因為否則此等位置將由於次級變換而必須為零。因此，不需要傳訊索引。
關於傳訊，如上文所提及之一些實例允許該傳訊可自有效係數位置132導出，無論傳訊(例如索引之傳訊)係必要的抑或可省略的。然而，一些實例可提供傳訊可不依賴於有效係數位置132但索引可一直傳訊的可能性。在後一情況中，若次級變換應用於初級子群組112，則在初級子群組112外之初級變換係數114將必須為零(例如圖 19 )。
因此，解碼器20可經組配以應用具有初級及次級變換之多級變換，其中初級變換可藉由調零實施直至僅初級子群組112之尺寸。亦即，例如針對8×8 (初級子群組112)及16×16變換區塊，水平及豎直初級變換皆可藉由調零來實施： nonZeroW = 8 if block has secondary transform index set; else 16 nonZeroH = 8 if block has secondary transform index set; else 16 5.3 變換候選清單之縮減 / 限制次級變換之應用 最小最後的位置 ：
If CBF flag is set: a.        signal first (by means of a coarse signaling) if last position is at least (e. g. X+Y ＞T, last position!= (0,0)) b.       signal first positions with max (i.e. exact position up to T, hence either known exactly or T or ＞ T)
if condition for secondary transform is fulfilled, signal if secondary transform/ transform with dimension reduction a.        is transform with dimension (secondary with dimension reduction primary transform enforced to zero) reduction, if necessary code exact last position (= refinement) while setting max last pos according to forced zero positions I.         adapt context model for significant position coding II.      adapt context model for grX coding III.   adapt golomb rice parameter else, no zeroing can be inferred, if necessary continue to code exact last position.
因此，且參考圖 13 至16 ，編碼器10及解碼器20可經組配以編碼或解碼所選變換102之有效變換係數位置132之指示的粗糙版本。若候選清單98不包含多級變換，則可寫碼準確的最後的位置，亦即該指示之粗糙版本之細化且所有係數經編碼或解碼(圖 16 ，情況B )。若候選清單98包含多級變換，則可進一步決定實際變換是否為多級變換。若如此，可寫碼準確的最後的位置，亦即該指示之粗糙版本之細化且僅初級變換係數112經編碼/解碼(圖 16 ，情況A )。否則，可寫碼準確的最後的位置，亦即該指示之粗糙版本之細化且所有係數經編碼/解碼。
因此，編碼器10及解碼器20可經組配以在資料串流14中傳訊128所選變換102或自資料串流14導出所選變換102之前將指示之粗糙版本編碼至資料串流14中或自資料串流14解碼指示之粗糙版本，其中可選清單98之判定130取決於指示之粗糙版本。編碼器10及解碼器20可進一步經組配以在傳訊/導出之後且取決於所選變換102將指示之粗糙版本之細化編碼至資料串流14中或自資料串流14解碼指示之粗糙版本之細化。
另外或可替代地，編碼器10及解碼器20可經組配以將提示編碼/解碼為粗糙版本，該提示揭露有效變換係數位置132是否在子群組138內。編碼器10及解碼器20可進一步經組配以將相對位置資訊編碼/解碼為細化，該相對位置資訊在有效變換係數位置132在子群組138內的情況下鑑別在子群組138內之位置當中的有效變換係數位置132，並在有效變換係數位置132在子群組138之外的情況下鑑別在子群組138之外的位置當中的有效變換係數位置132。
又另外或可替代地，在提示揭露有效變換係數位置132在子群組138內的情況下，編碼器10及解碼器20可經組配以判定可選清單98包含至少一個多級變換106，該至少一個多級變換106包含應用至當前殘餘區塊之預測殘餘100上的初級變換及應用至初級變換106之初級變換係數114之子群組112上以產生所選變換102之變換係數之子群組138的次級變換。在提示揭露有效變換係數位置132不在子群組138內的情況下，編碼器10及解碼器20可經組配以判定可選清單98不包含至少一個多級變換106。
在提示揭露有效變換係數位置132在子群組138內的情況下，編碼器10及解碼器20可經組配以使用可變長度寫碼VLC利用對應於子群138內之係數之數目的第一最大數目個程式碼來編碼/解碼相對位置資訊。在提示揭露有效變換係數位置132不在子群組138內的情況下，編碼器10及解碼器20可經組配以編碼/解碼對應於在子群組138之外的係數之數目的第二最大數目個程式碼。
在提示揭露有效變換係數位置132在子群組138內的情況下，編碼器10及解碼器20可經組配以在粗糙版本之後但在細化之前編碼/解碼次級變換指示符，該次級變換指示符指示所選變換是否在至少一個多級變換106當中及/或至少一個多級變換106當中之哪一者為所選變換。
在提示揭露有效變換係數位置132在子群組138內的情況下，編碼器10及解碼器20可經組配以使用取決於次級變換指示符之上下文以便對子群組138內之變換係數進行上下文自適應熵編碼。
在提示揭露有效變換係數位置132不在子群組138內的情況下，編碼器10及解碼器20可經組配以對子群組138內及之外的變換係數進行上下文自適應熵編碼。 5.4 在不利用維度縮減之已經測試變換之最後的位置上測試次級變換時的條件編碼器 ( 僅編碼器 ) 5.5 色度：
針對明度分量及兩個色度分量僅傳訊一次： a) signal for luma + once for both chroma components: -                signal in first component with fulfilled condition (lastPosX ＞ 0 or lastPosY ＞ 0) -                (allowed only if both components fulfill condition (requires interleaved coding of last pos of both components…) b) signal for each component (if condition is fulfilled)
儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述的態樣亦表示對應區塊或項目或對應設備之特徵的描述。
可由(或使用)硬體設備(比如微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可由此類設備執行最重要之方法步驟中之一或多者。
視某些實施要求而定，本發明之實施例可以硬體或軟體，或至少部分以硬體或至少部分以軟體實施。可使用數位儲存媒體來執行該實施，該媒體例如軟碟、DVD、Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統協作(或能夠協作)以使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可規劃電腦系統協作，使得執行本文中所描述之方法中的一者。
一般而言，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上執行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中的一者的電腦程式。
換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式於電腦上執行時執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，該資料載體包含記錄於其上的用於執行本文中所描述之方法中的一者的電腦程式。資料載體、數位儲存媒體或記錄媒體通常為有形的及/或非暫時性的。
因此，本發明之方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料流或信號序列可例如經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
另一實施例包括處理構件，例如經組配或經調適以執行本文中所描述之方法中的一者的電腦或可規劃邏輯裝置。
另一實施例包含電腦，該電腦具有安裝於其上之用於執行本文中所描述之方法中的一者的電腦程式。
根據本發明之另一實施例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置或其類似者。設備或系統可例如包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。一般而言，較佳由任何硬體設備來執行該等方法。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來執行。
雖然已參考例示性實施例描述本揭露內容，但不應在限制性意義上理解本說明書。熟習此項技術者在參考本說明書後將顯而易知本揭露內容之例示性實施例以及其他實施例之各種修改及組合。因此，預期所附申請專利範圍涵蓋任何此類修改或實施例。
由上述討論，將可理解，本發明可以多種實施例形式體現，包含但不限於下列：
實施例1：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：基於一當前殘餘區塊之一高度及一寬度自該變換組中判定用於該當前殘餘區塊之變換的一變換候選清單，且使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼，並選擇性地在該資料串流中傳訊該所選變換。
實施例2：如實施例1之編碼器，其中該編碼器支援多個區塊尺寸，對於各區塊尺寸，該變換組包含一變換子集，該等變換之一域對應於各別區塊尺寸，對於該變換組中之各變換，該編碼器支援一反變換，該反變換之一域與該各別變換之一對應域重合，且使用該反變換來填充對其選擇該各別變換之殘餘區塊處之一經解碼圖像緩衝器，其中該編碼器經組配以在判定該變換候選清單時獨佔地用來自該變換子集之變換填充該變換候選清單，該等變換之該域對應於該當前殘餘區塊之該高度及該寬度。
實施例3：如實施例1或2之編碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度滿足一第一準則，則用來自該變換子集之一或多個變換填充該變換候選清單，該一或多個變換之該域對應於該當前殘餘區之該高度及寬度，且該一或多個變換之該對應域小於其該域，或若該當前殘餘區塊之該高度及寬度不滿足一第一準則，則自該變換候選清單中排除來自該變換子集之該一或多個變換，該一或多個變換之該域對應於該當前殘餘區之該高度及寬度，且該一或多個變換之該對應域小於其該域。
實施例4：如實施例3之編碼器，其中該一或多個變換為以下中之一或多者：一DCT-II、DST-VII及DCT-III。
實施例5：如實施例1至4中任一者之編碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度滿足一第二準則，則用來自該變換子集之一恆等變換填充該變換候選清單，該恆等變換之域對應於該當前殘餘區塊之該高度及寬度，或若該當前殘餘區塊之該高度及寬度不滿足一第二準則，則自該變換候選清單中排除來自該變換子集之該恆等變換，該恆等變換之該域對應於該當前殘餘區塊之該高度及寬度。
實施例6：如實施例1至5中任一者之編碼器，其經組配以藉由核查該高度、該寬度、該高度及該寬度兩者，及/或高度與寬度之乘積是否超出一特定臨限值來核查該第一及/或第二準則。
實施例7：如實施例1至6中任一者之編碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度滿足一第三準則，則用來自該變換子集之一可分離頻譜分解變換填充該變換候選清單，該可分離頻譜分解變換之域對應於該當前殘餘區塊之大小，或若該當前殘餘區塊之該高度及寬度不滿足一第三準則，則自該變換候選清單中排除來自該變換子集之該可分離頻譜分解變換，該可分離頻譜分解變換之該域對應於該當前殘餘區塊之該大小。
實施例8：如實施例7之編碼器，其經組配以藉由核查該高度與該寬度之一比是否超出一特定臨限值來核查該第三準則。
實施例9：如實施例1至8中任一者之編碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度對應於一第一預定區塊尺寸，則用來自該變換子集之第一一或多個變換填充該變換候選清單，該第一一或多個變換之域對應於該當前殘餘區塊之該高度及寬度且其為一多級變換，該多級變換包含應用至該當前殘餘區塊內之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一第一子群組上的一次級變換，或若該當前殘餘區塊之該高度及寬度對應於一第二預定區塊尺寸，則用來自該變換子集之第二一或多個變換填充該變換候選清單，該第二一或多個變換之域對應於該當前殘餘區塊之該高度及寬度且其為一多級變換，該多級變換包含應用至當前殘餘區塊內之一預測殘餘上的一初級變換，及應用至該初級變換之初級變換係數之第一二子群組上的一次級變換，其中使該第一一或多個變換之該初級變換之一第一對應域映像至該第一一或多個變換之該初級變換之第二對應域上的一縮放不會使該第一對應域內之該第一子群組之一圓周映像至該第二對應域內之該第二子群組之一圓周上。
實施例10：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：基於一當前殘餘區塊之一高度及一寬度自該變換組中判定用於該當前殘餘區塊之變換的一變換候選清單，且在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之一預測殘餘進行解碼，同時選擇性地自該資料串流導出該所選變換。
實施例11：如實施例10之解碼器，其中該解碼器支援多個區塊尺寸，對於各區塊尺寸，該變換組包含一變換子集，該等變換之一對應域對應於各別區塊尺寸，其中該解碼器經組配以在判定該變換候選清單時獨佔地用來自該變換子集之變換填充該變換候選清單，該等變換之該對應域對應於該當前殘餘區塊之該高度及該寬度。
實施例12：如實施例10或11之解碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度滿足一第一準則，則用來自該變換子集之一或多個變換填充該變換候選清單，該一或多個變換之該對應域對應於該當前殘餘區之該高度及寬度，且該一或多個變換之該域小於其該對應域，若該當前殘餘區塊之該高度及寬度不滿足一第一準則，則自該變換候選清單中排除來自該變換子集之該一或多個變換，該一或多個變換之該對應域對應於該當前殘餘區之該高度及寬度，且該一或多個變換之該域小於其該域。
實施例13：如實施例12之解碼器，其中該一或多個變換為以下中之一或多者：一反DCT-II、DST-VII及DCT-III。
實施例14：如實施例10至13中任一者之解碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度滿足一第二準則，則用來自該變換子集之一恆等變換填充該變換候選清單，該恆等變換之對應域對應於該當前殘餘區塊之該高度及寬度，若該當前殘餘區塊之該高度及寬度不滿足一第二準則，則自該變換候選清單中排除來自該變換子集之該恆等變換，該恆等變換之該對應域對應於該當前殘餘區塊之該高度及寬度。
實施例15：如實施例10至14中任一者之解碼器，其經組配以藉由核查該高度、該寬度、該高度及該寬度兩者，及/或高度與寬度之乘積是否超出一特定臨限值來核查該第一及/或第二準則。
實施例16：如實施例10至15中任一者之解碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度滿足一第三準則，則用來自該變換子集之一可分離頻譜分解變換填充該變換候選清單，該可分離頻譜分解變換之對應域對應於該當前殘餘區塊之大小，或若該當前殘餘區塊之該高度及寬度不滿足一第三準則，則自該變換候選清單中排除來自該變換子集之該可分離頻譜分解變換，該可分離頻譜分解變換之該對應域對應於該當前殘餘區塊之該大小。
實施例17：如實施例16之解碼器，其經組配以藉由核查該高度與該寬度之一比是否超出一特定臨限值來核查該第三準則。
實施例18：如實施例10至17中任一者之解碼器，其經組配以在判定該變換候選清單時進行：若該當前殘餘區塊之該高度及寬度對應於一第一預定區塊尺寸，則用來自該變換子集之第一一或多個變換填充該變換候選清單，該第一一或多個變換之對應域對應於該當前殘餘區塊之該高度及寬度且其反轉一多級變換，該多級變換包含應用至該當前殘餘區塊內之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一第一子群組上的一次級變換，或若該當前殘餘區塊之該高度及寬度對應於一第二預定區塊尺寸，則用來自該變換子集之第二一或多個變換填充該變換候選清單，該第二一或多個變換之對應域對應於該當前殘餘區塊之該高度及寬度且其反轉一多級變換，該多級變換包含應用至該當前殘餘區塊內之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一第二子群組上的一次級變換，其中使該第一一或多個變換之該初級變換之一第一對應域映像至該第一一或多個變換之該初級變換之第二對應域上的一縮放不會使該第一對應域內之該第一子群組之一圓周映像至該第二對應域內之該第二子群組之一圓周上。
實施例19：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：基於一當前殘餘區塊之一高度及一寬度自該變換組判定用於該當前殘餘區塊之變換的一變換候選清單，及使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼，且選擇性地在該資料串流中傳訊該所選變換。
實施例20：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：基於一當前殘餘區塊之一高度及一寬度自該變換組判定用於該當前殘餘區塊之變換的一變換候選清單，及在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之一預測殘餘進行解碼，同時選擇性地自該資料串流導出該所選變換。
實施例21：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換將變換係數資料編碼至該資料串流中，該變換係數資料表示該殘餘區塊內之一預測殘餘；以取決於該變換係數資料或取決於該變換係數資料之一部分的一方式，在該資料串流中傳訊該所選變換，及/或執行對該可選清單之該判定。
實施例22：如實施例21之編碼器，其經組配以藉由用來自該變換組之一數目之變換填充該可選清單來判定該變換可選清單，該數目取決於該變換係數資料或該變換係數資料之一部分，以一方式在該資料串流中執行對該所選變換之該傳訊，使得該數目愈低，在該資料串流中用於該所選變換之該傳訊所花費的一碼率愈低。
實施例23：如實施例21之編碼器，其經組配以藉由取決於該變換係數資料或該變換係數資料之一部分對該變換可選清單進行排序來判定該變換可選清單，使用一可變長度碼在該資料串流中執行對該所選變換之該傳訊，該可變長度碼之碼字係取決於該變換可選清單中之該等變換之一次序而指派給該變換可選清單中之該等變換。
實施例24：如實施例22或23之編碼器，其經組配以使得該變換係數資料包含該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置的一預定掃描次序自該有效變換係數位置向前遍歷；其中該判定係取決於該指示。
實施例25：如實施例24之編碼器，其經組配以在該資料串流中對該所選變換進行該傳訊之前將該指示之一粗糙版本編碼至該資料串流中，其中該判定取決於該指示之該粗糙版本，及在該傳訊之後及取決於該所選變換，將該指示之該粗糙版本之一細化編碼至該資料串流中。
實施例26：如實施例25之編碼器，其經組配以將一提示編碼為該粗糙版本，該提示揭露該有效變換係數位置是否在變換係數之一子群組內，及將一相對位置資訊編碼為該細化，該相對位置資訊在該有效變換係數位置處於該子群組內的情況下鑑別在該子群組內之位置當中的該有效變換係數位置，並在該有效變換係數位置在該子群組之外的情況下鑑別在該子群組之外的位置當中的該有效變換係數位置。
實施例27：如實施例26之編碼器，其中該編碼器經組配以在該提示揭露該有效變換係數位置在該子群組內的情況下，判定該可選清單以包含至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數的該子群組的一次級變換，且在該提示揭露該有效變換係數位置不在該子群組內的情況下，判定該可選清單以不包含該至少一個多級變換。
實施例28：如實施例27之編碼器，其中該編碼器經組配以使用一可變長度寫碼VLC來編碼該相對位置資訊在該提示揭露該有效變換係數位置在該子群組內的情況下，使用對應於該子群組內之係數之一數目的一第一最大數目個程式碼來編碼，及/或在該提示揭露該有效變換係數位置不在該子群組內的情況下，使用對應於該子群組之外的係數之一數目的一第二最大數目個程式碼來編碼。
實施例29：如實施例26至28中任一者之編碼器，其中該編碼器經組配以在該提示揭露該有效變換係數位置在該子群組內的情況下，在該粗糙版本之後且在該細化之前編碼一次級變換指示符，該次級變換指示符指示該所選變換是否在該至少一個多級變換當中及/或該至少一個多級變換當中之哪一者係該所選變換。
實施例30：如實施例26至29中任一者之編碼器，其中該編碼器經組配以在該提示揭露該有效變換係數位置在該子群組內的情況下，使用取決於該次級變換指示符之上下文以便對該子群組內之該等變換係數進行上下文自適應熵編碼。
實施例31：如實施例29或30之編碼器，其中該編碼器經組配以在該提示揭露該有效變換係數位置不在該子群組內的情況下，對在該子群組之內及之外的變換係數進行上下文自適應熵編碼。
實施例32：如實施例21至31中任一者之編碼器，其經組配以對該所選變換之有效變換係數之一數目計數；其中該可選清單之該判定取決於該計數。
實施例33：如實施例21至32中任一者之編碼器，其經組配以參考該所選變換之該等變換係數之一子群組內的該所選變換之有效變換係數之一數目是否超出一特定臨限值，評估該變換係數資料；執行取決於該計數之該判定，使得若該數目大於該特定臨限值，則用至少一個多級變換填充該當前殘餘區塊之該變換可選清單，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，及若該數目小於該特定臨限值，則用於一當前殘餘區塊之該變換可選清單未經任何多級變換填充，該多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之該子群組上的一次級變換。
實施例34：如實施例21至33中任一者之編碼器，其經組配以判定該變換候選清單，使得該變換候選清單中之該等變換在對應域中重合。
實施例35：如實施例21至34中任一者之編碼器，其中該變換候選清單中之該等變換包含一第一變換及一第二變換，其在對應域中重合，其中該第二變換對應於應用至該第一變換之初級變換係數之一子群組上的一次級變換，其中在該第一變換之初級變換係數之該子群組之外的該第一變換的其他初級變換係數經設定為零。
實施例36：如實施例35之編碼器，其經組配以藉由將在該第一變換之初級變換係數之該子群組之外的該第一變換的其他初級變換係數設定為零，相對於該第二變換來測試該當前殘餘區塊之寫碼。
實施例37：如實施例21至36中任一者之編碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或其中該至少一個多級變換將置放於該變換候選清單中，其取決於有效變換係數根據該變換係數資料定位之位置。
實施例38：如實施例21至37中任一者之編碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料在該等變換係數之該子群組之外的任何變換係數是否為有效的。
實施例39：如實施例21至38中任一者之編碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料在該子群組內但在該等變換係數之該子群組之外的任何變換係數是否為有效的。
實施例40：如實施例21至39中任一者之編碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該多級變換之變換係數的一次級變換，該等變換係數之數目低於該當前殘餘區塊之該預測殘餘內之殘餘樣本，且其變換係數位置對應於該變換候選清單中之等效於該初級變換的一另一變換之變換係數之一子集，其中該初級變換之該等初級變換係數的數目大於該多級變換之該等變換係數，或其中該至少一個多級變換將相對於該另一變換置放於該變換候選清單中，其取決於根據該變換係數資料有效變換係數定位於何處，或根據該變換係數資料有效變換係數是否定位在變換係數之該子群組外，或根據該變換係數資料有效變換係數是否定位在初級變換係數之該子群組外。
實施例41：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換自該資料串流解碼變換係數資料，該變換係數資料表示該殘餘區塊內之一預測殘餘；以取決於該變換係數資料或取決於該資料變換係數資料之一部分的一方式，自該資料串流導出該所選變換，及/或執行對該可選清單之該判定。
實施例42：如實施例41之解碼器，其經組配以藉由用來自該變換組之一數目之變換填充該可選清單來判定該變換可選清單，該數目取決於該變換係數資料或該變換係數資料之一部分，以一方式在該資料串流中執行對該所選變換之該傳訊，使得該數目愈低，在該資料串流中用於該所選變換之該傳訊所花費的一碼率愈低。
實施例43：如實施例41之解碼器，其經組配以藉由取決於該變換係數資料或該變換係數資料之一部分對該變換可選清單進行排序來判定該變換可選清單，使用一可變長度碼在該資料串流中執行對該所選變換之該傳訊，該可變長度碼之碼字係取決於該變換可選清單中之該等變換之一次序而指派給該變換可選清單中之該等變換。
實施例44：如實施例42或43之解碼器，其經組配以使得該變換係數資料包含該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置的一預定掃描次序自該有效變換係數位置向前遍歷；其中該判定係取決於該指示。
實施例45：如實施例44之解碼器，其經組配以在自該資料串流對該所選變換之該導出之前自該資料串流解碼該指示之一粗糙版本，其中該判定取決於該指示之該粗糙版本，及在該導出之後及取決於該所選變換，自該資料串流解碼該指示之該粗糙版本之一細化。
實施例46：如實施例45之解碼器，其經組配以將一提示解碼為該粗糙版本，該提示揭露該有效變換係數位置是否在變換係數之一子群組內，及將一相對位置資訊解碼為該細化，該相對位置資訊在該有效變換係數位置處於該子群組內的情況下鑑別在該子群組內之位置當中的該有效變換係數位置，並在該有效變換係數位置在該子群組之外的情況下鑑別在該子群組之外的位置當中的該有效變換係數位置。
實施例47：如實施例46之解碼器，其中該解碼器經組配以在該提示揭露該有效變換係數位置在該子群組內的情況下，判定該可選清單以包含至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數的該子群組的一次級變換，及在該提示揭露該有效變換係數位置不在該子群組內的情況下，判定該可選清單以不包含該至少一個多級變換。
實施例48：如實施例47之解碼器，其中該解碼器經組配以使用一可變長度寫碼VLC來解碼該相對位置資訊在該提示揭露該有效變換係數位置在該子群組內的情況下，使用對應於該子群組內之係數之一數目的一第一最大數目個程式碼來解碼，及/或在該提示揭露該有效變換係數位置不在該子群組內的情況下，使用對應於在該子群組之外的係數之一數目的一第二最大數目個程式碼來解碼。
實施例49：如實施例46至48中任一者之解碼器，其中該解碼器經組配以在該提示揭露該有效變換係數位置在該子群組內的情況下，在該粗糙版本之後但在該細化之前解碼一次級變換指示符，該次級變換指示符指示該所選變換是否在該至少一個多級變換當中及/或該至少一個多級變換當中之哪一者係該所選變換。
實施例50：如實施例46至49中任一者之解碼器，其中該解碼器經組配以在該提示揭露該有效變換係數位置在該子群組內的情況下，使用取決於該次級變換指示符之上下文以便對該子群組內之該等變換係數進行上下文自適應熵解碼。
實施例51：如實施例49或50之解碼器，其中該解碼器經組配以在該提示揭露該有效變換係數位置不在該子群組內的情況下，對在該子群組之內及之外的變換係數進行上下文自適應熵解碼。
實施例52：如實施例41至51中任一者之解碼器，其經組配以對該所選變換之有效變換係數之一數目計數；其中該判定係取決於計數。
實施例53：如實施例41至52中任一者之解碼器，其經組配以參考該所選變換之該等變換係數之一子群組內的該所選變換之有效變換係數之一數目是否超出一特定臨限值，評估該變換係數資料；執行取決於該計數之該判定，使得若該數目大於該特定臨限值，則用至少一個多級變換填充該當前殘餘區塊之該變換可選清單，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，及若該數目小於該特定臨限值，則用於一當前殘餘區塊之該變換可選清單未經任何多級變換填充，該多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之該子群組上的一次級變換。
實施例54：如實施例41至53中任一者之編碼器，其經組配以判定變換候選清單，使得該變換候選清單中之該等變換在對應域中重合。
實施例55：如實施例41至54中任一者之解碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料有效變換係數定位於何處。
實施例56：如實施例41至55中任一者之解碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料在該等變換係數之該子群組之外的任何變換係數是否為有效的。
實施例57：如實施例41至56中任一者之解碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料在該子群組內但在該等變換係數之該子群組之外的任何變換係數是否為有效的。
實施例58：如實施例41至57中任一者之解碼器，其經組配以決定是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該多級變換之變換係數的一次級變換，該等變換係數之數目低於該當前殘餘區塊之該預測殘餘內之殘餘樣本，且其變換係數位置對應於該變換候選清單中之等效於該初級變換的一另一變換之變換係數之一子集，其中該初級變換之該等初級變換係數的數目大於該多級變換之該等變換係數，或其中該至少一個多級變換將相對於該另一變換置放於該變換候選清單中，其取決於根據該變換係數資料有效變換係數定位於何處，或根據該變換係數資料有效變換係數是否定位在變換係數之該子群組外，或根據該變換係數資料有效變換係數是否定位在初級變換係數之該子群組外。
實施例59：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換將變換係數資料編碼至該資料串流中，該變換係數資料表示該殘餘區塊內之一預測殘餘；以取決於該變換係數資料或取決於該變換係數資料之一部分的一方式，在該資料串流中傳訊該所選變換，及/或執行對該可選清單之該判定。
實施例60：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換自該資料串流解碼變換係數資料，該變換係數資料表示該殘餘區塊內之一預測殘餘；以取決於該變換係數資料或取決於該資料變換係數資料之一部分的一方式，自該資料串流導出該所選變換，及/或執行對該可選清單之該判定。
實施例61：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：自該變換組判定用於一當前殘餘區塊之一變換可選清單；在該資料串流傳訊該所選變換，以取決於該所選變換或該變換可選清單之一方式，使用來自該變換可選清單之一個所選變換來編碼變換係數，該等變換係數表示該殘餘區塊內之一預測殘餘。
實施例62：如實施例61之編碼器，其中該變換可選清單包含不同數目之變換係數之變換，且其中該編碼器經組配為以一方式執行該等變換係數之該編碼，使得該所選變換之變換係數之該數目愈低，在該資料串流中用於該等變換係數之該編碼所花費的一碼率愈低。
實施例63：如實施例61或62之編碼器，其中該變換可選清單包含不同數目之變換係數之變換，其中該等變換係數之該編碼包含編碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置的一預定掃描次序自該有效變換係數位置向前遍歷；其中該編碼器經組配為以一方式編碼該等變換係數，使得該所選變換之變換係數之該數目愈低，在該資料串流中用於該指示之該編碼所花費之一速率愈低。
實施例64：如實施例61或62之編碼器，其中該變換可選清單包含一第一數目之變換係數之變換及大於該第一數目之一第二數目之變換係數的變換，其中該等變換係數之該編碼包含在該所選變換之變換係數之該數目為該第二數目的情況下，編碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷；在該所選變換之變換係數之該數目為該第一數目的情況下，編碼該所選變換之該第一數目之變換係數中之全部的值。
實施例65：如實施例61至64中任一者之編碼器，其中該變換可選清單包含至少一個多級變換，其各者包含應用至該當前殘餘區塊上之一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，其中對於該至少一個多級變換中之不同變換，該子群組有所不同，其中該編碼器經組配以藉由以下各者編碼該等變換係數：藉由編碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷，其中若該所選變換為一多級變換，則該指示包含指出該有效變換係數位置是否在變換係數之該子群組內的一旗標，且若該變換係數位置在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在該所選變換之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，且若該變換係數位置不在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在不處於該子群組內之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，其中在遍歷不在該子群組內之所有變換係數之後，該預定掃描次序遍歷該子群組內之所有變換係數，及/或若該所選變換為該多級類型，則藉由使用一機率估計，使用熵寫碼對該所選變換之一變換係數之一值進行編碼，該機率估計取決於該變換係數是否在該所選變換之變換係數之該子群組內，及/或若該所選變換為該多級類型，則藉由使用取決於一或多個鄰近變換係數之一機率估計，以取決於該變換係數是否在該所選變換之變換係數之該子群組內的一方式，使用熵寫碼對該所選變換之一變換係數之一值進行編碼。
實施例66：如實施例61至65中任一者之編碼器，其中該變換可選清單包含至少一個多級變換，其各者包含應用至該當前殘餘區塊上之一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，其中該可選清單包含一僅初級變換類型之至少一個變換，其中該編碼器經組配以藉由以下各者編碼該等變換係數藉由編碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷，其中在該所選變換為該僅初級變換類型的情況下，該指示係關於按該預定掃描次序在該所選變換之所有變換係數當中最後遍歷的一位置，或在該所選變換為一多級變換的情況下，該指示係關於按該預定掃描次序在不處於該子群組內之所有變換係數當中最後遍歷的一位置，及/或藉由編碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷，其中若該所選變換為一多級變換，該指示則包含指出該有效變換係數位置是否在變換係數之該子群組內的一旗標，且若該變換係數位置在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在該所選變換之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，且若該變換係數位置不在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在不處於該子群組內之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，其中在遍歷不在該子群組內之所有變換係數之後，該預定掃描次序遍歷該子群組內之所有變換係數，及/或若該所選變換為該多級類型，則藉由使用一機率估計，使用熵寫碼對該所選變換之一變換係數之一值進行編碼，該機率估計取決於該變換係數是否在該所選變換之變換係數之該子群組內，及/或若該所選變換為該多級類型，則藉由使用取決於一或多個鄰近變換係數之一機率估計，以取決於該變換係數是否在該所選變換之變換係數之該子群組內的一方式，使用熵寫碼對該所選變換之一變換係數之一值進行編碼。
實施例67：如實施例61至66中任一者之編碼器，其經組配以藉由使用二進位化及二進位熵寫碼對該所選變換之一變換係數之一值進行編碼來編碼該等變換係數，其中用於二進位熵寫碼之一機率估計取決於該所選變換，及/或其中該二進位化取決於該所選變換。
實施例68：如實施例66或67之編碼器，其中對該所選變換之該相依性係對該所選變換是否為一多級變換的一相依性。
實施例69：如實施例61至68中任一者之編碼器，其經組配以使用一索引傳訊該所選變換，藉由使用二進位化及二進位熵寫碼對該所選變換之一變換係數之一值進行編碼來編碼該等變換係數，其中用於二進位熵寫碼之一機率估計取決於該索引，及/或其中該二進位化取決於該索引。
實施例70：如實施例69之編碼器，其中該索引為一可變長度碼-VLC-索引。
實施例71：如實施例61至70中任一者之編碼器，其經組配以藉由使用熵寫碼對該所選變換之一變換係數之一值進行編碼來編碼該等變換係數，其中該熵寫碼以取決於該所選變換的方式取決於一或多個鄰近變換係數。
實施例72：如實施例71之編碼器，其經組配以藉由使用熵寫碼對該所選變換之一變換係數之一值進行編碼來編碼該等變換係數，該熵寫碼係藉由以下進行：以取決於該所選變換中之該變換係數之位置的一方式來選擇一或多個鄰近變換係數之一局部模板，使用該一或鄰近變換係數之可能值之一域至用於該變換係數之一組一或多個上下文的一映射來判定用於該變換係數之一所選上下文，使用與該所選上下文相關聯之一機率估計對該變換係數之該值進行熵寫碼，其中該局部模板之該選擇及該映射中之至少一者係取決於該所選變換。
實施例73：如實施例72之編碼器，其經組配以使用二進位熵寫碼該值之一二進位化，來執行對該所選變換之該變換係數之該值的該編碼，其中與該所選上下文相關聯之該機率估計係用於指示該值是否為零的該二進位化之一位元子。
實施例74：如實施例61至73中任一者之編碼器，其經組配以以一方式在該資料串流中執行對該所選變換之該傳訊，使得該所選變換之一傳訊關於該變換係數資料之一相對定位，及/或傳訊至語法元素之一分解取決於該變換可選清單。
實施例75：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：自該變換組判定用於一當前殘餘區塊之一變換可選清單；自該資料串流導出該所選變換，以取決於該所選變換或取決於該變換可選清單之一方式，使用來自該變換可選清單之一個所選變換自該資料串流解碼變換係數，該等變換係數表示該殘餘區塊內之一預測殘餘。
實施例76：如實施例75之解碼器，其中該變換可選清單包含不同數目之變換係數之變換，以一方式執行該等變換係數之該解碼，使得該所選變換之變換係數之該數目愈低，在該資料串流中針對該等變換係數所花費的一碼率愈低。
實施例77：如實施例75或76之解碼器，其中該變換可選清單包含不同數目之變換係數之變換，其中該等變換係數之該解碼包含解碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置的一預定掃描次序自該有效變換係數位置向前遍歷；其中該解碼器經組配為以一方式解碼該等變換係數，使得該所選變換之變換係數之該數目愈低，在該資料串流中針對該指示所花費的一碼率愈低。
實施例78：如實施例75或76之解碼器，其中該變換可選清單包含一第一數目之變換係數之變換及大於該第一數目之一第二數目之變換係數的變換，其中該等變換係數之該解碼包含在該所選變換之變換係數之該數目為該第二數目的情況下，解碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷；或在該所選變換之變換係數之該數目為該第一數目的情況下，解碼該所選變換之該第一數目之變換係數中之全部的值。
實施例79：如實施例75至78中任一者之解碼器，其中該變換可選清單包含至少一個多級變換，其各者包含應用至該當前殘餘區塊上之一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，其中對於該至少一個多級變換中之不同變換，該子群組有所不同，其中該解碼器經組配以藉由以下各者解碼該等變換係數藉由解碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷，其中若該所選變換為一多級變換，該指示則包含指出該有效變換係數位置是否在變換係數之該子群組內的一旗標，且若該有效變換係數位置在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在該所選變換之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，且若該變換係數位置不在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在不處於該子群組內之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，其中在遍歷不在該子群組內之所有變換係數之後，該預定掃描次序遍歷該子群組內之所有變換係數，及/或若該所選變換為該多級類型，則藉由使用一機率估計，使用熵寫碼對該所選變換之一變換係數之一值進行解碼，該機率估計取決於該變換係數是否在該所選變換之變換係數之該子群組內，及/或若該所選變換為該多級類型，則藉由使用取決於一或多個鄰近變換係數之一機率估計，以取決於該變換係數是否在該所選變換之變換係數之該子群組內的一方式，使用熵寫碼對該所選變換之一變換係數之一值進行解碼。
實施例80：如實施例75至79中任一者之解碼器，其中該變換可選清單包含至少一個多級變換，其各者包含應用至該當前殘餘區塊上之一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，其中該可選清單包含一僅初級變換類型之至少一個變換，其中該解碼器經組配以藉由以下各者解碼該等變換係數藉由解碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷，其中在該所選變換為僅初級變換類型的情況下，該指示係關於按該預定掃描次序在該所選變換之所有變換係數當中最後遍歷的一位置，且在該所選變換為一多級變換的情況下，該指示係關於按該預定掃描次序在不處於該子群組內之所有變換係數當中最後遍歷的一位置，及/或藉由解碼該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置之一預定掃描次序自該有效變換係數位置向前遍歷，其中若該所選變換為一多級變換，該指示則包含指出該有效變換係數位置是否在變換係數之該子群組內的一旗標，且若該有效變換係數位置在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在該所選變換之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，且若該有效變換係數位置不在變換係數之該子群組內，該指示則指出相對於按該預定掃描次序在不處於該子群組內之所有變換係數當中最後遍歷的一位置的該有效變換係數位置，其中在遍歷不在該子群組內之所有變換係數之後，該預定掃描次序遍歷該子群組內之所有變換係數，及/或若該所選變換為該多級類型，則藉由使用一機率估計，使用熵寫碼對該所選變換之一變換係數之一值進行解碼，該機率估計取決於該變換係數是否在該所選變換之變換係數之該子群組內，及/或若該所選變換為該多級類型，則藉由使用取決於一或鄰近變換係數之一機率估計，以取決於該變換係數是否在該所選變換之變換係數之該子群組內的一方式，使用熵寫碼對該所選變換之一變換係數之一值進行解碼。
實施例81：如實施例75至80中任一者之解碼器，其經組配以藉由使用二進位化及二進位熵寫碼對該所選變換之一變換係數之一值進行解碼來解碼該等變換係數，其中用於二進位熵寫碼之一機率估計取決於該所選變換，及/或其中該二進位化取決於該所選變換。
實施例82：如實施例81之解碼器，其中對該所選變換之該相依性係對該所選變換是否為一多級變換的一相依性。
實施例83：如實施例75至82中任一者之解碼器，其經組配以使用一索引導出該所選變換，藉由使用二進位化及二進位熵解碼對該所選變換之一變換係數之一值進行解碼來解碼該等變換係數，其中用於二進位熵寫碼之一機率估計取決於該索引，及/或其中該二進位化取決於該索引。
實施例84：如實施例83之解碼器，其中該索引為一可變長度碼-VLC-索引。
實施例85：如實施例75至84中任一者之解碼器，其經組配以藉由使用熵解碼對該所選變換之一變換係數之一值進行解碼來解碼該等變換係數，其中該熵解碼以取決於該所選變換之一方式取決於一或多個鄰近變換係數。
實施例86：如實施例85之解碼器，其經組配以藉由使用熵解碼對該所選變換之一變換係數之一值進行解碼來解碼該等變換係數，該熵解碼係藉由以下進行：以取決於該所選變換中之該變換係數之位置的一方式來選擇一或鄰近變換係數之一局部模板，使用該一或鄰近變換係數之可能值之一域至用於該變換係數之一組一或多個上下文的一映射來判定用於該變換係數之一所選上下文，使用與該所選上下文相關聯之一機率估計對該變換係數之該值進行熵解碼，其中該局部模板之該選擇及該映射中之至少一者係取決於該所選變換。
實施例87：如實施例86之解碼器，其經組配以使用二進位熵解碼該值之一二進位化，來執行對該所選變換之該變換係數之該值的該解碼，其中與該所選上下文相關聯之該機率估計係用於指示該值是否為零的該二進位化之一位元子。
實施例88：如實施例75至87中任一者之解碼器，其經組配以以一方式在該資料串流中執行對該所選變換之該傳訊，使得該所選變換之一傳訊關於該變換係數資料之一相對定位，及/或傳訊至語法元素之一分解取決於該變換可選清單。
實施例89：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：自該變換組判定用於一當前殘餘區塊之一變換可選清單；在該資料串流傳訊該所選變換，以取決於該所選變換或該變換可選清單之一方式，使用來自該變換可選清單之一個所選變換來編碼變換係數，該等變換係數表示該殘餘區塊內之一預測殘餘。
實施例90：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：自該變換組判定用於一當前殘餘區塊之一變換可選清單；自該資料串流導出該所選變換，以取決於該所選變換或取決於該變換可選清單之一方式，使用來自該變換可選清單之一個所選變換自該資料串流解碼變換係數，該等變換係數表示該殘餘區塊內之一預測殘餘。
實施例91：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼；使用一變換指示符在該資料串流傳訊該所選變換，其中該變換指示符係使用具有一或多個位數之一程式碼在該資料串流中傳訊，其中該一或多個位數之一組中之各者獨特地與一各別變換特性相關聯。
實施例92：如實施例91之編碼器，其中各變換特徵為以下各者中之一者：該所選變換是否為一多級變換，及該所選變換是否為變換係數少於一預定數目之變換係數之一變換。
實施例93：如實施例91或92之編碼器，其經組配以使用取決於一鄰近殘餘區塊之一變換指示符之一機率估計，使用熵寫碼對至少一個位數之該組中之至少一者進行編碼。
實施例94：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換自該資料串流解碼該殘餘區塊內之一預測殘餘；使用一變換指示符自該資料串流導出該所選變換，其中該變換指示符係使用具有一或多個位數之一程式碼自該資料串流導出，其中該一或多個位數之一組中之各者獨特地與一各別變換特性相關聯。
實施例95：如實施例94之解碼器，其中各變換特徵為以下各者中之一者：該所選變換是否為一多級變換，及該所選變換是否為變換係數少於一預定數目之變換係數之一變換。
實施例96：如實施例94或95之解碼器，其經組配以使用取決於一鄰近殘餘區塊之一變換指示符之一機率估計，使用熵解碼對至少一位數之該組中之至少一者進行解碼。
實施例97：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼；使用一變換指示符在該資料串流中傳訊該所選變換，其中該變換指示符係使用具有一或多個位數之一程式碼在該資料串流中傳訊，其中該一或多個位數之一組中之各者獨特地與一各別變換特性相關聯。
實施例98：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：自該變換組判定用於一當前殘餘區塊之一變換可選清單；使用來自該變換可選清單之一個所選變換自該資料串流解碼該殘餘區塊內之一預測殘餘；使用一變換指示符自該資料串流導出該所選變換，其中該變換指示符係使用具有一或多個位數之一程式碼自該資料串流導出，其中該一或多個位數之一組中之各者獨特地與一各別變換特性相關聯。
實施例99：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：藉由將一經框內預測區塊之一空間鄰域應用至來自多個神經網路之一所選神經網路上來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，及基於該所選神經網路及一殘餘區塊之一區塊大小自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，使用來自該可選變換組之一個所選變換對該殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例100：如實施例99之編碼器，其經組配以執行該判定，使得對於在一預定臨限制值以上之區塊大小，該可選變換組係藉由一第一數目之一或多個多級變換填充，各多級變換包含應用至該預測殘餘上之一初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的且取決於該所選神經網路。
實施例101：如實施例100之編碼器，其經組配以執行該判定，使得該初級變換取決於該所選神經網路且係一可分離二維變換。
實施例102：如實施例101之編碼器，其中該子群組表示該初級變換之一低頻部分。
實施例103：如實施例100至102中任一者之編碼器，其中該第一數目介於2與6之間，包含該兩者。
實施例104：如實施例100至103中任一者之編碼器，其經組配以執行該判定，使得對於在該預定臨限制值以下之區塊大小，該可選變換組係藉由一第二數目之一或多個不可分離變換填充。
實施例105：如實施例104之編碼器，當其依附請求項102時，其中該第一及第二數目相等。
實施例106：如實施例100至105中任一者之編碼器，其經組配以執行該判定，使得該可選變換組係藉由一第三數目之一或多個可分離二維變換進一步填充。
實施例107：如實施例106之編碼器，其中該第三數目為1或5。
實施例108：如實施例99至107中任一者之編碼器，其經組配以執行該預測，使得在一初級變換之一域中獲得該框內預測區塊之該預測，執行該判定，使得該可選變換組係藉由一第四數目之一或多個多級變換填充，各多級變換包含該初級變換及應用至該初級變換之該等初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的且取決於該所選神經網路。
實施例109：如實施例108之編碼器，其經組配以執行該判定，使得該初級變換為一可分離二維變換。
實施例110：如實施例108或109之編碼器，其中該子群組表示該初級變換之一低頻部分。
實施例111：如實施例108至110中任一者之編碼器，其中該第四數目介於2與6之間，包含該兩者。
實施例112：如實施例110至111中任一者之編碼器，其經組配以執行該判定，使得該可選變換組係藉由該初級變換進一步填充。
實施例113：如實施例99至112中任一者之編碼器，其經組配以核查該殘餘區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例114：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：藉由將一經框內預測區塊之一空間鄰域應用至來自多個神經網路之一所選神經網路上來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，及基於該所選神經網路及一殘餘區塊之一區塊大小自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，在來自該可選變換組之一個所選變換之一域中自該資料串流解碼該殘餘區塊內與該經框內預測區塊之該預測相關聯的一預測殘餘，同時自該資料串流導出該所選變換。
實施例115：如實施例114之解碼器，其經組配以執行該判定，使得對於在一預定臨限制值以上之區塊大小，該可選變換組係藉由一第一數目之一或多個多級變換填充，各多級變換包含應用至該預測殘餘上之一初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的且取決於該所選神經網路。
實施例116：如實施例115之解碼器，其經組配以執行該判定，使得該初級變換取決於該所選神經網路且係一可分離二維變換。
實施例117：如實施例116之解碼器，其中該子群組表示該初級變換之一低頻部分。
實施例118：如實施例115至117中任一者之解碼器，其中該第一數目介於2與6之間，包含該兩者。
實施例119：如實施例115至118中任一者之解碼器，其經組配以執行該判定，使得對於在該預定臨限制值以下之區塊大小，該可選變換組係藉由一第二數目之一或多個不可分離變換填充。
實施例120：如實施例119之解碼器，當其依附請求項117時，該其中第一及第二數目相等。
實施例121：如實施例115至120中任一者之解碼器，其經組配以執行該判定，使得該可選變換組係藉由一第三數目之一或多個可分離二維變換進一步填充。
實施例122：如實施例121之解碼器，其中該第三數目為1或5。
實施例123：如實施例114至122中任一者之解碼器，其經組配以執行該預測，使得在一初級變換之一域中獲得該框內預測區塊之該預測，執行該判定，使得該可選變換組係藉由一第四數目之一或多個多級變換填充，各多級變換包含該初級變換及應用至該初級變換之該等初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的且取決於該所選神經網路。
實施例124：如實施例123之解碼器，其經組配以執行該判定，使得該初級變換為一可分離二維變換。
實施例125：如實施例123或124之解碼器，其中該子群組表示該初級變換之一低頻部分。
實施例126：如實施例123至125中任一者之解碼器，其中該第四數目介於2與6之間，包含該兩者。
實施例127：如實施例123至126中任一者之解碼器，其經組配以執行該判定，使得該可選變換組係藉由該初級變換進一步填充。
實施例128：如實施例114至127中任一者之解碼器，其經組配以核查該殘餘區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例129：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：藉由將一經框內預測區塊之一空間鄰域應用至來自多個神經網路之一所選神經網路上來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，基於該所選神經網路及一殘餘區塊之一區塊大小自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，使用來自該可選變換組之一個所選變換對該殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例130：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：藉由將一經框內預測區塊之一空間鄰域應用至來自多個神經網路之一所選神經網路上來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，基於該所選神經網路及一殘餘區塊之一區塊大小自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，在來自該可選變換組之一個所選變換之一域中自該資料串流對該殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例131：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器經組配以：藉由將一經框內預測區塊之一空間鄰域應用至一神經網路上來預測該經框內預測區塊，從而在一初級變換之一域中獲得該經框內預測區塊之一預測，及使用來自該可選變換組之一個所選變換對一殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換，其中該可選變換組係藉由至少一個多級變換填充，該至少一個多級變換包含該初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換。
實施例132：如實施例131之編碼器，其中該可選變換組係藉由一數目之多級變換填充，其各者包含該初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的。
實施例133：如實施例132之編碼器，其中該數目介於2與6之間，包含該兩者。
實施例134：如實施例131或133之編碼器，其中該初級變換為一可分離二維變換。
實施例135：如實施例131至134中任一者之編碼器，其中該子群組表示該初級變換之一低頻部分。
實施例136：如實施例131至135中任一者之編碼器，其經組配以執行該判定，使得該可選變換組係藉由該初級變換進一步填充。
實施例137：如實施例131至136中任一者之編碼器，其經組配以核查該經框內預測區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例138：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼自一資料串流解碼一圖像之解碼器，該解碼器經組配以：藉由將一經框內預測區塊之一空間鄰域應用至一神經網路上來預測該經框內預測區塊，從而在一初級變換之一域中獲得該經框內預測區塊之一預測，及在來自一可選變換組之一個所選變換之一另一域中自該資料串流解碼一殘餘區塊內與該經框內預測區塊之該預測相關聯的一預測殘餘，同時自該資料串流導出該所選變換，其中該可選變換組係藉由至少一個多級變換填充，該至少一個多級變換包含該初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換。
實施例139：如實施例138之解碼器，其中該可選變換組係藉由一數目之多級變換填充，其各者包含該初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的。
實施例140：如實施例139之解碼器，其中該數目介於2與6之間，包含該兩者。
實施例141：如實施例138或140之解碼器，其中該初級變換為一可分離二維變換。
實施例142：如實施例138至141中任一者之解碼器，其中該子群組表示該初級變換之一低頻部分。
實施例143：如實施例138至142中任一者之解碼器，其經組配以執行該判定，使得該可選變換組係藉由該初級變換進一步填充。
實施例144：如實施例138至143中任一者之解碼器，其經組配以核查該經框內預測區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例145：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其中該方法包含以下步驟：藉由將一經框內預測區塊之一空間鄰域應用至一神經網路上來預測該經框內預測區塊，從而在一初級變換之一域中獲得該經框內預測區塊之一預測，及使用來自一可選變換組之一個所選變換對一殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換，其中該可選變換組係藉由至少一個多級變換填充，該至少一個多級變換包含該初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換。
實施例146：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼自一資料串流解碼一圖像之方法，該方法包含以下步驟：藉由將一經框內預測區塊之一空間鄰域應用至一神經網路上來預測該經框內預測區塊，從而在一初級變換之一域中獲得該經框內預測區塊之一預測，及在來自一可選變換組之一個所選變換之一另一域中自該資料串流解碼一殘餘區塊內與該經框內預測區塊之該預測相關聯的一預測殘餘，同時自該資料串流導出該所選變換，其中該可選變換組係藉由至少一個多級變換填充，該至少一個多級變換包含該初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換。
實施例147：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：使用來自一組框內預測模式之一所選模式，基於一經框內預測區塊之一空間鄰域來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，及基於該所選框內預測模式及一殘餘區塊之一區塊大小，自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，使用來自該可選變換組之一個所選變換對該殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例148：如實施例147之編碼器，其經組配以執行該判定，使得對於預定區塊大小之一第一預定組中之區塊大小，該可選變換組係藉由一數目之一或多個多級變換填充，各多級變換包含應用至該預測殘餘上一之初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的且取決於該所選框內預測模式。
實施例149：如實施例148之編碼器，其經組配以執行該判定，使得該初級變換取決於該所選框內預測模式且係一可分離二維變換。
實施例150：如實施例148或149之編碼器，其中該子群組取決於該所選框內預測模式。
實施例151：如實施例148至150中任一者之編碼器，其經組配以執行該判定，使得對於小於預定區塊大小之該第一預定組的預定區塊大小之一第二預定組中之區塊大小，該可選變換組係藉由一第二數目之一或多個不可分離變換填充。
實施例152：如實施例148至151中任一者之編碼器，其經組配以使得該次級變換取決於該所選框內預測模式之一方式包含一框內預測模式聚合。
實施例153：如實施例148至152中任一者之編碼器，其經組配以使得該初級變換取決於該所選框內預測模式之一方式包含一框內預測模式聚合。
實施例154：如實施例147至153中任一者之編碼器，其經組配以核查該殘餘區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例155：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：使用來自一組框內預測模式的一所選模式，基於一經框內預測區塊之一空間鄰域來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，及基於該所選框內預測模式及一殘餘區塊之一區塊大小，自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，在來自該可選變換組之一個所選變換之一域中自該資料串流解碼該殘餘區塊內與該經框內預測區塊之該預測相關聯的一預測殘餘，同時自該資料串流導出該所選變換。
實施例156：如實施例155之解碼器，其經組配以執行該判定，使得對於預定區塊大小之一第一預定組中之區塊大小，該可選變換組係藉由一數目之一或多個多級變換填充，各多級變換包含應用至該預測殘餘上一之初級變換及應用至該初級變換之初級變換係數之一子群組上之一次級變換，該次級變換係不可分離的且取決於該所選框內預測模式。
實施例157：如實施例156之解碼器，其經組配以執行該判定，使得該初級變換取決於該所選框內預測模式且係一可分離二維變換。
實施例158：如實施例156或157之解碼器，其中該子群組取決於該所選框內預測模式。
實施例159：如實施例156至158中任一者之解碼器，其經組配以執行該判定，使得對於小於預定區塊大小之該第一預定組的預定區塊大小之一第二預定組中之區塊大小，該可選變換組係藉由一第二數目之一或多個不可分離變換填充。
實施例160：如實施例156至159中任一者之解碼器，其經組配以使得該次級變換取決於該所選框內預測模式之一方式包含一框內預測模式聚合。
實施例161：如實施例155至160中任一者之解碼器，其經組配以核查該殘餘區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例162：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：使用來自一組框內預測模式之一所選模式，基於一經框內預測區塊之一空間鄰域來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，基於該所選框內預測模式及一殘餘區塊之一區塊大小，自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，使用來自該可選變換組之一個所選變換對該殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例163：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：使用來自一組框內預測模式之一所選模式，基於一經框內預測區塊之一空間鄰域來預測該經框內預測區塊，從而獲得該經框內預測區塊之一預測，基於該所選框內預測模式及一殘餘區塊之一區塊大小，自該變換組判定用於覆蓋該經框內預測區塊之該殘餘區塊之一可選變換組，在來自該可選變換組之一個所選變換之一域中自該資料串流對該殘餘區塊內與該經框內預測區塊之該預測相關聯之一預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例164：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：基於針對一鄰近殘餘區塊選擇之一參考變換，自該變換組判定用於一當前殘餘區塊之一變換可選清單，使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼，並在該資料串流中傳訊該所選變換。
實施例165：如實施例164之編碼器，其經組配以使用該參考變換對該可選清單排序。
實施例166：如實施例164或165之編碼器，其經組配以藉由將該參考變換或對應於該參考變換之一變換定位於一順位來對該可選清單排序，該順位與以下各者相關聯：一最可能選擇，或一第二最可能選擇。
實施例167：如實施例164至166中任一者之編碼器，其經組配以基於針對一組鄰近殘餘區塊選擇之參考變換，自該變換組判定用於一當前殘餘區塊之一變換可選清單。
實施例168：如實施例167之編碼器，其經組配以藉由以對應於針對該組鄰近殘餘區塊選擇該等參考變換之一頻率的一次序來互相定位該等參考變換，對該可選清單排序。
實施例169：如實施例164至168中任一者之編碼器，其經組配以用該參考變換填充該可選清單。
實施例170：如實施例169之編碼器，其中該參考變換為一可分析定義的可分離頻譜分解變換，且該編碼器經組配以：用藉由使該參考變換適於該當前殘餘區塊之一區塊大小而導出之一另一變換填充該可選清單。
實施例171：如實施例169或170之編碼器，其經組配以執行該填充，其前提為與該鄰近區塊及該當前殘餘區塊相關聯之一或多個特定特徵充分類似，及/或該參考變換係一可分離頻譜分解變換。
實施例172：如實施例171之編碼器，其中該一或多個特徵包含一框內預測模式中之一或多者。
實施例173：如實施例164至172中任一者之編碼器，其經組配以藉由根據在一或多特定特徵方面與該參考變換之一相似性對該可選變換組中之變換進行排位來對該可選清單排序，及/或以自該可選清單中排除超出在一或多個特定特徵方面與該參考變換之一特定不相似性的變換的一方式判定該變換可選清單。
實施例174：如實施例173之編碼器，其中該一或多個特徵包含一初級變換中之一或多者。
實施例175：如實施例164至174中任一者之編碼器，其經組配以藉由根據該鄰近區塊之一或多個特定特徵對該可選變換組中之變換進行排位來對該可選清單排序，及/或以取決於該鄰近區塊之一或多個特定特徵自該可選清單中排除變換的一方式判定該變換可選清單。
實施例176：如實施例175之編碼器，其中該一或多個特徵包含一數目之有效變換係數中之一或多者。
實施例177：如實施例175或176之編碼器，其中該一或多個特徵包含以下中之一或多者：一數目之有效變換係數，其中若有效變換係數之該數目在一特定臨限值以下，則較不可能對變換進行排位或排除屬於一多級類型的具有經受一次級變換之初級變換係數之一子群組的變換。
實施例178：如實施例164至177中任一者之編碼器，其經組配以核查當前區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例179：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：基於針對一鄰近殘餘區塊選擇之一參考變換，自該變換組判定用於一當前殘餘區塊之一變換可選清單，在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之一預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例180：如實施例179之解碼器，其經組配以使用該參考變換對該可選清單排序。
實施例181：如實施例179或180之解碼器，其經組配以藉由將該參考變換或對應於該參考變換之一變換定位於一順位來對該可選清單排序，該順位與以下各者相關聯：一最可能選擇，或一第二最可能選擇。
實施例182：如實施例179至181中任一者之解碼器，其經組配以基於針對一組鄰近殘餘區塊選擇之參考變換，自該變換組判定用於一當前殘餘區塊之一變換可選清單。
實施例183：如實施例182之解碼器，其經組配以藉由以對應於針對該組鄰近殘餘區塊選擇該等參考變換之一頻率的一次序來互相定位該等參考變換，對該可選清單排序。
實施例184：如實施例179至183中任一者之解碼器，其經組配以用該參考變換填充該可選清單。
實施例185：如實施例184之解碼器，其中該參考變換為一可分析定義的可分離頻譜分解變換，且該解碼器經組配以：用藉由使該參考變換適於該當前殘餘區塊之一區塊大小而導出之一另一變換來填充該可選清單。
實施例186：如實施例184或185之解碼器，其經組配以執行該填充，其前提為與該鄰近區塊及該當前殘餘區塊相關聯之一或多個特定特徵充分類似，及/或該參考變換係一可分離頻譜分解變換。
實施例187：如實施例186之解碼器，其中該一或多個特徵包含一框內預測模式中之一或多者。
實施例188：如實施例179至187中任一者之解碼器，其經組配以藉由根據在一或多特定特徵方面與該參考變換之一相似性對該可選變換組中之變換進行排位來對該可選清單排序，及/或以自該可選清單中排除超出在一或多個特定特徵方面與該參考變換之一特定不相似性的變換的一方式來判定該變換可選清單。
實施例189：如實施例188之解碼器，其中該一或多個特定特徵包含一初級變換中之一或多者。
實施例190：如實施例179至189中任一者之解碼器，其經組配以藉由取決於該鄰近區塊之一或多個特定特徵對該可選變換組中之變換進行排位來對該可選清單排序，及/或以取決於該鄰近區塊之一或多個特定特徵自該可選清單中排除變換的一方式判定該變換可選清單。
實施例191：如實施例190之解碼器，其中該一或多個特徵包含一數目之有效變換係數中之一或多者。
實施例192：如實施例190或191之解碼器，其中該一或多個特徵包含以下中之一或多者：一數目之有效變換係數，其中若有效變換係數之該數目在一特定臨限值以下，則較不可能對變換進行排位或排除屬於一多級類型之具有經受一次級變換之初級變換係數之一子群組的變換。
實施例193：如實施例179至192中任一者之解碼器，其經組配以核查當前區塊之一量化參數是否包括於一組一或多個預定量化參數中，及若是，則執行該判定，使得該可選變換組係藉由與該組一或多個預定量化參數相關聯之一組一或多個預定變換進一步填充。
實施例194：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：基於針對一鄰近殘餘區塊選擇之一參考變換，自該變換組判定用於一當前殘餘區塊之一變換可選清單，使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例195：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：基於針對一鄰近殘餘區塊選擇之一參考變換，自該變換組判定用於一當前殘餘區塊之一變換可選清單，在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之一預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例196：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：以取決於當前區塊之一量化參數之一方式，自該變換組判定用於該當前殘餘區塊之變換的一變換可選清單，使得若該量化參數對應於比一特定臨限值精細的一量化，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊內之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該量化參數對應於比一特定臨限值粗糙的一量化，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單係經該至少一個多級變換之一修改填充，其中超出該子群組之該等初級變換係數經調為零，及使用來自該變換可選清單之一個所選變換對該殘餘區塊內之該預測殘餘進行編碼，並在該資料串流中傳訊該所選變換。
實施例197：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：以取決於當前區塊之一量化參數之方式，自該變換組判定用於當前殘餘區塊之一變換可選清單，使得若該量化參數對應於比一特定臨限值精細的一量化，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊內之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該量化參數對應於比一特定臨限值粗糙的一量化，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單係經該至少一個多級變換之一修改填充，其中超出該子群組之該等初級變換係數經調為零，及在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之該預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例198：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：以取決於當前區塊之一量化參數之一方式，自該變換組判定用於一當前殘餘區塊之一變換可選清單，使得若該量化參數對應於比一特定臨限值精細的一量化，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊內之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該量化參數對應於比一特定臨限值粗糙的一量化，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單經該至少一個多級變換之一修改填充，其中超出該子群組之該等初級變換係數經調為零，及使用來自該變換可選清單之一個所選變換對該殘餘區塊內之該預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例199：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：以取決於當前區塊之一量化參數之一方式，自該變換組判定用於一當前殘餘區塊之一變換可選清單，使得若該量化參數對應於比一特定臨限值精細的一量化，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊內之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該量化參數對應於比一特定臨限值粗糙的一量化，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單係經該至少一個多級變換之一修改填充，其中超出該子群組之該等初級變換係數經調為零，及在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之該預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例200：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以：以取決於一或多個鄰近殘餘區塊中之有效變換係數之一數目或其一總和的一方式，基於針對一鄰近殘餘區塊選擇之一參考變換自該變換組判定用於一當前殘餘區塊之一變換可選清單，使得若該數目或總和大於一特定臨限值，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該數目或總和小於該特定臨限值，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單係經該至少一個多級變換之一修改填充，其中超出該子群組之初級變換係數經調為零，及使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例201：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以：以取決於一或多個鄰近殘餘區塊中之有效變換係數之一數目或其一總和的方式，基於針對一鄰近殘餘區塊選擇之一參考變換自該變換組判定用於一當前殘餘區塊之一變換可選清單，使得若該數目或總和大於一特定臨限值，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該數目或總和小於該特定臨限值，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單係經該至少一個多級變換之一修改填充，其中超出該子群組之初級變換係數經調為零，及在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之一預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例202：一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟：以取決於一或多個鄰近殘餘區塊中之有效變換係數之一數目或其一總和的一方式，基於針對一鄰近殘餘區塊選擇之一參考變換自該變換組判定用於一當前殘餘區塊之一變換可選清單，使得若該數目或總和大於一特定臨限值，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該數目或總和小於該特定臨限值，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單係經該至少一個多級變換之一修改填充，其中超出該子群組之初級變換係數經調為零，及使用來自該變換可選清單之一個所選變換對該殘餘區塊內之一預測殘餘進行編碼，且在該資料串流中傳訊該所選變換。
實施例203：一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟：以取決於一或多個鄰近殘餘區塊中之有效變換係數之一數目或其一總和的方式，基於針對一鄰近殘餘區塊選擇之一參考變換自該變換組判定用於一當前殘餘區塊之一變換可選清單，使得若該數目或總和大於一特定臨限值，則用於一當前殘餘區塊之該變換可選清單係經至少一個多級變換填充，該至少一個多級變換包含應用至該當前殘餘區塊之一預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上的一次級變換，及若該數目或總和小於該特定臨限值，則除了該至少一個多級變換之外或代替該至少一個多級變換，用於一當前殘餘區塊之該變換可選清單係經該至少一個多級變換之一修改填充，其中超出該子群組之初級變換係數經調為零，及在來自該變換可選清單之一個所選變換之一域中對該殘餘區塊內之一預測殘餘進行解碼，同時自該資料串流導出該所選變換。
實施例204：一種電腦程式，其用於在一電腦或信號處理器上執行時實施如實施例19、20、59、60、89、90、97、98、129、130、145、146、162、163、194、195、198、199、202或203中至少一者之方法。
實施例205：一種資料串流，其可藉由如實施例19、20、59、60、89、90、97、98、129、130、145、146、162、163、194、195、198、199、202或203中至少一者之方法獲得。參考文獻
[1] J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce (JEM editors) “Algorithm description of Joint Exploration Test Model 7”, JVET-G1001, Torino, Jul. 2017.
[2] X. Zhao, J. Chen, M. Karczewicz, “Mode-dependent non-separable secondary transform”, ITU-T SG16/Q6 Doc. COM16-C1044, Oct. 2015.
[3] C. Lan, J. Xu and F. Wu, “Enhancement of HEVC using Signal Dependent Transform (SDT)”, MPEG doc. m37503, Oct. 2015 and ITU-T SG16/Q6 Doc. VCEG-AZ08, Jun. 2015.
[4] E. Alshina, A. Alshin, J.-H. Min, K. Choi, A. Saxena, M. Budagavi, “Known tools performance investigation for next generation video coding”, ITU-T SG16 Doc. VCEG-AZ05, Jun. 2015.
[5] J. Chen, Y. Chen, M. Karczewicz, X. Li, H. Liu, L. Zhang, X. Zhao, “Coding tools investigation for next generation video coding”, ITU-T SG16 Doc. COM16-C806, Feb. 2015.
[6] B. Li, O. G. Guleryuz, J. Ehmann and A. Vosough, “LAYERED-GIVENS TRANSFORMS: TUNABLE COMPLEXITY, HIGH-PERFORMANCE APPROXIMATION OF OPTIMAL NON-SEPARABLE TRANSFORMS”, ICIP, 2017.
[7] Said, Amir, et al. "Highly efficient non-separable transforms for next generation video coding."Picture Coding Symposium (PCS), 2016 . IEEE, 2016.
[8] De Luxan Hernadez, Marpe, et al. “ Predictive Picture Coding using Transform-Based   Residual Coding”, PCT/EP2017/067708, 2018.
10:參考符號/編碼器 11、11':視訊 12、12':圖像/信號 14:資料串流 10、20:設備/解碼器 22:預測殘餘信號形成器 24、24'、24”、 24"':預測殘餘信號 26:預測信號 28:變換器 32:量化器 34:熵寫碼器 36:預測級 38、52:解量化器 40、54:反變換器 42、56:組合器 44、58:預測模組 46:經重建構信號 50:熵解碼器 80、84、84'、84'':區塊 90:空間鄰域 92:神經網路 94:變換組 96:區塊尺寸 98:變換候選清單 100:預測殘餘 102:所選變換 104:預測 105:樣本 106:多級變換 108:初級變換 110:次級變換 112:子群組 114:初級變換係數 116:可分離二維變換 117:子區塊 118:域 120:組 122:選擇集合 124:高變換索引 126:變換係數資料 134:次級變換係數 138:次級子群組
在下文中，參考諸圖更詳細地描述本揭露內容的實施例，其中 圖1  展示可用於本發明之一或多個實施例中之編碼器的示意性方塊圖， 圖2  展示可用於本發明之一或多個實施例中之解碼器的示意性方塊圖， 圖3  展示可用於本發明之一或多個實施例中之基於區塊之寫碼方案的示意性方塊圖， 圖4  展示在採用變換後將殘餘區塊分割成變換係數之群組及子群組的一些實例， 圖5  展示在採用變換後將殘餘區塊分割成變換係數之群組及子群組的其他實例， 圖6  展示包含初級變換及次級變換之多級變換的不同級的一些實例， 圖7  展示根據本發明之實施例的使用包含一或多個神經網路之變換組進行基於區塊之殘餘寫碼的示意性方塊圖， 圖8  展示根據本發明之實施例的包含初級變換及次級變換之多級變換的概念， 圖9  展示根據本發明之實施例的在空間域中包含初級變換及次級變換之多級變換採用行及列中之寫碼次序的概念， 圖10 展示根據本發明之實施例的僅初級變換之概念， 圖11 展示根據本發明之實施例的使用包含神經網路之多級變換的基於區塊之殘餘寫碼方案的示意性方塊圖， 圖12 展示根據本發明之實施例的使用變換組及可選變換組的基於區塊之殘餘寫碼方案的示意性方塊圖， 圖13 展示根據本發明之實施例的包含以預定寫碼次序寫碼的多個有效及非有效變換係數的殘餘區塊的示意性方塊圖， 圖14 展示根據本發明之實施例的使用變換組及可選變換組并使用變換傳訊的基於區塊之殘餘寫碼方案的示意性方塊圖， 圖15 展示根據本發明之實施例的使用變換組及可選變換組并使用變換傳訊的基於區塊之殘餘寫碼方案的示意性方塊圖， 圖16 展示根據本發明之實施例的其中一些變換係數經設定為零的基於區塊之殘餘寫碼方案之示意性方塊圖， 圖17 展示根據本發明之實施例的示意性殘餘區塊，其包含多個初級係數，其中在對剩餘非零值之初級係數進行次級變換之前，該多個初級係數中之一些經設定為零， 圖18 自解碼器視角展示根據實施例之其中一些變換係數可經調零之變換區塊的示意性方塊圖，及 圖19 自解碼器視角展示根據另一實施例的其中一些變換係數可經調零之變換區塊的示意性方塊圖。
12:圖像
14:資料串流
84、84'、84":區塊
94:變換組
96:區塊尺寸
98:變換候選清單
100:預測殘餘
102:所選變換
122:選擇集合
124:索引
126:變換係數資料

Claims (44)

  1. 一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之編碼器，該編碼器支援用於該基於區塊之殘餘寫碼之一變換組且經組配以： 自該變換組判定用於一當前殘餘區塊之一變換可選清單； 使用來自該變換可選清單之一個所選變換將變換係數資料編碼至該資料串流中，該變換係數資料表示該殘餘區塊內之一預測殘餘； 以取決於該變換係數資料或取決於該變換係數資料之一部分的一方式，在該資料串流中傳訊該所選變換，及/或執行對該可選清單之該判定。
  2. 如請求項1之編碼器，其經組配以： 藉由用來自該變換組之一數目之變換填充該可選清單來判定該變換可選清單，該數目取決於該變換係數資料或該變換係數資料之一部分， 以一方式在該資料串流中執行對該所選變換之該傳訊，使得該數目愈低，在該資料串流中用於該所選變換之該傳訊所花費的一碼率愈低。
  3. 如請求項1之編碼器，其經組配以： 藉由取決於該變換係數資料或該變換係數資料之一部分對該變換可選清單進行排序來判定該變換可選清單， 使用一可變長度碼在該資料串流中執行對該所選變換之該傳訊，該可變長度碼之碼字係取決於該變換可選清單中之該等變換之一次序而指派給該變換可選清單中之該等變換。
  4. 如請求項2或3之編碼器，其經組配以： 使得該變換係數資料包含該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置的一預定掃描次序自該有效變換係數位置向前遍歷； 其中該判定係取決於該指示。
  5. 如請求項4之編碼器，其經組配以： 在該資料串流中對該所選變換進行該傳訊之前將該指示之一粗糙版本編碼至該資料串流中，其中該判定取決於該指示之該粗糙版本，及 在該傳訊之後及取決於該所選變換，將該指示之該粗糙版本之一細化編碼至該資料串流中。
  6. 如請求項5之編碼器，其經組配以： 將一提示編碼為該粗糙版本，該提示揭露該有效變換係數位置是否在變換係數之一子群組內，及 將一相對位置資訊編碼為該細化，該相對位置資訊在該有效變換係數位置處於該子群組內的情況下鑑別在該子群組內之位置當中的該有效變換係數位置，並在該有效變換係數位置在該子群組之外的情況下鑑別在該子群組之外的位置當中的該有效變換係數位置。
  7. 如請求項6之編碼器，其中該編碼器經組配以： 在該提示揭露該有效變換係數位置在該子群組內的情況下，判定該可選清單以包含至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數的該子群組的一次級變換，且 在該提示揭露該有效變換係數位置不在該子群組內的情況下，判定該可選清單以不包含該至少一個多級變換。
  8. 如請求項7之編碼器，其中該編碼器經組配以： 使用以下之一可變長度寫碼來編碼該相對位置資訊： 在該提示揭露該有效變換係數位置在該子群組內的情況下，具有對應於該子群組內之一數目之係數的一第一最大數目個程式碼，及/或 在該提示揭露該有效變換係數位置不在該子群組內的情況下，具有對應於該子群組之外之一數目之係數的一第二最大數目個程式碼。
  9. 如請求項6至8中任一項之編碼器，其中該編碼器經組配以： 在該提示揭露該有效變換係數位置在該子群組內的情況下，在該粗糙版本之後但在該細化之前編碼一次級變換指示符，該次級變換指示符指示該所選變換是否在該至少一個多級變換當中及/或該至少一個多級變換當中之哪一者係該所選變換。
  10. 如請求項6至9中任一項之編碼器，其中該編碼器經組配以： 在該提示揭露該有效變換係數位置在該子群組內的情況下，使用取決於該次級變換指示符之上下文以便對該子群組內之該等變換係數進行上下文自適應熵編碼。
  11. 如請求項9或10之編碼器，其中該編碼器經組配以： 在該提示揭露該有效變換係數位置不在該子群組內的情況下，對在該子群組之內及之外的變換係數進行上下文自適應熵編碼。
  12. 如請求項1至11中任一項之編碼器，其經組配以： 對該所選變換之有效變換係數之一數目計數； 其中該可選清單之該判定取決於該計數。
  13. 如請求項1至12中任一項之編碼器，其經組配以： 參考該所選變換之該等變換係數之一子群組內的該所選變換之有效變換係數之一數目是否超出一特定臨限值，評估該變換係數資料； 執行取決於該計數之該判定，使得： 若該數目大於該特定臨限值， 則以至少一個多級變換填充該當前殘餘區塊之該變換可選清單，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，及 若該數目小於該特定臨限值， 則用於一當前殘餘區塊之該變換可選清單沒有填充任何多級變換，該多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之該子群組上的一次級變換。
  14. 如請求項1至13中任一項之編碼器，其經組配以： 藉由遍歷一預定掃描次序寫碼該當前殘餘區塊之該等變換係數及判定該掃描次序中之一最後有效變換係數， 基於所判定之最後經寫碼有效變換係數的位置執行該判定使得： 若所判定之該最後經寫碼有效變換係數的該位置指示一第一數目個可用有效變換係數(第一數目＝足夠可用於執行多級變換的有效變換係數)， 則以至少一個多級變換填充該當前殘餘區塊之該變換可選清單，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之一子群組的一次級變換，以及 若所判定之該最後經寫碼有效變換係數的該位置指示一第二數目個可用有效變換係數(第二數目＝沒有足夠可用於執行多級變換的有效變換係數)， 則用於一當前殘餘區塊之該變換可選清單沒有填充任何多級變換，該多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之該子群組上。
  15. 如請求項1至14中任一項之編碼器，其經組配以判定變換候選清單，使得該變換候選清單中之變換在對應域中重合。
  16. 如請求項1至15中任一項之編碼器，其中該變換候選清單中之該等變換包含一第一變換及一第二變換，其在對應域中重合， 其中該第二變換對應於應用至該第一變換之初級變換係數之一子群組上的一次級變換，其中在該第一變換之初級變換係數之該子群組之外的該第一變換的其他初級變換係數經設定為零。
  17. 如請求項16之編碼器，其經組配以藉由將在該第一變換之初級變換係數之該子群組之外的該第一變換的其他初級變換係數設定為零，相對於該第二變換來測試該當前殘餘區塊之寫碼。
  18. 如請求項1至17中任一項之編碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或 其中該至少一個多級變換將置放於該變換候選清單中，其取決於有效變換係數根據該變換係數資料定位之位置。
  19. 如請求項1至18中任一項之編碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或 其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料在該等變換係數之該子群組之外的任何變換係數是否為有效的。
  20. 如請求項1至19中任一項之編碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或 其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料，在該子群組內但在該等變換係數之該子群組之外的任何變換係數是否為有效的。
  21. 如請求項1至20中任一項之編碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該多級變換之變換係數的一次級變換，該等變換係數之數目低於該當前殘餘區塊之該預測殘餘內之殘餘樣本，且其變換係數位置對應於該變換候選清單中之等效於該初級變換的一另一變換之變換係數之一子集，其中該初級變換之該等初級變換係數的數目大於該多級變換之該等變換係數，或 其中該至少一個多級變換將相對於該另一變換置放於該變換候選清單中，其取決於： 根據該變換係數資料有效變換係數定位於何處，或 根據該變換係數資料有效變換係數是否定位在變換係數之該子群組外，或 根據該變換係數資料有效變換係數是否定位在初級變換係數之該子群組外。
  22. 一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之解碼器，該解碼器支援用於該基於區塊之殘餘解碼之一變換組且經組配以： 自該變換組判定用於一當前殘餘區塊之一變換可選清單； 使用來自該變換可選清單之一個所選變換自該資料串流解碼變換係數資料，該變換係數資料表示該殘餘區塊內之一預測殘餘； 以取決於該變換係數資料或取決於該資料變換係數資料之一部分的一方式，自該資料串流導出該所選變換，及/或執行對該可選清單之該判定。
  23. 如請求項22之解碼器，其經組配以： 藉由用來自該變換組之一數目之變換填充該可選清單來判定該變換可選清單，該數目取決於該變換係數資料或該變換係數資料之一部分， 以一方式在該資料串流中執行對該所選變換之該傳訊，使得該數目愈低，在該資料串流中用於該所選變換之該傳訊所花費的一碼率愈低。
  24. 如請求項22之解碼器，其經組配以： 藉由取決於該變換係數資料或該變換係數資料之一部分對該變換可選清單進行排序來判定該變換可選清單， 使用一可變長度碼在該資料串流中執行對該所選變換之該傳訊，該可變長度碼之碼字係取決於該變換可選清單中之該等變換之一次序而指派給該變換可選清單中之該等變換。
  25. 如請求項23或24之解碼器，其經組配以： 使得該變換係數資料包含該所選變換之一有效變換係數位置之一指示及該所選變換之變換係數之值，該等值係按循序遍歷該所選變換之係數位置的一預定掃描次序自該有效變換係數位置向前遍歷； 其中該判定係取決於該指示。
  26. 如請求項25之解碼器，其經組配以： 在自該資料串流對該所選變換之該導出之前自該資料串流解碼該指示之一粗糙版本，其中該判定取決於該指示之該粗糙版本，及 在該導出之後及取決於該所選變換，自該資料串流解碼該指示之該粗糙版本之一細化。
  27. 如請求項26之解碼器，其經組配以： 將一提示解碼為該粗糙版本，該提示揭露該有效變換係數位置是否在變換係數之一子群組內，及 將一相對位置資訊解碼為該細化，該相對位置資訊在該有效變換係數位置處於該子群組內的情況下鑑別在該子群組內之位置當中的該有效變換係數位置，並在該有效變換係數位置在該子群組之外的情況下鑑別在該子群組之外的位置當中的該有效變換係數位置。
  28. 如請求項27之解碼器，其中該解碼器經組配以： 在該提示揭露該有效變換係數位置在該子群組內的情況下，判定該可選清單以包含至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數的該子群組的一次級變換，及 在該提示揭露該有效變換係數位置不在該子群組內的情況下，判定該可選清單以不包含該至少一個多級變換。
  29. 如請求項28之解碼器，其中該解碼器經組配以： 使用以下之一可變長度寫碼來解碼該相對位置資訊： 在該提示揭露該有效變換係數位置在該子群組內的情況下，具有對應於該子群組內之一數目之係數的一第一最大數目個程式碼，及/或 在該提示揭露該有效變換係數位置不在該子群組內的情況下，具有對應於在該子群組之外之一數目之係數的一第二最大數目個程式碼。
  30. 如請求項27至29中任一項之解碼器，其中該解碼器經組配以： 在該提示揭露該有效變換係數位置在該子群組內的情況下，在該粗糙版本之後但在該細化之前解碼一次級變換指示符，該次級變換指示符指示該所選變換是否在該至少一個多級變換當中及/或該至少一個多級變換當中之哪一者係該所選變換。
  31. 如請求項27至30中任一項之解碼器，其中該解碼器經組配以： 在該提示揭露該有效變換係數位置在該子群組內的情況下，使用取決於該次級變換指示符之上下文以便對該子群組內之該等變換係數進行上下文自適應熵解碼。
  32. 如請求項30或31之解碼器，其中該解碼器經組配以： 在該提示揭露該有效變換係數位置不在該子群組內的情況下，對在該子群組之內及之外的變換係數進行上下文自適應熵解碼。
  33. 如請求項22至32中任一項之解碼器，其經組配以： 對該所選變換之有效變換係數之一數目計數； 其中該判定係取決於計數。
  34. 如請求項22至33中任一項之解碼器，其經組配以： 參考該所選變換之該等變換係數之一子群組內的該所選變換之有效變換係數之一數目是否超出一特定臨限值，評估該變換係數資料； 執行取決於該計數之該判定，使得： 若該數目大於該特定臨限值， 則用至少一個多級變換填充該當前殘餘區塊之該變換可選清單，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，及 若該數目小於該特定臨限值， 則用於一當前殘餘區塊之該變換可選清單未經任何多級變換填充，該多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之該子群組上的一次級變換。
  35. 如請求項22至34中任一項之解碼器，其經組配以： 藉由遍歷一預定掃描次序寫碼該當前殘餘區塊之該等變換係數及判定該掃描次序中之一最後有效變換係數， 基於所判定之最後經寫碼有效變換係數的位置執行該判定使得： 若所判定之該最後經寫碼有效變換係數的該位置指示一第一數目個可用有效變換係數(第一數目＝足夠可用於執行多級變換的有效變換係數)， 則以至少一個多級變換填充該當前殘餘區塊之該變換可選清單，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之一子群組的一次級變換，以及 若所判定之該最後經寫碼有效變換係數的該位置指示一第二數目個可用有效變換係數(第二數目＝沒有足夠可用於執行多級變換的有效變換係數)， 則用於一當前殘餘區塊之該變換可選清單沒有填充任何多級變換，該多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之該子群組上。
  36. 如請求項22至35中任一項之編碼器，其經組配以判定變換候選清單，使得該變換候選清單中之該等變換在對應域中重合。
  37. 如請求項22至36中任一項之解碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或 其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料有效變換係數定位於何處。
  38. 如請求項22至37中任一項之解碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或 其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料在該等變換係數之該子群組之外的任何變換係數是否為有效的。
  39. 如請求項22至38中任一項之解碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該所選變換之該等變換係數之該子群組的一次級變換，或 其中該至少一個多級變換將置放於該變換候選清單中，其取決於根據該變換係數資料在該子群組內但在該等變換係數之該子群組之外的任何變換係數是否為有效的。
  40. 如請求項22至39中任一項之解碼器，其經組配以決定： 是否用至少一個多級變換填充該變換候選清單或自該變換候選清單排除該至少一個多級變換，該至少一個多級變換包含應用至該當前殘餘區塊之該預測殘餘上的一初級變換及應用至該初級變換之初級變換係數之一子群組上以產生該多級變換之變換係數的一次級變換，該等變換係數之數目低於該當前殘餘區塊之該預測殘餘內之殘餘樣本，且其變換係數位置對應於該變換候選清單中之等效於該初級變換的一另一變換之變換係數之一子集，其中該初級變換之該等初級變換係數的數目大於該多級變換之該等變換係數，或 其中該至少一個多級變換將相對於該另一變換置放於該變換候選清單中，其取決於： 根據該變換係數資料有效變換係數定位於何處，或 根據該變換係數資料有效變換係數是否定位在變換係數之該子群組外，或 根據該變換係數資料有效變換係數是否定位在初級變換係數之該子群組外。
  41. 一種用於使用基於區塊之預測及基於區塊之殘餘寫碼將一圖像編碼至一資料串流中之方法，其支援用於該基於區塊之殘餘寫碼之一變換組，其中該方法包含以下步驟： 自該變換組判定用於一當前殘餘區塊之一變換可選清單； 使用來自該變換可選清單之一個所選變換將變換係數資料編碼至該資料串流中，該變換係數資料表示該殘餘區塊內之一預測殘餘； 以取決於該變換係數資料或取決於該變換係數資料之一部分的一方式，在該資料串流中傳訊該所選變換，及/或執行對該可選清單之該判定。
  42. 一種用於使用基於區塊之預測及基於區塊之殘餘解碼自一資料串流解碼一圖像之方法，其支援用於該基於區塊之殘餘解碼之一變換組，其中該方法包含以下步驟： 自該變換組判定用於一當前殘餘區塊之一變換可選清單； 使用來自該變換可選清單之一個所選變換自該資料串流解碼變換係數資料，該變換係數資料表示該殘餘區塊內之一預測殘餘； 以取決於該變換係數資料或取決於該資料變換係數資料之一部分的一方式，自該資料串流導出該所選變換，及/或執行對該可選清單之該判定。
  43. 一種電腦程式，其用於在一電腦或信號處理器上執行時實施如請求項41或42之方法。
  44. 一種資料串流，其可藉由如請求項41或42之方法獲得。
TW110118382A 2018-03-29 2019-03-29 變換集合 TWI791222B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP18165242 2018-03-29
EP18165242.1 2018-03-29
EP19163314 2019-03-15
EP19163314.8 2019-03-15

Publications (2)

Publication Number Publication Date
TW202137762A true TW202137762A (zh) 2021-10-01
TWI791222B TWI791222B (zh) 2023-02-01

Family

ID=65904458

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108111368A TWI731322B (zh) 2018-03-29 2019-03-29 變換組
TW110118382A TWI791222B (zh) 2018-03-29 2019-03-29 變換集合

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108111368A TWI731322B (zh) 2018-03-29 2019-03-29 變換組

Country Status (7)

Country Link
US (2) US11882284B2 (zh)
EP (1) EP3777165A1 (zh)
JP (2) JP2021519546A (zh)
KR (1) KR20200138804A (zh)
CN (1) CN112567745A (zh)
TW (2) TWI731322B (zh)
WO (1) WO2019185883A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11128866B2 (en) 2018-10-18 2021-09-21 Qualcomm Incorporated Scans and last coefficient position coding for zero-out transforms
FI3879835T3 (fi) 2018-12-19 2023-09-01 Lg Electronics Inc Sekundääriseen muunnokseen perustuva videonkoodausmenetelmä sekä sitä varten tarkoitettu laite
KR20210080557A (ko) * 2019-01-07 2021-06-30 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
US11218735B2 (en) * 2019-04-02 2022-01-04 Qualcomm Incorporated Context derivation for last position coding for video coding
US11032572B2 (en) 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
CA3137428A1 (en) * 2019-05-23 2020-11-26 Xin Qiu Quantifying the predictive uncertainty of neural networks via residual estimation with i/o kernel
US11218728B2 (en) * 2019-06-04 2022-01-04 Tencent America LLC Method and apparatus for video coding
US11695960B2 (en) 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
WO2021086022A1 (ko) 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 색상 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN116016915B (zh) * 2019-11-21 2024-04-23 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置
US11375220B2 (en) 2019-11-27 2022-06-28 Tencent America LLC Method and apparatus for video decoding using a nominal directional mode and an angular offset
US20230054294A1 (en) * 2020-01-10 2023-02-23 Lg Electronics Inc. Transform-based image coding method and device for same
JP7400114B2 (ja) 2020-02-24 2023-12-18 バイトダンス インコーポレイテッド ビデオコーディングでのピクチャレベルスライスインデックスの使用
CN115211044A (zh) * 2020-03-03 2022-10-18 字节跳动有限公司 使用条带头信令通知控制缩放处理
US20210326710A1 (en) * 2020-04-16 2021-10-21 Tencent America LLC Neural network model compression
US11683490B2 (en) * 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
US20220201334A1 (en) 2020-12-23 2022-06-23 Tencent America LLC Method and apparatus for video coding
CN117296325A (zh) * 2021-04-12 2023-12-26 Lg电子株式会社 用于设计低频不可分离变换的方法和设备
CN117981305A (zh) * 2021-09-23 2024-05-03 交互数字Ce专利控股有限公司 用于对视频进行编码/解码的方法和装置
CN114339230B (zh) * 2022-03-03 2022-09-02 杭州未名信科科技有限公司 用于视频编码的变换核选择方法、装置、存储介质及终端
WO2024054689A1 (en) * 2022-09-10 2024-03-14 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus for transform training and coding
WO2024080797A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024080784A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA201690320A3 (ru) * 2009-04-08 2016-10-31 Шарп Кабусики Кайся Устройство кодирования видеокадров и устройство декодирования видеокадров
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
CA2853002C (en) * 2011-10-18 2017-07-25 Kt Corporation Method for encoding image, method for decoding image, image encoder, and image decoder
KR102257542B1 (ko) * 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
EP3485637A1 (en) * 2016-07-14 2019-05-22 Fraunhofer Gesellschaft zur Förderung der Angewand Predictive picture coding using transform-based residual coding
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
EP3586511B1 (en) * 2017-03-16 2022-01-05 MediaTek Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
EP3609184A4 (en) * 2017-07-04 2020-04-01 Samsung Electronics Co., Ltd. IMAGE CODING METHOD AND APPARATUS, AND IMAGE DECODING METHOD AND APPARATUS
KR102030384B1 (ko) * 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
CN112567745A (zh) 2021-03-26
TWI791222B (zh) 2023-02-01
JP2021519546A (ja) 2021-08-10
US11882284B2 (en) 2024-01-23
TW201946460A (zh) 2019-12-01
TWI731322B (zh) 2021-06-21
US20240114138A1 (en) 2024-04-04
EP3777165A1 (en) 2021-02-17
JP2023062181A (ja) 2023-05-02
WO2019185883A1 (en) 2019-10-03
US20210084301A1 (en) 2021-03-18
KR20200138804A (ko) 2020-12-10

Similar Documents

Publication Publication Date Title
TWI731322B (zh) 變換組
CN110024392B (zh) 用于视频译码的低复杂度符号预测
KR102402045B1 (ko) 비디오 신호 처리 방법 및 장치
TWI655859B (zh) 熵編碼視訊的方法與裝置、以及熵解碼視訊的方法與裝置
TWI748201B (zh) 適於相依純量量化之變換係數熵寫碼技術
TWI556632B (zh) 視訊之算術編碼方法及其裝置、以及視訊之算術解碼方法及其裝置
JP7245341B2 (ja) 統合変換タイプ通知および変換タイプ依存変換係数レベルコーディング
CN116320495A (zh) 用于滤波的方法和装置
WO2016192073A1 (zh) 编码方法、解码方法及其装置
CN107667531A (zh) 使用增强型上下文自适应二进制算术译码设计来译码数据
JP2022048351A (ja) 最後の有意係数フラグのコーディング
CN112425164B (zh) 多个可分离变换选择的变换变体
WO2020228762A1 (en) Context modeling for residual coding
CN117729332A (zh) 使用或适用于与依赖标量量化的组合的变换系数的有效编码
KR20200010113A (ko) 지역 조명 보상을 통한 효과적인 비디오 부호화/복호화 방법 및 장치
CN112422991B (zh) 编码方法、解码方法及装置