TW202243470A - 用於影像及視訊寫碼之選擇性成分間變換(ict)技術 - Google Patents

用於影像及視訊寫碼之選擇性成分間變換(ict)技術 Download PDF

Info

Publication number
TW202243470A
TW202243470A TW110148590A TW110148590A TW202243470A TW 202243470 A TW202243470 A TW 202243470A TW 110148590 A TW110148590 A TW 110148590A TW 110148590 A TW110148590 A TW 110148590A TW 202243470 A TW202243470 A TW 202243470A
Authority
TW
Taiwan
Prior art keywords
component
inter
components
image
transformation
Prior art date
Application number
TW110148590A
Other languages
English (en)
Other versions
TWI815259B (zh
Inventor
克里斯汀 赫姆瑞區
克里斯汀 路達特
松皇 阮
希可 史瓦茲
迪特利夫 馬皮
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202243470A publication Critical patent/TW202243470A/zh
Application granted granted Critical
Publication of TWI815259B publication Critical patent/TWI815259B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種用於編碼待編碼之一影像的一影像內容區之多個成分的編碼器，該編碼器經組配以用於獲得表示該影像內容區之該等多個成分；自一組成分間變換中選擇一成分間變換；使用該所選擇成分間變換編碼該等多個成分以獲得經編碼成分；及提供該等經編碼成分。

Description

用於影像及視訊寫碼之選擇性成分間變換(ICT)技術
本發明係有關於用於影像及視訊寫碼之選擇性成分間變換(ICT)技術。
1. 前言，目前先進技術
在自然靜態及移動色彩圖像(下文簡稱為影像及視訊)中，通常可觀測到個別色彩成分之間的大量信號相關性。在內容以YUV或YCbCr(明度-色度)或RGB(紅色-綠色-藍色)域表示的情況下尤其出現此大量信號相關性。為高效利用在影像或視訊寫碼中之此成分間冗餘，最近已提議若干預測性技術。其中，最值得注意的是 • 交叉成分線性模型(CCLM)預測，一種線性預測寫碼(LPC)方法，該方法在一區塊層級上自另一(通常明度)經解碼成分信號預測一個成分之輸入信號且僅僅編碼誤差(亦即輸入與預測之間的差異)； • 聯合色度寫碼(JCC)，一種僅僅編碼兩個色度殘餘信號之間的差異(亦即，僅僅單一 降混)且使用分別用於YUV或YCbCr寫碼的簡單逐樣本 升混規則「 V=- U」或「 Cr=- Cb」解碼該兩個色度信號的方法。換言之，JCC升混表示分別自U或Cb預測V或Cr而無需在JCC降混程序期間寫碼分別針對於V、Cr的相關聯誤差或殘餘。
分別在[1]及[2]中詳細描述的CCLM及JCC技術兩者借助於單一旗標在特定寫碼區塊中發信其啟動至解碼器。此外，值得注意的係兩個方案原則上可在任意成分對之間應用，亦即， •  在YUV或YCbCr寫碼中，在明度與色度信號之間，或在兩個色度信號之間， •  在RGB寫碼中，在 R與 G信號之間或在 R與 B信號之間或最終在 G與 B信號之間。
在上述清單中，術語「信號」可表示在輸入影像或視訊之特定區或區塊內的空間域輸入信號，或其可表示該空間域輸入信號與使用任意空間、頻譜或時間預測性寫碼技術(例如角度框內預測或運動補償)獲得的空間域預測信號之間的殘餘(亦即，差異或誤差)。 2. 目前先進技術之缺點
雖然上文所提及之解決方案成功增加現代影像或視訊編解碼器中之寫碼效率，但結合CCLM及JCC方法可識別兩個缺點： •  在兩個色度頻道信號之間應用CCLM方法需要在編碼器及解碼器兩者中自在考慮之中的寫碼區塊之左上方相鄰樣本在計算上相對複雜地導出特定預測參數(CCLM權重)。 •  使用JCC技術被認為相對不靈活，此係由於僅僅一信號差異經支援以用於降混及升混。雖然平均起來，此方法對於YUV或YCbCr寫碼內容很好起作用，但寫碼增益被認為對於RGB經寫碼輸入及對於運用遭受顯著色像差之攝影機記錄的自然影像或視訊而言相對較低。
因此，需要提供更靈活的用於影像或視訊之聯合成分寫碼的方法及設備，該方法及設備保持JCC方法之低複雜度。
為解決上文所提及之缺點，本發明包含以下態樣，其中術語 發信表示寫碼資訊自編碼器至解碼器的傳輸。將在單獨章節中詳細描述此等態樣中之每一者。
1. 至少兩個成分間聯合寫碼/解碼方法 中的一者之區塊或圖像 選擇性應用(亦即，啟動)，以及借助於一(可能熵寫碼) 接通 / 斷開旗標或替代地非二進位索引的該聯合寫碼/解碼之應用的對應逐區塊或圖像 顯式發信； 兩個或多於兩個成分間方法可表示以下內容中之任一者： ‧ 表示兩個色彩頻道的單一降混頻道之寫碼；在C'表示經解碼降混頻道情況下，經解碼色彩頻道係藉由Cb'=aC'及Cr'=bC'而獲得，其中a及b表示特定混合因數(a或b任一者常常經設定為等於1)； ‧ 兩個混合頻道之寫碼；在C 1'及C 2'為經解碼混合頻道情況下；經解碼色彩成分Cb'及Cr'係藉由將大小2之正交(或幾乎正交)變換應用於經解碼混合頻道C 1'及C 2'而獲得。
兩種方法可擴展至多於兩個色彩成分。若混合應用於N＞2個色彩成分，則亦有可能寫碼M＜N(其中M＞1)個混合頻道並在M＜N個經解碼混合頻道情況下重建構N個色彩成分。
2. 當聯合寫碼/解碼被應用(亦即，經啟動)時，至少兩個成分間方法中之應用者借助於現有 經寫碼區塊旗標位元串流元素而 隱式發信，
3. 在該區塊或圖像中應用的全部成分間聯合寫碼/解碼方法之 解碼參數(例如，升混矩陣、反向變換類型、反向變換係數、旋轉角度或線性預測因數)的逐區塊或圖像直接或間接發信，
4. 當在圖像或區塊層級上選擇待應用的至少兩個成分間聯合寫碼/解碼方法中之一者時的快速編碼器側決策(而非詳盡搜尋)。 3.1. 在顯式應用發信情況下 ICT 之選擇性應用
提議在影像或視訊編碼期間允許成分間變換(ICT)之任擇及選擇性應用以用於聯合殘餘樣本寫碼。如圖1中所展示，此ICT設計在寫碼期間在習知逐成分殘餘變換之前或之後應用正向聯合成分變換(降混)及在解碼期間在習知逐成分反殘餘變換之後或之前應用對應反向聯合成分變換(升混)。然而，不同於章節1或2之先前技術，編碼器給予在寫碼期間在多於一種ICT方法之間選擇的可能性，亦即不應用ICT寫碼或應用至少兩種ICT方法之一組中的一種ICT方法。與章節3.3之發明性態樣組合，此得到比先前技術更大的靈活性。
至少兩種ICT方法中的特定者之選擇及應用(亦稱作啟動)可總體地對於每一影像、視訊、圖框、圖像塊或圖塊(最新MPEG/ITU編解碼器中之圖塊/圖像塊在以下內容中亦簡稱作圖像)執行。然而，在混合基於區塊之影像或視訊寫碼/解碼中，其較佳地以區塊自適應方式應用。多個所支援ICT方法中的一者之應用經選擇所用於的區塊可表示以下各者中之任一者：寫碼樹型單元、寫碼單元、預測單元、變換單元或該影像、視訊、圖框或圖塊內之任何其他區塊。
多種ICT方法中之任一者是否被應用及此等方法中之哪一者被應用係使用在圖像、圖塊、圖像塊或區塊層級上(亦即，在應用ICT所藉以之相同粒度下)之一或多個語法元素在位元串流內部發信。在一個實施例(在章節3.2中進一步描述)中，對於該圖像中之每一者或對於ICT寫碼可應用於的區塊中之每一者，使用(可能經熵寫碼)接通/斷開旗標來發信應用或不應用發明性ICT寫碼的事實。換言之，借助於每圖像對應區塊的單一位元或位元子(一位元子表示經熵寫碼位元，其在正確寫碼情況下可消耗小於1位元之平均大小)顯式地發信發明性ICT方法(至少兩個方法中之該方法)的啟動。在此實施例之較佳版本中，藉由二進位接通/斷開旗標發信ICT方法之應用。應用多種ICT方法中之哪一者的資訊係經由另外傳輸之經寫碼區塊旗標(細節遵循章節3.2中)的組合而發信。在另一實施例中，一ICT方法及所使用的ICT方法之應用係使用非二進位語法元素發信。
對於兩個實施例，若一或多個經寫碼區塊旗標(其指示變換區塊是否具有任何非零變換係數)等於一，則可僅僅存在(在語法中)指示ICT方法之使用的二進位或非二進位語法元素。若ICT相關語法元素並不存在，則解碼器推斷無ICT方法被使用。
此外，高層級語法可包括指示區塊層級語法元素以及其含義之存在的語法元素(參見章節3.3)。一方面，此類高層級語法元素可指示ICT方法中之任一者是否可用於當前圖像、圖塊或圖像塊。另一方面，高層級語法可指示ICT方法之較大組的哪一子組可用於當前圖像、圖塊或圖像之圖像塊。
在以下內容中，吾人描述成分間變換之特定變體。此等變體係針對呈通常使用之YCbCr格式的影像及視訊信號的色度成分Cb及Cr之實例上的兩個特定色彩成分而描述。然而，本發明並不限於此使用情況。本發明亦可用於任何其他兩個色彩成分(例如，用於RGB視訊中之紅色及藍色成分)。此外，本發明亦可應用於多於兩個色彩成分(諸如YCbCr視訊中之三個成分Y、Cb及Cr，或RGB視訊中之三個成分R、G及B)的寫碼。 ICT類別1:基於變換之寫碼
在第一ICT變體中，可傳輸兩個色彩頻道C 1及C 2。此等兩個色彩頻道表示具有(至少幾乎)正交基準函數的變換之變換成分。讓
Figure 02_image001
表示經重建構色彩頻道。在解碼器側，使用具有正交基準函數之變換導出用於原始色彩成分之重建構Cb'及Cr'，其可根據下式指定
Figure 02_image003
其中
Figure 02_image005
表示信號空間中之旋轉角且
Figure 02_image007
及
Figure 02_image009
表示非零加權因數。在大多數組配中，加權因數經選擇為
Figure 02_image011
或
Figure 02_image013
。此變換之優點為在編碼器中可以兩個傳輸色彩頻道(亦即，
Figure 02_image015
或
Figure 02_image017
)中之一者的方差經最小化而另一色彩頻道之方差經最大化的方式選擇旋轉角
Figure 02_image005
，此最終具有寫碼效率得以增加之效應。歸因於取整效應，實際上應用之變換可稍微偏離以上公式。可以可使用簡化算術運算計算變換的方式選擇加權因數
Figure 02_image007
及
Figure 02_image009
。作為實例，所應用變換可根據下式計算
Figure 02_image019
Figure 02_image021
在此以上公式中，吾人選擇
Figure 02_image023
及
Figure 02_image025
。應注意以上公式表示一個特定組配；得到類似簡單重建構規則的其他組配亦係可能的。運用(大體上)真實因數
Figure 02_image027
之乘法可藉由運用整數乘法及向右位元移位(例如，使用類似於
Figure 02_image029
之公式))估計實數乘法而實施。在編碼器側，將初始色彩頻道Cb及Cr映射至實際上寫碼之成分C 1及C 2的正向變換可經計算為重建構變換(包括對應估計)之逆。多個所支援ICT變換中之一或多者可對應於具有不同旋轉角α(及適當選擇的加權因數)或替代地不同按比例調整因數
Figure 02_image031
之此類正交變換。
如上文所提及，基於變換之ICT方法可擴展至多於兩個色彩成分，在此情況下，N＞2個寫碼色彩頻道經線性地映射至N個經重建構色彩成分。所應用變換可藉由多個旋轉角或更一般而言N×N變換矩陣(具有至少幾乎正交基準函數)指定。如N=2情況，實際上應用之變換可藉由使用整數運算之線性組合指定。 ICT類別2：具有減少數目個色彩頻道之基於降混之寫碼
如上文所提及，上文所描述的基於變換之ICT變體的主要優點為所得成分中之一者的方差與其他成分之方差相比變小(對於具有一定量相關性之區塊)。常常，此導致成分中之一者經量化至零(對於整個區塊)。為了簡化實施，色彩變換可以所得成分(C 1或C 2)中之一者經強迫量化至零的方式實施。在此情況下，初始色彩頻道Cb及Cr兩者由單一傳輸成分C表示。且在給定由C'表示的色彩成分之重建構版本情況下，經重建構色彩頻道Cb'及Cr'可根據下式獲得
Figure 02_image033
其中
Figure 02_image035
表示旋轉角且
Figure 02_image037
表示按比例調整因數。類似於上述，實際實施可例如根據下式簡化
Figure 02_image039
Figure 02_image041
多個支援ICT變換中之一或多者可對應於運用不同旋轉角α或不同按比例調整因數
Figure 02_image043
(結合色彩成分中之哪一者經設定為等於所傳輸成分C的決策)的此聯合成分寫碼。在編碼器處，實際上寫碼之色彩成分C係藉由所謂的降混獲得，降混可表示為線性組合
Figure 02_image045
，其中因數
Figure 02_image047
及
Figure 02_image049
可例如以經重建構色彩成分Cb'及Cr'之失真經最小化的方式來選擇。
類似於上述變體1，此第二變體亦可一般化至多於兩個色彩成分。此處，多個組配係可能的。在第一組配中，N＞2初始色彩頻道係由單一聯合色彩頻道(M=1所得寫碼成分)表示。在另一組配中，N＞2個初始色彩頻道係由M＜N(其中M＞1)所得頻道(例如，M=N-1頻道)表示。對於兩個組配，初始色彩頻道之重建構可由具有對應混合因數(其可使用整數乘法及位元移位來實施)之矩陣(具有N列及M＜N行)表示。
多於一個所支援ICT方法可包括基於變換之方法(藉由旋轉角或按比例調整因數指定)的零或多個變體及基於降混之方法(藉由旋轉角或按比例調整因數指定)的零或多個變體(可能運用額外旗標指定哪一色彩成分經設定為等於所傳輸成分)。此包括以下情況：(a)全部ICT方法表示基於變換之變體、(b)全部ICT方法表示基於降混之變體，及(c)兩個或ICT方法表示基於變換之變體與基於降混之變體的混合物。在此，應同樣指出旋轉角或混合因數並不在區塊基礎上傳輸。實際上，ICT方法之一組經預定並藉由編碼器及解碼器兩者已知。在區塊基礎上，僅僅識別多於一個ICT方法中之一者的索引被發信(借助於二進位旗標或非二進位語法元素)。ICT方法之預定組的一子組可在序列、圖像、圖像塊或圖塊基礎上選擇，在此情況下在區塊基礎上寫碼之索引發信對應子組中之所選擇方法。
根據一實施例，使用變換寫碼之概念傳輸用於色彩成分之樣本的區塊，該變換寫碼概念由以下各者組成或至少包含該以下各者：將樣本之區塊映射至變換係數之區塊的2d變換、變換係數之量化，及所得量化索引(亦稱作變換係數層級)之熵寫碼。在解碼器側，樣本之區塊係藉由首先去量化經熵解碼變換係數層級以獲得經重構變換係數(去量化通常由與量化步長之乘法組成)及接著將反向變換應用於變換係數以獲得經重建構樣本之區塊而重建構。此外，使用變換寫碼傳輸的樣本之區塊常常表示一殘餘信號，該殘餘信號指定初始信號與預測信號之間的差異。在此情況下，經解碼影像區塊係藉由將殘餘樣本之經重建構區塊添加至預測信號而獲得。在解碼器側，ICT方法可如下應用： •  ICT變換應用於經重構變換係數(在去量化之後)；ICT變換接著繼之以用於個別色彩成分的反向2d變換，及(若適用)預測信號之添加； •  ICT變換應用於經重建構殘餘信號。此意謂經寫碼色彩成分首先經去量化並藉由2d變換進行反向變換。殘餘樣本之該/該等所得區塊係使用ICT變換而變換且ICT變換可繼之以預測信號之添加。
應注意，若ICT及2d變換兩者將不包括任何取整，則此等組配中之兩者將得到相同結果。但由於在實施例中，全部變換可在包括取整之整數算術中指定，因此兩個組配接著得到不同結果。應注意亦有可能在去量化之前或在預測信號添加之後應用ICT變換。
如上文所提及，ICT方法之實際實施可偏離酉變換(歸因於簡化實際實施的按比例調整因數之引入)。此事實應藉由相應地修改量化步長而考慮。此意謂在本發明之一實施例中，特定ICT方法之選擇意指量化參數(及因此，所得量化步長)之某一修改。量化參數之修改可藉由增量量化參數而實現，該增量量化參數被添加至標準量化參數。增量量化參數可對於全部ICT方法係相同的，或不同增量量化參數可用於不同ICT方法。與一或多種ICT方法結合使用的增量量化參數可經硬寫碼或其可作為用於圖塊、圖像、圖像塊或經寫碼視訊序列的高層級語法之部分而發信。 3.2. 至少兩種 ICT 方法中之所應用者的隱式發信
如章節3.1中所提及，至少兩種ICT方法中的本發明方法之啟動係使用 接通 / 斷開旗標較佳經顯式地自編碼器發信至解碼器，以便指導解碼器在解碼後應用反向ICT(亦即，ICT處理矩陣之轉置)。然而，對於其中ICT寫碼(亦即，正向ICT)及解碼(亦即，反向ICT)係主動的每一圖像或區塊，將 至少兩種ICT方 法中之哪一者即將應用於經處理圖像或區塊發信至解碼器仍係必需的。儘管直觀地可使用特定ICT方法(使用每圖像對應區塊之一或多個位元或位元子)之顯式發信，但較佳地使用 隱式發信，此係因為此發信形式被發現最小化本發明ICT方案之旁側資訊額外負擔。
存在用於所應用ICT方法之隱式發信的兩個較佳實施例。兩者在類似於HEVC及VVC[3]現代編解碼器中利用現有「殘餘 零」指示符，特定言之與每一變換單元之每一色彩成分相關聯的 經寫碼區塊旗標(CBF)位元串流元素。為0 (假)的CBF值意謂殘餘區塊未經寫碼(亦即，全部殘餘樣本經量化至零，且因此，無經量化殘餘係數需要在位元串流中傳輸)而為1 (真)的CBF值意謂至少一個殘餘樣本(或變換係數)經量化至非零值以用於給定區塊，且因此，該區塊之經量化殘餘係在位元串流中寫碼。 3.2.1. 兩個 ICT 方法中之一者的隱式發信
對於兩成分殘餘信號之聯合ICT寫碼，兩個CBF元素可用於隱式ICT方法發信。當提供 兩種ICT降混/升混方法時，較佳隱式發信為：
第一色彩成分 ( 例如 Cb ) 之 CBF 第二色彩成分(例如Cr)之CBF 待應用的隱式發信之ICT方法
0(假) 0(假) 無
1(真) 0(假) 方法1
0(假) 1(真) 方法2
1(真) 1(真) 無
3.2.2. 三種 ICT 方法中之一者的隱式發信
若如在子章節3.2.1中，兩個CBF元素可用於隱式ICT方法發信，但 三種而非兩種ICT降混/升混方法經提供用於應用，則較佳隱式發信為：
第一色彩成分(例如Cb)之CBF 第二色彩成分(例如Cr)之CBF 待應用的隱式發信之ICT方法
0(假) 0(假) 無
1(真) 0(假) 方法1
0(假) 1(真) 方法2
1(真) 1(真) 方法3
若用於兩個色彩成分的CBF在一區塊中為零，則無非零殘餘樣本在位元串流中經寫碼用於任一成分，從而使得輸送關於所應用ICT方法之資訊係多餘的。 3.3. ICT 解碼參數之任擇的直接或間接發信
先前章節描述ICT方法在圖像或區塊中之啟動如何經顯式地發信(使用接通/斷開旗標)且至少兩種ICT方法中之一者的實際選擇如何經隱式地發信(借助於現有CBF「殘餘零」指示符)以用於受影響色彩成分。可能兩種或多於兩種ICT方法之組可包含大小二離散餘弦變換(DCT)或離散正弦變換(DST)或沃爾什-哈達馬德(Walsh-Hadamard)變換(WHT)或Karhunen-Loève變換(KLT，亦稱為主要成分分析，PCA)例項或吉文斯旋轉或線性預測寫碼函數的某些預定(固定)或輸入相依(自適應)參數化。全部此等ICT方法在給定兩個輸入殘餘信號情況下以其正向形式產生一個或兩個降混信號，且在給定一個或兩個(可能經量化)降混信號情況下以其反向實現形式產生兩個升混信號。
具有固定參數化之兩種或多於兩種ICT方法的組可藉由例如大小二變換或線性預測器函數之旋轉角或係數之特定預選表徵。此參數化為編碼器及解碼器兩者已知，因此其不需要在位元串流中傳輸。在先前技術[2]中，使用固定「-1」參數化，得到降混規則「C = (Cb-Cr)/2」及升混規則「Cb' = C, Cr' = -C」。在本發明方法中，其中多於一種ICT方法可用於藉由編碼器選擇，兩種ICT方法(參見章節3.2.1)之固定組可為
ICT方法 降混規則(正向變換) 升混規則(反向變換)
1(初級) C = (Cb + Cr)/2 Cb' = C' Cr' = C'
2(二級) C = (Cb - Cr)/2 Cb' = C' Cr' = -C'
而三種ICT方法(參見子章節3.2 .2)之固定組(其可比2個一組更佳)可為
ICT方法 降混規則(正向變換) 升混規則(反向變換)
1(初級) C = (Cb + Cr)/2 Cb' = C' Cr' = C'
2(二級) C = (Cb - Cr)/2 Cb' = C' Cr' = -C'
3(三級) C 1= (Cb + Cr)/2 C 2= (Cb - Cr)/2 Cb' = C 1' + C 2' Cr' = C 1' - C 2'
此固定3個一組ICT設計(其類似於通常在感知及無損音訊寫碼[4,5]兩者中應用的和差寫碼技術)提供顯著寫碼增益。然而，發現此固定方法得到該寫碼增益橫越兩個經處理成分信號之相對不均勻分佈。為補償此問題，可實行更一般 基於旋轉之方法(使用大小二KLT (亦稱為主成分分析(PCA))實現)。在此情況下， 降混規則藉由下式給出 C 1= Cb · cos α + Cr · sin α      或   C 1= Cb · sin α + Cr · cos α, C 2= -Cb · sin α + Cr · cos α    或   C 2= Cb · cos α - Cr · sin α, 其在此情況下表示橫越兩個成分之正向KLT，而各別 升混規則為 Cb' = C 1' · cos α - C 2' · sin α     或   Cb' = C 1' · sin α + C 2' · cos α, Cr' = C 1' · sin α + C 2' · cos α    或   Cr' = C 1' · cos α - C 2' · sin α, 因此表示反向KLT；亦參看[6]。應注意，對於α=π/4之旋轉角，以上公式之右手符號表示三種ICT方法的以上固定組中之第三(三級)ICT方法之正交版本。運用KLT/PCA方法，用於旋轉角-π≤α≤π之不同值可用於參數化以上個別初級、二級及任擇地三級ICT方法。特定言之，諸如α 1= -π/8, α 2= π/8 及可能α 3= -π/4 之固定角度可經定義用於3種ICT方法之組，其中α 1、α 2、α 3為編碼器及解碼器兩者已知。值得注意的係用於KLT/PCA降混規則之單一輸出成分變體可經定義，其中C 1' = 0或C 2' = 0，且相應地升混規則經簡化以自僅僅經寫碼C1'或僅僅經寫碼C2'信號重建構Cb'及Cr'成分信號(參看章節3.1)。以此方式，兩種或多於兩種ICT方法之完全靈活及一般化組經建構，其可含有作為子組的上述兩個固定ICT參數化一組及三個固定ICT參數化一組。此推斷固定參數化態樣。
應注意對於影像及視訊寫碼之區域，通常僅僅指定位元串流語法及解碼程序。在彼上下文中，所描述降混(正向ICT變換)將解釋為用於獲得用於特定升混規則之降混頻道的特定實例。編碼器中之實際實施可偏離此等實例。
對於一些寫碼組配，以輸入相依自適應方式判定旋轉角α係有益的。在此情形中，α可取決於KLT降混/升混規則(參看先前頁面)之所應用符號自兩個輸入成分信號(此處Cb及Cr殘餘)計算為 α = ½ · tan -1(2 · CbCr/ ( Cb 2- Cr 2))   或   α = ½ · tan -1(2 · CbCr/ ( Cr 2- Cb 2)), 導出α之上述方式係基於 基於相關性(亦即，最小二乘)的方法。可替代地，公式 α = sign( CbCr) · tan -1(sqrt( Cr 2)/sqrt( Cb 2))  或 α = sign( CbCr) · tan -1(sqrt( Cb 2)/sqrt( Cr 2)), 同樣取決於特定KLT降混/升混符號，可被使用。此計算表示 基於強度之主要角度計算。基於相關性及基於強度導出方法(其在自然影像或視訊內容上得到幾乎相同結果)兩者使用點乘 CbCr= sum b ∈ B ( Cb b · Cr b ), Cb 2= sum b ∈ B ( Cb b · Cb b ), Cr 2= sum b ∈ B ( Cr b · Cr b ), 其中B等於屬於所處理的寫碼區塊(或圖像)之全部樣本位置的組。反正切運算tan - 1通常使用atan2程式化函數實施以獲得具有正確正負號的α (亦即，在正確座標象限中)。導出之-π≤α≤π可 經量化(亦即，映射)至預定義數目個角度中的一者並在區塊或圖像層級上與ICT 接通 / 斷開旗標一起 傳輸至解碼器。特定言之，以下傳輸選項可被使用以便將待在反向ICT處理期間應用的特定參數化通知解碼器： ‧ 第一選項：對於每一經寫碼區塊及/或在彼經寫碼區塊中使用的每一ICT方法，傳輸用於彼ICT方法之經量化/映射α(直接作為經量化角度值或間接作為索引)至預定義角度的查找表中。若僅僅一種ICT方法應用在區塊中且經量化/映射α經傳輸用於每一區塊，則僅僅一個α被傳輸。若ICT寫碼在區塊中 不活動，則為了效率，無經量化/映射α被傳輸用於此區塊。 ‧ 第二選項：在該圖像或視訊中對於所應用之或可應用的全部ICT方法，每一圖像或視訊(圖像組)一次傳輸經量化/映射α值。此可在圖像或視訊之開始時(例如在圖像參數組或較佳地在HEVC或VVC[3]中之圖塊標頭中)執行。若ICT寫碼在圖像或視訊中 不活動及/或無色度寫碼被執行(例如，僅僅明度輸入)，則無經量化/映射α值需要被傳輸。同樣，每一α參數可直接作為經量化角度值或間接作為索引傳輸至預定義角度值之查找表中。
兩個選項可平行或依次地組合。
為總結自適應參數化態樣之論述，吾人應注意與上文所提及之參數傳輸選項的微小偏差可容易地實施應為熟習此項技術者所顯而易見。舉例而言，自編碼器至解碼器的逐圖像或區塊ICT參數傳輸可經執行僅僅用於在可用於寫碼的兩種或多於兩種ICT方法之組中的所選擇ICT方法，例如僅僅用於方法1及2或僅僅用於方法3。此外，應顯而易見，對於為二之變換大小(亦即，橫越兩個色彩成分之ICT)，當α=π/4或α=-π/4時KLT等效於DCT或WHT。最終，除KLT外，其他變換或一般而言降混/升混規則可用作ICT，且此等可經受除旋轉角外之其他參數化(在大多數一般情況下，實際升混權重可經量化/映射及傳輸)。 3.4. 所應用 ICT 方法之加速編碼器側選擇
在現代影像及視訊編碼器中，多個所支援寫碼模式中的一者通常係基於拉格朗日位元分配技術而選擇。此意謂對於每一所支援模式m(或其子組)，所得失真D(m)及所得位元數目R(m)被計算且最小化拉格朗日函數D(m)+λR(m)之模式被選擇，其中λ為固定拉格朗日乘數。由於失真術語D(m)及速率術語R(m)之判定通常需要2d正向變換、(實際上複雜)量化及用於模式中之每一者的測試熵寫碼，因此編碼器複雜度隨所支援模式的數目而增加。且因此，編碼器複雜度亦在區塊基礎上隨所支援ICT模式之數目而增加。
然而，存在減少用於評估ICT方法之編碼器複雜度的可能性。在以下內容中，吾人強調三個實例： •  在編碼器中，可基於區塊之色彩成分的初始(殘餘樣本)(例如，藉由上文指定的方法中之一者)導出最佳旋轉角α。且給定導出角度，僅僅表示最接近此角度的旋轉之ICT方法藉由導出此方法m所需要的實際失真D(m)及實際位元數目R(m)而測試。 •  若僅僅降混方法被支援(亦即，N個色彩成分由M＜N傳輸頻道表示所藉以的方法)，則可評估僅自降混所得的失真。且接著，使用拉格朗日方法(亦即，藉由導出與方法m相關聯的實際D(m)及實際位元速率R(m))測試僅僅產生最小降混失真之方法m。 •當寫碼兩個混合頻道C1'及C2'時，如同章節3.2 .2中之方法3之情形一樣運用此等頻道中之兩者所需要的非零CBF，藉由測試在第一混合頻道(例如，C1')量化之後該第一混合頻道之經量化版本是否展現至少一個非零經量化係數，編碼器加速係可能的。若展現至少一個非零經量化係數(亦即，其CBF為非零)，則第二混合頻道(例如，C2')可經量化，且接著使用拉格朗日方法測試此兩頻道方法。然而，若第一混合頻道之經量化版本展現僅僅零經量化係數(亦即，其CBF為零)，則第二混合頻道之量化可跳過且兩頻道方法之拉格朗日測試可中止，此係由於對於給定量化參數，兩頻道方法不能隱式地發信，且因此被禁用。 3.5. 用於 ICT 旗標及模式之脈絡模型化
ICT使用之發信可耦合至CBF資訊。當兩個CBF旗標(亦即用於每一色度成分之每一變換區塊(TB)的CBF)等於零時不發信係必要的。否則，ICT旗標可取決於ICT應用之組配在位元串流中傳輸。內部與外部脈絡模型化之間的區分在此脈絡中係有幫助的，亦即內部脈絡模型化選擇脈絡模型組內之脈絡模型而外部脈絡模型化選擇脈絡模型組。用於內部脈絡模型化之組配係例如使用左上方相鄰者及檢查其ICT旗標值對相鄰TB進行的評估。自該等值至脈絡模型組內之脈絡索引的映射可為相加性(亦即，c_idx=L+B)、互斥不相交(亦即，c_idx=(L«1)+A)，或主動式(亦即，c_idx=min(1,L+B))。對於外部脈絡模型化，可使用用於ICT旗標之CBF條件。舉例而言，對於使用藉由CBF旗標之組合區分的三個變換的組配，單獨脈絡組用於CBF組合中之每一者。可替代地，外部及內部脈絡模型化兩者可考慮樹深度及區塊大小以使得不同脈絡模型或不同脈絡模型組用於不同區塊大小。
在本發明之一較佳實施例中，單一脈絡模型用於ICT旗標，亦即，脈絡模型組大小等於一。
在本發明之另一較佳實施例中，內部脈絡模型化評估相鄰變換區塊並導出脈絡模型索引。在此情況下，當使用相加性評估時，脈絡模型組大小等於三。
在本發明之一較佳實施例中，外部脈絡模型化使用不同脈絡模型組用於每一CBF旗標組合，從而當ICT以每一CBF組合產生不同ICT變換的方式組配時產生三個脈絡模型組。
在本發明之另一較佳實施例中，在兩個CBF旗標皆等於一的情況下，外部脈絡模型化使用專用脈絡模型組，而其他情況使用相同脈絡模型組。
本文參考編碼器之特徵提供的描述亦無任何限制地應用於一各別解碼器，該各別解碼器經調適以例如使用諸如無線或有線網路之資料連接直接地或藉由使用諸如攜帶型媒體或伺服器之儲存媒體間接地自編碼器接收信號或位元串流。反過來，結合解碼器解釋的特徵可無任何限制地實施為根據一實施例的編碼器中之對應特徵。在其他特徵之中，此包括與解碼器相關的依賴於直接及明確地評估資訊之特徵揭示用於產生及/或傳輸各別資訊的編碼器之各別特徵。詳言之，編碼器可包含對應於所主張解碼器的功能性，尤其用於測試及評估所選擇編碼。
儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，在方法步驟之上下文中所描述之態樣亦表示一對應區塊或項目或一對應設備之特徵的描述。
本發明經編碼影像或視訊信號可儲存於數位儲存媒體上或可在傳輸媒體(諸如無線傳輸媒體或有線傳輸媒體，諸如網際網路)上傳輸。
取決於某些實施要求，本發明之實施例可在硬體或軟體中實施。實施可使用數位儲存媒體來執行，該媒體例如軟性磁碟、DVD、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可程式化電腦系統協作(或能夠協作)，使得執行各別方法。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可程式化電腦系統協作，使得執行本文中所描述之方法中的一者。
通常，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上執行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中的一者的電腦程式。
換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式於電腦上執行時執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。
因此，本發明之方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通信連接(例如，經由網際網路)而傳送。
另一實施例包含處理構件，例如經組配或經調適以執行本文中所描述之方法中的一者的電腦或可程式化邏輯裝置。
另一實施例包含電腦，其上安裝有用於執行本文中所描述之方法中之一者的電腦程式。
在一些實施例中，可程式化邏輯裝置(例如，場可程式化閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可程式化閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，該等方法較佳地由任何硬體設備來執行。
[t1] 上述實施例僅說明本發明之原理。應理解，對本文中所描述之組配及細節的修改及變化將對熟習此項技術者顯而易見。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉由本文中實施例之描述及解釋所呈現的特定細節限制。
諸圖之以下描述以呈現基於區塊之預測性編解碼器的編碼器及解碼器之描述開始，該基於區塊之預測性編解碼器用於對視訊之圖像進行寫碼以便形成其中可建置本發明之實施例之寫碼框架的實例。參看圖1至圖3描述各別編碼器及解碼器。在下文中，呈現本發明之概念的實施例之描述以及關於此等概念可如何分別建置至圖1及圖2之編碼器及解碼器中的描述，但運用後續圖4及之後描述的實施例亦可用以形成並不根據在圖1及圖2之編碼器及解碼器下層的寫碼框架操作的編碼器及解碼器。
即使相等或等效元件或具有相等或等效功能性之元件出現於不同圖式中，以下描述中仍藉由相同或等效參考數字來指示該等元件。
在以下描述中，闡述多個細節以提供對本發明之實施例的較透徹解釋。然而，熟習此項技術者將顯而易見，可在無此等特定細節之情況下實踐本發明之實施例。在其他情況下，以方塊圖形式而非詳細展示熟知結構及裝置以便避免混淆本發明之實施例。另外，除非另外特定指出，否則可將下文中所描述之不同實施例的特徵彼此組合。
圖1展示用於例示性使用基於變換之殘餘寫碼將圖像12預測性地寫碼至資料串流14中之設備。使用參考符號10指示該設備或編碼器。圖2展示對應解碼器20，亦即經組態以亦使用基於變換之殘餘解碼預測性地解碼來自資料串流14之圖像12'的設備20，其中撇號已用以指示如由解碼器20重建構的圖像12'偏離由設備10依據藉由預測殘餘信號之量化引入的寫碼損失最初編碼的圖像12。圖1及圖2示例性地使用基於變換之預測殘餘寫碼，但本申請案之實施例不限於此類預測殘餘寫碼。對於參看圖1及圖2所描述之其他細節亦係如此，如將在下文所概述的。
編碼器10經組配以使預測殘餘信號經受空間至頻譜變換且將因此獲得之預測殘餘信號編碼成資料串流14。同樣，解碼器20經組配以自該資料串流14解碼預測殘餘信號且使因此獲得之預測殘餘信號經受頻譜至空間變換。
在內部，編碼器10可包含產生預測殘餘24以便量測預測信號26與初始信號(亦即，與圖像12)之偏差的預測殘餘信號形成器22。預測殘餘信號形成器22可例如係自初始信號(亦即，自圖像12)減去預測信號之減法器。編碼器10接著進一步包含變換器28，該變換器使預測殘餘信號24經受空間至頻譜變換以獲得譜域預測殘餘信號24'，該譜域預測殘餘信號接著經受藉由亦由編碼器10包含之量化器32進行的量化。因此，將經量化預測殘餘信號24"寫碼至位元串流14中。為此目的，編碼器10可任擇地包含熵寫碼器34，該熵寫碼器將如變換及量化之預測殘餘信號熵寫碼至資料串流14中。預測信號26由編碼器10之預測級36基於編碼至資料串流14中且可自資料串流14解碼的預測殘餘信號24"產生。為此目的，如圖1中所展示，預測級36可在內部包含：去量化器38，其去量化預測殘餘信號24"以便獲得譜域預測殘餘信號24"，該信號除量化損失以外對應於信號24'；繼之以反向變換器40，其使後一預測殘餘信號24"'經受反向變換，亦即，頻譜至空間變換，以獲得除量化損失以外對應於初始預測殘餘信號24之預測殘餘信號24""。預測級36之組合器42接著諸如藉由相加來重組合預測信號26與預測殘餘信號24''''，以便獲得經重建構信號46，亦即，初始信號12之重建構。經重建信號46可對應於信號12'。預測級36之預測模組44接著藉由使用例如空間預測(亦即，圖像內預測)及/或時間預測(亦即，圖像間預測)基於信號46產生預測信號26。
同樣，如圖2中所示，解碼器20可在內部由對應於預測級36並以對應於該預測級之方式互連的組件組成。詳言之，解碼器20之熵解碼器50可對來自資料串流之經量化譜域預測殘餘信號24"進行熵解碼，接著以上文關於預測級36之模組描述的方式互連及協作的去量化器52、反向變換器54、組合器56及預測模組58基於預測殘餘信號24"恢復經重建構信號以使得如圖2中所示組合器56之輸出產生經重建構信號，亦即圖像12'。
儘管上文未特定描述，但容易瞭解編碼器10可根據某一最佳化方案(諸如以最佳化某一速率及失真相關準則(亦即寫碼成本)方式)設定一些寫碼參數，包括例如預測模式、運動參數及類似者。舉例而言，編碼器10及解碼器20及對應模組44、58可分別支援不同預測模式，諸如框內寫碼模式及框間寫碼模式。編碼器及解碼器在此等預測模式類型之間切換所藉以的粒度可對應於圖像12及12'分別細分成寫碼片段或寫碼區塊。在此等寫碼片段之單元中，舉例而言，圖像可細分成經框內寫碼之區塊及經框間寫碼之區塊。經框內寫碼區塊係基於如在下文更詳細地概述的各別區塊之空間已經寫碼/經解碼鄰域來預測。若干框內寫碼模式可存在並經選擇用於各別經框內寫碼片段，包括定向或角度框內寫碼模式，各別片段根據定向或角度框內寫碼模式藉由沿著對各別定向框內寫碼模式具專一性的某一方向將鄰域之取樣值外推成各別經框內寫碼片段而填充。框內寫碼模式可(例如)亦包含一或多個其他模式，諸如：DC寫碼模式，用於各別經框內寫碼區塊的預測根據該DC寫碼模式指派DC值至各別經框內寫碼片段內之全部樣本；及/或平面框內寫碼模式，各別區塊之預測根據該平面框內寫碼模式估算或判定為藉由相對於具有由二維線性函數基於相鄰樣本定義的平面之驅動傾斜及偏移的各別經框內寫碼區塊之取樣位置的二維線性函數描述的取樣值之空間分佈。與其比較，可例如在時間上預測經框間寫碼區塊。對於經框間寫碼區塊，運動向量可在資料串流內發信號，該等運動向量指示圖像12所屬於的視訊之先前經寫碼圖像的部分之空間位移，先前經寫碼/解碼圖像在資料串流處經取樣以便獲得用於各別經框間寫碼區塊之預測信號。此意謂除了藉由資料串流14包含的殘餘信號寫碼(諸如表示經量化譜域預測殘餘信號24"之熵寫碼變換係數層級)之外，資料串流14可已將其編碼成用於指派寫碼模式至各種區塊的寫碼模式參數、用於區塊中之一些的預測參數(諸如用於經框間寫碼片段之運動參數)，及任擇之其他參數(諸如用於控制及發信圖像12及12'分別成片段的細分之參數)。解碼器20使用此等參數以與編碼器相同之方式細分圖像，從而將相同預測模式指派給片段，且執行相同預測以產生相同預測信號。
圖3說明一方面經重建構信號(亦即，經重建構圖像12')與另一方面如在資料串流14中發信之預測殘餘信號24""及預測信號26之組合之間的關係。如上文已指示，該組合可為相加。預測信號26在圖3中說明為圖像區域成使用陰影線例示性指示之經框內寫碼區塊及非陰影例示性指示的經框間寫碼區塊之細分。該細分可為任何細分，諸如圖像區域成正方形區塊或非正方形區塊之列及行之常規細分或來自樹根區塊之圖像12成多個具有不同大小之葉區塊之多分樹細分，諸如四分樹細分等等，其中圖3中說明其混合，在圖3中，圖像區域首先細分成樹根區塊之列及行，該等樹根區塊接著根據遞歸多分樹細分而另外細分成一或多個葉區塊。
再次，資料串流14可具有其中對於經框內寫碼區塊80寫碼的框內寫碼模式，其指派若干支援框內寫碼模式中之一者給各別經框內寫碼區塊80。對於經框間寫碼區塊82，資料串流14可具有寫碼於其中之一或多個運動參數。一般而言，經框間寫碼區塊82並不受限於在時間上寫碼。替代地，經框間寫碼區塊82可為超出當前圖像12 (諸如圖像12屬於的視訊之先前經寫碼圖像，或在編碼器及解碼器分別為可調式編碼器及解碼器之情況下，另一視圖之圖像或階層式下部層)自身的自先前寫碼部分預測之任何區塊。
圖3中之預測殘餘信號24""亦說明為圖像區域成區塊84之細分。此等區塊可被稱作變換區塊，以便將其與寫碼區塊80及82區分開。實際上，圖3說明編碼器10及解碼器20可使用圖像12及圖像12'分別成區塊之兩個不同細分，亦即分別成寫碼區塊80及82之一個細分及成變換區塊84之另一細分。兩種細分可能相同，亦即，每一寫碼區塊80及82可同時形成變換區塊84，但圖3說明如下情況：其中例如成變換區塊84之細分形成成寫碼區塊80、82之細分的延伸，使得區塊80及82之兩個區塊之間的任何邊界重疊兩個區塊84之間的邊界，或替代而言，每一區塊80、82與變換區塊84中之一者重合抑或與變換區塊84之叢集重合。然而，亦可獨立於彼此判定或選擇細分，使得變換區塊84可替代地跨越區塊80、82之間的區塊邊界。就細分成變換區塊84而言，類似陳述因此如同關於細分成區塊80、82所提出之彼等陳述而成立，亦即，區塊84可係圖像區域分成區塊(具有或不具有成列及行的配置)之常規細分的結果、圖像區域之遞歸多分樹細分的結果，或其組合或任何其他類別之分塊。順便指出，應注意，區塊80、82及84不限於正方形、矩形或任何其他形狀。
圖3進一步說明預測信號26與預測殘餘信號24""之組合直接產生經重建信號12'。然而，應注意，多於一個預測信號26可根據替代實施例與預測殘餘信號24""組合以產生圖像12'。
在圖3中，變換區塊84應具有以下重要性。變換器28及反向變換器54以此等變換區塊84為單位執行其變換。舉例而言，許多編解碼器將某種DST或DCT用於所有變換區塊84。一些編解碼器允許跳過變換，使得對於變換區塊84中之一些，直接在空間域中寫碼預測殘餘信號。然而，根據下文描述之實施例，編碼器10及解碼器20以使得其支援若干變換之方式進行組配。舉例而言，由編碼器10及解碼器20支援之變換可包含： o       DCT-II (或DCT-III)，其中DCT代表離散餘弦變換 o       DST-IV，其中DST代表離散正弦變換 o       DCT-IV o       DST-VII o       標識變換(IT)
當然，雖然變換器28將支援此等變換之所有正向變換版本，但解碼器20或反向變換器54將支援其對應的後向或反向版本： o     反向DCT-II(或反DCT-III) o     反向DST-IV o     反向DCT-IV o     反向DST-VII o     標識變換(IT)
後續描述提供關於可由編碼器10及解碼器20支援之變換的更多細節。在任何情況下，應注意，所支援變換之組可包含僅一個變換，諸如一個頻譜至空間或空間至頻譜變換。
如上文已概述，已呈現圖1至圖3作為實例，在該實例中可實施下文進一步描述之本發明概念以便形成根據本申請案的視訊編碼器及解碼器之特定實例。就此而言，圖1及圖2之編碼器及解碼器可分別表示下文所描述之本文中的視訊編碼器及解碼器的可能實施。然而，圖1及圖2僅僅為實例。然而，根據本申請案之實施例之編碼器可使用下文更詳細地概述之概念執行圖像12之基於區塊之編碼，且與諸如圖1之編碼器的不同之處例如在於根據本申請案之實施例之編碼器並非視訊編碼器，但為靜態圖像編碼器，不同之處在於根據本申請案之實施例之編碼器不支援框間預測，或不同之處在於細分成區塊80以不同於圖3中例示之方式執行。同樣，根據本申請案之實施例之解碼器可使用下文進一步概述之寫碼概念自資料串流14執行圖像12'之基於區塊之解碼，但與例如圖2之解碼器20之不同之處可在於根據本申請案之實施例之解碼器並非視訊解碼器，但為靜態圖像解碼器，不同之處在於根據本申請案之實施例之解碼器不支援框內預測，或不同之處在於根據本申請案之實施例之解碼器以不同於關於圖3所描述之方式將圖像12'細分成區塊，及/或不同之處在於根據本申請案之實施例之解碼器不自變換域中而自例如空間域中之資料串流14導出預測殘餘。
現將在至少部分參看圖4a及圖4b的同時描述本發明的實施例，圖4a及圖4b分別展示各別編碼器60 1、60 2及各別解碼器65 1、65 2的功能性。圖4a及圖4b之組配鑒於分別應用本發明所選擇成分間變換62 1或62 2、其反向版本62 1'或62 2'所藉以的依序次序而關於彼此偏離。
由上述討論將可理解，本發明可另以多種實施例形式體現，包含但不限於下列：
1. 一種用以編碼待編碼之影像的影像內容區之多個成分的編碼器，其中該編碼器組配來進行下列動作： 獲得表示該影像內容區之該等多個成分； 從一組成分間變換中選擇一成分間變換； 使用該所選擇成分間變換編碼該等多個成分以獲得經編碼成分；及 提供該等經編碼成分。
2. 如實施例1之編碼器，其中該所選擇成分間變換經實施以便組合該等多個成分之至少一第一成分與該等多個成分之一第二成分。
3. 如實施例1或2之編碼器，其中該編碼器組配來基於一成本函數選擇該成分間變換，其中該編碼器組配來依據一所得解碼失真及/或位元分配(位元之數目)選擇具有一最小編碼成本的該成分間變換。
4. 如實施例3之編碼器，其中該編碼器組配來將成分間變換之至少一子組應用於該等成分以評估該成本函數並將成分間變換之該子組限於該組成分間變換中之成分間變換，其導致一解碼失真及/或在一預定容許度範圍內的該等成分之位元的一數目。
5. 如前述實施例1至4中任一者之編碼器，其中該等多個成分對應於一色彩域及/或一明度-色度域中之至少一者。
6. 如前述實施例1至5中任一者之編碼器，其中該編碼器組配來編碼該等多個成分以便當與所獲得成分之數目相比時具有一較少數目個成分。
7. 如前述實施例1至6中任一者之編碼器，其中該編碼器組配來獲得該等經編碼成分以便包含至少一個降混頻道，該降混頻道表示該等多個成分之一第一成分及該等多個成分之一第二成分的一組合編碼。
8. 如實施例7之編碼器，其中該降混頻道為一第一降混頻道，其中該編碼器進一步組配來獲得該等經編碼成分以便包含一第二降混頻道及基於提供該第一降混頻道及該第二降混頻道而提供該等經編碼成分。
9. 如實施例7或8之編碼器，其中該編碼器組配來編碼至少兩個降混頻道，其中該編碼器組配來在一第一混合頻道量化之後判定該第一混合頻道之經量化版本是否展現至少一個非零經量化係數； 其中該編碼器組配來在一肯定情況下量化該第二混合頻道，接著使用一拉格朗日方法測試所實施兩頻道方法；及 其中該編碼器組配來在一否定情況下跳過該第二混合頻道之量化及跳過或中止該兩頻道方法之拉格朗日測試。
10. 如實施例7至9中任一者之編碼器，其中該組成分間變換包含實施成分之一降混的多個成分間變換，其中選擇該成分間變換包含關於在該等成分中產生的一失真評估該等降混變換中之每一者；選擇具有一最小失真之該降混變換並使用具有該最小失真之該降混變換執行一拉格朗日測試。
11. 如前述實施例1至10中任一者之編碼器，其中該編碼器組配來決定使用該組成分間變換中之一個成分間變換或不使用該組成分間變換中之任一者。
12. 如實施例11之編碼器，其中該編碼器組配來對於每一影像內容區決定使用該組成分間變換中之一個成分間變換或不使用該組成分間變換中之任一者。
13. 如實施例12之編碼器，其中該編碼器組配來判定該組成分間變換中之每一者的一使用之一成本及不使用該組成分間變換中之任一者的一成本、及當其成本低於該等成分間變換中之每一者的成本時決定不使用該組成分間變換中之任一者。
14. 如前述實施例1至13中任一者之編碼器，其中該編碼器組配來發信以下各者中之至少一者至一解碼器： 該所選擇成分間變換；及 用於該影像內容區之一成分間變換的一使用或不使用。
15. 如前述實施例1至14中任一者之編碼器，其中該等多個成分間變換中之一第一成分間變換及該等多個成分間變換中之一第二成分間變換係基於關於該第一成分間變換與該第二成分間變換之間的至少一個參數不同的一相同判定規則結構，其中該編碼器組配來提供或發信與該所選擇成分間變換相關聯的該參數至一解碼器。
16. 如實施例15之編碼器，其中該參數係關於該成分間變換之一量化步長。
17. 如前述實施例1至16中任一者之編碼器，其中該編碼器組配來基於區塊之影像或視訊寫碼。
18. 如前述實施例1至17中任一者之編碼器，其中該影像內容區為以下各者中的一者：一視訊、一寫碼樹型單元、一寫碼單元、一變換單元或一視訊、影像、圖框、圖像塊或圖塊內的一區塊。
19. 如前述實施例1至18中任一者之編碼器，其中該編碼器組配來發信對應於一層級之該所選擇成分間變換，該層級上的該成分間變換應用於一所提供位元串流中之該影像內容區。
20. 如實施例19之編碼器，其中該編碼器組配來隱式地發信該所選擇成分間變換。
21. 如實施例20之編碼器，其中該編碼器組配來對於每一經編碼成分傳輸零資訊，較佳地一經寫碼區塊旗標(CBF)，該旗標指出該個別成分之一殘餘是否包含非零值，其中用於該等多個成分的零資訊之一組合指出該所選擇成分間變換。
22. 如實施例20或21之編碼器，其中該等多個成分間變換包含恰好兩個成分間變換，其中該編碼器組配來基於以下規則藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而隱式地發信該所選擇成分間變換(ICT)：
第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法
0(假) 0(假) 無   
1(真) 0(假) 方法1   
0(假) 1(真) 方法2   
1(真) 1(真) 無 。
23. 如實施例20或21之編碼器，其中該等多個成分間變換包含恰好三個成分間變換，其中該編碼器組配來基於以下規則藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而隱式地發信該所選擇成分間變換(ICT)：
第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法
0(假) 0(假) 無   
1(真) 0(假) 方法1   
0(假) 1(真) 方法2   
1(真) 1(真) 方法3 。
24. 如前述實施例1至23中任一者之編碼器，其中該編碼器組配來較佳地藉由使用一個二進位旗標發信該組成分間變換中之一者的一使用，及用於另外發信該所選擇成分間變換。
25. 如實施例24之編碼器，其中該編碼器組配來藉由提供指出至少一個參數與該所選擇成分間變換相關的一資訊而發信該所選擇成分間變換；其中該至少一個參數為一經量化或經去量化值。
26. 如實施例24或25之編碼器，其中該編碼器組配來發信通常用於多個影像內容區的該成分間變換之該使用。
27. 如前述實施例1至26中任一者之編碼器，其中該第一成分及/或該第二成分為一色彩成分；或其中該第一及該第二成分中之一者為一色彩成分且另一者為一非色彩成分。
28. 如前述實施例1至27中任一者之編碼器，其中該組成分間變換包含實施一基於變換之寫碼的至少一個變換。
29. 如實施例28之編碼器，其中該組成分間變換的至少一第一及一第二成分間變換係基於一基於變換之寫碼，基於以下判定規則： C 1= C E1· cos α + C E2· sin α；及   C 2= -C E1· sin α + C E2· cos α；或 C 1= C E1· sin α + C E2· cos α；及   C 2= C E1· cos α - C E2· sin α 其中C E1及C E2為該第一成分及該第二成分，C 1及C 2為該第一及該第二成分間變換之結果，且α表示應用於該成分間變換的一旋轉角； 其中該第一及該第二成分間變換的該旋轉角α彼此不同。
30. 如實施例29之編碼器，其中該組成分間變換包含基於相同判定規則且該旋轉角不同的至少一第三成分間變換。
31. 如實施例29或30之編碼器，其中可選擇的該旋轉角之值經預定義並經實施以便經提供用於正交成分間變換。
32. 如實施例29或30之編碼器，其中該編碼器組配來藉由較佳地使用一基於相關性或一基於強度之方法基於至少一第一及一第二成分判定待應用的該旋轉角而選擇該成分間變換。
33. 如實施例32之編碼器，其中該編碼器組配來基於一基於相關性之方法基於以下判定規則來判定該旋轉角： α = ½ · tan -1(2 · C E1C E2 / ( C E1 2- C E2 2))；或 α = ½ · tan -1(2 · C E1C E2 / ( C E2 2- C E1 2))， 其中在C E1C E2情況下，C E1²及C E2²為該第一與該第二成分之間的一相關性矩陣的各別項。
34. 如實施例37之編碼器，其中該編碼器組配來基於一基於強度之方法基於以下判定規則來判定該旋轉角： α = sign( C E1C E2 ) · tan -1(sqrt( C E2 2)/sqrt( C E1 2))；或 α = sign( C E1C E2 ) · tan -1(sqrt( C E1 2)/sqrt( C E2 2))， 在C E1C E2情況下，C E1²及C E2²為該第一與該第二成分之間的一相關性矩陣的各別項。
35. 如實施例31至34中任一者之編碼器，其中該編碼器組配來判定該旋轉值α及進行下列動作： 使用該經判定旋轉值用於一第一成分間變換、及反轉該旋轉值之一正負號以獲得一經反轉旋轉角及使用該經反轉旋轉角用於一第二成分間變換；或 向上取整該經判定旋轉角以獲得一上取整旋轉角及使用該上取整旋轉角用於一第一成分間變換；及向下取整該經判定旋轉角以獲得一下取整旋轉角及使用該下取整旋轉角用於一第二成分間變換。
36. 如實施例29至35中任一者之編碼器，其中該編碼器組配來發信該旋轉角或指出該旋轉角或指出其一經量化版本的一資訊，其中該發信動作對於至少一個影像內容區係有效的。
37. 如實施例36之編碼器，其中該發信動作對於至少兩個影像內容區係有效的。
38. 如前述實施例1至37中任一者之編碼器，其中該組成分間變換包含實施具有一減少數目之成分的一基於降混之寫碼的至少一個變換。
39. 如實施例38之編碼器，其中一第一成分間變換及一第二成分間變換係基於以下判定規則：
ICT方法 降混規則(正向變換) 升混規則(反向變換)
1(初級) C = (C E1+ C E2)/2 C D1' = C' C D2' = C'
2(二級) C = (C E1- C E2)/2 C D1' = C' C D2' = -C'
其中C E1及C E2為該第一及該第二成分，C為該成分間變換的結果，C'為在該解碼器處之該成分間結果之經解碼結果，且C D1'及C D2'係該等經解碼第一成分及第二成分。
40. 如實施例38之編碼器，其中一第一成分間變換、一第二成分間變換及一第三成分間變換係基於以下判定規則：
ICT方法 降混規則(正向變換) 升混規則(反向變換)
1(初級) C = (C E1+ C E2)/2 C D1' = C' C D2' = C'
2(二級) C = (C E1- C E2)/2 C D1' = C' C D2' = -C'
3(三級) C 1= (CE 1+ CE 2)/2 C 2= (CE 1- CE 2)/2 C D1' = C 1' + C 2' C D2' = C 1' - C 2'
其中C E1及C E2為該第一及該第二成分，C、C 1及C 2為該成分間變換的結果，C'、C1'及C2'為在該解碼器處之該成分間結果之經解碼結果，且C D1'及C D2'係該等經解碼第一成分及第二成分。
41. 如前述實施例1至40中任一者之編碼器，其中該等多個成分之一第一成分C E1為一YCbCr方案之一Cb成分；其中該等多個成分之一第二成分C E2為該YCbCr方案之一Cr成分。
42. 如前述實施例1至41中任一者之編碼器，其中該組成分間變換包含實施一基於變換之寫碼的至少一個變換；且包含實施具有一減少數目之成分的一基於降混寫碼的至少一個變換。
43. 如前述實施例1至42中任一者之編碼器，其中該組成分間變換包含一離散餘弦變換、一離散正弦變換、一沃爾什-哈達馬德(Walsh-Hadamard)變換及一Karhunen-Loève變換/主成分分析中之至少一者。
44. 如前述實施例1至43中任一者之編碼器，其中該組成分間變換包含經調適以便將該第一成分及該第二成分組合成一共同成分使得該第一成分及該第二成分由該共同成分表示的至少一個變換，其中該編碼器組配來提供該共同成分。
45. 如前述實施例1至44中任一者之編碼器，其中該編碼器組配來在該影像內容區之基礎上發信識別該所選擇成分間變換的一索引。
46. 如前述實施例1至45中任一者之編碼器，其中該編碼器組配來將該所選擇成分間變換應用於該等多個成分以便獲得一殘餘信號並將該殘餘信號作為該等經編碼成分提供。
47. 如前述實施例1至46中任一者之編碼器，其中該編碼器組配來在添加一預測信號之前或在去量化影像內容之前編碼該等多個成分。
48. 一種組配來解碼所接收影像的影像內容區之經編碼成分的解碼器，其中該解碼器組配來進行下列動作： 獲得該等經編碼成分； 自一組反向成分間變換中選擇一反向成分間變換；及 使用該所選擇反向成分間變換來解碼表示該影像內容區的多個成分。
49. 如實施例48之解碼器，其中該解碼器組配來藉由升混與該所接收影像內容區相關的至少一個經解碼降混頻道來解碼該等多個成分之一第一成分及一第二成分，該經解碼降混頻道表示該等多個成分之該第一成分及該第二成分的一組合編碼。
50. 如實施例49之解碼器，其中該解碼器組配來基於以下判定規則解碼該第一成分及該第二成分：
Figure 02_image051
其中Cb'為該經解碼第一成分，Cr'為該經解碼第二成分，a及b表示混合因數且C'為該經解碼降混頻道。
51. 如實施例50之解碼器，其中該混合因數a或該混合因數b中任一者等於1。
52. 如前述實施例48至51中任一者之解碼器，其中該組反向成分間變換的至少一第一反向成分間變換係基於以下判定規則：
Figure 02_image053
其中該判定規則表示兩個反向成分間變換；其中
Figure 02_image005
表示信號空間中之一旋轉角且
Figure 02_image007
及
Figure 02_image009
表示非零加權因數，
Figure 02_image055
及
Figure 02_image057
表示該等經編碼成分之經重建構版本；且C D1'及C D2'表示在一解碼器處使用具有正交基準函數之一變換導出的該等成分。
53. 如實施例52之解碼器，其中該解碼器組配來實施
Figure 02_image059
或
Figure 02_image061
。
54. 如實施例52或53之解碼器，其中該組成分間變換的至少一第一成分間變換係基於以下判定規則：
Figure 02_image063
Figure 02_image065
其中
Figure 02_image023
且a表示對應於
Figure 02_image067
的一參數。
55. 如實施例52至54中任一者之解碼器，其中該解碼器組配來選擇該旋轉角以便獲得基本上正交之成分間變換。
56. 如實施例49至55中任一者之解碼器，其中該經解碼降混頻道為一第一降混頻道，其中該解碼器組配來獲得與同一接收影像內容區相關的一第二經解碼降混頻道，其中該解碼器組配來基於解碼該第二降混頻道而獲得至少一第三成分。
57. 如實施例56之解碼器，其中該解碼器組配來使用來自該等多個反向成分間變換的一第一反向成分間變換解碼該第一降混頻道；及使用來自該等多個反向成分間變換之一第二反向成分間變換解碼該第二降混頻道；其中該解碼器組配來選擇該第一及該第二反向成分間變換以便相對於彼此基本上正交。
58. 如實施例48至57中任一者之解碼器，其中該解碼器組配來接收指出來自該組反向成分間變換之一反向成分間變換的資訊，並根據該資訊選擇該反向成分間變換。
59. 如實施例58之解碼器，其中該解碼器組配來對於每一經編碼成分接收零資訊，較佳地一經寫碼區塊旗標(CBF)，該旗標指出該個別成分之一殘餘是否包含非零值，其中用於該等多個成分的零資訊之一組合指出該所選擇成分間變換。
60. 如實施例58或59之解碼器，其中該等多個反向成分間變換包含恰好兩個反向成分間變換，其中該解碼器組配來解碼基於以下規則藉由一編碼器藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而選擇的一隱式發信之成分間變換(ICT)：
第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法
0(假) 0(假) 無   
1(真) 0(假) 方法1   
0(假) 1(真) 方法2   
1(真) 1(真) 無 。
61. 如實施例58或59之解碼器，其中該等多個反向成分間變換包含恰好三個反向成分間變換，其中該解碼器組配來解碼基於以下規則藉由一編碼器藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而選擇的一隱式發信之成分間變換(ICT)：
第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法
0(假) 0(假) 無   
1(真) 0(假) 方法1   
0(假) 1(真) 方法2   
1(真) 1(真) 方法3 。
62. 如實施例48至62中任一者之解碼器，其中該解碼器組配來從包含該等經編碼成分的一所接收位元串流獲得作為表示一第一成分及一第二成分的一經解碼共同成分；及用於選擇引導該解碼器基於以下判定規則判定該第一成分及該第二成分的一反向成分間變換：
Figure 02_image069
其中
Figure 02_image071
表示一旋轉角，
Figure 02_image073
表示一按比例調整因數，C D1'及C D2'表示經解碼第一及第二成分且C'表示經解碼共同成分。
63. 如實施例62之解碼器，其中該解碼器組配來選擇該反向成分間變換以便基於以下判定規則判定該第一成分及該第二成分：
Figure 02_image075
或基於以下判定規則：
Figure 02_image077
其中a及b表示按比例調整因數。
64. 如實施例48至63中任一者之解碼器，其中該解碼器組配來接收該等經編碼成分作為一殘餘信號；其中解碼該所選擇反向成分間變換包含添加一經重建構影像內容至該等經編碼成分。
65. 如實施例48至64中任一者之解碼器，其中該組反向成分間變換的至少一第一及一第二反向成分間變換係基於一基於變換之寫碼，基於以下判定規則： C D1' = C 1' · cos α - C 2' · sin α；及   C D2' = C 1' · sin α + C 2' · cos α；或 C D1' = C 1' · sin α + C 2' · cos α；及 C D2' = C 1' · cos α - C 2' · sin α 其中C D1及C D2為該接收之第一及第二成分，C 1'及C 2'為該第一及該第二反向成分間變換之結果，且α表示應用於該成分間變換的一旋轉角； 其中該第一及該第二反向成分間變換的該旋轉角α彼此不同。
66. 如實施例48至65中任一者之解碼器，其中該解碼器組配來使用一脈絡模型組中之一脈絡模型解碼該影像內容區，其中該脈絡模型使用一影像之先前解碼之影像內容區；其中該脈絡模型組係與指出一成分間變換被使用的一成分間變換旗標相關聯。
67. 如實施例66之解碼器，其中該解碼器組配來從至少一第一及一第二脈絡模型中選出該脈絡模型；或在該脈絡模型之一使用及一不使用之間作出選擇。
68. 如實施例67之解碼器，其中該解碼器組配來從包含至少一個脈絡模型的一組脈絡模型中選出該脈絡模型。
69. 如實施例67或68之解碼器，其中該脈絡模型組包含數個恰好三個脈絡模型，其中該解碼器組配來評估該影像內容區之相鄰影像內容區，並基於該評估選擇用於當前影像內容區之該脈絡模型。
70. 如實施例69之解碼器，其中該解碼器組配來基於該脈絡模型組內的一脈絡索引評估該影像內容區之相鄰影像內容區，該脈絡索引為相加性(亦即，c_idx=L+A)、互斥不相交(亦即，c_idx=(L«1)+A)，或主動式(亦即，c_idx=min(1,L+A))； 其中該索引c_idx指出被選擇的該脈絡模型且L及A表示相鄰影像內容區，例如一左邊及一上方相鄰者。
71. 如實施例66至70中任一者之解碼器，其中該解碼器組配來從恰好三個脈絡模型組中選出一個脈絡模型組，並從含於該所選擇脈絡模型組中的該至少一個脈絡模型選出該脈絡模型。
72. 如實施例66至71中任一者之解碼器，其中為了選擇該脈絡模型，該解碼器組配來使用針對指出所使用之該成分間變換的一成分間變換旗標之一經寫碼區塊資訊(經寫碼區塊旗標條件)。
73. 如實施例72之解碼器，其中該經寫碼區塊資訊包含用於至少一第一及一第二成分的一第一經寫碼區塊旗標及一第二經寫碼區塊旗標，其中該解碼器組配來將不同脈絡模型組與該第一及該第二經寫碼區塊旗標之不同組合相關聯。
74. 如實施例73之解碼器，其中該脈絡模型組包含與該成分間變換旗標相關的恰好一個脈絡模型。
75. 如實施例66至74中任一者之解碼器，其中該解碼器組配來對於每一經編碼成分接收零機率資訊，該資訊指出一機率，較佳地一經寫碼區塊旗標(CBF)，其指出該個別成分之一殘餘是否包含非零值，且回應於指出一非零殘餘的恰好一個零資訊而選出包含至少一個脈絡模型的一第一脈絡模型組，並回應於指出一個別非零殘餘的至少一第一及一第二零資訊而選出包含至少一個脈絡模型之一不同第二脈絡模型組。
76. 一種用以編碼待編碼之影像的影像內容區之多個成分的方法，其中該方法包含： 獲得表示該影像內容區之該等多個成分； 從一組成分間變換中選擇一成分間變換； 使用該所選擇成分間變換編碼該等多個成分以獲得經編碼成分；及 提供該等經編碼成分。
77. 一種用以解碼所接收影像的影像內容區之經編碼成分的方法，其中該方法包含： 獲得該等經編碼成分； 從一組反向成分間變換中選擇一反向成分間變換；及 使用該所選擇反向成分間變換來解碼表示該影像內容區的多個成分。
78. 一種儲存有電腦程式之電腦可讀數位儲存媒體，該電腦程式具有一程式碼，當該程式碼在一電腦上運行時執行如實施例76或77之方法。
79. 一種資料串流，其藉由如實施例76或77之方法獲得。 4. 參考文獻
[1]  K. Zhang, J. Chen, L. Zhang, M. Karczewicz, “Enhanced cross-component linear model intra prediction,” JVET-D0110, 2016, http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=2806
[2]  J. Lainema, “CE7-rel.: Joint coding of chrominance residuals,” JVET-M0305, Marrakech, Jan. 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5112
[3]  B. Bross, J. Chen, S. Liu, “Versatile Video Coding (Draft 4),” v. 4, JVET-M1001, Marrakech, Feb. 2019. http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755
[4]  J. D. Johnston, “Perceptual Transform Coding of Wideband Stereo Signals,” in Proc. IEEE Int. Conf. Acoust. Speech Sig. Process. (ICASSP), Glasgow, vol. 3, pp. 1993–1996, May 1989.
[5]  J. D. Johnston and A. J. S. Ferreira, “Sum-Difference Stereo Transform Coding,” in Proc. IEEE Int. Conf. Acoust. Speech Sig. Process. (ICASSP), San Francisco, vol. 2, pp. 569–572, Mar. 1992.
[6]  R. G. van der Waal and R. N. J. Veldhuis, “Subband Coding of Stereophonic Digital Audio Signals,” in Proc. IEEE Int. Conf. Acoust. Speech Sig. Process. (ICASSP), Toronto, pp. 3601–3604, Apr. 1991. https://www.computer.org/csdl/proceedings/icassp/1991/0003/00/00151053.pdf
10,60 1,60 2:編碼器 12,12':圖像 14:資料串流 20,65 1,65 2:解碼器 22:預測殘餘信號形成器 24:預測殘餘 24':譜域預測殘餘信號 24",24"',24"":預測殘餘信號 26:預測信號 28:變換器 32:量化器 34:熵寫碼器 36:預測級 38,52:去量化器 40,54:反向變換器 42,56:組合器 44,58:預測模組 46:經重建信號 50:熵解碼器 62 1,62 2:成分間變換 62 1',62 2':成分間變換之反向版本 80,82:經框內寫碼區塊 84:變換區塊
圖1展示用於例示性使用基於變換之殘餘寫碼將圖像12預測性地寫碼至資料串流14中的設備。
圖2展示對應解碼器20，亦即經組態以亦使用基於變換之殘餘解碼對來自資料串流14之圖像12'進行預測性地解碼的設備20。
圖3進一步說明預測信號26與預測殘餘信號24""之組合直接產生經重建構信號12'。
圖4a及圖4b分別展示各別編碼器60 1、60 2及各別解碼器65 1、65 2的功能性。
601:編碼器
621:成分間變換
621':成分間變換之反向版本
651:解碼器

Claims (76)

  1. 一種影像編碼裝置，包含有至少一處理器及一記憶體，該處理器與該記憶體一起運作，組配來進行下列動作： 獲取表示將要編碼的一影像之一影像內容區之多個成分； 針對該影像內容區適應性地做出不應用一成分間變換(ICT)、或將一組至少兩個成分間變換中之一成分間變換應用到該等多個成分的一選擇； 根據該選擇編碼該等多個成分；及 在具該等經編碼成分的一資料串流中包括該等成分間變換是否及哪些根據該選擇來應用的一指示。
  2. 如請求項1之影像編碼裝置，其中該所選擇成分間變換經實施以便組合至少該等多個成分之一第一成分與該等多個成分之一第二成分。
  3. 如請求項1之影像編碼裝置，其中該處理器組配來基於一成本函數選擇該成分間變換，其中該處理器組配來依據一所得解碼失真及/或位元分配(位元之數目)選擇具有一最小編碼成本的該成分間變換。
  4. 如請求項3之影像編碼裝置，其中該處理器組配來將成分間變換之至少一子組應用於該等成分以評估該成本函數，並將成分間變換之該子組限於該組成分間變換中導致一解碼失真及/或在一預定容許度範圍內的該等成分之位元數目的成分間變換。
  5. 如請求項1之影像編碼裝置，其中該等多個成分對應於一色彩域及/或一明度-色度域中之至少一者。
  6. 如請求項1之影像編碼裝置，其中該處理器組配來編碼該等多個成分以便在與所獲得成分之數目相比時具有一較少數目個成分。
  7. 如請求項1之影像編碼裝置，其中該處理器組配來獲得該等經編碼成分以便包含至少一個降混頻道，該降混頻道表示該等多個成分之一第一成分及該等多個成分之一第二成分的一組合編碼。
  8. 如請求項7之影像編碼裝置，其中該降混頻道為一第一降混頻道，其中該處理器進一步組配來獲得該等經編碼成分以便包含一第二降混頻道、及基於提供該第一降混頻道及該第二降混頻道來提供該等經編碼成分。
  9. 如請求項7之影像編碼裝置，其中該處理器組配來編碼至少兩個降混頻道，其中該處理器組配來在一第一混合頻道量化之後判定該第一混合頻道之經量化版本是否展現至少一個非零經量化係數； 其中該處理器組配來在一肯定情況下量化第二混合頻道，接著使用一拉格朗日法測試所實施兩頻道方法；及 其中該處理器組配來在一否定情況下跳過該第二混合頻道之量化及跳過或中止該兩頻道方法之拉格朗日測試。
  10. 如請求項7之影像編碼裝置，其中該組成分間變換包含實施多個成分之一降混的多個成分間變換，其中選擇該成分間變換包含就該等成分中產生的一失真評估該等降混變換中之每一者；選擇具有一最小失真之該降混變換並使用具有該最小失真之該降混變換執行一拉格朗日測試。
  11. 如請求項1之影像編碼裝置，其中該等多個成分間變換中之一第一成分間變換及該等多個成分間變換中之一第二成分間變換係基於就該第一成分間變換與該第二成分間變換之間的至少一個參數而言有所不同的一相同判定規則結構，其中該處理器組配來提供或發信與該所選擇成分間變換相關聯的該參數至一解碼器。
  12. 如請求項11之影像編碼裝置，其中該參數係關於該成分間變換之一量化步長。
  13. 如請求項1之影像編碼裝置，其中該處理器組配來執行基於區塊之影像或視訊寫碼。
  14. 如請求項1之影像編碼裝置，其中該影像內容區為以下各者中的一者：一視訊、一寫碼樹型單元、一寫碼單元、一變換單元或一視訊、影像、圖框、圖像塊或圖塊內的一區塊。
  15. 如請求項1之影像編碼裝置，其中該處理器組配來發信對應於一層級之該所選擇成分間變換，該成分間變換係於該層級上應用於一所提供位元串流中之該影像內容區。
  16. 如請求項15之影像編碼裝置，其中該處理器組配來隱式地發信該所選擇成分間變換。
  17. 如請求項16之影像編碼裝置，其中該處理器組配來對於每一經編碼成分傳輸零資訊，較佳地為一經寫碼區塊旗標(CBF)，其指出該個別成分之一殘餘是否包含非零值，其中用於該等多個成分的零資訊之一組合指出該所選擇成分間變換。
  18. 如請求項16之影像編碼裝置，其中該等多個成分間變換包含恰好兩個成分間變換，其中該處理器組配來基於以下規則藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而隱式地發信該所選擇成分間變換(ICT)： 第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法 0(假) 0(假) 無    1(真) 0(假) 方法1    0(假) 1(真) 方法2    1(真) 1(真) 無 。
  19. 如請求項16之影像編碼裝置，其中該等多個成分間變換包含恰好三個成分間變換，其中該處理器組配來基於以下規則藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而隱式地發信該所選擇成分間變換(ICT)： 第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法 0(假) 0(假) 無    1(真) 0(假) 方法1    0(假) 1(真) 方法2    1(真) 1(真) 方法3 。
  20. 如請求項1之影像編碼裝置，其中該處理器組配來較佳地藉由使用一個二進位旗標發信該組成分間變換中之一者的一使用，及用於另外發信該所選擇成分間變換。
  21. 如請求項20之影像編碼裝置，其中該處理器組配來藉由提供指出與該所選擇成分間變換相關之至少一個參數的一資訊而發信該所選擇成分間變換；其中該至少一個參數為一經量化或未經量化值。
  22. 如請求項20之影像編碼裝置，其中該處理器組配來發信共通地用於多個影像內容區的該成分間變換之使用。
  23. 如請求項1之影像編碼裝置，其中該第一成分及/或該第二成分為一色彩成分；或其中該第一成分及該第二成分中之一者為一色彩成分且另一者為一非色彩成分。
  24. 如請求項1之影像編碼裝置，其中該組成分間變換包含實施一基於變換之寫碼的至少一個變換。
  25. 如請求項24之影像編碼裝置，其中至少該組成分間變換的一第一成分及一第二成分間變換係基於一基於變換之寫碼，基於以下判定規則： C 1= C E1· cos α + C E2· sin α；及   C 2= -C E1· sin α + C E2· cos α；或 C 1= C E1· sin α + C E2· cos α；及   C 2= C E1· cos α - C E2· sin α 其中C E1及C E2為該第一成分及該第二成分，C 1及C 2為該第一及該第二成分間變換之結果，且α表示應用於該成分間變換的一旋轉角； 其中該第一及該第二成分間變換的該旋轉角α彼此不同。
  26. 如請求項25之影像編碼裝置，其中該組成分間變換包含基於相同判定規則且該旋轉角不同的至少一第三成分間變換。
  27. 如請求項25之影像編碼裝置，其中可選擇的該旋轉角之值經預定義並經實施以便經提供用於正交成分間變換。
  28. 如請求項25之影像編碼裝置，其中該處理器組配來藉由較佳地使用一基於相關性或一基於強度之方法而基於至少一第一及一第二成分判定待應用的該旋轉角，來選擇該成分間變換。
  29. 如請求項28之影像編碼裝置，其中該處理器組配來基於一基於相關性之方法基於以下判定規則來判定該旋轉角： α = ½ · tan -1(2 · C E1C E2 / ( C E1 2- C E2 2))；或 α = ½ · tan -1(2 · C E1C E2 / ( C E2 2- C E1 2))， 其中在C E1C E2情況下，C E1²及C E2²為該第一與該第二成分之間的一相關性矩陣的個別項。
  30. 如請求項28之影像編碼裝置，其中該處理器組配來基於一基於強度之方法基於以下判定規則來判定該旋轉角： α = sign( C E1C E2 ) · tan -1(sqrt( C E2 2)/sqrt( C E1 2))；或 α = sign( C E1C E2 ) · tan -1(sqrt( C E1 2)/sqrt( C E2 2))， 在C E1C E2情況下，C E1²及C E2²為該第一與該第二成分之間的一相關性矩陣的個別項。
  31. 如請求項27之影像編碼裝置，其中該處理器組配來判定該旋轉值α及進行下列動作： 使用該經判定旋轉值用於一第一成分間變換、及反轉該旋轉值之一正負號以獲得一經反轉旋轉角及使用該經反轉旋轉角用於一第二成分間變換；或 向上取整該經判定旋轉角以獲得一上取整旋轉角及使用該上取整旋轉角用於一第一成分間變換；及向下取整該經判定旋轉角以獲得一下取整旋轉角及使用該下取整旋轉角用於一第二成分間變換。
  32. 如請求項25之影像編碼裝置，其中該處理器組配來發信該旋轉角或指出該旋轉角或指出其一經量化版本的一資訊，其中該發信動作對於至少一個影像內容區有效。
  33. 如請求項32之影像編碼裝置，其中該發信動作對於至少兩個影像內容區有效。
  34. 如請求項1之影像編碼裝置，其中該組成分間變換包含實施具有一減少數目之成分的一基於降混之寫碼的至少一個變換。
  35. 如請求項34之影像編碼裝置，其中一第一成分間變換及一第二成分間變換係基於以下判定規則： ICT方法 降混規則(正向變換) 升混規則(反向變換) 1(初級) C = (C E1+ C E2)/2 C D1' = C' C D2' = C' 2(二級) C = (C E1- C E2)/2 C D1' = C' C D2' = -C'
    其中C E1及C E2為該第一及該第二成分，C為該成分間變換的結果，C'為在解碼器處之該成分間結果之經解碼結果，且C D1'及C D2'係該等經解碼第一成分及第二成分。
  36. 如請求項34之影像編碼裝置，其中一第一成分間變換、一第二成分間變換及一第三成分間變換係基於以下判定規則： ICT方法 降混規則(正向變換) 升混規則(反向變換) 1(初級) C = (C E1+ C E2)/2 C D1' = C' C D2' = C' 2(二級) C = (C E1- C E2)/2 C D1' = C' C D2' = -C' 3(三級) C 1= (CE 1+ CE 2)/2 C 2= (CE 1- CE 2)/2 C D1' = C 1' + C 2' C D2' = C 1' - C 2'
    其中C E1及C E2為該第一及該第二成分，C、C 1及C 2為該成分間變換的結果，C'、C1'及C2'為在解碼器處之該成分間結果之經解碼結果，且C D1'及C D2'係該等經解碼第一成分及第二成分。
  37. 如請求項1之影像編碼裝置，其中該等多個成分之一第一成分C E1為一YCbCr方案之一Cb成分；其中該等多個成分之一第二成分C E2為該YCbCr方案之一Cr成分。
  38. 如請求項1之影像編碼裝置，其中該組成分間變換包含實施一基於變換之寫碼的至少一個變換；且包含實施具有一減少數目之成分的一基於降混寫碼的至少一個變換。
  39. 如請求項1之影像編碼裝置，其中該組成分間變換包含一離散餘弦變換、一離散正弦變換、一沃爾什-哈達馬德(Walsh-Hadamard)變換及一Karhunen-Loève變換/主成分分析中之至少一者。
  40. 如請求項1之影像編碼裝置，其中該組成分間變換包含經調適以便將該第一成分及該第二成分組合成一共同成分使得該第一成分及該第二成分由該共同成分表示的至少一個變換，其中該處理器組配來提供該共同成分。
  41. 如請求項1之影像編碼裝置，其中該處理器組配來在該影像內容區之基礎上發信識別該所選擇成分間變換的一索引。
  42. 如請求項1之影像編碼裝置，其中該處理器組配來將該所選擇成分間變換應用於該等多個成分以便獲得一殘餘信號並將該殘餘信號作為該等經編碼成分提供。
  43. 如請求項1之影像編碼裝置，其中該處理器組配來在添加一預測信號之前或在解量化影像內容之前編碼該等多個成分。
  44. 一種影像解碼裝置，包含有至少一處理器及一記憶體，該處理器與該記憶體一起運作，組配來進行下列動作： 從一資料串流中獲取一所接收影像之一影像內容區之經編碼成分，以及一組至少兩個成分間變換中之一成分間變換或無成分間變換是否使用於編碼該經編碼成分的一指示； 使用該指示針對該影像內容區來做出一組至少兩個反向成分間變換中之一反向成分間變換或無反向成分間變換是否要使用於解碼該經編碼成分的一選擇；及 根據該選擇來解碼表示該影像內容區的該等多個成分。
  45. 如請求項44之影像解碼裝置，其中該處理器組配來藉由升混與該所接收影像內容區相關的至少一個經解碼降混頻道來解碼該等多個成分之一第一成分及一第二成分，該經解碼降混頻道表示該等多個成分之該第一成分及該第二成分的一組合編碼。
  46. 如請求項45之影像解碼裝置，其中該處理器組配來基於以下判定規則解碼該第一成分及該第二成分：
    Figure 03_image051
    其中Cb'為該經解碼第一成分，Cr'為該經解碼第二成分，a及b表示混合因數且C'為該經解碼降混頻道。
  47. 如請求項46之影像解碼裝置，其中該混合因數a或該混合因數b中任一者等於1。
  48. 如請求項44之影像解碼裝置，其中至少該組反向成分間變換的一第一反向成分間變換係基於以下判定規則：
    Figure 03_image053
    其中該判定規則表示兩個反向成分間變換；其中
    Figure 03_image005
    表示信號空間中之一旋轉角且
    Figure 03_image007
    及
    Figure 03_image009
    表示非零加權因數，
    Figure 03_image055
    及
    Figure 03_image057
    表示該等經編碼成分之經重建構版本；且C D1'及C D2'表示在一解碼器處使用具有正交基準函數之一變換導出的該等成分。
  49. 如請求項48之影像解碼裝置，其中該處理器組配來實施
    Figure 03_image059
    或
    Figure 03_image061
    。
  50. 如請求項48之影像解碼裝置，其中至少該組成分間變換的一第一成分間變換係基於以下判定規則：
    Figure 03_image063
    Figure 03_image065
    其中
    Figure 03_image023
    且a表示對應於
    Figure 03_image067
    的一參數。
  51. 如請求項48之影像解碼裝置，其中該處理器組配來選擇該旋轉角以便獲得基本上正交之成分間變換。
  52. 如請求項45之影像解碼裝置，其中該經解碼降混頻道為一第一降混頻道，其中該處理器組配來獲得與同一接收影像內容區相關的一第二經解碼降混頻道，其中該處理器組配來基於解碼該第二降混頻道而獲得至少一第三成分。
  53. 如請求項52之影像解碼裝置，其中該處理器組配來使用來自該等多個反向成分間變換的一第一反向成分間變換解碼該第一降混頻道；及使用來自該等多個反向成分間變換之一第二反向成分間變換解碼該第二降混頻道；其中該處理器組配來選擇該第一及該第二反向成分間變換以便相對於彼此基本上正交。
  54. 如請求項44之影像解碼裝置，其中該處理器組配來接收指出來自該組反向成分間變換之一反向成分間變換的資訊，並根據該資訊選擇該反向成分間變換。
  55. 如請求項54之影像解碼裝置，其中該處理器組配來對於每一經編碼成分接收零資訊，較佳地為一經寫碼區塊旗標(CBF)，其指出該個別成分之一殘餘是否包含非零值，其中用於該等多個成分的零資訊之一組合指出該所選擇成分間變換。
  56. 如請求項54之影像解碼裝置，其中該等多個反向成分間變換包含恰好兩個反向成分間變換，其中該處理器組配來解碼基於以下規則由一編碼器藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而選擇的一隱式發信之成分間變換(ICT)： 第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法 0(假) 0(假) 無    1(真) 0(假) 方法1    0(假) 1(真) 方法2    1(真) 1(真) 無 。
  57. 如請求項54之影像解碼裝置，其中該等多個反向成分間變換包含恰好三個反向成分間變換，其中該處理器組配來解碼基於以下規則由一編碼器藉由使用與一第一成分相關聯的一第一CBF及藉由使用與一第二成分相關聯的一第二CBF而選擇的一隱式發信之成分間變換(ICT)： 第一成分之CBF 第二成分之CBF 待應用的隱式發信之ICT方法 0(假) 0(假) 無    1(真) 0(假) 方法1    0(假) 1(真) 方法2    1(真) 1(真) 方法3 。
  58. 如請求項44之影像解碼裝置，其中該處理器組配來從包含該等經編碼成分的一所接收位元串流獲得作為表示一第一成分及一第二成分的一經解碼共同成分；及用於選擇引導解碼器基於以下判定規則判定該第一成分及該第二成分的一反向成分間變換：
    Figure 03_image069
    其中
    Figure 03_image071
    表示一旋轉角，
    Figure 03_image073
    表示一按比例調整因數，C D1'及C D2'表示經解碼第一及第二成分且C'表示經解碼共同成分。
  59. 如請求項58之影像解碼裝置，其中該處理器組配來選擇該反向成分間變換以便基於以下判定規則判定該第一成分及該第二成分：
    Figure 03_image075
    或基於以下判定規則：
    Figure 03_image077
    其中a及b表示按比例調整因數。
  60. 如請求項44之影像解碼裝置，其中該處理器組配來接收該等經編碼成分作為一殘餘信號；其中解碼該所選擇反向成分間變換包含添加一經重建構影像內容至該等經編碼成分。
  61. 如請求項44之影像解碼裝置，其中該組反向成分間變換的至少一第一及一第二反向成分間變換係基於一基於變換之寫碼，且基於以下判定規則： C D1' = C 1' · cos α - C 2' · sin α；及   C D2' = C 1' · sin α + C 2' · cos α；或 C D1' = C 1' · sin α + C 2' · cos α；及 C D2' = C 1' · cos α - C 2' · sin α 其中C D1及C D2為該接收之第一及第二成分，C 1'及C 2'為該第一及該第二反向成分間變換之結果，且α表示應用於該成分間變換的一旋轉角； 其中該第一及該第二反向成分間變換的該旋轉角α彼此不同。
  62. 如請求項44之影像解碼裝置，其中該處理器組配來使用一脈絡模型組中之一脈絡模型解碼該影像內容區，其中該脈絡模型使用一影像之先前解碼之影像內容區；其中該脈絡模型組係與指出一成分間變換被使用的一成分間變換旗標相關聯。
  63. 如請求項62之影像解碼裝置，其中該處理器組配來從至少一第一及一第二脈絡模型中選出該脈絡模型；或在該脈絡模型之一使用及一不使用之間作出選擇。
  64. 如請求項63之影像解碼裝置，其中該處理器組配來從包含至少一個脈絡模型的一組脈絡模型中選出該脈絡模型。
  65. 如請求項63之影像解碼裝置，其中該脈絡模型組包含數目恰好三個的脈絡模型，其中該處理器組配來評估該影像內容區之相鄰影像內容區，並基於該評估選擇用於當前影像內容區之該脈絡模型。
  66. 如請求項65之影像解碼裝置，其中該處理器組配來基於該脈絡模型組內的一脈絡索引評估該影像內容區之相鄰影像內容區，該脈絡索引為相加性(亦即c_idx=L+A)、互斥不相交(亦即c_idx=(L«1)+A)，或主動式(亦即c_idx=min(1,L+A))； 其中該索引c_idx指出被選擇的該脈絡模型且L及A表示相鄰影像內容區，例如一左邊及一上方相鄰者。
  67. 如請求項62之影像解碼裝置，其中該處理器組配來從恰好三個脈絡模型組中選出一個脈絡模型組，並從含於該所選擇脈絡模型組中的該至少一個脈絡模型選出該脈絡模型。
  68. 如請求項62之影像解碼裝置，其中為了選擇該脈絡模型，該處理器組配來使用針對指出所使用之該成分間變換的一成分間變換旗標之一經寫碼區塊資訊(經寫碼區塊旗標條件)。
  69. 如請求項68之影像解碼裝置，其中該經寫碼區塊資訊包含用於至少一第一及一第二成分的一第一經寫碼區塊旗標及一第二經寫碼區塊旗標，其中該處理器組配來將不同脈絡模型組與該第一及該第二經寫碼區塊旗標之不同組合相關聯。
  70. 如請求項69之影像解碼裝置，其中該脈絡模型組包含與該成分間變換旗標相關的恰好一個脈絡模型。
  71. 如請求項62之影像解碼裝置，其中該處理器組配來對於每一經編碼成分接收零機率資訊，該資訊指出一機率，較佳地為一經寫碼區塊旗標(CBF)，其指出該個別成分之一殘餘是否包含非零值，且回應於指出一非零殘餘的恰好一個零資訊而選出包含至少一個脈絡模型的一第一脈絡模型組，並回應於指出一個別非零殘餘的至少一第一及一第二零資訊而選出包含至少一個脈絡模型之一不同第二脈絡模型組。
  72. 一種用以編碼待編碼之影像的影像內容區之多個成分的方法，其中該方法包含： 獲取表示將要編碼的一影像之一影像內容區之多個成分； 針對該影像內容區適應性地做出不應用一成分間變換(ICT)、或將一組至少兩個成分間變換中之一成分間變換應用到該等多個成分的一選擇； 根據該選擇編碼該等多個成分；及 在具該等經編碼成分的一資料串流中包括該等成分間變換是否及哪些根據該選擇來應用的一指示。
  73. 一種用以解碼資料串流中所接收影像的影像內容區之經編碼成分的方法，其中該方法包含： 獲取該影像內容區之經編碼成分，以及一組至少兩個成分間變換中之一成分間變換或無成分間變換是否使用於編碼該經編碼成分的一指示； 使用該指示針對該影像內容區來做出一組至少兩個反向成分間變換中之一反向成分間變換或無反向成分間變換是否要使用於解碼該等經編碼成分的一選擇；及 根據該選擇來解碼表示該影像內容區的該等多個成分。
  74. 一種儲存有電腦程式之電腦可讀數位儲存媒體，該電腦程式具有一程式碼，該程式碼在一電腦上運行時用以執行如請求項72或請求項73之方法。
  75. 一種資料串流產品，其係藉由如請求項72或請求項73之方法獲得。
  76. 一種影像編碼裝置，包含有至少一處理器及一記憶體，該處理器與該記憶體一起運作，組配來進行下列動作： 從將要編碼的一影像之一影像內容區獲取表示該影像內容區之多個成分； 針對該影像內容區適應性地做出要將一組編碼技術中之一者應用到該等多個成分的一選擇； 使用的該選定的技術來編碼該等多個成分；及 在具該等經編碼成分的一位元串流中包括指出該選定的技術之資訊，指出該選定技術的該資訊包含有用於該等多個成分的零資訊的一組合。 [t1]從original claims複製來當作實施例敘述的內容，還是宜放在說明書末尾處，比較不會讓官方覺得中說內容變動過大而認為有實質變更
TW110148590A 2019-03-12 2020-03-11 用於影像及視訊寫碼之選擇性成分間變換(ict)技術 TWI815259B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19162323.0 2019-03-12
EP19162323 2019-03-12

Publications (2)

Publication Number Publication Date
TW202243470A true TW202243470A (zh) 2022-11-01
TWI815259B TWI815259B (zh) 2023-09-11

Family

ID=65812036

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110148590A TWI815259B (zh) 2019-03-12 2020-03-11 用於影像及視訊寫碼之選擇性成分間變換(ict)技術
TW109108044A TWI753377B (zh) 2019-03-12 2020-03-11 用於影像及視訊寫碼之選擇性成分間變換(ict)技術

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109108044A TWI753377B (zh) 2019-03-12 2020-03-11 用於影像及視訊寫碼之選擇性成分間變換(ict)技術

Country Status (9)

Country Link
US (1) US20210409708A1 (zh)
EP (1) EP3939296A1 (zh)
JP (2) JP7390395B2 (zh)
KR (1) KR20210139336A (zh)
CN (1) CN113678450A (zh)
BR (1) BR112021018089A2 (zh)
MX (1) MX2021010909A (zh)
TW (2) TWI815259B (zh)
WO (1) WO2020182907A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405615B2 (en) * 2020-03-26 2022-08-02 Tencent America LLC Joint transform coding of multiple color components

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970219B2 (en) * 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
KR20100074276A (ko) * 2007-10-15 2010-07-01 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
US8731315B2 (en) * 2011-09-12 2014-05-20 Canon Kabushiki Kaisha Image compression and decompression for image matting
CN109120930B (zh) * 2011-11-04 2021-03-26 夏普株式会社 图像解码装置、图像编码装置及其方法
US8615140B2 (en) * 2011-11-18 2013-12-24 Canon Kabushiki Kaisha Compression of image data in accordance with depth information of pixels
WO2014005248A1 (en) * 2012-07-02 2014-01-09 Qualcomm Incorporated Intra-coding of depth maps for 3d video coding
ES2665908T3 (es) * 2013-04-08 2018-04-30 Ge Video Compression, Llc Predicción inter-componente
US9225988B2 (en) * 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
ITTO20130503A1 (it) * 2013-06-18 2014-12-19 Sisvel Technology Srl Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
JP2017512393A (ja) * 2014-02-21 2017-05-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ
EP3544298A1 (en) * 2014-09-12 2019-09-25 Vid Scale, Inc. Inter-component de-correlation for video coding
GB2531004A (en) * 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US10277905B2 (en) * 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
EP3446486B1 (en) * 2016-04-22 2021-12-08 Dolby Laboratories Licensing Corporation Coding of hdr video signals in the ictcp color format
CN113632467A (zh) * 2018-11-14 2021-11-09 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
MX2021005939A (es) * 2018-11-21 2021-07-21 Electronics & Telecommunications Res Inst Metodo y aparato de codificacion/decodificacion de imagen, y medio de registro que almacena flujo de bits.
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2020130730A1 (ko) * 2018-12-21 2020-06-25 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US12022060B2 (en) * 2019-02-28 2024-06-25 Samsung Electronics Co., Ltd. Video encoding and decoding method for predicting chroma component, and video encoding and decoding device for predicting chroma component
WO2020180214A1 (en) * 2019-03-01 2020-09-10 Huawei Technologies Co., Ltd. The method of efficient signalling of cbf flags
KR20210134375A (ko) * 2019-03-04 2021-11-09 알리바바 그룹 홀딩 리미티드 비디오 콘텐츠를 처리하기 위한 방법 및 시스템
US20200288159A1 (en) * 2019-03-08 2020-09-10 Qualcomm Incorporated Combined residual coding in video coding
CN114143548B (zh) * 2019-03-11 2023-02-14 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码

Also Published As

Publication number Publication date
TWI753377B (zh) 2022-01-21
JP2022524440A (ja) 2022-05-02
JP7390395B2 (ja) 2023-12-01
EP3939296A1 (en) 2022-01-19
JP2024032017A (ja) 2024-03-08
KR20210139336A (ko) 2021-11-22
BR112021018089A2 (pt) 2021-11-23
WO2020182907A1 (en) 2020-09-17
MX2021010909A (es) 2021-11-04
TW202038608A (zh) 2020-10-16
TWI815259B (zh) 2023-09-11
US20210409708A1 (en) 2021-12-30
CN113678450A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US11943435B2 (en) Method and apparatus for decoding using reference line index based on intra prediction mode
US11095893B2 (en) Primary transform and secondary transform in video coding
CN106031171B (zh) 具有跨块预测的调色板编码的方法和装置
KR101525341B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 기록매체
EP4290863A3 (en) Interaction between core transform and secondary transform
US9225984B2 (en) Simplification of LM mode
GB2567249A (en) New sample sets and new down-sampling schemes for linear component sample prediction
TW202209890A (zh) 用以選擇內預測模式以供填補之設備
JP2024032017A (ja) 画像及びビデオコード化のための選択的成分間変換（ｉｃｔ）
US20210306644A1 (en) Inter prediction method and apparatus
KR20190142749A (ko) 영상 부호화/복호화 방법 및 장치
US20210021871A1 (en) Method and apparatus for performing low-complexity operation of transform kernel for video compression
US20220353547A1 (en) Entropy coding of sign map for transform coefficients
US11310504B2 (en) Complexity reduction for 32-p and 64-p LGT
CN112020860B (zh) 用于选择性量化参数传输的编码器、解码器和其方法
CN116569549A (zh) 一种帧间预测方法、编码器、解码器及存储介质
US20230247209A1 (en) Signalling of eob for one dimensional transform skip
RU2779901C1 (ru) Способ и устройство для улучшенного неявного выбора преобразования
US20230283779A1 (en) Coefficient sign prediction for transform skip
WO2021219416A1 (en) Triangulation-based adaptive subsampling of dense motion vector fields
US20120320965A1 (en) Apparatus and method for encoding/decoding a multi-plane image, and recording medium for same