TWI686076B

TWI686076B - 用於預測剩餘之增強型多重轉變

Info

Publication number: TWI686076B
Application number: TW105102382A
Authority: TW
Inventors: 趙辛; 李聖元; 陳建樂; 章立; 李想; 陳盈; 馬塔卡茲維克茲; 劉鴻彬
Original assignee: 美商高通公司
Priority date: 2015-01-26
Filing date: 2016-01-26
Publication date: 2020-02-21
Also published as: BR112017016012A2; CN107211144A; US20160219290A1; CA2971880C; WO2016123091A1; CN107211144B; JP6768675B2; EA038534B1; EP3251364A1; EA201791457A1; KR20170107452A; TN2017000286A1; US10306229B2; KR102452745B1; TW201637446A; CA2971880A1; JP2018506905A

Abstract

本發明之實例技術描述用以判定在視訊編碼及視訊解碼期間使用的轉變。一視訊編碼器及一視訊解碼器可選擇各自識別一或多個候選轉變之轉變子集。該視訊編碼器及該視訊解碼器可自該等經選擇的轉變子集判定轉變。

Description

用於預測剩餘之增強型多重轉變

本申請案主張於2015年1月26日申請之美國臨時申請案第62/107,996號及2015年3月23日申請之美國臨時申請案第62/137,038號之權益，該等申請案之全部內容以引用之方式併入本文中。

本發明係關於視訊編碼及解碼。

數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265、高效率視訊寫碼(HEVC)所定義的標準及此等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件可藉由實施此類視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。圖像之經框內寫碼(1)圖塊中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。空間或時間預測產生待寫碼之區塊的預測性區塊。剩餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且剩餘資料指示經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及剩餘資料來編碼經框內寫碼區塊。為進行進一步壓縮，可將剩餘資料自像素域轉變至轉變域，從而產生可接著進行量化之剩餘轉變係數。

本發明描述用於判定用以自轉變區塊產生係數區塊而作為視訊編碼之一部分的轉變及用以自係數區塊產生轉變區塊作為視訊解碼之一部分的轉變的技術。在一些實例中，視訊編碼器可判定複數個轉變子集。同樣地，視訊解碼器可判定複數個轉變子集。視訊編碼器及視訊解碼器可使用不一定要求額外傳信之隱式技術選擇複數個轉變子集之轉變子集並自所選擇的轉變子集判定轉變。以此方式，視訊編碼器及視訊解碼器可自具有需要傳信之最小增長量之資訊的相對大的轉變集合進行選擇。

在一項實例中，本發明描述解碼視訊資料之方法，該方法包含：判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；針對視訊資料之當前係數區塊之左轉變自複數個轉變子集選擇第一轉變子集；針對視訊資料之當前係數區塊之右轉變自複數個轉變子集選擇第二轉變子集；自該經選擇之第一轉變子集判定左轉變；自該經選擇之第二轉變子集判定右轉變；基於左轉變、右轉變及當前係數區塊判定當前轉變區塊；及基於當前轉變區塊及預測性區塊重建構視訊區塊。

在一項實例中，本發明描述編碼視訊資料之方法，該方法包含：判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；針對視訊資料之視訊區塊之當前轉變區塊之左轉變自複數個轉變子集選擇第一轉變子集；針對視訊資料之視訊區塊之轉變區塊之右轉變自複數個轉變子集選擇第二轉變子集；自該經選擇之第一轉變子集判定左轉變；自該經選擇之第二轉變子集判定右轉變；基於左轉變、右轉變及當前轉變區塊判定當前係數區塊；及產生包括指示用於重建構視訊區塊之當前係數區塊之係數之資訊的視訊位元串流。

在一項實例中，本發明描述用於視訊解碼視訊資料之器件，該器件包含：視訊資料記憶體，其經組態以儲存視訊資料及轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；及包含積體電路之視訊解碼器，該視訊解碼器經組態以自經儲存之轉變子集判定複數個轉變子集，針對視訊資料之當前係數區塊之左轉變自複數個轉變子集選擇第一轉變子集，針對視訊資料之當前係數區塊之右轉變自複數個轉變子集選擇第二轉變子集，自經選擇之第一轉變子集判定左轉變，自經選擇之第二轉變子集判定右轉變，基於左轉變、右轉變及當前係數區塊判定當前轉變區塊，且基於當前轉變區塊及預測性區塊重建構視訊區塊。

在一項實例中，本發明描述用於編碼視訊資料之器件，該器件包含：視訊資料記憶體，其經組態以儲存視訊資料及轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；及視訊編碼器，其經組態以自經儲存之轉變子集判定複數個轉變子集，針對視訊資料之視訊區塊之當前轉變區塊之左轉變自複數個轉變子集選擇第一轉變子集，針對視訊資料之視訊區塊之轉變區塊之右轉變自複數個轉變子集選擇第二轉變子集，自經選擇之第一轉變子集判定左轉變，自經選擇之第二轉變子集判定右轉變，基於左轉變、右轉變及當前轉變區塊判定當前係數，且產生包括指示用於重建構視訊區塊之當前係數區塊之係數的資訊之視訊位元串流。

在一項實例中，本發明描述用於解碼視訊資料之器件，該器件包含：用於判定複數個轉變子集的構件，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；用於針對視訊資料之當前係數區塊之左轉變自複數個轉變子集選擇第一轉變子集的構件；用於針對視訊資料之當前係數區塊之右轉變自複數個轉變子集選擇第二轉變子集的構件；用於自經選擇之第一轉變子集判定左轉變的構件；用於自經選擇之第二轉變子集判定右轉變的構件；用於基於左轉變、右轉變及當前係數區塊判定當前轉變區塊的構件；及用於基於當前轉變區塊及預測性區塊重建構視訊區塊的構件。

在一項實例中，本發明描述儲存指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使得用於視訊解碼之器件之視訊解碼器進行以下操作：判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；針對視訊資料之當前係數區塊之左轉變自複數個轉變子集選擇第一轉變子集；針對視訊資料之當前係數區塊之右轉變自複數個轉變子集選擇第二轉變子集；自經選擇之第一轉變子集判定左轉變；自經選擇之第二轉變子集判定右轉變；基於左轉變、右轉變及當前係數區塊判定當前轉變區塊；及基於當前轉變區塊及預測性區塊重建構視訊區塊。

在一項實例中，本發明描述用於編碼視訊資料之器件，該器件包含：用於判定複數個轉變子集的構件，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；用於針對視訊資料之視訊區塊之當前轉變區塊之左轉變自複數個轉變子集選擇第一轉變子集的構件；用於針對視訊資料之視訊區塊之轉變區塊之右轉變自複數個轉變子集選擇第二轉變子集的構件；用於自經選擇之第一轉變子集判定左轉變的構件；用於自經選擇之第二轉變子集判定右轉變的構件；用於基於左轉變、右轉變及當前轉變區塊判定當前係數區塊的構件；及用於產生包括指示用於重建構視訊區塊之當前係數區塊之係數之資訊的視訊位元串流的構件。

在一項實例中，本發明描述儲存指令之非暫時性電腦可讀儲存媒體，該等指令在執行使得用於視訊編碼之器件之視訊編碼器進行以下操作：判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變；針對視訊資料之視訊區塊之當前轉變區塊之左轉變自複數個轉變子集選擇第一轉變子集；針對視訊資料之視訊區塊之轉變區塊之右轉變自複數個轉變子集選擇第二轉變子集；自經選擇之第一轉變子集判定左轉變；自經選擇之第二轉變子集判定右轉變；基於左轉變、右轉變及當前轉變區塊判定當前係數區塊；及產生包括指示用於重建構視訊區塊之當前係數區塊之係數之資訊的視訊位元串流。

在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自該描述及圖式以及申請專利範圍而顯而易見。

10‧‧‧視訊寫碼系統

12‧‧‧源器件

14‧‧‧目的地器件

16‧‧‧頻道

18‧‧‧視訊源

20‧‧‧視訊編碼器

22‧‧‧輸出介面

28‧‧‧輸入介面

30‧‧‧視訊解碼器

32‧‧‧顯示器件

100‧‧‧預測處理單元

101‧‧‧視訊資料記憶體

102‧‧‧剩餘產生單元

104‧‧‧轉變處理單元

106‧‧‧量化單元

108‧‧‧逆量化單元

110‧‧‧逆轉變處理單元

112‧‧‧重建構單元

114‧‧‧過濾器單元

116‧‧‧經解碼圖像緩衝器

118‧‧‧熵編碼單元

120‧‧‧框間預測處理單元

126‧‧‧框內預測處理單元

150‧‧‧熵解碼單元

151‧‧‧視訊資料記憶體

152‧‧‧預測處理單元

154‧‧‧逆量化單元

156‧‧‧逆轉變處理單元

158‧‧‧重建構單元

160‧‧‧過濾器單元

162‧‧‧經解碼圖像緩衝器

164‧‧‧運動補償單元

166‧‧‧框內預測處理單元

200‧‧‧區塊

202‧‧‧區塊

204‧‧‧區塊

206‧‧‧區塊

208‧‧‧區塊

300‧‧‧區塊

302‧‧‧區塊

304‧‧‧區塊

306‧‧‧區塊

308‧‧‧區塊

圖1A至圖1E為說明轉變類型之實例的表。

圖2為說明可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。

圖3為說明基於高效率視訊寫碼(HEVC)中之剩餘四分樹之轉變方案之實例的概念圖。

圖4為說明基於HEVC中之寫碼分組之係數掃描之實例的概念圖。

圖5為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。

圖6為說明可實施本發明中所描述之技術的實例視訊解碼器的方塊圖。

圖7為說明根據ITU-T H.263標準中定義的視訊寫碼程序的重疊區塊運動補償(OBMC)之實例的概念圖。

圖8A及圖8B為說明用於OBMC之區塊之部分的概念圖。

圖9為說明解碼視訊資料之實例方法的流程圖。

圖10為說明編碼視訊資料之實例方法的流程圖。

本發明係關於應用於框內或框間預測剩餘之多重轉變。該等技術可用於進階視訊編解碼器之上下文中，諸如高效率視訊寫碼(HEVC)標準之擴展或下一代視訊寫碼標準。

在視訊寫碼中，視訊編碼器藉由自預測性區塊之樣本值減去當前區塊之樣本值而產生剩餘區塊。視訊編碼器將剩餘區塊分成一或多個轉變區塊並將轉變(例如，諸如離散餘弦轉變(DCT)之離散頻率轉變)應用至一或多個轉變區塊以將一或多個轉變區塊中之剩餘值自像素域轉變至頻域。在頻域中，經轉變區塊被稱為包括一或多個轉變係數值的係數區塊。

在解碼期間，視訊解碼器執行互逆程序。舉例而言，視訊解碼器將逆轉變應用至係數區塊以將係數區塊轉變至轉變區塊(例如，自頻域轉變至像素域)。轉變區塊為剩餘區塊之一個區塊，且視訊解碼器將剩餘區塊之剩餘值添加至預測性區塊之樣本值以重建構當前區塊。

僅為了易於說明，本發明將視訊編碼器及視訊解碼器描述為分別判定用於編碼及解碼程序的轉變。然而，應理解，視訊編碼器將轉變應用至轉變區塊以產生係數區塊，且視訊解碼器將該轉變之逆向應用至係數區塊以重建構轉變區塊。因此，視訊解碼器應用之轉變為視訊編碼器應用之轉變之逆向。因此，在本發明中，當視訊解碼器經描述為判定轉變及/或應用轉變時，應理解，視訊解碼器正判定為藉由視訊編碼器判定之轉變之逆向的轉變及/或視訊解碼器正應用為藉由視訊編碼器應用之轉變之逆向的轉變。

本發明描述用於判定應用於用於編碼轉變係數之剩餘值之轉變區塊或應用於用於解碼剩餘值之轉變係數之係數區塊之轉變的實例技術。舉例而言，視訊編碼器及視訊解碼器可各自建構複數個轉變子集，每一轉變子集識別複數個候選轉變。候選轉變指代不同類型之轉變，諸如，不同類型之DCT及不同類型之離散正弦轉變(DST)。視訊編碼器及視訊解碼器選擇轉變子集並自所選擇的轉變子集判定轉變，該等所選擇的轉變子集用於自用於視訊編碼之轉變區塊判定係數區塊或自用於視訊解碼之係數區塊判定轉變區塊。

以此方式，視訊編碼器及視訊解碼器可判定自候選轉變之較大集合使用哪些轉變，允許對轉變區塊之變化統計較好地適應而不過度使位元串流頻寬負擔。舉例而言，一些技術約束多少轉變為可用的，此可產生不良寫碼效能，因為轉變區塊之統計使得可用轉變中無一者良好執行。可存在其他較好轉變，但由於約束條件，此等轉變為不可用的。

在本發明中描述之技術中，因為更多轉變為可用的，視訊編碼器及視訊解碼器可使用提供比將可能具有有限集合之轉變更好之寫碼效能的轉變。此外，如更詳細地描述，使用於指示將使用哪個轉變之傳信額外負荷保持低，以使得當具有更多可用轉變及保持對頻寬低之影響時可達成寫碼增益。

舉例而言，視訊解碼器可基於隱式技術(諸如，基於框內預測模式、轉變區塊之定位等)選擇使用哪些轉變子集，而不是依賴位元串流中之經傳信資訊。視訊解碼器可隨後可能基於在位元串流中傳信之用於所選擇轉變子集之各別者的一或多個轉變子集索引或其他因素(包括但不限於非零係數之數目、非零係數之總和或係數區塊中之非零係數之位置)自所選擇的轉變子集判定使用哪些轉變。

即使針對各別轉變子集傳信轉變子集索引，但傳信額外負荷可保持低，因為索引值僅跨越轉變子集之範圍而非跨越所有可能轉變。舉例而言，假定存在至多16個可能的轉變，且轉變子集包括三個候選轉變。在此情況下，索引值將在0至2之範圍內，而至所有轉變之清單中之索引將在0至15之範圍內。傳信較小值(諸如0至2)可需要比傳信較大值更少的位元。

在描述建構及選擇轉變子集之方式之前，下文描述視訊寫碼標準、一般DCT及DST、不同類型之DCT及DST、及一些現有DCT及DST技術。本發明隨後描述現有技術中之一些問題，接著描述可克服該等問題之實例技術。

視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外，已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)的視訊寫碼聯合協作小組(JCT-VC)開發新的視訊寫碼標準(亦即，高效率視訊寫碼(HEVC))。最終HEVC草案說明書且下文被稱作HEVC WD可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-vl.zip.獲得。HEVC標準之最終草案為：ITU-T H.265，H系列：視聽及多媒體系統、移動視訊之視聽服務寫碼之基礎結構、通用視聽服務之進階視訊寫碼、國際電信聯盟，2014年10月，且可自http：//www.itu.int/rec/T-REC-H.265-201410-I/en獲得。

下文為離散正弦及餘弦轉變之描述。轉變指示導出輸入信號之替代表示之程序。舉例而言，轉變將值自像素域轉化至頻域(例如，在視訊編碼中)或自頻域轉化至像素域(例如，在視訊解碼中)。給定N點向量 x =[x ₀,x ₁,…,x _N-1]^T及給定向量之集合{ Φ ₀, Φ ₁,…, Φ _M-1}，可使用 Φ ₀, Φ ₁,…, Φ _M-1之線性組合近似地或精確地表示 x ，其公式如下，

其中

可為x之近似值或等值，向量 f =[f ₀,f ₁,f ₂,..,f _M-1]被稱作 轉變係數向量 且{ Φ ₀, Φ ₁,…, Φ _M-1}為 轉變基礎向量 。

在視訊寫碼之情形中，轉變係數為大致非相關的及稀疏的，亦即輸入向量x之能量僅在幾個轉變係數上為緊密的，且剩餘大部分轉變係數通常接近0。舉例而言，當視訊編碼器將轉變區塊轉變至係數區塊時，係數區塊中之非零係數值傾向於被一起分組在係數區塊之左上角處，且大部分係數值為零。分組於靠近係數區塊之左上角的非零係數反映低頻分量，而靠近係數區塊之右下角之係數值(傾向於零)反映高頻分量。

給定特定的輸入資料，就能量集中性而言最佳轉變為所謂的Karhunen-Loeve轉變(KLT)，其使用輸入資料之協方差矩陣之本徵向量作為轉變基礎向量。因此，KLT實際上為資料相依之轉變且不具有通用數學公式。然而，在某些假定情況下，例如，輸入資料形成一階靜止馬爾可夫(Markov)程序，其已經在對應KLT實際上為 單轉變之正弦家族 之成員之文獻中被證實，其描述於Jain,A.K的單轉變之正弦家族(1979年，IEEE Trans，圖案分析及機器智慧，1,356，中)。 單轉變之正弦家族 使用公式如下之轉變基礎向量指示轉變： Φ _m(k)=A．e ^ikθ+B．e ^-ikθ

其中e為近似等於2.71828之自然對數之底，A、B及θ通常為複數且取決於m之值。

包括離散傅里葉、餘弦、正弦及KLT(用於一階靜止馬爾可夫程序)之若干熟知轉變為單轉變之此正弦家族之成員。根據S.A.Martucci的「Symmetric convolution and the discrete sine and cosine transforms」(IEEE Trans.Sig.Processing SP-42,1038-1051(1994))，整個離散餘弦轉變(DCT)及離散正弦轉變(DST)家族包括基於不同類型(亦即，A、B及θ之不同值)之共計16個轉變，且下文給定不同類型之DCT及DST之完整定義。

假定輸入N點向量表示為x=[x ₀,x ₁，表x _N-1]^T，且其藉由乘以矩陣而轉變至被表示為y=[y ₀,y ₁，被y _N-1]^T之另一N點轉變係數向量，其程序可根據以下轉變公式中之一者進一步說明，其中包含性之k在0至N-1之範圍中：

DCT類型-I(DCT-1)：

其中

DCT類型-II(DCT-2)：

其中

DCT類型-III(DCT-3)：

其中

DCT類型-IV(DCT-4)：

DCT類型-V(DCT-5)：

其中

DCT類型-VI(DCT-6)：

其中

DCT類型-VII(DCT-7)：

其中

DCT類型-VIII(DCT-8)：

DST類型-I(DST-1)：

DST類型-II(DST-2)：

其中

DST類型-III(DST-3)：

其中

DST類型-IV(DST-4)：

DST類型-V(DST-5)：

DST類型-VI(DST-6)：

DST類型-VII(DST-7)：

DST類型-VIII(DST-8)：

其中

上文提供不同DCT及DST類型之實例，總體而言存在16個轉變類型。 轉變類型 由轉變基底函數之數學公式來指定。不應混淆轉變類型與轉變大小。轉變類型係指基底函數，而轉變大小係指轉變之大小。舉例而言，4點DST-VII及8點DST-VII具有相同轉變類型，而與N之值(例如，4點或8點)無關。

在不損失一般性的情況下，所有以上轉變類型可使用下文的通用公式來表示：

其中T為藉由一個特定轉變(例如，DCT類型-I至DCT類型-VIII，或DST類型-I至DST類型-VIII)之定義所指定的 轉變矩陣 ，且T之列向量(例如，[T_i,0,T_i,1,T_i,2,2量指定_i,N-1])為第i個轉變基礎向量。應用於N 點輸入向量上之轉變被稱作 N點轉變。

亦應注意，應用於1-D輸入資料x上之以上轉變公式可以下文的矩陣乘法形式來表示：y= T ．x

其中T指示轉變矩陣，x指示輸入資料向量，且y指示輸出轉變係數向量。

舉例而言，視訊編碼器可執行矩陣乘法y= T ．x以產生轉變係數向量。視訊解碼器可執行逆矩陣乘法以自轉變係數向量產生轉變向量。

上文引入之轉變應用於1-D輸入資料上，且轉變亦可經擴展以用於2-D輸入資料源。假設X為輸入M×N資料陣列。將轉變應用於2-D輸入資料上之典型方法包括可分離的及非可分離的2-D轉變。

可分離的2-D轉變將1-D轉變依序應用於X之水平向量及垂直向量，公式如下：Y=C．X．R ^T

其中C及R分別指示給定的M×M及N×N轉變矩陣。

自該公式可見，C將1-D轉變應用於X之行向量，而R將1-D轉變應用於X之列向量。在本發明之稍後部分，為簡單起見，將C及R表示為左(垂直)及右(水平)轉變，且其均形成轉變對。存在C等於R且C為正交矩陣的情況。在此情況下，可分離的2-D轉變由僅一個轉變矩陣判定。

非可分離的2-D轉變藉由進行作為實例的以下數學映射首先將X之所有元素重組成單個向量(即X')：

隨後1-D轉變T'如下應用於X'：Y=T'．X

其中T'為(M*N)×(M*N)轉變矩陣。

在視訊寫碼中，始終應用可分離的2-D轉變，因為其需要比1-D轉變更少的運算(加法、乘法)計數。如下文更詳細地描述，本發明描述視訊編碼器及視訊解碼器選擇左轉變及右轉變所使用的實例技術。

舉例而言，視訊編碼器及視訊解碼器可判定複數個轉變子集，每一轉變子集識別複數個候選轉變。作為16個可能轉變(例如，DCT-1至DCT-8及DST-1至DST-8)之實例，視訊編碼器及視訊解碼器可判定三個轉變子集，且轉變子集中之每一者包括16個轉變中之兩個或兩個以上轉變。視訊編碼器及視訊解碼器可選擇三個轉變子集中之一者並自所選擇的轉變子集判定左轉變(例如，C)及選擇三個轉變子集中之一者並自所選擇的轉變子集判定右轉變(例如，R)。所選擇的轉變子集可為不同子集或相同子集。

下文為HEVC中應用之轉變類型之描述。在習知的視訊編解碼器(諸如，H.264/AVC)中，4點及8點離散餘弦轉變(DCT)類型-II之整數近似始終應用於框內及框間預測剩餘兩者。框內預測剩餘係指來自框內預測之剩餘且框間預測剩餘係指來自框間預測之剩餘。剩餘、框間預測及框內預測均在下文得以更詳細地描述。通常，剩餘區塊被分成複數個轉變區塊。在視訊編碼中，轉變應用於轉變區塊中之每一者以產生係數區塊。在視訊解碼中，轉變應用於係數區塊中之每一者以產生轉變區塊及重建構剩餘區塊。

為更好地適應剩餘樣本之各種統計，除DCT類型-II外之更靈活類型之轉變用於新一代視訊編解碼器中。舉例而言，在HEVC中，4點類型-VII離散正弦轉變(DST)之整數近似用於框內預測剩餘，其在理論上證明及以實驗方式證實，DST類型-VII比DCT類型-II對於沿框內預測方向產生之剩餘剩餘向量更有效，例如，DST類型-VII比DCT類型-II對於由水平框內預測方向產生之列剩餘向量更有效。參見(例如) J.Han,A.Saxena及K.Rose的「Towards jointly optimal spatial prediction and adaptive transform in video/image coding」(IEEE聲學語音及信號處理國際會議(ICASSP)，2010年3月，第726-729頁)。

在HEVC中，4點DST類型-VII之整數近似僅應用於4×4明度框內預測剩餘區塊(下文更詳細地描述明度框內預測剩餘區塊)。用於HEVC中之4點DST-VII在圖1A中展示。

在HEVC中，對於不為4×4明度框內預測剩餘區塊之剩餘區塊，亦應用4點、8點、16點及32點DCT類型-II之整數近似。圖1B說明4點DCT-II之實例；圖1C說明8點DCT-II之實例；圖1D說明16點DCT-II之實例；且圖1E說明32點DCT-II之實例。圖1A至圖1E說明大小不同之II型之DCT之實例，且如同圖1A至1E，存在不同類型之N點DCT及DST之實例。

圖2為說明可利用本發明之技術之實例視訊寫碼系統10之方塊圖。如本文所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可大體上係指視訊編碼或視訊解碼。根據本發明中描述之各種實例，視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行用於預測剩餘之增強型多重轉變之技術的器件之實例。

如圖1中所示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。

源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或類似者。

目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之一或多個媒體或器件。在一項實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協議)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。

在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取而存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。

在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載而存取儲存於檔案伺服器或其他中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。

目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)、或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。

本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。

圖2中所說明之視訊寫碼系統10僅為實例，且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，自經由網路或類似者而串流傳輸之區域記憶體擷取資料。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼資料。在許多實例中，由並不彼此通信但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼資料之器件來執行編碼及解碼。

在圖2之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括視訊捕獲器件(例如，視訊攝影機)、含有先前所捕獲之視訊資料的視訊存檔、用以自視訊內容提供者接收視訊資料之視訊饋入介面，及/或用於產生視訊資料之電腦圖形系統，或此等視訊資料源的組合。

視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體或檔案伺服器上，以供目的地器件14稍後存取以用於解碼及/或播放。

在圖2之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。一般而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含各種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。

視訊編碼器20及視訊解碼器30各自可實施為各種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地以軟體來實施該等技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將前述各者(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)的部分。

本發明通常可指代視訊編碼器20將某一資訊「傳信」或「傳輸」至另一器件，諸如，視訊解碼器30。術語「傳信」或「傳輸」通常可指代用於解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時地或近乎即時地發生。替代地，此通信可在一時間跨度內發生，諸如，此通信可能在當編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，該等語法元素在儲存至此媒體之後接著可由解碼器件在任何時間擷取。

在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準(諸如，上文所提及之HEVC標準、HEVC之擴展或可能為開發中之下一代視訊寫碼標準)來操作。僅為了易於理解，下文提供關於HEVC標準之一些資訊。然而，本發明中描述的技術不應被視為受限於HEVC標準。

在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，表示為S_L、S_Cb及S_Cr。S_L為明度樣本之二維陣列(亦即，區塊)。S_Cb為Cb色度樣本之二維陣列。S_Cr為Cr色度(chrominance)樣本之二維陣列。色度樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。

為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。

為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，該圖像具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列，以及用以對寫碼區塊之樣本進行寫碼的語法結構。視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊可為其上應用相同預測之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊樣本進行預測的語法結構。視訊編碼器20可針對CU之每一PU的明度、Cb及Cr預測區塊產生預測性明度區塊、Cb區塊及Cr區塊。

視訊編碼器20可使用框內預測或框間預測來產生(例如，判定)PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU之預測性區塊。

若視訊編碼器20使用框間預測來產生(例如，判定)PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU之預測性區塊。當視訊編碼器20使用單向預測來產生PU之預測性區塊時，PU可具有單一運動向量(MV)。當視訊編碼器20使用雙向預測來產生PU之預測性區塊時，PU可具有兩個MV。

在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度剩餘區塊。CU之明度剩餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb剩餘區塊。CU之Cb剩餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr剩餘區塊。CU之Cr剩餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。

此外，視訊編碼器20可使用四分樹分割以將CU之明度剩餘區塊、Cb剩餘區塊及Cr剩餘區塊分解成一或多個明度轉變區塊、Cb轉變區塊及Cr轉變區塊。轉變區塊可為其上應用相同轉變之樣本的矩形區塊。CU之轉變單元(TU)可為明度樣本之轉變區塊、色度樣本之兩個對應轉變區塊，及用以對轉變區塊樣本進行轉變的語法結構。因此，CU之每一TU可與明度轉變區塊、Cb轉變區塊及Cr轉變區塊相關聯。與TU相關聯之明度轉變區塊可為CU之明度剩餘區塊的子區塊。Cb轉變區塊可為CU之Cb剩餘區塊的子區塊。Cr轉變區塊可為CU之Cr剩餘區塊的子區塊。

視訊編碼器20可將一或多個轉變應用至TU之明度轉變區塊，以產生TU之明度係數區塊。係數區塊可為轉變係數之二維陣列。轉變係數可為純量。視訊編碼器20可將一或多個轉變應用於TU之Cb轉變區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個轉變應用於TU之Cr轉變區塊以產生TU之Cr係數區塊。如更詳細地描述，本發明描述視訊編碼器20判定用於產生係數區塊之轉變的實例方式。

在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化通常係指對轉變係數進行量化以可能地減少用以表示轉變係數的資料之量，從而提供進一步壓縮之程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化轉變係數之語法元素。舉例而言，視訊編碼器20可對指示經量化轉變係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。

視訊編碼器20可輸出包括經熵編碼之語法元素之位元串流。位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元之序列。位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭且囊封原始位元組序列酬載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。

不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封SEI之RBSP，等等。囊封視訊寫碼資料之RBSP(如與參數集及SEI訊息之RBSP相反)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。

視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流解碼語法元素。視訊解碼器30可至少部分地基於自位元串流解碼之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序通常可與由視訊編碼器20執行之程序互逆。舉例而言，視訊解碼器30可使用PU之MV來判定當前CU之PU的預測性區塊。另外，視訊解碼器30可逆量化與當前CU之TU相關聯的轉變係數區塊。

視訊解碼器30可對轉變係數區塊執行逆轉變以重建構與當前CU之TU相關聯的轉變區塊。本發明描述視訊解碼器30判定用於對轉變係數區塊執行逆轉變之轉變的方式的實例技術。

藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之轉變區塊的對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。

如上文所描述，CU包括一或多個TU。下文描述基於HEVC中之剩餘四分樹之轉變方案。為適應剩餘區塊之各種特性，使用剩餘四分樹(RQT)之轉變寫碼結構應用於HEVC中，其經簡要地描述於 http：//www.hhi.fraunhofer.de/fields-of-competence/image-processing/research-groups/image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the-residual-quadtree-rqt.html中。

如上文所描述，每一圖像被分成CTU，該等CTU以光柵掃描次序寫碼以用於特定方塊或圖塊。CTU為方形區塊且表示四分樹(亦即，寫碼樹)之根。CTU大小可在8×8至64×64明度樣本的範圍內，但通常使用64×64。每一CTU可進一步分裂成被稱作寫碼單元(CU)之更小方形區塊。在CTU以回歸方式分裂成CU之後，每一CU經進一步分成預測單元(PU)及轉變單元(TU)。基於四分樹方法以回歸方式進行將CU分割成TU，因此每一CU之剩餘信號藉由樹型結構(亦即，剩餘四分樹(RQT))來寫碼。RQT允許自4×4直至32×32明度樣本之TU大小。

圖3展示其中CU包括10個TU(標記有字母「a」至「j」)及對應的區塊分割之實例。RQT之每一節點實際上為轉變單元(TU)。以深度優先樹遍歷次序來處理個別TU，該次序在圖3中經說明為字母次序，該處理在具有深度優先遍歷之回歸Z掃描之後。四分樹方法使得能夠使轉變適應剩餘信號之變化的空間頻率特性。通常，具有較大空間支援之較大轉變區塊大小提供更好的頻率解析度。然而，具有較小空間支援之較小轉變區塊大小提供更好的空間解析度。兩個解析度(空間解析度與頻率解析度)之間的折衷由編碼器模式決定(例如，由視訊編碼器20)(例如)基於速率失真最佳化技術所選擇。速率失真最佳化技術針對每一寫碼模式(例如，特定RQT分裂結構)計算寫碼位元及重建構失真之加權總和(亦即，速率失真成本)，並選擇具有最小速率失真成本之寫碼模式作為最佳模式。

三個參數定義於RQT中：樹之最大深度、最小允許轉變大小及最大允許轉變大小。最小及最大轉變大小可在自4×4至32×32樣本之範圍內變化，其對應於先前段落中提及之所支援的區塊轉變。RQT之最大允許深度限制TU之數目。最大深度等於零意謂CB(寫碼區塊)無法經進一步分裂，若每一CB包括TB(轉變區塊)，則達到最大允許轉變大小(例如32×32)。

所有此等參數與RQT結構相互作用並影響RQT結構。考慮根CB大小為64×64，最大深度等於零及最大轉變大小等於32×32的情況。在此情況下，CB必須被分割至少一次，否則其將產生不被允許的64×64TB。在HEVC中，不採用較大的大小轉變(例如，64×64轉變)，主要係因為其受限的益處考量及對於相對較小解析度視訊之相對高的複雜度。

RQT參數(亦即，最大RQT深度、最小及最大轉變大小)在位元串流中以序列參數集位準傳輸。關於RQT深度，可指定不同值並傳信不同值以用於經框內及框間寫碼之CU(亦即，經框內預測編碼之CU或經框間預測解碼之CU或經框內預測編碼之CU或經框間預測之CU)。

四分樹轉變應用於框內剩餘區塊及框間剩餘區塊兩者。通常，相同大小之當前剩餘四分樹分割區之DCT-II轉變應用於剩餘區塊。然而，若當前剩餘四分樹區塊為4×4並由框內預測產生，則應用以上4×4 DST-VII轉變。

下文描述HEVC中之係數寫碼。無論TU大小如何，使用非重疊係數群組(CG)來寫碼轉變單元之剩餘，且每一者含有TU之4×4區塊之係數。舉例而言，32×32 TU具有共計64個CG，且16×16 TU具有共計16個CG。根據某一預定義掃描次序來寫碼TU內部之CG。當寫碼每一CG時，根據用於4×4區塊之某一預定義掃描次序來掃描並寫碼當前CG內部之係數。圖4說明用於含有4個CG之8×8 TU的係數掃描。

對於每一色彩分量，可首先傳信一個旗標以指示當前轉變單元是否具有至少一個非零係數。若存在至少一個非零係數，則轉變單元中之係數掃描次序中之最末有效係數之位置隨後使用相對於轉變單元之左上角之協調而經明確地寫碼。協調之垂直或水平分量藉由其首碼及尾碼表示，其中首碼經二進位化具有截斷萊斯(TR)，且尾碼經二進位化具有固定長度。

last_sig_coeff_x_prefix指定轉變區塊內之掃描次序中之最末有效係數之行位置之首碼。last_sig_coeff_x_prefix之包含性值應在0至(log2TrafoSize<<1)-1的範圍內。

last_sig_coeff_y_prefix指定轉變區塊內之掃描次序中之最末有效係數之列位置之首碼。last_sig_coeff_y_prefix之包含性值應在0至(log2TrafoSize<<1)-1的範圍內。

last_sig_coeff_x_suffix指定轉變區塊內之掃描次序中之最末有效係數之行位置之尾碼。last_sig_coeff_x_suffix之包含性值應在0至(1<<((last_sig_coeff_x_prefix>>1)-1))-1的範圍內。

轉變區塊LastSignificantCoeffX內之掃描次序中之最末有效係數之行位置經導出如下：

-若不存在last_sig_coeff_x_suffix，則下文適用：LastSignificantCoeffX=last_sig_coeff_x_prefix

-否則(存在last_sig_coeff_x_suffix)，下文適用：LastSignificantCoeffX=(1<<((last_sig_coeff_x_prefix>>1)-1))*(2+(last_sig_coeff_x_prefix & 1))+last_sig_coeff_x_suffix

last_sig_coeff_y_suffix指定轉變區塊內之掃描次序中之最末有效係數之列位置之尾碼。last_sig_coeff_y_suffix之包含性值應在0至(1<<((last_sig_coeff_y_prefix>>1)-1))-1的範圍內。

轉變區塊LastSignificantCoeffY內之掃描次序中之最末有效係數之列位置經導出如下：若不存在last_sig_coeff_y_suffix，則下文適用：LastSignificantCoeffY=last_sig_coeff_y_prefix

否則的話(存在last_sig_coeff_y_suffix)，下文適用：LastSignificantCoeffY=(1<<((last_sig_coeff_y_prefix>>1)-1))*(2+(last_sig_coeff_y_prefix & 1))+last_sig_coeff_y_suffix

當scanIdx等於2時，座標如下調換：(LastSignificantCoeffX,LastSignificantCoeffY)=Swap(LastSignificantCoeffX,LastSignificantCoeffY)

在具有此類經寫碼之位置以及CG之係數掃描次序的情況下，進一步傳信一個旗標以用於除最末CG(在掃描次序中)之外的CG，該旗標指示其是否含有非零係數。對於可含有非零係數之彼等CG，有效旗標、係數之絕對值及正負號資訊可根據預定義4×4係數掃描次序針對每一係數而經進一步寫碼。

如上文所描述，本發明中描述之技術描述判定視訊編碼器20所應用以將轉變區塊轉化成係數區塊之轉變的方式及判定視訊解碼器30所應用(例如，作為逆轉變)以將係數區塊轉化成轉變區塊之轉變的方式。下文描述框內及框間預測剩餘之多重轉變(例如，用於當剩餘區塊自框內預測產生時及用於當剩餘區塊自框間預測產生時的不同轉變類型)。

在一些情況下，儘管DST類型-VII相較於習知的DCT類型-II可有效地改良框內寫碼效率，但轉變效率相對受限，這是因為預測剩餘呈現各種統計，且DCT類型-II及DST類型-VII之固定使用無法有效地適應所有可能的情況。已經提出一些技術以適應不同情況。

在S.-C.Lim、D.-Y.Kim、S.Jeong、J.S.Choi、H.Choi及Y.-L.Lee的「Rate-distortion optimized adaptive transform coding」(2009年8月，Opt.Eng.，第48卷，第8號，第087004-1-087004-14頁)中，提出適應性地採用用於預測剩餘之DCT或DST之完整版本的新轉變方案，對於每一區塊，傳信DCT或DST轉變是否用於預測剩餘。在Y.Ye及M. Karczewicz的「Improved H.264 intra coding based on bidirectional intra prediction,directional transform,and adaptive coefficient scanning」(2008年10月，第15次IEEE國際會議的影像處理學報，第2116-2119頁)中，已提出每一框內預測模式可映射至經預定義為KLT對的獨特轉變對(C及R)，以使得應用模式相依轉變(MDDT)。以此方式，不同KLT轉變可用於不同框內預測模式；然而，使用哪個轉變已被預定義且其取決於框內預測模式。

然而，在X.Zhao、L.Zhang、S.W.Ma及W.Gao的「Video coding with rate-distortion optimized transform」(2012年1月，IEEE Trans.，電路系統視訊技術，第22卷，第1號，第138-151頁)中，可使用更多轉變且明確地傳信來自導出於離線培訓程序轉變候選之預定義集合之轉變的索引。類似於MDDT，每一框內預測方向可具有其獨特的轉變對之集合。傳信索引以指定哪一轉變對係選自該集合。舉例而言，針對最小區塊大小4×4，存在至多四個垂直KLT轉變及至多四個水平KLT轉變；因此可選擇16個組合。對於較大區塊大小，使用較少數目之組合。「Video coding with rate-distortion optimized transform」中所提出之方法適用於框內及框間預測剩餘兩者。對於框間預測剩餘，可選擇KLT轉變之至多16個組合，且針對每一區塊傳信該等組合(四個用於4×4及十六個用於8×8)中之一者的索引。

在A.Saxena及F.Fernandes的「DCT/DST-based transform coding for intra prediction in image/video coding」(IEEE Trans.，影像處理)及C.Yeo、Y.H.Tan、Z.Li及S.Rahardja的「Mode-dependent transforms for coding directional intra prediction residuals」(2012年，IEEE Trans.，電路系統視訊技術，第22卷，第4號，第545-554頁)中，使用多重轉變；然而，替代使用KLT轉變(通常需要經過培訓)，使用DCT(DCT-II)或DST(DST-VII)以用於轉變單元(左轉變及右轉變(例如，C 及R)兩者相同)，且藉由所傳信旗標判定使用哪一者。在F.Zou、O.C.Au、C.Pang、J.Dai及F.Lu的「Rate-Distortion Optimized Transforms Based on the Lloyd-Type Algorithm for Intra Block Coding」(2013年11月，信號處理中之所選擇話題之IEEE期刊，第7卷，第6期)中，使用若干預定義KLT轉變對，且針對寫碼單元傳信(而非導出)轉變對之索引，以使得寫碼單元之每一轉變單元使用相同對之轉變。

在J.An、X.Zhao、X.Guo及S.Lei的「Non-CE7：Boundary-Dependent Transform for Inter-Predicted Residue」(JCTVC-G281)中，根據TU在CU內之位置選擇多重轉變以用於TU之經框間預測剩餘。C及R轉變兩者選自DST-VII及DST-VII之倒裝版本。因此，至多四個組合可能用於CU內之TU。然而，因為組合完全藉由PU之位置判定，故不需要傳信正在使用哪個組合。

可存在與用於剩餘之轉變相關的技術的某些問題(例如，由框內預測所引起之經框內預測之剩餘之問題，但亦可適用於由框間預測引起之經框間預測之剩餘)。現有方法可使用一對DST或DCT轉變以用於經框內預測之剩餘。然而，彼等轉變無法覆蓋剩餘信號之所有可能的分佈。

舉例而言，僅DCT類型-II應用於大於或等於HEVC中之8×8的框內預測剩餘區塊，該DCT類型-II無法適應框內預測剩餘之變化統計。僅DCT類型-II應用於HEVC中之框間預測剩餘，該DCT類型-II無法適應框間預測剩餘之變化統計。僅取決於轉變區塊大小或框內預測模式選擇轉變並不非常有效，因為剩餘統計仍可具有大變化，即使在相同框內預測模式或同一轉變大小下。

本發明描述以下技術。在一些實例中，以下技術中之一或多者可解決上文所提及之問題中之一或多者。然而，並不要求以下技術解決上文所提及之問題中之一或多者。以下技術可經個別地應用。在一些情況下，可應用實例技術之任何組合。舉例而言，視訊編碼器20及視訊解碼器30可個別地應用該等技術，或在一些情況下，應用該一或多個技術之任何組合。

在一些實例中，除了用於HEVC中之基於DCT-II之轉變之外，對於藉由框內預測模式產生之每一剩餘區塊，視訊編碼器20及視訊解碼器30可自DCT及DST家族之兩個或兩個以上候選轉變選擇轉變。作為一項實例，候選轉變可屬於基於不同類型之DCT及DST家族之共計16個轉變，且可包括(但不限於)DCT-I至DCT-VIII、DST-I至DST-VIII。替代地或另外，視訊編碼器20及視訊解碼器30可使用其他正弦單轉變，或甚至可使用其他KLT轉變。對於每一TU，水平及垂直轉變(例如，右轉變及左轉變)可為同一類型。舉例而言，候選轉變為DST-VII、DCT-VIII、DST-I及DST-V。

如上文所描述，存在16個轉變(例如，DCT-I至DCT-VIII及DST-I至DST-VIII)。識別使用哪些轉變之一方式為使視訊編碼器20及視訊解碼器30建構此等16轉變之清單。視訊編碼器20可隨後傳信(例如，在位元串流中產生)至該清單的第一索引以識別左轉變(例如，用於方程式Y=C*X*R^T之轉變C，其中X為轉變區塊且Y為所得係數區塊)並傳信(例如，在位元串流中產生)至該清單的第二索引以識別右轉變(例如，用於方程式Y=C*X*R^T之轉變R)。視訊解碼器30將隨後自位元串流接收第一索引及第二索引並判定視訊解碼器30將使用之轉變C及R以將係數區塊逆轉變回至轉變區塊。

在此實例中，第一索引之值可在0至15之範圍內，且第二索引之值可在0至15之範圍內。通常，寫碼較大數字需要傳信比寫碼較小數字更多的位元(例如，指示索引值15需要比指示索引值2更多的位元)。在清單包括所有16個轉變的情況下，可存在比所要消耗更多頻寬的傳信額外負荷。然而，關於可使用哪些轉變之限制選項(如HEVC中所進行)可減小傳信額外負荷，但不利地影響寫碼效率，因為更好的轉變不可用。

在本發明中描述的技術中，視訊編碼器20及視訊解碼器30可能夠自對傳信額外負荷具有低影響的相對大量的候選轉變判定左轉變及右轉變。作為一項實例，視訊編碼器20及視訊解碼器30可各自判定複數個轉變子集，其中每一者轉變子集識別複數個候選轉變。

舉例而言，視訊編碼器20及視訊解碼器30可各自建構以下三個轉變子集並將該等轉變子集儲存於記憶體中：轉變子集0：{DST-VII,DCT-VIII}、轉變子集1：{DST-VII,DST-I}及轉變子集2：{DST-VII,DCT-V}。在一些實例中，此等三個轉變可預儲存於視訊編碼器20及視訊解碼器30之記憶體中。在任何情況下，視訊編碼器20及視訊解碼器30可被視為判定此等三個轉變子集，其中該三個轉變子集中之每一者識別複數個候選轉變(例如，在此實例中識別兩個轉變)。複數個轉變子集可包括超過或低於三個轉變子集，且通常包括兩個或兩個以上轉變子集。每一轉變子集可包括一或多個候選轉變，但至少一者識別複數個候選轉變。舉例而言，一些轉變子集可僅識別一個轉變，且其他轉變子集可識別兩個或兩個以上轉變。在一些實例中，每一轉變子集可識別相對較小數目之轉變(例如，低於或等於5)。

在本發明中描述的技術中，視訊編碼器20及視訊解碼器30可判定對應的轉變子集。舉例而言，若視訊編碼器20中之所儲存轉變子集為轉變子集0：{DST-VII,DCT-VIII}、轉變子集1：{DST-VII,DST-I}及轉變子集2：{DST-VII,DCT-V}，則視訊解碼器30可儲存逆轉變子集：逆轉變子集0：{IDST-VII,IDCT-VIII}、逆轉變子集1：{IDST-VII,IDST-I}及逆轉變子集2：{IDST-VII,IDCT-V}。作為另一實例，視訊解碼器30可儲存與視訊編碼器20相同之轉變，且可在應用逆轉變之前將其逆向。在任一實例中，視訊編碼器20及視訊解碼器30可被視為儲存對應的轉變子集(例如，相同子集或具有彼此之逆轉變之子集)。

視訊編碼器20及視訊解碼器30可利用隱式技術以選擇左轉變及右轉變之轉變子集。隱式技術意謂視訊編碼器20不需要向視訊解碼器30傳信關於指示視訊解碼器30選擇哪些轉變子集的資訊。視訊編碼器20及視訊解碼器30可經組態以執行相同隱式技術以選擇轉變子集，從而在無需要傳信之資訊之量的任何增加的情況下引起視訊編碼器20及視訊解碼器30選擇相同轉變子集。

作為一項實例，若轉變區塊自框內預測產生，則視訊編碼器20及視訊解碼器30可基於框內預測模式判定選擇哪些轉變子集。舉例而言，視訊編碼器20及視訊解碼器30可各自儲存將框內預測模式映射至左轉變待自其判定之轉變子集及映射至右轉變待自其判定之轉變子集的表。

作為一實例，視訊編碼器20可在框內預測模式X中對當前區塊進行框內預測編碼。在此實例中，視訊編碼器20自在框內預測模式X中對當前區塊進行框內預測編碼而產生的剩餘區塊來產生轉變區塊。視訊編碼器20可基於框內預測模式X選擇用於左轉變之轉變子集及基於框內預測模式X選擇用於右轉變之轉變子集。如下文更詳細地描述，視訊編碼器20可自各別所選擇轉變子集判定左轉變及右轉變，並應用轉變以產生係數區塊。

視訊編碼器20可產生包括指示離開係數區塊之係數值之資訊以及指示自係數區塊產生之轉變區塊係用於使用框內預測模式X經框內預測編碼之區塊之資訊的視訊位元串流。視訊解碼器30可自所傳信資訊產生係數區塊並亦自經傳信資訊判定框內預測模式為模式X。視訊解碼器30可基於為模式X之框內預測模式來選擇用於左轉變之轉變子集 (在此情況下，其將為由視訊編碼器20應用之轉變之逆向)及用於右轉變之轉變子集(在此情況下，其將為由視訊編碼器20應用之轉變之逆向)。

指示哪些轉變子集映射至哪些框內預測模式之經儲存映射在視訊編碼器20側與視訊解碼器30側上為相同的。因此，視訊編碼器20及視訊解碼器30選擇對應的轉變子集。如下文更詳細地描述，視訊解碼器30可自各別所選擇轉變子集判定左轉變及右轉變，並應用轉變以產生轉變區塊。

儘管關於框內預測模式描述以上實例，但本發明中描述之技術不如此受限。在一些實例中，視訊編碼器20及視訊解碼器30可基於其他資訊(諸如，RQT深度、經量化係數及其類似者)選擇各別轉變子集而非框內預測模式。

又，儘管針對框內預測描述以上實例，本發明中描述之技術亦可經擴展至框間預測。舉例而言，類似於上文，視訊編碼器20及視訊解碼器30可判定複數個轉變子集。框間預測情況之此等複數個轉變子集可與框內預測情況之複數個轉變子集相同或不同。在一些情況下，框間預測情況之複數個轉變子集可與框內預測情況之複數個轉變子集之一些但並非所有相同。

對於框間預測，視訊編碼器20及視訊解碼器30可儲存轉變區塊相對於與其相關聯之PU、CU、或LCU之位置之間的映射。舉例而言，映射可指示若轉變區塊處於PU、CU或LCU之左邊界，則選擇轉變子集之第一群組(例如，用於左轉變之一個轉變子集及用於右轉變之一個轉變子集)。若轉變區塊處於PU、CU或LCU之右邊界，則選擇轉變子集之第二群組，及對於頂邊界及底邊界等等亦如此，其中在每一情況下，視訊編碼器20及視訊解碼器30選擇用於左轉變之一個轉變子集及用於右轉變之一個轉變子集。

視訊編碼器20及視訊解碼器30可以特定次序編碼及解碼圖像之區塊。因此，基於剛經編碼或解碼區塊之位置，視訊編碼器20及視訊解碼器30可判定PU、CU或LCU中之轉變區塊之位置。又，自視訊解碼器30之角度，視訊解碼器30自係數區塊產生轉變區塊。然而，基於解碼次序，視訊解碼器30可能夠判定將自係數區塊產生之轉變區塊之位置。

以此方式，在無需要傳信之資訊之量的任何增加的情況下，視訊編碼器20及視訊解碼器30可判定各別轉變子集，將自該等各別轉變子集判定左轉變及右轉變。在一些實例中，在視訊編碼器20選擇轉變子集之後，視訊編碼器20可傳信指示所選擇轉變子集中之哪些轉變用於左轉變及哪一轉變用於右轉變之資訊(例如，在視訊位元串流中產生該資訊)。視訊解碼器30接收所傳信資訊並判定左轉變及右轉變。

舉例而言，視訊編碼器20可傳信(例如，在位元串流中產生)至經選擇用於左轉變之轉變子集的索引及傳信(例如，在位元串流中產生)至經選擇用於右轉變之轉變子集的索引。視訊解碼器30可接收至各別轉變子集的各別索引，並判定左轉變及右轉變。

在此實例中，可存在需要傳信之資訊的增加(例如，傳信判定左轉變及右轉變之索引)。然而，需要傳信之資訊的增加可為最小。如上文所描述，轉變子集中之每一者可識別相對較小數目之轉變。因此，索引值之範圍可相對較小(例如，若每一轉變子集識別之轉變之最大數目為5，則索引值範圍為0至4)。

因此，對於傳信額外負荷之相對小的增加，本發明中描述之技術允許可被選擇之轉變之數目相對大的增加。舉例而言，由於存在每一者包括一或多個轉變之複數個轉變子集，16個實例轉變中之許多個轉變及可能所有轉變可在轉變中之一或多者加以識別。因為轉變子集係使用隱式技術所選擇的，故不存在傳信額外負荷的增加，且因為每一轉變子集識別相對小數目之轉變，故識別特定轉變不會大幅度地增加傳信額外負荷。

在一些實例中，進一步減小傳信額外負荷之量可為可能的。舉例而言，在一些實例中，如上文所描述，視訊編碼器20及視訊解碼器30可選擇轉變子集，但隨後經組態以基於某些條件而自各別轉變子集中之每一者判定特定轉變。在此情況下，視訊編碼器20可不需要傳信，且視訊解碼器30可不需要接收指示使用所選擇轉變子集內之哪些轉變的資訊。

作為一實例，在編碼程序期間，視訊編碼器20可使用來自所選擇轉變子集之特定轉變(例如，所選擇轉變子集中之第一經識別轉變)，且在應用該轉變之後，判定所得係數區塊中之非零係數之數目小於臨限值。在此情況下，視訊解碼器30可接收指示係數區塊之係數值的資訊並類似地判定非零係數之數目小於臨限值。在一些實例中，若視訊解碼器30判定係數區塊中之非零係數之數目小於臨限值(例如，1或2)，則視訊解碼器30可判定視訊解碼器30應使用來自所選擇轉變子集之特定轉變(例如，所選擇轉變子集中之第一經識別轉變)。

舉例而言，假定基於框內預測模式，視訊編碼器20判定用於左轉變之轉變子集為子集0且用於右轉變之轉變子集為子集1。在此情況下，視訊編碼器20可判定若子集0中之第一經識別轉變用作左轉變且若子集1中之第一經識別轉變用作右轉變，則所得係數區塊中之非零係數之數目小於臨限值。在此實例中，視訊編碼器20可不傳信指示子集0及子集1中之第一經識別轉變將分別用作左轉變及右轉變的資訊。在其他情況下，若子集0(或子集1)中之第一經識別轉變並不用作左轉變(或右轉變)，則所得係數區塊中之非零係數之數目小於臨限值。在此實例中，視訊編碼器20添加子集0及子集1中之經識別轉變不可用作左轉變及右轉變之限制。

視訊解碼器30可接收框內預測模式，且類似視訊編碼器20而基於框內預測模式判定轉變子集0及轉變子集1將經選擇以分別用於左轉變及右轉變。又，在自指示係數值之資訊產生係數區塊之後，視訊解碼器30亦可判定係數區塊中之非零係數之數目小於臨限值。視訊解碼器30可判定子集0中之第一經識別轉變及子集1中之第一經識別轉變將分別用作左轉變及右轉變，而不自視訊編碼器20接收此資訊，係因為非零係數之數目小於臨限值。

在以上實例中，轉變子集由16個轉變(亦即，八個DCT及八個DST)形成。然而，本發明中所描述之技術不如此受限。轉變之額外實例包括KLT轉變。因此，轉變子集可包括來自八個DCT、八個DST、KLT轉變及其他轉變實例之一或多個轉變。僅為了易於說明，關於八個DCT及八個DST描述實例。

作為概述，在本發明中描述之一些實例中，執行自三個或三個以上候選轉變之預選擇以制定轉變之子集，且自轉變之子集選擇待用於當前TU之最終轉變。舉例而言，轉變之子集可組成左轉變之子集及/或右轉變之子集。可藉由已解碼資訊(諸如，框內預測模式、RQT深度、經量化係數等)來判定制定轉變之子集(或左轉變之子集及右轉變之子集)的預選擇。

轉變之子集之數目可限於小整數，例如，1、2、3或4，且轉變之不同子集含有不同類型之轉變。在一項實例中，產生轉變之三個子集(每一者含有兩個轉變)。基於給定框內預測模式，左轉變之子集經設定成三個子集中之一者，且右轉變之子集亦警設定成三個子集中之一者(可或可不與左轉變之子集相同)。作為實例，轉變之三個子集為：{DST-VII,DCT-VIII}、{DST-VII,DST-I}及{DST-VII,DCT-V}。左轉變之子集或右轉變之子集可為以上三個子集中之一者。因此，各種框內預測模式可對應於用於左轉變及右轉變之子集之至多9個不同組合。替代地或另外，左轉變之子集或右轉變之子集僅含有一個轉變。替代地或另外，左轉變之子集及右轉變之子集兩者可僅含有一個轉變。

在上文所描述的實例中，無論TU大小如何，轉變子集及在轉變子集中識別的轉變可為相同的，且轉變子集中之轉變之數目可對於不同框內預測模式為相同的。然而，本發明中所描述之技術不如此受限。

在一些實例中，對於不同TU大小，左/右轉變之子集中之轉變之數目可不同，其典型數目可為(但不限於)2、3及4。對於不同框內預測模式，左/右轉變之子集中之轉變之數目可不同；轉變之典型數目可為(但不限於)2、3及4。

如上文所描述，當已經預選擇轉變之子集時，待使用之最終轉變可藉由轉變之子集之索引傳信。當左轉變之子集(或右轉變之子集)含有兩個或兩個以上轉變時，傳信屬於左轉變之子集(或右轉變之子集)之轉變的索引。其意謂當左轉變或右轉變之子集之數目等於1時，不需要傳信轉變之索引。

以上實例描述視訊編碼器20及視訊解碼器30可預選擇以制定轉變子集之情況。然而，本發明中所描述之實例不如此受限。替代地或另外，可不需要進行預選擇以制定轉變之子集，且直接傳信兩個或兩個以上候選轉變(如全集合)之一個索引以指示左轉變或右轉變。舉例而言，在視訊編碼器20處，可引入可測試僅全集合內之一些轉變且不測試其他轉變之約束條件以減小編碼器複雜度。選擇哪些轉變及轉變之索引可取決於框內預測模式或其他資訊。

在一些實例中，對於每一TU，對於左轉變(右轉變)，視訊編碼器20及視訊解碼器30可自候選轉變之子集選擇左轉變及右可為受約束的。舉例而言，轉變之僅一個子集含有DST-VII、DCT-VIII及DCT- II，且用於每一TU之左轉變始終選自{DST-VII、DCT-VIII及DCT-II}，且用於每一TU之右轉變亦始終選自{DST-VII、DCT-VIII及DCT-II}。

如上文所描述，本發明中所描述之實例技術可適用於框內預測及框間預測兩者。在HEVC中，對於自框間預測產生之轉變區塊，僅基於DCT-II之轉變為可用的。在一些實例中，除如HEVC中之習知的基於DCT-II之轉變之外，對於藉由框間預測模式產生之每一剩餘區塊，除產生左轉變之子集及右轉變之子集之外，視訊編碼器20及視訊解碼器30可根據兩個或兩個以上候選轉變方法自DCT及DST家族或其他轉變(例如，KLT)選擇轉變。類似於用於框內預測之以上實例，視訊編碼器20可傳信(例如，在位元串流中產生)及視訊解碼器30可在位元串流中接收用於每一TU之左轉變之子集的索引及右轉變之子集的索引以判定左轉變及右轉變。

作為一項實例，將兩個轉變(例如，DST-VII及DCT-VIII)置於左轉變之子集及右轉變之子集中。此等子集中之每一者的一位元索引判定當前TU之最終左轉變及最終右轉變。子集可為{DST-VII,DCT-VIII}或{DST-VIII,DCT-VII}。

替代地或另外，執行自三個或三個以上候選轉變之預選擇以制定轉變之子集，且自轉變之子集選擇待用於當前TU之最終轉變。舉例而言，制定轉變之子集(或左轉變之子集及右轉變之子集)之預選擇可藉由當前TU對於附屬PU之相對位置(亦即，當前TU是否位於附屬PU之頂邊界、左邊界、右邊界、底邊界或其他位置處)來判定。

在一項實例中，產生轉變之三個子集(每一者含有兩個轉變)。基於當前TU對於附屬PU之相對位置，左轉變之子集經設定成三個子集中之一者，且右轉變之子集亦經設定成三個子集中之一者(可或可不與左轉變之子集相同)。替代地或另外，左轉變之子集或右轉變之子集僅含有一個轉變。替代地或另外，左轉變之子集及右轉變之子集兩者可僅含有一個轉變。

在以上實例中，視訊編碼器20及視訊解碼器30可選擇用於CU之每一TU之轉變子集，且接著如上文所描述判定用於之每一TU之左轉變及右轉變。在此實例中，判定使用哪些轉變被視為處於TU位準。然而，本發明中所描述之實例技術不如此受限。

在一些情況下，視訊編碼器20可判定用於CU之每一TU之左轉變及右轉變應為同一預設轉變(例如，DCT-II作為一項實例，但其他轉變類型亦為可能的)。又，可存在用於左轉變之預設轉變及用於右轉變之預設轉變，或用於左轉變與右轉變之預設轉變可為相同的。在以下描述中，術語「預設轉變」應解釋為包括用於左轉變及右轉變之預設轉變為不同的及用於左轉變及右轉變之預設轉變為相同的兩種情況。舉例而言，用於左轉變及右轉變之預設轉變(例如，在不同或相同的情況下)可經預選擇，且其對於視訊編碼器20及視訊解碼器30為相同的。

若視訊編碼器20判定CU之每一TU應具有相同預設轉變，則視訊編碼器20可傳信如此指示之資訊(例如，在視訊位元串流中產生如此指示之資訊)。在此實例中，視訊編碼器20可不傳信至轉變子集中的索引，此減小需要傳信之資訊之量，係因為視訊解碼器30可基於所接收資訊判定預設轉變將用於CU之每一TU。

作為實例，視訊編碼器20可傳信(例如，在位元串流中產生)指示CU之每一TU是否將應用相同預設轉變之旗標。若旗標為第一值(例如，數位高)，則CU之每一TU以相同預設轉變應用。若旗標為第二值(例如，數位低)，則CU之至少一個TU以除預設轉變外之轉變應用。在CU之至少一個TU以不同轉變應用的情況下，若需要(例如，大於臨限值的非零係數)，則視訊編碼器20可選擇轉變子集並在轉變子集中傳信索引，如上文所描述。在CU之每一TU以相同預設轉變應用的情況下，視訊編碼器20可在轉變子集中之任一者中傳信任何索引，因為視訊解碼器30可已判定使用哪些轉變。

視訊解碼器30可接收指示CU之每一TU是否應用相同預設轉變之旗標。若旗標為第一值，則視訊解碼器30可判定未選擇轉變子集且未自位元串流剖析(例如，接收)轉變子集的索引。在此情況下，視訊解碼器30可應用預設轉變至CU之每一係數區塊。若旗標為第二值，則視訊解碼器30可判定將選擇轉變子集，判定是否將接收索引(例如，基於非零係數之數目)，並基於將接收索引之判定接收所選擇轉變子集中之索引。

在以上實例中，指示每一TU是否將使用相同預設轉變之旗標處於CU位準(例如，指示CU之每一TU使用相同預設轉變)。在一些實例中，旗標可處於CTU位準或PU位準而非處於CU位準。

舉例而言，視訊編碼器20可傳信(例如，在位元串流中產生)指示是否使用相同轉變來轉變區塊之所有轉變區塊的旗標。回應於接收指示區塊之所有轉變區塊並非係使用相同轉變來轉變的旗標，視訊解碼器30可選擇轉變子集並如上文所描述判定所選擇轉變中之索引。回應於接收指示區塊之所有轉變區塊係使用相同轉變來轉變的旗標，視訊解碼器30可將彼轉變用於區塊之轉變區塊中之每一者。在此實例中，「區塊」可為CTU、CU或PU中之一者，作為幾個實例。

作為概述，當使用當前CU利用額外轉變時(例如，如上文所描述)，待用於每一TU之轉變之傳信可在TU位準中進行。舉例而言，視訊編碼器20可對每一CU發送指示其內之TU是否使用額外轉變(例如，使用除HEVC中之彼等轉變的轉變)而寫碼的一個旗標。替代地或另外，可在LCU位準(CTU位準)、CU位準、PU位準、TU或任何其他區塊位準處來傳信該指示。

當旗標指示未使用額外轉變寫碼CU內之TU時，使用一個預設轉變來寫碼所有TU。在一項實例中，預設轉變為DCT-II。替代地或另外，預設轉變可取決於框內/框間模式、框內預測模式、區塊大小、PU內之TU位置、或當前TU之任何其他統計。舉例而言，如上文所描述，視訊編碼器20及視訊解碼器30可判定相同預設轉變，且預設轉變使用之條件可基於諸如框內/框間模式、框內預測模式、區塊大小、PU內之TU位置或當前TU之任何其他統計的因素。以此方式，藉由使用預設轉變，可減少需要傳信之資訊之量。

另外，指示可存在於不同階層中。舉例而言，若一位元旗標為0，則視訊編碼器20可首先傳信(例如，在位元串流中產生)在LCU(CTU)位準處之該一位元旗標，視訊編碼器20及視訊解碼器30可僅對每一CU應用DCT-II，否則，若一位元旗標為1，則視訊編碼器20可傳信在CU位準處之指定CU內之TU是否可使用多重轉變或僅預設轉變的另一旗標。

在此實例中，視訊解碼器30可在每一階層式層級處判定特定階層式層級內之所有TU是否使用預設轉變。舉例而言，若CTU位準處之旗標指示CTU之所有TU將使用相同預設轉變，則視訊解碼器30可使用用於CTU之所有TU的相同預設轉變。若CTU位準處之旗標指示CTU之所有TU並非將使用相同預設轉變，則視訊解碼器30可選擇轉變子集並如上文所描述判定用於CTU之每一TU之轉變。

在一些情況下，可存在用於CTU之CU中之每一者的另一旗標，而不是在CTU位準處停止並判定用於每一TU之轉變。舉例而言，視訊解碼器30可接收用於CTU之每一CU之旗標，其指示CU之所有TU是否使用相同預設轉變或並不使用相同預設轉變。若對於CU，視訊解碼器30接收指示CU之所有TU使用相同預設轉變之旗標，則視訊解碼器30可應用該預設轉變。若對於CU，視訊解碼器30接收指示CU之所有TU並非使用相同預設轉變的旗標，則視訊解碼器30可選擇轉變子集並如上文所描述判定用於CU之每一TU之轉變。

在一些情況下，可存在用於CU之PU中之每一者的另一旗標，而不是在CU位準處停止並判定用於每一TU之轉變。舉例而言，視訊解碼器30可接收用於CU之每一PU之旗標，其指示PU之所有TU是否使用相同預設轉變或並不使用相同預設轉變。若對於PU，視訊解碼器30接收指示PU之所有TU使用相同預設轉變之旗標，則視訊解碼器30可應用該預設轉變。若對於PU，視訊解碼器30接收指示PU之所有TU並非使用相同預設轉變的旗標，則視訊解碼器30可選擇轉變子集並如上文所描述判定用於PU之每一TU之轉變。

替代地或另外，此外，當CU之重疊區塊運動補償(OBMC)旗標經傳信為關閉時，並不針對當前CU傳信指示是否僅應用一個預設轉變之一位元旗標，且該一位元旗標經推斷為指示預設轉變(例如，DCT-II)經應用之預設值(例如，0)。替代地或另外，當允許OBMC用於當前圖塊時，一個區塊之一位元旗標(其指示是否僅應用一個預設轉變)之CABAC上下文模型化取決於當前區塊之OBMC旗標(例如，取決於OBMC旗標之值)。

在一項實例中，當OBMC旗標(經隱式導出或經明確傳信)為真(亦即，等於1)時，視訊編碼器20及視訊解碼器30可使用上下文模型之一個集合以用於CABAC編碼或CABAC解碼該一位元旗標。當OBMC旗標為假(亦即，等於0)時，上下文模型之另一集合可用於寫碼該一位元旗標。替代地或另外，此外，上下文模型之兩個集合之初始化機率可為不同的。替代地或另外，一個區塊之一位元旗標(其指示是否僅應用一個預設轉變)之CABAC上下文模型化取決於空間相鄰區塊(例如，左相鄰區塊及/或上相鄰區塊)或時間相鄰區塊(例如，參考圖像中之共置區塊)之對應的一位元旗標之值。

當CU啟用額外轉變時(例如，意謂HEVC之更受限制的選擇)，對於每一TU，視訊編碼器20可傳信且視訊解碼器30可自候選轉變(集合或子集)接收轉變的索引，如上文所描述。替代地或另外，視訊編碼器20可傳信此類資訊，且視訊解碼器30可在LCU位準、CU位準、PU位準或任何其他區塊位準處接收此類資訊。當視訊編碼器20在LCU位準、CU位準、PU位準或任何其他區塊位準處傳信指示符時，所有包括於彼位準內之TU可使用相同轉變對。

舉例而言，視訊編碼器20及視訊解碼器30可如上文所描述(例如，基於框內預測模式或基於用於框間預測之TU之位置)選擇轉變子集。在一些實例中，對於每一轉變區塊，視訊編碼器20可傳信索引且視訊解碼器30可接收用於每一轉變區塊之索引。然而，在一些實例中，作為幾個實例，視訊編碼器20可傳信用於左轉變之一個索引及用於右轉變之一個索引以用於CTU之所有TU、CU之所有TU或PU之所有TU，而不是接收用於每一轉變區塊之索引。在此實例中，對於視訊解碼器30針對TU之右轉變及左轉變所選擇之每一轉變子集，視訊解碼器30可應用藉由區塊(例如，CUT、CU或PU)之所有TU的索引所識別的轉變。

換言之，在一些情況下，至轉變子集的索引可被視為更「全域的」。舉例而言，視訊編碼器20可傳信用於左轉變及右轉變之索引。在此情況下，在索引對於區塊之每一TU為相同的而不考慮所選擇的特定轉變子集如何的意義上，索引可為全域的，其中區塊為CTU、CU或PU。在此等實例中，視訊解碼器30可自此等全域索引判定來自所選擇轉變子集之左轉變及右轉變。舉例而言，視訊解碼器30可不剖析用於每一轉變區塊之每一所選擇轉變子集之索引，而是基於全域索引識別用於區塊(例如，CTU、CU或PU)之所有轉變區塊的轉變。

如上文所描述，在一些實例中，視訊編碼器20可不傳信至所選擇轉變子集中的索引。舉例而言，對於特定TU，若剩餘信號之能量受到限制(例如，若不存在經傳輸用於當前TU之非零係數)，則可跳過額外轉變之傳信。額外轉變傳信之類似跳躍可適用於LCU、CU、PU或任何其他區塊位準。

替代地或另外，若在某一區塊位準處所傳輸之非零係數之總數目或總絕對總和或平方值之總和小於給定臨限值，則可跳過該某一區塊位準處之指示符。換言之，若係數區塊之非零係數之總數目或總絕對總和或平方值之總和小於臨限值，則視訊編碼器20可不傳信至所選擇轉變子集的索引。在此等實例中，若視訊解碼器30判定非零係數之總數目或總絕對總和或平方值之總和小於給定臨限值，則視訊解碼器30可判定至所選擇轉變子集之索引並不自位元串流接收(例如，剖析)。

在一項實例中，非零係數之總數目之臨限值為2。替代地或另外，非零係數之總數目之臨限值對於不同區塊大小或不同框內預測模式可為不同的。

在一些實例中，當LCU、CU、PU或區塊之大小大於或小於預定義臨限值，或在給定臨限值範圍內時，視訊編碼器20可跳過指示符(例如，至轉變子集的索引)之傳信，且視訊編碼器20及視訊解碼器30可僅應用預設轉變類型。在一項實例中，預設轉變為DCT-II。此外，當CU大小大於32×32時，視訊編碼器20可不傳信指示符，且視訊編碼器20及視訊解碼器30可僅應用用於每一TU之DCT-II。

視訊編碼器20及視訊解碼器30可使用(例如)固定長度碼、截斷一元碼或指數哥倫布碼來二進位化指示符(例如，至轉變子集的索引)。視訊編碼器20及視訊解碼器30可使用具有上下文之CABC熵寫碼(例如，分別編碼或解碼)指示符，且對於每一位元子，應用一個上下文。在一項實例中，基於位元子索引選擇上下文模型。在另一實例中，此外，當選擇上下文模型時亦考慮框內預測模式或TU大小或TU 深度。替代地或另外，使用上下文模型寫碼位元子之部分，且使用旁路模式寫碼剩餘位元子。替代地或另外，指示符可經旁路寫碼，亦即，不應用上下文模型化。

在實例技術中，視訊編碼器20可在位元串流中傳信各種資訊，且視訊解碼器30可自位元串流接收此類資訊。視訊編碼器20可傳信此類資訊且視訊解碼器30可自不同位置接收此類資訊。

作為一項實例，與多重轉變相關之語法可出現於高階語法中。視訊編碼器20可傳信(例如，在位元串流中產生)且視訊解碼器30可接收待用於圖像參數集(PPS)、序列參數集(SPS)或任何其他位置(包括甚至圖塊標頭處)的候選轉變之數目(如上文關於選自兩個或兩個以上候選轉變之轉變所所描述)。視訊編碼器20可傳信(例如，在位元串流中產生)且視訊解碼器30可在圖塊標頭、圖像參數集(PPS)、序列參數集(SPS)或任何其他位置處接收每一子集中之候選轉變之數目，如上文關於自三個或三個以上候選轉變之預選擇所描述。

可在圖塊標頭、PPS、SPS或任何其他位置處傳信旗標或索引以指示以上所提及之多重轉變是否應用於區塊位準處。如上文所描述，此旗標或索引之一個指定值可指示所有TU使用一個預設轉變來寫碼。另外或替代地，此旗標或索引之一個指定值可指示一或多個旗標/索引可在區塊位準處傳信以用於區塊位準處之轉變選擇。又，多重轉變並不適用之區塊之大小(當大小大於經傳信大小或小於經傳信大小或在兩個經傳信大小之範圍內時)可存在於參數集(例如，圖像參數集或序列參數集)中。

重申，以上描述利用術語「轉變」。然而，應理解，視訊編碼器20利用轉變以自剩餘區塊產生轉變係數值之轉變區塊。另一方面，視訊解碼器30利用逆轉變以自轉變區塊產生剩餘值之剩餘區塊。因此，在以上描述中，應理解，轉變之描述同樣適用於視訊解碼器30；然而，視訊解碼器30利用逆轉變。

圖5為說明可實施本發明之技術的實例視訊編碼器20之方塊圖。出於解釋之目的而提供圖5，且不應將該圖視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。舉例而言，視訊編碼器20可經組態以應用比HEVC中提供的受限選項更多的轉變至轉變區塊。

在圖5之實例中，視訊編碼器20包括預測處理單元100、視訊資料記憶體101、剩餘產生單元102、轉變處理單元104、量化單元106、逆量化單元108、逆轉變處理單元110、重建構單元112、過濾器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(未展示)。在其他實例中，視訊編碼器20可包括較多、較少或不同功能組件。

視訊資料記憶體101可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體101中之視訊資料。經解碼圖像緩衝器116可為儲存用於視訊編碼器20(例如)以框內或框間寫碼模式編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體101及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體101可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。

視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個相等大小的子區塊，將該等子區塊中之一或多者分割成四個相等大小的子區塊，等等。

視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測之2N×2N、2N×N、N×2N、N×N或類似之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。

框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測單元121可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測單元121不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測區塊係使用空間預測自同一圖框內的先前經編碼之相鄰區塊而形成。

若PU在P圖塊中，則框間預測處理單元120之運動估計單元可在用於PU之參考區域的參考圖像清單(例如，「RefPicList0」)中搜尋參考圖像。用於PU之參考區域可為參考圖像內含有最緊密地對應於PU之樣本區塊的樣本區塊之區域。運動估計單元可產生指示含有用於PU之參考區域之參考圖像的RefPicList0中之位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與關聯於參考區域的參考位置之間的空間移位之MV。舉例而言，MV可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元可輸出參考索引及MV作為PU之運動資訊。框間預測處理單元120之運動補償單元可基於由PU之運動向量指示之參考位置處的實際或經內插樣本而產生PU之預測性區塊。

若PU在B圖塊中，則框間預測處理單元120之運動估計單元可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元可搜尋RefPicList0或用於PU之參考區域的第二參考圖像清單(「RefPicList1」)之參考圖像。運動估計單元可輸出以下各者作為PU之運動資訊：指示含有參考區域之參考圖像之RefPicList0或RefPicList1中的位置之參考索引、指示PU之預測區塊與關聯於參考區域之參考位置之間的空間移位之MV，及指示參考圖像在RefPicList0中抑或在RefPicList1中之一或多個預測方向指示符。框間預測處理單元120之運動補償單元可至少部分地基於由PU之運動向量指示之參考區域處的實際或經內插樣本而產生PU之預測性區塊。

為針對PU執行雙向框間預測，運動估計單元可在用於PU之參考區域的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區域的RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考圖像索引。另外，運動估計單元可產生指示關聯於參考區域之參考位置與PU之樣本區塊之間的空間移位之MV。PU之運動資訊可包括參考索引及PU之MV。框間預測處理單元120之運動補償單元可至少部分地基於由 PU之運動向量指示之參考區域處的實際或經內插樣本而產生PU之預測性區塊。

框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。

為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式以產生用於PU之預測性資料的多個集合。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本來產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目之框內預測模式，例如，35個方向性框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。

預測處理單元100可自由框間預測處理單元120針對PU產生之預測性資料或由框內預測處理單元126針對PU產生之預測性資料當中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合之速率/失真量度而選擇用於CU之PU的預測性資料。所選擇之預測性資料的預測性區塊在本文中可被稱作所選擇之預測性區塊。

在本發明中描述之實例中，該等技術適用於視訊區塊經框內預測或框內預測的情況。舉例而言，當區塊經框內預測時，框內預測模式可用於判定轉變子集。當區塊經框間預測時，其位置可用於判定轉變子集。因此，實例技術適用於在框內預測模式中之任一者中經框內預測或經單向或雙向框間預測之視訊區塊。

此外，實例技術不限於框內預測或框間預測，且亦可經擴展至區塊內複製(IBC)模式。在IBC模式中，預測性區塊在與經編碼之視訊區塊相同之圖像中，且由區塊向量識別。在IBC模式中，轉變子集可選自視訊區塊之位置、預測性區塊之位置或區塊向量，作為幾個實例。

剩餘產生單元102可基於CU之明度、Cb及Cr寫碼區塊及CU之PU的所選擇之預測性明度、Cb及Cr區塊而產生CU之明度、Cb及Cr剩餘區塊。舉例而言，剩餘產生單元102可產生CU之剩餘區塊，以使得剩餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選擇預測性區塊中的對應樣本之間的差的值。

轉換處理單元104可執行四分樹分割以將與CU相關聯之剩餘區塊分割成與CU之TU相關聯的轉換區塊。因此，TU可與明度轉換區塊及兩個色度轉換區塊相關聯。CU之TU的明度轉換區塊及色度轉換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「剩餘四分樹」(RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之分葉節點。

轉換處理單元104可藉由將一或多個轉換應用於TU之轉換區塊而產生用於CU之每一TU的轉換係數區塊。轉換處理單元104可將各種轉換應用於與TU相關聯之轉換區塊。舉例而言，轉換處理單元104可將離散餘弦轉換(DCT)、定向轉換或在概念上類似之轉換應用於轉換區塊。在一些實例中，轉換處理單元104並不將轉換應用於轉換區塊。在此等實例中，轉換區塊可經處理為轉換係數區塊。

在本發明中描述之技術中，轉變處理單元104可應用左轉變及右轉變於TU之轉變區塊。在一些實例中，預測處理單元100可使用本發明中描述的技術判定應用哪些轉變。

舉例而言，預測處理單元100可判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變。候選轉變為不同轉變類型，且在一些實例中，預測處理單元100 基於經編碼視訊區塊之大小判定複數個轉變子集。

在一些實例中，視訊資料記憶體101儲存複數個轉變子集，且預測處理單元100可自所儲存轉變子集判定複數個轉變子集。在一些實例中，視訊資料記憶體101可儲存所有轉變，且預測處理單元100可以預定義方式建構轉變子集。候選轉變之實例包括DCT-I至DCT-VIII、DST-I至DST-VIII、KLT轉變及其類似者。在一些實例中，複數個轉變子集包括三個或三個以上轉變子集。

預測處理單元100可針對視訊資料之視訊區塊之當前轉變區塊之左轉變自複數個轉變子集選擇第一轉變子集及針對視訊資料之視訊區塊之轉變區塊之右轉變自複數個轉變子集選擇第二轉變子集。當前轉變區塊可為轉變處理單元104產生之轉變區塊且轉變處理單元104將應用轉變於其上。

預測處理單元100可自所選擇第一轉變子集判定左轉變並自所選擇第二轉變子集判定右轉變。舉例而言，預測處理單元100可測試所選擇轉變子集中之轉變中之每一者並判定哪一轉變提供最佳視訊寫碼。預測處理單元100可判定提供最佳視訊寫碼之各別轉變為左轉變及右轉變。

轉變處理單元104可基於左轉變、右轉變及當前轉變區塊判定當前係數區塊。舉例而言，轉變處理單元104可執行以下方程式：Y=C*X*R^T，其中C為左轉變，R為右轉變，X為當前轉變區塊，且Y為所得當前係數區塊。

若視訊區塊(例如，CU或PU)經框內預測編碼，則預測處理單元100可判定視訊區塊之框內預測模式。預測處理單元100可基於所判定框內預測模式選擇第一轉變子集，並基於所判定框內預測模式選擇第二轉變子集。

若視訊區塊(例如，CU或PU)經框間預測編碼，則預測處理單元 100可判定視訊區塊中之當前轉變區塊之位置(例如，判定轉變區塊是否用於自視訊區塊中之特定位置產生的剩餘)。預測處理單元100可基於所判定之當前轉變區塊之位置選擇第一轉變子集，並基於所判定之當前轉變區塊之位置選擇第二轉變子集。

對於框內預測或框間預測，在一些實例中，預測處理單元100可產生熵編碼單元118以傳信(例如，在位元串流中產生)至第一轉變子集的第一轉變子集索引以識別用於判定當前係數區塊之第一轉變子集中之轉變，並傳信(例如，在位元串流中產生)至第二轉變子集的第二轉變子集索引以識別用於判定當前係數區塊之第二轉變子集中之轉變。在一些實例中，預測處理單元100可判定當前係數區塊中之非零係數之數目。在此等實例中，預測處理單元100可使得熵編碼單元118以基於大於臨限值之非零係數之數目而傳信第一轉變子集索引，並基於大於臨限值之非零係數之數目傳信第二轉變子集。若非零係數之數目小於臨限值，則預測處理單元100可不使得熵編碼單元118傳信第一及第二轉變子集中之索引。

在一些實例中，第一轉變子集或第二轉變子集中之至少一者包括不同於離散餘弦轉變(DCT)-II轉變及離散正弦轉變(DST)-VII轉變的轉變。在一些實例中，第一轉變子集及第二轉變子集包括不同轉變(例如，第一轉變子集中之至少一個轉變並不在第二轉變子集中，或反之亦然)。

量化單元106可量化係數區塊中之轉換係數。量化程序可減少與轉換係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間，可將n位元轉換係數捨入至m位元轉換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊之損失；因此，經量化轉換係數相較於原始轉換係數可具有較低精確度。

逆量化單元108及逆轉換處理單元110可分別將逆量化及逆轉換應用於係數區塊，以自係數區塊重建構剩餘區塊。重建構單元112可將經重建構之剩餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構之轉換區塊。藉由以此方式重建構CU之每一TU的轉換區塊，視訊編碼器20可重構CU之寫碼區塊。

過濾器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在過濾器單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構之寫碼區塊之參考圖像，以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構之寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。

熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊(例如，指示用於重建構視訊區塊之當前係數區塊之係數之資訊)且可自預測處理單元100接收語法元素(例如，至第一及第二轉變子集的索引)。熵編碼單元118可對資料執行一或多個熵編碼操作，以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括藉由熵編碼單元118產生之經熵編碼資料的位元串流。舉例而言，位元串流可包括表示用於CU之RQT的資料。

在實例技術中，預測處理單元100判定預測性區塊，且在熵編碼單元118輸出之視訊位元串流中基於預測性區塊產生指示視訊區塊之預測模式之資訊。預測模式指示視訊區塊係經框內預測抑或框間預測。舉例而言，預測性區塊為基於經框內預測之視訊區塊而處於與該視訊區塊相同的圖像中或基於經框間預測之該視訊區塊而處於與包括該視訊區塊之圖像不同的圖像中之區塊。剩餘產生單元102可判定當前轉變區塊為視訊區塊與預測性區塊之間的剩餘。

圖6為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖6，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。

視訊解碼器30表示可經組態以執行根據本發明中描述之各種實例之技術之器件的實例。在圖6之實例中，視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、逆量化單元154、逆轉變處理單元156、重建構單元158、過濾器單元160，及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包含較多、較少或不同功能組件。

視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。可(例如)自電腦可讀媒體16(例如，自本端視訊源(諸如，攝影機))經由視訊資料之有線或無線網路通信或者藉由存取實體資料儲存媒體而獲得儲存於視訊資料記憶體151中之視訊資料。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於視訊解碼器30(例如)以框內或框間寫碼模式解碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨的記憶體器件提供視訊資料記憶體151及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。

經寫碼圖像緩衝器(CPB)可接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB接收經編碼視訊資料(例如，NAL單元)並剖析NAL單元以解碼語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼之語法元素。預測處理單元152、逆量化單元154、逆轉變處理單元156、重建構單元158及過濾器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。

位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可自經寫碼圖塊NAL單元提取語法元素並對該等語法元素進行熵解碼。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。圖塊標頭中之語法元素可包括識別與含有圖塊之圖像相關聯之PPS的語法元素。

除了解碼來自位元串流之語法元素之外，視訊解碼器30可對未分割之CU執行重建構操作。為了對未分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由針對CU之每一TU執行重構操作，視訊解碼器30可重建構CU之剩餘區塊。

作為對CU之TU執行重建構操作之部分，逆量化單元154可對與TU相關聯之係數區塊進行逆量化(亦即，解量化)。逆量化單元154可使用與TU之CU相關聯之QP值來判定量化程度且同樣地判定逆量化單元154應用的逆量化程度。亦即，可藉由調整在量化轉變係數時使用的QP值來控制壓縮比，亦即，用以表示原始序列及經壓縮序列之位元數目之比率。壓縮比亦可取決於所採用的熵寫碼之方法。

在逆量化單元154對係數區塊進行逆量化之後，逆轉變處理單元156可將一或多個逆轉變應用於係數區塊，以便產生與TU相關聯之剩餘區塊。舉例而言，逆轉變處理單元156可將逆DCT、逆整數轉變、逆Karhunen-Loeve轉變(KLT)、逆旋轉轉變、逆定向轉變或另一逆轉變應用於係數區塊。

在本發明中描述的技術中，預測處理單元152可判定逆轉變處理單元156將應用之左轉變及右轉變。舉例而言，預測處理單元152可判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變。候選轉變為不同轉變類型，且在一些實例中，預測處理單元152基於經解碼之視訊區塊之大小判定複數個轉變子集。

在一些實例中，視訊資料記憶體151儲存複數個轉變子集，且預測處理單元152可自所儲存轉變子集判定複數個轉變子集。在一些實例中，視訊資料記憶體151可儲存所有轉變，且預測處理單元152可以預定義方式建構轉變子集。在一些實例中，預測處理單元152可自位元串流接收識別轉變子集之資訊。候選轉變之實例包括DCT-I至DCT-VIII、DST-I至DST-VIII、KLT轉變及其類似者。在一些實例中，複數個轉變子集包括三個或三個以上轉變子集。

預測處理單元152可針對視訊資料之當前係數區塊之左轉變自複數個轉變子集選擇第一轉變子集，並針對視訊資料之當前係數區塊之右轉變自複數個轉變子集選擇第二轉變子集。預測處理單元152可自所選擇第一轉變子集判定左轉變並自所選擇第二轉變子集判定右轉變。

逆轉變處理單元156可基於左轉變、右轉變及當前係數區塊判定當前轉變區塊。舉例而言，逆轉變處理單元156可執行以下方程式之逆向：Y=C*X*R^T，其中Y為係數區塊，C為左轉變，X為轉變區塊且R為右轉變。又，在本發明中，應理解，逆轉變處理單元156應用視訊編碼器20所應用之轉變之逆向，但為了簡單，視訊解碼器30經描述為應用轉變。

預測處理單元152可基於當前轉變區塊及預測性區塊重建構(例如，框內預測或框間預測解碼)視訊區塊。舉例而言，若使用框內預測來編碼PU，則框內預測處理單元166可執行框內預測以產生PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於在空間上相鄰的PU之預測區塊而產生PU的預測性明度、Cb及Cr區塊。框內預測處理單元166可基於自位元流解碼之一或多個語法元素而判定用於PU之框內預測模式。

預測處理單元152可基於自位元串流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測來編碼，則熵解碼單元150可提取用於PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定PU之一或多個參考區域。運動補償單元164可基於用於PU之一或多個參考區塊處的樣本區塊產生用於PU之預測性明度、Cb及Cr區塊。

此外，實例技術不限於框內預測或框間預測，且亦可經擴展至區塊內複製(IBC)模式。在IBC模式中，用於形成預測性區塊之參考區塊在與經編碼之視訊區塊相同的圖像中，且由區塊向量識別。在IBC模式中，轉變子集可選自視訊區塊之位置、參考區塊之位置或區塊向量，作為幾個實例。

重建構單元158可在適用時使用與CU之TU相關聯的明度轉變區塊、Cb轉變區塊及Cr轉變區塊以及CU之PU的預測性明度區塊、Cb區塊及Cr區塊(亦即，框內預測資料或框間預測資料)來重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。舉例而言，重建構單元158可將明度轉變區塊、Cb轉變區塊及Cr轉變區塊之樣本添加至預測性明度區塊、Cb區塊及Cr區塊之對應樣本，以重建構CU的明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。

過濾器單元160可執行解區塊操作以減少與CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度區塊、Cb區塊及Cr區塊對其他CU之PU執行框內預測操作或框間預測操作。

在一些實例中，在視訊區塊將經框內預測解碼的情況下，預測處理單元152可判定視訊區塊之框內預測模式。預測處理單元152可基於所判定之框內預測模式選擇第一轉變子集，並基於所判定之框內預測模式選擇第二轉變子集。

在視訊區塊將經框間預測解碼的情況下，預測處理單元152可判定視訊區塊中之當前轉變區塊之位置(例如，判定係數區塊是否用於自視訊區塊中之特定位置產生的剩餘)。預測處理單元152可基於所判定之當前轉變區塊之位置選擇第一轉變子集，並基於所判定之當前轉變區塊之位置選擇第二轉變子集。

在一些實例中，預測處理單元152可接收至第一轉變子集之第一轉變子集索引，並接收至第二轉變子集的第二轉變子集索引。在此等實例中，預測處理單元152可基於藉由第一轉變子集索引識別之第一轉變子集中之轉變來判定左轉變，並基於藉由第二轉變子集索引識別之第二轉變子集中之轉變來判定右轉變。

然而，預測處理單元152可不需要接收第一轉變子集及第二轉變子集中之索引。舉例而言，預測處理單元152可判定當前係數區塊中之非零係數之數目小於臨限值。在此等情況下，回應於判定當前係數區塊中之非零係數之數目小於臨限值，在不接收至第一轉變子集之轉變子集索引的情況下，預測處理單元152可判定在第一轉變子集中識別的第一轉變為左轉變，且回應於判定當前係數區塊中之非零係數之數目小於臨限值，在不接收至第二轉變子集之轉變子集索引的情況下，判定在第二轉變子集中識別的第一轉變為右轉變。

又，預測處理單元152可不必在所有情況下自轉變子集判定轉變。在一些實例中，預測處理單元152可接收指示包括當前轉變區塊之區塊的所有轉變區塊並非係使用相同轉變來轉變的旗標。在此等實例中，預測處理單元152可選擇第一轉變及第二轉變，並回應於接收指示包括當前轉變區塊之區塊的所有轉變區塊並非係使用相同轉變來轉變的旗標，自各別第一轉變及第二轉變判定左轉變及右轉變。區塊之實例包括寫碼樹型單元(CTU)、寫碼單元(CU)或預測單元(PU)。

在實例技術中，視訊解碼器30可自位元串流接收指示預測模式之資訊(例如，視訊區塊係經框內預測抑或框間預測)，並自位元串流接收指示當前係數區塊之係數的資訊。預測處理單元152可基於預測模式判定預測性區塊，且逆轉變單元156或預測處理單元152可基於所接收的指示係數之資訊建構係數區塊。預測模式為框間預測模式或框內預測模式中之一者，且當前轉變區塊為視訊區塊及預測性區塊之剩餘。

上文所描述的技術可藉由視訊編碼器20(圖4及圖5)及/或視訊解碼器30(圖4及圖6)執行，該兩者可通常被稱作視訊寫碼器。同樣地，在適用時，視訊寫碼可係指視訊編碼或視訊解碼。另外，視訊編碼及視訊解碼一般可被稱作「處理」視訊資料。

在以下子部分中，將提供以上技術之實例。實務上，實例之任何部分之任何組合可被用作新的實例技術。

下文描述建構額外候選轉變清單之實例。除將DCT-II始終應用於所有所包括之TU之預設轉變方法外，對於每一TU，給定所選擇轉變集合，可建構額外候選轉變方法。在一項實例中，框內及框間預測剩餘之額外候選轉變清單經建構如下：首先， 轉變集合 被定義為轉變類型之集，例如，實例轉變集合可被定義為包括兩個類型之轉變(亦即，DCT-II及DST-VII)的{DCT-II,DST-VII}。基於兩個給定轉變集合，可藉由自第一轉變集合選擇一個轉變類型作為水平轉變且自第二轉變集合選擇另一轉變類型作為垂直轉變而產生不同的 轉變方法 。舉例而言，當轉變集合0{DCT-II,DST-VII}用於水平轉變，且轉變集合1{DCT-VIII,DST-VII}用於垂直轉變時，可產生共計四個轉變方法如下：

對於框內預測剩餘，定義共計三個轉變子集，包括：轉變子集 0：{DST-VII,DCT-VIII}，轉變子集1：{DST-VII,DST-I}及轉變子集2：{DST-VII,DCT-V}。對於用於水平轉變及垂直轉變之轉變集合的選擇取決於框內預測模式，如下表2中所示，

舉例而言，對於框內模式10，水平(右)轉變之候選轉變類型來自包括DST-VII及DCT-VIII之轉變集合0，且垂直(左)轉變之候選轉變類型來自包括DST-VII及DCT-V之轉變集合2。因此，框內模式10之額外候選轉變清單最終如表3中所示建構，其中產生共計四個轉變方法

根據表2，對於每一TU，給定框內預測模式，可產生共計四個轉變方法。對於框間預測剩餘，同一轉變集合{DST-VII,DCT-VIII}用於水平轉變及垂直轉變兩者。因此，對於每一TU，如表4中所示建構額外候選轉變清單。

以下描述為指示符傳信之實例。為適應性地適於不同內容，在CU位準及TU位準處傳信關於轉變使用之指示符。CU位準指示符為指示預設DCT-II是否應用於包括於當前CU中之所有TU的一位元旗標。若一位元旗標為0，則僅預設DCT-II可應用於包括於當前CU中之該TU；否則，二位元TU位準指示符可針對每一TU進一步經傳信，且第一位元指定來自給定轉變集合之哪一轉變類型經應用為水平轉變，且第二位元指定來自給定轉變集合之哪一轉變類型經應用為垂直轉變。

對於框內預測剩餘，在係數之後傳信TU位準指示符，且當TU之非零係數之總數目不大於2時，TU位準指示符未經傳信且經導出為0。否則，TU位準指示符經明確地傳信。對於框間預測剩餘，可在係數之前或之後傳信TU位準指示符，且當TU中不存在非零係數時，不傳信TU位準指示符。

在下文中提供所提出實例之基於HEVC之語法、語義。在以下語法中，分量之灰化用於指示語法中之潛在變化或以其他方式輔助理解。

轉變樹語法

替代地，add_multi_transform_flag可不依賴cbf_luma而傳信。

此等效於發送寫碼單元中之旗標。

轉變樹語義

add_multi_transform_flag[x0][y0]指定增強型多重轉變是否應用於包括於當前CU中之每一TU，當 add_multi_transform_flag[x0][y0]為0時，DCT-II始終應用於包括於當前CU中之每一TU，否則，left_transform_flag及right_transform_flag可經進一步傳信以用於每一TU指定應用於屬於當前轉變樹之TU的左轉變及右轉變。當不存在add_multi_transform_flag[x0][y0]時，推斷其等於0。

剩餘寫碼語法

剩餘寫碼語義

left_transform_flag[x0][y0]指定應用於當前TU之左轉變之轉變索引，當不存在時，left_transform_flag[x0][y0]經推斷為0。

right_transform_flag[x0][y0]指定應用於當前TU之右轉變之轉變索引，當不存在時，right_transform_flag[x0][y0]經推斷為0。

用於導出左轉變及右轉變之解碼程序

-若CuPredMode[x0][y0]==MODE_INTRA，給定框內模式值IntraPredModeY[xPb][yPb]，基於下表導出LeftTransSubsetIdx及RightTransSubsetIdx之值：

-給定LeftTransSubsetIdx及left_tranform_flag之值，使用下表導出左轉變：

-給定RightTransSubsetIdx及right_tranform_flag之值，使用下表導出左轉變：

-否則(CuPredMode[x0][y0]！=MODE_INTRA)，執行以下內容：

-給定值left_tranform_flag，使用下表導出左轉變：

-給定值right_tranform_flag，使用下表導出右轉變：

下文為應用增強型多重轉變及大轉變之實例。對於藉由視訊編碼器20執行之編碼程序，在一項實例中，對於小於(或等於)32×32之每一CU，對當前CU進行兩次寫碼。在第一遍次中，僅使用DCT-II來寫碼當前CU。用於寫碼整個CU之速率失真成本經記錄為RDcost_CU_DCT；及用於寫碼PU之每一框內預測模式之速率失真成本經記錄為RDcost_PU_DCT[i][p]，其中i指示當前CU內部之框內預測模式之索引，且p指示當前CU內部之PU之索引。基於由p索引的當前PU之速率失真最佳化之最佳框內預測模式表示為IPM[p]。

在第二遍次中，使用下文描述之多重轉變再次寫碼當前CU。對於藉由當前CU之p'所索引的每一所包括的PU，執行以下內容。對於每一候選框內預測模式i'，若RDcost_PU_DCT[i'][p']>RDcost_PU_DCT[IPM[p']][p']，則跳過框內預測模式i'且不選擇框內預測模式i'作為當前PU之最佳框內預測模式。否則，針對包括於當前PU中之每一TU執行以下內容。

對於當前PU內部之每一TU，給定當前候選框內預測模式，根據以上實例，選擇2個候選右(R)轉變及2個候選左(L)轉變，因此共計4個不同R及L轉變組合。隨後，使用速率失真成本測試每一候選R及L轉變組合。

在此程序期間，若一個R及L轉變組合產生零係數(例如，零值或無係數)，則跳過剩餘的L及R轉變組合且不選擇剩餘的L及R轉變組合作為最佳R及L轉變組合。選擇具有最小速率失真成本之R及L轉變組合作為實際轉變以編碼當前剩餘區塊。另外，在選擇組合R及L轉變之以上程序期間，若一個候選R及L轉變組合產生不超過2個的非零係數，則不選擇其作為最佳轉變組合，除非R轉變及L轉變兩者為DST-VII轉變。

當針對當前CU內部之所有PU進行以上程序之後，則用於寫碼整個CU之速率失真成本經記錄為RDcost_CU_EMT。若RDcost_CU_DCT小於RDcost_CU_EMT，則一個旗標add_multi_transform_flag經條件性地傳信為0，如以上實例中所描述，且使用DCT-II編碼所有所包括的TU。否則，add_multi_transform_flag經條件性地傳信為1，如以上實例中所描述，且對於每一所包括的TU，當如以上實例所描述傳信係數之後，條件性地傳信left_transform_flag及另一旗標right_transform_flag以指示選擇哪些左轉變及右轉變以用於編碼當前TU。

下文描述藉由視訊解碼器30執行之解碼程序之實例。在一項實例中，對於小於(或等於)32×32之每一CU，一位元旗標add_multi_transform_flag經條件性地傳信，如以上實例中所描述。僅當轉變深度為0且明度分量之經寫碼區塊旗標(CBF)值為0時不傳信此旗標，否則，始終傳信該旗標。

若add_multi_transform_flag為0，則僅DCT-2應用於所有所包括的TU，否則，執行以下內容。對於每一TU，在如以上實例中所描述傳信係數之後，條件性地傳信一位元旗標left_transform_flag及另一旗標right_transform_flag。下文描述是否傳信left_transform_flag及right_transform_flag之條件。

在當前CU經框內寫碼時，非零係數之總數目小於(或等於)2時，不傳信left_transform_flag及right_transform_flag。否則，傳信left_transform_flag及right_transform_flag。

否則，在當前CU不經框內寫碼時，不存在非零係數時，不傳信left_transform_flag及right_transform_flag。否則，傳信left_transform_flag及right_transform_flag。

對於每一TU，給定所傳信的left_transform_flag及right_transform_flag，如以上實例中所描述導出左轉變及右轉變。在當前CU大於32×32時，對於具有同一64×64大小之每一TU，執行轉變，如下文關於更大大小之TU的實例更詳細地描述。

下文為基於框內預測模式建構額外轉變清單之另一替代案之實例。除始終對所有所包括的TU應用DCT-II之預設轉變方法外，對於每一TU，額外候選轉變DST-VII可經應用如下。給定當前 U之框內預測模式(表示為IPM)，應用於此TU上之左轉變及右轉變經指定如下。若(IPM&1)等於1，則DCT-II經應用為用於當前TU之左轉變及右轉變兩者；否則((IPM &1等於0)，DST-VII經應用為用於當前TU之左轉變及右轉變兩者。

上文描述用於判定待使用之轉變之實例技術。下文描述用於支援較大大小之轉變之實例。舉例而言，支援64×64轉變為有利的，尤其對於寫碼具有較大解析度(例如，1080p及4K)之視訊如此。為支援64×64轉變，同時約束視訊編碼器20及視訊解碼器30兩者之複雜度為重要的，且但可進行各種方式以實現彼情況，可獲得更好的解決方案。

實際應用之N×N轉變矩陣可為縮放原始浮點轉變矩陣之後的整數點近似，且縮放可大於64*log2N，包括(但不限於)s*log2N，其中s可為128或256。在一項實例中，水平轉變及垂直轉變之後的所得轉變係數藉由應用額外右移位操作保持於16位元表示內。額外右移位操作包括(但不限於)將垂直及水平逆/正轉變之後的所得轉變係數右移位額外log₂(s/64)個位元。

可應用大於32點轉變之轉變大小，包括(但不限於)剩餘區塊上的64點、128點、256點。當M點及N點轉變分別應用於水平轉變及垂直轉變(其中M及N為整數且M可與N相同或不相同)時，僅傳信所得M×N係數區塊內部之左上X×Y較低頻率係數(其中X<M及Y<N)，且不傳信剩餘係數並導出剩餘係數為0。

就上下文模型化而言，所得M×N係數區塊內部之最末非零係數之位置可藉由再使用用於S×T區塊(其中X

S

M且Y

T

N)之最末非零係數位置寫碼之相同邏輯而寫碼。為使超出X×Y之係數歸零，可針對LastSignificantCoeffY及LastSignificantCoeffX引入約束條件。舉例而言，LastSignificantCoeffX(LastSignificantCoeffY)之值可小於X(Y)。X及Y之值可為常數，例如32，或取決於轉變大小，例如X=M/2，Y=N/2。對於64點轉變，X及Y之典型值為32。

在一項實例中，可預定義及使用用於M×N之一或多個CG(寫碼分組)掃描次序。然而，對於所得M×N係數區塊之左上X×Y區域外側之CG，跳過傳信每一CG中是否存在至少一個非零係數之CG位準旗標且未寫碼該旗標。替代地或另外，對於所有W×H個CG，其中W及H之典型值為4，遵循用於X×Y區域之掃描次序來寫碼CG，該掃描次序包括(但不限於)(M/W)×(N/H)包括對角線、曲折、水平或垂直掃描次序。替代地或另外，所有CG經分組於W'×H'單元中，其中W'為W之倍數且H'為H之倍數，該等W'×H'單元遵循掃描次序而經寫碼，該掃描次序包括(但不限於)(M/W')×(N/H')對角線、曲折、水平或垂直掃描次序，每一W×H單元內之CG遵循掃描次序而經寫碼，該掃描次序包括(但不限於)(W'/W)×(H'/H)對角線、曲折、水平或垂直掃描次序。

為支援寫碼對應於64×64、128×128或256×256之轉變大小的RQT 深度，可針對對應於大於32×32之轉變大小的RQT深度值共用用於寫碼取決於轉變大小之RQT分裂旗標之CABAC上下文。舉例而言，對於特定RQT深度情況，包括(但不限於)對應於轉變大小64×64及32×32之RQT深度值，相同CABAC上下文可應用於寫碼RQT分裂旗標。

下文為針對64×64轉變執行32×32歸零之實例。可存在對於最末位置之約束條件，其中last_sig_coeff_x_suffix指定轉變區塊內之掃描次序中之最末有效係數之行位置之尾碼。last_sig_coeff_x_suffix之包含性值應在0至(1<<((last_sig_coeff_x_prefix>>1)-1))-1的範圍內。轉變區塊內之掃描次序中之最末有效係數之行位置LastSignificantCoeffX經導出如下。若不存在last_sig_coeff_x_suffix，則以下內容適用：LastSignificantCoeffX=last_sig_coeff_x_prefix，否則(last_sig_coeff_x_suffix存在)，以下內容適用：LastSignificantCoeffX=(1<<((last_sig_coeff_x_prefix>>1)-1))*(2+(last_sig_coeff_x_prefix & 1))+last_sig_coeff_x_suffix。

語法元素last_sig_coeff_y_suffix指定轉變區塊內之掃描次序中之最末有效係數之列位置之尾碼。last_sig_coeff_y_suffix之包含性值應在(包括)0至(1<<((last_sig_coeff_y_prefix>>1)-1))-1的範圍內。轉變區塊內之掃描次序中之最末有效係數之列位置LastSignificantCoeffY經導出如下。若不存在last_sig_coeff_y_suffix，則下文使用：LastSignificantCoeffY=last_sig_coeff_y_prefix，否則(存在last_sig_coeff_y_suffix)，下文適用：LastSignificantCoeffY=(1<<((last_sig_coeff_y_prefix>>1)-1))*(2+(last_sig_coeff_y_prefix & 1))+last_sig_coeff_y_suffix

當scanIdx等於2時，座標調換如下(LastSignificantCoeffX,LastSignificantCoeffY)=Swap(LastSignificantCoeffX,LastSignificantCoeffY)。LastSignificantCoeffX或LastSignificantCoeffY之值應小於32。

下文為用於傳信有效CG及有效係數之條件。

剩餘寫碼語法

下文描述重疊區塊運動補償(OBMC)之實例。在ITU-T H.263之研發中提出OBMC。參見用於低位元速率通信之視訊寫碼之文件(Rec.H.263，ITU-T，1995年4月)。在8×8區塊上執行OBMC，且兩個已連接的相鄰8×8區塊之運動向量用於當前區塊，如圖8A及圖8B中所展示。舉例而言，對於當前巨集區塊中之第一8×8區塊，除其自身運動向量外，上相鄰運動向量及左相鄰運動向量亦經應用以產生兩個額外預測區塊。以此方式，當前8×8區塊中之每一像素具有三個預測值，且此等三個預測值之加權平均數用作對各別像素之最終預測。

當相鄰區塊不經寫碼或經寫碼為框內(亦即，相鄰區塊不具有可用運動向量)時，當前8×8區塊之運動向量用作相鄰運動向量。同時，對於當前巨集區塊之第三及第四8×8區塊(如圖7中所展示)，可不使用下相鄰區塊(例如，總是不使用或不總是使用)。換言之，在一些實例中，對於每一MB，在OBMC期間，將不使用來自其下方之MB之運動資訊來重建構當前MB之像素。

下文描述如HEVC中所提出的OBMC。在HEVC中，在2011年11月18日申請的美國臨時申請案第61/561,783號、2012年11月15日申請的美國申請案第13/678,329號、2011年1月10日申請的美國臨時申請案第61/431,480號、2011年3月8日申請的美國臨時申請案第61/450,532號及2011年12月6日申請的美國申請案第13/311,834號中，亦提出OBMC以使PU邊界平滑。圖8A及圖8B中展示HEVC中所提出的方法之實例，其中白色區域為藉由PU0表示之第一預測單元(PU)，且灰色區域為表藉由PU1)表示之第二PU。當CU含有兩個(或更多)PU時，藉由OBMC使靠近PU邊界之線/行平滑。對於PU0或PU1中之用「A」或「B」標記的像素，產生兩個預測值(亦即，藉由分別應用PU0及PU1之運動向量)，且其加權平均數用作最終預測。

另外，在2015年1月26日申請的美國臨時申請案第62/107,964號及2015年2月16日申請的美國臨時申請案第62/116,631號中，已提出指示OBMC是否應用於當前CU之CU-位準旗標(亦即OBMC旗標)。

觀測到當OBMC不應用於一個寫碼單元(例如，經傳信旗標為0)時，除DCT-II外之轉變為無效的。因此，用於指示多重轉變之使用之額外傳信為冗餘的。

如所描述，視訊編碼器20可傳信(例如，在位元串流中產生)CU-位準旗標以指示是否啟用OBMC以用於當前CU。在一些實例中，當此OBMC旗標已經傳信為1(指示OBMC經啟用以用於當前CU)時，僅預設DCT-II用於每一TU，且因此視訊編碼器20可不傳信用於轉變選擇之任何事物，亦即，既不傳信CU-位準旗標亦不傳信TU-位準索引。

下文描述最佳化視訊編碼器20之實例。舉例而言，以下實例可用於視訊編碼器20。然而，對於視訊解碼器30而言，執行類似技術可為可能的。

在編碼器(例如，視訊編碼器20)處，當所提出的多重轉變應用於當前TU時，對於大於或等於M×N之轉變大小，僅計算M'×N'低頻係數，且其他係數經設定為0，其中(M'<=M及N'<=N及M'*N'<M*N)。在一項實例中，M及N中之每一者之值為32，且M'及N'中之每一者之值為16。在此實例中，定位於大於M'及/或大於N'之位置處之係數可被視為較高頻率係數。通常，又及TU之右邊及又及TU之底部的係數可被視為較高頻率係數。

在編碼器處，對於某一寫碼模式，若使用預設轉變(例如，DCT-II)之寫碼成本大於當前最小寫碼成本乘以給定臨限值，則跳過所提出的多重轉變。寫碼成本可為速率失真成本、絕對預測剩餘之總和、平方預測剩餘之總和或絕對轉變差之總和。臨限值可取決於寫碼區塊大小。在一項實例中，臨限值之值為1.1。

在編碼器處，對於某一框內預測方向模式，若使用預設轉變(例如DCT-II)之寫碼成本大於最佳框內預測方向模式之寫碼成本乘以給定臨限值，則不對此框內預測模式應用所提出的多重轉變且跳過該等多重轉變。寫碼成本可為速率失真成本、絕對預測剩餘之總和、平方預測剩餘之總和或絕對轉變差之總和。臨限值可取決於寫碼區塊大小。在一項實例中，對於4×4、8×8、16×16及32×32區塊大小，臨限值之值分別為1.47、1.28、1.12及1.06。

在編碼器處，若使用預設轉變(例如，DCT-II)之N×N框內PU分割區之寫碼成本大於2N×2N框內PU分割區之寫碼成本乘以給定臨限值，則不對N×N框內PU分割區應用所提出的多重轉變且跳過該等多重轉變。寫碼成本可為速率失真成本、絕對預測剩餘之總和、平方預測剩餘之總和或絕對轉變差之總和。臨限值可取決於寫碼區塊大小。在一項實例中，臨限值之值為1.2。

在編碼器處，若使用預設轉變(例如，DCT-II)之2N×2N框內PU分割區模式之寫碼成本大於最佳框間寫碼模式之寫碼成本乘以給定臨限值，則不對框內PU模式應用所提出的多重轉變且跳過該等多重轉變。寫碼成本可為速率失真成本、絕對預測剩餘之總和、平方預測剩餘之總和或絕對轉變差之總和。臨限值可取決於寫碼區塊大小。在一項實例中，臨限值之值為1.4。

在編碼器處，若使用多重轉變候選中之一者產生用於當前區塊之全零係數，則不對當前區塊應用剩餘轉變候選且跳過該等剩餘轉變候選。替代地或另外，若使用預設轉變(例如，DCT-II)產生用於當前區塊之全零係數，則不對當前區塊應用多重轉變候選且跳過該等多重轉變候選，且僅預設轉變(例如，DCT-II)用於寫碼當前區塊。

在編碼器處，當已傳信OBMC旗標且其指示OBMC關閉時，則指示是否僅應用一個預設轉變之一位元旗標仍經傳信為預設值(例如，0)，該旗標指示應用預設轉變(例如，DCT-II)，且不對當前區塊應用多重轉變候選且跳過該等多重轉變候選。

圖9為說明解碼視訊資料之實例方法的流程圖。視訊解碼器30可判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變(200)舉例而言，預測處理單元152可自儲存於視訊資料記憶體151中之轉變子集擷取複數個轉變子集。複數個轉變子集可經預儲存於視訊資料記憶體151中，或可自視訊編碼器20接收識別如何建構轉變子集之資訊。視訊解碼器30可針對視訊資料之當前係數區塊之左轉變自複數個轉變子集選擇第一轉變子集，並針對視訊資料之當前係數區塊之右轉變自複數個轉變子集選擇第二轉變子集(202)。舉例而言，預測處理單元152可基於在視訊位元串流中傳信之框內預測模式資訊或基於以幾種實例方式解碼之視訊區塊之位置來選擇第一及第二轉變子集從而判定轉變子集。

視訊解碼器30可自所選擇的第一轉變子集判定左轉變，且自所選擇的第二轉變子集判定右轉變(204)。舉例而言，預測處理單元152可接收位元串流中之資訊(諸如，至所選擇轉變子集之索引)或可隱含地基於非零係數之數目判定轉變。視訊解碼器30可基於左轉變、右轉變及當前係數區塊判定當前轉變區塊(206)。舉例而言，逆轉變處理單元156可藉由應用左轉變及右轉變於由逆量化單元154輸出之係數區塊上來判定當前轉變區塊。視訊解碼器30可基於當前轉變區塊及預測性區塊重建構(例如，框內預測或框間預測解碼)視訊區塊(208)。舉例而言，重建構單元158可添加當前轉變區塊(其為視訊區塊與預測性區塊之間的剩餘)至預測性區塊以重建構視訊區塊。

圖10為說明編碼視訊資料之實例方法的流程圖。視訊編碼器20可判定複數個轉變子集，每一子集識別一或多個候選轉變，其中至少一個轉變子集識別複數個候選轉變(300)。舉例而言，預測處理單元100可自儲存於視訊資料記憶體101中之轉變子集擷取複數個轉變子集。複數個轉變子集可經預儲存於視訊資料記憶體101中。視訊編碼器20可針對視訊資料之視訊區塊之當前轉變區塊之左轉變自複數個轉變子集選擇第一轉變子集並針對視訊資料之視訊區塊之轉變區塊之右轉變自複數個轉變子集選擇第二轉變子集(302)。舉例而言，預測處理單元100可基於熵編碼單元118在視訊位元串流中產生的框內預測模式資訊或基於以幾種實例方式編碼之視訊區塊之位置來選擇第一及第二轉變子集從而判定轉變子集。

視訊編碼器20可自所選擇的第一轉變子集判定左轉變，且自所選擇的第二轉變子集判定右轉變(304)。舉例而言，預測處理單元100可測試各種判定轉變以識別提供良好視訊寫碼品質之轉變。視訊編碼器20可基於左轉變、右轉變及當前係數區塊判定當前轉變區塊(306)。舉例而言，轉變處理單元104可藉由應用左轉變及右轉變於由重建構單元102輸出之轉變區塊上來判定當前係數區塊。視訊編碼器20可產生具有指示用於重建構視訊區塊之當前係數區塊之係數之資訊(例如，信號資訊)的視訊位元串流(308)。舉例而言，熵編碼單元118可輸出視訊解碼器30用以重建構視訊區塊的資訊。

應理解，本文所描述之所有技術可單獨地或以組合方式使用。本發明包括可取決於某些因素(諸如，區塊大小、圖塊類型等)改變之若干傳信方法。在傳信或推斷語法元素中之此類變化可事先對編碼器及解碼器為已知或可在視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、圖塊標頭中在圖案塊層級或其他處經明確地傳信。

將認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行，可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序地執行動作或事件。另外，儘管出於清晰之目的將本發明之某些態樣描述為藉由單一模組或單元執行，但應理解，本發明之技術可藉由與視訊寫碼器相關聯之單元或模組之組合來執行。

儘管在上文描述技術的各種態樣之特定組合，但提供此等組合僅為了說明本發明中所描述的技術之實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中描述之技術的各種態樣之任何可設想組合。

在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體。以此方式，電腦可讀媒體通常可對應於非暫時性的有形電腦可讀儲存媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。

可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指代前述結構或適合於實施本文中所描述之技術的任何其他結構中的任一者。此外，在一些態樣中，本文中所描述之功能性可提供在經組態用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。

本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。

已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。