TW202029754A - 用於置零轉換之掃描及最後係數位置寫碼 - Google Patents

Abstract

本發明提供一種對視訊資料進行解碼之方法，其包括判定一轉換單元中對轉換係數進行置零之一第一區域；判定該轉換單元中不對轉換係數進行置零之一第二區域；以及僅掃描該轉換單元之該第二區域。

Description

用於置零轉換之掃描及最後係數位置寫碼

本發明係關於視訊編碼及視訊解碼。

數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放機、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議器件、視訊串流器件及類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265/高效視訊寫碼(HEVC)定義之標準及此類標準的擴展中所描述之彼等技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除為視訊序列所固有之冗餘。對於基於區塊之視訊寫碼，視訊圖塊(slice)(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，該等視訊區塊亦可稱作寫碼樹狀結構單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用關於相同圖像中之相鄰區塊中之參考樣本的空間預測來對圖像的經框內寫碼(I)圖塊中之視訊區塊進行編碼。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用關於相同圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可稱作圖框，且參考圖像可稱作參考圖框。

一般而言，本發明描述用於視訊寫碼之轉換係數寫碼的技術。在一些實例中，本發明描述用於對高頻係數使用置零技術之大型轉換的一轉換係數掃描技術及一最後非零係數位置寫碼技術。當使用一置零技術時，一視訊寫碼器可經組態以將一轉換單元之一特定區域中的所有轉換係數設定為具有一零值。舉例而言，對於一64×64轉換單元，該視訊寫碼器可使該轉換單元左上角中之一32×32區域中的值(例如，最低頻率分量)保持不變。然而，該視訊寫碼器將此區域(亦即，置零區域)之外的所有轉換係數設定為具有一零值。

在一個實例中，本發明描述一種掃描技術，其包括僅掃描一轉換單元中處於該置零區域之外(亦即，處於非置零區域中)的轉換係數。以此方式，可避免掃描已知具有一零值之轉換係數，由此增加寫碼器輸送量。

另外，本發明描述對具有一置零區域之一轉換單元中的一最後非零轉換係數之一位置進行寫碼的技術。舉例而言，本發明描述一視訊寫碼器判定一上下文(例如，一機率模型)之技術，該上下文用於對指示一最後非零轉換係數之一位置的一語法元素進行寫碼。在一個實例中，基於該轉換單元之完整大小而不基於該轉換單元之非置零區域的大小來判定該上下文。儘管保證該最後非零轉換係數之該位置位於該非置零區域(例如，一64×64轉換單元之左上32×32區域)中，但對該最後非零轉換係數之該位置進行寫碼的該上下文與一64×64轉換單元而非一32×32轉換單元之統計資料更緊密相關。因此，可增加對該最後非零轉換係數之該位置的寫碼效率。

在一個實例中，一種方法包括判定一轉換單元中對轉換係數進行置零之一第一區域，判定該轉換單元中不對轉換係數進行置零之一第二區域，以及僅掃描該轉換單元之該第二區域。

在另一實例中，一種器件包括一記憶體及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以判定一轉換單元中對轉換係數進行置零之一第一區域，判定該轉換單元中不對轉換係數進行置零之一第二區域，且僅掃描該轉換單元之該第二區域。

在另一實例中，一種器件包括用於判定一轉換單元中對轉換係數進行置零之一第一區域的構件、用於判定該轉換單元中不對轉換係數進行置零之一第二區域的構件及用於僅掃描該轉換單元之該第二區域的構件。

在另一實例中，一種電腦可讀儲存媒體編碼有指令，該等指令在經執行時使得一可程式化處理器進行以下操作：判定一轉換單元中對轉換係數進行置零之一第一區域，判定該轉換單元中不對轉換係數進行置零之一第二區域，且僅掃描該轉換單元之該第二區域。

在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自描述、圖式及申請專利範圍而顯而易見。

本申請案主張2018年10月18日申請之美國臨時申請案第62/747,543號、2018年12月28日申請之美國臨時申請案第62/786,285號、2019年1月4日申請之美國臨時申請案第62/788,546號及2019年1月15日申請之美國臨時申請案第62/792,795號的權益，該等申請案中之每一者的全部內容以引用之方式併入本文中。

圖1為說明可執行用於掃描及寫碼置零轉換單元之本發明之技術的實例視訊編碼及解碼系統100之方塊圖。本發明之技術大體上係針對寫碼(編碼及/或解碼)視訊資料。一般而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經寫碼之視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如發信資料。

如圖1中所示，在此實例中，系統100包括源器件102，其提供待由目的地器件116解碼及顯示之經編碼視訊資料。特定而言，源器件102經由電腦可讀媒體110將視訊資料提供至目的地器件116。源器件102及目的地器件116可包括廣泛範圍之器件中之任一者，該等器件包括桌上型電腦、筆記型電腦(亦即，膝上型電腦)、平板電腦、機上盒、諸如智慧型電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放機、視訊遊戲主控台、視訊串流器件或類似者。在一些情況下，源器件102及目的地器件116可經裝備用於無線通信，且由此可稱作無線通信器件。

在圖1之實例中，源器件102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地器件116包括輸入介面122、視訊解碼器300、記憶體120及顯示器件118。根據本發明，源器件102之視訊編碼器200及目的地器件116之視訊解碼器300可經組態以應用用於轉換係數寫碼之技術。因此，源器件102表示視訊編碼器件之實例，而目的地器件116表示視訊解碼器件之實例。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件102可自外部視訊源(諸如外部攝影機)接收視訊資料。同樣地，目的地器件116可與外部顯示器件介接，而非包括整合式顯示器件。

如圖1中所示的系統100僅為一個實例。一般而言，任何數位視訊編碼及/或解碼器件可執行用於轉換係數寫碼之技術。源器件102及目的地器件116僅為其中源器件102產生經寫碼視訊資料以供傳輸至目的地器件116的此類寫碼器件之實例。本發明將「寫碼」器件稱作對資料執行寫碼(編碼及/或解碼)之器件。因此，視訊編碼器200及視訊解碼器300表示寫碼器件之實例，特定而言分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，源器件102及目的地器件116可以大體上對稱之方式操作，以使得源器件102及目的地器件116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援源器件102與目的地器件116之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。

一般而言，視訊源104表示視訊資料源(亦即，原始未經寫碼之視訊資料)且將視訊資料之一系列依序圖像(亦稱作「圖框」)提供至視訊編碼器200，該視訊編碼器對圖像之資料進行編碼。源器件102之視訊源104可包括視訊俘獲器件(諸如視訊攝影機)、含有先前俘獲之原始視訊的視訊檔案庫及/或用於自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200對所俘獲、所預先俘獲或電腦產生之視訊資料進行編碼。視訊編碼器200可將圖像自接收次序(有時稱作「顯示次序」)重新配置成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源器件102隨後可經由輸出介面108將經編碼視訊資料輸出至電腦可讀媒體110上以供藉由例如目的地器件116之輸入介面122接收及/或擷取。

源器件102之記憶體106及目的地器件116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或可替代地，記憶體106、120可儲存可分別由例如視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中將記憶體106、120展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括功能上類似或等效用途之內部記憶體。此外，記憶體106、120可儲存例如自視訊編碼器200輸出及輸入至視訊解碼器300的經編碼視訊資料。在一些實例中，記憶體106、120之部分可經分配作為一或多個視訊緩衝器，以例如儲存原始經解碼及/或經編碼視訊資料。

電腦可讀媒體110可表示能夠將經編碼視訊資料自源器件102傳送至目的地器件116的任何類型的媒體或器件。在一些實例中，電腦可讀媒體110表示使得源器件102能夠例如經由射頻網路或基於電腦之網路即時將經編碼視訊資料直接傳輸至目的地器件116的通信媒體。輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可根據通信標準(諸如無線通信協定)解調所接收傳輸信號。通信媒體可包括任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多條實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全球網路)的一部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件102至目的地器件116之通信的任何其他設備。

在一些實例中，電腦可讀媒體110可包括儲存器件112。源器件102可將經編碼資料自輸出介面108輸出至儲存器件112。類似地，目的地器件116可經由輸入介面122自儲存器件112存取經編碼資料。儲存器件112可包括各種分佈式或本端存取式資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。

在一些實例中，電腦可讀媒體110可包括檔案伺服器114或可儲存藉由源器件102產生之經編碼視訊資料的另一中間儲存器件。源器件102可將經編碼視訊資料輸出至檔案伺服器114。目的地器件116可經由串流傳輸或下載而自檔案伺服器114存取經儲存視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料並將該經編碼視訊資料傳輸至目的地器件116的任何類型之伺服器器件。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路器件或網路附接儲存(NAS)器件。目的地器件116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(DSL)、電纜數據機等)或適用於存取儲存於檔案伺服器114上之經編碼視訊資料的無線通道與有線連接之組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合操作。

輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如乙太網路卡)、根據各種IEEE 802.11標準中之任一者操作之無線通信組件，或其他實體組件。在輸出介面108及輸入介面122包括無線組件之實例中，輸出介面108及輸入介面122可經組態以根據諸如4G、4G-LTE (長期演進)、進階LTE、5G或類似者之蜂巢式通信標準來傳送資料，諸如經編碼視訊資料。在輸出介面108及輸入介面122包括無線傳輸器及/或無線接收器的一些實例中，輸出介面108及輸入介面122可經組態以根據諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth™標準或類似者之其他無線標準來傳送資料，諸如經編碼視訊資料。在一些實例中，源器件102及/或目的地器件116可包括各別系統單晶片(SoC)器件。舉例而言，源器件102可包括用以執行歸於視訊編碼器200及/或輸出介面108之功能性的SoC器件，且目的地器件116可包括用以執行歸於視訊解碼器300及/或輸入介面122之功能性的SoC器件。

本發明之技術可應用於支援各種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。

目的地器件116之輸入介面122自電腦可讀媒體110 (例如，通信媒體、儲存器件112、檔案伺服器114或類似者)接收經編碼視訊位元串流。來自電腦可讀媒體110之經編碼視訊位元串流可包括由視訊編碼器200定義之發信資訊，該發信資訊亦由視訊解碼器300使用，諸如具有描述視訊區塊或其他經寫碼單元(例如，圖塊、圖像、圖像組、序列或類似者)之特性及/或處理之值的語法元素。顯示器件118向使用者顯示經解碼視訊資料之經解碼圖像。顯示器件118可表示各種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。

儘管圖1中未示出，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括適合的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。

視訊編碼器200及視訊解碼器300各自可經實施為各種合適的編碼器及/或解碼器電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可經整合為各別器件中之組合式編碼器/解碼器(編解碼器)的部分。包括視訊編碼器200及/或視訊解碼器300之器件可包括積體電路、微處理器及/或無線通信器件，諸如蜂巢式電話。

一般而言，本發明描述用於視訊寫碼之轉換係數寫碼的技術。在一些實例中，本發明描述用於對高頻係數使用置零技術以減少複雜性之大型轉換的轉換係數掃描技術及最後非零係數位置寫碼技術。亦即，在一些實例中，視訊寫碼器(例如，視訊編碼器200及/或視訊解碼器300)可經組態以將轉換單元之特定區域中的所有轉換係數設定為具有零值。舉例而言，對於64×64轉換單元，視訊寫碼器可使轉換單元左上角中之32×32區域中的值(例如，最低頻率分量)保持原樣。然而，視訊寫碼器將此區域(亦即，置零區域)之外的所有轉換係數設定為具有零值。

在一個實例中，本發明描述掃描技術，其包括僅掃描轉換單元中處於置零區域之外的轉換係數。以此方式，可避免掃描已知具有零值之轉換係數，由此增加寫碼器輸送量。

另外，本發明描述對具有置零區域之轉換單元中的最後非零轉換係數之位置進行寫碼的技術。舉例而言，本發明描述視訊寫碼器判定上下文(例如，機率模型)之技術，該上下文用於對指示最後非零轉換係數之位置的語法元素進行寫碼。在一個實例中，基於轉換單元之完整大小而不基於轉換單元之非置零區域的大小來判定上下文。儘管保證最後非零轉換係數之位置位於非置零區域(例如，64×64轉換係數之左上32×32區域)中，但對最後非零轉換係數之位置進行寫碼的上下文與64×64轉換單元而非32×32轉換單元之統計資料更緊密相關。因此，可增加對最後非零轉換係數之位置的寫碼效率。

如將在下文更詳細地解釋，視訊編碼器200及視訊解碼器300可經組態以判定轉換單元中對轉換係數進行置零之第一區域，判定轉換單元中不對轉換係數進行置零之第二區域，且僅掃描轉換單元的第二區域。

視訊編碼器200及視訊解碼器300可根據視訊寫碼標準(諸如ITU-T H.265，亦稱作高效視訊寫碼(HEVC))或其擴展(諸如多視圖及/或可調式視訊寫碼擴展)操作。可替代地，視訊編碼器200及視訊解碼器300可根據其他專用或行業標準(諸如聯合探索測試模型(JEM)及/或H.266/VVC (多功能視訊寫碼))操作。然而，本發明之技術不限於任何特定寫碼標準。本發明之技術可適用於對各種類型之視訊資料進行編碼及解碼。特定而言，視訊資料，其中預測資料區塊，計算差，且使用多種轉換中之一者來轉換差或殘餘以產生轉換係數。隨後掃描轉換係數。視訊寫碼可涉及根據各種不同標準之此類技術。

新的視訊寫碼標準之早期草案(稱作H.266/多功能視訊寫碼(VVC)標準)係在文件JVET-J1001，Benjamin Bross之「Versatile Video Coding (草案1)」中獲得，且其演算法描述係在文件JVET-J1002，Jianle Chen及Elena Alshina之「Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)」中獲得。

一般而言，視訊編碼器200及視訊解碼器300可執行基於區塊之圖像寫碼。術語「區塊」通常係指包括待處理(例如經編碼、經解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括明度及/或色度資料之樣本的二維矩陣。一般而言，視訊編碼器200及視訊解碼器300可對以YUV (例如Y、Cb、Cr)格式表示之視訊資料進行寫碼。亦即，視訊編碼器200及視訊解碼器300可對明度及色度分量進行寫碼，而非對圖像之樣本的紅色、綠色及藍色(RGB)資料進行寫碼，其中該等色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式資料轉換成YUV表示，且視訊解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元及後處理單元(未展示)可執行此等轉換。

本發明通常可指對圖像進行寫碼(例如編碼及解碼)以包括對圖像之資料進行編碼或解碼的程序。類似地，本發明可指對圖像之區塊進行寫碼以包括對區塊之資料進行編碼或解碼的程序，例如預測及/或殘餘寫碼。經編碼視訊位元串流通常包括表示寫碼決策(例如寫碼模式)及圖像至區塊之分割的語法元素的一系列值。因此，對圖像或區塊進行寫碼之參考通常應理解為對形成該圖像或區塊之語法元素的值進行寫碼。

HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)及轉換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四分樹結構將寫碼樹狀結構單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相等的非重疊正方形，且四分樹之每一節點具有零個或四個子節點。不具有子節點之節點可稱作「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四分樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經框內預測之CU包括框內預測資訊，諸如框內模式指示。

舉另一實例，視訊編碼器200及視訊解碼器300可經組態以根據JEM或VVC操作。根據JEM或VVC，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹狀結構單元(CTU)。視訊編碼器200可根據樹狀結構(諸如四分樹二元樹(QTBT)結構或多類型樹(MTT)結構)分割CTU。QTBT結構移除多種分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四分樹分割進行分割的第一層級及根據二元樹分割進行分割的第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。

在MTT分割結構中，區塊可使用四分樹(QT)分割、二元樹(BT)分割及/或一或多種類型之三叉樹(triple tree；TT) (亦稱作三元樹(ternary tree；TT))分割來進行分割。三叉或三元樹分割為將區塊分裂成三個子區塊的分割。在一些實例中，三叉或三元樹分割在不經由中心劃分原始區塊之情況下將區塊劃分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。

在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT或MTT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或更多個QTBT或MTT結構，諸如用於明度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。

視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割或其他分割結構。為了解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四分樹分割、MTT分割亦或其他類型之分割的視訊寫碼器。

區塊(例如CTU或CU)可在圖像中以各種方式分組。舉一個實例，磚可指圖像中之特定圖案塊(tile)內的CTU列之矩形區域。圖案塊可為圖像中之特定圖案塊行及特定圖案塊列內的CTB之矩形區域。圖案塊行係指高度等於圖像之高度且寬度藉由語法元素(例如，諸如在圖像參數集中)指定的CTU之矩形區域。圖案塊列係指高度藉由語法元素(例如，諸如在圖像參數集中)指定且寬度等於圖像之寬度的CTU之矩形區域。

在一些實例中，圖案塊可分割成多塊磚，多塊磚中之每一者可包括圖案塊內之一或多個CTU列。未分割成多塊磚之圖案塊亦可稱作磚。然而，作為圖案塊之真子集的磚可不稱作圖案塊。

在圖像中之磚亦可配置於圖塊中。圖塊可為可獨佔地含於單一網路抽象層(NAL)單元中的圖像之整數數目塊磚。在一些實例中，圖塊包括數個完整圖案塊或僅包括一個圖案塊之完整磚的連續序列。

本發明可互換地使用「N×N」及「N乘N」以指代區塊(諸如CU或其他視訊區塊)在豎直及水平尺寸方面之樣本尺寸，例如16×16個樣本或16乘16個樣本。一般而言，16×16 CU將在豎直方向上具有16個樣本(y=16)且在水平方向上具有16個樣本(x=16)。同樣地，N×N CU通常在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU不必在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包含N×M個樣本，其中M未必等於N。

視訊編碼器200對CU之表示預測及/或殘餘資訊及其他資訊的視訊資料進行編碼。預測資訊指示將如何對CU進行預測以便形成CU之預測區塊。殘餘資訊通常表示編碼前CU與預測區塊之樣本之間的逐樣本差。

為預測CU，視訊編碼器200通常可經由框間預測或框內預測形成CU之預測區塊。框間預測通常係指自先前經寫碼圖像之資料預測CU，而框內預測通常係指自相同圖像之先前經寫碼資料預測CU。為了執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200通常可執行運動搜尋，以識別例如就CU與參考區塊之間的差而言與CU緊密匹配之參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差量度，以判定參考區塊是否與當前CU緊密匹配。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。

JEM及VVC之一些實例亦提供仿射運動補償模式，其可被視作一框間預測模式。在仿射運動補償模式下，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或更多個運動向量。

為了執行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。JEM及VVC之一些實例提供六十七種框內預測模式，包括各種方向模式以及平面模式及DC模式。一般而言，視訊編碼器200選擇描述當前區塊(例如，CU之區塊)之相鄰樣本的框內預測模式，根據該框內預測模式來預測當前區塊之樣本。假定視訊編碼器200以光柵掃描次序(左至右、上至下)對CTU及CU進行寫碼，此類樣本通常可位於與當前區塊在相同圖像中的當前區塊之上方、左上方或左側。

視訊編碼器200對表示當前區塊之預測模式的資料進行編碼。舉例而言，針對框間預測模式，視訊編碼器200可對表示使用多種可用框間預測模式中之哪一者的資料以及對應模式之運動資訊進行編碼。舉例而言，對於單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)模式或合併模式來對運動向量進行編碼。視訊編碼器200可使用類似模式來對仿射運動補償模式之運動向量進行編碼。

在區塊之預測(諸如框內預測或框間預測)之後，視訊編碼器200可計算區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個轉換應用於殘餘區塊，以在轉換域而非樣本域中產生經轉換資料。舉例而言，視訊編碼器200可將離散餘弦轉換(DCT)、整數轉換、小波轉換或概念上類似的轉換應用於殘餘視訊資料。另外，視訊編碼器200可在一級轉換之後應用二級轉換，諸如模式相依不可分離二級轉換(mode-dependent non-separable secondary transform；MDNSST)、信號相依轉換、卡忽南-拉維轉換(Karhunen-Loeve transform；KLT)或類似者。視訊編碼器200在應用一或多個轉換之後產生轉換係數。

如上文所提及，在用以產生轉換係數的任何轉換之後，視訊編碼器200可執行轉換係數之量化。量化通常係指將轉換係數量化以可能地減少用以表示轉換係數之資料之量從而提供進一步壓縮的程序。藉由執行量化程序，視訊編碼器200可減小與轉換係數中之一些或全部相關聯的位元深度。舉例而言，視訊編碼器200可在量化期間將n 位元值捨入至m 位元值，其中n 大於m 。在一些實例中，為了執行量化，視訊編碼器200可執行待量化的值之按位元右移位。

在量化之後，視訊編碼器200可掃描轉換係數，從而自包括經量化轉換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)轉換係數置於向量前部，且將較低能量(且因此較高頻率)轉換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化轉換係數以產生串列化向量，且隨後對向量之經量化轉換係數進行熵編碼。在其他實例中，視訊編碼器200可執行自適應掃描。在掃描經量化轉換係數以形成一維向量之後，視訊編碼器200可例如根據上下文自適應性二進位算術寫碼(CABAC)對一維向量進行熵編碼。視訊編碼器200亦可對描述與經編碼視訊資料相關聯的後設資料之語法元素之值進行熵編碼，以供由視訊解碼器300用於對視訊資料進行解碼。

為了執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。上下文可能係關於例如符號之相鄰值是否為零值。機率判定可以係基於經指派給符號之上下文而進行的。

視訊編碼器200可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中向視訊解碼器300產生語法資料，諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料。視訊解碼器300可同樣地對此類語法資料進行解碼以判定如何對對應視訊資料進行解碼。

以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如，描述圖像至區塊(例如，CU)之分割的語法元素及用於區塊之預測及/或殘餘資訊)之位元串流。最後，視訊解碼器300可接收位元串流並對經編碼視訊資料進行解碼。

一般而言，視訊解碼器300執行與藉由視訊編碼器200執行之程序互逆的程序，以對位元串流之經編碼視訊資料進行解碼。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序大體上類似但互逆的方式對位元串流之語法元素的值進行解碼。語法元素可定義圖像至CTU之分割資訊及每一CTU根據對應分割區結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如，CU)之預測及殘餘資訊。

殘餘資訊可由例如經量化轉換係數表示。視訊解碼器300可將區塊之經量化轉換係數反量化及反轉換，以再生區塊之殘餘區塊。視訊解碼器300使用經發信預測模式(框內或框間預測)及相關預測資訊(例如框間預測之運動資訊)來形成區塊之預測區塊。視訊解碼器300隨後可(在逐樣本之基礎上)使預測區塊與殘餘區塊組合以再生原始區塊。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺假影。

本發明通常可指「發信」某些資訊，諸如語法元素。術語「發信」通常可指用以對經編碼視訊資料進行解碼之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中對語法元素的值進行發信。一般而言，發信係指在位元串流中產生值。如上文所提及，源器件102可大體上即時地將位元串流傳送至目的地器件116，或不即時地將位元串流傳送至目的地器件116，諸如可能在將語法元素儲存至儲存器件112以供由目的地器件116稍後擷取時發生。

圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構130及對應寫碼樹狀結構單元(CTU) 132之概念圖。實線表示四分樹分裂，且虛線指示二元樹分裂。在二元樹之每一分裂(亦即，非葉)節點中，一個旗標經發信以指示使用哪一種分裂類型(亦即，水平或豎直)，其中在此實例中，0指示水平分裂且1指示豎直分裂。對於四分樹分裂，不存在對於指示分裂類型之需要，此係由於四分樹節點將區塊水平地及豎直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器200可對用於QTBT結構130之區域樹層級(亦即，實線)的語法元素(諸如分裂資訊)及用於QTBT結構130之預測樹層級(亦即，虛線)的語法元素(諸如分裂資訊)進行編碼，且視訊解碼器300可對該等語法元素進行解碼。視訊編碼器200可對用於由QTBT結構130之終端葉節點表示之CU的視訊資料(諸如預測及轉換資料)進行編碼，且視訊解碼器300可對該視訊資料進行解碼。

一般而言，圖2B之CTU 132可與定義對應於在第一層級及第二層級處之QTBT結構130之節點的區塊之大小的參數相關聯。如上文所陳述，第一層級可根據四分樹分割進行分割，且第二層級可根據二元樹分割進行分割。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二元樹大小(MaxBTSize，表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，表示最大允許二元樹深度)及最小二元樹大小(MinBTSize，表示最小允許二元樹葉節點大小)。

對應於CTU之QTBT結構的根節點可具有在QTBT結構之第一層級處的四個子節點，該等節點中之每一者可根據四分樹分割來進行分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝的實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二元樹根節點大小(MaxBTSize)，則該等節點可藉由各別二元樹進行進一步分割。一個節點之二元樹分裂可迭代，直至由分裂產生之節點達至最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。二元樹葉節點稱作寫碼單元(CU)，其用於預測(例如，圖像內或圖像間預測)及轉換而無需任何進一步分割。如上文所論述，CU亦可稱作「視訊區塊」或「區塊」。

在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (亮度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize (對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有自16×16 (亦即，MinQTSize)至128×128 (亦即，CTU大小)之大小。若葉四分樹節點為128×128，則葉四分樹節點不會藉由二元樹進行進一步分裂，此係由於大小超過MaxBTSize (亦即，在此實例中為64×64)。否則，葉四分樹節點將藉由二元樹進行進一步分割。因此，四分樹葉節點亦為二元樹之根節點且具有為0之二元樹深度。當二元樹深度達至MaxBTDepth (在此實例中為4)時，不准許進一步分裂。當二元樹節點具有等於MinBTSize (在此實例中為4)之寬度時，其意指不准許進一步水平分裂。類似地，具有等於MinBTSize之高度的二元樹節點意指不准許對該二元樹節點進行進一步豎直分裂。如上文所提及，二元樹之葉節點稱作CU，且在不進行進一步分割之情況下根據預測及轉換來進行進一步處理。

圖3為說明可執行本發明之技術的實例視訊編碼器200之方塊圖。為了解釋之目的而提供圖3，且不應將該圖視為對如本發明中所廣泛例示及描述之技術的限制。為了解釋之目的，本發明在諸如HEVC視訊寫碼標準及研發中之H.266/VCC視訊寫碼標準的視訊寫碼標準之上下文中描述視訊編碼器200。然而，本發明之技術並不限於此等視訊寫碼標準，且通常適用於視訊編碼及解碼。

在圖3之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、轉換處理單元206、量化單元208、反量化單元210、反轉換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。

視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼的視訊資料。視訊編碼器200可自例如視訊源104 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料以用於由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件的各種記憶體器件中之任一者形成。視訊資料記憶體230及DPB 218可由相同記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體230可如所說明一般與視訊編碼器200之其他組件一起位於晶片上，或相對於彼等組件位於晶片外。

在本發明中，對視訊資料記憶體230之參考不應解釋為限制於視訊編碼器200內部的記憶體(除非特定地如此描述)，限制於視訊編碼器200外部的記憶體(除非特定地如此描述)。實際上，對視訊資料記憶體230之參考應理解為儲存視訊編碼器200所接收以用於編碼的視訊資料(例如，待經編碼之當前區塊之視訊資料)的參考記憶體。圖1之記憶體106亦可提供來自視訊編碼器200的各種單元之輸出的臨時儲存。

圖3之各種單元經說明以輔助理解藉由視訊編碼器200執行的操作。該等單元可實施為固定功能電路、可程式化電路或其組合。固定功能電路係指提供特定功能性且對可執行之操作進行預設的電路。可程式化電路係指可經程式化以執行各種任務且在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作之軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊編碼器200可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在使用由可程式化電路執行之軟體來執行視訊編碼器200之操作的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收且執行的軟體之指令(例如，目標程式碼)，或視訊編碼器200內之另一記憶體(未展示)可儲存此類指令。

視訊資料記憶體230經組態以儲存所接收視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，且將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。

模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外功能單元以根據其他預測模式執行視訊預測。舉例而言，模式選擇單元202可包括調色板單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或類似者。

模式選擇單元202通常協調多個編碼遍次，以測試編碼參數之組合，及用於此等組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU的殘餘資料之轉換類型、用於CU之殘餘資料的量化參數等。模式選擇單元202可最終選擇具有比其他所測試組合更佳之速率失真值的編碼參數之組合。

視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，並將一或多個CTU囊封於圖塊內。模式選擇單元202可根據諸如上文所描述之QTBT結構、MTT結構或HEVC之四分樹結構的樹狀結構來分割圖像之CTU。如上文所描述，視訊編碼器200可用根據樹狀結構分割CTU來形成一或多個CU。此CU通常亦可稱作「視訊區塊」或「區塊」。

大體而言，模式選擇單元202亦控制其組件(例如，運動估計單元222、運動補償單元224及框內預測單元226)以產生當前區塊(例如，當前CU，或在HEVC中，PU與TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如，儲存於DPB 218中之一或多個先前經寫碼圖像)中之一或多個緊密匹配的參考區塊。特定而言，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或類似者來計算表示潛在參考區塊與當前區塊之類似程度的值。運動估計單元222通常可使用當前區塊與所考慮之參考區塊之間的逐樣本差來執行此等計算。運動估計單元222可識別具有由此等計算產生之最低值的參考區塊，從而指示與當前區塊最緊密匹配之參考區塊。

運動估計單元222可形成一或多個運動向量(MV)，其定義參考圖像中之參考區塊相對於當前圖像中之當前區塊的位置之位置。運動估計單元222隨後可將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單一運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224隨後可使用運動向量來產生預測區塊。舉例而言，運動補償單元224可使用運動向量來擷取參考區塊之資料。舉另一實例，若運動向量具有分數樣本精確度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取用於藉由各別運動向量識別之兩個參考區塊的資料，且例如經由逐樣本求平均值或經加權求平均值來組合所擷取之資料。

舉另一實例，對於框內預測，或框內預測寫碼，框內預測單元226可自與當前區塊相鄰之樣本產生預測區塊。舉例而言，對於方向模式，框內預測單元226通常可在數學上組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。舉另一實例，對於DC模式，框內預測單元226可計算至當前區塊之相鄰樣本的平均值，且產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。

模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204自視訊資料記憶體230接收當前區塊之原始未經寫碼版本，且自模式選擇單元202接收預測區塊之原始未經寫碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘微分脈碼調變(RDPCM)來產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路來形成殘餘產生單元204。

在模式選擇單元202將CU分割成PU之實例中，每一PU可與亮度預測單元及對應色度預測單元相關聯。視訊編碼器200視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之亮度寫碼區塊的大小，且PU之大小可指PU之亮度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測之2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。

在模式選擇單元202未將CU進一步分割成PU的實例中，每一CU可與亮度寫碼區塊及對應色度寫碼區塊相關聯。正如上文，CU之大小可指CU之亮度寫碼區塊的大小。視訊編碼器200及視訊解碼器300可支援2N×2N、2N×N或N×2N之CU大小。

對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術，如少數實例，模式選擇單元202經由與寫碼技術相關聯的各別單元產生用於所編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，而是產生指示基於所選擇調色板重建構區塊之方式的語法元素。在此類模式下，模式選擇單元202可將此等語法元素提供至熵編碼單元220以待編碼。

如上文所描述，殘餘產生單元204接收當前區塊及對應預測區塊之視訊資料。殘餘產生單元204隨後產生當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。

轉換處理單元206將一或多個轉換應用於殘餘區塊以產生轉換係數之區塊(在本文中稱作「轉換係數區塊」)。轉換處理單元206可將各種轉換應用於殘餘區塊以形成轉換係數區塊。舉例而言，轉換處理單元206可將離散餘弦轉換(DCT)、方向轉換、卡忽南-拉維轉換(KLT)或概念上類似之轉換應用於殘餘區塊。在一些實例中，轉換處理單元206可對殘餘區塊執行多個轉換，例如初級轉換及二級轉換，諸如旋轉轉換。在一些實例中，轉換處理單元206不將轉換應用於殘餘區塊。

量化單元208可量化轉換係數區塊中之轉換係數，以產生經量化轉換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值量化轉換係數區塊之轉換係數。視訊編碼器200 (例如，經由模式選擇單元202)可藉由調整與CU相關聯之QP值來調整經應用於與當前區塊相關聯之轉換係數區塊的量化程度。量化可引入資訊之損耗，且因此，經量化轉換係數相比於由轉換處理單元206產生之原始轉換係數可具有較低精確度。

反量化單元210及反轉換處理單元212可將反量化及反轉換分別應用於經量化轉換係數區塊，以由轉換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及藉由模式選擇單元202產生之預測區塊，產生對應於當前區塊之經重建構區塊(儘管可能具有一定程度的失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自由模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。

濾波器單元216可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應偽影。在一些實例中，可跳過濾波器單元216之操作。

視訊編碼器200將經重建構區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波之經重建構區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。另外，框內預測單元226可使用當前圖像之DPB 218中的經重建構區塊來對當前圖像中之其他區塊進行框內預測。

一般而言，熵編碼單元220可對自視訊編碼器200之其他功能組件接收之語法元素進行熵編碼。舉例而言，熵編碼單元220可對來自量化單元208之經量化轉換係數區塊進行熵編碼。舉另一實例，熵編碼單元220可對來自模式選擇單元202之預測語法元素(例如，用於框間預測之運動資訊或用於框內預測之框內模式資訊)進行熵編碼。熵編碼單元220可對語法元素(其為視訊資料之另一實例)執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數葛洛姆(Exponential-Golomb)編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可在旁路模式下操作，其中語法元素未經熵編碼。

當熵編碼語法元素表示轉換係數時，熵編碼單元220可經組態以以預定方式掃描轉換係數。根據本發明之實例，如將在下文更詳細地描述，熵編碼單元220可經組態以執行用於對高頻係數使用置零技術以減少複雜性之大型轉換的轉換係數掃描技術及最後非零係數位置寫碼技術。亦即，在一些實例中，熵編碼單元220及/或轉換處理單元206可經組態以將轉換單元之特定區域中之所有轉換係數設定為具有零值。舉例而言，對於64×64轉換單元，熵編碼單元220及/或轉換處理單元206可使轉換單元左上角之32×32區域中的值(例如，最低頻率分量)保持原樣。然而，熵編碼單元220及/或轉換處理單元206將此區域(亦即，置零區域)之外的所有轉換係數設定為具有零值。

在一個實例中，本發明描述熵編碼單元220經組態以僅掃描轉換單元中位於置零區域之外的轉換係數之掃描技術。以此方式，可避免掃描已知具有零值之轉換係數，由此增加寫碼器輸送量。

另外，本發明描述對具有置零區域之轉換單元中的最後非零轉換係數之位置進行編碼的技術。舉例而言，本發明描述熵編碼單元220判定用於對指示最後非零轉換係數之位置之語法元素進行編碼的上下文(例如，機率模型)之技術。在一個實例中，熵編碼單元220基於轉換單元之完整大小而不基於轉換單元之非置零區域之大小來判定上下文。儘管保證最後非零轉換係數之位置位於非置零區域(例如，64×64轉換係數之左上32×32區域)中，但對最後非零轉換係數之位置進行編碼的上下文與64×64轉換單元而非32×32轉換單元之統計資料更緊密相關。因此，可增加最後非零轉換係數之位置之編碼效率。

如將在下文更詳細地解釋，在本發明之一個實例中，熵編碼單元220可經組態以判定轉換單元中對轉換係數進行置零之第一區域，判定轉換單元中不對轉換係數進行置零的第二區域，且僅掃描轉換單元之第二區域。

視訊編碼器200可輸出位元串流，其包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。特定而言，熵編碼單元220可輸出該位元串流。

上文所描述之操作係關於區塊加以描述。此描述應理解為用於亮度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，亮度寫碼區塊及色度寫碼區塊為CU之亮度及色度分量。在一些實例中，亮度寫碼區塊及色度寫碼區塊為PU之亮度分量及色度分量。

在一些實例中，無需針對色度寫碼區塊重複關於亮度寫碼區塊執行之操作。舉一個實例，無需重複用以識別亮度寫碼區塊之運動向量(MV)及參考圖像的操作來用於識別色度區塊之MV及參考圖像 。實際上，亮度寫碼區塊之MV可經按比例縮放以判定色度區塊之MV，且參考圖像可為相同的。舉另一實例，框內預測程序可針對亮度寫碼區塊及色度寫碼區塊為相同的。

圖4為說明可執行本發明之技術之實例視訊解碼器300的方塊圖。為了解釋之目的而提供圖4，且其並不限制如本發明中所廣泛例示及描述之技術。為了解釋之目的，本發明根據JEM及HEVC之技術描述視訊解碼器300。然而，本發明之技術可由根據其他視訊寫碼標準組態之視訊寫碼器件執行。

在圖4之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反轉換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可包括額外單元以根據其他預測模式執行預測。舉例而言，預測處理單元304可包括調色板單元、區塊內複製單元(其可形成運動補償單元316之部分)、仿射單元、線性模型(LM)單元或類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同功能組件。

CPB記憶體320可儲存待由視訊解碼器300之組件解碼之視訊資料，諸如經編碼視訊位元串流。可例如自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如，語法元素)的CPB。此外，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的臨時資料。DPB 314通常儲存經解碼圖像，視訊解碼器300可在對經編碼視訊位元串流之後續資料或圖像進行解碼時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB記憶體320及DPB 314可由諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件的各種記憶體器件中之任一者形成。CPB記憶體320及DPB 314可由相同記憶體器件或獨立記憶體器件提供。在各種實例中，CPB記憶體320可與視訊解碼器300之其他組件一起位於晶片上，或相對於彼等組件位於晶片外。

另外或可替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可利用CPB記憶體320儲存如上文所論述之資料。同樣地，當視訊解碼器300之一些或所有功能性實施於軟體中以藉由視訊解碼器300之處理電路系統執行時，記憶體120可儲存待由視訊解碼器300執行之指令。

圖4中所展示之各種單元經說明以輔助理解由視訊解碼器300執行的操作。該等單元可實施為固定功能電路、可程式化電路或其組合。類似於圖3，固定功能電路係指提供特定功能性且對可執行之操作進行預設的電路。可程式化電路係指可經程式化以執行各種任務且在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作之軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在視訊解碼器300之操作藉由在可程式化電路上執行之軟體來執行的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收且執行的軟體之指令(例如目標程式碼)。

熵解碼單元302可自CPB接收經編碼視訊資料，且對視訊資料進行熵解碼以再生語法元素。預測處理單元304、反量化單元306、反轉換處理單元308、重建構單元310及濾波器單元312可基於自位元串流提取之語法元素產生經解碼視訊資料。

當對表示轉換區塊之轉換係數的經編碼語法元素進行熵解碼時，熵解碼單元302可經組態以以預定方式掃描轉換區塊。根據本發明之實例，如將在下文更詳細地描述，熵解碼單元302可經組態以執行用於對高頻係數使用置零技術以減少複雜性之大型轉換的轉換係數掃描技術及最後非零係數位置解碼技術。亦即，在一些實例中，熵解碼單元302及/或反轉換處理單元308可經組態以將轉換單元之特定區域中的所有轉換係數設定為具有零值。舉例而言，對於64×64轉換單元，熵解碼單元302及/或反轉換處理單元308可使轉換單元左上角中之32×32區域中的值(例如，最低頻率分量)保持原樣。然而，熵解碼單元302及/或反轉換處理單元308將此區域(亦即，置零區域)之外的所有轉換係數設定為具有零值。

在一個實例中，本發明描述熵解碼單元302經組態以僅掃描轉換單元中位於置零區域之外的轉換係數的掃描技術。以此方式，可避免掃描已知具有零值之轉換係數，由此增加寫碼器輸送量。

另外，本發明描述對指示具有置零區域之轉換單元中的最後非零轉換係數之位置的一或多個語法元素進行解碼之技術。舉例而言，本發明描述熵解碼單元302判定用於對指示最後非零轉換係數之位置之一或多個語法元素進行解碼的上下文(例如，機率模型)之技術。在一個實例中，熵解碼單元302基於轉換單元之完整大小而不基於轉換單元之非置零區域的大小來判定上下文。儘管保證最後非零轉換係數之位置位於非置零區域(例如，64×64轉換係數之左上32×32區域)中，但對指示最後非零轉換係數之位置的一或多個語法元素進行解碼的上下文與64×64轉換單元而非32×32轉換單元之統計資料更緊密相關。因此，可增加最後非零轉換係數之位置之解碼效率。

如將在下文更詳細地解釋，在本發明之一個實例中，熵解碼單元302可經組態以判定轉換單元中對轉換係數進行置零之第一區域，判定轉換單元中不對轉換係數進行置零的第二區域，且僅掃描轉換單元之第二區域。

一般而言，視訊解碼器300在逐區塊之基礎上重建構圖像。視訊解碼器300可單獨對每一區塊執行重建構操作(其中當前經重建構(亦即，經解碼)之區塊可稱作「當前區塊」)。

熵解碼單元302可對定義經量化轉換係數區塊之經量化轉換係數的語法元素以及諸如量化參數(QP)及/或轉換模式指示之轉換資訊進行熵解碼。反量化單元306可使用與經量化轉換係數區塊相關聯之QP來判定量化程度，且同樣判定反量化程度以供反量化單元306應用。反量化單元306可例如執行按位元左移操作以將經量化轉換係數反量化。反量化單元306從而可形成包括轉換係數之轉換係數區塊。

在反量化單元306形成轉換係數區塊後，反轉換處理單元308可將一或多個反轉換應用於轉換係數區塊以產生與當前區塊相關聯的殘餘區塊。舉例而言，反轉換處理單元308可將反DCT、反整數轉換、反卡忽南-拉維轉換(KLT)、反旋轉轉換、反方向轉換或另一反轉換應用於轉換係數區塊。

此外，預測處理單元304根據由熵解碼單元302熵解碼之預測資訊語法元素產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊的位置之位置。運動補償單元316通常可以與關於運動補償單元224 (圖3)所描述之方式大體上類似的方式執行框間預測程序。

舉另一實例，若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據藉由預測資訊語法元素指示之框內預測模式產生預測區塊。同樣，框內預測單元318通常可以與關於框內預測單元226 (圖3)所描述之方式大體上類似的方式執行框內預測程序。框內預測單元318可將相鄰樣本之資料擷取至來自DPB 314的當前區塊。

重建構單元310可使用預測區塊及殘餘區塊來重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。

濾波器單元312可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以沿經重建構區塊之邊緣減少區塊效應偽影。濾波器單元312之操作不一定在所有實例中執行。

視訊解碼器300可將經重建構區塊儲存於DPB 314中。在不需要濾波器單元312之操作的實例中，重建構單元310可將經重建構區塊儲存至DPB 314。在需要濾波器單元312之操作的實例中，濾波器單元312可將經濾波之經重建構區塊儲存至DPB 314。如上文所論述，DPB 314可將參考資訊(諸如用於框內預測之當前圖像及用於後續運動補償之先前經解碼圖像的樣本)提供至預測處理單元304。此外，視訊解碼器300可輸出來自DPB 314之經解碼圖像(例如經解碼視訊)以供後續呈現於顯示器件(諸如圖1之顯示器件118)上。

在Bross等人之多功能視訊寫碼(草案2)，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29 WG 11之聯合視訊專家小組(JVET)，第11次會議：Ljubljana, SI, 2018年7月10日至18日, JVET-K1001中(其可於http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K1001-v7.zip獲得)，最大轉換單元大小為64×64。為了減小轉換之實施複雜性，VVC草案2指定將超出32列及行(亦即，超出轉換區塊中始於DC係數之轉換係數的前32列及行)之高頻係數設定為零(亦即，經置零)，從而僅保持較低M×N區域(M ＜= 32，N ＜= 32)中之係數，其中M為樣本中之區域的寬度，且N為樣本中之區域的高度。

在VVC草案2中，視訊編碼器200及視訊解碼器300之係數寫碼模組(例如，熵編碼單元220及熵解碼單元302)忽略了置零發生及將大型轉換(其中使用置零)視為正常(亦即，非置零)轉換的事實。基本上，視訊編碼器200及視訊解碼器300可不必處置已知置零係數(亦即，歸因於上文所描述之置零程序而將其值設定為零的係數)之寫碼。本發明藉由修改用於置零轉換係數之係數掃描及藉由修改最後非零係數位置寫碼方法來解決此問題。

在VVC中，逐係數群組(CG)將係數自最後一個掃描至第一個。每一係數群組可包括預定數目個轉換係數。亦在係數群組內以反向對角線掃描(左下至右上方向)方式掃描係數。在一些實例中，視訊編碼器200及視訊解碼器300亦以反向對角線掃描(例如，左下至右上方向)方式掃描係數群組，如針對圖5中之區塊500 (64×64轉換單元)及506 (32×64轉換單元)所示。圖5為說明實例係數群組掃描之概念圖。相同掃描可用於轉換單元。當然，可使用其他掃描方向。

如自區塊500及區塊506可見，無論是否已對所有係數進行置零，均掃描該等係數。舉例而言，在區塊500中，視訊編碼器200及視訊解碼器300將掃描非置零區域502及置零區域504兩者。同樣地，對於區塊506，視訊編碼器200及視訊解碼器300將掃描非置零區域508及置零區域510兩者。即使掃描自最後非零轉換係數之位置(其將位於非置零區域中)開始，針對區塊500及506所展示之掃描在許多情況下仍將進入置零區域中。在HEVC及VVC中，對於轉換係數寫碼，術語「最後」意謂沿自DC係數(或最低頻率係數)至較高頻率係數之掃描路徑存在的最後非零係數。術語「第一」意謂在係數群組(CG內之掃描)或轉換單元(TU內之CG掃描)內之DC或最低頻率係數。係數群組可具有4×4或2×2之大小。

根據本發明之技術，在新的係數群組掃描中，掃描區域僅保持在非置零區域中，如區塊512、518、524及530中所示。區塊512為具有前進至右上方之掃描次序的64×64轉換單元。區塊512包括32×32非置零區域514。區塊512之剩餘區域為置零區域516。如上文所描述，置零區域中之所有轉換係數設定為具有0值。

區塊524為64×64轉換單元，其掃描次序前進至左下方。區塊524包括32×32非置零區域526。區塊524之剩餘區域為置零區域528。

區塊518為具有前進至右上方之掃描次序的32×64轉換單元。區塊518包括32×32非置零區域520。區塊518之剩餘區域為置零區域522。

區塊530為具有前進至左下方之掃描次序的32×64轉換單元。區塊530包括32×32非置零區域532。區塊530之剩餘區域為置零區域534。

如可自圖3之區塊512、518、524、及530看出，無論轉換單元之尺寸及掃描方向如何，視訊編碼器200及視訊解碼器300經組態以僅執行每一各別轉換單元之非置零區域(例如，區域514、520、526及532)內的掃描。

亦即，視訊編碼器200及視訊解碼器300可經組態以判定已對區塊/CU/TU中的哪些轉換係數進行置零程序。若已對轉換係數進行置零程序，則視訊編碼器200及視訊解碼器300將不掃描置零區域中之轉換係數。若尚未對轉換係數進行置零程序(例如，該轉換係數處於非置零區域中)，則視訊編碼器200及視訊解碼器300確實掃描該轉換係數。此掃描方法消除置零係數之掃描。在一些實例中，不改變CG內之掃描。

因此，在本發明之一個實例中，視訊編碼器200及視訊解碼器300經組態以判定轉換單元中對轉換係數進行置零之第一區域(置零區域)。視訊編碼器200及視訊解碼器300可進一步經組態以判定轉換單元中不對轉換係數進行置零之第二區域(非置零區域)。視訊編碼器200及視訊解碼器300隨後可僅掃描轉換單元之第二區域(非置零區域)。

對於在X方向及Y方向(例如，轉換單元中之(X,Y)座標)上之最後非零係數位置的寫碼，VVC採用與HEVC類似的方案，不同之處在於VVC將此方案擴展至更大轉換單元。在HEVC中，最大轉換單元為32×32。最後非零係數位置可經寫碼為截斷之一元經寫碼首碼程式碼(例如，CABAC常規模式)，繼之以固定長度之經寫碼尾碼程式碼(經旁路寫碼)。

對於置零轉換單元(例如，進行置零之更大轉換單元)之最後非零係數位置的寫碼，視訊編碼器200及視訊解碼器300可經組態以將最大轉換單元尺寸設定為置零臨限值(例如，32)而非64，由此將最後係數位置之首碼程式碼長度縮短至範圍24至31。基本上，尺寸大於32 (例如，一個實例置零臨限值)之轉換單元中的最後非零係數位置之寫碼將遵循用於尺寸為32 (例如，32×32)而非64 (例如，64×64)之轉換單元中的最後係數位置的寫碼之規則。當然，將置零應用於轉換係數之臨限值可為變數且可取除32之外的值。

因此，根據本發明之技術，視訊編碼器200及視訊解碼器300可經組態以基於用於執行置零程序之臨限值對轉換單元中的最後非零係數之位置進行編碼/解碼。在一個實例中，為了基於用於執行置零程序之臨限值對轉換單元中的最後非零係數之位置進行編碼/解碼，視訊編碼器200及視訊解碼器300可經組態以基於用於執行置零程序之臨限值對表示最後非零係數的位置之第一部分的首碼程式碼進行編碼/解碼，且對表示最後非零係數之位置之第二部分的尾碼程式碼進行編碼/解碼。

在用於對在指定尺寸處(例如，在32寬度或高度處)最大化之置零轉換單元之最後非零係數位置進行寫碼的另一實例中，視訊編碼器200及視訊解碼器300可將用於對最後非零係數位置進行寫碼之熵寫碼上下文判定為用於對64尺寸區塊(例如，64×64)之最後非零係數位置進行寫碼的上下文。亦即，視訊編碼器200及視訊解碼器300可基於轉換單元之大小而非非置零區域之大小來判定用於對最後非零係數之位置進行寫碼的上下文。儘管保證最後非零轉換係數之位置位於非置零區域(例如，64×64轉換單元之左上32×32區域)中，但對最後非零轉換係數之位置進行寫碼的上下文與64×64轉換單元而非32×32轉換單元之統計資料更緊密相關。因此，可增加對最後非零轉換係數之位置的寫碼效率。因此，在本發明之一個實例中，視訊編碼器200及視訊解碼器300可經組態以基於轉換單元之完整大小來判定用於對最後非零係數之位置進行熵寫碼的上下文。

常規(非置零) 32×32區塊之最後非零係數位置的上下文及置零64×64區塊之32×32區域之最後非零係數位置的上下文在彼情況下仍可為獨立的上下文集合且類似於其他大於32尺寸的轉換區塊(例如，高度或寬度為32之轉換區塊)。在其他實例中，用於對最後非零係數位置進行寫碼之上下文可在最大尺寸32區塊(例如，高度或寬度最大為32之轉換區塊)與最大尺寸64區塊(例如，高度或寬度最大為64之轉換區塊)之間共用。舉例而言，常規(非置零) 32×32區塊之最後非零係數位置的上下文及置零64×64區塊之32×32區域之最後非零係數位置的上下文可共用相同上下文集合。

在另一實例中，作為僅掃描非置零區域之另一替代方案，大型掃描可保持原樣，但視訊編碼器200及視訊解碼器300可經組態以實行經編碼位元串流在大型反轉換之置零區域中僅具有0個係數層級。在此情況下，最後非零係數位置將經實行為位於左上方非置零區域中且仍限制在為32之最大非零大小，如上文所描述。

上述一或多種技術可擴展至N×M、M×N及N×N轉換大小中之任一者，其中N為轉換尺寸，在該轉換尺寸中，自N/2至N-1將置零分別應用於x尺寸(亦即，水平尺寸)或y尺寸(亦即，豎直尺寸)或x尺寸及y尺寸兩者。將僅掃描非置零區域中之係數，且最後非零係數位置寫碼將用於非置零區域之大小。然而，如上文所描述，所使用之上下文將為用於完整大小轉換單元之上下文。舉例而言，若將置零應用於32×32轉換，則將僅保持較低頻率16×16區域(例如，32×32轉換單元之左上方16×16區域)，且將對該區域之外的任何係數進行置零。視訊編碼器200及視訊解碼器300將僅掃描16×16非置零區域，且最後非零係數位置寫碼將對16×16轉換單元使用二進位化。然而，視訊編碼器200及視訊解碼器300將基於32×32轉換單元實例判定最後非零係數之位置之CABAC上下文。

因此，在本發明之其他實例中，為了判定轉換單元中對轉換係數進行置零的第一區域，視訊編碼器200及視訊解碼器300可經組態以基於轉換係數在轉換單元中之位置判定轉換單元中對轉換係數進行置零的第一區域。

在本發明之另一實例中，為了基於轉換係數在轉換單元中之位置判定轉換單元中對轉換係數進行置零的第一區域，視訊編碼器200及視訊解碼器300可經組態以判定第一區域包括轉換單元中超出經置零之轉換單元的前32列或行之轉換係數。

在本發明之另一實例中，為了僅掃描轉換單元之第二區域(非置零區域)，視訊編碼器200及視訊解碼器300可經組態以僅掃描轉換單元中始於最後非零係數之位置的第二區域。

在本發明之另一實例中，為了僅掃描轉換單元之第二區域，視訊編碼器200及視訊解碼器300可經組態以逐係數群組僅掃描轉換單元之第二區域。

圖6為說明用於對當前區塊進行編碼之實例方法之流程圖。當前區塊可包括當前CU。儘管關於視訊編碼器200 (圖1及圖3)加以描述，但應理解，其他器件可經組態以執行與圖6之方法類似的方法。

在此實例中，視訊編碼器200首先預測當前區塊(350)。舉例而言，視訊編碼器200可形成當前區塊之預測區塊。視訊編碼器200隨後可計算當前區塊之殘餘區塊(352)。為了計算殘餘區塊，視訊編碼器200可計算當前區塊之原始未經寫碼區塊與預測區塊之間的差。視訊編碼器200隨後可轉換且量化殘餘區塊之係數(354)。接著，視訊編碼器200可掃描殘餘區塊之經量化轉換係數(356)。

根據本發明之技術，為了掃描轉換係數，視訊編碼器200可經組態以判定轉換單元中對轉換係數進行置零之第一區域(362)，判定轉換單元中不對轉換係數進行置零的第二區域(364)，且僅掃描轉換單元之第二區域(366)。在掃描期間或在掃描之後，視訊編碼器200可對係數進行熵編碼(358)。視訊編碼器200亦可對預測資訊進行熵編碼。根據本發明之技術，視訊編碼器200可經組態以基於轉換單元之完整大小判定用於對最後非零係數之位置進行熵編碼的上下文。視訊編碼器200可使用CAVLC或CABAC對係數進行編碼。視訊編碼器200隨後可輸出當前區塊之經熵寫碼資料(360)。舉例而言，視訊編碼器200可輸出對應於當前區塊之殘餘區塊之轉換係數的經熵寫碼資料。

圖7為說明用於對當前視訊資料區塊進行解碼之實例方法的流程圖。當前區塊可包括當前CU。儘管關於視訊解碼器300 (圖1及圖4)加以描述，但應理解，其他器件可經組態以執行與圖7之方法類似的方法。

視訊解碼器300可接收當前區塊之經熵寫碼資料，諸如經熵寫碼預測資訊及對應於當前區塊之殘餘區塊的係數之經熵寫碼資料(370)。視訊解碼器300可對經熵寫碼資料進行熵解碼以判定當前區塊之預測資訊且再生殘餘區塊之係數(372)。根據本發明之技術，為了再生轉換係數，視訊解碼器300可經組態以判定轉換單元中對轉換係數進行置零之第一區域(382)，判定轉換單元中不對轉換係數進行置零的第二區域(384)，且僅掃描轉換單元之第二區域(386)。根據本發明之技術，視訊解碼器300可進一步經組態以基於轉換單元之完整大小判定用於對指示最後非零係數之位置的一或多個語法元素進行熵解碼之上下文。

視訊解碼器300可例如使用如由當前區塊之預測資訊所指示的框內或框間預測來預測當前區塊(374)，以計算當前區塊之預測區塊。視訊解碼器300隨後可反掃描經再生係數(376)，以產生經量化轉換係數之區塊。視訊解碼器300隨後可反量化及反轉換係數以產生殘餘區塊(378)。視訊解碼器300可最後藉由組合預測區塊與殘餘區塊(380)來對當前區塊進行解碼。

將認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同次序經執行，可經添加、合併或完全省去(例如並非全部所描述動作或事件均為實踐該等技術所必要)。此外，在某些實例中，可(例如)經由多線緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。

在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定來促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

藉助於實例而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體中之一或多者。此外，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為針對非暫時性有形儲存媒體。如本文中所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟經由雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。

指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路系統。因此，如本文中所使用之術語「處理器」可指前述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編碼解碼器中之專用硬體及/或軟體模組內。此外，可在一或多個電路或邏輯元件中充分實施該等技術。

本發明之技術可實施於廣泛多種器件或裝置中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。實際上，如上文所描述，各種單元可與合適的軟體及/或韌體一起組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供，該硬體單元包括如上文所描述之一或多個處理器。

各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。

100:視訊編碼及解碼系統 102:源器件 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀媒體 112:儲存器件 114:檔案伺服器 116:目的地器件 118:顯示器件 120:記憶體 122:輸入介面 130:四分樹二元樹結構 132:寫碼樹狀結構單元 200:視訊編碼器 202:模式選擇單元 204:殘餘產生單元 206:轉換處理單元 208:量化單元 210:反量化單元 212:反轉換處理單元 214:重建構單元 216:濾波器單元 218:經解碼圖像緩衝器 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:反量化單元 308:反轉換處理單元 310:重建構單元 312:濾波器單元 314:經解碼圖像緩衝器 316:運動補償單元 318:框內預測單元 320:經寫碼圖像緩衝器記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 362:步驟 364:步驟 366:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 382:步驟 384:步驟 386:步驟 500:區塊 502:非置零區域 504:置零區域 506:區塊 508:非置零區域 510:置零區域 512:區塊 514:非置零區域 516:置零區域 518:區塊 520:非置零區域 522:置零區域 524:區塊 526:非置零區域 528:置零區域 530:區塊 532:非置零區域 534:置零區域

圖1為說明可執行本發明之技術的實例視訊編碼及解碼系統之方塊圖。

圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構及對應寫碼樹狀結構單元(CTU)之概念圖。

圖3為說明可執行本發明之技術之實例視訊編碼器的方塊圖。

圖4為說明可執行本發明之技術之實例視訊解碼器的方塊圖。

圖5為說明根據本發明之技術的包括實例掃描之實例轉換單元掃描的概念圖。

圖6為說明根據本發明之技術之實例編碼方法的流程圖。

圖7為說明根據本發明之技術之實例解碼方法的流程圖。

500:區塊

502:非置零區域

504:置零區域

506:區塊

508:非置零區域

510:置零區域

512:區塊

514:非置零區域

516:置零區域

518:區塊

520:非置零區域

522:置零區域

524:區塊

526:非置零區域

528:置零區域

530:區塊

532:非置零區域

534:置零區域

Claims (40)

1. 一種對視訊資料進行解碼之方法，該方法包含： 判定一轉換單元中對轉換係數進行置零之一第一區域； 判定該轉換單元中不對轉換係數進行置零之一第二區域；且 僅掃描該轉換單元之該第二區域。
2. 如請求項1之方法，其進一步包含： 基於該轉換單元之一完整大小判定用於對指示一最後非零係數之一位置的一或多個語法元素進行熵解碼之一上下文。
3. 如請求項1之方法，其中判定該轉換單元中對轉換係數進行置零之該第一區域包含： 基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域。
4. 如請求項3之方法，其中基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域包含： 判定該第一區域包括該轉換單元中超出經置零之該轉換單元的前32列或行之轉換係數。
5. 如請求項3之方法，其進一步包含： 基於用於執行一置零程序之一臨限值對指示該轉換單元中的一最後非零係數之一位置的一或多個語法元素進行解碼。
6. 如請求項5之方法，其中基於用於執行該置零程序之該臨限值對指示該轉換單元中的該最後非零係數之該位置的該一或多個語法元素進行解碼包含： 基於用於執行該置零程序之該臨限值對表示該最後非零係數之該位置的一第一部分之一首碼程式碼進行解碼；且 對表示該最後非零係數之該位置之一第二部分的一尾碼程式碼進行解碼。
7. 如請求項5之方法，其中僅掃描該轉換單元之該第二區域包含： 僅掃描該轉換單元中始於該最後非零係數之該位置的該第二區域。
8. 如請求項1之方法，其中僅掃描該轉換單元之該第二區域包含： 逐係數群組僅掃描該轉換單元之該第二區域。
9. 如請求項1之方法，其中該轉換單元之一寬度或一長度為64個轉換係數，且其中該第一區域為該轉換單元之一32×32區域。
10. 如請求項1之方法，其進一步包含： 對該轉換單元進行反轉換以產生殘餘資料； 判定一預測區塊； 將該殘餘資料添加至該預測區塊以對一視訊資料區塊進行解碼；且 顯示包括經解碼視訊資料區塊之一圖像。
11. 一種經組態以對視訊資料進行解碼之裝置，該裝置包含： 一記憶體，其經組態以儲存視訊資料之一轉換單元；及 一或多個處理器，其實施於電路系統中且與該記憶體通信，該一或多個處理器經組態以： 判定一轉換單元中對轉換係數進行置零之一第一區域； 判定該轉換單元中不對轉換係數進行置零之一第二區域；且 僅掃描該轉換單元之該第二區域。
12. 如請求項11之裝置，其中該一或多個處理器經進一步經組態以： 基於該轉換單元之一完整大小判定用於對指示一最後非零係數之一位置的一或多個語法元素進行熵解碼之一上下文。
13. 如請求項11之裝置，其中為了判定該轉換單元中對轉換係數進行置零之該第一區域，該一或多個處理器進一步經組態以： 基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域。
14. 如請求項13之裝置，其中為了基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域，該一或多個處理器進一步經組態以： 判定該第一區域包括該轉換單元中超出經置零之該轉換單元的前32列或行之轉換係數。
15. 如請求項13之裝置，其中該一或多個處理器經進一步經組態以： 基於用於執行一置零程序之一臨限值對指示該轉換單元中的一最後非零係數之一位置的一或多個語法元素進行解碼。
16. 如請求項15之裝置，其中為了基於用於執行該置零程序之該臨限值對指示該轉換單元中的該最後非零係數之該位置的該一或多個語法元素進行解碼，該一或多個處理器進一步經組態以： 基於用於執行該置零程序之該臨限值對表示該最後非零係數之該位置的一第一部分之一首碼程式碼進行解碼；且 對表示該最後非零係數之該位置之一第二部分的一尾碼程式碼進行解碼。
17. 如請求項15之裝置，其中為了僅掃描該轉換單元之該第二區域，該一或多個處理器進一步經組態以： 僅掃描該轉換單元中始於該最後非零係數之該位置的該第二區域。
18. 如請求項11之裝置，其中為了僅掃描該轉換單元之該第二區域，該一或多個處理器進一步經組態以： 逐係數群組僅掃描該轉換單元之該第二區域。
19. 如請求項11之裝置，其中該轉換單元之一寬度或一長度為64個轉換係數，且其中該第一區域為該轉換單元之一32×32區域。
20. 如請求項11之裝置，其中該一或多個處理器經進一步經組態以： 對該轉換單元進行反轉換以產生殘餘資料； 判定一預測區塊； 將該殘餘資料添加至該預測區塊以對一視訊資料區塊進行解碼；且 顯示包括該經解碼視訊資料區塊之一圖像。
21. 一種經組態以對視訊資料進行解碼之裝置，該裝置包含： 用於判定一轉換單元中對轉換係數進行置零之一第一區域的構件； 用於判定該轉換單元中不對轉換係數進行置零之一第二區域的構件；及 用於僅掃描該轉換單元之該第二區域的構件。
22. 如請求項21之裝置，其進一步包含： 用於基於該轉換單元之一完整大小判定用於對指示一最後非零係數之一位置的一或多個語法元素進行熵解碼之一上下文的構件。
23. 如請求項21之裝置，其中用於判定該轉換單元中對轉換係數進行置零之該第一區域的該構件包含： 用於基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域的構件。
24. 如請求項23之裝置，其中用於基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域的該構件包含： 用於判定該第一區域包括該轉換單元中超出經置零之該轉換單元的前32列或行之轉換係數的構件。
25. 如請求項23之裝置，其進一步包含： 用於基於用於執行一置零程序之一臨限值對指示該轉換單元中的一最後非零係數之一位置之一或多個語法元素進行解碼的構件。
26. 如請求項25之裝置，其中用於基於用於執行該置零程序之該臨限值對指示該轉換單元中的該最後非零係數之該位置之一或多個語法元素進行解碼的該構件包含： 用於基於用於執行該置零程序之該臨限值對表示該最後非零係數之該位置的一第一部分之一首碼程式碼進行解碼的構件；及 用於對表示該最後非零係數之該位置的一第二部分之一尾碼程式碼進行解碼的構件。
27. 如請求項25之裝置，其中用於僅掃描該轉換單元之該第二區域的該構件包含： 用於僅掃描該轉換單元中始於該最後非零係數之該位置的該第二區域的構件。
28. 如請求項21之裝置，其中用於僅掃描該轉換單元之該第二區域的該構件包含： 用於逐係數群組僅掃描該轉換單元之該第二區域的構件。
29. 如請求項21之裝置，其中該轉換單元之一寬度或一長度為64個轉換係數，且其中該第一區域為該轉換單元之一32×32區域。
30. 如請求項21之裝置，其進一步包含： 用於對該轉換單元進行反轉換以產生殘餘資料之構件； 用於判定一預測區塊之構件； 用於將該殘餘資料添加至該預測區塊以對一視訊資料區塊進行解碼之構件；及 用於顯示包括該經解碼視訊資料區塊的一圖像之構件。
31. 一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時使得經組態以對視訊資料進行解碼之一器件的一或多個處理器進行以下操作： 判定一轉換單元中對轉換係數進行置零之一第一區域； 判定該轉換單元中不對轉換係數進行置零之一第二區域；且 僅掃描該轉換單元之該第二區域。
32. 如請求項31之非暫時性電腦可讀儲存媒體，其中該等指令進一步使得該一或多個處理器進行以下操作： 基於該轉換單元之一完整大小判定用於對指示一最後非零係數之一位置的一或多個語法元素進行熵解碼之一上下文。
33. 如請求項31之非暫時性電腦可讀儲存媒體，其中為了判定該轉換單元中對轉換係數進行置零之該第一區域，該等指令進一步使得該一或多個處理器進行以下操作： 基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域。
34. 如請求項33之非暫時性電腦可讀儲存媒體，其中為了基於該等轉換係數在該轉換單元中之位置判定該轉換單元中對轉換係數進行置零之該第一區域，該等指令進一步使得該一或多個處理器進行以下操作： 判定該第一區域包括該轉換單元中超出經置零之該轉換單元的前32列或行之轉換係數。
35. 如請求項33之非暫時性電腦可讀儲存媒體，其中該等指令進一步使得該一或多個處理器進行以下操作： 基於用於執行一置零程序之一臨限值對指示該轉換單元中的一最後非零係數之一位置的一或多個語法元素進行解碼。
36. 如請求項35之非暫時性電腦可讀儲存媒體，其中為了基於用於執行該置零程序之該臨限值對指示該轉換單元中的該最後非零係數之該位置的該一或多個語法元素進行解碼，該等指令進一步使得該一或多個處理器進行以下操作： 基於用於執行該置零程序之該臨限值對表示該最後非零係數之該位置的一第一部分之一首碼程式碼進行解碼；且 對表示該最後非零係數之該位置之一第二部分的一尾碼程式碼進行解碼。
37. 如請求項35之非暫時性電腦可讀儲存媒體，其中為了僅掃描該轉換單元之該第二區域，該等指令進一步使得該一或多個處理器進行以下操作： 僅掃描該轉換單元中始於該最後非零係數之該位置的該第二區域。
38. 如請求項31之非暫時性電腦可讀儲存媒體，其中為了僅掃描該轉換單元之該第二區域，該等指令進一步使得該一或多個處理器進行以下操作： 逐係數群組僅掃描該轉換單元之該第二區域。
39. 如請求項31之非暫時性電腦可讀儲存媒體，其中該轉換單元之一寬度或一長度為64個轉換係數，且其中該第一區域為該轉換單元之一32×32區域。
40. 如請求項31之非暫時性電腦可讀儲存媒體，其中該等指令進一步使得該一或多個處理器進行以下操作： 對該轉換單元進行反轉換以產生殘餘資料； 判定一預測區塊； 將該殘餘資料添加至該預測區塊以對一視訊資料區塊進行解碼；且 顯示包括該經解碼視訊資料區塊之一圖像。

Images