TW202101984A

TW202101984A - 用於視訊寫碼之合併模式寫碼

Info

Publication number: TW202101984A
Application number: TW109116984A
Authority: TW
Inventors: 黃漢; 錢威俊; 法迪姆塞瑞金; 馬塔卡茲維克茲
Original assignee: 美商高通公司
Priority date: 2019-05-24
Filing date: 2020-05-21
Publication date: 2021-01-01
Also published as: US11611759B2; SG11202111583WA; US20200374528A1; KR20220011633A; JP2022533664A; BR112021022559A2; WO2020242883A1; EP3977726A1; CN114128259A

Abstract

本發明提供一種用於寫碼視訊資料之實例器件，其針對該等視訊資料之一第一區塊判定是否使用一子區塊合併模式。基於不使用用於該第一區塊之該子區塊合併模式之判定，該器件判定是否使用用於該第一區塊之一帶有混合之合併模式。基於使用用於該第一區塊之該帶有混合之合併模式之該判定，該器件利用該帶有混合之合併模式寫碼該第一區塊。

Description

用於視訊寫碼之合併模式寫碼

本發明係關於視訊編碼及視訊解碼。

數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放機、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電話(所謂的「智慧型電話」)、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265/高效視訊寫碼(HEVC)定義之標準及此類標準之擴展中所描述之視訊寫碼技術。視訊器件可藉由實施此類視訊寫碼技術來更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除為視訊序列所固有之冗餘。針對基於區塊之視訊寫碼，視訊圖塊(例如視訊圖像或視訊圖像之一部分)可分割成視訊區塊，該等視訊區塊亦可稱為寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)圖塊中之視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可稱為圖框，且參考圖像可稱為參考圖框。

大體而言，本發明描述用於判定用於視訊資料之當前區塊之合併模式之類型的技術。舉例而言，本發明描述視訊編碼器可用於以指示不同合併模式之高效方式發信資訊之實例技術。視訊解碼器可以高效方式剖析經發信資訊以判定用於當前區塊之合併模式之類型。

在一個實例中，一種寫碼視訊資料之方法包括：針對該等視訊資料之一第一區塊判定是否使用一子區塊合併模式；基於不使用用於該第一區塊之該子區塊合併模式之該判定，判定是否使用用於該第一區塊之一帶有混合之合併模式；及基於使用用於該第一區塊之該帶有混合之合併模式之該判定，利用該帶有混合之合併模式寫碼該第一區塊。

在一個實例中，一種用於寫碼視訊資料之器件包括：一記憶體，其用於儲存該等視訊資料；及一或多個處理器，其實施於電路系統中且以通信方式耦接至該記憶體，該一或多個處理器經組態以：針對該等視訊資料之一第一區塊判定是否使用一子區塊合併模式；基於不使用用於該第一區塊之該子區塊合併模式之該判定，判定是否使用用於該第一區塊之一帶有混合之合併模式；及基於使用用於該第一區塊之該帶有混合之合併模式之該判定，利用該帶有混合之合併模式寫碼該第一區塊。

在一個實例中，一種用於寫碼視訊資料之器件包括：用於針對該等視訊資料之一第一區塊判定是否使用一子區塊合併模式之構件；用於基於不使用用於該第一區塊之該子區塊合併模式之該判定來判定是否使用用於該第一區塊之一帶有混合之合併模式之構件；及用於基於使用用於該第一區塊之該帶有混合之合併模式之該判定來利用該帶有混合之合併模式寫碼該第一區塊之構件。

在一個實例中，一種非暫時性電腦可讀儲存媒體儲存指令，該等指令在執行時使得一或多個處理器：針對視訊資料之一第一區塊判定是否使用一子區塊合併模式；基於不使用用於該第一區塊之該子區塊合併模式之該判定，判定是否使用用於該第一區塊之一帶有混合之合併模式；及基於使用用於該第一區塊之該帶有混合之合併模式之該判定，利用該帶有混合之合併模式寫碼該第一區塊。

一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優點將自描述、圖式及申請專利範圍而顯而易見。

本申請案主張2019年5月24日申請之美國臨時專利申請案第62/852,516號之權益，該申請案之全部內容以引用之方式併入。

在當前多功能視訊寫碼(VVC)發展中，高效視訊寫碼(HEVC)標準中之合併模式已擴展，且數個新合併模式已採用。該等新合併模式包括：具有運動向量差(MMVD)之合併模式(在本文中亦稱為MMVD合併模式)、仿射合併預測(AMP)、基於子區塊之時間運動向量預測(SbTMVP)、三角形合併預測(TMP)，及組合式框間及框內預測(CIIP)。

歸因於新合併模式，出現了如何高效地將資訊自視訊編碼器發信至視訊解碼器以指示正使用哪一合併模式的技術問題。舉例而言，添加之合併模式愈多，則需要使用愈多二進數(bin)以發信所有模式。經由以高效方式配置發信之次序及結構，本發明描述視訊編碼器以可能實現更高效頻寬利用率及減少之處理功率消耗之方式將資訊發信至視訊解碼器的實例技術。

舉例而言，合併模式可按類型分類，且與更低機率合併模式相比，更高機率合併模式可在二值化樹中置放更高，從而允許用比更低機率合併模式更少之二進數發信更高機率合併模式。在一些實例中，實例技術可允許視訊解碼器相對快速地判定由視訊編碼器用以編碼視訊資料之給定區塊之合併模式類型，此可減少解碼潛時。以此方式，實例技術提供用於解決可改良視訊寫碼技術之技術問題之實際應用。

圖1為說明可進行本發明之技術之實例視訊編碼及解碼系統100的方塊圖。本發明之技術大體上係針對寫碼(編碼及/或解碼)視訊資料。大體而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經編碼視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如發信資料。

如圖1中所展示，在此實例中，系統100包括源器件102，其提供待由目的地器件116解碼及顯示的經編碼視訊資料。特定而言，源器件102經由電腦可讀媒體110將視訊資料提供至目的地器件116。源器件102及目的地器件116可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如智慧型電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放機、視訊遊戲主控台、視訊串流器件或其類似者。在一些情況下，源器件102及目的地器件116可經裝備用於無線通信，且由此可稱為無線通信器件。

在圖1之實例中，源器件102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地器件116包括輸入介面122、視訊解碼器300、記憶體120及顯示器件118。根據本發明，源器件102之視訊編碼器200及目的地器件116之視訊解碼器300可經組態以應用用於寫碼用於判定合併模式之資訊的技術。因此，源器件102表示視訊編碼器件之實例，而目的地器件116表示視訊解碼器件之實例。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件102可自外部視訊源(諸如外部攝影機)接收視訊資料。同樣，目的地器件116可與外部顯示器件介接，而非包括整合式顯示器件。

如圖1中所展示之系統100僅為一個實例。大體而言，任何數位視訊編碼及/或解碼器件均可進行用於寫碼判定合併模式之資訊的技術。源器件102及目的地器件116僅為其中源器件102產生經寫碼視訊資料以供傳輸至目的地器件116的此類寫碼器件之實例。本發明將「寫碼」器件稱為進行資料之寫碼(編碼及/或解碼)的器件。因此，視訊編碼器200及視訊解碼器300表示寫碼器件之實例，特定而言，分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，源器件102及目的地器件116可以實質上對稱方式操作，使得源器件102及目的地器件116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援源器件102與目的地器件116之間的單向或雙向視訊傳輸，例如以供視訊串流、視訊播放、視訊廣播或視訊電話。

大體而言，視訊源104表示視訊資料源(亦即，原始未經編碼視訊資料)且將視訊資料之依序圖像(亦稱為「圖框」)提供至視訊編碼器200，該視訊編碼器200編碼圖像之資料。源器件102之視訊源104可包括視訊擷取器件，諸如視訊攝影機、含有先前所擷取之原始視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代方案，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊之組合。在每一情況下，視訊編碼器200編碼所擷取、所預先擷取或電腦產生之視訊資料。視訊編碼器200可將圖像自接收次序(有時稱為「顯示次序」)重新配置成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料的位元流。源器件102接著可經由輸出介面108將經編碼視訊資料輸出至電腦可讀媒體110上，以供藉由例如目的地器件116之輸入介面122接收及/或取回。

源器件102之記憶體106及目的地器件116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或替代地，記憶體106、120可儲存可分別由例如視訊編碼器200及視訊解碼器300執行的軟體指令。儘管在此實例中展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括用於功能上類似或等效目的之內部記憶體。另外，記憶體106、120可儲存(例如)自視訊編碼器200輸出及輸入至視訊解碼器300之經編碼視訊資料。在一些實例中，可分配記憶體106、120之部分作為一或多個視訊緩衝區，例如以儲存原始、經解碼及/或經編碼視訊資料。

電腦可讀媒體110可表示能夠將經編碼視訊資料自源器件102傳送至目的地器件116的任何類型之媒體或器件。在一個實例中，電腦可讀媒體110表示用以使得源器件102能夠即時地將經編碼視訊資料(例如)經由射頻網路或基於電腦之網路直接傳輸至目的地器件116之通信媒體。根據諸如無線通信協定之通信標準，輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可調變接收到之傳輸信號。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源器件102至目的地器件116之通信的設備。

在一些實例中，源器件102可將經編碼資料自輸出介面108輸出至儲存器件112。類似地，目的地器件116可經由輸入介面122自儲存器件112存取經編碼資料。儲存器件112可包括各種分散式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適的數位儲存媒體。

在一些實例中，源器件102可將經編碼視訊資料輸出至檔案伺服器114，或可儲存藉由源器件102所產生之經編碼視訊的另一中間儲存器件。目的地器件116可經由串流或下載自檔案伺服器114存取經儲存視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地器件116的任何類型之伺服器器件。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路器件或網路附接儲存(NAS)器件。目的地器件116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此可包括無線通道(例如Wi-Fi連接)、有線連接(例如DSL、有線電視數據機等)，或適合於存取儲存於檔案伺服器114上之經編碼視訊資料的兩者之組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合來操作。

輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如乙太網卡)、根據各種IEEE 802.11標準中之任一者來操作的無線通信組件或其他實體組件。在輸出介面108及輸入介面122包含無線組件之實例中，輸出介面108及輸入介面122可經組態以根據蜂巢式通信標準(諸如4G、4G-LTE(長期演進)、LTE進階、5G或其類似者)來傳遞資料，諸如經編碼視訊資料。在輸出介面108包含無線傳輸器的一些實例中，輸出介面108及輸入介面122可經組態以根據其他無線標準(諸如IEEE 802.11規格、IEEE 802.15規格(例如ZigBee™)、Bluetooth™標準或其類似者)來傳遞資料，諸如經編碼視訊資料。在一些實例中，源器件102及/或目的地器件116可包括各別晶片上系統(SoC)器件。舉例而言，源器件102可包括SoC器件以進行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地器件116可包括SoC器件以進行歸於視訊解碼器300及/或輸入介面122之功能性。

本發明之技術可應用於支援各種多媒體應用中之任一者的視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態自適應性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼或其他應用。

目的地器件116之輸入介面122自電腦可讀媒體110 (例如儲存器件112、檔案伺服器114或其類似者)接收經編碼視訊位元流。經編碼視訊位元流電腦可讀媒體110可包括由視訊編碼器200定義之發信資訊(其亦由視訊解碼器300使用)，諸如具有描述視訊區塊或其他經寫碼單元(例如圖塊、圖像、圖像群組、序列或其類似者)之特性及/或處理之值之語法元素。顯示器件118向使用者顯示經解碼視訊資料之經解碼圖像。顯示器件118可表示各種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。

儘管圖1中未展示，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括適當之MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料流中包括音訊及視訊兩者之多工流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或其他協定(諸如使用者資料報協定(UDP))。

視訊編碼器200及視訊解碼器300可各自實施為各種合適的編碼器及/或解碼器電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當技術部分地實施於軟體中時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且使用一或多個處理器在硬體中執行指令以進行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器(CODEC))之部分。包括視訊編碼器200及/或視訊解碼器300之器件可包含積體電路、微處理器及/或無線通信器件，諸如蜂巢式電話。

視訊編碼器200及視訊解碼器300可根據視訊寫碼標準來操作，該視訊寫碼標準諸如ITU-T H.265，亦稱為高效視訊寫碼(HEVC)或其擴展，諸如多視圖及/或可調式視訊寫碼擴展。替代地，視訊編碼器200及視訊解碼器300可根據其他專有或行業標準，諸如ITU-T H.266 (亦稱為多功能視訊寫碼(VVC))來操作。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)第14次會議：2019年3月19日至27日，Geneva, CH，JVET-N1001-v5，Bross等人之「Versatile Video Coding (Draft 5)」(下文中「VVC草案5」)中描述VVC標準之草案。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)第18次會議：2020年4月15日至24日，電話會議，JVET-R2001-v3，Bross等人之「Versatile Video Coding (Draft 9)」中描述VVC標準之最新草案。然而，本發明之技術不限於任何特定寫碼標準。

大體而言，視訊編碼器200及視訊解碼器300可進行圖像之基於區塊之寫碼。術語「區塊」大體上係指包括待處理(例如編碼、解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括亮度及/或色度資料之樣本之二維矩陣。大體而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼亮度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將接收到之RGB格式化資料轉換成YUV表示，且視訊解碼器300將YUV表示轉換成RGB格式。替代地，預處理單元及後處理單元(未展示)可進行此等轉換。

本發明大體可指對圖像進行寫碼(例如編碼及解碼)以包括編碼或解碼圖像之資料的程序。類似地，本發明可指對圖像之區塊進行寫碼以包括編碼或解碼區塊之資料的程序，例如預測及/或殘餘寫碼。經編碼視訊位元流大體上包括表示寫碼決策(例如寫碼模式)及圖像至區塊之分割的語法元素的一系列值。因此，對寫碼圖像或區塊之提及大體上應理解為寫碼形成該圖像或區塊之語法元素的值。

HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四元樹結構將寫碼樹單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相等的非重疊正方形，且四元樹之每一節點具有零個或四個子節點。不具有子節點之節點可稱為「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四元樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經框內預測之CU包括框內預測資訊，諸如框內模式指示。

作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據VVC來操作。根據VVC，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹單元(CTU)。視訊編碼器200可根據樹狀結構分割CTU，諸如四元樹二元樹(QTBT)結構或多類型樹(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四元樹分割來分割的第一層級，及根據二元樹分割來分割的第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。

在MTT分割結構中，區塊可使用四元樹(QT)分割、二元樹(BT)分割及一或多種類型之三重樹(TT)分割來分割。三重樹分割為區塊分裂成三個子區塊的分割。在一些實例中，三重樹分割在不經由中心劃分初始區塊之情況下將區塊劃分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。

在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT或MTT結構來表示亮度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或更多個QTBT或MTT結構，諸如用於亮度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。

視訊編碼器200及視訊解碼器300可經組態以使用每HEVC之四元樹分割、QTBT分割、MTT分割或其他分割結構。出於解釋之目的，相對於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四元樹分割亦或其他類型之分割的視訊寫碼器。

本發明可能可互換地使用「N×N」及「N乘N」來指區塊(諸如CU或其他視訊區塊)在豎直及水平尺寸方面之樣本尺寸，例如16×16樣本或16乘16樣本。大體而言，16×16 CU將在豎直方向上具有16個樣本(y = 16)且在水平方向上具有16個樣本(x = 16)。同樣，N×N CU大體在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU不一定在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包含N×M個樣本，其中M未必等於N。

視訊編碼器200編碼CU之表示預測及/或殘餘資訊及其他資訊的視訊資料。預測資訊指示將如何預測CU以便形成CU之預測區塊。殘餘資訊大體上表示編碼前CU與預測區塊之樣本之間的逐樣本差。

為了預測CU，視訊編碼器200可大體上經由框間預測或框內預測形成CU之預測區塊。框間預測大體上係指根據先前經寫碼圖像之資料來預測CU，而框內預測大體上係指根據同一圖像之先前經寫碼資料來預測CU。為進行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200大體可進行運動搜尋以識別(例如在CU與參考區塊之間的差方面)緊密匹配CU之參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。

VVC之一些實例亦提供仿射運動補償模式，其可視為框間預測模式。在仿射運動補償模式中，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或更多個運動向量。

為進行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。VVC之一些實例提供六十七種框內預測模式，包括各種定向模式以及平面模式及DC模式。大體而言，視訊編碼器200選擇描述與當前區塊(例如CU區塊)相鄰之樣本的框內預測模式，根據該等樣本來預測當前區塊之樣本。此類樣本可大體上與當前區塊在同一圖像中，在當前區塊之上方、左上方或左方，假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU。

視訊編碼器200編碼表示用於當前區塊之預測模式的資料。舉例而言，針對框間預測模式，視訊編碼器200可編碼表示使用各種可用框間預測模式中之哪一者以及對應模式之運動資訊的資料。舉例而言，針對單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可使用類似模式來編碼用於仿射運動補償模式之運動向量。

在區塊之預測(諸如框內預測或框間預測)之後，視訊編碼器200可計算該區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與用於該區塊之使用對應預測模式所形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個轉換應用於殘餘區塊，以在變換域而非樣本域中產生經變換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用次級變換，諸如模式依賴不可分離次級變換(MDNSST)、信號依賴變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個變換之後產生變換係數。

如上文所提及，在任何變換以產生變換係數後，視訊編碼器200可進行變換係數之量化。量化大體上係指變換係數經量化以可能減小用以表示係數的資料之量從而提供進一步壓縮之程序。藉由進行量化程序，視訊編碼器200可減小與係數中之一些或所有相關聯之位元深度。舉例而言，視訊編碼器200可在量化期間將n 位元值捨去至m 位元值，其中n 大於m 。在一些實例中，為了進行量化，視訊編碼器200可進行待量化值之按位元右移位。

在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於向量前部，且將較低能量(且因此較高頻率)變換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串列化向量，且接著熵編碼向量之經量化變換係數。在其他實例中，視訊編碼器200可進行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器200可例如根據上下文自適應性二進位算術寫碼(CABAC)來熵編碼一維向量。視訊編碼器200亦可熵編碼描述與經編碼視訊資料相關聯之後設資料之語法元素的值，以供由視訊解碼器300用於解碼視訊資料。

為進行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。上下文可能係關於例如符號之相鄰值是否為零值。機率判定可基於指派給符號之上下文。

視訊編碼器200可進一步例如在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中向視訊解碼器300產生語法資料，諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料。視訊解碼器300可同樣地解碼此類語法資料以判定如何解碼對應視訊資料。

以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如描述將圖像分割成區塊(例如CU)及區塊之預測及/或殘餘資訊之語法元素)之位元流。最後，視訊解碼器300可接收位元流且解碼經編碼視訊資料。

大體而言，視訊解碼器300進行與視訊編碼器200所進行之程序對等的程序，以解碼位元流之經編碼視訊資料。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序實質上類似但對等的方式解碼位元流之語法元素的值。語法元素可定義圖像至CTU之分割資訊及每一CTU根據對應分割結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如CU)之預測及殘餘資訊。

殘餘資訊可由例如經量化變換係數表示。視訊解碼器300可將區塊之經量化變換係數逆量化及逆變換，以再生區塊之殘餘區塊。視訊解碼器300使用發信預測模式(框內或框間預測)及相關預測資訊(例如框間預測之運動資訊)以形成區塊之預測區塊。視訊解碼器300可接著(在逐樣本基礎上)使預測區塊與殘餘區塊組合以再生初始區塊。視訊解碼器300可進行額外處理，諸如進行解區塊程序以減少沿區塊邊界之視覺假影。

根據本發明之技術，視訊編碼器200可判定合併模式類型(例如常規合併模式、具有運動向量差(MMVD)之合併模式、仿射合併預測(AMP)、基於子區塊之時間運動向量預測(SbTMVP)、三角形合併預測(TMP)，或組合式框間及框內預測(CIIP))。視訊編碼器200可使用本發明中所描述之技術中之任一者或組合來發信位元流中的語法元素以指示用於當前區塊之合併模式。下文更詳細地描述語法元素之實例及語法元素經發信之條件次序。

視訊解碼器300可經組態以使用本發明中所描述之技術中之任一者或組合來剖析位元流中之語法元素以判定用於當前區塊之合併模式。下文更詳細地描述語法元素之實例及語法元素經剖析之條件次序。

本發明大體上可指「發信」某些資訊，諸如語法元素。術語「發信」大體上可指用於解碼經編碼視訊資料之語法元素及/或其他資料的值之通信。亦即，視訊編碼器200可發信位元流中之語法元素的值。大體而言，發信係指在位元流中產生值。如上文所提及，源器件102可實質上即時將位元流傳送至目的地器件116，或不即時傳送，諸如可在將語法元素儲存至儲存器件112以供目的地器件116稍後取回時發生。

圖2A及2B為說明實例四元樹二元樹(QTBT)結構130及對應寫碼樹單元(CTU)132的概念圖。實線表示四元樹分裂，且虛線指示二元樹分裂。在二元樹之每一分裂(亦即非葉)節點中，一個旗標經發信以指示使用哪一分裂類型(亦即水平或豎直)，其中在此實例中，0指示水平分裂且1指示豎直分裂。對於四元樹分裂，不需要指示分裂類型，此係由於四元樹節點將區塊水平地及豎直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器200可編碼且視訊解碼器300可解碼用於QTBT結構130之區樹層級(亦即實線)的語法元素(諸如分裂資訊)及用於QTBT結構130之預測樹層級(亦即虛線)的語法元素(諸如分裂資訊)。視訊編碼器200可編碼且視訊解碼器300可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。

大體而言，圖2B之CTU 132可與定義對應於在第一及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四元樹大小(MinQTSize，表示最小允許四元樹葉節點大小)、最大二元樹大小(MaxBTSize，表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，表示最大允許二元樹深度)，及最小二元樹大小(MinBTSize，表示最小允許二元樹葉節點大小)。

QTBT結構之對應於CTU之根節點可具有在QTBT結構之第一層級處的四個子節點，該等子節點中之每一者可根據四元樹分割來分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二元樹根節點大小(MaxBTSize)，則該等節點可藉由各別二元樹進一步分割。一個節點之二元樹分裂可迭代，直至由分裂產生之節點達到最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。二元樹葉節點稱為寫碼單元(CU)，其用於預測(例如，圖像內或圖像間預測)及變換而無需任何進一步分割。如上文所論述，CU亦可稱為「視訊區塊」或「區塊」。

在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (亮度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize (對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。將四元樹分割首先應用於CTU以產生四元樹葉節點。四元樹葉節點可具有自16×16 (亦即，MinQTSize)至128×128 (亦即，CTU大小)之大小。若葉四元樹節點為128×128，則其將不會藉由二元樹進一步分裂，此係由於大小超過MaxBTSize (亦即，在此實例中為64×64)。否則，葉四元樹節點將由二元樹進一步分割。因此，四元樹葉節點亦為二元樹之根節點且具有為0之二元樹深度。當二元樹深度達到MaxBTDepth (在此實例中為4)時，不准許進一步分裂。當二元樹節點具有等於MinBTSize (在此實例中為4)之寬度時，其意指不准許進一步水平分裂。類似地，具有等於MinBTSize之高度的二元樹節點意指不准許對彼二元樹節點進行進一步豎直分裂。如上文所提及，二元樹之葉節點稱為CU，且根據預測及變換來進一步處理而不進一步分割。

以下為擴展合併預測之描述。在VVC測試模型4 (VTM4)中，藉由按次序包括以下五種類型之候選者來建構合併候選者清單：1)來自空間相鄰CU之空間合併候選者；2)來自同置CU之時間合併候選者；3)來自先進先出(FIFO)表之基於歷史之合併候選者；4)成對平均合併候選者；及5)零MV。

可在圖塊標頭中發信合併候選者清單之大小，且VTM4中之合併候選者清單之最大允許大小為6。對於在合併模式下經寫碼之每一CU，合併候選者之索引係使用截斷一元二值化經編碼。合併索引之第一二進數經上下文寫碼，且旁路寫碼係用於其他二進數。此合併模式在本文中稱為常規合併模式。

下文描述空間合併候選者推導。圖3為說明空間合併候選者之實例位置的概念圖。VVC中之空間合併候選者之推導與HEVC中之推導相同。在位於圖3中所描繪之位置中之候選者當中選擇最多四個合併候選者。推導次序為A0 26、B0 28、B1 30、A1 32及B2 33。僅在位置A0 26、B0 28、B1 30及A1 32之任何CU均不可用(例如由於其屬於另一圖塊或圖案塊)或經框內寫碼時，才考慮位置B2 33。在添加位置A1 32處之候選者之後，對其餘候選者之添加進行冗餘檢查，其確保自該清單排除具有相同運動資訊之候選者以改良寫碼效率。舉例而言，視訊編碼器200或視訊解碼器300可在將候選者添加至合併清單時進行冗餘檢查。為降低計算複雜度，在提及之冗餘檢查中不會考慮所有可能候選者。圖4為說明針對空間合併候選者之冗餘檢查而考慮之候選者對之實例的概念圖。僅考慮圖4中與箭頭(例如箭頭29或箭頭31)連接之對，且若用於冗餘檢查之對應候選者不具有相同運動資訊，則僅將一個候選者添加至該清單。

下文描述時間候選者推導。圖5為說明時間合併候選者之運動向量縮放之實例的概念圖。在一個實例中，僅將一個時間合併候選者添加至合併清單。在此時間合併候選者之推導中，基於屬於同置參考圖像之同置CU推導經縮放運動向量。在圖塊標頭中明確發信待用於同置CU之推導的參考圖像清單(例如清單0或清單1)。舉例而言，視訊編碼器200可發信用於位元流中之圖塊標頭中之同置CU之推導的參考圖像清單，且視訊解碼器300可藉由剖析位元流中之發信來判定參考圖像清單。

如圖5中藉由虛線所說明而獲得用於當前CU 42之時間合併候選者之經縮放運動向量50，其使用圖像次序計數(POC)距離tb 46及td 48自同置CU 44之運動向量52經縮放，其中tb經定義為當前圖像之參考圖像(參考圖像36)與當前圖像(當前圖像38)之間的POC差，且td經定義為同置圖像之參考圖像(參考圖像34)與同置圖像(同置圖像40)之間的POC差。時間合併候選者之參考圖像索引經設定等於零。

圖6為說明時間合併候選者之候選者位置之實例的概念圖。時間候選者之位置係在如圖6中所描繪之位置C0 54及位置C1 56處之候選者之間選擇。若位置C0 54處之CU不可用、經框內寫碼或在寫碼樹單元(CTU)之當前列外部，則使用位置C1 56處之候選者。否則，在推導時間合併候選者時係使用位置C0 54。

下文描述基於歷史之合併候選者推導。先前經寫碼區塊之運動資訊儲存於表(基於歷史之運動向量預測符(HMVP)表)中且用作用於當前CU之運動向量預測符。在編碼/解碼程序期間維護具有多個條目之HMVP表。當將新運動候選者插入至HMVP表時，視訊編碼器200或視訊解碼器300利用受約束先進先出(FIFO)規則，其中首先應用冗餘檢查來尋找HMVP表中是否存在相同候選者。若找到，則自HMVP表移除相同候選者，且將HMVP表中的隨後的所有其他候選者在HMVP表中向前移動。

在空間及時間合併候選者之後將HMVP候選者添加至合併候選者清單，其中按次序檢查HMVP表中之最新數個HMVP候選者且將其在TMVP候選者之後插入至合併候選者清單中。可在插入至合併候選者清單中之前對HMVP候選者應用一些冗餘檢查。舉例而言，視訊編碼器200或視訊解碼器30可在將HMVP候選者插入至合併候選者清單中之前對HMVP候選者進行冗餘檢查。

下文描述成對平均合併候選者推導。藉由對現有合併候選者清單中之預定義候選者對求平均來產生成對平均候選者。針對每一參考圖像清單(例如清單0及清單1)分開地計算出平均化運動向量。若兩個運動向量在一個清單中均可用，則即使在此等兩個運動向量指向不同參考圖像時其亦經平均化。若僅一個運動向量可用，則直接使用彼運動向量而不求平均。若無運動向量可用，則將清單視為無效且不添加成對平均合併候選者。

當在添加成對平均合併候選者之後合併清單未滿時，在末尾插入零運動向量預測符，直至遇到最大合併候選者數目為止。

下文描述具有運動向量差(MVD)(MMVD)之合併模式。除合併模式外，在隱含地推導之運動資訊直接用於產生當前CU之預測樣本之情況下，在VVC中引入MMVD。在MMVD中，視訊編碼器200選擇合併候選者，視訊編碼器200藉由發信MVD資訊進一步細化候選者。MVD資訊包括合併候選者旗標、用以指定運動量值之索引，及用於指示運動方向之索引。在MMVD模式下，選擇合併清單中之前兩個候選者中之一者用作起始MV。合併候選者旗標經發信以指定前兩個候選者中之哪一者為起始MV。舉例而言，視訊編碼器200可發信合併候選者旗標以向視訊解碼器300指定將哪一合併候選者用作起始MV。

距離索引指定運動量值資訊且指示自起始MV之預定義偏移。圖7A及7B為說明具有運動向量差(MMVD)之合併模式之搜尋點之實例的概念圖。

如圖7A及7B中所展示，將偏移添加至起始MV之水平分量或豎直分量。圖7A描繪複數個L0 (清單0)參考56偏移且圖7B描繪複數個L1 (清單1)參考58偏移。表1-1中指定距離索引與預定義偏移之關係。表1-1 - 距離索引與預定義偏移之關係

距離 IDX	0	1	2	3	4	5	6	7
偏移 ( 以明度樣本為單位 )	1/4	1/2	1	2	4	8	16	32

方向索引表示MVD相對於起始點之方向。方向索引可表示如表1-2中所展示的四個方向中之一者。MVD正負號之含義可根據關於起始MV之資訊而變化。舉例而言，當起始MV為其中兩個參考圖像清單(清單0及清單1)指向當前圖像之同一側(亦即，兩個參考圖像之POC均大於當前圖像之POC或均小於當前圖像之POC)的單向預測MV或雙向預測MV時，表1-2中之正負號指定添加至起始MV之MV偏移的正負號。當起始MV為其中兩個MV指向當前圖像之不同側(亦即，一個參考圖像之POC大於當前圖像之POC，且另一參考圖像之POC小於當前圖像之POC)的雙向預測MV時，表1-2中之正負號指定添加至起始MV之清單0 MV分量的MV偏移之正負號，且清單1 MV之正負號具有相反值。表1-2 - 由方向索引指定之MV偏移的正負號

方向 IDX	00	01	10	11
x 軸	+	-	N/A	N/A
y 軸	N/A	N/A	+	-

下文描述經仿射運動補償之預測。在HEVC中，僅將平移運動模型應用於運動補償預測。而在真實世界中，存在許多種類之運動，例如放大/縮小、旋轉、透視運動及其他不規律運動。在VTM4中，應用基於區塊之仿射變換運動補償預測。圖8A及8B為分別說明4參數仿射模型及6參數仿射模型之實例的概念圖。如圖8A及8B所展示，藉由兩個控制點運動向量(CPMV) (4參數) (圖8A)或三個CPMV (6參數) (圖8B)之運動資訊描述區塊之仿射運動場。在圖8A中，藉由兩個CPMV (mv0及mv1)描述區塊60之仿射運動場，而在圖8B中，藉由三個CPMV (mv0、mv1及mv2)描述區塊62之仿射運動場。

對於4參數仿射運動模型，區塊中之樣本方位(x,y )處之運動向量推導為：

其中(mv_0x ,mv_0y )為左上角控制點之運動向量，(mv_1x ,mv_1y )為右上角控制點之運動向量。

對於6參數仿射運動模型，區塊中之樣本方位(x,y )處之運動向量推導為：

其中(mv_0x ,mv_0y )為左上角控制點之運動向量，(mv_1x ,mv_1y )為右上角控制點之運動向量，且(mv_2x ,mv_2y )為左下角控制點之運動向量。

為了簡化運動補償預測，應用基於子區塊之仿射變換預測。圖9為說明每子區塊之仿射運動向量場之實例的概念圖。在一些實例中，為推導每一4×4亮度子區塊之運動向量，根據以上方程式計算出每一子區塊之中心樣本之運動向量(如圖9中所展示)，且捨入至1/16分數準確度。舉例而言，視訊編碼器200及視訊解碼器300可計算每一子區塊(諸如子區塊64)之中心樣本之運動向量。接著應用運動補償內插濾波器來生成具有經推導運動向量之每一子區塊之預測。在一些實例中，色度分量之子區塊大小亦設定為4×4。4×4色度子區塊之MV經計算為四個對應4×4亮度子區塊之MV之平均值。

下文描述仿射合併預測。在仿射合併模式下，基於空間相鄰CU之運動資訊來產生當前CU之CPMV (控制點運動向量)。可存在至多五個CPMV候選者且索引經發信以指示待用於當前CU之CPMV候選者。舉例而言，視訊編碼器200可將CPMV索引發信至視訊解碼器300以指示將哪一CPMV候選者用於當前CU。以下三種類型之CPMV候選者用於形成仿射合併候選者清單：1)自相鄰CU之CPMV外插之繼承仿射合併候選者；2)使用相鄰CU之平移MV推導之經建構仿射合併候選者CPMVP；及3)零MV。

下文描述基於子區塊之時間運動向量預測(SbTMVP)。類似於HEVC中之時間運動向量預測(TMVP)，基於子區塊之時間運動向量預測(SbTMVP)使用同置圖像中之運動場來改良用於當前圖像中之CU的運動向量預測及合併模式。將由TMVP使用之相同同置圖像用於SbTVMP。SbTMVP在以下兩個主要態樣中不同於TMVP：1)TMVP預測運動處於CU層級，但SbTMVP預測運動處於子CU層級；及2)鑒於TMVP自同置圖像中之同置區塊(同置區塊為相對於當前CU之右下方或中心區塊)提取時間運動向量，SbTMVP在自同置圖像提取時間運動資訊之前應用運動移位，其中運動移位自當前CU之空間相鄰區塊中之一者之運動向量獲得。

將含有SbTVMP候選者及仿射合併候選者兩者之組合式基於子區塊之合併清單用於基於子區塊之合併模式之發信。組合式基於子區塊之合併清單可由視訊解碼器300重建構，且視訊編碼器200可將對組合式基於子區塊之合併清單之索引發信至視訊解碼器300。

下文描述三角形合併預測(TMP)，其為幾何模式(例如用於預測之非矩形區塊)之實例。亦即，TMP為使用除區塊以外之幾何形狀之合併模式之實例。圖10A及10B為說明基於三角形分區之框間預測之實例的概念圖。

TMP僅應用於8×8或更大之CU。當使用此模式時，使用圖10A中所展示之對角線分裂或如圖10B中所展示之反對角線分裂將CU均勻地分裂成兩個三角形分區。TMP為三角形模式，此係由於TMP係基於三角形形狀而非區塊。圖10A中之對角線分裂將CU劃分成分區1 330及分區2 332。圖10B中之反對角線分裂將CU劃分成分區1 334及分區2 336。CU中之每一三角形分區使用其自身之運動資訊(例如運動向量及參考索引)經框間預測。對於每一分區僅允許單向預測，亦即，每一分區具有一個運動向量及一個參考索引。應用單向預測運動約束以確保(如在習知雙向預測中)每一CU僅需要兩個經運動補償之預測符。

若使用三角形分區模式，則進一步發信指示三角形分區之方向(對角線或反對角線)的旗標及兩個合併索引(每一分區一個索引)。舉例而言，視訊編碼器200可將指示分裂之方向的旗標及兩個合併索引發信至視訊解碼器300。在預測三角形分區中之每一者之後，使用具有自適應性權重之混合處理調整沿對角線或反對角線邊緣之樣本值。此為用於整個CU之預測信號，且變換及量化程序將應用於整個CU，如在其他預測模式中一般。

下文描述組合式框間及框內預測(CIIP)。在組合式框間/框內預測(CIIP)中，首先推導框內預測模式及常規合併候選者。接著，使用經推導框內模式及合併候選者來推導框內預測及框間預測信號。使用應用於常規合併模式之相同框間預測程序來推導框間預測信號

，且在常規框內預測程序之後使用CIIP框內預測模式來推導框內預測信號

。接著，如下使用加權平均來組合框內及框間預測信號：

如上文所陳述，本發明描述用於發信及剖析不同合併模式(例如合併模式類型)之資訊的實例技術。在第一實例方法中，將不同合併模式分類成3個群組：1)正常合併模式群組，其可包括常規合併模式及MMVD合併模式，2)基於子區塊之合併模式群組，其可包括SbTMVP模式及仿射合併模式，及3)混合合併模式群組，其可包括幾何模式，諸如TMP模式，或基於除區塊以外之幾何結構的其他模式，及CIIP模式，其要求混合操作且可在本文中稱為帶有混合之合併模式。如本發明中所描述，藉由按合併模式類型對合併模式進行分類且將更高機率合併模式在二值化樹中置放更高，可實現合併模式類型之相對高效發信及剖析。相對高效發信及剖析可實現更高效頻寬利用率及處理功率消耗及解碼潛時之減少。

圖11為說明用於發信合併模式資訊之二值化樹之一個實例的概念圖。視訊編碼器200可根據圖11之實例將合併模式資訊發信至視訊解碼器300，且視訊解碼器300可剖析合併模式資訊以判定應用哪一合併模式。如圖11中所展示，使用第一旗標(例如merge_sub-block_flag 70)來指示是否選擇基於子區塊之合併模式群組。merge_sub-block_flag 70等於1指定針對視訊資料之當前區塊選擇基於子區塊之合併模式，在此情況下視訊編碼器200及視訊解碼器300利用基於子區塊之合併模式寫碼視訊資料之區塊。在圖11之實例中，可首先發信指示基於子區塊之合併模式之語法元素，此係由於基於子區塊之合併模式可更頻繁地用於許多視訊序列。以此方式，可以單一二進數發信對基於子區塊之合併模式之選擇。

若merge_sub-block_flag 70不存在，則推斷merge_sub-block_flag 70為0。舉例而言，若merge_sub-block_flag 70不存在，則視訊解碼器300可推斷merge_sub-block_flag 70為0。

因此，視訊編碼器200及視訊解碼器300可針對視訊資料之區塊判定是否使用子區塊合併模式。視訊編碼器200可發信指示區塊是否將使用子區塊合併模式之merge_sub_block_flag 70。視訊解碼器300可剖析merge_sub_block_flag 70以判定是否使用子區塊合併模式，包括基於剖析位元流且判定merge_sub_block_flag 70不存在來推斷merge_sub_block_flag 70為0。

若merge_sub-block_flag 70等於0，則使用第二旗標(例如merge_blend_flag 72)來指示是選擇正常合併模式群組抑或混合合併模式群組。若merge_blend_flag 72不存在，則推斷merge_blend_flag 72為0。舉例而言，merge_blend_flag 72不存在，視訊解碼器300可推斷merge_blend_flag 72為0。

舉例而言，基於不使用用於區塊之子區塊合併模式(例如由於merge_sub-block_flag 70為0)之判定，視訊編碼器200及視訊解碼器300可判定是否使用用於區塊之帶有混合之合併模式(例如諸如CIIP或幾何模式，如TMP)。在一些實例中，判定是否使用帶有混合之合併模式包括判定是將使用幾何模式或CIIP模式中之一者抑或將既不使用幾何模式又不使用CIIP模式。舉例而言，視訊編碼器200可發信指示區塊是否將使用帶有混合之合併模式的merge_blend_flag 72。視訊解碼器300可剖析merge_blend_flag 72以判定是否使用帶有混合之合併模式，包括基於剖析位元流且判定merge_blend_flag 72不存在來推斷merge_blend_flag 72為0。

在一或多個實例中，視訊編碼器200僅可在發信merge_subblock_flag 70之後發信merge_blend_flag 72，且視訊解碼器300僅可在剖析merge_subblock_flag 70之後剖析merge_blend_flag 72。

若merge_blend_flag 72等於0，則使用第三旗標(例如mmvd_merge_flag 74)來指示是選擇常規合併模式抑或MMVD合併模式。若mmvd_merge_flag 74不存在，則推斷mmvd_merge_flag 74為0。舉例而言，若mmvd_merge_flag 74不存在，則視訊解碼器300可推斷mmvd_merge_flag 74為0。

舉例而言，基於不使用帶有混合之合併模式(例如由於merge_blend_flag 72為0)之判定，視訊編碼器200及視訊解碼器300可判定是否使用用於區塊之MMVD合併模式。舉例而言，視訊編碼器200可發信指示是否使用用於區塊之MMVD合併模式的mmvd_merge_flag 74。視訊解碼器300可剖析mmvd_merge_flag 74以判定是否使用MMVD合併模式，包括基於剖析位元流且判定mmvd_merge_flag 74不存在來推斷mmvd_merge_flag 74為0。

在一或多個實例中，視訊編碼器200僅可在發信merge_subblock_flag 70及merge_blend_flag 72之後發信mmvd_merge_flag 74，且視訊解碼器300僅可在剖析merge_subblock_flag 70及merge_blend_flag 72之後剖析mmvd_merge_flag 74。舉例而言，若mmvd_merge_flag 74等於1，則指定選擇MMVD合併模式，在此情況下視訊編碼器200及視訊解碼器300利用MMVD合併模式寫碼區塊。若mmvd_merge_flag 74等於0，則指定選擇常規合併模式，在此情況下視訊編碼器200及視訊解碼器300利用常規合併模式寫碼區塊。

若merge_blend_flag 72等於1，則使用第四旗標(例如ciip_flag 76)來指示是選擇CIIP合併模式抑或幾何模式，諸如TMP模式。若ciip_flag 76不存在，則推斷ciip_flag 76為0。舉例而言，若ciip_flag 76不存在，則視訊解碼器300可推斷ciip_flag 76為0。

舉例而言，基於不使用帶有混合之合併模式(例如由於merge_blend_flag 72為1)之判定，視訊編碼器200及視訊解碼器300可判定是使用用於區塊之CIIP模式抑或幾何模式。舉例而言，視訊編碼器200可發信指示區塊是否將使用用於區塊之CIIP模式的ciip_flag 76。視訊解碼器300可剖析ciip_flag 76以判定是否使用CIIP模式，包括基於剖析位元流且判定ciip_flag 74不存在來推斷ciip_flag 76為0。舉例而言，若ciip_flag 76等於1，則意謂使用CIIP模式，在此情況下視訊編碼器200及視訊解碼器300利用CIIP模式寫碼區塊。若ciip_flag 76等於0且merge_blend_flag 72等於1，則意謂使用幾何模式，且視訊編碼器200及視訊解碼器300利用幾何模式(諸如TMP)寫碼區塊。

上文所描述之旗標(例如語法元素)可取決於對應合併模式之可用性而存在。若SbTMVP及仿射合併候選者兩者均不可用，則merge_sub-block_flag可能不存在。若CIIP及TMP模式兩者均不可用，則merge_blend_flag可能不存在。若CIIP或TMP模式不可用，則ciip_flag可能不存在。若MMVD合併模式不可用，則mmvd_merge_flag可能不存在。可針對彼等合併模式之可用性(例如由視訊編碼器200或視訊解碼器300)應用各種條件檢查。

在一個實例中，每一合併模式具有其自身之候選者最大數目。在一個實例中，所有合併模式共用相同之候選者最大數目。在一個實例中，每一不同合併群組具有其自身之候選者最大數目，但同一群組中之合併模式共用相同之合併候選者數目。

圖12為說明用於發信合併模式資訊之二值化樹之另一實例的概念圖。視訊編碼器200可根據圖12之實例將合併模式資訊發信至視訊解碼器300，且視訊解碼器300可剖析合併模式資訊以判定應用哪一合併模式。在圖12之實例中，使用第一旗標(例如merge_sub-block_flag 80)來指示是否選擇基於子區塊之合併模式。當merge_sub-block_flag 80等於1時，旗標指定針對當前CU選擇基於子區塊之合併模式。如在圖11之實例中，可首先發信指示基於子區塊之合併模式之語法元素，此係由於基於子區塊之合併模式可更頻繁地用於許多視訊序列。以此方式，可以單一二進數發信對基於子區塊之合併模式之選擇。若merge_sub-block_flag等於0，則使用第二旗標(例如mmvd_merge_flag 82)來指示是否選擇MMVD合併模式。當mmvd_merge_flag 82等於1時，旗標指定選擇MMVD合併模式。若mmvd_merge_flag等於0，則使用第三旗標(例如ciip_flag 84)來指示是否選擇CIIP模式。當ciip_flag 84等於1時，旗標指定選擇CIIP模式。若ciip_flag 84等於0，則使用第四旗標(例如triangle_merge_flag 86)來指示是否選擇TMP模式。當triangle_merge_flag 86等於1時，旗標指定選擇TMP模式。當triangle_merge_flag 86等於0時，旗標指定選擇常規合併模式。類似於圖11之實例，上文所描述之旗標可取決於對應合併模式之可用性而存在。當旗標不存在時，推斷該旗標為0。舉例而言，若旗標不存在，則視訊解碼器300可推斷該旗標為0。在圖12之實例中，相較於圖11之實例，需要額外二進數以發信二值化樹上之最末模式。

下文描述合併索引寫碼。對於每一合併模式，最佳合併候選者之索引係使用截斷一元二值化經寫碼。合併索引之第一二進數經上下文寫碼，且旁路寫碼係用於其他二進數。在一個實例中，每一合併模式具有其自身之用於第一二進數的上下文。在一個實例中，基於子區塊之合併模式具有其自身之上下文，但所有其他合併模式共用相同上下文。在一個實例中，基於子區塊之合併模式具有其自身之上下文，MMVD合併模式亦具有其自身之上下文，且所有其他合併模式共用相同上下文。在一個實例中，CIIP及常規合併模式共用相同上下文，但所有其他合併模式具有分開的上下文。

下文描述不同合併模式之可用性檢查。大體而言，合併模式之可用性取決於控制合併模式之開/關的高階語法，及可應用合併模式之區塊大小之約束。在VTM4中，不同大小約束應用於不同合併模式。常規合併模式及MMVD合併模式可應用於所有框間區塊。基於子區塊之合併模式可應用於具有大於或等於8之寬度及高度兩者的框間區塊。CIIP可應用於具有以下條件之框間區塊：面積(N×M)大於或等於64，寬度小於或等於最大變換大小，高度小於或等於最大變換大小。TMP可應用於具有大於或等於64之面積的框間區塊。

在一個實例中，應用用於不同合併模式之當前大小約束。在一個實例中，CIIP及TMP模式使用相同大小約束。在一個實例中，以下條件應用於CIIP及TMP兩者：面積大於或等於64，寬度小於或等於最大變換大小，高度小於或等於最大變換大小。在另一實例中，CIIP及TMP均可應用於具有大於或等於64之面積的框間區塊。

在一個實例中，基於子區塊之合併模式可應用於具有大於或等於64之面積的框間區塊，且以下條件應用於CIIP及TMP兩者：面積大於或等於64，寬度小於或等於最大變換大小，高度小於或等於最大變換大小。在一個實例中，基於子區塊之合併模式、CIIP及TMP模式使用相同大小約束。在一個實例中，以下條件應用於基於子區塊之合併模式、CIIP及TMP：面積大於或等於64，寬度小於或等於最大變換大小，高度小於或等於最大變換大小。在一個實例中，基於子區塊之合併模式、CIIP及TMP可應用於具有大於或等於64之面積的框間區塊。

應理解，上文中之數目「64」為臨限值之實例。亦可利用其他值。

圖13為說明可進行本發明之技術的實例視訊編碼器200的方塊圖。出於解釋之目的而提供圖13，且不應將該圖視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明在諸如HEVC視訊寫碼標準及研發中之H.266視訊寫碼標準的視訊寫碼標準之上下文中描述視訊編碼器200。然而，本發明之技術不限於此等視訊寫碼標準，且大體可適用於視訊編碼及解碼。

在圖13之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重建構單元214、濾波器單元216、DPB 218及熵編碼單元220中之任一者或所有可實施於一或多個處理器中或處理電路系統中。此外，視訊編碼器200可包括額外或替代處理器或處理電路以進行此等及其他功能。

視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼的視訊資料。視訊編碼器200可自(例如)視訊源104 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料以供用於藉由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由各種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體230及DPB 218可由同一記憶體器件或分開的記憶體器件提供。在各種實例中，視訊資料記憶體230可與視訊編碼器200之其他組件一起在晶片上，如所說明，或相對於彼等組件在晶片外。

在本發明中，對視訊資料記憶體230之參考不應解釋為將記憶體限於視訊編碼器200內部(除非具體地如此描述)，或將記憶體限於視訊編碼器200外部(除非具體地如此描述)。實情為，對視訊資料記憶體230之參考應理解為儲存視訊編碼器200所接收以用於編碼的視訊資料(例如待編碼之當前區塊之視訊資料)的參考記憶體。圖1之記憶體106亦可提供對來自視訊編碼器200之各種單元的輸出的臨時儲存。

圖13之各種單元經說明以輔助理解藉由視訊編碼器200進行的操作。該等單元可實施為固定功能電路、可程式化電路或其組合。固定功能電路係指提供特定功能性且預設定可進行之操作的電路。可程式化電路係指可經程式化以進行各種任務並在可進行之操作中提供靈活功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如以接收參數或輸出參數)，但固定功能電路進行的操作之類型大體係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊編碼器200可包括算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體進行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並執行的軟體之目標程式碼，或視訊編碼器200內之另一記憶體(未展示)可儲存此類指令。

視訊資料記憶體230經組態以儲存接收到之視訊資料。視訊編碼器200可自視訊資料記憶體230取回視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。

模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外功能單元以根據其他預測模式來進行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。對於一些區塊，模式選擇單元202可選擇合併模式，諸如MMVD、AMP、SbTMVP、幾何模式(諸如TMP)、CIIP或常規合併模式。視訊編碼器200可根據本發明之技術(諸如相對於圖11、12及15至17所描述之技術)來發信選定合併模式。

模式選擇單元202大體協調多個編碼遍次以測試編碼參數之組合，及用於此類組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU之殘餘資料的變換類型、用於CU之殘餘資料的量化參數等等。模式選擇單元202可最終選擇相比其他經測試組合具有更佳速率失真值的編碼參數之組合。

視訊編碼器200可將自視訊資料記憶體230取回之圖像分割成一系列CTU，並將一或多個CTU囊封於圖塊內。模式選擇單元202可根據樹結構來分割圖像之CTU，諸如上文所描述之HEVC的QTBT結構或四元樹結構。如上文所描述，視訊編碼器200可用根據樹狀結構分割CTU來形成一或多個CU。此CU大體亦可稱為「視訊區塊」或「區塊」。

大體而言，模式選擇單元202亦控制其組件(例如運動估計單元222、運動補償單元224及框內預測單元226)以產生當前區塊(例如當前CU或HEVC中之PU及TU的重疊部分)的預測區塊。對於當前區塊之框間預測，運動估計單元222可進行運動搜尋以識別一或多個參考圖像(例如儲存於DPB 218中之一或多個先前經寫碼圖像)中之一或多個緊密匹配參考區塊。特定而言，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其類似者來計算表示潛在參考區塊與當前區塊類似程度的值。運動估計單元222可大體使用當前區塊與所考慮之參考區塊之間的逐樣本差來進行此等計算。運動估計單元222可識別具有由此等計算產生之最低值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。

運動估計單元222可形成一或多個運動向量(MV)，其相對於當前圖像中之當前區塊的位置定義參考圖像中之參考區塊的位置。運動估計單元222接著可將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單一運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224接著可使用運動向量來產生預測區塊。舉例而言，運動補償單元224可使用運動向量來取回參考區塊之資料。作為另一實例，若運動向量具有分數樣本精確度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可取回用於藉由各別運動向量識別之兩個參考區塊的資料，並(例如)經由逐樣本求平均或經加權求平均來組合取回之資料。

作為另一實例，對於框內預測，或框內預測寫碼，框內預測單元226可自與當前區塊相鄰之樣本產生預測區塊。舉例而言，對於定向模式，框內預測單元226可在數學上大體組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。作為另一實例，對於DC模式，框內預測單元226可計算至當前區塊之相鄰樣本的平均值，並產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。

模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204接收來自視訊資料記憶體230之當前區塊及來自模式選擇單元202之預測區塊的原始未經編碼型式。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)來產生殘餘區塊。在一些實例中，可使用進行二進位減法之一或多個減法器電路來形成殘餘產生單元204。

在模式選擇單元202將CU分割成PU之實例中，每一PU可與亮度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之亮度寫碼區塊的大小，且PU之大小可指PU之亮度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器200及視訊解碼器300亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。

在模式選擇單元未將CU進一步分割成PU的實例中，每一CU可與亮度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指CU之亮度寫碼區塊的大小。視訊編碼器200及視訊解碼器300可支援2N×2N、2N×N或N×2N之CU大小。

對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術，如少數實例，模式選擇單元202經由與寫碼技術相關聯之各別單元產生正編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，而是產生指示基於選定調色板來重建構區塊之方式的語法元素。在此類模式中，模式選擇單元202可將此等語法元素提供至熵編碼單元220以待編碼。

如上文所描述，殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204接著產生當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。

變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中稱為「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、定向變換、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可對殘餘區塊進行多個變換，例如初級變換及次級變換，諸如旋轉變換。在一些實例中，變換處理單元206不將變換應用於殘餘區塊。

量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值來量化變換係數區塊之變換係數。視訊編碼器200 (例如經由模式選擇單元202)可藉由調整與CU相關聯之QP值來調整應用於與當前區塊相關聯之係數區塊的量化程度。量化可引入資訊之損耗，且因此，經量化變換係數可相比由變換處理單元206產生之初始變換係數而具有更低精確度。

逆量化單元210及逆變換處理單元212可將逆量化及逆變換分別應用於經量化變換係數區塊，以根據變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及藉由模式選擇單元202產生之預測區塊，產生對應於當前區塊之經重建構區塊(儘管可能具有一些程度之失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自由模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。

濾波器單元216可對經重建構區塊進行一或多個濾波操作。舉例而言，濾波器單元216可進行解區塊操作以沿CU之邊緣減少區塊效應假影。在一些實例中，可跳過濾波器單元216之操作。

視訊編碼器200將經重建構區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波經重建構區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218取回由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。此外，框內預測單元226可使用當前圖像之DPB 218中的經重建構區塊來對當前圖像中之其他區塊進行框內預測。

大體而言，熵編碼單元220可熵編碼自視訊編碼器200之其他功能組件接收到之語法元素。舉例而言，熵編碼單元220可熵編碼來自量化單元208之經量化變換係數區塊。作為另一實例，熵編碼單元220可熵編碼來自模式選擇單元202之預測語法元素(例如用於框間預測之運動資訊或用於框內預測之框內模式資訊)。熵編碼單元220可對語法元素(其為視訊資料之另一實例)進行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料進行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數-哥倫布編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可在旁路模式下操作，其中語法元素未經熵編碼。

視訊編碼器200可輸出位元流，該位元流包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。特定而言，熵編碼單元220可輸出該位元流。

上文所描述之操作相對於區塊進行描述。此描述應理解為用於亮度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，亮度寫碼區塊及色度寫碼區塊為CU之亮度及色度分量。在一些實例中，亮度寫碼區塊及色度寫碼區塊為PU之亮度及色度分量。

在一些實例中，無需針對色度寫碼區塊重複相對於明度寫碼區塊進行之操作。作為一個實例，無需針對識別色度區塊之運動向量(MV)及參考圖像重複用以識別亮度寫碼區塊之MV及參考圖像的操作。實情為，亮度寫碼區塊之MV可經縮放以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，框內預測程序可針對亮度寫碼區塊及色度寫碼區塊而為相同的。

視訊編碼器200表示器件之實例，該器件經組態以：針對視訊資料之第一區塊判定是否使用子區塊合併模式；基於不使用用於第一區塊之子區塊合併模式之判定，判定是否使用用於第一區塊之帶有混合之合併模式；及基於使用用於第一區塊之帶有混合之合併模式之判定，利用帶有混合之合併模式編碼第一區塊。

圖14為說明可進行本發明之技術的實例視訊解碼器300的方塊圖。出於解釋之目的而提供圖14，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述視訊解碼器300係根據VVC及HEVC之技術來描述。然而，本發明之技術可由經組態為其他視訊寫碼標準的視訊寫碼器件進行。

在圖14之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重建構單元310、濾波器單元312及DPB 314中之任一者之或所有可實施於一或多個處理器中或處理電路系統中。此外，視訊解碼器300可包括額外或替代處理器或處理電路系統以進行此等及其他功能。

預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可包括根據其他預測模式進行預測的額外單元。作為實例，預測處理單元304可包括調色板單元、區塊內複製單元(其可形成運動補償單元316之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同功能組件。

CPB記憶體320可儲存待由視訊解碼器300之組件解碼之視訊資料，諸如經編碼視訊位元流。可(例如)自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元流之經編碼視訊資料(例如語法元素)的CPB。此外，CPB記憶體320可儲存除經寫碼圖像之語法元素以外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的臨時資料。DPB 314大體儲存經解碼圖像，其中視訊解碼器300可在解碼經編碼視訊位元流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB記憶體320及DPB 314可由各種記憶體器件中之任一者形成，諸如DRAM (包括SDRAM、MRAM、RRAM)或其他類型之記憶體器件。CPB記憶體320及DPB 314可藉由同一記憶體器件或分開的記憶體器件提供。在各種實例中，CPB記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。

另外或替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)取回經寫碼視訊資料。亦即，記憶體120可用CPB記憶體320儲存如上文所論述之資料。同樣，當視訊解碼器300之一些或所有功能性實施於軟體中以藉由視訊解碼器300之處理電路系統執行時，記憶體120可儲存待由視訊解碼器300執行之指令。

圖14中所展示之各種單元經說明以輔助理解由視訊解碼器300進行的操作。該等單元可實施為固定功能電路、可程式化電路或其組合。類似於圖13，固定功能電路係指提供特定功能性且預設定可進行之操作的電路。可程式化電路係指可經程式化以進行各種任務並在可進行之操作中提供靈活功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如以接收參數或輸出參數)，但固定功能電路進行的操作之類型大體係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在由在可程式化電路上執行之軟體進行視訊解碼器300之操作的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收及執行之軟體之指令(例如目標程式碼)。

熵解碼單元302可自CPB接收經編碼視訊資料，並熵解碼視訊資料以再生語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重建構單元310及濾波器單元312可基於自位元流萃取之語法元素產生經解碼視訊資料。

大體而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可單獨對每一區塊進行重建構操作(其中當前經重建構(亦即經解碼)之區塊可稱為「當前區塊」)。

熵解碼單元302可熵解碼定義經量化變換係數區塊之經量化變換係數的語法元素以及變換資訊，諸如量化參數(QP)及/或變換模式指示。逆量化單元306可使用與經量化變換係數區塊相關聯之QP來判定量化程度，且同樣判定逆量化程度供逆量化單元306應用。逆量化單元306可例如進行按位元左移操作以逆量化經量化變換係數。逆量化單元306可從而形成包括變換係數之變換係數區塊。

在逆量化單元306形成變換係數區塊之後，逆變換處理單元308可將一或多個逆變換應用於變換係數區塊以產生與當前區塊相關聯之殘餘區塊。舉例而言，逆變換處理單元308可將逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆定向變換或另一逆變換應用於係數區塊。

另外，預測處理單元304根據藉由熵解碼單元302熵解碼之預測資訊語法元素產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其取回參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之方位的方位。運動補償單元316可大體上以實質上類似於相對於運動補償單元224 (圖13)所描述之方式的方式進行框間預測程序。

作為另一實例，若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據藉由預測資訊語法元素指示之框內預測模式產生預測區塊。同樣，框內預測單元318可大體上以實質上類似於相對於框內預測單元226 (圖13)所描述之方式的方式進行框內預測程序。框內預測單元318可將相鄰樣本之資料自DPB 314取回至當前區塊。

在一些實例中，預測資訊語法元素指示使用合併模式(諸如MMVD、AMP、SbTMVP、幾何模式(諸如TMP)、CIIP或常規合併模式)來預測當前區塊。視訊解碼器300可根據本發明之技術(諸如相對於圖11、12及15至17所描述之技術)來剖析預測資訊語法元素以判定選定合併模式。

重建構單元310可使用預測區塊及殘餘區塊來重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。

濾波器單元312可對經重建構區塊進行一或多個濾波操作。舉例而言，濾波器單元312可進行解區塊操作以沿經重建構區塊之邊緣減少區塊效應假影。濾波器單元312之操作不一定在所有實例中進行。

視訊解碼器300可將經重建構區塊儲存於DPB 314中。如上文所論述，DPB 314可將諸如用於框內預測之當前圖像及用於後續運動補償之經先前解碼圖像的樣本之參考資訊提供至預測處理單元304。此外，視訊解碼器300可輸出來自DPB之經解碼圖像以用於後續呈現於諸如圖1之顯示器件118的顯示器件上。

以此方式，視訊解碼器300表示視訊解碼器件之實例，該視訊解碼器件包括：記憶體，其經組態以儲存視訊資料；及一或多個處理單元，其實施於電路系統中且經組態以使用本發明中所描述之技術中之任一者或組合來剖析位元流中之語法元素以判定用於當前區塊之合併模式。

圖15為說明用於發信或剖析指示合併模式選擇之語法元素之實例技術的流程圖。在圖15之實例中，視訊編碼器200或視訊解碼器300可針對視訊資料之第一區塊判定是否使用子區塊合併模式(322)。舉例而言，視訊編碼器200之模式選擇單元202可判定子區塊合併模式是否比用於第一區塊之其他經測試模式更佳。視訊編碼器200可將指示關於是否使用子區塊合併模式之語法元素(諸如merge_subblock_flag 70)發信至視訊解碼器300。視訊解碼器300可剖析經發信語法元素以判定是否使用子區塊合併模式。在一些實例中，子區塊合併模式可為SbTMVP模式或仿射合併模式。

基於不使用子區塊合併模式(例如merge_subblock_flag 70等於0)之判定，視訊編碼器200或視訊解碼器300可判定是否使用用於第一區塊之帶有混合之合併模式(324)。舉例而言，視訊編碼器200之模式選擇單元202可判定帶有混合之合併模式是否比用於第一區塊之其他經測試模式更佳。視訊編碼器200可將指示關於是否使用帶有混合之合併模式之語法元素(諸如merge_blend_flag 72)發信至視訊解碼器300。視訊解碼器300可剖析經發信語法元素以判定是否使用帶有混合之合併模式。在一些實例中，帶有混合之合併模式可為幾何模式，諸如TMP模式，或基於除區塊以外之幾何結構的其他模式，或CIIP模式。

基於使用用於第一區塊之帶有混合之合併模式(例如merge_blend_flag 72等於1)之判定，視訊編碼器200或視訊解碼器300可利用帶有混合之合併模式寫碼第一區塊(326)。在一些實例中，視訊編碼器200及視訊解碼器300可避免指示是否針對第一區塊啟用MMVD合併模式之寫碼資訊。舉例而言，視訊編碼器200可能不發信指示是否針對第一區塊啟用MMVD合併模式的語法元素(諸如mmvd_merge_flag 74)，且視訊解碼器300可能不剖析指示是否針對第一區塊啟用MMVD合併模式的語法元素。根據本發明之技術，指示是否針對第一區塊啟用MMVD合併模式之語法元素係不必要的，此係由於在圖11之實例二值化樹中merge_blend_flag 72在mmvd_merge_flag 74之前出現。

在一些實例中，是否使用帶有混合之合併模式之判定包括至少部分地基於第一區塊之大小來判定是否使用帶有混合之合併模式。舉例而言，第一區塊可具有N×M之大小。是否使用帶有混合之合併模式之判定可至少部分地基於具有大於或等於預定數目(諸如64)之大小N×M的第一區塊。

在一些實例中，寫碼包括編碼，且視訊編碼器200在發信位元流中之指示將不使用用於第一區塊之子區塊合併模式之語法元素之後，發信該位元流中之指示使用用於第一區塊之帶有混合之合併模式之語法元素。在一些實例中，寫碼包括解碼，且視訊解碼器300在剖析位元流中之指示將不使用用於第一區塊之子區塊合併模式之語法元素之後，剖析該位元流中之指示使用用於第一區塊之帶有混合之合併模式之語法元素。

圖16為說明用於發信或剖析指示合併模式選擇之語法元素之另外實例技術的流程圖。圖16之實例可與圖15之實例一起使用。

在圖16之實例中，視訊編碼器200或視訊解碼器300可針對視訊資料之第二區塊判定是否使用子區塊合併模式(330)。舉例而言，視訊編碼器200之模式選擇單元202可判定子區塊合併模式是否比用於第二區塊之其他經測試模式更佳。視訊編碼器200可將指示是否使用子區塊合併模式之語法元素(諸如merge_subblock_flag 70)發信至視訊解碼器300。視訊解碼器300可剖析經發信語法元素以判定是否使用子區塊合併模式。在一些實例中，子區塊合併模式可為SbTMVP模式或仿射合併模式。基於使用用於第二區塊之子區塊合併模式(例如merge_subblock_flag 70等於1)之判定，視訊編碼器200或視訊解碼器300可利用子區塊合併模式寫碼第二區塊(332)。

圖17為說明用於發信或剖析指示合併模式選擇之語法元素之另外實例技術的流程圖。圖17之實例可與圖15之實例及/或圖16之實例一起使用。

在圖17之實例中，視訊編碼器200或視訊解碼器300可針對視訊資料之第三區塊判定是否使用子區塊合併模式(334)。舉例而言，視訊編碼器200之模式選擇單元202可判定子區塊合併模式是否比用於第三區塊之其他經測試模式更佳。視訊編碼器200可將指示是否使用子區塊合併模式之語法元素(諸如merge_subblock_flag 70)發信至視訊解碼器300。視訊解碼器300可剖析經發信語法元素以判定是否使用子區塊合併模式。在一些實例中，子區塊合併模式可為SbTMVP模式或仿射合併模式。

基於不使用子區塊合併模式(例如merge_subblock_flag 70等於0)之判定，視訊編碼器200或視訊解碼器300可判定是否使用用於第三區塊之帶有混合之合併模式(336)。舉例而言，視訊編碼器200之模式選擇單元202可判定帶有混合之合併模式是否比用於第三區塊之其他經測試模式更佳。視訊編碼器200可將指示是否使用帶有混合之合併模式之語法元素(諸如merge_blend_flag 72)發信至視訊解碼器300。視訊解碼器300可剖析經發信語法元素以判定是否使用帶有混合之合併模式。在一些實例中，帶有混合之合併模式可為幾何模式，諸如TMP模式，或基於除區塊以外之幾何結構的其他模式，或CIIP模式。

基於不使用用於第三區塊之帶有混合之合併模式(例如merge_blend_flag 72等於0)之判定，視訊編碼器200或視訊解碼器300可判定是否使用用於第三區塊之MMVD合併模式(338)。舉例而言，視訊編碼器200之模式選擇單元202可判定MMVD合併模式是否比用於第三區塊之其他經測試模式更佳。視訊編碼器200可將指示是否使用MMVD合併模式之語法元素(諸如mmvd_merge_flag 74)發信至視訊解碼器300。視訊解碼器300可剖析經發信語法元素以判定是否使用MMVD合併模式。視訊編碼器200或視訊解碼器300可基於是否使用用於第三區塊之MMVD合併模式的判定，利用MMVD合併模式(例如mmvd_merge_flag 74等於1)或常規合併模式(例如mmvd_merge_flag 74等於0)寫碼第三區塊。

圖15至17之實例技術可使得視訊編碼器能夠以可能實現更高效頻寬利用率及減少之處理功率消耗之方式將合併模式資訊發信至視訊解碼器。在一些實例中，實例技術可允許視訊解碼器相對快速地判定由視訊編碼器用以編碼視訊資料之給定區塊之合併模式類型，此可減少解碼潛時。

圖18為說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU。儘管相對於視訊編碼器200 (圖1及13)加以描述，但應理解，其他器件可經組態以進行類似於圖18之方法的方法。

在此實例中，視訊編碼器200初始地預測當前區塊(350)。舉例而言，視訊編碼器200可形成當前區塊之預測區塊。在預測區塊之形成中，視訊編碼器可利用圖15至17之技術中之任一者。舉例而言，視訊編碼器200可針對視訊資料之第一區塊判定是否使用子區塊合併模式。基於不使用子區塊合併模式之判定，視訊編碼器200可判定是否使用用於第一區塊之帶有混合之合併模式。基於使用用於第一區塊之帶有混合之合併模式之判定，視訊編碼器200可利用帶有混合之合併模式寫碼第一區塊。視訊編碼器200接著可計算當前區塊之殘餘區塊(352)。為了計算殘餘區塊，視訊編碼器200可計算當前區塊的初始未經編碼區塊與預測區塊之間的差。視訊編碼器200接著可變換且量化殘餘區塊之係數(354)。接著，視訊編碼器200可掃描殘餘區塊之經量化變換係數(356)。在掃描期間或在掃描之後，視訊編碼器200可熵編碼係數(358)。舉例而言，視訊編碼器200可使用CAVLC或CABAC來編碼係數。視訊編碼器200接著可輸出區塊之經熵寫碼資料(360)。

圖19為說明用於解碼視訊資料之當前區塊的實例方法的流程圖。當前區塊可包含當前CU。儘管相對於視訊解碼器300 (圖1及14)加以描述，但應理解，其他器件可經組態以進行類似於圖19之方法的方法。

視訊解碼器300可接收當前區塊之經熵寫碼資料，諸如經熵寫碼預測資訊及對應於當前區塊之殘餘區塊的係數之經熵寫碼資料(370)。視訊解碼器300可熵解碼經熵寫碼資料，以判定當前區塊之預測資訊且再生殘餘區塊之係數(372)。視訊解碼器300可例如使用如由當前區塊之預測資訊所指示的框內或框間預測模式來預測當前區塊(374)，以計算當前區塊之預測區塊。當預測當前區塊時，視訊解碼器300可利用圖15至17之技術中之任一者。舉例而言，視訊解碼器300可針對視訊資料之第一區塊判定是否使用子區塊合併模式。基於不使用子區塊合併模式之判定，視訊解碼器300可判定是否使用用於第一區塊之帶有混合之合併模式。基於使用用於第一區塊之帶有混合之合併模式之判定，視訊解碼器300可利用帶有混合之合併模式寫碼第一區塊。視訊解碼器300接著可逆掃描經再生係數(376)以創建經量化變換係數之區塊。視訊解碼器300接著可逆量化及逆變換係數以產生殘餘區塊(378)。視訊解碼器300可最終藉由組合預測區塊及殘餘區塊來解碼當前區塊(380)。

根據本發明之技術，視訊編碼器可以可能實現更高效頻寬利用率及減少之處理功率消耗之方式將合併模式資訊發信至視訊解碼器。舉例而言，合併模式可按類型分類，且與更低機率合併模式相比，更高機率合併模式可在二值化樹中置放更高，從而允許用比更低機率合併模式更少之二進數發信更高機率合併模式。在一些實例中，實例技術可允許視訊解碼器相對快速地判定由視訊編碼器用以編碼視訊資料之給定區塊之合併模式類型，此可減少解碼潛時。以此方式，實例技術提供用於解決可改良視訊寫碼技術之技術問題之實際應用。

本發明包括以下實例。

實例1.一種解碼視訊資料之方法，該方法包含：使用本發明中所描述之技術中之任一者或組合來剖析位元流中之語法元素以判定用於當前區塊之合併模式。

實例2.一種編碼視訊資料之方法，該方法包含：使用本發明中所描述之技術中之任一者或組合來發信位元流中之語法元素以指示用於當前區塊之合併模式。

實例3.一種解碼視訊資料之方法，該方法包含：剖析位元流中之第一語法元素以判定是否選擇基於子區塊之合併模式群組；基於第一語法元素之值，判定針對當前區塊選擇基於子區塊之合併模式群組；及使用基於子區塊之合併模式來解碼當前區塊。

實例4.一種解碼視訊資料之方法，該方法包含：剖析位元流中之第一語法元素以判定是否選擇基於子區塊之合併模式群組；基於第一語法元素之值，判定未針對當前區塊選擇基於子區塊之合併模式群組；基於未選擇基於子區塊之合併模式群組，剖析位元流中之第二語法元素以判定是選擇正常合併模式群組抑或混合合併模式群組；基於第二語法元素之值，剖析位元流中之第三語法元素以判定是常規合併模式抑或具有運動向量差(MMVD)之合併模式；基於第三語法元素之值，判定選擇MMVD；及使用MMVD來解碼當前區塊。

實例5.一種解碼視訊資料之方法，該方法包含：剖析位元流中之第一語法元素以判定是否選擇基於子區塊之合併模式群組；基於第一語法元素之值，判定未針對當前區塊選擇基於子區塊之合併模式群組；基於未選擇基於子區塊之合併模式群組，剖析位元流中之第二語法元素以判定是選擇正常合併模式群組抑或混合合併模式群組；基於第二語法元素之值，剖析位元流中之第三語法元素以判定是常規合併模式抑或具有運動向量差(MMVD)之合併模式；基於第三語法元素之值，判定選擇常規合併模式；及使用常規合併模式來解碼當前區塊。

實例6.一種解碼視訊資料之方法，該方法包含：剖析位元流中之第一語法元素以判定是否選擇基於子區塊之合併模式群組；基於第一語法元素之值，判定未針對當前區塊選擇基於子區塊之合併模式群組；基於未選擇基於子區塊之合併模式群組，剖析位元流中之第二語法元素以判定是選擇正常合併模式群組抑或混合合併模式群組；基於第二語法元素之值，剖析位元流中之第四語法元素以判定是選擇組合式框間及框內預測(CIIP)抑或選擇三角形合併預測(TMP)；及基於第四語法元素之值使用CIIP或TMP中之一者來解碼當前區塊。

實例7.一種解碼視訊資料之方法，該方法包含：基於第一語法元素之值來判定未選擇基於子區塊之合併模式；基於未選擇基於子區塊之合併模式，剖析指示是否選擇具有運動向量差(MMVD)之合併模式之第二語法元素；及基於指示選擇MMVD之第二語法元素使用MMVD來解碼當前區塊。

實例8.一種解碼視訊資料之方法，該方法包含：基於第一語法元素之值來判定未選擇基於子區塊之合併模式且基於第二語法元素之值來判定未選擇具有運動向量差(MMVD)之合併模式；基於未選擇基於子區塊之合併模式及MMVD，剖析指示是否選擇組合式框間及框內預測(CIIP)之第三語法元素；及基於指示選擇CIIP之第三語法元素使用CIIP來解碼當前區塊。

實例9.一種解碼視訊資料之方法，該方法包含：基於第一語法元素之值來判定未選擇基於子區塊之合併模式，基於第二語法元素之值來判定未選擇具有運動向量差(MMVD)之合併模式，且基於第三語法元素之值來判定未選擇組合式框間及框內預測(CIIP)；基於未選擇基於子區塊之合併模式、MMVD及CIIP，剖析指示是否選擇三角形合併預測之第四語法元素，其中第四語法元素之第一值指示選擇三角形合併預測且第四語法元素之第二值指示選擇常規合併模式；及基於第四語法元素之值為第一值抑或第二值使用三角形合併預測或常規合併模式來解碼當前區塊。

實例10.一種編碼視訊資料之方法，該方法包含：判定用於當前區塊之合併模式類型；及根據在實例3至9中之任一者中基於合併模式類型剖析語法元素之方式來發信語法元素。

實例11.一種用於解碼視訊資料之器件，該器件包含：記憶體，其用以儲存視訊資料；及視訊解碼器，其包含固定功能或可程式化電路系統中之至少一者，其中視訊解碼器經組態以進行實例3至9中之任一者之方法。

實例12.一種用於編碼視訊資料之器件，該器件包含：記憶體，其用以儲存視訊資料；及視訊編碼器，其包含固定功能或可程式化電路系統中之至少一者，其中視訊編碼器經組態以進行實例10之方法。

實例13.如實例11及12中任一者之器件，其中該器件包含攝影機或顯示器中之至少一者。

實例14.如實例11至13中任一者之器件，其中該器件為攝影機、電腦、行動器件、廣播接收器器件或機上盒中之一或多者。

實例15.一種解碼視訊資料之器件，該器件包含用於進行如實例3至9中任一者之方法之構件。

實例16.一種在其上儲存有指令之電腦可讀儲存媒體，該等指令在執行時使得用於解碼視訊資料之器件之一或多個處理器進行如實例3至9中任一者之方法。

實例17.一種編碼視訊資料之器件，該器件包含用於進行如實例10之方法之構件。

實例18.一種在其上儲存有指令之電腦可讀儲存媒體，該等指令在執行時使得用於編碼視訊資料之器件之一或多個處理器進行如實例10之方法。

應認識到，視實例而定，本文中所描述之技術中之任一者的某些動作或事件可以不同順序進行、可經添加、合併或完全省去(例如並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序進行動作或事件。

在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定來促進電腦程式自一處傳遞至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以取回指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

作為實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外線、無線及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範疇內。

指令可藉由一或多個處理器執行，諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效的積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」及「處理電路系統」可指前述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。

可以廣泛多種器件或裝置實施本發明之技術，該等器件或裝置包括無線手持機、積體電路(IC)或IC之集合(例如晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以進行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元來實現。實情為，如上文所描述，各種單元可與合適的軟體及/或韌體一起組合於編碼解碼器硬體單元中或由互操作性硬體單元之集合提供，該等硬體單元包括如上文所描述之一或多個處理器。

各種實例已予以描述。此等及其他實例係在以下申請專利範圍之範疇內。

26:位置A0 28:位置B0 29:箭頭 30:位置B1 31:箭頭 32:位置A1 33:位置B2 34:參考圖像 36:參考圖像 38:當前圖像 40:同置圖像 42:當前CU 44:同置CU 46:圖像次序計數距離tb 48:圖像次序計數距離td 50:經縮放運動向量 52:運動向量 54:位置C₀ 56:位置C₁/L0參考 58:L1參考 60:區塊 62:區塊 64:子區塊 70:第一旗標MERGE_SUBBLOCK_FLAG 72:第二旗標MERGE_BLEND_FLAG 74:第三旗標MMVD_MERGE_FLAG 76:第四旗標CIIP_FLAG 80:第一旗標MERGE_SUBBLOCK_FLAG 82:第二旗標MMVD_MERGE_FLAG 84:第三旗標CIIP_FLAG 86:第四旗標TRIANGLE_MERGE_FLAG 100:視訊編碼及解碼系統 102:源器件 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀媒體 112:儲存器件 114:檔案伺服器 116:目的地器件 118:顯示器件 120:記憶體 122:輸入介面 130:四元樹二元樹結構 132:寫碼樹單元 200:視訊編碼器 202:模式選擇單元 204:殘餘產生單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重建構單元 216:濾波器單元 218:經解碼圖像緩衝器 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重建構單元 312:濾波器單元 314:經解碼圖像緩衝器 316:運動補償單元 318:框內預測單元 320:經寫碼圖像緩衝器記憶體 322:動作 324:動作 326:動作 328:動作 330:分區1/動作 332:分區2/動作 334:分區1/動作 336:分區2/動作 338:動作 340:動作 350:動作 352:動作 354:動作 356:動作 358:動作 360:動作 370:動作 372:動作 374:動作 376:動作 378:動作 380:動作 A₀:位置 A₁:位置 B₀:位置 B₁:位置 B₂:位置 mv₀:控制點運動向量 mv₁:控制點運動向量 mv₂:控制點運動向量

圖1為說明可進行本發明之技術之實例視訊編碼及解碼系統的方塊圖。

圖2A及2B為說明實例四元樹二元樹(QTBT)結構及對應寫碼樹單元(CTU)的概念圖。

圖3為說明空間合併候選者之實例位置的概念圖。

圖4為說明針對空間合併候選者之冗餘檢查而考慮之候選者對之實例的概念圖。

圖5為說明時間合併候選者之運動向量縮放之實例的概念圖。

圖6為說明時間合併候選者之候選者位置之實例的概念圖。

圖7A及7B為說明具有運動向量差(MMVD)之合併模式之搜尋點之實例的概念圖。

圖8A及8B為分別說明4參數仿射模型及6參數仿射模型之實例的概念圖。

圖9為說明每子區塊之仿射運動向量(MV)場之實例的概念圖。

圖10A及10B為說明基於三角形分區之框間預測之實例的概念圖。

圖11為說明用於發信合併模式資訊之二值化樹之一個實例的概念圖。

圖12為說明用於發信合併模式資訊之二值化樹之另一實例的概念圖。

圖13為說明可進行本發明之技術之實例視訊編碼器的方塊圖。

圖14為說明可進行本發明之技術之實例視訊解碼器的方塊圖。

圖15為說明用於發信或剖析指示合併模式選擇之語法元素之實例技術的流程圖。

圖16為說明用於發信或剖析指示合併模式選擇之語法元素之另外實例技術的流程圖。

圖17為說明用於發信或剖析指示合併模式選擇之語法元素之另外實例技術的流程圖。

圖18為說明編碼視訊資料之實例的流程圖。

圖19為說明解碼視訊資料之實例的流程圖。

70:第一旗標MERGE_SUBBLOCK_FLAG

72:第二旗標MERGE_BLEND_FLAG

74:第三旗標MMVD_MERGE_FLAG

76:第四旗標CIIP_FLAG

Claims

一種寫碼視訊資料之方法，該方法包含：針對該等視訊資料之一第一區塊判定是否使用一子區塊合併模式；基於不使用用於該第一區塊之該子區塊合併模式之該判定，判定是否使用用於該第一區塊之一帶有混合之合併模式；及基於使用用於該第一區塊之該帶有混合之合併模式之該判定，利用該帶有混合之合併模式寫碼該第一區塊。
如請求項1之方法，其中該帶有混合之合併模式為一幾何模式或一組合式框間及框內預測(CIIP)模式中之至少一者，且其中判定是否使用該帶有混合之合併模式包含判定是將使用該幾何模式或該CIIP模式中之一者抑或將既不使用該幾何模式又不使用該CIIP模式。
如請求項2之方法，其中該幾何模式為一三角形模式。
如請求項1之方法，其進一步包含：針對該等視訊資料之一第二區塊判定是否使用一子區塊合併模式；基於使用用於該第二區塊之一子區塊合併模式之該判定，利用該子區塊合併模式寫碼視訊資料之該第二區塊。
如請求項4之方法，其進一步包含：針對該等視訊資料之一第三區塊判定是否使用該子區塊合併模式；基於不使用用於該第三區塊之該子區塊合併模式之該判定，判定是否使用用於該第三區塊之一帶有混合之合併模式；基於不使用用於該第三區塊之一帶有混合之合併模式之該判定，判定是否使用用於該第三區塊之一運動向量差(MMVD)合併模式；及基於是否使用用於該第三區塊之一MMVD合併模式之該判定來利用該MMVD合併模式或一常規合併模式寫碼該第三區塊。
如請求項1之方法，其進一步包含避免指示是否針對該第一區塊啟用一MMVD合併模式之寫碼資訊。
如請求項1之方法，其中判定是否使用該帶有混合之合併模式包含至少部分地基於該第一區塊之一大小來判定是否使用該帶有混合之合併模式。
如請求項7之方法，其中該第一區塊具有N×M之一大小且其中N×M大於或等於64。
如請求項1之方法，其中寫碼包含編碼，且該方法進一步包含在發信一位元流中之指示將不使用用於該第一區塊之該子區塊合併模式之一語法元素之後，發信該位元流中之指示使用用於該第一區塊之該帶有混合之合併模式之一語法元素。
如請求項1之方法，其中寫碼包含解碼，且該方法進一步包含在剖析一位元流中之指示將不使用用於該第一區塊之該子區塊合併模式之一語法元素之後，剖析該位元流中之指示使用用於該第一區塊之該帶有混合之合併模式之一語法元素。
一種用於寫碼視訊資料之器件，該器件包含：一記憶體，其用於儲存該等視訊資料；及一或多個處理器，其實施於電路系統中且以通信方式耦接至該記憶體，該一或多個處理器經組態以：針對該等視訊資料之一第一區塊判定是否使用一子區塊合併模式；基於不使用用於該第一區塊之該子區塊合併模式之該判定，判定是否使用用於該第一區塊之一帶有混合之合併模式；及基於使用用於該第一區塊之該帶有混合之合併模式之該判定，利用該帶有混合之合併模式寫碼該第一區塊。
如請求項11之器件，其中該帶有混合之合併模式為一幾何模式或一CIIP模式中之至少一者，且其中判定是否使用該帶有混合之合併模式包含判定是將使用該幾何模式或該CIIP模式中之一者抑或將既不使用該幾何模式又不使用該CIIP模式。
如請求項12之器件，其中該幾何模式為一三角形模式。
如請求項11之器件，其中該一或多個處理器經進一步組態以：針對該等視訊資料之一第二區塊判定是否使用一子區塊合併模式；基於使用用於該第二區塊之一子區塊合併模式之該判定，基於該子區塊合併模式來寫碼視訊資料之該第二區塊。
如請求項14之器件，其中該一或多個處理器經進一步組態以：針對該等視訊資料之一第三區塊判定是否使用該子區塊合併模式；基於不使用用於該第三區塊之該子區塊合併模式之該判定，判定是否使用用於該第三區塊之一帶有混合之合併模式；基於不使用用於該第三區塊之一帶有混合之合併模式之該判定，判定是否使用用於該第三區塊之一MMVD合併模式；及基於是否使用用於該第三區塊之一MMVD合併模式之該判定來利用該MMVD合併模式或一常規合併模式寫碼該第三區塊。
如請求項11之器件，其中該一或多個處理器經進一步組態以避免指示是否針對該第一區塊啟用一MMVD合併模式之寫碼資訊。
如請求項11之器件，其中該一或多個處理器經組態以藉由至少部分地基於該第一區塊之一大小來判定是否使用該帶有混合之合併模式來判定是否使用該帶有混合之合併模式。
如請求項17之器件，其中該第一區塊具有N×M之一大小且其中N×M大於或等於64。
如請求項11之器件，其中寫碼包含編碼，且該一或多個處理器經進一步組態以在發信一位元流中之指示將不使用用於該第一區塊之該子區塊合併模式之一語法元素之後，發信該位元流中之指示使用用於該第一區塊之該帶有混合之合併模式之一語法元素。
如請求項11之器件，其中寫碼包含解碼，且該一或多個處理器經進一步組態以在剖析一位元流中之指示將不使用用於該第一區塊之該子區塊合併模式之一語法元素之後，剖析該位元流中之指示使用用於該第一區塊之該帶有混合之合併模式之一語法元素。
一種在其上儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使得一或多個處理器：針對視訊資料之一第一區塊判定是否使用一子區塊合併模式；基於不使用用於該第一區塊之該子區塊合併模式之該判定，判定是否使用用於該第一區塊之一帶有混合之合併模式；及基於使用用於該第一區塊之該帶有混合之合併模式之該判定，利用該帶有混合之合併模式寫碼該第一區塊。
如請求項21之非暫時性電腦可讀儲存媒體，其中該帶有混合之合併模式為一幾何模式或一CIIP模式中之至少一者，且其中判定是否使用該帶有混合之合併模式包含判定是將使用該幾何模式或該CIIP模式中之一者抑或將既不使用該幾何模式又不使用該CIIP模式。
如請求項22之非暫時性電腦可讀儲存媒體，其中該幾何模式為一三角形模式。
如請求項21之非暫時性電腦可讀儲存媒體，其中該等指令在執行時進一步使得該一或多個處理器：針對該等視訊資料之一第二區塊判定是否使用一子區塊合併模式；基於使用用於該第二區塊之一子區塊合併模式之該判定，基於該子區塊合併模式來寫碼視訊資料之該第二區塊。
如請求項24之非暫時性電腦可讀儲存媒體，其中該等指令在執行時進一步使得該一或多個處理器：針對該等視訊資料之一第三區塊判定是否使用該子區塊合併模式；基於不使用用於該第三區塊之該子區塊合併模式之該判定，判定是否使用用於該第三區塊之一帶有混合之合併模式；基於不使用用於該第三區塊之一帶有混合之合併模式之該判定，判定是否使用用於該第三區塊之一MMVD合併模式；及基於是否使用用於該第三區塊之一MMVD合併模式之該判定來利用該MMVD合併模式或一常規合併模式寫碼該第三區塊。
如請求項21之非暫時性電腦可讀儲存媒體，其中該等指令在執行時進一步使得該一或多個處理器避免指示是否針對該第一區塊啟用一MMVD合併模式之寫碼資訊。
如請求項21之非暫時性電腦可讀儲存媒體，其中該等指令在執行時進一步使得該一或多個處理器藉由至少部分地基於該第一區塊之一大小來判定是否使用該帶有混合之合併模式來判定是否使用該帶有混合之合併模式。
如請求項27之非暫時性電腦可讀儲存媒體，其中該第一區塊具有N×M之一大小且其中N×M大於或等於64。
如請求項21之非暫時性電腦可讀儲存媒體，其中寫碼包含編碼，且該等指令在執行時進一步使得該一或多個處理器在發信一位元流中之指示將不使用用於該第一區塊之該子區塊合併模式之一語法元素之後，發信該位元流中之指示使用用於該第一區塊之該帶有混合之合併模式之一語法元素。
如請求項21之非暫時性電腦可讀儲存媒體，其中寫碼包含解碼，且該等指令在執行時進一步使得該一或多個處理器在剖析一位元流中之指示將不使用用於該第一區塊之該子區塊合併模式之一語法元素之後，剖析該位元流中之指示使用用於該第一區塊之該帶有混合之合併模式之一語法元素。
一種用於寫碼視訊資料之器件，該器件包含：用於針對該等視訊資料之一第一區塊判定是否使用一子區塊合併模式之構件；用於基於不使用用於該第一區塊之該子區塊合併模式之該判定來判定是否使用用於該第一區塊之一帶有混合之合併模式之構件；及用於基於使用用於該第一區塊之該帶有混合之合併模式之該判定來利用該帶有混合之合併模式寫碼該第一區塊之構件。