TW202041032A

TW202041032A - 用於混成視訊寫碼工具之使用案例驅動脈絡模型選擇技術

Info

Publication number: TW202041032A
Application number: TW109107289A
Authority: TW
Inventors: 強納森帕雅夫; 菲利浦希利; 麥可夏佛; 托比亞斯辛茲; 柏喬恩史泰倫柏格; 飛利浦馬克爾; 希可史瓦茲; 迪特利夫馬皮; 湯瑪士威剛德
Original assignee: 弗勞恩霍夫爾協會
Priority date: 2019-03-05
Filing date: 2020-03-05
Publication date: 2020-11-01
Also published as: BR112021017154A2; KR20210130809A; JP2024010128A; JP2022522744A; US11997280B2; WO2020178352A1; CN113647106A; MX2021010562A; JP7377878B2; US20210392331A1; TWI796553B; EP3935842A1

Abstract

描述一種包括一編碼器之設備。該編碼器接收影像或視訊資料，對經接收影像或視訊資料進行編碼且提供表示該影像或視訊資料之一位元串流。該編碼器包括一CABAC編碼器。該CABAC編碼器接收與待編碼之該影像或視訊資料之一區塊相關聯之一二進位值語法元素，並且使用一選定脈絡模型將該二進位值語法元素編碼成用於該位元串流之經寫碼位元。該二進位值語法元素包括一工具旗標，其指示當對該影像或視訊資料之一區塊進行編碼是否採用如一線性經加權框內預測LWIP之某一寫碼工具。對於具有大於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行編碼之一第一脈絡模型係選自一或多個第一脈絡模型之一群組，且對於具有小於或等於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行編碼之一第二脈絡模型係選自一或多個第二脈絡模型之一群組。

Description

用於混成視訊寫碼工具之使用案例驅動脈絡模型選擇技術

發明領域

本發明係關於編碼/解碼圖像、影像或視訊之領域，更特定言之，係關於一或多個寫碼工具之編碼，如通用視訊寫碼VVC標準之仿射線性經加權框內預測LWIP或基於矩陣之框內預測MIP，其使用脈絡自適應性二進位算術寫碼之脈絡或脈絡模式。實施例係關於如intra_mip_flag之旗標之編碼，該旗標指示基於取決於待處理影像或視頻資料之區塊的縱橫比選擇之脈絡模型的VVC標準之LWIP或MIP的適用性。

發明背景

在如ITU T H.265 | MPEG H HEVC [1]之目前先進技術視訊寫碼標準中，圖像經劃分成具有固定方塊大小之CodingTreeUnits，其可進一步細分成較小區塊。此區塊之經重建構信號通常為預測信號與殘差信號之疊加。預測信號係藉由將相鄰鄰域之樣本外插至當前區塊中（框內預測）或藉由自一個或二個參考圖像複製樣本的經濾波或未經濾波表示（框間預測）而獲得。參考圖像為已經自位元串流重建構且出於參考目的儲存在圖像緩衝器中之圖像。殘差信號係藉由對自位元串流讀取之經解量化變換係數進行反變換而獲得。在區塊重建構程序之後，應用迴路內濾波器以增強經重建構區塊之信號並獲得經重建構圖像。

自位元串流讀取如變換係數、deltaQP、框內預測模式、運動向量差等之符號的熵解碼程序係藉由使用脈絡自適應性二進位算術寫碼(CABAC)引擎以將自位元串流讀取之位元轉換成二進位決策(位元子)之剖析器進行。剖析器將此等位元子轉換或組合成符號或語法元素。熵寫碼程序之自適應性係藉由使用CABAC脈絡(CC)實現。每一脈絡表示自適應性機率模型，其模型化特定符號或符號之集合的熵。術語「自適應性」指示該模型朝向當前經寫碼狀態之永久性更新。因此，該模型適應於對應符號之局部統計。更新步驟通常嵌入於算術寫碼運算中。首先，CC之當前狀態用於參數化算術寫碼程序。接著，一旦導出經解碼符號，則其係用於以朝向當前經解碼機率之給定步長更新CC。

在JEM軟體[2]中以及在即將發佈的VVC標準[3]中，已經評估並採用關於算術寫碼程序之各種改良。已經改變算術寫碼引擎且亦已經改良CC之初始化及更新程序。已經改進了機率表示之動態範圍以及CC之更新程序的行為。每一CC具有控制CC朝向當前機率之自適應強度的個別二級更新步驟。此改良有助於根據預期的CC使用率統計來定製CC更新程序。

由於需要大量二進位決策來傳輸語法元素並且由於語法元素本身之數目，因此，必須使用相同的CC來對二進位決策進行分組以便達到可由解碼器處置的CC之實際數目或量。此外，分組幫助更新程序利用局部統計並且其改良基礎機率模型之穩定性。

屬於相同語法元素之具有在統計學上類似機率之二進位決策通常分組成一個CC。在當二進位決策有可能具有可自相鄰鄰域中已經解碼之符號預測之不同機率時的狀況中，會出現此類分組之例外情況。在此狀況中，所選擇的CC係自相鄰鄰域中已經解碼之符號預測。此程序通常應用於在位元串流中相當頻繁地傳輸之符號。

除了脈絡控制算術寫碼之外，存在固定機率為0.5之旁路模式。併入於算術寫碼器中之此旁路模式為用於高通量之低複雜性模式。旁路模式廣泛地用於例如變換寫碼。

發明概要

視訊寫碼方法之演進展示了越來越多的多種區塊形狀及數目不斷增加的寫碼工具，從而在編碼器處產生了找到良好寫碼表示之大量演算法複雜性。因此，在編碼器處在某些脈絡中跳過寫碼工具之評估(亦即關閉)以實現較佳複雜性相對於壓縮效率權衡可為有益的。區塊上之寫碼工具之使用通常藉由在位元串流中提交脈絡經模型化工具啟用旗標而傳達至解碼器。問題

理想地，解碼器對工具啟用旗標(亦即判定如例如寫碼模式或預測模式之工具是否應用於某一區塊之旗標)是否在位元串流中發送具有最低限制。原因在於對於某些狀況停用工具在一些情境下可能會惡化其對壓縮效能之影響，即使此等情境不太可能發生亦如此。實際上，混成視訊編解碼器之效率之主要原因中之一者為很多種競爭寫碼工具一直為可能的且在給定狀況中僅選擇此等工具中之一者。

舉例而言，對允許僅用於小區塊大小之工具且因此發送工具啟用旗標之約束將可能減小通常僅含有小區塊之小部分的具有極高解析度之未來應用的寫碼效率。

另一方面，對於所有可能狀況發送工具啟用旗標對於應用情境係低效的，在該等應用情境中，快速編碼器搜尋策略對於一些狀況將不測試工具，因為對於此等狀況，不太可能選擇該工具，因為其就運行時間而言過於昂貴，或在此等狀況中使用該工具對於總寫碼效率之影響相當小。在此設置中，針對某些狀況不測試工具將產生較快編碼器，但對於略微減小的寫碼效率之價格：對於某一狀況將在位元串流中發送工具啟用旗標，但該工具在給定情境中從不用於彼狀況。因此，在此情境下，若編碼器搜尋限制亦將由對在位元串流中發送工具啟用旗標之約束表示，則寫碼效率將較高。

自如上文所描述之先前技術開始，可能需要改良或增強對一或多個寫碼工具之編碼，該一或多個寫碼工具用於對圖像、影像或視訊進行編碼/解碼。

較佳實施例之詳細說明現在參考附圖更詳細地描述本發明之實施例，在附圖中，相同或相似元件具有經指派之相同參考符號。

如上文所提及，在關於如何將二進位決策分組成脈絡模型之設計中，僅將降低總熵相對於所使用脈絡模型之數目的態樣考慮至先前標準中。相比於此方法，根據本發明提高用於關於如何將二進位決策分組成脈絡模型之設計的新態樣。此方法因而考量演算法的增加之複雜性。本發明例如藉由插入脈絡來調適脈絡模型化，以便將寫碼脈絡與適合於關閉某些寫碼工具之脈絡對準。此使得編碼器能夠在具有不同演算法複雜性之操作點當中選擇，同時避免壓縮效率之降低。

本發明方法係使用以下實例來解釋。假設機率模型化二進位決策在由演算法1表示之第一工具與由演算法2表示之第二工具之間切換。此處，第二工具經視為基線工具，而第一工具經視為較特殊工具。根據此假設，相比於第一工具，總體上更有可能選擇第二工具。作為一實例，假設相比於第二工具優選第一工具之總機率為0.3。

現在假設給定二個應用情境。在第一應用A中，存在測試二個工具且選擇表現最好的工具之N種狀況。在第二應用B中，出於某一原因，僅僅對於所有的N種狀況中之經判定部分，測試二個工具，且對於剩餘的狀況，僅選擇基線工具，亦即第二工具。對於二個應用，用於所有N種狀況之決策必須經脈絡模型化並在位元串流中傳輸。作為一實例，假設在應用B中測試二個工具之狀況之數目等於N/2。對於其他N/2狀況，在應用A中測試工具而不在應用B中測試。

若在第一應用A中，工具旗標運用單個CC進行脈絡寫碼，則演算法1之機率具有穩定值0.3，而在第二應用B中，其平均機率下降至0.15，從而為所有的N種狀況引入了±0.15的固定機率代價：在於應用B中測試工具之狀況中，真實概率將為0.3而非0.15，而在不在應用B中測試工具之狀況中，真實機率將為0。換言之，在應用B中，使用單個CC，實際決策之機率將以非最佳方式經模型化，從而在位元串流中傳輸時產生較高位元率。

在本發明的方法中，如下來克服決策之機率之此非最佳模型化的缺點。代替使用一個機率模型用於所有決策，二個（或更多）機率模型或CABAC脈絡經指派給相同決策。運用選擇索引來選擇對N種狀況中之每一者使用哪一機率模型。

當再次考慮以上實例時，以一定方式選擇選擇索引以使得其在測試演算法1及演算法2之經判定部分與在第二應用B中僅測試演算法2之剩餘部分之間進行區分。換言之，二個不同狀況經聚類，且由選擇索引之不同值表示。

當在應用A中使用具有二個機率模型之此選擇索引時，若干不同CC仍可模型化工具旗標之統計，但選擇索引會在二個機率模型之間切換。在二個模型中，由演算法1表示之工具具有機率0.3。此導致與原始狀況等效之模型化，該原始狀況僅運用一個機率模型經模型化。

然而，在第二應用B中使用具有二個機率模型之前述選擇索引亦引起用於此狀況之最佳模型化。對於測試二個演算法之所有的N/2狀況之經判定部分，演算法1之機率為0.3，且對於僅測試基線演算法2之剩餘部分，演算法1之機率為0.0。二個機率均以很好區分的方式在二個機率模型中經擷取，因而產生不具有任何模型化代價之模型化，從而在位元串流中傳輸時引起低位元率。

因此，本發明方法的實施例係基於引入用於發送工具啟用旗標之額外CABAC脈絡。若符合一條件，則僅應用此額外的脈絡。否則，照常選擇CABAC脈絡。根據一實施例，該條件可為當前區塊之大小屬於可能由快速編碼器搜尋策略跳過但可能有益於需要高寫碼效率之應用的區塊大小之預定義子集。根據另一實施例，該條件可為當前區塊之縱橫比高於某一值，如2，其可能由快速編碼器搜尋策略跳過，但可能有益於需要高寫碼效率且在區塊位準上而非圖像位準或截塊位準上受控制之應用。

一方面，由於CABAC脈絡之機率自適應，若在應用情境中從而針對由該條件定義之特定狀況測試工具，則用於發送此等狀況之工具旗標之信令開銷將極小。因此，對於此等狀況，寫碼效率將幾乎與不發送工具旗標一樣好。

另一方面並且再次由於CABAC脈絡之機率自適應，若在不同應用情境中，亦在由該條件判定之狀況中由編碼器測試工具，則用於發送工具旗標之寫碼效率在針對由該條件判定之狀況使用單獨的CABAC脈絡之情況下將不會明顯減少。

因此，相比於目前先進技術方法，本發明所提議之不同CABAC脈絡之指派不藉由試圖模型化工具旗標之總體條件機率分佈來引導。實際上，如由以上實例所解釋，不同CABAC脈絡之指派對應於工具的不同應用情境。此處，每一應用情境經定義為一特定條件，在該特定條件下給定工具之執行原則上將為可能的但將永不會在給定情境中由編碼器測試。

在特定條件下排除工具或演算法可存在不同原因，並且在下文給定由該等條件判定之狀況之一些實施例，但本發明不限於此等實施例。首先，經排除演算法對於此等狀況可能過於複雜。第二，例如由於硬體或資源限制，對於此等狀況可能不實施演算法或甚至該演算法對於此等狀況不可實施。第三，存在用於此等狀況中之演算法僅可略微改良壓縮效能之情境。第四，在此等狀況中使用基礎演算法基本上一直提供極有限的壓縮效益並且因而僅在以最大壓縮效能為目標之情況下為可行的。第五，此等狀況不包含起初設計演算法或工具所針對之核心應用領域。用於一工具之多於一個脈絡拆分

本發明之實施例亦併有將脈絡拆分成各種脈絡，其中額外脈絡中之每一者對應於用於基礎工具之不同使用案例情境。為此規範之一實施例可如下。原始或習知工具啟用旗標由單個脈絡模型化。根據實施例，本發明方法實際上使用三個脈絡，其中選擇索引例如由區塊區域之經量化版本控制。此處，選擇索引可能如下經指派： 0 | (block_area ＞= max_block_area/4)， SelectionIndex = 1 | (block_area ＞= max_block_area/16)且(block_area ＜ max_block_area/4)， 2 |否則。

根據其他實施例，本發明方法使用四個脈絡或脈絡模型，以用於表示通用視訊寫碼VVC標準之仿射線性經加權框內預測LWIP或基於矩陣之框內預測MIP的語法元素intra_mip_flag之二進位化。選擇索引受當前區塊之縱橫比(寬度/高度或高度/寬度)控制： 0 |另外， 1 |另外， SelectionIndex = 2 |另外， 3 |若當前區塊之縱橫比大於2

圖1說明根據本發明之實施例之用於對影像或視訊資料進行編碼之設備100。該設備100包括編碼器102。編碼器102接收影像或視訊資料104並且對經接收影像或視訊資料104進行編碼以便提供表示經編碼影像或視訊資料之位元串流106。編碼器102包括CABAC編碼器108。CABAC編碼器108接收與待編碼之影像或視訊資料之某一資料區塊相關聯的二進位值語法元素110，且使用選定的脈絡模型將二進位值語法元素編碼成用於位元串流之經寫碼位元112。二進位值語法元素包括工具旗標，其指示當對影像或視訊資料進行編碼時是否採用某一寫碼工具。針對某些資料區塊之一或多個第一部分選擇用於對工具旗標進行編碼之第一脈絡模型之群組，該寫碼工具獨立於應用一直適用於資料區塊之一或多個第一部分。針對某些資料區塊之一或多個第二部分選擇用於對工具旗標進行編碼之第二脈絡模型之群組，該寫碼工具取決於應用適用或不適用於資料區塊之一或多個第二部分。根據實施例，亦如下文所描述，CABAC編碼器108回應於選擇索引而選擇用於某些資料區塊之當前經處理部分之第一脈絡模型或第二脈絡模型。選擇索引具有指示某些資料區塊之當前處理的部分係第一部分之第一值，且選擇索引具有指示某些資料區塊之當前處理的部分係第二部分之第二值。

圖2說明根據本發明之實施例之用於對經編碼影像或視訊資料進行解碼之設備200。該設備200包括解碼器202。解碼器202接收位元串流106，如由圖1中之編碼器102提供之位元串流。位元串流106包括經編碼影像或視訊資料，且解碼器202自經接收位元串流對經編碼影像或視訊資料進行解碼，且提供經解碼影像或視訊資料204。解碼器包括CABAC解碼器206，其使用選定的脈絡模型自位元串流106對與經編碼影像或視訊資料之某一資料區塊相關聯之二進位值語法元素110進行解碼。二進位值語法元素包括工具旗標，其指示當對影像或視訊資料進行編碼時是否採用某一寫碼工具。針對某些資料區塊之部分選擇用於對工具旗標進行解碼之第一脈絡模型之群組，該寫碼工具獨立於應用一直適用於該資料區塊之該等部分，且針對某些資料區塊之部分選擇用於對工具旗標進行解碼之第二脈絡模型之群組，該寫碼工具取決於應用適用或不適用於該資料區塊之該等部分。根據實施例，亦如下文所描述，CABAC解碼器206回應於選擇索引而選擇用於某些資料區塊之當前經處理部分之第一脈絡模型或第二脈絡模型。選擇索引具有指示某些資料區塊之當前處理的部分係第一部分之第一值，且選擇索引具有指示某些資料區塊之當前處理的部分係第二部分之第二值。

根據實施例，第一脈絡模型之群組包括一個第一脈絡模型或各種第一脈絡模型，且第二脈絡模型之群組包括一個第二脈絡模型或各種第二脈絡模型。與原始脈絡編索引之組合

如之前所提及，在許多狀況中，當二進位決策有可能具有可自相鄰鄰域中已經解碼之符號預測之不同機率時，工具啟用標記由多於一個脈絡模型模型化。本發明方法亦可作為此熵驅動脈絡選擇及本發明的選擇索引之一組合來應用。由於原始熵驅動脈絡編索引亦可能在分離之後亦為合適的，因此用於此組合之動機係明顯的。

用於工具旗標之脈絡模型係由熵驅動脈絡選擇及本發明的方法選擇之一實施例係如下。 0 | 工具既不用於當前區塊上方之區塊中亦不用於當前區塊左邊之區塊中 EntropyIndex = 1 |工具僅用於當前區塊上方或左邊之區塊中之一者中 2 |工具用於當前區塊上方之區塊中以及用於當前區塊左邊之區塊中 SelectionIndex = 0 | (block_area ＞= max_block_area/16)， 1 |另外 CombinedIndex = EntropyIndex + 3 * SelectionIndex。

因此，在此實施例中，僅熵驅動脈絡選擇將產生用於給定工具旗標之三個可能的脈絡模型，而其與本發明的脈絡模型選擇之組合會產生由索引CombinedIndex編索引之六個可能的脈絡模型。旁路模式寫碼啟用旗標之替代

本發明方法亦適用於最初使用旁路模式寫碼之旗標。在此狀況中，需要任一個或二個額外脈絡模型來實現使用案例驅動實施。若僅使用一個額外脈絡模型，則選擇索引在使用旁路模式以用於對狀況之不受影響的部分進行寫碼與對所有其他狀況之一個脈絡模型進行寫碼之間進行區分，其中現可接通及關閉該工具。

在使用二個脈絡模型之狀況中，旁路模式完全由經模型化算術寫碼替代，且選擇索引將在二個脈絡模型之間進行區分。應提及，在即將發佈的VVC標準中之經改良更新技術之情況下，模型化狀況之不可切換部分之一個脈絡可以小更新強度來更新以達成准固定模型。

亦應提及，模型化狀況之可切換部分之額外模型將當然與極強力的更新強度一起使用以達成脈絡模型針對工具開啟或工具關閉機率之快速自適應。在參數集中發信號通知啟用部分工具之替代方式

前述部分工具啟用行為亦可在參數集中發信號通知，該參數集在位元串流中針對一個或若干個圖框之每一預定部分，例如針對每一截塊，發信號通知。在此狀況下，將不需要脈絡分離，因為來自參數集之經傳輸旗標將含有所有必要資訊。然而，相比於使用案例驅動脈絡模型選擇，此種類型之發信號通知的缺點在於在前一狀況中，遍及參數集所應用於之視訊序列之整個部分，針對對應於應用情境之該狀況可完全啟用或停用工具，而在後一狀況中，亦可在不需要為預定或為解碼器已知的視訊序列之任何可變部分內停用該工具。原因在於，在後一狀況中，若用於工具旗標之特殊脈絡模型經指派給其中對於特定應用情境特殊脈絡模型對於停用工具有時係可行的所有狀況，則自依序編碼中之任何地方開始，對應於特定應用情境之編碼器可永不針對對應的狀況測試工具，直至依序編碼中之靈活點為止，該靈活點相比於針對對應於視訊序列之此特定部分中之應用情境之所有狀況完全禁用工具之情形，僅具有少量的發信開銷。具有任意寫碼工具之應用

本發明的脈絡拆分可應用於受啟用旗標控制之任何寫碼工具。出現在未來VVC標準中之可與本發明方法一起使用之當前候選工具如下列出。然而，本發明方法的應用不限於此等工具。候選工具為DMVR、OBMC、BIO、FRUC、LIC、ISP、ALF、SAO、框間或框內MTS、65角度框內模式、MRL，以及如QTBT、MTT或QTBT+TT之劃分工具。

本發明方法亦可適用於具有由索引值表示之不同組配之工具。此處，本發明的CC指派將由以下事實判定：在一些應用情境中，僅工具之所有組配之一子集對於特定狀況或一般而言為可行的。本發明的CC指派將藉由將額外的CC指派至其中工具對於一情境不可行的組配來考慮此等不同應用情境。用於本發明的此態樣之一實施例將為將n個變換中之一者應用於預測殘差的反變換之工具，其中變換之索引在位元串流中傳輸。

運用就緒的本發明的方法，許多工具可僅在特定情況下具備一些脈絡拆分啟用工具。此處，根據本發明之脈絡拆分係根據特定狀況，在該等特定狀況下，特定工具在某些應用情境中可能不可行。此等特定狀況取決於工具的主要屬性。可根據特定情形加以評估或組合之不限於本發明之使用案例之一系列屬性係：區塊大小，區塊形狀，區塊縱橫比，時間位準，QP，圖像類型，圖像解析度，圖像的動態範圍，參考圖像，GOP的前導圖像。

特定情形亦可為彼等前述屬性之一組合。脈絡指派之本發明方法的應用之實施例

仿射線性經加權框內預測(LWIP)[4]為新的框內預測技術。如習知的框內預測，LWIP由一組預測模式組成。給定左邊及以上經重建構(參考)樣本，發信號通知之預測模式中之每一者對應於產生不同預測信號之預測功能。

在習知模式及LWIP模式可用的情況下，編碼器比較習知模式及LWIP模式之速率失真成本並且決定使用具有最低總成本之模式。選定的預測模式接著在位元串流中發送至解碼器，且其用於選擇對應的功能以用於預測區塊。用信號通知預測模式具有以下語法：第一，發送指示是運用習知模式抑或LWIP模式預測區塊之旗標。若選擇習知預測，則根據框內預測信令自位元串流讀取習知預測模式。否則，若選擇LWIP預測，則旗標之後為在可用的LWIP模式之集合內發送模式索引。由於習知模式及LWIP模式二者均可用於通常由用於框內預測之編解碼器支援之所有區塊大小，因此必須為每一區塊發送旗標。

VVC寫碼標準當前支援用於在範圍

內之明度區塊大小之框內預測。明顯地，具有位元率-失真最佳化(RDO)之編碼器搜尋可變得極複雜，因為會針對所有不同預測模式評估所有不同區塊大小(產生於將較大區塊拆分成較小區塊)之速率失真成本。為了降低編碼器複雜性，最佳化通常減少經測試之組合之數目，從而排除在統計學上不太可能產生最低速率失真成本之狀況。

LWIP之核心預測僅支援具有

之方形區塊。為了針對所有其他區塊大小啟用LWIP預測，該等參考樣本經降低取樣以匹配核心預測大小且輸出經增加取樣以匹配區塊大小。此具有針對具有用於水平方向及豎直方向之高度不相等降低取樣及增加取樣比率之區塊形狀降低預測品質之效應。此意謂，對於具有大於2之縱橫比(亦即

或

)之區塊，LWIP模式不大可能產生比習知預測模式低的速率失真成本。

此效應可用於藉由將LWIP模式限定至具有小於或等於2之縱橫比之區塊而不測試用於具有較高縱橫比之區塊之LWIP模式來降低編碼器複雜性。然而，此亦產生略微較低的寫碼效率。不發送用於具有大於2之縱橫比之區塊的旗標將降低寫碼效率的損失，但亦使得不可能藉由測試用於具有大於2之縱橫比之區塊的LWIP模式來實現達成較佳總寫碼效率之編碼器，此可為不同應用所需要。

支援快速及高度壓縮高效編碼器二者之解決方案係引入個別、額外的CABAC脈絡以用於發送用於具有大於2之縱橫比之區塊的旗標。現在，若不在用於彼等區塊之編碼器處測試LWIP模式，則旗標一直為0 (=區塊不運用LWIP模式來預測)且發送旗標幾乎不會帶來開銷(僅用於使脈絡適應於用於發送1之零機率)，此意味著寫碼效率極接近不發送用於彼等區塊之旗標之解決方案。若在用於彼等區塊之編碼器處測試LWIP區塊，則旗標為1 (=區塊運用LWIP模式進行預測)且具有一定機率，並且發送旗標幾乎不會帶來開銷，此意味著寫碼效率極接近發送對於所有區塊大小具有相同脈絡之旗標之解決方案。

換言之，如上文所提及，根據實施例，本發明方法使用四個脈絡或脈絡模型，以用於表示通用視訊寫碼VVC標準之仿射線性經加權框內預測LWIP或基於矩陣之框內預測MIP的語法元素intra_mip_flag之二進位化。選擇索引受當前區塊之縱橫比(寬度/高度或高度/寬度)控制： 0 |另外， 1 |另外， SelectionIndex = 2 |另外， 3 |若當前區塊之縱橫比大於2

圖3說明根據本發明之實施例之用於對影像或視訊資料進行編碼之設備，例如，類似於圖1的設備之設備，其引入個別、額外的CABAC脈絡以用於發送用於具有大於2之縱橫比之區塊的旗標。編碼器102接收影像或視訊資料104並且對經接收影像或視訊資料104進行編碼以便提供表示經編碼影像或視訊資料之位元串流106。CABAC編碼器108接收工具旗標110，其指示當對影像或視訊資料之區塊進行編碼時，是否採用某一寫碼工具，如仿射線性經加權框內預測LWIP。仿射線性經加權框內預測LWIP亦稱為通用視訊寫碼VVC標準中之基於矩陣之框內預測MIP，且工具旗標亦稱為intra_mip_flag，其指示VVC標準之仿射LWIP或MIP的適用性。對於具有大於2之縱橫比且某一寫碼工具所適用於之影像或視訊資料的區塊300，用於對工具旗標進行編碼之第一脈絡模型係選自一或多個第一脈絡模型之群組並經提供至CABAC 108。對於具有小於或等於2之縱橫比且某一寫碼工具所適用於之影像或視訊資料之區塊302，用於對工具旗標進行編碼之第二脈絡模型係選自一或多個第二脈絡模型之群組並且經提供至CABAC 108。舉例而言，若不針對具有大於2之縱橫比之區塊300測試LWIP模式，則該旗標一直為0且額外CABAC脈絡適應於用於發送1之零機率，而若針對具有大於2之縱橫比之區塊300測試LWIP模式，則該旗標為1且具有某一機率。根據實施例，CABAC編碼器108可回應於選擇索引而選擇用於當前經處理區塊之第一脈絡模型及第二脈絡模型。選擇索引指示當前經處理區塊具有大於2之縱橫比或具有小於或等於2之縱橫比。

圖4說明根據本發明之實施例用於對影像或視訊資料進行解碼之設備，例如類似於圖2的設備之設備100，其引入用於具有大於2之縱橫比之區塊且使用圖3的設備編碼之旗標的個別、額外的CABAC脈絡。對於具有大於2之縱橫比且某一寫碼工具所適用於之影像或視訊資料的區塊300，用於對工具旗標進行編碼之第一脈絡模型係選自一或多個第一脈絡模型之群組並經提供至CABAC 206。對於具有小於或等於2之縱橫比且某一寫碼工具所適用於之影像或視訊資料之區塊302，用於對工具旗標進行編碼之第二脈絡模型係選自一或多個第二脈絡模型之群組並且經提供至CABAC 206。

舉例而言，語法元素intra_mip_flag之二進位化可採用總共四個脈絡模型，其具有如下之脈絡索引{0, 1, 2, 3}：若當前區塊之縱橫比(寬度/高度或高度/寬度)大於2，則使用具有索引3之脈絡模型，否則使用脈絡模型0、1、2中之一者，其中該選擇可取決於當前區塊左邊及上方之區塊的intra_mip_flag，如例如已知並且用於若干其他語法元素。

在VVC規範中，寫碼單元語法可如下(參見例如[5]之7.3.10.5-寫碼單元語法)：

…
if( sps_mip_enabled_flag )
intra_mip_flag [ x0 ][ y0 ]	ae(v)
if( intra_mip_flag[ x0 ][ y0 ] ) {
intra_mip_transposed [ x0 ][ y0 ]	ae(v)
intra_mip_mode [ x0 ][ y0 ]	ae(v)
} else
…

intra_mip_flag[ x0 ][ y0 ]等於1規定用於明度樣本之框內預測類型係基於矩陣之框內預測。intra_mip_flag[ x0 ][ y0 ]等於0規定用於明度樣本之框內預測類型並非基於矩陣之框內預測(參見例如[5]之7.4.11.5-寫碼單元語義)。

語法元素intra_mip_flag之二進位化可如下(參見例如[5]之9.3.4.2-用於ctxTable、ctxIdx及bypassFlag之導出程序)：

語法元素	binIdx
0	1	2	3	4	＞= 5
…
intra_mip_flag[ ][ ]	(Abs( Log2(cbWidth) − Log2(cbHeight) ) ＞ 1) ? 3 : ( 0,1,2 (條款9.3.4.2.2) )	無	無	無	無	無

雖然已在設備之脈絡下來描述所描述之概念之一些態樣，但明顯地，此等態樣亦表示對應的方法之描述，其中一區塊或裝置對應於一方法步驟或一方法步驟之一特徵。類似地，方法步驟之脈絡中所描述的態樣亦表示對應設備之對應區塊或項目或特徵的描述。

本發明之各種元件及特徵可使用類比及/或數位電路以硬體實施，經由指令藉由一或多個通用或專用處理器的執行以軟體實施，或作為硬體與軟體之組合來實施。舉例而言，本發明之實施例可在電腦系統或另一處理系統之環境中實施。圖5說明電腦系統400之實例。單元或模組以及由此等單元執行之方法的步驟可在一或多個電腦系統400上執行。電腦系統400包括一或多個處理器402，如專用或通用數位信號處理器。處理器402連接至通訊基礎架構404，如匯流排或網路。電腦系統400包括主記憶體406，例如隨機存取記憶體(RAM)，及輔助記憶體408，例如硬碟機及/或抽取式儲存驅動機。輔助記憶體408可允許電腦程式或其他指令載入至電腦系統400中。電腦系統400可進一步包括通訊介面410以允許軟體及資料在電腦系統400與外部裝置之間傳送。通訊可呈能夠由通訊介面操控的電子、電磁、光學或其他信號之形式。通訊可使用導線或纜線、光纖、電話線、蜂巢式電話鏈路、RF鏈路及其他通訊通道412。

術語「電腦程式媒體」及「電腦可讀媒體」用以通常指有形儲存媒體，諸如抽取式儲存單元或安裝於硬碟機中的硬碟。此等電腦程式產品為向電腦系統400提供軟體之構件。電腦程式，亦被稱作電腦控制邏輯，儲存於主記憶體406及/或輔助記憶體408中。電腦程式亦可經由通訊介面410接收。電腦程式在經執行時使電腦系統400能夠實施本發明。詳言之，電腦程式在經執行時使處理器402能夠實施本發明之程序，諸如本文中所描述之方法中之任一者。因此，此類電腦程式可表示電腦系統400之控制器。在使用軟體實施本揭露內容之情況下，軟體可儲存於電腦程式產品中且使用抽取式儲存驅動機、介面(如通訊介面410)載入至電腦系統400中。

以硬體或以軟體之實施可使用上面儲存有電子可讀控制信號的數位儲存媒體進行，例如使用雲端儲存器、軟碟、DVD、Blue-Ray、CD、ROM、PROM、EPROM、EEPROM或FLASH記憶體進行，該等電子可讀控制信號與可規劃電腦系統協作(或能夠與可規劃電腦系統協作)，使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。

根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，該等電子可讀控制信號能夠與可規劃電腦系統協作，使得執行本文中所描述之方法中之一者。

通常，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品於電腦上運行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。

其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中的一者的電腦程式。換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式於電腦上運行時執行本文中所描述之方法中之一者的程式碼。

因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，該資料載體包含記錄於其上的用於執行本文中所描述之方法中的一者的電腦程式。因此，本發明方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通訊連接(例如，經由網際網路)而傳送。另一實施例包含經組配以或經調適以執行本文中所描述之方法中之一者的處理構件，例如電腦或可規劃邏輯裝置。另一實施例包含電腦，該電腦具有安裝於其上之用於執行本文中所描述之方法中之一者的電腦程式。

在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，該等方法較佳由任何硬體設備執行。

上文所描述之實施例僅僅說明本發明之原理。應理解，熟習此項技術者將顯而易見對本文中所描述之配置及細節的修改及變化。因此，意圖為僅受到接下來之申請專利範圍之範疇限制，而不受到藉助於本文中之實施例之描述及解釋所呈現的特定細節限制。參考文獻 [1] ISO/IEC, ITU-T. High efficiency video coding. ITU-T Recommendation H.265 | ISO/IEC 23008 10 (HEVC), edition 1, 2013; edition 2, 2014. [2] JEM reference software, https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/. [3]B. Bross, J. Chen, Shan Liu, “ Versatile Video Coding (Draft 4) ” , JVET-M1001-v5, February 2019, Marrakesh, Morocco [4] J. Pfaff, B. Stallenberger, M. Schäfer, P. Merkle, P. Helle, R. Rische, H. Schwarz, D. Marpe, T. Wiegand, “ Affine Linear Weighted Intra Prediction ” , JVET-M0043, February 2019, Marrakesh, Morocco [5]B. Bross, J. Chen, Shan Liu, “ Versatile Video Coding (Draft 8) ” , JVET-Q2001-vD, February 2020, Brussels, Belgium

100,200:設備 102:編碼器 104:影像或視訊資料 106:位元串流 108:CABAC編碼器 110:二進位值語法元素 112:經寫碼位元 202:解碼器 204:經解碼影像或視訊資料 206:CABAC解碼器 300,302:區塊 400:電腦系統 402:處理器 404:通訊基礎架構 406:主記憶體 408:輔助記憶體 410:通訊介面 412:其他通訊通道

參考附圖進一步詳細描述本發明之實施例，其中：圖1說明根據本發明之實施例之用於對影像或視訊資料進行編碼之設備；圖2說明根據本發明之實施例之用於對經編碼影像或視訊資料進行解碼之設備；圖3說明根據本發明之實施例之用於對影像或視訊資料進行編碼之設備，該影像或視訊資料引入用於發送縱橫比大於2之區塊之旗標的個別、額外CABAC脈絡；圖4說明根據本發明之實施例之用於對影像或視訊資料進行解碼之設備，其引入用於縱橫比大於2之區塊且使用圖3的設備進行編碼之旗標之個別、額外CABAC脈絡；且圖5說明單元或模組以及根據本發明之方法描述的該等方法之步驟可執行所在的電腦系統之實例。

100:設備

102:編碼器

104:影像或視訊資料

106:位元串流

108:CABAC編碼器

110:二進位值語法元素

112:經寫碼位元

300,302:區塊

Claims

一種設備，其包含：一編碼器，該編碼器接收影像或視訊資料，對經接收影像或視訊資料進行編碼且提供表示該影像或視訊資料之一位元串流，該編碼器包括一CABAC編碼器，該CABAC編碼器接收與待編碼之該影像或視訊資料之一區塊相關聯之一二進位值語法元素，並且使用一選定脈絡模型將該二進位值語法元素編碼成用於該位元串流之經寫碼位元，其中該二進位值語法元素包括一工具旗標，其指示當對該影像或視訊資料之一區塊進行編碼時是否採用如一線性經加權框內預測LWIP之某一寫碼工具，其中，對於具有大於2之一縱橫比並且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行編碼之一第一脈絡模型係選自一或多個第一脈絡模型中之一群組，其中，對於具有小於或等於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行編碼之一第二脈絡模型係選自一或多個第二脈絡模型中之一群組。
如請求項1之設備，其中該寫碼工具為一線性經加權框內預測(LWIP)，且該第一脈絡模型包括用於發送用於具有大於2之一縱橫比之該影像或視訊資料之一區塊的該工具旗標之一CABAC脈絡，其中若不針對具有大於2之一縱橫比之該區塊測試LWIP模式，則該旗標一直為0且額外CABAC脈絡適應於用於發送一1之一零機率，且若針對具有大於2之一縱橫比之該區塊測試LWIP模式，則該旗標為1且具有一某一機率。
如請求項1或2之設備，其中該CABAC編碼器將回應於一選擇索引而選擇用於一當前經處理區塊之該第一脈絡模型及該第二脈絡模型，該選擇索引指示一當前經處理區塊具有大於2之一縱橫比或具有小於或等於2之一縱橫比。
一種設備，其包含：一解碼器，該解碼器接收包括經編碼影像或視訊資料之一位元串流，自經接收位元串流對該經編碼影像或視訊資料進行解碼且提供經解碼影像或視訊資料，該解碼器包括一CABAC解碼器，該CABAC解碼器使用一選定脈絡模型自該位元串流對與該經編碼影像或視訊資料之一區塊相關聯之一二進位值語法元素進行解碼，其中該二進位值語法元素包括一工具旗標，其指示當對該影像或視訊資料之一區塊進行編碼時是否採用如一線性經加權框內預測(LWIP)之一某一寫碼工具，其中，對於具有大於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行解碼之一第一脈絡模型係選自一或多個第一脈絡模型中之一群組，其中，對於具有小於或等於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行解碼之一第二脈絡模型係選自一或多個第二脈絡模型中之一群組。
一種用於對影像或視訊資料進行編碼之方法，該方法包含：接收影像或視訊資料，對經接收影像或視訊資料進行編碼，及提供表示該影像或視訊資料之一位元串流，其中對經接收影像或視訊資料進行編碼包含：使用一CABAC編碼器接收與待編碼之該影像或視訊資料之一區塊相關聯之一二進位值語法元素，及使用一選定脈絡模型將該二進位值語法元素編碼成用於該位元串流之經寫碼位元，其中該二進位值語法元素包括一工具旗標，其指示當對該影像或視訊資料之一區塊進行編碼時是否採用如一線性經加權框內預測(LWIP)之某一寫碼工具，其中，對於具有大於2之一縱橫比並且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行編碼之一第一脈絡模型係選自一或多個第一脈絡模型中之一群組，其中，對於具有小於或等於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行編碼之一第二脈絡模型係選自一或多個第二脈絡模型中之一群組。
一種用於對影像或視訊資料進行解碼之方法，該方法包含：接收包括經編碼影像或視訊資料之一位元串流，自經接收位元串流對該經編碼影像或視訊資料進行解碼，及提供經解碼影像或視訊資料，其中對經接收影像或視訊資料進行解碼包含使用一CABAC解碼器及一選定脈絡模型自該位元串流對與該經編碼影像或視訊資料之一區塊相關聯之一二進位值語法元素進行解碼，其中該二進位值語法元素包括一工具旗標，其指示當對該影像或視訊資料之一區塊進行編碼時是否採用如一線性經加權框內預測(LWIP)之一某一寫碼工具，其中，對於具有大於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行解碼之一第一脈絡模型係選自一或多個第一脈絡模型中之一群組，其中，對於具有小於或等於2之一縱橫比且該某一寫碼工具所適用於之該影像或視訊資料之一區塊，用於對該工具旗標進行解碼之一第二脈絡模型係選自一或多個第二脈絡模型中之一群組。
一種電腦程式產品，其包含指令，當藉由一電腦執行程式時，該等指令使該電腦實行如請求項5至6中任一項之方法。
一種設備，其包含：一編碼器，該編碼器接收影像或視訊資料以對經接收影像或視訊資料進行編碼且提供表示該影像或視訊資料之一位元串流，該編碼器包括一CABAC編碼器，該CABAC編碼器接收與待編碼之該影像或視訊資料之一某一資料區塊相關聯之一二進位值語法元素，使用一選定脈絡模型將該二進位值語法元素編碼成用於該位元串流之經寫碼位元，其中該二進位值語法元素包括一工具旗標，其指示當對該影像或視訊資料進行編碼時是否採用一某一寫碼工具，其中針對該某一資料區塊之一或多個第一部分選擇用於對該工具旗標進行編碼之第一脈絡模型之一群組，該寫碼工具獨立於一應用一直適用於該一或多個第一部分，其中針對該某一資料區塊之一或多個第二部分選擇用於對該工具旗標進行編碼之第二脈絡模型之一群組，該寫碼工具取決於該應用適用或不適用於該一或多個第二部分。
如請求項8之設備，其中該CABAC編碼器回應於一選擇索引而選擇用於該某一資料區塊之一當前經處理部分之該第一脈絡模型或該第二脈絡模型，該選擇索引具有指示該某一資料區塊之該當前經處理部分為該第一部分之一第一值，且該選擇索引具有指示該某一資料區塊之該當前經處理部分為該第二部分之一第二值。
一種設備，其包含：一解碼器，該解碼器接收包括經編碼影像或視訊資料之一位元串流，自經接收位元串流對該經編碼影像或視訊資料進行解碼且提供經解碼影像或視訊資料，該解碼器包括一CABAC解碼器，該CABAC解碼器使用一選定脈絡模型自該位元串流對與該經編碼影像或視訊資料之一某一資料區塊相關聯之一二進位值語法元素進行解碼，其中該二進位值語法元素包括一工具旗標，其指示當對該影像或視訊資料進行編碼時是否採用一某一寫碼工具，其中針對該某一資料區塊之部分選擇用於對該工具旗標進行解碼之第一脈絡模型之一群組，該寫碼工具獨立於一應用一直適用於該等部分，其中針對該某一資料區塊之部分選擇用於對該工具旗標進行解碼之第二脈絡模型之一群組，該寫碼工具取決於一應用適用或不適用於該等部分。
如請求項10之設備，其中該CABAC解碼器回應於一選擇索引而選擇用於該某一資料區塊之一當前經處理部分之該第一脈絡模型或該第二脈絡模型，該選擇索引具有指示該某一資料區塊之該當前經處理部分為該第一部分之一第一值，且該選擇索引具有指示該某一資料區塊之該當前經處理部分為該第二部分之一第二值。
如請求項8至11中任一項之設備，其中第一脈絡模型之該群組包括一個第一脈絡模型或多種第一脈絡模型，且其中第二脈絡模型之該群組包括一個第二脈絡模型或多種第二脈絡模型。