TW202349960A - 用於影像編碼系統中的熵編碼分區劃分決策的方法和裝置 - Google Patents

Abstract

一種利用由高級語法指示的初始上下文模型概率值或者利用對於不同的上下文模型來對塊分區進行熵編碼的方法。對於一種方法，使用包括根據當前圖片的影像內容類型得出的一個或多個初始上下文模型概率值的上下文建模來向經編碼位元應用熵編碼，以恢復分區樹資訊。對於另一方法，通過使用一個或多個上下文模型向經編碼位元應用熵編碼，以恢復與分區樹相關的第一資訊，並且該上下文模型對於被應用於非方形塊的HVT（水平二叉樹）和VBT（垂直二叉樹）是不同的。

Description

用於影像編碼系統中的熵編碼分區劃分決策的方法和裝置

本發明涉及影像編碼系統。特別地，本發明涉及在影像編碼系統中使用一個或多個上下文模型（context model）來對塊進行分區（partitioning block）。

多功能影像編碼（Versatile video coding，VVC）是由ITU-T影像編碼專家組（Video Coding Experts Group，VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，MPEG）的聯合影像專家團隊（Joint Video Experts Team，JVET）開發的最新國際影像編碼標準。該標準已作為ISO標準發佈：ISO/IEC 23090-3:2021, Information technology - Coded representation of immersive media - Part 3: Versatile video coding，2021年2月發佈。VVC是基於其前身HEVC（高效率影像編碼，High Efficiency Video Coding）通過添加更多編碼工具來開發的，以提高編碼效率並且還處理包括三維（3-dimensional，3D）視訊訊號的各種類型的影像源。

第1A圖例示了併入環路處理的示例性自我調整幀間/幀內（Inter/Intra）影像編碼系統。對於幀內預測，預測資料是基於當前圖片中的先前編碼的影像資料得出的。對於幀間預測112，在編碼器側執行運動估計（Motion Estimation，ME），並且基於ME的結果來執行運動補償（Motion Compensation，MC），以提供根據其它圖片和運動資料得出的預測資料。開關114選擇幀內預測110或幀間預測112，並且將所選擇的預測資料供應給加法器116以形成預測誤差（也被稱為殘差）。然後，該預測誤差通過變換（Transform，T）118、隨後是量化（Quantization，Q）120來進行處理。然後，經變換和經量化的殘差由熵編碼器122進行編碼，從而被包括在對應於經壓縮的影像資料的影像位元流中。然後，將與變換係數相關聯的位元流與輔助資訊（side information）（諸如與幀內預測和幀間預測相關聯的運動和編碼模式）和其它資訊（諸如與被應用於基礎圖像區域的環路濾波器相關聯的參數）一起打包。將與幀內預測110、幀間預測112以及環路內濾波器（in-loop filter）130相關聯的輔助資訊提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。從而，通過逆量化（Inverse Quantization，IQ）124和逆變換（Inverse Transformation，IT）126來處理經變換和經量化的殘差，以恢復該殘差。然後，在重建（Reconstruction，REC）128處將殘差添加回至預測資料136，以重建影像資料。可以將經重建的影像資料存儲在參考圖片緩衝器134中並用於其它幀的預測。

如第1A圖所示，輸入影像資料在編碼系統中經歷一系列處理。來自REC 128的經重建的影像資料可能經受因一系列處理而造成的各種損害。因此，在將經重建的影像資料存儲在參考圖片緩衝器134中之前，通常將環路內濾波器130應用于該經重建的影像資料，以便改善影像品質。例如，可以使用去塊濾波器（deblocking filter，DF）、樣本自我調整偏移（Sample Adaptive Offset，SAO）以及自我調整環路濾波器（Adaptive Loop Filter，ALF）。環路濾波器資訊可能需要併入位元流中，以使解碼器可以適當地恢復所需資訊。因此，還將環路濾波器資訊提供給熵編碼器122以併入位元流中。在第1A圖中，在將經重建的樣本存儲在參考圖片緩衝器134中之前，將環路濾波器130應用于經重建的影像。第1A圖中的系統旨在例示典型視訊轉碼器的示例性結構。該系統可以對應於高效率影像編碼（HEVC）系統VP8、VP9、H.264或VVC。

如第1B圖所示，解碼器可以使用編碼器除了變換118和量化120外的其它相似功能塊或者相同功能塊的部分，這是因為解碼器只需要逆量化124和逆變換126。代替熵編碼器122，解碼器使用熵解碼器140來將影像位元流解碼成經量化的變換係數和所需的編碼資訊（例如，ILPF資訊、幀內預測資訊以及幀間預測資訊）。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收到的幀內預測資訊來生成幀內預測。而且，對於幀間預測，解碼器僅需要根據從熵解碼器140接收到的幀間預測資訊來執行運動補償（MC 152），而無需運動估計。

在本發明中，公開了用於改進分區資訊的熵編碼的方法和裝置。

公開了對分區資訊進行熵編碼的方法。根據一種方法，接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待編碼的與當前圖片區域相關聯的圖元資料。根據分區樹來將當前圖片區域分區成一個或多個塊。通過使用上下文建模（context formation）來向與分區樹相關的第一資訊應用熵編碼，以生成一個或多個經編碼位元，其中，該上下文建模包括根據當前圖片的影像內容類別型得出的一個或多個初始上下文模型概率值。在位元流中用信號傳遞該一個或多個經編碼位元。

還公開了對應的解碼方法。接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待解碼的與當前圖片區域相關聯的經編碼資料。從位元流中解析一個或多個高級語法。通過使用上下文建模來向該一個或多個經編碼位元應用熵解碼，以恢復與分區樹相關的第一資訊，其中，該上下文建模包括如由該一個或多個高級語法指示的一個或多個初始上下文模型概率值。然後，根據分區樹來將當前圖片區域分區成一個或多個塊，以用於解碼該一個或多個塊。

在一個實施方式中，第一資訊包括一個或多個CU（編碼單元）劃分標誌。在另一實施方式中，第一資訊包括除該一個或多個CU劃分標誌以外的CU劃分決策。

在一個實施方式中，該一個或多個初始上下文模型概率值是根據影像內容類別型得出的。在一個實施方式中，影像內容類別型屬於包括螢幕影像內容、輸入影像的活動水平或其組合的組。而且，該一個或多個高級語法可以從SPS（序列參數集）、PPS（圖片參數集）、PH（圖片頭）、SH（切片頭）或其組合中用信號傳遞或進行解析。

在一個實施方式中，是否允許該一個或多個初始上下文模型概率值是通過從位元流中用信號傳遞或解析的一個或多個高級語法來控制的。例如，該一個或多個高級語法可以以圖片級、切片級、圖塊（tile）級、CTU行級、CTU級、VPDU級或其組合從位元流中用信號傳遞或進行解析。

根據另一方法，在編碼器側，通過使用一個或多個上下文模型來向與分區樹相關的第一資訊應用熵編碼，以生成一個或多個經編碼位元，其中，該一個或多個上下文模型對於被應用於非方形塊的HBT（水平二叉樹，Horizontal Binary Tree）和VBT（垂直二叉樹，Vertical Binary Tree）是不同的。在解碼器側，通過使用一個或多個上下文模型來向該一個或多個經編碼位元應用熵解碼，以恢復與分區樹相關的第一資訊，其中，該一個或多個上下文模型對於被應用於非方形塊的HBT（水平二叉樹）和VBT（垂直二叉樹）是不同的。

在一個實施方式中，對於塊高度大於塊寬度的非方形塊，使用HBT對該非方形塊進行分區比使用VBT對該非方形塊進行分區具有更高的概率。在另一實施方式中，對於塊寬度大於塊高度的非方形塊，使用VBT對該非方形塊進行分區比使用HBT對該非方形塊進行分區具有更高的概率。

在一個實施方式中，該一個或多個上下文模型還取決於非方形塊的塊形狀。在另一實施方式中，該一個或多個上下文模型還取決於與非方形塊的父節點相關的劃分資訊、塊大小、塊形狀、或其組合。

容易理解，如在本文中一般性描述的且在附圖中例示的，本發明的元件可以各種不同的配置來佈置和設計。因此，如在附圖中所示的，下面對本發明的系統和方法的實施方式的更詳細描述並非旨在對所要求保護的本發明的範圍進行限制，而只是代表本發明的選擇實施方式。

參考貫穿本說明書的“一實施例”、“一些實施例”或類似用語代表與實施例結合描述的特定特徵、結構或特性可包含於本發明的至少一個實施例。因此，貫穿本說明書多處所出現的詞彙 “在一實施例中”或“在一些實施例中”並不一定全部指的是相同的實施例，這些實施例可以獨立實施或結合一個或多個的其他實施例而實施。並且，所描述的特徵、結構或特性可以在一個或多個實施例中以任何適當方式結合。然而，相關領域的人員將明白，本發明可在缺少一個或多個特定細節或是以其他方式、元件等情況下所實施。在其他示例中，習知的結構或操作並未以細節呈現或描述，以避免模糊發明的面向。通過參照附圖將最好地理解本發明的所示實施方式，其中，通篇相同的部分由相同的元件符號指定。下面的描述僅是作為示例，並且簡單地例示了與本文所要求保護的發明相一致的裝置和方法的某些選擇的實施方式。

VVC標準併入了各種新的編碼工具，以進一步提高超過HEVC標準的編碼效率。在各種新的編碼工具當中，與本發明相關的一些編碼工具被回顧如下。

將圖片分區成 CTU

將圖片分成一系列編碼樹單元（coding tree unit，CTU）。該CTU概念與HEVC的CTU概念相同。對於具有三個樣本陣列的圖片，CTU由N×N的亮度樣本塊和兩個對應的色度樣本塊組成。第2圖示出了被分成CTU的圖片的示例。其中，粗線框210對應於圖片，並且各個小矩形（例如，框220）對應於一個CTU。

CTU中的亮度塊的最大允許大小被指定為128×128（儘管亮度變換塊的最大大小是64×64）。

將圖片分區成子圖片、切片、圖塊

將圖片分成一個或多個圖塊行以及一個或多個圖塊列。圖塊是覆蓋圖片的矩形區域的一系列CTU。

切片由整數個完整圖塊或者圖片的圖塊內的整數個連續的完整CTU行組成。

支援兩種切片模式，即，光柵掃描切片模式和矩形切片模式。在光柵掃描切片模式下，切片包含圖片的圖塊光柵掃描中的一系列完整圖塊。在矩形切片模式下，切片包含共同形成圖片的矩形區域的多個完整圖塊或者共同形成圖片的矩形區域的一個圖塊的多個連續完整CTU行。矩形切片內的圖塊是以圖塊光柵掃描次序在對應於該切片的矩形區域內進行掃描的。

子圖片包含共同覆蓋圖片的矩形區域的一個或多個切片。

第3圖示出了圖片310的光柵掃描切片分區的示例，其中，該圖片被分成12個圖塊314和3個光柵掃描切片316。每個小矩形312對應於一個CTU。

第4圖示出了圖片410的矩形掃描切片分區的示例，其中，圖片被分成24個圖塊414（6個圖塊列和4個圖塊行）和9個矩形切片416。每個小矩形412對應於一個CTU。

第5圖示出了被分區成圖塊和矩形切片的圖片510的示例，其中，圖片510被分成4個圖塊514（2個圖塊列和2個圖塊行）和4個矩形切片516。每個小矩形512對應於一個CTU。

第6圖示出了圖片610的子圖片分區的示例，其中，圖片610被分區成18個圖塊614，左手側的12個圖塊各自覆蓋一個4×4的CTU的切片，右手側的6個圖塊各自覆蓋2個垂直堆疊的2×2的CTU的切片，總共得到24個切片616，並且是24個尺寸變化的子圖片616（各個切片也是子圖片）。每個小矩形612對應於一個CTU。

使用樹結構對 CTU 進行分區

在HEVC中，通過使用被表示為編碼樹的四叉樹（quaternary-tree，QT）結構來將CTU劃分成CU以適應各種局部特性。關於使用圖片間（時間）預測還是圖片內（空間）預測來編碼圖片區域的決策是在葉CU級作出的。每個葉CU可以根據PU（預測單元，Prediction Unit）劃分類型而被進一步劃分成一個PU、兩個PU或四個PU。在一個PU內部，應用相同的預測過程，並且在PU的基礎上將相關資訊發送至解碼器。在通過基於PU劃分類型應用預測過程來獲得殘差塊之後，可以根據類似於CU的編碼樹的另一四叉樹結構來將葉CU分區成變換單元（transform unit，TU）。HEVC結構的關鍵特徵之一是，HEVC結構具有包括CU、PU、以及TU的多個分區的概念。

在VVC中，具有使用二元劃分分割（segmentation）結構和三元劃分分割結構的嵌套多類型樹的四叉樹替代了多個分區單元類型的概念，即，該四叉樹除了根據需要的、大小對於最大變換長度來說太大的CU外，去除了對CU、PU以及TU概念的區分（separation），並且支持對於CU分區形狀的更多靈活性。在編碼樹結構中，CU可以具有方形或矩形形狀。首先通過四叉樹（quaternary tree，又稱quadtree））結構來分區編碼樹單元（CTU）。然後，可以通過多類型樹結構來進一步劃分四叉樹葉節點。如第7圖所示，在多類型樹結構中存在四種劃分類型：垂直二元劃分（SPLIT_BT_VER 710）、水平二元劃分（SPLIT_BT_HOR 720）、垂直三元劃分（SPLIT_TT_VER 730）以及水平三元劃分（SPLIT_TT_HOR 740）。將多類型樹葉節點稱為編碼單元（CU），並且除非CU對於最大變換長度來說太大，否則該分割被用於預測和變換處理而無需任何進一步的分區。這意味著，在大多數情況下，CU、PU以及TU在具有嵌套多類型樹編碼塊結構的四叉樹中具有相同的塊大小。例外出現在最大支持變換長度小於CU的顏色分量的寬度或高度時。

第8圖例示了在具有嵌套多類型樹編碼樹結構的四叉樹中的分區劃分資訊的信令機制。將編碼樹單元（CTU）視為四叉樹的根，並且首先通過四叉樹結構來對編碼樹單元進行分區。然後，將每個四叉樹葉節點（當足夠大以允許它）通過多類型樹結構進一步分區。在多類型樹結構中，用信號傳遞第一標誌（mtt_split_cu_flag），以指示該節點是否被進一步分區；當節點被進一步分區時，用信號傳遞第二標誌（mtt_split_cu_vertical_flag），以指示劃分方向；然後用信號傳遞第三標誌（mtt_split_cu_binary_flag），以指示該劃分是二元劃分還是三元劃分。基於mtt_split_cu_vertical_flag的值和mtt_split_cu_binary_flag的值，得出CU的多類型樹劃分模式（MttSplitMode），如表1所示。

表 1 - 基於多類型樹語法元素的 MttSplitMode 推導結果

MttSplitMode	mtt_split_cu_vertical_flag	mtt_split_cu_binary_flag
SPLIT_TT_HOR	0	0
SPLIT_BT_HOR	0	1
SPLIT_TT_VER	1	0
SPLIT_BT_VER	1	1

第9圖示出了被分成具有四叉樹和嵌套多類型樹編碼塊結構的多個CU的CTU，其中，粗的塊邊表示四叉樹分區，而其餘邊表示多類型樹分區。具有嵌套多類型樹分區的四叉樹提供了包括CU的內容自我調整編碼樹結構。CU的大小可以與CTU一樣大，也可以與4×4（以亮度樣本為單位）一樣小。對於4:2:0色度格式的情況，最大色度CB大小是64×64，最小大小色度CB由16個色度樣本組成。

在VVC中，最大支持亮度變換大小是64×64，並且最大支持色度變換大小是32×32。當CB的寬度或高度大於最大變換寬度或高度時，CB在水平和/或垂直方向上被自動劃分以滿足該方向上的變換大小限制。

以下參數是針對具有嵌套多類型樹編碼樹方案的四叉樹通過SPS語法元素來定義和指定的。

- CTU大小：四叉樹的根節點大小

- MinQTSize：最小允許四叉樹葉節點大小

- MaxBtSize：最大允許二叉樹根節點大小

- MaxTtSize：最大允許三叉樹根節點大小

- MaxMttDepth：從四叉樹葉劃分的多類型樹的最大允許層級深度

- MinBtSize：最小允許二叉樹葉節點大小

- MinTtSize：最小允許三叉樹葉節點大小

在具有嵌套多類型樹編碼樹結構的四叉樹的一個示例中，將CTU大小設定為具有兩個對應的64×64的4:2:0色度樣本塊的128×128的亮度樣本，將MinQTSize設定為16×16，將MaxBtSize設定為128×128，並且將MaxTtSize設定為64×64，將MinBtSize和MinTtSize（對於寬度和高度兩者）設定為4×4，以及將MaxMttDepth設定為4。首先將四叉樹分區應用于CTU以生成四叉樹葉節點。該四叉樹葉節點的大小可以從16×16（即，MinQTSize）到128×128（即，CTU大小）。如果葉QT節點是128×128，它將不會通過二叉樹進一步劃分，因為該大小超過MaxBtSize和MaxTtSize（即，64×64）。否則，葉四叉樹（qdtree）節點可以通過多類型樹進一步劃分。因此，四叉樹葉節點也是多類型樹的根節點，並且它具有作為0的多類型樹深度（mttDepth）。當多類型樹深度達到MaxMttDepth（即，4）時，則不考慮進一步劃分。當多類型樹節點的寬度等於MinBtSize並且小於或等於2 * MinTtSize時，則不考慮進一步的水平劃分。類似地，當多類型樹節點的高度等於MinBtSize並且小於或等於2 * MinTtSize時，則不考慮進一步的垂直劃分。

為了允許VVC硬體解碼器中的64×64的亮度塊和32×32的色度流水線設計，當亮度編碼塊的寬度或高度大於64時，禁止TT劃分，如第10圖所示，其中，塊1000對應於128×128的亮度CU。可以使用垂直二元分區（1010）或水平二元分區（1020）來劃分CU。在將塊劃分成4個CU（每個CU大小為64×64）之後，可以使用包括TT的分區來進一步分區CU。例如，使用垂直三元劃分（1030）或水平三元劃分（1040）來分區左上64×64的CU。當色度編碼塊的寬度或高度大於32時，也禁止TT劃分。

在VVC中，編碼樹方案支援亮度和色度具有分開的塊樹結構的能力。對於P切片和B切片，一個CTU中的亮度CTB和色度CTB必須共用同一編碼樹結構。然而，對於I切片，亮度和色度可以具有分開的塊樹結構。當應用分開的塊樹模式時，將亮度CTB通過一個編碼樹結構分區成CU，而將色度CTB通過另一編碼樹結構分區成色度CU。這意味著I切片中的CU可以由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P切片或B切片中的CU總是由所有三個顏色分量的編碼塊組成，除非影像是單色的。

在下文中，公開了用於改善與編碼樹相關的編碼性能的技術。

為了實現高壓縮效率，採用基於上下文的自我調整二進位算術編碼（context-based adaptive binary arithmetic coding，CABAC）模式（或者已知為常規模式（regular mode））來對VVC中的語法元素的值進行熵編碼。第11圖例示了CABAC過程的框圖。由於CABAC引擎中的算術編碼器僅能對二進位符號值進行編碼，因此，CABAC過程需要使用二進位化器（binarizer）（1110）將語法元素的值轉換成二進位串。轉換處理通常被稱為二進位化。在編碼過程期間，從不同上下文的經編碼符號逐漸建立概率模型。上下文建模器（1120）用於建模目的。在正常的基於上下文的編碼期間，使用常規編碼引擎（1130），其對應於二進位算術編碼器。用於編碼下一個二進位符號的建模上下文的選擇可以通過經編碼資訊來確定。也可以在沒有上下文建模階段的情況下對符號進行編碼，並且假定等概率分佈（通常被稱為旁路模式）以降低複雜度。對於經旁路的符號，可以使用旁路編碼引擎（1140）。如第11圖所示，將開關（S1、S2以及S3）用於在常規CABAC模式與旁路模式之間引導資料流程。當選擇常規CABAC模式時，將開關翻轉到上部觸點。當選擇旁路模式時，將開關翻轉到下部觸點，如第11圖所示。

所提出的方法 A ：考慮參考圖片的上下文建模

在該提出的方法中，可以將參考圖片中的CU分區資訊用於在視訊轉碼器中對當前圖片的CU分區資訊進行熵編碼或熵解碼。它是通過如第12圖所例示的CU分區被預期為在時間上相鄰的幀之間非常相似的事實來推動的。如第12圖所示，當分區導致小CU時，鄰近的CU通常也是小的。另一方面，當分區導致大CU時，鄰近的CU通常也是大的。在一個實施方式中，視訊轉碼器可以通過根據參考幀中的當前編碼節點的對應區域周圍的CU分區資訊（諸如CU寬度、高度以及大小）來選擇一個或多個上下文，從而對與當前編碼樹節點的CU劃分決策（例如，VVC中的split_cu_flag）相關的語法資訊進行熵編碼或熵解碼。在另一實施方式中，視訊轉碼器可以通過根據參考圖片中的當前編碼節點的對應區域周圍的CU分區資訊（諸如CU形狀、寬度、高度以及大小）來選擇一個或多個上下文，從而對與當前編碼樹節點的CU劃分方向（例如，VVC中的mtt_split_cu_vertical_flag）相關的語法資訊進行熵編碼或熵解碼。參考圖片中的當前編碼節點的對應區域可以是具有或不具有運動補償的時間上共址的區域。

該方法是內容相關方法。因此，提出了針對不同圖片/切片/圖塊/CTU行/CTU/VPDU的這種方法的開啟/關閉。提供每圖片/切片/圖塊/CTU行/CTU/VPDU的用於開/關的控制標誌。

所提出的方法 B ：基於雙邊匹配的劃分預測

在該提出的方法中，可以將使用雙邊匹配在解碼器側得出的關於MV場的資訊（如在[VVC或JVET-Y2025（M. Coban, F. Le Léannec, J. Ström, “Algorithm description of Enhanced Compression Model 4 (ECM 4)”, Joint Video Expert Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, Doc. JVET-Y2025, 25rd Meeting, by teleconference, 12-21 January 2022）]中所指出的）用於在視訊轉碼器中對當前圖片的CU分區資訊進行熵編碼或熵解碼。在一個實施方式中，視訊轉碼器可以使用雙邊匹配來得出MV場，確定當前編碼樹節點的區域或者當前編碼樹節點的父編碼樹節點的區域內部的MV分集，以及決定上下文概率。在另一實施方式中，視訊轉碼器可以使用雙邊匹配來得出MV場，估計當前編碼樹節點是屬於背景區域還是屬於前景物件，以及給出不同的上下文概率。該操作可以在多個起始CTU上執行，因為這對於初始上下文值是有益的。在另選實施方式中，視訊轉碼器可以使用雙邊匹配來得出MV場，估計當前編碼樹節點是屬於背景區域還是屬於前景物件，以及預測CU劃分決策。該操作可以在多個起始CTU上執行，因為這對於初始上下文值是有益的。

該方法是內容相關方法。因此，提出了針對不同圖片/切片/圖塊/CTU行/CTU/VPDU的這種方法的開啟/關閉。提供每圖片/切片/圖塊/CTU行/CTU/VPDU的用於開/關的控制標誌。

所提出的方法 C ：非方形編碼樹節點的 HBT 與 VBT 之間的不同概率模型

在該提出的方法中，可以為熵編碼語法資訊分配不同的概率模型，以用於指示當前非方形編碼樹節點的劃分方向是水平還是垂直（例如，VVC中的mtt_split_cu_vertical_flag）。例如，在8×128的CU中，更高的概率可能是將其分區成8×64的CU，而不是4×128的CU。對於上下文建模，視訊轉碼器可以將HBT概率設定為高於VBT概率。另一方面，對於128×8的CU，更高的概率可能是將其分區成64×8的CU，而不是128×4的CU。另選地，視訊轉碼器可為非方形編碼樹節點指派一個或多個單獨上下文。在根據本發明的實施方式的影像編碼系統中，編碼器將對分區資訊（例如，VVC中的mtt_split_cu_vertical_flag）使用熵編碼，來生成用於分區資訊的一個或多個經編碼位元。在熵編碼過程期間，編碼器可以將HBT和VBT的概率用於上下文建模。經編碼位元將在位元流中用信號傳遞，以使解碼器可以使用該經編碼位元來恢復分區資訊。在解碼器側，將從位元流解析分區資訊的經編碼位元（例如，VVC中的mtt_split_cu_vertical_flag），並且使用熵解碼進行解碼。然後，將分區資訊用於分區當前圖片區域（例如，CTU）。

用於對當前非方形編碼樹節點的劃分決策進行熵編碼的上下文選擇可以取決於當前非方形編碼樹節點的塊形狀。上下文選擇還可以取決於關於關聯的父節點的劃分資訊，諸如父節點的劃分方向、大小和/或形狀。

所提出的方法 D ：劃分上下文初始化

在VVC中，利用固定的參數集來得出用於熵編碼的初始上下文模型概率值。在本發明所提出的方法中，可以根據影像內容自我調整地得出用於CU劃分標誌的初始上下文模型概率值以及與CU劃分決策相關的其它語法資訊。在根據本發明的實施方式的視訊轉碼器中，使用一個或多個上下文模型對一些分區資訊進行熵編碼，以生成一個或多個經編碼位元。然後在位元流中用信號傳遞該經編碼位元。對於根據本發明的熵編碼，可以根據影像內容自我調整地得出用於CU劃分標誌的初始上下文模型概率值以及與CU劃分決策相關的其它語法資訊。類似地，在使用上下文模型的熵解碼期間，可以根據影像內容自我調整地得出用於CU劃分標誌的初始上下文模型概率值以及關於CU劃分決策的其它語法資訊。在一個示例中，視訊轉碼器可以為螢幕影像內容指派不同的初始上下文模型概率值。在另一示例中，視訊轉碼器可以考慮輸入影像內容的活動水平來指派初始上下文模型概率值。用於自我調整地得出初始上下文模型的語法資訊可以在諸如序列參數集（SPS）、圖片參數集（PPS）、圖片頭（PH）、以及切片頭（SH）的一個或多個高級語法集中用信號傳遞。

該方法是內容相關方法。因此，提出了針對不同圖片/切片/圖塊/CTU行/CTU/VPDU的這種方法的開啟/關閉。提供每圖片/切片/圖塊/CTU行/CTU/VPDU的用於開/關的控制標誌。

可以在編碼器和/或解碼器中實現前述提出的用於分區樹決策的自我調整熵編碼方法中的任一方法。例如，可以可在幀內（例如，第1B圖中的幀內150）、運動補償模組（例如，第1B圖中的MC 152）、或者解碼器的熵編碼模組（例如，第1B圖中的熵解碼器140）中實現所提出的方法中的任一方法。而且，可以在幀內（例如，第1A圖中的幀內110）、編碼器的幀間編碼模組（例如，幀間預測112）、或者編碼器的熵編碼模組（例如，第1A圖中的熵編碼器122）中實現所提出的方法中的任一方法。另選地，可以將所提出的方法中的任一方法實現為被耦接至編碼器的幀間/幀內/預測/熵編碼模組和/或解碼器的幀間/幀內/預測/熵編碼模組的一個或多個電路或處理器，以便提供幀間/幀內/預測模組所需的資訊。

第13圖例示了根據本發明的實施方式的利用根據當前圖片的影像內容類別型得出的一個或多個初始上下文模型概率值來對分區資訊進行熵解碼的示例性影像解碼系統的流程圖。可以將流程圖中所示的步驟實現為可在編碼器側的一個或多個處理器（例如，一個或多個CPU）上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，該硬體例如是被佈置成執行該流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1310中，接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待解碼的與當前圖片區域相關聯的經編碼資料。在步驟1320中，從位元流中解析一個或多個經編碼位元，其中，該一個或多個經編碼位元包括與當前圖片區域的分區樹相關的第一資訊的經編碼資料。在步驟1330中，從位元流中解析一個或多個高級語法。在步驟1340中，通過使用上下文建模來向該一個或多個經編碼位元應用熵解碼，以恢復與分區樹相關的第一資訊，其中，該上下文建模包括如由該一個或多個高級語法指示的一個或多個初始上下文模型概率值。在步驟1350中，根據分區樹來將當前圖片區域分區成一個或多個塊，以用於解碼該一個或多個塊。

第14圖例示了根據本發明的實施方式的利用根據當前圖片的影像內容類別型得出的一個或多個初始上下文模型概率值來對分區資訊進行熵解碼的示例性影像解碼系統的流程圖。根據該方法，在步驟1410中，接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待編碼的與當前圖片區域相關聯的圖元資料。在步驟1420中，根據分區樹來將當前圖片區域分區成一個或多個塊。在步驟1430中，通過使用上下文建模來向與分區樹相關的第一資訊應用熵編碼，以生成一個或多個經編碼位元，其中，該上下文建模包括根據當前圖片的影像內容類別型得出的一個或多個初始上下文模型概率值。在步驟1440中，在位元流中用信號傳遞該一個或多個經編碼位元。

第15圖示出了根據本發明的實施方式的利用對於HBT和VBT不同的上下文模型來對分區資訊進行熵解碼的示例性影像解碼系統的流程圖。根據該方法，在步驟1510中，接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待解碼的與當前圖片區域相關聯的經編碼資料。在步驟1520中，從位元流中解析一個或多個經編碼位元，其中，該一個或多個經編碼位元包括與當前圖片區域的分區樹相關的第一資訊的經編碼資料。在步驟1530中，通過使用一個或多個上下文模型來向該一個或多個經編碼位元應用熵解碼，以恢復與分區樹相關的第一資訊，其中，該一個或多個上下文模型對於被應用於非方形塊的HBT（水平二叉樹）和VBT（垂直二叉樹）是不同的。在步驟1540中，根據分區樹來將當前圖片區域分區成一個或多個塊，以用於解碼該一個或多個塊。

第16圖示出了根據本發明的實施方式的利用對於HBT和VBT不同的上下文模型來對分區資訊進行熵編碼的示例性影像編碼系統的流程圖。根據該方法，在步驟1610中，接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待編碼的與當前圖片區域相關聯的圖元資料。在步驟1620中，根據分區樹來將當前圖片區域分區成一個或多個塊。在步驟1630中，通過使用一個或多個上下文模型來向與分區樹相關的第一資訊應用熵編碼，以生成一個或多個經編碼位元，其中，該一個或多個上下文模型對於被應用於非方形塊的HBT（水平二叉樹）和VBT（垂直二叉樹）是不同的。在步驟1640中，在位元流中用信號傳遞該一個或多個經編碼位元。

所示的流程圖旨在例示根據本發明的影像編碼的示例。在不脫離本發明的精神的情況下，本領域技術人員可以修改各個步驟、重新排列步驟、拆分步驟、或者組合步驟以實踐本發明。在本公開中，已經使用了特定的語法和語義來例示用於實現本發明的實施方式的示例。在不脫離本發明的精神的情況下，技術人員可以通過利用等同的語法和語義取代該語法和語義來實踐本發明。

呈現上面的描述是為了使本領域普通技術人員能夠實踐如在特定應用及其要求的背景下提供的本發明。所描述的實施方式的各種修改對於本領域技術人員是顯而易見的，並且可以將本文所定義的一般原理應用於其它實施方式。因此，本發明不旨在限於所示出和描述的特定實施方式，而是符合與本文所公開的原理和新穎特徵相一致的最廣範圍。在上面的詳細描述中，例示了各種具體的細節，以便提供對本發明的詳盡理解。儘管如此，本領域技術人員還將明白，可以對本發明進行實踐。

如上所述的本發明的實施方式可以採用各種硬體、軟體代碼或這兩者的組合來實現。例如，本發明的實施方式可以是被集成到視訊壓縮晶片中的一個或多個電路或者被集成到視訊壓縮軟體中的程式碼，以用於執行本文所描述的處理。本發明的實施方式還可以是要在數位訊號處理器（Digital Signal Processor，DSP）上執行的程式碼，以執行本文所述的處理。本發明還可以涉及要由電腦處理器、數位訊號處理器、微處理器或者現場可程式設計閘陣列（field programmable gate array，FPGA）執行的許多功能。可以將這些處理器配置成，通過執行對本發明實施的特定方法進行定義的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。可以以不同的程式設計語言和不同的格式或樣式來開發軟體代碼或固件代碼。也可以針對不同的目標平臺編譯軟體代碼。然而，用於執行根據本發明的任務的軟體代碼的不同的代碼格式、樣式和語言以及配置代碼的其它手段將不脫離本發明的精神和範圍。

本發明可以在不脫離其精神或基本特性的情況下按其它特定形式來實施。所描述的示例在所有方面僅被認為是例示性的而非限制性的。因此，本發明的範圍是通過所附權利要求而非前述描述來指示的。落入權利要求的等同物的含義和範圍內的所有改變將被涵蓋在這些權利要求的範圍內。

本領域之習知技藝者易知，可在保持本發明之教示内容之同時對裝置及方法作出諸多修改及變動。因此，以上公開内容應被視為僅受隨附申請專利範圍之限制。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:重建 130:迴路濾波器 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210:粗線框 220:框 310:圖片 312:小矩形 314:圖塊 316:光柵掃描切片 410:圖片 412:小矩形 414:圖塊 416:矩形切片 510:圖片 512:小矩形 514:圖塊 516:矩形切片 610:圖片 612:小矩形 614:圖塊 616:切片/子圖片 710:垂直二元劃分 720:水平二元劃分 730:垂直三元劃分 740:水平三元劃分 1000:塊 1010:垂直二元分區 1020:水平二元分區 1030:垂直三元分區 1040:水平三元分區 1110:二進位化器 1120:上下文建模器 1130:常規編碼引擎 1140:旁路編碼引擎 S1~S3:開關 1310~1350、1410~1440、1510~1540、1610~1640:步驟

在附圖中，在各個圖中示出的每個相同或幾乎相同的組件由相同的附圖標記表示。為清楚起見，並非每個組件都可以在每張圖中標出。附圖不一定按比例繪製，而是重點放在說明此處描述的技術和設備的各個方面。 第1A圖例示了併入環路處理的示例性自我調整幀間/幀內影像編碼系統。 第1B圖示出了針對第1A圖中的編碼器的對應解碼器。 第2圖示出了被分成CTU的圖片的示例。 第3圖示出了圖片的光柵掃描切片分區的示例，其中，該圖片被分成12個圖塊和3個光柵掃描切片。 第4圖示出了被分區成圖塊和矩形切片的圖片的示例。 第5圖示出了被分區成4個圖塊和4個矩形切片的圖片的示例。 第6圖示出了被分區成28個子圖片的圖片的示例。 第7圖例示了對應於垂直二元劃分（SPLIT_BT_VER）、水平二元劃分（SPLIT_BT_HOR）、垂直三元劃分（SPLIT_TT_VER）、以及水平三元劃分（SPLIT_TT_HOR）的多類型樹結構的示例。 第8圖例示了在具有嵌套多類型樹編碼樹結構的四叉樹中的分區劃分資訊的信令機制的示例。 第9圖示出了被分成具有四叉樹和嵌套多類型樹編碼塊結構的多個CU的CTU的示例，其中，粗的塊邊表示四叉樹分區，而其餘邊表示多類型樹分區。 第10圖示出了當亮度編碼塊的寬度或高度大於64時禁止的TT劃分的示例。 第11圖例示了CABAC過程的示例性框圖。 第12圖示出了圖片中的分區資訊的示例。 第13圖例示了根據本發明的實施方式的利用根據當前圖片的影像內容類別型得出的一個或多個初始上下文模型概率值來對分區資訊進行熵解碼的示例性影像解碼系統的流程圖。 第14圖例示了根據本發明的實施方式的利用根據當前圖片的影像內容類別型得出的一個或多個初始上下文模型概率值來對分區資訊進行熵解碼的示例性影像解碼系統的流程圖。 第15圖示出了根據本發明的實施方式的利用對於HBT和VBT不同的上下文模型來對分區資訊進行熵解碼的示例性影像解碼系統的流程圖。 第16圖示出了根據本發明的實施方式的利用對於HBT和VBT不同的上下文模型來對分區資訊進行熵編碼的示例性影像編碼系統的流程圖。

1310~1350:步驟

Claims (24)

1. 一種影像解碼的方法，該方法包括： 接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待解碼的與該當前圖片區域相關聯的經編碼資料； 從位元流中解析一個或多個經編碼位元，其中，該一個或多個經編碼位元包括與該當前圖片區域的分區樹相關的第一資訊的該經編碼資料； 從該位元流中解析一個或多個高級語法； 通過使用上下文建模來向該一個或多個經編碼位元應用熵解碼，以恢復與該分區樹相關的該第一資訊，其中，該上下文建模包括如由該一個或多個高級語法指示的一個或多個初始上下文模型概率值；以及 根據該分區樹來將該當前圖片區域分區成一個或多個塊，以用於解碼該一個或多個塊。
2. 如請求項1所述之方法，其中，該第一資訊包括一個或多個CU（編碼單元）劃分標誌。
3. 如請求項2所述之方法，其中，該第一資訊包括除該一個或多個CU劃分標誌以外的CU劃分決策。
4. 如請求項1所述之方法，其中，該一個或多個初始上下文模型概率值是根據影像內容類別型得出的。
5. 如請求項4所述之方法，其中，該影像內容類別型屬於包括螢幕影像內容、輸入影像的活動水平或其組合的組。
6. 如請求項1所述之方法，其中，該一個或多個高級語法是從SPS（序列參數集）、PPS（圖片參數集）、PH（圖片頭）、SH（切片頭）或其組合中解析的。
7. 如請求項1所述之方法，其中，是否允許該一個或多個初始上下文模型概率值是通過從該位元流中解析的該一個或多個高級語法來控制的。
8. 如請求項1所述之方法，其中，該一個或多個高級語法是以圖片級、切片級、圖塊級、CTU行級、CTU級、VPDU級或其組合從該位元流中解析的。
9. 一種影像編碼的方法，該方法包括： 接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待編碼的與該當前圖片區域相關聯的圖元資料； 根據分區樹來將該當前圖片區域分區成一個或多個塊； 通過使用上下文建模來向與該分區樹相關的第一資訊應用熵編碼，以生成一個或多個經編碼位元，其中，該上下文建模包括根據該當前圖片的影像內容類別型得出的一個或多個初始上下文模型概率值；以及 在位元流中用信號傳遞該一個或多個經編碼位元。
10. 如請求項9所述之方法，其中，該第一資訊包括一個或多個CU（編碼單元）劃分標誌。
11. 如請求項10所述之方法，其中，該第一資訊包括除該一個或多個CU劃分標誌以外的CU劃分決策。
12. 如請求項9所述之方法，其中，該影像內容類別型屬於包括螢幕影像內容、輸入影像的活動水平或其組合的組。
13. 如請求項9所述之方法，其中，從該位元流中用信號傳遞一個或多個高級語法，其中，該一個或多個高級語法指示該一個或多個初始上下文模型概率值是從多個初始上下文模型集的一者中選擇的。
14. 如請求項13所述之方法，其中，該一個或多個高級語法是從SPS（序列參數集）、PPS（圖片參數集）、PH（圖片頭）、SH（切片頭）或其組合中用信號傳遞的。
15. 如請求項9所述之方法，其中，是否允許根據該當前圖片的該影像內容類別型得出的該一個或多個初始上下文模型概率值是通過從該位元流中解析的一個或多個高級語法來控制的。
16. 如請求項15所述之方法，其中，該一個或多個高級語法是以圖片級、切片級、圖塊級、CTU行級、CTU級、VPDU級或其組合從該位元流中解析的。
17. 一種影像解碼的方法，該方法包括： 接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待解碼的與該當前圖片區域相關聯的經編碼資料； 從位元流中解析一個或多個經編碼位元，其中，該一個或多個經編碼位元包括與該當前圖片區域的分區樹相關的第一資訊的該經編碼資料； 通過使用一個或多個上下文模型來向該一個或多個經編碼位元應用熵解碼，以恢復與該分區樹相關的該第一資訊，其中，該一個或多個上下文模型對於被應用於非方形塊的HBT（水平二叉樹）和VBT（垂直二叉樹）是不同的；以及 根據該分區樹來將該當前圖片區域分區成一個或多個塊，以用於影像解碼。
18. 如請求項17所述之方法，其中，對於塊高度大於塊寬度的該非方形塊，使用該HBT對該非方形塊進行分區比使用該VBT對該非方形塊進行分區具有更高的概率，並且其中，對於塊寬度大於塊高度的該非方形塊，使用該VBT對該非方形塊進行分區比使用該HBT對該非方形塊進行分區具有更高的概率。
19. 如請求項17所述之方法，其中，該一個或多個上下文模型還取決於該非方形塊的塊形狀。
20. 如請求項17所述之方法，其中，該一個或多個上下文模型還取決於與該非方形塊的父節點相關的劃分資訊、塊大小、塊形狀或其組合。
21. 一種影像編碼的方法，該方法包括： 接收與當前圖片中的當前圖片區域相關聯的輸入資料，其中，該輸入資料包括待編碼的與該當前圖片區域相關聯的圖元資料； 根據分區樹來將該當前圖片區域分區成一個或多個塊； 通過使用一個或多個上下文模型來向與該分區樹相關的第一資訊應用熵編碼，以生成一個或多個經編碼位元，其中，該一個或多個上下文模型對於被應用於非方形塊的HBT（水平二叉樹）和VBT（垂直二叉樹）是不同的；以及 在位元流中用信號傳遞該一個或多個經編碼位元。
22. 如請求項21所述之方法，其中，對於塊高度大於塊寬度的該非方形塊，使用該HBT對該非方形塊進行分區比使用該VBT對該非方形塊進行分區具有更高的概率，並且其中，對於塊寬度大於塊高度的該非方形塊，使用該VBT對該非方形塊進行分區比使用該HBT對該非方形塊進行分區具有更高的概率。
23. 如請求項21所述之方法，其中，該一個或多個上下文模型還取決於該非方形塊的塊形狀。
24. 如請求項21所述之方法，其中，該一個或多個上下文模型還取決於與該非方形塊的父節點相關的劃分資訊、塊大小、塊形狀或其組合。

Images