TWI814540B - 視訊編解碼方法及裝置 - Google Patents

視訊編解碼方法及裝置 Download PDF

Info

Publication number
TWI814540B
TWI814540B TW111130760A TW111130760A TWI814540B TW I814540 B TWI814540 B TW I814540B TW 111130760 A TW111130760 A TW 111130760A TW 111130760 A TW111130760 A TW 111130760A TW I814540 B TWI814540 B TW I814540B
Authority
TW
Taiwan
Prior art keywords
partition
candidate
prediction mode
template
candidate prediction
Prior art date
Application number
TW111130760A
Other languages
English (en)
Other versions
TW202310620A (zh
Inventor
邱志堯
羅志軒
陳俊嘉
徐志瑋
陳慶曄
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202310620A publication Critical patent/TW202310620A/zh
Application granted granted Critical
Publication of TWI814540B publication Critical patent/TWI814540B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

一種基於幾何預測模式(geometric prediction mode，簡稱GPM)的範本匹配成本對分區候選或運動向量進行重新排序的方法被提供。視訊編解碼器接收資料，該資料將被編碼或解碼的作為視訊的當前圖片的當前塊。藉由由角度-距離對(angle-distance pair)定義的二等分線，當前塊被劃分為第一和第二分區。視訊編解碼器識別用於編解碼第一和第二分區的候選預測模式列表。視訊編解碼器計算列表中的每個候選預測模式的範本匹配(template matching，簡稱TM)成本。視訊編解碼器基於索引接收或發送候選預測模式的選擇，基於計算的TM成本該索引被分配給所選擇的候選預測模式。視訊編解碼器藉由使用所選擇的候選預測模式來預測第一和第二分區來重構當前塊。

Description

視訊編解碼方法及裝置
本公開總體上涉及視訊編解碼。具體而言，本公開涉及幾何預測模式(geometric prediction mode，簡稱GPM)的預測候選選擇方法。
除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的現有技術，以及不被包含在本節中而被承認為現有技術。
高效視訊編解碼(High-Efficiency Video Coding，簡稱HEVC)是由視訊編解碼聯合協作小組(Joint Collaborative Team on Video Coding，簡稱JCT-VC)開發的國際視訊編解碼標準。HEVC基於基於混合塊的運動補償類DCT變換編解碼架構。壓縮的基本單元，被稱為編解碼單元(Coding unit，簡稱CU)，是2Nx2N的正方形區塊，每個CU可以被遞迴地分成四個較小的CU，直到達到預定的最小尺寸。每個CU包含一個或多個預測單元(prediction unit，簡稱PU)。
為了提高HEVC中運動向量(motion vector，簡稱MV)編解碼的編解碼效率，HEVC具有跳過模式和合併模式。跳過模式和合併模式從空間相鄰塊(空間候選)或時間同位塊(時間候選)獲取運動資訊。當PU為跳過模式和合併模式時，不會對運動資訊進行編解碼，而是僅對所選候選的索引進行編解碼。對於跳過模式，殘差訊號被強制為零並且不被編解碼。在HEVC中，如果特定塊被編解碼為跳過或合併，則候選索引被發送以指示候選集合中的哪個候選 被用於合併。每個合併預測單元(prediction unit，簡稱PU)重用所選候選的MV、預測方向和參考圖片索引。
以下概述僅是說明性的並且不旨在以任何方式進行限制。即，以下概述被提供以介紹本文所述的新穎且非顯而易見的技術的概念、亮點、益處和優點。選擇而不是所有的實施方式在下面的詳細描述中被進一步描述。因此，以下概述並非旨在識別所要求保護的主題的基本特徵，也不旨在用於確定所要求保護的主題的範圍。
本公開的一些實施例提供了一種基於幾何預測模式(geometric prediction mode，簡稱GPM)的範本匹配成本來重新排序分區候選或運動向量的方法。視訊編解碼器接收資料，該資料將被編碼或解碼的資料作為視訊的當前圖片的當前塊。藉由由角度-距離對(angle-distance pair)定義的二等分線，當前塊被劃分為第一分區和第二分區。視訊編解碼器識別用於解碼第一和第二分區的候選預測模式列表。視訊編解碼器計算列表中的每個候選預測模式的範本匹配(template matching，簡稱TM)成本。視訊編解碼器基於索引接收或發送候選預測模式的選擇，基於計算的TM成本該索引被分配給選擇的候選預測模式。視訊編解碼器藉由使用選擇的候選預測模式來預測第一分區和第二分區來重構當前塊。
第一分區可以藉由幀間預測來進行編解碼，該幀間預測參考參考圖片中的樣本，以及第二分區可以藉由幀內預測來進行編解碼，該幀內預測參考當前圖片中的當前塊的相鄰樣本。可選地，第一分區和第二分區都可以藉由幀間預測來進行編解碼，該幀間預測使用來自列表的第一運動向量和第二運動 向量來參考第一參考圖片和第二參考圖片中的樣本。
列表中的不同候選預測模式可以對應於由不同角度-距離對定義的不同二等分線。列表中的不同候選預測模式還可以對應於不同的運動向量，這些運動向量可被用來生成幀間預測，以重構當前塊的第一分區或第二分區。在一些實施例中，候選預測模式列表在當前塊大於閾值大小時僅包括單向預測候選並且不包括雙向預測候選，以及當當前塊小於閾值大小時包括合併候選。
在一些實施例中，視訊編碼器藉由使用精確化的運動向量來生成對第一分區和第二分區的預測來重構當前塊。精確化的運動向量藉由基於初始運動向量搜索具有最低TM成本的運動向量來識別。在一些實施例中，對具有最低TM成本的運動向量的搜索包括反覆運算地應用以運動向量為中心的搜索模式，該運動向量從先前的反覆運算中被識別為具有最低TM成本(直到不再能找到更低的成本)。在一些實施例中，編碼器在搜索過程期間在不同的反覆運算或輪次中以不同的解析度(例如，1像素、1/2像素、1/4像素等)應用不同的搜索模式以精確化運動向量。
0300:合併候選列表
0700:GPM候選列表
0900:CU
0910:分區
0920:分區
1000:CU
1005:GPM候選列表
1010:分區
1020:分區
1100:CU
1105:當前範本
1110:分區
1115:參考範本
1120:分區
1125:參考範本
1300:編碼器
1305:視訊源
1308:減法器
1310:變換模組
1311:量化模組
1312:變換係數
1313:預測像素資料
1314:逆量化模組
1315:逆變換模組
1316:變換係數
1317:重構的像素資料
1319:重構殘差
1320:幀內估計模組
1325:幀內預測模組
1330:運動補償模組
1335:運動估計模組
1340:幀間預測模組
1345:環路濾波器
1350:重構圖片緩衝器
1365:MV緩衝器
1375:MV預測模組
1390:熵編碼器
1395:位元流
1410:候選分區模組
1415:MV候選識別模組
1420:範本識別模組
1430:TM成本計算器
1440:候選選擇模組
1445:MV精確化模組
1500:處理
1510、1520、1530、1540、1550、1560、1570:步驟
1600:視訊解碼器
1610:逆變換模組
1611:逆量化模組
1612:量化資料
1613:預測像素資料
1616:變換係數
1617:解碼的像素資料
1619:重構的殘差訊號
1625:幀內預測模組
1630:運動補償模組
1640:幀間預測模組
1645:環路濾波器
1650:解碼圖片緩衝器
1655:顯示裝置
1665:MV緩衝器
1675:MV預測模組
1690:熵解碼器
1695:位元流
1710:候選分區模組
1715:MV候選識別模組
1720:範本識別模組
1730:TM成本計算器
1740:候選選擇模組
1745:MV精確化模組
1800:處理
1810、1820、1830、1840、1850、1860、1870:步驟
1900:電子系統
1905:匯流排
1910:處理單元
1915:GPU
1920:系統記憶體
1925:網路
1930:唯讀記憶體
1935:永久存放裝置
1940:輸入設備
1945:輸出設備
附圖被包括以提供對本公開的進一步理解並且被併入並構成本公開的一部分。附圖說明了本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為在實際實施中特定組件可能被顯示為與尺寸不成比例，以便清楚地說明本公開的概念。
第1圖示出合併模式的運動候選。
第2圖概念性地示出用於合併候選的“預測+合併”演算法框架。
第3圖概念性地示出示例候選重新排序。
第4-5圖概念性地示出用於計算所選候選的猜測成本的L形匹配方法。
第6圖示出藉由幾何分區模式(geometric partitioning mode，簡稱GPM)對CU的分區。
第7圖示出用於GPM分區的示例單向預測候選列表以及對GPM選擇單向預測MV。
第8圖示出用於CU的GPM的示例分區邊緣混合處理。
第9圖示出由GPM-幀內進行編解碼的CU。
第10圖概念性地示出CU，該CU藉由使用來自重新排序的GPM候選列表的MV進行編解碼。
第11圖概念性地示出在編解碼CU時根據TM成本重新排序不同的候選GPM拆分模式。
第12圖概念性地示出基於TM成本的MV精確化。
第13圖示出可以根據TM成本選擇預測候選的示例視訊編碼器。
第14圖示出視訊編碼器部分，該視訊編碼器基於TM成本實現候選預測模式選擇。
第15圖概念性地示出處理，該處理基於用於編碼像素塊的TM成本對預測候選分配索引。
第16圖示出示例視訊解碼器，該視訊解碼器基於TM成本選擇預測候選。
第17圖示出視訊解碼器的部分，該視訊解碼器基於TM成本實現候選預測模式選擇。
第18圖概念性地示出處理，該處理基於用於解碼像素塊的TM成本對預測候選分配索引。
第19圖概念性地示出實現本公開的一些實施例的電子系統。
在以下詳細描述中，藉由示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、衍生和/或擴展都在本公開的保護範圍內。在一些情況下，與在此公開的一個或多個示例實施方式有關的眾所周知的方法、處理、組件和/或電路可以在相對較高的水平上進行描述而沒有細節，以避免不必要地模糊本公開的教導的方面。
一、合併模式的候選重新排序
第1圖示出合併模式的運動候選。該圖示出由視訊編解碼器編碼或解碼的視訊圖片或幀的當前塊100。如圖所示，多達四個空間MV候選從空間相鄰A0、A1、B0和B1導出，以及一個時間MV候選從TBR或TCTR導出(首先使用TBR，如果TBR不可用，則使用TCTR)。如果四個空間MV候選中的任何一個都不可用，則位置B2被用來導出MV候選作為替代。在四個空間MV候選和一個時間MV候選的推導處理之後，在一些實施例中移除冗餘(修剪)被應用以移除冗餘MV候選。如果在移除冗餘(修剪pruning)之後，可用的MV候選的數量小於5，則三種額外的候選被導出並添加到候選集合(候選列表)中。視訊編碼器根據速率失真優化(rate-distortion optimization，簡稱RDO)決策在候選集合中選擇一個最終候選，用於跳過或合併模式，以及將索引傳輸到視訊解碼器。(本文檔中將跳過模式和合併模式統稱為“合併模式”。)
對於一些實施例，合併候選被定義為通用“預測+合併”演算法框架的候選。“預測+合併”演算法框架有第一部分和第二部分。第一部分生成(一組)預測子的候選列表，這些預測子是藉由繼承相鄰資訊或精確化(refining)或處理相鄰資訊而導出。第二部分是發送(i)合併索引，以指示候選列表中的 哪個被選擇，以及(ii)與合併索引相關的一些輔助資訊。換句話說，編碼器將合併索引和所選候選的一些輔助資訊發送給解碼器。
第2圖概念性地示出用於合併候選的“預測+合併”演算法框架。候選列表包括許多繼承相鄰資訊的候選。然後繼承的資訊被處理或精確化以形成新的候選。在這些處理中，一些候選的輔助資訊被生成以及被發送到解碼器。
視訊編解碼器(編碼器或解碼器)可以以不同方式處理合併候選。首先，在一些實施例中，視訊編解碼器可將兩個或多個候選組合成一個候選。其次，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用當前像素塊執行運動估計搜索以找到最終的運動向量差(Motion Vector Difference，簡稱MVD)，其中輔助資訊是MVD。第三，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用當前像素塊執行運動估計搜索以找到L0的最終MVD，以及L1預測子是原始候選。第四，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用當前像素塊執行運動估計搜索以找到L1的最終MVD，以及L0預測子是原始候選。第五，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用頂部或左側相鄰像素作為搜索範本進行MV精確化搜索以找到最終預測子。第六，視訊編解碼器可以使用原始候選作為原始MV預測子，以及使用雙邊範本(候選MV或鏡像MV指向的L0和L1參考圖片上的像素)作為搜索範本進行MV精確化搜索以找到最終預測子。
範本匹配(Template matching，簡稱TM)是一種視訊編解碼方法，以藉由將當前圖片中的當前CU的範本(當前範本)與參考圖片中的參考範本進行匹配來精確化當前CU的預測以用於預測。CU或塊的範本通常是指與CU頂部和/或左側相鄰的特定像素集合。
對於本文檔，術語“合併候選”或“候選”是指通用“預測+合併”演算法框架中的候選。“預測+合併”演算法框架不限於前述實施例。任一具有“預測+合併索引”行為的演算法都屬於這個框架。
在一些實施例中，視訊編解碼器對合併候選重新排序，即，視訊編解碼器修改候選列表內的候選順序以實現更好的編解碼效率。重排序規則依賴於對當前候選的一些預計算(重新排序之前的合併候選)，例如當前CU的頂部相鄰條件(模式、MV等)或左側相鄰條件(模式、MV等)，當前CU形狀，或頂部/左側L形範本匹配。
第3圖概念性地示出示例候選重新排序。如圖所示，示例合併候選列表0300具有標記為“0”到“5”的六個候選。視訊編解碼器最初選擇一些候選(標記為“1”和“3”的候選)進行重新排序。然後，視訊編解碼器預先計算這些候選的成本(標記為“1”和“3”的候選的成本分別為100和50)。成本被稱為候選的猜測成本(因為這不是使用候選的真實成本，而只是對真實成本的估計或猜測)，成本越低意味著候選越好。最後，視訊編解碼器藉由將成本較低的候選(標記為“3”的候選)移動到列表的前面來重新排序所選候選。
一般而言，對於在合併候選列表中具有順序位置Oi的合併候選Ci(其中i=0~N-1，N為列表中候選的總數，Oi=0表示Ci在列表的開頭，以及Oi=N-1表示Ci在列表的末尾)，Oi=i(C0順序為0，C1順序為1，C2順序為2，...等等)，視訊編解碼器藉由更改i的選定值的Ci的Oi(更改一些選定候選的順序)來重新排序列表中的合併候選。
在一些實施例中，合併候選重新排序可以根據當前PU的大小或形狀來關閉。視訊編解碼器可預先定義若干PU大小或形狀以關閉合併候選重新排序。在一些實施例中，用於關閉合併候選重新排序的其他條件，例如圖片大 小、QP值等，是特定的預定值。在一些實施例中，視訊編解碼器可以發送標誌以打開或關閉合併候選重新排序。例如，視訊編解碼器可以發送標誌(例如，“merge_cand_rdr_en”)以指示“合併候選重新排序”是否啟用(值1：啟用，值0：禁用)。當該標誌不存在時，merge_cand_rdr_en的值被推斷為1。信令中的單元的最小尺寸，merge_cand_rdr_en，也可以在序列級別、圖片級別、片段級別或PU級別中被單獨編解碼。
通常，視訊編解碼器可以藉由(1)識別一個或多個用於重新排序的候選，(2)計算每個識別的候選的猜測成本，以及(3)根據所選候選的猜測成本對候選進行重新排序。在一些實施例中，一些候選的計算的猜測成本在候選被重新排序之前被調整(成本調整)。
在一些實施例中，選擇一個或多個候選的步驟可以藉由幾種不同的方法來執行。在一些實施例中，視訊編解碼器選擇具有merge_index
Figure 111130760-A0305-02-0010-7
閾值的所有候選。閾值是預定值，以及merge_index是合併列表內的原始順序(merge_index為0、1、2、...)。例如，如果當前候選的原始順序在合併列表的開頭，則merge_index=0(對於當前候選)。
在一些實施例中，視訊編解碼器根據候選類型選擇用於重新排序的候選。候選類型是所有候選的候選類別。視訊編解碼器首先將所有候選分類為MG類型(MG=1或2或3或其他值)，然後從所有MG類型中選擇MG_S(MG_S=1,2,3...,MG_S
Figure 111130760-A0305-02-0010-8
MG)類型進行重新排序。分類的一個示例是將所有候選分類為4種候選類型。類型1是空間相鄰MV的候選。類型2是時間相鄰MV的候選。類型3是所有子PU候選(如子PU TMVP、STMV、仿射合併候選)。類型4是所有其他候選。在一些實施例中，視訊編解碼器根據merge_index和候選類型兩者來選擇候選。
在一些實施例中，L形匹配方法用於計算所選候選的猜測成本。對於當前選擇的合併候選，視訊編解碼器獲取當前圖片的L形範本和參考圖片的L形範本以及比較兩個範本之間的差值。L形匹配方法有兩個部分或步驟：(i)識別L形範本和(ii)匹配導出的範本。
第4-5圖概念性地示出用於計算所選候選的猜測成本的L形匹配方法。第4圖顯示當前圖片中當前CU(當前範本)的L形範本，其包括當前PU的頂部和左側邊界周圍的一些像素。參考圖片的L形範本包括當前合併候選的reference_block_for_guessing的頂部和左側邊界周圍的一些像素。reference_block_for_guessing(寬度BW和高度BH與當前PU相同)是當前合併候選的運動向量的整數部分所指向的塊。
不同的實施例以不同的方式定義L形範本。在一些實施例中，L形範本的所有像素都在reference_block_for_guessing之外(如第4圖中的“外部像素”標籤)。在一些實施例中，L形範本的所有像素都在reference_block_for_guessing內部(如第4圖中的“內部像素”標籤)。在一些實施例中，L形範本的一些像素在reference_block_for_guessing之外，而L形範本的一些像素在reference_block_for_guessing之內。第5圖示出當前圖片中的當前PU(當前範本)的L形範本，類似於第4圖，以及參考圖片中的L形範本(外部像素實施例)沒有左上角像素。
在一些實施例中，L形匹配方法和對應的L形範本(命名為template_std)根據如下定義：假設當前PU的寬度為BW，當前PU的高度為BH，則當前圖片的L形範本具有頂部部分和左側部分。定義頂部厚度=TTH，左側厚度=LTH，則頂部部分包含座標為(ltx+tj,lty-ti)的所有當前圖片像素，其中ltx為當前PU的左上整數像素水平座標，lty為當前PU的左上整數像素垂直座標，ti為 像素行的索引(ti為0~(TTH-1))，tj為行的像素索引(tj為0~BW-1)。對於左側部分，包括座標為(ltx-tjl,lty+til)的所有當前圖片像素，其中ltx為當前PU的左上整數像素水平座標，lty為當前PU的左上整數像素垂直座標，til為列的像素索引(til為0~(BH-1))，tjl為列的索引(tjl為0~(LTH-1))。
在template_std中，參考圖片的L形範本具有頂部部分和左側部分。定義頂部厚度=TTHR，左側厚度=LTHR，則頂部部分包括座標為(ltxr+tjr,ltyr-tir+shifty)的所有參考圖片像素，其中ltxr為reference_block_for_guessing的左上整數像素水平座標，ltyr是reference_block_for_guessing的左上整數像素垂直座標，tir是像素行的索引(tir是0~(TTHR-1))，tjr是行的像素索引(tjr是0~BW-1),shifty是預定移位值。對於左側部分，其由座標為(ltxr-tjlr+shiftx,ltyr+tilr)的所有參考圖片像素組成，其中ltxr為reference_block_for_guessing的左上整數像素水平坐標，ltyr為reference_block_for_guessing的左上整數像素垂直坐標，tilr為列的像素索引(tilr為0~(BH-1))，tjlr為列的索引(tjlr為0~(LTHR-1))，shiftx為預定移位值。
如果當前候選僅具有L0 MV或僅具有L1 MV，則參考圖片存在一個L形範本。但是如果當前候選同時具有L0和L1 MV(雙向預測候選)，則參考圖片有2個L形範本，一個範本由L0參考圖片中的L0 MV指向，另一個範本由L1參考圖片中的L1 MV指向。
在一些實施例中，對於L形範本，視訊編解碼器具有適應性厚度模式。厚度被定義為L形範本頂部的像素行的數量或L形範本左側的像素列的數量。對於前面提到的L型範本template_std，當前圖片的L型範本的頂部厚度為TTH以及左側厚度為LTH，參考圖片的L型範本頂部厚度為TTHR以及左側厚度為LTHR。適應性厚度模式根據一些條件改變頂部厚度或左側厚度，例如當前PU 大小或當前PU形狀(寬度或高度)或當前片段的QP。例如，在當前PU高度
Figure 111130760-A0305-02-0013-9
32時，適應性厚度模式可以設置頂部厚度=2，在當前PU高度<32時，適應性厚度模式可以設置頂部厚度=1。
在進行L形範本匹配時，視訊編解碼器獲取當前圖片的L形範本和參考圖片的L形範本，以及比較(匹配)兩個範本之間的差值。兩個範本中像素之間的差值(例如，絕對差值之和，或SAD)被用作MV的成本。在一些實施例中，視訊編解碼器可以在計算兩個L形範本的所選像素之間的差值之前從當前圖片的L形範本獲得所選像素以及從參考圖片的L形範本獲得所選像素。
二、幾何預測模式(Geometric Prediction Mode，GPM)候選列表
在VVC中，幾何分區模式被支援用於幀間預測。幾何分區模式(GPM)使用CU級標誌作為一種合併模式來發送，其他合併模式包括常規合併模式、MMVD模式、CIIP模式和子塊合併模式。對於每個可能的CU大小w×h=2m×2n(其中m,n
Figure 111130760-A0305-02-0013-10
{3…6}，不包括8x64和64x8)，幾何分區模式總共支援64個分區。
第6圖示出藉由幾何分區模式(GPM)對CU的分割。每個GPM分區或GPM拆分的特點是定義平分線(bisecting line)的距離-角度配對。該圖示出按相同角度分組的GPM拆分示例。如圖所示，當GPM被使用時，CU被幾何定位的直線分成兩部分。分割線的位置在數學上從特定分區的角度和偏移參數導出。
CU中幾何分區的每個部分使用其自己的運動(向量)進行幀間預測。每個分區只允許單向預測，即每個部分有一個運動向量和一個參考索引。與傳統的雙向預測類似，單向預測運動約束被應用以確保對於每個CU僅執行兩次運動補償預測。
如果GPM用於當前CU，則指示幾何分區的分區模式(角度和偏移)的幾何分區索引和兩個合併索引(每個分區一個)被進一步發送。幾何分區的合併索引用於從單向預測候選列表(也被稱為GPM候選列表)中選擇候選。GPM候選列表中的最大候選數量在SPS中明確發送，以指定GPM合併索引的語法二值化。在預測幾何分區的每個部分之後，沿幾何分區邊緣的樣本值使用具有適應性權重的混合處理進行調整。這是整個CU的預測訊號，變換和量化處理將像在其他預測模式中一樣應用於整個CU。然後由GPM預測的CU的運動欄位被存儲。
GPM分區的單向預測候選列表(GPM候選列表)可以直接從當前CU的合併候選列表導出。第7圖示出用於GPM分區的示例性單向預測候選列表0700以及對GPM的單向預測MV的選擇。GPM候選列表0700以奇偶方式構建，僅具有在L0 MV和L1 MV之間交替的單向預測候選。設置n為GPM的單向預測候選列表中單向預測運動的索引。第n個擴展合併候選的LX(即L0或L1)運動向量，其中X等於n的奇偶性，用作GPM的第n個單向預測運動向量。(這些運動向量在圖中用“x”標記。)在不存在第n個擴展合併候選的對應LX運動向量的情況下，相同候選的L(1-X)運動向量被用作GPM的單向預測運動向量。
如前所述，沿幾何分區邊緣的樣本值使用具有適應性權重的混合處理來調整。具體來說，在使用自己的運動來預測幾何分區的每個部分之後，混合被應用於兩個預測訊號以導出幾何分區邊緣周圍的樣本。CU的每個位置的混合權重基於相應位置與分區邊緣之間的距離導出。位置(x,y)到分區邊緣的距離推導如下： d(x,y)=(2x+1-w)cos(φ i )+(2y+1-h)sin(φ i )-ρ i (1)
ρ j =ρ x,j cos(φ i )+ρ y,j sin(φ i ) (2)
Figure 111130760-A0305-02-0015-1
Figure 111130760-A0305-02-0015-2
其中i,j是幾何分區的角度和偏移的索引，它取決於發送的幾何分區索引。ρ x,j 和ρ y,j 的符號取決於角度索引i。幾何分區的每個部分的權重推導如下： wIdxL(x,y)=partIdx？32+d(x,y)：32-d(x,y) (5)
Figure 111130760-A0305-02-0015-3
w 1 (x,y)=1-w 0 (x,y) (7)
變數partIdx取決於角度索引i。第8圖示出用於CU 0800的GPM的示例分區邊緣混合處理。在圖中，混合權重基於初始混合權重w0生成。
如上所述，使用GPM預測的CU的運動欄位被存儲。具體來說，來自幾何分區的第一部分的Mv1、來自幾何分區的第二部分的Mv2以及Mv1和Mv2的組合Mv被存儲在由GPM編解碼的CU的運動欄位中。運動欄位中每個單獨位置的存儲運動向量類型被確定為：
Figure 111130760-A0305-02-0016-4
其中motionIdx等於d(4x+2,4y+2)，它從等式(4-1)重新計算。partIdx取決於角度索引i。如果sType等於0或1，則Mv0或Mv1被存儲在相應的運動欄位中，否則如果sType等於2，則來自Mv0和Mv2的組合的Mv被存儲。組合的Mv使用以下處理生成：(i)如果Mv1和Mv2來自不同的參考圖片列表(一個來自L0，另一個來自L1)，則Mv1和Mv2被簡單地組合以形成雙向預測運動向量；(ii)否則，如果Mv1和Mv2來自同一列表，則僅單向預測運動Mv2被存儲。
由GPM編解碼的塊可以具有以幀間模式編解碼的一個分區和以幀內模式編解碼的一個分區。這樣的GPM模式可以被稱為具有幀內和幀間的GPM，或GPM-幀內。第9圖示出由GPM-幀內編解碼的CU 0900，其中第一GPM分區0910藉由幀內預測編解碼，第二GPM分區0920藉由幀間預測編解碼。
在一些實施例中，每個GPM分區在位元流中具有對應的標誌以指示GPM分區藉由幀內預測還是幀間預測來編碼。對於使用幀間預測進行編解碼的GPM分區(例如，分區0920)，預測訊號由來自CU的合併候選列表的MV生成。對於使用幀內預測進行編解碼的GPM分區(例如，分區0910)，預測訊號從用於由來自編碼器的索引指定的幀內預測模式的相鄰像素生成的。可能的幀內預測模式的變化可能受到幾何形狀的限制。GPM編解碼的CU(例如，CU 0900)的最終預測藉由組合(在分區邊緣進行混合)幀間預測分區的預測和幀內預測分區的預測來生成，如同在常規GPM模式(即，有兩個幀間預測的分區)一樣。
在一些實施例中，藉由重用合併候選列表，雙向預測候選被允許 進入GPM候選列表。在一些實施例中，合併候選列表(其包括單向預測和/或雙向預測候選)被用作GPM候選列表。在一些實施例中，僅在小CU(具有小於閾值的大小)中和/或當GPM-幀內(例如，如參考上面第9圖所描述的組合幀間和幀內預測的GPM模式)被啟用時，包括雙向預測候選的GPM候選列表(例如，重新使用如參考上面第1圖所描述的合併候選列表)被允許以便約束運動補償頻寬。否則(CU大於或等於閾值)，GPM候選列表以奇偶方式(例如，第7圖的GPM候選列表0700)進行構建，其中僅單向預測被允許。
三、GPM候選重新排序
如所提到的，GPM候選列表可以從合併候選列表導出，儘管運動補償頻寬約束可以將GPM候選列表限制為僅包括單向預測候選(例如，基於如部分二中提到的CU的大小)。GPM候選列表構建期間的MV選擇行為可能導致GPM混合的MV不精確。為了提高編解碼效率，本公開的一些實施例提供了用於GPM的候選重新排序和MV精確化的方法。
在一些實施例中，視訊編解碼器(編碼器或解碼器)藉由根據範本匹配成本以上升順序對GPM MV候選進行排序來對GPM的MV候選(在GPM候選列表中)重新排序。重新排序行為可以在GPM候選列表構建之前應用於合併候選列表和/或GPM候選列表本身。GPM候選列表中的MV的TM成本可以藉由將參考圖片中的MV標識的參考範本與當前CU的當前範本進行匹配來計算。
第10圖概念性地示出藉由使用來自重新排序的GPM候選列表的MV來編解碼的CU。如圖所示，CU 1000將藉由GPM模式進行編解碼以及將基於GPM距離-角度對被劃分為第一GPM分區1010和第二GPM分區1020。對CU 1000生成GPM候選列表1005。GPM候選列表可以被限制為僅具有以奇偶方式的單向預測候選，或者可以重用包括雙向預測候選的合併候選。GPM候選列表1005中 的每個候選MV的TM成本被測試。基於計算出的候選MV的TM成本，每個MV都被分配了一個重新排序的索引，該索引可以在位元流中發送。在示例中，“MV0”的TM成本=30並分配重新排序的索引1，“MV1”的TM成本=45並分配重新排序的索引2，依此類推。
在該示例中，為了選擇兩個GPM分區的候選MV，視訊編解碼器可以發送重新排序的索引“0”來對分區1010選擇“MV2”，以及重新排序的索引“2”來選擇對分區1020選擇“MV1”。
在一些實施例中，視訊編解碼器對GPM候選列表中的每個GPM候選的分區(或分割)模式進行重新排序。視訊編解碼器獲得所有GPM拆分模式的參考範本(即，CU的所有距離-角度GPM配對，如參考上面第6圖所述)以及計算每個GPM拆分模式的範本匹配成本。然後GPM拆分模式根據TM成本以上升順序進行重新排序。視訊編解碼器可將具有最佳TM成本的N個候選識別為可用分割模式。
第11圖概念性地示出在解碼CU 1100時根據TM成本對不同候選GPM拆分模式進行重新排序。視訊編解碼器計算每個GPM拆分模式(距離-角度對)的TM成本以及基於拆分模式的TM成本對每個GPM拆分模式分配重新排序索引。從不同的MV候選和分區/拆分模式導出的GPM預測子按範本匹配成本以上升順序進行重新排序。視訊編解碼器可將具有最少匹配成本的N個最佳候選指定為可用分區模式。
在該示例中，拆分模式1101具有TM成本=70並且被分配重新排序的索引“2”，拆分模式1102具有TM成本=45並且被分配重新排序的索引“1”，拆分模式1103具有TM成本=100並且沒有被分配重新排序的索引(因為它不是N個最佳候選之一)，拆分模式1104具有TM成本=30並且被分配重新排序的索引“0”，等 等。因此，視訊編解碼器可以藉由發送重新排序的索引“0”來發送拆分模式1104的選擇。
在一些實施例中，候選GPM拆分模式的TM成本基於候選的兩個GPM分區的MV預測子來計算。在第11圖的例子中，為了計算將CU 1100分割成GPM分區1110和1120的特定候選GPM分割模式(角度-距離對)的TM成本，兩個GPM分區的MV預測子用於識別兩個相應的參考範本(1115和1125)。兩個參考範本被組合(使用邊緣混合)成為一個組合的參考範本。然後候選GPM拆分的範本匹配成本藉由將組合的參考範本與CU 1100的當前範本1105進行匹配來計算。
四、GPM運動向量細化
在一些實施例中，視訊編解碼器藉由基於範本匹配(TM)成本的搜索來精確化每個幾何分區(GPM分區)的MV。視訊編解碼器可以在特定搜索處理之後對GPM候選列表中的每個候選(合併候選或僅單向預測候選)精確化每個幾何分區的運動向量。該處理包括幾個搜索步驟。每個搜索步驟可以由(識別字、搜索模式、搜索步驟、反覆運算輪數)的元組(tuple)表示。搜索步驟按照搜索步驟識別字的值以上升順序依次執行。在一些實施例中，視訊編解碼器在基於TM成本的重新排序之前精確化GPM候選列表中的MV。在一些實施例中，視訊編解碼器精確化已被GPM分區選擇的MV。
對於一些實施例，搜索步驟(反覆運算搜索的單次運行)的處理如下。對於要用於編解碼GPM分區的MV(例如，GPM候選列表中的候選MV)，視訊編解碼器藉由以下方式精確化MV：1)繼承上一輪或上一個搜索步驟的最佳MV和最佳成本；(如果這是GPM分區的第一個搜索步驟，則使用GPM分區的初始MV作為最 佳MV)；2)將最佳MV作為搜索範圍的中心；3)根據搜索模式(如菱形、十字、蠻力(brute force)等)構建MV候選列表(或MV搜索列表)；4)計算該搜索模式的構建的MV候選列表中所有候選的TM成本；以及5)將具有最小TM成本的MV候選(在搜索模式的MV候選列表中)識別為GPM分區的精確化MV。
第12圖概念性地示出了基於TM成本的MV精確化。MV的TM成本的計算藉由參考第4圖和第5圖來描述。在該示例中，對於第N個搜索步驟，視訊編解碼器執行以初始MV 1210為中心的一輪搜索，這樣就可以計算1210附近鑽石位置處的MV候選的TM成本。其中，位置1220處的MV候選的TM成本最低(成本=70)。此後，藉由計算1220附近菱形位置處的MV候選的TM成本，視訊編解碼器執行以MV位置1220為中心的另一輪搜索(第N+1個搜索步驟)。在這一輪搜索中，MV位置1230處的候選具有最佳成本(成本=50)，仍然低於之前的最佳成本(70)，因此繼續搜索。
最初，MV候選列表根據搜索模式(菱形/十字/其他)和從前一輪或前一個搜索步驟繼承的最佳MV來構建。列表中的每個MV候選的範本匹配成本被計算。如果具有最小範本匹配成本(記為tmp_cost)的候選MV的成本小於最佳成本，則最佳MV和最佳成本被更新。如果最佳成本不變或tmp_cost與最佳成本之間的差值小於特定閾值，則該反覆運算搜索被終止。如果n輪搜索已經被執行，則整個搜索處理被終止。否則，MV將被反覆運算地精確化。
在一些實施例中，視訊解碼器在搜索處理的不同反覆運算或輪次 處以不同解析度應用不同搜索模式。具體而言，GPM候選列表中每個候選的每個幾何分區的運動向量藉由以下搜索處理進行精確化：1)進行n1輪的全像素鑽石搜索，2)進行n2輪的全像素交叉搜索，3)進行n3輪的半像素交叉搜索，4)進行n4輪的四分之一像素交叉搜索，5)進行n5輪的1/8像素交叉搜索，6)進行n6輪的1/16像素交叉搜索。
n1至n6中的至少一個大於零(例如，n1=128，n2...n5=1，n6=0)。如果n等於0，則搜索步驟被跳過。菱形搜索的MV候選包括(2,0)，(1,1)，(0,2),(-1,1)，(-2,0)，(-1,-1)，(0,-2)，(1,-1)。交叉搜索的MV候選包括(1,0)，(0,1)，(-1,0)，(0,-1)。
在一些實施例中，GPM合併候選列表中每個候選的每個幾何分區的運動向量藉由以下搜索處理來精確化：
1)藉由從全像素、半像素、四分之一像素、1/8像素和1/16像素中進行選擇來確定搜索精度(對於每個搜索步驟)。
2)根據確定的搜索精度將搜索範圍內的所有MV候選加入候選。
3)找到具有最小範本匹配成本的最佳MV候選。最佳MV候選是精確化的MV。
五、示例視訊編碼器
第13圖示出可使用基於TM成本來選擇預測候選的示例視訊編碼器1300。如圖所示，視訊編碼器1300從視訊源1305接收輸入視訊訊號以及將訊號編碼為位元流1395。視訊編碼器1300具有用於對來自視訊源1305的訊號進行 編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組1310、量化模組1311、逆量化模組1314、逆變換模組1315、幀內估計模組1320、幀內預測模組1325、運動補償模組1330、運動估計模組1335、環路濾波器1345、重構圖片緩衝器1350、MV緩衝器1365、MV預測模組1375和熵編碼器1390。運動補償模組1330和運動估計模組1335是幀間預測模組1340的一部分。
在一些實施例中，模組1310-1390是由計算設備或電子裝置的一個或多個處理單元(例如，處理器)執行的軟體指令模組。在一些實施例中，模組1310-1390是由電子裝置的一個或多個積體電路(integrated circuit，簡稱IC)實現的硬體電路模組。儘管模組1310-1390被示為單獨的模組，但一些模組可以組合成單個模組。
視訊源1305提供原始視訊訊號，其呈現每個視訊幀的像素資料而不進行壓縮。減法器1308計算視訊源1305的原始視訊像素資料與來自運動補償模組1330或幀內預測模組1325的預測像素資料1313之間的差值。變換模組1310轉換差值(或殘差像素資料或殘差訊號)轉換成變換係數(例如，藉由執行離散余弦變換或DCT)。量化模組1311將變換係數量化成量化資料(或量化係數)1312，其由熵編碼器1390編碼成位元流1395。
逆量化模組1314對量化資料(或量化係數)1312進行去量化以獲得變換係數，以及逆變換模組1315對變換係數執行逆變換以產生重構殘差1319。重構殘差1319與預測像素資料1313相加一起產生重構的像素資料1317。在一些實施例中，重構的像素資料1317被臨時存儲在線緩衝器(line buffer未示出)中用於幀內預測和空間MV預測。重構像素由環路濾波器1345濾波並被存儲在重構圖片緩衝器1350中。在一些實施例中，重構圖片緩衝器1350是視訊編碼器1300外部的記憶體。在一些實施例中，重構圖片緩衝器1350是視訊編碼器1300 內部的記憶體.
幀內估計模組1320基於重構的像素資料1317執行幀內預測以產生幀內預測資料。幀內預測資料被提供至熵編碼器1390以被編碼成位元流1395。幀內預測資料還被幀內預測模組1325用來產生預測像素資料1313。
運動估計模組1335藉由產生MV以參考存儲在重構圖片緩衝器1350中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供至運動補償模組1330以產生預測像素資料。
視訊編碼器1300不是對位元流中的完整實際MV進行編碼，而是使用MV預測來生成預測的MV，以及用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料並存儲在位元流1395。
基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，MV預測模組1375生成預測的MV。MV預測模組1375從MV緩衝器1365中獲取來自先前視訊幀的參考MV。視訊編碼器1300將對當前視訊幀生成的MV存儲在MV緩衝器1365中作為用於生成預測MV的參考MV。
MV預測模組1375使用參考MV來創建預測的MV。預測的MV可以藉由空間MV預測或時間MV預測來計算。預測的MV和當前幀的運動補償MV(MC MV)之間的差值(殘差運動資料)由熵編碼器1390編碼到位元流1395中。
熵編碼器1390藉由使用諸如上下文適應性二進位算術編解碼(context-adaptive binary arithmetic coding，簡稱CABAC)或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流1395中。熵編碼器1390將各種報頭元素、標誌連同量化的變換係數1312和作為語法元素的殘差運動資料編碼到位元流1395中。位元流1395繼而被存儲在存放裝置中或藉由比如網路等通訊媒介傳輸到解碼器。
環路濾波器1345對重構的像素資料1317執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移(sample adaptive offset，簡稱SAO)。在一些實施例中，濾波操作包括適應性環路濾波器(adaptive loop filter，簡稱ALF)。
第14圖示出基於TM成本實現候選預測模式選擇的視訊編碼器1300的部分。具體地，該圖示出視訊編碼器1300的幀間預測模組1340的組件。候選分區模組1410向幀間預測模組1340提供候選分區模式指示符。這些可能的候選分區模式可以對應於各種角度-距離對，各種角度-距離對定義根據GPM將當前塊分成兩個(或更多)分區的線。MV候選識別模組1415識別可用於GPM分區的MV候選(作為GPM候選列表)。MV候選識別模組1415可以僅識別單向預測候選或重新使用來自MV緩衝器1365的合併預測候選。
對於GPM候選列表中的每個運動向量和/或對於每個候選分區模式，範本識別模組1420從重構圖片緩衝器1350中獲取相鄰樣本作為L形範本。對於將塊劃分為兩個分區的候選分區模式，範本識別模組1420可以獲取當前塊的相鄰像素作為兩個當前範本，以及使用兩個運動向量來獲取兩個L形像素集合作為當前塊的兩個分區的兩個參考範本。
範本識別模組1420將當前指示的編解碼模式的參考範本和當前範本提供至TM成本計算器1430，TM成本計算器1430執行匹配以產生用於指示的候選分區模式的TM成本。TM成本計算器1430可以根據GPM模式組合參考範本(具有邊緣混合)。TM成本計算器1430還可計算GPM候選列表中的候選MV的TM成本。TM成本計算器1440還可以基於計算的TM成本將重新排序的索引分配給候選預測模式(MV或分區模式)。基於TM成本的索引重新排序在上文部分三中被描述。
計算的各種候選的TM成本被提供至候選選擇模組1440，其可以使用TM成本來選擇用於編碼當前塊的最低成本候選預測模式。選擇的候選預測模式(可以是MV和/或分區模式)被指示給運動補償模組1330以完成用於編碼當前塊的預測。選擇的預測模式也被提供給熵編碼器1390以在位元流中發送。選擇的預測模式可以藉由使用預測模式的相應重新排序的索引來發送，以減少傳輸的位元數。在一些實施例中，提供至運動補償模組1330的MV使用上面部分四中描述的搜索處理來進行精確化(在MV精確化模組1445)。
第15圖概念性地示出基於用於編碼像素塊的TM成本對預測候選分配索引的處理1500。在一些實施例中，計算設備的一個或多個處理單元(例如，處理器)被用來實現編碼器1300，編碼器1300藉由執行存儲在電腦可讀介質中的指令來執行處理1500。在一些實施例中，實現編碼器1300的電子設備執行處理1500。
編碼器接收(在塊1510)資料，該資料要編碼到位元流中作為當前圖片中的像素的當前塊。編碼器根據幾何預測模式(GPM)藉由由角度-距離對定義的二等分線將當前塊劃分(在塊1520)為第一分區和第二分區。第一分區可以藉由幀間預測進行編解碼，該幀間預測參考參考圖片中的樣本，以及第二分區可以藉由幀內預測進行編解碼，該幀內預測參考當前圖片中的當前塊的相鄰樣本。可選地，第一分區和第二分區都可以藉由幀間預測進行編解碼，幀間預測使用來自列表的第一運動向量和第二運動向量來參考第一參考圖片和第二參考圖片中的樣本。
編碼器識別(在塊1530)用於編解碼第一和第二分區的候選預測模式的列表。列表中的不同候選預測模式可以對應於由不同角度-距離對定義的不同二等分線。列表中的不同候選預測模式還可以對應於不同的運動向量，這 些運動向量可被選擇用來生成幀間預測以重構當前塊的第一分區或第二分區。在一些實施例中，列表中的候選運動向量根據計算的候選運動向量的TM成本進行排序(例如，以上升順序)。在一些實施例中，在當前塊大於閾值大小時，候選預測模式的列表僅包括單向預測候選並且不包括雙向預測候選，以及當當前塊小於閾值大小時，候選預測模式的列表包括合併候選。
編碼器計算(在塊1540)列表中的每個候選預測模式的範本匹配(TM)成本。編碼器可以藉由將當前塊的當前範本與組合範本進行匹配來計算候選預測模式的TM成本，該組合範本為第一分區的第一參考範本和第二分區的第二參考範本的組合。
編碼器基於計算的TM成本(例如，較低成本的候選分配的索引需要更少的位元來發送)向候選預測模式分配(在塊1550)索引。編碼器(在塊1560)基於分配給所選擇的候選預測模式的索引發送候選預測模式的選擇。
藉由使用所選擇的候選預測模式，例如，藉由使用選擇的GPM分區來定義第一分區和第二分區，和/或藉由使用所選擇的運動向量來預測和重構第一分區和第二分區，編碼器對當前塊進行編碼(在塊1570)(到位元流中)。
在一些實施例中，視訊編碼器藉由使用精確化運動向量來生成對第一和第二分區的預測以重構當前塊。精確化的運動向量藉由基於初始運動向量搜索具有最低TM成本的運動向量來識別。在一些實施例中，對具有最低TM成本的運動向量的搜索包括反覆運算地應用以運動向量為中心的搜索模式，該運動向量從先前的反覆運算中被識別為具有最低TM成本(直到不再能找到更低成本)。在一些實施例中，編碼器在搜索處理期間在不同的反覆運算或輪次中以不同的解析度(例如，1像素、1/2像素、1/4像素等)應用不同的搜索模式以精確化運動向量。
六、示例視訊解碼器
在一些實施例中，編碼器可以發送(或生成)位元流中的一個或多個語法元素，使得解碼器可以從位元流中解析該一個或多個語法元素。
第16圖示出基於TV成本選擇預測候選的示例視訊解碼器1600。如圖所示，視訊解碼器1600是圖像解碼或視訊解碼電路，該圖像解碼或視訊解碼電路接收位元流1695以及將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器1600具有用於解碼位元流1695的若干組件或模組，包括選自以下的組件：逆量化模組1611、逆變換模組1610、幀內預測模組1625、運動補償模組1630、環路濾波器的1645、解碼圖片緩衝器1650、MV緩衝器1665、MV預測模組1675和解析器1690。運動補償模組1630是幀間預測模組1640的一部分。
在一些實施例中，模組1610-1690是由計算設備的一個或多個處理單元(例如，處理器)執行的軟體指令模組。在一些實施例中，模組1610-1690是由電子設備的一個或多個IC實現的硬體電路模組。儘管模組1610-1690被示為單獨的模組，但一些模組可以組合成單個模組。
根據由視訊編解碼或圖像編解碼標準定義的語法，解析器1690(或熵解碼器)接收位元流1695以及執行初始解析。解析的語法元素包括各種頭部元素、標誌以及量化資料(或量化係數)1612。解析器1690藉由使用熵編解碼技術(例如上下文適應性二進位算術編解碼(context-adaptive binary arithmetic coding，簡稱CABAC)或霍夫曼編碼(Huffman encoding)。
逆量化模組1611對量化資料(或量化係數)1612進行去量化以獲得變換係數，以及逆變換模組1610對變換係數1616執行逆變換以產生重構的殘差訊號1619。重構的殘差訊號1619與來自幀內預測模組1625或運動補償模組1630的預測像素資料1613相加以產生解碼的像素資料1617。解碼像素資料由環 路濾波器1645濾波並存儲在解碼圖片緩衝器1650中。在一些實施例中，解碼圖片緩衝器1650是視訊解碼器1600外部的記憶體。在一些實施例中，解碼圖片緩衝器1650是視訊解碼器1600內部的記憶體。
幀內預測模組1625從位元流1695接收幀內預測資料，以及據此，從存儲在解碼圖片緩衝器1650中的解碼的像素資料1617產生預測像素資料1613。在一些實施例中，解碼的像素資料1617也被存儲在線緩衝器(未示出)中，用於幀內預測和空間MV預測。
在一些實施例中，解碼圖片緩衝器1650的內容用於顯示。顯示裝置1655或者獲取解碼圖片緩衝器1650的內容用於直接顯示，或者獲取解碼圖片緩衝器的內容到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖片緩衝器1650接收像素值。
運動補償模組1630根據運動補償MV(MC MV)從解碼圖片緩衝器1650中存儲的解碼的像素資料1617產生預測像素資料1613。這些運動補償MV藉由將從位元流1695接收的殘差運動資料與從MV預測模組1575接收的預測MV相加來解碼。
基於為解碼先前視訊幀而生成的參考MV(例如，用於執行運動補償的運動補償MV)，MV預測模組1675生成預測的MV。MV預測模組1675從MV緩衝器1665中獲取先前視訊幀的參考MV。視訊解碼器1600將為解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1665中作為用於產生預測MV的參考MV。
環路濾波器1645對解碼的像素資料1617執行濾波或平滑操作以減少編碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移(sample adaptive offset，簡稱SAO)。在一些實施例中， 濾波操作包括適應性濾波器(adaptive loop filter，簡稱ALF)。
第17圖示出基於TM成本實現候選預測模式選擇的視訊解碼器1600的部分。具體地，該圖示出視訊解碼器1600的幀間預測模組1640的組件。候選分區模組1710向幀間預測模組1640提供候選分區模式指示符。這些可能的候選分割模式可以對應於各種角度-距離對，各種角度-距離對定義根據GPM將當前塊分成兩個(或更多)分區的線。MV候選識別模組1715識別可用於GPM分區的MV候選(作為GPM候選列表)。MV候選識別模組1715可以僅識別單向預測候選或重新使用來自MV緩衝器1665的合併預測候選。
對於GPM候選列表中的每個運動向量和/或對於每個候選分區模式，範本識別模組1720從重構圖片緩衝器1650中獲取相鄰樣本作為L形範本。對於將塊劃分為兩個分區的候選劃分模式，範本識別模組1720可以獲取當前塊的相鄰像素作為兩個當前範本，以及使用兩個運動向量來獲取兩個L形像素集合作為當前塊的兩個分區的兩個參考範本。
範本識別模組1720將當前指示的預測模式的參考範本和當前範本提供給TM成本計算器1730，TM成本計算器1730執行匹配以產生指示的候選分割模式的TM成本。TM成本計算器1730可以根據GPM模式組合參考範本(具有邊緣混合)。TM成本計算器1730還可計算GPM候選列表中的候選MV的TM成本。TM成本計算器1740還可以基於計算的TM成本將重新排序的索引分配給候選預測模式(MV或分區模式)。基於TM成本的索引的重新排序在上文部分三種被描述。
計算的TM成本被提供給候選選擇模組1740，其可以基於計算的TM成本將重新排序的索引分配給候選預測模式(MV或分區模式)。候選選擇模組1740可以從熵解碼器1690接收所選擇的預測模式的信令，該信令可以使用基 於TM成本的重新排序的索引(以便減少傳輸的位元數)。所選擇的預測模式(MV或分區模式)被指示給運動補償模組1630以完成用於解碼當前塊的預測。在一些實施例中，提供給運動補償1630的MV使用上面部分四中描述的搜索處理進行精確化(在MV精確化模組1745處)。
第18圖概念性地示出處理1800，該處理1800基於TM成本將索引配置給預測候選以用於解碼像素塊。在一些實施例中，計算設備的一個或多個處理單元(例如，處理器)實現解碼器1600，解碼器1600藉由執行存儲在電腦可讀介質中的指令來執行處理1800。在一些實施例中，實現解碼器1600的電子設備執行處理1800。
解碼器(在塊1810)接收資料(來自位元流)，該資料要被解碼為當前圖片中的像素的當前塊。根據幾何預測模式(GPM)藉由由角度-距離對定義的二等分線，解碼器將當前塊劃分(在塊1820)為第一分區和第二分區。第一分區可以藉由幀間預測來進行編解碼，該幀間預測參考參考圖片中的樣本，以及第二分區可以藉由幀內預測來進行編解碼，該幀內預測藉由參考當前圖片中的當前塊的相鄰樣本。可選地，第一分區和第二分區都可以藉由幀間預測來進行編解碼，幀間預測使用來自列表的第一運動向量和第二運動向量來參考第一參考圖片和第二參考圖片中的樣本。
解碼器識別(在塊1830)用於對第一分區和第二分區進行編解碼的候選預測模式的列表。列表中的不同候選預測模式可以對應於由不同角度-距離對定義的不同二等分線。列表中的不同候選預測模式還可以對應於不同的運動向量，這些運動向量被選擇來生成幀間預測，以重構當前塊的第一分區或第二分區。在一些實施例中，列表中的候選運動向量根據計算的候選運動向量的TM成本對進行排序(例如，以上升順序)。在一些實施例中，在當前塊大於閾 值大小時，候選預測模式的列表僅包括單向預測候選並且不包括雙向預測候選，以及當當前塊小於閾值大小時，候選預測模式的列表包括合併候選。
解碼器計算(在塊1840)列表中的每個候選預測模式的範本匹配(TM)成本。解碼器可以藉由將當前塊的當前範本與組合範本進行匹配來計算候選預測模式的TM成本，該組合範圍為第一分區的第一參考範本和第二分區的第二參考範本的組合。
解碼器基於計算的TM成本(例如，較低成本的候選分配的索引需要更少的位元來發送)向候選預測模式分配(在塊1850)索引。解碼器基於分配給所選擇的候選預測模式的索引接收(在塊1860)候選預測模式的選擇。
解碼器藉由使用所選擇的候選預測模式來重構(在塊1870)當前塊，例如，藉由使用選擇的GPM分區來定義第一分區和第二分區，和/或藉由使用選擇的運動向量來預測和重構第一分區和第二分區。解碼器然後可以提供重構的當前塊以作為重構的當前圖片的一部分來顯示。在一些實施例中，視訊解碼器藉由使用精確化運動向量來生成對第一分區和第二分區的預測來重構當前塊。精確化的運動向量藉由基於初始運動向量搜索具有最低TM成本的運動向量來識別。在一些實施例中，對具有最低TM成本的運動向量的搜索包括反覆運算地應用以運動向量為中心的搜索模式，該運動向量從先前的反覆運算中被識別為具有最低TM成本(直到不再能找到更低成本)。在一些實施例中，解碼器在搜索過程期間在不同的反覆運算或輪次中以不同的解析度(例如，1-像素、1/2-像素、1/4-像素等)應用不同的搜索模式以精確化運動向量。
七、示例電子系統
許多上述特徵和應用被實現為軟體處理，這些軟體處理被指定為記錄在電腦可讀存儲介質(也稱為電腦可讀介質)上的一組指令。當這些指令 由一個或多個計算或處理單元(例如，一個或多個處理器、處理器內核或其他處理單元)執行時，它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟驅動器(compact disc read-only memory，簡稱CD-ROM)、快閃記憶體驅動器、隨機存取記憶體(random-access memroy，簡稱RAM)晶片、硬碟驅動器、可擦除可程式設計唯讀記憶體(erasable programmble read-only memory，簡稱EPROM)、電可擦除可程式設計唯讀記憶體(electrically erasable proagrammble read-only memory，簡稱EEPROM)等。電腦可讀介質不包括藉由無線或有線連接傳遞的載波和電子訊號。
在本說明書中，術語“軟體”意在包括駐留在唯讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以實現為更大程式的子部分，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，共同實現此處描述的軟體發明的單獨程式的任一組合都在本公開的範圍內。在一些實施例中，軟體程式，在被安裝以在一個或多個電子系統上運行時，定義一個或多個特定機器實施方式，該實施方式處理和執行軟體程式的操作。
第19圖概念性地示出了實現本公開的一些實施例的電子系統1900。電子系統1900可以是電腦(例如，臺式電腦、個人電腦、平板電腦等)、電話、PDA或任一其他類型的電子設備。這種電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦可讀介質的介面。電子系統1900包括匯流排1905、處理單元1910、圖形處理單元(graphics-processing unit，簡稱GPU)1915、系統記憶體1920、網路1925、唯讀記憶體1930、永久存放裝置1935、輸入設備1940，和輸出設備1945。
匯流排1905共同表示與電子系統1900通訊連接的眾多內部設備 的所有系統、週邊設備和晶片組匯流排。例如，匯流排1905將處理單元1910與GPU 1915，唯讀記憶體1930、系統記憶體1920和永久存放裝置1935通訊地連接。
處理單元1910從這些各種記憶體單元中獲取要執行的指令和要處理的資料，以便執行本公開的處理。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1915並由其執行。GPU 1915可以卸載各種計算或補充由處理單元1910提供的影像處理。
唯讀記憶體(read-only-memory，簡稱ROM)1930存儲由處理單元1910和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存放設備1935是讀寫存放設備。該設備是即使在電子系統1900關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量記憶裝置(例如磁片或光碟及其對應的磁碟機)作為永久存放裝置1935。
其他實施例使用卸除式存放裝置設備(例如軟碟、快閃記憶體設備等，及其對應的磁碟機)作為永久存放裝置。與永久存放裝置1935一樣，系統記憶體1920是讀寫記憶體設備。然而，與永久存放裝置1935不同，系統記憶體1920是易失性(volatile)讀寫記憶體，例如隨機存取記憶體。系統記憶體1920存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的處理被存儲在系統記憶體1920、永久存放裝置1935和/或唯讀記憶體1930中。例如，根據本公開的一些實施例，各種記憶體單元包括用於根據處理多媒體剪輯的指令。從這些各種記憶體單元中，處理單元1910獲取要執行的指令和要處理的資料，以便執行一些實施例的處理。
匯流排1905還連接到輸入設備1940和輸出設備1945。輸入設備1940使使用者能夠向電子系統傳達資訊和選擇命令。輸入設備1940包括字母數位鍵盤和定點設備(也被稱為“游標控制設備”)、照相機(例如，網路攝像頭)、 麥克風或用於接收語音命令的類似設備等。輸出設備1945顯示由電子系統生成的圖像或者輸出資料。輸出設備1945包括印表機和顯示裝置，例如陰極射線管(cathode ray tubes，簡稱CRT)或液晶顯示器(liquid crystal display，簡稱LCD)，以及揚聲器或類似的音訊輸出設備。一些實施例包括用作輸入和輸出設備的設備，例如觸控式螢幕。
最後，如第19圖所示，匯流排1905還藉由網路介面卡(未示出)將電子系統1900耦合到網路1925。以這種方式，電腦可以是電腦網路(例如局域網(“LAN”)、廣域網路(“WAN”)或內聯網的一部分，或者是多種網路的一個網路，例如互聯網。電子系統1900的任一或所有組件可以與本公開結合使用。
一些實施例包括電子組件，例如微處理器、存儲裝置和記憶體，其將電腦程式指令存儲在機器可讀或電腦可讀介質(或者被稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質)中。這種電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟(read-only compact discs，簡稱CD-ROM)、可記錄光碟(recordable compact discs，簡稱CD-R)、可重寫光碟(rewritable compact discs，簡稱CD-RW)、唯讀數位多功能光碟(read-only digital versatile discs)(例如，DVD-ROM，雙層DVD-ROM)，各種可燒錄/可重寫DVD(例如，DVD-RAM,DVD-RW,DVD+RW等)，快閃記憶體(例如，SD卡，迷你SD卡、微型SD卡等)、磁性和/或固態硬碟驅動器、唯讀和可記錄Blu-Ray®光碟、超密度光碟、任一其他光學或磁性介質以及軟碟。電腦可讀介質可以存儲可由至少一個處理單元執行以及包括用於執行各種操作的指令集合的電腦程式。電腦程式或電腦代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由電腦、電子組件或使用注釋器(interpreter)的微處理器執行的高級代碼的文檔。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許 多上述特徵和應用由一個或多個積體電路執行，例如專用積體電路(application specific integrated circuit，簡稱ASIC)或現場可程式設計閘陣列(field programmable gate array，簡稱FPGA)。在一些實施例中，這樣的積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件(programmable logic device，簡稱PLD)、ROM或RAM器件中的軟體。
如在本說明書和本申請的任一申請專利範圍中使用的，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於本說明書的目的，術語顯示或顯示是指在電子設備上顯示。如在本說明書和本申請的任何申請專利範圍中所使用的，術語“電腦可讀介質”、“電腦可讀介質”和“機器可讀介質”完全限於以電腦可讀形式存儲資訊的有形物理物件。這些術語不包括任何無線訊號、有線下載訊號和任何其他短暫訊號。
雖然已經參考許多具體細節描述了本公開，但是本領域之通常知識者將認識到，本公開可以以其他特定形式實施而不背離本公開的精神。此外，許多圖(包括第15圖和第18圖)概念性地說明了處理。這些處理的具體操作可能不會按照所示和描述的確切循序執行。具體操作可以不是在一個連續的一系列操作中執行，在不同的實施例中可以執行不同的具體操作。此外，該處理可以使用幾個子處理來實現，或者作為更大的宏處理的一部分來實現。因此，本領域之通常知識者將理解本公開不受前述說明性細節的限制，而是由所附申請專利範圍限定。
補充說明
本文所描述的主題有時表示不同的組件，其包含在或者連接到其他不同的組件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的 排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個組件被視為“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的組件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的組件，和/或無線可交互和/或無線上相互作用的組件，和/或邏輯上相互作用和/或邏輯上可交互的組件。
此外，關於基本上任何複數和/或單數術語的使用，本領域之通常知識者可以根據上下文和/或應用從複數變換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。
此外，本領域之通常知識者可以理解，通常，本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域之通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍內容，將在申請專利範圍內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“一個”或“一種”介紹申請專利範圍內容，而限制了任何特定神專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“一個”或“一種”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域之通常知識者可以認識到，這樣的 內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域之通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統等。本領域之通常知識者進一步可理解，無論在說明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，出於說明目的，本發明已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，真實的範圍和申請由申請專利範圍表示。
1800:處理
1810、1820、1830 1840、1850、1860、1870:步驟

Claims (13)

  1. 一種視訊編解碼方法，包括：接收資料，該資料將被編碼或解碼作為一視訊的一當前圖片的一當前塊，其中該當前塊藉由一二等分線劃分為一第一分區和一第二分區，以及該二等分線由一角度-距離對定義；識別用於編解碼該第一分區和該第二分區的一候選預測模式列表；計算該候選預測模式列表中每個候選預測模式的一範本匹配成本；基於一索引接收或發送對一候選預測模式的一選擇，基於計算的該範本匹配成本該索引被分配給所選擇的該候選預測模式；以及藉由使用所選擇的該候選預測模式來預測該第一分區和該第二分區來重構該當前塊，其中，該候選預測模式列表(i)當該當前塊大於一閾值大小時，僅包括單向預測候選以及不包括雙向預測候選以及(ii)當該當前塊小於一閾值大小時，包括合併候選。
  2. 如請求項1所述之視訊編解碼方法，其中，該候選預測模式的該範本匹配成本藉由將該當前塊的一當前範本與一組合範本進行匹配來計算，該組合範本為該第一分區的一第一參考範本和該第二分區的一第二參考範本的該組合範本。
  3. 如請求項1所述之視訊編解碼方法，其中，該候選預測模式列表中多個不同的候選預測模式對應於多個不同的二等分線，該等二等分線由多個不同的角度-距離對定義。
  4. 如請求項1所述之視訊編解碼方法，其中，該候選預測模式列表中多個不同的候選預測模式對應多個不同的運動向量，其中所選擇的該候選預測模式對應於從該候選預測模式列表中選擇的一候選運動向量以生成一幀間 預測，以重構該當前塊的該第一分區或該第二分區。
  5. 如請求項4所述之視訊編解碼方法，其中，該候選預測模式列表中的該候選運動向量根據計算的多個候選運動向量的多個範本匹配成本進行排序。
  6. 如請求項1所述之視訊編解碼方法，其中，該第一分區藉由幀間預測來進行編解碼，該幀間預測參考一參考圖片中的多個樣本，以及該第二分區藉由幀內預測來進行編解碼，該幀內預測參考該當前圖片中的該當前塊的多個相鄰樣本。
  7. 如請求項1所述之視訊編解碼方法，其中，該第一分區和該第二分區藉由幀間預測進行編解碼，該幀間預測使用來自該候選預測模式列表的一第一運動向量和一第二運動向量來參考一第一參考圖片和一第二參考圖片中的多個樣本。
  8. 如請求項1所述之視訊編解碼方法，其中，重構該當前塊包括使用多個精確化的運動向量來生成對該第一分區和該第二分區的預測，其中一精確化的運動向量藉由基於一初始運動向量搜索具有一最低範本匹配成本的一運動向量來識別。
  9. 如請求項8所述之視訊編解碼方法，其中，搜索具有該最低範本匹配成本的該運動向量包括反覆運算地應用以一運動向量為中心的一搜索模式，該運動向量被識別為具有來自先前反覆運算的一最低範本匹配成本。
  10. 如請求項9所述之視訊編解碼方法，其中，搜索具有該最低範本匹配成本的該運動向量包括在多個不同的反覆運算中以多個不同的解析度應用多個不同的搜索模式。
  11. 如請求項1所述之視訊編解碼方法，其中，該候選預測模式列表包括一個或多個合併候選，其中一合併候選的該範本匹配成本藉由將該當前 塊的一當前範本與一參考範本進行匹配來計算，該參考範本是該合併候選參考的一像素塊的該參考範本。
  12. 如請求項11所述之視訊編解碼方法，其中，該候選預測模式列表還包括一個或多個幾何預測模式候選，其中一幾何預測模式候選的該範本匹配成本藉由將該當前塊的一當前範本與一組合範本進行匹配來計算，該組合範本為該第一分區的一第一參考範本和該第二分區的一第二參考範本的該組合範本。
  13. 一種電子裝置，包括：一種視訊解碼器或編碼器電路，被配置為執行多個操作，包括：接收資料，該資料將被編碼或解碼作為一視訊的一當前圖片的一當前塊，其中該當前塊藉由一二等分線劃分為一第一分區和一第二分區，以及該二等分線由一角度-距離對定義；識別用於編解碼該第一分區和該第二分區的一候選預測模式列表；計算該候選預測模式列表中每個候選預測模式的一範本匹配成本；基於一索引接收或發送對一候選預測模式的一選擇，基於計算的該範本匹配成本該索引被分配給所選擇的該候選預測模式；以及藉由使用所選擇的該候選預測模式來預測該第一分區和該第二分區來重構該當前塊，其中，該候選預測模式列表(i)當該當前塊大於一閾值大小時，僅包括單向預測候選以及不包括雙向預測候選以及(ii)當該當前塊小於一閾值大小時，包括合併候選。
TW111130760A 2021-08-16 2022-08-16 視訊編解碼方法及裝置 TWI814540B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163233346P 2021-08-16 2021-08-16
US63/233,346 2021-08-16
US202263318806P 2022-03-11 2022-03-11
US63/318,806 2022-03-11
PCT/CN2022/112566 WO2023020446A1 (en) 2021-08-16 2022-08-15 Candidate reordering and motion vector refinement for geometric partitioning mode
WOPCT/CN2022/112566 2022-08-15

Publications (2)

Publication Number Publication Date
TW202310620A TW202310620A (zh) 2023-03-01
TWI814540B true TWI814540B (zh) 2023-09-01

Family

ID=85240072

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111130760A TWI814540B (zh) 2021-08-16 2022-08-16 視訊編解碼方法及裝置

Country Status (2)

Country Link
TW (1) TWI814540B (zh)
WO (1) WO2023020446A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023200643A2 (en) * 2022-04-12 2023-10-19 Dolby Laboratories Licensing Corporation Geometric partition mode in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202007158A (zh) * 2018-07-13 2020-02-01 弗勞恩霍夫爾協會 分區框內寫碼技術
TW202011355A (zh) * 2010-04-13 2020-03-16 美商Ｇｅ影像壓縮有限公司 解碼器、編碼器、及相關聯方法與資料串流

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018205914A1 (en) * 2017-05-10 2018-11-15 Mediatek Inc. Method and apparatus of reordering motion vector prediction candidate set for video coding
WO2020065520A2 (en) * 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Extended merge prediction
WO2019201264A1 (en) * 2018-04-18 2019-10-24 Mediatek Inc. Candidate reorganizing with advanced control in video coding
US11363299B2 (en) * 2019-12-12 2022-06-14 Panasonic Intellectual Property Corporation Of America Encoding and decoding with merge mode and block partition index

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202011355A (zh) * 2010-04-13 2020-03-16 美商Ｇｅ影像壓縮有限公司 解碼器、編碼器、及相關聯方法與資料串流
TW202007158A (zh) * 2018-07-13 2020-02-01 弗勞恩霍夫爾協會 分區框內寫碼技術

Also Published As

Publication number Publication date
WO2023020446A1 (en) 2023-02-23
TW202310620A (zh) 2023-03-01

Similar Documents

Publication Publication Date Title
TWI688261B (zh) 用於簡化的合併候選發信的編解碼方法及裝置
TWI669951B (zh) 多重假設之合併模式
TWI677234B (zh) 二次轉換核心尺寸選擇
TWI711300B (zh) 照度補償方法及相應之視訊處理裝置
TWI690195B (zh) 硬體友善限制之運動向量細化修正
TW202034689A (zh) 用於發信合併工具的方法及裝置
TWI814540B (zh) 視訊編解碼方法及裝置
EP4037320A1 (en) Boundary extension for video coding
TWI833327B (zh) 視訊編解碼方法及裝置
WO2023020444A1 (en) Candidate reordering for merge mode with motion vector difference
US11805245B2 (en) Latency reduction for reordering prediction candidates
WO2023174426A1 (en) Geometric partitioning mode and merge candidate reordering
TWI830548B (zh) 視訊編碼方法和相關電子設備
TWI836792B (zh) 視訊編解碼方法及相關裝置
WO2023131125A1 (en) Method, apparatus, and medium for video processing
WO2023051645A1 (en) Method, apparatus, and medium for video processing
WO2024027700A1 (en) Joint indexing of geometric partitioning mode in video coding
WO2023208063A1 (en) Linear model derivation for cross-component prediction by multiple reference lines
WO2023193769A1 (en) Implicit multi-pass decoder-side motion vector refinement
WO2023143173A1 (en) Multi-pass decoder-side motion vector refinement
WO2024083203A1 (en) Method, apparatus, and medium for video processing
WO2023061305A1 (en) Method, apparatus, and medium for video processing
WO2023078430A1 (en) Method, apparatus, and medium for video processing
TW202402054A (zh) 用於候選清單的相似性閾值
TW202349965A (zh) 高效的幾何分區模式視頻編解碼