TWI702839B - 用於視訊編解碼的優化分割結構的方法和裝置 - Google Patents

用於視訊編解碼的優化分割結構的方法和裝置 Download PDF

Info

Publication number
TWI702839B
TWI702839B TW108108582A TW108108582A TWI702839B TW I702839 B TWI702839 B TW I702839B TW 108108582 A TW108108582 A TW 108108582A TW 108108582 A TW108108582 A TW 108108582A TW I702839 B TWI702839 B TW I702839B
Authority
TW
Taiwan
Prior art keywords
inter
current
block
segmentation
video
Prior art date
Application number
TW108108582A
Other languages
English (en)
Other versions
TW201941616A (zh
Inventor
陳俊嘉
蔡佳銘
蘇郁琪
賴貞延
徐志瑋
陳慶曄
莊子德
黃毓文
黃晗
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201941616A publication Critical patent/TW201941616A/zh
Application granted granted Critical
Publication of TWI702839B publication Critical patent/TWI702839B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

在一種方法中，使用包括三叉樹分割和至少一個其他類型分割的子樹分割的一個或複數個階段，將當前塊分割為複數個最終子塊，其中如果與當前子塊相關聯的當前樹深度大於第一閾值，並且該第一閾值是大於或等於1的整數，則從該子樹分割中排除該三叉樹分割。在另一種方法中，如果滿足測試條件，使用從修改的畫面間工具組中選擇的當前畫面間模式對當前塊進行編碼或解碼，其中，透過自初始的畫面間工具組移除一個或複數個第一畫面間工具，用於一個或複數個複雜性降低的畫面間工具來代替一個或複數個第二畫面間工具，及其組合，而自該初始的畫面間工具組，修改的畫面間工具組被導出。

Description

用於視訊編解碼的優化分割結構的方法和裝置
本發明是有關於使用靈活塊分割類型和/或畫面間模式的視訊編解碼，特別是有關於一種透過在滿足特定測試條件時限制編碼樹分割來降低複雜性的方法和裝置。在另一方面，如果滿足某個測試條件，則減少了畫面間(Inter)工具的複雜性。
高效視訊編碼(High Efficiency Video Coding,HEVC)標準是在ITU-T視訊編碼專家組(VCEG)和ISO/IEC運動圖像專家組(MPEG)標準化組織的聯合視訊項目下開發的，並且高效視訊編碼與視訊編碼聯合協作組(JCT-VC)具有合作關係。在HEVC中，一個切片被分割為複數個編碼樹單元(coding tree units,CTU)。在主配置文件中，CTU的最小和最大尺寸由序列參數集(sequence parameter set,SPS)中的語法元素指定。允許的CTU尺寸可以是8x8,16x16,32x32或64x64。對於每個切片，依據光柵掃描順序處理切畫面內切片的CTU。
CTU被進一步分割為複數個編碼單元(coding unit,CU)以適應各種局部特性。表示為編碼樹的四叉樹，用於將CTU分割為複數個CU。令CTU尺寸為MxM，其中M是64,32或16的值中的一個。CTU可以是單個CU (即，沒有分割)或者可以分成四個相同尺寸的較小單元(即，每個的尺寸為M/2xM/2)，對應於編碼樹的節點。如果單元是編碼樹的葉節點，則單元變為CU。否則，可以迭代四叉樹分割過程，直到節點的尺寸達到序列參數集(Sequence Parameter Set,SPS)中指定的最小允許CU尺寸。該表示導致由第1圖中的編碼樹(也稱為分割樹結構)120指定的遞歸結構。第1圖中示出了CTU分割110，其中實線指示CU邊界。使用畫面間(時間)或畫面內(空間)預測來編碼圖像區域的決策是在CU層進行的。由於最小CU尺寸可以是8x8，因此用於在不同基本預測類型之間切換的最小間隔尺寸是8x8。
此外，依據HEVC，可以將每個CU分割為一個或複數個預測單元(prediction unit,PU)。與CU耦合，PU用作共享預測信息的基本代表塊。在每個PU內部，應用相同的預測過程，並且基於PU將相關信息發送到解碼器。可以依據PU分割類型，將CU分成一個，兩個或四個PU。HEVC定義了用於將CU分成PU的八種形狀，如第2圖所示，包括2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N分割類型。與CU不同，PU可以僅依據HEVC分割一次。第二行中所示的分割對應於不對稱分割，其中兩個分割部分具有不同的尺寸。
在透過基於PU分割類型的預測過程獲得殘餘塊之後，可以依據另一種四叉樹結構將CU的預測殘差分割為變換單元(TU)，該四叉樹結構類似於如第1圖所示的CU的編碼樹。實線表示CU邊界，虛線表示TU邊界。TU是具有用於應用整數變換和量化的殘差或變換係數的基本代表性塊。對於每個TU，應用具有與TU相同尺寸的一個整數變換以獲得殘差係數。在以TU為基礎量化之後，將這些係數發送到解碼器。
術語編碼樹塊(coding tree block,CTB)，編碼塊(coding block,CB)，預測塊(prediction block，PB)和變換塊(transform block,TB)被定義 為指定與CTU，CU，PU和TU分別相關聯的一個顏色分量的2-D樣本陣列。因此，CTU由一個亮度CTB，兩個色度CTB和相關的語法元素組成。類似的關係同樣適應於CU，PU和TU。樹分割通常同時應用於亮度和色度，但是當達到色度的某些最小尺寸時，存在例外。
或者，在JCTVC-P1005(D.Flynn,et al,“HEVC Range Extensions Draft 6”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,16th Meeting：San Jose,US,9-17January 2014,Document：JCTVC-P1005)中所提出的二叉樹分割結構中，如第3圖所示，可以使用各種二元分割類型將塊遞歸地分割成兩個較小的塊。如第3圖的前兩個分割所示，最有效和最簡單的是對稱水平分割和對稱垂直分割。對於尺寸為M×N的給定塊，發送一個標誌以指示給定塊是否被分成兩個較小的塊。如果是，則發送另一語法元素以指示使用哪種分割類型。如果使用水平分割，則將給定塊分成兩個尺寸為M×N/2的塊。如果使用垂直分割，則將給定塊分成兩個尺寸為M/2×N的塊。可以迭代二叉樹分割過程，直到分割塊的尺寸(寬度或高度)達到最小允許塊尺寸(寬度或高度)為止。可以在諸如SPS的高級語法中定義最小允許塊尺寸。由於二叉樹具有兩種分割類型(即水平和垂直)，因此應指示最小允許塊寬度和高度。當分割將導致塊高度小於指示的最小值時，隱含地暗示非水平分割。當分割將導致塊寬度小於指示的最小值時，隱含地暗示非垂直分割。第4圖示出了塊分割410及其對應的二進制樹420的示例。在二叉樹的每個分割節點(即，非葉節點)中，使用一個標誌來指示使用哪種分割類型(水平或垂直)，其中0表示水平分割，1表示垂直分割。
二進制樹結構可用於將圖像區域分割為複數個較小的塊，諸如將切片分割為CTU，將CTU分割為CU，將CU分割為PU，或將CU分割為TU，等等。二叉樹可以用於將CTU分割為CU，其中二叉樹的根節點是CTU，二叉 樹的葉節點是CU。可以透過預測和變換編解碼來進一步處理葉節點。為了簡化，不存在從CU到PU或從CU到TU的進一步分割，這意味著CU等於PU並且PU等於TU。因此，換句話說，二叉樹的葉節點是用於預測和變換編解碼的基本單元。
二叉樹結構比四叉樹結構更靈活，因為可以支持更多的分割形狀，這也是編解碼效率改進的來源。但是，編解碼複雜度也會增加，以便選擇最佳的分割形狀。為了平衡複雜性和編解碼效率，已經公開了一種組合四叉樹和二叉樹結構的方法，也稱為四叉樹加二叉樹(quadtree plus binary tree,QTBT)結構。依據QTBT結構，首先透過四叉樹結構分割塊，並且可以迭代四叉樹分割，直到分割塊的尺寸達到最小允許四叉樹葉節點尺寸。如果葉四叉樹塊不大於最大允許二叉樹根節點尺寸，則可以透過二叉樹結構進一步分割，並且可以迭代二叉樹分割，直到分割塊的尺寸(寬度或高度)達到最小允許二叉樹葉節點尺寸(寬度或高度)或二叉樹深度達到最大允許二叉樹深度。在QTBT結構中，允許的最小四叉樹葉節點尺寸，最大允許二叉樹根節點尺寸，最小允許二叉樹葉節點寬度和高度以及最大允許二叉樹深度可以在高級語法中指示，例如在SPS。第5圖示出了塊分割510及其對應的QTBT 520的示例。實線表示四叉樹分割，虛線表示二叉樹分割。在二叉樹的每個分割節點(即，非葉節點)中，一個標誌指示使用哪種分割類型(水平或垂直)，0可以指示水平分割，1可以指示垂直分割。
上述QTBT結構可用於將圖像區域(例如，切片，CTU或CU)分割成複數個較小的塊，例如將切片分割為CTU，將CTU分割為CU，將CU分割為PU，或將CU分割為複數個較小的TU等。例如，QTBT可以用於將CTU分割為CU，其中QTBT的根節點是CTU，其透過QTBT結構分割為複數個CU，並且CU透過預測和變換編解碼進一步處理。為了簡化，不存在從CU到PU或 從CU到TU的進一步分割。這意味著CU等於PU並且PU等於TU。因此，換句話說，QTBT結構的葉節點是用於預測和變換的基本單元。
對於I切片，QTBT樹結構通常應用亮度/色度單獨編碼。例如，QTBT樹結構分別應用於切片I(I-slice)的亮度和色度分量，並且同時應用於P-和B-切片的亮度和色度(除非達到色度的某些最小尺寸)。換句話說，在切片I中，亮度CTB具有其QTBT結構的塊分割，並且兩個色度CTB具有另一個QTBT結構的塊分割。在另一示例中，兩個色度CTB還可以具有它們自己的QTBT結構塊分割。
對於基於塊的編解碼，總是需要將圖像分割成塊(例如，CU，PU和TU)以用於編解碼目的。如本領域所知，在應用塊分割之前，可以將圖像分割為較小的圖像區域，例如切片，方塊(tiles)，CTU行或CTU。將圖像分割為塊用於編解碼目的的過程稱為使用編碼單元(CU)結構分割圖像。用於生成HEVC採用的CU，PU和TU的特定分割方法是採用編碼單元(CU)結構的示例。QTBT樹結構是編碼單元(CU)結構的另一示例。
為了進一步支持更多分割形狀以實現更靈活的分割，三叉樹分割方法被設計為捕獲位於塊中心的對象，而四叉樹和二叉樹分割方法總是沿塊中心分割。第6圖示出了垂直三叉樹分割(610)和水平三叉樹分割(620)。透過允許垂直或水平四分之一分割，三叉樹分割方法可以提供沿塊邊界更快地定位小對象的能力。
多類型樹(Multi-Type-Tree,MTT)塊分割透過在MTT的第二級中允許二叉樹和三叉樹(或也稱為三叉樹)分割方法來擴展QTBT中的兩層樹結構的概念。MTT中的兩級樹分別稱為區域樹(region tree,RT)和預測樹(prediction tree，PT)。第一層RT始終是四叉樹(quad-tree,QT)分割，第二級PT可以是二叉樹(binary tree,BT)分割或三叉樹(triple tree,TT)分割。例 如，首先透過RT對CTU進行分割，這是QT分割，並且每個RT葉節點可以進一步由PT分割，其是BT或TT分割。由PT分割的塊可以進一步用PT分割，直到達到最大PT深度。例如，可以首先透過垂直BT分割來分割塊以生成左子塊和右子塊，並且透過水平TT分割進一步分割左子塊，同時透過水平BT分割進一步分割右子塊。PT葉節點是用於預測和變換的基本編碼單元，並且不會被進一步分割。
第7圖示出了MTT中的樹型信令的示例。如第7圖所示，在節點710處檢查RT分割是否用于分割塊。發訊號通知“1”以指示RT分割應用於當前塊，如節點720所示。“0”被發訊號通知表示RT分割未應用於當前塊。在這種情況下，如節點730所示，檢查BT分割或TT分割是否應用於當前塊。如果BT分割和TT分割都不應用於當前塊(即，“0”分支)，則分割進程到達葉節點(如，沒有分割)，如節點740所示。如果BT分割或TT分割應用於塊(即，“1”分支)，則如節點750所示，系統將進一步發訊號以指示它是否是水平分割或垂直分割。如節點760所示，用訊號通知“0”以指示BT/TT分割是水平的。如節點770所示，用訊號通知“1”以指示BT/TT分割是垂直的。在這種情況下，附加位元被发送以指示它是由節點780指示的BT分割(即，“0”分支)還是由節點790指示的TT分割(即，“1”分支)。類似的信令也應用於節點760處的水平BT/TT分割的情況。
在構建MTT塊分割之後，MTT葉節點是CU，其用於預測和變換而無需任何進一步的分割。在MTT中，所提出的樹結構在切片I中針對亮度和色度單獨編碼，並且同時應用於切片P和切片B中的亮度和色度(除了在達到色度的某些最小尺寸時)。也就是說，在切片I中，亮度CTB具有一個QTBT結構的塊分割，並且兩個色度CTB具有另一個QTBT結構的塊分割。
雖然MTT能夠透過自適應地分割塊用於預測和變換，來改善性 能，但是希望在可能的情況下進一步改善性能以便提升整體效率。
合併模式
為了提高HEVC中的運動矢量(motion vector,MV)編碼的編碼效率，HEVC具有跳過和合併模式。跳過模式和合併模式從空間相鄰塊(空間候選)或時間同位塊(時間候選)獲得運動信息。當PU是跳過模式和合併模式時，不編碼運動信息。相反，僅編碼所選候選的索引。對於跳過模式，殘差訊號被強制為零而不進行編碼。在HEVC中，如果特定塊被編碼為跳過模式或合併模式，則候選索引被發送以指示候選集中的哪個候選用於合併。每個合併的PU重用所選候選的MV，預測方向和參考圖像索引。
對於HEVC參考軟體HM-4.0中的合併模式，如第8圖所示，從A0，A1，B0和B1導出多達四個空間MV候選，並且從TBR或TCTR導出一個時間MV候選(首先使用TBR，如果TBR不可用，則使用TCTR代替。注意，如果四個空間MV候選中的任何一個不可用，則位置B2然後用於導出MV候選作為替代。在四個空間MV候選和一個時間MV候選的推導過程之後，應用去除冗餘(修剪)以移除冗餘MV候選。如果在去除冗餘(修剪(pruning))之後，可用MV候選的數量小於5，則三種類型的附加候選被推導並將其添加到候選集合(即，候選列表)。編碼器基於速率-失真優化(RDO)策略選擇候選集合中的一個最終候選用於跳過或合併模式，並將索引發送到解碼器。
在下文中，為方便起見，跳過模式和合併模式都可以稱為“合併模式”。換句話說，此後的本公開中的“合併模式”可以表示跳過和合併模式。
合併模式和AMVP模式
為了實現HEVC中的混合編解碼架構的最佳編解碼效率，對於每個PU畫面間存在兩種預測模式(即，畫面內預測和畫面間預測)。對於畫面內預測模式，空間相鄰重建像素可用於生成方向預測。HEVC最多有35個方 向。對於畫面間預測模式，時間重建參考訊框可用於生成運動補償預測。有三種不同的模式，包括跳過模式，合併模式和畫面間高級運動矢量預測(Advanced Motion Vector Prediction,AMVP)模式。
當以畫面間AMVP模式編碼PU時，利用可與運動矢量預測(MVP)一起使用的傳輸運動矢量差(MVD)來執行運動補償預測，以用於導出運動矢量(MV)。為了在畫面間AMVP模式中確定MVP，使用高級運動矢量預測(AMVP)方案來選擇包括兩個空間MVP和一個時間MVP的AMVP候選集中的運動矢量預測。因此，在AMVP模式中，需要對MVP的MVP索引和相應的MVD進行編碼和傳輸。另外，用於指定雙向預測中的預測方向的間預測方向，以及列表0(即，L0)和列表1(即，L1)的單向預測，以及每個列表的參考訊框索引也應當被編碼和傳輸。
當以跳過或合併模式編碼PU時，除了所選候選的合併索引之外，不發送運動信息，因為跳過模式和合併模式利用運動推斷方法。由於跳過模式和合併模式的運動矢量差(MVD)為零，因此跳過模式或合併模式編碼的塊的MV與運動矢量預測(MVP)相同(即，MV=MVP+MVD=MVP)。因此，跳過模式或合併模式編碼的塊從同位圖像中的空間相鄰塊(空間候選)或時間塊(時間候選)獲得運動信息。同位圖像是列表0或列表1中的第一參考圖像，其在切片報頭中被發送。在跳過PU的情況下，也省略殘差訊號。為了確定跳過模式和合併模式的合併索引，合併方案用於在包含四個空間MVP和一個時間MVP的合併候選集中選擇運動矢量預測。
第8圖示出了用於導出AMVP和合併方案的空間和時間MVP的相鄰PU。在AMVP中，左側MVP是來自A0，A1的第一個可用的MVP，頂級MVP是來自B0，B1，B2的第一個可用的MVP，並且時間MVP是來自TBR或TCTR的第一個可用的MVP(首先使用TBR，如果TBR不可用，則使用TCTR代 替)。如果左側MVP不可用且頂部MVP未縮放MVP，如果在B0，B1和B2中存在縮放的MVP，則可以導出第二頂部MVP。在HEVC中，AMVP的MVP的列表尺寸是2。因此，在兩個空間MVP和一個時間MVP的推導過程之後，僅前兩個MVP可以包括在MVP列表中。如果在去除冗餘之後，可用MVP的數量小於2，則將零矢量候選添加到候選列表中。
對於跳過模式和合併模式，如第8圖所示，從A0，A1，B0和B1導出多達四個空間合併索引，並且從TBR或TCTR導出一個時間合併索引(首先使用TBR，如果TBR不可用，則使用TCTR代替)。請注意，如果四個空間合併索引中的任何一個不可用，則使用位置B2來導出合併索引作為替代。在四個空間合併索引和一個時間合併索引的推導過程之後，應用刪除冗餘來刪除冗餘的合併索引。如果在刪除冗餘之後，可用的合併索引的數量小於5，則導出三種類型的附加候選並將其添加到候選列表中。
透過使用原始合併候選來創建附加的雙向預測合併候選。附加的候選分為三種候選類型：
1.組合雙向預測合併候選(候選類型1)
2.比例雙向預測合併候選(候選類型2)
3.零矢量合併/AMVP候選(候選類型3)
在候選類型1中，透過組合原始合併候選來創建組合的雙向預測合併候選。特別地，原始候選中的兩個候選俱有mvL0(列表0中的運動矢量)和refIdxL0(列表0中的參考圖像索引)或mvL1(列表1中的運動矢量)和refIdxLI(列表1中的參考圖像索引)，用於創建雙向預測合併候選。第9圖示出了組合的雙向預測合併候選920的推導過程的示例。候選組910對應於原始候選列表，其包括L0中的mvL0_A，ref0(931)和L1中的mvL1_B，ref(932)。可以透過組合L0和L1中的候選來形成雙向預測MVP 933。
在候選類型2中，透過縮放原始合併候選來創建縮放的雙向預測合併候選。具體地，原始候選具有mvLX(列表X中的運動矢量)和refIdxLX(列表X中的參考圖像索引)，X可以是0或1。原始候選中的一個候選用於創建雙向預測合併候選。例如，一個候選A是具有mvL0_A和ref0的列表0單向預測，首先將ref0複製到列表1中的參考索引ref0'。之後，透過用ref0和ref0'縮放mvL0_A來計算mvL0'_A。然後，創建在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0’_A和ref0’的雙向預測合併候選，並將其添加到合併候選列表中。在第10圖中示出了縮放的雙向預測合併候選的導出過程的示例，其中候選列表1010對應於原始候選列表，並且候選列表1020對應於包括兩個生成的雙向預測MVP的擴展候選列表。
在候選類型3中，透過組合可以被參考的零矢量和參考索引來創建零矢量合併/AMVP候選。第11A圖示出了用於添加零矢量合併候選的示例，其中候選列表1110對應於原始合併候選列表，並且候選列表1120對應於透過添加零矢量候選的擴展合併候選列表。第11B圖示出了用於添加零矢量AMVP候選的示例，其中透過添加零矢量候選，候選列表1130(L0)和候選列表1132(L1)對應於原始AMVP候選列表，並且候選列表1140(L0)和1142(L1)對應於擴展的AMVP候選。如果零矢量候選不重複，則將其添加到合併/AMVP候選列表中。
PMVD模式或FRUC模式
基於模式的運動矢量推導(Pattern-based Motion Vector Derivation，PMVD)模式(或稱為模式匹配運動矢量推導(Pattern Matched Motion Vector Derivation,PMMVD)或訊框速率上轉換(Frame-Rate Up-Conversion,FRUC)模式)是JVET測試模型3(聯合)中公開的編碼工具(Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11：3rd Meeting：Geneva,CH,26 May-1 June 2016,Document Title：Algorithm Description of Joint Exploration Test Model 3)，可以使用L形模板或雙側模板來細化合併模式的MV並保存MVD的位元。
依據本發明的實施方式，提出了一種用於視訊編碼系統或視訊解碼系統的視訊編碼的方法和裝置。依據該方法和該裝置，使用包括三叉樹分割和至少一個其他類型分割的子樹分割的一個或複數個階段將當前塊分割為複數個最終子塊，其中如果與當前子塊相關聯的當前樹深度大於第一閾值，並且該第一閾值是大於或等於1的整數，則從子樹分割中排除該三叉樹分割。
至少一個其他類型分割包括四叉樹分割，二叉樹分割，或其組合。當前塊可以對應於一個編碼樹單元(CTB)，並且複數個最終子塊中的每個對應於一個編碼單元(Coding Unit,CU)，預測單元(Prediction Unit,PU)或變換單元(Prediction Unit,TU)。可以在解碼器側預先確定或推斷第一閾值。
如果與當前子塊相關聯的當前子樹深度大於第一閾值，則用於指示是否為當前子塊選擇該三叉樹分割的指示符被選擇。
第一閾值對應於最大允許子樹分割深度減去第二閾值，其中，該第二閾值小於該最大允許子樹分割深度且大於或等於的0。第二閾值的值取決於當前圖像是在畫面內圖像內還是畫面間圖像內。在視訊參數集(video parameter set,VPS)，序列參數集(sequence parameter set，SPS)，圖像參數集(picture parameter set,PPS)，切片頭，編碼單元，或其組合中，該第二閾值被發送。
依據本發明的實施方式，提出了一種使用畫面間模式的視訊編碼的方法和裝置。如果滿足該測試條件，則使用從修改的畫面間工具組中選擇的當前畫面間模式對該當前塊進行編碼或在解碼器側對當前塊進行解碼，其中， 透過自初始的畫面間工具組移除一個或複數個第一畫面間工具，用於一個或複數個複雜性降低的畫面間工具來代替一個或複數個第二畫面間工具，及其組合，而自該初始的畫面間工具組，修改的畫面間工具組被導出。
一個或複數個第一畫面間工具選自一個組合，該組合包括高級運動矢量預測(Advanced Motion Vector Prediction，AMVP)，合併，模式匹配運動矢量推導(Pattern Matched Motion Vector Derivation，PMVD)，局部照明補償(LIC)，仿射編碼，鄰近導出的預測偏移(NPO)，重疊塊運動補償(Overlap Block Motion Compensation,OBMC)，或其組合。
是否滿足測試條件取決於與當前塊相關聯的編碼樹深度。是否滿足測試條件取決於當前塊的塊尺寸。是否滿足測試條件也可取決於與當前塊相關聯的編碼樹深度和當前塊的塊尺寸。
在一個實施例中，如果與當前塊相關聯的編碼樹深度等於預定義值並且當前塊的塊尺寸大於或等於閾值，則測試條件被滿足。
在一個實施例中，當從初始的畫面間工具組移除目標第一畫面間工具時，與目標第一畫面間工具相關聯的語法元素未在編碼器側被發送或未在解碼器側被解析以用於當前塊。在另一實施例中，當從初始的畫面間工具組中移除該一個或複數個第一畫面間工具時，當前塊透過自候選列表排除一個或複數個第一畫面間工具，而使用候選數量減少的候選列表。
依據本發明的實施方式，提出了一種使用畫面間模式的視訊編碼的方法和裝置。當滿足測試條件時，使用包括一個或複數個多類型分割的受限編碼樹結構，將當前塊分割為複數個最終子塊，其中受限編碼樹結構終止具有編碼樹分割深度等於閾值的目標子塊的編碼樹分割。
是否滿足測試條件取決於當前塊的塊尺寸。是否滿足測試條件取決於當前切片的時間層，其中當前切片包括當前塊。
時間層指的是與圖像的時間結構相關聯的層(例如，圖像I，圖像B和圖像P)。是否滿足測試條件可取決於當前塊的最佳預測模式。是否滿足測試條件可取決於當前塊的寬度和高度的比率。是否滿足測試條件可取決於在小於閾值的第二編碼樹分割深度處對目標子塊的先前子塊的分割決策。是否滿足測試條件還可以取決於當前切片的量化參數，其中當前切片包括當前塊。
如果編碼樹分割深度等於閾值，則用於指示目標子塊的分割決策的語法元素。
110:CTU分割
120:編碼樹
410、510:塊分割
420:二進制樹
520:QTBT
610:垂直三叉樹分割
610a、620a:第一子塊
610b、620b:中間子塊
610c、620c:第三子塊
620:水平三叉樹分割
710~790:節點
910:候選組
920:雙向預測合併候選
931:mvL0_A,ref0
932:mvL1_B,ref
933:雙向預測MVP
1010、1020、1130、1132、1140、1142:候選列表
1310、1320、1410、1420、1510、1520:TT
1312、1322、1412、1414、1422、1512、1522:BT
1700:自適應塊分割
1720a、1720b:相鄰子CU
1710:當前CU
1810:當前編碼的CU
1820:CTU
1830、1832、1834、1836:母塊
2010~2030、2110~2140、2210~2240:步驟
第1圖示出了使用四叉樹結構將編碼樹單元(coding tree unit,CTU)分割為編碼單元(coding units，CU)的塊分割的示例。
第2圖示出了依據高效視訊編碼(HEVC)的非對稱運動分割(asymmetric motion partition,AMP)，其中AMP定義了用於將CU分成PU的八種形狀。
第3圖示出了二叉樹分割結構使用的各種二進制分割類型的示例，其中可以使用分割類型將塊遞歸地分割成兩個較小的塊。
第4圖示出了塊分割及其對應的二叉樹的示例，其中在二叉樹的每個分割節點(即，非葉節點)中，一種語法用於指示哪種分割類型(水平或垂直)被使用，其中0表示水平分割，1表示垂直分割。
第5圖示出了塊分割及其對應的四叉樹加二叉樹結構(quad-tree plus binary tree structure,QTBT)的示例，其中實線指示四叉樹分割，虛線指示二叉樹分割。
第6圖示出了垂直三叉樹分割和水平三叉樹分割。
第7圖示出了多類型樹(MTT)塊分割中的樹型信令的示例。
第8圖示出了用於導出AMVP和合併方案的空間和時間MVP的相鄰PU。
第9圖示出了組合的雙向預測合併候選的推導過程的示例。
第10圖示出了縮放的雙向預測合併候選的導出過程的示例，其中左側的候選列表對應於原始候選列表，右側的候選列表對應於包括兩個生成雙向預測MVP的擴展候選列表。
第11A圖示出了添加零矢量合併候選的示例，其中左側的候選列表對應於原始合併候選列表，右側的候選列表對應於透過添加零矢量候選得到的擴展的合併候選列表。
第11B圖示出了用於添加零矢量AMVP候選的示例，其中頂部的候選列表對應於原始AMVP候選列表(左側的L0和右側的L1)，並且底部的候選列表對應於透過添加零矢量候選得到的擴展AMVP候選列表(左側為L0，右側為L1)。
第12圖示出了MTT的分層分割決策樹的一個示例，其中最大PT深度等於3。
第13圖示出了MTT的分層分割決策樹的一個示例，其具有基於第12圖中所示的MTT的分層分割決策樹的所提出的禁止分割。
第14圖示出了MTT的分層分割決策樹的一個示例，其具有基於第12圖中所示的MTT的分層分割決策樹的所提出的禁止分割。
第15圖示出了基於第12圖中所示的MTT的分層分割決策樹的具有禁止分割的MTT的分層分割決策樹的一個示例。
第16A圖示出了禁止分割的示例，其中實線指示在先前分割層(例如，級別i)處的垂直BT分割，並且虛線指示在當前分割層(例如，等級i+1)的第一子塊的垂直BT分割。
第16B圖示出了禁止分割的示例，其中實線指示在先前分割層(例如，級別i)處的水平BT分割，並且虛線指示在當前分割層(例如，等級i+1)的第 一子塊的水平BT分割。
第17圖示出了依據本發明實施例的自適應塊分割的示例，其中當前CU由斜線填充區域標記，並且八個4×4相鄰子CU由點填充區域標記。
第18A圖至第18E圖示出了與基於先前編碼塊的成本的累積成本和當前編碼的子塊的成本的當前分割類型相關聯的分割成本評估的示例，其中第18A圖示出了仍在編碼過程中的CTU和第18B圖至第18E圖分別示出了在深度3,2,1和0處的累積成本計算。
第19圖示出了依據本發明實施例的計算當前子CU的加權平均區域的示例，其中每個子CU尺寸是4×4。
第20圖示出了依據本發明實施例的具有對編碼樹分割的約束的示例性編碼系統的流程圖。
第21圖示出了依據本發明實施例的具有復雜度降低的畫面間模式的示例性編碼系統的流程圖。
第22圖示出了依據本發明實施例的具有編碼樹分割約束的另一種示例性編解碼系統的流程圖。
以下描述是實現本發明的最佳方案。進行該描述是為了說明本發明的一般原理，而不應被視為具有限制意義。透過參考所附請求項較佳地確定本發明的範圍。
在基於多類型樹(MTT)塊分割結構的視訊編碼中，由於更靈活的分割變得可用，因此編碼效率已經顯示出顯著的改進。但是，MTT塊分割會增加計算複雜性。期望開髮用於在使用MTT時降低計算複雜度的方法。因此，公開了各種降低與MTT相關的計算複雜度的方法。
多類型樹(MTT)塊分割約束
為了減少发訊号(signalling)的開銷並改善多類型樹(MTT)分割方法的性能，提出了約束塊分割方法以避免冗餘或降低複雜性。依據先前分割的分割類型或分割方向，所提出的約束塊分割方法涉及透過禁止特定分割類型和分割方向來分割當前子塊，從而修改編碼或解碼處理。
MTT塊分割約束-方法1
在一個實施例中，如果當前分割是三叉樹(Ternary Tree,TT)分割，則僅允許二叉樹(Binary Tree,BT)分割用於分割子塊(即，第一子塊，中間子塊或第三個子塊)來自TT分割。以第6圖為例，將第一子塊610a，中間子塊610b和第三子塊610c分別為自垂直TT分割610得到的子塊，以及第一子塊620a。中間子塊620b和第三子塊620c分別作為自水平TT分割620得到的。第12圖示出了MTT的分層分割決策樹的示例，其中最大預測樹(Prediction Tree,PT)深度等於3。第13圖示出了MTT的分層分割決策樹的一個示例，其中提出的禁止分割是基於第12圖所示的MTT分層分割決策樹作出的。如第13圖所示，當當前分割是TT 1310時，僅允許BT 1312(即，禁止或排除TT)。當當前分割是TT 1320時，僅允許BT 1322(即，禁止或排除TT)。
在另一實施例中，如果當前分割是TT分割，並且僅允許BT分割用於分割第一子塊，則中間子塊或第三子塊由TT分割產生，由TT分割產生的第一子塊，中間子塊或第三子塊的分割類型(BT或TT分割)可以不被發送，並且可以推斷為BT分割。
MTT塊分割約束-方法2
在一個實施例中，如果透過TT分割來分割當前分割，則僅允許BT分割用於分割來自TT分割的第一子塊，中間子塊或第三子塊內的所有子塊。第14圖示出了MTT的分層分割決策樹，其中基於第12圖所示的MTT的分層 分割決策樹，提出了禁止分割。如第14圖所示，當當前分割是TT 1410時，只有BT 1412是允許(即，禁止或排除TT)。對於BT 1412，僅允許BT 1414(即，禁止或排除TT)，因為BT 1412是TT 1410的子塊，並且BT 1414是BT 1412的子塊。換句話說，僅允許BT分割來分割由TT分割1410產生的子塊1412內的所有子塊。當當前分割是TT 1420時，僅允許BT 1422(即，禁止或排除TT)。
在另一實施例中，如果當前分割是TT分割，並且僅允許BT分割用於分割自TT分割產生的第一子塊、中間子塊或第三子塊內的所有子塊，則由TT分割產生的第一子塊，中間子塊或第三子塊的分割類型(BT或TT分割)可以不被發送，並且可以推斷為BT分割。
MTT塊分割約束-方法3
在一個實施例中，如果當前分割是TT分割，則僅允許單層BT分割用於分割由TT分割產生的第一子塊，中間子塊或第三子塊。第15圖示出了MTT的分層分割決策樹的一個示例，其中提出的禁止分割是基於第12圖所示的MTT分層分割決策樹作出的。如第15圖所示，當當前分割是TT 1510時，僅允許BT 1512(即，僅單層分割，此處的分割僅允許BT分割而非TT分割)。當當前分割是TT 1520時，僅允許BT 1522。
在另一個實施例中，如果當前分割是TT分割並且僅允許單層BT分割用於分割由TT分割產生的第一子塊，則中間子塊或第三子塊，由TT分割產生的第一子塊，中間子塊或第三子塊的分割類型(BT或TT分割)可以不被發送並且可以推斷為BT分割。此外，可以不發送由BT分割產生的第一子塊或第二塊的分割決策(分割或非分割)，並且可以推斷為非分割情況。
MTT塊分割約束-方法4
用於分割當前子塊的禁止分割類型和分割方向不僅取決於先前分割層的分割類型和分割方向，還取決於分割類型，分割方向和當前子塊的位 置。
在一個實施例中，如果透過與母分割類型相關的第一分割類型和於母分割方向相同的第一分割方向，由BT分割的自母塊分割得到的第一子塊被進一步分割，則透過禁止第二子塊被第一子塊的第一分割類型和第一分割方向分割，而確定用於分割第二子塊的第二子塊分割類型和第二子塊分割方向。
第16A圖示出了禁止分割的示例。第16A圖中的實線表示在先前分割層(例如層i)的垂直BT分割，虛線表示在當前分割層(例如層i+1)的第一子塊的垂直BT分割和第二子塊的垂直BT分割，其中垂直BT分割被禁止用於分割第二子塊。禁止BT分割以進一步分割由母塊中的BT分割得到的第二子塊，因為得到的子塊將與先前在先前分割層應用垂直TT分割，然後應用垂直BT分割以用於自當前分割層的TT分割得到的中間子塊的結果完全相同。類似地，如第16B圖所示，禁用水平BT分割以進一步分割透過水平BT分割的第二子塊。第16B圖中的實線表示在先前分割層(例如層i)的水平BT分割，以及虛線表示在當前分割層(例如層i+1)的第一子塊的水平BT分割和第二子塊的水平BT分割，其中水平BT分割被禁止用於分割第二子塊。
在一個實施例中，在發送當前分割類型的語法之前發送當前分割方向的語法的情況下，如果第二子塊分割方向是水平分割，可以不發送第二子塊分割類型，並且第二子塊分割類型可以被推斷為TT分割。透過水平BT分割來分割母塊，並且透過水平BT分割進一步分割第一子塊。類似地，如果當前分割方向是垂直分割，則不發送第二子塊分割類型，並且第二子塊分割類型可以被推斷為TT分割。透過垂直BT分割來分割母塊，並且透過垂直BT分割進一步分割第一子塊。
在另一實施例中，在發送當前分割方向的語法之前發送當前分割類型的語法的情況下，如果第二子塊分割方向是BT分割，可以不發送第二子塊 分割類型，並且第二子塊分割類型可以被推斷為垂直。透過水平BT分割來分割母塊，並且透過水平BT分割進一步分割第一子塊。類似地，如果第二子塊分割類型是BT分割，則可以不發送第二子塊分割方向，並且可以推斷第二子塊分割方向是水平分割。透過垂直BT分割來分割母塊，並且透過垂直BT分割進一步分割第一子塊。
MTT塊分割約束-方法5
在子樹分割期間，當當前子樹深度等於或小於最大允許子樹分割深度減去閾值N時，允許三叉樹分割用於分割當前塊。此外，閾值N是預定的並且可以在解碼器側推斷。當當前子樹分割深度大於最大允許子樹分割深度減去閾值N時，不存在用於選擇三叉樹分割類型的指示符。
例如，當前子樹分割深度為S且最大允許子樹分割深度為M，則當S
Figure 108108582-A0305-02-0021-5
(M-N)時，允許三叉樹分割分割當前塊，其中M>N
Figure 108108582-A0305-02-0021-6
0。此外，如果當前子樹分割深度大於(M-N)，則不存在用於選擇三叉樹分割的指示符。
MTT塊分割約束-方法6
在子樹分割期間，當當前子樹深度等於或小於最大允許子樹分割深度減去閾值N時，允許三叉樹分割用於分割當前塊。此外，閾值N的設置可以依據切片類型，當前切片的顏色分量，或當前切片的時間層ID或任何其他測試條件而變化(例如，這種變化可以透過依據切片類型，當前切片的顏色分量或當前切片的時間層ID確定設置閾值N來實現)。此外，在解碼器側預先確定並推斷出所有閾值，並且當當前子樹分割深度大於最大允許子樹分割深度減去相應閾值N時，不存在用於選擇三叉樹分割類型的指示符。
在另一示例中，閾值對於畫面內切片(Intra-slice)是N1，對於畫面間切片(Inter-slice)是N2。然後，假設當前子樹分割深度為S，並且最大允許子樹分割深度為M。如果當前切片是畫面內切片，則當S
Figure 108108582-A0305-02-0021-7
(M-N1)時，允 許三叉樹分割用於分割當前塊，並且如果S>(M-N1)，則省略或不存在用於選擇三叉樹分割的指示符(例如，透過不發訊號或不解析這樣的指示符而省略或不存在)。類似地，如果當前切片是切畫面間切片，則當S
Figure 108108582-A0305-02-0022-8
(M-N2)時，允許三叉樹分割用於分割當前塊，並且如果S>(M-N1)，則省略或不存在用於選擇三叉樹分割的指示符(例如，透過不發訊號或不解析這樣的指示符而被省略或不存在)。
MTT塊分割約束-方法7
在子樹分割期間，當當前子樹深度等於或小於最大允許子樹分割深度減去閾值N時，允許三叉樹分割用於分割當前塊，並且N>0。可以在視訊參數集(video parameter set,VPS)，序列參數集(sequence parameter setm,SPS)，圖像參數集(picture parameter set,PPS)，切片報頭，編碼單元或其任何組合中，發送閾值N。例如，在SPS中發送0表示N是1，在SPS中發送1表示N是2，以此類推。此外，當當前子樹分割深度大於最大允許子樹分割深度減去閾值N時，可以省略或不存在用於選擇三叉樹分割類型的指示符(例如，透過不發訊號或不解析這樣的指示符而省略或不存在)。
在又一示例中，當前子樹分割深度為S且最大允許子樹分割深度為M，則當S
Figure 108108582-A0305-02-0022-9
(M-N)時，允許三叉樹分割用於分割當前塊其中，其中M>N>0。此外，如果當前子樹分割深度大於(M-N)，則可以省略或不存在用於選擇三叉樹分割的指示符(例如，透過不發訊號或不解析這樣的指示符而省略或不存在)。
MTT塊分割約束-方法8
在子樹分割期間，當當前子樹深度等於或小於最大允許三叉樹分割深度(MaxTTDepth)時，允許三叉樹分割用於分割當前塊。MaxTTDepth只能等於或小於子樹分割深度。此外，可以在視訊參數集(VPS)，序列參數集 (SPS)，圖像參數集(PPS)，切片報頭，編碼單元或其任何組合發送MaxTTDepth。此外，當當前子樹分割深度大於MaxTTDepth時，可以省略或不存在用於選擇三叉樹分割類型的指示符(例如，透過不發訊號或不解析這樣的指示符而省略或不存在)。
在又一示例中，當前子樹分割深度為S，最大允許子樹分割深度為M，並且MaxTTDepth為N。然後，當S
Figure 108108582-A0305-02-0023-10
(M-N)時，允許三叉樹分割用於分割當前塊，其中M
Figure 108108582-A0305-02-0023-11
N。此外，如果當前子樹分割深度大於M，則可以省略或不存在用於選擇三叉樹分割的指示符(例如，透過不發訊號或不解析這樣的指示符而省略或不存在)。
可以在編碼器和/或解碼器中實現任何前述提出的方法。例如，任何所提出的方法可以在編碼器的畫面間/畫面內/預測/變換模組中實現，和/或在解碼器的逆變換/畫面間/畫面內/預測模組中實現。或者，任何所提出的方法可以實現為耦合到編碼器的逆變換/畫面間/畫面內/預測模組和/或解碼器的畫面間/畫面內/預測/變換模組的電路，以便提供畫面間/畫面內/預測/變換模組需要的信息。
與畫面間模式相關聯的複雜性降低
在本公開中，QT深度被定義為四叉樹的深度。BT深度定義為二叉樹(BT)的分割深度。TT深度定義為三叉樹或三重樹(triple tree)的分割深度。
CT深度被定義為二叉樹(BT)或三叉樹(TT)的分割深度。它是二叉樹(BT)或三叉樹(TT)分割的總數。換句話說，如果BT分割的總數是3，則編碼樹結構被BT分割3次。CT深度也可以是僅二叉樹(BT)分割的數量。CT深度可以是僅三重樹(TT)分割的數量。視訊編碼器中的最大CT深度越大，編碼複雜度開銷越大。因此，希望降低計算複雜度。
方法1：跳過一些畫面間模式
畫面間模式包括AMVP，合併模式，FRUC模式或其他畫面間預測模式或工具。有許多畫面間編碼工具，例如AMVP，Merge，FRUC/PMVD，LIC(局部光照補償)，仿射編碼，鄰域導出預測偏移(Neighboring-derived Prediction Offset,NPO)，重疊塊運動補償(Overlap Block Motion Compensation,OBMC)等。最初的畫面間工具組可以從這些畫面間編碼工具中確定。
在所提出的方法中，如果滿足某個條件(或被稱為測試條件)，則可以跳過或消除編碼器側(或編碼器側和解碼器側)上的一個或複數個畫面間模式(或工具)或某些畫面間模式的一部分。這裡“特定畫面間模式的一部分”表示編碼器側的某個畫面間模式的簡化版本。例如，如果滿足某個條件，則可以在編碼器中跳過合併模式的部分過程。在這個例子中，不是在傳統的RDO過程中檢查MAX候選(MAX是合併候選的最大數量)，簡化的合併模式可以只有3個候選(合併候選0,1和2)，而不是合併候選0,1,2,...,(MAX-1))。在另一示例中，如果滿足特定條件，則可以在編碼器中跳過FRUC模式的部分過程。在這種情況下，代替包括雙側FRUC和模板匹配FRUC的常規FRUC模式，簡化的FRUC模式可以僅具有雙側FRUC。在又一個示例中，簡化的FRUC模式可以僅具有模板匹配FRUC。
在所提出的方法中，如果滿足某個條件(表示為COND_REDUOFF)，則可以在編碼器側(或在編碼器側和解碼器側)跳過或消除一個或複數個畫面間模式(或工具)或某個畫面間模式的一部分。在以下實施例中，術語“深度”可以表示CT深度或QT深度或BT深度或TT深度。
實施例1：當當前CU的深度等於N時，滿足條件，其中N是預定值。
實施例2：當當前CU的深度大於閾值時，滿足條件。
實施例3：當當前CU的深度小於閾值時，滿足條件。
實施例4：當當前CU尺寸(CU尺寸=CU寬度* CU高度)大於閾值時，滿足條件。
實施例5：當當前CU尺寸小於閾值時，滿足條件。
實施例6：當當前CU尺寸的QP(量化控制訊號)值大於閾值時，滿足條件。
實施例7：當當前CU尺寸的QP(量化控制訊號)值小於閾值時，滿足條件。
實施例8：當當前CU的深度等於N並且當前CU尺寸大於閾值時，滿足條件。
實施例9：當當前CU的深度等於N並且當前CU尺寸小於閾值時，滿足條件。
實施例10：當當前CU的深度等於N並且當前CU QP大於閾值時，滿足條件。
實施例11：當當前CU的深度等於N並且當前CU QP小於閾值時，滿足條件。
實施例12：當當前CU的深度等於N並且當前CU時間層大於閾值時，滿足條件。
實施例13：當當前CU的深度等於N並且當前CU時間層小於閾值時，滿足條件。
實施例14：當當前CU的深度等於N並且當前CU縱橫比(寬度/高度或高度/寬度)大於閾值時，滿足條件。
實施例15：當當前CU的深度等於N並且當前CU縱橫比小於閾值時，滿足條件。
實施例16：當當前CU的母塊模式(即，編碼樹分割的母塊的模式)是跳過模式時，滿足條件。
實施例17：當當前CU的母塊模式(即，編碼樹分割的母塊的模式)是某種特定模式時，滿足條件。
實施例18：當當前CU縱橫比(寬度/高度或高度/寬度)大於閾值時，滿足條件。
實施例19：當當前CU縱橫比小於閾值時，滿足條件。
除了上面列出的實施例之外，用於關閉一些畫面間工具的特定條件可以是所列實施例的組合。例如，可以組合實施例2和實施例4，並且組合條件是“當當前CU的深度大於閾值時”和/或“當當前CU尺寸(CU尺寸=CU寬度* CU高度)大於門檻“。
如果滿足關閉某些畫面間工具的特定條件，則可以關閉一些畫面間工具和/或降低一些其他畫面間工具的複雜性。例如，如果滿足實施例14的條件，則可以關閉FRUC模式，並且可以修改合併模式以僅具有2個候選，以透過減少合併模式的候選數量來降低合併模式的複雜度。在這種情況下，降低複雜度的合併模式被稱為低複雜度合併模式。為方便起見，降低複雜度的畫面間工具被稱為低複雜度的畫面間工具。在另一示例中，如果滿足實施例15的條件，則可以將FRUC模式簡化為僅包括雙邊模式，並且可以修改合併模式以僅具有2個候選以降低合併模式的複雜度。在這種情況下，FRUC被稱為低複雜度FURC。
在另一實施例中，如果滿足用於關閉一些畫面間工具的特定條件(COND_REDUOFF被斷言)，則可以依據編碼器中的畫面間工具B的RD成本來關閉畫面間工具A。例如，如果AMVP RD成本低於閾值，則可以關閉FRUC模式。在另一示例中，如果低複雜度FRUC的RDO成本低於低複雜度AMVP的RDO成本，則可以關閉FRUC模式。
在另一實施例中，如果滿足用於關閉一些畫面間工具的特定條件，則除了關閉一些畫面間工具和/或減少一些其他畫面間工具之外，可以消除(或保存)相關語法元素，用於改善編碼增益。例如，對於CT深度==3且CU尺寸>=4096的條件，關閉FRUC模式和AMVP模式。因此，對於具有“CT深度==3，並且CU尺寸>=4096”的條件的任何CU，可以完全消除合併模式和FRUC模式的語法元素。在另一示例中，對於CT深度==3且CU尺寸>=4096的條件，合併模式被修改為僅具有2個候選。在這種情況下，可以修改傳統方法中的合併索引的一元代碼編碼以減少合併索引的位元。
可以擴展所提出的方法以關閉一些畫面內工具。如果滿足某個條件，則可以關閉一些畫面內工具(例如，畫面內預測或其他畫面內工具)和/或可以減少一些其他畫面內工具，使得消除用於CU的模式標誌(例如，仿射合併標誌，LIC標誌)，或者用於一元代碼的模式索引(例如合併索引)可以減少。
方法2：依據周圍條件或當前CU跳過一些畫面間模式
這裡，術語“周圍”表示當前CU的左側和/或頂部相鄰塊。該方法首先檢查空間周圍的畫面間模式。為了檢查空間周圍CU的畫面間模式，依據一個實施例，它可以計算當前CU周圍(即，左側和/或頂部相鄰)的CU的畫面間模式的直方圖。在另一實施例中，它計算當前CU周圍(即，左側和/或頂部相鄰)最小塊(例如，最小塊4×4，或不同系統或不同實施例的其他尺寸)的畫面間模式的直方圖，其圍繞當前CU(即，左和/或頂部相鄰)。在又一個實施例中，它計算周圍CU或塊或像素的畫面間模式的直方圖。
在計數(或形成直方圖)之後，如果某個畫面間模式(例如，FRUC模式)具有所有畫面間模式(諸如合併模式，AMVP模式，FRUC模式或其他畫面間工具)中的最大出現次數，此畫面間模式可以指定為most_freq_inter_mode。因此，可以依據most_freq_inter_mode關閉一些畫面間模 式。存在如下的一些實施例。
實施例1：對於當前CU，可以關閉對應於most_freq_inter_mode的畫面間模式。
實施例2：對於當前CU，可以關閉不是most_freq_inter_mode的模式的畫面間模式。
該方法不限於實施例1和2.在其他實施例中，可以依據most_freq_inter_mode關閉和/或減少一些畫面間工具。
可以添加該方法在尺寸條件中，其中當前CU尺寸(CU寬度* CU高度)大於預定閾值或小於預定閾值。
方法3：依據母塊模式條件跳過一些畫面間模式
在編碼器中，對於當前子塊(例如CU)，在編碼樹分割期間檢查其母子塊(例如CU)的畫面間模式。如果其母子塊(例如CU)是特定畫面間模式(表示為inter_mode_parent)，則依據實施例1在當前CU中關閉等於inter_mode_parent的畫面間模式。在實施例2中，在當前CU中關閉不等於inter_mode_parent的畫面間模式。該方法不限於實施例1和2。依據該方法，可以依據inter_mode_parent關閉和/或減少一些畫面間工具。
可以在編碼器和/或解碼器中實現前面提出的用於與畫面間模式相關聯的編碼樹分割結構的複雜度降低的方法。例如，所提出的方法可以在編碼器的畫面間預測模組和/或解碼器的畫面間預測模組中實現。
編碼樹(CT)結構的簡化
在習知實作中，二叉樹(BT)分割或三叉樹(TT)分割的最大CT深度高達3。允許TT分割將顯著增加編碼器側的複雜性。提出了一些方法來降低計算複雜度，特別是對於某些特定的CT深度等於X，其中X是大於或等於0的整數。在下文中，X等於3用作示例目的和CT分割的示例在有條件地 等於3的CT深度處終止(或被稱為跳過)。換句話說，在某些情況下，BT分割或TT分割的最大CU深度將達到2。在一個實施例中，如果CU尺寸大於MxN，其中M和N可以是任何整數，例如64,128,256等，則CT分割在CT深度等於3時終止。M和N的值可以在序列級別，圖像級別或切片級別預定義或被發送。或者，M和N的值與視訊分辨率或標準配置文件有關。在另一實施例中，終止或跳過CT深度等於3的CT分割的條件基於編碼切片的時間層ID。時間層指的是與圖片的時間結構相關聯的層(例如，圖像I，圖像B和圖像P)。例如，可以將I圖像分配給Temporal Layer=0，因為I圖像不參考任何其他圖像，並且B圖像可以將直接和/或間接參考更多圖像，且B圖像能被分配給具有更大值的時間層。如果當前切片的時間層等於K，大於L或小於P，則CT分割在等於3的CT深度處終止。K，L和P可以是任何整數，例如，2,4,6等等。在另一實施例中，允許CT深度等於3的條件基於當前CU的最佳預測模式。如果當前CU的最佳模式是跳過模式，則CT分割在等於3的CT深度處終止。在另一實施例中，對於大四叉樹(QT)葉或具有大尺寸的CU(例如64x64,128x128)，決定允許CT深度等於3是基於CU的寬度和高度的比率。例如，如果CU的寬度和高度的比率小於T，則在CT深度等於3時終止CT分割.T可以是任何整數，例如，2,4,8等等。可以在序列級別，圖像級別或切片級別預定義或發送T的值。或者T的值與視訊分辨率或標準配置文件有關。在另一實施例中，執行CT深度等於3的條件基於CT深度等於1或等於2的決策。例如，如果在先前的CT深度中沒有使用TT分割或者在CT深度中的分割等於1，則允許CT深度等於3。在另一實施例中，終止CT深度3處的CT分割的條件基於當前切片QP。如果當前切片QP大於預定閾值，則跳過等於3的CT深度。
此外，可以組合所提出的方法以使終止CT深度等於3的決定。例如，僅當CU尺寸大於MxN並且CU的最佳模式是跳過模式時，CT分割在 CT深度等於3處終止。這些方法可以僅作為編碼器應用，也可以作為標準的更改。如果將這些方法應用為標準的更改，我們還可以從一些語法保存中受益，以便在CT深度等於3時有條件地編碼分割標記。
此外，在CT深度等於3處終止CT分割的決策可以僅應用於TT分割或僅應用於BT分割。換句話說，僅在CT深度等於3處僅終止TT分割或僅終止BT分割，並且仍然可以在等於3的CT深度處應用剩餘的分割類型。
可以在編碼器和/或解碼器中實現前面提出的方法。例如，所提出的方法可以在編碼器中的CU分割處理中實現，和/或在解碼器中的CU分割處理中實現。
快速CT/CU分割
在本發明的另一方面，公開了若干快速CU分割決策方法，用於降低視訊編碼器複雜度並且還維持編碼效率。這些方法可以設計為僅編碼器的快速CU分割方法，或者用於保存訊號傳輸開銷的規範性更改。這些實施例的細節描述如下。
實施例1：依據加權相鄰子CU區域允許/跳過CU分割方法
用於當前CU的CU分割方法的使用基於加權的相鄰子CU區域。相鄰子CU可以是上方相鄰子CU或/和左側相鄰子CU。此外，僅發送分割方法或/和所使用的CU分割方法的分割方向。
在一個示例中，如果當前CU區域等於或大於加權的相鄰子CU區域，則僅使用無分割(no partition)和QT分割方法，並且不使用BT/TT分割方法。在第17圖中示出了依據本發明的實施例的自適應塊分割1700的示例。如第17圖所示，當前CU 1710由斜線填充區域標記，並且八個4×4相鄰子CU 1720a和1720b由點填充區域標記。上方四個4×4相鄰子CU 1720a全部屬於16×8 CU，左側四個4×4相鄰子CU 1720b屬於8×8,8×4和8×4 CU。然後，加權的相 鄰CU區域y被計算為：y=k×x,x=(4×(16×8)-2×(8×8)-(8×4)-(8×4))/8=88,=>y=k×88,
在上面的等式中，k屬於實數，x是相鄰子CU的平均面積。因此，如果當前CU區域被表示為a並且a
Figure 108108582-A0305-02-0031-13
y，則可以僅選擇無分割或QT分割來將當前CU分成更小的CU(即，子CU)。
在另一實施例中，如果當前CU區域等於或大於加權的左子CU區域，則僅使用無分割(no partition)和QT分割方法，並且不使用BT/TT分割方法。例如，如第17圖所示，加權的左側子CU區域y被計算為y=k×x,x=(2×(8×8)-(8×4)-(8×4))/8=24,=>y=k×24,
在上面的等式中，k是實數，x是左側相鄰子CU的平均面積。因此，如果當前CU區域被表示為a並且a
Figure 108108582-A0305-02-0031-14
y，則可以僅選擇無分割或QT分割來將當前CU分成更小的CU。
在又一個實施例中，如果當前CU區域等於或大於加權的上方子CU區域，則僅使用無分割或QT分割，並且不使用BT/TT分割方法。例如，如第17圖所示，加權的上方子CU區域y被計算為y=k×x,x=(4×(16×8))/8=64, =>y=k×64,
在上面的等式中，k是實數，x是上方相鄰子CU的平均面積。因此，如果當前CU區域被表示為a並且a
Figure 108108582-A0305-02-0032-16
y，則可以僅選擇無分割或QT分割來將當前CU分成更小的CU。
在又一個實施例中，如果當前CU區域等於或小於加權的相鄰子CU區域，則僅使用無分割的分割方法。例如，如第3圖所示，加權相鄰CU區域y被計算為y=k×x,x=(4×(16×8)-2×(8×8)-(8×4)-(8×4))/8=88,=>y=k×88,
在上面的等式中，k是實數，x是相鄰子CU的平均面積。如果當前CU區域表示為a並a
Figure 108108582-A0305-02-0032-17
y，則僅使用無分割的分割方法。
在又一個實施例中，如果當前CU區域等於或小於加權的左側子CU區域，則僅使用無分割的分割方法。例如，如第17圖所示，加權相鄰CU區域y被計算為y=k×x,x=(2×(8×8)-(8×4)-(8×4))/8=24,=>y=k×24,
在上面的等式中，k是實數，x是左側相鄰子CU的平均面積。如果當前CU區域表示為a並且a
Figure 108108582-A0305-02-0032-18
y，則僅使用CU分割方法。
在又一個實施例中，如果當前CU區域等於或小於加權的上子 CU區域，則僅使用無分割的分割方法。例如，如第17圖所示，加權相鄰CU區域y被計算為y=k×x,x=(4×(16×8))/8=64,=>y=k×64,
在上面的等式中，k是實數，x是上方相鄰子CU的平均面積。如果當前CU區域表示為a並且a
Figure 108108582-A0305-02-0033-19
y，則僅使用CU分割方法。
實施例2：依據加權邊長比率跳過CU分割方法
所有可用的CU分割方法被分類為兩組，並且如果加權的邊長比在給定範圍內，則僅使用一個CU分割集來將當前CU分成較小的CU。邊長比可以是當前CU高度上的左側相鄰CU的加權平均高度，或當前CU寬度上的上方相鄰CU的加權平均寬度。此外，如果當前CU滿足邊長比約束，則僅發送所選CU分割集的分割方法或/和分割方向。
在一個實施例中，如第17圖所示，邊長比是在當前CU寬度上的上方相鄰CU的平均寬度a，其被計算為
Figure 108108582-A0305-02-0033-1
如果a
Figure 108108582-A0305-02-0033-21
n，則僅使用水平BT/TT CU分割方法將當前CU分成較小的CU，其中n是實數。
在另一個實施例中，如第17圖所示，邊長比是左側相鄰CU相對於當前CU寬度的平均高度b，其被計算如下：
Figure 108108582-A0305-02-0033-2
如果b
Figure 108108582-A0305-02-0033-22
q，則僅使用垂直BT/TT CU分割方法將當前CU分成 較小的CU，其中q是實數。
實施例3：依據當前最佳子CU/CU分割方向跳過CU分割方法
在測試CU分割方法(表示為P)之前，如果當前最佳CU分割方向與P的分割方向不同，並且其子CU不在P方向上進一步分割，則P的測試被跳過了。
在一個實施例中，如果當前最佳CU分割方法是水平BT或TT分割，並且其左側上子CU和右下方子CU都透過水平BT或TT分割方法進一步分割，則跳過垂直BT/TT分割方法的測試。
在另一個實施例中，如果當前最佳CU分割方法是垂直BT或TT分割，並且其左側上子CU和右下方子CU都透過垂直BT或TT分割方法進一步分割，則跳過水平BT/TT分割方法的測試。
實施例4：依據早期測試其他分割方向中的CU分割方法來跳過CU分割方法
在測試CU分割方法(表示為P)之前，如果當前最佳CU分割方向與P不同，則具有與當前最佳CU分割方法相同的分割方向的其他CU分割方法比P先測試。即，如果當前最佳CU分割方向仍然不與P相同並且一定比例的當前最佳CU的子CU不被進一步分割，則跳過P的測試。
在一個實施例中，如果當前最佳CU分割方法是垂直BT分割，則比水平TT分割方法更早地測試垂直TT分割方法。之後，如果當前最佳值改變為垂直TT並且中間子CU不再進一步分割，則跳過水平TT分割方法的測試。
在另一實施例中，如果當前最佳CU分割方法是水平BT分割，則比垂直TT分割方法更早地測試水平TT分割方法。之後，如果當前最佳值改變為水平TT並且中間子CU不再進一步被分割，則跳過垂直TT分割方法的測試。
實施例5：依據每個分割集中的臨時最佳分割成本跳過CU分割方法
所有可用的CU分割方法分為兩組，這兩組是P1=P2。分割方法的分類可以基於分割方向或分割類型。假設僅測試了P1和P2中的部分分割方法，並且P1和P2中測試分割方法的最佳分割成本是cP1和cP2。如果cP1
Figure 108108582-A0305-02-0035-23
w×cP2，則跳過P1中的剩餘CU分割模式。或者，如果cP2
Figure 108108582-A0305-02-0035-24
w×cP1，則跳過P2中剩餘的CU分割模式。
在一個實施例中，分割方法按分割方向分類，並且這兩個分割集是{水平BT，水平ABT，水平TT}和{垂直BT，垂直ABT，垂直TT}。ABT是不對稱BT的縮寫。如果已經測試{水平BT，水平ABT}和{垂直BT，垂直ABT}，則這兩組的最佳分割成本是cP1和cP2。如果cP1
Figure 108108582-A0305-02-0035-25
w×cP2，則跳過水平TT分割方法的分割測試。
在另一個實施例中，分割方法按分割類型分類，並且這兩個分割組是{水平TT，垂直TT，水平ABT，垂直ABT}和{水平BT，垂直BT}。如果{水平BT，垂直BT}和{水平TT，垂直TT}已經過測試，這兩組的最佳分割成本是cP1和cP2。如果cP1
Figure 108108582-A0305-02-0035-26
w×cP2，則跳過水平/垂直ABT分割方法的分割測試。
實施例6：依據早期分割方法中的臨時最佳分割成本跳過CU分割方法
假設當前CU的總可用CU分割方法的數量是M，並且已經測試了M個分割方法中的N個，並且這些N個分割方法的分割成本被表示為{c1，c2，c3，...，cN}。假設當前最佳CU分割成本是cbest且
Figure 108108582-A0305-02-0035-3
。如果ci>w×cbest，(其中i=1，...，N並且i≠j，)並且當前最佳CU分割方法未被分割，則跳過剩餘(M-N)個CU分割方法的分割測試。
例如，假設可用的CU分割方法是{無分割，水平BT，垂直BT， QT，水平TT和垂直TT}。假設測試無分割，水平BT，垂直BT和QT，並且當前最佳CU分割方法是無分割分割類型。如果無分割方法的加權成本小於水平BT，垂直BT和QT的成本，則跳過水平TT和垂直TT的分割測試。
實施例7：透過比較上方深度CU的成本來跳過CU分割方法
依據該實施例，一旦累積的分割成本等於或大於每個分割深度的任何最佳分割成本，就提前跳過CU分割方法。累積分割成本被定義為當前已編碼子CU與上分割深度中的母編碼CU的總和。例如，第18A圖示出了仍在編碼過程下的CTU 1820。當前編碼的CU 1810由斜線填充的區域標記，並且完全編碼的CU由粗虛線包圍的區域表示。對於當前編碼的CU，存在來自分割深度0,1,2,3的4個母塊，其由第18B圖-第118E圖中的相應粗實線表示(即，分別為1836,1834,1832和1830)。假設當前測試方法是水平BT分割方法，並且標記為“A”的第一子CU已經被編碼。在對標記為“B”的第二子CU進行編碼之前，如果“A”的分割成本加上由反斜杠線標記的其他編碼CU的成本等於或大於每個分割深度的母塊的加權分割成本，然後早期跳過CU分割方法。例如，在第18B圖中，其他編碼的CU對應於零(即，沒有使用其他編碼的CU)用於分割深度為3的塊1830，如粗線方塊所示。在第18C圖中，其他編碼的CU對應於填充有區域A上方反斜劃線填充區域，用於分割深度為2的塊1832，如粗線矩形所示。在第18D圖中，其他編碼的CU對應於在區域A上方反斜劃線填充區域，用於分割如粗線方塊所示的深度為1的塊1834。在第18E圖中，其他編碼的CU對應於反斜劃線填充區域，有用於分割如粗線方塊所示深度為0的塊1836。
實施例8：重用先前相同位置和相同尺寸的CU分割決策
可以透過不同的CU分割方法或在不同的CU分割深度中對CU進行多次編碼。由於空間位置，CU尺寸或甚至CU的相鄰不改變，一旦重新訪問CU，可以重用CU分割決策。
在一個示例中，當重新訪問CU時，僅分割方法具有比將加權的最佳分割成本更少的分割成本。
在另一個實施例中，當重新訪問CU時，將始終測試具有最佳分割成本的分割方法，並且分割方法具有小於加權最佳分割成本的第二最佳分割成本也將被測試。將跳過其他測試的分割方法。注意，可以在重新訪問時測試在第一次未被編碼CU的測試的分割方法。
實施例9：依據當前子CU的加權平均區域跳過CU分割方法
當當前子CU的加權平均面積等於或小於TH1並且當前CU面積/尺寸也等於或大於TH2時，跳過CU分割方法。例如，如第19圖所示，如果當前最佳CU被分割，並且每個子CU尺寸是4×4。然後，當前子CU的加權平均面積a被計算為，
Figure 108108582-A0305-02-0037-4
如果a
Figure 108108582-A0305-02-0037-27
TH1並且當前CU區域/尺寸等於或大於TH2，則跳過以下未測試的CU分割方法。
實施例10：依據QT分割結果跳過CU分割方法
當最佳CU的QT深度比當前CU更深並且當前CU區域等於或大於閾值時，跳過CU分割方法。在一個示例中，當最佳CU的QT深度比當前CU更深並且當前CU區域等於或大於16384時，跳過TT分割方法。
第20圖示出了依據本發明實施例的具有對編碼樹分割的約束的示例性編碼系統的流程圖。流程圖中示出的步驟以及本公開中的其他後續流程圖可以實現為在編碼器側和/或解碼器側的一個或複數個處理器(例如，一個或 複數個CPU)上可執行的程序代碼。流程圖中示出的步驟還可以基於諸如被佈置為執行流程圖中的步驟的一個或複數個電子設備或處理器的硬體來實現。依據該方法，在步驟2010中接收與來自視訊序列的當前圖像中的當前塊相關聯的輸入資料。在步驟2020中，使用包括三叉樹分割和至少一個其他類型分割的子樹分割的一個或複數個階段，將當前塊分割為複數個最終子塊，其中如果與當前子塊相關聯的當前子樹深度大於第一閾值並且第一閾值是大於或等於1的整數，則從子樹分割中排除三叉樹分割。在步驟2030，對所述複數個最終子塊進行編碼以生成壓縮位元以包括在編碼器側的視訊位元流中，或者從編碼器側的所述視訊位元流中解碼所述複數個最終子塊。
第21圖示出了依據本發明實施例的具有復雜度降低的畫面間模式的示例性編碼系統的流程圖。依據該方法，在步驟2110中接收與來自視訊序列的當前圖像中的當前塊相關聯的輸入資料。在步驟2120中確定初始的畫面間工具組。然後在步驟2130中確定當前塊的測試條件。在步驟2140中，當滿足測試條件時，使用從修改的畫面間工具組中選擇的當前畫面間模式對當前塊進行編碼或解碼，其中，透過從初始的畫面間工具組中刪除一個或複數個第一個畫面間工具，用一個或複數個複雜性減少的畫面間工具替換一個或複數個第二個畫面間工具，或者或其組合，修改的畫面間工具組自初始的畫面間工具組而被推導。
第22圖示出了依據本發明實施例的具有對編碼樹分割約束的另一示例性編碼系統的流程圖。依據該方法，在步驟2210中，接收與來自視訊序列的當前圖像中的當前塊相關聯的輸入資料。在步驟2220中，確定當前塊的測試條件。在步驟2230中，當滿足測試條件時，使用包括一個或複數個多類型分割的受限編碼樹結構，將當前塊分割為複數個最終子塊，其中受限編碼樹結構終止具有編碼樹分割深度等於閾值的目標子塊的編碼樹分割。在步驟2240中， 對所述複數個最終子塊進行編碼以生成壓縮位元以包括在編碼器側的視訊位元流中，或者在解碼器側從視訊位元流中解碼所述複數個最終子塊。
所示的流程圖旨在示出依據本發明的視訊編碼的示例。在不脫離本發明的精神的情況下，本領域通常知識者可以修改每個步驟，重新安排步驟，分割步驟，或組合步驟以實施本發明。在本公開中，已經使用特定語法和語義來說明用於實現本發明的實施例的示例。本領域通常知識者可以透過用等同的語法和語義替換語法和語義來實踐本發明而不脫離本發明的精神。
呈現以上描述是為了使得本領域通常知識者能夠實踐在特定應用及其要求的背景下提供的本發明。對所描述的實施例的各種修改對於本領域通常知識者來說是顯而易見的，並且這裡定義的一般原理可以應用於其他實施例。因此，本發明不限於所示出和描述的特定實施例，而是與符合本文所公開的原理和新穎特徵的最寬範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，本領域通常知識者將理解，可以實施本發明。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮芯片中的一個或複數個電路電路或集成到視訊壓縮軟體中的程序代碼，以執行這裡描述的處理。本發明的實施例還可以是要在數位訊號處理器(DSP)上執行的程序代碼，以執行這裡描述的處理。本發明還可以涉及由計算機處理器，數位訊號處理器，微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼來執行依據本發明的特定任務。軟體代碼或固件代碼可以用不同的編程語言和不同的格式或樣式開發。還可以針對不同的目標平台編譯軟體代碼。然而，軟體代碼的不同代碼格式，樣式和語言以及配置代碼以執行依據本發明的任務的其他 裝置將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。因此，本發明的範圍由所附請求項而不是前面的描述表示。在請求項的含義和等同範圍內的所有變化都包含在其範圍內。
2010~2030‧‧‧步驟

Claims (27)

  1. 一種視訊編解碼方法，該方法包括：從視訊序列接收與當前圖像中的當前塊相關聯的輸入資料；使用包括三叉樹分割和至少一個其他類型分割的子樹分割的一個或複數個階段，將該當前塊分割為複數個最終子塊，其中如果與當前子塊相關聯的當前樹深度大於第一閾值，並且該第一閾值是大於或等於1的整數，則從該子樹分割中排除該三叉樹分割；以及編碼該複數個最終子塊以生成壓縮位元以包括在編碼器側的視訊位元流中，或者在解碼器側解碼來自該視訊位元流的該複數個最終子塊。
  2. 如請求項1所述之視訊編解碼方法，其中該至少一個其他類型分割包括四叉樹分割，二叉樹分割，或其組合。
  3. 如請求項1所述之視訊編解碼方法，其中，該當前塊對應於一個編碼樹單元，並且該複數個最終子塊中的每一個對應於一個編碼單元，預測單元或變換單元。
  4. 如請求項1所述之視訊編解碼方法，其中，該第一閾值是預先確定的。
  5. 如請求項1所述之視訊編解碼方法，其中，在該解碼器側，該第一閾值被推斷。
  6. 如請求項1所述之視訊編解碼方法，其中如果與該當前子塊相關聯的該當前子樹深度大於該第一閾值，則用於指示是否為該當前子塊選擇該三叉樹分割的指示符被選擇。
  7. 如請求項1所述之視訊編解碼方法，其中，該第一閾值對應於最大允許子樹分割深度減去第二閾值，其中，該第二閾值小於該最大允許子樹分 割深度且大於或等於的0。
  8. 如請求項7所述之視訊編解碼方法，其中，該第二閾值的值取決於該當前圖像是在畫面內圖像內還是畫面間圖像內。
  9. 如請求項7所述之視訊編解碼方法，其中，在視訊參數集，序列參數集，圖像參數集，切片頭，編碼單元，或其組合中，該第二閾值被發送。
  10. 一種視訊編解碼裝置，用於視訊解碼器或視訊編碼器，該裝置包括一個或複數個電子電路或處理器，被佈置成：從視訊序列接收與當前圖像中的當前塊相關聯的輸入資料；使用包括三叉樹分割和至少一個其他類型分割的子樹分割的一個或複數個階段將該當前塊分割為複數個最終子塊，其中如果與當前子塊相關聯的當前樹深度大於第一閾值，並且該第一閾值是大於或等於1的整數，則從該子樹分割中排除該三叉樹分割；以及編碼該複數個最終子塊以生成壓縮位元以包括在編碼器側的視訊位元流中，或者在解碼器側解碼來自視訊位元流的該複數個最終子塊。
  11. 一種使用畫面間模式的視訊編解碼方法，該方法包括：從視訊序列接收與當前圖像中的當前塊相關聯的輸入資料；確定初始的畫面間工具組；確定該當前塊的測試條件；以及當滿足該測試條件時，使用從修改的畫面間工具組中選擇的當前畫面間模式對該當前塊進行編碼或解碼，其中，透過自初始的畫面間工具組移除一個或複數個第一畫面間工具，用於一個或複數個複雜性降低的畫面間工具來代替一個或複數個第二畫面間工具，及其組合，而自該初始的畫面間工具組，該修改的畫面間工具組被導出。
  12. 如請求項11所述之使用畫面間模式的視訊編解碼方法，其中該 一個或複數個第一畫面間工具選自一個組合，該組合包括高級運動矢量預測，合併，模式匹配運動矢量推導，局部照明補償，仿射編碼，鄰近導出的預測偏移，重疊塊運動補償，或其組合。
  13. 如請求項11所述之使用畫面間模式的視訊編解碼方法，其中，是否滿足該測試條件取決於與該當前塊相關聯的編碼樹深度。
  14. 如請求項11所述之使用畫面間模式的視訊編解碼方法，其中，是否滿足該測試條件取決於該當前塊的塊尺寸。
  15. 如請求項11所述之使用畫面間模式的視訊編解碼方法，其中，是否滿足該測試條件取決於與該當前塊相關聯的編碼樹深度和該當前塊的塊尺寸。
  16. 如請求項11所述之使用畫面間模式的視訊編解碼方法，其中如果與該當前塊相關聯的編碼樹深度等於預定義值並且該當前塊的塊尺寸大於或等於閾值，則該測試條件被滿足。
  17. 如請求項11所述之使用畫面間模式的視訊編解碼方法，其中當從該初始的畫面間工具組移除目標第一畫面間工具時，與該目標第一畫面間工具相關聯的語法元素未在編碼器側被發送或未在解碼器側被解析以用於該當前塊。
  18. 如請求項11所述之使用畫面間模式的視訊編解碼方法，其中當從該初始的畫面間工具組中移除該一個或複數個第一畫面間工具時，該當前塊透過自該候選列表排除該一個或複數個第一畫面間工具，而使用候選數量減少的候選列表。
  19. 一種使用畫面間模式的視訊編碼裝置，該裝置包括一個或複數個電子電路或處理器，被佈置成：從視訊序列接收與當前圖像中的當前塊相關聯的輸入資料； 確定初始的畫面間工具組；確定該當前塊的測試條件；以及當滿足該測試條件時，使用從修改的畫面間工具組中選擇的當前畫面間模式對該當前塊進行編碼或解碼，其中，透過自初始的畫面間工具組移除一個或複數個第一畫面間工具，用於一個或複數個複雜性降低的畫面間工具來代替一個或複數個第二畫面間工具，及其組合，而自該初始的畫面間工具組該修改的畫面間工具組被導出。
  20. 一種視訊編解碼方法，該方法包括：從視訊序列接收與當前圖像中的當前塊相關聯的輸入資料；確定該當前塊的測試條件；當滿足該測試條件時，使用包括一個或複數個多類型分割的受限編碼樹結構，將當前塊分割為複數個最終子塊，其中受限編碼樹結構終止具有編碼樹分割深度等於閾值的目標子塊的編碼樹分割；以及編碼該複數個最終子塊以生成壓縮位元以包括在編碼器側的視訊位元流中或者在解碼器側解碼來自視訊位元流的該複數個最終子塊；其中，如果該編碼樹分割深度等於該閾值，則省略用於指示該目標子塊的分割決定的語法元素。
  21. 如請求項20所述之視訊編解碼方法，其中，是否滿足該測試條件取決於該當前塊的塊尺寸。
  22. 如請求項20所述之視訊編解碼方法，其中，是否滿足該測試條件取決於當前切片的時間層，其中該當前切片包括該當前塊。
  23. 如請求項20所述之視訊編解碼方法，其中，是否滿足該測試條件取決於該當前塊的最佳預測模式。
  24. 如請求項20所述之視訊編解碼方法，其中，是否滿足該測試條 件取決於該當前塊的寬度和高度的比率。
  25. 如請求項20所述之視訊編解碼方法，其中，是否滿足該測試條件取決於在小於該閾值的第二編碼樹分割深度處對該目標子塊的先前子塊的分割決策。
  26. 如請求項20所述之視訊編解碼方法，其中，是否滿足該測試條件取決於當前切片的量化參數，其中該當前切片包括該當前塊。
  27. 一種視訊編碼裝置，用於視訊解碼器和視訊編碼器，該裝置包括一個或複數個電子電路或處理器，被佈置成：從視訊序列接收與當前圖像中的當前塊相關聯的輸入資料；確定該當前塊的測試條件；當滿足該測試條件時，使用包括一個或複數個多級分割的受限編碼樹結構，將當前塊分割為複數個最終子塊，其中受限編碼樹結構終止具有編碼樹分割深度等於閾值的目標子塊的編碼樹分割；以及編碼該複數個最終子塊以生成壓縮位元以包括在編碼器側的視訊位元流中或者在解碼器側解碼來自視訊位元流的該複數個最終子塊；其中，如果該編碼樹分割深度等於該閾值，則省略用於指示該目標子塊的分割決定的語法元素。
TW108108582A 2018-03-14 2019-03-14 用於視訊編解碼的優化分割結構的方法和裝置 TWI702839B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201862642661P 2018-03-14 2018-03-14
US62/642,661 2018-03-14
US201862647914P 2018-03-26 2018-03-26
US201862647910P 2018-03-26 2018-03-26
US201862647917P 2018-03-26 2018-03-26
US62/647,914 2018-03-26
US62/647,910 2018-03-26
US62/647,917 2018-03-26
US201862664382P 2018-04-30 2018-04-30
US62/664,382 2018-04-30
??PCT/CN2019/077960 2019-03-13
WOPCT/CN2019/077960 2019-03-13
PCT/CN2019/077960 WO2019174594A1 (en) 2018-03-14 2019-03-13 Method and apparatus of optimized splitting structure for video coding

Publications (2)

Publication Number Publication Date
TW201941616A TW201941616A (zh) 2019-10-16
TWI702839B true TWI702839B (zh) 2020-08-21

Family

ID=67907328

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108108582A TWI702839B (zh) 2018-03-14 2019-03-14 用於視訊編解碼的優化分割結構的方法和裝置

Country Status (5)

Country Link
US (1) US11516513B2 (zh)
EP (1) EP3763128A4 (zh)
CN (1) CN111819857A (zh)
TW (1) TWI702839B (zh)
WO (1) WO2019174594A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204967A (zh) * 2018-05-31 2021-01-08 夏普株式会社 用于划分视频数据的帧间预测片段中的视频块的系统和方法
US11589044B2 (en) 2019-10-14 2023-02-21 Hfi Innovation Inc. Video encoding and decoding with ternary-tree block partitioning
EP4052469A4 (en) * 2019-12-03 2023-01-25 Huawei Technologies Co., Ltd. METHOD, DEVICE, CODING SYSTEM WITH FUSION MODE
US11546592B2 (en) * 2020-01-08 2023-01-03 Tencent America LLC Flexible block partitioning for chroma component
CN111212292B (zh) * 2020-01-16 2023-04-28 郑州轻工业大学 基于h.266的自适应cu分区和跳过模式方法
CN112601082B (zh) * 2020-11-30 2023-12-12 南京邮电大学 一种基于视频的快速动态点云编码方法及系统
CN113163199B (zh) * 2021-05-10 2023-06-30 浙江裕瀚科技有限公司 一种基于h265的视频快速预测方法、快速编码方法和系统
CN117501693A (zh) * 2021-05-24 2024-02-02 北京达佳互联信息技术有限公司 用于帧间预测的重叠块运动补偿的方法和设备
CN113613006B (zh) * 2021-07-30 2023-08-18 浙江裕瀚科技有限公司 一种视频编码的方法、系统和装置
CN113747177B (zh) * 2021-08-05 2023-06-20 中山大学 基于历史信息的帧内编码速度优化方法、装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130187798A1 (en) * 2010-09-09 2013-07-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Entropy encoding and decoding scheme
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
US9451287B2 (en) * 2011-11-08 2016-09-20 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
TW201334565A (zh) * 2011-12-28 2013-08-16 Jvc Kenwood Corp 動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
CN104104964B (zh) * 2013-04-09 2019-03-12 乐金电子(中国)研究开发中心有限公司 一种深度图像帧间编码、解码方法、编码器及解码器
CN103248893B (zh) * 2013-05-10 2015-12-23 四川大学 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
US20150262404A1 (en) 2014-03-13 2015-09-17 Huawei Technologies Co., Ltd. Screen Content And Mixed Content Coding
WO2015192372A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. A simplified method for illumination compensation in multi-view and 3d video coding
CN104023234B (zh) * 2014-06-24 2017-02-22 华侨大学 一种适用于hevc的快速帧间预测方法
US10630977B2 (en) * 2015-04-08 2020-04-21 Lg Electronics Inc. Method and apparatus for encoding/decoding a video signal
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
CN105704494B (zh) * 2016-03-09 2018-08-17 西安电子科技大学 基于深度相关性的屏幕内容编码帧间快速编码方法
US10542294B2 (en) * 2016-03-16 2020-01-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
RU2718164C1 (ru) * 2016-05-28 2020-03-30 МедиаТек Инк. Способы и устройства для обработки видео данных с условным направлением сигнала информации параметра квантования
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US20190182505A1 (en) * 2016-08-12 2019-06-13 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
GB2557430B (en) * 2016-10-12 2020-01-15 Mediatek Inc Methods and apparatuses of constrained multi-type-tree block partition for video coding
AU2017377490B2 (en) * 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
PL3477949T3 (pl) * 2017-02-06 2024-02-19 Huawei Technologies Co., Ltd. Sposób i urządzenie do dekodowania obrazu z zastosowaniem informacji o podziale jednostki drzewa kodowania
EP3657789A4 (en) * 2017-07-17 2020-12-16 Industry - University Cooperation Foundation Hanyang University METHOD AND DEVICE FOR CODING / DECODING AN IMAGE
CN117354513A (zh) * 2017-07-28 2024-01-05 韩国电子通信研究院 图像编码方法和图像解码方法以及计算机可读记录介质
WO2019083334A1 (ko) * 2017-10-26 2019-05-02 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
US10827173B2 (en) * 2017-11-13 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for quantization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130187798A1 (en) * 2010-09-09 2013-07-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Entropy encoding and decoding scheme
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet

Also Published As

Publication number Publication date
US11516513B2 (en) 2022-11-29
US20210014536A1 (en) 2021-01-14
EP3763128A1 (en) 2021-01-13
EP3763128A4 (en) 2022-04-06
TW201941616A (zh) 2019-10-16
CN111819857A (zh) 2020-10-23
WO2019174594A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
TWI702839B (zh) 用於視訊編解碼的優化分割結構的方法和裝置
TWI646829B (zh) 一種視訊編碼系統使用的視訊編碼方法及裝置
KR102261696B1 (ko) Fruc 를 위한 저 복잡도 설계
CN112534813B (zh) 视频处理系统中色度量化参数导出的方法以及装置
KR20190046704A (ko) 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
JP2021530937A (ja) １つまたは複数のルックアップテーブルを使用して、以前符号化された動き情報を順に記憶させてそれらを後続のブロックの符号化に使用する概念関連出願の相互参照
KR20200017406A (ko) 모션 벡터 예측
WO2019210857A1 (en) Method and apparatus of syntax interleaving for separate coding tree in video coding
WO2021104474A1 (en) Selective switch for parallel processing
CN113796077A (zh) 视频编解码之亮度mpm列表导出的方法及装置
WO2020035064A1 (en) Shared candidate list
TW202021368A (zh) 視訊編解碼中共享合併候選列表區域的方法和裝置
TWI729458B (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
TWI751657B (zh) 具有分割限制條件之小尺寸編碼單元分割方法和裝置
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
TWI718079B (zh) 用於視訊編解碼的簡化子模式的方法和裝置
Ahmmed et al. Motion hints based inter-frame prediction for hybrid video coding
TWI720470B (zh) 用於視訊編解碼中的獨立編碼樹的語法交錯方法和裝置
CN113906737B (zh) 具有分割限制条件的小尺寸编码单元分割方法和装置
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策