TWI702838B - 一種用於視訊編碼器或視訊解碼器的視訊編解碼方法及裝置 - Google Patents

一種用於視訊編碼器或視訊解碼器的視訊編解碼方法及裝置 Download PDF

Info

Publication number
TWI702838B
TWI702838B TW108110371A TW108110371A TWI702838B TW I702838 B TWI702838 B TW I702838B TW 108110371 A TW108110371 A TW 108110371A TW 108110371 A TW108110371 A TW 108110371A TW I702838 B TWI702838 B TW I702838B
Authority
TW
Taiwan
Prior art keywords
video
current block
divided
tree
syntax
Prior art date
Application number
TW108110371A
Other languages
English (en)
Other versions
TW201941614A (zh
Inventor
向時達
林芷儀
莊子德
陳慶曄
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201941614A publication Critical patent/TW201941614A/zh
Application granted granted Critical
Publication of TWI702838B publication Critical patent/TWI702838B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了一種用於一視訊編碼系統或一視訊解碼系統的視訊編解碼方法和裝置。根據一種方法，藉由首先發送或解析用以指示當前塊是否被分割為多個較小塊的一第一語法元素，使用四分樹分割和/或一維分割，當前塊區域被分割為一個或多個葉塊。根據第二種方法，多個語法模型中的一目標語法模型被確定。在編碼器側藉由使用四分樹和/或一維分割和根據該目標語法模型發送塊分割資訊，該當前區域被分割為一個或多個葉塊，或者在解碼側根據該目標語法模型該塊分割資訊被解析以及該當前塊區域被分割為一個或多個葉塊。

Description

一種用於視訊編碼器或視訊解碼器的視訊編解碼方法及 裝置
本發明涉及使用靈活的塊分割類型的視訊編解碼。更具體地說，本發明公開語法發送方法以改進與塊分割相關的編解碼效率。
高效率視訊編解碼(High Efficiency Video Coding,HEVC)標準是在ITU-T視訊編解碼專家組(Video Coding Experts Group,VCEG)和ISO/IEC運動圖像專家組(Moving Picture Experts Group,MPEG)標準化組織的聯合視訊項目下開發的，尤其是與稱為視訊編解碼聯合協作小組(Joint Collaborative Team on Video Coding,JCT-VC)的合作而開發的。在HEVC中，將一個片段(Slice)分割為複數個編解碼樹單元(coding tree units，以下簡稱為CTU)。在主配置文件(profile)中，CTU的最小尺寸和最大尺寸由序列參數集(sequence parameter set，SPS)中的語法元素指定。允許的CTU大小可以是8x8，16x16，32x32或64x64。對於每個片段，依據光柵掃描(raster scan)順序處理片段內的CTU。
CTU還被分割為複數個編解碼單元(multiple coding units，CU)以適應各種局部特性。被稱為編解碼樹(coding tree)的四分樹被用於將CTU分割成複數個CU。使CTU大小為MxM，其中M是64，32或16中的一個。CTU可以是單個CU(即，不分割)或可以分成四個相同大小的較小單元(即每個尺 寸為M/2xM/2)，其對應於編解碼樹的節點。如果單元是編解碼樹的葉節點，則單元變為CU。否則，可以迭代四分樹分割過程，直到節點的大小達到序列參數集(Sequence Parameter Set,SPS)中指定的最小允許CU大小。該表示方式形成由第1圖中的編解碼樹(也稱為分割樹結構)120指定的遞迴結構。第1圖中示出了CTU110的分割，其中實綫表示CU的邊界。使用圖像間(時間)或圖像內(空間)預測編解碼圖像區域的決定在CU層做出。由於最小CU尺寸可以為8x8，所以在不同的基本預測類型之間切換的最小粒度(granularity)是8×8。
此外，依據HEVC，每個CU可以被分為一個或複數個預測單元(prediction units，PU)。與CU一起，PU作為共享預測信息的基本代表塊。在每個PU內部，應用相同的預測處理，并且以PU為基礎將相關信息發送到解碼器。依據PU分割類型，CU可以分為一個，兩個或者四個PU。如第2圖所示，HEVC定義了將CU分解為PU的八種形狀，包括分割類型2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N。與CU不同，PU只能依據HEVC分割一次。第二行(row)中顯示的分割對應於非對稱分割，其中兩個分割部分具有不同的大小。
在透過基於PU分割類型的預測處理獲得殘差塊之後，可以依據如第1圖所示的CU的編解碼樹類似的另一四分樹結構，將CU的預測殘差分割成變換單元(transform unit，TU)。實綫表示CU邊界，虛綫表示TU邊界。TU是具有殘差或變換係數的基本代表塊，以用於應用整數變換(integer transform)和量化對於每個TU，對TU應用一個具有相同大小的整數變換以獲得殘差係數。這些係數在基於TU的量化之後被傳送到解碼器。
定義術語編解碼樹塊(coding tree block，CTB)，編解碼塊(coding block，CB)，預測塊(prediction block，PB)和變換塊(transform block，TB)，以指定分別與CTU，CU，PU和TU相關的一個顏色成分的2-D樣本陣列。因此， CTU由一個亮度CTB，兩個色度CTB和相關聯的語法元素組成。類似的關係對於CU，PU和TU是有效的。樹分割通常同時應用於亮度和色度兩者，儘管當達到用於色度的某些最小尺寸時有例外情況。
或者，在JCTVC-P1005中(D.F.Flynn等人，“HEVC Range Extensions Draft 6”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,16th Meeting：San Jose,US,9-17 January 2014,Document：JCTVC-P1005)，二元樹塊分割結構被提出。如第3圖所示，在提出的二元樹分割結構中，塊可以使用各種二進位分割類型遞迴地分割成兩個較小的塊。最有效和最簡單的是第3圖的前兩個分割類型中所示的對稱水平分割和對稱垂直分割。對於給定的大小為MxN的塊，發送一個標誌以指示給定的塊是否被分成兩個較小的塊。如果是，則發出另一個語法元素以指示使用哪種分割類型。如果使用水平分割，給定的塊被分成兩個大小為Mx(N/2)的塊。如果使用垂直分割，給定的塊被分成兩個大小為(M/2)xN的塊。可以重複二元樹分割過程，直到分割塊的大小(寬度或高度)達到允許的最小塊大小(寬度或高度)為止。允許的最小塊大小可以在諸如SPS的高級語法中定義。由於二元樹具有兩種分割類型(即水平和垂直)，所以應該指出最小允許的塊寬度和塊高度。當分割會導致塊高度小於指定的最小值時，非水平分割是隱含的。當分割會導致塊寬度小於指定的最小值時，非垂直分割是隱含的。第4圖示出了塊分割410及其對應的二元樹420的示例。在二元樹的每個分割節點(即，非葉節點)中，使用一個標誌來指示使用哪種分割類型(水平或垂直)，其中0可以指示水平分割，1可以指示垂直分割。
二元樹結構可以用於將圖像區域分割成複數個較小的塊，例如將片段分割成CTU，將CTU分割成CU，將CU分割成PU，或將CU分成TU等等。二元樹可以用於將CTU分割成CU，其中二元樹的根節點是CTU，二元樹 的葉節點是CU。葉節點可以透過預測和變換編解碼進一步處理。為簡化起見，沒有從CU到PU或從CU到TU的進一步分割，這意味著CU等於PU以及PU等於TU。因此，換句話說，二元樹的葉節點是用於預測和變換編解碼的基本單元。
因為可以支持更多的分割形狀，二元樹結構比四分樹結構更靈活，這也是編解碼效率改進的來源。然而，為了選擇最佳分割形狀，編碼複雜度也將增加。為了平衡複雜度和編解碼效率，已經公開了一種組合四分樹和二元樹結構的方法，也稱為四分樹加二元樹(quadtree plus binary tree,QTBT)結構。依據QTBT結構，塊首先被四分樹結構分割，並且四分樹分割可以迭代，直到分割塊的大小達到最小允許的四分樹葉節點大小。如果葉四分樹塊不大於最大允許二元樹根節點大小，則可以透過二元樹結構進一步分割，並且二元樹分割可以迭代，直到分割塊的大小(寬度或高度)達到最小允許二元樹葉節點大小(寬度或高度)或二元樹深度達到允許的最大二元樹深度。在QTBT結構中，最小允許的四分樹葉節點大小，最大允許的二元樹根節點大小，最小允許二元樹葉節點寬度和高度以及最大允許二元樹深度可以在高級語法中指示，例如在SPS中。第5圖示出了塊510的分割及其對應的QTBT520的示例。實線表示四分樹分割，虛線表示二元樹分割。在二元樹的每個分割節點(即，非葉節點)中，一個標誌指示使用哪種分割類型(水平或垂直)，0可以指示水平分割，以及1可以指示垂直分割。
上述QTBT結構可以用於將圖像區域(例如，片段，CTU或CU)分割成複數個較小的塊，例如將片段分割成CTU，將CTU分割成CU，將CU分成PU，將CU分成TU等。例如，QTBT可以用於將CTU分割成CU，其中QTBT的根節點是CTU，該CTU透過QTBT結構被分割為複數個CU，並且透過預測和變換編解碼進一步處理這些CU。為簡化起見，沒有從CU到PU或從 CU到TU的進一步分割。這意味著CU等於PU和PU等於TU。因此，換句話說，QTBT結構的葉節點是預測和變換的基本單位。
QTBT結構的示例如下所示。對於大小為128x128的CTU，最小允許的四分樹葉節點大小設置為16x16，最大允許的二元樹根節點大小設置為64x64，最小允許的二元樹葉節點寬度和高度都設置為4，而最大允許二元樹深度設置為4。首先，CTU由四分樹結構分割，並且葉四分樹單元可以具有從16×16(即，最小允許四分樹葉節點大小)到128×128的大小(等於CTU的大小，不分割)。如果葉四分樹單元是128x128，它不能被二元樹進一步分割，因為大小超過最大允許的二元樹根節點大小64x64。否則，可以透過二元樹進一步分割葉四分樹單元。葉四分樹單元也是根二元樹單元，其二元樹深度為0。當二元樹深度達到4(即，如所指示的最大允許二元樹)時，隱含不分割。當對應的二元樹節點的塊的寬度等於4時，隱含非水平分割。當對應的二元樹節點的塊的高度等於4時，隱含非垂直分割。QTBT的葉節點透過預測(圖像內或圖像間)和變換編解碼進一步處理。
對於I片段，QTBT樹結構通常應用亮度/色度分離編解碼。例如，QTBT樹結構分別應用於I片段的亮度分量和色度分量，並且同時應用於P-片段和B片段的亮度分量和色度分量(除了達到色度的某些最小尺寸之外)。換句話說，在I片段中，亮度CTB具有QTBT結構的塊分割，並且兩個色度CTB具有另一個QTBT結構的塊分割。在另一示例中，兩個色度CTB也可以具有它們自己的QTBT結構的塊分割。
對於基於塊的編解碼，總是需要將圖像分割成塊(例如CU，PU和TU)以用於編解碼目的。如本領域已知的，在應用塊分割之前，圖像可以被分割成更小的圖像區域，例如片段，方格(tiles)，CTU行(row)或CTU。用於編解碼目的將圖像分割為塊的處理被稱為使用編解碼單元結構對圖像進行分 割。HEVC採用的特殊分割而生成CU，PU和TU的方法，是編解碼單元(CU)結構的一個例子。QTBT樹結構是編解碼單元(CU)結構的另一示例。
為了進一步支持更多分割形狀以實現更靈活的分割，三元樹分割方法被設計為捕獲位於塊中心的物體，而四分樹和二元樹分割方法總是沿塊中心分割。第6圖示出了垂直三元樹分割(610)和水平三元樹分割(620)。藉由允許垂直或水平四分之一分割，三元樹分割方法可提供沿塊邊界更快地定位小物體的能力。
藉由允許多類型樹(Multi-Type-Tree，簡稱MTT)的第二級中的二元樹和三元樹分割方法，MTT塊分割擴展了QTBT中的兩級樹結構的概念。換句話說，使用第7圖中所示的五種分割類型(即，QT 710，垂直BT 720，水平BT 730，垂直TT(三元樹)740和水平TT 750)之一，CU可被進一步分成較小尺寸的CU。新的分割類型740和750可被採用以將塊分成三個較小尺寸的塊。
在構建MTT塊分割之後，MTT葉節點是CU，其被用於預測和變換而無需任何進一步的分割。在MTT中，所提出的樹結構在I片段中對亮度和色度單獨編解碼，並且被同時應用於P和B片段中的亮度和色度(除了在達到色度的某些最小尺寸時)。也就是說，在I片段中，亮度CTB具有其QTBT結構的塊分割，並且兩個色度CTB具有另一個QTBT結構的塊分割。
雖然MTT能夠藉由自適應地分割用於預測和變換的塊來改善性能，但是業界仍希望在可能的情況下進一步改善性能以便實現整體效率目標。
本發明公開了一種用於視訊編碼系統或視訊解碼系統的視訊編解碼的方法和裝置。根據一種方法，藉由首先發送或解析用以指示當前塊是否 被分割為多個較小塊的一第一語法元素，使用四分樹(quadtree，簡稱QT)分割和/或1D(one-dimensional，簡稱一維)，當前塊區域被分割為一個或多個葉塊。藉由將編碼或解碼處理應用於所述一個或多個葉塊來編碼或解碼當前塊區域。當前塊區域可對應於具有預定義大小的一個塊，一個當前已編解碼的編解碼單元(coding unit，簡稱CU)或一個編碼樹單元(coding tree unit，簡稱CTU)。
當當前塊區域未按第一語法元素所指示的被分割時，另外的語法元素將不被發送。當當前塊區域按第一語法元素所指示的被分割時，一個或多個額外的語法元素被發送。當當前塊區域按第一語法元素所指示的被分割時，第二語法元素被發送以指示當前塊區域是使用QT分割還是1D分割來分割。當第二語法元素指示當前塊區域被1D分割分割時，一個或多個額外語法元素被發送以指示1D分割是否是水平二元樹(binary tree，簡稱BT)分割，垂直BT分割，水平三元樹(triple tree，簡稱TT)分割或垂直TT分割。
在一實施例中，1D分割包括水平BT分割，垂直BT分割，水平TT分割，和垂直TT分割。
根據第二種方法，多個語法模型中的一目標語法模型被確定。藉由在編碼器側使用四分樹和/或一維分割和根據該目標語法模型發送塊分割資訊，該當前區域被分割為一個或多個葉塊，或者在解碼側根據該目標語法模型該塊分割資訊被解析以及該當前塊區域被分割為一個或多個葉塊。藉由將編碼或解碼處理應用於該一個或多個葉塊，當前塊區域被編碼或解碼。當前塊區域可對應於具有預定義大小的一個塊，一當前以編解碼的CU，或一CTU。
語法元素可被用於指示從多個語法模型中選擇的目標語法模型。目標語法模型可基於葉CU的大小，最大QT或編解碼樹的深度，由BT分割或QT分割進行分割的葉CU的數量或其組合來確定。
在一個實施例中，QT分割在1D分割之前被使用，並且在1D分 割被使用之後QT分割被禁止。
在一個實施例中，當當前塊區域未按第一語法元素所指示的被分割時，另外的語法元素不被發送，並且當當前塊區域未按第一語法元素所指示的被分割時，一個或多個額外的語法元素被發送。
110:編解碼樹單元
120:編解碼樹
410:塊分割
420:二元樹
510:塊
520:四分樹加二元樹
610:垂直三元樹分割
620:水平三元樹分割
710:四分樹分割
720:垂直二元樹分割
730:水平二元樹分割
740:垂直三元樹分割
750:水平三元樹分割
810、910:塊分割語法模型
820、920:碼字表
1910、1920、1930、20102020、2030、2040:步驟
第1圖是示出使用四分樹結構將編解碼樹單元(coding tree,unit CTU)分割成編碼單元(coding units,CUs)的塊分割的示例。
第2圖示出根據高效率視訊編碼(High Efficiency Video Coding,HEVC)的非對稱運動分割(asymmetric motion partition,AMP)，其中AMP定義將CU分割為PU的八種形狀。
第3圖是示出二元樹分割結構使用的各種二元分割類型的示例，其中可以使用分割類型將塊遞歸地分割成兩個較小的塊。
第4圖是示出塊分割及其對應的二元樹的示例，其中在二元樹的每個分割節點(即，非葉節點)中，一種語法用於指示使用哪種分割類型(水平或垂直)，其中0表示水平分割，1表示垂直分割。
第5圖是示出塊分割以及四分樹加二元樹(quadtree plus binary tree,QTBT)結構的示例，其中實綫表示四分樹分割以及虛綫表示二元樹分割。
第6圖示出垂直三元樹分割和水平三元樹分割。
第7圖示出用於多類型樹(Multi-Type-Tree，簡稱MTT)塊分割的多種類型的塊分割，包括四分樹分割，垂直二元樹分割和水平二元樹分割，垂直三元樹分割和水平三元樹分割。
第8圖是示出塊分割語法模型和第一語法模型的相應碼字表的示例。
第9圖是示出塊分割語法模型和第二語法模型的相應碼字表的示例。
第10圖是示出塊分割的示例，其中實綫表示QT分割以及虛綫表示BT分割。
第11圖是示出根據第8圖中的塊分割語法模型的對應於第10圖中的塊的語法發送的所得結構和語法的示例。
第12圖是示出根據第9圖中的塊分割語法模型的對應於第10圖中的塊的語法發送的所得結構和語法的示例。
第13圖示出另一塊分割示例，實綫表示QT分割以及虛綫表示BT分割。
第14圖是示出根據第8圖中的塊分割語法模型的對應於第13圖中的塊的語法發送的所得結構和語法的示例。
第15圖是示出根據第9圖中的塊分割語法模型的對應於第13圖中的塊的語法發送的所得結構和語法的示例。
第16圖示出在聯合探索測試模型7(Joint Exploration Test Model 7，簡稱JEM7)中QTBT結構當前採用的發送方法。
第17圖示出根據本發明實施例所提出的方法的發送方法，其中標誌被首先編解碼以指示是否分割當前CU。
第18A圖到第18C圖是示出比較所提出的發送分割資訊的方法與傳統方法的示例，其中第18A圖示出塊分割的示例，第18B圖示出表1的基於傳統的語法編解碼的語法編解碼，以及第18C圖示出用於發送表2的分割資訊的基於所提出的碼字的語法編解碼。
第19圖示出根據本發明的實施例具有語法發送的示例性編解碼系統的流程圖。
第20圖示出根據本發明的實施例具有語法發送的另一示例性編解碼系統的流程圖。
以下描述是實現本發明的最佳實施方式。這一描述是為了說明本發明的一般原理，而不應被認為是限制性的。本發明的範圍最好透過申請專利範圍來確定。
在基於多類型樹塊分割結構的視訊編解碼中，由於更靈活的分割變得可用，因此編解碼效率已經顯示出顯著的改進。業界期望開發當MTT在使用時用於降低計算複雜度的方法。因此，本發明公開了用於提高編解碼效率的各種方法，特別是用於發送塊分割資訊的方法。
隨著在下一代視訊編解碼中引入更多分割方法以與四分樹組合，用於CU分割的語法的信令開銷變得更大。在本發明中，用於CU結構語法的多模型語法設計被公開。利用所提出的多模型語法設計，藉由使用不同的語法模型不同的CU結構可被編解碼，因此用於CU分割的信令開銷可被減少。
不同的語法模型以適用於不同的CU結構
根據本發明的實施例，用於編碼塊區域的CU結構的不同語法模型被公開。塊區域可以是具有等於預定義大小的塊，當前編解碼的CU(不一定是葉CU)或CTU。語法被用於指示哪個語法模型被用於當前塊區域。不同種類的語法模型被要求適應於不同種類的CU結構。多於一種語法模型可在本方法中被使用。CU結構可以是分割結果的任何特徵。例如，CU結構的類型可以基於葉CU的大小，最大QT或CT深度，藉由BT分割或QT分割進行分割的葉CU的數量，或者上述的組合來確定。CT深度是指葉QT的編解碼樹深度。
在一個實施例中，兩個語法模型被用來對CU結構進行編解碼。第一語法模型在第8圖中示出，第二模型在第9圖中示出。第8圖示出塊分割語法模型810和對應的碼字表820的示例。第9圖示出塊分割語法模型910和對應的碼字表920的另一示例。在以上示例中，QT分割在BT或TT分割之前 完成。BT或TT分割後，QT分割被禁止。
不同的CU結構被要求適應於不同的語法模型。例如，如果塊區域中的大多數葉CU是由QT分割產生的，如第10圖所示，其中實線表示QT分割，虛線表示BT分割。如第10圖所示，QT分割被用於將塊區域分割為4個子CU。在4個子CU中，三個子CU是不需要進一步分割的葉CU。僅一個子CU藉由垂直BT被進一步分割成兩個葉CU。所得的結構如第11圖所示，其中用於發送每個分割決定的代碼字被標記出。藉由使用第8圖中的模型1，需要13個二進位數(bin)來編碼這個結構。注意，對於來自BT或TT分割的葉CU，僅一個bin(bin值=0)被需要用來表示沒有進一步的分割。如果塊區域是使用第9圖的模型2被編解碼的，則如第12圖所示總的已編解碼的bin數量將變為11。bin數量的减少主要來自對應於來自QT分割的葉CU的不需分割(No-Split)的較短碼字。換句話說，在更多CU是QT葉CU的情況下，語法模型2更有效。
第13圖示出了另一個塊分割示例，其中實線表示QT分割，虛線表示BT分割。在該示例中，塊區域具有較大的QT深度，並且大多數葉CU來自BT或TT分割。對於這個塊分割示例，語法模型1對於CU結構的編解碼比模型2更好。例如，如第14圖所示使用語法模型1需要44個bin，如第15圖所示使用語法模型2需要46個bin。對於這種類型的CU結構，在兩種語法模型中所有葉CU將用0進行編解碼，因此QT分割標誌的碼字的長度將變得更加重要。
因此，在所提出的方法的一個實施例中，一種語法被用來指示哪個語法模型用於當前塊區域。例如，如果當前塊中的大多數葉CU來自QT分割(例如，第10圖中的塊分割)，則語法模型2被選擇。另一方面，對於如第13圖所示的CU結構，語法模型1被選擇。
語法模型可以是碼字表(例如，第8圖和第9圖中的語法模型1 和語法模型2)或CU分割規則。例如，規則可以是最大/最小QT深度，最大/最小BT/TT深度，最大/最小CU尺寸或上述的組合。如果該規則被使用，則CU分割必須遵循規則。例如，如果規則對應於CU大小必須大於或等於2048，則當分割後的CU大小小於2048時，分割標誌被推斷為0。
語法發送
用於對每個塊區域選擇語法模型的一個或多個語法可被明確地發送或者推斷。塊區域可以是大小等於預定義值的塊(例如，M×N塊大小，M和N=整數)，當前編解碼CU(不一定是葉CU)或CTU。如果語法被明確地發送，則將在當前塊區域中的分割標誌之前被發送。在一個實施例中，該語法可直接指示當前塊區域的語法模型。例如，標誌或索引可用於選擇語法模型之一。在一個示例中，標誌可被發送用於每個CTU以選擇與兩個語法模型(例如，分別在第8圖和第9圖中的語法模型1和語法模型2)相關聯的CU分割碼字表中之一。使用以上下文資訊為條件的上下文-已編解碼的二進位數(bin)，語法可被熵編解碼。模型選擇可以取決於當前塊大小，當前QT/CT深度和/或相鄰塊中的相關語法值。
在另一個實施例中，藉由使用當前塊區域的資訊和/或一個或多個相鄰塊的資訊，一個或多個合適的語法模型被預測。一個或多個語法被用於指示預測語法模型是否被正確預測，或者從預測語法模型之一中選擇一個語法模型。該資訊包括當前CU結構，相鄰CU的結構(例如，上述CU結構或左CU結構，上部和左側CU結構)或相鄰塊區域。在一個示例中，語法模型從鄰近資訊被預測。如果預測的語法模型被選擇，則標誌可被設置為1。
在另一實施例中，一個已發送的語法將指示要在兩個語法模型候選者中的當前塊中使用的語法模型。這兩個候選者也可藉由語法模型推導方法被導出。
為了選擇最佳語法模型，我們可在完成壓縮過程之後測試不同的語法模型，或者在壓縮過程期間測試語法模型。當在壓縮過程中測試語法時，分割過程可根據當前選擇的語法模型提前被終止。例如，如果當前選擇的語法模型是規則並且指示最大QT深度是1，則當前塊中的QT分割將僅被應用一次。換句話說，當QT深度等於1時，QT分割將不再被測試。
如果語法被推斷出，則根據當前塊區域和/或鄰近資訊(例如，相鄰CU的語法模型，例如上方的CU的語法模型，左側的CU的語法模型，或者上方的CU和左側的CU的模型)當前塊區域的語法模型可被推斷出。不同的語法模型推導方法可被應用。例如，推斷的語法模型可以是當前塊的相鄰CU中使用最多的語法模型。例如，對於每個CU，根據相鄰資訊第8圖和第9圖中的語法模型1和語法模型2的碼字表被自適應地選擇。在另一示例中，對於每個CU，根據當前CU深度或大小和/或鄰近資訊第8圖和第9圖中的語法模型1和語法模型2的碼字表被自適應地選擇。
前面提出的方法可在編碼器和/或解碼器中被實現。例如，所提出的方法可在編碼器的CU結構編碼模組中被實現，和/或在解碼器的CU結構解碼模組中被實現。
在QTBT結構和MTT結構中，使用QT分割結構CTU被首先分割為四個較小的CU。“1”被發送以指示當前CU藉由四分樹分割被進一步分割。“0”被發送以指示當前CU是四分樹葉節點並且不藉由四分樹分割被進一步分割。藉由使用諸如BT分割類型和TT分割類型之類的1D分割類型之一來進一步分割四分樹葉節點，其進一步將CU分割成多個CU，並且每個在一個空間維度上具有減小的大小，同時在另一個空間維度中保持相同的大小。當當前四分樹葉節點的大小不大於用於1D分割的指定最大塊大小時，標誌被進一步發送以指示是否進一步用1D分割類型對當前四分樹葉節點進行分割。“0”被用於指示當前 節點是1D樹葉節點並且不被進一步分割。“1”被用於指示當前節點被進一步分割，並且所選擇的分割類型被進一步發送。
第16圖示出了JEM中的QTBT結構(J.Chen,et al,“Algorithm Description of Joint Exploration Test Model 7(JEM7),”Joint Video Exploration Team(JVET)of ITU-T VCEG(Q6/16)and ISO/IEC MPEG(JTC 1/SC 29/WG 11),Doc.JVET-G1001,7th Meeting,Torino,Italy, July 2017)和MTT結構(X.Li,et al“Multi-Type-Tree,”Joint Video Exploration Team(JVET)of ITU-T VCEG(Q6/16)，以及ISO/IEC MPEG(JTC 1/SC 29/WG 11),Doc.JVET-D0117,4th Meeting：Chengdu,CN,15-21 October 2016)當前採用的信令方法。根據現有實踐，用於發送不同分割決策的有效碼字在表1被提供。“b0”位元指示是否藉由四分樹分割來對當前CU進行分割。當當前CU被強制為四分樹分割或不分割時，“b0”不被發送。“b1”位元指示是否進一步將當前CU分割為1D分割類型，並且當沒有1D分割類型對於分割當前節點有效時，該位元不被發送。“b2”位元表示用於1D分割的所選擇的分割方向。當二元樹分割和三元樹分割對於進一步分割當前CU有效時，“b3”位元指示所選擇的1D類型。
Figure 108110371-A0305-02-0016-1
在本公開中，一種用於發送CU分割資訊的新方法被提出。在如第17圖所示的所提出的方法中，標誌被首先編解碼以指示是否進一步分割當前CU。“0”被發送以指示當前CU是葉節點並且不被進一步分割。“1”被發送以指 示當前CU被進一步分割為較小尺寸的CU。標誌被進一步發送以指示當前節點藉由四分樹分割或1D分割類型被進一步分割。當發送的是採用1D分割類型時，所選擇的1D分割類型被進一步發送。以這種方式，用於發送分割資訊的有效碼字在表2中被提供。“b0”位元指示是否進一步分割當前CU並且當當前CU被強制分割或不分割時該位元不被發送。“b1”位元指示是選擇四分樹分割還是1D分割類型，並且當四分樹分割和1D分割對於分割當前節點都不是有效時，該位元不被發送。“b2”位元表示用於1D分割的所選擇的分割方向。當二元樹分割和三元樹分割對於進一步分割當前CU有效時，“b3”位元指示所選擇的1D分割類型。
Figure 108110371-A0305-02-0017-2
第18A圖到第18C圖是示出比較所提出的發送分割資訊的方法與用於發送對應於一些指定CU分割的分割資訊的傳統方法的示例。第18A圖所示的塊分割示例與第10圖中的示例相同。基於第18B圖所示的傳統語法編解碼的語法編解碼與第11圖中的語法編解碼相同。基於用於發送表2的分割資訊的碼字的語法編解碼如第18C圖所示。第18C圖中的語法編解碼結果與第12圖中的語法編解碼結果相同。基於第18B圖和第18C圖中的語法編解碼結果，由於較短的碼字被指定用於發送不分割(non-split)，所提出的方法採用較少的bin。
上述提出的方法可在編碼器和解碼器中實現。例如，所提出的方 法可以在編碼器的熵編碼模組和解碼器的熵解碼模組中實現。
第19圖示出了根據本發明實施例的具有語法發送的示例性編解碼系統的流程圖。流程圖中示出的步驟以及本公開中的其他後續流程圖可以實現為在編碼器側和/或解碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式碼。流程圖中示出的步驟還可基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器的硬體來實現。根據該方法，在步驟1910中，與屬於視訊序列的當前圖像中的當前塊區域相關聯的輸入資料被接收。在步驟1920中，藉由首先發送或解析用以指示當前塊是否被分割為多個較小塊一第一語法元素，使用四分樹分割和/或一維分割將當前塊區域分割為一個或多個葉塊。在步驟1930中，藉由將編碼或解碼處理應用於一個或多個葉塊，當前塊區域被編碼或解碼。
第20圖示出根據本發明實施例的具有語法發送的另一示例性編解碼系統的流程圖。根據該方法，在步驟2010中，與屬於視訊序列的當前圖像中的當前塊區域相關聯的輸入資料被接收。在步驟2020中，來自多個語法模型的目標語法模型被確定。在步驟2030中，根據目標語法模型藉由發送或解析塊分割資訊，使用QT分割和/或1D分割，當前塊區域被分割成一個或多個葉塊。在步驟2040中，藉由將編碼或解碼處理應用於一個或多個葉塊，當前塊區域被編碼或解碼。
所示的流程圖旨在說明依據本發明的示範性視訊編解碼的示例。在不脫離本發明的精神的情況下，本領域通常知識者可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，已經使用具體的語法和語義來說明實現本發明的實施例的示例。本領域通常知識者可以用相同的語法和語義來代替該些語法和語義來實踐本發明，而不脫離本發明的精神。
呈現上述描述以使得本領域通常知識者能夠在特定應用及其要 求的上下文中實施本發明。對所描述的實施例的各種修改對於本領域通常知識者將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不限於所示出和描述的特定實施例，而是符合與本文所公開的原理和新穎特徵相一致的最寬範圍。在上述詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，本領域通常知識者將理解，可以實施本發明。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是整合到視訊壓縮芯片中的一個或複數個電路電路，或整合到視訊壓縮軟體中的程式代碼以執行本文所述的處理。本發明的實施例也可以是要在數位訊號處理器(DSP)上執行的程式代碼，以執行本文所述處理。本發明還可以涉及由計算機處理器，數位訊號處理器，微處理器或現場可程式邏輯閘陣列(FPGA)執行的許多功能。可以透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來將這些處理器配置成執行依據本發明的特定任務。軟體代碼或韌體代碼可以以不同的編程語言和不同的格式或風格而被開發。也可以為不同的目標平台編譯軟體代碼。然而，執行與本發明一致任務的不同的代碼格式，軟體代碼的樣式和語言以及配置代碼的其他方式將不會脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍的所有變化將被包括在其範圍內。
1910、1920、1930:步骤

Claims (16)

  1. 一種用於視訊編碼器或視訊解碼器的視訊編解碼方法，包括：接收與屬於一視訊序列的一當前圖像的一當前塊區域相關聯的輸入資料；藉由首先發送或解析用以指示該當前塊區域是否被分割成多個較小的塊的一第一語法元素，使用四分樹分割和/或一維分割將該當前塊區域分割成一個或多個葉塊，其中該第一語法元素指示該當前塊區域的分割方式為不分割、該四分樹分割或者該一維分割；以及藉由將編碼或解碼處理應用於該一個或多個葉塊對該當前塊區域進行編碼或解碼。
  2. 如申請專利範圍第1項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，該當前塊區域對應於具有一預定義大小的一個塊、一當前已編解碼的編解碼單元，或者一編解碼樹單元。
  3. 如申請專利範圍第1項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，當該當前塊區域沒有如該第一語法元素所指示的被分割，沒有語法元素被進一步發送。
  4. 如申請專利範圍第1項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，當該當前塊區域如該第一語法元素所指示的被分割，一個或多個額外的語法元素被發送。
  5. 如申請專利範圍第1項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，當該當前塊區域如該第一語法元素所指示的被分割，一第二語法元素被發送以指示該當前塊區域是否使用該四分樹分割或該一維分割來分割。
  6. 如申請專利範圍第5項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，當該第二語法元素指示該當前塊區域是由該一維分割被分 割的，一個或多個額外的語法元素被發送以指示該一維分割是水平二元樹分割、垂直二元樹分割、水平三元樹分割或垂直三元樹分割。
  7. 如申請專利範圍第1項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，該一維分割由水平二元樹分割，垂直二元樹分割，水平三元樹分割以及垂直三元樹分割組成。
  8. 一種用於視訊編碼器或視訊解碼器的視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器被設置為：接收與屬於一視訊序列的一當前圖像的一當前塊區域相關聯的輸入資料；藉由首先發送或解析用以指示該當前塊區域是否被分割成多個較小的塊的一第一語法元素，使用四分樹分割和/或一維分割將該當前塊區域分割成一個或多個葉塊，其中該第一語法元素指示該當前塊區域的分割方式為不分割、該四分樹分割或者該一維分割；以及藉由將編碼或解碼處理應用於該一個或多個葉塊對該當前塊區域進行編碼或解碼。
  9. 一種用於視訊編解碼器或視訊解碼器的視訊編解碼方法，包括：接收與屬於一視訊序列的一當前圖像的一當前塊區域相關聯的輸入資料；從多個語法模型中確定一目標語法模型；在一編碼器側根據該目標語法模型使用四分樹分割和/或一維分割將當前塊區域分割成一個或多個葉塊以及發送塊分割資訊，或在一解碼器側根據該目標語法模型解析該塊分割資訊以及將該當前塊區域分割成該一個或多個葉塊；其中第一語法元素在該編碼器側被發送或在該解碼器側被解析，以指示該當前塊區域的分割方式為不分割、該四分樹分割或者該一維分割；以及藉由將編碼或解碼處理應用於該一個或多個葉塊對該當前塊區域進行編碼或解碼。
  10. 如申請專利範圍第9項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，該當前塊區域對應於具有一預定義大小的一個塊、一當前已編解碼的編解碼單元，或者一編解碼樹單元。
  11. 如申請專利範圍第9項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，一語法元素被用作指示該目標語法模型是選擇自該多個語法模型。
  12. 如申請專利範圍第11項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，使用以上下文資訊為條件的上下文-已編解碼的二進位數，該語法元素可被熵編解碼。
  13. 如申請專利範圍第9項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，基於葉編解碼單元的尺寸，最大四分樹或編解碼單元樹的深度，由二元樹分割或四分樹分割進行分割的葉編解碼單元的數量，或者以上的組合，該目標語法模型被確定。
  14. 如申請專利範圍第9項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，該二元樹分割在該一維分割之前被使用，以及在該一維分割被使用之後，該二元樹分割被禁止。
  15. 如申請專利範圍第9項所述之用於視訊編碼器或視訊解碼器的視訊編解碼方法，其中，當該當前塊區域沒有如該第一語法元素所指示被分割，沒有語法元素被進一步發送，以及當當前塊區域如該第一語法元素所指示被分割，一個或多個額外的語法元素被發送。
  16. 一種用於視訊編碼器或視訊解碼器的視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器被設置為：接收與屬於一視訊序列的一當前圖像的一當前塊區域相關聯的輸入資料；從多個語法模型中確定一目標語法模型； 在一編碼器側根據該目標語法模型使用四分樹分割和/或一維分割將當前塊區域分割成一個或多個葉塊以及發送塊分割資訊，或在一解碼器側根據該目標語法模型解析該塊分割資訊以及將該當前塊區域分割成該一個或多個葉塊；其中第一語法元素在該編碼器側被發送或在該解碼器側被解析，以指示該當前塊區域的分割方式為不分割、該四分樹分割或者該一維分割；以及藉由將編碼或解碼處理應用於該一個或多個葉塊對該當前塊區域進行編碼或解碼。
TW108110371A 2018-03-26 2019-03-26 一種用於視訊編碼器或視訊解碼器的視訊編解碼方法及裝置 TWI702838B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862647919P 2018-03-26 2018-03-26
US201862647923P 2018-03-26 2018-03-26
US62/647,919 2018-03-26
US62/647,923 2018-03-26
PCT/CN2019/079458 WO2019184852A1 (en) 2018-03-26 2019-03-25 Methods and apparatus for signalling coding unit partitioning of video data
??PCT/CN2019/079458 2019-03-25
WOPCT/CN2019/079458 2019-03-25

Publications (2)

Publication Number Publication Date
TW201941614A TW201941614A (zh) 2019-10-16
TWI702838B true TWI702838B (zh) 2020-08-21

Family

ID=68062501

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108110371A TWI702838B (zh) 2018-03-26 2019-03-26 一種用於視訊編碼器或視訊解碼器的視訊編解碼方法及裝置

Country Status (6)

Country Link
US (1) US11785258B2 (zh)
EP (1) EP3766252A4 (zh)
CN (1) CN111937404B (zh)
BR (1) BR112020019816A8 (zh)
TW (1) TWI702838B (zh)
WO (1) WO2019184852A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240499B2 (en) * 2019-05-24 2022-02-01 Tencent America LLC Method and apparatus for video coding
US11509931B2 (en) * 2019-06-07 2022-11-22 Tencent America LLC Method and apparatus for video coding
WO2022213920A1 (en) * 2021-04-06 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Partition signaling in video coding
WO2022268207A1 (en) * 2021-06-25 2022-12-29 FG Innovation Company Limited Device and method for partitioning blocks in video coding
WO2023197998A1 (en) * 2022-04-13 2023-10-19 Mediatek Inc. Extended block partition types for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018049020A1 (en) * 2016-09-07 2018-03-15 Qualcomm Incorporated Tree-type coding for video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525884B2 (en) 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
MX2013014951A (es) * 2011-06-14 2014-07-09 Lg Electronics Inc Metodo para codificar y decodificar informacion de imagenes.
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9237358B2 (en) * 2011-11-08 2016-01-12 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
WO2015042751A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
JP6312854B2 (ja) * 2013-12-30 2018-04-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングにおけるデルタｄｃ残差コーディングの簡易化
EP3270593A4 (en) 2015-03-13 2018-11-07 LG Electronics Inc. Method of processing video signal and device for same
JP2016219913A (ja) * 2015-05-15 2016-12-22 富士通株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
WO2017059415A1 (en) * 2015-10-02 2017-04-06 Vid Scale, Inc. Color correction with a lookup table
CN117499649A (zh) 2016-04-29 2024-02-02 英迪股份有限公司 图像解码装置、图像编码装置和用于发送比特流的装置
US10284845B2 (en) 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
WO2017205700A1 (en) 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
MX2018014491A (es) * 2016-05-25 2019-08-14 Arris Entpr Llc Metodo de particionamiento de bloque general.
US11089312B2 (en) * 2016-08-08 2021-08-10 Lg Electronics Inc. Method for processing image and apparatus therefor
US20190182505A1 (en) * 2016-08-12 2019-06-13 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
US20180139444A1 (en) * 2016-11-16 2018-05-17 Mediatek Inc. Method and Apparatus of Video Coding Using Flexible Quadtree and Binary Tree Block Partitions
US11190762B2 (en) * 2017-06-21 2021-11-30 Lg Electronics, Inc. Intra-prediction mode-based image processing method and apparatus therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018049020A1 (en) * 2016-09-07 2018-03-15 Qualcomm Incorporated Tree-type coding for video coding

Also Published As

Publication number Publication date
US11785258B2 (en) 2023-10-10
BR112020019816A8 (pt) 2023-02-07
EP3766252A1 (en) 2021-01-20
EP3766252A4 (en) 2022-03-30
CN111937404B (zh) 2023-12-15
BR112020019816A2 (pt) 2021-01-05
TW201941614A (zh) 2019-10-16
WO2019184852A1 (en) 2019-10-03
US20200413102A1 (en) 2020-12-31
CN111937404A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US10506231B2 (en) Method of video coding using binary tree block partitioning
TWI663873B (zh) 使用靈活型四叉樹與二叉樹塊分割的視訊編解碼方法及裝置
CN108605130B (zh) 一种用于对与区块相关的符号进行熵编解码的方法和装置
TWI702838B (zh) 一種用於視訊編碼器或視訊解碼器的視訊編解碼方法及裝置
US10382795B2 (en) Method of video coding using binary tree block partitioning
RU2689182C1 (ru) Способ условного разбиения видео и изображений на блоки бинарного дерева для кодирования
TW201902219A (zh) 用於視訊編解碼的增強多重變換和不可分離二次變換的方法和裝置
TWI734328B (zh) 帶有約束的亮度-色度單獨的編碼樹編碼的方法和設備
TWI729569B (zh) 帶有約束的亮度-色度單獨的編碼樹編碼的方法和設備
WO2017088170A1 (en) Entropy coding the binary tree block partitioning structure