TW201921953A - 在圖像或視頻編碼系統中處理圖像的方法和裝置 - Google Patents

在圖像或視頻編碼系統中處理圖像的方法和裝置 Download PDF

Info

Publication number
TW201921953A
TW201921953A TW107131486A TW107131486A TW201921953A TW 201921953 A TW201921953 A TW 201921953A TW 107131486 A TW107131486 A TW 107131486A TW 107131486 A TW107131486 A TW 107131486A TW 201921953 A TW201921953 A TW 201921953A
Authority
TW
Taiwan
Prior art keywords
coding
segmentation
tree
unit
coding unit
Prior art date
Application number
TW107131486A
Other languages
English (en)
Other versions
TWI695619B (zh
Inventor
向時達
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201921953A publication Critical patent/TW201921953A/zh
Application granted granted Critical
Publication of TWI695619B publication Critical patent/TWI695619B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本申請提供了一種圖像或視頻編碼或解碼系統中的圖像處理方法和裝置，用於處理分割一個圖像為多個非重疊編碼樹單元（CTU）。 接收當前CTU的輸入資料並將其分成一個或多個CU。 完全在圖像邊界內的CU被從第一分割類型集合中選擇的分割類型分割，並且不完全在圖像邊界內的CU被從第二分割類型集合中選擇的分割類型分割。 第二分割類型集合包括至少兩種不同的分割類型，以為每個越界CU選擇分割類型提供靈活性。當當前CTU被分割為葉CU以用於預測和變換處理時，對當前CTU進行編碼或解碼。

Description

在圖像或視頻編碼系統中處理圖像的方法和裝置
本發明涉及在圖像或視頻編碼系統中編碼或解碼圖像的圖像處理方法和裝置。具體而言，本發明涉及一種用於不完全在圖像邊界內的塊的塊分割方法。
高效視頻編碼（HEVC）標準是由ITU-T研究組的視頻編碼聯合協作小組（JCT-VC）組開發的最新視頻編碼標準。 HEVC標準依賴於基於塊的編碼結構，其將每個圖像分成多個非重疊的方形編碼樹單元（CTU），也稱為最大編碼單元（LCU）。以光柵掃描順序處理圖像或切片中的每個單獨CTU。在HEVC主配置文件中，CTU的最大和最小大小由序列參數集（SPS）中用訊號通知的語法元素指定。使用四叉樹（QT）分割結構將每個CTU進一步遞歸地分割為一個或多個非重疊編碼單元（CU），以便適應各種局部特性。 CTU的大小選自64x64,32x32和16x16像素樣本。在QT分割結構的每個深度處，N×N塊是單個葉CU或分成具有相等的大小為N / 2×N / 2的四個較小塊。具有M×M像素樣本大小的CTU是四叉樹編碼樹的根節點，並且四個M / 2xM / 2塊是從根節點分離的子四叉樹節點。四個M / 2xM / 2塊中的每一個可以成為另一個母節點以用於另一個分割而被分割為四個子節點，以進一步在每個空間維度中減小一半的大小。如果沒有進一步分割編碼樹節點，則它是葉CU。葉CU大小被限制為大於或等於最小允許CU大小，其也在SPS中指定。第1圖中示出了遞歸四叉樹分割結構的示例，其中實線指示CTU 100中的CU邊界​​。
一旦CTU被分割為葉CU，每個葉CU依據用於預測的PU分割類型進一步分成一個或多個預測單元（PU）。第2圖示出了HEVC標準中定義的八種不同的PU分割類型。依據第2圖中所示的八個PU分割類型之一將每個CU分成一個，兩個或四個PU。與CU的遞歸四叉樹分割不同，每個葉CU可以僅被分割一次以形成PU。當相同的預測過程應用於PU中的所有像素時，PU用作用於共享預測訊息的基本代表性塊。預測訊息以PU為基礎傳送給解碼器。在基於PU分割類型獲得由預測過程生成的殘差資料之後，屬於葉CU的殘差資料依據另一四叉樹分割結構被分割為一個或多個變換單元（TU），用於將殘差資料變換為變換係數以用於緊湊的資料表示。第1圖中的虛線表示CTU 100中的TU邊界。TU是用於對殘差資料或變換係數應用變換和量化的基本代表性塊。對於每個TU，將具有與TU相同大小的變換矩陣應用於殘差資料以生成變換係數，並且這些變換係數被量化並且以TU為基礎傳送到解碼器。
術語編碼樹塊（CTB），編碼塊（CB），預測塊（PB）和變換塊（TB）被定義為分別與CTU，CU，PU和TU相關的一個顏色分量的二維採樣陣列。例如，CTU由一個亮度CTB，兩個色度CTB及其相關的語法元素組成。類似的關係對CU，PU和TU有效。在HEVC系統中，相同的四叉樹分割結構通常應用於亮度和色度分量，除非達到色度塊的最小尺寸。
二叉樹（BT）分割結構是四叉樹分割結構的替代結構，其遞歸地將塊分成兩個較小的塊。第3圖示出了二叉樹分割結構的六種示例性分割類型，其包括對稱分割類型31和32以及非對稱分割類型33, 34, 35和36。最簡單的二叉樹分割結構僅允許對稱水平分割類型32以及對稱垂直分割類型31。對於具有大小為MxN的給定塊，發訊號通知第一標誌以指示該塊是否被分割為兩個較小的塊，如果第一標誌指示分割則隨後由第二標誌指示分割類型。如果分割類型是對稱水平分割，則該M×N塊被分成大小為M×N / 2的兩個塊，並且如果分割類型是對稱垂直分割，則該M×N塊被分成大小為M / 2×N的兩個塊。可以迭代分割過程，直到分割塊的大小，寬度或高度達到由視頻位元流中的高級語法定義的最小允許大小，寬度或高度。需要指示最小允許寬度和高度，因為二叉樹分割結構能夠水平或者垂直分割一個塊。
第4A圖和第4B圖示出了依據二叉樹分割結構及其對應的編碼樹結構的塊分割的示例。在第4B圖中，位於二叉樹編碼樹的每個分割節點（即，非葉子）處的一個標誌用於指示分割類型，標誌值等於0表示水平對稱分割，而標誌值等於1表示垂直對稱分割。二進制樹分割可以在編碼或解碼期間應用於塊分割的任何級別，例如，二叉樹分割可以用於將切片分成CTU，將CTU分成CU，將CU分成PU，或將CU分成TU。可以透過省略從CU到PU​​以及從CU到TU的分割來簡化分割過程，因為二叉樹分割結構的葉節點是用於預測和變換編碼的基本代表性塊。
ITU-T SG16 WP3和ISO / IEC JTC1 / SC29 / WG11的聯合視頻專家組（JVET）目前正在建立下一代視頻編碼標準。一些有前途的新編碼工具已被採用到通用視頻編碼（VVC）工作草案（WD）1中以供進一步研究。在VVC WD 1中採用稱為QuadTree加二叉樹（QTBT）結構的新分割結構，以平衡四叉樹分割結構和二叉樹分割結構的編碼效率和編碼複雜度。示例性QTBT結構如第5A圖所示，其中CTU首先由四叉樹結構分割，然後是二叉樹分割結構。可以透過四叉樹分割來遞歸地分割CU，直到當前CU大小達到允許的最小四叉樹葉節點大小。如果葉四叉樹塊大小不大於最大允許二叉樹根節點大小，則每個葉四叉樹塊可以由二叉樹結構分割。可以遞歸地應用二叉樹分割，直到當前CU大小，寬度或高度達到最小允許二進制樹葉節點大小，寬度或高度或二叉樹深度達到最大允許二叉樹深度。只有水平對稱分割和垂直對稱分割是VVC WD 1中允許的兩個二叉樹分割類型。來自QTBT分割的所得葉CU用於預測和變換處理而無需任何進一步的分割。
第5A圖示出了依據QTBT分離結構的塊分割結構的示例，第5B圖示出了用於第5A圖中示出的QTBT分離結構的對應編碼樹圖。第5A圖和第5B圖中的實線表示四叉樹分割，而虛線表示二叉樹分割。類似於第4B圖，在二叉樹結構的每個分割節點（即，非葉子）中，一個標誌指示使用哪種分割類型，0表示水平對稱分割，1表​​示垂直對稱分割。對於在I型（I-type）切片中編碼的CTU，用於色度編碼樹塊（CTB）的QTBT編碼樹表示可以與用於對應的亮度CTB的QTBT編碼樹表示不同。對於以P型和B型切片編碼的CTU，相同的QTBT編碼樹表示應用於色度CTB和亮度CTB。在QTBT分割結構中，允許的最小四叉樹葉節點大小，允許的最大二叉樹根節點大小，允許的最小二叉樹葉節點寬度和高度，以及允許的最大二叉樹深度和高度在高級語法，例如在SPS中被表示。
多類型樹（Multi-Type-Tree, MTT）分割結構透過允許MTT分割結構的第二層中的二叉樹分割和三樹分割來擴展QTBT分割結構中的兩級樹結構的概念。 MTT中的兩層樹分別稱為區域樹（region tree, RT）和預測樹（prediction tree, PT）。第一層RT總是四叉樹（quadtree, QT）分割，而第二層PT是二叉樹（二元碼ary-tree, BT）分割或三叉樹（triple-tree, TT）分割。例如，首先透過RT對CTU進行分割，即QT分割；並且每個RT葉節點可以進一步由PT分割，PT是BT或TT分割。由PT分割的塊可以進一步利用PT分開，直到達到最大PT深度。 PT葉節點是用於預測和變換的葉編碼單元（CU），並且將不被進一步分割。第6圖示出了在MTT分割結構中使用的五種分割類型，其中分割類型包括QT分割類型61，BT分割類型62和63，以及TT分割類型64和65。垂直中心側TT分割類型64和水平中心側-TT分割類型65將塊分成三個較小的塊，所有塊在一個空間維度上具有減小的尺寸，同時在另一個空間維度中保持相同的尺寸。針對MTT發訊號通知的一些參數包括QT的根節點大小CtuSize，最小允許QT葉節點大小MinQTSize，用於BT / TT分割的最大允許根節點大小MaxCTSize，BT / TT分割中的最大允許樹深度 MaxCTDepth，以及BT / TT，中允許的最小葉節點大小MinCTSize。
第7圖示出了依據MTT分割結構的用於塊分割的樹型信令的示例。 RT信令可以類似於QTBT分割結構中的四叉樹信令。為了用訊號通知PT節點，一個附加二元碼(bin)被發送以指示它是二進制樹分割還是三樹分割。對於透過RT分割的塊，第一二元碼被發送以指示是否存在另一個RT分割，如果該塊未被RT進一步分割（即，第一二元碼為0），則第二二元碼被發送以指示是否存在PT拆分。如果塊也沒有被PT進一步分割（即第二二元碼是0），則該塊是葉節點。如果然後透過PT分割塊（即第二個二元碼是1），則發送第三二元碼以指示水平或垂直分割，接著是第四二元碼，用於區分二叉樹（BT）分割或三重樹（TT）分割。
圖像或視頻編碼系統中的圖像處理的方法和裝置包括：接收與當前圖像中的當前編碼樹單元（CTU）相關聯的輸入資料，將當前CTU分成一個或多個非重疊的編碼單元（CU）。確定每個CU是否完全在當前圖像的邊界內，依據遞歸分割結構將完全在圖像邊界內的CU分割為葉CU，並透過選自第二分割類型集合的分割類型遞歸地分割不完全在圖像邊界內的Cu為葉CU。完全在該當前圖像的邊界內的編碼單元稱為入界編碼單元以及不完全在該當前圖像的邊界內的編碼單元稱為越界編碼單元。
當當前CTU至少包含至少一入界CU並且確定入界CU被進一步分割時，自與遞歸分割結構相關的第一分割類型集合中選擇分割類型。如果沒有進一步分割，則入界CU為葉CU。當當前CTU包含至少一越界CU時，透過從第二分割類型集合中選擇的分割類型遞歸地分割越界CU，其中第二分割類型集合包括至少兩種不同的分割類型以用於分割越界CU。透過單獨處理當前CTU中的每個葉CU來對當前CTU進行編碼或解碼，以用於預測和變換處理。
在一些實施例中，推斷出指示是否進一步分割每個越界CU的訊息，而沒有在視頻位元流中明確地發送。指示選擇哪個分割類型以用於分割每個越界CU的訊息可以在沒有明確信令的情況下被推斷。在一個實作中，推斷所有越界CU被進一步分割，並且基於邊界條件和越界CU的尺寸來選擇每個越界CU的分割類型。
用於越界CU的第二分割類型集合的實施例包括至少兩個一維（one-dimensional, 1-D）分割類型；例如，選擇水平分割類型用於分割越過當前圖像的底部邊界的越界CU，並且選擇垂直分割類型用於分割越過當前圖像的右邊界的越界CU。第二分割類型集合還可以包括至少一個二維（two-dimensional, 2-D）分割類型，用於分割同時跨越底部和右側邊界的越界CU。一維分割類型的一些示例是二叉樹水平對稱分割，二叉樹垂直對稱分割，水平中心側三叉樹分割和垂直中心側三樹分割，以及二維分割類型的示例是四叉樹分割。當越界CU的空間維度大於第一閾值時，可以針對越界CU禁用1-D分割類型，並且當越界CU的空間維度小於第二閾值時 ，可以針對越界CU禁用二維分割類型。在第二分割類型集合的示例中，包括四叉樹分割和二叉樹分割，第二閾值是第一閾值的兩倍。當遞歸分割結構是QTBT分割結構或MTT分割結構時，可以將第一閾值設置為等於最大允許二叉樹或三叉樹根節點尺寸或者從最大允許二叉樹或三叉樹根節點尺寸導出，並且可以將第二閾值設置為等於最小允許的四叉樹葉節點尺寸或者從最小允許的四叉樹葉節點尺寸導出。在一個實施例中，當越界CU的空間維度小於第二閾值並且越界CU不位於當前圖像的右下角時，禁用2-D分割類型以分割越界CU。在另一實施例中，禁用2-D分割類型以用於分割利用一維分割類型自母CU分割的越界編碼單元。當越界CU僅跨越一個圖像邊界並且1-D和2-D分割類型都被啟用時，一個標誌可以被發送以指示用於越界CU的所選分割類型。該標誌可以具體指示分割類型，或者該標誌可以僅指示透過1-D分割類型還是2-D分割類型分割越界CU，因為當一維分割類型被選擇時，分割方向是越界CU的邊界條件而被推斷。
在特定實施例中，當遞歸分割結構是QTBT結構或MTT結構時，第二分割類型集合包括四叉樹分割，二叉樹水平對稱分割和二叉樹垂直對稱分割。該實施例中的越界CU不能使用三叉樹分割來分割，因此如果越界CU被1-D分割類型分割，則推斷使用二叉樹對稱分割來分割。
圖像處理方法的另一實施例利用2-D分割類型來分割入界CU，但是利用1-D分割類型來分割越界CU。依據諸如QTBT或MTT的遞歸分割結構將入界CU分割為葉CU，並且遞歸地分割每個越界CU，直到從母越界CU分割的所有子CU均是入界CU為止。關於是否進一步分割越界CU的訊息可以被推斷而不需要明確發訊號通知，以及關於1-D分割類型的分割方向的訊息也可被推斷而不需要在位元流中明確地發訊號通知。當推斷出分割方向時，如果越界CU越過底部圖像邊界，則透過水平分割來分割越界CU，並且如果越界CU越過右圖像邊界則透過垂直分割進行分割越界CU。用於分割越界CU的1-D分割類型可以是二叉樹分割，三叉樹分割或兩者的組合。
本公開的各方面還提供了一種用於圖像或視頻編碼系統的裝置，其透過從包括至少兩種不同分割類型的分割類型集合中選擇的分割類型來分割越界CU。該裝置透過1-D分割類型分割越界CU，以允許圍繞圖像邊界進行更靈活的塊分割，從而提高編碼效率。該裝置的實施例接收當前圖像中的當前CTU的輸入資料，依據遞歸分割結構將當前CTU中的每個入界CU分割為葉CU，並且依據邊界條件和越界CU的大小選擇的分割類型，將當前CTU中的每個越界CU進行分割。在預測和變換過程中，該裝置透過單獨處理當前CTU中的每個葉CU來對當前CTU進行編碼或解碼。
本公開的各方面還提供了一種存儲程式指令的非暫時性計算機可讀介質，所述程式指令用於使裝置的處理電路執行圖像或視頻編碼處理以對當前CTU進行編碼或解碼，這使得不完全在圖像邊界內的塊的分割更靈活。透過閱讀以下具體實施方案的描述，本發明的其他方面和特徵對於本領域通常知識者將變得顯而易見。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制本發明的所要求保護的範圍，而僅僅代表本發明的所選實施例。
本說明書中對“實施例”，“一些實施例”或類似語言的引用的意思是結合實施例描述的特定特徵，結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，這些實施例可以單獨實作或與一個或多個其他實施例結合實作。此外，所描述的特徵，結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的通常知識者將認識到，可以在沒有一個或多個具體細節的情況下或者利用其他方法，組件等可以實作本發明。在其他情況下，未示出公知的結構或操作或詳細描述以避免模糊本發明的特徵。
本發明的實施例涉及沿著圖像邊界的塊分割，以實作更好的圖像或視頻編碼效率。將要編碼或解碼的圖像分割為非重疊的CTU，並且可以使用遞歸分割結構將每個CTU進一步分割為多個非重疊的葉CU。 HEVC標準中的遞歸分割結構透過遞歸四叉樹分割來分割每個CTU，並且VVC WD 1中的遞歸分割結構透過先遞歸四叉樹分割然後遞歸二叉樹分割來分割每個CTU。對於從當前圖像中的CTU分割的每個塊，其中塊區域完全在當前圖像的邊界內，編碼器或解碼器決定是否進一步將塊分割成更小的塊。對於從當前圖像中的CTU分割的塊，其中塊區域不完全在當前圖像的邊界內，依據HEVC標準的文本規範和VVC的實作，強制該塊透過四叉樹分割進一步分割。在本公開中，具有完全在圖像邊界內部的塊區域的塊被稱為入界CU(in-bounds CU)，而在本公開中，具有不完全在圖像邊界內的塊區域的塊被稱為越界CU(out-of-bounds CU)。越界CU的四叉樹分割導致四個子節點；如果子節點的塊區域完全在當前圖像邊界之外，則不進一步處理該子節點；如果子節點的塊區域完全在當前圖像邊界內，則該子節點變為入界CU，其可以是葉CU或者進一步分成更小的塊；並且如果子節點的塊區域仍然不完全在當前圖像邊界內，則該子節點是越界CU，並且被迫透過四叉樹分割進一步分割。由於越界CU總是被四叉樹分割，因此不用訊號通知指示是否分割越界CU的語法訊息。迫使當前圖像中的每個越界CU被遞歸地分割為四個較小的CU，直到每個CU完全在當前圖像內部或完全在當前圖像之外。對於具有不能被CTU的長度或寬度整除的至少一個空間維度的圖像，依據HEVC標準和VVC WD 1中的實作，透過四叉樹分割迫使圖像邊界區域分割為許多小方形CU。為了壓縮具有低運動內容或平滑紋理的區域，圖像中小CU數量的增加通常會降低訊框編碼效率並且需要更多的計算時間。
第8A圖示出了依據HEVC和VVC WD 1中採用的分割算法的沿著底部圖像邊界的越界CU的示例性分割結構。第8B圖示出了第8圖所示的分割結構的對應編碼樹表示方式。第8B圖中的編碼樹表示方式示出了四叉樹分割的兩個階段，其中從第一階段的四叉樹分割中僅分離出兩個頂部塊被第二階段四叉樹分割進一步分割。在第8A圖中，根越界CU 82具有頂部四分之一區域在當前圖像內，而根越界CU 82的剩餘區域在當前圖像之外。當前圖像的邊界由虛線84示出，並且用於根越界CU 82內的分割結果由在根越界CU 82中的虛線來描述。根越界CU82透過兩級四叉樹分割來分割，以使所有得到的子CU 821, 822, 823和824完全在當前圖像內。
本發明的實施例允許使用從至少兩種不同分割類型中選擇的分割類型來分割越界CU，而不是總是使用四叉樹分割來分割越界CU。可以透過考慮諸如邊界條件，越界CU的位置和越界CU的空間維度之類的上下文訊息來選擇用於在當前編碼樹節點處分割越界CU的分割類型。特別地，一些一維（1-D）分割類型是用於將越界CU分割成僅在一個空間維度中具有減小的大小而在另一個空間維度中保持相同大小的較小塊的更好選項，一些示例1-D分割類型包括對稱和非對稱二叉樹分割類型和三叉樹分割類型。
第9A圖示出了依據本發明實施例的沿著底部圖像邊界的越界CU的示例性分割結構。根越界CU 92類似於第8A圖中的根越界CU 82，其中只有根越界CU 92的頂四分之一區域在當前圖像內。當前圖像的邊界由虛線94示出，並且用於越界CU 92的分割結果用根越界CU 92內的虛線來描述。不是在如第8A圖所示的四叉樹分割的兩個階段之後將頂部四分之一區域分割為四個小方塊821, 822, 823和824，而是在如第9A圖所示的二位元樹水平對稱分割的兩個階段之後，頂部四分之一區域僅包含一個矩形分割921。第9B圖示出了用於第9A圖中所示的兩級水平分割（-）的分割結構的相應編碼樹表示方式，其比第8B圖中所示的編碼樹表示簡單得多。
用於越界 CU 的分割類型選擇 編碼器或解碼器以光柵掃描順序處理圖像或切片的CTU。編碼器或解碼器中的CU分割模塊確定每個CTU的分割結構，並依據遞歸分割結構將每個CTU分割為一個或多個非重疊葉CU，然後透過預測、變換或逆變換來單獨處理CTU中的每個葉CU。在當前圖像中分割當前CTU的過程中，本發明實施例確定當前CTU是否包含任何越界CU，並且透過檢測當前塊是否整個在當前圖像的邊界內來確定當前CTU中的當前塊是入界CU還是越界CU。依據遞歸分割結構，例如四叉樹分割，QTBT或MTT，將當前CTU中的入界CU分割葉CU。依據一些實施例，當前CTU中的越界CU被從兩個或更多個分割類型中選擇的分割類型分割。在一個示例中，當前CTU位於當前圖像的最後CTU行中並且僅具有圖像邊界內的頂部，並且CU分割模塊從至少一個1-D分割類型（1-D splitting type）和一個2D分割類型（2-D splitting type）中選擇分割類型，以將當前CTU分割為子CU。在另一示例中，迫使相同的當前CTU被預定義的分割類型（例如2-D分割類型）分割，直到子CU小於閾值或者直到達到預定的分割深度為止。
當前CTU中的每個子CU可以透過一個或多個分割階段進一步分割為較小的子CU，並且在每個分割階段之前，每個CU被分類為入界CU或越界CU。對於入界CU，編碼器中的CU分割模塊決定是否進一步分割入界CU並且如果進一步分割則從第一組分割類型確定分割類型。第一組分割類型對應於遞歸分割結構，例如四叉樹分割，QTBT或MTT。分割決策可以由編碼器依據諸如速率 - 失真 - 優化（RDO）的編碼算法來確定，並且解碼器透過解析視頻位元流中的對應語法訊息來確定相同的分割決策。例如，當遞歸分割結構是QTBT時，第一組分割類型包括四叉樹分割，二叉樹水平對稱分割和二叉樹垂直對稱分割。在另一個例子中，當遞歸分割結構是MTT時，第一組分割類型包括四叉樹分割，二叉樹水平對稱分割，二叉樹垂直對稱分割，水平中心側三叉樹分割，以及垂直中心側三叉樹分割。
越界CU並不總是被相同的分割類型分割，CU分割模塊的實施例透過從包含至少兩種不同的分割類型的第二組分割類型中選擇的分割類型將每個越界CU分割成多個子CU。例如，第二組分割類型包括兩個1-D分割類型，或者至少一個1-D分割類型和一個2-D分割類型。 1-D分割類型的示例包括二叉樹水平對稱分割，二叉樹垂直對稱分割，二叉樹水平不對稱分割，二叉樹垂直非對稱分割，水平中心側三叉樹分割，以及垂直中心側三叉樹分割。
用於分割類型選擇的推斷訊息 在一些實施例中，編碼器可以跳過指示是否進一步分割每個越界CU的信令訊息，因為在沒有明確信令的情況下推斷出所有越界CU被進一步分割。類似地，編碼器可以跳過指示每個越界CU的分割方向或分割類型的信令訊息，因為分割方向或分割類型的推斷不需要在視頻位元流中明確地發訊號。在跳過訊號通知分割方向的實施例中，當標誌指示使用1-D分割類型分割越界CU時，如果橫跨底部圖像邊界，則分割方向被推斷為水平方向，以及如果橫跨右側圖像邊界，則分割方向被推斷為垂直方向。
在跳過信令分割類型的實施例中，當當前越界CU越過當前圖像的右邊界時，編碼器或解碼器隱含地選擇預定義的垂直分割類型，例如二叉樹垂直對稱分割或垂直中心側三叉樹分割以將當前越界CU分割為多個子CU。每個子CU將具有與其父CU相同的CU高度，但具有減小的CU寬度。當當前越界CU越過當前圖像的底部邊界時，編碼器或解碼器隱式地選擇預定義的水平分割類型，例如二叉樹水平對稱分割或水平中心側三叉樹分割以分割當前越界CU為多個子CU。每個子CU將具有與其父CU相同的CU寬度，但具有降低的CU高度。在當前越界CU跨越當前圖像的右邊界和底邊界的情況下，編碼器或解碼器隱含地選擇預定義的2-D分割類型，例如四叉樹分割以分割當前越界CU成為多個子CU，每個子CU在兩個空間維度上都具有減小的CU大小。
在跳過用訊號通知用於分割越界CU的分割類型的另一實施例中，依據當前越界CU的大小，推斷出當前越界CU的分割類型。例如，為有效地將這些大的越界CU分割為較小的子CU，總是選擇四叉樹分割作為分割類型，以用於CU尺寸的空間維度大於閾值的越界CU。在另一示例中，總是選擇1-D分割類型作為用於CU尺寸的的空間維度小於閾值越界CU的分割類型，以便越界CU被分割為更小的子CU，其中每個都僅在一個空間維度上具有縮小的尺寸。
在採用VVC WD 1中指定的QTBT結構的實施例中，當當前越界CU穿過右側和底部圖像邊界時或當前越界CU的尺寸大於最大二叉樹邊界CU尺寸（稱為max_BT_bdy_CU_size），則總是選擇四叉樹分割作為預定義和推斷的分割類型。當當前越界CU跨越底部圖像邊界時，推斷的分割類型是在水平方向上的二叉樹分割，並且當當前越界CU跨越右側圖像邊界時，推斷的分割類型是在垂直方向上的二叉樹分割。
重新使用分割類型 實作用於越界CU的分割方法的一個方面涉及重使用用於分割常規入界CU的所有或部分分割類型，以用於分割越界CU。
視頻編碼器或解碼器中的CU分割模塊可有效地重用現有系統模塊和語法集以用於對越界CU進行編解碼。在重新使用所有分割類型的一些實施例中，依據VVC WD 1中指定的QTBT分割結構來分割常規入界CU，並且還使用四叉樹分割，二叉樹水平對稱分割，以及二叉樹垂直對稱分割中的一個來分割每一個越界CU。在一個實施例中，越界CU的分割遵循與QTBT分割結構相同的規則，即，在四叉樹分割之後選擇二叉樹分割，因此在二叉樹分割之後不允許四叉樹分割。例如，如果透過來自母越界CU的二叉樹分割來分割越界CU，則不能選擇四叉樹分割。 QTBT分割結構還定義了四叉樹分割的最小尺寸和二叉樹分割的最大尺寸，如果越界CU的尺寸小於最小允許的四叉樹葉節點尺寸，則重新使用用於越界CU 的這些限制禁用四邊形分割的實施例，並且如果越界CU的尺寸大於允許的最大二叉樹根節點尺寸，則禁用用於越界CU的二叉樹分割。
分割類型的預定義子集 在使用MTT結構來分割常規入界CU的情況下，MTT結構中可用的所有分割類型可以被重用以分割越界CU，即每個越界CU透過四叉樹分割，二叉樹水平對稱分割，二叉樹垂直對稱分割，水平中心側三叉樹分割（horizontal center-side triple-tree splitting）和垂直中心側三叉樹分割（vertical center-side triple-tree splitting）中的一個而被分割。
由於每個空間方向存在多個1-D分割類型，因此實施例透過在用於分割越界CU的每個分割類型中僅允許一個1-D分割類型的一個預定義子集，來限制用於分割越界CU的1-D分割類型。例如，儘管在MTT結構中使用四叉樹分割，二叉樹分割和三叉樹分割來分割常規入界CU，但是僅使用四叉樹分割和二叉樹分割來分割越界CU。以這種方式，當確定透過1-D分割類型分割越界CU並且導出或發訊號通知相應的分割方向時，視頻編碼器或視頻解碼器選擇分割類型而無需進一步發訊號它是二叉樹分割或三叉樹分割。可以依據當前越界CU的邊界條件來調整用於分割當前越界CU的1-D分割類型的預定義子集。例如，當採用MTT結構來分割常規入界CU時，如果當前越界CU僅跨越圖像邊界的一側以及CU塊不到一半的區域在圖像邊界中，則視頻編碼器或視頻解碼器總是為當前越界CU選擇三叉樹分割。
在這樣的邊界條件下，三叉樹分割更有效，因為三叉樹分割的一個階段和相同方向的遞歸二叉樹分割的兩階段在圖像邊界內具有相同CU分割。因此，視頻編碼器或視頻解碼器明確地跳過發訊號通知用於當前越界CU的所選1-D分割類型，因為當少於一半的CU塊區域在圖像邊界的內部時，三樹分割是推斷的1-D分割類型；以及當一半或多於一半的CU塊區域在圖像邊界的內部時，二叉樹分割是推斷的1-D分割類型。
關於選擇分割類型的約束 對於常規入界CU的分割類型的選擇的某些約束可以應用於越界CU，以降低編碼器和解碼器的實作成本。例如，QTBT結構首先透過遞歸四叉樹分割來對CTU進行分割，然後在四叉樹葉子節點之後依次地執行二叉樹分割。為了控制QTBT結構的複雜性，一些參數限制了四叉樹分割和二叉樹分割的深度，並且一些參數限制了四叉樹葉節點和二叉樹根節點允許的塊大小。允許的最小四叉樹葉節點的尺寸意味著如果塊的尺寸達到此特定大小，則必須終止四叉樹分割。允許的最大二叉樹根節點的尺寸意味著如果塊的尺寸小於或等於該特定大小，則二叉樹分割可能開始分割。最大四叉樹深度定義了來自CTU的遞歸四叉樹分割的最大級數。這些參數也可以應用於分割越界CU。越界CU的尺寸超過最大允許二叉樹根節點大小，則將將始終使用四叉樹分割進行分割。越界CU的尺寸等於或小於最小允許四叉樹葉節點大小或具有大於或等於最大四叉樹深度的四叉樹深度，則越界CU將始終使用二叉樹分割來分割。在一些實施例中可以應用一些例外，例如，CU分割模塊仍然允許透過1-D分割類型遞歸地分割越界CU，而忽略對最大1-D樹深度的約束，並且允許不考慮最大四叉樹深度的約束，透過四叉樹分割遞歸地分割的右下越界CU（bottom-right out-of-bounds CU）。
本發明的實施例設置不同的約束參數值，用於分割從越界CU分割的入界CU。例如，用於分割從越界CTU分離的入界CU的最大允許二叉樹深度被設置為大於在QTBT或MTT分割結構中自入界CTU分割的入界CU的最大允許二叉樹深度，其允許透過更多的二叉樹分割階段分割從越界CTU分離的入界CU。在另一個實施例中，相同的約束參數值被設置以用於從入界CTU或從越界CTU分離的入界CU，例如，無論其根CU對應於入界CTU還是越界CTU。
明確地發訊號通知所選擇的分割類型 在本發明的一些實施例中，使用從當前編碼上下文導出的相關分割參數來明確地用訊號通知用於分割越界CU的所選擇的分割類型。當採用為VVC WD 1指定的QTBT結構將CTU分割為多個葉CU時，示例性視頻編碼器明確地發訊號通知標誌以指示是否選擇四叉樹分割或二叉樹分割用於分割當前越界CU；以及相應的視頻解碼器基於所發訊號通知的標誌確定透過四叉樹分割或二叉樹分割來分割當前越界CU。當選擇二叉樹分割作為分割類型時，可以明確地發訊號通知或推斷相應的分割方向，如果推斷分割方向，則當當前越界CU穿過底部圖像邊界時選擇水平分割，當當當前越界CU越過右側圖像邊界時，選擇垂直分割。在另一實施例中，首先用訊號通知標誌以指示當前越界CU的分割類型是1-D分割類型還是2-D分割類型，並且如果選擇1-D分割類型，發訊號通知另一個標誌以指示1-D分割類型是二叉樹分割還是三樹分割。當針對當前越界CU選擇1-D分割類型時，也可以用訊號通知或推斷該實施例中的分割方向。
分割類型選擇示例 在確定當前越界CU的分割類型的示例中，令picWidth和picHeight分別表示由多個CTU組成的當前圖像的寬度和高度，並且CTU是透過QTBT分割結構分割為葉CU。坐標（x，y）表示左上樣本位置，cuWidth和cuHeight分別表示當前越界CU的寬度和高度，並且當（（x + cuWidth）＞ picWidth ||（y + cuHeight）＞ picHeight滿足時，當前越界CU跨越一個或兩個圖像邊界。當前越界CU的所選分割類型可以透過檢查一個或多個標準（例如邊界條件，尺寸，分割深度）來隱式導出，或分割類型被顯示地發送。在此示例中，當禁用二叉樹分割或當前越界CU滿足當前條件（（x + cuWidth）＞ picWidth &&（y + cuHeight）＞ picHeight）時，分割類型被推斷為四叉樹分割。當cuWidth大於預定義的最大二叉樹邊界CU尺寸max_BT_bdy_CU_size時，可以對當前越界CU禁用二叉樹分割。當四叉樹分割被禁用於當前越界CU時，二叉樹分割被推斷為選擇的分割類型，並且當當前越界CU的二叉樹深度大於0或當前越界CU的寬度cuWidth小於或等於預定義的最小四叉樹邊界CU大小min_QT_bdy_CU_size時，禁用四叉樹分割。如果沒有滿足任何條件，則指示當前越界CU是透過四叉樹分割還是二叉樹分割的標誌被發送。當當前越界CU透過二叉樹分割被推斷或發訊號通知時，如果（y + cuHeight）大於picHeight，則推斷分割方向為水平，否則推斷分割方向為垂直。
分割類型的約束以避免冗餘 的 編碼樹表示 QTBT分割結構允許不同的編碼樹表示對應於相同的分割。本發明的一個方面還對與越界CU的分割類型選擇相對應的語法值施加一些約束，以便去除冗餘編碼樹表示。為分割類型設置約束的實施例透過一下方式來顯示越界CU的分割：限制透過二叉樹水平對稱分割之後立即二叉樹垂直對稱分割；或限制透過二叉樹垂直分割之後立即二叉樹水平分割。例如，對於當前越界CU分別在底部圖像邊界的內部和外部具有上半部分和下半部分的情況，透過四叉樹分割分割當前越界CU的方式和透過二叉樹水平分割之後跟隨二叉樹垂直分割來分割當前越界CU的方式在圖像邊界內具有相同的分割。
當啟用四叉樹分割並且選擇當前越界CU的分割類型作為二叉樹水平分割時，當前越界CU被完全分割成圖像邊界內的頂部子CU（top child CU）。如果進一步分割頂部子CU，則視頻編碼器或解碼器限制用於分割頂部子CU的分割方向，以便移除冗餘編碼樹表示。用於分割頂部子CU的分割方向必須是水平的；因此，可以推斷該示例中的分割方向是水平的而沒有明確地發訊號。在另一示例中，當前越界CU在右圖像邊界的內部和外部分別具有左半部分和右半部分。當使用四叉樹分割來分割當前越界CU並且最終選擇二叉樹垂直分割作為分割類型時，當前越界CU被完全分割為圖像邊界內的左子CU。視頻編碼器或解碼器僅允許左側子CU的分割方向是垂直的，以便去除冗餘編碼樹表示。在該示例中用於分割左側子CU的分割方向可以被推斷為是垂直的而沒有明確地發訊號。
第10圖是示出在圖像或視頻編碼或解碼系統中實作的圖像處理方法的示例性實施例的流程圖。首先將圖像分割為多個非重疊塊，例如編碼樹單元（CTU），並且透過遞歸分割結構將每個塊進一步分割為一個或多個非重疊葉塊，例如葉編碼單元（CU）。遞歸分割結構的一些示例是先前描述的QTBT和MTT分割結構。該示例性實施例中的編碼或解碼系統透過在步驟S1002中首先接收與當前CTU相關聯的輸入資料來處理當前圖像中的當前CTU。與當前CTU相關聯的輸入資料包括編碼系統處的一組像素，或者與當前CTU相關聯的輸入資料是與包括解碼系統處的當前CTU的壓縮資料相對應的視頻位元流。在步驟S1004中將當前CTU分割為一個或多個CU，並且編碼或解碼系統在步驟S1006中確定當前CU是入界CU還是越界CU。入界CU是完全在當前圖像的邊界內的CU，並且越界CU是不完全在當前圖像邊界內的CU。如果當前CU是入界CU，則編碼或解碼系統在步驟S1012中確定當前CU是否被進一步分割為多個子CU，並且若當前CU進一步分割，則當前編碼單元在步驟S1014中被進一步自第一分割類型集合選擇的分割類型而被分割。第一分割類型集合對應於遞歸分割結構中允許的分割類型。在步驟S1012中確定從當前CU分割的每個子CU是否被進一步分割，並且如果結果是肯定的，則在步驟S1014中分割子CU。在步驟S1012中當當前CU未被進一步分割時，步驟S1016檢查當前CU是否是當前CTU中的最後CU。如果當前CU是越界CU，則在步驟S1008中透過從第二分割類型集合中選擇的分割類型來分割當前CU。第二分割類型集合包括至少兩種不同的分割類型。例如，一組第二分割類型包括兩種分割類型，例如兩種1-D分割類型，另一第二分割類型包括三種分割類型，例如兩個1-D分割類型和一個二維分割類型，另一第二分割類型包括五種分割類型，例如四種1-D分割類型和一種2-D分割類型。從當前越界CU分割的每個子CU可以是入界CU或越界CU，因此在步驟S1010中將每個子CU順序地設置為當前CU並且在步驟S1006中檢查它是否是越界CU。該分割過程遞歸地分割出越界CU，直到所有子CU都是入界CU。當在步驟S1012中不進一步分割當前CU時，編碼或解碼系統在步驟S1016中檢查該當前CU是否是當前CTU中的最後CU。如果當前CU不是當前CTU中的最後CU，則在步驟S1018中將下一個CU設置為當前CU，並且流程進行到步驟S1006。在將當前CTU分割為多個葉CU之後，透過單獨處理用於預測和變換的每一個葉CU，當前CTU在步驟S1020中被編碼或解碼。
第11圖是示出可以在圖像或視頻編碼或解碼系統中實作的圖像處理方法的另一示例性實施例的流程圖。第11圖所示的處理方法類似於第10圖中的處理方法。編碼或解碼系統在步驟S1102中接收當前CTU的輸入資料，並在步驟S1104中將當前CTU分成一個或多個CU。與當前CTU相關聯的輸入資料包括編碼系統處的一組像素，或者與當前CTU相關聯的輸入資料是與包括解碼系統處的當前CTU的壓縮資料相對應的視頻位元流。在步驟S1106中確定當前CU是入界CU或越界CU，並且在步驟S1112中將入界CU確定為葉CU或者進一步分割。如果入界CU被進​​一步分割，則在步驟S1114中透過與遞歸分割結構相關聯的分割類型將其分割。分割類型包括2-D分割類型。遞歸地執行步驟S1112和S1114，直到將入界CU分割為多個非重疊葉CU為止。透過在步驟S1110中設置子CU為當前CU，在步驟1106中每一個結果子CU被檢測為入界CU或越界CU，以及在步驟S1108中越界CU被1-D分割類型分割。1-D分割類型的示例是二叉樹水平對稱分割和二叉樹垂直對稱分割。 1-D分割類型的一些其他示例是非對稱二叉樹分割，對稱三叉樹分割和不對稱三叉樹分割。編碼或解碼系統的實施例透過依據越界CU的邊界條件，位置和空間維度中的一個或多個隱式地導出來為用於越界CU的選擇1-D分割類型。編碼或解碼系統的另一實施例透過在視頻位元流中明確地發訊號通知所選擇的分割類型來選擇1-D分割類型。在步驟S1116中，編碼或解碼系統檢查當前CTU中的所有CU是否被分割成葉CU，如果步驟S1116的結果是否定的，則在步驟S1118中將下一個CU設置為當前CU，並且如果步驟S1116的結果是肯定的，則在步驟S1120中編碼或解碼當前CTU。
示例性系統框圖第12圖示出了用於實作本發明的各種實施例的視頻編碼器1200的示例性系統框圖。 CU結構分割模塊1210接收視頻圖像的輸入資料，並確定要編碼的每個圖像的塊分割結構。首先將當前圖像分割為非重疊塊，並且透過遞歸分割結構將每個塊進一步分割為CU結構分割模塊1210中的葉塊，例如，依據QTBT分割結構將圖像中的多個CTU分割為葉CU。依據本發明的實施例，CU結構分割模塊1210檢查當前塊是否完全在圖像邊界內，然後如果當前塊完全位於圖像邊界內並且被確定為進一步分割，則透過從與遞歸分割結構相關聯的第一分割類型集合中選擇的分割類型來分割當前塊，或者如果當前塊不完全在圖像邊界內，則透過從第二組分割類型中選擇的分割類型來分割當前塊。完全在圖像邊界內的塊稱為入界CU，跨越圖像邊界的塊稱為越界CU。第二分割類型集合包括至少兩種不同的分割類型。 CU結構分割模塊1210的一些實施例依據它們的邊界條件，位置，空間維度或其組合隱含地選擇那些越界CU的分割類型； CU結構分割模塊1210的一些其他實施例係統地測試若干分割類型並依據速率失真優化（RDO）結果選擇分割類型。對應於每個越界CU的所選分割類型的訊息可以在視頻位元流中用訊號通知，以便解碼器解碼所選擇的分割類型。透過畫面內預測模塊1212中的畫面內預測或畫面間預測模塊1214中的畫面間預測來預測當前圖像中的每個葉CU，以移除空間冗餘或時間冗餘。畫面內預測模塊1212基於當前圖像的重建視頻資料提供當前葉CU的畫面內預測器。畫面間預測模塊1214執行運動估計（ME）和運動補償（MC）以基於來自其他圖像或圖像的視頻資料提供當前葉CU的預測器。交換機1216選擇畫面內預測模塊1212或畫面間預測模塊1214以將預測器提供給加法器1218以形成預測誤差，也稱為殘差。當前CU的殘差由變換模塊（T）1220進一步處理，隨後是量化模塊（Q）1222。然後，變換和量化的殘差訊號由熵編碼器1234編碼以形成視頻位元流。然後，視頻位元流被打包有輔助訊息(side information)。當前CU的變換和量化的殘差訊號由逆量化模塊（IQ）1224和逆變換模塊（IT）1226處理以恢復預測殘差。如第12圖所示，透過在重建模塊（REC）1228處添加回所選擇的預測器來恢復殘差，以產生重建的視頻資料。重建的視頻資料可以存儲在參考圖像緩衝器1232中，並由畫面間預測模塊1214用於預測其他圖像。來自REC 1228的重建視頻資料可能由於編碼處理而受到各種損害，因此，在存儲在參考圖像緩衝器1232中之前，將環路處理濾波器1230應用於重建的視頻資料，以進一步提高圖像質量。
用於解碼由第12圖的視訊編碼器1200產生的視訊位元流對應視頻解碼器1300在第13圖中示出。視頻解碼器1300的輸入由熵解碼器1310解碼以解析和恢復經變換的和量化殘差訊號和其他系統訊息。 CU結構分割模塊1312依據本發明的各種實施例確定每個視頻圖像的塊分割。在CU結構分割模塊1312的一些實施例中，透過從包括至少兩種不同分割類型的第二分割類型集合中選擇的分割類型來分割越界CU，並且在一些其他實施例中，邊界CU由1-D分割類型分割。解碼器1300的解碼過程類似於編碼器1200處的重建環路(reconstruction loop)，除了解碼器1300僅需要畫面間預測模塊1316中的運動補償預測。每個CU由畫面內預測模塊1314或畫面間預測模塊1316解碼，並且開關1318依據解碼的模式訊息選擇畫面內預測器或畫面間預測器。透過逆量化（IQ）模塊1322和逆變換（IT）模塊1324恢復與每個CU相關聯的變換和量化的殘差訊號。透過在REC 1320中加回預測器來重建恢復的殘差訊號以產生重構視頻。透過環路處理濾波器1326進一步處理重構的視頻以生成最終的解碼視頻。如果當前解碼的圖像是參考圖像，則當前解碼的圖像的重建視頻也存儲在參考圖像緩衝器1328以用於解碼順序中的後續圖像。
第12圖和第13圖中的視頻編碼器1200和視頻解碼器1300的各種組件可以由硬體組件，被配置為執行存儲在存儲器中的程式指令的一個或多個處理器，或者硬體和該處理器的組合來實作。 例如，處理器執行程式指令以控制與當前圖像相關聯的輸入資料的接收。處理器配備單個或多個處理核心。在一些示例中，處理器執行程式指令以執行編碼器1200和解碼器1300中的一些組件中的功能，並且與處理器電耦合的存儲器用於存儲程式指令，對應於CU的重建圖像的訊息，和/或編碼或解碼過程中的中間資料。在一些實施例中，存儲器包括非暫時性計算機可讀介質，諸如半導體或固態存儲器，隨機存取存儲器（RAM），只讀存儲器（ROM），硬盤，光盤或其他合適的存儲介質。存儲器還可以是上面列出的兩個或更多個非暫時性計算機可讀介質的組合。如第12圖和13所示，編碼器1200和解碼器1300可以在同一電子設備中實作，因此如果在同一電子設備中實作，則可以共享或重用編碼器1200和解碼器1300的各種功能組件。
具有針對越界CU的更有效分割的圖像處理方法的實施例可以在整合到視頻壓縮晶片中的電路或整合到視頻壓縮軟體中的程式代碼中實作，以執行上述處理。例如，確定為當前塊設置的當前模式可以在程式代碼中實作，以在計算機處理器，數字訊號處理器（DSP），微處理器或現場可編程門陣列（FPGA）上執行。這些處理器可以被配置為透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行依據本發明的特定任務。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。因此，本發明的範圍由專利申請範圍而不是前面的描述表示。在請求項的含義和等同範圍內的所有變化都包含在其範圍內。
100‧‧‧CTU
31、32‧‧‧對稱分割類型
33、34、35、36‧‧‧非對稱分割類型
61‧‧‧QT分割類型
62、63‧‧‧BT分割類型
64、65‧‧‧TT分割類型
82、92‧‧‧根越界CU
84、94‧‧‧虛線
821、822、823、824‧‧‧子CU
921‧‧‧矩形分割
S1002~S1020、S1102~S1120‧‧‧步驟
1200‧‧‧視頻編碼器
1210、1312‧‧‧CU結構分割模塊
1212、1314‧‧‧畫面內預測模塊
1214、1316‧‧‧畫面間預測模塊
1216‧‧‧交換機
1218‧‧‧加法器
1220‧‧‧變換模塊
1222‧‧‧量化模塊
1224、1322‧‧‧逆量化模塊
1226、1324‧‧‧逆變換模塊
1228、1320‧‧‧重建模塊
1230、1326‧‧‧環路處理濾波器
1232、1328‧‧‧參考圖像緩衝器
1234‧‧‧熵編碼器
1300‧‧‧視頻解碼器
1310‧‧‧熵解碼器
1318‧‧‧開關
將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中相同的附圖標記表示相同的元件，並且其中： 第1圖示出了用於依據四叉樹分割結構將編碼樹單元（CTU）分割成編碼單元（CU）並將每個CU分成一個或多個變換單元（TU）的示例性編碼樹。 第2圖示出了用於將CU分割為HEVC標準中定義的一個或多個PU的八種不同PU分割類型。 第3圖示出了二叉樹分割結構的六種示例性分割類型。 第4A圖示出了依據二叉樹分割結構的示例性塊分割結構。 第4B圖示出了對應於第4A圖中所示的二叉樹分割結構的編碼樹結構。 第5A圖示出了依據四樹加二叉樹（QTBT）分割結構的示例性塊分割結構。 第5B圖示出了對應於第5A圖的QTBT分割結構的編碼樹結構。 第6圖示出了在示例性多類型樹（MTT）分割結構中使用的五種分割類型。 第7圖示出了依據MTT分割結構的用於塊分割的樹型信令的示例。 第8A圖示出了依據HEVC標准透過兩級四叉樹分割來分割跨越底部圖像邊界的越界CU的示例。 第8B圖示出了第8A圖中所示的越界CU中的塊分割的對應編碼樹表示。 第9A圖示出了依據本發明實施例的透過兩級二叉樹水平對稱分割分割跨越底部圖像邊界的越界CU的示例。 第9B圖示出了第9A圖中所示的越界CU中的塊分割的對應編碼樹表示方式。 第10圖是示出用於對當前圖像中的當前CTU進行編碼或解碼的圖像處理方法的實施例的流程圖。 第11圖是示出用於對當前圖像中的當前CTU進行編碼或解碼的圖像處理方法的另一實施例的流程圖。 第12圖示出了結合依據本發明實施例的圖像處理方法的視頻編碼系統的示例性系統框圖。 第13圖示出了結合依據本發明實施例的圖像處理方法的視頻解碼系統的示例性系統框圖。

Claims (23)

  1. 一種圖像處理方法，該方法用於圖像或視頻編碼系統中，其中，該方法包括： 接收與當前圖像中的當前編碼樹單元相關聯的輸入資料，其中，該當前圖像被分割為複數個非重疊當前編碼樹單元； 將該當前編碼樹單元分成一個或複數個非重疊編碼單元，並確定該當前編碼樹單元中的每個編碼單元是否完全在該當前圖像的邊界內，其中完全在該當前圖像的邊界內的編碼單元稱為入界編碼單元以及不完全在該當前圖像的邊界內的編碼單元稱為越界編碼單元； 如果該當前編碼樹單元包含至少一入界編碼單元，則確定是否進一步分割該當前編碼樹單元中的每個入界編碼單元，並且若該入界編碼單元被進一步分割，則透過自與遞歸分割結構相關的第一分割類型集合選擇的分割類型來分割該入界編碼單元，其中若該入界編碼單元不需要被進一步分割，則該入界編碼單元是葉編碼單元； 如果該當前編碼樹單元包含至少一越界編碼單元，則遞歸地將該當前編碼樹單元中的每個越界編碼單元分割成複數個葉編碼單元，其中從第二分割類型集合中選擇分割類型以將每個越界編碼單元進行分割，該第二組分割類型集合包括至少兩種不同的分割類型；以及 透過單獨處理用於預測和變換處理的該當前編碼樹單元中的每個葉編碼單元來編碼或解碼該當前編碼樹單元。
  2. 如請求項1所述之方法，其中，在沒有明確地發訊號通知的情況下，推斷指示是否在該當前編碼樹單元中分割每個越界編碼單元的訊息。
  3. 如請求項1所述之方法，其中，在沒有明確地發訊號通知的情況下，推斷指示選擇哪個分割類型用於分割該當前編碼樹單元中的越界編碼單元的訊息。
  4. 如請求項1所述之方法，其中，該第二分割類型集合包括至少兩個一維分割類型，該一維分割類型包括水平分割類型和垂直分割類型，該水平分割類型將一個大塊分成具有減小的塊高度和相同的塊寬度的複數個較小塊，以及該垂直分割類型將一個大塊分成具有相同的塊高度和減小的塊寬度的複數個較小塊。
  5. 如請求項4所述之方法，其中該第二分割類型集還包括至少一個二維分割類型，該至少一個二維分割類型將一個大塊分成具有減小的塊高度和減小的塊寬度的複數個較小塊。
  6. 如請求項5所述之方法，其中，如果該越界編碼單元僅跨過該當前圖像的一個邊界，則選擇該一維分割類型中的一個以用於分割該越界編碼單元；如果該越界編碼單元越過該當前圖像的底部邊界，則該邊界編碼單元被該水平分割類型分割，並且如果該越界編碼單元越過該當前圖像的右邊界，則該越界編碼單元被垂直分割類型分割。
  7. 如請求項5所述之方法，其中，如果該越界編碼單元越過該當前圖像的底部邊界和右邊界，則選擇該二維分割類型以用於分割該越界編碼單元。
  8. 如請求項5所述之方法，其中，該遞歸分割結構是使用遞歸四叉樹分割然後遞歸二叉樹分割的四叉樹加二叉樹結構來分割該當前編碼樹單元，並且該水平分割類型是二叉樹水平對稱分割、該垂直分割類型是二叉樹垂直對稱分割，該二維分割類型是四叉樹分割。
  9. 如請求項5所述之方法，其中該遞歸分割結構是使用遞歸四叉樹分割然後遞歸二叉樹分割或三叉樹分割的多類型樹（MTT）結構來分割該當前編碼樹單元，並且該第一分割類型集合和第二分割類型集合包括四叉樹分割，二叉樹水平對稱分割，二叉樹垂直對稱分割，水平中心側三叉樹分割和垂直中心側三叉樹分割。
  10. 如請求項5所述之方法，其中該遞歸分割結構是使用遞歸四叉樹分割然後遞歸二叉樹分割或三樹分割的多類型樹（MTT）結構來分割該當前編碼樹單元，並且該第二組分割類型集合僅包括四叉樹分割，二叉樹水平對稱分割和二叉樹垂直對稱分割。
  11. 如請求項1所述之方法，其中，該第二分割類型集合包括二維分割類型和至少一一維分割類型，當禁用該二維分割類型時，越界編碼單元被推斷為利用一維分割類型來分割，當禁用該至少一一維分割類型時，越界編碼單元被推斷為利用該二維分割類型來分割。
  12. 如請求項11所述之方法，其中，當該越界編碼單元的空間維度大於第一閾值時，禁用該至少一一維分割類型以用於分割越界編碼單元。
  13. 如請求項12所述之方法，其中，該二維分割類型是四叉樹分割，並且該至少一一維分割類型是二叉樹分割，當越界編碼單元的空間維度小於第二閾值時，該二維分割類型被禁用以用於分割越界編碼單元，並且該第二閾值是該第一閾值的兩倍。
  14. 如請求項12所述之方法，其中，該遞歸分割結構是四叉樹加二叉樹結構或多類型樹結構，當越界編碼單元的空間維度小於第二閾值時，該二維分割類型被禁用以用於分割越界編碼單元，其中該第一閾值被設置為等於最大允許二叉樹或三叉樹根節點尺寸或從最大允許二叉樹或三叉樹根節點尺寸導出，並且該第二閾值被設置為等於最小允許的四叉樹葉節點尺寸或從最小允許的四叉樹葉節點尺寸導出。
  15. 如請求項11所述之方法，其中，當該越界編碼單元的空間維度小於第二閾值以及該越界編碼單元不位於當前圖像的右下角時，該二維分割類型被禁用用於分割該越界編碼單元。
  16. 如請求項11所述之方法，其中，當該越界編碼單元的空間維度小於第二閾值時，該二維分割類型被禁能以用於分割該越界編碼單元，或者該二維分割類型被禁能以用於分割利用該一維分割類型自母編碼單元分割的該越界編碼單元。
  17. 如請求項11所述之方法，其中，當該越界編碼單元僅跨越該當前圖像的一個邊界以及該一維分割類型和該二維分割類型均被使能以用於分割該越界編碼單元時，發送一個標誌以指示該越界編碼單元利用該一維分割類型還是該二維分割類型而被分割。
  18. 如請求項17所述之方法，其中當該標誌指示該越界編碼單元被該一維分割類型分割時，推斷該越界編碼單元的分割方向，其中如果該越界編碼單元越過該當前圖像的底部邊界，則該越界編碼單元以水平分割方向而被分割，或者如果該越界編碼單元越過該當前圖像的右邊界，則該越界編碼單元以垂直分割方向而被分割。
  19. 如請求項1所述之方法，其中遞歸地將該當前編碼樹單元中的每個越界編碼單元分割成複數個葉編碼單元的步驟包括，確定從該越界編碼單元分割的每個子編碼單元是入界編碼單元還是越界編碼單元，並且使用從第二分割類型集合中選擇的分割類型以進一步分割每個越界編碼單元，直到所有子編碼單元是入界編碼單元為止。
  20. 如請求項1所述之方法，其中，用於分割自一個越界編碼單元分割的複數個入界編碼單元的最大允許二叉樹深度被設置為大於用於分割自一個入界編碼單元分割的複數個入界編碼單元的最大允許二叉樹深度。
  21. 如請求項1所述之方法，其中，用於分割自一個越界編碼單元分割的複數個入界編碼單元的最大允許二叉樹深度被設置為等於用於分割自一個入界編碼單元分割的複數個入界編碼單元的最大允許二叉樹深度。
  22. 一種在圖像或視頻編碼系統中處理圖像的裝置，其中，該裝置包括一個或複數個電子電路，被配置用於： 接收與當前圖像中的當前編碼樹單元相關聯的輸入資料，其中，該當前圖像被分割為複數個非重疊當前編碼樹單元； 將該當前編碼樹單元分成一個或複數個非重疊編碼單元，並確定該當前編碼樹單元中的每個編碼單元是否完全在該當前圖像的邊界內，其中完全在該當前圖像的邊界內的編碼單元稱為入界編碼單元以及不完全在該當前圖像的邊界內的編碼單元稱為越界編碼單元； 如果該當前編碼樹單元包含至少一個入界編碼單元，則確定是否進一步分割該當前編碼樹單元中的每個入界編碼單元，並且若該入界編碼單元被進一步分割，則透過自與遞歸分割結構相關的第一分割類型集合選擇的分割類型來分割該入界編碼單元，其中若該入界編碼單元不需要被進一步分割，則該入界編碼單元是葉編碼單元； 如果該當前編碼樹單元包含至少一越界編碼單元，則遞歸地將該當前編碼樹單元中的每個越界編碼單元分割成複數個葉編碼單元，其中從第二分割類型集合中選擇分割類型以將每個越界編碼單元進行分割，該第二組分割類型集合包括至少兩種不同的分割類型；以及 透過單獨處理用於預測和變換處理的該當前編碼樹單元中的每個葉編碼單元來編碼或解碼當前編碼樹單元。
  23. 一種存儲程式指令的非暫時性計算機可讀介質，該程式指令使得裝置的處理電路執行圖像處理方法，其中，該方法包括： 接收與當前圖像中的當前編碼樹單元相關聯的輸入資料，其中，該當前圖像被分割為複數個非重疊當前編碼樹單元； 將該當前編碼樹單元分成一個或複數個非重疊編碼單元，並確定該當前編碼樹單元中的每個編碼單元是否完全在該當前圖像的邊界內，其中完全在該當前圖像的邊界內的編碼單元是入界編碼單元以及不完全在該當前圖像的邊界內的編碼單元是越界編碼單元； 如果該當前編碼樹單元包含至少一個入界編碼單元，則確定是否進一步分割該當前編碼樹單元中的每個入界編碼單元，並且若該入界編碼單元被進一步分割，則透過自與遞歸分割結構相關的第一分割類型集合選擇的分割類型來分割該入界編碼單元，其中若該入界編碼單元不需要被進一步分割，則該入界編碼單元是葉編碼單元； 如果該當前編碼樹單元包含至少一越界編碼單元，則遞歸地將該當前編碼樹單元中的每個越界編碼單元分割成複數個葉編碼單元，其中從第二分割類型集合中選擇分割類型以將每個越界編碼單元進行分割，該第二組分割類型集合包括至少兩種不同的分割類型；以及 透過單獨處理用於預測和變換處理的該當前編碼樹單元中的每個葉編碼單元來編碼或解碼該當前編碼樹單元。
TW107131486A 2017-09-08 2018-09-07 在圖像或視頻編碼系統中處理圖像的方法和裝置 TWI695619B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762555687P 2017-09-08 2017-09-08
US62/555,687 2017-09-08
US201862657102P 2018-04-13 2018-04-13
US62/657,102 2018-04-13
PCT/CN2018/103213 WO2019047763A1 (en) 2017-09-08 2018-08-30 METHODS AND APPARATUSES FOR PROCESSING IMAGES IN AN IMAGE OR VIDEO ENCODING SYSTEM
WOPCT/CN2018/103213 2018-08-30

Publications (2)

Publication Number Publication Date
TW201921953A true TW201921953A (zh) 2019-06-01
TWI695619B TWI695619B (zh) 2020-06-01

Family

ID=65633595

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107131486A TWI695619B (zh) 2017-09-08 2018-09-07 在圖像或視頻編碼系統中處理圖像的方法和裝置

Country Status (5)

Country Link
US (1) US10911757B2 (zh)
EP (1) EP3662666A4 (zh)
CN (1) CN110999297B (zh)
TW (1) TWI695619B (zh)
WO (1) WO2019047763A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019131651A1 (en) * 2017-12-29 2019-07-04 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US11470359B2 (en) * 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
KR102543953B1 (ko) * 2018-04-19 2023-06-20 엘지전자 주식회사 영상의 처리 방법 및 이를 위한 장치
WO2019234612A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
CN112352427B (zh) * 2018-06-18 2024-04-09 交互数字Vc控股公司 基于图像块的非对称二元分区的视频编码和解码的方法和装置
KR20230054917A (ko) * 2018-09-03 2023-04-25 후아웨이 테크놀러지 컴퍼니 리미티드 파티션 제한 요소들 간의 관계
WO2020061949A1 (en) * 2018-09-27 2020-04-02 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoder, and decoder
JP6835177B2 (ja) * 2018-11-30 2021-02-24 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
KR102259186B1 (ko) 2019-01-16 2021-06-01 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 나머지를 갖는 균일한 타일 분열을 포함하는 비디오 코딩
CN114026862A (zh) * 2019-06-21 2022-02-08 松下电器（美国）知识产权公司 用于视频译码的系统和方法
US11412222B2 (en) 2020-02-12 2022-08-09 Tencent America LLC Flexible picture partitioning
US11206416B2 (en) 2020-02-21 2021-12-21 Tencent America LLC Method and apparatus for video coding
US20230269372A1 (en) * 2020-03-18 2023-08-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium having stored bitstream
CN112601087B (zh) * 2020-11-23 2022-10-18 郑州轻工业大学 一种针对h.266/vvc的快速cu分裂模式决策方法
WO2022218322A1 (en) * 2021-04-13 2022-10-20 Beijing Bytedance Network Technology Co., Ltd. Boundary handling for coding tree split
WO2023081280A1 (en) * 2021-11-04 2023-05-11 Op Solutions, Llc Systems and methods for video encoding using image segmentation
US11954770B2 (en) 2021-11-12 2024-04-09 Rockwell Collins, Inc. System and method for recreating graphical image using character recognition to reduce storage space
US11842429B2 (en) 2021-11-12 2023-12-12 Rockwell Collins, Inc. System and method for machine code subroutine creation and execution with indeterminate addresses
US11887222B2 (en) 2021-11-12 2024-01-30 Rockwell Collins, Inc. Conversion of filled areas to run length encoded vectors
US11915389B2 (en) 2021-11-12 2024-02-27 Rockwell Collins, Inc. System and method for recreating image with repeating patterns of graphical image file to reduce storage space
US11748923B2 (en) 2021-11-12 2023-09-05 Rockwell Collins, Inc. System and method for providing more readable font characters in size adjusting avionics charts

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
JP2012147127A (ja) 2011-01-07 2012-08-02 Sony Corp 画像処理装置および方法
US20160065959A1 (en) * 2014-08-26 2016-03-03 Lyrical Labs Video Compression Technology, LLC Learning-based partitioning for video encoding
CN103597827B (zh) * 2011-06-10 2018-08-07 寰发股份有限公司 可伸缩视频编码方法及其装置
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN105637872B (zh) 2013-10-16 2019-01-01 夏普株式会社 图像解码装置、图像编码装置
CN103957415B (zh) * 2014-03-14 2017-07-11 北方工业大学 基于屏幕内容视频的cu分割方法和装置
US10003807B2 (en) * 2015-06-22 2018-06-19 Cisco Technology, Inc. Block-based video coding using a mixture of square and rectangular blocks
US20210211699A1 (en) 2016-02-16 2021-07-08 Samsung Electronics Co., Ltd. Adaptive block partitioning method and apparatus
US10326989B2 (en) * 2016-05-25 2019-06-18 Arris Enterprises Llc General block partitioning method

Also Published As

Publication number Publication date
EP3662666A1 (en) 2020-06-10
WO2019047763A1 (en) 2019-03-14
US10911757B2 (en) 2021-02-02
CN110999297B (zh) 2021-11-02
CN110999297A (zh) 2020-04-10
TWI695619B (zh) 2020-06-01
EP3662666A4 (en) 2021-03-03
US20200195924A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
TWI695619B (zh) 在圖像或視頻編碼系統中處理圖像的方法和裝置
US11064220B2 (en) Method and apparatus of video data processing with restricted block size in video coding
TWI666927B (zh) 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置
CN107836117B (zh) 一种块分割的方法及装置
US11190762B2 (en) Intra-prediction mode-based image processing method and apparatus therefor
TWI708502B (zh) 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法
TWI720584B (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
KR20180046876A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019141012A1 (en) Video processing methods and apparatuses for processing video data coded in large size coding units
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
JP2023010845A (ja) アフィン動き予測に基づく映像コーディング方法及び装置
JP2023090929A (ja) ビデオ復号化方法、ビデオ復号化装置及び記憶媒体
US10735728B2 (en) Method for processing image and apparatus therefor
CN113632479B (zh) 越界节点视频数据的处理方法及装置
TWI779545B (zh) 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置
WO2023198013A1 (en) Methods and apparatus of cu partition using signalling predefined partitions in video coding