TW202007157A - 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或編碼的視訊處理方法 - Google Patents

視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或編碼的視訊處理方法 Download PDF

Info

Publication number
TW202007157A
TW202007157A TW108124874A TW108124874A TW202007157A TW 202007157 A TW202007157 A TW 202007157A TW 108124874 A TW108124874 A TW 108124874A TW 108124874 A TW108124874 A TW 108124874A TW 202007157 A TW202007157 A TW 202007157A
Authority
TW
Taiwan
Prior art keywords
current block
segmentation
video
constraint
block
Prior art date
Application number
TW108124874A
Other languages
English (en)
Other versions
TWI708502B (zh
Inventor
蔡佳銘
徐志瑋
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202007157A publication Critical patent/TW202007157A/zh
Application granted granted Critical
Publication of TWI708502B publication Critical patent/TWI708502B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本發明提供在視訊編碼或解碼系統中的視訊處理方法和裝置，用於處理被分割成具有一個或多個分割約束的塊的視訊圖像。視訊編碼或解碼系統接收當前塊的輸入資料，以及檢查是否允許根據第一和第二約束使用預定義的分割類型對當前塊進行分割。第一約束將從當前塊分割的每個子塊限制為完全包含在一個管線單元中，以及第二約束限制從當前塊分割的每個子塊包含一個或多個完整的管線單元。管線單元是設計用於管線處理的視訊圖像中的非重疊單元。如果由預定義分割類型分割的任一子塊違反第一和第二約束，則當前塊不由預定義分割類型分割。視訊編碼或解碼系統對當前塊進行編碼或解碼。

Description

視訊編碼系統中處理具有分割限制之視訊圖像的方法和裝置
本發明涉及在視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法和裝置。具體地，本發明涉及基於分割約束確定塊的一個或多個分割類型的有效性，以及藉由有效分割類型對塊進行分割。
高效率視訊編解碼（High Efficiency Video Coding，HEVC）標準是在ITU-T研究組的視訊編解碼專家組成的聯合協作小組(Joint Collaborative Team on Video Coding, JCT-VC)開發的最新視訊編解碼標準。HEVC標準依賴於基於塊的編解碼結構，該結構將每個視訊圖像分成多個非重疊的方形編解碼樹單元（Coding Tree Unit，簡稱CTU），也稱為最大編解碼單元（Largest Coding Units，簡稱LCU）。視訊圖像或片段中的每個單獨CTU以光柵掃描順序處理。在HEVC主文檔中，CTU的最大和最小大小由序列參數集（Sequence Parameter Set，簡稱SPS）中發送的語法元素指定。使用四分樹（quadtree，簡稱QT）分割結構每個CTU被進一步遞迴地分割為一個或多個非重疊編解碼單元（Coding Units，簡稱CU），以適應各種局部特性。在QT分割結構的每個分割深度處，N×N塊是單葉CU或分成具有相等大小N/2×N/2的四個較小塊。具有M×M圖元樣本大小的CTU是四分樹編解碼樹的根節點，以及四個M/2xM/2塊是從根節點分割的子四分樹節點。四個M/2xM/2塊中的每一個可成為藉由另一個QT分割而分割的父節點，以使四個子節點在每個空間維度中被進一步減小一半的大小。如果編解碼樹節點沒有被進一步分割，則其被稱為葉CU。葉CU大小被限制為大於或等於最小允許CU大小，其也在SPS中指定。第1圖中示出了遞迴四分樹分割結構的示例，其中實線指示CTU 10中的CU邊界。
一旦CTU被分割為葉CU，根據用於預測的PU分割類型，每個葉CU被進一步分成一個或多個預測單元（Prediction Units，簡稱PU）。與用於CU的遞迴四分樹分割不同，每個葉CU可僅被分割一次以形成多個PU。PU作為用於共用預測資訊的基本代表塊，相同的預測過程被應用於PU中的所有圖元。預測資訊以PU為基礎傳送給解碼器。在基於PU分割類型獲得由預測過程生成的殘差數據之後，根據另一四分樹分割結構屬於葉CU的殘差數據被分割為一個或多個變換單元（Transform Unit，簡稱TU），用於將殘差數據變換為緊湊的資料表示的變換係數。第1圖中的虛線表示CTU 100中的TU邊界。TU是用於對殘差數據或變換係數應用變換和量化的基本代表塊。對於每個TU，具有與TU相同大小的變換矩陣被應用於殘差數據以生成變換係數，以及以TU為基礎這些變換係數被量化和被傳送到解碼器。
術語編解碼樹塊（Coding Tree Block，簡稱CTB），編碼塊（Coding block，簡稱CB），預測塊（Prediction Block，簡稱PB）和變換塊（Transform Block，簡稱TB）被定義為指定與CTU，CU，PU和TU分別相關聯的一個顏色分量的二維（2-D）樣本陣列。例如，CTU由一個亮度（luminance，簡稱luma）CTB，兩個色度（chrominance，簡稱chroma）CTB以及與其相關的語法元素組成。類似的關係對CU，PU和TU有效。在HEVC系統中，相同的四分樹分割結構通常被應用於亮度和色度分量，除非達到色度塊的最小尺寸。
二元樹（Binary-tree，簡稱BT）分割結構是四分樹分割結構的替代結構，其遞迴地將塊分成兩個較小的塊。ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊探索小組（Joint Video Exploration Team，簡稱JVET）目前正在探索被稱為通用視訊編解碼（Versatile Video Coding，簡稱VVC）的下一代視訊編解碼標準。聯合勘探模型（Joint Exploration Model，簡稱JEM）採用了一些有前景的新編解碼工具進行進一步研究。一種稱為四分樹加二元樹（QuadTree plus Binary Tree，簡稱QTBT）結構的新分割結構平衡了四分樹分割結構和二元樹分割結構的編解碼效率和編解碼複雜度。示例性QTBT結構如第2A圖所示，其中CTU首先由四分樹結構分割，然後是二元樹分割結構。CU可藉由四分樹分割被遞迴地分割，直到當前CU大小達到允許的最小四分樹葉節點大小。如果葉四分樹塊大小不大於最大允許二元樹根節點大小，則每個葉四分樹塊可藉由二元樹分割來分割。二元樹分割可被遞迴地應用，直到當前CU大小、寬度或高度達到最小允許二元樹葉節點大小、寬度或高度或二元樹深度達到最大允許二元樹深度。只有水準對稱分割和垂直對稱分割是QTBT分割中允許的兩種二元樹分割類型。來自QTBT分割的所得葉CU可被用於預測和變換處理而無需任何進一步的分割。
第2A圖示出根據QTBT分割結構的塊分割結構的示例，第2B圖示出用於第2A圖中所示的QTBT分割結構的相應編解碼樹圖。第2A圖和第2B圖中的實線表示四分樹分割，而虛線表示二元樹分割。在二元樹結構的每個分割節點（即，非葉節點）中，標誌指示使用哪種分割類型，0表示水準對稱分割，1表​​示垂直對稱分割。對於在I型片段中被編解碼的CTU，用於色度CTB的QTBT編解碼樹代表可與用於對應的亮度CTB的QTBT編解碼樹代表不同。對於在P型和B型片段中被編解碼的CTU，相同的QTBT編解碼樹代表被應用於色度CTB和亮度CTB。在QTBT分割結構中，允許的最小四分樹葉節點大小，允許的最大二元樹根節點大小，允許的最小二元樹葉節點寬度和高度以及允許的最大二元樹深度和高度在高級語法中指示，例如SPS。
多類型樹（Multi-Type-Tree，簡稱MTT）分割結構藉由在MTT分割結構的第二級別中允許二元樹（Binary-Tree，簡稱BT）分割和三元樹（Ternary-Tree，簡稱TT）分割來擴展QTBT分割結構中的兩級樹結構的概念。MTT分割結構首先由四分樹分割來分割CTU，以及由子樹結構進一步分割四分樹葉節點。子樹結構可包含二元樹分割和三元樹分割。例如，每個四分樹葉節點可由BT或TT分割被進一步分割。由BT或TT分割所分割的塊可進一步由另一個BT或TT分割來分割，直到達到最大深度或最小尺寸。子樹葉節點是用於預測和變換的編解碼單元，以及將不被進一步分割。第3圖示出MTT分割結構中使用的五種分割類型，其中分割類型包括四分樹分割類型30，二元樹分割類型32和34，以及三元樹分割類型36和38。垂直中心側三元樹分割類型36和水準中心側三元樹分割類型38將塊分成三個較小的塊，所有這些塊在一個空間維度上具有減小的尺寸，同時在另一個空間維度中保持相同的大小。
在視訊編碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法和裝置包括：接收與當前視訊圖像中的當前塊相關聯的輸入資料，確定管線單元的管線單元大小，確定是否允許根據分割約束使用預定義的分割類型將當前塊分割為多個子塊，藉由允許的分割類型將當前塊分割，以及根據當前塊的塊分割結構對當前塊進行編碼或解碼。管線單元是設計用於管線處理的當前視訊圖像中的非重疊單元，以及管線單元大小的示例被設置為最大變換塊（Transform Block，簡稱TB）大小。管線單元大小可根據視訊壓縮標準基於文檔或級別被隱式地定義。在一個示例中，對於4：2：0的顏色格式，管線單元大小是64×64的亮度分量，或者32×32的色度分量。第一約束限制從當前塊分割的每個子塊被完全包含在一個管線單元中，以及第二約束限制從當前塊分割的每個子塊包含一個或多個完整的管線單元。如果由預定義分割類型分割的任何子塊違反第一和第二約束，則預定義分割類型被禁止用於分割當前塊。預定義分割類型可從四分樹分割，水準二元樹分割，垂直二元樹分割，水準三元樹分割和垂直三元樹分割中選擇。當前塊可以是CTU，CU或TU。視訊處理方法和裝置的一些實施例還考慮再訪問約束，其中再訪問約束在藉由預定義分割類型處理從當前塊分割的子塊時禁止在離開管線單元之後重新訪問當前塊中的任一管線單元。如果違反再訪問約束，則預定義分割類型不被允許用於對當前塊進行分割。
視訊處理方法和裝置的一些實施例允許非方形管線單元，以及在一實施例中，管線單元的多個可允許管線單元大小由管線單元面積限定。例如，管線單元面積為4096，因此允許的管線單元大小為64x64，128x32和32x128。根據各種實施例，非方形管線單元的使用被預定義，導出或在序列，圖像，片段，方格（tile），CTU或CTU行（row）級中發出。
視訊編碼系統中的視訊處理的方法和裝置的變形根據基於兩個閾值的分割約束來確定每個塊的塊分割結構。視訊處理方法包括接收與當前視訊圖像中的當前塊相關聯的輸入資料，藉由將當前塊的寬度、當前塊的高度或當前塊的寬度和高度與閾值W和閾值H中的一個或兩個相比較，確定是否預定義的分割類型被允許用於將當前塊分割為多個子塊，使用允許的分割類型分割當前塊，以及根據當前塊的塊分割結構對當前塊進行編碼或解碼。閾值W和H是正整數，以及基於文檔或級別根據視訊壓縮標準被預定義或隱式地定義。預定義分割類型可從水準二元樹分割，垂直二元樹分割，水準三元樹分割和垂直三元樹分割中選擇。在一實施例中，如果當前塊的寬度大於W以及當前塊的高度小於或等於H，則水準二元樹分割不被允許，如果寬度小於或等於W以及高度大於H，則垂直二元樹分割不被允許。在一實施例中，如果寬度大於W，則水準三元樹分割不被允許，以及如果高度大於H，則垂直三元樹分割不被允許。在另一實施例中，如果寬度大於或等於W以及高度除以4小於H，則水準三元樹分割不被允許，如果高度大於或等於H且寬度除以4小於W，則垂直三元樹分割不被允許。在另一實施例中，如果寬度大於W且高度大於H但是高度除以4小於H，則水準三元樹分割不被允許，以及如果高度大於H且寬度大於W但寬度除以4小於W，則垂直三元樹分分割不被允許。在另一實施例中，如果寬度大於或等於W且高度大於H但高度除以4小於H，則水準三元樹分割不被允許，如果高度大於或等於H以及寬度大於W但寬度除以4小於W，則垂直三元樹分割不被允許。在另一實施例中，如果寬度大於W且高度大於H且高度除以4不是H的倍數，則水準三元樹分割不被允許，如果高度大於H且寬度大於W但寬度除以4不是W的倍數，垂直三元樹分割不被允許。
在一些實施例中，管線單元被定義為具有等於W的寬度和等於H的高度，以及管線單元大小是W和H的乘積。在一實施例中，如果當前塊的大小是管線單元大小的兩倍，則三元樹分割不被允許。在另一實施例中，當當前塊的大小是管線單元大小的兩倍時，除非所有進一步的分割方向相同以及塊的中心子塊被二元樹分割，否則三元樹分割不被允許。在另一實施例中，如果當前塊的大小是管線單元大小的四倍，或者如果當前塊的大小小於管線單元大小，則預定義分割類型被允許，其中預定義分割類型從四分樹，二元樹和三元樹分割中選擇。
視訊處理方法和裝置的一些實施例還考慮再訪問約束，如果再訪問約束被違反，則預定義分割類型不被允許。當處理藉由預定義分割類型從當前塊分割的子塊時，再訪問約束禁止在離開管線單元之後再次訪問當前塊中的任一管線單元。
本公開的各方面還提供了一種在視訊編碼系統或視訊解碼系統中實現的裝置，以及該裝置將當前塊分割為具有分割約束的多個子塊。該裝置的實施例在視訊編碼或解碼系統的塊分割模組中實現，以根據第一和第二約束確定一個或多個預定義的分割類型是否被允許。如果由預定義分割類型分割的任一子塊違反第一和第二約束，則預定義分割類型不被允許用於分割當前塊。該裝置的另一實施例根據兩個閾值確定一個或多個預定義的分割類型是否被允許。
本公開的各方面還提供了一種存儲程式指令的非暫時性電腦可讀介質，所述程式指令用於使裝置的處理電路執行視訊編碼處理以對具有分割約束的當前塊進行編碼或解碼。通過閱讀以下具體實施方案的描述，本發明的其他方面和特徵對於本領域通常知識者將變得顯而易見。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。
本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，這些實施例可單獨地實現或者與一個或多個其他實施例結合實現。此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實踐本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。
虛擬管線資料單元（Virtual Pipeline Data Uint，簡稱VPDU）被定義為用於管線處理的基本單元，以及VPDU在以下描述中也被稱為管線單元。藉由將視訊圖像分割為多個非重疊的VPDU以用於管線處理，連續的VPDU可由多個管線級別同時處理。VPDU是方形單元，例如，每個VPDU包含MxM個亮度圖元或NxN個色度圖元，或者VPDU是非方形單元。VPDU的維度可定義為諸如4096個圖元的面積或諸如64×64的大小。在硬體解碼器中，每個VPDU被一個接另一個的管線級別處理，直到每個VPDU由視訊解碼的所有管線級別處理。硬體解碼器中的不同管線級別同時處理不同的VDPU。將VPDU大小限制在尺寸限制內是硬體實現中的關鍵設計問題，因為VPDU大小與大多數管線級別中的緩衝區大小大致成比例。VPDU大小的實施例被設置為等於最大變換塊（Transform Block，簡稱TB）大小，其對於HEVC硬體解碼器是32×32亮度圖元或16×16色度圖元。然而，為了提高整體編解碼效率，預計在下一代視訊編解碼標準中，最大TB大小將被擴大。例如，亮度的最大TB大小從32x32擴展到64x64，色度的最大TB大小以4：2：0顏色格式從16x16擴展到32x32。因此，當顏色格式為4：2：0時，下一代視訊編解碼標準的VPDU大小將被放大到用於亮度的64x64或用於色度的32x32，這是HEVC標準所要求的VPDU大小的四倍。與僅採用四分樹分割的HEVC標準相比，使用四分樹，二元樹和三元樹分割的CTU分割實現了額外的編解碼增益。當128x128的CTU藉由二元樹分割或三元樹分割被分割時，所需的VPDU大小將增加到128x128亮度圖元或64x64色度圖元。與HEVC標準相比，現在VPDU大小大16倍，這大大增加了視訊處理中每個管線級別所需的緩衝區大小。
為了減少下一代視訊編解碼標準中所需的VPDU大小，本發明的一些實施例設置分割約束以根據當前塊和一個或多個相應的管線單元之間的關係限制將被應用於當前塊的一個或多個預定義的分割類型。一些其他實施例設置分割約束以根據當前塊的寬度和高度中的一個或兩個來限制將被應用於當前塊的一個或多個預定義分割類型。當前塊可以是CTU、CU或TU。待編碼或解碼的視訊圖像被分成非重疊的CTU，以及每個CTU包含一個或多個用於管線處理的管線單元。管線單元的實施例具有等於最大變換塊大小的大小。在另一實施例中，管線單元大小在序列級別，圖像級別，片段級別或塊級別中被明確地發送。在又一實施例中，根據相應的視訊壓縮標準，基於文檔或級別管線單元大小被隱式地定義。
第一約束：每個管線單元包含完整的一個或多個子塊 第一約束是分割約束的實施例，其根據當前塊和一個或多個相應的管線單元之間的關係限制將被應用於當前塊的一個或多個預定義的分割類型。當前塊是CTU、CU或TU，以及當前塊可被進一步分割，例如，如果當前塊是CU，則CU的分割深度小於最大允許CU深度，類似地，如果當前塊是TU，則TU的分割深度小於最大允許TU深度。在另一示例中，如果當前塊是CU，則當前塊大於最小允許CU大小，以及如果當前塊是TU，則當前塊大於最小允許TU大小。第一約束限制每個管線單元包含完整的四分樹，二元樹或三元樹塊分割。塊分割是藉由四分樹，二元樹或三元樹分割從當前塊分割的子塊，以及塊分割可以是CU或TU。換句話說，第一約束將從當前塊分割的每個子塊限制為完全包含在一個管線單元中。例如，管線單元在分割操作之後包含一個或多個CU，以及這些CU必須完全在管線單元內。在子樹分割過程中，藉由四分樹，二元樹或三元樹分割從當前塊分割的子塊中的所有樣本，其大小小於或等於管線單元，應該在同一個管線單元中。根據第一約束，當當前塊等於或小於管線單元且當前塊在一個管線單元內時，四分樹分割，二元樹分割和三元樹分割皆被允許用於分割當前塊，因為從當前塊分割的所有子塊仍包含在同一管線單元中。在第一約束的示例性實施例中，當將要藉由四分樹分割，二元樹分割或三元樹分割來分割的當前塊的大小大於管線單元的大小時，視訊編碼器或解碼器檢查若在子樹分割操作之後，由當前塊分割的每個子塊中的所有樣本是否都在同一管線單元中，以及檢查只有當每個子塊中的所有樣本都在同一管線單元中時此子樹分割操作才被允許。根據第一約束的另一示例，管線單元在分割操作之後包含一個或多個完整的TU。
藉由遵守在管線單元中包含完整CU或TU的第一約束，管線單元邊界也是CU邊界或TU邊界。換句話說，CU或TU不能穿越管線單元邊界，以及管線單元邊界的每個段也必須屬於CU邊界或TU邊界。根據第一約束，管線單元邊界必須與CU邊界或TU邊界對齊。
第二約束：每個子塊包含完整的一個或多個管線單元 第二約束是分割約束的另一實施例，其根據當前塊和一個或多個相應的管線單元之間的關係限制將被應用於當前塊一個或多個預定義的分割類型。當前塊是可被進一步分割的CTU、CU或TU。例如，如果當前塊是CU，則CU的分割深度小於最大允許CU深度，或者CU的大小大於最小允許CU大小，類似地，如果當前塊是TU， TU的分割深度小於最大允許TU深度，或者TU的大小大於最小允許TU大小。第二約束限制每個四分樹，二元樹或三元樹塊分割以包含完整的管線單元。塊分割是藉由四分樹，二元樹或三元樹分割從當前塊分割的子塊，以及塊分割可以是CU或TU。例如，當CU在子樹分割操作之後包含一個或多個管線單元時，這些管線單元完全在CU內。當由分割操作產生的每個子塊仍包括一個或多個完整的管線單元時，僅四分樹分割，二元樹分割或三元樹分割被允許用於對當前塊進行分割。在第二約束的實施例中，同一管線單元中的所有樣本被包括在藉由四分樹分割，二元樹分割或三元樹分割來分割的相同子塊中，該子塊具有大於或等於管線單元的大小。
採用第一和第二約束的分割約束 對於藉由預定義分割類型從CTU分割的每個CU，必須滿足先前描述的第一和第二約束之一。如果藉由預定義分割類型從當前塊分割的任一子塊違反第一和第二約束，則預定義分割類型不被允許用於對當前塊進行分割。例如，一個或多個CU完全包含在管線單元中，或者一個或多個管線單元完全包含在同一CU中，其中藉由四分樹分割，二元樹分割或三元樹分割，每個CU從CTU被分割。
第4圖示出在分割約束的限制下的有效二元樹分割或三元樹分割的一些示例。在該實施例中，方形VPDU被用於處理從第4圖所示的CTU 40，42，44，46和48分割的CU。每個CTU具有128×128的大小，以及由虛線指示的每個方形VPDU的大小為64x64。CTU 40未被分割，因此它包含四個完整的VPDU，以及CTU 42和44都藉由二元樹分割被分成兩個CU，因此CTU 42和44中的每個CU包含兩個完整的VPDU。CTU 40，42和44的塊分割結構滿足分割約束，因為根據第二約束每個得到的CU包含一個或多個完整的VPDU。四個VPDU完全包含在CTU 40的得到的CU中，以及兩個VPDU完全包含在CTU 42和44的得到的CU中。藉由四分樹分割首先CTU 46和48被分割，藉由垂直三元樹分割CTU 46的左上分割被進一步分割，以及藉由水準三元樹分割CTU 48的左上分割被進一步分割。這兩個CTU 46和48的塊分割結構也滿足分割約束，因為根據第一約束每個VPDU包含一個或多個完整的CU。
第5圖示出在分割約束的限制下無效二元樹分割或三元樹分割的一些示例。由虛線指示的相同方形VPDU（每個具有64×64的大小）被用於處理大小為128×128的CTU，如第5圖所示。CTU 502和504分別藉由垂直三元樹分割和水準三元樹分割來分割，因為每個CU不包含一個或多個完整的VPDU以及每個VPDU不包含一個或多個完整的CU，所以得到的CU違反了所提出的約束。藉由二元樹分割CTU 506和508首先被分割，然後另一個二元樹分割在相同方向上進行。第二個二元樹分割無效，因為得到的CU違反了分割約束。CTU 506的左半部分中的每個CU或CTU 508的上半部分中的每個CU不包含一個或多個完整的方形VPDU，以及CTU 506的左半部分中的每個VPDU或CTU 508的上半部分中的每個VPDU不包含一個或多個完整的CU。從CTU 506或508分割的一個或多個CU違反第一和第二約束。在如CTU 510和512所示的示例中，這兩個CTU先藉由二元樹分割進行分割，然後子塊在相同方向上進行三元樹分割，因為所得到的CU違反分割約束，所以在此二元樹分割之後應用的三元樹分割是被禁止的。CTU 510的左半部分中的三個CU中的每一個或CTU 512的上半部分中的三個CU中的每一個都未完全包含在管線單元中，且這些CU中的每一個都不包含一個或多個完整的管線單元。CTU 514和516藉由二元樹分割進行分割，然後在不同方向上進行三元樹分割。這種三元樹分割也是無效的，因為每個得到的CU不包含一個或多個完整的VPDU，以及每個VPDU不包含一個或多個完整的CU。
採用再訪問約束的分割約束 分割約束的一些實施例是根據再訪問約束來評估預定義分割類型的有效性，其藉由預定義分割類型禁止從當前塊分割後的子塊的處理順序發生離開管線單元，然後再次訪問管線單元的情況。如果違反再訪問約束，則預定義分割類型不被允許用於對當前塊進行分割。當子塊的處理需要在離開管線單元之後再次訪問管線單元時，違反了重新訪問約束。第6A圖和第6B圖示出CTU的兩個示例性塊分割結構，其中一個滿足再訪問約束而另一個違反再訪問約束。在第6A圖和第6B圖中，每個128×128塊被分成四個方形TU，每個TU大小為64×64。第6A圖和第6B圖中的虛線是相應CTU內的TU邊界，以及相應CTU內的實線是CU邊界。管線單元被設置為64x64以及與TU對齊。第6A圖中的CTU藉由水準三元樹被分割成三個CU，以及三個CU的處理順序不需要再次訪問任一管線單元。例如，當處理左上方管線單元或右上方管線單元中的CU時，上行和左側CU的重構資料可用，以及在離開左上方或右上方管線單元後不需要再次訪問左上方或右上方的管線單元。因此，第6A圖中所示的塊分割結構滿足再訪問約束。第6B圖中的CTU藉由垂直三元樹被分割成三個CU；但是，三個CU的處理順序需要再次訪問管線單元。因此，第6B圖中所示的塊分割結構違反了再訪問約束。
兩個閾值W和H的約束 藉由分析第一、第二和再訪問約束以及有效和無效塊分割結構的上述示例來約束兩個閾值W和H，允許或禁止應用特定分割以對塊進行分割取決於塊寬度，塊高度，或塊寬度和塊高度。例如，當管線單元大小為N×N的情況下，N的示例為64，當塊寬度大於N時水準三元樹分割被禁止，當塊高度大於N時垂直三元樹分割被禁止，當塊寬度大於N且塊高度小於或等於N時，水準二元樹分割被禁止，當塊寬度小於或等於N和塊高度大於N時，垂直二元樹分割被禁止。為了概括如前所述的VPDU的概念，兩個閾值W和H被用來表示VPDU的寬度和高度，以及藉由將當前塊的寬度和高度中的一個或兩個與這兩個閾值中的一個或兩個進行比較，一個或多個預定義的分割類型被確定為有效或無效。
以下實施例根據閾值W和H中的一個或兩個來確定預定義分割類型對於當前塊的分割是有效還是無效。兩個閾值W和H是正整數，其可以是預定義值，在序列，圖像，片段或方格級別中的發送值，導出值或分別等於最大變換塊寬度和最大變換塊高度。例如，W被預定義為32或64，以及H被預定義為32或64。閾值W和H的示例由CTU大小和片段類型中的一個或組合隱式地導出。最大變換塊寬度和高度可以是最大亮度變換的寬度和高度或最大色度變換的寬度和高度。在分割當前塊之前，塊寬度和塊高度中的一個或兩個被與對應的閾值W或/和H進行比較。在約束三元樹（Ternary-Tree，簡稱TT）分割的第一實施例中，如果當前塊的塊寬度大於W且塊高度大於H，則TT分割不被允許用於對當前塊進行分割。在約束二元樹（Binary-tree，簡稱BT）分割的實施例中，如果當前塊的塊寬度大於W且塊高度小於或等於H，則水準BT分割不被允許用於分割當前塊。如果當前塊的塊高度大於H且塊寬度小於或等於W，則垂直BT分割不被允許用於分割當前塊。
在約束TT分割的第二實施例中，如果當前塊的塊寬度大於或等於W且塊高度除以4小於H，則水準TT分割不被允許用於分割當前塊。類似地，如果塊寬度除以4小於W且塊高度大於或等於H，則垂直TT分割不允許用於分割當前塊。在約束TT分割的第三實施例中，如果塊寬度大於W，塊高度大於H，塊高度除以4小於H，則水準TT分割不被允許用於分割當前塊。同樣，如果塊寬度大於W，且塊寬度除以4小於W，且塊高度大於H，則垂直TT分割不被允許用於分割當前塊。在約束TT分割的第四實施例中，如果當前塊的塊寬度大於或等於W，且塊高度如果大於H且塊高度除以4小於H，則水準TT分割不被允許用於分割當前塊。如果塊寬度大於W，塊寬度除以4小於W，且塊高度大於或等於H，則垂直TT分割不被允許用於分割當前塊。在約束TT分割的第五實施例中，如果當前塊的塊寬度大於W，且塊高度大於H，且塊高度除以4不是H的倍數，則水準TT分割不被允許。如果當前塊的塊寬度大於W，且塊寬度除以4不是W的倍數，且塊高度大於H，則垂直TT分割不被允許。
上述實施例可應用為規範約束，其中至少分割語法可根據寬度和/或高度與W和/或H的比較結果來推斷，以及分割語法不在視訊位元流中發送。例如，根據約束TT分割的第一實施例，如果當前塊的塊寬度大於W且塊高度大於H，則當前塊的TT分割語法不被發送或解析，如TT分割語法被推斷為不分割。根據約束BT分割的實施例，如果當前塊的塊寬度大於W且塊高度等於或小於H，則當前塊的水準BT分割或BT分割方向不被發送或解析。水準BT分割被推斷為不分割或BT分割方向被推斷為垂直分割。如果當前塊的塊高度大於H且塊寬度等於或小於W，則當前塊的垂直BT分割或BT分割方向不被發送或解析。垂直BT分割被推斷為不分割或者BT分割方向被推斷為水準分割。在實現約束TT分割的第二實施例的示例中，如果當前塊的塊寬度大於或等於W且塊高度除以4小於H，則當前塊的水準TT分割語法不被發送或解析。當前塊的水準TT分割被推斷為不分割。如果塊寬度除以4小於W且塊高度大於或等於H，則當前塊的垂直TT分割語法不被發送或解析。當前塊的垂直TT分割被推斷為不分割。在實現約束TT分割的第三實施例的示例中，如果當前塊的塊寬度大於W，且塊高度大於H，且塊高度除以4小於H，則當前塊的水準TT分割語法不被發送或解析。水準TT分割語法被推斷為不分割。如果當前塊的塊寬度大於W，且塊寬度除以4小於W，且塊高度大於H，則當前塊的垂直TT分割語法不被發送或解析。垂直TT分割語法被推斷為不分割。對於約束TT分割的第四實施例，如果當前塊的塊寬度大於或等於W，且塊高度大於H且塊高度除以4小於H，則水準TT分割語法不被發送或解析，因為它被推斷為不分割。如果當前塊的塊寬度大於W且塊寬度除以4小於W，且塊高度大於或等於H，則垂直TT分割語法不被發送或解析，因為它被推斷為不分割。對於藉由規範約束實現的約束TT分割的第五實施例，如果當前塊的塊寬度大於W，且塊高度大於H且塊高度除以4不是H的倍數，則水準TT分割語法不被發送或解析，因為它被推斷為不分割。類似地，如果當前塊的塊寬度大於W且塊寬度除以4不是W的倍數，且塊高度大於H，則垂直TT分割語法不被發送或解析，因為它被推斷為不分割。
有效或無效分割類型的示例 分割當前塊的一些實施例遵循從以下約束中選擇的分割約束的列表，其中分割類型被允許或不被允許用於分割當前塊取決於當前塊的大小、寬度或高度、得到的子塊的大小、或得到的子塊的處理順序。對於以下約束中4：2：0顏色格式，管線單元被定義為64x64的亮度分量，或32x32的色度分量。 1. TT分割不能被用於分割128x128 CTU。 2.TT分割不能被用於分割128xN塊或Nx128塊，其中N是小於或等於64的正整數。 3.水準BT分割不能被用於分割128xN塊。128xN塊的塊寬度為128，塊高度為N，其中N是小於或等於64的正整數。 4.垂直BT分割不能被用於分割Nx128塊。Nx128塊的塊寬度為N，塊高度為128，其中N是小於或等於64的正整數。 5.如果得到的色度CU中的任一小於PxQ，則色度塊不被允許分割。PxQ的示例是4x4，這意味著4x2，2x4和2x2的色度CU不被允許。 6.若分割後得到的子塊大小等於128x128，128x64或64x128，則該分割類型是被允許的。 7.如果得到的分割CU處理順序不能滿足CTU中的z掃描約束，則BT分割和TT分割不能被允許用於分割當前塊。例如，垂直BT分割不被允許用於對128x128 CTU進行分割，因為128x128 CTU的MxN塊的編解碼順序不是z掃描順序。
非方形管線單元 管線單元是用於管線處理的基本單元，以及為了支援靈活計算，根據一些實施例，每個管線單元可以是方形或非方形。管線單元內的所有CU被一起處理，而處理順序中的另一個管線單元內的任何CU不被插入。預定義管線單元的大小或面積，以序列、圖像、片段、方格、CTU、CTU行級別的方式被發送或導出。例如，VPDU的面積被預定義為等於16384，4096或1024個圖元。預定義VPDU大小的示例被設置為等於最大變換單元大小，諸如HEVC標準中的32x32或VVC標準中的64x64。基於相應視訊壓縮標準的文檔或級別，隱式地定義的VPDU大小或面積的示例被導出。
與方形管線單元類似，第一和第二約束可被用於限制某些分割行為，以及在每個子樹分割深度的塊分割期間必須滿足第一和第二約束之一。換句話說，不允許在任一子樹分割深度處違反第一和第二約束。在第一約束中，當當前塊的大小等於或小於VPDU大小或面積時，四分樹、二元樹或三元樹分割被允許用於分割當前塊。在第二約束中，僅在子樹分割之後當子塊的所有大小或面積等於VPDU大小或VPDU面積乘以某正整數時，四分樹、二元樹或三元樹分割才被允許。在子樹分割之後當從當前塊分割的一組子塊的大小或面積等於VPDU大小或VPDU面積乘以某正整數時，第二約束的另一實施例僅允許四分樹、二元樹或三元樹分割。該組子塊包括按連續順序處理的和一起處理的所有子塊，以及該組子塊的大小或面積小於當前塊。在一實施例中，如果當前塊的大小或面積是VPDU大小或VPDU面積的兩倍，則該當前塊可藉由四分樹分割或二元樹分割來分割，但不能藉由三元樹分割來分割。例如，CTU大小為128x128，VPDU面積定義為4096，因此允許的VPDU大小為64x64，128x32和32x128，然後大小為128x64或64x128的當前塊不能使用三元樹分割進行分割。如果當前塊的大小或面積是VPDU大小或VPDU面積的四倍，則四分樹，二元樹和三元樹分割皆可被用於分割當前塊。
在第二約束的另一實施例中，如果當前塊大小或面積是VPDU大小或VPDU面積的兩倍，則當前塊只能藉由四分樹分割或二元樹分割來分割，而不能藉由三元樹分割來分割。如果當前塊大小或面積大於VPDU大小或VPDU面積的兩倍，則所有四分樹分割，二元樹分割和三元樹分割可被用於分割當前塊。根據第一約束，如果當前塊大小小於VPDU大小或VPDU面積，則四分樹分割、二元樹分割和三元樹分割皆可被用於分割當前塊。
第二約束的另一實施例檢查當前塊大小或面積是否是VPDU大小或VPDU面積的兩倍，以及如果當前塊大小或面積是VPDU大小或面積的兩倍，則三元樹分割不被允許用於分割當前塊。如果當前塊的大小或面積大於VPDU大小或VPDU面積的兩倍，則三元樹分割被允許用於分割當前塊。在該實施例中，如果當前塊的大小或面積小於VPDU大小或VPDU面積，則三元樹分割不被允許用於分割當前塊。
第7圖示出了當非方形VPDU可用於處理每個CTU中的CU時的有效塊分割結構的一些示例。VPDU面積設置為4096，因此允許的VPDU大小為64x64，128x32和32x128，CTU大小為128x128。CTU 702藉由四分樹分割來分割，CTU 704和706藉由二元樹分割來分割，以及CTU 708和710藉由三元樹分割來分割。這五個CTU 702，704，706，708和710中的每個CU大於或等於VPDU面積4096，以及每個CU包含一個或多個完整的VPDU。方形VPDU用於處理CTU 702中的CU，而非方形VPDU用於處理CTU 708和710中的CU。CTU 704和706可由方形或非方形VPDU處理。藉由三元樹分割來分割的CTU 708中的中心分割和CTU 710中的中心分割可由方形或非方形VPDU處理。CTU 712和714首先由水準二元樹分割進行分割，然後其中一個分割由垂直二元樹分割被進一步分割，而另外一個由水準二元樹分割被進一步分割。這兩個CTU的塊分割結構是有效的，因為CTU 712和714得到的CU等於一個可允許的VPDU大小的大小，以及每個CU包含一個完整的VPDU。CTU 716由水準二元樹分割進行分割，然後每個分割藉由另一個水準二元樹分割被進一步分割。此塊分割結構有效，因為得到的CU恰好包含一個大小等於128x32的完整VPDU。CTU 718首先由水準三元樹分割來分割，以及中心分割藉由垂直二元樹分割被進一步分割。得到的CU包含一個完整的128x32VPDU或一個完整的64x64VPDU。
當藉由方形VPDU處理CTU時，如第5圖所示的CTU 502，504，506和508的塊分割結構被禁止，但是如果藉由非方形VPDU處理CTU時，則這些塊分割結構被允許。無論CTU是由方形還是非方形VPDU處理，CTU 510，512，514和516的塊分割結構都被禁止。
第8圖示出了當非方形VPDU可用於處理每個CTU中的CU時無效塊分割結構的一些其他示例。可允許的VPDU大小與第7圖中的示例相同，包括64x64，128x32和32x128，以及CTU 802，804，806和803的CTU大小是128x128。CTU 802藉由水準二元樹分割來分割，然後每個分割藉由水準三元樹分割被進一步分割。不允許在水準二元樹分割之後進行水準三元樹分割，因為沒有可允許的VPDU大小可包含從水準三元樹分割分割出的一個或多個完整CU。CTU 804首先藉由水準二元樹分割來分割，然後每個分割藉由垂直三元樹分割來分割。由於生成的CU的處理順序違反了“再次訪問管線單元”約束，因此不允許在水準二元樹分割之後進行垂直三元樹分割。從CTU分割的CU的處理順序必須確保在離開VPDU後不允許再次訪問VPDU，無論使用方形還是非方形VPDU。在這種情況下，即使32x128 VPDU包含兩個完整的CU，包括CTU 804中的左上CU和左下CU，左下CU的解碼過程可能需要等待左上CU的解碼過程。例如，如果CTU 804中的左下CU以幀內預測模式被編碼，則它需要左上CU的相鄰重構樣本，這引入了額外的等待時間，因為這兩個CU在相同的VPDU中。在另一例子中，CTU 806首先藉由水準三元樹分割來分割，以及中心分割藉由另一水準三元樹分割被進一步分割。由於並非所有VPDU都包含一個或多個完整CU，因此得到的CU違反第一約束，以及由於並非所有CU都包含一個或多個完整VPDU，因此得到的CU也違反第二約束。CTU 808藉由水準三元樹分割進行分割，然後中心分割藉由垂直三元樹分割來分割。垂直三元樹分割被禁止，因為垂直三元樹分割的得到CU不完全包含在具有任一允許大小的VPDU中。
在根據第二約束確定三元樹分割是否被允許的一實施例中，如果當前塊大小或面積是VPDU大小或VPDU面積的兩倍，則三元樹分割被允許，除非所有進一步的二元樹或三元樹分割方向皆相同以及當前塊的中心子塊亦藉由二元樹分割來分割。在第9A圖和第9B圖中示出了該實施例的兩個示例。在第9A圖中，首先當前塊藉由垂直三元樹分割被分割，然後當前塊的中心子塊藉由垂直二元樹分割被分割。在第9A圖和第9B圖中，三元樹分割由實線示出，二元樹分割由虛線示出。在第9B圖中，藉由垂直三元樹分割當前塊被分割為三個第一層子塊，藉由垂直三元樹分割當前塊的中心第一層子塊被進一步分割為三個第二層子塊，然後藉由垂直二元樹分割中心第二層子塊被再次分割。
在第二約束的一實施例中，如果當前塊的大小或面積是VPDU大小或面積的兩倍，則當前塊不能被進一步分割。在另一實施例中，如果當前塊的大小或面積是VPDU大小或面積的兩倍，以及用於二元樹分割的默認最大分割深度是N，則當前塊的二元樹的最大分割深度是M，其中0≤M>N。例如，如果N=3，則M為0，1或2。例如，VPDU面積為4096，對於大小為128x64或64x128的當前塊，當前塊的二元樹分割的最大分割深度M小於二元樹分割的默認最大分割深度N。
非方形VPDU的使用可在序列、圖像、片段、方格、CTU或CTU行級別或子樹分割中被預定義，導出，或發送。在一示例性實施例中，如果當前塊被進一步分割，則標誌被用來確定當前塊中非方形VPDU的使用。在另一實施例中，非方形VPDU的使用由當前塊大小或面積導出。在又一實施例中，非方形VPDU的使用由當前塊比率導出，其中當前塊比率利用將塊寬度除以塊高度或者將塊高度除以塊寬度來計算。在另一實施例中，非方形VPDU的使用由當前子樹分割深度導出。
管線單元外部的參考樣本 一些實施例將本發明的分割約束用於幀內或幀間預測工具。根據一實施例，當當前塊的預測需要跨越管線單元邊界的重構的相鄰樣本時，可以應用填充方法來生成填充的樣本。第10圖示出當需要跨越VPDU邊界的重構的相鄰樣本來處理當前CU時生成填充的樣本的示例。當前CU 100的右邊界和底邊界在VPDU邊界106和108上。預測當前CU 100所需的重構的相鄰樣本102和104在預測過程期間被填充的樣本替換。填充方法可以與用於生成填充樣本以在CTU或圖像邊界上替換參考樣本的填充方法相同。填充方法在垂直或水準方向上應用，或者在垂直和水準方向上應用。在另一實施例中，當跨越管線單元邊界的重構的相鄰樣本對於當前塊的幀內或幀間預測是必需的時，那些重構的相鄰樣本被視為不可用。幀內預測是指使用不同顏色分量中的左上或右下相鄰樣本的角度幀內預測，​​線性模型預測或線性模型預測方法或使用幀內預測和幀間預測的組合預測。
圖像邊界外的管線單元的樣本 對於跨圖像邊界的管線單元，圖像邊界外的樣本在CTU或圖像邊界處被填充。第11圖示出用跨越圖像邊界的VPDU的填充樣本替換圖像邊界外的樣本的示例。當前CU 112跨越圖像邊界116，和圖像邊界116外的樣本114由填充的樣本替換。填充的樣本可藉由在垂直或水準方向或垂直和水準方向上填充來生成。
最大TT大小和最大BT大小 最大TT大小（max_TT_size）可被定義為限制將三元樹分割應用於尺寸大於該最大TT大小的任一CU。最大TT大小被設置為MxN，以及它可以是預定義值，在序列，圖像，片段或方格級別中傳輸的發送值，導出值或等於最大變換塊大小。最大TT大小的示例被隱式地從CTU大小或片段類型中導出。最大變換塊大小可以分別是用於亮度塊或色度塊的最大亮度變換大小或最大色度變換大小。例如，最大TT大小被設置為等於64x64，如果當前CU大於64x64，例如，當前CU的大小是128x128，128x64或64x128時，則當前CU不能藉由水準三元樹分割或垂直三元樹分割被進一步分割。
最大BT大小（max_BT_size）可被定義為限制將二元樹分割應用於大於該最大BT大小的任一CU，二元樹分割包括對稱BT分割，非對稱BT分割，水準BT分割和垂直BT分割。最大BT大小是M×N塊，其中MxN是諸如64×64的預定義值，在序列，圖像，片段或方格級別中傳輸的發送值，導出值或最大變換塊大小。最大BT大小可根據CTU大小和片段類型中的一個或組合來導出。最大變換塊大小是亮度塊的最大亮度變換大小或色度塊的最大色度變換大小。一個示例是當最大BT的大小等於64x64，且當前CU大於64×64時，例如，如果當前CU是128x128，128x64或64x128，則當前CU不能被任何BT分割分割。
或者，最大BTT大小（max_BTT_size）被定義為限制將BT分割和TT分割應用於分割任一塊大小大於max_BTT_size。包括對稱BT和非對稱BT分割的BT分割和TT分割不能被應用於大於最大BTT大小的CU。max_BTT_size是MxN，其中MxN是預定義值，在序列，圖像，片段或方格級別中的發送值，導出值或等於最大變換塊大小。最大變換塊大小可以是亮度塊的最大亮度變換大小或者色度塊的最大色度變換大小。一個最大BTT大小的示例是根據CTU大小和片段類型中的一個或組合導出。若當前CU尺寸大於最大的BTT大小時，不能藉由水準BT分割，垂直BT分割，水準TT分割或垂直TT分割來分割當前CU。
最大允許子樹分割深度 在子樹分割的一些實施例中，當當前子樹深度等於或小於最大允許子樹分割深度減去閾值N時，三元樹分割被允許用於分割當前塊。在解碼器側閾值N被隱式地指示和推斷，以及當當前子樹深度大於最大允許子樹分割深度減去N時，用於選擇TT分割類型的指示符不存在。例如，當前子樹分割深度為S，最大允許子樹分割深度表示為M，當S≤（M-N）時，TT分割被允許用於分割當前塊，其中M>N≥0。此外，如果當前子樹分割深度大於（M-N），則用於選擇三元樹分割的指示符不存在。根據當前片段的片段類型或顏色分量或當前片段的時間層ID，另一實施例中的當前片段中的塊的閾值N被自適應地確定。在編碼器和解碼器側閾值N被隱式地確定和推斷，以及當當前子樹分割深度大於最大允許子樹分割深度減去N時，用於選擇三元樹分割類型的指示符不存在。例如，對於幀內片段中的塊，閾值是N1 ，對於幀間片段中的塊，閾值是N2 。假設當前子樹分割深度表示為S，以及最大允許子樹分割深度表示為M。如果當前片段是幀內片段，當S≤（M-N1 ）時，三元樹分割被允許用於分割當前片段中的當前塊，一旦S>（M-N1 ），則用於選擇三元樹分割類型的指示符不存在。類似地，如果當前片段是幀間片段，則當S≤（M-N2 ）時，三元樹分割被允許用於分割當前片段中的當前塊，以及一旦S>（M - N2 ），用於選擇三元樹分割類型的指示符不存在。
多樹深度 一些實施例定義多樹深度（MTDepth）以計算二元樹分割和三元樹分割的分割深度。在定義藉由二元樹分割所分出的兩個子塊的MTDepth的實施例中，子塊的MTDetph是其父塊的MTDepth加1；然而，由三元樹分割所分出的第一和第三子塊的MTDepth是其父塊的MTDepth加2，而由三元樹分割所分出的第二子塊的MTDepth是其父塊的MTDepth加上1。由三元樹分割所分出的第二子塊是中心分割，其大小大於每個側分割的大小。在另一實施例中，MTDepth以與前一實施例相同的二元樹分割方式計數，但是當藉由三元樹分割計數MTDepth時，藉由三元樹分割從父塊中分割出的所有三個子塊的MTDepth是父塊的MTDepth加1。在又一實施例中，在每個二元樹分割之後MTDepth遞增1，而在每個三元樹分割之後MTDepth遞增2。藉由三元樹分割分割出的第一，第二和第三子塊的MTDepth是其父塊的MTDepth加2。
MTDepth可被用作在編解碼CU分割類型或分割方向時選擇上下文模型的標準。在一實施例中，當前CU的深度由加權的四分樹深度（QTDepth×m）和加權的多樹深度（MTDepth×n）之和定義。上下文模型的選擇基於當前、左側和上方CU的深度之間的關係。例如，如果左側和上方CU的深度都大於當前CU的深度，則當前CU的上下文模型索引是2；如果只有左側或上方CU的深度大於當前CU的深度，則上下文模型索引為1；否則，當前CU的上下文模型索引為0。一個示例中加權因數m是1，加權因數n也是1，另一示例中加權因數m是2，加權因數n是1。在另一實施例中，當前CU的所選上下文模型索引是（QTDepth xm + MTDepth xn）。
MTDepth可用於指示當前CU是否被進一步分割。在一實施例中，如果藉由BT和TT分割的最大允許CU分割深度被設置為k，則如果當前塊的MTDepth大於最大允許CU分割深度k，則當前塊不被進一步分割。在另一實施例中，如果當前塊的MTDepth大於或等於最大允許CU分割深度k，則當前塊不被進一步分割。
多樹深度（MTDepth）的實施例用於確定是否對分割節點發送差值量化參數（Quantization Parameter，簡稱QP）。例如，在視訊位元流中根據分割節點的四分樹深度（quadTreeDepth）和多樹深度（MTDepth）有條件地發送用於分割節點的差值QP。最大差值QP信令深度（diff_cu_qp_delta_depth）是預定義的、導出的或在片段級別、圖像級別、方格級別和/或序列級別中發送的，以限制用於發送差值QP的最大深度。在差值QP被啟用的情況下，對於深度小於或等於最大深度QP信令深度的葉CU，以及葉CU具有至少一個非零係數或至少一個轉義調色板（escape palette），發送差值QP。對於深度等於最大差值QP信令深度的分割節點（例如，不是葉CU），在該分割節點中至多發送一個差值QP。如果葉CU中的一個具有至少一個非零係數或至少一個轉義調色板，則發送差值QP。發送的差值QP由分割節點內的所有葉CU共用。當第一cbf等於第一值時，差值QP在第一個編碼塊標誌（cbf）之後被發送，或者當第一轉義調色板標誌等於第二值時，差值QP在第一轉義調色板標誌之後被發送，其中第一值表示CU具有至少一個非零係數，第二值表示CU具有至少一個轉義調色板。例如，當使用對CU最新發送的QP值對CU進行編碼或解碼時，IsCuQpDeltaCoded（即，IsCuQpDeltaCoded = 0）被設置。以下偽代碼示出根據quadTreeDepth和MTDepth有條件地發送差值QP的各種實施例。
if ( cu_qp_delta_enabled_flag && quadTreeDepth + (MTDepth>>1) >= diff_cu_qp_delta_depth) { IsCuQpDeltaCoded = 0 CuQpDeltaVal = 0 } if ( cu_qp_delta_enabled_flag && quadTreeDepth + ((MTDepth+1)>>1) >= diff_cu_qp_delta_depth) { IsCuQpDeltaCoded = 0 CuQpDeltaVal = 0 } if ( cu_qp_delta_enabled_flag && quadTreeDepth + ((MTDepth+K)>>N) >= diff_cu_qp_delta_depth) { IsCuQpDeltaCoded = 0 CuQpDeltaVal = 0 } 其中K and N是預定義的整數，一些示例是K=2和N=1，K=0 和N=0，以及K=1和N=1。 if ( cu_qp_delta_enabled_flag && ( (L*quadTreeDepth + MTDepth) >= diff_cu_qp_delta_depth) { IsCuQpDeltaCoded = 0 CuQpDeltaVal = 0 } 其中L是預定義的整數, 比如L=2或L=1。 在變換單元級別發送差值QP (CuQpDeltaVal)的語法與HEVC標準中使用的語法相似，如下所示： if ( cu_qp_delta_enabled_flag && !IsCuQpDeltaCoded ) { cu_qp_delta_abs if( cu_qp_delta_abs ) cu_qp_delta_sign_flag } 其中，差值QP(CuQpDeltaVal) 基於絕對值(cu_qp_delta_abs)和符號標誌(cu_qp_delta_sign_flag)被導出，以及最後QP值根據參考QP和差值Q P (CuQpDeltaVal)被重構。當符號標誌不出現，其可被推斷為0，以及當絕對值出現，變量IsCuQpDeltaCoded and CuQpDeltaVal 按照以下導出： IsCuQpDeltaCoded = 1 CuQpDeltaVal = cu_qp_delta_abs * ( 1 − 2 * cu_qp_delta_sign_flag )
在一實施例中，當對亮度和色度分量單獨確定CU分割結構時，對亮度和色度分量分別發送最大差值QP信令深度（diff_cu_qp_delta_depth）。在另一實施例中，即使當對亮度和色度分量單獨確定CU分割結構時，亮度和色度分量共用最大差值QP信令深度。在又一實施例中，當對亮度和色度分量單獨確定CU分割結構時，將色度分量的最大差值QP信令深度設置為取決於亮度分量的值。例如，色度分量的最大差值QP信令深度是亮度分量的最大差值QP信令深度減去整數值，例如1或2。MTDepth的實施例可被用於導出分割節點的面積。例如，分割節點的面積（cbArea）計算如下： cbArea =（最大CU面積）
Figure 02_image001
（QT深度×m + MTDepth×n）。 其中m和n是四分樹深度和多樹深度的加權因數，例如，m是1，n是1，或者m是2，n是1。
以下示例性實施例中的假設根據分割節點的面積（cbArea）有條件地發送差值QP，以及使用三元樹分割。根據實施例，對藉由三元樹分割所分出的所有三個分割節點發送差值QP。在另一實施例中，僅對由作為中心分割的三元樹分割所分出的的第二分割節點發送一個差值QP，以及不存在被編解碼為用於第一和第三分割節點的新差值QP。在第一分割節點中使用的QP可以是最後的QP，在第二分割節點中使用的QP是使用發送的差值QP導出的，以及該導出的QP也在第三分割節點中使用。在又一實施例中，三個三元樹分割可具有自己的差值QP，即，對於由三元樹分割所分出的三個分割節點，可以發送至多三個差值QP。
仿射子塊分割限制 本發明的實施例還限制仿射編解碼塊的子塊大小。當CU以傳統的仿射模式編解碼時，CU被分成幾個子塊。如果子塊大小是4×4，則相應的色度塊大小是2×2，這是不希望的。在一實施例中，仿射編解碼塊子塊大小被固定為8×8或大於8×8，以確保色度子塊大於或等於4×4。
六個MPM和六十四個剩餘模式 HEVC標準支援35個幀內預測模式，包括33個角度模式，DC模式和平面模式。根據從35種模式中選擇的一種幀內預測模式，當前塊的幀內預測子從相鄰參考樣本中被導出。如果選擇角度模式，則當前塊中的每個樣本的值可藉由根據所選角度模式的預測方向從參考樣本外推樣本來預測。如果選擇平面模式，則當前塊中的每個樣本的值可藉由假設具有從相鄰塊的邊界樣本導出的水準和垂直平滑梯度的振幅表面來計算。如果選擇DC模式，則當前塊的每個樣本的值是參考樣本的平均值。從當前塊的上方或左側相鄰塊的先前解碼模式明確地或推斷出所選擇的幀內預測模式。上方和左側相鄰塊的幀內預測模式包括在一組三個最可能模式（Most Probale Mode，簡稱MPM）中。第一MPM標誌被發送以指示所選模式是否與三個MPM中的一個相同，如果是，則另一個標誌被發送以指示選擇三個MPM中的哪一個；如果第一個MPM標誌為假，則使用5位固定長度碼字顯式地發送所選模式。HEVC標準中使用的33個角度模式如第12A圖所示，其中H表示水準模式的方向，V表示垂直模式的方向。預期下一代視訊編解碼標準中的幀內預測模式的數量擴展到包括DC，平面和65個角度模式的67種模式，如第12B圖所示。每個角度模式可由模式H+k或模式V+k表示，其中k=0，+-1，+-2，...... +-16。模式H-16和模式V-16是相同的模式，因為該模式是指從左上角到當前塊的中心的預測方向。第12B圖示出65個角度幀內預測模式，在第12A圖中的HEVC 33角度模式之間具有另外的32個角度模式。
一實施例選擇6個幀內預測模式作為MPM和64個剩餘模式，其中6個MPM包括從下一代視訊編解碼標準的67個幀內預測模式中選擇的3個模式，以及3個附加模式。剩餘的64種模式可使用6位元元固定長度編解碼進行編解碼。附加模式的示例是角度模式，例如寬角度模式。寬角度模式可從45度和225度之外的模式中選擇，例如，在第12B圖中，寬角度模式是低於模式H+16的幀內模式或者在模式V+16右側的幀內模式。在另一示例中，附加模式是接近垂直，水準或對角線模式的模式。附加模式可藉由減小垂直，水準或對角線模式附近的模式之間的角度差來導出。在另一示例中，附加模式是平面模式的變化，例如，附加模式使用與平面模式中使用的不同的右下位置圖元來導出。具有不同右下位置圖元的不同平面模式被添加到MPM。附加模式的另一示例是混合兩種或更多種原始模式的組合模式，例如，垂直模式加平面模式，水準模式加平面模式，垂直模式加DC模式，或者水準模式加DC模式。
示例性流程圖 第13圖示出在視訊編碼或解碼系統中實現的視訊處理方法的示例性實施例的流程圖。圖像首先被分割為多個非重疊塊，例如編解碼樹單元（Coding Tree Unit，簡稱CTU），以及藉由遞迴分割結構每個塊被進一步分割為一個或多個非重疊葉塊，例如葉編解碼單元（Coding Unit，簡稱CU）。該示例性實施例中的視訊編碼或解碼系統藉由首先在步驟S1302中接收與當前塊相關聯的輸入資料來處理當前視訊圖像中的當前塊。管線單元的管線單元大小被確定以決定一個或多個分割類型的有效性，其中管線單元被定義為設計用於管線處理的當前視訊圖像中的非重疊單元。在步驟S1304中選擇預定義的分割類型用於將當前塊分割成多個子塊，以及在步驟S1306和步驟1308中檢查該預定義的分割類型對於分割當前塊是否有效或無效。在步驟S1306中檢查由預定義分割類型分割的每個子塊是否滿足第一和第二約束之一。第一約束限制從當前塊分割的每個子塊完全包含在一個或多個管線單元中，以及第二約束限制從當前塊分割的每個子塊包含一個或多個完整的管線單元。如果任一子塊違反第一和第二約束，則在步驟S1312中將該預定義分割類型設置為無效分割類型，如果所有子塊滿足第一和第二約束中的至少一個，則步驟S1308進一步檢查是否子塊滿足再訪問約束，其中再訪問約束禁止在處理當前塊的子塊時離開管線單元後重新訪問當前塊中的任一管線單元。如果子塊在步驟1308中滿足再訪問約束，則步驟S1310將預定義分割類型設置為有效分割類型；否則，步驟S1312將預定義分割類型設置為無效分割類型。在步驟S1314中，視訊編碼或解碼系統檢查是否需要檢查用於分割當前塊的另一分割類型的有效性，例如，視訊編碼器或解碼器首先檢查水準二元樹分割是否有效，然後視訊編碼器或解碼器進一步檢查垂直二元樹分割，水準三元樹分割和垂直三元樹分割中的一個或多個的有效性。如果需要檢查另一個預定義的分割類型，則流程圖重複從S1304到S1314的步驟。如果不需要檢查更多分割類型，則使用有效分割類型之一將當前塊自適應地分割成子塊，或者在步驟S1316中不分割當前塊。在步驟S1318中視訊編碼或解碼系統檢查當前塊中的任一子塊是否需被進一步分割，如果該子塊被進一步分割，則在步驟S1320中將子塊設置為當前塊，以及重複從步驟S1304至步驟S1316的處理。如果不存在需被分割的子塊，則在步驟S1322中根據當前塊的塊分割結構對當前塊進行編碼或解碼。
第14圖示出可在視訊編碼或解碼系統中實現的視訊處理方法的另一示例性實施例的流程圖。在步驟S1402中，視訊編碼或解碼系統接收當前視訊圖像中的當前塊的輸入資料。兩個整數閾值W和H被確定以判斷哪種分割類型有效。在步驟S1404中選擇用於將當前塊分割為子塊的預定義分割類型，以及在步驟S1406中，藉由將當前塊的寬度，高度或寬度和高度與閾值W和H中的一個或兩個比較來確定用於分割當前塊的預定義分割類型的有效性。在步驟S1408中，視訊編碼或解碼系統使用允許的分割類型自適應地將當前塊分割成多個子塊。步驟S1410檢查當前塊中是否存在需被進一步分割的子塊，在步驟S1412中，如果存在需被進一步分割的子塊，則將子塊設置為當前塊，以及藉由步驟S1404到步驟S1410處理該當前塊。如果不存在需被分割的子塊，則在步驟S1414中根據當前塊的塊分割結構對當前塊進行編碼或解碼。
示例性系統框圖 第15圖示出視訊編碼器1500的示例性系統框圖，該視訊編碼器1500實現了利用分割約束來分割當前塊的各種實施例。塊結構分割模組1510接收視訊圖像的輸入資料，以及確定要編碼的視訊圖像中的每個塊的塊分割結構。首先塊結構分割模組1510中，當前視訊圖像被分為非重疊塊，以及每個塊被進一步由遞迴分割結構分為葉塊，例如，塊結構分割模組自適應地將當前視訊圖像中的每個非重疊CTU分割為葉CU用於預測處理。根據本發明的各種實施例，塊結構分割模組1510接收與當前視訊圖像中的當前塊相關聯的輸入資料，以及檢查是否一個或多個預定義的分割類型被允許用於分割當前塊。當前塊可以是當前CTU，從當前CTU分割的CU，或者TU。在一些實施例中，如果從當前塊分割的每個子塊滿足第一和第二約束中的至少一個，則預定義的分割類型被允許，其中第一約束限制每個子塊被完全包含在一個管線單元中，以及第二約束約束限制每個子塊包含一個或多個完整的管線單元。管線單元是設計用於管線處理的當前視訊圖像中的非重疊單元，以及根據視訊壓縮標準基於文檔或級別管線單元大小被預定義或隱式地定義。例如，管線單元大小設置為最大變換塊（Transform Block，簡稱TB）大小。塊結構分割模組1510使用允許的分割類型自適應地分割當前塊。如果由預定義分割類型分割的任一子塊違反第一和第二約束，則預定義分割類型不允許被用於分割當前塊。藉由將當前塊的寬度，高度或兩者的寬度和高度與閾值W和閾值H中的一個或兩個進行比較，塊結構分割模組1510的一些其他實施例檢查是否預定義的分割類型被允許用於分割當前塊。閾值W的示例是64和閾值H的示例也是64。如果存在可用於對當前塊進行分割的兩個或更多個允許的分割類型，則塊結構分割模組1510的實施例系統地測試允許分割類型以及根據速率失真優化（Rate Distortion Optimization，簡稱RDO）結果選擇分割類型。資訊對應於當前塊的所選擇的分割類型，例如在視訊位元流中發送的分割結構，以便解碼器對當前塊進行解碼。藉由幀內預測模組1512中的幀內預測或幀間預測模組1514中的幀間預測當前視訊圖像中的每個葉塊被預測以移除空間冗餘或時間冗餘。幀內預測模組1512基於當前圖像的重構的視訊資料提供當前葉塊的幀內預測子。幀間預測模組1514執行運動估計（Motion Estimation，簡稱ME）和運動補償（Motion Compensation，簡稱MC）以基於來自其他一個或多個視訊圖像提供當前葉塊的預測子。開關1516選擇幀內預測模組1512或幀間預測模組1514以將預測子提供給加法器1518以形成預測誤差，也稱為殘差。當前葉塊的殘差由變換（Transform，簡稱T）模組1520進一步處理，隨後是量化（Quantization，簡稱Q）模組1522。然後，經過變換和量化的殘差信號由熵編碼器1534編碼以形成視訊位元流。然後，視訊位元流與輔助資訊一起打包。當前葉塊的經變換和量化的殘差信號由逆量化（Inverse Quantization，簡稱IQ）模組1524和逆變換（Inverse Transform，簡稱IT）模組1526處理以恢復預測殘差。如第15圖所示，殘差藉由在重構（Reconstruction，簡稱REC）模組1528處加回所選擇的預測子來恢復，以產生重構的視訊資料。重構的視訊資料可存儲在參考圖像緩衝器（Reference Picture Buffer，簡稱Ref.Pict.Buffer）1532中，並且被幀間預測模組1514用於預測其他圖像。來自REC 1528的重構的視訊資料可能由於編碼處理而受到各種損害，因此，在重構的視訊資料被存儲在參考圖像緩衝器1532中之前，將環內處理濾波器1530應用於重構的視訊資料，以進一步提高圖像品質。
用於解碼由第15圖的視訊編碼器1500生成的視訊位元流的對應視訊解碼器1600在第16圖中示出。視訊解碼器1600的輸入由熵解碼器1610解碼以解析和恢復經過變換的和量化殘差信號和其他系統資訊。塊結構分割模組1612根據本發明的各種實施例確定每個視訊圖像中的每個塊的塊分割結構。在一些實施例中，如果由預定義分割類型分割的任一子塊違反第一和第二約束，則當前塊不被預定義分割類型分割。第一約束將藉由預定義分割類型從當前塊分割的每個子塊限制為完全包含在一個管線單元中，以及第二約束限制每個子塊包含一個或多個完整管線單元。管線單元是設計用於管線處理的當前視訊圖像中的非重疊單元，以及管線單元的大小被預定義或隱式地確定。在塊結構分割模組1612的一些其他實施例中，根據當前塊的寬度，高度或寬度和高度與閾值W和閾值H中的一個或兩個之間的比較結果，當前塊不被預定義的分割類型分割。當前塊可以是CTU，從CTU分割的CU，或TU。解碼器1600的解碼過程類似於編碼器1500處的重構回路，除了解碼器1600僅需要幀間預測模組1616中的運動補償預測。每個葉塊由幀內預測模組1614或幀間預測模組1616解碼，開關1618根據解碼的模式資訊選擇幀內預測子或幀間預測子。藉由逆量化（Inverse Quantization，簡稱IQ）模組1622和逆變換（Inverse Transform，簡稱IT）模組1624與每個葉塊相關聯的變換和量化的殘差信號被恢復。藉由在REC 1620中加回預測子而恢復的殘差信號被重構以產生重構的視訊。藉由環路處理濾波器（Filter）1626重構的視訊被進一步處理以生成最終的解碼視訊。如果當前解碼的視訊圖像是參考圖像，則當前解碼的視訊圖像的重構的視訊也被存儲Ref.Pict.Buffer 1628用於解碼順序中的後續圖像。
第15圖和第16圖中的視訊編碼器1500和視訊解碼器1600的多個組件可由硬體組件，被配置為執行存儲在記憶體中的程式指令的一個或多個處理器，或硬體和處理器的組合來實現。例如，處理器執行程式指令以控制與當前視訊圖像相關聯的輸入資料的接收。處理器配備單個或多個處理核心。在一些示例中，處理器執行程式指令以執行編碼器1500和解碼器1600中的一些組件中的功能，以及與處理器電耦合的記憶體被用於存儲程式指令，對應於重構的資料的資訊，和/或編碼或解碼過程中的中間資料。在一些實施例中，記憶體包括非暫時性電腦可讀介質，諸如半導體或固態記憶體，隨機存取記憶體（Random Access Memory，簡稱RAM），唯讀記憶體（Read-Only Memory，簡稱ROM），硬碟，光碟或其他合適的存儲介質。記憶體還可以是上面列出的兩個或更多個非暫時性電腦可讀介質的組合。如第15圖和第16圖所示，編碼器1500和解碼器1600可在相同的電子設備中實現，因此如果在同一電子設備中實現，則編碼器1500和解碼器1600的各種功能組件可被共用或重用。本發明的任一實施例可在編碼器1500的塊結構分割模組1510和/或解碼器1600的塊結構分割模組1612中實現。或者，任一實施例可實現為耦合的電路編碼器1500的塊結構分割模組1510，和/或解碼器1600的塊結構分割模組1612，以便提供熵解碼器1610或塊結構分割模組1612所需的資訊。
具有一個或多個分割約束的所提出的視訊處理方法可被應用為編碼器和解碼器的規範約束，或者可被應用為編碼器非規範約束。對於規範約束的示例，如果特定分割類型或分割不被允許，則用於確定是否選擇或分割的分割語法不被發送，以及其被推斷為固定值或導出值。對於編碼器非規範約束的示例，如果特定分割類型或分割不被允許，則分割語法仍被發送給對應的解碼器，但是分割語法的值是固定或導出的值。
具有一個或多個分割約束的視訊處理方法的實施例可在整合到視訊壓縮晶片中的電路或整合到視訊壓縮軟體中的程式碼中實現，以執行上述處理。例如，當前塊的塊分割結構的確定可在電腦處理器，數位訊號處理器（Digital Signal Processor，簡稱DSP），微處理器或現場可程式設計閘陣列（Field Programmable Gate Array，簡稱FPGA）上將要執行的程式碼中實現。藉由執行定義本發明所體現的具體方法的機器可讀軟體代碼或固件代碼，這些處理器可被配置為執行根據本發明的具體任務。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍的所有變化將被包括在其範圍內。
10‧‧‧編解碼樹單元 30、32、34、36、38‧‧‧分割類型 40、42、44、46、48‧‧‧編解碼樹單元 502、504、506、508、510、512、514、516‧‧‧編解碼樹單元 702、704、706、708、710、712、714、716、718‧‧‧編解碼樹單元 802、804、806、808‧‧‧編解碼樹單元 100‧‧‧編解碼單元 102、104‧‧‧相鄰樣本 106、108‧‧‧VPDU邊界 112‧‧‧編解碼單元 114‧‧‧樣本 116‧‧‧圖像邊界 S1302、S1304、S1306、S1308、S1310、S1312、S1314、S1316、S1318、S1320、S1322、S1402、S1404、S1406、S1408、S1410、S1412、S1414‧‧‧步驟 1500‧‧‧編碼器 1510‧‧‧塊結構分割模組 1512‧‧‧幀內預測 1514‧‧‧幀間預測 1516‧‧‧開關 1518‧‧‧加法器 1520‧‧‧變換模組 1522‧‧‧量化模組 1524‧‧‧逆量化模組 1526‧‧‧逆變換模組 1528‧‧‧重構模組 1530‧‧‧濾波器 1532‧‧‧參考圖像緩衝器 1534‧‧‧熵編碼器 1600‧‧‧解碼器 1610‧‧‧熵解碼器 1612‧‧‧塊結構分割模組 1614‧‧‧幀內預測 1616‧‧‧幀間預測 1618‧‧‧開關 1620‧‧‧重構模組 1622‧‧‧逆量化模組 1624‧‧‧逆變換模組 1626‧‧‧濾波器 1628‧‧‧參考圖像緩衝器
將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中相同的附圖標記表示相同的組件，以及其中： 第1圖示出用於根據四分樹分割結構將編碼樹單元(Coding Tree Unit，簡稱CTU)分割成編解碼單元（Coding Unit，簡稱CU）以及將每個CU分割成一個或多個變換單元（Transform Unit）的示例性編解碼樹。 第2A圖示出根據四分樹加二元樹(QuadTree plus Binary Tree，簡稱QTBT)分割結構的示例性分割結構。 第2B圖示出與第2A圖中的QTBT分割結構相對應的編解碼樹結構。 第3圖示出在示例性多類型樹（Multi-Type Tree，簡稱MTT）分割結構中使用的五種分割類型。 第4圖示出根據本發明的實施例當方形VPDU被用於處理每個CTU的CU時滿足分割約束的CTU的一些示例性塊分割結構。 第5圖示出根據本發明實施例的當方形VPDU用於處理每個CTU中的CU時違反分割約束的CTU的一些示例性塊分割結構。 第6A圖示出根據本發明實施例的滿足再訪問約束的CTU的示例性塊分割結構。 第6B圖示出根據本發明實施例的違反再訪問約束的CTU的示例性塊分割結構。 第7圖示出根據本發明實施例的當方形和非方形VPDU被用於處理每個CTU中的CU時滿足分割約束的CTU的一些示例性塊分割結構。 第8圖示出根據本發明實施例的當方形和非方形VPDU被用於處理每個CTU中的CU違反分割約束的CTU的一些示例性塊分割結構。 第9A圖示出根據本發明實施例的當當前塊大小是VPDU大小的兩倍時允許垂直三元樹分割的示例。 第9B圖示出根據本發明實施例的當當前塊大小是VPDU大小的兩倍時允許垂直三元樹分割的另一示例。 第10圖示出根據本發明實施例的使用填充的樣本來預測當前塊以跨越管線單元邊界替換重構的相鄰樣本。 第11圖示出使用填充的樣本來替換當前VPDU內但在圖像邊界外的樣本的實施例。 第12A圖示出HEVC標準中支援的33個角度幀內預測模式。 第12B圖示出65個角度幀內預測模式的示例。 第13圖是示出用於利用分割約束對當前視訊圖像中的當前塊進行編碼或解碼的視訊處理方法的實施例的流程圖。 第14圖是示出用於利用分割約束對當前視訊圖像中的當前塊進行編碼或解碼的視訊處理方法的另一實施例的流程圖。 第15圖示出了結合根據本發明實施例的視訊處理方法的視訊編碼系統的示例性系統框圖。 第16圖示出了結合根據本發明實施例的視訊處理方法的視訊解碼系統的示例性系統框圖。
S1302、S1304、S1306、S1308、S1310 S1312、S1314、S1316、S1318、S1320、S1322‧‧‧步驟

Claims (24)

  1. 一種視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，該方法包括： 接收與一當前視訊圖像中的一當前塊相關的輸入資料； 確定多個管線單元的一管線單元大小，其中該等管線單元是該當前視訊圖像中設計為用於管線處理的多個非重疊單元； 確定是否一預定義分割類型被允許用於根據該分割約束將該當前塊分割成多個子塊，其中該分割約束包括一第一約束和一第二約束，該第一約束限制從該當前塊分割出的該等子塊中每個都被完全包含在一管線單元中，該第二約束限制從該當前塊分割出的該等子塊中的每個都包含一個或多個管線單元，以及如果由該預定義分割類型分割出的任一子塊違反了該第一約束和該第二約束，該預定義分割類型不被允許用於分割該當前塊； 使用一允許分割類型對該當前塊進行分割；以及 根據該當前塊的一塊分割結構對該當前塊進行編碼或解碼。
  2. 如申請專利範圍第1項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，該預定義分割類型從四分樹分割，水準二元樹分割，垂直二元樹分割，水準三元樹分割，以及垂直三元樹分割中選擇。
  3. 如申請專利範圍第1項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，該當前塊是一編解碼樹單元，一編解碼單元，或一變換單元。
  4. 如申請專利範圍第1項所述之視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，該管線單元大小被設置為一最大變換塊大小。
  5. 如申請專利範圍第1項所述之視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，根據一視訊壓縮標準，該管線單元大小基於一文檔或一級別被隱式地定義。
  6. 如申請專利範圍第1項所述之視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，對於4:2:0的顔色格式，該管線單元大小被設置為64x64的亮度分量或32x32的色度分量。
  7. 如申請專利範圍第1項所述之視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，進一步藉由考慮一再訪問約束來確定是否允許一預定義分割類型，以及如果該再訪問約束被違反則不允許該預定義分割類型，其中該再訪問約束禁止當處理從該當前塊分割出的該等子塊時在離開該管線單元之後再次訪問該當前塊的任一管線單元。
  8. 如申請專利範圍第1項所述之視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，當多個非方形管線單元被允許時，該管線單元大小包括多個允許管線單元大小。
  9. 如申請專利範圍第1項所述之視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，該等管線單元是方形管線單元或非方形管線單元，以及該非方形管線單元的使用是預定義的，導出的，或在一序列、一圖像、一片段、一方格、一編解碼樹單元或一編解碼樹單元行級別中發送的。
  10. 一種視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，該方法包括： 接收與一當前視訊圖像中的一當前塊相關的輸入資料； 確定兩個閾值W和H，其中閾值W和H均是正整數； 根據一分割約束確定是否一預定義分割類型被允許用於將該當前塊分割為多個子塊，其中該分割約束對應將該當前塊的一寬度和該當前塊的一高度，或該當前塊的該寬度和該高度與該閾值W和H中的一個或兩個相比較得到的一比較結果； 使用一允許分割類型對該當前塊進行分割，其中如果該比較結果指示該預定義分割類型不被允許，則該預定義分割類型不被用於分割該當前塊；以及 根據該當前塊的一塊分割結構對該當前塊進行編碼或解碼。
  11. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，根據一視訊壓縮標準，該兩個閾值W和H基於一文檔或一級別被預定義或隱式地定義。
  12. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，當該當前塊的該寬度大於該閾值W和該當前塊的該高度小於或等於該閾值H時，水準二元樹分割不被允許，以及當該當前塊的該寬度小於或等於該閾值W和該當前塊的該高度大於該閾值H時，垂直二元樹分割不被允許。
  13. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，當該當前塊的該寬度大於該閾值W時，水準三元樹分割不被允許，以及如果該當前塊的該高度大於該閾值H時，垂直三元樹分割不被允許。
  14. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，當該當前塊的該寬度大於或等於該閾值W和該當前塊的該高度除以4小於該閾值H時，水準三元樹分割不被允許，以及當該當前塊的該高度大於或等於該閾值H和該當前塊的該寬度除以4小於該閾值W時，垂直三元樹分割不被允許。
  15. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，當該當前塊的該寬度大於該閾值W和該當前塊的該高度大於該閾值H但該高度除以4小於該閾值H時，水準三元樹分割不被允許，以及當該當前塊的該高度大於該閾值H和該當前塊的該寬度大於該閾值W但該寬度除以4小於該閾值W時，垂直三元樹分割不被允許。
  16. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，當該當前塊的寬度大於或等於該閾值W和該當前塊的該高度大於該閾值H但該高度除以4小於該閾值H時，水準三元樹分割不被允許，以及當該當前塊的該高度大於或等於該閾值H和該當前塊的該寬度大於該閾值W但該寬度除以4小於該閾值W時，垂直三元樹分割不被允許。
  17. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，當該當前塊的該寬度大於該閾值W和該當前塊的該高度大於該閾值H以及該高度除以4不是閾值H的倍數時，水準三元樹分割不被允許，以及當該當前塊的該高度大於該閾值H和該當前塊的該寬度大於該閾值W但該寬度除以4不是該閾值W的倍數時，垂直三元樹分割不被允許。
  18. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，根據該比較結果至少一分割語法被推斷，以及該分割語法不在視訊位元流中發送。
  19. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，一管線單元被定義為包括等於該閾值W的一寬度和等於該閾值H的一高度，一管線單元大小是該閾值W和該閾值H的乘積，該預定義分割類型三元樹分割，以及當該當前塊的一大小是該管線單元大小的兩倍時，該預定義分割類型不被允許。
  20. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，一管線單元被定義為包括等於該閾值W的一寬度和等於該閾值H的一高度，一管線單元大小是該閾值W和該閾值H的乘積，該當前塊的大小是該管線單元大小的兩倍，以及除非所有的進一步分割方向都相同且該當前塊的一中心子塊藉由二元樹分割被分割，否則三元樹分割不被允許。
  21. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，一管線單元被定義為包括等於該閾值W的一寬度和等於該閾值H的一高度，一管線單元大小是該閾值W和該閾值H的乘積，以及當該當前塊的大小是該管線單元大小的四倍時或當該當前塊的大小小於該管線單元大小時，該預定義分割類型被允許，其中預定義分割類型從四分樹、二元樹和三元樹分割中選擇。
  22. 如申請專利範圍第10項所述之視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，其中，一管線單元被定義為包括等於該閾值W的一寬度和等於該閾值H的一高度，確定是否一預定義分割類型被允許用於分割該當前塊可進一步考慮一再訪問約束，以及如果該再訪問約束被違反時，則該預定義分割類型不被允許，其中該再訪問約束禁止當處理從該當前塊分割出的該等子塊時在離開該管線單元之後再次訪問該當前塊的任一管線單元。
  23. 一種視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理裝置，其中，該裝置包括一個或多個電子電路，被設置為： 接收與一當前視訊圖像中的一當前塊相關的輸入資料； 確定多個管線單元的一管線單元大小，其中該等管線單元是該當前視訊圖像中設計為用於管線處理的多個非重疊單元； 確定是否一預定義分割類型被允許用於根據該分割約束將該當前塊分割成多個子塊，其中該分割約束包括一第一約束和一第二約束，該第一約束限制從該當前塊分割出的該等子塊中每個都被完全包含在一管線單元中，該第二約束限制從該當前塊分割出的該等子塊中的每個都包含一個或多個管線單元，以及如果由該預定義分割類型分割出的任一子塊違反了該第一約束和該第二約束，該預定義分割類型不被允許用於分割該當前塊； 使用一允許分割類型對該當前塊進行分割；以及 根據該當前塊的一塊分割結構對該當前塊進行編碼或解碼。
  24. 一種存儲程式指令的非暫時性電腦可讀介質，該程式指令使得一裝置的一處理電路執行視訊編解碼系統中對具有一分割約束的視訊圖像進行編碼或解碼的視訊處理方法，以及該方法包括： 接收與一當前視訊圖像中的一當前塊相關的輸入資料； 確定多個管線單元的一管線單元大小，其中該等管線單元是該當前視訊圖像中設計為用於管線處理的多個非重疊單元； 確定是否一預定義分割類型被允許用於根據該分割約束將該當前塊分割成多個子塊，其中該分割約束包括一第一約束和一第二約束，該第一約束限制從該當前塊分割出的該等子塊中每個都被完全包含在一管線單元中，該第二約束限制從該當前塊分割出的該等子塊中的每個都包含一個或多個管線單元，以及如果由該預定義分割類型分割出的任一子塊違反了該第一約束和該第二約束，該預定義分割類型不被允許用於分割該當前塊； 使用一允許分割類型對該當前塊進行分割；以及 根據該當前塊的一塊分割結構對該當前塊進行編碼或解碼。
TW108124874A 2018-07-14 2019-07-15 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法 TWI708502B (zh)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US201862698114P 2018-07-14 2018-07-14
US62/698,114 2018-07-14
US201862698173P 2018-07-15 2018-07-15
US62/698,173 2018-07-15
US201862725314P 2018-08-31 2018-08-31
US62/725,314 2018-08-31
US201862727052P 2018-09-05 2018-09-05
US62/727,052 2018-09-05
US201862744701P 2018-10-12 2018-10-12
US62/744,701 2018-10-12
US201862754714P 2018-11-02 2018-11-02
US62/754,714 2018-11-02
PCT/CN2019/095855 WO2020015592A1 (en) 2018-07-14 2019-07-12 Methods and apparatuses of processing video pictures with partition constraints in a video coding system
WOPCT/CN2019/095855 2019-07-12

Publications (2)

Publication Number Publication Date
TW202007157A true TW202007157A (zh) 2020-02-01
TWI708502B TWI708502B (zh) 2020-10-21

Family

ID=69164260

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108124874A TWI708502B (zh) 2018-07-14 2019-07-15 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法

Country Status (6)

Country Link
US (1) US20210329233A1 (zh)
EP (1) EP3818701A4 (zh)
CN (2) CN112385220B (zh)
BR (1) BR112021000667A8 (zh)
TW (1) TWI708502B (zh)
WO (1) WO2020015592A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3111340A1 (en) * 2018-09-03 2020-03-12 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods
US20210377553A1 (en) * 2018-11-12 2021-12-02 Interdigital Vc Holdings, Inc. Virtual pipeline for video encoding and decoding
US20200252608A1 (en) * 2019-02-05 2020-08-06 Qualcomm Incorporated Sub-partition intra prediction
WO2020164479A1 (en) * 2019-02-11 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Video block partition based on quinary tree
US11677969B2 (en) * 2019-03-22 2023-06-13 Tencent America LLC Method and apparatus for video coding
WO2021023262A1 (en) 2019-08-06 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Using screen content coding tool for video encoding and decoding
CN114342400A (zh) 2019-09-02 2022-04-12 北京字节跳动网络技术有限公司 基于色彩格式的编解码模式确定
CN114365488A (zh) * 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 视频编解码块的递归划分
KR102649584B1 (ko) 2019-09-21 2024-03-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 인트라 모드에 기초한 크기 제한
CN113286152B (zh) 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
EP4094441A4 (en) * 2020-04-01 2023-08-16 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR SAMPLE EXTRACTION AND FILLING FOR SUB-SAMPLING FILTERING FOR CROSS-COMPONENT LINEAR MODEL PREDICTION
US20210314567A1 (en) * 2020-04-04 2021-10-07 Qualcomm Incorporated Block partitioning for image and video coding
WO2021207055A1 (en) 2020-04-05 2021-10-14 Bytedance Inc. High level control of filtering in video coding
KR20230004797A (ko) * 2020-05-01 2023-01-06 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 파티션 신택스를 위한 엔트로피 코딩
WO2023236775A1 (en) * 2022-06-06 2023-12-14 Mediatek Inc. Adaptive coding image and video data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4688279B2 (ja) * 2000-11-21 2011-05-25 富士通株式会社 動画像の空間解像度自動設定方法及び装置
CN103796032A (zh) * 2012-10-31 2014-05-14 朱洪波 逐行或逐列帧内预测
WO2017008263A1 (en) * 2015-07-15 2017-01-19 Mediatek Singapore Pte. Ltd. Conditional binary tree block partitioning structure
WO2017088093A1 (en) * 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
WO2017088170A1 (en) * 2015-11-27 2017-06-01 Mediatek Inc. Entropy coding the binary tree block partitioning structure
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US10779004B2 (en) * 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures

Also Published As

Publication number Publication date
EP3818701A4 (en) 2022-07-20
WO2020015592A1 (en) 2020-01-23
BR112021000667A8 (pt) 2023-02-07
CN115379213A (zh) 2022-11-22
CN112385220A (zh) 2021-02-19
US20210329233A1 (en) 2021-10-21
CN112385220B (zh) 2022-12-09
EP3818701A1 (en) 2021-05-12
BR112021000667A2 (pt) 2021-04-13
TWI708502B (zh) 2020-10-21

Similar Documents

Publication Publication Date Title
TWI708502B (zh) 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法
KR102583640B1 (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
TWI753356B (zh) 用於編碼或解碼轉換塊的方法與裝置
US20220353503A1 (en) Image processing method, and device for same
TWI720584B (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
JP2022078048A (ja) 画像復号方法及び画像符号化方法
TW201739260A (zh) 視訊編碼中限制塊尺寸的視訊資料處理方法與裝置
AU2011236109B2 (en) Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US11044470B2 (en) Video signal processing method and device using reference sample
KR20190052097A (ko) 영상 처리 방법 및 이를 위한 장치
US11818378B2 (en) Image encoding/decoding method and device
WO2020164480A1 (en) Condition dependent video block partition
KR20190088020A (ko) 다양한 변환 기술을 사용하는 비디오 코딩 방법 및 장치
JP2024056945A (ja) 符号化ユニットを復号および符号化する方法、装置およびプログラム
TWI737097B (zh) 越界節點視訊資料之處理方法及裝置
US20220353505A1 (en) Method for reconstructing residual blocks of chroma blocks, and video decoding apparatus
TWI737003B (zh) 使用由預定義準則確定的參考樣本進行編碼或解碼的方法和設備
US11985314B2 (en) Methods and apparatuses of processing video data of out-of-bounds nodes