TW202310633A - 色度分離樹的低延遲視訊編解碼方法和裝置 - Google Patents

色度分離樹的低延遲視訊編解碼方法和裝置 Download PDF

Info

Publication number
TW202310633A
TW202310633A TW111108465A TW111108465A TW202310633A TW 202310633 A TW202310633 A TW 202310633A TW 111108465 A TW111108465 A TW 111108465A TW 111108465 A TW111108465 A TW 111108465A TW 202310633 A TW202310633 A TW 202310633A
Authority
TW
Taiwan
Prior art keywords
pipeline
luma
unit
chroma
vpdu
Prior art date
Application number
TW111108465A
Other languages
English (en)
Other versions
TWI786000B (zh
Inventor
蔡佳銘
陳俊嘉
徐志瑋
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Application granted granted Critical
Publication of TWI786000B publication Critical patent/TWI786000B/zh
Publication of TW202310633A publication Critical patent/TW202310633A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

低延遲視訊編解碼方法和裝置包括接收與由編解碼樹單元（Coding Tree Units，簡稱CTU）組成的當前幀內片段相關聯的輸入資料，其中每個CTU包括亮度和色度編解碼樹塊（Coding Tree Blocks，簡稱CTB），將每個CTB劃分為非重疊管線單元，以及藉由在至少一個管線級中開始處理亮度管線單元之後執行色度管線單元的處理，來對當前幀內片段中的CTU進行編碼或解碼。每個管線單元由一個管線級接一個管線級處理，不同的管線級同時處理不同的管線單元。低延遲視訊編解碼方法和裝置中的管線級在一個管線單元時間間隔內同時處理一個亮度管線單元和至少一個先前色度管線單元。

Description

色度分離樹的低延遲視訊編解碼方法和裝置
本發明涉及用於編碼或解碼視訊資料的視訊編解碼方法和裝置。具體地，本發明涉及用於色度分離樹的低延遲視訊編解碼。
通用視訊編解碼（Versatile Video Coding，簡稱VVC）標準是由來自ITU-T研究組的視訊編解碼專家的視訊編解碼聯合協作組（Joint Collaborative Team on Video Coding，簡稱JCT-VC）組開發的最新視訊編解碼標準。VVC標準依賴於基於塊的編解碼結構，該結構將每個圖片分成多個編解碼樹單元（Coding Tree Units，簡稱CTU）進行編碼或解碼。圖片由一個或多個完整的片段組成，每個片段包含一個或多個完整的CTU。CTU由NxN亮度（luma）樣本塊以及一個或多個相應的色度（chroma）樣本塊組成。例如，每個CTU 由一個128x128亮度編解碼樹塊（Coding Tree Block，簡稱CTB）和兩個64x64色度 CTB組成，用於4:2:0色度子採樣格式。每個CTU進一步遞迴地劃分為一個或多個編解碼單元（Coding Unit，簡稱CU)，以適應各種本地特性。
視訊編碼或解碼中的預測決策在CU級別做出，其中所有CU都藉由幀內（Intra，簡稱I）片段中的幀內（空間）預測進行編解碼，或者每個CU藉由預測（Predictive，簡稱P）或雙預測（Bi-predictive，簡稱B）片段中的幀間圖片（時間）預測或幀內圖片（空間）預測進行編解碼。在得到預測過程產生的殘差訊號後，屬於CU的殘差訊號進一步被變換為變換係數以用於緊湊的資料表示，這些變換係數被量化並被傳送給解碼器。
靈活的編解碼單元劃分與高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）標準中採用的四叉樹（Quad-Tree，簡稱QT）結構相比，例如四叉樹二叉樹（Quad-Tree-Binary-Tree，簡稱QTBT）的靈活CU結構提高了編解碼性能。第1圖顯示了根據QTBT結構劃分的CTU。第1圖中的CTU首先由四叉樹結構劃分，得到的四叉樹葉節點由二叉樹結構適應性劃分。構建二叉樹結構後，二叉樹的葉節點表示為CU，用於預測和變換，無需進一步劃分。除了四叉樹和二叉樹之外，三叉樹劃分還旨在獲取塊中心的物件。第2圖顯示了VVC標準中塊劃分的五種分割類型，這些分割類型是四叉樹20、垂直二叉樹22、水平二叉樹24、垂直中心側三叉樹26和水平中心側三叉樹28。在一個靈活的CU結構中，CTU首先由四叉樹結構劃分，得到的四叉樹葉節點由包括二叉樹和三叉樹分割類型的子樹結構適應性地劃分。
色度分離樹在VVC標準中，編解碼樹方案支援亮度和色度分量具有分離的編解碼樹結構的能力。對於預測（Predictive，簡稱P）和雙預測（Bi-predictive，簡稱B）片段，一個CTU中的亮度和色度CTB必須共用相同的編解碼樹結構。對於幀內（Intra，簡稱I）片段，一個CTU中的亮度和色度CTB可以具有分離的編解碼樹結構。色度分離樹（Chroma Separated Tree，簡稱CST）編解碼允許不同的編解碼樹用於處理幀內片段中的亮度和色度分量，以實現更好的編解碼性能，其中色度Cb和色度Cr分量共用一個不同於亮度編解碼樹的編解碼樹。這意味著I片段中的CU可能由亮度分量的編解碼塊（Coding Block，簡稱CB） 或兩個色度分量的CB組成；而P或B片段中的CU總是由所有三種顏色分量的CB組成，除非視訊是單色的。使用CST編解碼對色度分量進行編碼或解碼時，編解碼延遲將顯著增加，因為特定編解碼工具涉及跨分量資料依賴性。例如，對色度塊進行編碼可以包括評估交叉分量線性模型（Cross-Component Linear Model，簡稱CCLM）模式的使用，其中評估CCLM模式需要等待相應亮度塊的重構樣本。在另一示例中，對色度塊進行編碼可以包括在幀內預測中評估直接模式（Direct Mode，簡稱DM）的使用，其中評估DM需要等待對應亮度塊的角度模式。為了等待對應的亮度重構樣本和亮度角模式，每個色度CTB的編解碼被延遲，直到對應的亮度CTB編解碼完成。因此，應用CST編解碼的缺點包括資料輸送量降低和資源利用率低。設計低延遲的視訊編碼或解碼系統來處理具有CST編解碼的視訊資料是有益的。
用於視訊編碼或解碼系統的低延遲視訊編碼方法的實施例接收與由用於編碼或解碼的多個編碼樹單元（CTU）組成的當前幀內片段相關聯的輸入資料，每個CTU由亮度編碼樹塊（CTB）和一個或多個色度CTB組成，將每個亮度CTB劃分為多個不重疊的亮度管線單元以及將每個色度CTB劃分為多個不重疊的色度管線單元，以及藉由在至少一個管線級中開始處理相應的亮度管線單元之後執行色度管線單元的處理，對當前幀內片段中的CTU進行編碼或解碼。在視訊編碼或解碼系統中，每個亮度和色度管線單元由一個管線級接一個管線級處理，不同的管線級同時處理不同的管線單元。在一個管線單元時間間隔內，一個亮度管線單元和至少一個先前色度管線單元由該管線級同時處理。在管線級對當前幀內片段中的第一CTU的第一亮度管線單元處理延遲時間間隔後，當前幀內片段中第一CTU的第一色度管線單元由該管線級處理。根據一些實施例，延遲時間間隔由管線單元時間間隔或預定的延遲時間間隔定義，或者根據另一實施例，延遲時間間隔根據可用的亮度重構樣本定義。例如，第一CTU的第一亮度管線單元由管線級在第一管線單元時間間隔內處理，第一CTU的第一色度管線單元由管線級在預定管線單元時間間隔內處理，以及預定管線單元時間間隔是從第一管線單元時間間隔延遲了N個時間間隔。N是大於或等於1的整數。
在低延遲視訊編碼方法的一些實施例中，在除了前N個管線單元時間間隔和最後N個管線單元時間間隔之外的每個管線單元時間間隔內，管線級同時編碼或解碼一個亮度管線單元和至少一個先前色度管線單元，用於處理當前幀內片段中的亮度和色度管線單元。同時處理的亮度管線單元和至少一個先前色度管線單元屬於相同CTU，或者亮度管線單元屬於當前CTU，以及該至少一個先前色度管線單元屬於按照編解碼順序的先前CTU。在一些實施例中，每個CTU由亮度CTB、色度Cr CTB和色度Cb CTB組成，在除了前N個管線單元時間間隔和最後N個管線單元時間間隔之外的每個管線單元時間間隔內，一個亮度管線單元與一個先前色度Cr管線單元和一個先前色度Cb管線單元由管線級同時編碼或解碼。在一個具體實施例中，N等於1，第一CTU的第一亮度管線單元由管線級在第一管線單元時間間隔內處理，以及第一CTU的第一色度管線單元由管線級在第二管線單元時間間隔內處理。每個亮度CTB被劃分為四個亮度管線單元，每個色度CTB被劃分為四個色度管線單元。在第二管線單元時間間隔內，第一CTU的第一色度管線單元與第一CTU的第二亮度管線單元由管線級同時處理；在第三管線單元時間間隔內，第一CTU的第二色度管線單元與第一CTU的第三亮度管線單元由管線級同時處理；在第四管線單元時間間隔內，第一CTU的第三色度管線單元與第一CTU的最後一個亮度管線單元由管線級同時處理。在第五管線單元時間間隔內，第一CTU的最後一個色度管線單元與當前幀內片段中中的第二CTU的第一亮度管線單元由管線級同時處理。
在低延遲視訊編解碼方法的一些實施例中，在至少一個管線單元時間間隔內，第一CTU的一個亮度管線單元和第一CTU的一個先前色度管線單元由管線級同時編碼或解碼，以及在從處理第一CTU的最後一個亮度管線單元延遲M個管線單元時間間隔後，當前幀內片段中的第二CTU的第一亮度管線單元由管線級處理，其中M等於N，以及N等於1、2 或 3。
在低延遲視訊編解碼方法的一些實施例中，在至少一個管線單元時間間隔內，第一CTU的一個亮度管線單元和第一CTU的多個色度管線單元由管線級同時處理。在一個實施例中，每個CTU的第一和第二色度管線單元與相同CTU的第三亮度管線單元由管線級同時處理，以及每個CTU的第三和第四色度管線單元與後續CTU的第一亮度管線單元由管線級同時處理。在另一實施例中，每個CTU的第一和第二色度管線單元與相同CTU的第三亮度管線單元由管線級同時處理，每個CTU的第三色度管線單元與相同CTU的最後一個亮度管線單元由管線級同時處理，每個CTU的最後一個色度管線單元與後續CTU的第一亮度管線單元由管線級同時處理。在又一實施例中，每個CTU的第一色度管線單元與相同CTU的第三亮度管線單元由管線級同時處理，每個CTU的第二和第三色度管線單元與相同CTU的最後一個色度管線單元由管線級同時處理。每個CTU的最後一個色度管線單元與後續CTU的第一亮度管線單元由管線級同時處理。
對於包含一個或多個編碼單元（Coding Unit，簡稱CU）的管線單元，CU完全包含在管線單元中，否則對於包含一個或多個管線單元的CU，管線單元完全包含在CU中。亮度管線單元和色度管線單元的大小可以分別設置為等於亮度和色度分量的最大變換單元大小，例如亮度管線單元的大小為64x64樣本，色度管線單元的大小為32x32樣本。在一些其他實施例中，亮度和色度管線單元的大小基於視訊壓縮標準的設定檔（profile）或級別隱式定義，例如，亮度管線單元的大小是32x32樣本，色度管線單元的大小是16x16樣本。當前幀內片段的實施例使用色度分離樹（CST）進行編碼或解碼，這使得一個CTU中的亮度CTB和色度CTB能夠以不同的編解碼樹結構進行編碼或解碼。
在低延遲視訊編碼方法的一些實施例中，該方法還包括對每個亮度管線單元的亮度重構樣本和亮度相鄰重構樣本進行下採樣，將與每個亮度管線單元相關聯的亮度下採樣的重構樣本、亮度下採樣的相鄰重構樣本和亮度幀內角度模式寫入到緩衝器中，以及從緩衝器讀取與每個亮度管線單元相關聯的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式，用於使用幀內預測中的交叉分量模型（Cross-Component Linear Model，簡稱CCLM）和直接模式（Direct Mode，簡稱DM）對色度管線單元進行編碼或解碼。
在一些其他實施例中，一對乒乓緩衝器用於使用CST編解碼對當前幀內片段進行編碼或解碼。對當前幀內片段中每個亮度管線單元的亮度重構樣本和亮度相鄰重構樣本進行下採樣。與每個CTU的偶數亮度管線單元關聯的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式被寫入第一緩衝器，以及與每個CTU的奇數亮度管線單元相關聯的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式被寫入第二緩衝器。為了使用CCLM和DM對奇數色度管線單元進行編碼或解碼，關聯的奇數亮度管線單元的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式從第一緩衝器讀取。為了使用CCLM和DM對偶數色度管線單元進行編碼或解碼，關聯的偶數亮度管線單元的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式從第二緩衝器中讀取。
本公開的多個方面還提供了一種用於視訊編碼或解碼系統的裝置。該裝置的一些實施例接收與當前幀內片段相關聯的輸入資料，其中當前幀內片段由多個CTU組成，以及每個CTU由亮度CTB和一個或多個色度CTB組成。每個亮度CTB被劃分為多個不重疊的亮度管線單元，每個色度CTB被劃分為多個不重疊的色度管線單元。在視訊編碼或解碼系統中，每個亮度和色度管線單元由一個管線級接一個管線級處理，不同的管線級同時處理不同的管線單元。藉由在至少一個管線級中開始處理相應的亮度管線單元之後執行色度管線單元的處理，當前幀內片段中的CTU被編碼或解碼。在一個管線單元時間間隔內，一個亮度管線單元和至少一個先前色度管線單元由管線級同時處理。
將容易理解的是，如本文附圖中一般描述和圖示的本發明的組件可以以多種不同的配置佈置和設計。因此，如附圖所示，以下對本發明的系統和方法的實施例的更詳細描述並非旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。
在整個說明書中對“一個實施例”、“一些實施例”或類似語言的引用意味著結合實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在本說明書各處出現的短語“在一個實施例中”或“在一些實施例中”不一定都是指同一實施例，這些實施例可以單獨實施或者與一個或多個其他實施例結合實施。此外，在一個或多個實施例中，所描述的特徵、結構或特性可以以任何合適的方式組合。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個具體細節的情況下，或者藉由其他方法、組件等來實施。在其他情況下，公知的結構或操作未示出或詳細描述以避免混淆本發明的方面。
為進一步考慮圖片分割結構的編解碼效率提升，本發明提供以下方法。
VPDU 的概念虛擬管線資料單元（Virtual Pipeline Data Unit，簡稱VPDU）被定義為管線處理的基本單元，在說明書中也將VPDU稱為管線單元。藉由將視訊圖片劃分為多個不重疊的網格進行管線處理，連續的VPDU可由多個管線級同時處理，不同的級同時處理不同的VPDU。VPDU是視訊圖片中不重疊的網格，可以是正方形單元，例如每個VPDU包含MxM亮度像素或NxN色度像素，或者VPDU可以是非正方形單元。在硬體解碼器中，圖片中的每個VPDU由一個管線級接一個管線級處理，直到每個VPDU被視訊解碼的所有管線級處理。硬體解碼器中的不同管線級同時處理不同的VDPU。VPDU大小被限制在大小限制內是硬體實現中的一個關鍵設計問題，因為VPDU大小與大多數管線級的緩衝器大小大致成比例。
VPDU的維度可以由諸如4096個像素的區域或諸如64x64亮度樣本或色度樣本的大小來定義。在另一實施例中，CTU被劃分為一個或多個管線單元，例如，每個CTU被劃分為MxN個管線單元。在HEVC硬體解碼器中，VPDU大小可以設置為等於最大變換塊（Transform Block，簡稱TB）大小，即亮度分量的VPDU大小為32x32，色度分量的VPDU大小為16x16。擴展最大TB大小提高了整體編碼效率。在VVC標準中，最大TB大小從HEVC標準中的32x32-L/16x16-C擴大到64x64-L/32x32-C，是HEVC的VPDU大小的4倍。與僅採用四叉樹分割的HEVC標準相比，VVC標準允許使用更靈活的分割類型對CTU進行劃分。例如，當藉由二叉樹分割或三叉樹分割對128x128CTU進行劃分時，所需的VPDU大小將增加到128x128亮度像素或 64x64色度像素。與HEVC標準相比，所需的VPDU大小現在是16倍，這顯著增加了視訊處理中每個管線階段所需的緩衝器大小。為了減小VVC標準中的VPDU大小，一種BT和TT的約束被提出，下面VPDU大小被定義為64x64-L/32x32-C。
對於每個 CTU，管理VPDU和CU之間關係的兩個條件不得被違反；第一個條件是對於包含一個或多個CU的VPDU，CU必須完全包含在VPDU中；第二個條件是對於包含一個或多個VPDU的CU，VPDU必須完全包含在CU中。提出的約束進一步限制了CU的處理順序，因此它不應離開VPDU並稍後重新訪問它。
在VVC標準中，上述BT和TT約束包括以下規範性限制以禁止無效的BT和TT分割。CU大小等於128x128、128x64或64x128被允許。第3圖示出VVC標準中不允許的TT和BT劃分的示例。第一限制禁止藉由TT分割（如第3圖中的CTU 302和CTU304所示）來分割128x128 CTU。第二限制禁止藉由TT分割來分割128xN或Nx128 CU，其中N小於或等於64。在第3圖中，CU306和CU308 是藉由TT分割來分割128x64 CU的兩個示例，而CU 310和CU 312是藉由TT分割來分割64x128 CU的兩個示例。第三限制禁止藉由水平BT分割來分割128xN CU，其中N小於或等於64。第四限制禁止藉由垂直BT分割來分割Nx128 CU，其中N小於或等於64。第3圖中CU 314是藉由水平BT分割來分割128x64 CU的示例，而 CU 316是藉由垂直BT分割來分割64x128 CU的示例。
減少色度分離樹中的亮度 - 色度延遲為了減少CST編解碼中的亮度-色度延遲，當64x64亮度編解碼樹節點沒有被分割以及在這個64x64 CU中幀內子劃分（Intra SubPartitions，簡稱ISP）不被使用時，或者64x64亮度編解碼樹節點採用四叉樹分割進行分割，32x32/32x16色度編解碼樹節點中的色度CU 不允許使用CCLM模式，但以下方式除外。如果32x32色度節點沒有被分割或被四叉樹分割，則32x32節點中的所有色度CU都可以使用CCLM模式。如果32x32色度節點採用水平BT分割進行劃分，32x16子節點沒有進一步分割或採用垂直BT進行劃分，則32x16子節點中的所有色度CU都可以使用CCLM模式。在所有其他亮度和色度編解碼樹分割條件下，CCLM模式不被允許用於色度CU。
具有 VPDU 劃分的交織方式在傳統的共用樹編碼中，亮度和色度分量以與VPDU劃分的交織方式進行編解碼。在VVC幀内片段中，128x128 CU 被隱式分割為四個64x64 CU，亮度分量的VPDU大小為64x64，色度分量的VPDU大小為32x32。第4圖示出用於在管線級中利用共用樹編解碼對當前CTU進行編解碼的示例性排程架構，其中當前CTU（CTU n）由具有128x128樣本的亮度CTB 42和各自具有64x64樣本的兩個色度CTB 44和46組成。在用於由管線級處理當前CTU的第一VPDU時間間隔402中，來自亮度CTB 42的VPDU 0、來自Cb CTB 44的VPDU 4和來自Cr CTB 46的VPDU 4被同時處理。類似地，在第二VPDU時間間隔404中，來自亮度CTB 42的VPDU 1、來自Cb CTB 44的VPDU 5和來自Cr CTB 46的VPDU 5被同時處理來。在第三VPDU時間間隔406中，來自亮度CTB 42的VPDU 2、來自Cb CTB 44的VPDU 6和來自Cr CTB 46的VPDU 6被同時處理。在第四VPDU時間間隔408中，來自亮度CTB 42的VPDU 3、來自Cb CTB 44的VPDU 7和來自Cr CTB 46的VPDU 7被同時處理。為了支援CST編解碼，視訊編解碼系統必須向後相容傳統的共用樹編解碼結構。
如第5圖所示，利用色度分離樹編解碼處理CTU的一種可能方法是延遲色度CTB的編解碼，直到對應的亮度CTB的編解碼完成，以便檢索對應的亮度重構樣本和亮度幀內角度模式。在前四個VPDU時間間隔502、504、506和 508中，只有來自當前亮度CTB的VPDU劃分0到3被處理，因為色度的處理被推遲。當前亮度CTB編解碼完成後，在接下來的四個VPDU時間間隔510、512、514和516中，來自當前Cb CTB和當前Cr CTB的VPDU劃分4到7被依次處理。在下一個VPDU時間間隔518，來自後續亮度CTB的VPDU劃分0被處理。與第4圖所示的傳統共用樹編碼的排程架構相比，該方法輸送量降低，資源利用率低。當視訊編解碼系統在對色度CTB進行編解碼時，亮度編解碼資源處於空閒狀態，當視訊編解碼系統對亮度CTB進行編解碼時，色度編解碼資源處於空閒狀態。以下描述了幾種實現視訊編解碼的方法，使CST編解碼具有更好的編解碼效率或更低的編解碼複雜度。
方法一：在色度樹編碼中重用具有延遲的共用樹編碼排程架構方法1的各個實施例藉由重用共用樹編解碼排程架構以及應用一個或多個延遲時間間隔來出來色度管綫單元以提高編解碼效率和增加編解碼輸送量。這些實施例可以應用於視訊編碼器或解碼器實施方式。在方法1的一些實施例中，延遲時間間隔由管線單元時間間隔或預定延遲時間間隔定義，或者延遲時間間隔根據可用的亮度重構樣本來定義。例如，管線單元時間間隔就是前述的VPDU時間間隔。如第4圖所示的共用樹排程架構在每個VPDU時間間隔內由一個管線級同時處理一個亮度VPDU和相應的色度VPDU。本發明的實施例在一個VPDU時間間隔內由一個管線級同時處理一個亮度VPDU和至少一個先前色度VPDU。在方法1的各個實施例中，用於處理具有CST編解碼的CTU的排程架構重用了共用樹排程架構，但是每個色度管線單元被處理相對於相應亮度管線單元的處理延遲的N個管線單元時間間隔。N是大於或等於1的整數。重用共用樹排程架構進行CST編解碼的實施例在開始處理至少一個管線級中對應的亮度管線單元之後執行色度管線單元的處理。根據方法1的實施例，在每個管線單元時間間隔（除了前N個管線單元時間間隔和最後N個管線單元時間間隔外）中，一個亮度管線單元和至少一個先前色度管線單元由一個管線級同時進行編碼或解碼，用於處理當前幀內片段中的亮度和色度管線單元。在方法1的一些實施例中，與一個或多個先前色度管線單元同時處理的亮度管線單元屬於當前幀內片段的當前CTU，以及該至少一個先前色度管線單元按照一編解碼順序屬於該當前幀内片段的該當前CTU或一先前CTU。在亮度樹編解碼中，視訊編碼器或解碼器更新亮度相關的緩衝器，例如相鄰重構/模式緩衝器和亮度重構/模式緩衝器。類似地，在色度樹編解碼中，視訊編碼器或解碼器更新色度相關緩衝器，例如相鄰重構/模式緩衝器和色度重構/模式緩衝器。
根據一些實施例，VPDU大小被設置為等於最大變換單元大小，而根據另一實施例，VDPU大小基於一個視訊壓縮標準中的文檔（profile）或級別隱式定義。在一個實施例中，CTU被劃分為一個或多個管線單元，或所謂的VPDU。CTU可以被劃分為MxN個管線單元，例如M和N都等於2。在另一實施例中，CTU被劃分為一個或多個網格，每個網格被定義為一個管線單元。管線單元的大小可以設置為等於最大變換塊大小，例如根據VVC標準，亮度分量的管線單元被設置為64x64，色度分量的管線單元被設置為32x32。在又一實施例中，亮度管線單元的大小是32x32個樣本，色度管線單元的大小是16x16個樣本。
在一個具體的實施例中，一個管線級處理CST編解碼的幀内片段的排程架構再次使用具有一個延遲時間間隔的共用樹排程架構來處理色度管線單元，在本實施例中，一個延遲時間間隔等於一個管線單元時間間隔。如第6圖所示，當前CTU（CTU n）由一個128x128亮度CTB 62和兩個64x64色度CTB 64和66 組成。亮度CTB 62被劃分為四個64x64管線單元0、1、2和3，Cb CTB 64被劃分為四個32x32管線單元4、5、6和7，類似地，Cr CTB 66也被劃分為四個32x32管線單元4、5、6和7。在第一管線單元時間間隔602，當色度編碼資源空閒時，來自亮度CTB 62的第一管線單元0由管線級進行處理。在第二管線單元時間間隔604中，來自亮度CTB 62的第二管線單元1、來自Cb CTB 64的第一管線單元4和來自Cr CTB 66的第一管線單元4由管線級同時處理。在第三管線單元時間間隔606中，來自亮度CTB 62的管線單元2和來自Cb和Cr CTB 64和66的管線單元5由管線級同時處理。在第四管線時間間隔608中，來自亮度CTB 62的管線單元3以及來自Cb和Cr CTB 64和66的管線單元6由管線級同時處理。在第五管線單元時間間隔610中，來自後續CTU（CTU n+1）的亮度CTB的第一管線單元0和來自當前CTU（CTU n）的Cb和Cr CTB 64和66的管線單元7由管線級同時處理。除了管線級僅處理亮度管線單元的第一管線單元時間間隔602和管線級僅處理色度管線單元的最後一個管線單元時間間隔外，在每個管線單元時間間隔内亮度和色度管線單元均被同時處理。
第7圖示出方法1的另一實施例，其中用CST編解碼編解碼的幀內片段的編解碼排程使用共用樹編解碼排程但是具有兩個延遲時間間隔用於處理色度管線單元，在本實施例中，兩個延遲時間間隔等於的兩個管線單元時間間隔。在第一和第二VPDU時間間隔702和704中，當來自當前CTU（CTU n）的亮度VPDU（VPDU 0和VPDU 1）由管線級處理時，色度編解碼資源是空閒的。在第三VPDU時間間隔706中，來自當前CTU的Cb和Cr CTB的第一色度VPDU（VPDU 4）由管線級處理，而來自當前CTU的亮度VPDU 2由管線級處理。在第四VPDU時間間隔708中，來自當前CTU的最後一個亮度VPUD（VPDU 3）與來自當前CTU的Cb和Cr CTB的第二色度VPDU（VPDU 5）由管線級同時處理。在第五VPDU時間間隔710中，來自後續CTU（CTU n+1）的第一亮度VPDU（VPDU 0）與來自CTUn的Cb和Cr CTB的第三色度VPDU（VPDU 6）由管線級同時處理。第六VPDU 時間間隔712中，來自CTU n的Cb和Cr CTB 的最後一個色度VPDU（VPDU 7）與來自CTU n+1的第二亮度VPDU（VPDU 1）一起被處理。
第8圖和第9圖示出方法1的一些其他變體的實施例。第8圖展示利用具有三個管線單元時間間隔的時間延遲的CST編解碼進行編解碼的幀內片段的示例性編解碼排程。在前三個VPDU時間間隔802、804和806的每一個中，管線級僅處理來自當前CTU（CTU n）的亮度VPDU，而色度編解碼資源是空閒的。每個亮度VPDU對應的色度VPDU在三個VPDU時間間隔後由管線級處理。在第四VPDU時間間隔808中，來自當前CTU的Cb和Cr CTB的第一色度VPDU（VPDU 4）與來自當前CTU的最後一個亮度VPDU（VPDU 3）由管線級同時處理。在第五、第六和第七VPDU時間間隔810、812和814中，來自當前CTU的色度VPDU與來自後續CTU（CTU n+1）的一個亮度VPDU一起被處理。第9圖展示使用具有四個管線單元時間間隔的時間延遲的CST編解碼來進行編解碼的幀內片段的示例性編解碼排程。在前四個VPDU時間間隔902、904、906和908中的每一個中，在色度編解碼資源是空閒時，管線級僅處理來自當前CTU（CTU n）的一個亮度VPDU。在四個VPDU時間間隔後，每個亮度VPDU對應的色度VPDU由管線級處理。在第五VPDU時間間隔910中，來自當前CTU的Cb和Cr CTB的第一色度 VPDU（VPDU 4）與來自後續CTU（CTU n+1）的第一亮度VPDU（VPDU 0）由管線級同時處理。類似地，在第六、第七和第八VPDU時間間隔912、914和916中的每一個中，來自當前CTU的Cb和Cr CTB的色度VPDU與來自後續CTU的一個亮度VPDU同時被處理。
方法 2：用於亮度和色度樹編解碼兩者的具有時間延遲的排程架構 在根據方法2的各種實施例中，在用於處理每個CTU的一個或多個管線單元時間間隔中亮度和色度編解碼資源可選地為空閒狀態，以便防止同時處理來自不同CTU的亮度和色度管線單元。第10圖示出方法2的實施例，其中方法2具有用於亮度樹和色度樹編解碼的一個VPDU時間間隔延遲。在第一VPDU時間間隔1002中，當色度編解碼資源為空閒時，當前CTU（CTU n）的第一亮度VPDU(VPDU 0) 由管線級處理，以等待與亮度分量相關聯的資訊。在第二、第三和第四VPDU時間間隔1004、1006和1008的每一個中，一個亮度VPDU和兩個色度VPDU由管線級同時處理。在第五VPDU時間間隔1010中，當亮度編解碼資源為空閒時，來自當前CTU的Cb和Cr CTB的最後色度VPDU（VPDU 7）由管線級處理。在第六VPDU時間間隔1012中，在色度編解碼資源為空閒時，來自後續CTU（CTUn+1）的第一個亮度VPDU（VPDU 0）被處理。在本實施例中，管線級對每個CTU的處理佔用了5個VPDU時間間隔：對於每個CTU，色度編解碼資源在第一VPDU時間間隔內是空閒的，而亮度編解碼資源在第五VPDU時間間隔內是空閒的。在方法2的各個實施例中，在從CTU的第一亮度管線單元延遲N個管線單元時間間隔後，當前幀内片段中每個CTU的第一色度管線單元由管線級處理；在從處理CTU的最後一個亮度管線單元延遲M個管線單元時間間隔後，每個後續CTU的第一亮度管線單元被處理。M和N是整數，其中M等於N。
第11圖示出根據方法2的另一實施例的具有CST編解碼的幀內片段的編解碼排程。管線級對每個CTU的處理佔用六個VPDU時間間隔。在第一和第二VPDU時間間隔1102和1104中，當色度編解碼資源空閒時，當前CTU （CTU n）的第一和第二亮度VPDU（VPDU 0和VPDU 1）由管線級處理。在第三和第四VPDU時間間隔1106和1108的每一個中，來自當前CTU的一個亮度VPDU和來自當前CTU的一個Cr VPDU和一個Cb VPDU由管線級同時處理。在第五和第六VPDU時間間隔1110和1112的每一個中，當亮度編解碼資源為空閒時，來自當前CTU的一個Cr VPDU和一個Cb VPDU由管線級處理。在第七VPDU時間間隔1114中，在色度編解碼資源空閒時，來自後續CTU（CTU n+1）的第一亮度VPDU（VPDU 0）被處理。第12圖示出根據方法2的另一實施例的具有CST編解碼的幀内片段的編解碼排程。本實施例中每個CTU的處理佔用7個VPDU時間間隔，其中在前三個VPDU時間間隔内色度編解碼資源為空閒，而在最後三個VPDU時間間隔內亮度編解碼資源為空閒。在本實施例中，色度VPDU的編解碼延遲了三個VPDU時間間隔。在前三個VPDU時間間隔1202、1204和1206中，當前CTU （CTU n）的三個亮度VPDU由管線級處理，在第四VPDU時間間隔1208中，當前CTU的最後一個亮度VPDU，當前CTU的第一Cb VPDU和當前CTU的第一Cr VPDU由管線級處理。在第五、第六和第七VPDU時間間隔1210、1212和1214中，剩餘的色度VPDU由管線級處理。在第八VPDU時間間隔1216中，在色度編解碼資源空閒時，後續CTU（CTU n+1）的第一亮度VPDU被處理。
方法 3 ：具有時間延遲和不均勻排程的排程架構在方法3的實施例中，對於具有CST編解碼的幀內片段中的色度VPDU，管線級的色度樹編解碼的編解碼資源排程可能是不均勻的。管線級的亮度樹編解碼的編解碼資源排程在方法3的實施例中仍然是均勻的。例如，在特定VPDU時間間隔中，來自當前CTU的Cb CTB的多個VPDU和來自當前CTU的Cr CTB的多個VPDU與亮度VPDU一起處理，而在剩餘的VPDU時間間隔中，沒有一個色度VPDU與亮度VPDU一起處理。在另一示例中，在一些VPDU時間間隔內，色度編解碼資源為空閒，在一些其他VPDU時間間隔內，一個Cb VPDU和一個Cr VPDU一起處理，在剩餘的VPDU時間間隔内，兩個Cb VPDU和兩個Cr VPDU一起處理。第13圖示出根據方法3的管線級的實施例，其能夠在一個VPDU時間間隔中編解碼兩個Cb VPDU和兩個Cr VPDU。在前兩個VPDU時間間隔1302和1304中，色度編解碼資源為空閒，而來自當前CTU（CTU n）的前兩個亮度VPDU（VPDU 0和VPDU 1） 由管線級編碼或解碼。在第三VPDU時間間隔1306中，來自當前CTU的前兩個Cr VPDU（VPDU 4和VPDU 5）和前兩個Cb VPDU（VPDU 4和VPDU 5）與來自當前CTU的第三亮度VPDU（VPDU 2）同時編碼或解碼。在第四VPDU時間間隔1308中，在當前CTU的最後一個亮度VPDU（VPDU 3）由管線級處理時，色度編解碼資源再次為空閒。在第五VPDU時間間隔1310中，當前CTU的最後兩個Cr VPDU（VPDU 6和VPDU 7）和最後兩個Cb VPDU（VPDU 6和VPDU 7）與後續的CTU (CTU n+1)第一亮度VPDU（VPDU 0）同時處理。在下一VPDU時間間隔1312中，在色度編解碼資源為空閒時，CTU n+1的亮度VPDU（VPDU 1)被處理。在VPDU時間間隔1314中，CTU n+1的兩個Cr VPDU和兩個Cb VPDU與CTU n+1的第三亮度 VPDU（VPDU 2）一起處理。第14圖示出根據方法3的管線級的另一實施例，其能夠在一個VPDU時間間隔中編解碼兩個Cb VPDU和兩個Cr VPDU。在前兩個VPDU時間間隔1402和1404中，僅當前CTU的亮度VPDU由管線級處理。在第三VPDU時間間隔1406中，當前CTU的前兩個Cr VPDU（VPDU 4和VPDU 5）和前兩個Cb VPDU（VPDU 4和VPDU 5）與當前CTU的第三亮度VPDU（VPDU 2）一起處理。在第四VPDU時間間隔1408中，當前CTU的一個Cr VPDU（VPDU 6）和一個Cb VPDU（VPDU 6）與當前CTU的最後一個亮度VPDU一起處理。在第五VPDU時間間隔1410中，當前CTU的最後一個Cr VPDU（VPDU 7）和Cb VPDU（VPDU 7）與後續CTU的第一亮度VPDU（VPDU 0）同時被處理。類似地，在VPDU時間間隔1412中，當後續CTU的第二亮度VPDU(VPDU 1)由管線級處理時，色度編解碼資源為空閒。在VPDU時間間隔1414中，後續CTU的前兩個Cr VPDU（VPDU 4和VPDU 5）和前兩個Cb VPDU（VPDU 4和VPDU 5）與後續CTU的第三亮度VPDU（VPDU 2）同時處理。第15圖示出方法3的另一實施例。在第15圖所示的該實施例中，兩個Cr VPDU和兩個Cb VPDU與相同CTU的最後一個亮度VPDU同時處理，而在第14圖的實施例中，兩個Cr VPDU VPDU和兩個Cb VPDU與相同CTU的第三亮度VPDU同時處理。在第14圖和第15圖的兩個實施例中，當每個CTU的第二亮度VPDU由管線級處理時，色度編解碼資源總為空閒。在前兩個VPDU時間間隔1502和1504中，當前CTU (CTU n) 的第一和第二亮度 VPDU（VPDU 0 和 VPDU 1）由管線級處理。在第三VPDU時間間隔1506中，當前CTU的一個Cr VPDU(VPDU 4)和一個Cb VPDU(VPDU 4)與當前CTU的第三亮度VPDU(VPDU 2)同時被處理。在第四VPDU時間間隔1508中，當前CTU的兩個Cr VPDU（VPDU 5和VPDU 6）和兩個Cb VPDU（VPDU 5和VPDU 6）與當前CTU的最後一個亮度VPDU（VPDU 3）一起處理。在第五VPDU時間間隔1510中，最後的Cr VPDU (VPDU 7)和Cb VPDU (VPDU 7)與後續CTU (CTU n+1)的第一亮度VPDU (VPDU 0)一起處理。在下一VPDU時間間隔1512中，在後續CTU的亮度VPDU 1被處理時，色度編解碼資源再次為空閒。在下一VPDU時間間隔1514中，後續CTU的第一色度VPDU（VPDU 4）與後續CTU的第三亮度VPDU（VPDU 2）同時處理。
用於具有 CST 編解碼的幀內片段的緩衝器設計緩衝器中需要三個額外的記憶體空間來支援用於處理具有CST編解碼的幀內片段的排程架構的各種實施例。緩衝器中的這些額外存儲空間存儲使用CCLM和DM編解碼處理色度分量所需的資料，包括亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式。以下實施例假設顏色格式為4:2:0。在一實施例中，對於等於MxN的色度VPDU大小，亮度下採樣重構緩衝器大小也是MxN。例如，當亮度VPDU 大小為64x64且色度VPDU大小為32x32時，亮度下採樣重構緩衝器大小為 32x32。在寫入亮度下採樣重構緩衝器之前，64x64亮度VPDU被重構並下採樣到 32x32。根據一些實施例，亮度下採樣的相鄰重構緩衝器包括來自上方相鄰樣本的亮度下採樣的重構樣本和來自左相鄰樣本的亮度下採樣的重構樣本。例如，對於64x64的亮度VPDU大小，亮度下採樣的相鄰重構緩衝器大小為 (32+24)x(32+24)。在一實施例中，如果最小亮度塊大小是PxQ以及亮度VPDU大小是RxS，則亮度幀內角度模式緩衝器大小是(R/P)x(S/Q)​​。例如，最小亮度塊大小為4x4，亮度VPDU大小為64x64，亮度幀內角度模式緩衝器大小為16x16。第16圖示出根據具有一個VPDU時間間隔的延遲的方法1的實施例的用於處理亮度和色度VPDU的額外緩衝器的管線級的讀取和寫入操作。緩衝器162由用於存儲亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式的額外緩衝器空間組成。在第一VPDU時間間隔1602中，當前CTU（CTU n）的第一亮度VPDU（VPDU 0）由管線級處理，VPDU 0的亮度重構樣本和亮度相鄰重構樣本被下採樣和寫入緩衝器162，以及VPDU 0的一個或多個亮度幀內角度模式也被寫入緩衝器162。在第二VPDU時間間隔1604中，相關的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式從緩衝器162讀取，以用於藉由管線級對當前CTU的第一色度 VPDU（VPDU 4）進行編解碼。在第二VPDU時間間隔1604中，第二亮度VPDU（VPDU 1）由管線級處理，以及相關的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式被寫入緩衝器162。在第三VPDU時間間隔1606中，藉由從緩衝器162讀取相關的亮度資料，第三亮度VPDU（VPDU 2）和第二色度VPDU（VPDU 5）被同時處理。第三亮度VPDU（VPDU 2）的亮度資料也是在第三VPDU時間間隔1606中寫入緩衝器162。在下一VPDU時間間隔1608中，當前CTU的最後一個亮度VPDU（VPDU 3）與當前CTU的第三色度VPDU（VPDU 6）同時處理。類似地，VPDU 3的亮度重構樣本被下採樣並寫入緩衝器162，VPDU 3的亮度相鄰重構樣本也被下採樣並寫入緩衝器162，以及VPDU 3的亮度幀內角度模式被寫入緩衝器162。在第四VPDU時間間隔1608中，先前存儲在緩衝器162中的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角模式從緩衝器162中讀取，以用於處理來自當前CTU的Cr CTB 和Cb CTB的VPDU 6。在第五VPDU時間間隔1610中，藉由從緩衝器162讀取相關的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角模式，來自當前CTU的Cr CTB和Cb CTB的最後一個VPDU（VPDU 7）與後續CTU（CTU n+1）的第一VPDU（VPDU 0）同時處理。第五VPDU時間間隔1610中，亮度重構樣本和亮度相鄰重構樣本被下採樣和存儲在緩衝器162中，以及CTU n+1的VPDU 0的亮度幀內角模式被存儲在緩衝器162中。
在用於寫入和讀取緩衝器的可用週期預算緊張的情況下，乒乓緩衝器設計可被用來解決在相同VPDU時間間隔中讀取和寫入的頻寬問題。第17圖示出根據與第16圖中使用的相同的排程架構使用乒乓緩衝器來處理具有CST編解碼的CTU的實施例。在該實施例中，在每個VPDU時間間隔内，僅讀操作或僅寫操作被用來訪問第一緩衝器172，以防止在一個VPDU時間間隔內同時使用讀取和寫入操作來訪問第一緩衝器172。類似地，在每個VPDU時間間隔内，僅讀取操作或僅寫入操作被用來訪問第二緩衝器174，以防止在一個VPDU時間間隔內同時使用讀取和寫入操作來訪問第二緩衝器174。在第一VPDU時間間隔1702中，視訊編解碼系統中的管線級處理來自當前CTU（CTU n）的第一亮度VPDU（VPDU 0）以及將相關的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式寫入第一緩衝器172中。在第二VPDU時間間隔1704中，藉由從第一緩衝器172中讀取VPDU 0相關的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式，管線級處理來自當前CTU的第一色度VPDU（VPDU 4)。同時，管線級還處理當前CTU的第二亮度VPDU (VPDU 1)，以及將VPDU 1的亮度下採樣重構樣本、亮度下採樣相鄰重構樣本和亮度幀內角度模式寫入第二緩衝器174中。在第三VPDU時間間隔1706中，管線級藉由從第二緩衝器174讀取VPDU 1的相關亮度資料來處理來自當前CTU的第二色度VPDU (VPDU 5)，以及藉由將VPDU 2的相關亮度資料寫入第一緩衝器172來處理當前CTU的第三亮度VPDU（VPDU 2）。在第四VPDU時間間隔1708中，管線級藉由從第一緩衝器172讀取VPDU 2的相關亮度資料來處理來自當前CTU的第三色度VPDU (VPDU 6)，以及藉由將VPDU 3的相關亮度資料寫入到第二緩衝器174來處理當前CTU的最後一個亮度VPDU (VPDU 3)。在第五VPDU時間間隔1710中，管線級藉由從第二緩衝器174讀取VPDU 3的相關亮度資料來處理來自當前CTU的最後一個色度VPDU（VPDU 7)，以及藉由將VPDU 0的相關亮度資料寫入第一緩衝器172來處理來自後續CTU（CTU n+1）的第一亮度VPDU (VPDU 0)。
實現本發明的示例性視訊編碼器和視訊解碼器本發明的實施例可以在視訊編碼器和/或視訊解碼器中實現。例如，所公開的方法中的低延遲排程架構可以以視訊編碼器的熵編碼模組、幀間、幀內或預測模組，或變換模組，和/或視訊解碼器的熵解碼模組、逆變換模組、幀間、幀內或預測模組中的一種或組合來實現。或者，所公開的方法中的任一種可以被實現為耦合到視訊編碼器的熵編碼模組、幀間、幀內或預測模組，或變換模組，和/或視訊解碼器的熵解碼模組、逆變換模組、幀間、幀內或預測模組，以提供任一模組所需的資訊。
第18圖示出用於實現本發明的各種實施例中的一個或組合的視訊編碼器1800的示例性系統框圖。視訊編碼器1800接收由多個CTU組成的當前幀內片段的輸入視訊資料。每個CTU由亮度CTB與一個或多個相應的色度CTB組成。每個亮度CTB被劃分成多個非重疊亮度管線單元，以及每個色度CTB被劃分為多個非重疊色度管線單元。每個亮度和色度管線單元由視訊編碼器1800中的一個管線級接一個管線級處理，不同的管線級同時處理不同的管線單元。根據一實施例，藉由在視訊編碼器1800的至少一個管線級中開始處理亮度管線單元之後執行色度管線單元的處理，當前幀內片段中的亮度和色度管線單元被編碼。在另一實施例中，通過相對於視訊編碼器1800的至少一個管線級中的亮度管線單元的處理延遲色度管線單元的處理，亮度和色度管線單元被編碼。在一個管線單元時間間隔內，一個亮度管線單元和至少一個先前色度管線單元由管線級同時編碼。在本發明的各個實施例中，當前幀内片段中的第一CTU的第一色度管線單元在將第一CTU的第一亮度管線單元處理延遲時間間隔之後由管線級編碼。例如，延遲時間間隔由管線單元時間間隔定義。在一些實施例中，色度編解碼資源在一個或多個預定的管線單元時間間隔內為空閒，而亮度編解碼資源在一個或多個其他管線單元時間間隔內為空閒，以及第一CTU中的至少一個亮度管線單元與第一CTU中的至少一個先前色度管線單元由管線級同時編碼。當前幀內片段中的所有編解碼塊由幀內預測模組1810預測，以及基於當前圖片的重構視訊資料的幀內預測子被輸出到開關1814。幀間預測模組1812執行運動估計（Motion Estimation，簡稱ME）和運動補償（Motion Compensation，簡稱MC）到P和B片段中的一些編解碼塊，以基於參考來自其他圖片的視訊資料提供幀間預測子。幀內預測模組1810或幀間預測模組1812使用開關1814將編解碼塊的選定預測子提供給加法器1816，以藉由從編解碼塊的原始視訊資料中減去選定預測子來形成殘差。編解碼塊的殘差進一步由變換模組（Transformation，簡稱T）1818和隨後的量化模組（Quantization，簡稱Q）1820處理。變換和量化的殘差訊號然後由熵編碼器1834編碼以形成視訊位元流。編碼塊的變換和量化的殘差訊號由逆量化模組（IQ）1822和逆變換模組（IT）1824處理以恢復預測殘差。如第18圖所示，藉由在重構模組（Reconstruction Module，簡稱REC）1826處添加回所選預測子來恢復殘差，以產生重構的視訊資料。重構的視訊資料可以存儲在參考圖片緩衝器（Ref. Pict. Buffer）1832中以及用於其他圖片的預測。由於編碼處理，來自REC 1826的重構視訊資料可能會受到各種損害，因此，在存儲至參考圖片緩衝器1832中之前，至少一個環路處理濾波器（In-loop Processing Filter，簡稱ILPF）1828有條件地應用於重構視訊資料的亮度和色度分量，以進一步提高圖片品質。
第18圖的視訊編碼器1800的對應視訊解碼器1900在第19圖中示出。由視訊編碼器編碼的視訊位元流是視訊解碼器1900的輸入以及由熵解碼器1910解碼，以解析和恢復當前圖片的經變換和量化後的殘差訊號和其他系統資訊。除了視訊解碼器1900僅需要幀間預測模組1914中的運動補償預測，視訊解碼器1900的解碼過程類似於視訊編碼器1800處的重構迴圈。每個片段中的每個塊由幀內預測模組1912或幀間預測模組1914進行解碼。開關1916根據解碼的模式資訊選擇來自幀內預測模組1912的幀內預測子或來自幀間預測模組1914的幀間預測子。在本發明的各種實施例中，幀內預測模組1912用於解碼當前幀內片段中的所有CTU。每個亮度CTB被劃分為多個不重疊的亮度管線單元，每個色度CTB被劃分為多個不重疊的色度管線單元。每個亮度和色度管線單元在視訊解碼器1900中由一個管線級接一個管線級解碼，以及不同的管線級同時處理不同的管線單元。藉由在根據實施例的視訊解碼器1900的至少一個管線級中開始處理亮度管線單元之後執行色度管線單元的處理，當前幀內片段中的亮度和色度管線單元被解碼。在另一實施例中，藉由相對於視訊解碼器1900的至少一個管線級中的亮度管線單元的處理延遲色度管線單元的處理，亮度和色度管線單元被解碼。在一個管線單元時間間隔內，一個亮度管線單元和至少一個先前色度管線單元由管線級同時解碼。經變換和量化的殘差訊號由逆量化（Inverse Quantization，簡稱IQ）模組1920和逆變換（Inverse Transformation，簡稱IT）模組1922恢復。IQ模組1920也被稱為去量化模組。藉由在重構（REC）模組1918中加回預測子，恢復的殘差訊號被重構以產生重構的視訊。當前圖片中每個片段內的CTU的重構視訊始終按當前圖片中的光柵掃描順序（raster scan）進行處理。至少一個環內處理濾波器（ILPF）1924進一步有條件地處理重構的視訊，以生成最終的解碼視訊。如果當前解碼的圖片是參考圖片，則當前解碼的圖片的重構視訊也被存儲在參考圖片緩衝器（Ref.Pict.Buffer）1928中以用於解碼順序中的後面的圖片。
第18圖和第19圖中的視訊編碼器1800和視訊解碼器1900的各種組件可以由硬體組件、被配置為執行存儲在記憶體中的程式指令的一個或多個處理器、或者硬體和處理器的組合來實現。例如，處理器執行程式指令以控制在一個管線單元時間間隔內同時處理一個亮度管線單元和至少一個先前色度管線單元。處理器配備單個或多個處理核心。在一些示例中，處理器執行程式指令以在編碼器1800和解碼器1900中的一些組件中執行功能，以及與處理器電耦合的記憶體用於存儲程式指令、與塊的重構圖像相對應的資訊，和/或編碼或解碼過程中的中間資料。在一些示例中，視訊編碼器1800可以藉由在視訊位元流中包括一個或多個語法元素來發送資訊，以及對應的視訊解碼器1900藉由解析和解碼一個或多個語法元素來導出此類資訊。在一些實施例中，記憶體包括非瞬態電腦可讀介質，例如半導體或固態記憶體、隨機存取記憶體（random access memory，簡稱RAM）、唯讀記憶體（read-only memory，簡稱ROM）、硬碟、光碟或其他合適的存儲介質。記憶體也可以是上面列出的兩種或更多種非暫時性電腦可讀介質的組合。如第18圖和第19圖所示，編碼器1800和解碼器1900可以在同一電子設備中實現，因此如果在同一電子設備中實現，編碼器1800和解碼器1900的各種功能組件可以共用或重用。例如，第18圖中的重構模組1826、逆變換模組1824、逆量化模組1822、環路處理濾波器1828和參考圖片緩衝器1832中的一個或多個也可以分別用作第19圖中的重構模組1918，逆變換模組1922、逆量化模組1920、環路處理濾波器1924和參考圖片緩衝器1928。
更有效的視訊處理方法的實施例可以在集成到視訊壓縮晶片中的電路或集成到視訊壓縮軟體中以執行上述處理的程式碼中實現。例如，藉由相對於亮度管線單元的處理延遲色度管線單元的處理來編碼或解碼亮度和色度管線單元可以在將在電腦處理器、數位訊號處理器（Digital Signal Processor，簡稱DSP）、微處理器或現場可程式設計閘陣列（field programmble gate array，簡稱FPGA）上執行的程式碼中實現。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。
在不背離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
20:四叉樹 22:垂直二叉樹 24:水平二叉樹 26:垂直中心側三叉樹 28:水平中心側三叉樹 302:CTU 304:CTU 306:CU 308:CU 310:CU 312:CU 314:CU 316:CU 42:CTB 44:Cb:CTB 46:Cr:CTB 402:第一VPDU時間間隔 404:第二VPDU時間間隔 406:第三VPDU時間間隔 408:第四VPDU時間間隔 502:VPDU時間間隔 504:VPDU時間間隔 506:VPDU時間間隔 508:VPDU時間間隔 510:VPDU時間間隔 512:VPDU時間間隔 514:VPDU時間間隔 516:VPDU時間間隔 518:VPDU時間間隔 62:CTB 64:Cb CTB 66:Cr CTB 602:第一管線單元時間間隔 604:第二管線單元時間間隔 606:第三管線單元時間間隔 608:第四管線單元時間間隔 610:第五管線單元時間間隔 702:第一VPDU時間間隔 704:第二VPDU時間間隔 706:第三VPDU時間間隔 708:第四VPDU時間間隔 710:第五VPDU時間間隔 712:第六VPDU時間間隔 802:VPDU時間間隔 804:VPDU時間間隔 806:VPDU時間間隔 808:VPDU時間間隔 810:VPDU時間間隔 812:VPDU時間間隔 814:VPDU時間間隔 902:VPDU時間間隔 904:VPDU時間間隔 906:VPDU時間間隔 908:VPDU時間間隔 910:VPDU時間間隔 912:VPDU時間間隔 914:VPDU時間間隔 916:VPDU時間間隔 1002:VPDU時間間隔 1004:VPDU時間間隔 1006:VPDU時間間隔 1008:VPDU時間間隔 1010:VPDU時間間隔 1012:VPDU時間間隔 1102:VPDU時間間隔 1104:VPDU時間間隔 1106:VPDU時間間隔 1108:VPDU時間間隔 1110:VPDU時間間隔 1112:VPDU時間間隔 1114:VPDU時間間隔 1202:VPDU時間間隔 1204:VPDU時間間隔 1206:VPDU時間間隔 1208:VPDU時間間隔 1210:VPDU時間間隔 1212:VPDU時間間隔 1214:VPDU時間間隔 1216:VPDU時間間隔 1302:VPDU時間間隔 1304:VPDU時間間隔 1306:VPDU時間間隔 1308:VPDU時間間隔 1310:VPDU時間間隔 1312:VPDU時間間隔 1314:VPDU時間間隔 1402:VPDU時間間隔 1404:VPDU時間間隔 1406:VPDU時間間隔 1408:VPDU時間間隔 1410:VPDU時間間隔 1412:VPDU時間間隔 1414:VPDU時間間隔 1502:VPDU時間間隔 1504:VPDU時間間隔 1506:VPDU時間間隔 1508:VPDU時間間隔 1510:VPDU時間間隔 1512:VPDU時間間隔 1514:VPDU時間間隔 1602:VPDU時間間隔 1604:VPDU時間間隔 1606:VPDU時間間隔 1608:VPDU時間間隔 1610:VPDU時間間隔 162:緩衝器 1702:VPDU時間間隔 1704:VPDU時間間隔 1706:VPDU時間間隔 1708:VPDU時間間隔 1710:VPDU時間間隔 172:第一緩衝器 174:第二緩衝器 1800:編碼器 1810:幀內預測模組 1812:幀間預測模組 1814:開關 1816:加法器 1818:變換模組 1820:量化模組 1822:逆量化模組 1824:逆變換模組 1826:重構模組 1828:環路處理濾波器 1832:參考圖片緩衝器 1834:熵編碼器 1900:解碼器 1910:熵解碼器 1912:幀內預測模組 1914:幀間預測模組 1916:開關 1918:重構模組 1920:逆量化模組 1922:逆變換模組 1924:環路處理濾波器 1928:參考圖片緩衝器
作為示例提出的本公開的各種實施例將參考以下附圖進行詳細描述，其中相同的數字表示相同的組件，以及其中： 第1圖示出根據QTBT結構對CTU進行劃分的示例。 第2圖示出用於塊劃分的五種分割類型，包括四叉樹、垂直二叉樹、水平二叉樹、垂直中心側三叉樹和水平中心側三叉樹。 第3圖示出VVC標準中不允許的TT和BT劃分的示例。 第4圖示出使用共用樹編解碼對CTU進行編解碼的示例性排程架構。 第5圖示出用於使用色度分離樹編解碼對CTU進行編碼的一種簡單的排程架構。 第6圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中色度管線單元的處理被延遲一個管線單元時間間隔。 第7圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中色度管線單元的處理被延遲兩個管線單元時間間隔。 第8圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中色度管線單元的處理被延遲三個管線單元時間間隔。 第9圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中色度管線單元的處理被延遲四個管線單元時間間隔。 第10圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中亮度和色度編解碼資源在用於處理每個CTU的一個管線單元時間間隔中交替空閒。 第11圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中亮度和色度編碼資源在用於處理每個CTU的兩個管線單元時間間隔中交替空閒。 第12圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中亮度和色度編碼資源在用於處理每個CTU的三個管線單元時間間隔中交替空閒。 第13圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的實施例，其中兩個色度Cr管線單元和兩個色度Cb管線單元或無色度管線單元在一個管線單元時間間隔中被處理。 第14圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的另一實施例，其中在每個管線單元時間間隔中處理的色度管線單元的數量是變化的。 第15圖示出使用色度分離樹編解碼對CTU進行編解碼的低延遲排程架構的又一實施例，其中在每個管線單元時間間隔中處理的色度管線單元的數量是變化的。 第16圖示出根據本發明的實施例的用於使用色度分離樹編解碼來處理CTU的緩衝器的讀取和寫入操作。 第17圖示出根據本發明實施例的用於使用色度分離樹編解碼來處理CTU的一對乒乓緩衝器的讀取和寫入操作。 第18圖示出結合了根據本發明實施例的低延遲視訊編解碼方法的視訊編碼系統的示例性系統框圖。 第19圖示出結合了根據本發明實施例的低延遲視訊編解碼方法的視訊解碼系統的示例性系統框圖。
1900:解碼器
1910:熵解碼器
1912:幀內預測模組
1914:幀間預測模組
1916:開關
1918:重構模組
1920:逆量化模組
1922:逆變換模組
1924:環路處理濾波器
1928:參考圖片緩衝器

Claims (18)

  1. 一種視訊編碼或解碼系統中的低延遲視訊編解碼方法，包括： 接收與一當前幀内片段關聯的輸入資料，其中該當前幀内片段由用於編碼或解碼的多個編解碼樹單元組成，以及每個編解碼樹單元由一亮度編解碼樹塊和一個或多個色度編解碼樹塊組成； 將每個亮度編解碼樹塊劃分為多個不重叠的亮度管線單元，將每個色度編解碼樹塊劃分為多個不重叠的色度管線單元，其中該等亮度管線單元和該等色度管線單元中的每一個由該視訊編碼或解碼系統中的一個管線級接一個管線級處理，以及不同的管線級同時處理不同的管線單元；以及 藉由在至少一個管線級中開始處理相應的該等亮度管線單元之後執行該等色度管線單元的處理來對該當前幀内片段中的該等編解碼樹單元進行編碼或解碼，其中在一管線單元時間間隔内，一個亮度管線單元和至少一個先前色度管線單元由該管線級同時處理。
  2. 如請求項1所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，將該當前幀内片段中的一第一編解碼樹單元的一第一亮度管線單元處理一延遲時間間隔後，該管線級處理該當前幀内片段中的該第一編解碼樹單元的一第一色度管線單元，其中該延遲時間間隔被定義為一管線單元時間間隔、一預定延遲時間間隔，或者該延遲時間間隔根據多個可用的亮度重構樣本來定義。
  3. 如請求項2所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，該當前幀内片段中的一第一編解碼樹單元的一第一亮度管線單元由該管線級在一第一管線單元時間間隔內處理，以及該當前幀内片段中的該第一編解碼樹單元的一第一色度管線單元由該管線級在一預定管線單元時間間隔內處理，其中，該預定管線單元時間間隔為從該第一管線單元時間間隔延遲了N個管線單元時間間隔，其中N為大於或等於1的一整數。
  4. 如請求項3所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，在除了前N個管線單元時間間隔和最後N個管線單元時間間隔的每個管線單元時間間隔中，一個亮度管線單元和至少一個先前色度管線單元由該管線級同時編碼或解碼，用於處理該當前幀内片段中的多個亮度管線單元和多個色度管線單元。
  5. 如請求項4所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，該亮度管線單元屬於該當前幀内片段的一當前編解碼樹單元，以及該至少一個先前色度管線單元按照一編解碼順序屬於該當前幀内片段的該當前編解碼樹單元或一先前編解碼樹單元。
  6. 如請求項4所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，每個編解碼樹單元由一亮度編解碼樹塊、一色度Cr編解碼樹塊和一色度Cb編解碼樹塊組成，其中在除了前N個管線單元時間間隔和最後N個管線單元時間間隔的每個管線單元時間間隔中，一個亮度管線單元與一個先前色度Cr管線單元和一個先前色度Cb管線單元由該管線級同時編碼或解碼。
  7. 如請求項3所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，N是1，該預定管線單元時間間隔是一第二管線單元時間間隔，每個亮度編解碼樹塊被劃分為四個亮度管線單元，每個色度編解碼樹塊被劃分為四個色度管線單元，其中在該第二管線單元時間間隔內，該第一編解碼樹單元的該第一色度管線單元與該第一編解碼樹單元的一第二亮度管線單元由該管線級同時處理，在一第三管線單元時間間隔内，該第一編解碼樹單元的一第二色度管線單元與該第一編解碼樹單元的一第三亮度管線單元由該管線級同時處理，在一第四管線單元時間間隔內，該第一編解碼樹單元的一第三色度管線單元與該第一編解碼樹單元的一最後一個亮度管線單元由該管線級同時處理，以及在一第五管線單元時間間隔內，該第一編解碼樹單元的一最後一個色度管線單元與該當前幀内片段中的一第二編解碼樹單元的一第一亮度管線單元由該管線級同時處理。
  8. 如請求項3所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，在至少一個管線單元時間間隔內，該第一編解碼樹單元的一個亮度管線單元和該第一編解碼樹單元的一個先前色度管線單元由管線級同時編碼或解碼，在處理該第一編解碼樹單元的該最後一個亮度管線單元延遲的M個管線單元時間間隔後，該當前幀内片段中的一第二編解碼樹單元的一第一亮度管線單元由該管線級處理，其中M等於N，N等於1、2或3。
  9. 如請求項3所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，在至少一個管線單元時間間隔內，該第一編解碼樹單元的一個亮度管線單元和該第一編解碼樹單元的多個色度管線單元由該管線級同時處理。
  10. 如請求項9所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，每個編解碼樹單元的一第一色度管線單元和一第二色度管線單元與該相同編解碼樹單元的一第三亮度管線單元由該管線級同時處理，每個編解碼樹單元的一第三色度管線單元和一第四色度管線單元與一後續編解碼樹單元的一第一亮度管線單元由該管線級同時處理。
  11. 如請求項9所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，每個編解碼樹單元的一第一色度管線單元和一第二色度管線單元與該相同編解碼樹單元的一第三亮度管線單元由該管線級同時處理，每個編解碼樹單元的一第三色度管線單元與該相同編解碼樹單元的一最後一個亮度管線單元由該管線級同時處理，以及每個編解碼樹單元的一最後一個色度管線單元與一後續編解碼樹單元的一第一亮度管線單元由該管線級同時處理。
  12. 如請求項9所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，每個編解碼樹單元的一第一色度管線單元與該相同編解碼樹單元的一第三亮度管線單元由該管線級同時處理，每個編解碼樹單元的一第二色度管線單元和一第三色度管線單元與該相同編解碼樹單元的一最後一個管線單元由該管線級同時處理，以及每個編解碼樹單元的一最後一個色度管線單元與一後續編解碼樹單元的一第一亮度管線單元由該管線級同時處理。
  13. 如請求項1所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，對於包含一個或多個編解碼單元的一管線單元，該一個或多個編解碼單元完全包含在該管線單元中，否則對於包含一個或多個管線單元的一編解碼單元，該一個或多個管線單元完全包含在該編解碼單元中。
  14. 如請求項1所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，該多個亮度和色度管線單元的大小分別被設置為等於多個亮度和色度分量的多個最大變換單元大小，或者基於一視訊壓縮標準中的文檔或級別隱式定義。
  15. 如請求項1所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，該當前幀內片段使用色度分離樹進行編碼或解碼，使得一個編解碼樹單元中的亮度編解碼樹單元和色度編解碼樹單元能夠以不同的編解碼樹結構進行編碼或解碼。
  16. 如請求項1所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，一緩衝器被用來對該當前幀内片段中的多個編解碼樹單元進行編碼或解碼，該方法還包括： 對每個亮度管線單元的多個亮度重構樣本和多個亮度相鄰重構樣本進行下採樣； 將與每個亮度管線單元相關聯的多個亮度下採樣重構樣本、多個亮度下採樣相鄰重構樣本和多個亮度幀內角度模式寫入該緩衝器；以及 從該緩衝器中讀取該等亮度下採樣重構樣本、該等亮度下採樣相鄰重構樣本和該等亮度幀內角度模式，以使用幀内預測的交叉分量線性模型和直接模式對一色度管線單元進行編碼或解碼。
  17. 如請求項1所述之視訊編碼或解碼系統中的低延遲視訊編解碼方法，其中，一對乒乓緩衝器被用來對該當前幀內片段進行編碼或解碼，該方法還包括： 對當前幀內片段的每個亮度管線單元的多個亮度重構樣本和多個亮度相鄰重構樣本進行下採樣； 將與每個編解碼樹單元中的多個偶數個亮度管線單元相關聯的多個亮度下採樣重構樣本、多個亮度下採樣相鄰重構樣本和多個亮度幀內角度模式寫入一第一緩衝器； 將與每個編解碼樹單元的多個奇數亮度管線單元相關聯的多個亮度下採樣重構樣本、多個亮度下採樣相鄰重構樣本和多個亮度幀內角度模式寫入一第二緩衝器； 從第一緩衝器讀取一相關偶數亮度管線單元的多個亮度下採樣重構樣本、多個亮度下採樣相鄰重構樣本和多個亮度幀內角度模式，以使用交叉分量線性模型和直接模式對一奇數色度管線單元進行編碼或解碼；以及 從第二緩衝器讀取一相關奇數亮度管線單元的多個亮度下採樣重構樣本、多個亮度下採樣相鄰重構樣本和多個亮度幀內角度模式，以使用交叉分量線性模型和直接模式對一偶數色度管線單元進行編碼或解碼。
  18. 一種視訊編碼或解碼系統中的低延遲視訊編碼方法的裝置，該裝置包括一個或多個電子電路，該一個或多個電子電路被配置用於： 接收與一當前幀内片段關聯的輸入資料，其中該當前幀内片段由用於編碼或解碼的多個編解碼樹單元組成，以及每個編解碼樹單元由一亮度編解碼樹塊和一個或多個色度編解碼樹塊組成； 將每個亮度編解碼樹塊劃分為多個不重叠的亮度管線單元，將每個色度編解碼樹塊劃分為多個不重叠的色度管線單元，其中該等亮度管線單元和該等色度管線單元中的每一個由該視訊編碼或解碼系統中的一個管線級接一個管線級處理，以及不同的管線級同時處理不同的管線單元；以及 藉由在至少一個管線級中開始處理相應的該等亮度管線單元之後執行該等色度管線單元的處理來對該當前幀内片段中的該等編解碼樹單元進行編碼或解碼，其中在一管線單元時間間隔内，一個亮度管線單元和至少一個先前色度管線單元由該管線級同時處理。
TW111108465A 2021-08-27 2022-03-09 色度分離樹的低延遲視訊編解碼方法和裝置 TWI786000B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163237557P 2021-08-27 2021-08-27
US63/237,557 2021-08-27
US17/552,963 US11800102B2 (en) 2021-08-27 2021-12-16 Low-latency video coding methods and apparatuses for chroma separated tree
US17/552,963 2021-12-16

Publications (2)

Publication Number Publication Date
TWI786000B TWI786000B (zh) 2022-12-01
TW202310633A true TW202310633A (zh) 2023-03-01

Family

ID=85286844

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111108465A TWI786000B (zh) 2021-08-27 2022-03-09 色度分離樹的低延遲視訊編解碼方法和裝置

Country Status (2)

Country Link
US (1) US11800102B2 (zh)
TW (1) TWI786000B (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274178A1 (en) * 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Method and device for parallel decoding of video data units
US10827178B2 (en) * 2014-05-28 2020-11-03 Arris Enterprises Llc Content aware scheduling in a HEVC decoder operating on a multi-core processor platform
WO2016074147A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
KR101925681B1 (ko) * 2016-09-28 2018-12-05 가천대학교 산학협력단 멀티코어 시스템을 이용한 병렬 비디오 처리
WO2020017513A1 (en) * 2018-07-16 2020-01-23 Sharp Kabushiki Kaisha Systems and methods for generating prediction blocks for coding of video data
CN113678442A (zh) * 2019-05-17 2021-11-19 松下电器（美国）知识产权公司 用于视频编码的系统和方法
US11102483B2 (en) 2019-05-17 2021-08-24 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2020256086A1 (en) 2019-06-21 2020-12-24 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2020263493A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Method and system for processing luma and chroma signals
US20220224890A1 (en) * 2019-08-23 2022-07-14 Hfi Innovation Inc. Method and Apparatus of Partitioning Small Size Coding Units with Partition Constraints
US11375242B1 (en) * 2021-01-27 2022-06-28 Qualcomm Incorporated Compression of bitstream indexes for parallel entropy coding

Also Published As

Publication number Publication date
TWI786000B (zh) 2022-12-01
US11800102B2 (en) 2023-10-24
US20230065083A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
USRE49727E1 (en) System and method for decoding using parallel processing
TWI666927B (zh) 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置
JP6412910B2 (ja) ビデオを復号化する方法、ビデオを符号化する方法、デコーダ、エンコーダ、復号プログラムを記録したコンピュータ読み取り可能な記録媒体、および符号化プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7483035B2 (ja) ビデオ復号方法並びにその、ビデオ符号化方法、装置、コンピュータデバイス及びコンピュータプログラム
JP5075988B2 (ja) 動画像の並列的な符号化および復号のための方法、装置、および、システム
JP6792685B2 (ja) ビデオフレームを符号化する方法および装置
TWI830629B (zh) 轉換省略區塊之傳訊編碼技術
JP7379656B2 (ja) ビデオ信号処理方法及び装置
TW201444350A (zh) 方形區塊預測
TWI785502B (zh) 在分塊中指明切片之切片組塊的視訊編解碼方法及電子裝置
US11601647B2 (en) Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
CN106134192B (zh) 图像解码装置、图像解码方法及集成电路
CN115152235A (zh) 图像或视频处理系统中传送回路滤波器参数的方法及装置
US20210152826A1 (en) Specifying Video Picture Information
US11477445B2 (en) Methods and apparatuses of video data coding with tile grouping
TWI792348B (zh) 視訊處理方法和裝置
TWI786000B (zh) 色度分離樹的低延遲視訊編解碼方法和裝置
JP2023546962A (ja) 成分間のブロック終了フラグの符号化
TWI779545B (zh) 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置
CN115209141A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
KR20210035413A (ko) 비디오 코덱에서 행렬 기반 인트라 예측에 따른 명시적 주변환 커널 적용 방법