TWI788262B - 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統 - Google Patents

用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統 Download PDF

Info

Publication number
TWI788262B
TWI788262B TW111120349A TW111120349A TWI788262B TW I788262 B TWI788262 B TW I788262B TW 111120349 A TW111120349 A TW 111120349A TW 111120349 A TW111120349 A TW 111120349A TW I788262 B TWI788262 B TW I788262B
Authority
TW
Taiwan
Prior art keywords
chroma
luma
block
transform block
size
Prior art date
Application number
TW111120349A
Other languages
English (en)
Other versions
TW202239204A (zh
Inventor
克里斯多福 羅斯沃恩
Original Assignee
日商佳能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商佳能股份有限公司 filed Critical 日商佳能股份有限公司
Publication of TW202239204A publication Critical patent/TW202239204A/zh
Application granted granted Critical
Publication of TWI788262B publication Critical patent/TWI788262B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Abstract

一種從一視頻位元流解碼一影像框之一顏色頻道的一變換區塊的系統及方法。該方法包含判定該影像框之一色度格式，該色度格式具有相對於該影像框之一亮度頻道而被次取樣的該影像框之色度頻道；判定該變換區塊之一係數群組大小，該係數群組大小為高達16樣本之該變換區塊的一最大面積，該係數群組大小僅根據該變換區塊大小來判定且無關於以下兩者：(i)該變換區塊之一顏色平面及(ii)由於該已判定色度格式所致之顏色平面次取樣；及使用來自該視頻位元流之該已判定大小的係數群組以解碼該變換區塊。

Description

用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統
本發明一般係有關於數位視頻信號處理，而特別是有關於用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統。本發明亦有關於一種電腦程式產品，包括電腦可讀取媒體，其上記錄有用以編碼和解碼視頻樣本之區塊樹的電腦程式。
目前存在許多針對視頻編碼之應用程式，包括用於視頻資料之傳輸及儲存的應用程式。許多視頻編碼標準已被開發，而其他則目前正在開發中。視頻編碼標準化之最近發展已導致一種稱為「聯合視頻專家小組」(JVET)之群組的形成。聯合視頻專家小組(JVET)包括國際電信聯盟(ITU)之電信標準化分段(ITU-T)的學習群16、問題6(SG16/Q6)之成員，亦已知為「視頻編碼專家群」(VCEG)；及用於標準化/國際電工委任聯合技術委員會1/子委員會29/工作群11(ISO/IEC JTC1/SC29/WG11)的國際組織之成員，亦已知為「動畫專家群」(MPEG)。
聯合視頻專家小組(JVET)發送針對提議之呼叫(CfP)，以其在San Diego，USA之第10次會議上所分析的回應。所提出的回應展現顯著地超越當前最先進視頻壓縮標準的視頻壓縮能力，亦即：「高效率視頻編碼」(HEVC)。基於此超越，已決定開始一種開發新視頻壓縮標準的計畫，稱為「多樣視頻編碼」(VVC)。預計VVC將滿足對於越來越高的壓縮性能之不間斷的需求，特別是隨著視頻格式增加其容量(例如，具有更高的解析度及更高的框率)；以及滿足對於透過WAN(無線區域網路)之服務傳遞的漸增市場需求，其中頻寬成本是相當高的。同時，VVC必須在當代矽製程中為可實施的且必須提供介於已達成性能相對於實施成本之間的可接受取捨(例如，針對矽面積、CPU處理器負載、記憶體利用及頻寬)。
視頻資料包括影像資料之一連串框，其各者包括一或更多顏色頻道。通常，需要一個主要顏色頻道及兩個次要顏色頻道。主要顏色頻道通常被稱為「亮度(luma)」頻道而次要顏色頻道通常被稱為「色度」頻道。雖然視頻資料通常被顯示以RGB(紅-綠-藍)顏色空間，但此顏色空間具有在三個個別成分之間的高度相關。由編碼器或解碼器所見之視頻資料表示經常使用諸如YCbCr之顏色空間。YCbCr將亮度，依據轉移函數而映射至「luma(亮度)」，聚集於Y(主要)頻道以及將色度聚集於Cb和Cr(次要)頻道。此外，Cb和Cr頻道可相較於亮度頻道被空間地取樣以較低的率(次取樣)，例如半水平及半垂直，已知為「4：2：0色度格式」。4：2：0色度格式常用於「消費者」應用，諸如網際網路視頻串流、廣播電視、及藍光(Blu-Ray TM)光碟上之儲存。以水平地半率次取樣Cb及Cr頻道而不垂直地次取樣係已知為「4：2：2色度格式」。4：2：2色度格式通常用於專業應用，包括用於電影製作之連續鏡頭的捕捉，等等。4：2：2色度格式之較高的取樣率使所得的視頻更能承受編輯操作(諸如顏色分級)。在發佈至消費者之前，4：2：2色度格式材料常被轉換為4：2：0色度格式並接著編碼以供發佈至消費者。除了色度格式之外，視頻亦由解析度及框率來特徵化。範例解析度為具有3840x2160之解析度的超高解析度(UHD)或具有7680x4320之解析度的「8K」，而範例框率為60或120Hz。亮度取樣率的範圍可從每秒約500百萬樣本至每秒數十億樣本。針對4：2：0色度格式，各色度頻道之取樣率是亮度樣本之取樣率的四分之一；而針對4：2：2色度格式，各色度頻道之取樣率是亮度取樣率的一半。
VVC標準是「區塊為基的」編碼解碼器，其中框被首先分割為方形陣列的區，已知為「編碼樹單元」(CTU)。CTU通常佔據相當大的面積，諸如128x128亮度樣本。然而，在各框之右下邊緣上的CTU可具有較小的面積。與各CTU關聯者為針對亮度頻道之「編碼樹」及針對色度頻道之額外編碼樹。編碼樹係界定將CTU之區域分解為一組區塊，亦稱為「編碼區塊」(CB)。單一編碼樹亦有可能指明針對亮度頻道及色度頻道兩者之區塊，在該情況下共置編碼區塊的集合被稱為「編碼單元」(CU)，亦即，各CU具有針對各顏色頻道之編碼區塊。CB被處理以供依特定順序編碼或解碼。由於使用4：2：0色度格式，具有針對128x128亮度樣本區域之亮度編碼樹的CTU具有針對64x64色度樣本區域(其係與128x128亮度樣本區域共置)之相應色度編碼樹。當單一編碼樹用於亮度頻道及色度頻道時，既定區域之共置區塊的集合一般被稱為「單元」，例如上述CU、以及「預測單元」(PU)、和「變換單元」(TU)。當分離的編碼樹用於既定區域時，則使用上述CB、以及「預測區塊」(PB)、和變換區塊(TB)。
儘管介於「單元」與「區塊」之間的上述區別，術語「區塊」可被使用為針對操作所被應用至所有顏色頻道之一框的區域或區之一般性術語。
針對各CU，框資料之相應區域的內容(樣本值)之預測單元(PU)被產生(「預測單元」)。再者，介於如在對於編碼器之輸入上所見之區域的預測與內容之間的差異(或空間領域中之「殘餘」)之表示被形成。各顏色頻道中之差異可被變換且編碼為殘餘係數之序列，形成針對既定CU之一或更多TU。所施加的變換可為離散餘弦變換(DCT)或其他變換，施加至殘餘值之各區塊。此變換被可分離地施加(亦即，其為二維變換)被履行在二次中。該區塊首先係藉由對該區塊中之各列樣本施加一維變換而被變換。接著，部分結果係藉由對各行部分結果施加一維變換而被變換，以產生其實質上解相關該等殘餘樣本之變換係數的最後區塊。各種大小之變換係由VVC標準所支援，包括矩形形狀區塊之變換，以各側尺寸為二的次方。變換係數被量化以供熵編碼為位元流。
當空間預測(「內預測」)被用以產生PB時，一組參考樣本被用以產生目前PB之預測樣本。參考樣本包括相鄰於其已被「重建」(將殘餘樣本加入至內預測樣本)之PB的樣本。這些相鄰樣本形成PB上方之列以及PB的左邊之行。該列及行亦延伸超過PB邊界以包括額外的附近樣本。由於依Z順序掃描來掃描區塊，部分參考樣本將已被重建在緊接在前的區塊中。使用來自緊接在前的區塊之樣本導致了回饋依存性，其可能限制通過視頻編碼器或解碼器之區塊的通量。此外，在相對小區塊係預測自其他框(「間預測」)的情況下，用以提取參考樣本之記憶體頻寬可能變為過量的，特別是考量用以容納子像素內插過濾所需的額外樣本。
本發明之一目的係實質上克服(或至少改善)現存配置之一或更多缺點。
本揭露之一形態提供一種從一視頻位元流解碼一影像框之一顏色頻道的一變換區塊的方法，該方法包含：判定該影像框之一色度格式，該色度格式具有相對於該影像框之一亮度頻道而被次取樣的該影像框之色度頻道；判定該變換區塊之一係數群組大小，該係數群組大小為高達16樣本之該變換區塊的一最大面積，該係數群組大小僅根據該變換區塊大小來判定且無關於以下兩者：(i)該變換區塊之一顏色平面及(ii)由於該已判定色度格式所致之顏色平面次取樣；及使用來自該視頻位元流之該已判定大小的係數群組以解碼該變換區塊。
依據另一形態，一單一表被用於屬於該位元流之影像框的亮度及色度顏色平面之變換區塊。
依據另一形態，該係數群組大小被選為具有在變換區塊寬度及高度之約束內最接近於1：1的一高寬比。
本揭露之另一形態提供一種非暫態電腦可讀取媒體，其上儲存有一電腦程式以實施從一視頻位元流解碼一影像框之一顏色頻道的一變換區塊的一方法，該程式包含：用以判定該影像框之一色度格式的碼，該色度格式具有相對於該影像框之一亮度頻道而被次取樣的該影像框之色度頻道；用以判定該變換區塊之一係數群組大小的碼，該係數群組大小為高達16樣本之該變換區塊的一最大面積，該係數群組大小僅根據該變換區塊大小來判定且無關於以下兩者：(i)該變換區塊之一顏色平面及(ii)由於該已判定色度格式所致之顏色平面次取樣；及用以使用來自該視頻位元流之該已判定大小的係數群組以解碼該變換區塊的碼。
本揭露之另一形態提供一種視頻解碼器，其係組態成：從一視頻位元流接收一影像框之一顏色頻道的一變換區塊；判定該影像框之一色度格式，該色度格式具有相對於該影像框之一亮度頻道而被次取樣的該影像框之色度頻道；判定該變換區塊之一係數群組大小，該係數群組大小為高達16樣本之該變換區塊的一最大面積，該係數群組大小僅根據該變換區塊大小來判定且無關於以下兩者：(i)該變換區塊之一顏色平面及(ii)由於該已判定色度格式所致之顏色平面次取樣；及使用來自該視頻位元流之該已判定大小的係數群組以解碼該變換區塊。
本揭露之另一形態提供一種系統，包含：一記憶體；及一處理器，其中該處理器係組態成執行該記憶體上所儲存的碼以實施從一視頻位元流解碼一影像框之一顏色頻道的一變換區塊的一方法，該方法包含：判定該影像框之一色度格式，該色度格式具有相對於該影像框之一亮度頻道而被次取樣的該影像框之色度頻道；判定該變換區塊之一係數群組大小，該係數群組大小為高達16樣本之該變換區塊的一最大面積，該係數群組大小僅根據該變換區塊大小來判定且無關於以下兩者：(i)該變換區塊之一顏色平面及(ii)由於該已判定色度格式所致之顏色平面次取樣；及使用來自該視頻位元流之該已判定大小的係數群組以解碼該變換區塊。
其他形態亦被揭露。
於附圖之任何一或更多者中係參考其具有相同參考數字之步驟及/或特徵，那些步驟及/或特徵為了本說明書之目的而具有相同的功能或操作，除非出現相反的意圖。
如上所述，使用來自緊接在前的區塊之樣本導致了回饋依存性，其可能限制通過視頻編碼器或解碼器之區塊的通量。希望有用以減輕所得回饋依存性迴路之嚴重性的方法來確保可維持處理區塊之高速率，如針對典型即時編碼和解碼應用程式所需者。回饋依存性迴路對於當代視頻格式之高樣本率是特別有問題的，例如每秒500-4000樣本，而ASIC(特定應用積體電路)時鐘頻率通常為數百MHz。
圖1為概略方塊圖，其顯示一種視頻編碼及解碼系統100之功能模組。系統100可針對亮度及色度編碼樹中之區的可容許子分割利用不同的規則以減少所遭遇的最差情況區塊處理速率。例如，系統100可操作以使得區塊總是被調整為16(十六)個樣本的倍數，無論該區塊之高寬比。此外，當編碼樹包括一指示小亮度編碼區塊之存在的分裂時，該分裂可被禁止在色度頻道中，導致單一色度CB與數個亮度CB共置。色度CB可使用單一預測模式，諸如一個內預測模式，獨立於共置亮度CB之各者的預測模式(包括其中一或更多亮度CB使用間預測)。殘餘係數編碼亦可利用16個區塊大小的倍數，包括在具有兩個樣本之寬度或高度的區塊之情況下。
系統100包括來源裝置110及目的地裝置130。通訊頻道120被用以傳遞已編碼視頻資訊從來源裝置110至目的地裝置130。在一些配置中，來源裝置110及目的地裝置130任一或兩者可包含個別行動電話手機或「智慧型手機」，於該情況下通訊頻道120為無線頻道。在其他配置中，來源裝置110及目的地裝置130可包含視訊會議設備，於該情況下通訊頻道120通常為有線頻道，諸如網際網路連接。此外，來源裝置110及目的地裝置130可包含寬廣範圍的裝置之任一者，包括支援以下各者而的裝置：空中電視廣播、有線電視應用程式、網際網路視頻應用程式(包括串流)以及其中已編碼視頻資料被擷取於某電腦可讀取儲存媒體(諸如檔案伺服器中之硬碟驅動)上之應用程式。
如圖1中所示，來源裝置110包括視頻來源112、視頻編碼器114及傳輸器116。視頻來源112通常包含已擷取視頻框資料(顯示為113)之來源，諸如影像擷取感應器、儲存在非暫態記錄媒體上之先前擷取的視頻序列、或饋送自遠端影像擷取感應器之視頻。視頻來源112亦可為電腦圖形卡之輸出，例如，顯示其執行於計算裝置(例如，平板電腦)上之作業系統及各種應用程式的視頻輸出。來源裝置110(其可包括影像擷取感應器為視頻來源112)之範例包括智慧型手機、視頻攝影機、專業視頻相機、及網路視頻相機。
視頻編碼器114將擷取的框資料(由箭號113所指示)從視頻來源112轉換(或「編碼」)為位元流(由箭號115所指示)，如參考圖3所進一步描述。位元流115係由傳輸器116透過通訊頻道120而被傳輸為已編碼視頻資料(或「已編碼視頻資訊」)。亦有可能位元流115被儲存於非暫態儲存裝置122(諸如「快閃」記憶體或硬碟驅動)中，直到稍後透過通訊頻道120而被傳輸，或者替代其透過通訊頻道120之傳輸。
目的地裝置130包括接收器132、視頻解碼器134及顯示裝置136。接收器132從通訊頻道120接收已編碼視頻資料並將已接收視頻資料傳送至視頻解碼器134而成為位元流(由箭號133所指示)。視頻解碼器134接著將已解碼框資料(由箭號135所指示)輸出至顯示裝置136。已解碼框資料135具有如框資料113的相同色度格式。顯示裝置136之範例包括陰極射線管、液晶顯示(諸如智慧型手機中的)、平板電腦、電腦監視器或獨立型電視機。來源裝置110及目的地裝置130之各者的功能亦可能被實施於單一裝置中，其範例包括行動電話手機和平板電腦。
儘管以上所提之範例裝置，來源裝置110及目的地裝置130之各者可被組態於通用計算系統內，通常透過硬體與軟體組件之組合。圖2A闡明此一電腦系統200，其包括：電腦模組201；輸入裝置，諸如鍵盤202、滑鼠指針裝置203、掃描器226、相機227(其可被組態成視頻來源112)、及麥克風280；及輸出裝置，包括印表機215、顯示裝置214(其可被組態成顯示裝置136)、及揚聲器217。外部調變器-解調器(數據機)收發器裝置216可由電腦模組201所使用，以經由連接221而通訊至及自通訊網路220。通訊網路220(其可代表通訊頻道120)可為廣域網路(WAN)(諸如網際網路)、胞狀電信網路、或私人WAN。當連接221為電話線時，數據機216可為傳統的「撥接」數據機。替代地，當連接221為高容量(例如，電纜或光學)連接時，則數據機216可為寬頻數據機。無線數據機亦可被用於無線連接至通訊網路220。收發器裝置216可提供傳輸器116及接收器132之功能，而通訊頻道120可被實施於連接221中。
電腦模組201通常包括至少一處理器單元205、及記憶體單元206。例如，記憶體單元206可具有半導體隨機存取記憶體(RAM)及半導體唯讀記憶體(ROM)。電腦模組201亦包括數個輸入/輸出(I/O)介面，包括：音頻-視頻介面207，其係耦合至視頻顯示214、揚聲器217及麥克風280；I/O介面213，其係耦合至鍵盤202、滑鼠203、掃描器226、相機227及選擇性地搖桿或其他人類介面裝置(未顯示)；以及用於外部數據機216和印表機215之介面208。從音頻-視頻介面207至電腦監視器214之信號通常為電腦圖形卡之輸出。於某些實施方式中，數據機216可被結合入電腦模組201內，例如於介面208內。電腦模組201亦具有局部網路介面211，其允許經由連接223之電腦系統200的耦合至局部區域通訊網路222，已知為區域網路(LAN)。如圖2A中所示，本地通訊網路222亦可經由連接224而耦合至廣域網路220，該連接224通常將包括所謂的「防火牆」裝置或類似功能的裝置。局部網路介面211可包含Ethernet TM電路卡、Bluetooth TM無線配置或IEEE 802.11無線配置；然而，多種其他類型的介面可被實施於介面211。局部網路介面211亦可提供傳輸器116及接收器132之功能，而通訊頻道120可被實施於局部通訊網路222中。
I/O介面208及213可提供串列及平行連接之一者或兩者，前者通常係依據通用串列匯流排(USB)標準而被實施並具有相應的USB連接器(未顯示)。儲存裝置209被提供且通常包括硬碟驅動(HDD)210。諸如軟碟驅動及磁帶驅動(未顯示)等其他儲存裝置亦可被使用。光碟驅動212通常被提供以作用為資料之非揮發性來源。可攜式記憶體裝置(諸如光碟(例如，CD-ROM，DVD，藍光光碟)、USB-RAM、可攜式、外部硬碟驅動、及軟碟，舉例而言)可被使用為針對電腦系統200之資料的適當來源。通常，HDD 210、光學驅動212、網路220及222之任一者亦可被組態成操作為視頻來源112、或者為已解碼視頻資料之目的地以被儲存而供經由顯示214之再生。系統100之來源裝置110及目的地裝置130可被實施於電腦系統200中。
電腦模組201之組件205至213通常係經由互連匯流排204來通訊，且係以一種方式，其導致相關技術中那些熟悉本領域人士所已知的電腦系統200之操作的傳統模式。例如，處理器205係使用連接218而被耦合至系統匯流排204。同樣地，記憶體206及光碟驅動212係藉由連接219而被耦合至系統匯流排204。上述配置可被實行於其上之電腦的範例包括IBM-PC及相容者、Sun SPARC站、Apple Mac TM或類似的電腦系統。
當適當或想要時，視頻編碼器114及視頻解碼器134(以及以下所描述的方法)可使用電腦系統200來實施。特別地，視頻編碼器114、視頻解碼器134及待描述的方法可被實施為可於電腦系統200內執行的一或更多軟體應用程式233。特別地，視頻編碼器114、視頻解碼器134及所述方法之步驟係由軟體233(其被執行於電腦系統200內)中之指令231(參見圖2B)所實現。軟體指令231可被形成為一或更多碼模組，各用以履行一或更多特定工作。軟體亦可被劃分為兩個分離部分，其中第一部分及相應的碼模組係履行所述的方法而第二部分及相應的碼模組係管理介於第一部分與使用者之間的使用者介面。
軟體可被儲存於電腦可讀取媒體中，包括以下所述之儲存裝置，舉例而言。軟體係從電腦可讀取媒體被載入電腦系統200，且接著由電腦系統200所執行。具有此軟體或電腦程式(其係記錄於電腦可讀取媒體上)之電腦可讀取媒體為一種電腦程式產品。電腦系統200中之電腦程式產品的使用最好是實現一種有利的設備，用以實施視頻編碼器114、視頻解碼器134及所述方法。
軟體233通常被儲存於HDD 210或記憶體206中。軟體係從電腦可讀取媒體被載入電腦系統200，且由電腦系統200所執行。因此，例如，軟體233可被儲存於光學可讀取碟儲存媒體(例如，CD-ROM)225上，其係由光碟驅動212所讀取。
於某些例子中，應用程式233可被供應至使用者，其係被編碼於一或更多CD-ROM 225上並經由相應的驅動212來讀取；或者替代地可由使用者從網路220或222所讀取。又再者，軟體亦可從其他電腦可讀取媒體被載入電腦系統200。電腦可讀取儲存媒體係指稱任何非暫態有形儲存媒體，其係提供已記錄指令及/或資料至電腦系統200以供執行及/或處理。此儲存媒體之範例包括軟碟、磁帶、CD-ROM、DVD、藍光光碟、硬碟驅動、ROM或積體電路、USB記憶體、磁光碟、或電腦可讀取卡(諸如PCMCIA)等等，無論此類裝置係位於電腦模組201之內部或外部。暫態或非有形電腦可讀取傳輸媒體(其亦可參與軟體、應用程式、指令及/或視頻資料或已編碼視頻資料之提供至電腦模組401)的範例包括無線電或紅外線傳輸頻道、以及網路連接至另一電腦或網連裝置、及網際網路或內部網路(包括記錄於網站上之e-mail傳輸和資訊)，等等。
上述應用程式233之第二部分及相應的碼模組可被執行以實施一或更多圖形使用者介面(GUI)以被渲染或者表示於顯示214上。透過典型地鍵盤202及滑鼠203之調處，電腦系統200及應用程式之使用者可以一種功能上可調適的方式調處該介面來提供控制命令及/或輸入至其與GUI相關的應用程式。功能上可調適的使用者介面之其他形式亦可被實施，諸如音頻介面，其係利用經由揚聲器217而輸出之語音提升及經由麥克風280而輸入之使用者聲音命令。
圖2B為處理器205及「記憶體」234之詳細的概略方塊圖。記憶體234代表所有記憶體模組(包括HDD 209及半導體記憶體206)之邏輯聚合，其可由圖2A中之電腦模組201所存取。
當電腦模組201被初始地啟動時，開機自我測試(POST)程式250便執行。POST程式250通常被儲存於圖2A之半導體記憶體206的ROM 249中。儲存軟體之硬體裝置(諸如ROM 249)有時被稱為韌體。POST程式250係檢查電腦模組201內之硬體以確保適當的作用且通常係檢查處理器205、記憶體234(209、206)、及基本輸入輸出系統軟體(BIOS)模組251(通常亦儲存於ROM 249中)以利正確操作。一旦POST程式250已成功地運行，則BIOS 251便啟動圖2A之硬碟驅動210。硬碟驅動210之啟動造成自舉載入器程式252，其係駐存在硬碟驅動210上以經由處理器205而執行。如此便將作業系統253載入RAM記憶體206，作業系統253便於其上開始操作。作業系統253為系統階應用程式(可由處理器205所執行)，用以完成各種高階功能，包括處理器管理、記憶體管理、裝置管理、儲存管理、軟體應用程式介面、及一般使用者介面。
作業系統253係管理記憶體234(209、206)以確保其運行於電腦模組201上之各程序或應用程式具有足夠的記憶體，其中用以執行而不與其配置給其他程序之記憶體衝突。再者，可用於圖2A之電腦系統200中的不同類型的記憶體需被適當地使用以致其各程序可有效地運行。因此，聚合記憶體234不是想要闡明記憶體之特定片段如何被配置(除非另有聲明)，而是提供可由電腦系統200所存取之記憶體以及其如何被使用的一般性視圖。
如圖2B中所示，處理器205包括數個功能性模組，包括：控制單元239、算術邏輯單元(ALU)240、及本地或內部記憶體248(有時稱為快取記憶體)。快取記憶體248通常包括數個儲存暫存器244-246於暫存器區段中。一或更多內部匯流排241功能地互連這些功能模組。處理器205通常亦具有一或更多介面242，用以使用連接218經由系統匯流排204而與外部裝置通訊。記憶體234係使用連接219而被耦合至匯流排204。
應用程式233包括指令231之序列，其可包括條件式分支及迴路指令。程式233亦可包括資料232，其被用於程式233之執行。指令231及資料232被個別地儲存於記憶體位置228、229、230及235、236、237中。根據指令231及記憶體位置228-230之相對大小，特別指令可被儲存於單一記憶體位置(如由記憶體位置230中所示之指令所描述者)中。另一方面，指令可被分割為數個部分，其各者被儲存於分離的記憶體位置中，如由記憶體位置228及229中所示之指令片段所描述者。
通常，處理器205被提供一組被執行於其中之指令。處理器205等待後續輸入，處理器205係藉由執行另一組指令而對該輸入做出反應。各輸入可被提供自數個來源之一或更多者，包括由輸入裝置202、203之一或更多者所產生的資料、從橫跨網路220、202之一的外部來源所接收的資料、從儲存裝置206、209之一所擷取的資料或者從其插入相應讀取器212之儲存媒體225所擷取的資料，均描繪於圖2A中。一組指令之執行可(於某些情況下)導致資料之輸出。執行亦可涉及將資料或變數儲存至記憶體234。
視頻編碼器114、視頻解碼器134及所述方法可使用輸入變數254，其被儲存於相應記憶體位置255、256、257中之記憶體234中。視頻編碼器114、視頻解碼器134及所述方法係產生輸出變數261，其被儲存於相應記憶體位置262、263、264中之記憶體234中。中間變數258可被儲存於記憶體位置259、260、266及267中。
參考圖2B之處理器205，暫存器244、245、246、算術邏輯單元(ALU)240、及控制單元239係一起工作以履行微操作之序列，該些微操作是用以履行針對指令集(其組成程式233)中之每一指令的「提取、解碼、及執行」循環所需的。各提取、解碼、及執行循環包含： 提取操作，其係從記憶體位置228、229、230提取或讀取指令231； 解碼操作，其中控制單元239係判定哪個指令已被提取；及 執行操作，其中控制單元239及/或ALU 240係執行該指令。
之後，針對下一指令之進一步提取、解碼、及執行循環可被執行。類似地，儲存循環可被履行，控制單元239係藉由該儲存循環以將一值儲存或寫入至記憶體位置232。
圖10及11之方法中的各步驟或子程序(將被描述)係與程式233之一或更多片段相關且通常係由處理器205中之暫存器區段244、245、247、ALU 240、及控制單元239所履行，處理器205中之該些單元係一起工作以履行針對程式233之所述片段的指令集中之每一指令的提取、解碼、及執行循環。
圖3為概略方塊圖，其顯示視頻編碼器114之功能性模組。圖4為概略方塊圖，其顯示視頻解碼器134之功能性模組。通常，資料是在樣本或係數之群組中的視頻編碼器114及視頻解碼器134內的功能性模組之間傳遞，諸如將區塊分割為固定大小的子區塊、或成為陣列。視頻編碼器114及視頻解碼器134可使用通用電腦系統200(如圖2A及2B中所示者)來實施，其中各個功能性模組可藉由以下方式來實施：電腦系統200內之專屬硬體、電腦系統200內可執行之軟體，諸如其駐存在硬碟驅動205上且由處理器205於其執行時所控制的軟體應用程式233之一或更多軟體碼模組。替代地，視頻編碼器114及視頻解碼器134可藉由專屬硬體與電腦系統200內可執行之軟體的組合而被實施。視頻編碼器114、視頻解碼器134及所述方法可替代地被實施於專屬硬體中，諸如其履行所述方法之功能或子功能的一或更多積體電路。此等專屬硬體可包括圖形處理單元(GPU)、數位信號處理器(DSP)、特定應用標準產品(ASSP)、特定應用積體電路(ASIC)、場可編程閘極陣列(FPGA)或者一或更多微處理器及相關記憶體。特別地，視頻編碼器114包含模組310-386而視頻解碼器134包含模組420-496，其可各被實施為軟體應用程式233之一或更多軟體碼模組。
雖然圖3之視頻編碼器114為多樣視頻編碼(VVC)視頻編碼管線之範例，但其他視頻編碼解碼器亦可被使用以履行文中所述之處理階段。視頻編碼器114係接收已擷取的框資料113，諸如資料一連串的框，各框包括一或更多顏色頻道。框資料113可為4：2：0色度格式或4：2：2色度格式。區塊分割器310首先將框資料113分割為CTU，通常其形狀為方形且被組態以致其CTU之特定大小被使用。CTU之大小可例如為64x64、128x128、或256x256亮度樣本。區塊分割器310進一步依據亮度編碼樹及色度編碼樹以將各CTU分割為一或更多CB。CB具有多種大小，且可包括方形及非方形高寬比兩者。區塊分割器310之操作係進一步參考圖10來描述。然而，於VVC標準中，CB、CU、PU、及TU總是具有其為二之次方的側面長度。因此，目前CB(表示為312)被輸出自區塊分割器310，依據其涵蓋CTU之一或更多區塊的疊代而前進，依據CTU之亮度編碼樹及色度編碼樹。用以將CTU分割為CB之操作係參考圖5及6而被進一步描述於下。
得自框資料113之第一分割的CTU可依光柵掃描順序而被掃描且可被群集為一或更多「切片」。切片可為「內」(或「I」)切片，內切片(I切片)指示其該切片中之每一CU被內預測。替代地，切片可為單或雙預測(分別為「P」或「B」切片)，其個別地指示該切片中之單及雙預測的額外可用性。
針對各CTU，視頻編碼器114係操作於兩個階段中。於第一階段(稱為「搜尋」階段)中，區塊分割器310測試編碼樹之各種潛在組態。編碼樹之各潛在組態具有關聯的「候選」CB。第一階段涉及測試各種候選CB以選擇其提供具有低失真之高壓縮效率的CB。該測試通常涉及拉格朗日(Lagrangian)最佳化，藉此根據速率(編碼成本)及失真(相對於輸入框資料113之錯誤)之加權組合來評估候選CB。「最佳」候選CB(具有最低經評估速率/失真的CB)被選擇以供後續編碼入位元流115。包括在候選CB之評估中的是使用CB於一既定區域的一種選項、或者依據各種分裂選項以進一步分裂該區域並以進一步CB編碼較小的所得區域之各者、或者甚至進一步分裂該等區域。結果，CB及編碼樹本身兩者是在搜尋階段中選擇。
視頻編碼器114產生預測區塊(PB)，由箭號320所指示，針對各CB(例如，CB 312)。PB 320為關聯CB 312之內容的預測。減法器模組322產生差異，指示為324(或「殘餘」，指稱該差異係於空間領域中)，介於PB 320與CB 312之間。差異324為介於PB 320與CB 312中的相應樣本之間的區塊大小差異。差異324被變換、量化並表示為變換區塊(TB)，由箭號336所指示。PB 320及相關TB 336通常係選自許多可能的候選CB之一，例如基於經評估的成本或失真。
候選編碼區塊(CB)為得自其可用於相關PB及所得殘餘之視頻編碼器114的預測模式之一的CB。各候選CB導致一或更多相應TB，如下文參考圖8所述。TB 336為差異324之經量化且經變換表示。當與視頻解碼器114中之預測PB結合時，TB 336係減少介於已解碼CB與原始CB 312之間的差異，以位元流中之額外告知為代價。
各候選編碼區塊(CB)，其為與變換區塊(TB)結合之預測區塊(PB)，因此具有關聯編碼成本(或「速率」)及關聯差異(或「失真」)。速率通常係以位元來測量。CB之失真通常被估計為樣本值之差異，諸如絕對差之和(SAD)或平方差之和(SSD)。得自各候選PB之估計係由模式選擇器386使用差異324來判定，以判定內預測模式(由箭號388所表示)。與各候選預測模式及相應殘餘編碼關聯的編碼成本之估計可被履行以比該殘餘之熵編碼顯著更低的成本。因此，數個候選模式可被評估以判定依據速率-失真之最佳模式。
依速率-失真來判定最佳模式通常係使用拉格朗日最佳化之變異來獲得。內預測模式388之選擇通常涉及判定其得自特定內預測模式之應用的殘餘資料之編碼成本。編碼成本可藉由使用「絕對變換差異之和」(SATD)來近似，藉此相對簡單的變換(諸如哈德瑪(Hadamard)變換)被用以獲得估計的已變換殘餘成本。在使用相對簡單變換之一些實施方式中，得自簡化估計方法之成本係單調地相關於實際成本，其將另從完全評估來判定。在具有單調相關估計成本之實施方式中，該簡化估計方法可被用以做出相同的決定(亦即，內預測模式)，減少了視頻編碼器114中之複雜度。為了容許介於估計成本與實際成本之間的關係中之可能的非單調性，簡化估計方法可被使用以產生最佳候選者之列表。非單調性可得自進一步模式決定，其可用於(例如)殘餘資料之編碼。最佳候選者之列表可為任意數字。可使用最佳候選者以履行更完整的搜尋來建立用於編碼該等候選者之各者的殘餘資料之最佳模式選擇，容許內預測模式連同其他模式決定之最終選擇。
其他模式決定包括用以跳過向前變換(已知為「變換跳躍」)的能力。跳過變換適於殘餘資料，其缺乏足夠的相關以供減少的編碼成本，經由表示為變換基礎函數。某些類型的內容(諸如相對簡單的電腦產生圖形)可展現類似的行為。針對「跳過的變換」，即使變換本身未被履行，殘餘係數仍被編碼。
拉格朗日或類似的最佳化處理可被利用以：選擇CTU之最佳分割為CB(藉由區塊分割器310)以及從複數可能性選擇最佳預測模式兩者。透過模式選擇器模組386中之候選模式的拉格朗日最佳化程序之應用，具有最低成本測量之內預測模式被選擇為「最佳」模式。最低成本模式是選定的內預測模式388，且亦藉由熵編碼器338而被編碼於位元流115中。藉由模式選擇器模組386之操作的內預測模式388之選擇係延伸至區塊分割器310之操作。例如，針對內預測模式388之選擇的候選者可包括：可用於既定區塊之模式及(額外地)可用於其集體地與該既定區塊共置的多數較小區塊之模式。在包括可用於既定區塊及較小共置區塊之模式的情況下，候選者之選擇的程序隱含地亦為一種判定CTU之最佳階層式分解為CB的程序。
於視頻編碼器114之操作的第二階段(稱為「編碼」階段)中，涵蓋選定亮度編碼樹和選定色度編碼樹(及因此各選定CB)之疊代被履行於視頻編碼器114中。於該疊代中，CB被編碼為位元流115，如進一步描述於文中。
熵編碼器338支援語法元素之可變長度編碼及語法元素之算術編碼兩者。算術編碼係使用背景調適二元算術編碼程序而被支援。算術編碼的語法元素係由一或更多「二元(bin)」之序列所組成。二元(類似位元)具有「0」或「1」之值。然而，二元並未被編碼於位元流115中而成為離散位元。二元具有關聯預測(或「可能」或「最可能」)值及關聯機率，已知為「背景」。當待編碼實際二元匹配該預測值時，「最可能符號」(MPS)被編碼。編碼最可能符號是相對低價的，針對已消耗位元而言。當待編碼實際二元失配該可能值時，「最不可能符號」(LPS)被編碼。編碼最不可能符號是相對高成本的，針對已消耗位元而言。二元編碼技術致能二元之高效率編碼，其中「0」相對於「1」之機率被偏斜。針對具有兩個可能值之語法元素(亦即，「旗標」)，單一二元是足夠的。針對具有許多可能值之語法元素，二元之序列是需要的。
該序列中之較晚二元的存在可根據該序列中之較早二元的值來判定。此外，各二元可與多於一個背景相關聯。特定背景之選擇可取決於語法元素中之較早二元，相鄰語法元素之二元值(亦即，來自相鄰區塊之那些)等等。每次背景編碼二元被編碼，則其針對該二元(假如有的話)所選定的背景係以一種反映新二元值之方式來更新。如此一來，二元算術編碼方案被稱為調適性的。
亦由視頻編碼器114所支援者為其缺乏背景之二元(「旁路二元」)。旁路二元被編碼為假設介於「0」與「1」之間的機率相同分佈。因此，各二元佔據位元流115中之一個位元。背景之缺乏係節省記憶體並減少複雜度，而因此旁路二元被使用在其中針對特定二元之值的分佈未被偏斜時。利用背景及調適的熵編碼器之一範例在本技術中已知為CABAC(背景調適性二元算術編碼器)，而此編碼器之許多變體已被利用於視頻編碼。
熵編碼器338係使用背景編碼與旁路編碼二元之組合來編碼內預測模式388。通常，「最可能模式」之列表被產生於視頻編碼器114中。最可能模式之列表通常為固定長度(諸如三或六模式)，且可包括較早區塊中所遭遇的模式。背景編碼二元係編碼一旗標，其指示內預測模式是否為該些最可能模式之一者。假如內預測模式388是該些最可能模式之一者，則進一步告知係使用旁路編碼二元而被編碼。已編碼的進一步告知係指示哪個最可能模式係與內預測模式388相符，例如使用已截斷的一元二元字串。否則，內預測模式388被編碼為「剩餘模式」。編碼為剩餘模式係使用替代語法(諸如固定長度碼)，亦使用旁路編碼二元而被編碼，以表達除了那些存在於最可能模式列表中以外的內預測模式。
多工器模組384依據已判定的最佳內預測模式388而輸出PB 320，該最佳內預測模式388係選自各候選CB之已測試的預測模式。候選預測模式不需包括由視頻編碼器114所支援之每一可想到的預測模式。
預測模式廣泛地落入兩個種類。第一種類為「框內預測」(亦稱為「內預測」)。於內框預測中，產生針對一區塊之預測，且產生方法可使用從目前框所獲得的其他樣本。針對內預測的PB，不同的內預測模式有可能被使用於亮度及色度，而因此內預測主要係針對PB上之操作來描述。
第二種類的預測模式為「框間預測」(亦稱為「間預測」)。於框間預測中，針對一區塊之預測係使用來自目前框前之一或兩個框的樣本來產生，依位元流中之編碼框的順序。此外，針對框間預測，通常係使用單一編碼樹於亮度頻道及色度頻道兩者。位元流中之編碼框的順序可不同於當擷取或顯示時之框的順序。當一個框被用於預測時，該區塊被稱為「單預測」且具有一個關聯移動向量。當兩個框被用於預測時，該區塊被稱為「雙預測」且具有兩個關聯移動向量。針對P切片，各CU可為內預測或單預測。針對B切片，各CU可為內預測、單預測、或雙預測。框通常係使用「圖片之群組」結構來編碼，致能框之時間階層。框之時間階層容許框依顯示該等框之順序來參考先前及後續圖片。該等影像依其確保滿足用以解碼各框之依存性所需的順序來編碼。
間預測之子種類被稱為「跳躍模式」。間預測及跳躍模式被描述為兩個相異的模式。然而，間預測模式及跳躍模式兩者均涉及其參考來自先前框之樣本的區塊之移動向量。間預測涉及已編碼移動向量差量，其係指明對於移動向量預測子之移動向量。移動向量預測子係從一或更多候選移動向量之列表獲得，以「合併指標」選擇。已編碼移動向量差量係提供對於選定移動向量預測之空間偏移。間預測亦使用位元流133中之已編碼殘餘。跳躍模式僅使用一指標(亦稱為「合併指標」)以從數個移動向量候選者選擇一個。選定的候選者被使用而無任何進一步告知。同時，跳躍模式不支援任何殘餘係數之編碼。已編碼殘餘係數之缺乏(當使用跳躍模式時)表示無須履行針對跳躍模式之變換。因此，跳躍模式通常不會導致管線處理問題。管線處理問題可能是針對內預測CU及間預測CU的情況。由於跳躍模式之有限的告知，跳躍模式可用於達成極高的壓縮性能(當有相對高品質參考框可用時)。隨機存取圖片群組結構之較高時間層中的雙預測CU通常具有高品質參考圖片及移動向量候選者，其準確地反映基本移動。
樣本係依據移動向量及參考圖片指標而被選擇。移動向量及參考圖片指標應用於所有顏色頻道而因此間預測主要係針對PU而非PB上之操作來描述。於各種類內(亦即，框內及框間預測)，不同技術可被應用以產生PU。例如，內預測可使用來自先前重建樣本之相鄰列及行的值，與一方向結合以產生依據指定過濾及產生程序之PU。另一方面，PU可使用少數的參數來描述。間預測方法可在移動參數之數目及其精確度上有變化。移動參數通常包含參考框指標，其係指示來自參考框之列表的哪(些)參考框將被使用、加上該些參考框之各者的空間平移，但可包括更多框、空間框、或複合仿射參數(諸如擴縮及旋轉)。此外，預判定移動精化程序可被應用以根據參考的樣本區塊來產生密集的移動估計。
已判定並選定最佳PB 320、且從原始樣本區塊減去PB 320(在減法器322上)後，具有最低編碼成本之殘餘(表示為324)被獲得並接受無損壓縮。無損壓縮程序包含變換、量化及熵編碼之步驟。前向主要變換模組326將前向變換施加於差異324，將差異324從空間領域轉換至頻率領域，及產生由箭號328所表示之主要變換係數。主要變換係數328被傳遞至前向次要變換模組330以藉由履行非可分離次要變換(NSST)來產生由箭號332所表示之變換係數。前向主要變換通常是可分離的，變換各區塊之一組列及接著一組行(通常係使用DCT-2，雖然亦可用DST-7及DCT-8)，例如水平地針對不超過16樣本的區塊寬度及垂直地針對不超過16樣本的區塊高度。各組列及行之變換係藉由以下方式來履行：首先將一維變換施加於區塊之各列以產生部分結果並接著施加於該部分結果之各行以產生最終結果。前向次要變換通常是非可分離的變換，其不僅被應用於內預測CU之殘餘且亦仍可被旁路。前向次要變換係操作於16個樣本(配置為主要變換係數328之左上4x4子區塊)或64個樣本(配置為左上8x8係數，配置為主要變換係數328之四個4x4子區塊)之任一者。此外，前向次要變換之矩陣係數係依據CU之內預測模式而被選自多數組，以使得兩組係數可供使用。該些組矩陣係數之一的使用(或前向次要變換的旁路)係以「nsst_index」語法元素來通知，使用已截斷的一元二值化來編碼以表示如下的值：零(次要變換未應用)、一(第一組矩陣係數被選擇)、或二(第二組矩陣係數被選擇)。
變換係數332被傳遞至量化器模組334。在模組334上，依據「量化參數」之量化被履行以產生殘餘係數，由箭號336所表示。量化參數針對既定TB是恆定的，而因此導致針對TB之殘餘係數的產生之均勻擴縮。非均勻擴縮亦藉由施加「量化矩陣」而為可能的，藉此針對各殘餘係數所施加的擴縮因子被導出自量化參數與擴縮矩陣中之相應條目的組合，其通常具有等於TB之大小的大小。殘餘係數336被提供至熵編碼器338以利位元流115中之編碼。通常，具有TU之至少一有效殘餘係數的各TB之殘餘係數被掃描以產生依序列表的值，依據掃描形態。掃描形態一般係掃描TB為4x4「子區塊」之序列，以殘餘係數之4x4集合的粒度提供規律掃描操作，具有取決於TB之大小的子區塊之配置。此外，預測模式388及相應區塊分割亦被編碼於位元流115中。
如上所述，視頻編碼器114需要對於一框表示(其係相應於視頻解碼器134中所見之框表示)之存取。因此，殘餘係數336亦藉由去量化器模組340而被反量化以產生反變換係數，由箭號342所表示。反變換係數342被傳遞通過反次要變換模組344以產生中間反變換係數，由箭號346所表示。中間反變換係數346被傳遞至反主要變換模組348以產生TU之殘餘樣本，由箭號350所表示。由反次要變換模組344所履行之反變換的類型係與由前向次要變換模組330所履行之前向變換的類型相應。由反主要變換模組348所履行之反變換的類型係與由主要變換模組326所履行之主要變換的類型相應。加總模組352將殘餘樣本350與PU 320相加以產生CU之重建樣本(由箭號354所指示)。
重建樣本354被傳遞至參考樣本快取356及迴路中過濾器模組368。參考樣本快取356，通常係使用ASIC上之靜態RAM來實施(因此避免昂貴的晶片外記憶體存取)係提供欲滿足用以產生該框中之後續CU的框內PB之依存性所需的最小樣本儲存。最小依存性通常包括沿著CTU之列的底部之樣本的「線緩衝器」，以供由CTU之下一列所使用，而緩衝其程度的行係由CTU之高度所設定。參考樣本快取356將參考樣本(由箭號358所表示)供應至參考樣本過濾器360。樣本過濾器360施加平坦化操作以產生已過濾參考樣本(由箭號362所指示)。已過濾參考樣本362係由框內預測模組364所使用以產生樣本之內預測區塊(由箭號366所表示)。針對各候選內預測模式，框內預測模組364產生樣本之區塊，其為366。
迴路中過濾器模組368施加數個過濾階段至已重建樣本354。過濾階段包括「解塊過濾器」(DBF)，其係施加與CU邊界對準的平坦化以減少得自中斷的假影。存在於迴路中過濾器模組368中的另一過濾階段是「調適性迴路過濾器」(ALF)，其係施加維納(Wiener)為基的調適性過濾以進一步減少失真。迴路中過濾器模組368中之再一可用的過濾階段是「樣本調適性偏移」(SAO)過濾器。SAO過濾器係藉由以下方式來操作：首先將已重建樣本分類為一或多個種類；並(依據所配置的種類)在樣本階施加偏移。
已過濾樣本(由箭號370所表示)被輸出自迴路中過濾器模組368。已過濾樣本370被儲存於框緩衝器372中。框緩衝器372通常具有用以儲存數個(例如高達16)圖片之容量而因此被儲存於記憶體206中。框緩衝器372通常並非使用晶片上記憶體來儲存，由於其所需要的大量記憶體損耗。如此一來，對於框緩衝器372之存取是昂貴的，以記憶體頻寬而言。框緩衝器372提供參考框(由箭號374所表示)至移動估計模組376及移動補償模組380。
移動估計模組376係估計「移動向量」(由箭號378所指示)之數目，其各為來自目前CB之位置的笛卡爾空間偏移，參考框緩衝器372中的參考框之一中的區塊。參考樣本之已過濾區塊(表示為382)被產生給各移動向量。已過濾參考樣本382形成可由模式選擇器386用於潛在選擇的進一步候選模式。再者，針對既定CU，PU 320可使用一個參考區塊(「單預測」)而被形成或者可使用兩個參考區塊(「雙預測」)而被形成。針對選定的移動向量，移動補償模組380係依據一過濾程序(其支援移動向量中之子像素準確度)以產生PB 320。如此一來，移動估計模組376(其係操作在許多候選移動向量上)可履行簡化的過濾程序，相較於移動補償模組380(其僅操作在選定的候選者上)之過濾程序，以達成減少的計算複雜度。
雖然圖3之視頻編碼器114係參考多樣視頻編碼(VVC)來描述，但其他視頻編碼標準或實施方式亦可採用模組310-386之處理階段。框資料113(及位元流115)亦可被讀取自(或寫入至)記憶體206、硬碟驅動210、CD-ROM、藍光光碟(Blu-ray disk TM)或其他電腦可讀取儲存媒體。此外，框資料113(及位元流115)可被接收自(或傳輸至)外部來源，諸如連接至通訊網路220或射頻接收器之伺服器。
視頻解碼器134被顯示於圖4中。雖然圖4之視頻解碼器134為多樣視頻編碼(VVC)視頻解碼管線之範例，但其他視頻編碼解碼器亦可被使用以履行文中所述之處理階段。如圖4中所示，位元流133被輸入至視頻解碼器134。位元流133可被讀取自記憶體206、硬碟驅動210、CD-ROM、藍光光碟(Blu-ray disk TM)或其他電腦可讀取儲存媒體。替代地，位元流133可被接收自外部來源，諸如連接至通訊網路220或射頻接收器之伺服器。位元流133含有已編碼語法元素，其代表待解碼之已擷取框資料。
位元流133被輸入至熵解碼器模組420。熵解碼器模組420係藉由解碼「二元」之序列以從位元流133提取語法元素並將該些語法元素之值傳遞至視頻解碼器134中之其他模組。熵解碼器模組420使用算術解碼引擎以將各語法元素解碼為一或更多二元之序列。各二元係使用一或更多「背景」，其中背景係描述將用於編碼該二元之「一」及「零」值的機率位準。當多數背景可用於既定二元時，「背景模擬」或「背景選擇」步驟被履行以選取用以解碼該二元之的可用背景之一。解碼二元之程序形成一依序回饋迴路。回饋迴路中之操作的數目最好是被最小化以致能熵解碼器420達成在二元/第二中的高通量。背景模擬係根據在選擇背景時視頻解碼器134所已知的位元流之其他性質，亦即，在目前二元之前的性質。例如，背景可基於編碼樹中之目前CU的四元樹深度來選擇。依存性最好是基於其在解碼二元之前眾所周知的(或者是無須長的依序程序來判定的)性質。編碼樹之四元樹深度是針對其易於得知之背景模擬的依存性之範例。內預測模式是針對其相對難以判定或需要密集計算以判定之背景模擬的依存性之範例。內預測模式被編碼為以下之任一者：進入「最可能模式」(MPM)之列表中的指標或進入「剩餘模式」之列表中的指標，其中在MPM模式與剩餘模式之間的選擇係依據已解碼的「intra_luma_mpm_flag」。當使用MPM時，「intra_luma_mpm_idx」語法元素被解碼以選擇將使用該等最可能模式之哪一個。通常有六個MPM。當使用剩餘模式時，「intra_luma_remainder」語法元素被解碼以選擇將使用該等剩餘(非MPM)模式之哪一個。判定最可能模式及剩餘模式兩者需要可觀數目的操作且包括對於相鄰區塊之內預測模式的依存性。例如，相鄰區塊可為目前區塊之左上方的區塊。理想地，各CU之二元的背景可被判定，致能藉由算術編碼引擎的剖析，而無須知道被告知的內預測模式。出現在用於依序二元解碼之算術編碼引擎中的回饋迴路因此避免了對於內預測模式的依存性。內預測模式判定可被延緩至後續處理階段，具有由於MPM列表建構對於相鄰區塊之內預測模式的依存性之分離的回饋迴路。因此，熵解碼器模組420之算術解碼引擎能夠剖析intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_remainder而無須知道任何較早(例如，相鄰)區塊之內預測模式。熵解碼器模組420應用算術編碼演算法(例如「背景調適二元算術編碼」(CABAC))以解碼來自位元流133之語法元素。已解碼語法元素被用以重建視頻解碼器134內之參數。參數包括殘餘係數(由箭號424所表示)及模式選擇資訊，諸如內預測模式(由箭號458所表示)。模式選擇資訊亦包括諸如移動向量、及各CTU之分割為一或更多CB等資訊。參數被用以產生PB，通常係結合來自先前已解碼CB之樣本資料。
殘餘係數424被輸入至去量化器模組428。去量化器模組428係履行反量化(或「擴縮」)於殘餘係數424上，以產生已重建中間變換係數(由箭號432所表示)，依據量化參數。已重建中間變換係數432被傳遞至反次要變換模組436，其中係應用次要變換或者無任何操作(旁路)，依據已解碼「nsst_index」語法元素。「nsst_index」係藉由熵解碼器420而被解碼自位元流133，在處理器205之執行下。如參考圖3所述，「nsst_index」被解碼自位元流133而成為具有值零至二的已截斷一元語法元素。反次要變換模組436係產生已重建變換係數440。假設非均勻反量化矩陣之使用被指示於位元流133中，則視頻解碼器134便從位元流133讀取量化矩陣為擴縮因子之序列，並將擴縮因子配置入矩陣中。反擴縮係使用量化矩陣(結合量化參數)以產生已重建中間變換係數432。
已重建變換係數440被傳遞至反主要變換模組444。模組444將該等係數從頻率領域變換至空間領域。TB係有效地基於有效殘餘係數及非有效殘餘係數值。模組444之操作的結果為殘餘樣本(由箭號448所表示)之區塊。殘餘樣本448之大小係等於相應的CU。殘餘樣本448被供應至加總模組450。在加總模組450上，殘餘樣本448被加至已解碼PB(表示為452)以產生已重建樣本(由箭號456所表示)之區塊。已重建樣本456被供應至已重建樣本快取460及迴路中過濾模組488。迴路中過濾模組488係產生框樣本(表示為492)之已重建區塊。框樣本492被寫入至框緩衝器496。
已重建樣本快取460係類似於視頻編碼器114之已重建樣本快取356而操作。已重建樣本快取460提供用以內預測後續CB(無記憶體206)所需之已重建樣本的儲存(例如藉由使用資料232來取代，其通常為晶片上記憶體)。參考樣本(由箭號464所表示)係從已重建樣本快取460獲得且被供應至參考樣本過濾器468以產生已過濾參考樣本(由箭號472所指示)。已過濾參考樣本472被供應至框內預測模組476。模組476係產生內預測樣本(由箭號480所表示)之區塊，依據位元流133中所告知的且由熵解碼器420所解碼的內預測模式參數458。
當CB之預測模式被指示為位元流133中的內預測時，則內預測樣本480係經由多工器模組484而形成已解碼PB 452。內預測產生樣本之預測區塊(PB)，亦即，一個顏色成分中之區塊，其係使用相同顏色成分中的「相鄰樣本」來導出。相鄰樣本係相鄰於目前區塊的樣本且(由於在該區塊解碼順序中係位於前方)已被重建。當亮度及色度區塊被共置時，該等亮度及色度區塊可使用不同的內預測模式。然而，兩個色度頻道各共用相同的內預測模式。內預測落入三種類型。「DC內預測」涉及以單一值(其表示相鄰樣本之平均)填佔PB。「平面內預測」涉及以依據平面的樣本填佔PB，其中DC偏移及垂直和水平梯度係從相鄰樣本所導出。「有角內預測」涉及以在特定方向(或「角度」)橫跨PB被過濾且傳播的相鄰樣本填佔PB。在VVC中，65個角度被支援，其中矩形區塊能夠利用額外角度(不可用於方形區塊)以產生總共87個角度。第四類型的內預測可用於色度PB，藉此PB係依據「跨成分線性模型」(CCLM)模式而被產生自共置的亮度已重建樣本。三個不同CCLM模式是可用的，其各者係使用從相鄰亮度及色度樣本所導出的不同模型。經導出模型被接著用以從共置的亮度樣本產生針對色度PB之樣本的區塊。
當CB之預測模式被指示為間預測在位元流133中時，則移動補償模組434產生間預測樣本(表示為438)之區塊，其係使用移動向量及參考框指標以從框緩衝器496選擇並過濾樣本之區塊。樣本498之區塊係從框緩衝器496中所儲存的先前已解碼框獲得。針對雙預測，樣本之兩個區塊被產生並混合在一起以產生針對已解碼PB 452之樣本。框緩衝器496被填入以來自迴路中過濾模組488之已過濾區塊資料492。如同視頻編碼器114之迴路中過濾模組368，迴路中過濾模組488係施加DBF、ALF及SAO過濾操作之任一、至少一者、或全部。通常，移動向量被應用至亮度及色度頻道兩者，雖然針對次取樣內插亮度及色度頻道之過濾程序是不同的。當編碼樹中的分裂導致相當小的亮度區塊之集合且相應的色度區未被分割為相應的小色度區塊時，該等區塊係如個別地參考圖13及14所述者而被編碼及解碼。特別地，假如任何小亮度區塊係使用間預測而被預測，則間預測操作僅被履行於亮度CB，而非相應色度CB之任何部分。迴路中過濾模組368從已重建樣本456產生已過濾區塊資料492。
圖5為概略方塊圖，其顯示一區之可用分割或分裂的集合500為一或更多子區，在多樣視頻編碼之樹狀結構中。集合500中所示之分割可用於編碼器114之區塊分割器310以將各CTU分割為一或更多CU或CB，依據編碼樹，如由拉格朗日最佳化所判定，如參考圖3所述。
雖然集合500僅顯示方形區被分割為其他、可能非方形子區，但應理解圖形500係顯示可能的分割而不需要所含有的區為方形。假如所含有的區是非方形，則得自該分割之區塊的尺寸係依據所含有的區塊之高寬比而被擴縮。一旦區未被進一步分裂，亦即，在編碼樹之葉節點上，CU係佔據該區。CTU之特定子分割為一或更多CU(藉由區塊分割器310)被稱為CTU之「編碼樹」。
將區子分割為子區之程序在當所得子區到達 最小CU大小時需終止。除了限制CU以禁止區塊面積小於預定最小大小(例如，16樣本)以外，CU被限制以具有四之最小寬度或高度。其他最小值，針對寬度及高度或者針對寬度或高度兩者亦是可能的。子分割之程序亦可在分解之最深階前終止，導致大於最小CU大小之CU。可能沒有分裂發生，導致單一CU佔據整個CTU。佔據整個CTU之單一CU為最大可得的編碼單元大小。此外，其中並無分裂發生的CU係大於處理區大小。由於在編碼樹之最高位準處的二元或三元分裂，諸如64x128、128x64、32x128、及128x32等CU大小是可能的，其各者亦大於處理區大小。大於處理區大小之CU的範例係進一步參考圖10A-10F來描述。由於使用次取樣的色度格式(諸如4：2：0)，視頻編碼器114及視頻解碼器134之配置可在色度頻道中比在亮度頻道中更早地終止區的分裂。
在編碼樹之葉節點上存在CU，沒有進一步子分割。例如，葉節點510含有一個CU。在編碼樹之非葉節點上存在分裂為二或更多進一步節點，其各者可含有一葉節點(其因此含有一個CU)或者含有進一步分裂為較小的區。在編碼樹之各葉節點處，各顏色頻道存在一個編碼區塊。在亮度及色度兩者之相同深度處分裂終止係導致三個共置的CB。在比色度更深的亮度之深度處分裂終止係導致複數亮度CB與色度頻道之CB共置。
四元樹分裂512將所含有的區分割為四個相等大小的區，如圖5中所示。相較於HEVC，多樣視頻編碼(VVC)利用加入了水平二元分裂514及垂直二元分裂516而達成額外的彈性。分裂514及516之各者將所含有的區分割為兩的相等大小的區。該分割係沿著水平邊界(514)或垂直邊界(516)，於所含有的區塊內。
利用三元水平分裂518及三元垂直分裂520之加入而在多樣視頻編碼中達成進一步彈性。三元分裂518及520將該區塊分割為三個區，水平地(518)或垂直地(520)沿著所含有區寬度或高度之1/4及3/4來界定。四元樹、二元樹、及三元樹之組合被稱為「QTBTTT」。樹的根部包括零或更多四元樹分裂(樹之「QT」區段)。一旦QT區段終止，則零或更多二元或三元分裂可發生(樹之「多樹」或「MT」區段)，最後結束在樹之葉節點處的CB或CU。當該樹描述所有顏色頻道時，則樹葉節點為CU。當該樹描述亮度頻道或色度頻道時，則樹葉節點為CB。
相較於HEVC，其僅支援四元樹而因此僅支援方形區塊，QTBTTT導致多更多的可能CU大小，特別是考量二元樹及/或三元樹分裂的可能遞迴應用。針對異常(非方形)區塊大小的潛在性可藉由限制分裂選擇而被減少，以消除其將導致區塊寬度或高度少於四個樣本或不是四個樣本的倍數之分裂。通常，該約束將適用於考量亮度樣本。然而，在所述的配置中，該約束可被分離地應用於色度頻道之區塊。將對於分裂選項之約束應用於色度頻道可導致亮度相對於色度之不同的最小區塊大小，例如當框資料是4：2：0色度格式或4：2：2色度格式時。各分裂係產生具有相對於所含有的區無論是不變的、減半的或減為四分之一的側面尺寸之子區。接著，因為CTU大小為二的次方，所以所有CU之側面尺寸亦為二的次方。
圖6為概略流程圖，其繪示一種用於多樣視頻編碼中之QTBTTT(或「編碼樹」)結構的資料流600。QTBTTT結構被用於各CTU以界定CTU之分割為一或更多CU。各CTU之QTBTTT結構係由視頻編碼器114中之區塊分割器310所判定且被編碼入位元流115，或藉由視頻解碼器134中之熵解碼器420而被解碼自位元流133。資料流600進一步特徵化其可用於將CTU分割為一或更多CU之區塊分割器310的可允許組合，依據圖5中所示之分割。
從階層之頂部階開始，其係在CTU上，零或更多四元樹分割被首先履行。明確地，四元樹(QT)分裂決定610係由區塊分割器310來做出。回覆「1」符號之在610上的決定係指示用以將目前節點分裂為四個子節點的決定，依據四元樹分裂512。其結果是四個新節點的產生，諸如在620上，且針對各新節點，遞迴回至QT分裂決定610。各新節點係依光柵(或Z掃描)順序來考量。替代地，假如QT分裂決定610指示其沒有進一步分裂將被履行(回覆「0」符號)，則四元樹分割便停止且多重樹(MT)分裂被接著考量。
首先，MT分裂決定612係由區塊分割器310來做出。在612，用以履行MT分裂之決定被指示。在決定612上回覆「0」符號係指示其沒有節點之進一步分裂為子節點將被履行。假如沒有節點之進一步分裂將被履行，則該節點為編碼樹之葉節點且相應於CU。葉節點被輸出在622。替代地，假如MT分裂612指示一用以履行MT分裂(回覆「1」符號)之決定，則區塊分割器310進行至方向決定614。
方向決定614指示MT分裂之方向為水平(「H」或「0」)或者垂直(「V」或「1」)。假如決定614回覆「0」(指示水平方向)，則區塊分割器310進行至決定616。假如決定614回覆「1」(指示垂直方向)，則區塊分割器310進行至決定618。
在決定616及618之各者上，MT分裂之分割數目被指示為在BT/TT分裂上之二(二元分裂或「BT」節點)或者三(三元分裂或「TT」)。亦即，BT/TT分裂決定616係由區塊分割器310所做出，在當來自614之指示決定為水平時；而BT/TT分裂決定618係由區塊分割器310所做出，在當來自614之指示決定為垂直時。
BT/TT分裂決定616係指示其水平分裂是二元分裂514(藉由回覆「0」來指示)或三元分裂518(藉由回覆「1」來指示)。當BT/TT分裂決定616指示二元分裂時，則在產生HBT CTU節點步驟625上兩個節點係由區塊分割器310所產生，依據二元水平分裂514。當BT/TT分裂616指示三元分裂時，則在產生HTT CTU節點步驟626上三個節點係由區塊分割器310所產生，依據三元水平分裂518。
BT/TT分裂決定618係指示其垂直分裂是二元分裂516(藉由回覆「0」來指示)或三元分裂520(藉由回覆「1」來指示)。當BT/TT分裂618指示二元分裂時，則在產生VBT CTU節點步驟627上兩個節點係由區塊分割器310所產生，依據垂直二元分裂516。當BT/TT分裂618指示三元分裂時，則在產生VTT CTU節點步驟628上三個節點係由區塊分割器310所產生，依據垂直三元分裂520。針對其得自資料流600的步驟625-628遞迴回至MT分裂決定612之各節點被應用，依左至右或頂部至底部順序，根據方向614。因此，二元樹及三元樹分裂可被應用以產生具有各種大小之CU。
在編碼樹之各節點處的多組可容許及不容許分裂係參考圖9而被進一步描述。
圖7A及7B提供CTU 710之範例分割700為數個CU或CB。範例CU 712被顯示於圖7A中。圖7A顯示CTU 710中之CU的空間配置。範例分割700亦被顯示為圖7B中之編碼樹720。
在圖7A之CTU 710中的各非葉節點(例如節點714、716及718)上，所含有的節點(其可被進一步分割或可為CU)被掃描或遍歷以「Z順序」來產生節點之列表，其被表示為編碼樹720中之行。針對四元樹分裂，Z順序掃描導致左上至右接續以左下至右順序。針對水平及垂直分裂，Z順序掃描(遍歷)係簡化至上至下掃描及左至右掃描，個別地。圖7B之編碼樹720列出所有節點及CU，依據所應用的掃描順序。各分裂產生二、三或四個新節點之列表在樹之下一階上，直到葉節點(CU)到達。
已藉由區塊分割器310而將影像分解為CTU且進一步分解為CU、並使用CU以產生各殘餘區塊(324)後(如參考圖3所述)，殘餘區塊係接受藉由視頻編碼器114之前向變換及量化。所得的TB 336被接著掃描以形成殘餘係數之依序列表，當作熵編碼模組338之操作的部分。一等效程序被履行於視頻解碼器134中以從位元流133獲得TB。
圖7A及7B之範例描述其可應用於亮度頻道及色度頻道兩者的編碼樹。然而，圖7A及7B之範例亦闡明有關於僅可應用於亮度頻道之編碼樹或僅可應用於色度頻道之編碼樹的遍歷之行為。針對具有許多巢套分裂的編碼樹，在更深位準處之可用的分裂選項係由對於相應小區之可用區塊大小的限制所侷限。對於小區之可用區塊大小加諸限制以防止區塊處理速率太高而對實施方式產生不合理負擔的最差情況。特別地，區塊大小應為色度中之16(十六)樣本的倍數之約束致能了用以處理16(十六)樣本之粒度的樣本之實施方式。將區塊大小限制於十六樣本之倍數是特別相關於「內重建」回饋迴路，其係涉及模組450、460、468、476、及484之圖4的視頻解碼器134中之路徑，以及視頻編碼器114中之同等路徑。特別地，將區塊大小限制於16(十六)樣本之倍數有助於維持內預測模式中之通量。例如，「同時資料多指令」(SIMD)微處理器架構係共同地操作在其可含有16樣本之寬字元上。同時，硬體架構可使用寬匯流排，諸如具有16樣本之寬度的匯流排，用以沿著內重建回饋迴路轉移樣本。假如使用較小的區塊大小(例如四個樣本)，則匯流排將是未充分利用的，例如，僅匯流排寬度的四分之一含有樣本資料。雖然未充分利用的匯流排可處置較小的區塊(亦即，少於十六個樣本)，但在最差情況情境下(諸如許多或所有區塊是相當小的大小)，則未充分利用可能導致妨礙編碼器(114)或解碼器(134)的即時操作。針對間預測，各區塊係取決於從框緩衝器(諸如緩衝器372或496)所獲得的參考樣本。因為框緩衝器被填佔以參考樣本(當處理先前框時)，所以沒有影響用以產生間預測區塊的區塊接區塊操作之回饋依存性迴路。除了其相關於內框重建的回饋依存性迴路之外，存在一額外且並行的回饋迴路，其係相關於內預測模式458之判定。內預測模式458係藉由以下方式來判定：從最可能模式列表選擇一模式、或者從剩餘模式列表選擇一模式。最可能模式列表及剩餘模式列表之判定需要相鄰區塊之內預測模式。當使用相當小的區塊大小時，最可能模式列表及剩餘模式列表需被更頻繁地判定，亦即，以由樣本中之區塊大小及頻道之取樣率所決定的頻率。
圖8A、8B、及8C提供依據編碼樹820(圖8B)之CTU 800(8A)的範例分割，其中色度分裂係在亮度分裂之前終止並使用4：2：0色度格式。當色度分裂終止時，使用一對CB，各色度頻道一個。為了說明性便利，大小64x64亮度樣本之CTU 800。CTU 800係等同於128x128之CTU大小並包括一具有一個額外四元樹分裂的編碼樹。四元樹分裂被應用於8x8亮度區814。8x8亮度區814被分裂為四個4x4亮度CB，然而並無分裂發生在色度頻道中。取而代之，使用色度CB之預定的最小大小(在所述範例中為16)對，每一個相應於各色度頻道。該對色度CB通常是最小大小，其係相應於可理想地被同時處理之樣本數目的最小粒度。例如，視頻編碼器114及視頻解碼器134之許多實施方式將操作於多組16個樣本上，例如由於在硬體實施方式中使用相應地寬的內部匯流排。此外，得自該分裂之各亮度CB係與該對色度CB至少部分地重疊，而集合式亮度CB係與該對色度CB完全地重疊。在區814之範例中，產生一對4x4色度CB。圖8C顯示所得亮度CB與色度CB如何相關的範例。
回頭參考圖8A，垂直二元分裂被應用於16x4亮度區810。16x4亮度區810被分裂為兩個8x4亮度CB，然而並無分裂發生在色度頻道中，導致一對8x2色度CB。垂直三元分裂被應用於16x4亮度區812。16x4亮度區812被分裂為4x4、4x8、及4x4亮度CB，然而並無分裂發生在色度頻道中，導致一對8x2色度CB。水平二元分裂被應用於8x16亮度區816。8x16亮度區816被分裂為8x4、8x8、及8x4亮度CB，然而並無分裂發生在色度頻道中，導致一對4x8色度CB。因此，色度CB之面積為至少16樣本。
圖8C顯示CTU 800之一部分，其中以「分解」(或分離)方式顯示三個顏色平面來示範不同平面中的不同區塊結構。顯示亮度樣本平面850、第一色度樣本平面852、及第二色度樣本平面854。當使用「YCbCr」顏色空間時，亮度樣本平面850含有影像框之Y樣本，第一色度樣本平面852含有影像框之Cb樣本，而第二色度樣本平面854含有影像框之Cr樣本。4：2：0色度格式之使用係導致第一色度樣本平面852及第二色度樣本平面854具有水平地及垂直地相對於亮度樣本平面850之樣本密度的一半。結果，樣本中之色度區塊的CB尺寸通常為相應亮度CB之尺寸的一半。亦即，針對4：2：0色度格式，色度CB寬度及高度各為共置亮度CB之寬度及高度的一半。針對4：2：2色度格式，色度CB高度為共置亮度CB之高度的一半，而其寬度係相同於共置亮度CB之寬度。為了清楚表達，僅顯示8x16亮度區816之編碼樹中的母分裂，且僅顯示亮度樣本平面850中之分裂。當色度分裂終止時，複數亮度CB係與一對色度CB共置。例如CTU 800之編碼樹包括其被應用於8x16亮度區816之水平三元分裂。水平三元分裂導致8x4亮度CB 860、8x8亮度CB 862、及8x4亮度CB 864，其係存在亮度樣本平面850中。因為8x16亮度區816係相應於色度樣本平面(852及854)中之4x8色度樣本的區域，所以編碼樹之三元分裂不被應用於色度樣本平面(852及854)。因此，4x8色度樣本之區域係形成色度之葉節點，導致一對色度CB，亦即，第一色度樣本平面852之色度CB 866及第二色度樣本平面854之色度CB 868。在其僅被應用於亮度平面中之水平三元分裂的範例中，達成了32樣本之最小色度CB大小。其他的範例亮度區域(810、812、及814)導致16之最小色度CB大小，其係相應於最小亮度區塊大小及樣本處理之理想粒度。
圖9顯示其使用4：2：0色度格式所得之色度頻道的變換區塊大小及相關掃描形態的集合900。集合900亦可用於4：2：2色度格式。所述之配置適於配合具有其中影像框之色度頻道係相對於影像框之亮度頻道而被次取樣的色度格式之影像框來使用，特別是針對4：2：0及4：2：2格式。集合900不包括所有可能的色度變換區塊大小。圖9中僅顯示具有小於或等於十六之寬度或者小於或等於八之高度的色度變換區塊。具有更大寬度及高度之色度區塊可能發生但未顯示於圖9中以利參考。
一組禁止變換大小910包括變換區塊大小2x2、2x4、及4x2，其所有均具有小於十六樣本之區域。換言之，在圖9之範例中，16(十六)色度樣本之最小變換大小係得自所述之配置的操作，特別是針對內預測CB。禁止變換大小910之情況係藉由判定如參考圖10所述之分裂選項來避免。變換中之殘餘係數被掃描以兩層方式，其中變換被分割為「子區塊」(或「係數群組」)。掃描係沿著從最後有效(非零)係數往回朝向DC(左上)係數之掃描路徑發生。掃描路徑被定義為各子區塊內之進程(「下層」)及從一個子區塊至下一個之進程(「上層」)。在集合900中，8x2 TB 920係使用8x2子區塊，亦即含有十六個殘餘係數之子區塊。2x8 TB 922係使用2x8子區塊，亦即，亦含有十六個殘餘係數。
具有二之寬度或高度(及八之倍數的其他尺寸)的TB係使用多數2x8或8x2子區塊。因此，在具有二樣本之寬度的一些實例中的色度區塊係使用區塊之分割為子區塊來編碼，各大小為2x8樣本；而在具有二樣本之高度的色度區塊在一些實例中係使用區塊之分割為子區塊來編碼，各大小為8x2樣本。例如，16x2 TB 916具有兩個8x2子區塊，各子區塊被掃描如針對TB 920所示者。從一個子區塊至下一個之掃描的進程係如子區塊進程917中所示。
2x32 TB(未顯示於圖9中)使用四個2x8子區塊，配置為一x四陣列。各子區塊中之殘餘係數被掃描如針對2x8 TB 922所示，其中子區塊係從最下子區塊前進高達一x四陣列之最上子區塊。
更大的TB係依循類似的掃描進程。針對具有各大於或等於四之寬度及高度的所有TB，使用4x4子區塊掃描。例如，4x8 TB 923使用4x4子區塊掃描924，具有從下子區塊至上子區塊的進程。4x4 TB 925可被掃描以類似的方式。8x8 TB 929係使用針對四個4x4子區塊的進程930。在所有情況下，子區塊內之掃描以及從子區塊至子區塊之進程係依循向後對角線掃描，亦即，掃描係從「最後」有效殘餘係數向後朝向TB之左上殘餘係數進行。圖9亦顯示橫跨8x4 TB 932、16x4 TB 934及16x8 TB 936之掃描順序，舉例而言。此外，取決於沿著掃描路徑之最後有效係數的位置，僅含有從最後有效係數位置回至子區塊之左上殘餘係數的最後有效殘餘係數之子區塊的部分需被掃描。在向前方向上進一步沿著掃描路徑的子區塊(亦即，更接近於區塊之右下方)無須被掃描。集合900及特別是禁止變換大小910係對於將編碼樹(在色度中)之區(或節點)分裂為子區(或子節點)的能力加諸限制，如參考圖10所述。
在使用2x2、2x4及4x2 TB(該組TB 910)之VVC系統中，可利用2x2子區塊於兩個樣本之寬度及/或高度的TB。如上所述，TB 910之使用增加了內重建回饋依存性迴路中之通量約束。此外，僅具有四個係數之子區塊的使用增加了以更高通量剖析殘餘係數的困難度。特別地，針對各子區塊，「有效性地圖」係指示其中所含有之各殘餘係數的有效性。一值的有效性旗標之編碼建立了殘餘係數之數值為至少一，而零值的旗標之編碼建立了殘餘係數之數值為零。殘餘係數數值(從一往上)及符號僅針對「有效」殘餘係數而被編碼。非有效性位元被編碼而數值(從零)總是針對DC係數而被編碼。高通量編碼器及解碼器可能需要編碼或解碼每時脈循環之多數有效性地圖二元以維持即時操作。每循環之多二元編碼及解碼的困難度被增加在當二元間依存性更多時(例如當使用較小子區塊大小時)。在系統100中，子區塊大小為16(儘管含有最後有效係數之子區塊的例外)，無論區塊大小。
圖10顯示用以產生亮度編碼樹中之容許分裂的列表之一組規則1000。其他框可容許間預測及內預測區塊之混合。雖然編碼樹之全組可用分裂已參考圖6而被描述，對於可用變換大小的限制係對於既定區大小之特定分裂選項加諸約束。如以下所述，針對色度頻道之各者的分裂選項係依據相應編碼樹單元之區的尺寸來判定。
針對色度區之規則1020係顯示不同區域之容許分裂。規則1020之容許分裂被表達以亮度樣本之單元，即使色度頻道被考量，因為可使用不同色度格式。
在遍歷編碼樹之節點時，針對色度之容許分裂的列表係藉由檢查一組分裂選項(具有編碼樹的區大小)之可用性來獲得。導致其可使用CB而被編碼之區的分裂選項被加至容許分裂之列表。針對將使用CB而被編碼之區，區大小必須致能具有來自集合900之特定大小的整數變換之編碼。特定大小被選擇為不超過區大小之最大大小(考量寬度及高度兩者)。如此一來，針對較小的區係使用單一變換。在區大小超過最大可用變換之大小的情況下，最大可用變換被填磚以佔據整個區。
當考量其具有既定面積(以亮度樣本表示)之編碼樹中的節點時，用以履行既定類型的分裂之能力係依據分裂類型及色度區面積來判定。如圖10中所示，分裂選項係針對區大小來測試以判定該分裂選項是否將導致禁止大小之子區。導致容許大小之子區的分裂選項被視為容許色度分裂1070。
例如，如圖所示，針對色度區之規則1021a，假如在QT模式(相應於圖6之決定610)中，四元樹分裂不被容許，假如該區為4：2：0格式中之大小8x8或4：2：2格式中之8x8，因為該分裂將導致個別地針對色度頻道之2x2或2x4的變換大小。可容許的區大小係由箭號1021所指示。類似地，針對色度規則組1020之其他可容許分裂係由箭號1022、1023、1024、1025及1026所指示，且如以下相關於圖13及14所討論。箭號1021、1022、1023、1024、1025及1026各參考一容許色度分裂列表1070。
色度頻道之區大小係相關於亮度樣本柵格來描述。例如，8x4區相應於針對色度頻道之4x2變換，當使用4：2：0色度格式時。當使用4：2：2色度格式時，8x4區相應於色度中之4x4變換。當使用4：4：4色度格式時，色度並未針對亮度而被次取樣而因此色度中之變換大小係相應於區大小。
可容許分裂選項係相關於圖13及14而被進一步描述於下。
圖11顯示一種用以將一影像框之編碼樹編碼入一視頻位元流的方法1100。方法1100可藉由設備(諸如經組態的FPGA、ASIC、或ASSP)來實施。此外，方法1100可在處理器205之執行下藉由視頻編碼器114來履行。如此一來，方法1100可被儲存在電腦可讀取儲存媒體上及/或在記憶體206中。方法1100開始於判定色度格式步驟1105。
在判定色度格式步驟1105，處理器205將框資料113之色度格式判定為4：2：0色度格式或4：2：2色度格式之一。色度格式係框資料的性質且在方法1100之操作期間不改變。方法1100在處理器205之控制下從步驟1105繼續至分割框為CTU步驟1110。
在分割框為CTU步驟1110，區塊分割器310(在處理器205之執行下)將框資料113之目前框分割為CTU之陣列。編碼涵蓋其從該分割所得之CTU的進程開始。處理器中之控制從步驟1110進行至判定編碼樹步驟1120。
在判定編碼樹步驟1120，視頻編碼器114(在處理器205之執行下)測試各個預測模式及分裂選項(共同地)以達到CTU之編碼樹。亦導出針對CTU之編碼樹的各CU之預測模式及殘餘係數。通常，拉格朗日最佳化被履行以選擇針對CTU之最佳編碼樹及CU。當評估間預測之使用時，移動向量被選自一組候選移動向量。候選移動向量係依據搜尋形態而被產生。當候選移動向量之已提取參考區塊的測試失真正被評估時，考量編碼樹中之禁止色度分裂的應用。當一分裂在色度中禁止而在亮度中容許時，所得亮度CB可使用間預測。移動補償僅被應用於亮度頻道，而因此失真計算係考量亮度失真但非色度失真。色度失真不被考量，因為移動補償不被履行在色度頻道中(當色度分裂被禁止時)。針對色度，從經考量的內預測模式以及已編碼的色度TB(假如有的話)所致的失真被考量。當考量亮度及色度兩者時，間預測搜尋可首先基於亮度失真來選擇移動向量並接著藉由亦考量色度失真來「精化」該移動向量。精化通常係考量移動向量值之小變化，諸如子像素置換。當色度分裂被禁止而對於小亮度區塊之間預測的評估被履行時，色度精化是不需要的。處理器205中之控制從步驟1120進行至編碼編碼樹步驟1130。
在編碼編碼樹步驟1130，視頻編碼器114(在處理器205之執行下)履行方法1300(將相關於圖13而被描述)以將目前CTU之編碼樹編碼入位元流115。步驟1130係執行以將目前CTU編碼入位元流。處理器205中之控制從步驟1130進行至最後CTU測試步驟1140。
在最後CTU測試步驟1140，處理器205係測試目前CTU是否為片或框中之最後CTU。假如不是(在步驟1140為「否」)，則視頻編碼器114前進至該框中之下個CTU，且處理器205中之控制從步驟1140進行回至步驟1120以繼續處理該框中之剩餘CTU。假如CTU為該框或片中的最後一個，則步驟1140返回「是」且方法1100終止。由於方法1100，整個影像框被編碼為CTU之序列而進入位元流中。
圖12顯示一種用以從一視頻位元流解碼一影像框之編碼樹的方法1200。方法1200可藉由設備(諸如經組態的FPGA、ASIC、或ASSP)來實施。此外，方法1200可在處理器205之執行下藉由視頻解碼器134來履行。如此一來，方法1200可被儲存在電腦可讀取儲存媒體上及/或在記憶體206中。方法1200開始於判定色度格式步驟1205。
在判定色度格式步驟1205，處理器205將框資料113之色度格式判定為4：2：0色度格式或4：2：2色度格式之一。色度格式係框資料的性質且在方法1200之操作期間不改變。視頻解碼器134可藉由位元流133之輪廓以判定色度格式。輪廓界定一組編碼工具，其可由特定位元流133所使用且可將色度格式侷限於特定值(諸如4：2：0)。該輪廓係藉由以下方式來判定：解碼(例如)來自位元流133之「profile_idc」語法元素、或解碼來自位元流之一或更多約束旗標，其各者係侷限位元流133中之特定工具的使用。當色度格式未由該輪廓所完全地指明時，進一步語法(諸如「chroma_format_idc」)可被解碼以判定色度格式。方法1200在處理器205之執行下從步驟1205繼續至分割框為CTU步驟1210。
在分割框為CTU步驟1210，視頻解碼器134(在處理器205之執行下)判定其將被解碼之框資料133的目前框之分割為CTU之陣列。解碼涵蓋其從經判定分割所得之CTU的進程開始。處理器中之控制從步驟1210進行至解碼編碼樹步驟1220。
在解碼編碼樹步驟1220，視頻解碼器134(在處理器205之執行下)履行方法1400於目前CTU以從位元流133解碼目前CTU之編碼樹。目前CTU係得自步驟1210之執行的CTU之選定一者。處理器205中之控制從步驟1220進行至最後CTU測試步驟1240。
在最後CTU測試步驟1240，處理器205係測試目前CTU是否為片或框中之最後一者。假如不是(在步驟1240為「否」)，則視頻解碼器134前進至該框中之下個CTU，且處理器205中之控制從步驟1240進行回至步驟1220以繼續從位元流解碼CTU。假如CTU為該框或片中的最後一個，則步驟1240返回「是」且方法1300終止。
圖13顯示將一影像框之編碼樹編碼入一視頻位元流的方法1300。方法1300可藉由設備(諸如經組態的FPGA、ASIC、或ASSP)來實施。此外，方法1300可在處理器205之執行下藉由視頻編碼器114來履行。如此一來，方法1300可被儲存在電腦可讀取儲存媒體上及/或在記憶體206中。方法1300導致將區塊編碼入位元流155以使得各區塊至少是最小區域。所述之配置係使用樣本之預定最小大小。所述之範例中所使用的最小大小是16樣本，其針對一些硬體與軟體實施方式是較佳的。然而，不同的最小大小仍可被使用。例如，32或64之處理粒度及32或64樣本之相應最小區塊面積個別是可能的。編碼其具有最小面積之區塊針對實施方式可行性是有利的，在硬體及在軟體實施方式兩者中。針對軟體實施方式，16樣本之最小面積係與典型的單指令多資料(SIMD)指令集(諸如AVX-2及SSE4)一致。方法1300(一開始在目前CTU之編碼樹的根節點處調用)開始在編碼分裂模式步驟1310。
在編碼分裂模式步驟1310，熵編碼器338(在處理器205之執行下)將編碼樹之目前節點處的分裂模式編碼入位元流115。分裂模式為如參考圖5所述的分裂之一，而編碼分裂模式之步驟僅容許其為可能的分裂之編碼。例如，四元樹分裂512僅在編碼樹之根節點處或者在編碼樹中之其他四元樹分裂底下是可能的。其將導致具有少於四個樣本之寬度或高度的亮度CB之分裂被禁止，如相關於組910所示。關於二元及/或三元分裂之最大深度的其他約束亦可能生效，例如基於規則組1010。處理器205中之控制從步驟1310進行至無分裂測試步驟1320。
在無分裂測試步驟1320，處理器205係測試目前分裂是否為「無分裂」(亦即，510)。假如目前分裂是無分裂510(在步驟1320為「是」)，則處理器205中之控制從步驟1320進行至編碼CU步驟1330。否則，假如目前分裂不是510(在步驟1320為「否」)，則處理器205中之控制進行至色度分裂禁止測試步驟1340。
在編碼CU步驟1330，熵編碼器338(在處理器205之執行下)將CU之預測模式以及CU之殘餘編碼入位元流115。當步驟1330到達編碼樹之各葉節點處時，方法1300係於完成步驟1330終止，回到編碼樹遍歷中之母調用。一旦編碼樹之所有節點已被遍歷，則整個CTU被編碼在位元流115中且控制回至方法1100，進行至影像框中之下個CTU。
在色度分裂禁止測試步驟1340，處理器205判定編碼樹中之目前節點的分裂(針對步驟1310)是否容許被應用於色度頻道，依據圖10之色度區1020分裂規則組。假如編碼樹中之目前節點覆蓋128亮度樣本(32x4或4x32或16x8或8x16)之亮度區域，則相應色度區(分別為16x2、2x16、8x4、4x8色度樣本)被禁止，如規則組1020中所示。假如三元分裂被容許，則所得區塊大小將包括禁止區塊大小(例如2x4或4x2)。當編碼樹中之目前節點覆蓋64亮度樣本之亮度區域時，則二元、三元及四元樹分裂被禁止，如規則組1020中所示。實施二元、三元及四元樹分裂於64亮度樣本之亮度區域將導致禁止色度區塊大小(2×2，2×4，4×2)。假如該分裂不被禁止(亦即，該分裂是列表1070之容許的色度分裂)，則步驟1340返回「否」且處理器205中之控制從步驟1340進行至履行亮度及色度分裂步驟1350。否則，假如該分裂被禁止(在步驟1340為「是」)，則處理器205中之控制進行至履行亮度分裂步驟13100。
在履行亮度及色度分裂步驟1350，處理器205應用該分裂以將與編碼樹之目前節點相關的目前區分割為與編碼樹之子節點相關的子區。該分裂係依據圖5及6之描述而被應用。處理器205中之控制從步驟1350進行至選擇區步驟1360。
在選擇區步驟1360，處理器係選擇得自步驟1350的子區之一。該子區係依據區之Z順序掃描而被選擇。該選擇在步驟1360之後續疊代上進行遍及該等子區。處理器205中之控制從步驟1360進行至編碼編碼樹步驟1370。
在編碼編碼樹步驟1370，處理器205針對得自步驟1360之選定區遞迴地調用方法1300。步驟1370進一步操作以編碼亮度及色度區塊、和相關的預測模式及殘餘係數，針對各區至位元流。處理器205中之控制從步驟1370進行至最後區測試步驟1380。
在最後區測試步驟1380，處理器205係測試該選定區(如在步驟1360所選定者)是否為得自分裂模式分割之區的最後一者，如在步驟1350所實施者。假如該區不是最後區(在步驟1380為「否」)，則處理器205中之控制從步驟1380進行至步驟1360，以繼續進行遍及該分裂之區。否則，步驟1380返回「是」，方法1300終止且處理器205中之控制進行至方法1300之母調用。
在履行亮度分裂步驟13100，如在步驟1310所編碼的分裂模式僅藉由處理器205而被履行在亮度頻道中。結果，編碼樹之目前節點係依據該分裂模式而被分割為多數亮度CB。僅一對色度CB(亦即，每色度頻道一個色度CB)被產生。各所得亮度CB係部分地重疊(共置與)該對色度CB以及集體地所得亮度CB。集體亮度CB以該對色度CB之面積確實地覆蓋該對色度CB之面積。此外，各亮度CB及色度CB之最小面積是最小大小，例如16樣本。
步驟13100及1350係操作以判定針對色度頻道Cb及Cr之色度編碼區塊的大小。在步驟1350，針對色度頻道之色度編碼區塊大小係基於在步驟1310所判定的分裂模式來判定。在步驟13100，針對色度頻道之色度編碼區塊大小係基於預定的最小色度區塊大小來判定。如上所述，步驟1350係基於其針對編碼樹單元而被禁止的色度分裂來實施。如圖10之規則組1020中所指示，可容許分裂、及因而色度編碼區塊之大小係基於在步驟1105所判定的色度格式來判定。
處理器205中之控制從步驟13100進行至選擇亮度CB步驟13110。
在選擇亮度CB步驟13110，處理器205係選擇得自步驟13100的CB之下個亮度CB。方法13100一開始選擇第一CB，其為得自亮度分裂的CB之左上亮度CB。在步驟13110之後續調用時，各「下個」亮度CB係依據涵蓋得自步驟13100之亮度CB的Z順序掃描來選擇。處理器205中之控制從步驟13110進行至編碼亮度CB步驟13120。
在編碼亮度CB步驟13120上，熵編碼器338(在處理器205之執行下)將選定的亮度CB編碼入位元流115。通常，預測模式及殘餘係數係針對選定亮度CB而被編碼。針對亮度CB而編碼的預測模式可使用間預測或內預測。例如，「cu_skip_flag」被編碼以指示無任何殘餘之間預測的使用；另外「pred_mode_flag」及選擇性地「pred_mode_ibc_flag」被編碼以指示內預測、間預測、或區塊內複製之使用，各具有選擇性殘餘係數。當殘餘可能存在時，「cu_cbf」旗標係告知該CB之任何TB中的至少一有效(非零)殘餘係數之存在。當該CB被指示為使用間預測時，相關移動向量僅可應用於亮度CB。亦即，該移動向量亦不會被應用以產生與任何部分共置色度CB相關的任何PB。當該CB被指示為使用區塊內複製時，相關區塊向量僅與該亮度CB相關而不與任何部分共置色度CB相關。處理器205中之控制從步驟13120進行至最後亮度CB測試步驟13130。
在最後亮度CB測試步驟13130，處理器205依據在步驟13100所履行之分裂的亮度CB之Z順序疊代以測試其在步驟13110所選擇的亮度CB是否為最後亮度CB。假如該選定亮度CB不是最後一個(在步驟13130為「否」)，則處理器205中之控制從步驟13130進行至步驟13120。否則，步驟13130返回「是」且處理器205中之控制進行至判定色度內預測模式步驟13140。
在判定色度內預測模式步驟13140，視頻編碼器114(在處理器205之執行下)判定針對與步驟13100之亮度CB共置的該對色度CB之內預測模式。步驟13140有效地判定其色度區塊係使用內預測來編碼。判定其由該色度CB所佔據的區是否在亮度頻道中被進一步分裂為多數亮度CB。針對一頻道之色度區塊的大小是預定的最小值(例如16樣本)，如由步驟1350之操作所判定。針對該對色度CB之內預測模式被判定，即使相應亮度CB係使用間預測而被編碼在步驟13120。在一個配置中，單一預測模式(諸如DC內預測)被應用於各色度CB。單一預測模式之使用容許該模式將藉由分裂色度之禁止來判定(在步驟1340之「是」結果)而不需要額外的搜尋以判定多數可能模式之哪一個模式將被使用。此外，位元流115不需要針對此情況之額外告知，亦即，無須編碼額外「intra_chroma_pred_mode」語法元素。然而，配置可藉由從數個可能內預測模式告知一個內預測模式以達成更高的壓縮性能，其係藉由將「intra_chroma_pred_mode」語法元素包括於位元流115中在當色度分裂已被禁止時(在步驟1340為「是」)。視頻編碼器114判定哪個內預測模式將被使用。內預測模式通常係依據編碼成本相較於失真之考量來判定。然而，相較於使用單一內預測模式於此等色度CB，通常獲得了更高的壓縮性能。處理器205中之控制從步驟13140進行至編碼色度CB步驟13150。
在編碼色度CB步驟13150，熵編碼器338(在處理器205之執行下)將針對色度CB之內預測模式編碼入位元流115，使用「intra_chroma_pred_mode」語法元素在當多數內預測模式可供使用時。當一個內預測模式(例如DC內預測)是可能的時，「intra_chroma_pred_mode」不被編碼入位元流115。針對色度內預測子之可用內預測模式可包括DC、平面、及以下角預測模式：水平、垂直、筆直對角。可用的內預測模式亦可包括「直接模式」(DM_CHROMA)，藉此色度內預測模式被獲得自共置亮度CB，通常是得自步驟13100之亮度CB的最下及最右。當「跨成分線性模型」內預測為可用時，色度CB可被預測自來自亮度CB之樣本。與色度CB相關的色度TB之殘餘係數亦可被編碼入位元流115，如參考圖14之步驟14150所述。一旦步驟13150由處理器205所執行，方法1300便終止且處理器205中之控制返回至方法1300之母調用。
圖14顯示從視頻位元流解碼一影像框之一編碼樹的方法1400，如在方法1200之步驟1220所實施。方法1400可藉由設備(諸如經組態的FPGA、ASIC、或ASSP)來實施。此外，方法1400可在處理器205之執行下藉由視頻解碼器134來履行。如此一來，方法1400可被儲存在電腦可讀取儲存媒體上及/或在記憶體206中。方法1400導致解碼來自位元流133之區塊以使得各區塊不小於最小面積，諸如16樣本，其係有利於實施可行性，在硬體情況以及在軟體情況兩者。針對軟體情況，16樣本之最小面積係與典型的單指令多資料(SIMD)指令集(諸如AVX-2及SSE4)一致。方法1400(一開始在目前CTU之編碼樹的根節點處調用)開始在解碼分裂模式步驟1410。
在解碼分裂模式步驟1410，熵解碼器420(在處理器205之執行下)將編碼樹之目前節點處的分裂模式解碼入位元流133。分裂模式為如參考圖5所述的分裂之一，而編碼分裂模式之方法僅容許其被容許(亦即，在亮度頻道中被容許)之分裂的編碼，即使該分裂在色度頻道中被禁止。例如，四元樹分裂512僅在編碼樹之根節點處或者在編碼樹中之其他四元樹分裂底下是可能的。其將導致具有少於四個樣本之寬度或高度的亮度CB之分裂被禁止。如此一來，最小亮度CB大小為16樣本。關於二元及/或三元分裂之最大深度的其他約束亦可能生效。處理器205中之控制從步驟1410進行至無分裂測試步驟1420。
在無分裂測試步驟1420，處理器205係測試目前分裂是否為「無分裂」(亦即，510)。假如目前分裂是無分裂510(在1420為「是」)，則處理器205中之控制從步驟1420進行至解碼CU步驟1430。否則，步驟1420返回「否」且處理器205中之控制進行至色度分裂禁止測試步驟1440。
在解碼CU步驟1430，熵解碼器420(在處理器205之執行下)解碼位元流115之CU的預測模式以及CU的殘餘係數。步驟1430係操作以藉由熵解碼器420而使用從位元流所判定的殘餘係數及預測模式來解碼編碼單元。當步驟1430到達編碼樹之各葉節點處時，方法1400係於步驟1430之完成時終止，回到編碼樹遍歷中之母調用。一旦編碼樹之所有節點已被遍歷，則整個CTU被解碼自位元流133中且控制回至方法1200，進行至影像框中之下個CTU。
在色度分裂禁止測試步驟1440，處理器205判定編碼樹中之目前節點的分裂(針對步驟1410)是否容許被應用於色度頻道，依據圖10之色度區1020分裂規則組。步驟1440判定該分裂測試是否被禁止以如方法1300之步驟1340的類似方式。步驟1440之操作防止禁止的區塊大小發生。當色度區已是最小大小(例如16色度樣本)，則任何類型的進一步分裂均不被容許，因為所得區將小於可容許的最小值。當色度區大小是32樣本且相應的分裂是三元分裂(不管是水平或垂直三元分裂)時，亦不容許進一步分裂以避免8色度樣本之面積的色度區塊。假如該分裂不被禁止(亦即，該分裂是容許的)，則步驟1450返回「否」且處理器205中之控制從步驟1440進行至履行亮度及色度分裂步驟1450。否則，假如該分裂被禁止(在步驟1450為「是」)，則處理器205中之控制進行至判定色度內預測模式步驟14100。
在履行亮度及色度分裂步驟1450，處理器205應用該分裂以將與編碼樹之目前節點相關的目前區分割為與編碼樹之子節點相關的子區。該分裂被應用如係相關於圖5及6所述。
步驟14100及1450係操作以判定針對色度頻道Cb及Cr之色度編碼區塊的大小。在步驟1450，針對色度頻道之色度編碼區塊大小係基於在步驟1410所解碼的分裂模式來判定。在步驟14100，針對色度頻道之色度編碼區塊大小係基於預定的最小色度區塊大小來判定。如上所述，步驟1450係基於針對編碼樹單元而被禁止的色度分裂來實施，該編碼樹單元係相應於16(以及在亮度面積128樣本之三元分裂的情況下為32)之最小色度CB大小。如圖10之規則組1020中所指示，可容許分裂、及因而色度編碼區塊之大小係基於在步驟1205所判定的色度格式來判定。
處理器205中之控制從步驟1450進行至選擇區步驟1460。
在選擇區步驟1460，處理器205係選擇得自步驟1450的子區之一，依據該等區之Z順序掃描。步驟1460在後續疊代上操作遍及該等子區之進程選擇。處理器205中之控制從步驟1460進行至解碼編碼樹步驟1470。
在解碼編碼樹步驟1470，處理器205針對得自步驟1460之操作的選定區遞迴地調用方法1400。步驟1470進一步操作以使用從該位元流所判定的殘餘係數及預測模式來解碼該編碼樹的各區。處理器205中之控制從步驟1470進行至最後區測試步驟1480。
在最後區測試步驟1480，處理器205係測試該選定區(如在步驟1460之最後疊代所預選者)是否為得自步驟1450所實施的分裂模式分割之區的最後一者。假如該區不是最後區(在步驟1480為「否」)，則處理器205中之控制從步驟1480進行至步驟1460，以繼續進行遍及該分裂之區。否則，步驟1480返回「是」，方法1400終止且處理器205中之控制進行至方法1400之母調用。
在履行亮度分裂步驟14100，如在步驟1410所編碼的分裂模式僅藉由處理器205而被履行在亮度頻道中。結果，編碼樹之目前節點係依據該分裂模式而被分割為多數亮度CB。步驟14100操作以產生僅一對色度CB(亦即，每色度頻道一個色度CB)。各所得亮度CB係與該對色度CB部分地重疊(兩者至少部分地共置)，而集體地亮度CB係與該對色度CB完全地重疊。此外，各亮度CB及色度CB之最小面積是16樣本。處理器205中之控制從步驟14100進行至選擇亮度CB步驟14110。
在選擇亮度CB步驟14110，處理器205係選擇得自步驟14100的CB之下個亮度CB。下個亮度CB之選擇係以第一CB開始，其為得自亮度分裂的CB之左上亮度CB。在步驟14110之後續調用時，各「下個」亮度CB係依據涵蓋得自步驟14100之亮度CB的Z順序掃描來選擇。處理器205中之控制從步驟14110進行至解碼亮度CB步驟14120。
在解碼亮度CB步驟14120上，熵解碼器420(在處理器205之執行下)將選定的亮度CB解碼入位元流115。通常，預測模式及殘餘係針對選定亮度CB而被解碼。例如，「cu_skip_flag」被解碼以指示無任何殘餘之間預測的使用；另外「pred_mode_flag」及選擇性地「pred_mode_ibc_flag」被解碼以指示內預測、間預測、或區塊內複製之使用，各具有選擇性殘餘係數。當殘餘可能存在時，「cu_cbf」旗標係告知該CB之任何TB中的至少一有效(非零)殘餘係數之存在。當CB被指示為使用間預測時，相關移動向量僅可應用於亮度CB，亦即，該移動向量不會也被應用來產生與任何部分共置之色度CB相關的任何PB。當該CB被指示為使用區塊內複製時，相關區塊向量僅與該亮度CB相關而不與任何部分共置色度CB相關。處理器205中之控制從步驟14120進行至最後亮度CB測試步驟14130。
在最後亮度CB測試步驟14130，處理器205依據在步驟14100所履行之分裂的亮度CB之Z順序疊代以測試其在步驟14110所選擇的亮度CB是否為最後亮度CB。假如該選定亮度CB不是最後一個，則處理器205中之控制從步驟14130進行至步驟14110。否則，處理器205中之控制進行至判定色度內預測模式步驟14140。
在判定色度內預測模式步驟14140，視頻解碼器134(在處理器205之執行下)判定針對與步驟14100之亮度CB共置的該對色度CB之內預測模式。步驟14140有效地判定其色度區塊已使用內預測來編碼，而因此應使用內預測來解碼，假如色度區塊是分裂色度之編碼樹的中斷之結果(當分裂亮度之編碼樹已發生時)，如由步驟1440之操作所判定。針對該對色度CB之內預測模式被判定，即使相應亮度CB係使用間預測而被解碼在步驟14120。在一個配置中，單一預測模式(諸如DC內預測)被應用於各色度CB。單一預測模式之使用容許該模式將藉由分裂色度之禁止來判定(在步驟1440之「是」結果)而不需要額外的搜尋以判定多數可能模式之哪一個模式將被使用。此外，位元流134不需要針對此情況之額外告知，亦即，無須編碼額外「intra_chroma_pred_mode」語法元素。然而，配置可藉由從數個可能內預測模式告知一個內預測模式以達成更高的壓縮性能，其係藉由將「intra_chroma_pred_mode」語法元素包括於位元流134中在當色度分裂已被禁止時(在步驟1440為「是」)。視頻解碼器134必須判定哪個內預測模式將被使用，使用熵解碼器420以從位元流134解碼「intra_chroma_pred_mode」語法元素。處理器205中之控制從步驟14140進行至解碼色度CB步驟14150。
在解碼色度CB步驟14150，熵解碼器420(在處理器205之執行下)判定來自位元流420之色度CB的內預測模式，通常依據已解碼的「intra_chroma_pred_mode」語法元素。解碼「intra_chroma_pred_mode」被履行在當有多數內預測模式可用時。當僅有一個內預測模式可用，例如DC內預測，則該模式被推斷而無須解碼來自位元流133之額外語法元素。針對色度內預測子之可用內預測模式可包括DC、平面、以下角預測模式：水平、垂直、筆直對角。可用的內預測模式亦可包括「直接模式」(DM_CHROMA)，藉此色度內預測模式被獲得自共置亮度CB，通常是得自步驟14100之亮度CB的最下及最右。當「跨成分線性模型」內預測為可用時，色度CB可被預測自來自亮度CB之樣本。針對該對色度CB，「cu_cbf」旗標係告知至少一個有效殘餘係數之存在於該對色度CB之任一者中。假如至少一個有效殘餘係數係存在於該對色度CB之任一者中，則「tu_cbf_cb」及「tu_cbf_cr」便告知至少一個有效係數之存在於針對Cb及Cr通道之色度CB中，個別地。針對具有至少一個有效殘餘係數之色度CB，語法元素之「residual_coding」序列被解碼以判定個別色度CB之殘餘係數。殘餘編碼語法將殘餘係數編碼為其填佔變換區塊(從最後有效係數位置至左上(「DC」)係數位置)之值的序列，依據向後對角掃描。向後對角掃描係履行變換區塊之掃描而成為「子區塊」(或「係數群組」)之序列，通常大小4x4而2x2、2x4、2x8、8x2、4x2之大小亦是可能的。在各係數群組內之掃描是在向後對角方向，而從一個子區塊至下個子區塊之掃描亦在向後對角方向。一旦步驟14150由處理器205所執行，方法1400便終止且處理器205中之控制返回至方法1400之母調用。
方法1300及1400之編碼樹方式(藉此16樣本之最小區塊面積係針對4：2：0色度格式視頻資料而維持)有助於軟體及硬體兩者之高通量實施方式。此外，將內預測限制於針對小CB大小的亮度CB係減少了針對移動補償記憶體頻寬之此最差情況的記憶體頻寬，藉由避免亦提取用於產生經移動補償的色度CB之樣本的需求。特別假如最小色度CB大小為2x2且需要額外樣本以提供針對色度CB之次取樣內插的過濾器支援，則將可看出記憶體頻寬之實質上增加(相較於僅履行內預測在小區塊大小之亮度頻道中)。移動補償之編碼增益實質上出現在亮度頻道中，因此省略小區塊的移動補償係達成了針對相對小的編碼性能影響之記憶體頻寬減少。此外，記憶體頻寬減少係貢獻於在4x4亮度CB上履行移動補償之可行性並達成所得的編碼增益。
在視頻編碼器114及視頻解碼器134之一配置中，多於一個亮度分裂可發生在編碼樹中，從編碼樹之色度分裂所終止的點。例如，8x16亮度區域未被分裂在色度頻道中，導致一對4x8色度CB。在亮度頻道中，8x16亮度區域被首先分裂以水平三元分裂，且接著所得亮度CB之一被進一步分裂。例如，所得8x4亮度CB被垂直地二元分裂為兩個4x4亮度CB。具有多於一個亮度分裂在編碼樹中(從編碼樹之色度分裂所終止的點)的配置個別地再調用方法1300及1400於視頻編碼器114及視頻解碼器134中(在色度分裂禁止區域中)，具有其在後續調用上無須進一步色度CB的修改。在其中該對色度CB被產生之方法1300及1400的調用上，整個色度區域係由所產生的色度CB來覆蓋，因此方法1300及1400之遞迴調用無須產生額外色度CB。
圖15顯示一內預測編碼單元之變換區塊分割的一集合1500。亮度CB可被分割為相同大小(「ISP_NO_SPLIT」)的一個亮度TB。大小4x4之亮度CB具有16樣本之面積且未被進一步分割，導致亦為大小4x4的一個亮度TB。具有32樣本之面積的亮度CB可被分割為兩個分割。例如，8x4亮度CB 1510可被水平地分割(「ISP_HOR_SPLIT」)為兩個8x2亮度TB 1520或垂直地分割(「ISP_VER_SPLIT」)為兩個4x4亮度TB 1530。假如亮度CB 1510為4x8亮度CB，則區塊可被水平地分割為兩個4x4亮度TB(在1520)或垂直地分割為兩個2x8亮度TB(在1530)。
面積64樣本或更大的亮度CB被分割為一個分割或四個分割。具有64樣本或更大之面積的寬度W及高度H之亮度CB 1550可被水平地分割為大小Wx(H/4)之四個亮度TB 1560或可被垂直地分割為四個(W/4)xH亮度TB 1570。如集合1500中所示，將亮度CB分割為多數分割係導致更多且更小的亮度TB。內預測被履行以針對各亮度TB產生PB，而內重建程序被履行在亮度CB內從一個分割至下個分割。
圖16顯示一種用以將一影像框之一編碼單元編碼為一視頻位元流115的方法1600。方法1600可藉由設備(諸如經組態的FPGA、ASIC、或ASSP)來實施。此外，方法1600可在處理器205之執行下藉由視頻編碼器114來履行。如此一來，方法1600可被儲存在電腦可讀取儲存媒體上及/或在記憶體206中。方法1600導致編碼區塊為位元流115以使得係數群組大小僅基於變換區塊大小來判定而不被進一步區分於亮度頻道與色度頻道之間。因為熵編碼是視頻編碼器114中的關鍵回饋迴路，所以減少針對係數群組大小判定所需的記憶體存取或計算是有利的。方法1600(針對編碼樹中之各編碼單元而被調用，亦即，在圖13之步驟1330被調用)係開始在編碼pred_mode步驟1610。如上所述，步驟1330被執行在當步驟1320判定其目前分裂是無分裂510時。
在編碼pred_mode步驟1610，熵編碼器338(在處理器205之執行下)將CU之預測模式以及CU之預測模式編碼入位元流115。處理器205中之控制從步驟1610進行至內預測測試步驟1620。
在內預測測試步驟1620，處理器205測試CU之預測模式。假如預測模式為內預測(在步驟1620為「是」)，則處理器205中之控制從步驟1620進行至編碼內子分割模式步驟1650。否則假如預測模式不是內預測(在步驟1620為「否」)，則處理器205中之控制從步驟1620進行至編碼合併旗標及指標步驟1630。
在編碼合併旗標及指標步驟1630，熵編碼器338(在處理器205之執行下)將合併旗標編碼入位元流115，其告知針對間預測之「合併模式」的使用(或不使用)。合併模式造成CU之移動向量在一組候選空間地(或時間地)相鄰區塊中被獲得自空間地(或時間地)相鄰區塊。假如使用合併模式，則以相應的「合併指標」來選擇一個候選者。合併指標係連同合併旗標而被編碼入位元流115中。假如使用「移動向量預測」，則履行類似編碼，藉此數個可能的候選移動向量之一係使用旗標而被告知為預測子。處理器205中之控制從步驟1630進行至編碼移動向量差量步驟1640。
在編碼移動向量差量步驟1640，熵編碼器338(在處理器205之執行下)將移動向量差量編碼入位元流115。步驟1640被履行在當移動向量預測被用於CU時。移動向量差量係指明介於在步驟1630所編碼的移動向量預測子與將被用於移動補償的移動向量之間的差量。處理器205中之控制從步驟1640進行至已編碼殘餘測試步驟1660。假如移動向量預測不被用於CU，則步驟1640不被實施且方法1600直接地進行至步驟1660。
在編碼內子分割模式步驟1650，熵編碼器338(在處理器205之執行下)將是否使用內子分割之決定編碼入位元流115，利用背景編碼的「intra_subpartitions_mode_flag」語法元素。內子分割可用於亮度頻道在當亮度CB大小大於最小亮度變換區塊大小(亦即，大於16亮度樣本)時。內子分割將編碼單元分割為多數亮度變換區塊，如集合1500中所示。假如亮度CB被分割為多數TB，則「intra_subpartitions_split_flag」告知亮度CB之分割為多數亮度TB是水平地或是垂直地發生。集體地，「intra_subpartitions_mode_flag」及「intra_subpartitions_split_flag」係編碼三個可能的分割，標號為「ISP_NO_SPLIT」、「ISP_HOR_SPLIT」、及「ISP_VER_SPLIT」。處理器205中之控制從步驟1650進行至已編碼殘餘測試步驟1660。
在已編碼殘餘測試步驟1660，處理器205判定在編碼區塊之任何變換區塊中的至少一殘餘係數是否為有效。該判定包括得自應用內子分割的所有亮度TB以及與兩個色度頻道相關的該對色度TB。假如亮度及色度TB之任一者中的至少一殘餘係數為有效，則熵編碼器338(在處理器205之執行下)算術地編碼「cu_cbf」語法元素之「一」，步驟1660返回「是」且處理器205進行至判定亮度係數群組大小步驟1670。假如無有效殘餘係數存在於CU之任何TB中，則步驟1660返回「否」，「零」被算術地編碼給cu_cbf且方法1600終止，而處理器205進行至CTU中之下個CU。
在判定亮度係數群組大小步驟1670，處理器判定與CU相關之一或更多亮度TB(變換區塊)的係數群組大小。假如未使用內子分割，則有一個亮度TB存在。假如使用內子分割，則有兩個或四個亮度TB存在。亮度TB之大小係取決於內子分割是被水平地或垂直地履行、以及亮度TB之數目，而因此係取決於亮度CU大小，如集合1500中所示。
係數群組大小係使用亮度TB寬度及高度來判定，如以下之表1中所示。表1顯示亮度及色度頻道之變換區塊(TB)大小至係數群組映射表，該等亮度及色度頻道具有針對TB之相同大小的係數群組而不管TB係用於亮度頻道或色度頻道。TB寬度及高度為2的次方，而因此表1考量TB寬度及高度之log2，亦即「log2TBwidth」及「log2TBheight」，形成前兩個指標於表1之三個尺寸中。該表之最後尺寸係區分係數群組之寬度與高度。係數群組尺寸被儲存為log2寬度及log2高度。例如，大小16x16之TB係導致表1中之索引(4, 4)，其返回(2, 2)，指示4x4之係數群組大小。大小(2x32)之TB係導致表1中之索引(1, 5)，其返回(1, 3)，指示2x8之係數群組大小。亮度TB之最小面積為16樣本，而因此其中log2width+log2height小於四(在表1中)的情況不被存取。當內子分割被用於CU時，各亮度TB具有相同大小而因此針對亮度TB之係數群組大小判定係針對該CU被履行一次。
以下之表2顯示亮度及色度頻道之變換區塊(TB)大小至係數群組大小的映射，該等亮度及色度頻道具有針對相同大小TB之不同係數群組大小(在亮度相較於色度中)。假如表2將被使用，則將需要一額外尺寸(亦即，區分亮度與色度)且表大小是表1的兩倍。如表1中所界定的係數群組大小係導致大小為適於TB寬度及高度中而面積不超過16樣本的最大可能大小。表1提供一組係數群組大小，以利從該組選擇一係數群組大小。寬度相對於高度之選定的係數群組高寬比被保持盡可能接近於1：1，在TB寬度及高度之約束內。處理器205中之控制從步驟1670進行至編碼亮度TB步驟1680。
在編碼亮度TB步驟1680，熵編碼器338(在處理器205之執行下)將CU之一或更多亮度TB的殘餘編碼入位元流115。步驟1670之經判定係數群組大小被用於各亮度TB。針對各亮度TB，編碼區塊旗標被編碼入位元流115，其係指示亮度TB中之至少一個有效係數的存在。假如至少一個有效係數存在於亮度TB中，則最後有效位置被編碼入位元流中。最後有效位置被定義為沿著從TB之DC(左上)係數前進至右下係數的掃描路徑之最後有效係數。該掃描路徑被定義為TB之分割(成為無重疊子區塊的陣列)內之對角掃描，該等無重疊子區塊各被形成為係數群組大小，且佔據整個TB。依該掃描順序從一個子區塊至下個子區塊的進程亦依循對角掃描。針對除了左上係數群組及含有最後有效係數之係數群組以外的各係數群組，熵編碼器338係編碼「已編碼子區塊旗標」。已編碼子區塊旗標係指示子區塊中之至少一個有效殘餘係數的存在。假如無有效殘餘係數在子區塊中，則TB中之殘餘係數的對角掃描便跳過該子區塊。假如有至少一個有效殘餘係數在子區塊中，則該子區塊內之所有位置均被掃描且各殘餘係數之數值被編碼，以及各有效殘餘係數之符號被編碼。處理器205中之控制從步驟1680進行至判定色度係數群組大小步驟1690。
在判定色度係數群組大小步驟1690，處理器205判定與CU相關之該對色度變換區塊的係數群組大小。各色度頻道之一個色度CB係與該CU相關，無論該亮度CB是否被分割為數個亮度TB。係數群組大小係使用色度TB寬度及高度來判定，如表1中所示。TB寬度及高度為2的次方，而因此表1考量TB寬度及高度之log2，亦即「log2TBwidth」及「log2TBheight」，形成前兩個指標於表1之三個尺寸中。該表之最後尺寸係區分係數群組之寬度與高度。係數群組尺寸被儲存為log2寬度及log2高度。例如，大小16x16之TB係導致表1中之索引(4, 4)，其返回(2, 2)，指示4x4之係數群組大小。大小(2x32)之TB係導致表1中之索引(1, 5)，其返回(1, 3)，指示2x8之係數群組大小。各色度TB具有相同大小而因此針對該對色度TB之係數群組大小判定係針對該CU被履行一次。假如表2將被使用，則將需要一額外尺寸(亦即，區分亮度與色度)且表大小是表1之大小的兩倍。
如相關於步驟1670及1690所述，係數群組大小僅基於變換區塊大小來判定而不被進一步區分於亮度頻道與色度頻道之間。係數群組大小被因此判定而不管色度格式是4：2：2或是4：2：0。如相關於表1所述，係數群組大小係基於高達16樣本之係數群組的最大面積。步驟1690係操作以判定TB之係數群組大小，不管變換區塊之顏色平面(Y或Cb或Cr)或者由於色度格式的顏色平面(可應用於Cb及Cr頻道)中之次取樣。表1被使用於步驟1670及步驟1690兩者中。因此，單一表格被用於其屬於該亮度平面及該等色度顏色平面之各者的變換區塊。處理器205中之控制從步驟1690進行至編碼色度TB步驟16100。
在編碼色度TB步驟16100，熵編碼器338(在處理器205之執行下)將CU之該對色度TB的殘餘係數編碼入位元流115。步驟1690之經判定係數群組大小被用於該對色度TB。針對各色度TB，編碼區塊旗標被編碼入位元流115，其係指示色度TB中之至少一個有效係數的存在。針對各色度TB之編碼步驟的剩餘者係符合針對亮度TB之編碼程序，如參考步驟1680所述者。方法1600在步驟16100之執行後終止且處理器205中之控制進行至CTU之下個CU。
圖17顯示一種用以從一視頻位元流133解碼一影像框之一編碼單元的方法1700。方法1700可藉由設備(諸如經組態的FPGA、ASIC、或ASSP)來實施。此外，方法1700可在處理器205之執行下藉由視頻解碼器134來履行。如此一來，方法1700可被儲存在電腦可讀取儲存媒體上及/或在記憶體206中。方法1700導致解碼來自位元流133之區塊以使得係數群組大小僅基於變換區塊大小來判定而不被進一步區分於亮度頻道與色度頻道之間。因為熵解碼是視頻編碼器134中的關鍵回饋迴路，所以減少針對係數群組大小判定所需的記憶體存取或計算是有利的。方法1700係針對編碼樹中之各編碼單元而被調用，亦即，在圖14之步驟1430被調用。如上所述，假如目前分裂是無分裂510則步驟1430被執行。方法1700開始於解碼pred_mode步驟1710。
在解碼pred_mode步驟1710，熵解碼器420 (在處理器205之執行下)從位元流133解碼CU之預測模式。處理器205中之控制從步驟1710進行至內預測測試步驟1720。
在內預測測試步驟1720，處理器205測試CU之預測模式，如在步驟1710所解碼者。假如預測模式為內預測(步驟1720返回「是」)，則處理器205中之控制從步驟1720進行至解碼內子分割模式步驟1750。否則，假如不是內預測(步驟1720返回「否」)，則處理器205中之控制從步驟1720進行至解碼合併旗標及指標步驟1730。
在解碼合併旗標及指標步驟1730，熵解碼器420(在處理器205之執行下)從位元流133解碼合併旗標，其告知「合併模式」是否被使用在針對間預測之位元流中。合併模式造成CU之移動向量在一組候選空間地或時間地相鄰區塊中被獲得自空間地(或時間地)相鄰區塊。假如使用合併模式，則一個候選者被選擇以「合併指標」，亦解碼自位元流133。假如使用「移動向量預測」則履行類似解碼，藉此數個可能的候選移動向量之一係藉由位元流中之旗標而被告知為預測子。處理器205中之控制從步驟1730進行至解碼移動向量差量步驟1740。
在解碼移動向量差量步驟1740，熵解碼器420(在處理器205之執行下)從位元流133解碼移動向量差量。步驟1740被履行在當移動向量預測被用於CU時。移動向量差量係指明介於在步驟1730所編碼的移動向量預測子與將被用於移動補償的移動向量之間的差量。處理器205中之控制從步驟1740進行至已編碼殘餘測試步驟1760。假如移動向量預測不被用於CU，則步驟1740不被實施且處理器205中之控制直接地進行至步驟1760。
在解碼內子分割模式步驟1750，熵解碼器420(在處理器205之執行下)從位元流133解碼是否使用內子分割之決定，使用背景編碼的「intra_subpartitions_mode_flag」語法元素。內子分割可用於亮度頻道在當亮度CB大小大於最小亮度變換區塊大小(亦即，大於16亮度樣本)時。內子分割將編碼單元分割為多數亮度變換區塊，如集合1500中所示。假如亮度CB被分割為多數TB，則「intra_subpartitions_split_flag」告知亮度CB之分割為多數亮度TB是水平地或是垂直地發生。集體地，「intra_subpartitions_mode_flag」及「intra_subpartitions_split_flag」係編碼三個可能的分割，標號為「ISP_NO_SPLIT」、「ISP_HOR_SPLIT」、及「ISP_VER_SPLIT」。處理器205中之控制從步驟1750進行至已編碼殘餘測試步驟1760。
在已編碼殘餘測試步驟1760，處理器205判定在編碼區塊之任何變換區塊中的至少一殘餘係數是否為有效。該判定包括得自應用內子分割的所有亮度TB以及與兩個色度頻道相關的該對色度TB。熵編碼器420(在處理器205之執行下)算術地解碼「cu_cbf」語法元素，且處理器205判定CU之任何TB中的至少一個殘餘係數是否為有效。假如亮度及色度TB之任一者中的至少一個殘餘係數是有效，則步驟1760返回「是」且處理器205中之控制進行至判定亮度係數群組大小步驟1770。假如無有效殘餘係數存在於CU之任何TB中(如藉由「零」係針對cu_cbf而被算術地解碼來指示)，則步驟1760返回「否」，且方法1700終止，而處理器205進行至CTU中之下個CU。
在判定亮度係數群組大小步驟1770，處理器205判定與CU相關之一或更多亮度變換區塊的係數群組大小。步驟1770之判定係操作以如步驟1670之判定的相同方式。處理器205中之控制從步驟1770進行至解碼亮度TB步驟1780。
在解碼亮度TB步驟1780，熵解碼器420(在處理器205之執行下)從位元流133解碼CU之一或更多亮度TB的殘餘係數。步驟1770之經判定係數群組大小被用於各亮度TB。針對各亮度TB，編碼區塊旗標被解碼自位元流133，其係指示亮度TB中之至少一個有效係數的存在。假如至少一個有效係數存在於亮度TB中，則最後有效位置被解碼自位元流。最後有效位置被定義為沿著從TB之DC(左上)係數前進至右下係數的掃描路徑之最後有效係數。該掃描路徑被定義為TB之分割(成為無重疊子區塊的陣列)內之對角掃描，該等無重疊子區塊各被形成為係數群組大小，且佔據整個TB。依該掃描順序從一個子區塊至下個子區塊的進程亦依循對角掃描。針對除了左上係數群組及含有最後有效係數之係數群組以外的各係數群組，熵編碼器338係編碼「已編碼子區塊旗標」。已編碼子區塊旗標係指示子區塊中之至少一個有效殘餘係數的存在。假如無有效殘餘係數在子區塊中，則TB中之殘餘係數的對角掃描便跳過該子區塊。假如有至少一個有效殘餘係數在子區塊中，則該子區塊內之所有位置均被掃描且各殘餘係數之數值被編碼，以及各有效殘餘係數之符號被編碼。處理器205中之控制從步驟1780進行至判定色度係數群組大小步驟1790。
在判定色度係數群組大小步驟1790，處理器205判定與CU相關之該對色度變換區塊的係數群組大小。步驟1790中所做出之判定係操作以如步驟1690中所做出之判定的相同方式。
類似於步驟1690，係數群組大小係基於變換區塊大小而被判定在步驟1790，且不被進一步區分於亮度頻道與色度頻道之間。係數群組大小被因此判定而不管色度格式是4：2：2或是4：2：0或是各顏色平面中之相應次取樣。如相關於表1所述，係數群組大小係基於高達16樣本之TB的最大面積。步驟1690係操作以判定TB之係數群組大小而不管變換區塊之顏色平面(Cb或Cr)。處理器205中之控制從步驟1790進行至解碼色度TB步驟17100。
在解碼色度TB步驟17100，熵解碼器420(在處理器205之執行下)從位元流133解碼CU之該對色度TB的殘餘係數。步驟1790之經判定係數群組大小被用於該對色度TB。針對各色度TB，編碼區塊旗標被解碼自位元流133，其係指示色度TB中之至少一個有效係數的存在。針對各色度TB之解碼程序的剩餘者係以如針對亮度TB之相同方式操作，如參考步驟1780所述者。方法1700在步驟17100之執行後終止且處理器205中之控制進行至CTU之下個CU。
表3顯示在JVET「常見測試條件」(CTC)-「所有內主要10」組態(當使用表1時)下所獲得的編碼性能。表3之結果被獲得以實施方法1600及1700之「VVC測試模型」(VTM)軟體，相較於其不實施方法1600及1700之基線VTM-4.0。總之，沒有來自該改變的編碼影響，且甚至在色度頻道中看到一些小增益，展示出簡化變換區塊大小至係數群組大小映射表對於編碼性能不是有害的。
視頻編碼器114及視頻解碼器134(個別地使用方法1600及1700)藉由調和亮度TB與色度TB之係數群組大小以達成在殘餘編碼/解碼程序中之記憶體減少。結果，色度TB具有針對係數群組大小(諸如2x8、8x2、2x4、4x2而非僅2x2及4x4)之存取。針對亮度TB，當使用內子分割時16x1及1x16之大小是可能的。雖然大小16x1及1x16可用於色度(由於其存在於表1中)，但色度區塊之最小寬度及高度是兩個樣本，而因此大小16x1及1x16不被用於色度TB。因為殘餘編碼及解碼為該設計中之回饋迴路的部分，所以記憶體減少係與在(例如)快取性能(於軟體實施方式)中之增進或者關鍵路徑減少(於硬體實施方式)一致。
Figure 02_image001
Figure 02_image003
Figure 02_image005
產業可利用性
所述之配置可應用於電腦及資料處理產業，而特別是針對信號(諸如視頻及影像信號)的編碼及解碼之數位信號處理，達成高壓縮效率。
相反於HEVC，VVC系統容許使用分離的編碼樹於亮度頻道及色度頻道以利增加的彈性。然而，如以上所討論，所得的問題可能由於使用較小的色度區塊(其影響通量)而發生。文中所述之配置係判定適當的規則，隨著各編碼樹單元被處理以協助避免通量問題。此外，如上所述，所述之配置可協助提供用以描述各編碼樹之背景編碼二元的算術編碼之增進效率及準確度，給定用以避免通量問題的規則。
以上僅描述本發明之某些實施例，並可進行修飾及/或改變而不背離本發明之範圍及精神，該些實施例為說明性且非限制性的。
100:視頻編碼及解碼系統 110:來源裝置 112:視頻來源 113:框資料 114:視頻編碼器 115:位元流 116:傳輸器 120:通訊頻道 122:非暫態儲存裝置 130:目的地裝置 132:接收器 133:位元流 134:視頻解碼器 135:已解碼框資料 136:顯示裝置 200:電腦系統 201:電腦模組 202:鍵盤 203:滑鼠指針裝置 204:互連匯流排 205:處理器單元 206:記憶體單元 207:音頻-視頻介面 208:介面 209:儲存裝置 210:硬碟驅動(HDD) 211:局部網路介面 212:光碟驅動 213:I/O介面 214:顯示裝置 215:印表機 216:收發器裝置 217:揚聲器 218,219:連接 220:通訊網路 221:連接 222:局部區域通訊網路 223:連接 224:連接 225:碟儲存媒體 226:掃描器 227:相機 228,229,230,235,236,237:記憶體位置 231:指令 232:資料 233:應用程式 234:記憶體 239:控制單元 240:算術邏輯單元(ALU) 241:內部匯流排 242:介面 244~246:暫存器 248:記憶體 249:ROM 250:開機自我測試(POST)程式 251:基本輸入輸出系統軟體(BIOS)模組 252:自舉載入器程式 253:作業系統 254:輸入變數 255,256,257:記憶體位置 258:中間變數 259,260,266,267:記憶體位置 261:輸出變數 262,263,264:記憶體位置 280:麥克風 310:區塊分割器 312:目前CB 320:預測區塊(PB) 322:減法器模組 324:差異 326:主要變換模組 328:主要變換係數 330:次要變換模組 332:變換係數 334:量化器模組 336:殘餘係數 338:熵編碼器 340:去量化器模組 342:反變換係數 344:反次要變換模組 346:中間反變換係數 348:反主要變換模組 350:殘餘樣本 352:加總模組 354:重建樣本 356:參考樣本快取 358:參考樣本 360:參考樣本過濾器 362:已過濾參考樣本 364:框內預測模組 366:內預測區塊 368:迴路中過濾器模組 370:已過濾樣本 372:框緩衝器 374:參考框 376:移動估計模組 378:移動向量 380:移動補償模組 382:已過濾參考樣本 384:多工器模組 386:模式選擇器 388:內預測模式 420:熵解碼器模組 424:殘餘係數 428:去量化器模組 432:已重建中間變換係數 434:移動補償模組 436:反次要變換模組 438:間預測樣本 440:已重建變換係數 444:反主要變換模組 448:殘餘樣本 450:加總模組 452:已解碼PB 456:已重建樣本 458:內預測模式 460:已重建樣本快取 464:參考樣本 468:參考樣本過濾器 472:已過濾參考樣本 476:框內預測模組 480:內預測樣本 484:多工器模組 488:迴路中過濾模組 492:已過濾區塊資料 496:框緩衝器 498:樣本 500:集合 510:葉節點 512:四元樹分裂 514:水平二元分裂 516:垂直二元分裂 518:三元水平分裂 520:三元垂直分裂 600:資料流 610:四元樹(QT)分裂決定 612:MT分裂決定 614:方向決定 616,618:決定 620,622,625,626,627,628:步驟 700:範例分割 710:CTU 712:範例CU 714,716,718:節點 720:編碼樹 800:CTU 810:16x4亮度區 812:16x4亮度區 814:8x8亮度區 816:8x16亮度區 820:編碼樹 850:亮度樣本平面 852:第一色度樣本平面 854:第二色度樣本平面 860:8x4亮度CB 862:8x8亮度CB 864:8x4亮度CB 866:色度CB 868:色度CB 900:集合 910:禁止變換大小 916:16×2 TB 917:子區塊進程 920:8x2 TB 922:2×8 TB 923:4x8 TB 924:4x4子區塊掃描 925:4x4 TB 929:8x8 TB 930:進程 932:8x4 TB 934:16x4 TB 936:16x8 TB 1000,1020:規則 1021,1022,1023,1024,1025,1026:箭號 1070:容許色度分裂列表 1100:方法 1105:判定色度格式步驟 1110:分割框為CTU步驟 1120:判定編碼樹步驟 1130:編碼編碼樹步驟 1140:最後CTU測試步驟 1200:方法 1205:判定色度格式步驟 1210:分割框為CTU步驟 1220:解碼編碼樹步驟 1240:最後CTU測試步驟 1300:方法 1310:編碼分裂模式步驟 1320:無分裂測試步驟 1330:編碼CU步驟 1340:色度分裂禁止測試步驟 1350:履行亮度及色度分裂步驟 1360:選擇區步驟 1370:編碼編碼樹步驟 1380:最後區測試步驟 1400:方法 1410:解碼分裂模式步驟 1420:無分裂測試步驟 1430:解碼CU步驟 1440:色度分裂禁止測試步驟 1450:履行亮度及色度分裂步驟 1460:選擇區步驟 1470:解碼編碼樹步驟 1480:最後區測試步驟 1500:集合 1510:8x4亮度CB 1520:8x2亮度TB 1530:4x4亮度TB 1550:亮度CB 1560:亮度TB 1570:亮度TB 1600:方法 1610:編碼pred_mode步驟 1620:內預測測試步驟 1630:編碼合併旗標及指標步驟 1640:編碼移動向量差量步驟 1650:編碼內子分割模式步驟 1660:已編碼殘餘測試步驟 1670:判定亮度係數群組大小步驟 1680:編碼亮度TB步驟 1690:判定色度係數群組大小步驟 1700:方法 1710:解碼pred_mode步驟 1720:內預測測試步驟 1730:解碼合併旗標及指標步驟 1740:解碼移動向量差量步驟 1750:解碼內子分割模式步驟 1760:已編碼殘餘測試步驟 1770:判定亮度係數群組大小步驟 1780:解碼亮度TB步驟 1790:判定色度係數群組大小步驟 13100:履行亮度分裂步驟 13110:選擇亮度CB步驟 13120:編碼亮度CB步驟 13130:最後亮度CB測試步驟 13140:判定色度內預測模式步驟 13150:編碼色度CB步驟 14100:履行亮度分裂步驟 14110:選擇亮度CB步驟 14120:解碼亮度CB步驟 14130:最後亮度CB測試步驟 14140:判定色度內預測模式步驟 14150:解碼色度CB步驟 16100:編碼色度TB步驟 17100:解碼色度TB步驟
現在將參考以下圖形及附錄來描述本發明之至少一範例實施例，其中：
[圖1]為概略方塊圖，其顯示一種視頻編碼及解碼系統；
[圖2A]和[圖2B]係形成一種通用電腦系統之概略方塊圖，於該系統上可實現圖1之視頻編碼及解碼系統的一者或兩者；
[圖3]為概略方塊圖，其顯示一種視頻編碼器之功能性模組；
[圖4]為概略方塊圖，其顯示一種視頻解碼器之功能性模組；
[圖5]為概略方塊圖，其顯示區塊之可用分割為一或更多區塊，在多樣視頻編碼之樹狀結構中；
[圖6]為資料流之概略方塊圖，用以獲得區塊之允許分割為一或更多區塊，在多樣視頻編碼之樹狀結構中；
[圖7A]和[圖7B]顯示編碼樹單元(CTU)之範例分割為數個編碼單元(CU)；
[圖8A]、[圖8B]、及[圖8C]顯示編碼樹單元(CTU)之範例分割為亮度和色度頻道中的數個編碼區塊(CB)；
[圖9]顯示變換區塊大小及相關掃描形態的集合；
[圖10]顯示用以產生亮度編碼樹及色度編碼樹中之容許分裂的列表之一組規則；
[圖11]顯示一種用以將一影像框之編碼樹編碼為一視頻位元流的方法；
[圖12]顯示一種用以從一視頻位元流解碼一影像框之編碼樹的方法；
[圖13]顯示一種用以將一影像框之一編碼樹編碼為一視頻位元流的方法；
[圖14]顯示一種用以從一視頻位元流解碼一影像框之一編碼樹的方法；
[圖15]顯示一內預測編碼單元之變換區塊分割的一集合；
[圖16]顯示一種用以將一影像框之一編碼單元編碼為一視頻位元流的方法；
[圖17]顯示一種用以從一視頻位元流解碼一影像框之一編碼單元的方法。

Claims (6)

  1. 一種從一位元流解碼一變換區塊的方法，該變換區塊係一影像框之一亮度變換區塊或一色度變換區塊，該方法包含： 解碼用於判定該影像框之一色度格式的資訊； 根據該已解碼資訊以從包括一4：2：0色度格式及一4：2：2色度格式之複數色度格式判定該影像框之該色度格式，該4：2：0色度格式及該4：2：2色度格式之各者具有相對於該影像框之一亮度頻道而被次取樣的該影像框之色度頻道； 判定該變換區塊之一子區塊的一大小，使得該子區塊的該大小相應於16樣本，該子區塊係用於掃描該變換區塊中之係數的一單元；及 使用該子區塊以從該位元流解碼該變換區塊， 其中該變換區塊係根據以下而被解碼：(i)該變換區塊之一大小、(ii)該變換區塊係該亮度變換區塊或者該色度變換區塊、及(iii)該影像框之該色度格式，以及 其中該變換區塊之該子區塊的該大小被直接地判定自(i)該變換區塊之該大小而不使用(ii)該變換區塊係該亮度變換區塊或者該色度變換區塊以及(iii)該影像框之該色度格式兩者，當判定該變換區塊之該子區塊的該大小時。
  2. 如請求項1之方法，其中一單一表被用於屬於該位元流之影像框的亮度及色度顏色頻道之變換區塊。
  3. 如請求項1之方法，其中該子區塊被選為具有在變換區塊寬度及高度之約束內最接近於1：1的一高寬比。
  4. 如請求項1之方法，其中該變換區塊係該色度變換區塊。
  5. 一種用於從一位元流解碼一變換區塊的設備，該變換區塊係一影像框之一亮度變換區塊或一色度變換區塊，該設備包含： 一第一解碼單元，組態成解碼用於判定該影像框之一色度格式的資訊； 一第一判定單元，組態成根據該已解碼資訊以從包括一4：2：0色度格式及一4：2：2色度格式之複數色度格式判定該影像框之該色度格式，該4：2：0色度格式及該4：2：2色度格式之各者具有相對於該影像框之一亮度頻道而被次取樣的該影像框之色度頻道； 一第二判定單元，組態成判定該變換區塊之一子區塊的一大小，使得該子區塊的該大小相應於16樣本，該子區塊係用於掃描該變換區塊中之係數的一單元；及 一解碼單元，組態成使用該子區塊以從該位元流解碼該變換區塊， 其中該變換區塊係根據以下而被解碼：(i)該變換區塊之一大小、(ii)該變換區塊係該亮度變換區塊或者該色度變換區塊、及(iii)該影像框之該色度格式，以及 其中該變換區塊之該子區塊的該大小被直接地判定自(i)該變換區塊之該大小而不使用(ii)該變換區塊係該亮度變換區塊或者該色度變換區塊以及(iii)該影像框之該色度格式兩者，當判定該變換區塊之該子區塊的該大小時。
  6. 一種儲存一電腦程式之非暫態電腦可讀取媒體，當執行在一電腦上時該電腦程式導致該電腦履行請求項1之方法。
TW111120349A 2019-03-11 2020-01-30 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統 TWI788262B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2019201653A AU2019201653A1 (en) 2019-03-11 2019-03-11 Method, apparatus and system for encoding and decoding a tree of blocks of video samples
AU2019201653 2019-03-11

Publications (2)

Publication Number Publication Date
TW202239204A TW202239204A (zh) 2022-10-01
TWI788262B true TWI788262B (zh) 2022-12-21

Family

ID=72425960

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111120349A TWI788262B (zh) 2019-03-11 2020-01-30 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統
TW109102764A TWI769432B (zh) 2019-03-11 2020-01-30 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109102764A TWI769432B (zh) 2019-03-11 2020-01-30 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統

Country Status (10)

Country Link
US (1) US20220150509A1 (zh)
EP (1) EP3939277A4 (zh)
JP (2) JP7337163B2 (zh)
KR (1) KR20210100727A (zh)
CN (1) CN113574874A (zh)
AU (2) AU2019201653A1 (zh)
BR (1) BR112021013495A2 (zh)
RU (2) RU2022102866A (zh)
TW (2) TWI788262B (zh)
WO (1) WO2020181317A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020260313A1 (en) * 2019-06-25 2020-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and methods comprising a coding for intra subpartitions
US11259055B2 (en) * 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092862A1 (en) * 2013-10-02 2015-04-02 Arris Enterprises, Inc. Modified hevc transform tree syntax
US9426466B2 (en) * 2012-06-22 2016-08-23 Qualcomm Incorporated Transform skip mode
WO2016205999A1 (en) * 2015-06-23 2016-12-29 Mediatek Singapore Pte. Ltd. Adaptive coding group for image/video coding
US10200693B2 (en) * 2011-06-20 2019-02-05 JVC Kenwood Corporation Picture decoding device, picture decoding method, and picture decoding program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2876883T3 (pl) * 2011-11-01 2019-10-31 Velos Media Int Ltd Wielopoziomowe mapy znaczeń do kodowania i dekodowania
US9185405B2 (en) * 2012-03-23 2015-11-10 Qualcomm Incorporated Coded block flag inference in video coding
EP2837186B1 (en) * 2012-04-12 2018-08-22 HFI Innovation Inc. Method and apparatus for block partition of chroma subsampling formats
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN104604225B (zh) * 2012-09-10 2018-01-26 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11233998B2 (en) * 2015-05-29 2022-01-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200693B2 (en) * 2011-06-20 2019-02-05 JVC Kenwood Corporation Picture decoding device, picture decoding method, and picture decoding program
US9426466B2 (en) * 2012-06-22 2016-08-23 Qualcomm Incorporated Transform skip mode
US20150092862A1 (en) * 2013-10-02 2015-04-02 Arris Enterprises, Inc. Modified hevc transform tree syntax
WO2016205999A1 (en) * 2015-06-23 2016-12-29 Mediatek Singapore Pte. Ltd. Adaptive coding group for image/video coding

Also Published As

Publication number Publication date
JP2022522576A (ja) 2022-04-20
JP2023154047A (ja) 2023-10-18
TW202239204A (zh) 2022-10-01
TWI769432B (zh) 2022-07-01
EP3939277A4 (en) 2022-12-28
KR20210100727A (ko) 2021-08-17
WO2020181317A1 (en) 2020-09-17
US20220150509A1 (en) 2022-05-12
AU2019201653A1 (en) 2020-10-01
TW202101981A (zh) 2021-01-01
RU2766881C1 (ru) 2022-03-16
RU2022102866A (ru) 2022-03-03
CN113574874A (zh) 2021-10-29
BR112021013495A2 (pt) 2021-09-21
AU2021254642B2 (en) 2023-09-28
EP3939277A1 (en) 2022-01-19
AU2021254642A1 (en) 2021-11-18
JP7337163B2 (ja) 2023-09-01

Similar Documents

Publication Publication Date Title
TWI820714B (zh) 用於編碼和解碼視訊樣本區塊的樹的方法、設備及系統
JP7391167B2 (ja) 符号化ブロックを復号する方法、符号化ブロックを符号化する方法、復号装置、符号化装置
JP2023154047A (ja) ビデオサンプルのツリー若しくはブロックを符号化および復号する方法、装置、およびシステム
TWI786392B (zh) 用於編碼及解碼視訊樣本的區塊的方法、設備和系統
US20240163427A1 (en) Method, apparatus and system for encoding and decoding a tree of blocks of video samples
AU2020202285A1 (en) Method, apparatus and system for encoding and decoding a block of video samples