TW202121899A - 針對局部雙樹的調色板預測器更新 - Google Patents

針對局部雙樹的調色板預測器更新 Download PDF

Info

Publication number
TW202121899A
TW202121899A TW109127537A TW109127537A TW202121899A TW 202121899 A TW202121899 A TW 202121899A TW 109127537 A TW109127537 A TW 109127537A TW 109127537 A TW109127537 A TW 109127537A TW 202121899 A TW202121899 A TW 202121899A
Authority
TW
Taiwan
Prior art keywords
palette
palette predictor
predictor
entries
video
Prior art date
Application number
TW109127537A
Other languages
English (en)
Inventor
趙詠萱
瓦迪姆 賽萊金
瑪塔 卡克基維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202121899A publication Critical patent/TW202121899A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用於維護用於調色板編碼的調色板預測器的系統、方法和電腦可讀取媒體。一種示例性方法可以包括:決定圖片的經單樹編碼的切片的當前調色板編碼區塊是根據局部雙樹進行編碼的;在對與當前調色板編碼區塊相關聯的調色板預測器的更新之後,決定針對當前調色板編碼區塊的第一圖像分量的調色板預測器條目的第一數量以及針對當前調色板編碼區塊的第二圖像分量的調色板預測器條目的第二數量;決定調色板預測器條目的第一數量大於調色板預測器條目的第二數量;及基於第一數量大於第二數量,來將所更新的調色板預測器修改為包括針對第一圖像分量和第二圖像分量的相同數量的調色板預測器條目。

Description

針對局部雙樹的調色板預測器更新
本專利申請案主張於2019年8月13日提出申請的、標題為「PALETTE PREDICTOR UPDATE FOR LOCAL DUAL TREE IN VIDEO CODING」的美國臨時申請案第62/886,288號的權益,該申請案的全部內容經由引用的方式併入本文以及用於全部目的。
本案係關於視訊編碼,以及更特定言之,本案係關於用於在視訊編碼中執行針對局部雙樹的調色板預測器(predictor)更新的系統和方法。
許多設備和系統允許視訊資料被處理和輸出以供消費。數位視訊資料通常包括大量資料,以滿足視訊消費者和提供者的需求。例如,視訊資料的消費者通常偏好或期望高品質、高保真度、高解析度、高畫面播放速率等的視訊。因此,滿足該等需求所需要的大量視訊資料對處理和儲存視訊資料的通訊網路和設備造成了負擔。
各種視訊編碼技術可以用以對視訊資料進行壓縮。可以根據一或多個視訊編碼標準來執行視訊編碼技術。可以用於視訊編碼的示例性視訊編碼標準包括高效率視訊編碼(HEVC)、高級視訊編碼(AVC)、MPEG-2第2部分編碼(MPEG代表運動圖像專家組)、VP9、開放媒體聯盟(AOMedia)視訊1(AV1)、基本視訊編碼(EVC)、通用視訊編碼(VVC)等。為了對視訊資料進行壓縮,視訊編碼通常利用預測方法(例如,訊框間預測、訊框內預測等),預測方法利用在視訊圖像或序列中存在的冗餘。視訊編碼的一個示例性目標是將視訊資料壓縮為使用較低位元元速率的形式,同時避免或最小化視訊品質的降級。隨著不斷進化的視訊服務的可用性增加,需要具有改進的編碼精確度及/或編碼效率的編碼技術。
揭示用於當實現局部雙樹時管理調色板預測器以及解決在調色板預測器與局部雙樹之間的衝突的系統、方法和電腦可讀取媒體。根據至少一個實例,提供了一種用於管理調色板預測器更新的方法。一種示例性方法可以包括:決定圖片的經單樹編碼的切片的當前調色板編碼區塊是根據局部雙樹進行編碼的;在對與該當前調色板編碼區塊相關聯的調色板預測器的更新之後,決定針對該當前調色板編碼區塊的第一圖像分量的調色板預測器條目的第一數量以及針對該當前調色板編碼區塊的第二圖像分量的調色板預測器條目的第二數量;決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量;及基於該決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量,來將所更新的調色板預測器修改為包括針對該第一圖像分量和該第二圖像分量的相同數量的調色板預測器條目。
根據至少一個實例,提供了一種用於管理調色板預測器更新的非暫態電腦可讀取媒體。一種示例性非暫態電腦可讀取媒體可以包括被儲存在其上的指令,該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作:決定圖片的經單樹編碼的切片的當前調色板編碼區塊是根據局部雙樹進行編碼的;在對與該當前調色板編碼區塊相關聯的調色板預測器的更新之後,決定針對該當前調色板編碼區塊的第一圖像分量的調色板預測器條目的第一數量以及針對該當前調色板編碼區塊的第二圖像分量的調色板預測器條目的第二數量;決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量;及基於該決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量,來將所更新的調色板預測器修改為包括針對該第一圖像分量和該第二圖像分量的相同數量的調色板預測器條目。
根據至少一個實例,提供了一種用於管理調色板預測器更新的裝置。一種示例性裝置可以包括:記憶體;及耦合到該記憶體的一或多個處理器,該一或多個處理器被配置為:決定圖片的經單樹編碼的切片的當前調色板編碼區塊是根據局部雙樹進行編碼的;在對與該當前調色板編碼區塊相關聯的調色板預測器的更新之後,決定針對該當前調色板編碼區塊的第一圖像分量的調色板預測器條目的第一數量以及針對該當前調色板編碼區塊的第二圖像分量的調色板預測器條目的第二數量;決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量;及基於該決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量,來將所更新的調色板預測器修改為包括針對該第一圖像分量和該第二圖像分量的相同數量的調色板預測器條目。
根據至少一個實例,提供了另一種用於管理調色板預測器更新的裝置。該裝置可以包括:用於決定圖片的經單樹編碼的切片的當前調色板編碼區塊是根據局部雙樹進行編碼的構件;用於在對與該當前調色板編碼區塊相關聯的調色板預測器的更新之後,決定針對該當前調色板編碼區塊的第一圖像分量的調色板預測器條目的第一數量以及針對該當前調色板編碼區塊的第二圖像分量的調色板預測器條目的第二數量的構件;用於決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量的構件;及用於基於該決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量,來將所更新的調色板預測器修改為包括針對該第一圖像分量和該第二圖像分量的相同數量的調色板預測器條目的構件。
在一些態樣中,上述方法、非暫態電腦可讀取媒體和裝置可以進行以下操作:在修改所更新的調色板預測器之前,決定與該當前調色板編碼區塊相關聯的該局部雙樹對應於該第一圖像分量。
在一些實例中,修改所更新的調色板預測器可以包括:將針對該第二圖像分量的一或多個調色板預測器條目添加到所更新的調色板預測器中,該一或多個調色板預測器條目包括針對該第二圖像分量來計算的一或多個分量值。
在一些態樣中,上述方法、非暫態電腦可讀取媒體和裝置可以進行以下操作:藉由將第一整數左移位第二整數來計算針對該第二圖像分量的該一或多個分量值,該第二整數包括針對來自該當前調色板編碼區塊的取樣的位元深度值減去第三整數的結果。在一些實例中,該第一整數和該第三整數中的每一者等於1,以及將該第一整數左移位該第二整數包括取2的指數次冪,該指數包括該第二整數。
在一些實例中,該第一圖像分量包括來自第一色彩通道的色彩分量,以及該第二圖像分量包括來自與該第一色彩通道不同的第二色彩通道的色彩分量。
在一些情況下,修改所更新的調色板預測器包括:修剪所更新的調色板預測器以去除針對該第一圖像分量的一或多個調色板預測器條目。
在一些態樣中,上述方法、非暫態電腦可讀取媒體和裝置可以進行以下操作:決定該經單樹編碼的切片的不同的調色板編碼區塊是根據相應的局部雙樹進行編碼的;及基於該決定該不同的調色板編碼區塊是根據該相應的局部雙樹進行編碼的,來跳過針對該不同的調色板編碼區塊的調色板預測器更新。
在一些實例中,該調色板預測器包括聯合調色板預測器,該聯合調色板預測器包括針對該第一圖像分量的該第一數量的調色板預測器條目以及針對該第二圖像分量的該第二數量的調色板預測器條目。
在一些實例中,該調色板預測器包括與該第一圖像分量相關聯的第一調色板預測器以及與該第二圖像分量相關聯的第二調色板預測器。
在一些態樣中,上述方法、非暫態電腦可讀取媒體和裝置可以進行以下操作:基於與該當前調色板編碼區塊相關聯的當前調色板中的值集合,來產生該調色板預測器。在一些態樣中,上述方法、非暫態電腦可讀取媒體和裝置可以進行以下操作:基於來自先前調色板預測器的一或多個重用值以及與該當前調色板編碼區塊相關聯的一或多個值來決定該當前調色板。在一些實例中,該一或多個重用值是基於用信號通知的包括重用指示符的資訊來決定的。
在一些態樣中,上述裝置可以是或者可以包括行動設備(例如,行動電話或所謂的「智慧型電話」或其他行動設備)、智慧可穿戴設備、擴展現實設備(例如,虛擬實境(VR)設備、增強現實(AR)設備或混合現實(MR)設備)、個人電腦、膝上型電腦、伺服器電腦或其他設備。在一些態樣中,上述裝置可以是或者可以包括用於擷取一或多個圖像的一或多個照相機。在一些態樣中,該裝置進一步包括用於顯示一或多個圖像、通知及/或其他可顯示資料的顯示器。在一些態樣中,上述裝置可以包括一或多個感測器。
該發明內容既不意欲識別主張的標的的關鍵或必要特徵,亦不意欲單獨用於決定主張的標的的範圍。經由參考本專利的整個說明書的適當部分、任何或全部附圖以及每個請求項,應當理解該標的。
在參考下文的說明書、請求項和附圖之後,前述內容連同其他特徵和實施例一起將變得更加顯而易見。
下文提供了本案內容的某些態樣和實施例。如對於本領域技藝人士將顯而易見的,該等態樣和實施例中的一些態樣和實施例可以被獨立地應用,以及其中的一些態樣和實施例可以相結合地應用。在下文的描述中,出於解釋的目的,闡述了特定細節以便提供對本案的實施例的全面的理解。然而,將顯而易見的是,可以在沒有該等特定細節的情況下實踐各個實施例。附圖和描述不意欲是限制性的。
隨後的描述僅提供了示例性實施例,以及不意欲限制本案內容的範圍、適用性或配置。而是,對示例性實施例的隨後描述將向本領域技藝人士提供用於實現示例性實施例的可行描述。應當理解的是,在不背離如在所附的請求項中闡述的本案的精神和範圍的情況下,可以對元素的功能和排列做出各種改變。
視訊編碼設備實現視訊壓縮技術以對視訊資料高效地編碼和解碼。在一些實例中,視訊壓縮技術可以應用不同的預測模式以去除及/或利用在視訊資料中的冗餘。示例性預測模式可以包括空間預測(例如,訊框內預測(intra-frame prediction或intra-prediction)、時間預測(例如,訊框間預測(inter-frame prediction或inter-prediction))、層間預測(跨越視訊資料的不同層)、調色板預測,及/或用於減少、去除及/或利用視訊序列中的冗餘的其他預測技術。視訊編碼器可以將視訊序列的每個圖片分割為區域,該區域被稱為視訊區塊或編碼單元(下文將更加詳細地描述)。可以使用特定的預測模式來對該等視訊區塊進行編碼。
視訊區塊可以以一或多個方式被劃分為一或多組較小的區塊。區塊可以包括編碼樹區塊、預測區塊、變換區塊或其他合適的區塊。除非以其他方式指定,否則通常對「區塊」的引用可以代表此種視訊區塊(例如,如本領域一般技藝人士將理解的,編碼樹區塊、編碼區塊、預測區塊、變換區塊或其他合適的區塊或子區塊)。此外,該等區塊之每一者區塊在本文中亦可以被互換地稱為「單元」(例如,編碼樹單元(CTU)、編碼單元(CU)、預測單元(PU)、變換單元(TU)等)。在一些情況下,單元可以指示被編碼在位元串流中的編碼邏輯單元,而區塊可以指示過程所針對的視訊訊框緩衝器的一部分。
對於訊框間預測模式,視訊編碼器可以搜尋與在位於另一時間位置上的訊框(或圖片)(被稱為參考訊框或參考圖片)中正被編碼的區塊類似的區塊。視訊編碼器可以將搜尋限制為與要被編碼的區塊相距某個空間位移。可以使用包括水平位移分量和垂直位移分量的二維(2D)運動向量來定位最佳匹配。對於訊框內預測模式,視訊編碼器可以基於來自相同圖片內的先前編碼的相鄰區塊的資料,使用空間預測技術來形成預測區塊。
視訊編碼器可以決定預測誤差。例如,可以將預測決定為在正被編碼的區塊和預測區塊中的圖元值之間的差。預測誤差亦可以被稱為殘差(residual)。視訊編碼器亦可以將變換應用於預測誤差(例如,離散餘弦變換(DCT)或其他合適的變換)以產生變換係數。在變換之後,視訊編碼器可以對變換係數進行量化。經量化的變換係數和運動向量可以使用語法(syntax)元素來表示,以及與控制資訊一起形成視訊序列的編碼表示。在一些情況下,視訊編碼器可以對語法元素進行熵編碼,從而進一步減少其表示所需要的位元數量。
視訊解碼器可以使用上文論述的語法元素和控制資訊來建構用於對當前訊框進行解碼的預測資料(例如,預測區塊)。例如,視訊解碼器可以將預測區塊和經壓縮的預測誤差相加。視訊解碼器可以藉由使用量化係數對變換基函數進行加權來決定經壓縮的預測誤差。在經重建的訊框與原始訊框之間的差被稱為重建誤差。
在一些實例中,作為基於色彩的預測方法的調色板編碼(或調色板模式)可以用以藉由利用圖片或訊框中的類似圖元值及/或局部重複圖元圖案之間的冗餘來增加壓縮效率。例如,在調色板編碼中,可以將編碼區塊的圖元分類為色彩清單。該列表之每一者色彩可以是代表性色彩,其可以包括在區塊中具有特定(例如,高)出現頻率的色彩。可以針對每個調色板編碼區塊產生被稱為「調色板」的色彩索引表。每個索引條目可以被映射到色彩值(例如,亮度分量值、Cb色度分量值、Cr色度分量值等)。可以使用調色板預測器來對用於區塊的調色板條目進行編碼。對於調色板預測器之每一者條目,可以用信號通知重用標誌,以指示是否應當在當前調色板中使用該條目。任何重用的條目可以被添加到當前調色板中。可以用信號通知及/或從當前區塊推導在調色板中的不在調色板預測器中的條目的數量和色彩值。在對調色板編碼區塊進行解碼之後,可以針對下一個調色板編碼區塊更新調色板預測器。在一些實例中,調色板預測器可以是基於當前調色板中的一或多個條目來更新的。
當首次採用時,調色板模式限於色度格式YUV4:4:4。為了對調色板表進行編碼,對於非波前情況,將在每個切片的開頭(其中調色板預測器被重置為0)維護和初始化調色板預測器。然而,在VVC中,針對I切片(訊框內預測,可獨立解碼)引入了雙樹。在雙樹中,針對亮度和色度使用了單獨的分割樹。為了解決對雙樹的引入,在VVC中的採用的調色板中進行了一些調整。對於使用雙樹的切片,針對亮度(例如,Y分量)和色度(例如,Cb和Cr分量)維護單獨的調色板表。對於使用單樹的切片,針對每個訊框維護包含亮度分量和色度分量兩者的單個調色板預測器(例如,在非波前情況下)。對於利用調色板模式來編碼的編碼單元,可以針對相應的調色板預測器之每一者條目來用信號通知重用標誌,以指示其是否是編碼單元的當前調色板表的一部分。在一些實例中,可以使用為零的游程長度編碼來發送重用標誌。可以在編碼單元之後,使用與該編碼單元相關聯的調色板表以及(在一些情況下)在先前調色板預測器中的一或多個未重用的條目來更新調色板預測器。
諸如VVC的某些編碼方案支援用於對亮度(luminance)(或亮度(luma))和色度(chrominance)(或色度(chroma))分量進行編碼及/或對相應的區塊進行分割的單獨的樹結構(例如,雙樹)。例如,對於P切片(單向預測)和B切片(雙向預測),CTU中的亮度和色度編碼樹區塊(CTB)可以共享相同的編碼樹結構。然而,對於I切片(訊框內預測,可獨立解碼),亮度CTB和色度CTB可以具有單獨的區塊樹結構。當應用單獨的區塊樹模式時,亮度CTB經由一種編碼樹結構被分割為CU,以及色度CTB經由另一種編碼樹結構被分割為色度CU。除非視訊是單色的,否則I切片中的CU可以包括亮度分量的編碼區塊或兩個色度分量的編碼區塊,以及P或B切片中的CU包括全部三個色彩分量的編碼區塊。
此外,某些編碼方案可以針對CU實現最小尺寸限制,以防止效率低下及/或當使用低於某個尺寸的CU時可能出現的其他問題。在許多視訊編碼器和解碼器中,由於在相鄰訊框內區塊之間的取樣處理資料依賴性,當圖片具有較小的訊框內區塊及/或較多數量的小訊框內區塊時,處理傳輸量可能下降。在HEVC中,最小的訊框內CU是8x8亮度取樣。最小的訊框內CU的亮度分量可以被進一步劃分為四個4x4亮度訊框內預測單元。然而,最小的訊框內CU的色度分量不能被進一步劃分。相應地,當處理4x4色度訊框內區塊或4x4亮度訊框內區塊時,可能發生最壞情況的處理傳輸量。在VVC中,為了改進最壞情況的處理傳輸量,藉由約束對色度訊框內CB的分割,從而不允許小於16個色度取樣(例如,2x2、4x2和2x4)的色度訊框內CB以及具有小於4個色度取樣(例如,2xN)的寬度的色度訊框內CB。
例如,在單個編碼樹中,最小色度訊框內預測單元(SCIPU)被定義為如下的編碼樹節點:該編碼樹節點具有大於或等於16個色度取樣的色度區塊尺寸以及具有小於64個亮度取樣的至少一個子亮度區塊。在每個SCIPU中,全部CB通常必須處於訊框間預測模式或非訊框間預測模式(例如,訊框內預測或區塊內複製預測)。此外,非訊框間預測SCIPU的色度區塊可以不被進一步劃分,而SCIPU的亮度區塊可以被進一步劃分。以此種方式,將最小色度訊框內CB的尺寸約束為16個色度取樣,以及去除2x2、2x4和4x2色度CB。
此外,在調色板編碼中,可以藉由約束對色度訊框內CB的分割,使用局部雙樹(例如,色度樹和亮度樹)來禁止低於某個尺寸(例如,小於16個色度取樣)的色度訊框內CB。例如,在局部雙樹的情況下,具有2x2、4x2和2x4尺寸的色度區塊經由分割限制而被去除。局部雙樹可以用於在使用單個編碼樹來編碼的切片(諸如在序列參數集合(SPS)中使得雙樹賦能的非訊框內切片)中的小區塊。然而,局部雙樹可能造成與調色板預測器維護的衝突(例如,當更新及/或維護用於調色板編碼的調色板預測器時)。
例如,在採用局部雙樹之前,針對亮度(例如,Y)和色度(例如,Cb和Cr)分量維護單個調色板預測器。換句話說,調色板預測器包含非訊框內切片中的相同數量的亮度分量和色度分量。另一方面,在局部雙樹的情況下,調色板編碼分別地應用於CB內的亮度CU和色度CU。這可能導致針對亮度CU和色度CU的不同的調色板表/索引尺寸。當在使用局部雙樹對CB進行調色板編碼之後對調色板預測器進行更新時,調色板預測器更新可能導致在調色板預測器中針對亮度分量和色度分量的不同的調色板預測器尺寸。對於其中沒有應用局部雙樹的任何後續的調色板編碼區塊,不同的調色板預測器尺寸可能造成多個問題。
為了進行說明,如上文提到的,對於使用雙樹的區塊及/或切片,可以針對亮度分量和色度分量分別地維護調色板預測器,而對於使用單樹的區塊及/或切片,可以維護包含亮度分量和色度分量兩者的單個調色板預測器。相應地,當在使用雙樹來對區塊進行編碼之後對調色板預測器進行更新時,該更新可能導致調色板預測器具有不同尺寸。例如,該更新可能導致調色板預測器具有針對一個色彩分量的較多條目(與另一色彩分量相比)(例如,比色度條目更多的亮度條目,反之亦然)。當使用具有尺寸衝突的調色板預測器對區塊進行編碼時,調色板預測器尺寸衝突可能造成錯誤、失敗及/或其他問題。在一些實例中,解碼設備可能期望及/或嘗試存取調色板預測器中的相同數量的亮度和色度條目。若調色板預測器具有比色度條目更多的亮度條目,並且解碼設備嘗試存取相同數量的亮度和色度條目(以及相關聯的色彩值),則解碼設備在嘗試存取在調色板預測器中不存在的色度資訊時可能系統故障或發生故障,或者可能存取錯誤的資訊(例如,解碼設備可能在嘗試或期望存取色度資訊時存取亮度資訊)。
在一些實例中,用於調色板編碼的一或多個系統和方法涉及更新針對局部雙樹的調色板預測器。在一些情況下,本文揭示的方法可以防止、解決及/或處置與當使用局部雙樹時的調色板預測器更新相關聯的衝突和問題。例如,本文揭示的方法可以防止及/或校正當使用局部雙樹時的不同的調色板預測器尺寸。在一些實例中,本文揭示的方法可以確保當使用局部雙樹時的調色板預測器更新不會導致針對諸如亮度和色度的不同分量的不同的調色板預測器尺寸。在一些情況下,若調色板預測器更新導致針對一個分量(例如,亮度或色度)的較多調色板預測器條目,則可以修剪所更新的調色板預測器以確保針對亮度和色度的相同數量的調色板預測器條目。在其他情況下,若調色板預測器更新導致針對一個分量(例如,亮度或色度)的較多調色板預測器條目,則可以使用一或多個計算及/或預定義的值來填充所更新的調色板預測器,以確保針對亮度和色度的相同數量的調色板預測器條目。
用於解決在調色板預測器更新與局部雙樹之間的衝突的一種說明性示例性方法可以包括避開針對使用局部雙樹的區塊的預測器更新。例如,對於在經單樹編碼的切片中的使用局部雙樹的區塊(例如,CU、CB等),在調色板編碼之後避開調色板預測器更新。因此,用於下一個調色板編碼區塊的調色板預測器將與用於當前調色板編碼區塊的調色板預測器相同。藉由這樣做,遍及經單樹編碼的切片,調色板預測器中的亮度元素(例如,亮度調色板條目)的數量將與該調色板預測器中的色度元素的數量相同。對於調色板表推導,色度區塊僅存取調色板預測器(其可以聯合地包含經單樹編碼的切片中的亮度和色度元素)中的色度分量(例如,Cb和Cr),以及用信號通知針對色度分量的重用標誌。類似地,在亮度區塊中,僅存取調色板預測器(其可以聯合地包含經單樹編碼的切片中的亮度和色度元素)中的亮度分量(例如,Y分量),以及用信號通知針對亮度分量的重用標誌。
用於解決在調色板預測器更新與局部雙樹之間的衝突的另一說明性示例性方法可以包括:遍及經單樹編碼的切片,強制調色板預測器具有針對亮度和色度的相同尺寸(例如,相同數量的調色板條目)。例如,在一些情況下,在調色板預測器更新之後,針對具有較多條目(例如,元素)的分量(例如,亮度或色度)的調色板預測器元素(例如,調色板條目)被修剪為與其他分量相同數量的條目(例如,元素)。被丟棄的元素可以來自調色板預測器的末尾、調色板預測器的開頭、調色板預測器中的預定義集合,或任何其他位置。
用於解決在調色板預測器更新與局部雙樹之間的衝突的另一說明性示例性方法可以包括:在調色板預測器更新之後,用於具有較少條目(例如,元素)的分量(例如,亮度或色度)的調色板預測器元素被填充為其他分量中的相同數量的條目(例如,元素)。在一些實例中,填充值可以是恆定值或預定義的值集合。在一些實例中,填充可以來自/處於調色板預測器的末尾、調色板預測器的開頭、一或多個預定義位置,或任何其他位置。
用於解決在調色板預測器更新與局部雙樹之間的衝突的另一說明性示例性方法可以包括:允許調色板預測器具有針對經單樹編碼的切片中的亮度分量和色度分量的不同尺寸,但是針對其中未應用局部雙樹的區塊,僅重用固定數量(例如,小於亮度和色度當中的最小尺寸的數量)的預測器條目。
用於解決在調色板預測器更新與局部雙樹之間的衝突的另一說明性示例性方法可以包括:在具有經局部雙樹編碼的區塊的經單樹編碼的切片中維護調色板預測器集合。調色板預測器集合中的第一調色板預測器可以聯合地包含亮度分量和色度分量(例如,針對亮度和色度的相同數量的元素)。第二調色板預測器集合可以包含針對亮度分量和色度分量的兩個單獨的調色板預測器。在一個實例中,僅允許被局部雙樹編碼的調色板編碼區塊來重用第二調色板預測器集合(例如,針對亮度分量和色度分量的兩個單獨的調色板預測器)中的調色板預測器元素(例如,調色板條目),以及僅允許不是被局部雙樹編碼的調色板編碼區塊來重用來自調色板預測器集合的第一調色板預測器(例如,聯合地包含亮度分量和色度分量)中的調色板預測器元素。在另一實例中,允許被局部雙樹編碼的調色板編碼區塊來重用來自調色板預測器集合的第一調色板預測器(例如,聯合地包含亮度分量和色度分量)或者第二調色板預測器集合(例如,針對亮度分量和色度分量的兩個單獨的調色板預測器),這取決於哪個調色板預測器是最近更新的。隨後,在調色板編碼之後,僅利用新產生的調色板表來更新第二調色板預測器集合(例如,針對亮度分量和色度分量的兩個單獨的調色板預測器)。僅允許不是被局部雙樹編碼的調色板編碼區塊來重用來自調色板預測器集合的第一調色板預測器(例如,聯合地包含亮度分量和色度分量)中的調色板預測器元素。
將如下在下文揭示內容中描述本文的技術。該論述開始於對用於調色板編碼和更新調色板預測器的示例性系統和技術的描述,如在圖1至7中示出的。隨後,接著是對用於管理調色板預測器更新的示例性方法的描述,如在圖8中示出的。該論述以對適於執行調色板編碼功能的示例性編碼和解碼設備的描述來結束,如在圖9和10中示出的。本案內容現在轉到圖1。
圖1是示出包括編碼設備104和解碼設備112的系統100的實例的方區塊圖。編碼設備104可以是源設備的一部分,以及解碼設備112可以是接收設備的一部分。源設備及/或接收設備可以包括電子設備,諸如行動或固定電話聽筒(例如,智慧手機、蜂巢式電話等)、桌上型電腦、膝上型電腦或筆記型電腦、平板電腦、機上盒、電視機、照相機、顯示設備、數位媒體播放機、視訊遊戲機、視訊串流設備、網際網路協定(IP)照相機,或任何其他合適的電子設備。在一些實例中,源設備(例如,104)和接收設備(例如,112)可以包括用於無線通訊的一或多個無線收發機。
本文描述的編碼技術適用於各種視訊及/或多媒體應用中的視訊編碼,包括串流視訊傳輸(例如,經由網際網路)、電視廣播或傳輸、遠端桌面、無線顯示、虛擬桌面、螢幕內容(例如,電腦產生的內容)渲染、對用於儲存在資料儲存媒體上的數位視訊的編碼、對被儲存在資料儲存媒體上的數位視訊的解碼,或其他應用程式。如本文所使用的,術語編碼(coding)可以代表進行編碼(encoding)及/或解碼(decoding)。在一些實例中,系統100可以支援針對應用(諸如視訊會議、視訊資料串流、視訊重播、視訊廣播、遊戲、螢幕內容渲染、遠端桌面、無線顯示、視訊電話等)的單向或雙向視訊傳輸。
編碼設備104(或編碼器)可以用以使用視訊編碼標準或協定來對視訊資料進行編碼,以產生經編碼的視訊位元串流。視訊編碼標準的實例包括ITU-T H.261、ISO/IEC MPEG-1視訊、ITU-T H.262或ISO/IEC MPEG-2視訊、ITU-T H.263、ISO/IEC MPEG-4視訊、ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)(包括其可分級視訊編碼(Scalable Video Coding)(SVC)和多視圖視訊編碼(MVC)擴展)、以及高效率視訊編碼(HEVC)或ITU-T H.265。存在涉及多層視訊編碼的HEVC的各種擴展,包括範圍和螢幕內容編碼擴展、3D視訊編碼(3D-HEVC)和多視圖擴展(MV-HEVC)和可分級擴展(SHVC)。ITU-T視訊編碼專家組(VCEG)和ISO/IEC運動圖像專家組(MPEG)的視訊編碼聯合協調小組(JCT-VC)以及3D視訊編碼擴展開發聯合協調小組(JCT-3V)已經開發了HEVC以及其擴展。
MPEG和ITU-T VCEG亦組建了聯合探索視訊小組(JVET),以探索用於下一代視訊編碼標準的新編碼工具,其被命名為通用視訊編碼(VVC)。參考軟體被稱為VVC測試模型(VTM)(或JEM(聯合探索模型))。VVC的目標是提供相比於現有HEVC標準而言在壓縮效能方面的改進,從而輔助部署更高品質的視訊服務和新興應用(例如,360°全向沉浸式多媒體、高動態範圍(HDR)視訊等)。VP9、開放媒體聯盟(AOMedia)視訊1(AV1)和基本視訊編碼(EVC)是本文描述的技術中的一些或全部技術可以應用於其的其他示例性視訊編碼標準。
本文描述的技術可以應用於任何現有的視訊編解碼器(例如,高效率視訊編碼(HEVC)、高級視訊編碼(AVC)或其他合適的現有視訊編解碼器),及/或可以是用於正在開發的任何視訊編碼標準及/或將來的視訊編碼標準(諸如正在開發或將要開發的VVC及/或其他視訊編碼標準)的高效編碼工具。例如,可以使用諸如VVC、HEVC、AVC及/或其擴展的視訊編解碼器來執行本文描述的實例。然而,本文描述的技術和系統亦可以適用於其他編碼標準,諸如MPEG、JPEG(或用於靜止圖像的其他編碼標準)、VP9、AV1、其擴展,或已經可用或尚不可用或尚未開發的其他合適的編碼標準。相應地,儘管可以參考特定的視訊編碼標準來描述本文所述的技術和系統,但是本領域一般技藝人士將瞭解到的是,不應當將該描述解釋為僅應用於該特定標準。
在一些實例中,視訊源102可以將視訊資料提供給編碼設備104。視訊源102可以是源設備(例如,104)的一部分,或者可以是除了源設備之外的設備的一部分。視訊源102可以包括視訊擷取裝置(例如,攝像機、照相電話、視訊電話等),包含被儲存的視訊的視訊存檔單元、提供視訊資料的視訊伺服器或提供商、從視訊伺服器或內容提供者接收視訊的視訊饋送介面、用於產生電腦圖形視訊資料的電腦圖形系統、此種源的組合,或任何其他合適的視訊源。
來自視訊源102的視訊資料可以包括一或多個輸入圖片或訊框。圖片或訊框是靜止圖像,其在一些情況下是視訊的一部分。在一些實例中,來自視訊源102的資料可以是不作為視訊的一部分的靜止圖像。在HEVC、VVC和其他視訊編碼規範中,視訊序列可以包括一系列圖片。圖片可以包括三個取樣陣列,其被表示為SL、SCb和SCr。SL是亮度取樣的二維陣列,SCb是Cb色度取樣的二維陣列,以及SCr是Cr色度取樣的二維陣列。色度取樣在本文中亦可以被稱為「色度(chroma)」取樣。圖元可以代表針對圖片的陣列中的給定位置的全部三個分量(亮度和色度取樣)。在其他情況下,圖片可以是單色的,以及可以僅包括亮度取樣的陣列,在此種情況下,術語圖元和取樣可以互換地使用。關於本文中出於說明性目的而描述的提及各個取樣的示例性技術,相同的技術可以應用於圖元(例如,針對圖片的陣列中的給定位置的全部三個取樣分量)。關於本文中出於說明性目的而描述的提及圖元(例如,針對圖片的陣列中的給定位置的全部三個取樣分量)的示例性技術,相同的技術可以應用於各個取樣。
編碼設備104的編碼器引擎106(或編碼器)對視訊資料進行編碼以產生經編碼的視訊位元串流。在一些實例中,經編碼的視訊位元串流(或「視訊位元串流」或「位元串流」)是一系列的一或多個經編碼的視訊序列。經編碼的視訊序列(CVS)包括一系列存取單元(AUs),該一系列存取單元以在基本層中具有隨機存取點圖片並且具有某些屬性的AU開始,直到在基本層中具有隨機存取點圖片並且具有某些屬性的下一個AU以及不包括該下一個AU。例如,開始CVS的隨機存取點圖片的某些屬性可以包括等於1的RASL標誌(例如,NoRaslOutputFlag)。否則,隨機存取點圖片(其中RASL標誌等於0)不開始CVS。存取單元(AU)包括一或多個編碼圖片以及與共享相同的輸出時間的編碼圖片相對應的控制資訊。圖片的編碼切片在位元串流位準被封裝為資料單元,該資料單元被稱為網路抽象層(NAL)單元。例如,HEVC視訊位元串流可以包括一或多個CVS,其包括NAL單元。NAL單元之每一者NAL單元具有NAL單元標頭。在一個實例中,標頭對於H.264/AVC(除了多層擴展之外)而言是一個位元組,以及對於HEVC而言是兩個位元組。NAL單元標頭中的語法元素採用指定的位元,以及因此對於全部種類的系統和傳輸層(諸如傳輸串流、即時傳輸(RTP)協定、檔案格式等)皆是可見的。
在HEVC標準中存在兩類NAL單元,包括視訊編碼層(VCL)NAL單元和非VCL NAL單元。VCL NAL單元包括經編碼的圖片資料的一個切片或切片段(下文描述),以及非VCL NAL單元包括與一或多個編碼圖片相關的控制資訊。在一些情況下,NAL單元可以被稱為封包。HEVC AU包括:包含經編碼的圖片資料的VCL NAL單元、以及與經編碼的圖片資料相對應的非VCL NAL單元(若有的話)。
NAL單元可以包含形成視訊資料的編碼表示的位元序列(例如,經編碼的視訊位元串流、位元串流的CVS等),諸如在視訊中的圖片的編碼表示。編碼器引擎106藉由將每個圖片分割為多個切片來產生圖片的編碼表示。切片是獨立於其他切片的,使得可以對該切片中的資訊進行編碼,而不依賴於在相同的圖片內的其他切片的資料。切片包括一或多個切片段,其包括獨立的切片段以及(若存在的話)依賴於先前切片段的一或多個從屬切片段。
可以將切片分割為亮度取樣和色度取樣的編碼樹區塊(CTBs)。亮度取樣的CTB和色度取樣的一或多個CTB連同用於取樣的語法一起被稱為編碼樹單元(CTU)。CTU亦可以被稱為「樹區塊」或「最大編碼單元」(LCU)。CTU是用於HEVC編碼的基本處理單元。CTU可以被分離為不同尺寸的多個編碼單元(CUs)。CU可以包含被稱為編碼區塊(CBs)的亮度及/或色度取樣陣列。
亮度和色度CB可以被進一步分離為預測區塊(PBs)。PB是亮度分量或色度分量的取樣區塊,其使用相同的運動參數來進行訊框間預測或區塊內複製(IBC)預測(當可用或被賦能以供使用時)。亮度PB和一或多個色度PB連同相關聯的語法一起形成預測單元(PU)。對於訊框間預測,運動參數集(例如,一或多個運動向量、參考索引等)是在用於每個PU的位元串流中用信號通知的,以及用於亮度PB和一或多個色度PB的訊框間預測。運動參數亦可以被稱為運動資訊。CB亦可以被分割為一或多個變換區塊(TBs)。TB表示色彩分量的取樣的正方形區塊,其中殘差變換(例如,在一些情況下,相同的二維變換)被應用於對預測殘留信號進行編碼。變換單元(TU)表示亮度和色度取樣的TB以及對應的語法元素。下文更加詳細地描述變換編碼。
CU的尺寸可以對應於編碼模式的尺寸以及可以是正方形形狀。例如,CU的尺寸可以是8 x 8取樣、16 x 16取樣、32 x 32取樣、64 x 64取樣,或多達對應的CTU的尺寸的任何其他適當的尺寸。用語「N x N」在本文中用以代表視訊區塊在垂直和水平維度方面的圖元尺寸(例如,8個圖元x 8個圖元)。區塊中的圖元可以是按行和列來排列的。在一些實現方式中,區塊在水平方向上可以不具有與垂直方向上相同數量的圖元。與CU相關聯的語法資料可以描述例如將CU分割為一或多個PU。分割模式可以在CU是經訊框內預測模式編碼的還是經訊框間預測模式編碼的之間而不同。PU可以被分割為非正方形形狀。與CU相關聯的語法資料亦可以描述例如根據CTU將CU分割為一或多個TU。TU可以是正方形或非正方形形狀。
根據HEVC標準,可以使用變換單元(TUs)來執行變換。對於不同的CU,TU可以變化。可以基於給定CU內的PU的尺寸來設定TU的尺寸。TU可以是與PU相同的尺寸或者小於PU。在一些實例中,可以使用被稱為殘差四叉樹(RQT)的四叉樹結構來將與CU相對應的殘差取樣細分為更小的單元。RQT的蔓葉線節點可以對應於TU。可以對與TU相關聯的圖元差值進行變換以產生變換係數。隨後可以由編碼器引擎106對變換係數進行量化。
一旦視訊資料的圖片被分割為CU,編碼器引擎106就使用預測模式來預測每個PU。隨後從原始視訊資料中減去預測單元或預測區塊以獲得殘差(下文描述)。對於每個CU,可以使用語法資料在位元串流內用信號通知預測模式。預測模式可以包括訊框內預測(或圖片內預測)或訊框間預測(或圖片間預測)。訊框內預測利用在圖片內的空間上相鄰的取樣之間的相關性。例如,使用訊框內預測,每個PU是使用例如DC預測以尋找用於PU的平均值,使用平面預測以使平面表面符合PU,使用方向預測來根據相鄰資料進行推斷,或者使用任何其他合適的預測類型,來根據相同圖片中的相鄰圖像資料進行預測的。訊框間預測使用在圖片之間的時間相關性,以便推導出用於圖像取樣區塊的運動補償預測。例如,使用訊框間預測,每個PU是使用運動補償預測來根據一或多個參考圖片(按照輸出順序在當前圖片之前或之後)中的圖像資料預測的。例如,可以在CU位準處作出是使用圖片間預測還是使用圖片內預測來對圖片區域進行編碼的決定。
編碼器引擎106和解碼器引擎116(下文更加詳細地描述的)可以被配置為根據VVC進行操作。根據VVC,視訊編碼器(coder)(諸如編碼器(encoder)引擎106及/或解碼器(decoder)引擎116)將圖片分割為複數個編碼樹單元(CTUs)(其中亮度取樣的CTB和色度取樣的一或多個CTB連同用於取樣的語法被稱為CTU)。視訊編碼器可以根據樹結構(諸如四叉樹-二叉樹(QTBT)結構或多類型樹(MTT)結構)來分割CTU。QTBT結構去除多個分割類型的概念,諸如在HEVC的CU、PU和TU之間的區分。QTBT結構包括兩個級別,其包括:根據四叉樹分割來分割的第一位準、以及根據二叉樹分割來分割的第二位準。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於編碼單元(CUs)。
在MTT分割結構中,可以使用四叉樹分割、二叉樹分割以及一或多個類型的三叉樹分割來對區塊進行分割。三叉樹分割是其中區塊被分離為三個子區塊的分割。在一些實例中,三叉樹分割將區塊劃分為三個子區塊,而不劃分通過中心的原始區塊。MTT中的分割類型(例如,四叉樹、二叉樹和三叉樹)可以是對稱的或不對稱的。
在一些實例中,視訊編碼器可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每一者,而在其他實例中,視訊編碼器可以使用兩個或兩個以上樹結構,諸如用於亮度分量的一個QTBT或MTT結構以及用於兩個色度分量的另一QTBT或MTT結構(或者用於相應的色度分量的兩個QTBT及/或MTT結構)。
視訊編碼器可以被配置為使用按照HEVC的四叉樹分割、QTBT分割、MTT分割,或其他分割結構。出於說明的目的,本文的描述可以代表QTBT分割。然而,應當理解的是,本案內容的技術亦可以應用於被配置為使用四叉樹分割或者亦使用其他類型的分割的視訊編碼器。
在一些實例中,圖片的一或多個切片被指派切片類型。切片類型包括I切片、P切片和B切片。I切片(訊框內,可獨立地解碼)是圖片的僅經由訊框內預測來編碼的切片,以及因此是可獨立解碼的,這是因為I切片僅需要訊框內的資料來預測切片的任何預測單元或預測區塊。P切片(單向預測訊框)是圖片的可以利用訊框內預測和利用單向訊框間預測來編碼的切片。P切片內的每個預測單元或預測區塊是利用訊框內預測或訊框間預測來編碼的。當應用訊框間預測時,預測單元或預測區塊是僅經由一個參考圖片來預測的,以及因此參考取樣是僅來自一個訊框的一個參考區域的。B切片(雙向預測訊框)是圖片的可以利用訊框內預測和利用訊框間預測(例如,雙預測或單預測)來編碼的切片。可以根據兩個參考圖片來對B切片的預測單元或預測區塊進行雙向預測,其中每個圖片貢獻一個參考區域,以及對兩個參考區域的取樣集合進行加權(例如,具有相等的權重或具有不同的權重)以產生雙向預測區塊的預測信號。如上文解釋的,一個圖片的切片被獨立地編碼。在一些情況下,圖片可以僅被編碼為一個切片。
如上文提到的,圖片的圖片內預測利用在該圖片內的空間相鄰取樣之間的相關性。存在複數個訊框內預測模式(亦被稱為「訊框內模式」)。在一些實例中,亮度區塊的訊框內預測包括35個模式,其包括平面模式、DC模式和33個角度模式(例如,對角訊框內預測模式和與對角訊框內預測模式鄰接的角度模式)。如下文的表1所示,對35個訊框內預測模式進行索引。在其他實例中,可以定義更多的訊框內模式,其包括可能尚未經由33個角度模式表示的預測角度。在其他實例中,與角度模式相關聯的預測角度可以不同於在HEVC中使用的彼等預測角度。
訊框內預測模式 相關聯的名稱
0 訊框內平面(INTRA_PLANAR)
1 訊框內DC(INTRA_DC)
2..34 訊框內角度2…訊框內角度34 (INTRA_ANGULAR2..INTRA_ANGULAR34)
表1 – 訊框內預測模式和相關聯的名稱的規範
圖片間預測使用在圖片之間的時間相關性,以便推導針對圖像取樣區塊的運動補償預測。使用平移運動模型,先前解碼的圖片(參考圖片)中的區塊的位置經由運動向量(
Figure 02_image001
來指示,其中
Figure 02_image003
指定參考區塊相對於當前區塊的位置的水平位移,以及
Figure 02_image005
指定參考區塊相對於當前區塊的位置的垂直位移。在一些情況下,運動向量(
Figure 02_image007
Figure 02_image005
)可以是整數取樣精確度(亦被稱為整數精確度),在此種情況下,運動向量指向參考訊框的整數圖元網格(或整數圖元取樣網格)。在一些情況下,運動向量(
Figure 02_image007
Figure 02_image005
)可以具有分數取樣精確度(亦被稱為分數圖元精確度或非整數精確度),以更加準確地擷取基礎物件的運動,而不受限於參考訊框的整數圖元網格。運動向量的精確度可以經由運動向量的量化位準來表達。例如,量化位準可以是整數精確度(例如,1圖元)或分數圖元精確度(例如,¼圖元、½圖元或其他子圖元值)。當對應的運動向量具有分數取樣精確度時,將內插應用於參考圖片以推導預測信號。例如,可以對在整數位置處可用的取樣進行濾波(例如,使用一或多個內插濾波器)以估計在分數位置處的值。先前解碼的參考圖片經由針對參考圖片清單的參考索引來指示。運動向量和參考索引可以被稱為運動參數。可以執行兩類圖片間預測,其包括單預測和雙預測。
在使用雙預測進行訊框間預測(亦被稱為雙向訊框間預測)的情況下,使用兩個運動參數集合(
Figure 02_image009
Figure 02_image011
Figure 02_image013
Figure 02_image015
)來產生兩個運動補償預測(來自相同參考圖片或可能來自不同的參考圖片)。例如,在雙預測的情況下,每個預測區塊使用兩個運動補償預測信號,以及產生B個預測單元。隨後,對兩個運動補償預測進行組合以獲得最終的運動補償預測。例如,可以藉由進行平均來對兩個運動補償預測進行組合。在另一實例中,可以使用加權預測,在此種情況下,不同的權重可以應用於每個運動補償預測。可以在雙預測中使用的參考圖片是被儲存在兩個單獨的列表中的(被表示為列表0和列表1)。可以在編碼器處使用運動估計過程來推導運動參數。
在使用單預測進行訊框間預測(亦被稱為單向訊框間預測)的情況下,使用一個運動參數集合(
Figure 02_image009
Figure 02_image011
)來根據參考圖片產生運動補償預測。例如,在單預測的情況下,每個預測區塊最多使用一個運動補償預測信號,以及產生P個預測單元。
PU可以包括與預測過程相關的資料(例如,運動參數或其他合適的資料)。例如,當PU是使用訊框內預測來編碼時,PU可以包括描述用於PU的訊框內預測模式的資料。作為另一實例,當PU是使用訊框間預測來編碼時,PU可以包括定義用於PU的運動向量的資料。定義用於PU的運動向量的資料可以描述例如運動向量的水平分量(
Figure 02_image003
)、運動向量的垂直分量(
Figure 02_image005
)、用於運動向量的解析度(例如,整數精度、四分之一圖元精度,或八分之一圖元精度)、運動向量指向的參考圖片、參考索引、用於運動向量的參考圖片清單(例如,清單0、列表1或列表C),或其任何組合。
在使用訊框內預測及/或訊框間預測執行預測之後,編碼設備104可以執行變換和量化。例如,在預測之後,編碼器引擎106可以計算與PU相對應的殘差值。殘差值可以包括在正被編碼的當前圖元區塊(PU)與用於預測當前區塊的預測區塊(例如,當前區塊的預測版本)之間的圖元差值。例如,在產生預測區塊(例如,發佈訊框間預測或訊框內預測)之後,編碼器引擎106可以藉由從當前區塊中減去由預測單元產生的預測區塊來產生殘差區塊。殘差區塊包括圖元差值集合,其對當前區塊的圖元值與預測區塊的圖元值之間的差進行量化。在一些實例中,可以以二維區塊格式(例如,二維的圖元值矩陣或陣列)來表示殘差區塊。在此種實例中,殘差區塊是圖元值的二維表示。
在使用區塊變換來對在執行預測之後可能剩餘的任何殘差資料進行變換,區塊變換可以是基於離散餘弦變換、離散正弦變換、整數變換、小波變換、其他合適的變換函數,或其任何組合的。在一些情況下,一或多個區塊變換(例如,尺寸32 x 32、16 x 16、8 x 8、4 x 4或其他合適的尺寸)可以應用於每個CU中的殘差資料。在一些實施例中,TU可以用於由編碼器引擎106實現的變換和量化過程。具有一或多個PU的給定CU亦可以包括一或多個TU。如下文進一步詳細描述的,殘差值可以使用區塊變換來被變換為變換係數,以及隨後可以使用TU進行量化和掃瞄,以產生用於熵編碼的序列化變換係數。
在一些情況下,在使用CU的PU進行訊框內預測或訊框間預測編碼之後,編碼器引擎106可以計算用於CU的TU的殘差資料。PU可以包括空間域(或圖元域)中的圖元資料。TU可以包括在應用區塊變換之後的變換域中的係數。如前述,殘差資料可以同在未被編碼的圖片的圖元與對應於PU的預測值之間的圖元差值相對應。編碼器引擎106可以形成包括用於CU的殘差資料的TU,以及隨後可以對TU進行變換以產生用於CU的變換係數。
編碼器引擎106可以執行變換係數的量化。量化藉由對變換係數進行量化以減少用以表示係數的資料量,來提供進一步的壓縮。例如,量化可以減少與係數中的一些或全部係數相關聯的位元深度。在一個實例中,具有n位元值的係數可以在量化期間向下捨入為m位元值,其中n大於m。
一旦執行了量化,則經編碼的視訊位元串流包括經量化的變換係數、預測資訊(例如,預測模式、運動向量、區塊向量等)、分割資訊以及任何其他合適的資料(諸如其他語法資料)。經編碼的視訊位元串流的不同元素隨後可以由編碼器引擎106進行熵編碼。在一些實例中,編碼器引擎106可以利用預定義的掃瞄順序來掃瞄經量化的變換係數,以產生可以被熵編碼的序列化向量。在一些實例中,編碼器引擎106可以執行可適性掃瞄。在掃瞄經量化的變換係數以形成向量(例如,一維向量)之後,編碼器引擎106可以對該向量進行熵編碼。例如,編碼器引擎106可以使用上下文可適性可變長編碼、上下文可適性二進位算術編碼、基於語法的上下文可適性二進位算術編碼、機率區間分割熵編碼或另一合適的熵編碼技術。
如前述,HEVC位元串流包括一組NAL單元,其包括VCL NAL單元和非VCL NAL單元。VCL NAL單元包括形成經編碼的視訊位元串流的經編碼的圖片資料。例如,在VCL NAL單元中存在形成經編碼的視訊位元串流的位元序列。除了其他資訊之外,非VCL NAL單元亦可以包含具有與經編碼的視訊位元串流相關的高階資訊的參數集合。例如,參數集合可以包括視訊參數集合(VPS)、序列參數集合(SPS)和圖片參數集合(PPS)。參數集合的目標的實例包括位元速率效率、錯誤恢復力以及提供系統層介面。每個切片參考單個有效的PPS、SPS和VPS,以存取解碼設備112可以用於對切片進行解碼的資訊。識別符(ID)可以是針對每個參數集合編碼的,包括VPS ID、SPS ID和PPS ID。SPS包括SPS ID和VPS ID。PPS包括PPS ID和SPS ID。每個切片標頭包括PPS ID。使用ID,可以識別針對給定的切片的有效的參數集合。
PPS包括應用於給定圖片中的全部切片的資訊。因此,圖片中的全部切片參考相同的PPS。不同圖片中的切片亦可以參考相同的PPS。SPS包括應用於相同的經編碼的視訊序列(CVS)或位元串流中的全部圖片的資訊。如前述,經編碼的視訊序列是一系列存取單元(AUs),該一系列存取單元以在基本層中的隨機存取點圖片(例如,即時解碼參考(IDR)圖片或斷鏈存取(BLA)圖片或其他適當的隨機存取點圖片)並且具有某些屬性(如前述)開始,直到在基本層中具有隨機存取點圖片並且具有某些屬性(或者位元串流的結尾)的下一個AU以及不包括該下一個AU。SPS中的資訊可以不在經編碼的視訊序列中的圖片之間進行變化。經編碼的視訊序列中的圖片可以使用相同的SPS。VPS包括應用於經編碼的視訊序列或位元串流內的全部層的資訊。VPS包括語法結構,該語法結構具有應用於整個經編碼的視訊序列的語法元素。在一些實施例中,VPS、SPS或PPS可以與經編碼的位元串流一起在帶內發送。在一些實施例中,VPS、SPS或PPS可以在與包含經編碼的視訊資料的NAL單元不同的傳輸中在帶外發送。
視訊位元串流亦可以包括補充增強資訊(SEI)訊息。例如,SEI NAL單元可以是視訊位元串流的一部分。在一些情況下,SEI訊息可能包含解碼過程不需要的資訊。例如,SEI訊息中的資訊對於解碼器對位元串流的視訊圖片進行解碼而言可能不是必要的,但是解碼器可以使用該資訊來改進對圖片(例如,經解碼的輸出)的顯示或處理。SEI訊息中的資訊可以是被嵌入的中繼資料。在一個說明性實例中,解碼器側實體可以使用SEI訊息中的資訊來改進內容的可視性。在一些情況下,某些應用標準可能強制在位元串流中存在此種SEI訊息,使得可以向符合該應用標準的全部設備帶來品質的改進(例如,針對與訊框相容的平面立體3DTV視訊格式來攜帶訊框封裝的SEI訊息(其中針對視訊的每個訊框來攜帶SEI訊息),處理復原點SEI訊息,在DVB中使用泛掃瞄掃瞄矩形SEI訊息等等許多其他實例)。
編碼設備104的輸出110可以在通訊鏈路120上將組成經編碼的視訊位元串流資料的NAL單元發送給接收設備的解碼設備112。解碼設備112的輸入114可以接收NAL單元。通訊鏈路120可以包括由無線網路、有線網路,或有線和無線網路的組合提供的通道。無線網路可以包括任何無線介面或無線介面的組合,以及可以包括任何合適的無線網路(例如,網際網路或其他廣域網路、基於封包的網路、WiFiTM 、射頻(RF)、UWB、WiFi直連、蜂巢、長期進化(LTE)、WiMaxTM 等)。有線網路可以包括任何有線介面(例如,光纖、乙太網路、電力線乙太網路、同軸電纜乙太網路、數位信號線(DSL)等)。可以使用各種裝備來實現有線及/或無線網路,諸如基地台、路由器、存取點、橋接器、閘道、交換機等。可以根據諸如無線通訊協定的通訊標準來調制經編碼的視訊位元串流資料,以及將其發送給接收設備。
在一些實例中,編碼設備104可以將經編碼的視訊位元串流資料儲存在儲存單元108中。輸出110可以從編碼器引擎106或從儲存單元108獲取經編碼的視訊位元串流資料。儲存單元108可以包括各種各樣的分散式或本端存取的資料儲存媒體中的任何一者。例如,儲存單元108可以包括硬碟、儲存盤、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼的視訊資料的任何其他合適的數位儲存媒體。儲存單元108亦可以包括用於儲存供在訊框間預測中使用的參考圖片的解碼圖片緩衝器(DPB)。在另外的實例中,儲存單元108可以對應於檔案伺服器或可以儲存由源設備產生的經編碼的視訊的另一中間儲存設備。在此種情況下,包括解碼設備112的接收設備可以經由資料串流或下載來從儲存設備存取被儲存的視訊資料。檔案伺服器可以是能夠儲存經編碼的視訊資料以及將該經編碼的視訊資料發送給接收設備的任何類型的伺服器。示例性檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)設備或本端磁碟機。接收設備可以經由任何標準資料連接(包括網際網路連接)來存取經編碼的視訊資料。這可以包括適合用於存取被儲存在檔案伺服器上的經編碼的視訊資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等),或該兩者的組合。來自儲存單元108的經編碼的視訊資料的傳輸可以是資料串流、下載傳輸或其組合。
解碼設備112的輸入114接收經編碼的視訊位元串流資料,以及可以將視訊位元串流資料提供給解碼器引擎116,或者提供給儲存單元118以供解碼器引擎116稍後使用。例如,儲存單元118可以包括用於儲存供在訊框間預測中使用的參考圖片的DPB。包括解碼設備112的接收設備可以經由儲存單元108來接收要被解碼的經編碼的視訊資料。可以根據諸如無線通訊協定的通訊標準來對經編碼的視訊資料進行調制,以及將其發送給接收設備。用於發送經編碼的視訊資料的通訊媒體可以包括任何無線或有線通訊媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通訊媒體可以形成基於封包的網路的一部分,諸如區域網路、廣域網路或諸如網際網路的全球網路。通訊媒體可以包括路由器、交換機、基地台,或可以有用於促進從源設備到接收設備的通訊的任何其他裝備。
解碼器引擎116可以經由熵解碼(例如,使用熵解碼器)以及提取組成經編碼的視訊資料的一或多個經編碼的視訊序列的元素,來對經編碼的視訊位元串流資料進行解碼。解碼器引擎116隨後可以重新縮放經編碼的視訊位元串流資料以及對其執行逆變換。殘差資料隨後被傳遞給解碼器引擎116的預測階段。解碼器引擎116隨後預測圖元區塊(例如,PU)。在一些實例中,預測被添加到逆變換的輸出(殘差資料)。
解碼設備112可以將經解碼的視訊輸出到視訊目的地設備122,視訊目的地設備122可以包括用於將經解碼的視訊資料顯示給內容的消費者的顯示器或其他輸出設備。在一些態樣中,視訊目的地設備122可以是包括解碼設備112的接收設備的一部分。在一些態樣中,視訊目的地設備122可以是不同於接收設備的單獨設備的一部分。
在一些情況下,視訊編碼設備104及/或視訊解碼設備112可以分別與音訊編碼設備和音訊解碼設備整合。視訊編碼設備104及/或視訊解碼設備112亦可以包括用於實現上述編碼技術所必需的其他硬體或軟體,諸如一或多個微處理器、數位訊號處理器(DSPs)、特殊應用積體電路(ASICs)、現場可程式閘陣列(FPGAs)、個別邏輯、軟體、硬體、韌體或其任何組合。視訊編碼設備104和視訊解碼設備112可以被整合為相應的設備中的組合編碼器/解碼器(編解碼器)的一部分。下文參考圖9描述了編碼設備104的特定細節的實例。下文參考圖10描述了解碼設備112的特定細節的實例。
圖1中示出的示例性系統僅是可以用以實現本文揭示的技術的一個說明性示例性系統。用於使用本文描述的方法來處理視訊資料的技術可以由任何數位視訊編碼及/或解碼設備來執行。儘管概括來說,本案內容的技術是由視訊編碼設備或視訊解碼設備來執行的,但是該技術亦可以由通常被稱為「CODEC」的組合視訊編碼器/解碼器來執行。此外,本案內容的技術亦可以由視訊前置處理器來執行。源設備和接收設備僅是此種編碼設備的實例,其中源設備產生經編碼的視訊資料以用於去往接收設備的傳輸。在一些實例中,源設備和接收設備可以以基本上對稱的方式進行操作,使得設備之每一者設備包括視訊編碼和解碼用元件。因此,示例性系統可以支援在視訊設備之間的單向或雙向視訊傳輸,例如,以用於視訊資料串流、視訊重播、視訊廣播或視訊電話。
如先前解釋的,在一些實例中,視訊編碼裝置(例如,視訊編碼器及/或解碼器)可以實現被稱為調色板編碼的基於色彩的預測技術,以增加壓縮效率及/或減少用於解碼及/或被發送以用於解碼的色彩資訊量。調色板編碼可以利用在圖片或訊框中的相鄰區塊、類似的圖元值及/或局部重複圖元圖案的調色板之間的冗餘及/或相關性。調色板編碼對於編碼視訊資料的具有相對少量色彩的區域可能是特別有用的。視訊編碼器可以對用於圖元中的一或多個圖元的索引值進行編碼,而不是對用於給定區塊的實際圖元值或其殘差進行編碼。索引值可以將圖元映射到調色板中的條目。調色板可以包括表示圖元的色彩的色彩清單或色彩表。調色板之每一者色彩可以是特定區域(例如,給定區塊)的代表性色彩。可以針對每個調色板編碼區域產生調色板,以及可以使用調色板預測器來對調色板中的條目進行編碼。
調色板可以被明確地編碼以及被發送給解碼器,根據調色板預測器及/或先前調色板條目進行預測,或其組合。在一些情況下,對於調色板預測器之每一者條目,可以用信號通知重用標誌,以指示是否應當在當前調色板中使用該條目。來自調色板預測器的任何重用條目皆可以被添加到當前調色板中。在一些情況下,在調色板中的不在調色板預測器中的條目的數量和色彩值亦可以是用信號通知的以及被添加到當前調色板中。在對調色板編碼區域解碼之後,可以針對下一個調色板編碼區域更新調色板預測器。可以基於當前調色板和先前調色板預測器中的條目來更新調色板預測器。
圖2是示出以調色板模式(例如,使用調色板編碼)編碼的示例性區塊220的方塊圖。在該實例中,調色板編碼區塊220是使用調色板200來編碼的。調色板200可以包括具有特定索引值(例如,0、1、2,N)的調色板條目202-208。調色板條目202-208可以將索引值與特定色彩值(例如,C0 、C1 、C2 、C N )進行相關。
每個色彩值可以是用於區塊220的特定區域及/或取樣的代表性色彩。因此,代替對區塊220的實際圖元值進行編碼,調色板條目202-208中的索引值可以用以對區塊220的圖元進行編碼。例如,對於在區塊220中具有與調色板200中的色彩值類似及/或接近的取樣值的任何位置(例如,圖元、取樣、區塊等),可以針對區塊220中的彼等位置來對調色板條目的與該色彩值相關聯的索引值進行編碼。調色板條目可以將索引值與調色板200中的該色彩值進行相關。相應地,索引值可以將調色板200中色彩值映射到區塊220中的位置。
例如,可以針對區塊220中的位置222利用索引值0、針對位置224利用索引值1、針對位置226利用索引值2以及針對位置228利用索引值N 來對區塊220編碼。在調色板200中,調色板條目202將索引值0與色彩值C0 進行相關,調色板條目204將索引值1與色彩值C1 進行相關,調色板條目206將索引值2與色彩值C2 進行相關,以及調色板條目208將索引值N 與色彩值C N 進行相關。相應地,在該實例中,索引值0、1、2和N 分別映射及/或指示針對位置222、224、226和228的色彩值C0 、C1 、C2 和C N 。在一些情況下,可以利用/針對區塊220用信號通知索引值0、1、2和N ,以及解碼設備可以使用索引值0、1、2和N 以及調色板200來識別針對區塊220中的位置222、224、226和228的色彩值C0 、C1 、C2 和C N
在一些情況下,可以用信號通知逸出(escape)符號210以指定用於在調色板200外部及/或不包括在調色板200中的取樣及/或圖元(例如,位置230)的色彩值。在一些實例中,對於區塊220中的使用逸出符號210編碼的位置(例如,位置230),可以使用一或多個經量化的分量值來用信號通知相關聯的分量值。
儘管圖2圖示了單個調色板,但是在一些實現方式中,視訊編碼器可以針對不同的色彩分量來對單獨的調色板進行編碼。例如,在一些情況下,視訊編碼器可以編碼針對亮度分量的調色板和針對色度分量的單獨的調色板。
圖3是示出以調色板模式編碼的示例性圖片300的方塊圖。圖片300包括與一或多個調色板310相關聯的調色板編碼單元(PCU)302、以及與一或多個調色板320相關聯的PCU 304。圖片300亦包括利用訊框內預測編碼模式來編碼的區塊306以及利用訊框間預測編碼模式來編碼的區塊308。
在該實例中,調色板310和320被示為包括多個調色板。在一些情況下,視訊編碼器可以針對CU的每個色彩分量分別地對調色板進行編碼。在一些情況下,視訊編碼器104可以對用於CU的亮度分量的調色板以及用於CU的Cr色度分量和Cb色度分量的一或多個其他調色板進行編碼。亮度調色板的條目可以表示CU的圖元的亮度值,Cr色度調色板的條目可以表示CU的圖元的Cr色度值,以及Cb色度調色板的條目可以表示CU的圖元的Cb色度值。
在其他實例中,視訊編碼器104可以針對CU的全部色彩分量來對單個調色板進行編碼。例如,視訊編碼器104可以對與亮度值、Cr色度值和Cb色度值相關聯的調色板條目進行編碼。在此種情況下,調色板包括用於圖元的分量之每一者分量的值。相應地,將調色板310表示為具有多個單獨調色板的調色板集合僅是一個實例,以及不意欲進行限制。
在圖3的實例中,調色板310包括分別具有索引值1、2和3的三個調色板條目312、314、316。調色板條目312、314、316將索引值1、2和3與分別包括色彩值C1 、C2 和C3 的圖元值(例如,色彩值)進行相關。視訊編碼器可以使用基於調色板的編碼,以使用索引值1、2、3來對區塊的圖元進行編碼,而不是對PCU 302的實際圖元值進行編碼。此處,對於PCU 302的每個圖元位置,視訊編碼器可以對用於圖元的索引值進行編碼,其中該索引值對應於在調色板310中指示用於該圖元的色彩值的調色板條目(例如,312、314、316)。視訊解碼器可以從位元串流獲得索引值,以及使用索引值和調色板310來重建色彩值。在一些情況下,視訊編碼器可以在經編碼的視訊資料位元串流中發送調色板310,以供視訊解碼器在基於調色板的解碼中使用。
在一些實例中,可以基於用於PCU 302的一或多個調色板310來計算一或多個額外調色板320。例如,先前編碼的CU(例如,PCU 302)和用於先前編碼的CU的調色板310可以用以決定用於對PCU 304編碼的調色板320。調色板320可以包括一或多個調色板。在圖3的實例中,調色板320包括分別具有索引值1、2和3的三個調色板條目322、324、326。調色板條目322、324、326分別將索引值1、2和3與包括色彩值C1 、C2 和C3 的圖元值進行相關。在該實例中,視訊編碼器可以對指示調色板310中的哪些條目被包括在調色板320中的一或多個語法元素進行編碼。在該實例中,一或多個語法元素被示為向量330。向量330具有多個相關聯的位元或標誌,其中每個位元或標誌指示與該位元或標誌相關聯的調色板預測器是否用以預測當前調色板的條目。例如,向量330指示調色板310的前兩個條目(例如,條目312和314)被包括在調色板320中(例如,基於向量330的前兩個倉中的值「1」),而調色板310的第三個條目不被包括在調色板320中(例如,如經由向量330的第三個倉中的值「0」指示的)。
圖4是示出如關於圖5至8進一步描述的在調色板預測器調整之前的示例性調色板預測器更新的方塊圖。在一些情況下,每當對區塊進行調色板編碼時,就可以更新調色板預測器。在一些情況下,所更新的調色板預測器可以攜帶來自一或多個先前編碼的區塊的色彩資訊,因此解碼器可以從調色板預測器獲得此種色彩資訊,而編碼器無需將色彩資訊用信號通知或發送給解碼器。在一些情況下,可以基於當前調色板中的色彩資訊來產生及/或更新所更新的調色板預測器。所更新的調色板預測器可以用以基於所更新的調色板預測器中的色彩資訊來對新區塊進行調色板編碼。
例如,調色板預測器可以是利用索引條目和相關聯的色彩資訊來維護的。可以基於當前調色板及/或當前區塊來決定用於當前區塊的色彩資訊中的至少一些色彩資訊。在一些情況下,當前區塊和當前調色板可以包括新色彩資訊,該新色彩資訊未被包括在先前調色板預測器中,以及可以被包括在所更新的調色板預測器中,如本文描述的。在一些實例中,當前調色板中的條目中的一些或全部條目(包括來自先前調色板預測器的重用條目及/或當前區塊中的新色彩資訊)可以用以計算所更新的調色板預測器。所更新的調色板預測器可以用以對下一個區塊進行調色板編碼,以及基於下一個調色板及/或下一個區塊中的色彩資訊來再次被更新。因此,在一些實例中,當在對當前區塊進行編碼之後及/或在對下一個區塊進行編碼之前對調色板預測器進行更新時,所更新的調色板預測器中的條目可以包括來自當前區塊/調色板的新色彩資訊及/或來自先前調色板預測器的在當前調色板中重用的一或多個條目。
在圖4的實例中,調色板預測器400用以產生調色板420的至少一部分。調色板預測器400表示用以對先前的區塊進行調色板編碼的先前的調色板預測器。調色板預測器400包括分別具有索引值0、1、2至N 的調色板條目402、404、406、408。調色板條目402、404、406、408分別將索引值0、1、2至N 與包括色彩值C0 、C1 、C2 至C N 的圖元值進行相關。色彩值C0 、C1 、C2 至C N 可以表示色彩資訊,諸如例如,亮度值、Cr色度值及/或Cb色度值,或者替代地,紅色(R)值、藍色(B)值及/或綠色(G)值。
重用向量410可以用以指示調色板預測器400中的哪些色彩值應當被重用及/或包括在調色板420中。在一些實例中,重用向量410可以包括指示調色板預測器400中的相關聯的調色板條目是否應當被重用及/或包括在調色板420中的位元或標誌。例如,圖4中的重用向量410包括指示與調色板條目402和408相關聯的色彩值(例如,色彩值C0 和C N )應當被重用及/或被包括在調色板420中的位元或標誌(例如,「1」值)、以及指示與調色板條目404和406相關聯的色彩值(例如,色彩值C1 和C2 )不應當被重用及/或被包括在調色板420中的位元或標誌(例如,「0」值)。相應地,當產生調色板420時,與調色板條目402和408相關聯的色彩值C0 和C N 以及調色板預測器400中的相關聯的索引值(例如,0和N )可以被包括在調色板420中。
如先前提到的,從當前調色板編碼區塊推導及/或(例如,由視訊編碼器)針對當前調色板編碼區塊來用信號通知的新色彩資訊亦可以被包括在調色板420中。新色彩資訊可以包括如下的色彩資訊:該色彩資訊未被包括在調色板預測器400中及/或不是從先前的調色板編碼區塊擷取的,而是針對當前調色板編碼區塊來用信號通知的及/或從其推導的。在該實例中,調色板420包括調色板條目422-430,該調色板條目422-430具有從調色板預測器400中的被重用的調色板條目推導的色彩資訊(例如,與色彩值C0 和C N 相對應的調色板條目402和408)以及與當前調色板編碼區塊相關聯的新色彩資訊。因此,調色板420中的調色板條目422-430可以包括來自調色板預測器400的色彩值C0 和C N 以及與同當前調色板編碼區塊相關聯的新色彩資訊相對應的新色彩值新C1 、新C2 和新C M
可以基於調色板422來更新及/或計算所更新的調色板預測器440。所更新的調色板預測器440可以包括具有來自調色板420的色彩資訊的調色板條目442-450。在圖4中的示例性所更新的調色板預測器440中,從調色板420中的新色彩資訊推導的調色板條目被包括在所更新的調色板預測器440的底部。然而,調色板條目的此種排序僅是出於解釋目的來提供的說明性實例。本領域技藝人士將理解的是,在其他實例中,所更新的調色板預測器440中的調色板條目的排序可以變化。例如,在一些情況下,從調色板420中的新色彩資訊推導的調色板條目可以替代地被包括在所更新的調色板預測器440的頂部。在其他實例中,從調色板420中的新色彩資訊推導的調色板條目可以基於諸如例如以下各項的不同排序來被包括在所更新的調色板預測器440中:隨機排序,順序地,基於當前區塊與從其推導色彩值的區塊的接近度、色彩值與區塊中的取樣的相關性、色彩值的使用頻率,及/或基於任何其他因素的排序。
為了說明和解釋的目的,在圖4中的調色板預測器更新僅示出一個所更新的調色板預測器,以及每個調色板條目僅示出一個色彩值。然而,在其他實例中,調色板預測器更新可以包括更新多個調色板預測器及/或包括多個相應的色彩值的調色板條目。例如,在其中亮度區塊和色度區塊被分別/獨立地分割的局部雙樹場景中,調色板預測器更新可以包括更新與亮度區塊相關聯的調色板預測器以及與色度區塊相關聯的調色板預測器。在另一實例中,調色板預測器更新可以包括更新具有亮度值和色度值兩者的調色板預測器條目。此外,在一些實例中,可以基於來自多個區塊(當前區塊、先前編碼的區塊等)的一或多個先前的調色板預測器及/或色彩值來更新一或多個調色板預測器。
在一些情況下,當一或多個區塊是使用單樹來編碼的並且其他區塊是使用局部雙樹來編碼的時,可能發生調色板預測器尺寸衝突及/或變化。例如,使用單樹結構編碼的區塊可以具有針對亮度和色度的相同的區塊分割尺寸。因此,用以對經單樹編碼的區塊中的亮度分量和色度分量進行調色板編碼的調色板預測器可以針對亮度和色度維護相同尺寸及/或數量的調色板條目。在一些情況下,可以針對經單樹編碼的區塊來維護針對亮度和色度具有相同數量的調色板條目的單個調色板預測器。在其他情況下,可以針對亮度和色度來單獨地或聯合地維護具有相同尺寸(例如,相同數量的調色板條目)的調色板預測器集合。在任何情況下,當對下一個區塊進行調色板編碼時,針對亮度和色度的調色板條目數量可以是相同的,以及不會出現調色板預測器尺寸衝突(或相關問題)。
另一方面,使用局部雙樹結構編碼的區塊可以具有針對亮度和色度的不同區塊分割尺寸。因此,用以對經局部雙樹編碼的區塊中的亮度分量和色度分量進行調色板編碼的調色板預測器可能具有不同的尺寸。在其中針對亮度和色度實現聯合調色板預測器的一些情況下,該聯合調色板預測器可能具有針對亮度和色度的不同數量的調色板條目。在其中針對亮度和色度實現調色板預測器集合的其他情況下,針對亮度和色度的調色板預測器可能具有不同的尺寸(例如,不同數量的調色板條目)。在任一種情況下,當對下一個區塊進行調色板編碼時,針對亮度和色度的調色板條目數量可能不同,從而導致調色板預測器尺寸衝突(和相關問題)。
調色板預測器尺寸衝突在對區塊進行調色板編碼時可能造成問題,或者在進行調色板編碼時可能使得解碼器系統故障。例如,在對經局部雙樹編碼的區塊進行編碼之後執行的調色板預測器更新可能導致針對亮度和色度的不同的調色板預測器尺寸(及/或不同數量的調色板條目)。隨後,當對其他區塊進行調色板編碼時,不同的調色板預測器尺寸可能造成各種錯誤及/或問題。為了進行說明,若調色板預測器更新導致針對色度的n 個調色板條目以及針對亮度的n +m 個調色板條目(反之亦然),則當解碼器嘗試存取色彩資訊以對下一個區塊(諸如單樹區塊)進行調色板編碼時,解碼器可能期望及/或嘗試存取針對亮度和色度的n +m 個相應的調色板條目。相應地,在存取針對色度的n 個調色板條目中的色彩資訊之後,解碼器可能嘗試以及未能存取針對色度的m 個額外調色板條目的色彩資訊,因為調色板預測器不具有針對色度的m 個額外調色板條目。隨後,當對下一個區塊進行調色板編碼時,缺失的色度資訊及/或額外的亮度資訊可能造成錯誤及/或不準確性。
替代地,在存取針對色度的n 個調色板條目中的色彩資訊之後,解碼器可以嘗試存取針對色度的m 個額外調色板條目中的色彩資訊,而取得錯誤的色彩資訊,諸如來自針對亮度的調色板條目中的一或多者的針對亮度的色彩資訊。因此,當對下一個區塊中的色度分量進行調色板編碼時,解碼器可能使用錯誤的色彩資訊。當對下一個區塊進行調色板編碼時,這可能導致錯誤及/或不準確性。為了避免調色板預測器尺寸衝突以及相關聯的錯誤及/或問題,可以調整調色板預測器更新過程以確保當調色板預測器被更新時維護相同的調色板預測器尺寸。
圖5是示出用於在調色板預測器更新之後針對亮度和色度維護相同的調色板預測器尺寸的示例性技術的圖。在該實例中,可以修剪所更新的調色板預測器,以確保針對亮度和色度維護相同的調色板預測器尺寸(及/或相同數量的調色板條目)。在一些情況下,修剪可以用以強制調色板預測器遍及經單樹編碼的切片具有針對亮度和色度的相同尺寸。例如,若經局部雙樹編碼的區塊導致不同數量的亮度和色度調色板條目,則可以修剪所更新的調色板預測器,所以其具有相同數量的亮度和色度調色板條目,以及可以在對下一個區塊進行調色板編碼時使用,而沒有調色板預測器尺寸衝突。
如圖5所示,調色板預測器500可以是聯合調色板預測器,其包括針對亮度(Y)的調色板條目502、針對Cb色度的調色板條目504以及針對Cr色度的調色板條目506。然而,調色板預測器500包括針對亮度的較多調色板條目(與Cb色度和Cr色度相比)。在該實例中,調色板預測器500包括針對亮度的額外調色板條目508和510。在一些情況下,針對亮度和色度(Cb和Cr)的不同的調色板預測器尺寸可能是用以對亮度和色度區塊進行編碼的局部雙樹結構的結果。
為了解決在亮度調色板條目與色度調色板條目之間的尺寸衝突,已經對所更新的調色板預測器520進行了修剪以去除針對亮度的額外調色板條目508和510。在修剪針對亮度的額外調色板條目508和510之後,所更新的調色板預測器520包括針對亮度、Cb色度和Cr色度的相同數量的調色板條目502、504和506。
在該實例中,亮度分量被示為具有比Cb和Cr色度分量更多的調色板預測器條目。相應地,從所更新的調色板預測器520修剪的條目是亮度分量條目。然而,在其他情況下,Cb和Cr色度分量可能具有比亮度分量更多的調色板預測器條目。在此種情況下,從所更新的調色板預測器520修剪的條目可以包括Cb和Cr色度分量條目。
在圖5中,已經從調色板預測器的底部/末尾修剪了所更新的調色板預測器520,以去除造成在亮度調色板預測器與色度調色板預測器之間的尺寸衝突的額外條目。然而,在一些實例中,當修剪所更新的調色板預測器520時,從調色板預測器去除的調色板條目可以包括與在調色板預測器中具有最多調色板條目的色彩分量相關聯的預定義條目集合。在其他實例中,當修剪所更新的調色板預測器520時,從調色板預測器中去除的調色板條目可以是來自調色板預測器的頂部/開頭及/或調色板預測器的任何其他區域的一或多個條目。
例如,參考圖6,為了解決在調色板預測器500中的亮度和色度調色板條目502、504和504之間的尺寸衝突,已經從頂部/或開頭修剪了圖6中的所更新的調色板預測器600。亦即,代替去除位於調色板預測器的底部/末尾處的針對亮度的額外調色板條目(例如,圖5中的條目508和510)(例如,最後的亮度調色板條目),已經從所更新的調色板預測器600中去除了位於調色板預測器的頂部/開頭處的亮度調色板條目602和604(例如,第一亮度調色板條目)。
在一些情況下,代替修剪所更新的調色板預測器以去除造成尺寸衝突的額外調色板條目或除此之外,亦可以針對在調色板預測器中具有較少條目的分量,利用調色板條目來填充所更新的調色板預測器。例如,轉到圖7,代替修剪調色板預測器以去除針對亮度分量(其具有比Cb色度和Cr色度分量更多的條目)的調色板條目,已經利用針對Cb色度和Cr色度分量的條目702-708填充了所更新的調色板預測器700,其中在填充之前,Cb色度和Cr色度分量具有比亮度分量更少的條目。
條目702-708可以被添加到所更新的調色板預測器700的頂部/開頭、所更新的調色板預測器700的底部/末尾、所更新的調色板預測器700的中間,及/或所更新的調色板預測器700的任何其他區域。在一些情況下,條目702-708可以被添加到所更新的調色板預測器700,因為新的亮度條目被添加到調色板預測器中(或者因為新的色度條目被添加,若調色板預測器替代地是利用亮度條目來填充的話)。
在一些實例中,當填充所更新的調色板預測器700時被添加到所更新的調色板預測器700中的值(例如,針對條目702-708的值)可以是預先決定的值。例如,在一些情況下,當填充所更新的調色板預測器700時被添加到所更新的調色板預測器700中的值可以是圖像的色彩位元深度所允許/支援的最大值(例如,對於8位元是255,對於10位元是1023,對於12位元是4095等等)。
在一些情況下,若當前樹類型是雙樹並且當前樹對應於色度分量,則可以如下計算用以利用額外的亮度條目來填充所更新的調色板預測器700的針對亮度條目的亮度值: LumaPaletteEntries = 1<<(BitDepth – 1)         等式(1)
因此,在當前樹類型是雙樹並且當前樹對應於色度分量時,等式(1)可以定義要插入到所更新的調色板預測器700中的亮度值。
若當前樹類型是雙樹並且當前樹對應於亮度分量,則可以如下計算用以利用額外的色度條目來填充所更新的調色板預測器700的針對色度條目的色度值: 針對Cb色度,CbChromaPaletteEntries = 1<<(BitDepth – 1);及 針對Cr色度,CrChromaPaletteEntries = 1<<(BitDepth – 1)。等式( 2
因此,在當前樹類型是雙樹並且當前樹對應於亮度分量時,等式(2)可以定義要插入到所更新的調色板預測器700中的Cb色度值和Cr色度值。
在等式(1)和(2)中,術語「<<」是左移位算術運算元,其可以用以基於位元深度值來計算調色板輸入值。例如,使用等式(2)來計算在所更新的調色板預測器700中針對條目702-708的值,在給定的位元深度值為8的情況下,針對條目702-708的值將等於1<<(8 – 1),其等於1左移位7。左算術移位n 等於乘以2 n 。因此,1左移位7等於27 。因此,當位元深度值是8時,針對條目702-708的值可以等於27
如前述,在圖5-7中所示的用於在調色板預測器更新之後針對亮度和色度維護相同的調色板預測器尺寸的示例性技術涉及修剪及/或填充調色板預測器。然而,一些實例可以實現用於在調色板預測器更新之後針對亮度和色度維護相同的調色板預測器尺寸的其他策略。
在一個說明性實例中,一種用於針對亮度和色度維護相同的調色板預測器尺寸的技術可以涉及避開針對使用局部雙樹的區塊的調色板預測器更新。例如,對於在經單樹編碼的切片中的使用局部雙樹的區塊,可以跳過在調色板編碼之後的調色板預測器更新。此處,用於下一個調色板編碼區塊的調色板預測器將與用於當前調色板編碼區塊的調色板預測器相同。藉由跳過針對使用局部雙樹的區塊的調色板預測器更新,調色板預測器中的亮度和色度調色板條目的數量將遍及經單樹編碼的切片保持相同。
在一些實例中,對於調色板推導,色度區塊可以僅存取調色板預測器中的色度分量(例如,Cb和Cr色度分量),該調色板預測器可以聯合地包含經單樹編碼的切片中的亮度和色度調色板條目,以及可以用信號通知針對色度分量的重用位元或標誌。類似地,亮度區塊可以僅存取該調色板預測器中的亮度分量,以及可以用信號通知針對亮度分量的重用位元或標誌。
在另一說明性實例中,可以允許調色板預測器具有針對在經單樹編碼的切片中的亮度分量和色度分量的不同的尺寸。然而,對於其中未應用局部雙樹的區塊,可以僅重用固定數量(諸如小於在亮度與色度之間的較小尺寸的數量)的調色板預測器條目。
在另一說明性實例中,可以針對具有經局部雙樹編碼的區塊的經單樹編碼的切片維護多個調色板預測器。調色板預測器可以聯合地包含亮度分量和色度分量(例如,可以包含針對亮度和色度的相同數量的調色板條目)。不同的調色板預測器集合可以包括針對亮度分量和色度分量的兩個單獨的調色板預測器。在一些情況下,可以僅允許被局部雙樹編碼的調色板編碼區塊來重用不同的調色板預測器集合中的調色板預測器條目,該調色板預測器集合包括針對亮度分量和色度分量的兩個單獨的調色板預測器。另一方面,可以僅允許不是被局部雙樹編碼的調色板編碼區塊來重用在聯合地包含亮度分量和色度分量的調色板預測器中的調色板預測器條目。
在其他情況下,可以允許被局部雙樹編碼的調色板編碼區塊來重用在聯合地包含亮度分量和色度分量的調色板預測器中的調色板預測器條目,或者重用包括針對亮度分量和色度分量的兩個單獨的調色板預測器的不同的調色板預測器集合,這取決於哪個調色板預測器是最近更新的。在調色板編碼之後,可以僅利用新產生的調色板來更新包括針對亮度分量和色度分量的兩個單獨的調色板預測器的不同的調色板預測器集合。可以僅允許不是被局部雙樹編碼的調色板編碼區塊來重用在聯合地包含亮度分量和色度分量的調色板預測器中的調色板預測器條目。
圖8是示出用於管理調色板預測器更新的示例性過程800的流程圖。在一些實例中,過程800可以用以當使用局部雙樹時針對圖像分量(例如,亮度和色度)維護相同的調色板預測器尺寸,如先前所描述。
在方塊802處,過程800可以包括:決定圖片的經單樹編碼的切片的當前調色板編碼區塊是根據局部雙樹來進行編碼的。當前調色板編碼區塊可以包括例如但不限於圖片的編碼單元(CU)、預測單元(PU)、變換單元(TU)、編碼區塊(CB)或任何其他區塊。在一些實例中,圖片可以是經編碼的視訊資料(例如,經編碼的視訊位元串流)的一部分(諸如當過程800由解碼設備(例如,112)來執行時)。在其他實例中,圖片可以是未經編碼的視訊資料的一部分(諸如當過程800由編碼設備(例如,104)來執行時)。
在一些情況下,圖片可以是複數個圖片的一部分,以及可以被劃分為複數個區塊,如本文描述的。圖片可以包括視訊資料,諸如例如,圖元值、用信號通知的資訊等。在一些實例中,視訊資料可以包括用信號通知的用於與圖片的一或多個區塊相關聯的一或多個調色板及/或調色板預測器的資訊,諸如色彩資訊、調色板索引條目、重用標誌/位元等。在其他實例中,視訊資料可以包括用於圖片及/或圖片的一或多個區塊的運動資訊,其可以用以執行運動補償。
在方塊804處,過程800可以包括:在對與當前調色板編碼區塊相關聯的調色板預測器(例如,500、600、700)的更新之後,決定針對當前調色板編碼區塊的第一圖像分量的調色板預測器條目的第一數量以及針對當前調色板編碼區塊的第二圖像分量的調色板預測器條目的第二數量。例如,過程800可以包括:決定在所更新的調色板預測器(例如,502、504和504)中的亮度和色度調色板預測器條目的相應數量,諸如n 個Cb和Cr色度條目以及n +m 個亮度條目。
在一些情況下,第一圖像分量可以包括來自第一色彩通道的色彩分量(例如,亮度、色度),以及第二圖像分量可以包括來自與第一色彩通道不同的第二色彩通道的一或多個色彩分量。在一些實例中,第一圖像分量可以包括亮度分量,以及第二圖像分量可以包括一或多個色度分量(諸如Cb色度和Cr色度)。在其他實例中,第一圖像分量可以包括一或多個色度分量(諸如Cb色度和Cr色度),以及第二圖像分量可以包括亮度分量。因此,決定調色板預測器條目的第一數量和調色板預測器條目的第二數量可以包括決定亮度條目數量和色度條目數量(例如,Cb色度條目及/或Cr色度條目)。
在一些情況下,調色板預測器及/或所更新的調色板預測器可以包括聯合調色板預測器,其具有針對第一圖像分量的第一數量的調色板預測器條目和針對第二圖像分量的第二數量的調色板預測器條目。在其他實例中,調色板預測器及/或所更新的調色板預測器可以包括與第一圖像分量相關聯的第一調色板預測器以及與第二圖像分量相關聯的第二調色板預測器。例如,調色板預測器及/或所更新的調色板預測器可以包括分別對應於第一圖像分量和第二圖像分量的不同的調色板預測器。
在方塊806處,過程800可以包括:決定調色板預測器條目的第一數量大於調色板預測器條目的第二數量。例如,過程800可以決定所更新的調色板預測器具有與一或多個其他圖像分量相比而言針對一個圖像分量的較多的調色板預測器條目(例如,與Cb和Cr色度條目相比,較多的亮度調色板條目,反之亦然),如圖5至7所示。針對不同圖像分量的調色板預測器條目的差異可以指示調色板預測器尺寸衝突,如先前描述的。
在方塊808處,過程800可以包括:將所更新的調色板預測器修改為包括針對第一圖像分量和第二圖像分量的相同數量的調色板預測器條目。在一些實例中,可以基於及/或回應於決定調色板預測器條目的第一數量大於調色板預測器條目的第二數量來修改所更新的調色板預測器。此外,在一些實例中,修改所更新的調色板預測器可以包括填充及/或修剪所更新的調色板預測器,如圖5至7所示。
在一些態樣中,修改所更新的調色板預測器可以包括:將針對第二圖像分量(例如,針對具有較少條目的圖像分量)的一或多個調色板預測器條目添加到所更新的調色板預測器中。一或多個調色板預測器條目可以包括針對第二圖像分量計算的一或多個分量值(例如,702、704、706、708)。在一些態樣中,一或多個分量值可以是根據等式(1)或等式(2)來計算的。
在一些態樣中,過程800可以包括:藉由將第一整數左移位第二整數來計算針對第二圖像分量的一或多個分量值。在一些實例中,第二整數可以是針對來自當前調色板編碼區塊的取樣的位元深度值(例如,8個位元、10個位元、12個位元等)減去第三整數的結果。在一些情況下,第一整數和第三整數可以各自等於1,以及將第一整數左移位第二整數包括取2的指數次冪,該指數等於第二整數。例如,若第一整數和第三整數各自等於1並且位元深度值是8,則第二整數(位元深度值減去第三整數)是7。相應地,在該實例中,將第一整數左移位第二整數可以等於2的7次冪或27 。因此,被包括在一或多個被添加到所更新的調色板預測器中的調色板預測器條目中的一或多個分量值可以是27 的結果(例如,128)。
在一些態樣中,過程800可以包括,在修改所更新的調色板預測器之前,決定與當前調色板編碼區塊相關聯的局部雙樹對應於第一圖像分量。例如,過程800可以包括:決定局部雙樹對應於亮度分量、Cb色度分量或Cr色度分量。當作為修改所更新的調色板預測器的一部分來填充經更新的調色板預測器時,該資訊可以用以決定是將亮度調色板預測器條目還是將色度調色板預測器條目添加到所更新的調色板預測器。例如,若局部雙樹對應於亮度分量,則過程800可以藉由添加針對色度分量(例如,Cb色度和Cr色度)的一或多個調色板預測器條目來修改所更新的調色板預測器。另一方面,若局部雙樹對應於色度分量,則過程800可以藉由添加針對亮度分量的一或多個調色板預測器條目來修改所更新的調色板預測器。一或多個調色板預測器條目可以包括針對相關聯的分量(例如,亮度或Cb和Cr色度)的分量值。在一些實例中,分量值可以是根據等式(1)或等式(2)來計算的。
在一些態樣中,修改所更新的調色板預測器可以包括:修剪所更新的調色板預測器以去除針對第一圖像分量的一或多個調色板預測器條目。例如,修改所更新的調色板預測器可以包括:修剪與具有比在當前調色板編碼區塊中的一或多個其他圖像分量更多的調色板預測器條目的圖像分量相對應的一或多個調色板預測器條目,如圖5和6所示。
在一些態樣中,過程800可以包括:決定經單樹編碼的切片的不同的調色板編碼區塊是根據局部雙樹進行編碼的;及基於不同的調色板編碼區塊是根據局部雙樹進行編碼的,跳過針對該不同的調色板編碼區塊的調色板預測器更新。藉由跳過針對根據局部雙樹進行編碼的不同區塊的調色板預測器更新,過程800可以避免調色板預測器尺寸衝突(以及當使用具有針對不同分量的不同數量的條目的調色板預測器來對單樹區塊進行編碼時可能出現的潛在錯誤及/或問題),如先前描述的。
在一些態樣中,過程800可以包括:基於與當前調色板編碼區塊相關聯的當前調色板(例如,200、310、320、420)中的值(例如,色彩值)集合來產生調色板預測器。在一些實例中,過程800可以包括:基於來自先前調色板預測器(例如,400)的一或多個重用值(例如,來自預測器調色板400中的條目402和408的色彩值C0 和C N )以及與當前調色板編碼區塊相關聯的一或多個值(例如,預測器調色板400中的條目424-430中的新色彩值新C1 、新C2 和新C M ),來決定及/或產生當前調色板。在一些實例中,一或多個重用值可以是基於用信號通知的包括重用指示符(例如,重用向量410)的資訊來決定的。在一些情況下,重用指示符可以包括指示是否應當重用來自先前調色板預測器中的一或多個相應條目的色彩資訊的一或多個位元或標誌。
在一些實現方式中,本文描述的過程(或方法)(包括過程800)可以由一或多個計算設備或裝置(諸如在圖1中所示的系統100)來執行。例如,過程可以由在圖1和圖9中所示的編碼設備104、另一視訊源側設備或視訊傳輸設備、在圖1和圖10中所示的解碼設備112,及/或另一設備(諸如播放機設備、顯示器或任何其他設備)來執行。在一些情況下,計算設備或裝置可以包括一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微型電腦及/或被配置為執行過程800的步驟的其他元件。
在一些實例中,計算設備可以包括行動設備、桌上型電腦、伺服器電腦及/或伺服器系統,或其他類型的計算設備。可以在電路系統(circuitry)中實現計算設備的元件(例如,一或多個輸入裝置、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微型電腦及/或其他元件)。例如,元件可以包括電子電路(electronic circuit)或其他電子硬體及/或可以使用電子電路或其他電子硬體來實現,該電子電路或其他電子硬體可以包括一或多個可程式設計電子電路(例如,微處理器、圖形處理單元(GPUs)、數位訊號處理器(DSPs)、中央處理單元(CPUs)及/或其他合適的電路),及/或可以包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實現,以執行本文描述的各種操作。在一些實例中,計算設備或裝置可以包括被配置為擷取包括視訊訊框的視訊資料(例如,視訊序列)的照相機。在一些實例中,擷取視訊資料的照相機或其他擷取設備是與計算設備分開的,在此種情況下,計算設備接收或獲得所擷取的視訊資料。計算設備可以包括被配置為傳送視訊資料的網路介面。網路介面可以被配置為傳送基於網際網路協定(IP)的資料或其他類型的資料。在一些實例中,計算設備或裝置可以包括用於顯示輸出視訊內容(諸如視訊位元串流的圖片的取樣)的顯示器。
可以關於邏輯流程圖來描述該等過程,邏輯流程圖的動作表示可以在硬體、電腦指令或其組合中實現的一系列操作。在電腦指令的背景下,該動作表示被儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令,該電腦可執行指令在由一或多個處理器執行時執行所記載的操作。通常,電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、元件、資料結構等。描述操作的順序不意欲被解釋為限制,以及可以以任何順序及/或並行地組合任何數量的所描述的操作以實現該過程。
另外,該過程可以在被配置有可執行指令的一或多個電腦系統的控制下執行,以及可以被實現為在一或多個處理器上共同執行的代碼(例如,可執行指令、一或多個電腦程式,或一或多個應用),經由硬體來實現,或其組合。如上所提到,代碼可以例如以包括可由一或多個處理器執行的複數個指令的電腦程式的形式來儲存在電腦可讀或機器可讀儲存媒體上。電腦可讀取儲存媒體或機器可讀儲存媒體可以是非暫態的。
本文論述的編碼技術可以在示例性視訊編碼和解碼系統(例如,系統100)中實現。在一些實例中,系統包括源設備,源設備提供稍後要由目的地設備解碼的經編碼的視訊資料。具體地,源設備經由電腦可讀取媒體將視訊資料提供給目的地設備。源設備和目的地設備可以包括各種各樣的設備中的任何一者,包括桌上型電腦、筆記型電腦(即膝上型電腦)、平板電腦、機上盒、電話手機(諸如所謂的「智慧」手機)、所謂的「智慧」平板、電視機、照相機、顯示設備、數位媒體播放機、視訊遊戲機、視訊串流設備等。在一些情況下,源設備和目的地設備可以被配備用於無線通訊。
目的地設備可以經由電腦可讀取媒體來接收要被解碼的經編碼的視訊資料。電腦可讀取媒體可以包括能夠將經編碼的視訊資料從源設備移動到目的地設備的任何類型的媒體或設備。在一個實例中,電腦可讀取媒體可以包括用於使得源設備能夠將經編碼的視訊資料直接地即時地發送給目的地設備的通訊媒體。可以根據諸如無線通訊協定的通訊標準來對經編碼的視訊資料進行調制,以及將其發送給目的地設備。通訊媒體可以包括任何無線或有線通訊媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通訊媒體可以形成基於封包的網路的一部分,諸如區域網路、廣域網路或諸如網際網路的全球網路。通訊媒體可以包括路由器、交換機、基地台,或可以有用於促進從源設備到目的地設備的通訊的任何其他裝備。
在一些實例中,可以將經編碼的資料從輸出介面輸出到儲存設備。類似地,可以經由輸入介面從儲存設備存取經編碼的資料。儲存設備可以包括各種各樣的分散式或本端存取的資料儲存媒體中的任何一者,諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼的視訊資料的任何其他合適的數位儲存媒體。在另外的實例中,儲存設備可以對應於檔案伺服器或另一中間儲存設備,其可以儲存由源設備產生的經編碼的視訊。目的地設備可以經由資料串流或下載來從儲存設備存取被儲存的視訊資料。檔案伺服器可以是能夠儲存經編碼的視訊資料以及將該經編碼的視訊資料發送給目的地設備的任何類型的伺服器。示例性檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)設備或本端磁碟機。目的地設備可以經由任何標準資料連接(包括網際網路連接)來存取經編碼的視訊資料。這可以包括適用於存取被儲存在檔案伺服器上的經編碼的視訊資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等)或該兩者的組合。來自儲存設備的經編碼的視訊資料的傳輸可以是資料串流、下載傳輸或其組合。
本案內容的技術不必要限於無線應用或設置。該技術可以被應用於視訊編碼,以支援各種各樣的多媒體應用中的任何一者,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如基於HTTP的動態可適性串流傳輸(DASH))、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼,或其他應用。在一些實例中,系統可以被配置為支援單向或雙向視訊傳輸,以支援諸如視訊資料串流、視訊重播、視訊廣播及/或視訊電話的應用。
在一個實例中,源設備包括視訊源、視訊編碼器和輸出介面。目的地設備可以包括輸入介面、視訊解碼器和顯示設備。源設備的視訊編碼器可以被配置為應用本文揭示的技術。在其他實例中,源設備和目的地設備可以包括其他元件或排列。例如,源設備可以從諸如外部照相機的外部視訊源接收視訊資料。同樣,目的地設備可以與外部顯示設備對接,而不是包括整合的顯示設備。
上文的示例性系統僅是一個實例。用於並行地處理視訊資料的技術可以由任何數位視訊編碼及/或解碼設備來執行。儘管概括而言,本案內容的技術是由視訊編碼設備來執行的,但是該技術亦可以由通常被稱為「CODEC」的視訊編碼器/解碼器來執行。此外,本案內容的技術亦可以由視訊前置處理器來執行。源設備和目的地設備僅是此種編碼設備的實例:其中源設備產生經編碼的視訊資料以用於去往目的地設備的傳輸。在一些實例中,源設備和目的地設備可以以基本上對稱的方式操作,使得該等設備之每一者設備包括視訊編碼和解碼用元件。因此,示例性系統可以支援在視訊設備之間的單向或雙向視訊傳輸,例如,用於視訊資料串流、視訊重播、視訊廣播或視訊電話。
視訊源可以包括視訊擷取設備,諸如攝像機、包含先前擷取的視訊的視訊存檔單元,及/或用於從視訊內容提供者接收視訊的視訊饋送介面。作為另外的替代方式,視訊源可以產生基於電腦圖形的資料作為源視訊,或者產生即時視訊、存檔視訊和電腦產生的視訊的組合。在一些情況下,若視訊源是攝像機,則源設備和目的地設備可以形成所謂的照相機電話或視訊電話。然而,如前述,在本案內容中描述的技術通常可以適用於視訊編碼,以及可以被應用於無線及/或有線應用。在每個情況下,所擷取的、預擷取的或電腦產生的視訊可以由視訊編碼器進行編碼。隨後,可以經由輸出介面將經編碼的視訊資訊輸出到電腦可讀取媒體上。
如所提到的,電腦可讀取媒體可以包括諸如無線廣播或有線網路傳輸的臨時媒體,或者諸如硬碟、快閃記憶體驅動器、壓縮光碟、數位視訊光碟、藍光光碟的儲存媒體(亦即,非暫態儲存媒體),或其他電腦可讀取媒體。在一些實例中,網路伺服器(未圖示)可以例如經由網路傳輸從源設備接收經編碼的視訊資料,以及將經編碼的視訊資料提供給目的地設備。類似地,諸如光碟衝壓設施的媒體生產設施的計算設備可以從源設備接收經編碼的視訊資料,以及產生包含經編碼的視訊資料的光碟。因此,在各個實例中,電腦可讀取媒體可以被理解為包括各種形式的一或多個電腦可讀取媒體。
目的地設備的輸入介面從電腦可讀取媒體接收資訊。電腦可讀取媒體的資訊可以包括由視訊編碼器定義的語法資訊(其亦被視訊解碼器使用),語法資訊包括描述區塊和其他編碼單元(例如,圖片群組(GOP))的特性及/或處理的語法元素。顯示設備將經解碼的視訊資料顯示給使用者,以及可以包括各種各樣的顯示設備中的任何一者,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器,或另一類型的顯示設備。已經描述了本案的各個實施例。
在圖9和圖10中分別圖示編碼設備104和解碼設備112的額外細節。圖9是示出可以實現在本案內容中描述的技術中的一或多個技術的示例性編碼設備104的方塊圖。編碼設備104可以例如產生本文描述的語法結構(例如,VPS、SPS、PPS或其他語法元素的語法結構)。編碼設備104可以執行對視訊切片內的視訊區塊的訊框內預測和訊框間預測編碼。如前述,訊框內編碼至少部分地依賴於空間預測以減少或去除在給定視訊訊框或圖片內的空間冗餘。訊框間編碼至少部分地依賴於時間預測以減少或去除在視訊序列的相鄰或周圍訊框內的時間冗餘。訊框內模式(I模式)可以代表若干基於空間的壓縮模式中的任何一者。諸如單向預測(P模式)或雙向預測(B模式)的訊框間模式可以代表若干基於時間的壓縮模式中的任何一者。編碼設備104可以執行如本文描述的調色板編碼操作。
編碼設備104包括分割單元35、預測處理單元41、濾波器單元63、圖片記憶體64、求和器50、變換處理單元52、量化單元54和熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44和訊框內預測處理單元46。對於視訊區塊重建,編碼設備104亦包括逆量化單元58、逆變換處理單元60和求和器62。濾波器單元63意欲表示一或多個迴路濾波器,諸如解區塊濾波器、可適性迴路濾波器(ALF)和取樣可適性偏移(SAO)濾波器。儘管在圖9中將濾波器單元63示為迴路內濾波器,但是在其他配置中,濾波器單元63可以被實現為迴路後濾波器。後處理設備57可以對由編碼設備104產生的經編碼的視訊資料執行額外的處理。在一些情況下,本案內容的技術可以由編碼設備104來實現。然而,在其他情況下,本案內容的技術中的一或多個技術可以由後處理設備57來實現。
如圖9所示,編碼設備104接收視訊資料,以及分割單元35將資料分割為視訊區塊。該分割亦可以包括例如根據LCU和CU的四叉樹結構來分割為切片、切片段、瓦片(tile)或其他較大的單元,以及視訊區塊分割。編碼設備104整體上圖示對要被編碼的視訊切片內的視訊區塊進行編碼的元件。切片可以被劃分為多個視訊區塊(以及可能被劃分為被稱為瓦片的視訊區塊集合)。預測處理單元41可以基於誤差結果(例如,編碼率和失真位準等)來針對當前視訊區塊來選擇複數個可能的編碼模式中的一者,諸如複數個訊框內預測編碼模式中的一者或複數個訊框間預測編碼模式中的一者。預測處理單元41可以將所得到的訊框內或訊框間編碼區塊提供給求和器50以產生殘差區塊資料,以及提供給求和器62以重建編碼區塊以用作參考圖片。
在預測處理單元41內的訊框內預測處理單元46可以相對於在與要被編碼的當前區塊相同的訊框或切片中的一或多個相鄰區塊,來執行當前視訊區塊的訊框內預測編碼,以提供空間壓縮。在預測處理單元41內的運動估計單元42和運動補償單元44相對於一或多個參考圖片中的一或多個預測區塊來執行對當前視訊區塊的訊框間預測編碼,以提供時間壓縮。
運動估計單元42可以被配置為根據用於視訊序列的預決定的圖案來決定用於視訊切片的訊框間預測模式。預決定的圖案可以將序列中的視訊切片指定為P切片、B切片或GPB切片。運動估計單元42和運動補償單元44可以是高度整合的,但是出於概念性目的而被分別示出。由運動估計單元42執行的運動估計是產生運動向量的過程,該運動向量估計針對視訊區塊的運動。運動向量例如可以指示在當前視訊訊框或圖片內的視訊區塊的預測單元(PU)相對於在參考圖片內的預測區塊的位移。
預測區塊是被發現在圖元差方面與要被編碼的視訊區塊的PU緊密匹配的區塊,其可以是經由絕對差之和(SAD)、平方差之和(SSD)或其他差度量來決定的。在一些實例中,編碼設備104可以計算用於被儲存在圖片記憶體64中的參考圖片的低於整數的圖元位置的值。例如,編碼設備104可以對四分之一圖元位置、八分之一圖元位置或參考圖片的其他分數圖元位置的值進行內插。因此,運動估計單元42可以相對於全圖元位置和分數圖元位置執行運動搜尋,以及以分數圖元精度輸出運動向量。
運動估計單元42藉由將在經訊框間編碼的切片中的視訊區塊的PU的位置與參考圖片的預測區塊的位置進行比較,來計算針對PU的運動向量。可以從第一參考圖片清單(清單0)或第二參考圖片清單(清單1)中選擇參考圖片,其中的每一者識別被儲存在圖片記憶體64中的一或多個參考圖片。運動估計單元42將所計算出的運動向量發送給熵編碼單元56和運動補償單元44。
由運動補償單元44執行的運動補償可以涉及基於經由運動估計而決定的運動向量來取得或產生預測區塊,可能對子圖元的精度執行內插。在接收到針對當前視訊區塊的PU的運動向量之後,運動補償單元44可以在參考圖片清單中定位運動向量指向的預測區塊。編碼設備104藉由從正被編碼的當前視訊區塊的圖元值中減去預測區塊的圖元值、形成圖元差值,來形成殘差視訊區塊。圖元差值形成針對該區塊的殘差資料,以及可以包括亮度差分量和色度差分量兩者。求和器50表示執行此種減法運算的一或多個元件。運動補償單元44亦可以產生與視訊區塊和視訊切片相關聯的語法元素,以供解碼設備112在對視訊切片的視訊區塊進行解碼時使用。
如前述,訊框內預測處理單元46可以對當前區塊進行訊框內預測,作為對由運動估計單元42和運動補償單元44執行的訊框間預測的替代方式。具體地,訊框內預測處理單元46可以決定要用以對當前區塊進行編碼的訊框內預測模式。在一些實例中,訊框內預測處理單元46可以例如在單獨的編碼經過期間使用各個訊框內預測模式來對當前區塊進行編碼,以及訊框內預測處理單元46可以從被測試的模式中選擇適當的訊框內預測模式來使用。例如,訊框內預測處理單元46可以使用針對各個被測試的訊框內預測模式的速率-失真分析來計算速率-失真值,以及可以在被測試的模式中選擇具有最佳速率-失真特性的訊框內預測模式。速率-失真分析通常決定在編碼區塊與(被編碼以產生編碼區塊的)原始的未被編碼區塊之間的失真(或誤差)量、以及用以產生編碼區塊的位元元速率(亦即,位元數量)。訊框內預測處理單元46可以根據針對各個編碼區塊的失真和速率來計算比率,以決定哪個訊框內預測模式表現出針對該區塊的最佳速率-失真值。
在任何情況下,在針對區塊選擇訊框內預測模式之後,訊框內預測處理單元46可以將指示針對區塊的所選擇的訊框內預測模式的資訊提供給熵編碼單元56。熵編碼單元56可以對指示所選擇的訊框內預測模式的資訊進行編碼。編碼設備104可以在所發送的位元串流配置資料中包括用於各個區塊的編碼上下文的定義以及對要用於該上下文之每一者上下文的最可能的訊框內預測模式、訊框內預測模式索引表和經修改的訊框內預測模式索引表的指示。位元串流配置資料可以包括複數個訊框內預測模式索引表和複數個經修改的訊框內預測模式索引表(亦被稱為編碼字元映射表)。
在預測處理單元41經由訊框間預測或訊框內預測產生用於當前視訊區塊的預測區塊之後,編碼設備104藉由從當前視訊區塊中減去預測區塊來形成殘差視訊區塊。殘差區塊中的殘差視訊資料可以被包括在一或多個TU中,以及被應用於變換處理單元52。變換處理單元52使用變換(諸如離散餘弦變換(DCT)或概念上類似的變換)來將殘差視訊資料變換為殘差變換係數。變換處理單元52可以將殘差視訊資料從圖元域轉換到變換域(諸如頻域)。
變換處理單元52可以將所得到的變換係數發送給量化單元54。量化單元54對變換係數進行量化以進一步降低位元速率。量化過程可以減少與該係數中的一些或全部係數相關聯的位元深度。可以藉由調整量化參數來修改量化程度。在一些實例中,量化單元54隨後可以執行對包括經量化的變換係數的矩陣的掃瞄。替代地,熵編碼單元56可以執行該掃瞄。
在量化之後,熵編碼單元56對經量化的變換係數進行熵編碼。例如,熵編碼單元56可以執行上下文可適性可變長編碼(CAVLC)、上下文可適性二進位算術編碼(CABAC)、基於語法的上下文可適性二進位算術編碼(SBAC)、機率區間分割熵(PIPE)編碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後,可以將經編碼的位元串流發送給解碼設備112,或者將其存檔以供稍後傳輸或者由解碼設備112取得。熵編碼單元56亦可以對用於正被編碼的當前視訊切片的運動向量和其他語法元素進行熵編碼。
逆量化單元58和逆變換處理單元60分別應用逆量化和逆變換,以重建圖元域中的殘差區塊,以供稍後用作參考圖片的參考區塊。運動補償單元44可以藉由將殘差區塊添加到參考圖片清單內的參考圖片中的一者的預測區塊來計算參考區塊。運動補償單元44亦可以將一或多個內插濾波器應用於經重建的殘差區塊,以計算用於運動估計的低於整數的圖元值。求和器62將經重建的殘差區塊添加到由運動補償單元44產生的經運動補償的預測區塊上,以產生用於儲存在圖片記憶體64中的參考區塊。參考區塊可以由運動估計單元42和運動補償單元44用作參考區塊,以對隨後的視訊訊框或圖片中的區塊進行訊框間預測。
以此種方式,圖9的編碼設備104表示被配置為執行本文描述的技術中的任何技術(包括上文關於圖8描述的過程)的視訊編碼器的實例。在一些情況下,本案內容的技術中的一些技術亦可以由後處理設備57來實現。
圖10是示出示例性解碼設備112的方塊圖。解碼設備112包括熵解碼單元80、預測處理單元81、逆量化單元86、逆變換處理單元88、求和器90、濾波器單元91和圖片記憶體92。預測處理單元81包括運動補償單元82和訊框內預測處理單元84。在一些實例中,解碼設備112可以執行通常與關於來自圖9的編碼設備104所描述的編碼經過相反的解碼經過。
在解碼過程期間,解碼設備112接收由編碼設備104發送的經編碼的視訊位元串流,該經編碼的視訊位元串流表示經編碼的視訊切片的視訊區塊和相關聯的語法元素。在一些實施例中,解碼設備112可以從編碼設備104接收經編碼的視訊位元串流。在一些實施例中,解碼設備112可以從網路實體79(諸如伺服器、媒體感知網路元素(MANE)、視訊編輯器/拼接器,或被配置為實現上述技術中的一或多個技術的其他此種設備)接收經編碼的視訊位元串流。網路實體79可以包括或者可以不包括編碼設備104。在網路實體79將經編碼的視訊位元串流發送給解碼設備112之前,網路實體79可以實現在本案內容中描述的技術中的一些技術。在一些視訊解碼系統中,網路實體79和解碼設備112可以是單獨設備的部分,而在其他情況下,關於網路實體79所描述的功能可以由包括解碼設備112的相同設備來執行。
解碼設備112的熵解碼單元80對位元串流進行熵解碼以產生量化係數、運動向量和其他語法元素。熵解碼單元80將運動向量和其他語法元素轉發給預測處理單元81。解碼設備112可以接收在視訊切片位準及/或視訊區塊位準的語法元素。熵解碼單元80可以處理和解析在諸如VPS、SPS和PPS的更多參數集合中的固定長度語法元素和可變長度語法元素兩者。
當視訊切片被編碼為經訊框內編碼(I)的切片時,預測處理單元81的訊框內預測處理單元84可以基於用信號通知的訊框內預測模式以及來自當前訊框或圖片的先前解碼的區塊中的資料,來產生用於當前視訊切片的視訊區塊的預測資料。當視訊訊框被編碼為經訊框間編碼(亦即,B、P或GPB)的切片時,預測處理單元81的運動補償單元82基於從熵解碼單元80接收的運動向量以及其他語法元素來產生用於當前視訊切片的視訊區塊的預測區塊。可以從在參考圖片清單內的參考圖片中的一者產生預測區塊。解碼設備112可以基於被儲存在圖片記憶體92中的參考圖片,使用預設建構技術來建構參考訊框列表(列表0和列表1)。
運動補償單元82藉由解析運動向量和其他語法元素來決定用於當前視訊切片的視訊區塊的預測資訊,以及使用該預測資訊來產生用於正在被解碼的當前視訊區塊的預測區塊。例如,運動補償單元82可以使用參數集合中的一或多個語法元素來決定用以對視訊切片的視訊區塊進行編碼的預測模式(例如,訊框內或訊框間預測)、訊框間預測切片類型(例如,B切片、P切片或GPB切片)、用於針對該切片的一或多個參考圖片清單的構造資訊、用於該切片的每個經訊框間編碼的視訊區塊的運動向量、用於該切片的每個經訊框間編碼的視訊區塊的訊框間預測狀態、以及用以對當前視訊切片中的視訊區塊進行解碼的其他資訊。
運動補償單元82亦可以基於內插濾波器來執行內插。運動補償單元82可以使用如在視訊區塊的編碼期間由編碼設備104使用的內插濾波器來計算針對參考區塊的低於整數的圖元的插入的值。在此種情況下,運動補償單元82可以根據所接收的語法元素來決定由編碼設備104使用的內插濾波器,以及可以使用內插濾波器來產生預測區塊。
逆量化單元86對在位元串流中提供以及由熵解碼單元80解碼的經量化的變換係數進行逆量化或解量化。逆量化過程可以包括使用由編碼設備104針對視訊切片之每一者視訊區塊計算出的量化參數來決定量化程度,以及同樣地決定應當被應用的逆量化程度。逆變換處理單元88將逆變換(例如,逆DCT或其他合適的逆變換)、逆整數變換或概念上類似的逆變換過程應用於變換係數,以便在圖元域中產生殘差區塊。
在運動補償單元82基於運動向量和其他語法元素產生用於當前視訊區塊的預測區塊之後,解碼設備112藉由將來自逆變換處理單元88的殘差區塊與由運動補償單元82產生的對應的預測區塊求和,來形成經解碼的視訊區塊。求和器90表示執行此種求和運算的一或多個元件。若需要的話,亦可以使用迴路濾波器(在編碼迴路中或在編碼迴路之後)來使圖元過渡平滑,或者以其他方式改進視訊品質。濾波器單元91意欲表示一或多個迴路濾波器,諸如解區塊濾波器、可適性迴路濾波器(ALF)和取樣可適性偏移(SAO)濾波器。儘管在圖10中將濾波器單元91示為迴路中濾波器,但是在其他配置中,濾波器單元91可以被實現為迴路後濾波器。隨後將給定訊框或圖片中的經解碼的視訊區塊儲存在圖片記憶體92中,圖片記憶體92儲存用於隨後運動補償的參考圖片。圖片記憶體92亦儲存經解碼的視訊,以供稍後在顯示裝置(諸如在圖1中所示的視訊目的地設備122)上呈現。
以此種方式,圖10的解碼設備112表示被配置為執行本文描述的技術中的任何技術(包括上文關於圖8描述的過程)的視訊解碼器的實例。
如本文所使用的,術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存設備、光學儲存設備、以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括資料可以被儲存在其中並且不包括以下各項的非暫態媒體:無線地或者在有線連接上傳播的載波及/或暫態電子信號。非暫態媒體的實例可以包括但不限於:磁碟或磁帶、諸如壓縮光碟(CD)或數位多功能光碟(DVD)的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可以具有被儲存在其上的代碼及/或機器可執行指令,代碼及/或機器可執行指令可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、軟體組件,或者指令、資料結構或程式語句的任何組合。代碼區段可以經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容,來耦合到另一代碼區段或硬體電路。可以經由包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等的任何合適的構件來傳遞、轉發或發送資訊、引數、參數、資料等。
在一些實施例中,電腦可讀儲存設備、媒體和記憶體可以包括包含位元串流等的電纜或無線信號。然而,當提及時,非暫態電腦可讀取儲存媒體明確地排除諸如能量、載波信號、電磁波和信號本身的媒體。
在上文的描述中提供了特定細節,以提供對本文提供的實施例和實例的全面理解。然而,本領域一般技藝人士將理解的是,可以在沒有該等特定細節的情況下實踐該實施例。為瞭解釋清楚,在一些情況下,本文的技術可以被呈現為包括包含如下的功能方塊的單獨的功能方塊,該等功能方塊包括設備、設備元件、在軟體中體現的方法中的步驟或常式,或者硬體和軟體的組合。除了在各圖中所示及/或本文描述的元件之外,亦可以使用額外的元件。例如,電路、系統、網路、過程和其他元件可以以方塊圖形式被示為元件,以便不會在不必要的細節上模糊該實施例。在其他情況下,公知的電路、過程、演算法、結構和技術可以被示為不具有不必要的細節,以便避免模糊該等實施例。
各個實施例在上文可以被描述為過程或方法,該過程或方法被圖示為流程圖、流程示意圖、資料流圖、結構圖或方塊圖。儘管流程圖可以將操作描述為串列的過程,但是該等操作中的許多操作可以並列或併發地執行。另外,可以重新排列操作的順序。過程在其操作完成後被終止,但是可以具有未被包括在圖中的額外步驟。過程可以對應於方法、函數、程序、子常式、副程式等。當過程對應於函數時,其終止可以對應於該函數返回到調用函數或主函數。
根據上述實例的過程和方法可以使用電腦可執行指令來實現,電腦可執行指令被儲存在電腦可讀取媒體中或者以其他方式可從電腦可讀取媒體得到。此種指令可以包括例如指令或資料,該等指令或資料使得通用電腦、專用電腦或處理設備執行或者以其他方式將其配置為執行特定功能或特定的一組功能。可以經由網路存取所使用的電腦資源的部分。電腦可執行指令可以是例如二進位檔案、諸如組合語言的中間格式指令、韌體、原始程式碼等。可以用以儲存指令、所使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、提供有非揮發性記憶體的USB設備、網路儲存設備等。
實現根據該等揭示內容的過程和方法的設備可以包括硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言或其任何組合,以及可以採用各種各樣的形狀因數中的任何一者。當在軟體、韌體、中介軟體或微代碼中實現時,用於執行必要任務的程式碼或代碼區段(例如,電腦程式產品)可以被儲存在電腦可讀或機器可讀取媒體中。處理器可以執行必要任務。形狀因數的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小型形狀因數的個人電腦、個人數位助理、機架式設備、獨立設備等。本文描述的功能亦可以體現在周邊設備或外掛程式卡中。經由另外的實例,此種功能亦可以在單個設備中執行的不同晶片或不同過程之間的電路板上實現。
指令、用於傳達此種指令的媒體、用於執行其的計算資源以及用於支援此種計算資源的其他結構是用於提供在本案內容中描述的功能的示例性構件。
在前面的描述中,參考本案的特定實施例描述了本案的各態樣,但是本領域技藝人士將認識到,本案不限於此。因此,儘管本文已經詳細描述了本案的說明性實施例,但是要理解的是,可以以其他方式不同地體現和採用本發明構思,以及所附的請求項意欲被解釋為包括此種變型,除了受先前技術限制的變型。可以單獨地或聯合地使用上述應用的各個特徵和態樣。此外,在不背離本說明書的更廣泛的精神和範圍的情況下,實施例可以在除了本文描述的環境和應用之外的任何數量的環境和應用中使用。相應地,說明書和附圖被認為是說明性的而不是限制性的。為了說明的目的,以特定順序描述了方法。應當瞭解到的是,在替代實施例中,可以以與所描述的順序不同的順序來執行該等方法。
本領域一般技藝人士將瞭解到的是,在不背離本說明書的範圍的情況下,本文中使用的小於(「<」)和大於(「>」)符號或術語可以分別利用小於或等於(「
Figure 02_image017
」)以及大於或等於(「
Figure 02_image019
」)符號來替換。
在將元件描述為「被配置為」執行某些操作的情況下,此種配置可以例如藉由以下方式來實現:將電子電路或其他硬體設計為執行該操作,將可程式設計電子電路(例如,微處理器或其他合適的電路)程式設計為執行該操作,或其任何組合。
短語「耦合到」代表直接或間接地實體連接到另一元件的任何元件,及/或直接或間接地與另一元件通訊的任何元件(例如,經由有線或無線連接及/或其他合適的通訊介面來連接到另一元件)。
記載集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示該集合中的一個成員或者該集合中的多個成員(以任何組合)滿足該請求項。例如,記載「A和B中的至少一個」的請求項語言意謂A、B,或者A和B。在另一實例中,記載「A、B和C中的至少一個」的請求項語言意謂A、B、C,或者A和B,或者A和C,或者B和C,或者A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」沒有將該集合限制為在該集合中列出的項目。例如,記載「A和B中的至少一個」的請求項語言可以意謂A、B或者A和B,以及可以另外包括未在A和B的集合中列出的項目。
結合本文揭示的實施例描述的各種說明性的邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的此種可互換性,上文已經對各種說明性的元件、方塊、模組、電路和步驟圍繞其功能進行了整體描述。此種功能被實現為硬體還是軟體,取決於特定的應用和被施加在整個系統上的設計約束。本領域技藝人士可以針對每個特定應用以不同的方式來實現所描述的功能,但是此種實現決策不應當被解釋為造成對本案的範圍的背離。
本文描述的技術亦可以在電子硬體、電腦軟體、韌體或其任何組合中實現。此種技術可以在各種各樣的設備中的任何一者中實現,諸如通用電腦、無線通訊設備手機或具有多種用途(包括在無線通訊設備手機和其他設備中的應用)的積體電路設備。被描述為模組或元件的任何特徵可以在積體邏輯設備中一起實現,或者分別作為個別但是可交互動操作的邏輯設備來實現。若在軟體中實現,則該技術可以至少部分地由電腦可讀取資料儲存媒體來實現,電腦可讀取資料儲存媒體包括程式碼,程式碼包括在被執行時執行上述方法中的一或多個方法的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分,電腦程式產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體,諸如隨機存取記憶體(RAM)(諸如同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電子可抹除可程式設計唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體等。另外或替代地,該技術可以至少部分地由以指令或資料結構的形式攜帶或傳送程式碼並且可以由電腦存取、讀取及/或執行的電腦可讀通訊媒體(諸如傳播的信號或波)來實現。
程式碼可以由處理器執行,處理器可以包括一或多個處理器,諸如一或多個數位訊號處理器(DSPs)、通用微處理器、特殊應用積體電路(ASICs)、現場可程式邏輯陣列(FPGAs)或其他等效的積體或個別邏輯電路。此種處理器可以被配置為執行在本案內容中描述的技術中的任何技術。通用處理器可以是微處理器,但是在替代方式中,處理器可以是任何一般的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合,例如,DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核心的結合,或任何其他此種配置。相應地,如本文所使用的術語「處理器」可以代表任何前述結構、前述結構的任何組合,或適於實現本文描述的技術的任何其他結構或裝置。另外,在一些態樣中,可以在被配置用於編碼和解碼的專用軟體模組或硬體模組內提供本文描述的功能,或者將其合併到組合視訊編碼器-解碼器(CODEC)中。
35:分割單元 41:預測處理單元 42:運動估計單元 44:運動補償單元 46:訊框內預測處理單元 50:求和器 52:變換處理單元 54:量化單元 56:熵編碼單元 57:後處理設備 58:逆量化單元 60:逆變換處理單元 62:求和器 63:濾波器單元 64:圖片記憶體 79:網路實體 80:熵解碼單元 81:預測處理單元 82:運動補償單元 84:訊框內預測處理單元 86:逆量化單元 88:逆變換處理單元 90:求和器 91:濾波器單元 92:圖片記憶體 100:系統 102:視訊源 104:編碼設備 106:編碼器引擎 108:儲存單元 110:輸出 112:解碼設備 114:輸入 116:解碼器引擎 118:儲存單元 120:通訊鏈路 122:視訊目的地設備 200:調色板 202:調色板條目 204:調色板條目 206:調色板條目 208:調色板條目 210:逸出符號 220:區塊 222:位置 224:位置 226:位置 228:位置 230:位置 300:圖片 302:調色板編碼單元(PCU) 304:PCU 306:區塊 308:區塊 310:調色板 312:調色板條目 314:調色板條目 316:調色板條目 320:調色板 322:調色板條目 324:調色板條目 326:調色板條目 330:向量 400:調色板預測器 402:調色板條目 404:調色板條目 406:調色板條目 408:調色板條目 410:重用向量 420:調色板 422:調色板條目 424:調色板條目 426:調色板條目 428:調色板條目 430:調色板條目 440:所更新的調色板預測器 442:調色板條目 450:調色板條目 500:調色板預測器 502:調色板條目 504:調色板條目 506:調色板條目 508:調色板條目 510:調色板條目 520:所更新的調色板預測器 600:所更新的調色板預測器 602:亮度調色板條目 604:亮度調色板條目 700:所更新的調色板預測器 702:條目 704:條目 706:條目 708:條目 800:過程 802:操作 804:操作 806:操作 808:操作
為了描述可以獲得本案內容的各種優勢和特徵的方式,經由參考在附圖中示出的其特定實施例,可以提供對上述原理的更加具體的描述。要理解的是,該等附圖僅圖示了本案內容的示例性實施例,以及不被認為是對其範圍進行限制,經由使用附圖,利用額外的特殊性和細節來描述和解釋本文的原理,其中:
圖1是根據一些實例示出示例性編碼設備和示例性解碼設備的方塊圖;
圖2是根據一些實例示出以調色板模式編碼的示例性區塊的方塊圖;
圖3是根據一些實例示出以調色板模式編碼的示例性圖片的方塊圖;
圖4是根據一些實例示出示例性調色板預測器更新的方塊圖;
圖5至7是根據一些實例示出用於在調色板預測器更新之後針對不同的圖像分量維護相同的調色板預測器尺寸的示例性技術的圖;
圖8是根據一些實例示出用於管理調色板預測器更新的過程的示例性的流程圖;
圖9是根據一些實例示出示例性視訊編碼設備的方塊圖;及
圖10是根據一些實例示出示例性視訊解碼設備的方塊圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
500:調色板預測器
502:調色板條目
504:調色板條目
506:調色板條目
700:所更新的調色板預測器
702:條目
704:條目
706:條目
708:條目

Claims (30)

  1. 一種對視訊資料進行編碼的方法,該方法包括以下步驟: 決定一圖片的一經單樹編碼的切片的一當前調色板編碼區塊是根據一局部雙樹進行編碼的; 在對與該當前調色板編碼區塊相關聯的一調色板預測器的一更新之後,決定針對該當前調色板編碼區塊的一第一圖像分量的調色板預測器條目的一第一數量以及針對該當前調色板編碼區塊的一第二圖像分量的調色板預測器條目的一第二數量; 決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量;及 基於該決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量,來將該所更新的調色板預測器修改為包括針對該第一圖像分量和該第二圖像分量的一相同數量的調色板預測器條目。
  2. 如請求項1所述之方法,其中修改該所更新的調色板預測器之步驟包括以下步驟: 將針對該第二圖像分量的一或多個調色板預測器條目添加到該所更新的調色板預測器中,該一或多個調色板預測器條目包括針對該第二圖像分量來計算的一或多個分量值。
  3. 如請求項2所述之方法,進一步包括以下步驟: 藉由將一第一整數左移位一第二整數來計算針對該第二圖像分量的該一或多個分量值,該第二整數包括針對來自該當前調色板編碼區塊的一取樣的一位元深度值減去一第三整數的一結果。
  4. 如請求項3所述之方法,其中該第一整數和該第三整數中的每一者等於1,並且其中將該第一整數左移位該第二整數包括取2的指數次冪,該指數包括該第二整數。
  5. 如請求項1所述之方法,進一步包括以下步驟: 在修改該所更新的調色板預測器之前,決定與該當前調色板編碼區塊相關聯的該局部雙樹對應於該第一圖像分量。
  6. 如請求項1所述之方法,其中該第一圖像分量包括來自一第一色彩通道的色彩分量,並且其中該第二圖像分量包括來自與該第一色彩通道不同的一第二色彩通道的色彩分量。
  7. 如請求項1所述之方法,其中修改該所更新的調色板預測器之步驟包括以下步驟:修剪該所更新的調色板預測器以去除針對該第一圖像分量的一或多個調色板預測器條目。
  8. 如請求項1所述之方法,進一步包括以下步驟: 決定該經單樹編碼的切片的一不同的調色板編碼區塊是根據一相應的局部雙樹進行編碼的;及 基於該決定該不同的調色板編碼區塊是根據該相應的局部雙樹進行編碼的,來跳過針對該不同的調色板編碼區塊的一調色板預測器更新。
  9. 如請求項1所述之方法,其中該調色板預測器包括一聯合調色板預測器,該聯合調色板預測器包括針對該第一圖像分量的該第一數量的調色板預測器條目以及針對該第二圖像分量的該第二數量的調色板預測器條目。
  10. 如請求項1所述之方法,其中該調色板預測器包括與該第一圖像分量相關聯的一第一調色板預測器以及與該第二圖像分量相關聯的一第二調色板預測器。
  11. 如請求項1所述之方法,進一步包括以下步驟: 基於與該當前調色板編碼區塊相關聯的一當前調色板中的值的一集合,來產生該調色板預測器。
  12. 如請求項11所述之方法,進一步包括以下步驟: 基於來自一先前調色板預測器的一或多個重用值以及與該當前調色板編碼區塊相關聯的一或多個值來決定該當前調色板。
  13. 如請求項12所述之方法,其中該一或多個重用值是基於用信號通知的包括重用指示符的資訊來決定的。
  14. 一種裝置,包括: 記憶體;及 耦合到該記憶體的一或多個處理器,該一或多個處理器被配置為: 決定一圖片的一經單樹編碼的切片的一當前調色板編碼區塊是根據一局部雙樹進行編碼的; 在對與該當前調色板編碼區塊相關聯的一調色板預測器的一更新之後,決定針對該當前調色板編碼區塊的一第一圖像分量的調色板預測器條目的一第一數量以及針對該當前調色板編碼區塊的一第二圖像分量的調色板預測器條目的一第二數量; 決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量;及 基於該決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量,來將該所更新的調色板預測器修改為包括針對該第一圖像分量和該第二圖像分量的一相同數量的調色板預測器條目。
  15. 如請求項14所述之裝置,其中修改該所更新的調色板預測器之步驟包括以下步驟: 將針對該第二圖像分量的一或多個調色板預測器條目添加到該所更新的調色板預測器中,該一或多個調色板預測器條目包括針對該第二圖像分量來計算的一或多個分量值。
  16. 如請求項15所述之裝置,該一或多個處理器被配置為: 藉由將一第一整數左移位一第二整數來計算針對該第二圖像分量的該一或多個分量值,該第二整數包括針對來自該當前調色板編碼區塊的一取樣的一位元深度值減去一第三整數的一結果。
  17. 如請求項16所述之裝置,其中該第一整數和該第三整數中的每一者等於1,並且其中將該第一整數左移位該第二整數包括取2的指數次冪,該指數包括該第二整數。
  18. 如請求項14所述之裝置,該一或多個處理器被配置為: 在修改該所更新的調色板預測器之前,決定與該當前調色板編碼區塊相關聯的該局部雙樹對應於該第一圖像分量。
  19. 如請求項14所述之裝置,其中該第一圖像分量包括來自一第一色彩通道的色彩分量,並且其中該第二圖像分量包括來自與該第一色彩通道不同的一第二色彩通道的色彩分量。
  20. 如請求項14所述之裝置,其中修改該所更新的調色板預測器之步驟包括以下步驟:修剪該所更新的調色板預測器以去除針對該第一圖像分量的一或多個調色板預測器條目。
  21. 如請求項14所述之裝置,該一或多個處理器被配置為: 決定該經單樹編碼的切片的一不同的調色板編碼區塊是根據一相應的局部雙樹進行編碼的;及 基於該決定該不同的調色板編碼區塊是根據該相應的局部雙樹進行編碼的,來跳過針對該不同的調色板編碼區塊的一調色板預測器更新。
  22. 如請求項14所述之裝置,其中該調色板預測器包括一聯合調色板預測器,該聯合調色板預測器包括針對該第一圖像分量的該第一數量的調色板預測器條目以及針對該第二圖像分量的該第二數量的調色板預測器條目。
  23. 如請求項14所述之裝置,其中該調色板預測器包括與該第一圖像分量相關聯的一第一調色板預測器以及與該第二圖像分量相關聯的一第二調色板預測器。
  24. 如請求項14所述之裝置,該一或多個處理器被配置為: 基於與該當前調色板編碼區塊相關聯的一當前調色板中的值的一集合,來產生該調色板預測器。
  25. 如請求項24所述之裝置,該一或多個處理器被配置為: 基於來自一先前調色板預測器的一或多個重用值以及與該當前調色板編碼區塊相關聯的一或多個值來決定該當前調色板。
  26. 如請求項25所述之裝置,其中該一或多個重用值是基於用信號通知的包括重用指示符的資訊來決定的。
  27. 如請求項14所述之裝置,其中該裝置是一行動設備。
  28. 如請求項14所述之裝置,其中該裝置包括一照相機。
  29. 至少一種非暫態電腦可讀取媒體,其具有儲存在其上的指令,該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作: 決定一圖片的一經單樹編碼的切片的一當前調色板編碼區塊是根據一局部雙樹進行編碼的; 在對與該當前調色板編碼區塊相關聯的一調色板預測器的一更新之後,決定針對該當前調色板編碼區塊的一第一圖像分量的調色板預測器條目的一第一數量以及針對該當前調色板編碼區塊的一第二圖像分量的一調色板預測器條目的一第二數量; 決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量;及 基於該決定調色板預測器條目的該第一數量大於調色板預測器條目的該第二數量,來將該所更新的調色板預測器修改為包括針對該第一圖像分量和該第二圖像分量的一相同數量的調色板預測器條目。
  30. 如請求項29所述之至少一種非暫態電腦可讀取媒體,其中修改該所更新的調色板預測器包括: 將針對該第二圖像分量的一或多個調色板預測器條目添加到該所更新的調色板預測器中,該一或多個調色板預測器條目包括針對該第二圖像分量來計算的一或多個分量值。
TW109127537A 2019-08-13 2020-08-13 針對局部雙樹的調色板預測器更新 TW202121899A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962886288P 2019-08-13 2019-08-13
US62/886,288 2019-08-13
US16/991,448 2020-08-12
US16/991,448 US11206413B2 (en) 2019-08-13 2020-08-12 Palette predictor updates for local dual trees

Publications (1)

Publication Number Publication Date
TW202121899A true TW202121899A (zh) 2021-06-01

Family

ID=74568454

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109127537A TW202121899A (zh) 2019-08-13 2020-08-13 針對局部雙樹的調色板預測器更新

Country Status (5)

Country Link
US (1) US11206413B2 (zh)
EP (1) EP4014496A1 (zh)
CN (1) CN114128277B (zh)
TW (1) TW202121899A (zh)
WO (1) WO2021030570A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019201649A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
EP4000269A4 (en) * 2019-08-15 2022-09-07 ByteDance Inc. PALLET MODE WITH DIFFERENT DIVISION STRUCTURES
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
WO2021032113A1 (en) * 2019-08-19 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Updating for counter-based intra prediction mode
KR102624438B1 (ko) 2019-09-19 2024-01-15 바이트댄스 아이엔씨 팔레트 모드에 대한 양자화 파라미터 도출
JP7362910B2 (ja) * 2019-09-23 2023-10-17 エルジー エレクトロニクス インコーポレイティド パレットモードを用いた画像符号化/復号化方法、装置、及びビットストリームの伝送方法
TWI774075B (zh) * 2019-09-29 2022-08-11 寰發股份有限公司 視頻編解碼之具有不同色度格式的多假設預測模式之方法和裝置
KR20220101729A (ko) 2019-12-03 2022-07-19 알리바바 그룹 홀딩 리미티드 팔레트 모드를 사용하기 위한 비디오 처리 방법 및 장치
CN115428455A (zh) * 2020-03-31 2022-12-02 阿里巴巴集团控股有限公司 调色板预测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654777B2 (en) * 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US10264285B2 (en) * 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10038915B2 (en) * 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
US10291940B2 (en) * 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
US10382749B2 (en) * 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
US10477204B2 (en) * 2014-06-20 2019-11-12 Sharp Kabushiki Kaisha Harmonized palette coding
US10212434B2 (en) * 2015-01-30 2019-02-19 Qualcomm Incorporated Palette entries coding in video coding
ES2963621T3 (es) * 2018-08-30 2024-04-01 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes que usan una codificación de paleta
US11025905B2 (en) * 2018-09-14 2021-06-01 Tencent America LLC Method and device for decoding with palette mode
US11277618B2 (en) * 2019-06-21 2022-03-15 Qualcomm Incorporated Increasing decoding throughput of intra-coded blocks

Also Published As

Publication number Publication date
WO2021030570A1 (en) 2021-02-18
US11206413B2 (en) 2021-12-21
CN114128277B (zh) 2022-12-13
CN114128277A (zh) 2022-03-01
US20210051336A1 (en) 2021-02-18
EP4014496A1 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
TWI724008B (zh) 在視訊寫碼中限制雙向預測之方法及系統
JP6538727B2 (ja) パラメータセットにおいてレイヤセットのための情報をシグナリングするためのシステムおよび方法
CN114128277B (zh) 针对局部双树的调色板预测器更新
US11190758B2 (en) Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation
JP2019517205A (ja) ビデオ用のコンテンツカラーボリュームメッセージを生成および処理するための方法およびシステム
TW201926991A (zh) 色度量化參數偏移
JP2019515572A (ja) ビデオピクチャのための領域ネスティングメッセージを生成するための方法およびシステム
KR20160071415A (ko) 다중-계층 비디오 코딩에서의 3차원 룩업 테이블 기반 색역 스케일러빌리티
TW201735608A (zh) 用於產生對視訊之顏色再映射資訊之補充增強資訊訊息之方法及系統
KR20220009946A (ko) 적응적 루프 필터들에 대한 클리핑 값 계산의 단순화
CN115398920A (zh) 用于颜色格式支持的自适应环路滤波
TW202203650A (zh) 解碼圖片緩衝器(dpb)操作和存取單元定界符(aud)
TW202110180A (zh) 跨逐線掃描切片之適應性迴圈濾波
TW202341731A (zh) 自我調整膠片顆粒合成
TW202236848A (zh) 使用增強內插濾波器的訊框內預測
TW202316855A (zh) 梯度長條圖的產生
TW202312739A (zh) 綠色中繼資料訊號傳遞
WO2024011065A1 (en) Non-separable transform for inter-coded blocks