TW201603562A - 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾 - Google Patents

決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾 Download PDF

Info

Publication number
TW201603562A
TW201603562A TW104109836A TW104109836A TW201603562A TW 201603562 A TW201603562 A TW 201603562A TW 104109836 A TW104109836 A TW 104109836A TW 104109836 A TW104109836 A TW 104109836A TW 201603562 A TW201603562 A TW 201603562A
Authority
TW
Taiwan
Prior art keywords
palette
block
video
value
units
Prior art date
Application number
TW104109836A
Other languages
English (en)
Other versions
TWI666918B (zh
Inventor
鄒峰
溥偉
瑞珍 雷克斯曼 喬許
羅傑爾斯 喬爾 索爾
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201603562A publication Critical patent/TW201603562A/zh
Application granted granted Critical
Publication of TWI666918B publication Critical patent/TWI666918B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Abstract

本發明描述用於基於調色板之寫碼的技術。在基於調色板之寫碼中，一視訊寫碼器可形成作為一色彩表的一調色板以用於表示一給定區塊之視訊資料。基於調色板之寫碼可適用於寫碼具有相對較小數目之色彩的視訊資料之區塊。除寫碼該給定區塊之實際像素值或其殘餘之外，該視訊寫碼器可寫碼該等像素中之一或多者之索引值。該等索引值將該等像素映射至表示該等像素之該等色彩的該調色板中的單元。本發明描述用於決定是否在一視訊編碼器或一視訊解碼器處停用調色板寫碼區塊之過濾(諸如解區塊過濾或樣本適應性偏移(SAO)過濾)的技術。本發明亦描述用於基於率失真成本在該視訊編碼器處修改一調色板之一調色板大小及調色板單元的技術。

Description

決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
本申請案主張2014年3月26日申請之美國臨時申請案第61/970,838號之權益，該申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.188/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減 少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼框間寫碼區塊，且殘餘資料指示經寫碼區塊與預測性區塊之間的差異。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘係數，隨後可對殘餘係數進行量化。最初配置成二維陣列的經量化係數可經掃描以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
可藉由(例如自多個視角)編碼視圖來產生多視圖寫碼位元串流。已經開發利用多視圖寫碼態樣的一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左眼及右眼視圖以支援3D視訊。替代地，一些3D視訊寫碼處理程序可應用所謂的多視圖加深度寫碼(multiview plus depth)。在多視圖加深度寫碼中，3D視訊位元串流可不僅含有紋理視圖分量而且含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
大體而言，本發明描述用於基於調色板之視訊寫碼的技術。在基於調色板之寫碼中，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可形成作為色彩表的所謂的「調色板」以用於表示特定區域(例如，給 定區塊)之視訊資料。基於調色板之寫碼可尤其適用於寫碼具有相對較小數目之色彩的視訊資料之區域。除寫碼給定區塊之實際像素值或其殘餘之外，視訊寫碼器可寫碼像素中之一或多者之索引值。該等索引值將像素映射至表示像素之色彩的調色板中的單元。調色板可經顯式編碼及發送至解碼器，自先前調色板單元預測，或其組合。在本發明中，描述用於決定是否在視訊編碼器或視訊解碼器處停用調色板寫碼區塊之過濾(諸如解區塊過濾或樣本適應性偏移(SAO)過濾)的技術。另外，描述用於至少部分基於率失真成本在視訊編碼器處修改調色板之調色板大小及調色板單元的技術。
在一個實例中，本發明係關於一種處理視訊資料的方法，該方法包含：決定視訊資料之區塊為調色板寫碼區塊；決定用於區塊的包括指示一或多個各別色彩值之一或多個調色板單元的調色板；決定該區塊之一或多個像素的索引值，該等索引值中之每一者對應於指示區塊之像素中之一者之色彩值的調色板單元中之一者；基於區塊之調色板及索引值重建構視訊資料之區塊；及基於區塊為調色板寫碼區塊決定停用重建構區塊之過濾。
在另一實例中，本發明係關於一種視訊處理器件，其包含：經組態以儲存視訊資料的記憶體；及與該記憶體通信的一或多個處理器。該一或多個處理器經組態以：決定視訊資料之區塊為調色板寫碼區塊；決定用於區塊的包括指示一或多個各別色彩值之一或多個調色板單元的調色板；決定區塊之一或多個像素的索引值，該等索引值中之每一者對應於指示區塊之像素中之一者之色彩值的調色板單元中之一者；基於區塊之調色板及索引值重建構視訊資料之區塊；及基於區塊為調色板寫碼區塊決定停用重建構區塊之過濾。
在又一實例中，本發明係關於一種視訊處理器件，其包含：用於決定視訊資料之區塊為調色板寫碼區塊的構件；用於決定用於區塊 的包括指示一或多個各別色彩值之一或多個調色板單元的調色板的構件；用於決定區塊之一或多個像素的索引值的構件，該等索引值中之每一者對應於指示區塊之像素中之一者之色彩值的調色板單元中之一者；用於基於區塊之調色板及索引值重建構視訊資料之區塊的構件；及用於基於區塊為調色板寫碼區塊決定停用重建構區塊之過濾的構件。
在一額外實例中，本發明係關於一種電腦可讀媒體，其上儲存有用於處理視訊資料之指令，該等指令在執行時引起一或多個處理器執行以下操作：決定視訊資料之區塊為調色板寫碼區塊；決定用於區塊的包括指示一或多個各別色彩值之一或多個調色板單元的調色板；決定區塊之一或多個像素的索引值，該等索引值中之每一者對應於指示區塊之該等像素中之一者之色彩值的調色板單元中之一者；基於區塊之調色板及索引值重建構視訊資料之區塊；及基於區塊為調色板寫碼區塊決定停用重建構區塊之過濾。
在隨附圖式及以下描述中闡述本發明之一或多個實例之細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
98‧‧‧視訊資料記憶體
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧逆量化單元
110‧‧‧逆變換處理單元
112‧‧‧重建構單元
114‧‧‧過濾器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧基於調色板之編碼單元
126‧‧‧框內預測處理單元
148‧‧‧視訊資料記憶體
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧逆量化單元
156‧‧‧逆變換處理單元
158‧‧‧重建構單元
160‧‧‧過濾器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧基於調色板之解碼單元
166‧‧‧框內預測處理單元
178‧‧‧圖像
180‧‧‧第一寫碼單元
184‧‧‧第一調色板
188‧‧‧第二寫碼單元
192‧‧‧第二調色板
196‧‧‧框內區塊
200‧‧‧框間區塊
202‧‧‧調色板單元
204‧‧‧調色板單元
206‧‧‧調色板單元
208‧‧‧調色板單元
210‧‧‧調色板單元
212‧‧‧調色板單元
216‧‧‧向量
220‧‧‧步驟
222‧‧‧步驟
224‧‧‧步驟
226‧‧‧步驟
228‧‧‧步驟
230‧‧‧步驟
232‧‧‧步驟
234‧‧‧步驟
236‧‧‧步驟
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器的方塊圖。
圖4為說明符合本發明之技術的決定用於基於調色板之視訊寫碼之調色板單元的實例的概念圖。
圖5為說明根據本發明之技術決定調色板寫碼區塊之過濾的視訊 寫碼器之實例操作的流程圖。
圖6為說明根據本發明之技術決定用於視訊資料之調色板寫碼區塊之調色板的視訊編碼器之實例操作的流程圖。
本發明包括用於視訊寫碼及壓縮之技術。特定而言，本發明描述以基於調色板之寫碼支援視訊內容(尤其是螢幕內容)之寫碼的技術。本發明描述基於調色板之寫碼的多個技術態樣，包括用於決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾的技術。
在傳統視訊寫碼中，假定影像為連續色調的且在空間上平滑的。基於此等假定，已開發各種工具，諸如基於區塊之變換、過濾等，且此等工具已展示針對寫碼自然內容視訊之良好效能。然而，在如遠端桌上型、協同工作且無線之顯示器之應用中，電腦產生之螢幕內容(例如，文字或電腦圖形)可為待壓縮的主要內容。此類型之內容傾向於具有離散色調且以清晰線及高對比度物件邊界為特徵。連續色調及平滑度之假定可不再適用於螢幕內容，且因此傳統視訊寫碼技術可不為壓縮包括螢幕內容之視訊資料的有效方式。
本發明描述基於調色板之寫碼，其可特別適合於螢幕產生之內容寫碼。舉例而言，假定視訊資料之特定區域具有相對較少數目之色彩，則視訊寫碼器(例如，視訊編碼器或視訊解碼器)可形成所謂的「調色板」以表示特定區域之視訊資料。調色板可表述為表示特定區域(例如，給定區塊)之視訊資料的色彩表。舉例而言，調色板可包括給定區塊中的最主要色彩(亦即，像素值)。在一些情況下，最主要色彩可包括在區塊內最頻繁出現的一或多個色彩。另外，在一些情況下，視訊寫碼器可應用臨限值來決定是否包括一色彩來作為區塊中的最主要色彩中之一者。根據基於調色板之寫碼之各種態樣，視訊寫碼 器可寫碼指示當前區塊之像素中之一或多者的索引值，而非寫碼當前區塊之實際像素值或其殘餘值。在基於調色板之寫碼的上下文中，索引值指示用於表示當前區塊之個別像素之色彩的調色板中的各別單元。
舉例而言，視訊編碼器可藉由決定用於區塊的調色板、定位調色板中表示區塊之像素中之一或多者之色彩的單元及用指示調色板中的單元的索引值編碼區塊來編碼視訊資料之區塊。針對映射至調色板中之單元的具有色彩值的區塊之彼等像素，視訊編碼器可針對各別像素編碼單元之索引值。針對不映射至調色板中之單元的具有色彩值的區塊之彼等像素，視訊編碼器可針對像素編碼特定索引且編碼實際像素值或其殘餘值(或其量化版本)。此等像素可被稱作「逸出像素」。 在一些實例中，視訊編碼器可在編碼位元串流中用信號發送調色板以及索引值及任何逸出像素。相反，視訊解碼器可自經編碼位元串流獲得用於區塊的調色板以及區塊之像素中之一或多者之索引值及區塊之任何逸出像素之像素值。視訊解碼器可將索引值映射至調色板之單元且解碼逸出像素以重建構區塊之像素值。
用於視訊資料之基於調色板之寫碼的技術可與一或多個其他寫碼技術(諸如用於框間或框內預測性寫碼之技術)一起使用。舉例而言，如下文更詳細描述，視訊編碼器或視訊解碼器或組合之編碼器-解碼器(編解碼器)可經組態以執行框間及框內預測性寫碼以及基於調色板之寫碼。
在一些實例中，基於調色板之寫碼技術可經組態以與一或多個視訊寫碼標準一起使用。舉例而言，高效率視訊寫碼(HEVC)為由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發的新視訊寫碼標準。最近的HEVC文字說明書草案描述於Bross等人的「High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS & Last Call)」(ITU-T SG16 WP 3及ISO/IEC JCT 1/SC 29/WG 11之JCT-VC，第12次會議：Geneva,CH,2013年1月14至23日，JCTVC-L1003_v34(「HEVC草案10」))，其可自：http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。定案之HEVC標準文件於2013年4月由國際電信聯合會(ITU)之電信標準化部門公開為「ITU-T H.265,SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video-High efficiency video coding」。
關於HEVC構架，作為一實例，基於調色板之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的PU模式。因此，在CU模式之上下文中描述之以下所有揭示之處理程序可另外或替代地適用於PU。然而，不應認為此等基於HEVC之實例約束或限制本文中所描述的基於調色板之寫碼技術，因為此等技術可適用於獨立地或作為其他現有或尚待開發系統/標準之一部分而工作。在此等情況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
基於調色板之寫碼之基本理念為，針對每一CU，導出在當前CU中包括最主要色彩(亦即，像素值)的調色板。調色板之調色板大小及調色板單元可自視訊編碼器傳輸至視訊解碼器。可分別使用用於一或多個相鄰CU(例如，上方及/或左方寫碼CU)之調色板之大小及單元直接寫碼或預測性寫碼該調色板之調色板大小及單元。隨後可根據某一掃描次序基於調色板編碼CU之像素。針對CU中的每一像素位置，可傳輸旗標以指示該像素之色彩是否包括在調色板中。針對映射至調色板中之單元的彼等像素，可針對CU中的給定像素位置用信號發送與彼單元相關聯之調色板索引。針對未映射至調色板中之單元的具有色 彩值的彼等像素(亦即，逸出像素)，可將特殊索引指派給像素且可針對CU中的給定像素位置傳輸實際像素值或其殘餘值(或其量化版本)。 可使用任何現有熵寫碼法(諸如固定長度寫碼、一元寫碼等)來寫碼逸出像素。
在基於調色板的視訊寫碼中，視訊寫碼器(例如，視訊編碼器或視訊解碼器)導出用於待寫碼之給定視訊區塊的調色板。如上文所論述，導出調色板以在給定區塊中包括最主要色彩或像素值。在一些實例中，為了決定最主要色彩，可使用直方圖來將給定區塊之像素聚類至不同群組中。可將使用適當演算法導出調色板考慮為基於調色板之寫碼中的關鍵程序中之一者。本發明之技術係關於用於基於調色板之寫碼的調色板之導出的改良。
可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/16_Sanjose/wg11/JCTVC-P0035-v1.zip獲得的Guo等人之「RCE4：Summary report of HEVC Range Extensions Core Experiments 4(RCE4)on palette coding for screen content」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC)，第16次會議：San José,US,2014年1月9至17日，JCTVC-P0035)(下文稱「JCTVC-P0035」)描述基於調色板之寫碼之兩種方法，其據報告達成顯著Bjontegaard失真率(BD率)降低，尤其對於螢幕內容是如此。在下文中簡要概述該兩種方法。
在可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/16_SanJose/wg11/JCTVC-P0108-v1.zip獲得的Guo等人之「RCE4：Test 1.Major-color-based screen content coding」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之JCT-VC，第16次會議：San José,US,2014年1月9至17日，JCTVC-P0108)(下文稱「JCTVC-P0108」)中更詳細描述的第一方法中，使用基於直方圖之演算法來分類待寫碼之CU之像素。特定而言，選擇直方圖中的最高的N個峰值作為CU之主要色彩。接近主要色 彩。接近主要色彩中之一者的像素值可經量化至主要色彩。將不屬於任何主要色彩的像素考慮為逸出像素，其亦在寫碼之前經量化。針對無損寫碼，不使用量化。
根據第一方法，藉由使用分類，CU之像素可轉換成色彩索引。 對主要色彩之數目及值進行寫碼，且隨後對色彩索引進行寫碼。針對CU之每一像素線，用信號發送旗標以指示寫碼模式。存在三種模式：水平模式、垂直模式及普通模式。若模式為水平模式，則CU之整個像素線共用同一色彩索引，且傳輸每一像素線之色彩索引。若模式為垂直模式，則整個像素線與上方像素線相同。在此情況下，由於當前像素線複製上方像素線之色彩索引，因此不傳輸任何事物(例如，不在經編碼位元串流中用信號發送任何事物)。若模式為普通模式，針對每一像素位置用信號發送旗標以指示其是否與左方像素及上方像素中之一者相同。若當前像素不同於左方像素及上方像素，則傳輸當前像素之索引。另外，若當前像素為逸出像素，則傳輸像素值。
在可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/16_SanJose/wg11/JCTVC-P0198-v3.zip獲得的Guo等人之「RCE4：Results of Test 2 on Palette Mode for Screen Content Coding」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之JCT-VC，第16次會議：San José,US,2014年1月9至17日，JCTVC-P0198)(下文簡稱「JCTVC-P0108」)中更詳細描述的第二方法中，引入基於調色板之視訊寫碼作為CU模式。第二方法之編碼處理程序首先包括當前CU之調色板之傳輸。逐單元預測方案用於基於左方CU(亦即，與當前在左方之當前CU相鄰的CU)之調色板來編碼當前調色板。此後，傳輸調色板之未經預測單元。
第二方法之編碼處理程序亦包括當前CU之像素值之傳輸。使用以下三種模式以光柵掃描次序來編碼當前CU中的像素。在「執行模式」中，首先用信號發送調色板索引，繼之以長度為M之 「palette_run」。以下M個調色板索引與用信號發送之調色板索引相同。在「複製上一模式」時，傳輸長度為N之值「copy_run」以指示以下N個調色板索引各自與上方像素線中的各別調色板索引相同。在「像素模式」中，首先傳輸預測旗標。等於1之預測旗標指示使用重建構頂部相鄰像素作為預測因子來傳輸當前像素值之預測殘餘。若預測旗標等於0，則在無需預測之情況下傳輸當前像素值。
本發明之技術係關於用於基於調色板之寫碼的調色板之導出的改良。更具體而言，本發明之技術包括在視訊編碼器處修改調色板之調色板大小及調色板單元，及決定是否在視訊編碼器或視訊解碼器處停用調色板寫碼區塊之過濾。
在一些實例中，在使用JCTVC-P0108中描述的聚類方法針對當前區塊決定調色板大小及調色板單元後，本發明之技術使得視訊編碼器能夠根據率失真成本適應性地決定調色板大小及改變調色板單元。以此方式，該等技術使得能夠修改最初藉由聚類方法針對調色板決定之調色板大小及調色板單元。舉例而言，該等技術包括：決定是保留還是移除調色板之給定索引值，決定是否將給定索引值合併至相鄰索引值中，及改進經計算之調色板單元。儘管本發明主要描述了由視訊編碼器執行的調色板大小及調色板單元之修改技術，但在其他實例中，調色板修改技術亦可由視訊解碼器執行。在彼情況下，例如，視訊解碼器可根據本發明之技術單獨導出及修改調色板或可修改由視訊編碼器用信號發送之調色板。
另外，此等技術使得視訊編碼器及視訊解碼器能夠停用調色板寫碼區塊之過濾(諸如解區塊過濾或樣本適應性偏移(SAO)過濾)。習知地，與框間寫碼區塊同樣地處理調色板寫碼區塊，因而，在將重建構區塊儲存於經解碼圖像緩衝器中或輸出以供顯示之前對其自動應用過濾。根據所揭示之技術，視訊編碼器及視訊解碼器可決定重建構區 塊為調色板寫碼區塊，且基於彼決定在儲存或輸出區塊之前停用過濾。將過濾應用於調色板寫碼區塊可不以與框間寫碼區塊相同的方式產生改良之輸出(例如，假定相對離散色調通常與調色板寫碼相關聯)。因此，本發明之技術可用於在對品質無影響(或具有相對較小影響)之情況下降低調色板寫碼區塊之寫碼複雜性。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10的方塊圖。如本文所使用，術語「視訊寫碼器」一般指代視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般指代視訊編碼或視訊解碼。視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行根據本發明中描述之各種實例的用於基於調色板之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以使用基於調色板之寫碼抑或非基於調色板之寫碼來選擇性地寫碼視訊資料之不同區塊(諸如HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指代各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如由HEVC標準指定之各種寫碼模式。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12所產生的經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、無線通信器件、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如所謂的「智慧型」電話)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。 頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，頻道16可包含使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且可將調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生的經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取式資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在又一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取儲存於檔案伺服器或其它中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料及將經編碼視訊資料傳輸至目的地器件14之類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接 (例如，DSL、纜線數據機等)、或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術並不限於無線應用或設定。該等技術可適用於(例如)經由網際網路支援多種多媒體應用(諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)之視訊寫碼、用於儲存於資料儲存媒體上之視訊資料之編碼、儲存於資料儲存媒體上之視訊資料之解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸，以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅僅為一實例，且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，自經由網路串流之本端記憶體或類似者擷取資料。視訊編碼器件可編碼資料及將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料及解碼資料。在許多實例中，由並不彼此通信而是僅僅將資料編碼至記憶體及/或自記憶體擷取資料且解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括視訊擷取器件(例如，視訊攝影機)、含有先前所擷取之視訊資料的視訊檔案庫、用以自視訊內容提供者接收視訊資料的視訊饋入介面及/或用於產生視訊資料之電腦圖形系統，或視訊資料之此等來源之組合。
視訊編碼器20可編碼視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上，以供目的地器件14稍後存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件外部。大體而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
本發明可大體上係關於視訊編碼器20「用信息發送」或「傳輸」某些資訊至另一器件(諸如視訊解碼器30)。術語「用信息發送」或「傳輸」可大體上指代用於解碼壓縮視訊資料之語法元素及/或其他資料的通信。可即時或近即時地發生此通信。替代地，可在一時間跨度內發生此通信，諸如可於在編碼時間處將語法元素以經編碼位元串流儲存至電腦可讀儲存媒體時發生，該等語法元素隨後可由解碼器件在儲存至此媒體之後的任何時間進行擷取。因此，雖然視訊解碼器30可被稱作「接收」某些資訊，但資訊之接收未必即時或近即時發生且可在儲存之後的某一時間處自媒體擷取。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地在軟體中實施技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可使用一或多個處理器在硬體中執行該等指令以執行本發明之技術。可將前述內容(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器及解碼器中之任一者可在各別器件(諸如無線通信器件)中整合為組合編碼器/解碼器(編解碼器)之一部分。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準(諸如上文提及之HEVC標準且描述於HEVC標準中)來操作。除基本HEVC標準以外，正持續努力產生HEVC之可擴充視訊寫碼、多視圖視訊寫碼及3D寫碼擴展。另外，可提供基於調色板之寫碼模式(例如，如本發明中所描述)以用於HEVC標準之擴展。在一些實例中，本發明中針對基於調色板之寫碼而描述的技術可適用於經組態以根據其他視訊寫碼標準(諸如ITU-T-H.188/AVC標準或未來標準)操作的編碼器及解碼器。因此，出於實例之目的而描述用於HEVC編解碼器中之寫碼單元(CU)或預測單元(PU)之寫碼的基於調色板之寫碼模式的應用。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。一圖像可包括三個樣本陣列，其標示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb彩度樣本之二維陣列。SCr為Cr彩度樣本之二維陣列。彩度樣本在本文中亦可被稱作「色度」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)集合。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹區塊及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛類似於諸如H.188/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續定序之整數數目個CTU。
為產生寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為 「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應的寫碼區塊，以及用以寫碼該等寫碼區塊之樣本的語法結構。視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為應用了相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為明度樣本的預測區塊、圖像之色度樣本的兩個對應預測區塊及用以對預測區塊樣本進行預測的語法結構。視訊編碼器20可針對CU之每一PU之明度預測區塊、Cb預測區塊及Cr預測區塊產生預測性明度區塊、預測性Cb區塊及預測性Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本來產生PU之預測性區塊。
若視訊編碼器20使用框間預測產生PU之預測性區塊，則視訊編碼器20可基於除與PU相關聯之圖像之外的一或多個圖像之經解碼樣本來產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測來產生PU之預測性區塊。當視訊編碼器20使用單向預測來產生PU之預測性區塊時，PU可具有單一MV。當視訊編碼器20使用雙向預測來產生PU之預測性區塊時，PU可具有兩個MV。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之初始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU 之初始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之初始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊可為應用相同變換的樣本之矩形區塊。 CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩個對應的變換區塊及用於對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。
視訊編碼器20可將一或多個變換應用至TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量數量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化大體上指代量化變換係數以可能減少用以表示變換係數之資料之量從而提供進一步壓縮之處理程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出熵編碼語法元素。
視訊編碼器20可輸出包括熵編碼語法元素的位元串流。位元串 流可包括形成寫碼圖像及相關聯資料之表示的位元序列。位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭，且封裝原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型代碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型代碼指示NAL單元之類型。RBSP可為含有封裝在NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可封裝不同類型之RBSP。舉例而言，第一類型之NAL單元可封裝用於圖像參數集合(PPS)的RBSP，第二類型之NAL單元可封裝用於經寫碼圖塊的RBSP，第三類型之NAL單元可封裝用於SEI的RBSP，等等。封裝視訊寫碼資料之RBSP(與參數集合及SEI訊息之RBSP相反)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析該位元串流以自該位元串流解碼語法元素。視訊解碼器30可至少部分基於自位元串流解碼之語法元素來重建構視訊資料之圖像。重建構視訊資料之處理程序可大體上與由視訊編碼器20執行之處理程序互逆。
舉例而言，視訊解碼器30可使用PU之MV來決定當前CU之PU之預測性樣本區塊。另外，視訊解碼器30可逆量化與當前CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行逆變換，以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性樣本區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行 基於調色板之寫碼。舉例而言，在基於調色板之寫碼中，除執行上文所描述之框內預測性或框間預測性寫碼技術之外，視訊編碼器20及視訊解碼器30可寫碼作為色彩表之所謂的調色板以用於表示特定區域(例如，給定區塊)之視訊資料。每一像素可與調色板中表示像素之色彩的單元相關聯。舉例而言，視訊編碼器20及視訊解碼器30可寫碼使像素值與調色板中之適當值相關的索引。
在以上實例中，視訊編碼器20可藉由決定用於區塊之調色板、定位調色板中表示每一像素之值的單元及使用使像素值與調色板相關的像素之索引值編碼調色板來編碼視訊資料之區塊。視訊解碼器30可自經編碼位元串流獲得用於區塊之調色板，以及區塊之像素的索引值。視訊解碼器30可使像素之索引值與調色板之單元相關以重建構區塊之像素值。
在一些實例中，視訊編碼器20可編碼指示具有相同像素值之按給定掃描次序之大量連續像素的一或多個語法元素。類值像素值串在本文中可被稱作「輪次(run)」。在出於說明之目的之實例中，若按給定掃描次序之兩個連續像素具有不同值，則輪次等於零。若按給定掃描次序之兩個連續像素具有相同值，但按該掃描次序之第三像素具有不同值，則輪次等於一。視訊解碼器30可自經編碼位元串流獲得指示輪次的語法元素且使用該資料來決定具有相同索引值的連續像素位置之數目。
在一些實例中，視訊編碼器20及視訊解碼器30可針對索引值之映射之一或多個單元執行線複製。舉例而言，視訊編碼器20可指示索引圖中之特定單元之像素值等於特定單元上方之線中的單元。視訊編碼器20亦可按照輪次指示等於特定單元上方之線中之單元的按掃描次序的索引之數目。在此實例中，視訊編碼器20及/或視訊解碼器30可自指定相鄰線及自用於當前被寫碼之圖之線的指定數目之單元複製像 素值。
根據本發明之技術，視訊編碼器20及視訊解碼器30可基於重建構區塊是否為調色板寫碼區塊來決定是否停用重建構區塊之過濾。另外，視訊編碼器20可導出用於調色板寫碼區塊之調色板，且決定是否至少部分基於率失真成本決定是否修改以下中之至少一者：調色板的調色板大小或一或多個調色板單元。特定而言，在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行下文關於圖4至圖6更詳細描述的本發明之技術。
圖2為說明可實施本發明之技術的實例視訊編碼器20的方塊圖。 出於解釋之目的而提供圖2，且不應將圖2視為對本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20表示可經組態以根據本發明中描述之各種實例執行用於基於調色板之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20可經組態以使用基於調色板之寫碼抑或非基於調色板之寫碼來選擇性地對視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)進行寫碼。非基於調色板之寫碼模式可指代各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如藉HEVC標準指定的各種寫碼模式。在一個實例中，視訊編碼器20可經組態以產生具有指示像素值之單元的調色板、選擇調色板中之像素值以表示視訊資料之區塊之至少一些位置的像素值及用信號發送使視訊資料之區塊之位置中之至少一些與調色板中分別對應於所選像素值之單元相關聯的資訊。用信號發送之資訊可由視訊解碼器30用來解碼視訊資料。
在圖2之實例中，視訊編碼器20包括視訊資料記憶體98、預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、逆 量化單元108、逆變換處理單元110、重建構單元112、過濾器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(未圖示)。視訊編碼器20亦包括經組態以執行本發明中所描述的基於調色板之寫碼技術之各種態樣的基於調色板之編碼單元122。在其他實例中，視訊編碼器20可包括更多、更少或不同功能性組件。
視訊資料記憶體98可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體98中之視訊資料可(例如)自視訊源18獲得。經解碼圖像緩衝器116可為參考圖像記憶體，其儲存參考視訊資料以供視訊編碼器20(例如)在框內或框間寫碼模式中編碼視訊資料時使用。視訊資料記憶體98及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，該等記憶體器件諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁電阻RAM(MRAM)、電阻RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或獨立記憶體器件提供視訊資料記憶體98及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體98可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與相等大小的明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之一部分，預測處理單元100可執行四分樹分割來將CTU之CTB劃分成逐漸更小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯的CTB分割成四個相等大小的子區塊，將子區塊中之一或多者分割成四個相等大小的次子區塊，等等。
視訊編碼器20可編碼CTU之CU來產生該等CU之經編碼表示(亦 即，經寫碼CU)。作為編碼CU之一部分，預測處理單元100可將與CU相關聯之寫碼區塊分割成CU之一或多個PU。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU的大小可指代CU之明度寫碼區塊之大小且PU之大小可指代PU之明度預測區塊之大小。 假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似者之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測來產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性樣本區塊及PU之運動資訊。取決於PU係在I圖塊中、P圖塊中還是B圖塊中，框間預測單元121可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測單元121不對PU執行框間預測。因此，對於I模式中編碼之區塊，使用空間預測同一圖框內先前編碼之相鄰區塊形成經預測區塊。
若PU在P圖塊中，則框間預測處理單元120之運動估計單元可在PU之參考區域的參考圖像清單(例如，「RefPicList0」)中搜尋參考圖像。PU之參考區域可為參考圖像內含有最緊密地對應於PU之樣本區塊的樣本區塊的區域。運動估計單元可產生指示含有PU之參考區域之參考圖像在RefPicList0中的位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與關聯於參考區域之參考位置之間的空間移位的MV。舉例而言，MV可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移的二維向量。運動估計單元可將參考索引及MV作為PU之運動資訊輸出。框間預測處理單元120之運動補償單元 可基於在由PU之運動向量指示之參考位置處的實際或內插樣本產生PU之預測性樣本區塊。
若PU在B圖塊中，則運動估計單元可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元可針對PU之參考區域搜尋RefPicList0或的第二參考圖像清單(「RefPicList1」)中之參考圖像。運動估計單元可將指示含有參考區域之參考圖像在RefPicList0或RefPicList1中的位置的參考索引、指示PU之樣本區塊與關聯於參考區域之參考位置之間的空間移位的MV及指示參考圖像在RefPicList0還是RefPicList1中的一或多個預測方向指示符作為PU之運動資訊輸出。框間預測處理單元120之運動補償單元可至少部分基於在由PU之運動向量指示的參考區域處的實際或內插樣本產生PU之預測性樣本區塊。
為針對PU執行雙向框間預測，運動估計單元可針對PU之參考區域在RefPicList0中搜尋參考圖像，且亦可針對PU之另一參考區域在RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區域之參考圖像在RefPicList0及RefPicList1中的位置的參考圖像索引。另外，運動估計單元可產生指示與參考區域相關聯的參考位置與PU之樣本區塊之間的空間移位的MV。PU之運動資訊可包括PU之參考索引及MV。運動補償單元可至少部分基於由PU之運動向量指示的參考區域處的實際樣本或經內插樣本來產生PU之預測性樣本區塊。
框內預測處理單元126可藉由對PU執行框內預測來產生PU之預測性資料。PU之預測性資料可包括PU之預測性樣本區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中的PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式，以產生PU之預測性資料的多個集合。為了使用框內預測模 式來產生PU之預測性資料集合，框內預測處理單元126可使樣本在與框內預測模式相關聯的方向上自相鄰PU之樣本區塊延伸跨越PU之樣本區塊。假定PU、CU及CTU之自左至右、自上而下之編碼次序，相鄰PU可在PU上方、右上方、左上方或左方。框內預測處理單元126可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
預測處理單元100可自由框間預測處理單元120所產生的用於PU之預測性資料中或自由框內預測處理單元126所產生的用於PU之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料集合的率/失真量度來選擇用於CU之PU的預測性資料。具有所選預測性資料之預測性樣本區塊在本文中可被稱作所選預測性樣本區塊。
殘餘產生單元102可基於CU的明度、Cb及Cr寫碼區塊及CU之PU的所選預測性明度區塊、預測性Cb區塊及預測性Cr區塊產生CU的明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中之樣本與CU之PU之對應所選預測性樣本區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊之大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
藉由將一或多個變換應用至TU之變換區塊，變換處理單元104可 產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用至與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。 在一些實例中，變換處理單元104不將變換應用於變換區塊。在此等實例中，可將變換區塊視作變換係數區塊。
量化單元106可量化係數區塊中的變換係數。量化處理程序可降低與變換係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位成m位元變換係數，其中n大於m。 量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於關聯於CU之係數區塊的量化程度。量化可引入資訊丟失，因此經量化之變換係數可具有比初始變換係數更低之精度。
逆量化單元108及逆變換處理單元110可將逆量化及逆變換分別應用至係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將重建構殘餘區塊添加至由預測處理單元100產生之一或多個預測性樣本區塊的對應樣本，以產生與TU相關聯的重建構變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
過濾器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在過濾器單元114對重建構寫碼區塊執行一或多個解區塊操作之後儲存重建構寫碼區塊。 框間預測處理單元120可使用含有重建構寫碼區塊之參考圖像來對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之重建構寫碼區塊來對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能性組件接收資料。 舉例而言，熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生熵編碼資料。舉例而言，熵編碼單元118可對資料執行上下文適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(variable-to-variable；V2V)長度寫碼操作、基於語法之上下文適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數葛洛姆編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之熵編碼資料的位元串流。舉例而言，位元串流可包括表示用於CU之RQT的資料。
根據本發明之各種實例，視訊編碼器20可經組態以執行基於調色板之寫碼。就HEVC構架而言，作為實例，基於調色板之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以在HEVC之構架中用作PU模式。因此，本文中(貫穿本發明)在CU模式之上下文中描述的全部所揭示處理程序可另外或替代地適用於PU。然而，不應認為此等基於HEVC之實例約束或限制本文中所描述的基於調色板之寫碼技術，因為此等技術可適用於獨立地或作為其他現有或尚待開發系統/標準之一部分工作。在此等情況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
當選擇基於調色板之編碼模式以(例如)用於CU或PU時，基於調色板之編碼單元122(例如)可執行基於調色板之編碼。舉例而言，基於調色板之編碼單元122可經組態以產生具有指示像素值之單元的調色板、選擇調色板中之像素值以表示視訊資料之區塊之至少一些位置的像素值及用信號發送使視訊資料之區塊之位置中之至少一些與調色板中分別對應於所選像素值之單元相關聯的資訊。儘管描述了各種功能由基於調色板之編碼單元122執行，但此等功能中之一些或全部可 由其他處理單元或不同處理單元之組合執行。
根據本發明之一些態樣，基於調色板之編碼單元122可經組態以導出用於調色板寫碼區塊的調色板及決定是否至少部分基於率失真成本修改以下中之至少一者：調色板的調色板大小或一或多個調色板單元。舉例而言，在下文關於圖4更詳細描述的針對當前區塊使用像素值聚類法決定調色板單元及調色板大小後，基於調色板之編碼單元122決定是否減小最初由像素值聚類法決定的調色板之調色板大小。在一個實例中，基於調色板之編碼單元122基於率失真成本之比較決定是保留還是移除給定索引值，以用於使用給定索引值編碼像素或將像素編碼為逸出像素，包括編碼像素之量化像素值。在另一實例中，基於調色板之編碼單元122基於率失真成本之比較決定是否將給定索引值合併至相鄰索引值中(例如，組合索引值以形成單個索引值)，以用於使用給定索引值編碼像素或使用相鄰索引值編碼像素。
作為另一實例，基於調色板之編碼單元122決定是否修改最初藉由像素值聚類法決定的調色板之調色板單元中之一或多者。在此實例中，基於調色板之編碼單元122使用k均值聚類法決定用於調色板寫碼區塊的代表性調色板，下文關於圖4更詳細描述該操作。代表性調色板包括指示區塊之像素之平均像素值的代表性調色板單元。基於調色板之編碼單元122基於由代表性調色板之對應代表性調色板單元指示的平均像素值決定是否修改初始調色板之給定調色板單元。
關於圖4及圖6在下文更詳細描述用於決定調色板寫碼區塊的調色板之調色板大小及調色板單元的技術。儘管本發明主要描述由視訊編碼器執行之調色板大小及調色板單元之修改技術，但在其他實例中，調色板修改技術亦可由視訊解碼器(諸如視訊解碼器30)執行。在彼情況下，例如，視訊解碼器30可根據本發明之技術單獨導出及修改調色板，或可修改由視訊編碼器20用信息發送之調色板。
根據本發明之其他態樣，視訊編碼器20可經組態以決定是否在將重建構區塊儲存於經解碼圖像緩衝器116之前停用過濾器單元114對重建構調色板寫碼區塊之過濾。舉例而言，視訊編碼器20可停用過濾器單元114對調色板寫碼區塊之解區塊過濾及/或SAO過濾。習知地，與框間寫碼區塊同樣地處理調色板寫碼區塊，因而，在將重建構區塊儲存於經解碼圖像緩衝器中或輸出以供顯示之前對其自動應用過濾。 根據所揭示之技術，視訊編碼器20可決定重建構區塊為調色板寫碼區塊，且基於彼決定在將區塊儲存於經解碼圖像緩衝器116之前停用過濾器單元114進行之過濾。下文關於圖4及圖5更詳細描述用於決定調色板寫碼區塊之過濾的技術。
圖3為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖3，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊解碼器30表示可經組態以執行根據本發明中描述之各種實例的用於基於調色板之視訊寫碼之技術的器件之實例。舉例而言，視訊解碼器30可經組態以使用基於調色板之寫碼抑或非基於調色板之寫碼來選擇性地解碼視訊資料之不同區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指代各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如由HEVC標準指定之各種寫碼模式。在一個實例中，視訊解碼器30可經組態以產生具有指示像素值之單元的調色板、接收將視訊資料之區塊之至少一些位置與調色板中之單元相關聯的資訊、基於資訊選擇調色板中之像素值及基於所選像素值重建構區塊之像素值。
在圖3之實例中，視訊解碼器30包括視訊資料記憶體148、熵解 碼單元150、預測處理單元152、逆量化單元154、逆變換處理單元156、重建構單元158、過濾器單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。視訊解碼器30亦包括經組態以執行本發明中所描述之基於調色板之寫碼技術的各種態樣的基於調色板之解碼單元165。在其他實例中，視訊解碼器30可包括更多、更少或不同的功能性組件。
視訊資料記憶體148可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體148中之視訊資料可(例如)經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而自電腦可讀媒體16(例如，自本端視訊源，諸如，攝影機)獲得。視訊資料記憶體148可形成儲存經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於由視訊解碼器30(例如)在框內或框間寫碼模式中解碼視訊資料時使用之參考視訊資料的參考圖像記憶體。視訊資料記憶體148及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，該等記憶體器件諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁電阻RAM(MRAM)、電阻RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或獨立記憶體器件提供視訊資料記憶體148及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體148可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊資料記憶體148(亦即，CPB)可接收及儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自視訊資料記憶體148接收經編碼視訊資料(例如，NAL單元)且可剖析NAL單元來解碼語法元素。熵解碼單元150可對NAL單元中之熵編碼語法元素進行熵解碼。預測處理單元152、逆量化單元154、逆變換處理單元156、重 建構單元158及過濾器單元160可基於自位元串流獲得(例如，提取)之語法元素來產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元串流之一部分，熵解碼單元150可自經寫碼圖塊NAL單元提取及熵解碼語法元素。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。圖塊標頭中的語法元素可包括識別與含有圖塊之圖像相關聯之PPS的語法元素。
除了自位元串流解碼語法元素之外，視訊解碼器30可對未經分割之CU執行重建構操作。為了對未經分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作的一部分，逆量化單元154可逆量化(亦即，解量化)與TU相關聯的係數區塊。逆量化單元154可使用與TU之CU相關聯的QP值來決定逆量化單元154應用之量化之程度及(同樣地)逆量化之程度。亦即，可藉由調整在量化變換係數時所使用之QP值來控制壓縮比(亦即，用以表示初始序列以及經壓縮序列的位元之數目的比率)。壓縮比亦可取決於所採用的熵寫碼方法。
在逆量化單元154逆量化係數區塊之後，逆變換處理單元156可將一或多個逆變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，逆變換處理單元156可將逆DCT、逆整數變換、逆卡忽南-拉維(Karhunen-Loeve)變換(KLT)、逆旋轉變換、逆定向變換或另一逆變換應用於係數區塊。
若使用框內預測編碼PU，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於在空間上相鄰的PU之預測區塊來產生PU之預測性明度區塊、預測性Cb區塊及預測性Cr區塊。框內預測處理單元166可基於 自位元串流解碼之一或多個語法元素來決定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素來建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若使用框間預測編碼PU，則熵解碼單元150可提取PU之運動資訊。運動補償單元164可基於PU之運動資訊來決定PU之一或多個參考區域。運動補償單元164可基於在PU之一或多個參考區塊處的樣本區塊產生PU之預測性明度區塊、預測性Cb區塊及預測性Cr區塊。
重建構單元158可使用與CU之TU相關聯的明度變換區塊、Cb變換區塊及Cr變換區塊以及CU的PU之預測性明度區塊、預測性Cb區塊及預測性Cr區塊(亦即，框內預測資料抑或框間預測資料)(若適用)來重建構CU之明度寫碼區塊、Cb寫碼區塊以及Cr寫碼區塊。舉例而言，重建構單元158可將明度變換區塊、Cb變換區塊及Cr變換區塊之樣本添加至預測性明度區塊、預測性Cb區塊及預測性Cr區塊之對應樣本以重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。
過濾器單元160可執行解區塊操作以減少與CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊儲存在經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中的明度區塊、Cb區塊及Cr區塊對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元串流提取有效明度係數區塊之變換係數階、逆量化變換係數階、對變換係數階應用變換以產生變換區塊、至少部分基於該變換區塊產生寫碼區塊及輸出寫碼區塊以供顯示。
根據本發明之各種實例，視訊解碼器30可經組態以執行基於調 色板之寫碼。當選擇基於調色板之解碼模式以(例如)用於CU或PU時，基於調色板之解碼單元165(例如)可執行基於調色板之解碼。舉例而言，基於調色板之解碼單元165可經組態以產生具有指示像素值之單元的調色板、接收將視訊資料之區塊的至少一些位置與調色板中之單元相關聯的資訊、基於該資訊選擇調色板中之像素值及基於所選像素值重建構區塊之像素值。儘管描述了各種功能由基於調色板之解碼單元165執行，但此等功能中之一些或全部可由其他處理單元或不同處理單元之組合來執行。
根據本發明之態樣，視訊解碼器30可經組態以決定是否在將重建構區塊儲存於經解碼圖像緩衝器162之前停用過濾器單元160對重建構調色板寫碼區塊之過濾。舉例而言，視訊解碼器30可停用過濾器單元160對調色板寫碼區塊之解區塊過濾及/或SAO過濾。習知地，與框間寫碼區塊同樣地處理調色板寫碼區塊，因而，在將重建構區塊儲存於經解碼圖像緩衝器中或輸出以供顯示之前對其自動應用過濾。根據所揭示之技術，視訊解碼器30可決定重建構區塊為調色板寫碼區塊且基於彼決定在將區塊儲存於經解碼圖像緩衝器162之前停用過濾器單元160進行之過濾。下文關於圖4及圖5更詳細描述用於決定調色板寫碼區塊之過濾的技術。
圖4為說明根據本發明之技術決定用於寫碼視訊資料之調色板之實例的概念圖。圖4之實例包括圖像178，其具有寫碼為與第一調色板184相關聯之調色板(PAL)寫碼區塊的第一寫碼單元180(CU)及寫碼為與第二調色板192相關聯之調色板(PAL)寫碼區塊的第二CU 188。圖像178亦包括藉由框內預測寫碼模式寫碼的框內區塊196及藉由框間預測寫碼模式寫碼的框間區塊200。出於解釋之目的，在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)之上下文中且關於HEVC標準描述圖4之技術。然而，應理解本發明之技術不限於此方式，且可由 其他視訊寫碼處理器及/或器件應用於其他視訊寫碼處理程序及/或標準中。
大體而言，調色板指代對於當前正被寫碼的CU(圖4之實例中的CU 188)而言為主要的及/或代表性的大量像素值。第一調色板184及第二調色板192經展示為包括多個調色板。在一些實例中，根據本發明之態樣，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可針對CU之每一色彩分量單獨寫碼調色板。舉例而言，視訊編碼器20可編碼用於CU之明度(Y)分量的調色板、用於CU之色度(U)分量的另一調色板及用於CU之色度(V)分量的又一調色板。在此實例中，Y調色板之單元可表示CU之像素的Y值，U調色板之單元可表示CU之像素的U值，且V調色板之單元可表示CU之像素的V值。
在其他實例中，視訊編碼器20可編碼用於CU之全部色彩分量的單個調色板。在此實例中，視訊編碼器20可編碼具有為三重值(包括Yi、Ui及Vi)的第i個單元的調色板。在此情況下，調色板包括用於像素之分量中之每一者的值。因此，作為具有多個個別調色板之調色板集合的調色板184及192之表示僅為一個實例且並不意欲為限制性的。
在圖4之實例中，第一調色板184包括分別具有索引值1、索引值2及索引值3的三個調色板單元202、204、206。調色板單元202、204、206使索引值與分別包括像素值A、像素值B及像素值C的像素值(亦即，色彩值)相關。如本文所描述，除寫碼第一CU 180之實際像素值之外，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可使用基於調色板之寫碼來使用索引值1、2、3對區塊之像素進行寫碼。亦即，針對第一CU 180之每一像素位置，視訊編碼器20可編碼像素之索引值，其中像素值對應於指示第一調色板184中之一或多者中之像素之像素值的調色板單元。視訊解碼器30可自位元流獲得索引值且使用索引值及第一調色板184中之一或多者重建構像素值。因此，藉由視訊 編碼器20在經編碼視訊資料位元串流中傳輸第一調色板184以供視訊解碼器30用於基於調色板之解碼。
在一些實例中，視訊編碼器20及視訊解碼器30可基於第一調色板184決定第二調色板192。舉例而言，視訊編碼器20及/或視訊解碼器30可定位一或多個區塊，自該一或多個區塊決定預測性調色板(在此實例中，第一調色板184)。在一些實例中(諸如圖4中說明之實例)，視訊編碼器20及/或視訊解碼器30可在決定第二CU188之預測性調色板時定位先前寫碼之CU(諸如左相鄰CU(第一CU180))。
在圖4之實例中，第二調色板192包括分別具有索引值1、索引值2及索引值3的三個調色板單元208、210、212。調色板單元208、210、212使索引值與分別包括像素值A、像素值B及像素值D之像素值相關。在此實例中，視訊編碼器20可對指示第一調色板184之哪些單元包括在第二調色板192中的一或多個語法元素進行寫碼。在圖4之實例中，將該一或多個語法元素說明為向量216。向量216具有大量相關聯的二進位(或二進位位元)，其中每一二進位指示是否將與彼二進位相關聯的調色板預測因子用於預測當前調色板之單元。舉例而言，向量216指示第一調色板184之前兩個單元(單元202及204)包括在第二調色板192中(在向量216之前兩個二進位中的值「1」)，而第一調色板184之第三單元不包括在第二調色板192中(在向量216之第三二進位中的值「0」)。在圖4之實例中，向量為布林(Boolean)向量。
本發明之技術係關於用於基於調色板之寫碼的調色板之導出的改良。更具體而言，本發明之技術包括在視訊編碼器20處修改調色板之調色板大小及調色板單元，及決定是否在視訊編碼器20及/或視訊解碼器30處停用調色板寫碼區塊之過濾。在圖4之實例中，視訊編碼器20可執行本發明之調色板修改技術以導出第一調色板184。隨後藉由視訊編碼器20在經編碼視訊資料位元串流中傳輸第一調色板184以 供視訊解碼器30用於基於調色板之解碼。儘管主要關於視訊編碼器20在本發明中進行描述，但在其他實例中，本發明之調色板修改技術可藉由視訊編碼器20及視訊解碼器30兩者執行。在彼情況下，例如，視訊解碼器30可單獨導出第一調色板184或可根據本發明之技術修改由視訊編碼器20傳輸之第一調色板184。雖然出於解釋之目的關於第一調色板184進行描述，但可使用其他組態及/或大小之多種其他調色板執行該等技術。
在基於調色板之寫碼模式中，如JCTVC-P0035、JCTVC-P0108及JCTVC-P0198(上文引用)中所描述，視訊編碼器20可使用像素值聚類法導出用於調色板寫碼區塊(例如，CU 180)的調色板。使用適當演算法導出調色板(例如，第一調色板184)是調色板模式編碼中的關鍵程序之一。舉例而言，視訊編碼器20可導出包括複數個單元的直方圖，其中每一單元包括各別色彩值及映射至色彩值的區塊之各別數量之像素。作為一個實例，視訊編碼器20可決定視訊資料之區塊之直方圖H。直方圖H可由H={(v i ,f i )，i={0,1,2,…,M}}來表示，其中M+1為當前區塊中不同像素值之數目，v i 為第i個像素之像素值，且f i 為v i 之出現次數(亦即，當前區塊中有多少像素具有像素值v i )。在一些實例中，直方圖之複數個單元中之每一者表示具有相同像素值之像素的數量。在一些實例中，直方圖之複數個單元中之每一者表示當經量化時具有相同像素值的像素之數量。
在導出直方圖後，視訊編碼器20可將調色板P初始化為空(亦即，)、將調色板之索引值初始化為零(亦即，idx=0)及/或將直方圖之索引值初始化為零(亦即，設定j=0)。視訊編碼器20隨後基於單元中之每一者的像素之各別數量按降序分類直方圖之單元，以使得直方圖之第一單元包括相對於其他色彩值具有最高數量之像素的色彩值。舉例而言，視訊編碼器20可根據f i 之降序分類直方圖H，以將在當前區 塊中具有更多出現次數的像素值置放於直方圖之前部附近。可由H o ={(u i ,f i ),i={0,1,2,…,M},f i f i+1 }來表示經分類直方圖。
視訊編碼器20隨後可基於直方圖之單元決定當前區塊的調色板之調色板大小及調色板單元。舉例而言，視訊編碼器20可將經分類直方圖之第一單元(j,u j )插入至調色板中，亦即，P=P∪{(idx,u j )}。視訊編碼器20隨後可遞增調色板索引(亦即，idx=idx+1)及遞增直方圖索引(亦即，j=j+1)。視訊編碼器20可決定對應於經分類直方圖中之下一單元的像素值是否在鄰近已包括於調色板中之像素值中的任一者。舉例而言，視訊編碼器20可決定距離值，該距離值對應於與經分類直方圖中的下一單元對應之像素值與已包括於調色板中的像素值中之一或多者之間的差。若決定之差值大於或等於臨限值(亦即，Distance(u j ,x) Thresh)，則視訊編碼器20可將新單元插入指示對應於經分類直方圖中之下一單元之像素值的調色板中。若決定之差值不滿足臨限值(亦即，Distance(u j ,x)<Thresh)，則視訊編碼器20決定對應於經分類直方圖中之下一單元之像素值鄰近已包括於調色板中之像素值，且將不添加新單元至調色板中。視訊編碼器20隨後可遞增直方圖索引，亦即，j=j+1。
在一些實例中，若一或多個條件滿足一或多個各別臨限值，則視訊編碼器20可停止決定調色板(例如，停止將單元添加至調色板)。 作為一個實例，當調色板之大小大於預定義值時，視訊編碼器20可停止決定調色板。作為另一實例，當調色板索引之值等於當前區塊中不同像素值之數目(亦即，idx=M)時，視訊編碼器20可停止決定調色板。作為另一實例，當直方圖索引之值等於當前區塊中不同像素值之數目(亦即，j=M)時，視訊編碼器20可停止決定調色板。
根據本發明之技術，在決定調色板之調色板大小及調色板單元後，視訊編碼器20可至少部分基於率失真成本決定是否修改以下中之 至少一者：調色板的調色板大小或調色板單元中之一或多者。以此方式，該等技術使得視訊編碼器20能夠決定是否修改最初針對調色板決定之調色板大小及調色板單元。
舉例而言，視訊編碼器20可基於使用索引值1編碼CU 180之像素或將CU 180之同一像素編碼為逸出像素(亦即，直接量化像素值及傳輸像素之經量化值)之率失真成本來決定是保留還是移除對應於調色板單元中之給定者的給定索引值(例如，調色板184中之單元202之索引值1)。在此實例中，決定自調色板184移除索引值1及對應調色板單元202減小調色板大小，例如，調色板184可能僅包括單元204及206。
在一個實例中，視訊編碼器20計算用於使用對應於調色板單元中之給定者(其指示像素之色彩值)的給定索引值編碼當前區塊之像素的第一率失真成本，例如，當用索引t對映射至調色板索引t的像素進行寫碼時，針對每一調色板索引t計算RD(idx_coding,t)。視訊編碼器20隨後計算用於將當前區塊之同一像素編碼為逸出像素之第二率失真成本，例如，當以逸出模式對屬於調色板索引t之像素進行寫碼時針對每一調色板索引t計算RD(escape_coding,t)，該逸出模式包括編碼特定索引值及直接量化像素值且傳輸像素之量化值。
視訊編碼器20隨後比較第一率失真成本計算與第二率失真成本計算以決定是保留還是移除給定索引值及調色板之調色板單元中之對應者。舉例而言，若第一率失真成本高於第二率失真成本，則視訊編碼器20可自調色板移除給定索引及調色板單元中之對應者，例如，自調色板184移除單元202之索引值1。在此實例中，相對於調色板184中的其他色彩值，單元202之色彩值A很可能偶爾出現在CU 180中，亦即，具有較低數量之CU 180之相關聯像素。
在一些實例中，視訊編碼器20可針對調色板184之每一調色板單元202、204、206執行此保留或移除決定，但在許多情況下，可能僅 移除具有少量相關聯像素的「低出現率」調色板單元。此情況係因為對包括低出現率調色板單元之較大調色板進行寫碼之成本及使用對應於低出現率調色板單元之高索引值對像素進行寫碼之成本可能高於將少量像素寫碼為逸出像素的成本。以此方式，該等技術使得視訊編碼器20能夠自最初導出之調色板移除指示在待編碼之當前區塊中偶爾出現的色彩值的一或多個調色板單元。
作為另一實例，視訊編碼器20可基於使用索引值1或使用相鄰索引值2編碼CU 180之像素的率失真成本決定是否將對應於調色板單元中之給定者的給定索引值(例如，調色板184中之單元202之索引值1)合併至對應於調色板單元中之相鄰者之相鄰索引值(例如，調色板184中之單元204之索引值2)。在一種情況下，單元204之相鄰索引值2可為就距單元202之給定索引值1的最小歐幾里得(Euclidean)距離而言的最接近索引值。在另一情況下，單元204之相鄰索引值2可為就相對於單元202之給定索引值1的索引次序而言的最接近索引值。在此實例中，決定將給定索引值1及調色板184之對應調色板單元202合併至相鄰索引值2及調色板184之對應相鄰調色板單元204中減小調色板大小，例如，調色板184可能僅包括單元204及206。
在一個實例中，視訊編碼器20計算用於使用對應於調色板單元中之給定者(其指示像素之第一色彩值)的給定索引值編碼當前區塊之像素的第一率失真成本，例如，當用索引t對映射至調色板索引t的像素進行寫碼時，針對每一調色板索引t計算RD(separate_coding,t)。視訊編碼器20隨後計算用於使用對應於調色板單元中之相鄰者(其指示像素之第二色彩值)的相鄰索引值編碼當前區塊之同一像素的第二率失真成本，例如，當用相鄰調色板索引m對映射至調色板索引t的像素進行寫碼時，針對調色板索引t計算RD(merged_coding,t->m)。
視訊編碼器20隨後比較第一率失真成本計算與第二率失真成本 計算以決定是否將給定索引值及調色板之調色板單元中之對應者合併至相鄰索引值及調色板之調色板單元中之相鄰者中。舉例而言，若第一率失真成本高於第二率失真成本，則視訊編碼器20可將給定索引及調色板單元中之對應者(例如，單元202之索引值1)合併至相鄰索引值及調色板單元中之相鄰者(例如，單元204之索引值2)中。在此實例中，給定調色板單元202之第一色彩值A及相鄰調色板單元204之第二色彩值B可能實質上為類似值。舉例而言，第一色彩值A及第二色彩值B在經量化時可為同一色彩值。
在一些實例中，將單元202之給定索引值1合併至單元204之相鄰索引值2中可導致自調色板184移除單元202及將先前映射至給定單元202之第一色彩值A的任何像素映射至相鄰單元204之第二色彩值B。 在其他實例中，將單元202之給定索引值1合併至單元204之相鄰索引值2中可導致自調色板184移除給定單元202及相鄰單元204兩者及將單個新調色板單元添加至調色板184。新調色板單元可指示為給定單元202之第一色彩值A及相鄰單元204之第二色彩值B之平均值或某一其他組合的色彩值。在此實例中，先前映射至單元202或單元204的任何像素將映射至新調色板單元。
在一些實例中，視訊編碼器20可針對調色板184之每一調色板單元202、204、206執行此合併決定，但在許多情況下，可能僅合併指示實質上類似色彩值(亦即，可量化為同一色彩值的色彩值)之「非常類似的」調色板單元。此情況係因為對包括非常類似的調色板單元的較大調色板進行寫碼之成本及使用對應於非常類似的調色板單元中之每一者的單獨索引值對像素進行寫碼之成本可能高於使用單個合併索引值對像素進行寫碼的成本。以此方式，該等技術使得視訊編碼器20能夠合併指示待編碼之當前區塊中之實質上類似色彩值的最初導出之調色板中之一或多個調色板單元。
作為另一實例，視訊編碼器20可基於使用k均值聚類法決定的代表性調色板決定是否修改調色板之調色板單元中之一或多者(例如，調色板184中之單元202、204、206)。視訊編碼器20可使用k均值聚類法針對每一調色板索引計算代表性調色板之調色板單元，其中k均值聚類法之迭代之數目係基於臨限值的。舉例而言，針對最初導出之調色板之調色板單元中之每一者(例如，調色板184中之單元202、204、206)，視訊編碼器20計算CU 180之一或多個像素之平均像素值，該一或多個像素映射至由調色板單元中之各別者(例如，單元202、204、206)指示之各別色彩值(例如，色彩值A、B、C)。視訊編碼器20隨後決定包括指示各別平均像素值之代表性調色板單元的CU 180之代表性調色板。
在一些情況下，視訊編碼器20可執行k均值聚類法之另一第二迭代，包括使用代表性調色板映射或分類CU區塊180之像素且針對代表性調色板單元中之每一者再次計算平均像素值以便導出代表性調色板之最終版本。在其他情況下，視訊編碼器20可執行由臨限值決定之數目的k均值聚類法之迭代。可根據可接受計算成本在視訊編碼器20處設定臨限值。
在決定包括指示代表性平均像素值之代表性調色板單元的用於視訊資料之區塊的代表性調色板後，視訊編碼器20對映射至調色板索引中之每一者的區塊之最接近像素值執行搜尋，且該最接近像素值被視為最終調色板中用於調色板索引中之各別者之色彩值。舉例而言，針對代表性調色板之代表性調色板單元中之給定者，視訊編碼器20決定映射至代表性調色板單元中之給定者的像素中之一者之像素值，該像素值最接近由代表性調色板單元中之給定者指示之平均像素值。基於最接近像素值不同於由調色板之調色板單元中之對應者指示的色彩值，視訊編碼器20選擇最接近像素值作為由調色板之調色板單元中之 給定者指示的最終色彩值。
以此方式，視訊編碼器20基於與代表性調色板中的平均像素值最接近的像素值不同於由最初導出之調色板184中之給定調色板單元202指示的色彩值A來決定修改調色板單元中之給定者(例如，初始調色板184中的調色板單元202)。若基於代表性調色板決定之最接近像素值與由最初導出之調色板184中之給定調色板單元202指示的色彩值A相同，則視訊編碼器20不需要修改初始調色板184中之給定調色板單元202。
另外，根據本發明之技術，視訊編碼器20及/或視訊解碼器30可決定是否停用調色板寫碼區塊(例如，CU 180或CU 188)之過濾。舉例而言，視訊編碼器20及/或視訊解碼器30可在將調色板寫碼CU 180之重建構版本儲存於經解碼圖像緩衝器以供稍後用作參考區塊或(在視訊解碼器30之情況下)輸出以供顯示至使用者之前停用對該等重建構版本之過濾(諸如解區塊過濾及/或樣本適應性偏移(SAO)過濾)。在一些實例中，視訊編碼器20及/或視訊解碼器30可僅停用CU 180之解區塊過濾。在其他實例中，視訊編碼器20及/或視訊解碼器30可停用CU 180之SAO過濾。在其他實例中，視訊編碼器20及/或視訊解碼器30可停用解區塊過濾及SAO過濾兩者，以及對CU 180之任何其他類型之過濾。
習知地，調與框間寫碼區塊同樣地處理色板寫碼區塊，因此在將重建構區塊儲存於經解碼圖像緩衝器中或輸出以供顯示之前對其自動應用過濾。根據所揭示之技術，視訊編碼器20及/或視訊解碼器30可不將過濾應用於調色板寫碼區塊(例如，CU 180及CU 188)，但可繼續將過濾應用於框間寫碼區塊(例如，框間區塊)。舉例而言，視訊編碼器20及/或視訊解碼器30可決定重建構區塊為調色板寫碼區塊(例如，CU 180或CU 188)，且基於對基於調色板之寫碼模式之決定停用 對重建構區塊之過濾。在一些情況下，該等技術可添加條件性表述或檢查至CU級語法，以使得若當前CU為調色板寫碼區塊，則針對當前CU停用過濾。
雖然在CU(HEVC)之上下文中描述圖4之技術，但應理解，該等技術亦可應用於預測單元(PU)或其他視訊寫碼處理程序及/或標準中。
圖5為說明根據本發明之技術決定調色板寫碼區塊之過濾的視訊寫碼器之實例操作的流程圖。可藉由圖2之視訊編碼器20抑或圖3之視訊解碼器30執行圖5中說明之實例操作。
將首先關於視訊解碼器30描述圖5之實例操作。視訊解碼器30自視訊編碼器(諸如視訊編碼器20)接收經編碼位元串流，其包括至少一個圖像之視訊資料之編碼區塊及與該視訊資料相關聯之一或多個語法元素。視訊解碼器30決定待解碼之視訊資料之當前區塊為調色板寫碼區塊(220)。在一些實例中，視訊解碼器30可接收位元串流中之至少一個語法元素(例如，旗標)，該至少一個語法元素指示是否視訊資料之每一區塊為調色板寫碼區塊。在其他實例中，視訊解碼器30可接收一或多個語法元素，該一或多個語法元素指示用於對視訊資料之每一區塊進行寫碼的寫碼類型，例如，每一區塊為調色板寫碼區塊、框間寫碼區塊還是框內寫碼區塊等。
當待解碼之當前區塊為調色板寫碼區塊時，視訊解碼器30之基於調色板之解碼單元165決定用於當前區塊之調色板，其中調色板包括指示一或多個各別色彩值的一或多個調色板單元(222)。如上文更詳細描述，包括於調色板中的各別色彩值可為當前區塊中最頻繁出現的主要色彩值。基於調色板之解碼單元165可根據經編碼位元串流中接收的調色板大小及調色板單元決定調色板。基於調色板之解碼單元165隨後決定經編碼位元串流中接收的當前區塊之一或多個像素之索 引值，該等索引值中之每一者對應於指示當前區塊之像素中之一者之色彩值的調色板單元中之一者(224)。
視訊解碼器30基於當前區塊之經決定調色板及經決定索引值來重建構視訊資料之當前區塊(226)。舉例而言，視訊解碼器30可將經決定索引值映射至調色板之單元以重建構當前區塊之像素值。視訊解碼器30隨後可將重建構區塊之視訊資料儲存於經解碼圖像緩衝器162中且接著輸出重建構區塊之視訊資料以供顯示。
習知地，與框間寫碼區塊同樣地處理調色板寫碼區塊，因而，在將重建構區塊儲存於經解碼圖像緩衝器中或輸出以供顯示之前對其自動應用過濾。根據所揭示之技術，視訊解碼器30基於當前區塊為調色板寫碼區塊來決定在儲存或輸出重建構區塊之前停用重建構區塊之過濾(228)。在一些實例中，視訊解碼器30可僅停用視訊解碼器30之過濾器單元160對當前調色板寫碼區塊之解區塊過濾。在其他實例中，視訊解碼器30可停用當前調色板寫碼區塊之SAO過濾。在其他實例中，視訊解碼器30可停用由過濾器單元160針對當前調色板寫碼區塊執行之所有類型之過濾。
現將關於視訊編碼器20描述圖5之實例操作。視訊編碼器20決定視訊資料之當前區塊將經編碼為調色板寫碼區塊(220)。在一些實例中，視訊編碼器20可在經編碼位元串流中用信號發送至少一個語法元素(例如，旗標)，該至少一個語法元素指示是否視訊資料之每一區塊為調色板寫碼區塊。在其他實例中，視訊編碼器20可在經編碼位元串流中用信號發送一或多個語法元素，該一或多個語法元素指示用於對視訊資料之每一區塊進行寫碼的寫碼類型，例如，每一區塊為調色板寫碼區塊、框間寫碼區塊還是框內寫碼區塊等。
當當前區塊將經編碼為調色板寫碼區塊時，視訊編碼器20之基於調色板之編碼單元122決定用於當前區塊的調色板，其中調色板包 括指示一或多個各別色彩值的一或多個調色板單元(222)。如上文更詳細描述，包括於調色板中的各別色彩值可為當前區塊中最頻繁出現的主要色彩值。基於調色板之編碼單元122可使用像素值聚類法(諸如上文關於圖4更詳細描述之聚類法)決定調色板之調色板大小及調色板單元。根據本發明之技術，基於調色板之編碼單元122可至少部分基於率失真成本決定是否修改以下中之至少一者：調色板的調色板大小或調色板單元中之一或多者。下文關於圖6更詳細描述此修改決定。
在決定調色板後，基於調色板之編碼單元122決定當前區塊之一或多個像素之索引值，該等索引值中之每一者對應於指示當前區塊之像素中之一者之色彩值的調色板單元中之一者(224)。舉例而言，視訊編碼器20可藉由定位調色板中表示當前區塊之像素中之一或多者之色彩的單元及使用指示調色板中之單元的索引值編碼區塊來編碼視訊資料之當前區塊。視訊編碼器20可在經編碼位元串流中將當前調色板寫碼區塊之調色板及索引值用信號發送至視訊解碼器(諸如視訊解碼器30)。
視訊編碼器20隨後基於解碼迴路中當前區塊之經決定調色板及經決定索引值來重建構視訊資料之當前區塊(226)。舉例而言，視訊編碼器20可將索引值映射至調色板之單元以重建構當前區塊之像素值。視訊編碼器20隨後可將重建構區塊之視訊資料儲存於經解碼圖像緩衝器116中。根據所揭示之技術，視訊編碼器20基於當前區塊為調色板寫碼區塊來決定在儲存重建構區塊之前停用重建構區塊之過濾(228)。在一些實例中，視訊編碼器20可僅停用由視訊編碼器20之過濾器單元114對當前調色板寫碼區塊之解區塊過濾。在其他實例中，視訊編碼器20可停用當前調色板寫碼區塊之SAO過濾。在其他實例中，視訊編碼器20可停用由過濾器單元114針對當前調色板寫碼區塊執行之所有類型之過濾。
圖6為說明根據本發明之技術決定視訊資料之調色板寫碼區塊之調色板(例如，圖5之步驟220)的視訊編碼器之實例操作的流程圖。關於圖2之視訊編碼器20描述圖6中說明之實例操作。
如上文所描述，當視訊資料之當前區塊將經編碼為調色板寫碼區塊時，視訊編碼器20之基於調色板之編碼單元122決定當前區塊之調色板，其中調色板包括指示一或多個各別色彩值且對應於各別索引值的一或多個調色板單元。為了決定調色板，視訊編碼器20之基於調色板之編碼單元122首先使用像素值聚類法決定調色板之調色板大小及調色板單元(230)。舉例而言，如上文關於圖4更詳細描述，針對視訊資料之當前區塊，基於調色板之編碼單元122可決定包括複數個單元之直方圖(每一單元包括各別色彩值及映射至色彩值的區塊之各別數量之像素)，基於單元中之每一者的像素之各別數量按降序對直方圖之單元進行分類以使得直方圖之第一單元包括相對於其他色彩值具有最高數量之像素的色彩值，且基於直方圖之單元決定調色板之調色板大小及調色板單元。
根據本發明之技術，在決定調色板之調色板大小及調色板單元後，基於調色板之編碼單元122可至少部分基於率失真成本決定是否修改以下中之至少一者：調色板的調色板大小或調色板單元中之一或多者。舉例而言，基於調色板之編碼單元122可基於使用給定索引值編碼區塊之像素或將該像素編碼為逸出像素的率失真成本來決定是保留還是移除對應於調色板之調色板單元中之給定者的給定索引值(232)。在此實例中，決定自調色板移除給定索引值及調色板單元中之對應者減小調色板大小。
在一些情況下，基於調色板之編碼單元122可執行率失真成本比較以如下決定是移除還是保留給定索引值。基於調色板之編碼單元122計算用於使用對應於調色板單元中之給定者(其指示像素之色彩 值)的給定索引值編碼當前區塊之像素的第一率失真成本。基於調色板之編碼單元122隨後計算將當前區塊之同一像素編碼為逸出像素(包括編碼特殊索引值及像素之經量化像素值)的第二率失真成本。基於調色板之編碼單元122基於第一率失真成本計算與第二率失真成本計算之比較來決定是保留還是移除給定索引值及調色板之調色板單元中之對應者。舉例而言，若第一率失真成本高於第二率失真成本，則基於調色板之編碼單元122可自調色板移除給定索引值及調色板單元中之對應一者。在此實例中，相對於調色板中之其他色彩值，由調色板單元中之給定者指示之色彩值可能偶爾出現在當前區塊中，亦即，具有較低數量的當前區塊之相關聯像素。
在另一實例中，基於調色板之編碼單元122可基於使用給定索引值或使用相鄰索引值編碼區塊之像素之率失真成本來決定是否將對應於調色板之調色板單元中之給定者的給定索引值合併至對應於調色板之調色板單元中之相鄰者的相鄰索引值中(234)。在一個實例中，相鄰索引值可為就距該定索引值的最小歐幾里得距離而言的最接近索引值。在另一實例中，相鄰索引值可為相對於給定索引值之索引次序而言的最接近索引值。在此實例中，決定將給定索引值及調色板之調色板單元中之對應者合併至相鄰索引值及調色板之調色板單元中之相鄰者中減小調色板大小。
在一些情況下，基於調色板之編碼單元122可執行率失真成本比較以如下決定是否合併給定索引值。基於調色板之編碼單元122計算用於使用對應於調色板單元中之給定者(其指示像素之第一色彩值)之給定索引值編碼當前區塊之像素的第一率失真成本。基於調色板之編碼單元122隨後計算用於使用對應於調色板單元中之相鄰者(其指示像素之第二色彩值)之相鄰索引值編碼當前區塊之同一像素的第二率失真成本。基於調色板之編碼單元122基於第一率失真成本計算與第二 率失真成本計算之比較決定是否將給定索引值及調色板之調色板單元中之對應者合併至相鄰索引值及調色板之調色板單元中之相鄰者中。 舉例而言，若第一率失真成本高於第二率失真成本，則基於調色板之編碼單元122可將給定索引及調色板單元中之對應者合併至相鄰索引值及調色板單元中之相鄰者中。在此實例中，由調色板單元中之給定者指示的第一色彩值與由調色板單元中之相鄰者指示的第二色彩值可能為實質上類似的值。舉例而言，第一色彩值及第二色彩值在經量化時可為同一色彩值。
在又一實例中，基於調色板之編碼單元122可基於使用k均值聚類法決定之代表性調色板來決定是否修改調色板之調色板單元中之一或多者(236)。舉例而言，如上文關於圖4更詳細描述，針對最初導出之調色板之調色板單元中之每一者，基於調色板之編碼單元122計算映射至由調色板單元中之各別者指示之各別色彩值的區塊之一或多個像素之平均像素值。基於調色板之編碼單元122隨後決定包括指示各別平均像素值之代表性調色板單元的用於視訊資料之區塊的代表性調色板。在一些情況下，基於調色板之編碼單元122可執行由臨限值決定之數目的k均值聚類法之迭代。
在決定包括指示各別平均像素值之代表性調色板單元的用於視訊資料之區塊的代表性調色板後，基於調色板之編碼單元122針對代表性調色板之代表性調色板單元中之給定者決定映射至代表性調色板單元中之給定者的像素中之一者之像素值，該像素值最接近由代表性調色板單元中之給定者指示之平均像素值。基於最接近像素值不同於由調色板之調色板單元中之對應者指示的色彩值，基於調色板之編碼單元122選擇最接近像素值作為由調色板之調色板單元中之給定者指示的最終色彩值。以此方式，基於調色板之編碼單元122基於最接近代表性調色板中的平均像素值的像素值與由最初導出之調色板中的調 色板單元中之給定者指示的色彩值的比較來決定修改調色板單元中之給定者。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件皆為必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。此外，雖然出於清晰之目的將本發明之某些態樣描述為由單一模組或單元執行，但應理解，本發明之技術可由與視訊寫碼器相關聯之單元或模組的組合來執行。
出於說明之目的，已關於發展中之HEVC標準描述本發明之某些態樣。然而，本發明中所描述之技術可適用於其他視訊寫碼處理程序，包括尚未開發之其他標準或專屬視訊寫碼處理程序。
上文所描述之技術可由視訊編碼器20(圖1及圖2)及/或視訊解碼器30(圖1及圖3)執行，其兩者可大體上被稱作視訊寫碼器。同樣地，視訊寫碼可指代視訊編碼或視訊解碼(若適用)。
雖然在上文描述技術之各種態樣之特定組合，但僅為了說明本發明中描述之技術之實例而提供此等組合。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中描述之技術之各種態樣之任何可設想組合。
在一或多個實例中，所描述之功能可在硬體、軟體、韌體或其任何組合中實施。若在軟體中實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於有形媒體(諸如，資料儲存媒體))，或通信媒體，該通信媒體包括有助於(例如)根據通信協定將電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性的有形電 腦可讀儲存媒體，或(2)通信媒體，諸如，信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。 電腦程式產品可包括電腦可讀媒體。
借助於實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件，快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是實際上關於非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由一或多個處理器(諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路)來執行指令。因此，如本文中所使用，術語「處理器」可指代前述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供在經組態用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能性態樣，但未必需要藉由不同硬體單元來實現。相反地，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
220‧‧‧步驟
222‧‧‧步驟
224‧‧‧步驟
226‧‧‧步驟
228‧‧‧步驟

Claims (29)

  1. 一種處理視訊資料之方法，該方法包含：決定視訊資料之一區塊為一調色板寫碼區塊；決定用於該區塊的包括指示一或多個各別色彩值之一或多個調色板單元的一調色板；決定該區塊之一或多個像素的索引值，該等索引值中之每一者對應於指示該區塊之該等像素中之一者之一色彩值的該等調色板單元中之一者；基於該區塊之該調色板及該等索引值重建構視訊資料之該區塊；及基於該區塊為一調色板寫碼區塊決定停用該重建構區塊之過濾。
  2. 如請求項1之方法，其中決定停用該重建構區塊之過濾包含停用該重建構區塊之解區塊過濾或該重建構區塊之樣本適應性偏移(SAO)過濾中之至少一者。
  3. 如請求項1之方法，其中重建構該區塊包含藉由一視訊解碼器重建構該視訊資料之該區塊，該方法進一步包含以下中之至少一者：基於停用該過濾，由該視訊解碼器輸出該視訊資料以供顯示或在不過濾該視訊資料之該重建構區塊之情況下由該視訊解碼器將該視訊資料儲存於一經解碼圖像緩衝器中。
  4. 如請求項1之方法，其中重建構該區塊包含由一視訊編碼器重建構該視訊資料之該區塊，該方法進一步包含基於停用該過濾在不過濾該視訊資料之該重建構區塊之情況下由該視訊編碼器將該視訊資料儲存於一經解碼圖像緩衝器中。
  5. 如請求項1之方法，其中決定用於該區塊之該調色板包含： 使用一像素值聚類方法由一視訊編碼器決定該調色板之一調色板大小及該等調色板單元；及至少部分地基於率失真成本決定是否修改以下中之至少一者：該調色板的該調色板大小或該等調色板單元中之一或多者。
  6. 如請求項5之方法，其中決定是否修改該調色板大小包含決定是保留還是移除對應於該調色板之該等調色板單元中之一給定者的一給定索引值，其中移除該給定索引值及該調色板之該等調色板單元中之該對應者減小該調色板大小。
  7. 如請求項6之方法，其進一步包含：使用對應於該等調色板單元中之該給定者的該給定索引值計算用於編碼該區塊之至少一個像素的一第一率失真成本，該給定者指示該至少一個像素之一色彩值；計算用於編碼作為一逸出像素的該區塊之該至少一個像素的一第二率失真成本，該編碼包括編碼該至少一個像素之一量化像素值；及基於該第一率失真成本計算與該第二率失真成本計算之一比較決定是保留還是移除該給定索引值及該調色板之該等調色板單元中之該對應者。
  8. 如請求項5之方法，其中決定是否修改該調色板大小包含決定是否將對應於該調色板之該等調色板單元中之一給定者的一給定索引值合併至對應於該調色板之該等調色板單元中之一相鄰者的一相鄰索引值中，其中將該給定索引值及該調色板之該等調色板單元中之該對應者合併至該相鄰索引值及該調色板之該等調色板單元中之該相鄰者中減小該調色板大小。
  9. 如請求項8之方法，其中該相鄰索引值為就距該給定索引值之一 最小歐幾里得距離而言的一最接近索引值或就相對於該給定索引值之索引次序而言的一最接近索引值中之一者。
  10. 如請求項8之方法，其進一步包含：使用對應於該等調色板單元中之該給定者的該給定索引值計算用於編碼該區塊之至少一個像素之一第一率失真成本，該給定者指示該至少一個像素之一第一色彩值；使用對應於該等調色板單元中之該相鄰者的該相鄰索引值計算用於編碼該區塊之該至少一個像素之一第二率失真成本，該相鄰者指示該至少一個像素之一第二色彩值，其中該第二色彩值類似於該第一色彩值；及基於該第一率失真成本計算與該第二率失真成本計算之一比較決定是否將該給定索引值及該調色板之該等調色板單元中之該對應者合併至該相鄰索引值及該調色板之該等調色板單元中之該相鄰者中。
  11. 如請求項5之方法，其中決定是否修改該調色板之該等調色板單元中之一或多者包含：使用一k均值聚類法決定用於該視訊資料之該區塊的一代表性調色板，該代表性調色板包括指示各別平均像素值之代表性調色板單元；針對該代表性調色板之該等代表性調色板單元中之一給定者，決定映射至該等代表性調色板單元中之該給定者的該等像素中之一者之一像素值，該像素值最接近由該等代表性調色板單元中之該給定者指示的該平均像素值；及基於該最接近像素值不同於由該調色板之該等調色板單元中之一對應者指示的該色彩值，選擇該最接近像素值作為由該調色板之該等調色板單元中之該給定者指示的一最終色彩值。
  12. 如請求項11之方法，其中使用該k均值聚類法決定該代表性調色板包含：針對該調色板之該等調色板單元中之每一者，計算該區塊之一或多個像素之一平均像素值，該一或多個像素映射至由該等調色板單元中之該各別者指示的該各別色彩值；及決定用於該視訊資料之該區塊的該代表性調色板，該代表性調色板包括指示該等各別平均像素值的該等代表性調色板單元，其中由一臨限值決定該k均值聚類法之迭代之一數目。
  13. 如請求項5之方法，其中使用該像素值聚類法決定該調色板之該調色板大小及該等調色板單元包含：針對該視訊資料之該區塊，決定包括複數個單元之一直方圖，每一單元包括一各別色彩值及映射至該色彩值的該區塊之一各別數量之像素；基於用於該等單元中之每一者的像素之該各別數量按降序對該直方圖之該等單元分類，以使得該直方圖之一第一單元包括相對於該等其他色彩值具有一最高數量之像素的該色彩值；及基於該直方圖之該等單元決定該調色板之該調色板大小及該等調色板單元。
  14. 一種視訊處理器件，其包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其與該記憶體通信且經組態以：決定視訊資料之一區塊為一調色板寫碼區塊；決定用於該區塊的包括指示一或多個各別色彩值之一或多個調色板單元的一調色板；決定該區塊之一或多個像素的索引值，該等索引值中之每一者對應於指示該區塊之該等像素中之一者之一色彩值的該 等調色板單元中之一者；基於該區塊的該調色板及該等索引值重建構視訊資料之該區塊；及基於該區塊為一調色板寫碼區塊決定停用該重建構區塊之過濾。
  15. 如請求項14之器件，其中該一或多個處理器經組態以停用該重建構區塊之解區塊過濾或該重建構區塊之樣本適應性偏移(SAO)過濾中之至少一者。
  16. 如請求項14之器件，其中該器件包含一視訊解碼器，且其中該視訊解碼器之該一或多個處理器經組態以基於停用該過濾重建構該視訊資料之該區塊及進行以下中之至少一者：輸出該視訊資料以供顯示或在不過濾該視訊資料之該重建構區塊之情況下將該視訊資料儲存於一經解碼圖像緩衝器中。
  17. 如請求項14之器件，其中該器件包含一視訊編碼器，且其中該視訊編碼器之該一或多個處理器經組態以基於停用該過濾重建構該視訊資料之該區塊及在不過濾該視訊資料之該重建構區塊之情況下將該視訊資料儲存於一經解碼圖像緩衝器中。
  18. 如請求項14之器件，其中該器件包含一視訊編碼器，且其中，為了決定用於該區塊之該調色板，該視訊編碼器之該一或多個處理器經組態以：使用一像素值聚類法決定該調色板之一調色板大小及該等調色板單元；及至少部分地基於率失真成本決定是否修改以下中之至少一者：該調色板的該調色板大小或該等調色板單元中之一或多者。
  19. 如請求項18之器件，其中，為了決定是否修改該調色板大小， 該一或多個處理器經組態以決定是保留還是移除對應於該調色板之該等調色板單元中之一給定者的一給定索引值，其中移除該給定索引值及該調色板之該等調色板單元中之該對應者減小該調色板大小。
  20. 如請求項19之器件，其中該一或多個處理器經組態以：使用對應於該等調色板單元中之該給定者的該給定索引值計算用於編碼該區塊之至少一個像素的一第一率失真成本，該給定者指示該至少一個像素的一色彩值；計算用於編碼作為一逸出像素的該區塊之該至少一個像素的一第二率失真成本，該編碼包括編碼該至少一個像素的一量化像素值；及基於該第一率失真成本計算與該第二率失真成本計算之一比較決定是保留還是移除該給定索引值及該調色板之該等調色板單元中之該對應者。
  21. 如請求項18之器件，其中，為了決定是否修改該調色板大小，該一或多個處理器經組態以決定是否將對應於該調色板之該等調色板單元中之一給定者的一給定索引值合併至對應於該調色板之該等調色板單元中之一相鄰者的一相鄰索引值中，其中將該給定索引值及該調色板之該等調色板單元中之該對應者合併至該相鄰索引值及該調色板之該等調色板單元中之該相鄰者中減小該調色板大小。
  22. 如請求項21之器件，其中該相鄰索引值為就距該給定索引值之一最小歐幾里得距離而言的一最接近索引值或就相對於該給定索引值的索引次序而言的一最接近索引值中之一者。
  23. 如請求項21之器件，其中該一或多個處理器經組態以：使用對應於該等調色板單元中之該給定者的該給定索引值計 算用於編碼該區塊之至少一個像素的一第一率失真成本，該給定者指示該至少一個像素的一第一色彩值；使用對應於該等調色板單元中之該相鄰者的該相鄰索引值計算用於編碼該區塊之該至少一個像素的一第二率失真成本，該相鄰者指示該至少一個像素的一第二色彩值，其中該第二色彩值類似於該第一色彩值；及基於該第一率失真成本計算與該第二率失真成本計算之一比較決定是否將該給定索引值及該調色板之該等調色板單元中之該對應者合併至該相鄰索引值及該調色板之該等調色板單元中之該相鄰者中。
  24. 如請求項18之器件，其中，為了決定是否修改該調色板之該等調色板單元中之一或多者，該一或多個處理器經組態以：使用一k均值聚類法決定用於該視訊資料之該區塊的一代表性調色板，該代表性調色板包括指示各別平均像素值之代表性調色板單元；針對該代表性調色板之該等代表性調色板單元中之一給定者，決定映射至該等代表性調色板單元中之該給定者的該等像素中之一者之一像素值，該像素值最接近由該等代表性調色板單元中之該給定者指示的該平均像素值；及基於該最接近像素值不同於由該調色板之該等調色板單元中之一對應給定者指示的該色彩值，選擇該最接近像素值作為由該調色板之該等調色板單元中之該給定者指示的一最終色彩值。
  25. 如請求項24之器件，其中，為了使用該k均值聚類法決定該代表性調色板，該一或多個處理器經組態以：針對該調色板之該等調色板單元中之每一者，計算該區塊之 一或多個像素之一平均像素值，該一或多個像素映射至由該等調色板單元中之該各別者指示的該各別色彩值；及決定用於該視訊資料之該區塊的該代表性調色板，該代表性調色板包括指示該等各別平均像素值的該等代表性調色板單元，其中由一臨限值決定該k均值聚類法之迭代之一數目。
  26. 如請求項18之器件，其中，為了使用該像素值聚類法決定該調色板之該調色板大小及該等調色板單元，該一或多個處理器經組態以：針對該視訊資料之該區塊，決定包括複數個單元之一直方圖，每一單元包括一各別色彩值及映射至該色彩值的該區塊之一各別數量之像素；基於用於該等單元中之每一者的像素之該各別數量按降序對該直方圖之該等單元分類，以使得該直方圖之一第一單元包括相對於該等其他色彩值具有一最高數量之像素的該色彩值；及基於該直方圖之該等單元決定該調色板之該調色板大小及該等調色板單元。
  27. 如請求項14之器件，其中該器件包含以下中之至少一者：一積體電路；一微處理器；或一無線通信器件。
  28. 一種視訊處理器件，其包含：用於決定視訊資料之一區塊為一調色板寫碼區塊之構件；用於決定用於該區塊的包括指示一或多個各別色彩值之一或多個調色板單元的一調色板的構件；用於決定該區塊之一或多個像素的索引值的構件，該等索引值中之每一者對應於指示該區塊之該等像素中之一者之一色彩 值的該等調色板單元中之一者；用於基於該區塊的該調色板及該等索引值重建構視訊資料之該區塊的構件；及用於基於該區塊為一調色板寫碼區塊決定停用該重建構區塊之過濾的構件。
  29. 一種非暫時性電腦可讀媒體，其上儲存有用於處理視訊資料之指令，該等指令在執行時引起一或多個處理器執行以下操作：決定視訊資料之一區塊為一調色板寫碼區塊；決定用於該區塊的包括指示一或多個各別色彩值之一或多個調色板單元的一調色板；決定該區塊之一或多個像素的索引值，該等索引值中之每一者對應於指示該區塊之該等像素中之一者之一色彩值的該等調色板單元中之一者；基於該區塊的該調色板及該等索引值重建構視訊資料之該區塊；及基於該區塊為一調色板寫碼區塊決定停用該重建構區塊之過濾。
TW104109836A 2014-03-26 2015-03-26 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾 TWI666918B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461970838P 2014-03-26 2014-03-26
US61/970,838 2014-03-26
US14/667,900 US9654806B2 (en) 2014-03-26 2015-03-25 Determining palette size, palette entries and filtering of palette coded blocks in video coding
US14/667,900 2015-03-25

Publications (2)

Publication Number Publication Date
TW201603562A true TW201603562A (zh) 2016-01-16
TWI666918B TWI666918B (zh) 2019-07-21

Family

ID=54192242

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104109836A TWI666918B (zh) 2014-03-26 2015-03-26 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾

Country Status (24)

Country Link
US (1) US9654806B2 (zh)
EP (1) EP3123727A1 (zh)
JP (1) JP6640105B2 (zh)
KR (1) KR102352642B1 (zh)
CN (1) CN106105228B (zh)
AU (1) AU2015235991B2 (zh)
BR (1) BR112016022085A8 (zh)
CA (1) CA2939678C (zh)
CL (1) CL2016002393A1 (zh)
CR (1) CR20160447A (zh)
DO (1) DOP2016000258A (zh)
GT (1) GT201600200A (zh)
HK (1) HK1226229A1 (zh)
IL (1) IL247899B (zh)
MX (1) MX357993B (zh)
MY (1) MY177780A (zh)
PH (1) PH12016501573B1 (zh)
RU (1) RU2678490C2 (zh)
SA (1) SA516371863B1 (zh)
SG (1) SG11201606420TA (zh)
SV (1) SV2016005285A (zh)
TW (1) TWI666918B (zh)
WO (1) WO2015148814A1 (zh)
ZA (1) ZA201607321B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
ES2893815T3 (es) * 2013-12-10 2022-02-10 Canon Kk Procedimiento y aparato para codificar o descodificar una paleta en el modo de codificación de paleta
US10321141B2 (en) 2013-12-18 2019-06-11 Hfi Innovation Inc. Method and apparatus for palette initialization and management
WO2015091879A2 (en) * 2013-12-19 2015-06-25 Canon Kabushiki Kaisha Improved encoding process using a palette mode
CN110225345B (zh) 2013-12-27 2022-07-19 寰发股份有限公司 用于主颜色索引图编码的方法及装置
EP3087738B1 (en) * 2013-12-27 2019-10-02 MediaTek Inc. Method and apparatus for palette coding with cross block prediction
CA2934743C (en) 2013-12-27 2018-11-27 Hfi Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
EP3061247A4 (en) 2014-01-07 2016-08-31 Mediatek Inc METHOD AND APPARATUS FOR COLOR INDEX PREDICTION
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
US10136141B2 (en) 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
US9924175B2 (en) 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
RU2679201C2 (ru) 2014-09-30 2019-02-06 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Правила для режимов внутрикадрового прогнозирования, когда активируется волновая параллельная обработка данных
US9596479B2 (en) * 2014-10-07 2017-03-14 Hfi Innovation Inc. Method of pulse-code modulation and palette coding for video coding
JP6122516B2 (ja) * 2015-01-28 2017-04-26 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ エンコーディング方法及びエンコーダ
WO2016192662A1 (en) * 2015-06-03 2016-12-08 Mediatek Inc. Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems
EP3308540B1 (en) * 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
GB2539486B (en) * 2015-06-18 2019-07-31 Gurulogic Microsystems Oy Encoder, decoder and method employing palette compression
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
JP6613842B2 (ja) * 2015-11-24 2019-12-04 富士通株式会社 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP6662123B2 (ja) * 2016-03-14 2020-03-11 富士通株式会社 画像符号化装置、画像符号化方法、及び画像符号化プログラム
WO2018054570A1 (en) * 2016-09-23 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Image compression technique
CN106686384B (zh) * 2016-11-29 2019-05-24 西安万像电子科技有限公司 文字块的压缩方法和装置以及图像压缩方法和装置
CN106604032B (zh) * 2016-11-29 2020-02-04 西安万像电子科技有限公司 图像中文字块的压缩方法和装置及图像压缩方法和装置
CN106851294B (zh) * 2017-01-03 2018-08-14 西安万像电子科技有限公司 图像的压缩方法和装置及其文字块的压缩方法和装置
US11004237B2 (en) * 2017-10-12 2021-05-11 Sony Group Corporation Palette coding for color compression of point clouds
US11616962B2 (en) * 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
JP7359936B2 (ja) 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
CN114424532A (zh) * 2019-07-21 2022-04-29 Lg电子株式会社 根据是否应用调色板模式执行去块滤波的图像编码/解码方法和设备及发送比特流的方法
US11076151B2 (en) * 2019-09-30 2021-07-27 Ati Technologies Ulc Hierarchical histogram calculation with application to palette table derivation
US11120289B2 (en) 2019-09-30 2021-09-14 Ati Technologies Ulc Parallel histogram calculation with application to palette table derivation
WO2021136470A1 (en) * 2019-12-31 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Clustering based palette mode for video coding
KR102589351B1 (ko) * 2020-03-25 2023-10-16 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11937070B2 (en) 2021-07-01 2024-03-19 Tencent America LLC Layered description of space of interest
CN117834892A (zh) * 2022-09-29 2024-04-05 腾讯科技（深圳）有限公司 视频编码方法和装置、计算设备、存储介质及程序产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204086A1 (en) * 2005-03-10 2006-09-14 Ullas Gargi Compression of palettized images
JP4623301B2 (ja) * 2005-12-17 2011-02-02 富士ゼロックス株式会社 画像処理装置、画像処理プログラム
US7903873B2 (en) * 2007-09-13 2011-03-08 Microsoft Corporation Textual image coding
RU2420021C2 (ru) * 2009-03-24 2011-05-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображений и видеопоследовательностей
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US8571311B2 (en) * 2011-12-15 2013-10-29 Microsoft Corporation Raster graphics image transcoding for file size reduction
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
JP5632431B2 (ja) 2012-09-04 2014-11-26 株式会社東芝 画像符号化装置、及び画像符号化方法

Also Published As

Publication number Publication date
ZA201607321B (en) 2019-04-24
PH12016501573A1 (en) 2016-09-14
SG11201606420TA (en) 2016-10-28
GT201600200A (es) 2018-11-27
AU2015235991B2 (en) 2019-07-25
CN106105228A (zh) 2016-11-09
MY177780A (en) 2020-09-23
MX357993B (es) 2018-08-01
MX2016011213A (es) 2016-11-30
RU2016137792A (ru) 2018-04-26
JP2017514365A (ja) 2017-06-01
PH12016501573B1 (en) 2016-09-14
BR112016022085A2 (pt) 2017-08-15
US9654806B2 (en) 2017-05-16
CA2939678C (en) 2022-10-18
KR102352642B1 (ko) 2022-01-17
RU2016137792A3 (zh) 2018-11-23
CN106105228B (zh) 2019-05-31
CR20160447A (es) 2016-11-08
NZ723093A (en) 2022-03-25
JP6640105B2 (ja) 2020-02-05
TWI666918B (zh) 2019-07-21
US20150281703A1 (en) 2015-10-01
AU2015235991A1 (en) 2016-09-01
HK1226229A1 (zh) 2017-09-22
KR20160138102A (ko) 2016-12-02
RU2678490C2 (ru) 2019-01-29
CA2939678A1 (en) 2015-10-01
SA516371863B1 (ar) 2019-08-05
EP3123727A1 (en) 2017-02-01
CL2016002393A1 (es) 2017-04-17
IL247899B (en) 2018-03-29
WO2015148814A1 (en) 2015-10-01
BR112016022085A8 (pt) 2021-07-13
DOP2016000258A (es) 2016-12-31
SV2016005285A (es) 2017-04-24

Similar Documents

Publication Publication Date Title
TWI666918B (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
US11146788B2 (en) Grouping palette bypass bins for video coding
KR102305988B1 (ko) 팔레트-기반 비디오 코딩을 위한 컬러 인덱스 코딩
TWI689197B (zh) 用於次取樣格式之調色模式
TWI669944B (zh) 基於調色板之視訊寫碼中之寫碼行程
US9826242B2 (en) Palette-based video coding
TWI689195B (zh) 用於調色板寫碼之寫碼逃脫像素
TW201711461A (zh) 片級內部區塊複製及其他視訊寫碼改善
TW201603563A (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
TW201633788A (zh) 用於視訊寫碼之調色板模式寫碼
TW201608880A (zh) 基於調色板之視訊寫碼中之逃脫樣本寫碼
TW201817227A (zh) 峰值樣本適應性偏移
US9961351B2 (en) Palette mode coding
NZ737096B2 (en) Grouping palette bypass bins for video coding
NZ723093B2 (en) Determining palette size, palette entries and filtering of palette coded blocks in video coding