TW201545543A - 基於調色板之視訊寫碼 - Google Patents

基於調色板之視訊寫碼 Download PDF

Info

Publication number
TW201545543A
TW201545543A TW104108210A TW104108210A TW201545543A TW 201545543 A TW201545543 A TW 201545543A TW 104108210 A TW104108210 A TW 104108210A TW 104108210 A TW104108210 A TW 104108210A TW 201545543 A TW201545543 A TW 201545543A
Authority
TW
Taiwan
Prior art keywords
pixel
row
palette
block
video
Prior art date
Application number
TW104108210A
Other languages
English (en)
Other versions
TWI624172B (zh
Inventor
Wei Pu
Feng Zou
Rajan Laxman Joshi
Rojals Joel Sole
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201545543A publication Critical patent/TW201545543A/zh
Application granted granted Critical
Publication of TWI624172B publication Critical patent/TWI624172B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding

Abstract

在一實例中，一種寫碼視訊資料之方法包括藉由一視訊寫碼器及針對視訊資料之一區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之該區塊之一第一排包括一鄰近於視訊資料之該區塊之一邊緣而定位的像素，且其中視訊資料之該區塊之一第二排包括一鄰近於該區塊之該邊緣並鄰近於該第一排之該像素而定位的像素。在此實例中，該方法亦包括按一掃描次序寫碼將該區塊之像素映射至該調色板中之輸入項的索引值，其中該第二排之該像素按該掃描次序緊跟在該第一排之該像素之後。

Description

基於調色板之視訊寫碼
本申請案主張2014年3月14日申請之美國臨時申請案第61/953,667號之權益，該申請案之整個內容以引用的方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書讀取器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施諸如以下各者之視訊壓縮技術：描述於由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前在開發中的高效率視訊寫碼(HEVC)標準及此等標準之擴展中的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減小或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將視訊片段(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。可 使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)之片段中的視訊區塊。圖像之框間寫碼(P或B)片段中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測引起待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘係數，接著可對殘餘係數進行量化。最初配置成二維陣列的經量化係數可經掃描以便產生係數的一維向量，且熵寫碼可應用以達成甚至更多壓縮。
本發明之技術係關於基於調色板之視訊寫碼。舉例而言，在基於調色板之寫碼中，視訊寫碼器(視訊編碼器或視訊解碼器)可將所謂的「調色板」形成為用於表示特定區域(例如，給定區塊)之視訊資料的色彩表。基於調色板之寫碼可尤其適用於寫碼具有相對較小數目色彩之視訊資料之區域。視訊寫碼器可寫碼像素中之一或多者的索引值，而非寫碼實際像素值(或其殘餘)，該等索引值使像素與表示像素之色彩的調色板中之輸入項相關。調色板可經明確地編碼並發送至解碼器，自先前調色板輸入項預測，或其組合。本發明中描述之技術可包括用於發信基於調色板之寫碼模式、寫碼調色板、預測調色板、導出調色板以及寫碼基於調色板之寫碼映射及其他語法元素中之一或多者的不同組合的技術。
在一個實例中，寫碼視訊資料之方法包括藉由視訊寫碼器及針對 視訊資料之區塊判定具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之區塊之第一排包括一鄰近於視訊資料之區塊之邊緣而定位的像素，且其中視訊資料之區塊之第二排包括一鄰近於該區塊之邊緣並鄰近於第一排之像素而定位的像素。在此實例中，方法亦包括按掃描次序寫碼將區塊之像素映射至調色板中之輸入項的索引值，其中第二排之像素按掃描次序緊跟在第一排之像素之後。
在另一實例中，用於寫碼視訊資料之裝置包括一經組態以儲存視訊資料之區塊的記憶體，及一或多個處理器。在此實例中，一或多個處理器經組態以：針對視訊資料之區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之區塊之第一排包括鄰近於視訊資料之區塊之邊緣而定位的像素，且其中視訊資料之區塊之第二排包括鄰近於區塊之邊緣並鄰近於第一排之像素而定位的像素；及按掃描次序寫碼將區塊之像素映射至調色板中之輸入項的索引值，其中第二排之像素按掃描次序緊跟在第一排之像素之後。
在另一實例中，用於寫碼視訊資料之裝置包括用於藉由視訊寫碼器及針對視訊資料之區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板的構件，其中視訊資料之區塊之第一排包括一鄰近於視訊資料之區塊之邊緣而定位的像素，且其中視訊資料之區塊之第二排包括一鄰近於區塊之邊緣並鄰近於第一排之像素而定位的像素；及用於按掃描次序寫碼將區塊之像素映射至調色板中之輸入項的索引值的構件，其中第二排之像素按掃描次序緊跟在第一排之像素之後。
在另一實例中，電腦可讀媒體在其上儲存指令，該等指令在經執行時致使視訊寫碼器之一或多個處理器：針對視訊資料之區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之區塊之第一排包括鄰近於視訊資料之區塊之邊緣而定位的像素，且其中視訊資料之區塊之第二排包括鄰近於區塊之邊緣並鄰近於第一排 之像素而定位的像素；及按掃描次序寫碼將區塊之像素映射至調色板中之輸入項的索引值，其中第二排之像素按掃描次序緊跟在第一排之像素之後。
在隨附圖式及以下描述中闡明了本發明之一或多個實例的細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧逆量化單元
110‧‧‧逆變換處理單元
112‧‧‧重新建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧基於調色板之編碼單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧逆量化單元
156‧‧‧逆變換處理單元
158‧‧‧重新建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧基於調色板之解碼單元
166‧‧‧框內預測處理單元
178‧‧‧圖像
180‧‧‧第一寫碼單元(CU)
184‧‧‧第一調色板
188‧‧‧第二寫碼單元(CU)
192‧‧‧第二調色板
196‧‧‧區塊
200‧‧‧區塊
202‧‧‧輸入項
204‧‧‧輸入項
206‧‧‧輸入項
208‧‧‧輸入項
210‧‧‧輸入項
212‧‧‧輸入項
214‧‧‧輸入項
240‧‧‧映射
244‧‧‧調色板
266‧‧‧排/列
268‧‧‧排/列
270‧‧‧排/列
600A‧‧‧區塊
600B‧‧‧區塊
602A‧‧‧第一排
602B‧‧‧第一排
604A‧‧‧第二排
604B‧‧‧第二排
606A‧‧‧第一像素
606B‧‧‧第一像素
608A‧‧‧最後像素/最後值
608B‧‧‧最後像素/最後值
610A‧‧‧第一像素/第一值
610B‧‧‧第一像素/第一值
612A‧‧‧最後像素
612B‧‧‧最後像素
614A‧‧‧掃描次序
614B‧‧‧掃描次序
616A‧‧‧第一邊緣
616B‧‧‧第一邊緣
618A‧‧‧第二邊緣
618B‧‧‧第二邊緣
702‧‧‧當前排
704‧‧‧候選者開始位置1
706‧‧‧當前排
708‧‧‧上排
710‧‧‧候選者開始位置2
712‧‧‧位置
714‧‧‧當前位置
716‧‧‧候選者開始位置3
718‧‧‧候選者開始位置4
802‧‧‧當前排
804‧‧‧上排
806‧‧‧候選者開始位置1
808‧‧‧候選者開始位置2
810‧‧‧候選者開始位置3
812‧‧‧上排
814‧‧‧當前排
902‧‧‧步驟
904‧‧‧步驟
1002‧‧‧步驟
1004‧‧‧步驟
1006‧‧‧步驟
1008‧‧‧步驟
1010‧‧‧步驟
1012‧‧‧步驟
1014‧‧‧步驟
1016‧‧‧步驟
1018‧‧‧步驟
1020‧‧‧步驟
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖4為說明根據本發明之技術的判定用於寫碼視訊資料之調色板的實例之概念圖。
圖5為根據本發明之技術的判定至像素之區塊的調色板之索引的實例之概念圖。
圖6A及圖6B為說明根據本發明之技術的實例掃描次序的概念圖。
圖7A至圖7C為說明根據本發明之技術的基於調色板之視訊寫碼的實例模式的概念圖。
圖8A至圖8C為說明根據本發明之技術的基於調色板之視訊寫碼的實例模式之概念圖。
圖9為說明根據本發明之技術的用於使用調色板寫碼模式寫碼視訊資料之實例程序的流程圖。
圖10為說明根據本發明之技術的用於判定視訊資料之區塊的調色板之實例程序的流程圖。
本發明包括用於視訊寫碼及壓縮之技術。詳言之，本發明描述用於視訊資料之基於調色板之寫碼的技術。在傳統視訊寫碼中，影像經假定為連續色調且在空間上平滑。基於此等假定，已開發不同工具，諸如基於區塊之變換、濾波等，及此等工具已展示針對天然內容視訊之良好效能。
然而，在類似遠端桌上型、合作工作及無線顯示器之應用中，電腦產生之螢幕內容(例如，本文或電腦圖形)可為待壓縮的主內容。此類型之內容傾向於具有離散色調及特徵尖銳線，及高對比度目標邊界。連續色調及平滑度之假設可不再適用於螢幕內容，及因此傳統視訊寫碼技術可不為壓縮包括螢幕內容之視訊資料的有效方式。
本發明描述基於調色板之寫碼，其可特別適合於螢幕產生之內容寫碼。舉例而言，假定視訊資料之特定區域具有相對較小數目之色彩。視訊寫碼器(視訊編碼器或視訊解碼器)可將所謂的「調色板」寫碼為用於表示特定區域(例如，給定區塊)之視訊資料的色彩表。每一像素可與調色板中表示像素之色彩的輸入項相關聯。舉例而言，視訊寫碼器可寫碼一將像素值映射至調色板中之適當輸入項的索引。
在以上實例中，視訊編碼器可藉由判定用於區塊之調色板(例如，明確地寫碼調色板、預測其，或其組合)、定位表示每一像素之值的在調色板中之輸入項及藉由像素之索引值(將像素值映射至調色板)編碼調色板而編碼視訊資料之區塊。視訊解碼器可自經編碼位元串流獲得用於區塊之調色板，以及用於區塊之像素的索引值。視訊解碼器可將像素之索引值映射至調色板之輸入項以重新建構區塊之像素值。
以上實例意欲提供基於調色板之寫碼的一般描述。在各種實例中，本發明中描述之技術可包括用於發信基於調色板之寫碼模式、傳輸調色板、預測調色板、導出調色板以及傳輸基於調色板之寫碼映射及其他語法元素中之一或多者的不同組合的技術。此等技術可改良視 訊寫碼效率，例如需要較少位元來表示螢幕產生之內容。
用於視訊資料之基於調色板寫碼的技術可與一或多個其他寫碼技術(諸如用於框間或框內預測性寫碼之技術)一起使用。舉例而言，如下文較詳細描述，編碼器或解碼器，或組合之編碼器解碼器(編解碼器)可經組態以執行框間或框內預測性寫碼，以及基於調色板之寫碼。
在一些實例中，基於調色板之寫碼技術可經組態以與一或多個視訊寫碼標準一起使用。舉例而言，高效率視訊寫碼(HEVC)為由ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發的新的視訊寫碼標準。最新的HEVC本文規格描述於可在www.itu.int/rec/T-REC-H.265-201304-I處獲得的Bross等人之「High Efficiency Video Coding(HEVC)Text Specification」(「HEVC版本1」)中。
就HEVC構架而言，作為實例，基於調色板之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的PU模式。相應地，在CU模式之上下文中描述之以下所有揭示程序可另外或或者適用於PU。然而，不應認為此等基於HEVC之實例約束或限制本文中所描述的基於調色板之寫碼技術，因為此等技術可應用以獨立地或作為其他現有或尚待開發系統/標準之一部分工作。在此等情況下，用於調色板寫碼之單元可為方形區塊、矩形區塊或甚至非矩形形狀區域。
本發明之態樣係關於寫碼將區塊之像素映射至調色板中之輸入項(各自對應於各別色彩值)的索引值。視訊寫碼器可按特定次序寫碼映射之索引值，該特定次序可被稱作掃描次序或掃描方向。舉例而言，如下文關於圖6A之實例較詳細地描述，可自上而下、自左至右以可被稱作點陣掃描次序之次序掃描映射之索引。在點陣掃描次序中，可直接在先前排之最後索引之後掃描當前排之第一索引。
然而，在一些實例中，按點陣掃描次序掃描索引可不係有效的。舉例而言，在視訊資料之區塊之第一排包括一鄰近於視訊資料之區塊之第一邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素，視訊資料之區塊之第二排包括一鄰近於視訊資料之區塊之第一邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素的情況下，第一排之最後像素鄰近於第二排之最後像素，且第一邊緣與第二邊緣平行，第一排中之最後像素與第二排中之最後像素相同，但不同於第二排中之第一像素。與其他類型之視訊內容相比，此情況(亦即，其中第一排中之最後像素與第二排中之最後像素相同或類似，但不同於第二排中之第一像素)可更頻繁出現在電腦產生螢幕內容中。換言之，對於螢幕內容，可存在位於區塊之相同邊緣的像素與位於區塊之相對邊緣的像素相比具有相同或類似值的較高機率。點陣掃描可不利用此相關性。
根據本發明之一或多個技術，當編碼映射時視訊寫碼器可利用蛇形掃描次序。舉例而言，為繼續以上實例及如下文關於圖6B之實例較詳細地描述，視訊編碼器20可寫碼映射，以使得第二排之最後像素緊跟在第一排之最後像素之後按掃描次序掃描。以此方式，視訊編碼器20可改良延行長度寫碼之效率。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可大體上係指視訊編碼或視訊解碼。視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行根據本發明中描述之各種實例的用於基於調色板之視訊寫碼的技術的器件之實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以使用基於調色板之寫碼或非基於調色板之寫碼而選擇性地寫碼視訊資料之不同區塊(諸如HEVC寫碼中之CU或 PU)。非基於調色板之寫碼模式可係指不同框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如藉由HEVC版本1指定的不同寫碼模式。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生的經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍的器件，包含桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機頂盒、諸如所謂的「智慧型」電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或其類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，頻道16可包含使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路)的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生的經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可經由磁碟或卡存取來 存取儲存媒體。儲存媒體可包括多種本機存取之資料儲存媒體，諸如藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料，並將經編碼視訊資料傳輸至目的地器件14之類型的伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本機磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)、或適於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。經編碼之視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸，或兩者之結合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如經由網際網路)、供儲存於資料儲存媒體上之視訊資料的編碼、儲存於資料儲存媒體上之視訊資料的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅為實例，且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本機記憶體而擷取、經由網路而串流，或其類似者。視訊編碼器件可編碼資料及將資料儲存至記憶體，及/ 或視訊解碼器件可自記憶體擷取資料及解碼資料。在許多實例中，由並不彼此通信但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊捕捉器件、含有先前所捕捉之視訊資料的視訊封存檔、用以自視訊內容提供者接收視訊資料的視訊饋送介面，及/或用於產生視訊資料之電腦圖形系統，或視訊資料之此等源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上，以稍後供目的地器件14存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。大體而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
本發明可大體上係指視訊編碼器20「發信」或「傳輸」某些資訊至另一器件(諸如視訊解碼器30)。術語「發信」或「傳輸」可大體上係指用於解碼經壓縮視訊資料之語法元素及/或其他資料的通信。可即時或接近即時地發生此通信。替代地，可歷時時間跨度而發生此傳達，諸如當在編碼時間處，將經編碼位元串流中之語法元素儲存至電腦可讀儲存媒體時，可發生此傳達，接著，在儲存於此媒體之後可由解碼 器件在任何時間處擷取該等語法元素。因此，雖然視訊解碼器30可被稱作「接收」某些資訊，但資訊之接收未必即時或接近即時發生且可在儲存之後在某一時間處自媒體擷取。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地以軟體來實施技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將上述內容(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合編碼器/解碼器(編解碼器(CODEC))的部分。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準(諸如上文提及並在HEVC版本1中描述之HEVC標準)操作。除基本HEVC標準以外，存在持續努力產生用於HEVC之可調式視訊寫碼，多視圖視訊寫碼，及3D寫碼擴展。另外，可在HEVC標準之擴展中提供(例如)如本發明中所描述的基於調色板之寫碼模式。在一些實例中，本發明中針對基於調色板之寫碼而描述的技術可應用於經組態以根據其他視訊寫碼標準(諸如ITU-T-H.264/AVC標準或將來標準)操作的編碼器及解碼器。因此，用於HEVC編解碼器中之寫碼單元(CU)或預測單元(PU)之寫碼的基於調色板之寫碼模式的應用係為了實例之目的而描述。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，表示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb係Cb色度樣本之二維陣列。SCr為Cr色度樣本之二維陣列。色度(Chrominance)樣本亦 可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本之陣列。
為產生圖像之經編碼表示，視訊編碼器20可產生一組寫碼樹單元(CTU)。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用於寫碼寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC的其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。片段可包括在點陣掃描中連續定序之整數數目個CTU。
經寫碼片段可包含片段標頭及片段資料。片段之片段標頭可為包括提供關於片段之資訊的語法元素的語法結構。片段資料可包括片段之經寫碼CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以係指一或多個樣本區塊及用於寫碼樣本之該一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區等等。在一些情形中，PU之論述可與巨集區塊分區之巨集區塊的論述互換。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，之後命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為具有一明度樣本陣列、一Cb樣本陣列及一Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應的寫碼區塊，及用以寫碼該等寫碼區塊之樣本的語法結構。視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本的預測區塊，圖像之色度樣本的兩個對應預測區塊，及用以對預測區塊樣本進行預 測的語法結構。視訊編碼器20可產生CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊之預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測，以產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之解碼樣本而產生PU之預測性區塊。
若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本，產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU之預測性區塊。當視訊編碼器20使用單向預測以為PU產生預測性區塊時，PU可具有單一MV。當視訊編碼器20使用雙向預測以為PU產生預測性區塊時，PU可具有兩個MV。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊可為應用相同變換所針對的樣本之矩形區塊。CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩個對應的變換區塊，及用於對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與一明度變換區塊、一Cb變換區塊及一Cr變換區塊相 關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化通常係指將變換係數量化以可能地減少用以表示該等變換係數之資料之量，從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化之變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。
視訊編碼器20可輸出一包括經熵編碼語法元素的位元串流。位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元序列。位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭，且囊封原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內的整數數目個位元組的語法結構。在一些情況下，RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於圖像參數集(PPS)的RBSP，第二類型之NAL單元可囊封用於經寫碼片段的RBSP，第三類型之NAL單元可囊封用於 SEI的RBSP，等等。囊封視訊寫碼資料之RBSP(相反於參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之一位元串流。此外，視訊解碼器30可剖析該位元串流以自該位元串流解碼語法元素。視訊解碼器30可至少部分基於自位元串流解碼之語法元素重新建構視訊資料之圖像。重新建構視訊資料之程序可大體上與藉由視訊編碼器20執行之程序互逆。
舉例而言，視訊解碼器30可使用PU之MV以為當前CU之PU判定預測性樣本區塊。另外，視訊解碼器30可逆量化與當前CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行逆變換，以重新建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性樣本區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重新建構當前CU之寫碼區塊。藉由重新建構圖像之每一CU的寫碼區塊，視訊解碼器30可重新建構圖像。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行基於調色板之寫碼。舉例而言，在基於調色板之寫碼中，視訊編碼器20及視訊解碼器30可將所謂的調色板寫碼為色彩表以用於表示特定區域(例如，給定區塊)之視訊資料，而非執行上文描述之框內預測性或框間預測性寫碼技術。每一像素可與調色板中表示像素之色彩的輸入項相關聯。舉例而言，視訊編碼器20及視訊解碼器30可寫碼一將像素值與調色板中之適當值相關的索引。
在以上實例中，視訊編碼器20可藉由判定用於區塊之調色板、定位調色板中之輸入項以表示每一像素之值及藉由像素的將像素值與調色板相關的索引值編碼調色板而編碼視訊資料之區塊。視訊解碼器30可自經編碼位元串流獲得用於區塊之調色板，以及區塊之像素的索引值。視訊解碼器30可將像素之索引值與調色板之輸入項相關以重新建 構區塊之像素值。
本發明之態樣係關於調色板導出。作為一個實例，視訊編碼器20可藉由導出當前區塊中的像素之直方圖而導出當前區塊之調色板。在一些實例中，直方圖可表達為H={(v i ,f i ),i={0,1,2,…,M}}，其中M+1為當前區塊中之不同像素值的數目，v i 為像素值，f i 為v i 出現的數目(亦即，當前區塊中多少像素具有像素值v i )。在此等實例中，直方圖大體上表示像素值出現在當前區塊中的次數。
當導出直方圖時，視訊編碼器20可初始化一或多個變數。作為一個實例，視訊編碼器20可將調色板索引idx初始化為0，(亦即，設定idx=0)。作為另一實例，視訊編碼器20可將調色板P初始化為空(亦即，P=,，設定j=0)。
視訊編碼器20可(例如，按降序)排序直方圖，以使得具有更多出現的像素接近值清單之前面置放。舉例而言，視訊編碼器20可根據f i 之降序排序H且定序清單可表達為H o ={(u i ,f i ),i={0,1,2,…,M},f i f i+1}。在此實例中，定序清單包括在清單之前面(頂部)處的最多頻繁出現之像素值及在清單之後面(底部)處的最少頻繁出現之像素值。
視訊編碼器20可將來自直方圖之一或多個輸入項複製至調色板中。作為一個實例，視訊編碼器20可將直方圖中具有最大頻率之輸入項插入至調色板中。舉例而言，視訊編碼器20可將(j,u j )插入至調色板P中(亦即，P=P∪{(idx,u j )})。在一些實例中，在將輸入項插入至調色板中之後，視訊編碼器20可評估直方圖中之具有下一最大頻率的輸入項以用於插入至調色板中。舉例而言，視訊編碼器20可設定idx=idx+1，j=j+1。
視訊編碼器20可判定具有下一最大頻率的輸入項(亦即，u j+1)是否在調色板中之任何像素(亦即，x)之鄰域內(亦即，Distance(u j+1 ,x)<Thresh)。舉例而言，視訊編碼器20可藉由判定輸入項之值是否在調 色板中的任何像素之值的臨限距離內而判定輸入項是否在調色板中之任何像素的鄰域內。在一些實例中，視訊編碼器20可靈活地選擇距離函式。作為一個實例，視訊編碼器20可選擇距離函式作為絕對差之和(SAD)或三個色彩分量(例如，亮度、藍色色調色度及紅色色調色度中的每一者)或一色彩分量(例如，亮度、藍色色調色度或紅色色調色度中的一者)之預測平方誤差之和(SSE)。在一些實例中，視訊編碼器20可靈活地選擇臨限值Thresh。作為一個實例，視訊編碼器20可選擇取決於當前區塊之量化參數(QP)的臨限值。作為另一實例，視訊編碼器20可選擇取決於idx之值或j之值的臨限值。
若視訊編碼器20判定具有下一最大頻率之輸入項(亦即，u j+1)在調色板中的任何像素之鄰域內，則視訊編碼器20可不插入直方圖中之輸入項。若視訊編碼器20判定具有下一最大頻率之輸入項(亦即，u j+1)不在調色板中的任何像素之鄰域內，則視訊編碼器20可插入直方圖中之輸入項。
視訊編碼器20可繼續在調色板中插入輸入項直至滿足一或多個條件為止。一些實例條件為當idx=M時，當j=M時，或當調色板之大小大於預定值時。
基於調色板之寫碼可具有一定量發信額外負荷。舉例而言，可需要數個位元來發信調色板之特性(諸如調色板之大小)以及調色板自身。另外，可需要數個位元來發信區塊之像素的索引值。在一些實例中，本發明之技術可減少發信此資訊所需的位元之數目。舉例而言，本發明中描述之技術可包括用於發信基於調色板之寫碼模式、傳輸調色板、預測調色板、導出調色板以及傳輸基於調色板之寫碼映射及其他語法元素中之一或多者的不同組合的技術。
在一些實例中，視訊編碼器20及/或視訊解碼器30可使用另一調色板預測一調色板。舉例而言，視訊編碼器20及/或視訊解碼器30可判定 一具有指示第一像素值之第一輸入項的第一調色板。視訊編碼器20及/或視訊解碼器30可接著基於第一調色板之第一輸入項判定指示第二調色板之第二像素值的一或多個第二輸入項。視訊編碼器20及/或視訊解碼器30亦可使用第二調色板寫碼視訊資料之區塊之像素。
當基於第一調色板中之輸入項判定第二調色板之輸入項時，視訊編碼器20可編碼多種語法元素，其可藉由視訊解碼器使用以重新建構第二調色板。舉例而言，視訊編碼器20可編碼位元串流中之一或多個語法元素以指示整個調色板(或多個調色板，在具有獨立調色板的視訊資料之每一色彩分量(例如，Y、Cb、Cr或Y、U、V或R、G、B)情況下)自當前正被寫碼的區塊之一或多個相鄰區塊複製。預測(例如，複製)當前區塊之當前調色板之輸入項所藉以的調色板可被稱作預測性調色板。預測性調色板可含有來自包括在空間上相鄰之區塊及/或按區塊之特定掃描次序的相鄰區塊的一或多個相鄰區塊之調色板輸入項。舉例而言，相鄰區塊可在空間上位於當前正被寫碼的區塊左邊(左相鄰區塊)或位於當前正被寫碼的區塊之上(上部相鄰區塊)。在另一實例中，視訊編碼器20可使用當前區塊之因果相鄰者中之最多頻繁樣本值判定預測性調色板輸入項。在另一實例中，相鄰區塊可與當前正根據用於寫碼區塊之特定掃描次序寫碼的區塊相鄰。亦即，相鄰區塊可為在當前區塊之前按掃描次序寫碼的一或多個區塊。視訊編碼器20可編碼一或多個語法元素以指示複製調色板所藉以的相鄰區塊之位置。
在一些實例中，可逐個輸入項執行調色板預測。舉例而言，視訊編碼器20可編碼一或多個語法元素以針對預測性調色板之每一輸入項指示調色板輸入項是否包括於當前區塊的調色板中。若視訊編碼器20未預測當前區塊的調色板之輸入項，則視訊編碼器20可編碼一或多個額外語法元素以指定非預測輸入項，以及此等輸入項之數目。
上文所描述的語法元素可被稱作調色板預測向量。舉例而言，如 上文所提，視訊編碼器20及視訊解碼器30可基於來自相鄰區塊的一或多個調色板(共同地稱作參考調色板)預測當前區塊之調色板。當產生參考調色板時，先進先出(FIFO)可藉由添加最近調色板至佇列之前面中而使用。若佇列超過預定臨限值，則最老的元素可彈出。在將新元素推至佇列之前面中之後，修剪程序可應用以去除複製元素，自佇列之開頭計數。特定地，在一些實例中，視訊編碼器20可編碼(且視訊解碼器30可解碼)0-1向量以指示參考調色板中之像素值是否再用於當前調色板。作為實例，如以下表1之實例中所示，參考調色板可包括六個項目(例如，六個索引值及各別像素值)。
在一為達成說明之目的的實例中，視訊編碼器20可發信一指示v0、v2、v3、v4及v5再用於當前調色板中而v1不再使用的向量(1,0,1,1,1,1)。除再使用v0、v2、v3、v4及v5以外，視訊編碼器20可添加具有索引5及6的兩個新項目至當前調色板。以下在表2中展示用於此實例之當前調色板。
為寫碼調色板預測0-1向量，對於向量中之每一項目，視訊編碼器20可寫碼一個位元以表示其值且可使用旁路CABAC寫碼該位元。就CABAC而言，作為實例，視訊寫碼器(視訊編碼器20或視訊解碼器30)可選擇機率模型(亦稱作上下文模型)以寫碼與視訊資料之區塊相關聯的符號。舉例而言，在編碼器處，可藉由使用機率模型寫碼目標符號。在解碼器處，可藉由使用機率模型剖析目標符號。在一些情況下，可使用上下文自適應性與非上下文自適應性寫碼之組合寫碼二進位文件。舉例而言，視訊寫碼器可使用旁路模式以繞過或省略用於一或多個二進位文件之正規算術寫碼上下文調適程序，而對於其他二進位文件則使用上下文自適應性寫碼。在此等實例中，視訊寫碼器可使用固定機率模型來旁路寫碼二進位文件。亦即，經旁路寫碼之二進位文件不包括上下文或機率更新。大體而言，上下文寫碼二進位文件可指使用上下文寫碼模式寫碼二進位文件。同樣，旁路寫碼二進位文件可指使用旁路寫碼模式寫碼二進位文件。
然而，歸因於調色板之間的高相關性，調色板預測向量中之零及一可不均等地分佈，其可影響寫碼效率，例如，因為0-1向量可不充分利用調色板之間的高相關性。另外，不能被預測的調色板項目之數目(例如，新的調色板輸入項(在以上表2之實例中的u0及u1)之數目)可使用一元碼而二進位化並被發信，一元碼中每一位元係使用旁路CABAC寫碼。類似於調色板預測向量中之問題，模型化一元碼中之每一位元以具有相等機率可為次優方案，例如，因為實際上一元碼中之位元可具有不同機率。
根據本發明之一或多個技術，視訊編碼器20可使用CABAC藉由上下文寫碼調色板預測向量及/或一元寫碼剩餘調色板大小，(例如)以相對於依賴於此等二進位文件之旁路寫碼的技術改良寫碼效率。在一些實例中，調色板預測向量中之項目可共用單個CABAC上下文。以此方 式，可減少複雜性。在一些實例中，一元碼可使用單個上下文。亦以此方式，可減少複雜性。
在一些實例中，視訊編碼器20可使用固定長度寫碼來寫碼索引值。在此等實例中，視訊編碼器20可使用旁路CABAC寫碼在固定長度碼中的每一位元。然而，在一些情況下，調色板中之索引的數目可不為二的乘冪。在此等情況下，固定長度碼之碼字可能無法被完全地利用。舉例而言，若調色板大小為5，則索引將為0、1、2、3及4。為寫碼具有固定長度碼之每一索引，視訊編碼器20將必須使用三個位元。然而，藉由使用三個位元，視訊編碼器20會浪費三個碼字(8-5=3)，其可影響寫碼效率。在一些情況下，類似問題可在視訊編碼器20寫碼逸出像素時出現。根據本發明之一或多個技術，相反於使用固定長度寫碼，視訊編碼器20可利用截斷二進位碼來寫碼索引值及/或逸出像素。
本發明之其他態樣係關於建構及/或傳輸一允許視訊編碼器20及/或視訊解碼器30判定像素值的映射。舉例而言，本發明之其他態樣係關於建構及/或傳輸將特定像素與調色板之輸入項相關的索引之映射。
在一些實例中，視訊編碼器20可指示區塊之像素是否具有調色板中之對應值。在為達成說明之目的之實例中，假定映射之(i,j)輸入項對應於視訊資料之區塊中的(i,j)像素位置。在此實例中，視訊編碼器20可編碼用於區塊之每一像素位置的旗標。視訊編碼器20可針對(i,j)輸入項設定等於一之旗標以指示在(i,j)位置處的像素值為調色板中之多個值中的一者。當色彩包括於調色板中(亦即，旗標等於一)時，視訊編碼器20亦可編碼指示識別調色板中之色彩的(i,j)輸入項之調色板索引的資料。當像素之色彩並未包括於調色板中(亦即，旗標等於零)時，視訊編碼器20亦可編碼指示像素之樣本值的資料，該像素可被稱作逸出像素。視訊解碼器30可自經編碼位元串流獲得上文所描述之資料並使用該資料來判定區塊中之特定位置的調色板索引及/或像素值。
在一些情況下，可存在給定位置處之像素映射至的調色板索引與映射至相同調色板索引的相鄰像素之機率之間的相關性。亦即，當像素映射至特定調色板索引時，一或多個相鄰像素(就空間位置而言)映射至相同調色板索引的機率可相對高。
在一些實例中，視訊編碼器20及/或視訊解碼器30可相對於視訊資料之一區塊的一或多個索引判定並寫碼視訊資料之相同區塊的一或多個索引。舉例而言，視訊編碼器20及/或視訊解碼器30可經組態以判定一與視訊資料之區塊之第一像素相關聯的第一索引值，其中第一索引值將第一像素之值與調色板之輸入項相關。視訊編碼器20及/或視訊解碼器30亦可經組態以基於第一索引值判定與視訊資料之區塊中的一或多個第二像素相關聯的一或多個第二索引值，並寫碼視訊資料之區塊之第一像素及一或多個第二像素。因此，在此實例中，可相對於映射之一或多個其他索引寫碼映射之索引。
視訊編碼器20及/或視訊解碼器30可使用若干方法來相對於映射之一或多個其他索引寫碼映射之索引。舉例而言，可在http：//phenix.it-sudparis.eu/jct/doc_end_user/current_document.php？id=8765處獲得，2014年1月9至17日，美國聖何塞，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC)，第16次會議：Guo等人之「RCE4：Summary report of HEVC Range Extensions Core Experiments 4(RCE4)on palette coding for screen content」文件JCTVC-P0035(下文中，「JCTVC-P0035」)描述調色板模式寫碼之兩種方法，其據報導達成顯著BD速率減少，尤其當寫碼螢幕內容時。
藉由JCTVC-P0035描述的相對於映射之一或多個其他索引寫碼映射之索引的第一方法提供三個寫碼模式。對於每一像素行，可發信一旗標以指示寫碼模式。第一方法可具有三個模式：水平模式、垂直模 式及正常模式。另外，若像素經分類為逸出像素，則可傳輸像素值。以下參看圖7A至圖7C更詳細地描述水平模式、垂直模式及正常模式。
藉由JCTVC-P0035描述的相對於映射之一或多個其他索引寫碼映射之索引的第二方法提供逐輸入項預測方案之使用以基於左CU之調色板寫碼當前調色板。第二方法提供使用三個模式(「在上方複製模式」、「延行模式」及「像素模式」)按點陣掃描次序編碼CU中之像素。下文參看圖8A至圖8C更詳細地描述「在上方複製模式」、「延行模式」及「像素模式」。
本質上，藉由JCTVC-P0035描述的上述兩種方法之兩者共用複製先前重新建構像素之類似結構。類似於延行長度寫碼，候選者開始位置及延行長度必須被寫碼。舉例而言，在第一方法中，存在至多四個候選者開始複製位置。對於垂直模式及水平模式，延行長度經隱含地指派為行之寬度，對於正常模式，延行長度經隱含地指派為1。不同於第一方法，第二方法中之延行長度值(例如)在位元串流中經明確地寫碼。在一些實例中，第二方法可(例如)歸因於其更多可撓性結構而具有比第一方法好的寫碼效率。
在一些實例中，視訊編碼器20可編碼指示按給定掃描次序映射至相同索引值之連續像素之數目的一或多個語法元素。相同值索引值之串在本文中可稱為「延行(重複)」且可使用一類似於由JCTVC-P0035描述之「延行模式」的模式而寫碼。在一些實例中，一像素值可恰好與調色板中之一個索引值相關聯。因此，在一些情況下，值之延行亦可指相同值像素值之串。在其他實例中，如下文關於有損寫碼所描述，一個以上像素值可映射至調色板中之相同索引值。在此等實例中，值之延行係指相同值索引值。
在一為達成說明之目的之實例中，若按給定掃描次序之兩個連續索引具有不同值，則延行等於零。若按給定掃描次序之兩個連續索引 具有相同值但按掃描次序之第三索引具有不同值，則延行等於一。視訊解碼器30可自經編碼位元串流獲得指示延行的語法元素並使用資料以判定具有相同索引值的連續像素位置之數目。
另外或或者，視訊編碼器20及視訊解碼器30可針對映射之一或多個輸入項執行排複製。在此等情況下，可使用一類似於藉由JCTVC-P0035描述的「在上方複製模式」之模式寫碼索引。輸入項亦可歸因於映射之輸入項與區塊之像素位置之間的關係而被稱作「位置」。在一些實例中，排複製可取決於掃描方向。舉例而言，視訊編碼器20可指示區塊中之特定位置的像素值或索引映射值等於在特定位置上方之排中(對於水平掃描)或在特定位置左邊之行中(對於垂直掃描)的像素或索引值。視訊編碼器20亦可將等於在特定位置上方或特定位置左邊之行的對應像素值或索引的按掃描次序的像素值或索引之數目指示為延行。在此實例中，視訊編碼器20及或視訊解碼器30可自指定相鄰排及自用於當前被寫碼的區塊之排的輸入項之指定數目複製像素或索引值。
在一些情況下，複製值所藉以的排可直接鄰近於當前正被寫碼的位置之排，例如在當前正被寫碼的位置之排上方或在當前正被寫碼的位置之排的左邊。在其他實例中，區塊之數個排可藉由視訊編碼器20及/或視訊解碼器30緩衝，以使得映射之數個排中的任一者可用作當前被寫碼的映射之排的預測值。在一為達成說明之目的的實例中，視訊編碼器20及/或視訊解碼器30可經組態以在寫碼像素之當前列之前儲存索引或像素值之先前四個列。在此實例中，預測列(複製索引或像素值所藉以之列)可在具有截斷一元碼或其他碼(諸如一元碼)的位元串流中指示。就截斷一元碼而言，視訊編碼器20及/或視訊解碼器30可基於最大列計算(例如，row_index-1)或最大行計算(例如，column_index-1)判定截斷一元碼的最大值。另外，來自被複製預測列的位置之數目的 指示亦可包括於位元串流中。在一些情況下，若預測當前位置所藉以的排或行屬於另一區塊(例如，CU或CTU)，則可禁用此預測或可使用預設索引值(例如，0)。
在一些實例中，可結合用於上文所描述的排複製之技術使用用於寫碼輸入項之所謂的延行之技術。舉例而言，視訊編碼器20可編碼指示映射中之輸入項的值是自調色板獲得還是該映射中之輸入項的值是自該映射中的先前寫碼排獲得(例如，複製模式或像素模式)的一或多個語法元素(例如，旗標)。視訊編碼器20亦可編碼指示調色板之索引值或排(列或行)中的輸入項之位置的一或多個語法元素。視訊編碼器20亦可編碼指示數個連續輸入項共用相同值(例如，延行模式)的一或多個語法元素。視訊解碼器30可自經編碼位元串流獲得此資訊並使用該資訊來重新建構用於區塊之映射及像素值。
如上文所提，按特定次序掃描映射之索引，特定次序可被稱作掃描次序或掃描方向。之後，掃描索引(大體上按特定掃描次序之索引)大體上係指索引包括於位元串流中(或自位元串流剖析)的方式。在一些實例中，掃描次序可為垂直、水平或以對角線(例如，區塊中對角地45度或135度)。舉例而言，如下文關於圖6A之實例較詳細地說明及描述，可自上而下、自左至右按可被稱作點陣掃描次序的次序掃描映射之索引。在點陣掃描次序中，可直接在先前排之最後索引之後掃描當前排之第一索引。
然而，在一些實例中，按點陣掃描次序掃描索引可不係有效的。舉例而言，在視訊資料之區塊之第一排包括一鄰近於視訊資料之區塊之第一邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素，視訊資料之區塊之第二排包括一鄰近於視訊資料之區塊之第一邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素的情況下，第一排之最後像素鄰近於第二排之最後像素，且第一邊緣與 第二邊緣平行，第一排中之最後像素與第二排中之最後像素相同，但不同於第二排中之第一像素。與其他類型之視訊內容相比，此情況(亦即，其中第一排中之最後像素與第二排中之最後像素相同或類似，但不同於第二排中之第一像素)可更頻繁出現在電腦產生螢幕內容中。換言之，對於螢幕內容，可存在位於區塊之相同邊緣的像素與位於區塊之相對邊緣的像素相比具有相同或類似值的較高機率。點陣掃描可不利用此相關性。
根據本發明之一或多個技術，當編碼映射時視訊編碼器20可利用蛇形掃描次序。舉例而言，為繼續上述實例且如下文關於圖6B之實例較詳細地描述，視訊編碼器20可編碼映射，以使得直接在第一排之最後像素之後按掃描次序掃描第二行之最後像素。以此方式，視訊編碼器20可改良延行長度寫碼之效率。
當解碼映射時視訊解碼器30亦可利用蛇形掃描次序。舉例而言，視訊解碼器30可解碼映射，以使得直接在第一排之最後像素之後按掃描次序掃描第二排之最後像素。以此方式，視訊解碼器30可改良延行長度寫碼之效率。
在一些實例中，視訊編碼器20或視訊解碼器30可使用一或多個其他掃描次序，其可包括(但不限於)垂直掃描、鋼琴形狀及Z形。鋼琴形狀掃描次序可藉由遵循其中每一按鍵在頂部處(在黑色按鍵之間)為兩個像素寬及在底部處為至少兩個像素寬的鋼琴之白按鍵的邊緣而表示。
在一些實例中，視訊編碼器20可編碼每一區塊之指示用於掃描該區塊之索引之掃描方向的一或多個語法元素。另外或或者，可基於所謂的旁側資訊(諸如，區塊大小、色彩空間及/或色彩分量)發信或推斷掃描方向。視訊編碼器20可指定用於區塊之每一色彩分量的掃描。或者，指定之掃描可應用於區塊之全部色彩分量。
當使用基於調色板之寫碼模式時，調色板係藉由視訊編碼器20(例如)使用本文中所描述的技術中之一或多者在經編碼視訊資料位元串流中傳輸以供視訊解碼器30使用。調色板可經傳輸用於每一區塊或可在數個區塊中共用。調色板可指對於區塊而言為主要及/或代表性的數個像素值。
在一些實例中，調色板之大小(例如，就包括於調色板中的像素值之數目而言)可為固定的或可使用經編碼位元串流中之一或多個語法元素而發信。如下文較詳細地描述，像素值可由數個樣本(例如，視用於寫碼之色彩空間而定)構成。舉例而言，像素值可包括明度及色度樣本(例如，明度、U色度及V色度(YUV)或明度、Cb色度及Cr色度(YCbCr)樣本)。在另一實例中，像素值可包括紅色、綠色及藍色(RGB)樣本。如本文所描述，術語像素值大體上可指促成像素的樣本中之一或多者。亦即，術語像素值未必指促成像素的全部樣本，且可用於描述促成像素之單個樣本值。
在一些實例中，用於視訊資料之基於調色板之寫碼的技術可與一或多個其他寫碼技術(諸如用於框間或框內預測性寫碼之技術)一起使用。舉例而言，如下文較詳細描述，編碼器或解碼器，或組合之編碼器解碼器(編解碼器)可經組態以執行框間或框內預測性寫碼，以及基於調色板之寫碼。
圖2為說明可實施本發明之技術的視訊編碼器20之實例的方塊圖。出於解釋之目的而提供圖2，且不應將該圖視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20表示可經組態以根據本發明中描述之各種實例執行用於基於調色板之視訊寫碼的技術的器件之實例。舉例而言，視訊 編碼器20可經組態以使用基於調色板之寫碼或非基於調色板之寫碼而選擇性地寫碼視訊資料之不同區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指不同框間預測時間寫碼模式或框內預測空間寫碼模式，諸如藉由HEVC草案10指定的不同寫碼模式。在一實例中，視訊編碼器20可經組態以產生一指示像素值的調色板輸入項，選擇調色板中之像素值以表示視訊資料之區塊的至少一些位置之像素值，並發信將視訊資料之區塊的至少一些位置與分別對應於選定像素值之調色板中之輸入項相關聯的資訊。發信之資訊可藉由視訊解碼器30使用以解碼視訊資料。
在圖2之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、逆量化單元108、逆變換處理單元110、重新建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(圖中未示)。視訊編碼器20亦包括一經組態以執行本發明中所描述的基於調色板之寫碼技術之各種態樣的基於調色板之編碼單元122。在其他實例中，視訊編碼器20可包括較多、較少或不同功能之組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之片段中的每一CTU。CTU中之每一者可與圖像之相等大小的明度寫碼樹型區塊(CTB)及對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯的CTB分割成四個相等大小的子區塊，將子區塊中之一或多者分割成四個相等大小的子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經 寫碼CU)。作為編碼CU之部分，預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU的大小可指CU之明度寫碼區塊的大小且PU之大小可指PU的明度預測區塊之大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測之2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性樣本區塊及用於PU之運動資訊。取決於PU係在I片段中、P片段中抑或B片段中，框間預測處理單元120可針對CU之PU執行不同操作。在I片段中，所有PU經框內預測。之後，若PU係在I片段中，則框間預測處理單元120並不對PU執行框間預測。因此，對於I模式中編碼的區塊，經預測區塊使用來自經先前編碼之同一圖框內的相鄰區塊的空間預測而形成。
若PU係在P片段中，則框間預測處理單元120之運動估計單元可在用於PU之參考區域的參考圖像之清單(例如，「RefPicList0」)中搜尋參考圖像。PU之參考區域可為參考圖像內，含有最緊密地對應於PU之樣本區塊的樣本區塊之區域。運動估計單元可產生指示含有PU之參考區域之參考圖像的RefPicList0中之位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與相關聯於參考區域的參考位置之間的空間移位的MV。舉例而言，MV可為用以提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移的二維向量。運動估計單元可將參考 索引及MV輸出為PU之運動資訊。框間預測處理單元120之運動補償單元可基於在由PU之運動向量指示的參考位置處之實際或內插樣本產生PU之預測性樣本區塊。
若PU係在B片段中，則運動估計單元可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元可搜尋RefPicList0之參考圖像，或用於PU之參考區域的第二參考圖像清單(「RefPicList1」)。運動估計單元可將一指示含有參考區域之參考圖像之RefPicList0或RefPicList1中的位置的參考索引、一指示PU之樣本區塊與關聯於參考區域的參考位置之間的空間移位之MV及指示參考圖像係在RefPicList0還是RefPicList1中的一或多個預測方向指示符輸出為PU之運動資訊。框間預測處理單元120之運動補償單元可至少部分基於在由PU之運動向量指示的參考區域處的實際或內插樣本產生PU之預測性樣本區塊。
為針對PU執行雙向框間預測，運動估計單元可在用於PU之參考區域的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區域的RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考圖像索引。另外，運動估計單元可產生指示與參考區域相關聯的參考位置與PU之樣本區塊之間的空間移位的MV。PU之運動資訊可包括PU之參考索引及MV。運動補償單元可至少部分基於由PU之運動向量指示的參考區域處的實際樣本或經內插樣本來產生PU之預測性樣本區塊。
根據本發明之各種實例，視訊編碼器20可經組態以執行基於調色板之寫碼。就HEVC構架而言，作為實例，基於調色板之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的PU模式。因此，本文中(貫穿本發明)在CU模式之上下文中描述的全部揭示程序可另外或或者適用於 PU。然而，不應認為此等基於HEVC之實例約束或限制本文中所描述的基於調色板之寫碼技術，因為此等技術可應用以獨立地或作為其他現有或尚待開發系統/標準之一部分工作。在此等情況下，用於調色板寫碼之單元可為方形區塊、矩形區塊或甚至非矩形形狀區域。
當基於調色板之編碼模式經選擇(例如)用於CU或PU時，基於調色板之編碼單元122(例如)可執行基於調色板之解碼。舉例而言，基於調色板之編碼單元122可經組態以產生一具有指示像素值之輸入項的調色板，選擇調色板中之像素值以表示視訊資料之區塊之至少一些位置的像素值，並發信將視訊資料之區塊之位置中的至少一些與分別對應於所選擇像素值的調色板中之輸入項相關聯的資訊。儘管各種功能經描述為藉由基於調色板之編碼單元122執行，但此等功能中之一些或全部可藉由其他處理單元或不同處理單元之組合執行。
在一些實例中，基於調色板之編碼單元122可編碼由將區塊之至少一些位置與按特定次序的調色板中之輸入項相關聯的資訊指示的調色板索引值。舉例而言，藉由基於調色板之編碼單元122使用以編碼調色板索引值的掃描次序可為藉由基於調色板之解碼單元(諸如視訊解碼器30之基於調色板之解碼單元165)使用以解碼調色板索引值的相同掃描次序。在一些實例中，基於調色板之編碼單元122可編碼一或多個語法元素以指定用於寫碼調色板索引值之掃描次序。
如上文所論述，可自上而下、自左至右按可被稱作點陣掃描次序之次序掃描映射之索引。在點陣掃描次序中，可直接在先前排之最後索引之後掃描當前排之第一索引。
然而，在一些實例中，按點陣掃描次序掃描索引可不係有效的。舉例而言，在視訊資料之區塊之第一排包括一鄰近於視訊資料之區塊之第一邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素，視訊資料之區塊之第二排包括一鄰近於視訊資料之區塊之第一 邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素的情況下，第一排之最後像素鄰近於第二排之最後像素，且第一邊緣與第二邊緣平行，第一排中之最後像素與第二排中之最後像素相同，但不同於第二排中之第一像素。與其他類型之視訊內容相比，此情況(亦即，其中第一排中之最後像素與第二排中之最後像素相同或類似，但不同於第二排中之第一像素)可更頻繁出現在電腦產生螢幕內容中。換言之，對於螢幕內容，可存在位於區塊之相同邊緣的像素與位於區塊之相對邊緣的像素相比具有相同或類似值的較高機率。點陣掃描可不利用此相關性。
根據本發明之一或多個技術，當編碼映射時基於調色板之編碼單元122可利用蛇形掃描次序。舉例而言，基於調色板之編碼單元122可編碼映射，以使得直接在第一排之最後索引之後按掃描次序掃描第二排之最後索引。以此方式，基於調色板之編碼單元122可改良延行長度寫碼之效率。
基於調色板之編碼單元122可經組態以產生本文中所描述的各種語法元素中之任一者。因此，視訊編碼器20可經組態以使用如本發明中所描述的基於調色板之寫碼模式編碼視訊資料之區塊。視訊編碼器20可使用調色板寫碼模式選擇性地編碼視訊資料之區塊，或使用不同模式(例如，此HEVC框間預測性或框內預測性寫碼模式)編碼視訊資料之區塊。視訊資料之區塊可為(例如)根據HEVC寫碼程序產生的CU或PU。視訊編碼器20可藉由框間預測性時間預測或框內預測性空間寫碼模式編碼一些區塊並藉由基於調色板之寫碼模式解碼其他區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性樣本區塊及各種語法元素。框內預測處理單元126可對I片段、P片段及B片段中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式，以產生PU之預測性資料的多個集合。為了使用框內預測模式以產生用於PU的預測性資料之集合，框內預測處理單元126可在與框內預測模式相關聯的方向上將樣本自相鄰PU的樣本區塊延伸跨越PU之樣本區塊。對於PU、CU及CTU，假定自左至右自上而下之編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
預測處理單元100可自由框間預測處理單元120所產生的用於PU之預測性資料中，或自由框內預測處理單元126所產生的用於PU之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的比率/失真量度而選擇用於CU之PU的預測性資料。所選預測性資料之預測性樣本區塊在本文中可被稱為所選預測性樣本區塊。
殘餘產生單元102可基於CU之明度、Cb及Cr寫碼區塊及CU之PU的選定預測性明度、Cb及Cr區塊產生CU的明度、Cb及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應選定預測性樣本區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
藉由將一或多個變換應用至TU之變換區塊，變換處理單元104可產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用至與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元104不將變換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。該量化程序可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位至m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於相關聯於CU之係數區塊的量化程度。量化可使得資訊丟失，因此經量化之變換係數可具有比原始變換係數較低之精確度。
逆量化單元108及逆變換處理單元110可分別將逆量化及逆變換應用於係數區塊，以自係數區塊重新建構殘餘區塊。重新建構單元112可將經重新建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性樣本區塊的對應樣本，以產生與TU相關聯的經重新建構變換區塊。藉由以此方式重新建構CU之每一TU的變換區塊，視訊編碼器20可重新建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重新建構寫碼區塊執行一或多個解區塊操作之後，儲存經重新建構寫碼區塊。框間預測處理單元120可使用含有經重新建構寫碼區塊之參考圖像來對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重新建構寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20的其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，並可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼的資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生的經熵編碼之資料的位元串流。舉例而言，位元串流可包括表示用於CU之RQT的資料。
在一些實例中，殘餘寫碼並不與調色板寫碼一起執行。因此，當使用調色板寫碼模式寫碼時視訊編碼器20可不執行變換或量化。另外，視訊編碼器20可熵編碼單獨地使用調色板寫碼模式自殘餘資料產生的資料。
圖3為說明經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。出於解釋之目的而提供圖3，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊解碼器30表示可經組態以執行根據本發明中描述之各種實例的用於基於調色板之視訊寫碼的技術的器件之實例。舉例而言，視訊解碼器30可經組態以使用基於調色板之寫碼或非基於調色板之寫碼而選擇性地解碼視訊資料之不同區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指不同框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如藉由HEVC草案10指定的不同寫碼模式。在一個實例中，視訊解碼器30可經組態以產生一具有指示像素值 之輸入項的調色板，接收將視訊資料之區塊的至少一些位置與調色板中之輸入項相關聯的資訊，基於資訊選擇調色板中之像素值，並基於所選像素值重新建構區塊之像素值。
在圖3之實例中，視訊解碼器30包括一熵解碼單元150、一預測處理單元152、一逆量化單元154、一逆變換處理單元156、一重新建構單元158、一濾波器單元160及一經解碼圖像緩衝器162。預測處理單元152包括一運動補償單元164及一框內預測處理單元166。視訊解碼器30亦包括一經組態以執行本發明中所描述之基於調色板之寫碼技術的各種態樣的基於調色板之解碼單元165。在其他實例中，視訊解碼器30可包括較多、較少或不同功能之組件。
經寫碼圖像緩衝器(CPB)可接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB接收經編碼視訊資料(例如，NAL單元)並剖析NAL單元以解碼語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、逆量化單元154、逆變換處理單元156、重新建構單元158及濾波器單元160可基於自位元串流提取的語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼片段NAL單元。作為解碼位元串流之部分，熵解碼單元150可提取及熵解碼來自經寫碼片段NAL單元之語法元素。經寫碼片段中之每一者可包括片段標頭及片段資料。片段標頭可含有關於片段之語法元素。片段標頭中之語法元素可包括識別與含有片段之圖像相關聯之PPS的語法元素。
除了對來自位元串流的語法元素進行解碼之外，視訊解碼器30可對未分割CU執行重新建構操作。為了對未分割之CU執行重新建構操作，視訊解碼器30可對CU之每一TU執行重新建構操作。藉由對CU之每一TU執行重新建構操作，視訊解碼器30可重新建構CU之殘餘區塊。
作為對CU之TU執行重新建構操作的部分，逆量化單元154可逆量 化(亦即，解量化)與TU相關聯的係數區塊。逆量化單元154可使用與TU之CU相關聯的QP值來判定逆量化單元154應用的量化程度及逆量化程度。亦即，可藉由調整當量化變換係數時所使用的QP之值來控制壓縮比，亦即用以表示原始序列以及經壓縮序列的位元之數目的比率。壓縮比亦可取決於所採用的熵寫碼之方法。
在逆量化單元154逆量化係數區塊之後，逆變換處理單元156可將一或多個逆變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，逆變換處理單元156可將逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆定向變換或另一逆變換應用於係數區塊。
若PU係使用框內預測編碼，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於在空間上相鄰的PU之預測區塊而產生PU的預測性明度區塊、Cb區塊及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素而判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若使用框間預測對PU進行編碼，則熵解碼單元150可提取用於PU的運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多個參考區域。運動補償單元164可基於在用於PU之一或多個參考區塊處的樣本區塊產生用於PU的預測性明度區塊、Cb區塊及Cr區塊。
重新建構單元158可在適當時使用與CU之TU相關聯的明度變換區塊、Cb變換區塊及Cr變換區塊以及CU的PU之預測性明度區塊、Cb區塊及Cr區塊(亦即，框內預測資料或框間預測資料)來重新建構CU之明度寫碼區塊、Cb寫碼區塊以及Cr寫碼區塊。舉例而言，重新建構單元158可將明度變換區塊、Cb變換區塊及Cr變換區塊之樣本添加至預 測性明度區塊、Cb區塊及Cr區塊之對應樣本以重新建構CU的明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。
濾波器單元160可執行解區塊操作以減少與CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可在經解碼圖像緩衝器162中儲存CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。經解碼圖像緩衝器162可提供參考圖像用於後續運動補償、框內預測及在顯示器件(諸如圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中的明度區塊、Cb區塊及Cr區塊對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元串流提取重要明度係數區塊之變換係數層級，逆量化變換係數層級，對變換係數層級應用變換以產生變換區塊，至少部分基於變換區塊產生寫碼區塊並輸出寫碼區塊用於顯示。
根據本發明之各種實例，視訊解碼器30可經組態以執行基於調色板之寫碼。當基於調色板之解碼模式經選擇(例如)用於CU或PU時，基於調色板之解碼單元165(例如)可執行基於調色板之解碼。舉例而言，基於調色板之解碼單元165可經組態以產生一具有指示像素值之輸入項的調色板，接收將視訊資料之區塊的至少一些位置與調色板中之輸入項相關聯的資訊，基於資訊選擇調色板中之像素值，並基於所選像素值重新建構區塊之像素值。儘管各種功能經描述為藉由基於調色板之解碼單元165執行，但此等功能中之一些或全部可藉由其他處理單元或不同處理單元之組合而執行。
基於調色板之解碼單元165可接收調色板寫碼模式資訊，並在調色板寫碼模式資訊指示調色板寫碼模式適用於區塊時執行以上操作。當調色板寫碼模式資訊指示調色板寫碼模式不適用於區塊時，或當其他模式資訊指示不同模式之使用時，基於調色板之解碼單元165使用非基於調色板之寫碼模式(例如，當調色板寫碼模式資訊指示調色板寫碼 模式不適用於區塊時，此HEVC框間預測性或框內預測性寫碼模式)解碼視訊資料之區塊。視訊資料之區塊可為(例如)根據HEVC寫碼程序產生的CU或PU。視訊解碼器30可藉由框間預測性時間預測或框內預測性空間寫碼模式解碼一些區塊並藉由基於調色板之寫碼模式解碼其他區塊。基於調色板之寫碼模式可包含複數個不同基於調色板之寫碼模式中的一者，或可存在單個基於調色板之寫碼模式。
藉由基於調色板之解碼單元165接收的調色板寫碼模式資訊可包含調色板模式語法元素，諸如旗標。調色板模式語法元素之第一值指示調色板寫碼模式適用於區塊且調色板模式語法元素之第二值指示調色板寫碼模式不適用於視訊資料之區塊。基於調色板之解碼單元165可接收(例如，自視訊編碼器20)處於預測性單元層級、寫碼單元層級、片段層級或圖像層級中之一或多者的調色板寫碼模式資訊，或可接收調色板寫碼模式在圖像參數集(PPS)、序列參數集(SPS)或視訊參數集(VPS)中之至少一者中是否啟用之指示。
在一些實例中，基於調色板之解碼單元165可基於寫碼區塊之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫碼中之層id或與視訊資料之區塊相關聯的多視圖寫碼中之視圖id中之一或多者推斷調色板寫碼模式資訊。
基於調色板之解碼單元165亦可經組態以接收界定調色板中的輸入項之至少一些的資訊以及視訊資料，並至少部分基於所接收資訊產生調色板。調色板之大小可為固定的或可變的。在一些情況下，調色板之大小為可變的且可基於與視訊資料一起發信的資訊而調節。經發信之資訊可指定調色板中之輸入項是否為調色板中之最後輸入項。又，在一些情況下，調色板可具有最大大小。調色板之大小或調色板之最大大小亦可經條件性地傳輸或推斷。該等條件可為CU之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫 碼中之層id或多視圖寫碼中之視圖id。
調色板可為包括指示用於區塊之亮度分量及色度分量的像素值之輸入項的單個調色板。在此情況下，調色板中之每一輸入項為指示用於亮度分量及兩個色度分量之像素值的三重輸入項。或者，調色板包含一包括指示區塊的亮度分量之像素值之輸入項的明度調色板，及包括指示用於區塊之各別色度分量的像素值之輸入項的色度調色板。
在一些實例中，基於調色板之解碼單元165可藉由基於先前處理資料預測調色板中之輸入項而產生調色板。先前處理之資料可包括用於先前解碼之相鄰區塊的調色板，或來自調色板之資訊。基於調色板之解碼單元165可接收一指示調色板中之輸入項是否待被預測的預測語法元素。預測語法元素可包括分別指示用於明度及色度分量的調色板中之輸入項是否待被預測的複數個預測語法元素。
舉例而言，就預測性調色板而言，預測性調色板可含有來自一或多個相鄰區塊(包括在空間上相鄰區塊及/或按區塊之特定掃描次序的相鄰區塊)的調色板輸入項。在一實例中，相鄰區塊可在空間上位於當前正被寫碼的區塊左邊(左相鄰區塊)或位於當前正被寫碼的區塊上方(上部相鄰區塊)。在另一實例中，基於調色板之解碼單元165可使用當前區塊之因果相鄰者中的最多頻繁樣本值判定預測性調色板輸入項。在另一實例中，相鄰區塊可與當前正根據用於寫碼區塊之特定掃描次序寫碼的區塊相鄰。亦即，相鄰區塊可為在當前區塊之前按掃描次序寫碼的一或多個區塊。基於調色板之解碼單元165可解碼一或多個語法元素以指示複製調色板所藉以的相鄰區塊之位置。
因此，在一實例中，基於調色板之解碼單元165在一些實例中可基於用於片段或圖像中之左相鄰區塊或頂部相鄰區塊的調色板中之輸入項預測調色板中的至少一些輸入項。在此情況下，調色板中之基於左相鄰區塊或頂部相鄰區塊的調色板中之輸入項預測的輸入項可藉由 基於調色板之解碼單元165基於一指示選擇左相鄰區塊或頂部相鄰區塊用於預測的語法元素而預測。語法元素可為一具有一指示選擇左相鄰區塊或頂部相鄰區塊用於預測的值的旗標。
在一些實例中，基於調色板之解碼單元165可接收指示調色板中之至少一些所選輸入項是否待基於逐個輸入項而預測的一或多個預測語法元素，且因此產生輸入項。舉例而言，基於調色板之解碼單元165可解碼一或多個語法元素以指示對於預測性調色板之每一輸入項，調色板輸入項是否包括於當前區塊之調色板中。若輸入項未被預測，則基於調色板之解碼單元165可解碼一或多個額外語法元素以指定非預測輸入項，以及此等輸入項之數目。因此，基於調色板之解碼單元165可預測輸入項中之一些並接收直接指定包括額外輸入項之數目的調色板中之其他輸入項的資訊。
在一些實例中，用於預測整個調色板之技術可與用於預測調色板之一或多個輸入項的技術組合。舉例而言，基於調色板之解碼單元165可解碼位元串流中之一或多個語法元素以指示當前調色板是否係自預測性調色板完全複製。若此並非該情況，則基於調色板之解碼單元165可解碼位元串流中之一或多個語法元素以指示預測性調色板中之每一輸入項是否被複製。
在另一實例中，基於調色板之解碼單元165可在每一調色板值之後接收一旗標以指示所發信調色板值是否為調色板之最後調色板輸入項，而非接收輸入項之數目及調色板值。若調色板已達到某一最大大小，則基於調色板之解碼單元165可不接收此「調色板之末端」旗標。
藉由基於調色板之解碼單元165接收的將視訊資料之區塊的至少一些位置與調色板中之輸入項相關聯的資訊可包含指示用於區塊中之至少一些位置的調色板索引值的映射資訊，其中調色板索引值中之每一者對應於調色板中的輸入項中之一者。映射資訊可包括各自指示具 有相同調色板索引值的區塊中之連續位置之數目的一或多個延行語法元素。
在一些實例中，基於調色板之解碼單元165可接收指示排複製之資訊，藉此用於區塊中的位置之排的像素或索引值係自用於區塊中的位置之另一排的像素或索引值複製。基於調色板之解碼單元165可使用此資訊來執行排複製以判定用於區塊之各種位置的調色板中之像素值或輸入項。位置之排可包含列、列之一部分、行或區塊之位置之行的一部分。
在一些實例中，基於調色板之解碼單元165可解碼由將區塊之至少一些位置與按特定次序的調色板中之輸入項相關聯的資訊指示的調色板索引值。舉例而言，由基於調色板之解碼單元165使用以解碼調色板索引值的掃描次序可為由基於調色板之編碼單元(諸如視訊編碼器20之基於調色板之編碼單元122)使用以編碼調色板索引值的相同掃描次序。在一些實例中，基於調色板之解碼單元165可解碼一或多個語法元素以指定用於寫碼調色板索引值之掃描次序。
舉例而言，如上文所論述，可自上而下、自左至右按可被稱作點陣掃描次序之次序掃描映射之索引。在點陣掃描次序中，可直接在先前排之最後索引之後掃描當前排之第一索引。
然而，在一些實例中，按點陣掃描次序掃描索引可不係有效的。舉例而言，在視訊資料之區塊之第一排包括一鄰近於視訊資料之區塊之第一邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素，視訊資料之區塊之第二排包括一鄰近於視訊資料之區塊之第一邊緣的第一像素及一鄰近於視訊資料之區塊之第二邊緣的最後像素的情況下，第一排之最後像素鄰近於第二排之最後像素，且第一邊緣與第二邊緣平行，第一排中之最後像素與第二排中之最後像素相同，但不同於第二排中之第一像素。與其他類型之視訊內容相比，此情況(亦 即，其中第一排中之最後像素與第二排中之最後像素相同或類似，但不同於第二排中之第一像素)可更頻繁出現在電腦產生螢幕內容中。換言之，對於螢幕內容，可存在位於區塊之相同邊緣的像素與位於區塊之相對邊緣的像素相比具有相同或類似值的較高機率。點陣掃描可不利用此相關性。
根據本發明之一或多個技術，當解碼映射時基於調色板之解碼單元165可利用蛇形掃描次序。舉例而言，基於調色板之解碼單元165可解碼映射，以使得直接在第一排之最後索引之後按掃描次序掃描第二排之最後索引。以此方式，基於調色板之解碼單元165可改良延行長度寫碼之效率。
基於調色板之解碼單元165可部分藉由接收區塊之一或多個位置的像素值，及添加像素值至調色板中之輸入項以動態地產生在延行中之調色板的至少一部分而產生調色板。添加像素值可包含添加像素值至一包含初始輸入項集合的初始調色板，或添加至一不包括初始輸入項集合的空調色板。在一些實例中，添加包含添加像素值以添加新輸入項至一包含初始輸入項集合的初始調色板或填充初始調色板中之現有輸入項，或替代或改變初始調色板中的輸入項之像素值。
在一些實例中，基於調色板之解碼單元165可判定調色板之固定最大大小。在到達最大大小後，基於調色板之解碼單元165可去除調色板之一或多個輸入項。在一個實例中，基於調色板之解碼單元165可(例如)使用FIFO佇列去除調色板之最老的輸入項。在新輸入項添加至佇列中之後，修剪程序可應用以去除佇列中之複製輸入項。在另一實例中，基於調色板之解碼單元165可去除最少使用輸入項。在再一實例中，基於調色板之解碼單元165可基於待去除的候選者輸入項何時添加至調色板及該輸入項之相關使用進行關於待去除哪一輸入項的加權判定。
在一些實例中，調色板可為其中選自用於區塊中之位置中的一者 之調色板的像素值不同於區塊中的位置之實際像素值的經量化調色板，以使得解碼程序有損。舉例而言，相同像素值可選自用於具有不同實際像素值的兩個不同位置之調色板。
圖4為說明根據本發明之技術的判定用於寫碼視訊資料之調色板的實例之概念圖。圖4之實例包括一具有一與第一調色板184相關聯的第一寫碼單元(CU)180及一與第二調色板192相關聯的第二CU 188的圖像178。如下文較詳細地所描述及根據本發明之技術，第二調色板192係基於第一調色板184。圖像178亦包括藉由框內預測寫碼模式寫碼的區塊196及藉由框間預測寫碼模式寫碼的區塊200。
出於解釋之目的，在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)之上下文中並關於HEVC視訊寫碼標準描述圖4之技術。然而，應理解，本發明之技術不限於此方式，且可藉由其他視訊寫碼處理器及/或器件在其他視訊寫碼程序及/或標準中應用。
大體而言，調色板係指對於當前正被寫碼的CU(在圖4之實例中的CU 188)而言為主要及/或代表性的數個像素值。第一調色板184及第二調色板192經展示為包括多個調色板。在一些實例中，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可針對CU之每一色彩分量單獨地寫碼調色板。舉例而言，視訊編碼器20可編碼一用於CU之明度(Y)分量的調色板、用於CU之色度(U)分量的另一調色板，及用於CU之色度(V)分量的又一調色板。在此實例中，Y調色板之輸入項可表示CU之像素的Y值，U調色板之輸入項可表示CU之像素的U值，且V調色板之輸入項可表示CU之像素的V值。在另一實例中，視訊編碼器20可編碼用於CU之明度(Y)分量的調色板，用於CU之兩個分量(U,V)的另一調色板。在此實例中，Y調色板之輸入項可表示CU之像素的Y值，U-V調色板之輸入項可表示CU之像素的U-V值對。
在其他實例中，視訊編碼器20可編碼用於CU之全部色彩分量的單 個調色板。在此實例中，視訊編碼器20可編碼一具有一為三重值(包括Yi、Ui及Vi)的第i個輸入項的調色板。在此情況下，調色板包括用於像素之分量中的每一者的值。因此，作為具有多個個別調色板之調色板集合的調色板184及192之表示僅為一個實例且並不意圖為限制性。
在圖4之實例中，第一調色板184包括分別具有輸入項索引值1、輸入項索引值2及輸入項索引值3的三個輸入項202至206。輸入項202至206分別將索引值與包括像素值A、像素值B及像素值C之像素值相關。如本文所描述，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可使用基於調色板之寫碼以使用索引1至3寫碼區塊之像素，而非寫碼第一CU 180之實際像素值。亦即，對於第一CU 180之每一像素位置，視訊編碼器20可編碼像素的索引值，其中索引值與第一調色板184中之一或多者中的像素值相關聯。視訊解碼器30可自位元串流獲得索引值並使用索引值及第一調色板184中之一或多者重新建構像素值。因此，第一調色板184係藉由視訊編碼器20在經編碼視訊資料位元串流中傳輸以供視訊解碼器30用於基於調色板之解碼。大體而言，一或多個調色板可經傳輸用於每一CU或可在不同CU中共用。
視訊編碼器20及視訊解碼器30可基於第一調色板184判定第二調色板192。舉例而言，視訊編碼器20可編碼用於每一CU(作為實例，包括第二CU 188)之pred_palette_flag以指示用於CU之調色板是否係自與一或多個其他CU(諸如相鄰CU(在空間上或基於掃描次序)或因果相鄰者之最頻繁樣本)相關聯的一或多個調色板預測。舉例而言，當此旗標之值等於一時，視訊解碼器30可判定用於第二CU 188之第二調色板192係自一或多個已解碼調色板預測且因此沒有用於第二CU 188之新調色板包括於一含有pred_palette_flag的位元串流中。當此旗標等於零時，視訊解碼器30可判定用於第二CU 188之調色板192作為新的調色板包括於位元串流中。在一些實例中，pred_palette_flag可經單獨地寫碼用 於CU之每一不同色彩分量(例如，三個旗標，對於YUV視訊中之CU，一個用於Y、一個用於U且一個用於V)。在其他實例中，單個pred_palette_flag可經寫碼用於CU之全部色彩分量。
在以上實例中，每一CU發信pred_palette_flag以指示是否預測當前區塊的調色板之輸入項中的任一者。在一些實例中，可基於每一輸入項發信一或多個語法元素。其為一可經發信用於調色板預測因子之每一輸入項以指示輸入項是否存在於當前調色板中的旗標。如上文所提，若未預測調色板輸入項，則可明確地發信調色板輸入項。
當相對於第一調色板184判定第二調色板192(例如，pred_palette_flag等於一)時，視訊編碼器20及/或視訊解碼器30可定位判定預測性調色板(在此實例中，第一調色板184)所藉以的一或多個區塊。預測性調色板可與當前正被寫碼的CU(亦即，第二CU 188)之一或多個相鄰CU(例如，相鄰CU(在空間上或基於掃描次序)或因果相鄰者之最頻繁樣本)相關聯。一或多個相鄰CU之調色板可與預測因子調色板相關聯。在一些實例(諸如圖4中所說明之實例)中，視訊編碼器20及/或視訊解碼器30可在判定用於第二CU 188之預測性調色板時定位左相鄰CU(第一CU 180)。在其他實例中，視訊編碼器20及/或視訊解碼器30可相對於第二CU 188定位在其他位置中的一或多個CU(諸如上部CU(CU 196))。
視訊編碼器20及/或視訊解碼器30可基於層次判定用於調色板預測之CU。舉例而言，視訊編碼器20及/或視訊解碼器30可初始識別左相鄰CU(第一CU 180)以用於調色板預測。若左相鄰CU不可用於預測(例如，藉由一非基於調色板之寫碼模式的模式(諸如，框內預測模式或框內預測模式)寫碼左相鄰CU，或左相鄰CU位於圖像或片段之最左邊緣處)，則視訊編碼器20及/或視訊解碼器30可識別上部相鄰CU(CU 196)。視訊編碼器20及/或視訊解碼器30可繼續根據定位之預定次序搜 尋可用CU直至定位一具有可用於調色板預測之調色板的CU。在一些實例中，視訊編碼器20及/或視訊解碼器30可基於相鄰區塊之多個區塊及/或重新建構樣本判定預測性調色板。
雖然圖4之實例將第一調色板184說明為來自單個CU(第一CU 180)之預測性調色板，但在其他實例中，視訊編碼器20及/或視訊解碼器30可自相鄰CU之組合定位用於預測之調色板。舉例而言，視訊編碼器20及/或視訊解碼器可應用一或多個式、函式、規則或其類似者以基於複數個相鄰CU之一者或一組合的調色板產生調色板。
在又其他實例中，視訊編碼器20及/或視訊解碼器30可建構一包括用於調色板預測之數個可能候選者之候選者清單。可在視訊編碼器20及視訊解碼器30兩者處應用修剪程序以去除清單中之複製候選者。在此等實例中，視訊編碼器20可編碼候選者清單之索引以指示清單中的候選者CU，自清單中選擇用於調色板預測之當前CU(例如，複製調色板)。視訊解碼器30可以相同方式建構候選者清單，解碼索引，並使用經解碼索引來選擇對應CU之調色板以供當前CU使用。
在一為達成說明之目的之實例中，視訊編碼器20及視訊解碼器30可建構一包括位於當前正被寫碼之CU上方的一CU及位於當前正被寫碼之CU左邊的一CU的候選者清單。在此實例中，視訊編碼器20可編碼一或多個語法元素以指示候選者選擇。舉例而言，視訊編碼器20可編碼一具有零值之旗標以指示當前CU之調色板係自位於當前CU左邊的CU複製。視訊編碼器20可編碼具有為一之值的旗標以指示當前CU之調色板係自位於當前CU上方之CU複製。視訊解碼器30解碼旗標並選擇適當CU用於調色板預測。
在又其他實例中，視訊編碼器20及/或視訊解碼器30基於包括於一或多個其他調色板中之樣本值出現在一或多個相鄰CU中的頻率判定用於當前正被寫碼的CU之調色板。舉例而言，視訊編碼器20及/或視 訊解碼器30可追蹤與寫碼預定數目CU期間最常使用的索引值相關聯的色彩。視訊編碼器20及/或視訊解碼器30可將最常使用的色彩包括於用於當前正被寫碼之CU的調色板中。
在一些實例中，視訊編碼器20及/或視訊解碼器30可執行基於逐輸入項之調色板預測。舉例而言，視訊編碼器20可針對預測性調色板之每一輸入項編碼指示各別預測性調色板輸入項是否再用於當前調色板(例如，另一CU之調色板中的像素值是否由當前調色板再使用)的一或多個語法元素(諸如，一或多個旗標)。在此實例中，視訊編碼器20可在給定輸入項為一來自預測性調色板的經預測值時針對該輸入項編碼一具有等於一之值的旗標(例如，與相鄰CU相關聯的調色板之對應輸入項)。視訊編碼器20可針對特定輸入項編碼一具有等於零之值的旗標以指示特定輸入項並非自另一CU之調色板預測。在此實例中，視訊編碼器20亦可編碼指示非預測調色板輸入項之值的額外資料。
在圖4之實例中，第二調色板192包括分別具有輸入項索引值1、輸入項索引值2、輸入項索引值3及輸入項索引4的四個輸入項208至214。輸入項208至214分別將索引值與包括像素值A、像素值B、像素值C及像素值D之像素值相關。視訊編碼器20及/或視訊解碼器30可使用上文所描述之技術中的任一者來定位第一CU 180以為了調色板預測並將第一調色板184之輸入項1至3複製至第二調色板192之輸入項1至3以用於寫碼第二CU 188。以此方式，視訊編碼器20及/或視訊解碼器30可基於第一調色板184判定第二調色板192。另外，視訊編碼器20及/或視訊解碼器30可寫碼用於輸入項4之資料以待與第二調色板192包括在一起。此資訊可包括未自預測因子調色板預測的調色板輸入項之數目及對應於彼等調色板輸入項之像素值。
在一些實例中，根據本發明之態樣，一或多個語法元素可指示調色板(諸如第二調色板192)是否完全自預測性調色板(圖4中展示為第一 調色板184，但其可由來自一或多個區塊之輸入項構成)預測或第二調色板192之特定輸入項是否被預測。舉例而言，初始語法元素可指示是否全部輸入項被預測。若初始語法元素指示並非全部輸入項被預測(例如，具有0值之旗標)，則一或多個額外語法元素可指示第二調色板192之哪些輸入項係自預測性調色板預測。
根據本發明之一些態樣，可自正被寫碼的資料之一或多個特性推斷與調色板預測相關聯的某些資訊。亦即，視訊編碼器20及視訊解碼器30可基於被寫碼資料之一或多個特性執行調色板預測，而非視訊編碼器20編碼語法元素(及視訊解碼器30解碼此等語法元素)。
圖5為根據本發明之技術的判定至像素之區塊的調色板之索引的實例之概念圖。舉例而言，圖5包括將與索引值相關聯的像素之各別位置與調色板244之輸入項相關的索引值(值1、2及3)之映射240。可以與上文關於圖4所描述的第一調色板184及第二調色板192類似的方式判定調色板244。
再次，出於解釋之目的在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)之上下文中並關於HEVC視訊寫碼標準描述圖5之技術。然而，應理解，本發明之技術不限於此方式，且可藉由其他視訊寫碼處理器及/或器件在其他視訊寫碼程序及/或標準中應用。
雖然映射240在圖5之實例中說明為包括每一像素位置之索引值，但應理解，在其他實例中，並非全部像素位置可與一將像素值與調色板244之輸入項相關的索引值相關聯。亦即，如上文所提，在一些實例中，若像素值並不包括於調色板244中，則視訊編碼器20可編碼(且視訊解碼器30可自經編碼位元串流獲得)用於映射240中之位置的實際像素值(或其經量化版本)之指示。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼一指示哪些像素位置與索引值相關聯的額外映射。舉例而言，假定映射 中之(i,j)輸入項對應於CU之(i,j)位置。視訊編碼器20可針對映射之每一輸入項(亦即，每一像素位置)編碼指示輸入項是否具有相關聯索引值的一或多個語法元素。舉例而言，視訊編碼器20可編碼一具有為一之值的旗標以指示CU中之(i,j)位置處的像素值為調色板244中的值中之一者。在此實例中，視訊編碼器20亦可編碼一調色板索引(圖5之實例中展示為值1至3)以指示調色板中之像素值並允許視訊解碼器重新建構像素值。在調色板244包括單個輸入項及相關聯像素值之情況下，視訊編碼器20可跳過索引值之發信。視訊編碼器20可編碼具有零值之旗標以指示在CU中之(i,j)位置處的像素值並非調色板244中之值中的一者。在此實例中，視訊編碼器20亦可編碼像素值之指示以供視訊解碼器30用於重新建構像素值。在一些情況下，可以有損方式寫碼像素值。
CU之一個位置中的像素之值可提供CU之其他位置中的一或多個其他像素之值之指示。舉例而言，可存在CU之相鄰像素位置將具有相同像素值或可映射至相同索引值(在有損寫碼情況下，其中一個以上像素值可映射至單個索引值)的一相對高機率。
因此，視訊編碼器20可編碼指示按給定掃描次序之數個連續像素或索引值具有相同像素值或索引值的一或多個語法元素。如上文所提，相同值像素或索引值之串可在本文中稱為延行。在一為達成說明之目的之實例中，若按給定掃描次序之兩個連續像素或索引具有不同值，則延行等於零。若按給定掃描次序之兩個連續像素或索引具有相同值但按掃描次序之第三像素或索引具有不同值，則延行等於一。對於具有相同值之三個連續索引或像素，延行為二，等等。視訊解碼器30可自經編碼位元串流獲得指示延行的語法元素並使用資料來判定具有相同像素或索引值的連續位置之數目。
可包括於延行中的索引之數目可受掃描次序影響。舉例而言，考慮映射240之排266、268及270之點陣掃描。假定水平左至右掃描方向 (諸如，如圖6A中所說明之點陣掃描次序)，列266包括為「1」之三個索引值、為「2」之兩個索引值及為「3」之三個索引值。列268包括為「1」之五個索引值及為「3」之三個索引值。在此實例中，對於列266，視訊編碼器20可編碼指示列266之第一值(列之最左邊值)為1(其具有為2之延行)，繼之以具有為2之索引值(其具有為1之延行)，繼之以具有為3之索引值(其具有為2之延行)的語法元素。遵循點陣掃描，視訊編碼器20可接著開始藉由最左邊值寫碼列268。舉例而言，視訊編碼器20可編碼指示列268之第一值為1(其具有為4之延行)，繼之以為3之索引值(其具有為2之延行)的語法元素。視訊編碼器20可以相同方式繼續進行排270。
之後，按點陣掃描次序，可緊跟在先前排之最後索引之後掃描當前排之第一索引。然而，在一些實例中，可不需要按點陣掃描次序掃描索引。舉例而言，在視訊資料之區塊之第一排(例如，列266)包括鄰近於視訊資料之區塊之第一邊緣的第一像素(例如，列266之最左邊像素，其具有為1之索引值)及一鄰近於視訊資料之區塊之第二邊緣的最後像素(例如，列266之最右邊像素，其具有為3之索引值)，視訊資料之區塊之第二排(例如，列268)包括鄰近於視訊資料之區塊之第一邊緣的第一像素(例如，列268之最左邊像素，其具有為1之索引值)及一鄰近於視訊資料之區塊之第二邊緣的最後像素(例如，列268之最右邊像素，其具有為3之索引值)，第一排之最後像素鄰近於第二排之最後像素，且第一邊緣與第二邊緣平行，第一排中之最後像素具有與第二排中之最後像素相同的索引值，但具有一不同於第二排中之第一像素的索引值之情況下，可不需要按點陣掃描次序掃描索引。與其他類型之視訊內容相比，此情況(亦即，其中在第一排中之最後像素之索引值與第二排中之最後像素相同，但不同於第二排中之第一像素)可更頻繁出現在電腦產生螢幕內容中。
根據本發明之一或多個技術，視訊編碼器20可在編碼映射之索引時利用蛇形掃描次序。舉例而言，視訊編碼器20可緊跟在第一排之最後像素之後掃描第二排之最後像素。以此方式，視訊編碼器20可改良延行長度寫碼之效率。
舉例而言，根據本發明之一或多個技術，相反於使用點陣掃描次序，視訊編碼器20可使用蛇形掃描次序來寫碼映射240之值。在為達成說明之目的實例中，考慮映射240之列266、268及270。使用蛇形掃描次序(諸如，如圖6B中所說明之蛇形掃描次序)，視訊編碼器20可以列266之左位置開始寫碼映射240之值，進行直至列266之最右位置，向下移動至列268之最左位置，進行直至列268之最左位置，並向下移動至列270之最左位置。舉例而言，視訊編碼器20可編碼指示列266之第一位置為一且在掃描方向中之兩個連續輸入項的下一延行與列266之第一位置相同的一或多個語法元素。視訊編碼器20可編碼指示列266之下一位置(亦即，自左至右，第四位置)為二且在掃描方向中之下一連續輸入項與列266之第四位置相同的一或多個語法元素。視訊編碼器20可編碼指示列266之下一位置(亦即，第六位置)為三且在掃描方向中之五個連續輸入項之下一延行與列266之第六位置相同的一或多個語法元素。視訊編碼器20可編碼指示列268之在掃描方向中之下一位置(亦即，自右至左，列268之第四位置)為一且在掃描方向中之九個連續輸入項之下一延行與列268之第四位置相同的一或多個語法元素。
以此方式，藉由使用蛇形掃描次序，視訊編碼器20可編碼較長長度延行，其可改良寫碼效率。舉例而言，使用點陣掃描，列266之最後延行(對於索引值3)等於2。然而，使用蛇形掃描，列266之最後延行延伸至列268中且等於5。
視訊解碼器30可接收上文所描述的語法元素並重新建構列266、268及270。舉例而言，視訊解碼器30可自經編碼位元串流獲得指示當 前正被寫碼的映射240之位置的索引值的資料。視訊解碼器30亦可獲得指示具有相同索引值的按掃描次序之連續位置之數目的資料。
圖6A及圖6B為說明根據本發明之技術的實例掃描次序的概念圖。如圖6A中所說明，區塊600A可包括包括第一像素606A及最後像素608A之第一排602A，包括第一像素610A及最後像素612A之第二排604A，及掃描次序614A。如圖6B中所說明，區塊600B可包括包括第一像素606B及最後像素608B之第一排602B，包括第一像素610B及最後像素612B之第二排604B，及掃描次序614B。如圖6A中所說明，第一像素606A及第一像素610A可鄰近於第一邊緣616A，最後像素608A及最後像素612A可鄰近於第二邊緣618A，且第一邊緣616A可平行於第二邊緣618A。類似地，第一像素606B及第一像素610B可鄰近於第一邊緣616B，最後像素608B及最後像素612B可鄰近於第二邊緣618B，且第一邊緣616B可平行於第二邊緣618B。
圖6A之掃描次序614A可被稱作點陣掃描次序，因為在第二排604A中的第一值610A係緊跟在先前排602A中之最後值608A之後掃描。圖6B之掃描次序614B可被稱作其中第二排604B中之第一值610B係緊跟在先前排602B中之最後值608B之後掃描的蛇形掃描次序。
根據本發明之一或多個技術，相反於使用點陣掃描次序(例如，掃描次序614A)掃描像素，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可在執行調色板模式視訊寫碼時使用蛇形掃描次序(例如，掃描次序614B)掃描像素。
圖7A至圖7C為說明根據本發明之技術的基於調色板之視訊寫碼的實例模式的概念圖。如上文所論述，由JCTVC-P0035描述之相對於映射之一或多個其他索引寫碼映射之索引的第一方法提供三個寫碼模式，水平模式、垂直模式及正常模式。
當使用水平模式寫碼索引時，當前排之全部索引值可為相同的(亦 即，整個排可共用相同色彩索引)。因此，在水平模式中，視訊編碼器可編碼整個列之單個索引。如由圖7A所說明，視訊解碼器可複製在跨越當前排700之候選者開始位置1 702處的索引(亦即，具有索引值0)(亦即，以使得當前排700之全部像素的索引值經解碼為0)。
當使用垂直模式寫碼索引時，當前排之索引可與上排之索引相同(亦即，整個排可與上方排相同)。在此情況下，視訊解碼器可將索引自上排複製至當前排。如由圖7B所說明，視訊解碼器可複製上排706之索引至當前排704(亦即，以使得當前排704之索引與上排706之索引相同)。舉例而言，視訊解碼器可將索引值自候選者開始位置2 710複製至位置712。
當使用正常模式寫碼索引時，視訊寫碼器可寫碼一用於每一各別像素位置之旗標，其指示用於各別像素位置之索引是與用於在各別像素位置左邊之像素位置的索引相同還是與用於在各別像素位置上方之像素位置的索引相同。若用於各別像素位置之索引不與用於在各別像素位置左邊的像素位置之索引或用於在各別像素位置上方之像素位置的索引相同，則視訊寫碼器可寫碼用於各別像素位置之索引。如由圖7C所說明，視訊寫碼器可寫碼當前位置714之旗標，其指示是候選者開始位置3 716之色彩索引(亦即，在當前位置714上方的像素位置之索引)還是候選者開始位置4 718之色彩索引(亦即，在當前位置714左邊的像素位置之索引)應被複製至當前位置714。
圖8A至圖8C為說明根據本發明之技術的基於調色板之視訊寫碼的實例模式之概念圖。如上文所論述，藉由JCTVC-P0035描述的相對於映射之一或多個其他索引寫碼映射之索引的第二方法提供三個寫碼模式，「在上方複製模式」、「延行模式」及「像素模式」。
在「在上方複製模式」中，視訊寫碼器可寫碼一指示以下N個調色板索引分別與其上方相鄰者相同的值「copy_run」(N)。如藉由圖8A 所說明，視訊寫碼器可寫碼為五之copy_run值以指示當前排802之以下五個調色板索引分別與來自上排804之其上方相鄰者(亦即，藉由候選者開始位置1 806指示的五個位置)相同。作為另一實例，在圖8A中，視訊寫碼器可寫碼為四(4)之copy_run值以指示當前排802之以下五(5)個調色板索引與來自上排804之其上方相鄰者相同。
在「延行模式」中，視訊寫碼器可寫碼繼之以指示以下M個調色板索引與發信調色板索引相同佐「palette_run」(M)的調色板索引。如由圖8B所說明，視訊寫碼器可寫碼一用於候選者開始位置2 808之調色板索引及一具有值為五之指示在五個位置之後的索引值與候選者開始位置2 808之索引值相同的palette_run。
在「像素模式」中，視訊寫碼器可寫碼一預測旗標。視訊寫碼器可將該旗標寫碼為1以指示當前像素之值係使用具有重新建構頂部相鄰像素之預測殘餘作為預測因子而寫碼。視訊寫碼器可將旗標寫碼為0以指示像素值可在沒有預測的情況下傳輸。如由圖8C所說明，若預測旗標為1，則視訊寫碼器可將上排812中之候選者開始位置3 810的像素值複製至當前排814中之對應位置。
圖9為說明根據本發明之技術的用於使用調色板寫碼模式寫碼視訊資料之實例程序的流程圖。關於視訊寫碼器(諸如視訊編碼器20(圖1及圖2)或視訊解碼器30(圖1及圖3))解釋圖9之方法。然而，應理解，其他視訊寫碼器件可經組態以執行類似方法。此外，方法中之某些步驟可以不同次序或並行執行。同樣，在各種實例中，某些步驟可省去，且可添加其他步驟。
視訊寫碼器(諸如視訊編碼器及/或視訊解碼器30)可針對視訊資料之區塊判定一具有指示複數個各別像素值之複數個輸入項的調色板(902)。在一些實例中，視訊資料之區塊之第一排(例如，圖6B之第一排602B)可包括一鄰近於視訊資料之區塊之第一邊緣(例如，圖6B之第 一邊緣616B)的第一像素(例如，圖6B之第一像素606B)及一鄰近於視訊資料之區塊之第二邊緣(例如，圖6B之第二邊緣618B)的最後像素(例如，圖6B之最後像素608B)，視訊資料之區塊之第二排(例如，圖6B之第二排604B)可包括一鄰近於視訊資料之區塊之第一邊緣的第一像素(例如，圖6B之第一像素610B)及一鄰近於視訊資料之區塊之第二邊緣的最後像素(例如，圖6B之最後像素612B)。在一些實例中，第一排之最後像素可鄰近於第二排之最後像素。在一些實例中，第一邊緣可平行於第二邊緣。
視訊寫碼器可按掃描次序寫碼將區塊之像素映射至調色板中之輸入項的索引值，其中第二排之像素按掃描次序緊跟在第一排之像素之後(904)。舉例而言，視訊編碼器20可編碼語法元素以表示使用蛇形掃描次序(例如，如圖6B中所說明)將與索引值相關聯的視訊資料之區塊之像素的各別位置與調色板之輸入項相關的索引值之映射(例如，圖5之映射240)。
在一些實例(諸如圖6B之實例)中，第一排可為第一列且第二排可為第二列。在一些實例中，第一排可為第一行且第二排可為第二行(例如，在圖6B之實例旋轉90度的情況下)。
在一些實例中，視訊寫碼器可寫碼一指示第二排之最後像素按掃描次序緊跟在第一排之最後像素之後的語法元素。舉例而言，視訊寫碼器可寫碼一指示蛇形掃描次序之語法元素。另外或或者，視訊寫碼器可基於所謂的旁側資訊(諸如，區塊大小、色彩空間及/或色彩分量)發信或推斷掃描次序。
在一些實例中，調色板中之每一輸入項可分別包括一唯一索引值。在此等實例中，視訊寫碼器可寫碼索引值及/或寫碼一或多個逸出像素。在一些實例中，視訊寫碼器可使用截斷二進位碼寫碼索引值及逸出像素中之一或兩者。
在一些實例中，諸如在藉由視訊編碼器執行圖9之方法的情況下，視訊編碼器可產生調色板。舉例而言，視訊編碼器可根據圖10之技術產生調色板。
圖10為說明根據本發明之技術的用於判定視訊資料之區塊的調色板之實例程序的流程圖。圖10之技術可藉由視訊寫碼器(諸如圖1及圖2中所說明之視訊編碼器20)執行。為達成說明之目的，在圖1及圖2之視訊編碼器20之上下文內描述圖10之技術，但具有不同於視訊編碼器20之組態的組態的視訊寫碼器可執行圖10之技術。
視訊編碼器(諸如視訊編碼器20)可產生視訊資料之區塊的調色板。舉例而言，視訊編碼器20可導出一包括複數個輸入項的直方圖，該複數個輸入項各自包括一各別像素值及具有類似於各別像素值之像素值的像素之一各別量。作為一個實例，視訊編碼器20之基於調色板之編碼單元(PBEU)122可判定視訊資料之區塊的直方圖H(1002)。直方圖H可表示為H={(v i ,f i ),i={0,1,2,…,M}}，其中M+1為當前區塊中的不同像素值之數目，v i 為像素值，f i 為v i 之出現數目(亦即，當前區塊中之多少像素具有像素值v i )。在一些實例中，直方圖之複數個輸入項中的每一者表示具有相同像素值之像素的量。在一些實例中，直方圖之複數個輸入項中的每一者表示在經量化時具有相同像素值的像素之量。
在一些實例中，視訊編碼器可基於直方圖將視訊資料之區塊的一或多個像素分類為主要色彩像素或逸出像素(其可對應於直方圖中之指示比經分類為主要色彩像素之像素更低的像素量的輸入項)。在一些實例中，視訊碼可寫碼經分類為逸出像素的像素之實際值(亦即，相反於寫碼索引值)。逸出像素之實際值可經量化或不經量化。
PBEU 122可初始化一或多個變數(1004)。舉例而言，PBEU 122可將調色板P初始化為空，將調色板P之索引(idx)初始化為0，及/或將直方圖H之索引(j)初始化為零。
PBEU 122可排序直方圖H(1006)。舉例而言，PBEU 122可根據fi之降序排序直方圖H，以使得具有更多出現之像素靠近前面而置放。經排序直方圖可表示為H o ={(u i ,f i ),i={0,1,2,…,M},f i f i+1}。
PBEU 122可將輸入項插入至調色板P中(1008)。舉例而言，PBEU 122可將輸入項(j,u j )自經排序直方圖H o 複製至調色板P中。
PBEU 122可遞增調色板索引(1012)及直方圖索引(1016)。PBEU 122可判定對應於經排序直方圖H o中之下一輸入項的像素值是否在已包括於調色板中之像素值中的任一者之鄰域內(1020)。舉例而言，PBEU 122可判定一對應於一在對應於經排序直方圖H o 中的下一輸入項之像素值與已包括於調色板中的像素值中之一或多者之間的差的距離值。若所判定差值滿足一臨限值，則PBEU 122可將輸入項插入至包括對應於下一輸入項之像素值的調色板P中(1020、1008之「否」分支)。若所判定差值不滿足臨限值，則PBEU 122可遞增直方圖索引(1020、1016之「是」分支)。
在一些實例中，若一或多個條件滿足一或多個各別臨限值，則PBEU 122可停止判定調色板。作為一個實例，在調色板P之大小大於臨限值大小(1010之「是」分支)之情況下，PBEU 122可停止判定調色板。作為另一實例，在調色板索引(idx)之值等於臨限值(M)(1014之「是」分支)之情況下，PBEU 122可停止判定調色板。作為另一實例，在直方圖索引(j)之值等於臨限值(M)(1018之「是」分支)之情況下，PBEU 122可停止判定調色板。在一些實例中，M可對應於當前區塊中之不同像素值的數目。
以下編號實例可說明本發明之一或多個態樣：
實例1。一種寫碼視訊資料之方法，該方法包含：藉由視訊寫碼器及針對視訊資料之區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之區塊之第一排包括鄰近於視訊資料 之區塊之邊緣而定位的像素，且其中視訊資料之區塊之第二排包括鄰近於區塊之邊緣並鄰近於第一排之像素而定位的像素；及按掃描次序寫碼將區塊之像素映射至調色板中之輸入項的索引值，其中第二排之像素按掃描次序緊跟在第一排之像素之後。
實例2。實例1之方法，其中第一排為第一列且第二排為第二列，且其中按掃描次序寫碼索引值包含緊接在寫碼第二列中之像素的一索引值之前寫碼第一列中之像素的一索引值。
實例3。實例1之方法，其中第一排為第一行且第二排為第二行，且其中按掃描次序寫碼索引值包含緊接在寫碼第二行中之像素的一索引值之前寫碼第一行中之像素的一索引值。
實例4。實例1至實例3之任何組合的方法，其中邊緣為第一邊緣，其中第二排之像素為第二排之第一像素，其中第二排包括鄰近於視訊資料之區塊之平行於第一邊緣的第二邊緣而定位的第二像素，且其中寫碼索引值包含：寫碼指示按掃描次序之連續像素之延行具有相同索引值的一或多個語法元素，其中連續像素之延行包括第一排之像素及第二排之第一像素，且不包括第二排之第二像素。
實例5。實例1至實例4之任何組合的方法，其進一步包含：寫碼一指示緊跟在第一排之像素之後按掃描次序掃描第二排之像素的語法元素。
實例6。實例1至實例5之任何組合的方法，其中調色板中之每一輸入項分別包括一對應於該複數個各別色彩值之一各別色彩值的唯一索引值，該方法進一步包含：寫碼不對應於該複數個各別色彩值之各別色彩值的逸出像素之值，其中寫碼索引值及逸出像素包括使用截斷二進位碼寫碼索引值及逸出像素中之一或兩者。
實例7。實例1至實例6之任何組合的方法，其中視訊寫碼器為視訊編碼器，其中寫碼索引值包含編碼索引值，該方法進一步包含產生 一包括調色板及表示索引值之一或多個語法元素的位元串流。
實例8。實例1至實例7之任何組合的方法，其進一步包含：針對視訊資料之區塊判定一包括複數個輸入項的直方圖，每一輸入項包括一各別像素值及具有類似於各別像素值之像素值的像素之一各別量；基於該直方圖將視訊資料之區塊的一或多個像素分類為主要色彩像素或逸出像素，其中經分類為逸出像素之像素對應於直方圖中之指示比分類為主要色彩像素之像素更低的像素量的輸入項；及基於該直方圖判定調色板。
實例9。實例1至實例8之任何組合的方法，其中該直方圖之該複數個輸入項中的每一者表示在經量化時具有相同像素值的像素之量。
實例10。實例1至實例9之任何組合的方法，其中判定調色板包含：判定視訊資料之區塊的調色板之第一輸入項，其中該第一輸入項對應於直方圖之第一輸入項；判定一對應於包括於直方圖之第二輸入項中之像素值與包括於調色板中之一或多個像素值之間的差的距離值；及回應於判定該距離值滿足一臨限值，將包括於直方圖之第二輸入項中的像素值複製至調色板之第二輸入項中。
實例11。實例1至實例10之任何組合的方法，其中該臨限值係基於視訊資料之區塊的量化參數(QP)。
實例12。實例1至實例11之任何組合的方法，其中視訊寫碼器為視訊解碼器，其中寫碼索引值包含解碼索引值，該方法進一步包含接收一包括調色板及表示索引值之一或多個語法元素的位元串流。
實例13。一種用於寫碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料之區塊；及一或多個處理器，其經組態以執行實例1至實例12之任何組合的方法。
實例14。一種用於寫碼視訊資料之裝置，該裝置包含：用於執行實例1至實例12之任何組合之方法的構件。
實例15。一種儲存有指令之電腦可讀媒體，該等指令在經執行時致使視訊寫碼器之一或多個處理器執行實例1至實例12之任何組合之方法。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可增添、合併或完全省略(例如，對於實踐技術而言並非所有所描述之動作或實踐皆係必要的)。此外，在某些實例中，動作或事件可(例如)經由多線緒處理、中斷處理或多個處理器同時而非順序地執行。此外，儘管出於清晰之目的將本發明之某些態樣描述為由單一模組或單元執行，但應理解，本發明之技術可由與視訊寫碼器相關聯之單元或模組的組合執行。
為達成說明之目的，本發明之某些態樣已經關於發展HEVC標準而描述。然而，本發明中所描述之技術可適用於其他視訊寫碼程序，包括尚未開發之其他標準或專屬視訊寫碼程序。
上文所描述的技術可藉由視訊編碼器20(圖1及圖2)及/或視訊解碼器30(圖1及圖3)執行，其兩者可大體上被稱作視訊寫碼器。同樣地，視訊寫碼可指視訊編碼或視訊解碼(在可適用時)。
雖然在上文描述技術的各種態樣之特定組合，但提供此等組合僅為了說明本發明中描述的技術之實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中描述之技術的各種態樣之任何可設想組合。
在一或多個實例中，所描述之功能可在硬體、軟體、韌體或其任何結合中實施。若在軟體中實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方 式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件，快閃記憶體，或可用以儲存呈指令或資料結構之形式之所要程式碼且可藉由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多 個電路或邏輯元件中。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必需要藉由不同硬體單元予以實現。相反地，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
240‧‧‧映射
244‧‧‧調色板
266‧‧‧排/列
268‧‧‧排/列
270‧‧‧排/列

Claims (34)

  1. 一種寫碼視訊資料之方法，該方法包含：藉由一視訊寫碼器及針對視訊資料之一區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之該區塊之一第一排包括一鄰近於視訊資料之該區塊之一邊緣而定位的像素，且其中視訊資料之該區塊之一第二排包括一鄰近於該區塊之該邊緣並鄰近於該第一排之該像素而定位的像素；及按一掃描次序寫碼將該區塊之像素映射至該調色板中之輸入項的索引值，其中該第二排之該像素按該掃描次序緊跟在該第一排之該像素之後。
  2. 如請求項1之方法，其中該第一排為一第一列且該第二排為一第二列，且其中按該掃描次序寫碼該等索引值包含緊接在寫碼該第二列中之該像素的一索引值之前寫碼該第一列中之該像素的一索引值。
  3. 如請求項1之方法，其中該第一排為一第一行且該第二排為一第二行，且其中按該掃描次序寫碼該等索引值包含緊接在寫碼該第二行中之該像素的一索引值之前寫碼該第一行中之該像素的一索引值。
  4. 如請求項1之方法，其中該邊緣為一第一邊緣，其中該第二排之該像素為該第二排之一第一像素，其中該第二排包括一鄰近於視訊資料之該區塊的一平行於該第一邊緣之第二邊緣而定位的第二像素，且其中寫碼該等索引值包含：寫碼指示按該掃描次序之連續像素之一延行具有相同索引值的一或多個語法元素，其中連續像素之該延行包括該第一排之該像素及該第二排之該第一像素，且不包括該第二排之該第二像 素。
  5. 如請求項1之方法，其進一步包含：寫碼一指示緊跟在該第一排之該像素之後按該掃描次序掃描該第二排之該像素的語法元素。
  6. 如請求項1之方法，其中該調色板中之每一輸入項分別包括一對應於該複數個各別色彩值之一各別色彩值的唯一索引值，該方法進一步包含：寫碼不對應於該複數個各別色彩值之各別色彩值的逸出像素之值，其中寫碼該等索引值及該等逸出像素包括使用截斷二進位碼寫碼該等索引值及該等逸出像素中之一或兩者。
  7. 如請求項1之方法，其中該視訊寫碼器為一視訊編碼器，其中寫碼該等索引值包含編碼該等索引值，該方法進一步包含產生一包括該調色板及表示該等索引值之一或多個語法元素的位元串流。
  8. 如請求項7之方法，其進一步包含：針對視訊資料之該區塊判定一包括複數個輸入項的直方圖，該複數個輸入項各自包括一各別像素值及具有類似於該各別像素值之像素值的像素之一各別量；基於該直方圖將視訊資料之該區塊的一或多個像素分類為主要色彩像素或逸出像素，其中經分類為逸出像素之像素對應於該直方圖中之指示一比經分類為主要色彩像素之像素更低的像素量的輸入項；及基於該直方圖判定該調色板。
  9. 如請求項8之方法，其中該直方圖之該複數個輸入項中的每一者表示在經量化時具有相同像素值的像素之一量。
  10. 如請求項8之方法，其中判定該調色板包含： 判定用於視訊資料之該區塊的該調色板之一第一輸入項，其中該第一輸入項對應於該直方圖之一第一輸入項；判定一對應於一包括於該直方圖之一第二輸入項中的像素值與包括於該調色板中的一或多個像素值之間的一差的距離值；及回應於判定該距離值滿足一臨限值，將包括於該直方圖之該第二輸入項中的該像素值複製至該調色板之一第二輸入項中。
  11. 如請求項10之方法，其中該臨限值係基於視訊資料之該區塊的一量化參數(QP)。
  12. 如請求項1之方法，其中該視訊寫碼器為一視訊解碼器，其中寫碼該等索引值包含解碼該等索引值，該方法進一步包含接收一包括該調色板及表示該等索引值之一或多個語法元素的位元串流。
  13. 一種用於寫碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料之一區塊；及一或多個處理器，其經組態以：針對視訊資料之該區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之該區塊之一第一排包括一鄰近於視訊資料之該區塊之一邊緣而定位的像素，且其中視訊資料之該區塊之一第二排包括一鄰近於該區塊之該邊緣並鄰近於該第一排之該像素而定位的像素；及按一掃描次序寫碼將該區塊之像素映射至該調色板中之輸入項的索引值，其中該第二排之該像素按該掃描次序緊跟在該第一排之該像素之後。
  14. 如請求項13之裝置，其中該第一排為一第一列且該第二排為一第二列，且其中，為按該掃描次序寫碼該等索引值，該一或多個處理器經組態以緊接在寫碼該第二列中之該像素的一索引值之前寫碼該第一列中之該像素的一索引值。
  15. 如請求項13之裝置，其中該第一排為一第一行且該第二排為一第二行，且其中，為按該掃描次序寫碼該等索引值，該一或多個處理器經組態以緊接在寫碼該第二行中之該像素的一索引值之前寫碼該第一行中之該像素的一索引值。
  16. 如請求項13之裝置，其中該邊緣為一第一邊緣，其中該第二排之該像素為該第二排之一第一像素，其中該第二排包括一鄰近於視訊資料之該區塊的一平行於該第一邊緣之第二邊緣而定位的第二像素，且其中，為寫碼該等索引值，該一或多個處理器經組態以：寫碼指示按該掃描次序之連續像素之一延行具有相同索引值的一或多個語法元素，其中連續像素之該延行包括該第一排之該像素及該第二排之該第一像素，且不包括該第二排之該第二像素。
  17. 如請求項13之裝置，其中該一或多個處理器經進一步組態以：寫碼一指示緊跟在該第一排之該像素之後按該掃描次序掃描該第二排之該像素的語法元素。
  18. 如請求項13之裝置，其中該調色板中之每一輸入項分別包括一對應於該複數個各別色彩值之一各別色彩值的唯一索引值，且其中該一或多個處理器經進一步組態以：寫碼不對應於該複數個各別色彩值之各別色彩值的逸出像素之值，其中該一或多個處理器經組態以使用截斷二進位碼寫碼該等索引值及該等逸出像素中之一或兩者。
  19. 如請求項13之裝置，其進一步包含一視訊編碼器，其中，為寫碼該等索引值，該一或多個處理器經組態以編碼該等索引值，且其中該一或多個處理器經進一步組態以產生一包括該調色板及表 示該等索引值之一或多個語法元素的位元串流。
  20. 如請求項19之裝置，其中該一或多個處理器經進一步組態以：針對視訊資料之該區塊判定一包括複數個輸入項的直方圖，該複數個輸入項各自包括一各別像素值及具有類似於該各別像素值之像素值的像素之一各別量；基於該直方圖將視訊資料之該區塊的一或多個像素分類為主要色彩像素或逸出像素，其中經分類為逸出像素之像素對應於該直方圖中之指示一比經分類為主要色彩像素之像素更低的像素量的輸入項；及基於該直方圖判定該調色板。
  21. 如請求項20之裝置，其中該直方圖之該複數個輸入項中的每一者表示在經量化時具有相同像素值的像素之一量。
  22. 如請求項20之裝置，其中，為判定該調色板，該一或多個處理器經組態以：判定用於視訊資料之該區塊的該調色板之一第一輸入項，其中該第一輸入項對應於該直方圖之一第一輸入項；判定一對應於一包括於該直方圖之一第二輸入項中的像素值與包括於該調色板中的一或多個像素值之間的一差的距離值；及回應於判定該距離值滿足一臨限值，將包括於該直方圖之該第二輸入項中的該像素值複製至該調色板之一第二輸入項中。
  23. 如請求項22之裝置，其中該臨限值係基於視訊資料之該區塊的一量化參數(QP)。
  24. 如請求項13之裝置，其進一步包含一視訊解碼器，其中，為寫碼該等索引值，該一或多個處理器經組態以解碼該等索引值，且其中該一或多個處理器經進一步組態以接收一包括該調色板及表示該等索引值之一或多個語法元素的位元串流。
  25. 一種用於寫碼視訊資料之裝置，該裝置包含：用於藉由一視訊寫碼器及針對視訊資料之一區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板的構件，其中視訊資料之該區塊之一第一排包括一鄰近於視訊資料之該區塊之一邊緣而定位的像素，且其中視訊資料之該區塊之一第二排包括一鄰近於該區塊之該邊緣並鄰近於該第一排之該像素而定位的像素；及用於按一掃描次序寫碼將該區塊之像素映射至該調色板中之輸入項的索引值的構件，其中該第二排之該像素按該掃描次序緊跟在該第一排之該像素之後。
  26. 如請求項25之裝置，其中該第一排為一第一列且該第二排為一第二列，且其中該等用於按該掃描次序寫碼該等索引值的構件包含用於緊接在寫碼該第二列中之該像素的一索引值之前寫碼該第一列中之該像素的一索引值的構件。
  27. 如請求項25之裝置，其中該第一排為一第一行且該第二排為一第二行，且其中該等用於按該掃描次序寫碼該等索引值的構件包含用於緊接在寫碼該第二行中之該像素的一索引值之前寫碼該第一行中之該像素的一索引值的構件。
  28. 如請求項25之裝置，其中該邊緣為一第一邊緣，其中該第二排之該像素為該第二排之一第一像素，其中該第二排包括一鄰近於視訊資料之該區塊的一平行於該第一邊緣之第二邊緣而定位的第二像素，且其中該等用於寫碼該等索引值的構件包含：用於寫碼指示按該掃描次序之連續像素之一延行具有相同索引值的一或多個語法元素的構件，其中連續像素之該延行包括該第一排之該像素及該第二排之該第一像素，且不包括該第二排之該第二像素。
  29. 如請求項25之裝置，其進一步包含：用於寫碼一指示緊跟在該第一排之該像素之後按該掃描次序掃描該第二排之該像素的語法元素的構件。
  30. 一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時致使一視訊寫碼器之一或多個處理器執行以下操作：針對視訊資料之一區塊判定一具有指示複數個各別色彩值之複數個輸入項的調色板，其中視訊資料之該區塊之一第一排包括一鄰近於視訊資料之該區塊之一邊緣而定位的像素，且其中視訊資料之該區塊之一第二排包括一鄰近於該區塊之該邊緣並鄰近於該第一排之該像素而定位的像素；及按一掃描次序寫碼將該區塊之像素映射至該調色板中之輸入項的索引值，其中該第二排之該像素按該掃描次序緊跟在該第一排之該像素之後。
  31. 如請求項30之電腦可讀媒體，其中該第一排為一第一列且該第二排為一第二列，且其中該等致使該一或多個處理器按該掃描次序寫碼該等索引值的指令包含致使該一或多個處理器緊接在寫碼該第二列中之該像素的一索引值之前寫碼該第一列中之該像素的一索引值的指令。
  32. 如請求項30之電腦可讀媒體，其中該第一排為一第一行且該第二排為一第二行，且其中該等致使該一或多個處理器按該掃描次序寫碼該等索引值的指令包含致使該一或多個處理器緊接在寫碼該第二行中之該像素的一索引值之前寫碼該第一行中之該像素的一索引值的指令。
  33. 如請求項30之電腦可讀媒體，其中該邊緣為一第一邊緣，其中該第二排之該像素為該第二排之一第一像素，其中該第二排包括一鄰近於視訊資料之該區塊的一平行於該第一邊緣之第二邊緣而 定位的第二像素，且其中該等致使該一或多個處理器寫碼該等索引值的指令包含致使該一或多個處理器執行以下操作的指令：寫碼指示按該掃描次序之連續像素之一延行具有相同索引值的一或多個語法元素，其中連續像素之該延行包括該第一排之該像素及該第二排之該第一像素，且不包括該第二排之該第二像素。
  34. 如請求項30之電腦可讀媒體，其進一步包含致使該一或多個處理器執行以下操作的指令：寫碼一指示緊跟在該第一排之該像素之後按該掃描次序掃描該第二排之該像素的語法元素。
TW104108210A 2014-03-14 2015-03-13 基於調色板之視訊寫碼 TWI624172B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461953667P 2014-03-14 2014-03-14
US61/953,667 2014-03-14
US14/656,087 US9826242B2 (en) 2014-03-14 2015-03-12 Palette-based video coding
US14/656,087 2015-03-12

Publications (2)

Publication Number Publication Date
TW201545543A true TW201545543A (zh) 2015-12-01
TWI624172B TWI624172B (zh) 2018-05-11

Family

ID=54070438

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104108210A TWI624172B (zh) 2014-03-14 2015-03-13 基於調色板之視訊寫碼

Country Status (13)

Country Link
US (1) US9826242B2 (zh)
EP (1) EP3117613A1 (zh)
JP (1) JP2017513321A (zh)
KR (1) KR101937548B1 (zh)
CN (1) CN106105200B (zh)
CR (1) CR20160422A (zh)
DO (1) DOP2016000245A (zh)
GT (1) GT201600188A (zh)
MX (1) MX354578B (zh)
NI (1) NI201600137A (zh)
SV (1) SV2016005275A (zh)
TW (1) TWI624172B (zh)
WO (1) WO2015138927A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291827B2 (en) 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
US9560364B2 (en) * 2014-02-25 2017-01-31 Fingram Co., Ltd. Encoding image data with quantizing and inverse-quantizing pixel values
EP3055830A4 (en) * 2014-03-21 2017-02-22 Huawei Technologies Co., Ltd. Advanced screen content coding with improved color table and index map coding methods
US10362336B2 (en) 2014-03-25 2019-07-23 Qualcomm Incorporated Palette predictor signaling with run length code for video coding
US10091512B2 (en) 2014-05-23 2018-10-02 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
EP3130148A4 (en) * 2014-05-23 2017-06-21 HFI Innovation Inc. Methods for palette size signaling and conditional palette escape flag signaling
US10021418B2 (en) * 2014-06-19 2018-07-10 Hfi Innovation Inc. Method and apparatus of candidate generation for single sample mode in video coding
US10237557B2 (en) * 2014-06-20 2019-03-19 Hfi Innovation Inc. Method of run-length coding for palette predictor
EP3138288B1 (en) * 2014-06-20 2020-12-23 HFI Innovation Inc. Method and apparatus of binarization and context-adaptive coding for syntax in video coding
CN106797471B (zh) * 2014-09-03 2020-03-10 联发科技股份有限公司 一种对图像内区块使用调色板预测模式的颜色索引图解码方法
WO2016057323A1 (en) * 2014-10-06 2016-04-14 Huawei Technologies Co., Ltd. Improved palette mode in high efficiency video coding (hevc) screen content coding (scc)
US9596479B2 (en) * 2014-10-07 2017-03-14 Hfi Innovation Inc. Method of pulse-code modulation and palette coding for video coding
WO2016200100A1 (ko) * 2015-06-10 2016-12-15 삼성전자 주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
EP3449633A4 (en) * 2016-05-28 2019-12-18 MediaTek Inc. METHOD AND DEVICE OF A PALLET MODE CODING FOR COLOR VIDEO DATA
CN106851294B (zh) * 2017-01-03 2018-08-14 西安万像电子科技有限公司 图像的压缩方法和装置及其文字块的压缩方法和装置
US11399187B2 (en) * 2017-03-10 2022-07-26 Intel Corporation Screen content detection for adaptive encoding
TWI720470B (zh) * 2018-04-30 2021-03-01 聯發科技股份有限公司 用於視訊編解碼中的獨立編碼樹的語法交錯方法和裝置
CN112055964B (zh) * 2018-04-30 2022-06-07 寰发股份有限公司 用于视频编解码中的独立编码树的语法交错方法和装置
CN113676732B (zh) * 2019-03-18 2023-06-20 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
EP3954125A4 (en) 2019-05-31 2022-06-22 ByteDance Inc. INTRA-BLOCK COPY PREDICTION PALETTE MODE
US11330306B2 (en) * 2019-08-07 2022-05-10 Tencent America LLC Method and apparatus for video coding
WO2021030667A1 (en) * 2019-08-15 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using palette mode
US11451801B2 (en) * 2019-12-26 2022-09-20 Alibaba Group Holding Limited Methods for coding video data in palette mode
CN115211118A (zh) * 2019-12-31 2022-10-18 抖音视界有限公司 用于视频编解码的基于聚类的调色板模式
CN112218069A (zh) * 2020-09-28 2021-01-12 北京达佳互联信息技术有限公司 直播界面检测方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408542A (en) 1992-05-12 1995-04-18 Apple Computer, Inc. Method and apparatus for real-time lossless compression and decompression of image data
US6008816A (en) 1996-04-25 1999-12-28 Microsoft Corporation Method and system for managing color specification using attachable palettes and palettes that refer to other palettes
US6256415B1 (en) 1998-06-10 2001-07-03 Seiko Epson Corporation Two row buffer image compression (TROBIC)
CN1148975C (zh) * 1998-07-07 2004-05-05 C-立方微系统股份有限公司 Mpeg起始码兼容交叠图形编码
AU2233801A (en) 1999-12-22 2001-07-16 Neomtel Co., Ltd. A system for moving image data using wireless communication and the method of the same
US6819793B1 (en) 2000-06-30 2004-11-16 Intel Corporation Color distribution for texture and image compression
US6748116B1 (en) 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
US7162080B2 (en) * 2001-02-23 2007-01-09 Zoran Corporation Graphic image re-encoding and distribution system and method
US6898313B2 (en) 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
CN2638367Y (zh) * 2003-09-05 2004-09-01 乔妍 伪处理彩色显示控制装置
US7343037B1 (en) 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
US7751585B2 (en) * 2004-06-28 2010-07-06 Microsoft Corporation System and method for encoding high density geometric symbol set
US7343837B1 (en) 2006-09-15 2008-03-18 James Anthony Domanico Multi-plane flexible handle for ratchets and wrenches
AU2006246497B2 (en) * 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
WO2010022002A1 (en) 2008-08-19 2010-02-25 Marvell World Trade Ltd Systems and methods for perceptually lossless video compression
US20110110416A1 (en) 2009-11-12 2011-05-12 Bally Gaming, Inc. Video Codec System and Method
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
JP2014107742A (ja) * 2012-11-28 2014-06-09 Toshiba Corp 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
US11259020B2 (en) 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US9794579B2 (en) 2013-07-15 2017-10-17 Qualcomm Incorporated Decoded picture buffer operations for video coding

Also Published As

Publication number Publication date
CN106105200B (zh) 2019-05-03
GT201600188A (es) 2018-11-27
DOP2016000245A (es) 2016-12-30
SV2016005275A (es) 2017-07-20
US9826242B2 (en) 2017-11-21
TWI624172B (zh) 2018-05-11
KR20160132925A (ko) 2016-11-21
MX2016011591A (es) 2016-12-20
US20150264363A1 (en) 2015-09-17
KR101937548B1 (ko) 2019-01-10
MX354578B (es) 2018-03-12
JP2017513321A (ja) 2017-05-25
WO2015138927A1 (en) 2015-09-17
NI201600137A (es) 2016-11-18
CR20160422A (es) 2017-01-19
CN106105200A (zh) 2016-11-09
EP3117613A1 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
TWI624172B (zh) 基於調色板之視訊寫碼
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
US11146788B2 (en) Grouping palette bypass bins for video coding
TWI669944B (zh) 基於調色板之視訊寫碼中之寫碼行程
TWI693822B (zh) 基於調色板之視訊寫碼中之最大調色板參數
JP6463730B2 (ja) パレットベースのビデオコード化におけるパレットの決定
JP6594903B2 (ja) パレットベースのビデオコーディングにおけるエスケープサンプルのコーディング
TWI666918B (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
US9877029B2 (en) Palette index binarization for palette-based video coding
AU2016219428B2 (en) Restriction on palette block size in video coding
US10158866B2 (en) Parsing dependency reduction for palette index coding
TW201830964A (zh) 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊
TW201603563A (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
KR20170097655A (ko) 서브샘플링 포맷을 위한 팔레트 모드
US11240507B2 (en) Simplified palette predictor update for video coding
US9961351B2 (en) Palette mode coding
NZ737096B2 (en) Grouping palette bypass bins for video coding