TW201703525A - 分組用於視訊寫碼之調色盤旁通槽 - Google Patents

分組用於視訊寫碼之調色盤旁通槽 Download PDF

Info

Publication number
TW201703525A
TW201703525A TW105118449A TW105118449A TW201703525A TW 201703525 A TW201703525 A TW 201703525A TW 105118449 A TW105118449 A TW 105118449A TW 105118449 A TW105118449 A TW 105118449A TW 201703525 A TW201703525 A TW 201703525A
Authority
TW
Taiwan
Prior art keywords
palette
current
video data
syntax elements
block
Prior art date
Application number
TW105118449A
Other languages
English (en)
Other versions
TWI759265B (zh
Inventor
瑞珍 雷克斯曼 喬許
法迪姆 塞瑞金
溥偉
鄒峰
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201703525A publication Critical patent/TW201703525A/zh
Application granted granted Critical
Publication of TWI759265B publication Critical patent/TWI759265B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本發明提供一種寫碼視訊資料之實例方法，該方法包括：自一經寫碼視訊位元串流寫碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素；自該經寫碼視訊位元串流且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，解碼相關於該當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素；且基於用於該當前視訊資料區塊之該調色盤以及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來解碼該當前視訊資料區塊。

Description

分組用於視訊寫碼之調色盤旁通槽
本申請案主張2015年6月12日申請之美國臨時申請案第62/175,137號之權益，該臨時申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊頻能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲機、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(Advanced Video Coding；AVC)定義之標準、ITU-T-H.265高效率視訊寫碼(High Efficiency Video Coding；HEVC)標準及此等標準之擴展中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視 訊圖塊(亦即，視訊圖框或視訊圖框之部分)分割成視訊區塊。圖像之經框內寫碼(I)圖塊中之視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。經框內寫碼區塊係根據框內寫碼模式及殘餘資料而編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著經量化之殘餘係數。最初配置於二維陣列中之經量化係數可經掃描以便產生係數的一維向量，且熵寫碼可經應用以達成甚至更大程度壓縮。
在一個實例中，一種解碼視訊資料之方法包括：自一經寫碼視訊位元串流解碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素；自該經寫碼視訊位元串流且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，解碼相關於該當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素；且基於用於該當前視訊資料區塊之該調色盤以及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來解碼該當前視訊資料區塊。
在另一實例中，一種編碼視訊資料之方法包括：在一經寫碼視訊位元串流中編碼指示是否將一轉置程序應用於一當前視訊資料區塊之 一調色盤之調色盤索引的一語法元素；在該經寫碼視訊位元串流中且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，編碼相關於該當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素；及基於用於該當前視訊資料區塊之該調色盤以及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來編碼該當前視訊資料區塊。
在另一實例中，一種用於寫碼視訊資料之器件包括經組態以儲存視訊資料之一記憶體及一或多個處理器。在此實例中，該一或多個處理器經組態以：在一經寫碼視訊位元串流中寫碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素；在該經寫碼視訊位元串流中且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處寫碼相關於該當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素；且基於用於該當前視訊資料區塊之該調色盤以及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來寫碼該當前視訊資料區塊。
在另一實例中，一種用於寫碼視訊資料之器件包括：用於在一經寫碼視訊位元串流中寫碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素的構件；用於在該經寫碼視訊位元串流中且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，寫碼相關於該當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素的構件；及用於基於用於該當前視訊資料區塊之該調色盤以及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來寫碼該當前視訊資料區塊 之構件。
在另一實例中，一種電腦可讀儲存媒體，其儲存當被執行時會致使一視訊寫碼器件之一或多個處理器進行以下操作的指令：在一經寫碼視訊位元串流中寫碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素；在該經寫碼視訊位元串流中且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，寫碼相關於該當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素；且基於用於該當前視訊資料區塊之該調色盤以及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來寫碼該當前視訊資料區塊。
在另一實例中，一種電腦可讀儲存媒體，其儲存當由一視訊解碼器件處理時會致使該視訊解碼器件之一或多個處理器進行以下操作的一經寫碼視訊位元串流之至少一部分：判定是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引；及基於用於該當前視訊資料區塊之該調色盤及該當前視訊資料區塊之一差異QP及一或多個色度QP偏移來解碼該視訊資料之該當前區塊，其中相關於該差異QP之一或多個語法元素及相關於該當前視訊資料區塊之該一或多個色度QP偏移之一或多個語法元素位於該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的一語法元素之後的一位置處。
在隨附圖式及以下描述中闡述一或多個實例之細節。自實施方式及圖式以及自申請專利範圍將顯而易見其他特徵、目標及優點。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道/連結
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧基於調色盤之編碼單元
126‧‧‧框內預測處理單元
149‧‧‧視訊資料記憶體
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧基於調色盤之解碼單元
166‧‧‧框內預測處理單元
178‧‧‧圖像
180‧‧‧第一寫碼單元
184‧‧‧第一調色盤
188‧‧‧第二寫碼單元
192‧‧‧第二調色盤
196‧‧‧區塊/寫碼單元
200‧‧‧區塊
202‧‧‧項目
204‧‧‧項目
206‧‧‧項目
208‧‧‧項目
210‧‧‧項目
212‧‧‧項目
214‧‧‧項目
240‧‧‧映射
244‧‧‧調色盤
266‧‧‧排/列
268‧‧‧排/列
270‧‧‧排/列
圖1為說明可使用本發明中所描述之技術之實例視訊寫碼系統的方塊圖。
圖2為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖4為說明與本發明之技術一致的判定用於寫碼視訊資料之調色盤之實例的概念圖。
圖5為說明與本發明之技術一致的判定至用於像素區塊的調色盤之索引之實例的概念圖。
圖6為說明根據本發明之一或多種技術的用於使用調色盤模式來解碼視訊資料區塊之實例程序的流程圖。
圖7為說明根據本發明之一或多種技術的用於使用調色盤模式來編碼視訊資料區塊之實例程序的流程圖。
本發明描述用於視訊寫碼及壓縮之技術。詳言之，本發明描述用於視訊資料之基於調色盤之寫碼的技術。舉例而言，本發明描述用以支援寫碼視訊內容，尤其是具有調色盤寫碼之螢幕內容的技術，諸如用於改良式調色盤索引二進位化之技術及用於針對調色盤寫碼發信的技術。
在傳統視訊寫碼中，假定影像為連續色調且在空間上平滑。基於此等假定，已開發各種工具，諸如基於區塊之變換、濾波等等，且此等工具已展示針對自然內容視訊之良好效能。
然而，在如遠端桌上型電腦、協同工作及無線顯示器之應用中，電腦產生之螢幕內容可為待壓縮之主要內容。此類型之內容傾向於具有離散色調及特徵清晰線，及高對比度物件邊界。連續色調及平滑之假定可不再適用，且因此傳統視訊寫碼技術可不為用以壓縮之高效方式。
基於螢幕內容視訊之特性，引入調色盤寫碼以改良螢幕內容寫碼(SCC)效率，如在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(Joint Collaborative Team on Video Coding；JCT-VC)，第13次會議：韓國仁川，2013年4月18日至26日，文件：JCTVC-M0323，Guo等人之「Palette Mode for Screen Content Coding」(其可在http：//phenix.it-sudparis.eu/jct/doc_end_user documents/13_Incheon/wg11/JCTVC-M0323-v3.zip處獲得(下文中為「JCTVC-M0323」))中所提出。特定言之，基於在SCC中一個CU內之色彩通常集中於幾個峰值的事實，調色盤寫碼引入查找表(亦即，調色盤)來壓縮重複性像素值。針對特定CU提供調色盤，CU內之像素經映射至調色盤索引。在第二階段中，提議有效的自左複製游程長度方法以有效地壓縮索引區塊之重複型樣。在一些實例中，調色盤索引寫碼模式可推廣至針對游程長度寫碼之自左側複製及自上方複製兩者。應注意，在一些實例中，可不針對調色盤寫碼調用變換程序以避免使銳邊模糊，使銳邊模糊可對螢幕內容之視覺品質產生巨大負面影響。
如上文所論述，本發明描述基於調色盤之寫碼，其可尤其適合於螢幕產生之內容寫碼。舉例而言，假定視訊資料之特定區域具有相對較小數目個色彩。視訊寫碼器(視訊編碼器或視訊解碼器)可將所謂的「調色盤」寫碼為用於表示特定區域(例如，給定區塊)之視訊資料的色彩表。每一像素可與調色盤中表示像素之色彩的一項目相關聯。舉例而言，視訊寫碼器可寫碼將像素值映射至調色盤中之適當值的索引。
在以上實例中，視訊編碼器可藉由判定用於區塊之調色盤、定位調色盤中之項目以表示每一像素之色彩值及運用像素的將像素值映射至調色盤之索引值編碼調色盤而編碼視訊資料區塊。視訊解碼器可自經編碼位元串流獲得用於區塊之調色盤，以及區塊之像素的索引值。 視訊解碼器可將像素之索引值映射至調色盤之項目以重建構區塊之明度及色度像素值。
以上實例意欲提供對基於調色盤之寫碼的一般描述。在各種實例中，本發明中所描述之技術可包括用於發信基於調色盤之寫碼模式、傳輸調色盤、預測調色盤、導出調色盤以及傳輸基於調色盤之寫碼映射及其他語法元素中之一或多者的各種組合的技術。此等技術可改良視訊寫碼效率，例如需要較少位元來表示螢幕產生之內容。
舉例而言，根據本發明之態樣，視訊寫碼器(視訊編碼器或視訊解碼器)可寫碼用於使用調色盤寫碼模式而寫碼之每一區塊的一或多個語法元素。舉例而言，視訊寫碼器可寫碼palette_mode_flag以指示基於調色盤之寫碼模式是否將用於寫碼特定區塊。在此實例中，視訊編碼器可運用等於一之值來編碼palette_mode_flag以指定使用調色盤模式來編碼當前正經編碼之區塊(「當前區塊」)。在此狀況下，視訊解碼器可自經編碼位元串流獲得palette_mode_flag，且應用基於調色盤之寫碼模式以解碼區塊。在存在一個以上基於調色盤之寫碼模式可用(例如，存在一個以上基於調色盤之技術可用於寫碼)的例子中，一或多個語法元素可指示用於區塊的複數個不同調色盤模式中之一者。
在一些情況下，視訊編碼器可運用等於零之值來編碼palette_mode_flag以指定不使用調色盤模式來編碼當前區塊。在此等情況下，視訊編碼器可使用多種框間預測性、框內預測性或其他寫碼模式中之任一者來編碼區塊。當palette_mode_flag等於零時，視訊編碼器可編碼額外資訊(例如，語法元素)以指示用於編碼各別區塊之特定模式。在一些實例中，如下文所描述，該模式可為HEVC寫碼模式。出於實例之目的而描述palette_mode_flag之使用。在其他實例中，諸如多位元碼之其他語法元素可用以指示基於調色盤之寫碼模式是否將用於一或多個區塊，或指示將使用複數個模式中之哪些模式。
當使用基於調色盤之寫碼模式時，調色盤可由編碼器在經編碼視訊資料位元串流中傳輸以供由解碼器使用。調色盤可經傳輸以用於每一區塊，或可在圖像或圖塊中之數個區塊當中共用。調色盤可指對於區塊而言為主要及/或代表性的數個像素值，包括(例如)一明度值及兩個色度值。
在一些實例中，諸如轉置旗標之語法元素可經寫碼以指示是否將轉置程序應用於當前調色盤之調色盤索引。若轉置旗標為零，則用於樣本之調色盤索引可以水平橫向掃描方式寫碼。相似地，若轉置旗標為一，則用於樣本之調色盤索引可以垂直橫向掃描方式寫碼。此可被認為假定水平橫向掃描來解碼索引值且接著轉置區塊(列至行)。
本發明之態樣包括用於寫碼調色盤之技術。舉例而言，根據本發明之態樣，視訊編碼器可編碼一或多個語法元素以定義調色盤。視訊編碼器可編碼以定義用於當前視訊資料區塊之當前調色盤的一些實例語法元素包括但不限於：指示是否將轉置程序應用於當前調色盤之調色盤索引(亦即，是否)的語法元素(例如，palette_transpose_flag)；相關於差異量化參數(QP)的一或多個語法元素(例如，cu_qp_delta_palette_abs、cu_qp_delta_palette_sign_flag、cu_chroma_qp_palette_offset_flag及/或cu_chroma_qp_palette_offset_idx)；相關於當前視訊資料區塊之色度QP偏移的一或多個語法元素；指示先於陣列中之非零項目的零之數目的一或多個語法元素(例如，palette_predictor_run)，該陣列指示是否將來自預測因子調色盤之項目再用於當前調色盤中；指示經明確地發信的當前調色盤中之項目之數目的一或多個語法元素(例如，num_signalled_palette_entries)；指示當前調色盤中之調色盤項目中的分量之值的一或多個語法元素(例如，palette_entry)；指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的一或多個語法元素(例如，palette_escape_val_present_flag)； 指示經明確地發信或推斷的當前調色盤中之項目之數目的一或多個語法元素(例如，num_palette_indices_idc)；及指示當前調色盤項目之陣列中之索引的一或多個語法元素(例如，palette_index_idc)。舉例而言，當根據HEVC螢幕內容寫碼(SCC)草案3(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC)，第20次會議：瑞士日內瓦，2015年2月10日至2月17日，文件：JCTVC-T1005，Joshi等人之「High Efficiency Video Coding(HEVC)Screen Content Coding：Draft 3」(其可在http：//phenix.int-evry.fr/jct/doc_end_user/documents/20_Geneva/wg11/JCTVC-T1005-v2.zip處獲得(下文中為「HEVC SCC草案3」)))操作時，視訊寫碼器可發信palette_coding( )語法表(HEVC SCC草案3之第7.3.8.8部分)中所列舉之語法元素，下文如表1再現。
除了提供語法元素包括於位元串流中所按照之次序以外，表1亦提供用於語法元素中之每一者的描述符，其指示針對每一語法元素之編碼類型。作為一個實例，視訊編碼器可使用無正負號整數第0階指數哥倫布碼(Exp-Golomb-code)(其中首先是左側位元)來編碼具有ue(v)描述符之語法元素。作為另一實例，視訊編碼器可使用上下文自適應性算術熵碼(context-adaptive arithmetic entropy-code；CABAC)來編碼具有ae(v)描述符之語法元素。當使用CABAC來編碼語法元素之槽時，視訊編碼器可使用上下文來編碼該等槽中之一或多者，及/或可在無上下文的情況下編碼該等槽中之一或多者。在無上下文之情 況下使用CABAC來編碼槽可被稱作旁通模式。下文如表2部分地再現，HEVC SCC草案3進一步提供一表(HEVC SCC草案3之表9至表47)，其指示在有上下文的情況下寫碼表1中所列舉之語法元素之哪些槽(亦即，如上下文「0」及上下文「1」所指示)且在旁通模式中寫碼哪些槽。
表1與表2之比較展示HEVC SCC草案3規定在cu_qp_delta_palette_abs之前的所有語法元素(亦即，num_signalled_palette_entries、palette_entry及palette_escape_val_present_flag)被旁通寫碼。相似地，在palette_transpose_flag之後且在last_palette_run_type_flag之前的語法元素(亦即，num_palette_indices_idc及palette_index_idc)亦被旁通寫碼。
當使用CABAC與上下文來編碼槽時，視訊編碼器可將上下文自儲存器載入至記憶體中。在一些實例中，視訊編碼器可具有有限的可用記憶體資源，且/或將上下文載入至記憶體中可為耗時的。因而，視訊編碼器可需要最小化將上下文載入至記憶體中的時間量。在一些 實例中，將旁通槽分組在一起可減少將上下文載入至記憶體中的時間量，此可增加CABAC輸送量。
在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC)，第21次會議：波蘭華沙，2015年6月19日至26日，文件：JCTVC-U0090，Ye等人之「CE1-related：Palette Mode Context and Codeword Simplification」(其可在http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/21_Warsaw/wg11/JCTVC-U0090-v1.zip處獲得(下文中為「JCTVC-U0090」))中，提出應在last_palette_run_type_flag之後發信palette_transpose_flag。特定言之，JCTVC-U0090提出修改palette_coding( )語法表，如下文在表3中所展示(其中插入斜體文字，且刪除[[雙方括號斜體]]文字)。
然而，在一些實例中，由JCTVC-U0090提出之語法元素之配置可不為最佳。舉例而言，當相關於差異QP(亦即，cu_qp_delta_palette_abs及cu_qp_delta_palette_sign_flag)及色度QP偏移(亦即，cu_chroma_qp_palette_offset_flag及cu_chroma_qp_palette_offset_idx)之語法元素存在時，由JCTVC-U0090提出之語法元素之配置可不引起對任何額外旁通槽分組。
根據本發明之一或多種技術，視訊編碼器可編碼用以定義當前調色盤之語法元素以使得連續地編碼使用旁通模式編碼之語法元素。舉 例而言，與在指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之前，編碼相關於當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移之一或多個語法元素相反，視訊編碼器可在指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之後，編碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移之一或多個語法元素。
下文在表4中展示palette_coding( )語法表可如何經修改以將相關於差異QP及色度QP偏移之語法元素之發信移動至palette_transpose_flag之後的一個實例(其中與HEVC SCC草案3中的表4之先前版本，插入斜體文字且刪除[[雙方括號斜體]]文字)。
藉由將相關於當前視訊資料區塊之差異QP及/或色度QP偏移之一或多個語法元素移動至指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之後，視訊編碼器可將使用旁通模式寫碼之較大數目個語法元素分組在一起(亦即，連續地編碼)。舉例而言，藉由將相關於當前視訊資料區塊之差異QP及/或色度QP偏移之一或多個語法元素移動至指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之後，視訊編碼器可將指示經明確地發信或推斷的當前調色盤中之項目之數目的一或多個語法元素(例如，num_palette_indices_idc)及指示當前調色盤項目之陣列中之索引的一或多個語法元素(例如，palette_index_idc)與以下各者分組 在一起：相關於當前視訊資料區塊之色度QP偏移的一或多個語法元素；指示先於陣列中之非零項目的零之數目的一或多個語法元素(例如，palette_predictor_run)，該陣列指示是否將來自預測因子調色盤之項目再用於當前調色盤中；指示經明確地發信的當前調色盤中之項目之數目的一或多個語法元素(例如，num_signalled_palette_entries)；指示當前調色盤中之調色盤項目中的分量之值的一或多個語法元素(例如，palette_entry)；及指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的一或多個語法元素(例如，palette_escape_val_present_flag)。以此方式，本發明之技術可增加CABAC輸送量，此可減少使用調色盤模式編碼來編碼視訊資料所需的時間。舉例而言，藉由將經旁通寫碼之語法元素分組在一起，視訊寫碼器可使用CABAC寫碼引擎來依序編碼經分組語法元素，而無需開始、停止、重新開始、重新載入及重設CABAC寫碼引擎。
表4僅為語法元素可如何配置之一個實例。在一些實例中，相關於差異QP及色度QP偏移之語法元素可進一步沿語法表向下移動。舉例而言，相關於差異QP及色度QP偏移之語法元素可置放成緊接在逸出樣本之分量值(亦即，palette_escape_val)之前。下文在表5中展示相關於差異QP及色度QP偏移之語法元素可如何置放成緊接在用於逸出樣本之分量值之前的一個實例(其中與HEVC SCC草案3相比，插入斜體文字，且刪除[[雙方括號斜體]]之文字)。
用於視訊資料之基於調色盤之寫碼的技術可與一或多種其他寫碼技術(諸如用於框間或框內預測性寫碼之技術)一起使用。舉例而言，如下文更詳細地描述，編碼器或解碼器或組合式編碼器-解碼器(編碼解碼器)可經組態以執行框間及框內預測性寫碼，以及基於調色盤之寫碼。
在一些實例中，基於調色盤之寫碼技術可經組態以與一或多個視訊寫碼標準一起使用。一些實例視訊寫碼標準包括但不限於ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可擴展視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
最近，ITU-T視訊寫碼專家組(Video Coding Experts Group；VCEG)及ISO/IEC動畫專家組(Motion Picture Experts Group；MPEG)之視訊寫碼聯合合作小組(JCT-VC)已完成新的視訊寫碼標準(即，高效率視訊寫碼(HEVC))之設計。已完成HEVC標準之複本(亦即，ITU-TH.265,Series H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video，2015年4月)可在https：//www.itu.int/rec/T-REC-H.265-201504-I/en處獲得(下文中為「HEVC標準」)。
JCT-VC亦正在開發對HEVC之範圍擴展(Range Extension to HEVC)(即，HEVC螢幕內容寫碼(SCC))。HEVC SCC之最近草案(ITU-T SG 16 WP 3及ISO/IEC JTC 1/29/WG 11之視訊寫碼聯合合作小組(JCT-VC)，第21次會議：波蘭華沙，2015年6月16日至6月19日，Joshi等人之「High Efficiency Video Coding(HEVC)Screen Content Coding：Draft 4」)可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/21_Warsaw/wg11/JCTVC-U1005-v2.zip獲得(下文中為「HEVC SCC草案4」)。
就HEVC構架而言，作為實例，基於調色盤之寫碼技術可經組態以用作寫碼單元(coding unit；CU)模式。在其他實例中，基於調色盤之寫碼技術可經組態以用作HEVC之框架中的預測單元(prediction unit；PU)模式。因此，在CU模式之上下文中描述之所有以下所揭示之程序可另外或替代地適用於PU。然而，此等基於HEVC之實例不應被視為約束或限制本文中所描述的基於調色盤之寫碼技術，此係因為此等技術可經應用以獨立地或作為其他現有或尚待開發之系統/標準之部分工作。在此等狀況下，用於調色盤寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
圖1為說明可使用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文中所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般而言係指視訊編碼或視訊解碼。視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行根據本發明中所描述之各種實例的用於基於調色盤之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以使用基於調色盤之寫碼或非基於調色盤之寫碼而選擇性地寫碼各種視訊資料區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色盤之寫碼模式可指各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如由HEVC標準指定之各種寫碼模 式。
如圖1所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，該等器件包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲機、車載電腦或其類似者。
目的地器件14可經由頻道16而自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之一或多個媒體或器件。在一個實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(radio frequency；RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或全球網路(例如，網際網路))之部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可經由磁碟存取或卡存取而存取儲存媒體。儲存媒體可包括諸如以下之多種本端存取式資料 儲存媒體：藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流傳輸或下載而存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(file transfer protocol；FTP)伺服器、網路附接儲存(network attached storage；NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等等)，或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術並不限於無線應用或設定。該等技術可應用於支援多種多媒體應用之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸，例如經由網際網路編碼視訊資料以儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上的視訊資料，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅為實例，且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本端記憶體擷取，經由網路串流傳輸，或其類似者。視訊編碼器件可編碼資料且將資料儲存至記憶體， 且/或視訊解碼器件可自記憶體擷取資料及解碼資料。在許多實例中，藉由彼此並不通信而是簡單地將資料編碼至記憶體及/或自記憶體擷取資料且解碼資料之器件來執行編碼及解碼。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電氣設備、諸如所謂的「智慧型」電話之電話手持機、所謂的「智慧型」平板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲機、視訊串流器件或其類似者。在一些狀況下，源器件12及目的地器件14可經裝備以用於無線通信。
目的地器件14可經由連結16而接收待解碼之經編碼視訊資料。連結16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任何類型之媒體或器件。在一個實例中，連結16可包含使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼之視訊資料，且將經編碼之視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或全球網路(諸如網際網路))之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信的任何其他設備。
替代地，可將經編碼資料自輸出介面22輸出至儲存器件19。相似地，輸入介面可自儲存器件19存取經編碼資料。儲存器件19可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件19可對應於可保持由源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載而 自儲存器件19存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼之視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等等)，或兩者之組合。經編碼視訊資料自儲存器件19之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸，例如經由網際網路編碼數位視訊以儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上的數位視訊，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊俘獲器件(例如，視訊攝影機)、含有先前所俘獲視訊之視訊封存檔、用以自視訊內容提供者接收視訊之視訊饋入介面，及/或用於將電腦圖形資料產生為源視訊之電腦圖形系統之源，或此等源之組合。作為一個實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術一般而言可適用於視訊寫碼，且可應用於無線及/或有線應用。
可由視訊編碼器20編碼所俘獲視訊、預俘獲之視訊或電腦產生之 視訊。經編碼視訊資料可經由源器件12之輸出介面22而直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件19上以供稍後由目的地器件14或其他器件存取以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由連結16接收經編碼視訊資料。經由連結16傳達或在儲存器件19上提供之經編碼視訊資料可包括由視訊編碼器20產生以由視訊解碼器(諸如，視訊解碼器30)用於解碼視訊資料的多種語法元素。傳輸於通信媒體上、儲存於儲存媒體上，或儲存於檔案伺服器之經編碼視訊資料內可包括此等語法元素。
顯示器件32可與目的地器件14整合或在目的地器件14外部。在一些實例中，目的地器件14可包括整合顯示器件，且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含諸如以下之多種顯示器件中之任一者：液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如最近完成之HEVC標準(及其目前在開發下之各種擴展))操作。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ITU-T H.264標準，替代地被稱作MPEG-4，第10部分，進階視訊寫碼(AVC))或此等標準之擴展而操作。然而，本發明之技術並不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括VP8及VP9。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當之MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者之編碼。在一些實例中，若適用，則MUX- DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(user datagram protocol；UDP))。
視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如包括微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合之一或多個積體電路。當以軟體部分地實施技術時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器來執行諸如積體電路之硬體中之指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器(CODEC))之部分。
如上文所介紹，JCT-VC最近已完成HEVC標準之開發。HEVC標準化成果係基於視訊寫碼器件之演進模型(被稱作HEVC測試模型(HEVC Test Model；HM))。HM根據(例如)ITU-T H.264/AVC假定視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十五個框內預測編碼模式。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，指示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb色訊(chrominance)樣本之二維陣列。SCr為Cr色訊樣本之二維陣列。色訊樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(coding tree unit；CTU)之集合。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼該等寫 碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或LCU。HEVC之CTU可大致類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應寫碼區塊，以及用以寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊及用以預測該預測區塊之語法結構。視訊編碼器20可產生CU之每一PU之明度、Cb及Cr預測區塊的預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本而產生PU之預測性區塊。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解 碼樣本而產生PU之預測性區塊。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中的對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為供應用相同變換的樣本之矩形(例如，正方形或非正方形)區塊。CU之變換單元(transform unit；TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以使變換區塊樣本變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用以使變換區塊之樣本變換的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於 TU之Cr變換區塊以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化通常係指對變換係數進行量化以可能地減少用以表示變換係數的資料之量，從而提供進一步壓縮之程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化變換係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(Context-Adaptive Binary Arithmetic Coding；CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及關聯資料之表示的一序列位元之位元串流。位元串流可包含一序列NAL單元。NAL單元為含有NAL單元中之資料之類型之指示的語法結構及含有呈視需要穿插有模擬阻止位元之RBSP形式之資料的位元組。NAL單元中之每一者包括NAL單元標頭，且封裝RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有封裝於NAL單元內的整數數目個位元組的語法結構。在一些情況下，RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封PPS之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封SEI訊息之RBSP，等等。囊封視訊寫碼資料之RBSP(與參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素而重建構視訊資料之圖像。用以重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係 數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行基於調色盤之寫碼。舉例而言，在基於調色盤之寫碼(並非執行上文所描述之框內預測性或框間預測性寫碼技術)中，視訊編碼器20及視訊解碼器30可將所謂的調色盤寫碼為色彩值之表以用於表示特定區域(例如，給定區塊)之視訊資料。每一像素可與表示像素之色彩的調色盤中之一項目相關聯，例如，與明度(Y)值及色度(Cb及Cr)值相關聯。舉例而言，視訊編碼器20及視訊解碼器30可寫碼將像素值與調色盤中之適當值相關的索引。
在以上實例中，視訊編碼器20可藉由以下各者來編碼視訊資料區塊：判定用於區塊之調色盤；定位調色盤中之項目以表示每一像素之值；及運用用於將像素值與調色盤相關的像素之索引值來編碼調色盤。視訊解碼器30可自經編碼位元串流獲得用於區塊之調色盤，以及區塊之像素的索引值。視訊解碼器30可將像素之索引值與調色盤之項目相關以重建構區塊之像素值。
本發明之態樣係關於調色盤導出，其可在編碼器處及在解碼器處發生。作為一個實例，視訊編碼器20可藉由導出當前區塊中的像素之直方圖而導出用於當前區塊之調色盤。在一些實例中，直方圖可表達為H={(v i ,f i ),i={0,1,2,…,M}}，其中M+1為當前區塊中的不同像素值之數目，v i 為像素值，且f i 為v i 出現之數目(亦即，當前區塊中有多少像素具有像素值v i )。在此等實例中，直方圖大體上表示一像素值在當前區塊中出現的次數。
當導出直方圖時，視訊編碼器20可初始化一或多個變數。作為一個實例，視訊編碼器20可將調色盤索引idx初始化為0，(亦即，設定idx=0)。作為另一實例，視訊編碼器20可將調色盤P初始化為空(亦即，P=，設定j=0)。
視訊編碼器20可(例如)按降序排序直方圖，以使得更多次出現的像素接近值清單之前面置放。舉例而言，視訊編碼器20可根據f i 之降序排序H，且經定序清單可表達為H o ={(u i ,f i ),i={0,1,2,…,M},f i f i+1}。在此實例中，經定序清單包括在清單之前面(頂部)處的最頻繁出現之像素值及在清單之後面(底部)處的最不頻繁出現之像素值。
視訊編碼器20可將來自直方圖之一或多個項目複製至調色盤中。作為一個實例，視訊編碼器20可將直方圖中具有最大頻率之項目插入至調色盤中。舉例而言，視訊編碼器20可將(j,u j )插入至調色盤P中(亦即，P=P ∪{(idx,u j )})。在一些實例中，在將項目插入至調色盤中之後，視訊編碼器20可評估直方圖中具有下一最大頻率之項目以插入至調色盤中。舉例而言，視訊編碼器20可設定idx=idx+1，j=j+1。
視訊編碼器20可判定具有下一最大頻率之項目(亦即，u j+1)是否在調色盤中的任何像素(亦即，x)之鄰域內(亦即，Distance(u j+1,x)<Thresh)。舉例而言，視訊編碼器20可藉由判定項目之值是否在調色盤中的任何像素之值的臨限距離內而判定該項目是否在調色盤中的任何像素之鄰域內。在一些實例中，視訊編碼器20可靈活地選擇距離函數。作為一個實例，視訊編碼器20可選擇距離函數作為絕對差之和(sum of absolute differences；SAD)或三個色彩分量(例如，亮度、藍色色調色訊及紅色色調色訊中之每一者)或一色彩分量(例如，亮度、藍色色調色訊或紅色色調色訊中之一者)之預測平方誤差之和(sum of squared error；SSE)。在一些實例中，視訊編碼器20可靈活地選擇臨 限值Thresh。作為一個實例，視訊編碼器20可選擇取決於當前區塊之量化參數(QP)的臨限值。作為另一實例，視訊編碼器20可選擇取決於idx之值或j之值的臨限值。
若視訊編碼器20判定具有下一最大頻率之項目(亦即，u j+1)在調色盤中的任何像素之鄰域內，則視訊編碼器20可不插入直方圖中之項目。若視訊編碼器20判定具有下一最大頻率之項目(亦即，u j+1)不在調色盤中的任何像素之鄰域內，則視訊編碼器20可插入直方圖中之項目。
視訊編碼器20可繼續在調色盤中插入項目直至滿足一或多個條件為止。一些實例條件為當idx=M時，當j=M時，或當調色盤之大小大於預定義之值時。
基於調色盤之寫碼可具有一定量發信額外負荷。舉例而言，可需要數個位元來發信調色盤之特性(諸如調色盤之大小)以及調色盤自身。另外，可需要若干位元來發信區塊之像素的索引值。在一些實例中，本發明之技術可減少發信此資訊所需的位元之數目。舉例而言，本發明中所描述之技術可包括用於發信基於調色盤之寫碼模式、傳輸調色盤、預測調色盤、導出調色盤以及傳輸基於調色盤之寫碼映射及其他語法元素中之一或多者的各種組合的技術。
在一些實例中，視訊編碼器20及/或視訊解碼器30可使用另一調色盤預測一調色盤。舉例而言，視訊編碼器20及/或視訊解碼器30可判定具有指示第一像素值之第一項目的第一調色盤。視訊編碼器20及/或視訊解碼器30可接著基於第一調色盤之第一項目判定指示第二調色盤之第二像素值的一或多個第二項目。視訊編碼器20及/或視訊解碼器30亦可使用第二調色盤寫碼視訊資料區塊之像素。
當基於第一調色盤中之項目判定第二調色盤之項目時，視訊編碼器20可編碼多種語法元素，其可由視訊解碼器用以重建構第二調色 盤。舉例而言，視訊編碼器20可在位元串流中編碼一或多個語法元素以指示整個調色盤(或多個調色盤，在視訊資料之每一色彩分量(例如，Y、Cb、Cr或Y、U、V或R、G、B)具有單獨調色盤之狀況下)為自當前正被寫碼的區塊之一或多個相鄰區塊複製。預測(例如，複製)當前區塊之當前調色盤之項目所藉依的調色盤可被稱作預測性調色盤。預測性調色盤可含有來自包括在空間上相鄰之區塊及/或按區塊之特定掃描次序的相鄰區塊的一或多個相鄰區塊之調色盤項目。舉例而言，相鄰區塊可在空間上位於當前正被寫碼的區塊左側(左相鄰區塊)或位於當前正被寫碼的區塊之上(上部相鄰區塊)。在另一實例中，視訊編碼器20可使用當前區塊之因果相鄰者中之最頻繁樣本值來判定預測性調色盤項目。在另一實例中，相鄰區塊可與當前正根據用以寫碼區塊之特定掃描次序寫碼的區塊相鄰。亦即，相鄰區塊可為在當前區塊之前按掃描次序寫碼的一或多個區塊。視訊編碼器20可編碼一或多個語法元素以指示複製調色盤所藉依的相鄰區塊之位置。
在一些實例中，可逐個項目執行調色盤預測。舉例而言，視訊編碼器20可編碼一或多個語法元素以針對預測性調色盤之每一項目指示調色盤項目是否包括於當前區塊的調色盤中。若視訊編碼器20未預測用於當前區塊的調色盤之項目，則視訊編碼器20可編碼一或多個額外語法元素以指定未經預測項目，以及此等項目之數目。
上文所描述之語法元素可被稱作調色盤預測向量。舉例而言，如上文所提及，視訊編碼器20及視訊解碼器30可基於來自相鄰區塊的一或多個調色盤(統稱為參考調色盤)預測用於當前區塊之調色盤。當產生參考調色盤時，可在將最近調色盤添加至佇列之前面時使用先進先出(first-in first-out；FIFO)。若佇列超過預定義之臨限值，則最老的元素可彈出。在將新元素推至佇列之前面中之後，可應用修剪程序以自佇列之開頭計數，移除重複的元素。特定言之，在一些實例中，視 訊編碼器20可編碼(且視訊解碼器30可解碼)0-1向量以指示是否將參考調色盤中之像素值再用於當前調色盤。作為實例，如表6之實例中所展示，參考調色盤可包括六個項(例如，六個索引值及各別像素值)。
在出於說明目的之實例中，視訊編碼器20可發信指示v0、v2、v3、v4及v5再用於當前調色盤中而v1不被再使用的向量(1,0,1,1,1,1)。除了再用v0、v2、v3、v4及v5以外，視訊編碼器20亦可將兩個新項添加至具有索引5及6之當前調色盤。下文表7中展示用於此實例之當前調色盤。
為了針對向量中之每一項寫碼調色盤預測0-1向量，視訊編碼器20可寫碼一個位元以表示其值。另外，可二進位化及發信無法預測的調色盤項之數目(例如，新調色盤項目(上文表7之實例中的u0及u1)之數目)。
本發明之其他態樣係關於建構及/或傳輸允許視訊編碼器20及/或視訊解碼器30判定像素值的映射。舉例而言，本發明之其他態樣係關 於建構及/或傳輸將特定像素與調色盤之項目相關的索引之映射。
在一些實例中，視訊編碼器20可指示區塊之像素是否具有調色盤中之對應值。在出於說明目的之實例中，假定映射之(i,j)項目對應於視訊資料區塊中的(i,j)像素位置。在此實例中，視訊編碼器20可編碼用於區塊之每一像素位置的旗標。視訊編碼器20可針對(i,j)項目將旗標設定為等於一以指示在(i,j)位置處的像素值為調色盤中的多個值中之一者。當色彩包括於調色盤中(亦即，旗標等於一)時，視訊編碼器20亦可編碼指示(i,j)項目之調色盤索引(其識別調色盤中之色彩)的資料。當像素之色彩並未包括於調色盤中(亦即，旗標等於零)時，視訊編碼器20亦可編碼指示像素之樣本值的資料，該像素可被稱作逸出像素。視訊解碼器30可自經編碼位元串流獲得上文所描述之資料，且使用該資料來判定區塊中之特定位置的調色盤索引及/或像素值。
在一些情況下，可在給定位置處之像素映射至的調色盤索引與相鄰像素映射至同一調色盤索引的機率之間存在相關性。亦即，當像素映射至特定調色盤索引時，一或多個相鄰像素(就空間位置而言)映射至同一調色盤索引的機率可相對較高。
在一些實例中，視訊編碼器20及/或視訊解碼器30可相對於一視訊資料區塊的一或多個索引而判定及寫碼同一視訊資料區塊的一或多個索引。舉例而言，視訊編碼器20及/或視訊解碼器30可經組態以判定與視訊資料區塊中之第一像素相關聯的第一索引值，其中第一索引值將第一像素之值與調色盤之項目相關。視訊編碼器20及/或視訊解碼器30亦可經組態以基於第一索引值而判定與視訊資料區塊中之一或多個第二像素相關聯的一或多個第二索引值，且寫碼視訊資料區塊之第一像素及一或多個第二像素。因此，在此實例中，可相對於一映射之索引而寫碼該映射之一或多個其他索引。
如上文所論述，視訊編碼器20及/或視訊解碼器30可使用若干不 同技術以相對於映射之索引而寫碼映射之其他索引值。舉例而言，視訊編碼器20及/或視訊解碼器30可使用索引模式、上方複製模式及過渡模式以相對於映射之索引而寫碼映射之其他索引值。
在基於托板之寫碼的「索引模式」下，視訊編碼器20及/或視訊解碼器30可首先發信調色盤索引。若索引等於調色盤之大小，則此情形指示樣本為逸出樣本。在此狀況下，視訊編碼器20及/或視訊解碼器30可發信每一分量之樣本值或經量化樣本值。舉例而言，若調色盤大小為4，則對於非逸出樣本，調色盤索引在[0，3]之範圍內。在此狀況下，索引值4可表示逸出樣本。若索引指示非逸出樣本，則視訊編碼器20及/或視訊解碼器30可發信游程長度，其可由指示該游程長度之非負值 n-1 指定共用同一索引的按掃描次序的後續樣本之數目，此意謂包括該當前像素的隨後 n 個像素具有與首先發信之索引相同的像素索引。
在基於調色盤之寫碼之「自上方複製」模式中，視訊編碼器20及/或視訊解碼器30可發信非負游程長度值 m-1 以指示對於包括當前像素之隨後 m 個像素，調色盤索引分別與其正上方相鄰者相同。應注意，「自上方複製」模式在調色盤索引在「自上方複製」游程模式內可不同的意義上不同於「索引」模式。
如上文所論述，在一些實例中，可能需要將旁通槽分組在一起(亦即，以增加CABAC輸送量)。根據本發明之一或多種技術，視訊編碼器20可編碼且視訊解碼器30可解碼用以定義當前調色盤之語法元素，以使得將用旁通模式予以寫碼之語法元素分組在一起。舉例而言，與在指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之前，寫碼相關於當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素相反，視訊編碼器20及/或視訊解碼器30可在指示是否將轉置程序應用於當前視訊資料區 塊之調色盤之調色盤索引的語法元素之後，寫碼相關於用於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素。以此方式，視訊編碼器20及/或視訊解碼器30可使用旁通模式來寫碼較大群組之語法元素，此可增加CABAC輸送量。
在一些實例中，相關於當前視訊資料區塊之差異QP的一或多個語法元素可包括：指定當前視訊資料區塊之明度QP與當前區塊之明度QP之預測因子之間的差之絕對值的語法元素(例如，cu_qp_delta_palette_abs)；及指定當前視訊資料區塊之明度QP與當前區塊之明度QP之預測因子之間的差之正負號的語法元素(例如，cu_qp_delta_palette_sign_flag)。在一些實例中，相關於當前視訊資料區塊之色度QP偏移的一或多個語法元素可包括：指示是否將一或多個偏移清單中之項目添加至當前區塊之明度QP以判定當前區塊之色度QP的語法元素(例如，cu_chroma_qp_palette_offset_flag)；及指定添加至當前區塊之明度QP的一或多個偏移清單中之每一者中的項目之索引以判定當前區塊之色度QP的語法元素(例如，cu_chroma_qp_palette_offset_idx)。因而，視訊編碼器20及/或視訊解碼器30可各自經組態以在位元串流中之第一位置處寫碼palette_transpose_flag語法元素，且在位元串流中之第二位置(其在第一位置之後)處寫碼cu_qp_delta_palette_abs語法元素、cu_qp_delta_palette_sign_flag語法元素、cu_chroma_qp_palette_offset_flag語法元素及cu_chroma_qp_palette_offset_idx語法元素。
圖2為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。出於解釋之目的而提供圖2，且不應將該圖視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20表示可經組態以根據本發明中所描述之各種實例執行用於基於調色盤之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20可經組態以使用基於調色盤之寫碼或非基於調色盤之寫碼而選擇性地寫碼視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色盤之寫碼模式可指各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如由HEVC標準指定之各種寫碼模式。在一個實例中，視訊編碼器20可經組態以產生具有指示像素值之項目的調色盤，選擇調色盤中之像素值以表示視訊資料區塊之至少一些位置之像素值，且發信使視訊資料區塊之位置中之至少一些位置與分別對應於選定像素值的調色盤中之項目相關聯的資訊。經發信之資訊可由視訊解碼器30用以解碼視訊資料。
在圖2之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(未展示)。視訊編碼器20亦包括基於調色盤之編碼單元122，其經組態以執行本發明中所描述的基於調色盤之寫碼技術之各種態樣。在其他實例中，視訊編碼器20可包括更多、更少或不同功能之組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料圖像之圖塊中的每一CTU。CTU中之每一者可與具有相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單位100可執行四分樹分割以將CTU之CTB劃分成逐漸變小的區塊。較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個相等大小之子區塊，將該等子區 塊中之一或多者分割成四個相等大小之子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生該等CU之經編碼的表示(亦即，經寫碼的CU)。作為編碼CU之部分，預測處理單元100可分割與CU之一或多個PU當中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測之2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或相似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性樣本區塊及用於PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測處理單元120可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測處理單元120並不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測之區塊係使用空間預測自同一圖框內的先前經編碼之相鄰區塊而形成。
若PU係在P圖塊中，則框間預測處理單元120之運動估計單元可在用於PU之參考區域的參考圖像清單(例如，「RefPicList0」)中搜尋參考圖像。用於PU之參考區域可為參考圖像內含有最緊密地對應於PU之樣本區塊的樣本區塊之區域。運動估計單元可產生指示含有用於PU之參考區域之參考圖像的RefPicList0中之位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與相關聯於參考區域之 參考位置之間的空間位移的MV。舉例而言，MV可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元可輸出參考索引及MV作為PU之運動資訊。框間預測處理單元120之運動補償單元可基於在由PU之運動向量指示的參考位置處之實際或內插樣本產生PU之預測性樣本區塊。
若PU在B圖塊中，則運動估計單元可針對PU執行單向預測或雙向預測。為了針對PU執行單向預測，運動估計單元可搜尋RefPicList0或用於PU之參考區域的第二參考圖像清單(「RefPicList1」)之參考圖像。運動估計單元可輸出以下各者作為PU之運動資訊：參考索引，其指示在含有參考區域之參考圖像的RefPicList0或RefPicList1中之位置；MV，其指示PU之樣本區塊與相關聯於參考區域之參考位置之間的空間位移；及一或多個預測方向指示符，其指示參考圖像是在RefPicList0中還是在RefPicList1中。框間預測處理單元120之運動補償單元可至少部分地基於在由PU之運動向量指示的參考區域處的實際或內插樣本產生PU之預測性樣本區塊。
為了針對PU執行雙向框間預測，運動估計單元可在用於PU之參考區域的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區域的RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考圖像索引。另外，運動估計單元可產生指示相關聯於參考區域之參考位置與PU之樣本區塊之間的空間位移的MV。PU之運動資訊可包括參考索引及PU之MV。運動補償單元可至少部分地基於由PU之運動向量指示的參考區域處的實際或經內插樣本來產生PU之預測性樣本區塊。
根據本發明之各種實例，視訊編碼器20可經組態以執行基於調色盤之寫碼。就HEVC框架而言，作為實例，基於調色盤之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色盤之寫碼 技術可經組態以用作HEVC之構架中的PU模式。因此，在CU模式之上下文中的本文中所描述之所有經揭示程序(貫穿本發明)可另外或替代地應用於PU。然而，此等基於HEVC之實例不應被視為約束或限制本文中所描述的基於調色盤之寫碼技術，此係因為此等技術可經應用以獨立地或作為其他現有或尚待開發之系統/標準之部分工作。在此等狀況下，用於調色盤寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
舉例而言，當(例如)針對CU或PU選擇基於調色盤之編碼模式時，基於調色盤之編碼單元122可執行基於調色盤之編碼。舉例而言，基於調色盤之編碼單元122可經組態以產生具有指示像素值之項目的調色盤，選擇調色盤中之像素值以表示視訊資料區塊之至少一些位置之像素值，且發信使視訊資料區塊之位置中之至少一些位置與分別對應於選定像素值的調色盤中之項目相關聯的資訊。儘管將各種功能描述為由基於調色盤之編碼單元122執行，但此等功能中之一些或全部可由其他處理單元或不同處理單元之組合來執行。
基於調色盤之編碼單元122可產生語法元素以定義用於視訊資料區塊之調色盤。基於調色盤之編碼單元122可產生以定義用於當前視訊資料區塊之當前調色盤的一些實例語法元素包括但不限於：指示是否將轉置程序應用於當前調色盤之調色盤索引的語法元素(例如，palette_transpose_flag)；相關於差異量化參數(QP)的一或多個語法元素(例如，cu_qp_delta_palette_abs、cu_qp_delta_palette_sign_flag、cu_chroma_qp_palette_offset__flag及/或cu_chroma_qp_palette_offset_idx)；相關於當前視訊資料區塊之色度QP偏移的一或多個語法元素；指示先於陣列中之非零項目的零之數目的一或多個語法元素(例如，palette_predictor_run)，該陣列指示是否將來自預測因子調色盤之項目再用於當前調色盤中；指示經明確地發信的當前調色盤中之項目之 數目的一或多個語法元素(例如，num_signalled_palette_entries)；指示當前調色盤中之調色盤項目中的分量之值的一或多個語法元素(例如，palette_entry)；指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的一或多個語法元素(例如，palette_escape_val_present_flag)；指示經明確地發信或推斷的當前調色盤中的項目之數目的一或多個語法元素(例如，num_palette_indices_idc)；及指示當前調色盤項目之陣列中之索引的一或多個語法元素(例如，palette_index_idc)。基於調色盤之編碼單元122可將定義用於當前區塊之當前調色盤的所產生之語法元素輸出至視訊編碼器20之一或多個其他組件，諸如熵編碼單元118。
因此，視訊編碼器20可經組態以使用如本發明中所描述的基於調色盤之寫碼模式來編碼視訊資料區塊。視訊編碼器20可使用調色盤寫碼模式來選擇性地編碼視訊資料區塊，或使用不同模式(例如，此HEVC框間預測性或框內預測性寫碼模式)來編碼視訊資料區塊。視訊資料區塊可為(例如)根據HEVC寫碼程序產生的CU或PU。視訊編碼器20可藉由框間預測性時間預測或框內預測性空間寫碼模式編碼一些區塊，且藉由基於調色盤之寫碼模式解碼其他區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生PU之預測性資料。PU之預測性資料可包括PU之預測性樣本區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為了對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生PU之預測性資料的多個集合。為了使用框內預測模式產生PU的預測性資料之集合，框內預測處理單元126可使樣本在與框內預測模式相關聯的方向上自相鄰PU的樣本區塊跨越該PU之樣本區塊而擴展。對於PU、CU及CTU，假定自左至右、自上而下之編碼 次序，則相鄰PU可在PU上方、右上方、左上方或左側。框內預測處理單元126可使用不同數目個框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
預測處理單元100可自框間預測處理單元120產生的PU之預測性資料或框內預測處理單元126產生的PU之預測性資料當中選擇CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料集之速率/失真量度而選擇CU之PU的預測性資料。選定預測性資料之預測性樣本區塊在本文中可被稱作選定預測性樣本區塊。
殘餘產生單元102可基於CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊及CU之PU的選定預測性明度區塊、預測性Cb區塊及預測性Cr區塊而產生CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本的值等於CU之寫碼區塊中的樣本與CU之PU之對應選定預測性樣本區塊中的對應樣本之間的差。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與明度變換區塊及兩個色度變換區塊相關聯。CU之TU之明度及色度變換區塊的大小及位置可或可不基於CU之PU之預測區塊的大小及位置。被稱為「殘餘四分樹」(residual quad-tree；RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(discrete cosine transform；DCT)、定向變換或概念上相似之變換應用於變換區塊。在一些實例中，變換處理單元104並不將變 換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化程序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，n位元變換係數可在量化期間被降值捨位至m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可使得資訊丟失，因此經量化之變換係數可具有比原始變換係數低之精確度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性樣本區塊的對應樣本，以產生與TU相關聯之經重建構變換區塊。藉由以此方式重建構用於CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在濾波器單元114對經重建構寫碼區塊執行一或多個解塊操作之後，經解碼圖像緩衝器116可儲存經重建構寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像，以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20的其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼的資料。舉例而言，熵編碼單元118可對資 料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生的經熵編碼之資料的位元串流。舉例而言，位元串流可包括表示CU之RQT的資料。
如上文所論述，基於調色盤之編碼單元122可將定義用於當前區塊之當前調色盤的所產生之語法元素輸出至熵編碼單元118。熵編碼單元118可使用CABAC與上下文來編碼自基於調色盤之編碼單元122接收的語法元素之一或多個槽，且在無上下文之情況下使用CABAC來編碼自基於調色盤之編碼單元122接收的語法元素之一或多個槽(亦即，旁通模式)。在一些實例中，熵編碼單元118可使用上下文或如上文在表2中所定義之旁通模式來編碼語法元素之槽。
如上文所論述，可能需要將經旁通寫碼之槽分組在一起以增加CABAC輸送量。在SCC草案3中，對palette_predictor_run、num_signalled_palette_entries、palette_entry及palette_escape_val_present_flag語法元素之槽進行旁通寫碼，且將其分組在一起。然而，當亦對num_palette_indices_idc及palette_index_idc語法元素之槽進行旁通寫碼時，不將其與palette_predictor_run、num_signalled_palette_entries、palette_entry及palette_escape_val_present_flag語法元素之槽分組在一起。替代地，在HEVC SCC草案3中，藉由相關於當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素(亦即，cu_qp_delta_palette_abs、cu_qp_delta_palette_sign_flag、cu_chroma_qp_palette_offset_flag及cu_chroma_qp_palette_offset_idx)及指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素(亦即，palette_transpose_flag)而將 num_palette_indices_idc及palette_index_idc語法元素與palette_predictor_run、num_signalled_palette_entries、palette_entry及palette_escape_val_present_flag語法元素分離。
根據本發明之一或多種技術，熵編碼單元118可編碼用以定義當前調色盤之語法元素，以使得連續地編碼使用旁通模式編碼之語法元素。舉例而言，與將palette_predictor_run、num_signalled_palette_entries、palette_entry及palette_escape_val_present_flag語法元素之槽與num_palette_indices_idc及palette_index_idc語法元素之槽分離相反，熵編碼單元118可在指示是否將轉置程序應用於當前視訊資料區塊的調色盤之調色盤索引的語法元素之後編碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素，以使得將palette_predictor_run、num_signalled_palette_entries、palette_entry以及palette_escape_val_present_flag、num_palette_indices_idc及palette_index_idc語法元素之槽分組在一起。以此方式，熵編碼單元118之CABAC輸送量可增加。
圖3為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖3，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊解碼器30表示可經組態以執行根據本發明中所描述之各種實例的用於基於調色盤之視訊寫碼的技術的器件之實例。舉例而言，視訊解碼器30可經組態以使用基於調色盤之寫碼或非基於調色盤之寫碼而選擇性地解碼視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色盤之寫碼模式可指各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如由HEVC標準指定之各種寫碼模式。 在一個實例中，視訊解碼器30可經組態以產生具有指示像素值之項目的調色盤，接收將視訊資料區塊之至少一些位置與調色盤中之項目相關聯的資訊，基於該資訊選擇調色盤中之像素值，且基於選定像素值重建構區塊之像素值。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。視訊解碼器30亦包括經組態以執行本發明中所描述的基於調色盤之寫碼技術之各種態樣的基於調色盤之解碼單元165。在其他實例中，視訊解碼器30可包括更多、更少或不同功能之組件。
在一些實例中，視訊解碼器30可進一步包括視訊資料記憶體149。視訊資料記憶體149可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。舉例而言，可自頻道16(例如，自諸如攝影機之本端視訊源)經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而獲得儲存於視訊資料記憶體149中之視訊資料。視訊資料記憶體149可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(coded picture buffer；CPB)。CPB可為儲存參考視訊資料以供由視訊解碼器30用於解碼視訊資料(例如，在框內或框間寫碼模式中)之參考圖像記憶體。視訊資料記憶體149可由多種記憶體器件中之任一者形成，該等記憶體器件諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體149及經解碼圖像緩衝器162可由相同記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體149可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
經寫碼圖像緩衝器(CPB)可接收及儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB接收經編碼視訊資料(例如，NAL單元)且剖析NAL單元以解碼語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可自經寫碼圖塊NAL單元提取語法元素且對該等語法元素進行熵解碼。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。圖塊標頭中之語法元素可包括識別與含有圖塊之圖像相關聯之PPS的語法元素。
除了解碼來自位元串流之語法元素之外，視訊解碼器30可對未經分割之CU執行重建構操作。為了對未經分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，反量化單元154可反量化(亦即，解量化)與TU相關聯之係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度，且同樣地，判定反量化單元154所應用之反量化程度。亦即，可藉由調整在量化變換係數時所使用之QP之值控制壓縮比(亦即，用以表示原始序列之位元數目與用以表示壓縮序列之位元數目的比率)。壓縮比亦可取決於所使用的熵寫碼之方法。
在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維變換(Karhunen-Loeve transform；KLT)、反旋轉變換、反定向變 換或另一反變換應用於係數區塊。
若PU使用框內預測進行編碼，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於空間上相鄰之PU之預測區塊而產生用於PU之預測性明度區塊、Cb區塊及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素而判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU使用框間預測進行編碼，則熵解碼單元150可提取PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多個參考區域。運動補償單元164可基於用於PU之一或多個參考區塊處的樣本區塊而產生用於PU之預測性明度區塊、Cb區塊及Cr區塊。
重建構單元158可在適用時使用與CU之TU相關聯的明度變換區塊、Cb變換區塊及Cr變換區塊以及CU之PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊(亦即，框內預測資料或框間預測資料)來重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。舉例而言，重建構單元158可將明度變換區塊、Cb變換區塊及Cr變換區塊之樣本添加至預測性明度區塊、Cb區塊及Cr區塊之對應樣本，以重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。
濾波器單元160可執行解塊操作以減少與CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度區塊、Cb區塊及Cr區塊而對其他CU之PU執行框內預測或框間預測操作。以此方 式，視訊解碼器30可自位元串流提取顯著明度係數區塊之變換係數層級，反量化變換係數層級，將變換應用於變換係數層級以產生變換區塊，至少部分地基於變換區塊而產生寫碼區塊，且輸出寫碼區塊以供顯示。
根據本發明之各種實例，視訊解碼器30可經組態以執行基於調色盤之寫碼。舉例而言，如當(例如)針對CU或PU選擇基於調色盤之解碼模式時，基於調色盤之解碼單元165可執行基於調色盤之解碼。舉例而言，基於調色盤之解碼單元165可經組態以產生具有指示像素值之項目的調色盤，接收將視訊資料區塊之至少一些位置與調色盤中之項目相關聯的資訊，基於該資訊選擇調色盤中之像素值，且基於選定像素值重建構區塊之像素值。儘管各種功能經描述為由基於調色盤之解碼單元165執行，但此等功能中之一些或全部可由其他處理單元或不同處理單元之組合來執行。
基於調色盤之解碼單元165可接收調色盤寫碼模式資訊，且在調色盤寫碼模式資訊指示調色盤寫碼模式適用於區塊時執行以上操作。當調色盤寫碼模式資訊指示調色盤寫碼模式不適用於區塊時，或當其他模式資訊指示使用不同模式時，預測處理單元152會在調色盤寫碼模式資訊指示調色盤寫碼模式不適用於區塊時，使用非基於調色盤之寫碼模式(例如，使用運動補償單元164之此HEVC框間預測性模式，或使用框內預測處理單元166之框內預測性寫碼模式)來解碼視訊資料區塊。視訊資料區塊可為(例如)根據HEVC寫碼程序產生的CU或PU。視訊解碼器30可藉由框間預測性時間預測或框內預測性空間寫碼模式而解碼一些區塊，且藉由基於調色盤之寫碼模式而解碼其他區塊。基於調色盤之寫碼模式可包含複數個不同的基於調色盤之寫碼模式中之一者，或可存在單一基於調色盤之寫碼模式。
由基於調色盤之解碼單元165接收之調色盤寫碼模式資訊可包含 調色盤模式語法元素，諸如旗標。調色盤模式語法元素之第一值指示調色盤寫碼模式適用於區塊，且調色盤模式語法元素之第二值指示調色盤寫碼模式不適用於視訊資料區塊。基於調色盤之解碼單元165可接收在預測性單元層級、寫碼單元等級、圖塊層級或圖像層級中之一或多者下的調色盤寫碼模式資訊，或可接收在圖像參數集(PPS)、序列參數集(SPS)或視訊參數集(VPS)中之至少一者中的調色盤寫碼模式資訊。
在一些實例中，基於調色盤之解碼單元165可基於寫碼區塊之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫碼中之層id或與視訊資料區塊相關聯的多視圖寫碼中之視圖id中之一或多者來推斷調色盤寫碼模式資訊。
基於調色盤之解碼單元165亦可經組態以接收定義調色盤中之至少一些項目與視訊資料的資訊，且至少部分地基於所接收資訊而產生調色盤。調色盤之大小可為固定的或可變的。在一些狀況下，調色盤之大小為可變的且可基於與視訊資料一起發信的資訊而調節。所發信之資訊可指定調色盤中之項目是否為調色盤中之最後項目。又，在一些狀況下，調色盤可具有最大大小。
調色盤可為包括指示區塊之明度分量及色度分量的像素值之項目的單一調色盤。在此狀況下，調色盤中之每一項目為指示用於明度分量及兩個色度分量之像素值的三重項目。替代地，調色盤包含包括指示區塊之明度分量之像素值的項目的明度調色盤，及包括指示區塊之各別色度分量之像素值的項目的色度調色盤。
在一些實例中，基於調色盤之解碼單元165可藉由基於先前處理之資料預測調色盤中之項目而產生調色盤。先前處理之資料可包括用於先前解碼之相鄰區塊的調色盤，或來自調色盤之資訊。基於調色盤之解碼單元165可接收指示是否將預測調色盤中之項目的預測語法元 素。預測語法元素可包括分別指示是否將預測用於明度分量與色度分量的調色盤中之項目的複數個預測語法元素。
在一些實例中，基於調色盤之解碼單元165可基於用於圖塊或圖像中之左相鄰區塊或頂部相鄰區塊的調色盤中之項目而預測調色盤中之至少一些項目。在此狀況下，調色盤中之基於左相鄰區塊或頂部相鄰區塊的調色盤中之項目預測的項目可由基於調色盤之解碼單元165基於指示選擇左相鄰區塊或頂部相鄰區塊以供預測的語法元素而預測。語法元素可為具有指示選擇左相鄰區塊或頂部相鄰區塊以供預測的值之旗標。
在一些實例中，基於調色盤之解碼單元165可接收指示是否將逐個項目地預測調色盤中之至少一些選定項目的一或多個預測語法元素，且因此產生項目。基於調色盤之解碼單元165可預測項目中之一些項目，且接收直接指定調色盤中之其他項目的資訊。
由基於調色盤之解碼單元165接收的將視訊資料區塊之至少一些位置與調色盤中之項目相關聯的資訊可包含包括用於區塊中之至少一些位置的調色盤索引值的映射資訊，其中調色盤索引值中之每一者對應於調色盤中的項目中之一者。映射資訊可包括各自指示具有相同調色盤索引值的區塊中之連續位置之數目的一或多個游程語法元素。
在一些實例中，基於調色盤之解碼單元165可接收指示藉以自用於區塊中之位置之另一排的調色盤項目複製用於區塊中之位置之一排的調色盤項目的排複製之資訊。基於調色盤之解碼單元165可使用此資訊來執行排複製以判定用於區塊之各種位置的調色盤中之項目。位置之排可包含區塊之位置列、列之一部分、行或行之一部分。
基於調色盤之解碼單元165可部分地藉由接收區塊之一或多個位置的像素值，及將該等像素值添加至調色盤中之項目以動態地產生在游程中之調色盤的至少一部分而產生調色盤。添加像素值可包含將像 素值添加至包含初始項目集合的初始調色盤，或添加至不包括初始項目集合的空調色盤。在一些實例中，添加包含添加像素值以將新項目添加至包含初始項目集合的初始調色盤或填充初始調色盤中之現有項目，或替換或改變初始調色盤中的項目之像素值。
在一些實例中，調色盤可為經量化調色盤，在該經量化調色盤中，選自用於區塊中之位置中之一者的調色盤的像素值不同於該區塊中的該位置之實際像素值，以使得解碼程序有損。舉例而言，相同像素值可選自用於具有不同實際像素值的兩個不同位置之調色盤。
如上文所論述，基於調色盤之解碼單元165可接收定義用於當前視訊資料區塊之調色盤的資訊。舉例而言，基於調色盤之解碼單元165可自熵解碼單元150接收複數個語法元素。在一些實例中，熵解碼單元150可根據語法表解碼來自經寫碼視訊位元串流之複數個語法元素。作為一個實例，熵解碼單元150可根據上文在表1中所再現的HEVC SCC草案3之調色盤語法表而解碼來自經寫碼視訊位元串流之複數個語法元素。然而，如上文所論述，HEVC SCC草案3中的語法元素之配置可不最佳。詳言之，HEVC SCC草案3中的語法元素之配置未最大化被分組在一起的經旁通模式寫碼之語法元素之數目，此可減少CABAC輸送量。
根據本發明之一或多種技術，熵解碼單元150可解碼用以定義當前調色盤之語法元素，以使得額外經旁通模式寫碼之語法元素被分組在一起。舉例而言，與將palette_predictor_run、num_signalled_palette_entries、palette_entry及palette_escape_val_present_flag語法元素之槽與num_palette_indices_idc及palette_index_idc語法元素之槽分離相反，熵解碼單元150可在指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之後解碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素，以使得將 palette_predictor_run、num_signalled_palette_entries、palette_entry以及palette_escape_val_present_flag、num_palette_indices_idc及palette_index_idc語法元素之槽分組在一起。作為一個實例，熵解碼單元150可按上文在表4中所展示之次序解碼用以定義當前調色盤之語法元素。作為另一實例，熵解碼單元150可按上文在表5中所展示之次序解碼用以定義當前調色盤之語法元素。以此方式，熵解碼單元150之CABAC輸送量可增加。
圖4為說明與本發明之技術一致的判定用於寫碼視訊資料之調色盤之實例的概念圖。圖4之實例包括圖像178，其具有與第一調色盤184相關聯之第一寫碼單元(CU)180及與第二調色盤192相關聯之第二CU 188。如下文更詳細地且根據本發明之技術而描述，第二調色盤192係基於第一調色盤184。圖像178亦包括藉由框內預測寫碼模式寫碼之區塊196及藉由框間預測寫碼模式寫碼之區塊200。
出於解釋之目的，在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)的上下文中且關於HEVC標準描述圖4之技術。然而，應理解，本發明之技術並不限於此方式，且可由其他視訊寫碼處理器及/或器件在其他視訊寫碼程序及/或標準中應用。
一般而言，調色盤係指對於當前正經寫碼之CU(諸如，在圖4之實例中為CU 188)而言為主要的及/或代表性的數個像素值。第一調色盤184及第二調色盤192經展示為包括多個調色盤。在一些實例中，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可針對CU之每一色彩分量單獨地寫碼調色盤。舉例而言，視訊編碼器20可編碼用於CU之明度(Y)分量之調色盤、用於CU之色度(U)分量之另一調色盤及用於CU之色度(V)分量之又一調色盤。在此實例中，Y調色盤之項目可表示CU之像素的Y值，U調色盤之項目可表示CU之像素的U值，且V調色盤之項目可表示CU之像素的V值。在另一實例中，視訊編碼器20可編 碼用於CU之明度(Y)分量的調色盤，及用於CU之兩個分量(U,V)的另一調色盤。在此實例中，Y調色盤之項目可表示CU之像素的Y值，且U-V調色盤之項目可表示CU之像素的U-V值對。
在其他實例中，視訊編碼器20可編碼用於CU之所有色彩分量的單一調色盤。在此實例中，視訊編碼器20可編碼具有為三重值(包括Yi、Ui及Vi)的第i個項目的調色盤。在此狀況下，調色盤包括用於像素之分量中之每一者的值。因此，作為具有多個獨立調色盤之調色盤集合的調色盤184及192之表示僅為一個實例且不意欲為限制性的。
在圖4之實例中，第一調色盤184包括分別具有項目索引值1、項目索引值2及項目索引值3的三個項目202至206。項目202至206將索引值分別與包括像素值A、像素值B及像素值C之像素值相關。如本文中所描述，並非對第一CU 180之實際像素值進行寫碼，而是視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可使用基於調色盤之寫碼以使用索引1至3對區塊之像素寫碼。亦即，對於第一CU 180之每一像素位置，視訊編碼器20可編碼用於像素之索引值，其中所述索引值與第一調色盤184中之一或多者中的像素值相關聯。視訊解碼器30可自位元串流獲得索引值且使用該等索引值及第一調色盤184中之一或多者來重建構像素值。因此，第一調色盤184由視訊編碼器20在經編碼視訊資料位元串流中傳輸以供視訊解碼器30在基於調色盤之解碼使用。一般而言，一或多個調色盤可經傳輸以用於每一CU或可在不同CU當中共用。
視訊編碼器20及視訊解碼器30可基於第一調色盤184判定第二調色盤192。舉例而言，視訊編碼器20可編碼用於每一CU(作為實例，包括第二CU 188)之pred_palette_flag以指示用於CU之調色盤是否係自與一或多個其他CU(諸如相鄰CU(在空間上或基於掃描次序)或因果相鄰者之最頻繁樣本)相關聯的一或多個調色盤預測。舉例而言，當 此旗標之值等於一時，視訊解碼器30可判定用於第二CU 188之第二調色盤192係自一或多個已解碼調色盤預測且因此在含有pred_palette_flag的位元串流中不包括用於第二CU 188之新調色盤。當此旗標等於零時，視訊解碼器30可判定用於第二CU 188之調色盤192作為新的調色盤包括於位元串流中。在一些實例中，pred_palette_flag可經單獨地寫碼以用於CU之每一不同色彩分量(例如，三個旗標，對於YUV視訊中之CU，一個用於Y、一個用於U且一個用於V)。在其他實例中，單一pred_palette_flag可經寫碼以用於CU之所有色彩分量。
在以上實例中，每一CU發信pred_palette_flag以指示是否預測用於當前區塊的調色盤之項目中之任一者。在一些實例中，可基於每一項目發信一或多個語法元素。亦即，旗標可針對調色盤預測因子之每一項目經發信以指示彼項目是否存在於當前調色盤中。如上文所提及，若未預測調色盤項目，則可明確地發信調色盤項目。
當相對於第一調色盤184判定第二調色盤192(例如，pred_palette_flag等於一)時，視訊編碼器20及/或視訊解碼器30可定位判定預測性調色盤(在此實例中，第一調色盤184)所藉依的一或多個區塊。預測性調色盤可與當前正被寫碼的CU(亦即，第二CU 188)之一或多個相鄰CU(例如，相鄰CU(在空間上或基於掃描次序)或因果相鄰者之最頻繁樣本)相關聯。一或多個相鄰CU之調色盤可與預測因子調色盤相關聯。在一些實例(諸如，圖4中所說明之實例)中，視訊編碼器20及/或視訊解碼器30可在判定用於第二CU 188之預測性調色盤時定位左相鄰CU(第一CU 180)。在其他實例中，視訊編碼器20及/或視訊解碼器30可相對於第二CU 188定位在其他位置中的一或多個CU(諸如，上部CU(CU 196))。
視訊編碼器20及/或視訊解碼器30可基於階層判定用於調色盤預 測之CU。舉例而言，視訊編碼器20及/或視訊解碼器30可最初識別左相鄰CU(第一CU 180)以用於調色盤預測。若左相鄰CU不可用於預測(例如，左相鄰CU係運用不同於基於調色盤之寫碼模式的模式(諸如，框內預測模式)經寫碼，或左相鄰CU位於圖像或圖塊之最左邊緣處)，則視訊編碼器20及/或視訊解碼器30可識別上部相鄰CU(CU 196)。視訊編碼器20及/或視訊解碼器30可繼續根據預定位置次序搜尋可用CU直至定位具有可用於調色盤預測之調色盤的CU。在一些實例中，視訊編碼器20及/或視訊解碼器30可基於相鄰區塊之多個區塊及/或經重建構樣本而判定預測性調色盤。
雖然圖4之實例將第一調色盤184說明為來自單一CU(第一CU 180)之預測性調色盤，但在其他實例中，視訊編碼器20及/或視訊解碼器30可自相鄰CU之組合定位用於預測之調色盤。舉例而言，視訊編碼器20及/或視訊解碼器可應用一或多個公式、函式、規則或其類似者以基於複數個相鄰CU中之一者或一組合的調色盤而產生調色盤。
在又其他實例中，視訊編碼器20及/或視訊解碼器30可建構包括用於調色盤預測之數個可能候選者之候選者清單。可在視訊編碼器20及視訊解碼器30兩者處應用修剪程序以移除清單中重複的候選者。在此等實例中，視訊編碼器20可編碼候選者清單之索引以指示清單中的候選者CU，自該清單選擇用於調色盤預測之當前CU(例如，複製調色盤)。視訊解碼器30可以相同方式建構候選者清單，解碼索引，且使用經解碼索引來選擇對應CU之調色盤以供與當前CU一起使用。
在出於說明目的之實例中，視訊編碼器20及視訊解碼器30可建構包括位於當前正被寫碼之CU上方的一個CU及位於當前正被寫碼之CU左側的一個CU的候選者清單。在此實例中，視訊編碼器20可編碼一或多個語法元素以指示候選者選擇。舉例而言，視訊編碼器20可編碼 具有零值之旗標以指示用於當前CU之調色盤係自位於當前CU左側的CU複製。視訊編碼器20可編碼具有值為一之旗標以指示用於當前CU之調色盤係自位於當前CU上方之CU複製。視訊解碼器30解碼旗標且選擇適當CU以用於調色盤預測。
在又其他實例中，視訊編碼器20及/或視訊解碼器30基於包括於一或多個其他調色盤中之樣本值出現在一或多個相鄰CU中的頻率而判定用於當前正被寫碼的CU之調色盤。舉例而言，視訊編碼器20及/或視訊解碼器30可追蹤與在寫碼預定數目之CU期間最頻繁使用的索引值相關聯的色彩。視訊編碼器20及/或視訊解碼器30可將最頻繁使用的色彩包括於用於當前正被寫碼之CU的調色盤中。
在一些實例中，視訊編碼器20及/或視訊解碼器30可執行基於逐個項目之調色盤預測。舉例而言，視訊編碼器20可編碼用於預測性調色盤之每一項目的一或多個語法元素(諸如一或多個旗標)，其指示是否將各別預測性調色盤項目再用於當前調色盤中(例如，另一CU之調色盤中之像素值是否由當前調色盤再用)。在此實例中，視訊編碼器20可在給定項目為來自預測性調色盤的經預測值時針對該項目編碼具有等於一之值的旗標(例如，與相鄰CU相關聯的調色盤之對應項目)。視訊編碼器20可針對特定項目編碼具有等於零之值的旗標以指示特定項目並非自另一CU之調色盤預測。在此實例中，視訊編碼器20亦可編碼指示非預測調色盤項目之值的額外資料。
在圖4之實例中，第二調色盤192包括分別具有項目索引值1、項目索引值2、項目索引值3及項目索引4的四個項目208至214。項目208至214分別將索引值與包括像素值A、像素值B、像素值C及像素值D之像素值相關。視訊編碼器20及/或視訊解碼器30可使用上文所描述之技術中之任一者來定位第一CU 180以為了調色盤預測，且將第一調色盤184之項目1至3複製至第二調色盤192之項目1至3以用於寫碼第 二CU 188。以此方式，視訊編碼器20及/或視訊解碼器30可基於第一調色盤184判定第二調色盤192。另外，視訊編碼器20及/或視訊解碼器30可寫碼用於項目4之資料以待與第二調色盤192包括在一起。此資訊可包括未自預測因子調色盤預測的調色盤項目之數目及對應於彼等調色盤項目之像素值。
在一些實例中，根據本發明之態樣，一或多個語法元素可指示調色盤(諸如第二調色盤192)是否完全自預測性調色盤(圖4中展示為第一調色盤184，但其可由來自一或多個區塊之項目構成)預測或第二調色盤192之特定項目是否被預測。舉例而言，初始語法元素可指示是否所有項目被預測。若初始語法元素指示並非所有項目被預測(例如，具有0值之旗標)，則一或多個額外語法元素可指示第二調色盤192之哪些項目係自預測性調色盤預測。
根據本發明之一些態樣，可自正被寫碼的資料之一或多個特性推斷與調色盤預測相關聯的某些資訊。亦即，視訊編碼器20及視訊解碼器30可基於被寫碼資料之一或多個特性執行調色盤預測，而非視訊編碼器20編碼語法元素(及視訊解碼器30解碼此等語法元素)。
圖5為說明與本發明之技術一致的判定至用於像素之區塊的調色盤之索引之實例的概念圖。舉例而言，圖5包括將關聯於索引值之像素的各別位置與調色盤244之項目相關的索引值(值1、2及3)之映射240。可以與上文關於圖4所描述之第一調色盤184及第二調色盤192相似的方式來判定調色盤244。
再次，出於解釋之目的，在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)的上下文中且關於HEVC視訊寫碼標準描述圖5之技術。然而，應理解，本發明之技術並不限於此方式，且可由其他視訊寫碼處理器及/或器件在其他視訊寫碼程序及/或標準中應用。
雖然映射240在圖5之實例中說明為包括每一像素位置之索引值， 但應理解，在其他實例中，並非所有像素位置可與將像素值與調色盤244之項目相關的索引值相關聯。亦即，如上文所提及，在一些實例中，若像素值並不包括於調色盤244中，則視訊編碼器20可編碼(且視訊解碼器30可自經編碼位元串流獲得)用於映射240中之位置的實際像素值(或其經量化版本)之指示。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼指示哪些像素位置與哪些索引值相關聯的額外映射。舉例而言，假定映射中之(i,j)項目對應於CU之(i,j)位置。視訊編碼器20可針對映射之每一項目(亦即，每一像素位置)編碼一或多個語法元素，其指示該項目是否具有相關聯之索引值。舉例而言，視訊編碼器20可編碼具有值為一之旗標以指示在CU中之(i,j)位置處之像素值為調色盤244中之值中之一者。在此實例中，視訊編碼器20亦可編碼調色盤索引(在圖5之實例中展示為值1至3)以指示調色盤中之彼像素值且允許視訊解碼器重建構像素值。在調色盤244包括單一項目及相關聯像素值之情況下，視訊編碼器20可跳過索引值之發信。視訊編碼器20可將旗標編碼為具有零之值以指示在CU中之(i,j)位置處的像素值並非調色盤244中的值中之一者。在此實例中，視訊編碼器20亦可編碼供視訊解碼器30用於重建構像素值的像素值之指示。在一些情況下，可以有損方式寫碼像素值。
CU之一個位置中的像素之值可提供CU之其他位置中的一或多個其他像素之值的指示。舉例而言，CU之相鄰像素位置將具有相同像素值或可映射至相同索引值(在有損寫碼狀況下，其中一個以上之像素值可映射至單一索引值)的機率可相對較高。
因此，視訊編碼器20可編碼指示具有相同像素值或索引值的按給定掃描次序之連續像素或索引值之數目的一或多個語法元素。如上文所提及，相同值像素或索引值之串可在本文中稱為游程(run)。在出於 說明目的之實例中，若按給定掃描次序之兩個連續像素或索引具有不同值，則游程等於零。若按給定掃描次序之兩個連續像素或索引具有相同值但按掃描次序之第三像素或索引具有不同值，則游程等於一。對於具有相同值之三個連續索引或像素，游程為二，等等。視訊解碼器30可自經編碼位元串流獲得指示游程的語法元素，且使用資料來判定具有相同像素或索引值的連續位置之數目。
可包括於游程中的索引之數目可受掃描次序影響。舉例而言，考慮映射240之排266、268及270之光柵掃描。假定水平的自左至右之掃描方向(諸如光柵掃描次序)，列266包括三個索引值「1」、兩個索引值「2」及三個索引值「3」。列268包括五個索引值「1」及三個索引值「3」。在此實例中，對於列266，視訊編碼器20可編碼指示列266之第一值(該列之最左側值)為1(其具有為2之游程)，接著為具有游程為1之索引值2，接著為具有游程為2之索引值3的語法元素。在該光柵掃描之後，視訊編碼器20可接著開始運用最左側值寫碼列268。舉例而言，視訊編碼器20可編碼指示列268之第一值為1(其具有為4之游程)，接著為具有游程為2之索引值3的語法元素。視訊編碼器20可以相同方式繼續進行排270。
之後，按光柵掃描次序，可緊跟在先前排之最後索引之後掃描當前排之第一索引。然而，在一些實例中，可不需要按光柵掃描次序掃描索引。舉例而言，可不需要按光柵掃描次序掃描索引，其中：視訊資料區塊之第一排(例如，列266)包括鄰近於視訊資料區塊之第一邊緣的第一像素(例如，列266之最左側像素，其具有為1之索引值)及鄰近於視訊資料區塊之第二邊緣的最後像素(例如，列266之最右側像素，其具有為3之索引值)；視訊資料區塊之第二排(例如，列268)包括鄰近於視訊資料區塊之第一邊緣的第一像素(例如，列268之最左側像素，其具有為1之索引值)及鄰近於視訊資料區塊之第二邊緣的最後像 素(例如，列268之最右側像素，其具有為3之索引值)，第一排之最後像素鄰近於第二排之最後像素，且第一邊緣與第二邊緣平行，且第一排中之最後像素與第二排中之最後像素具有相同索引值，但與第二排中之第一像素具有不同索引值。與其他類型之視訊內容相比，此情形(亦即，其中第一排中之最後像素之索引值與第二排中之最後像素之索引值相同，但不同於第二排中之第一像素之索引值)可更頻繁地出現在電腦產生之螢幕內容中。
在一些實例中，視訊編碼器20可在編碼映射之索引時使用蛇形掃描次序。舉例而言，視訊編碼器20可緊跟在第一排之最後像素之後掃描第二排之最後像素。以此方式，視訊編碼器20可改良游程長度寫碼之效率。
舉例而言，與使用光柵掃描次序相對，視訊編碼器20可使用蛇形掃描次序寫碼映射240之值。在出於說明目的之實例中，考慮映射240之列266、268及270。使用蛇形掃描次序(諸如以蛇形進行掃描之次序)時，視訊編碼器20可以以下方式寫碼映射240之值：其開始於列266之左側位置，繼續進行直至列266之最右側位置，下移至列268之最左側位置，繼續進行直至列268之最左側位置，及下移至列270之最左側位置。舉例而言，視訊編碼器20可編碼指示列266之第一位置為一，且在掃描方向上之兩個連續項目之下一游程與列266之第一位置相同的一或多個語法元素。
視訊編碼器20可編碼指示列266之下一位置(亦即，自左至右之第四位置)為二，且在掃描方向上之下一連續項目與列266之第四位置相同的一或多個語法元素。視訊編碼器20可編碼指示列266之下一位置(亦即，第六位置)為三，且在掃描方向上之五個連續項目之下一游程與列266之第六位置相同的一或多個語法元素。視訊編碼器20可編碼指示列268在掃描方向上之下一位置(亦即，列268自右至左之第四位 置)為一，且在掃描方向上之九個連續項目之下一游程與列268之第四位置相同的一或多個語法元素。
以此方式，藉由使用蛇形掃描次序，視訊編碼器20可編碼較長長度的游程，其可改良寫碼效率。舉例而言，使用光柵掃描時，列266之最後游程(對於索引值3)等於2。然而，使用蛇形掃描時，列266之最後游程延伸至列268中且等於5。
視訊解碼器30可接收上文所描述之語法元素且重建構列266、268及270。舉例而言，視訊解碼器30可自經編碼位元串流獲得指示當前正被寫碼的映射240之位置之索引值的資料。視訊解碼器30亦可獲得指示具有相同索引值的按掃描次序之連續位置之數目的資料。
圖6為說明根據本發明之一或多種技術的用於使用調色盤模式來解碼視訊資料區塊之實例程序的流程圖。圖6之技術可由視訊解碼器(諸如圖1及圖3中所說明之視訊解碼器30)執行。出於說明目的，在圖1及圖3之視訊解碼器30的上下文內描述圖6之技術，但具有不同於視訊解碼器30之彼組態的組態的視訊解碼器亦可執行圖6之技術。
如上文所論述，可能需要最大化被分組在一起的語法元素之經旁通模式寫碼之槽之數目。根據本發明之一或多種技術，視訊解碼器30可自經寫碼視訊位元串流且使用旁通模式來解碼用於當前視訊資料區塊之調色盤的語法元素之群組(602)。舉例而言，視訊解碼器30之熵解碼單元150可使用旁通模式來解碼以下各者之槽：指示先於陣列中之非零項目的零之數目的一或多個語法元素(例如，一或多個palette_predictor_run語法元素)，該陣列指示是否將來自預測因子調色盤之項目再用於當前調色盤中；指示經明確地發信之當前調色盤中之項目之數目的語法元素(例如，num_signalled_palette_entries語法元素)；各自指示當前調色盤中之項目中的分量之值的一或多個語法元素(例如，一或多個palette_entry語法元素)；指示當前視訊資料區 塊是否包括至少一個逸出經寫碼樣本的語法元素(例如，palette_escape_val_present_flag語法元素)；指示經明確地發信或推斷的當前調色盤中之項目之數目的語法元素(例如，num_palette_indices_idc語法元素)；及指示當前調色盤項目之陣列中之索引的一或多個語法元素(例如，一或多個palette_index_idc語法元素)。在一些實例中，為了解碼經旁通寫碼之語法元素之群組，視訊解碼器30可依序解碼包括於語法元素之群組中的語法元素而不解碼任何未經旁通寫碼之槽。如上文所論述，將大數目個經旁通寫碼之槽/語法元素分組在一起可改良視訊解碼器30之CABAC輸送量。詳言之，將經旁通寫碼之語法元素分組可使得視訊解碼器30能夠避免開始/停止/重新開始CABAC引擎。相比之下，當不將經旁通寫碼之語法元素分組時，視訊解碼器30可必須頻繁地開始CABAC引擎以解碼具有第一上下文的非經旁通寫碼之槽，停止CABAC引擎以解碼經旁通寫碼之槽，開始CABAC引擎以解碼具有第一上下文的另一未經旁通寫碼之槽，等等。如上文所論述，CABAC引擎之重複切換可減少CABAC引擎之輸送量。
視訊解碼器30可使用CABAC與上下文且在經寫碼視訊位元串流中之在語法元素之群組之後的位置處，解碼指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素(604)。舉例而言，視訊解碼器30之熵解碼單元150可在無上下文之情況下使用CABAC來解碼palette_transpose_flag語法元素之槽。
視訊解碼器30可使用CABAC與上下文且在經寫碼視訊位元串流中之在指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之後的位置處，解碼相關於當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素(606)。舉例而言，視訊解碼器30之熵解碼單元150可使用CABAC與一或多個上下文 來解碼以下各者之槽：指定當前視訊資料區塊之QP(例如，明度QP)與當前區塊之QP之預測因子之間的差之絕對值的語法元素(例如，cu_qp_delta_abs)；指定當前視訊資料區塊之QP與當前區塊之QP之預測因子之間的差之正負號的語法元素(例如，cu_qp_delta_sign_flag)；指示是否將一或多個偏移清單中之項目添加至當前區塊之明度QP以判定當前區塊之色度QP的語法元素(例如，cu_chroma_qp_offset_flag)；及指定被添加至當前區塊之明度QP以判定當前區塊之色度QP的一或多個偏移清單中之每一者中的項目之索引的語法元素(例如，cu_chroma_qp_offset_idx)。
在一些實例中，視訊解碼器30可基於使用旁通模式解碼的語法元素之群組的語法元素之值而解碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素。作為一個實例，視訊解碼器30可解碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素，其中指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的語法元素之群組之語法元素指示當前視訊資料區塊確實包括至少一個逸出樣本。作為另一實例，視訊解碼器30可不解碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素，其中指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的語法元素之群組之語法元素指示當前視訊資料區塊並不包括至少一個逸出樣本。
視訊解碼器30可基於語法元素之群組及指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素而產生用於當前視訊資料區塊之調色盤(608)，且基於所產生之調色盤及相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素而解碼當前視訊資料區塊(610)。舉例而言，基於調色盤之解碼單元165可產生具有指示像素值之項目的調色盤，接收將當前視訊資料區塊之至 少一些位置與調色盤中之項目相關聯的資訊，基於該資訊選擇調色盤中之像素值，且基於選定像素值重建構區塊之像素值。
圖7為說明根據本發明之一或多種技術的用於使用調色盤模式來編碼視訊資料區塊之實例程序的流程圖。圖7之技術可由視訊編碼器(諸如圖1及圖2中所說明之視訊編碼器20)執行。出於說明目的，在圖1及圖2之視訊編碼器20的上下文內描述圖7之技術，但具有不同於視訊編碼器20之彼組態的組態的視訊寫碼器亦可執行圖7之技術。
如上文所論述，可能需要最大化被分組在一起的語法元素之經旁通模式寫碼之槽之數目。根據本發明之一或多種技術，視訊編碼器20可在經寫碼視訊位元串流中且使用旁通模式來編碼用於當前視訊資料區塊之調色盤的語法元素之群組(702)。舉例而言，視訊編碼器20之熵編碼單元118可使用旁通模式來編碼以下各者之槽：指示先於陣列中之非零項目的零之數目的一或多個語法元素(例如，一或多個palette_predictor_run語法元素)，該陣列指示是否將來自預測因子調色盤之項目再用於當前調色盤中；指示經明確地發信之當前調色盤中之項目之數目的語法元素(例如，num_signalled_palette_entries語法元素)；各自指示當前調色盤中之項目中的分量之值的一或多個語法元素(例如，一或多個palette_entry語法元素)；指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的語法元素(例如，palette_escape_val_present_flag語法元素)；指示經明確地發信或推斷的當前調色盤中之項目之數目的語法元素(例如，num_palette_indices_idc或num_palette_indices_minus1語法元素)；及指示當前調色盤項目之陣列中之索引的一或多個語法元素(例如，一或多個palette_index_idc語法元素)。
視訊編碼器20可使用CABAC與上下文且在經寫碼視訊位元串流中之在語法元素之群組之後的位置處，編碼指示是否將轉置程序應用 於當前視訊資料區塊之調色盤之調色盤索引的語法元素(704)。舉例而言，視訊編碼器20之熵編碼單元118可使用CABAC與上下文來編碼palette_transpose_flag語法元素之槽。
視訊編碼器20可使用CABAC與上下文且在經寫碼視訊位元串流中之在指示是否將轉置程序應用於當前視訊資料區塊之調色盤之調色盤索引的語法元素之後的位置處，編碼相關於當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素(706)。舉例而言，視訊編碼器20之熵編碼單元118可使用CABAC與一或多個上下文來編碼以下各者之槽：指定當前視訊資料區塊之明度QP與當前區塊之明度QP之預測因子之間的差之絕對值的語法元素(例如，cu_qp_delta_abs)；指定當前視訊資料區塊之明度QP與當前區塊之明度QP之預測因子之間的差之正負號的語法元素(例如，cu_qp_delta_sign_flag)；指示是否將一或多個偏移清單中之項目添加至當前區塊之明度QP以判定當前區塊之色度QP的語法元素(例如，cu_chroma_qp_offset_flag)；及指定被添加至當前區塊之明度QP以判定當前區塊之色度QP的一或多個偏移清單中之每一者中的項目之索引的語法元素(例如，cu_chroma_qp_offset_idx)。
在一些實例中，視訊編碼器20可基於使用旁通模式編碼的語法元素之群組的語法元素之值而編碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素。作為一個實例，視訊編碼器20可編碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素，其中指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的語法元素之群組之語法元素指示當前視訊資料區塊確實包括至少一個逸出樣本。作為另一實例，視訊編碼器20可不編碼相關於當前視訊資料區塊之差異QP及/或色度QP偏移的一或多個語法元素，其中指示當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的語法 元素之群組之語法元素指示當前視訊資料區塊並不包括至少一個逸出樣本。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐係必要的)。此外，在某些實例中，可(例如)經由多線緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。另外，雖然出於清晰目的，本發明之某些態樣被描述為由單一模組或單元執行，但應理解，本發明之技術可由與視訊寫碼器相關聯之單元或模組之組合來執行。
出於說明目的，本發明之某些態樣已關於開發HEVC標準而予以描述。然而，本發明中所描述之技術可適用於其他視訊寫碼程序，包括尚未開發之其他標準或專屬視訊寫碼程序。
上文所描述之技術可由視訊編碼器20(圖1及圖2)及/或視訊解碼器30(圖1及圖3)執行，其兩者通常可被稱作視訊寫碼器。同樣地，視訊寫碼可指視訊編碼或視訊解碼(在適用時)。
雖然在上文描述技術的各種態樣之特定組合，但提供此等組合僅為了說明本發明中所描述的技術之實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中所描述之技術的各種態樣之任何可設想組合。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或代碼而在一電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於有形媒體，諸如資料儲存媒體，或包括促進將電腦程式自一處傳送至另一處(例如，根據通信協定)之任何媒體的通信媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如 信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、代碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是實際上關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟使用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在多種器件或裝置中實施，該等器件或裝置包括無線手持機、積體電路(IC)或IC之集合(例如，晶片集合)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。實情為，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (30)

  1. 一種解碼視訊資料之方法，該方法包含：自一經寫碼視訊位元串流解碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素；自該經寫碼視訊位元串流且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，解碼相關於該當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素；及基於用於該當前視訊資料區塊之該調色盤及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來解碼該當前視訊資料區塊。
  2. 如請求項1之方法，其中：解碼指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引之該語法元素包含使用上下文自適應性二進位算術寫碼(CABAC)與一上下文來解碼指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引之該語法元素，且解碼相關於差異QP及/或色度QP偏移之該一或多個語法元素包含使用CABAC與一上下文來解碼相關於差異QP及/或色度QP偏移之該一或多個語法元素。
  3. 如請求項1之方法，其中指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引之該語法元素包含一palette_transpose_flag語法元素。
  4. 如請求項1之方法，其中相關於差異QP之該一或多個語法元素包含以下各者中之一者或兩者：指示該當前區塊之一QP與該當前 區塊之該QP之一預測因子之間的一差之一絕對值的一語法元素；及指示該當前區塊之該QP與該當前區塊之該QP之該預測因子之間的該差之一正負號的一語法元素。
  5. 如請求項1之方法，其中相關於色度QP偏移之該一或多個語法元素包含以下各者中之一者或兩者：指示是否將一或多個偏移清單中之項目添加至該當前區塊之一明度QP以判定該當前區塊之色度QP的一語法元素；及指示被添加至該當前區塊之該明度QP以判定該當前區塊之該等色度QP的該一或多個偏移清單中之每一者中的一項目之一索引的一語法元素。
  6. 如請求項1之方法，其進一步包含：使用旁通模式而自該經寫碼視訊位元串流解碼語法元素之一群組，其中該群組包含以下各者中之一或多者：指示先於一陣列中之一非零項目的零之數目的一或多個語法元素，該陣列指示是否將來自一預測因子調色盤之項目再用於該當前調色盤中，指示經明確地發信之該當前調色盤中之項目之數目的一語法元素，各自指示該當前調色盤中之一項目中的一分量之一值的一或多個語法元素，指示該當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的一語法元素，指示經明確地發信或推斷的該當前調色盤中之索引之數目的一語法元素，及指示當前調色盤項目之一陣列中之索引的一或多個語法元素。
  7. 如請求項6之方法，其中以下各者中之一或多者： 指示先於一陣列中之一非零項目的零之數目的該一或多個語法元素包含一或多個palette_predictor_run語法元素，該陣列指示是否將來自一預測因子調色盤之項目再用於該當前調色盤中，指示經明確地發信之該當前調色盤中之項目之數目的該語法元素包含一num_signalled_palette_entries語法元素，各自指示該當前調色盤中之一項目中的一分量之一值的該一或多個語法元素包含一或多個palette_entry語法元素，指示該當前視訊資料區塊是否包括至少一個逸出經寫碼樣本之該語法元素包含palette_escape_val_present_flag，指示經明確地發信或推斷的該當前調色盤中之索引之數目的該語法元素包含一num_palette_indices_idc語法元素，且指示當前調色盤項目之一陣列中之索引的該一或多個語法元素包含一或多個palette_index_idc語法元素。
  8. 如請求項6之方法，其中解碼語法元素之該群組包含在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引的該語法元素之前的一位置處，自該經寫碼視訊位元串流解碼語法元素之該群組。
  9. 如請求項6之方法，其進一步包含：自該經寫碼視訊位元串流，在使用旁通模式寫碼之語法元素之該群組之後解碼指示一游程類型旗標在該當前視訊資料區塊內之一最後出現的一語法元素。
  10. 如請求項9之方法，其中解碼指示一游程類型旗標在該當前視訊資料區塊內之該最後出現的該語法元素包含使用上下文自適應性二進位算術寫碼(CABAC)與一上下文來解碼指示一游程類型旗標在該當前視訊資料區塊內之該最後出現的該語法元素。
  11. 一種編碼視訊資料之方法，該方法包含： 在一經寫碼視訊位元串流中編碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素；在該經寫碼視訊位元串流中且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，編碼相關於該當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素；及基於用於該當前視訊資料區塊之該調色盤及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移的該一或多個語法元素來編碼該當前視訊資料區塊。
  12. 如請求項11之方法，其中：編碼指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引的該語法元素包含使用上下文自適應性二進位算術寫碼(CABAC)與一上下文來編碼指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引的該語法元素，且編碼相關於差異QP及/或色度QP偏移之該一或多個語法元素包含使用CABAC與一上下文來編碼相關於差異QP及/或色度QP偏移之該一或多個語法元素。
  13. 如請求項11之方法，其中指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引的該語法元素包含一palette_transpose_flag語法元素。
  14. 如請求項11之方法，其中相關於差異QP之該一或多個語法元素包含以下各者中之一者或兩者：指示該當前區塊之一QP與該當前區塊之該QP之一預測因子之間的一差之一絕對值的一語法元素；及指示該當前區塊之該QP與該當前區塊之該QP之該預測因 子之間的該差之一正負號的一語法元素。
  15. 如請求項11之方法，其中相關於色度QP偏移之該一或多個語法元素包含以下各者中之一者或兩者：指示是否將一或多個偏移清單中之項目添加至該當前區塊之一明度QP以判定該當前區塊之色度QP的一語法元素；及指示被添加至該當前區塊之該明度QP以判定該當前區塊之該等色度QP的該一或多個偏移清單中之每一者中的一項目之一索引的一語法元素。
  16. 如請求項11之方法，其進一步包含：使用旁通模式而在該經寫碼視訊位元串流中編碼語法元素之一群組，其中該群組包含以下各者中之一或多者：指示先於一陣列中之一非零項目的零之數目的一或多個語法元素，該陣列指示是否將來自一預測因子調色盤之項目再用於該當前調色盤中，指示經明確地發信之該當前調色盤中之項目之數目的一語法元素，各自指示該當前調色盤中之一項目中的一分量之一值的一或多個語法元素，指示該當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的一語法元素，指示經明確地發信或推斷的該當前調色盤中之索引之數目的一語法元素，及指示當前調色盤項目之一陣列中之索引的一或多個語法元素。
  17. 如請求項16之方法，其中以下各者中之一或多者：指示先於一陣列中之一非零項目的零之數目的該一或多個語法元素包含一或多個palette_predictor_run語法元素，該陣列指示 是否將來自一預測因子調色盤之項目再用於該當前調色盤中，指示經明確地發信之該當前調色盤中之項目之數目的該語法元素包含一num_signalled_palette_entries語法元素，各自指示該當前調色盤中之一項目中的一分量之一值的該一或多個語法元素包含一或多個palette_entry語法元素，指示該當前視訊資料區塊是否包括至少一個逸出經寫碼樣本之該語法元素包含palette_escape_val_present_flag，指示經明確地發信或推斷的該當前調色盤中之索引之數目的該語法元素包含一num_palette_indices_minus1語法元素，且指示當前調色盤項目之一陣列中之索引的該一或多個語法元素包含一或多個palette_index_idc語法元素。
  18. 如請求項16之方法，其中編碼語法元素之該群組包含在該經寫碼視訊位元串流中，在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引的該語法元素之前的一位置處編碼語法元素之該群組。
  19. 如請求項16之方法，其進一步包含：在該經寫碼視訊位元串流中，在使用旁通模式寫碼之語法元素之該群組之後編碼指示一游程類型旗標在該當前視訊資料區塊內之一最後出現的一語法元素。
  20. 如請求項19之方法，其中編碼指示一游程類型旗標在該當前視訊資料區塊內之該最後出現的該語法元素包含使用上下文自適應性二進位算術寫碼(CABAC)與一上下文來編碼指示一游程類型旗標在該當前視訊資料區塊內之該最後出現的該語法元素。
  21. 一種用於編碼或解碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存視訊資料；一或多個處理器，其經組態以： 在一經寫碼視訊位元串流中編碼或解碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素；在該經寫碼視訊位元串流中且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，編碼或解碼相關於該當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素；及基於用於該當前視訊資料區塊之該調色盤及相關於該當前視訊資料區塊之差異QP及/或色度QP偏移的該一或多個語法元素來編碼或解碼該當前視訊資料區塊。
  22. 如請求項21之器件，其中：為了編碼或解碼指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引之該語法元素，該一或多個處理器經組態以使用上下文自適應性二進位算術寫碼(CABAC)與一上下文來編碼或解碼指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引的該語法元素，且為了編碼或解碼相關於差異QP及/或色度QP偏移之該一或多個語法元素，該一或多個處理器經組態以使用CABAC與一上下文來編碼或解碼相關於差異QP及/或色度QP偏移之該一或多個語法元素。
  23. 如請求項21之器件，其中指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引之該語法元素包含一palette_transpose_flag語法元素。
  24. 如請求項21之器件，其中該一或多個處理器經進一步組態以：使用旁通模式而在該經寫碼視訊位元串流中編碼或解碼語法 元素之一群組，其中該群組包含以下各者中之一或多者：指示先於一陣列中之一非零項目的零之數目的一或多個語法元素，該陣列指示是否將來自一預測因子調色盤之項目再用於該當前調色盤中，指示經明確地發信之該當前調色盤中之項目之數目的一語法元素，各自指示該當前調色盤中之一項目中的一分量之一值的一或多個語法元素，指示該當前視訊資料區塊是否包括至少一個逸出經寫碼樣本的一語法元素，指示經明確地發信或推斷的該當前調色盤中之索引之數目的一語法元素，及指示當前調色盤項目之一陣列中之索引的一或多個語法元素。
  25. 如請求項24之器件，其中以下各者中之一或多者：指示先於一陣列中之一非零項目的零之數目的該一或多個語法元素包含一或多個palette_predictor_run語法元素，該陣列指示是否將來自一預測因子調色盤之項目再用於該當前調色盤中，指示經明確地發信之該當前調色盤中之項目之數目的該語法元素包含一num_signalled_palette_entries語法元素，各自指示該當前調色盤中之一項目中的一分量之一值的該一或多個語法元素包含一或多個palette_entry語法元素，指示該當前視訊資料區塊是否包括至少一個逸出經寫碼樣本之該語法元素包含palette_escape_val_present_flag，指示經明確地發信或推斷的該當前調色盤中之項目之數目的該語法元素包含一num_palette_indices_minus1語法元素，且 指示當前調色盤項目之一陣列中之索引的該一或多個語法元素包含一或多個palette_index_ide語法元素。
  26. 如請求項24之器件，其中為了編碼或解碼語法元素之該群組，該一或多個處理器經組態以在該經寫碼視訊位元串流中，在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之調色盤索引的該語法元素之前的一位置處編碼或解碼語法元素之該群組。
  27. 如請求項24之器件，其中該一或多個處理器經進一步組態以：在該經寫碼視訊位元串流中，在使用旁通模式寫碼之語法元素之該群組之後編碼或解碼指示一游程類型旗標在該當前視訊資料區塊內之一最後出現的一語法元素。
  28. 如請求項27之器件，其中為了編碼或解碼指示一游程類型旗標在該當前視訊資料區塊內之該最後出現之該語法元素，該一或多個處理器經組態以使用上下文自適應性二進位算術寫碼(CABAC)與一上下文來編碼或解碼指示一游程類型旗標在該當前視訊資料區塊內之該最後出現的該語法元素。
  29. 一種用於解碼視訊資料之器件，該器件包含：用於自一經寫碼視訊位元串流解碼指示是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引的一語法元素的構件；用於自該經寫碼視訊位元串流且在該經寫碼視訊位元串流中之在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的該語法元素之後的一位置處，解碼相關於該當前視訊資料區塊之差異量化參數(QP)及/或色度QP偏移的一或多個語法元素的構件；及用於基於用於該當前視訊資料區塊之該調色盤及相關於該當 前視訊資料區塊之差異QP及/或色度QP偏移之該一或多個語法元素來解碼該當前視訊資料區塊的構件。
  30. 一種電腦可讀儲存媒體，其儲存當由一視訊解碼器件處理時會致使該視訊解碼器件之一或多個處理器進行以下操作的一經寫碼視訊位元串流之至少一部分：判定是否將一轉置程序應用於一當前視訊資料區塊之一調色盤之調色盤索引；且基於用於該當前視訊資料區塊之該調色盤及該當前視訊資料區塊之一差異量化參數(QP)及一或多個色度QP偏移來解碼該視訊資料之該當前區塊，其中相關於該差異QP之一或多個語法元素及相關於該當前視訊資料區塊之該一或多個色度QP偏移之一或多個語法元素位於在該經寫碼視訊位元串流中在指示是否將該轉置程序應用於該當前視訊資料區塊之該調色盤之調色盤索引的一語法元素之後的一位置處。
TW105118449A 2015-06-12 2016-06-13 分組用於視訊寫碼之調色盤旁通槽 TWI759265B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562175137P 2015-06-12 2015-06-12
US62/175,137 2015-06-12
US15/177,201 2016-06-08
US15/177,201 US11146788B2 (en) 2015-06-12 2016-06-08 Grouping palette bypass bins for video coding

Publications (2)

Publication Number Publication Date
TW201703525A true TW201703525A (zh) 2017-01-16
TWI759265B TWI759265B (zh) 2022-04-01

Family

ID=56148736

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105118449A TWI759265B (zh) 2015-06-12 2016-06-13 分組用於視訊寫碼之調色盤旁通槽

Country Status (21)

Country Link
US (1) US11146788B2 (zh)
EP (1) EP3308542B1 (zh)
JP (1) JP6771493B2 (zh)
KR (1) KR102600210B1 (zh)
CN (1) CN107710765B (zh)
AU (1) AU2016276687B2 (zh)
CA (1) CA2985484A1 (zh)
CL (1) CL2017003125A1 (zh)
CO (1) CO2017012619A2 (zh)
ES (1) ES2751576T3 (zh)
HK (1) HK1245544A1 (zh)
HU (1) HUE049589T2 (zh)
IL (1) IL255439B (zh)
MX (1) MX2017016049A (zh)
MY (1) MY189186A (zh)
PH (1) PH12017502250A1 (zh)
RU (1) RU2706877C2 (zh)
SA (1) SA517390502B1 (zh)
TW (1) TWI759265B (zh)
WO (1) WO2016201032A1 (zh)
ZA (1) ZA201708380B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6122516B2 (ja) * 2015-01-28 2017-04-26 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ エンコーディング方法及びエンコーダ
WO2016200100A1 (ko) * 2015-06-10 2016-12-15 삼성전자 주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
TWI635742B (zh) * 2017-01-09 2018-09-11 晨星半導體股份有限公司 動態影像編碼裝置及動態影像編碼方法
EP3425911A1 (en) 2017-07-06 2019-01-09 Thomson Licensing A method and a device for picture encoding and decoding
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
SG11202108938TA (en) * 2019-02-24 2021-09-29 Beijing Bytedance Network Technology Co Ltd Independent coding of palette mode usage indication
US11423642B2 (en) * 2019-03-01 2022-08-23 Tencent America LLC Method and apparatus for point cloud compression
WO2020177072A1 (en) * 2019-03-05 2020-09-10 Zte Corporation Cross-component quantization in video coding
TWI810596B (zh) * 2019-03-12 2023-08-01 弗勞恩霍夫爾協會 用於混合視訊編碼的編碼器、解碼器、方法及視訊位元流以及電腦程式
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
US11210813B2 (en) * 2019-05-30 2021-12-28 Tencent America LLC Method and apparatus for point cloud compression
CN115567707A (zh) 2019-05-30 2023-01-03 抖音视界有限公司 色度分量的自适应环路滤波
EP3996369A4 (en) * 2019-07-05 2023-06-07 Lg Electronics Inc. IMAGE DECODING METHOD AND RELATED DEVICE
JP7359936B2 (ja) * 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
KR20220035154A (ko) 2019-07-21 2022-03-21 엘지전자 주식회사 팔레트 모드의 적용 여부에 따라 크로마 성분 예측 정보를 시그널링 하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021018167A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Palette mode coding in prediction process
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
CN116684583A (zh) 2019-08-26 2023-09-01 Lg电子株式会社 解码设备、编码设备和数据发送设备
BR112022005150A2 (pt) * 2019-09-19 2022-06-14 Bytedance Inc Método de processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
WO2021055114A1 (en) * 2019-09-20 2021-03-25 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter offset
WO2021091214A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 크로마 양자화 파라미터 오프셋 관련 정보를 코딩하는 영상 디코딩 방법 및 그 장치
US12010344B2 (en) 2019-11-05 2024-06-11 Lg Electronics Inc. Image or video coding based on quantization-related information
CN114902667A (zh) * 2019-11-05 2022-08-12 Lg电子株式会社 基于色度量化参数偏移信息的图像或视频编码
WO2021091263A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 양자화 파라미터 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
KR20220071268A (ko) 2019-11-05 2022-05-31 엘지전자 주식회사 팔레트 코딩 또는 변환 유닛을 위한 양자화 파라미터 정보 기반 영상 또는 비디오 코딩
WO2021091265A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 양자화 파라미터 오프셋 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
WO2021112651A1 (ko) * 2019-12-05 2021-06-10 한국전자통신연구원 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
US11381820B2 (en) * 2020-04-13 2022-07-05 Tencent America LLC Method and apparatus for video coding

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748116B1 (en) 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
US7346009B2 (en) 2002-09-30 2008-03-18 Mosaid Technologies, Inc. Dense mode coding scheme
WO2007148907A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
CN101888555B (zh) 2006-11-17 2013-04-03 Lg电子株式会社 用于解码/编码视频信号的方法及装置
TWI341657B (en) 2007-04-03 2011-05-01 Nat Univ Tsing Hua Cabac decoding method
US8023562B2 (en) 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
CN100576921C (zh) 2008-01-14 2009-12-30 浙江大学 基于块分类的混合图像压缩方法
US7733245B2 (en) 2008-06-25 2010-06-08 Aclara Power-Line Systems Inc. Compression scheme for interval data
US8339663B2 (en) 2009-02-23 2012-12-25 Sharp Laboratories Of America, Inc. Encoding of non-indexed data for printing using indexed RGB
KR101750046B1 (ko) 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
CN106878729B (zh) 2010-10-05 2019-09-24 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
EP2740272A4 (en) 2011-08-04 2015-04-08 Mediatek Inc METHOD AND DEVICE FOR RECORDING BINARIZATION OF SYNTAX ELEMENTS IN CABAC
US10129540B2 (en) 2012-04-10 2018-11-13 Texas Instruments Incorporated Reduced complexity coefficient transmission for adaptive loop filtering (ALF) in video coding
US9538172B2 (en) * 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
US9584802B2 (en) 2012-04-13 2017-02-28 Texas Instruments Incorporated Reducing context coded and bypass coded bins to improve context adaptive binary arithmetic coding (CABAC) throughput
US9942571B2 (en) 2012-05-29 2018-04-10 Hfi Innovations Inc. Method and apparatus for coding of sample adaptive offset information
RU2651201C2 (ru) 2012-11-30 2018-04-18 Сони Корпорейшн Устройство обработки изображения и способ
US9912942B2 (en) 2012-12-28 2018-03-06 Qualcomm Incorporated High-frequency-pass sample adaptive offset in video coding
US11259020B2 (en) 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US10009632B2 (en) 2014-03-05 2018-06-26 Qualcomm Incorporated Flicker detection and mitigation in video coding
CN104104951B (zh) 2014-07-30 2017-05-03 北京邮电大学 Hevc中屏幕内容编码的码率控制方法
KR101981725B1 (ko) * 2014-12-19 2019-05-23 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
WO2016123388A1 (en) * 2015-01-29 2016-08-04 Vid Scale, Inc. Palette coding modes and palette flipping
CN107431824B (zh) 2015-04-08 2020-10-02 寰发股份有限公司 视频编解码中调色板模式上下文编解码和二值化的方法

Also Published As

Publication number Publication date
NZ737096A (en) 2021-11-26
EP3308542B1 (en) 2019-07-24
EP3308542A1 (en) 2018-04-18
WO2016201032A1 (en) 2016-12-15
AU2016276687B2 (en) 2019-12-12
IL255439A0 (en) 2017-12-31
RU2017142953A (ru) 2019-07-12
AU2016276687A1 (en) 2017-11-30
MX2017016049A (es) 2018-02-21
IL255439B (en) 2020-09-30
US20160373745A1 (en) 2016-12-22
CO2017012619A2 (es) 2018-01-05
JP2018524873A (ja) 2018-08-30
MY189186A (en) 2022-01-31
KR102600210B1 (ko) 2023-11-08
CA2985484A1 (en) 2016-12-15
CN107710765A (zh) 2018-02-16
CL2017003125A1 (es) 2018-05-18
BR112017026591A2 (pt) 2018-08-14
HUE049589T2 (hu) 2020-09-28
KR20180018532A (ko) 2018-02-21
ES2751576T3 (es) 2020-04-01
HK1245544A1 (zh) 2018-08-24
JP6771493B2 (ja) 2020-10-21
US11146788B2 (en) 2021-10-12
TWI759265B (zh) 2022-04-01
PH12017502250A1 (en) 2018-06-11
CN107710765B (zh) 2020-10-09
SA517390502B1 (ar) 2020-06-16
RU2706877C2 (ru) 2019-11-21
RU2017142953A3 (zh) 2019-09-24
ZA201708380B (en) 2022-11-30

Similar Documents

Publication Publication Date Title
TWI759265B (zh) 分組用於視訊寫碼之調色盤旁通槽
US20220094969A1 (en) Image prediction method and apparatus
TWI689197B (zh) 用於次取樣格式之調色模式
US9826242B2 (en) Palette-based video coding
TWI666918B (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
TWI669944B (zh) 基於調色板之視訊寫碼中之寫碼行程
US20160234494A1 (en) Restriction on palette block size in video coding
TW201722164A (zh) 調色盤模式視訊寫碼中脫逃像素訊號值之限制
TW201633788A (zh) 用於視訊寫碼之調色板模式寫碼
TW201608878A (zh) 基於調色板之視訊寫碼中之最大調色板參數
TW201608880A (zh) 基於調色板之視訊寫碼中之逃脫樣本寫碼
TW201603563A (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
TW201644273A (zh) 用於視訊寫碼之調色盤索引分組
TW201633782A (zh) 用於調色板寫碼之寫碼逃脫像素
US11240507B2 (en) Simplified palette predictor update for video coding
US20210195175A1 (en) Shared decoder picture buffer for multiple layers
CN113508585A (zh) 用于视频译码中的调色板语法的分组译码
TW202106023A (zh) 調色板模式下的增量量化參數訊令
US9961351B2 (en) Palette mode coding
TWI851681B (zh) 用於視訊寫碼中的調色板語法的分組寫碼
NZ737096B2 (en) Grouping palette bypass bins for video coding