TWI669944B - 基於調色板之視訊寫碼中之寫碼行程 - Google Patents

基於調色板之視訊寫碼中之寫碼行程 Download PDF

Info

Publication number
TWI669944B
TWI669944B TW104116563A TW104116563A TWI669944B TW I669944 B TWI669944 B TW I669944B TW 104116563 A TW104116563 A TW 104116563A TW 104116563 A TW104116563 A TW 104116563A TW I669944 B TWI669944 B TW I669944B
Authority
TW
Taiwan
Prior art keywords
palette
code
video
block
index
Prior art date
Application number
TW104116563A
Other languages
English (en)
Other versions
TW201608874A (zh
Inventor
瑞珍 雷克斯曼 喬許
法迪姆 塞瑞金
溥偉
馬塔 卡茲維克茲
喬爾 索爾 羅傑爾斯
克里序納坎斯 拉帕卡
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201608874A publication Critical patent/TW201608874A/zh
Application granted granted Critical
Publication of TWI669944B publication Critical patent/TWI669944B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一實例中，本發明提供一種寫碼視訊資料之方法，其包括針對與一調色板索引相關聯之一像素，判定藉由該像素之該調色板索引寫碼的調色板索引之一行程之一行程長度，該調色板索引使該像素之一值與用於寫碼該像素之色彩的一調色板中之一色彩值相關，該方法亦包括判定能夠藉由該像素之該調色板索引寫碼的調色板索引之一最大行程的一最大行程長度，及基於該所判定之最大行程長度寫碼指示該行程長度之資料。

Description

基於調色板之視訊寫碼中之寫碼行程
本申請案主張以下各美國臨時申請案之權利：2014年5月22日申請之美國臨時申請案第62/002,054號、2014年6月10日申請之美國臨時申請案第62/010,313號、2014年6月20日申請之美國臨時申請案第62/015,240號、2014年7月31日申請之美國臨時申請案第62/031,766號、2014年8月22日申請之美國臨時申請案第62/040,978號、2015年2月10日申請之美國臨時申請案第62/114,533號，及2015年2月11日申請之美國臨時申請案第62/115,099號，該等美國臨時申請案中之每一者的全部內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播廣播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此 等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊切片(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。圖像之經框內寫碼(I)切片中的視訊區塊係使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)切片中的視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣品之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘係數，接著可將殘餘係數量化。可掃描最初按二維陣列配置的經量化之係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
本發明之技術係關於基於調色板之視訊寫碼。舉例而言，在基於調色板之寫碼中，一種視訊寫碼器(一視訊編碼器或視訊解碼器)可將一「調色板」形成為用於表示特定區域(例如，一給定區塊)之視訊資料的色彩之一表格。基於調色板之寫碼可尤其適用於寫碼具有相對較小數目種色彩之視訊資料的區域。並非寫碼實際像素值(或其殘餘)，而是該視訊寫碼器可寫碼像素中之一或多者的調色板索引，該 等調色板索引使該等像素與表示該等像素之色彩的該調色板中之條目相關。本發明中所描述之該等技術可包括用於進行以下各操作中之一或多者之各種組合的技術：用信號通知基於調色板之寫碼模式，傳輸調色板，導出調色板，及傳輸基於調色板之寫碼映射及其他語法元素。
在一實例中，一種處理視訊資料之方法包括：判定一區塊層級語法元素之一值，該區塊層級語法元素指示對於視訊資料之一區塊之所有樣本而言，該區塊之至少一各別樣本是否基於並不包括於用於寫碼視訊資料之該區塊的色彩之一調色板中的該至少一各別樣本之一色彩值而寫碼；及基於該值寫碼視訊資料之該區塊。
在另一實例中，一種用於處理視訊資料之器件包括：一記憶體，其經組態以儲存視訊資料之樣本之一區塊；及一或多個處理器，其經組態以判定一區塊層級語法元素之一值，該區塊層級語法元素指示對於視訊資料之該區塊之所有該等樣本而言，該區塊之至少一各別樣本是否基於並不包括於用於寫碼視訊資料之該區塊的色彩之一調色板中的該至少一各別樣本之一色彩值而寫碼，及基於該值寫碼視訊資料之該區塊。
在另一實例中，一種用於處理視訊資料之裝置包括：用於判定一區塊層級語法元素之一值的構件，該區塊層級語法元素指示對於視訊資料之一區塊之所有樣本而言，該區塊之至少一各別樣本是否基於並不包括於用於寫碼視訊資料之該區塊的色彩之一調色板中的該至少一各別樣本之一色彩值而寫碼；及用於基於該值寫碼視訊資料之該區塊的構件。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在經執行時使得一或多個處理器進行以下操作：判定一區塊層級語法元素之一值，該區塊層級語法元素指示對於視訊資料 之一區塊之所有該等樣本而言，該區塊之至少一各別樣本是否基於並不包括於用於寫碼視訊資料之該區塊的色彩之一調色板中的該至少一各別樣本之一色彩值而寫碼；及基於該值寫碼視訊資料之該區塊。
在另一實例中，一種處理視訊資料之方法包括：寫碼以下各資料中之至少一者：指示用於寫碼視訊資料之一區塊的色彩值之一調色板的一最大調色板大小的資料，或指示用於判定色彩值之該調色板的一調色板預測符之一最大調色板預測符大小的資料；及根據該資料寫碼視訊資料之該區塊。
在另一實例中，一種用於處理視訊資料之器件包括：一記憶體，其經組態以儲存視訊資料之一區塊；及一或多個處理器，其經組態以進行以下操作：寫碼以下各資料中之至少一者：指示用於寫碼視訊資料之一區塊的色彩值之一調色板的一最大調色板大小的資料，或指示用於判定色彩值之該調色板的一調色板預測符之一最大調色板預測符大小的資料；及根據來自位元串流的經寫碼之該資料寫碼視訊資料之該區塊。
在另一實例中，一種用於處理視訊資料之裝置包括：用於寫碼以下各資料中之至少一者的構件：指示用於寫碼視訊資料之一區塊的色彩值之一調色板的一最大調色板大小的資料，或指示用於判定色彩值之該調色板的一調色板預測符之一最大調色板預測符大小的資料；及用於根據該資料寫碼視訊資料之該區塊的構件。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：寫碼以下各資料中之至少一者：指示用於寫碼視訊資料之一區塊的色彩值之一調色板的一最大調色板大小的資料，或指示用於判定色彩值之該調色板的一調色板預測符之一最大調色板預測符大小的資料；及根據該資料寫碼視訊資料之該區塊。
在另一實例中，一種寫碼視訊資料之方法包括：針對與一調色板索引相關聯之一像素，判定藉由該像素之該調色板索引寫碼的調色板索引之一行程的一行程長度，該調色板索引使該像素之一值與用於寫碼該像素之色彩的一調色板中之一色彩值相關；判定能夠藉由該像素之該調色板索引寫碼的調色板索引之一最大行程的一最大行程長度；及基於該所判定之最大行程長度寫碼指示該行程長度之資料。
在另一實例中，一種用於寫碼視訊資料之器件包括：一記憶體，其經組態以儲存與一調色板索引相關聯之視訊資料之一像素，該調色板索引使該像素之一值與用於寫碼該像素之色彩的一調色板中之一色彩值相關；及一或多個處理器，其經組態以進行以下操作：針對該像素，判定藉由該像素之該調色板索引寫碼的調色板索引之一行程的一行程長度，判定能夠藉由該像素之該調色板索引寫碼的調色板索引之一最大行程的一最大行程長度；及基於該所判定之最大行程長度寫碼指示該行程長度之資料。
在另一實例中，一種用於處理視訊資料之裝置包括：用於針對與一調色板索引相關聯之一像素，判定藉由該像素之該調色板索引寫碼的調色板索引之一行程的一行程長度的構件，該調色板索引使該像素之一值與用於寫碼該像素之色彩的一調色板中之一色彩值相關；用於判定能夠藉由該像素之該調色板索引寫碼的調色板索引之一最大行程的一最大行程長度的構件；及用於基於該所判定之最大行程長度寫碼指示該行程長度之資料的構件。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：針對與一調色板索引相關聯之一像素，判定藉由該像素之該調色板索引寫碼的調色板索引之一行程的一行程長度，該調色板索引使該像素之一值與用於寫碼該像素之色彩的一調色板中之一色彩值相關：判定能夠藉 由該像素之該調色板索引寫碼的調色板索引之一最大行程的一最大行程長度；及基於該所判定之最大行程長度寫碼指示該行程長度之資料。
在隨附圖式及以下描述中闡述本發明之一或多個實例的細節。其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
101‧‧‧視訊資料記憶體
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧基於調色板之編碼單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧視訊資料記憶體
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧基於調色板之解碼單元
166‧‧‧框內預測處理單元
178‧‧‧圖像
180‧‧‧第一寫碼單元(CU)
184‧‧‧第一調色板
188‧‧‧第二寫碼單元(CU)
192‧‧‧第二調色板
196‧‧‧區塊
200‧‧‧區塊
202‧‧‧條目
204‧‧‧條目
206‧‧‧條目
208‧‧‧條目
210‧‧‧條目
212‧‧‧條目
216‧‧‧向量
240‧‧‧映射
244‧‧‧調色板
264‧‧‧列
268‧‧‧列
280‧‧‧虛線
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖4為說明與本發明之技術一致的判定用於基於調色板之視訊寫碼之調色板條目的實例的概念圖。
圖5為說明與本發明之技術一致的判定至用於像素之區塊的調色板之調色板索引的實例的概念圖。
圖6為說明與本發明之技術一致的判定用於像素之區塊的最大行程長度之實例的概念圖。
圖7為說明與本發明之技術一致的用於基於一或多個區塊層級語法元素編碼視訊資料之區塊的實例處理程序的流程圖，該一或多個區塊層級語法元素指示區塊之任何樣本是否經編碼為逃脫樣本。
圖8為說明與本發明之技術一致的用於基於一或多個區塊層級語法元素解碼視訊資料之區塊的實例處理程序的流程圖，該一或多個區塊層級語法元素指示區塊之任何樣本是否經解碼為逃脫樣本。
圖9為說明與本發明之技術一致的用於基於指示最大調色板大小及最大調色板預測符大小之一或多個語法元素編碼視訊資料之區塊的 實例處理程序的流程圖。
圖10為說明與本發明之技術一致的用於基於指示最大調色板大小及最大調色板預測符大小之一或多個語法元素編碼視訊資料之區塊的實例處理程序的流程圖。
圖11為說明與本發明之技術一致的用於基於最大的可能行程長度寫碼(編碼或解碼)指示像素之行程之行程長度的資料之實例處理程序的流程圖。
本發明之態樣係關於用於視訊寫碼及壓縮之技術。詳言之，本發明描述用於視訊資料之基於調色板之寫碼的技術。在傳統視訊寫碼中，假定影像為連續色調且在空間上平滑。基於此等假定，已開發各種工具，諸如基於區塊之變換、濾波等，且此等工具已展示針對自然內容視訊之良好效能。
然而，在類似遠端桌上型電腦、協同工作及無線顯示器之應用中，電腦產生之螢幕內容可為待壓縮之主要內容。此類型之內容傾向於具有離散色調及特徵清晰線，及高對比度物件邊界。連續色調及平滑度之假定可能不再適用，且因此，傳統視訊寫碼技術可能為壓縮內容之效率低下方式。
本發明描述基於調色板之寫碼，其可特別適合於螢幕產生之內容寫碼(例如，螢幕內容寫碼(SCC))。用於視訊資料之基於調色板之寫碼的技術可與一或多個其他寫碼技術(諸如，用於框間或框內預測性寫碼之技術)一起使用。舉例而言，如下文更詳細描述，編碼器或解碼器或組合式編碼器解碼器(編碼解碼器)可經組態以執行框間及框內預測性寫碼，以及基於調色板之寫碼。
在一些實例中，基於調色板之寫碼技術可經組態以與一或多個視訊寫碼標準一起使用。舉例而言，高效率視訊寫碼(HEVC)為由 ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發的新的視訊寫碼標準。新近HEVC文本規範草案描述於布洛斯(Bross)等人之「高效率視訊寫碼(HEVC)文本規範草案10(用於FDIS及同意)(High Efficiency Video Coding(HEVC)Text Specification Draft 10(for FDIS & Consent))」(JCVC-L1003_v13，ITU-T SG16 WP 3及ISO/IEC JCT 1/SC 29/WG 11之JCT-VC之第12次會議，2013年1月14日至23日)(「HEVC草案10」)中。
關於HEVC構架，作為實例，基於調色板之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的PU模式。因此，在CU模式之上下文中描述的所有以下所揭示處理程序可另外或替代地適用於PU。然而，此等基於HEVC之實例不應被視為限定或限制本文中所描述的基於調色板之寫碼技術，因而，此等技術可適用於獨立地或作為其他現有或尚待開發之系統/標準之部分而工作。在此等狀況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀之區。
在基於調色板之寫碼中，可假定視訊資料之特定區域具有相對較小數目種色彩。視訊寫碼器(視訊編碼器或視訊解碼器)可將所謂的「調色板」寫碼為用於表示特定區域(例如，給定區塊)之視訊資料的色彩之表格。每一像素可與調色板中表示像素之色彩的一條目相關聯。舉例而言，視訊寫碼器可寫碼使像素值與調色板中之適當值相關的索引。
在上述實例中，視訊編碼器可藉由以下操作編碼視訊資料之區塊：判定用於區塊之調色板，定位調色板中之條目以表示每一像素之值，及藉由像素的使像素值與調色板相關之調色板索引(亦被稱作調色板索引值)編碼調色板。視訊解碼器可自經編碼位元串流獲得用於 區塊之調色板，以及用於區塊之像素之調色板索引。視訊解碼器可使像素之調色板索引與調色板之條目相關以重建構區塊之像素值。像素(及/或指示像素值之相關調色板索引)大體上可被稱作樣本。
假定：使用水平光柵掃描次序處理(例如，掃描)區塊中之樣本。舉例而言，視訊編碼器可藉由使用水平光柵掃描次序掃描調色板索引而將調色板索引之二維區塊轉換成一維陣列。同樣，視訊解碼器可使用水平光柵掃描次序重建構調色板索引之區塊。因此，本發明可將先前樣本稱作按掃描次序在區塊中當前經寫碼之樣本之前的樣本。應瞭解，除水平光柵掃描以外之掃描(諸如，垂直光柵掃描次序)亦可為可適用的。以上實例意欲提供基於調色板之寫碼的一般描述。
調色板通常包括藉由索引編號且表示色彩分量(例如，RGB、YUV或其類似者)值或強度之條目。視訊編碼器及視訊解碼器兩者判定調色板條目之數目、用於每一調色板條目之色彩分量值，及用於當前區塊之調色板條目之確切排序。在本發明中，假定：每一調色板條目指定一樣本之所有色彩分量之值。然而，本發明之概念可適用於針對每一色彩分量使用一單獨調色板。
在一些實例中，調色板可使用來自先前經寫碼區塊之資訊構成。亦即，調色板可含有自用以寫碼先前區塊之調色板預測的經預測之調色板條目。舉例而言，如維普等人之「AHG10：用於基於RExt6.0之調色板寫碼之推薦軟體(AHG10：Suggested Software for Palette Coding based on RExt6.0)」(JCTVC-Q0094，西班牙瓦倫西亞市，2014年3月27日至4月4日)(在下文中為JCTVC-Q0094)之標準提交文件中所描述，調色板可包括自預測符調色板複製之條目。預測符調色板可包括來自先前使用調色板模式寫碼之區塊或來自其他經重建構之樣本的調色板條目。對於預測符調色板中之每一條目，可寫碼二進位旗標以指示是否將與旗標相關聯之條目複製至當前調色板(例如， 藉由旗標=1指示)。二進位旗標之字串可被稱作二進位調色板預測向量。用於寫碼當前區塊之調色板亦可包括數個新調色板條目，該等新調色板條目可經明確地寫碼(例如，與調色板預測向量分離)。亦可寫碼關於新條目之數目之指示。經預測之條目及新條目之總和可指示用於區塊之總調色板大小。
如所提議之JCTVC-Q0094，藉由基於調色板之寫碼模式寫碼之區塊中的每一樣本可使用如下文所闡述之三種調色板模式中之一者來寫碼：
●逃脫模式：在此模式中，樣本值並不作為調色板條目而包括至調色板中，且對於所有色彩分量，明確地用信號通知經量化之樣本值。該情形類似於新調色板條目之信號通知，但對於新調色板條目，並不將色彩分量值量化。
●CopyFromTop模式(亦被稱作CopyAbove模式)：在此模式中，自位於區塊中之正上方處的樣本複製用於當前樣本之調色板條目索引。
●值模式(亦被稱作索引模式)：在此模式中，明確地用信號通知調色板條目索引之值。
如本文所描述，調色板條目索引可被稱作調色板索引或簡稱為索引。此等術語可互換地使用以描述本發明之技術。另外，如下文更詳細描述，調色板索引可具有一或多個相關聯之色彩或強度值。舉例而言，調色板索引可具有與像素之單一色彩或強度分量(例如，RGB資料之紅色分量、YUV資料之Y分量，或其類似者)相關聯的單一相關聯之色彩或強度值。在另一實例中，調色板索引可具有多個相關聯之色彩或強度值。在一些情況下，可應用基於調色板之寫碼來寫碼單色視訊。因此，「色彩值」大體上可指用以產生像素值之任何色彩或非彩色分量。
對於CopyFromTop模式及值模式，亦可用信號通知行程值(其亦可被簡稱作行程)。行程值可指示經調色板寫碼之區塊中的在一起寫碼的按特定掃描次序之連續樣本的數目(例如，樣本之行程)。在一些情況下，樣本之行程亦可被稱作調色板索引之行程，此係因為行程之每一樣本具有至一調色板之一相關聯之索引。
行程值可指示使用相同的調色板寫碼模式寫碼之調色板索引之行程。舉例而言，關於值模式，視訊寫碼器(視訊編碼器或視訊解碼器)可寫碼調色板索引(亦被稱作調色板索引值或簡稱為索引值)，及指示具有相同的調色板索引且藉由調色板索引寫碼的按掃描次序之連續樣本之數目的行程值。關於CopyFromTop模式，視訊寫碼器可寫碼關於基於上方相鄰樣本(例如，定位於區塊中當前經寫碼之樣本上方的樣本)之索引複製用於當前樣本值之索引的指示，及指示亦自上方相鄰樣本複製調色板索引且藉由調色板索引寫碼的按掃描次序之連續樣本之數目的行程值。因此，在上述實例中，調色板索引之行程係指具有相同值之調色板索引的行程或自上方相鄰調色板索引複製之調色板索引的行程。
因此，行程可針對給定模式指定屬於相同模式的後續樣本之數目。在一些情況下，用信號通知索引及行程值可類似於行程長度寫碼。在一實例中，出於說明之目的，區塊之連續調色板索引之字串可為0、2、2、2、2、5(例如，其中每一索引對應於區塊中之一樣本)。在此實例中，視訊寫碼器可使用值模式寫碼第二樣本(例如，第一調色板索引2)。在寫碼等於2之索引之後，視訊寫碼器可寫碼行程3，該行程3指示三個後續樣本亦具有相同的調色板索引2。以類似方式，在使用CopyFromTop模式寫碼索引之後寫碼四個調色板索引之行程可指示：自當前經寫碼之樣本位置上方之列中的對應調色板索引複製總共五個調色板索引。
本發明中所描述之該等技術可包括用於進行以下各操作中之一或多者之各種組合的技術：用信號通知基於調色板之寫碼模式，傳輸調色板，導出調色板，及傳輸基於調色板之寫碼映射及其他語法元素。在一些實例中，本發明之技術可用以解決與JCTVC-Q0094(以及隨著文獻JCTVC-Q0094而上傳之實施調色板模式之參考軟體)中存在的調色板模式、調色板索引、行程及調色板大小之信號通知相關聯的可能的冗餘。因此，如下文更詳細描述，在一些情況下，當使用調色板模式寫碼視訊資料時，本發明之技術可改良效率及改良位元速率。
本發明之某些態樣係關於用信號通知基於調色板之寫碼模式且，詳言之，係關於與用信號通知逃脫樣本相關聯之技術。舉例而言，逃脫樣本(亦被稱作逃脫像素)可為區塊之並不具有在用於寫碼區塊之調色板中表示之對應色彩的樣本(或像素)。因此，可能並不使用來自調色板之色彩條目(或像素值)來重建構逃脫樣本。實情為，與調色板之色彩值分離地在位元串流中用信號通知用於逃脫樣本之色彩值。
如下文更詳細描述，視訊寫碼器(例如，視訊編碼器及視訊解碼器)可寫碼每一樣本資料，該每一樣本資料指示經調色板寫碼之區塊之樣本是否基於並不包括於用於區塊之調色板中的樣本之色彩而寫碼，例如，使用上文稱作「逃脫模式」之處理程序。在一實例中，視訊寫碼器可針對每一樣本寫碼一旗標，該旗標指示樣本是否經寫碼為逃脫樣本，例如，使用逃脫模式(在本文中被稱作隱含逃脫信號通知)。在另一實例中，視訊寫碼器可寫碼用於樣本之其他語法(諸如，額外調色板索引，如下文所描述)，該其他語法指示樣本經寫碼為逃脫樣本，例如，使用逃脫模式(在本文中被稱作顯式逃脫信號通知)。
根據本發明之態樣，對於經調色板寫碼之區塊，一或多個語法元素可按區塊層級(例如，CU層級或LCU層級)指示區塊之任何樣本是 否基於並不包括於調色板中之樣本(例如，經寫碼為逃脫樣本)之色彩值而寫碼。該一或多個語法元素可被稱作區塊層級逃脫語法。舉例而言，區塊層級語法可指在寫碼視訊資料之區塊(諸如，CU或LCU)時寫碼或判定之語法。區塊層級語法可包括於標頭中或與區塊相關聯之其他資料(例如，在區塊之前或之後寫碼的描述區塊之特性的資料)中。與此對比，並非區塊層級語法之其他語法可包括於切片標頭中或視訊資料之個別像素中。
在一實例中，視訊寫碼器可經組態以寫碼及/或判定一旗標(其可被稱作區塊層級逃脫旗標)，該旗標指示區塊之任何樣本是否基於並不包括於調色板中之色彩值而寫碼。舉例而言，旗標值0可指示區塊之樣本中無一者係使用逃脫模式寫碼。亦即，可基於包括於用於寫碼區塊之調色板中之色彩值判定區塊的所有樣本之值。旗標值1可指示區塊之至少一樣本係使用逃脫模式寫碼。亦即，至少一樣本之值並不包括於用於寫碼區塊之調色板中且可分別地用信號通知。因此，旗標可指示：對於視訊資料之區塊之所有樣本，區塊之至少一樣本是否具有並不包括於用於寫碼區塊之調色板中的色彩值。
如下文更詳細描述，在一些情況下，區塊層級逃脫語法可導致位元節省。舉例而言，藉由判定整個區塊之任何樣本是否經寫碼為逃脫樣本，視訊寫碼器可能能夠跳過與逃脫樣本相關聯之某些語法元素之寫碼。亦即，在語法指示無樣本經寫碼為逃脫樣本之情況下，視訊寫碼器可能並不寫碼區塊之與逃脫樣本相關聯之任何其他語法(例如，諸如上文所提及之每一樣本語法)。如下文更詳細描述，當語法基於用於經寫碼之區塊的調色板之大小指示區塊之至少一樣本經寫碼為逃脫樣本時，視訊寫碼器亦可跳過某些語法之寫碼。因此，當使用基於調色板之寫碼來寫碼視訊資料時，本發明之技術可改良位元速率及寫碼效率。
本發明之其他態樣係關於寫碼用於調色板模式之最大調色板參數。舉例而言，調色板之最大調色板大小通常可為在視訊編碼器及視訊解碼器兩者處定義之靜態值。同樣地，調色板預測符(用於預測調色板，如下文更詳細描述)之最大大小亦可為在視訊編碼器及視訊解碼器兩者處定義之靜態值。因此，此等最大調色板參數可能並不改變，而不管經寫碼之視訊資料之特定特性。
根據本發明之態樣，視訊寫碼器可經組態以寫碼指示最大調色板大小及/或最大調色板預測符大小之資料。舉例而言，根據本發明之態樣，指示最大調色板大小及/或最大調色板預測符大小之資料可包括於諸如序列參數集(SPS)之參數集中。因此，視訊寫碼器可寫碼以下各資料中之至少一者：指示用於寫碼視訊資料之區塊的色彩值之調色板的最大調色板大小的資料，或指示用於判定色彩值之調色板的調色板預測符之最大調色板預測符大小的資料。
寫碼指示最大調色板大小及/或最大調色板預測符大小之資料可提供靈活性，該情形可改良寫碼效率。舉例而言，該等技術可允許視訊寫碼器基於經寫碼之視訊資料之特性(例如，基於資料之位元深度、區塊大小、與資料相關聯之設定檔或層級，或其類似者)而使用具有不同大小之調色板及調色板預測符。因此，可定製最大調色板參數以適合經寫碼之視訊資料，以使得可針對可受益於此等參數之區塊定義相對較大的最大調色板參數。另外，可針對不大可能受益於相對較大參數之區塊定義相對較小的最大調色板參數以降低與建構調色板相關聯之複雜性。
本發明之其他態樣係關於寫碼用於基於調色板之視訊寫碼之各種語法元素的技術。舉例而言，本發明之技術包括使用考慮經寫碼之語法之最大可能值的碼寫碼用於調色板寫碼之語法，該語法諸如調色板索引之行程值(亦被稱作行程長度值)、調色板預測向量或其他調色 板相關語法。在一些情況下，根據本發明之態樣，可使用一種形式之指數哥倫布碼(Exponential Golomb code)寫碼語法，如下文更詳細描述。在一些情況下，該等技術可減少表示調色板相關語法所需的位元之數目。
圖1為說明可利用本發明之技術之實例視訊寫碼系統10的方塊圖。如本文所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」一般可指視訊編碼或視訊解碼。視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行根據本發明中所描述之各種實例的用於進行基於調色板之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以使用基於調色板之寫碼或非基於調色板之寫碼選擇性地寫碼視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如藉由HEVC草案10指定之各種寫碼模式。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或其類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。 頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之一或多個媒體或器件。在一實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路諸如，區域網路、廣域網路或全球網路(例如，網際網路)的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可例如經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流傳輸或下載來存取儲存於檔案伺服器或另一中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將經編碼視訊資料傳輸至目的地器件14之類型的伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附加儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或兩者之組合。經編碼視訊資料自檔案 伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、編碼儲存於資料儲存媒體上之視訊資料、解碼儲存於資料儲存媒體上之視訊資料，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1中所說明之視訊寫碼系統10僅為實例，且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本端記憶體擷取、經由網路串流傳輸或經過類似處理。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼資料。在許多實例中，藉由彼此並不通信但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊俘獲器件、含有先前所俘獲之視訊資料的視訊存檔、用以自視訊內容提供者接收視訊資料之視訊請入介面，及/或用於產生視訊資料之電腦圖形系統，或視訊資料之此等源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存至儲存媒體上或檔案伺服器上，以供目的地器件14稍後存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16來接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。大體而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地以軟體來實施技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將前述各者(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器(CODEC))的部分。
本發明大體上可指視訊編碼器20將某一資訊「用信號通知」或「傳輸」至另一器件，諸如視訊解碼器30。術語「用信號通知」或「傳輸」大體上可指用以解碼經壓縮視訊資料之語法元素及/或其他資料的傳達。此傳達可即時地或近即時地發生。替代地，此傳達可在一時間跨度內發生，諸如此傳達可能在當編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，接著，在儲存至此媒體之後可由解碼器件在任何時間擷取該等語法元素。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準操作，視訊壓縮標準諸如上文所提及的且描述於HEVC草案10中之 HEVC標準。除基本HEVC標準之外，亦存在持續努力以產生用於HEVC之可調式視訊寫碼、多視圖視訊寫碼及3D寫碼擴展。另外，可提供(例如)如本發明中所描述的基於調色板之寫碼模式以用於擴展HEVC標準。在一些實例中，本發明中針對基於調色板之寫碼而描述的技術可應用於經組態以根據其他視訊寫碼標準(諸如，ITU-T-H.264/AVC標準或未來標準)操作之編碼器及解碼器。因此，HEVC編碼解碼器中用於寫碼單元(CU)或預測單元(PU)之寫碼的基於調色板之寫碼模式的應用係為了實例之目的而描述。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，表示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb色度樣本之二維陣列。SCr為Cr色度樣本之二維陣列。色度(Chrominance)樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生一組寫碼樹型單元(CTU)。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小且可包括一或多個寫碼單元(CU)。切片可包括在光柵掃描中連續排序之整數數目個CTU。
為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊 及色度樣本之兩個對應寫碼區塊，及用以寫碼該等寫碼區塊之樣本的語法結構。視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本之預測區塊、圖像之色度樣本之兩個對應預測區塊，及用以對預測區塊樣本進行預測的語法結構。視訊編碼器20可產生CU之每一PU的明度、Cb及Cr預測區塊之預測性明度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯的圖像之經解碼樣本產生PU之預測性區塊。
若視訊編碼器20使用框間預測產生PU之預測性區塊，則視訊編碼器20可基於除與PU相關聯之圖像以外的一或多個圖像之經解碼樣本產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測來產生PU之預測性區塊。當視訊編碼器20使用單向預測來產生PU之預測性區塊時，PU可具有單一運動向量(MV)。當視訊編碼器20使用雙向預測來產生PU之預測性區塊時，PU可具有兩個MV。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之中一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中的對應樣本之間的差 異。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊可為供應用相同變換的樣本之矩形區塊。CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與一明度變換區塊、一Cb變換區塊及一Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的處理程序。在視訊編碼器20將係數區塊量化之後，視訊編碼器20可熵編碼指示經量化之變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化之變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。
視訊編碼器20可輸出包括經熵編碼之語法元素的位元串流。該位元串流可包括形成經寫碼圖像及相關聯資料之表示的一序列位元。位元串流可包含一序列網路抽象層(NAL)單元。NAL單元中之每一者 包括一NAL單元標頭，且囊封一原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一種類型之NAL單元可囊封用於圖像參數集(PPS)之RBSP，第二種類型之NAL單元可囊封用於經寫碼切片之RBSP，第三種類型之NAL單元可囊封用於SEI之RBSP，等等。囊封用於視訊寫碼資料之RBSP(與用於參數集及SEI訊息之RBSP形成對比)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流解碼語法元素。視訊解碼器30可至少部分基於自位元流解碼之語法元素重建構視訊資料之圖像。用以重建構視訊資料之處理程序大體上可與由視訊編碼器20執行之處理程序互逆。舉例而言，視訊解碼器30可使用PU之MV來判定當前CU之PU的預測性區塊。另外，視訊解碼器30可將與當前CU之TU相關聯的變換係數區塊反量化。視訊解碼器30可對變換係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行基於調色板之寫碼。舉例而言，在基於調色板之寫碼中，並非執行上文所描述之框內預測性寫碼技術或框間預測性寫碼技術，而是視訊編碼器20及視訊解碼器30可將所謂的調色板寫碼為用於表示特定區域 (例如，給定區塊)之視訊資料的色彩之表格。每一像素可與調色板中表示像素之色彩的一條目相關聯。舉例而言，視訊編碼器20及視訊解碼器30可寫碼使像素值與調色板中之適當值相關的索引。
在上述實例中，視訊編碼器20可藉由以下操作編碼視訊資料之區塊：判定用於區塊之調色板，定位調色板中之條目以表示每一像素之值，及藉由像素之使像素值與調色板相關的調色板索引編碼調色板。視訊解碼器30可自經編碼位元串流獲得用於區塊之調色板，以及用於區塊之像素之調色板索引。視訊解碼器30可使像素之調色板索引與調色板之條目相關以重建構區塊之像素值。
如上文所提及，視訊編碼器20及視訊解碼器30可使用數種不同的調色板寫碼模式來寫碼調色板之調色板索引。舉例而言，視訊編碼器20及視訊解碼器30可使用逃脫模式、CopyFromTop模式(亦被稱作CopyAbove模式)或值模式(亦被稱作索引模式)來寫碼區塊之調色板索引。大體而言，使用「逃脫模式」寫碼樣本大體而言可指寫碼並不具有在用於寫碼區塊之調色板中表示之對應色彩的區塊之樣本。如上文所提及，此等樣本可被稱作逃脫樣本或逃脫像素。
另一實例調色板寫碼模式描述於第三螢幕內容寫碼核心實驗分測驗B.6中，如黃育文(Yu-Wen Huang)等人之「螢幕內容核心實驗3(SCCE3)之描述：調色板模式(Description of Screen Content Core Experiment 3(SCCE3)：Palette Mode)」(JCTVC-Q1123，西班牙瓦倫西亞市，2014年3月27日至4月4日)(下文為Q1123)中所描述，另一模式引入至由卡農(Canon)於2014年5月26日發佈之軟體中。用於此模式之巨集為「CANON_NEW_RUN_LAST_TRANSITION」且在本文中可被稱作轉變行程模式。轉變行程可類似於值模式在於：視訊編碼器20或視訊解碼器30可寫碼索引值，後接續寫碼指定具有相同的調色板索引之後續樣本之數目的行程。
值模式與轉變行程模式之間的差異在於：並不在位元串流中用信號通知轉變行程模式之調色板索引。確切而言，視訊編碼器20及視訊解碼器30可推斷調色板索引。如本文所描述，推斷值可指在不參考在位元串流中寫碼的表示值之專用語法之情況下判定值。亦即，視訊編碼器20及視訊解碼器30可推斷值，而不在位元串流中寫碼用於值之專用語法元素。所推斷之索引可被稱作轉變索引。
在一些實例中，可能存在用信號通知調色板模式之兩種方式。用於用信號通知調色板模式之第一種技術可被稱作顯式逃脫信號通知。舉例而言，在JCTVC-Q0094中，若巨集「PLT_REMOVE_ESCAPE_FLAG」為0，則視訊編碼器20可明確地編碼用於區塊之每一樣本之逃脫旗標以指示區塊中經寫碼之樣本是否在逃脫模式中經寫碼。若並非藉由逃脫模式寫碼樣本，則視訊編碼器20可編碼額外資料以指示模式為CopyFromTop模式抑或值模式。在一些情況下，額外資料可為旗標，其在本文中被稱作SPoint旗標(例如，SPoint旗標值0可指示CopyFromTop模式且SPoint旗標值1可指示值模式，或SPoint旗標值1可指示CopyFromTop模式且SPoint旗標值0可指示值模式)。
因此，藉由顯式逃脫信號通知，SPoint旗標可用以指示用於與所指示之模式相關聯的像素值之行程的特定行程類型。舉例而言，視訊編碼器20可編碼SPoint旗標以指示當前經寫碼之索引及行程中經寫碼之後續調色板索引之行程係使用CopyFromTop模式抑或值模式來寫碼。視訊編碼器20並不編碼用於後續行程樣本之逃脫旗標(例如，「PLT_REMOVE_ESCAPE_FLAG」)及SPoint旗標(在必要時)。亦即，視訊編碼器20及視訊解碼器30可推斷用於行程中所包括的樣本之逃脫旗標及SPoint旗標的值。舉例而言，視訊編碼器20及視訊解碼器30可在不參考位元串流中表示此等值之專用語法的情況下判定用於行 程中所包括的樣本之逃脫旗標及SPoint旗標的值。
用於用信號通知調色板模式之第二種技術可被稱作隱含逃脫信號通知。舉例而言，若來自JCTVC-Q0094之巨集「PLT_REMOVE_ESCAPE_FLAG」為1，則視訊編碼器20及視訊解碼器30可經組態以將調色板之調色板條目之數目增加一，以適應並不對應於任何調色板條目的至調色板之特殊索引。在一些實例中，視訊編碼器20及視訊解碼器30可包括額外索引作為用於給定區塊之增加的調色板中的最後的調色板索引。額外索引可用作關於逃脫模式之指示。
當執行隱含逃脫信號通知時，視訊編碼器20可針對區塊之特定樣本值編碼表示額外索引之資料以指示額外樣本經寫碼為逃脫樣本(例如，並不具有在用於寫碼區塊之調色板中表示之色彩值的樣本)。視訊編碼器20亦可編碼逃脫樣本之色彩值。因此，在隱含逃脫信號通知之狀況下，僅存在待使用顯式語法用信號通知之兩種可能的模式(例如，CopyFromTop模式或值模式(亦被稱作索引模式))。舉例而言，可僅用信號通知SPoint旗標以區別該等模式。若樣本係在值模式中寫碼且用於值模式之索引等於逃脫索引(例如，上文所提及的至調色板之額外索引)，則視訊編碼器20及視訊解碼器30可推斷樣本經寫碼為逃脫樣本。在此狀況下，並不用信號通知行程。當在轉變行程模式情況下使用隱含逃脫信號通知時，SPoint旗標可採用值0(例如，值模式)、1(例如，CopyFromTop模式)或2(例如，轉變行程模式)。
本發明中所描述之該等技術可包括用於進行以下各操作中之一或多者之各種組合的技術：用信號通知基於調色板之寫碼模式，傳輸調色板，導出調色板，及傳輸基於調色板之寫碼映射及其他語法元素。在一些實例中，本發明之技術可用以解決與JCTVC-Q0094(以及隨著文獻JCTVC-Q0094而上傳之實施調色板模式之參考軟體)中存在的調色板模式、調色板索引、行程及調色板大小之信號通知相關聯的 可能的冗餘。
在JCTVC-Q0094中所描述的與該等技術相關聯之軟體中，已經考慮並移除某些信號通知冗餘。舉例而言，在JCTVC-Q0094中，並不針對區塊之第一列中之樣本用信號通知SPoint旗標，此係因為藉由調色板模式寫碼之區塊通常不可能使用來自上方相鄰區塊的經重建構之樣本來預測當前區塊。上方相鄰區塊大體上可指與區塊相鄰且定位於區塊上方之區塊。類似地，若用於在當前經寫碼之樣本之前的樣本之模式為CopyFromTop，則用於當前像素之模式不可能為CopyFromTop。
然而，本發明辨識其他信號通知冗餘及/或低效率，可完全地或選擇性地移除該等其他信號通知冗餘及/或低效率。如下文更詳細描述，該等技術改良視訊寫碼位元速率效率，而實質上並不引起失真。作為一實例，若當前樣本之正上方之樣本為逃脫樣本，則視訊編碼器20及視訊解碼器30可經組態從而並不使用CopyFromTop模式寫碼當前樣本。在此狀況下，視訊編碼器20可能並不用信號通知用於樣本之SPoint，且視訊編碼器20及視訊解碼器30可推斷SPoint旗標等於值模式(在需要時)。
在另一實例中，根據本發明之技術，若先前樣本與區塊中的當前樣本之正上方之樣本皆非逃脫樣本且先前樣本及上方樣本具有相同的調色板索引，則視訊編碼器20及視訊解碼器30經組態從而並不使用CopyFromTop模式寫碼當前樣本。此係因為：對於CopyFromTop模式，當前樣本之索引將與先前樣本之索引相同。若用於先前樣本之模式為值模式，則將與值模式相關聯之行程擴展一以合併當前樣本。另一方面，若用於先前樣本之模式為CopyFromTop，則視訊編碼器20及視訊解碼器30可經組態從而並不使用CopyFromTop模式寫碼當前樣本，如上文所提及。因此，在此狀況下，視訊編碼器20可能並不用信 號通知用於當前樣本之SPoint旗標，且視訊編碼器20及視訊解碼器30可推斷SPoint旗標等於值模式(在需要時)。
在另一實例中，根據本發明之技術，若先前行程大於或等於經寫碼之區塊之寬度減去一所得值，則視訊編碼器20及視訊解碼器30可經組態從而並不使用CopyFromTop模式寫碼當前樣本。由於CopyFromTop模式可能並不會接續CopyFromTop模式，如上文所描述，因此視訊編碼器20及視訊解碼器30可推斷：若與先前樣本相關聯之模式係使用CopyFromTop模式寫碼，則來自當前樣本之模式可能並不使用CopyFromTop模式寫碼。若先前行程係使用值模式寫碼且先前行程大於或等於區塊之寬度減去一所得值，則視訊編碼器20及視訊解碼器30可經組態以判定：用於先前樣本及當前樣本之正上方之樣本的調色板索引相同(以類似於上文所描述之實例之方式)。在此狀況下，若當前樣本可能並不具有相同索引，則使得CopyFromTop模式成為不可能。因此，在此狀況下，視訊編碼器20可能並不用信號通知用於當前樣本之SPoint旗標，且視訊編碼器20及視訊解碼器30可推斷SPoint旗標等於值模式(在需要時)。
在另一實例中，根據本發明之態樣，若在使用顯式逃脫信號通知時，對於經寫碼之區塊而言，調色板大小為一，則視訊編碼器20及視訊解碼器30可經組態從而並不寫碼某些調色板索引，諸如描述於以下各美國臨時申請案中之調色板索引：2013年7月12日申請之美國臨時申請案第61/845,824號、2013年11月1日申請之美國臨時申請案第61/899,048號，或2013年12月6日申請之美國臨時申請案第61/913,040號。另外，視訊編碼器20可經組態從而並不寫碼SPoint旗標，此係因為視訊編碼器20及視訊解碼器30可推斷SPoint旗標等於值模式(在需要時)。此係因為：若當前樣本並非經寫碼為逃脫樣本(例如，並不具有在用於寫碼區塊之調色板中表示之色彩值的樣本)，則用於當前樣本 之調色板索引已經已知且導出其等於0(因為僅一種可能的調色板索引)。在此狀況下，僅用信號通知行程。不必要區別CopyFromTop模式及值模式，此係因為兩種模式提供相同結果。類似地，對於隱含逃脫信號通知，當調色板大小為2時，視訊編碼器20可用信號通知調色板索引以區別值模式及逃脫模式，但由於如上所述之相同原因而使得SPoint旗標之信號通知並非必要的。
當使用值模式、CopyFromTop模式及轉變行程模式時，本發明之技術亦可用以移除冗餘。因此，該等技術可改良視訊寫碼位元速率效率，而實質上並不引起失真。在一實例中，出於說明之目的，當前樣本係在值模式中寫碼且轉變行程模式並不可供使用(例如，僅CopyFromAbove模式及值模式可供使用)。在此實例中，當用於先前樣本之模式為值模式時，當前樣本之索引不可能與先前樣本之索引相同，否則將當前樣本包括至先前值模式中且將用於值模式之行程遞增一。類似地，當用於先前樣本之模式為CopyFromTop模式時，待寫碼之當前樣本之索引不可能與上方樣本的索引相同，否則藉由CopyFromTop模式寫碼當前樣本且有可能將用於CopyFromTop模式之行程遞增一。
記住上文所描述之關係，當用於當前樣本之索引大於用於先前樣本(例如，若先前樣本處於值模式中)或頂部樣本(例如，若先前樣本處於CopyFromTop模式中)之索引時，視訊編碼器20及視訊解碼器30可將用於當前樣本之索引減少一。此處理程序描述於C.Gisquet等人之「AHG10：調色板索引寫碼(AHG10：Palette Index Coding)」(JCTVC-Q0064，西班牙瓦倫西亞市，2014年3月27日至4月4日)(下文中為JCTVC-Q0064)中。又，將最大的可能調色板索引之數目減少一，而不管先前條件是否為真(當前索引大於先前左側或上方調色板索引)。舉例而言，當使用可變長度碼(例如，諸如經截短之二進位碼)寫碼索 引時，可將調色板條目之數目減少一。
根據本發明之態樣，關於上文所描述之處理程序，替代地或另外，當使用轉變行程模式時，可進一步修改值模式中之索引調整處理程序。舉例而言，根據本發明之態樣，若樣本並非區塊中之第一樣本且先前樣本並非經寫碼為逃脫樣本，則視訊編碼器20及視訊解碼器30可執行下文所描述之索引調整處理程序。
根據本發明之態樣，若先前樣本係在值模式或轉變行程模式中寫碼，則視訊編碼器20及視訊解碼器30可經組態以將調色板條目之數目遞減一。另外，若索引值大於或等於先前樣本之索引值(索引或轉變索引)，則視訊編碼器20及視訊解碼器30可經組態以將當前索引值遞減一。本發明可將此遞減值稱作經調整之索引值。接著，若用於先前樣本之索引值並不等於轉變索引且調色板條目之數目大於一，則視訊編碼器20及視訊解碼器30可經組態以將變數「更新」設定為1，否則將「更新」設定為0。若更新等於1，則視訊編碼器20及視訊解碼器30可進一步將調色板條目之數目遞減一。本發明可將調色板條目之遞減之數目稱作經調整之調色板大小。
另外，若轉變索引大於或等於用於先前樣本之索引值，則視訊編碼器20及視訊解碼器30可經組態以將轉變索引遞減一。本發明可將遞減之轉變索引稱作經調整之轉變索引值。若更新等於1且經調整之索引值大於經調整之轉變索引值，則視訊編碼器20及視訊解碼器30可經組態以進一步將經調整之索引值遞減一。另外，視訊編碼器20及視訊解碼器30可經組態以僅在經調整之調色板大小大於1之情況下才執行最後的索引調整。此係因為：在經調整之調色板大小大於1之情況下，可僅用信號通知經調整之索引值。
若經調整之調色板大小大於1，則視訊編碼器20可編碼關於經調整之索引值之指示，從而考慮調色板索引之最大的可能數目可能等於 經調整之調色板大小。在此狀況下，視訊編碼器20及視訊解碼器30可經組態以使用經截短之二進位化來寫碼，諸如本文所描述之經截短之二進位寫碼。
在一些實例中，根據本發明之態樣，可藉由檢查用於當前樣本之正上方之像素的像素值及模式而執行與上文所描述之處理程序類似的處理程序。亦即，可改為關於上方相鄰像素執行上文關於定位於當前像素之左側之像素描述的處理程序，其中用上方像素值及模式替換上文所描述之左側樣本值及模式。
舉例而言，若樣本並非處於第一列中且先前樣本係在CopyFromTop模式中寫碼且上方樣本並非經寫碼為逃脫樣本，則視訊編碼器20及視訊解碼器30可經組態以將調色板條目之數目遞減一。另外，若當前索引值大於或等於正上方樣本之索引值，則視訊編碼器20及視訊解碼器30可經組態以將當前索引值遞減一。此外，此遞減之索引值可被稱作經調整之索引值。接著，若正上方樣本之索引值並不等於轉變索引且調色板條目之數目大於1，則視訊編碼器20可將變數更新設定為1，否則，將更新設定為0。
若更新等於1，則視訊編碼器20及視訊解碼器30可經組態以進一步將調色板條目之數目遞減一，該遞減之數目可被稱作經調整之調色板大小。另外，若轉變索引大於或等於用於上方樣本之索引值，則視訊編碼器20及視訊解碼器30可經組態以將轉變索引遞減一，該遞減之轉變索引可被稱作經調整之轉變索引值。若更新等於0且經調整之索引值大於經調整之轉變索引值，則視訊編碼器20及視訊解碼器30可經組態以將經調整之索引值遞減一。另外，僅在經調整之調色板大小大於1之情況下才可執行最後的索引調整，此係因為在經調整之調色板大小大於1之情況下，通常僅用信號通知經調整之索引值。
若經調整之調色板大小大於1，則視訊編碼器20可經組態以編碼 關於經調整之索引值之指示，且在一些實例中，可考慮調色板索引之最大的可能數目等於經調整之調色板大小。在此狀況下，視訊編碼器20及視訊解碼器30可經組態以使用經截短之二進位化，諸如本文所描述之經截短之二進位寫碼。
上文描述了結合轉變行程模式進行的調色板索引信號通知中之冗餘移除。然而，此等技術可與有限行程方法組合，如下文及以下各美國臨時申請案中所描述：2014年5月23日申請之美國臨時申請案第62/002,717號，及2014年6月9日申請之美國臨時申請案第62/009,772號。在此狀況下，高於某一調色板索引值時，行程始終等於0且因此，對於彼等調色板索引，視訊編碼器20可經組態從而並不編碼關於行程值之指示。確切而言，視訊編碼器20及視訊解碼器30可經組態以導出行程值等於0。關於此組合，上文關於轉變行程模式描述之技術保持不變。亦即，例如，上文所描述之冗餘移除技術亦可與有限行程模式一起使用。
另外或替代地，本發明之技術亦可與有限行程技術組合，如紀堯姆拉羅什(Guillaume Laroche)等人之「AHG10：用於調色板模式之行程寫碼(AHG10：Run Coding for Palette Mode)」(JCTVC-Q0066，西班牙瓦倫西亞市，2014年3月27日至4月4日)(在下文中為JCTVC-Q0066)之標準提交文件中所提議。在此實例中，亦指定極限索引。然而，與上文所描述之有限行程技術之一個差異在於：大於極限索引之調色板索引亦可具有一或大於一之行程。然而，視訊編碼器20可能並不用信號通知行程。當實施此第二有限行程技術時，可能僅在先前像素之索引值小於或等於極限索引值或上方像素之索引值小於或等於極限索引值的情況下，應用本發明之冗餘移除技術。
上文所描述之技術大體上關於視訊編碼器(諸如，視訊編碼器20)加以描述。在解碼器側(如(例如)藉由視訊解碼器30實施)上，使用與 編碼器側上之條件相同之條件，視訊解碼器30亦可調整調色板條目之數目及轉變索引。視訊解碼器30可接著使用調色板條目之經調整之數目解碼索引。可使用與編碼器側上之條件相同之條件遞增(而非遞減)經解碼索引。
在CopyFromTop模式不可能之情況下，所描述之某些技術減少冗餘，且因此可修改SPoint旗標之信號通知，以使得視訊編碼器20及視訊解碼器30可推斷值模式。根據本發明之態樣，可將冗餘減少技術擴展至亦使用轉變行程模式之狀況。在此狀況下，若以下條件中之任一者為真，則CopyFromTop模式為不可能的：
1.樣本處於第一列中。
2.用於先前樣本之模式為CopyFromTop。
3.上方像素係在逃脫模式中寫碼且樣本並非處於第一列中且先前樣本並非在CopyFromTop模式中寫碼。
4.上方樣本及先前樣本具有相同索引且先前樣本並非在逃脫模式中寫碼。
本發明之技術亦提供用於明確地用信號通知用於逃脫調色板模式之逃脫旗標之替代方案。舉例而言，並非藉由顯式逃脫信號通知而在SPoint旗標之前用信號通知逃脫旗標，而是根據本發明之態樣，可交換旗標之次序，同時亦改變彼等旗標之語義。在此狀況下，視訊編碼器20可首先在位元串流中用信號通知SPoint旗標。在此實例中，等於1之SPoint旗標可指示值模式，而等於0之SPoint旗標可指示用於當前樣本之調色板模式為CopyFromTop模式或逃脫模式。另外，當SPoint旗標等於1時，視訊編碼器20可用信號通知逃脫旗標以區別CopyFromTop模式及逃脫模式。
在上述實例中，視訊編碼器20及視訊解碼器30可經組態以使用CABAC來寫碼上文所描述之旗標中的至少一者或上文所描述之旗標 中的兩者(例如，SPoint旗標或逃脫旗標)。替代地，視訊編碼器20及視訊解碼器30可經組態以使用CABAC繞過模式寫碼此等旗標以減少上下文經寫碼二進位之數目。
如上文所描述，在某些條件下，CopyFromTop模式可能並非為可能的。在此等狀況下，當使用替代信號通知方法(例如，諸如交換旗標)時，視訊編碼器20可經組態以僅用信號通知SPoint旗標，而不用信號通知逃脫旗標。在此狀況下，SPoint旗標可具有不同語義。舉例而言，等於1之SPoint旗標仍可指示模式為值模式，但等於0之SPoint旗標可指示逃脫模式。若SPoint旗標係使用CABAC進行上下文寫碼，則在CopyFromTop模式為不可能時之狀況下，可使用額外的單獨上下文來寫碼SPoint旗標值。在調色板大小為1且使用逃脫模式之狀況下，如上文所描述，當使用替代信號通知方法時，視訊編碼器20及視訊解碼器30可經組態以跳過SPoint旗標之寫碼。
本發明之技術亦提供用於用信號通知用於逃脫調色板模式之逃脫旗標的另一替代信號通知技術(例如，相對於JCTVC-Q0094)。舉例而言，在JCTVC-Q0094中，已在參考軟體中考慮並移除某些信號通知冗餘。作為一實例，當寫碼當前樣本時，若用於先前樣本之調色板模式為CopyFromTop，則視訊編碼器20及視訊解碼器30可能並不使用CopyFromTop模式寫碼當前像素。類似地，若用於先前樣本之模式為具有調色板索引「X」之值模式，則視訊編碼器20及視訊解碼器30可能並不使用具有相同調色板索引「X」之值模式寫碼當前像素。在剖析階段(例如，當在視訊解碼器30處剖析來自經編碼位元串流之語法元素時)，視訊解碼器30檢查上文所提及之條件以判定允許哪些語法元素以便恰當地讀取位元串流。若將檢查許多此等條件，則此檢查處理程序可變得繁重。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以 「重新使用」上文所提及之冗餘以隱含地用信號通知逃脫模式。舉例而言，當寫碼區塊之當前樣本時，若先前樣本係使用CopyFromTop模式寫碼且用於當前像素之模式亦按CopyFromTop用信號通知，則視訊解碼器30可推斷用於當前區塊之模式為逃脫模式。亦即，視訊編碼器20可使用藉由CopyFromTop模式寫碼之列中的兩個樣本之冗餘來用信號通知逃脫模式。類似地，若用於當前經寫碼之樣本之先前樣本之模式為具有調色板索引「X」之值模式且用信號通知之模式為具有相同調色板索引「X」之值模式，則視訊解碼器30可推斷用於當前區塊之模式為逃脫模式。類似地，亦可以此方式來利用上文所描述之其他冗餘。
在上文所描述之實例中，基於冗餘進行的用信號通知逃脫模式並不包括視訊編碼器20可用信號通知逃脫模式之所有可能的情形。因此，此等技術可用作用信號通知逃脫模式之補充方式。在其他實例中，亦可對位元串流強加該等技術，以使得可在此等受約束情形中僅用信號通知逃脫模式。
本發明之技術亦關於用信號通知：對於等於0之調色板大小，樣本為逃脫樣本。舉例而言，根據本發明之態樣，若在使用顯式逃脫信號通知時，與當前經寫碼之區塊相關聯之調色板的調色板大小等於0，則視訊編碼器20及視訊解碼器30可經組態以推斷區塊中之所有樣本經寫碼為逃脫樣本。亦即，視訊編碼器20及視訊解碼器30可經組態以判定區塊中之所有樣本經寫碼為逃脫樣本(例如，並不具有在用於寫碼區塊之調色板中表示的色彩值之樣本)，而並不編碼或解碼位元串流中表示逃脫模式之專用語法。同樣，若在使用隱含逃脫信號通知時，與當前經寫碼之區塊相關聯之調色板的調色板大小等於1(例如，調色板之僅有的索引為用於用信號通知逃脫模式之額外索引，如上文所描述)，則視訊編碼器20及視訊解碼器30可經組態以推斷區塊中之 所有樣本經寫碼為逃脫樣本。
在上文所描述之兩個實例中(例如，對於顯式及隱含逃脫信號通知兩者)，視訊編碼器20及視訊解碼器30可對於區塊之其餘部分跳過某些基於調色板之語法之寫碼。舉例而言，對於顯式逃脫信號通知，視訊編碼器20可能並不用信號通知用於區塊之樣本的逃脫旗標。另外，對於顯式及隱含逃脫信號通知兩者，視訊編碼器20可能並不用信號通知SPoint旗標(對於隱含及顯式逃脫信號通知兩者)。亦即，因為可推斷區塊之所有樣本為逃脫樣本，所以視訊編碼器20無需用信號通知Spoint旗標以區別CopyFromTop模式及值模式。視訊解碼器30同樣可跳過解碼此語法，該情形可改良位元速率及寫碼效率。
在替代實例中，視訊編碼器20及視訊解碼器30可按規範性方式將調色板大小限定為至少為一。在此實例中，視訊編碼器20可經組態以修改調色板大小之信號通知以便用信號通知(調色板大小-1)。舉例而言，當使用調色板預測符時(例如，如關於圖4之實例更詳細描述)，對於調色板預測符之每一條目，視訊編碼器20可編碼一一位元旗標以指示各別調色板預測符條目是否包括於當前區塊之調色板中。此等條目被稱作經預測之調色板條目且藉由調色板預測二進位向量(例如，一位元旗標之字串)來指示。視訊編碼器20亦可用信號通知在經預測之條目之後的新調色板條目之數目。在其他實例中，視訊編碼器20可用信號通知在經預測之條目之前的新調色板條目之數目。在任何狀況下，若經預測之調色板條目之數目為0，則視訊編碼器20及視訊解碼器30可經組態以寫碼指示(新調色板條目之數目-1)之資料，而非寫碼新調色板條目之數目。
在另一實例中，視訊編碼器20及視訊解碼器30可經組態以限定調色板模式以使得調色板大小不應等於0。舉例而言，可按位元串流約束形式來達成此限定，亦即，位元串流不可能含有具有等於0之調 色板大小的經調色板寫碼之區塊。
本發明之技術亦關於用信號通知調色板大小。舉例而言，可明確地用信號通知用於當前區塊(例如，當前由視訊編碼器20或視訊解碼器30寫碼之CU)之調色板大小(例如，如(例如)2014年4月3日申請之美國申請案第14/244,688號及2014年4月3日申請之美國申請案第14/244,711號中所揭示)。在此等實例中，調色板大小包括經預測之調色板條目(例如，使用調色板預測符判定)及新調色板條目(例如，如在位元串流中明確地用信號通知)兩者。
根據本發明之態樣，若用信號通知調色板大小，則可能不需要用信號通知新條目之數目，此係因為視訊編碼器20及視訊解碼器30可經組態以自經預測之條目之數目及調色板大小導出用於區塊的新調色板條目之數目(例如，調色板大小-經預測之條目之數目=新條目之數目)。另外，視訊編碼器20及視訊解碼器30可經組態以在用信號通知調色板大小且在建構用於當前區塊之調色板時達到用信號通知之大小數目時，終止對先前調色板之條目之預測。
在一些實例中，可自先前調色板預測調色板大小，且視訊編碼器20可經組態以僅用信號通知差異。視訊編碼器20及視訊解碼器30可經組態以使用指數哥倫布、經截短之一元或固定長度碼寫碼調色板大小與用於區塊的經預測之調色板大小之間的差。在一些情況下，視訊編碼器20及視訊解碼器30可經組態以取決於(例如，基於)經寫碼之區塊大小而做出預測。舉例而言，對於8×8區塊，可自與使用調色板模式寫碼之最新8×8區塊(例如，按掃描次序在當前區塊之前的最近經寫碼之8×8)相關聯的調色板預測調色板大小。同樣，視訊編碼器20及視訊解碼器30可經組態以基於來自先前經寫碼16×16區塊之調色板預測用於16×16區塊之調色板大小，且可將類似關係擴展至具有其他大小之區塊。替代地，在另一實例中，可自藉由小於或等於當前區塊大小 之大小寫碼之最新區塊預測調色板大小。
本發明之技術亦關於用信號通知最大調色板大小及/或最大調色板預測符大小。舉例而言，根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以寫碼指示最大調色板大小及/或最大調色板預測符大小之資料。在一些實例中，視訊編碼器20及視訊解碼器30可經組態以根據SPS寫碼此資料。寫碼指示最大調色板大小及/或最大調色板預測符大小之資料可提供靈活性，例如，允許視訊編碼器20及視訊解碼器30針對不同設定檔、層級、位元深度、區塊大小或其類似者使用具有不同大小之調色板及調色板預測符。在視訊寫碼標準之上下文中，設定檔可對應於演算法、特徵或工具及適用於其之約束的子集。舉例而言，設定檔可為藉由細節指定之整個位元串流語法之子集。層級可對應於對解碼器資源消耗之限制，諸如解碼器記憶體及計算，其可涉及圖像解析度、位元速率及區塊處理速率。設定檔可藉由profile_idc(設定檔指示符)值來用信號通知，而層級可藉由level_idc(層級指示符)值來用信號通知。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以使用關於最大調色板大小之資訊來判定與調色板模式相關聯之元素及旗標，例如，在用信號通知新調色板條目之數目時。作為一實例，可藉由MAX_PLT_SIZE來表示最大的可能調色板大小，該MAX_PLT_SIZE可由視訊編碼器20來編碼及由視訊解碼器30來解碼。類似地，可藉由MAX_PLT_PREDICTOR_SIZE來表示調色板預測符向量之最大的可能大小，該MAX_PLT_PREDICTOR_SIZE可由視訊編碼器20來編碼及由視訊解碼器30來解碼。
作為另一實例，根據本發明之態樣，視訊編碼器20及視訊解碼器30可寫碼指示調色板預測二進位向量中之「一」之數目(例如，其可表示經複製至用於寫碼當前區塊之調色板的來自調色板預測符之條 目之數目)的資料。在一些情況下，視訊編碼器20及視訊解碼器30可經組態以寫碼語法元素numPredPalette以指示經預測之調色板條目之數目。若numPredPalette之值等於MAX_PLT_SIZE之值(亦即，最大調色板大小)，則視訊編碼器20及視訊解碼器30可經組態以完全跳過新調色板條目之數目之寫碼。否則，若numPredPalette之值小於MAX_PLT_SIZE之值，則視訊編碼器20及視訊解碼器30可基於(MAX_PLT_SIZE-numPredPalette)(其為用於新調色板條目之數目之最大的可能值)使用經截短之二進位化，以寫碼指示新條目之數目的資料。
大體而言，經截短之二進位化可包括藉由以下操作使用關於用信號通知之特定參數(例如，諸如新調色板條目之數目)之最大的可能值之資訊的任何技術：遞減在參數之二進位化方法中使用的一些碼字之長度，同時維持獨特可解碼性。舉例而言，視訊編碼器20及視訊解碼器30可經組態以使用給定參數(例如，諸如新調色板條目之數目)之最大值建構經截短之二進位碼。用於進行經截短之二進位寫碼之實例技術描述於http：//en.wikipedia.org/wiki/Truncated_binary_encoding處。
類似地，視訊編碼器20及視訊解碼器30可使用經截短之一元或指數哥倫布或哥倫布-萊斯(Colomb-Rice)碼來基於新調色板條目之數目的最大的可能值用信號通知及解碼新調色板條目之數目。舉例而言，若(MAX_PLT_SIZE-numPredPalette)=3，則視訊編碼器20可使用經截短之一元碼來將3用信號通知為000，而非0001(例如，如在使用規則一元碼時將用信號通知的)。在經截短之指數哥倫布或哥倫布-萊斯碼之狀況下，視訊編碼器20及視訊解碼器30可經組態以將含有最大值之區間內的首碼之長度減少一。因此，視訊編碼器20及視訊解碼器30可經組態以將首碼自000...001改變成000...000。類似地，視訊編碼 器20及視訊解碼器30可經組態以取決於最大值而減少彼區間內的二進位化方法中之尾碼位元之數目。
對於大區塊(及/或大CU)，調色板大小傾向於為最大調色板大小。因此，在一些狀況下，視訊編碼器20及視訊解碼器30可經組態以按常用方式之反方式映射(MAX_PLT_SIZE-numPredPalette)之二進位化，亦即，其中將較短碼字長度指派給(MAX_PLT_SIZE-numPredPalette)之較大值，且將較長碼字長度指派給(MAX_PLT_SIZE-numPredPalette)之較小值。在一些實例中，並非使用數個0後接續1來用信號通知一元/經截短之一元碼，或按哥倫布-萊斯或指數哥倫布或串接哥倫布-萊斯及指數哥倫布系列碼之首碼形式，而是，視訊編碼器20及視訊解碼器30可經組態以使用數個1後接續0。
此外，其他變化係有可能的。舉例而言，視訊編碼器20及視訊解碼器30可經組態以將此等碼中之第一位元解譯為指示新條目之數目為零抑或非零之旗標。視訊編碼器20及視訊解碼器30可經組態以將剩餘位元解譯為新調色板條目之數目減去1。在一實例中，出於說明之目的，新調色板條目之最大值可為8且新調色板條目之數目可為3。使用經截短之一元碼，視訊編碼器20及視訊解碼器30可經組態以判定二進位化為0001。若視訊編碼器20及視訊解碼器30經組態以將第一位元解譯為旗標(例如，0：一或多個新調色板條目，1：零個新調色板條目)，則其餘位元(001)指示存在兩個新調色板條目。當使用經截短之碼時，視訊編碼器20及視訊解碼器30可經組態以將最大值向下調整一。
在其他實例中，視訊編碼器20及視訊解碼器30可經組態以按反方式來解譯上文所描述之旗標。在此狀況下，視訊編碼器20及視訊解碼器30可經組態以將旗標值1解譯為一或多個新調色板條目且將旗標 值0解譯為零個新調色板條目。在此狀況下，用於用信號通知具有最大值8的三個新調色板條目之位元為1001。
在其他實例中，可將上文所描述之旗標之概念擴展至其他碼，諸如指數哥倫布、哥倫布-萊斯或其類似者。舉例而言，當用於新調色板條目之最大值為非零時，視訊編碼器20可經組態以用信號通知指示是否存在非零新條目之旗標。若旗標指示存在非零新條目，則可使用指數哥倫布、哥倫布-萊斯、串接之指數哥倫布及哥倫布-萊斯或類似碼或其經截短之版本來用信號通知新條目之數目減去一。當使用經截短之版本時，可將最大值向下調整一。
在一些實例中，旗標可使用CABAC來進行上下文寫碼，而其餘二進位(例如，新調色板條目減去1)可繞過寫碼。替代地，旗標以及其餘二進位(新調色板條目減去1)皆可繞過寫碼。在一些情況下，來自新調色板條目減去1的碼的首碼二進位之固定數目可使用CABAC進行上下文寫碼，且其餘二進位可繞過寫碼。
根據本發明之態樣，如上文所提及，可在參數集(諸如，SPS)中用信號通知語法元素MAX_PLT_SIZE。在其他實例中，可在VPS、圖像參數集(PPS)、切片標頭中、在區塊層級下(例如，針對LCU或CU用信號通知語法)或在其他處用信號通知語法元素MAX_PLT_SIZE。在一些實例中，根據本發明之態樣，可針對不同的區塊大小指定不同的最大調色板大小。在其他實例中，最大調色板大小可取決於經寫碼之視訊資料之設定檔或位元深度。舉例而言，對於較大輸入位元深度(或設定檔位元深度)，語法元素MAX_PLT_SIZE可用以指定相對較大之最大調色板大小。在再其他實例中，最大調色板大小可另外或替代地取決於經寫碼之視訊資料之色度格式。舉例而言，語法元素MAX_PLT_SIZE可用以針對單色輸入指定相對較小之最大調色板大小(與針對4：2：0色度子取樣格式相比較)，該等4：2：0色度子取樣格式又可 具有比4：4：4色度子取樣格式化之輸入小的大小。
根據本發明之態樣，並非按上文所描述之方式用信號通知語法元素MAX_PLT_SIZE，而是可用信號通知指示(MAX_PLT_SIZE-1)之資料，此係因為等於0之MAX_PLT_SIZE語法元素可能為無效的(歸因於完全停用調色板)。
在另一實例中，並非在VPS、SPS、PPS或切片標頭層級用信號通知單獨旗標以啟用/停用調色板模式，而是視訊編碼器20可經組態以僅用信號通知MAX_PLT_SIZE語法元素。在此實例中，視訊編碼器20及視訊解碼器30可經組態以將為0之MAX_PLT_SIZE語法元素解譯為停用調色板模式。亦即，當接收到調色板大小語法元素(例如，MAX_PLT_SIZE語法元素)時，視訊解碼器30可基於該語法元素判定已停用調色板模式。可使用固定長度碼(假定關於MAX_PLT_SIZE之規範性極限)或哥倫布-萊斯或指數哥倫布碼來用信號通知MAX_PLT_SIZE語法元素或(MAX_PLT_SIZE-1)。
如上文所提及，本發明之技術亦包括寫碼指示最大調色板預測符大小之資料。舉例而言，根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以在VPS、SPS、PPS、切片標頭中、在區塊層級或在其他處寫碼指示最大調色板預測符大小之MAX_PLT_PREDICTOR_SIZE語法元素。在一些實例中，並非用信號通知MAX_PLT_PREDICTOR_SIZE語法元素，而是可用信號通知(MAX_PLT_PREDICTOR_SIZE-1)。在再其他實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼指示最大調色板預測符大小之其他資料。
在本文所描述之特定實例中，可使用固定長度碼(例如，假定關於MAX_PLT_PREDICTOR_SIZE之規範性極限)或哥倫布萊斯或指數哥倫布碼來用信號通知MAX_PLT_PREDICTOR_SIZE語法元素或 (MAX_PLT_PREDICTOR_SIZE-1)。在一些實例中，視訊編碼器20及視訊解碼器30可經組態以假定(例如，自動判定)：藉由MAX_PLT_PREDICTOR_SIZE語法元素指示之大小大於或等於最大調色板大小(例如，如藉由MAX_PLT_SIZE語法元素指示)。在此實例中，視訊編碼器20及視訊解碼器30可經組態以使用固定長度碼或哥倫布-萊斯或指數哥倫布碼寫碼(MAX_PLT_PREDICTOR_SIZE-MAX_PLT_SIZE)。因此，根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以寫碼指示最大調色板預測符大小與最大調色板大小之間的差量(例如，差值)的資料。
在按SPS層級用信號通知最大調色板大小及最大調色板預測符大小之實例中，視訊編碼器20及視訊解碼器30可經組態以使用經截短之一元碼寫碼指示新條目之數目的資料。新條目之數目加上自調色板預測符預測的條目之數目一起可能不超過在SPS中用信號通知的最大調色板大小。然而，若在SPS中用信號通知之最大調色板大小相對較大，則新條目之數目可超過31。在此情況下，經截短之一元碼超過32位元長度，對於軟體及硬體實施而言，該情形可能為不合需要的。
為了解決此問題，根據本發明之態樣，在一實例中，視訊編碼器20及視訊解碼器30可經組態以限定新條目之數目，以使得用於用信號通知新條目之數目的碼之長度不會超過32。舉例而言，若使用一元或經截短之一元碼來用信號通知新條目之數目，則新條目之數目可限定於31。應理解，長度限定32僅為一實例(例如，可替代地使用其他長度限定)。
在HEVC螢幕內容寫碼擴展文本規範草案2(拉詹喬希(Rajan Joshi)等人之「高效率視訊寫碼(HEVC)螢幕內容寫碼：草案2(High Efficiency Video Coding(HEVC)Screen Content Coding：Draft 2)」(JCTVC-S1005，日本札幌，2014年6月30日至7月9日)(下文中為 JCTVC-S1005))中，使用經截短之一元碼來用信號通知新調色板條目之數目，其中最大值等於在SPS中用信號通知之最大調色板大小(palette_max_size)減去自調色板預測符預測的調色板條目之數目。使用所提議之限定，可將最大值修改為以下兩者中之較小者：32，及在SPS中用信號通知之最大調色板大小(palette_max_size)與自調色板預測符預測的調色板條目之數目之間的差。若執行對最大值之此修改且使用JCTVC-S1005之經截短之一元寫碼，則新調色板條目之最大數目可為32(而非31)，而碼之長度不超過32個位元。
在一些實例中，並非經截短之一元寫碼，而是，若視訊編碼器20及視訊解碼器30經組態從而使用諸如指數哥倫布或其經截短版本之另一碼，則可適當地修改最大可允許的新調色板條目以使得長度不會超過32。若存在具有碼字長度32之數個值，則視訊編碼器20及視訊解碼器30可經組態以選擇此值中之最高者為新調色板條目之數目的最大可允許的值。
可使得本文所描述的關於新調色板條目之最大數目的限定為規範性限定。舉例而言，視訊編碼器20可經組態以產生具有約束之位元串流，且視訊解碼器30可經組態以依賴於相符位元串流中之約束。
根據本發明之態樣，在一實例中，可相對於JCTVC-S1005改變palette_num_signaled_entries語法元素之語義如下：語法元素palette_num_signaled_entries指定當前調色板中明確地用信號通知之條目之數目。語法元素palette_num_signaled_entries之值將在0至31(包括0及31)之範圍內。當語法元素palette_num_signaled_entries不存在時，推斷其等於0。
另外，變數CurrentPaletteSize之值指定當前調色板之大小且如下來導出：若palette_share_flag[x0][y0]等於1， 則CurrentPaletteSize=PreviousPaletteSize(7-71)
否則(palette_share_flag[x0][y0]等於0)
CurrentPaletteSize=paletteNumPredictedEntries+palette_num_signaled_entries(7-72)
在上述實例中，CurrentPaletteSize之值將在0至palette_max_size(包括0及palette_max_size)之範圍內。
根據本發明之態樣，若按上文所描述之方式修改最大值，則可修改語法元素palette_num_signaled_entries之值以使得該值將在0至32(包括0及32)之範圍內。
在另一實例中，可在SPS中用信號通知最大調色板大小且其可限於31。限制大小可藉由以下操作來完成：在palette_max_size語法元素之語義中對palette_max_size語法元素強加上限，以使得palette_max_size語法元素指定最大允許的調色板大小。palette_max_size語法元素之值將在0至31(包括0及31)之範圍內。當不存在時，推斷palette_max_size語法元素之值為0。在一些實例中，並非31，該值可限定於32。
在另一實例中，palette_max_size語法元素之最大值可受限定，以使得在新調色板條目之數目等於palette_max_size之情況下，視訊編碼器20及視訊解碼器30可經組態以使用不會超過32個位元之碼寫碼新調色板條目之數目。在再一實例中，新調色板條目之數目之最大值可始終限於31，而不管用以寫碼最大值之碼。在再一實例中，最大值可限於32。
本發明之技術亦關於區塊層級逃脫信號通知(例如，對於CU或LCU)。舉例而言，根據本發明之態樣，一或多個語法元素可指示：在區塊層級(例如，CU層級)，區塊之樣本中之任一者是否經寫碼為逃脫樣本(例如，並不具有在用於寫碼區塊之調色板中表示之色彩值的 樣本)。如上文所提及，該一或多個語法元素可被稱作區塊層級逃脫語法。此外，區塊層級語法可指藉由視訊資料之區塊(諸如，CU或LCU)寫碼或判定之語法，而非可包括於切片標頭中或視訊資料之個別像素中的語法。
在使用調色板寫碼而寫碼之樣本之區塊中的至少一樣本經寫碼為逃脫樣本的情況下，本發明之技術可用以用信號通知此模式之存在。在實例中，出於說明之目的，視訊編碼器20及視訊解碼器30可經組態以寫碼一旗標(其可被稱作區塊層級逃脫旗標)，該旗標指示經寫碼之區塊之樣本中的任一者是否經寫碼為逃脫樣本。在一些情況下，旗標值0可指示區塊之樣本或像素中無一者經寫碼為逃脫樣本。旗標值1可指示區塊之至少一樣本或像素經寫碼為逃脫樣本。因此，區塊層級逃脫語法可指示：對於視訊資料之區塊之所有樣本，區塊之至少一樣本係藉由使用至用於區塊之色彩值之調色板的索引來寫碼抑或不藉由使用至用於區塊之色彩值之調色板的索引來寫碼，例如，係使用逃脫模式寫碼。
根據本發明之態樣，相對於在無區塊層級指示之情況下用信號通知逃脫樣本之技術而言，上文所描述之語法可達成位元節省。舉例而言，在語法指示無區塊之樣本經寫碼為逃脫樣本的情況下(例如，上文所描述之旗標為0)，視訊編碼器20及視訊解碼器30可能並不寫碼用於區塊之與逃脫樣本相關聯之任何其他語法。舉例而言，關於本文所描述之顯式逃脫信號通知，視訊編碼器20及視訊解碼器30可跳過樣本層級逃脫模式模式之寫碼。關於隱含逃脫信號通知，視訊編碼器20及視訊解碼器30可跳過用於調色板之指示逃脫樣本之額外索引的寫碼。在此實例中，視訊編碼器20及視訊解碼器30可僅寫碼SPoint旗標以區別CopyFromTop模式及值模式。
在一些實例中，可在當前經寫碼之區塊或CU的調色板條目之前 用信號通知上文所描述之旗標。在其他實例中，可在當前經寫碼之區塊或CU的調色板條目之後用信號通知上文所描述之旗標。在一些實例中，視訊編碼器20及視訊解碼器30可經組態以對上文所描述之旗標進行上下文寫碼。在此等實例中，視訊編碼器20及視訊解碼器30可基於用於當前區塊或CU之區塊或CU大小及/或調色板大小判定上下文。
在一些情況下，逃脫樣本之使用情況可隨區塊大小而變化。舉例而言，在相對較小之區塊中，對於逃脫樣本之使用可能不太流行。在此等情況下，視訊編碼器20及視訊解碼器30可經組態以判定區塊並不包括任何逃脫樣本且跳過上文所描述之旗標之寫碼，藉此達成位元節省。舉例而言，根據本發明之態樣，視訊編碼器20及視訊解碼器30可能並不寫碼用於8×8區塊之區塊層級旗標，其中與較大區塊大小情形相比較，更不大可能使用逃脫樣本。類似地，對於大的區塊大小(例如，64×64像素或大於64×64像素之區塊)，視訊編碼器20及視訊解碼器30可經組態以判定始終存在經寫碼為逃脫樣本之樣本。在此等情況下，視訊編碼器20及視訊解碼器30可推斷：用於區塊之區塊層級逃脫旗標等於1(例如，至少一樣本為逃脫樣本)，且跳過區塊層級逃脫旗標之寫碼(例如，關於區塊層級逃脫旗標之指示並不包括於位元串流中)。
本發明之技術亦關於基於區塊之任何樣本是否經寫碼為逃脫樣本而寫碼樣本之區塊。舉例而言，如上文所提及，本發明之技術可用以指示任何樣本是否經寫碼為經調色板寫碼之區塊之逃脫樣本。在區塊並不包括逃脫樣本之情況下且當調色板之大小為1時，視訊編碼器20及視訊解碼器30可經組態以自動地判定區塊之所有樣本具有相同的索引值(例如，調色板之僅有的條目)。因此，視訊編碼器20及視訊解碼器30亦可跳過用以判定區塊之調色板索引的其他所有其他資料之寫碼。舉例而言，視訊編碼器20及視訊解碼器30可跳過SPoint旗標、索 引信號通知及與調色板索引之行程相關聯的資料之寫碼。
在一實例中，出於說明之目的，視訊解碼器30可解碼區塊層級逃脫旗標，該區塊層級逃脫旗標指示當前區塊中不存在經寫碼為逃脫樣本之樣本(例如，旗標等於0)。視訊解碼器30亦可解碼指示用於區塊之調色板具有單一條目之資料(例如，指示調色板大小為1之資料)或解碼具有單一條目之調色板。在此實例中，基於兩個條件評估為真(例如，無樣本為逃脫樣本且調色板大小為1)，視訊解碼器30可自動地判定區塊之所有調色板索引等於包括於調色板中之單一條目。視訊解碼器30亦可跳過用以判定區塊之調色板索引之其他資料(例如，諸如SPoint旗標、調色板索引及行程資訊)的解碼。
在另一實例中，根據本發明之態樣，當調色板大小為1時，可藉由逃脫樣本來終止藉由調色板索引0寫碼之樣本之行程。亦即，調色板索引之行程可間雜有經寫碼為逃脫樣本之位置。在此實例中，視訊編碼器20及視訊解碼器30可經組態以跳過SPoint旗標之寫碼。另外，在此實例中，視訊編碼器20及視訊解碼器30可經組態以推斷用於調色板索引之模式為值模式以及值模式之索引(例如，在調色板中僅具有一條目，可能不必用信號通知用於值模式之索引)。在此實例中，視訊編碼器20及視訊解碼器30可推斷緊接在行程之後的樣本經寫碼為逃脫樣本且跳過逃脫相關語法之寫碼。
本發明之技術亦關於在調色板寫碼中寫碼指示調色板索引之行程之行程值的資料。舉例而言，如上文所提及，行程值可指示在經調色板寫碼之區塊中在一起寫碼的按特定掃描次序之連續樣本之數目(例如，樣本之行程)。在一些情況下，樣本之行程亦可被稱作調色板索引之行程，此係因為行程之每一樣本具有至一調色板之一相關聯之索引。
行程值可指示使用相同的調色板寫碼模式寫碼之調色板索引之 行程。舉例而言，關於值模式，視訊編碼器20及視訊解碼器30可寫碼索引值及行程值，該行程值指示具有相同的索引值且藉由索引值寫碼的按掃描次序之連續樣本之數目。關於CopyFromTop模式，視訊編碼器20及視訊解碼器30可寫碼關於基於上方相鄰樣本(例如，定位於區塊中當前經寫碼之樣本上方的樣本)之索引複製用於當前樣本值之索引的指示，及指示亦自上方相鄰樣本複製索引值且藉由索引值寫碼的按掃描次序之連續樣本之數目的行程值。
舉例而言，根據本發明之態樣，可基於用於區塊之最大的可能行程值寫碼指示視訊資料之區塊中的調色板索引之行程的資料。亦即，視訊編碼器20及視訊解碼器30可針對與調色板索引(該調色板索引使像素之值與調色板中之色彩值相關)相關聯之像素，判定藉由像素之調色板索引寫碼的調色板索引之行程之行程長度。視訊編碼器20及視訊解碼器30亦可判定能夠藉由像素之調色板索引寫碼的調色板索引之最大行程的最大行程長度。視訊編碼器20及視訊解碼器30可接著基於所判定之最大行程長度寫碼指示行程長度之資料。
在一實例中，出於說明之目的，視訊資料之區塊中的樣本之總數目可為N且樣本中之每一者可自0至(N-1)來編索引。對於具有位置j之樣本，視訊編碼器20及視訊解碼器30可判定最大的可能行程值為(N-j-1)。應注意，行程值指示藉由與當前樣本相同之調色板寫碼模式(例如，值模式或CopyFromTop模式)寫碼之後續樣本之數目。根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以使用經截短之二進位化寫碼指示行程值之資料，從而考慮最大的可能行程值。大體而言，經截短之二進位化可包括藉由以下操作使用關於用信號通知之特定參數(例如，諸如新調色板條目之數目)之最大的可能值之資訊的任何技術：遞減在參數之二進位化方法中使用的一些碼字之長度，同時維持獨特可解碼性。舉例而言，可使用基於行程的最大的可能值的 經截短之二進位碼。類似地，可使用經截短之一元或指數哥倫布或哥倫布萊斯碼來基於行程之最大的可能值寫碼及解碼行程值。在一些實例中，經截短之二進位化可為指數哥倫布及哥倫布-萊斯碼之組合。
舉例而言，第k階指數哥倫布(EGk)碼字係由兩個部分構成：首碼及尾碼。對於給定的無正負號整數x，EGk碼字之首碼部分由對應於以下值之一元碼構成：
將尾碼部分計算為使用k+l(x)個位元的x-2 k (2 l(x)-1)之二進位表示。
作為一實例，以下表1包括用於EG0之若干碼字。
在2014年6月20日申請之美國臨時申請案第62/019,223號中，使用第2階指數哥倫布碼寫碼行程值。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以使用經截短之指數哥倫布碼寫碼指示行程值之資料。舉例而言，第k階經截短之指數哥倫布(TEGk)碼字亦由兩個部分構成：首碼及尾碼。首碼可為一元首碼且尾碼可為二進位尾碼。舉例而言，對於給定的無正負號整數x及其最大的可能行程值Xmax(例如，最大行程長度)，EGk碼字之首碼部分由對應於以下值之經截短之一元碼構成：
具體言之，在以下情況下，可避免一元碼之「尾隨的1」：
若首碼經截短，亦即，，則將TEGk之尾碼 部分計算為使用k+l(x)或k+l(x)-1個位元的x-2 k (2 l(x)-1)的經截短之二進位表示。用於經截短之二進位碼之輸入的最大符號值為Xmax-2 k (2 l(x)-1)。
若首碼並非經截短，則TEGk之尾碼部分與EGk相同，亦即，使用k+l(x)個位元的x-2 k (2 l(x)-1)之二進位表示。作為一實例，以下表1包括用於TEG0之若干碼字。
雖然以上表2之實例將彼首碼說明為數個0後接續尾隨的1(例如，00...1_)，但應理解，在其他實例中，視訊編碼器20及視訊解碼器30可寫碼數個1後接續尾隨的0(例如，11....0)。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可使用上文所描述之TEGk碼寫碼行程值。在一些實例中，視訊編碼器20及視訊解碼器30可針對區塊(或CU)中之當前像素位置，基於等式(Xmax=當前CU中之像素之數目-按掃描次序之當前位置-1)判定最大行程值Xmax。
在另一實例中，若行程值首先係使用經截短之一元首碼寫碼，則視訊編碼器20及視訊解碼器30可經組態以(例如)基於經截短之值相應地調整最大行程值。舉例而言，在一些情況下，視訊編碼器20及視訊解碼器30可經組態以將行程值寫碼為一系列三個旗標：大於0、大於1，及大於2。在此實例中，若用信號通知之行程大於2，則視訊編 碼器20及視訊解碼器30可寫碼剩餘值(例如，行程值-3)，可能藉由另一種二進位化方法，諸如上文所描述之指數哥倫布及哥倫布-萊斯碼或TEGk碼之組合。
然而，若(N-j-1)等於0，則視訊編碼器20及視訊解碼器30並不寫碼行程。同樣，若(N-j-1)等於1，則視訊編碼器20及視訊解碼器30可僅寫碼大於0旗標。同樣，若(N-j-1)等於2，則視訊編碼器20及視訊解碼器30可僅寫碼大於0及大於1旗標。同樣，若(N-j-1)等於3，則視訊編碼器20及視訊解碼器30可僅寫碼大於0旗標、大於1旗標及大於2旗標。若(N-j-1)大於3，則除大於0旗標、大於1旗標及大於2旗標之外，視訊編碼器20及視訊解碼器30亦可寫碼高達最大值為(N-j-4)之剩餘值。以類似方式，可將所描述之處理程序擴展至使用除3個以外的數個旗標，例如，指示大於數目M的用信號通知之值的旗標，其中M可為自0開始之非負值。
根據本發明之態樣，在上述實例中，視訊編碼器20及視訊解碼器30可使用上文所描述之TEGk碼寫碼剩餘行程長度，其中最大行程值等於(當前CU中之像素之數目-按掃描次序之當前位置-4)。在另一實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼指示行程值是否大於0及指示剩餘值為行程長度減去一之旗標。舉例而言，視訊編碼器20及視訊解碼器30可寫碼大於0旗標。視訊編碼器20及視訊解碼器30亦可使用TEGk碼寫碼指示行程長度減去一之資料，其中用於TEGk碼之最大值經設定為等於最大行程長度減去一。在一實例中，視訊編碼器20及視訊解碼器30可將k設定為等於0，以使得TEGk碼為TEG0碼。
在其他實例中，視訊編碼器20及視訊解碼器30可使用上文所描述之TEG碼之任何階來寫碼用於調色板寫碼之語法元素。在一實例中，視訊編碼器20及視訊解碼器30可將k設定為等於2，以使得TEGk 碼為TEG2碼。
雖然上述實例係關於在調色板寫碼中寫碼行程值加以描述，但視訊編碼器20及視訊解碼器30可經組態以使用該等碼(諸如，TEGk碼)來寫碼用於調色板寫碼之其他語法。舉例而言，如下文更詳細描述，視訊編碼器20及視訊解碼器30可使用上文所描述之碼來寫碼二進位調色板預測向量、CopyAbove行程長度或其他值。
在喬希(Joshi)等人之「非SCCE3：用於寫碼索引行程之上下文(Non-SCCE3：Contexts for coding index runs)」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC)，第18次會議，日本札幌，2014年6月30日至7月9日，JCTVC-R0174)(在下文中為JCTVC-R0174)中，作者提議在使用CopyLeft模式(例如，該模式可按與CopyFromTop模式類似之方式操作)之情況下使得行程長度碼字之上下文取決於索引。然而，根據本發明之一實例，若當前行程模式為CopyFromAbove，則視訊編碼器20及視訊解碼器30可基於定位於當前經寫碼之像素上方的像素之索引值判定用於對行程進行CABAC寫碼之上下文。在此實例中，上方相鄰像素在當前CU之外部，視訊編碼器20及視訊解碼器30可判定對應索引等於預定義常數k。在一些實例中，常數k可等於0。
在一些實例中，若用於寫碼當前像素之調色板模式為CopyFromAbove模式，則視訊編碼器20及視訊解碼器30可基於上方相鄰像素是否具有等於0之索引而選擇兩個候選CABAC上下文中之一者來寫碼行程長度碼字之第一二進位。作為另一實例，若用於寫碼當前像素之調色板模式為CopyPrevious模式，則視訊編碼器20及視訊解碼器30可基於索引是等於0、1、2抑或大於2而選擇四個候選CABAC上下文中之一者來寫碼行程長度碼字之第一二進位。
圖2為說明可實施本發明之技術的實例視訊編碼器20之方塊圖。 出於解釋之目的而提供圖2，且不應將該圖視為對如本發明中廣泛舉例說明及描述之技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20表示可經組態以根據本發明中所描述之各種實例執行用於基於調色板之視訊寫碼的技術的器件之實例。舉例而言，視訊編碼器20可經組態以使用基於調色板之寫碼或非基於調色板之寫碼選擇性地寫碼視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如藉由HEVC草案10指定之各種寫碼模式。在一實例中，視訊編碼器20可經組態以產生具有指示像素值之條目之調色板，選擇調色板中之像素值以表示視訊資料之區塊中的至少一些像素位置之像素值，及用信號通知使視訊資料之區塊中的像素位置中之至少一些像素位置與調色板中之條目(該等條目分別對應於調色板中之選定像素值)相關聯的資訊。用信號通知之資訊可由視訊解碼器30使用以解碼視訊資料。
在圖2之實例中，視訊編碼器20包括預測處理單元100、視訊資料記憶體101、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(未圖示)。視訊編碼器20亦包括基於調色板之編碼單元122，其經組態以執行本發明中所描述的基於調色板之寫碼技術之各種態樣。在其他實例中，視訊編碼器20可包括較多、較少或不同功能之組件。
視訊資料記憶體101可儲存待由視訊編碼器20之組件編碼的視訊 資料。儲存於視訊資料記憶體101中之視訊資料可(例如)自視訊源18獲得。經解碼圖像緩衝器116可為參考圖像記憶體，其儲存用於由視訊編碼器20在編碼視訊資料(例如，在框內或框間寫碼模式中)時使用之參考視訊資料。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可藉由相同記憶體器件或單獨記憶體器件來提供視訊資料記憶體101及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體101可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之切片中的每一CTU。CTU中之每一者可與圖像之相等大小的明度寫碼樹型區塊(CTB)及對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個相等大小之子區塊，將該等子區塊中之一或多者分割成四個相等大小之子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在CU之一或多個PU當中分割與CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊 解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。取決於PU係在I切片中、P切片中抑或B切片中，框間預測單元121可針對CU之PU執行不同操作。在I切片中，所有PU經框內預測。因此，若PU係在I切片中，則框間預測單元121並不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測之區塊係使用空間預測自同一圖框內的先前經編碼之相鄰區塊而形成。
若PU係在P切片中，則框間預測處理單元120之運動估計單元可在用於PU之參考區的參考圖像清單(例如，「RefPicList0」)中搜尋參考圖像。PU之參考區可為參考圖像內含有最緊密地對應於PU之樣本區塊的樣本區塊之區。運動估計單元可產生指示含有用於PU之參考區的參考圖像之RefPicList0中之位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與相關聯於參考區的參考位置之間的空間位移的MV。舉例而言，MV可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移的二維向量。運動估計單元可輸出參考索引及MV作為PU之運動資訊。框間預測處理單元120之運動補償單元可基於藉由PU之運動向量指示之參考位置處的實際或經內插之樣本而產生PU之預測性區塊。
若PU係在B切片中，則運動估計單元可針對PU執行單向預測或雙向預測。為了針對PU執行單向預測，運動估計單元可搜尋RefPicList0之參考圖像，或用於PU之參考區的第二參考圖像清單(「RefPicList1」)。運動估計單元可輸出以下各者作為PU之運動資訊：指示含有參考區之參考圖像的RefPicList0或RefPicList1中之位置的參考索引、指示PU之預測區塊與相關聯於參考區之參考位置之間 的空間位移的MV，及指示參考圖像在RefPicList0抑或在RefPicList1中之一或多個預測方向指示符。框間預測處理單元120之運動補償單元可至少部分地基於藉由PU之運動向量指示之參考區處的實際或經內插之樣本而產生PU之預測性區塊。
為了針對PU執行雙向框間預測，運動估計單元可在用於PU之參考區的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區的RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區之參考圖像的RefPicList0及RefPicList1中之位置的參考圖像索引。另外，運動估計單元可產生指示相關聯於參考區之參考位置與PU之樣本區塊之間的空間位移的MV。PU之運動資訊可包括PU之參考索引及MV。運動補償單元可至少部分地基於藉由PU之運動向量指示的參考區處之實際或經內插之樣本而產生PU之預測性區塊。
根據本發明之各種實例，視訊編碼器20可經組態以執行基於調色板之寫碼。關於HEVC構架，作為實例，基於調色板之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的PU模式。因此，本文中(貫穿本發明)在CU模式之上下文中描述的全部所揭示處理程序可另外或替代地適用於PU。然而，此等基於HEVC之實例不應被視為限定或限制本文中所描述的基於調色板之寫碼技術，因而，此等技術可適用於獨立地或作為其他現有或尚待開發之系統/標準之部分而工作。在此等狀況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀之區。
當(例如)針對CU或PU選擇基於調色板之編碼模式時，基於調色板之編碼單元122(例如)可執行基於調色板之解碼。舉例而言，基於調色板之編碼單元122可經組態以產生具有指示像素值之條目之調色板，選擇調色板中之像素值以表示視訊資料之區塊中的至少一些位置 之像素值，及用信號通知使視訊資料之區塊的位置中之至少一些位置與調色板中之條目(該等條目分別對應於選定像素值)相關聯的資訊。儘管將各種功能描述為由基於調色板之編碼單元122執行，但此等功能中之一些或全部可由其他處理單元或不同處理單元之組合來執行。
根據本發明之態樣，基於調色板之編碼單元122可經組態以執行本文中所描述的用於調色板寫碼之技術的任何組合。舉例而言，根據本發明之態樣，基於調色板之編碼單元122可判定一語法元素之值，該語法元素指示對於視訊資料之區塊之所有樣本而言，區塊之至少一各別樣本是否藉由第一調色板模式寫碼，其中第一調色板模式包括寫碼區塊之各別樣本，而不使用至用於區塊之色彩值之調色板的索引。舉例而言，基於調色板之編碼單元122可判定一區塊層級語法元素之值，該區塊層級語法元素指示區塊之任何樣本是否經編碼為逃脫樣本(經編碼為並不具有在用於寫碼區塊之調色板中表示之色彩值的樣本)。在一些實例中，基於調色板之編碼單元122可判定用於區塊之逃脫旗標，該逃脫旗標指示區塊之任何樣本是否經編碼為逃脫樣本。
另外或替代地，基於調色板之編碼單元122可判定以下各資料中之至少一者：指示用於寫碼視訊資料之區塊的色彩值之調色板的最大調色板大小之資料，或指示用於判定色彩值之調色板的調色板預測符之最大調色板預測符大小的資料。舉例而言，基於調色板之編碼單元122可將此資料包括於諸如SPS之參數集中。
另外或替代地，基於調色板之編碼單元122可針對與調色板索引相關聯之像素判定藉由像素之調色板索引寫碼的調色板索引之行程的行程長度，該調色板索引使像素之值與用於寫碼像素之色彩之調色板中的色彩值相關。亦即，基於調色板之編碼單元122可判定：用於特定樣本之索引值係藉由其他後續調色板索引之行程編碼。基於調色板之編碼單元122亦可判定用於能夠藉由像素之調色板索引編碼的調色 板索引之最大行程的最大行程長度。如下文關於熵編碼單元118更詳細描述，視訊編碼器20可基於所判定之最大行程長度編碼指示行程長度之資料。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括用於PU之預測性區塊及各種語法元素。框內預測處理單元126可對I切片中、P切片中及B切片中之PU執行框內預測。
為了對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式，以產生用於PU之多組預測性資料。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本來產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目種框內預測模式，例如，33種定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區的大小。
預測處理單元100可自由框間預測處理單元120針對PU產生之預測性資料或由框內預測處理單元126針對PU產生之預測性資料當中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於數組預測性資料之速率/失真量度而選擇用於CU之PU的預測性資料。選定預測性資料之預測性區塊在本文中可被稱作選定預測性區塊。
殘餘產生單元102可基於CU之明度、Cb及Cr寫碼區塊及CU之PU的選定預測性明度、Cb及Cr區塊產生CU的明度、Cb及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU的對應的選定預測性區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，一TU可與一明度變換區 塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可基於或可能不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生用於CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於變換區塊。在一些實例中，變換處理單元104並不將變換應用於變換區塊。在此等實例中，可將變換區塊處理為變換係數區塊。
量化單元106可將係數區塊中之變換係數量化。量化處理程序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間，可將n位元變換係數降值捨位至m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值將與CU之TU相關聯之係數區塊量化。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊之損失，因此經量化之變換係數可具有比原始變換係數低之精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構之變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在濾波器單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存經重建構 之寫碼區塊。框間預測處理單元120可使用含有經重建構之寫碼區塊之參考圖像來對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構之寫碼區塊來對與CU位於相同圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，並可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生的經熵編碼之資料的位元串流。舉例而言，位元串流可包括表示用於CU之RQT的資料。
根據本發明之態樣，熵編碼單元118可經組態以使用TEGk碼寫碼調色板資料，如上文關於圖1之實例所描述。詳言之，根據本發明之態樣，熵編碼單元118可基於所判定之最大行程長度編碼指示調色板索引之行程的行程長度的資料。在一些實例中，熵編碼單元118可使用TEG2碼編碼行程長度。
圖3為說明經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。出於解釋之目的而提供圖3，且其並不限制如本發明中廣泛舉例說明及描述之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20表示可經組態以根據本發明中所描述之各種實例執行用於基於調色板之視訊寫碼的技術的器件之實例。舉例而言，視 訊編碼器20可經組態以使用基於調色板之寫碼或非基於調色板之寫碼選擇性地解碼視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如藉由HEVC草案10指定之各種寫碼模式。在一實例中，視訊解碼器30可經組態以產生具有指示像素值之條目的調色板，接收使視訊資料之區塊中的至少一些像素位置與調色板中之條目相關聯的資訊，基於資訊選擇調色板中之像素值，及基於調色板中之選定像素值重建構區塊之像素值。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160，及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。視訊解碼器30亦包括基於調色板之解碼單元165，其經組態以執行本發明中所描述的基於調色板之寫碼技術之各種態樣。在其他實例中，視訊解碼器30可包括較多、較少或不同功能之組件。
視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的視訊資料(諸如，經編碼視訊位元串流)。可(例如)自頻道16(例如，自本端視訊源，諸如攝影機)、經由視訊資料之有線或無線網路通信，或藉由存取實體資料儲存媒體獲得儲存於視訊資料記憶體151中之視訊資料。視訊資料記憶體151可形成儲存來自經編碼視訊位元流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於由視訊解碼器30在解碼視訊資料(例如，以框內或框間寫碼模式)時使用的參考視訊資料之參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可 藉由相同記憶體器件或單獨記憶體器件來提供視訊資料記憶體151及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。
經寫碼圖像緩衝器(CPB)可接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB接收經編碼視訊資料(例如，NAL單元)並剖析NAL單元以解碼語法元素。熵解碼單元150可對NAL單元中之經熵編碼之語法元素進行熵解碼。
根據本發明之態樣，熵解碼單元150可經組態以使用TEGk碼解碼調色板資料，如上文關於圖1之實例所描述。詳言之，根據本發明之態樣，熵解碼單元150可基於所判定之最大行程長度解碼指示調色板索引之行程(例如，具有相同值之索引之行程或自上方相鄰索引複製之索引之行程)的行程長度的資料。在一些實例中，熵解碼單元150可使用TEG2碼解碼行程長度。
預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素產生經解碼視訊資料。位元串流之NAL單元可包括經寫碼切片NAL單元。作為解碼位元串流之部分，熵解碼單元150可提取及熵解碼來自經寫碼切片NAL單元之語法元素。經寫碼切片中之每一者可包括切片標頭及切片資料。切片標頭可含有關於切片之語法元素。切片標頭中之語法元素可包括識別與含有切片之圖像相關聯之PPS的語法元素。
除解碼來自位元串流之語法元素之外，視頻解碼器30亦可對未經分割之CU執行重建構操作。為了對未經分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，反量化單元154可對與 TU相關聯之係數區塊進行反量化(亦即，解量化)。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度且，同樣地判定反量化單元154應用的反量化程度。亦即，可藉由調整在將變換係數量化時使用的QP之值來控制壓縮比，亦即，用以表示原始序列及經壓縮序列的位元之數目的比率。壓縮比亦可取決於所使用的熵寫碼之方法。
在反量化單元154對係數區塊進行反量化之後，反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若PU係使用框內預測來編碼，則框內預測處理單元166可執行框內預測來產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式來基於空間上相鄰之PU之預測區塊產生用於PU之預測性明度、Cb及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測來編碼，則熵解碼單元150可提取用於PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多個參考區。運動補償單元164可基於用於PU之一或多個參考區塊處的樣本區塊產生用於PU之預測性明度、Cb及Cr區塊。
重建構單元158可在適用時使用與CU之TU相關聯的明度、Cb及Cr變換區塊以及CU之PU的預測性明度、Cb及Cr區塊(亦即，框內預測資料或框間預測資料)來重建構CU之明度、Cb及Cr寫碼區塊。舉例而言，重建構單元158可將明度、Cb及Cr變換區塊之樣本添加至預測性明度、Cb及Cr區塊之對應樣本以重建構CU的明度、Cb及Cr寫碼區 塊。
濾波器單元160可執行解區塊操作以減少與CU之明度、Cb及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之明度、Cb及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度、Cb及Cr區塊對其他CU之PU執行框內預測或框間預測操作。
根據本發明之各種實例，視訊解碼器30可經組態以執行基於調色板之寫碼。當基於調色板之解碼模式經選擇(例如)用於CU或PU時，基於調色板之解碼單元165(例如)可執行基於調色板之解碼。舉例而言，基於調色板之解碼單元165可經組態以產生具有指示像素值之條目的調色板，接收使視訊資料之區塊中的至少一些像素位置與調色板中之條目相關聯的資訊，基於資訊選擇調色板中之像素值，及基於調色板中之選定像素值重建構區塊之像素值。儘管各種功能經描述為由基於調色板之解碼單元165執行，但此等功能中之一些或全部可由其他處理單元或不同處理單元之組合來執行。
基於調色板之解碼單元165可接收調色板寫碼模式資訊，並在調色板寫碼模式資訊指示調色板寫碼模式適用於區塊時執行上述操作。當調色板寫碼模式資訊指示調色板寫碼模式並不適用於區塊時，或當其他模式資訊指示對不同模式之使用時，視訊解碼器30可使用非基於調色板之寫碼模式(例如，諸如HEVC框間預測性或框內預測性寫碼模式)解碼視訊資料之區塊。視訊資料之區塊可為(例如)根據HEVC寫碼處理程序產生之CU或PU。
根據本發明之態樣，基於調色板之解碼單元165可經組態以執行本文中所描述的用於調色板寫碼之技術的任何組合。舉例而言，根據 本發明之態樣，基於調色板之解碼單元165可判定一語法元素之值，該語法元素指示對於視訊資料之區塊之所有樣本而言，區塊之至少一各別樣本是否藉由第一調色板模式寫碼，其中第一調色板模式包括寫碼區塊之各別樣本，而不使用至用於區塊之色彩值之調色板的索引。舉例而言，基於調色板之解碼單元165可判定一區塊層級語法元素之值，該區塊層級語法元素指示區塊之任何樣本是否欲解碼為逃脫樣本(例如，可能並不使用來自調色板之色彩條目重建構的樣本)。在一些實例中，基於調色板之解碼單元165可判定用於區塊之一一位元逃脫旗標，該一位元逃脫旗標指示區塊之任何樣本是否欲解碼為逃脫樣本。
另外或替代地，基於調色板之解碼單元165可判定以下各資料中之至少一者：指示用於寫碼視訊資料之區塊的色彩值之調色板的最大調色板大小的資料，或指示用於判定色彩值之調色板的調色板預測符之最大調色板預測符大小的資料。舉例而言，基於調色板之解碼單元165可自諸如SPS之參數集中解碼此資料。
另外或替代地，基於調色板之解碼單元165可針對與調色板索引相關聯之像素判定藉由像素之調色板索引一起寫碼的調色板索引之行程(例如，具有相同值之索引之行程或自上方相鄰索引複製之索引之行程)的行程長度，該調色板索引使像素之值與用於寫碼像素之色彩之調色板中的色彩值相關。亦即，基於調色板之解碼單元165可判定：用於特定樣本之索引值係藉由其他後續調色板索引之行程來解碼。基於調色板之解碼單元165亦可判定用於能夠藉由像素之調色板索引解碼的調色板索引之最大行程的最大行程長度。如上文關於熵解碼單元150所提及，視訊解碼器30可基於所判定之最大行程長度解碼指示行程長度之資料。
圖4為說明與本發明之技術一致的判定用於寫碼視訊資料之調色 板的實例之概念圖。圖4之實例包括圖像178，其具有與第一調色板184相關聯之第一寫碼單元(CU)180及與第二調色板192相關聯之第二CU 188。如下文更詳細描述且根據本發明之技術，第二調色板192係基於第一調色板184。圖像178亦包括藉由框內預測寫碼模式寫碼之區塊196及藉由框間預測寫碼模式寫碼之區塊200。
出於解釋之目的，在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)之上下文中並關於HEVC視訊寫碼標準描述圖4之技術。然而，應理解，本發明之技術不限於此方式，且可由其他視訊寫碼處理器及/或器件在其他視訊寫碼處理程序及/或標準中應用。
大體而言，調色板係指對於當前經寫碼之CU(在圖4之實例中為CU 188)而言為主要的及/或代表性的數個像素值。第一調色板184及第二調色板192經展示為包括多個調色板。在一些實例中，根據本發明之態樣，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可針對CU之每一色彩分量單獨地寫碼調色板。舉例而言，視訊編碼器20可編碼用於CU之明度(Y)分量的調色板、用於CU之色度(U)分量的另一調色板，及用於CU之色度(V)分量的又一調色板。在此實例中，Y調色板之條目可表示CU之像素的Y值，U調色板之條目可表示CU之像素的U值，且V調色板之條目可表示CU之像素的V值。
在其他實例中，視訊編碼器20可編碼用於CU之全部色彩分量的單一調色板。在此實例中，視訊編碼器20可編碼具有為三重值(包括Yi、Ui及Vi)之第i個條目的調色板。在此狀況下，調色板包括用於像素之分量中的每一者的值。因此，呈具有多個個別調色板之一組調色板形式的第一調色板184及192之表示僅為一實例且並不意欲為限制性的。
在圖4之實例中，第一調色板184包括分別具有條目索引值1、條目索引值2及條目索引值3之三個條目202至206。條目202至206分別使 調色板索引與包括像素值A、像素值B及像素值C之像素值相關。如本文所描述，並非寫碼第一CU 180之實際像素值，而是，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可使用基於調色板之寫碼來使用調色板索引1至3寫碼區塊之像素。亦即，對於第一CU 180之每一像素位置，視訊編碼器20可編碼像素之索引值，其中索引值與第一調色板184中之一或多者中的像素值相關聯。視訊解碼器30可自位元串流中獲得調色板索引且使用調色板索引及第一調色板184中之一或多者重建構像素值。因此，第一調色板184係由視訊編碼器20在經編碼視訊資料位元串流中傳輸以供視訊解碼器30在進行基於調色板之解碼時使用。
根據本發明之態樣，可針對第一調色板184用信號通知最大調色板大小。舉例而言，根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以寫碼指示最大調色板大小(例如，就可包括於第一調色板184中之條目的數目而言)之資料。在一些實例中，指示最大調色板大小之一或多個語法元素(例如，MAX_PLT_SIZE)可包括於對於CU 180而言為作用中之SPS中。在其他實例中，指示最大調色板大小之一或多個語法元素可包括於另一參數集(諸如，VPS或PPS)中，或可包括於標頭資料(諸如，切片標頭資料或與LCU或CU相關聯之資料)中。
在一些實例中，視訊編碼器20及視訊解碼器30可使用指示最大調色板大小之一或多個語法元素而變化，最大調色板大小可基於經寫碼之視訊資料的特定設定檔、層級或位元深度。在其他實例中，視訊編碼器20及視訊解碼器30可使用指示調色板大小之一或多個語法元素而變化，最大調色板大小可基於經寫碼之區塊(諸如，CU 180)的大小。
在一實例中，出於說明之目的，視訊編碼器20及視訊解碼器30 可在針對CU 180建構第一調色板184時使用指示最大調色板大小之資料。舉例而言，視訊編碼器20及視訊解碼器30可繼續添加條目至第一調色板184，直至達到藉由資料指示之最大調色板大小為止。視訊編碼器20及視訊解碼器30可接著使用所建構之第一調色板184來寫碼CU 180。
在一些實例中，視訊編碼器20及視訊解碼器30可基於第一調色板184判定第二調色板192。舉例而言，視訊編碼器20及/或視訊解碼器30可定位供判定預測性調色板(在此實例中，第一調色板184)之一或多個區塊。用於預測之目的之條目的組合可被稱作預測符調色板。
在圖4之實例中，第二調色板192包括分別具有條目索引值1、條目索引值2及條目索引值3之三個條目208至212。條目208至212使調色板索引分別與包括像素值A、像素值B及像素值D之像素值相關。在此實例中，視訊編碼器20可寫碼指示第一調色板184(表示預測符調色板，但預測符調色板可包括數個區塊之條目)中之哪些條目包括於第二調色板192中的一或多個語法元素。
在圖4之實例中，一或多個語法元素係作為向量216加以說明。向量216具有數個相關聯之二進位(或位元)，其中每一二進位指示與彼二進位相關聯之調色板預測符是否用於預測當前調色板之條目。舉例而言，向量216指示第一調色板184中之前兩個條目(202及204)包括於第二調色板192中(向量216中之值「1」)，而第一調色板184中之第三條目不包括於第二調色板192中(向量216中之值「0」)。在圖4之實例中，向量為布林向量。向量可被稱作調色板預測向量。
在一些實例中，如上文所提及，視訊編碼器20及視訊解碼器30可在執行調色板預測時判定調色板預測符(其亦可被稱作調色板預測符表或調色板預測符清單)。調色板預測符可包括用以預測用於寫碼當前區塊之調色板之一或多個條目的來自一或多個相鄰區塊之調色板 的條目。視訊編碼器20及視訊解碼器30可以相同方式來建構清單。視訊編碼器20及視訊解碼器30可寫碼資料(諸如，向量216)以指示將調色板預測符中之哪些條目複製至用於寫碼當前區塊之調色板。
因此，在一些實例中，將先前經解碼之調色板條目儲存於清單中以用作調色板預測符。此清單可用於預測當前調色板模式CU中之調色板條目。可在位元串流中用信號通知二進位預測向量以指示在當前調色板中重新使用清單中之哪些條目。在2014年6月27日申請之美國臨時申請案第62/018,461號中，使用行程長度寫碼來壓縮二進位調色板預測符。在一實例中，使用第0階指數哥倫布碼來寫碼行程長度值。
根據本發明之態樣，在一些實例中，視訊編碼器20及視訊解碼器30(例如，熵編碼單元118及熵解碼單元150)可經組態以使用第k階經截短之指數哥倫布(TEGk)碼來寫碼(例如，分別編碼及解碼)用於區塊之調色板的二進位調色板預測向量，如上文關於圖1之實例所描述。
在一些情況下，視訊編碼器20及視訊解碼器30可經組態以使用TEGk碼結合謝列金(Seregin)等人之「非SCCE3：用於調色板預測符之行程長度寫碼(Non-SCCE3：Run-Length Coding for Palette Predictor)」(JCTVC-R0228，日本札幌，2014年6月30日至7月9日)(在下文中為JCTVC-R0228)之標準提交文件中所描述的技術來寫碼二進位調色板預測向量。在JCTVC-R0228中，藉由以下條件及步驟使用行程長度寫碼來寫碼二進位向量中之零元素：
●等於1之行程長度值指示預測之結束
●對於二進位向量中之最後的1，並不用信號通知預測之結束
●對於二進位向量中之每個1，寫碼先前零元素之數目
●若零元素之數目大於0，則歸因於逃脫值1而用信號通知數目加 一
●使用第0階指數哥倫布碼來寫碼行程長度值
在一實例中，出於說明之目的，二進位調色板預測向量可等於{1100100010000}，其指示將調色板預測符之四個條目(藉由四個1指示)複製至用於寫碼當前區塊之調色板。在此實例中，視訊編碼器20及視訊解碼器30可將向量寫碼為0-0-3-4-1。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可使用用於向量之最大行程值X(其可等於調色板預測符清單中之調色板條目之數目減去按掃描次序之當前位置減去一)寫碼二進位調色板預測向量。根據一實例，視訊編碼器20及視訊解碼器30使用TEG0碼來寫碼行程值。
本發明之技術亦關於用信號通知最大調色板預測符大小。舉例而言，根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以寫碼指示最大調色板預測符大小(例如，就可包括於向量216中之位元的數目而言)之資料。在一些實例中，視訊編碼器20及視訊解碼器30可相對於一或多個其他值寫碼指示最大調色板預測符大小之資料。舉例而言，根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以寫碼將最大調色板預測符大小指示為最大調色板預測符大小與最大調色板大小之間的差量(例如，差值)的資料。在一些情況下，視訊編碼器及視訊解碼器30可使用固定長度碼、哥倫布-萊斯碼或指數哥倫布碼中之至少一者來寫碼差量。
在一些實例中，可將指示最大調色板預測符大小之語法元素包括於SPS中。在其他實例中，可將指示最大調色板預測符大小之語法元素包括於另一參數集(諸如，VPS或PPS)中，或包括於標頭資料(諸如，切片標頭資料或與LCU或CU相關聯之資料)中。
在一些實例中，視訊編碼器20及視訊解碼器30可使用指示最大 調色板預測符大小之語法元素而變化，最大調色板預測符大小可基於經寫碼之視訊資料之特定設定檔、層級或位元深度。在其他實例中，視訊編碼器20及視訊解碼器30可使用指示最大調色板預測符大小之語法元素而變化，最大調色板預測符大小可基於經寫碼之區塊的大小。
在一實例中，出於說明之目的，視訊編碼器20及視訊解碼器30可在建構第二調色板192以寫碼CU 188時使用關於最大調色板預測符大小之資料。舉例而言，視訊編碼器20及視訊解碼器30可繼續添加條目至預測符調色板(例如，及添加位元至向量216)，直至達到如藉由資料指示之最大調色板預測符大小為止。視訊編碼器20及視訊解碼器30可接著使用向量216來建構用於CU 188之第二調色板192。
圖5為說明與本發明之技術一致的判定至用於像素之區塊的調色板之調色板索引的實例的概念圖。舉例而言，圖5包括使相關聯於調色板索引之像素的各別位置與調色板244之條目相關的調色板索引之映射240。舉例而言，索引1與值A相關聯，索引2與值B關聯，且索引3與值C相關聯。另外，當使用隱含逃脫用信號通知來指示逃脫樣本時，視訊編碼器20及視訊解碼器30亦可添加額外索引(在圖5中說明為索引4)至調色板244，此情形可指示與索引4相關聯之映射240的樣本為逃脫樣本。在此狀況下，若像素值不包括於調色板244中，則視訊編碼器20可針對映射240中之位置而編碼(且視訊解碼器30可自經編碼位元串流獲得)實際像素值(或其經量化之版本)之指示。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼指示哪些像素位置與調色板索引相關聯之額外映射。舉例而言，假定映射中之(i,j)條目對應於CU之(i,j)位置。視訊編碼器20可針對映射之每一條目(亦即，每一像素位置)編碼指示條目是否具有相關聯之索引值的一或多個語法元素。舉例而言，視訊編碼器20可編碼具有值一之旗標以指示CU中之(i,j)位置處之像素值為調色板244中的值中之一 者。
在此實例中，視訊編碼器20亦可編碼調色板索引(在圖5之實例中展示為值1至3)以指示調色板中之像素值及允許視訊解碼器重建構像素值。
在調色板244包括單一條目及相關聯之像素值的情況下，視訊編碼器20可跳過索引值之信號通知。視訊編碼器20可編碼具有值零之旗標以指示CU中之(i,j)位置處的像素值並非調色板244中的值中之一者。在此實例中，視訊編碼器20亦可編碼像素值之指示以供視訊解碼器30在重建構像素值時使用。在一些情況下，可以有損方式寫碼像素值。
CU之一位置中的像素之值可提供CU之其他位置中的一或多個其他像素之值的指示。舉例而言，可能存在CU之相鄰像素位置將具有相同像素值或可映射至相同索引值(在有損寫碼之狀況下，其中一個以上像素值可映射至單一索引值)的相對較高機率。
因此，視訊編碼器20可編碼指示在一起寫碼的按給定掃描次序之連續像素或調色板索引之數目的一或多個語法元素。如上文所提及，調色板索引(或藉由調色板索引指示之像素值)之字串在本文中可被稱作行程。視訊解碼器30可自經編碼位元串流獲得指示行程之語法元素，並可使用資料來判定具有相同像素或索引值的連續位置之數目。
如上文所提及，可結合CopyFromTop或值模式使用行程。在一實例中，出於說明之目的，考慮映射240之列264及268。假定水平的、自左至右之掃描方向，列264包括三個調色板索引「1」、兩個調色板索引「2」及三個調色板索引「3」。列268包括五個調色板索引「1」、兩個調色板索引「3」，及不包括於調色板244中之一樣本(藉由索引4表示，但樣本層級逃脫旗標可用於顯式逃脫信號通知)，該樣本可被 稱作逃脫樣本。
在此實例中，視訊編碼器20可使用CopyFromTop模式來編碼用於列268之資料。舉例而言，視訊編碼器20可編碼指示列268之第一位置(列268之最左邊的位置)與列264之第一位置相同的一或多個語法元素。視訊編碼器20亦可編碼指示列268中在掃描方向上之兩個連續條目的下一行程與列264之第一位置相同的一或多個語法元素。
在編碼指示列264之第一位置及兩個條目之行程(上文所提及)的一或多個語法元素之後，視訊編碼器20可使用值模式編碼列268中之第四及第五位置(自左至右)。舉例而言，視訊編碼器20可編碼針對第四位置指示值1之一或多個語法元素及指示行程為1(例如，值模式)之一或多個語法元素。因此，視訊編碼器20在不參考另一行之情況下編碼此等兩個位置。
視訊編碼器20可接著使用CopyFromTop模式相對於上列264編碼列268中具有索引值3之第一位置。舉例而言，視訊編碼器20可用信號通知CopyFromTop模式及行程1。因此，視訊編碼器20可在以下各者之間選擇：相對於一行之其他值寫碼該行之像素值或調色板索引(例如，使用行程)，相對於另一行(或列)之值寫碼一行之像素值或，或其組合。在一些實例中，視訊編碼器20可執行速率/失真最佳化以做出選擇。
視訊編碼器20可接著針對列268之最終樣本(自左至右)編碼逃脫樣本，該逃脫樣本不包括於第一調色板244中。舉例而言，視訊編碼器20可將列268之最終位置編碼為逃脫樣本。亦即，視訊編碼器20可編碼關於列268之最終位置為逃脫樣本(例如，索引4)之指示，以及樣本值之指示。視訊解碼器30可自經編碼位元串流獲得上文所描述之語法並且可使用此語法重建構列268。
如上文所提及，可能存在兩種技術來寫碼逃脫樣本。舉例而 言，在顯式逃脫信號通知之情況下，視訊編碼器20及視訊解碼器30可針對映射240之每一樣本位置寫碼顯式每一樣本逃脫模式旗標。若特定樣本(諸如，列268之最終樣本)經寫碼為逃脫樣本，則視訊編碼器20及視訊解碼器30可寫碼指示用於特定樣本之色彩值的資料。若樣本並非經寫碼為逃脫樣本，則視訊編碼器20及視訊解碼器30可寫碼額外資料以指示模式為CopyFromTop模式抑或值模式，諸如SPoint旗標。
在隱含逃脫信號通知之情況下，視訊編碼器20及視訊解碼器30可添加至調色板244之額外索引(條目索引4)。視訊編碼器20及視訊解碼器30可使用至調色板244之額外索引來指示樣本經寫碼為逃脫樣本，例如索引4。然而，額外索引並不具有相關聯之色彩值。確切而言，視訊編碼器20及視訊解碼器30亦針對與額外索引相關聯之每一樣本寫碼色彩值。若樣本並非經寫碼為逃脫樣本，則視訊編碼器20及視訊解碼器30可寫碼資料以指示模式為CopyFromTop模式抑或值模式，諸如SPoint旗標。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以寫碼一或多個區塊層級語法元素，該一或多個區塊層級語法元素指示對於視訊資料之區塊的所有樣本而言，區塊之至少一樣本是否基於不包括於用於區塊之色彩之調色板中的色彩值而寫碼。關於圖5之實例，視訊編碼器20及視訊解碼器30可寫碼與映射240相關聯之一或多個語法元素，該一或多個語法元素指示映射240之至少一樣本經寫碼為逃脫樣本，亦即，列268之最終樣本。
在一實例中，該一或多個語法元素可為區塊層級逃脫旗標(在下文中簡稱作「逃脫旗標」)。舉例而言，視訊編碼器20可編碼具有值一之逃脫旗標以指示映射240包括經寫碼為逃脫樣本之樣本。同樣地，視訊解碼器30可解碼具有值一之逃脫旗標，該逃脫旗標指示映射240包括經寫碼為逃脫樣本之樣本。因此，根據逃脫旗標，視訊編碼 器20可編碼映射240且視訊解碼器30可解碼映射240。舉例而言，視訊編碼器20及視訊解碼器30可添加至第一調色板244之索引4，該索引可用以表示經寫碼為逃脫樣本之樣本。視訊編碼器20及視訊解碼器30可在寫碼映射240期間使用此額外索引。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可經組態以基於逃脫旗標及用以寫碼特定區塊之調色板的大小而跳過某一語法之寫碼。亦即，儘管圖5之實例說明具有三個條目之第一調色板244，但在一些情況下，用於寫碼視訊資料之區塊的調色板可包括單一條目。在此等情況下，視訊編碼器20及視訊解碼器30可經組態以基於具有單一條目之調色板及指示無區塊之樣本經寫碼為逃脫樣本之逃脫旗標而跳過某一與逃脫相關之語法的寫碼。
舉例而言，如在逃脫旗標指示無區塊之樣本為逃脫樣本的情況下且當調色板之大小為一時，視訊編碼器20及視訊解碼器30可經組態以推斷區塊之所有樣本具有相同的索引值(例如，調色板之僅有的條目)。因此，視訊編碼器20及視訊解碼器30亦可跳過用以判定區塊之調色板索引的其他所有其他資料之寫碼。
在上述實例中，視訊編碼器20及視訊解碼器30可明確地寫碼區塊層級逃脫語法(例如，視訊編碼器20可在位元串流中編碼逃脫旗標，且視訊解碼器30可自位元串流解碼此旗標)。然而，在一些實例中，視訊編碼器20及視訊解碼器30可基於用以寫碼映射240之調色板244的大小推斷(例如，在不編碼或解碼上文所提及之語法元素之情況下判定)區塊層級逃脫語法元素之值。舉例而言，視訊編碼器20及視訊解碼器30可關於調色板大小做出初步判定以便判定區塊層級逃脫旗標之值。可僅在調色板大小大於零時在位元串流中寫碼區塊層級逃脫語法元素。
根據本發明之態樣，視訊編碼器20及視訊解碼器30最初可判定 用於寫碼視訊資料之區塊之調色板的大小。基於調色板之大小為零，視訊編碼器20及視訊解碼器30可判定逃脫旗標等於一且區塊之所有樣本經寫碼為逃脫樣本，此係因為不存在可用於寫碼樣本之其他調色板條目。
舉例而言，如在調色板大小為零之情況下，視訊編碼器20及視訊解碼器30可經組態以自動地判定區塊之所有樣本具有相同的索引值(例如，與指示逃脫樣本相關聯之調色板的額外條目)。因此，視訊編碼器20及視訊解碼器30亦可跳過逃脫旗標以及用以判定區塊之調色板索引的所有其他資料之寫碼。
圖6為說明與本發明之技術一致的判定用於CopyFromAbove模式之最大行程長度(假定光柵掃描次序)之實例的概念圖。如上文所提及，本發明之技術包括使用考慮經寫碼之語法之最大的可能值的碼來寫碼用於進行調色板寫碼之語法。
在一實例中，出於說明之目的，視訊編碼器20及視訊解碼器30可寫碼調色板索引之行程(例如，具有相同值之索引的行程或自上方相鄰索引複製之索引之行程)的行程長度。舉例而言，視訊編碼器20及視訊解碼器30可針對當前經調色板寫碼之樣本判定與當前樣本一起經寫碼之調色板索引的行程之行程長度。視訊編碼器20及視訊解碼器30亦可判定能夠藉由像素之調色板索引寫碼的調色板索引之最大行程的最大行程長度。視訊編碼器20及視訊解碼器30可接著基於所判定之最大行程長度寫碼指示行程長度之資料。
在一些情況下，根據本發明之態樣，可使用一種形式之指數哥倫布碼(諸如，本文所描述之TEGk碼)來寫碼語法。為了使用TEGk碼，視訊編碼器20及視訊解碼器30可判定最大行程長度為當前CU中之像素之數目減去按掃描次序之當前位置減去1。
在一些調色板寫碼技術中，不准許與CopyFromAbove模式(其中 視訊寫碼器複製在當前像素上方之像素的索引)相關聯之像素的行程包括任何逃脫像素。亦即，若當前像素之上方相鄰像素為經寫碼為逃脫樣本之像素，則視訊寫碼器必須停止CopyFromAbove行程。因此，最大CopyFromAbove行程長度係藉由當前像素位置與具有按掃描次序逃脫之上方相鄰像素的位置之間的距離來定界。
在一實例中，出於說明之目的，CopyFromAbove行程按掃描次序之開始位置為A，位置A+L(L>0)(或在一些實例中，A+L(L>1))處的像素之上方相鄰像素經寫碼為逃脫樣本，且位置A+l(l<L)處的像素之上方相鄰像素並非經寫碼為逃脫樣本。若不存在此像素L，則視訊編碼器20可將L指派給按掃描次序在區塊中之最後像素之後的位置。根據本發明之技術，視訊編碼器20及視訊解碼器30可使用TEGk來寫碼用於CopyFromAbove模式之行程長度，其中限定條件為：最大經寫碼行程長度僅為L-1。替代地，若在寫碼行程長度時使用大於0、大於1及大於2之一元首碼，則視訊編碼器20或視訊解碼器30可將待使用TEGk寫碼之索引映射之行程的最大行程長度設定為L-4。
在視訊解碼器30或視訊編碼器20無法判定一位置中之像素是否對應於逃脫像素之情況下，視訊編碼器20及視訊解碼器30可處理該像素，如同其並非經寫碼為逃脫樣本一般，亦即，最大經寫碼行程長度並不停止。在圖6之實例中，若藉由虛線280涵蓋之像素中無一者經寫碼為逃脫樣本，則最大的可能行程長度為35(亦即，未經遮蔽之像素位置的數目)。若虛線280內之像素中之一或多者經寫碼為逃脫樣本，假定標記為逃脫像素(具有「X」之像素位置)之像素為虛線280內按掃描次序之第一逃脫像素，則大於行程長度的最大的可能經寫碼複本為五。
在一些實例中，視訊解碼器30可僅針對虛線280內之像素判定行程模式(例如，寫碼像素之調色板模式)。因此，在最差狀況下，視訊 解碼器30針對區塊寬度-1個像素做出判定。在一些實例中，視訊解碼器30可經組態以實施關於檢查行程模式所針對之像素之數目的最大值的某些限定。舉例而言，若像素與當前像素處於相同列中，則視訊解碼器30可僅檢查虛線280內之像素。視訊解碼器30可推斷虛線280內之所有其他像素並非經寫碼為逃脫樣本。圖6中之實例假定光柵掃描次序。然而，該等技術可應用於其他掃描次序，諸如垂直、水平橫移及垂直橫移。
圖7為說明與本發明之技術一致的用於基於指示區塊之任何樣本是否經編碼為逃脫樣本之一或多個區塊層級語法元素編碼視訊資料之區塊的實例處理程序的流程圖。出於說明之目的，大體上將圖7之處理程序描述為由視訊編碼器20執行，但多種其他處理器亦可執行圖7中所展示之處理程序。
在圖7之實例中，視訊編碼器20判定用於編碼視訊資料之區塊的調色板(300)。在一些實例中，視訊編碼器20可(例如)使用調色板預測符來判定一或多個先前經編碼區塊之基於調色板的調色板。視訊編碼器20亦可判定調色板之大小(302)。舉例而言，視訊編碼器20可判定所判定之調色板中的條目之數目。
視訊編碼器20可判定調色板大小是否為零(304)。基於調色板大小等於零(步驟304之是分支)，視訊編碼器20可判定指示區塊之至少一樣本為逃脫樣本之區塊層級逃脫語法(306)。在一實例中，視訊編碼器20可判定區塊層級逃脫旗標等於一。視訊編碼器20接著將區塊之所有樣本編碼為逃脫樣本而不針對區塊編碼其他語法元素(308)。舉例而言，視訊編碼器20可能並不編碼區塊層級逃脫旗標之指示，此係因為僅可在調色板大小大於零時在位元串流中編碼區塊層級逃脫語法元素。另外，視訊編碼器20可能並不編碼用於區塊之調色板索引的其他資料，諸如指示調色板模式(例如，值模式或CopyFromTop模式)之 語法、與判定行程相關聯之語法、與調色板索引相關聯之語法，及任何其他相關語法。
若調色板大小並非零(步驟304之否分支)，則視訊編碼器20可判定區塊之任何樣本是否經編碼為逃脫樣本(310)。基於判定區塊之至少一樣本經編碼為逃脫樣本(步驟310之是分支)，視訊編碼器20可判定指示該區塊之至少一樣本經編碼為逃脫樣本的區塊層級逃脫語法，且藉由區塊在位元串流中編碼區塊層級語法之指示(312)。舉例而言，視訊編碼器20可設定區塊層級逃脫旗標等於一，且在位元串流中編碼逃脫旗標之指示。視訊編碼器20亦藉由調色板寫碼模式來編碼區塊，包括將區塊之至少一像素編碼為逃脫樣本(314)。
基於無樣本經編碼為逃脫樣本(步驟310之否分支)，視訊編碼器20可判定用於區塊之調色板的調色板大小是否等於一(316)。基於判定調色板大小不等於一(步驟316之否分支)，視訊編碼器20可判定指示無區塊之樣本經編碼為逃脫樣本之區塊層級逃脫語法，在位元串流中編碼區塊層級逃脫語法之指示(318)。舉例而言，視訊編碼器20可設定區塊層級逃脫旗標等於零，且在位元串流中編碼逃脫旗標之指示。視訊編碼器20亦使用調色板寫碼模式來編碼區塊，而不編碼任何逃脫樣本(320)。舉例而言，視訊編碼器20可使用CopyFromTop或值模式來編碼區塊之調色板索引，且編碼與此等模式之使用相關聯之語法，例如，指示模式、調色板索引、行程及其類似者之語法。
基於判定調色板大小等於一(步驟316之是分支)，視訊編碼器20可判定指示無區塊之樣本經寫碼為逃脫樣本之區塊層級逃脫語法，且在位元串流中編碼區塊層級逃脫語法之指示(322)。舉例而言，視訊編碼器20可設定區塊層級逃脫旗標等於零，且在位元串流中編碼逃脫旗標之指示。視訊編碼器20亦編碼關於區塊之所有樣本具有相同索引值之指示，而不編碼其他語法(324)。舉例而言，視訊編碼器20可跳 過與調色板模式之使用相關聯的語法(例如，指示模式、調色板索引、行程及其類似者之語法)的編碼。
圖8為說明與本發明之技術一致的用於基於指示區塊之任何樣本是否經解碼為逃脫樣本之一或多個區塊層級語法元素解碼視訊資料之區塊的實例處理程序的流程圖。出於說明之目的，大體上將圖8之處理程序描述為由視訊解碼器30執行，但多種其他處理器亦可執行圖8中所展示之處理程序。
在圖8之實例中，視訊解碼器30判定用於解碼視訊資料之區塊的調色板(340)。在一些實例中，視訊解碼器30可(例如)使用在經解碼之位元串流中用信號通知之調色板預測符來判定一或多個先前經編碼區塊之基於調色板的調色板。視訊解碼器30亦可判定調色板之大小(342)。舉例而言，視訊解碼器30可判定所判定之調色板中的條目之數目。
視訊解碼器30可判定調色板大小是否為零(344)。基於調色板大小等於零(步驟344之是分支)，視訊解碼器30可判定指示區塊之至少一樣本經編碼為逃脫樣本之區塊層級逃脫語法(346)。在一實例中，視訊解碼器30可判定區塊層級逃脫旗標等於一。舉例而言，視訊解碼器30可推斷區塊層級逃脫旗標等於一，而不自位元串流解碼該旗標，此係因為僅可在調色板大小大於零時在位元串流中寫碼區塊層級逃脫語法元素。視訊解碼器30接著使用與逃脫樣本相關聯之色彩解碼區塊之所有樣本，而不解碼用於區塊之其他語法元素(例如，除與逃脫樣本相關聯之色彩值以外)(348)。舉例而言，如上文所提及，視訊解碼器30可能並不解碼區塊層級逃脫旗標之指示。另外，視訊解碼器30可能並不解碼用於區塊之調色板索引的其他資料，諸如指示調色板模式(例如，值模式或CopyFromTop模式)之語法、指示索引值之語法、與判定行程相關聯之語法，及任何其他相關語法。
若調色板大小並非零(步驟344之否分支)，則視訊解碼器30可自位元串流解碼區塊層級逃脫語法且判定區塊層級語法之值(350)。舉例而言，視訊解碼器30可解碼區塊層級逃脫旗標且判定值等於零抑或一。
視訊解碼器30可接著(例如)基於經解碼之語法判定區塊之任何樣本是否經寫碼為逃脫樣本(352)。基於判定區塊之至少一樣本經編碼為逃脫樣本(步驟352之是分支)，視訊解碼器30可藉由調色板寫碼模式解碼區塊，包括將區塊之至少一樣本解碼為逃脫樣本(354)。視訊解碼器30亦可解碼對應於逃脫樣本之至少一色彩值。
基於無樣本經編碼為逃脫樣本(步驟352之否分支)，視訊解碼器30可判定用於區塊之調色板的調色板大小是否等於一(356)。基於判定調色板大小並非等於一(步驟356之否分支)，視訊解碼器30可使用調色板寫碼模式解碼區塊，而不解碼任何逃脫樣本(358)。舉例而言，視訊解碼器30可使用CopyFromTop模式或值模式解碼區塊之調色板索引，且解碼與此等模式之使用相關聯之語法，例如指示模式、調色板索引、行程及其類似者之語法。
基於判定調色板大小等於一(步驟356之是分支)，視訊解碼器30可使用調色板之調色板條目(例如，存在於調色板中之僅有的條目)來解碼區塊，而不解碼其他語法(360)。舉例而言，視訊解碼器30可跳過與調色板模式之使用相關聯的語法(例如，指示模式、調色板索引、行程及其類似者之語法)之解碼。
圖9為說明與本發明之技術一致的用於基於指示最大調色板大小及最大調色板預測符大小之一或多個語法元素編碼視訊資料之區塊的實例處理程序的流程圖。出於說明之目的，大體上將圖9之處理程序描述為由視訊編碼器20執行，但多種其他處理器亦可執行圖9中所展示之處理程序。
在圖9之實例中，視訊編碼器20可判定用於在調色板模式中編碼視訊資料之當前區塊的調色板之最大大小(380)。舉例而言，視訊編碼器20可經組態以基於經編碼之視訊資料的特性判定最大調色板大小。在一些實例中，視訊編碼器20可基於資料之位元深度(例如，輸入位元深度或設定檔位元深度)、區塊之區塊大小、與視訊資料相關聯之設定檔或層級或其類似者判定最大調色板大小。
視訊編碼器20亦可判定用於產生當前區塊之調色板之調色板預測符的最大調色板預測符大小(382)。舉例而言，視訊編碼器20可經組態以基於經編碼之視訊資料的特性判定最大調色板預測符大小。在一些實例中，視訊編碼器20可基於資料之位元深度(例如，輸入位元深度或設定檔位元深度)、區塊之區塊大小、與視訊資料相關聯之設定檔或層級或其類似者判定最大調色板預測符大小。
視訊編碼器20亦在包括當前區塊之位元串流中編碼指示最大調色板大小及/或最大調色板預測符大小之資料(386)。在一些實例中，視訊編碼器20可相對於一或多個其他值編碼指示最大調色板大小及/或最大調色板預測符大小之資料。舉例而言，根據本發明之態樣，視訊編碼器20可經組態以寫碼將最大調色板預測符大小指示為最大調色板預測符大小與最大調色板大小之間的差量(例如，差值)的資料。
根據本發明之態樣，視訊編碼器20可在SPS中編碼指示最大調色板大小及/或最大調色板預測符大小之一或多個語法元素。在其他實例中，視訊編碼器20可在另一參數集(例如，PPS)中、在包括當前區塊之切片的切片標頭中或在位元串流中之其他處編碼此語法。
視訊編碼器20亦根據指示最大調色板大小及/或最大調色板預測符大小之資料編碼當前區塊(388)。舉例而言，視訊編碼器20可判定藉由最大調色板大小限制之調色板及/或藉由最大調色板預測符大小限制之調色板預測符。
圖10為說明與本發明之技術一致的用於基於指示最大調色板大小及最大調色板預測符大小之一或多個語法元素編碼視訊資料之區塊的實例處理程序的流程圖。出於說明之目的，大體上將圖10之處理程序描述為由視訊解碼器30執行，但多種其他處理器亦可執行圖10中所展示之處理程序。
在圖10之實例中，視訊解碼器30自包括在調色板模式中解碼之當前區塊的位元串流解碼指示最大調色板大小及/或最大調色板預測符大小之資料(400)。在一些實例中，視訊編碼器20可相對於一或多個其他值編碼指示最大調色板大小及/或最大調色板預測符大小之資料。舉例而言，根據本發明之態樣，視訊編碼器20可經組態以寫碼將最大調色板預測符大小指示為最大調色板預測符大小與最大調色板大小之間的差量(例如，差值)的資料。
根據本發明之態樣，視訊解碼器30可自SPS解碼指示最大調色板大小及/或最大調色板預測符大之一或多個語法元素。在其他實例中，視訊解碼器30可自另一參數集(例如，PPS)、自包括當前區塊之切片的切片標頭或自位元串流中之其他處解碼此語法。
視訊解碼器30可基於經解碼之資料判定用於解碼當前區塊之調色板的最大大小(402)。視訊解碼器30亦可基於資料判定用於產生用於當前區塊之調色板的調色板預測符之最大調色板預測符大小(404)。視訊解碼器30亦根據指示最大調色板大小及/或最大調色板預測符大小之資料解碼當前區塊(408)。舉例而言，視訊解碼器30可判定藉由最大調色板大小限制之調色板及/或藉由最大調色板預測符大小限制之調色板預測符。
圖11為說明與本發明之技術一致的用於基於最大的可能行程長度寫碼(編碼或解碼)指示像素之行程之行程長度的資料之實例處理程序的流程圖。出於說明之目的，大體上將圖11之處理程序描述為由視訊 寫碼器(諸如，視訊編碼器20或視訊解碼器30)執行，但多種其他處理器亦可執行圖11中所展示之處理程序。
在圖11之實例中，視訊寫碼器可判定用於寫碼當前像素之調色板模式(420)。舉例而言，視訊寫碼器可判定當前像素是使用CopyFromTop模式、值模式抑或另一基於調色板之寫碼模式來寫碼。視訊寫碼器亦判定用於當前像素之行程的行程長度(422)。舉例而言，視訊寫碼器判定藉由當前像素之調色板索引寫碼之調色板索引的數目。
視訊寫碼器亦判定用於行程之最大行程長度(424)。舉例而言，視訊寫碼器可判定能夠藉由當前像素之調色板索引寫碼的調色板索引之最大行程的最大行程長度。在一實例中，視訊寫碼器可判定包括像素的視訊資料之區塊中的像素之數目。視訊寫碼器亦可基於用以掃描調色板索引之掃描次序判定區塊中之當前像素的位置。視訊寫碼器接著判定最大行程長度為區塊中之像素的數目減去當前像素之像素位置減去一。
視訊寫碼器亦基於所判定之最大行程長度寫碼指示行程之行程長度的資料(426)。舉例而言，根據本發明之態樣，視訊寫碼器可使用TEGk碼來寫碼指示行程長度之資料。
將認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列來執行、可添加、合併或完全省略(例如，對於實踐該等技術而言，並非所有所描述動作或事件皆為必要的)。此外，在某些實例中，可同時執行(例如，經由多執行緒處理、中斷處理或多個處理器)而非依序執行動作或事件。另外，儘管出於清晰性之目的將本發明之某些方面描述為由單一模組或單元執行，但應理解，本發明之技術可由與視訊寫碼器相關聯之單元或模組的組合來執行。
出於說明之目的，已關於開發中之HEVC標準描述本發明之某些態樣。然而，本發明中所描述之技術可能可用於其他視訊寫碼處理程序，包括尚未開發之其他標準或專有視訊寫碼處理程序。
上文所描述之技術可由視訊編碼器20(圖1及圖2)及/或視訊解碼器30(圖1及圖3)來執行，該兩者大體上可被稱作視訊寫碼器。同樣地，視訊寫碼在適用時可指視訊編碼或視訊解碼。
雖然在上文描述技術之各種態樣之特定組合，但提供此等組合僅為了說明本發明中所描述之技術的實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中所描述之技術的各種態樣之任何可設想組合。
在一或多個實例中，可在硬體、軟體、韌體或其任何組合中實施所描述之功能。若在軟體中實施，則該等功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由電腦可讀媒體予以傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括對應於有形媒體(諸如，資料儲存媒體)之電腦可讀儲存媒體，或包括促進將電腦程式自一處傳送至另一處(例如，根據通信協定)之任何媒體的通信媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、 數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為有關非暫時性有形儲存媒體。如本文所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、磁碟片及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效的整合或離散邏輯電路系統。因此，如本文所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中的任一者。另外，在一些態樣中，可在經組態用於編碼及解碼之專用硬體及/或軟體模組內提供本文中所描述之功能性，或將本文中所描述之功能性併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在廣泛多種器件或裝置中實施，該等器件或裝置包括無線手機、積體電路(IC)或一組IC(例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，各種單元可結合合適的軟體及/或韌體組合於編碼解碼器硬體單元中或由互操作硬體單元之集合提供，硬件單元包括如上文所描述之一或多個處理器。
已描述各種實例。此等及其他實例處於以下申請專利範圍之範疇內。

Claims (12)

  1. 一種寫碼視訊資料之方法，該方法包含：針對與一調色板索引相關聯之視訊資料之一區塊之一像素，判定藉由該像素之該調色板索引寫碼的調色板索引之一行程之一行程長度，該調色板索引使該像素之一值與用於寫碼該像素之色彩的一調色板中之一色彩值相關，其特徵在於：判定視訊資料之該區塊中的像素之一數目；基於用以掃描該區塊之像素之調色板索引之一掃描次序判定視訊資料之該區塊中的該像素之一位置；基於該區塊之像素之該數目減去該像素之所判定位置減去一，判定能夠藉由該像素之該調色板索引寫碼的該區塊之像素之調色板索引之一最大行程的一最大行程長度；及基於所判定之該最大行程長度寫碼指示該行程長度之資料。
  2. 如請求項1之方法，其中寫碼指示該行程長度之該資料包含使用一第k階經截短之指數-哥倫布(TEGk)碼寫碼該資料，其中該TEGk碼包含一一元首碼及一二進位尾碼。
  3. 如請求項2之方法，其中使用該TEGk碼寫碼該資料包含基於對應於之一經截短之一元碼判定該一元首碼，其中x為調色板索引之該行程之該行程長度的一值，以使得當時，該一元首碼之一尾隨的二進位一值經截短，且其中Xmax為該最大行程長度。
  4. 如請求項3之方法，其進一步包含，基於該一元首碼經截短，判定該二進位尾碼為x-2 k (2 l(x)-1)之一經截短之二進位表示，其中經截短之該二進位表示之一最大值為Xmax-2 k (2 l(x)-1)。
  5. 如請求項3之方法，其進一步包含，基於該一元首碼並非經截 短，判定該二進位尾碼為使用k+l(x)個位元的x-2 k (2 l(x)-1)之一二進位表示。
  6. 如請求項2之方法，其中使用一第k階經截短之指數-哥倫布碼寫碼該資料包含使用一第2階經截短之指數-哥倫布碼寫碼該資料。
  7. 如請求項2之方法，其中寫碼指示該行程長度之該資料包含使用該TEGk碼寫碼用於該行程長度之一大於0旗標，寫碼用於該行程長度之一大於1旗標，寫碼用於該行程長度之一大於2旗標，及寫碼用於該行程長度之剩餘二進位。
  8. 如請求項2之方法，其中寫碼指示該行程長度之該資料包含使用該TEGk碼寫碼用於該行程長度之一大於0旗標及寫碼指示該行程長度減去一之資料，其中用於該TEGk碼之一最大值經設定為等於該最大行程長度減去一，且其中k等於0，以使得該TEGk碼包含一TEG0碼。
  9. 如請求項1之方法，其中寫碼指示該行程長度之該資料包含編碼該資料，且其中該方法進一步包含：編碼指示色彩之該調色板之資料；及編碼針對與該調色板索引相關聯之該像素指示用以編碼該像素之一調色板模式的資料。
  10. 如請求項1之方法，其中寫碼指示該行程長度之該資料包含解碼該資料，且其中該方法進一步包含：自一經編碼位元串流獲得指示色彩之該調色板之資料；及獲得針對與該調色板索引相關聯之該像素指示用以編碼該像素之一調色板模式的資料；及使用該調色板模式及色彩之該調色板判定該像素之該值。
  11. 一種用於處理視訊資料之裝置，該裝置包含：用於針對與一調色板索引相關聯之視訊資料之一區塊之一像 素，判定藉由該像素之該調色板索引寫碼的調色板索引之一行程之一行程長度的構件，該調色板索引使該像素之一值與用於寫碼該像素之色彩的一調色板中之一色彩值相關，其特徵在於：用於判定視訊資料之該區塊中的像素之一數目的構件；用於基於用以掃描該區塊之像素之調色板索引之一掃描次序判定視訊資料之該區塊中的該像素之一位置的構件；用於基於該區塊之像素之該數目減去該像素之所判定位置減去一，判定能夠藉由該像素之該調色板索引寫碼的該區塊之像素之調色板索引之一最大行程的一最大行程長度的構件；及用於基於所判定之該最大行程長度寫碼指示該行程長度之資料的構件。
  12. 一種非暫時性電腦可讀媒體，其具有儲存於其上之多個指令，該等指令在經執行時使得一或多個處理器執行如請求項1至10之任一者之方法。
TW104116563A 2014-05-22 2015-05-22 基於調色板之視訊寫碼中之寫碼行程 TWI669944B (zh)

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
US201462002054P 2014-05-22 2014-05-22
US62/002,054 2014-05-22
US201462010313P 2014-06-10 2014-06-10
US62/010,313 2014-06-10
US201462015240P 2014-06-20 2014-06-20
US62/015,240 2014-06-20
US201462031766P 2014-07-31 2014-07-31
US62/031,766 2014-07-31
US201462040978P 2014-08-22 2014-08-22
US62/040,978 2014-08-22
US201562114533P 2015-02-10 2015-02-10
US62/114,533 2015-02-10
US201562115099P 2015-02-11 2015-02-11
US62/115,099 2015-02-11
US14/719,222 2015-05-21
US14/719,222 US10264285B2 (en) 2014-05-22 2015-05-21 Coding runs in palette-based video coding

Publications (2)

Publication Number Publication Date
TW201608874A TW201608874A (zh) 2016-03-01
TWI669944B true TWI669944B (zh) 2019-08-21

Family

ID=53404865

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104116563A TWI669944B (zh) 2014-05-22 2015-05-22 基於調色板之視訊寫碼中之寫碼行程

Country Status (11)

Country Link
US (1) US10264285B2 (zh)
EP (1) EP3146723B1 (zh)
JP (1) JP6553090B2 (zh)
KR (1) KR101958536B1 (zh)
CN (1) CN106464884B (zh)
BR (1) BR112016027265B1 (zh)
CA (1) CA2945042C (zh)
ES (1) ES2677522T3 (zh)
HU (1) HUE038387T2 (zh)
TW (1) TWI669944B (zh)
WO (1) WO2015179810A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US10264285B2 (en) 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10038915B2 (en) 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
CN110278437B (zh) 2014-06-20 2022-03-08 寰发股份有限公司 一种视频数据块的编码方法
EP3917146A1 (en) 2014-09-30 2021-12-01 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9942551B2 (en) * 2015-01-30 2018-04-10 Qualcomm Incorporated Palette index grouping for video coding
US10659783B2 (en) * 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
JP6545570B2 (ja) * 2015-08-18 2019-07-17 株式会社東芝 符号化装置、復号装置および画像処理装置
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component
WO2018061550A1 (ja) * 2016-09-28 2018-04-05 シャープ株式会社 画像復号装置及び画像符号化装置
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
CA3048242C (en) * 2016-12-28 2023-10-31 Arris Enterprises Llc Improved video bitstream coding
US10706492B2 (en) * 2017-09-05 2020-07-07 Texas Instruments Incorporated Image compression/decompression in a computer vision system
CN113475062A (zh) * 2019-02-24 2021-10-01 北京字节跳动网络技术有限公司 确定屏幕内容编解码的条件
US10924750B2 (en) 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
KR20220013938A (ko) 2019-05-31 2022-02-04 바이트댄스 아이엔씨 인트라 블록 복사 예측을 갖는 팔레트 모드
KR102612765B1 (ko) 2019-06-28 2023-12-13 바이트댄스 아이엔씨 변환 스킵 모드에서 양자화 파라미터를 수정하는 기술
CN117714698A (zh) 2019-06-28 2024-03-15 字节跳动有限公司 屏幕内容编解码中的色度帧内模式推导
JP7359936B2 (ja) * 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
CN117221536A (zh) 2019-07-23 2023-12-12 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018167A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Palette mode coding in prediction process
US11206413B2 (en) * 2019-08-13 2021-12-21 Qualcomm Incorporated Palette predictor updates for local dual trees
US11689743B2 (en) * 2020-11-12 2023-06-27 Tencent America LLC Method and apparatus for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4568983A (en) * 1983-12-07 1986-02-04 The Mead Corporation Image data compression/decompression
JP2007202169A (ja) 1995-09-29 2007-08-09 Toshiba Corp 画像復号化方法及び装置
US6304607B1 (en) * 1997-03-18 2001-10-16 Texas Instruments Incorporated Error resilient video coding using reversible variable length codes (RVLCS)
US6748116B1 (en) * 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
MXPA04000912A (es) * 2001-11-22 2004-04-02 Matsushita Electric Ind Co Ltd Metodo de codificacion de longitud variable y metodo de decodificacion de longitud variable.
CN1316812C (zh) * 2002-02-01 2007-05-16 皇家飞利浦电子股份有限公司 利用变长色码对调色板处理的彩色图像进行压缩
JP4540585B2 (ja) 2005-10-20 2010-09-08 パナソニック株式会社 符号化装置及び復号化装置
CN101068352A (zh) * 2007-06-08 2007-11-07 中兴通讯股份有限公司 一种网络图像的压缩方法和系统
US20090010533A1 (en) 2007-07-05 2009-01-08 Mediatek Inc. Method and apparatus for displaying an encoded image
ES2715704T3 (es) 2011-03-09 2019-06-05 Nec Corp Dispositivo de decodificación de vídeo, método de decodificación de vídeo y programa de decodificación de vídeo
US11259020B2 (en) 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
WO2015091879A2 (en) * 2013-12-19 2015-06-25 Canon Kabushiki Kaisha Improved encoding process using a palette mode
US10362333B2 (en) 2014-01-02 2019-07-23 Qualcomm Incorporated Color index coding for palette-based video coding
KR101951083B1 (ko) 2014-01-02 2019-05-10 브이아이디 스케일, 인크. 스크린 컨텐츠 코딩을 위한 2차원 팔레트 코딩
US9445111B2 (en) 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
US10237575B2 (en) 2014-03-14 2019-03-19 Vid Scale, Inc. Palette coding for screen content coding
US10638143B2 (en) 2014-03-21 2020-04-28 Futurewei Technologies, Inc. Advanced screen content coding with improved color table and index map coding methods
US10362336B2 (en) 2014-03-25 2019-07-23 Qualcomm Incorporated Palette predictor signaling with run length code for video coding
CN106471805A (zh) 2014-05-09 2017-03-01 诺基亚技术有限公司 用于使用调色板编码进行视频编码和解码的方法和技术设备
US10038915B2 (en) 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
US10264285B2 (en) 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10291940B2 (en) 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
US11323733B2 (en) 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
主要引證: Jianle Chen et.al, <Description of screen content coding technology proposal by Qualcomm>, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/th Meeting: Valencia, ES, 27 March – 4 April 2014 *
主要引證: Jianle Chen et.al, <Description of screen content coding technology proposal by Qualcomm>, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 17th Meeting: Valencia, ES, 27 March – 4 April 2014,

Also Published As

Publication number Publication date
CA2945042C (en) 2019-09-17
EP3146723A1 (en) 2017-03-29
ES2677522T3 (es) 2018-08-03
US10264285B2 (en) 2019-04-16
BR112016027265A2 (zh) 2017-08-15
EP3146723B1 (en) 2018-04-18
CN106464884B (zh) 2019-07-19
KR101958536B1 (ko) 2019-03-14
JP6553090B2 (ja) 2019-07-31
BR112016027265B1 (pt) 2023-11-28
HUE038387T2 (hu) 2018-10-29
JP2017520160A (ja) 2017-07-20
KR20170007464A (ko) 2017-01-18
US20150341673A1 (en) 2015-11-26
CN106464884A (zh) 2017-02-22
CA2945042A1 (en) 2015-11-26
WO2015179810A1 (en) 2015-11-26
TW201608874A (zh) 2016-03-01

Similar Documents

Publication Publication Date Title
TWI669944B (zh) 基於調色板之視訊寫碼中之寫碼行程
TWI693822B (zh) 基於調色板之視訊寫碼中之最大調色板參數
TWI670971B (zh) 基於調色板之視訊寫碼中之逃脫樣本寫碼
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
TWI665912B (zh) 用於視訊寫碼之調色板模式寫碼
TWI718101B (zh) 調色盤模式編碼及解碼設計
TWI666920B (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
TWI689197B (zh) 用於次取樣格式之調色模式
TWI705697B (zh) 在視訊寫碼中調色板區塊大小之限制
US11146788B2 (en) Grouping palette bypass bins for video coding
TWI666918B (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
TWI714548B (zh) 用於視訊寫碼之調色盤索引分組
US10097837B2 (en) Palette run hiding in palette-based video coding
TW201830964A (zh) 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊
TW201838415A (zh) 在視訊寫碼中判定用於雙邊濾波之鄰近樣本
TW201720150A (zh) 用於視訊寫碼之調色板預測初始化及合併
TW201633782A (zh) 用於調色板寫碼之寫碼逃脫像素
TW201545543A (zh) 基於調色板之視訊寫碼
JP2017501641A (ja) パレットベースのビデオコーディングのためのカラーインデックスコーディング
US9961351B2 (en) Palette mode coding
TWI851681B (zh) 用於視訊寫碼中的調色板語法的分組寫碼