TWI689197B - 用於次取樣格式之調色模式 - Google Patents

用於次取樣格式之調色模式 Download PDF

Info

Publication number
TWI689197B
TWI689197B TW104142871A TW104142871A TWI689197B TW I689197 B TWI689197 B TW I689197B TW 104142871 A TW104142871 A TW 104142871A TW 104142871 A TW104142871 A TW 104142871A TW I689197 B TWI689197 B TW I689197B
Authority
TW
Taiwan
Prior art keywords
pixel
current block
component
color
block
Prior art date
Application number
TW104142871A
Other languages
English (en)
Other versions
TW201633784A (zh
Inventor
瑞珍 雷克斯曼 喬許
法迪姆 塞瑞金
溥偉
羅傑爾斯 喬爾 索爾
馬塔 卡茲維克茲
鄒峰
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201633784A publication Critical patent/TW201633784A/zh
Application granted granted Critical
Publication of TWI689197B publication Critical patent/TWI689197B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述用以將調色模式寫碼技術擴展至色度分量處於與明度分量不同之一解析度的情況的技術。調色表之條目包括三個色彩值，且該三個色彩值或該三個色彩值中之一單一者係基於一像素包括一明度分量及色度分量兩者抑或僅包括一明度分量而選擇。

Description

用於次取樣格式之調色模式
本申請案主張2014年12月19日申請之美國臨時申請案第62/094,737號的權益，該申請案之全部內容在此以其全文引用之方式併入。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視 訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。圖像之經框內寫碼(I)圖塊中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。
本發明描述用於調色模式寫碼之實例技術，其中色度分量之解析度小於明度分量之解析度。調色表之條目包括三個色彩值，一個色彩值用於明度分量及兩個色度分量中之每一者。若區塊之像素具有明度分量及兩個色度分量，則全部三個色彩值用於像素之調色模式寫碼。然而，若區塊之像素僅具有明度分量而無色度分量，則僅單個色彩值(例如，三個色彩值中之第一者)用於像素之調色模式寫碼。
在一項實例中，本發明描述一種解碼視訊資料之方法，該方法包含：針對視訊資料之當前區塊導出包括具有三個色彩值之條目的單個調色表；判定視訊資料之當前區塊中的像素是否包括明度分量及色度分量；基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待自單個調色表擷取之色彩值的數目；及基於對待擷取之色彩值的數目之判定來調色模式解碼視訊資料之當前區塊中的像素。
在一項實例中，本發明描述一種用於解碼視訊資料之器件，該器件包含：記憶體單元，其經組態以儲存用於視訊資料之當前區塊的 包括具有三個色彩值之條目的調色表；及視訊解碼器，其經組態以：針對視訊資料之當前區塊導出調色表且並未針對當前區塊導出其他調色表以供儲存於記憶體單元中；判定視訊資料之當前區塊中的像素是否包括明度分量及色度分量；基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待自調色表擷取之色彩值的數目；及基於對待擷取之色彩值的數目之判定來調色模式解碼視訊資料之當前區塊中的像素。
在一項實例中，本發明描述一種其上儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時引起用於解碼視訊資料之器件的一或多個處理器進行以下操作：針對視訊資料之當前區塊導出包括具有三個色彩值之條目的單個調色表；判定視訊資料之當前區塊中之像素是否包括明度分量及色度分量；基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待自單個調色表擷取之色彩值的數目；及基於對待擷取之色彩值的數目之判定來調色模式解碼視訊資料之當前區塊中的像素。
在一項實例中，本發明描述一種用於解碼視訊資料之器件，該器件包含：用於針對視訊資料之當前區塊導出包括具有三個色彩值之條目的單個調色表之構件；用於判定視訊資料之當前區塊中之像素是否包括明度分量及色度分量的構件；用於基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待自單個調色表擷取之色彩值的數目之構件；及用於基於對待擷取之色彩值的數目之判定來調色模式解碼視訊資料之當前區塊中的像素之構件。
在一項實例中，本發明描述一種編碼視訊資料之方法，該方法包含：判定視訊資料之當前區塊中之像素將不基於單個調色表編碼；判定視訊資料之當前區塊中之像素是否包括明度分量及色度分量；基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待 在位元串流中傳信之色彩值的數目；及基於色彩值之經判定數目在位元串流中針對像素傳信用於重建構當前區塊之色彩值。
在一項實例中，本發明描述一種用於編碼視訊資料之器件，該器件包含：記憶體單元，其經組態以儲存用於視訊資料之當前區塊的調色表；及視訊編碼器，其經組態以：判定視訊資料之當前區塊中之像素將不基於調色表編碼；判定視訊資料之當前區塊中的像素是否包括明度分量及色度分量；基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待在位元串流中傳信之色彩值的數目；及基於色彩值之經判定數目在位元串流中針對像素傳信用於重建構當前區塊之色彩值。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該等描述及圖式以及申請專利範圍而顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
101‧‧‧視訊資料記憶體
102‧‧‧殘差產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧逆量化單元
110‧‧‧逆變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
121‧‧‧框間預測單元
122‧‧‧基於調色盤之編碼單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧視訊資料記憶體
152‧‧‧預測處理單元
154‧‧‧逆量化單元
156‧‧‧逆變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧基於調色盤之解碼單元
166‧‧‧框內預測處理單元
178‧‧‧圖像
180‧‧‧第一寫碼單元
184‧‧‧第一調色盤
188‧‧‧第二寫碼單元
192‧‧‧第二調色盤
196‧‧‧區塊
200‧‧‧區塊
202‧‧‧條目
204‧‧‧條目
206‧‧‧條目
208‧‧‧條目
210‧‧‧條目
212‧‧‧條目
216‧‧‧向量
240‧‧‧映射
244‧‧‧調色盤
264‧‧‧列
268‧‧‧列
1000‧‧‧區塊
1002‧‧‧區塊
1004‧‧‧區塊
1006‧‧‧區塊
1100‧‧‧區塊
1102‧‧‧區塊
1104‧‧‧區塊
1106‧‧‧區塊
圖1為繪示可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。
圖2為繪示可實施本發明中所描述之技術的實例視訊編碼器的方塊圖。
圖3為繪示可實施本發明中所描述之技術的實例視訊解碼器的方塊圖。
圖4為繪示判定用於基於調色之視訊寫碼的調色盤條目之實例的概念圖。
圖5繪示調色預測之實例。
圖6為繪示判定對用於像素之區塊之調色盤的索引之實例的概念圖。
圖7為繪示自先前經寫碼列複製調色索引之實例的概念圖。
圖8為繪示用於相位對準情況之4：2：0色度次取樣格式之實例的概 念圖。
圖9為繪示用於相位未對準情況之4：2：0色度次取樣格式之實例的概念圖。
圖10為繪示解碼視訊資料之實例的流程圖。
圖11為繪示編碼視訊資料之實例的流程圖。
本發明描述用於視訊寫碼及壓縮之技術。特定而言，本發明描述用於視訊資料之基於調色盤之視訊寫碼的技術。在基於調色盤之視訊寫碼中，視訊寫碼器(例如，視訊編碼器或視訊解碼器)導出用於像素區塊之調色表，其中調色表中之每一條目包括藉由索引識別至調色表中之色彩值。對於將調色模式寫碼技術應用至4：4：4取樣格式之情況，針對區塊中之每一像素，存在三個色彩值：一個明度分量及兩個色度分量。因此，調色表中之每一條目包括三個色彩值。
然而，可用使用非4：4：4取樣格式之調色模式寫碼技術來增加寫碼效率。在非4：4：4取樣格式中，諸如在4：2：2或4：2：0取樣格式中，色度分量可相對於明度分量經次取樣。因此，對於非4：4：4取樣格式，視訊資料區塊中之一些像素包括全部三個色彩值：明度分量及兩個色度分量，且視訊資料區塊中之一些像素僅包括單一色彩值：明度分量。
本發明中所描述之技術描述使用用於非4：4：4取樣格式之調色模式寫碼的方式。對於非4：4：4取樣格式，視訊寫碼器導出調色表且調色表中之每一條目包括三個色彩值。然而，擷取全部三個色彩值抑或三個色彩值中之單一色彩值係基於視訊資料區塊中之像素包括全部三個色彩值抑或單一色彩值。若像素僅包括單一色彩，則擷取單一色彩值。若像素包括全部三個色彩，則擷取全部三個色彩值。
在一些實例中，基於調色之寫碼技術可經組態以與一或多個視訊寫碼標準一起使用。最近，ITU-T視訊寫碼專家組(VCEG)與 ISO/IEC運動圖像專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)已定案新的視訊寫碼標準之設計，即高效率視訊寫碼(HEVC)「ITU-T H.265,Series H：Audiovisual and Multimedia Systems,Infrastructure of audiovisual services-Coding of moving video,High efficiency video coding」(國際電信聯盟，2014年10月)。最新HEVC規格(被稱作HEVC版本1)可自http：//www.itu.int/rec/T-REC-H.265-201304-I獲得。對HEVC之範圍擴展(即HEVC-Rext)亦正由JCT-VC開發。範圍擴展之最近工作草案(WD)(被稱作RExt WD7)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v4.zip獲得。最近，JCT-VC已開始開發基於HEVC-Rext之螢幕內容寫碼(SCC)。螢幕內容寫碼(SCC)之工作草案在「High Efficiency Video Coding(HEVC)Screen Content Coding：Draft 2」(JCTVC-S1005)中提供給Joshi等人、ITU-T SG 16 WP 3與ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)，且可自http：//phenix.int-evry.fr/jct/doc_end_user/current_document.php？id=9793獲得。
本發明中所描述之技術係關於具有(例如)HEVC擴展或其他螢幕內容相關之視訊編解碼器的螢幕內容寫碼(SCC)。常用國際視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺、ITU-T H.263、ISO/IEC MPEG-4視覺及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)、高效率視訊寫碼(HEVC)等。如上文所描述，對HEVC之螢幕內容寫碼擴展(稱作SCC)正在開發中。如上文亦提及，包括調色模式描述之SCC的最新工作草案(WD)可在JCTVC-S1005「High Efficiency Video Coding(HEVC)Screen Content Coding：Draft 2」(ITU-T SG16 WP3與ISO/IEC JTC 1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)第18次會議：日本，劄幌，2014年6月30日至7月9日)中獲得。
在傳統視訊寫碼中，假定影像為連續色調且在空間上平滑之自然影像。基於此等假定，已開發不同工具，諸如基於區塊之變換、過濾等，且此等工具已展示針對自然內容視訊之良好效能。然而，在類似遠端桌上型電腦、協同工作及無線顯示器之應用中，電腦產生之螢幕內容可為待壓縮之主要內容。此類型之內容傾向於具有離散色調及特徵尖銳線，以及高對比度物件邊界。連續色調及平滑度之假定可能不再適用，且因此，傳統視訊寫碼技術可能為壓縮內容之低效率方式。
本發明描述基於調色之寫碼，其可特別適合於螢幕產生之內容寫碼。舉例而言，假定視訊資料之特定區域具有相對較小數目之色彩。視訊寫碼器(視訊編碼器或視訊解碼器)可將所謂的「調色盤」寫碼為用於表示特定區域(例如，給定區塊)之視訊資料的色彩表。每一像素可與表示像素之色彩(例如，明度及色度或僅明度，如下文更詳細地描述)的調色盤中之條目相關聯。舉例而言，視訊寫碼器可寫碼使像素值與調色盤中之適當值相關的索引。如本文所描述，調色盤條目索引可被稱作調色盤索引或簡稱為索引。由此，在調色模式中，調色盤可包括藉由表示可用作區塊樣本之預測子或用作最終重建構之區塊樣本的色彩值之索引編號的條目。調色盤中之每一條目取決於使用之特定色彩格式可含有一個色彩分量(例如，明度值)、兩個色彩分量(例如，兩個色度值)或三個色彩分量(例如，RGB、YUV或類似者)。如本發明中所描述，調色盤(亦稱作調色表)包括用於每一條目之三個色彩分量，但擷取一個色彩分量抑或全部三個色彩分量係基於像素僅包括明度分量抑或明度分量及色度分量之組合。
就HEVC構架而言，作為實例，基於調色盤之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色盤之寫碼技術可經組態以用作HEVC之構架中的PU模式。因此，在CU模式之情境中 描述的所有以下所揭示之處理程序可另外或替代地適用於PU。然而，此等基於HEVC之實例不應被視為約束或限制本文中所描述的基於調色盤之寫碼技術，因而，此等技術可經應用以獨立地或作為其他現有或尚待開發之系統/標準之部分工作。在此等情況下，用於調色盤寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
使用調色寫碼模式，視訊編碼器可藉由判定用於區塊之調色盤、定位調色盤中表示每一像素之值的條目及用像素之使像素值與調色盤相關的索引值編碼調色盤來編碼視訊資料之區塊。視訊解碼器可自經編碼位元流獲得用於區塊之調色盤，以及用於區塊之像素的索引值。視訊解碼器可使像素之索引值與調色盤之條目相關以重建構區塊之像素值。舉例而言，調色盤之條目與調色盤索引一起可用於判定區塊之一或多個像素分量之值或「樣本」。以上實例意欲提供基於調色盤之寫碼的一般描述。
本發明使用術語「信號」或「傳信」來指示視訊編碼器將資訊提供至視訊解碼器之方式。語法元素(或其他類型之資料)之傳信不應被理解為意謂視訊解碼器立即自視訊編碼器接收經傳信之資訊；但是，其可係有可能的。在一些實例中，視訊編碼器可傳信儲存於儲存器件中之資訊(例如，語法元素或其他視訊資料)。視訊解碼器可接著在稍後時間自儲存器件擷取資訊。
在調色模式中，區塊之每一像素可用COPY_INDEX_MODE、COPY_ABOVE_MODE或ESCAPE模式來寫碼，除了可能區塊之起初列僅可能用COPY_INDEX_MODE或ESCAPE模式來寫碼。語法元素palette_run_type_flag指示使用COPY_INDEX_MODE抑或COPY_ABOVE_MODE。在複製索引模式中(亦即，palette_run_type_flag等於COPY_INDEX_MODE)，傳信調色盤索引(亦即，語法元素palette_index)，接著傳信調色盤執行值palette_run。執行值指示將具 有相同調色盤索引之後續像素的數目。在COPY_ABOVE_MODE中，僅可傳信執行值，其指示自定位於當前像素正上方的像素複製調色盤索引之後續像素之數目。ESCAPE模式經寫碼於COPY_INDEX_MODE或COPY_ABOVE_MODE內，其中特定調色盤索引用於指示此模式。在當前調色盤版本中，此索引等於調色盤大小。在ESCAPE模式中，像素三元組(YCbCr或RGB)或其經量化版本經傳信為palette_escape_val。
對每區塊傳信旗標palette_escape_val_present_flag以指示逸出像素之使用。此旗標等於1指示在經調色盤寫碼之區塊中存在至少一個逸出像素，否則旗標等於0。
調色盤大小受限於0至max_palette_size之範圍內。可傳信最大大小。
對於用調色模式寫碼之區塊，調色盤可自先前經調色盤寫碼之區塊的調色盤條目預測、可明確地經傳信為新條目，或可完全再使用先前經寫碼區塊之調色盤。後一情況被稱為調色盤共用，且可傳信旗標palette_share_flag以指示先前區塊之整個調色盤未作修改而按原樣再使用。
在調色模式中，區塊中之像素掃描可屬於兩個類型：垂直跨越掃描或水平跨越(蛇形)掃描。根據每區塊單元傳信之旗標palette_transpose_flag導出區塊中所使用之掃描模式。
在上文所描述之寫碼模式中，值之「執行」通常可指代經寫碼在一起之像素值的字串。執行通常可關於包括於該執行中且經一起處理或寫碼為群組(例如，執行長度)之元素的數目而描述。在一些實例中，執行可包括相同值之像素值。舉例而言，索引模式中之執行可指示具有相同索引值之值的字串(如上文所提及)。在出於說明之目的之實例中，若給定掃描次序中之兩個連續像素具有不同值，則執行長度 等於零。若給定掃描次序中之兩個連續像素具有相同值但掃描次序中之第三像素具有不同值，則執行長度等於一，等等。
圖1為繪示可利用本發明之技術之實例視訊寫碼系統10的方塊圖。如本文中所使用，術語「視訊寫碼器」通常係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」通常可係指視訊編碼或視訊解碼。視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行根據本發明中所描述之各種實例的用於基於調色盤之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以寫碼區塊之像素，其中色度分量相對於明度分量經次取樣。
如圖1中所示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源裝置12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之一或多個媒體或器件。在一項實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協議)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。 一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取而存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載而存取儲存於檔案伺服器或其他中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)、或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的 解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1中所繪示之視訊寫碼系統10僅為實例，且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料自本端記憶體擷取，經由網路或類似者而串流傳輸。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼資料。在許多實例中，由並不彼此通信但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括視訊捕獲器件(例如，視訊攝影機)、含有先前所捕獲之視訊資料的視訊存檔、用以自視訊內容提供者接收視訊資料之視訊饋入介面，及/或用於產生視訊資料之電腦圖形系統，或此等視訊資料源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體或檔案伺服器上，以供目的地器件14稍後存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。一般而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含各種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類 型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為各種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地以軟體來實施該等技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將前述各者(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)的部分。
本發明通常可指代視訊編碼器20將某一資訊「傳信」或「傳輸」至另一器件，諸如，視訊解碼器30。術語「傳信」或「傳輸」通常可指代用於解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時地或近乎即時地發生。替代地，此通信可在一時間跨度內發生，諸如，此通信可能在當編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，該等語法元素在儲存至此媒體之後接著可由解碼器件在任何時間擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準(諸如上文提及且在HEVC版本1中描述之HEVC標準)操作。除了基礎HEVC標準(HEVC版本1)以外，亦不斷努力以產生HEVC之可調式視訊寫碼、多視圖視訊寫碼及3D寫碼擴展。此外，可提供基於調色盤之寫碼模式(例如，如本發明中所描述)以用於HEVC標準之擴展(例如，對HEVC之螢幕內容寫碼擴展)。在一些實例中，本發明中描述之用於基於調色盤之寫碼的技術可應用於經組態以根據其他視訊寫碼標準(諸如，ITU-T-H.264/AVC標準或未來標準)操作之編碼器及解碼 器。因此，HEVC編解碼器中用於寫碼單元(CU)或預測單元(PU)之寫碼的基於調色盤之寫碼模式的應用係出於實例之目的而描述。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括表示三個各別樣本陣列之三個分量，表示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb色度樣本之二維陣列。SCr為Cr色度(chrominance)樣本之二維陣列。色度樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，該圖像具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列，以及用以對寫碼區塊之樣本進行寫碼的語法結構。視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊可為其上應用相同預測之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊樣本進行預測的語法結構。視訊編碼器20可針對CU之每一PU的明度、Cb及 Cr預測區塊產生預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生(例如，判定)PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU之預測性區塊。
若視訊編碼器20使用框間預測來產生(例如，判定)PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU之預測性區塊。當視訊編碼器20使用單向預測來產生PU之預測性區塊時，PU可具有單一運動向量(MV)。當視訊編碼器20使用雙向預測來產生PU之預測性區塊時，PU可具有兩個MV。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊可為其上應用相同變換之樣本的矩形區塊。CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩 個對應變換區塊，及用以對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用至TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化通常係指對變換係數進行量化以可能地減少用以表示變換係數的資料之量，從而提供進一步壓縮之處理程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行情境自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。
視訊編碼器20可輸出包括經熵編碼之語法元素之位元串流。位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元之序列。位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭且囊封原始位元組序列酬載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封SEI之RBSP，等等。囊封視訊寫碼資料之RBSP(如與參數集及SEI訊息之RBSP相反)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流解碼語法元素。視訊解碼器30可至少部分地基於自位元串流解碼之語法元素而重建構視訊資料之圖像。重建構視訊資料之處理程序通常可與由視訊編碼器20執行之處理程序互逆。舉例而言，視訊解碼器30可使用PU之MV來判定當前CU之PU的預測性區塊。另外，視訊解碼器30可逆量化與當前CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行逆變換，以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行基於調色盤之寫碼。舉例而言，在基於調色盤之寫碼中(而非或除了執行上文所描述之框內預測性或框間預測性寫碼技術)，視訊編碼器20及視訊解碼器30可將所謂的調色盤寫碼為用於表示特定區域(例如，給定區塊)之視訊資料的色彩表。每一像素可與調色盤中表示像素之色彩的條目相關聯。舉例而言，視訊編碼器20及視訊解碼器30可寫碼使像素值與調色盤中之適當條目相關的索引。
在以上實例中，視訊編碼器20可藉由判定用於區塊之調色盤、定位調色盤中表示每一像素之值的條目及用像素之使像素值與調色盤相關之索引值編碼調色盤而編碼視訊資料之區塊。視訊解碼器30可自 經編碼位元串流獲得用於區塊之調色盤，以及區塊之像素的索引值。視訊解碼器30可使像素之索引值與調色盤之條目相關以重建構區塊之像素值。
在一些實例中，視訊編碼器20可編碼指示給定掃描次序中之具有相同像素值之連續像素的數目之一或多個語法元素。相同值之像素值的字串在本文中可被稱作「執行」。在用於說明之目的之實例中，若給定掃描次序中的兩個連續像素具有不同值，則執行等於零。若給定掃描次序中的兩個連續像素具有相同值，但該掃描次序中的第三個像素具有不同值，則執行等於一。視訊解碼器30可自經編碼位元串流獲得指示執行之語法元素並使用資料來判定具有相同索引值之連續像素位置的數目。
在一些實例中，視訊編碼器20及視訊解碼器30可針對映射之一或多個條目執行線複製。舉例而言，視訊編碼器20可指示映射中之特定條目的像素值等於該特定條目上方之線中的條目。視訊編碼器20亦可將該掃描次序中等於特定條目上方之線中的條目之索引的數目指示為執行。在此實例中，視訊編碼器20及或視訊解碼器30可自所指定之相鄰線及自當前寫碼之索引映射之線的所指定數目之條目複製索引值。
根據本發明之態樣，視訊編碼器20及視訊解碼器30可執行下文關於圖4至圖7所描述或在本發明中以其他方式所描述之用於調色盤寫碼之技術的任何組合。換言之，關於圖4至圖7所描述之實例不應被視為限制本發明中所描述之技術或以其他方式由本發明中所描述之技術所要求。
本發明描述用以寫碼調色模式中之當前區塊的實例技術。在本發明中，術語「當前區塊」通常用於指代具有明度分量之明度區塊及具有各別色度分量之兩個色度區塊。如本發明中所使用之「當前區 塊」的一項實例為上文所定義之寫碼單元(CU)。HEVC標準定義CU如下：具有三個樣本陣列之圖像的明度樣本之寫碼區塊、色度樣本之兩個對應寫碼區塊，或單色圖像或使用三個單獨色彩平面寫碼之圖像的樣本之寫碼區塊，及用以寫碼樣本之語法結構。
如上文所描述，存在用於螢幕內容寫碼(SCC)之當前工作草案。在當前SCC工作草案(JCTVC-S1005)中，僅針對4：4：4色度次取樣格式定義調色模式，其中明度區塊大小與色度區塊大小相等。為改良寫碼效率，可能需要設計用於諸如4：2：0或4：2：2之非4：4：4色度次取樣格式之調色模式，其中色度樣本區塊通常小於明度樣本區塊。舉例而言，對於4：2：0色度次取樣格式及8×8區塊，明度樣本區塊大小為8×8，而對應的色度樣本區塊大小為4×4(例如，垂直及水平色度兩者均減半)。對於4：2：2色度次取樣格式及8×8，明度樣本區塊大小為8×8，而對應的色度樣本區塊大小為4×8(例如，水平色度減半)。作為實例，假定經調色模式寫碼之當前區塊為8×8大小之CU。對於此8×8大小之CU，存在一個8×8大小之明度區塊，及用於4：2：2次取樣格式之兩個4×8色度區塊或用於4：2：0次取樣之兩個4×4色度區塊。
本發明描述用以設計用於非4：4：4色度次取樣格式之調色模式的若干技術。此等技術可劃分成若干部分，其中每一部分可單獨地應用或以與其他部分之任何組合應用。每一部分可表示可對於當前調色模式設計進行之修改，且可採用本發明中並未提及之調色模式之態樣，但不限於與4：4：4調色模式中之態樣相同。
對於調色表導出，在4：4：4調色模式中，每一調色盤條目由色彩三元組(例如，Y、Cb及Cr)構成。對於區塊中之每一非逸出像素，向其指派指向調色表中之條目的調色盤索引。對應的色彩三元組可用於重建構。然而，在非4：4：4之情況下，明度樣本(明度分量)之數目可大於色度樣本(色度分量)之數目，且區塊中之每一像素可不具有三個色 彩分量。
在一些實例中，視訊編碼器20及視訊解碼器30可各自導出調色表。如本發明中所使用，片語「導出調色表」或其等效者指代視訊編碼器20或視訊解碼器30判定調色表之值的任何方式。舉例而言，自視訊編碼器20的角度，視訊編碼器20可基於正經編碼之區塊的色彩值判定調色表之值。自視訊解碼器30的角度，視訊解碼器30可基於所接收位元串流中含有之資訊判定調色盤之值。在兩個此等實例中，視訊編碼器20可被視為導出調色表，且視訊解碼器30可被視為導出調色表。用以判定調色表之值的其他方式係可能的，且被視為由片語「導出調色表」或其等效者所涵蓋。
此同一調色表包括明度樣本及色度樣本之色彩值。在本發明中，術語色彩值及色彩分量可互換使用。調色表中之每一條目包括三個色彩分量(例如，三個色彩值)：明度樣本之第一色彩分量、第一色度分量之第二色彩分量及第二色度分量之第三色彩分量。
當視訊解碼器30將解碼以調色模式寫碼之當前區塊(例如，基於調色表重建構當前區塊)時，視訊解碼器30可利用此單個調色表來重建構當前區塊。舉例而言，視訊解碼器30可利用此單個調色表而不用其他調色表來重建構使用此調色表之此當前區塊的明度區塊及兩個色度區塊，該調色表包括用於明度區塊的明度分量及各別色度區塊的兩個色度分量之色彩值(例如，色彩分量)。
對於N×N大小之CU(例如，N×N大小之當前區塊)，存在具有明度分量之對應的N×N明度區塊。因此，存在針對CU中之每一像素之一個對應的明度樣本。然而，對於次取樣，並不存在針對CU中之每一像素的一個對應的色度樣本。舉例而言，對於4：2：2次取樣，對應色度區塊具有N/2×N色度樣本，且因此，對於CU中之每兩個像素，各別色度區塊中存在一個對應樣本。對於4：2：0次取樣，對應的色度區塊具 有N/2×N/2色度樣本，且因此，對於CU中之每四個像素，各別色度區塊中存在一個對應樣本。
在一些實例中，對於當前區塊(例如，CU)中之每一像素，視訊解碼器30可判定當前區塊之像素包括對應明度分量及色度分量抑或僅包括對應明度分量。基於對當前區塊之像素是否包括明度分量及色度分量之判定，視訊解碼器30可判定待自調色表擷取之色彩值的數目。舉例而言，若視訊解碼器30判定當前區塊中之像素包括明度分量及色度分量，則視訊解碼器30可自調色表擷取全部三個色彩值。然而，若視訊解碼器30判定當前區塊中之像素包括明度分量但無色度分量，則視訊解碼器30可自調色表擷取三個色彩值中之一個而不是全部三個色彩值(例如，三個色彩值中之第一者)。
視訊解碼器30可基於對待擷取之色彩值的數目之判定來對當前區塊中之像素進行調色模式解碼。舉例而言，視訊解碼器30可接收將一個條目識別至調色表中之單一索引。若視訊解碼器30判定將擷取三個色彩值，則視訊解碼器30可將全部三個色彩值自所識別之條目擷取至調色表中，且將每一各別色彩值指派至明度區塊中之對應樣本及各別色度區塊中之對應樣本。若視訊解碼器30判定將擷取一個色彩值，則視訊解碼器30可將三個色彩值中之一個色彩值自所識別之條目擷取至調色表中，且將該色彩值指派至明度區塊中之對應樣本。
根據以上實例，對於次取樣格式，視訊解碼器30可能能夠在相比於非次取樣格式而無需實質上改變視訊解碼處理程序的情況下重建構當前區塊之像素(例如，重建構對應於CU之各別明度區塊及色度區塊的明度樣本及色度樣本)。舉例而言，對於4：4：4取樣格式，針對當前區塊(例如，CU)中之每一像素，明度區塊及兩個色度區塊中存在對應樣本。對於此4：4：4取樣格式，視訊編碼器20傳信單個調色表中之單一索引，且視訊解碼器30基於調色表中由索引識別之條目擷取全部三 個色彩值並為明度樣本及色度樣本中之每一者指派各別色彩值。
對於次取樣格式，視訊解碼器30可導出單個調色表並將信號條目接收至此調色表中，類似於非次取樣格式。然而，視訊解碼器30擷取之色彩值的數目可針對當前區塊之不同像素而不同。以此方式，視訊編碼器20傳信以用於4：4：4取樣格式及用於次取樣格式之位元串流係相同的，但視訊解碼器30可基於對當前區塊中之像素包括明度分量及色度分量抑或包括明度分量而無色度分量之判定而選擇性地擷取不同數目個色彩值。
儘管在基於調色表中之條目對像素進行調色模式寫碼時用於次取樣格式之位元串流可無需相對於非次取樣格式改變，但對於逸出像素，用於次取樣格式之位元串流可不同於用於非次取樣格式之彼等位元串流。逸出像素為色彩值不在導出之調色表中的像素。針對逸出像素，視訊編碼器20明確地傳信明度分量及色度分量之色彩值(可能經量化)。
對於非次取樣格式，視訊編碼器20可針對逸出像素傳信且視訊解碼器30可接收各別明度區塊及色度區塊中之對應明度樣本及色度樣本中之每一者的色彩值。對於次取樣格式，在一些實例中，視訊編碼器20可針對僅存在明度分量之逸出像素僅傳信一個色彩值，且針對存在明度分量及兩個色度分量之逸出像素傳信全部三個色彩值。在此等實例中，視訊解碼器30可基於對當前區塊之逸出像素是否包括明度分量及色度分量之判定來判定待自位元串流剖析之色彩值的數目。視訊解碼器30接著可基於對待自位元串流剖析之色彩值的數目之判定而解碼像素(例如，重建構像素)。
以上實例技術可概括如下。此等實例技術係針對4：2：2及4：2：0調色區塊自解碼器的角度(亦即，視訊解碼器30的角度)加以描述。在此情況下，每一調色盤條目由色彩分量(亦即，三個色彩值)構成。針對 區塊(例如，CU)中之每一像素，判定一索引(例如，藉由解碼或可為複製索引或複製上方執行之一部分)。位元串流語法類似於4：4：4情況中之語法。若像素由明度分量及色度分量兩者構成且像素索引並不指示逸出像素，則對應調色盤條目之全部三個色彩分量用於預測或重建構。若像素僅由明度分量構成且像素索引並不指示逸出(ESCAPE)像素，則對應調色盤條目之僅第一色彩分量用於預測或重建構。在逸出像素之情況下，若像素僅由明度分量構成，則自位元串流讀取單一分量值(可能經量化)。類似地，若逸出像素由明度分量以及色度分量構成，則自位元串流讀取三個分量值(可能經量化)。
在以上實例中，視訊解碼器30可基於對像素包括明度分量及色度分量抑或包括明度分量而無色度分量之判定來判定自調色表讀取多少色彩值或自位元串流剖析多少色彩值。可存在視訊解碼器30可判定像素包括明度分量及色度分量抑或包括明度分量而無色度分量之多種方式，且本發明中所描述之技術不受限於任一個此類技術。作為一個實例方式，視訊解碼器30可基於相位對準來判定像素包括明度分量及色度分量抑或包括明度分量而無色度分量。
如關於圖8及圖9更詳細地描述之相位對準通常係指當前區塊之明度分量與色度分量之間的關聯。舉例而言，對於4：2：0次取樣，針對CU中之四個像素(例如，像素之2×2子區塊)之群組，明度區塊中存在樣本之2×2子區塊之對應群組，且各別色度區塊中僅存在一個樣本。因此，各別色度區塊中之一個樣本可對應於明度區塊之2×2子區塊中的四個像素中之任一者(例如，一個色度分量對應於四個明度分量)。
舉例而言，對於CU中之2×2子區塊，存在左上方、右上方、左下方及右下方之像素。相位對準指示色度區塊中之樣本對應於CU中之2×2子區塊中的左上方、右上方、左下方抑或右下方像素，該2×2子區塊為明度區塊中之同一子區塊。視訊解碼器30可利用相位對準來判定 像素包括明度分量及色度分量抑或包括明度分量而無色度分量。此相位對準僅用於寫碼之目的。色度樣本之實際實體位置可不同於由相位對準指示之實體位置。色度位置可與偶數分數像素位置對準。
舉例而言，假定色度區塊中之樣本與CU之2×2子區塊的左上方像素對準。在此實例中，當前區塊之明度分量與當前區塊之色度分量之間的相位對準指示明度區塊中之2×2子區塊的左上方樣本與色度區塊中之樣本相關聯。在視訊解碼器30對2×2子區塊之左上方像素進行調色模式解碼時，視訊解碼器30可針對逸出像素判定將擷取來自調色表之全部三個色彩值或判定將剖析來自位元串流之全部三個色彩值。對於CU之2×2子區塊的右上方、右下方及左下方像素，視訊解碼器30可針對逸出像素判定將擷取來自調色表之僅一個色彩值或判定將剖析來自位元串流之僅一個色彩值。
儘管以上實例描述與2×2子區塊之左上方像素之相位對準，但是本發明中所描述之技術並不受限如此，且相位對準可用於2×2子區塊之右上方、右下方或左下方像素。更一般而言，對於4：2：0次取樣，一個相位對準可為當前區塊中具有偶數x座標及偶數y座標之每一像素與色度區塊相位對準(例如，當前區塊之明度分量與色度分量之間的相位對準指示明度區塊中具有偶數x座標及偶數y座標之樣本對應於色度區塊中之樣本)。另一相位對準可為當前區塊中具有偶數x座標及奇數y座標之每一像素與色度區塊相位對準(例如，當前區塊之明度分量與色度分量之間的相位對準指示明度區塊中具有偶數x座標及奇數y座標之樣本對應於色度區塊中之樣本)。另一相位對準可為當前區塊中具有奇數x座標及偶數y座標之每一像素與色度區塊相位對準(例如，當前區塊之明度分量與色度分量之間的相位對準指示明度區塊中具有奇數x座標及偶數y座標之樣本對應於色度區塊中之樣本)。另一相位對準可為當前區塊中具有奇數x座標及奇數y座標之每一像素與色度區塊 相位對準(例如，當前區塊之明度分量與色度分量之間的相位對準指示明度區塊中具有奇數x座標及奇數y座標之樣本對應於色度區塊中之樣本)。
用於4：2：2之相位對準可為類似的，不同之處在於針對色度區塊中之每一個樣本，在當前區塊中存在兩個像素。對於4：2：2之情況，一個相位對準可為當前區塊中具有偶數x座標之每一像素與色度區塊相位對準(例如，當前區塊之明度分量與色度分量之間的相位對準指示明度區塊中具有偶數x座標之樣本對應於色度區塊中之樣本)。另一相位對準可為當前區塊中具有奇數x座標之每一像素與色度區塊相位對準(例如，當前區塊之明度分量與色度分量之間的相位對準指示明度區塊中具有奇數x座標之樣本對應於色度區塊中之樣本)。4：2：2次取樣格式中之y座標的值可為不相關的，因為僅水平部分經半取樣且垂直部分係相同的。
可預設用於圖像之特定相位對準。作為另一實例，視訊編碼器20可傳信指示相位對準之資訊(例如，在存在四個可能相位對準時用於4：2：0次取樣之二位元值，或在存在兩個可能相位對準時用於4：2：2次取樣之一位元值)。視訊解碼器30可基於指示相位對準之信號資訊判定相位對準。作為另一實例，視訊編碼器20及視訊解碼器30可基於其他因素(諸如，鄰近區塊之內容、先前區塊之相位對準等)隱含地判定相位對準，以使得視訊編碼器20不需要明確地指示相位對準且不需要預設相位對準。
以此方式，視訊解碼器30可判定當前區塊之明度分量與當前區塊之色度分量之間的相位對準。為判定當前區塊中之像素是否包括明度分量及色度分量，視訊解碼器30可基於所判定之相位對準來判定當前區塊中之像素是否包括明度分量及色度分量。
上文描述使用單個調色表進行調色模式解碼及基於當前區塊之 明度分量與當前區塊之色度分量的相位對準判定是否應自調色表條目擷取全部三個色彩值或僅一個色彩值之一項實例。上文亦描述基於當前區塊之明度分量與當前區塊之色度分量的相位對準針對逸出像素判定是否應自位元串流剖析三個色彩值或一個色彩值之實例。
然而，本發明中所描述之實例技術並未如此受限。下文描述額外實例且重申一些上文所描述之實例。若適用，則以下技術可結合上文或獨立於上文而使用。
在一些實例中，可使用多個調色表(例如，具有全部三個色彩之一個調色盤、用於明度分量之一個調色盤及用於色度分量之另一調色盤)而非具有單個調色表。可改變調色表導出以藉由允許具有小於三個色彩分量之調色盤條目(例如，調色盤條目可為色彩三元組(例如，Y、U、V)、色彩對(例如，U、V)或單一色彩(例如，Y)，或任何其他色彩組合)來解釋此差異。視訊編碼器20可(例如)使用0三元組、10對及11單一條目或其他手段指示包括於調色盤條目中之調色盤條目類型或色彩分量之數目。根據此指示，若傳信新調色盤條目，則視訊編碼器20可僅傳信對應的色彩分量。舉例而言，若條目為一對，則僅傳信兩個新色彩分量作為新調色盤條目。
在更特定的情況下，調色盤條目可僅屬於兩個類型：三元組及單一分量，且視訊編碼器20可傳信一位元旗標以指示條目類型。儘管針對此特定情況描述一些實例技術，但更一般之方法(不止使用三元組或單一條目)應被視為在本發明之範疇內。
諸如三元組、對或單一分量之類似條目可用於調色盤預測子清單中。替代地或另外，調色盤預測子清單可始終由三元組構成。可藉由可能僅使用對應的色彩而自三元組預測對及單一分量條目。舉例而言，若自三元組( A , B , C )預測到單一分量條目，則單一分量調色盤條目之對應分量值等於 A 。此實例亦適用於使用單一調色盤(例如，使用 調色盤預測子清單)作為導出單一調色盤之方式的以上實例。
在一些實例中，單獨調色盤及調色盤預測子清單經維持以用於三元組及單一分量調色盤條目。在此情況下，視訊編碼器20可分別針對三元組及單一分量調色盤條目單獨地傳信調色盤預測子再使用旗標及新調色盤條目。
調色盤索引可用於指示用以預測(或表示)區塊中之像素的調色盤條目，且可將與調色盤條目相關聯之色彩指派至視訊解碼器30平台處之像素。
對於調色盤索引，替代或除了關於調色表導出之以上描述之外，調色盤條目可僅由三元組構成，即使並非調色盤條目中之所有色彩可用於預測區塊中之特定像素。在本發明中所描述之技術中，視訊編碼器20及視訊解碼器30可根據區塊內之像素位置及色度色彩格式(例如，相位對準)導出預測(例如，表示)某一像素所必要的色彩之數目。舉例而言，在4：2：0色度色彩格式中，四個明度樣本具有一個對應的色度對(U及V)，亦即，每第二列及每第二行可具有一像素，其具有三個色彩分量且所有其他像素將僅具有明度分量。因此，在一項實例中，色度樣本可在列索引及行索引兩者為偶數時存在。明度樣本與色度樣本之不同對準亦係可能的。因此，調色盤索引最初可指示調色表中之三個色彩分量。若特定像素位置僅具有明度樣本，則三元組之僅第一色彩分量可用於預測(表示)像素。
以相同方式，對於用COPY_INDEX_MODE或COPY_ABOVE_MODE寫碼之一組像素，可基於像素位置及色度色彩格式導出待複製之色彩分量的數目。調色模式之執行值可指示模式內之明度像素系列(並非所有明度樣本具有對應的色度樣本)之長度或一般而言更完整的色彩分量之長度。
若像素為逸出像素(亦即，色彩值經明確地傳信)，則可基於像素 位置及色度色彩格式導出待傳信之色彩的數目。因此，若像素位置不具有色度樣本，則針對逸出像素僅寫碼明度值。
可藉由考慮明度樣本之數目多達色度樣本之數目的4倍且就準確度而言可指派更多權重至明度分量來導出調色表。然而，若需要具有僅一種調色盤導出方法，則可藉由使用4：4：4調色盤導出方法藉由次取樣明度分量以匹配色度像素或藉由增加取樣色度分量以匹配明度樣本之數目來導出調色表。
對於色彩特定調色盤及調色盤預測子，當像素具有不同數目個相關聯色彩分量時，單獨調色表可經維持以用於不同類型之調色盤條目。舉例而言，可使用具有僅三元組條目及單一條目之兩個調色表。可根據像素位置及色度色彩格式導出待用於某一像素之調色盤分量的數目，且可根據調色盤索引自所導出之調色表類型選擇色彩分量。執行值可對應於通常為明度的較長的色彩分量。
舉例而言，若用COPY_INDEX_MODE寫碼一組像素，則視訊編碼器20可傳信調色盤索引及執行值且視訊解碼器30可接收調色盤索引及執行值。對於所傳信之執行值內的每一明度像素，視訊解碼器30可首先導出與像素相關聯之色彩分量的數目(亦即，其為三元組抑或單一條目)。接著，視訊解碼器30可自對應的調色表選擇適當數目之色彩。
調色盤預測子可為僅基於三元組的，或可根據調色盤條目類型分離並單獨地維持。若調色盤預測子僅由三元組構成且當自調色盤預測子預測調色盤條目時，則僅複製所需要之色彩。
替代地或另外，調色表可根據像素類型(例如，三元組或單一條目)分離，但該表可仍具有三元組且可根據像素類型僅使用所需要之色彩。在此情況下，共同調色盤預測子可僅僅由所有所使用之條目組成，因為所有條目係基於三元組的。
對於波前同步，若啟用波前並行處理(WPP)，則調色盤預測子及上一經調色盤寫碼之區塊的調色盤大小儲存於寫碼樹型單元(CTU)列中之每一第二CTU的末端處以用於下一CTU列同步之目的。若調色盤或調色盤預測子根據條目類型分離，則可能需要儲存調色盤預測子之每一類型及/或上一經調色盤寫碼之區塊的調色盤大小之每一類型以用於WPP同步。
下文描述一些實例態樣以進一步輔助理解。此等實例可單獨地應用或以任何組合一起應用。一個實例技術為上文所描述之技術，其中每一調色盤條目包括三個色彩值，且視訊解碼器30基於當前區塊中之像素包括明度分量及色度分量抑或包括明度分量而無色度分量來判定待擷取之色彩值的數目。視訊解碼器30亦可基於當前區塊中之像素是否包括明度分量及色度分量針對逸出像素判定待自位元串流剖析之色彩值的數目。
如上文所描述，視訊編碼器20及視訊解碼器30可使用相位對準資訊來判定像素包括明度分量及色度分量抑或包括明度分量而無色度分量。視訊編碼器20可傳信參數集(例如，序列參數集(SPS)或圖像參數集(PPS))、圖塊標頭中之相位對準資訊，且視訊解碼器30可接收該相位對準資訊，且視訊可用性資訊(VUI)可用以傳達相位對準。舉例而言，若調色表中僅使用三元組，則建議使用SPS或PPS或圖塊標頭中之語法元素來指示不同相位對準。替代地或另外，VUI可用於傳達此資訊。
舉例而言，在圖8中，明度像素位置A、C、I及K被認為具有三個色彩分量(例如，明度分量及兩個色度分量)，且其餘明度像素位置被認為具有單一色彩分量(例如，明度分量而無色度分量)。在另一實例中，如圖9中所繪示，位置E、G、M及O中之明度像素位置被視為具有三個色彩分量(例如，明度分量及兩個色度分量)，而其餘明度像素 位置被視為具有單一色彩分量(例如，明度分量而無色度分量)。
因此，建議語法元素指示此類不同情況(例如，語法元素指示相位對準)。舉例而言，當元素等於『00』時，使用明度像素位置A、C、I、K導出色度像素值。當元素等於『01』時，使用明度像素位置B、D、J、L導出色度像素值。當元素等於『10』時，使用明度像素位置E、G、M、O導出色度像素值。當元素等於『11』時，使用明度像素位置F、H、N、P導出色度像素值。
在以上實例中，使用僅一個明度位置來導出色度像素值。然而，本發明中所描述之技術並不如此受限。在另一實例中，視訊編碼器20及視訊解碼器30可使用一個以上明度位置來導出色度像素值。舉例而言，在圖9中，在視訊編碼器20或視訊解碼器30獲得用於明度位置A、B、E、F之索引之後，可使用調色表將此等索引值映射至四個色彩三元組中。因此，存在四個色度對(例如，用於明度位置A之兩個色度色彩值、用於明度位置B之兩個色度色彩值、用於明度位置E之兩個色度色彩值及用於明度位置F之兩個色度色彩值)。
在一項實例中，視訊編碼器20及視訊解碼器30可使用此等四個色度對之平均值作為重建構之色度像素值。替代地或另外，視訊編碼器20及視訊解碼器30可選擇兩個或三個色度對，且使用其平均值作為重建構之色度像素值。替代地或另外，視訊編碼器20及視訊解碼器30可將此等四個色度對使用至4接頭濾波器中，且使用經過濾之像素值作為重建構之色度像素值。
在另一實例中，在4：4：4調色模式中，對於COPY_ABOVE_MODE，當前像素共用與其上方相鄰像素相同之色彩三元組。在非4：4：4模式中，對於具有全部三個分量之像素位置，為複製色度分量，視訊編碼器20及視訊解碼器30可自當前像素位置上方具有全部三個分量之最近位置複製色度分量。
舉例而言，在圖8中，若明度位置K處於複製上方模式，則視訊解碼器30複製位置C之色度分量，而非自G複製索引並藉由查找調色表獲得對應的色度分量值。
圖2為繪示可實施本發明之技術的實例視訊編碼器20之方塊圖。出於解釋之目的而提供圖2，且不應將圖2視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明描述在HEVC寫碼之情境中的視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20表示可經組態以根據本發明中所描述之各種實例執行用於基於調色盤之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20可經組態以利用調色模式寫碼當前區塊，其中對應色度區塊之大小不同於對應明度區塊之大小。
在圖2之實例中，視訊編碼器20包括預測處理單元100、視訊資料記憶體101、殘差產生單元102、變換處理單元104、量化單元106、逆量化單元108、逆變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(未展示)。視訊編碼器20亦包括基於調色盤之編碼單元122，其經組態以執行本發明中所描述的基於調色盤之寫碼技術之各種態樣。在其他實例中，視訊編碼器20可包括更多、更少或不同功能組件。
視訊資料記憶體101可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體101中之視訊資料。經解碼圖像緩衝器116可為儲存用於視訊編碼器20(例如)以框內或框間寫碼模式編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之 任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體101及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體101可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個相等大小的子區塊，將該等子區塊中之一或多者分割成四個相等大小的子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測之2N×2N、2N×N、N×2N、N×N或類似之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區 塊及PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測單元121可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測單元121不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測區塊係使用空間預測自同一圖框內的先前經編碼之相鄰區塊而形成。
若PU在P圖塊中，則框間預測處理單元120之運動估計單元可在用於PU之參考區域的參考圖像清單(例如，「RefPicList0」)中搜尋參考圖像。用於PU之參考區域可為參考圖像內含有最緊密地對應於PU之樣本區塊的樣本區塊之區域。運動估計單元可產生指示含有用於PU之參考區域之參考圖像的RefPicList0中之位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與關聯於參考區域的參考位置之間的空間移位之MV。舉例而言，MV可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元可輸出參考索引及MV作為PU之運動資訊。框間預測處理單元120之運動補償單元可基於由PU之運動向量指示之參考位置處的實際或經內插樣本而產生PU之預測性區塊。
若PU在B圖塊中，則框間預測處理單元120之運動估計單元可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元可搜尋RefPicList0或用於PU之參考區域的第二參考圖像清單(「RefPicList1」)之參考圖像。運動估計單元可輸出以下各者作為PU之運動資訊：指示含有參考區域之參考圖像之RefPicList0或RefPicList1中的位置之參考索引、指示PU之預測區塊與關聯於參考區域之參考位置之間的空間移位之MV，及指示參考圖像在RefPicList0中抑或在RefPicList1中之一或多個預測方向指示符。框間預測處理單元120之運動補償單元可至少部分地基於由PU之運動向量指示之參考區域處的實際或經內插樣本而產生PU之預測性區塊。
為針對PU執行雙向框間預測，運動估計單元可在用於PU之參考區域的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區域的RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考圖像索引。另外，運動估計單元可產生指示關聯於參考區域之參考位置與PU之樣本區塊之間的空間移位之MV。PU之運動資訊可包括參考索引及PU之MV。框間預測處理單元120之運動補償單元可至少部分地基於由PU之運動向量指示之參考區域處的實際或經內插樣本而產生PU之預測性區塊。
根據本發明之各種實例，視訊編碼器20可經組態以執行基於調色盤之寫碼。就HEVC構架而言，作為實例，基於調色盤之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色盤之寫碼技術可經組態以用作HEVC之構架中的PU模式。因此，本文中(貫穿本發明)在CU模式之情境中描述之全部所揭示處理程序可另外或替代地適用於PU。然而，此等基於HEVC之實例不應被視為約束或限制本文中所描述的基於調色盤之寫碼技術，因而，此等技術可經應用以獨立地或作為其他現有或尚待開發之系統/標準之部分工作。在此等情況下，用於調色盤寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
舉例而言，當(例如)針對CU或PU選擇基於調色盤之編碼模式時，基於調色盤之編碼單元122可執行基於調色盤之編碼。舉例而言，基於調色盤之編碼單元122可經組態以產生具有指示像素值之條目之調色盤，選擇調色盤中之像素值以表示視訊資料之區塊中的至少一些位置之像素值，及傳信使視訊資料之區塊的至少一些位置與調色盤中分別對應於所選擇像素值之條目相關聯的資訊。儘管將各種功能描述為藉由基於調色盤之編碼單元122執行，但此等功能中之一些或 全部可藉由其他處理單元或不同處理單元之組合執行。
根據本發明之態樣，基於調色盤之編碼單元122可經組態以執行下文關於圖4至圖7所描述或本發明中以其他方式所描述之用於調色盤寫碼之技術的任何組合。作為一項實例，基於調色盤之編碼單元122可導出用於當前區塊之調色表，且將調色表儲存於視訊資料記憶體101中。在一些情況下，基於調色盤之編碼單元122可基於調色表判定視訊資料之當前區塊中之像素並未經編碼(例如，像素為逸出像素)。在此實例中，基於調色盤之編碼單元122可判定視訊資料之當前區塊中之像素是否包括明度分量及色度分量。舉例而言，基於調色盤之編碼單元122可判定明度分量與色度分量之相位對準，並判定當前區塊中之像素是否包括明度分量及色度分量。
基於調色盤之編碼單元122可基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待在位元串流中傳信之色彩值的數目，且視訊編碼器20可基於色彩值之經判定數目在位元串流中針對像素傳信用於重建構當前區塊之色彩值。在此情況下，像素為逸出像素，意謂用於此像素之明度值及/或色度值不在調色盤中。若明度值/色度值在調色盤中，則視訊編碼器20將傳信調色盤索引。
作為一項實例，基於調色盤之編碼單元122可基於對當前區塊中之逸出像素包括明度分量及色度分量之判定而針對逸出像素判定將在位元串流中傳信三個色彩值。在此實例中，視訊編碼器20傳信用於視訊解碼器30所使用以重建構當前區塊的逸出像素的三個色彩值。作為另一實例，基於調色盤之編碼單元122可基於對當前區塊中之逸出像素僅包括明度分量而無任何色度分量之判定而判定將在位元串流中僅傳信單一色彩值。在此實例中，視訊編碼器20針對像素僅傳信視訊解碼器30所使用以重建構逸出像素之一個色彩值。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之 預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式以產生用於PU之預測性資料的多個集合。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本來產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目之框內預測模式，例如，各種方向的框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
預測處理單元100可自由框間預測處理單元120針對PU產生之預測性資料或由框內預測處理單元126針對PU產生之預測性資料當中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合之速率/失真量度而選擇用於CU之PU的預測性資料。所選擇之預測性資料的預測性區塊在本文中可被稱作所選擇之預測性區塊。
殘差產生單元102可基於CU之明度、Cb及Cr寫碼區塊及CU之PU的所選擇之預測性明度、Cb及Cr區塊而產生CU之明度、Cb及Cr殘餘區塊。舉例而言，殘差產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選擇預測性區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱 為「殘餘四分樹」(RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之分葉節點。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生用於CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或在概念上類似之變換應用於變換區塊。在一些實例中，變換處理單元104並不將變換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化處理程序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間，可將n位元變換係數無條件捨去為m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊之損失；因此，經量化變換係數相較於量化前之原始變換係數可具有較低精確度。
逆量化單元108及逆變換處理單元110可分別將逆量化及逆變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構之變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器20可重構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在濾波器單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構之寫碼區塊 之參考圖像，以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構之寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作，以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行情境自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之情境自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之經熵編碼資料的位元串流。舉例而言，位元串流可包括表示用於CU之RQT的資料。
圖3為繪示經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖3，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼之情境中的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊解碼器30表示可經組態以執行根據本發明中描述之各種實例的用於基於調色盤之視訊寫碼的技術的器件之實例。舉例而言，視訊解碼器30可經組態以利用調色模式寫碼當前區塊，其中對應色度區塊之大小不同於對應明度區塊之大小。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、逆量化單元154、逆變換處理單元156、重建構單元158、濾波器單元160，及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。視訊 解碼器30亦包括經組態以執行本發明中所描述的基於調色盤之寫碼技術之各種態樣的基於調色盤之解碼單元165。在其他實例中，視訊解碼器30可包括更多、更少或不同功能組件。
視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。可(例如)自電腦可讀媒體16(例如，自本端視訊源(諸如，攝影機))經由視訊資料之有線或無線網路通信或者藉由存取實體資料儲存媒體而獲得儲存於視訊資料記憶體151中之視訊資料。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於視訊解碼器30(例如)以框內或框間寫碼模式解碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨的記憶體器件提供視訊資料記憶體151及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊資料記憶體151中之經寫碼圖像緩衝器(CPB)可接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB接收經編碼視訊資料(例如，NAL單元)並剖析NAL單元以解碼語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼之語法元素。預測處理單元152、逆量化單元154、逆變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可自經寫碼圖塊NAL單元提取語法元素 並對該等語法元素進行熵解碼。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。圖塊標頭中之語法元素可包括識別與含有圖塊之圖像相關聯之PPS的語法元素。
除了解碼來自位元串流之語法元素之外，視訊解碼器30可對未分割之CU執行重建構操作。為了對未分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由針對CU之每一TU執行重構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，逆量化單元154可對與TU相關聯之係數區塊進行逆量化(亦即，解量化)。逆量化單元154可使用與TU之CU相關聯之QP值來判定量化程度且同樣地判定逆量化單元154應用的逆量化程度。亦即，可藉由調整在量化變換係數時使用的QP值來控制壓縮比，亦即，用以表示原始序列及經壓縮序列之位元數目之比率。壓縮比亦可取決於所採用的熵寫碼之方法。
在逆量化單元154對係數區塊進行逆量化之後，逆變換處理單元156可將一或多個逆變換應用於係數區塊，以便產生與TU相關聯之殘餘區塊。舉例而言，逆變換處理單元156可將逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆定向變換或另一逆變換應用於係數區塊。
若PU係使用框內預測來編碼，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於在空間上相鄰的PU之預測區塊而產生PU的預測性明度區塊、Cb區塊及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測來編碼，則熵解碼單元150可提取用於PU之 運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多個參考區域。運動補償單元164可基於在用於PU之一或多個參考區塊處的樣本區塊而產生用於PU的預測性明度區塊、Cb區塊及Cr區塊。
重建構單元158可在適用時使用與CU之TU相關聯的明度變換區塊、Cb變換區塊及Cr變換區塊以及CU之PU的預測性明度區塊、Cb區塊及Cr區塊(亦即，框內預測資料或框間預測資料)來重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。舉例而言，重建構單元158可將明度變換區塊、Cb變換區塊及Cr變換區塊之樣本添加至預測性明度區塊、Cb區塊及Cr區塊之對應樣本，以重建構CU的明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。
濾波器單元160可執行解區塊操作以減少與CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度區塊、Cb區塊及Cr區塊對其他CU之PU執行框內預測操作或框間預測操作。
根據本發明之各種實例，視訊解碼器30可經組態以執行基於調色盤之寫碼。舉例而言，當(例如)針對CU或PU選擇基於調色盤之解碼模式時，基於調色盤之解碼單元165可執行基於調色盤之解碼。舉例而言，基於調色盤之解碼單元165可經組態以產生具有指示像素值之條目的調色盤，接收使視訊資料區塊中之至少一些像素位置與調色盤中之條目相關的資訊，基於資訊選擇調色盤中之像素值，且基於調色盤中之所選擇的像素值重建構區塊之像素值。儘管各種功能經描述為藉由基於調色盤之解碼單元165執行，但此等功能中之一些或全部 可藉由其他處理單元或不同處理單元之組合執行。
基於調色盤之解碼單元165可接收調色盤寫碼模式資訊，且在調色盤寫碼模式資訊指示調色盤寫碼模式適用於區塊時執行以上操作。在調色盤寫碼模式資訊指示調色盤寫碼模式不適用於區塊時，或在其他模式資訊指示不同模式之使用時，預測處理單元152使用基於非調色盤之寫碼模式(例如，此HEVC框間預測或框內預測寫碼模式)解碼視訊資料之區塊。視訊資料之區塊可為(例如)根據HEVC寫碼程序產生的CU或PU。基於調色盤之寫碼模式可包含複數個不同的基於調色盤之寫碼模式中的一者，或可存在單個基於調色盤之寫碼模式。
根據本發明之態樣，基於調色盤之解碼單元165可經組態以執行下文關於圖4至圖7所描述或本發明中以其他方式所描述之用於調色盤寫碼之技術的任何組合。舉例而言，基於調色盤之解碼單元165可針對視訊資料之當前區塊導出包括具有三個色彩值之條目的單個調色表。視訊資料記憶體151可儲存包括具有三個色彩值之條目的調色表。
基於調色盤之解碼單元165可判定視訊資料之當前區塊中的像素是否包括明度分量及色度分量。舉例而言，基於調色盤之解碼單元165可判定當前區塊之明度分量與當前區塊之色度分量之間的相位對準。基於調色盤之解碼單元165可基於所判定之相位對準來判定當前區塊中之像素是否包括明度分量及色度分量。
在一些實例中，基於調色盤之解碼單元165可基於對當前區塊中之像素是否包括明度分量及色度分量之判定來判定待自調色表擷取之色彩值的數目。基於調色盤之解碼單元165基於對當前區塊中之像素包括明度分量及色度分量之判定而判定將自調色表擷取三個色彩值。基於調色盤之解碼單元165基於對當前區塊中之像素僅包括明度分量而無任何色度分量之判定而判定僅將自調色表擷取三個色彩值中之單 一色彩值。一般而言，視訊解碼器30可接收將一個條目識別至調色表中之單一索引。基於調色盤之解碼單元165可基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待自所識別之條目擷取至調色表中之色彩值的數目。
基於調色盤之解碼單元165可基於對待擷取之色彩值的數目之判定而對視訊資料之當前區塊中的像素進行調色模式解碼。舉例而言，若基於調色盤之解碼單元165判定像素包括明度分量及色度分量，則基於調色盤之解碼單元165可自調色表擷取三個色彩值，且將三個色彩值中之每一者指派至像素之各別明度分量及色度分量。若基於調色盤之解碼單元165判定像素僅包括明度分量而無任何色度分量，則基於調色盤之解碼單元165可自調色表擷取單一色彩值(例如，三個色彩值中之第一所識別色彩值)，且將該單一色彩值指派至像素之明度分量。
在以上實例中，當前區塊之像素係基於調色表中之一或多個色彩值而解碼。然而，在一些實例中，當前區塊中之像素(例如，逸出像素)可不基於調色表解碼。在此等實例中，基於調色盤之解碼單元165可判定當前區塊中之逸出像素是否包括明度分量及色度分量。
基於調色盤之解碼單元165可基於對當前區塊中之逸出像素是否包括明度分量及色度分量之判定而判定待自位元串流剖析之色彩值的數目。舉例而言，基於調色盤之解碼單元165可基於對當前區塊中之逸出像素包括明度分量及色度分量之判定而判定將自位元串流剖析三個色彩值(可能經量化)。作為另一實例，基於調色盤之解碼單元165可基於對當前區塊中之逸出像素僅包括明度分量而無任何色度分量之判定而判定將自位元串流僅剖析單一色彩值(可能經量化)。
對於逸出像素，基於調色盤之解碼單元165可基於待自位元串流剖析之色彩值的經判定數目來解碼逸出像素。若逸出像素包括明度分 量及色度分量，則基於調色盤之解碼單元165可剖析三個色彩值(可能經量化)並將各別色彩值指派至明度分量及兩個色度分量。若逸出像素僅包括明度分量而無任何色度分量，則基於調色盤之解碼單元165可剖析僅一個色彩值(可能經量化)並將彼色彩值指派至明度分量。
圖4為繪示判定用於寫碼視訊資料之調色盤的實例之概念圖。圖4之實例包括圖像178，其具有與第一調色盤184相關聯之第一寫碼單元(CU)180及與第二調色盤192相關聯之第二CU 188。第一CU 180及第二CU 188係使用調色模式(PAL)來寫碼。如下文更詳細地描述，第二調色盤192係基於第一調色盤184。圖像178亦包括用框內預測寫碼模式寫碼之區塊196及用框間預測寫碼模式寫碼之區塊200。
基於螢幕內容視訊之特性，文件JCTVC-M0323(「Palette Mode for Screen Content Coding」，L.Guo等人，JCTVC-M0323，韓國仁川，2013年4月18日至26日)中首次提出引入調色盤寫碼以改良SCC效率，該文件之全部內容以引用之方式併入本文中。具體而言，基於在SCC中，一個CU內之色彩通常集中於幾個峰值的事實，調色盤寫碼引入查找表(亦即，色彩調色盤)來壓縮重複的像素值。在給定用於特定CU之調色盤的情況下，CU內之像素經映射至調色盤索引。在第二階段中，提出自左側執行長度複製之技術以有效地壓縮索引區塊之重複圖案。在文件JCTVC-N0249(「Non-RCE3：Modified Palette Mode for Screen Content Coding」，Guo等人，JCTVC-N0249，奧地利維也納，2013年7月25日至8月2日)中，調色盤索引寫碼模式經一般化以准許用執行長度寫碼自左側複製及自上方複製兩者。應注意，在一些情況下，不針對調色盤寫碼調用變換程序以避免模糊銳邊，模糊銳邊對螢幕內容之視覺品質具有不利影響。
一般而言，調色盤為儲存(索引、像素值)對之資料結構。可(例如)藉由當前CU中之像素值的直方圖在視訊編碼器20處決定經設計之 調色盤。舉例而言，將直方圖中之峰值添加至調色盤中，而低頻像素值並未包括於調色盤中。
出於解釋之目的，在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)之情境中並關於HEVC視訊寫碼標準描述圖4之技術。然而，應理解，本發明之技術不以此方式受限，且可藉由其他視訊寫碼處理器及/或器件在其他視訊寫碼程序及/或標準中應用。
一般而言，調色盤係指對於當前正經寫碼之CU(圖4之實例中的CU 180)而言為主要的及/或代表性的若干像素值。第一調色盤184及第二調色盤192經展示為包括多個調色盤。在一些實例中，根據本發明之態樣，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可針對CU之每一色彩分量單獨地寫碼調色盤。舉例而言，視訊編碼器20可編碼用於CU之明度(Y)分量的調色盤、用於CU之色度(U)分量的另一調色盤，及用於CU之色度(V)分量的又一調色盤。在此實例中，Y調色盤之條目可表示CU之像素的Y值，U調色盤之條目可表示CU之像素的U值，且V調色盤之條目可表示CU之像素的V值。
在其他實例中，視訊編碼器20可編碼用於CU之全部色彩分量的單個調色盤。在此實例中，視訊編碼器20可編碼具有為三重值(包括Yi、Ui及Vi)之第i個條目的調色盤。在此情況下，調色盤包括用於像素之分量中之每一者的值。因此，作為具有多個個別調色盤之調色盤集合的調色盤184及192之表示僅為一項實例且不意欲為限制性的。
在圖4之實例中，第一調色盤184中之每一者包括分別具有條目索引值1、條目索引值2及條目索引值3的三個條目202至206。條目202至206分別使索引值與包括像素值A、像素值B及像素值C之像素值相關。如本文所描述，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可使用基於調色盤之寫碼以使用索引1至3對區塊之像素進行寫碼，而非對第一CU 180之實際像素值進行寫碼。亦即，對於第一CU 180之 每一像素位置，視訊編碼器20可編碼像素的索引值，其中索引值與第一調色盤184中之一或多者中的像素值相關聯。視訊解碼器30可自位元流獲得索引值並使用索引值及第一調色盤184中之一或多者重建構像素值。因此，第一調色盤184係藉由視訊編碼器20在經編碼視訊資料位元流中傳輸以供視訊解碼器30在基於調色盤之解碼中使用。
在一些實例中，可自另一調色盤(例如，先前在寫碼期間使用的調色盤)預測調色盤之一或多個條目。舉例而言，調色盤可包括自預測子調色盤複製之條目。預測子調色盤可包括來自先前使用調色模式寫碼之區塊或來自其他經重建構之樣本的調色盤條目。對於預測子調色盤中之每一條目，二進位旗標可包括於位元串流中以指示是否將彼條目複製至當前調色盤(例如，藉由旗標=1指示)。用於各別調色盤條目之一系列二進位旗標可被稱作二進位調色盤預測向量。另外，當前調色盤可包括經明確傳信之新條目。亦可傳信新條目之數目。
在圖4之實例中，視訊編碼器20及視訊解碼器30可基於第一調色盤184來判定第二調色盤192。舉例而言，視訊編碼器20及/或視訊解碼器30可定位自其判定預測性調色盤(在此實例中為第一調色盤184)的一或多個區塊。在一些實例(諸如圖4中所繪示之實例)中，視訊編碼器20及/或視訊解碼器30可在判定用於第二CU 188之預測性調色盤時定位先前經寫碼之CU，諸如左側相鄰CU(第一CU 180)。
在圖4之實例中，第二調色盤192包括分別具有條目索引值1、條目索引值2及條目索引值3的三個條目208至212。條目208至212分別使索引值與包括像素值A、像素值B及像素值D之像素值相關。在此實例中，視訊編碼器20可寫碼指示第一調色盤184之哪些條目包括於第二調色盤192中的一或多個語法元素。在圖4之實例中，一或多個語法元素經繪示為向量216。向量216具有若干相關聯位元子(或位元)，其中每一位元子指示與該位元子相關聯之調色盤預測子是否用於預測當前 調色盤之條目。舉例而言，向量216指示第一調色盤184中的前兩個條目(202及204)包括於第二調色盤192中(向量216中之值「1」)，而第一調色盤184中之第三條目不包括於第二調色盤192中(向量216中之值「0」)。在圖4之實例中，向量為布林(Boolean)向量。
在一些實例中，視訊編碼器20及視訊解碼器30可在執行調色盤預測時判定調色盤預測子清單(其亦可被稱作調色盤預測子表)。調色盤預測子清單可包括來自用以預測用於寫碼當前區塊之調色盤之一或多個條目的一或多個相鄰區塊之調色盤之條目。視訊編碼器20及視訊解碼器30可以相同方式來建構清單。視訊編碼器20及視訊解碼器30可寫碼資料(諸如向量216)以指示調色盤預測子清單之哪些條目將包括於用於寫碼當前區塊之調色盤中。
圖5繪示調色盤預測之實例。舉例而言，對於SCC，一個圖塊內之CU區塊可共用許多主要色彩。因此，如上文相對於圖4所提及，使用先前調色模式CU之調色盤(按CU解碼次序)作為參考來預測當前區塊之調色盤可係可能的。具體而言，可傳信0至1二進位向量以指示當前調色盤是否再使用參考調色盤中之像素值。作為實例，在圖5中，假定參考調色盤具有6個項目。可用當前調色盤傳信向量(1,0,1,1,1,1)，該向量指示v0、v2、v3、v4、及v5再用於當前調色盤中而v1未經再用。若當前調色盤含有不可自參考調色盤預測之色彩，則寫碼未經預測之色彩的數目且隨後可直接傳信此等色彩。舉例而言，在圖5中，可在位元串流中直接傳信u0及u1。
圖6為繪示判定對用於像素之區塊之調色盤的索引之實例的概念圖。舉例而言，在當前HEVC螢幕內容寫碼測試模型2(SCM 2)參考軟體中，自規範性角度，調色盤寫碼之兩個主要態樣為針對正在調色模式中寫碼之區塊中的每一樣本對調色盤寫碼及對調色盤索引寫碼。如上文所提及，調色盤索引之寫碼可使用兩個主要模式(包括索引模式 及自上方複製模式)執行。在索引模式中，最初可傳信(例如)調色盤索引。若索引等於調色盤之大小，則此情形指示樣本為逸出樣本。在此情況下，傳信用於每一分量之樣本值或經量化樣本值。在自上方複製模式中，僅非負執行長度值 m-1 可經傳輸以指示後續 m 個像素(包括當前一個像素)分別共用調色盤索引作為其正上方的相鄰者。
在一些實例中，可使用palette_mode旗標來傳信用於特定區塊之調色模式。如上文所提及，索引模式亦用於指示逸出樣本，亦即，不屬於調色盤之樣本。在當前設計中，自上方複製模式不可能用於調色盤區塊之第一列。另外，自上方複製模式可不遵循另一自上方複製模式。在此等情況下，推斷出索引模式。
在當前設計中，調色模式係以CU層級傳信，但以PU層級傳信該調色模式可係可能的。亦可傳信旗標palette_esc_val_present_flag來指示當前區塊中之逸出樣本之存在。以不同方式傳信調色模式亦係可能的。舉例而言，在文件JCTVC-P0231(W.Pu、F.Zou、M.Karczewicz及R.Joshi，「Non-RCE4：Refinement of the palette in RCE4 Test 2」，JCTVC-P0231)中，提出使用顯式旗標來指示當前樣本是否為逸出樣本。若當前樣本為非逸出樣本，則傳信另一旗標以指示調色模式為自上方複製模式抑或索引模式。
圖6之實例包括使關聯於索引值之像素的各別位置與調色盤244之條目相關的索引值(值1、2及3)之映射240。雖然映射240在圖6之實例中經繪示為包括每一像素位置之索引值，但應理解，在其他實例中，並非全部像素位置可與使像素值與調色盤244之條目相關的索引值相關聯。亦即，如上文所提及，在一些實例中，若像素值並不包括於調色盤244中，則視訊編碼器20可編碼(且視訊解碼器30可自經編碼位元流獲得)用於映射240中之位置的實際像素值(或其經量化版本)之指示。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼指示哪些像素位置與索引值相關聯的額外映射。舉例而言，假定映射中之(i,j)條目對應於CU之(i,j)位置。視訊編碼器20可針對指示條目是否具有相關聯索引值之映射的每一條目(亦即，每一像素位置)來編碼一或多個語法元素。在此實例中，視訊編碼器20亦可編碼調色盤索引(在圖6之實例中展示為值1至3)以指示調色盤中之對應像素值並允許視訊解碼器30重建構像素值。
CU之一個位置中的像素之值可提供CU之其他位置中的一或多個其他像素之值之指示。舉例而言，可存在CU之相鄰像素位置將具有相同像素值或可映射至相同索引值(在有損寫碼情況下，其中一個以上像素值可映射至單一索引值)的相對高機率。
因此，視訊編碼器20可編碼指示在給定掃描次序中之經寫碼為一群組之連續像素或索引值之數目之一或多個語法元素。所謂的值之「字串」可被稱作具有執行長度之執行。舉例而言，索引模式中之執行可指示具有相同索引值之像素的字串。在另一實例中，自上方複製模式中之執行長度可指示共用與上方相鄰像素相同的值之像素值之字串。視訊解碼器30可自經編碼位元串流獲得指示執行之語法元素，並使用資料來判定經寫碼在一起之連續位置的數目。
如上文所提及，可結合複製上部(亦被稱作自上方複製)模式或複製左側模式(亦被稱作索引模式)使用執行。在用於說明之目的之實例中，考慮映射240的列264及268。假定水平的自左至右之掃描方向，列264包括三個索引值「1」、兩個索引值「2」及三個索引值「3」。列268包括五個索引值「1」及三個索引值「3」。在此實例中，視訊編碼器20在編碼用於列268之資料(例如，複製上部模式)時可識別列264之特定條目，然後識別執行。舉例而言，視訊編碼器20可編碼指示列268之第一位置(列268之最左邊的位置)與列264的第一位置 相同之一或多個語法元素。視訊編碼器20亦可編碼指示在列268中之掃描方向上之兩個連續條目的下一執行與列264的第一位置相同之一或多個語法元素。
在對指示列264之第一位置及兩個條目(上文提及)之執行的一或多個語法元素進行編碼之後，視訊編碼器20可針對線268中之第四及第五位置(自左至右)編碼指示第四位置之值1的一或多個語法元素及指示為1之執行的一或多個語法元素(例如，複製左側模式)。因此，視訊編碼器20在不參考另一線的情況下編碼此等兩個位置。在一些實例中，複製左側模式亦可被稱作「值」模式。
視訊編碼器20可隨後相對於上列264編碼列268中具有索引值3之第一位置(例如，指示自上列264之複製及掃描次序中之具有相同索引值之連續位置的執行)。因此，視訊編碼器20可在(例如)使用執行相對於線之其他值寫碼該線之像素值或索引值，相對於另一線(或行)之值寫碼線之像素值或索引值或其組合之間進行選擇。在一些實例中，視訊編碼器20可執行速率/失真最佳化以作出選擇。
視訊解碼器30可接收上文所描述之語法元素，且可重建構列268。舉例而言，視訊解碼器30可獲得指示相鄰列中之特定位置的資料，自該相鄰列複製當前正經寫碼之映射240之位置的相關聯索引值。視訊解碼器30亦可獲得指示在掃描次序中經處理為群組(例如，在具有執行長度之執行中)的連續位置之數目之資料。儘管關於水平掃描次序進行描述，但本發明之技術亦可應用於另一掃描方向，諸如垂直掃描方向或對角線(例如，在區塊中成45度或135度對角)掃描方向。
圖7為繪示自先前經寫碼列複製調色盤索引之實例的概念圖。圖7之實例通常可說明複製先前列(Copy Previous Row)模式。舉例而言，如上文所提及，複製先前列模式可類似於自上方複製模式操作； 然而，可明確傳信自其複製索引之列。複製先前列模式可使得待自先前經寫碼列複製之像素值能夠超出當前正經寫碼之像素正上方的列。
舉例而言，為達成更佳的寫碼效率，複製先前列模式允許使用任何先前經寫碼列作為參考。可將複製先前列模式添加於可用調色模式候選清單中。在選擇複製先前列模式時可對列索引資訊進行寫碼。可使用截斷二進位碼字對列索引進行寫碼。可針對更接近當前列定位之列指定更短的碼字。如同其他調色模式，可在位元串流中寫碼匹配長度(例如，經寫碼在一起之位置的執行長度)。為減少與自上方複製模式之冗餘，複製先前模式可自當前CU之第三列開始有效。
在申請於2014年6月20之美國臨時申請案第62/015,177號(「177臨時案)及申請於2014年6月27之美國臨時申請案第62/018,477號(「477臨時案)，以及文件JCTVC-R0202(F.Zou、M.Karczewicz、R.Joshi及J.Sole，「Non-SCCE3：Copy from previous row mode for palette coding」，JCTVC-R0202)中，提出複製先前列(亦被稱作「自先前列複製(Copy from Previous Row)」)之若干態樣，包括但不限於可用於表示「索引」、「自上方複製」及「複製先前列」模式之模式寫碼/傳信技術。在一些實例中，截斷一元寫碼可用於此等三個模式。在此等實例中，在一些模式不可用時可減小最大符號值，從而減少間接費用成本。
圖10為繪示解碼視訊資料之實例的流程圖。視訊解碼器30可針對視訊資料之當前區塊導出包括具有三個色彩值之條目的單個調色表(1000)。視訊資料記憶體151可儲存調色表。
視訊解碼器30可判定視訊資料之當前區塊中的像素是否包括明度分量及色度分量(1002)。舉例而言，視訊解碼器30可判定當前區塊之明度分量與當前區塊之色度分量之間的相位對準。視訊解碼器30可基於所判定之相位對準來判定當前區塊中之像素是否包括明度分量及 色度分量。
視訊解碼器30可基於對當前區塊之像素是否包括明度分量及色度分量之判定而判定待自調色表擷取之色彩值的數目(1004)。視訊解碼器30可基於對待擷取之色彩值的數目之判定而對視訊資料之當前區塊中的像素進行調色模式解碼(1006)。
舉例而言，視訊解碼器30可接收將一個條目識別至調色表中之單一索引。在此實例中，視訊解碼器30可基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待自所識別之條目擷取至調色表中之色彩值的數目。
在一項實例中，視訊解碼器30可基於對當前區塊中之像素包括明度分量及色度分量之判定而判定將自調色表擷取三個色彩值。在此實例中，為了對像素進行調色模式解碼，視訊解碼器30可自調色表擷取三個色彩值，並將該三個色彩值中之每一者指派至像素之各別明度分量及色度分量。
在另一實例中，視訊解碼器30可基於對當前區塊中之像素僅包括明度分量而無任何色度分量之判定來判定將僅自調色表擷取三個色彩值之單個色彩值。在此實例中，為了對像素進行調色模式解碼，視訊解碼器30可自調色表擷取單個色彩值，並將該單個色彩值指派至像素之明度分量。舉例而言，單個色彩值可為儲存於調色表中之三個色彩值中的第一所識別色彩值。
在圖10中所繪示之以上實例中，當前區塊之像素可被視為第一像素。在一些實例中，視訊解碼器30可判定當前區塊中之第二像素將不基於調色表解碼(例如，第二像素為逸出像素)。視訊解碼器30可判定當前區塊中之第二像素是否包括明度分量及色度分量，且基於對當前區塊中之第二像素是否包括明度分量及色度分量之判定而判定待自位元串流剖析之色彩值的數目。色彩值可能經量化，且在以下描述 中，儘管未明確陳述，但應假定色彩值可能經量化。然而，色彩值可不一定始終經量化。
視訊解碼器30可基於待自位元串流剖析之色彩值的經判定數目來解碼當前區塊中之第二像素。視訊解碼器30基於對當前區塊中之第二像素包括明度分量及色度分量之判定而判定將自位元串流剖析三個色彩值，且視訊解碼器30基於對當前區塊中之第二像素僅包括明度分量而無任何色度分量之判定來判定將僅自位元串流剖析單個色彩值。
圖11為繪示編碼視訊資料之實例的流程圖。視訊編碼器20可判定視訊資料之當前區塊中的像素(例如，逸出像素)將不基於儲存於視訊資料記憶體101中之調色表來編碼(1100)。視訊編碼器20可判定視訊資料之當前區塊中之像素是否包括明度分量及色度分量(1102)，且可基於對當前區塊中之像素是否包括明度分量及色度分量之判定而判定待在位元串流中傳信之色彩值的數目(1104)。視訊編碼器20可基於色彩值之經判定數目在位元串流中針對像素傳信用於重建構當前區塊之色彩值(1106)。
作為一項實例，為判定待在位元串流中傳信之色彩值的數目，視訊編碼器20可基於對當前區塊中之像素包括明度分量及色度分量之判定而判定將在位元串流中傳信三個色彩值。為傳信色彩值，視訊編碼器20可傳信用於視訊解碼器30所使用以重建構當前區塊的像素的三個色彩值。
作為另一實例，為判定待在位元串流中傳信之色彩值的數目，視訊編碼器20可基於對當前區塊中之像素僅包括明度分量而無任何色度分量之判定來判定將在位元串流中僅傳信單個色彩值。為傳信，視訊編碼器20可針對像素僅傳信視訊解碼器30所使用以重建構當前區塊之一個色彩值。
上文所描述之技術可藉由視訊編碼器20(圖1及圖2)及/或視訊解 碼器30(圖1及圖3)執行，該兩者通常可被稱作視訊寫碼器。同樣地，若適用，則視訊寫碼可指視訊編碼或視訊解碼。另外，視訊編碼及視訊解碼通常可被稱作「處理」視訊資料。
應理解，本文所描述之所有技術可單獨地或以組合方式使用。本發明包括可取決於某些因素(諸如，區塊大小、調色盤大小、圖塊類型等)改變之若干傳信方法。在傳信或推斷語法元素中之此類變化可事先對編碼器及解碼器為已知或可在視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、圖塊標頭中在圖案塊層級或其他處經明確地傳信。
將認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行，可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序地執行動作或事件。另外，儘管出於清晰之目的將本發明之某些態樣描述為藉由單一模組或單元執行，但應理解，本發明之技術可藉由與視訊寫碼器相關聯之單元或模組之組合來執行。
儘管在上文描述技術的各種態樣之特定組合，但提供此等組合僅為了說明本發明中所描述的技術之實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中描述之技術的各種態樣之任何可設想組合。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體，或通信媒體，其包括(例如)根據 通信協定促進將電腦程式自一處傳送至另一處之任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指代前述結構或適合於實施本文中所描述之技術的任何其他結構中的任一者。此外，在一些態樣中，本文中所描述之功能性可提供在經組態用於編碼及解碼的專用硬體及/或軟體模 組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
1000‧‧‧區塊
1002‧‧‧區塊
1004‧‧‧區塊
1006‧‧‧區塊

Claims (30)

  1. 一種解碼視訊資料之方法，該方法包含：針對該視訊資料之一當前區塊導出包括具有三個色彩值之條目的一單個調色表；判定該視訊資料之一當前區塊中之一像素是否包括一明度分量及色度分量；基於對該當前區塊中之該像素僅包括該明度分量及無該等色度分量之一判定來判定三個色彩值的僅單個色彩值待自該單個調色表擷取；及藉由自該單個調色表擷取該單個色彩值及將該單個色彩值指派至該像素之該明度分量來對該視訊資料之該當前區塊中的該像素進行調色模式解碼。
  2. 如請求項1之方法，其進一步包含：判定該當前區塊之明度分量與該當前區塊之色度分量之間的一相位對準，其中判定該當前區塊中之該像素是否包括該明度分量及該等色度分量包含基於該所判定之相位對準判定該當前區塊中之該像素是否包括該明度分量及該等色度分量。
  3. 如請求項1之方法，其進一步包含：基於該視訊資料之一第二區塊中之一像素是否包括一明度分量及色度分量的一判定來判定自一第二單個調色表擷取之色彩值的一第二數目，其中判定色彩值之該第二數目包含基於對該第二區塊中之該像素包括該明度分量及該等色度分量之一判定來判定將自該單個調色表擷取三個色彩值，且其中對該第二區塊中之該像素進行調色模式解碼包含自該第二單個調色表擷取該三個色彩值及將該三個色彩 值中之每一者指派至該第二區塊中之該像素之各別明度分量及色度分量。
  4. 如請求項1之方法，其中該單個色彩值包含該三個色彩值中之一第一經識別色彩值。
  5. 如請求項1之方法，其中該像素包含一第一像素，該方法進一步包含：判定該當前區塊中之一第二像素將不基於該單個調色表解碼；判定該當前區塊中之該第二像素是否包括一明度分量及色度分量；基於對該當前區塊中之該第二像素是否包括該明度分量及該等色度分量之該判定來判定待自一位元串流剖析之色彩值的一數目；及基於待自該位元串流剖析之色彩值的該經判定數目來解碼該當前區塊中之該第二像素。
  6. 如請求項5之方法，其中判定待自該位元串流剖析之色彩值的該數目包含基於對該當前區塊中之該第二像素包括該明度分量及該等色度分量之一判定來判定將自該位元串流剖析三個色彩值。
  7. 如請求項5之方法，其中判定待自該位元串流剖析之色彩值的該數目包含基於對該當前區塊中之該第二像素僅包括該明度分量而無任何該等色度分量之一判定來判定將自該位元串流僅剖析一單個色彩值。
  8. 如請求項1之方法，其進一步包含：接收識別該單個調色表中之一個條目的一單一索引，其中判定待自該單個調色表擷取之三個色彩值的僅單個色彩 值包含基於對該當前區塊中之該像素是否包括該明度分量及該等色度分量之該判定來判定待自該單個調色表中之該經識別條目擷取之色彩值的該數目。
  9. 一種用於解碼視訊資料之器件，該器件包含：一記憶體單元，其經組態以儲存用於該視訊資料之一當前區塊之包括具有三個色彩值之條目的一單個調色表；及一視訊解碼器，其經組態以：針對該視訊資料之該當前區塊導出該單個調色表且並未針對該當前區塊導出其他調色表以供儲存於該記憶體單元中；判定該視訊資料之該當前區塊中之一像素是否包括一明度分量及色度分量；基於對該當前區塊中之該像素僅包括該明度分量及無該等色度分量之該一判定來判定該等三個色彩值的僅單個色彩值待自該單個調色表擷取；及藉由自該單個調色表擷取該單個色彩值及將該單個色彩值指派至該像素之該明度分量來對該視訊資料之該當前區塊中的該像素進行調色模式解碼。
  10. 如請求項9之器件，其中該視訊解碼器經組態以：判定該當前區塊之明度分量與該當前區塊之色度分量之間的一相位對準，其中為了判定該當前區塊中之該像素是否包括該明度分量及該等色度分量，該視訊解碼器經組態以基於該經判定之相位對準來判定該當前區塊中之該像素是否包括該明度分量及該等色度分量。
  11. 如請求項9之器件，其中該視訊解碼器經組態以：基於對該當前區塊中之該像素包括該明度分量及該等色度分量之一判定藉由 來判定三個色彩值將自該調色表擷取，來判定色彩值之一數目；且其中藉由自該單個調色表擷取該等三個色彩值並將該等三個色彩值中之每一者指派至該像素之各別明度分量及色度分量來對該當前區塊中之該像素進行調色模式解碼。
  12. 如請求項9之器件，其中該單個色彩值包含該三個色彩值中之一第一經識別色彩值。
  13. 如請求項9之器件，其中該像素包含一第一像素，且其中該視訊解碼器經組態以：判定該當前區塊中之一第二像素將不基於該單個調色表解碼；判定該當前區塊中之該第二像素是否包括一明度分量及色度分量；基於對該當前區塊中之該第二像素是否包括該明度分量及該等色度分量之該判定來判定待自一位元串流剖析之色彩值的一數目；及基於待自該位元串流剖析之色彩值的該經判定數目來解碼該當前區塊中之該第二像素。
  14. 如請求項13之器件，其中為了判定待自該位元串流剖析之色彩值的該數目，該視訊解碼器經組態以基於對該當前區塊中之該第二像素包括該明度分量及該等色度分量之該判定來判定將自該位元串流剖析三個色彩值。
  15. 如請求項13之器件，其中為了判定待自該位元串流剖析之色彩值的該數目，該視訊解碼器經組態以基於對該當前區塊中之該第二像素僅包括該明度分量而無任何該等色度分量之一判定來判定將自該位元串流僅剖析一單個色彩值。
  16. 如請求項9之器件，其中該視訊解碼器經組態以： 接收識別該單個調色表中之一個條目的一單一索引，其中為了判定該等三個色彩值的僅單個色彩值待自該單個調色表擷取，基於對該當前區塊中之該像素是否包括該明度分量及該等色度分量之該判定來判定待自該單個調色表中之該經識別條目擷取之色彩值的該數目。
  17. 如請求項9之器件，其中該器件包含一處理器、一積體電路、一無線通信器件或經組態以顯示包括該當前區塊之一圖像的一顯示器中之至少一者。
  18. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時引起用於解碼視訊資料之器件的一或多個處理器進行以下操作：針對該視訊資料之一當前區塊導出包括具有三個色彩值之條目的一單個調色表；判定該視訊資料之該當前區塊中之一像素是否包括一明度分量及色度分量；基於對該當前區塊中之該像素僅包括該明度分量及無該等色度分量之一判定來判定該等三個色彩值的僅單個色彩值待自該單個調色表擷取；及藉由自該單個調色表擷取該單個色彩值及將該單個色彩值指派至該像素之該明度分量來對該視訊資料之該當前區塊中的該像素進行調色模式解碼。
  19. 如請求項18之非暫時性電腦可讀儲存媒體，其進一步包含引起該一或多個處理器進行以下操作之指令：判定該當前區塊之明度分量與該當前區塊之色度分量之間的一相位對準，其中引起該一或多個處理器判定該當前區塊中之該像素是否 包括該明度分量及該等色度分量之該等指令包含引起該一或多個處理器基於該經判定之相位對準來判定該當前區塊中的該像素是否包括該明度分量及該等色度分量之指令。
  20. 如請求項19之非暫時性電腦可讀儲存媒體，其進一步包引起該一或多個處理器進行以下操作之指令：藉由基於對該當前區塊中之該像素包括該明度分量及該等色度分量之一判定來判定三個色彩值待自該單個調色表擷取；及藉由自該單個調色表擷取該三個色彩值並將該三個色彩值中之每一者指派至該像素之各別明度分量及色度分量來對該當前區塊中之該像素進行調色模式解碼。
  21. 一種用於解碼視訊資料之器件，該器件包含：用於針對該視訊資料之一當前區塊導出包括具有三個色彩值之條目的一單個調色表之構件；用於判定該視訊資料之一當前區塊中之一像素是否包括一明度分量及色度分量之構件；用於基於對該當前區塊中之該像素僅包括該明度分量及無該等色度分量之一判定來判定該等三個色彩值的僅單個色彩值待自該單個調色表擷取；及用於基於藉由自該單個調色表擷取該單個色彩值及將該單個色彩值指派至該像素之該明度分量來對該視訊資料之該當前區塊中的該像素進行調色模式解碼之構件。
  22. 如請求項21之器件，其進一步包含：用於判定該當前區塊之明度分量與該當前區塊之色度分量之間的一相位對準之構件，其中用於判定該當前區塊中之該像素是否包括該明度分量及該等色度分量之該構件包含用於基於該經判定之相位對準來判 定該當前區塊中的該像素是否包括該明度分量及該等色度分量之構件。
  23. 如請求項21之器件，其進一步包含：用於判定色彩值之一數目的構件，其係藉由用於基於對該當前區塊中之該像素包括該明度分量及該等色度分量之一判定來判定將自該單個調色表擷取三個色彩值；用於對該當前區塊中之該像素進行調色模式解碼的構件，其藉由用於自該單個調色表擷取該三個色彩值；及用於將該三個色彩值中之每一者指派至該像素之各別明度分量及色度分量的構件。
  24. 一種編碼視訊資料之方法，該方法包含：判定該視訊資料之一當前區塊中之一像素將不基於一單個調色表編碼；判定該視訊資料之該當前區塊中之該像素是否包括一明度分量及色度分量；基於對該當前區塊中之該像素僅包括該明度分量及無該等色度分量之一判定來判定僅單個色彩值待在一位元串流中傳信；及藉由針對該像素傳信僅單個色彩值在該位元串流中針對該像素傳信用於重建構該當前區塊的多個色彩值。
  25. 如請求項24之方法，其進一步包含：基於對該之一第二區塊中之一像素是否包括一明度分量及多個色度分量之一判定來判定將在該位元串流中傳信色彩值的一第二數目，且其中判定色彩值的該第二數目包含：基於該第二區塊中之該像素包括一明度分量及多個色度分量之一判定來判定將在該位元串流中傳信三個色彩值；及其中傳信色彩值包含針對該第二區塊中之該像素 傳信三個色彩值。
  26. 如請求項24之方法，其中傳信色彩值包含傳信經量化色彩值。
  27. 一種用於編碼視訊資料之器件，該器件包含：一記憶體單元，其經組態以儲存用於該視訊資料之一當前區塊的一調色表；及一視訊編碼器，其經組態以：判定該視訊資料之該當前區塊中之一像素將不基於該調色表編碼；判定該視訊資料之該當前區塊中之該像素是否包括一明度分量及色度分量；基於對該當前區塊中之該像素僅包括該明度分量及無該等色度分量之一判定來判定待在一位元串流中僅傳信單個色彩值；及藉由針對該像素傳信僅單個色彩值在該位元串流中針對該像素傳信用於重建構該當前區塊之多個色彩值。
  28. 如請求項27之器件，其中該視訊編碼器經組態以進行以下操作之指令：判定待在該位元串流中傳信之色彩值的一數目，其藉由基於對該當前區塊中之該像素包括該明度分量及該等色度分量之一判定來判定將在該位元串流中傳信三個色彩值；及針對該像素傳信三個色彩值。
  29. 如請求項27之器件，其中為了傳信色彩值，該視訊編碼器經組態以傳信經量化色彩值。
  30. 如請求項27之器件，其中該器件包含一處理器、一積體電路、一無線通信器件或經組態以捕獲包括該當前區塊之一圖像的一攝影機中之至少一者。
TW104142871A 2014-12-19 2015-12-18 用於次取樣格式之調色模式 TWI689197B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462094737P 2014-12-19 2014-12-19
US62/094,737 2014-12-19
US14/973,648 US10097839B2 (en) 2014-12-19 2015-12-17 Palette mode for subsampling format
US14/973,648 2015-12-17

Publications (2)

Publication Number Publication Date
TW201633784A TW201633784A (zh) 2016-09-16
TWI689197B true TWI689197B (zh) 2020-03-21

Family

ID=55229832

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104142871A TWI689197B (zh) 2014-12-19 2015-12-18 用於次取樣格式之調色模式

Country Status (7)

Country Link
US (1) US10097839B2 (zh)
EP (1) EP3235247A1 (zh)
JP (1) JP6625644B2 (zh)
KR (1) KR102478411B1 (zh)
CN (1) CN107113436B (zh)
TW (1) TWI689197B (zh)
WO (1) WO2016100859A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
KR102150979B1 (ko) 2014-12-19 2020-09-03 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
WO2016115343A2 (en) * 2015-01-14 2016-07-21 Vid Scale, Inc. Palette coding for non-4:4:4 screen content video
CA3185207A1 (en) * 2018-03-25 2019-10-03 B1 Institute Of Image Technology, Inc. Image encoding/decoding method and device
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
KR20210145754A (ko) * 2019-04-12 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 산출
CN113748676B (zh) 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
WO2020221373A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
PL3957071T3 (pl) * 2019-05-03 2024-07-08 Huawei Technologies Co., Ltd. Przetwarzanie równoległe czoła fali dla kafelków, cegieł i wycinków
CN113812155B (zh) * 2019-05-11 2023-10-27 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
CN113875233B (zh) 2019-05-22 2023-12-15 北京字节跳动网络技术有限公司 使用上采样的基于矩阵的帧内预测
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
US11115658B2 (en) * 2019-06-25 2021-09-07 Qualcomm Incorporated Matrix intra prediction and cross-component linear model prediction harmonization for video coding
KR20220032520A (ko) 2019-07-20 2022-03-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 팔레트 모드 사용 지시의 조건 종속적인 코딩
CN114145013B (zh) * 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018166A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
US11330306B2 (en) * 2019-08-07 2022-05-10 Tencent America LLC Method and apparatus for video coding
WO2021083188A1 (en) 2019-10-28 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling and parsing based on colour component
WO2021106612A1 (ja) * 2019-11-28 2021-06-03 ソニーグループ株式会社 画像処理装置および方法
WO2021112651A1 (ko) * 2019-12-05 2021-06-10 한국전자통신연구원 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
CN115066895A (zh) * 2019-12-05 2022-09-16 韩国电子通信研究院 用于通过使用调色板模式对图像进行编码/解码的方法和装置以及记录介质
US11683489B2 (en) * 2019-12-26 2023-06-20 Qualcomm Incorporated Monochrome palette mode for video coding
MX2022012020A (es) 2020-03-27 2022-10-21 Beijing Dajia Internet Information Tech Co Ltd Metodos y aparatos de codificacion de video que utiliza modo paleta.
US11496731B2 (en) * 2020-06-08 2022-11-08 Tencent America LLC String matching with single color value
WO2024153069A1 (en) * 2023-01-16 2024-07-25 Mediatek Inc. Method and apparatus of default model derivation for cross-component model merge mode in video coding system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819793B1 (en) * 2000-06-30 2004-11-16 Intel Corporation Color distribution for texture and image compression
US7343037B1 (en) * 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
US20110110416A1 (en) * 2009-11-12 2011-05-12 Bally Gaming, Inc. Video Codec System and Method
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US9906799B2 (en) 2014-06-20 2018-02-27 Qualcomm Incorporated Copy from previous rows for palette mode coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. Flynn, et.al "BoG report on Range Extensions topics", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct. – 1 Nov. 2013,
D. Flynn, et.al "BoG report on Range Extensions topics", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct. – 1 Nov. 2013, Yu-Chen Sun, et.al"AHG10: A triplet palette mode combining JCTVC-P0108 and JCTVC-P0198", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Valencia, ES, 27 March – 4 April 2014 *
Yu-Chen Sun, et.al"AHG10: A triplet palette mode combining JCTVC-P0108 and JCTVC-P0198", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Valencia, ES, 27 March – 4 April 2014,

Also Published As

Publication number Publication date
US20160182913A1 (en) 2016-06-23
US10097839B2 (en) 2018-10-09
KR20170097655A (ko) 2017-08-28
KR102478411B1 (ko) 2022-12-15
CN107113436A (zh) 2017-08-29
TW201633784A (zh) 2016-09-16
WO2016100859A1 (en) 2016-06-23
JP6625644B2 (ja) 2019-12-25
CN107113436B (zh) 2020-06-23
JP2018505590A (ja) 2018-02-22
EP3235247A1 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
TWI689197B (zh) 用於次取樣格式之調色模式
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
TWI666918B (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
US11146788B2 (en) Grouping palette bypass bins for video coding
JP6556732B2 (ja) パレットベースのビデオコーディングのためのカラーインデックスコーディング
TWI689195B (zh) 用於調色板寫碼之寫碼逃脫像素
TWI718101B (zh) 調色盤模式編碼及解碼設計
TWI666920B (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
TWI714548B (zh) 用於視訊寫碼之調色盤索引分組
TWI705697B (zh) 在視訊寫碼中調色板區塊大小之限制
TWI669944B (zh) 基於調色板之視訊寫碼中之寫碼行程
US10097837B2 (en) Palette run hiding in palette-based video coding
TW201633781A (zh) 用於視訊寫碼之跨組件預測削剪及適應性色彩轉換
TW201639365A (zh) 用於線性模型預測模式之降低取樣處理
TW201633788A (zh) 用於視訊寫碼之調色板模式寫碼
US20160227254A1 (en) Coding palette run in palette-based video coding
US9961351B2 (en) Palette mode coding
TWI851681B (zh) 用於視訊寫碼中的調色板語法的分組寫碼
NZ737096B2 (en) Grouping palette bypass bins for video coding