TWI705697B - 在視訊寫碼中調色板區塊大小之限制 - Google Patents

在視訊寫碼中調色板區塊大小之限制 Download PDF

Info

Publication number
TWI705697B
TWI705697B TW105104381A TW105104381A TWI705697B TW I705697 B TWI705697 B TW I705697B TW 105104381 A TW105104381 A TW 105104381A TW 105104381 A TW105104381 A TW 105104381A TW I705697 B TWI705697 B TW I705697B
Authority
TW
Taiwan
Prior art keywords
palette
block
video
coding
video data
Prior art date
Application number
TW105104381A
Other languages
English (en)
Other versions
TW201639364A (zh
Inventor
法迪姆 塞瑞金
瑞珍 雷克斯曼 喬許
溥偉
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201639364A publication Critical patent/TW201639364A/zh
Application granted granted Critical
Publication of TWI705697B publication Critical patent/TWI705697B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

在一實例中，編碼視訊資料之方法可包括接收具有一大小之一視訊資料區塊。該方法可包括判定該視訊資料區塊之該大小。該方法可包括基於該視訊資料區塊之該所判定大小停用用於該視訊資料區塊之調色板模式編碼。

Description

在視訊寫碼中調色板區塊大小之限制
本申請案主張2015年2月10日申請的美國臨時專利申請案第62/114,537號的權利，該美國臨時專利申請案特此以全文引用的方式併入本文中。
本發明係關於編碼及解碼內容，且更特定而言，係關於根據基於調色板之寫碼模式的編碼及解碼內容。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減 少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。圖像之經框內寫碼(I)圖塊中的視訊區塊係使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘係數。最初配置成二維陣列的經量化係數可經掃描以便產生係數的一維向量，且可應用熵寫碼以達成甚至更多壓縮。
可使用調色板模式編碼並解碼內容，諸如影像。一般而言，調色板模式為涉及使用色彩值之調色板來表示內容的技術。內容可經編碼以使得內容藉由包括對應於調色板中之色彩值的值的索引圖來表示。索引圖可經解碼以獲得重建構內容的色彩值。
本發明之技術係關於基於調色板之內容寫碼。舉例而言，在基於調色板之內容寫碼中，內容寫碼器(例如，諸如視訊編碼器或視訊解碼器之內容寫碼器)可將「調色板」形成為色彩表以用於表示特定區域(例如，給定區塊)之視訊資料。基於調色板之內容寫碼可(例如)尤其可用於具有相對較小數目之色彩之視訊資料之寫碼區域。內容寫碼器可針對使像素與表示像素之色彩之調色板中的條目相關之像素中 之一或多者而寫碼調色板索引(例如，索引值)而非寫碼實際像素值(或其殘差)。本發明中描述之技術可包括用於傳信基於調色板之寫碼模式、傳輸調色板、導出調色板、導出非傳輸語法元素之值、傳輸基於調色板之寫碼圖及其他語法元素、預測調色板條目、寫碼調色板索引之延行、熵寫碼調色板資訊及各種其他調色板寫碼技術中之一或多者之各種組合的技術。
在一個實例中，本發明描述一種方法，其包含：接收具有大小的視訊資料區塊；判定視訊資料區塊之大小；及基於視訊資料區塊之所判定大小停用用於視訊資料區塊的調色板模式編碼。
在一個實例中，本發明描述一種器件，其包含經組態以儲存視訊資料之記憶體；及與該記憶體通信的視訊編碼器，該視訊編碼器經組態以：自記憶體接收具有大小的視訊資料區塊；判定視訊資料區塊之大小；及基於視訊資料區塊之所判定大小停用用於視訊資料區塊之調色板模式編碼。
在一個實例中，本發明描述一種裝置，其包含用於接收具有大小之視訊資料區塊的構件；用於判定視訊資料區塊之大小的構件；及用於基於視訊資料區塊之所判定大小停用用於視訊資料區塊之調色板模式編碼的構件。
在一個實例中，本發明描述一種上面儲存有指令的非暫時性電腦可讀儲存媒體，該等指令當經執行時引起一或多個處理器：接收具有大小之視訊資料區塊；判定視訊資料區塊之大小；及基於視訊資料區塊之所判定大小停用用於視訊資料區塊之調色板模式編碼。
在附圖及以下描述中闡明本發明之一或多個實例的細節。本發明之其他特徵、目標及優勢將自描述及圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
100‧‧‧區塊編碼單元
101‧‧‧視訊資料記憶體
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧基於調色板之編碼單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧視訊資料記憶體
152‧‧‧區塊解碼單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧基於調色板之解碼單元
166‧‧‧框內預測處理單元
178‧‧‧圖像
180‧‧‧第一PAL(調色板)寫碼單元(CU)
184‧‧‧第一調色板/索引
188‧‧‧第二PAL CU
192‧‧‧第二調色板/索引
196‧‧‧區塊
200‧‧‧區塊
202‧‧‧條目
204‧‧‧條目
206‧‧‧條目
208‧‧‧條目
210‧‧‧條目
212‧‧‧條目
216‧‧‧向量
240‧‧‧索引區塊/圖/索引圖
244‧‧‧調色板
280‧‧‧虛線
圖1為說明可利用本發明中描述之技術之實例視訊寫碼系統的方塊圖。
圖2為說明可執行本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖3為說明可執行本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖4為說明與本發明之技術一致的判定用於基於調色板之視訊寫碼的調色板條目之實例的概念圖。
圖5為說明與本發明之技術一致的判定至像素之區塊的調色板之索引的實例之概念圖。
圖6為說明與本發明之技術一致之判定超過延行長度之最大複本、假定光柵掃描次序之實例的概念圖。
圖7為說明與本發明的用於基於調色板之視訊寫碼之技術一致的用於處理視訊資料之實例程序的流程圖。
本發明之態樣係針對用於內容寫碼(例如視訊寫碼)及內容資料壓縮(例如，視訊資料壓縮)的技術。詳言之，本發明描述用於內容資料(例如，視訊資料)之基於調色板之寫碼的技術。在本發明之各種實例中，如下文更詳細地描述，本發明之技術可係針對以調色板模式預測或寫碼區塊以改良寫碼效率及/或減小編解碼器複雜度之程序。舉例而言，本發明描述與限制調色板模式之調色板區塊大小相關的技術。
如本文所使用，術語「內容」之個例可改變為術語「視訊」，且術語「視訊」之個例可改變為術語「內容」。無論術語「內容」或「視訊」是被用作形容詞、名詞抑或詞類之其他部分，此為成立。舉例而言，「內容寫碼器」之參考亦包括「視訊寫碼器」之參考，且「視訊寫碼器」之參考亦包括「內容寫碼器」之參考。類似地，「內 容」之參考亦包括「視訊」之參考，且「視訊」之參考亦包括「內容」之參考。
如本文所使用，「內容」指代任何類型之內容。舉例而言，「內容」可指視訊、螢幕內容、影像、任何圖形內容、任何可顯示內容或與其對應之任何資料(例如，視訊資料、螢幕內容資料、影像資料、圖形內容資料、可顯示內容資料及類似者)。
如本文所用，術語「視訊」可指螢幕內容、可移動內容、可以序列呈現的複數個影像，或與其對應之任何資料(例如，螢幕內容資料、可移動內容資料、視訊資料、影像資料及類似者)。
如本文所用，術語「影像」可指單個影像、一或多個影像、在複數個影像中之對應於視訊的一或多個影像、在複數個影像之中對應於視訊的一或多個影像、對應於視訊的複數個影像(例如，對應於視訊的所有影像或對應於視訊的並非所有影像)、單個影像之子部分、單個影像之複數個子部分、對應於複數個影像之複數個子部分、一或多個圖形基元、影像資料、圖形資料及類似者。
在傳統視訊寫碼中，影像經假定為連續色調且在空間上平滑。基於此等假定，已開發諸如基於區塊之變換、濾波及其他寫碼工具的各種工具，且此等工具已針對天然內容視訊展示出良好效能。然而，在類似遠端桌上型電腦、協同工作及無線顯示器之應用中，電腦產生之螢幕內容可為待壓縮之主要內容。此類型之螢幕內容往往會具有離散色調、陡線及高對比度物件邊界。可不再應用連續色調及平滑度之假定，且因此傳統視訊寫碼技術可在壓縮內容(例如，螢幕內容)方面效率低下。
在基於調色板之視訊寫碼之一個實例中，視訊編碼器可藉由為區塊判定調色板(例如，明確地寫碼調色板、預測調色板或其組合)，定位調色板中之條目以表示一或多個像素之值及使用指示用於表示區 塊之像素值之調色板中的條目之索引值來編碼調色板及區塊兩者而編碼視訊資料區塊。在一些實例中，視訊編碼器可在經編碼位元串流中傳信調色板及/或索引值。反過來，視訊解碼器可自經編碼位元串流獲得用於區塊之調色板，以及用於該區塊之個別像素的索引值。視訊解碼器可使像素之索引值與調色板之條目相關以重建構區塊之各種像素值。
舉例而言，可假定視訊資料之特定區域具有相對較小數目種色彩。視訊寫碼器(例如，視訊編碼器或視訊解碼器)可寫碼(例如，編碼或解碼)所謂的「調色板」以表示特定區域之視訊資料。調色板可表示為表示特定區域(例如，給定區塊)之視訊資料的色彩或像素值之索引(例如表)。視訊寫碼器可寫碼索引，該索引使一或多個像素值與調色板中之適當值相關。每一像素可與調色板中表示像素之色彩的條目相關聯。舉例而言，調色板可包括給定區塊中之最主要像素值。在某些情況下，該等最主要像素值可包括在該區塊內最頻繁地出現之一或多個像素值。另外，在一些情況下，視訊寫碼器可應用臨限值以判定是否應將像素值包括作為區塊中之最主要像素值中之一者。根據基於調色板之寫碼的各種態樣，視訊寫碼器可對指示當前區塊的像素值中之一或多者的索引值進行寫碼，而不是針對視訊資料之當前區塊對實際像素值或其殘餘部分進行寫碼。在基於調色板之寫碼的情況下，索引值指示調色板中之各別條目，該等條目被用於表示當前區塊之個別像素值。上文之描述意欲提供基於調色板之視訊寫碼之概述。
基於調色板之寫碼，其可特別適合於螢幕產生之內容寫碼或其中一或多個傳統寫碼工具效率低下之其他內容。用於視訊資料之基於調色板之寫碼的技術可與一或多個其他寫碼技術(諸如，用於框間或框內預測性寫碼之技術)一起使用。舉例而言，如下文更詳細描述，編碼器或解碼器或組合式編碼器-解碼器(編碼解碼器)可經組態以執行 框間及框內預測性寫碼，以及基於調色板之寫碼。
在一些實例中，基於調色板之寫碼技術可經組態以與一或多個視訊寫碼標準一起使用。舉例而言，高效率視訊寫碼(HEVC)為由ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發的新視訊寫碼標準。最終HEVC標準文件係國際電信聯盟(ITU)之電信標準化部門在2013年4月作為「ITU-T H.265，系列H：視聽服務之視聽及多媒體系統基礎架構-移動視訊之寫碼-高效率視訊寫碼」公開。
為了提供螢幕產生內容之更高效寫碼，JCT-VC將開發HEVC標準之擴展(被稱作HEVC螢幕內容寫碼(SCC)標準)。被稱作「HEVC SCC草案2」或「WD2」之HEVC SCC標準的新工作草案描述於文件JCTVC-S1005中，其為R.Joshi及J.Xu的「HEVC螢幕內容寫碼草案文字2」ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於視訊寫碼之聯合合作小組(JCT-VC)，第19次會議：法國，Strasbourg，2014年10月17日至24日。
就HEVC構架而言，作為實例，基於調色板之寫碼技術可經組態以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的預測單元(PU)模式。因此，在CU模式之上下文中描述的所有以下所揭示程序可另外或替代地適用於PU。然而，此等基於HEVC之實例應不被認為是對本文所描述基於調色板之寫碼技術的約束或限制，因為此等技術可經應用以獨立地起作用或作為其他現有或仍待開發的系統/標準之一部分。在此等情況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
在一些實例中，調色板可由一或多個CU、PU或資料之任何區域(例如，資料之任何區塊)導出。舉例而言，調色板可包含(及可由以下 者組成)：當前CU中之最主要像素值，其中針對此特定實例，CU為資料之區域。將調色板之大小及元素首先自視訊編碼器傳輸至視訊解碼器。可使用與當前CU相鄰的CU(亦即，鄰近CU(例如，其中鄰近CU可包括在當前CU上方及/或在當前CU左邊之CU))中之調色板之大小及/或元素來直接寫碼或預測性地寫碼調色板之大小及/或元素。此後，根據特定掃描次序基於調色板來編碼CU中之像素值。針對CU中之每一像素位置，首先傳輸旗標(例如，palette_flag)以指示像素值是否包括於調色板中。針對映射至調色板中之條目的彼等像素值，對CU中之給定像素位置傳信與彼條目相關聯之調色板索引。針對調色板中並不存在之彼等像素值，可將特殊索引指派給像素且針對CU中之給定像素位置傳輸實際像素值。此等像素被稱作「逸出像素」。可使用任何現有熵寫碼方法(諸如，固定長度寫碼，一元寫碼等)來寫碼逸出像素。
視訊資料區塊中之樣本可使用水平光柵掃描次序或其他掃描次序進行處理(例如，掃描)。舉例而言，視訊編碼器可藉由使用水平光柵掃描次序掃描調色板索引而將調色板索引之二維區塊轉換成一維陣列。同樣，視訊解碼器可使用水平光柵掃描次序重建構調色板索引之區塊。因此，本發明可將先前樣本稱作按掃描次序在區塊中當前經寫碼之樣本之前的樣本。應瞭解，除水平光柵掃描以外之掃描(諸如，垂直光柵掃描次序)亦可為可適用的。以上實例以及本發明中闡述之其他實例意欲提供對基於調色板之視訊寫碼的概述。
圖1為說明可利用本發明之技術之實例視訊寫碼系統10之方塊圖。如本文所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」大體上可指視訊編碼或視訊解碼。視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行根據本發明中所描述之各種實例的用於基於 調色板之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以使用基於調色板之寫碼或非基於調色板之寫碼選擇性地寫碼視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指代各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如由HEVC標準指定之各種寫碼模式。
如圖1中所示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12所產生的經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍的器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦(in-car computer)或其類似者。
目的地器件14可經由頻道16自源器件12接收經編碼之視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源 器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取而存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流傳輸或下載來存取儲存於檔案伺服器或另一中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本機磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。經編碼視訊資料自檔案伺服器的傳輸可為串流傳輸、下載傳輸或兩者之組合。
源器件12及目的地器件14可經組態以執行與本發明一致的基於調色板之寫碼。然而，本發明用於基於調色板之寫碼之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用之視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、編碼視訊資料以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之視訊資料，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1中所說明之視訊寫碼系統10僅為實例，且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，自經由網路而串流傳輸之區域記憶體或其類似者擷取資料。視訊編碼器件可編碼資料且將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料且解碼資料。在許多實例中，由並不彼此通信，但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20，及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊俘獲器件，含有先前所俘獲之視訊資料的視訊存檔、用以自視訊內容提供者接收視訊資料的視訊讀入介面及/或用於產生視訊資料之電腦圖形系統，或視訊資料之此等源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上，以稍後供目的地器件14存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16來接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。大體而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
本發明可大體上指視訊編碼器20將某些資訊「傳信」或「傳輸」至另一器件，諸如視訊解碼器30。術語「傳信」或「傳輸」可大 體上指用以解碼壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時地或近乎即時地發生。替代地，此通信可在時間跨度內發生，諸如此通信可在當編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，接著，在儲存至此媒體之後可由解碼器件在任何時間擷取該等語法元素。因此，雖然視訊解碼器30可被稱作「接收」某些資訊，但資訊之接收未必即時或接近即時發生且可在儲存之後在某一時間處自媒體擷取。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地以軟體來實施技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將上述內容(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)之部分。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準(諸如上文所提及的HEVC標準，及HEVC標準中描述)操作。除基本HEVC標準之外，亦存在持續努力以產生用於HEVC之可調式視訊寫碼、多視圖視訊寫碼及3D寫碼擴展。另外，例如，如本發明中所描述的基於調色板之寫碼模式可經提供用於HEVC標準之擴展。在一些實例中，本發明中描述之用於基於調色板之寫碼的技術可應用於經組態以根據其他視訊寫碼標準操作之編碼器及解碼器。因此，HEVC編解碼器中用於寫碼單元(CU)或預測單元(PU)之寫碼的基於調色板之寫碼模式的應用係出於實例之目的而描述。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，表示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb係Cb色度樣本之二維陣列。SCr係Cr色度樣本之二維陣列。色度樣本亦可在本文中被稱作「色度」樣本。在其他情況下，圖像可為單色的，且可僅包括亮度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。經寫碼圖塊可包含圖塊標頭及圖塊資料。圖塊之圖塊標頭可為包括提供關於圖塊之資訊的語法元素的語法結構。圖塊資料可包括圖塊之經寫碼CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用於寫碼樣本之該一或多個區塊之樣本的語法結構。視訊單元或區塊之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分割等等。在HEVC之實例中，為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，及用以寫碼該等寫碼區塊之樣本的語法結構。視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊可為 其上應用相同預測之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本之預測區塊，圖像之色度樣本之兩個對應預測區塊，及用以對預測區塊樣本進行預測的語法結構。視訊編碼器20可產生CU之每一PU的明度、Cb及Cr預測區塊之預測性明度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於相關聯於PU之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測來產生PU之預測性區塊。當視訊編碼器20使用單向預測來產生PU之預測性區塊時，PU可具有單一運動向量(MV)。當視訊編碼器20使用雙向預測來產生PU之預測性區塊時，PU可具有兩個MV。
在視訊編碼器20產生CU之一或多個PU的預測性區塊(例如，預測性明度、Cb及Cr區塊)之後，視訊編碼器20可產生CU之殘餘區塊。CU之殘餘區塊中之每一樣本可指示CU之PU之預測性區塊中的樣本與CU之寫碼區塊中的對應樣本之間的差異。舉例而言，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之一者中的Cr樣本與CU之原始Cr寫碼 區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如，明度、Cb及Cr變換區塊)。變換區塊可為應用相同變換所針對的樣本之矩形區塊。CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用於對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用於變換區塊以產生TU之係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。舉例而言，視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化通常指代對變轉換係數進行量化以可能減少用以表示變轉換係數的資料之量，從而提供進一步壓縮之程序。在視訊編碼器20將係數區塊量化之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
就CABAC而言，作為實例，視訊編碼器20及視訊解碼器30可選擇機率模型(亦被稱作上下文模型)以基於上下文對與視訊資料區塊相關聯之符號進行寫碼。舉例而言，上下文模型(Ctx)可為應用於選擇 複數個不同上下文中之一者的索引或偏移，該等上下文中之每一者可對應於特定機率模型。因此，不同機率模型通常針對每一上下文來定義。在編碼或解碼二進位之後，機率模型基於二進位之值經進一步更新以反映對二進位的最新機率評估。舉例而言，機率模型可維持有限狀態機中之狀態。每一特定狀態可對應於特定機率值。對應於機率模型之更新的下一狀態可取決於當前二進位(例如，當前正被寫碼的二進位)之值。因此，機率模型之選擇可受經預先寫碼二進位之值的影響，因為該等值至少部分指示具有給定值之二進位之機率。上文所描述之上下文寫碼程序可通常被稱作上下文自適應性寫碼模式。
因此，視訊編碼器20可使用機率模型編碼目標符號。同樣地，視訊解碼器30可使用機率模型剖析目標符號。在一些情況下，視訊編碼器20可使用上下文自適應性寫碼與非上下文自適應性寫碼之組合來寫碼語法元素。舉例而言，視訊編碼器20可藉由選擇對上下文操作以寫碼二進位的機率模型或「上下文模型」來對二進位進行上下文寫碼。對比而言，視訊編碼器20可在寫碼二進位時藉由旁路或省去規則算術寫碼程序而對二進位進行旁路寫碼。在此等實例中，視訊編碼器20可使用固定機率模型來對二進位進行旁路寫碼。亦即，經旁路寫碼之二進位不包括上下文或機率更新。
視訊編碼器20可輸出包括經熵編碼語法元素之位元串流。位元串流亦可包括未經熵編碼之語法元素。該位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元之序列。位元串流可包含一連串網路抽象層(NAL)單元。該等NAL單元中之每一者包括NAL單元標頭且囊封原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP，等等。囊封視訊寫碼資料之RBSP(相反於參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收藉由視訊編碼器20產生的位元串流。另外，視訊解碼器30可剖析位元串流以對來自位元串流之語法元素進行解碼。視訊解碼器30可至少部分基於自位元串流解碼之語法元素而重建構視訊資料之圖像。用以重建構視訊資料之程序可與由視訊編碼器20執行之程序大體上互逆。舉例而言，視訊解碼器30可使用PU之MV來判定當前CU之PU的預測性區塊。另外，視訊解碼器30可反量化與當前CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行基於調色板之寫碼。舉例而言，在基於調色板之寫碼中，視訊編碼器20及視訊解碼器30可將所謂的調色板寫碼為表示特定區域(例如，給定區塊)之視訊資料的色彩或像素值的表，而非執行上文所描述之框內預測或框間預測寫碼技術。以此方式，視訊寫碼器可寫碼當前區塊之像素值中之一或多者的索引值，而非寫碼視訊資料之當前區塊的實際像素值或其殘差，其中該等索引值指示調色板中用於表示當前區塊之像素值的條目。
舉例而言，視訊編碼器20可藉由判定用於區塊之調色板、定位調色板中之條目以表示每一像素之值，及編碼調色板及將像素值與調 色板相關的像素之索引值而編碼視訊資料區塊。視訊解碼器30可自經編碼位元串流獲得用於區塊之調色板，以及區塊之像素的索引值。視訊解碼器30可將個別像素之索引值與調色板之條目匹配以重建構區塊之像素值。在與個別像素相關聯之索引值不匹配區塊之對應調色板之任何索引值的情況下，出於基於調色板之寫碼的目的，視訊解碼器30可將此像素識別為逸出像素。
在另一實例中，視訊編碼器20可根據以下操作編碼視訊資料區塊。視訊編碼器20可判定區塊之個別像素的預測殘餘值，判定區塊之調色板，且定位調色板中具有表示個別像素之預測殘餘值中之一或多者之值的值之條目(例如，索引值)。另外，視訊編碼器20可使用指示調色板中用於表示區塊之每一個別像素之對應預測殘餘值之條目的索引值編碼區塊。視訊解碼器30可自由源器件12傳信之經編碼位元串流獲得區塊之調色板，以及對應於區塊之個別像素之預測殘餘值的索引值。如所描述，索引值可對應於調色板中與當前區塊相關聯之條目。反過來，視訊解碼器30可使預測殘餘值之索引值與調色板的條目相關，以重建構區塊之預測殘餘值。可將預測殘餘值添加至預測值(例如，使用框內或框間預測獲得)以重建構區塊之像素值。
如下文更詳細地描述，基於調色板之寫碼之基本構想為：對於待寫碼之視訊資料的給定區塊，視訊編碼器20可導出包括當前區塊中之最主要像素值的調色板。舉例而言，調色板可指經判定或假定為當前CU之主要及/或代表之數個像素值。視訊編碼器20可首先將調色板之大小及元素傳輸至視訊解碼器30。另外，視訊編碼器20可根據特定掃描次序編碼給定區塊中之像素值。對於包括於給定區塊中之每一像素，視訊編碼器20可傳信將像素值映射至調色板中之對應條目的索引值。若像素值並不包括於調色板中(亦即，不存在指定經調色板寫碼之區塊之特定像素值的調色板條目)，則此像素被定義為「逸出像 素」。根據基於調色板之寫碼，視訊編碼器20可編碼且傳信經保留以用於逸出像素之索引值。在一些實例中，視訊編碼器20亦可編碼且傳信包括於給定區塊中之逸出像素的像素值或殘餘值(或其經量化版本)。
在接收由視訊編碼器20傳信之經編碼視訊位元串流之後，視訊解碼器30即可首先基於自視訊編碼器20接收之資訊判定調色板。視訊解碼器30可接著將與給定區塊中之像素位置相關聯的所接收索引值映射至調色板之條目以重建構給定區塊之像素值。在一些情況下，視訊解碼器30可判定經調色板寫碼區塊之像素為逸出像素，諸如，藉由判定像素藉由經保留以用於逸出像素之索引值而經調色板寫碼。在視訊解碼器30識別經調色板寫碼區塊中之逸出像素的情況下，視訊解碼器30可接收包括於給定區塊中之逸出像素的像素值或殘餘值(或其經量化版本)。視訊解碼器30可藉由將個別像素值映射至對應調色板條目且藉由使用像素值或殘餘值(或其經量化版本)而重建構經調色板寫碼區塊，以重建構包括於經調色板寫碼區塊中之任何逸出像素。
如上文所陳述，在實例調色板寫碼模式中，調色板可包括由索引編號之條目。每一條目可表示色彩分量值或強度(例如，在諸如YCbCr、RGB、YUV、CMYK或其他格式之色彩間隙中)，該等值或強度可用作區塊之預測符或經最終重建構之區塊樣本。如描述於標準提交文件JCTVC-Q0094(Wei Pu等人，「AHG10：基於RExt6.0之推薦之調色板寫碼軟件」JCTVC-Q0094，西班牙巴倫西亞市，2014年3月27日至2014年4月4日)中，調色板可包括自預測符調色板所複製之條目。預測符調色板可包括來自先前使用調色板模式寫碼之區塊或來自其他經重建構之樣本的調色板條目。對於預測符調色板中之每一條目，發送二進位旗標以指示條目是否被複製至當前調色板(由旗標=1指示)。此被稱作二進位調色板預測向量。另外，當前調色板可包含 經明確傳信之新條目(例如，由經明確傳信之新條目組成)。亦可傳信新輸入條目之數目。
作為另一實例，在調色板模式中，調色板可包括由表示色彩分量值之索引編號之條目，該等色彩分量值可被用作區塊樣本之預測符或最終經重建構區塊樣本。調色板中之每一條目可含有(例如)一個明度分量(例如，明度值)、兩個色度分量(例如，兩個色度值)或三個色彩分量(例如，RGB、YUV等)。先前經解碼之調色板條目可儲存於清單中。舉例而言，此清單可用於預測在當前調色板模式CU中之調色板條目。二進位預測向量可以位元串流傳信以指示清單中之哪些條目再用於當前調色板中。在一些實例中，延行長度寫碼可用於壓縮二進位調色板預測符。舉例而言，可使用0階指數哥倫布碼(Exp-Golomb code)來寫碼延行長度值。
在本發明中，將假定每一調色板條目指定樣本之所有色彩分量之值。然而，本發明之概念適用於使用獨立調色板及/或每一色彩分量之獨立調色板條目。又，假定使用水平光柵掃描次序處理區塊中之樣本。然而，亦可適用諸如垂直光柵掃描次序之其他掃描。如上文所提及，調色板可含有經預測調色板條目((例如)自用於寫碼前述區塊之調色板預測的)及對當前區塊具專一性且明確地傳信之新條目。編碼器及解碼器可知曉經預測及新調色板條目之數目且其總和可指示區塊中之總調色板大小。
如上文所引用之JCTVC-Q0094之實例中所提出的，使用調色板寫碼之區塊中之每一樣本可屬於三個模式中之一者，如下文所闡述：
˙逸出模式。在此模式中，樣本值並不作為調色板條目而包括至調色板中，且對於所有色彩分量，明確地傳信經量化之樣本值。該情形類似於新調色板條目之傳信，儘管對於新調色板條目，並不將色彩分量值量化。
˙CopyAbove模式(亦稱為CopyFromTop模式或複製模式)。在此模式中，當前樣本之調色板條目索引自位於樣本之區塊中之當前樣本正上方之樣本而被複製。在其他實例中，對於自上複製模式，視訊資料區塊可經轉置以使得區塊上方之樣本實際上為區塊左邊之樣本。
˙值模式(亦稱為索引模式或延行模式)。在此模式中，調色板條目索引之值經明確地傳信。
如本文所描述，調色板條目索引可被稱作調色板索引或簡稱為索引。此等術語可互換地使用以描述本發明之技術。另外，如下文更詳細描述，調色板索引可具有一或多個相關聯之色彩或強度值。舉例而言，調色板索引可具有與像素之單一色彩或強度分量(例如，RGB資料之紅色分量、YUV資料之Y分量，或其類似者)相關聯的單一相關聯之色彩或強度值。在另一實例中，調色板索引可具有多個相關聯之色彩或強度值。在一些情況下，可應用基於調色板之視訊寫碼來寫碼單色視訊。因此，「色彩值」大體上可指用以產生像素值之任何色彩或非色彩分量。
延行值可指示使用相同調色板寫碼模式寫碼的調色板索引值之延行。舉例而言，關於值模式，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可寫碼索引值及延行值，其指示掃描次序中之具有相同索引值並藉由調色板索引寫碼的連續樣本之數目。關於CopyAbove模式，視訊寫碼器可寫碼當前樣本值之索引值與上方相鄰樣本(例如，定位於區塊中當前經寫碼之樣本上方的樣本)之索引值相同的指示，及指示亦自上方相鄰樣本複製索引值且藉由調色板索引寫碼的按掃描次序之連續樣本之數目的延行值。因此，在上述實例中，調色板索引值之延行係指具有相同值之調色板值的延行或自上方相鄰樣本複製之索引值的延行。
因此，延行可針對給定模式指定屬於相同模式的後續樣本之數 目。在一些情況下，傳信索引值及行程值可類似於延行長度寫碼。在出於說明之目的的實例中，對應於視訊資料區塊之索引區塊之連續調色板索引值的字串可為0、2、2、2、2、5。在一些實例中，索引區塊可包括一或多個逸出像素值。索引區塊中之每一索引值可對應於視訊資料區塊中的樣本。在此實例中，視訊寫碼器可使用值模式寫碼第二樣本(例如，「2」之第一調色板索引值)。在寫碼2之索引值之後，視訊寫碼器可寫碼3之延行，該延行指示三個後續樣本亦具有相同的2之調色板索引值。以類似方式，在使用CopyAbove模式寫碼索引之後寫碼四個調色板索引之延行可指示：自當前經寫碼之樣本位置上方之列中的對應調色板索引值複製總共五個調色板索引。
使用調色板，視訊編碼器20及/或視訊解碼器30可經組態以將樣本之區塊(例如，視訊資料區塊)寫碼成索引區塊，其中該索引區塊為包括例如用於每一樣本的索引值(其將樣本映射至一或多個調色板條目)且在一些實例中包括一或多個逸出像素值的區塊。視訊資料區塊之每一像素可藉由延行模式、複製模式或逸出模式來寫碼。在一些實例中，視訊資料區塊之第一列中的像素可僅使用延行模式或逸出模式來寫碼。
語法元素palette_run_type_flag指示是使用延行模式還是複製模式。舉例而言，視訊編碼器20可經組態以藉由將對應於palette_run_type_flag語法元素的值編碼至視訊資料區塊之樣本的經編碼位元串流中而傳信語法元素palette_run_type_flag。視訊解碼器20可經組態以接收包含對應於palette_run_type_flag語法元素之編碼值的經編碼位元串流。視訊解碼器20可經組態以對經編碼值進行解碼以判定對應於palette_run_type_flag語法元素之值，且因此，判定是延行模式還是複製模式用於視訊資料區塊之樣本。舉例而言，當palette_run_type_flag之值為第一值時，則延行模式可用於視訊資料區 塊之樣本。作為另一實例，當palette_run_type_flag之值為第二值時，則複製模式可用於視訊資料區塊之樣本。
在一些實例中，當使用延行模式或複製模式時，可將palette_index語法元素連同palette_run語法元素一起傳信。舉例而言，視訊編碼器20可經組態以藉由將對應於palette_index之值(例如，索引值)及對應於palette_run之值(例如，延行值)編碼至經編碼位元串流中而傳信palette_index及palette_run語法元素。視訊解碼器30可經組態以接收包含對應於palette_index語法元素之經編碼值及對應於palette_run語法元素之經編碼值的經編碼位元串流。視訊解碼器20可經組態以對對應於palette_index之經編碼值及對應於palette_run之經編碼值進行解碼以分別判定對應於palette_index之值(例如，索引值)及對應於palette_run之值(例如，延行值)。
當使用延行模式時，延行值指示將具有相同調色板索引的像素之數目。然而，當使用複製模式時，延行值指示像素之數目，將該等像素之調色板索引(例如，索引值)自另一各別像素複製至每一像素(例如，在每一各別像素正上方)。
在一些實例中，逸出模式係在延行模式內寫碼，其中特定調色板索引可用於指示此模式。用以指示逸出模式之調色板索引等於根據一些實例之當前區塊的調色板大小。在逸出模式中，延行值可未經寫碼，此係由於逸出模式應用於單個像素(例如像素三元組(Y、U及V))，其中單個像素之色彩分量的值經明確地傳信為palette_escape_val。在一些實例中，複製模式可不針對區塊中之第一列而啟用，此係由於在屬於相同區塊的第一列上方不存在像素。
可對每區塊傳信旗標palette_escape_val_present_flag以指示逸出像素之使用。此旗標等於1指示經調色板寫碼之區塊中存在至少一個逸出像素，且否則的話旗標等於0。舉例而言，視訊編碼器20可經組 態以藉由將對應於palette_escape_val_present_flag語法元素之值編碼至經編碼位元串流中而傳信語法元素palette_escape_val_present_flag。視訊解碼器20可經組態以接收包含對應於palette_escape_val_present_flag語法元素之編碼值的經編碼位元串流。視訊解碼器20可經組態以對經編碼值進行解碼以判定對應於palette_escape_val_present_flag語法元素之值，且因此，判定經調色板寫碼區塊中是否存在至少一個逸出像素。
在一些實例中，調色板大小限於0至max_palette_size範圍內，其中後者被傳信。對於藉由調色板模式寫碼的區塊，在一些實例中，調色板可自一或多個先前調色板寫碼區塊之調色板條目預測。針對當前區塊，調色板可作為一或多個新條目經明確地傳信。在其他實例中，先前寫碼區塊之調色板可經完全再使用(例如，複製)以用於當前區塊，此稱為調色板共用模式。在一些實例中，旗標palette_share_flag可經傳信以指示先前區塊的整個調色板在不修改情況下按現狀經再使用用於當前區塊。
當使用調色板模式寫碼視訊之區塊時，像素掃描模式(例如，掃描次序)可包括例如：垂直橫移或水平橫移(蛇形)掃描。根據每區塊單元傳信之旗標palette_transpose_flag導出區塊中所使用之掃描模式。
在調色板模式寫碼期間，可應用調色板索引調節程序。自當前區塊中之第二像素開始，可檢查(例如判定)掃描次序中之先前像素的調色板模式。在一些實例中，最大調色板索引大小可首先減小1。若、掃描次序中之先前像素的調色板模式等於延行模式(亦即，若掃描次序中之先前像素經或待使用延行模式寫碼)，若索引值大於或等於掃描次序中的先前像素之索引值，則當前像素之調色板索引(例如，索引值)可減小1。類似地，若掃描次序中之先前像素的調色板模式等於複製模式(亦即，若掃描次序中之先前像素經或待使用複製模式寫 碼)，若索引大於上述調色板索引，則當前像素之調色板索引(例如，索引值)可減小1。
視訊編碼器20可經組態以熵編碼索引區塊以壓縮索引區塊。類似地，視訊解碼器30可經組態以熵解碼經編碼索引區塊以產生索引區塊，視訊解碼器30可自該索引區塊產生樣本之區塊(例如，由編碼器20編碼之視訊資料區塊)。舉例而言，基於延行長度之熵寫碼可用於壓縮與解壓縮索引區塊。在一些實例中，視訊編碼器20及視訊解碼器30可經組態以使用CABAC分別熵編碼及解碼索引區塊中之索引值。
為應用CABAC寫碼至資訊(例如，語法元素、諸如索引區塊之索引值之索引區塊或其他資訊)，視訊寫碼器(例如，視訊編碼器20及視訊解碼器30)可對資訊執行二進位化。二進位化指代將資訊轉換成一系列一或多個位元的程序。一或多個位元之每個系列可被稱為「二進位」。二進位化為無損程序且可包括以下寫碼技術中之一個或組合：固定長度寫碼、一元寫碼、截短之一元寫碼、截短之萊斯(Rice)寫碼、哥倫布寫碼、指數哥倫布寫碼、哥倫布-萊斯寫碼、哥倫布寫碼之任一形式、萊斯寫碼之任一形式及熵寫碼之任一形式。舉例而言，二進位化可包括使用8位固定長度技術將整數值5表示成00000101，或者使用一元寫碼技術將整數值5表示成11110。
在二進位化之後，視訊寫碼器可識別寫碼上下文。寫碼上下文可識別寫碼具有特定值之二進位數的機率。舉例而言，寫碼上下文可指示對0值二進位數進行寫碼的0.7機率，以及對1值二進位數進行寫碼的0.3機率。在識別寫碼上下文之後，視訊寫碼器可基於上下文算術地寫碼彼二進位數，此已知為上下文模式寫碼。使用CABAC上下文模式寫碼而寫碼之二進位數可被稱作「上下文二進位數」。
另外，視訊寫碼器(例如，視訊編碼器20及視訊解碼器30)可使用旁路CABAC寫碼(例如，旁路模式寫碼)寫碼一些二進位數，而非對所 有二進位數執行上下文模式寫碼。旁路模式寫碼係指CABAC寫碼器之旁路模式，其中旁路寫碼為算術寫碼二進位數而不需使用自適應性上下文(例如，寫碼上下文)的程序。亦即，旁路寫碼引擎不選擇上下文，且可假設兩個符號(0和1)之機率都是0.5。儘管旁路模式寫碼的頻寬效率可不如上下文模式寫碼那麼有效，但是在對二進位數執行旁路模式寫碼而非對二進位數執行上下文模式寫碼時可能在計算方面成本較低。此外，執行旁路模式寫碼可允許較高之並行化度及通量。使用旁路模式寫碼而寫碼之二進位數可被稱作「旁路二進位數」。
視訊編碼器20及視訊解碼器30可經組態有CABAC寫碼器(例如，分別為CABAC編碼器及CABAC解碼器)。CABAC寫碼器可包括上下文模式寫碼引擎以執行CABAC上下文模式寫碼及旁路模式寫碼引擎以執行旁路模式寫碼。若二進位數經上下文模式寫碼，則上下文模式寫碼引擎用於寫碼此二進位數。上下文模式寫碼引擎可需要兩個以上處理週期來寫碼單個二進位數。然而，由於恰當的管線設計，上下文模式寫碼引擎可僅需要n+M週期以編碼n個二進位數，其中M為起始管線之額外負荷。M通常大於0。
在CABAC寫碼程序開始時(亦即，自旁路模式至上下文模式之每次切換且反之亦然)，引入管線額外負荷。若二進位數經旁路模式寫碼，則旁路模式寫碼引擎用於寫碼此二進位數。旁路模式寫碼引擎可預期僅需要一個週期來寫碼n位元資訊，其中n可大於一。因此，若一組旁路二進位數及上下文二進位數內的所有旁路二進位數經共同地寫碼(例如，依次而不需交錯上下文寫碼二進位數)且該組內的所有上下文二進位數經共同地寫碼(例如，依次而不需交錯旁路寫碼二進位數)，則用以寫碼該組旁路二進位數及上下文二進位數的週期之總數可減少。詳言之，在轉變至上下文模式寫碼之前或之後將旁路二進位數共同地寫碼可節省重新開始上下文模式寫碼引擎所需要之額外負 荷。舉例而言，視訊編碼器20及視訊解碼器30可經組態以單次針對一系列旁路及上下文寫碼二進位數自旁路模式切換至上下文模式(或在其他實例中自上下文模式切換至旁路模式)，同時使用調色板模式來分別編碼或解碼視訊資料區塊。在另一實例中，視訊編碼器20及視訊解碼器30可經組態以當使用調色板模式編碼或解碼視訊資料區塊時減小編碼或解碼程序自旁路模式切換至上下文模式(及自上下文模式切換至旁路模式)的次數。
本發明中描述之技術可包括用於傳信基於調色板之視訊寫碼模式，傳輸調色板，導出調色板，傳信掃描次序，導出掃描次序，及傳輸基於調色板之視訊寫碼圖及其他語法元素中之一或多者之各種組合的技術。舉例而言，本發明之技術可針對熵寫碼調色板資訊。在一些實例中，本發明之技術可尤其用於增加寫碼效率並減小與基於調色板之視訊寫碼相關聯之寫碼低效率。因此，如下文更詳細描述，在一些情況下，當使用調色板模式寫碼視訊資料時，本發明之技術可改良效率及改良位元速率。
可以任何組合或與彼此獨立而結合彼此從而利用本文所描述之技術、態樣及/或實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以執行本文所描述之技術、態樣及/或實例中之一或多者之任一個或任何合適的組合。
描述於2015年2月10日上傳至JCT-VC文件管理系統之Tzu-Der Chuang等人的「CE-1 related：Index Map scan for 64 x 64 palette coding block」JCTVC-T0058版本3(下文中「JCTVC-T0058」)文件中的實例寫碼系統之問題為調色板區塊大小可如64×64一般大並具有如64×64一般大之掃描模式，但最大變換區塊大小為32×32，其中例如應用係數掃描。如此，在此狀況下，實施中之管線將增加至64×64區塊大小，其在沒有調色板模式情況下不需要且因此呈現用於調色板模式 之特殊情形。所描述的JCTVC-T0058藉由將64×64橫移掃描改變成四個32×32橫移掃描而將調色板模式中之64×64區塊寫碼成四個32×32子區塊。然而如此進行將需要改變至調色板模式寫碼，其將僅特定用於64×64調色板區塊，且因此將例如不均勻性引入至調色板模式寫碼中。
在本發明之各種實例中，本發明之技術可係關於以調色板模式中預測或寫碼區塊以改良寫碼效率及/或藉由例如尋找待使用調色板模式寫碼64×64區塊(若有的話)的方式而降低編解碼器複雜度的程序。
在本發明之一些實例中，可針對具有64×64或更大之大小的任何調色板區塊停用調色板模式寫碼。在其他實例中，調色板模式寫碼可限於具有小於64×64之大小的調色板區塊，意謂調色板模式寫碼可經啟用或另外用於具有小於64×64之大小的調色板區塊。在其他實例中，可基於最大變換單元大小而規範地限制最大調色板區塊大小，諸如規範地限於最大變換單元大小。調色板模式寫碼可針對超過或另外大於最大變換單元大小的調色板區塊大小而停用。在此等實例中，應理解最大調色板區塊大小可基於最大變換單元大小，因為最大調色板區塊大小規範地限於最大變換單元大小。舉例而言，視訊編碼器20可經組態以將可使用調色板模式編碼的最大調色板區塊大小規範地限於最大變換單元大小。在此實例中，視訊編碼器20可經組態以停用調色板模式或另外不使用調色板模式用於具有大於視訊編碼器20經組態以編碼的最大變換單元大小之大小的任何調色板區塊。
舉例而言，若視訊編碼器20經組態以編碼的最大變換單元大小為32×32，則視訊編碼器20可經組態以將最大調色板區塊大小規範地限於32×32。在此實例中，視訊編碼器20可經組態以停用調色板模式或另外不使用調色板模式用於具有大於32×32之大小的任何調色板區 塊。亦應理解在此實例中視訊編碼器20可經組態以啟用調色板模式或另外使用調色板模式用於具有小於或等於32×32之大小的任何調色板區塊。具有大於32×32之大小的調色板區塊之實例包括例如64×64、64×16、16×64、64×32及32×64。
作為另一實例，若視訊編碼器20經組態以編碼的最大變換單元大小為16×16，則視訊編碼器20可經組態以將最大調色板區塊大小規範地限於16×16。在此實例中，視訊編碼器20可經組態以停用調色板模式或另外不使用調色板模式用於具有大於16×16之大小的任何調色板區塊。亦應理解在此實例中視訊編碼器20可經組態以啟用調色板模式或另外使用調色板模式用於具有小於或等於16×16之大小的任何調色板區塊。
在其他實例中，視訊編碼器20經組態以編碼的最大變換單元大小可經規範地限於M×N之區塊大小，其中M及N為正整數且可或可不彼此相等。在一些實例中，M及/或N可基於最大變換單元大小。舉例而言，若最大變換單元大小為32×32，則M及N兩者將等於32。然而，在其中最大變換單元大小為32×16的實例中，則M將等於32且N將等於16。在此實例中，具有大於32×16之大小的調色板區塊之實例包括例如64×64、64×16、16×64、64×32、32×64、32×32及16×32。
在一些實例中，視訊編碼器20可經組態以傳信用於特定資料集之最大變換單元大小。在此等實例中，視訊編碼器20可經組態以停用調色板模式或另外不使用調色板模式用於與特定資料集相關聯的具有大於所傳信最大變換單元大小之區塊大小的任何調色板區塊。因此，如本文所使用，最大變換單元可指視訊編碼器20經組態以編碼的最大變換單元，或可指用於特定資料集(例如，視訊資料之一或多個區塊)之所傳信最大變換單元。舉例而言，雖然最大變換單元大小可為32×32，但對於特定資料集，視訊編碼器20可傳信最大變換單元大小 為16×16。因此，對於此實例中之此特定資料集，最大變換單元大小為16×16。
因此，應理解視訊編碼器20可經組態以動態地停用調色板模式或另外經組態以不基於最大變換單元大小而使用調色板模式。類似地，應理解視訊編碼器20可經組態以動態停用調色板模式或另外經組態以不使用調色板模式用於具有大於最大變換單元之大小的任何調色板區塊。因此亦應理解視訊編碼器20可經組態以動態地停用調色板模式或另外經組態以不使用調色板模式用於具有不等於或少於最大變換單元之大小的任何調色板區塊。因此應進一步理解視訊編碼器20可經組態以僅當視訊資料區塊具有不超過視訊編碼器20可經組態以編碼的最大變換單元之大小時使用調色板模式編碼視訊資料區塊。類似地，視訊編碼器20可經組態以僅當視訊資料區塊具有不超過最大變換單元之大小時啟用用於視訊資料區塊之調色板模式寫碼。
同樣，因此亦應理解視訊解碼器30可經組態以動態地停用調色板模式或另外經組態以不使用調色板模式用於具有不等於或少於最大變換單元之大小的任何調色板區塊。因此應進一步理解視訊解碼器30可經組態以僅當視訊資料區塊具有不超過視訊編碼器20可經組態以編碼及/或視訊解碼器30可經組態以解碼的最大變換單元之大小時使用調色板模式解碼視訊資料區塊。類似地，視訊解碼器30可經組態以僅當視訊資料區塊具有不超過最大變換單元之大小時啟用用於視訊資料區塊之調色板模式寫碼。在其他實例中，視訊解碼器30可經組態以基於對應於調色板模式旗標之值(諸如，palette_mode_flag之語法元素的值)判定是啟用還是停用調色板模式。
作為另一實例，視訊解碼器30可經組態以接收視訊資料區塊。視訊解碼器30可經組態以判定相對於最大變換單元大小的視訊資料區塊之大小。視訊解碼器30可經組態以當視訊資料之所接收區塊大於最 大變換單元大小之大小時判定視訊之所接收區塊未經調色板模式編碼。
如本文所闡述，最大調色板區塊大小可經規範地限制。舉例而言，最大調色板區塊大小可基於最大變換單元大小，諸如經規範地限於最大變換單元大小。在一些實例中，視訊編碼器20可經組態有符合性位元串流約束條件以實施本文中所描述之任何調色板區塊大小約束，從而導致控制何時停用、啟用或另外使用調色板模式。舉例而言，符合性位元串流約束條件可為符合性位元串流不應具有超過藉由調色板模式寫碼之某一大小的區塊。作為另一實例，符合性位元串流約束條件可為符合性位元串流應具有藉由調色板模式寫碼的區塊，只是其中該區塊等於或小於某一大小。在兩個實例中，參考某一大小可為32×32或任何其他M×N大小，其中M及N為正整數且可或可不彼此相等。然而，在其他實例中，在以上兩個實例中之參考某一大小可基於最大變換單元大小。在此等實例中，符合性位元串流約束條件可例如為符合性位元串流不應具有超過最大變換單元之區塊。作為另一實例，符合性位元串流約束條件可為符合性位元串流必須符合本文中所描述的一或多個規範性限制。
就本文中所描述的任何符合性位元串流約束條件而言，應理解視訊編碼器20可經組態有呈任何組合形式之任何此等約束條件以控制調色板模式何時經停用、啟用，或另外用於視訊資料區塊。
在其他實例中，視訊編碼器20可經組態以藉由經組態以將待經調色板模式寫碼的視訊資料之任何區塊劃分成M×N個子區塊以使得視訊資料之整個區塊由M×N個子區塊表示而實施本文中所描述的任何調色板區塊大小約束，其中M及N為正整數且可或可不彼此相等。劃分視訊資料之整個區塊意謂視訊資料區塊之每一像素(例如，樣本)為M×N子區塊之部分。子區塊之大小可取決於一或多個準則。舉例而 言，M×N子區塊之大小可取決於用於變換係數寫碼的區塊之大小(例如，TU中的變換區塊之大小)以對準調色板模式寫碼與變換係數寫碼。在此實例中，若視訊編碼器20經組態以使用大小為4×4之區塊變換係數碼，則視訊編碼器20可經組態以將待經調色板模式寫碼的視訊資料之任何區塊劃分成4×4子區塊，其中M及N兩者皆等於4。舉例而言，替代使用調色板模式寫碼64×64區塊，視訊編碼器20可經組態以將64×64區塊劃分成複數個4×4子區塊，從而導致此實例中之兩百五十六個4×4子區塊，其中每一子區塊係使用調色板模式個別地寫碼。
在另一實例中，M×N子區塊之大小可為小於64×64之預設大小，而非取決於一或多個準則。舉例而言，M×N子區塊之預設大小可4×4、8×8、16×16、32×32，或小於64×64之任何其他大小。在此實例中，視訊編碼器20可經組態以藉由經組態以將待經調色板模式寫碼的視訊資料之任何區塊劃分成預設大小(諸如，分別為4×4、8×8、16×16、32×32，或小於64×64之任何其他大小)而實施本文中所描述的任何調色板區塊大小約束。
在一些實例中，M×N子區塊可根據任何掃描次序而掃描。舉例而言，視訊編碼器20可經組態以使用Z形掃描次序、水平掃描次序、垂直掃描次序、「蛇形」掃描次序(亦即，橫移掃描次序)或任何其他掃描次序來掃描M×N子區塊。
在其他實例中，視訊編碼器20可經組態以藉由經組態以傳信具有64×64之大小之區塊的調色板模式(例如，藉由傳信palette_mode_flag之語法元素的值)而且經組態以傳信小於64×64的M×N子區塊大小之其他調色板相關資訊(例如，再使用之調色板條目、新的調色板條目、調色板表大小等)而實施本文中所描述的任何調色板區塊大小約束，其中M及N為正整數且可或可不彼此相等。舉例而言，M×N子區塊大小可為32×32。在一些實例中，M×N子區塊大 小可為32×32，此係因為32×32對應於最大變換單元之大小。在此實例中，視訊編碼器20可經組態以藉由經組態以傳信具有64×64之大小的區塊之調色板模式，而且經組態以傳信在32×32子區塊大小(或任何其他M×N子區塊大小)中之其他調色板相關資訊而實施本文中所描述的任何調色板區塊大小約束。此為本文中所描述之一個實例，其中視訊編碼器20可經組態以協調調色板模式區塊大小與變換單元區塊大小。在一些實例中，M及/或N可基於最大變換單元大小。舉例而言，若最大變換單元大小為32×32，則M及N兩者將等於32。64×64調色板區塊大小之掃描次序可與M×N區塊中的每一者之掃描次序相同。
在涉及64×64之調色板區塊大小的一個實例中，視訊編碼器可經組態以傳信用於此64×64大小調色板區塊的調色板模式。視訊編碼器接著可經組態以傳信用於每一M×N子區塊之其他調色板相關資訊。舉例而言，視訊編碼器20可經組態以傳信用於每一M×N子區塊的max_palette_size。
在其他實例中，視訊編碼器20可經組態以藉由經組態以將索引值及/或逸出值之最長延行長度限於小於T之臨限值而實施本文中所描述的任何調色板區塊大小約束。在此等實例中，視訊編碼器20可經組態以將最大延行長度限於小於T之臨限值，而非將64×64調色板區塊分成子區塊。藉由限制最大延行長度值，視訊編碼器20可經組態以實施調色板區塊大小約束而不需將調色板區塊劃分成子區塊。
在一些實例中，T可等於最大變換單元大小。舉例而言，若最大變換單元大小為32×32，則T可等於32×32。現在描述涉及針對64×64調色板區塊及32×32之T值之水平橫移掃描次序的實例。視訊編碼器20可按現狀處理64×64調色板區塊，但將最大延行長度限於小於T之值的值(諸如，32×32減去1)，而非處理在此實例中的在32×32象限(例如，索引值繼之以小於T之延行長度，諸如32×32減去1)中之調色板區 塊。
在一些實例中，視訊編碼器20可經組態有符合性位元串流約束條件以實施本文中所描述的任何調色板區塊大小約束。舉例而言，符合性位元串流約束條件可為符合性位元串流不應包括等於或大於T之臨限值的延行長度值。
圖2為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。出於解釋之目的而提供圖2，且不應將其視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明描述在HEVC寫碼之情況下的視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
視訊編碼器20表示可經組態以根據本發明中所描述之各種實例執行用於基於調色板之寫碼之技術的器件之實例。
在圖2之實例中，視訊編碼器20包括區塊編碼單元100、視訊資料記憶體101、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。區塊編碼單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(圖中未示)。視訊編碼器20亦包括基於調色板之編碼單元122，其經組態以執行本發明中所描述的基於調色板之寫碼技術之各種態樣。在其他實例中，視訊編碼器20可包括較多、較少或不同功能之組件。
視訊資料記憶體101可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體101中之視訊資料。經解碼圖像緩衝器116可為儲存用於由視訊編碼器20在編碼視訊資料(例如，以框內或框間寫碼模式)時使用之參考視訊資料的參考圖像記憶體。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記 憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可藉由相同記憶體器件或獨立記憶體器件來提供視訊資料記憶體101及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體101可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與具有相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，區塊編碼單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。更小區塊可為CU之寫碼區塊。舉例而言，區塊編碼單元100可將與CTU相關聯的CTB分割成四個相等大小的子區塊，將子區塊中之一或多者分割成四個相等大小的子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生該等CU之經編碼的表示(亦即，經寫碼之CU)。作為編碼CU之部分，區塊編碼單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及 PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測單元121可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測單元121並不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測之區塊係使用空間預測自同一圖框內的先前經編碼之相鄰區塊而形成。
若PU在P圖塊中，則框間預測處理單元120之運動估計單元可針對用於PU之參考區域搜尋參考圖像之清單(例如，「RefPicList0」)中的參考圖像。用於PU之參考區域可為參考圖像內含有最緊密地對應於PU之樣本區塊的樣本區塊之區域。運動估計單元可產生指示含有用於PU之參考區之參考圖像的RefPicList0中之位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與相關聯於參考區域的參考位置之間的空間移位的MV。舉例來說，MV可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元可輸出參考索引及MV作為PU之運動資訊。框間預測處理單元120之運動補償單元可基於藉由PU之運動向量指示之參考位置處的實際或經內插之樣本而產生PU之預測性區塊。
若PU係在B圖塊中，則運動估計單元可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元可搜尋RefPicList0之參考圖像，或用於PU之參考區的第二參考圖像清單(「RefPicList1」)。運動估計單元可輸出以下各者作為PU之運動資訊：指示含有參考區域之參考圖像之RefPicList0或RefPicList1中之位置的參考索引、指示PU之預測區塊與相關聯於參考區域之參考位置之間的空間位移的MV，及指示參考圖像是在RefPicList0抑或在RefPicList1中之一或多個預測方向指示符。框間預測處理單元120之運動補償單元可至少部分地基於由PU之運動向量指示之參考區處的實際或內插樣本而產生PU之預測性區塊。
為了針對PU執行雙向框間預測，運動估計單元可在用於PU之參考區的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區的RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區之參考圖像的RefPicList0及RefPicList1中之位置的參考圖像索引。另外，運動估計單元可產生指示相關聯於參考區之參考位置與PU之樣本區塊之間的空間位移的MV。PU之運動資訊可包括參考索引及PU之MV。運動補償單元可至少部分地基於由PU之運動向量指示之參考區處之實際或內插樣本而產生PU之預測性區塊。
根據本發明之各種實例，視訊編碼器20可經組態以執行基於調色板之寫碼。關於HEVC構架，作為實例，基於調色板之寫碼技術可經組態以用在CU層級。在其他實例中，基於調色板之視訊寫碼技術可經組態以用在PU層級。在其他實例中，基於調色板之寫碼技術可經組態以用在子預測單元(子PU)層級(例如，預測單元之子區塊)。因此，本文中(本發明通篇)所描述的在CU層級之情況下的所有所揭示程序可另外地或替代性地應用於PU層級或子PU層級。然而，此等基於HEVC之實例不應被視為約束或限制本文中所描述的基於調色板之視訊寫碼技術，因而，此等技術可適用於獨立地或作為其他現有或尚待開發之系統/標準之部分而工作。在此等情況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
當(例如)針對CU或PU選擇基於調色板之編碼模式時，基於調色板之編碼單元122(例如)可執行基於調色板之解碼。舉例而言，基於調色板之編碼單元122可經組態以產生具有指示像素值之條目之調色板，選擇調色板中之像素值以表示視訊資料區塊中的至少一些位置之像素值，及用信號通知使視訊資料區塊的位置中之至少一些位置與調色板中分別對應於所選擇像素值之條目相關聯的資訊。儘管將各種功能描述為藉由基於調色板之編碼單元122執行，但此等功能中之一些 或全部可藉由其他處理單元或不同處理單元之組合執行。
根據本發明之態樣，基於調色板之編碼單元122可經組態以執行本文中所描述的用於調色板寫碼之技術的任何組合。
舉例而言，基於調色板之編碼單元122可經組態以停用用於具有64×64或更大之大小之任何調色板區塊的調色板模式寫碼。在其他實例中，基於調色板之編碼單元122可經組態以將調色板模式寫碼限於具有小於64×64之大小的調色板區塊，意謂調色板模式寫碼可經啟用或另外用於具有小於64×64之大小的調色板區塊。在其他實例中，基於調色板之編碼單元122可經組態以基於最大變換單元大小規範地限制最大調色板區塊大小。作為另一實例，基於調色板之編碼單元122可經組態以停用用於具有超過或另外大於最大變換單元大小之大小的調色板區塊之調色板模式寫碼。基於調色板之編碼單元122可類似地經組態以執行本文中所描述的用於調色板寫碼之任何其他技術。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊中、P圖塊中及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本來產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區的大小。
區塊編碼單元100可自藉由框間預測處理單元120針對PU產生之 預測性資料或藉由框內預測處理單元126針對PU產生之預測性資料當中選擇用於CU之PU之預測性資料。在一些實例中，區塊編碼單元100基於預測性資料之集合的速率/失真量度而選擇用於CU之PU的預測性資料。選定之預測性資料的預測性區塊在本文中可被稱作選定之預測性區塊。
殘餘產生單元102可基於CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊及CU之PU的所選擇預測性明度區塊、預測性Cb區塊及預測性Cr區塊而產生CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應選定預測性區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，在一些實例中，TU可與明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之分葉節點。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生用於CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於變換區塊。在一些實例中，變換處理單元104並不將變換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化程序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，n位元變換係數可在量化期間被捨入至m位元變換係數，其中n大於m。量化單位 106可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可使得資訊丟失，因此經量化之變換係數可具有比原始變換係數較低之精確度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自藉由區塊編碼單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構之變換區塊。藉由以此方式重建構用於CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。濾波器單元114可執行其他濾波操作，包括樣本自適應性偏移(SAO)濾波及/或自適應性迴路濾波(ALF)。在濾波器單元114對經重建構寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存經重建構寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像，以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，並可自區塊編碼單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性寫碼操作(諸如，CABAC操作)、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分 割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生的經熵編碼之資料的位元串流。舉例而言，位元串流可包括表示CU之RQT的資料。
在一些實例中，殘餘寫碼並不與調色板寫碼一起執行。因此，當使用調色板寫碼模式寫碼時視訊編碼器20可不執行變換或量化。另外，視訊編碼器20可熵編碼單獨地使用調色板寫碼模式自殘餘資料產生的資料。
根據本發明之技術中之一或多者，視訊編碼器20，且特定言之基於調色板之編碼單元122，可執行經預測視訊區塊的基於調色板之視訊寫碼。如上文所描述，由視訊編碼器20產生之調色板可明確地經編碼並發送至視訊解碼器30，自先前調色板條目預測，自先前像素值預測，或其組合。
圖3為說明經組態以執行本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖3，且其並不限制如本發明中廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼之情況下的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
上文關於編碼器20所描述之調色板寫碼之細節在此不關於解碼器30重複，但應理解，解碼器30可相對於本文關於編碼器20所描述之任何編碼程序而執行互逆解碼程序。
舉例而言，應理解視訊解碼器30可經組態以動態地停用調色板模式或另外經組態以不使用調色板模式用於具有不等於或少於最大變換單元之大小的任何調色板區塊。應進一步理解視訊解碼器30可經組態以僅當視訊資料區塊具有不超過視訊編碼器20可經組態以編碼及/或視訊解碼器30可經組態以解碼的最大變換單元之大小時使用調色板模式解碼視訊資料區塊。類似地，視訊解碼器30可經組態以僅當視訊 資料區塊具有不超過最大變換單元之大小時啟用用於視訊資料區塊的調色板模式寫碼。在其他實例中，視訊解碼器30可經組態以基於對應於調色板模式旗標之值(諸如，palette_mode_flag之語法元素的值)判定是啟用還是停用調色板模式。
作為另一實例，視訊解碼器30可經組態以接收視訊資料區塊。視訊解碼器30可經組態以判定相對於最大變換單元大小的視訊資料區塊之大小。視訊解碼器30可經組態以當視訊資料之所接收區塊大於最大變換單元大小之大小時判定視訊之所接收區塊未經調色板模式編碼。
視訊解碼器30表示根據本發明中描述之各種實例之可經組態以執行用於基於調色板之寫碼及熵寫碼(例如，CABAC)之技術的器件之實例。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、區塊解碼單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160及經解碼圖像緩衝器162。區塊解碼單元152包括運動補償單元164及框內預測處理單元166。視訊解碼器30亦包括經組態以執行本發明中所描述的基於調色板之寫碼技術的各種態樣的基於調色板之解碼單元165。在其他實例中，視訊解碼器30可包括較多、較少或不同功能之組件。
視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。可(例如)自電腦可讀媒體16(例如，自本端視訊源(諸如，攝影機))經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而獲得儲存於視訊資料記憶體151中之視訊資料。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於藉由視訊解碼器30解碼視訊資料(例如，以框內或框間寫 碼模式)時使用之參考視訊資料的參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或獨立記憶體器件提供視訊資料記憶體151及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。
經寫碼圖像緩衝器(CPB)可接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB接收經編碼視訊資料(例如，NAL單元)且剖析該等NAL單元以解碼語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。區塊解碼單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。
視訊解碼器30可經組態以執行與本文中所描述之視訊編碼器20之彼程序大體上互逆的程序。類似地，視訊編碼器20可經組態以執行與本文中描述之視訊解碼器30之程序大體上互逆的程序。舉例而言，視訊解碼器30可經組態以解碼位元串流中之經編碼語法元素的揭示內容同樣必定揭示視訊編碼器20可經組態以將語法元素編碼至位元串流中。
作為另一實例，熵解碼單元150可經組態以執行與本文中所描述之熵編碼單元118之彼程序大體上互逆的程序。根據本發明之態樣，熵解碼單元150可經組態以熵解碼藉由熵編碼單元118產生之任何碼字。
位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可自經寫碼圖塊NAL單元提取語法元素且對該等語法元素進行熵解碼。經寫碼圖塊中之每一者可包括圖塊標 頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。圖塊標頭中之語法元素可包括識別與含有圖塊之圖像相關聯之PPS的語法元素。
除了解碼來自位元串流之語法元素之外，視訊解碼器30可對未分割之CU執行重建構操作。為了對未分割CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作的部分，反量化單元154可反量化(亦即，解量化)與TU相關聯之係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定反量化單元154應用之量化程度及(同樣地)反量化程度。亦即，可藉由調節在量化轉變係數時使用之QP值來控制壓縮比，亦即，用於表示原始序列及壓縮序列的位元之數目之比率。壓縮比亦可取決於所採用的熵寫碼之方法。
在反量化單元154對係數區塊進行反量化之後，反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若PU使用框內預測進行編碼，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於空間上鄰近的PU之預測區塊而產生用於PU之預測性明度、Cb及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素判定用於PU之框內預測模式。
區塊解碼單元152可基於自位元串流提取之語法元素建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測來編碼，則熵解碼單元150可提取用於PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多 個參考區。運動補償單元164可基於用於PU之一或多個參考區塊處的樣本區塊產生用於PU之預測性明度區塊、Cb區塊及Cr區塊。
重建構單元158可在適用時使用與CU之TU相關聯的明度變換區塊、Cb變換區塊及Cr變換區塊以及CU之PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊(亦即，框內預測資料或框間預測資料)來重建構CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。舉例而言，重建構單元158可將明度變換區塊、Cb變換區塊及Cr變換區塊之樣本添加至預測性明度區塊、預測性Cb區塊及預測性Cr區塊之對應樣本，以重建構CU的明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。
濾波器單元160可執行解區塊操作以減少與CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊相關聯的區塊假影。視訊解碼器30可在經解碼圖像緩衝器162中儲存CU之明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度區塊、Cb區塊及Cr區塊對其他CU之PU執行框內預測或框間預測操作。
根據本發明之各種實例，視訊解碼器30可經組態以執行基於調色板之寫碼。當選定基於調色板之解碼模式(例如)用於CU或PU時，基於調色板之解碼單元165(例如)可執行基於調色板之解碼。舉例而言，基於調色板之解碼單元165可經組態以產生具有指示像素值之條目的調色板，接收使視訊資料區塊中之至少一些像素位置與調色板中之條目相關聯的資訊，基於資訊選擇調色板中之像素值，且基於調色板中之所選擇像素值重建構區塊之像素值。儘管各種功能經描述為由基於調色板之解碼單元165執行，但此等功能中之一些或全部可由其他處理單元或不同處理單元之組合來執行。
基於調色板之解碼單元165可接收調色板寫碼模式資訊，並在調 色板寫碼模式資訊指示調色板寫碼模式適用於區塊時執行以上操作。在調色板寫碼模式資訊指示調色板寫碼模式不適用於區塊時，或在其他模式資訊指示不同模式之使用時，基於調色板之解碼單元165使用非基於調色板之寫碼模式(例如，HEVC框間預測寫碼模式或HEVC框內預測寫碼模式)解碼視訊資料區塊。視訊資料區塊可為(例如)根據HEVC寫碼程序產生的CU或PU。基於調色板之寫碼模式可包含複數個不同基於調色板之寫碼模式中的一者，或可存在單個基於調色板之寫碼模式。
根據本發明之態樣，基於調色板之解碼單元165可經組態以執行本文中所描述的用於調色板寫碼之技術的任何組合。上文關於編碼器20所描述之調色板寫碼之細節在此不關於解碼器30重複，但應理解，解碼器30可相對於本文關於編碼器20所描述之任何基於調色板之編碼程序而執行互逆的基於調色板之解碼程序。
圖4為說明與本發明之技術一致的判定用於寫碼視訊資料之調色板的實例之概念圖。圖4之實例包括具有與第一調色板184相關聯的第一PAL(調色板)寫碼單元(CU)180及與第二調色板192相關聯之第二PAL CU 188的圖像178。如下文更詳細描述且根據本發明之技術，第二調色板192係基於第一調色板184。圖像178亦包括藉由框內預測寫碼模式寫碼的區塊196及藉由框間預測寫碼模式寫碼的區塊200。
出於解釋之目的，在視訊編碼器20(圖1及圖2)及視訊解碼器30(圖1及圖3)之上下文中並關於HEVC視訊寫碼標準描述圖4之技術。然而，應理解，本發明之技術不限於此方式，且可藉由其他視訊寫碼處理器及/或器件在其他視訊寫碼程序及/或標準中應用。
大體而言，調色板係指對於當前經寫碼之CU(在圖4之實例中為CU 188)而言為主要的及/或代表性的數個像素值。第一調色板184(亦可被稱作索引184)及第二調色板192(亦可被稱作索引192)經展示為包 括多個調色板(亦可被稱作多個索引)。在一些實例中，根據本發明之態樣，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可單獨地針對CU之每一色彩分量來寫碼調色板(例如索引)。舉例而言，視訊編碼器20可編碼用於CU之明度(Y)分量之調色板、用於CU之色度(U)分量之另一調色板及用於CU之色度(V)分量之又一調色板。在此實例中，Y調色板之條目可表示CU之像素的Y值，U調色板之條目可表示CU之像素的U值，且V調色板之條目可表示CU之像素的V值。
在其他實例中，視訊編碼器20可編碼用於CU之全部色彩分量的單個調色板。在此實例中，視訊編碼器20可編碼具有為三重值(包括Yi、Ui及Vi)的第i個條目的調色板。在此情況下，調色板包括用於像素之分量中之每一者的值。因此，作為具有多個個別調色板之調色板集合的調色板184及192之表示僅為一個實例且不意欲為限制性的。
在圖4之實例中，第一調色板184包括分別具有條目索引值1、條目索引值2及條目索引值3的三個條目202至206。第一調色板184使索引值(例如，第一調色板184之左行中所展示的值)與像素值相關。舉例而言，如圖4中所展示，第一調色板184中之一者使索引值1、2及3分別與像素值A、B及C相關。如本文中所描述，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可使用基於調色板之寫碼對使用索引1至3(亦可表達為索引值1至3)之區塊之像素進行寫碼，而不是對第一CU 180之實際像素值進行寫碼。亦即，對於第一CU 180之每一像素位置，視訊編碼器20可編碼像素的索引值，其中索引值與第一調色板184中之一或多者中的像素值相關聯。視訊解碼器30可自位元串流獲得索引值並使用索引值及第一調色板184中之一或多者重建構像素值。因此，第一調色板184係藉由視訊編碼器20在經編碼視訊資料位元串流中傳輸以供視訊解碼器30在基於調色板之解碼中使用。
在一些實例中，視訊編碼器20及視訊解碼器30可基於第一調色 板184來判定第二調色板192。舉例而言，視訊編碼器20及/或視訊解碼器30可定位判定預測性調色板(在此實例中，第一調色板184)所依據的一或多個區塊。在一些實例(諸如圖4中所說明之實例)中，視訊編碼器20及/或視訊解碼器30可在判定用於第二CU 188之預測性調色板時定位先前經寫碼之CU，諸如左側相鄰CU(第一CU 180)。
在圖4之實例中，第二調色板192包括分別具有條目索引值1、條目索引值2及條目索引值3的三個條目208至212。第二調色板192使索引值(例如，第一調色板192之左行中展示之值)與像素值相關。舉例而言，如圖4中所展示，第二調色板192中之一者使索引值1、2及3分別與像素值A、B及D相關。在此實例中，視訊編碼器20可寫碼指示第一調色板184之哪些條目包括於第二調色板192中的一或多個語法元素。在圖4之實例中，一或多個語法元素經說明為向量216。向量216具有若干相關聯二進位(或位元)，其中每一二進位指示與彼二進位相關聯之調色板預測符是否用於預測當前調色板之條目。舉例而言，向量216指示第一調色板184的前兩個條目(202及204)包括於第二調色板192中(向量216中之值「1」)，而第一調色板184之第三條目不包括於第二調色板192中(向量216中之值「0」)。在圖4之實例中，向量為布林(Boolean)向量。
在一些實例中，視訊編碼器20及視訊解碼器30可在執行調色板預測時判定調色板預測符清單(其亦可被稱作調色板預測符表)。調色板預測符清單可包括來自用以預測用於寫碼當前區塊之調色板之一或多個條目的一或多個相鄰區塊之調色板之條目。視訊編碼器20及視訊解碼器30可以相同方式來建構清單。視訊編碼器20及視訊解碼器30可寫碼資料(諸如向量216)以指示調色板預測符清單之哪些條目將包括於用於寫碼當前區塊之調色板中。
圖5為說明與本發明之技術一致的判定至像素之區塊的調色板之 索引的實例之概念圖。舉例而言，圖5包括索引區塊240(亦可被稱作圖240或索引圖240)，該索引區塊包括使與索引值相關聯之像素之各別位置與調色板244之條目相關的索引值(例如，索引值1、2及3)。
雖然索引區塊240在圖5之實例中說明為包括每一像素位置之索引值，但應理解在其他實例中，並非全部像素位置可與將像素值與調色板244之條目相關的索引值相關聯。亦即，如上文所提，在一些實例中，若像素值並不包括於調色板244中，則視訊編碼器20可編碼(且視訊解碼器30可自經編碼位元串流獲得)用於索引區塊240中之位置之實際像素值(或其經量化版本)之指示。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼指示哪些像素位置與索引值相關聯的額外映射。舉例而言，假定索引區塊240中之(i,j)條目對應於CU之(i,j)位置。視訊編碼器20可編碼用於指示條目是否具有相關聯索引值之索引區塊(亦即，每一像素位置)之每一條目的一或多個語法元素。舉例而言，視訊編碼器20可編碼具有值為一之旗標，以指示在CU中之(i,j)位置處之像素值為調色板244中之值中之一者。
在此實例中，視訊編碼器20亦可編碼調色板(圖5之實例中展示為244)。在調色板244包括單個條目及相關聯像素值之情況下，視訊編碼器20可跳過索引值之傳信。視訊編碼器20可將旗標編碼為具有值零以指示在CU中之(i,j)位置處的像素值並非調色板244中的值中的一者。在此實例中，視訊編碼器20亦可編碼供視訊解碼器30用於重建構像素值的像素值之指示。在一些情況下，可以有損方式寫碼像素值。
CU之一個位置中的像素之值可提供CU之其他位置中的一或多個其他像素之值之指示。舉例而言，可存在CU之相鄰像素位置將具有相同像素值或可映射至相同索引值(在有損寫碼情況下，其中一個以上之像素值可映射至單個索引值)的相對高機率。
因此，視訊編碼器20可編碼指示按給定掃描次序之具有相同像素值或索引值的若干連續像素或索引值的一或多個語法元素。如上文所提，相同值像素或索引值之串可在本文中稱為延行。在為出於說明之目的之實例中，若按給定掃描次序之兩個連續像素或索引具有不同值，則延行等於零。若按給定掃描次序之兩個連續像素或索引具有相同值但按掃描次序之第三像素或索引具有不同值，則延行等於一。對於具有相同值之三個連續索引或像素，延行為二，等等。視訊解碼器30可自經編碼位元串流獲得指示延行的語法元素並使用資料來判定具有相同像素或索引值的連續位置之數目。
在根據本發明之技術的一些實例中，熵編碼單元118及熵解碼單元150可經組態以熵寫碼索引區塊240。舉例而言，編碼單元118及熵解碼單元150可經組態以熵寫碼延行長度(例如，延行長度值或延行長度碼)及/或與調色板模式中之索引區塊相關之二進位調色板預測向量。
圖6為說明與本發明之技術一致的說明判定最大延行長度上之複製、假定光柵掃描次序之實例的概念圖。在圖6之實例中，若由虛線280涵蓋之像素中無一者經寫碼為逸出樣本，則最大可能延行長度為35(亦即，無陰影之像素位置的數目)。若在虛線280內之像素中之一或多者經寫碼為逸出樣本，則假定標記為逸出像素(具有「X」之像素位置)之像素為在虛線280內之在掃描次序中的第一逸出像素，接著大於延行長度之最大可能經寫碼之複本為5。
在一些實例中，視訊解碼器30可僅針對在虛線280內之像素判定延行模式(例如，其中像素經寫碼之調色板模式)。因此，在最差之情況下，視訊解碼器30為BlockWidth-1像素做出判定。在一些實例中，視訊解碼器30可經組態以實施關於像素(為其檢查延行模式)之最大數目的某些限制。舉例而言，若像素與當前像素處於相同之列，則視訊解 碼器30可僅檢查在虛線280內之像素。視訊解碼器30可推斷在虛線280內之所有其他像素未寫碼為逸出樣品。圖6中之實例假定光柵掃描次序。然而，該等技術可應用於其他掃描次序，諸如垂直、水平橫移，及垂直橫移。
圖7為說明與本發明之技術一致的用於編碼視訊資料之實例程序的流程圖。出於說明的目的，通常將圖7之程序描述為由視訊編碼器(例如，視訊編碼器20)執行，但多種其他處理器亦可執行圖7中所示之程序。在一些實例中，區塊編碼單元100、基於調色板之編碼單元122及/或熵編碼單元118可執行圖7中展示的一或多個程序。
在圖7之實例中，視訊編碼器(例如，視訊編碼器20)可經組態以接收具有大小之視訊資料區塊(700)。視訊編碼器可經組態以判定視訊資料區塊之大小(702)。視訊編碼器可經組態以基於視訊資料區塊之所判定大小停用用於視訊資料區塊之調色板模式編碼(704)。
在一些實例中，視訊編碼器可經組態以將調色板模式編碼限於具有小於第二大小之第一大小的視訊資料之任何區塊。在一些實例中，第一大小可為32×32。在一些實例中，第二大小可為64×64。在此等實例中，視訊編碼器可經組態以將調色板模式限於具有小於64×64之第一大小的視訊資料之任何區塊。在一些實例中，第一大小可為32×32且第二大小可為64×64。
在一些實例中，視訊編碼器可經組態以將調色板模式編碼限於具有小於或等於經指定用於視訊資料的最大變換單元之大小之第一大小的視訊資料之任何區塊。最大變換單元之大小可為32×32。在此實例中，視訊編碼器可經組態以將調色板模式寫碼限於具有小於或等於32×32之第一大小的視訊資料之任何區塊。
在一些實例中，視訊編碼器可經組態以將視訊資料區塊劃分成複數個4×4子區塊。在此等實例中，視訊編碼器可經組態以使用調色 板模式編碼該複數個4×4子區塊。
在一些實例中，視訊編碼器可經組態以將調色板模式編碼中之任何延行長度值限於最大延行長度值，以使得僅當調色板模式編碼中之任何延行長度值不限於最大延行長度值時才基於視訊資料區塊之所判定大小針對視訊資料區塊停用調色板模式編碼。在一個實例中，最大延行長度值為32×32減去1。在另一實例中，最大延行長度係基於最大變換單元之大小。在此實例中，若最大變換單元之大小為32×32，則最大延行長度可小於32×32，諸如32×32減去1。在另一實例中，最大延行長度係基於最大變換單元中係數之數目。
應理解，本文所描述之所有技術可單獨地或以組合方式使用。舉例而言，視訊編碼器20及/或其一或多個組件及視訊解碼器30及/或其一或多個組件可以任何組合執行本發明中所描述之技術。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件皆為必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。另外，儘管出於清晰之目的，本發明之某些態樣經描述為藉由單一模組或單元執行，但應理解本發明之技術可藉由與視訊寫碼器相關聯之單元或模組之組合來執行。
出於說明目的，已關於開發中HEVC標準而描述本發明之某些態樣。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。
上文所描述之技術可藉由視訊編碼器20(圖1及圖2)及/或視訊解碼器30(圖1及圖3)執行，兩者通常可稱作視訊寫碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。
根據本發明，術語「或」可解譯為「及/或」，其中上下文並不以 其他方式指示。另外，雖然諸如「一或多個」或「至少一」或其類似者之片語可被用於本文中(但並非為其他者)所揭示之一些特徵；並未使用此語言之特徵可解釋為具有暗示上下文並不以其他方式指示的此含義。
雖然在上文描述技術的各種態樣之特定組合，但提供此等組合僅為了說明本發明中描述的技術之實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中描述之技術的各種態樣之任何可設想組合。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於有形媒體，諸如資料儲存媒體，或包括促進將電腦程式自一處傳送至另一處(例如，根據通信協定)的任何媒體的通信媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技 術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是實際上有關非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入組合式編解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合適合之軟體及/或韌體來提供該等單元。
各種實例已於本文中予以描述。涵蓋所描述之系統、操作、功能或實例之任何組合。此等及其他實例處於以下申請專利範圍之範疇內。

Claims (5)

  1. 一種編碼視訊資料之方法，該方法包含：接收具有一大小之一視訊資料區塊；判定該視訊資料區塊之該大小；及對於小於一最大變換單元之一大小或等於32×32減去1的一最大延行長度值，採取以下步驟之一：當調色板模式編碼該視訊資料區塊時，將該視訊資料區塊的任何延行長度值限於一最大延行長度值；或當該視訊資料區塊之該所判定大小大於該最大變換單元之該大小時且如果該視訊資料區塊的任何延行長度值不限於該最大延行長度值時，停用用於該視訊資料區塊之調色板模式編碼。
  2. 如請求項1之方法，其中該最大變換單元之該第一大小為32×32。
  3. 一種用於編碼視訊資料之裝置，該裝置包含：用於接收具有一大小之一視訊資料區塊的構件；用於判定該視訊資料區塊之該大小的構件；及對於小於一最大變換單元之一大小或等於32×32減去1的一最大延行長度值，採取以下步驟之一的構件：當調色板模式編碼該視訊資料區塊時，將該視訊資料區塊的任何延行長度值限於一最大延行長度值；或當該視訊資料區塊之該所判定大小大於該最大變換單元之該大小時且如果該視訊資料區塊的任何延行長度值不限於該最大延行長度值時，停用用於該視訊資料區塊之調色板模式編碼。
  4. 如請求項3之裝置，其中該最大變換單元之該第一大小為32×32。
  5. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在執行時引起一或多個處理器：接收具有一大小之一視訊資料區塊；判定該視訊資料區塊之該大小；及對於小於一最大變換單元之一大小或等於32×32減去1的一最大延行長度值，採取以下步驟之一：當調色板模式編碼該視訊資料區塊時，將該視訊資料區塊的任何延行長度值限於一最大延行長度值；或當該視訊資料區塊之該所判定大小大於該最大變換單元之該大小時且如果該視訊資料區塊的任何延行長度值不限於該最大延行長度值時，停用用於該視訊資料區塊之調色板模式編碼。
TW105104381A 2015-02-10 2016-02-15 在視訊寫碼中調色板區塊大小之限制 TWI705697B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562114537P 2015-02-10 2015-02-10
US62/114,537 2015-02-10
US15/019,086 US20160234494A1 (en) 2015-02-10 2016-02-09 Restriction on palette block size in video coding
US15/019,086 2016-02-09

Publications (2)

Publication Number Publication Date
TW201639364A TW201639364A (zh) 2016-11-01
TWI705697B true TWI705697B (zh) 2020-09-21

Family

ID=56567241

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105104381A TWI705697B (zh) 2015-02-10 2016-02-15 在視訊寫碼中調色板區塊大小之限制

Country Status (12)

Country Link
US (1) US20160234494A1 (zh)
EP (1) EP3257246B1 (zh)
JP (2) JP6749925B2 (zh)
KR (1) KR102142181B1 (zh)
CN (1) CN107211148B (zh)
AU (1) AU2016219428B2 (zh)
EA (1) EA037461B1 (zh)
ES (1) ES2770664T3 (zh)
HU (1) HUE047519T2 (zh)
TN (1) TN2017000327A1 (zh)
TW (1) TWI705697B (zh)
WO (1) WO2016130622A2 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716999B (zh) * 2014-06-20 2019-08-09 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
KR102394153B1 (ko) 2017-09-11 2022-05-09 주식회사 만도 통합형 ｅｃｕ
CN107948659B (zh) * 2017-11-21 2020-07-31 天津大学 针对游戏视频内容的hevc-scc自适应能耗控制策略
CN108566328B (zh) * 2018-01-18 2021-03-02 北京三快在线科技有限公司 数据传输方法、装置、介质及电子设备
US10694195B2 (en) * 2018-03-07 2020-06-23 Tencent America LLC Methods and apparatus for palette coding
AU2018217336A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
US10652537B1 (en) * 2018-11-21 2020-05-12 Alibaba Group Holding Limited Coding unit size adaptive palette mode for video compression system
US10924750B2 (en) * 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
JP7177952B2 (ja) * 2019-04-25 2022-11-24 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド パレットモードを用いたビデオコーディングの方法および装置
WO2021023261A1 (en) 2019-08-06 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Size restriction based on color format
BR112022003732A2 (pt) 2019-09-02 2022-10-11 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
US11641475B2 (en) 2019-09-12 2023-05-02 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
WO2021050234A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for signaling video coding information
CN114424565A (zh) 2019-09-21 2022-04-29 北京字节跳动网络技术有限公司 基于色度帧内模式的尺寸限制
US11683489B2 (en) * 2019-12-26 2023-06-20 Qualcomm Incorporated Monochrome palette mode for video coding
KR102597662B1 (ko) * 2020-01-11 2023-11-01 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 팔레트 모드를 이용한 비디오 코딩 방법 및 장치
US11184632B2 (en) * 2020-01-20 2021-11-23 Tencent America LLC Method and apparatus for palette based coding mode under local dual tree structure
CN117939155A (zh) * 2020-04-10 2024-04-26 抖音视界有限公司 视频编解码中的变换跳过块的最小允许量化
CN112153475B (zh) 2020-09-25 2022-08-05 北京字跳网络技术有限公司 用于生成文字模式的视频的方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243340B2 (en) * 2006-02-23 2012-08-14 Microsoft Corporation Pre-processing of image data for enhanced compression
CN102088604B (zh) * 2011-02-10 2013-06-26 深圳创维数字技术股份有限公司 一种影片缩略图的压缩方法及压缩装置
CN111800641B (zh) * 2013-06-13 2023-08-25 上海天荷电子信息有限公司 同模式采用不同种类重构像素的图像编码解码方法和装置
CN104853209B (zh) * 2014-02-16 2020-09-29 同济大学 图像编码、解码方法及装置
CN106716999B (zh) * 2014-06-20 2019-08-09 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
KR101887798B1 (ko) * 2014-06-20 2018-08-10 에이치에프아이 이노베이션 인크. 비디오 코딩에서의 신택스에 대한 이진화 및 컨텍스트 적응 코딩의 방법 및 장치
CN110460845B (zh) * 2014-11-06 2021-08-27 联发科技股份有限公司 调色板编码的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wei Wang, et.al, "Non-CE5: CU dependent color palette maximum size", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 19th Meeting: Strasbourg, FR, 17–24 Oct. 2014 *
Wei Wang, et.al, "Non-CE5: CU dependent color palette maximum size", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 19th Meeting: Strasbourg, FR, 17–24 Oct. 2014,

Also Published As

Publication number Publication date
WO2016130622A2 (en) 2016-08-18
JP2020162144A (ja) 2020-10-01
KR102142181B1 (ko) 2020-08-06
ES2770664T3 (es) 2020-07-02
EA201791564A1 (ru) 2017-12-29
JP2018509071A (ja) 2018-03-29
US20160234494A1 (en) 2016-08-11
TN2017000327A1 (en) 2019-01-16
KR20170116026A (ko) 2017-10-18
AU2016219428B2 (en) 2019-08-29
JP6749925B2 (ja) 2020-09-02
TW201639364A (zh) 2016-11-01
HUE047519T2 (hu) 2020-04-28
AU2016219428A1 (en) 2017-07-27
BR112017017139A2 (pt) 2018-04-03
EP3257246A2 (en) 2017-12-20
CN107211148B (zh) 2020-08-04
WO2016130622A3 (en) 2016-10-27
CN107211148A (zh) 2017-09-26
EA037461B1 (ru) 2021-03-30
EP3257246B1 (en) 2019-11-06

Similar Documents

Publication Publication Date Title
TWI705697B (zh) 在視訊寫碼中調色板區塊大小之限制
TWI718101B (zh) 調色盤模式編碼及解碼設計
TWI714548B (zh) 用於視訊寫碼之調色盤索引分組
TWI689197B (zh) 用於次取樣格式之調色模式
TWI693822B (zh) 基於調色板之視訊寫碼中之最大調色板參數
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
TWI669944B (zh) 基於調色板之視訊寫碼中之寫碼行程
US10362333B2 (en) Color index coding for palette-based video coding
TWI666920B (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
TWI670971B (zh) 基於調色板之視訊寫碼中之逃脫樣本寫碼
TWI624172B (zh) 基於調色板之視訊寫碼
US10097837B2 (en) Palette run hiding in palette-based video coding
TW201633788A (zh) 用於視訊寫碼之調色板模式寫碼
JP2017532896A (ja) パレットインデックスのコーディングのためのパースの依存性の低減
US9961351B2 (en) Palette mode coding