TW201625002A - 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移 - Google Patents

用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移 Download PDF

Info

Publication number
TW201625002A
TW201625002A TW104133090A TW104133090A TW201625002A TW 201625002 A TW201625002 A TW 201625002A TW 104133090 A TW104133090 A TW 104133090A TW 104133090 A TW104133090 A TW 104133090A TW 201625002 A TW201625002 A TW 201625002A
Authority
TW
Taiwan
Prior art keywords
video
block
conversion
quantization parameter
blocks
Prior art date
Application number
TW104133090A
Other languages
English (en)
Other versions
TWI701942B (zh
Inventor
克里序納坎斯 拉帕卡
章立
瑞珍 雷克斯曼 喬許
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201625002A publication Critical patent/TW201625002A/zh
Application granted granted Critical
Publication of TWI701942B publication Critical patent/TWI701942B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種用於解碼視訊資料之器件,該器件經組態以針對該視訊資料之一或多個區塊判定啟用可適性顏色轉換;判定該一或多個區塊之一量化參數;回應於該量化參數之一值低於一臨限值,修改該量化參數以判定一經修改之量化參數;及基於該經修改之量化參數而解量化轉換係數。

Description

用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移 本申請案主張以下各者之權益:
2014年10月7日申請之美國臨時專利申請案第62/061,099號,及 2014年10月15日申請之美國臨時專利申請案第62/064,347號, 以上美國臨時專利申請案之全部內容全文併入本文中。
本發明係關於視訊寫碼(諸如,視訊編碼或視訊解碼)。
數位視訊能力可併入至廣泛範圍之器件中,包括數位電視、數位直播廣播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及類似者。數位視訊器件實施視訊壓縮技術,諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))所定義之標準、目前正在發展之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述之彼等視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減 少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(亦即,視訊圖框或視訊圖框之一部分)分割為視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮,可將殘餘資料自像素域轉換至轉換域,從而產生殘餘轉換係數,可隨後量化該殘餘轉換係數。可掃描最初配置成二維陣列之經量化轉換係數以便產生轉換係數之一維向量,且可應用熵寫碼以達成甚至更多壓縮。
本發明描述與在使用顏色空間變換寫碼時判定量化參數相關之技術,且此外,本發明描述用於在使用顏色空間變換寫碼時在視訊資料之經編碼位元串流中產生並解析用於信號傳遞量化參數之各種語法元素的技術。
在一項實例中,一種解碼視訊資料之方法包括針對視訊資料之一或多個區塊判定啟用可適性顏色轉換;判定一或多個區塊之量化參數;回應於量化參數之一值低於一臨限值,修改量化參數以判定經修改之量化參數;及基於經修改之量化參數而解量化轉換係數。
在另一實例中,一種用於解碼視訊資料之器件包括視訊資料記 憶體及一或多個處理器,該一或多個處理器經組態以針對視訊資料之一或多個區塊判定啟用可適性顏色轉換;判定一或多個區塊之量化參數;回應於量化參數之一值低於一臨限值而修改量化參數以判定經修改之量化參數;及基於經修改之量化參數而解量化轉換係數。
在另一實例中,一種用於解碼視訊資料之裝置包括用於針對視訊資料之一或多個區塊判定啟用可適性顏色轉換的構件;用於判定一或多個區塊之量化參數的構件;用於回應於量化參數之一值低於一臨限值而修改量化參數以判定經修改之量化參數的構件;及用於基於經修改之量化參數而解量化轉換係數的構件。
在另一實例中,一種電腦可讀儲存媒體儲存指令,該等指令在由一或多個處理器執行時使得該一或多個處理器:針對視訊資料之一或多個區塊判定啟用可適性顏色轉換;判定一或多個區塊之量化參數;回應於量化參數之一值低於一臨限值而修改量化參數以判定經修改之量化參數;及基於經修改之量化參數而解量化轉換係數。
在隨附圖式及以下描述中闡述本發明之一或多個實例的細節。本發明之其他特徵、目標及優勢將自描述、圖式及申請專利範圍變得顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧連結
17‧‧‧儲存器件
18‧‧‧視訊源
20‧‧‧視訊編碼器
21‧‧‧視訊編碼器
22‧‧‧輸出介面
27‧‧‧後處理實體
28‧‧‧輸入介面
29‧‧‧網路實體
30‧‧‧視訊解碼器
31‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧視訊資料記憶體
35‧‧‧分割單元
40‧‧‧模式選擇單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧轉換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反向轉換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧經解碼圖像緩衝器
78‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反向轉換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧經解碼圖像緩衝器
94‧‧‧交叉影線樣本
96‧‧‧參考樣本
98‧‧‧參考樣本
100‧‧‧原始信號
101‧‧‧切換器
102‧‧‧可適性轉換器
104‧‧‧預測處理單元
105‧‧‧切換器
106‧‧‧可適性顏色轉換器
108‧‧‧轉換/量化單元
110‧‧‧熵編碼器
112‧‧‧解量化/反向轉換單元
113‧‧‧切換器
114‧‧‧反向可適性顏色轉換器
116‧‧‧預測補償器
118‧‧‧解區塊濾波器
120‧‧‧樣本可適性偏移濾波器
121‧‧‧切換器
122‧‧‧參考圖像記憶體
124‧‧‧殘餘信號
126‧‧‧經重建構殘餘信號/經重建構信號
128‧‧‧經重建構信號
130‧‧‧反向可適性顏色轉換器
140‧‧‧經編碼輸入位元串流
142‧‧‧熵解碼單元
144‧‧‧解量化/反向轉換單元
145‧‧‧切換器
148‧‧‧切換器
150‧‧‧反向可適性顏色轉換器
152‧‧‧預測補償單元
154‧‧‧參考圖像記憶體
156‧‧‧切換器
157‧‧‧解區塊濾波器
158‧‧‧樣本可適性偏移濾波器單元
160‧‧‧經重建構信號
162‧‧‧切換器
162‧‧‧切換器
164‧‧‧影像/視訊
166‧‧‧反向可適性顏色轉換器
210‧‧‧區塊
212‧‧‧區塊
214‧‧‧區塊
216‧‧‧區塊
220‧‧‧區塊
222‧‧‧區塊
224‧‧‧區塊
230‧‧‧區塊
232‧‧‧區塊
234‧‧‧區塊
240‧‧‧區塊
242‧‧‧區塊
244‧‧‧區塊
246‧‧‧區塊
250‧‧‧區塊
252‧‧‧區塊
254‧‧‧區塊
256‧‧‧區塊
圖1為繪示可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2A至圖2C為繪示視訊資料之不同樣本格式的概念圖。
圖3為繪示根據4:2:0樣本格式而格式化之16×16寫碼單元的概念圖。
圖4為繪示根據4:2:2樣本格式而格式化之16×16寫碼單元的概念圖。
圖5為繪示根據本發明之一或多個技術之目標區塊及框內8×8區 塊之參考樣本的實例的概念圖。
圖6為繪示可實施本發明中所描述之技術的實例視訊編碼器的方塊圖。
圖7為繪示可實施本發明中所描述之技術的實例視訊解碼器的方塊圖。
圖8為繪示根據本發明之一或多個態樣之視訊編碼器之另一實例的方塊圖,該視訊編碼器可利用用於使用顏色轉換將具有RGB顏色空間之視訊資料轉換為具有第二顏色空間之視訊資料的技術。
圖9為繪示根據本發明之一或多個態樣之視訊編碼器之另一實例的方塊圖,該視訊編碼器可利用用於使用反向顏色轉換將具有第一顏色空間的視訊資料之區塊反向轉換為具有第二RGB顏色空間的視訊資料之區塊之技術;圖10為繪示根據本發明之技術的實例視訊解碼方法的流程圖。
圖11為繪示根據本發明之技術的實例視訊編碼方法的流程圖。
圖12為繪示根據本發明之技術的實例視訊解碼方法的流程圖。
圖13為繪示根據本發明之技術的實例視訊編碼方法的流程圖。
圖14為繪示根據本發明之技術的實例視訊解碼方法的流程圖。
本發明描述關於可適性顏色轉換量化參數推導之技術。本發明識別關於如何在使用可適性顏色轉換時量化參數推導之各種問題且提出解決方案以處理此等問題。本發明描述視訊寫碼技術,包括關於新興的螢幕內容寫碼(screen content coding;SCC)擴展及最近定案之高效率視訊寫碼(HEVC)標準之範圍擴展(range extension;RExt)的技術。SCC及範圍擴展正經設計以潛在地支援高位元深度(例如,大於8位元)及/或不同色度取樣格式(諸如,4:4:4、4:2:2、4:2:0、4:0:0等),且因此正經設計以包括並未包括於基礎HEVC標準中之新的寫碼方法。
一個此寫碼工具為顏色空間變換寫碼。在顏色空間變換寫碼中,視訊編碼器可將殘餘資料自第一顏色空間(例如,YCbCr)變換至第二顏色空間(例如,RGB)以便達成更佳的寫碼品質(例如,更佳的速率一失真權衡)。與殘餘資料之顏色空間無關,視訊編碼器通常將殘餘資料轉換為轉換係數並且量化該等轉換係數。視訊解碼器執行解量化轉換係數及反向轉換該等轉換係數之互逆處理程序以重建構殘餘資料。視訊編碼器產生包括於視訊資料之經編碼位元串流中之量化參數,該量化參數指示用於量化轉換係數等級中之縮放量。視訊解碼器剖析位元串流以判定由視訊編碼器使用之量化參數。量化參數亦可由其他視訊寫碼處理程序(諸如,解區塊濾波)使用。
本發明描述關於在使用顏色空間變換寫碼時判定量化參數之技術,且此外,本發明描述用於在使用顏色空間變換寫碼時將量化參數作為視訊資料之經編碼位元串流之一部分自編碼器信號傳遞至解碼器的技術。
圖1為繪示可使用本發明中所描述之技術(包括用於以IBC模式寫碼區塊之技術及用於並行處理之技術)的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示,系統10包括源器件12,其產生稍後時間將由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、電話手持機(諸如,所謂的「智慧型」電話)、所謂的「智慧型」平板、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸器件或類似者。在一些情況下,源器件12及目的地器件14可經裝備以進行無線通信。
目的地器件14可經由連結16接收待解碼之經編碼視訊資料。連結16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之 任何類型之媒體或器件。在一項實例中,連結16可包含使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼之視訊資料,且將經編碼之視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信的任何其他設備。
替代性地,可將經編碼資料自輸出介面22輸出至儲存器件17。類似地,可藉由輸入介面自儲存器件17存取經編碼資料。儲存器件17可包括各種分散式或本端存取之資料儲存媒體中之任一者,諸如,硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他適合之數位儲存媒體。在另一實例中,儲存器件17可對應於檔案伺服器或可保持由源器件12產生的經編碼視訊之另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件17存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此可包括無線頻道(例如,根據無線標準經調變,此無線標準包括適用於存取檔案伺服器上所儲存之經編碼視訊資料的無線區域網路標準(諸如,Wi-Fi)或無線電信標準(諸如,LTE或另一蜂巢式通信標準))、有線連接(例如,DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存器件17之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼,該等應用諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、(例如)經由網際網路之串流視訊傳輸、用於儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中,源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下,輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中,視訊源18可包括諸如視訊捕獲器件(例如,視訊攝影機)、含有先前所捕獲之視訊之視訊檔案庫、用以自視訊內容提供者接收視訊之視訊饋送介面及/或用於產生作為源視訊之電腦圖形資料的電腦圖形系統或此等源之組合的源。作為一項實例,若視訊源18為視訊攝影機,則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而,本發明中所描述之技術一般可適用於視訊寫碼,且可應用於無線及/或有線應用。
可由視訊編碼器20編碼所捕獲之視訊、預捕獲之視訊或電腦產生之視訊。經編碼視訊資料可經由源器件12之輸出介面22直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件17上以供稍後由目的地器件14或其他器件存取以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些情況下,輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由連結16接收經編碼視訊資料。經由連結16傳達或在儲存器件17上提供之經編碼視訊資料可包括由視訊編碼器20產生以由視訊解碼器(諸如,視訊解碼器30)用於解碼視訊資料的各種語法元素。可包括此等語法元素與在通信媒體上傳輸、儲存於儲存媒體上或 儲存於檔案伺服器上的經編碼視訊資料。
顯示器件32可與目的地器件14整合或位於目的地器件14外部。在一些實例中,目的地器件14可包括整合顯示器件,且亦經組態以與外部顯示器件介接。在其他實例中,目的地器件14可為顯示器件。一般而言,顯示器件32向用戶顯示經解碼視訊資料,且可包含各種顯示器件(諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件)中之任一者。
視訊編碼器20及視訊解碼器30可根據諸如HEVC之視訊壓縮標準操作,且可符合HEVC測試模型(HM)。HEVC標準之工作草案(被稱作「HEVC工作草案10」或「HEVC WD10」)描述於Bross等人的「Editors' proposed corrections to HEVC version 1」中(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC)在2013年4月韓國仁川之第13次會議)。另一HEVC草案規範可自http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip獲得。本發明中所描述之技術亦可根據當前正在開發中之HEVC標準之擴展而操作。
替代地或另外,視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如,ITU-T H.264標準,替代地被稱作MPEG-4,第10部分,進階視訊寫碼(AVC))或此等標準之擴展而操作。然而,本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
HEVC之設計最近已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)之JCT-VC定案。對HEVC之範圍擴展(被稱作 HEVC RExt)亦正由JCT-VC開發。範圍擴展之最近工作草案(WD)(下文中被稱作RExt WD7)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v4.zip獲得。
本發明將大體上將最近定案之HEVC規範文字稱為HEVC版本1或基礎HEVC。範圍擴展規範可變為HEVC之版本2。關於許多寫碼方法(諸如,運動向量預測),HEVC版本1及範圍擴展規範技術上類似。因此,不論何時本發明描述相對於HEVC版本1之變化,相同變化亦可適用於範圍擴展規範,其大體上包括基礎HEVC規範,加上一些額外寫碼工具。此外,可大體上假定HEVC版本1模組亦可併入至實施HEVC範圍擴展之解碼器中。
用於螢幕內容材料(諸如,運動之文字及圖形)之新的寫碼工具當前正在開發中且正預期包括於未來視訊寫碼標準中,包括HEVC之未來版本。此等新的寫碼工具潛在地改良螢幕內容之寫碼效率。由於有跡象表明可藉由使用新穎的專用寫碼工具開發螢幕內容之特性獲得寫碼效率之重要改良,已以可能開發包括用於SCC之特定工具的HEVC標準之未來擴展為目標發佈提案(Call for Proposals;CfP)。已邀請公司及組織回應於此提案而提交建議。在MPEG文件N14174中描述此CfP之使用情況及要求。在第17次JCT-VC會議期間,建立了SCC測試模型(SCM)。最新的SCC工作草案(WD)為JCTVC-U1005且在http://phenix.int-evry.fr/jct/doc_end_user/documents/21_Warsaw/wg11/JCTVC-U1005-v1.zip處可獲得。
本發明預期,源器件12之視訊編碼器20可經組態以根據此等當前或未來標準中之任一者編碼視訊資料。類似地,本發明亦預期,目的地器件14之視訊解碼器30可經組態以根據此等當前或未來標準中之任一者解碼視訊資料。
儘管圖1中未展示,但在一些態樣中,視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合,且可包括適當之MUX-DEMUX單元或其他硬體及軟體,以處置共同資料串流或單獨資料串流中之音訊及視訊兩者之編碼。在一些實例中,若適用,則MUX-DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如,使用者資料報協定(UDP))。
視訊編碼器20及視訊解碼器30各自可實施為各種適合之編碼器電路中之任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,該等編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。
如上文介紹,JCT-VC最近已定案HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型(被稱作HEVC測試模型(HM))。HM假定視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件之若干額外能力。舉例而言,H.264提供九個框內預測編碼模式,而HM可提供多達三十五個框內預測編碼模式。
在HEVC及其他視訊寫碼規範中,視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列,表示為SL、SCb及SCr。SL為亮度樣本之二維陣列(亦即,區塊)。SCb為Cb彩度樣本之二維陣列。SCr為Cr彩度樣本之二維陣列。彩度樣本在本文中亦可被稱作「色度」樣本。在其他情況下,圖像可為單色的,且可僅包括亮度樣本陣列。
為產生圖像之經編碼表示,視訊編碼器20可產生寫碼樹型單元(coding tree unit;CTU)之集合。CTU中之每一者可包含亮度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用以寫碼寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中,CTU可包含單一寫碼樹型區塊及用以對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(largest coding unit;LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而,CTU未必限於特定大小,且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描次序中連續排序之整數數目個CTU。
為產生經寫碼CTU,視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割,以將寫碼樹型區塊劃分成寫碼區塊,因此命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有亮度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的亮度樣本之寫碼區塊,及色度樣本之兩個對應寫碼區塊,及用於對寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨顏色平面之圖像中,CU可包含單一寫碼區塊及用於寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊為供應用相同預測之樣本的矩形(亦即,正方形或非正方形)區塊。CU之預測單元(PU)可包含亮度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨顏色平面之圖像中,PU可包含單一預測區塊及用以對預測區塊進行預測的語法結構。視訊編碼器20可針對CU之每一PU的亮度預測區塊、Cb預測區塊及Cr預測區塊產生預測性亮度區塊、預測性Cb區塊及預測性Cr區塊。
視訊編碼器20可使用框內預測或框間預測以產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊,則視訊編碼器20可基於與PU相關聯的圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測以產生PU之預測性區塊,則視訊編碼器20可基於除與PU相關聯之圖像之外的一或多個圖像之經解碼樣本產生PU之預測性區塊。
在視訊編碼器20產生CU之一或多個PU的預測性亮度區塊、預測性Cb區塊及預測性Cr區塊之後,視訊編碼器20可產生CU之亮度殘餘區塊。CU之亮度殘餘區塊中的每一樣本指示CU之預測性亮度區塊中之一者中的亮度樣本與CU之原始亮度寫碼區塊中之對應樣本之間的差異。另外,視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外,視訊編碼器20可使用四分樹分割以將CU之亮度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個亮度轉換區塊、Cb轉換區塊及Cr轉換區塊。轉換區塊為應用相同轉換之樣本的矩形(亦即,正方形或非正方形)區塊。CU之轉換單元(TU)可包含亮度樣本之轉換區塊、色度樣本之兩個對應轉換區塊及用以轉換區塊樣本之語法結構。因此,CU之每一TU可與亮度轉換區塊、Cb轉換區塊及Cr轉換區塊相關聯。與TU相關聯之亮度轉換區塊可為CU之亮度殘餘區塊的子區塊。Cb轉換區塊可為CU之Cb殘餘區塊的子區塊。Cr轉換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨顏色平面之圖像中,TU可包含單一轉換區塊及用以對轉換區塊之樣本進行轉 換的語法結構。
視訊編碼器20可將一或多個轉換應用至TU之亮度轉換區塊以產生TU之亮度係數區塊。係數區塊可為轉換係數之二維陣列。轉換係數可為純量。視訊編碼器20可將一或多個轉換應用於TU之Cb轉換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個轉換應用至TU之Cr轉換區塊以產生TU之Cr係數區塊。
在產生係數區塊(例如,亮度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器20可量化該係數區塊。量化通常指代對轉換係數進行量化以可能減少用以表示轉換係數的資料之量,從而提供進一步壓縮之程序。在視訊編碼器20量化係數區塊之後,視訊編碼器20可熵編碼指示經量化轉換係數之語法元素。舉例而言,視訊編碼器20可對指示經量化轉換係數之語法元素執行上下文可適性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含NAL單元序列。NAL單元為含有NAL單元中之資料之類型之指示的語法結構及含有呈視需要穿插有模擬阻止位元之RBSP形式之資料的位元組。NAL單元中之每一者包括NAL單元標頭,且封裝RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有封裝於NAL單元內的整數數目個位元組的語法結構。在一些情況下,RBSP包括零位元。
不同類型之NAL單元可封裝不同類型之RBSP。舉例而言,第一類型之NAL單元可封裝PPS之RBSP,第二類型之NAL單元可封裝經寫碼圖塊之RBSP,第三類型之NAL單元可封裝SEI訊息之RBSP等。封裝視訊寫碼資料之RBSP(與參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外,視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。另外,視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反向轉換,以重建構與當前CU之TU相關聯的轉換區塊。藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之轉換區塊的對應樣本,視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊,視訊解碼器30可重建構圖像。
亦可被稱作色度格式之視訊取樣格式可相對於包括於CU中之亮度樣本之數目定義包括於CU中之色度樣本的數目。取決於色度分量之視訊取樣格式,U及V分量之大小(就樣本之數目而言)可與Y分量的大小相同或不同。在HEVC標準中,定義稱為chroma_format_idc的值以指示色度分量相對於亮度分量的不同取樣格式。在HEVC中,在SPS中信號傳遞chroma_format_idc。表1說明chroma_format_idc與相關聯之色度格式的值之間的關係。
在表1中,變量SubWidthC及SubHeightC可用以指示亮度分量之樣本之數目與每一色度分量之樣本之數目之間的水平及垂直取樣速率比。在表1中所描述之色度格式中,兩個色度分量具有相同取樣速率。因此,在4:2:0取樣中,兩個色度陣列中之每一者具有亮度陣列之高度的一半及寬度的一半,而在4:2:2取樣中,兩個色度陣列中之每一 者具有與亮度陣列相同的高度及亮度陣列之寬度的一半。在4:4:4取樣中,兩個色度陣列中之每一者可具有與亮度陣列相同之高度及寬度,或在一些情況下,可將三個顏色平面全部單獨處理為單色取樣圖像。
在表1之實例中,對於4:2:0格式,針對水平及垂直方向兩者,亮度分量之取樣速率為色度分量之取樣速率的兩倍。因此,對於根據4:2:0格式經格式化之寫碼單元,亮度分量之樣本陣列之寬度及高度為色度分量之每一樣本陣列之寬度及高度的兩倍。類似地,對於根據4:2:2格式經格式化之寫碼單元,亮度分量之樣本陣列之寬度為每一色度分量之樣本陣列之寬度的兩倍,但亮度分量之樣本陣列之高度等於每一色度分量之樣本陣列之高度。對於根據4:4:4格式經格式化之寫碼單元,亮度分量之樣本陣列具有與每一色度分量之樣本陣列相同的寬度及高度。應注意,除YUV顏色空間之外,可根據RGB空間顏色定義視訊資料。以此方式,本文中所描述之色度格式可適用於YUV或RGB顏色空間。通常對RGB色度格式進行取樣以使得紅色樣本之數目、綠色樣本之數目及藍色樣本之數目相等。因此,如本文中所使用之術語「4:4:4色度格式」可指代YUV顏色空間或RGB顏色空間,其中對於所有顏色分量,樣本之數目相等。
圖2A至圖2C為繪示視訊資料之不同樣本格式的概念圖。圖2A為繪示4:2:0樣本格式的概念圖。如圖2A中所繪示,對於4:2:0樣本格式,色度分量之大小為亮度分量之大小的四分之一。因此,對於根據4:2:0樣本格式經格式化之CU,針對色度分量之每一樣本存在四個亮度樣本。圖2B為繪示4:2:2樣本格式的概念圖。如圖2B中所繪示,對於4:2:2樣本格式,色度分量之大小為亮度分量之大小的二分之一。因此,對於根據4:2:2樣本格式經格式化之CU,針對色度分量之每一樣本存在兩個亮度樣本。圖2C為繪示4:4:4樣本格式的概念圖。如圖2C中所繪示,對於4:4:4樣本格式,色度分量之大小與亮度分量之大小相 同。因此,對於根據4:4:4樣本格式經格式化之CU,針對色度分量之每一樣本存在一個亮度樣本。
圖3為繪示根據4:2:0樣本格式格式化之16×16寫碼單元之實例的概念圖。圖3繪示在CU內色度樣本相對於亮度樣本的相對位置。如上文所描述,通常根據水平及垂直亮度樣本之數目來定義CU。因此,如圖3中所繪示,根據4:2:0樣本格式經格式化的16×16 CU包括亮度分量之16×16樣本及每一色度分量之8×8樣本。此外,如上文所描述,可將CU分割為較小CU。舉例而言,可將圖3中所繪示之CU分割為4個8×8 CU,其中每一8×8 CU包含亮度分量之8×8樣本及每一色度分量之4×4樣本。
圖4為繪示根據4:2:2樣本格式經格式化之16×16寫碼單元之實例的概念圖。圖4繪示在CU內色度樣本相對於亮度樣本的相對位置。如上文所描述,通常根據水平及垂直亮度樣本之數目來定義CU。因此,如圖4中所繪示,根據4:2:2樣本格式經格式化的16×16 CU包括亮度分量之16×16樣本及每一色度分量之8×16樣本。此外,如上文所描述,可將CU分割為較小CU。舉例而言,可將圖4中所繪示之CU分割為4個8×8 CU,其中每一CU包含亮度分量之8×8樣本及每一色度分量之4×8樣本。
根據本發明中所描述之技術,提出殘餘信號(亦即,殘餘區塊)之迴路內顏色空間轉換以用於4:4:4色度格式中之序列;然而,技術並不限於4:4:4格式。迴路內顏色空間轉換程序將RGB/YUV色度格式之預測誤差信號(亦即,殘餘信號)轉換為次佳顏色空間中之彼等信號。迴路內顏色空間轉換可進一步減少顏色分量之中的相關性。可藉由奇異值分解(SVD)自每一CU之像素樣本值推導出轉換矩陣。顏色空間轉換可應用於框內模式及框間模式兩者之預測誤差。
當顏色空間轉換應用於框間模式時,殘餘首先變換為具有經推 導轉換矩陣之一不同域。在顏色空間變換之後,按次序執行寫碼步驟(諸如,DCT/DST、量化及熵寫碼)。
當顏色空間轉換應用於使用框內模式寫碼之CU時,首先將預測區塊及當前區塊分別變換為具有經推導轉換矩陣之一不同域。在顏色空間變換之後,進一步使用DCT/DST轉換、量化及熵寫碼當前區塊與當前區塊之預測因子之間的殘餘。
視訊編碼器件(諸如,視訊編碼器20)執行正向操作,其中包含變換值a、b、c、d、e、f、g、h及i之顏色空間轉換矩陣應用於三個平面G、B及R以推導顏色分量P、Q及S之值,如下:
可在HEVC規範之範圍內削減所得值,因為在最壞情況下該等值可增大至倍。視訊解碼器件(諸如,視訊解碼器30)執行反向操作,其中包含變換值at、bt、ct、dt、et、ft、gt、ht及it之顏色空間轉換矩陣應用於三個顏色分量P'、Q'及R'以推導三個平面G'、B'及R',如下,
圖5為繪示根據本發明之一或多個技術的目標區塊及框內8×8區塊之參考樣本之實例的概念圖。可使用奇異值分解(SVD)自參考樣本值推導轉換矩陣。對於框內情況及框間情況,視訊寫碼器件(例如,視訊編碼器20或視訊解碼器30)可能使用不同參考樣本。對於框內寫碼區塊的情況,目標區塊及參考樣本可如圖5中所展示。在圖5中,目標區塊由8×8交叉影線樣本94組成,且上方參考樣本96展示為條紋,且左側參考樣本98展示為加點的。
對於框間寫碼區塊的情況,用於矩陣推導之參考樣本可與用於運動補償之參考樣本相同。高級運動預測(AMP)區塊中之參考樣本可 經子取樣,以使得參考樣本之數目減少。舉例而言,12×16區塊中之參考樣本之數目減少2/3。
在以上實例中之一些中,可始終應用顏色空間轉換程序。因此,可能不需要信號傳遞是否調用顏色空間轉換程序。另外,視訊編碼器20及視訊解碼器30兩者可使用相同方法以推導轉換矩陣以便避免用於信號傳遞轉換矩陣之額外負荷。
視訊編碼器20及視訊解碼器30可使用各種顏色空間轉換矩陣。舉例而言,視訊編碼器20及視訊解碼器30可針對不同顏色空間應用不同顏色空間轉換矩陣。舉例而言,視訊編碼器20及視訊解碼器30可使用一對YCbCr轉換矩陣以將樣本值自RGB顏色空間變換至YCbCr顏色空間並返回。以下等式展示YCbCr轉換矩陣之一個實例集:
在另一實例中,視訊編碼器20及視訊解碼器30可使用一對YCoCg轉換矩陣以將樣本值自RGB顏色空間變換至YCoCg顏色空間並返回。以下等式展示YCoCg矩陣矩陣之一個實例集:
另一此矩陣可為YCoCg-R矩陣,其為將Co及Cg分量縮放兩倍之YCoCg矩陣的可修改版本。藉由使用提昇技術,視訊編碼器20及視訊解碼器30可藉由以下等式達成正向及反向轉換:
在以上等式及矩陣中,可在編碼程序之前(例如,由視訊編碼器)執行正向轉換。相反地,可在解碼程序之後(例如,由視訊解碼器)執行反向轉換。亦應注意,視訊編碼器20包括用以重建構經編碼資料以用於預測其他視訊資料之解碼迴路。因此,類似視訊解碼器30,視訊編碼器20之解碼迴路亦可執行反向轉換。
本發明之技術潛在地處理一或多個問題,且更具體而言,處理在啟用cu_residual_act_flag時伴隨QP推導之潛在問題。舉例而言,根據現有解決方案,在啟用可適性顏色轉換時,在縮放及轉換程序期間,添加-5之QP偏移以用於亮度及Cb色度分量,且添加-3以用於Cr色度分量。然而,Qp之所得值可能下溢允許的Qp範圍。舉例而言,在當前測試模型中當HEVC所允許之範圍介於0與51之間時有可能所得Qp可能下溢至-5。本發明亦描述用於在啟用可適性顏色轉換時信號傳遞可適性QP偏移之技術。
以下闡述縮放及轉換程序之一部分。
8.6.2 縮放及轉換程序-----在當前測試模型中如下推導量化參數qP,若cIdx等於0,qP=Qp'Y+(cu_residual_act_flag[xTbY][yTbY]?-5:0) (8-261)- 否則,若cIdx等於1,qP=Qp'Cb+(cu_residual_act_flag[xTbY][yTbY]?-5:0) (8-262) - 否則(cIdx等於2),qP=QP'Cr+(cu_residual_act_flag[xTbY][yTbY]?-3:0) (8-263)其中cIdx指定當前區塊之顏色分量,且cu_residual_act_flag指定可適性顏色轉換是否適用於當前寫碼單元之殘餘樣本。
本發明描述可處理以上所介紹之問題的各種技術。以下技術中之每一者可單獨地或與其他中之一或多者共同地實施。根據本發明之一種技術,視訊解碼器30可能(在啟用可適性顏色轉換時添加偏移之後)削減來自章節8.6.2等式8-261、8-262、8-263一縮放及轉換程序之所得Qp'至為0,51+QpBdOffsetY之HEVC Qp範圍。根據本發明之另一技術,視訊編碼器20可在啟用可適性顏色轉換時向視訊解碼器30信號傳遞將應用於章節8.6.2(縮放及轉換程序)中之Qp偏移。可在各種粒度層級(如VPS、SPS、PPS、圖塊標頭或其擴展)處進行Qp偏移之此信號傳遞。可針對所有分量(亮度+色度)或僅分量中之一些(例如,色度)信號傳遞Qp偏移。
根據本發明之另一技術,視訊編碼器20可向視訊解碼器30信號傳遞指示在啟用可適性顏色轉換時QP偏移是否將應用於章節8.6.2(縮放及轉換程序)中之旗標。可在各種粒度位準(如VPS、SPS、PPS、圖塊標頭或其擴展)處進行旗標之此信號傳遞。可針對所有分量(亮度+色度)或僅分量中之一些(例如,色度)信號傳遞旗標之信號傳遞。
現將更詳細地描述以上所介紹之技術之實例實施。根據本發明之一種技術,視訊編碼器20及視訊解碼器30可經組態以將Qp'削減至HEVC Qp'範圍內。為了在使用可適性顏色轉換時將該允許的Qp範圍保持與HEVC中所使用之Qp範圍相同,本發明描述用於將Qp值之範圍削減至HEVC Qp範圍之值的技術。以下對測試模型所提出之改變為斜體的。
8.6.2 縮放及轉換程序 ------ 若cIdx等於0,qP=Clip3(0,51+QpBdOffset Y ,Qp'Y+(cu_residual_act_flag[xTbY][yTbY]?-5:0))當ChromaArrayType不等於0時,- 若cIdx等於1,qP=Clip3(0,51+QpBdOffset C ,Qp'Cb+(cu_residual_act_flag[xTbY][yTbY]?-5:0)) (8-262)- 否則(cIdx等於2),qP=Clip3(0,51+QpBdOffset C ,Qp'Cr+(cu_residual_act_flag[xTbY][yTbY]?-3:0) (8-262)
用於可適性顏色轉換之QP偏移之可撓性信號傳遞
提出削減亮度分量及色度分量之QP值之範圍。
若cIdx等於0,qP=Clip3(0,51+QpBdOffset Y ,Qp'Y+(cu_residual_act_flag[xTbY][yTbY]?pps_act_y_qp_offset+slice_act_y_qp_offset:0))當ChromaArrayType不等於0時,若cIdx等於1,qP=Clip3(0,51+QpBdOffset C ,Qp'Cb+(cu_residual_act_flag[xTbY][yTbY]?pps_act_pps_cb_qp_offset+slice_act_cb_qp_offset:0)) (8-262)否則(cIdx等於2),qP=Clip3(0,51+QpBdOffset C ,Qp'Cr+(cu_residual_act_flag[xTbY][yTbY]?pps_act_pps_cr_qp_offset+slice_act_cr_qp_offset:0) (8-263)pps_act_y_qp_offsetpps_act_cb_qp_offsetpps_act_cr_qp_offset分別向章節8.6.2中推導之亮度、cb及cr量化參數qP指定偏移。pps_act_y_qp_offset、pps_cb_qp_offset及pps_cr_qp_offset之值應在-12至+12(包括性)範圍內。當ChromaArrayType等於0時,pps_act_cb_qp_offset及pps_act_cr_qp_offset並不用於解碼程序中,且解碼器應忽略其值。
pps_slice_act_qp_offsets_present_flag等於1指定slice_act_y_qp_offset、slice_act_cb_qp_offset、slice_act_cr_qp_offset存在於圖塊標頭中。pps_slice_act_qp_offsets_present_flag等於0指定slice_act_y_qp_offset、slice_act_cb_qp_offset、slice_act_cr_qp_offset並不存在於圖塊標頭中。當不存在時,推斷cu_chroma_qp_offset_enabled_flag之值等於0。
slice_act_y_qp_offsetslice_cb_qp_offsetslice_cr_qp_offset 分別向章節8.6.2中推導之亮度、cb及cr量化參數qP指定偏移。 slice_act_y_qp_offset、slice_cb_qp_offset及slice_cr_qp_offset之值應在-12至+12(包括性)範圍內。當ChromaArrayType等於0時,slice_act_cb_qp_offset及slice_act_cr_qp_offset並不用於解碼程序中,且解碼器應忽略其值。
現將描述用於信號傳遞可適性顏色轉換之QP偏移之現狀的技術。如以上技術(1)中所論述,在啟用可適性顏色轉換時固定負QP偏移在更高之Qp'處縮小Qp範圍。舉例而言,在當前定義之情況下,在啟用可適性顏色轉換時,不可能達到大於46+QpBdOffsetY之QP',在一些情境中其必需符合目標位元速率。在以下解決方案中,提出信號傳遞旗標以指示是否應添加Qp偏移。對測試模型所提出之改變以黃色文字突出顯示。
slice_act_qp_offset_present_flag 等於1指定在cu_residual_act_flag等於1之情況下Qp偏移適用於寫碼單元slice_act_qp_offset_present_flag等於0指定在cu_residual_act_flag等於1之情況下Qp偏移並不適用於寫碼單元。當不存在時,推斷cu_chroma_qp_offset_enabled_flag之值等於0。
若cIdx等於0,qP=Clip3(0,51+QpBdOffset Y ,Qp'Y+(cu_residual_act_flag[xTbY][yTbY] && slice_act_qp_offset_present_flag?-5:0))當ChromaArrayType不等於0時,若cIdx等於1,qP=Clip3(0,51+QpBdOffset C ,Qp'Cb+(cu_residual_act_flag[xTbY][yTbY]&& slice_act_qp_offset_present_flag?-5:0)) (8-262)否則(cIdx等於2),qP=Clip3(0,51+QpBdOffset C ,Qp'Cr+(cu_residual_act_flag[xTbY][yTbY]&& slice_act_qp_offset_present_flag?-3:0) (8-263)現將描述用於信號傳遞可適性顏色轉換之QP偏移的另一實例實施。本發明提出以下內容:a)在圖像參數集合而非序列參數集中信號傳遞可適性顏色轉換啟用旗標。此潛在地受益於能夠在圖像層級上調適可適性顏色轉換之使用。
b)提出位元串流限制以在色度格式並非4:4:4時停用可適性顏色轉換。在一項實例中,提出此限制以應用於可適性顏色轉換啟用旗標上(residual_adaptive_colour_transform_enabled_flag)。
以下詳述實例語法及語義
residual_adaptive_colour_transform_enabled_flag等於1指定可適性彩色轉換可用適於指代PPS之圖像的解碼程序中的殘餘。residual_adaptive_colour_transform_enabled_flag等於0指定可適性彩色轉換並不適用於指代PPS之圖像之殘餘。當不存在時,推斷residual_adaptive_colour_transform_enabled_flag之值等於0。
當chroma_format_idc並不等於3時,residual_adaptive_colour_transform_enabled_flag應等於0。
pps_act_y_qp_offsetpps_act_cb_qp_offsetpps_act_cr_qp_offset分別向章節8.6.2中推導之亮度、cb及cr量化參數qP指定偏移。pps_act_y_qp_offset、pps_cb_qp_offset及pps_cr_qp_offset之值應在-12至+12(包括性)範圍內。當ChromaArrayType等於0時,pps_act_cb_qp_offset及pps_act_cr_qp_offset並不用於解碼程序中,且解碼器應忽略其值。
pps_slice_act_qp_offsets_present_flag等於1指定slice_act_y_qp_offset、slice_act_cb_qp_offset、slice_act_cr_qp_offset存在於圖塊標頭中。pps_slice_act_qp_offsets_present_flag等於0指定slice_act_y_qp_offset、slice_act_cb_qp_offset、slice_act_cr_qp_offset並不存在於圖塊標頭中。當不存在時,推斷cu_chroma_qp_offset_enabled_flag之值等於0。
slice_act_y_qp_offsetslice_cb_qp_offsetslice_cr_qp_offset分別向章節8.6.2中推導之亮度、cb及cr量化參數qP指定偏移。slice_act_y_qp_offset、slice_cb_qp_offset及slice_cr_qp_offset之值應在-12至+12(包括性)範圍內。當ChromaArrayType等於0時,slice_act_cb_qp_offset及slice_act_cr_qp_offset並不用於解碼程序中,且解碼器應忽略其值。
圖6為繪示可實施本發明中所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可經組態以將視訊輸出到後處理實體27。後處理實體27意欲表示可處理來自視訊編碼器20之經編碼視訊資料的視訊實體的實例(諸如,媒體感知網路元件(MANE)或拼接/編輯器件)。在一些情況下,後處理實體27可為網路實體(諸如,MANE)之實例,而是在其他情況下後處理實體27可被視為編碼器20之部分。舉例而言,在一些視訊編碼系統中,後處理實體27及視訊編碼器20可為獨立器件之部分,而在其他情況下,關於後處理實體27所描述之功能性可由包含視訊編碼器20之相同器件執行。在其他實例中,後處理實體27可實施為圖1之儲存器件17之部分。
視訊編碼器20可對視訊圖塊內之視訊區塊執行框內、框間及IMC寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊之空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊之時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如,單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中的任一者。如上文所描述,IMC寫碼模式可自視訊資料之圖框移除空間冗餘,但不同於傳統框內模式,IMC寫碼程式碼可用以在訊框內之更大搜尋區域中定位預測性區塊且指代具有偏移向量之預測性區塊,而非依賴於框內預測寫碼模式。
在圖6之實例中,視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、濾波器單元63、經解碼圖像緩衝器64、求和器50、轉換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。為了視訊區塊重新建構,視訊編碼器20亦包括反量化單元58、反向轉換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器(諸如,解區塊濾波器、可適性迴路濾波器(ALF)及樣本可適性偏移(SAO)濾波器)。雖然濾波器單元63在圖6中展示為迴路濾波器,但在其他組態中,濾波器單元63可實施為後迴路濾波器。
視訊資料記憶體33可儲存待藉由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體33中之視訊資料。經解碼圖像緩衝器64可為儲存用於藉由視訊編碼器20(例如,以框內、框間或IMC寫碼模式)編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體33及經解碼圖像緩衝器64可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體33及經解碼圖像緩衝器64可由同一記憶體器件或獨立記憶體器件提供。在各種實例中,視訊資料記憶體33可與視訊編碼器20之其他組件一起在晶片上,或相對於彼等組件在晶片外。
如圖6中所展示,視訊編碼器20接收視訊資料且將視訊資料儲存於視訊資料記憶體33中。分割單元35將資料分割為視訊區塊。此分割亦可包括分割為圖塊、圖像塊或其他較大單元以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20大體上說明編碼待編碼之視訊圖塊內之視訊區塊的組件。可將圖塊劃分為多個視訊區塊(且可能劃分為被稱作圖像塊之視訊區塊集合)。預測處理單元41可基 於誤差結果(例如,寫碼速率及失真等級)針對當前視訊區塊選擇複數個可能寫碼模式中之一者(諸如,複數個框內寫碼模式中之一者、複數個框間寫碼模式中之一者或複數個IMC寫碼模式中之一者)。預測處理單元41可將所得經框內、框間或IMC寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44可執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼以提供時間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44亦可執行當前視訊區塊相對於相同圖像中之一或多個預測性區塊的IMC寫碼以提供空間壓縮。
運動估計單元42可經組態以根據視訊序列之預定圖案判定用於視訊圖塊之框間預測模式或IMC模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合,但出於概念之目的而單獨繪示。由運動估計單元42執行之運動估計為產生運動向量之程序,該等運動向量估計視訊區塊之運動。舉例而言,運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的移位。在IMC寫碼之情況下,可被稱作IMC中之偏移向量的運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於當前視訊圖框內之預測性區塊的移位。
預測性區塊為被發現在像素差方面緊密地匹配待寫碼視訊區塊之PU的區塊,該等像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中,視訊編碼器20可計算儲存 於經解碼圖像緩衝器64中之參考圖像之子整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此,運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像的預測性區塊之位置而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1),該等參考圖像清單中之每一者識別儲存於經解碼圖像緩衝器64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
根據本發明之一些技術,在使用IMC模式對視訊區塊進行寫碼時,運動估計單元42可判定視訊區塊之亮度分量之運動向量或偏移向量,且基於亮度分量之偏移向量判定視訊區塊之色度分量之偏移向量。在另一實例中,在使用IMC模式對視訊區塊進行寫碼時,運動估計單元42可判定視訊區塊之色度分量之運動向量或偏移向量,且基於色度分量之偏移向量判定視訊區塊之亮度分量之偏移向量。因此,視訊編碼器20可在位元串流中信號傳遞僅一個偏移向量,據此可判定視訊區塊之色度及亮度分量兩者之偏移向量。
由運動補償單元44執行之運動補償可涉及基於由運動估計判定之運動向量提取或產生預測性區塊,可能執行內插達子像素精確度。內插濾波可自已知像素樣本產生額外像素樣本,因此潛在地增加可用以對視訊區塊進行寫碼之候選預測性區塊之數目。在接收當前視訊區塊之PU之運動向量後,運動補償單元44可將運動向量所指向之預測性區塊定位在參考圖像清單中之一者中,或在IMC寫碼之狀況下定位在正經寫碼之圖像內。視訊編碼器20藉由自正經寫碼之當前視訊區塊 的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差值。像素差值形成用於區塊之殘餘資料,且可包括亮度及色度差分量兩者。求和器50表示執行此減法運算之組件或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30用於解碼視訊圖塊之視訊區塊。
如上文所描述,作為由運動估計單元42及運動補償單元44執行之框間預測及IMC的替代方案,框內預測處理單元46可對當前區塊進行框內預測。特定而言,框內預測處理單元46可判定一框內預測模式以用以編碼當前區塊。在一些實例中,框內預測處理單元46可(例如)在單獨之編碼遍次期間使用各種框內預測模式編碼當前區塊,且框內預測處理單元46(或在一些實例中,模式選擇單元40)可自所測試之模式選擇適當框內預測模式來使用。舉例而言,框內預測處理單元46可使用對於各種所測試之框內預測模式之速率-失真分析來計算速率-失真值,且在所測試之模式之中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量,以及用以產生經編碼區塊之位元速率(亦即,位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在任何情況下,在選擇用於區塊之框內預測模式之後,框內預測處理單元46可將指示用於區塊之所選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料(其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表))、各種區塊之編碼上下文之定義及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測 模式索引表及經修改之框內預測模式索引表的指示。
在預測處理單元41(例如,經由框間預測、框內預測或IMC)產生當前視訊區塊之預測性區塊之後,視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於轉換處理單元52。轉換處理單元52使用諸如離散餘弦轉換(DCT)或概念上類似之轉換的轉換將殘餘視訊資料轉換為殘餘轉換係數。轉換處理單元52可將殘餘視訊資料自像素域變換至轉換域(諸如,頻域)。
轉換處理單元52可將所得轉換係數發送至量化單元54。量化單元54量化轉換係數以進一步減小位元速率。量化程序可減小與係數中之一些或所有相關聯之位元深度。可藉由調整量化參數來修改量化之程度。在一些實例中,量化單元54可隨後執行對包括經量化轉換係數之矩陣的掃描。替代性地,熵編碼單元56可執行掃描。
在量化之後,熵編碼單元56對經量化轉換係數進行熵編碼。舉例而言,熵編碼單元56可執行上下文可適性可變長度寫碼(CAVLC)、上下文可適性二進位算術寫碼(CABAC)、基於語法之上下文可適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行熵寫碼之後,可將經編碼位元串流傳輸至視訊解碼器30,或加以存檔以供稍後由視訊解碼器30傳輸或擷取。熵編碼單元56亦可對正經寫碼之當前視訊圖塊之運動向量及其他語法元素進行熵編碼。
反量化單元58及反向轉換處理單元60分別應用反量化及反向轉換以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構之殘餘區塊以計算子整數像 素值以用於運動估計。內插濾波可自已知像素樣本產生額外像素樣本,因此潛在地增加可用以對視訊區塊進行寫碼之候選預測性區塊之數目。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊,以產生參考區塊以用於儲存於經解碼圖像緩衝器64中。參考區塊可由運動估計單元42及運動補償單元44用作為參考區塊,以對後續視訊圖框或圖像中之區塊進行框間預測。
圖7為繪示可實施本發明中所描述之技術之實例視訊解碼器30的方塊圖。在圖7之實例中,視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、反量化單元86、反向轉換處理單元88、求和器90、濾波器單元91及經解碼圖像緩衝器92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中,視訊解碼器30可執行與關於來自圖6之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。
在解碼程序期間,視訊解碼器30自視訊編碼器20接收視訊資料(例如,表示經編碼視訊圖塊之視訊區塊及相關聯之語法元素的經編碼視訊位元串流)。視訊解碼器30可自網路實體29接收視訊資料且將視訊資料儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼之視訊資料(諸如,經編碼視訊位元串流)。可(例如)自儲存器件17(例如,自本端視訊源(諸如,攝影機))經由視訊資料之有線或無線網路通信或者藉由存取實體資料儲存媒體而獲得儲存於視訊資料記憶體78中之視訊資料。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器。因此,雖然在圖7中單獨展示,視訊資料記憶體78及經解碼圖像緩衝器92可由同一記憶體器件或單獨記憶體器件提供。視訊資料記憶體78及經解碼圖像緩衝器92可由各種記憶體器件中之任一者形成,該等記憶體器件諸如動態隨機存取記憶體(DRAM),包括同步DRAM (SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。在各種實例中,視訊資料記憶體78可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件在晶片外。
舉例而言,網路實體29可包含伺服器、MANE、視訊編輯器/拼接器或經組態以實施上文所描述之技術中之一或多者的其他此等器件。網路實體29可包括或可不包括視訊編碼器(諸如,視訊編碼器20)。在網路實體29將經編碼視訊位元串流傳輸至視訊解碼器30之前可由網路實體29實施本發明中所描述的技術中之一些。在一些視訊解碼系統中,網路實體29及視訊解碼器30可為獨立器件之部分,而在其他情況下,關於網路實體29所描述之功能性可由包含視訊解碼器30之同一器件執行。在一些情況下,網路實體29可為圖1之儲存器件17之實例。
視訊解碼器30之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉送至預測處理單元81。視訊解碼器30可接收視訊圖塊層級及/或視訊區塊層級之語法元素。
當將視訊圖塊寫碼為經框內寫碼(I)圖塊時,預測處理單元81之框內預測處理單元84可基於經信號傳遞框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當將視訊圖框寫碼為經框內寫碼(亦即,B、P或GPB)圖塊時或在區塊經IMC寫碼時,預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。對於框間預測,可自參考圖像清單中之一者內之參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於經解碼圖像緩衝器92中之參考圖像使用預設建構技術而建構參考圖框清單(清單0及清單1)。對於IMC寫碼,可自與正經預測之區塊相同之圖 像產生預測性區塊。
運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊,並使用該預測資訊以產生正經解碼之當前視訊區塊的預測性區塊。舉例而言,運動補償單元82使用所接收之語法元素中的一些判定用以寫碼視訊圖塊之視訊區塊之預測模式(例如,框內預測或框間預測)、框間預測圖塊類型(例如,B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者的建構資訊、圖塊之每一經框間編碼視訊區塊之運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元82亦可基於內插濾波器執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器,以計算參考區塊之子整數像素的內插值。在此狀況下,運動補償單元82可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器,且使用該等內插濾波器以產生預測性區塊。
根據本發明之一些技術,在使用IMC模式對視訊區塊進行寫碼時,運動補償單元82可判定視訊區塊之亮度分量之運動向量或偏移向量,且基於亮度分量之運動向量判定視訊區塊之色度分量之運動向量。在另一實例中,在使用IMC模式對視訊區塊進行寫碼時,運動補償單元82可判定視訊區塊之色度分量的運動向量或偏移向量,且基於色度分量之運動向量判定視訊區塊之亮度分量的運動向量。因此,視訊解碼器30可在位元串流中接收僅一個偏移向量,據此可判定視訊區塊之色度及亮度分量兩者之偏移向量。
在使用IMC模式對視訊區塊進行解碼時,運動補償單元82可(例如)修改亮度分量之運動向量(被稱作IMC模式之偏移向量)以判定色度分量之偏移向量。運動補償單元82可基於視訊區塊之取樣格式及基於 偏移向量所指向之子像素位置的精確度(例如)修改亮度區塊之偏移向量的x分量及y分量中之一者或兩者。舉例而言,若使用4:2:2取樣格式對視訊區塊進行寫碼,則隨後運動補償單元82可能僅修改亮度偏移向量之x分量而非y分量以判定色度分量之偏移向量。如可自圖4所見,在4:2:2取樣格式中,色度區塊及亮度區塊在垂直方向上具有相同數目之樣本,因此潛在地無需對y分量進行修改。若在用於定位色度預測性區塊時,亮度偏移向量指向無色度樣本之位置(例如,在包括當前區塊之當前圖像之色度樣本中的子像素位置處),則運動補償單元82可僅修改亮度偏移向量。若亮度偏移向量在用以定位色度預測性區塊時指向色度樣本存在之位置,則運動補償單元82可不修改亮度偏移向量。
在其他實例中,若使用4:2:0取樣格式對視訊區塊進行寫碼,則運動補償單元82可修改亮度偏移向量之x分量及y分量中之任一者或兩者,以判定色度分量之偏移向量。如可自圖3所見,在4:2:0取樣格式中,色度區塊及亮度區塊在垂直方向及水平方向兩者上具有相同樣本數目。若在用於定位色度預測性區塊時,亮度偏移向量指向無色度樣本之位置(例如,在包括當前區塊之當前圖像之色度樣本中的子像素位置處),則運動補償單元82可能僅修改亮度偏移向量。若亮度偏移向量在用以定位色度預測性區塊時指向色度樣本存在之位置,則運動補償單元82可不修改亮度偏移向量。
運動補償單元82可修改亮度偏移向量以產生經修改運動向量(亦被稱作經修改之偏移向量)。運動補償單元82可修改在用以定位色度預測性區塊時指向子像素位置的亮度偏移向量,以使得用於色度區塊之經修改偏移向量指向較低解析度子像素位置或指向整數像素位置。作為一項實例,指向1/8像素位置之亮度偏移向量可經修改以指向1/4像素位置,指向1/4像素位置之亮度偏移向量可經修改以指向1/2像素 位置等。在其他實例中,運動補償單元82可修改亮度偏移向量,以使得經修改偏移向量始終指向整數像素位置以用於定位色度參考區塊。修改亮度偏移向量以指向較低解析度子像素位置或整數像素位置可消除一些內插濾波之需要且/或降低任何所需內插濾波之複雜度。
參考圖3及圖4且假設左上樣本位於位置(0,0)處,視訊區塊在奇數及偶數x位置以及奇數及偶數y位置兩者處具有亮度樣本。在4:4:4取樣格式中,視訊區塊亦在奇數及偶數x位置以及在奇數及偶數y位置兩者處具有色度樣本。因此,對於4:4:4取樣格式,運動補償單元可能使用同一偏移向量以用於定位亮度預測性區塊及色度預測性區塊兩者。對於4:2:2取樣格式,如圖4中所展示,視訊區塊在奇數及偶數y位置但僅在偶數x位置兩者處具有色度樣本。因此,對於4:2:2取樣格式,若亮度偏移向量指向奇數x位置,則運動補償單元82可修改亮度偏移向量之x分量以產生指向偶數x位置之經修改偏移向量,以使得經修改偏移向量可用於情不需要內插的情況下定位當前區塊之色度區塊的參考色度區塊。舉例而言,運動補償單元82可藉由上捨入或下捨入至最接近之偶數x位置而修改x分量(亦即,改變x分量),以使得其指向最接近之左側x位置或最接近之右側x位置。若亮度偏移向量已經指向偶數x位置,則修改可為不必要的。
對於4:2:0取樣格式,如圖3中所展示,視訊區塊僅在偶數y位置及僅在偶數x位置處具有色度樣本。因此,對於4:2:0取樣格式,若亮度偏移向量指向奇數x位置或奇數y位置,則運動補償單元82可修改亮度偏移向量之x分量或y分量以產生指向偶數x位置之經修改偏移向量,以使得經修改偏移向量可用於在不需要內插的情況下定位當前區塊之色度區塊的參考色度區塊。舉例而言,運動補償單元82可藉由上捨入或下捨入至最接近之偶數x位置而修改x分量(亦即,改變x分量),以使得其指向最接近之左側x位置或最接近之右側x位置。舉例 而言,運動補償單元82可藉由上捨入或下捨入至最接近之偶數y位置而修改y分量(亦即,改變y分量),以使得其指向最接近之上方y位置或最接近之下方y位置。若亮度偏移向量已經指向偶數x位置及偶數y位置,則修改可為不必要的。
反量化單元86反量化(亦即,解量化)位元串流中所提供並由熵解碼單元80解碼之經量化轉換係數。反量化程序可包括使用由視訊編碼器20針對視訊圖塊中之每一視訊區塊計算之量化參數,以判定量化程度及(同樣地)應該應用之反量化程度。反向轉換處理單元88將反向轉換(例如,反DCT、反整數轉換或概念上類似之反向轉換程序)應用於轉換係數,以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由將來自反向轉換處理單元88之殘餘區塊與由運動補償單元82所產生之對應預測性區塊求和,而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要,亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑,或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器,諸如,解區塊濾波器、可適性迴路濾波器(ALF)及樣本可適性偏移(SAO)濾波器。儘管濾波器單元91在圖7中展示為迴路濾波器,但在其他組態中,濾波器單元91可實施為後迴路濾波器。隨後將給定圖框或圖像中之經解碼視訊區塊儲存於經解碼圖像緩衝器92中,該經解碼圖像緩衝器儲存用於後續運動補償之參考圖像。經解碼圖像緩衝器92可為亦儲存用於稍後呈現於顯示器件(諸如,圖1之顯示器件32)上之經解碼視訊的記憶體之部分,或可與此記憶體分離。
圖8為繪示根據本發明之一或多個態樣的另一實例視訊編碼器21的方塊圖,該視訊編碼器可利用用於使用顏色轉換將具有RGB顏色空 間之視訊資料轉換為具有第二顏色空間之視訊資料區塊的技術。
圖8繪示視訊編碼器20之更詳細版本。視訊編碼器21可為視訊編碼器20(圖2)或視訊編碼器20(圖1)之實例。圖8之實例繪示用於實施本發明之技術的兩個可能實例。在第一實施中,視訊編碼器21使用一或多個顏色轉換中之顏色轉換將具有第一顏色空間之輸入視訊信號的第一區塊可適性地轉換為具有第二顏色空間之第二區塊。第二所繪示之實例執行相同技術,但對殘餘視訊資料之區塊而非輸入信號執行顏色轉換。
在圖8之實例中,視訊編碼器21展示為基於切換器101、105、113、121之狀態對視訊資料之預測性區塊及殘餘區塊執行顏色轉換。若切換器101、105、113及121經切換替代位置,則視訊編碼器21經組態以在執行運動估計及運動預測之前對具有RGB顏色空間之原始信號之視訊資料的區塊執行至具有第二顏色空間之視訊資料的區塊的顏色轉換,而非轉換預測性及/或殘餘視訊資料的區塊。
現在更詳細地描述如圖8中所繪示之對殘餘視訊資料之區塊執行顏色轉換的一個實例程序。在圖8之實例中,將原始信號100傳遞至預測處理單元104(遵循切換器101之路徑)。預測處理單元104可自來自參考圖像記憶體122之一或多個參考圖像接收資料。預測處理單元104產生視訊資料之預測性區塊,且組合來自原始信號100的視訊資料之預測性區塊,以產生殘餘信號124。在此實例中,可適性顏色轉換器106將視訊資料之預測性區塊及殘餘區塊自RGB顏色空間轉換為具有第二顏色空間之視訊的第二預測性區塊及第二殘餘區塊。在一些實例中,視訊編碼器21可基於成本函數選擇第二顏色空間及顏色轉換。
轉換/量化單元108可對具有第二顏色空間之第二視訊區塊執行轉換(例如,離散餘弦轉換(discrete cosine transformation;DCT)或另一類型之轉換)。另外,轉換/量化單元108可量化第二視訊區塊(亦即,經 轉換殘餘視訊區塊)。熵編碼器110可對經量化殘餘視訊區塊進行熵編碼。熵編碼器110可輸出包括用於由視訊解碼器(例如,視訊解碼器30)解碼之經量化殘餘視訊區塊的位元串流。
解量化/反向轉換單元112亦可接收經量化、經轉換係數及/或殘餘視訊區塊,並且可反向轉換且解量化經轉換係數及殘餘視訊區塊。經解量化、經反向轉換之視訊區塊此時仍可具有第二顏色空間。反量化/反向轉換之結果為經重建構殘餘信號126。反向可適性顏色轉換器114可基於與由可適性顏色轉換器106執行之轉換相關聯的反向顏色轉換而對經重建構殘餘信號進行反向顏色轉換。所得經反向可適性顏色轉換之係數及/或殘餘視訊區塊此時可具有RGB顏色空間。
在將反向顏色轉換應用於殘餘視訊區塊之後,預測補償器116可將預測性區塊加回至殘餘視訊區塊。解區塊濾波器118可對所得區塊進行解區塊。SAO濾波器120可執行SAO濾波。參考圖像記憶體122可隨後儲存所得重建構信號128以供未來使用。
為了對輸入信號之視訊區塊(亦即,未經編碼視訊資料)而非殘餘視訊資料之區塊進行顏色轉換,將切換器101翻轉至交替位置,且可適性轉換器102使用一或多個顏色轉換中之顏色轉換將輸入視訊區塊自具有RGB顏色空間之視訊區塊顏色轉換為第二顏色空間。使用預測處理單元104之預測如上文所描述進行,但結果可直接饋送至轉換/量化單元108,因為切換器105處於替代位置中(與圖8中所繪示之位置相比),而非由可適性顏色轉換器106進行顏色轉換。
轉換/量化單元108、熵編碼器110及解量化/反向轉換單元112可各自如上文關於顏色轉換殘餘視訊區塊所描述而操作,且重建構信號126得以產生且亦處於第二顏色空間中。重建構信號126經由切換器113饋送至預測補償器116。切換器113處於對於圖8中所繪示之位置的替代位置中,且繞過反向可適性顏色轉換器114。預測補償器116、解 區塊濾波器118及SAO濾波器120可如上文關於顏色轉換殘餘視訊區塊所描述而操作,以生產重建構信號128。然而,不同於上文所描述之重建構信號128,在此實例中,重建構信號128之區塊可仍具有第二顏色空間而非RGB顏色空間。
重建構信號128可經由切換器121饋送至反向可適性顏色轉換器130,該切換器處於對於圖8中所繪示之位置的替代位置中。反向可適性顏色轉換器130可將重建構信號128之區塊反向顏色轉換為具有RGB顏色空間之區塊,且參考圖像記憶體122可將區塊儲存為參考圖像之區塊以供未來參考。
如上文所描述,視訊編碼器21可選擇一或多個顏色空間之轉換以將具有RGB顏色空間之視訊資料的第一區塊轉換至第二顏色空間。在一些實例中,視訊編碼器21藉由計算與顏色轉換中之每一者相關聯的速率-失真成本而可適性地選擇顏色轉換。舉例而言,視訊編碼器21可選擇複數個顏色轉換中針對CU或CU區塊具有最低相關聯失真成本的顏色轉換。視訊編碼器21可信號傳遞指示具有最低相關聯失真成本之經選擇顏色轉換的索引語法元素或其他語法資料。
在一些實例中,視訊編碼器21可使用拉格朗日成本函數,其考量藉由顏色轉換之位元速率(例如,所獲得之壓縮)之間的權衡以及與顏色轉換相關聯之失真(例如,保真度之缺失)。在一些實例中,拉格朗日成本對應於L=D+λR,其中L為拉格朗日成本,D為失真,λ為拉格朗日乘數,且R為位元速率。在一些實例中,視訊編碼器21可信號傳遞指示複數個顏色轉換中使拉格朗日成本最小化之顏色轉換的索引語法元素。
在一些高效能或高保真度視訊寫碼應用或組態中,應超過最小化位元速率而最小化失真。在此等狀況下,在將視訊資料自RGB顏色空間轉換至第二顏色空間時,視訊編碼器21可選擇顏色轉換及產生最 少失真之顏色空間。視訊編碼器21可信號傳遞指示所選擇之顏色轉換或產生最少失真之顏色空間的索引語法元素。
在一些其他狀況下,視訊編碼器21可基於RGB視訊資料之區塊的顏色分量中之每一者與第二顏色空間之區塊的顏色分量之間的相關而計算將RGB顏色空間之區塊轉換至第二顏色空間的成本。具有最低相關聯成本之顏色轉換可為具有與輸入信號之RGB顏色分量最緊密相關之顏色分量的顏色轉換。視訊編碼器21可信號傳遞指示在其顏色分量與RGB顏色分量之間具有最高相關之經選擇顏色轉換的索引語法元素。
應認識到,在一些狀況下,視訊編碼器21可能針對不同CU、LCU、CTU或視訊資料之其他單元選擇不同顏色轉換。亦即,針對單一圖像,視訊編碼器21可選擇與不同顏色空間相關聯之不同顏色轉換。選擇多個不同顏色轉換可更好地最佳化寫碼效率且減少速率失真。為了指示視訊編碼器21針對當前區塊已選擇之多個轉換中之哪一個轉換,視訊編碼器21可信號傳遞對應於所選擇之顏色轉換的索引值。視訊編碼器21可信號傳遞視訊CTU、CU、PU及TU之第一區塊中之一或多者處的索引值。
然而,在一些狀況下,視訊編碼器21可判定待應用於一個或複數個區塊或經寫碼圖像序列(被稱作CVS)之單一顏色轉換。在選擇僅一個顏色變換之狀況下,針對每一區塊,視訊編碼器21可信號傳遞旗標語法元素。旗標語法元素之一個值可指示視訊編碼器21已將單一轉換應用於當前區塊或CVS中之全部圖像。旗標語法元素之其他值指示無轉換已應用於當前區塊。視訊編碼器21可(例如)使用上文所描述之基於成本之標準基於個別基礎判定是否將顏色轉換應用於圖像之區塊中之每一者。
在一些實例中,視訊編碼器21判定是否將複數個反向顏色轉換 中之預定義顏色轉換應用於複數個區塊中之每一者。舉例而言,視訊編碼器21及視訊解碼器31可使用預設預定義顏色轉換/反向顏色轉換。回應於判定將預定義顏色轉換應用於複數個區塊中之每一者,視訊編碼器21可使用預定義顏色轉換而轉換複數個區塊中之每一者,而無需解碼指示預定義顏色轉換已應用於複數個視訊資料之區塊中之每一者的資料。
以互逆方式,視訊解碼器31可經組態以判定是否將複數個反向顏色轉換中之預定義反向顏色轉換應用於複數個區塊中之每一者。回應於判定將預定義反向顏色轉換應用於複數個區塊中之每一者,視訊解碼器31可使用預定義顏色轉換而反向轉換複數個區塊中之每一者,而無需解碼指示預定義顏色轉換已應用於複數個視訊資料區塊中之每一者的資料。
本發明之顏色轉換可包括但不一定限於對視訊資料之區塊的恆等轉換、微分轉換、加權微分轉換、DCT、YCbCr轉換、YCgCo轉換及YCgCo-R轉換。根據本發明之技術組態之視訊寫碼器(諸如,視訊編碼器21)可應用此等轉換中之一或多者及/或其反向轉換以及其他轉換,諸如至/自以下各者之轉換:Adobe RGB、sRGB、scRGB、Rec.709、Rec.2020、Adobe Wide Gamut RGB、ProPhoto RGB、CMYK、Pantone、YIQ、YDbDr、YPbPr、xvYCC、ITU BT.601、ITU BT.709、HSV以及本文中未具體描述之其他顏色空間、顏色空間及/或色度子取樣格式。
為了將顏色轉換應用於具有RGB顏色空間之視訊資料的區塊,視訊編碼器21可將包含RGB像素之紅色分量、綠色分量及藍色分量的3×1矩陣與顏色轉換矩陣相乘。相乘之結果為具有第二顏色空間之像素。視訊寫碼器可將顏色轉換矩陣應用於視訊區塊之每一像素以產生第二顏色空間中的像素之第二區塊。現在更詳細地描述各種顏色轉 換。
在一些實例中,視訊編碼器21可應用恆等轉換矩陣或反向恆等轉換矩陣。恆等轉換矩陣包含: 且視訊解碼器30可應用之反向轉換矩陣包含:
在視訊寫碼器應用恆等轉換時,所得像素值等同於輸入像素值,亦即應用恆等轉換等效於根本不應用顏色轉換。視訊編碼器21可在要求維持視訊區塊之RGB顏色空間時選擇恆等轉換。
在另一實例中,視訊編碼器21可應用微分轉換矩陣。微分轉換矩陣包含:
視訊解碼器30可應用互逆的反向微分矩陣,其包含:
在另一實例中,視訊編碼器21可經組態應用加權微分轉換或反向加權微分轉換。加權微分轉換矩陣包含: 且視訊解碼器31可應用之反向加權微分矩陣包含:
在加權微分轉換中,α1及α2為視訊寫碼器可調整之參數。在一些實例中,視訊編碼器20可根據以下等式計算參數α1及α2:α1=cov(G,B)/var(G),及 α2=cov(G,R)/var(G)。
在各種實例中,視訊編碼器21可在經寫碼視訊位元串流中信號傳遞α1及α2之值。
在此等等式中,R對應於RGB顏色空間之紅色頻道,G對應於綠色頻道,且B對應於藍色頻道。在微分轉換等式中,「cov()」為共變數函數,且「var()」為變異數函數。
為了判定R、G及B之值,編碼器或解碼器可使用參考像素集合以便確保在由編碼器或解碼器計算時共變數函數及變異數函數具有相同結果或權重。在一些實例中,可在經寫碼視訊位元串流中信號傳遞特定參考像素(例如,作為經寫碼視訊位元串流中之語法元素)。在其他實例中,編碼器及解碼器可經預先程式化以使用某些參考像素。
在一些實例中,視訊編碼器21可在使用微分轉換來對區塊進行轉換時限制或約束α1及α2之值。視訊寫碼器可將α1及α2之值約束為整數或二進數(例如1/2、1/4、1/8等)之集合。在其他實例中,視訊寫碼器可將α1及α2約束為具有二進數之分數值,例如1/8、2/8、3/8、……、8/8。二進數或二進分數為具有分母為二之冪的有理數,且其中分子為整數。限制α1及α2之值可改良寫碼α1及α2之位元串流效率。
在其他實例中,視訊編碼器21可經組態以使用DCT轉換對具有RGB顏色空間之區塊進行轉換,以產生第二區塊。DCT對區塊之樣本進行轉換以將樣本表達為不同頻率及振幅之正弦波的總和。就餘弦函數之總和而言,DCT轉換或反向轉換可將像素轉換至資料點之有限序列且自資料點之有限序列轉換像素。DCT轉換矩陣對應於:
以互逆方式,視訊解碼器31可經組態以將反向轉換應用於使用 DCT轉換之區塊,以將區塊恢復回至原始樣本。反向DCT轉換矩陣對應於:
視訊編碼器21亦可將YCbCr轉換應用於具有RGB顏色空間之區塊,以產生具有YCbCr顏色空間之區塊。如上文所描述,YCbCr顏色空間包括亮度(Y)分量,以及藍色彩度(Cb)分量及紅色彩度(Cr)分量。YCbCr轉換矩陣可對應於:
視訊解碼器31可經組態以應用反向YCbCr轉換以將具有YCbCr顏色空間之區塊變換至具有RGB顏色空間之區塊。反向YCbCr轉換矩陣可對應於:
視訊編碼器21亦可將YCgCo轉換應用於具有RGB顏色空間之區塊,以產生具有YCgCo顏色空間之區塊。YCgCo顏色空間包括亮度(Y)分量,以及綠色彩度(Cg)分量及橙色彩度(Co)分量。YCgCo轉換矩陣可對應於:
視訊解碼器31可經組態以應用反向YCgCo轉換,以將具有YCgCo顏色空間之區塊變換至具有RGB顏色空間之區塊。反向YCgCo轉換矩陣可對應於:
視訊編碼器21亦可經組態以將YCgCo-R轉換應用於具有RGB顏色空間之區塊,以生產具有YCgCo-R顏色空間之區塊。YCgCo-R顏色空 間包括亮度(Y)分量,以及綠色彩度(Cg)分量及橙色彩度(Co)分量。然而,不同於上文所描述之YCgCo轉換,YCgCo-R轉換為可逆的,例如YCgCo-R轉換可(例如)歸因於捨入誤差而不產生任何失真。
YCbCr轉換矩陣可對應於:
視訊解碼器31可經組態以應用反向YCgCo-R轉換。YCgCo-R反向轉換將具有YCgCo-R顏色空間之區塊反向轉換至具有RGB顏色空間之區塊。反向YCgCo-R轉換矩陣可對應於:
為了應用本文中所描述之顏色轉換中之任一者,視訊編碼器21可實施具有靈活參數之提昇方案。提昇方案為將離散小波轉換分解為簡單濾波階梯(被稱作提昇階梯或梯子結構)之有限序列的技術。視訊編碼器21可在經寫碼視訊位元串流中信號傳遞參數,或視訊編碼器21可推導參數可以相同方式推導參數。提昇方案之一個實例如下: 其中abcd為如上文所描述之參數。在此提昇方案中,R、G和B分別為紅、綠及藍色頻道或樣本。如上文關於加權微分轉換所描述之α參數,abcd之值可受限或有限,例如因此符號可僅為正或負。在一些狀況下,提昇方案中可存在額外階梯,諸如: 其中fghij為參數。在使用提昇方案時以及在其他實例中,視訊編碼器20及視訊解碼器30可校正三個分量之輸出深度,R'''、B"及G"可在預定位元深度內加以校正,預定位元深度針對每一分量可能不一定為相同的。
圖9為繪示根據本發明之一或多個態樣之另一實例視訊解碼器31的方塊圖,該視訊解碼器可利用用於使用反向顏色轉換來將具有第一顏色空間之視訊資料反向轉換至具有第二RGB顏色空間之視訊資料的技術。
圖9繪示視訊解碼器31相對於圖1及圖7之視訊解碼器30的更為詳細之版本。實際上,在一些實例中,視訊解碼器31可被視為視訊解碼器30(圖7)及/或視訊解碼器30(圖1)之更特定實例。圖9之實例繪示用於實施本發明之技術的兩個可能實例。在第一實施中,視訊解碼器31使用複數個反向顏色轉換中之反向顏色轉換來將輸入視訊信號之區塊自第一顏色空間(例如,非RGB顏色空間)可適性地反向轉換至具有第二RGB顏色空間之第二區塊。第二所繪示之實例執行相同技術,但對殘餘視訊資料之區塊而非輸入信號執行反向顏色轉換。
在圖9之實例中,視訊解碼器31展示為由於當前切換切換器145及156之方式而對殘餘視訊資料實例區塊執行反向顏色轉換。若切換器145和156經切換替代位置,則視訊解碼器31經組態以將具有第一表示之輸入視訊資料的區塊反向顏色轉換至具有第二RGB顏色空間之視訊資料區塊,而非反向轉換殘餘視訊資料之區塊。
現在更詳細地描述如圖9中所繪示之對殘餘視訊資料之區塊執行反向顏色轉換的程序。在圖9之實例中,將經編碼輸入位元串流140(亦被稱作輸入信號)傳遞至熵解碼單元142。熵解碼單元142可對位元串流140進行熵解碼以產生具有第一顏色空間之殘餘視訊資料的經量化區塊。舉例而言,熵解碼單元142可對包括於位元串流140中之特定 語法元素進行熵解碼。解量化/反向轉換單元144可解量化轉換係數區塊。另外,解量化/反向轉換單元144可將反向轉換應用於轉換係數區塊以判定包含殘餘視訊資料之轉換區塊。因此,解量化/反向轉換單元144可解量化且反向轉換位元串流140之經熵解碼視訊資料的區塊。在視訊解碼器31經組態以反向顏色轉換殘餘資料之區塊時,切換器148將具有第一顏色空間之殘餘視訊資料之區塊饋送至反向可適性顏色轉換器150。以此方式,反向可適性顏色轉換器150可接收TU之轉換區塊。
反向可適性顏色轉換器150可將具有第一顏色空間之視訊資料之區塊可適性地反向轉換至到具有第二RGB顏色空間之第二視訊資料之區塊。舉例而言,反向可適性顏色轉換器150可選擇反向轉換以應用於TU之轉換區塊。在此實例中,反向可適性顏色轉換器150可將所選擇之反向轉換應用於轉換區塊以便將轉換區塊自第一顏色空間轉換至RGB顏色空間。預測補償單元152可組合來自參考圖像記憶體154之參考圖像。舉例而言,預測補償單元152可接收CU之TU之轉換區塊。在此實例中,預測補償單元152可判定CU之寫碼區塊。在此實例中,CU之寫碼區塊之每一樣本可等於轉換區塊中之樣本與CU之PU之預測區塊中之對應樣本的總和。解區塊濾波器157可對經組合經重建構圖像進行解區塊。若適用,則SAO濾波器單元158可執行額外SAO濾波。
SAO濾波器單元158之輸出為經重建構信號160。若視訊解碼器31經組態以反向顏色轉換殘餘視訊資料之區塊,則切換器162將經重建構信號160饋送至參考圖像記憶體154以供未來用作參考圖像。視訊解碼器31亦可輸出經重建構信號160作為影像/視訊164。
在視訊解碼器31經組態以對照殘餘視訊資料之區塊反向顏色轉換原始輸入信號之區塊的實例中,熵解碼單元142及解量化/反向轉換 單元144以先前所描述之方式操作。切換器148處於替代位置中且將經重建構殘餘信號直接饋送至預測補償單元152。此時,提供至預測補償單元152之殘餘區塊仍處於第一顏色空間而非RGB顏色空間中。
預測補償單元152可重建構原始影像之區塊且可將殘餘區塊與來自參考圖像記憶體154之圖像之一或多個區塊組合。解區塊濾波器157及SAO濾波器單元158可如上文關於反向轉換視訊資料之殘餘區塊所描述而操作。SAO濾波器158之輸出為其區塊仍處於第一顏色空間中之經重建構信號160,且可不具有RGB顏色空間(例如,若使用恆等轉換,則區塊仍可具有RGB顏色空間)。
經重建構信號160可經由切換器162饋送至反向可適性顏色轉換器166,該切換器處於相比於圖9中所繪示之位置的替代位置中。反向可適性顏色轉換器166可使用一或多個反向顏色轉換中之反向顏色轉換來將具有第一顏色空間之經重建構信號之區塊反向顏色轉換至具有第二RGB顏色空間之視訊資料之第二區塊。在一些實例中,可在位元串流140中信號傳遞解碼器31使用之特定反向轉換。反向可適性顏色轉換器166可饋送具有第二顏色空間之第二區塊以供輸出為影像/視訊164,以及饋送至參考圖像記憶體154以供未來儲存及使用為參考圖像。
圖10展示根據本發明之技術之解碼視訊資料之方法的實例。將關於通用視訊解碼器描述圖10之技術。舉例而言,通用視訊解碼器可對應於圖7之視訊解碼器30或圖9之視訊解碼器31,但圖10之技術並不限於任一特定類型之視訊解碼器。如視訊編碼器通常將視訊解碼執行為編碼程序之部分,圖10之技術亦可由視訊編碼器(諸如,圖6之視訊編碼器20及圖8之視訊編碼器21)執行。舉例而言,視訊編碼器20包括反量化單元58及反向轉換處理單元60,其形成解碼迴路之部分,在該解碼迴路中可實施圖10之技術。因此,儘管將參考視訊解碼器解釋圖 10之技術,但應理解,此視訊解碼器可為視訊編碼器之部分。
在圖10之實例中,視訊解碼器針對視訊資料之一或多個區塊判定啟用可適性顏色轉換(210)。在一些實例中,視訊解碼器可藉由接收指示是否啟用可適性顏色轉換之語法元素而判定啟用可適性顏色轉換之視訊資料之一或多個區塊。舉例而言,可在PPS中或在另一層級處接收語法元素。藉由剖析所接收之語法元素,視訊解碼器可判定是否啟用或禁用可適性顏色轉換。在其他實例中,視訊解碼器可藉由判定視訊資料之色度格式判定啟用可適性顏色轉換之視訊資料之一或多個區塊。舉例而言,回應於判定視訊資料之色度格式為4:4:4,視訊解碼器可判定啟用可適性顏色轉換。回應於判定視訊資料之色度格式不同於4:4:4,視訊解碼器可判定禁用可適性顏色轉換。
對於啟用可適性顏色轉換之視訊資料,視訊解碼器可判定一或多個區塊之量化參數(212)。回應於量化參數之值低於臨限值,視訊解碼器可修改量化參數以判定經修改量化參數(214)。舉例而言,臨限值可為零,且經修改量化參數之值可為大於或等於零。經修改量化參數可小於或等於51加上偏移值。為了修改量化參數,視訊解碼器可將偏移值添加至量化參數。視訊解碼器可接收用以指示是否偏移值待添加至量化參數的旗標。
舉例而言,視訊解碼器可接收偏移值作為語法元素。偏移值可為量化參數之偏移(在針對區塊啟用可適性顏色轉換時)。視訊解碼器可基於經修改量化參數而解量化轉換係數(216)。
圖11展示根據本發明之技術之編碼視訊資料之方法的實例。將關於通用視訊編碼器描述圖11之技術。舉例而言,通用視訊編碼器可對應於圖6之視訊編碼器20或圖8之視訊編碼器21,但圖11之技術並不限於任一特定類型之視訊編碼器。視訊編碼器選擇視訊資料之色度取樣格式(220)。回應於色度取樣格式為第一色度取樣格式,視訊編碼器 產生用以指示是否啟用可適性顏色轉換之語法元素(222)。回應於色度取樣格式不同於第一色度取樣格式,視訊編碼器在無可適性顏色轉換之情況下編碼視訊資料(224)。舉例而言,第一色度取樣格式可為4:4:4色度取樣格式。
圖12展示根據本發明之技術之解碼視訊資料之方法的實例。將關於通用視訊解碼器描述圖12之技術。舉例而言,通用視訊解碼器可對應於圖7之視訊解碼器30或圖9之視訊解碼器31,但圖12之技術並不限於任一特定類型之視訊解碼器。在一些實例中,通用視訊解碼器亦可對應於視訊編碼器之解碼迴路。
在圖12之實例中,視訊解碼器基於視訊資料之色度取樣格式針對視訊資料之一或多個區塊判定啟用可適性顏色轉換(230)。舉例而言,視訊解碼器可藉由判定色度取樣格式為4:4:4取樣格式來針對視訊資料之一或多個區塊判定啟用可適性顏色轉換。視訊解碼器可基於判定啟用可適性顏色轉換而判定一或多個區塊之量化參數(232)且基於所判定之量化參數而解量化轉換係數(234)。
舉例而言,視訊解碼器亦可針對視訊資料之一或多個第二區塊判定視訊區塊之色度取樣格式為不同於4:4:4之色度取樣格式,且基於色度取樣格式為不同於4:4:4之色度取樣格式,判定針對第二一或多個區塊禁用可適性顏色轉換。舉例而言,視訊解碼器可在無需接收不同於色度取樣格式之指示的用以指示是否禁用可適性顏色轉換之語法元素之情況下判定針對第二一或多個區塊禁用可適性顏色轉換。
圖13展示根據本發明之技術之編碼視訊資料之方法的實例。將關於通用視訊編碼器描述圖13之技術。舉例而言,通用視訊編碼器可對應於圖6之視訊編碼器20或圖8之視訊編碼器21,但圖13之技術並不限於任一特定類型之視訊編碼器。視訊編碼器針對視訊資料之一或多個區塊判定可適性顏色轉換用以編碼區塊(240)。視訊編碼器判定視 訊資料之第一顏色空間之第一顏色分量的量化參數(242)。視訊編碼器基於量化參數而量化轉換係數(244)。視訊編碼器產生包括於圖像參數集合中之一或多個偏移值,該一或多個偏移值表示視訊資料之第二顏色空間之第一顏色分量的量化參數與視訊資料之該第二顏色空間之該第一顏色分量的該量化參數之間的差(246)。
圖14展示根據本發明之技術之解碼視訊資料之方法的實例。將關於通用視訊解碼器描述圖14之技術。舉例而言,通用視訊解碼器可對應於圖7之視訊解碼器30或圖9之視訊解碼器31,但圖14之技術並不限於任一特定類型之視訊解碼器。在圖14之實例中,視訊解碼器針對視訊資料之一或多個區塊判定啟用可適性顏色轉換(250)。回應於啟用可適性顏色轉換,視訊解碼器在圖像參數集合中接收一或多個偏移值(252)。視訊解碼器基於一或多個偏移值中之第一偏移值判定第一顏色空間之第一顏色分量的量化參數(254)且基於經修改量化參數解量化轉換係數(256)。一或多個偏移值可包括第一顏色分量之偏移值、第二顏色分量之偏移值及第三顏色分量之偏移值。
視訊解碼器可判定第二顏色空間之第一顏色分量的量化參數。為了基於一或多個偏移值中之第一偏移值判定第一顏色空間之第一顏色分量的量化參數,視訊解碼器可藉由將一或多個偏移值中之第一偏移值添加至第二顏色空間之第一顏色分量的量化參數而將第二顏色空間之第一顏色分量的量化參數變換至第一顏色空間之第一顏色分量的量化參數。
在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體,或包括促進(例如,根據通信協定)將電 腦程式自一個地點傳送至另一地點之任何媒體的通信媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性之有形電腦可讀儲存媒體或(2)通信媒體,諸如信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
借助於實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構之形式之所需程式碼且可由電腦存取的任何其他媒體。此外,將任何連接適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為關於非暫時性有形儲存媒體。如本文所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個DSP、通用微處理器、ASIC、FPGA或其它等效積體或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指代前述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,可在經組態用於編碼及解碼之專用硬體及/或軟體模組內提供本文中所描述之功能性,或將本文中所描述之功能性併入於組合式編碼解碼器 中。此外,該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以各種器件或裝置實施,該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如,晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求藉由不同硬體單元予以實現。確切地說,如上文所描述,可將各種單元組合於編解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例處於以下申請專利範圍之範疇內。
210‧‧‧區塊
212‧‧‧區塊
214‧‧‧區塊
216‧‧‧區塊

Claims (30)

  1. 一種解碼視訊資料之方法,該方法包含:針對該視訊資料之一或多個區塊判定啟用可適性顏色轉換;判定該一或多個區塊之一量化參數;回應於該量化參數之一值低於一臨限值,修改該量化參數以判定一經修改量化參數;及基於該經修改量化參數而解量化轉換係數。
  2. 如請求項1之方法,其中針對該視訊資料之該一或多個區塊判定啟用可適性顏色轉換包含判定該視訊資料之一色度格式。
  3. 如請求項2之方法,其進一步包含:回應於判定4:4:4之一色度格式,判定啟用可適性顏色轉換。
  4. 如請求項2之方法,其進一步包含:回應於判定一色度格式不同於4:4:4,判定禁用可適性顏色轉換。
  5. 如請求項1之方法,其中針對該視訊資料之該一或多個區塊判定啟用可適性顏色轉換包含剖析該視訊資料中之一語法元素,其中該語法元素指示是否啟用可適性顏色轉換。
  6. 如請求項5之方法,其中在一圖像參數集合(PPS)中信號傳遞該語法元素。
  7. 如請求項1之方法,其中該臨限值為零,且其中該經修改量化參數之一值大於或等於零。
  8. 如請求項1之方法,其中該經修改量化參數小於或等於51加上一偏移值。
  9. 如請求項1之方法,其中修改該量化參數包含將一偏移值添加至該量化參數。
  10. 如請求項9之方法,其進一步包含:在該視訊資料中接收該偏移值。
  11. 如請求項9之方法,其進一步包含:接收用以指示該偏移值是否待添加至該量化參數之一旗標。
  12. 該方法進一步包含:基於該經解量化轉換係數,判定該視訊資料之一殘餘區塊;判定一預測性區塊;將該殘餘區塊添加至一預測性區塊以判定視訊資料之一經重建構區塊。
  13. 如請求項1之方法,其中解碼該視訊資料之該方法作為一視訊編碼程序之部分而執行。
  14. 一種用於解碼視訊資料之器件,該器件包含:一視訊資料記憶體;一或多個處理器,其經組態以:針對該視訊資料之一或多個區塊判定啟用可適性顏色轉換;判定該一或多個區塊之一量化參數;回應於該量化參數之一值低於一臨限值而修改該量化參數以判定一經修改量化參數;及基於該經修改量化參數而解量化轉換係數。
  15. 如請求項14之器件,其中為了針對該視訊資料之該一或多個區塊判定啟用可適性顏色轉換,該一或多個處理器經進一步組態以判定該視訊資料之一色度格式。
  16. 如請求項15之器件,其中該一或多個處理器經進一步組態以:回應於判定4:4:4之一色度格式,判定啟用可適性顏色轉換。
  17. 如請求項15之器件,其中該一或多個處理器經進一步組態以: 回應於判定不同於4:4:4之一色度格式,判定禁用可適性顏色轉換。
  18. 如請求項14之器件,其中為了針對該視訊資料之該一或多個區塊判定啟用可適性顏色轉換,該一或多個處理器經進一步組態以剖析該視訊資料中之一語法元素,其中該語法元素指示是否啟用可適性顏色轉換。
  19. 如請求項18之器件,其中在一圖像參數集合(PPS)中信號傳遞該語法元素。
  20. 如請求項14之器件,其中該臨限值為零,且其中該經修改量化參數之一值大於或等於零。
  21. 如請求項14之器件,其中該經修改量化參數小於或等於51加上一偏移值。
  22. 如請求項14之器件,其中為了修改該量化參數,該一或多個處理器經進一步組態以將一偏移值添加至該量化參數。
  23. 如請求項22之器件,其中該一或多個處理器經進一步組態以在該視訊資料中接收該偏移值。
  24. 如請求項22之器件,其中該一或多個處理器進一步經組態以接收用以指示該偏移值是否待添加至該量化參數之一旗標。
  25. 如請求項14之器件,其中該一或多個處理器經進一步組態以:基於該經解量化轉換係數,判定該視訊資料之一殘餘區塊;判定一預測性區塊;將該殘餘區塊添加至一預測性區塊以判定視訊資料之一經重建構區塊。
  26. 如請求項14之器件,其中該一或多個處理器經進一步組態以解碼該視訊資料,且其中該器件進一步包含經組態以顯示器該經解碼視訊資料之一顯示器。
  27. 如請求項14之器件,其中該一或多個處理器經進一步組態以編碼該視訊資料,且其中該器件進一步包含經組態以獲取該視訊資料之一攝影機。
  28. 如請求項14之器件,其中該器件包含以下各者中之至少一者:一積體電路;一微處理器;或一無線通信器件。
  29. 一種用於解碼視訊資料之裝置,該裝置包含:用於針對該視訊資料之一或多個區塊判定啟用可適性顏色轉換的構件;用於判定一或多個區塊之一量化參數的構件;用於回應於該量化參數之一值低於一臨限值而修改該量化參數以判定一經修改量化參數的構件;及用於基於該經修改量化參數解量化轉換係數的構件。
  30. 一種儲存指令之電腦可讀儲存媒體,該等指令在由一或多個處理器執行時使得該一或多個處理器:針對該視訊資料之一或多個區塊判定啟用可適性顏色轉換;判定一或多個區塊之一量化參數;回應於該量化參數之一值低於一臨限值而修改該量化參數以判定一經修改量化參數;及基於該經修改量化參數而解量化轉換係數。
TW104133090A 2014-10-07 2015-10-07 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移 TWI701942B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201462061099P 2014-10-07 2014-10-07
US62/061,099 2014-10-07
US201462064347P 2014-10-15 2014-10-15
US62/064,347 2014-10-15
US14/876,574 2015-10-06
US14/876,574 US9883184B2 (en) 2014-10-07 2015-10-06 QP derivation and offset for adaptive color transform in video coding

Publications (2)

Publication Number Publication Date
TW201625002A true TW201625002A (zh) 2016-07-01
TWI701942B TWI701942B (zh) 2020-08-11

Family

ID=55633739

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104133091A TWI688259B (zh) 2014-10-07 2015-10-07 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移
TW104133090A TWI701942B (zh) 2014-10-07 2015-10-07 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104133091A TWI688259B (zh) 2014-10-07 2015-10-07 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移

Country Status (11)

Country Link
US (2) US9883184B2 (zh)
EP (2) EP3205094B1 (zh)
JP (2) JP6549223B2 (zh)
KR (2) KR102017961B1 (zh)
CN (2) CN106797465B (zh)
AU (2) AU2015328164B2 (zh)
BR (2) BR112017007070A2 (zh)
ES (1) ES2804515T3 (zh)
HU (1) HUE049554T2 (zh)
TW (2) TWI688259B (zh)
WO (2) WO2016057665A1 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
PL3668095T3 (pl) * 2011-01-13 2021-12-13 Canon Kabushiki Kaisha Urządzenie do kodowania obrazu, sposób kodowania obrazu i program, oraz urządzenie do dekodowania obrazu, sposób dekodowania obrazu i program
KR101794817B1 (ko) * 2014-09-26 2017-11-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 지각적으로 양자화된 비디오 콘텐츠를 인코딩 및 디코딩하는 방법
US9883184B2 (en) 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US10158836B2 (en) * 2015-01-30 2018-12-18 Qualcomm Incorporated Clipping for cross-component prediction and adaptive color transform for video coding
JP6593122B2 (ja) * 2015-11-20 2019-10-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
US10425642B1 (en) * 2016-02-11 2019-09-24 Amazon Technologies, Inc. Noisy media content encoding
US10244266B1 (en) 2016-02-11 2019-03-26 Amazon Technologies, Inc. Noisy media content encoding
WO2017173593A1 (en) * 2016-04-06 2017-10-12 Mediatek Singapore Pte. Ltd. Separate coding secondary transform syntax elements for different color components
US10911783B2 (en) * 2016-05-12 2021-02-02 Lg Electronics Inc. Method and apparatus for processing video signal using coefficient-induced reconstruction
WO2018070914A1 (en) * 2016-10-12 2018-04-19 Telefonaktiebolaget Lm Ericsson (Publ) Residual refinement of color components
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
US11019339B2 (en) * 2017-07-12 2021-05-25 Futurewei Technologies, Inc. Fractional quantization parameter offset in video compression
US11166045B2 (en) 2017-10-11 2021-11-02 Lg Electronics Inc. Method for image coding on basis of separable transform and apparatus therefor
US11095896B2 (en) * 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization
US11019338B2 (en) 2018-02-01 2021-05-25 Mediatek Inc. Methods and apparatuses of video encoding or decoding with adaptive quantization of video data
US10262451B1 (en) * 2018-04-09 2019-04-16 8i Limited View-dependent color compression
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
US10861405B2 (en) * 2018-07-09 2020-12-08 Samsung Display Co., Ltd. Color transform for RGBG subpixel format
CN112690000B (zh) * 2018-09-21 2022-02-18 华为技术有限公司 用于进行反量化的装置和方法
EP3861738A4 (en) 2018-11-06 2022-01-26 Beijing Bytedance Network Technology Co., Ltd. POSITION-BASED INTRA PREDICTION
WO2020111981A1 (en) * 2018-11-26 2020-06-04 Huawei Technologies Co., Ltd. Apparatus and method for chrominance quantization parameter derivation
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN113597760A (zh) * 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
MX2021008056A (es) 2019-01-02 2021-09-23 Fraunhofer Ges Forschung Señalización de tipo de transformada y codificación de nivel de coeficiente de transformada dependiente del tipo de transformada unificadas.
WO2020156515A1 (en) 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Refined quantization steps in video coding
EP3700205A1 (en) * 2019-02-19 2020-08-26 Nokia Technologies Oy Quantization parameter derivation for cross-channel residual encoding and decoding
US11153591B2 (en) * 2019-03-12 2021-10-19 Tencent America LLC Method and apparatus for color transform in VVC
WO2020216176A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma syntax elements in video coding
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
CA3234651A1 (en) 2019-06-11 2020-12-17 Lg Electronics Inc. Image decoding and encoding methods and apparatus thereof
US11070825B2 (en) * 2019-06-13 2021-07-20 Mediatek Inc. Method and apparatus of encoding or decoding video data with adaptive colour transform
WO2020253864A1 (en) 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Selective enablement of adaptive in-loop color-space transform in video coding
US20230016701A1 (en) * 2019-06-28 2023-01-19 Lg Electronics Inc. Method for decoding image and apparatus therefor
WO2020262913A1 (ko) * 2019-06-28 2020-12-30 엘지전자 주식회사 크로마 양자화 파라미터 데이터에 대한 영상 디코딩 방법 및 그 장치
MX2022001244A (es) 2019-08-06 2022-02-22 Beijing Bytedance Network Tech Co Ltd Restricción de tamaño basada en formato de color.
BR112022003656A2 (pt) * 2019-09-02 2022-05-24 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
WO2021045162A1 (ja) * 2019-09-06 2021-03-11 ソニー株式会社 画像処理装置及び画像処理方法
WO2021051044A1 (en) 2019-09-14 2021-03-18 Bytedance Inc. Quantization parameter offset for chroma deblocking filtering
CN114424574A (zh) 2019-09-20 2022-04-29 北京字节跳动网络技术有限公司 编解码块的缩放过程
BR112022005109A2 (pt) 2019-09-21 2023-03-14 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
WO2021061019A1 (en) * 2019-09-23 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus for chrominance quantization parameters signalling
WO2021061021A1 (en) * 2019-09-23 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus for chrominance qp offsets tables signaling and derivation
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
US11412235B2 (en) 2019-10-10 2022-08-09 Tencent America LLC Color transform for video coding
EP4029273A4 (en) 2019-10-14 2023-03-15 ByteDance Inc. USE OF CHROMA QUANTIZATION PARAMETERS IN VIDEO ENCODING
WO2021086020A1 (ko) 2019-10-28 2021-05-06 엘지전자 주식회사 색공간 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021086023A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 변환을 이용하여 레지듀얼 처리를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114902666A (zh) * 2019-10-28 2022-08-12 Lg电子株式会社 使用自适应颜色变换的图像编码/解码方法和装置以及发送比特流的方法
AU2020376669B2 (en) * 2019-10-28 2024-02-15 Lg Electronics Inc. Image encoding/decoding method and apparatus using adaptive transform, and method for transmitting bitstream
WO2021088951A1 (en) 2019-11-07 2021-05-14 Beijing Bytedance Network Technology Co., Ltd. Quantization properties of adaptive in-loop color-space transform for video coding
US11425405B2 (en) * 2019-11-15 2022-08-23 Qualcomm Incorporated Cross-component adaptive loop filter in video coding
US20210160481A1 (en) * 2019-11-26 2021-05-27 Qualcomm Incorporated Flexible signaling of qp offset for adaptive color transform in video coding
US20210168406A1 (en) * 2019-11-29 2021-06-03 Tencent America LLC Signaling of video coding tools supporting various chroma formats
KR20220104052A (ko) * 2019-12-05 2022-07-25 알리바바 그룹 홀딩 리미티드 크로마 샘플링을 위한 방법 및 장치
CN114788279A (zh) 2019-12-09 2022-07-22 字节跳动有限公司 视频编解码中使用的量化组
CN115004705A (zh) * 2019-12-10 2022-09-02 北京达佳互联信息技术有限公司 以4:4:4色度格式进行视频编解码的方法和装置
CN114902680A (zh) 2019-12-19 2022-08-12 抖音视界(北京)有限公司 视频的自适应颜色变换和差分编解码的联合使用
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
JP7436680B2 (ja) * 2020-01-05 2024-02-22 北京字節跳動網絡技術有限公司 映像コーディングのための一般制約情報
CN114982237A (zh) * 2020-01-14 2022-08-30 抖音视界(北京)有限公司 视频编解码中量化参数的信令通知
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
US20230103632A1 (en) * 2020-01-25 2023-04-06 Lg Electronics Inc. Act residual-based image or video coding
EP4107962A4 (en) * 2020-02-21 2023-07-26 Alibaba Group Holding Limited METHODS OF PROCESSING CHROMA SIGNALS
JPWO2021206137A1 (zh) * 2020-04-08 2021-10-14
CN114503567B (zh) * 2020-04-22 2024-04-12 日本放送协会 编码装置、解码装置及程序
US11310529B2 (en) * 2020-05-27 2022-04-19 Tencent America LLC Mode-dependent joint component transform
US11606577B2 (en) 2020-06-09 2023-03-14 Alibaba Group Holding Limited Method for processing adaptive color transform and low-frequency non-separable transform in video coding
JP7266710B2 (ja) * 2020-06-10 2023-04-28 テンセント・アメリカ・エルエルシー ビデオコーディングのための方法、装置、およびコンピュータプログラム
US11700386B2 (en) * 2020-06-10 2023-07-11 Tencent America LLC Adaptive colour transform related signalling for both of CU level and TU level
US20230099329A1 (en) * 2021-09-30 2023-03-30 Tencent America LLC Deriving offsets in cross-component transform coefficient level reconstruction
US20230103405A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC Method and apparatus for intra block copy prediction with sample padding
WO2024006436A1 (en) * 2022-07-01 2024-01-04 Innopeak Technology, Inc. Bitstream encoding and decoding for geometry point cloud coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661927B1 (en) * 2000-07-27 2003-12-09 Motorola, Inc. System and method for efficiently encoding an image by prioritizing groups of spatially correlated coefficients based on an activity measure
US8374237B2 (en) * 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US20070206682A1 (en) * 2003-09-29 2007-09-06 Eric Hamilton Method And Apparatus For Coding Information
US20050259730A1 (en) 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
JP5053081B2 (ja) * 2004-06-18 2012-10-17 トムソン ライセンシング ビデオ・コーデック量子化のための方法および装置
KR100723408B1 (ko) * 2004-07-22 2007-05-30 삼성전자주식회사 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치
CN100584038C (zh) * 2008-04-01 2010-01-20 西安交通大学 一种基于3d自适应梳状滤波的视频信号解码器
EP2144432A1 (en) * 2008-07-08 2010-01-13 Panasonic Corporation Adaptive color format conversion and deconversion
CN101489032B (zh) * 2009-02-06 2011-08-31 西安交通大学 一种视频解码器亮度色度分离模块中运动检测方法及装置
WO2011128272A2 (en) 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video decoder, hybrid video encoder, data stream
US9363509B2 (en) * 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
RU2635893C1 (ru) * 2011-07-01 2017-11-16 Самсунг Электроникс Ко., Лтд. Способ и устройство для энтропийного кодирования с использованием иерархической единицы данных и способ и устройство для декодирования
US9185404B2 (en) * 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
US9161046B2 (en) 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
EP2774121A4 (en) * 2011-10-30 2015-09-16 Hd2 Technologies Pty Ltd PERCEPTION-RELATED LOSS-FREE AND IMPROVED IMAGE COMPRESSION SYSTEM AND METHOD
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
CN103329539B (zh) 2012-01-20 2017-04-12 索尼公司 色度量化参数扩展
US9414054B2 (en) * 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9225988B2 (en) * 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9510002B2 (en) * 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
CN103686171A (zh) * 2013-12-19 2014-03-26 中山大学深圳研究院 一种自适应滤波分离的视频解码装置
EP3119100A4 (en) 2014-03-13 2018-01-17 LG Electronics Inc. Device and method for transmitting and receiving data using hdmi
US10477204B2 (en) 2014-06-20 2019-11-12 Sharp Kabushiki Kaisha Harmonized palette coding
PE20171159A1 (es) * 2014-10-03 2017-08-17 Nec Corp Dispositivo de codificacion de video, dispositivo de descodificacion de video, metodo de codificacion de video, metodo de descodificacion de video y programa
EP3205098B1 (en) 2014-10-06 2020-01-08 Telefonaktiebolaget LM Ericsson (publ) Coding and deriving quantization parameters
US9883184B2 (en) 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding

Also Published As

Publication number Publication date
BR112017007070A2 (pt) 2017-12-12
KR102017961B1 (ko) 2019-09-03
AU2015328088B2 (en) 2019-10-31
JP6549223B2 (ja) 2019-07-24
EP3205095A1 (en) 2017-08-16
EP3205094B1 (en) 2020-03-25
TW201626794A (zh) 2016-07-16
CN107079150A (zh) 2017-08-18
CN107079150B (zh) 2020-01-31
AU2015328164B2 (en) 2019-06-20
HUE049554T2 (hu) 2020-09-28
US10057578B2 (en) 2018-08-21
BR112017007091A2 (pt) 2018-01-02
US20160100167A1 (en) 2016-04-07
CN106797465A (zh) 2017-05-31
KR20170066402A (ko) 2017-06-14
US9883184B2 (en) 2018-01-30
JP2017531395A (ja) 2017-10-19
EP3205094A1 (en) 2017-08-16
JP2017536730A (ja) 2017-12-07
WO2016057652A1 (en) 2016-04-14
TWI701942B (zh) 2020-08-11
AU2015328088A1 (en) 2017-03-23
CN106797465B (zh) 2019-07-09
US20160100168A1 (en) 2016-04-07
WO2016057665A1 (en) 2016-04-14
KR102493839B1 (ko) 2023-01-30
EP3205095B1 (en) 2024-04-17
AU2015328164A1 (en) 2017-03-23
JP6710682B2 (ja) 2020-06-17
TWI688259B (zh) 2020-03-11
KR20170066401A (ko) 2017-06-14
ES2804515T3 (es) 2021-02-08

Similar Documents

Publication Publication Date Title
TWI688259B (zh) 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移
US10440396B2 (en) Filter information sharing among color components
TWI773868B (zh) 用於視訊寫碼之相等範圍及其他dra參數之信號發送機制
CN108028940B (zh) 调色板模式视频译码中转义像素信号值的限制
CN107211151B (zh) 用于视频译码的跨组件预测剪裁及自适应性色彩变换
JP7369124B2 (ja) 結合されたピクセル/変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御
TWI479869B (zh) 色調片段位準量化系數偏移及解塊
TW201711470A (zh) 用於高動態範圍及廣色域視訊寫碼之自適應常數照度方法
TW202005399A (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
US20140198846A1 (en) Device and method for scalable coding of video information
TW201711461A (zh) 片級內部區塊複製及其他視訊寫碼改善
WO2016057782A1 (en) Boundary filtering and cross-component prediction in video coding
TW201633782A (zh) 用於調色板寫碼之寫碼逃脫像素
TW201735608A (zh) 用於產生對視訊之顏色再映射資訊之補充增強資訊訊息之方法及系統
CN113545063A (zh) 使用线性模型进行帧内预测的方法及装置
TWI765903B (zh) 用於循環樣本處理之視訊寫碼工具
CN111758255A (zh) 用于视频编解码的位置相关空间变化变换