TWI678100B - 用於視訊寫碼之跨組件預測削剪及適應性色彩轉換 - Google Patents
用於視訊寫碼之跨組件預測削剪及適應性色彩轉換 Download PDFInfo
- Publication number
- TWI678100B TWI678100B TW105102623A TW105102623A TWI678100B TW I678100 B TWI678100 B TW I678100B TW 105102623 A TW105102623 A TW 105102623A TW 105102623 A TW105102623 A TW 105102623A TW I678100 B TWI678100 B TW I678100B
- Authority
- TW
- Taiwan
- Prior art keywords
- residual data
- video
- data
- bit depth
- input
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims description 74
- 230000009466 transformation Effects 0.000 claims description 35
- 238000003860 storage Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 6
- 230000001413 cellular effect Effects 0.000 claims description 4
- 230000010267 cellular communication Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 100
- 238000010586 diagram Methods 0.000 description 40
- 238000013139 quantization Methods 0.000 description 40
- 238000012545 processing Methods 0.000 description 36
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 27
- 238000005520 cutting process Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 19
- 239000013598 vector Substances 0.000 description 16
- 238000009966 trimming Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/02—Colour television systems with bandwidth reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
- H04N11/044—Codec means involving transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/24—High-definition television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
- H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Computer Networks & Wireless Communication (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
一種用於編碼或解碼視訊資料之器件可基於第一殘餘資料之一位元深度來削剪該第一殘餘資料。該器件可至少部分地藉由將一逆適應性色彩轉換(IACT)應用於該第一殘餘資料來產生第二殘餘資料。此外，該器件可基於該第二殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊。
Description
本申請案主張2015年1月30日申請之美國臨時專利申請案62/110,324、2015年2月6日申請之美國臨時專利申請案62/113,269及2015年2月12日申請之美國臨時專利申請案62/115,487的權益，該等美國臨時專利申請案中之每一者之全部內容以引用的方式併入本文中。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、進階視訊寫碼(AVC)、ITU-T H.265、高效率視訊寫碼(HEVC)界定之標準及此等標準之延伸(諸如可調式視訊寫碼(SVC)、多視圖視訊寫碼(MVC)、可調式HEVC(SHVC)、多視圖HEVC(MV-HEVC)、3D-HEVC及HEVC範圍延伸)中所描述的視訊寫碼技術。視訊器件可藉由
實施此等視訊寫碼技術來較有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，視訊截塊(例如，視訊圖框或視訊圖框之部分)可被分割成視訊區塊，視訊區塊亦可被稱作樹型區塊、寫碼樹型單元(CTU)、寫碼單元(CU)及/或寫碼節點。視訊區塊可包括明度區塊及色度區塊。在圖像之經框內寫碼(I)截塊中，使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼區塊。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測引起用於待寫碼區塊之預測性區塊。殘餘資料表示原始待寫碼區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。出於進一步壓縮起見，可將殘餘資料自像素域轉換至轉換域，從而引起可接著被量化之殘餘轉換係數。經量化轉換係數可經熵寫碼以達成甚至更多的壓縮。
本發明涉及視訊寫碼之領域，且更特定而言，涉及當應用諸如適應性色彩轉換(ACT)及跨組件預測(CCP)之工具時的位元深度考慮。本發明之特定技術可縮減、消除或以其他方式控制歸因於ACT及CCP之應用的樣本之位元深度增加。
在一個態樣中，本發明描述一種編碼或解碼視訊資料之方法，該方法包含：基於第一殘餘資料之一位元深度將該第一殘餘資料削剪
至一可變範圍；至少部分地藉由將一逆適應性色彩轉換(IACT)應用於該經削剪第一殘餘資料來產生第二殘餘資料；及基於該第二殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊。
在另一態樣中，本發明描述一種用於編碼或解碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以進行以下操作：基於第一殘餘資料之一位元深度將該第一殘餘資料削剪至一可變範圍；至少部分地藉由將一逆適應性色彩轉換(IACT)應用於該經削剪第一殘餘資料來產生第二經逆轉換殘餘資料；及基於該第二經逆轉換殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊。
在另一態樣中，本發明描述一種用於編碼或解碼視訊資料之器件，該器件包含：用於基於第一殘餘資料之一位元深度將該第一殘餘資料削剪至一可變範圍的構件；用於至少部分地藉由將一逆適應性色彩轉換(IACT)應用於該經削剪第一殘餘資料來產生第二殘餘資料的構件；及用於基於該第二經逆轉換殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊的構件。
在另一態樣中，本發明描述一種儲存有指令之電腦可讀儲存媒體，該等指令在被執行時致使用於編碼或解碼視訊資料之一器件之一或多個處理器進行以下操作：基於第一殘餘資料之一位元深度將該第一殘餘資料削剪至一可變範圍；至少部分地藉由將一逆適應性色彩轉換(IACT)應用於該經削剪第一殘餘資料來產生第二殘餘資料；及基於該第二殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊。
在隨附圖式及以下描述中闡明本發明之一或多個實例的細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍變得顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
48‧‧‧殘餘產生操作
50‧‧‧殘餘資料
52‧‧‧適應性色彩轉換(ACT)
54‧‧‧殘餘資料
56‧‧‧跨組件預測(CCP)轉換
58‧‧‧殘餘資料
60‧‧‧轉換
62‧‧‧殘餘資料
64‧‧‧量化操作
66‧‧‧經量化殘餘資料
68‧‧‧逆量化操作
70‧‧‧經逆量化殘餘資料
72‧‧‧逆轉換
74‧‧‧殘餘資料
76‧‧‧逆跨組件預測轉換(ICCP)
78‧‧‧殘餘資料
80‧‧‧逆適應性色彩轉換(IACT)
82‧‧‧殘餘資料
84‧‧‧重新建構操作
100‧‧‧殘餘產生操作
102‧‧‧殘餘資料
104‧‧‧轉換
106‧‧‧殘餘資料
108‧‧‧量化操作
110‧‧‧經量化殘餘資料
112‧‧‧逆量化操作
114‧‧‧經逆量化殘餘資料
116‧‧‧逆轉換(IT)
118‧‧‧經逆轉換殘餘資料
120‧‧‧重新建構操作
150‧‧‧跨組件預測(CCP)轉換/跨組件預測(CCP)操作
152‧‧‧逆跨組件預測(ICCP)轉換
154‧‧‧適應性色彩轉換(ACT)
156‧‧‧逆適應性色彩轉換(IACT)
160‧‧‧殘餘資料
162‧‧‧殘餘資料
164‧‧‧殘餘資料
170‧‧‧削剪操作
180‧‧‧削剪操作
182‧‧‧削剪操作
184‧‧‧削剪操作
200‧‧‧削剪操作
210‧‧‧削剪操作
260‧‧‧殘餘資料
261‧‧‧經削剪殘餘資料
262‧‧‧殘餘資料
263‧‧‧經削剪殘餘資料
264‧‧‧殘餘資料
280‧‧‧殘餘資料
282‧‧‧殘餘資料
284‧‧‧殘餘資料
286‧‧‧寫碼區塊
300‧‧‧視訊資料記憶體
302‧‧‧模式選擇單元
304‧‧‧經解碼圖像緩衝器
306‧‧‧求和器
308‧‧‧轉換處理單元
310‧‧‧量化單元
312‧‧‧熵編碼單元
313‧‧‧傳輸器
314‧‧‧運動補償單元
316‧‧‧運動估計單元
318‧‧‧框內預測處理單元
320‧‧‧分割單元
322‧‧‧逆量化單元
324‧‧‧逆轉換單元
326‧‧‧求和器
350‧‧‧視訊資料記憶體
352‧‧‧熵解碼單元
354‧‧‧運動補償單元
356‧‧‧框內預測處理單元
358‧‧‧逆量化單元
360‧‧‧逆轉換單元
361‧‧‧接收器
362‧‧‧經解碼圖像緩衝器
364‧‧‧求和器
402‧‧‧步驟
404‧‧‧步驟
406‧‧‧步驟
圖1為說明可利用本發明之技術之實例視訊寫碼系統的方塊圖。
圖2為說明實例適應性色彩轉換(ACT)及跨組件預測(CCP)處理次序之概念圖。
圖3為說明實例經高效率視訊寫碼(HEVC)寫碼輸入/輸出(IO)位元深度之概念圖。
圖4A為說明用於使用CCP之螢幕內容寫碼之組態之實例位元深度資訊的概念圖。
圖4B為說明用於使用ACT及CCP之螢幕內容寫碼之組態之實例位元深度資訊的概念圖。
圖5A為根據本發明之一或多種技術的說明在前向CCP之後的削剪的概念圖，其中僅運用CCP。
圖5B為根據本發明之一或多種技術的說明可歸因於在前向CCP之後的削剪之動態範圍改變的概念圖，其中僅運用CCP。
圖5C為根據本發明之一或多種技術的說明在前向CCP之後的削剪的概念圖，其中運用ACT及CCP。
圖5D為根據本發明之一或多種技術的說明可歸因於在前向CCP之後的削剪之動態範圍改變的概念圖，其中運用ACT及CCP。
圖6A為根據本發明之一或多種技術的說明視訊解碼器處之實例削剪位置的概念圖。
圖6B為說明圖6A中所指示之削剪位置處之削剪實例的概念圖。
圖6C為說明圖6A中所指示之削剪位置處之削剪實例的概念圖。
圖6D為說明圖6A中所指示之削剪位置處之削剪實例的概念圖。
圖7為根據本發明之一或多種技術的說明逆ACT輸入處之削剪實例的概念圖，其中先前模組用於逆CCP(ICCP)。
圖8為根據本發明之一或多種技術的說明逆ACT輸入處之削剪實
例的概念圖，其中先前模組用於逆轉換。
圖9A為根據本發明之一或多種技術的說明一系列實例轉換之概念圖，其中至ICCP之輸入服從約束。
圖9B為根據本發明之一或多種技術的說明一系列實例轉換之概念圖，其中至IACT之輸入服從約束。
圖9C為根據本發明之一或多種技術的說明展示圖9A及圖9B之縮合形式之一系列實例轉換的概念圖。
圖10為說明可執行根據本發明之一或多個態樣之技術的視訊編碼器之實例的方塊圖。
圖11為說明可執行根據本發明之一或多個態樣之技術的視訊解碼器之實例的方塊圖。
圖12為根據本發明之技術的說明視訊寫碼器之實例操作的流程圖。
高效率視訊寫碼(HEVC)為最近定案之視訊寫碼標準。用於螢幕內容寫碼(SCC)之HEVC延伸正在開發中。HEVC之SCC延伸實施適應性色彩轉換(ACT)及跨組件預測(CCP)轉換以縮減色彩分量當中之冗餘。一般而言，本發明涉及視訊寫碼之領域，且更特定而言，涉及當應用諸如ACT及CCP之工具時的位元深度考慮。所提議技術主要與SCC有關，但大體上可適用於HEVC延伸及其他視訊寫碼標準，包括支援高位元深度(例如，大於8個位元)、不同色度取樣格式等等之標準。
在HEVC之SCC延伸中，視訊編碼器可產生指示視訊資料之寫碼區塊之樣本與預測性區塊之對應樣本之間的差之殘餘資料。視訊編碼器可接著將ACT應用於殘餘資料以獲得第一組經轉換殘餘資料。視訊編碼器可接著將CCP轉換應用於第一組經轉換殘餘資料以獲得第二組
經轉換殘餘資料。隨後，視訊編碼器可將諸如離散餘弦轉換(DCT)之轉換(T)應用於第二組經轉換殘餘資料以獲得第三組經轉換殘餘資料。與第一組經轉換殘餘資料及第二組經轉換殘餘資料對比，第三組經轉換殘餘資料可在頻域而非樣本域中。「頻域」中之殘餘資料係按照以不同頻率振盪之函數(例如，餘弦函數或正弦函數)予以表示。「樣本域」中之殘餘資料係按照視訊資料之樣本值(諸如明度值或色度值)予以表示。視訊編碼器可接著量化第三組經轉換殘餘資料。
視訊解碼器可反向此程序。舉例而言，視訊解碼器可獲得指示經量化第三組經轉換殘餘資料之語法元素。視訊解碼器可接著逆量化第三組經轉換殘餘資料以重新產生第三組經轉換殘餘資料。接下來，視訊解碼器可應用諸如逆DCT之逆轉換(IT)以重新產生第二組經轉換殘餘資料。視訊解碼器可接著將逆CCP(ICCP)轉換應用於經重新產生第二組經轉換殘餘資料以重新產生第一組經轉換殘餘資料。隨後，視訊解碼器可將逆ACT(IACT)應用於經重新產生第一組經轉換殘餘資料以重新產生殘餘資料。視訊解碼器可基於經重新產生殘餘資料及預測性區塊來重新建構寫碼區塊。
在上文所概述之程序中，經重新產生第二組經轉換殘餘資料之每一樣本(亦即，IT之輸出)具有比寫碼區塊之樣本之原始位元深度大7個位元的位元深度。在此上下文中，術語「位元深度」係指用以表示單一樣本之位元之數目。此外，經重新產生第二組經轉換殘餘資料之每一樣本(亦即，ICCP轉換之輸出)具有比寫碼區塊之樣本之原始位元深度大8個位元的位元深度。經重新產生第一組經轉換殘餘資料之每一樣本(亦即，IACT之輸出)具有比寫碼區塊之樣本之原始位元深度大9個位元的位元深度。
與使用ACT及CCP轉換相關聯之位元深度增加可增加針對視訊編碼器及視訊解碼器之實施複雜性及成本。舉例而言，在視訊編碼器及
視訊解碼器之硬體實施中，用於攜載及儲存經轉換殘餘資料之樣本的資料路徑可需要較多的頻道及/或儲存位置。
本發明描述若干技術，該等技術縮減或消除與在視訊寫碼中使用ACT及CCP轉換相關聯之位元深度增加。舉例而言，作為用以解碼視訊資料之程序之部分，視訊解碼器可基於第一殘餘資料之位元深度將第一殘餘資料削剪至可變範圍。削剪可指在一值超過一上限值的情況下將該值設定至該上限值且在該值小於一下限值的情況下將該值設定至該下限值的程序。在一些實例中，視訊解碼器可應用ICCP以產生第一殘餘資料。在一些實例中，視訊解碼器可在不應用ICCP的情況下應用自轉換域至樣本域之轉換以產生第一殘餘資料。接下來，視訊解碼器可至少部分地藉由將IACT應用於經削剪輸入來產生第二殘餘資料。因此，視訊解碼器可基於至IACT之輸入之位元深度來削剪至IACT之輸入。視訊解碼器可基於第二殘餘資料來重新建構視訊資料之寫碼單元(CU)之寫碼區塊。舉例而言，視訊解碼器可重新建構CU之寫碼區塊，使得對於對應於第二殘餘資料中之樣本的寫碼區塊之每一各別樣本，寫碼區塊之各別樣本等於第二殘餘資料中之對應樣本加CU之預測單元(PU)之預測性區塊中之對應樣本。視訊編碼器可執行相同或相似程序作為視訊編碼器之重新建構迴路(亦即，解碼迴路)之部分。有利地，此實例中所描述之程序可在使用ACT及/或CCP時防止位元深度增加超出特定數目。
圖1為說明可利用本發明之技術之實例視訊寫碼系統10的方塊圖。如本文中所使用，術語「視訊寫碼器」一般係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」一般可指視訊編碼或視訊解碼。根據本發明中所描述之各種實例，視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行用於視訊寫碼之技術的器件之實例。
如圖1所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，該等器件包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、車載電腦，或其類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之一或多個媒體或器件。在一個實例中，頻道16可包含使得源器件12能夠即時地將經編碼視訊資料直接地傳輸至目的地器件14之一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如無線通信協定)來調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))之部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信之其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料之儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本機存取式資料儲存媒體，諸如藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體，或
用於儲存經編碼視訊資料之其他合適數位儲存媒體。
在一另外實例中，頻道16可包括儲存由源器件12產生之經編碼視訊資料之檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取儲存於檔案伺服器或另一中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之伺服器類型。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件，及本機磁碟機。
目的地器件14可經由標準資料連接(諸如網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等等)或此兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或此兩者之組合。
本發明之技術並不限於無線應用或設定。該等技術可應用於視訊寫碼來支援多種多媒體應用，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之視訊資料之編碼、儲存於資料儲存媒體上之視訊資料之解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1所說明之視訊寫碼系統10僅僅為一實例，且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本機記憶體予以擷取、經由網路進行串流，或其類似者。視訊編碼器件可將資料編碼及儲存至記憶體，及/或視訊解碼器件可自記憶體擷取及解碼資料。在許多實例中，編碼及解碼係由並不彼此通信，但僅僅將資
料編碼至記憶體及/或自記憶體擷取及解碼資料之器件執行。視訊編碼器20及視訊解碼器30可包含經組態以儲存視訊資料之記憶體。視訊編碼器20可編碼儲存於記憶體中之視訊資料。視訊解碼器30可解碼經編碼視訊資料且將所得視訊資料儲存於記憶體中。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括視訊捕捉器件(例如，視訊攝影機)、含有先前捕捉之視訊資料之視訊檔案庫、用以自視訊內容提供者接收視訊資料之視訊饋入介面，及/或用於產生視訊資料之電腦圖形系統，或視訊資料之此等源之組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接地將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存至儲存媒體上或檔案伺服器上以稍後供目的地器件14存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16來接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。一般而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可被實施為多種合適電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體，或其任何組合。若部分地以軟體來實施技術，則器件可將用於軟體之指令儲存於合適非暫時性電腦可讀儲存媒體中，且可使用一或多
個處理器而以硬體來執行該等指令以執行本發明之技術。可將上述各者(包括硬體、軟體、硬體與軟體之組合等等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可被整合為各別器件中之組合式編碼器/解碼器(CODEC)之部分。
本發明大體上可指視訊編碼器20將某一資訊「傳信」或「傳輸」至另一器件，諸如視訊解碼器30。術語「傳信」或「傳輸」大體上可指用以解碼經壓縮視訊資料之語法元素及/或其他資料之通信。此通信可即時地或近即時地發生。替代地，此通信可遍及一時間跨度而發生，諸如可在編碼時以經編碼位元串流將語法元素儲存至電腦可讀儲存媒體時發生，該等語法元素接著可在儲存至此媒體之後的任何時間由解碼器件擷取。
在圖1之實例中，源器件12及目的地器件14可各自包含一無線通信器件。源器件12可包含以通信方式耦接至源器件12之一或多個處理器之傳輸器。換言之，源器件12之一或多個處理器可以允許源器件12之一或多個處理器與傳輸器通信的方式直接地或間接地耦接至傳輸器。輸出介面22可包含傳輸器。傳輸器可經組態以傳輸包含視訊資料之經編碼表示之位元串流。舉例而言，視訊資料之此經編碼表示可包含寫碼單元之經編碼表示。相似地，目的地器件14可包含以通信方式耦接至目的地器件14之一或多個處理器之接收器。換言之，目的地器件14之一或多個處理器可以允許目的地器件14之一或多個處理器與接收器通信的方式直接地或間接地耦接至接收器。輸入介面28可包含接收器。接收器可經組態以接收包含視訊資料之經編碼表示之位元串流。在一些實例中，無線通信器件為蜂巢式電話，位元串流係根據蜂巢式通信標準予以調變。在此等實例中，位元串流可由傳輸器傳輸，或位元串流可由接收器接收。
最近，新視訊寫碼標準(亦即，高效率視訊寫碼(HEVC))之設計已由ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC動畫專家群組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)定案。在一些實例中，視訊編碼器20及視訊解碼器30根據諸如HEVC標準之視訊壓縮標準而操作。2013年10月23日至11月1日於瑞士日內瓦舉行的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)第15次會議上的Wang等人之「High Efficiency Video Coding(HEVC)Defect Report 2」(文件JCTVC-01003_v2，可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip)為HEVC草案規格且在下文中被稱作HEVC WD。2014年3月27日至4月4日於西班牙瓦倫西亞舉行的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)第17次會議上的Wang等人之「High Efficiency Video Coding(HEVC)Defect Report 4」(文件JCTVC-Q1003(v.1)，可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zip)(在下文中，HEVC版本1)為描述HEVC標準之另一文件。Recommendation ITU-T H.265(高效率視訊寫碼，可得自http：//www.itu.int/rec/T-REC-H.265-201304-I)為含有最新HEVC規格之另一文件。除了基底HEVC標準以外，亦存在進行中的努力以產生用於HEVC之可調式視訊寫碼、多視圖視訊寫碼及3D寫碼延伸。
為對HEVC標準之另一延伸的HEVC範圍延伸針對額外色彩表示(亦被稱作「色彩格式」)以及針對增加之色彩位元深度而新增對HEVC之支援。可被稱作「HEVC RExt」的對HEVC之範圍延伸亦正由JCT-VC開發。HEVC範圍延伸之最近草案為：2014年3月27日至4月4日於西班牙瓦倫西亞舉行的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)第17次會議上的Flynn等
人之「High Efficiency Video Coding(HEVC)Range Extensions text specification：Draft 7」，其可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v9.zip。在下文中被稱作RExt WD7的HEVC範圍延伸之另一最近工作草案(WD)被描述於2014年3月27日至4月4日於西班牙瓦倫西亞舉行的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)第17次會議上的Flynn等人之「High Efficiency Video Coding(HEVC)Range Extensions text specification：Draft 7」中，其可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v4.zip。
如上文所指示，HEVC範圍延伸可針對增加之色彩位元深度而新增對HEVC之支援。色彩位元深度為用以表示色彩表示之每一分量的位元之數目。針對其他色彩格式之支援可包括用於編碼及解碼視訊資料之紅-綠-藍(RGB)源以及具有其他色彩表示且相比於HEVC主要設定檔使用不同色度次取樣型樣之視訊資料的支援。
範圍延伸規格可變為HEVC之版本2。然而，在大程度上，至於涉及本發明之所提議技術(例如，運動向量預測)，HEVC版本1及HEVC範圍延伸規格係技術上相似的。因此，每當本發明提及基於HEVC版本1之改變時，相同改變就可應用於HEVC範圍延伸規格，且每當本發明重新使用HEVC版本1模組時，本發明就亦可實際上重新使用HEVC範圍延伸模組(具有相同次子句)。
用於寫碼諸如具有運動之文字及圖形之螢幕內容材料的HEVC之另一延伸(亦即，螢幕內容寫碼(SCC))亦正被開發。SCC之最近工作草案(WD)(2014年6月30至7月9日於日本劄幌舉行的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)第18次會議上的Joshi等人之「High Efficiency Video Coding(HEVC)
Screen Content Coding：Draft 1」，文件JCTVC-R1005_v3(在下文中，「JCTVC-R1005」))可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1005-v3.zip。
在HEVC及其他視訊寫碼標準中，一視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。一圖像可包括三個樣本陣列，被表示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb彩度樣本之二維陣列。SCr為Cr彩度樣本之二維陣列。彩度樣本亦可在本文中被稱作「色度」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生一組寫碼樹型單元(CTU)。該等CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼該等寫碼樹型區塊之樣本之語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。截塊可包括在光柵掃描中連續地排序之整數數目個CTU。
為了產生經編碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞歸地執行四分樹分割以將寫碼樹型區塊劃分成寫碼區塊，因此名稱為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。寫碼單元(CU)可為具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，以及用以寫碼該等寫碼區塊之樣本之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊，及用以寫碼該寫碼區塊之樣本之語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為被應用相同預測之矩形(亦即，正方形或非正方形)樣本區塊。CU之預測單元(PU)可為圖像之明度樣本之預測區塊、圖像之色
度樣本之兩個對應預測區塊，及用以預測該等預測區塊樣本之語法結構。視訊編碼器20可產生用於CU之每一PU之明度、Cb及Cr預測區塊之預測性明度、Cb及Cr區塊。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊，及用以預測該預測區塊之語法結構。
視訊編碼器20可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本來產生PU之預測性區塊。若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於除了與PU相關聯之圖像以外的一或多個圖像之經解碼樣本來產生PU之預測性區塊。
在視訊編碼器20產生用於CU之一或多個PU之預測性區塊(例如，預測性明度、Cb及Cr區塊)之後，視訊編碼器20可產生CU之殘餘區塊。CU之殘餘區塊中之每一樣本指示用於CU之PU之預測性區塊中之樣本與CU之寫碼區塊中之對應樣本之間的差。舉例而言，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之PU之預測性明度區塊中之明度樣本與CU之明度寫碼區塊中之對應樣本之間的差。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之PU之預測性Cb區塊中之Cb樣本與CU之Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示用於CU之PU之預測性Cr區塊中之Cr樣本與CU之Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)分解成一或多個轉換區塊(例如，明度、Cb及Cr轉換區塊)。轉換區塊可為被應用相同轉換之矩形樣本區塊。
CU之轉換單元(TU)可為明度樣本之轉換區塊、色度樣本之兩個對應轉換區塊，及用以轉換該等轉換區塊樣本之語法結構。因此，CU之每一TU可與明度轉換區塊、Cb轉換區塊及Cr轉換區塊相關聯。與TU相關聯之明度轉換區塊可為CU之明度殘餘區塊之子區塊。Cb轉換區塊可為CU之Cb殘餘區塊之子區塊。Cr轉換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一轉換區塊，及用以轉換該轉換區塊之樣本之語法結構。
視訊編碼器20可將一或多個轉換應用於TU之轉換區塊以產生用於TU之係數區塊。舉例而言，視訊編碼器20可將一或多個轉換應用於TU之明度轉換區塊以產生用於TU之明度係數區塊。視訊編碼器20可將一或多個轉換應用於TU之Cb轉換區塊以產生用於TU之Cb係數區塊。視訊編碼器20可將一或多個轉換應用於TU之Cr轉換區塊以產生用於TU之Cr係數區塊。係數區塊可為轉換係數之二維陣列。轉換係數可為純量。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化通常係指用以量化轉換係數以可能地縮減用以表示轉換係數之資料之量而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化轉換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化轉換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼語法元素。位元串流可包含視訊資料之經編碼表示。
視訊編碼器20可輸出包括經熵編碼語法元素之位元串流。位元串流可包括形成經寫碼圖像及關聯資料之表示的位元序列。位元串流可包含網路抽象層(NAL)單元序列。該等NAL單元中之每一者包括NAL單元標頭且囊封原始位元組序列酬載(RBSP)。NAL單元標頭可包
括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為囊封於NAL單元內之含有整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封用於經寫碼截塊之RBSP，第三類型之NAL單元可囊封用於補充增強資訊(SEI)之RBSP，等等。囊封用於視訊寫碼資料之RBSP(相對於用於參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
在圖1之實例中，視訊解碼器30接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素來重新建構視訊資料之圖像。用以重新建構視訊資料之程序可與由視訊編碼器20執行之程序大體上互逆。舉例而言，視訊解碼器30可使用框內預測或框間預測以判定當前CU之PU之預測性區塊。另外，視訊解碼器30可逆量化用於當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行逆轉換以重新產生用於當前CU之TU之轉換區塊。視訊解碼器30可藉由將用於當前CU之PU之預測性區塊之樣本加至用於當前CU之TU之轉換區塊之對應樣本來重新建構當前CU之寫碼區塊。藉由重新建構用於圖像之每一CU之寫碼區塊，視訊解碼器30可重新建構圖像。
視訊資料之每一區塊之像素各自以特定格式(被稱作「色彩表示」)來表示色彩。不同視訊寫碼標準可將不同色彩表示用於視訊資料之區塊。作為一個實例，HEVC視訊標準之主要設定檔使用YCbCr色彩表示以表示視訊資料之區塊之像素。
YCbCr色彩表示通常係指用以由色彩資訊之三個分量或頻道「Y」、「Cb」及「Cr」表示視訊資料之每一像素的色彩表示。Y頻道表示用於特定像素之明度(亦即，光強度或亮度)資料。Cb及Cr分量分別為藍差及紅差彩度(亦即，「色度」)分量。YCbCr常常用以表示經壓縮視訊資料中之色彩，此係因為在Y、Cb及Cr分量中之每一者之間存在強去相關，此意謂在Y、Cb及Cr分量中之每一者之間存在很少的重複或冗餘資料。使用YCbCr色彩表示來寫碼視訊資料因此在許多狀況下提供良好壓縮效能。
另外，許多視訊寫碼技術利用被稱作「色度次取樣」之技術以進一步改良色彩資料之壓縮。具有YCbCr色彩表示之視訊資料之色度次取樣藉由根據一型樣來選擇性地省略色度分量而縮減經寫碼視訊位元串流中傳信之色度值之數目。在經色度次取樣視訊資料之區塊中，針對該區塊之每一像素通常存在一明度值。然而，可針對區塊之一些像素僅傳信Cb及Cr分量，使得色度分量相對於明度分量被次取樣。
視訊寫碼器(亦即，視訊編碼器或視訊解碼器)可內插用於像素之Cb及Cr分量，其中未針對像素之經色度次取樣區塊明確地傳信Cb及Cr值。色度次取樣良好地用來縮減彩度資料之量，而不會在較均一之像素區塊中引入失真。色度次取樣較不良好地用來表示具有廣泛不同之色度值之視訊資料，且可在彼等狀況下引入大量失真。
如上文所提及，由於色彩表示(亦被稱作色彩格式)之明度分量與兩個色度分量之間的大體上強色彩去相關，HEVC主要設定檔使用YCbCr。然而，在一些狀況下，在Y、Cb及Cr分量之間可仍存在相關。色彩表示之分量之間的相關可被稱作跨色彩分量相關或色彩分量間相關。
視訊寫碼器可經組態以基於不同分量之值(例如，明度分量之樣本)來預測一個分量之值(例如，色度分量之樣本)。基於第二分量來預
測來自第一分量之樣本的程序被稱作「針對色彩視訊之跨組件預測」或「色彩分量間預測」。視訊寫碼器可基於第一分量與第二分量之間的相關來預測第一分量之值。
當捕捉到視訊資料時，常常出於各種預處理目的而將其變換成RGB色彩空間。在預處理之後，出於視訊寫碼起見，視訊資料通常被變換成YCbCr 4：2：0以得到較佳壓縮效率。然而，色彩變換可造成色彩失真，從而導致主觀品質降級。HEVC之範圍延伸提供用於除了YCbCr 4：2：0以外之色彩空間(諸如YCbCr 4：2：2、YCbCr 4：4：4及RGB 4：4：4)的視訊寫碼。
若RGB資料係在無色彩轉換(例如，色彩變換)的情況下被直接地壓縮，則寫碼效率可因為色彩頻道之間的冗餘未縮減而縮減。另一方面，比如YCbCr之傳統色彩變換可造成色彩失真。因此，可需要開發可以較少色彩失真來達成寫碼效率改良之技術。
HEVC之螢幕內容寫碼(SCC)使用兩個寫碼工具以利用三個色彩分量當中之冗餘來達成較高壓縮比，亦即，適應性色彩轉換(ACT)及跨組件預測(CCP)。如2014年6月30日至7月9日於日本劄幌舉行的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)第18次會議上的L.Zhang等人之「SCCE5 Test 3.2.1：In-loop color-space transform」(文件JCTVC-R0147(在下文中，「JCTVC-R0147」))中所描述，ACT為迴路內色彩空間轉換，其針對有損寫碼之前向及逆向色彩空間轉換使用YCoCg轉換矩陣，該等矩陣被定義如下：
前向：
逆向：
在以上等式中，原始色彩空間(C0,C1,C2)可對應於(R,G,B)或(Y,U,V)。
CCP為用以自明度(或第一分量)預測色度(或第二及第三分量)之程序。CCP被描述於2014年6月30日至7月9日於日本劄幌舉行的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)第18次會議上的R.Joshi及J.Xu之「High efficient video coding(HEVC)screen content coding：Draft 2」(在下文中，「JCTVC-S1005」)中。用於CCP之等式被展示如下：前向：-Y=Y
逆向：-Y=Y
其中α可為{-8,-4,-2,-1,0,1,2,4,8}。
圖2為說明實例ACT及CCP處理次序之概念圖。ACT及CCP兩者係基於殘餘之操作，且其在編解碼器內之對應處理次序被展示於圖2中。在圖2之實例中，視訊編碼器(在圖2中被縮寫為「Enc」)執行殘餘產生操作48以獲得殘餘資料50(例如，以在本發明中之別處所描述之方式)。殘餘資料50在圖2中被縮寫為「Res」。此外，在圖2中，視訊編碼器將ACT 52應用於殘餘資料50，藉此獲得殘餘資料54。接下來，視訊編碼器將CCP轉換56應用於殘餘資料54，藉此獲得殘餘資料58。視訊編碼器接著將轉換60應用於殘餘資料58，藉此獲得殘餘資料62。殘餘資料62可在轉換域(諸如頻域)中。此外，視訊編碼器可將量化操作64應用於殘餘資料62，藉此獲得經量化殘餘資料66。
在圖2中，視訊解碼器將逆量化操作68應用於經量化殘餘資料
66，藉此獲得經逆量化殘餘資料70。接下來，視訊解碼器將逆轉換72應用於經逆量化殘餘資料70，藉此獲得殘餘資料74。殘餘資料74可在樣本域中。此外，視訊解碼器將逆CCP轉換(ICCP)76應用於殘餘資料74，藉此獲得殘餘資料78。接下來，視訊解碼器將逆ACT(IACT)80應用於殘餘資料78，藉此獲得殘餘資料82。視訊解碼器可部分地基於殘餘資料82來應用重新建構操作84以重新建構寫碼區塊。視訊編碼器可執行關於視訊解碼器所描述作為解碼迴路之部分的圖2之部分。
沿著HEVC資料路徑之動態範圍分析已在2013年7月出版的IEEE Trans.Circuits Syst.Video Technol.第23卷第7期第1131至1136頁上的C.Yeo等人之「Dynamic Range Analysis in High Efficiency Video Coding Residual Coding and Reconstruction」及2011年11月19日至30日於瑞士日內瓦舉行的ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)第7次會議上的M.Zhou之「AHG7：IDCT Output Range After T+Q+IQ+IT With Valid Residual Inputs」(文件JCTVC-G856)中予以詳細地研究。
圖3為說明實例經HEVC寫碼輸入/輸出(IO)位元深度之概念圖。如圖3所說明，在經重新建構殘餘中可發生高達5個位元之位元深度擴展，其中B位元為輸入像素及預測像素之位元深度。特定而言，在圖3中，視訊編碼器可執行殘餘產生操作100以獲得殘餘資料102(在圖3中被縮寫為「Res」)。殘餘資料102之每一樣本可具有為B+1之位元深度。接下來，在圖3中，視訊編碼器可將轉換104應用於殘餘資料102以獲得殘餘資料106。視訊編碼器可將量化操作108應用於殘餘資料106，藉此獲得經量化殘餘資料110。
在圖3中，視訊解碼器可將逆量化操作112應用於經量化殘餘資料110，藉此獲得經逆量化殘餘資料114。接下來，視訊解碼器可將逆轉換(IT)116應用於經逆量化殘餘資料114，藉此獲得經逆轉換(例如，
逆離散餘弦轉換或逆正弦轉換)殘餘資料118。IT 116可將殘餘資料自轉換域轉換至樣本域(亦即，像素域)。如圖3所展示，作為應用逆轉換116之結果，殘餘資料118之每一樣本可具有為B+6之位元深度。此外，在圖3中，視訊解碼器可將重新建構操作120應用於殘餘資料118以重新建構寫碼區塊之樣本。在圖3中，視訊解碼器可應用削剪操作以作為執行重新建構操作120之部分。削剪操作可確保寫碼區塊之經重新建構樣本之位元深度等於B。
圖4A為說明用於使用CCP之螢幕內容寫碼之組態之實例位元深度資訊的概念圖。圖4B為說明用於使用ACT及CCP之螢幕內容寫碼之組態之實例位元深度資訊的概念圖。圖4A及圖4B相似於圖3，但包括CCP，且在圖4B中包括ACT。在圖4A中，視訊編碼器將CCP轉換150應用於殘餘資料160，且視訊解碼器(或視訊編碼器重新建構迴路)將逆CCP轉換152應用於由IT 116獲得之殘餘資料162。在圖4B中，視訊編碼器將ACT 154應用於殘餘資料164，接著應用CCP轉換150，且視訊解碼器(或視訊編碼器重新建構迴路)應用逆CCP轉換152，接著應用逆ACT 156。
在考慮SCC之ACT及CCP操作的情況下，在圖4A及圖4B中展示動態範圍擴展，其中IACT代表逆ACT且ICCP代表逆CCP。自圖4A及圖4B很明顯，在逆轉換(IT)116之後的位元深度增加至(B+7)個位元，此係歸因於前向CCP操作150及(在圖4B中)前向ACT操作154之添加。此可將色度殘餘(或殘餘差量)之位元深度增加再一個位元而達(B+2)個位元。因為使用明度殘餘資料而僅將CCP應用於色度殘餘資料，所以明度殘餘資料之位元深度未由CCP改變。
自圖4A及圖4B中之位元深度分析可看出，轉換之輸入處的位元深度增加可沿著資料路徑(比如在轉置緩衝器、ICCP及IACT中)具有動態範圍影響，此可引起較高實施成本且一般而言在實施中可並不合
乎需要。術語「動態範圍」及「位元深度」可在本發明中被可互換地使用。
本發明提議可使位元深度保持不變或可在啟用ACT及CCP工具時縮減位元深度增加之技術。舉例而言，在本發明之第一實例中，提議在前向CCP操作之後在視訊編碼器處應用削剪操作，如圖5A及圖5B所展示之Clip_A。本發明提議將CCP之輸出之動態範圍削剪至B+1個位元，其中B位元為輸入像素及預測像素之位元深度，因此CCP之輸出之動態範圍可被恢復至HEVC版本2(Recommendation ITU-T H.265，2014年10月)中所指示之極限。本發明之技術之潛在益處可包括：無需改變解碼器側，且維持原始資料路徑之動態範圍，此可意謂現有設計無需使其位元深度沿著資料路徑而改變。
圖5A為根據本發明之一或多種技術的說明在前向CCP之後的削剪的概念圖，其中僅運用CCP。圖5B為根據本發明之一或多種技術的說明可歸因於在前向CCP之後的削剪之動態範圍改變的概念圖，其中僅運用CCP。在圖5A之實例中，視訊編碼器20對CCP 150之輸出執行削剪操作170。如圖5B之實例中所展示，執行削剪操作170之結果為：至轉換104之輸入之位元深度為B+1個位元而非B+2個位元。此外，如圖5B之實例中所展示，作為執行削剪操作170之結果，至ICCP轉換152之輸入為B+6個位元而非B+7個位元。相似地，如圖5B之實例中所展示，作為執行削剪操作170之結果，至重新建構操作120之輸入為B+7個位元而非B+8個位元。
因此，在圖5A及圖5B之實例中，視訊編碼器20可基於寫碼區塊之原始樣本及一或多個預測性區塊之樣本來產生用於視訊資料之CU之殘餘資料。另外，視訊編碼器20可藉由將CCP轉換應用於殘餘資料來產生經轉換殘餘資料。在將CCP轉換應用於殘餘資料之後，視訊編碼器20可將削剪操作應用於經轉換殘餘資料。在圖5A及圖5B之實例
中，視訊編碼器20可執行削剪操作，使得經轉換殘餘資料之每一樣本之位元深度為B+1個位元，其中B為寫碼區塊之原始樣本之位元深度。
圖5C為根據本發明之一或多種技術的說明在前向CCP之後的削剪的概念圖，其中運用ACT及CCP。圖5D為根據本發明之一或多種技術的說明可歸因於在前向CCP之後的削剪之動態範圍改變的概念圖，其中運用ACT及CCP。在圖5C之實例中，視訊編碼器20對CCP 150之輸出執行削剪操作170。如圖5D之實例中所展示，執行削剪操作170之結果為：至轉換104之輸入之位元深度為B+1個位元而非B+2個位元。此外，如圖5D之實例中所展示，作為執行削剪操作170之結果，至ICCP轉換152之輸入為B+6個位元而非B+7個位元。相似地，如圖5D之實例中所展示，作為執行削剪操作170之結果，至IACT 156之輸入為B+7個位元而非B+8個位元。另外，如圖5B之實例中所展示，作為執行削剪操作170之結果，至重新建構操作120之輸入為B+8個位元而非B+9個位元。
因此，在圖5C及圖5D之實例中，視訊編碼器20可基於寫碼區塊之原始樣本及一或多個預測性區塊之樣本來產生用於視訊資料之CU之殘餘資料。另外，視訊編碼器20可藉由將適應性色彩轉換應用於殘餘資料來產生第一殘餘資料。在產生第一殘餘資料之後，視訊編碼器20可藉由將CCP轉換應用於第一殘餘資料來產生第二殘餘資料。在將CCP轉換應用於第一殘餘資料之後，視訊編碼器20可將削剪操作應用於第二殘餘資料。在圖5C及圖5D之實例中，視訊編碼器20可執行削剪操作，使得殘餘資料之每一樣本之位元深度為B+1個位元，其中B為寫碼區塊之原始樣本之位元深度。
根據本發明之第二實例，提議將至ICCP之輸入之動態範圍削剪至B+n1個位元，其中B位元為輸入像素及預測像素之位元深度，且n1
可為1至6，此取決於先前階段之結果之動態範圍及效能要求。圖6A為根據本發明之一或多種技術的說明視訊解碼器30處之實例削剪位置(Clip_B、Clip_C及Clip_D)的概念圖。圖6B、圖6C及圖6D為說明圖6A中所指示之削剪位置處之實例削剪的概念圖。
在圖6A及圖6B之實例中，用於將至ICCP 152之輸入之動態範圍削剪至B+n1個位元的削剪操作180被展示為Clip_B。舉例而言，由於Clip_B在解碼器側處應用於逆CCP輸入，故用以添加Clip_B之修改可不與範圍延伸(RExt)解碼器相容，其中不存在且不需要此削剪。因此，雖然可需要使SCC解碼器能夠解碼範圍延伸位元串流，但此修改可不適於SCC標準。圖6A所展示之削剪位置亦可存在於視訊編碼器20之解碼迴路中。
因此，根據圖6B所展示的本發明之第二實例，視訊解碼器30可藉由應用逆轉換116來產生殘餘資料260。IT 116可將殘餘資料自轉換域變換至樣本值域。舉例而言，IT 116可為逆餘弦轉換或逆正弦轉換。此外，在應用IT 116以產生殘餘資料260之後，視訊解碼器30可藉由將削剪操作180應用於殘餘資料260來產生經削剪殘餘資料261。在將削剪操作180應用於殘餘資料260之後，視訊解碼器30可藉由將ICCP 152轉換應用於經削剪殘餘資料261來產生殘餘資料262。視訊解碼器30可基於殘餘資料262來重新建構視訊資料之CU之寫碼區塊。在一些情況下，作為重新建構寫碼區塊之部分，視訊解碼器30可藉由將IACT 156應用於殘餘資料262來產生殘餘資料264，且可基於殘餘資料264來產生CU之寫碼區塊。在此實例中，作為產生經削剪殘餘資料261之部分，視訊解碼器30可削剪殘餘資料260，使得殘餘資料260之每一樣本之位元深度為B+n1個位元，其中B為寫碼區塊之樣本之位元深度，且n1為在1至6之範圍內的值。在一些此等實例中，n1之值取決於第一逆轉換之動態範圍。亦可執行此實例作為視訊編碼器20之解碼
迴路之部分。
在圖6B所展示的本發明之第三實例中，提議將至IACT 156之輸入之動態範圍削剪至B+n2個位元，其中B位元為輸入像素及預測像素之位元深度，且用於n2之實施例可為1至7，此取決於先前階段之結果之動態範圍及效能要求。在此實例中，削剪位置為圖6所展示之Clip_C。換言之，在圖6A之實例中，用於將至IACT 152之輸入之動態範圍削剪至B+n2個位元的削剪操作182被展示為Clip_C。
因此，根據本發明之第三實例，視訊解碼器30可藉由應用IT 116來產生殘餘資料260。在產生殘餘資料260之後，視訊解碼器30可藉由將ICCP轉換152應用於殘餘資料260來產生殘餘資料262。在產生殘餘資料262之後，視訊解碼器30可藉由將削剪操作182應用於殘餘資料262來產生經削剪殘餘資料。此外，在此實例中，視訊解碼器30可藉由將IACT 156應用於經削剪殘餘資料263來產生殘餘資料264。在此實例中，視訊解碼器30可基於殘餘資料264來重新建構視訊資料之CU之寫碼區塊。在此實例中，作為產生經削剪殘餘資料263之部分，視訊解碼器30可削剪殘餘資料262，使得殘餘資料262之每一樣本之位元深度為B+n2個位元，其中B為寫碼區塊之樣本之位元深度，且n1為在1至7之範圍內的值。此外，在此實例中，n2之值可取決於ICCP 152之動態範圍。亦可執行此實例作為視訊編碼器20之解碼迴路之部分。
在圖6D中所展示的本發明之第四實例中，提議將IACT 156之輸出之動態範圍削剪至B+n3個位元，其中B位元為輸入像素及預測像素之位元深度，且n3之實例可為1至8，此可取決於先前階段之結果之動態範圍及效能要求。在此實例中，削剪位置為圖6A及圖6D所展示之Clip_D。換言之，在圖6A及圖6D之實例中，用於將至IACT之輸入之動態範圍削剪至B+n2個位元的削剪操作184被展示為Clip_D。
因此，根據本發明之第四實例，視訊解碼器30可藉由應用IT 116
來產生殘餘資料260。在產生殘餘資料260之後，視訊解碼器30可藉由將ICCP轉換152應用於殘餘資料260來產生殘餘資料262。在產生殘餘資料262之後，視訊解碼器30可藉由將IACT 156應用於殘餘資料262來產生殘餘資料264。在產生殘餘資料264之後，視訊解碼器30可藉由將削剪操作184應用於殘餘資料264來產生經削剪殘餘資料265。在此實例中，視訊解碼器30可基於經削剪殘餘資料265來重新建構視訊資料之CU之寫碼區塊。在此實例中，作為產生經削剪殘餘資料265之部分，視訊解碼器30可削剪殘餘資料264，使得殘餘資料264之每一樣本之位元深度為B+n3個位元，其中B為寫碼區塊之樣本之位元深度，且n3為在1至8之範圍內的值。在此實例中，n3之值可取決於IACT 156之動態範圍。亦可執行此實例作為視訊編碼器20之解碼迴路之部分。
本發明之第五實例提供將至IACT之輸入削剪至Max(B+n4,16)個位元，使得IACT之輸入緩衝器或陣列：(1)可在輸入之位元深度B
12位元的情況下保持於16位元解析度；或(2)將在輸入之位元深度B>12位元的情況下高達(B+n4)位元解析度，其中用於n4之實施例為如n4
4，且n4<=32-B。
在IACT之輸入處提議此削剪，因此其先前模組可為ICCP或IT或任何其他可能有效模組。其係依據如下假定：停用延伸精確度，且考慮輸入位元深度B
12位元及B>12位元(參見JCTVC Bug Track #1321)。一益處為可節省軟體之儲存及硬體之儲存兩者(尤其是在軟體中)，此係因為針對輸入位元深度<=12位元的狀況可仍保持16位元陣列解析度，而非32位元陣列。因為由此第五實例中之削剪引起的位元深度可為預定值(例如，16)或原始位元深度加n4，所以由此第五實例中之削剪引起的位元深度可在可變範圍內。該範圍係可變的，此係因為其取決於原始位元深度及n4。
圖7及圖8中展示用於本發明之第五實例之圖解。特定而言，圖7為根據本發明之一或多種技術的說明IACT輸入處之削剪實例的概念圖，其中先前模組用於逆CCP。在圖7之實例中，視訊解碼器30或視訊編碼器20之解碼迴路可將削剪操作200應用於輸出ICCP 152(亦即，至IACT 156之輸入)。作為削剪操作200之結果，至IACT 156之輸入為B+n4及16之最大值。
圖8為根據本發明之一或多種技術的說明IACT輸入處之削剪實例的概念圖，其中先前模組用於逆轉換。在圖8之實例中，視訊解碼器30或視訊編碼器20之解碼迴路可將削剪操作210應用於IT 116之輸出(亦即，至IACT 156之輸入)。作為削剪操作210之結果，至逆ACT 156之輸入為B+n4及16之最大值。
因此，在圖7及圖8兩者中，諸如視訊編碼器20或視訊解碼器30之視訊寫碼器可藉由將逆轉換(例如，圖7中之ICCP 152或圖8中之IT 116)應用於殘餘資料282來產生殘餘資料280。在圖7之實例中，殘餘資料282在樣本域中，且在圖8之實例中，殘餘資料282在轉換域(例如，頻域)中。殘餘資料280為至IACT 156之輸入。在產生殘餘資料280之後且在產生殘餘資料284之前，視訊寫碼器可基於至IACT 156之輸入之位元深度將至IACT 156之輸入削剪至可變範圍。此外，視訊寫碼器可藉由將IACT 156應用於經削剪輸入來產生殘餘資料284。此外，視訊寫碼器可基於殘餘資料284來重新建構視訊資料之CU之寫碼區塊286。
作為削剪至IACT 156之輸入(亦即，殘餘資料280)之部分，基於殘餘資料280之位元深度小於或等於特定值(例如，12)，視訊寫碼器可將殘餘資料280之解析度保持於特定解析度(例如，15或16)。在本發明中，術語位元深度及解析度可為可互換的。基於殘餘資料280之位元深度大於特定值，視訊寫碼器可將削剪操作應用於殘餘資料
280。舉例而言，削剪操作可在輸入(亦即，殘餘資料280)之位元深度B
12位元的情況下將位元深度保持於16位元解析度，或在輸入之位元深度B>12位元的情況下允許位元深度高達(B+n4)位元解析度，其中n4
4且n4<=32-B。在圖7及圖8兩者中，視訊寫碼器可削剪殘餘資料280，使得殘餘資料280具有等於(i)殘餘資料280之位元深度加一值及(ii)特定解析度之最大值之位元深度。
在本發明之第五實例之另一版本中，視訊寫碼器可藉由將逆轉換應用於殘餘資料來產生殘餘資料280。在產生殘餘資料280之後且在產生殘餘資料284之前，基於殘餘資料280之位元深度小於或等於特定值，視訊寫碼器可將殘餘資料280之解析度保持於特定解析度。替代地，基於殘餘資料280之位元深度大於特定值，視訊寫碼器可將削剪操作應用於殘餘資料280。在此實例中，視訊寫碼器可藉由將ICCP轉換152應用於殘餘資料282來產生殘餘資料280。此外，視訊寫碼器可基於殘餘資料284來重新建構視訊資料之CU之寫碼區塊。
圖9A為根據本發明之第六實例的說明一系列實例轉換之概念圖，其中至ICCP之輸入服從約束。本發明之第六實例約束位元串流之編碼，使得至ICCP之輸入受限於Max(B+n5,15)個位元，亦即，至ICCP之輸入：(1)可在輸入之位元深度B
12位元的情況下保持於15位元解析度；或(2)將在輸入之位元深度B>12位元的情況下高達(B+n5)位元解析度，其中用於n5之實施例為如n5
3，且n5<=32-B。
一般而言，「約束」為由視訊寫碼標準界定之限定，其指定違反約束之位元串流不符合視訊寫碼標準。因此，若位元串流符合視訊寫碼標準，則位元串流不違反約束。
ICCP可沿著資料路徑引入再一個位元。因此，使用ICCP可仍將
IACT之輸入緩衝器/陣列位元深度對準至Max(B+n4,16)個位元，即如上文關於本發明之第五實例所提及。圖9A為根據本發明之一或多種技術的說明一系列實例轉換之概念圖。此實例係運用如下假定予以描述：停用延伸精確度，且考慮輸入位元深度B
12位元及B>12位元(參見JCTVC Bug Track #1321)。一益處為可節省軟體之儲存及硬體之儲存兩者(尤其是在軟體中)，針對輸入位元深度
12位元的狀況可仍保持16位元陣列解析度，而非32位元陣列。
如圖9A之實例中所展示，在本發明之第六實例中，位元串流經編碼使得至ICCP 152之輸入(亦即，殘餘資料292)為B+n5及15之最大值。此外，如圖9A之實例中所展示，在本發明之此第六實例中，位元串流經編碼使得至IACT 156之輸入(亦即，殘餘資料294)為B+n4及16之最大值。
因此，在本發明之第六實例中，視訊編碼器20可產生服從限制殘餘資料292之樣本值之解析度之約束的位元串流，該位元串流被提供為至ICCP 152之輸入。經編碼位元串流包含視訊資料之經編碼表示。在此實例中，視訊編碼器20可輸出位元串流。在此實例中，對於殘餘資料292之每一各別樣本值，約束可將各別樣本值之解析度限於以下各者中之任何較大者：預定義值、或取決於CU之原始樣本值之解析度的值。
相似地，在本發明之第六實例中，視訊解碼器30可基於自包含視訊資料之經編碼表示之經編碼位元串流獲得之語法元素來判定用於視訊資料之CU之殘餘資料292。在此實例中，經編碼位元串流服從限制殘餘資料292之樣本值之解析度的約束。此外，在此實例中，視訊解碼器30可藉由將逆ICCP應用於殘餘資料292來產生殘餘資料294。視訊解碼器30可基於殘餘資料294來重新建構CU之寫碼區塊298。舉例而言，視訊解碼器30可藉由將IACT 156應用於殘餘資料294以產生
殘餘資料296而基於殘餘資料294來重新建構寫碼區塊，殘餘資料296可由視訊解碼器30使用以重新建構寫碼區塊298。
對於視訊編碼器20及視訊解碼器30兩者，在第六實例中，對於殘餘資料292之每一各別樣本值，約束可將各別樣本值之解析度限於以下各者中之任何較大者：預定義值(例如，15)，或取決於CU之原始樣本值之解析度的值(B+n5)。在此實例中，取決於CU之原始樣本值之解析度的值等於CU之原始樣本值之解析度加大於或等於3且小於或等於32之值(例如，n5)減CU之原始樣本值之解析度(例如，n5
3且n5
32-B)。在一些情況下，預定義值等於16或等於特定實施所需要之精確度的另一值。
在此第六實例中，當CU之原始樣本值之位元深度小於或等於第一值(例如，12)時，殘餘資料292之樣本值之解析度保持於第二值(例如，15)。當CU之原始樣本值之位元深度大於第一值時，殘餘資料292之樣本值之解析度限於CU之原始樣本值之位元深度加第三值(例如，n5)。在此第六實例中，第三值可在大於或等於3之值與小於或等於32減Cu之原始樣本值之位元深度的值之間(例如，n5
3且n5
32-B)。
圖9B為根據本發明之第七實例的說明一系列實例轉換之概念圖，其中至IACT之輸入服從約束。本發明之第七實例約束經編碼位元串流，使得至IACT 156之輸入限於Max(B+n5,16)個位元，亦即，至IACT 156之輸入：(1)可在輸入之位元深度B<=12位元的情況下保持於16位元解析度；或(2)將在輸入之位元深度為B>12位元的情況下高達(B+n5)位元解析度，其中用於n5之實施例為n5
3，且n5<=32-B。
因此，在本發明之第七實例中，視訊編碼器20可產生一位元串
流，該位元串流服從限制用於視訊資料之CU的殘餘資料294之樣本值之解析度的約束。在此實例中，經編碼位元串流包含視訊資料之經編碼表示。在視訊解碼器處，殘餘資料294為至IACT 156之輸入。視訊編碼器20可輸出位元串流。
相似地，在本發明之第七實例中，視訊解碼器30可基於自包含視訊資料之經編碼表示之經編碼位元串流獲得之語法元素來判定用於視訊資料之CU之殘餘資料294。舉例而言，視訊解碼器30可自位元串流獲得語法元素，基於語法元素來判定經量化轉換係數，逆量化經量化轉換係數，應用逆轉換IT 116，且應用ICCP 152，藉此獲得殘餘資料294。在其他情況下，視訊解碼器30可自位元串流獲得語法元素，基於語法元素(例如，資料230)來判定經量化樣本，逆量化經量化樣本，且應用ICCP 152，藉此獲得殘餘資料294。
經編碼位元串流服從限制殘餘資料294之樣本值之解析度的約束。在此實例中，視訊解碼器30可藉由將ICCP 152應用於殘餘資料292來產生殘餘資料294。視訊解碼器30可藉由將IACT 156應用於殘餘資料294來產生殘餘資料296。視訊解碼器30可基於殘餘資料296來重新建構CU之寫碼區塊298。
在本發明之第七實例中，對於視訊編碼器20及視訊解碼器30兩者，對於殘餘資料294之每一各別樣本值，約束將各別樣本值之解析度限於以下各者中之任何較大者：預定義值(例如，16)，或取決於CU之原始樣本值之解析度的值(B+n4)。此外，取決於CU之原始樣本值之解析度的值可等於CU之原始樣本值之解析度加大於或等於3且小於或等於32之值減CU之原始樣本值之解析度。
此外，在本發明之第七實例中，對於視訊編碼器20及視訊解碼器30兩者，當CU之原始樣本值之位元深度小於或等於第一值(例如，12)時，殘餘資料294之樣本值之解析度保持於第二值(例如，16)。當
CU之原始樣本值之位元深度大於第一值(例如，12)時，殘餘資料294之樣本值之解析度限於CU之原始樣本值之位元深度(例如，B)加第三值(例如，n4)。第三值在大於或等於3之值與小於或等於32減Cu之原始樣本值之位元深度的值之間(例如，n5
3且n5
32-B)。
圖9C為根據本發明之一或多種技術的說明展示圖9A及圖9B之縮合形式之一系列實例轉換的概念圖。圖9C同時展示上述第六實例及第七實例兩者之效應。
圖10為說明可執行根據本發明之一或多個態樣之技術的視訊編碼器20之實例的方塊圖。在圖10之實例中，視訊編碼器20包括視訊資料記憶體300、模式選擇單元302、經解碼圖像緩衝器304、求和器306、轉換處理單元308、量化單元310，及熵編碼單元312。模式選擇單元302又包括運動補償單元314、運動估計單元316、框內預測處理單元318，及分割單元320。出於視訊區塊重新建構起見，視訊編碼器20亦包括逆量化單元322、逆轉換單元324，及求和器326。
視訊資料記憶體300可儲存待由視訊編碼器20之組件編碼之視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體300中之視訊資料。經解碼圖像緩衝器304可為儲存用於供視訊編碼器20用來編碼視訊資料(例如，以框內或框間寫碼模式)之參考視訊資料的參考圖像記憶體。視訊資料記憶體300及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，該等記憶體器件係諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)，或其他類型之記憶體器件。視訊資料記憶體300及經解碼圖像緩衝器304可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體300可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
在編碼程序期間，視訊編碼器20接收待寫碼視訊圖框或截塊。
可將該圖框或截塊劃分成多個視訊區塊。以此方式，視訊編碼器20可接收待編碼視訊圖框內之當前視訊區塊。
運動估計單元316及運動補償單元314執行經接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測處理單元318可替代地執行經接收視訊區塊相對於與待寫碼區塊相同之圖框或截塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，例如，以選擇用於視訊資料之每一區塊之適當寫碼模式。
分割單元320可基於先前寫碼遍次中之先前分割方案之評估將視訊資料之區塊分割成子區塊。舉例而言，分割單元320可最初將圖框或截塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)將該等LCU中之每一者分割成子CU。模式選擇單元302可進一步產生指示將LCU分割成CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元302可(例如)基於誤差結果來選擇寫碼模式中之一者(框內或框間)，且可將所得經框內或框間寫碼區塊提供至求和器306。求和器306可產生殘餘區塊資料。舉例而言，求和器306可產生用於當前CU之殘餘區塊資料，使得殘餘區塊資料之每一樣本等於當前CU之寫碼區塊中之樣本與當前CU之PU之預測區塊之對應樣本之間的差。求和器306可執行圖2之殘餘產生操作48以及圖3、圖4A、圖4B、圖5A、圖5B、圖5C及圖5D之殘餘產生操作100。
求和器326可重新建構經編碼區塊(亦即，寫碼區塊)以用作參考圖框。求和器326可執行圖2之重新建構操作84以及圖3、圖4A、圖4B、圖5A、圖5B、圖5C、圖5D、圖6A、圖6B、圖6C、圖6D、圖7、圖8、圖9A、圖9B及圖9C之重新建構操作120。模式選擇單元302亦將語法元素(諸如運動向量、框內模式指示符、分割區資訊及其他此類
語法資訊)提供至熵編碼單元312。
由運動估計單元316執行之運動估計為產生運動向量之程序，運動向量估計用於視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖框(或其他經寫碼單元)內之預測性區塊的位移，預測性區塊係相對於當前圖框(或其他經寫碼單元)內正被寫碼之當前區塊。預測性區塊為被發現為在像素差方面緊密地匹配待寫碼區塊之區塊(亦即，預測區塊)，像素差可由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。
運動補償單元314可執行運動補償。運動補償可涉及基於由運動估計單元316針對PU所判定之一或多個運動向量來提取或產生用於PU之一或多個預測性區塊。在接收到用於當前視訊區塊之PU之運動向量後，運動補償單元314就可基於運動向量來定位來自參考圖像清單中之一者之圖像的預測性區塊。一般而言，運動估計單元316執行相對於明度分量之運動估計，且運動補償單元314將基於明度分量所計算之運動向量用於色度分量及明度分量兩者。模式選擇單元302亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30用來解碼視訊截塊之視訊區塊。
框內預測處理單元318可框內預測當前區塊，以作為由運動估計單元316及運動補償單元314執行之框間預測的替代方案。詳言之，框內預測處理單元318可判定框內預測模式以用來編碼當前區塊。在一些實例中，框內預測處理單元318可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元318(或在一些實例中，模式選擇單元302)可自經測試模式選擇待使用之適當框內預測模式。在選擇用於區塊之框內預測模式之後，框內預測處理單元318可將指示用於區塊之經選擇框內預測模式之資訊提供至熵編碼單元312。熵編碼單元312可編碼指示經選擇框內預測模式之資訊。
視訊編碼器20可藉由判定來自模式選擇單元302之預測資料(例如，預測性區塊)與來自正被寫碼之原始視訊區塊(例如，寫碼區塊)之資料之間的差來形成殘餘視訊區塊。求和器306表示執行此差運算之一或多個組件。轉換處理單元308可將轉換應用於殘餘區塊，從而產生包含殘餘轉換係數值之視訊區塊(亦即，轉換係數區塊)。舉例而言，轉換處理單元308可將離散餘弦轉換(DCT)或概念上相似轉換應用於殘餘區塊以產生殘餘係數值。
轉換處理單元308可執行概念上相似於DCT之其他轉換。亦可使用小波轉換、整數轉換、子頻帶轉換，或其他類型之轉換。在任何狀況下，轉換處理單元308將轉換應用於殘餘區塊，從而產生殘餘轉換係數之區塊。轉換可將殘餘資訊自像素(或樣本)值域變換至轉換域，諸如頻域。轉換處理單元308可將所得轉換係數發送至量化單元310。
此外，轉換處理單元308可將ACT轉換及/或CCP轉換應用於殘餘資料。此外，根據本發明之一或多種技術，轉換處理單元308可將削剪操作應用於殘餘資料以縮減由樣本至轉換域轉換、ACT轉換及/或CCP轉換引起的殘餘資料之位元深度。因此，轉換處理單元308可執行圖2之轉換60以及圖3、圖4A、圖4B、圖5A、圖5B、圖5C及圖5D之轉換104。此外，轉換處理單元308可執行圖2之CCP 56以及圖4A、圖4B、圖5A、圖5B、圖5C及圖5D之CCP 150。另外，轉換處理單元308可執行圖2之ACT 52以及圖4A、圖4B、圖5C及圖5D之ACT 154。在一些實例中，轉換處理單元308可強制關於以上第六實例及第七實例所描述之約束。
量化單元310量化轉換係數以進一步縮減位元速率。量化程序可縮減與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元310執行圖2之量化操作64以及圖3、圖4A、圖4B、圖5A、圖5B、圖5C及圖5D之量化操作
108。此外，在一些實例中，量化單元310可接著執行包括經量化轉換係數之矩陣的掃描。替代地，熵編碼單元312可執行該掃描。
視訊編碼器20可在經寫碼視訊位元串流中編碼各種參數集。此等參數集可包括：圖像參數集(PPS)，其可包括為一或多個圖像所共有之語法元素；及/或序列參數集，其可包括為一或多個圖像序列所共有之語法元素。
在量化之後，熵編碼單元312熵寫碼經量化轉換係數。換言之，熵編碼單元312可熵編碼表示經量化轉換係數之語法元素。舉例而言，熵編碼單元312可執行上下文適應性二進位算術寫碼(CABAC)、上下文適應性可變長度寫碼(CAVLC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在熵編碼單元312之熵寫碼之後，視訊編碼器20可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或加以封存以供稍後傳輸或擷取。在圖10之實例中，傳輸器313傳輸位元串流。傳輸器313可為輸出介面22之部分。
逆量化單元322及逆轉換單元324分別應用逆量化及逆轉換以在像素域中產生殘餘區塊，例如，以供稍後用作參考區塊。舉例而言，逆量化單元322可解量化轉換係數區塊。逆轉換單元324可藉由將逆轉換應用於經解量化轉換係數區塊來產生TU之轉換區塊。逆量化單元322可執行圖2之逆量化操作68以及圖3、圖4A、圖4B、圖5A、圖5B、圖5C、圖5D、圖6A、圖6B、圖6C、圖6D、圖7、圖8、圖9A、圖9B及圖9C之逆量化操作112。逆轉換單元322可執行圖2之逆轉換72以及圖3、圖4A、圖4B、圖5A、圖5B、圖5C、圖5D、圖6A、圖6B、圖6C、圖6D、圖7、圖8、圖9A、圖9B及圖9C之逆轉換116。此外，逆轉換單元322可執行圖2之ICCP 76以及圖4A、圖4B、圖5A、圖
5B、圖5C、圖5D、圖6A、圖6B、圖6C、圖6D、圖7、圖9A、圖9B及圖9C之ICCP 152。逆轉換單元322可執行圖2之IACT 80以及圖4B、圖5C、圖5D、圖6A、圖6B、圖6C、圖6D、圖7、圖8、圖9A、圖9B及圖9C之IACT 156。
逆量化單元322、逆轉換單元324及求和器326可形成視訊編碼器20之解碼迴路。根據本發明之一或多種技術，逆轉換單元324可應用逆ACT及逆CCP轉換。此外，根據本發明之一或多種技術，逆轉換單元324可執行削剪操作，如在本發明中之別處之實例中所描述。
求和器326將殘餘區塊加至由運動補償單元314產生之經運動補償預測區塊以產生用於儲存於經解碼圖像緩衝器304中之經重新建構視訊區塊。運動估計單元316及運動補償單元314可將經重新建構視訊區塊用作參考區塊以框間寫碼(亦即，框間預測)後續視訊圖框中之區塊。
運動估計單元316可判定可由視訊編碼器20用來預測經框間預測之一或多個PU之像素值的一或多個參考圖像。運動估計單元42可將參考圖像儲存於經解碼圖像緩衝器304中直至該等圖像被標記為不用於參考為止。視訊編碼器20之模式選擇單元302可編碼包括用於一或多個參考圖像之識別資訊的各種語法元素。
圖11為說明可執行根據本發明之一或多個態樣之技術的視訊解碼器之實例的方塊圖。在圖11之實例中，視訊解碼器30包括視訊資料記憶體350、熵解碼單元352、運動補償單元354、框內預測處理單元356、逆量化單元358、逆轉換單元360、經解碼圖像緩衝器362及求和器364。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20(圖1及圖10)所描述之編碼遍次大體上互逆的解碼遍次。
視訊資料記憶體350可儲存待由視訊解碼器30之組件解碼之視訊資料，諸如經編碼視訊位元串流。可(例如)自頻道16(圖1)(例如，自
諸如攝影機之本機視訊源)、經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體來獲得儲存於視訊資料記憶體350中之視訊資料。視訊資料記憶體350可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器362可為儲存用於供視訊解碼器30用來解碼視訊資料(例如，以框內或框間寫碼模式)之參考視訊資料的參考圖像記憶體。視訊資料記憶體350及經解碼圖像緩衝器362可由多種記憶體器件中之任一者形成，該等記憶體器件係諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)，或其他類型之記憶體器件。視訊資料記憶體350及經解碼圖像緩衝器362可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體350可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。如圖11之實例中所展示，視訊解碼器30可自接收器361接收經編碼視訊位元串流。接收器361可為輸入介面28之部分。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及關聯語法元素及/或語法資料的經編碼視訊位元串流。視訊解碼器30之熵解碼單元352熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符，及其他語法元素。熵解碼單元352可將語法元素轉發至運動補償單元354。
熵解碼單元352可解碼及剖析各種參數集中之額外語法元素。此等參數集可包括：PPS，其可包括為一或多個圖像所共有之語法元素；及/或SPS，其可包括為一或多個圖像序列所共有之語法元素。
視訊解碼器30可基於儲存於經解碼圖像緩衝器362中之參考圖像來建構參考圖像清單(清單0及清單1)(例如，使用預設建構技術)。當將視訊截塊寫碼為經框內寫碼(I)截塊時，框內預測處理單元356可產生用於當前視訊截塊之視訊區塊之預測資料。框內預測處理單元356
可基於經傳信框內預測模式及來自當前圖框或圖像之經先前解碼區塊之資料來產生預測資料。當視訊解碼器30將視訊圖框之截塊寫碼為經框間寫碼(亦即，B或P)截塊時，運動補償單元354可基於自熵解碼單元352接收之運動向量及其他語法元素來產生用於當前視訊截塊之視訊區塊之預測性區塊。運動補償單元354可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。
運動補償單元354可使用運動向量及/或語法元素以判定用於當前視訊截塊之視訊區塊之預測資訊。在一些實例中，運動補償單元354可基於自熵解碼單元352接收之運動向量來產生預測資訊。運動補償單元354可使用預測資訊以產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元354使用經接收語法元素中之一些以判定用以寫碼當前視訊截塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測截塊類型(例如，B截塊或P截塊)、用於截塊之參考圖像清單中之一或多者的建構資訊、用於當前視訊截塊之每一經框間編碼視訊區塊的運動向量、用於截塊之每一經框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊的其他資訊。
逆量化單元358逆量化(亦即，解量化)位元串流中提供且由熵解碼單元352解碼之經量化轉換係數。逆量化程序可包括使用量化參數QPY以判定量化程度且同樣地判定應被應用之逆量化程度。視訊解碼器30可針對視訊截塊中之每一視訊區塊計算量化參數QPY。
逆轉換單元360可接收經解量化轉換係數區塊。若針對當前區塊跳過轉換，則逆轉換單元360可接收經解量化殘餘區塊。逆轉換單元360可使用逆轉換來轉換經接收區塊。在一些實例中，逆轉換(例如，逆DCT、逆整數轉換或概念上相似逆轉換程序)至轉換係數以便在像素域中產生殘餘區塊(例如，轉換區塊)。逆轉換單元360可輸出被稱
作「殘餘信號」之信號。
此外，逆轉換單元360可將逆ACT轉換及/或逆CCP轉換應用於經逆轉換(諸如逆餘弦轉換或逆正弦轉換)殘餘資料。此外，根據本發明之一或多種技術，逆轉換單元360可將削剪操作應用於經逆轉換殘餘資料以縮減由轉換至樣本域轉換、逆ACT轉換及/或逆CCP轉換引起的經逆轉換殘餘資料之位元深度。
視訊解碼器30亦可基於語法元素或其他資訊來判定當前區塊被框內預測。若當前視訊區塊被框內預測，則框內預測處理單元356可解碼該當前區塊。框內預測處理單元356可自與當前區塊相同之圖像判定相鄰預測性區塊。框內預測處理單元356可基於預測性區塊來產生轉換係數區塊及/或殘餘區塊。
在運動補償單元354或框內預測處理單元356基於運動向量及其他語法元素來產生用於當前視訊區塊之轉換係數區塊及/或殘餘區塊之後，視訊解碼器30藉由組合來自逆轉換單元358之殘餘區塊與由運動補償單元354產生之對應預測性區塊來形成經解碼視訊區塊。求和器364表示可執行此求和運算之一或多個組件。經解碼圖像緩衝器362將經解碼視訊區塊儲存於給定圖框或圖像中，給定圖框或圖像可由視訊解碼器30用於後續運動補償。經解碼圖像緩衝器362亦可儲存經解碼視訊以供稍後呈現於顯示器件(諸如圖1之顯示器件32)上。
運動補償單元354及/或框內預測處理單元356可基於明度殘餘區塊、縮放比例及經預測色度殘餘樣本來判定色度殘餘樣本之區塊。在具有色度殘餘樣本之區塊的情況下，求和器364可求和色度殘餘樣本及明度殘餘樣本與預測性區塊之各別色度樣本及明度樣本以解碼當前區塊(例如，重新建構當前區塊)。求和器364可執行圖3、圖4A、圖4B、圖5A、圖5B、圖5C、圖5D、圖6A、圖6B、圖6C、圖6D、圖7、圖8、圖9A、圖9B及圖9C之重新建構操作120。在一些實例中，一旦
視訊解碼器30產生經重新建構視訊，視訊解碼器30就可輸出經重新建構視訊區塊作為經解碼視訊(例如，用於顯示或儲存)。
如上文所描述，在框間預測期間，運動補償單元354可判定可由視訊解碼器30用以形成用於正被解碼之當前區塊之預測性視訊區塊的一或多個參考圖像。運動補償單元354可將參考圖像儲存於經解碼圖像緩衝器362中直至該等參考圖像被標記為不用於參考為止。
圖12為根據本發明之技術的說明視訊寫碼器之實例操作的流程圖。圖12之操作可由視訊編碼器(例如，圖1及圖10之視訊編碼器20)、視訊解碼器(例如，圖1及圖11之視訊解碼器30)或另一單元或器件執行。
在圖12之實例中，視訊寫碼器可基於第一殘餘資料之位元深度將第一殘餘資料削剪至可變範圍(402)。在一些實例中，視訊寫碼器可藉由將逆轉換應用於經轉換殘餘資料來產生第一經逆轉換殘餘資料。在一些實例中，逆轉換為自轉換域至樣本域之轉換。舉例而言，逆轉換可為逆離散餘弦轉換或逆離散正弦轉換。在其他實例中，逆轉換可為ICCP。第一殘餘資料為至IACT之輸入。
此外，視訊寫碼器可至少部分地藉由將IACT應用於經削剪第一殘餘資料來產生第二殘餘資料(404)。在一些實例中，可應用除了IACT以外之一或多個改變以產生第二殘餘資料。視訊寫碼器可基於第二殘餘資料來重新建構視訊資料之CU之寫碼區塊(406)。舉例而言，視訊寫碼器可重新建構CU之寫碼區塊，使得對應於第二殘餘資料之樣本的寫碼區塊之每一各別樣本實質上等於(例如，具有可能捨位誤差)第二殘餘資料之樣本與CU之PU之預測性區塊之對應樣本的總和。
在此實例中，視訊寫碼器可藉由將逆轉換應用於殘餘資料來產生第一殘餘資料。在產生第一殘餘資料之後且在產生第二殘餘資料之
前：(i)基於第一經逆轉換殘餘資料之位元深度小於或等於特定值，視訊寫碼器可將第一經逆轉換殘餘資料之解析度保持於特定解析度；或(ii)基於第一經逆轉換殘餘資料之位元深度大於特定值，視訊寫碼器可將削剪操作應用於第一經逆轉換殘餘資料。
在此實例中，視訊寫碼器可藉由將IACT應用於第一殘餘資料來產生第二殘餘資料。視訊寫碼器可基於第二殘餘資料來重新建構視訊資料之CU之寫碼區塊。
應認識到，取決於實例，可以不同序列執行、可添加、合併或完全地省略本文中所描述之技術中之任一者的某些動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時地而非依序地執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。舉例而言，圖10及圖11之步驟可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，其包括(例如)根據通信協定來促進電腦程式自一位置至另一位置之傳送之任何媒體。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫時性媒體，而是有關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路系統之一或多個處理器執行指令。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全地實施於一或多個電路或邏輯元件中。
本發明之技術可實施於各種各樣的器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或一組IC(例如，晶片集)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必要求由不同硬體單元進行實現。確切而言，如上
文所描述，各種單元可組合於編解碼器硬體單元中，或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體而提供。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
Claims (25)
- 一種編碼或解碼視訊資料之方法，該方法包含：將至一逆適應性色彩轉換(IACT)之輸入削剪至(i)16位元及(ii)等於多個預測像素之一位元深度加一值之一位元深度之一最大值，其中該值大於或等於4且該值小於或等於32減去該等預測像素之該位元深度，其中至該IACT之該輸入為第一殘餘資料；至少部分地藉由將該IACT應用於經削剪之該輸入來產生第二殘餘資料；及基於該第二殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊。
- 如請求項1之方法，其中該等預測像素為多個第一預測像素，至該IACT之該輸入為至該IACT之第一輸入，該CU為一第一CU，且削剪該第一輸入包含：基於該等預測像素之該位元深度小於或等於一特定值，將該第一殘餘資料之一位元深度保持於16位元，且該方法進一步包含：將至該IACT之第二輸入削剪至(i)16位元及(ii)等於多個第二預測像素之一位元深度加一值之一位元深度之一最大值，該值大於或等於4且小於或等於32減去該等第二預測像素之該位元深度，其中至該IACT之該第二輸入為第三殘餘資料，其中削剪該第二輸入包含基於該等第二預測像素之該位元深度大於一特定值，將一削剪操作應用於該第三殘餘資料；至少部分地藉由將該IACT應用至經削剪之該第二輸入來產生第四殘餘資料；及基於該第四殘餘資料重新建構該視訊資料之一第二寫碼單元(CU)之一寫碼區塊。
- 如請求項2之方法，其中該特定值為12。
- 如請求項1之方法，其進一步包含應用一逆跨組件預測(ICCP)轉換以產生該第一殘餘資料。
- 如請求項1之方法，其進一步包含應用自一轉換域至一樣本域之一逆轉換以產生該第一殘餘資料。
- 如請求項5之方法，其中該逆轉換為一逆離散餘弦轉換。
- 如請求項1之方法，該方法可執行於一無線通信器件上，其中該無線通信器件包含：一記憶體，其經組態以儲存該視訊資料；一處理器，其經組態以執行多個指令以處理儲存於該記憶體中之該視訊資料；及以下各者中之至少一者：一傳輸器，其經組態以傳輸包含該視訊資料之一經編碼表示之一位元串流，該視訊資料之該經編碼表示包含該CU之一經編碼表示；或一接收器，其經組態以接收包含該視訊資料之該經編碼表示之該位元串流。
- 如請求項7之方法，其中：該無線通信器件為一蜂巢式電話，該位元串流係根據一蜂巢式通信標準而經調變，及以下各者中之至少一者：該位元串流係由該傳輸器傳輸，或該位元串流係由該接收器接收。
- 如請求項1之方法，其中削剪該輸入包含：基於大於一特定值之該等預測像素之該位元深度，將一削剪操作應用至該第一殘餘資料。
- 一種用於編碼或解碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以：將至一逆適應性色彩轉換(IACT)之輸入削剪至(i)16位元及(ii)等於多個預測像素之一位元深度加一值之一位元深度之一最大值，其中該值大於或等於4且該值小於或等於32減去該等預測像素之該位元深度，其中至該IACT之該輸入為第一殘餘資料；至少部分地藉由將該IACT應用於經削剪之該輸入來產生第二經逆轉換殘餘資料；及基於該第二經逆轉換殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊。
- 如請求項10之器件，其中該一或多個處理器經組態使得作為削剪該輸入之部分，該一或多個處理器進行：基於該等預測像素之該位元深度小於或等於一特定值，將該第一殘餘資料之一位元深度保持於16位元；及基於該等預測像素之該位元深度大於該特定值，將一削剪操作應用於該第一殘餘資料。
- 如請求項11之器件，其中該特定值為12。
- 如請求項10之器件，其中該一或多個處理器經組態以應用一逆跨組件預測(ICCP)轉換以產生該第一殘餘資料。
- 如請求項10之器件，其中該一或多個處理器經組態以應用自一轉換域至一樣本域之一逆轉換以產生該第一殘餘資料。
- 如請求項14之器件，其中該逆轉換為一逆離散餘弦轉換。
- 如請求項10之器件，其中該器件為一無線通信器件，其進一步包含以下各者中之至少一者：一傳輸器，其以通信方式耦接至該一或多個處理器，該傳輸器經組態以傳輸包含該視訊資料之一經編碼表示之一位元串流，該視訊資料之該經編碼表示包含該CU之一經編碼表示；或一接收器，其以通信方式耦接至該一或多個處理器，該接收器經組態以接收包含該視訊資料之該經編碼表示之該位元串流。
- 如請求項16之器件，其中：該無線通信器件為一蜂巢式電話，該位元串流係根據一蜂巢式通信標準而經調變，及以下各者中之至少一者：該位元串流係由該傳輸器傳輸，或該位元串流係由該接收器接收。
- 一種用於編碼或解碼視訊資料之器件，該器件包含：用於將至一逆適應性色彩轉換(IACT)之輸入削剪至(i)16位元及(ii)等於多個預測像素之一位元深度加一值之一位元深度之一最大值的構件，其中該值大於或等於4且該值小於或等於32減去該等預測像素之該位元深度，其中至該IACT之該輸入為第一殘餘資料；用於至少部分地藉由將該IACT應用於經削剪之該輸入來產生第二殘餘資料的構件；及用於基於該第二經逆轉換殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊的構件。
- 如請求項18之器件，其中用於削剪該輸入的該構件包含：用於基於該等預測像素之該位元深度小於或等於一特定值，將該第一殘餘資料之一位元深度保持於16位元的構件；及用於基於該等預測像素之該位元深度大於該特定值，將一削剪操作應用於該第一殘餘資料的構件。
- 如請求項19之器件，其中該特定值為12。
- 如請求項18之器件，其進一步包含用於應用一逆跨組件預測(ICCP)轉換以產生該第一殘餘資料的構件。
- 如請求項18之器件，其進一步包含用於應用自一轉換域至一樣本域之一逆轉換以產生該第一殘餘資料的構件。
- 如請求項22之器件，其中該逆轉換為一逆離散餘弦轉換。
- 一種儲存有多個指令之電腦可讀儲存媒體，該等指令在被執行時致使用於編碼或解碼視訊資料之一器件之一或多個處理器進行：將至一逆適應性色彩轉換(IACT)之輸入削剪至(i)16位元及(ii)等於多個預測像素之一位元深度加一值之一位元深度之一最大值，其中該值大於或等於4且該值小於或等於32減去該等預測像素之該位元深度，其中至該IACT之該輸入為第一殘餘資料；至少部分地藉由將該IACT應用於經削剪之該輸入來產生第二殘餘資料；及基於該第二殘餘資料來重新建構該視訊資料之一寫碼單元(CU)之一寫碼區塊。
- 如請求項24之電腦可讀儲存媒體，其中該等指令部分地藉由致使該一或多個處理器進行以下操作來致使該一或多個處理器削剪該輸入：基於該等預測像素之該位元深度小於或等於一特定值，將該第一殘餘資料之一位元深度保持於16位元；及基於該等預測像素之該位元深度大於該特定值，將一削剪操作應用於該第一殘餘資料。
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562110324P | 2015-01-30 | 2015-01-30 | |
| US62/110,324 | 2015-01-30 | ||
| US201562113269P | 2015-02-06 | 2015-02-06 | |
| US62/113,269 | 2015-02-06 | ||
| US201562115487P | 2015-02-12 | 2015-02-12 | |
| US62/115,487 | 2015-02-12 | ||
| US15/006,563 | 2016-01-26 | ||
| US15/006,563 US10158836B2 (en) | 2015-01-30 | 2016-01-26 | Clipping for cross-component prediction and adaptive color transform for video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201633781A TW201633781A (zh) | 2016-09-16 |
| TWI678100B true TWI678100B (zh) | 2019-11-21 |
Family
ID=55398431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105102623A TWI678100B (zh) | 2015-01-30 | 2016-01-27 | 用於視訊寫碼之跨組件預測削剪及適應性色彩轉換 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US10158836B2 (zh) |
| EP (1) | EP3251359A1 (zh) |
| JP (1) | JP6608454B2 (zh) |
| KR (1) | KR102060868B1 (zh) |
| CN (1) | CN107211151B (zh) |
| AU (1) | AU2016211519B2 (zh) |
| BR (1) | BR112017016380A2 (zh) |
| TW (1) | TWI678100B (zh) |
| WO (1) | WO2016123232A1 (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3198556B1 (en) * | 2014-09-26 | 2018-05-16 | Dolby Laboratories Licensing Corp. | Encoding and decoding perceptually-quantized video content |
| EP3297282A1 (en) * | 2016-09-15 | 2018-03-21 | Thomson Licensing | Method and apparatus for video coding with adaptive clipping |
| US20200236381A1 (en) * | 2017-09-28 | 2020-07-23 | Sharp Kabushiki Kaisha | Value limiting filter apparatus, video coding apparatus, and video decoding apparatus |
| WO2019210857A1 (en) * | 2018-04-30 | 2019-11-07 | Mediatek Inc. | Method and apparatus of syntax interleaving for separate coding tree in video coding |
| CN109451305B (zh) * | 2018-10-26 | 2021-05-07 | 西安科锐盛创新科技有限公司 | 带宽压缩中的预测方法 |
| WO2020125794A1 (en) * | 2018-12-22 | 2020-06-25 | Beijing Bytedance Network Technology Co., Ltd. | Two step cross-component prediction mode |
| EP3925226A4 (en) | 2019-03-24 | 2022-08-17 | Beijing Bytedance Network Technology Co., Ltd. | NON-LINEAR ADAPTIVE LOOP FILTERING IN VIDEO PROCESSING |
| EP3928521A4 (en) | 2019-04-02 | 2022-08-17 | Beijing Bytedance Network Technology Co., Ltd. | BIDIRECTIONAL OPTICAL FLOW BASED VIDEO ENCODING AND DECODING |
| CN113711608B (zh) | 2019-04-19 | 2023-09-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程的适用性 |
| CN113711609B (zh) | 2019-04-19 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程中的增量运动矢量 |
| WO2020211864A1 (en) | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Region based gradient calculation in different motion vector refinements |
| US10818083B1 (en) * | 2019-04-30 | 2020-10-27 | International Business Machines Corporation | Pyramid generation via depth-first walk |
| EP3970366A4 (en) | 2019-06-14 | 2023-03-29 | Beijing Bytedance Network Technology Co., Ltd. | HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS |
| KR20230117263A (ko) | 2019-10-11 | 2023-08-07 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 4:4:4 크로마 포맷의 비디오 코딩 방법 및 장치 |
| CN114902680A (zh) | 2019-12-19 | 2022-08-12 | 抖音视界(北京)有限公司 | 视频的自适应颜色变换和差分编解码的联合使用 |
| WO2021138476A1 (en) * | 2019-12-30 | 2021-07-08 | Beijing Dajia Internet Information Technology Co., Ltd. | Coding of chrominance residuals |
| CN117939152A (zh) | 2020-01-05 | 2024-04-26 | 北京达佳互联信息技术有限公司 | 一种视频编码的方法、装置和介质 |
| CN115211123A (zh) | 2020-01-05 | 2022-10-18 | 抖音视界有限公司 | 视频编解码的通用约束信息 |
| CN114946187A (zh) * | 2020-01-08 | 2022-08-26 | 抖音视界(北京)有限公司 | 色度残差的联合编解码和自适应颜色变换 |
| CN115176470A (zh) * | 2020-01-18 | 2022-10-11 | 抖音视界有限公司 | 图像/视频编解码中的自适应颜色变换 |
| JPWO2021149812A1 (zh) * | 2020-01-24 | 2021-07-29 | ||
| WO2021150086A1 (ko) * | 2020-01-25 | 2021-07-29 | 엘지전자 주식회사 | Act 레지듀얼 기반 영상 또는 비디오 코딩 |
| US12088832B2 (en) * | 2020-01-25 | 2024-09-10 | Lg Electronics Inc. | Image or video coding for residuals using color space transformation |
| WO2021150084A1 (ko) * | 2020-01-25 | 2021-07-29 | 엘지전자 주식회사 | 색상 공간 변환 기반 영상 또는 비디오 코딩 |
| CN115769584A (zh) | 2020-06-12 | 2023-03-07 | 北京达佳互联信息技术有限公司 | 以4:4:4颜色格式进行视频编解码的方法和装置 |
| US20240080463A1 (en) * | 2022-09-02 | 2024-03-07 | Tencent America LLC | Cross component sample clipping |
| CN117612072B (zh) * | 2024-01-23 | 2024-04-19 | 中国科学技术大学 | 一种基于动态时空图的视频理解方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US8036478B2 (en) * | 2003-11-26 | 2011-10-11 | Samsung Electronics Co., Ltd. | Color image residue transformation and/or inverse transformation method and apparatus, and color image encoding and/or decoding method and apparatus using the same |
| US20110305277A1 (en) * | 2010-06-15 | 2011-12-15 | Mediatek Inc. | System and method for content adaptive clipping |
| US20140003527A1 (en) * | 2011-03-10 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Bitdepth and Color Scalable Video Coding |
| US20140355689A1 (en) * | 2013-05-30 | 2014-12-04 | Apple Inc. | Adaptive color space transform coding |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7949044B2 (en) | 2005-04-12 | 2011-05-24 | Lsi Corporation | Method for coefficient bitdepth limitation, encoder and bitstream generation apparatus |
| US9807403B2 (en) * | 2011-10-21 | 2017-10-31 | Qualcomm Incorporated | Adaptive loop filtering for chroma components |
| US20140198846A1 (en) | 2013-01-16 | 2014-07-17 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US9648332B2 (en) * | 2013-10-28 | 2017-05-09 | Qualcomm Incorporated | Adaptive inter-color component residual prediction |
| US9756337B2 (en) * | 2013-12-17 | 2017-09-05 | Qualcomm Incorporated | Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding |
| US9736481B2 (en) * | 2014-03-14 | 2017-08-15 | Qualcomm Incorporated | Quantization parameters for color-space conversion coding |
| US10057578B2 (en) * | 2014-10-07 | 2018-08-21 | Qualcomm Incorporated | QP derivation and offset for adaptive color transform in video coding |
| US9468332B2 (en) * | 2014-11-10 | 2016-10-18 | Haier Us Appliance Solutions, Inc. | Docking station for a beverage dispenser having a reservoir |
-
2016
- 2016-01-26 US US15/006,563 patent/US10158836B2/en active Active
- 2016-01-27 AU AU2016211519A patent/AU2016211519B2/en active Active
- 2016-01-27 JP JP2017540094A patent/JP6608454B2/ja active Active
- 2016-01-27 TW TW105102623A patent/TWI678100B/zh active
- 2016-01-27 CN CN201680006123.3A patent/CN107211151B/zh active Active
- 2016-01-27 EP EP16705370.1A patent/EP3251359A1/en not_active Ceased
- 2016-01-27 WO PCT/US2016/015149 patent/WO2016123232A1/en active Application Filing
- 2016-01-27 KR KR1020177020971A patent/KR102060868B1/ko active IP Right Grant
- 2016-01-27 BR BR112017016380A patent/BR112017016380A2/pt not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8036478B2 (en) * | 2003-11-26 | 2011-10-11 | Samsung Electronics Co., Ltd. | Color image residue transformation and/or inverse transformation method and apparatus, and color image encoding and/or decoding method and apparatus using the same |
| US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US20110305277A1 (en) * | 2010-06-15 | 2011-12-15 | Mediatek Inc. | System and method for content adaptive clipping |
| US20140003527A1 (en) * | 2011-03-10 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Bitdepth and Color Scalable Video Coding |
| US20140355689A1 (en) * | 2013-05-30 | 2014-12-04 | Apple Inc. | Adaptive color space transform coding |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6608454B2 (ja) | 2019-11-20 |
| BR112017016380A2 (pt) | 2018-03-27 |
| US20160227224A1 (en) | 2016-08-04 |
| KR20170108964A (ko) | 2017-09-27 |
| WO2016123232A1 (en) | 2016-08-04 |
| JP2018507622A (ja) | 2018-03-15 |
| AU2016211519B2 (en) | 2019-11-07 |
| US10158836B2 (en) | 2018-12-18 |
| CN107211151B (zh) | 2020-03-27 |
| AU2016211519A1 (en) | 2017-07-13 |
| KR102060868B1 (ko) | 2019-12-30 |
| EP3251359A1 (en) | 2017-12-06 |
| TW201633781A (zh) | 2016-09-16 |
| CN107211151A (zh) | 2017-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI678100B (zh) | 用於視訊寫碼之跨組件預測削剪及適應性色彩轉換 | |
| US11778234B2 (en) | Video intra prediction using hybrid recursive filters | |
| CN107113436B (zh) | 用于解码视频数据的方法和装置以及计算机可读存储媒体 | |
| CN108028944B (zh) | 用于处理经解码视频数据的方法、系统和存储介质 | |
| CN107710765B (zh) | 用于译码视频数据的方法和装置及计算机可读存储介质 | |
| TWI689195B (zh) | 用於調色板寫碼之寫碼逃脫像素 | |
| JP6396588B2 (ja) | ビデオコード化における成分間予測及び適応色変換の調和 | |
| CN107079150B (zh) | 用于视频译码中自适应颜色变换的量化参数推导及偏移 | |
| KR101977450B1 (ko) | 팔레트 코딩 모드에서의 비디오 블록의 이스케이프 픽셀들의 양자화 | |
| TWI544787B (zh) | 當跳過轉換時用於有損寫碼之內部預測模式 | |
| CN107211138B (zh) | 编码、解码视频数据的方法、装置和计算机可读存储媒体 | |
| JP2018514119A (ja) | 線形モデル予測モードのためのダウンサンプリングプロセス | |
| TW201931853A (zh) | 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制 | |
| JP2015524216A (ja) | 映像コーディングにおけるロスレスコーディングモード及びパルスコード変調（ｐｃｍ）モードのシグナリングの統一 | |
| JP2023153802A (ja) | イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ |