TW201729592A - 視訊寫碼中具有非正方形預測單元之線性模型預測 - Google Patents

視訊寫碼中具有非正方形預測單元之線性模型預測 Download PDF

Info

Publication number
TW201729592A
TW201729592A TW105138730A TW105138730A TW201729592A TW 201729592 A TW201729592 A TW 201729592A TW 105138730 A TW105138730 A TW 105138730A TW 105138730 A TW105138730 A TW 105138730A TW 201729592 A TW201729592 A TW 201729592A
Authority
TW
Taiwan
Prior art keywords
luma
block
samples
square
sample
Prior art date
Application number
TW105138730A
Other languages
English (en)
Inventor
張力
陳建樂
錢威俊
趙欣
李想
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201729592A publication Critical patent/TW201729592A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)

Abstract

本發明描述一種視訊寫碼器,其重建構一色度參考樣本集合且重建構一非正方形預測單元之明度樣本。另外,該視訊寫碼器對該明度參考樣本集合進行子取樣,使得與該非正方形預測區塊之一較長側相鄰之該等明度參考樣本的一總數目和與該非正方形預測區塊之一較短側相鄰之該等明度參考樣本的一總數目相同。該視訊寫碼器基於□判定一線性模型(LM)參數,其中I為該明度參考樣本集合中之參考樣本之一總數目,xi為該明度參考樣本集合中之一明度參考樣本,yi為該色度參考樣本集合中之一色度參考樣本。該視訊寫碼器在一程序中使用該LM參數判定該非正方形預測區塊之色度樣本的值。

Description

視訊寫碼中具有非正方形預測單元之線性模型預測
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(例如,視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。 空間或時間預測產生待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。為進行進一步壓縮,可將殘餘資料自像素域轉換至轉換域,從而導致殘餘轉換係數,可接著量化該等殘餘轉換係數。可應用熵寫碼以實現甚至更進一步壓縮。
本發明係關於框內及框間預測分割、非正方形轉換、非正方形區塊之框內及框間寫碼模式及相關聯之熵寫碼。本發明之技術可用於進階視訊編解碼器之上下文中,諸如HEVC之擴展或視訊寫碼標準之下一代中。在一個實例中,線性模型(LM)預測適用於與非正方形預測區塊一起使用。特定而言,在非正方形預測區塊存在下針對判定用於LM預測之參數而描述技術。 在一個實例中,本發明描述一種解碼視訊資料之方法,該方法包含:藉由視訊解碼器接收包含視訊資料之經編碼表示的位元串流;藉由視訊解碼器重建構明度參考樣本集合及色度參考樣本集合,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊的左側相鄰之色度樣本; 藉由視訊解碼器重建構非正方形明度區塊之明度樣本;藉由視訊解碼器子取樣該明度參考樣本集合,以使得該明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與該明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同;藉由視訊解碼器判定第一參數,使得第一參數係基於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;針對預測性色度區塊之每一各別色度樣本,藉由視訊解碼器判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;及藉由視訊解碼器部分基於預測性色度區塊對寫碼區塊進行重建構。 在另一實例中,本發明描述一種用於編碼視訊資料之方法,該方法包含:藉由視訊編碼器接收視訊資料;藉由視訊編碼器重建構明度參考樣本集合及色度參考樣本集合,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形明度區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本;藉由視訊編碼器重建構非正方形明度區塊之明度樣本;藉由視訊編碼器子取樣該明度參考樣本集合,使得該明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與該明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同;藉由視訊編碼器判定第一參數,使得第一參數係基於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;針對預測性色度區塊之每一各別色度樣本,藉由視訊編碼器判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;藉由視訊編碼器基於預測性色度區塊獲得殘餘資料;及藉由視訊編碼器將表示殘餘資料之資料包括於包含視訊資料之經編碼表示的位元串流中。 在另一實例中,本發明描述一種用於解碼視訊資料之裝置,該裝置包含:一或多個儲存媒體,其經組態以儲存視訊資料;及視訊解碼器,其經組態以:接收包含視訊資料之經編碼表示的位元串流;重建構明度參考樣本集合及色度參考樣本集合,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本;重建構非正方形明度區塊之明度樣本;對明度參考樣本集合進行子取樣,使得明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同;判定第一參數,使得第一參數係基於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;針對預測性色度區塊之每一各別色度樣本,判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;及部分基於預測性色度區塊重建構寫碼區塊。 在另一實例中,本發明描述一種用於編碼視訊資料之裝置,該裝置包含:一或多個儲存媒體,其經組態以儲存視訊資料;及視訊編碼器,其經組態以:接收視訊資料;重建構明度參考樣本集合及色度參考樣本集合,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形明度區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本;重建構非正方形明度區塊之明度樣本;對明度參考樣本集合進行子取樣,使得明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同;判定第一參數,使得第一參數係基於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;針對預測性色度區塊之每一各別色度樣本,判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;基於預測性色度區塊獲得殘餘資料;及將表示殘餘資料之資料包括於包含視訊資料之經編碼表示的位元串流中。 在另一實例中,本發明描述一種用於解碼視訊資料之裝置,該裝置包含:用於接收包含視訊資料之經編碼表示之位元串流的構件;用於重建構明度參考樣本集合及色度參考樣本集合的構件,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本;用於重建構非正方形明度區塊之明度樣本的構件;用於對明度參考樣本集合進行子取樣以使得明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同的構件;用於判定第一參數以使得第一參數係基於以下內容的構件:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;用於針對預測性色度區塊之每一各別色度樣本,判定各別色度樣本之值以使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數的構件,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;及用於部分基於預測性色度區塊重建構寫碼區塊的構件。 在另一實例中,本發明描述一種用於編碼視訊資料之裝置,該裝置包含:用於接收視訊資料的構件;用於重建構明度參考樣本集合及色度參考樣本集合的構件,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本;用於重建構非正方形明度區塊之明度樣本的構件;用於對明度參考樣本集合進行子取樣以使得明度參考樣本集合中與非正方形明度區塊之較長側相鄰之之明度參考樣本的總數目與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同的構件;用於判定第一參數以使得第一參數係基於以下內容的構件:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;用於針對預測性色度區塊之每一各別色度樣本,判定各別色度樣本之值以使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數的構件,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;用於基於預測性色度區塊獲得殘餘資料的構件;及用於將表示殘餘資料之資料包括於包含視訊資料之經編碼表示之位元串流中的構件。 在另一實例中,本發明描述一種其上儲存有指令之電腦可讀資料儲存媒體,該等指令在執行時組態用於解碼視訊資料之裝置以進行以下操作:接收包含視訊資料之經編碼表示的位元串流;重建構明度參考樣本集合及色度參考樣本集合,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本;對明度參考樣本集合進行子取樣,使得明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同;判定第一參數,使得第一參數係基於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;針對預測性色度區塊之每一各別色度樣本,判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;及部分基於預測性色度區塊重建構寫碼區塊。 在另一實例中,本發明描述一種其上儲存有指令之電腦可讀資料儲存媒體,該等指令在執行時組態用於編碼視訊資料之裝置以進行以下操作:接收視訊資料;重建構明度參考樣本集合及色度參考樣本集合,該明度參考樣本集合包含與視訊資料之當前圖像之非正方形區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本,該色度參考樣本集合包含與當前圖像之非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本;重建構非正方形明度區塊之明度樣本;對明度參考樣本集合進行子取樣,使得明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同;判定第一參數,使得第一參數係基於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i明度參考樣本,且yi 為色度參考樣本集合中之第i色度參考樣本;針對預測性色度區塊之每一各別色度樣本,判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者;基於預測性色度區塊獲得殘餘資料;及將表示殘餘資料之資料包括於包含視訊資料之經編碼表示的位元串流中。 在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2015年11月25日申請之美國臨時專利申請案62/260,103及2016年3月18日申請之美國臨時專利申請案62/310,271之權益,該等申請案中之每一者的全部內容以引用之方式併入本文中。 大體而言,本發明係關於框內及框間預測分割、非正方形轉換、非正方形區塊之框內及框間寫碼模式及相關聯之熵寫碼。本發明之技術可用於先進視訊編解碼器之上下文,諸如高效率視訊寫碼(HEVC)之擴展或視訊寫碼標準之下一代。 在HEVC中,視訊寫碼器(亦即,視訊編碼器或視訊解碼器)將圖像之寫碼單元(CU)分割成一或多個預測單元(PU)。視訊寫碼器使用框內預測或框間預測產生CU之每一PU的預測性區塊。CU之殘餘資料表示CU之PU的預測性區塊與CU之原始寫碼區塊之間的差。在CU經框內預測(亦即,使用框內預測產生CU之PU的預測性區塊)的情況下,CU之殘餘資料可分割成一或多個正方形轉換單元(TU)。然而,在CU經框間預測 (亦即,使用框間預測產生CU之PU的預測性區塊)的情況下,CU之殘餘資料可分割成一或多個正方形或非正方形TU。在本發明中,對單元(例如,CU、PU、TU)之形狀的參考可指代對應區塊之形狀。因此,非正方形PU可解釋為指代非正方形預測區塊,非正方形TU可解釋為指代非正方形轉換區塊,且反之亦然。此外,應注意,預測區塊不必限制於如PU係定義於HEVC中之PU的概念中,而係具有在其上執行預測(例如,框間預測、框內預測)之樣本區塊的含義。類似地,轉換區塊不必限制於如TU係定義於HEVC中之TU的概念中,而係具有在其上應用轉換之樣本區塊的含義。 如下所述,非正方形TU之引入可在與特定寫碼工具一起使用時引入某些問題。 舉例而言,線性模型(LM)預測模式為用於減小在HEVC之開發期間所研究的跨組件相關性的技術。當視訊寫碼器使用LM預測模式時,視訊寫碼器基於CU之PU之經重建構明度樣本預測PU之色度樣本。PU之色度樣本為PU之色度預測性區塊之色度樣本。色度樣本之實例類型包括Cb樣本及Cr樣本。視訊寫碼器可藉由將PU之明度預測性區塊之樣本與PU之對應明度殘餘樣本求和而產生PU之經重建構明度樣本。 特定而言,當視訊寫碼器使用LM預測模式時,視訊寫碼器可將PU在位置(i,j)處之經預測色度樣本判定為αrecL (i,j) +β ,其中recL (i,j)為PU在位置(i,j)處之經重建構明度樣本且αβ 為參數。在一些情況下,諸如在4:2:0色彩格式中,一個M×K色度區塊對應於2M×2K明度區塊,在此情形下,recL (i,j)指示位於2M×2K明度區塊之下取樣型式(具有M×K)之(i ,j )處的值。視訊寫碼器基於經重建構明度參考樣本及經重建構色度參考樣本之值判定αβ 之值。經重建構明度參考樣本及經重建構色度參考樣本為沿PU之頂側及左側之樣本。用於判定β 之公式涉及除以參考樣本之總數目(標示為I ,其等於M及K的總和)的除法運算。在典型案例中,M及K相等且可表示為2 l ,在HEVC中,l 為正整數值。只要預測區塊為正方形,I 等於2 m ,其中m 可針對不同預測區塊大小而變化。因此,當計算β 之值時視訊寫碼器可執行右移運算,而非執行除以I 的除法運算。右移運算明顯比執行除法運算更快且更不複雜。在本發明中,對各種類型之區塊(諸如,CU、TU及PU)之大小的參考分別指代CU、TU及PU之寫碼區塊、轉換區塊及預測區塊之大小。此外,在本發明中,對各種類型之視訊寫碼單元(諸如,CU、TU及PU)之側面的參考指代對應於各種類型之區塊的區塊(例如,寫碼區塊、轉換區塊、預測/預測性區塊)之側面。 然而,若明度區塊(例如,PU之明度預測區塊)並非正方形(例如,M等於12且K等於16),則I 並不始終等於2 m 。因此,若明度區塊並非正方形,則當計算β 之值時不可能使用右移運算來代替除法運算。因此,視訊寫碼器可能需要執行高成本除法運算來計算β 之值。 本發明描述當針對非正方形區塊使用LM預測模式時可消除在計算β 之值時執行除法運算之需要的技術。在一些情況下,即使對於其中M等於K但M並不為2的冪次方的正方形PU,本文所述之技術亦可適用。根據此技術之實例,視訊寫碼器可重建構明度參考樣本集合及色度參考樣本集合。明度參考樣本集合可包含與視訊資料之當前圖像之非正方形明度區塊之頂側相鄰的明度樣本及與非正方形明度區塊之左側相鄰的明度樣本。非正方形明度區塊可為PU之明度預測區塊。因此,PU可被視為非正方形PU。色度參考樣本集合可包含與非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本。非正方形色度區塊可為PU之色度預測區塊。另外,視訊寫碼器可重建構非正方形預測區塊之明度樣本。此外,視訊寫碼器可對該明度參考樣本集合進行子取樣,使得該明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與該明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同。視訊寫碼器可判定第一參數等於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之明度參考樣本,且yi 為色度參考樣本集合中之色度參考樣本。另外,視訊寫碼器可判定第二參數等於:針對預測性色度區塊之每一各別色度樣本,視訊寫碼器可判定各別色度樣本之值,使得各別色度樣本之值等於α 乘以對應於各別色度樣本之各別經重建構明度樣本加β 。預測性色度區塊可為非正方形PU之預測性色度區塊。視訊寫碼器可部分基於預測性色度區塊來重建構寫碼區塊。 在以上實例中,藉由子取樣明度參考樣本集合以使得與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目和與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同,視訊寫碼器可確保明度參考樣本集合中之參考樣本的總數目為2的冪次方。因此,當計算β 之值時,視訊寫碼器可能夠使用右移運算而非除法運算。因此,當計算β 之值時,實施以上實例之視訊寫碼器可比強制使用除法運算之視訊解碼器更不複雜及/或更快。然而,應注意,視訊寫碼器可使用除法運算而非移位運算來執行以上實例中所描述之動作,儘管此視訊寫碼器可能不具有使用移位運算而非除法運算之優勢。在一些實例中,與非正方形預測區塊之短側或長側相鄰之參考樣本可為不可用的,在此情況下,可能不需要對位於另一側之可用參考樣本執行子取樣處理。 在HEVC中,視訊編碼器將轉換應用於殘餘資料之區塊(亦即,轉換區塊),從而將殘餘資料之區塊轉換成轉換係數之區塊。在較高層級處,視訊編碼器可藉由將N點1維DCT轉換應用於轉換區塊之行而首先產生中間值區塊,從而產生轉換係數之區塊(亦即,轉換係數區塊)。N等於轉換區塊之高度及寬度。視訊編碼器可接著藉由將同一N點1維DCT轉換應用於中間值區塊之列來產生轉換係數之區塊。視訊解碼器以類似方式逆向該轉換以恢復轉換區塊。 如由以上論述可見,在HEVC中應用轉換之程序係取決於轉換區塊為正方形。然而,可能需要具有非正方形轉換區塊。舉例而言,當轉換區塊之界限跨越框間或框內預測性區塊之界限時壓縮效能可減小。非正方形預測性區塊之使用對於捕獲並不在正方形區域中之對象而言係寶貴的。因此,非正方形預測性區塊及/或非正方形轉換在寫碼效能改良方面可為有用的。若轉換矩陣係數為N點1維DCT轉換,則使用等於之分母定義轉換矩陣係數。在本發明之前,分母被視為歸一化因子且在量化程序中由右移執行。考慮到2維DCT轉換,例如,K×L轉換,歸一化因子將為(*)。若N由符合方程式log2(N*N) = ((log2(K) + log2(L)) >> 1) << 1)之一者定義,則所利用歸一化因子(sqrt(N)*sqrt(N))與實際歸一化因子(*)之比率將為。歸因於經提高歸一化因子,將正方形轉換(例如,應用於行及列兩者之N點轉換)直接應用於非正方形轉換區塊可改變所得轉換係數區塊中之總能量(亦即量化之後所有經轉換係數之平方的總和),其導致降低的壓縮效能。 如本發明中其他處所詳細描述,對於大小K×L之轉換區塊,當(log2(K) + log2(L))為奇數時,視訊編碼器將轉換係數乘以,且當(log2(K) + log2(L))為奇數時,視訊解碼器將轉換係數除以可解決此問題。 3D-HEVC為用於3維(3D)視訊資料之HEVC之擴展。3D-HEVC自不同視點提供相同場景的多個視圖。3D-HEVC之標準化成果包括基於HEVC之多視圖視訊編解碼器之標準化。在3D-HEVC中,啟用基於來自不同視圖之經重建構視圖分量(亦即,經重建構圖像)的視圖間預測。此外,3D-HEVC實施視圖間運動預測及視圖間殘餘預測。 每一視圖之表示視訊之相同時間例項的圖像包括類似視訊內容。然而,視圖之視訊內容可相對於彼此在空間上位移。特定而言,視圖之視訊內容可表示相同場景上之不同視角。舉例而言,第一視圖中之圖像中的視訊區塊可包括與第二視圖中之圖像中之視訊區塊類似的視訊內容。在此實例中,第一視圖中之圖像中之視訊區塊的位置與第二視圖中之圖像中之視訊區塊的位置可不同。舉例而言,不同視圖中之視訊區塊之位置之間可存在一些位移。 視訊區塊之視差向量提供對此位移之量測。舉例而言,第一視圖中之圖像的視訊區塊可與指示第二視圖中之圖像中的對應視訊區塊之位移的視差向量相關聯。 由於不同攝影機設定或距光源的不同距離,對應於相同時間例項(但在不同視圖中)之圖像可含有幾乎相同之圖像,但圖像中之一者中之對象可比其他圖像中之對應對象更亮。照明補償(IC)為實施於3D-HEVC中以用於在執行視圖間預測時補償視圖之間的照明之此類差異的技術。在3D-HEVC中,視訊寫碼器判定當前圖像之當前CU之當前PU的視差向量。另外,視訊寫碼器可計算當前CU之兩個IC參數。本發明將IC參數標示為ab 。另外,針對當前PU之明度預測性區塊之每一各別樣本,視訊寫碼器計算:p (i, j ) =a *r (i +dvx ,j +dvy + b ) 在以上方程式中,p (i , j )為當前PU之明度預測性區塊之各別樣本,( i , j ) 為指示各別樣本相對於當前圖像之左上角之位置的座標,dvx 為當前PU之視差向量的水平分量,dvy 為當前PU之視差向量的垂直分量,且ab 為IC參數。 如本發明中其他處更詳細地描述,在3D-HEVC中定義IC參數b 之公式涉及除以與當前CU之頂側及左側相鄰之參考樣本的數目的除法運算。在3D-HEVC中,與當前CU之頂側及左側相鄰之參考樣本的數目始終為2的冪次方。因此,公式中定義IC參數b 之除法運算可使用右移運算來執行。如本發明中其他處所描述,右移運算可明顯不比執行除法運算複雜且可明顯比執行除法運算更快。 對於2維視訊寫碼,如H.Liu,「Local Illumination Compensation」(ITU電信標準化部門,研究組16問題6,視訊寫碼專家組(VCEG),第52次會議,2015年6月19至26日,波蘭華沙,文件VCEG-AZ06 (在下文中,「VCEG-AZ06」))中所描述,針對每一經框間模式寫碼之寫碼單元(CU)適應性地啟用或停用局部照明補償(LIC),且LIC係基於照明變化之線性模型,使用比例因子a 及偏移b 。當LIC適用於CU時,對於屬於CU之每一PU/子PU,以使用CU之經子取樣(2:1子取樣)相鄰樣本及參考圖像中之對應像素(由當前PU/子PU之運動資訊識別)的方式來導出LIC參數。對於具有等於N×N之大小的CU,用於參數計算之界限像素之總數目為N而非2N。在圖20中說明實例。LIC參數經導出且針對每一預測方向分開應用。基於上述相鄰樣本採用最小平方誤差來導出參數ab 。 僅在CU僅具有單個PU時使用IC。然而,在CU具有多個PU的情況下可能需要使用IC,包括其中CU被分割成2個或3個PU及/或CU經不對稱分割的情況。在此等情況下,與當前CU之頂側及左側相鄰之參考樣本的數目可不再為2的冪次方。因此,使用右移運算來計算IC參數b 可為不可能的。相反地,視訊寫碼器可能需要使用更慢且更複雜的除法運算來計算IC參數b 。 為解決此問題,視訊寫碼器可對第一參考樣本集合進行子取樣以產生包括總共2 m 個參考樣本之第一經子取樣之參考樣本集合,其中m 為整數。在本發明中,術語子取樣指示自樣本集合選擇一或多個樣本,且下取樣指示濾波過程,其中若干參考樣本可一起使用以導出經濾波樣本。參考樣本集合可包含在PU之非正方形預測性區塊外的沿非正方形預測性區塊之左側及頂側的樣本。因此,參考樣本在本文中亦可被稱作相鄰者樣本或相鄰樣本。另外,視訊寫碼器可對第二參考樣本集合進行子取樣以產生包括總共2m 個參考樣本之第二經子取樣之參考樣本集合,其中m 為整數。第二參考樣本集合可包含在參考區塊(例如,視圖間參考區塊或時間參考區塊)外的沿參考區塊之左側及頂側的樣本。視訊寫碼器可接著基於第一經子取樣之參考樣本集合及第二經子取樣之參考樣本集合判定至少IC參數b 。由於第一經子取樣之參考樣本集合及第二經子取樣之參考樣本集合各自包括2 m 個樣本,視訊寫碼器可使用右移運算而非除法運算來計算IC參數b 。以此方式,本發明之技術可降低視訊寫碼器之複雜度及/或加速視訊寫碼。 如上文所提及,非正方形TU之引入可引入某些問題。舉例而言,即使CU之PU不為正方形,將CU分割成TU之先前技術遵循四分樹分裂模式。在本發明中,四分樹亦可被稱作四分之一樹。始終使用四分樹分裂模式可導致次佳視訊資料壓縮效能,尤其在四分樹分裂模式不將TU之側面與CU之PU之側面對準的情況下。 因此,根據本發明之技術,CU之轉換樹並不受限於四分樹分裂模式。相反地,轉換樹中之節點可具有兩個子節點。因此,在一個實例中,視訊解碼器可判定CU基於樹結構經分割成TU。在此實例中,視訊解碼器可判定樹結構中之節點恰好具有樹結構中之兩個子節點。在此實例中,樹結構之根節點對應於CU之寫碼區塊,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊,且樹結構之葉節點對應於CU之TU。在一些實例中,轉換樹中之節點可具有2個或4個子節點。節點具有2個或4個子節點之彈性可增加視訊寫碼壓縮效能。 圖1為說明可利用本發明之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所示,系統10包括源器件12,其提供稍後時間將由目的地器件14解碼的經編碼視訊資料。詳言之,源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型電腦(亦即,膝上型電腦)、平板電腦、機上盒、電話手持機(諸如所謂的「智慧」電話)、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或類似物。在一些情況下,源器件12及目的地器件14可能經裝備以用於無線通信。 在圖1之實例中,源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、經組態以儲存視訊資料之儲存媒體29、視訊解碼器30及顯示器件32。在其他實例中,源器件及目的地器件可包括其他組件或配置。舉例而言,源器件12可自外部視訊源(諸如,外部攝影機)接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合式顯示器件。 圖1之所說明系統10僅為一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術通常由視訊編碼器件執行,但該等技術亦可由視訊編碼器/解碼器(通常被稱為「編解碼器」)執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以供傳輸至目的地器件14的此類寫碼器件之實例。在一些實例中,器件12、14可以實質上對稱之方式操作,使得器件12、14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸以用於(例如)視訊串流傳輸、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊捕獲器件(諸如視訊攝影機)、含有先前所捕獲之視訊的視訊存檔,及/或用以自視訊內容提供者接收視訊資料的視訊饋入介面。作為另一替代,視訊源18可產生基於電腦圖形之資料作為源視訊,或實況視訊、經存檔視訊及電腦產生之視訊的組合。在一些情況下,源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如,儲存媒體19)。本發明中所描述之技術可大體上適用於視訊寫碼,且可應用於無線及/或有線應用。在每一情況下,可藉由視訊編碼器20編碼所捕獲、經預先捕獲或電腦產生之視訊。輸出介面22可接著將經編碼視訊資訊輸出至電腦可讀媒體16上。 輸出介面22可包含各種類型之組件或器件。舉例而言,輸出介面22可包含無線傳輸器、數據機、有線網路連接組件(例如,乙太網路卡)或另一實體組件。在輸出介面22包含無線接收器之實例中,輸出介面22可經組態以接收根據蜂巢式通信標準(諸如,4G、4G-LTE、LTE高級、5G及類似者)調變之資料,諸如,位元串流。在輸出介面22包含無線接收器之一些實例中,輸出介面22可經組態以接收根據其他無線標準(諸如,IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、藍芽™標準及其類似物)調變之資料,諸如,位元串流。在一些實例中,輸出介面22之電路可整合於源器件12之視訊編碼器20及/或其他組件之電路中。舉例而言,視訊編碼器20及輸出介面22可為系統單晶片(SoC)之部分。SoC亦可包括其他組件,諸如,通用微處理器、圖形處理單元等。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一個實例中,電腦可讀媒體16可包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(諸如網際網路))的一部分。通信媒體可包括路由器、交換器、基地台或可適用於促進自源器件12至目的地器件14的通信之任何其他設備。目的地器件14可包含經組態以儲存經編碼視訊資料及/或經解碼視訊資料之一或多個資料儲存媒體。 在一些實例中,輸出介面22可將經編碼資料輸出至儲存器件。類似地,輸入介面28可存取來自儲存器件之經編碼資料。儲存器件可包括多種分佈式或本端存取之資料儲存媒體中之任一者,諸如,硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在再一實例中,儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼之視訊資料。此資料連接可包括適於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等),或兩者之結合。來自儲存器件之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸,或其組合。 該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者的視訊寫碼,諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如,經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援應用諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 電腦可讀媒體16可包括暫時性媒體,諸如無線廣播或有線網路傳輸,或非暫時性儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可自源器件12接收經編碼視訊資料,且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地,媒體產生設施(諸如光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,可將電腦可讀媒體16理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。輸入介面28可包含各種類型之組件或器件。舉例而言,輸入介面28可包含無線接收器、數據機、有線網路連接組件(例如,乙太網路卡)或另一實體組件。在輸入介面28包含無線接收器之實例中,輸入介面28可經組態以接收根據蜂巢式通信標準(諸如,4G、4G-LTE、LTE高級、5G及類似者)調變之資料,諸如,位元串流。在輸入介面28包含無線接收器之一些實例中,輸入介面28可經組態以接收根據其他無線標準(諸如,IEEE 802.11規範、IEEE 802.15規範(例如,ZigBee™)、藍芽™標準及其類似物)調變之資料,諸如,位元串流。在一些實例中,輸入介面28之電路可整合於目的地器件14之視訊解碼器30及/或其他組件之電路中。舉例而言,視訊解碼器30及輸入介面28可為系統單晶片(SoC)之部分。SoC亦可包括其他組件,諸如,通用微處理器、圖形處理單元等。 電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊(其亦由視訊解碼器30使用),該語法資訊包括描述區塊及其他經寫碼單元(例如,圖像群組(GOP))之特性及/或處理的語法元素。顯示器件32可向使用者顯示經解碼視訊資料。舉例而言,目的地器件14或視訊解碼器30可針對顯示器件32來顯示而輸出視訊資料之經重建構圖像。此類經重建構圖像可包含經重建構區塊。顯示器件32可包含多種顯示器件中之任一者,諸如,陰極光線套管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器20及視訊解碼器單元30各自可實施為多種合適編碼器電路中之任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)之部分。 在一些實例中,視訊編碼器20及視訊解碼器30可根據視訊寫碼標準操作。實例視訊寫碼標準包括但不限於:ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦被稱作ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外,ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)的視訊寫碼聯合合作小組(JCT-VC)近來已開發出新的視訊寫碼標準,亦即高效率視訊寫碼(HEVC)。Wang等人之「High Efficiency Video Coding (HEVC) Defect Report」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC),第14次會議:奧地利,維也納,2013年7月25日至8月2日,文件JCTVC-N1003_v1 (在下文中,「JCTVC-N1003」))為HEVC標準之草案。JCTVC-N1003係獲自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip。 在HEVC及其他視訊寫碼規範中,視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括一或多個樣本陣列。圖像之每一各別樣本陣列可包含各別色彩分量之樣本陣列。在HEVC中,圖像可包括三個樣本陣列,標示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(亦即,區塊)。SCb 為Cb色度樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。在其他情況下,圖像可為單色的,且可僅包括明度樣本陣列。 作為編碼視訊資料之部分,視訊編碼器20可編碼視訊資料之圖像。換言之,視訊編碼器20可產生視訊資料之圖像之經編碼表示。圖像之經編碼表示可被稱為「經寫碼圖像」或「經編碼圖像」。 為產生圖像之經編碼表示,視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含明度樣本之CTB、色度樣本之兩個對應CTB,及用以寫碼CTB之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CTU可包含單一CTB區塊及用以寫碼該CTB之樣本的語法結構。CTB可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。語法結構可被定義為以指定次序一起存在於位元串流中之零或多個語法元素。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。 本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」指代一或多個樣本區塊及用於對樣本之該一或多個區塊之樣本進行寫碼的語法結構。視訊單元之實例類型可包括CTU、CU、PU、轉換單元(TU)、巨集區塊、巨集區塊分區,等等。在一些上下文中,PU之論述可與巨集區塊或巨集區塊分區之論述互換。 在HEVC中,為產生經寫碼CTU,視訊編碼器20可對CTU之寫碼樹型區塊遞歸地執行四分樹分割,以將寫碼樹型區塊劃分成寫碼區塊,因此命名「寫碼樹單元」。寫碼區塊為樣本之N×N區塊。CU可包含圖像之明度樣本的寫碼區塊及色度樣本的兩個對應寫碼區塊,該圖像具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列,及用以對該等寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CTU可包含單一寫碼區塊及用於對該寫碼樹型區塊之樣本進行寫碼的語法結構。 視訊編碼器20可編碼視訊資料之圖像之CU。作為編碼CU之部分,視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為其上應用相同預測之樣本的矩形(亦即,正方形或非正方形)區塊。預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,PU可包含單一預測區塊及用以對該預測區塊進行預測之語法結構。視訊編碼器20可針對CU之每一PU的預測區塊(例如,明度、Cb及Cr預測區塊)產生預測性區塊(例如,明度、Cb及Cr預測性區塊)。 因此,大體而言,PU可包含樣本之一或多個預測區塊及用於對該等預測區塊進行預測之語法結構。在一些實例編解碼器中,諸如HEVC,PU可為CU之子單元。在其他實例編解碼器中,CU與PU之間可不存在區別。在一些實例中,其他術語可用於PU。 視訊編碼器20可使用框內預測或框間預測,從而產生PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊,則視訊編碼器20可基於包括PU之圖像的經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測以產生當前圖像之PU之預測性區塊,則視訊編碼器20可基於參考圖像(亦即,除當前圖像外之圖像)的經解碼樣本產生PU之預測性區塊。 在視訊編碼器20產生CU之一或多個PU的預測性區塊(例如,明度、Cb及Cr預測性區塊)之後,視訊編碼器20可產生CU之一或多個殘餘區塊。舉例而言,視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差。另外,視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中的一者中之Cb樣本與CU之原始Cb寫碼區塊中之對應的樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。 重申,在HEVC中,圖塊中之最大寫碼單元稱為CTU。每一圖像經劃分成CTU,可針對特定圖像塊或圖塊按光柵掃描次序寫碼該等CTU。CTU為正方形區塊且表示四分樹(亦即,寫碼樹)之根。CTU含有四分樹,該四分樹之節點為CU。在一些情況下,CTU之大小可在HEVC主規範中之16×16至64×64範圍內(儘管在技術上可支援8×8 CTU大小)。在一些情況下,CTU大小可在8×8至64×64明度樣本範圍內,但通常使用64×64。每一CTU可經進一步分裂成稱為CU之較小正方形區塊。CU可與CTU之大小相同,儘管CU可與8×8一樣小。每一CU藉由一個模式而寫碼。舉例而言,CU可經框間寫碼或經框內寫碼。當CU經框間寫碼時,CU可進一步分割成2個或4個PU,或當不應用進一步分割時變為僅一個PU。當兩個PU存在於一個CU中時,兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。當CU經框間寫碼時,針對每一PU存在一個運動資訊集合。另外,每一PU藉由唯一框間預測模式寫碼以導出組運動資訊集合。換言之,每一PU可具有其自身運動資訊集合。 此外,視訊編碼器20可將CU之殘餘區塊分解為一或多個轉換區塊。舉例而言,視訊編碼器20可使用四分樹分割以將CU之殘餘區塊(例如,明度、Cb及Cr殘餘區塊)分解成一或多個轉換區塊(例如,明度、Cb及Cr轉換區塊)。轉換區塊為其上應用相同轉換之樣本的矩形(亦即,正方形或非正方形)區塊。 CU之轉換單元(TU)可包含明度樣本之轉換區塊、色度樣本之兩個對應轉換區塊及用以對轉換區塊樣本進行轉換之語法結構。因此,CU之每一TU可具有明度轉換區塊、Cb轉換區塊以及Cr轉換區塊。 TU之明度轉換區塊可為CU之明度殘餘區塊的子區塊。Cb轉換區塊可為CU之Cb殘餘區塊之子區塊。Cr轉換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中,TU可包含單一轉換區塊及用以對該轉換區塊之樣本進行轉換的語法結構。 視訊編碼器20可將一或多個轉換應用於TU之轉換區塊以產生TU之係數區塊。舉例而言,視訊編碼器20可將一或多個轉換應用於TU之明度轉換區塊,從而產生TU之明度係數區塊。係數區塊可為轉換係數之二維陣列。轉換係數可為純量。在一些實例中,一或多個轉換將轉換區塊自像素域轉換至頻域。 在一些實例中,視訊編碼器20不對轉換區塊應用轉換。換言之,視訊編碼器20將轉換之應用跳至轉換區塊。在此等實例中,視訊編碼器20可以與轉換係數相同之方式處理殘餘樣本值。因此,在視訊編碼器20跳過轉換之應用的實例中,轉換係數及係數區塊之以下論述可適用於殘餘樣本之轉換區塊。 在產生係數區塊(例如,明度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器20可量化係數區塊。在一些實例中,視訊編碼器20不量化係數區塊。在視訊編碼器20不將轉換應用於轉換區塊的實例中,視訊編碼器20可或可不量化轉換區塊之殘餘樣本。量化大體上指轉換係數經量化以可能減少用以表示轉換係數的資料之量從而提供進一步壓縮之過程。在視訊編碼器20量化係數區塊之後,視訊編碼器20可熵編碼指示經量化轉換係數或殘餘樣本之語法元素。舉例而言,視訊編碼器20可對指示經量化轉換係數或殘餘樣本之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。在一些實例中,視訊編碼器20使用基於調色盤之寫碼來編碼CU。因此,經編碼區塊(例如,經編碼CU)可包括指示經量化轉換係數之經熵編碼語法元素。 視訊編碼器20可輸出包括形成視訊資料及相關聯資料(亦即,與經編碼圖像相關聯之資料)之經編碼圖像之表示的位元序列之位元串流。因此,位元串流包含視訊資料之經編碼表示。位元串流可包含網路抽象層(NAL)單元的序列。NAL單元為含有對NAL單元中的資料類型之指示及位元組的語法結構,該等位元組含有呈按需要穿插有仿真阻止位元之原始位元組序列酬載(RBSP)之形式的彼資料。NAL單元中之每一者可包括NAL單元標頭且囊封RBSP。NAL單元標頭可包括指示NAL單元類型程式碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型程式碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下,RBSP包括零個位元。 視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外,視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素重建構視訊資料之圖像。重建構視訊資料之圖像的程序通常可與由視訊編碼器20執行以編碼圖像之程序互逆。舉例而言,為了重建構視訊資料之圖像,視訊解碼器30可基於自位元串流獲得之語法元素及/或來自外部源之資料解碼圖像之區塊,諸如,CU。 在一些實例中,作為解碼圖像之當前CU之部分,視訊解碼器30可使用框間預測或框內預測來產生當前CU之每一PU的一或多個預測性區塊。當使用框間預測時,視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。另外,在一些實例中,視訊解碼器30可逆量化當前CU之TU的係數區塊。在一些實例中,視訊解碼器30可對係數區塊執行逆轉換以重建構當前CU之TU的轉換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的轉換區塊之對應經解碼樣本(例如,殘餘樣本)來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊,視訊解碼器30可重建構圖像。 此外,在HEVC中,已指定將圖像分割為被稱作圖像塊之矩形區域的選擇。圖像塊之主要目的在於增加平行處理之能力而非提供錯誤恢復。圖像塊為圖像之使用一些共用標頭資訊經編碼之可獨立解碼區域。圖像塊另外可用於對視訊圖像之本端區域之空間隨機存取的目的。圖像之典型圖像塊組態由將圖像分段為在每一圖像塊中具有大致上相等數目之CTU的矩形區域構成。圖像塊提供在粒度(圖像/子圖像)之更粗糙位準的平行度,且針使用該等圖像塊不需要執行緒之複雜同步。 為了調適殘餘區塊之各種特性,在HEVC中應用使用殘餘四分樹(RQT)之轉換寫碼結構,該轉換寫碼結構經簡要地描述於Marpe等人之「Transform Coding Using the Residual Quadtree (RQT)」(Fraunhofer Heinrich Hertz Institute)中,其可獲自http://www.hhi.fraunhofer.de/fields-of-competence/image-processing/researchgroups/ image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the- residual-quadtree-rqt.html。在CTU遞歸地分裂成CU之後,將每一CU進一步劃分為PU及TU。將CU分割成TU係基於四分樹方法遞歸地進行,因此每一CU之殘餘信號係藉由樹結構(即,殘餘四分樹(RQT))來寫碼。RQT允許自4×4達32×32明度樣本之TU大小。圖2A及圖2B為說明基於HEVC中之殘餘四分樹之實例轉換方案的概念圖。特定而言,圖2A展示CU 40包括十個TU (使用字母a至j標記)及對應區塊分割之實例。圖2B為說明圖2A之CU之RQT的概念圖。 視訊寫碼器可以深度優先樹遍歷次序處理個別TU,深度優先樹遍歷次序在圖2A中以字母次序說明,其遵循使用深度優先遍歷之遞歸Z掃描。四分樹方法使得能夠將調適轉換至殘餘信號之變化空間頻率特性。通常,具有更大空間支援之更大轉換區塊大小提供更佳頻率解析度。然而,具有更小空間支援之更小轉換區塊大小提供更佳空間解析度。(例如)基於率失真最佳化技術藉由編碼器模式決策選擇兩個(空間及頻率)解析度之間的折衷。率失真最佳化技術針對每一寫碼模式(例如,特定RQT分裂結構)計算寫碼位元及重建構失真之加權總和(亦即,率失真成本),且選擇具有最小率失真成本之寫碼模式作為最佳模式。 三個參數定義於RQT中:樹之最大深度、最小允許之轉換大小及最大允許之轉換大小。在HEVC中,最小及最大轉換大小可在自4×4至32×32樣本範圍內變化,該範圍對應於先前段落中提到之所支援區塊轉換。RQT之最大允許之深度限制TU之數目。最大深度等於零意謂:若每一所包括TU達至最大允許轉換大小(例如,32×32),則不能更進一步分裂CTU。在HEVC中,不採用更大的大小轉換(例如,64×64轉換),主要因為考慮到其受限的益處及對於相對較小解析度視訊之相對較高的複雜度。 在HEVC中,無論TU之大小,使用非重疊係數群組(CG)來寫碼TU之殘餘(例如,TU之係數區塊)。CG中之每一者含有TU之4×4區塊之係數。舉例而言,32×32 TU具有總共64個CG,且16×16 TU具有總共16個CG。根據某一預定義掃描次序寫碼TU之CG。當寫碼每一CG時,根據用於4×4區塊之某一預定義掃描次序掃描並寫碼當前CG內部之係數。圖3為說明基於HEVC中之係數群組之實例係數掃描的概念圖。特定而言,圖3說明用於含有四個4×4 CG之8×8 TU的係數掃描。 如上文所提到,視訊編碼器20及視訊解碼器30可執行框內預測以產生預測性區塊。框內預測使用其空間相鄰經重建構影像樣本執行影像區塊預測。圖4為說明16×16區塊之框內預測之實例的概念圖。在圖4中,區塊正方形含有16×16區塊50。在圖4中,藉由上方及左方相鄰經重建構樣本52、54 (亦即,參考樣本)沿經選擇預測方向來預測區塊50。在圖4中,黑色方塊外之樣本為參考樣本。圖4中之白色箭頭指示經選擇預測方向。 圖5為說明HEVC中定義之35個框內預測模式之實例的概念圖。如圖5中所指示,HEVC定義用於明度區塊之框內預測的35個模式(包括平面模式、DC模式及33個角度模式)。定義於HEVC中之框內預測之35個模式如下表中所展示經索引化: 1 - 框內預測模式及相關聯名稱之說明 HEVC框內寫碼支援兩種類型之PU劃分,2N×2N及N×N。2N×2N將CU分裂成一個PU。換言之,CU具有與CU具有相同大小之一個PU。N×N將CU分裂成四個相等大小之PU。然而,藉由分割類型PART_N×N指定之四個區域亦可由具有分割類型PART_2N×2N之四個較小CU表示。由於此原因,HEVC允許框內CU僅以最小CU大小分裂成四個PU。 圖6為說明HEVC中定義之平面模式的概念圖。平面模式通常為最常使用之框內預測模式。為執行N×N區塊之平面預測,針對位於(x,y)處之每一樣本pxy ,使用具有雙線性濾波器之四個特定的相鄰經重建構樣本(亦即,參考樣本)來計算預測值。四個參考樣本包括右上經重建構樣本TR、左下經重建構樣本BL及與當前樣本位於同一行(rx ,- 1 )及列(r- 1 , y )中的兩個經重建構樣本60、62。平面模式可公式化如下: pxy = ((N - 1 - x)·L + (x + 1)·TR + (N - 1 - y)·T + (y + 1)·BL + N) >> (Log2( N ) + 1 (1) 在以上公式(1)中,L對應於經重建構樣本60且T對應於經重建構樣本62。對於DC模式,簡單地用相鄰經重建構樣本之平均值填充預測區塊。大體而言,針對模型化平穩地變化及恆定影像區域應用平面及DC模式兩者。 圖7為HEVC中定義之實例角度模式的概念圖。HEVC中之角度框內預測模式之框內預測過程描述如下。對於每一給定角度框內預測模式,可相應地識別框內預測方向。舉例而言,可根據圖5識別給定角度框內預測模式。如圖5中所示,框內模式18對應於純水平預測方向,且框內模式26對應於純垂直預測方向。給定一特定框內預測方向,針對預測區塊之每一各別樣本,各別樣本之座標(x,y)沿預測方向首先投射至相鄰經重建構樣本之列或行。舉例而言,如圖7之實例中所示,預測區塊72之樣本70之座標(x,y)沿特定框內預測方向74投射。假設(x,y)投射至兩個相鄰經重建構樣本L與R之間的分數位置α。隨後,使用二分接頭雙線性內插濾波器來計算(x,y)之預測值,公式如下: pxy = (1- α)·L + α·R。 在HEVC中,為了避免浮點運算,使用整數算術將以上計算估算為: pxy = ( (32- a)·L + a·R + 16 )>>5, 其中a為等於32*α之整數。 圖8為HEVC中用於針對框間預測分裂CU之分割模式的概念圖。如圖8中所示,在HEVC中,經框間寫碼CU可分裂成一個、兩個或四個分區且各種類型之此分裂為可能的。經框間預測寫碼區塊之分割機率描繪於圖8中。較高四個分割類型分別說明不分裂大小N×N之CU、將CU分裂成大小N×N/2或N/2×N之兩個分區及將CU分裂成大小N/2×N/2之四個分區的情況。圖8中之較低四個分割類型被稱為不對稱運動分割(AMP)。AMP模式之一個分區分別具有高度或寬度N/4及寬度或高度N,且其他分區藉由具有高度或寬度3N/4及寬度或高度N來填充CU之剩餘部分。每一經框間寫碼分區指派有一個或兩個運動向量及參考圖像索引。 對於框內圖塊,僅允許框內預測模式。因此,不需要傳信預測模式。然而,對於框間圖塊(P或B圖塊),允許框內預測模式及框間預測模式兩者。因此,在HEVC中,對於每一CU,針對非跳躍模式傳信一個旗標pred_mode_flag。在下文中呈現CU之定義於HEVC中之語法及語義的部分清單:7.3.8.5 寫碼單元語法 cu _ skip _ flag [ x0 ][ y0 ]等於1指定對於當前寫碼單元,當解碼P或B圖塊時,除合併候選索引merge_idx[ x0 ][ y0 ]外沒有語法元素在cu_skip_flag[ x0 ][ y0 ]之後解析。cu_skip_flag[ x0 ][ y0 ]等於0指定不跳過寫碼單元。陣列索引x0、y0指定所考慮寫碼區塊之左上明度樣本相對於圖像之左上明度樣本的位置(x0,y0)。當不存在cu_skip_flag[ x0 ][ y0 ]時,推斷cu_skip_flag[ x0 ][ y0 ]等於0。pred _ mode _ flag 等於0指定當前寫碼單元係以框間預測模式寫碼。pred_mode_flag 等於1指定當前寫碼單元係以框內預測模式寫碼。由於x = x0..x0 + nCbS − 1且y = y0..y0 + nCbS − 1,如下導出變數CuPredMode[ x ][ y ]: - 若pred_mode_flag等於0,則CuPredMode[ x ][ y ]經設定等於MODE_INTER。 - 否則(pred_mode_flag等於1),CuPredMode[ x ][ y ]經設定等於MODE_INTRA。 當不存在pred_mode_flag時,由於x = x0..x0 + nCbS − 1且y = y0..y0 + nCbS – 1,如下導出變數CuPredMode[ x ][ y ]: - 若slice_type等於I,則推斷CuPredMode[ x ][ y ]等於MODE_INTRA。 - 否則(slice_type等於P或B),當cu_skip_flag[ x0 ][ y0 ]等於1時,推斷CuPredMode[ x ][ y ]等於MODE_SKIP。 在開發HEVC之過程期間及之後已經提出各種提議以增強HEVC 。舉例而言,Jianle Chen等人之「Further improvements to HMKTA-1.0」(文件:VCEG-AZ07_v2,第52次會議:2015年6月19日至26日,波蘭,華沙,(在下文中,「VCEG-AZ07」))描述短距離框內寫碼方案。與始終針對框內預測產生正方形區塊的傳統區塊分割方法不同,VCEG-AZ07之短距離框內預測(SDIP)方案採用HEVC之基於四分樹之區塊結構的非正方形區塊分裂。如VCEG-AZ07中所描述,區塊經分裂成具有四分之一寬度或高度之四個非正方形區塊,且每一非正方形區塊被視為預測之基本單元。按次序寫碼及重建構非正方形區塊,且該等非正方形區塊可為下一相鄰區塊提供框內預測之參考像素。因此,參考像素與局部像素之間的距離可減小,且框內預測之精確度可改良許多。 圖9為SDIP單元分割之概念圖。在SDIP方案中,小於64×64之CU可分裂成具有大小N/2×2N或2N×N/2之四個垂直或水平矩形PU (此等分割模式在本發明中可被稱作hN×2N及2N×hN,其中h意謂一半)。在hN×2N模式中從左到右,及在2N×hN模式中從上到下按次序寫碼及重建構四個PU。在圖9中,點虛線表示PU/TU分裂,且陰影區域78標示32×8 TU被分裂成RQT結構中之4個32×2 TU。具有分割模式2N×hN之右上方32×32 CU分裂成四個32×8 PU,具有模式hN×2N之左下方16×16 CU分裂成四個4×16 PU,右下方8×8 CU分裂成8×2 PU等等。在HEVC中亦可存在CU之正方形分裂,諸如2N×2N模式中之左下方16×16 CU及N×N模式中之右下方8×8 CU。 此外,在SDIP方案中,M×N (M > N) TU可分裂成具有大小M×N/4 (或當M < N時,M/4×N)之四個TU。換言之,SDIP方案中之分裂應始終沿CU中之同一方向(垂直或水平)進行。下文表2列出了SDIP方案中存在之所有非正方形單元及對應RQT深度。 2 - SDIP 方案中之單元及對應 RQT 深度之清單 在Xiaoran Cao等人之「CE6.b1 Report on Short Distance Intra Prediction Method」(文件JCTVC-E0278,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC),第5次會議:日內瓦,2011年3月16日至23日(在下文中,「Cao 1」))中,進一步包括類似1×N及N×1之分區且對應RQT深度及轉換大小在下表3中列出: 3 - Cao 1 中之 SDIP 中之轉換大小的清單 此外,一些SDIP方案使用非正方形轉換及熵寫碼。舉例而言,將n×m轉換用於非正方形區塊。對於n×m (n > m)區塊,如下描述正轉換:(1)。 在以上方程式中,Bnxm 標示具有n列及m行之區塊,Tn 及Tm 分別為大小n×n及m×m之轉換矩陣,且Cnxm 標示經轉換區塊。Tn 及Tm 與HEVC中之轉換矩陣相同。因此,對於硬體實施,轉換部分可再次用於非正方形區塊。對於n×m (n < m)區塊,區塊首先經轉置成m×n (m > n)區塊且接著按方程式(1)轉換。對於熵寫碼,為了避免重複實施,亦再使用正方形區塊之係數寫碼。舉例而言,圖10為經掃描及組織為8×8矩陣82之16×4係數矩陣80之概念圖。在此實例中,係數矩陣80之係數首先自高頻至低頻掃描至1D緩衝器84,如圖10中所示,且接著按之字形次序重新組織成使用HEVC中之現有方法寫碼之8×8矩陣82。 在所提出之對HEVC之增強的另一實例中,Liu等人之「Rectangular (2N×N, N×2N) Intra Prediction」(文件JCTVC-G135,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC),第7次會議:日內瓦,2011年11月21日至30日(在下文中,「JCTVC-G135」))描述將框間寫碼的2N×N及N×2N分區大小之使用擴展到框內寫碼。在下表2中給定額外PU大小及對應TU。在JCTVC-G135中,採用習知的轉換四分樹結構。 2 - JCTVC - G135 中之轉換大小的清單 以下技術描述於VCEG-AZ07中。為捕獲自然視訊中所呈現之更平滑邊緣方向,如HEVC中所定義,VCEG-AZ07提出將方向框內模式自33擴展至65。圖11為說明所提出之67個框內預測模式的概念圖。VCEG-AZ07中描述之方向模式在圖11中指示為虛線箭頭,且平面及DC模式保持相同。VCEG-AZ07中所提出之更密集方向框內預測模式適用於所有PU大小及明度框內預測及色度框內預測兩者。 為了適應增加數目個方向性框內模式,VCEG-AZ07提出了使用6個最可能模式(MPM)之經改良框內模式寫碼方法。涉及兩個主要技術態樣:1) 6個MPM之導出,及2) 6個MPM之熵寫碼。當導出6個MPM之集合時,VCEG-AZ06改變了對左方及上方相鄰框內模式之定義。如在HEVC中,沿頂部相鄰列且沿左方相鄰行之最常使用之框內模式經計算,且接著分別用作左方相鄰模式及上方相鄰模式,而非直接使用自頂部及左方相鄰區塊之框內模式。 此外,如VCEG-AZ07中所描述,利用四分接頭框內內插濾波器來改良方向框內預測之準確度。舉例而言,如上文關於圖7所描述,HEVC使用二分接頭線性內插濾波器在方向性預測模式(亦即,不包括平面及DC預測子之框內預測模式)中產生框內預測區塊。特定而言,在圖7之實例中,視訊寫碼器將二分接頭濾波器應用於樣本L及R以判定樣本50之預測性值。相較於HEVC之將濾波器應用於兩個參考樣本以判定預測區塊之樣本的預測性值之方法,VCEG-AZ07將濾波器應用於四個參考樣本以判定預測區塊之樣本的預測性值。在VCEG-AZ07中,使用兩個類型之四分接頭內插濾波器:用於4×4及8×8區塊之立方形內插濾波器及用於16×16及更大區塊之高斯(Gaussian)內插濾波器。在VCEG-AZ07中,在所有方向模式中,根據區塊大小,濾波器之參數為固定的,且同一濾波器用於所有經預測像素。 在HEVC中,在已針對垂直及水平框內模式產生框內預測區塊之後,分別進一步調整最左行及最上列之預測樣本(亦即,預測性區塊之樣本)。使用二分接頭(針對框內模式2及34)或三分接頭濾波器(針對框內模式3至6及30至33)進一步調整達四個行或列之界限樣本。 圖12A及圖12B為框內模式30至34之界限濾波器之概念圖。特定而言,圖12A為框內模式34之界限濾波器之概念圖。圖12B為框內模式30至33之界限濾波器的概念圖。在圖12A及圖12B中,最左行之區塊為參考樣本集合且剩餘區塊為經框內預測區塊之樣本。視訊寫碼器可以習知方式產生框內預測性區塊之樣本。然而,對於框內預測模式30至34,視訊編碼器可將一或多個額外濾波器應用於陰影像素。因此,框內模式34及30至33之界限預測濾波器之實例展示於圖12A及圖12B中,且框內模式2及3至6之界限預測濾波器為類似的。 特定而言,在圖12A中,對於框內模式34,視訊寫碼器基於各別樣本上方及右方之參考樣本產生框內預測性區塊之每一各別樣本。然而,此可忽略獲自左參考樣本之資訊。因此,視訊寫碼器可將四個不同濾波器應用於四個最左行。對於框內預測性區塊之線1至4中之每一各別樣本,視訊寫碼器基於框內模式34之相反方向(亦即,左方及下方)上之各別樣本及參考樣本應用濾波器。對於線1,所得樣本可經計算為(8*a + 8*b)/16,其中a為各別樣本且b為參考樣本。對於線2,所得樣本可經計算為(12*a + 4*b)/16,其中a為各別樣本且b為參考樣本。在圖12B之實例中,框內預測模式30至33之方向不與全整數位置像素對準。相反地,對於預測性區塊之每一樣本,框內預測模式30至33之方向與參考樣本在兩個參考樣本之間的分數位置處相交。因此,當針對框內預測模式30至33應用界限濾波器時,針對最左行之預測性區塊之每一樣本存在兩個參考樣本。在圖12B之實例中,對於最左行之預測性區塊之每一各別樣本,當框內預測模式為33時,視訊寫碼器可將各別樣本之值計算為(8*a + 8*b + 2*c),其中a為各別樣本,b為參考樣本中之一者且c為參考樣本之另一者。 可基於色彩空間及色彩格式執行視訊寫碼。舉例而言,色彩視訊在多媒體系統中起主要作用,其中多個色彩空間用於有效地表示色彩。色彩空間使用多個分量指定具有數值之色彩。常用色彩空間為RGB色彩空間,其中色彩表示為三原色分量值(即,紅色、綠色及藍色)之組合。對於色彩視訊壓縮,如倫敦,威斯敏斯特大學之A.Ford及A.Roberts之「Colour space conversions」(1998年8月,Tech. Rep)中所描述,已廣泛地使用YCbCr色彩空間。 可易於經由線性轉換自RGB色彩空間轉換YCbCr,且不同分量之間的冗餘(亦即跨分量冗餘)在YCbCr色彩空間中顯著降低。YCbCr之一個優勢為與黑色及白色TV具有回溯相容性,此係由於Y信號傳達明度資訊。另外,色度頻寬可藉由以與RGB中之子取樣相比具有顯著較小主觀影響之4:2:0色度取樣格式來子取樣Cb及Cr分量而減少。由於此等優勢,YCbCr已成為視訊壓縮中之主要色彩空間。亦存在用於視訊壓縮之其他色彩空間,諸如YCoCg。在本發明中,無論所使用的實際色彩空間如何,YCbCr色彩空間用於表示視訊壓縮方案中之三個色彩分量。 儘管跨分量冗餘在YCbCr色彩空間中顯著減少,但三個色彩分量之間仍存在相關性。已研究各種技術以藉由進一步減少三個色彩分量之間的相關性而改良視訊寫碼效能。 舉例而言,Xiaoran Cao等人之「Short distance intra coding scheme for HEVC」(2012圖像寫碼會議(PCS) 第501至504頁,2012年5月7日至9日,波蘭,克拉科夫(在下文中,「Cao 2」))描述短距離框內寫碼方案。Cao 2描述4:2:0色度視訊寫碼中名為線性模型(LM)預測模式之方法,該方法在HEVC標準之開發期間經研究。參看(例如) J.Chen等人之「CE6.a.4: Chroma intra prediction by reconstructed luma samples」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC), JCTVC-E266,第5次會議:日內瓦,2011年3月16日至23日),且在下文中稱作JCTVC-E266。在4:2:0取樣中,兩個色度陣列中之每一者具有明度陣列之高度的一半及寬度的一半。利用LM預測模式,藉由使用如下線性模型基於相同區塊之重建構明度樣本預測色度樣本:predc (i,j) = α*recL (i,j) + β (2) 其中predc (i , j )表示當前區塊中之色度樣本之預測,且recL (i , j )表示當前區塊之經下取樣之經重建構明度樣本。參數αβ 自當前區塊周圍之致因性重建構樣本導出。區塊之因果樣本為按解碼次序在區塊之前出現的樣本。若藉由N×N標示色度區塊大小,則ij 兩者皆在範圍[0,N)內。 藉由最小化當前區塊周圍之相鄰經重建構明度樣本與色度樣本之間的回歸錯誤導出方程式(2)中之參數αβ(3) 如下解析參數αβ(4)(5) 在以上方程式中,xi 為經下取樣之經重建構明度參考樣本,其中色彩格式並非4:4:4 (亦即,色彩格式為其中一個色度樣本對應於多個明度樣本的一者),yi 為未經下取樣之經重建構色度參考樣本,且I 為參考樣本之數目。換言之,視訊寫碼器可基於色彩格式不為4:4:4對經重建構明度參考樣本進行下取樣,但基於色彩格式為4:4:4避免對經重建構明度參考樣本進行下取樣。對於目標N×N 色度區塊,當左方及上方因果樣本兩者可用時,所涉及樣本之總目數I 等於2N 。當僅左方或上方因果樣本可用時,所涉及樣本之總數目I 等於N 。在此,N 始終等於2 m (其中m 針對不同CU大小可不同)。因此,為了減小複雜度,移位運算可用於執行方程式(4)及(5)中之除法運算。 圖13為說明用於導出αβ 之樣本之實例位置的概念圖。特定而言,圖13說明PU之色度預測性區塊90及同一PU之明度預測性區塊92。由於色度樣本相對於明度樣本經下取樣,色度預測性區塊90之寬度及高度(亦即,N)為明度預測性區塊92之寬度及高度(亦即,2N)的一半。在圖13之實例中,較大黑正方形外之小正方形為參考樣本。在圖13之實例中,小圓圈指示用於判定LM參數αβ 之樣本值。如圖13之實例中所示,用於判定LM參數αβ 之色度樣本值與色度預測性區塊90之參考樣本相同。然而,用於判定LM參數αβ 之明度樣本值係自明度參考樣本內插。用於判定LM參數αβ 之所得明度樣本集合之總數目與用於判定LM參數αβ 之色度樣本的數目相同。 大體而言,當LM預測模式應用於當前PU時,視訊寫碼器可執行以下步驟。第一,視訊寫碼器可重建構當前PU之明度區塊。作為重建構當前PU之明度區塊之部分,視訊寫碼器可執行框內預測以判定當前PU之明度預測性區塊。此外,作為重建構當前PU之明度區塊之部分,視訊寫碼器可將殘餘資料添加至當前PU之明度預測性區塊以重建構當前PU之明度區塊。第二,視訊寫碼器可對與當前PU之頂側及左側相鄰之參考明度樣本進行下取樣。第三,視訊寫碼器可使用上文方程式(4)及(5)以基於與當前PU之頂側及左側相鄰之色度參考樣本及經下取樣之明度參考樣本來導出線性參數(亦即,αβ )。本發明亦可將線性參數稱作為「比例因子」。第四,視訊寫碼器可對當前PU之經重建構明度區塊進行下取樣。第五,視訊寫碼器可使用上文方程式(2)自當前PU之經下取樣之明度區塊及線性參數預測色度樣本(例如,導出預測性色度區塊)。 如上文所提及,視訊寫碼器可對當前PU之經重建構明度區塊進行下取樣。視訊寫碼器可以各種方式對當前PU之經重建構明度區塊進行下取樣。舉例而言,由於色度分量之典型取樣比率為明度分量之比率的一半且在4:2:0取樣中之垂直方向上具有0.5樣本相位差,故當前PU之經重建構明度樣本在垂直方向上經下取樣且在水平方向上經子取樣以匹配色度信號之大小及相位。舉例而言,對於自0至當前PU之預測性色度區塊之寬度減1的每一值i 及自0至當前PU之預測性色度區塊之高度減1之每一值j ,視訊寫碼器可計算:recL (i, j ) = (Rec LOrig [ 2i , 2j ] + RecLOrig [ 2i , 2j + 1] ) >> 1   (6) 在以上方程式中,recL (i , j )為對應於相對於當前PU之下取樣之經重建構明度區塊之左上角的位置(i , j )的明度樣本。Rec LOrig [2i , 2j ]及Rec LOrig [2i , 2j +1]為相對於當前PU之原始經重建構明度區塊之左上角的位置(2i ,2j )及(2i ,2j +1)處之經重建構明度樣本。因此,在方程式(6)中,在當前PU之經下取樣之經重建構明度區塊之位置(i,j)處的明度樣本為當前PU之原始經重建構明度區塊之位置(2i ,2j )處的明度樣本與當前PU之原始經重建構明度區塊之位置(2i ,2j +1)處的明度樣本的平均值。 圖14為說明用於對當前PU之經重建構明度區塊之樣本進行下取樣的明度位置及色度位置之實例的概念圖。圖14將色度樣本描繪為三角形且將明度樣本描繪為圓圈。視訊寫碼器藉由應用[1, 1]濾波器而自兩個明度樣本(在圖14中由兩個實心圓表示)預測當前色度樣本(在圖14中由實心三角形表示)之值。[1, 1]濾波器為2分接頭濾波器的一個實例。在[1, 1]濾波器中,兩個分接頭經等加權。對於圖14中之每一各別三角形,視訊寫碼器可將方程式(6)應用於由各別三角形上方及下方之圓形表示的樣本以判定由各別三角形表示之樣本之各別明度值。 此外,如上文所提及,視訊寫碼器可對明度參考樣本進行下取樣。視訊寫碼器可以各種方式對明度參考樣本進行下取樣。如圖14中所示,當前PU之預測性色度區塊的行與當前PU之預測性明度區塊的行對準。在使用4:2:0色彩格式之一個實例中,與當前明度區塊之頂側相鄰之經下取樣之明度參考樣本可由明度參考樣本集合中之經偶數索引位置處之每一明度參考樣本組成。因此,對於自0至當前PU之預測性色度區塊之寬度減1範圍內的每一各別值i ,下取樣程序可被定義為:recL (i , -1) = Rec LOrig [2i , -1]       (7) 在以上方程式中,recL (i ,-1)為相對於當前PU之色度預測性區塊之左上角之位置(i ,-1)處的經下取樣明度參考樣本。Rec LOrig [2i ,-1]為相對於當前PU之原始預測性明度區塊之左上角的位置(2i ,-1)處之明度參考樣本。 如圖14中所示,在4:2:0色彩格式中,當前PU之預測性色度區塊的列不與當前PU之預測性明度區塊的列對準。然而,用於計算基於LM之預測之參數αβ 的方程式(4)及(5)在此經預測為每一色度參考樣本之一個明度參考樣本。因此,對於當前PU之預測性色度區塊之各別列,視訊寫碼器可計算預測性色度區塊之列上方的當前PU之預測性明度區塊之列中的明度參考樣本與預測性色度區塊之列下方的當前PU之預測性明度區塊之列中的明度參考樣本的平均值。舉例而言,對於自0至預測性色度區塊中之列之數目減1範圍內的每一值j ,視訊寫碼器可如下計算左方相鄰明度參考樣本之值:recL (-1,j ) = (Rec LOrig [-2, 2j ] + Rec LOrig [-2, 2j + 1]) >> 1   (8) 在以上方程式中,recL (-1,j )為相對於當前PU之預測性色度區塊之左上角的位置(-1,j )處之經下取樣明度參考樣本。Rec LOrig [-2,2j ]及Rec LOrig [-2,2j +1]為相對於當前PU之原始預測性明度區塊之左上角的位置(-2,2j )及(-2,2j +1)處之原始明度樣本。 亦已提出了其他下取樣技術。舉例而言,在Yi-Jen Chiu等人之「Cross-channel techniques to improve intra chroma prediction」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC), JCTVC-F502,第6次會議,義大利,都靈(Torino),2011年7月14日至22日(在本文中被稱作「JCTVC-F502」))之中,視訊寫碼器將2維6分接頭濾波應用於當前明度區塊及相鄰明度區塊兩者,而非使用二分接頭濾波器。將2維濾波器係數設定為:(9) 藉由方程式(10)導出經下取樣之明度樣本:(10) 在以上方程式中,recL (i , j )為相對於當前PU之經下取樣之經重建構明度區塊之左上角的位置( i , j ) 處的經重建構明度樣本,且Rec LOrig [..]為相對於當前PU之原始經重建構明度區塊之左上角的位置處的當前PU之原始經重建構明度區塊之經重建構明度樣本。 舉例而言,視訊寫碼器可執行方程式(10)之運算以判定經下取樣之明度區塊。方程式(10)將建構包括於6分接頭濾波器中,該6分接頭濾波器由[1, 2, 1; 1, 2, 1]表示,其具有Rec LOrig [2i , 2j ]、Rec LOrig [2i , 2j + 1 ]、RecLOrig [2i , 2j - 1 ]、Rec LOrig [2i + 1 , 2j ]、Rec LOrig [2i + 1 , 2j + 1 ] 及Rec LOrig [2i + 1 , 2j - 1 ]作為6個輸入樣本。濾波器之分接頭數目指示用於應用濾波器之輸入樣本的數目。舉例而言,在方程式(10)中,視訊寫碼器使用來自經重建構明度區塊之六個值產生經下取樣之明度區塊。 圖15為說明用於對用於產生預測性區塊之明度區塊之樣本進行下取樣的明度位置及色度位置之實例的概念圖。如圖15中所描繪,視訊寫碼器藉由應用6分接頭濾波器自由六個實心圓表示之六個明度樣本預測由實心三角形表示之色度樣本。如方程式(2)中所定義,由於色度樣本之預測子係使用線性函數導出,故可見,當應用6分接頭濾波器時,一個色度樣本之預測子依賴於六個相鄰明度樣本。當組合方程式(2)及(10)時,結果為以下方程式(11):(11) 以下文本將經下取樣之經重建構明度樣本rec L (i , j )稱作位於(i,j)處之色度樣本的對應經下取樣明度樣本。舉例而言,歸因於4:2:0取樣,2N×2N明度區塊對應於N×N色度區塊。藉由下取樣,2N×2N明度區塊成為N×N下取樣明度區塊。此N×N經下取樣明度區塊被稱作rec L (i , j )且對應於N×N色度區塊。 此外,儘管關於4:2:0取樣描述以上實例,但本發明中描述之技術並未如此受限。舉例而言,本發明中描述之技術亦可適用於4:2:2取樣。因此,關於4:2:0之實例僅作為輔助理解而提供。 此外,在一些實例中,本發明中描述之技術亦可適用於4:4:4取樣。舉例而言,在4:4:4取樣中,色度區塊並未相對於明度區塊經子取樣。然而,在此類實例中,判定色度區塊之預測性區塊亦為可能的。舉例而言,可濾波明度區塊且經濾波區塊可用作色度區塊之預測性區塊。在此等實例中,可能不需要下取樣明度區塊。如更詳細解釋,實例技術描述基於色度區塊之位置選擇應用於明度區塊之樣本的濾波器。用於選擇應用於明度區塊之樣本之濾波器的技術可擴展至LM預測(諸如,4:4:4取樣)不需要下取樣之實例。在此類實例中,濾波器可不包括任何下取樣以使得4:4:4取樣得以保留。因此,對4:2:0取樣之描述為實例,且該等技術亦適用於4:4:4取樣。 舉例而言,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可自一組濾波器判定用於下取樣明度區塊之濾波器,而非限於僅使用二分接頭濾波器或六分接頭濾波器來下取樣該明度區塊。作為實例,可存在視訊寫碼器可用以下取樣之X數目個不同濾波器。舉例而言,可存在一分接頭濾波器、二分接頭濾波器、三分接頭濾波器等。此外,對於每一濾波器,特定分接頭可為不同(例如,用於第一二分接頭濾波器之明度樣本不同於用於第二二接頭濾波器之明度樣本)。在本發明中描述之實例中之一些中,該組濾波器包括兩個濾波器;然而,視訊寫碼器自其判定哪一濾波器應用於下取樣明度區塊之多於兩個濾波器為可能的。 視訊寫碼器可使用各種準則,該視訊寫碼器藉由該等準則判定應用之濾波器。作為一個實例,視訊寫碼器基於色度區塊之位置自該組濾波器判定應用哪一濾波器。若色度區塊鄰接圖像、CU、PU或TU之左邊界限(例如,圖像、CU、PU或TU之左邊界限與色度區塊邊緣相同),則視訊寫碼器可使用第一濾波器來下取樣對應於左邊界限上之色度區塊之色度樣本的明度區塊之明度樣本。左邊界限上之色度區塊之樣本指代最接近左邊界限的包括剛好在該界限上之樣本的色度區塊之樣本。可將第一濾波器應用於最接近界限之N個樣本(例如,最接近該界限之樣本,緊鄰彼樣本之一個樣本及N個此類樣本)。 在一些情況下,視訊寫碼器可可將第一濾波器應用於明度區塊之所有明度樣本,而非僅對應於與左邊界限相鄰之色度樣本的彼等樣本。然而,本發明中所描述之技術並未如此受限。對於所有其他情況,視訊寫碼器可使用第二、不同濾波器以下取樣明度區塊。 舉例而言,在4:2:0取樣中,四個明度樣本對應於一個色度樣本。因此,視訊寫碼器可判定哪一色度樣本對應於哪些明度樣本。當使用具有更大分接頭之濾波器時,一個色度樣本可對應於多於四個明度樣本。針對對應於左邊界限上之色度樣本的明度樣本(緊鄰或在樣本數目內),視訊寫碼器可將第一濾波器應用於對應明度樣本以下取樣明度區塊,且針對對應於並非在左方界限上之色度樣本的明度樣本(並非緊鄰或並未在樣本數目內),視訊寫碼器可將第二濾波器應用於對應明度樣本以下取樣明度區塊。 在一些實例中,第一濾波器可包括比第二濾波器更少的分接頭(例如,濾波器在其上延伸之樣本數目)。作為一個實例,第一濾波器為二分接頭濾波器且第二濾波器為六分接頭濾波器。在此實例中,視訊寫碼器可執行方程式(6)之運算以在色度區塊之對應色度樣本在左邊界限上的情況下判定明度區塊之經下取樣明度樣本,且可執行方程式(10)之運算以在色度區塊之對應色度樣本並未在左邊界限上的情況下判定明度區塊之經下取樣明度樣本。因此,在色度樣本之對應經下取樣明度樣本之導出程序期間,與應用於對應於不在左方圖像界限或CU、PU或TU之左方界限處之色度樣本的明度區塊之其他樣本的濾波器相比,視訊寫碼器可將不同濾波器應用於對應於定位在左方圖像界限或CU/PU/TU之左方界限(亦即,側面)的色度區塊之色度樣本的明度區塊之明度樣本 。左方界限處之色度樣本指代緊鄰左方界限或在自左方界限起之一定數目的樣本內之色度樣本。 使用不同濾波器允許視訊寫碼器恰當地使用可用樣本值。舉例而言,針對對應於在圖像、CU、PU或TU之左方界限處之色度樣本的明度樣本使用六分接頭濾波器可導致要求視訊寫碼器使用並非明度區塊之部分的明度樣本值以用於下取樣,且導致視訊寫碼器必須執行一些額外處理以解決明度樣本之短缺(例如,填充明度樣本值以產生並非明度區塊之部分的樣本之值)。然而,在左方界限處使用二分接頭濾波器可不要求視訊寫碼器使用並非明度區塊之部分的明度樣本值以用於下取樣。因此,儘管描述二分接頭及六分接頭濾波器,但考慮到避免需要要求並非明度區塊之部分的明度樣本(例如,為避免需要填充左邊界限上之明度樣本),用於下取樣之其他大小之濾波器可為可能的。 作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,與應用於對應於並未定位於左邊圖像界限處之色度樣本的其他明度樣本之濾波器相比,視訊寫碼器將不同濾波器應用於對應於定位在左邊圖像界限處之色度樣本的明度樣本。在一個實例中,用於導出左方圖像界限處之色度樣本之對應經下取樣明度樣本之濾波器的長度(例如,分接頭) (亦即,濾波器在其上方延伸之樣本數目)小於用於導出不在左邊圖像界限處之色度樣本之對應經下取樣明度樣本之濾波器的長度(例如,二分接頭用於左邊界限且六分接頭用於其他所有)。 作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,與應用於當前CU內之其他明度樣本的濾波器相比,視訊寫碼器將不同濾波器應用於定位於左方CU界限處之色度樣本的明度樣本。在一個實例中,用於導出在左方CU界限處之色度樣本的對應經下取樣明度樣本之濾波器的長度(例如,分接頭) (亦即,濾波器在其上延伸之樣本數目)小於用於導出並未在左方CU界限處之色度樣本的對應經下取樣明度樣本之濾波器的長度(例如,二分接頭用於左方界限及六分接頭用於其他所有)。 作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,與應用於當前PU內之其他樣本的濾波器相比,視訊寫碼器將不同濾波器應用於位於左方PU界限處之色度樣本。在一個實例中,用於導出在左邊PU界限處之色度樣本的對應經下取樣明度樣本之濾波器的長度(例如,分接頭) (亦即,濾波器在其上延伸之樣本數目)小於用於導出並未在左邊PU界限處之色度樣本的對應經下取樣明度樣本之濾波器的長度(例如,二分接頭用於左邊界限及六分接頭用於其他所有)。 作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,與應用於當前TU內之其他樣本的濾波器相比,視訊寫碼器可將不同濾波器應用於位於左方TU界限處之色度樣本。在一個實例中,用於導出在左方TU界限處之色度樣本的對應經下取樣明度樣本之濾波器的長度(例如,分接頭) (亦即,濾波器在其上延伸之樣本數目)小於用於導出並未在左方TU界限處之色度樣本的對應經下取樣明度樣本之濾波器的長度(例如,二分接頭用於左方界限且六分接頭用於其他所有)。 在一些情況下,同一圖像中可能不存在對應明度樣本。下文描述解決此類情況之一些實例技術。舉例而言,儘管在一些情況下避免填充可為有益的,但在一些情況下,避免填充可為不可能的。舉例而言,由於一些明度樣本不可用(例如,由於偏離圖像),視訊寫碼器可以填充樣本值替代此等不可用樣本,並藉由此等填充樣本值執行下取樣(例如,使用可用明度樣本之實際明度樣本值及不可用明度樣本之填充樣本值下取樣)。填充樣本值可為預設值(例如,2bitdepth ,其中bitdepth 指示明度分量之位元深度)、由視訊編碼器20判定且傳信至視訊解碼器30之值,或基於並不要求傳信資訊之一些隱含技術判定之值。添加填補樣本值可減少複雜度,因為可不需要單獨濾波器。 在色度樣本之對應經下取樣明度樣本的導出過程期間,當明度樣本在圖像外或CU/PU/TU需要涉及在下取樣程序中時,視訊寫碼器可首先應用填充操作,接著應用下取樣程序。在樣本之填充中,視訊寫碼器可使用填充樣本值替代偏離螢幕之彼等樣本。 作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,視訊寫碼器可填充位於當前圖像外之明度樣本(例如,僅明度樣本)。對於所有其他位置,使用經重建構樣本。作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,視訊寫碼器可填充位於當前CU外之明度樣本。對於所有其他位置,使用經重建構樣本。作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,視訊寫碼器可填充位於當前PU外之明度樣本。對於所有其他位置,使用經重建構樣本。作為一個實例,在色度樣本之對應經下取樣明度樣本的導出程序期間,視訊寫碼器可填充位於當前TU外之明度樣本。對於所有其他位置,使用經重建構樣本。在針對填充之以上實例中,將同一下取樣程序應用於所有位置。 當用於LM預測模式之明度經重建構樣本的位置位於當前圖塊或當前圖像塊外時,視訊寫碼器可將此類樣本標記為不可用(例如,視訊寫碼器可將此類樣本判定為不可用)。當樣本經標記為不可用時,視訊寫碼器可執行下文中之一或多者。 在用於相鄰明度區塊之下取樣程序時,不可用樣本並不用於相鄰明度區塊之下取樣程序。替代地或另外,濾波器可不同於用於其他樣本之濾波器。在用於當前明度區塊之下取樣程序時,不可用樣本並不用於當前明度區塊之下取樣程序。替代地或另外,濾波器可不同於用於其他樣本之濾波器。將不可用樣本重新標記為可用;然而,將樣本值修改為填充樣本值或預設值。替代地或另外,濾波器與用於其他樣本之濾波器保持相同。在一個實例中,預設值取決於位元深度。在另一實例中,填充可始於標記為可用之左方/右方/上方/下方樣本。 大體而言,針對另一圖像塊中之明度樣本,視訊寫碼器可將圖像塊界限外之像素標記為不可用且不將其包括於下取樣程序中。在一些實例中,視訊寫碼器可將另一圖像塊中之明度樣本標記為可用,但針對另一圖像塊中之此類明度樣本使用填充像素。作為另一實例,視訊寫碼器可針對另一圖像塊中之明度樣本使用填充「擴展」值(例如,基於位元深度之一半可能值,因此8位元,使用128),而非將該等樣本標記為不可用。 在一些實例中,視訊寫碼器可將不同濾波器應用於不同色度色彩分量(Cb或Cr)。在一些實例中,當啟用LM預測模式時,一或多組下取樣濾波器可進一步在序列參數集(SPS)、圖像參數集(PPS)或圖塊標頭中之任一者中加以傳信。替代地或另外,引入補充增強資訊(SEI)訊息語法以描述下取樣濾波器。此外,替代地或另外,在無傳信的情況下定義預設下取樣濾波器,例如,6分接頭濾波器[1, 2, 1; 1, 2, 1]。替代地或另外,一個PU/CU/最大CU可傳信用於LM預測模式之濾波器的索引。替代地或另外,在無需傳信的情況下可藉由視訊解碼器30即時導出濾波器分接頭之使用。可存在亦提供濾波器支援之其他方式。 此外,在一個實例中,應用αi 等於α( i + 3 ) 之約束條件。此外,在一個實例中,應用αi 等於α( i + 2 ) 之約束條件,其中i等於0或3。在一個實例中,可僅針對更大經寫碼CU (例如,CU大小大於16×16)啟用此實例技術。在一個實例中,將參數中之一或多者限制於為0。 此外,視訊寫碼器亦可針對跨分量殘餘預測應用上述技術中之一或多者,其中經下取樣明度殘餘用於預測色度殘餘。在此情況下,作為一個實例,將下取樣程序應用於重建構明度殘餘。 下文為本發明中所描述之技術可藉由視訊寫碼器實施之實例方式。實例實施技術不應被視為限制的。 以下為針對左方圖像界限處之樣本應用不同下取樣處理之實例。將用於當前明度區塊之下取樣程序定義如下: ­若色度樣本不位於圖像之左方界限處,則應用6分接頭濾波器(例如,[1 2 1;1 2 1])導出對應經下取樣明度樣本:(13) ­ 否則,若色度樣本位於圖像之左方界限處,則應用2分接頭濾波器(例如,[1;1])導出對應經下取樣明度樣本:recL (i ,j ) = (Rec LOrig [2i , 2j ] + Rec Lorig [2i , 2j +1] +offset 1) >> 1  (14) 在一個實例中,offset0及offset1均設定為等於0。在另一實例中,將offset0設定為等於4且offset1設定為等於1。 在HEVC中,始終應用正方形轉換,即使對於矩形PU。舉例而言,圖16為說明具有N×N轉換之nR×2N預測模式之概念圖。在圖16之實例中,nR×2N預測模式將具有2N×2N區塊大小之寫碼區塊100分割成分別具有0.5N×2N及1.5N×2N之大小的兩個預測區塊。然而,在圖16之實例中,轉換區塊大小為N×N。 圖17為說明用於2N×N、2N×nD及2N×nU預測模式之非正方形四分樹(NSQT)的概念圖。在圖17中,0階處之2N×2N區塊分裂成位於1階處之四個2N×0.5N區塊;1階處之區塊進一步分裂成位於2階處之四個N×0.25N區塊。圖18為說明用於N×2N、nR×2N及nL×2N預測模式之NSQT的概念圖。在圖18中,0階處之2N×2N區塊分裂成位於1階處之四個0.5N×2N區塊;1階處之區塊進一步分裂成位於2階處之四個0.25N×N區塊。 考慮到殘餘可在兩個連接性預測區塊之界限處斷開,可能將產生高頻轉換係數且寫碼效能將受到影響。在本發明中,連接性預測性區塊為共用四個界限中之至少一者的預測性區塊。因此,在Yuan等人之「Non-Square Quadtree Transform Structure for HEVC」(2012圖像寫碼會議(PCS),第505-508頁,2012年5月7日至9日,波蘭,克拉科夫(在下文中,「Yuan」))之 中,描述非正方形四分樹轉換(NSQT)結構。 在NSQT中,添加兩個額外轉換區塊大小:2N×0.5N及0.5N×2N。在此結構中,轉換區塊分裂成2N×0.5N及0.5N×2N,且轉換矩陣可藉由再使用0.5N×0.5N及2N×2N轉換矩陣而獲得。在本發明中,轉換矩陣亦可被稱作轉換核心。在Yuan中,HEVC之N×N量化表經再使用以量化2N×0.5N及0.5N×2N轉換區塊之轉換係數。 如上文所提及,視訊寫碼器可應用轉換以將樣本轉換至頻域,或反之亦然。應用於HEVC中之特定類型的轉換為兩種類型之分離餘弦轉換,即DCT-II及4×4 DST-VII。Xin Zhao等人之美國專利公開案2016/0219290 A1提出了除用於經框間及框內寫碼區塊之DCT-II及4×4 DST-VII外之增強型多重轉換(EMT)方案。EMT方案利用來自除HEVC中之當前轉換外的DCT/分離正弦轉換(DST)家族之多個所選轉換。美國專利公開案2016/0219290中新引入之轉換矩陣為DST-VII、DCT-VIII、DST-I及DCT-V。 美國專利公開案2016/0219290 A1中所提出之EMT適用於小於64×64之CU,且在CU層級處使用旗標(即EMT旗標)之CU層級下控制是否將EMT應用於CU內之所有TU。對於具EMT功能之CU內之每一TU,藉由索引(即EMT索引)將待使用之水平或垂直傳信至所選轉換集合。藉由自前述轉換矩陣選擇兩個轉換而形成每一轉換集合。 對於框內預測殘餘,基於框內預測模式預定義轉換集合,如X.Zhao等人之「Video coding with rate-distortion optimized transform」(IEEE Trans. Circuits Syst. Video Technol.,第22卷第1號,第138-151頁,2012年1月)中所描述;因此每一框內預測模式具有其自身轉換集合。舉例而言,一個轉換集合可為{DCT-VIII,DST-VII}。應注意,水平轉換之轉換集合可與垂直轉換之轉換集合不同,即使對於同一框內預測模式。然而,所有框內預測模式之不同轉換集合的總數目以及新引入轉換之數目受限。然而,對於框間預測殘餘,僅將一個轉換集合用於所有框間模式及水平及垂直轉換兩者。 將多視圖視訊寫碼中之照明補償(IC)用於補償不同視圖之間因每一攝影機可不同程度地暴露於光源下所致的照明偏差。通常,重量因子及/或偏移用於補償不同視圖中之經寫碼區塊與預測區塊之間的差異。引入照明補償以改良自視圖間參考圖像預測之區塊的寫碼效率。因此,照明補償可僅應用於由視圖間參考圖像預測之區塊。 Liu等人之「3D-CE1.h related: Illumination Compensation for Inter-View Prediction」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之3D視訊寫碼擴展開發聯合合作小組,第1次會議,瑞典,斯德哥爾摩,2012年7月16日至20日,文獻JCT3V-A0086 (在下文中,JCT3V-A0086))描述照明補償(IC)。在JCT3V-A0086中,針對視圖間預測啟用IC。此外,如JCT3V-A0086中所描述,IC過程基於當前CU之相鄰樣本及參考區塊之相鄰樣本導出IC參數。在JCT3V-A0086中,IC僅適用於2N×2N分割模式。此外,在JCT3V-A0086中,對於AMVP模式,針對自視圖間參考圖像預測之每一CU傳信一個IC旗標。對於合併模式,為了節省位元,僅當PU之合併索引不等於0時傳信IC旗標。IC旗標指示IC是否用於CU。不將IC應用於僅自時間參考圖像預測之CU。 如JCT3V-A0086中所描述,用於視圖間預測之線性IC模型展示於方程式(6)中:,其中 (15) 在此,PUc 為當前PU,(i , j )為PUc 中之像素的座標,(dvx ,dvy )為PUc 之視差向量,p (i , j )為PUc 之預測,且r 為來自相鄰視圖之當前PU之參考圖像。ab 為線性IC模型之參數。 在JCT3V-A0086中,圖19中所示之兩個像素集合用於估計當前PU之參數ab 。第一像素集合包括當前CU (亦即,含有當前PU之CU)之左方行及上方列中之可用經重建構相鄰像素。第二像素集合包括當前CU之參考區塊之對應相鄰像素。將當前PU之視差向量用於尋找當前CU之參考區塊。 圖19說明用於估計IC模型中之參數的相鄰像素。特定而言,圖19包括當前CU 110及參考區塊112。圖19之每一各別正方形對應於各別樣本。因此,當前CU 110及參考區塊112各自包括64個樣本。包含與當前CU 110相鄰之圓的正方形對應於當前CU 110之相鄰樣本(亦即,Recneigh )。包含與參考區塊CU 112相鄰之圓的正方形對應於相鄰區塊112之相鄰樣本(亦即,Recrefneigh )。如本發明中其他處所描述,視訊寫碼器可使用Recneigh Refrefneigh 估計IC之參數。 此外,如JCT3V-A0086中所描述,使Recneig 標示由當前CU使用之相鄰像素集合。使Recrefneigh 標示由當前CU之參考區塊使用之相鄰像素集合。使當前CU之大小及當前CU之參考區塊的大小兩者皆等於N×N。使2N標示Recneig Recrefneig 中之像素的數目。隨後,ab 可經計算為:(16)(17) 在一些情況下,僅將a 用於線性模型且b 始終設定為等於0,或僅使用ba 始終設定為等於1。 在VCEG-AZ06中,針對每一框間模式寫碼之CU適應性地啟用或停用局部照明補償(LIC)。在VCEG-AZ06中,LIC係基於使用比例因子a 及偏移b 之用於照明變化之線性模型。圖20為說明用於如VCEG-AZ06中所描述之導出IC參數的實例相鄰樣本的概念圖。 在VCEG-AZ06中,當LIC適用於CU時,對於屬於CU之每一PU/子PU,視訊寫碼器以使用CU之經子取樣(2:1子取樣)相鄰樣本及參考圖像中之對應像素(藉由當前PU/子PU之運動資訊識別)之方式來導出LIC參數。對於具有等於N×N之大小的CU,用於方程式(16)及(17)之界限像素的總數目為N而非2N。在圖20中說明實例。因此,圖20為說明用於估計照明補償模型中之參數之實例相鄰像素的概念圖,其中當前CU 116之參考區塊114藉由使用當前PU之視差向量而發現。在VCEG-AZ06中,IC參數經導出且分開應用於每一預測方向。視訊寫碼器可採用最小平方誤差方法來基於上述相鄰樣本導出參數ab 。 HEVC中之當前RQT設計及其他技術(諸如,NSQT及IC)可具有以下缺點。舉例而言,無論是使用NSQT抑或HEVC之轉換樹,始終採用在不考慮PU資訊的情況下可為次佳之四分樹結構。然而,HEVC僅支援框內預測模式之正方形PU。 將2N×N及N×2N分區引入框內模式(如JCTVC-G135中所進行)可具有以下問題。第一,不允許AMP。第二,尚未研究如何定義轉換樹結構以實現高寫碼效率。第三,LM預測模式僅已與正方形PU一起使用,且如何導出在具有非正方形PU之LM預測模式中所使用之參數αβ 為未知的。第四,在先前技術中,係數必須以正方形形式重新組織,該正方形形式可減少相鄰係數之間的相關性。此外,層級當前EMT設計具有因EMT控制在CU層級下所致的問題。然而,若CU中之每一PU之殘餘特性(例如,分佈)不同,則在CU層級下控制EMT並不有效。 為解決上文所提及之問題,本發明提出以下技術。可個別地應用以下詳細列舉之技術。替代地,可應用其任何組合。在以下描述中,CU大小由M×M標示且PU大小由K×L標示,其中K及L兩者均不大於M。 根據本發明之第一實例技術,提出轉換樹並不限於四分之一樹。舉例而言,可組合轉換四分樹及轉換二進位樹。亦即,對於至少某一轉換深度,一個TU可分裂成兩個較小TU或四個較小TU。在本發明中,對於轉換樹之每一各別節點,各別節點之各別轉換深度係指轉換樹之各別節點與根節點之間的轉換樹中之節點數目。將TU分裂成兩個TU或四個TU之彈性可提高視訊編碼器20以將TU界限與PU界限對準之方式來構造轉換樹之能力。將TU界限與PU界限對準可增加壓縮效能。 因此,在此實例中,視訊編碼器20可基於樹結構將視訊資料之CU分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊。此外,在此實例中,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。在此實例中,樹結構之葉節點對應於CU之TU。在此實例中,樹結構中之至少一個節點恰好具有樹結構中之兩個子節點。在一些情況下,樹結構中之至少一個節點可恰好具有樹結構中之四個子節點。在此實例中,視訊編碼器20可將表示CU之TU中之一或多者的資料包括於包含視訊資料之經編碼表示的位元串流中。 在對應實例中,視訊解碼器30可基於樹結構判定CU經分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊。此外,在此實例中,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。在此實例中,樹結構之葉節點對應於CU之TU。在此實例中,樹結構中之至少一個節點恰好具有樹結構中之兩個子節點,且樹結構中之至少一個節點恰好具有樹結構中之四個子節點。在此實例中,視訊解碼器30可基於CU之TU中之至少一者的資料重建構CU之寫碼區塊。 此外,在轉換樹並不限於四分之一樹(亦即,不必為所有非葉節點均具有4個子節點之樹)的實例中,對於轉換深度等於0,應用具有等於M×M之大小的正方形轉換。對於轉換深度等於1,將轉換分裂成兩個或四個(取決於PU之數目)且轉換大小等於K×L。對於剩餘轉換深度,仍應用四分樹結構,其中將一個TU分裂成四個較小TU,亦即,對於轉換深度等於2,將轉換大小設定成K/2×L/2。在圖21中給定實例。在轉換深度1下將轉換限於分裂成二或四的原因在於為使轉換大小與PU大小對準,例如,若PU大小為2N×N或N×2N,則分裂成2可為較佳的。若PU為N×N分區,則4向轉換分裂可產生更佳結果。在另一原因中,若對應轉換矩陣為未知的,例如,若使用AMP,則一個16×16 CU可分裂成4×16及12×16 PU,而未定義12×12轉換,因此,分裂成4可用於此情況。 圖21為說明分區大小等於2N×N之實例轉換結構的概念圖。在圖21及以下圖式中,虛線指示下一轉換深度之分裂資訊。特定而言,在圖21中,轉換區塊130具有與CU之寫碼區塊相同的大小。轉換區塊130經分割成轉換區塊132及134。此外,在圖21之實例中,將轉換區塊132分割成轉換區塊136、137、138及139。將轉換區塊134分割成轉換區塊140、141、142及143。因此,如圖21中所示,根節點可具有2個子節點,但其他轉換深度之節點可需要具有0個或4個子節點。 在CU之轉換樹不受限於四分之一樹的一些實例中,應用二進位樹或四分之一樹。視訊寫碼器可基於CU中之PU數目判定是否應用二進位樹抑或四分之一樹。舉例而言,當存在兩個PU時,視訊寫碼器利用二進位轉換樹。若CU具有四個PU,則視訊寫碼器可使用四分之一樹結構以將CU分割成TU。在一個實例中,選擇二進位樹或四分之一樹之方法僅應用於某些轉換深度,諸如1。 因此,在此實例中,視訊編碼器20可基於樹結構將視訊資料之CU分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊,樹結構之葉節點對應於CU之TU,且CU具有一或多個PU。此外,在此實例中,取決於CU之PU數目,以下各者中之恰好一者適用:樹結構中之每一節點恰好具有樹結構中之兩個子節點,或樹結構中之每一節點恰好具有樹結構中之四個子節點。在此實例中,視訊編碼器20可將表示CU之TU中之一或多者的資料包括於包含視訊資料之經編碼表示的位元串流中。 在對應實例中,視訊解碼器30可基於樹結構判定視訊資料之CU經分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊,樹結構之葉節點對應於CU之TU,且CU具有一或多個PU。在此實例中,取決於CU之PU數目,以下各者中之恰好一者適用:樹結構中之每一節點恰好具有樹結構中之兩個子節點,或樹結構中之每一節點恰好具有樹結構中之四個子節點。此外,在此實例中,視訊解碼器30可基於CU之TU中之至少一者的資料重建構CU之寫碼區塊。 在轉換樹不限於四分之一樹的一些實例中,傳信二進位或四分之一樹之分裂方法。舉例而言,視訊編碼器20可將表示指示CU是根據二進位樹抑或根據四分之一樹經分割成TU之語法元素的資料包括於位元串流中。在此實例中,視訊解碼器30可基於位元串流中之資料判定語法元素之值。此外,在此實例中,視訊解碼器30可基於語法元素之值判定CU是根據二進位樹抑或根據四分之一樹經分割成TU。 此外,替代地,傳信可跳過某些PU分區。換言之,視訊編碼器20可基於區塊分裂成PU之方式跳過區塊之轉換樹分裂的傳信。舉例而言,在一個實例中,對於等於2N×N之PU分區,始終使用二進位樹且因此不需要傳信將二進位或四分之一樹分裂用於對應轉換樹。 根據本發明之第二技術,提出某一轉換深度,轉換大小等於矩形PU之PU大小。在本發明中,轉換大小係指TU之轉換區塊之大小。因此,在此實例中,對應於CU之轉換樹之特定深度處之節點的轉換區塊具有與CU之PU之預測區塊相同的大小。如先前所論述,將TU界限與PU界限對準可改良壓縮效能。 在第二技術之一個實例中,以上方法僅適用於經框間寫碼CU。換言之,視訊寫碼標準可需要視訊編碼器20確保轉換大小等於經框間寫碼CU之PU,但此要求不適用於經框內寫碼CU。 此外,在一些實例中,視訊編碼器20可傳信每一PU之一個旗標以指示此處是否存在三個色彩分量(例如,Y、Cb及Cr)之至少一個非零係數。如上文所提及,本發明之第二技術需要CU之TU的大小等於在轉換樹中之特定深度下之CU之PU的大小。因此,在特定深度處,轉換樹包括CU之每一各別PU之各別轉換樹節點。對於特定深度處之轉換樹之每一各別轉換樹節點,各別轉換樹節點對應於具有與對應PU之明度預測區塊及色度預測區塊具有相同大小及形狀之明度轉換區塊及色度轉換區塊。因此,編碼器20可藉由傳信對應PU中之資訊來傳信關於特定深度下之轉換樹節點(及特定深度下之轉換樹節點之後代轉換樹節點)的資訊。舉例而言,視訊編碼器20可在位元串流中傳信PU之第一語法元素、PU之第二語法元素及PU之第三語法元素。在此實例中,PU之第一語法元素指示對應轉換樹節點抑或其後代轉換樹節點之明度係數區塊中存在非零轉換係數,PU之第二語法元素指示對應轉換樹節點抑或其後代轉換樹節點之Cb係數區塊中存在非零轉換係數,且PU之第三語法元素指示對應轉換樹節點抑或其後代轉換樹節點之Cr係數區塊中存在非零轉換係數。 在先前技術中,僅針對經框間預測CU准許矩形PU。然而,在本發明之第二技術之一些實例中,當矩形PU (諸如,2N×N、N×2N)經引入至經框內寫碼CU時,亦應用上述方法(亦即,需要轉換大小在特定轉換深度下等於PU大小)。 根據第三技術,一個TU可分裂成多個較小TU而較小TU之大小可不同。換言之,視訊寫碼器可將TU分裂成以不同方式設定大小之兩個子TU。在一些情況下,將TU分裂成以不同方式設定大小之兩個或多於兩個子TU可改良視訊寫碼效能情況,其中因將TU分裂成以不同方式設定大小之兩個或多於兩個子TU可更佳地對準子TU之界限與PU界限而啟用AMP。如本發明中其他處所論述,將TU之界限與PU之界限對準可減少與預測性區塊之間的界限處之不連續性相關聯之高頻轉換係數的發生率且因此增加壓縮效率。舉例而言,若區塊(例如,CU)具有12×16 PU,則對應於12×16 PU之區塊之一部分可分裂成兩個8×8 TU加兩個4×4 TU,或兩個8×8 TU加一個4×16 TU。 在第三技術之一個實例中,當針對一個CU啟用AMP模式時,較大PU之轉換樹可分裂成兩個部分,其中一個部分等於較小PU且另一部分為另一TU。在圖22中給定實例。圖22為說明根據本發明之技術的分區大小等於N×N/4(U)之轉換結構的概念圖。在圖22之實例中,將轉換區塊150分割成轉換區塊152及154。此外,在圖22之實例中,將轉換區塊152分割成轉換區塊156、158、160及162。將轉換區塊154分割成轉換區塊164及166。轉換深度2下之右分支展示兩個分裂轉換大小為不同的。亦即,轉換區塊164及轉換區塊166具有不同大小。 在第三技術之一些實例中,TU之不對稱分裂僅適用於AMP情況,其中兩個PU大小為不同的或一個CU含有具有不同大小之PU中之至少兩者的多個PU。換言之,若含有TU之CU經分裂成不同大小之PU,則視訊寫碼器可僅將TU分裂成不同大小之子TU。 因此,在TU可分裂成以不同方式設定大小之多個TU的實例中,視訊編碼器20可基於樹結構將CU分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊。此外,在此實例中,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。在此實例中,樹結構之葉節點對應於CU之TU。在此實例中,樹結構之至少一個節點之子節點對應於不同大小之區塊。此外,在此實例中,視訊編碼器20可將表示CU之TU中之一或多者的資料包括於包含視訊資料之經編碼表示的位元串流中。 在對應實例中,視訊解碼器30可基於樹結構判定CU經分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊。此外,在此實例中,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。在此實例中,樹結構之葉節點對應於CU之TU。在此實例中,樹結構之至少一個節點之子節點對應於不同大小之區塊。此外,在此實例中,視訊解碼器30可基於CU之TU中之至少一者的資料重建構CU之寫碼區塊。 根據本發明之第四技術,允許轉換之分裂不沿CU中之同一方向(垂直或水平)進行。換言之,CU之轉換樹可包括水平地分裂之轉換區塊及垂直地分裂之轉換區塊。允許轉換區塊之水平及垂直分裂兩者可更佳地對準CU之TU的界限與CU之PU的界限。如本發明中其他地方所論述,將CU之TU的界限與CU之PU的界限對準可減少與預測性區塊之間的界限處之不連續性相關聯的高頻轉換係數之發生率且因此增加壓縮效率。在第四技術之一個實例中,CU之TU之水平及垂直分裂兩者之使用僅適用於某些分割模式,例如,AMP。 圖23為說明根據本發明之技術的分區大小等於N×N/4(U)之轉換結構的概念圖。在圖23之實例中,CU分割沿水平方向且TU分割可來自水平及/或垂直方向。特定而言,將TU 180水平地分裂成TU 182及TU 184。將TU 182分裂成TU 186、188、190及192。將TU 184水平地及垂直地分裂成TU 194、196及198。 在允許轉換區塊之分裂沿CU中之不同方向的實例中,視訊編碼器20可基於樹結構將CU分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊。此外,在此實例中,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。在此實例中,樹結構之葉節點對應於CU之TU。在此實例中,樹結構中之第一節點恰好具有兩個子節點,且對應於第一節點之子節點的區塊之間的界限為垂直的。另外,在此實例中,樹結構中之第二節點恰好具有兩個子節點,且對應於第二節點之子節點之區塊之間的界限為水平的。在此實例中,視訊編碼器20可將表示CU之TU中之一或多者的資料包括於包含視訊資料之經編碼表示的位元串流中。 類似地,視訊解碼器30可基於樹結構判定CU經分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊,且樹結構之葉節點對應於CU之TU。此外,在此實例中,樹結構中之第一節點恰好具有兩個子節點,且對應於第一節點之子節點的區塊之間的界限為垂直的。在此實例中,樹結構中之第二節點恰好具有兩個子節點,且對應於第二節點之子節點之區塊之間的界限為水平的。在此實例中,視訊解碼器30可基於CU之TU中之至少一者的資料重建構CU之寫碼區塊。 根據本發明之第五技術,一個CU可含有框內及框間PU兩者,該框內及框間PU在以下描述中被稱為comb _ mode 。在一些情況下,comb _ mode 之使用可增加CU之預測性區塊之準確度且因此可最終導致增加的壓縮效能。CU之PU之預測性區塊的準確度為PU之預測性區塊的對應樣本與CU之寫碼區塊之樣本之間的差異之量測。 因此,根據第五技術,視訊編碼器20可執行框內預測以獲得CU之第一PU之第一預測性區塊。另外,在此實例中,視訊編碼器20可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。在此實例中,視訊編碼器20可基於第一預測性區塊及第二預測性區塊獲得CU之殘餘資料。此外,在此實例中,視訊編碼器20可將表示CU之殘餘資料的資料包括於包含視訊資料之經編碼表示的位元串流中。 類似地,根據第五技術,視訊解碼器30可執行框內預測以獲得CU之第一PU之第一預測性區塊。在此實例中,視訊解碼器30可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。此外,在此實例中,視訊解碼器30可基於第一預測性區塊及第二預測性區塊重建構CU之寫碼區塊。 當使用comb _ mode 寫碼一個CU,且在垂直方向上將CU分裂成兩個PU (諸如在N×2N分割模式中)時,視訊寫碼器可如下判定CU之轉換樹的轉換深度:若左方PU為經框內寫碼PU,則轉換深度可自0。換言之,基於左方PU經框內寫碼,允許CU之轉換樹之深度為0或更大。因此,在CU之轉換樹之深度等於0的情況下,TU大小可等於CU大小且一個TU可包含兩個PU,亦即,跨PU界限。否則(左方PU為經框間寫碼PU),轉換深度限於自1。換言之,CU之轉換樹之深度可為1或更大,但不等於0。在此實例中,當左方PU為經框間寫碼PU時,TU大小應不大於PU大小。 因此,在此實例中,視訊編碼器20可產生符合視訊寫碼標準之位元串流。在此實例中,基於CU沿垂直界限分裂成第一PU及第二PU且CU之左方PU為經框內寫碼PU,視訊寫碼標準允許CU之TU包含第一及第二PU兩者。在類似實例中,視訊解碼器30可獲得包含視訊資料之經編碼表示的位元串流。在此實例中,位元串流可符合視訊寫碼標準:基於CU沿垂直界限分裂成第一PU且第二PU且CU之左方PU為經框內寫碼PU,允許CU之TU包含第一及第二PU兩者。在視訊編碼器20及視訊解碼器30之實例兩者中,視訊寫碼標準可提供約束條件,海約束條件要求:基於CU沿垂直界限分裂成第一PU及第二PU且CU之左方PU為經框間寫碼PU,CU之TU的TU大小不大於第一PU或第二PU之大小。 此外,當一個CU分裂成水平方向上之兩個PU時,諸如當使用2N×N分割模式時,視訊寫碼器可如下判定在CU含有框內及框間PU兩者時所使用之轉換深度:若上方PU為經框內寫碼PU,則轉換深度可自0。換言之,CU之轉換樹之深度為0或更大。在此實例中,上方PU為水平劃分之CU的上部PU。在轉換深度為0的情況下,TU大小等於CU大小且一個TU包含兩個PU。否則(亦即,上方PU為經框間寫碼PU),轉換深度限於自1。換言之,CU之轉換樹之深度為1或更大,但不能為0。在此實例中,當上方PU為經框間寫碼PU時,TU大小應不大於PU大小。 因此,在此實例中,視訊編碼器20可產生符合視訊寫碼標準之位元串流。在此實例中,基於CU沿水平界限分裂成第一PU及第二PU且CU之上方PU為經框內寫碼PU,視訊寫碼標準允許CU之TU包含第一及第二PU兩者。另外,在一些實例中,位元串流符合提供約束條件的視訊寫碼標準,該約束條件要求:基於CU沿水平界限分裂成第一PU且第二PU且CU之上方PU為經框間寫碼PU,CU之TU的TU大小不大於第一PU或第二PU之大小。 在類似實例中,視訊解碼器30可獲得包含視訊資料之經編碼表示的位元串流。在此實例中,位元串流符合視訊寫碼標準:當CU沿水平界限分裂成第一PU及第二PU且CU之上方PU為經框內寫碼PU時,允許CU之TU包含第一及第二PU兩者。另外,在一些實例中,視訊解碼器30獲得符合提供約束條件之視訊寫碼標準的位元串流,該約束條件要求:基於CU沿水平界限分裂成第一PU及第二PU且CU之上方PU為經框間寫碼PU,CU之TU的TU大小不大於第一PU或第二PU之大小。 在一些實例中,當使用comb _ mode 寫碼一個CU時,添加約束條件使得TU不應跨PU界限。此約束條件可減少編碼器複雜度,此係由於不需要檢查TU可跨PU界限的情況下之率失真成本。因此,在此實例中,視訊編碼器20可產生符合提供約束條件之視訊寫碼標準的位元串流,該約束條件要求:基於CU具有經框內寫碼PU及經框間寫碼PU,CU之TU不跨越CU之PU界線。在類似實例中,視訊解碼器30可獲得包含視訊資料之經編碼表示的位元串流。在此實例中,位元串流符合提供約束條件之視訊寫碼標準,該約束條件要求:基於CU具有經框內寫碼PU及經框間寫碼PU, CU之TU不跨越CU之PU界限。 此外,在涉及comb _ mode 之一些實例中,將comb _ mode 限於僅應用於大於(不包括)諸如8×8之某一大小的CU。應注意,對於較小區塊,增加傳信comb _ mode 是否應用於CU之位元可不補償由comb _ mode 引入之經節省率失真成本。因此,對於某些較小大小,在無需額外傳信的情況下可始終停用comb _ mode 。在本發明中,約束條件可防止視訊編碼器執行某一動作或以某一方式產生位元串流。舉例而言,視訊編碼器20可產生符合提供約束條件之視訊寫碼標準的位元串流,該約束條件要求:不允許小於特定大小之CU具有經框內寫碼PU及經框間寫碼PU兩者。在類似實例中,視訊解碼器30可獲得包含視訊資料之經編碼表示的位元串流。在此實例中,位元串流符合提供約束條件之視訊寫碼標準,該約束條件要求:不允許小於特定大小之CU具有經框內寫碼PU及經框間寫碼PU兩者。 在涉及comb _ mode 之一些實例中,可使用具有一個8×4框內PU及一個8×4框間PU,或一個4×8框內PU及一個4×8框間PU的comb _ mode 寫碼一個8×8 CU。在此實例中,可僅使用經框間寫碼明度PU之框間預測模式或僅使用經框內寫碼明度PU之框內預測模式來寫碼此8×8 CU之對應4×4色度區塊(在4:2:0色彩格式中),或4×4色度區塊基於明度PU分區進一步對應地分割為兩個4×2或2×4區塊,且兩個4×2或2×4中之每一者由對應明度預測模式預測,且產生4×4殘餘區塊且對所產生44殘餘區塊執行4×4轉換以避免引入2×2轉換。2×2轉換之引入可能不可避免地增加複雜度。 因此,在以上實例中,視訊編碼器20可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。另外,在此實例中,視訊編碼器20可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。在此實例中,CU之大小為2N×2N,第一PU之大小為2N×N且第二PU之大小為N×2N,或第一PU之大小為N×2N且第二PU之大小為2N×N。此外,在此實例中,使用4:2:0色彩格式寫碼CU。在此實例中,第一PU之第一預測性區塊為第一PU之明度預測性區塊。在此實例中,第二PU之第二預測性區塊為第二PU之明度預測性區塊。在此實例中,視訊編碼器20僅使用框間預測以獲得第三預測性區塊,該第三預測性區塊為大小N×N之色度預測性區塊。在此實例中,視訊編碼器20基於第一、第二及第三預測性區塊獲得CU之殘餘資料。類似實例替換僅使用框內預測獲得第三預測性區塊而非框內預測之視訊編碼器20,而非基於第一、第二及第三預測性區塊獲得CU之殘餘資料的視訊編碼器20。 另外,在對應實例中,視訊解碼器30可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。在此實例中,視訊解碼器30可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。在此實例中,CU之大小為2N×2N,第一PU之大小為2N×N且第二PU之大小為N×2N,或第一PU之大小為N×2N且第二PU之大小為2N×N,且使用4:2:0色彩格式寫碼CU。此外,在此實例中,第一PU之第一預測性區塊為第一PU之明度預測性區塊,且第二PU之第二預測性區塊為第二PU之明度預測性區塊。在此實例中,視訊解碼器30僅使用框間預測獲得第三預測性區塊,該第三預測性區塊為大小N×N之色度預測性區塊。此外,在此實例中,視訊解碼器30可基於第一、第二及第三預測性區塊重建構CU之寫碼區塊。類似實例替換僅使用框內預測獲得第三預測性區塊而非框內預測之視訊解碼器30的不同組態。 如上文所提及,在一些實例中,可使用具有一個8×4框內PU及一個8×4框間PU,或一個4×8框內PU及一個4×8框間PU之comb _ mode 寫碼一個8×8 CU寫碼,且可僅使用經框間寫碼明度PU之框間預測模式來寫碼此8×8 CU之對應4×4色度區塊,視訊寫碼器可基於明度PU分區將4×4色度區塊對應地分割為兩個4×2或2×4區塊,視訊寫碼器藉由對應明度預測模式預測兩個4×2或2×4中之每一者,且視訊寫碼器產生4×4殘餘區塊且對所產生4×4殘餘區塊執行4×4轉換。 因此,在此等實例中,視訊編碼器20可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。另外,在此實例中,視訊編碼器20可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。在此實例中,CU之大小為2N×2N,第一PU之大小為2N×N且第二PU之大小為N×2N,或第一PU之大小為N×2N且第二PU之大小為2N×N,且使用4:2:0色彩格式寫碼CU。此外,第一PU之第一預測性區塊為第一PU之明度預測性區塊,且第二PU之第二預測性區塊為第二PU之明度預測性區塊。在此實例中,視訊編碼器20可使用第一PU之框內預測模式產生第一PU之色度預測性區塊。此外,在此實例中,視訊編碼器20可使用框間預測產生第二PU之色度預測性區塊。在此實例中,視訊編碼器20可基於第一預測性區塊、第二預測性區塊、第一PU之色度預測性區塊及第二PU之色度預測性區塊獲得CU之殘餘資料。 在類似實例中,視訊解碼器30可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。在此實例中,視訊解碼器30可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。在此實例中,CU之大小為2N×2N,第一PU之大小為2N×N且第二PU之大小為N×2N,或第一PU之大小為N×2N且第二PU之大小為2N×N,且使用4:2:0色彩格式寫碼CU。此外,在此實例中,第一PU之第一預測性區塊為第一PU之明度預測性區塊,且第二PU之第二預測性區塊為第二PU之明度預測性區塊。在此實例中,視訊解碼器30可使用第一PU之框內預測模式產生第一PU之色度預測性區塊。視訊解碼器30可使用框間預測產生第二PU之色度預測性區塊。此外,視訊解碼器30可基於第一預測性區塊、第二預測性區塊、第一PU之色度預測性區塊及第二PU之色度預測性區塊重建構CU之寫碼區塊。 另外,在涉及comb _ mode 之一些實例中,當使用兩個或多於兩個PU寫碼一個CU且使用框間及框內預測模式兩者時,對於經框間寫碼PU,以與當前HEVC設計相同之方式處理CU。亦即,將重建構定義為在可能之逆量化/轉換之後的經解碼殘餘與使用其運動資訊之經運動補償預測區塊的總和。另外,對於經框內寫碼PU,視訊寫碼器使用涉及兩個預測子之程序,亦即,將重建構定義為在可能之逆量化/轉換之後的經解碼殘餘與使用來自其相鄰經框間寫碼PU之運動資訊的經運動補償預測區塊及使用與當前PU相關聯之框內預測模式的框內預測區塊之總和。 因此,在此實例中,視訊編碼器20可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。在此實例中,視訊編碼器20可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。此外,在此實例中,作為獲得CU之殘餘資料之部分,針對對應於第一PU之殘餘資料之每一各別樣本,視訊編碼器20可獲得各別樣本,使得各別樣本等於CU之寫碼區塊的各別樣本減使用第二PU之運動資訊獲得之預測性樣本且減第一預測性區塊之樣本。使用運動資訊獲得之預測性樣本可為框間預測性PU之預測性區塊的樣本。 在對應實例中,視訊解碼器30可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。在此實例中,視訊解碼器30可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。此外,在此實例中,作為重建構CU之寫碼區塊之部分,針對對應於第一PU之寫碼區塊之每一各別樣本,視訊解碼器30可獲得各別樣本,使得各別樣本等於各別經解碼殘餘樣本、使用第二PU之運動資訊獲得之預測性樣本及第一預測性區塊之樣本的總和。 替代地,在涉及comb _ mode 之一些實例中,當使用兩個或多於兩個PU寫碼一個CU且使用框間及框內預測模式兩者時,對於經框內寫碼PU,重建構CU之寫碼區塊之程序與當前HEVC設計相同,亦即,將重建構定義為在可能之逆量化/轉換之後的經解碼殘餘與使用其框內預測模式之框內預測區塊的總和。另外,對於CU之經框間寫碼PU,用於重建構對應於經框間寫碼PU之寫碼區塊之部分的程序與HEVC中之重建構程序不同,因為兩個預測子係針對經框間寫碼PU定義。此外,針對對應於經框間寫碼PU之樣本之CU之寫碼區塊的每一樣本,該樣本經定義為經解碼殘餘樣本(例如,在可能之逆量化/轉換之後)與使用經框間寫碼PU之運動資訊產生之經框間寫碼PU之經運動補償預測的樣本及使用與鄰接經框間寫碼PU之經框內寫碼PU相關聯之框內預測模式產生之框內預測區塊的樣本之總和。 因此,在此實例中,視訊編碼器20可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。在此實例中,視訊編碼器20可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。此外,在此實例中,作為獲得CU之殘餘資料之部分,針對對應於第二PU之殘餘資料之每一各別樣本,視訊編碼器20可獲得各別樣本,使得各別樣本等於CU之寫碼區塊的各別樣本減使用第一PU之框內預測模式獲得的預測性樣本且減第二預測性區塊之樣本。 在對應實例中,視訊解碼器30可執行框內預測以獲得視訊資料之CU之第一PU的第一預測性區塊。在此實例中,視訊解碼器30可執行框間預測以獲得同一CU之第二PU的第二預測性區塊。此外,在此實例中,作為重建構CU之寫碼區塊之部分,針對對應於第二PU之寫碼區塊之每一各別樣本,視訊解碼器30可獲得各別樣本,使得各別樣本等於各別經解碼殘餘樣本、使用第一PU之框內預測模式獲得之預測性樣本及第一預測性區塊之樣本的總和。 在一個實例中,當允許兩個預測子時,兩個預測區塊與線性加權函數組合,例如,兩者之平均值。舉例而言,諸如視訊編碼器20或視訊解碼器30之視訊寫碼器可使用框內預測以產生PU之第一預測性區塊且可使用框間預測以產生PU之第二預測性區塊。在此實例中,針對最終預測性區塊之每一各別樣本,視訊寫碼器可藉由判定對應於最終預測性區塊之各別樣本的第一及第二預測性區塊之樣本的加權平均值而判定PU之最終預測性區塊。在此實例中,與經框內預測之預測性區塊相比,用於加權平均值之權重可有助於經框間預測之預測性區塊,或反之亦然。在一些情況下,使用此類線性加權函數可導致更準確之最終預測性區塊,該區塊可最終增加壓縮效能。線性加權因子可經傳信為旁側資訊或自某些經寫碼資訊導出。 舉例而言,針對對應於CU之PU的CU之寫碼區塊之每一各別樣本,視訊編碼器20可獲得各別樣本之第一預測性樣本及各別樣本之第二預測性樣本。舉例而言,可使用框間預測產生各別樣本之第一預測性樣本,且可使用框內預測產生各別樣本之第二預測性樣本。在此實例中,視訊編碼器20可藉由將線性加權函數應用於各別樣本之第一預測性樣本及各別樣本之第二預測性樣本來判定各別樣本之經加權預測性樣本。另外,在此實例中,視訊編碼器20可判定等於各別樣本之初始值與各別樣本之經加權預測性樣本之間的差的各別樣本之殘餘樣本。 類似地,針對寫碼區塊之每一各別樣本,視訊解碼器30可獲得各別樣本之殘餘樣本。舉例而言,視訊解碼器30可自位元串流獲得指示轉換係數之語法元素,將逆量化應用於轉換係數,且將逆轉換應用於轉換係數以獲得殘餘樣本。此外,在此實例中,視訊解碼器30可判定各別樣本之第一預測性樣本及各別樣本之第二預測性樣本。舉例而言,可使用框間預測產生各別樣本之第一預測性樣本,且可使用框內預測產生各別樣本之第二預測性樣本。在此實例中,視訊解碼器30可藉由將線性加權函數應用於各別樣本之第一預測性樣本及各別樣本之第二預測性樣本而判定各別樣本之經加權預測性樣本。另外,在此實例中,視訊解碼器30可將各別樣本重建構為各別樣本之殘餘樣本與各別樣本之經加權預測性樣本的總和。 當針對圖塊、圖像或序列(亦即,經寫碼視訊序列)啟用comb _ mode 時,以下實例指示comb _ mode 之使用。在HEVC中,CU包括1位元pred_mode_flag語法元素。CU之pred_mode_flag語法元素等於0指定CU係以框間預測模式寫碼。CU之pred_mode_flag語法元素等於1指定CU係以框內預測模式寫碼。根據本發明之一個實例,CU之1位元pred_mode_flag由具有三個可能值之語法元素替換。在此實例中,該三個值分別對應於習知框內模式、習知框間模式及comb _ mode 。在此實例中,習知框內模式係指CU之所有PU係使用框內預測模式寫碼的情況。此外,在此實例中,習知框間預測模式係指CU之所有PU係使用框間預測模式寫碼的情況。在一些實例中,當針對CU啟用comb _ mode 時,對於CU之僅一個PU,視訊編碼器20傳信1位元值以指示PU是以框內預測模式抑或框間預測模式寫碼。由於CU係以comb _ mode 寫碼,另一PU為與針對其傳信1位元值之PU不同的預測模式。在另一實例中,comb _ mode 被視為習知框間模式。在此實例中,對於CU之每一PU,添加額外旗標以指示框內或框間預測模式之使用。 在本發明之第七技術中,可自框內預測及框間預測兩者預測一個PU,且將來自框內預測及框間預測之兩個預測性區塊用於導出PU之最終預測性區塊。以此方式導出最終預測性區塊可產生PU之更準確預測性區塊,此可增加壓縮效能。 因此,根據第七技術,視訊編碼器20可執行框內預測以獲得CU之第一PU之第一預測性區塊。另外,在此實例中,視訊編碼器20可執行框間預測以獲得同一CU之同一PU的第二預測性區塊。在此實例中,視訊編碼器20可基於第一預測性區塊及第二預測性區塊導出PU之最終預測性區塊。此外,視訊編碼器20可基於PU之最終預測性區塊獲得CU之殘餘資料。舉例而言,視訊編碼器20可藉由計算PU之最終預測性區塊之樣本與CU之寫碼區塊之對應樣本之間的差來產生CU之殘餘資料之至少一部分。在此實例中,視訊編碼器20可將表示CU之殘餘資料的資料包括於包含視訊資料之經編碼表示的位元串流中。 在對應實例中,視訊解碼器30可執行框內預測以獲得CU之PU的第一預測性區塊。另外,在此實例中,視訊解碼器30可執行框間預測以獲得同一CU之相同PU的第二預測性區塊。在此實例中,視訊解碼器30可基於第一預測性區塊及第二預測性區塊導出PU之最終預測性區塊。此外,在此實例中,視訊解碼器30可基於PU之最終預測性區塊重建構CU之寫碼區塊。舉例而言,視訊解碼器30可將PU之最終預測性區塊添加至CU之殘餘資料以重建構CU之寫碼區塊的至少一部分。 此外,在第七技術之一些實例中,視訊寫碼器將線性加權函數應用於兩個預測區塊,例如,位於兩個預測區塊之同一相對位置中之像素的加權因子為固定的。在一些實例中,不同位置之加權因子可為可變的。此外,在一些實例中,加權因子取決於框內預測模式。在一個實例中,對於區塊內之左上位置,若框內預測模式為DC模式,則框間及框內預測性區塊中之左上樣本的權重相等,亦即,(0.5,0.5),而若框內預測為垂直預測模式,則框內預測性區塊中之左上樣本的權重可大於框間預測性區塊中之左上樣本的權重。 在第七技術之一些實例中,一或多個位置(但並非所有位置)處之一個像素的最終預測值可自框內預測區塊或框間預測區塊複製,亦即,兩個加權因子中之一者為0且另一者為1。 在一些實例中,將第七技術應用於特定分區大小(例如,2N×2N),及/或特定預測模式(合併/跳過模式)。此外,在一些實例中,當應用第七技術時,框內預測模式限於用於習知框內預測之框內預測模式的子集。在一個實例中,子集經定義僅包括MPM (最可能模式)。 如上文所論述,視訊寫碼器可基於相同區塊之經重建構明度樣本使用線性模型(LM)預測模式來預測區塊之色度樣本。此外,如上文所描述,LM預測模式尚未與非正方形PU一起使用。根據本發明之第八技術,視訊寫碼器可使用具有非正方形PU之LM預測模式。更大體而言,用於應用LM預測模式之相同技術與非正方形明度及色度區塊一同起作用。因此,大體而言,本發明中與關於非正方形PU之第八技術有關之論述可應用於非正方形明度及色度區塊,諸如,PU之明度預測區塊及色度預測區塊。此外,第八技術之實例可以若干方式導出用於LM預測模式之參數。 舉例而言,在第八技術之一些實例中,非正方形PU之較長側處之界限經下取樣或子取樣,使得經下取樣或經子取樣界限中之像素數目等於較短界限中之像素數目。該程序可為抽取或內插取樣。在視訊解碼器30使用抽取執行子取樣之實例中,視訊解碼器30可以規律間隔(例如,每隔一個樣本)移除樣本以減小樣本數目而不改變剩餘樣本之值。在另一實例中,視訊解碼器30可使用內插法執行子取樣。在視訊解碼器30使用內插法執行子取樣之實例中,對於相鄰樣本之各別對,視訊解碼器30可在各別對之樣本之間內插值且可包括經子取樣樣本集合中之內插值。 因此,在本發明之第八技術之實例中,視訊編碼器20可執行線性模型預測操作以自PU之經下取樣或子取樣之經重建構明度樣本預測CU之非正方形PU的預測性色度區塊。此外,在此實例中,視訊編碼器20可基於預測性色度區塊獲得CU之殘餘資料。在此實例中,視訊編碼器20可將表示CU之殘餘資料的資料包括於包含視訊資料之經編碼表示的位元串流中。在對應實例中,視訊解碼器30可執行線性模型預測操作以自PU之經下取樣之經重建構明度樣本預測視訊資料的當前圖像之CU之非正方形PU之預測性色度區塊。在此實例中,視訊解碼器30可部分基於預測性色度區塊重建構CU之寫碼區塊。在該段落之實例中之任一者中,視訊編碼器20或視訊解碼器30可對非正方形PU之較長側之明度樣本進行下取樣或子取樣,使得非正方形PU之較長側上之經下取樣或子取樣明度樣本的數目與非正方形PU之較短側上之明度樣本相同。 在一個實例中,當使用方程式(4)及方程式(5)計算線性模型參數時,對於明度及色度分量兩者,非正方形PU之較長側處之界限之像素經子取樣使得經下取樣或子取樣界限中之像素的數目等於較短界限(亦即,最小(K,L))中之像素的數目。子取樣程序可為抽取或內插取樣。 因此,在此實例中,作為執行LM預測操作之部分,視訊寫碼器可獲得預測性色度樣本,使得預測性色度樣本等於第一參數乘以共置明度樣本加第二參數,其中第一參數等於:且第二參數等於:, 其中I 為非正方形PU之左上界限中之參考樣本的數目,xi 為經下取樣或子取樣之經重建構明度參考樣本,yi 為經重建構色度參考樣本。 替代地,在一些實例中,位於PU之較長及較短側兩者處之像素可經子取樣且子取樣比率可不同。子取樣比率為子取樣之前的樣本比子取樣之後的樣本之比率。然而,可能要求子取樣之後兩側處之像素的總數目應等於2m (其中m為整數,m可針對明度及色度分量不同)。m之值可取決於區塊大小K及L。 因此,在此實例中,作為執行LM預測操作之部分,視訊寫碼器可獲得預測性色度樣本,使得預測性色度樣本等於第一參數乘以共置明度樣本加第二參數,其中第一參數等於:且第二參數等於:, 其中I 為參考樣本集合中之參考樣本的數目,xi 為經重建構明度參考樣本,且yi 為經重建構色度參考樣本。在此實例中,參考樣本集合為左方參考樣本與上方參考樣本經子取樣集合,左方參考樣本緊接在當前PU之左方界限的左方且上方參考樣本緊接在當前PU之頂部界限的上方。 在第八技術之另一實例中,基於界限中之實際像素數目調整方程式(4)及(5)中之像素數目I 。舉例而言,對於2N×N PU,I = 3N 。當僅左方或上方因果樣本為可用時,所有所涉及樣本數目I 等於左方或上方界限之長度。因此,視訊寫碼器可計算α 如下:另外,視訊寫碼器可計算β 如下:。 當針對一個非正方形色度PU (具有等於K×L之大小,其中K不等於L)啟用LM時,參數(亦即,a及b)可以各種方式導出。舉例而言,當使用方程式(4)及方程式(5)計算線性模型參數時,對於明度及色度分量兩者,非正方形PU之較短側處之界限的像素經上取樣,使得經上取樣界限中之像素的數目等於較長界限(亦即,最大(K,L))中之像素的數目。上取樣程序可為複製或內插取樣。複製上取樣程序為其中複製現有樣本以產生新樣本之上取樣程序。內插上取樣程序藉由基於兩個或多於兩個現有樣本內插新樣本之值而增大樣本之數目。 因此,在此實例中,作為執行LM預測操作之部分,視訊寫碼器可獲得預測性色度樣本,使得預測性色度樣本等於第一參數乘以共置明度樣本加第二參數,其中在方程式(4)及(5)中定義第一參數及第二參數。在此實例中,參考樣本集合為經上取樣左方參考樣本及上方參考樣本之集合,左方參考樣本緊接在當前PU之左方界限的左方且上方參考樣本緊接在當前PU之頂部界限的上方。在此實例中,視訊寫碼器可藉由將上取樣方法應用於左邊參照樣本及/或上方參考樣本而判定參考樣本集合。舉例而言,上取樣方法可上取樣對應於當前PU之左方界限及當前PU之頂部界限中之較短者的左邊參考樣本或上方參考樣本中之任一者,而非為當前PU之左方參考樣本及當前PU之上方參考樣本中之較長者的任一者。 在一些實例中,位於PU之較長及較短側兩者處之像素可經上取樣且上取樣比率可不同。然而,可能要求上取樣之後兩側處之像素總數目應等於2m (其中m為整數,m可針對明度及色度分量不同)。m之值可取決於區塊大小K及L。換言之,m取決於PU之高度及/或寬度。舉例而言,PU可為8×16,且視訊寫碼器可上取樣參考樣本,使得沿PU之左側存在32個參考樣本且沿PU之頂側存在32個參考樣本。在此實例中,m等於6。在另一實例中,PU可為4×8,且視訊寫碼器可上取樣參考樣本,使得沿PU之左側存在16個參考樣本且沿PU之頂側存在16個參考樣本。在此實例中,m等於4。 此外,在第八技術之一些實例中,當使用方程式(4)及方程式(5)計算LM參數時,對於明度及色度分量兩者,非正方形PU之較短側處之界限的像素經上取樣,且較長界限(亦即,最大(K,L))之像素經子取樣,使得經上取樣較短界限中之像素數目等於經子取樣較長界限中之像素數目。上取樣程序可為複製或內插取樣。子取樣程序可為抽取或內插取樣。 因此,在此實例中,作為執行LM預測操作之部分,視訊寫碼器可獲得預測性色度樣本,使得預測性色度樣本等於第一參數乘以共置明度樣本加第二參數,其中如在方程式(4)及(5)中定義第一參數及第二參數。在此實例中,參考樣本集合為經上取樣參考樣本集合及經子取樣參考樣本集合之聯合,經上取樣參考樣本集合為含有左方參考樣本及上方參考樣本中之極少樣本中之任一者的經上取樣版本。在此實例中,經子取樣參考樣本集合為含有左方參考樣本及上方參考樣本中之更多樣本中之任一者的經子取樣版本。在此實例中,左邊參考樣本緊接在當前PU之左方界限的左方且上方參考樣本緊接在當前PU之頂部界限的上方。 在一些實例中,對於上文所提及之第八技術之實例,在子取樣或上取樣程序之後,僅針對明度分量之下取樣程序(例如,如本發明中其他處所描述)可進一步經應用以包含色彩格式並非4:4:4之情況。因此,基於當前圖像之色彩格式並非4:4:4,視訊寫碼器可對預測性區塊之明度樣本進行子取樣或下取樣。在一些實例中,明度樣本之兩個下取樣程序可合併成一個。 此外,在第八技術之一些實例中,可應用界限像素之子取樣/上取樣的不同方式。在一個實例中,子取樣/上取樣方法取決於PU大小(亦即,K及L之值)。在另一實例中,用於子取樣/上取樣之方法可在序列參數集、圖像參數集、圖塊標頭或另一語法結構中傳信。 在第八技術之一些實例中,以隱式方式實施上取樣/下取樣(或子取樣)。換言之,隱式地判定上取樣或子取樣技術。亦即,總和值,諸如左側界限或/及頂側界限之方程式(4)及方程式(5)中之乘以或除以因子S。S之值可取決於左側界限或/及上側界限中之像素數目的比率。 因此,在此實例中,作為執行LM預測操作以對預測性色度區塊進行預測之部分,視訊寫碼器可獲得預測性色度樣本,使得預測性色度樣本等於第一參數乘以共置明度樣本加第二參數,其中第一LM參數等於:, 其中S 取決於非正方形PU之左方界限或/及上部界限中之像素數目的比率,I 為根據子取樣方法判定之當前PU的左方及頂部界限中之樣本子集中之參考樣本的數目,xi 為經子取樣之經重建構明度參考樣本,且yi 為經重建構色度參考樣本。在一些實例中,針對K×L色度區塊,S=最大(K,L)/最小(K,L)。 如上文所描述,已經提出使用DST-VII、DCT-VIII、DST-I及DCT-V之增強型多重轉換(EMT)方案。此外,如上文所論述,在使用旗標(即,EMT旗標)之CU層級下控制是否將EMT應用於CU內之所有TU。對於具EMT功能之CU內之每一TU,藉由索引(即EMT索引)將待使用之水平或垂直轉換傳信至所選轉換集合。 然而,若CU中之每一PU之殘餘特性不同,則控制如先前所提出之EMT方案可並非有效的。舉例而言,對於CU內之經框內寫碼PU及經框間寫碼PU,控制如先前所提出之EMT方案可並非有效的。因此,根據本發明之第九技術,當針對一個圖塊、圖像或序列啟用EMT且在垂直方向上將一個CU分裂成兩個PU (例如,N×2N分區)時,藉由以下方式修改EMT旗標之傳信:若左方PU為經框內寫碼PU,則轉換深度可為0。換言之CU之轉換樹可具有為0或更大之深度。在此情況下,可在CU層級傳信EMT旗標。若轉換深度不為0,則可在PU層級傳信EMT旗標。因此,可或可不針對每一PU啟用EMT。 此外,根據本發明之第九技術,當針對一個圖塊、圖像或序列啟用EMT時,且當在水平方向上將一個CU分裂成兩個PU (例如,2N×N分區)時,通過以下方式修改EMT旗標之傳信:若上方PU為經框內寫碼PU,則轉換深度可為0。換言之,CU之轉換樹可具有為0或更大之深度。在此情況下,可在CU層級傳信EMT旗標。若轉換深度不為0,則可在PU層級傳信EMT旗標。亦即,每一PU可啟用EMT或不啟用EMT。 因此,根據第九技術,視訊編碼器20可將第一語法元素包括於包含視訊資料之經編碼表示的位元串流中。第一語法元素指示是否針對沿界限分割成恰好兩個PU之特定CU啟用EMT。在此實例中,第一語法元素是在特定CU抑或兩個PU中之特定PU中取決於CU之PU的分裂方向。此外,在此實例中,基於針對特定CU啟用EMT,對於特定CU之每一各別TU,視訊編碼器20可將指示各別TU之各別所選轉換集合的各別語法元素包括於位元串流中。在此實例中,基於針對特定CU啟用EMT,視訊編碼器20可將各別所選轉換集合中之一或多個轉換應用於各別TU之轉換係數,從而獲得樣本域中之各別TU的各別轉換區塊。在此實例中,視訊編碼器20可將表示CU之TU中之一或多者的資料包括於包含視訊資料之經編碼表示的位元串流中。在此實例中,界限可為水平界限或界限可為垂直界限。 在對應實例中,視訊解碼器30可獲得第一語法元素。第一語法元素指示是否針對沿界限分割成恰好兩個PU之特定CU啟用EMT。在此實例中,第一語法元素是在特定CU抑或兩個PU中之特定PU中取決於CU之PU的分裂方向。在此實例中,回應於判定針對特定CU啟用EMT,對於特定CU之每一各別TU,視訊解碼器30可獲得指示各別TU之各別所選轉換集合之各別語法元素。另外,回應於判定針對特定CU啟用EMT,對於特定CU之每一各別TU,視訊解碼器30可將各別所選轉換集合中之一或多個轉換的逆向應用於各別TU之轉換係數,從而獲得樣本域中之各別TU之各別轉換區塊。在此實例中,視訊解碼器30可至少部分基於CU之TU的轉換區塊重建構CU之寫碼區塊。在此實例中,界限可為水平界限或界限可為垂直界限。 根據本發明之第十技術,若干轉換樹結構可適用於對一個圖塊、圖像或序列進行寫碼。舉例而言,在一個實例中,預定義轉換樹結構。在一些實例中,對於每一圖像、圖塊、最大寫碼單元、CU或PU,視訊編碼器20可傳信所選轉換樹結構。替代地,在一些實例中,視訊解碼器30可自經寫碼資訊(諸如,預測模式/分區大小)導出所選轉換樹。 因此,根據第十技術,視訊編碼器20可基於自多個預定義樹結構中之特定樹結構將視訊資料之CU分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊。此外,在此實例中,樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。在此實例中,樹結構之葉節點對應於CU之TU。另外,在此實例中,視訊編碼器20將表示CU之TU中之一或多者的資料包括於包含視訊資料之經編碼表示的位元串流中。在一些實例中,視訊編碼器20可進一步將包括識別特定樹結構之一或多個語法元素包括於位元串流中。在一些實例中,指示適用於CU之特定樹結構的一或多個語法元素在以下各者中之一者中:圖像、圖塊、LCU、CU及PU。此外,在一些實例中,作為判定CU經分割成TU之部分,視訊編碼器20自經寫碼資訊判定特定樹結構而無需顯式傳信特定樹結構。在此等實例中,經寫碼資訊可包含以下各者中之至少一者:預測模式及分區大小。 在對應實例中,視訊解碼器30可基於來自多個預定義樹結構中之特定樹結構判定視訊資料之CU經分割成CU之TU。在此實例中,樹結構之根節點對應於CU之寫碼區塊。樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。在此實例中,樹結構之葉節點對應於CU之TU。另外,在此實例中,視訊解碼器30可基於CU之TU中之至少一者的資料重建構CU之寫碼區塊。在一些實例中,視訊解碼器30可自包含經編碼視訊資料之位元串流獲得識別特定樹結構之一或多個語法元素。指示適用於CU之特定樹結構之一或多個語法元素在以下各者中之一者中:圖像、圖塊、LCU、CU及預測單元。此外,在一些實例中,作為判定CU經分割成TU之部分,視訊解碼器30可自經寫碼資訊判定特定樹結構而無需顯式傳信特定樹結構。經寫碼資訊可包含以下各者中之至少一者:預測模式及分區大小。 在本發明之第十一實例中,具有等於1×N及N×1之大小的轉換亦可應用於經框間寫碼區塊。舉例而言,在一個實例中,僅針對特定轉換深度(例如,最高轉換深度)允許此類TU。在一些實例中,僅針對特定寫碼區塊(諸如,等於8×8之CU大小)允許此類TU。此外,在一些實例中,第十一技術僅適用於特定色彩分量,諸如明度。 因此,根據第十一技術,視訊編碼器20可藉由將1×N或N×1轉換應用於經框間寫碼區塊之殘餘資料而判定轉換域資料(例如,轉換係數)。在此實例中,視訊編碼器20可將表示轉換域資料之資料包括於包含視訊資料之經編碼表示的位元串流中。在對應實例中,視訊解碼器30可藉由將1×N或N×1轉換應用於經框間寫碼區塊之轉換係數而判定樣本域資料。在此實例中,視訊解碼器30可部分基於樣本域資料重建構視訊資料之CU的寫碼區塊。舉例而言,視訊解碼器30可將樣本域資料之樣本添加至殘餘資料之對應樣本以重建構CU之寫碼區塊。在一些情況下,對於上文涉及視訊編碼器20及視訊解碼器30之第十一技術之實例,僅針對特定轉換深度允許1×N及N×1轉換。另外,在一些情況下,對於上文涉及視訊編碼器20及視訊解碼器30之第十一技術之實例,僅針對特定大小之CU允許1×N及N×1轉換。 根據本發明之第十二技術,針對經框間寫碼CU定義於HEVC中之不對稱運動分割亦應用於經框內寫碼CU。將經框內預測CU不對稱地分割成PU可使得視訊編碼器20能夠更準確地將CU劃分成對應於不同對象之區域,此可增加壓縮效能。因此,根據第十二技術之實例,視訊編碼器20可將視訊資料之經框內預測CU不對稱地分割成PU。在此實例中,視訊編碼器20可判定經框內預測CU之每一各別PU的各別預測性區塊。此外,在此實例中,視訊編碼器20可基於經框內預測CU之PU之預測性區塊及經框內預測CU之寫碼區塊獲得殘餘資料。另外,在此實例中,視訊編碼器20可將表示殘餘資料之資料包括於包含視訊資料之經編碼表示的位元串流中。 在第十二技術之對應實例中,視訊解碼器30可判定視訊資料之經框內預測CU經不對稱地分割成PU。在此實例中,視訊解碼器30可判定經框內預測CU之每一各別PU之各別預測性區塊。另外,在此實例中,視訊解碼器30可基於經框內預測CU之PU之預測性區塊重建構經框內預測CU的寫碼區塊。 根據本發明之第十三技術,當一個經框內寫碼CU含有多個PU時,每一PU可具有其自身色度預測模式。換言之,PU可具有第一框內預測模式(亦即,明度預測模式)及第二框內預測模式(亦即,色度預測模式)。視訊寫碼器可使用明度預測模式判定PU之明度預測性區塊且可使用色度預測模式判定PU之色度預測性區塊。因此,根據第13技術,視訊編碼器20可判定視訊資料之經框內預測CU具有至少第一PU及第二PU。在此實例中,第一PU及第二PU具有不同色度預測模式。此外,在此實例中,視訊編碼器20可至少基於第一PU及第二PU之預測性區塊及CU之寫碼區塊將表示殘餘資料之資料包括於包含視訊資料之經編碼表示的位元串流中。 在第13技術之對應實例中,視訊解碼器30可判定視訊資料之經框內預測CU具有至少第一PU及第二PU。在此實例中,第一PU及第二PU具有不同色度預測模式。此外,在此實例中,視訊解碼器30可至少基於第一PU及第二PU之預測性區塊重建構CU之寫碼區塊。 此外,根據第13技術之實例,對於寫碼後續PU,可考慮經先前寫碼PU之色度框內預測模式。如此,視訊寫碼器可至少部分基於按寫碼次序在當前PU之前的PU之色度預測模式判定當前PU之色度預測模式。舉例而言,視訊寫碼器可在用於當前PU之色度框內預測模式之上下文模型化中使用經先前寫碼PU之色度框內預測模式。上下文模型化可包含對上下文自適應性熵寫碼之寫碼上下文之識別。寫碼上下文可指示值之機率。在另一實例中,視訊寫碼器可添加經先前寫碼PU之色度框內預測模式作為色度框內預測模式清單之一個新的候選者。 在第13技術之一些實例中,可首先在CU層級處寫碼一個旗標以指示所有PU是否共用相同色度框內預測模式。因此,在此實例中,視訊編碼器20可將指示經框內預測CU之所有PU是否共用相同色度框內預測模式之語法元素包括於位元串流中。類似地,視訊編碼器20可自包含視訊資料之經編碼表示的位元串流獲得指示經框內預測CU之所有PU是否共用相同色度框內預測模式之語法元素。 此外,在第十三技術之一些實例中,一個CU內之所有色度PU經限定以遵循相同轉換樹。藉由將一個CU內之所有色度PU限於遵循相同轉換樹,視訊編碼器20可不必要將指示不同色度PU之不同轉換樹之結構的資料包括於位元串流中。因此,視訊編碼器20可產生符合限制視訊編碼器產生位元串流之視訊寫碼標準的位元串流,其中CU之色度PU具有以不同方式構造之轉換樹。類似地,視訊解碼器30可獲得包含視訊資料之經編碼表示的位元串流。在此實例中,位元串流符合限制視訊編碼器產生位元串流之視訊寫碼標準,其中CU之色度PU具有以不同方式構造之轉換樹。 在本發明之第十四實例中,當一個經框內寫碼CU含有多個矩形PU時,視訊寫碼器可應用依靠模式之掃描。依靠模式之掃描為用於將TU之2維係數區塊中的轉換係數掃描成用於熵編碼之1維係數向量的掃描次序。視訊編碼器20可基於將哪一框內預測模式用於對應於TU之PU而選擇依靠模式之掃描以用於掃描來自複數個可用掃描次序中之TU的轉換係數。對應於TU之PU可與TU共同延伸或含有與TU相關聯之區域。使用依靠模式之掃描可更佳地配置CABAC之轉換係數。在HEVC中,僅針對8×8及4×4 TU允許依靠模式之掃描。 因此,根據第十四技術之實例,視訊編碼器20可基於2維轉換係數區塊獲得殘餘資料。在此實例中,視訊編碼器20可獲得視訊資料之經框內預測CU之複數個矩形PU中之每一者的預測性區塊。此外,在此實例中,視訊編碼器20可應用依靠模式之掃描以將轉換係數之2維區塊配置成對應於CU之TU的轉換係數之1維陣列。在此實例中,視訊編碼器20可將表示轉換係數之1維陣列之資料包括於包含視訊資料之經編碼表示的位元串流中。 在類似實例中,視訊解碼器30可應用依靠模式之掃描以將轉換係數的1維陣列配置成對應於視訊資料經框內預測CU之TU的2維轉換係數區塊。在此實例中,經框內預測CU具有多個矩形PU。此外,在此實例中,視訊解碼器30可基於轉換係數區塊獲得殘餘資料。另外,視訊解碼器30可獲得PU中之每一者的預測性區塊。在此實例中,視訊解碼器30可基於殘餘資料及預測性區塊重建構CU之寫碼區塊。 在第十四技術之一個實例中,依靠模式掃描之應用限於某些TU大小,諸如8×4或4×8。在一些實例中,依靠模式之掃描限於某些CU大小,諸如僅8×8或8×8及16×16。此外,在一些實例中,可再使用HEVC中之框內預測模式與用於等於8×8及4×4之TU大小的掃描模式之間的映射的規則。在一些實例中,可應用取決於矩形TU大小之不同映射函數。 如本發明中其他處所描述,VCEG-AZ07提出使用4分接頭框內內插濾波器改良關於用於HEVC之2分接頭框內內插濾波器之方向框內預測的精確度。然而,VCEG-AZ07不指示視訊寫碼器選擇用於非正方形經框內寫碼PU之4分接頭框內內插濾波器之方式。相反地,VCEG-AZ07指定視訊寫碼器針對4×4及8×8區塊使用立方內插濾波器,且針對16×16及更大區塊使用高斯內插濾波器。在本發明之第十五技術中,對於具有等於K×L之大小的非正方形經框內寫碼PU,當關於四分接頭框內內插濾波器判定如本發明中其他處所描述之4分接頭濾波器類型或掃描模式時,非正方形經框內寫碼PU被視為等於N×N之轉換大小,其中log2(N*N) = ((log2(K) + log2(L)) >> 1) << 1),其中log2為二進位對數,且>>及<<分別為邏輯右移及左移。 因此,在第十五技術之實例中,視訊編碼器20可判定用於視訊資料之CU之非正方形經框內寫碼PU的4分接頭內插濾波器。此外,在此實例中,視訊編碼器20可應用所判定4分接頭內插濾波器作為獲得非正方形經框內寫碼PU之預測性區塊之部分。舉例而言,當判定位於兩個整數位置參考樣本(亦即,關於圖像之左上樣本之整數座標處的參考樣本)之間的參考樣本之值時,視訊編碼器20可應用4分接頭濾波器。另外,在此實例中,視訊編碼器20可將表示至少部分基於非正方形PU之預測性區塊及CU之寫碼區塊之殘餘資料的資料包括於包含視訊資料之經編碼表示的位元串流中。在此實例中,作為判定4分接頭內插濾波器之部分,視訊編碼器20可基於正方形PU之大小判定4分接頭內插濾波器,其中正方形PU之大小係基於非正方形經框內寫碼PU之高度及寬度。 在第十五技術之對應實例中,視訊解碼器30可判定用於視訊資料之CU之非正方形經框內寫碼PU的4分接頭內插濾波器。另外,在此實例中,視訊解碼器30可應用所判定4分接頭內插濾波器作為獲得非正方形經框內寫碼PU之預測性區塊之部分。此外,視訊解碼器30可至少部分基於非正方形PU之預測性區塊重建構CU之寫碼區塊。在此實例中,作為判定4分接頭內插濾波器之部分,視訊解碼器30可基於正方形PU之大小判定4分接頭內插濾波器,其中正方形PU之大小係基於非正方形經框內寫碼PU之高度及寬度。 在第十五技術之一些實例中,新的4分接頭濾波器可應用於非正方形經框內寫碼PU。亦即,即使對於非正方形經框內寫碼PU,可應用4分接頭濾波器且此濾波器可與針對正方形PU定義之濾波器不同。此外,在第十五技術之一些實例中,框內預測模式與掃描模式索引之間的不同映射表可應用於非正方形經框內寫碼PU。 K×L轉換區塊被視為等於N×N之轉換大小,其中log2(N*N) = (log2(K) + log2(L) + 1)。因此,對K×L轉換區塊之掃描模式之選擇可與N×N區塊相同。 如上文所論述,HEVC中之轉換區塊具有大小N×N,其中N=2m 且m為整數。此外,在HEVC中,視訊編碼器將2維N×N轉換應用於轉換區塊以產生轉換係數。更特定而言,視訊編碼器藉由將N 點1維轉換分開應用於轉換區塊之每一列及轉換區塊之每一行而應用2維N×N轉換。以此方式應用轉換產生轉換係數之N×N區塊。 在HEVC中,視訊編碼器可藉由以下計算將N 點1維DCT轉換應用於轉換區塊wi 之樣本的第i列或行:(18) 在以上方程式中,i = 0、 …、 N - 1。DCT轉換矩陣C之元素cij 經定義為:(19) 在以上方程式中,i , j = 0、 …、 N – 1,且其中對於i = 0及i > 0,A 分別等於1及21 / 2 。 在方程式(19)中,使標示為Xij 。因此,方程式(18)可重寫為。由於視訊編碼器在水平及垂直方向兩者中應用1維DCT轉換,故轉換係數wi 可最終重寫為:(20) 此可進一步重寫為:(21) 因此,轉換可最終被視為具有之「歸一化因子」。由於N = 2m ,故亦為2的冪次方。因此,可藉由右移位運算而非除法運算來實施轉換係數之值。如本發明中其他處所論述,使用右移位運算而非除法運算可減少複雜度且改良寫碼速度。 然而,當與TU之非正方形轉換區塊一起再使用方程式(19)時可產生問題。對於2-D轉換(包括水平及垂直轉換兩者),考慮到K*L轉換,歸一化因子將為()。若將N定義為符合方程式log2(N*N) = ((log2(K) + log2(L)) >> 1) << 1)之值,則所利用歸一化因子()與實際歸一化因子(*)之比率將為。換言之,當再使用自量化程序中之N×N轉換區塊導出之同一歸一化因子時,能量(亦即,經量化轉換係數之平方總和)改變。 本發明之第十六技術可解決此問題。舉例而言,在本發明之第十六技術中,對於具有等於K×L之大小的非正方形轉換區塊,當(log2(K) + log2(L))為奇數時,HEVC中之轉換及量化程序保持不變且非正方形轉換區塊被視為具有等於N×N之大小的轉換區塊,其中log2(N*N) = ((log2(K) + log2(L)) >> 1) << 1)。換言之,基於(log2(K) + log2(L))為奇數,視訊編碼器20可判定值N,使得log2(N*N) = ((log2(K) + log2(L)) >> 1) << 1)。視訊編碼器20可隨後使用DCT轉換矩陣C之元素,該等元素係根據使用「歸一化因子」中之所判定N值的方程式(19)定義。因此,視訊編碼器20可繼續使用除以方程式(21)中之「歸一化因子」之右移位運算。 此外,根據本發明之第十六技術,在轉換程序之後及量化程序之前,轉換係數經修改,乘以因子。換言之,在將轉換應用於非正方形轉換區塊以產生係數區塊之後,視訊編碼器20將係數區塊之每一轉換係數乘以因子。此係由於所使用歸一化因子(亦即,)與實際歸一化因子(亦即,)之比率等於。 舉例而言,使K = 8且L = 4。在此實例中,log2(4*4) = ((log2(8) + log2(4)) >> 1) << 1),因此N = 4。等於等於等於。應注意,對於K及L之值,其中(log2(K) + log2(L))為偶數,所使用歸一化因子(亦即,)比實際歸一化因子(亦即,)之比率等於1。因此,當(log2(K) + log2(L))為偶數時,視訊編碼器20可不需要將轉換係數乘以因子。 在解量化程序之後,進一步修改解量化係數,除以因子。在量化之前將轉換係數乘以且將轉換係數除以可保留在量化程序中將另外損失之資訊。保留此資訊可確保原始轉換區塊之更準確重建構。 在第十六技術之另一實例中,HEVC中之轉換及量化程序保持不變且其被視為等於N×N之轉換大小,其中log2(N*N) = (log2(K) + log2(L) + 1)。在轉換之後及量化程序之前,修改轉換係數,除以因子。在解量化程序之後,進一步修改解量化係數,乘以因子。 在以上第十六技術之實例中,因子可由其近似值表示。舉例而言,(x*)之過程可由(x*181) >> 7估算,其中>>表示右移位運算。(x/)之過程可由(x*)/2估算,亦即,(x*181) >> 8,其中>>表示右移位運算。 因此,在上文所提出之第十六技術之實例中,視訊編碼器20可將轉換應用於CU之非正方形TU之轉換區塊以產生轉換係數之區塊。另外,視訊編碼器20可修改轉換係數,使得轉換係數之區塊之每一各別轉換係數係基於各別經解量化轉換係數乘以之近似值。在此實例中,在修改轉換係數之後,視訊編碼器20可將量化程序應用於CU之非正方形PU之經修改轉換係數。此外,在此實例中,視訊編碼器20可將基於經量化轉換係數之資料包括於包含視訊資料之經編碼表示的位元串流中。在一些實例中,作為將轉換應用於非正方形TU之轉換區塊之部分,視訊編碼器20可將具有大小N×N之轉換應用於經解量化轉換係數,其中log2(N*N) = ((log2(K) + log2(L)) >> 1) << 1)。 在對應實例中,視訊解碼器30可將解量化程序應用於視訊資料之CU之非正方形PU的轉換係數。在此實例中,將解量化程序應用於轉換係數之後,視訊解碼器30可修改經解量化轉換係數,使得經解量化轉換係數中之每一各別經解量化轉換係數基於各別經解量化轉換係數除以之近似值。在一些實例中,作為將逆轉換應用於經修改經解量化轉換係數之部分,包含視訊解碼器30可將具有大小N×N之轉換應用於經修改之經解量化轉換係數,其中log2(N*N) = ((log2(K) + log2(L)) >> 1) << 1)。 在HEVC中,視訊編碼器20可使用以下方程式計算經量化轉換係數(亦即,level):(22) 其中coeff 為轉換係數,offsetq 為偏移值,QP為量化參數,shift 2 = 29 - M - B, B 為位元深度,M = log2( N ),且(23) 此外,在HEVC中,視訊解碼器30可使用以下方程式對經量化轉換係數進行逆量化:(24) 在方程式(24)中,coeffQ 為經逆量化轉換係數,level 為經量化轉換係數,offsetIQ 為= 1 << (M - 10 + B)之偏移值,shift1 = (M - 9 + B),且g 如以下方程式(25)中所展示經定義:(25) 根據本發明之技術,視訊編碼器20可取決於(log2 (W)+log2 (H))是奇數抑或偶數而使用不同量化矩陣(亦即,f 之版本)。類似地,視訊解碼器30可取決於(log2 (W)+log2 (H))是奇數抑或偶數而使用不同逆量化矩陣(亦即,g 之版本)。g 之實例定義如下: [ 40,45,51,57,64,72 ],  // 當總和為偶數時 [ 7240,8145,9231,10317,11584,13032] // 當總和為奇數時 應注意,g 之每一對應值在為偶數的情況下乘以181。在此實例中,在量化階段之前或之後不需要執行乘法或除法程序,此係由於在g 中已經考慮了之補償。 此外,在方程式(22)及(24)中,在量化矩陣fg 中所選擇的值係基於量化參數QP而選擇的。量化矩陣fg 中之所選值在本文中可被稱作量化矩陣係數。在本發明之一些實例中,視訊編碼器20及視訊解碼器30可基於量化參數且亦基於(log2(W)+log2(H))是奇數抑或偶數而選擇量化矩陣係數。 如上文所簡要描述及圖2A及圖2B中所說明,在HEVC中,視訊寫碼器始終以遞歸z掃描次序處理CU之TU。因此,如圖2A中所示,對應於TU之轉換係數「a」的資料在位元串流中出現於對應於TU之轉換係數「b」之資料之前。本發明之第十七技術提出:對於使用框間模式或comb _ mode 或框內模式寫碼但具有非正方形分區之CU,轉換係數之寫碼次序取決於PU寫碼次序而非始終使用遞歸z掃描。在第十七技術之一些實例中,一個PU內之所有係數應在寫碼另一PU中之係數之前一起經寫碼。因此,對於視訊編碼器20,CU之PU中之一者內的所有係數在編碼CU之PU中之另一者的係數之前一起經編碼。類似地,在此實例中,對於視訊解碼器30,CU之一個PU內的所有係數在解碼CU之PU中之另一者的係數之前一起經解碼。 在此實例中,PU之轉換係數為TU之轉換係數,該等TU之轉換區塊在PU之預測區塊的區域內。舉例而言,讓16×16 CU之PU之預測區塊的左上角之座標相對於CU之寫碼區塊之左上角為(0,0),且讓PU之預測區塊之右下角的座標為(7,15)。此外,在此實例中,讓CU之TU之轉換區塊的左上角之座標為(4,0),且讓TU之轉換區塊之右下角的座標為(7,15)。在此實例中,TU之轉換係數為PU之轉換係數。然而,在此實例中,若TU之轉換區塊之左上角為(8,0),且TU之轉換區塊之右下角為(15,7),則TU之轉換係數不為PU之轉換係數。 舉例而言,關於圖2A,假定CU 40具有垂直穿過CU 40之中心而分割CU 40的兩個PU。因此,CU 40之第一PU的轉換係數包括TU之轉換係數「a」、「b」、「c」、「d」及「f」。CU 40之第二PU的轉換係數包括TU之轉換係數「e」、「g」、「h」、「i」及「j」。在此實例中,視訊編碼器20可包括在表示TU之轉換係數「f」之資料之後的表示TU之轉換係數「e」之資料。相反地,在HEVC中,無論CU 40之PU之形狀及大小如何,表示TU的轉換係數「f」之資料在表示TU之轉換係數「e」之資料之後。換言之,當一個PU含有多個TU時,將具有深度優先遍歷之遞歸Z掃描應用於寫碼PU內之此等係數。拿圖2舉例,若分區大小等於N×2N,則寫碼次序可為a、b、c、d、e、f、g、h、i、j。 當轉換深度不等於0時,亦即,轉換大小不大於PU大小,第十七技術之一些實例僅為適用的。應注意,上文所提及之AMP可包括其他不對稱分割,不止HEVC中所定義之四種情況。 如上文簡要地所提及,HEVC中之IC設計僅支援正方形PU。在本發明之前,導出非正方形PU之IC參數a及b之方式係未知的。本發明之第十八技術使得IC能夠與非正方形PU一起使用。舉例而言,視訊編碼器20可使用IC產生視訊資料之圖像之當前PU的非正方形預測性區塊。另外,視訊編碼器20可基於預測性區塊產生殘餘資料。舉例而言,視訊編碼器20可產生殘餘資料,使得殘餘資料之每一各別樣本等於當前CU之寫碼區塊的各別樣本與預測性區塊之對應各別樣本之間的差。此外,視訊編碼器20可輸出包括基於殘餘資料之資料的位元串流。舉例而言,視訊編碼器20可將轉換應用於殘餘資料以產生係數區塊、係數區塊之量化係數,且將表示經量化係數中之每一者的一或多個語法元素包括於位元串流中。在此實例中,視訊編碼器20可熵編碼每一經量化係數之語法元素中之一或多者。在其他實例中,視訊編碼器20可跳過轉換及/或量化之應用。 此外,根據涉及上文所提供之IC的實例中之一或多者,視訊解碼器30可使用IC產生視訊資料之圖像之當前CU之當前PU的非正方形預測性區塊。另外,視訊解碼器30可基於預測性區塊重建構圖像之區塊(例如,寫碼區塊)。舉例而言,視訊解碼器30可藉由將預測性區塊之樣本添加至對應殘餘樣本而重建構區塊之樣本。 在第十八技術之實例中,作為使用IC產生非正方形預測性區塊之部分,視訊寫碼器(例如,視訊編碼器20及/或視訊解碼器30)可如下判定預測性區塊之樣本:,其中, 其中PUc 為當前PU,(i,j)為預測性區塊中之像素的座標,(dvx ,dvy )為PUc 之向量(例如,視差向量)。p(i,j)為PUc 之預測,r 為視圖間參考圖像,a 為第一IC參數且b 為第二IC參數。此外,作為使用IC產生非正方形預測性區塊之部分,視訊寫碼器可如下計算第一IC參數:。 另外,視訊寫碼器可如下計算第二IC參數:, 在以上方程式中,Recneig Recrefneig 分別標示當前CU及參考區塊之相鄰像素集合,2N標示Recneig Recrefneig 中之像素數目,且當前CU具有等於N×N之大小。其他實例可對上文所指示之公式使用變體。 此外,在第十八技術之實例中,當針對具有等於K×L (K不等於L)大小之一個非正方形PU啟用IC時,可以各種方式導出參數。舉例而言,當使用方程式(16)及方程式(17)計算線性模型參數時,位於PU之較長及較短側兩者處之像素可使用不同方式(諸如不同子取樣比率)子取樣。然而,可要求,一起在兩側處之像素的總數目應等於2m (其中m為整數,且其值可取決於區塊大小)。因此,在此實例中,Recneigh 為緊接在當前CU上方且緊接在當前CU左方之像素的子集,Recrefneigh 為緊接在參考區塊上方且緊接在參考區塊左方之像素的子集,且Recneigh 及Recrefneigh 中之像素的總數目等於2m ,其中m為整數。子取樣程序可為抽取或內插取樣。 在導出IC之參數的另一實例中,當使用方程式(16)及方程式(17)計算線性模型參數時,非正方形PU之較短側處之界限的像素經上取樣,使得經上取樣界限中之像素數目等於較長界限(亦即,最大(K,L))中之像素數目。上取樣程序可為複製或內插取樣。因此,在此實例中,作為使用IC產生預測性區塊之部分,視訊寫碼器可產生Recneigh ,使得Recneigh 包括在當前CU之左側及頂側中之較短者中的經上取樣像素。另外,在此實例中,視訊寫碼器可產生Recrefneigh ,使得Recrefneigh 包括在參考區塊之左側及頂側中之較短者中的經上取樣像素。 替代地,位於PU之較長及較短側兩者處之像素可經上取樣且上取樣比率可不同。因此,在此實例中,作為使用IC產生預測性區塊之部分,視訊寫碼器可產生Recneigh ,使得Recneigh 包括在當前CU之左側及頂側中之較長者中的經上取樣像素。另外,視訊寫碼器可產生Recrefneigh ,使得Recrefneigh 包括參考區塊之左側及頂側中之較長者中的經上取樣像素。然而,可要求,一起在兩側處之像素的總數目應等於2m (其中m為整數,m可針對明度及色度分量不同)。 此外,在導出IC之參數之一些實例中,可應用對界限像素進行子取樣/上取樣之不同方式。在一個實例中,子取樣/上取樣方法取決於PU大小(亦即,K及L之值)。因此,視訊寫碼器可基於當前PU之大小判定用於產生Recneigh Recrefneigh 的子取樣方法或上取樣方法。在另一實例中,用於子取樣/上取樣之方法可在序列參數集、圖像參數集及/或圖塊標頭中傳信。因此,在一些實例中,視訊編碼器20可將指示用於產生Recneigh Recrefneigh 之子取樣方法的語法元素包括於位元串流中,且視訊解碼器30可自位元串流獲得該語法元素。在一些實例中,視訊編碼器20可將指示用於產生經上取樣像素之上取樣方法的語法元素包括於位元串流中,且視訊解碼器30可自位元串流獲得該語法元素。 在導出IC之參數的一些實例中,以隱式方式實施上取樣/下取樣(或子取樣)。舉例而言,左側界限或/及上側界限之方程式(16)及方程式(17)中之總和值可乘以或除以因子SS 之值可取決於左側界限或/及上側界限中之像素數目的比率。 在第十八技術之一些實例中,亦應將相同子取樣/上取樣方法應用於參考區塊之界限像素(亦即,Recrefneigh )。舉例而言,抽取可用於對Recneigh Recrefneigh 兩者進行子取樣。 此外,根據本發明之特定技術,當針對正方形PU啟用LM時,可首先子取樣明度及色度界限像素以(例如)使用方程式(16)及(17)導出參數。子取樣方法可在序列參數集、圖像參數集或圖塊標頭中預定義或傳信。子取樣方法可取決於預測單元大小。 因此,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可執行線性模型預測操作以自PU之經子取樣之經重建構明度樣本預測當前PU之預測性色度區塊。另外,視訊寫碼器可部分基於預測性色度區塊重建構圖像之區塊。作為執行線性模型預測操作之部分,視訊寫碼器可獲得預測性色度樣本,使得預測性色度樣本等於第一參數乘以共置明度樣本加第二參數,其中第一參數等於:且第二參數等於:。 在以上方程式中,I 為根據子取樣方法判定之當前PU之左方及頂部界限中之樣本子集中之參考樣本的數目,xi 為經子取樣之經重建構明度參考樣本,yi 為經重建構色度參考樣本。在此實例之一些情況下,視訊編碼器20可將指示子取樣方法之語法元素包括於位元串流中,且視訊解碼器30可自位元串流獲得該語法元素。在此實例之一些情況下,視訊編碼器20及視訊解碼器30可基於當前PU之大小判定子取樣方法。 已描述各種實例。本發明之特定實例可分別地或彼此組合地使用。 圖24為說明可實施本發明之技術的實例視訊編碼器20之方塊圖。出於解釋之目的提供圖24,且不應將該圖視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的,本發明在HEVC寫碼在之上下文中描述視訊編碼器20。然而,本發明之技術可適用於其他寫碼標準或方法。 視訊編碼器20包括處理電路,且視訊編碼器20經組態以執行本發明中所描述之實例技術中之一或多者。此類處理電路可包括固定功能及/或可程式化電路。舉例而言,視訊編碼器20包括積體電路,且圖24中說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊或該等單元中之兩者或多於兩者可組合為共用硬體電路區塊。硬體電路區塊可形成為電子組件之組合,該等電子組件形成諸如算術邏輯單元(ALU)、基礎功能單元(EFU)之操作區塊,以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。 在圖24之實例中,視訊編碼器20包括預測處理單元200、視訊資料記憶體201、殘餘產生單元202、轉換處理單元204、量化單元206、逆量化單元208、逆轉換處理單元210、重建構單元212、濾波器單元214、經解碼圖像緩衝器216及熵編碼單元218。預測處理單元200包括框間預測處理單元220及框內預測處理單元226。框間預測處理單元220可包括運動估計單元及運動補償單元(未示出)。在一些實例中,預測處理單元200執行本發明之照明補償技術。在一些實例中,預測處理單元200執行本發明之LM技術以產生非正方形色度預測性區塊。此外,在一些實例中,預測處理單元200執行本發明之IC技術以產生非正方形預測性區塊。 視訊資料記憶體201可經組態以儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18 (圖1)獲得儲存於視訊資料記憶體201中之視訊資料。經解碼圖像緩衝器216可為儲存用於視訊編碼器20 (例如,以框內或框間寫碼模式)編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體201及經解碼圖像緩衝器216可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體201及經解碼圖像緩衝器216可由同一記憶體器件或單獨記憶體器件提供。在各種實例中,視訊資料記憶體201可與視訊編碼器20之其他組件一起在晶片上,或相對於彼等組件在晶片外。 視訊編碼器20接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分,預測處理單位200可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。較小區塊可為CU之寫碼區塊。舉例而言,預測處理單元200可將與CTU相關聯之CTB分割成四個相等大小之子區塊,將該等子區塊中之一或多者分割成四個相等大小之子子區塊,等等。 視訊編碼器20可編碼CTU之CU以產生該等CU之經編碼的表示(亦即,經寫碼CU)。作為編碼CU之部分,預測處理單元200可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此,每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示,CU之大小可指CU之明度寫碼區塊的大小,且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N,則視訊編碼器20及視訊解碼器30可支援用於框內預測之2N×2N或N×N之PU大小,及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的非對稱分割。 框間預測處理單元220可藉由對CU之每一PU執行框間預測而產生PU之預測性資料。PU之預測性資料可包括PU之預測性區塊及PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中,框間預測處理單元220可針對CU之PU執行不同操作。在I圖塊中,所有PU經框內預測。因此,若PU在I圖塊中,則框間預測處理單元220不對PU執行框間預測。因此,對於以I模式編碼之區塊,經預測區塊係使用空間預測由同一圖框內的先前經編碼相鄰區塊形成。若PU在P圖塊中,則框間預測處理單元220可使用單向框間預測以產生PU之預測性區塊。若PU在B圖塊中,則框間預測處理單元220可使用單向或雙向框間預測以產生PU之預測性區塊。 框內預測處理單元226可藉由對PU執行框內預測而產生PU之預測性資料。PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元226可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。 為了對PU執行框內預測,框內預測處理單元226可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測處理單元226可使用來自相鄰PU之樣本區塊的樣本來產生PU之預測性區塊。對於PU、CU及CTU,假定自左至右、自上而下之編碼次序,則相鄰PU可在PU上方、右上方、左上方或左方。框內預測處理單元226可使用各種數目個框內預測模式,例如,33個方向性框內預測模式。在一些實例中,框內預測模式之數目可取決於與PU相關聯之區域的大小。 預測處理單元200可自由框間預測處理單元220針對PU產生的預測性資料或由框內預測處理單元226針對PU產生的預測性資料中選擇用於CU之PU的預測性資料。在一些實例中,預測處理單元200基於預測性資料之集合的率/失真量度而選擇用於CU之PU的預測性資料。所選預測性資料的預測性區塊在本文中可被稱作所選預測性區塊。 殘餘產生單元202可基於CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)及CU之PU的所選預測性區塊(例如,預測性明度、Cb及Cr區塊)產生CU之殘餘區塊(例如,明度、Cb及Cr殘餘區塊)。舉例而言,殘餘產生單元202可產生CU之殘餘區塊,使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選預測性樣本區塊中的對應樣本之間的差的值。 轉換處理單元204可執行分割(例如四分樹分割)以將與CU相關聯之殘餘區塊分割為與CU之TU相關聯的轉換區塊。因此,TU可與明度轉換區塊及兩個色度轉換區塊相關聯。CU之TU之明度及色度轉換區塊的大小及位置可或可不基於CU之PU之預測區塊的大小及位置。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之分葉節點。 在一些實例中,轉換處理單元204可執行本發明之技術以用於判定包括具有兩(及/或4)個子節點之節點的殘餘樹結構。舉例而言,視訊資料記憶體201可接收視訊資料,且轉換處理單元204可基於樹結構將視訊資料之CU分割成CU之TU。在此實例中,作為基於樹結構將CU分割成CU之TU之部分,轉換處理單元204可判定樹結構中之節點恰好具有樹結構中之兩個子節點。在一些情況下,轉換處理單元204可進一步判定樹結構中之第二節點恰好具有樹結構中之四個子節點。對於CU之TU中之至少一者,轉換處理單元204可將轉換應用於TU之殘餘區塊以產生TU之轉換係數區塊。 轉換處理單元204可藉由將一或多個轉換應用於TU之轉換區塊而產生CU之每一TU的轉換係數區塊。轉換處理單元204可將各種轉換應用於與TU相關聯之轉換區塊。舉例而言,轉換處理單元204可將離散餘弦轉換(DCT)、定向轉換或概念上類似之轉換應用於轉換區塊。在一些實例中,轉換處理單元204不將轉換應用於轉換區塊。在此等實例中,轉換區塊可被視為轉換係數區塊。在一些實例中,轉換處理單元204執行本發明之EMT技術。 量化單元206可量化係數區塊中之轉換係數。量化程序可減少與轉換係數中之一些或全部相關聯的位元深度。舉例而言,在量化期間,可將n 位元轉換係數捨入至m 位元轉換係數,其中n 大於m 。量化單位206可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊損失;因此,經量化轉換係數可具有比原始轉換係數低的精確度。 在一些實例中,量化單元206修改轉換係數,使得轉換係數之區塊之每一各別轉換係數係基於各別經解量化轉換係數乘以之近似值。在此實例中,在修改轉換係數之後,量化單元206將量化程序應用於CU之非正方形PU的經修改轉換係數。 逆量化單元208及逆轉換處理單元210可分別將逆量化及逆轉換應用於係數區塊,以自係數區塊重構殘餘區塊。重建構單元212可將經重建構殘餘區塊添加至來自藉由預測處理單元200產生之一或多個預測性區塊的對應樣本,以產生與TU相關聯的經重建構轉換區塊。藉由以此方式重建構CU之每一TU的轉換區塊,視訊編碼器20可重建構CU之寫碼區塊。 濾波器單元214可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在濾波器單元214對經重建構寫碼區塊執行一或多個解區塊操作之後,經解碼圖像緩衝器216可儲存經重建構寫碼區塊。框間預測處理單元220可使用含有經重建構寫碼區塊之參考圖像來對其他圖像之PU執行框間預測。另外,框內預測處理單元226可使用經解碼圖像緩衝器216中之經重建構寫碼區塊來對與CU在同一圖像中的其他PU執行框內預測。 熵編碼單元218可自視訊編碼器20之其他功能組件接收資料。舉例而言,熵編碼單元218可自量化單元206接收係數區塊,且可自預測處理單元200接收語法元素。熵編碼單元218可對資料執行一或多個熵編碼操作,以產生經熵編碼資料。舉例而言,熵編碼單元218可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元218產生的經熵編碼資料的位元串流。舉例而言,位元串流可包括表示CU之RQT的資料。 圖25為說明經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。出於解釋之目的而提供圖25,且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的,本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而,本發明之技術可適用於其他寫碼標準或方法。 視訊解碼器30包括處理電路,且視訊解碼器30經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言,視訊解碼器30包括積體電路,且圖25中說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊或該等單元中之兩者或多於兩者可組合為共用硬體電路區塊。硬體電路區塊可形成為電子組件之組合,該等電子組件形成諸如算術邏輯單元(ALU)、基礎功能單元(EFU)之操作區塊,以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。 在一些實例中,圖25中說明之單元中之一或多者可由在處理電路上執行之軟體單元提供。在此類實例中,用於此等軟體單元之目的碼儲存於記憶體中。作業系統可使得視訊解碼器30擷取目的碼並執行目的碼,其使得視訊解碼器30執行實施實例技術之操作。在一些實例中,軟體單元可為視訊解碼器30在啟動時執行之韌體。因此,視訊解碼器30為具有執行實例技術之硬體的結構性組件或具有在硬體上執行以特化該硬體以執行該等實例技術的軟體/韌體。 在圖25之實例中,視訊解碼器30包括熵解碼單元250、視訊資料記憶體251、預測處理單元252、逆量化單元254、逆轉換處理單元256、重建構單元258、濾波器單元260及經解碼圖像緩衝器262。預測處理單元252包括運動補償單元264及框內預測處理單元266。在其他實例中,視訊解碼器30可包括更多、更少或不同的功能組件。在一些實例中,預測處理單元266執行本發明之照明補償技術。在一些實例中,預測處理單元266執行本發明之LM技術。 視訊資料記憶體251可儲存待由視訊解碼器30之組件解碼的經編碼視訊資料(諸如,經編碼視訊位元串流)。可(例如) 自電腦可讀媒體16 (例如,自諸如攝影機之本端視訊源經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體)獲得儲存於視訊資料記憶體251中之視訊資料。視訊資料記憶體251可形成儲存來自經編碼視訊位元流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器262可為儲存用於視訊解碼器30(例如) 以框內或框間寫碼模式解碼視訊資料之,參考視訊資料的參考圖像記憶體。視訊資料記憶體251及經解碼圖像緩衝器262可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。可藉由相同記憶體器件或單獨記憶體器件提供視訊資料記憶體251及經解碼圖像緩衝器262。在各種實例中,視訊資料記憶體251可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件在晶片外。 視訊資料記憶體251接收並且儲存位元串流之經編碼視訊資料(例如,NAL單元)。熵解碼單元250可自視訊資料記憶體251接收經編碼視訊資料(例如,NAL單元),且可剖析該NAL單元以獲得語法元素。熵解碼單元250可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元252、逆量化單元254、逆轉換處理單元256、重建構單元258及濾波器單元260可基於自位元串流提取之語法元素產生經解碼視訊資料。熵解碼單元250可執行大體上與熵編碼單元218之彼程序互逆的程序。 除自位元串流獲得語法元素之外,視訊解碼器30亦可對未經分割之CU執行重建構操作。為了對CU執行重建構操作,視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作,視訊解碼器30可重建構CU之殘餘區塊。 作為對CU之TU執行重建構操作的部分,逆量化單元254可逆量化(亦即,解量化)與TU相關聯之係數區塊。在逆量化單元254對係數區塊進行逆量化之後,逆轉換處理單元256可將一或多個逆轉換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言,逆轉換處理單元256可將逆DCT、逆整數轉換、逆Karhunen-Loeve轉換(KLT)、逆旋轉轉換、逆定向轉換或另一逆轉換應用於係數區塊。在一些實例中,逆轉換處理單元256執行本發明之EMT技術。 根據本發明之一些實例,逆量化單元254可將解量化程序應用於視訊資料之CU之非正方形TU的轉換係數。此外,在將解量化程序應用於轉換係數之後,逆量化單元254可修改經解量化轉換係數,使得經解量化轉換係數中之每一各別經解量化轉換係數係基於各別經解量化轉換係數除以之近似值。 在一些實例中,逆轉換處理單元256可將本發明之技術應用於判定包括具有兩(及/或4)個子節點之節點的殘餘樹結構。舉例而言,逆轉換處理單元256可基於樹結構判定視訊資料之CU經分割成CU之TU。在此實例中,作為基於樹結構判定CU經分割成CU之TU之部分,逆轉換處理單元256可判定樹結構中之節點恰好具有樹結構中之兩個子節點。在一些實例中,逆轉換處理單元256可判定樹結構中之第二節點恰好具有樹結構中之四個子節點。此外,在此實例中,對於CU之TU中之至少一者,逆轉換處理單元256可將轉換應用於TU之係數區塊以產生TU之殘餘區塊。 若使用框內預測編碼PU,則框內預測處理單元266可執行框內預測以產生PU之預測性區塊。框內預測處理單元266可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元266可基於自位元串流獲得的一或多個語法元素判定用於PU之框內預測模式。 若使用框間預測編碼PU,則熵解碼單元250可判定PU之運動資訊。運動補償單元264可基於PU之運動資訊判定一或多個參考區塊。運動補償單元264可基於一或多個參考區塊產生PU之預測性區塊(例如,預測性明度、Cb及Cr區塊)。 重建構單元258可在適當時使用CU之TU的轉換區塊(例如,明度、Cb及Cr轉換區塊)及CU之PU的預測性區塊(例如,明度、Cb及Cr區塊)(亦即,框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。舉例而言,重建構單元258可將轉換區塊(例如,明度、Cb及Cr轉換區塊)之樣本添加至預測性區塊(例如,預測性明度、Cb及Cr區塊)之對應樣本,從而重建構CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。 濾波器單元260可將一或多個濾波器應用於CU之寫碼區塊。舉例而言,濾波器單元260可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器262中。因此,經解碼圖像緩衝器262可儲存經解碼視訊資料區塊。經解碼圖像緩衝器262可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如,圖1之顯示器件32)上之呈現。舉例而言,視訊解碼器30可基於經解碼圖像緩衝器262中之區塊對其他CU之PU執行框內預測或框間預測操作。 圖26為說明根據本發明之技術支援基於LM之編碼之實例視訊編碼器20的方塊圖。在圖26之實例中,視訊編碼器20之組件以與圖24之視訊編碼器20之對應組件相同的方式操作。然而,圖26之視訊編碼器20亦包括基於LM之編碼單元222。 基於LM之編碼單元222可根據本發明中其他處所描述之實例執行LM預測編碼。舉例而言,逆量化單元208、逆轉換處理單元210、重建構單元212及濾波器單元214可重建構明度參考樣本集合、色度參考樣本集合,且亦可重建構非正方形PU之明度樣本。基於LM之編碼單元222可對明度參考樣本集合進行下取樣或子取樣,使得明度參考樣本集合中與非正方形PU之較長相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形PU之較短側相鄰之明度參考樣本的總數目相同。另外,基於LM之解碼單元222可判定第一參數,使得第一參數等於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i 明度參考樣本,且yi 為色度參考樣本集合中之第i 色度參考樣本。針對非正方形PU之預測性色度區塊之每一各別色度樣本,基於LM之編碼單元222可判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形PU之經重建構明度樣本中之一者。基於LM之編碼單元222可判定第一參數,使得第二參數等於:。 基於LM之編碼單元222可將預測性區塊輸出至殘餘產生單元202。殘餘產生單元202可自預測性區塊及色度區塊產生殘餘區塊。所得殘餘區塊由轉換處理單元103轉換、由量化單元206量化且由熵編碼單元218熵編碼。接著經由位元串流傳信該結果,且視訊解碼器30可使用位元串流中之資訊來重建構色度區塊。 圖27為說明根據本發明之技術的支援基於LM之解碼之實例視訊解碼器30的方塊圖。在圖27之實例中,視訊解碼器30之組件以與圖27之視訊解碼器30之對應組件相同的方式操作。然而,圖27之視訊解碼器30亦包括基於LM之解碼單元265。 根據本發明之各種實例,視訊解碼器30可經組態以根據本發明中其他處所提供之實例執行基於LM之寫碼。舉例而言,逆量化單元254、逆轉換處理單元256、重建構單元258及濾波器單元260可重建構明度參考樣本集合、色度參考樣本集合,且亦可重建構非正方形PU之明度樣本。基於LM之解碼單元265可對明度參考樣本集合進行下取樣或子取樣,使得明度參考樣本集合中與非正方形PU之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形PU之較短側面相鄰之明度參考樣本的總數目相同。另外,基於LM之解碼單元265可判定第一參數,使得第一參數等於:其中I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i 明度參考樣本,且yi 為色度參考樣本集合中之第i 色度參考樣本。對於非正方形PU之預測性色度區塊之每一各別色度樣本,基於LM之解碼單元266可判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數,對應於各別色度樣本之經重建構明度樣本為非正方形PU之經重建構明度樣本中之一者。基於LM之解碼單元266可判定第一參數,使得第二參數等於:。 基於LM之解碼單元265可將預測性區塊輸出至重建構單元258。重建構單元258亦接收殘餘區塊(例如,在位元串流中之用於殘餘區塊之資訊使用熵解碼單元250經熵解碼、使用逆量化單元254經逆量化、使用逆轉換處理單元256經逆轉換之後)。重建構單元258添加具有預測性區塊之殘餘區塊以重建構色度區塊。 圖28為說明根據本發明之基於LM之寫碼技術的視訊編碼器20之實例操作的流程圖。本發明之流程圖作為實例提供。本發明之範疇內之其他實例可包括更多、更少或不同動作。本發明之範疇內之其他實例可包括以不同次序或並行執行之動作。 在圖28之實例中,視訊編碼器20可接收視訊資料(300)。舉例而言,視訊編碼器20可自視訊源18 (圖1)或另一來源接收視訊資料。 另外,在圖28之實例中,視訊編碼器20可重建構明度參考樣本集合及色度參考樣本集合(302)。明度參考樣本集合可包含與視訊資料之當前圖像之非正方形明度區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本。在一些實例中,非正方形明度區塊為非正方形PU之明度預測區塊。色度參考樣本集合可包含與非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本。在一些實例中,非正方形明度區塊為非正方形PU之明度預測區塊。 此外,視訊編碼器20可重建構非正方形明度區塊之明度樣本(304)。舉例而言,視訊編碼器20可產生如本發明中其他處所描述之CU的明度殘餘樣本。在此實例中,視訊編碼器20可將非正方形明度區塊之明度預測性區塊的樣本添加至明度殘餘樣本之對應樣本以重建構非正方形明度區塊之明度樣本。 在一些實例中,視訊編碼器20可對非正方形明度區塊之明度樣本進行下取樣或子取樣。通過對非正方形明度區塊之明度樣本進行下取樣或子取樣,視訊編碼器20可獲得針對色度預測性區塊(例如,與明度區塊相同之PU的色度預測性區塊)之每一色度樣本具有一個明度樣本的經下取樣或子取樣明度樣本集合。視訊編碼器20可回應於判定當前圖像之色彩格式並非4:4:4而對非正方形明度區塊之明度樣本進行下取樣或子取樣。 另外,視訊編碼器20可對該明度參考樣本集合進行下取樣或子取樣,以使得明度參考樣本集合中與非正方形明度區塊之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同(306)。視訊編碼器20可根據本發明中其他處所描述之技術對明度參考樣本集合進行下取樣或子取樣。舉例而言,視訊編碼器20可對明度參考樣本集合進行抽取,使得與非正方形明度區塊之較長側相鄰之明度參考樣本集合與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同。在一些實例中,視訊編碼器20可下取樣或子取樣對應於明度之左方界限及明度之頂部界限中之較長者的左邊參考樣本或上方參考樣本中的任一者,而非為明度區塊之左方界限及明度區塊之頂部界限中之較短者的任一者。在一些實例中,明度參考樣本集合中之參考樣本之總數目等於2m ,其中m為取決於非正方形明度區塊之高度及/或寬度的整數。 在一些實例中,視訊編碼器20亦可對色度參考樣本集合進行下取樣或子取樣,使得色度參考樣本集合中與非正方形色度區塊之較長側相鄰之色度參考樣本的總數目與色度參考樣本集合中與非正方形色度區塊之較短側相鄰之色度參考樣本的總數目相同。 在圖28之動作(308)中,視訊編碼器20可判定第一參數(β ),使得第一參數係基於:在以上方程式中,I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i 明度參考樣本,且yi 為色度參考樣本集合中之第i 色度參考樣本。視訊編碼器20可基於以上公式判定第一參數,意義在於視訊編碼器20直接使用以上公式或以上公式之變體,諸如包括額外常數或係數之一個公式。 在一些實例中,視訊編碼器20亦可判定第二參數(α ),使得第二參數係基於:視訊編碼器20可基於以上公式判定第二參數,意義在於視訊編碼器20直接使用以上公式或以上公式之變體,諸如包括額外常數或係數之一個公式。 另外,在圖28之實例中,對於預測性色度區塊之每一各別色度樣本,視訊編碼器20可判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數(310)。對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者。 此外,視訊編碼器20可基於預測性色度區塊獲得殘餘資料(312)。舉例而言,視訊編碼器20可判定殘餘資料之色度樣本之值等於非正方形預測區塊之色度區塊的樣本與CU之色度寫碼區塊之樣本之間的差。 另外,視訊編碼器20可將表示殘餘資料之資料包括於包含視訊資料之經編碼表示的位元串流中(314)。舉例而言,視訊編碼器20可將一或多個轉換應用於殘餘資料以產生一或多個係數區塊;對係數區塊進行量化;產生指示轉換係數是否為非零、轉換係數是否大於1、轉換係數是否大於2、轉換係數之正負號及轉換係數之剩餘者的語法元素。在此實例中,視訊編碼器20可將CABAC寫碼應用於此等語法元素中之一或多者且包括位元串流中之所得值。 圖29為說明根據本發明之基於LM之寫碼技術的視訊解碼器30之實例操作的流程圖。在圖29之實例中,視訊解碼器30接收包含視訊資料之經編碼表示的位元串流(350)。 此外,在圖29之實例中,視訊解碼器30重建構明度參考樣本集合及色度參考樣本集合(352)。明度參考樣本集合包含與視訊資料之當前圖像之非正方形明度區塊之頂側相鄰的上方明度樣本及與非正方形明度區塊之左側相鄰的左方明度樣本。在一些實例中,非正方形明度區塊為非正方形PU之明度預測區塊。色度參考樣本集合包含與非正方形色度區塊之頂側相鄰的色度樣本及與非正方形色度區塊之左側相鄰的色度樣本。在一些實例中,非正方形明度區塊為非正方形PU之明度預測區塊。 視訊解碼器30可重建構非正方形明度區塊之明度樣本(354)。舉例而言,作為重建構非正方形明度區塊之明度樣本之部分,視訊解碼器30可使用框內預測或框間預測產生非正方形明度區塊之明度預測性區塊。另外,在此實例中,視訊解碼器30可將非正方形預測區塊之明度預測性區塊之樣本添加至對應殘餘樣本以重建構明度樣本。 在一些實例中,視訊解碼器30可對非正方形明度區塊之明度樣本進行下取樣或子取樣。藉由對非正方形明度區塊之明度樣本進行下取樣或子取樣,視訊解碼器30可獲得針對色度預測性區塊(例如,與明度區塊相同之PU的色度預測性區塊)之每一色度樣本具有一個明度樣本的經下取樣或子取樣明度樣本集合。視訊解碼器30可回應於判定當前圖像之色彩格式並非4:4:4而對非正方形明度區塊之明度樣本進行下取樣或子取樣。 此外,在圖29之實例中,視訊解碼器30可對明度參考樣本集合進行下取樣或子取樣,使得明度參考樣本集合中與非正方形預測區塊之較長側相鄰之明度參考樣本的總數目與明度參考樣本集合中與非正方形預測區塊之較短側相鄰之明度參考樣本的總數目相同(356)。視訊解碼器30可根據本發明中其他處所描述之技術對明度參考樣本集合進行下取樣或子取樣。舉例而言,視訊解碼器30可對明度參考樣本集合進行抽取,使得與非正方形明度區塊之較長側相鄰之明度參考樣本集合與明度參考樣本集合中與非正方形明度區塊之較短側相鄰之明度參考樣本的總數目相同。在一些實例中,視訊解碼器30可下取樣或子取樣對應於明度區塊之左方界限及明度區塊之頂部界限中之較長者的左邊參考樣本或上方參考樣本中之任一者,而非為明度區塊之左方界限及明度區塊之頂部界限中之較短者的任一者。在一些實例中,明度參考樣本集合中之參考樣本之總數目等於2m ,其中m為取決於非正方形明度區塊之高度及/或寬度的整數。 在一些實例中,視訊解碼器30亦可對色度參考樣本集合進行下取樣或子取樣,使得色度參考樣本集合中與非正方形色度區塊之較長側相鄰之色度參考樣本的總數目與色度參考樣本集合中與非正方形色度區塊之較短側相鄰之色度參考樣本的總數目相同。 另外,在圖29之動作(358)中,視訊解碼器30可判定第一參數(β ),使得第一參數係基於:在以上方程式中,I 為明度參考樣本集合中之參考樣本之總數目,xi 為明度參考樣本集合中之第i 明度參考樣本,且yi 為色度參考樣本集合中之第i 色度參考樣本。在本發明中,視訊編碼器20及/或視訊解碼器30可基於公式判定值,意義在於視訊編碼器20及/或視訊解碼器30可直接使用公式或公式之變體,諸如包括額外常數或係數之一個公式。 在一些實例中,視訊解碼器30亦可判定第二參數(α ),使得第二參數係基於:在圖29之實例中,對於預測性色度區塊之每一各別色度樣本,視訊解碼器30可判定各別色度樣本之值,使得各別色度樣本之值等於第二參數乘以對應於各別色度樣本之各別經重建構明度樣本加第一參數(360)。在此實例中,對應於各別色度樣本之經重建構明度樣本為非正方形明度區塊之經重建構明度樣本中之一者。 此外,視訊解碼器30可部分基於預測性色度區塊重建構CU之寫碼區塊(362)。舉例而言,視訊解碼器30可將預測性色度區塊之樣本添加至CU之對應殘餘色度樣本以判定CU之寫碼區塊的樣本。 圖30為說明根據本發明之量化技術的視訊編碼器20之實例操作的流程圖。在圖30之實例中,視訊編碼器20接收視訊資料(400)。此外,視訊編碼器20可產生CU之非正方形TU的殘餘區塊,使得殘餘區塊之每一殘餘樣本指示CU的寫碼區塊與CU之PU的預測性區塊之對應樣本之間的差(402)。 視訊編碼器20可將轉換應用於殘餘區塊以產生轉換係數之區塊(404)。舉例而言,視訊編碼器20可將DCT轉換應用於殘餘區塊。另外,視訊編碼器20可修改轉換係數,使得轉換係數之區塊之每一各別轉換係數係基於各別經解量化轉換係數乘以之近似值(406)。舉例而言,視訊編碼器20可修改轉換係數,使得每一各別轉換係數等於各別轉換係數之初始值乘以之近似值。在本發明中,之近似值可為之表示(例如,之浮點表示)。在一些實例中,修改轉換係數,使得每一各別轉換係數等於各別轉換係數之初始值乘以之近似值可包含執行一或多個數學運算以判定大致轉換係數乘以之值。 在非正方形TU具有大小K×L之一些實例中,作為將轉換應用於殘餘區塊之部分,視訊編碼器20可將具有大小N×N之轉換應用於殘餘區塊,其中log2 (N*N) = ((log2 (K) + log2 (L)) >> 1) << 1)及((log2 (K) + log2 (L))為奇數。舉例而言,視訊編碼器20可如以上方程式(18)中所示將N點1維DCT轉換應用於殘餘區塊之列及行。 此外,在圖30之實例中,在修改轉換係數之後,視訊編碼器20可將量化程序應用於CU之非正方形預測區塊的經修改轉換係數(408)。舉例而言,視訊編碼器20可量化如以上方程式(22)中所描述之經修改轉換係數。 視訊編碼器20可將基於經量化轉換係數之資料包括於包含視訊資料之經編碼表示的位元串流中(410)。舉例而言,視訊編碼器20可產生指示經量化轉換係數是否為非零、經量化轉換係數是否大於1、經量化轉換係數是否大於2、經量化轉換係數之正負號及經量化轉換係數之剩餘者的語法元素。在此實例中,視訊編碼器20可將CABAC寫碼應用於此等語法元素中之一或多者且包括位元串流中之所得值。 在非正方形TU具有大小K×L之一些實例中,視訊編碼器20可基於((log2 (K) + log2 (L))為奇數修改經解量化轉換係數,使得經解量化轉換係數中之每一各別經解量化轉換係數係基於各別經解量化轉換係數乘以之近似值。在此等實例中,當((log2 (K) + log2 (L))為偶數時,視訊編碼器20不修改經解量化轉換係數,使得經解量化轉換係數中之每一各別經解量化轉換係數是基於各別經解量化轉換係數乘以之近似值。 圖31為說明根據本發明之量化技術的視訊解碼器30之實例操作的流程圖。在圖31之實例中,視訊解碼器30可接收包含視訊資料之經編碼表示的位元串流(450)。此外,視訊解碼器30可將解量化過程應用於視訊資料之CU之非正方形TU的轉換係數(452)。舉例而言,視訊解碼器30可藉由應用以上方程式(24)來解量化(亦即,逆量化)轉換係數。 在將解量化過程應用於轉換係數之後,視訊解碼器30可修改經解量化轉換係數,使得經解量化轉換係數中之每一各別經解量化轉換係數係基於各別經解量化轉換係數除以之近似值(454)。舉例而言,視訊解碼器30可判定每一各別經修改轉換係數等於轉換係數除以之近似值。在本發明中,之近似值可為之表示(例如,之浮點表示)。在一些實例中,修改轉換係數,使得每一各別轉換係數等於各別轉換係數之初始值乘以之近似值可包含執行一或多個數學運算以判定大致轉換係數除以之值。 此外,視訊解碼器30可將逆轉換應用於經修改經解量化轉換係數以重建構殘餘區塊(456)。舉例而言,視訊解碼器30可應用具有轉換矩陣C之轉置的方程式(18) (或其以整數精確度表示之近似值)以將逆轉換應用於經修改之經解量化轉換係數。在非正方形TU具有大小K×L之一些實例中,作為將轉換應用於殘餘區塊之部分,視訊解碼器30可將具有大小N×N之轉換應用於殘餘區塊,其中log2 (N*N) = ((log2 (K) + log2 (L)) >> 1) << 1)及((log2 (K) + log2 (L))為奇數。視訊解碼器30可藉由將預測性區塊之樣本添加至CU之TU之殘餘區塊的對應樣本來重建構寫碼區塊之樣本(458)。 在非正方形TU具有大小K×L之一些實例中,視訊解碼器30可基於((log2 (K) + log2 (L))為奇數而修改經解量化轉換係數,使得經解量化轉換係數中之每一各別經解量化轉換係數係基於各別經解量化轉換係數除以之近似值。在此等實例中,當((log2 (K) + log2 (L))為偶數時,視訊解碼器30不修改經解量化轉換係數,使得經解量化轉換係數中之每一各別經解量化轉換係數係基於各別經解量化轉換係數除以之近似值。 圖32為說明根據本發明之技術的使用IC之視訊編碼器20之實例操作的流程圖。在圖32之實例中,視訊編碼器20接收視訊資料(500)。舉例而言,視訊編碼器20可自視訊源18 (圖1)或其他處接收視訊資料。此外,視訊編碼器20可使用IC產生視訊資料之當前圖像之當前CU之當前PU的非正方形預測性區塊(502)。 作為使用IC產生非正方形預測性區塊之部分,視訊編碼器20可基於當前PU之向量判定參考圖像中之參考區塊(504)。在一些實例中,該向量為視差向量,且參考圖像為視圖間參考圖像。在一些實例中,向量為運動向量,且參考圖像為時間運動向量。參考區塊及非正方形預測性區塊可具有相同大小及形狀。在一些實例中,為了基於當前PU之向量判定參考區塊,視訊編碼器20可藉由將向量之水平分量添加至非正方形預測性區塊之左上角的x 座標及將向量之垂直分量添加至非正方形預測性區塊之左上角的y 座標來判定參考區塊之左上角之參考圖像中的位置。在此實例中,若參考區塊之左上角的指示位置不指示整數像素之參考圖像中的位置,則視訊編碼器20可內插參考區塊之樣本以判定參考區塊。 此外,在圖32之實例中,作為使用IC產生非正方形預測性區塊之部分,視訊編碼器20可對第一參考樣本集合進行子取樣以產生具有第一子取樣比率之第一經子取樣參考樣本集合(506)。在此實例中,第一參考樣本集合中之參考樣本的總數目不等於2m ,且第一經子取樣參考樣本集合中之參考樣本的總數目等於2m 。此外,在此實例中,第一參考樣本集合包含沿非正方形預測性區塊之左側及頂側在非正方形預測性區塊外之樣本,且m為整數。 另外,作為使用IC產生非正方形預測性區塊之部分,視訊編碼器20可對第二參考樣本集合進行子取樣以產生具有第二子取樣比率之第二經子取樣參考樣本集合(508)。第一子取樣比率可與第二子取樣比率相同或不同。在此實例中,第二參考樣本集合中之參考樣本的總數目不等於2m ,且第二子取樣之參考樣本集合中之參考樣本的總數目等於2m 。此外,在此實例中,第二參考樣本集合包含沿參考區塊之左側及頂側在參考區塊外的樣本。 在動作(506)及(508)中,視訊編碼器20可以各種方式執行子取樣。舉例而言,視訊編碼器20可使用抽取執行子取樣。在視訊編碼器20使用抽取執行子取樣之實例中,視訊編碼器20可以規律間隔(例如,每隔一個樣本)移除樣本以減小樣本數目而不改變剩餘樣本之值。因此,在此實例中,視訊編碼器20可執行以下各者中之至少一者:抽取第一參考樣本集合以產生第一經子取樣參考樣本集合;及抽取第二參考樣本集合以產生第二經子取樣參考樣本集合。 在另一實例中,視訊編碼器20可使用內插法執行子取樣。在視訊編碼器20使用內插法執行子取樣之實例中,對於相鄰樣本之各別對,視訊編碼器20可在各別對之樣本之間內插值且可包括經子取樣樣本集合中之內插值。因此,在此實例中,視訊編碼器20可執行以下各者中之至少一者:執行第一參考樣本集合之內插取樣以產生第一經子取樣參考樣本集合;及執行第二參考樣本集合之內插取樣以產生第二經子取樣參考樣本集合。 在另一實例中,視訊編碼器20可使用由位元串流中之語法元素指示之子取樣方法執行子取樣。因此,在此實例中,視訊編碼器20可將指示子取樣方法之語法元素包括於位元串流中。在此實例中,視訊編碼器20可執行以下各者中之至少一者:使用所指示子取樣方法對第一參考樣本集合進行子取樣以產生第一經子取樣參考樣本集合;及使用所指示子取樣方法對第二參考樣本集合進行子取樣以產生第二經子取樣參考樣本集合。 在另一實例中,視訊編碼器20可基於當前PU之大小判定子取樣方法。在此實例中,視訊編碼器20可執行以下各者中之至少一者:使用所判定子取樣方法對第一參考樣本集合進行子取樣以產生第一經子取樣參考樣本集合;及使用所判定子取樣方法對第二參考樣本集合進行子取樣以產生第二經子取樣參考樣本集合。 作為使用IC產生非正方形預測性區塊之部分,在圖32之動作(510)中,視訊編碼器20可基於第一經子取樣參考樣本集合中之參考樣本的總數目及第二經子取樣參考樣本集合中之參考樣本的總數目、第一經子取樣參考樣本集合及第二經子取樣參考樣本集合判定第一IC參數。舉例而言,視訊編碼器20可判定第一IC參數,使得第一IC參數係基於:在以上方程式中,2N標示第一經子取樣參考樣本集合中之參考樣本的總數目及第二經子取樣參考樣本集合中之參考樣本的總數目,Recneigh (i )標示第一經子取樣參考樣本集合中之第i 參考樣本,且Recrefneigh (i )標示第二經子取樣參考樣本集合中之第i 參考樣本。 在一些實例中,視訊編碼器20可判定第二IC參數,使得第二IC參數係基於:。 此外,作為使用IC產生非正方形預測性區塊之部分,在圖32之動作(512)中,視訊編碼器20可基於第一IC參數判定非正方形預測性區塊之樣本。舉例而言,該樣本可關於當前圖像之左上角在座標(i ,j )處,且視訊編碼器20可判定該樣本使得該樣本係基於:a *r (i +dvx ,j +dvy +b ) 在以上方程式中,b 為第一IC參數,a 為第二IC參數,r 為參考圖像,dvx 為當前PU之向量(例如,視差向量、運動向量)的水平分量,且dvy 為當前PU之向量的垂直分量。 在圖32之實例中,視訊編碼器20可基於非正方形預測性區塊產生殘餘資料(514)。舉例而言,視訊編碼器20可產生殘餘資料,使得殘餘資料之樣本等於非正方形預測性區塊之樣本與當前CU之寫碼區塊之樣本之間的差。另外,視訊編碼器20可輸出包括基於殘餘資料之資料的位元串流(516)。舉例而言,視訊編碼器20可輸出包括指示殘餘資料之經熵編碼語法元素(例如,指示大於1、大於2、剩餘者等之語法元素)的位元串流。 圖33為說明根據本發明之使用IC之技術的用於編碼視訊資料之視訊解碼器30之實例操作的流程圖。在圖32之實例中,視訊解碼器30接收包含視訊資料之經編碼表示的位元串流(550)。此外,視訊解碼器30使用IC產生視訊資料之當前圖像之當前CU之當前PU的非正方形預測性區塊(552)。 作為使用IC產生非正方形預測性區塊之部分,視訊解碼器30可基於當前PU之向量判定參考圖像中之參考區塊(554)。在一些實例中,該向量為視差向量,且參考圖像為視圖間參考圖像。在一些實例中,向量為運動向量,且參考圖像為時間運動向量。參考區塊及非正方形預測性區塊具有相同大小及形狀。為了基於當前PU之視差向量判定參考區塊,視訊解碼器30可藉由將向量之水平分量添加至非正方形預測性區塊之左上角的x 座標及將向量之垂直分量添加至非正方形預測性區塊之左上角的y 座標來判定參考區塊之左上角之參考圖像中的位置。在此實例中,若參考區塊之左上角的指示位置不指示整數像素之參考圖像中的位置,則視訊解碼器30可內插參考區塊之樣本以判定參考區塊。 此外,作為使用IC產生非正方形預測性區塊之部分,視訊解碼器30可對第一參考樣本集合進行子取樣以產生具有第一子取樣比率之第一經子取樣參考樣本集合(556)。在此實例中,第一參考樣本集合中之參考樣本的總數目不等於2m ,且第一經子取樣參考樣本集合中之參考樣本的總數目等於2m 。在此實例中,第一參考樣本集合可包含沿非正方形預測性區塊之左側及頂側在非正方形預測性區塊外的樣本,且m為整數。 另外,作為使用IC產生非正方形預測性區塊之部分,視訊解碼器30可對第二參考樣本集合進行子取樣以產生具有第二子取樣比率之第二經子取樣參考樣本集合(558)。第一子取樣比率可與第二子取樣比率相同或不同。在此實例中,第二集合中之參考樣本的總數目並不等於2m ,且第二經子取樣參考樣本集合中之參考樣本的總數目等於2m 。此外,在此實例中,第二參考樣本集合可包含沿參考區塊之左側及頂側在參考區塊外的樣本。 在動作(556)及(558)中,視訊解碼器30可以各種方式執行子取樣。舉例而言,視訊解碼器30可使用抽取執行子取樣。在視訊解碼器30使用抽取執行子取樣之實例中,視訊解碼器30可以規律間隔(例如,每隔一個樣本)移除樣本以減小樣本數目而不改變剩餘樣本之值。因此,在此實例中,視訊解碼器30可執行以下各者中之至少一者:抽取第一參考樣本集合以產生第一經子取樣參考樣本集合;及抽取第二參考樣本集合以產生第二經子取樣參考樣本集合。 在另一實例中,視訊解碼器30可使用內插法執行子取樣。在視訊解碼器30使用內插法執行子取樣之實例中,對於相鄰樣本之各別對,視訊解碼器30可在各別對之樣本之間內插值且可包括經子取樣樣本集合中之內插值。因此,在此實例中,視訊解碼器30可執行以下各者中之至少一者:執行第一參考樣本集合之內插取樣以產生第一經子取樣參考樣本集合;及執行第二參考樣本集合之內插取樣以產生第二經子取樣參考樣本集合。 在另一實例中,視訊解碼器30可使用由位元串流中之語法元素指示的子取樣方法執行子取樣。因此,在此實例中,視訊解碼器30可自位元串流獲得指示子取樣方法之語法元素。在此實例中,視訊解碼器30可執行以下各者中之至少一者:使用所指示子取樣方法對第一參考樣本集合進行子取樣以產生第一經子取樣參考樣本集合;及使用所指示子取樣方法對第二參考樣本集合進行子取樣以產生第二經子取樣參考樣本集合。 在另一實例中,視訊解碼器30可基於當前PU之大小判定子取樣方法。在此實例中,視訊解碼器30可執行以下各者中之至少一者:使用所判定子取樣方法對第一參考樣本集合進行子取樣以產生第一經子取樣參考樣本集合;及使用所判定子取樣方法對第二集合參考樣本進行子取樣以產生第二經子取樣參考樣本集合。 此外,在圖33之動作(560)中,視訊解碼器30可基於第一經子取樣參考樣本集合中之參考樣本的總數目及第二經子取樣參考樣本集合中之參考樣本的總數目、第一經子取樣參考樣本集合及第二經子取樣參考樣本集合來判定第一IC參數。舉例而言,視訊解碼器30可判定第一IC參數,使得第一IC參數係基於:在以上方程式中,2N標示第一經子取樣參考樣本集合中之參考樣本的總數目及第二經子取樣參考樣本集合中之參考樣本的總數目,Recneigh (i )標示第一經子取樣參考樣本集合中之第i 參考樣本,且Recrefneigh (i )標示第二經子取樣參考樣本集合中之第i 參考樣本。 在一些實例中,視訊解碼器30可判定第二IC參數,使得第二IC參數係基於:。 另外,在圖33之動作(562)中,視訊解碼器30可基於第一IC參數判定非正方形預測性區塊之樣本。舉例而言,該樣本可關於當前圖像之左上角在座標(i,j)處,且視訊解碼器30可判定該樣本使得該樣本係基於:a *r (i +dvx ,j +dvy +b ) 在以上方程式中,b 為第一IC參數,a 為第二IC參數,r 為參考圖像,dvx 為當前PU之向量的水平分量,且dvy 為當前PU之向量的垂直分量。 視訊解碼器30可基於非正方形預測性區塊重建構當前CU之寫碼區塊(564)。舉例而言,視訊解碼器30可藉由將非正方形預測性區塊之樣本添加至當前CU之TU之殘餘區塊的對應樣本來重建構寫碼區塊之樣本。 圖34為說明根據本發明之技術的將彈性殘餘樹用於編碼視訊資料之視訊編碼器20之實例操作的流程圖。在圖34之實例中,視訊編碼器20可接收視訊資料(600)。此外,視訊編碼器20可基於樹結構將視訊資料之CU分割成CU之TU (602)。在一些實例中,視訊編碼器20可針對樹結構之每一各別節點判定各別節點之分裂指示符的值。各別節點之分裂指示符可指示各別節點所具有之子節點的數目。在一些情況下,視訊編碼器20可在位元串流中傳信顯式地指示各別節點之分裂指示符之值的語法元素。在其他情況下,視訊解碼器30可推斷各別節點之分裂指示符的值(例如,基於樹結構中之節點的深度、父節點之分裂節點的值、對應於各別節點之預測性區塊的大小及/或形狀等)。 作為基於樹結構將CU分割成CU之TU之部分,視訊編碼器20可判定樹結構中之節點恰好具有樹結構中之兩個子節點(604)。在此實例中,樹結構之根節點對應於CU之寫碼區塊。樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。樹結構之葉節點對應於CU之TU。 舉例而言,視訊編碼器20可基於CU之PU的總數目判定樹結構是二進位樹抑或四分之一樹。在此實例中,基於具有兩個PU之CU,節點恰好具有樹結構中之兩個子節點。換言之,視訊編碼器20可基於恰好具有兩個PU之CU判定節點恰好具有樹結構中之兩個子節點。 在一些實例中,視訊編碼器20可基於恰好具有兩個PU之CU判定該節點恰好具有樹結構中之兩個子節點。 此外,在圖34之實例中,對於CU之TU中之至少一者,視訊編碼器20將轉換應用於TU之殘餘區塊以產生TU之轉換係數的區塊(606)。舉例而言,視訊編碼器20可將離散餘弦轉換(DCT)、離散正弦轉換(DST)或另一類型之轉換應用於TU之殘餘區塊以產生轉換係數之區塊。另外,視訊編碼器20可熵編碼指示TU之轉換係數的語法元素(608)。舉例而言,視訊編碼器20可產生指示轉換係數是否為非零、轉換係數是否大於1、轉換係數是否大於2、轉換係數之正負號及轉換係數之剩餘者的語法元素。在此實例中,視訊編碼器20可將CABAC寫碼應用於此等語法元素中之一或多者。 圖35為說明根據本發明之技術的將彈性殘餘樹用於解碼視訊資料之視訊解碼器30之實例操作的流程圖。在圖35之實例中,視訊解碼器30可接收包含視訊資料之經編碼表示的位元串流(650)。另外,視訊解碼器30可基於樹結構判定視訊資料之CU經分割成CU之TU (652)。在一些實例中,視訊解碼器30可針對樹結構之每一各別節點判定各別節點之分裂指示符的值。各別節點之分裂指示符可指示各別節點所具有之子節點的數目。在一些情況下,視訊解碼器30可自位元串流獲得顯式地指示各別節點之分裂指示符之值的語法元素。在其他情況下,視訊解碼器30可推斷各別節點之分裂指示符的值(例如,基於樹結構中之節點的深度、父節點之分裂節點的值、對應於各別節點之預測性區塊的大小及/或形狀等)。 作為基於樹結構判定將CU分割成CU之TU之部分,視訊解碼器30可判定樹結構中之節點恰好具有樹結構中之兩個子節點(654)。在此實例中,樹結構之根節點對應於CU之寫碼區塊。樹結構之每一各別非根節點對應於為對應於各別非根節點之父節點的區塊之分區的各別區塊。樹結構之葉節點對應於CU之TU。如本發明中其他處所描述,視訊解碼器30可基於CU中之多個PU、基於樹結構中之節點之深度、基於所傳信語法元素或基於其他資料判定樹結構中之節點恰好具有兩個子節點。 舉例而言,視訊解碼器30可基於CU之PU的總數目判定樹結構是二進位樹抑或四分之一樹。在此實例中,基於具有兩個PU之CU,節點恰好具有樹結構中之兩個子節點。換言之,視訊解碼器30可基於恰好具有兩個PU之CU判定節點恰好具有樹結構中之兩個子節點。 對於CU之TU中之至少一者,視訊解碼器30可將轉換應用於TU之係數區塊以產生TU之殘餘區塊(656)。舉例而言,視訊解碼器30可將逆DCT、逆DST或另一類型之轉換應用於TU之係數區塊以產生TU之殘餘區塊。另外,視訊解碼器30可藉由將預測性區塊之樣本添加至CU之TU之殘餘區塊的對應樣本來重建構寫碼區塊之樣本(658)。 出於說明之目的,本發明之某些態樣已經關於HEVC標準之擴展而描述。然而,本發明中所描述之技術可適用於其他視訊寫碼處理程序,包括尚未開發之其他標準或專屬視訊寫碼程序。 如本發明中所描述之視訊寫碼器可指視訊編碼器或視訊解碼器。類似地,視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地,視訊寫碼可指代視訊編碼或視訊解碼(在適用時)。 應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行,可添加、合併或完全省略該等動作或事件(例如,並非所有所描述之動作或事件對於該等技術之實踐係必要的)。此外,在某些實例中,可(例如)經由多執行緒處理、中斷處理或多個處理器同時地(而非依序地)執行動作或事件。 在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且藉由基於硬體之處理單元執行。電腦可讀媒體可包括:對應於有形媒體(諸如,資料儲存媒體)之電腦可讀儲存媒體,或包括有助於將電腦程式自一處傳送至另一處(例如,根據通信協定)之任何媒體的通信媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉助於實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又,將任何連接恰當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為係關於非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟和藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟使用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可以廣泛多種器件或裝置加以實施,該等器件或裝置包括無線手持機、積體電路(IC)或IC之集合(例如,晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必需要藉由不同硬體單元來實現。相反地,如上文所描述,各種單元可與合適的軟體及/或韌體一起組合在編解碼器硬體單元中或由互操作硬體單元之集合提供,硬件單元包括如上文所描述之一或多個處理器。 已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
29‧‧‧儲存媒體
30‧‧‧視訊解碼器/框內模式
31‧‧‧框內模式
32‧‧‧顯示器件/框內模式
33‧‧‧框內模式
34‧‧‧框內模式
40‧‧‧CU
50‧‧‧區塊
52‧‧‧經重建構樣本
54‧‧‧經重建構樣本
60‧‧‧經重建構樣本
62‧‧‧經重建構樣本
70‧‧‧樣本
72‧‧‧預測區塊
74‧‧‧框內預測方向
78‧‧‧陰影區域
80‧‧‧16×4係數矩陣
82‧‧‧8×係數8矩陣
84‧‧‧1D緩衝器
90‧‧‧色度預測性區塊
92‧‧‧明度預測性區塊
100‧‧‧寫碼區塊
110‧‧‧CU
112‧‧‧參考區塊
114‧‧‧參考區塊
116‧‧‧當前CU
130‧‧‧轉換區塊
132‧‧‧轉換區塊
134‧‧‧轉換區塊
136‧‧‧轉換區塊
137‧‧‧轉換區塊
138‧‧‧轉換區塊
139‧‧‧轉換區塊
140‧‧‧轉換區塊
141‧‧‧轉換區塊
142‧‧‧轉換區塊
143‧‧‧轉換區塊
150‧‧‧轉換區塊
152‧‧‧轉換區塊
154‧‧‧轉換區塊
156‧‧‧轉換區塊
158‧‧‧轉換區塊
160‧‧‧轉換區塊
162‧‧‧轉換區塊
164‧‧‧轉換區塊
166‧‧‧轉換區塊
180‧‧‧TU
182‧‧‧TU
184‧‧‧TU
186‧‧‧TU
188‧‧‧TU
190‧‧‧TU
192‧‧‧TU
194‧‧‧TU
196‧‧‧TU
198‧‧‧TU
200‧‧‧預測處理單元
201‧‧‧視訊資料記憶體
202‧‧‧殘餘產生單元
204‧‧‧轉換處理單元
206‧‧‧量化單元
208‧‧‧逆量化單元
210‧‧‧逆轉換處理單元
212‧‧‧重建構單元
214‧‧‧濾波器單元
216‧‧‧經解碼圖像緩衝器
218‧‧‧熵編碼單元
220‧‧‧框間預測處理單元
222‧‧‧基於LM之編碼單元
226‧‧‧框內預測處理單元
250‧‧‧熵解碼單元
251‧‧‧視訊資料記憶體
252‧‧‧預測處理單元
254‧‧‧逆量化單元
256‧‧‧逆轉換處理單元
258‧‧‧重建構單元
260‧‧‧濾波器單元
262‧‧‧經解碼圖像緩衝器
264‧‧‧運動補償單元
266‧‧‧框內預測處理單元
300‧‧‧動作
302‧‧‧動作
304‧‧‧動作
306‧‧‧動作
308‧‧‧動作
310‧‧‧動作
312‧‧‧動作
314‧‧‧動作
350‧‧‧動作
352‧‧‧動作
354‧‧‧動作
356‧‧‧動作
358‧‧‧動作
360‧‧‧動作
362‧‧‧動作
400‧‧‧動作
402‧‧‧動作
404‧‧‧動作
406‧‧‧動作
408‧‧‧動作
410‧‧‧動作
450‧‧‧動作
452‧‧‧動作
454‧‧‧動作
456‧‧‧動作
458‧‧‧動作
500‧‧‧動作
502‧‧‧動作
504‧‧‧動作
506‧‧‧動作
508‧‧‧動作
510‧‧‧動作
512‧‧‧動作
514‧‧‧動作
516‧‧‧動作
550‧‧‧動作
552‧‧‧動作
554‧‧‧動作
556‧‧‧動作
558‧‧‧動作
560‧‧‧動作
562‧‧‧動作
564‧‧‧動作
600‧‧‧動作
602‧‧‧動作
604‧‧‧動作
606‧‧‧動作
608‧‧‧動作
650‧‧‧動作
652‧‧‧動作
654‧‧‧動作
656‧‧‧動作
658‧‧‧動作
圖1為說明經組態以實施本發明之技術的實例視訊編碼及解碼系統的方塊圖。 圖2A為說明基於高效率視訊寫碼(HEVC)中之殘餘四分樹之實例轉換方案的概念圖。 圖2B為說明圖2A之寫碼單元之殘餘四分樹的概念圖。 圖3為說明基於HEVC中之係數群組之實例係數掃描的概念圖。 圖4為說明16×16區塊之框內預測之實例的概念圖。 圖5為說明HEVC中定義之35個框內預測模式之實例的概念圖。 圖6為說明HEVC中定義之平面模式的概念圖。 圖7為HEVC中定義之實例角度模式的概念圖。 圖8為HEVC中用於針對分裂框間預測分裂寫碼單元之分割模式的概念圖。 圖9為短距離框內預測(SDIP)單元分割的概念圖。 圖10為經掃描及經重組織為8×8矩陣之16×4係數矩陣的概念圖。 圖11為64個框內預測模式的概念圖。 圖12A為框內模式34之界限濾波器的概念圖。 圖12B為框內模式30至33之界限濾波器的概念圖。 圖13為說明用於導出線性模型(LM)參數αβ 之實例樣本位置的概念圖。 圖14為說明用於對當前預測單元(PU)之經重建構明度區塊之樣本進行下取樣的明度位置及色度位置之實例的概念圖。 圖15為說明用於對用於產生預測性區塊之明度區塊之樣本進行下取樣的明度位置及色度位置之實例的概念圖。 圖16為說明具有N×N轉換之nR×2N預測模式之概念圖。 圖17為說明用於2N×N、2N×nD及2N×nU預測模式之非正方形四分樹(NSQT)的概念圖。 圖18為說明用於N×2N、nR×2N及nL×2N預測模式之NSQT的概念圖。 圖19說明用於估計照明補償(IC)模型中之參數的相鄰像素。 圖20為說明用於估計IC模型中之參數之實例相鄰像素的概念圖,其中藉由使用當前預測單元之視差或運動向量發現當前寫碼單元之參考區塊。 圖21為說明分區大小等於2N×N之實例轉換結構的概念圖。 圖22為說明根據本發明之技術的分區大小等於N×N/4(U)之轉換結構的概念圖。 圖23為說明根據本發明之技術的分區大小等於N×N/4(U)之轉換結構的概念圖。 圖24為說明可實施本發明之技術的實例視訊編碼器的方塊圖。 圖25為說明經組態以實施本發明之技術的實例視訊解碼器的方塊圖。 圖26為說明支援根據本發明之技術的基於LM之編碼之實例視訊編碼器的方塊圖。 圖27為說明支援根據本發明之技術的基於LM之解碼之實例視訊解碼器的方塊圖。 圖28為說明根據本發明之基於LM之寫碼技術的視訊編碼器之實例操作的流程圖。 圖29為說明根據本發明之基於LM之寫碼技術的視訊解碼器之實例操作的流程圖。 圖30為說明根據本發明之量化技術的視訊編碼器之實例操作的流程圖。 圖31為說明根據本發明之量化技術的視訊解碼器之實例操作的流程圖。 圖32為說明根據本發明之技術的使用IC之視訊編碼器之實例操作的流程圖。 圖33為說明根據本發明之技術的使用IC之視訊解碼器之實例操作的流程圖。 圖34為說明根據本發明之技術的使用彈性殘餘樹之視訊編碼器之實例操作的流程圖。 圖35為說明根據本發明之技術的使用彈性殘餘樹之視訊解碼器之實例操作的流程圖。
350‧‧‧動作
352‧‧‧動作
354‧‧‧動作
356‧‧‧動作
358‧‧‧動作
360‧‧‧動作
362‧‧‧動作

Claims (24)

  1. 一種解碼視訊資料之方法,該方法包含: 藉由一視訊解碼器接收包含該視訊資料之一經編碼表示的一位元串流; 藉由該視訊解碼器重建構一明度參考樣本集合及一色度參考樣本集合,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之該頂側相鄰的色度樣本及與該非正方形色度區塊之該左側相鄰的色度樣本; 藉由該視訊解碼器重建構該非正方形明度區塊之明度樣本; 藉由該視訊解碼器子取樣該明度參考樣本集合,以使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之明度參考樣本的該總數目相同; 藉由該視訊解碼器判定一第一參數,使得該第一參數係基於:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 針對一預測性色度區塊之每一各別色度樣本,藉由該視訊解碼器判定該各別色度樣本之一值,以使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者;及 藉由該視訊解碼器部分基於該預測性色度區塊重建構一寫碼區塊。
  2. 如請求項1之方法,其進一步包含: 藉由該視訊解碼器判定該第二參數,使得該第二參數基於:
  3. 如請求項1之方法,其中子取樣該明度參考樣本集合包含藉由該視訊解碼器抽取該明度參考樣本集合,使得與該非正方形明度區塊之該較長側相鄰之該明度參考樣本集合的一總數目與該明度參考樣本集合中與該非正方形明度區塊之該較短側相鄰之明度參考樣本的該總數目相同。
  4. 如請求項1之方法,其中子取樣該明度參考樣本集合包含:藉由該視訊解碼器子取樣對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較長者的該等左方參考樣本或該等上方參考樣本中之任一者,而非對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較短者的該等左方參考樣本及該等上方參考樣本中之任一者。
  5. 如請求項1之方法,其中在子取樣該明度參考樣本集合之後,該明度參考樣本集合中之參考樣本之一總數目等於2m ,其中m為取決於該非正方形明度區塊之一高度或寬度中之至少一者的整數。
  6. 一種編碼視訊資料之方法,該方法包含: 藉由一視訊編碼器接收該視訊資料; 藉由該視訊編碼器重建構一明度參考樣本集合及一色度參考樣本集合,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形明度區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之一頂側相鄰的色度樣本及與該非正方形色度區塊之一左側相鄰的色度樣本; 藉由該視訊編碼器重建構該非正方形明度區塊之明度樣本; 藉由該視訊編碼器子取樣該明度參考樣本集合,使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之該等明度參考樣本的一總數目相同; 藉由該視訊編碼器判定一第一參數,使得該第一參數係基於:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 針對一預測性色度區塊之每一各別色度樣本,藉由該視訊編碼器判定該各別色度樣本之一值,使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者; 藉由該視訊編碼器基於該預測性色度區塊獲得殘餘資料;及 藉由該視訊編碼器將表示該殘餘資料之資料包括於包含該視訊資料之一經編碼表示的一位元串流中。
  7. 如請求項6之方法,其進一步包含: 藉由該視訊編碼器判定該第二參數,使得該第二參數係基於:
  8. 如請求項6之方法,其中子取樣該明度參考樣本集合包含藉由該視訊編碼器抽取該明度參考樣本集合,使得與該非正方形明度區塊之該較長側相鄰之該明度參考樣本集合的一總數目與該明度參考樣本集合中與該非正方形明度區塊之該較短側相鄰之明度參考樣本的該總數目相同。
  9. 如請求項6之方法,其中子取樣該明度參考樣本集合包含:藉由該視訊編碼器子取樣對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較長者的該等左方參考樣本或該等上方參考樣本中之任一者,而非對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較短者的該等左方參考樣本及該等上方參考樣本中之任一者。
  10. 如請求項6之方法,其中在子取樣該明度參考樣本集合之後,該明度參考樣本集合中之參考樣本之一總數目等於2m ,其中m為取決於該非正方形明度區塊之一高度或寬度中之至少一者的整數。
  11. 一種用於解碼視訊資料之裝置,該裝置包含: 一或多個儲存媒體,其經組態以儲存該視訊資料;及 一視訊解碼器,其經組態以: 接收包含該視訊資料之一經編碼表示的一位元串流; 重建構一明度參考樣本集合及一色度參考樣本集合,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之該頂側相鄰的色度樣本及與該非正方形色度區塊之該左側相鄰的色度樣本; 重建構該非正方形明度區塊之明度樣本; 對該明度參考樣本集合進行子取樣,使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之明度參考樣本的該總數目相同; 判定一第一參數,使得該第一參數係基於:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 針對一預測性色度區塊之每一各別色度樣本,判定該各別色度樣本之一值,使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者;及 部分基於該預測性色度區塊重建構一寫碼區塊。
  12. 如請求項11之裝置,其中該視訊解碼器經進一步組態以: 判定該第二參數,使得該第二參數係基於:
  13. 如請求項11之裝置,其中該視訊解碼器經組態使得作為子取樣該明度參考樣本集合之部分,藉由該視訊解碼器,該視訊解碼器抽取該明度參考樣本集合,使得與該非正方形明度區塊之該較長側相鄰之該明度參考樣本集合的一總數目與該明度參考樣本集合中與該非正方形明度區塊之該較短側相鄰之明度參考樣本的該總數目相同。
  14. 如請求項11之裝置,其中該視訊解碼器經組態使得作為子取樣該明度參考樣本集合之部分,該視訊解碼器子取樣對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較長者的該等左方參考樣本或該等上方參考樣本中之任一者,而非對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較短者的該等左方參考樣本及該等上方參考樣本中之任一者。
  15. 如請求項11之裝置,其中在子取樣該明度參考樣本集合之後,該明度參考樣本集合中之參考樣本之一總數目等於2m ,其中m為取決於該非正方形明度區塊之一高度或寬度中之至少一者的整數。
  16. 一種用於編碼視訊資料之裝置,該裝置包含: 一或多個儲存媒體,其經組態以儲存該視訊資料;及 一視訊編碼器,其經組態以: 接收該視訊資料; 重建構一明度參考樣本集合及一色度參考樣本集合,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形明度區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之一頂側相鄰的色度樣本及與該非正方形色度區塊之一左側相鄰的色度樣本; 重建構該非正方形明度區塊之明度樣本; 對該明度參考樣本集合進行子取樣,使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之該等明度參考樣本的一總數目相同; 判定一第一參數,使得該第一參數係基於:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 針對一預測性色度區塊之每一各別色度樣本,判定該各別色度樣本之一值,使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者; 基於該預測性色度區塊獲得殘餘資料;及 將表示該殘餘資料之資料包括於包含該視訊資料之一經編碼表示的一位元串流中。
  17. 如請求項16之裝置,其中該視訊編碼器經進一步組態以: 判定該第二參數,使得該第二參數係基於:
  18. 如請求項16之裝置,其中該視訊編碼器經組態使得作為子取樣該明度參考樣本集合之部分,該視訊編碼器抽取該明度參考樣本集合,使得與該非正方形明度區塊之該較長側相鄰之該明度參考樣本集合的一總數目與該明度參考樣本集合中與該非正方形明度區塊之該較短側相鄰之明度參考樣本的該總數目相同。
  19. 如請求項16之裝置,其中該視訊編碼器經組態使得作為子取樣該明度參考樣本集合之部分,該視訊編碼器子取樣對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較長者的該等左方參考樣本或該等上方參考樣本中之任一者,而非對應於該非正方形明度區塊之該左側及該非正方形明度區塊之該頂側中之該較短者的該等左邊參考樣本及該等上方參考樣本中之任一者。
  20. 如請求項16之裝置,其中在子取樣該明度參考樣本集合之後,該明度參考樣本集合中之參考樣本之一總數目等於2m ,其中m為取決於該非正方形明度區塊之一高度或寬度中之至少一者的整數。
  21. 一種用於解碼視訊資料之裝置,該裝置包含: 用於接收包含該視訊資料之一經編碼表示之一位元串流的構件; 用於重建構一明度參考樣本集合及一色度參考樣本集合的構件,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之該頂側相鄰的色度樣本及與該非正方形色度區塊之該左側相鄰的色度樣本; 用於重建構該非正方形明度區塊之明度樣本的構件; 用於對該明度參考樣本集合進行子取樣以使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之明度參考樣本的該總數目相同的構件; 用於判定一第一參數以使得該第一參數係基於以下內容的構件:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 用於針對一預測性色度區塊之每一各別色度樣本,判定該各別色度樣本之一值以使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數的構件,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者;及 用於部分基於該預測性色度區塊重建構一寫碼區塊的構件。
  22. 一種用於編碼視訊資料之裝置,該裝置包含: 用於接收該視訊資料的構件; 用於重建構一明度參考樣本集合及一色度參考樣本集合的構件,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之該頂側相鄰的色度樣本及與該非正方形色度區塊之該左側相鄰的色度樣本; 用於重建構該非正方形明度區塊之明度樣本的構件; 用於對該明度參考樣本集合進行子取樣以使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之明度參考樣本的該總數目相同的構件; 用於判定一第一參數以使得該第一參數係基於以下內容的構件:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 用於針對一預測性色度區塊之每一各別色度樣本,判定該各別色度樣本之一值以使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數的構件,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者; 用於基於該預測性色度區塊獲得殘餘資料的構件;及 用於將表示該殘餘資料之資料包括於包含該視訊資料之一經編碼表示之一位元串流中的構件。
  23. 一種其上儲存有指令之電腦可讀資料儲存媒體,該等指令在執行時組態用於解碼視訊資料之一裝置以進行以下操作: 接收包含該視訊資料之一經編碼表示的一位元串流; 重建構一明度參考樣本集合及一色度參考樣本集合,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之該頂側相鄰的色度樣本及與該非正方形色度區塊之該左側相鄰的色度樣本; 重建構該非正方形明度區塊之明度樣本; 對該明度參考樣本集合進行子取樣,使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之明度參考樣本的該總數目相同; 判定一第一參數,使得該第一參數係基於:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 針對一預測性色度區塊之每一各別色度樣本,判定該各別色度樣本之一值,使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者;及 部分基於該預測性色度區塊重建構一寫碼區塊。
  24. 一種其上儲存有指令之電腦可讀資料儲存媒體,該等指令在執行時組態用於編碼視訊資料之一裝置以進行以下操作: 接收該視訊資料; 重建構一明度參考樣本集合及一色度參考樣本集合,該明度參考樣本集合包含與該視訊資料之一當前圖像之一非正方形區塊之一頂側相鄰的上方明度樣本及與該非正方形明度區塊之一左側相鄰的左方明度樣本,該色度參考樣本集合包含與該當前圖像之一非正方形色度區塊之該頂側相鄰的色度樣本及與該非正方形色度區塊之該左側相鄰的色度樣本; 重建構該非正方形明度區塊之明度樣本; 對該明度參考樣本集合進行子取樣,使得該明度參考樣本集合中與該非正方形明度區塊之一較長側相鄰之該等明度參考樣本的一總數目與該明度參考樣本集合中與該非正方形明度區塊之一較短側相鄰之明度參考樣本的該總數目相同; 判定一第一參數,使得該第一參數係基於:其中I 為該明度參考樣本集合中之參考樣本之一總數目,xi 為該明度參考樣本集合中之一第i 明度參考樣本,且yi 為該色度參考樣本集合中之一第i 色度參考樣本; 針對一預測性色度區塊之每一各別色度樣本,判定該各別色度樣本之一值,使得該各別色度樣本之該值等於一第二參數乘以對應於該各別色度樣本之一各別經重建構明度樣本加該第一參數,對應於該各別色度樣本之該經重建構明度樣本為該非正方形明度區塊之該等經重建構明度樣本中之一者; 基於該預測性色度區塊獲得殘餘資料;及 將表示該殘餘資料之資料包括於包含該視訊資料之一經編碼表示的一位元串流中。
TW105138730A 2015-11-25 2016-11-24 視訊寫碼中具有非正方形預測單元之線性模型預測 TW201729592A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562260103P 2015-11-25 2015-11-25
US201662310271P 2016-03-18 2016-03-18
US15/359,563 US20170150176A1 (en) 2015-11-25 2016-11-22 Linear-model prediction with non-square prediction units in video coding

Publications (1)

Publication Number Publication Date
TW201729592A true TW201729592A (zh) 2017-08-16

Family

ID=58721438

Family Applications (4)

Application Number Title Priority Date Filing Date
TW105138733A TW201729593A (zh) 2015-11-25 2016-11-24 視訊寫碼中具有非正方形預測區塊之照明補償
TW105138732A TW201722157A (zh) 2015-11-25 2016-11-24 視訊寫碼中之彈性轉換樹結構
TW105138730A TW201729592A (zh) 2015-11-25 2016-11-24 視訊寫碼中具有非正方形預測單元之線性模型預測
TW105138729A TWI705701B (zh) 2015-11-25 2016-11-24 於視訊寫碼中用於非正方形轉換單元之轉換係數之修改

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW105138733A TW201729593A (zh) 2015-11-25 2016-11-24 視訊寫碼中具有非正方形預測區塊之照明補償
TW105138732A TW201722157A (zh) 2015-11-25 2016-11-24 視訊寫碼中之彈性轉換樹結構

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105138729A TWI705701B (zh) 2015-11-25 2016-11-24 於視訊寫碼中用於非正方形轉換單元之轉換係數之修改

Country Status (9)

Country Link
US (4) US20170150176A1 (zh)
EP (4) EP3381188A1 (zh)
JP (4) JP2019500779A (zh)
KR (4) KR20180084813A (zh)
CN (4) CN108464002A (zh)
AU (4) AU2016359168A1 (zh)
BR (4) BR112018010534A2 (zh)
TW (4) TW201729593A (zh)
WO (4) WO2017091759A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425389B2 (en) 2019-04-12 2022-08-23 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
US11451784B2 (en) 2019-05-31 2022-09-20 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
US11457207B2 (en) 2019-04-16 2022-09-27 Beijing Bytedance Network Technology Co., Ltd. Matrix derivation in intra coding mode
US11463729B2 (en) 2019-05-01 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
US11546633B2 (en) 2019-05-01 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
US11606570B2 (en) 2019-10-28 2023-03-14 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling and parsing based on colour component
US11659185B2 (en) 2019-05-22 2023-05-23 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using upsampling
US11805275B2 (en) 2019-06-05 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Context determination for matrix-based intra prediction
US12022114B2 (en) 2019-06-05 2024-06-25 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction

Families Citing this family (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
EP3414906A4 (en) * 2016-02-08 2019-10-02 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR INTRAPRADICATION CODING
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
ES2739668B1 (es) * 2016-03-28 2021-12-03 Kt Corp Metodo y aparato para procesar senales de video
KR20180129863A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10911783B2 (en) * 2016-05-12 2021-02-02 Lg Electronics Inc. Method and apparatus for processing video signal using coefficient-induced reconstruction
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
US10887626B2 (en) * 2016-05-13 2021-01-05 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
US11647228B2 (en) * 2016-07-15 2023-05-09 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
CN116708775A (zh) * 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
US20190200021A1 (en) * 2016-09-22 2019-06-27 Lg Electronics Inc. Illumination compensation-based inter-prediction method and apparatus in image coding system
CN117354517A (zh) * 2016-10-04 2024-01-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
CN115022626A (zh) * 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
TWI683573B (zh) * 2017-03-10 2020-01-21 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
WO2018180579A1 (ja) * 2017-03-31 2018-10-04 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
KR102558015B1 (ko) * 2017-04-13 2023-07-21 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
JP6680260B2 (ja) 2017-04-28 2020-04-15 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
CN108933941A (zh) * 2017-05-26 2018-12-04 富士通株式会社 图像编码方法和装置以及图像解码方法和装置
JP6886528B2 (ja) 2017-05-31 2021-06-16 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおけるイントラ予測による映像のデコーディング方法及び装置
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US11184606B2 (en) * 2017-09-08 2021-11-23 Kt Corporation Method and device for processing video signal
EP3454556A1 (en) 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US11290730B2 (en) * 2017-10-05 2022-03-29 Interdigital Vc Holdings, Inc. Method and apparatus for adaptive illumination compensation in video encoding and decoding
GB2567249A (en) * 2017-10-09 2019-04-10 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
US10575023B2 (en) * 2017-10-09 2020-02-25 Arris Enterprises Llc Adaptive unequal weight planar prediction
US11284108B2 (en) * 2017-10-24 2022-03-22 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus
CN118214853A (zh) 2017-10-26 2024-06-18 英迪股份有限公司 用于基于非对称子块的图像编码/解码的方法及装置
GB2567863A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
WO2019091292A1 (en) * 2017-11-13 2019-05-16 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction fusion in image and video coding
KR102641362B1 (ko) * 2017-11-30 2024-02-27 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
BR122021019686B1 (pt) * 2017-12-21 2022-05-24 Lg Electronics Inc Método de decodificação/codificação de imagem realizado por um aparelho de decodificação/ codificação, aparelho de decodificação/codificação para decodificação / codificação de imagem, método e aparelho de transmissão de dados que compreende um fluxo de bits para uma imagem e mídia de armazenamento digital legível por computador não transitória
CN111602401B (zh) * 2018-01-16 2024-01-09 Vid拓展公司 用于360度视频译码的自适应帧封装
CN111727463A (zh) * 2018-01-19 2020-09-29 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
EP3518537A1 (en) * 2018-01-26 2019-07-31 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
WO2019147910A1 (en) * 2018-01-26 2019-08-01 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
KR102568633B1 (ko) * 2018-01-26 2023-08-21 삼성전자주식회사 이미지 처리 장치
US11044466B2 (en) * 2018-01-26 2021-06-22 Samsung Electronics Co., Ltd. Image processing device
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
GB2571311B (en) * 2018-02-23 2021-08-18 Canon Kk Methods and devices for improvement in obtaining linear component sample prediction parameters
US10735730B2 (en) * 2018-03-07 2020-08-04 Tencent America LLC Flexible tree structure
US11470359B2 (en) * 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
US10735721B2 (en) * 2018-04-17 2020-08-04 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method using local illumination compensation
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
US11343541B2 (en) * 2018-04-30 2022-05-24 Hfi Innovation Inc. Signaling for illumination compensation
US10462486B1 (en) * 2018-05-07 2019-10-29 Tencent America, Llc Fast method for implementing discrete sine transform type VII (DST 7)
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
JP2019213096A (ja) * 2018-06-06 2019-12-12 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
KR102030384B1 (ko) 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
CN112262576A (zh) 2018-06-11 2021-01-22 光云大学校产学协力团 残差系数编码/解码方法和装置
US10284866B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10904555B2 (en) * 2018-07-11 2021-01-26 Tencent America LLC Method and apparatus for video coding
US10841602B2 (en) * 2018-07-16 2020-11-17 Tencent America LLC Hierarchical tiles
CN110839153B (zh) * 2018-08-17 2023-04-07 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
WO2020044253A1 (en) 2018-08-28 2020-03-05 Beijing Bytedance Network Technology Co., Ltd. Redundancy removal of partitioning methods
US11616949B2 (en) * 2018-08-31 2023-03-28 Hfi Innovation Inc. Method and apparatus of intra prediction with MPM generation in image and video processing
JP2021536191A (ja) * 2018-09-07 2021-12-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ビデオコーディング用システムおよび方法
CN110896479B (zh) * 2018-09-12 2023-10-03 北京字节跳动网络技术有限公司 单行交叉分量线性模型预测模式
BR122022004891B1 (pt) * 2018-09-20 2023-03-21 Lg Electronics Inc Métodos de decodificação/codificação de imagem realizado por um aparelho de decodificação/codificação, aparelhos de decodificação/codificação para decodificar/codificar imagem, método de transmissão de dados para imagem e meio de armazenamento não transitório legível por computador
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
WO2020060256A1 (ko) 2018-09-22 2020-03-26 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측을 사용하는 영상 디코딩 방법 및 그 장치
WO2020068461A1 (en) * 2018-09-25 2020-04-02 Interdigital Vc Holdings, Inc. Separate coding trees for luma and chroma prediction
EP3700201A1 (en) * 2019-02-21 2020-08-26 InterDigital VC Holdings, Inc. Separate coding trees for luma and chroma prediction
TW202029755A (zh) * 2018-09-26 2020-08-01 美商Vid衡器股份有限公司 視訊編碼雙預測
WO2020071617A1 (ko) * 2018-10-04 2020-04-09 엘지전자 주식회사 Cclm에 기반한 인트라 예측 방법 및 그 장치
MX2021003853A (es) 2018-10-05 2021-09-08 Huawei Tech Co Ltd Método y dispositivo de intrapredicción.
PL3847816T3 (pl) 2018-10-08 2023-08-14 Beijing Dajia Internet Information Technology Co., Ltd. Uproszczenia wieloskładnikowego modelu liniowego
CN112789858B (zh) * 2018-10-08 2023-06-06 华为技术有限公司 帧内预测方法及设备
KR20210070368A (ko) 2018-10-12 2021-06-14 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 비디오 이미지 요소 예측 방법 및 장치, 컴퓨터 저장 매체
US11516507B2 (en) * 2018-10-12 2022-11-29 Intellectual Discovery Co., Ltd. Image encoding/decoding methods and apparatuses
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
WO2020084509A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter coding tools
US10939118B2 (en) * 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
WO2020094066A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
US20220371274A1 (en) * 2018-11-19 2022-11-24 Continuous Composites Inc. System for additively manufacturing composite structure
US11358331B2 (en) * 2018-11-19 2022-06-14 Continuous Composites Inc. System and head for continuously manufacturing composite structure
KR20210074400A (ko) * 2018-11-21 2021-06-21 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 방법 및 디바이스
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN116684591A (zh) * 2018-12-04 2023-09-01 华为技术有限公司 视频编码器、视频解码器、及对应方法
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
EP3871415A4 (en) * 2018-12-07 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. CONTEXT-BASED INTRAPREDICTION
CN113287311B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
CN116456082A (zh) * 2018-12-25 2023-07-18 Oppo广东移动通信有限公司 编码预测方法、装置及计算机存储介质
CN116781895A (zh) * 2019-01-12 2023-09-19 Lg电子株式会社 解码设备、编码设备和图像数据发送设备
WO2020147745A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidate lists that use local illumination compensation
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
WO2020147805A1 (en) 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering using motion prediction
US11172195B2 (en) * 2019-01-26 2021-11-09 Qualcomm Incorporated Excluding intra coded reference samples from local illumination compensation parameter derivation
WO2020151765A1 (en) * 2019-01-27 2020-07-30 Beijing Bytedance Network Technology Co., Ltd. Interpolation for bi-prediction with cu-level weight
WO2020156515A1 (en) 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Refined quantization steps in video coding
EP3922019A1 (en) * 2019-02-08 2021-12-15 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding using illumination compensation
MX2021009788A (es) 2019-02-22 2021-09-08 Beijing Bytedance Network Tech Co Ltd Seleccion de muestra colindante para intraprediccion.
KR102472756B1 (ko) 2019-02-24 2022-12-01 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측을 위한 파라미터 유도
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
AU2020235190B2 (en) 2019-03-08 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Constraints on model-based reshaping in video processing
TWI738248B (zh) 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
WO2020190113A1 (ko) * 2019-03-21 2020-09-24 삼성전자주식회사 블록 형태별로 블록 크기가 설정되는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN114727105B (zh) * 2019-03-22 2023-03-24 华为技术有限公司 用于视频译码的变换单元分割方法
CN113767631B (zh) * 2019-03-24 2023-12-15 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件
WO2020192084A1 (zh) * 2019-03-25 2020-10-01 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
EP3930329A4 (en) * 2019-03-25 2022-07-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE COMPONENT PREDICTION METHOD, ENCODER, DECODER AND COMPUTER STORAGE MEDIA
CN115720268A (zh) * 2019-03-26 2023-02-28 北京字节跳动网络技术有限公司 用于帧间预测的参数推导
CN114071135B (zh) * 2019-04-09 2023-04-18 北京达佳互联信息技术有限公司 用于在视频编解码中用信号发送合并模式的方法和装置
MX2021012370A (es) * 2019-04-10 2022-01-18 Electronics & Telecommunications Res Inst Método y dispositivo para señalizar señales relacionadas con modo de predicción en intra predicción.
SG11202111000XA (en) * 2019-04-18 2021-11-29 Beijing Bytedance Network Technology Co Ltd Restriction on applicability of cross component mode
EP3935855A4 (en) 2019-04-23 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION
WO2020216255A1 (en) * 2019-04-25 2020-10-29 Mediatek Inc. Method and apparatus of encoding or decoding with mode dependent intra smoothing filter in intra prediction
CN113785572B (zh) 2019-05-02 2022-12-16 北京字节跳动网络技术有限公司 使用多个参考滤波器的帧内视频编解码
JP7407206B2 (ja) 2019-05-08 2023-12-28 北京字節跳動網絡技術有限公司 クロスコンポーネントコーディングの適用条件
CN113841405B (zh) * 2019-05-21 2023-10-10 华为技术有限公司 用于帧间预测的局部光照补偿的方法和设备
EP3912341A4 (en) * 2019-05-21 2022-10-19 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR INTER-COMPONENT PREDICTION
US11240499B2 (en) * 2019-05-24 2022-02-01 Tencent America LLC Method and apparatus for video coding
US20220256174A1 (en) * 2019-06-03 2022-08-11 Lg Electronics Inc. Video or image coding based on mapped luma component and scaled chroma component
JP7425808B2 (ja) 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
WO2020244663A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Applicability of implicit transform selection
US11212545B2 (en) * 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
KR20210142008A (ko) * 2019-06-17 2021-11-23 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020256399A1 (ko) * 2019-06-17 2020-12-24 엘지전자 주식회사 루마 샘플들의 맵핑 및 크로마 샘플들의 스케일링 기반 비디오 또는 영상 코딩
MX2021008601A (es) 2019-06-17 2021-09-21 Lg Electronics Inc Codificacion de video o imagen basado en el mapeo de luma.
WO2020256513A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
CN114128272B (zh) 2019-06-20 2024-03-26 Lg电子株式会社 基于亮度样本的映射和色度样本的缩放的视频或图像编码
CN117319648A (zh) 2019-06-20 2023-12-29 Lg电子株式会社 解码和编码设备、发送用于图像的数据的设备及存储介质
WO2020253863A1 (en) * 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Selective use of adaptive in-loop color-space transform and other video coding tools
JP7418478B2 (ja) 2019-06-22 2024-01-19 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのためのシンタックス要素
CA3144792A1 (en) * 2019-06-24 2020-12-30 Huawei Technologies Co., Ltd. Sample distance calculation for geometric partition mode
US11272200B2 (en) * 2019-06-24 2022-03-08 Tencent America LLC Method and apparatus for video coding
JP7305810B2 (ja) 2019-06-24 2023-07-10 エルジー エレクトロニクス インコーポレイティド ルーママッピング及びクロマスケーリングに基づくビデオまたは画像コーディング
JP7297950B2 (ja) * 2019-06-24 2023-06-26 エルジー エレクトロニクス インコーポレイティド ルママッピング基盤ビデオまたは映像コーディング
US11330298B2 (en) * 2019-06-25 2022-05-10 Qualcomm Incorporated Simplified intra chroma mode coding in video coding
KR20220024214A (ko) 2019-06-25 2022-03-03 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 컴포넌트의 예측 방법, 장치 및 컴퓨터 저장 매체
CN114128280B (zh) 2019-07-07 2023-11-14 北京字节跳动网络技术有限公司 色度残差缩放的信令通知
US11432002B2 (en) * 2019-07-08 2022-08-30 Hyundai Motor Company Method and apparatus for encoding and decoding video using inter-prediction
CN114128258B (zh) 2019-07-14 2023-12-22 北京字节跳动网络技术有限公司 视频编解码中的变换块尺寸的限制
EP3991423A4 (en) 2019-07-25 2022-09-07 Beijing Bytedance Network Technology Co., Ltd. MAPPING RESTRICTION FOR INTRABLOC COPY VIRTUAL BUFFER
WO2021013239A1 (en) 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Size restriction for intra-block copy virtual buffer
WO2021018081A1 (en) * 2019-07-26 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Configurable coding tree unit size in video coding
MX2022000716A (es) 2019-07-26 2022-02-23 Beijing Bytedance Network Tech Co Ltd Determinación del modo de particionado de imagen con base en el tamaño de bloque.
JP2022544571A (ja) * 2019-08-14 2022-10-19 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
CN110446044B (zh) * 2019-08-21 2022-08-09 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
CN114342410A (zh) 2019-09-05 2022-04-12 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
CN110476960B (zh) * 2019-09-19 2021-06-15 河北省农林科学院植物保护研究所 噻虫胺薄膜缓释型种子处理悬浮剂及其制备方法与应用
JP7328445B2 (ja) 2019-09-19 2023-08-16 北京字節跳動網絡技術有限公司 ビデオコーディングにおける参照サンプル位置の導出
JP7479457B2 (ja) 2019-09-20 2024-05-08 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶媒体
KR20220045049A (ko) 2019-09-21 2022-04-12 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
EP4018664A4 (en) 2019-09-23 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. SETTING THE VIRTUAL BLOCK COPY BUFFER BASED ON A VIRTUAL PIPELINE DATA UNIT
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN112584157A (zh) * 2019-09-30 2021-03-30 福州瑞芯微电子股份有限公司 一种avs2反变换装置及方法
US11368723B2 (en) 2019-10-22 2022-06-21 Tencent America LLC Signaling of coding tools for encoding a video component as monochrome video
WO2021088951A1 (en) 2019-11-07 2021-05-14 Beijing Bytedance Network Technology Co., Ltd. Quantization properties of adaptive in-loop color-space transform for video coding
KR102192631B1 (ko) * 2019-11-28 2020-12-17 주식회사우경정보기술 병렬 포렌식 마킹 장치 및 방법
US20210168354A1 (en) * 2019-12-03 2021-06-03 Mellanox Technologies, Ltd. Video Coding System
EP4062637A4 (en) * 2019-12-30 2023-01-11 Huawei Technologies Co., Ltd. FILTERING METHOD AND APPARATUS FOR INTER-COMPONENT LINEAR MODEL PREDICTION
CN114830663A (zh) * 2019-12-31 2022-07-29 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
WO2021185306A1 (en) 2020-03-18 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update
WO2021086237A2 (en) * 2020-04-01 2021-05-06 Huawei Technologies Co., Ltd. Method and apparatus of sample fetching and padding for downsampling filtering for cross-component linear model prediction
WO2021210743A1 (ko) * 2020-04-14 2021-10-21 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11310504B2 (en) * 2020-07-30 2022-04-19 Tencent America LLC Complexity reduction for 32-p and 64-p LGT
US11683490B2 (en) * 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
US11394987B2 (en) * 2020-12-11 2022-07-19 Qualcomm Incorporated Chroma samples from luma samples prediction for video coding
CN117044208A (zh) * 2021-02-24 2023-11-10 Lg电子株式会社 图像编译方法及其装置
WO2023110337A1 (en) * 2021-12-18 2023-06-22 Nokia Technologies Oy Coding cu with four-side reference samples for massive parallel coding

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI1014257B1 (pt) * 2009-04-08 2021-03-09 Sharp Kabushiki Kaisha aparelho de codificação de vídeo e aparelho de decodificação de vídeo
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
CN103535037B (zh) * 2011-05-20 2017-06-09 索尼公司 图像处理装置和图像处理方法
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
EP2742690B1 (en) 2011-08-08 2016-07-27 Google Technology Holdings LLC Residual tree structure of transform unit partitioning
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
CN103096052B (zh) * 2011-11-04 2015-11-25 华为技术有限公司 一种图像编码、解码的方法和装置
CN103096053B (zh) * 2011-11-04 2015-10-07 华为技术有限公司 一种变换模式的编解码方法和装置
GB2498550B (en) * 2012-01-19 2016-02-24 Canon Kk Method and device for processing components of an image for encoding or decoding
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
EP2830312A4 (en) * 2012-03-20 2015-12-02 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR SCREENABLE VIDEO CODING BASED ON ARBORESCENT STRUCTURE CODING UNIT, AND METHOD AND DEVICE FOR DECODING SCREENABLE VIDEO BASED ON ARBORESCENT STRUCTURE CODING UNIT
US9467701B2 (en) * 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
WO2014053519A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US9667994B2 (en) * 2012-10-01 2017-05-30 Qualcomm Incorporated Intra-coding for 4:2:2 sample format in video coding
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9787989B2 (en) * 2013-06-11 2017-10-10 Blackberry Limited Intra-coding mode-dependent quantization tuning
EP3021578B1 (en) * 2013-07-10 2019-01-02 KDDI Corporation Sub-sampling of reference pixels for chroma prediction based on luma intra prediction mode
EP3026906B1 (en) 2013-07-22 2020-03-25 Renesas Electronics Corporation Moving image encoding apparatus and operation method thereof
US9621922B2 (en) * 2014-01-26 2017-04-11 Cable Television Laboratories, Inc. Data transformation
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
WO2016154963A1 (en) 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
CN104954806A (zh) * 2015-06-24 2015-09-30 上海交通大学 帧内视频优化编码方法
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425389B2 (en) 2019-04-12 2022-08-23 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
US11451782B2 (en) 2019-04-12 2022-09-20 Beijing Bytedance Network Technology Co., Ltd. Calculation in matrix-based intra prediction
US11831877B2 (en) 2019-04-12 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Calculation in matrix-based intra prediction
US11457220B2 (en) 2019-04-12 2022-09-27 Beijing Bytedance Network Technology Co., Ltd. Interaction between matrix-based intra prediction and other coding tools
US11463702B2 (en) 2019-04-12 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. Chroma coding mode determination based on matrix-based intra prediction
US11457207B2 (en) 2019-04-16 2022-09-27 Beijing Bytedance Network Technology Co., Ltd. Matrix derivation in intra coding mode
US11463729B2 (en) 2019-05-01 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
US11546633B2 (en) 2019-05-01 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
US11659185B2 (en) 2019-05-22 2023-05-23 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using upsampling
US11451784B2 (en) 2019-05-31 2022-09-20 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
US11943444B2 (en) 2019-05-31 2024-03-26 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
US11805275B2 (en) 2019-06-05 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Context determination for matrix-based intra prediction
US12022114B2 (en) 2019-06-05 2024-06-25 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
US11606570B2 (en) 2019-10-28 2023-03-14 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling and parsing based on colour component

Also Published As

Publication number Publication date
CN108293119A (zh) 2018-07-17
US20170150156A1 (en) 2017-05-25
WO2017091770A1 (en) 2017-06-01
CN108293112B (zh) 2022-06-17
KR102048169B1 (ko) 2019-11-22
EP3381191A1 (en) 2018-10-03
AU2016359171A1 (en) 2018-05-10
BR112018010664A8 (pt) 2019-02-26
CN108293119B (zh) 2022-05-03
WO2017091776A9 (en) 2018-06-21
JP2019500779A (ja) 2019-01-10
JP2018535610A (ja) 2018-11-29
BR112018010660A8 (pt) 2019-02-26
BR112018010660A2 (pt) 2018-11-13
KR20180084816A (ko) 2018-07-25
AU2016359168A1 (en) 2018-04-26
AU2016359171A9 (en) 2018-12-13
WO2017091759A1 (en) 2017-06-01
TW201729593A (zh) 2017-08-16
JP2018535609A (ja) 2018-11-29
US20170150186A1 (en) 2017-05-25
JP2019500778A (ja) 2019-01-10
WO2017091776A1 (en) 2017-06-01
BR112018010534A2 (pt) 2018-11-13
AU2016359165A1 (en) 2018-04-26
TW201722156A (zh) 2017-06-16
KR20180084814A (ko) 2018-07-25
AU2016359155A1 (en) 2018-04-26
EP3381186A1 (en) 2018-10-03
CN108293112A (zh) 2018-07-17
US20170150183A1 (en) 2017-05-25
TW201722157A (zh) 2017-06-16
EP3381189A1 (en) 2018-10-03
KR20180084813A (ko) 2018-07-25
KR20180084815A (ko) 2018-07-25
EP3381188A1 (en) 2018-10-03
WO2017091773A1 (en) 2017-06-01
CN108464002A (zh) 2018-08-28
CN108293137A (zh) 2018-07-17
US10200719B2 (en) 2019-02-05
BR112018010664A2 (pt) 2018-11-13
BR112018010517A2 (pt) 2018-11-13
TWI705701B (zh) 2020-09-21
US20170150176A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
TWI705701B (zh) 於視訊寫碼中用於非正方形轉換單元之轉換係數之修改
TWI693821B (zh) 用於線性模型預測模式之降低取樣處理
TWI689197B (zh) 用於次取樣格式之調色模式
TWI539791B (zh) 三維視頻寫碼中導出之視差向量
TW201830965A (zh) 用於時間延展性支持之修改適應性迴路濾波器時間預測
KR20220162871A (ko) 비디오 코딩을 위한 방법 및 장치
TW201841501A (zh) 用於視訊寫碼之多種類型樹架構
TW201906406A (zh) 與視訊寫碼中之變換處理一起應用之內部濾波
JP2023103292A (ja) エンコーダ、デコーダ、および対応するイントラ予測方法
TW201722164A (zh) 調色盤模式視訊寫碼中脫逃像素訊號值之限制
CN113196752A (zh) 视频编解码中的自适应环路滤波分类
CN114208199A (zh) 用于视频译码的色度帧内预测单元
CN110278435B (zh) 一种图像块的帧内预测方法及装置
TW202027507A (zh) 在視訊寫碼中框內區塊複本之預測限制
CN114913249A (zh) 编码、解码方法和相关设备
TW202234887A (zh) 用於視訊譯碼中的多顏色分量的符號預測
CN117203965A (zh) 调色板预测值生成和信号通知