TWI677236B - 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備 - Google Patents

視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備 Download PDF

Info

Publication number
TWI677236B
TWI677236B TW106131037A TW106131037A TWI677236B TW I677236 B TWI677236 B TW I677236B TW 106131037 A TW106131037 A TW 106131037A TW 106131037 A TW106131037 A TW 106131037A TW I677236 B TWI677236 B TW I677236B
Authority
TW
Taiwan
Prior art keywords
color
sampling
samples
sub
filter
Prior art date
Application number
TW106131037A
Other languages
English (en)
Other versions
TW201817239A (zh
Inventor
詹姆士 蓋美
James Alexander GAMEI
尼可拉斯 桑德斯
Nicholas Ian Saunders
卡爾 桑德斯
Karl James Saunders
保羅 希卡克
Paul James SILCOCK
Original Assignee
日商新力股份有限公司
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司, Sony Corporation filed Critical 日商新力股份有限公司
Publication of TW201817239A publication Critical patent/TW201817239A/zh
Application granted granted Critical
Publication of TWI677236B publication Critical patent/TWI677236B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • H04N11/28High-definition television systems involving bandwidth reduction, e.g. subsampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/547Motion estimation performed in a transform domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

視頻編碼或解碼方法使用影像間之預測而編碼輸入的視頻資料,其中各彩色成分具有亮度成分的1/M水平解析度及亮度成分的1/N垂直解析度,其中M及N係等於1或更大的整數,包含:儲存目前影像之前的一或多個影像;插補儲存影像的較高解析度版之預測單元,以致使插補的預測單元之亮度成分具有儲存影像的對應部分之水平解析度P倍的水平解析度,及儲存影像的對應部分之垂直解析度Q倍的垂直解析度,其中P及Q係大於1的整數;偵測目前影像與一或多個插補的儲存影像間的影像間之移動,以便產生目前影像的預測單元與一或多個在前之影像的區域之間的移動向量;以及相對於由個別的移動向量所指出之插補的儲存影像的區域,而產生目前影像的預測單元之移動補償預測,其中插補步驟包含:施加xR水 平及xS垂直插補濾波器至儲存影像的彩色成分,而產生插補的彩色預測單元,其中R係相對於(U×M×P)且S係相等於(V×N×Q),U及V係等於1或更大的整數;以及子取樣插補的彩色預測單元,以致使其水平解析度係除以U之因子且其垂直解析度係以除以V之因子,而藉以產生MP×NQ個取樣的區塊。

Description

視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備 相關申請案之對照
本申請案分別主張2012年6月22日及2012年4月26日在聯合國智財局中所申請之GB 1211072.2及GB 1207459.7的較早專利申請日期之權益,該等申請案的全部內容係結合於本文以參考。
此發明有關資料編碼及解碼。
在此所提供的〝背景〞說明係用於一般性地呈現本發明的背景之目的。在此背景段落,以及在申請時可能不被認定為先前技藝的說明觀點中所述範圍內之目前所指名發明人的著述,並未被明確地或暗示地認可做為相對本發明 之先前技藝。
存在有若干視頻資料編碼及解碼系統,其轉換視頻資料成為頻域表示、量子化頻域係數、且然後施加某一形式的熵編碼至所量子化的係數。此可達成視頻資料的壓縮。對應之解碼或解壓縮係施加用以恢復原始視頻資料的重現型式。
諸如使用於H.264/MPEG-4先進視頻編碼(AVC)中之該等者的現行視頻編碼解碼器(編碼器-解碼器)主要藉由僅編碼連續視頻訊框間之差異,而達成資料壓縮。該等編碼解碼器使用所謂巨區塊之規則性陣列,其各者係使用做為與前一視頻訊框中的對應巨區塊之比較的區域,且然後,在巨區塊內的影像區係依據視頻順序中之對應的目前及前一巨區塊間,或視頻順序中之單一訊框內的鄰接巨區塊間所發現之移動的程度,而予以編碼。
亦熟知為H.265或MPEG-H第二部之高效率視頻編碼(HEVC)係針對H.264/MPEG-4 AVC所提議的接任者。對於HEVC而言,其係打算要相較於H.264而增進視頻品質及使資料壓縮比加倍,且要變成可自128×96縮放至7680×4320像素解析度,而約略等效於範圍自128k位元/秒至800M位元/秒的位元速率。
在HEVC中,所謂4:2:0區塊結構係提出用於顧客裝備,其中使用於各彩色頻道中之資料量係亮度頻道中之資料量的四分之一。此係因為,在主觀上,人類對亮度變化比對彩色變化更靈敏,且因此,可使用更大的壓縮及/或 更少的資訊於彩色頻道中,而無品質之主觀上的損失。
HEVC根據可變尺寸結構之編碼單元(CU)而以更撓性的方案,取代現有H.264及MPEG中所出現的巨區塊。
因此,當編碼視頻訊框之中的影像資料時,則可回應外觀的影像複雜度或所偵測的移動位準而選擇CU尺寸,以取代使用均勻分佈的巨區塊。因而,可在具有很少移動於訊框間及具有很少變化於訊框內之區域中獲得極大的壓縮,而在高的訊框間移動或影像複雜度之區域中保存較佳的影像品質。
各CU包含圖像內或圖像間預測類型之一或多個可變區塊尺寸預測單元(PU)及一或多個轉換單元(TU),該等轉換單元(TU)包含用於空間區塊轉換及量子化的係數。
此外,PU及TU係提供用於三個頻道之各者;亮度(Y),係光亮度或亮度頻道,且其可被視為灰度頻道,以及兩個色差或色度(彩色)頻道;Cb及Cr,該等頻道提供彩色以供亮度頻道的灰度頻道之用。光亮度及亮度(Y)之用語係可互換地使用於此說明中,且同樣地,色度及彩色(Cb及Cr)之用語亦可予以適當互換地使用,注意的是,色度或彩色可統稱地使用於〝Cr及Cb的其中一者或二者〞,而當特定的色度頻道正被討論時,則其將藉由Cb或Cr之用語而予以辨識。
通常,PU係視為頻道獨立的,除了PU具有亮度部件及彩色部件之外。大致地,此意指的是,用於各頻道之 PU的取樣形成部件表示影像的相同區域,以致使三個頻道間的PU之間具有固定的關係。例如,對於4:2:0視頻,用於亮度之8×8PU一直具有用於彩色之4×4PU,而PU的彩色部件表示與亮度部件相同的區域,但因為相較於4:2:0視頻中的亮度資料之4:2:0彩色資料的子取樣性質而包含較少數目的像素。(在4:4:4中,取樣速率係相同的,且因此,可使用相同的PU結構於亮度及彩色取樣)。該兩個彩色頻道分享預測內資訊;且該三個頻道分享預測間資訊。同樣地,TU結構亦具有固定的關係於該三個頻道之間。
然而,對於職業廣播及數位電影裝備而言,在彩色頻道中具有更少的壓縮(或更多的資訊)係所欲的,且此可影響到目前的及所提議之HEVC的處理如何操作。
本發明解決或減輕由此處理所產生的問題。
本發明之個別的觀點及特性係界定於附錄申請專利範圍之中。
將瞭解的是,上述概括說明及下文詳細說明係代表性的,且並未限制本技術。
10,130‧‧‧輸入的音頻/視頻信號
20‧‧‧視頻資料壓縮設備
30‧‧‧傳輸路由
40,70,110,160‧‧‧解壓縮設備
50,170‧‧‧輸出的音頻/視頻信號
60,140,190‧‧‧壓縮設備
100,210‧‧‧壓縮的音頻/視頻信號
120‧‧‧顯示器
150‧‧‧儲存裝置
180‧‧‧影像捕獲裝置
200‧‧‧微音器
300‧‧‧輸入的視頻信號
310,450‧‧‧加法器
320‧‧‧影像預測器
330‧‧‧剩餘影像信號
340‧‧‧轉換單元
343‧‧‧控制器
350‧‧‧量子化器
360‧‧‧掃描單元
370‧‧‧熵編碼器
380‧‧‧壓縮的輸出視頻信號
390‧‧‧返回路徑
400‧‧‧逆掃描單元
410‧‧‧熵解碼器
420‧‧‧逆量子化器
430‧‧‧逆轉換單元
440‧‧‧影像信號
460‧‧‧重現的輸出影像
470‧‧‧接收的壓縮視頻信號
480‧‧‧輸出的解壓縮視頻信號
500‧‧‧多工器
510‧‧‧模式信號
520‧‧‧模式內選擇器
530‧‧‧影像內預測器
540‧‧‧移動補償(MC)預測器
550‧‧‧估算器
560‧‧‧濾波器單元
570‧‧‧影像儲存器
580‧‧‧插補濾波器
600‧‧‧乘法器
610‧‧‧除法器或右移器
700‧‧‧最大編碼單元(LCU)
710-730‧‧‧編碼單元(CU)
830‧‧‧轉換單元(TU)
1000‧‧‧解區塊濾波器
1010‧‧‧取樣適應性偏置濾波器
1020‧‧‧適應性廻圈濾波器
1030‧‧‧編碼決定單元
1040,1050‧‧‧係數產生器
1360,1310‧‧‧預測單元(彩色PU)
1300,1350‧‧‧亮度PU
1320‧‧‧插補之陣列
本發明之更完整的理解及其許多伴隨的優點將藉由參照詳細說明而立即獲得,因為當連同附圖一起考慮時,其將變成被較佳地瞭解,其中: 第1圖概略地描繪使用視頻資料壓縮及解壓縮之音頻/視頻(A/V)資料傳輸及接收系統;第2圖概略地描繪使用視頻資料解壓縮之視頻顯示系統;第3圖概略地描繪使用視頻資料壓縮及解壓縮之音頻/視頻儲存系統;第4圖概略地描繪使用視頻資料壓縮之攝影機;第5圖提供視頻資料壓縮及解壓縮設備的概略總覽;第6圖概略地描繪預測影像的產生;第7圖概略地描繪最大編碼單元(LCU);第8圖概略地描繪四個編碼單元(CU)之組;第9及10圖概略地描繪被細分為較小編碼單元之第8圖的該等單元;第11圖概略地描繪預測單元(PU)之陣列;第12圖概略地描繪轉換單元(TU)之陣列;第13圖概略地描繪部分編碼的影像;第14圖概略地描繪一組可能的內預測方向;第15圖概略地描繪一組預測模式;第16圖概略地描繪右上方對角線掃描;第17圖概略地描繪視頻壓縮設備;第18a及18b圖概略地描繪可能的區塊尺寸;第19圖概略地描繪來自彩色及亮度區塊的協同定位之資訊的使用;第20圖概略地描繪其中來自一彩色頻道的協同定位之 資訊係相對於另一彩色頻道而使用的情勢;第21圖概略地描繪使用於LM-CHROMA模式之像素;第22圖概略地描繪一組亮度預測方向;第23圖概略地描繪當被施加至水平稀疏彩色頻道時之第22圖的方向;第24圖概略地描繪被映射至矩形彩色像素陣列之第22圖的方向;第25至28圖概略地描繪亮度及彩色像素插補;第29a及29b圖概略地分別描繪用於4:2:0及4:2:2的量子化參數表;以及第30及31圖概略地描繪量子化變化表。
現請參閱圖式,第1至4圖係提供用以給定將與本技術的實施例相關連而被敘述於下文之使用壓縮及/或解壓縮設備的設備或系統之概略圖解。
在下文將被敘述之所有的資料壓縮及/或解壓縮設備可以以硬體、以運轉於諸如通用型電腦之通用型資料處理設備上的軟體,予以實施成為諸如應用特定積體電路(ASIC)或可場編程閘陣列(FPGA)之可編程硬體或成為該等者之結合。在其中實施例係由軟體及/或韌體所實施的情況中,將理解的是,該軟體及/或韌體、以及其中該軟體及/或韌體係藉由其而予以儲存或提供的非暫態資料儲存器,係視為本技術之實施例。
第1圖概略地描繪使用視頻資料壓縮及解壓縮之音頻/視頻資料傳輸及接收系統。
輸入的音頻/視頻信號10係供應至視頻資料壓縮設備20,其至少壓縮音頻/視頻信號10的視頻成分,以供沿著諸如電纜、光纖、無線鏈路、或其類似者之傳輸路由30的傳輸之用。所壓縮的信號係由解壓縮設備40所處理,用以提供輸出的音頻/視頻信號50。對於返回路徑而言,壓縮設備60壓縮音頻/視頻信號以供沿著對解壓縮設備70之傳輸路由30的傳輸之用。
因此,壓縮設備20及解壓縮設備70可形成傳輸鏈路的一節點。解壓縮設備40及解壓縮設備60可形成該傳輸鏈路的另一節點。當然在其中傳輸鏈路係單向性的情況中,僅該等節點的其中一者將需要壓縮設備,且另一節點將僅需要解壓縮設備。
第2圖概略地描繪使用視頻資料解壓縮的視頻顯示系統。特別地,壓縮的音頻/視頻信號100係由解壓縮設備110所處理,用以提供可被顯示於顯示器120上之解壓縮的信號。可將解壓縮設備110實施成為顯示器120的必要部件,例如,設置於與顯示裝置相同的殼體內。選擇性地,可將解壓縮設備110設置成為(例如)所謂機上盒(STB),注意的是,〝機上〞的表示並不意指該盒需以相對於顯示器120之任何特殊的取向或位置予以設置;其僅係使用於本項技藝中之用語,用以指示可連接至顯示器做為周邊裝置的裝置。
第3圖概略地描繪使用視頻資料壓縮及解壓縮的音頻/視頻儲存系統。輸入的音頻/視頻信號130係施加至壓縮設備140而產生壓縮的信號,用於由儲存裝置150所儲存,該儲存裝置150係例如,磁碟裝置、光碟裝置、磁帶裝置諸如半導體記憶體之固態儲存裝置、或其他儲存裝置。對於重放而言,壓縮的資料係讀取自儲存裝置150,且傳遞至解壓縮設備160,以供解壓縮之用,用以提供輸出的音頻/視頻信號170。
將理解的是,壓縮的或編碼的信號及儲存該信號的儲存媒體係視為本技術之實施例。
第4圖概略地描繪使用視頻資料壓縮的攝影機。在第4圖中,諸如電荷耦合裝置(CCD)影像感測器及相關聯的控制以及讀出電子裝置的影像捕獲裝置180產生被傳遞至壓縮設備190的視頻信號。微音器(或複數個微音器)200產生將被傳遞至壓縮設備190的音頻信號。壓縮設備190產生將被儲存及/或傳送(一般性地顯示成為示意級220)之壓縮的音頻/視頻信號210。
將被敘述於下文之技術主要關於視頻資料壓縮及解壓縮。將理解的是,許多現有的技術可連同將被敘述的視頻資料壓縮技術,而予以使用於音頻資料壓縮,用以產生壓縮的音頻/視頻信號。因而,將不提供音頻資料壓縮的個別討論。而且,將理解的是,與視頻資料,尤其與廣播品質視頻資料相關聯的資料速率係通常極高於與音頻資料相關聯的資料速率(無論是否被壓縮或未被壓縮)。因此, 將理解的是,未被壓縮的音頻資料可伴隨壓縮的視頻資料,而形成壓縮的音頻/視頻信號。進一步將理解的是,雖然該等實例(在第1至4圖中所示者)有關音頻/視頻資料,但將被敘述於下文的技術可發現單純涉及視頻資料之系統中的使用(也就是說,壓縮、解壓縮、儲存、顯示及/或傳送)。換言之,實施例可應用至視頻資料壓縮,而絲毫無需具有任何相關聯的音頻資料處理。
第5圖提供視頻資料壓縮及解壓縮設備的概略總覽。
控制器343控制設備的全面操作,且特別地,當引用至壓縮模式時,可藉由扮演選擇器的角色,用以選擇諸如CU、PU、及TU區塊尺寸之各種模式的操作,而控制嘗試編碼處理(將予以敘述於下),且不論視頻資料是否將被無損失地編碼。
輸入的視頻信號300之連續影像係供應至加法器310且至影像預測器320。影像預測器320將參照第6圖而被更詳細敘述於下文。事實上,加法器310執行減法(負的加法)運算,其中其接收輸入的視頻信號300於〝+〞輸入上及影像預測器320的輸出於〝-〞輸入上,以致使預測的影像自輸入的影像減法。結果在於產生所謂剩餘影像信號330,而表示實際的及投影的影像間之差異。
何以產生剩餘影像信號的一理由係如下。將被敘述的資料編碼技術,亦即,將被施加至剩餘影像信號的該等技術易於當在將予以編碼的影像中具有較少的〝能量〞時,更有效率地工作。在此,〝有效率地〞意指小量的編碼資 料之產生;對於特殊的影像品質位準,盡量少地產生實用的資料係所欲的(且視為〝有效率地〞)。對剩餘影像中之〝能量〞的指示有關包含於剩餘影像中之資訊的總量。若預測的影像係將與真實的影像一致時,則在該兩者之間的差異(也就是說,剩餘影像)將包含零資訊(零能量),且將係很容易編碼成為小量的編碼資料。通常,若可使預測處理適當合理地工作時,則可預期的是,剩餘影像資料將包含比輸入的影像更少之資訊(更少之能量),且因此,將更容易編碼成為小量的編碼資料。
現將敘述扮演編碼器角色之剩餘設備(用以編碼剩餘或差異影像)。剩餘影像資料330係供應至轉換單元340,而產生該剩餘影像資料的離散餘弦轉換(DCT)表示。DCT技術本身係熟知的,且將不再予以詳細敘述於此。然而,具有使用於本設備中之技術的觀點,特別地,有關將施加DCT操作之資料的不同區塊之選擇,其將被更詳細敘述於下文。將參照第7至12圖而加以討論該等者於下文。
轉換單元340的輸出,亦即,用於影像資料之各轉換區塊的DCT係數之組係供應至量子化器350。各種量子化技術係熟知於視頻資料壓縮的領域中,範圍自藉由量子化縮放因數之簡單的乘法至量子化參數的控制下之複雜查表的應用。概括的目標有兩部分。首先,量子化處理降低所轉換資料之可能的值之數目。其次,量子化處理可增加所轉換資料為零的可能性。該等二者可使下文將被敘述之熵編碼處理在產生小量的壓縮視頻資料中,更有效率地工 作。
資料掃描處理係由掃描單元360所施加。掃描處理之目的在於記錄量子化的轉換資料,以便盡量多地聚集非零量子化的轉換係數在一起,且因此,當然盡量多地聚集零值的係數在一起。該等特性可允許所謂運轉長度編碼或相似技術被有效率地施加。因此,掃描處理包含依據〝掃描順序〞而自量子化的轉換資料,且特別地,自對應已被轉換及量子化之影像資料的區塊之係數的區塊,選擇係數,以致使(a)所有的係數被選擇一次做為掃描的一部分,以及(b)掃描易於提供所欲的記錄。可易於給定有用結果之一實例的掃描順序係所謂右上方對角線掃描順序。
然後,將掃描的係數傳遞至熵編碼器(EE)370。而且,可使用各種類型的熵編碼。兩個實例係所謂CABAC(上下文適應性二元算術編碼)系統的變化例,及所謂CAVLC(上下文適應性可變長度編碼)系統的變化例。在一般性的觀點中,CABAC被認為提供較佳的效率,且在若干研究中,已顯示在相較於CAVLC之用於可比較的影像品質之編碼輸出資料數量中提供10至20%的降低。然而,CAVLC係視為表示比CABAC極更低的複雜度位準(自其實施之角度)。注意的是,掃描處理及熵編碼處理係顯示為個別的處理,但實際上,可予以結合或在一起處理。也就是說,至熵編碼器內的資料之讀取可以以掃描順序發生。對應考慮可施加至將被敘述於下文之個別的逆處理。注意的是,在申請專利時的考慮下之現時的HEVC文獻不 再包含CAVLC係數編碼器的可能性。
熵編碼器370的輸出與例如,用以界定其中預測器320產生預測影像之方式的額外資料(上述及/或下文將討論的)一起提供壓縮的輸出視頻信號380。
然而,因為預測器320本身之操作根據壓縮的輸出資料之解壓縮型式而定,所以亦設置返回路徑。
用於此特性的理由係如下。在解壓縮處理(將敘述於下文)中之適當的級處,係產生剩餘資料的解壓縮型式。此解壓縮的剩餘資料必須被添加至預測的影像,用以產生輸出的影像(因為原始的剩餘資料係輸入的影像與預測的影像之間的差異)。為了要使此處理可比較,於壓縮處理期間及解壓縮處理期間,在壓縮側與解壓縮側間之由預測器320所產生的預測影像應係相同的。當然在解壓縮時,設備不具有對原始的輸入影像之存取,而是僅對解壓縮的影像。因此,在壓縮時,預測器320之其預測(至少,針對影像間之編碼)係根據壓縮影像的解壓縮型式而定。
由熵編碼器370所執行的熵編碼處理被認為係〝無損失的〞,亦即,其可反轉到達最先所供應至熵編碼器370之真正相同的資料。因此,返回路徑可在熵編碼級之前,予以實施。實際上,由掃描單元360所執行的掃描處理亦係視為無損失的,但在本實施例中,返回路徑390係自量子化器350的輸出至互補之逆量子化器420的輸入。
在一般性的觀點中,熵解碼器410、逆掃描單元400、逆量子化器420、及逆轉換單元430提供熵編碼器370、掃 描單元360、量子化器350、及轉換單元340之個別的逆功能。現將透過壓縮處理而繼續討論;用以解壓縮輸入的壓縮視頻信號之處理將分別討論於下文。
在壓縮處理中,掃描的係數係藉由返回路徑390而自量子化器350傳遞至逆量子化器420,而執行掃描單元360的逆操作。逆量子化及逆轉換處理係由單元420、430所執行,用以產生壓縮解壓縮的剩餘影像信號440。
影像信號440係在加法器450添加至預測器320的輸出,用以產生重現的輸出影像460。此形成對影像預測器320的一輸入,如下文將敘述地。
現將轉至用以解壓縮接收的壓縮視頻信號470所施加之處理,在藉由加法器450而被添加至影像預測器320的輸出之前,該信號係供應至熵解碼器410且自該處至逆掃描單元400、逆量子化器420、及逆轉換單元430的鏈路。因此,在解碼器側,解碼器重現剩餘影像的型式,且然後,施加此(藉由加法器450)至影像的預測型式(一區塊一區塊地為基礎),以便解碼各區塊。在直接觀點中,加法器450的輸出460形成輸出的解壓縮視頻信號480。實用上,可在輸出該信號之前,施加進一步的濾波。
因此,第5及6圖之設備扮演壓縮設備或解壓縮設備的角色。該兩類型之設備的功能係極大比重地重疊。掃描單元360及熵編碼器370並未被使用於解壓縮模式中,且預測器320的操作(將詳細敘述於下文)及其他單元跟隨包含於所接收的壓縮位元流中之模式及參數資訊,而非產生該 等資訊本身。
第6圖概略地描繪預測影像的產生,且特別地,影像預測器320的操作。
具有由影像預測器320所執行之預測的兩個基本模式:所謂影像內之預測及所謂影像間,或移動補償(MC)之預測。在編碼器側,各包含偵測相對於將被預測之目前區塊的預測方向,以及依據其他取樣(在相同(影像內)或另一(影像間)影像中)而產生預測區塊之取樣。憑藉單元310或450,在預測區塊與實際區塊之間的差異被編碼或施加,以便分別編碼或解碼該區塊。
影像內之預測根據來自相同影像內之資料而預測影像之區塊的內容。此對應其他視頻壓縮技術中之所謂I訊框編碼。對照於其中整個影像係內編碼之I訊框編碼,在本實施例中,於內與編碼之間的選擇可以以一區塊一區塊地為基礎予以做成,雖然在其他實施例中,該選擇仍係以一影像一影像地為基礎予以做成。
移動補償之預測係影像間之預測的實例,且使用另一鄰接或毗鄰影像中的移動資訊,而嘗試要界定將被編碼於目前影像中之影像細節的來源。因而,在理想的實例中,可將預測影像中之影像資料的區塊之內容極簡易地編碼,做為指示鄰接影像中之相同的或稍為不同的位置處之對應區塊的參考(移動向量)。
現請翻閱第6圖,係顯示兩個影像預測配置(對應影像內及影像間之預測),其結果係在模式信號510的控制 下,由多工器500所選擇,以便提供預測影像之區塊,以供供應至加法器310及450之用。選擇係根據給定最低〝能量〞之選擇而做成(其可如上述地被視為需要編碼的資訊內容),且該選擇係在編碼輸出的資料流內,信令至編碼器。關於此點,例如,影像能量可藉由執行來自輸入影像的兩型式預測影像之區塊的嘗試減法、使不同影像之各像素值開平方、合計該等平方值、及辨識該兩型式的何者產生與該影像區域相關聯之不同影像的較低均方值,而予以偵測出。
在內編碼系統中,實際預測係以所接收為信號460之一部分的影像區塊為基礎予以做成,亦即,預測係根據編碼解碼之影像區塊,以便使真正相同的預測可在解壓縮設備做成。無論如何,資料可藉由模式內選擇器520而自輸入之視頻信號300導出,用以控制影像內預測器530的操作。
對於影像內之預測,移動補償(MC)預測器540使用諸如移動向量之藉由移動估算器550而自輸入之視頻信號300所導出的移動資訊。該等移動向量係藉由移動補償預測器540而施加至重現影像460之經處理的型式,用以產生影像內之預測的區塊。
因而,單元530及540(與估算器550一起操作)各扮演偵測器的角色,用以偵測出相對於將被預測之目前區塊的預測方法,且扮演產生器的角色,用以依據由該預測方向所界定的其他取樣而產生取樣之預定區塊(形成傳遞至 單元310及450之預測的一部分)。
現將敘述所施加至信號460之處理。首先,信號係由濾波器單元560所濾波,該濾波器單元560將被更詳細地敘述於下文。此包含施加〝解區塊〞濾波器,用以去除或至少有助於降低由轉換單元340及其後之操作所執行的以區塊為基礎之處理的效應。取樣適應性偏置(SAO)濾波器(將進一步敘述於下文)亦可被使用。而且,適應性迴圈濾波器係使用藉由處理重現之信號460及輸入之視頻信號300所導出的係數,而予以施加。該適應性迴圈濾波器係使用已知技術之類型的濾波器,其施加適應性濾波器係數至將被濾波的資料。也就是說,濾波器係可根據各種因數而變化。界定要使用那些濾波器係數的資料係包含做為編碼的輸出資料流之一部分。
適應性濾波表示用於影像恢復的迴圈內濾波。LCU可由直至16個濾波器所濾波,而濾波的選擇及ALF開/關狀態(適應性迴圈濾波器-請參閱下文)係相對於LCU內之各CU而予以導出。一般地,該控制係在LCU層次,而非CU層次。
實際上,當設備係操作成為壓縮設備時,來自濾波器單元560之濾波的輸出形成輸出之視頻信號480。而且,其係緩衝於一或多個影像或訊框儲存器570中;連續影像的儲存係移動補償之預測處理,且尤其,移動向量之產生的必要條件。為了要在儲存需要上節約,在影像儲存器570中之儲存的影像可保持於壓縮形式中,且然後,予以解壓 縮以供產生移動向量之用。對於此特殊之目的,可使用任何已知的壓縮/解壓縮系統。儲存的影像係傳遞至插補濾波器580,其產生該儲存的影像之較高解析度版;在此實例中,係產生中間取樣(子取樣),以致使藉由插補濾波器580而輸出的插補之影像的解析度係影像儲存器570中所儲存之影像的4倍(在各維中)解析度用於4:2:0之亮度頻道,且係影像儲存器570中所儲存之影像的8倍(在各維中)解析度用於4:2:0之彩色頻道。該等插補之影像傳遞至移動估算器550且亦至移動補償預測器540,做為輸入。
在實施例中,係提供進一步之選用的級,其係用以使用乘法器600而以4的因數相乘輸入之視頻信號的資料值(有效地稍微左移資料值兩位元),且用以使用除法器或右移器610而施加對應除法運算(右移兩位元)於設備的輸出處。因此,左移及右移單純地改變資料以供設備的內部運算之用。此措施可在設備內提供較高的計算準確性,因為可降低環繞誤差之任何資料的效應。
現將敘述其中畫分影像以供壓縮處理的方式。在基本層次處,將被壓縮的影像係視為取樣之區塊的陣列。針對本討論之目的,在考慮中之最大該區塊係所謂最大編碼單元(LCU)700(第7圖),其表示典型地,64×64取樣之方陣列(LCU尺寸係由編碼器所組構,直至諸如由HEVC文獻所界定之最大尺寸)。在此,該討論有關亮度取樣。根據諸如4:4:4、4:2:2、4:2:0、或4:4:4:4(GBR加上關鍵資料)之彩色模式,將具有對亮度區塊之不同數目的對應 彩色取樣。
將敘述三個基本類型的區塊:編碼單元、預測單元、及轉換單元。在一般性的觀點中,LCU的遞歸細分允許輸入的圖像以此方式被畫分,使得區塊尺寸及區塊編碼參數(諸如預測或剩餘編碼模式)可依據將被編碼之影像的特定特徵而予以設定。
LCU可被細分成所謂編碼單元(CU)。編碼單元一直係正方形的,且具有8×8取樣與LCU 700的全尺寸之間的尺寸。該等編碼單元可被配置成為一種樹狀結構,以致使第一細分可如第8圖中所示地發生,而給定32×32取樣之編碼單元710;接著,隨後的細分可以以選擇性為基礎而發生,以便給定16×16取樣之若干編碼單元720(第9圖),且潛在地,8×8取樣之若干編碼單元730(第10圖)。就整體而言,此處理可提供CU區塊之內容適應編碼樹狀結構,其各可如LCU一樣地大或如8×8取樣一樣地小。輸出之視頻資料的編碼係以編碼單元結構為基礎而發生,亦即,一LCU被編碼,且然後,該處理移至下一個LCU,等等。
第11圖概略地描繪預測單元(PU)之陣列。預測單元係用以承載與影像預測處理相關聯之資訊,或換言之,承載所添加至熵編碼剩餘影像資料用以自第5圖之設備形成輸出的視頻信號之額外資料的基本單元。通常,預測單元並未在形狀中受限於正方形。其可採取其他形狀,特別地,矩形形狀,用以形成正方形編碼單元之其中一者的一 半(例如,8×8CU具有8×4或4×8PU)。使用與影像特徵配向之PU並非HEVC系統之強制性的部分,且一般之目的將係在於允許適當的編碼器使鄰接之預測單元的邊界配向,用以匹配(盡量靠近)圖像中之實體的邊界,使得可施加不同的預測參數至不同的實體。各編碼單元可包含一或多個預測單元。
第12圖概略地描繪轉換單元(TU)之陣列。轉換單元係轉換及量子化處理的基本單元。轉換單元可係或可非正方形的,且可採取4×4直至32×32取樣的尺寸。各編碼單元可包含一或多個轉換單元。在第12圖中之頭字語SDIP-P表示所謂短距離內預測畫分。在此配置中,係使用僅一維的轉換,因此,4×N區塊係透過N個轉換以與對該等轉換輸入之資料一起傳遞,而該等轉換係根據目前SDIP-P內之在前解碼的相鄰區塊及在前解碼的相鄰列而定。SDIP-P係並未在目前於申請本申請案時,包含於HEVC中。
如上述,編碼係按一LCU而發生,然後,下一個LCU,等等。在LCU內,編碼係一個CU一個CU地執行。在CU內,編碼係針對一TU而執行,然後,下一個TU,等等。
現將討論內預測之處理。在一般性的觀點中,內預測包含自相同影像中之在前所編碼的及所解碼的取樣而產生目前區塊的預測(預測單元)。第13圖概略地描繪部分所編碼之影像800。在此,影像係以LCU為基礎,自左下方至右下方地予以編碼。透過整個影像的操縱而予以部分地 編碼之實例LCU係顯示成為區塊810。在區塊810之上面且至其左邊的遮影區820係已被編碼。區塊810之內容的影像內之預測可使用任何該遮影區820,但無法使用其下面之未遮影區。然而,請注意的是,對於在目前LCU內之個別的TU,上述之編碼的階層順序(一個CU一個CU地,然後,一個TU一個TU地)意指的是,可具有在前所編碼的取樣於目前LCU中,且可用於該TU之編碼,例如,該等取樣係在該TU的右上方或左下方。
區塊810表示LCU;如上述地,針對影像內之預測處理的目的,可將此細分成一組較小的預測單元及轉換單元。目前TU 830之實例係顯示於LCU 810之內。
影像內之預測斟酌在將被考慮的目前TU之前所編碼的取樣,諸如在目前TU之上面及/或至左邊的該等者。所需之取樣係自其所預測來源取樣可位在相關於目前TU之不同位置或方向處。為決定何者方向適用於目前預測單元,實例編碼器的模式選擇器520可測試可用之TU結構的所有組合以供各候選方向之用,且以最佳壓縮效率選擇PU方向及TU結構。
圖像亦可以以〝切片〞為基礎予以編碼。在一實例中,切片係LCU之水平鄰接組群。但在更普通的觀點中,整個剩餘影像可形成切片,或切片可係單一的LCU,或切片可係一列LCU,等等。當切片被編碼成為獨立單元時,其可給予誤差若干彈性。編碼器及解碼器狀態係完全地重設於切片邊界處。例如,內預測係不跨越切片邊界而予以 執行;為此目的,切片邊界係視為影像邊界。
第14圖概略地描繪一組可能的(候選的)預測方向。34個侯選方向的全組係可用於8×8、16×16、或32×32取樣之預測單元。4×4及64×64取樣之預測單元尺寸的特別情況具有可用於它們之候選方向減少的組合(分別地,17個候選方向及5個候選方向)。該等方向係由相對於目前區塊位置之水平及垂直的位移所決定,但係編碼成為預測模式,其一組係顯示於第15圖中。注意的是,所謂DC模式表示包圍之上方及左手邊取樣之簡單的算術平均值。
在一般性的觀點中,於偵測出相對於各預測單元的預測方向之後,該等系統係可操作用以根據由預測方向所界定之其他取樣,而產生預測區塊之取樣。
第16圖概略地描繪所謂右上方對角線掃描,其係可由掃描單元360所施加之實例掃描圖案。在第16圖中,圖案係顯示用於8×8DCT係數之實例區塊,而DC係定位於區塊之左上方位置840處,且漸增的水平及垂直空間頻率係由向下且至該左上方位置840之右邊的漸增矩離處之係數所表示。取代地可使用其他選擇性的掃描順序。
將討論區塊配置以CU、PU、及TU結構的變化例於下文。該等者將以第17圖之設備的情況予以討論,其係在許多方面與上述第5及6圖中所描繪的設備相似。確實地,已使用許多相同的參考符號,且該等部件將不予以進一步討論。
相對於第5及6圖之主要的實質差異有關濾波器560 (第6圖),其係在第17圖中更詳細地顯示為包含解區塊濾波器1000及相關聯的編碼決定區塊1030、取樣適應性偏置(SAO)濾波器1010及相關聯的係數產生器1040、以及適應性迴圈濾波器(ALF)1020及相關聯的係數產生器1050。
解區塊濾波器1000嘗試要藉由使尖銳邊緣平滑而降失真且改善視覺品質及預測性能,該等尖銳邊緣可當使用區塊編碼技術時,形成於CU、PU、及TU邊緣之間。
SAO濾波器1010分類重現的像素成為不同種類,且然後,嘗試要藉由添加偏置用於各種類的像素而降低失真。像素強度及邊緣性質係使用於像素分類。為了要進一步增進編碼效率,可將圖像畫分成為用於偏置參數之局部化的區域。
ALF 1020嘗試要恢復壓縮之圖像,使得重現與來源訊框之間的差異最小化。ALF之係數係以訊框為基礎予以計算及傳送。ALF可被施加至整個訊框或至局部區域。
如上述,所提議之HEVC文獻使用熟知為4:2:0方案之特殊彩色取樣方案。該4:2:0方案可使用於家庭/顧客裝備。然而,若干其他的方案係可能的。
尤其,所謂4:4:4方案將適用於職業廣播、母帶後期處理、及數位影片,且原則上,將具有最高的品質及資料速率。
同樣地,所謂4:2:2方案可使用於具有若干傳真度損失之聯業廣播、母帶後期處理、及數位影片中。
下文將敘述該等方案及其對應之可能的PU及TU區塊結構。
此外,其他方案包含4:0:0單色方案。
在4:4:4方案中,Y、Cb及Cr三個頻道之各者具有相同的取樣速率。因此,原則上,在此方案中,將具有如亮度資料兩倍之更多的彩色資料。
因而,在HEVC中,於此方案中,Y、Cb及Cr三個頻道之各者將具有對應之相同尺寸的PU及TU區塊;例如,8×8亮度區塊將具有用於該兩個彩色頻道之各者的對應8×8彩色區塊。
因此,在此方案中,大致地,將具有直接之1:1關係於各頻道中的區塊尺寸之間。
在4:2:2方案中,該兩個彩色成分係以亮度之取樣速率的一半予以取樣(例如,使用垂直或水平子取樣,但針對本說明之目的,係假定子取樣)。因此,原則上,在此方案中,將具有如亮度資料一樣多的彩色資料,雖然該彩資料將在該兩個彩色頻道之間被分割。
因而,在HEVC中,於此方案中,Cb及Cr頻道將具有與亮度頻道不同尺寸的PU及TU區塊;例如,8×8亮度區塊可具有用於各彩色頻道之對應的4(寬)×8(高)彩色區塊。
因此,顯著地,在此方案中,該等彩色區塊可係非正方形的,雖然它們對應正方形的亮度區塊。
在目前所提議的HEVC 4:2:0方案中,該兩個彩色成分 係以亮度之取樣速率的四分之一予以取樣(例如,使用垂直及水平子取樣)。因此,原則上,在此方案中,具有如亮度資料一半之彩色資料,該彩色資料在該兩個彩色頻道之間被分割。
因而,在HEVC中,於此方案中,Cb及Cr頻道再具有與亮度頻道不同尺寸的PU及TU區塊。例如,8×8亮度區塊將具有用於各彩色頻道之對應的4×4彩色區塊。
上述方案係在本項技藝中通俗地熟知為〝頻道比〞,如在〝4:2:0頻道比〞中一樣地;然而,將從上述說明理解的是,實際上,此並非總是意指Y、Cb及Cr頻道係以該比例予以壓縮或提供。因此,雖然稱為頻道比,但不應將此假定成為照文義的。事實上,用於4:2:0方案之正確比例係4:1:1(實際地,用於4:2:2方案及4:4:4方案之比例係正確的)。
在參照第18a及18b圖而討論特殊配置之前,將概述及重訪若干通用之術語。
最大編碼單元(LCU)係根圖像物件。典型地,其覆蓋相等於64×64亮度像素之區域。其被遞歸地分割,用以形成樹狀階層之編碼單元(CU)。在一般性的觀點中,該三個頻道(一個亮度頻道及兩個彩色頻道)具有相同的CU樹狀階層。然而,如上述,根據頻道比,特殊的亮度CU可包含與對應彩色CU不同數目的像素。
在樹狀階層的末端處之CU,亦即,由遞歸分割處理所產生之最小CU(其亦稱為葉狀CU)係接著分割成為預 測單元(PU)。該三個頻道(亮度及兩個彩色頻道)具有相同的PU結構,除了當用於彩色頻道之對應PU將具有太少的取樣之外,在該情況中,可僅用一PU以供該頻道之用。此係可組構的,但PU內之最小尺寸一般係4個取樣;PU間之最小尺寸係4個亮度取樣(或用於4:2:0之兩個彩色取樣)。在最小CU尺寸上的限制應大到足可供任何頻道之至少一PU之用。
葉狀CU亦被分割成為轉換單單元(TU)。可將該等TU,且當它們太大時(例如,超過32×32取樣),必須將它們分割成為進一步的TU。限制係施加使得TU可被向下分割至目前被組構成為2層次之最大樹狀深度,亦即,它們不可超過各CU 16個TU。描繪性之最小可允許的TU尺寸係4×4取樣,且最大可允許的TU尺寸係32×32取樣。再者,無論何時,該三個頻道可具有相同的TU結構,但若由於尺寸限制而無法將TU分割至特殊深度以供給定頻道之同時,則將其保持在最大尺寸處。所謂非正方形四個樹狀轉變配置(NSQT)係相似的,但分割成為四個TU的方法無需係2×2,且係4×1或1×4。
現請參閱第18a及18b圖,將概述用於CU、PU、及TU區塊之可能的不同區塊尺寸,而〝Y〞表示亮度區塊,且〝C〞在一般意義中表示彩色區塊之代表者,以及數目表示像素。〝間〞表示訊框間預測PU(例如,與訊框內預測PU相反)。在許多情況中,僅顯示用於亮度區塊之區塊尺寸。相關聯的彩色區塊之對應尺寸係依據頻道比,而 與亮度區塊尺寸相關聯。
因此,對於4:4:4,該等彩色頻道具有與第18a及18b圖中所示之亮度區塊相同的區塊尺寸。因而,彩色PU結構反射出(或係分別相同於)亮度PU結構於所有所分割的層次處(其中〝所分割的層次〞意指CU尺寸選用的選擇,以及在CU尺寸內,PU尺寸及彩狀選用的選擇)。雖然將可使用同組之可能的區塊尺寸及形狀,但為了要允許不同者(不同於該組者)相對於CU之亮度及彩色成分而被選擇,在本發明之若干實施例中,PU區塊尺寸及形狀係選擇用於對應CU之彩色及亮度成分。因此,無論何者PU尺寸及形狀被選擇用於亮度CU,相同尺寸及形狀PU係選擇用於該CU的彩色部分。注意的是,如下文所討論地,區塊尺寸及形狀以及PU之選擇係在控制器343的控制下,以編碼器為基礎之決定。在該等配置中,亮度及彩色成分係在4:4:4格式中,且係配置成為複數個編碼單元,各包含亮度及彩色取樣的區塊;以及預測方向係相對於目前預測單元而予以偵測出,目前預測單元係表示個別編碼單元的至少一子集之亮度或彩色取樣的區塊。對於特殊的編碼單元,各包含來自該編碼單元的亮度及彩色取樣之一或多個預測單元的尺寸及形狀係做成(例如,藉由控制器343),以致使用於亮度取樣及用於彩色取樣之預測單元尺寸及形狀的選擇相同。
對於4:2:2及4:2:0,依據頻道比,彩色區塊將各具有比對應亮度區塊更少的像素。
在第18a及18b圖中所示的配置分別有關四個可能的CU尺寸:64×64、32×32、16×16、及8×8亮度像素。該等CU的各者具有對應列之PU選用(顯示於行1140中)及TU選用(顯示於行1150中)。對於上文所界定之可能的CU尺寸,該等選用之列係分別表示成為1100、1110、1120、及1130。
請注意的是,目前,64×64係最大CU尺寸,但此限制可改變。
在各列1100…1130之內,不同的PU選用係顯示可應用至該CU尺寸。可應用至該等PU組態的TU選用係顯示與個別的PU選用水平地配向。
注意的是,在若干情況中,係提供多重PU選用。如上述,在選擇PU組態中之設備的目的在於匹配(盡量靠近)圖像中之實體的邊界,以致使不同的預測參數可被施加至不同的實體。
區塊尺寸及形狀以及PU係在控制器343的控制下,以編碼器為基礎之決定。目前方法包含執行許多方向之許多TU樹狀結構的嘗試,用以取得各層次之最佳〝成本〞。在此,該成本可表示為產生自各區塊結構之失真、或雜訊、或誤差、或位元速率的測量。因此,在選擇該等嘗試的其中一者而給予某一所需品質測量最低位元速率,或所需位元速率最低失真(或誤差、或雜訊、或該等測量的組合)、或該等測量的組合之前,編碼器可在上述之樹狀結構及階層下所允許的該等者之內,嘗試二或更多個(或甚 至所有可用的)區塊尺寸及形狀之排列。
當給定特殊PU組態的選擇時,可施加各種層次之分割,用以產生對應TU。請參閱列1100,在64×64 P的情況中,對於使用做為TU而言,此區塊尺寸係太大,且因此,第一層次之分割(自〝層次0〞(不分割)至〝層次1〞)係強制性的,用以造成四個32×32亮度TU之陣列。該等者各可視需要地接受在樹狀階層中之進一步的分割(自〝階層1〞至〝階層2〞),而該分割係在執行TU的轉換或量子化之前被執行。在TU樹狀中之層次的最大數目係由(例如)HEVC文獻所限制。
其他的選用係在64×64亮度像素CU的情況中,設置用於PU尺寸及形狀。該等者係受限於僅只在編碼之圖像間,且在若干情況中,僅與所謂AMP選用致能一起使用。AMP意指非對稱移動畫分,且允許用於將被非對稱畫分之PU。
同樣地,在若干情況中,選用係設置用於TU尺寸及形狀,若NQST(非正方形四樹狀轉換,基本地允許非正方形TU)被致能時,則可如圖示地執行對層次1及/或層次2的分割,而若NQST未被致能時,則TU尺寸順從用於該CU尺寸之個別最大TU的分割圖案。
相似的選用係設置用於其他的CU尺寸。
除了第18a及18b圖中所示的圖形表示之外,相同資訊之符號係提供於下表中,雖然在第18a及18b圖中的表示係視為決定性的。〝n/a〞指示不被允許的模式。首先,將 敘述水平像素尺寸。若給定第三圖形時,則例如,在(水平)×(垂直)×(情況之數目)區塊中,其有關該區塊尺寸之情況的數目。N係整數。
4:2:0、4:2:2、及4:4:4區塊結構變化例
已理解的是,4:2:0及4:4:4方案二者具有用於內預測之編碼的正方形PU區塊。此外,目前4:2:0方案准許4×4像素PU及TU區塊。
因而,在實施例中,所提議的是,對於4:4:4方案,用於CU區塊之遞歸係准許向下至4×4像素,而非8×8像素,因為如上述,在4:4:4模式中,亮度及彩色區塊將係相同尺寸(亦即,彩色資料不被子取樣),且所以,對於4×4CU,PU或TU將需小於已允許之最小的4×4像素。因此,此係用於特殊編碼單元之自該編碼單元的至少一子集選擇各包含亮度或彩色取樣之一或多個預測單元的尺寸及形狀的實例,該預測單元尺寸及形狀之選擇係相同用於亮度取樣及用於彩色取樣。
同樣地,在4:4:4方案中,於實施例中,Y、Cr、Cb頻道之各者,或Y及Cr、Cb二頻道一起地,可具有個別的CU樹狀階層。然後,可使用旗標用以信令將使用何者階層或階層的配置。此方法亦可使用於4:4:4 RGB彩色空間方案。然而,取代地,在選擇例中,用於彩色及亮度的樹狀階層可係獨立的。
在4:2:0方案中之8×8 CU的實例中,此造成四個4×4亮度PU及一個4×4彩色PU。因此,在4:2:2方案中,具兩倍彩色資料,於此情況中之一選用在於具有兩個4×4彩色PU,其中(例如)底部彩色區塊將在位置中對應底部左邊亮度區塊。然而,已理解的是,使用一個非正方形4×8彩色PU 於此情況將與用於4:2:0彩色格式的配置更一致。
在4:2:0方案中,原則上,具有若干非正方形TU區塊被允許用於某些種類的預測間之編碼,且並非用於內預測之編碼。然而,在預測內之編碼中,當使非正方形四樹狀轉換(NSQT)失能時(其係用於4:2:0方案之目前的缺設),則所有的TU係正方形。因此,實際上,目前4:2:0方案實施正方形TU。例如,16×16 4:2:0亮度TU將與個別的Cb及Cr 8×8 4:2:0彩色TU相互對應。
然而,如上述,4:2:2方案可具有非正方形PU。因此,在實施例中,所提議的在於允許非正方形TU用於4:2:2方案。
例如,雖然16×16 4:2:2亮度TU可與兩個個別的Cb及Cr 8×8 4:2:2彩色TU相互對應,但在此實施例中,取代地,其可以與個別的Cb及Cr 8×16 4:2:2彩色TU相互對應。
同樣地,四個4×4 4:2:2亮度TU可與兩個個別的4×4 Cb+Cr 4:2:2 TU相互對應,或在此實施例中,取代地,可以與個別的4×8 Cb及Cr 4:2:2 TU相互對應。
當具有非正方形彩色TU,且因此,更少的TU時,則可更有效率,因為其可包含更少的資訊。然而,此可影響該等TU的轉換及掃描處理,如稍後將敘述地。
最後,對於4:4:4方案,可較佳地使TU結構頻道獨立且可以以順序、圖像、切片、或更精密的位準選擇。
如上述,在HEVC的4:2:0方案中,目前係使NQST失 能。然而,若用於圖像間之預測時,則使NSQT致能且准許非對稱移動畫分(AMP),此允許用於將被非對稱畫分的PU;因而,例如,16×16 CU可具有4×16 PU及12×16 PU。在該等情況中,對於4:2:0及4:2:2方案而言,區塊結構之進一步考慮係重要的。
對於4:2:0方案,在NQST中,可將TU之最小寬度/高度限制至4亮度/彩色取樣。
因此,在非限制的實例中,16×4/16×12亮度PU結構具有四個16×4亮度TU及四個4×4彩色TU,其中亮度TU係在1×4垂直區塊配置中以及彩色TU係在2×2區塊配置中。
在其中畫分係垂直而非水平之相似的配置中,4×16/12×16亮度PU結構具有四個4×16亮度TU及四個4×4彩色TU,其中亮度TU係在4×1水平區塊配置中以及彩色TU係在2×2區塊配置中。
對於4:2:2方案,在做為非限制實例的NSQT中,4×16/12×16亮度PU結構具有四個4×16亮度TU及四個4×8彩色TU,其中亮度TU係在4×1水平區塊配置中;彩色TU係在2×2區塊配置中。
然而,已理解的是,可針對若干情況而考慮不同的結構。因此,在實施例中,於做為非限制實例的NSQT中,16×4/16×12亮度PU結構具有四個16×4亮度TU及四個8×4彩色TU,但現在,亮度及彩色TU係在1×4垂直區塊配置中,而隨著PU佈局配置(例如,與在2×2區塊配置中之四個4×8彩色TU的4:2:0樣式配置相反)。
同樣地,32×8 PU可具有四個16×4亮度TU及四個8×4彩色TU,但現在,亮度及彩色TU係在2×2區塊配置中。
因此,更概括地,對於4:2:2方案,在NSQT中,TU區塊尺寸係選擇用以隨著非對稱之PU區塊佈局配向。因而,NSQT有效地允許TU邊界與PU邊界對齊,而降低可能發生的高頻人工產物。
在一般性的觀點中,本發明之實施例可有關可相對於4:2:2格式視頻信號而操作的視頻編碼方法、設備、或程式。將被編碼的影像係畫分成為編碼單元、預測單元、及轉換單元以供編碼之用,編碼單元係亮度取樣及對應彩色取樣的正方形陣列,而在編碼單元中具有一或多個預測單元,且在編碼單元中具有一或多個轉換單元;其中預測單元係預測的基本單元,以致使單一預測單元內的所有取樣使用共同的預測技術而予以預測,以及轉換單元係轉換及量子化的基本單元。
非正方形轉換模式(諸如NSQT模式)係致能以便允許非正方形預測單元。選用地,非對稱移動畫分係致能以便允許對應單一編碼單元之二或多個預測單元間的非對稱。
例如,控制器343藉由偵測對應PU之影像的部分中之影像特徵,且選擇相對於該PU的TU區塊尺寸,而控制轉換單元區塊尺寸的選擇,用以與預測單元區塊佈局配向,以便使TU邊界與該影像的該部分中之影像特徵的邊緣對齊。
上文所討論的規則說明那些區塊尺寸的組合可用。編碼器可適當地嘗試不同的組合。如上述,嘗試可包含二或多個,直至所有可用的選用。該等嘗試編碼處理可依據成本函數計量及依據該成本函數之估算所選擇的結果,而予以執行。
假定具有依據CU尺寸及形狀、PU尺寸及形狀、以及TU尺寸及形狀之三層次的變化,則此可導致將被嘗試編碼之很多的排列。為了要降低此變化,系統可藉由使用可允許用於各CU尺寸之PU/TU組態的所任意選擇者而對CU尺寸嘗試編碼;然後,當已選擇CU尺寸時,則PU尺寸及形狀可藉由各以單一任意選擇的TU組態嘗試編碼不同的PU選用,而予以選擇。接著,當已選擇CU及PU時,則系統可嘗試所有可應用的TU組態,用以選擇最終的TU組態。
另一可能性在於若干編碼器可使用區塊組態的固定選擇,或可允許上述討論中所限定的該等組合之受限的子集。
內預測 4:2:0內預測
現請翻閱第22圖,對於內預測,HEVC考慮角彩色預測。
當做介紹,第22圖描繪可應用至亮度區塊的35個預測模式,其之33個指明方向用以參考目前預測之取樣位置 110的取樣。剩餘的兩個模式係模式0(平面)及模式1(dc)。
HEVC允許彩色具有DC、垂直、水平、平面DM_CHROMA、及LM_CHROMA模式。
DM_CHROMA指示將被使用的預測模式係與協同定位之亮度PU的該者相同(亦即,第22圖中所示的35個之一)。
LM_CHROMA(線性模式彩色)指示協同定位之亮度取樣(相對於頻道比適當地下行取樣)係使用以導出預測彩色取樣。在此情況中,若其中將採取DM_CHROMA預測模式的亮度PU選擇DC、垂直、水平、或平面時,則在彩色預測列表中之該登錄係使用模式34予以置換。在LM_CHROMA模式中,其中預測彩色像素的亮度像素係依據亮度與彩色之間的線性關係而予以縮放(且具有所適當施加的偏置)。此線性關係係導出自周圍的像素,且該導出可以以一區塊一區塊為基礎予以執行,而在移動至下一者之前,解碼器完成解碼一區塊。
值得注意的是,預測模式2至34取樣45度至225度之角範圍;也就是說,正方形之一對角線的半部。此係有用於4:2:0方案的情況中,如上述地,該方案僅使用正方形彩色PU以供圖像內預測之用。
4:2:2內預測之變化例
然而,亦如上述地,4:2:2方案可具有矩形(非正方 形)彩色PU,即使當亮度PU係正方形時。或確實地,反之亦然:矩形亮度PU可對應正方形彩色PU。差異的理由係在4:2:2中,彩色係水平地子取樣(相對於亮度),而非垂直地。所以,亮度區塊及對應彩色區塊的縱橫比將被預測為不同的。
因而,在實施例中,對於具有與對應亮度區塊不同縱橫比的彩色PU,需要映射表以供指向之用。假定(例如)1對2縱橫比之矩形彩色PU,則例如,模式18(目前在135度的角度)可被重映射至123度。選擇性地,目前模式18的選擇可被相同地重映射至模式22的選擇。
因此,更概括性地,對於非正方形PU,在參考取樣的方向與所選擇的內預測模式間之不同的映射可與用於正方形PU之該者相較地予以設置。
仍更概括性地,包含非指向性模式的任何模式亦可根據實驗之證據而予以重映射。
該映射將可產生多對一之關係,而使全組模式的規格冗餘以供4:2:2彩色PU之用。在此情況中,例如,可僅17個模式(對應角解析度的一半)係必要的。選擇性地或此外,該等模式可以以非對稱方式予以成角度地分佈。
同樣地,當預測取樣位置處之像素時所使用於參考取樣上的平滑濾波器可予以不同地使用;在4:2:0方案中,其僅係使用以使亮度像素平滑,但非彩色者。然而,在4:2:2及4:4:4方案中,此濾波器亦可被使用於彩色PU。在4:2:2方案中,該濾波器可再回應PU之不同的縱橫比而予以修 正,例如,僅被使用於近水平模式之子集。較佳地,模式之實例子集係2至18及34,或更佳地,7至14。在4:2:2中,於實施例中,可僅執行參考取樣之左欄的平滑。
該等配置將於稍後予以更詳細地討論。
4:4:4內預測之變化例
在4:4:4方案中,彩色及亮度PU係相同尺寸,且因此,用於彩色PU之內預測模式可與協同定位的亮度PU相同(由於不必編碼個別模式,所以在位元流中節省若干架空),或選擇性地,其可被獨立地選擇。
因此,在此後者的情況中,於實施例中,系統可具有1、2、或3個不同的預測模式以供CU中的各PU之用。
在第一實例中,Y、Cb、及Cr之PU均可使用相同的內預測模式。
在第二實例中,Y之PU可使用一內預測模式,以及Cb及Cr之PU二者使用另一獨立選擇的內預測模式。
在第三實例中,Y、Cb、及Cr之PU各使用個別獨立選擇的內預測模式。
將理解的是,具有用於該等彩色頻道(或各彩色頻道)之獨立的預測模式將增進彩色預測準確度。但此係以額外資料架空做為編碼之資料的一部分為代價,用以聯絡該等獨立的預測模式。
為了要減輕此,模式之數目的選擇可以以高階造句法予以指示(例如,以順序、圖像、或切片位準)。選擇性 地,獨立模式的數目可自視頻路格式導出;例如,GBR可具有直至3個,而YCbCr可受限為直至2個。
除了獨立選擇模式之外,可允許可用的模式以使在4:4:4方案中與4:2:0方案不同。
例如,當亮度及彩色PU係在4:4:4中相同尺寸時,彩色PU可享用對所有35+LM_CHROMA+DM_CHROMA方向的存取。因此,對於各具有獨立預測模式之Y、Cb、及Cr的情況,則Cb頻道可具有對DM_CHROMA及LM_CHROMA之存取,而Cr頻道可具有對DM_CHROMA_Y、DM_CHROMA_Cb、LM_CHROMA_Y、及LM_CHROMA_Cb之存取,其中該等以對Y或Cb彩色頻道之參考取代對亮度頻道之參考。
當亮度預測模式係由導出最可能模式的列表及傳送用於該列表之索引所信令時,則若彩色預測模式係獨立時,其可能必須要導出最可能模式的獨立列表以供各頻道之用。
最後,以與上述用於4:2:2情況所示方式相似之方式,在4:4:4方案中,當預測取樣位置處之像素時所使用於參考取樣上的平滑濾波器可以以與亮度PU相似之方式被使用於彩色PU。目前,可在內預測之前,將[1,2,1]低通濾波器施加至參考取樣。此僅係當使用某些預測模式時,使用於亮度TU。
可用於彩色TU之內預測模式的其中一者係以協同定位的亮度取樣之預測取樣為基礎。該配置係概略地描繪於 第19圖中,其顯示由Cb、Cr、及Y頻道中的小正方形所表示之TU 1200的陣列(來自來源影像之區域),而顯示出Cb及Y頻道中以及Cr及Y頻道中之影像特徵間的特別配向(由深及淺陰影格子1200所概略指示)。在此實例中,其係有益於迫使彩色TU以協同定位的亮度取樣之其預測取樣為基礎。然而,並非一直係影像特徵在三個頻道之間對應的情況。實際上,某些特徵可僅出現在該等頻道的其中一者或二者之中,且通常,三個頻道的影像內容可不同。
在實施例中,對於Cr TU,LM_Chroma可選用地根據來自Cb頻道之協同定位的取樣(或者,在其他實施例中,相依性可係近似的其他方式)。該配置係以概略形式顯示於第20圖中。在此,空間配置的TU係描繪於Cr、Cb、及Y頻道之間。就整體而言,如所示地,稱為〝來源〞之進一步之組的TU係彩色圖像之概略表示。在來源影像之中所示的影像特徵(左上方三角形及右下方三角形)實際上並未顯示亮度中的改變,而僅該兩個三角形區域間之彩色中的改變。在此情況中,根據亮度取樣之用於Cr的LM_Chroma將產生不充分的預測,但根據Cb取樣之其可給予較佳的預測。
關於將使用那一個LM_Chroma模式的決定可根據不同選用之嘗試編碼(包含根據協同定位的亮度或協同定位的彩色取樣之選用),而由控制器343及/或模式控制器520所做成,而關於選擇那一個模式的決定則係與上述該者相似地藉由評估相對於不同嘗試編碼之成本函數予以做成。 該成本函數的實例係雜訊、失真、誤差率、或位元速率。來自接受嘗試編碼的該等者之中而給予該等成本函數之最低的任一者或多者之模式被選擇。
第21圖概略地描繪實施例中所使用以獲得用於內預測之參考取樣的方法。在觀察第21圖中,應注意的是,編碼係依據掃描圖案而予以執行,以致在一般性的觀點中,於將被編碼之目前區塊的上方及左邊之該等區塊的編碼型式係可用於編碼處理。偶而,可使用左下方或右上方之取樣,若其已於先前被編碼成為目前LCU內之其他已編碼妥的TU之一部分時。例如,請參閱如上述之第13圖。
陰影區1210表示目前TU,也就是說,目前正被編碼的TU。
在4:2:0及4:2:2中,因為水平的子取樣,所以正好在目前TU之左邊的像素之行並不包含協同定位的亮度及彩色取樣。換言之,此係因為4:2:0及4:2:2格式具有如亮度像素之一半一樣多的彩色像素,所以並非每個亮度取樣位置均具有協同設置的彩色取樣。因此,雖然亮度取樣可呈現於正好在TU左邊之像素的行中,但彩色取樣並不存在。因此,在若干實施例中,設置兩個取樣至目前TU之左邊的行係使用以提供用於LM_Chroma的參考取樣。注意的是,在4:4:4中之情勢係不同的,其中正好在目前TU之左邊的行確實包含協同定位的亮度及彩色取樣。因此,可使用此行以提供參考取樣。
該等參考取樣被如下地使用。
在LM_Chroma模式中,預測的彩色取樣依據線性關係而導出自重現的亮度取樣。所以,在一般性的觀點中,可稱TU內之預測的彩色值係由下式所給定:PC=a+bPL其中PC係彩色取樣值,PL係在該取樣位置處之重現的亮度取樣,以及a及b係常數。該等常數係針對特殊區塊,而藉由偵測正好在該區塊上方之列中,及正好在該區塊左邊之行中(該等者係已被編碼之取樣位置(請參閱上文))的重現亮度取樣與彩色取樣之間的關係,予以導出。
在若干實施例中,常數a及b係如下地導出:a=R(PL’,PC’)/R(PL’,PL’)其中R表示線性(最小平方)遞歸函數,以及PL’及PC’分別係來自如上述之鄰接列及行的亮度及彩色取樣,且:b=mean(PC’)-a.mean(PL’)
對於4:4:4,PL’及LC’值係取自正好在目前TU之左邊的行、及正好在目前TU之上方的列。對於4:2:2,PL’及PC’值係取自正好在目前TU之上方的列,及離開目前TU之左緣的兩個取樣位置之鄰接區塊中的行。對於4:2:0(其係垂直及水平地子取樣),PL’及PC’將被理想地取自目前TU之上方的兩列,但實際地取自目前TU之上方的一取樣位置之鄰接區塊中的列,及離離目前TU之左緣的兩個取樣位置之鄰接區塊中的行。理由在於避免必須維持額外的整列資料於記憶體中。所以,關於此點,4:2:2及4:2:0係以相似方式處理。
從而,該等技術施加至具有彩色預測模式的視頻編碼方法,其中表示影像之區域的彩色取樣之目前區塊係藉由導出及編碼彩色取樣相對於表示影像之相同區域的亮度取樣(諸如重現的亮度取樣)之協同設置的區塊之關係,而予以編碼。該關係(諸如線性關係)係藉由比較來自鄰接之已被編碼的區塊之協同設置的(或述說為對應設置的)亮度及彩色取樣,而予以導出。彩色取樣係依據該關係而導出自亮度取樣;以及在預測的彩色取樣與實際的彩色取樣之間的差異係編碼成為剩餘資料。
關於其中彩色取樣具有與亮度取樣相同的取樣速率之第一取樣解析度(諸如4:4:4),協同設置的取樣係在鄰接目前區塊之取樣位置中的取樣。
關於其中彩色取樣具有比亮度取樣之取樣速率更低的取樣速率之第二取樣解析度(諸如4:2:2或4:2:0),距離鄰接之已被編碼的區塊最近的行或列之協同設置的亮度及彩色取樣係使用以提供協同設置的取樣。或者,在其中第二取樣解析度係4:2:0取樣解析度的情況中,對應設置的取樣係鄰接目前區塊之取樣的列,及距離鄰接之已被編碼的區塊最近的行或列之對應設置的亮度及彩色取樣。
第22圖概略地描繪用於亮度取樣之可用的預測角度。將被預測的目前像素係顯示於圖式中心,成為像素1220。較小的點1230表示鄰接像素。位於目前像素的頂部或左側上之該等者係可用作參考取樣用以產生預測,因為它們已被先前地編碼。其他像素係目前未知的(在預測像素1220 時),且其將被順序地預測。
各個編號的預測方向指示目前區塊之頂部或左緣上的參考取樣1230,其係使用以產生預測的像素。在其中預測方向指示參考取樣間的位置之更小區塊的情況中,係使用線性插補於鄰接的參考取樣之間。
現將朝向用於彩色取樣的內角度預測,對於4:2:0,因為彩色取樣之相對缺少,所以較少的預測方向可用。然而,若選擇DM_CHROMA模式時,則目前的彩色區塊將使用與協同定位的亮度區塊相同的預測方向。依序地,此意指用於內預測之亮度方向亦可用於彩色。
然而,對於4:2:2中的彩色取樣,假設彩色區域現具有與亮度區塊之縱橫比不同的縱橫比時,則當選擇DM_CHROMA時,可違反直覺地考慮使用與亮度相同的預測演算及方向。例如,用於正方形亮度取樣之陣列的45度線應仍映射至用於彩色取樣的45度線,雖然具有矩形尺寸之取樣陣列。實際上,覆蓋矩形格柵至正方形上指出的是,45度線將映射至26.6度線。
第23圖概略地描繪當被施加至4:2:2中的彩色像素時之關於將被預測的目前像素1220之亮度內預測的方向。注意的是,因為4:2:2具有當與亮度頻道相較時之一半的水平取樣率於彩色頻道中,所以具有垂直像素一半的水平像素。
第24圖概略地描繪4:2:2彩色像素對正方形格柵之轉換或映射,以及接著,此轉換如何改變預測方向。
亮度預測方向係顯示成為斷續線1240。彩色像素1250 係重映射至正方形格柵,而給定對應亮度陣列(諸如第22圖中所示之該者)的一半寬度1260之矩形陣列。在第23圖中所示之預測方向已被重映射至矩形陣列。可發現到的是,對於某些方向對(一對係亮度方向及彩色方向),具有重疊或靠近關係。例如,在亮度陣列中之方向2實質地壓在彩色陣列中的方向6之上。然而,亦將注意的是,約略亮度方向之一半的若干亮度方向不具有對應的彩色方向。實例係編號3的亮度方向。而且,若干彩色方向(2至5)並不具有在亮度陣列中之對等者,以及若干亮度方向(31至34)亦不具有在彩色陣列中之對等者。但大致地,如第24圖中之重疊說明的是,使用相同的角度以供亮度及彩色頻道二者之用將係不適當的。
因而,為了要當(a)DM_CHROMA被選擇及(b)目前所使用之DM_CHROMA模式指出彩色預測方向應係協同定位之亮度區塊的該者時,導出用於彩色的適當預測角度,可施加以下程序:(i)依據通常之HEVC規則而導出內預測角度步階及依據亮度方向之其倒數;(ii)若亮度方向係主要地垂直時(亦即,例如,編號為18至34(包含18及34)之模式),則內預測角度步階減半,且其倒數加倍;(iii)否則,若亮度方向係主要地水平時(亦即,例如,編號為2至17(包含2及17)之模式),則內預測角度步階加倍,且其倒數減半。
因而,該等實施例有關視頻編碼或解碼方法,設備或程式,其中亮度及彩色取樣係依據與將被預測之取樣相關聯的預測方向而預測自其他個別的參考取樣。在諸如4:2:2的模式中,彩色取樣具有比亮度取樣更低的水平及/或垂直取樣速率,以致使亮度水平解析度對彩色水平解析度的比例係與亮度垂直解析度對彩色垂直解析度的比例不同。簡言之,此意指的是,亮度取樣的區塊具有與彩色取樣之對應區塊不同的縱橫比。
例如,訊框內預測器530係可操作以偵測第一預測方向,而該第一預測方向係與相對於將被預測之一組目前取樣的第一縱橫比之格柵相關聯所界定;以及施加映射至該預測方向之方向以便產生第二預測方向,而該第二預測方向係與相對於將被預測之同一組目前取樣的不同縱橫比之取樣格柵相關聯所界定。
在實施例中,第一預測方向係相對於亮度或彩色取樣之其中一者而予以界定,以及第二預測方向係相對於亮度或彩色取樣之另一者而被界定。在本說明中所討論的特殊實例中,可修正亮度預測方向以提供彩色預測方向。惟,相近之其他方式可予以使用。
特別地,該技術係可應用至內預測,使得參考取樣係與將被預測之取樣相同的個別影像之取樣。
在至少若干配置中,第一預測方向係相對於包含目前亮度取樣之亮度取樣的正方形區塊而予以界定;以及第二預測方向係相對於包含目前彩色取樣之彩色取樣的矩形區 塊而被界定。
可提供獨立的預測模式以供該兩個彩色成分之用。在該配置中,彩色取樣包含第一及第二彩色成分之取樣,且該技術包含相對於第一彩色成分(諸如Cb)而施加上述步驟所討論之方向映射;以及相對於第二彩色成分(諸如Cr)而提供不同的預測模式。
例如,視頻資料可係4:2:2格式或4:4:4格式。
在一般性的觀點中,本發明之實施例可提供用於彩色成分之獨立預測模式(例如,分別用於亮度及彩色成分之各者)。該等實施例有關視頻編碼方法,其中影像的亮度及彩色取樣係依據與將被預測之取樣相關聯的預測方向而預測自相同影像之其他個別的參考取樣,彩色取樣具有比亮度取樣更低的水平及/或垂直取樣速率,以致使亮度水平解析度對彩色水平解析度的比例係與亮度垂直解析度對彩色垂直解析度的比例不同,使得亮度取樣的區塊具有與彩色取樣之對應區塊不同的縱橫比,以及彩色取樣表示第一及第二彩色成分。
訊框內模式選擇器520選擇界定一或多個參考取樣之選擇的預測模式,用以預測第一彩色成分(諸如Cb)的目前彩色取樣。其亦選擇不同的預測模式,用以界定一或多個參考取樣之不同的選擇,以供預測第二彩色成分(諸如Cr)的目前彩色取樣之用,而與該第一彩色成分的目前彩色取樣協同設置。
參考取樣濾波器可被選用地施加至例如,水平取樣或 垂直取樣(或二者),做為訊框儲存器570及/或預測器530、540之操作的一部分,而扮演濾波器配置之角色。該濾波器可係3抽頭〝1 2 1〞濾波器,而一般被施加至除了底部左邊及頂部右邊之外的所有亮度參考取樣(N×N區塊之取樣係聚集在一起以形成尺寸2N+1的單一1D陣列,且然後,被選用地濾波)。在該技術的實施例中,其僅係施加至4:2:2的第一(左側邊緣)或最後(頂部邊緣)的N+1彩色取樣(但應注意的是,底部左邊、頂部右邊、及頂部左邊則將不予以調整);或4:2:2及4:4:4的所有彩色取樣(如用於亮度一樣地)。
實施例亦可提供視頻編碼或解碼方法,設備或程式,其中亮度以及第一及第二彩色成分之取樣係依據與將被預測之取樣相關聯的預測方向而被預測自其他個別的參考取樣,包含自第一彩色成分的取樣而預測第二彩色成分的取樣。
實施例亦可提供視頻編碼或解碼方法,設備或程式,其中亮度以及第一及第二彩色成分之取樣係依據與將被預測之取樣相關聯的預測方向而被預測自其他個別的參考取樣,包含濾波該等參考取樣。
如參照第19及20圖所討論地,不同預測模式可包含其中第二彩色成分的取樣係自第一彩色成分的取樣而予以預測之模式。
注意的是,模式0及1並非角預測模式,且因此,不包含於此程序中。上文所示之該程序的功效在於映射彩色預 測方向至第24圖中之亮度預測方向上。
對於4:2:0,當選擇純粹水平預測模式(亮度模式10)或純粹垂直預測模式(亮度模式26)時,則預測TU之頂部或左緣係僅受到用於亮度頻道的濾波。對於水平預測模式,頂部列係以垂直方向濾波。對於垂直預測模式,左側行係以水平方向濾波。
以水平方向濾波一行取樣可被瞭解為依序地施加水平取向的濾波器至該行取樣之各取樣。因此,對於個別的取樣,其值將藉由濾波器的作用,而根據來自該取樣及以水平方向位移自該取樣之取樣位置處的一或多個其他取樣(亦即,所討論之取樣的左邊及/或右邊之一或多個其他取樣)之目前值所產生的濾波值,來加以修正。
以垂直方向濾波一列取樣可被瞭解為依序地施加垂直取向的濾波器至該列取樣之各取樣。因此,對於個別的取樣,其值將藉由濾波器的作用,而根據來自該取樣及以垂直方向位移自該取樣之取樣位置處的一或多個其他取樣(亦即,所討論之取樣的上面及/或下面之一或多個其他取樣)之目前值所產生的濾波值,來加以修正。
上述之邊緣像素濾波處理之一目的在於降低預測中之以區塊為主的邊緣效應,而藉以減少剩餘影像資料之中的能量。
在實施例中,對應之濾波處理亦係提供用於4:4:4及4:2:2中的彩色TU。當考慮水平子取樣時,一提議係僅濾波4:2:2中之彩色TU的頂部列。但濾波4:4:4中的頂部列及 左側行(適當地依據選擇之模式)。可適當地考慮僅在該等區域之中濾波,以避免濾除太多有用的細節,而導致剩餘資料之能量增加。
對於4:2:0,當選擇DC模式時,則預測TU之頂部及/或左緣的其中一者或二者係僅受到用於亮度頻道的濾波。在此,此係其中亮度取樣表示亮度成分以及個別的彩色取樣表示兩個彩色成分,濾波步驟係施加至該三個成分的子集,而該子集係該三個成分的其中一者或二者之情況的實例。該子集可由亮度成分所組成。該濾波可包含濾波預測區塊的取樣中之取樣的左側行,及預測區塊的取樣中之取樣的頂部列之其中一者或二者。
該濾波可在DC模式中,使得濾波器做成(1×毗鄰外部取樣+3*邊緣取樣)/4之平均運算,以供兩邊緣上的所有取樣之用。然而,對於頂部左邊,濾波器功能係(2×目前取樣+1×上面取樣+1×左邊取樣)/4。此係其中,在其中預測取樣係產生成為周圍取樣之簡單算術平均值的DC模式中,濾波步驟包含濾波預測區塊的取樣中之取樣的左側行,及濾波預測區塊的取樣中之取樣的頂部列之運算的實例。
H/V濾波器係毗鄰外部取樣與邊緣取樣之間的平均器。
在若干實施例中,此濾波處理亦係提供用於4:4:4及4:2:2中的彩色TU。而且,在若干實施例中,當考慮水平子取樣時,僅濾波4:2:2之彩色取樣的頂部列,但濾波 4:4:4之彩色TU的頂部列及左側列。
因而,此技術可相對於視頻編碼或解碼方法,設備或程式而應用,其中在(例如)4:4:4格式或4:2:2格式中之亮度及彩色取樣係依據與將被預測之取樣的區塊相關聯之預測方向,而被預測自其他個別的取樣。
在該技術的實施例中,預測方向係相對於將被預測的目前區塊而予以偵測。彩色取樣的預測區塊係依據該預測方向所界定之其他彩色取樣而產生。若所偵測的預測方向係實質地垂直時(例如,係在其中n係(例如)2之真正垂直模式的+/-n角度模式之內),則在彩色取樣的預測區塊中濾波取樣的左行(例如,在使用水平取向濾波器的水平方向中)。或者,若所偵測的預測方向係實質地水平時(例如,係在其中n係(例如)2之真正水平模式的+/-n角度模式之內),則在彩色取樣的預測區塊中濾波取樣的頂部列(例如,在使用垂直取向濾波器的垂直方向中)。在各自情況中,操作可分別地僅施加至左行或頂部列。然後,編碼所濾波的預測彩色區塊與實際的彩色區塊之間的差異,例如,做為剩餘資料。選擇性地,測試可用於真正垂直或水平模式,而非實質垂直或水平模式。+/-n的公差可被施加至該等測試(垂直或水平)的其中一者,且非另一者。在本發明的實施例中,可僅濾波預測區塊的左行或頂部列,且該濾波可藉由水平取向濾波器或垂直取向濾波器而予以分別地執行。
該濾波可藉由扮演關於此點之濾波器角色的個別預測 器520、530,而予以執行。
在濾波處理之後,該技術之實施例編碼所濾波的預測彩色區塊與實際的彩色區塊之間的差異(在編碼器處),或施加解碼之差異至所濾波的預測彩色區塊,以便編碼該區塊(在解碼器處)。
間預測
請注意的是,在HEVC中的間預測已允許矩形PU,所以4:2:2及4:4:4模式係已與PU間預測處理可相容。
視須影像之各訊框係實際場景的分離取樣,且因而,各像素係彩色及亮度中之現實世界梯度的逐步近似。
為彰顯此,當自前一視頻訊框中之值而預測新的視頻訊框中之像素的Y、Cb或Cr值時,則插補該前一視頻訊框中之像素用以產生原始之現實世界梯度的較佳估算,而允許亮度或彩色之更準確的選擇以供新的像素之用。因此,所使用以在視頻訊框之間指示的移動向量並未受限於整數像素解析度。而是,它們可指示所插補之影像內的子像素位置。
4:2:0間預測
現請參閱第25及26圖,在如上述之4:2:0方案中,典型地,8×8亮度PU 1300將與Cb及Cr 4×4彩色PU 1310相關聯。因此,為了要插補亮度及彩色像素資料直至相同有效的解析度,將使用不同的插補濾波器。
例如,對於8×8 4:2:0亮度PU,插補係1/4像素,且因此,8抽頭×4濾波器係首先水平地施加,以及接著,相同的8抽頭×4濾波器係垂直地施加,以致使亮度PU在各方向中被有效地展開4次,而形成如第25圖中所示之插補的陣列1320。另一方面,對應之4×4 4:2:0彩色PU係1/8像素插補,用以產生相同的最終解析度,且因此,4抽頭×8濾波器係首先水平地施加,接著,相同的4抽頭×8濾波器係垂直地施加,以致使4:2:0彩色PU在各方向中被有效地展開8次,而形成如第26圖中所示之陣列1330。
4:2:2間預測
現將參照第27及28圖而敘述用於4:2:2之相似的配置,其描繪亮度PU 1350及一對對應彩色PU 1360。
請參閱第28圖,如上述,在4:2:2方案中,彩色PU 1360可係非正方形,且對於8×8 4:2:2亮度PU之情況,將典型地係4(寬)×8(高)4:2:2彩色PU用於Cb及Cr頻道的各者。注意的是,針對第28圖之目的,彩色PU係繪製成為非正方形像素之正方形形狀的陣列,但在一般性的觀點中,請注意的,PU 1360係4(水平)×8(垂直)像素陣列。
雖然可因此而垂直地使用現有8抽頭×4亮濾波器於彩色PU上,但在本發明之實施例中,已被理解的是,當實際上僅對插補的彩色PU之甚至分數位置感興趣時,則現有4抽頭×8彩色濾波器將足以供垂直插補之用。
因此,第27圖顯示如之前以8抽頭×4濾波器所插補的8×8 4:2:2亮度PU 1350,以及以現有4抽頭×8彩色濾波器所插補的4×8 4:2:2彩色PU 1360於水平及垂直方向中,且僅具有甚至分數結果用以在垂直方向中形成插補的影像。
該等技術係可應用至使用影像間預測以編碼輸入之視頻資料的視頻編碼或解碼方法,設備或程式,其中各彩色成分具有亮度成分之1/M水平解析度,及亮度成分之1/N垂直解析度,其中M及N係等於1或更大的整數。例如,對於4:2:2,M=2,N=1。對於4:2:0,M=2,N=2。
訊框儲存器570係可操作以儲存目前影像之前的或一或多個影像。
插補濾波器580係可操作以插補儲存影像之較高解析度版的預測單元,以致使插補的預測單元之亮度成分具有儲存影像的對應部分之水平解析度P倍的水平解析度,以及儲存影像的對應部分之垂直解析度Q倍的垂直解析度,其中P及Q係大於1的整數。在目前之實例中,P=Q=4,以致使插補濾波器580可操作以產生1/4取樣解析度之插補的影像。
移動估算器550係可操作以偵測目前影像與一或多個插補的儲存影像間的影像間之移動,以便產生目前影像的預測單元與該一或多個在前之影像的區域之間的移動向量。
移動補償預測器540係可操作以相對於由個別移動向量所指出之插補的儲存影像之區域,而產生目前影像之預 測單元的移動補償預測。
現請返回至插補濾波器580之操作的討論,此濾波器的實施例係可操作以施加XR水平及XS垂直插補濾波器至儲存影像的彩色成分,用以產生插補的彩色預測單元,其中R係相等於(U×M×P)且S係相等於(V×N×Q),U及V係等於1或更大的整數;以及子取樣插補的彩色預測單元,以致使其水平解析度係除以U之因子且其垂直解析度係除以V之因子,而藉以產生MP×NQ個取樣的區塊。
因此,在4:2:2的情況中,插補濾波器580施加x8插補於水平及垂直方向中,且然後,藉由2之因子,例如,藉由使用插補輸出中之每第二個取樣,而垂直地子取樣。用以達成此之一方式係藉由使索引值加倍於取樣的陣列內。所以,考慮其係8取樣之取樣陣列中的陣列方向(諸如在此實例中的垂直方向),則編索引為0..7。在子取樣的範圍中之所需的取樣係編索引於範圍0..3中。因此,使此索引加倍將給定0、2、4、及6之值,其可接著被使用以在原始陣列中存取取樣,以致使每交變之取樣被使用。此係選擇插補的彩色預測單元之取樣的子集之實例。
因此,此技術允許相同的(例如,x8)濾波器相對於4:2:0及4:2:2而被使用,但具有其中伴隨4:2:2所需之子取樣的進一步步驟。
在實施例中,如所討論地,插補的彩色預測單元具有取樣中之高度,該取樣中之高度係使用相同的xR及xS插補濾波器所插補之4:2:0格式預測單元的該者之兩倍。
提供不同濾波器之需要可藉由使用該等技術,且尤其,藉由使用相對於4:2:0輸入的視頻資料及4:2:2輸入的視頻資料之相同的xR水平及xS垂直插補濾波器,而予以避免或減輕。
如所討論地,子取樣插補的彩色預測單元之步驟包含使用垂直方向中之插補的彩色預測單元之每第N個取樣,及/或使用垂直方向中之插補的彩色預測單元之每第U個取樣。更通常地,子取樣可包含選擇插補的彩色預測單元之取樣的子集。
實施例可包含導出用於預測單元的亮度移動向量;以及獨立地導出用於該預測單元之一或多個彩色移動向量。
在若干實施例中,R及S的至少一者係2或更大;且在若干實施例中,該xR水平及xS垂直插補濾波器亦係施加至儲存影像的亮度成分。
4:4:4間預測變化例
藉由引申,僅使用甚至分數結果以供現有的4抽頭x8彩色濾波器之用的相同原理可被垂直及水平地施加用於8×8 4:4:4彩色PU。
進一步地對該等實例,可使用該x8彩色濾波器以供所有插補之用,包含亮度。
進一步的間預測變化例
在移動向量(MV)導出的一實施例中,一向量係產 生用於P切片中之PU(且兩個向量用於B切片中之PU(其中P切片自前一訊框取得預測,以及B切片自前一及後一訊框取得預測,其均係以與MPEG P及B訊框相似之方式))。明顯地,在4:2:0方案中之此實施例中,該等向量係共用於所有頻道,且此外,彩色資料無需被使用以計算移動向量。換言之,所有頻道使用根據亮度資料的移動向量。
在實施例中,於4:2:2方案中,可導出彩色向量以與亮度無關聯(亦即,可分離地導出用於Cb及Cr之單一向量),且在4:4:4方案中,彩色向量可進一步獨立用於Cb及Cr頻道之各者。
轉換
在HEVC中,大多數影像係由在前所編碼/解碼的訊框而被編碼成為移動向量,該等移動向量告知解碼器,在該等其他解碼的訊框之何處可拷貝目前影像的良好近似資料。結果係目前影像的近似版。然後,HEVC編碼所謂的剩餘資料,其係該近似版與正確影像之間的誤差。此剩餘資料需要比直接指明實際影像更少的資訊。然而,其仍可大致較佳地壓縮此剩餘資訊,而進一步降低全面的位元率。
在包含HEVC之許多編碼方法中,該資料係使用整數餘弦轉換(ICT)而被轉換成為空間頻域,且然後,典型地,一些壓縮係藉由保持低空間頻率資料及拋棄較高空間 頻率資料而依據所欲之壓縮位準予以達成。
4:2:0轉換
使用於HEVC中之空間頻率轉換係以4之乘方而產生係數(例如,64個頻率係數)之習知者,因為此係特別地適合一般的量子化/壓縮方法。在4:2:0方案中之正方形TU均係4的乘方,且因此,此係直接達成。
若致能NSQT選用時,則某些非正方形轉換係可用於諸如4×16之非正方形TU,但再次明顯地,該等者產生64個係數,亦即,再次地,4之乘方。
4:2:2及4:4:4轉換變化
4:2:2方案可產生非正方形TU,其並非4之乘方;例如,4×8TU具有32個像素,且32並非4之乘方。
因此,在實施例中,可使用用於非4數目之乘方的係數之非正方形轉換,而承認隨後的量子化處理可能需要修要。
選擇性地,在實施例中,非正方形TU係分割成為具有4區域之乘方的正方形區域,且生成之係數可加以交織。
例如,對於4×8區塊奇數/偶數垂直取樣,可予以分割成為兩個正方形區塊。選擇性地,對於4×8區塊,頂部4×4像素及底部4×4像素可形成兩個正方形區塊。再選擇性地,對於4×8區塊,可使用哈爾(Haar)小波分解以形成 下方及上方頻率4×4區塊。
可使該等選用之任何者可用,且可將特殊選用之選擇信令至解碼器或由解碼器所導出。
其他轉換模式
在4:2:0方案中,具有提議的旗標(所謂〝qpprime_y_zero_transquant_bypass_flag〞),而允許剩餘資料被無損失地包含於位元流中(亦即,無需被轉換、量子化、或進一步地濾波)。在4:2:0方案中,旗標應用至所有頻道。
因而,該等實施例表示視頻編碼或解碼方法,設備或程式,其中預測亮度及彩色取樣,且編碼取樣與個別預測取樣之間的差異,並使用指示器,該指示器係組構以指示亮度差異資料是否將被無損失地包含於輸出位元流中;以及獨立地指示彩色差異資料是否將被無損失地包含於位元流中。該旗標或該等旗標(或分別地,該指示器或等該指示器)可藉由例如,控制器343而予以插入。
在實施例中,所提議的是,用於亮度頻道之旗標係與彩色頻道分離。因此,對於4:2:2方案,該等旗標應被分離地設置用於亮度頻道及用於彩色頻道,且對於4:4:4方案,該等旗標應被分離地設置用於亮度及彩色頻道,或一旗標係設置用於該三個頻道之各者。此認可與4:2:2及4:4:4方案相關聯之增加的彩色資料速率,且使例如,無損失的亮度資料能與壓縮之彩色資料在一起。
對於內預測編碼,模式相依之方向性轉換(MDDT)允許用於TU之水平或垂直ICT(或二者ICT)根據內預測方向,而以整數正弦轉換允以置換。在4:2:0方案中,此並未被施加至彩色TU。然而,在實施例中,所提議的在於施加其至4:2:2及4:4:4彩色TU,而請注意的是,IST僅係目前界定用於4取樣轉換尺寸(水平地或垂直地),且因此,目前無法被垂直地施加至4×8彩色TU。
在視頻編碼的方法中,可配置各種實施例以便指示亮度差異資料是否將被無損失地包含於輸出位元流中;以及獨立地指示彩色差異資料是否將被無損失地包含於位元流中,且以該等指示所界定的形式編碼或包含相關聯的資料。
量子化
在4:2:0方案中,用於彩色之量子化計算係與用於亮度相同。惟,量子化參數(QP)係不同。
用於彩色之QP係如下地計算自亮度QP:Qp Cb =縮放表[Q p亮度+chrroma_qp_index_offset]
Qp Cr =縮放表[Q p高度+second_chroma_qp_index_offset]
其中該縮放表係如第29a或29b圖(分別用於4:2:0及4:2:2)中所示地界定,以及〝chroma_qp_index_offset〞及〝second_chroma_qp_index_offset〞係界定於圖像參數值之中,且可相同或不同以供Cr及Cb之用。換言之,在中括號之中的值於各情況中界定〝索引〞至縮放表之內(第 29a及29b圖),且縮放表接著給予QP(〝值〞)之校正值。
注意的是,取代地,〝chroma_qp_index_offset〞及〝second_chroma_qp_index_offset〞可被分別稱為cb_qp_offset及cr_qp_offset。
彩色頻道典型地包含比亮度更少的資訊,且因此,具有更小規模的係數;在彩色QP上之此限制可防止所有彩色細節在比重大的量子化位準處損失。
在4:2:0中之QP-除數關係係對數者,以致使QP中之6的增加相等於除數之加倍(在此說明書中之其他處所討論之量子化步階尺寸,注意的是,雖然其可在使用前藉由Q矩陣而予以進一步修正)。因此,在51-39=12之縮放表中的最大差異表示除數中之4的因子之改變。
然而,在實施例中,對於潛在包含4:2:0方案之兩倍彩色資訊的4:2:2方案,於縮放表中之最大彩色QP值可上升至45(亦即,除數減半)。相似地,對於4:4:4方案,在縮放表中之最大彩色QP值可上升至51(亦即,與除數相同)。在此情況中,實際上,該縮放表係冗餘的,但可被單純地保持以供運算效率之用(亦即,使得系統以相同方式參照用於各方案之表而工作)。所以,更一般性地,在實施例中,彩色QP除數係回應相對於4:2:0方案之編號方案中之資訊總量,而予以修正。
因而,實施例應用至視頻編碼或解碼方法,其可操作以依據界定量子化步階尺寸之選擇的量子化參數,而量子 化4:4:4或4:2:2格式中之頻率轉換的亮度及彩色成分資料之區塊。量子化參數關聯(諸如例如,第29a及29b圖中之適當的表)係界定亮度與彩色量子化參數之間,其中該關聯係使得對於4:2:2格式,最大彩色量子化步階尺寸小於最大亮度量子化步階尺寸(例如,45),但對於4:4:4格式則相等於最大亮度量子化步階尺寸(例如,51)。量子化處理操作以產生量子化之空間頻率資料的對應區塊,其中頻率轉換之資料的各成分係藉由導出自個別量子化步階之個別值而予畫分,以及結果被修整為整數值。
將理解的是,畫分及修整步驟指示依據個別量子化步階尺寸(或導出自其之資料,例如,藉由Q矩陣之施加)之一般性量子化階段的實例。
實施例包含選擇量子化參數或索引(用於亮度之QP)用以使空間頻率係數量子化,該量子化參數依據可應用至亮度資料的QP表而對一組量子化步階之個別者扮演參考值的角色。然後,界定量子化參數關聯的處理可包含:對於彩色成分,參考依據所選擇的量子化參數之修正量子化參數的表(諸如第29a或29b之表),其依序包含(i)對於第一彩色成分,添加第一偏置(諸如chroma_qp_index_offset)至量子化參數,且在表中,選擇對應於登錄之修正的量子化索引,用以使該量子化索引增加該第一偏置;以及(ii)對於第二彩色成分,添加第二偏置(諸如second_chroma_qp_index_offset)至量子化參數,且在表中,選擇對應於輸入之修正的量子化索引, 用以使該量子化索引增加該第二偏置;以及參考依據用於亮度資料之量子化參數和用於第一及第二彩色成分之第一及第二修正的量子化索引之該組中的個別量子化步階尺寸。當以不同方式觀察時,此係包含選擇量子化參數用以使空間頻率係數量子化之處理的實例,該量子化參數對一組量子化步階之個別者扮演參考值的角色;且其中界定步驟包含:對於彩色成分,參考依據所選擇的量子化參數之修正量子化參數的表,該參考步驟包含:對於各彩色成分,添加個別的偏置至量子化參數,且在表中,選擇對應於登錄之修正的量子化參數,用以使該量子化參數增加個別之偏置;以及參考依據依據用於亮度資料之量子化參數和用於第一及第二彩色成分之第一及第二修正的量子化參數之該組中的個別量子化步階尺寸。
該等技術係特別可應用至其中在該組中之該等量子化步階尺寸的連續值係對數地相關聯之配置,以致使m(其中m係整數)之量子化參數中的改變表示藉由p之因子(其中p係大於1的整數)的量子化步階尺寸中的改變。在本發明實施例中,m=6及p=2。
在實施例中,如上述,最大亮度量子化參數係51;對於4:2:2格式,最大彩色量子化參數係45;以及對於4:4:4格式,最大彩色量子化參數係51。
在實施例中,第一及第二偏置可以與編碼之視頻資料相關聯而被連繫。
在4:2:0中,最初,轉換矩陣A係使用:
Figure TWI677236B_D0001
而由真正常態化之N×N DCT A’的該等者所產生(藉由轉換單元340),其中i及j指示矩陣內之位置。相對於常態化之轉換矩陣的此縮放提供精確度中的增加,避免分次計算之需,以及增加內部精準度。
當忽略由於Aij之修整的差異時,因為X係乘以A及AT二者(矩陣A之移項),所以生成之係數與藉由:
Figure TWI677236B_D0002
的共同縮放因子之真正常態化M×N(M=高度、N=寬度)的該等者不同。
注意的是,該一般縮放因子可與此實例不同。而且,請注意的是,矩陣乘以A及AT二者可以以各種方式加以執行,諸如蝶形方法(Butterfly method)。表明的事實在於所執行之該運算是否相等於傳統的矩陣乘法,而非其是否以特殊傳統的運算序列予以執行。
此縮放因子係等效於藉由若干位元轉換偏移(transformShift)之二元左移位元運算,因為在HEVC中,此產生2的乘方:transformShift=(12+0.5log2(N)+0.5log2(M))
為了要降低內部位元精準度上之需求,該等係數係在轉換處理期間右移兩次(使用正修整):shift1=log2(N)+bitDepth-9
shift2=log2(M)+6
因而,當該等係數離開順向轉換過程且進入量子化器時,它們係藉由下式而有效地左移:resultingShift(全面偏移)=(12+0.5log2(NM))-(shift1+shift2)=(12+0.5log2(N)+0.5log2(M))-(log2(N)+bitDepth-9+log2(M)+6)=15-(0.5log2(N)+0.5log2(M)+bitDepth)
在4:2:0中,由頻率轉換所產生之頻率分離(例如,DCT)係(2resultingShift)之因子,其大於常態化DCT將產生之該等者。
在若干實施例中,該等區塊係具有2:1縱橫比之正方形或矩形。因此,對於N×M之區塊大小:N=M,在該情況中,resultingShift係整數且S=N=M=sqrt(NM);或0.5N=2M或2N=0.5M,在該情況中,resultingShift仍係整數且S=sqrt(NM)
resultingShift=15-(0.5log2(N)+0.5log2(M)+bitDepth)=15-(log2(S)+bitDepth)
隨後,將該等係數量子化,其中量子化除數係根據量子化參數QP而加以導出。
注意的是,resultingShift係等於整數,所以共同縮放因子係2的整數乘方,該轉換過程之全面左移〝resultingShift〞亦係藉由施加相等但相反的右移〝quantTransformRightShift〞而在此階段被說明。
因為resultingShift係整數,所以位元偏移操作係可能的。
而且,請注意的是,如上述,除數-QP(量子化參數 或索引)關係遵循2之基的乘方曲線,其中在QP中增加6具有使除數加倍之功效,而在QP中增加3則具有增加除數sqrt2(2之平方根)之因子的功效。
由於在4:2:2中之彩色格式,所以具有更多的TU寬度:高度(N:M)比:N=M(根據前文)其中S=N=M=sqrt(NM)(resultingShift係整數)
0.5N=2M及2N=0.5M(根據前文)其中S=sqrt(NM)(resultingShift係整數)
N=2M 其中S=sqrt(NM)
2M=N 其中S=sqrt(NM)
4N=0.5M 其中S=sqrt(NM)
resultingShift=15-(log2(S)+bitDepth)
在該等後者之三個情勢中,resultingShift並非整數。例如,此可應用於其中視頻資料取樣的區塊之至少若干者包含M×N取樣,其中N/M的平方根並不等於2的整數方。該區塊尺寸可在若干本發明實施例中,相對於彩色取樣而發生。
因而,在該等情況中,以下技術係與視頻編碼或解碼方法,設備或程式相關聯,也就是說,其係可操作用以藉由使用包含整數值陣列之轉換矩陣而執行頻率轉換於視頻資料取樣的區塊上,該等整數值係相對於常態化轉換矩陣之個別的值而各自地縮放相依於該轉換矩陣之尺寸的數量;以及用以根據選擇的量子化步階尺寸而量子化空間頻 率資料,其具有藉由以轉換矩陣矩陣相乘區塊及轉換矩陣之移項而頻率轉換視頻資料取樣之區塊的步驟,用以藉由共同縮放因子(例如,resultingShift)而產生縮放之空間頻率係數的區塊,該等係數係大於將由視頻資料取樣之該區塊的常態化頻率轉換所產生之空間頻率係數。
因此,在量子化階段,無法使用適當的位元偏移操作而以簡單方式抵銷該操作。
對此之解決方法係提議如下:在量子化器階段,施加右移:quantTransformRightShift=15-log2(S’)-bitDepth
其中該值S’係導出使得resultingShift-quantTransformRightShift=+½
quantTransformRightShift係整數。
在1/2之位移間的差異係相等於藉由sqrt(2)的乘法,亦即,在此點,該等係數係大於它們應有之sqrt(2)倍,而使位元偏移整數個位元偏移。
對於量子化過程,施加(QP+3)之量子化參數意指的是,量子化除數係有效地增加sqrt(2)之因子,而藉以抵消來自前一步驟的sqrt(2)縮放因子。
因而,可概述該等步驟(在視頻編碼或解碼方法(或對應之設備或程式)的情況中,其係可操作用以藉由使用包含整數值陣列之轉換矩陣而執行頻率轉換於視頻資料取樣的區塊上,該等整數值係相對於常態化轉換矩陣之個別的值而各自地縮放相依於該轉換矩陣之尺寸的數量;以及用以根據選擇的量子化步階尺寸而量子化空間頻率資料, 其包含藉由以轉換矩陣矩陣相乘區塊及轉換矩陣之移項而頻率轉換視頻資料取樣之區塊,用以藉由共同縮放因子而產生縮放之空間頻率係數的區塊,該等係數係大於將由視頻資料取樣之該區塊的常態化頻率轉換所產生之空間頻率係數)如下:選擇量子化步階尺寸,用以量子化空間頻率係數;施加n位元偏移(例如quantTransformRightShift),用以藉由2n之因子而除所縮放之空間頻率係數之各者,其中n係整數;以及偵測剩餘縮放因子(例如,resultingShift-quantTransformRightShift)係由2n所除之共同縮放因子。例如,在上述情勢中,量子化步階尺寸係接著依據剩餘縮放因子而產生修正之量子化步階尺寸;以及在區塊中之縮放的空間頻率之各者係除以依據修正之量子化步階尺寸及修正結果為整數值的值,用以產生量子化之空間頻率資料的區塊。如所討論地,量子化步階尺寸之修正可藉由添加偏置至QP而予以簡單地執行,以便當映射QP至量子化步階尺寸的表之內時,選擇不同的量子化步階尺寸。
現在,該等係數係用於原始QP之正確大小。
轉換矩陣可包含整數值之陣列,該等整數值係相對於常態化轉換矩陣之個別的值而縮放相依於轉換矩陣之尺寸的數量。
其跟隨的是,用於S’之所需的值常可被導出如下:S’=sqrt(2*M*N)
做為選擇性之提議,S’可被導出使得: resultingShift-quantTransformRightShift=-½
在此情況中,S’=sqrt(1/2*M*N),且所施加之量子化參數係(QP-3)。
在該等情況的各者中(添加3至QP或自QP減3),選擇量子化步階尺寸的步驟包含選擇量子化索引(例如,QP),該量子化索引界定量子化步階尺寸之表中的個別登錄,以及修正步驟包含改變量子化索引,以便選擇不同的量子化步階尺寸,使得不同的量子化步階尺寸對原始所選擇的量子化步階尺寸之比例係實質地相等於剩餘縮放因子。
此工作得特別良好,其中,如在本發明之實施例中,在表中之量子化步階尺寸的連續值係對數地相關聯,以致使m(其中m係整數)之量子化索引(例如,QP)中改變表示量子化步階尺寸改變p之因子(其中p係大於1的整數)。在本發明之實施例中,m=6及P=2,以致使QP中之6的增加表示所施加之量子化步階尺寸的加倍,以及在QP中之6的減少表示生成之量子化步階尺寸的減半。
如上述,該修正可藉由選擇相對於亮度取樣的量子化索引(例如,QP基);產生與選擇用於亮度取樣之量子化索引相關聯的量子化索引偏置,以供彩色成分的各者或二者之用;依據剩餘縮放因子而改變量子化編置;以及與編碼之視頻資料相關聯而傳達該量子化索引偏置,而予以執行。在HEVC的實施例中,用於該二彩色頻道的QP偏置係以位元流而加以傳送。該等步驟對應其中可將+/- 3之 QP偏置(為說明剩餘縮放因子)結合至該等偏置之內,或當使用該等偏置以導出彩色QP時,可將它們增量/減量的系統。
注意的是,若使用不同形狀的區塊時,QP偏置無需一定要係+/- 3;而+/- 3僅係表示可應用至上述相對於例如,4:2:2視頻之區塊形狀及縱橫比的偏置。
在若干實施例中,n(如所施加之位元偏移)係選擇使得2n大於或等於共同縮放因子。在其他實施例中,n係選擇使得2n小於或等於共同縮放因子。在實施例(使用該等配置之任一者)中,可選擇位元偏移n以便成為最靠近(在任一方向中)共同縮放因子之下一者,使得剩餘縮放因子表示具有小於2之大小的因子。
在其他實施例中,量子化步階尺寸之修正可藉由使該量子化步階尺寸乘以相依於剩餘縮放因子之因子,而予以簡單地執行。也就是說,該修正無需包含修正索引QP。
而且,請注意的是,如上述之量子化步階尺寸無需一定要係其中轉換的取樣係由其所畫分之實際量子化步階尺寸。以此方式所導出之量子化步階尺寸可予以進一步修正。例如,在若干配置中,該量子化步階尺寸係藉由值之矩陣(Q矩陣)中之個別的登錄而予以進一步修正,以致使不同的最終量子化步階尺寸係使用於係數之量子化區塊之不同的係數位置處。
而且,值得注意的是,在4:2:0方案中,最大的彩色TU係16×16,而對於4:2:2方案,16×32 TU係可能的,且對 於4:4:4,32×32彩色TU係可能的。因此,在實施例中,係提議用於32×32彩色TU之量子化矩陣(Q矩陣)。同樣地,Q矩陣應被界定用於諸如16×32 TU之非正方形TU,而一實施例係較大正方形Q矩陣的子取樣。
Q矩陣可藉由以下之任一者而加以界定:在格柵中之值(關於4×4及8×8 Q矩陣);空間地插補自個別之較小或較大的矩陣;- 在HEVC中,較大的Q矩陣可由較小參考者之係數的個別組群所導出,或較小的矩陣可被子取樣自較大的矩陣。注意的是,此插補或子取樣可在頻道比之內被執行-例如,用於頻道比之較大矩陣可藉由用於該頻道比之較小者而予以插補。
與其他Q矩陣有關者(亦即,不同的值,或差量);- 因此,僅需傳送該等差量。
僅取小的實例以供描繪性目的之用,諸如相對於4:2:0的4×4矩陣之用於一頻道比的特殊矩陣可被界定:(a b)
(c d)
其中a,b,c,及d係個別係數。此扮演參考矩陣之角色。
本發明之實施例可接著相對於另一頻道比而界定一組不同的值,以供相似尺寸的矩陣之用:(diff1 diff2)
(diff3 diff4)
使得為了要產生用於其他頻道比之Q矩陣,差值之矩陣被矩陣相加至該參考矩陣。
取代差值,可界定乘法因子的矩陣以供其他頻道比之用,使得(i)乘法因子之矩陣係與參考矩陣矩陣相乘,用以產生用於其他頻道比之Q矩陣,或(ii)在參考矩陣中之各係數係由個別因子所分別地相乘,用以產生用於其他頻道比的Q矩陣。
做為另一Q矩陣之函數;
- 例如,與另一矩陣相關聯之縮放比(使得上述實例中之a、b、c、及d之各者係乘以相同的因子,或具有相同的差值被添加至其)。此降低用以傳輸差值或因子資料之資需求。
- 因此,僅需傳送該等函數之係數(諸如縮放比)。
做為方程式/函數(例如,每件之線性曲線、指數、多項式);- 因此,僅需傳送該等方程式之係數,用以導出該矩陣,或上述之任何組合。例如,實際上,a、b、c、及d之各者可由函數所界定,該函數可包含在矩陣內之係數位置(i,j)上之相依性。例如,(i,j)可表示矩陣之自左至右的係數位置,緊隨著自頂部至底部的係數位置。實例係: 係數ij=3i+2j
注意的是,可將Q矩陣稱為HEVC環境內之縮放列表。在其中量子化係在掃描處理之後施加的實施例中,所掃描的資料可係連續資料取樣的線性流。在該等情況中,Q矩陣的概念仍施加,但矩陣(或掃描列表)可被視為1×N矩陣,使得在1×N矩陣內之N個資料值順序對應其中個別的Q矩陣值將被施加之掃描取樣的順序。換言之,具有1:1的關係於掃描資料中的資料順序、依據掃描圖案的空間頻率、及在1×N Q矩陣中的資料順序之間。
注意的是,在若干實施例中,可旁路或省略DCT(頻率分離)階段,但要保持量子化階段。
其他有用的資訊包含其中該等值係與其他矩陣相關聯選用指示器,亦即,前一頻道或第一(初始)頻道;例如,如所示地,用於Cr之矩陣可係用於Y、或用於Cb之矩陣的縮放因子。
因而,本發明之實施例可提供視頻編碼或解碼方法(及對應之設備或電腦程式),其係可操作藉由(選用地)執行頻率轉換於視頻資料取樣的區塊上,且依據選擇的量子化步階尺寸及修正該量子化步階尺寸之資料的矩陣以供使用於取樣之有序區塊(諸如頻率轉換取樣之有序區塊)內之不同的個別區塊位置之用,用以量子化該視頻資料(諸如空間頻率資料),而產生量子化之空間頻率資料的區塊,該方法係可相對於至少兩個不同的彩色子取樣格 式而操作。
對於該等彩色子取樣的至少一者,一或多個量子化矩陣係相對於一或多個參考量子化矩陣而被界定為一或多個預訂的修正,該等參考量子化矩陣係界定用於彩色子取樣格式的參考者。
在本發明之實施例中,界定步驟包含界定一或多個量子化矩陣做為值之矩陣,而該等值之各者係由參考量子化矩陣之個別的複數個值所插補。在其他實施例中,界定步驟包含界定一或多個量子化矩陣做為值之矩陣,而該等值的各者係子取樣自參考量子化矩陣的值。
在本發明之實施例中,界定步驟包含相對於參考量子化矩陣的對應值而界定一或多個量子化矩陣做為差值之矩陣。
在本發明之實施例中,界定步驟包含界定一或多個量子化矩陣做為參考量子化矩陣之值的預定函數。在該等情況中,該預定函數可係多項式函數。
在本發明之實施例中,以下之一者或二者係提供做為例如,編碼之視頻資料的一部分或與編碼之視頻資料相關聯:(i)參考指示器之資料,用以相對於編碼之視頻資料而指示參考量子化矩陣;以及(ii)修正指示器之資料,用以相對於編碼之視頻資料而指示一或多個預定的修正。
該等技術係特別地可應於其中該等彩色子取樣的二者係4:4:4及4:2:2格式。
在HEVC 4:2:0中之Q矩陣的數目係現行地6用於各轉換尺寸:3用於對應頻道,以及一組用於訊框內及用於訊框間。在4:4:4 GBR方案的情況中,將理解的是,可使用量子化矩陣的任一組以供所有頻道之用,或可使用量子化矩陣之三個個別的組。
在本發明之實施例中,該等矩陣之至少一者係1×N矩陣。此將係其中一或多個矩陣實際係縮放列表或其類似者的情況(如在此所述地),而成為係數之線性1×N有序陣列。
所提議之解決方法包含減量或增量所施加之QP。然而,此可以以若干方式予以達成。
在HEVC中,用於該二彩色頻道之QP偏置係傳送於位元流中。該+/- 3可結合至該等偏置之內,或當使用該等偏置以導出彩色QP時,可將該等偏置增量/減量。
如上文所討論地,(亮度QP+彩色偏置)係使用做為表之索引,以便導出彩色QP。此表可被修正用以結合該+/- 3(亦即,藉由以3增量/減量原始之表的值)。
在已導出彩色QP之後,依照正常HEVC處理,可接著將結果增量(或減量)3。
做為用以修正QP之選擇列,可使用sqrt(2)或1/sqrt(2)之因子以修正量子化係數。
對於順向/反向量子化,除法/乘法處理係藉由使用(QP % 6)做為表之索引而予以實施,用以獲得量子化係數或量子化步階尺寸,inverseQStep/scaledQStep。在 此,QP % 6意指QP模6)。注意的是,如上述,此並不表示所施加至轉換資料之最終的量子化步階尺寸;而是可在使用前,藉由Q矩陣將其予以進一步修正。
在HEVC中的缺設表示係長度6,涵蓋倍頻(加倍)之值。此係單純降低儲存需求之意義;該等表係藉由依據QP之模數(模6)選擇表中之登錄,且然後,乘以或除以2之適當乘方,根據來自預定基值之(QP-QP模6)的差值,而予以擴展以供實際使用之用。
此配置可加以變化,而允許用於QP值中之+/- 3的偏置。該偏置可在表之對照處理中被施加,或上述之模數處理可使用修正之QP而予以取代地執行。然而,假設偏置係在表對照時施加,則可如下地提供額外的登錄於表之中:一選擇例係以3個登錄擴展該表,其中該等新的登錄係如下(用於6至8之索引值)。
在第30圖中所示的實例表將由[(QP % 6)+3]所索引(〝QP增量方法〞),其中記號QP % 6表示〝QP模6〞。
在第31圖中所示的實例表將由[(QP % 6)-3]所索引(〝QP減量方法〞),具有用於-1至-3之索引值的額外登錄。
熵編碼
基本的熵編碼包含指定碼字至輸入的資料符號,其中最短的可用碼字係指定至該輸入的資料之最可能的符號。 平均而言,結果係無損失,但更小地表示輸入的資料。
此基本方案可藉由辨識出最近在前之資料上的符號機率常係條件性,而予以進一步地改善,且因此,使該指定處理文脈適應。
在該方案中,文脈變數(CV)係使用以決定個別之機率模型的選擇,且該等CV係提供用於HEVC 4:2:0方案中。
為了要擴展熵編碼至4:2:2方案,而該方案將使用例如,4×8彩色TU而非用於8×8亮度TU之4×4 TU,可藉由簡單地垂直重複等效之CV選擇而選用地提供該等文脈變數。
然而,在本發明之實施例中,CV選擇並不重複用於頂部左邊係數(亦即,高能量、DC、及/或低空間頻率係數),且取代地,新的CV被導出。在此情況中,例如,可將映射導出自亮度映射。此方式亦可使用於4:4:4方案。
在編碼期間,於4:2:0方案中,所謂z字形掃描自高至低頻率順序地掃描該等係數。然而,請再注意的是,在4:2:2方案中之彩色TU可係非正方形,且因此,在本發明之實施例中,不同的彩色掃描係以傾斜而使其更水平,或更一般地,回應TU之從橫比的掃描角度予以提議。
相似地,對於效映射之CV選擇的附近以及用於大於1及大於2之CV選擇的c1/c2系統可一致地適應。
同樣地,在本發明之實施例中,最後有效係數位置 (其在解碼期間變成起始點)亦可被調整用於4:4:4方案,而用於彩色TU之最後有效位置係微分編碼自協同定位的亮度TU之最後有效位置。
該係數掃描亦可被做成相依於某些TU尺寸之預測模式。因此,不同的掃描序列可根據內預測模式而使用於一些TU尺寸。
在4:2:0方案中,模式相依之係數掃描(MDCS)僅係施加用於4×4/8×8亮度TU及4×4彩色TU,以供內預測之用。MDCS係根據內預測模式,考慮距離水平及垂直+/- 4之角度而予以使用。
在本發明之實施例中,所提議的是,在4:2:2方案中,MDCS係施加至4×8及8×4彩色TU,以供內預測之用。相似地,所提議的是,在4:4:4方案中,MDCS係施加至8×8及4×4彩色TU。用於4:2:2之MDCS僅可在水平或垂直方向做成,以及4:4:4彩色對4:4:4亮度對4:2:2彩色對4:2:2亮度對4:2:0亮度之角度範圍可係不同的。
迴圈內濾波器 解區塊
解區塊係施加至所有的CU、PU、及TU邊界,且CU/PU/TU形狀並不予以考慮。濾波器長度及尺寸係根據局部統計而定,且解區塊具有8×8亮度像素之顆粒度。
因此,可預期的是,所施加用於4:2:0方案之目前的解區塊亦應可應用於4:2:2及4:4:4方案。
取樣適應性偏置
在取樣適應性偏置(SAO)中,各頻道係完全地獨立。SAO使用四分樹(quad-tree)而分割影像資料用於各頻道,且生成之區塊係在尺寸上至少一LCU。該等葉狀區塊係配向至LCU邊界,且各葉狀物可如編碼器所決定地延伸於三模式之一者(〝中央帶偏置〞,〝側帶偏置〞,或〝邊緣偏置〞)。各葉狀物分類其之像素,且編碼器藉由比較SAO輸入資料與來源資料而導出用於16個分類之各者的偏置值。該等偏置係傳送至解碼器。用於解碼之像素種類的偏置係添加至其值,用以使來源之偏差最小化。
此外,SAO係致能或使失能於圖像位準;若致能用於亮度時,則其亦可被分別致能用於各彩色頻道。因此,SAO將僅在被施加至亮度時,才會被施加至彩色。
因而,該處理係大大地簡易於根本之區塊方案,且可預期的是,目前所施加用於4:2:0方案之SAO亦應可應用於4:2:2及4:4:4方案。
適應性迴圈濾波
在4:2:0方案中,適應性迴圈濾波(ALF)係藉由缺設而使失能。然而,原則上(亦即,若允許時),則ALF將被施加至用於彩色的整個圖像。
在ALF中,取樣可如HEVC文獻所決定地被分類為若干種類的其中一者;各種類使用不同的維納為主(Wiener- based)濾波器。
對照地,在4:2:0中,彩色取樣並未被分類-僅具有-維納為主濾波器用於Cb,以及一用於Cr。
因此,在本發明之實施例中,依照4:2:2及4:4:4方案中所增加之彩色資訊,所提議的是,將彩色取樣分類;例如,以K種類用於4:2:2以及以J種類用於4:4:4:。
雖然在4:2:0方案中,可使用ALF控制旗標而以每CU為基礎(向下至ALF控制深度所指明之CU位準)使ALF失能,但對於彩色,僅可以以每圖像為基礎使其失能。注意的是,在HEVC中,目前之此深度僅受限於LCU位準。
因而,在本發明之實施例中,4:2:2及4:4:4方案係以一或兩個兩頻道特定ALF控制旗標提供用於彩色。
句法
在HEVC中,句法係已存在用於指示4:2:0、4:2:2、或4:4:4方案,且係以關聯位準予以指示。然而,在本發明之實施例中,所提議的是,亦以此位準指示4:4:4 GBR編碼。
資料信號
將理解的是,由上述編碼設備的變化例所產生之資料信號,及承載該等信號之儲存或傳輸媒體係視為表示本發明之實施例。

Claims (29)

  1. 一種解碼訊號的方法,包含:- 偵測來自複數個子取樣格式之該訊號的彩色子取樣格式,複數個子取樣格式中的至少一者具有用於亮度和彩色之取樣的不同大小的陣列,該訊號表示間預測視頻;- 藉由使用用以垂直地插補彩色取樣之陣列的插補濾波器,將該不同大小的陣列插補至子像素解析度,使得亮度和彩色取樣的陣列具有相同有效的解析度;以及- 藉由選擇由該濾波器產生之插補的取樣的子集,得到該相同有效的解析度。
  2. 如申請專利範圍第1項所述之方法,其中該些插補的取樣表示在該陣列中的插補的位置。
  3. 如申請專利範圍第1項所述之方法,其中該相同有效的解析度為子像素解析度。
  4. 如申請專利範圍第1項所述之方法,其中該複數個子取樣格式包括4:2:0及4:2:2。
  5. 如申請專利範圍第4項所述之方法,其中該複數個子取樣格式更包括4:4:4。
  6. 如申請專利範圍第1項所述之方法,其中對於亮度取樣的子像素解析度為1/4,對於至少一些彩色取樣的子像素解析度為1/8。
  7. 如申請專利範圍第1項所述之方法,其中該插補的取樣的子集為替代值。
  8. 如申請專利範圍第1項所述之方法,其中該插補的取樣的子集為偶數子像素位置。
  9. 如申請專利範圍第1項所述之方法,其中該插補濾波器4抽頭濾波器,其用來垂直地和水平地插補彩色取樣之陣列。
  10. 如申請專利範圍第9項所述之方法,其中4抽頭濾波器為x8濾波器。
  11. 如申請專利範圍第1項所述之方法,其中不同的濾波器用於亮度之陣列和用於彩色之陣列的取樣。
  12. 如申請專利範圍第11項所述之方法,其中用於彩色取樣的該插補濾波器為x8濾波器,其為子取樣的2倍,以及用於亮度子取樣的該濾波器是x4濾波器。
  13. 如申請專利範圍第1項所述之方法,其中該彩色取樣陣列由8垂直地插補,然後藉由2之因子取樣。
  14. 如申請專利範圍第1項所述之方法,其中移動向量點指向該陣列之子像素位置。
  15. 如申請專利範圍第1項所述之方法,其中Cb及Cr頻道兩者的陣列使用該插補濾波器進行插補。
  16. 一種用於解碼訊號的解碼器設備,其包含電路,該電路組態以:- 偵測來自複數個子取樣格式之該訊號的彩色子取樣格式,複數個子取樣格式中的至少一者具有用於亮度和彩色之取樣的不同大小的陣列,該訊號表示間預測視頻;- 藉由使用用以垂直地插補彩色取樣之陣列的插補濾波器,將該不同大小的陣列插補至子像素解析度,使得亮度和彩色取樣的陣列具有相同有效的解析度;以及- 藉由選擇由該濾波器產生之插補的取樣的子集,得到該相同有效的解析度。
  17. 如申請專利範圍第16項所述之解碼器設備,其中該插補濾波器4抽頭濾波器,其用來垂直地和水平地插補彩色取樣之陣列。
  18. 如申請專利範圍第17項所述之解碼器設備,其中4抽頭濾波器為x8濾波器。
  19. 一種編碼訊號的方法,包含:- 設定來自複數個子取樣格式之該訊號的彩色子取樣格式,複數個子取樣格式中的至少一者具有用於亮度和彩色之取樣的不同大小的陣列,該訊號表示間預測視頻;- 藉由使用用以垂直地插補彩色取樣之陣列的插補濾波器,將該不同大小的陣列插補至子像素解析度,使得亮度和彩色取樣的陣列具有相同有效的解析度;以及- 藉由選擇由該濾波器產生之插補的取樣的子集,得到該相同有效的解析度。
  20. 一種用於編碼訊號的編碼器設備,其包含電路,該電路組態以:- 設定來自複數個子取樣格式之該訊號的彩色子取樣格式,複數個子取樣格式中的至少一者具有用於亮度和彩色之取樣的不同大小的陣列,該訊號表示間預測視頻;- 藉由使用用以垂直地插補彩色取樣之陣列的插補濾波器,將該不同大小的陣列插補至子像素解析度,使得亮度和彩色取樣的陣列具有相同有效的解析度;以及- 藉由選擇由該濾波器產生之插補的取樣的子集,得到該相同有效的解析度。
  21. 一種非暫態電腦可讀取媒體,其包括電腦程式指令,當該電腦程式指令由電腦執行時導致該電腦執行如申請專利範圍第1項所述之方法。
  22. 一種非暫態電腦可讀取媒體,其包括電腦程式指令,當該電腦程式指令由電腦執行時導致該電腦執行如申請專利範圍第19項所述之方法。
  23. 一種視頻接收器設備,其包括如申請專利範圍第16項所述之解碼器設備。
  24. 一種視頻擷取設備,其包括如申請專利範圍第20項所述之編碼器設備和如申請專利範圍第16項所述之解碼器設備,該解碼器設備將經解碼的該訊號輸出至顯示器。
  25. 一種用於解碼表示間預測視頻的訊號的方法,包含:將用於亮度和彩色取樣之陣列插補至子像素解析度,以便藉由使用插補濾波器以垂直地插補彩色取樣之陣列而具有相同有效的解析度,以及藉由選擇由該插補濾波器產生之插補的取樣的子集,得到該相同有效的解析度。
  26. 如申請專利範圍第25項所述之方法,其中該插補濾波器4抽頭濾波器,其用來垂直地和水平地插補彩色取樣之陣列。
  27. 如申請專利範圍第26項所述之方法,其中4抽頭濾波器為x8濾波器。
  28. 一種用於解碼表示間預測視頻的訊號的視頻解碼設備,包含:插補濾波器,其組態以將用於亮度和彩色取樣之陣列插補至子像素解析度,以便藉由使用插補濾波器以垂直地插補彩色取樣之陣列而具有相同有效的解析度,該解碼設備更進一步組態以藉由垂直插補的取樣的子集得到該相同有效的解析度。
  29. 一種非暫態電腦可讀取媒體,其包括電腦程式指令,當該電腦程式指令由電腦執行時導致該電腦執行如申請專利範圍第26項所述之方法。
TW106131037A 2012-04-26 2013-04-25 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備 TWI677236B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
GB1207459.7A GB2501535A (en) 2012-04-26 2012-04-26 Chrominance Processing in High Efficiency Video Codecs
??1207459.7 2012-04-26
GB1207459.7 2012-04-26
??1211072.2 2012-06-22
GB1211072.2A GB2501550A (en) 2012-04-26 2012-06-22 Subsampling Interpolated Chrominance Prediction Units in Video Encoding and Decoding
GB1211072.2 2012-06-22

Publications (2)

Publication Number Publication Date
TW201817239A TW201817239A (zh) 2018-05-01
TWI677236B true TWI677236B (zh) 2019-11-11

Family

ID=46330504

Family Applications (5)

Application Number Title Priority Date Filing Date
TW108118597A TWI711301B (zh) 2012-04-26 2013-04-25 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備
TW102114851A TWI575942B (zh) 2012-04-26 2013-04-25 資料編碼及解碼
TW106131037A TWI677236B (zh) 2012-04-26 2013-04-25 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備
TW102114850A TWI586152B (zh) 2012-04-26 2013-04-25 資料編碼及解碼
TW102114853A TWI611689B (zh) 2012-04-26 2013-04-25 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW108118597A TWI711301B (zh) 2012-04-26 2013-04-25 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備
TW102114851A TWI575942B (zh) 2012-04-26 2013-04-25 資料編碼及解碼

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW102114850A TWI586152B (zh) 2012-04-26 2013-04-25 資料編碼及解碼
TW102114853A TWI611689B (zh) 2012-04-26 2013-04-25 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備

Country Status (13)

Country Link
US (20) US9948929B2 (zh)
EP (8) EP2842321A2 (zh)
JP (11) JP2015518339A (zh)
KR (6) KR101840025B1 (zh)
CN (14) CN104285445A (zh)
AU (5) AU2013254443A1 (zh)
BR (3) BR112014026024A8 (zh)
CA (6) CA2870591C (zh)
GB (13) GB2501535A (zh)
MX (3) MX345237B (zh)
RU (4) RU2599935C2 (zh)
TW (5) TWI711301B (zh)
WO (9) WO2013160656A2 (zh)

Families Citing this family (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013067667A1 (en) * 2011-11-07 2013-05-16 Intel Corporation Cross-channel residual prediction
JP5688136B2 (ja) * 2010-04-23 2015-03-25 エム アンド ケー ホールディングス インコーポレイテッド 映像を符号化する装置及び方法
EP4124034B1 (en) * 2010-12-22 2023-08-23 LG Electronics Inc. Intra prediction in video coding
US10645398B2 (en) * 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
CN104782125B (zh) * 2012-11-08 2019-03-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
US9743091B2 (en) 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EP3697090B1 (en) 2013-03-29 2022-01-05 JVCKENWOOD Corporation Image decoding device, image decoding method, and image decoding program
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
CN113259684A (zh) * 2013-04-08 2021-08-13 Ge视频压缩有限责任公司 分量间预测
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
EP2936816B1 (en) * 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
EP3021578B1 (en) * 2013-07-10 2019-01-02 KDDI Corporation Sub-sampling of reference pixels for chroma prediction based on luma intra prediction mode
CN105453567B (zh) * 2013-07-24 2019-04-23 微软技术许可有限责任公司 用于非变换编码的扫描次序
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015098562A1 (ja) 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置および方法
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
MX360926B (es) 2014-01-03 2018-11-22 Microsoft Technology Licensing Llc Prediccion de vector de bloque en codificacion/descodificacion de video e imagen.
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP5897159B2 (ja) * 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
JP6504174B2 (ja) * 2014-03-03 2019-04-24 ソニー株式会社 装置及び方法
EP3253059A1 (en) 2014-03-04 2017-12-06 Microsoft Technology Licensing, LLC Block flipping and skip mode in intra block copy prediction
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックIpマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2015182342A1 (ja) * 2014-05-26 2015-12-03 シャープ株式会社 画像復号装置、および、画像符号化装置
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
EP3158734A4 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
KR20170026334A (ko) * 2014-07-06 2017-03-08 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
KR102330740B1 (ko) 2014-09-30 2021-11-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
GB2532420A (en) 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
US9900624B2 (en) * 2015-02-05 2018-02-20 Mediatek Inc. Methods and apparatus of decoding process for palette syntax
CN107251558B (zh) * 2015-02-27 2019-12-31 Kddi株式会社 编码装置以及解码装置
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
WO2016157924A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
AU2015395514B2 (en) * 2015-05-21 2019-10-10 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10306240B2 (en) * 2015-06-08 2019-05-28 Vid Scale, Inc. Intra block copy mode for screen content coding
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
FR3038484B1 (fr) * 2015-07-01 2017-07-28 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
ES2719132B1 (es) 2015-08-28 2020-05-05 Kt Corp Procedimiento y dispositivo para procesar señales de vídeo
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
CN108028923B (zh) * 2015-09-10 2021-08-20 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
US20180302629A1 (en) * 2015-10-30 2018-10-18 Sony Corporation Image processing apparatus and method
BR112018010207A2 (pt) * 2015-11-18 2018-11-21 Mediatek Inc método e aparelho para o modo de predição intra usando filtro de predição intra em compressão de vídeo e imagem
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
CN108293116A (zh) * 2015-11-24 2018-07-17 三星电子株式会社 视频解码方法及设备和视频编码方法及设备
US20170150156A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
EP3412027B1 (en) 2016-02-12 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
US11778190B2 (en) 2016-02-12 2023-10-03 Interdigital Vc Holdings, Inc. Method and device for intra-predictive encoding/decoding a coding unit comprising picture data, said intra-predictive encoding depending on a prediction tree and a transform tree
EP3412028B1 (en) 2016-02-12 2024-04-03 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
US10567759B2 (en) 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
US11039175B2 (en) * 2016-05-27 2021-06-15 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
CN114222137A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 构成预测运动矢量列表的方法
CN109479137B (zh) * 2016-05-28 2021-09-21 联发科技股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
US11039147B2 (en) 2016-05-28 2021-06-15 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
US10687003B2 (en) 2016-08-04 2020-06-16 Omnivision Technologies, Inc. Linear-logarithmic image sensor
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
WO2018056701A1 (ko) 2016-09-20 2018-03-29 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20200036985A1 (en) * 2016-09-30 2020-01-30 Lg Electronics Inc. Method and apparatus for block partitioning and intra prediction in image coding system
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
CN116647677A (zh) * 2016-10-28 2023-08-25 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
WO2018079888A1 (ko) * 2016-10-28 2018-05-03 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
EP3552392A1 (en) 2016-12-23 2019-10-16 Huawei Technologies Co., Ltd. An intra-prediction apparatus for removing a directional intra-prediction mode from a set of predetermined directional intra-prediction modes
WO2018117892A1 (en) * 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd. An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
CN115733973A (zh) * 2016-12-23 2023-03-03 华为技术有限公司 一种用于矩形视频编码块的编码方法、装置及计算机可读存储介质
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
CN116684602A (zh) 2017-03-31 2023-09-01 松下电器(美国)知识产权公司 图像编码装置及方法、图像解码装置及方法、存储介质
CA3060201C (en) * 2017-04-13 2023-09-19 Lg Electronics Inc. Image encoding/decoding method and device therefor
EP3618439A4 (en) * 2017-04-28 2020-09-02 Sharp Kabushiki Kaisha IMAGE DECODING DEVICE AND IMAGE CODING DEVICE
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
RU2759218C2 (ru) * 2017-06-21 2021-11-11 Вид Скейл, Инк. Адаптивное квантование для кодирования 360-градусного видео
WO2019009540A1 (ko) * 2017-07-06 2019-01-10 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
CN115474043A (zh) * 2017-07-31 2022-12-13 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
CN107483934B (zh) * 2017-08-17 2019-12-10 西安万像电子科技有限公司 编解码方法、装置和系统
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
RU2669874C1 (ru) * 2017-09-15 2018-10-16 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способы и устройство сжатия изображений. Способ и устройство восстановления изображений
CN117201802A (zh) 2017-09-21 2023-12-08 株式会社Kt 视频信号处理方法及装置
US11166013B2 (en) 2017-10-09 2021-11-02 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
EP3490253A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Encoding and decoding methods and corresponding devices
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN115695789A (zh) * 2018-01-15 2023-02-03 三星电子株式会社 编码方法及其设备以及解码方法及其设备
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
TWI690728B (zh) * 2018-03-02 2020-04-11 聯發科技股份有限公司 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
EP3764645A4 (en) 2018-03-09 2021-12-08 Electronics and Telecommunications Research Institute METHOD AND APPARATUS FOR IMAGE CODING / DECODING USING SAMPLE FILTER
JP6982525B2 (ja) * 2018-03-16 2021-12-17 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
CA3185207A1 (en) 2018-03-25 2019-10-03 B1 Institute Of Image Technology, Inc. Image encoding/decoding method and device
WO2019188467A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置および方法
CN116320455A (zh) * 2018-04-01 2023-06-23 Lg电子株式会社 编码设备、解码设备及数据发送设备
WO2019194147A1 (en) 2018-04-02 2019-10-10 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding
CN117834857A (zh) 2018-04-24 2024-04-05 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
WO2019234604A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks
AU2018429284B2 (en) * 2018-06-29 2023-01-19 Huawei Technologies Co., Ltd. Device and method for intra-prediction
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10382772B1 (en) 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
WO2020013609A1 (ko) * 2018-07-11 2020-01-16 인텔렉추얼디스커버리 주식회사 화면내 예측 기반의 비디오 코딩 방법 및 장치
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN115988204A (zh) * 2018-08-09 2023-04-18 Oppo广东移动通信有限公司 视频图像分量的预测方法和装置、及计算机存储介质
JP7424982B2 (ja) 2018-08-15 2024-01-30 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
CN112771865A (zh) * 2018-08-23 2021-05-07 交互数字Vc控股法国公司 使用参数化模型对量化矩阵进行编解码
CN110876061B (zh) * 2018-09-03 2022-10-11 华为技术有限公司 色度块预测方法及装置
WO2020060185A1 (ko) 2018-09-19 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020060077A1 (ko) * 2018-09-20 2020-03-26 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10469845B1 (en) 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding
WO2020060449A1 (en) * 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
US11303904B2 (en) * 2018-09-28 2022-04-12 Qualcomm Incorporated Rectangular block transform scaling
CA3113854A1 (en) * 2018-10-09 2020-04-16 Mediatek, Inc. Method and apparatus of encoding or decoding using reference samples determined by predefined criteria
US11140404B2 (en) * 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
CN112889277A (zh) * 2018-10-22 2021-06-01 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2020085955A1 (en) * 2018-10-26 2020-04-30 Huawei Technologies Co., Ltd. Method and apparatus for reference sample filtering
KR20210087928A (ko) 2018-11-06 2021-07-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측을 위한 파라미터 유도의 복잡성 감소
CN112997500B (zh) * 2018-11-09 2023-04-18 北京字节跳动网络技术有限公司 对基于区域的自适应环路滤波器的改进
CN112997481B (zh) * 2018-11-16 2024-01-12 寰发股份有限公司 带有约束的亮度-色度单独的编码树编解码的方法和设备
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
WO2020111843A1 (ko) * 2018-11-28 2020-06-04 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN113170169B (zh) * 2018-12-07 2024-01-30 夏普株式会社 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN116962710A (zh) * 2018-12-15 2023-10-27 华为技术有限公司 图像重建方法和装置
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
EP4297403A3 (en) * 2018-12-21 2024-02-28 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding for deriving affine motion vectors for chroma components
KR20210100737A (ko) 2018-12-23 2021-08-17 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 적응 루프 필터를 사용한 대응 방법들
MX2021010337A (es) * 2019-02-27 2021-09-28 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
US20200288130A1 (en) * 2019-03-07 2020-09-10 Qualcomm Incorporated Simplification of sub-block transforms in video coding
JP7256874B2 (ja) * 2019-03-08 2023-04-12 キヤノン株式会社 アダプティブループフィルタ
KR20210135502A (ko) 2019-03-08 2021-11-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 변형 정보의 시그널링
CN113508586A (zh) * 2019-03-11 2021-10-15 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
AU2019201653A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CA3122752A1 (en) * 2019-03-24 2020-10-01 Huawei Technologies Co., Ltd. Method and apparatus for chroma intra prediction in video coding
KR20210139328A (ko) * 2019-03-25 2021-11-22 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 화상 예측 방법, 인코더, 디코더 및 저장 매체
WO2020207493A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
KR102470695B1 (ko) 2019-04-16 2022-11-25 엘지전자 주식회사 인트라 예측 기반 영상 코딩에서의 변환
KR20210145749A (ko) * 2019-04-16 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 적응형 루프 필터링
CN113692741B (zh) * 2019-04-18 2022-12-13 北京字节跳动网络技术有限公司 跨分量模式中的参数推导
US10764507B1 (en) * 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
EP3949402A4 (en) * 2019-04-26 2022-06-08 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR SIGNALING THE MAPPING FUNCTION OF A CHROMA QUANTIZATION PARAMETER
KR20210148321A (ko) * 2019-04-27 2021-12-07 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
CN110266316B (zh) * 2019-05-08 2023-02-21 创新先进技术有限公司 一种数据压缩、解压方法、装置和设备
BR112021022307A2 (pt) 2019-05-13 2021-12-28 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
WO2020228718A1 (en) * 2019-05-13 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Interaction between transform skip mode and other coding tools
KR20200132753A (ko) * 2019-05-15 2020-11-25 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
CN113853787B (zh) 2019-05-22 2023-12-22 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
CN116828176A (zh) * 2019-06-11 2023-09-29 Lg电子株式会社 解码设备、编码设备和发送设备
MX2021015275A (es) * 2019-06-11 2022-01-18 Lg Electronics Inc Metodo de decodificacion de imagenes para componente de croma y dispositivo para el mismo.
TW202106017A (zh) * 2019-06-21 2021-02-01 法商內數位Vc控股法國公司 用於視訊編碼及解碼的單一索引量化矩陣設計
CN113994697A (zh) 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
KR20220138876A (ko) * 2019-06-25 2022-10-13 닛폰 호소 교카이 인트라 예측 장치, 화상 복호 장치, 및 프로그램
US11368693B2 (en) * 2019-07-01 2022-06-21 Sony Group Corporation Forward and inverse quantization for point cloud compression using look-up tables
CN116668699A (zh) * 2019-07-05 2023-08-29 Lg电子株式会社 图像编码/解码设备和图像数据的发送方法
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
EP3994889A4 (en) 2019-08-06 2023-01-11 Beijing Bytedance Network Technology Co., Ltd. SIZE RESTRICTION BASED ON A COLOR FORMAT
KR20220044278A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 상이한 분할 구조들을 갖는 팔레트 모드
KR20220044279A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 팔레트 이스케이프 심벌에 대한 엔트로피 코딩
WO2021040251A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Intra prediction method and device using the same, encoding and decoding method and device using the same based on intra prediction
KR20210025507A (ko) * 2019-08-27 2021-03-09 현대자동차주식회사 차등 부호화를 이용하는 비디오 부호화 및 복호화
MX2022002247A (es) * 2019-09-02 2022-03-22 Beijing Bytedance Network Tech Co Ltd Particion de region de video basada en formato de color.
KR20220058889A (ko) 2019-09-14 2022-05-10 바이트댄스 아이엔씨 비디오 코딩의 크로마 양자화 파라미터
WO2021055782A1 (en) * 2019-09-19 2021-03-25 Bytedance Inc. Quantization parameter derivation for palette mode
JP7232160B2 (ja) * 2019-09-19 2023-03-02 Tvs Regza株式会社 画質回路、映像処理装置および信号特徴検出方法
MX2022003122A (es) 2019-09-21 2022-04-06 Beijing Bytedance Network Tech Co Ltd Modo intra basado para croma de restriccion de tama?o.
EP4035384A4 (en) * 2019-09-23 2023-08-16 Alibaba Group Holding Limited MOTION COMPENSATION INTERPOLATION FILTER WITH REFERENCE DOWNSAMPLE
EP4022922A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR COMBINED INTRA-INTER PREDICTION
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
CN114556924B (zh) 2019-10-14 2024-01-26 字节跳动有限公司 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
CN114762352A (zh) * 2019-11-27 2022-07-15 北京达佳互联信息技术有限公司 用于视频编解码的去块滤波
KR20220106116A (ko) 2019-12-09 2022-07-28 바이트댄스 아이엔씨 비디오 코딩에서 양자화 그룹 사용
CA3129687A1 (en) * 2019-12-24 2021-07-01 Telefonaktiebolaget Lm Ericsson (Publ) Virtual boundary processing for adaptive loop filtering
KR102558336B1 (ko) * 2019-12-30 2023-07-20 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 데이터의 크로마 및 루마 성분의 교차 성분 결정
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
US11197001B2 (en) 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
CN115462076A (zh) * 2020-04-30 2022-12-09 北京达佳互联信息技术有限公司 用于针对视频编解码的预测相关残差缩放的方法和设备
GB2599433A (en) * 2020-10-02 2022-04-06 Sony Group Corp Data encoding and decoding
TWI776294B (zh) * 2020-11-30 2022-09-01 中華電信股份有限公司 光框架交換機
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
WO2023131211A1 (en) * 2022-01-05 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
TW398153B (en) * 1997-09-19 2000-07-11 Sony Electronics Inc Motion compensated digital video decoding with buffered picture storage memory map
US20050271288A1 (en) * 2003-07-18 2005-12-08 Teruhiko Suzuki Image information encoding device and method, and image infomation decoding device and method
TW201028016A (en) * 2009-01-12 2010-07-16 Mediatek Inc Video player

Family Cites Families (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602285A (en) * 1983-04-08 1986-07-22 Ampex Corporation System and method for transforming and filtering a video image
GB9013217D0 (en) * 1990-06-13 1990-08-01 Indep Broadcasting Authority Evaluation of detail in video images,and applications thereof
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
JPH07121687A (ja) 1993-10-20 1995-05-12 Sony Corp 画像コーデック用プロセッサおよびアクセスパターン変換方法
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
CN100361536C (zh) * 1996-05-28 2008-01-09 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
FR2752474B1 (fr) 1996-08-14 1998-12-31 Iona Donescu Procede de transformation du signal image sur des supports de forme arbitraire
KR100442229B1 (ko) * 1996-09-13 2004-10-08 엘지전자 주식회사 간이형hdtv비디오디코더및디코딩방법
TW366648B (en) 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
AR025609A1 (es) 1999-09-13 2002-12-04 Hoffmann La Roche Formulaciones lipidas solidas
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
EP1833262A1 (en) * 2002-01-18 2007-09-12 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
CN100448285C (zh) 2002-12-18 2008-12-31 索尼株式会社 信息处理设备和信息处理方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
WO2004110072A1 (fr) * 2003-06-06 2004-12-16 Mediatek Inc. Dispositif et procede pour conversion de format et melange de signal video
JP4815107B2 (ja) * 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置
US7193656B2 (en) * 2003-08-14 2007-03-20 Broadcom Corporation Line address computer for providing coefficients to a chroma filter
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
EP1714484A4 (en) * 2004-01-30 2009-03-18 Panasonic Corp BILDCODE AND DECODE PROCESSING; DEVICE AND PROGRAM THEREFOR
KR100813958B1 (ko) 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 H.264/avc 비디오 디코더의 디블록킹 필터
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
EP1869568A4 (en) 2005-03-23 2009-04-29 Alcatel Lucent SYSTEM AND METHOD FOR SEARCHING A DIGITAL MEDIA CONTENT FROM A BROADCAST LIST FROM A NETWORK NODE
RU2340115C1 (ru) * 2005-04-29 2008-11-27 Самсунг Электроникс Ко., Лтд. Способ кодирования видеосигналов и устройство, поддерживающее быстрый алгоритм точной масштабируемости по качеству
KR101424969B1 (ko) * 2005-07-15 2014-08-04 삼성전자주식회사 영상 복호화 방법
CN101815224A (zh) 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
WO2007046644A1 (en) 2005-10-21 2007-04-26 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
CN101496406B (zh) * 2006-03-23 2012-02-01 三星电子株式会社 图像编码/解码方法和设备
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
EP2066134A4 (en) * 2006-10-10 2011-01-12 Nippon Telegraph & Telephone VIDEO ENCODING AND DECODING METHODS, THEIR DEVICE, PROGRAM, AND STORAGE MEDIUM CONTAINING THE PROGRAM
US8121195B2 (en) 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
TWI410139B (zh) * 2007-09-12 2013-09-21 Sony Corp Image processing apparatus and image processing method
JP2009081579A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動画像復号装置、および動画像復号方法
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
JP2009206911A (ja) * 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
KR101493905B1 (ko) * 2008-08-12 2015-03-02 삼성전자 주식회사 영상처리장치 및 영상처리방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4952685B2 (ja) 2008-08-26 2012-06-13 株式会社Jvcケンウッド 映像信号符号化装置
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
CN102187670B (zh) * 2008-10-15 2014-05-14 法国电信公司 通过前向移动期间的补偿来预测图像
EP2187647A1 (en) * 2008-11-12 2010-05-19 Sony Corporation Method and device for approximating a DC coefficient of a block of pixels of a frame
CN101742328B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US8578272B2 (en) 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
JP2010177809A (ja) * 2009-01-27 2010-08-12 Toshiba Corp 動画像符号化装置および動画像復号装置
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
WO2010113227A1 (ja) 2009-03-31 2010-10-07 パナソニック株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5169978B2 (ja) 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US8761531B2 (en) * 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8477845B2 (en) * 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
WO2011052215A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 復号方法、復号装置、符号化方法、および符号化装置
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JPWO2011061880A1 (ja) * 2009-11-19 2013-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011080806A1 (ja) 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
CN102845063B (zh) * 2010-02-08 2016-05-11 诺基亚技术有限公司 用于视频编码的设备、方法和计算机程序
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8929440B2 (en) 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
JPWO2011129090A1 (ja) * 2010-04-13 2013-07-11 パナソニック株式会社 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置
CN102236502A (zh) 2010-04-21 2011-11-09 上海三旗通信科技有限公司 一种移动终端压力触控手势识别的人机交互方式
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9661338B2 (en) 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
RU2619202C1 (ru) * 2010-07-20 2017-05-12 Нтт Докомо, Инк. Устройство кодирования изображений с предсказанием, способ кодирования изображений с предсказанием, программа кодирования изображений с предсказанием, устройство декодирования изображений с предсказанием, способ декодирования изображений с предсказанием и программа декодирования изображений с предсказанием
RS57166B1 (sr) * 2010-08-17 2018-07-31 M&K Holdings Inc Postupak za kodiranje intra prediktivnog moda
EP3849194B1 (en) 2010-09-27 2022-08-03 LG Electronics, Inc. Method for partitioning block and decoding device
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CN101938657B (zh) * 2010-10-07 2012-07-04 西安电子科技大学 高效视频编码中编码单元自适应划分方法
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
KR102295680B1 (ko) * 2010-12-08 2021-08-31 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
GB2487242A (en) * 2011-01-17 2012-07-18 Sony Corp Interpolation Using Shear Transform
JP2012186617A (ja) 2011-01-31 2012-09-27 Sony Corp 画像処理装置および方法
CN103780912B (zh) 2011-02-10 2017-11-24 威勒斯媒体国际有限公司 图像处理装置和图像处理方法
JP2012175615A (ja) 2011-02-24 2012-09-10 Sony Corp 画像処理装置及び画像処理方法
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
US20120230418A1 (en) * 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
JP5678814B2 (ja) 2011-06-20 2015-03-04 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
WO2012176405A1 (ja) * 2011-06-20 2012-12-27 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
CN103597833A (zh) * 2011-06-22 2014-02-19 索尼公司 图像处理装置以及方法
JP5990948B2 (ja) * 2011-06-22 2016-09-14 セイコーエプソン株式会社 プロジェクター
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
JP5614381B2 (ja) 2011-06-23 2014-10-29 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
WO2012176406A1 (ja) * 2011-06-23 2012-12-27 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130044811A1 (en) * 2011-08-18 2013-02-21 Hyung Joon Kim Content-Based Adaptive Control of Intra-Prediction Modes in Video Encoding
KR20140046055A (ko) * 2011-09-08 2014-04-17 모토로라 모빌리티 엘엘씨 계수들의 직사각형 블록의 양자화 및 역양자화를 위한 방법들 및 장치
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
GB2496197A (en) 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
GB2496194A (en) 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
GB2496201A (en) 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
GB201119180D0 (en) 2011-11-07 2011-12-21 Sony Corp Data encoding and decoding
KR101665921B1 (ko) * 2011-11-08 2016-10-12 가부시끼가이샤 도시바 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9749633B2 (en) * 2012-01-19 2017-08-29 Vid Scale, Inc. System and method of video coding quantization and dynamic range control
US8581753B2 (en) * 2012-01-19 2013-11-12 Sharp Laboratories Of America, Inc. Lossless coding technique for CABAC in HEVC
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
JP5995448B2 (ja) * 2012-01-19 2016-09-21 シャープ株式会社 画像復号装置、および画像符号化装置
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9123278B2 (en) * 2012-02-24 2015-09-01 Apple Inc. Performing inline chroma downsampling with reduced power consumption
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
TW398153B (en) * 1997-09-19 2000-07-11 Sony Electronics Inc Motion compensated digital video decoding with buffered picture storage memory map
US20050271288A1 (en) * 2003-07-18 2005-12-08 Teruhiko Suzuki Image information encoding device and method, and image infomation decoding device and method
TW201028016A (en) * 2009-01-12 2010-07-16 Mediatek Inc Video player

Also Published As

Publication number Publication date
JP2015515236A (ja) 2015-05-21
US9674531B2 (en) 2017-06-06
CA2870591A1 (en) 2013-10-31
CN104247426A (zh) 2014-12-24
US10440358B2 (en) 2019-10-08
GB201220836D0 (en) 2013-01-02
US10499052B2 (en) 2019-12-03
US9826231B2 (en) 2017-11-21
EP2842315B1 (en) 2023-07-12
CN108134931B (zh) 2022-03-01
US20150063457A1 (en) 2015-03-05
GB201211066D0 (en) 2012-08-01
GB2501554B (en) 2014-09-24
RU2017116180A3 (zh) 2020-05-27
TWI611689B (zh) 2018-01-11
JP2017055444A (ja) 2017-03-16
CN104272739A (zh) 2015-01-07
US20180227577A1 (en) 2018-08-09
MX345237B (es) 2017-01-23
RU2014147453A (ru) 2016-06-20
KR102104400B1 (ko) 2020-04-24
GB2501557A (en) 2013-10-30
WO2013160694A4 (en) 2014-01-03
AU2013254444B2 (en) 2015-10-29
JP2015518343A (ja) 2015-06-25
EP4243420A3 (en) 2023-11-22
GB201211619D0 (en) 2012-08-15
MX343351B (es) 2016-11-03
RU2014147445A (ru) 2016-06-10
TW201408081A (zh) 2014-02-16
CA3028883C (en) 2021-10-26
AU2016204227B2 (en) 2018-09-06
RU2599935C2 (ru) 2016-10-20
US20150172652A1 (en) 2015-06-18
EP2842317A1 (en) 2015-03-04
GB2501566A (en) 2013-10-30
GB201211070D0 (en) 2012-08-01
CA2871556A1 (en) 2013-10-31
JP5986294B2 (ja) 2016-09-06
WO2013160656A3 (en) 2013-12-19
US20190253702A1 (en) 2019-08-15
US10841572B2 (en) 2020-11-17
JP2016201813A (ja) 2016-12-01
JP2015518342A (ja) 2015-06-25
CN107734330B (zh) 2020-04-28
CN104247425B (zh) 2018-11-06
AU2013254448A1 (en) 2014-11-06
GB201211628D0 (en) 2012-08-15
CN104285445A (zh) 2015-01-14
CN111182299A (zh) 2020-05-19
CN110933409B (zh) 2023-06-27
JP6606794B2 (ja) 2019-11-20
BR112014026035B1 (pt) 2023-02-07
RU2751080C2 (ru) 2021-07-08
CN108366257B (zh) 2022-03-25
GB201211623D0 (en) 2012-08-15
EP2842316A1 (en) 2015-03-04
WO2013160699A1 (en) 2013-10-31
WO2013160698A1 (en) 2013-10-31
GB2501535A (en) 2013-10-30
RU2014147451A (ru) 2016-06-20
US10419750B2 (en) 2019-09-17
US20180160112A1 (en) 2018-06-07
EP2842314A2 (en) 2015-03-04
TW201817239A (zh) 2018-05-01
TWI586152B (zh) 2017-06-01
CN108134931A (zh) 2018-06-08
CN104272739B (zh) 2018-04-20
BR112014026021B1 (pt) 2023-12-19
AU2016204227A1 (en) 2016-07-14
TWI711301B (zh) 2020-11-21
KR20140145606A (ko) 2014-12-23
TW201408079A (zh) 2014-02-16
AU2018217304B2 (en) 2020-08-06
CN108366257A (zh) 2018-08-03
EP3442229A1 (en) 2019-02-13
GB201211067D0 (en) 2012-08-01
GB2501553A (en) 2013-10-30
AU2013254448B2 (en) 2015-11-19
JP2018129858A (ja) 2018-08-16
JP6231647B2 (ja) 2017-11-15
US20170272743A1 (en) 2017-09-21
KR20190077110A (ko) 2019-07-02
US10674144B2 (en) 2020-06-02
JP2015518341A (ja) 2015-06-25
GB2501550A (en) 2013-10-30
JP2018142970A (ja) 2018-09-13
RU2619888C2 (ru) 2017-05-19
WO2013160696A1 (en) 2013-10-31
CN104255030B (zh) 2018-04-03
CA3128787A1 (en) 2013-10-31
US10205941B2 (en) 2019-02-12
JP2015518340A (ja) 2015-06-25
JP6325606B2 (ja) 2018-05-16
CN104255030A (zh) 2014-12-31
CN107734330A (zh) 2018-02-23
US9693058B2 (en) 2017-06-27
US20190191154A1 (en) 2019-06-20
EP4243421A3 (en) 2023-11-29
MX2014012846A (es) 2015-10-22
GB201207459D0 (en) 2012-06-13
CN104255029B (zh) 2017-11-24
AU2013254443A1 (en) 2014-10-23
RU2603548C2 (ru) 2016-11-27
US9686548B2 (en) 2017-06-20
EP4243420A2 (en) 2023-09-13
US9686547B2 (en) 2017-06-20
US9948929B2 (en) 2018-04-17
US20180124392A1 (en) 2018-05-03
JP6050478B2 (ja) 2016-12-21
GB201211073D0 (en) 2012-08-01
KR20180030263A (ko) 2018-03-21
BR112014026024A2 (pt) 2017-06-27
CN108347604A (zh) 2018-07-31
WO2013160693A2 (en) 2013-10-31
US20150063460A1 (en) 2015-03-05
AU2018217304A1 (en) 2018-09-06
US20190222833A1 (en) 2019-07-18
KR101734974B1 (ko) 2017-05-15
GB2501546A (en) 2013-10-30
JP6128707B2 (ja) 2017-05-17
EP2842315A1 (en) 2015-03-04
MX346235B (es) 2017-03-13
US10531083B2 (en) 2020-01-07
CN104247425A (zh) 2014-12-24
EP2842314B1 (en) 2021-06-02
CA3128787C (en) 2023-09-26
GB2501554A (en) 2013-10-30
GB201211075D0 (en) 2012-08-01
US20150085924A1 (en) 2015-03-26
BR112014026021A8 (pt) 2021-06-22
WO2013160700A1 (en) 2013-10-31
KR101840025B1 (ko) 2018-03-20
JP6328613B2 (ja) 2018-05-23
US11109019B2 (en) 2021-08-31
WO2013160693A3 (en) 2013-12-19
KR20170041288A (ko) 2017-04-14
CN104255029A (zh) 2014-12-31
GB2501549A (en) 2013-10-30
JP2015518339A (ja) 2015-06-25
KR20150003219A (ko) 2015-01-08
GB2501547A (en) 2013-10-30
CA3028883A1 (en) 2013-10-31
TW201408080A (zh) 2014-02-16
EP4243421A2 (en) 2023-09-13
US20150078447A1 (en) 2015-03-19
CA2870602C (en) 2022-08-09
CA2870596C (en) 2019-02-12
US20170359576A1 (en) 2017-12-14
US10244232B2 (en) 2019-03-26
US10827169B2 (en) 2020-11-03
CA2871556C (en) 2017-08-29
CA2870596A1 (en) 2013-10-31
AU2013254444A1 (en) 2014-10-23
US20200177874A1 (en) 2020-06-04
KR20170054561A (ko) 2017-05-17
RU2017116180A (ru) 2019-01-28
GB201211069D0 (en) 2012-08-01
US11252402B2 (en) 2022-02-15
US20220150468A1 (en) 2022-05-12
CN109068135B (zh) 2023-03-14
EP2842321A2 (en) 2015-03-04
CN110225337A (zh) 2019-09-10
CN109068135A (zh) 2018-12-21
GB2501556A (en) 2013-10-30
BR112014026021A2 (pt) 2017-06-27
US20150043641A1 (en) 2015-02-12
WO2013160694A1 (en) 2013-10-31
KR101994597B1 (ko) 2019-06-28
JP6503492B2 (ja) 2019-04-17
GB2501548A (en) 2013-10-30
GB2501551A (en) 2013-10-30
CA2870602A1 (en) 2013-10-31
MX2014012847A (es) 2015-10-22
US20170339402A1 (en) 2017-11-23
US20150117527A1 (en) 2015-04-30
US20200014916A1 (en) 2020-01-09
JP6407389B2 (ja) 2018-10-17
GB2501555A (en) 2013-10-30
GB201211629D0 (en) 2012-08-15
JP2018042263A (ja) 2018-03-15
BR112014026024A8 (pt) 2021-06-22
CN111182299B (zh) 2024-02-09
US11770519B2 (en) 2023-09-26
WO2013160695A1 (en) 2013-10-31
US20200213584A1 (en) 2020-07-02
WO2013160656A2 (en) 2013-10-31
CA2870591C (en) 2023-10-03
MX2014012565A (es) 2014-12-05
CN108347604B (zh) 2022-03-04
TW201937934A (zh) 2019-09-16
US10291909B2 (en) 2019-05-14
WO2013160697A1 (en) 2013-10-31
TWI575942B (zh) 2017-03-21
GB201211072D0 (en) 2012-08-01
JP5965054B2 (ja) 2016-08-03
BR112014026035A2 (pt) 2020-06-30
CN110933409A (zh) 2020-03-27
US10616572B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
TWI677236B (zh) 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備
KR20190130502A (ko) 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
JP2021535653A (ja) ビデオコーディング及び処理のためのデブロッキングフィルタ