TWI755394B - 二值化二次轉換指數 - Google Patents
二值化二次轉換指數 Download PDFInfo
- Publication number
- TWI755394B TWI755394B TW106114689A TW106114689A TWI755394B TW I755394 B TWI755394 B TW I755394B TW 106114689 A TW106114689 A TW 106114689A TW 106114689 A TW106114689 A TW 106114689A TW I755394 B TWI755394 B TW I755394B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- syntax element
- value
- transform
- video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明提供一種用於解碼視訊資料之實例裝置,其包括:一記憶體,其經組態以儲存視訊資料;及一或多個處理器,其實施於電路系統中且經組態以進行以下操作:判定用於一視訊資料區塊之一二次轉換語法元素之一最大可能值;熵解碼該區塊之該二次轉換語法元素之一值以形成表示用於該區塊之二次轉換之一經二值化值;不管該最大可能值而使用一共同二值化方案來反向二值化該二次轉換語法元素之該值以判定用於該區塊之該二次轉換;及使用該經判定二次轉換來逆轉換該區塊之轉換係數。
Description
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之裝置中,該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊寫碼技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、進階視訊寫碼(AVC)、高效率視訊寫碼(HEVC)標準及此等標準之延伸所定義之標準中所描述的技術。視訊裝置可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除為視訊序列所固有之冗餘。對於基於區塊之視訊寫碼,可將視訊截塊(例如,視訊圖像或視訊圖像之部分)分割成視訊區塊,視訊區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)截塊中之視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測予以編碼。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測,或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。 空間或時間預測會產生用於待寫碼區塊之預測性區塊。殘餘資料表示原始待寫碼區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差的殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為了進行進一步壓縮,可將殘餘資料自像素域轉換至轉換域,從而產生殘餘轉換係數,接著可量化殘餘轉換係數。可掃描最初以二維陣列而配置之經量化轉換係數以便產生轉換係數之一維向量,且可應用熵寫碼以達成甚至更多的壓縮。
一般而言,本發明描述與熵寫碼(編碼或解碼)一視訊資料區塊之二次轉換語法元素相關的技術。該等二次轉換語法元素可包括(例如)非可分離二次轉換(NSST)語法元素、旋轉轉換語法元素或其類似者。一般而言,此等語法元素之熵寫碼可包括二值化或反向二值化。可統一該二值化或反向二值化方案,使得不管該等二次轉換語法元素之一最大可能值而應用該相同二值化或反向二值化方案。本發明之技術可進一步包括寫碼(編碼或解碼)傳信單元語法元素,其中傳信單元可包括兩個或多於兩個相鄰區塊。傳信單元語法元素可在該等區塊中之每一者之前,或緊接地置放於被應用該等傳信單元語法元素之一區塊之前(按寫碼次序)。 在一個實例中,一種解碼視訊資料之方法包括:判定用於一視訊資料區塊之一二次轉換語法元素之一最大可能值;熵解碼該區塊之該二次轉換語法元素之一值以形成表示用於該區塊之二次轉換之一經二值化值;不管該最大可能值而使用一共同反向二值化方案來反向二值化該二次轉換語法元素之該值以判定用於該區塊之該二次轉換;及使用該經判定二次轉換來逆轉換該區塊之轉換係數。 在另一實例中,一種用於解碼視訊資料之裝置包括:一記憶體,其經組態以儲存視訊資料;及一或多個處理器,其實施於電路系統中且經組態以進行以下操作:判定用於一視訊資料區塊之一二次轉換語法元素之一最大可能值;熵解碼該區塊之該二次轉換語法元素之一值以形成表示用於該區塊之二次轉換之一經二值化值;不管該最大可能值而使用一共同二值化方案來反向二值化該二次轉換語法元素之該值以判定用於該區塊之該二次轉換;及使用該經判定二次轉換來逆轉換該區塊之轉換係數。 在另一實例中,一種用於解碼視訊資料之裝置包括:用於判定用於一視訊資料區塊之一二次轉換語法元素之一最大可能值的構件;用於熵解碼該區塊之該二次轉換語法元素之一值以形成表示用於該區塊之二次轉換之一經二值化值的構件;用於不管該最大可能值而使用一共同反向二值化方案來反向二值化該二次轉換語法元素之該值以判定用於該區塊之該二次轉換的構件;及用於使用該經判定二次轉換來逆轉換該區塊之轉換係數的構件。 在另一實例中,一種電腦可讀儲存媒體(例如,一種非暫時性電腦可讀儲存媒體)在其上儲存有指令,該等指令在被執行時致使一或多個處理器進行以下操作:判定用於一視訊資料區塊之一二次轉換語法元素之一最大可能值;熵解碼該區塊之該二次轉換語法元素之一值以形成表示用於該區塊之二次轉換之一經二值化值;不管該最大可能值而使用一共同反向二值化方案來反向二值化該二次轉換語法元素之該值以判定用於該區塊之該二次轉換;及使用該經判定二次轉換來逆轉換該區塊之轉換係數。 在另一實例中,一種編碼視訊資料之方法包括:使用一二次轉換來轉換一視訊資料區塊之中間轉換係數;判定用於該區塊之一二次轉換語法元素之一最大可能值,該二次轉換語法元素之一值表示該二次轉換;不管該最大可能值而使用一共同二值化方案來二值化該二次轉換語法元素之該值;及熵編碼該區塊之該二次轉換語法元素之該經二值化值以形成表示用於該區塊之該二次轉換之一經二值化值。 在另一實例中,一種用於編碼視訊資料之裝置包括:一記憶體,其經組態以儲存視訊資料;及一或多個處理器,其實施於電路系統中且經組態以進行以下操作:使用一二次轉換來轉換一視訊資料區塊之中間轉換係數;判定用於該區塊之一二次轉換語法元素之一最大可能值,該二次轉換語法元素之一值表示該二次轉換;不管該最大可能值而使用一共同二值化方案來二值化該二次轉換語法元素之該值;及熵編碼該區塊之該二次轉換語法元素之該經二值化值以形成表示用於該區塊之該二次轉換之一經二值化值。 下文在隨附圖式及實施方式中闡述一或多個實例之細節。其他特徵、目標及優點將自實施方式及圖式以及自申請專利範圍顯而易見。
本申請案主張以下美國臨時申請案中之每一者之權益: 2016年5月3日申請之美國臨時申請案第62/331,290號; 2016年5月5日申請之美國臨時申請案第62/332,425號; 2016年5月16日申請之美國臨時申請案第62/337,310號; 2016年5月24日申請之美國臨時申請案第62/340,949號;及 2016年7月22日申請之美國臨時申請案第62/365,853號, 該等美國臨時申請案中之每一者之全部內容係特此以引用之方式併入。 視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264 (亦被稱為ISO/IEC MPEG-4 AVC (進階視訊寫碼))、ITU-T H.265 (亦被稱為HEVC或「高效率視訊寫碼」),包括諸如可調式視訊寫碼(SVC)、多視圖視訊寫碼(MVC)及螢幕內容寫碼(SCC)之延伸。本發明之技術可應用於此等或未來視訊寫碼標準,諸如聯合視訊探索小組(JVET)測試模型(其亦可被稱作聯合探索模型-JEM),其正經歷除了HEVC以外之開發活動。視訊寫碼標準亦包括專屬視訊編碼解碼器,諸如Google VP8、VP9、VP10,及由其他組織(例如,開放媒體聯盟)開發之視訊編碼解碼器。 在JVET測試模型中,存在被稱為位置相依框內預測組合(PDPC)之框內預測方法。JVET測試模型亦包括非可分離二次轉換(NSST)工具。PDPC工具及NSST工具兩者使用語法元素(例如,指數)以指示是否應用對應工具及使用哪一變化。舉例而言,指數0可意謂不使用工具。 視訊資料區塊之NSST指數之最大數目可取決於該區塊之框內預測模式或分割區大小。在一個實例中,若框內預測模式為PLANAR或DC且分割區大小為2N×2N,則NSST指數之最大數目為3,否則NSST指數之最大數目為4。在JVET測試模型下,使用二值化之兩種類型以表示NSST指數。在JVET測試模型中,若最大值為3,則使用截斷一元二值化,否則應用固定二元二值化。在JVET測試模型中,若PDPC指數不等於0,則不應用NSST且不傳信NSST指數。 本發明描述可被單獨地或以任何組合方式應用以改良(例如) NSST語法元素(諸如NSST指數及/或NSST旗標)之寫碼的多種技術。舉例而言,此等技術可改良視訊編碼器/視訊解碼器之運作,且藉此改良位元串流效率,此在於此等技術相對於當前JVET測試模型可縮減位元串流之位元速率。 圖1為說明可利用用於二值化二次轉換指數之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1所展示,系統10包括源裝置12,源裝置12提供將在稍後時間由目的地裝置14解碼之經編碼視訊資料。詳言之,源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中之任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲主控台、視訊串流裝置或其類似者。在一些狀況下,源裝置12及目的地裝置14可被配備用於無線通信。 目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任何類型之媒體或裝置。在一個實例中,電腦可讀媒體16可包含通信媒體以使源裝置12能夠即時地將經編碼視訊資料直接傳輸至目的地裝置14。可根據通信標準(諸如無線通信協定)來調變經編碼視訊資料,且將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路,諸如網際網路)之部分。通信媒體可包括路由器、交換器、基地台,或可有用於促進自源裝置12至目的地裝置14之通信之任何其他裝備。 在一些實例中,可將經編碼資料自輸出介面22輸出至儲存裝置。相似地,可由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分散式或本端存取式資料儲存媒體中之任一者,諸如硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中,儲存裝置可對應於檔案伺服器或另一中間儲存裝置,其可儲存由源裝置12產生之經編碼視訊。目的地裝置14可經由串流或下載而自儲存裝置存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附接儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等等)或此兩者之組合。來自儲存裝置之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸,或其組合。 本發明之技術未必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如HTTP動態調適性串流(DASH))、被編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼,或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在圖1之實例中,源裝置12包括視訊源18、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。根據本發明,源裝置12之視訊編碼器20可經組態以應用用於二值化二次轉換指數之技術。在其他實例中,源裝置及目的地裝置可包括其他組件或配置。舉例而言,源裝置12可自外部視訊源18 (諸如外部攝影機)接收視訊資料。同樣地,目的地裝置14可與外部顯示裝置介接,而非包括整合式顯示裝置。 圖1之所說明系統10僅僅為一個實例。用於二值化二次轉換指數之技術可由任何數位視訊編碼及/或解碼裝置執行。儘管本發明之技術通常係由視訊編碼裝置執行,但該等技術亦可由視訊編碼器/解碼器(通常被稱為「編碼解碼器(CODEC)」)執行。此外,本發明之技術亦可由視訊預處理器執行。源裝置12及目的地裝置14僅僅為源裝置12產生經寫碼視訊資料以供傳輸至目的地裝置14的此等寫碼裝置之實例。在一些實例中,裝置12、14可以實質上對稱方式而操作,使得裝置12、14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援視訊裝置12、14之間的單向或雙向視訊傳輸,例如,用於視訊串流、視訊播放、視訊廣播或視訊電話。 源裝置12之視訊源18可包括視訊捕捉裝置,諸如視訊攝影機、含有先前捕捉之視訊的視訊檔案庫,及/或用以自視訊內容提供者接收視訊之視訊饋送介面。作為一另外替代方案,視訊源18可產生基於電腦圖形之資料作為源視訊,或實況視訊、經存檔視訊與電腦產生視訊之組合。在一些狀況下,若視訊源18為視訊攝影機,則源裝置12及目的地裝置14可形成所謂的攝影機電話或視訊電話。然而,如上文所提及,本發明中所描述之技術一般而言可適用於視訊寫碼,且可應用於無線及/或有線應用。在每一狀況下,經捕捉、經預捕捉或電腦產生視訊可由視訊編碼器20編碼。經編碼視訊資訊接著可由輸出介面22輸出至電腦可讀媒體16上。 電腦可讀媒體16可包括:暫時性媒體,諸如無線廣播或有線網路傳輸;或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可自源裝置12接收經編碼視訊資料且將經編碼視訊資料提供至目的地裝置14,例如,經由網路傳輸。相似地,媒體生產設施(諸如光碟衝壓設施)之計算裝置可自源裝置12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,電腦可讀媒體16可被理解為包括各種形式之一或多個電腦可讀媒體。 目的地裝置14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊,其亦係由視訊解碼器30使用,其包括描述區塊及其他經寫碼單元之特性及/或處理的語法元素。顯示裝置32將經解碼視訊資料顯示給使用者,且可包含多種顯示裝置中之任一者,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器,或另一類型之顯示裝置。 視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如高效率視訊寫碼(HEVC)標準,亦被稱作ITU-T H.265)而操作。替代地,視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準(被替代地稱作MPEG-4)、Part 10、進階視訊寫碼(AVC),或此等標準之延伸)而操作。然而,本發明之技術並不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖1中未展示,但在一些態樣中,視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合,且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。在適用時,MUX-DEMUX單元可符合ITU H.223多工器協定,或諸如使用者資料報協定(UDP)之其他協定。 視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器電路系統中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術係部分地以軟體予以實施時,一裝置可將用於該軟體之指令儲存於合適非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,該一或多個編碼器或解碼器中之任一者可被整合為各別裝置中之組合式編碼器/解碼器(編碼解碼器)之部分。 一般而言,根據ITU-T H.265,可將視訊圖像劃分成可包括明度樣本及色度樣本兩者之一連串寫碼樹單元(CTU) (或最大寫碼單元(LCU))。替代地,CTU可包括單色資料(亦即,僅明度樣本)。位元串流內之語法資料可定義CTU之大小,CTU在像素之數目方面為最大寫碼單元。截塊包括按寫碼次序之數個連續CTU。可將視訊圖像分割成一或多個截塊。可根據四元樹將每一CTU分裂成寫碼單元(CU)。一般而言,四元樹資料結構包括每CU一個節點,其中根節點對應於CTU。若將CU分裂成四個子CU,則對應於該CU之節點包括四個葉節點,該四個葉節點中之每一者對應於該等子CU中之一者。 四元樹資料結構之每一節點可提供用於對應CU之語法資料。舉例而言,四元樹中之節點可包括分裂旗標,其指示對應於該節點之CU是否被分裂成子CU。用於CU之語法元素可被遞歸地定義,且可取決於該CU是否被分裂成子CU。若CU未被進一步分裂,則其被稱作葉CU。在本發明中,即使不存在原始葉CU之明確分裂,葉CU之四個子CU亦將被稱作葉CU。舉例而言,若處於16×16大小之CU未被進一步分裂,則四個8×8子CU亦將被稱作葉CU,但16×16 CU從未被分裂。 CU具有與H.264標準之巨集區塊相似的目的,惟CU不具有大小區別除外。舉例而言,CTU可被分裂成四個子節點(亦被稱作子CU),且每一子節點又可為父節點且被分裂成另四個子節點。被稱作四元樹之葉節點的最終未分裂子節點包含寫碼節點,亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義CTU可被分裂之最大次數(被稱作最大CU深度),且亦可定義寫碼節點之最小大小。因此,位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」以在HEVC之上下文中係指CU、預測單元(PU)或轉換單元(TU)中之任一者,或在其他標準之上下文中係指相似資料結構(例如,H.264/AVC中之其巨集區塊及子區塊)。 CU包括寫碼節點以及與寫碼節點相關聯之預測單元(PU)及轉換單元(TU)。CU之大小對應於寫碼節點之大小,且為大體上正方形形狀。CU之大小的範圍可為8×8像素直至具有最大大小之CTU之大小,例如,64×64像素或更大。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)將CU分割成一或多個PU。分割模式可在CU被跳過或直接模式編碼、框內預測模式編碼抑或框間預測模式編碼之間不同。PU可被分割為非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據四元樹將CU分割成一或多個TU。TU可為正方形或非正方形(例如,矩形)形狀。 HEVC標準允許根據TU之轉換,該等轉換對於不同CU可不同。TU通常係基於針對經分割CTU所定義之給定CU內的PU之大小被定大小,但可能並非總是此狀況。TU通常為相同大小或小於PU。在一些實例中,可使用被稱為「殘餘四元樹」(RQT)之四元樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可被稱作轉換單元(TU)。可轉換與TU相關聯之像素差值以產生可被量化之轉換係數。 葉CU可包括一或多個預測單元(PU)。一般而言,PU表示對應於對應CU之全部或部分的空間區域,且可包括用於擷取及/或產生用於PU之參考樣本的資料。此外,PU包括與預測相關之資料。舉例而言,當PU被框內模式編碼時,用於PU之資料可包括於殘餘四元樹(RQT)中,殘餘RQT可包括描述用於對應於PU之TU之框內預測模式的資料。RQT亦可被稱作轉換樹。在一些實例中,可在葉CU語法而非RQT中傳信框內預測模式。作為另一實例,當PU被框間模式編碼時,PU可包括定義用於PU之運動資訊(諸如一或多個運動向量)的資料。定義用於PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如,四分之一像素精確度或八分之一像素精確度)、運動向量所指向之參考圖像,及/或用於運動向量之參考圖像清單(例如,清單0、清單1或清單C)。 具有一或多個PU之葉CU亦可包括一或多個轉換單元(TU)。可使用RQT (亦被稱作TU四元樹結構)來指定轉換單元,如上文所論述。舉例而言,分裂旗標可指示葉CU是否被分裂成四個轉換單元。接著,可將每一轉換單元進一步分裂成另外子TU。當TU未被進一步分裂時,其可被稱作葉TU。通常,對於框內寫碼,屬於葉CU之所有葉TU共用相同框內預測模式。亦即,通常應用相同框內預測模式以計算葉CU之所有TU之經預測值。對於框內寫碼,視訊編碼器可使用框內預測模式來計算每一葉TU之殘餘值作為對應於TU的CU之部分與原始區塊之間的差。TU未必限於PU之大小。因此,TU可大於或小於PU。對於框內寫碼,PU可與用於同一CU之對應葉TU共置。在一些實例中,葉TU之最大大小可對應於對應葉CU之大小。 此外,葉CU之TU亦可與各別四元樹資料結構(被稱作殘餘四元樹(RQT))相關聯。亦即,葉CU可包括指示葉CU如何被分割成TU之四元樹。TU四元樹之根節點通常對應於葉CU,而CU四元樹之根節點通常對應於CTU (或LCU)。未被分裂的RQT之TU被稱作葉TU。一般而言,除非另有提到,否則本發明使用術語CU及TU以分別係指葉CU及葉TU。 視訊序列通常包括一系列視訊圖框或圖像,其始於隨機存取點(RAP)圖像。視訊序列可包括表示視訊序列之特性的序列參數集(SPS)中之語法資料。圖像之每一截塊可包括描述用於各別截塊之編碼模式的截塊語法資料。視訊編碼器20通常對個別視訊截塊內之視訊區塊進行操作,以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化的大小,且其大小可根據指定寫碼標準而不同。 作為一實例,可針對各種大小之PU執行預測。假定特定CU之大小為2N×2N,則可對2N×2N或N×N之PU大小執行框內預測,且對2N×2N、2N×N、N×2N或N×N之對稱PU大小執行框間預測。亦可針對2N×nU、2N×nD、nL×2N及nR×2N之PU大小執行用於框間預測之不對稱分割。在不對稱分割中,CU之一個方向未被分割,而另一方向被分割成25%及75%。對應於25%分割區的CU之部分係由「n」後面接著「向上(Up)」、「向下(Down)」、「向左(Left)」或「向右(Right)」之指示予以指示。因此,舉例而言,「2N×nU」係指被水平地分割為使得2N×0.5N PU在頂部且使得2N×1.5N PU在底部之2N×2N CU。 在本發明中,「N×N」與「N乘N」可被互換地使用以係指視訊區塊在垂直維度及水平維度方面之像素尺寸,例如,16×16像素或16乘16像素。一般而言,16×16區塊將在垂直方向上具有16個像素(y = 16)且在水平方向上具有16個像素(x = 16)。同樣地,N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素,其中N表示非負整數值。區塊中之像素可以列及行而配置。此外,區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言,區塊可包含N×M個像素,其中M未必等於N。 在使用CU之PU的框內預測性或框間預測性寫碼之後,視訊編碼器20可計算用於CU之TU的殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式的語法資料,且TU可包含在對殘餘視訊資料應用轉換(例如,離散餘弦轉換(DCT)、整數轉換、小波轉換或概念上類似轉換)之後的轉換域中之係數。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可將TU形成為包括表示用於CU之殘餘資料的經量化轉換係數。亦即,視訊編碼器20可計算殘餘資料(呈殘餘區塊之形式),轉換殘餘區塊以產生轉換係數之區塊,且接著量化轉換係數以形成經量化轉換係數。視訊編碼器20可形成包括經量化轉換係數之TU,以及其他語法資訊(例如,用於TU之分裂資訊)。 如上文所提到,在用以產生轉換係數之任何轉換之後,視訊編碼器20可執行轉換係數之量化。量化通常係指量化轉換係數以可能地縮減用以表示該等係數之資料之量而提供進一步壓縮的程序。量化程序可縮減與該等係數中之一些或全部相關聯的位元深度。舉例而言,可在量化期間將n位元值降值捨位至m位元值,其中n大於m。 在量化之後,視訊編碼器可掃描轉換係數,從而自包括經量化轉換係數之二維矩陣產生一維向量。該掃描可經設計以將較高能量(且因此將較低頻率)係數置放於陣列前方,及將較低能量(且因此將較高頻率)係數置放於陣列後方。在一些實例中,視訊編碼器20可利用預定義掃描次序以掃描經量化轉換係數,以產生可被熵編碼之序列化向量。在其他實例中,視訊編碼器20可執行調適性掃描。在掃描經量化轉換係數以形成一維向量之後,視訊編碼器20可(例如)根據上下文調適性可變長度寫碼(CAVLC)、上下文調適性二進位算術寫碼(CABAC)、基於語法之上下文調適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來熵編碼一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用來解碼視訊資料。 為了執行CABAC,視訊編碼器20可將上下文模型內之上下文指派至待傳輸符號。該上下文可與(例如)該符號之相鄰值是否為非零相關。為了執行CAVLC,視訊編碼器20可選擇用於待傳輸符號之可變長度碼。可建構VLC中之碼字,使得相對較短碼對應於較可能的符號,而較長碼對應於較不可能的符號。以此方式,相比於(例如)針對每一待傳輸符號使用相等長度的碼字,使用VLC可達成位元節省。機率判定可基於指派至符號之上下文。 一般而言,視訊解碼器30執行與由視訊編碼器20執行之程序實質上相似但互逆的程序以解碼經編碼資料。舉例而言,視訊解碼器30逆量化及逆轉換經接收TU之係數以再生殘餘區塊。視訊解碼器30使用經傳信預測模式(框內預測或框間預測)以形成經預測區塊。接著,視訊解碼器30組合經預測區塊與殘餘區塊(逐像素地)以再生原始區塊。可執行額外處理,諸如執行解區塊程序以縮減沿著區塊邊界之視覺假影。另外,視訊解碼器30可以與視訊編碼器20之CABAC編碼程序實質上相似但互逆的方式而使用CABAC來解碼語法元素。 根據本發明之技術,視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可統一NSST語法元素之二值化。舉例而言,視訊寫碼器可經組態以使用僅一個二值化(例如,截斷或截斷一元二值化)。對於NSST語法元素被寫碼的區塊,可根據框內模式且視情況根據區塊大小條件來定義(且因此由視訊寫碼器判定) NSST語法元素之最大值。舉例而言,視訊寫碼器可針對NSST指數應用截斷一元二值化,其中若當前框內模式為非角度的(例如,對於色度分量為PLANAR或DC,或視情況為LM模式),則最大值等於3,否則最大值等於4。另外,視訊寫碼器可應用區塊大小條件。舉例而言,視訊寫碼器可判定:若當前區塊為正方形或寬度×高度小於某一臨限值(例如,64),則最大值等於3。 在一個實例中,視訊寫碼器可自二值化碼字來上下文熵寫碼每一位元子或僅某些預定位元子(例如,序數第一數目個位元子)。視訊寫碼器可在不運用上下文模型化的情況下(例如,在旁路模式中)熵寫碼除了預定位元子以外之位元子。若NSST單獨地應用於明度及色度,則上下文模型化可單獨地用於明度及色度。替代地,來自二值化碼字之位元子可共用用於明度及色度之上下文,舉例而言,指示NSST指數是否為0 (意謂NSST未被應用)的用於第一位元子之上下文可在明度分量與色度分量之間被共用,且其他位元子可具有用於明度及色度之單獨上下文。 在另一實例中,用於NSST指數之上下文模型化可取決於NSST指數可具有的最大值。舉例而言,若最大值可為3或4,則可使用一個上下文集以傳信用於最大值3之NSST指數,且使用另一上下文集以傳信用於最大值4之NSST指數。可針對NSST指數可具有的其他最大值定義相似上下文集,且可使用多於兩個最大值。 視情況,用於第一位元子之上下文(其指示NSST指數等於0或不等於0)可橫越所有上下文集被共用,或可橫越對應於相同色彩分量(諸如對於明度、色度或兩個色度分量,或所有色彩分量)之上下文集被共用。 在當前JVET測試模型中,若PDPC指數不等於0,則不應用NSST且不傳信NSST指數。避免NSST且不傳信NSST指數之此程序可降低寫碼複雜度。然而,本發明認識到,當前實施於JVET測試模型中之程序未必達成最佳寫碼結果且可能未達成寫碼器複雜度與位元速率之間的所要取捨。 根據本發明之技術,當一區塊之NSST指數具有非零值(亦即,換言之,將NSST方法應用於當前區塊)時,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)無需針對該區塊應用及/或寫碼(例如,傳信)位置相依框內預測組合(PDPC)語法元素。此可引起相似寫碼器複雜度,但所得壓縮效率可較高,此係因為NSST方法相較於PDPC通常具有較佳效率。在此狀況下,可在位元串流中在NSST指數之後的位置處傳信PDPC指數。 另外或替代地,NSST指數上下文可基於PDPC指數。舉例而言,若PDPC指數為0,則可使用一個上下文以熵寫碼NSST指數,且若PDPC指數不為0,則可使用另一上下文以熵寫碼NSST指數。在另一實例中,每一PDPC指數可使其自己的上下文用以熵寫碼NSST指數。另外或替代地,NSST指數之上下文可聯合地取決於當前區塊之PDPC指數及其他元素,諸如預測模式、區塊大小及/或其類似者。相似地,PDPC指數之上下文可聯合地取決於當前區塊之NSST指數及其他元素,諸如預測模式、區塊大小及/或其類似者。 替代地,若在PDPC指數之前在位元串流中寫碼NSST指數,則可應用相同方法。在此狀況下,在以上方法中,在描述中調換NSST及PDPC。舉例而言,若NSST指數為0,則可使用一個上下文以熵寫碼PDPC指數,且若NSST指數不為0,則可使用另一個上下文以熵寫碼PDPC指數。在另一實例中,每一NSST指數可使其自己的上下文用以熵寫碼PDPC指數。另外或替代地,PDPC指數之上下文可聯合地取決於當前區塊之NSST指數及其他元素,諸如預測模式、區塊大小及/或其類似者。相似地,NSST指數之上下文可聯合地取決於當前區塊之PDPC指數及其他元素,諸如預測模式、區塊大小及/或其類似者。 此處所提及之PDPC技術可延伸至與框內/框間預測技術相關之任何其他技術,及/或此處所提及之NSST技術可延伸至與轉換技術相關之任何技術。預測技術之語法元素(指數/旗標/模式)傳信可與轉換技術之語法元素(指數/旗標/模式)傳信互動。互動可為但不限於預測技術語法之上下文取決於轉換技術語法之上下文,或反之亦然。 另外,視訊寫碼器可經組態以將上文所論述之技術應用於其他寫碼模式,包括但不限於PDPC或運動參數繼承(MPI)模式。 可針對多個分量傳信及共用NSST指數。舉例而言,可針對明度(Y)分量、藍色色調色度(Cb)分量及紅色色調色度(Cr)分量傳信及共用一個NSST指數。替代地,可針對Cb分量及Cr分量傳信及共用一個NSST指數(可針對Y分量傳信單獨NSST指數)。在一些實例中,當針對多個分量共用一個NSST指數時,NSST指數傳信取決於一些條件,且當針對所包括分量中之每一者滿足此等條件時,或當針對所包括分量中之若干者(並非全部)滿足此等條件,或針對任何所包括分量滿足此等條件時,NSST指數不被傳信,但被導出為預設值(例如,0)。 此等條件可包括但不限於:當區塊未由某些寫碼模式寫碼時的非零係數之數目(或非零係數之絕對值之總和),及此等某些寫碼模式包括但不限於轉換跳過模式及/或LM模式及/或交叉分量預測模式。 以上實例中之區塊可為用於獨立考慮之每一分量之區塊,或其可為一些色彩分量之相關區塊(例如,Cb及Cr之相關區塊),或其可為所有可用分量之區塊(例如,Y、Cb及Cr之區塊)。在一個實例中,條件可一起聯合地應用於彼等區塊。 舉例而言,當條件應用於多個分量(例如,Cb及Cr)時,則條件可包括但不限於每一所包括分量區塊之非零係數之數目之總和(或非零係數之絕對值之總和)未由某些寫碼模式寫碼,及此等某些寫碼模式包括但不限於轉換跳過模式及/或LM模式及/或交叉分量預測模式,及其類似者。 在一些實例中,當傳信多個NSST指數,且針對一或多個分量傳信每一NSST指數時,可將多個NSST指數聯合地二值化為一個語法元素,且可將一個二值化及/或上下文模型化應用於此經聯合寫碼之一個語法元素。舉例而言,首先可寫碼旗標以指示是否存在至少一個非零NSST指數(意謂NSST應用於至少一個分量)。在旗標之後,多個NSST指數被二值化為一個語法元素且被寫碼。在此實例中可移除某一傳信冗餘。舉例而言,若旗標指示存在至少一個非零NSST指數,則在所有先前指數具有等於0之值的情況下可將最後傳信之NSST指數推斷為非零。 在以上實例中,可應用聯合NSST指數傳信技術以傳信用於區塊群組之NSST指數。可針對群組傳信旗標以指示存在使用非零NSST指數之至少一個區塊(在此狀況下,旗標等於1),或所有區塊具有零NSST指數(在此狀況下,旗標等於0)。在考量最後NSST指數不能等於0的情況下,亦可針對群組中之最後NSST指數移除傳信冗餘。在另一實例中,若僅兩個NSST指數(0或1)係可能的,則在所有先前指數等於0的情況下可不傳信最後指數,可將最後NSST指數推斷為等於1。在另一實例中,若多於兩個NSST指數值係可能的,則在所有先前指數等於0的情況下可將最後指數縮減1。 可以任何組合形式使用上述技術。 NSST指數用作一實例。相同技術可應用於任何轉換或二次轉換指數、旗標或語法元素傳信。舉例而言,此等技術可應用於傳信旋轉轉換(ROT)指數。 同樣地,PDPC指數亦用作一實例。相同技術可應用於任何框內或框間預測指數、旗標或語法元素傳信。舉例而言,此等技術可應用於傳信運動參數繼承(MPI)指數。 在一些實例中,視訊編碼器20及/或視訊解碼器30可在特殊結構單元(其可被稱作傳信單元(SU))處執行轉換相關語法寫碼(例如,編碼/傳信或解碼/解譯)。一般而言,傳信單元包括複數個區塊。舉例而言,傳信單元可對應於QTBT架構之單一四元樹-二元樹(QTBT)。替代地,傳信單元可對應於區塊群組,該等區塊中之每一者對應於不同各別QTBT。 在QTBT架構中,傳信單元可根據多型樹予以分割,多型樹包括根據四元樹(其中每一節點被分割成零或四個子節點)而分割之第一部分,四元樹之每一葉節點可使用二元樹分割(其中每一節點被分割成零或兩個子節點)予以進一步分割。被分割成零個子節點之每一節點被視為對應樹之葉節點。 如上文所論述,可針對區塊群組聯合地傳信各種語法元素(諸如NSST指數、PDPC指數、預測模式、區塊大小及其類似者)。此聯合傳信通常可被描述為「在傳信單元層級處傳信資料」,其中傳信單元包括在傳信單元層級處傳信資料所至的複數個區塊,且此資料應用於包括於傳信單元中之每一區塊。 當傳信單元形成非I截塊(諸如P截塊或B截塊)之部分時可能會出現問題。在此等或其他非I截塊中,該等截塊可包括使用框內模式而預測之一些區塊及使用框間模式而預測之其他區塊。然而,一些工具可應用於框內或框間模式中之僅一者,而非兩者。因此,針對混合區塊(框內與框間)在傳信單元層級處傳信一些語法可能低效,尤其是當工具不應用於某一預測模式時。 因此,本發明亦描述可單獨地或彼此組合地及/或與上文所論述之技術組合地使用的多種技術。本發明之某些技術可應用於解析非I截塊中之經框間預測區塊與經框內預測區塊的混合,然而仍具有用於傳信單元區塊之傳信。視訊寫碼器可使用以傳信單元僅含有受到在傳信單元層級處執行之傳信影響之區塊的方式配置於傳信單元中的區塊。 舉例而言,轉換可具有兩種類型:第一(或一次)轉換及二次轉換。按照JVET模型,第一轉換可為離散餘弦轉換(DCT)或增強型多重轉換(EMT),且二次轉換可為(例如) NSST及ROT。應理解,DCT、EMT、NSST及ROT僅僅為實例,且本發明之技術並不限於此等轉換,而是亦可使用其他轉換(另外或在替代方案中)。 出於實例之目的而假定在傳信單元層級處傳信EMT旗標或EMT指數,則彼等語法元素具有識別哪一特定轉換用於包括於傳信單元中之區塊的值。區塊可被框內、框間或跳過模式預測。經傳信EMT旗標或EMT指數對於經框內預測區塊可能有效,但對於經框間預測區塊可能較不有效或低效。在此狀況下,傳信單元可進一步包括以下類型之區塊中之任一者或兩者:1)經框內預測區塊及經跳過預測區塊;及/或2)經框間預測區塊及經跳過預測區塊。 根據此實例,在傳信單元層級處傳信之轉換相關語法對於經框內寫碼區塊將有效,但跳過模式係基於殘餘為0且無需轉換的假定,因此經傳信轉換將不影響經跳過預測區塊且此傳信單元區塊中將不存在經框間寫碼區塊。相似地,根據傳信單元組合物,針對經框間預測區塊在傳信單元層級處傳信之轉換相關語法對於經框間預測區塊將有效,但其不影響跳過模式,且此傳信單元區塊中將不存在經框內寫碼區塊。 藉由根據本發明之技術來配置傳信單元,某些語法元素可變得冗餘。在以上實例中,清楚的是,若除了轉換語法元素以外在傳信單元層級處亦傳信傳信單元類型(#1或#2),則不需要預測模式。在此狀況下,無需針對包括於傳信單元中之每一區塊傳信預測模式,且可根據傳信單元類型來推斷預測模式。在一個實例中,可將傳信單元類型傳信為具有特定於單獨語法元素之上下文的彼語法元素,或可再使用及傳信預測模式語法元素以指示傳信單元類型。 作為另一實例,傳信單元可包括根據以下配置中之任一者或兩者而配置的區塊:1)經框內預測區塊、經跳過預測區塊,及殘餘等於0之經框間預測區塊(零區塊);及/或2)經框間預測區塊、經跳過預測區塊,及具有零殘餘之經框內預測區塊。 在上文所論述之第一實例中,經寫碼區塊旗標(CBF)語法元素(指示區塊是否包括零殘餘,亦即,區塊是否包括一或多個非零殘餘值,亦即,區塊是否「經寫碼」)無需按照用於傳信單元類型1之經框間預測區塊予以傳信,且無需針對用於傳信單元類型2之經框內預測區塊予以傳信,此係由於僅零區塊係可能的。 在又一實例中,可如下構成傳信單元:(1)經框內預測區塊、經跳過預測區塊,及殘餘等於0之經框間寫碼區塊(零區塊),以及運用轉換跳過而寫碼之區塊;及/或(2)經框間預測區塊、經跳過預測區塊,及具有零殘餘之經框內預測區塊,以及運用轉換跳過而寫碼之區塊。 相似地,如在以上實例中,CBF語法元素無需按照包括於傳信單元中之區塊予以傳信。 在以上實例中,傳信單元區塊被分類成兩種類型:「框內相關」類型及「框間相關」類型。然而,可能仍有可能的是,框內區塊與框間區塊之混合物可共用相似工具決策,舉例而言,轉換類型對於經預測區塊之兩種類型可能相同。接著,可將傳信單元類型進一步延伸成以下三種類型:(1)經框內預測區塊,及具有零殘餘之經框間預測區塊(跳過區塊、具有零殘餘之框間區塊,或經轉換跳過框間區塊);(2)經框間預測區塊,及具有零殘餘之框內區塊,或經轉換跳過框內區塊;及(3)在無限定的情況下允許框間與框內混合。 在此實例中,一些冗餘語法元素可能無需按照用於傳信單元類型1及2之區塊(亦即,在包括於傳信單元中之每一區塊內)予以傳信,諸如預測模式或CBF語法。代替地,視訊編碼器20可在傳信單元層級處將彼等語法元素編碼一次且視訊解碼器30可在傳信單元層級處將彼等語法元素解碼一次,且經寫碼值可應用於包括於傳信單元中之每一區塊。 在以上實例中,EMT或第一轉換用作一實例。以相似方式,可在傳信單元層級處傳信二次轉換(諸如NSST或ROT),且可在傳信單元層級處傳信冗餘語法元素(諸如預測模式或CBF語法),且在區塊層級處無需傳信彼等元素。 視訊編碼器20及視訊解碼器30可使用上下文模型化以上下文寫碼(例如,使用CABAC)轉換決策相關語法元素。可上下文寫碼轉換相關語法元素,諸如來自轉換集之旗標或指數,例如但不限於EMT旗標、NSST旗標、EMT指數、NSST指數及其類似者。可根據區塊中之非零轉換係數之數目、非零轉換係數之絕對總和及/或TU內部之非零轉換係數之位置(例如,是否存在僅一個非零DC係數)來定義上下文。 另外,非零係數之數目可被分類成一些子群組;舉例而言,某一範圍內之非零係數之數目為一個子群組,另一值範圍為另一子群組等等。可按照子群組來定義上下文。 另外,可基於區塊中之最後非零係數之位置來定義上下文,亦可基於區塊中之第一非零係數來定義上下文,及/或另外可基於區塊中之最後及/或第一係數之值或其正負號(負或正)來定義上下文。 下文描述非零係數傳信之數目。當前,在HEVC或JVET中,針對轉換係數傳信最後非零係數及有效值映圖之位置(例如,0—係數為零,1—係數為非零,或反之亦然),以指示直至最後非零係數為止哪些係數為非零。 然而,若區塊具有僅僅幾個係數,則JVET及HEVC之當前傳信可能不有效。舉例而言,若轉換區塊具有僅一個非零係數且彼係數不在區塊之開頭中,則最後位置已經指示彼係數之位置;然而,仍傳信有效值映圖,其含有全零。 本發明亦描述與傳信額外語法元素相關之技術,額外語法元素具有指示轉換區塊中之非零係數之數目的值。視訊編碼器20可傳信此語法元素之值,且視訊解碼器30可解碼此語法元素之值以判定轉換區塊中之非零轉換係數之數目。可使用任何二值化(諸如一元碼、截斷一元碼、哥倫布碼、指數哥倫布碼、萊斯碼、固定長度二元碼、截斷二元碼等等)來傳信此語法元素值。對於截斷二值化,最大元素可為直至最後位置係數為止之可能係數之數目。 在一個實例中,可在用於轉換區塊之最後非零係數位置之後傳信此新語法元素。在另一實例中,可在最後非零係數之前傳信此新語法元素。在後一狀況下,旗標可指示區塊是否具有僅一個DC係數。 由於傳信最後非零係數及非零係數之數目,故本發明之技術可引起形成位元串流之部分之經寫碼有效值映圖的大小縮減。舉例而言,在傳信有效值映圖時,可計數已經傳信之非零係數之數目;當已經傳信數目等於非零係數之經傳信數目減去1的非零係數時,不需要繼續傳信用於區塊之有效值映圖,此係由於僅可能的下一非零係數為區塊中之最後係數。 在一個實例中,上文所提及之語法元素可為指示轉換區塊是否具有僅一個非零係數之旗標(一個係數旗標)。此旗標可在最後非零係數之位置之後被傳信且亦可取決於彼位置。舉例而言,若最後非零係數為區塊中之第一係數(DC),則已經知曉的是,僅一個係數係可能的,且不需要一個係數旗標。相似地,可僅針對最後非零係數之位置大於某一臨限值時的狀況傳信旗標。舉例而言,若最後非零係數位置為與區塊之開頭相隔的某一距離,則傳信一個係數旗標。 針對一個係數旗標之上下文模型選擇可單獨地或以任何組合形式取決於區塊中之最後非零係數之位置、彼最後位置與區塊之開頭相隔之距離、最後非零係數值,及/或彼值之正負號。 一個係數旗標可在最後非零係數之位置之後被傳信,在另一替代方案中在最後非零係數之位置及其值之後被傳信,在又一替代方案中在最後非零係數之位置、其值及正負號之後被傳信。此可取決於哪一上下文模型被應用(參見上文)。 在又一實例中,一個係數旗標可在最後非零係數位置之前被傳信,且可指示區塊是否具有僅一個DC (第一轉換係數)係數。在此實例中,最後非零係數位置可取決於彼旗標,且在旗標具有表示「停用」之值時被傳信,該值意謂存在多於一個非零係數或一個係數並非DC係數。另外,可藉由自位置座標減去1來修改最後位置傳信,此係由於若一個係數旗標被停用,則等於DC係數之最後位置不能被傳信;否則,彼旗標將被啟用。 當此一個係數旗標被傳信且具有表示「啟用」之值(亦即,區塊具有僅一個非零係數)時,可能不需要有效值映圖,且可僅傳信最後係數之位置及其值與正負號。因此,視訊編碼器20可僅傳信最後係數之位置,且視訊解碼器30可僅接收表示最後係數之位置的資料且判定位元串流之後續資料應用於語法元素(例如,同一區塊之語法元素,但與轉換係數資料不相關,或後續區塊之語法元素)之不同集合。 一個係數旗標可基於使用哪一轉換類型(例如,DCT或EMT)而被有條件地傳信,且可取決於EMT旗標或EMT指數。另外,一個係數旗標傳信可取決於以下各者:二次轉換(諸如NSST或ROT)是否用於區塊中;二次轉換語法,諸如NSST旗標、NSST指數、ROT旗標或ROT指數;及其類似者。舉例而言,若使用二次轉換,則可不傳信旗標。 針對一個非零係數旗標所描述之更詳細實例可應用於在區塊中傳信多於一個非零係數值時的狀況。 視訊編碼器20及視訊解碼器30可基於非零係數而在不同轉換類型之間切換。可使用兩種不同類型之轉換,例如,一種類型為可分離轉換且另一類型為非可分離轉換。對於每一類型之轉換之使用,可添加一些限定,亦即,針對轉換單元內部之某些位置可僅存在非零係數。以此方式,不傳信選定類型之轉換,但視訊解碼器30可在解碼係數之後根據轉換單元內部之非零係數之位置來導出選定類型之轉換。藉由導出轉換類型而非接收明確傳信,可縮減經編碼視訊位元串流大小,此可藉此改良位元串流效率,而不會將過多複雜度引入至視訊解碼器30中,且不會損失所得經解碼視訊資料之品質。另外,以此方式提供多種類型之轉換可引起甚至進一步改良位元串流效率,此在於所得轉換類型平均而言可較佳地壓縮殘餘資料。 在一個實例中,若按掃描次序在第N係數之後存在至少一個非零係數(其中N可為預定義的或基於一些條件而導出),則應用可分離轉換;否則(所有非零係數按掃描次序僅存在於前N個係數中)應用非可分離轉換。 在另一實例中,轉換之類型仍係由旗標/指數傳信,但用於熵寫碼(熵編碼或熵解碼)不同位置處之係數的上下文模型可取決於經傳信旗標/指數之值。 在另一實例中,用以指示上文所提及之轉換選擇的旗標或指數係在第N係數或所有係數之後被傳信。旗標或指數可被上下文寫碼,其中上下文取決於最後非零係數之位置。舉例而言,上下文可取決於最後非零係數出現於第N係數之前抑或之後。若最後非零係數停止於第N係數自身處,則在早先所提及之第N係數之前或之後,上下文模型可與任一群組相關聯,或可能指派單獨上下文。 視訊編碼器20可編碼/傳信用於傳信單元之語法元素,而視訊解碼器30可解碼及解譯傳信單元之語法元素之值。如早先所描述,可在傳信單元層級處傳信語法元素。然而,一些語法元素可能不適用於包括至傳信單元中之每一區塊。 舉例而言,二次轉換(諸如NSST)可僅應用於經框內預測區塊,經框內預測區塊具有非零係數。狀況可為:傳信單元中不存在將被應用二次轉換的區塊。對於此等狀況,傳信用於此傳信單元之NSST資訊(例如NSST指數或NSST旗標)並不被需要且可僅是浪費位元。在另一實例中,第一轉換(諸如EMT)應用於非零殘餘區塊。狀況亦可為:包括於傳信單元中之所有區塊具有零殘餘,且傳信EMT資訊(例如EMT旗標或EMT指數)並不需要用於此傳信單元且可僅是浪費位元。 在一些實例中,視訊編碼器20可推遲傳信單元語法傳信直至此傳信所適用的包括於傳信單元中之第一區塊為止。換言之,傳信單元語法並不被傳信用於按掃描次序在傳信單元之開頭處的此傳信並不適用的區塊。同樣地,視訊解碼器30將僅將傳信單元語法元素之值應用於在傳信單元中之傳信單元語法元素之後的區塊。 舉例而言,視訊編碼器20可不傳信適用於傳信單元內之所有區塊的一些類型之資訊,直至傳信單元中存在該資訊所適用的區塊為止。相似地,視訊解碼器30可不剖析適用於傳信單元內之所有區塊的一些類型之資訊,直至傳信單元中存在該資訊所適用的區塊為止。資訊可為識別特定寫碼工具、語法元素或其類似者之資訊。 作為一實例,視訊編碼器20可傳信且視訊解碼器30可接收傳信單元中具有非零殘餘之第一框內區塊中的NSST資訊(指數、旗標等等)。在另一實例中,視訊編碼器20可傳信且視訊解碼器30可接收傳信單元中之第一非零區塊處的EMT資訊(指數、旗標等等)。此等區塊可未必在對應傳信單元之開頭處。在一些實例中,一旦語法元素(例如,用於寫碼工具之資訊或其他類型之語法元素)被傳信用於使用語法元素之第一區塊,則彼資訊就對於按區塊掃描次序在彼第一區塊之後的使用語法元素之所有區塊可均一。然而,此不應被視為在所有狀況下的要求。 與不管傳信單元是否包括傳信單元語法元素將適用的任何區塊而總是在傳信單元層級處傳信語法元素的傳信及接收技術相比較,藉由推遲此等語法元素之傳信,若傳信單元中不存在需要此等語法元素的區塊或傳信單元中不存在此傳信可應用的區塊,則可節省與語法元素相關聯之位元。 視訊編碼器20可利用相似技術以推遲傳信單元層級處之其他語法元素(未必是轉換相關)傳信,此取決於經傳信資訊及包括於傳信單元中的此資訊所適用的區塊類型。推遲傳信及剖析傳信單元之資訊的以上實例不應被視為限制性的。 各種語法元素可被視為特定於傳信單元。一些語法元素可被引入僅用於傳信單元且針對其他區塊可並不存在。舉例而言,此等語法元素可為控制旗標及寫碼模式相關參數。在一個實例中,傳信單元語法元素包括如早先所提及的第一轉換(例如,EMT)及/或二次轉換語法元素(例如,NSST或ROT旗標及/或指數)中之任一者或全部,且此等語法元素無需針對大於傳信單元或並不包括於傳信單元中之區塊而存在。 替代地或另外,相比於針對大於傳信單元或並不包括於傳信單元中之區塊而傳信的相同語法元素,針對傳信單元而傳信之區塊之現有語法元素可具有不同範圍值或不同語義/解譯。在一個實例中,識別何時傳信第一轉換及二次轉換語法元素之非零係數臨限值針對傳信單元相比於針對其他區塊可不同。此等臨限值可大於或小於用於其他區塊之對應臨限值。 舉例而言,二次轉換(諸如NSST或ROT)指數及/或旗標可針對傳信單元中具有至少一個非零轉換係數之區塊予以傳信,且若大於傳信單元或並不包括於傳信單元中之區塊具有至少兩個非零係數,則二次轉換指數可針對該區塊予以傳信。當不傳信二次轉換指數時,視訊解碼器30將二次轉換指數之值推斷為(例如)等於預設值(諸如0)。相同技術可應用於第一轉換或任何其他轉換。 此等傳信單元特定參數亦可根據傳信單元所屬的截塊類型及/或頻塊而不同。舉例而言,I截塊、P截塊及B截塊可具有不同傳信單元參數、不同範圍值,或不同語義/解譯。 上文所描述之傳信單元參數並不限於轉換,而是可與任何寫碼模式一起使用或可被引入至任何模式。 視訊編碼器20可進一步(例如)在圖像標頭、區塊標頭、截塊標頭中將語法資料(諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料)發送至視訊解碼器30,或發送其他語法資料,諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS)。 在適用時,視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器或解碼器電路系統中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路系統、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,該一或多個編碼器或解碼器中之任一者可被整合為組合式視訊編碼器/解碼器(編碼解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之裝置可包含積體電路、微處理器及/或無線通信裝置(諸如蜂巢式電話)。 圖2為說明可實施用於二值化二次轉換指數之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以縮減或移除給定視訊圖框或圖像內之視訊空間冗餘。框間寫碼依賴於時間預測以縮減或移除視訊序列之鄰近圖框或圖像內之視訊時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中之任一者。 如圖2所展示,視訊編碼器20接收待編碼視訊圖框內之當前視訊區塊。在圖2之實例中,視訊編碼器20包括模式選擇單元40、參考圖像記憶體64 (其亦可被稱作經解碼圖像緩衝器(DPB))、求和器50、轉換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了視訊區塊重新建構,視訊編碼器20亦包括逆量化單元58、逆轉換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以濾波區塊邊界以自經重新建構視訊移除方塊效應假影。視需要,解區塊濾波器通常將濾波求和器62之輸出。除瞭解區塊濾波器以外,亦可使用額外濾波器(迴路內或迴路後)。出於簡潔起見而未展示此等濾波器,但視需要,此等濾波器可濾波求和器50之輸出(作為迴路內濾波器)。 在編碼程序期間,視訊編碼器20接收待寫碼視訊圖框或截塊。可將圖框或截塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行經接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測單元46可替代地執行經接收視訊區塊相對於與待寫碼區塊相同之圖框或截塊中之一或多個相鄰區塊的框內預測性編碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次,例如,以選擇用於每一視訊資料區塊之適當寫碼模式。 此外,分割單元48可基於先前寫碼遍次中之先前分割方案的評估而將視訊資料區塊分割成子區塊。舉例而言,分割單元48最初可將圖框或截塊分割成CTU,且基於速率-失真分析(例如,速率-失真最佳化)而將該等CTU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將CTU分割成子CU之四元樹資料結構。四元樹之葉節點CU可包括一或多個PU及一或多個TU。 模式選擇單元40可選擇預測模式(框內或框間)中之一者(例如,基於誤差結果),且將所得經預測區塊提供至求和器50以產生殘餘資料及將所得經預測區塊提供至求和器62以重新建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割區資訊及其他此類語法資訊)提供至熵編碼單元56。 運動估計單元42及運動補償單元44可高度地整合,但出於概念目的而被單獨地說明。由運動估計單元42執行之運動估計為產生運動向量之程序,運動向量估計視訊區塊之運動。舉例而言,運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊(其相對於當前圖框(或其他經寫碼單元)內正被寫碼的當前區塊)的位移。預測性區塊為被發現在像素差方面接近地匹配於待寫碼區塊之區塊,像素差可由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中,視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之子整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此,運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼截塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1),該等參考圖像清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量來提取或產生預測性區塊。再次,在一些實例中,運動估計單元42與運動補償單元44可功能上整合。在接收到當前視訊區塊之PU的運動向量後,運動補償單元44就可在參考圖像清單中之一者中找到運動向量所指向之預測性區塊的位置。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差值,如下文所論述。一般而言,運動估計單元42相對於明度分量而執行運動估計,且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30用來解碼視訊截塊之視訊區塊。 如上文所描述,作為由運動估計單元42及運動補償單元44執行之框間預測的替代方案,框內預測單元46可框內預測當前區塊。詳言之,框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中,框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊,且框內預測單元46 (或在一些實例中為模式選擇單元40)可自經測試模式選擇待使用之適當框內預測模式。 舉例而言,框內預測單元46可使用對於各種經測試框內預測模式的速率-失真分析來計算速率-失真值,且在經測試模式之中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與原始、未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量,以及用以產生經編碼區塊之位元速率(亦即,位元之數目)。框內預測單元46可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在選擇用於區塊之框內預測模式之後,框內預測單元46可將指示用於區塊之選定框內預測的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在經傳輸位元串流中包括以下各者:組態資料,其可包括複數個框內預測模式指數表及複數個經修改框內預測模式指數表(亦被稱作碼字映射表);編碼各種區塊之上下文的定義;及待用於該等上下文中之每一者的最可能框內預測模式、框內預測模式指數表及經修改框內預測模式指數表的指示。 視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之組件。轉換處理單元52將轉換(諸如離散餘弦轉換(DCT)或概念上相似轉換)應用於殘餘區塊,從而產生包含轉換係數值之視訊區塊。可使用小波轉換、整數轉換、子頻帶轉換、離散正弦轉換(DST)或其他類型之轉換代替DCT。在任何狀況下,轉換處理單元52將轉換應用於殘餘區塊,從而產生轉換係數之區塊。轉換可將殘餘資訊自像素域變換至轉換域,諸如頻域。 另外,在一些實例中,例如,當區塊被框內預測時,轉換處理單元52可將二次轉換(諸如非可分離二次轉換(NSST))應用於由第一轉換產生的轉換係數。轉換處理單元52亦可將用於區塊之二次轉換語法元素之一或多個值傳遞至熵編碼單元56,以供熵編碼。熵編碼單元56可根據本發明之技術來熵編碼如下文關於圖3更詳細地所論述的此等及/或其他語法元素(例如,二次轉換語法元素或其他傳信單元語法元素)。 轉換處理單元52可將所得轉換係數發送至量化單元54。量化單元54量化轉換係數以進一步縮減位元速率。量化程序可縮減與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。 在量化之後,熵編碼單元56熵編碼經量化轉換係數(及用於相關語法元素之任何對應值,相關語法元素係諸如二次轉換語法元素、傳信單元語法元素、寫碼工具語法元素、增強型多重轉換(EMT)語法元素,或其類似者)。舉例而言,熵編碼單元56可執行上下文調適性可變長度寫碼(CAVLC)、上下文調適性二進位算術寫碼(CABAC)、基於語法之上下文調適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下,上下文可基於相鄰區塊。在熵編碼單元56之熵寫碼之後,可將經編碼位元串流傳輸至另一裝置(例如,視訊解碼器30)或加以存檔以供稍後傳輸或擷取。 根據本發明之技術,視訊編碼器20可編碼在傳信單元層級之某些語法元素。傳信單元通常包括關於視訊資料之兩個或多於兩個區塊(例如,寫碼樹型區塊(CTB)或寫碼單元(CU))之語法元素。舉例而言,區塊可對應於共同QTBT結構之不同分支/節點,或對應於相異QTBT結構。 如上文所論述,在一個實例中,視訊編碼器20可推遲傳信單元之傳信語法元素直至視訊編碼器20遇到彼等傳信單元語法元素所相關的區塊為止。以此方式,若傳信單元最終不包括傳信單元語法元素所相關的任何區塊,則視訊編碼器20可完全避免編碼傳信單元語法元素。若傳信單元確實含有傳信單元語法元素所相關的區塊,則視訊編碼器20可編碼此等語法元素以形成按編碼/解碼次序在傳信單元語法元素不相關的區塊之後及在傳信單元語法元素所相關的區塊之前的位元串流之部分。傳信單元語法元素可包括NSST資訊(NSST旗標及/或指數)、EMT資訊(EMT旗標及/或指數)或其類似者中之任一者或全部。 舉例而言,模式選擇單元40可判定經框內預測區塊得到零抑或非零殘餘(如由求和器50所計算)。模式選擇單元40可等待用於傳信單元的傳信單元語法元素之判定直至具有非零殘餘的經框內預測區塊(亦即,具有至少一個非零係數之殘餘區塊)已被編碼為止。在識別具有非零殘餘之經框內預測區塊之後,模式選擇單元40可判定待編碼用於包括經框內預測區塊之傳信單元的一或多個傳信單元語法元素,且此外,熵編碼單元56可熵編碼按編碼/解碼次序在傳信單元之其他區塊之後但在傳信單元之經框內預測區塊之前的位置處的傳信單元語法元素之值。 逆量化單元58及逆轉換單元60分別應用逆量化及逆轉換以重新建構像素域中之殘餘區塊。詳言之,求和器62將經重新建構殘餘區塊與由運動補償單元44或框內預測單元46早先產生之運動補償預測區塊相加,以產生用於儲存於參考圖像記憶體64中之經重新建構視訊區塊。該經重新建構視訊區塊可由運動估計單元42及運動補償單元44使用,作為參考區塊以框間寫碼後續視訊圖框中之區塊。 圖2之視訊編碼器20表示可經組態以進行以下操作之視訊編碼器之實例:判定用於視訊資料區塊之二次轉換(例如,非可分離二次轉換(NSST))語法元素之最大值;及基於經判定最大值來二值化二次轉換(例如,NSST)語法元素之值。視訊編碼器20可進一步熵編碼二次轉換(例如,NSST)語法元素之值。 圖3為根據本發明之技術的可經組態以執行CABAC之實例熵編碼單元56的方塊圖。熵編碼單元56最初接收語法元素118。若語法元素118已經為二元值語法元素,則可跳過二值化步驟。若語法元素118為非二元值語法元素,則二值化器120二值化語法元素。 二值化器120執行非二元值至一連串二元決策之映射。此等二元決策可被稱作「位元子」。舉例而言,對於轉換係數層級,可將層級之值分解成連續位元子,每一位元子指示係數層級之絕對值是否大於某一值。舉例而言,對於轉換係數,位元子0 (有時被稱為有效值旗標)指示轉換係數層級之絕對值是否大於0;位元子1指示轉換係數層級之絕對值是否大於1;等等。可針對每一非二元值語法元素產生唯一映射。 二值化器120將每一位元子傳遞至熵編碼單元56之二進位算術編碼側。亦即,針對一組預定非二元值語法元素,每一位元子類型(例如,位元子0)係在下一位元子類型(例如,位元子1)之前被編碼。根據本發明之技術,當二值化經框內預測之視訊資料區塊的二次轉換語法元素(諸如非可分離二次轉換(NSST)語法元素)之值時,二值化器120可(例如)基於用以預測區塊之框內預測模式及/或其他參數(諸如區塊之大小)來判定用於區塊之二次轉換(例如,NSST)語法元素之最大可能值。 在一個實例中,若用於區塊之框內預測模式為用於色度分量之DC、平面或LM模式,則二值化器120判定NSST指數之最大可能值等於3,且否則NSST指數之最大可能值等於4。二值化器120接著基於經判定最大可能值不管經判定最大可能值而使用共同二值化技術(例如,不管NSST指數之經判定最大可能值為3抑或4而使用截斷一元二值化)來二值化NSST指數之實際值。 可以常規模式或旁路模式執行熵編碼。在旁路模式中,旁路編碼引擎126使用固定機率模型(例如,使用哥倫布-萊斯或指數哥倫布編碼)來執行算術編碼。旁路模式通常用於更多可預測語法元素。 常規模式CABAC中之熵編碼涉及執行基於上下文之二進位算術編碼。通常執行常規模式CABAC以在給出先前經寫碼位元子之值的情況下編碼位元子之值的機率可預測所針對的位元子值。上下文模型化器122判定位元子為最不可能符號(LPS)之機率。上下文模型化器122將位元子值及上下文模型(例如,機率狀態σ)輸出至常規編碼引擎124。上下文模型可為用於一系列位元子之初始上下文模型,或上下文模型化器122可基於先前經編碼位元子之經寫碼值來判定上下文模型。上下文模型化器122可基於先前經寫碼位元子為MPS抑或LPS來更新上下文狀態。 根據本發明之技術,上下文模型化器122可經組態以基於上文所論述的二次轉換語法元素之經判定最大可能值來判定用於熵編碼二次轉換語法元素(諸如NSST語法元素)之上下文模型。 在上下文模型化器122判定上下文模型及機率狀態σ之後,常規編碼引擎124使用上下文模型而對位元子值執行BAC。替代地,在旁路模式中,旁路編碼引擎126旁路編碼來自二值化器120之位元子值。在任一狀況下,熵編碼單元56輸出包括經熵編碼資料之經熵編碼位元串流。 以此方式,圖1及圖2之視訊編碼器20 (及關於圖3所描述之其熵編碼單元56)表示包括以下各者之視訊編碼器之實例:記憶體,其經組態以儲存視訊資料;及一或多個處理器,其實施於電路系統中且經組態以進行以下操作:使用二次轉換來轉換視訊資料區塊之中間轉換係數;判定用於區塊之二次轉換語法元素之最大可能值,二次轉換語法元素之值表示二次轉換;不管最大可能值而使用共同二值化方案來二值化二次轉換語法元素之值;及熵編碼區塊之二次轉換語法元素之經二值化值以形成表示用於區塊之二次轉換之經二值化值。 圖4為說明可實施用於二值化二次轉換指數之技術之視訊解碼器30之實例的方塊圖。在圖4之實例中,視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、逆量化單元76、逆轉換單元78、參考圖像記憶體82及求和器80。在一些實例中,視訊解碼器30可執行與關於視訊編碼器20 (圖2)所描述之編碼遍次大體上互逆的解碼遍次。 在一些實例中,熵解碼單元70解碼傳信單元之某些語法元素。舉例而言,視訊解碼器30可判定視訊資料之兩個或多於兩個區塊對應於共同傳信單元。熵解碼單元70可根據本發明之技術來熵解碼用於傳信單元之語法元素。舉例而言,熵解碼單元70可熵解碼二次轉換語法元素(諸如非可分離二次轉換(NSST)指數及/或旗標)、增強型多重轉換(EMT)語法元素(例如,EMT指數及/或旗標)或其類似者。熵解碼單元70可熵解碼在傳信單元之一或多個區塊之後但在傳信單元之一或多個其他區塊之前的傳信單元語法元素,且僅將傳信單元語法元素之值應用於按解碼次序在語法元素之後的區塊。 此外,視訊解碼器30可自語法元素之存在推斷某些資料,例如,緊隨此等傳信單元語法元素的區塊被框間預測且具有非零殘餘。因此,視訊解碼器可判定相關區塊層級語法元素(例如,指示區塊被框內預測且區塊被寫碼(亦即,具有非零殘餘值))不存在於位元串流中,且藉此判定位元串流之後續資料應用於其他語法元素。 另外,熵解碼單元70可如下文關於圖5更詳細地所論述而熵解碼資料。舉例而言,根據本發明之技術,熵解碼單元70可不管二次轉換語法元素值之最大可能值而使用共同二值化方案(例如,截斷一元二值化)來反向二值化二次轉換語法元素值。 運動補償單元72可基於自熵解碼單元70接收之運動向量來產生預測資料,而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符來產生預測資料。 在解碼程序期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級處接收語法元素。 當視訊截塊被寫碼為經框內寫碼(I)截塊時,框內預測單元74可基於經傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料來產生當前視訊截塊之視訊區塊的預測資料。當視訊圖框被寫碼為經框間寫碼(亦即,B或P)截塊時,運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素來產生用於當前視訊截塊之視訊區塊的預測性區塊(假定視訊區塊被框間預測)。可自參考圖像清單中之一者內的參考圖像中之一者產生框間預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像而使用預設建構技術來建構參考圖框清單:清單0及清單1。P及B截塊之區塊亦可被框內預測。 運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊截塊之視訊區塊的預測資訊,且使用該預測資訊以產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言,運動補償單元72使用經接收語法元素中之一些以判定用以寫碼視訊截塊之視訊區塊的預測模式(例如,框內或框間預測)、框間預測截塊類型(例如,B截塊或P截塊)、用於該截塊之參考圖像清單中之一或多者的建構資訊、用於該截塊之每一經框間編碼視訊區塊的運動向量、用於該截塊之每一經框間寫碼視訊區塊的框間預測狀態,及用以解碼當前視訊截塊中之視訊區塊的其他資訊。 運動補償單元72亦可基於內插濾波器來執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器,以計算參考區塊之子整數像素的經內插值。在此狀況下,運動補償單元72可根據經接收語法元素來判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器以產生預測性區塊。 逆量化單元76逆量化(亦即,解量化)位元串流中所提供且由熵解碼單元70解碼之經量化轉換係數。逆量化程序可包括使用由視訊解碼器30針對視訊截塊中之每一視訊區塊計算之量化參數QPY
以判定應被應用的量化程度且同樣地判定逆量化程度。 逆轉換單元78將逆轉換(例如,逆DCT、逆整數轉換或概念上相似逆轉換程序)應用於轉換係數,以便在像素域中產生殘餘區塊。 在運動補償單元72基於運動向量及其他語法元素來產生用於當前視訊區塊之預測性區塊之後,視訊解碼器30藉由求和來自逆轉換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊而形成經解碼視訊區塊。求和器80表示執行此求和運算之組件。視需要,亦可應用解區塊濾波器以濾波經解碼區塊以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)以使像素轉變平滑,或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中,參考圖像記憶體82儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以供稍後呈現於顯示裝置(諸如圖1之顯示裝置32)上。 圖4之視訊解碼器30表示可經組態以進行以下操作之視訊解碼器之實例:判定用於視訊資料區塊之二次轉換(例如,非可分離二次轉換(NSST))語法元素之最大值;及基於經判定最大值來二值化NSST語法元素之值。視訊解碼器30可進一步熵解碼NSST語法元素之值。 圖5為根據本發明之技術的可經組態以執行CABAC之實例熵編碼單元70的方塊圖。圖5之熵解碼單元70以與圖5所描述之熵編碼單元56之方式互逆的方式執行CABAC。熵解碼單元70自位元串流218接收經熵編碼位元。熵解碼單元70基於經熵編碼位元係使用旁路模式抑或常規模式被熵編碼而將經熵編碼位元提供至上下文模型化器220或旁路解碼引擎222。若經熵編碼位元係以旁路模式被熵編碼,則旁路解碼引擎222使用旁路解碼(諸如哥倫布-萊斯或指數哥倫布解碼)以熵解碼經熵編碼位元。 若經熵編碼位元係以常規模式被熵編碼,則上下文模型化器220可判定用於經熵編碼位元之機率模型且常規解碼引擎224可熵解碼經熵編碼位元以產生非二元值語法元素之位元子(或在二元值的情況下之語法元素自身)。 上下文模型化器220可使用本發明之技術來判定某些語法元素(諸如二次轉換語法元素及/或增強型多重轉換(EMT)語法元素(例如,NSST指數、NSST旗標、EMT指數、EMT旗標或其類似者))之上下文模型及機率狀態。舉例而言,上下文模型化器220可基於NSST語法元素之經判定最大可能值來判定上下文模型。熵解碼單元70可基於(例如) NSST語法元素所對應的區塊之框內預測模式及/或區塊之大小來判定NSST語法元素之最大可能值。 在上下文模型化器220判定上下文模型及機率狀態σ之後,常規解碼引擎224基於經判定上下文模型而對位元子值執行二進位算術解碼。 在常規解碼引擎224或旁路解碼引擎222熵解碼位元子之後,反向二值化器230可執行反向映射以將位元子變換回成非二元值語法元素之值。根據本發明之技術,反向二值化器230可不管二次轉換語法元素值之最大可能值而使用共同二值化方案(例如,截斷一元二值化)來反向二值化二次轉換語法元素值(諸如NSST、ROT及/或EMT值)。 舉例而言,當反向二值化經框內預測的視訊資料區塊之二次轉換語法元素(諸如非可分離二次轉換(NSST)語法元素)之值時,反向二值化器230可(例如)基於用以預測區塊之框內預測模式及/或其他參數(諸如區塊之大小)來判定用於區塊之二次轉換(例如,NSST)語法元素之最大可能值。 在一個實例中,若用於區塊之框內預測模式為用於色度分量的DC、平面或LM模式,則反向二值化器230判定NSST指數之最大可能值等於3,且否則NSST指數之最大可能值等於4。反向二值化器230接著基於經判定最大可能值不管經判定最大可能值而使用共同二值化技術(例如,不管NSST指數之經判定最大可能值為3抑或4而使用截斷一元反向二值化)自經熵解碼位元子字串反向二值化NSST指數之實際值。 以此方式,圖1及圖4之視訊解碼器30 (包括關於圖5所描述的熵解碼單元70)表示包括以下各者之視訊解碼器之實例:記憶體,其經組態以儲存視訊資料;及一或多個處理器,其實施於電路系統中且經組態以進行以下操作:判定用於視訊資料區塊之二次轉換語法元素之最大可能值;熵解碼區塊之二次轉換語法元素之值以形成表示用於區塊之二次轉換之經二值化值;不管最大可能值而使用共同二值化方案來反向二值化二次轉換語法元素之值以判定用於區塊之二次轉換;及使用經判定二次轉換來逆轉換區塊之轉換係數。 圖6為根據本發明之技術的說明編碼視訊資料之實例方法的流程圖。出於實例及闡釋之目的,關於如上文關於圖1、圖2及圖3所論述之視訊編碼器20及其組件來闡釋圖6之方法。然而,應理解,在其他實例中,其他視訊編碼裝置可執行此方法或符合本發明之技術的相似方法。 最初,視訊編碼器20接收待編碼區塊(250)。在此實例中,假定視訊編碼器20之模式選擇單元40判定以框內預測區塊(252)。儘管圖6中未展示,但此決策可包括使用各種預測模式(包括框內或框間預測模式)來預測區塊,及最終判定區塊將使用特定框內預測模式(例如,角度模式或非角度模式,諸如DC、平面或LM模式)被框內預測。視訊編碼器20之框內預測單元46接著使用框內預測模式來框內預測區塊,從而產生經預測區塊。 求和器50接著計算殘餘區塊(254)。詳言之,求和器50計算原始區塊與經預測區塊之間的逐像素差以計算殘餘區塊,其中殘餘區塊之每一值(樣本)表示對應像素差。 轉換處理單元52接著使用第一轉換(諸如DCT或EMT)來轉換殘餘區塊(256)以產生中間轉換係數。在此實例中,轉換處理單元52亦將二次轉換(諸如NSST或ROT)應用於由第一轉換引起之中間轉換係數(258)。在一些實例中,轉換處理單元52可自複數個可用二次轉換選擇二次轉換。因此,轉換處理單元52可產生一或多個二次轉換語法元素(例如,NSST旗標、NSST指數、ROT旗標、ROT指數、EMT旗標及/或EMT指數)之值,且將此等語法元素值提供至熵編碼單元56。 量化單元54量化由二次(或任何後續)轉換產生之最終轉換係數,且熵編碼單元56熵編碼經量化轉換係數(260),以及區塊之其他語法元素(例如,表示預測模式之語法元素、表示區塊之大小的分割區語法元素或其類似者)。在一些實例中,熵編碼單元56亦熵編碼包括區塊之傳信單元之傳信單元語法元素。若區塊為被應用此等傳信單元語法元素的第一區塊,則熵編碼單元56可編碼傳信單元語法元素且在輸出用於區塊的其他基於區塊之語法元素之前輸出經熵編碼傳信單元語法元素,如上文所論述。 熵編碼單元56亦熵編碼如上文所論述之二次轉換語法。詳言之,二值化器120根據本發明之技術來二值化二次轉換語法元素(264)。舉例而言,二值化器120可執行特定二值化方案(諸如截斷一元二值化),而不管二次轉換語法元素之最大可能值。 二值化器120可基於(例如)用以框內預測區塊之框內預測模式來判定二次轉換語法元素之最大可能值,如上文所論述。舉例而言,若框內預測模式為非角度模式,則二值化器120可判定二次轉換語法元素之最大可能值為3,但若框內預測模式為角度模式,則二值化器120可判定二次轉換語法元素之最大可能值為4。儘管可在二值化期間使用此判定,但在一些實例中,此判定不會影響實際二值化方案(例如,截斷一元二值化),二值化器120執行該實際二值化方案以二值化二次轉換語法元素值。 在二值化之後,上下文模型化器122可判定用以熵編碼二次轉換語法元素之上下文(266)。在一些實例中,上下文模型化器122基於如上文所論述而判定的二次轉換語法元素之最大可能值來選擇上下文。常規編碼引擎124接著可使用經判定上下文來熵編碼二次轉換語法元素之經二值化值(268)。 以此方式,圖6之方法表示編碼視訊資料之方法之實例,該方法包括:使用二次轉換來轉換視訊資料區塊之中間轉換係數;判定用於區塊之二次轉換語法元素之最大可能值,二次轉換語法元素之值表示二次轉換;不管最大可能值而使用共同二值化方案來二值化二次轉換語法元素之值;及熵編碼區塊之二次轉換語法元素之經二值化值以形成表示用於區塊之二次轉換之經二值化值。 圖7為根據本發明之技術的說明解碼視訊資料之方法之實例的流程圖。出於實例及闡釋之目的,關於如上文關於圖1、圖4及圖5所論述之視訊解碼器30及其組件來闡釋圖7之方法。然而,應理解,在其他實例中,其他視訊編碼裝置可執行此方法或符合本發明之技術的相似方法。 最初,熵解碼單元70熵解碼視訊資料區塊之預測資訊及經量化轉換係數(280)。根據本發明之技術,熵解碼單元70亦熵解碼用於區塊之二次轉換語法元素。詳言之,上下文模型化器220判定用以熵解碼二次轉換語法元素之上下文(282)。上下文模型化器220可基於二次轉換語法元素之最大可能值來判定上下文。舉例而言,若框內預測模式為非角度模式(諸如DC、平面或LM模式),則上下文模型化器220可判定二次轉換語法元素之最大可能值為3,但否則,若框內預測模式為角度模式,則上下文模型化器220可判定最大可能值為4。上下文模型化器220接著可自二次轉換語法元素之最大可能值判定上下文。常規解碼引擎224接著可使用經判定上下文來熵解碼二次轉換語法元素之資料(284)。 反向二值化器230接著可反向二值化用於二次轉換語法元素之經熵解碼資料(286),以產生二次轉換語法元素之值。此值可表示(例如)二次轉換是否將被應用(例如,NSST旗標或ROT旗標),且若如此,則可表示複數個二次轉換中之哪一者將被應用(例如,NSST指數或ROT指數)。 逆量化單元76接著可逆量化用於區塊之經熵解碼係數(288)。逆轉換單元78可使用二次轉換語法元素之值以判定是否執行二次轉換,且若如此,則判定應用複數個二次轉換中之哪一者。圖7中假定應用二次轉換。因此,逆轉換78最初使用二次轉換來逆轉換轉換係數(290)以產生中間轉換係數,接著使用第一轉換(諸如DCT或EMT)來逆轉換中間轉換係數(292)以再生用於區塊之殘餘區塊。 框內預測單元74亦使用所指示框內預測模式來框內預測區塊(294)以產生用於區塊之經預測區塊。求和器80接著逐像素地組合經預測區塊與殘餘區塊以產生經解碼區塊(296)。最終,視訊解碼器30輸出經解碼區塊。視訊解碼器30亦可在參考圖像記憶體82中儲存經解碼區塊,例如,以用來框內或框間預測隨後解碼之區塊。 以此方式,圖7之方法表示包括以下操作之方法之實例:判定用於視訊資料區塊之二次轉換語法元素之最大可能值;熵解碼區塊之二次轉換語法元素之值以形成表示用於區塊之二次轉換之經二值化值;基於經判定最大可能值來反向二值化二次轉換語法元素之值以判定用於區塊之二次轉換;及使用經判定二次轉換來逆轉換區塊之轉換係數。 應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行,可添加、合併或完全省略該等動作或事件(例如,並非所有所描述動作或事件對於該等技術之實踐皆係必要的)。此外,在某些實例中,動作或事件可同時執行(例如,經由多執行緒處理、中斷處理或多個處理器)而非依序執行。 在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括:電腦可讀儲存媒體,其對應於有形媒體(諸如資料儲存媒體);或通信媒體,其包括促進將電腦程式自一處傳送至另一處(例如,根據通信協定)之任何媒體。以此方式,電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 作為實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置、快閃記憶體,或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又,將任何連接適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫時性媒體,而是有關非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟運用雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 指令可由一或多個處理器執行,一或多個處理器係諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效整合式或離散邏輯電路系統。因此,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編碼解碼器中。又,該等技術可完全地實施於一或多個電路或邏輯元件中。 本發明之技術可實施於廣泛多種裝置或設備中,該等裝置或設備包括無線手機、積體電路(IC)或IC集合(例如,晶片集)。在本發明中描述各種組件、模組或單元,以強調經組態以執行所揭示技術之裝置的功能態樣,但未必需要由不同硬體單元來實現。更確切地,如上文所描述,各種單元可組合於編碼解碼器硬體單元中,或結合合適軟體及/或韌體藉由互操作性硬體單元(包括如上所描述之一或多個處理器)之集合來提供。 已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統12‧‧‧源裝置14‧‧‧目的地裝置16‧‧‧電腦可讀媒體18‧‧‧視訊源20‧‧‧視訊編碼器22‧‧‧輸出介面28‧‧‧輸入介面30‧‧‧視訊解碼器32‧‧‧顯示裝置40‧‧‧模式選擇單元42‧‧‧運動估計單元44‧‧‧運動補償單元46‧‧‧框內預測單元48‧‧‧分割單元50‧‧‧求和器52‧‧‧轉換處理單元54‧‧‧量化單元56‧‧‧熵編碼單元58‧‧‧逆量化單元60‧‧‧逆轉換單元62‧‧‧求和器64‧‧‧參考圖像記憶體70‧‧‧熵解碼單元72‧‧‧運動補償單元74‧‧‧框內預測單元76‧‧‧逆量化單元78‧‧‧逆轉換單元80‧‧‧求和器82‧‧‧參考圖像記憶體118‧‧‧語法元素120‧‧‧二值化器122‧‧‧上下文模型化器124‧‧‧常規編碼引擎126‧‧‧旁路編碼引擎218‧‧‧位元串流220‧‧‧上下文模型化器222‧‧‧旁路解碼引擎224‧‧‧常規解碼引擎230‧‧‧反向二值化器250‧‧‧步驟252‧‧‧步驟254‧‧‧步驟256‧‧‧步驟258‧‧‧步驟260‧‧‧步驟262‧‧‧步驟264‧‧‧步驟266‧‧‧步驟268‧‧‧步驟280‧‧‧步驟282‧‧‧步驟284‧‧‧步驟286‧‧‧步驟288‧‧‧步驟290‧‧‧步驟292‧‧‧步驟294‧‧‧步驟296‧‧‧步驟298‧‧‧步驟
圖1為說明可利用用於二值化二次轉換指數之技術之實例視訊編碼及解碼系統的方塊圖。 圖2為說明可實施用於二值化二次轉換指數之技術之視訊編碼器之實例的方塊圖。 圖3為根據本發明之技術的可經組態以執行CABAC之實例熵編碼單元的方塊圖。 圖4為說明可實施用於二值化二次轉換指數之技術之視訊解碼器之實例的方塊圖。 圖5為根據本發明之技術的可經組態以執行CABAC之實例熵編碼單元的方塊圖。 圖6為根據本發明之技術的說明編碼視訊資料之實例方法的流程圖。 圖7為根據本發明之技術的說明解碼視訊資料之方法之實例的流程圖。
280‧‧‧步驟
282‧‧‧步驟
284‧‧‧步驟
286‧‧‧步驟
288‧‧‧步驟
290‧‧‧步驟
292‧‧‧步驟
294‧‧‧步驟
296‧‧‧步驟
298‧‧‧步驟
Claims (38)
- 一種解碼視訊資料之方法,該方法包含:判定用於一視訊資料區塊之一二次轉換語法元素之一最大可能值;不管該區塊為一明度區塊抑或一色度區塊,而判定用於該第二轉換語法元素之一序數第一位元之一第一上下文模型;熵解碼該區塊之該二次轉換語法元素之一值以形成表示用於該區塊之二次轉換之一經二值化值,其中熵解碼該值包含:使用該第一上下文模型熵解碼該序數第一位元;當該區塊為該明度區塊,除了該序數第一位元,使用一第一組上下文來對該二次轉換語法元素的第二數目個位元進行熵解碼;當該區塊為該色度區塊時,除了該序數第一位元,使用不同於該第一組上下文之一第二組上下文來對該二次轉換語法元素的該第二數目個位元進行熵解碼; 不管該最大可能值而使用一共同反向二值化方案來反向二值化該二次轉換語法元素之該值以判定用於該區塊之該二次轉換;及使用一第一轉換與該經判定二次轉換來逆轉換該區塊之轉換係數。
- 如請求項1之方法,其中判定該第一上下文模型包含基於該經判定最大可能值來判定待用以熵解碼該二次轉換語法元素之該值之該第一上下文模型。
- 如請求項2之方法,其中對該二次轉換語法元素之該值之一預定數目個位元包含該序數第一位元與該第二數目個位元,該方法進一步包含使用旁路模式來熵解碼該二次轉換語法元素之該值之剩餘位元,其不包含該序數第一位元與該第二數目個位元。
- 如請求項3之方法,其中熵解碼包含在不運用上下文模型化的情況下熵解碼除了該預定數目個位元以外之位元。
- 如請求項3之方法,其中判定該上下文模型包含基於該區塊為該明度區塊抑或該色度區塊來判定該上下文模型。
- 如請求項2之方法,其中熵解碼該二次轉換語法元素包含至少部分地基於一位置相依框內預測組合(PDPC)語法元素之一值來判定用於熵解碼該二次轉換語法元素之位元之一或多個上下文。
- 如請求項6之方法,其中判定該等上下文進一步包含基於用於該區塊之一預測模式或該區塊之一大小中之一或多者來判定該等上下文。
- 如請求項1之方法,其中該二次轉換語法元素包含一非可分離二次轉換(NSST)指數語法元素或一旋轉轉換(ROT)指數語法元素。
- 如請求項1之方法,其中反向二值化包含不管該經判定最大可能值而對該二次轉換語法元素之該值進行反向截斷一元二值化。
- 如請求項1之方法,其中判定該最大可能值包含自用於該區塊之一預測模式判定該最大可能值。
- 如請求項10之方法,其中判定該最大可能值包含當用於該區塊之該預測模式為一非角度框內預測模式時判定該最大可能值等於3,該非角度框內預測模式包含平面框內預測模式、DC框內預測模式或LM模式中之一者。
- 如請求項10之方法,其中判定該最大可能值包含當用於該區塊之該預測模式為一角度框間預測模式時判定該最大可能值等於4。
- 如請求項1之方法,其中該二次轉換語法元素包含一非可分離二次轉換(NSST)指數語法元素,該方法進一步包含當該NSST語法元素之該值不等於零時判定該視訊資料區塊不包括一位置相依框內預測組合(PDPC)語法元素。
- 如請求項1之方法,其進一步包含對用於該區塊之一位置相依框內預測組合(PDPC)語法元素之一值進行基於上下文之熵解碼,包含至少部分地基於該二次轉換語法元素之一值來判定用於該PDPC語法元素之該值之一或多個上下文。
- 如請求項1之方法,其中該區塊包含一寫碼單元之一第一分量,該寫碼單元包含一或多個額外分量,該方法進一步包含將該二次轉換語法元素之該值應用於該寫碼單元之該一或多個額外分量中之至少一者。
- 如請求項15之方法,其中該第一分量包含一第一色度分量,該一或多個額外分量包含一第二色度分量,且其中 應用該二次轉換語法元素之該值包含將該二次轉換語法元素之該值應用於該第二色度分量。
- 如請求項16之方法,其中該一或多個額外分量包含一明度分量,且其中應用該二次轉換語法元素之該值包含將該二次轉換語法元素之該值應用於該明度分量。
- 如請求項15之方法,其進一步包含基於該區塊之非零係數之一數目、該等非零係數之絕對值之一總和或用於該區塊之一預測模式中的一或多者來判定該二次轉換語法元素具有一預定預設值。
- 如請求項1之方法,其中該區塊包含一傳信單元之一第一區塊,其中該二次轉換語法元素包含該傳信單元之一語法元素,該方法進一步包含將該二次轉換語法元素之該值應用於該傳信單元之一第二區塊,其中該第二區塊相鄰於該第一區塊。
- 如請求項19之方法,其中該第一區塊包含一第一寫碼樹區塊(CTB)之至少一部分,且該第二區塊包含不同於該第一CTB之一第二CTB之至少一部分。
- 如請求項19之方法,其進一步包含熵解碼表示將在該第一區塊及該第二區塊之解碼期間被應用之一寫碼工具的該傳信單元之一第二語法元素,該方法進一步包含:使用該寫碼工具來解碼該第一區塊;及使用該寫碼工具來解碼該第二區塊。
- 如請求項19之方法,其進一步包含熵解碼表示將在該第一區塊及該第二區塊之解碼期間被應用之各別寫碼工具的該傳信單元之複數個語法元素,該方法進一步包含:使用該等寫碼工具中之每一者來解碼該第一區塊;及使用該等寫碼工具中之每一者來解碼該第二區塊。
- 如請求項1之方法,其中該區塊包含一傳信單元之一第一區塊,其中該二次轉換語法元素包含該傳信單元之一語法元素,該方法進一步包含熵解碼該傳信單元之複數個語法元素,該複數個語法元素包括該二次轉換語法元素以及一增強型多重轉換(EMT)旗標或一EMT指數中之一或多者,該二次轉換語法元素包含一非可分離二次轉換(NSST)指數或一NSST旗標中之至少一者。
- 如請求項23之方法,其進一步包含使用根據以下各者中之至少一者所判定之各別上下文來熵解碼該複數個語法元素:該第一區塊及該第二區塊中之每一者中之非零轉換係數之一數目、該第一區塊及該第二區塊中之該等非零轉換係數之一絕對總和,或該第一區塊及該第二區塊之轉換單元中之該等非零轉換係數之位置。
- 如請求項23之方法,其進一步包含:判定該第一區塊及該第二區塊之非零係數之一數目在可能非零係數之一範圍內,該範圍係與對應於一上下文之一子群組相關聯;及使用該上下文來熵解碼該複數個語法元素。
- 如請求項23之方法,其進一步包含使用根據以下各者中之至少一者所判定之各別上下文來熵解碼該複數個語法元素:該第一區塊及該第二區塊中之最後非零係數之位置、該等最後非零係數之值,或該等最後非零係數之正負號值。
- 如請求項1之方法,其中該區塊包含一傳信單元之一後續區塊,其中該二次轉換語法元素包含該傳信單元之一 語法元素,該傳信單元進一步包含與該後續區塊分離且按掃描次序在該後續區塊之前的一或多個區塊,該方法進一步包含:解碼該傳信單元之一語法元素之一值,該語法元素之該值表示待應用於按解碼次序在該語法元素之後的區塊的一寫碼工具,其中解碼該語法元素之該值包含在解碼該一或多個區塊之資料之後及在解碼該後續區塊之資料之前解碼該語法元素之該值,其中解碼該後續區塊包含將該寫碼工具應用於該後續區塊。
- 如請求項27之方法,其中該語法元素包含該二次轉換語法元素或一增強型多重轉換(EMT)語法元素中之至少一者。
- 一種用於解碼視訊資料之裝置,該裝置包含:一記憶體,其經組態以儲存視訊資料;及一或多個處理器,其實施於電路系統中且經組態以進行以下操作:判定用於一視訊資料區塊之一二次轉換語法元素之一最大可能值; 不管該區塊為一明度區塊抑或一色度區塊,而判定用於該第二轉換語法元素之一序數第一位元之一第一上下文模型;熵解碼該區塊之該二次轉換語法元素之一值以形成表示用於該區塊之二次轉換之一經二值化值,其中對該第二語法元素之該值進行熵解碼,該一或多個處理器經組態以進行以下操作:使用該第一上下文模型熵解碼該序數第一位元;當該區塊為該明度區塊,除了該序數第一位元,使用一第一組上下文來對該二次轉換語法元素的第二數目個位元進行熵解碼;當該區塊為該色度區塊時,除了該序數第一位元,使用不同於該第一組上下文之一第二組上下文來對該二次轉換語法元素的該第二數目個位元進行熵解碼;不管該最大可能值而使用一共同二值化方案來反向二值化該二次轉換語法元素之該值以判定用於該區塊之該二次轉換;及使用一第一轉換與該經判定二次轉換來逆轉換該區塊之轉換係數。
- 如請求項29之裝置,其中該一或多個處理器經進一步組態以基於該經判定最大可能值來判定待用以熵解碼該二次轉換語法元素之該值之該第一上下文模型。
- 如請求項29之裝置,其中該共同反向二值化方案包含反向截斷一元二值化,且其中該一或多個處理器經組態以不管該經判定最大可能值而對該二次轉換語法元素之該值進行反向截斷一元二值化。
- 如請求項29之裝置,其中該一或多個處理器經組態以自用於該區塊之一預測模式判定該最大可能值。
- 如請求項29之裝置,其中該區塊包含一寫碼單元之一第一分量,該寫碼單元包含一或多個額外分量,且其中該一或多個處理器經進一步組態以將該二次轉換語法元素之該值應用於該寫碼單元之該一或多個額外分量中之至少一者。
- 如請求項29之裝置,其中該區塊包含一傳信單元之一第一區塊,其中該二次轉換語法元素包含該傳信單元之一語法元素,且其中該一或多個處理單元經組態以將該二次轉換語法元素之該值應用於該傳信單元之一第二區塊,其中該第二區塊相鄰於該第一區塊。
- 如請求項29之裝置,其中該區塊包含一傳信單元之一第一區塊,其中該二次轉換語法元素包含該傳信單元之一語法元素,且其中該一或多個處理器經進一步組態以熵解碼該傳信單元之複數個語法元素,該複數個語法元素包括該二次轉換語法元素以及一增強型多重轉換(EMT)旗標或一EMT指數中之一或多者,該二次轉換語法元素包含一非可分離二次轉換(NSST)指數或一NSST旗標中之至少一者。
- 如請求項29之裝置,其中該區塊包含一傳信單元之一後續區塊,其中該二次轉換語法元素包含該傳信單元之一語法元素,該傳信單元進一步包含與該後續區塊分離且按掃描次序在該後續區塊之前的一或多個區塊,且其中該一或多個處理器經進一步組態以進行以下操作:解碼該傳信單元之一語法元素之一值,該語法元素之該值表示待應用於按解碼次序在該語法元素之後的區塊的一寫碼工具,其中為了解碼該語法元素之該值,該一或多個處理器經組態以在解碼該一或多個區塊之資料之後及在解碼該後續區塊之資料之前解碼該語法元素之該值;及將該寫碼工具應用於該後續區塊。
- 如請求項29之裝置,其進一步包含一攝影機,該攝影機經組態以捕捉該視訊資料。
- 如請求項29之裝置,其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
Applications Claiming Priority (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662331290P | 2016-05-03 | 2016-05-03 | |
US62/331,290 | 2016-05-03 | ||
US201662332425P | 2016-05-05 | 2016-05-05 | |
US62/332,425 | 2016-05-05 | ||
US201662337310P | 2016-05-16 | 2016-05-16 | |
US62/337,310 | 2016-05-16 | ||
US201662340949P | 2016-05-24 | 2016-05-24 | |
US62/340,949 | 2016-05-24 | ||
US201662365853P | 2016-07-22 | 2016-07-22 | |
US62/365,853 | 2016-07-22 | ||
US15/584,859 | 2017-05-02 | ||
US15/584,859 US10708164B2 (en) | 2016-05-03 | 2017-05-02 | Binarizing secondary transform index |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201742458A TW201742458A (zh) | 2017-12-01 |
TWI755394B true TWI755394B (zh) | 2022-02-21 |
Family
ID=58699315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106114689A TWI755394B (zh) | 2016-05-03 | 2017-05-03 | 二值化二次轉換指數 |
Country Status (9)
Country | Link |
---|---|
US (2) | US10708164B2 (zh) |
EP (1) | EP3453176B1 (zh) |
JP (1) | JP6960943B2 (zh) |
KR (1) | KR102575798B1 (zh) |
CN (2) | CN109076230B (zh) |
BR (1) | BR112018072617A2 (zh) |
CA (1) | CA3018197A1 (zh) |
TW (1) | TWI755394B (zh) |
WO (1) | WO2017192705A1 (zh) |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017030418A1 (ko) * | 2015-08-19 | 2017-02-23 | 엘지전자(주) | 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/ 디코딩하는 방법 및 장치 |
CN118890465A (zh) | 2015-11-19 | 2024-11-01 | Lx半导体科技有限公司 | 图像编码/解码方法和图像数据的传输方法 |
KR20170058837A (ko) * | 2015-11-19 | 2017-05-29 | 한국전자통신연구원 | 화면내 예측모드 부호화/복호화 방법 및 장치 |
US10708164B2 (en) | 2016-05-03 | 2020-07-07 | Qualcomm Incorporated | Binarizing secondary transform index |
US10630974B2 (en) * | 2017-05-30 | 2020-04-21 | Google Llc | Coding of intra-prediction modes |
EP3691266A4 (en) * | 2017-09-28 | 2021-07-28 | Sharp Kabushiki Kaisha | IMAGE DECODING DEVICE, AND IMAGE ENCODING DEVICE |
CN116886933A (zh) * | 2017-12-15 | 2023-10-13 | Lg电子株式会社 | 视频编解码方法、存储介质和数据发送方法 |
WO2019117634A1 (ko) * | 2017-12-15 | 2019-06-20 | 엘지전자 주식회사 | 2차 변환에 기반한 영상 코딩 방법 및 그 장치 |
US10567801B2 (en) * | 2018-03-07 | 2020-02-18 | Tencent America LLC | Method and apparatus for video coding with primary and secondary transforms |
WO2019172797A1 (en) * | 2018-03-07 | 2019-09-12 | Huawei Technologies Co., Ltd. | Method and apparatus for harmonizing multiple sign bit hiding and residual sign prediction |
US10491914B2 (en) * | 2018-03-29 | 2019-11-26 | Tencent America LLC | Transform information prediction |
KR20240017106A (ko) * | 2018-04-01 | 2024-02-06 | 엘지전자 주식회사 | 축소된 2차 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 |
WO2019194503A1 (ko) * | 2018-04-01 | 2019-10-10 | 엘지전자 주식회사 | 분할된 블록에 2차 변환을 적용하여 비디오 신호를 처리하는 방법 및 장치 |
WO2019231206A1 (ko) | 2018-05-30 | 2019-12-05 | 디지털인사이트주식회사 | 영상 부호화/복호화 방법 및 장치 |
US10645396B2 (en) * | 2018-06-04 | 2020-05-05 | Tencent America LLC | Method and apparatus for implicit transform splitting |
WO2019235887A1 (ko) * | 2018-06-06 | 2019-12-12 | 엘지전자 주식회사 | 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치 |
US10567752B2 (en) | 2018-07-02 | 2020-02-18 | Tencent America LLC | Method and apparatus for intra prediction for non-square blocks in video compression |
CN116320414A (zh) * | 2018-07-02 | 2023-06-23 | Lg电子株式会社 | 对视频信号进行编解码的方法和非暂态可读存储介质 |
KR102454971B1 (ko) * | 2018-07-06 | 2022-10-14 | 엘지전자 주식회사 | 변환에 기반한 영상 코딩 방법 및 그 장치 |
KR20240017992A (ko) * | 2018-09-02 | 2024-02-08 | 엘지전자 주식회사 | 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치 |
KR20240073151A (ko) * | 2018-09-02 | 2024-05-24 | 엘지전자 주식회사 | 영상 신호를 처리하기 위한 방법 및 장치 |
JP7052075B2 (ja) * | 2018-09-02 | 2022-04-11 | エルジー エレクトロニクス インコーポレイティド | 映像信号を処理するための方法および装置 |
CN115484463B (zh) * | 2018-09-05 | 2024-06-04 | Lg电子株式会社 | 对视频信号进行解码/编码及发送数据的设备 |
CN112840655B (zh) * | 2018-10-08 | 2023-12-01 | 寰发股份有限公司 | 图像与视频编解码中最后有效系数的编解码方法及装置 |
US11128866B2 (en) | 2018-10-18 | 2021-09-21 | Qualcomm Incorporated | Scans and last coefficient position coding for zero-out transforms |
CN116684642A (zh) | 2018-12-06 | 2023-09-01 | Lg电子株式会社 | 图像编解码方法、存储介质和数据发送方法 |
CN116744004A (zh) * | 2018-12-19 | 2023-09-12 | Lg电子株式会社 | 编码设备、解码设备和数据发送设备 |
WO2020125794A1 (en) * | 2018-12-22 | 2020-06-25 | Beijing Bytedance Network Technology Co., Ltd. | Two step cross-component prediction mode |
US11470329B2 (en) * | 2018-12-26 | 2022-10-11 | Tencent America LLC | Method and apparatus for video coding |
WO2020151753A1 (en) * | 2019-01-25 | 2020-07-30 | Mediatek Inc. | Method and apparatus of transform coefficient coding with tb-level constraint |
CN117714716A (zh) | 2019-02-01 | 2024-03-15 | Lg电子株式会社 | 解码设备、编码设备和发送设备 |
US10986339B2 (en) * | 2019-02-08 | 2021-04-20 | Tencent America LLC | Method and apparatus for harmonization between transform skip mode and multiple transform selection |
WO2020182091A1 (en) * | 2019-03-08 | 2020-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Reshaping model in video processing |
CN113574895B (zh) * | 2019-03-11 | 2024-01-30 | 腾讯美国有限责任公司 | 视频编解码方法、装置及存储介质 |
AU2019201649A1 (en) * | 2019-03-11 | 2020-10-01 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a tree of blocks of video samples |
US11025909B2 (en) * | 2019-03-21 | 2021-06-01 | Tencent America LLC | Method and apparatus for video coding |
EP4415358A3 (en) * | 2019-03-26 | 2024-10-16 | LG Electronics Inc. | Transform-based image coding |
US11172211B2 (en) * | 2019-04-04 | 2021-11-09 | Tencent America LLC | Method and apparatus for video coding |
US11991393B2 (en) | 2019-04-16 | 2024-05-21 | Hfi Innovation Inc. | Methods and apparatuses for coding video data with secondary transform |
EP3949407A4 (en) * | 2019-04-16 | 2023-04-12 | HFI Innovation Inc. | METHODS AND APPARATUS FOR ENCODING VIDEO DATA WITH ADAPTIVE SECONDARY TRANSFORMATION SIGNALING DEPENDING ON THE TB-PLANE SYNTAX |
CN116743994A (zh) | 2019-04-23 | 2023-09-12 | 北京字节跳动网络技术有限公司 | 用于处理视频数据的方法和装置 |
US11445174B2 (en) * | 2019-05-06 | 2022-09-13 | Tencent America LLC | Method and apparatus for video coding |
WO2020228673A1 (en) | 2019-05-10 | 2020-11-19 | Beijing Bytedance Network Technology Co., Ltd. | Conditional use of reduced secondary transform for video processing |
CN118381942A (zh) | 2019-05-15 | 2024-07-23 | 株式会社 Xris | 用于对图像信号进行编码/解码的方法及其装置 |
US11032572B2 (en) | 2019-05-17 | 2021-06-08 | Qualcomm Incorporated | Low-frequency non-separable transform signaling based on zero-out patterns for video coding |
WO2020242183A1 (ko) * | 2019-05-27 | 2020-12-03 | 엘지전자 주식회사 | 광각 인트라 예측 및 변환에 기반한 영상 코딩 방법 및 그 장치 |
US11218728B2 (en) * | 2019-06-04 | 2022-01-04 | Tencent America LLC | Method and apparatus for video coding |
KR20210133301A (ko) * | 2019-06-06 | 2021-11-05 | 엘지전자 주식회사 | 변환에 기반한 영상 코딩 방법 및 그 장치 |
EP3967032A4 (en) | 2019-06-07 | 2022-07-27 | Beijing Bytedance Network Technology Co., Ltd. | CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS |
US11695960B2 (en) | 2019-06-14 | 2023-07-04 | Qualcomm Incorporated | Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding |
CA3240498A1 (en) * | 2019-06-19 | 2020-12-24 | Lg Electronics Inc. | Coding of information about transform kernel set |
JP7302037B2 (ja) * | 2019-06-19 | 2023-07-03 | エルジー エレクトロニクス インコーポレイティド | 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング |
JP7302036B2 (ja) * | 2019-06-19 | 2023-07-03 | エルジー エレクトロニクス インコーポレイティド | 画像コーディングシステムにおいて変換カーネルセットに関する情報に対するコンテキストコーディング |
US11303913B2 (en) * | 2019-06-19 | 2022-04-12 | Qualcomm Incorporated | Decoded picture buffer indexing |
CN117319648A (zh) * | 2019-06-20 | 2023-12-29 | Lg电子株式会社 | 解码和编码设备、发送用于图像的数据的设备及存储介质 |
US11949870B2 (en) * | 2019-06-21 | 2024-04-02 | Qualcomm Incorporated | Context modeling for low-frequency non-separable transformation signaling for video coding |
CN113841399A (zh) | 2019-06-21 | 2021-12-24 | 韩国电子通信研究院 | 图像编码/解码方法和设备 |
JP6912522B2 (ja) * | 2019-06-24 | 2021-08-04 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
CN112438050B (zh) | 2019-06-25 | 2023-01-17 | 韦勒斯标准与技术协会公司 | 使用二次变换的视频信号处理方法及装置 |
CN112135148B (zh) | 2019-06-25 | 2022-05-10 | 华为技术有限公司 | 非可分离变换方法以及设备 |
CN117376555A (zh) | 2019-08-03 | 2024-01-09 | 北京字节跳动网络技术有限公司 | 视频编解码中缩减二次变换的矩阵的选择 |
CN118632034A (zh) | 2019-08-17 | 2024-09-10 | 北京字节跳动网络技术有限公司 | 为视频中的缩减二次变换的边信息的上下文建模 |
US11677984B2 (en) * | 2019-08-20 | 2023-06-13 | Qualcomm Incorporated | Low-frequency non-separable transform (LFNST) signaling |
US11323743B2 (en) * | 2019-08-26 | 2022-05-03 | Tencent America LLC | Interaction between CU partitions and sub-block transform |
JP7436645B2 (ja) * | 2019-10-04 | 2024-02-21 | エルジー エレクトロニクス インコーポレイティド | 変換に基づく映像コーディング方法及びその装置 |
JP7402016B2 (ja) * | 2019-11-06 | 2023-12-20 | オッポ広東移動通信有限公司 | 画像復号装置及び画像符号化装置 |
AU2019275552B2 (en) * | 2019-12-03 | 2022-10-13 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a coding tree unit |
WO2021142361A1 (en) * | 2020-01-08 | 2021-07-15 | Apple Inc. | In-tree geometry quantization of point clouds |
WO2021169994A1 (en) * | 2020-02-25 | 2021-09-02 | Mediatek Inc. | Methods and apparatus for secondary transform signaling in video coding |
JP7360984B2 (ja) * | 2020-03-31 | 2023-10-13 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
CN115086657A (zh) * | 2021-03-14 | 2022-09-20 | 腾讯科技(深圳)有限公司 | 视频编解码方法、装置、计算机可读介质及电子设备 |
WO2024107210A1 (en) * | 2022-11-15 | 2024-05-23 | Google Llc | Dc only transform coefficient mode for image and video coding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130027230A1 (en) * | 2010-04-13 | 2013-01-31 | Detlev Marpe | Entropy coding |
US20130272389A1 (en) * | 2012-04-13 | 2013-10-17 | Texas Instruments Incorporated | Reducing Context Coded and Bypass Coded Bins to Improve Context Adaptive Binary Arithmetic Coding (CABAC) Throughput |
US20140177708A1 (en) * | 2011-06-28 | 2014-06-26 | Samsung Electronics Co., Ltd. | Method and apparatus for entropy encoding/decoding |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7599435B2 (en) * | 2004-01-30 | 2009-10-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Video frame encoding and decoding |
US8428133B2 (en) * | 2007-06-15 | 2013-04-23 | Qualcomm Incorporated | Adaptive coding of video block prediction mode |
US8483285B2 (en) * | 2008-10-03 | 2013-07-09 | Qualcomm Incorporated | Video coding using transforms bigger than 4×4 and 8×8 |
EP2559244B1 (en) * | 2010-04-13 | 2017-08-02 | GE Video Compression, LLC | Coding of significance maps and transform coefficient blocks |
US9661338B2 (en) * | 2010-07-09 | 2017-05-23 | Qualcomm Incorporated | Coding syntax elements for adaptive scans of transform coefficients for video coding |
US9641846B2 (en) * | 2010-10-22 | 2017-05-02 | Qualcomm Incorporated | Adaptive scanning of transform coefficients for video coding |
US10992958B2 (en) * | 2010-12-29 | 2021-04-27 | Qualcomm Incorporated | Video coding using mapped transforms and scanning modes |
IL311563A (en) * | 2011-06-16 | 2024-05-01 | Ge Video Compression Llc | Entropy coding of motion vector differences |
ES2655917T3 (es) | 2011-06-28 | 2018-02-22 | Samsung Electronics Co., Ltd | Aparato de decodificación de vídeo acompañado con decodificación aritmética y señalización bidimensional de un último coeficiente significativo |
US9826238B2 (en) * | 2011-06-30 | 2017-11-21 | Qualcomm Incorporated | Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit |
JP5733590B2 (ja) * | 2011-07-15 | 2015-06-10 | モトローラ モビリティ エルエルシーMotorola Mobility Llc | 変換係数レベルを符号化するコンテキストモデリング技法 |
US9357185B2 (en) * | 2011-11-08 | 2016-05-31 | Qualcomm Incorporated | Context optimization for last significant coefficient position coding |
US8552890B2 (en) * | 2012-01-19 | 2013-10-08 | Sharp Laboratories Of America, Inc. | Lossless coding with different parameter selection technique for CABAC in HEVC |
US9363510B2 (en) * | 2012-03-02 | 2016-06-07 | Qualcomm Incorporated | Scan-based sliding window in context derivation for transform coefficient coding |
US9264706B2 (en) * | 2012-04-11 | 2016-02-16 | Qualcomm Incorporated | Bypass bins for reference index coding in video coding |
US9538172B2 (en) | 2012-04-11 | 2017-01-03 | Qualcomm Incorporated | Grouping bypass coded syntax elements in video coding |
US11025922B2 (en) * | 2012-06-13 | 2021-06-01 | Texas Instruments Incorporated | Inverse transformation using pruning for video coding |
EP3414906A4 (en) | 2016-02-08 | 2019-10-02 | Sharp Kabushiki Kaisha | SYSTEMS AND METHOD FOR INTRAPRADICATION CODING |
JP6895645B2 (ja) * | 2016-03-25 | 2021-06-30 | パナソニックIpマネジメント株式会社 | 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置 |
US10708164B2 (en) | 2016-05-03 | 2020-07-07 | Qualcomm Incorporated | Binarizing secondary transform index |
-
2017
- 2017-05-02 US US15/584,859 patent/US10708164B2/en active Active
- 2017-05-03 EP EP17722984.6A patent/EP3453176B1/en active Active
- 2017-05-03 CN CN201780026951.8A patent/CN109076230B/zh active Active
- 2017-05-03 KR KR1020187031268A patent/KR102575798B1/ko active IP Right Grant
- 2017-05-03 CA CA3018197A patent/CA3018197A1/en active Pending
- 2017-05-03 TW TW106114689A patent/TWI755394B/zh active
- 2017-05-03 CN CN202110709660.7A patent/CN113453019A/zh active Pending
- 2017-05-03 WO PCT/US2017/030815 patent/WO2017192705A1/en unknown
- 2017-05-03 JP JP2018556904A patent/JP6960943B2/ja active Active
- 2017-05-03 BR BR112018072617A patent/BR112018072617A2/pt unknown
-
2020
- 2020-04-06 US US16/841,566 patent/US11496385B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130027230A1 (en) * | 2010-04-13 | 2013-01-31 | Detlev Marpe | Entropy coding |
US20140177708A1 (en) * | 2011-06-28 | 2014-06-26 | Samsung Electronics Co., Ltd. | Method and apparatus for entropy encoding/decoding |
US20130272389A1 (en) * | 2012-04-13 | 2013-10-17 | Texas Instruments Incorporated | Reducing Context Coded and Bypass Coded Bins to Improve Context Adaptive Binary Arithmetic Coding (CABAC) Throughput |
Also Published As
Publication number | Publication date |
---|---|
US20170324643A1 (en) | 2017-11-09 |
US11496385B2 (en) | 2022-11-08 |
US20200236030A1 (en) | 2020-07-23 |
CN109076230A (zh) | 2018-12-21 |
EP3453176A1 (en) | 2019-03-13 |
JP2019515561A (ja) | 2019-06-06 |
CA3018197A1 (en) | 2017-11-09 |
KR102575798B1 (ko) | 2023-09-07 |
EP3453176B1 (en) | 2023-08-30 |
KR20190003950A (ko) | 2019-01-10 |
WO2017192705A1 (en) | 2017-11-09 |
BR112018072617A2 (pt) | 2019-02-19 |
US10708164B2 (en) | 2020-07-07 |
CN113453019A (zh) | 2021-09-28 |
CN109076230B (zh) | 2021-07-23 |
JP6960943B2 (ja) | 2021-11-05 |
TW201742458A (zh) | 2017-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI755394B (zh) | 二值化二次轉換指數 | |
US9161046B2 (en) | Determining quantization parameters for deblocking filtering for video coding | |
CA2837099C (en) | Memory efficient context modeling | |
KR101661828B1 (ko) | 적응적 중첩된 블록 모션 보상 | |
KR102334126B1 (ko) | 인트라 블록 복사를 위한 레지듀얼 예측 | |
KR102182441B1 (ko) | 비디오 코딩에서 hevc 확장들을 위한 다중 계층들의 저복잡도 지원 | |
CN113940069A (zh) | 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令 | |
KR102031468B1 (ko) | 팔레트 모드 코딩을 위한 이스케이프 픽셀들 코딩 | |
JP2018507616A (ja) | 予測ユニットの柔軟な区分化 | |
KR20160132866A (ko) | 블록 적응적 컬러공간 변환 코딩 | |
WO2015038928A1 (en) | Partial intra block copying for video coding | |
KR20160135756A (ko) | 레지듀 차분 펄스 코드 변조을 위한 양자화 프로세스들 | |
KR20150003327A (ko) | 변환 계수 코딩 | |
EP2684361A1 (en) | Transforms in video coding | |
WO2013155274A1 (en) | Bandwidth reduction in video coding through applying the same reference index | |
KR20140130466A (ko) | B 슬라이스에서의 예측 유닛의 단방향성 인터 예측으로의 제한 | |
CA2865616C (en) | Deriving context for last position coding for video coding | |
KR20140131525A (ko) | 병렬 모션 추정 범위 사이즈의 묵시적 도출 | |
CN114175643A (zh) | 调色板和预测模式信令 |