TW201841501A - 用於視訊寫碼之多種類型樹架構 - Google Patents
用於視訊寫碼之多種類型樹架構 Download PDFInfo
- Publication number
- TW201841501A TW201841501A TW107100576A TW107100576A TW201841501A TW 201841501 A TW201841501 A TW 201841501A TW 107100576 A TW107100576 A TW 107100576A TW 107100576 A TW107100576 A TW 107100576A TW 201841501 A TW201841501 A TW 201841501A
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- video data
- transform
- video
- size
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明提供一種解碼視訊之方法,該方法包含:接收一經編碼視訊資料區塊;判定用於該經編碼視訊資料區塊之一變換,其中該變換具有並非為二之冪的一大小S;將S捨位至二之冪從而產生具有一經修改大小S'之一變換;應用具有該經修改大小S'之一反變換至該經編碼視訊資料區塊以產生殘餘視訊資料;及解碼該殘餘視訊資料以產生經解碼視訊資料區塊。
Description
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、高效率視訊寫碼(HEVC)標準及此等標準的擴展中所描述之技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(例如,視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像可被稱為「圖框」。參考圖像可被稱為參考圖框。 空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊及預測性區塊之間的像素差。為了進一步壓縮,可將殘餘資料自像素域變換至變換域,從而導致可接著進行量化之殘餘變換係數。可應用熵寫碼以實現甚至更進一步壓縮。
本發明描述用於使用多種類型樹(MTT)架構分割視訊資料區塊之技術。本發明之技術包括在樹狀結構之各種節點處判定複數個分割技術中的一者。複數個分割技術之實例可包括穿過區塊中心對稱地分裂區塊的分割技術,以及對稱地或不對稱地分裂區塊使得區塊中心不被分裂的分割技術。以此方式,視訊區塊之分割可以導致更有效率的寫碼的方式執行;包括較好捕捉視訊資料中之在區塊中心之物件的分割。 本發明進一步描述用於應用變換至根據MTT架構分割之區塊的技術,用於產生及剖析指示如何根據MTT架構分裂區塊之語法元素的技術,用於根據MTT架構分割明度及色度區塊的技術,及用於寫碼(亦即,編碼及/或解碼)根據MTT架構分割之區塊的技術。可個別地或以任何組合一起使用本發明中描述之技術。 在本發明之一個實例中,解碼視訊資料之方法包含:接收一經編碼視訊資料區塊;判定用於該經編碼視訊資料區塊之一變換,其中該變換具有並非為二之冪的一大小S;將S捨位至二之冪從而產生具有一經修改大小S'之一反變換;應用具有該經修改大小S'之一反變換至該經編碼視訊資料區塊以產生殘餘視訊資料;及解碼該殘餘視訊資料以產生經解碼視訊資料區塊。 在本發明之另一實例中,編碼視訊資料之方法包含:接收一視訊資料區塊;預測該視訊資料區塊以產生殘餘視訊資料;判定用於該殘餘視訊資料之一變換,其中該變換具有並非為二之冪的一大小S;將S捨位至二之冪從而產生具有一經修改大小S'之一變換;應用具有該經修改大小S'之變換至該殘餘視訊資料以產生變換係數;及在一經編碼視訊位元串流中編碼該等變換係數。 在本發明之另一實例中,一種經組態以解碼視訊資料之裝置包含:一記憶體,其經組態以儲存該視訊資料;及與該記憶體通信之一或多個處理器,該一或多個處理器經組態以:接收該視訊資料之一經編碼區塊;判定用於該視訊資料之該經編碼區塊的一變換,其中該變換具有並非為二之冪的一大小S;將S捨位至二之冪從而產生具有一經修改大小S'之一反變換;應用具有該經修改大小S'之該反變換至該經編碼視訊資料區塊以產生殘餘視訊資料;及解碼該殘餘視訊資料以產生經解碼視訊資料區塊。 在本發明之另一實例中,一種裝置經組態以編碼視訊資料,該裝置包含:一記憶體,其經組態以儲存該視訊資料;及與該記憶體通信之一或多個處理器,該一或多個處理器經組態以:接收一視訊資料區塊;預測該視訊資料區塊以產生殘餘視訊資料;判定用於該視訊資料之一變換,其中該變換具有並非為二之冪的一大小S;將S捨位至二之冪從而產生具有一經修改大小S'之一變換;應用具有該經修改大小S'之該變換至該殘餘視訊資料以產生變換係數;及在一經編碼視訊位元串流中編碼該等變換係數。 在本發明之另一實例中,一種經組態以解碼視訊資料之裝置包含:用於接收一經編碼視訊資料區塊的構件;用於判定用於該經編碼視訊資料區塊之一變換的構件,其中該變換具有並非為二之冪的一大小S;用於將S捨位至二之冪從而產生具有一經修改大小S'之一反變換的構件;用於應用具有該經修改大小S'之該反變換至該經編碼視訊資料區塊以產生殘餘視訊資料的構件;及用於解碼該殘餘視訊資料以產生經解碼視訊資料區塊的構件。 在本發明之另一實例中,一種經組態以編碼視訊資料之裝置包含:用於接收一視訊資料區塊的構件;用於預測該視訊資料區塊以產生殘餘視訊資料的構件;用於判定用於該殘餘視訊資料之一變換的構件,其中該變換具有並非為二之冪的一大小S;用於將S捨位至二之冪從而產生具有一經修改大小S'之一變換的構件;用於應用具有該經修改大小S'之該變換至該殘餘視訊資料以產生變換係數的構件;及用於在一經編碼視訊位元串流中編碼該等變換係數的構件。 在另一實例中,本發明描述一種儲存指令之電腦可讀儲存媒體,該等指令當經執行時使得經組態以解碼視訊資料之一裝置之一或多個處理器執行以下操作:接收一經編碼視訊資料區塊;判定用於該經編碼視訊資料區塊之一變換,其中該變換具有並非為二之冪的一大小S;將S捨位至二之冪從而產生具有一經修改大小S'之一反變換;應用具有該經修改大小S'之該反變換至該經編碼視訊資料區塊以產生殘餘視訊資料;及解碼該殘餘視訊資料以產生經解碼視訊資料區塊。 在另一實例中,本發明描述一種儲存指令之電腦可讀儲存媒體,該等指令當經執行時使得經組態以編碼視訊資料之一裝置之一或多個處理器執行以下操作:接收一視訊資料區塊;預測該視訊資料區塊以產生殘餘視訊資料;判定用於該殘餘視訊資料之一變換,其中該變換具有並非為二之冪的一大小S;將S捨位至二之冪從而產生具有一經修改大小S'之一變換;應用具有該經修改大小S'之該變換至該殘餘視訊資料以產生變換係數;及在一經編碼視訊位元串流中編碼該等變換係數。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
相關申請案
本發明主張2017年1月6日申請的美國臨時申請案第62/443,569號之權利,該申請案之全部內容以引用的方式併入本文中。 本發明係關於基於區塊之視訊寫碼中的視訊資料區塊(例如寫碼單元)的分割及/或組織。本發明之技術可在視訊寫碼標準中應用。在下文所描述之各種實例中,本發明之技術包括使用三個或三個以上不同分割結構分割視訊資料區塊。在一些實例中,可在寫碼樹狀結構之每一深度處使用三個或三個以上不同分割結構。此等分割技術可被稱為多種類型樹(MTT)分割。藉由使用MTT分割,視訊資料可更靈活地分割,因此允許較大寫碼效率。 本發明進一步描述用於應用變換至根據MTT架構分割之區塊的技術,用於產生及剖析指示如何根據MTT架構分裂區塊之語法元素的技術,用於根據MTT架構分割明度及色度區塊的技術,及用於寫碼(亦即,編碼及/或解碼)根據MTT架構分割之區塊的技術。可個別地或以任何組合一起使用本發明中描述之技術。 圖1為說明可利用本發明之技術以用於分割視訊資料區塊、發信及剖析分割類型並應用變換及另外變換分割的實例視訊編碼及解碼系統10之方塊圖。如圖1中所示,系統10包括源器件12,源器件12提供待在稍後時間由目的地器件14解碼之經編碼視訊資料。詳言之,源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下,源器件12及目的地器件14可經裝備以用於無線通信。因此,源器件12及目的地器件14可為無線通信器件。源器件12為實例視訊編碼器件(亦即,用於編碼視訊資料之器件)。目的地器件14為實例視訊解碼器件((例如,用於解碼視訊資料之器件或裝置)。 在圖1之實例中,源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體20、視訊編碼器22及輸出介面24。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示器件32。在其他實例中,源器件12及目的地器件14包括其他組件或配置。舉例而言,源器件12可自外部視訊源(諸如,外部攝影機)接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合顯示器件。 圖1中所說明之系統10僅為一個實例。用於處理視訊資料之技術可藉由任何數位視訊編碼及/或解碼器件或裝置來執行。儘管通常本發明之技術由視訊編碼器件及視訊解碼器件來執行,但該等技術亦可由組合式視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。源器件12及目的地器件14僅為源器件12產生經編碼視訊資料以供傳輸至目的地器件14的此類寫碼器件之實例。在一些實例中,源器件12及目的地器件14可以實質上對稱方式操作,使得源器件12及目的地器件14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸,例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊捕捉器件,諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊資料的視訊饋入介面。作為另一替代,視訊源18可產生基於電腦圖形之資料作為源視訊,或實況視訊、經存檔視訊及電腦產生之視訊的組合。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如,儲存媒體20)。本發明中所描述之技術可大體上適用於視訊寫碼,且可應用於無線及/或有線應用。在每一狀況下,可由視訊編碼器22對所捕捉、預先捕捉或電腦產生之視訊進行編碼。輸出介面24可將經編碼視訊資訊輸出至電腦可讀媒體16。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一些實例中,電腦可讀媒體16包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。 在一些實例中,經編碼資料(例如經編碼視訊資料)可自輸出介面24輸出至儲存器件。類似地,可由輸入介面26自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者,諸如,硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體、伺服器或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在再一實例中,儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任一標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等)或兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 本發明之技術可應用於視訊寫碼以支援多種多媒體應用中之任一者,諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如,HTTP動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 電腦可讀媒體16可包括暫態媒體,諸如無線廣播或有線網路傳輸;或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟、伺服器或其他電腦可讀媒體。在一些實例中,網路伺服器(未展示)可接收來自源器件12之經編碼視訊資料且例如經由網路傳輸提供經編碼視訊資料至目的地器件14。類似地,諸如光碟衝壓設施之媒體生產設施的計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器22之視訊編碼器22定義的語法資訊,語法資訊亦由視訊解碼器30使用,語法資訊包括描述區塊及其他寫碼單元(例如,圖像群組(GOP))之特性及/或處理的語法元素。儲存媒體28可儲存藉由輸入介面26接收之經編碼視訊資料。顯示器件32向使用者顯示經解碼視訊資料。顯示器件32可包含多種顯示器件中之任一者,該等顯示器件諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器22及視訊解碼器單元30各自可實施為多種合適編碼器或解碼器電路中之任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且可在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器22及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。 在一些實例中,視訊編碼器22及視訊解碼器30可根據視訊寫碼標準操作。實例視訊寫碼標準包括但不限於:ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。已藉由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發視訊寫碼標準(高效率視訊寫碼(HEVC)或ITU-T H.265),包括其範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。視訊編碼器22及視訊解碼器30亦可經組態以根據未來視訊寫碼標準(諸如藉由聯合視訊探索小組(JVET)群開發的視訊寫碼標準)操作。JEM軟體係基於HEVC模型(HM)軟體且為用於JVET之參考軟體。 在HEVC及其他視訊寫碼規範中,視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列,表示為SL
、SCb
及SCr
。SL
為明度樣本之二維陣列(即,區塊)。SCb
為Cb色訊樣本之二維陣列。SCr
為Cr色訊樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度」樣本。在其他情況下,圖像可為單色的,且可僅包括明度樣本之陣列。 此外,在HEVC及其他視訊寫碼規範中,為產生圖像之經編碼表示,視訊編碼器22可產生一組寫碼樹型單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊,及用以寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中,CTU可包含單一寫碼樹型區塊及用以寫碼對該寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而,CTU未必限於特定大小,且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。 在根據HEVC之操作中,為產生經寫碼CTU,視訊編碼器22可對CTU之寫碼樹型區塊遞迴地執行四分樹分割,以將寫碼樹型區塊劃分成寫碼區塊,因此命名「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含明度樣本之寫碼區塊及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的色度樣本之兩個對應寫碼區塊,以及用於寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CU可包含單個寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。 位元串流內的語法資料亦可定義CTU之大小。圖塊包括按寫碼次序之數個連續CTU。視訊圖框或圖像可分割成一或多個圖塊。如上文所提及,每一樹型區塊可根據四分樹分裂成寫碼單元(CU)。一般而言,四分樹資料結構包括每CU一個節點,其中根節點對應於樹型區塊。若將CU分裂成四個子CU,則對應於該CU之節點包括四個葉節點,該四個葉節點中之每一者對應於該等子CU中之一者。 四分樹資料結構中之每一節點可提供對應CU之語法資料。舉例而言,該四分樹中之節點可包括分裂旗標,從而指示是否將對應於該節點之CU分裂成子CU。針對CU之語法元素可經遞迴地定義,且可取決於該CU是否分裂成子CU。若CU未經進一步分裂,則其被稱作葉CU。若CU之區塊經進一步分裂,則其可通常被稱作非葉片CU。在本發明之一些實例中,即使不存在原始葉CU之明顯分裂,葉CU之四個子CU亦將被稱作葉CU。舉例而言,若16×16大小之CU未經進一步分裂,則儘管該16×16 CU從未經分裂,但4個8×8子CU亦可被稱作葉CU。 除CU不具有大小區別外,CU具有與H.264標準之巨集區塊類似的用途。舉例而言,樹型區塊可分裂成四個子節點(亦稱作子CU),且每一子節點又可為上代節點且可被分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含寫碼節點,該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可被分裂之最大次數(被稱作最大CU深度),且亦可定義寫碼節點之最小大小。樹型區塊結構之深度可指示區塊已被分裂的次數。舉例而言,深度0可係關於在任何分裂之前的區塊,深度1可係關於自上代區塊之一次分裂產生的區塊,深度2可係關於自深度1處之區塊之一次分裂產生的區塊等。位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指代在HEVC之情況下的CU、PU或TU中之任一者,或在其他標準之情況下的類似資料結構(例如,JEM中之寫碼單元、H.264/AVC中之其巨集區塊及子區塊,等)。 CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小,且在一些實例中可為正方形形狀。在HEVC的實例中,CU之大小可介於8×8像素達至最大64×64像素或更大之樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據四分樹將CU分割成一或多個TU。TU形狀可為正方形或非正方形(例如,矩形)。 HEVC標準允許根據TU進行變換,該等TU對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內的PU之大小來對TU設定大小,但可並非總是此狀況。TU通常與PU大小相同或小於PU。在一些實例中,可使用有時被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作TU。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。 葉CU可包括一或多個PU。一般而言,PU表示對應於對應CU之所有或一部分的空間區域,且可包括用於擷取PU之參考樣本的資料。此外,PU包括與預測有關之資料。舉例而言,當PU經框內模式編碼時,PU之資料可包括於RQT中,該RQT可包括描述用於對應於PU之TU的框內預測模式的資料。作為另一實例,當PU經框間模式編碼時,PU可包括定義PU之一或多個運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如,四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像,及/或運動向量之參考圖像清單(例如,清單0、清單1或清單C)。 具有一或多個PU之葉CU亦可包括一或多個TU。如上文所論述,可使用RQT(亦稱作TU四分樹結構)來指定TU。舉例而言,分裂旗標可指示葉CU是否經分裂成四個變換單元。在一些實例中,可將每一變換單元進一步分裂為其他若干子TU。當TU未進一步分裂時,可將其稱作葉TU。大體而言,對於框內寫碼,屬於葉CU之所有葉TU含有產生自相同框內預測模式之殘餘資料。亦即,通常應用相同框內預測模式以計算經預測值,該等經預測值將在葉CU之所有TU中變換。對於框內寫碼,視訊編碼器22可使用框內預測模式將每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU不必受限於PU的大小。因此,TU可大於或小於PU。對於框內寫碼,PU可與用於同一CU之對應葉TU共置。在一些實例中,葉TU之最大大小可對應於對應葉CU之大小。 此外,葉CU之TU亦可與各別RQT結構相關聯。亦即,葉CU可包括指示該葉CU如何被分割成TU之四分樹。TU四分樹之根節點通常對應於葉CU,而CU四分樹之根節點通常對應於樹型區塊(或LCU)。 如上文所論述,視訊編碼器22可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即,正方形或非正方形)區塊。CU之PU可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊,及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,PU可包含單個預測區塊及用於預測該預測區塊的語法結構。視訊編碼器22可針對CU之每一PU的預測區塊(例如,明度、Cb及Cr預測區塊)產生預測性區塊(例如,明度、Cb及Cr預測性區塊)。 視訊編碼器22可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器22使用框內預測以產生PU之預測性區塊,則視訊編碼器22可基於包括PU之圖像的經解碼樣本產生PU之預測性區塊。 在視訊編碼器22產生用於CU之一或多個PU的預測性區塊(例如明度、Cb及Cr預測性區塊)之後,視訊編碼器22可產生用於CU之一或多個殘餘區塊。舉例而言,視訊編碼器22可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中的一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差異。另外,視訊編碼器22可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器22亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。 此外,如上文所論述,視訊編碼器22可使用四分樹分割以將CU之殘餘區塊(例如,明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如,明度、Cb及Cr變換區塊)。變換區塊為供應用相同變換的樣本之矩形(例如,正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以變換區塊樣本之語法結構。因此,CU之每一TU可具有明度變換區塊、Cb變換區塊以及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中,TU可包含單個變換區塊及用於變換該變換區塊之樣本的語法結構。 視訊編碼器22可將一或多個變換應用於TU之變換區塊以產生用於TU之係數區塊。舉例而言,視訊編碼器22可將一或多個變換應用於TU之明度變換區塊,以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器22可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器22可將一或多個變換應用於TU之Cr變換區塊,以產生TU之Cr係數區塊。 在一些實例中,視訊編碼器22將變換之應用跳至變換區塊。在此等實例中,視訊編碼器22可以與變換係數相同之方式處理殘餘樣本值。因此,在視訊編碼器22跳過變換之應用的實例中,變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。 在產生係數區塊(例如,明度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器22可量化係數區塊以可能減少用以表示係數區塊之資料量,從而可能提供進一步壓縮。量化通常係指其中值之範圍壓縮為單個值的過程。舉例而言,可藉由以常數除以值且接著捨位至最接近的整數進行量化。為量化係數區塊,視訊編碼器22可量化係數區塊之變換係數。在視訊編碼器22量化係數區塊之後,視訊編碼器22可熵編碼指示經量化之變換係數之語法元素。舉例而言,視訊編碼器22可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)或其他熵寫碼技術。 視訊編碼器22可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。因此,位元串流包含視訊資料之經編碼表示。該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有模擬阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭且可囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內之整數數目個位元組的語法結構。在一些情況下,RBSP包括零個位元。 視訊解碼器30可接收由視訊編碼器22產生之位元串流。視訊解碼器30可解碼位元串流以重構視訊資料之圖像。作為解碼位元串流之部分,視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重構視訊資料之圖像。重構視訊資料之過程可與由視訊編碼器22執行之過程大體互逆。舉例而言,視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。另外,視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換,以重構當前CU之TU的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重構當前CU之寫碼區塊。藉由重構圖像之各CU的寫碼區塊,視訊解碼器30可重構圖像。 下文描述HEVC之共同概念及某些設計態樣,其集中於用於區塊分割之技術。在HEVC中,圖塊中之最大寫碼單元被稱作CTB。CTB根據四分樹結構而劃分,其節點為寫碼單元。四分樹結構中之複數個節點包括葉節點及非葉節點。葉節點在樹狀結構中無子節點(亦即,葉節點不進一步分裂)。非葉節點包括樹狀結構之根節點。根節點對應於視訊資料之初始視訊區塊(例如,CTB)。對於複數個節點之每一各別非根節點,各別非根節點對應於視訊區塊,該視訊區塊為對應於各別非根節點之樹狀結構中之上代節點的視訊區塊之子區塊。在樹狀結構中,複數個非葉節點之每一各別非葉節點具有一或多個子節點。 CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。如W. J. Han等人,2010年12月,視訊技術之電路及系統的IEEE彙刊,第20卷,第12號,第1709至1720頁,「Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools」中所描述,及圖2中所展示,CTB可以四分樹方式遞迴地分裂成CU。如圖2中所示,每一層級分割為分裂成四個子區塊之四分樹。黑色區塊為葉節點之實例(亦即,未進一步分裂之區塊)。 在一些實例中,CU可與CTB之大小相同,雖然CU可與8×8一樣小。每一CU用一個寫碼模式進行寫碼,該寫碼模式可例如為框內寫碼模式或框間寫碼模式。其他寫碼模式亦係可能的,包括用於螢幕內容之寫碼模式(例如,區塊內複本模式、基於調色板之寫碼模式等)。當CU經框間寫碼(亦即,應用框間模式)時,CU可進一步分割成預測單元(PU)。舉例而言,CU可分割成2或4個PU。在另一實例中,當未應用進一步分割時,整個CU被視為單個PU。在HEVC實例中,當兩個PU存在於一個CU中時,該等PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。 在HEVC中,如圖3中所示,存在用於運用框間預測模式寫碼之CU的八分割模式,亦即:PART_2Nx2N、PART_2NxN、PART_Nx2N、PART_NxN、PART_2NxnU、PART_2NxnD、PART_nLx2N及PART_nRx2N。如圖3中所示,用分割模式PART_2Nx2N進行寫碼之CU未進一步分裂。亦即,整個CU被視為單個PU(PU0)。用分割模式PART_2NxN進行寫碼之CU水平對稱地分裂成兩個PU(PU0及PU1)。用分割模式PART_Nx2N進行寫碼之CU垂直對稱地分裂成兩個PU。用分割模式PART_NxN進行寫碼之CU對稱地分裂成四個大小相等的PU(PU0、PU1、PU2、PU3)。 用分割模式PART_2NxnU進行寫碼之CU水平不對稱地分裂成具有CU之¼大小的一個PU0(上部PU)及具有CU之¾大小的一個PU1(下部PU)。用分割模式PART_2NxnD進行寫碼之CU水平不對稱地分裂成具有CU之¾大小的一個PU0(上部PU)及具有CU之¼大小的一個PU1(下部PU)。用分割模式PART_nLx2N進行寫碼之CU垂直不對稱地分裂成具有CU之¼大小的一個PU0(左側PU)及具有CU之¾大小的一個PU1(右側PU)。用分割模式PART_nRx2N進行寫碼之CU垂直不對稱地分裂成具有CU之¾大小的一個PU0(左側PU)及具有CU之¼大小的一個PU1(右側PU)。 當CU經框間寫碼時,針對每一PU存在運動資訊之一個集合(例如運動向量、預測方向及參考圖像)。另外,每一PU係運用唯一框間預測模式來寫碼以導出運動資訊集合。然而,應理解,即使兩個PU經唯一寫碼,在一些情況下,該兩個PU可仍具有相同運動資訊。 在2015年9月國際電信聯盟J.An等人之「Block partitioning structure for next generation video coding」COM16-C966(在下文中,「VCEG建議書COM16-C966」),提議除HEVC之外,將四分樹二進位樹(QTBT)分割技術用於未來視訊寫碼標準。模擬已展示所提議QTBT結構比在所使用HEVC中的四分樹結構更有效。 在VCEG建議書COM16-C966之所提議QTBT結構中,首先使用四分樹分割技術分割CTB,其中一個節點之四分樹分裂可被迭代直至節點到達最小允許四分樹葉節點大小。可藉由語法元素MinQTSize之值向視訊解碼器指示最小允許四分樹葉節點大小。若四分樹葉節點大小不大於最大允許二進位樹根節點大小(例如,如藉由語法元素MaxBTSize表示),則四分樹葉節點可使用二進位樹分割而進一步分割。一個節點之二進位樹分割可經迭代直至節點到達最小允許二進位樹葉節點大小(例如,如藉由語法元素MinBTSize所表示)或最大允許二進位樹深度(例如,如藉由語法元素MaxBTDepth所表示)。VCEG建議書COM16-C966使用術語「CU」來指二進位樹葉節點。在VCEG建議書COM16-C966中,CU用於預測(例如,框內預測、框間預測等)及在無更進一步分割之情況下變換。一般而言,根據QTBT技術,存在用於二進位樹分裂之兩種分裂類型:對稱水平分裂及對稱垂直分裂。在每一情況下,區塊係藉由從中間水平地或垂直地劃分區塊而分裂。 在QTBT分割結構之一個實例中,CTU大小經設定為128×128(例如,128×128明度區塊及兩個對應64×64色度區塊),MinQTSize經設定為16×16,MaxBTSize經設定為64×64,MinBTSize(對於寬度及高度兩者)經設定為4,且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有自16×16(亦即,MinQTSize為16×16)至128×128(亦即,CTU大小)之大小。根據QTBT分割之一個實例,若葉四分樹節點為128×128,則葉四分樹節點不可藉由二進位樹進一步分裂,此係由於葉四分樹節點之大小超過MaxBTSize(亦即,64×64)。否則,葉四分樹節點藉由二進位樹進一步分割。因此,四分樹葉節點亦為二進位樹之根節點並具有為0之二進位樹深度。到達MaxBTDepth之二進位樹深度(例如,4)意指不存在進一步分裂。具有等於MinBTSize(例如,4)之寬度的二進位樹節點意指不存在進一步水平分裂。類似地,具有等於MinBTSize之高度的二進位樹節點意指不進一步垂直分裂。二進位樹之葉節點(CU)在無更進一步分割之情況下被進一步處理(例如,藉由執行預測過程及變換過程)。 圖4A說明使用QTBT分割技術分割的區塊50(例如,CTB)之實例。如圖4A中所示,使用QTBT分割技術,經由每一區塊之中心對稱地分裂所得區塊中的每一者。圖4B說明對應於圖4B之區塊分割的樹狀結構。圖4B中之實線指示四分樹分裂且虛線指示二進位樹分裂。在一個實例中,在二進位樹之每一分裂(亦即,非葉)節點中,語法元素(例如,旗標)經發信以指示執行的分裂之類型(例如,水平或垂直),其中0指示水平分裂且1指示垂直分裂。對於四分樹分裂,不需要對於指示分裂類型,此係由於四分樹分裂始終將區塊水平地及垂直地分裂成具有相等大小之4個子區塊。 如圖4B中所示,在節點70處,區塊50使用QT分割分裂成圖4A中所示之四個區塊51、52、53及54。區塊54並不進一步分裂,且因此為葉節點。在節點72處,使用BT分割將區塊51進一步分裂成兩個區塊。如圖4B中所示,節點72係以1標記,指示垂直分裂。因而,在節點72處之分裂導致區塊57及包括區塊55及區塊56兩者之區塊。藉由節點74處之另一垂直分裂產生區塊55及區塊56。在節點76處,使用BT分割將區塊52進一步分裂成兩個區塊58及59。如圖4B中所示,節點76係以1標記,指示水平分裂。 在節點78處,使用QT分割將區塊53分裂成4個相等大小區塊。區塊63及區塊66係自此QT分割而產生且不進一步分裂。在節點80處,使用垂直二進位樹分裂首先分裂左上方區塊,從而產生區塊60及右垂直區塊。接著使用水平二進位樹分裂將右垂直區塊分裂成區塊61及區塊62。在節點84處,使用水平二進位樹分裂將在節點78處自四分樹分裂所產生的右下區塊分裂成區塊64及區塊65。 儘管上文所描述之QTBT結構展示比HEVC中使用的四分樹結構更好的寫碼效能,但QTBT結構缺乏靈活性。舉例而言,在上文所描述之QTBT結構中,四分樹節點可用二進位樹進一步分裂,但二進位樹節點不可用四分樹進一步分裂。在另一實例中,四分樹及二進位樹兩者可僅達成均勻分裂(亦即,從區塊之中心分裂),當物件在待分裂的區塊之中心中時均勻分裂並非係有效率的。因此,對於未來視訊寫碼標準,可缺乏QTBT之寫碼效能。 為解決上文所提及之問題,2017年1月12日申請之美國專利公開案第20170208336號及2017年3月20日申請之美國專利公開案第20170272782號(其兩者係以引用的方式併入本文中)描述多種類型樹(MTT)分割結構之各種實例。根據MTT分割結構,樹節點可用多種樹類型(諸如二進位樹、對稱中心側三分樹及四分樹)進一步分裂。模擬已展示多種類型樹狀結構比四分樹二進位樹狀結構更加有效。 為較好達成CTU之更靈活分割,基於MTT之CU結構經提議替換基於QT、BT及/或QTBT之CU結構。本發明之MTT分割結構仍為遞歸樹狀結構。然而,使用多個不同分割結構(例如三個或三個以上)。舉例而言,根據本發明之MTT技術,可在樹狀結構之每一深度處使用三個或三個以上不同分割結構。在此情況下,樹狀結構中之節點的深度可指自節點至樹狀結構之根的路徑之長度(例如,分裂之數目)。 在根據本發明之技術的一個實例中,視訊編碼器22及/或視訊解碼器30可經組態以接收視訊資料之圖像,並使用三個或三個以上不同分割結構將視訊資料之圖像分割成複數個區塊,且重構/編碼視訊資料之圖像的複數個區塊。在一個實例中,分割視訊資料之圖像包含使用三個或三個以上不同分割結構將視訊資料之圖像分割成複數個區塊,其中可在表示視訊資料之圖像如何分割的樹狀結構之每一深度處使用三個或三個以上不同分割結構中之至少三者。在一個實例中,三個或三個以上不同分割結構包括三分樹分割結構,且視訊編碼器22及/或視訊解碼器30可經組態以使用三分樹分割結構之三分樹分割類型分割複數個視訊資料區塊中的一者,其中在不穿過中心劃分複數個區塊中之一者的情況下,三分樹分割結構將複數個區塊中之一者劃分成三個子區塊。在本發明之另一實例中,三個或三個以上不同分割結構進一步包括四分樹分割結構及二進位樹分割結構。 因此,在一個實例中,視訊編碼器22可產生視訊資料之初始視訊區塊(例如,寫碼樹型區塊或CTU)的經編碼表示。作為產生初始視訊區塊之經編碼表示的部分,視訊編碼器22判定包含複數個節點之樹狀結構。舉例而言,視訊編碼器22可使用本發明之MTT分割結構分割樹型區塊。 MTT分割結構中之複數個節點包括複數個葉節點及複數個非葉節點。在樹狀結構中,葉節點不具有子節點。非葉節點包括樹狀結構之根節點。根節點對應於初始視訊區塊。對於複數個節點之每一各別非根節點,各別非根節點對應於一視訊區塊(例如,寫碼區塊),該視訊區塊為對應於各別非根節點之樹狀結構中之上代節點的視訊區塊之子區塊。在樹狀結構中,複數個非葉節點之每一各別非葉節點具有一或多個子節點。在一些實例中,圖像邊界處的非葉節點可歸因於強制性分裂僅僅具有一個子節點,且子節點中的一者對應於圖像邊界外部的區塊 根據本發明之技術,對於在樹狀結構之每一深度層級處的樹狀結構之每一各別非葉節點,存在用於各別非葉節點之複數個允許分裂圖案(例如分割結構)。舉例而言,可存在針對樹狀結構之每一深度所允許的三個或三個以上分割結構。視訊編碼器22可經組態以根據複數個所允許分割結構中的一者將對應於各別非葉節點之視訊區塊分割成對應於各別非葉節點之子節點的視訊區塊。該複數個所允許分割結構中之每一各別所允許分割結構可對應於將對應於各別非葉節點之視訊區塊分割成對應於各別非葉節點之子節點的視訊區塊的不同方式。此外,在此實例中,視訊編碼器22可包括包含視訊資料之經編碼表示的位元串流中之初始視訊區塊之經編碼表示。 在類似實例中,視訊解碼器30可判定包含複數個節點之樹狀結構。如在先前實例中,複數個節點包括複數個葉節點及複數個非葉節點。在樹狀結構中,葉節點不具有子節點。非葉節點包括樹狀結構之根節點。根節點對應於視訊資料之初始視訊區塊。對於複數個節點之每一各別非根節點,各別非根節點對應於視訊區塊,該視訊區塊為對應於各別非根節點之樹狀結構中之上代節點的視訊區塊之子區塊。在樹狀結構中,複數個非葉節點之每一各別非葉節點具有一或多個子節點。對於在樹狀結構之每一深度層級處的樹狀結構之每一各別非葉節點,存在各別非葉節點之複數個允許之分裂圖案且對應於各別非葉節點之視訊區塊係根據複數個允許的分裂圖案中之一者而分割成對應於各別非葉節點之子節點的視訊區塊。複數個允許之分裂圖案的每一各別允許之分裂圖案對應於將對應於各別非葉節點之視訊區塊分割成對應於各別非葉節點之子節點之視訊區塊的不同方式。此外,在此實例中,對於樹狀結構之每一(或至少一個)各別葉節點,視訊解碼器30重構對應於各別葉節點之視訊區塊。 在一些此等實例中,對於除根節點以外的樹狀結構之每一各別非葉節點,用於各別非葉節點的複數個允許之分裂圖案(例如分割結構)與分割結構無關,根據該分割結構將對應於各別非葉節點之上代節點的視訊區塊分割成對應於各別非葉節點的上代節點之子節點的視訊區塊。 在本發明之其他實例中,在樹狀結構之每一深度處,視訊編碼器22可經組態以使用三個以上分割結構中之一者當中的特定分割類型進一步分裂子樹。舉例而言,視訊編碼器22可經組態以自QT、BT、三分樹(TT)及其他分割結構判定特定分割類型。在一個實例中,QT分割結構可包括正方形四分樹及矩形四分樹分割類型。視訊編碼器22可藉由從中心水平地或垂直地將區塊劃分成四個相等大小之正方形區塊使用正方形四分樹分割來分割正方形區塊。同樣,視訊編碼器22可藉由從中心水平地或垂直地將矩形區塊劃分成四個相等大小之矩形區塊使用矩形四分樹分割來分割矩形(例如非正方形)區塊。 BT分割結構可包括水平對稱二進位樹、垂直對稱二進位樹、水平非對稱二進位樹及垂直非對稱二進位樹分割類型。對於水平對稱二進位樹分割類型,視訊編碼器22可經組態以從區塊之中心水平地將區塊分裂成相同大小之兩個對稱區塊。對於垂直對稱二進位樹分割類型,視訊編碼器22可經組態以從區塊之中心垂直地將區塊分裂成相同大小之兩個對稱區塊。對於水平非對稱二進位樹分割類型,視訊編碼器22可經組態以水平地將區塊分裂成不同大小之兩個區塊。舉例而言,如圖3之PART_2NxnU或PART_2NxnD分割類型中,一個區塊可為上代區塊之¼大小且另一區塊可為上代區塊之¾大小。對於垂直非對稱二進位樹分割類型,視訊編碼器22可經組態以垂直地將區塊分裂成不同大小之兩個區塊。舉例而言,如圖3之PART_nLx2N或PART_nRx2N分割類型中,一個區塊可為上代區塊之¼大小且另一區塊可為上代區塊之¾大小。 在其他實例中,不對稱二進位樹分割類型可將上代區塊劃分成不同大小部分。舉例而言,一個子區塊可為上代區塊之3/8且另一子區塊可為上代區塊之5/8。當然,此分割類型可為垂直的或水平的。 TT分割結構不同於QT或BT結構之分割結構,原因在於TT分割結構不從中心分裂區塊。區塊之中心區共同保持在相同子區塊中。不同於QT(其產生四個區塊)或二進位樹(其產生兩個區塊),根據TT分割結構之分裂產生三個區塊。根據TT分割結構之實例分割類型包括水平對稱三分樹、垂直對稱三分樹、水平非對稱三分樹及垂直非對稱三分樹分割類型。對於水平對稱三分樹分割類型,視訊編碼器22可經組態以在不從中心分裂區塊的情況下水平地將區塊分裂成三個區塊。當根據水平對稱三分樹分割劃分時,在中心子區塊上方及下方的區塊經鏡像,亦即其係相同的大小。若區塊可直接由三除盡(例如12個樣本高),則中心區塊可與上部區塊及下部區塊有相同的大小。若區塊不可直接由三除盡(例如8個樣本高),則中心區塊與上部區塊及下部區塊相比可有不同的大小。舉例而言,對於8個樣本高之區塊,上部區塊及下部區塊可為3個樣本高且中心區塊可為2個樣本高。在另一實例中,對於8個樣本高之區塊,上部區塊及下部區塊可為2個樣本高,且中心區塊可為4個樣本高。圖5E展示水平三分樹分割之實例。 對於垂直對稱三分樹分割類型,視訊編碼器22可經組態以在不從中心分裂區塊的情況下垂直地將區塊分裂成三個區塊。當根據垂直對稱三分樹分割劃分時,中心子區塊左側及右側之區塊經鏡像,亦即其係相同的大小。若區塊可直接由三除盡(例如12個樣本寬),則中心區塊可與左側區塊及右側區塊有相同的大小。若區塊不可直接由三除盡(例如8個樣本寬),則中心區塊與左側區塊及右側區塊相比可有不同的大小。舉例而言,對於8個樣本寬之區塊,左側區塊及右側區塊可為3個樣本寬且中心區塊可為2個樣本寬。在另一實例中,對於8個樣本寬之區塊,左側區塊及右側區塊可為2個樣本寬,且中心區塊可為4個樣本寬。圖5D展示垂直三分樹分割之實例。 對於水平非對稱三分樹分割類型,視訊編碼器22可經組態以水平地將區塊分裂成不對稱地鏡像的三個區塊。在一些實例中,水平非對稱三分樹分割類型可從中心分裂區塊,且在其他實例中,水平非對稱三分樹分割類型可並不從中心分裂區塊。對於垂直非對稱三分樹分割類型,視訊編碼器22可經組態以垂直地將區塊分裂成不對稱地鏡像的三個區塊。在一些實例中,垂直非對稱三分樹分割類型可從中心分裂區塊,且在其他實例中,垂直非對稱三分樹分割類型可並不從中心分裂區塊。 在其中區塊(例如在子樹節點處)分裂成非對稱三分樹分割類型的實例中,視訊編碼器22及/或視訊解碼器30可應用限制,使得三個分割中之兩者具有相同的大小。此限制可對應於視訊編碼器22在編碼視訊資料時必須符合的限制。此外,在一些實例中,視訊編碼器22及視訊解碼器30可應用一限制,藉此當根據非對稱三分樹分割類型分裂時,兩個分割之面積的總和等於剩餘分割之面積。舉例而言,視訊編碼器22可產生或視訊解碼器30可接收運用一限制編譯的初始視訊區塊之經編碼表示,該限制指定當對應於樹狀結構之節點的視訊區塊根據非對稱三分樹圖案分割時,節點具有第一子節點、第二子節點及第三子節點,該第二子節點對應於在對應於第一子節點與第三子節點之視訊區塊之間的一視訊區塊,對應於第一及第三子節點之視訊區塊具有相同的大小,且對應於第一子節點及第三子節點之視訊區塊的大小之總和等於對應於第二子節點之視訊區塊的大小。 在本發明之一些實例中,視訊編碼器22可經組態以自前述分割類型之所有類型當中選擇用於QT、BT及TT分割結構中的每一者。在其他實例中,視訊編碼器22可經組態以僅自前述分割區類型之子集當中判定一分割類型。舉例而言,上文論述之分割類型(或其他分割類型)之子集可用於某些區塊大小或用於四分樹結構之某些深度。所支援分割類型之子集可在位元串流中發信以供視訊解碼器30使用或可經預定義,以使得視訊編碼器22及視訊解碼器30可在沒有任何發信的情況下判定子集。 在其他實例中,所支援分割類型之數目對於所有CTU中之所有深度可係固定的。亦即,視訊編碼器22及視訊解碼器30可經預先組態以使用相同數目之分割類型用於CTU之任一深度。在其他實例中,所支援分割類型之數目可變化且可取決於深度、圖塊類型或其他先前寫碼之資訊。在一個實例中,在樹狀結構之深度0或深度1處,僅使用QT分割結構。在大於1之深度處,可使用QT、BT及TT分割結構中之每一者。 在一些實例中,視訊編碼器22及/或視訊解碼器30可應用對於所支援分割類型之經預先組態約束,以便避免對於視訊圖框之某一區或CTU之區的重複分割。在一個實例中,當區塊運用非對稱分割類型分裂時,視訊編碼器22及/或視訊解碼器30可經組態以不進一步分裂自當前區塊分裂的最大子區塊。舉例而言,當正方形區塊根據非對稱分割類型(例如圖3中之PART_2NxnU分割類型)分裂時,所有子區塊當中的最大子區塊(例如圖3中之PART_2NxnU分割類型的PU1)為所提及之葉節點且不可進一步分裂。然而,較小子區塊(例如圖3中之PART_2NxnU分割類型的PU0)可進一步分裂。 作為其中對於所支援分割類型之約束可經應用以避免對於某一區之重複分割的另一實例,當區塊運用非對稱分割類型分裂時,自當前區塊分裂的最大子區塊不可在相同方向上進一步分裂。舉例而言,當正方形區塊運用非對稱分割類型(例如圖3中之PART_2NxnU分割類型)分裂時,視訊編碼器22及/或視訊解碼器30可經組態以並不在水平方向上分裂所有子區塊當中的大子區塊(例如圖3中之PART_2NxnU分割類型的PU1)。然而,在此實例中,視訊編碼器22及/或視訊解碼器30可同樣在垂直方向上分裂PU1。 作為其中對於所支援分割類型之約束可經應用以避免在進一步分裂時困難的另一實例,視訊編碼器22及/或視訊解碼器30可經組態以當區塊之寬度/高度並非為2之冪時(例如,當寬度高度並非為2、4、8、16等時),不水平地或垂直地分裂區塊。 以上實例描述視訊編碼器22可如何經組態以執行根據本發明之技術的MTT分割。視訊解碼器30亦可接著應用與藉由視訊編碼器22執行之MTT分割相同的MTT分割。在一些實例中,視訊資料之圖框如何藉由視訊編碼器22分割可藉由在視訊解碼器30處應用預定義規則之相同集合而判定。然而,在許多情形中,視訊編碼器22可基於速率失真準則針對正被寫碼之視訊資料的特定圖框判定待使用的特定分割結構及分割類型。因而,為了視訊解碼器30判定用於特定圖框之分割,視訊編碼器22可在經編碼位流中發信語法元素,該等語法元素指示圖框及圖框之CTU如何被分割。視訊解碼器30可剖析此等語法元素且相應地分割圖框及CTU。 在本發明之一個實例中,視訊編碼器22可經組態以將所支援分割類型之特定子集作為高層級語法元素在序列參數集(SPS)、圖像參數集(PPS)、圖塊標頭、自適應參數集(APS)或任何其他高層級語法參數集中發信。舉例而言,分割類型之最大數目及支援哪些類型可在序列參數集(SPS)、圖像參數集(PPS)或任何其他高層級語法參數集中經預定義,或在位元串流中作為高層級語法元素發信。視訊解碼器30可經組態以接收並剖析此語法元素以判定使用的分割類型之特定子集及/或支援的分割結構(例如QT、BT、TT等)及類型之最大數目。 在一些實例中,在每一深度處,視訊編碼器22可經組態以發信指示在樹狀結構之彼深度處使用的所選擇分割類型之一索引。此外,在一些實例中,視訊編碼器22可在每一CU處適應性地發信此分割類型索引,亦即,該索引對於不同CU可係不同的。舉例而言,視訊編碼器22可基於一或多個速率失真計算而設定分割類型之索引。在一個實例中,若滿足某一條件,則可跳過分割類型(例如分割類型之索引)之發信。舉例而言,當存在僅一個與特定深度相關聯之支援分割類型時,視訊編碼器22可跳過分割類型之發信。在此實例中,當接近圖像邊界時待寫碼之區域可小於CTU。因此,在此實例中,CTU可經強迫被分裂以適於圖像邊界。在一個實例中,僅對稱二進位樹用於強迫之分裂且無分割類型被發信。在一些實例中,在某一深度處,分割類型可基於先前寫碼之資訊(諸如圖塊類型、CTU深度、CU位置)而導出。 在本發明之另一實例中,對於每一CU(葉節點),視訊編碼器22可經進一步組態以發信指示變換是否將對相同大小之CU執行的語法元素(例如,一位元transform_split旗標)(亦即,旗標指示TU為相同大小之CU抑或經進一步分裂)。在transform_split旗標經發信為真的狀況下,視訊編碼器22可經組態以將CU之殘餘進一步分裂成多個子區塊且對每一子區塊進行變換。視訊解碼器30可執行互逆過程。 在一個實例中,當transform_split旗標經發信為真時,以下被執行。若CU對應於正方形區塊(亦即,CU為正方形),則視訊編碼器22使用四分樹分裂將殘餘分裂成四個正方形子區塊,且對每一正方形子區塊執行變換。若CU對應於非正方形區塊(例如,M×N),則視訊編碼器22將殘餘分裂成兩個子區塊,且當M>N時子區塊大小為0.5M×N,且當M<N時子區塊大小為M×0.5N。作為另一實例,當transform_split旗標經發信為真且CU對應於非正方形區塊(例如,M×N)(亦即,CU為非正方形)時,視訊編碼器22可經組態以將殘餘分裂成大小為K×K之子區塊,且K×K正方形變換用於每一子區塊,其中K等於M及N之最大因數。作為另一實例,當CU為正方形區塊時無transform_split旗標經發信。 在一些實例中,當在預測之後CU中存在殘餘時,無分裂旗標經發信且使用僅具有一個經導出大小之變換。舉例而言,對於大小等於M×N之CU,使用K×K正方形變換,其中K等於M及N之最大因數。因此,在此實例中,對於大小為16×8之CU,相同8×8變換可應用於CU之殘餘資料的兩個8×8子區塊。「分裂旗標」為指示樹狀結構中之節點具有樹狀結構中之子節點的語法元素。 在一些實例中,對於每一CU,若CU未經分裂成正方形四分樹或對稱二進位樹,則視訊編碼器22經組態以將變換大小始終設定為等於分割之大小(例如CU之大小)。 應理解,對於關於視訊編碼器22描述的以上實例中之每一者,視訊解碼器30可經組態以執行互逆過程。關於發信語法元素,視訊解碼器30可經組態以接收及剖析此語法元素且因此分割及解碼相關聯視訊資料。 在本發明之一個特定實例中,視訊解碼器可經組態以根據三個不同分割結構(QT、BT及TT)分割視訊區塊,其中在每一深度處允許五種不同分割類型。分割類型包括四分樹分割(QT分割結構)、水平二進位樹分割(BT分割結構)、垂直二進位樹分割(BT分割結構)、水平中心側三分樹分割(TT分割結構),及垂直中心側三分樹分割(TT分割結構),如圖5A至圖5E中所示。 五種實例分割類型之定義如下。請注意正方形被視為矩形之特殊狀況。 · 四分樹分割:區塊經進一步分裂成四個相同大小之矩形區塊。圖5A展示四分樹分割之實例。 · 垂直二進位樹分割:區塊經垂直地分裂成兩個相同大小之矩形區塊。圖5B為垂直二進位樹分割之實例。 · 水平二進位樹分割:區塊經水平地分裂成兩個相同大小之矩形區塊。圖5C為水平二進位樹分割之實例。 · 垂直中心側三分樹分割:區塊經垂直地分裂成三個矩形區塊,以使得兩個側區塊共用相同的大小而中心區塊之大小為兩個側區塊之總和。圖5D為垂直中心側三分樹分割之實例。 · 水平中心側三分樹分割:區塊經水平地分裂成三個矩形區塊,以使得兩個側區塊共用相同的大小而中心區塊之大小為兩個側區塊之總和。圖5E為水平中心側三分樹分割之實例。 對於與特定深度相關聯的區塊,視訊編碼器22判定使用哪一分割類型(包括未進一步分裂)且顯式地或隱式地發信經判定分割類型(例如分割類型可自預先判定之規則導出)至視訊解碼器30。視訊編碼器22可基於檢查使用不同分割類型的區塊之速率失真成本判定待使用之分割類型。為得到速率失真成本,視訊編碼器22可需要遞迴地檢查區塊之可能的分割類型。 圖6為說明寫碼樹型單元(CTU)分割之實例的概念圖。換言之,圖6說明對應於CTU之CTB 80的分割。在圖6之實例中, · 在深度0處,CTB 80(亦即,整個CTB)係運用水平二進位樹分割(如具有由單個點分隔開之短劃線的線82所指示)而分裂成兩個區塊。 · 在深度1處: · 運用垂直中心側三分樹分割(如藉由具有小短劃線之線84及86所指示),將上部區塊分裂成三個區塊。 · 運用四分樹分割(如藉由具有由兩個點分隔開的短劃線之線88及90所指示),將下部區塊分裂成四個區塊。 · 在深度2處: · 運用水平中心側三分樹分割(如藉由具有由短短劃線分隔開的長短劃線之線92及94所指示),將在深度1處的上部區塊之左側區塊分裂成三個區塊。 · 在深度1處無對於上部區塊之中心及右區塊的進一步分裂。 · 在深度1處無對於下部區塊之四個區塊的進一步分裂。 如可在圖6之實例中看到,使用具有四個不同分割類型(水平二進位樹分割、垂直中心側三分樹分割、四分樹分割及水平中心側三分樹分割)之三個不同分割結構(BT、QT及TT)。 在另一實例中,額外約束可應用於在某一深度處或具有某一大小之區塊。舉例而言,在區塊之高度/寬度小於16像素情況下,不可運用垂直/水平中心側樹分裂區塊以避免具有小於4像素之高度/寬度的區塊。 在2016年10月F. Le Léannec, T. Poirier, F. Urban之「Asymmetric Coding Units in QTBT」JVET-D0064(在下文中,「JVET-D0064」中,提議結合QTBT使用不對稱寫碼單元。四種新二進位樹分裂模式(例如,分割類型)被引入至QTBT架構中,以便允許新的分裂組態。除QTBT中已經可用的分裂模式之外,提議所謂的不對稱分裂模式,如藉由圖7所示。如圖7中所示,HOR_UP、HOR_DOWN、VER_LEFT及VER_RIGHT分割類型為不對稱分裂模式之實例。 根據附加不對稱分裂模式,大小為S之寫碼單元在水平(例如,HOR_UP或HOR_DOWN)方向或垂直(例如,VER_LEFT或VER_RIGHT)方向上劃分成大小為S / 4
及3 . S / 4
的2個子CU。在JVET-D0064中,新加的CU寬度或高度可僅僅為12或24。 現將論述用於正及反變換之技術。在影像/視訊寫碼中,變換主要應用於2-D輸入資料源。於2-D輸入資料上應用變換之實例方法包括可分離的及不可分離的2-D變換。由於可分離變換與不可分離2-D變換相比需要更少操作(加法及乘法)計數,所以通常使用可分離2-D變換。 在一個實例中,變數X
為輸入W×H資料陣列,其中W為陣列之寬度且H為陣列之高度。實例可分離2-D變換順序應用X之水平向量及垂直向量之1-D變換,公式如下:其中Y為X之經變換陣列,且其中C
及R
分別表示W×W及H×H變換矩陣,其可係呈整數精度或雙精度。T
(如以下等式(1)中)表示呈整數值之變換矩陣。自公式可見C
應用X
之行向量的1-D垂直(行、左側)變換,而R
應用X
之列向量的1-D水平(列、右側)變換。 在HEVC中,W等於H(且等於S)。因而,W×H資料陣列可由22 * K
表示,其中K為整數且S等於2K
。變換矩陣(C
及R
)如下產生為T
。, (1) 其中T
表示呈整數值之變換矩陣,int
()為獲得矩陣之每一浮點元素值的最接近整數值之函數,S
指示變換之大小(諸如8點或32點變換),M
指示呈浮動值之變換類型之酉矩陣,且2 N
為控制整數變換矩陣T
之準確度的縮放因數(諸如N
=6用於HEVC變換)。若複方矩陣U
之共軛轉置U *
亦為其逆(亦即,若U * U
=U U *
=I
,其中I
為單位矩陣),則其為酉矩陣。另外,在HEVC中,變換矩陣可導出為具有稍微藉由+1或-1調整的幾個元素之T
。 在HEVC中,在應用水平及垂直變換之後,變換之輸出與酉變換(亦即M
)相比被放大大致。由於S
在HEVC中為2之冪,所以之值亦變為2之冪。因此,變換矩陣中引入之可在變換期間用位元移位補償。由於HEVC矩陣與正規正交DCT變換相比較藉由()縮放,且為了經由正及反二維變換保持殘餘區塊之範數,所以應用額外比例因數fwd_shift1及fwd_shift2。類似地,對於反變換,歸因於藉由縮放之反變換矩陣,亦使用縮放因數。因此,為經由二維正及反變換保持範數,比例因數之乘積應等於。舉例而言,在HEVC參考軟體中之正變換中,視訊編碼器22分別在如下水平(fwd_shift1)及垂直(fwd_shift2)正變換之後應用一移位,以確保在每一變換之後,在D等於8情況下,輸出適合16位元。(2)(3) 對於HEVC參考軟體中之反變換,視訊解碼器30分別在如下垂直(inv_shift1)及水平(inv_shift2)反變換之後應用一移位,(4)(5) 其中D表示用於重構視訊之位元深度。四個移位之總和為。位元深度可在SPS中指定。位元深度值D
=8及D
=10分別導致8位元及10位元像素重構。參數r
控制水平正變換之精度。r
之較大值得到較高精度。在一些實例中,r
之值取決於如SPS中指定之組態可為固定值15或15或D+6中之最大值(例如,max (15、D
+6))。 應注意S
之相同值用於以上shift1及shift2計算,此係因為僅正方形變換(水平及垂直變換之大小相同)用於HEVC。 在視訊寫碼之一些實例中,使用QTBT分割,一些新的變換,例如,非正方形8×4變換。在此狀況下,log2(W
) + log2(H
)之輸出並非為偶數值。在此狀況下,額外因數被引入,但在變換期間不可用簡單位元移位補償。因此,如2016年11月22日申請之美國專利公開案第20170150176號,及2016年11月22日申請之美國專利公開案第20170150183號中所描述,提議將值吸收至量化過程(例如與改變變換矩陣相反)中。 在不對稱寫碼單元(例如,圖7中展示之彼等單元)中,可使用大小不等於2之冪的變換,諸如大小為12及24之變換。因此,此等不對稱寫碼單元引入無法在變換過程中容易進行補償之更多因數。可能需要額外處理來對此等不對稱寫碼單元執行變換或反變換。 現將論述用於正及/或反量化之技術。在變換過程(其將殘餘能量壓至較低頻率係數)之後,視訊編碼器22應用量化以控制殘餘重構之失真。因此,在視訊解碼器30處,在反變換之前執行反量化(解量化)過程。 對於正量化,在HEVC參考軟體中,視訊編碼器22應用零值區加均勻量化方案,如下文所描述,(6) 其中y
為輸入變換係數,Q
為量化縮放因數,f為控制零值區大小(如圖8中所示,其中零值區係在範圍內)之大小的捨位偏移,sign(y) = y>0 ? 1: -1,qbits
為移位參數,且y'給出輸出經量化變換係數。落至零值區區域中之所有值將經量化為0。圖8為說明零值區加均勻量化方案之概念圖。在一個實例中,增量之值(圖8中之Δ)可為Δ=2qbits
。 在HEVC中,對於框內圖塊,f
為171/512,否則,f
為85/512。 以上量化縮放因數Q
及移位參數qbits
經指定如下,(7) 其中QP
為使用者定義之量化參數,為以下如HEVC參考軟體中指定的常數陣列。 const Int g_quantScales[SCALING_LIST_REM_NUM] = { 26214,23302,20560,18396,16384,14564 }; 另外,qbits 經
導出如下,(8) 其中iTransformShift =r
-D
- log2
(S
),其中S
為區塊大小,D
及r
與以上等式(2)及(5)中定義的相同。 對於HEVC中之反量化,反量化過程經指定如下,(9) 其中y'為輸入經量化變換係數,為經解量化變換係數,DQ
經指定如下,(10) 其中g_invQuantScales為如下指定之常數陣列, const Int g_invQuantScales[SCALING_LIST_REM_NUM] = { 40,45,51,57,64,72 }; 另外,qbits '
經導出如下,(11) 其中iTransformShift =r
-D
- log2
(S
),其中S
為區塊大小,D
及r
與等式(2)及(5)中定義的相同。 自等式(8)中之iTransformShift的上述定義,可見反量化過程取決於區塊大小。 現將論述框內圖塊之分離的樹狀結構。在VCEG建議書COM16-C966中,提議框內圖塊之分離的樹狀結構。為進一步改良寫碼效能,尤其對於色度分量,提議框內圖塊中之明度及色度分量具有不同之樹狀結構。亦即,色度區塊可以與明度區塊不同之方式而分割。框內圖塊為包括經框內寫碼之寫碼單元的圖塊。 運用根據各種QTBT及MTT分割結構寫碼視訊資料之當前提議觀察到以下問題。當將大小不為2之冪的變換併入至MTT架構中時,可需要特定處理以更有效處理在變換及/或反變換過程期間無法用移位操作補償的因數。當在MTT架構下使用分離的明度及色度樹狀結構時,用於色度分量之複雜的樹狀結構可未必總是有益的。當將分離的明度及色度樹擴展至框間圖框時,運動資訊經發信用於明度及色度兩者,此導致大量發信成本。當使用分離的明度及色度樹狀結構時,明度及色度樹有時確實具有相同分裂圖案。在此狀況下,獨立地發信明度及色度分割可並非係有效率的。 為解決上文所提及之問題,提議以下技術。視訊編碼器22及視訊解碼器30可經組態以按互逆方式執行以下技術。可個別地應用以下詳細列舉之技術。另外,以下技術中之每一者可以任何組合一起使用。 在本發明之第一實例中,當併入大小不為2之冪的變換時,本發明提議在視訊解碼器30處及/或在視訊編碼器22及視訊解碼器30兩者處使用捨位之經修改S
'而非等式(1)中之真大小S
產生變換矩陣。當區塊具有非正方形形狀時可發生具有並非為2之冪的大小的變換。在此等變化情況下,變換之縮放(其不可藉由位元移位補償)經吸收至變換矩陣中。因此,可能不必在變換及量化處理中改變其他處理技術(假定問題係以上文所論述方式來處置)。 在第一實例之一個態樣中,視訊編碼器22及視訊解碼器30可經組態以將真大小S
捨位至變換以藉由將真大小S
捨位至為2之冪的值而獲得經修改值S '
。舉例而言,為12的S
值經捨位至16,且為24的S
值經捨位至32。一般而言,S '
之值可藉由將S
上下捨位至最接近2之冪而獲得。 在一個實例中,視訊解碼器30可經組態以接收經編碼視訊資料區塊。在一個實例中,經編碼視訊資料區塊包括經反量化變換係數。在一些實例中,視訊資料區塊可具有非正方形形狀。視訊解碼器30可經進一步組態以判定用於經編碼視訊資料區塊之變換,其中該變換具有並非為二之冪的大小S。視訊解碼器30可經進一步組態以將S捨位至二之冪,從而產生具有經修改大小S'之變換。視訊解碼器30接著可將具有經修改大小S'之反變換應用於經編碼視訊資料區塊以產生殘餘視訊資料,且解碼殘餘視訊資料以產生經解碼視訊資料區塊。 類似地,視訊編碼器22可經組態以接收視訊資料區塊。在一些實例中,視訊編碼器22將視訊資料區塊分割成非正方形形狀。視訊編碼器22可預測(例如,使用框間預測及/或框內預測)視訊資料區塊以產生殘餘視訊資料。視訊編碼器22可判定用於殘餘視訊資料之變換,其中該變換具有並非為二之冪的大小S。視訊編碼器22可將S捨位至二之冪從而產生具有經修改大小S'之變換,且將具有經修改大小S'之變換應用於殘餘視訊資料以產生變換係數。在一些實例中,視訊編碼器22亦可量化變換係數。視訊編碼器22接著可在經編碼視訊位元串流中編碼(例如使用熵寫碼,諸如CABAC)變換係數。 在第一實例之另一態樣中,等式(2)及等式(3)中之自適應移位係基於S '
而非S
。舉例而言,經修改等式(2)'及等式(3)'可修改如下:(2)'(3)' 在第一實例之另一態樣中,當導出整數變換矩陣T
時,緊接著如等式(1)中所示之酉變換的縮放因數由預定義固定值(例如,256、512或1024)替換。在一個實例中,如等式(2)及等式(3)中所描述之右移位操作係以fwd_shift1及/或fwd_shift2之值不再取決於S
的方式而修改,亦即,自等式(2)及/或等式(3)中移除log2
S。在此狀況下,S
將與變換大小無關,亦即,等式(2)及等式(3)中之移位不管變換大小而設定成固定值。 在第一實例之另一態樣中,對於反變換,原始移位操作保持不變。亦即,視訊解碼器30可經組態以執行如等式(4)及等式(5)中所描述之反移位。(4)(5) 在第一實例之另一態樣中,如等式(8)及/或等式(11)中所描述之右移位操作係以qbits
及/或qbits
'之值不再取決於S
的方式而修改,亦即,自等式(8)及/或等式(11)中移除log2
S。經修改等式(8)'及等式(11)'展示如下。 在本發明之一個實例中,當執行變換係數之量化時,視訊編碼器22可將qbits
之值判定為下文所示,(8)' 其中iTransformShift =r
-D
,其中D
及r
與上述等式(2)及等式(5)中定義的相同。 另外,當執行變換係數之反量化時,視訊解碼器30可將qbits '
之值判定為下文所示,(11)' 其中iTransformShift =r
-D
,其中D
及r
與等式(2)及等式(5)中定義的相同。 在第一實例之另一態樣中,如等式(4)及等式(5)中所描述之右移位操作係以inv_shift1及/或inv_shift2之值取決於S
的方式而修改,諸如(4)''(5)'' 在本發明之第二實例中,當根據MTT結構(諸如使用二進位樹、對稱中心側三分樹、四分樹及不對稱樹類型之結構)分割區塊時,視訊編碼器22及視訊解碼器30可經組態以使用可使用的兩層級MTT分割區塊。實例兩層級MTT結構係在2017年3月20日申請之美國專利公開案第US 20170272782號中描述。在兩層級MTT中,在第一層級(被稱作「區域樹層級)處,視訊資料之圖像或區塊經分裂成數個區域,每一區域具有能夠將大區塊分割成小區塊(例如使用四分樹或十六分樹)的一或多個樹類型。在第二層級(被稱作「預測層級」)處,區域係用MTT技術進一步分裂(包括非進一步分裂)。預測樹之葉節點在本發明中稱為寫碼單元(CU)。另外,可使用以下技術。 在第二實例之一個態樣中,對於已經發信為進一步分裂的預測樹,視訊編碼器22可首先發信指示垂直或水平分裂的旗標。視訊編碼器22接著可發信指示此分裂是否為對稱分裂(例如,二進位樹或對稱中心側三分樹)的旗標。若分裂為對稱分裂,則視訊編碼器22可發信各種允許之對稱分割區類型(諸如二進位樹或對稱中心側三分樹)之類型索引。否則(例如分裂為不對稱分裂),視訊編碼器22可發信指示不對稱分裂係上下分裂(例如當分裂為水平分裂時),抑或指示分裂為左右分裂(例如當分裂為垂直分裂時)的旗標。視訊解碼器30可經組態以接收及剖析前述旗標且因此分割視訊區塊。 在第二實例之另一態樣中,對於已經發信為進一步分裂的預測樹,視訊編碼器22可首先發信指示垂直或水平分裂之旗標。接下來,視訊編碼器22可發信指示分裂是否為二進位樹分割類型的旗標。若分裂並非為二進位樹分割類型,則視訊編碼器22可發信其他樹類型(諸如對稱中心側三分樹或不對稱樹)之類型索引。若分裂為不對稱樹,則視訊編碼器22可發信指示分裂為上下分裂(例如當分裂為水平分裂時),或指示分裂為左右分裂(例如當分裂為垂直分裂時)的旗標。視訊解碼器30可經組態以接收及剖析前述旗標且因此分割視訊區塊。 在第二實例之另一態樣中,對於已經發信為進一步分裂的預測樹,視訊編碼器22可發信指示垂直或水平分裂之旗標。視訊編碼器22接著可發信指示分裂是否為對稱中心側三分樹的旗標。若分裂並非為對稱中心側三分樹分割類型,則視訊編碼器22可發信其他樹類型(諸如二進位樹或不對稱樹)之類型索引。若分裂為不對稱樹,則視訊編碼器22可發信指示不對稱樹分裂是為上下分裂(例如當分裂為水平分裂時),抑或指示不對稱樹分裂為左右分裂(例如當分裂為垂直分裂時)的旗標。視訊解碼器30可經組態以接收及剖析前述旗標且因此分割視訊區塊。 在本發明之另一態樣中,視訊編碼器22可經組態以根據經寫碼資訊之特性(諸如相關聯指示符/相鄰區塊之分割類型、圖塊/圖像類型)自適應地改變用於發信指示垂直/水平分裂、及/或上/下分裂、及/或左/右分裂、及/或樹類型分割類型之語法元素的次序。在一個實例中,不同圖塊/圖像可使用指示分割(區塊如何被分裂)的經發信語法元素之不同次序。在另一實例中,視訊編碼器22可經組態以改變每一區塊的語法元素之次序。視訊解碼器30可經組態以按藉由視訊編碼器22判定之相同次序接收前述語法元素。視訊解碼器30可以與視訊編碼器22相同之方式判定語法元素之次序。 在第二實例之另一態樣中,用以熵寫碼指示不對稱樹分割類型(例如,上/下或左/右分割)之語法元素的上下文可經如下導出。圖9展示本發明之此實例的實例不對稱分割類型。讓A、B、C為涵蓋緊接在圖9(左上)中所說明之分割中的每一者之中心位置上方之位置的區塊之區塊大小。在此實例中,視訊編碼器22及視訊解碼器30可使用初始化成零之計數器判定上下文模型之索引。計數器之值用以判定上下文。 考慮以下條件: 條件1:若A不等於B且B等於C。 條件2:若上方CU為在左半邊具有邊界的垂直分割之不對稱樹。 在一個實例中,若滿足條件1或條件2,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。在另一實例中,若滿足條件1及條件2兩者,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。在另一實例中,若滿足條件1,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。類似地,若滿足條件2,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。 在另一實例中,A、B、C可相對於分割在其他位置處。在一個實例中,A、B、C為涵蓋緊接在圖9(上方中間)中所說明的分割中之每一者的左上方拐角之上方的位置的區塊之區塊大小。在另一實例中,讓A、B、C為涵蓋緊接在圖9(右上)中所說明的分割中之每一者的右上方拐角之上方之位置的區塊之區塊大小。 在另一實例中,讓D、E、F為涵蓋緊接在圖9(左下方)中所說明的分割中之每一者的中心位置之左側的位置的區塊之區塊大小。 在此實例中,考慮以下條件: 條件1:若D不等於E且E等於F。 條件2:若左側CU為在上半部具有邊界的水平分割之不對稱樹。 在一個實例中,若滿足條件1或條件2,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。在另一實例中,若滿足條件1及條件2兩者,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。在另一實例中,若滿足條件1,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。類似地,若滿足條件2,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。 在另一實例中,D、E、F可在其他位置處。在一個實例中,D、E、F為涵蓋緊接在圖9(底部中間)中所說明的分割中之每一者的左上方拐角左側的位置之區塊之區塊大小。在另一實例中,讓D、E、F為涵蓋緊接在圖9(右下)中所說明之分割中的每一者之左下拐角左側的位置的區塊之區塊大小。 在另一實例中,視訊編碼器22及視訊解碼器30可經組態以按預定義方式判定A至F的位置。在另一實例中,視訊編碼器22可經組態以在SPS、PPS或圖塊標頭中發信區塊A至F之位置。 在第二實例之另一態樣中,視訊編碼器22及視訊解碼器30可經組態以將用以發信樹對稱性的旗標之上下文導出如下。在一個實例中,可使用單個上下文模型。在另一實例中,視訊編碼器22及視訊解碼器30可經組態以基於計數器使用多層級上下文模型。在一個實例中,計數器之初始值為零。若上方CU為不對稱區塊,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。若左側CU為不對稱區塊,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。若左上方CU為不對稱區塊,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。若右上方CU為不對稱區塊,則視訊編碼器22及視訊解碼器30可經組態以將計數器遞增一。若上方四個區塊中無一者屬於不對稱區塊,則視訊編碼器22及視訊解碼器30可經組態以將計數器設定為5。 在第二實例之另一態樣中,視訊編碼器22可經組態以條件性地產生及發信指示預測樹是否經進一步分裂的旗標。當預測樹之大小在不進一步分裂的情況下使用不支援其大小的變換時,視訊編碼器22可經組態以不發信分裂旗標。更確切而言,基於預測樹之大小在不進一步分裂的情況下使用不支援其大小的變換的條件,視訊編碼器22及視訊解碼器30兩者可經組態以推斷預測將被進一步分裂。 在第二實例之另一態樣中,在基於區域樹(RT)運用可變預測樹(PT)深度寫碼的視訊系統中,最低限度允許之區塊大小可係RT相依。因而,可避免發信PT之分裂旗標、分裂方向旗標(水平/垂直)、樹對稱性旗標或其他前述樹類型旗標。另外,若CTU經允許用某些或所有類型之PT分裂,則類似約束條件可強加於處於跨越圖框邊界之CTU。 在本發明之一個實例中,視訊編碼器22可經組態以使用兩層級多種類型樹分割結構分割視訊資料,並產生指示兩層級多種類型樹分割結構之預測樹如何構造的語法元素,該等語法元素包括以下各者中之一或多者:指示垂直或水平分裂之旗標;指示分裂是否為對稱分裂之旗標;類型索引;或指示不對稱分裂係上下分裂抑或左右分裂的旗標。在一個實例中,視訊編碼器22可經組態以基於相鄰區塊之區塊大小判定用於語法元素之上下文。在本發明之另一實例中,視訊編碼器22可經組態以基於相鄰區塊之分割類型判定用於語法元素之上下文。 在本發明之第三實例中,當使用用於明度及色度分量的分離之樹狀結構(例如明度區塊及色度區塊經獨立地分割)時,視訊編碼器22可經組態以產生及發信獨立地指示用於明度及色度分量之允許之樹類型的語法元素。亦即,視訊編碼器22可產生指示用於明度區塊及色度區塊兩者之允許之樹類型的獨立語法元素。語法元素之值可指示兩個或大於兩個樹類型中之哪些經允許用於特定明度或色度區塊。實例樹類型可為上文所論述的樹類型中之任何者,包括對稱及不對稱二進位樹類型、四分樹樹類型以及對稱及不對稱三分樹類型。視訊解碼器30可經組態以剖析指示允許之樹類型的語法元素。 視訊編碼器22可經進一步組態以發信指示所允許樹類型中之哪些用於特定區塊的額外語法元素。視訊解碼器可經組態以剖析額外語法元素,並自指示允許之樹類型的語法元素及指示所允許樹類型當中之待使用的特定樹類型的額外語法元素判定如何分割特定區塊。 在一個實例中,視訊編碼器22可在視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、自適應參數集(APS)或任何其他序列/圖像/圖塊層級語法元素體處單獨地發信用於明度及色度分量的允許之樹類型。在一個實例中,樹類型可包括二進位樹、對稱中心側三分樹、四分樹或不對稱樹類型中的至少兩者。在另一實例中,二進位及/或對稱中心側三分樹可始終啟用(例如始終允許),而對稱中心側三分樹及/或不對稱CU/樹分割類型係可選的且在位元串流中發信。 在本發明之第四實例中,當擴展分離之明度/色度樹狀結構至框間圖塊時,視訊編碼器22可經組態以發信諸如僅用於明度樹(亦稱為初級樹)之運動資訊一次。視訊解碼器30接著可經組態以繼承(例如再次使用)用於在與明度區塊共置位置處之區塊的其他樹狀結構(例如,用於色度區塊之二級樹狀結構)之運動資訊。在共置色度區塊大於單個共置明度區塊之情況下,視訊解碼器30可經組態以再次使用所有共置明度區塊之運動資訊,亦即,一個色度寫碼區塊可包括來自所有共置明度區塊之運動資訊之若干集合。在另一實例中,視訊解碼器30可經組態以使用初級樹之運動資訊作為其他樹(例如色度區塊之樹狀結構)之運動資訊的預測因子。 一般而言,根據本發明之此實例,視訊解碼器30可經組態以分割視訊資料之明度區塊,且獨立於分割視訊資料之明度區塊而分割視訊資料之一或多個色度區塊。用於視訊資料之明度區塊的分割結構可為多種類型樹分割結構,且用於視訊資料之一或多個色度區塊的分割結構亦可為多種類型樹分割結構。視訊解碼器30可經進一步組態以對於框間圖塊,判定視訊資料之明度區塊的運動資訊,且自視訊資料之明度區塊的經判定運動資訊推斷用於視訊資料之一或多個色度區塊的運動資訊。 在本發明之第五實例中,在分離之樹寫碼(例如,明度及色度區塊經獨立地運用可能不同分割來分割)中,當初級樹中之共置區塊含有框內寫碼區塊及框間寫碼區塊兩者時色度樹(可稱為二級樹)之樹分裂圖案係自明度樹(可稱為初級樹)繼承。亦即,視訊編碼器22及視訊解碼器30可經組態以當明度區塊包括框內寫碼區塊及框間寫碼區塊兩者時使用與相關聯明度區塊相同之分裂圖案分割色度區塊。 在此實例中,視訊編碼器22可經組態以僅在初級樹中之共置區塊(例如明度區塊)僅含有相同類型區塊時僅發信用於二級樹之樹分裂圖案。亦即,共置明度區塊包括所有框間寫碼區塊或所有框內寫碼區塊。在一個實例中,樹分裂圖案包括(但不限於)樹類型(不分裂亦可視為特定樹類型)。樹類型可包括對稱樹類型及不對稱樹類型兩者,諸如二進位樹、三分樹及四分樹。 一般而言,根據本發明之此實例,視訊解碼器30可經組態以分割視訊資料之明度區塊,在明度區塊包括框內寫碼區塊及框間寫碼區塊兩者之情況下推斷用於視訊資料之一或多個色度區塊的分割與用於視訊資料之明度區塊的分割相同,及當明度區塊包括所有相同類型之寫碼區塊時自所發信語法元素判定用於視訊資料之一或多個色度區塊的分割。 在本發明之第六實例中,為了減少PT分裂旗標之發信成本,視訊編碼器22及視訊解碼器30可經組態以使用相鄰區塊與當前區塊之大小的相對大小來判定PT分裂旗標之上下文。 在一個實例中,視訊編碼器22及視訊解碼器30可經組態以使用區塊相對於其相鄰區塊之大小選擇用於PT樹類型寫碼之上下文。在一個實例中,當當前區塊之寬度大於其上方相鄰區塊之寬度時,當前區塊更可能經進一步分裂。類似地,當當前區塊之高度大於其左側相鄰區塊之高度時,當前區塊更可能經進一步分裂。此外,左上方、右上方及左下方相鄰區塊與當前區塊大小之相對大小亦提供有用資訊以判定當前區塊是否應進一步分裂。若當前區塊大小大於其相鄰區塊大小,則當前區塊亦更可能經進一步分裂。視訊編碼器22及視訊解碼器30可經組態以使用前述事件之聚合出現次數作為至PT分裂旗標之上下文的索引。另外,個別事件亦可形成用於PT分裂旗標之上下文的集合。 在一個實例中,視訊編碼器22及視訊解碼器30可經組態以使用上部相鄰區塊之寬度及左側相鄰區塊之高度來判定用於PT分裂方向(例如水平分裂或垂直分裂)之上下文。若上部相鄰區塊之寬度小於當前區塊之寬度且左側相鄰區塊之高度大於或等於當前區塊之高度,則當前區塊更可能經垂直地分裂。類似地,若左側相鄰區塊之高度小於當前區塊之高度且上部相鄰區塊之寬度大於或等於當前區塊之寬度,則當前區塊更可能經水平地分裂。 在另一實例中,視訊編碼器22及視訊解碼器30可經組態以使用上部相鄰區塊之寬度及左側相鄰區塊之高度來判定用於PT分裂模式之上下文(例如,在分裂模式之間(諸如二進位樹與中心側三分樹之間)的判定)。若上部相鄰區塊之寬度小於當前區塊之寬度且當前區塊經垂直地分裂,或若左側相鄰區塊之高度小於當前區塊之高度且當前區塊經水平地分裂,則當前區塊更可能經分裂為三分樹。 在一個實例中,若相鄰區塊不可用,則視訊編碼器22及視訊解碼器30可經組態以在當前上下文導出期間使用預設上下文值。在另一實例中,當不同RT或PT分裂經允許用於不同分量(諸如,Y、Cb、Cr或深度分量)時,可藉由使用其他分量中之相關聯區塊作為相鄰區塊而應用所有前述方法。 在另一實例中,視訊編碼器22及視訊解碼器30可經組態以使用相鄰區塊與當前區塊之深度相對的深度來判定PT分裂語法元素之上下文。 在另一實例中,對於具有等於最小區塊大小三倍之寬度/高度的區塊之一個側面,視訊編碼器22及視訊解碼器30可經組態以使用上方或左側相鄰區塊之中心位置的區塊大小或PT深度以導出上下文。 在另一實例中,當區塊之寬度/高度等於最小區塊大小之三倍時,視訊編碼器22及視訊解碼器30可經組態以使用三個相鄰區塊的區塊大小之平均值或PT深度以導出上下文。 在另一實例中,當區塊之寬度/高度等於最小區塊大小之三倍時,視訊編碼器22及視訊解碼器30可經組態以使用三個相鄰區塊的區塊大小之最大值或PT深度以導出上下文。 在另一實例中,當區塊之寬度/高度等於最小區塊大小之三倍時,視訊編碼器22及視訊解碼器30可經組態以使用三個相鄰區塊的區塊大小之最小值或PT深度以導出上下文。 在另一實例中,當區塊之寬度/高度等於最小區塊大小之三倍時,視訊編碼器22及視訊解碼器30可經組態以使用三個相鄰區塊的區塊大小之中位值或PT深度以導出上下文。 在另一實例中,區塊大小之聚合值或PT深度(如上文所描述)為相鄰區塊之大小的表示。在一個實例中,若上部相鄰區塊之寬度小於當前區塊之寬度,則使用上下文1。否則,使用上下文0。類似地,若左側相鄰區塊之高度小於當前區塊之高度,則使用上下文1。否則,使用上下文0。在一個實例中,區塊大小之聚合值或PT深度可用以遞增一計數器,該計數器等於或控制待使用的上下文模型之索引。另外,聚合值可鏈接至以下等式中之設計作為單獨定位值之替換。對於相鄰區塊中之每一者,上下文(CTX)之以下設定過程可按次序執行。CTX之總和可用於選擇上下文索引。在另一實例中,以下前兩個等式首先應用於相鄰區塊中之每一者,且接著最後等式用以選擇上下文索引,其中輸入CTX為來自所有相鄰區塊之CTX的總和。一般而言,根據本發明之此實例,視訊編碼器22及視訊解碼器30可經組態以基於相鄰區塊與當前區塊之相對大小判定用於當前區塊之分裂旗標的上下文並基於經判定上下文來對分裂旗標進行上下文寫碼。 在本發明之第七實例中,在任一樹結構架構(諸如MTT)中,視訊編碼器22及/或視訊解碼器30可經組態以基於區塊大小應用變換。在一些實例中,某些區塊大小可不具有相關變換(亦即,無支援之相同大小變換)。舉例而言,視訊編碼器22及/或視訊解碼器30可經組態以分割64×48 CU,但可經組態以不使用48×48變換。在另一實例中,視訊編碼器22及/或視訊解碼器30可經組態以分割256×256 CU,但最大支援變換僅為128×128。 在此等實例中,視訊編碼器22及/或視訊解碼器30可經組態以僅允許某些寫碼模式用於此等CU。在一個實例中,若不存在用於CU之相關變換,則視訊編碼器22及/或視訊解碼器30可僅經組態以使用跳過模式用於CU。在此實例中,相關變換為具有等於CU之至少一個尺寸的大小之變換。在此實例中,視訊編碼器22可不發信跳過模式旗標。更確切而言,視訊解碼器30可經組態以基於CU具有一具有不相關變換之大小而推斷跳過旗標之值為真。 在另一實例中,若不存在用於CU之大小的所支援變換,則視訊編碼器22及/或視訊解碼器30可經組態以不允許CU具有任何非零殘餘(殘餘值)。在此實例中,視訊編碼器可經組態以不發信經寫碼區塊旗標(CBF)。經寫碼區塊旗標為指示區塊是否包括任何非零變換係數的旗標。在此實例中,由於在CU不具有所支援變換的情況下,CU可不具有任何非零殘餘值,所以視訊解碼器30可指示CBF旗標為零(亦即,不存在非零變換係數)。 在一個實例中,視訊編碼器22及視訊解碼器30可經組態以基於視訊資料區塊之大小判定用於視訊資料區塊之寫碼模式。詳言之,視訊編碼器22及視訊解碼器30可經組態以基於視訊資料區塊之大小及藉由視訊編碼器22及視訊解碼器30支援的變換判定用於視訊資料區塊之寫碼模式。若不存在與視訊資料區塊之大小相關的所支援變換,則視訊編碼器22及視訊解碼器30可經組態以判定用於視訊資料區塊之某些預先判定的寫碼模式。在一個實例中,寫碼模式可為跳過模式。在本發明之另一實例中,寫碼模式可為另一寫碼模式(例如,合併模式、AMVP模式、框內模式),但CBF旗標經推斷為零。 一般而言,視訊編碼器22及視訊解碼器30可經組態以基於區塊之大小判定區塊是否具有相關聯變換,且若區塊不具有相關聯變換,則重新開始用於區塊之寫碼模式。 圖10為說明可實施本發明之技術的實例視訊編碼器22之方塊圖。出於解釋之目的提供圖10,且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。本發明之技術可應用於各種寫碼標準或方法。 在圖10之實例中,視訊編碼器22包括預測處理單元100、視訊資料記憶體101、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120可包括運動估計單元及運動補償單元(未圖示)。 視訊資料記憶體101可經組態以儲存待由視訊編碼器22之組件編碼的視訊資料。儲存於視訊資料記憶體101中之視訊資料可(例如)自視訊源18獲得。經解碼圖像緩衝器116可為參考圖像記憶體,其儲存用於由視訊編碼器22在編碼視訊資料(例如,在框內或框間寫碼模式中)時使用之參考視訊資料。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成,諸如,動態隨機存取記憶體(DRAM),包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可藉由相同記憶體器件或獨立記憶體器件來提供視訊資料記憶體101及經解碼圖像緩衝器116。在各種實例中,視訊資料記憶體101可與視訊編碼器22之其他組件一起在晶片上,或相對於彼等組件在晶片外。視訊資料記憶體101可與圖1之儲存媒體20相同或為圖1之儲存媒體20的部分。 視訊編碼器22接收視訊資料。視訊編碼器22可編碼視訊資料之圖像之圖塊中之每一CTU。CTU中之每一者可與圖像之相等大小的明度寫碼樹型區塊(CTB)及對應CTB相關聯。作為編碼CTU之部分,預測處理單元100可執行分割以將CTU之CTB分割成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言,預測處理單元100可根據樹狀結構分割與CTU相關聯之CTB。根據本發明之一或多種技術,對於在樹狀結構之每一深度層級處的樹狀結構之每一各別非葉節點,存在針對各別非葉節點的複數個允許之分裂圖案且對應於各別非葉節點之視訊區塊根據該複數個允許之分裂圖案中的一者而分割成對應於各別非葉節點之子節點的視訊區塊。在一個實例中,預測處理單元100或視訊編碼器22之另一處理單元可經組態以執行上文所描述的MTT分割技術之任何組合。 視訊編碼器22可編碼CTU之CU以產生該等CU之經編碼表示(亦即,經寫碼CU)。作為編碼CU之部分,預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。根據本發明之技術,CU可僅僅包括單個PU。亦即,在本發明之一些實例中,CU未被劃分成獨立預測區塊,而是對整個CU執行預測過程。因此,每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器22及視訊解碼器30可支援具有各種大小之CU。如上文所指示,CU之大小可指CU之明度寫碼區塊之大小,亦為明度預測區塊之大小。如上文所論述,視訊編碼器22及視訊解碼器30可支援CU大小,其由上文所描述之實例MTT分割類型的任何組合定義。 框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。如上文所解釋,在本發明之一些MTT實例中,CU可僅僅含有單個PU,亦即,CU及PU可係同義的。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中,框間預測處理單元120可針對CU之PU執行不同操作。在I圖塊中,所有PU經框內預測。因此,若PU在I圖塊中,則框間預測處理單元120並不對PU執行框間預測。因此,對於I模式中編碼之區塊,經預測區塊使用來自經先前編碼之同一圖框內的相鄰區塊的空間預測而形成。若PU在P圖塊中,則框間預測處理單元120可使用單向框間預測以產生PU之預測性區塊。若PU在B圖塊中,則框間預測處理單元120可使用單向或雙向框間預測以產生PU之預測性區塊。 框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。 為對PU執行框內預測,框內預測處理單元126可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。對於PU、CU及CTU,假定自左至右、自上而下之編碼次序,則該等相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目之框內預測模式,例如,33個定向框內預測模式。在一些實例中,框內預測模式之數目可取決於與PU相關聯之區的大小。 預測處理單元100可自由框間預測處理單元120所產生的用於PU之預測性資料中,或自由框內預測處理單元126所產生的用於PU之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中,預測處理單元100基於數組預測性資料之速率/失真量度而選擇用於CU之PU的預測性資料。所選預測性資料的預測性區塊在本文中可被稱作所選預測性區塊。 殘餘產生單元102可基於CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)及CU之PU的所選預測性區塊(例如,預測性明度、Cb及Cr區塊)產生CU之殘餘區塊(例如,明度、Cb及Cr殘餘區塊)。舉例而言,殘餘產生單元102可產生CU之殘餘區塊,以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選擇預測性樣本區塊中的對應樣本之間的差的值。 變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此,TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊之大小及定位可或可不基於CU之PU的預測區塊之大小及定位。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。在其他實例中,變換處理單元104可經組態以根據上文所描述之MTT技術分割TU。舉例而言,視訊編碼器22可不使用RQT結構將CU進一步劃分成TU。因而,在一個實例中,CU包括單個TU。 變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言,變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於變換區塊。在一些實例中,變換處理單元104並不將變換應用於變換區塊。在此等實例中,變換區塊可經處理為變換係數區塊。 量化單元106可量化係數區塊中之變換係數。量化過程可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言,n位元變換係數可在量化期間被捨位至m位元變換係數,其中n大於m。量化單位106可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器22可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊的損失。因此,經量化變換係數可具有比最初變換係數低的精度。 反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊,以自係數區塊重構殘餘區塊。重構單元112可將經重構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本,以產生與TU相關聯的經重構之變換區塊。藉由以此方式重構CU之每一TU的變換區塊,視訊編碼器22可重構CU之寫碼區塊。 濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重構寫碼區塊執行一或多個解區塊操作之後,儲存經重構寫碼區塊。框間預測處理單元120可使用含有經重構寫碼區塊之參考圖像來對其他圖像之PU執行框間預測。另外,框內預測處理單元126可使用經解碼圖像緩衝器116中之經重構寫碼區塊,以對處於與CU相同之圖像中的其他PU執行框內預測。 熵編碼單元118可自視訊編碼器22的其他功能組件接收資料。舉例而言,熵編碼單元118可自量化單元106接收係數區塊,並可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼的資料。舉例而言,熵編碼單元118可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器22可輸出包括由熵編碼單元118所產生之經熵編碼資料的位元串流。舉例而言,根據本發明之技術,位元串流可包括表示CU之分割結構的資料。 圖11為說明經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。出於解釋之目的而提供圖11,且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的,本發明描述在HEVC寫碼之情況下的視訊解碼器30。然而,本發明之技術可適用於其他寫碼標準或方法。 在圖11之實例中,視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、反量化單元154、反變換處理單元156、重構單元158、濾波器單元160,及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中,視訊解碼器30可包括較多、較少或不同的功能組件。 視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的經編碼視訊資料,諸如經編碼視訊位元串流。儲存於視訊資料記憶體151中之視訊資料可例如自電腦可讀媒體16(例如,自本端視訊源,諸如攝影機)經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於視訊解碼器30 (例如)以框內或框間寫碼模式解碼視訊資料或以供輸出之參考視訊資料的參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成,諸如,動態隨機存取記憶體(DRAM),包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或獨立記憶體器件提供視訊資料記憶體151及經解碼圖像緩衝器162。在各種實例中,視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件在晶片外。視訊資料記憶體151可與圖1之儲存媒體28相同或為圖1之儲存媒體28的部分。 視訊資料記憶體151接收並儲存位元串流之經編碼視訊資料(例如,NAL單元)。熵解碼單元150可自視訊資料記憶體151接收經編碼視訊資料(例如,NAL單元),且可剖析NAL單元以獲得語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重構單元158及濾波器單元160可基於自位元串流提取的語法元素而產生經解碼視訊資料。熵解碼單元150可執行大體上與熵編碼單元118之彼過程互逆的過程。 根據本發明之一些實例,熵解碼單元150或視訊解碼器30之另一處理單元可判定樹狀結構,作為自位元串流獲得語法元素之部分。樹狀結構可指定如何將初始視訊區塊(諸如,CTB)分割成較小視訊區塊(諸如,寫碼單元)。根據本發明的一或多種技術,對於在樹狀結構之每一深度層級處的樹狀結構之每一各別非葉節點,存在針對各別非葉節點的複數個允許之分割類型且對應於各別非葉節點之視訊區塊根據複數個允許之分裂圖案中的一者而分割成對應於各別非葉節點之子節點的視訊區塊。 除自位元串流獲得語法元素之外,視訊解碼器30可對未經分割之CU執行重構操作。為對CU執行重構操作,視訊解碼器30可對CU之每一TU執行重構操作。藉由對CU之每一TU執行重構操作,視訊解碼器30可重構CU之殘餘區塊。如上文所論述,在本發明之一個實例中,CU包括單個TU。 作為對CU之TU執行重構操作之部分,反量化單元154可反量化(亦即,解量化)與TU相關聯之係數區塊。在反量化單元154反量化係數區塊之後,反變換處理單元156可將一或多個反變換應用於係數區塊,以便產生與TU相關聯之殘餘區塊。舉例而言,反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。 若使用框內預測編碼CU或PU,則框內預測處理單元166可執行框內預測以產生PU之預測性區塊。框內預測處理單元166可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元166可基於自位元串流獲得的一或多個語法元素判定用於PU之框內預測模式。 若使用框間預測編碼PU,則熵解碼單元150可判定PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元164可基於一或多個參考區塊產生PU之預測性區塊(例如,預測性明度、Cb及Cr區塊)。如上文所論述,在使用MTT分割的本發明之一個實例中,CU可包括僅僅單個PU。亦即,CU可能不會劃分成多個PU。 重構單元158可使用CU之TU之變換區塊(例如,明度、Cb及Cr變換區塊)及CU之PU之預測性區塊(例如,明度、Cb及Cr區塊)(亦即,可適用之框內預測資料或框間預測資料)來重構CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。舉例而言,重構單元158可添加變換區塊(例如,明度、Cb及Cr變換區塊)之樣本至預測性區塊(例如,明度、Cb及Cr預測性區塊)之對應樣本來重構CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。 濾波器單元160可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像用於後續運動補償、框內預測及在顯示器件(諸如圖1之顯示器件32)上的呈現。舉例而言,視訊解碼器30可基於經解碼圖像緩衝器162中之區塊對其他CU之PU執行框內預測或框間預測操作。 圖12為展示本發明之實例編碼方法的流程圖。圖12之技術可藉由視訊編碼器22(包括變換處理單元104及/或量化單元106)執行。 在本發明之一個實例中,視訊編碼器22可經組態以接收視訊資料區塊(200),且預測視訊資料區塊以產生殘餘視訊資料(202)。視訊編碼器22可經進一步組態以判定用於殘餘視訊資料之變換,其中變換具有並非為二之冪的大小S (204),且將S捨位至二之冪從而產生具有經修改大小S'之變換(206)。視訊編碼器22亦可將具有經修改大小S'之變換應用於殘餘視訊資料以產生變換係數(208),且在經編碼視訊位元串流中編碼變換係數(210)。 在另一實例中,視訊編碼器22可經組態以將S捨位至最接近的二之冪。 在另一實例中,視訊編碼器22可經組態以量化變換係數。 在另一實例中,視訊資料區塊具有非正方形形狀。 在另一實例中,S為12,且視訊編碼器22可經組態以將12捨位至16,其中經修改大小S'為16。在另一實例中,S為24,且視訊編碼器22可經組態以將24捨位至32,其中經修改大小S'為32。 在一個實例中,S為變換之寬度。在另一實例中,S為變換之高度。 圖13為展示本發明之實例解碼方法的流程圖。圖13之技術可藉由視訊解碼器30 (包括反變換處理單元156及/或反量化單元154)執行。 在本發明之一個實例中,視訊解碼器30可經組態以接收經編碼視訊資料區塊(300)、判定用於經編碼視訊資料區塊之變換,其中該變換具有並非為二之冪的大小S (302),且將S捨位至二之冪從而產生具有經修改大小S'之反變換(304)。視訊解碼器30可經進一步組態以將具有經修改大小S'之反變換應用於經編碼視訊資料區塊以產生殘餘視訊資料(306),且解碼殘餘視訊資料以產生經解碼視訊資料區塊(308)。 在一個實例中,視訊解碼器30可經組態以將S捨位至最接近的二之冪。在另一實例中,S為12且視訊解碼器30可經組態以將12捨位至16,其中經修改大小S'為16。在另一實例中,S為24且視訊解碼器30可經組態以將24捨位至32,其中經修改大小S'為32。 在另一實例中,經編碼視訊資料區塊包括經反量化變換係數。在另一實例中,經編碼視訊資料區塊具有非正方形形狀。在一個實例中,S為變換之寬度。在另一實例中,S為變換之高度。 在本發明之另一實例中,視訊解碼器30可經組態以基於S'判定反變換之移位值。 為了說明之目的,本發明之某些態樣已經關於HEVC標準之擴展而描述。然而,本發明中所描述之技術可用於其他視訊寫碼過程,包括尚未開發之其他標準或專有視訊寫碼過程。 如本發明中所描述,視訊寫碼器可指視訊編碼器或視訊解碼器。類似地,視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地,如適用,視訊寫碼可指視訊編碼或視訊解碼。在本發明中,片語「基於」可指示僅僅基於、至少部分地基於,或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以寫碼樣本之一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分割,等等。在一些情況下,PU之論述可與巨集區塊或巨集區塊分割之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊及視訊資料之其他類型之區塊。 應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如,並非所有所描述動作或事件為實踐該等技術所必要)。此外,在某些實例中,可例如經由多線程處理、中斷處理或多個處理器同時而非順序執行動作或事件。 在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若實施於軟體中,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式,電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉由實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且,任何連接被恰當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術,自網站、伺服器或其他遠端源來傳輸指令,則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為關於非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。 可由一或多個處理器執行指令,該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些實例中,本文所描述之功能性可提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可實施於多種器件或裝置中,包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必需要藉由不同硬體單元來實現。確切而言,如上文所描述,各種單元可與合適之軟體及/或韌體一起組合於編碼解碼器硬體單元中或由互操作性硬體單元之集合提供,硬件單元包括如上文所描述之一或多個處理器。 各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧儲存媒體
22‧‧‧視訊編碼器
24‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
50‧‧‧區塊
51‧‧‧區塊
52‧‧‧區塊
53‧‧‧區塊
54‧‧‧區塊
55‧‧‧區塊
56‧‧‧區塊
57‧‧‧區塊
58‧‧‧區塊
59‧‧‧區塊
60‧‧‧區塊
61‧‧‧區塊
62‧‧‧區塊
63‧‧‧區塊
64‧‧‧區塊
65‧‧‧區塊
70‧‧‧節點
72‧‧‧節點
74‧‧‧節點
76‧‧‧節點
78‧‧‧節點
80‧‧‧節點/CTB
82‧‧‧線
84‧‧‧節點/線
86‧‧‧線
88‧‧‧線
90‧‧‧線
92‧‧‧線
94‧‧‧線
100‧‧‧預測處理單元
101‧‧‧視訊資料記憶體
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧視訊資料記憶體
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
300‧‧‧步驟
302‧‧‧步驟
304‧‧‧步驟
306‧‧‧步驟
308‧‧‧步驟
圖1為說明經組態以實施本發明之技術的實例視訊編碼及解碼系統的方塊圖。 圖2為說明高效率視訊寫碼(HEVC)中之寫碼單元(CU)結構的概念圖。 圖3為說明用於框間預測模式之實例分割類型的概念圖。 圖4A為說明使用四分樹二進位樹(QTBT)結構進行區塊分割之實例的概念圖。 圖4B為說明對應於使用圖4A之QTBT結構進行區塊分割的實例樹狀結構之概念圖。 圖5A為說明四分樹分割之概念圖。 圖5B為說明垂直二進位樹分割之概念圖。 圖5C為說明水平二進位樹分割之概念圖。 圖5D為說明垂直中心側樹分割之概念圖。 圖5E為說明水平中心側樹分割之概念圖。 圖6為說明根據本發明之技術的寫碼樹型單元(CTU)分割之實例的概念圖。 圖7為說明根據QTBT分割之一個實例的實例不對稱分割之概念圖。 圖8為說明零值區加均勻量化方案之概念圖。 圖9展示實例不對稱分割類型。 圖10為說明視訊編碼器之實例的方塊圖。 圖11為說明視訊解碼器之實例的方塊圖。 圖12為展示本發明之實例編碼方法的流程圖。 圖13為展示本發明之實例解碼方法的流程圖。
Claims (40)
- 一種解碼視訊資料之方法,該方法包含: 接收一經編碼視訊資料區塊; 判定用於該經編碼視訊資料區塊之一變換,其中該變換具有並非為二之冪的一大小S; 將S捨位至二之冪從而產生具有一經修改大小S'之一反變換; 將具有該經修改大小S'之該反變換應用至該經編碼視訊資料區塊以產生殘餘視訊資料;及 解碼該殘餘視訊資料以產生一經解碼視訊資料區塊。
- 如請求項1之方法,其中將S捨位至二之冪包含將S捨位至最接近的二之冪。
- 如請求項1之方法,其中該經編碼視訊資料區塊包括經反量化變換係數。
- 如請求項1之方法,其中該經編碼視訊資料區塊具有一非正方形形狀。
- 如請求項1之方法,其中S為12,且其中將S捨位至二之冪包含將12捨位至16,其中該經修改大小S'為16。
- 如請求項1之方法,其中S為24,且其中將S捨位至二之冪包含將24捨位至32,其中該經修改大小S'為32。
- 如請求項1之方法,其中S為該變換之寬度。
- 如請求項1之方法,其中S為該變換之高度。
- 如請求項1之方法,其進一步包含: 基於S'判定該反變換之移位值。
- 一種編碼視訊資料之方法,該方法包含: 接收一視訊資料區塊; 預測該視訊資料區塊以產生殘餘視訊資料; 判定用於該殘餘視訊資料之一變換,其中該變換具有並非為二之冪的一大小S; 將S捨位至二之冪從而產生具有一經修改大小S'之一變換; 將具有該經修改大小S'之該變換應用至該殘餘視訊資料以產生變換係數;及 在一經編碼視訊位元串流中編碼該等變換係數。
- 如請求項10之方法,其中將S捨位至二之冪包含將S捨位至最接近的二之冪。
- 如請求項10之方法,其進一步包含: 量化該等變換係數。
- 如請求項10之方法,其中該視訊資料區塊具有一非正方形形狀。
- 如請求項10之方法,其中S為12,且其中將S捨位至二之冪包含將12捨位至16,其中該經修改大小S'為16。
- 如請求項10之方法,其中S為24,且其中將S捨位至二之冪包含將24捨位至32,其中該經修改大小S'為32。
- 如請求項10之方法,其中S為該變換之寬度。
- 如請求項10之方法,其中S為該變換之高度。
- 一種經組態以解碼視訊資料之裝置,該裝置包含: 一記憶體,其經組態以儲存該視訊資料;及 一個或多個處理器,其與該記憶體通信,該一或多個處理器經組態以: 接收該視訊資料之一經編碼區塊; 判定用於該視訊資料之該經編碼區塊的一變換,其中該變換具有並非為二之冪的一大小S; 將S捨位至二之冪從而產生具有一經修改大小S'之一反變換; 將具有該經修改大小S'之該反變換應用至該視訊資料之該經編碼區塊以產生殘餘視訊資料;及 解碼該殘餘視訊資料以產生該視訊資料之一經解碼區塊。
- 如請求項18之裝置,其中為將S捨位至二之冪,該一或多個處理器經組態以將S捨位至最接近的二之冪。
- 如請求項18之裝置,其中該視訊資料之該經編碼區塊包括經反量化變換係數。
- 如請求項18之裝置,其中該視訊資料之該經編碼區塊具有一非正方形形狀。
- 如請求項18之裝置,其中S為12,且其中為將S捨位至二之冪,該一或多個處理器經組態以將12捨位至16,其中該經修改大小S'為16。
- 如請求項18之裝置,其中S為24,且其中為將S捨位至二之冪,該一或多個處理器經組態以將24捨位至32,其中該經修改大小S'為32。
- 如請求項18之裝置,其中S為該變換之寬度。
- 如請求項18之裝置,其中S為該變換之高度。
- 如請求項18之裝置,其中該一或多個處理器經進一步組態以: 基於S'判定該反變換之移位值。
- 如請求項18之裝置,其進一步包含: 一顯示器,其經組態以顯示該視訊資料之該經解碼區塊。
- 一種經組態以編碼視訊資料之裝置,該裝置包含: 一記憶體,其經組態以儲存該視訊資料;及 一個或多個處理器,其與該記憶體通信,該一或多個處理器經組態以: 接收該視訊資料之一區塊; 預測該視訊資料之該區塊以產生殘餘視訊資料; 判定用於該殘餘視訊資料之一變換,其中該變換具有並非為二之冪的一大小S; 將S捨位至二之冪從而產生具有一經修改大小S'之一變換; 將具有該經修改大小S'之該變換應用至該殘餘視訊資料以產生變換係數;及 在一經編碼視訊位元串流中編碼該等變換係數。
- 如請求項28之裝置,其中為將S捨位至二之冪,該一或多個處理器經組態以將S捨位至最接近的二之冪。
- 如請求項28之裝置,其中該一或多個處理器經進一步組態以: 量化該等變換係數。
- 如請求項28之裝置,其中該視訊資料區塊具有一非正方形形狀。
- 如請求項28之裝置,其中S為12,且其中為將S捨位至二之冪,該一或多個處理器經組態以將12捨位至16,其中該經修改大小S'為16。
- 如請求項28之裝置,其中S為24,且其中為將S捨位至二之冪,該一或多個處理器經組態以將24捨位至32,其中該經修改大小S'為32。
- 如請求項28之裝置,其中S為該變換之寬度。
- 如請求項28之裝置,其中S為該變換之高度。
- 如請求項28之裝置,其進一步包含: 一攝影機,其經組態以捕捉該視訊資料。
- 一種經組態以解碼視訊資料之裝置,該裝置包含: 用於接收一經編碼視訊資料區塊的構件; 用於判定用於該經編碼視訊資料區塊之一變換的構件,其中該變換具有並非為二之冪的一大小S; 用於將S捨位至二之冪從而產生具有一經修改大小S'之一反變換的構件; 用於將具有該經修改大小S'之該反變換應用至該經編碼視訊資料區塊以產生殘餘視訊資料的構件;及 用於解碼該殘餘視訊資料以產生一經解碼視訊資料區塊的構件。
- 一種經組態以編碼視訊資料之裝置,該裝置包含: 用於接收一視訊資料區塊的構件; 用於預測該視訊資料區塊以產生殘餘視訊資料的構件; 用於判定用於該殘餘視訊資料之一變換的構件,其中該變換具有並非為二之冪的一大小S; 用於將S捨位至二之冪從而產生具有一經修改大小S'之一變換的構件; 用於將具有該經修改大小S'之該變換應用至該殘餘視訊資料以產生變換係數的構件;及 用於在一經編碼視訊位元串流中編碼該等變換係數的構件。
- 一種儲存指令之電腦可讀儲存媒體,該等指令在經執行時使得經組態以對視訊資料進行解碼之器件的一或多個處理器: 接收該視訊資料之一經編碼區塊; 判定用於該視訊資料之該經編碼區塊的一變換,其中該變換具有並非為二之冪的一大小S; 將S捨位至二之冪從而產生具有一經修改大小S'之一反變換; 將具有該經修改大小S'之該反變換應用至該視訊資料之該經編碼區塊以產生殘餘視訊資料;及 解碼該殘餘視訊資料以產生該視訊資料之一經解碼區塊。
- 一種儲存指令之電腦可讀儲存媒體,該等指令在經執行時使得經組態以編碼視訊資料之一器件的一或多個處理器: 接收該視訊資料之一區塊; 預測該視訊資料之該區塊以產生殘餘視訊資料; 判定用於該殘餘視訊資料之一變換,其中該變換具有並非為二之冪的一大小S; 將S捨位至二之冪從而產生具有一經修改大小S'之一變換; 將具有該經修改大小S'之該變換應用至該殘餘視訊資料以產生變換係數;及 在一經編碼視訊位元串流中編碼該等變換係數。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762443569P | 2017-01-06 | 2017-01-06 | |
US62/443,569 | 2017-01-06 | ||
US15/862,203 US10848788B2 (en) | 2017-01-06 | 2018-01-04 | Multi-type-tree framework for video coding |
US15/862,203 | 2018-01-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201841501A true TW201841501A (zh) | 2018-11-16 |
TWI728220B TWI728220B (zh) | 2021-05-21 |
Family
ID=62781948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107100576A TWI728220B (zh) | 2017-01-06 | 2018-01-05 | 用於視訊寫碼之多種類型樹架構 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10848788B2 (zh) |
EP (1) | EP3566439A1 (zh) |
JP (1) | JP2020504506A (zh) |
KR (1) | KR102292788B1 (zh) |
CN (1) | CN110073661B (zh) |
BR (1) | BR112019013645A2 (zh) |
TW (1) | TWI728220B (zh) |
WO (1) | WO2018129322A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020197957A1 (en) * | 2019-03-22 | 2020-10-01 | Tencent America LLC | Method and apparatus for video coding |
WO2020197996A1 (en) * | 2019-03-22 | 2020-10-01 | Tencent America LLC | Method and apparatus for video coding |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114786009A (zh) * | 2016-03-16 | 2022-07-22 | 寰发股份有限公司 | 视频编码中限制块尺寸的视频数据处理方法与装置 |
US10609423B2 (en) * | 2016-09-07 | 2020-03-31 | Qualcomm Incorporated | Tree-type coding for video coding |
KR20230010060A (ko) * | 2016-10-04 | 2023-01-17 | 주식회사 비원영상기술연구소 | 영상 데이터 부호화/복호화 방법 및 장치 |
CN114245124B (zh) * | 2016-10-04 | 2023-04-07 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法、介质和发送比特流的方法 |
US20190238888A1 (en) * | 2017-07-17 | 2019-08-01 | Ki Baek Kim | Image data encoding/decoding method and apparatus |
EP3349455A1 (en) * | 2017-01-11 | 2018-07-18 | Thomson Licensing | Method and device for coding a block of video data, method and device for decoding a block of video data |
KR102559063B1 (ko) * | 2017-02-24 | 2023-07-24 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
KR102604680B1 (ko) * | 2017-12-21 | 2023-11-21 | 엘지전자 주식회사 | 선택적 변환에 기반한 영상 코딩 방법 및 그 장치 |
KR102445899B1 (ko) * | 2017-12-29 | 2022-09-21 | 인텔렉추얼디스커버리 주식회사 | 서브-블록 단위 화면 내 예측을 사용하는 비디오 코딩 방법 및 장치 |
CN116233432A (zh) * | 2018-01-02 | 2023-06-06 | 三星电子株式会社 | 编码方法及其设备以及解码方法及其设备 |
CA3092638A1 (en) * | 2018-03-01 | 2019-09-06 | Arris Enterprises Llc | System and method of motion information storage for video coding and signaling |
EP3763128A4 (en) * | 2018-03-14 | 2022-04-06 | Mediatek Inc. | METHOD AND APPARATUS PROVIDING AN OPTIMIZED DIVISION STRUCTURE FOR VIDEO CODING |
WO2019185815A1 (en) * | 2018-03-29 | 2019-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Partitioning concepts for block-based picture coding |
US10972758B2 (en) * | 2018-04-02 | 2021-04-06 | Qualcomm Incorporated | Multi-type-tree framework for transform in video coding |
KR20230137497A (ko) * | 2018-05-10 | 2023-10-04 | 삼성전자주식회사 | 영상의 부호화 및 복호화를 위한 영상의 분할 방법 및 장치 |
WO2019234605A1 (en) * | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Extended quad-tree with asymmetric sub-blocks and different tree for chroma |
CN110636299B (zh) * | 2018-06-21 | 2022-06-14 | 北京字节跳动网络技术有限公司 | 用于处理视频数据的方法、装置及计算机可读记录介质 |
US10887594B2 (en) * | 2018-07-05 | 2021-01-05 | Mediatek Inc. | Entropy coding of coding units in image and video data |
US11438590B2 (en) | 2018-08-16 | 2022-09-06 | Hfi Innovation Inc. | Methods and apparatuses of chroma quantization parameter derivation in video processing system |
AU2018217336A1 (en) * | 2018-08-17 | 2020-03-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a transformed block of video samples |
AU2018217333A1 (en) | 2018-08-17 | 2020-03-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a transformed block of video samples |
EP3723375B1 (en) * | 2018-09-02 | 2023-04-05 | LG Electronics Inc. | Method for processing image signals and computer-readable storage medium storing a bitstream generated by said method |
FI3878175T3 (fi) * | 2018-11-08 | 2024-05-16 | Interdigital Vc Holdings Inc | Kvantisointi videokoodaukselle tai dekoodaukselle lohkon pinnalla |
WO2020111749A1 (ko) * | 2018-11-27 | 2020-06-04 | 엘지전자 주식회사 | 변환 스킵 플래그 코딩 방법 및 장치 |
WO2020118222A1 (en) * | 2018-12-07 | 2020-06-11 | Futurewei Technologies, Inc. | Constrained prediction mode for video coding |
WO2020122654A1 (ko) | 2018-12-12 | 2020-06-18 | 주식회사 윌러스표준기술연구소 | 현재 픽쳐 참조를 이용한 비디오 신호 처리 방법 및 장치 |
CN111435993B (zh) * | 2019-01-14 | 2022-08-26 | 华为技术有限公司 | 视频编码器、视频解码器及相应方法 |
WO2020156574A1 (en) * | 2019-02-03 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Signaling for video block partition mode |
US12010342B2 (en) * | 2019-02-09 | 2024-06-11 | Lg Electronics Inc. | Method and device for processing video signal |
CN113439441A (zh) | 2019-02-15 | 2021-09-24 | 北京字节跳动网络技术有限公司 | 基于块分割的变换参数推导 |
JP7399973B2 (ja) * | 2019-02-19 | 2023-12-18 | ヒューマックス・カンパニー・リミテッド | イントラ予測ベースのビデオ信号処理方法及び装置 |
CN113557746B (zh) * | 2019-03-12 | 2024-07-05 | 北京字节跳动网络技术有限公司 | 视频编解码中的复合三叉树 |
US11190777B2 (en) * | 2019-06-30 | 2021-11-30 | Tencent America LLC | Method and apparatus for video coding |
WO2021023258A1 (en) * | 2019-08-06 | 2021-02-11 | Beijing Bytedance Network Technology Co., Ltd. | Video region partition based on color format |
US11317090B2 (en) * | 2019-08-12 | 2022-04-26 | Tencent America LLC | Method and apparatus for video coding |
EP4008106A4 (en) | 2019-09-02 | 2022-11-09 | Beijing Bytedance Network Technology Co., Ltd. | PARTITION OF A VIDEO ZONE ACCORDING TO A COLOR FORMAT |
AU2019232797A1 (en) * | 2019-09-17 | 2021-04-01 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a block of video samples |
MX2022003122A (es) | 2019-09-21 | 2022-04-06 | Beijing Bytedance Network Tech Co Ltd | Modo intra basado para croma de restriccion de tama?o. |
US11399195B2 (en) * | 2019-10-30 | 2022-07-26 | Tencent America LLC | Range of minimum coding block size in video coding |
AU2020372684B2 (en) * | 2019-11-01 | 2024-03-07 | Lg Electronics Inc. | Transform-based image coding method and device for same |
BR112022008304A2 (pt) * | 2019-11-01 | 2022-08-09 | Lg Electronics Inc | Método com base em transformada para imagem de codificação, e dispositivo para o mesmo |
AU2020375518B2 (en) * | 2019-11-01 | 2024-02-29 | Lg Electronics Inc. | Image coding method based on transform, and device therefor |
JP2022531541A (ja) * | 2019-12-23 | 2022-07-07 | テンセント・アメリカ・エルエルシー | ビデオ符号化/復号のための方法および装置 |
CN116918325A (zh) * | 2021-02-10 | 2023-10-20 | 抖音视界有限公司 | 视频解码器初始化信息信令通知 |
WO2022206735A1 (en) * | 2021-03-30 | 2022-10-06 | Beijing Bytedance Network Technology Co., Ltd. | Intra-prediction on non-dyadic blocks |
WO2023236775A1 (en) * | 2022-06-06 | 2023-12-14 | Mediatek Inc. | Adaptive coding image and video data |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101566564B1 (ko) | 2007-10-16 | 2015-11-05 | 톰슨 라이센싱 | 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치 |
FR2926694B1 (fr) | 2008-01-18 | 2010-04-16 | Sagem Comm | Decodeur de donnees video et procede de decodage de donnees video |
US9110849B2 (en) * | 2009-04-15 | 2015-08-18 | Qualcomm Incorporated | Computing even-sized discrete cosine transforms |
KR101487686B1 (ko) | 2009-08-14 | 2015-01-30 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
JP5672678B2 (ja) | 2009-08-21 | 2015-02-18 | Tdk株式会社 | 電子部品及びその製造方法 |
CN104601996B (zh) | 2009-10-20 | 2018-04-10 | 夏普株式会社 | 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法 |
KR101457396B1 (ko) | 2010-01-14 | 2014-11-03 | 삼성전자주식회사 | 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치 |
HUE057597T2 (hu) | 2010-04-13 | 2022-05-28 | Ge Video Compression Llc | Videó kódolás képek többes fa struktúrájú alosztásainak használatával |
AU2011241284B2 (en) | 2010-04-13 | 2015-05-07 | Samsung Electronics Co., Ltd. | Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure |
US20120170648A1 (en) | 2011-01-05 | 2012-07-05 | Qualcomm Incorporated | Frame splitting in video coding |
US9807424B2 (en) | 2011-01-10 | 2017-10-31 | Qualcomm Incorporated | Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation |
US8548057B2 (en) | 2011-01-25 | 2013-10-01 | Microsoft Corporation | Video coding redundancy reduction |
KR20120090740A (ko) | 2011-02-07 | 2012-08-17 | (주)휴맥스 | 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법 |
CN106878722B (zh) | 2011-06-24 | 2019-11-12 | 太阳专利托管公司 | 解码方法、解码装置、编码方法、编码装置 |
US9883203B2 (en) | 2011-11-18 | 2018-01-30 | Qualcomm Incorporated | Adaptive overlapped block motion compensation |
US9462275B2 (en) * | 2012-01-30 | 2016-10-04 | Qualcomm Incorporated | Residual quad tree (RQT) coding for video coding |
JP2013229674A (ja) * | 2012-04-24 | 2013-11-07 | Sharp Corp | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム |
KR102063385B1 (ko) | 2013-01-30 | 2020-01-07 | 인텔 코포레이션 | 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩 |
GB2513111A (en) * | 2013-04-08 | 2014-10-22 | Sony Corp | Data encoding and decoding |
US9906813B2 (en) | 2013-10-08 | 2018-02-27 | Hfi Innovation Inc. | Method of view synthesis prediction in 3D video coding |
KR20160132891A (ko) * | 2014-03-13 | 2016-11-21 | 퀄컴 인코포레이티드 | 3d 비디오 코딩에 대한 제약된 깊이 인트라 모드 코딩 |
CN106664430A (zh) * | 2014-06-11 | 2017-05-10 | Lg电子株式会社 | 利用嵌入块分割对视频信号进行编码和解码的方法及装置 |
FR3029333A1 (fr) | 2014-11-27 | 2016-06-03 | Orange | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
WO2016090568A1 (en) * | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Binary tree block partitioning structure |
WO2016154963A1 (en) | 2015-04-01 | 2016-10-06 | Mediatek Inc. | Methods for chroma coding in video codec |
US20170150186A1 (en) | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Flexible transform tree structure in video coding |
AU2015261734A1 (en) | 2015-11-30 | 2017-06-15 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data according to local luminance intensity |
US10212444B2 (en) | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
US11223852B2 (en) | 2016-03-21 | 2022-01-11 | Qualcomm Incorporated | Coding video data using a two-level multi-type-tree framework |
-
2018
- 2018-01-04 US US15/862,203 patent/US10848788B2/en active Active
- 2018-01-05 BR BR112019013645A patent/BR112019013645A2/pt not_active IP Right Cessation
- 2018-01-05 EP EP18701854.4A patent/EP3566439A1/en not_active Ceased
- 2018-01-05 JP JP2019533621A patent/JP2020504506A/ja not_active Ceased
- 2018-01-05 WO PCT/US2018/012589 patent/WO2018129322A1/en active Search and Examination
- 2018-01-05 TW TW107100576A patent/TWI728220B/zh not_active IP Right Cessation
- 2018-01-05 CN CN201880005017.2A patent/CN110073661B/zh active Active
- 2018-01-05 KR KR1020197019362A patent/KR102292788B1/ko active IP Right Grant
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020197957A1 (en) * | 2019-03-22 | 2020-10-01 | Tencent America LLC | Method and apparatus for video coding |
WO2020197996A1 (en) * | 2019-03-22 | 2020-10-01 | Tencent America LLC | Method and apparatus for video coding |
US11677969B2 (en) | 2019-03-22 | 2023-06-13 | Tencent America LLC | Method and apparatus for video coding |
Also Published As
Publication number | Publication date |
---|---|
KR102292788B1 (ko) | 2021-08-24 |
CN110073661B (zh) | 2021-09-14 |
JP2020504506A (ja) | 2020-02-06 |
WO2018129322A1 (en) | 2018-07-12 |
KR20190104032A (ko) | 2019-09-05 |
EP3566439A1 (en) | 2019-11-13 |
CN110073661A (zh) | 2019-07-30 |
BR112019013645A2 (pt) | 2020-01-21 |
TWI728220B (zh) | 2021-05-21 |
US20180199072A1 (en) | 2018-07-12 |
US10848788B2 (en) | 2020-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI728220B (zh) | 用於視訊寫碼之多種類型樹架構 | |
US10506246B2 (en) | Multi-type-tree framework for video coding | |
AU2018282523B2 (en) | Intra filtering applied together with transform processing in video coding | |
US11611757B2 (en) | Position dependent intra prediction combination extended with angular modes | |
TW202143717A (zh) | 視頻譯碼中的亮度映射與色度縮放(lmcs) | |
TW201804806A (zh) | 在非僅四分樹分割之視頻寫碼之量化資訊的發信號 | |
CN113940069A (zh) | 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令 | |
CN112514386B (zh) | 网格编解码量化系数编解码 | |
CN114009026A (zh) | 视频译码中的色度量化参数偏移的块级信令 | |
US10972758B2 (en) | Multi-type-tree framework for transform in video coding | |
CN113994694A (zh) | 视频译码中的简化帧内色度模式译码 | |
EP4186237A1 (en) | Multiple adaptive loop filter sets | |
CN114982240A (zh) | 用于视频译码的多重变换集信令 | |
TW202131687A (zh) | 用於視訊編碼的單色調色板模式 | |
CN114402599A (zh) | 用于视频编解码的高级语法中的子图片的信令号 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |