TWI527465B - 已寫碼區塊旗標寫碼 - Google Patents

已寫碼區塊旗標寫碼 Download PDF

Info

Publication number
TWI527465B
TWI527465B TW102112223A TW102112223A TWI527465B TW I527465 B TWI527465 B TW I527465B TW 102112223 A TW102112223 A TW 102112223A TW 102112223 A TW102112223 A TW 102112223A TW I527465 B TWI527465 B TW I527465B
Authority
TW
Taiwan
Prior art keywords
cbf
node
nodes
rqt
block
Prior art date
Application number
TW102112223A
Other languages
English (en)
Other versions
TW201349866A (zh
Inventor
郭立威
王翔林
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201349866A publication Critical patent/TW201349866A/zh
Application granted granted Critical
Publication of TWI527465B publication Critical patent/TWI527465B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Dc Digital Transmission (AREA)

Description

已寫碼區塊旗標寫碼
本申請案主張2012年4月5日申請之美國臨時專利申請案第61/620,765號之權利,該案之全文特此以引用的方式併入本文中。
本發明係關於視訊寫碼及壓縮,且詳言之係關於已寫碼區塊旗標之寫碼。
可將數位視訊能力併入於廣泛範圍之器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、視訊電話會議器件及其類似者。數位視訊器件實施視訊壓縮技術(諸如,在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))、當前在開發過程中之高效率視訊寫碼(HEVC)標準定義之標準及此等標準之擴展中所描述的視訊壓縮技術)以更有效率地傳輸、接收及儲存數位視訊資訊。
視訊壓縮技術執行空間(圖片內)預測及/或時間(圖片間)預測,以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊分割成視訊區塊,視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖片中之相鄰區塊中之參考樣本的空間預測來編碼圖片之框內寫碼(I)圖塊中的視訊區塊。圖片之 框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖片中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖片中之參考樣本之時間預測。圖片可被稱作圖框,且參考圖片可被稱作參考圖框。
大體而言,本發明描述用於發信有效係數區塊之存在的技術。有效係數區塊可為一包括一或多個非零係數之係數區塊。更具體而言,視訊編碼器可產生一包括表示一寫碼單元(CU)之殘餘四分樹(RQT)的資料之位元串流,該寫碼單元大於最大允許變換單元(TU)大小。RQT包括一節點階層架構。RQT之根節點對應於CU整體,且RQT之葉節點對應於CU之TU。根節點與一色度分量的已寫碼區塊旗標(CBF)相關聯。色度分量之CBF可指示CU之TU中的任何者是否與基於特定色度分量之樣本的有效係數區塊相關聯。視訊解碼器可接收位元串流,且可基於CBF判定葉節點中之任何者是否與色度分量之有效係數區塊相關聯。
在一態樣中,一用於編碼視訊資料之方法包含產生表示CU之殘餘RQT的資料,該CU大於最大允許TU大小。RQT包括節點階層架構。RQT之根節點對應於CU整體,且RQT之葉節點對應於CU之TU。根節點與一特定色度分量之CBF相關聯,該特定色度分量之CBF指示CU之TU中的任何者是否與基於特定色度分量之樣本的有效色度係數區塊相關聯。該方法亦包含輸出一包括CU之RQT的位元串流。
在另一態樣中,一用於解碼視訊資料之方法包含自一包括視訊資料之已編碼表示的位元串流剖析CU之RQT的根節點之CBF。CU之像素區塊大於最大允許TU大小。該方法亦包含在CBF具有一第一值的情況下自位元串流剖析一與RQT之葉節點相關聯的色度係數區塊。若CBF具有一不同於第一值的第二值,則不自位元串流剖析與葉節點相關聯之色度係數區塊。
在另一態樣中,視訊編碼器件編碼視訊資料。視訊編碼器件包含經組態以產生表示CU之RQT之資料的一或多個處理器,CU大於最大允許TU大小,RQT包括節點階層架構。RQT之根節點對應於CU整體,且RQT之葉節點對應於CU之TU。根節點與特定色度分量之CBF相關聯,特定色度分量之CBF指示CU之TU中的任何者是否與基於特定色度分量之樣本的有效色度係數區塊相關聯。
在另一態樣中,視訊解碼器件解碼視訊資料。視訊解碼器件包含經組態以自一包括視訊資料之已編碼表示的位元串流剖析CU之RQT的根節點之CBF的一或多個處理器。CU之像素區塊大於最大允許TU大小。該一或多個處理器經組態以在CBF具有一第一值的情況下自位元串流剖析一與RQT之葉節點相關聯的色度係數區塊。若CBF具有一不同於第一值的第二值,則不自位元串流剖析與葉節點相關聯之色度係數區塊。
在另一態樣中,視訊編碼器件編碼視訊資料。視訊編碼器件包含用於產生表示CU之RQT之資料的構件,該CU大於最大允許TU大小,RQT包括節點階層架構。RQT之根節點對應於CU整體,且RQT之葉節點對應於CU之TU。根節點與特定色度分量之CBF相關聯,特定色度分量之CBF指示CU之TU中的任何者是否與基於特定色度分量之樣本的有效色度係數區塊相關聯。
在另一態樣中,視訊解碼器件解碼視訊資料。視訊解碼器件包含用於自一包括視訊資料之已編碼表示的位元串流剖析CU之RQT的根節點之CBF的構件。CU之像素區塊大於最大允許TU大小。該視訊解碼器件亦包含用於在CBF具有一第一值的情況下自位元串流剖析一與RQT之葉節點相關聯的色度係數區塊的構件。若CBF具有一不同於第一值的第二值,則不自位元串流剖析與葉節點相關聯之色度係數區塊。
在另一態樣中,一電腦可讀儲存媒體儲存指令,該等指令在由視訊編碼器件之一或多個處理器執行時組態視訊編碼器件以產生表示CU之RQT之資料,該CU大於最大允許變換單元(TU)大小,RQT包括節點階層架構。RQT之根節點對應於CU整體,且RQT之葉節點對應於CU之TU。根節點與特定色度分量之CBF相關聯,特定色度分量之CBF指示CU之TU中的任何者是否與基於特定色度分量之樣本的有效色度係數區塊相關聯。
在另一態樣中,一電腦可讀儲存媒體儲存指令,該等指令在由視訊解碼器件之一或多個處理器執行時組態視訊編碼器件以自一包括視訊資料之已編碼表示的位元串流剖析CU之RQT的根節點之CBF。CU之像素區塊大於最大允許TU大小。該等指令亦組態該一或多個處理器以在CBF具有一第一值的情況下自位元串流剖析一與RQT之葉節點相關聯的色度係數區塊。若CBF具有一不同於第一值的第二值,則不自位元串流剖析與葉節點相關聯之色度係數區塊。
在隨附圖式及以下描述中闡明了本發明之一或多個實例的細節。其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
38‧‧‧殘餘像素區塊
40‧‧‧子區塊或較小殘餘像素區塊
42‧‧‧子區塊或較小殘餘像素區塊
44‧‧‧子區塊或較小殘餘像素區塊
46‧‧‧子區塊或較小殘餘像素區塊
48‧‧‧子區塊或右上殘餘像素區塊
50‧‧‧子區塊或左下殘餘像素區塊
52‧‧‧子區塊或右下殘餘像素區塊
54‧‧‧RQT
56‧‧‧殘餘四分樹(RQT)
60‧‧‧殘餘亮度(Y)樣本區塊
62‧‧‧殘餘色度樣本區塊
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧逆量化單元
110‧‧‧逆變換處理單元
112‧‧‧重建構單元
113‧‧‧濾波器單元
114‧‧‧經解碼圖片緩衝器
116‧‧‧熵編碼單元
121‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧逆量化單元
156‧‧‧逆變換處理單元
158‧‧‧重建構單元
159‧‧‧濾波器單元
160‧‧‧經解碼圖片緩衝器
162‧‧‧運動補償單元
164‧‧‧框內預測處理單元
200‧‧‧RQT
202‧‧‧節點
204‧‧‧節點
206‧‧‧節點
208‧‧‧節點
210‧‧‧節點
212‧‧‧節點
214‧‧‧節點
216‧‧‧節點
218‧‧‧節點
250‧‧‧視訊編碼器20之實例操作
300‧‧‧視訊解碼器30之實例操作
340‧‧‧用以剖析RQT之節點的語法元素之實例操作
U0‧‧‧子區塊
U1‧‧‧子區塊
U2‧‧‧子區塊
U3‧‧‧子區塊
Y0‧‧‧較小殘餘樣本區塊
Y1‧‧‧較小殘餘樣本區塊
Y2‧‧‧較小殘餘樣本區塊
Y3‧‧‧較小殘餘樣本區塊
圖1為說明可利用本發明之技術的一實例視訊寫碼系統的方塊圖。
圖2A為說明與寫碼單元(CU)相關聯的殘餘像素區塊之一實例四分樹分解的概念圖。
圖2B為說明使用一樹狀結構描述的圖2A之變換分解方案的概念圖。
圖3為說明一實例殘餘四分樹(RQT)之概念圖。
圖4A為說明64×64 CU之一實例殘餘亮度樣本區塊的概念圖。
圖4B為說明64×64 CU之一實例殘餘色度樣本區塊的概念圖。
圖5為說明可實施本發明之技術的一實例視訊編碼器之方塊圖。
圖6為說明可實施本發明之技術的一實例視訊解碼器之方塊圖。
圖7為說明根據本發明之一或多種技術的一實例殘餘四分樹(RQT)之概念圖。
圖8為說明根據本發明之一或多種技術的視訊編碼器之實例操作的流程圖。
圖9為說明根據本發明之一或多種技術的視訊解碼器之實例操作的流程圖。
圖10A為說明根據本發明之一或多種技術的用以剖析RQT之節點之語法元素的實例操作之流程圖。
圖10B為說明根據本發明之一或多種技術的圖10A之實例操作之繼續的流程圖。
視訊編碼器將寫碼單元(CU)之殘餘像素區塊分解成一或多個較小的殘餘像素區塊,該等較小殘餘像素區塊中之每一者與CU之一變換單元(TU)相關聯。殘餘像素區塊中之每一像素包括一亮度(Y)樣本且亦可包括兩個色度樣本(U及V)。U樣本可指示一像素之藍色分量與該像素之Y樣本之間的差。由於此原因,U樣本亦可稱作Cb樣本。V樣本可指示一像素之紅色樣本與該像素之Y樣本之間的差。由於此原因,V樣本亦可稱作Cr樣本。
因為每一殘餘像素包括一Y樣本且亦可包括U樣本及V樣本,所以TU中之每一者可與殘餘Y樣本之區塊(亦即,Y殘餘樣本區塊)、殘餘U樣本之區塊(亦即,U殘餘樣本區塊)及殘餘V樣本之區塊(亦即,V殘餘樣本區塊)相關聯。視訊編碼器可將一或多個變換應用於該等殘餘樣本區塊中之每一者,以便產生對應於殘餘樣本區塊之係數區塊。 一些係數區塊不包括非零係數,意謂彼等係數區塊僅包括零係數。為易於解釋,若一係數區塊包括一或多個非零係數,則本發明可將該係數區塊稱作有效係數區塊。若一係數區塊不包括非零係數(亦即,係數區塊僅包括零值係數),則對於視訊編碼器而言,產生一指示係數區塊不包括非零係數的旗標可能比發信係數區塊之零值係數中之每一者更有效率。
視訊編碼器可產生表示CU之殘餘四分樹(RQT)的資料。RQT亦可稱作變換樹。CU之RQT包含節點之集合。該等節點中之每一者對應於一殘餘樣本區塊。RQT之根節點對應於CU之殘餘像素區塊。RQT之葉節點對應於CU之TU的殘餘像素區塊。RQT之節點可與分裂旗標相關聯。節點之分裂旗標可指示節點是否具有RQT之複數個子節點。
此外,除了與分裂旗標相關聯外,RQT中之每一葉節點亦與一指示葉節點是否與有效亮度係數區塊相關聯的亮度已寫碼區塊旗標(CBF)相關聯。在本發明中,亮度CBF亦可稱作Y CBF且亮度係數區塊可稱作Y係數區塊。Y係數區塊為一基於殘餘Y樣本區塊之係數區塊。除了分裂旗標及亮度CBF外,RQT之節點亦可與U CBF及V CBF相關聯。節點之U CBF指示節點或節點之任一子系節點是否與有效U係數區塊相關聯。U係數區塊為一基於殘餘U樣本區塊之係數區塊。若第二節點為RQT之根節點或存在一自第一節點至根節點穿過RQT的路徑(其通過第二節點且不會不止一次地通過任一節點),則第一節點可為第二節點之子系節點。若節點之U CBF指示節點及節點之每一子系節點不與有效U係數區塊相關聯,則節點之子系節點皆不與U CBF相關聯。節點之V CBF指示節點或節點之任一子系節點是否與有效V係數區塊相關聯。V係數區塊為一基於殘餘V樣本區塊之係數區塊。若節點之V CBF指示節點及節點之每一子系節點不與有效V係數區塊相關聯,則節點之子系節點皆不與V CBF相關聯。若節點對應於一大 於最大允許TU大小的殘餘樣本區塊,則節點不與U CBF或V CBF相關聯。
關於此系統,可存在若干問題。首先,存在用於發信RQT之節點是否與有效亮度係數區塊及有效U及V係數區塊相關聯的不同方法。亦即,僅在RQT之葉節點處編碼Y CBF而可在RQT之非葉節點處編碼U CBF及V CBF。第二,U CBF及V CBF之階層式寫碼僅應用於RQT之一些層級。舉例而言,視訊編碼器不在對應於大於最大允許TU大小之殘餘像素區塊的節點處發信U CBF及V CBF。此等問題可增加視訊編碼器及視訊解碼器之複雜性。
根據本發明之技術,視訊編碼器可產生表示CU之RQT的資料。CU可大於最大允許TU大小(亦即,與CU相關聯之像素區塊可大於最大允許TU大小)。最大允許TU大小可為與TU相關聯之像素區塊之最大允許大小。RQT之根節點對應於CU整體,且RQT之葉節點對應於CU之TU。根節點與特定色度分量之CBF相關聯,特定色度分量之CBF指示CU之TU中的任何者是否與一基於特定色度分量之樣本的有效係數區塊相關聯。特定色度分量可為U分量或V分量。類似地,視訊解碼器可自一包括視訊資料之已編碼表示的位元串流剖析CU之RQT的根節點之CBF,其中CU之像素區塊大於最大允許TU大小。若CBF具有第一值,則視訊解碼器可自位元串流剖析一與RQT之葉節點相關聯的色度係數區塊。若CBF具有一不同於第一值之第二值,則不自位元串流剖析與葉節點相關聯之色度係數區塊。
本發明之技術可提供若干優點。舉例而言,若不在根節點處發信色度CBF(例如,特定色度分量之CBF),則在對應於小於最大允許TU大小之TU的RQT之第一層級中之每一節點處發信色度CBF。相對比而言,若在RQT之根節點處發信色度CBF,則尤其在根節點處之CBF具有第二值的情況下,視訊編碼器可能無需在對應於小於最大允 許TU大小之TU的RQT之第一層級之每一節點處發信色度CBF。以此方式,本發明之技術可減少經發信之CBF的數目,且因此增加寫碼效率。
隨附圖式說明實例。由隨附圖式中之參考數字指示的元件對應於由以下描述中之相同參考數字指示的元件。在本發明中,具有以序數詞(例如,「第一」、「第二」、「第三」等)開始之名稱的元件不一定暗示該等元件具有一特定次序。確切言之,此等序數詞僅用以指代相同或類似類型之不同元件。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文中所描述之使用,術語「視訊寫碼器」一般指代視訊編碼器及視訊解碼器兩者。在本發明中,術語「視訊寫碼」或「寫碼」一般可指代視訊編碼或視訊解碼。
如圖1中所展示,視訊寫碼系統10包括一源器件12及一目的地器件14。源器件12產生已編碼之視訊資料。因此,源器件12可稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之已編碼視訊資料。因此,目的地器件14可稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件,包括桌上型電腦、行動計算器件、筆記本型(例如,膝上型)電腦、平板電腦、機上盒、諸如所謂之「智慧型」手機的電話手機、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、車內電腦或其類似者。
目的地器件14可經由頻道16接收來自源器件12之已編碼視訊資料。頻道16可包含能夠將已編碼視訊資料自源器件12移至目的地器件14的一或多個媒體或器件。在一實例中,頻道16可包含使得源器件12能夠即時將已編碼視訊資料直接傳輸至目的地器件14的一或多個通信 媒體。在此實例中,源器件12可根據一通信標準(諸如無線通信協定)調變已編碼視訊資料,且可傳輸已調變視訊資料至目的地器件14。該一或多個通信媒體可包括無線及/或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。該一或多個通信媒體可形成一基於封包之網路(諸如,區域網路、廣域網路或全球網路(例如,網際網路))的部分。頻道16可包括各種類型之器件,諸如路由器、交換器、基地台,或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中,頻道16可包括一儲存由源器件12產生之已編碼視訊資料的儲存媒體。在此實例中,目的地器件14可經由磁碟存取或卡存取來存取該儲存媒體。該儲存媒體可包括多種本端存取之資料儲存媒體,諸如藍光光碟、DVD、CD-ROM、快閃記憶體,或用於儲存已編碼視訊資料的其他合適之數位儲存媒體。
在另一實例中,頻道16可包括儲存由源器件12產生之已編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中,目的地器件14可經由串流或下載來存取儲存在檔案伺服器或其他中間儲存器件處的已編碼視訊資料。檔案伺服器可為能夠儲存已編碼視訊資料並傳輸已編碼視訊資料至目的地器件14的類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件,及本端磁碟機。
目的地器件14可經由諸如網際網路連接之標準資料連接來存取已編碼視訊資料。資料連接之實例類型可包括無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等),或適於存取儲存於檔案伺服器上之已編碼視訊資料的兩者之組合。已編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸,或兩者之組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援各種多媒體應用的視訊寫碼,該等多媒體應用諸如空中電視廣播、有 線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如,經由網際網路)、用於儲存在資料儲存媒體上的視訊資料之編碼、儲存於資料儲存媒體上之視訊資料的解碼,或其他應用。在一些實例中,視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中,源器件12包括一視訊源18、一視訊編碼器20及一輸出介面22。在一些實例中,輸出介面22可包括一調變器/解調變器(數據機)及/或一傳輸器。視訊源18可包括視訊俘獲器件(例如,視訊攝影機)、含有先前俘獲之視訊資料之視訊存檔、用以接收來自視訊內容提供者之視訊資料的視訊饋送介面、及/或用於產生視訊資料之電腦圖形系統,或視訊資料之此等源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中,源器件12經由輸出介面22將已編碼視訊資料直接傳輸至目的地器件14。在其他實例中,已編碼視訊資料亦可儲存於儲存媒體或檔案伺服器上,以在稍後由目的地器件14存取以用於解碼及/或播放。
在圖1之實例中,目的地器件14包括一輸入介面28、一視訊解碼器30及一顯示器件32。在一些實例中,輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收已編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。一般而言,顯示器件32顯示已解碼視訊資料。顯示器件32可包含各種顯示器件,諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
在一些實例中,視訊編碼器20及視訊解碼器30根據一視訊壓縮標準來操作,該視訊壓縮標準諸如ISO/IEC MPEG-4視覺及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC),包括其可縮放視訊寫碼(Scalable Video Coding,SVC)及多視點視訊寫碼(Multiview Video Coding,MVC)擴展。在其他實例中,視訊編碼器20及視訊解碼器30可根據其他視訊壓縮標準來操作,包括目前在開發中的高效率視訊寫碼(HEVC)標準。即將來臨之HEVC標準之草案(稱作「HEVC工作草案9」)描述於2012年10月,中國上海,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的關於視訊寫碼之聯合協作小組(JCT-VC),第11次會議,Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」中,自2012年11月7日起,該文獻可自http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v8.zip下載,該文獻之全部內容以引用之方式併入本文中。然而,本發明之技術不限於任一特定寫碼標準或技術。
圖1僅為一實例且本發明之技術可應用於不一定包括視訊編碼器件與視訊解碼器件之間的任何資料通信之視訊寫碼設定(例如,視訊編碼或視訊解碼)。在其他實例中,資料係自一本端記憶體擷取、經由網路而串流傳輸,或其類似者。視訊編碼器件可編碼資料並儲存資料至記憶體,及/或視訊解碼器件可擷取並解碼來自記憶體之資料。在許多實例中,視訊編碼及解碼係由彼此不通信但簡單地編碼資料至記憶體及/或擷取及解碼來自記憶體之資料的器件來執行。
視訊編碼器20及視訊解碼器30各自可經實施為各種合適電路中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若技術被部分地實施於軟體中,則器件可將軟體之指令儲存於一合適之非暫時電腦可讀儲存媒體中,且可使用一或多個處理器在硬體中執行指令以執行本發明之技術。前述中之任一者(包括硬體、軟體、硬體與軟體之組合等)可被視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器 中,其中任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器(CODEC))的部分。
本發明一般可涉及「發信」某些資訊之視訊編碼器20。術語「發信」一般可指代用以解碼已壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時或接近即時地發生。或者,此通信可在一時間區間上發生,諸如可能在以下情況下發生:在編碼時以一已編碼位元串流形式將語法元素儲存至電腦可讀儲存媒體,一視訊解碼器件接著可在儲存至此媒體之後的任一時間擷取該等語法元素。
如上文簡要提及,視訊編碼器20編碼視訊資料。視訊資料可包含一或多個圖片。該等圖片中之每一者為形成視訊之部分的靜止影像。當視訊編碼器20編碼視訊資料時,視訊編碼器20可產生一位元串流。該位元串流可包括形成視訊資料之已寫碼表示的位元之序列。該位元串流可包括已寫碼圖片及相關聯之資料。已寫碼圖片為圖片之已寫碼表示。相關聯之資料可包括序列參數集(SPS)、圖片參數集(PPS)及其他語法結構。SPS可含有可應用於圖片之零個或更多個序列的參數。PPS可含有可應用於零個或更多個圖片之參數。
為了產生圖片之已編碼表示,視訊編碼器20可將圖片分割成寫碼樹型區塊(CTB)之柵格。在一些情況下,CTB可稱作「樹型區塊」、「最大寫碼單元」(LCU)或「寫碼樹型單元」。HEVC之CTB可廣泛類似於其他標準(諸如H.264/AVC)之巨集區塊。然而,CTB不一定限於特定大小且可包括一或多個寫碼單元(CU)。
CTB中之每一者可與圖片內的不同相等大小之像素區塊相關聯。每一像素可包含一亮度(luma)樣本且亦可包含兩個色度(chroma)樣本。因此,每一CTB可與亮度樣本之區塊及色度樣本之兩個區塊相關聯。為了易於解釋,本發明可將像素之二維陣列稱作像素區塊且可將樣本之二維陣列稱作樣本區塊。視訊編碼器20可使用四分樹分割來將 與CTB相關聯之像素區塊分割成與CU相關聯之像素區塊,因此名為「寫碼樹型區塊」。
圖片之CTB可經分組成一或多個圖塊。在一些實例中,圖塊中之每一者包括整數個CTB。作為編碼圖片之部分,視訊編碼器20可產生圖片之每一圖塊之已編碼表示(亦即,已寫碼圖塊)。為了產生一已寫碼圖塊,視訊編碼器20可編碼圖塊之每一CTB以產生圖塊之CTB中之每一者的已編碼表示(亦即,已寫碼CTB)。
為了產生一已寫碼CTB,視訊編碼器20可對與CTB相關聯之像素區塊遞歸地執行四分樹分割以將像素區塊分成逐漸減小之像素區塊。較小像素區塊中之每一者可與CU相關聯。已分割之CU可為其像素區塊經分割成與其他CU相關聯之像素區塊的CU。一未分割之CU可為其像素區塊未經分割成與其他CU相關聯之像素區塊的CU。
視訊編碼器20可產生每一未分割之CU的一或多個預測單元(PU)。CU之PU中的每一者可與CU之像素區塊內的不同像素區塊相關聯。視訊編碼器20可產生CU之每一PU的預測像素區塊。PU的預測像素區塊可為一像素區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測像素區塊。若視訊編碼器20使用框內預測來產生PU之預測像素區塊,則視訊編碼器20可基於與PU相關聯之圖片的已解碼像素而產生PU之預測像素區塊。若視訊編碼器20使用框間預測來產生PU之預測像素區塊,則視訊編碼器20可基於不同於與PU相關聯之圖片的一或多個圖片之已解碼像素而產生PU之預測像素區塊。
在視訊編碼器20產生CU之一或多個PU的經預測像素區塊之後,視訊編碼器20可基於CU之PU的經預測像素區塊產生CU之殘餘資料。CU之殘餘資料可指示CU之PU之經預測像素區塊中的樣本與CU之原始像素區塊中的樣本之間的差。
CU之殘餘像素區塊中的每一像素可包括Y樣本、U樣本及V樣本。因此,CU之殘餘像素區塊可包含:一包括CU之殘餘像素區塊之Y樣本的Y殘餘樣本區塊、一包括CU之殘餘像素區塊之U樣本的U殘餘樣本區塊及一包括CU之殘餘像素區塊之V樣本的V殘餘樣本區塊。
此外,作為對未分割CU執行編碼操作的部分,視訊編碼器20可使用四分樹分割來將CU分解成一或多個變換單元(TU)。TU中之每一者可與Y殘餘樣本區塊、U殘餘樣本區塊及V殘餘樣本區塊相關聯。與TU相關聯之Y殘餘樣本區塊可為CU之Y殘餘樣本區塊的子區塊。U殘餘樣本區塊可為CU之U殘餘樣本區塊的子區塊。V殘餘樣本區塊可為CU之V殘餘樣本區塊的子區塊。
視訊編碼器20可使用殘餘四分樹(RQT)來發信如何將CU分割成TU。換言之,視訊編碼器20可將資料包括於一位元串流中,該資料表示一指示如何將CU分割成TU之RQT。RQT可包含節點之階層架構。RQT之葉節點可對應於CU之TU。RQT中之每一節點可與一分裂旗標相關聯。若節點之分裂旗標等於1,則節點具有四個子節點。若節點之分裂旗標等於0,則節點沒有子節點。若第一節點及第二節點在RQT中連結且在RQT中第一節點比第二節點低一個層級,則第一節點可為第二節點之子節點。RQT之層級可自0向上編號,其中層級0對應於根節點,層級1對應於根節點之子節點,層級2對應於根節點之孫節點(grandchild node),等等。
圖2A為說明與CU相關聯之殘餘像素區塊38之實例四分樹分解的概念圖。在圖2A之實例中,殘餘像素區塊38經分割成左上殘餘像素區塊、右上殘餘像素區塊、左下殘餘像素區塊及右下殘餘像素區塊。圖2A中之內部線指示根據四分樹結構的變換區塊分解之一實例結果。此結果僅為許多可能分解中之一者。在圖2A之實例中,存在變換分解之三個層級。在層級0(亦即,深度0)處,殘餘像素區塊38經分 裂成四個四分之一大小之區塊。接著,在層級1(亦即,深度1)處,第一個四分之一大小之變換區塊被進一步分裂成四個1/16大小之變換區塊(分裂=1)。換言之,左上殘餘像素區塊被進一步分割成四個較小殘餘像素區塊,標記為40、42、44及46。對於子區塊40、42、44及46不進行進一步的分裂。在圖2A之實例中,右上殘餘像素區塊標記為48,左下殘餘像素區塊標記為50,且右下殘餘像素區塊標記為52。對於子區塊48、50及52不進行進一步分裂。
圖2B為說明使用RQT 54描述的圖2A之四分樹分解方案的概念圖。在圖2B之實例中,每一圓圈對應於RQT 54之一節點。每一節點與一指示與節點相關聯之殘餘像素區塊是否被分裂成四個較小殘餘像素區塊的分裂旗標相關聯。RQT 54之葉節點對應於圖2A之經標記的殘餘像素區塊。實務上,判定是否分裂一變換區塊可基於速率失真最佳化。
視訊編碼器20可對與CU之TU相關聯的Y、U及V殘餘樣本區塊執行變換操作。當視訊編碼器20對Y殘餘樣本區塊執行變換操作時,視訊編碼器20可將一或多個變換應用於Y殘餘樣本區塊以產生Y係數區塊。當視訊編碼器20對U殘餘樣本區塊執行變換操作時,視訊編碼器20可將一或多個變換應用於U殘餘樣本區塊以產生U係數區塊。當視訊編碼器20對V殘餘樣本區塊執行變換操作時,視訊編碼器20可將一或多個變換應用於V殘餘樣本區塊以產生V係數區塊。概念上而言,係數區塊可為係數之二維(2D)矩陣。
在產生一係數區塊之後,視訊編碼器20可量化係數區塊。量化一般指代一程序,在該程序中係數經量化以可能地減少用以表示係數之資料量,從而提供進一步壓縮。在視訊編碼器20量化係數區塊之後,視訊編碼器20可對係數區塊執行熵編碼操作。舉例而言,視訊編碼器20可對係數區塊中之資料執行上下文自適應二進位算術寫碼 (CABAC)。
當視訊編碼器20對語法元素執行CABAC操作時,視訊編碼器可將語法元素轉換成二進位碼。換言之,視訊編碼器20可將語法元素二進位化。另外,視訊編碼器20可自多個可用寫碼上下文中選擇一寫碼上下文。該寫碼上下文可指示經二進位化語法元素之「位元子(bin)」的預期機率。位元子可為經二進位化語法元素之單一位元。視訊編碼器20可使用選定之寫碼上下文來產生表示語法元素的數目。視訊編碼器20可在一位元串流中連同其他已編碼語法元素一起輸出此數目。位元串流可包括視訊資料之已編碼版本。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外,視訊解碼器30可剖析位元串流以自位元串流中提取語法元素。視訊解碼器30可基於自位元串流中提取之語法元素重建構視訊資料之圖片。基於語法元素重建構視訊資料之程序大體上可與由視訊編碼器20執行以產生語法元素之程序互逆。
視訊解碼器30可至少部分地基於與CU相關聯之語法元素來產生CU之PU的經預測像素區塊。另外,視訊解碼器30可逆量化與CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行逆變換以重建構與CU之TU相關聯的殘餘樣本區塊。視訊解碼器30可基於經預測像素區塊及殘餘像素區塊來重建構CU之像素區塊。
在一些情況下,在係數區塊中可能不存在非零係數。換言之,係數區塊中之所有係數可等於零。若係數區塊中不存在非零係數,則視訊編碼器20可能不需要發信係數區塊中之係數的值。本發明可使用術語「有效係數區塊」來指代包括至少一非零係數之係數區塊。
因此,視訊編碼器20可將Y CBF與CU之RQT的葉節點相關聯。對於RQT之每一各別葉節點,若各別葉節點之Y CBF等於1,則與各別葉節點相關聯之Y係數區塊包括至少一非零係數。若各別葉節點之 Y CBF等於0,則與各別葉節點相關聯之Y係數區塊不包括任何非零係數。RQT之非葉節點不與Y CBF相關聯。
視訊編碼器20可以階層方式編碼U CBF及V CBF。若特定節點之U CBF等於0且特定節點為葉節點,則特定節點不與有效U係數區塊相關聯。若特定節點之U CBF等於0且特定節點並非葉節點,則特定節點之子系節點皆不與有效U係數區塊相關聯。因為視訊解碼器30可基於特定節點之U CBF等於0來判定特定節點之子系節點皆不與有效U係數區塊相關聯,所以視訊編碼器20可不必發信特定節點之子系節點的U CBF。
另一方面,若特定節點之U CBF等於1且特定節點為葉節點,則特定節點與有效U係數區塊相關聯。若特定節點之U CBF等於1且特定節點並非葉節點,則特定節點之至少一子系節點與有效U係數區塊相關聯。因為特定節點之至少一子系節點與有效U係數區塊相關聯,所以特定節點之每一子節點可與一U CBF相關聯。
若特定節點之V CBF等於0且特定節點為葉節點,則特定節點不與有效V係數區塊相關聯。若特定節點之V CBF等於0且特定節點並非葉節點,則特定節點之子系節點皆不與有效V係數區塊相關聯。因為視訊解碼器30可基於特定節點之V CBF等於0來判定特定節點之子系節點皆不與有效V係數區塊相關聯,所以視訊編碼器20可不必發信特定節點之子系節點的V CBF。
另一方面,若特定節點之V CBF等於1且特定節點為葉節點,則特定節點與有效V係數區塊相關聯。若特定節點之V CBF等於1且特定節點並非葉節點,則特定節點之至少一子系節點與有效V係數區塊相關聯。因為特定節點之至少一子系節點與有效V係數區塊相關聯,所以特定節點之每一子節點可與V CBF相關聯。
在一些情況下,CU之殘餘像素區塊可大於最大允許TU大小。舉 例而言,CU之殘餘像素區塊可為64×64,而最大允許TU大小可為32×32。當CU之殘餘像素區塊大於最大允許TU大小時,視訊解碼器30可自動地判定CU經分割成為最大允許TU大小或較小之至少四個TU。因為視訊解碼器30可自動地判定CU經分割成至少四個TU,所以視訊編碼器20可不必將一分裂旗標與CU之RQT的根節點相關聯。此外,視訊編碼器20不將U CBF或V CBF與CU之RQT的根節點相關聯。
圖3為說明實例殘餘四分樹(RQT)56之寫碼的概念圖。在圖3之此實例中,RQT 56中之每一節點被表示為圓圈。對於每一節點(亦即,在每一層級處),視訊編碼器20編碼一分裂旗標。在圖3之實例中,若分裂旗標等於1,則節點具有四個子節點且與節點相關聯之殘餘像素區塊被分裂成四個相等大小之殘餘像素區塊(子區塊)。若節點之分裂旗標等於0,則節點不具有子節點且與節點相關聯之殘餘像素區塊不分裂成較小殘餘像素區塊。RQT 56中之每一節點可與一U CBF及一V CBF相關聯,如上文描述。換言之,在每一層級處,可傳輸兩個其他語法元素。一者為cbfU(U分量之已寫碼區塊旗標)且另一者為cbfV(V分量之已寫碼區塊旗標)。此等兩個語法元素可以階層方式編碼。若cbfU=0,則在當前變換區塊(在其未分裂的情況下)或所有較小變換區塊(在當前變換區塊經分裂成較小區塊的情況下)處不存在非零U變換係數。在後一狀況(亦即,當前變換區塊被進一步分裂)下,可不必針對此等進一步分裂之區塊傳輸cbfU。cbfV之編碼程序可相同。
對於一個區塊,若所傳輸之分裂旗標具有值0,則此區塊為RQT中之「葉節點」。在葉節點處,Y CBF被傳輸,且U CBF及V CBF亦可被傳輸(取決於在RQT之較高層級處的U CBF及V CBF之值,亦即,若較高層級U CBF/V CBF為0,則可能不需要在此較低層級處傳輸)。如圖3之實例中所說明,每一葉節點可與一Y CBF相關聯。節點之Y CBF指示節點是否與有效Y係數區塊相關聯。此外,若葉節點與有效Y、U 及/或V係數區塊相關聯,則葉節點可與表示有效Y、U及/或V係數區塊之語法元素相關聯。換言之,在葉節點處,若相應旗標(cbfY、cbfU、cbfV)不為零,則針對Y、U、V分量編碼變換係數(CoeffY、CoeffU、CoeffV)。
在一些狀況下,視訊解碼器30可自在與節點相同之RQT層級或高於節點之層級的較高RQT層級處的一或多個已經解碼之語法元素判定(亦即,推斷)節點之語法元素的值。以此方式判定語法元素之值可增加寫碼效率。舉例而言,若在層級k處之節點的U CBF(或V CBF)等於0,則視訊解碼器30可判定在層級k+1及所有較低層級處的所有U CBF(或V CBF)等於零。在另一實例中,若節點與大於最大允許TU大小之殘餘像素區塊相關聯,則視訊解碼器30可判定節點之分裂旗標等於1。在另一實例中,若與根節點相關聯之CU經分割成四個PU並使用框內預測來編碼(亦即,CU為框內N×N CU),則視訊解碼器30可判定根節點之分裂旗標等於1。在另一實例中,若與節點相關聯之殘餘像素區塊之大小等於最小允許(最小可用)TU大小,則視訊解碼器30可判定節點之分裂旗標等於0。在另一實例中,若RQT中之深度等於與RQT相關聯之CU之大小的最大允許深度,則視訊解碼器30可判定節點之分裂旗標等於0。在另一實例中,若CU經框間預測,則視訊解碼器30可在RQT之層級k處的前三個節點(四分之一分裂區塊之子區塊)全部具有等於0之Y CBF、U CBF及V CBF的情況下判定RQT之層級k處的第四(亦即,最後)節點之Y CBF等於1。最大CU大小及最大TU大小可由輸入至視訊編碼器20之編碼參數來決定。類似地,視訊解碼器30可基於輸入至視訊解碼器30之編碼參數而判定最大CU大小及最大允許TU大小。在一些實例中,最大允許CU大小大於最大允許TU大小。
圖4A為說明64×64 CU之實例殘餘亮度(Y)樣本區塊60的概念圖。圖4B為說明64×64 CU之實例殘餘色度樣本區塊62的概念圖。視訊編 碼器20可按2:1之因子對CU之色度樣本降頻取樣,從而導致CU之殘餘色度樣本區塊具有相同CU之相應殘餘Y樣本區塊的一半寬度及一半高度。因為人類視覺系統對色度變化之敏感性低於對亮度變化之敏感性,所以此降頻取樣不一定減少視覺品質。
在圖4A及圖4B之實例中,最大CU大小經假定為64×64且最大允許TU大小經假定為32×32。因為CU大於最大允許TU大小,所以視訊編碼器20將殘餘Y樣本區塊60分裂成四個較小殘餘樣本區塊Y0...Y3。儘管圖4A及圖4B之實例中未展示,但視訊編碼器20可進一步分裂殘餘樣本區塊Y0...Y3。
視訊編碼器20可以與視訊編碼器20分裂Y樣本區塊相同之方式分裂色度樣本區塊62(大小為32×32)。亦即,色度區塊隨亮度一起分裂。舉例而言,若視訊編碼器20將殘餘Y樣本區塊分裂成四個較小殘餘Y樣本區塊,則視訊編碼器20亦將相應殘餘色度樣本區塊分裂成四個較小殘餘色度樣本區塊。如圖4A之實例中所展示,視訊編碼器20已將殘餘Y樣本區塊60分裂成四個較小殘餘Y樣本區塊。因此,在圖4B之實例中,視訊編碼器20已將殘餘色度樣本區塊62分裂成四個較小殘餘色度樣本區塊。
因為殘餘Y樣本區塊60大於最大允許TU大小,所以視訊編碼器20不與CU之RQT之根節點的U CBF或V CBF相關聯。換言之,色度CBF之編碼不自CU根層級(亦即,RQT之深度0)開始。實情為,視訊編碼器20可在對應於最大允許TU大小的RQT之層級處開始將U CBF及V CBF與節點相關聯。換言之,色度CBF之編碼自對應於最大TU大小的層級開始。在圖4A及圖4B之實例中,殘餘Y樣本區塊60為64×64且最大允許TU大小為32×32。因此,CU之RQT的層級1對應於最大允許TU大小。結果,在圖4A及圖4B之實例中,視訊編碼器20可在CU之RQT之層級1處的節點處開始編碼色度CBF(亦即,U CBF及V CBF)。結 果,視訊編碼器20以階層方式編碼U0之U CBF及其子區塊(亦即,整個CU之左上四分之一的子區塊)之U CBF,且接著編碼U1之U CBF及其子區塊之U CBF,等等。
上文描述之視訊編碼器20的實施可對於Y CBF及色度CBF(亦即,U CBF及V CBF)使用不同寫碼方法。此外,上文描述之視訊編碼器20的實施僅在RQT之一些層級處應用色度CBF之階層式寫碼。此可增加視訊編碼器20之複雜性。
本發明之技術可解決此等問題並改良CBF寫碼。根據本發明之技術,即使當前CU大於最大允許TU大小,色度CBF之發信仍可在與當前CU相關聯的殘餘四分樹之根節點處開始。當前CU可為當前正被編碼之CU。以此方式發信色度CBF可簡化視訊編碼器20及視訊解碼器30之實施。
舉例而言,在先前視訊編碼解碼器(例如,HEVC)中,色度CBF之階層式寫碼自最大允許變換maxTransSize開始。若在層級k處,區塊大小大於maxTransSize,則在層級k處不編碼色度CBF。舉例而言,最大允許TU大小(maxTransSize)可為32×32且當前CU之大小可為64×64。在此實例中,視訊編碼器可自動地分裂區塊,此係因為最大變換大小小於當前區塊大小,且視訊解碼器可推斷分裂旗標等於1。接著,在下一層級(亦即,32×32區塊)處,對於每一32×32區塊編碼色度CBF(例如,U CBF)。根據本發明之技術,色度CBF之編碼可能總是自CU之RQT的根節點(亦即,RQT之深度0)開始。舉例而言,最大變換大小為32×32且當前CU為64×64。在此實例中,視訊編碼器20可發信整個64×64 CU的U CBF之值(亦即,此發信對應於CU根層級)。換言之,RQT之根節點(亦即,對應於64×64 CU整體的節點)可與一指示當前CU之任一TU是否與有效U係數區塊相關聯的U CBF相關聯。CBFU=1可指定子區塊中存在至少一非零係數,且可針對四個32×32子區塊中 之每一者傳輸CBFU。CBF U=0可指定四個子區塊中之所有係數皆為零,且因此可不需要傳輸CBFU。同樣情況可應用於CBFV。亦即,RQT之根節點可與一指示當前CU之任一TU是否與有效V係數區塊相關聯的V CBF相關聯。
因為針對RQT中之每一各別節點以階層方式發信U CBF或V CBF,所以除非各別節點為根節點或各別節點之父節點的U CBF指示父節點之子系節點與有效U色度區塊相關聯,否則各別節點不包括U CBF。除非各別節點為根節點或各別節點之父節點的V CBF指示父節點之子系節點與有效V色度區塊相關聯,否則各別節點不包括V CBF。
因此,根據本發明之技術,對於RQT之每一各別節點,若各別節點具有特定色度分量之CBF且該特定色度分量之CBF具有第一值,則各別節點或各別節點之子系節點與一基於特定色度分量之樣本的有效係數區塊相關聯。如上文所指示,本發明可使用術語「有效係數區塊」來指代一包括至少一非零係數之係數區塊。若各別節點具有特定色度分量之CBF且特定色度分量之CBF具有第二值,則對應於各別節點之TU與對應於各別節點之任一子系節點的任一TU皆不與一基於特定色度分量之樣本的有效係數區塊相關聯。若各別節點具有特定色度分量之CBF且特定色度分量之CBF具有第二值,則各別節點之子系節點皆不與特定色度分量之CBF相關聯。
在一些現有視訊編碼解碼器(例如HEVC)中,色度CBF(亦即,CBF U及CBF V)係以階層方式編碼,且僅在葉節點處編碼亮度CBF(亦即,Y CBF)。相對比而言,根據本發明之技術,類似於U CBF及V CBF,可以階層方式在每一層級處發信Y CBF。舉例而言,視訊編碼器20可在每一層級處發信一U CBF及一V CBF。若U CBF係在層級0(亦即,當前區塊之RQT內的根節點之層級)處,則在當前區 塊或當前區塊之經進一步分裂之區塊的U係數區塊中不存在非零係數,且因此可不必再針對經進一步分裂之區塊傳輸U CBF。同樣情況應用於V CBF。此外,視訊編碼器20可以與U CBF及V CBF相同的階層方式發信Y CBF。以此方式,用於亮度及色度之CBF的寫碼可為統一的。亦即,對於RQT之每一各別節點,若各別節點之Y CBF等於1,則與各別節點相關聯之Y係數區塊或與各別節點之子系節點相關聯之Y係數區塊包括至少一非零係數。若各別節點之Y CBF等於0,則各別節點不與有效Y係數區塊相關聯或各別節點之子系節點皆不與有效Y係數區塊相關聯。若各別節點之Y CBF等於0,則各別節點之子系節點皆不與Y CBF相關聯。換言之,若各別節點之Y CBF等於0,則視訊編碼器20不針對各別節點之任何子系節點(亦即,經分裂之區塊)發信Y CBF。因此,節點可以類似於U CBF及V CBF之方式的方式與Y CBF相關聯。上文描述之關於在RQT之根節點處發信色度CBF的本發明之技術亦可應用於Y CBF。
在一些實例中,視訊編碼器20可在CU之RQT的根節點處發信一殘餘旗標(例如,「cbf_root_flag」)。若殘餘旗標等於0,則視訊解碼器30可自動地判定(例如,推斷)與CU相關聯的Y、U或V係數區塊皆並非有效的(亦即,所有Y、U及V係數皆為0)。若殘餘旗標等於1,則與CU相關聯的至少一Y、U或V係數區塊係有效的。此外,若殘餘旗標等於1且根節點之U CBF及V CBF等於0,則視訊解碼器30可自動地判定(例如,推斷)存在與CU相關聯之至少一有效Y係數區塊。換言之,視訊解碼器30可在此狀況下推斷Y CBF之值為1。因此,在一些實例中,若殘餘旗標等於1且根節點之U CBF及V CBF皆等於0,則視訊編碼器20不發信根節點之Y CBF。
對於RQT之每一層級處的RQT之任一節點,若節點之Y CBF、U CBF及V CBF全部等於0,則視訊解碼器30可自動地判定(亦即,推斷) 節點不具有任何子節點。換言之,若節點之Y CBF、U CBF及V CBF全部等於0,則視訊解碼器30可推斷節點之分裂旗標的值為0。因此,若節點之Y CBF、U CBF及V CBF全部等於0,則視訊編碼器20不發信節點之分裂旗標。
此外,視訊編碼器20可對節點之分裂旗標執行CABAC編碼。為了對分裂旗標執行CABAC編碼,視訊編碼器20可選擇用於分裂旗標之寫碼上下文且接著使用該寫碼上下文來CABAC編碼分裂旗標。根據本發明之技術,視訊編碼器20可至少部分地基於節點之Y CBF、U CBF及/或V CBF的值來選擇用於節點之分裂旗標的寫碼上下文。在另一實例中,若Y CBF等於0,則視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可選擇一第一寫碼上下文以編碼分裂旗標。在此實例中,若Y CBF等於1,則視訊寫碼器可使用一第二寫碼上下文來編碼分裂旗標。在另一實例中,視訊寫碼器可基於CU是經框內預測還是框間預測而選擇用於分裂旗標之寫碼上下文。在此實例中,視訊寫碼器可藉由計算Y CBF+2*區塊類型(blocktype)而判定用於寫碼分裂旗標之寫碼上下文之上下文索引,其中區塊類型對於經框內預測之CU等於0且區塊類型對於經框間預測之CU等於1。
視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可對RQT之節點的Y CBF、U CBF及V CBF執行CABAC。根據本發明之技術,在一些實例中,視訊寫碼器可在對節點之Y CBF、U CBF及V CBF執行CABAC時使用相同寫碼上下文。在對節點之Y CBF、U CBF及V CBF執行CABAC時使用相同寫碼上下文可簡化CABAC程序且可加速視訊寫碼。在一些實例中,視訊寫碼器可基於RQT之節點的深度選擇寫碼上下文。舉例而言,視訊寫碼器可在節點在RQT之層級0處之情況下選擇第一寫碼上下文,在節點在RQT之層級1處之情況下選擇第二寫碼上下文,等等。在此等實例中,視訊寫碼器可使用以下等式來判定 一識別寫碼上下文的上下文索引ctx_idx。
ctx_idx=transform_depth
在其他實例中,視訊寫碼器可基於節點是否為RQT之根節點而選擇寫碼上下文。舉例而言,視訊寫碼器可使用以下等式來判定一識別寫碼上下文的上下文索引ctx_idx:ctx_idx=transform_depth==0?0:1
圖5為一說明經組態以實施本發明之技術的實例視訊編碼器20的方塊圖。圖5係為解釋之目的而提供且不應被理解為限制如本發明中廣泛例證並描述之技術。為了解釋之目的,本發明在HEVC寫碼之內容脈絡中描述視訊編碼器20。然而,本發明之技術可應用於其他寫碼標準或方法。
在圖5之實例中,視訊編碼器20包括一預測處理單元100、一殘餘產生單元102、一變換處理單元104、一量化單元106、一逆量化單元108、一逆變換處理單元110、一重建構單元112、一濾波器單元113、一經解碼圖片緩衝器114及一熵編碼單元116。預測處理單元100包括框間預測處理單元121及框內預測處理單元126。框間預測處理單元121包括一運動估計單元122及一運動補償單元124。在其他實例中,視訊編碼器20可包括較多、較少或不同功能組件。
視訊編碼器20可接收視訊資料。為了編碼視訊資料,視訊編碼器20可編碼視訊資料之每一圖片的每一圖塊。作為編碼圖塊之部分,視訊編碼器20可編碼圖塊中之每一CTB。作為編碼CTB之部分,預測處理單元100可對與CTB相關聯之像素區塊執行四分樹分割以將像素區塊分成逐漸減小之像素區塊。較小像素區塊可與CU相關聯。舉例而言,預測處理單元100可將CTB之像素區塊分割成四個相等大小之子區塊,將該等子區塊中之一或多者分割成相等大小之子子區塊(sub-sub-block),等等。
視訊編碼器20可編碼CTB之CU以產生CU之已編碼表示(亦即,已寫碼之CU)。作為編碼CU之部分,預測處理單元100可將CU之像素區塊分割成CU之一或多個PU。視訊編碼器20及視訊解碼器30可支援各種PU大小。假定特定CU之大小為2N×2N,視訊編碼器20及視訊解碼器30可支援用於框內預測之2N×2N或N×N之PU大小,及用於框間預測之2N×2N、2N×N、N×2N、N×N或類似的對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元121可藉由對CU之每一PU執行框間預測而產生用於PU之預測資料。用於PU之預測資料可包括一對應於PU之預測像素區塊及用於PU之運動資訊。圖塊可為I圖塊、P圖塊或B圖塊。框間預測單元121可視PU是在I圖塊、P圖塊還是B圖塊中而對CU之PU執行不同操作。在I圖塊中,所有PU經框內預測。因此,若PU在I圖塊中,則框間預測單元121不對PU執行框間預測。
若PU在P圖塊中,則運動估計單元122可在參考圖片之清單(例如,「清單0」)中搜尋參考圖片以找到用於PU之參考區塊。PU之參考區塊可為一最接近地對應於PU之像素區塊的像素區塊。運動估計單元122可產生一指示清單0中之含有PU之參考區塊的參考圖片之參考圖片索引及一指示PU之像素區塊與參考區塊之間的空間位移的運動向量。運動估計單元122可將參考圖片索引及運動向量作為PU之運動資訊加以輸出。運動補償單元124可基於由PU之運動資訊指示的參考區塊而產生PU之預測像素區塊。
若PU在B圖塊中,則運動估計單元122可針對PU執行單向框間預測或雙向框間預測。為了執行針對PU之單向框間預測,運動估計單元122可搜尋第一參考圖片清單(「清單0」)或第二參考圖片清單(「清單1」)之參考圖片以找到用於PU之參考區塊。運動估計單元122可將 一指示含有參考區塊的參考圖片在清單0或清單1中之位置的參考圖片索引、一指示PU之像素區塊與參考區塊之間的空間位移的運動向量及一指示參考圖片是在清單0中還是在清單1中的預測方向指示器作為PU之運動資訊加以輸出。
為了執行針對PU之雙向框間預測,運動估計單元122可搜尋清單0中之參考圖片以找到用於PU之參考區塊,且亦可搜尋清單1中之參考圖片以找到用於PU之另一參考區塊。運動估計單元122可產生指示含有參考區塊的參考圖片在清單0及清單1中之位置的參考圖片索引。另外,運動估計單元122可產生指示PU之參考區塊與像素區塊之間的空間位移的運動向量。PU之運動資訊可包括參考圖片索引及PU之運動向量。運動補償單元124可基於由PU之運動資訊指示的參考區塊而產生PU之預測像素區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生PU之預測資料。PU之預測資料可包括PU之預測像素區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為了對PU執行框內預測,框內預測處理單元126可使用多個框內預測模式來產生PU之多個預測資料集。為了使用框內預測模式來產生PU之預測資料集,框內預測處理單元126可在一與框內預測模式相關聯之方向上跨越PU之樣本區塊延伸來自相鄰PU之樣本區塊的樣本。假定PU、CU及CTB之自左至右、自上至下的編碼次序,相鄰PU可在PU上方、在PU右上方、在PU左上方,或在PU之左方。框內預測處理單元126可使用各種數目之框內預測模式,例如,33個定向框內預測模式。在一些實例中,框內預測模式之數目可取決於PU之像素區塊的大小。
預測處理單元100可自由框間預測處理單元121針對PU產生的預 測資料或由框內預測處理單元126針對PU產生的預測資料中選擇用於CU之PU的預測資料。在一些實例中,預測處理單元100基於預測資料集之速率/失真量度而選擇用於CU之PU的預測資料。在本文中,選定預測資料之預測像素區塊可稱作選定之預測像素區塊。
殘餘產生單元102可基於CU之像素區塊及CU之PU的選定預測像素區塊而產生CU之殘餘像素區塊。舉例而言,殘餘產生單元102可產生CU之殘餘像素區塊,使得殘餘像素區塊中之每一樣本具有一等於CU之像素區塊中之樣本與CU之PU的選定預測像素區塊中之相應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將CU之殘餘像素區塊分割成多個子區塊。每一未分割之殘餘像素區塊可與CU之不同TU相關聯。與CU之TU相關聯的殘餘像素區塊之大小及位置可能或可能不基於與CU之PU相關聯的像素區塊之大小及位置。稱為「殘餘四分樹」(RQT)之四分樹結構可包括與殘餘像素區塊中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
因為TU之殘餘像素區塊之像素可包含Y樣本、U樣本及V樣本,所以TU中之每一者可與Y樣本之區塊、U樣本之區塊及V樣本之區塊相關聯。變換處理單元104可藉由將一或多個變換應用於與TU相關聯之殘餘樣本區塊而產生用於CU之每一TU的係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之殘餘樣本區塊。舉例而言,變換處理單元104可將離散餘弦變換(DCT)、方向變換或概念上類似之變換應用於殘餘樣本區塊。
根據本發明之技術,變換處理單元104可產生表示CU之RQT的資料。RQT可包括節點階層架構。RQT之根節點可與U CBF及V CBF相關聯,此無關於CU之殘餘像素區塊是否大於最大允許TU大小。此外,在一些實例中,RQT之任一節點可與Y CBF相關聯。
變換處理單元104可基於變換待應用於的殘餘樣本區塊之大小判定要應用之變換。舉例而言,變換處理單元104可視殘餘樣本區塊是4×4、8×8、16×16還是另一大小而應用不同變換。在一些實例中,變換處理單元104可將變換應用於矩形形狀的殘餘樣本區塊,諸如為16×4、32×8等之殘餘樣本區塊。
量化單元106可量化與TU相關聯之係數區塊中的係數。量化程序可減少與係數中之一些或所有相關聯的位元深度。舉例而言,n位元係數可在量化期間降值捨位為m位元係數,其中n大於m。量化單元106可基於一與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。
逆量化單元108及逆變換處理單元110可分別將逆量化及逆變換應用於一係數區塊以自係數區塊重建構殘餘樣本區塊。重建構單元112可將經重建構之殘餘樣本區塊添加至來自由預測處理單元100產生之一或多個預測樣本區塊的相應樣本以產生一與TU相關聯之經重建構的樣本區塊。藉由以此方式重建構用於CU之每一TU的樣本區塊,視訊編碼器20可重建構CU之係數區塊。
濾波器單元113可執行解區塊操作以減少與CU相關聯之像素區塊中的區塊效應假影。經解碼圖片緩衝器114可在濾波器單元113對經重建構之像素區塊執行該一或多個解區塊操作之後儲存經重建構之像素區塊。框間預測單元121可使用一含有經重建構之像素區塊的參考圖片來對其他圖片之PU執行框間預測。另外,框內預測處理單元126可使用經解碼圖片緩衝器114中的經重建構之像素區塊來對與CU在相同圖片中的其他PU執行框內預測。
熵編碼單元116可接收來自視訊編碼器20之其他功能組件的資料。舉例而言,熵編碼單元116可接收來自量化單元106之係數區塊且 可接收來自預測處理單元100之語法元素。熵編碼單元116可對資料執行一或多個熵編碼操作以產生熵編碼之資料。舉例而言,熵編碼單元116可對資料執行上下文自適應可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作,或另一類型之熵編碼操作。視訊編碼器20可輸出一包括由熵編碼單元116產生的熵編碼之資料的位元串流。舉例而言,該位元串流可包括表示CU之RQT的資料。
圖6為說明經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。圖6係為解釋之目的而提供且不限制如本發明中廣泛例證並描述之技術。出於解釋之目的,本發明在HEVC寫碼之內容脈絡中描述視訊解碼器30。然而,本發明之技術可應用於其他寫碼標準或方法。
在圖6之實例中,視訊解碼器30包括一熵解碼單元150、一預測處理單元152、一逆量化單元154、一逆變換處理單元156、一重建構單元158、一濾波器單元159及一經解碼圖片緩衝器160。預測處理單元152包括一運動補償單元162及一框內預測處理單元164。在其他實例中,視訊解碼器30可包括較多、較少或不同功能組件。
視訊解碼器30可接收一位元串流。熵解碼單元150可剖析該位元串流以自該位元串流中提取語法元素。作為剖析位元串流之部分,熵解碼單元150可熵解碼位元串流中之經熵編碼的語法元素。預測處理單元152、逆量化單元154、逆變換處理單元156、重建構單元158及濾波器單元159可基於自位元串流中提取之語法元素產生已解碼視訊資料。
位元串流可包含一系列NAL單元。位元串流之NAL單元可包括已寫碼圖塊NAL單元。作為剖析位元串流之部分,熵解碼單元150可自已寫碼圖塊NAL單元中提取語法元素並將其熵解碼。已寫碼圖塊中之 每一者可包括一圖塊標頭及圖塊資料。圖塊標頭可含有與圖塊有關之語法元素。圖塊標頭中之語法元素可包括一識別與含有圖塊之圖片相關聯之PPS的語法元素。
根據本發明之技術,熵解碼單元150可自位元串流剖析CU之RQT的根節點之CBF,此無關於CU之殘餘像素區塊是否大於最大允許TU大小。此外,若CBF具有一第一值,則熵解碼單元150可自位元串流剖析一與RQT之葉節點相關聯的色度係數區塊(例如,U係數區塊或V係數區塊)。若CBF具有一不同於第一值的第二值,則熵解碼單元150不自位元串流剖析色度係數區塊。
另外,視訊解碼器30可對未分割之CU執行重建構操作。為了對未分割之CU執行重建構操作,視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作,視訊解碼器30可重建構一與CU相關聯之殘餘像素區塊。
作為對CU之TU執行重建構操作之部分,逆量化單元154可逆量化(亦即,解量化)與TU相關聯之係數區塊。逆量化單元154可使用一與TU之CU相關聯之QP值來判定量化程度,且同樣判定逆量化單元154要應用的逆量化程度。
在逆量化單元154逆量化一係數區塊之後,逆變換處理單元156可將一或多個逆變換應用於該係數區塊,以便產生一與TU相關聯之殘餘樣本區塊。舉例而言,逆變換處理單元156可將逆DCT、逆整數變換、逆卡洛南-洛伊變換(KLT)、逆旋轉變換、逆方向變換或另一逆變換應用於該係數區塊。
若使用框內預測來編碼PU,則框內預測處理單元164可執行框內預測以產生PU之預測樣本區塊。框內預測處理單元164可基於空間相鄰之PU的像素區塊而使用框內預測模式來產生PU之預測像素區塊。框內預測處理單元164可基於自位元串流剖析之一或多個語法元素判 定PU之框內預測模式。
運動補償單元162可基於自位元串流提取之語法元素建構一第一參考圖片清單(清單0)及一第二參考圖片清單(清單1)。此外,若使用框間預測編碼PU,則熵解碼單元150可提取PU之運動資訊。運動補償單元162可基於PU之運動資訊判定PU之一或多個參考區塊。運動補償單元162可基於PU之一或多個參考區塊產生PU之預測像素區塊。
重建構單元158可使用與CU之TU相關聯的殘餘像素區塊及CU之PU的預測像素區塊(亦即,框內預測資料抑或框間預測資料,如適用)以重建構CU之像素區塊。詳言之,重建構單元158可將殘餘像素區塊之樣本添加至預測像素區塊之相應樣本以重建構CU之像素區塊。
濾波器單元159可執行解區塊操作以減少與CU之像素區塊相關聯的區塊效應假影。視訊解碼器30可將CU之像素區塊儲存於經解碼圖片緩衝器160中。經解碼圖片緩衝器160可提供參考圖片以用於隨後運動補償、框內預測及在顯示器件(諸如圖1之顯示器件32)上呈現。舉例而言,視訊解碼器30可基於經解碼圖片緩衝器160中之像素區塊對其他CU之PU執行框內預測或框間預測操作。
圖7為說明根據本發明之一或多種技術的實例RQT 200之概念圖。RQT 200包括節點202至218。節點202為RQT 200之根節點。節點202可對應於CU。節點204至210係在RQT 200之第二層級(層級1)處且節點212至218係在RQT 200之第三層級(層級2)處。節點206、208、210、212、214、216及218為RQT 200之葉節點,且因此可為CU之TU。如由圖7之實例中的虛線所指示,與根節點202相關聯之殘餘像素區塊可大於最大允許TU大小。
根據本發明之技術,視訊編碼器20可產生一對於根節點202包括分裂旗標、Y CBF、U CBF及V CBF的位元串流。如圖7之實例中所說明,分裂旗標、Y CBF、U CBF及V CBF各自等於1。因為根節點202 之Y CBF、U CBF及V CBF各自等於1,所以根節點202之每一子節點(亦即,節點204、206、208及210)與分裂旗標、Y CBF、U CBF及V CBF相關聯。在圖7之實例中,節點204之Y CBF及V CBF兩者皆等於0。因此,節點204之子節點(亦即,節點212、214、216及218)不與有效Y係數區塊或有效V係數區塊相關聯且不與Y CBF或V CBF相關聯。
圖8為說明根據本發明之技術的視訊編碼器20之實例操作250的流程圖。圖8之流程圖及以下圖之流程圖經提供為實例。在其他實例中,流程圖可包括較多、較少或不同步驟。
在圖8之實例中,視訊編碼器20產生表示CU之RQT的資料(252)。CU大於最大允許TU大小。RQT包括節點階層架構。RQT之根節點對應於CU整體,且RQT之葉節點對應於CU之TU。根節點與特定色度分量(例如,U或V)之CBF相關聯。特定色度分量之CBF指示CU之TU中的任何者是否與有效色度係數區塊相關聯。視訊編碼器20輸出一包括表示CU之RQT的資料之位元串流(254)。
圖9為說明根據本發明之技術的視訊解碼器30之實例操作300的流程圖。在圖9之流程圖中,視訊解碼器30自一包括視訊資料之已編碼表示的位元串流剖析CU之RQT的根節點之CBF(302)。CU之像素區塊大於最大允許變換單元(TU)大小。若CBF具有一第一值,則視訊解碼器30可自位元串流剖析一與RQT之葉節點相關聯的色度係數區塊(304)。若CBF具有一不同於第一值之第二值,則不自位元串流剖析與葉節點相關聯之色度係數區塊。
圖10A為說明根據本發明之技術的用以剖析RQT之節點的語法元素之實例操作340的流程圖。操作340可為圖9之操作300的擴展版本。在圖10之實例中,視訊解碼器30之熵解碼單元150可判定RQT之當前節點是否為RQT之根節點(342)。在一些實例中,若RQT之當前節點的深度等於0,則熵解碼單元150可判定當前節點為根節點。
回應於判定當前節點為RQT之根節點(342之「是」),熵解碼單元150可自位元串流剖析殘餘旗標(344)。殘餘旗標可指示是否存在RQT之與有效係數區塊相關聯的葉節點。若殘餘旗標指示RQT之葉節點皆不與有效係數區塊相關聯,則RQT之節點皆不與CBF相關聯。在剖析殘餘旗標之後,熵解碼單元150可判定殘餘旗標是否等於0(346)。
回應於判定殘餘旗標等於0(346之「是」),熵解碼單元150可能已完成剖析RQT之當前節點的語法元素。另一方面,回應於判定殘餘旗標等於1(346之「否」),熵解碼單元150可自位元串流剖析當前節點之Y CBF、U CBF及V CBF(354)。根節點之Y CBF可指示RQT之任一葉節點是否與有效亮度係數區塊相關聯。
回應於判定當前節點並非RQT之根節點(342之「否」),熵解碼單元150可判定當前節點之父節點的Y CBF是否等於1(356)。若當前節點之父節點不具有Y CBF,則熵解碼單元150可判定當前節點之父節點的Y CBF等於0。回應於判定當前節點之父節點的Y CBF等於1(356之「是」),熵解碼單元150可自位元串流剖析Y CBF(358)。因此,根節點與一指示CU之TU中之任何者是否與一有效亮度係數區塊相關聯的Y CBF相關聯。換言之,Y CBF可指示對應於當前節點或當前節點之子系節點的任一TU是否與有效Y係數區塊相關聯。
在剖析Y CBF之後或在判定當前節點之父節點的Y CBF不等於1(356之「否」)之後,熵解碼單元150可判定當前節點之父節點的U CBF是否等於1(360)。若當前節點之父節點不具有U CBF,則熵解碼單元150可判定當前節點之父節點的U CBF等於0。回應於判定當前節點之父節點的U CBF等於1(360之「是」),熵解碼單元150可自位元串流剖析U CBF(362)。U CBF可指示當前節點或當前節點之任一子系節點是否與有效U係數區塊相關聯。
在剖析U CBF之後或在判定當前節點之父節點的U CBF不等於1(360之「否」)之後,熵解碼單元150可判定當前節點之父節點的V CBF是否等於1(364)。若當前節點之父節點不具有V CBF,則熵解碼單元150可判定當前節點之父節點的V CBF等於0。回應於判定當前節點之父節點的V CBF等於1(364之「是」),熵解碼單元150可自位元串流剖析V CBF(366)。V CBF可指示當前節點或當前節點之子系節點是否與有效V係數區塊相關聯。
如上文所提及,熵解碼單元150可在自位元串流剖析一些語法元素時執行CABAC。在一些實例中,視訊編碼器20可基於相同寫碼上下文對RQT之當前節點的Y CBF、U CBF及V CBF執行CABAC編碼。在此等實例中,當熵解碼單元150剖析Y CBF、U CBF及V CBF時,熵解碼單元150可基於相同寫碼上下文對RQT之當前節點的Y CBF、U CBF及V CBF執行CABAC解碼。
此外,在一些實例中,視訊編碼器20可基於RQT之節點的深度選擇寫碼上下文以用於由RQT之節點指定的Y CBF、U CBF及V CBF。在一些實例中,選定寫碼上下文之索引值等於RQT之節點的深度。舉例而言,若節點之深度為2,則選定寫碼上下文之索引值等於2。視訊編碼器20可基於經選擇用於Y CBF、U CBF及V CBF之寫碼上下文對Y CBF、U CBF及V CBF執行熵編碼操作。同樣,當熵解碼單元150剖析Y CBF、U CBF及V CBF時,熵解碼單元150可基於RQT之節點的深度選擇寫碼上下文以用於由RQT之節點指定的Y CBF、U CBF及V CBF。熵解碼單元150可基於經選擇用於Y CBF、U CBF及V CBF之寫碼上下文對Y CBF、U CBF及V CBF執行熵解碼操作。
在剖析V CBF之後,在判定當前節點之父節點的V CBF不等於1(364之「否」)之後,或在動作354中剖析Y CBF、U CBF及V CBF之後,熵解碼單元150可判定一與當前節點相關聯之殘餘像素區塊是否 大於最大允許TU大小(368)。回應於判定與當前節點相關聯之殘餘像素區塊不大於最大允許TU大小(368之「否」),熵解碼單元150可判定與當前節點相關聯之殘餘像素區塊是否為最小允許TU大小(370)。
回應於判定當前節點之殘餘像素區塊並非最小允許TU大小(370之「否」),熵解碼單元150可判定當前節點之Y CBF、U CBF及V CBF是否各自等於0(371)。若當前節點之Y CBF、U CBF及V CBF各自等於0,則熵解碼單元150可判定當前節點為一不與任何有效係數區塊相關聯之葉節點。因此,若當前節點之Y CBF、U CBF及V CBF各自等於0(371之「是」),則熵解碼單元150可能已完成剖析當前節點。因此,若節點之Y CBF、節點之U CBF及節點之V CBF全部具有一第一值(例如,0),則節點不與一分裂旗標相關聯,該分裂旗標指示節點是否具有複數個子節點。
回應於判定當前節點之Y CBF、U CBF及V CBF語法元素並非全等於0(371之「否」),熵解碼單元150可自位元串流剖析一分裂旗標(372)。該分裂旗標可指示當前節點是否具有複數個子節點。因此,若當前節點之Y CBF、當前節點之U CBF及當前節點之V CBF中之至少一者具有一不同於第一值(例如,0)之第二值(例如,1),則當前節點與分裂旗標相關聯。以此方式,熵解碼單元150可基於RQT之節點的Y CBF、節點之U CBF及節點之V CBF進行判定以剖析RQT之節點的分裂旗標。
在一些實例中,視訊編碼器20可對分裂旗標執行CABAC編碼。當視訊編碼器20對分裂旗標執行CABAC編碼時,視訊編碼器20可選擇一寫碼上下文以用於分裂旗標。在一些實例中,視訊編碼器20可基於當前節點之CBF(例如,Y CBF、U CBF及/或V CBF)選擇寫碼上下文。此外,在一些實例中,視訊編碼器20可基於當前節點之Y CBF、U CBF及V CBF選擇寫碼上下文。視訊編碼器20可基於選定之寫碼上 下文對當前節點之分裂旗標執行CABAC編碼。類似地,當熵解碼單元150自位元串流剖析分裂旗標時,熵解碼單元150可選擇(例如,基於當前節點之CBF)寫碼上下文。在一些實例中,熵解碼單元150可基於當前節點之Y CBF、U CBF及/或V CBF選擇寫碼上下文。熵解碼單元150可基於選定之寫碼上下文對當前節點之分裂旗標執行CABAC解碼。
熵解碼單元150可判定分裂旗標是否等於1(374)。回應於判定分裂旗標等於1(374之「是」)或回應於判定與當前節點相關聯之殘餘像素區塊大於最大允許TU大小(368之「是」),熵解碼單元150可剖析當前節點之子節點(376)。以此方式,熵解碼單元150可回應於判定自位元串流剖析分裂旗標而基於當前節點之分裂旗標來判定是否自位元串流剖析當前節點之複數個子節點。熵解碼單元150可藉由對子節點中之每一者執行操作340來剖析子節點。回應於判定當前節點之殘餘像素區塊為最小允許TU大小(370之「是」)或回應於判定分裂旗標不等於1(374之「否」),熵解碼單元150可執行圖10B之實例中所說明的操作340之部分。
圖10B為說明根據本發明之一或多種技術的圖10A之實例操作340之繼續。在圖10B之實例中,熵解碼單元150可判定當前節點之Y CBF是否等於1(378)。回應於判定當前節點之Y CBF等於1(378之「是」),熵解碼單元150可自位元串流剖析Y係數區塊(380)。此外,回應於判定當前節點之Y CBF不等於1(378之「否」)或在自位元串流剖析Y係數區塊(380)之後,熵解碼單元150可判定當前節點之U CBF是否等於1(382)。
回應於判定當前節點之U CBF等於1(382之「是」),熵解碼單元150可自位元串流剖析U係數區塊(384)。此外,回應於判定當前節點之U CBF不等於1(382之「否」)或在自位元串流剖析U係數區塊(384) 之後,熵解碼單元150可判定當前節點之V CBF是否等於1(386)。
回應於判定當前節點之V CBF等於1(386之「是」),熵解碼單元150可自位元串流剖析V係數區塊(388)。此外,回應於判定當前節點之V CBF不等於1(386之「否」)或在自位元串流剖析V係數區塊(388)之後,熵解碼單元150可能已完成剖析當前節點。儘管上文之論述已描述在特定語法元素具有特定值(例如,0或1)時的特定行為,但本發明之技術可能在特定語法元素具有不同於上文描述之彼等值的值時適用。
在一或多個實例中,所描述之功能可在硬體、軟體、韌體或其任何組合中實施。若在軟體中實施,則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又,任何連接被適當地稱為電腦可讀媒體。舉例而言,若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如,紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纜、雙絞線、 DSL或無線技術(諸如,紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是針對非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指代前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編碼解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中,該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如,晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣,但未必要求藉由不同硬體單元來實現其。實情為,如上文所描述,可將各種單元組合於編碼解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件

Claims (53)

  1. 一種用於編碼視訊資料之方法,該方法包含:產生一位元串流,其包括表示該視訊資料之一寫碼單元(CU)之一殘餘四分樹(RQT)的資料,該CU大於一最大允許變換單元(TU)大小,該RQT包括節點之一階層架構,其中該RQT之一根節點對應於該CU整體,且該RQT之葉節點對應於該CU之TU,其中該根節點包括在該RQT之該根節點處的二個色度已寫碼區塊旗標(CBF),一特定色度分量之該等色度CBF之每一者指示該CU之該等TU中之任何者是否與基於一各別色度分量之樣本的一有效色度係數區塊相關聯;及輸出一包括該CU之該RQT的位元串流。
  2. 如請求項1之方法,其中該根節點與一指示該CU之該等TU中之任何者是否與一有效亮度係數區塊相關聯的Y CBF相關聯。
  3. 如請求項1之方法,其中:該根節點與一旗標相關聯,若該旗標具有一第一值,則該CU之該等TU中之至少一者與一有效係數區塊相關聯,且若該旗標具有一不同於該第一值的第二值,則該CU之該等TU皆不與一有效係數區塊相關聯,且該RQT中的節點皆不與一Y CBF、一U CBF或一V CBF相關聯。
  4. 如請求項1之方法,其中對於該RQT中之每一各別節點:若該各別節點之一Y CBF、該各別節點之一U CBF及該各別節點之一V CBF全部具有一第一值,則該各別節點不與一分裂旗標相關聯,該分裂旗標指示該各別節點是否具有複數個子節點,若該各別節點之該Y CBF、該各別節點之該U CBF及該各別節 點之該V CBF中之至少一者具有一不同於該第一值之第二值,則該各別節點與該分裂旗標相關聯,其中該Y CBF指示對應於該各別節點或該各別節點之一子系節點的任一TU是否與一有效Y係數區塊相關聯,其中該U CBF指示對應於該各別節點或該各別節點之一子系節點的任一TU是否與一有效U係數區塊相關聯,且其中該V CBF指示對應於該各別節點或該各別節點之一子系節點的任一TU是否與一有效V係數區塊相關聯。
  5. 如請求項1之方法,其進一步包含:至少部分地基於該RQT之一節點的一CBF選擇一寫碼上下文;及基於該選定之寫碼上下文對該節點之一分裂旗標執行上下文自適應二進位算術寫碼(CABAC)編碼,該分裂旗標指示該節點是否具有複數個子節點。
  6. 如請求項5之方法,其中選擇該寫碼上下文包含基於該節點之一Y CBF、該節點之一U CBF及該節點之一V CBF選擇該寫碼上下文。
  7. 如請求項1之方法,其進一步包含至少部分地基於一相同寫碼上下文對該RQT中之一節點的一Y CBF、一U CBF及一V CBF執行CABAC編碼。
  8. 如請求項1之方法,其中該RQT之一非葉節點與一分裂旗標、一Y CBF、一U CBF及一V CBF相關聯,該分裂旗標指示該非葉節點具有複數個子系節點,該Y CBF指示該等子系節點中之任一者是否與一有效亮度係數區塊相關聯,該U CBF指示該等子系節點中之任一者是否與一有效U係數區塊相關聯,該V CBF指示該等子系節點中之任一者是否與一有效V係數區塊相關聯。
  9. 如請求項1之方法,其進一步包含:基於該RQT之節點的深度選擇寫碼上下文以用於由該RQT之該等節點指定的Y CBF、U CBF及V CBF;及基於經選擇用於該等Y CBF、U CBF及V CBF之該等寫碼上下文對該等Y CBF、U CBF及V CBF執行熵編碼操作。
  10. 如請求項9之方法,其中選擇該等寫碼上下文包含選擇用於一CBF的一寫碼上下文,其中該寫碼上下文之一索引值等於該RQT中的指定該CBF之一節點之一深度。
  11. 如請求項1之方法,其中對於該RQT中之每一各別節點:除非該各別節點為該根節點或該各別節點之一父節點之一U CBF指示該父節點之一子系節點與一有效U色度區塊相關聯,否則該各別節點不包括一U CBF;且除非該各別節點為該根節點或該各別節點之該父節點之一V CBF指示該父節點之一子系節點與一有效V色度區塊相關聯,否則該各別節點不包括一V CBF。
  12. 一種用於解碼視訊資料之方法,該方法包含:自一包括該視訊資料之一已編碼表示的位元串流在一寫碼單元(CU)之一殘餘四分樹(RQT)的一根節點處剖析兩個色度已寫碼區塊旗標(CBF),其中該CU大於一最大允許變換單元(TU)大小;及對於該等色度CBF之每一者,基於該各別色度CBF,判定該CU之任何TU是否與基於一各別色度分量之樣本的一有效色度係數區塊相關聯。
  13. 如請求項12之方法,其中該方法進一步包含自該位元串流剖析該根節點之一Y CBF,該根節點之該Y CBF指示該RQT之任一葉節點是否與一有效亮度係數區塊相關聯。
  14. 如請求項12之方法,其中該方法進一步包含自該位元串流剖析 該根節點之一旗標,該旗標指示是否存在該RQT之一與一有效係數區塊相關聯的葉節點,其中若該旗標指示該RQT中沒有葉節點與一有效係數區塊相關聯,則該RQT中的節點皆不與一CBF相關聯。
  15. 如請求項12之方法,其進一步包含:基於該RQT之一節點的一Y CBF、該節點的一U CBF及該節點之一V CBF,進行一判定以剖析該RQT之一節點的一分裂旗標;及回應於進行該判定,基於該節點之該分裂旗標判定是否自該位元串流剖析該節點之複數個子節點,其中該Y CBF指示該節點或該節點之任一子系節點是否與一有效Y係數區塊相關聯,該U CBF指示該節點或該節點之任一子系節點是否與一有效U係數區塊相關聯,且該V CBF指示該節點或該節點之任一子系節點是否與一有效V係數區塊相關聯。
  16. 如請求項12之方法,其中該方法進一步包含:基於該RQT之一節點之一CBF,選擇一寫碼上下文;及基於該選定之寫碼上下文對該節點之一分裂旗標執行上下文自適應二進位算術寫碼(CABAC)解碼,該分裂旗標指示該節點是否具有複數個子節點。
  17. 如請求項16之方法,其中選擇該寫碼上下文包含基於該節點之一Y CBF、該節點之一U CBF及該節點之一V CBF選擇該寫碼上下文。
  18. 如請求項12之方法,其進一步包含基於一相同寫碼上下文對該RQT之一節點的一Y CBF、一U CBF及一V CBF執行CABAC解碼。
  19. 如請求項12之方法,其中該RQT之一非葉節點包括一分裂旗標、 一Y CBF、一U CBF及一V CBF,該分裂旗標指示該非葉節點具有複數個子系節點,該Y CBF指示該等子系節點中之任一者是否與一有效亮度係數區塊相關聯,該U CBF指示該等子系節點中之任一者是否與一有效U係數區塊相關聯,該V CBF指示該等子系節點中之任一者是否與一有效V係數區塊相關聯。
  20. 如請求項12之方法,其進一步包含:基於該RQT之節點的深度,選擇寫碼上下文以用於由該RQT之該等節點指定的Y CBF、U CBF及V CBF;及基於經選擇用於該等Y CBF、U CBF及V CBF之該等寫碼上下文對該等Y CBF、U CBF及V CBF執行熵解碼操作。
  21. 如請求項20之方法,其中選擇該等寫碼上下文包含選擇用於一CBF的一寫碼上下文,其中該寫碼上下文之一索引值等於該RQT的指定該CBF之一節點的一深度。
  22. 如請求項12之方法,其中對於該RQT中之每一各別節點:除非該各別節點為該根節點或該各別節點之一父節點之一U CBF指示該父節點之一子系節點與一有效U色度區塊相關聯,否則該各別節點不包括一U CBF;且除非該各別節點為該根節點或該各別節點之該父節點之一V CBF指示該父節點之一子系節點與一有效V色度區塊相關聯,否則該各別節點不包括一V CBF。
  23. 如請求項12之方法,其進一步包含:將逆量化與一逆變換施加至該CU之一TU之一有效色度係數區塊以重建一殘餘樣本區塊;及將該重建之殘餘樣本區塊加入至來自一或多個預測樣本區塊之相對應樣本以產生一重建之樣本區塊。
  24. 一種編碼視訊資料之視訊編碼器件,該視訊編碼器件包含: 一或多個資料儲存媒體,經組態以儲存該視訊資料;一或多個處理器,經組態以產生一位元串流,其包括表示該視訊資料之一寫碼單元(CU)之一殘餘四分樹(RQT)之資料,該CU大於一最大允許變換單元(TU)大小,該RQT包括節點之一階層架構,其中該RQT之一根節點對應於該CU整體,且該RQT之葉節點對應於該CU之TU,其中該位元串流包括在該RQT之該根節點處之兩個色度已寫碼區塊旗標(CBF),該等色度CBF之每一者指示該CU之該等TU中之任何者是否與基於一各別色度分量之樣本的一有效色度係數區塊相關聯。
  25. 如請求項24之視訊編碼器件,其中該根節點與一Y CBF相關聯,該Y CBF指示該CU之該等TU中的任何者是否與一有效亮度係數區塊相關聯。
  26. 如請求項24之視訊編碼器件,其中:該根節點與一旗標相關聯,若該旗標具有一第一值,則該CU之該等TU中之至少一者與一有效係數區塊相關聯,且若該旗標具有一不同於該第一值的第二值,則該CU之該等TU皆不與一有效係數區塊相關聯,且該RQT中的節點皆不與一Y CBF、一U CBF或一V CBF相關聯。
  27. 如請求項24之視訊編碼器件,其中對於該RQT中之每一各別節點:若該各別節點之一Y CBF、該各別節點之一U CBF及該各別節點之一V CBF全部具有一第一值,則該各別節點不與一分裂旗標相關聯,該分裂旗標指示該各別節點是否具有複數個子節點,若該各別節點之該Y CBF、該各別節點之該U CBF及該各別節 點之該V CBF中之至少一者具有一不同於該第一值之第二值,則該各別節點與該分裂旗標相關聯,其中該Y CBF指示對應於該各別節點或該各別節點之一子系節點的任一TU是否與一有效Y係數區塊相關聯,其中該U CBF指示對應於該各別節點或該各別節點之一子系節點的任一TU是否與一有效U係數區塊相關聯,且其中該V CBF指示對應於該各別節點或該各別節點之一子系節點的任一TU是否與一有效V係數區塊相關聯。
  28. 如請求項24之視訊編碼器件,其中該一或多個處理器經組態以執行以下動作:基於該RQT之一節點的一CBF選擇一寫碼上下文;及基於該選定之寫碼上下文對該節點之一分裂旗標執行上下文自適應二進位算術寫碼(CABAC)編碼,該分裂旗標指示該節點是否具有複數個子節點。
  29. 如請求項28之視訊編碼器件,其中該一或多個處理器經組態以選擇該寫碼上下文,使得該一或多個處理器基於該節點之一Y CBF、該節點之一U CBF及該節點之一V CBF選擇該寫碼上下文。
  30. 如請求項24之視訊編碼器件,其中該一或多個處理器經組態以基於一相同寫碼上下文對該RQT之一節點的一Y CBF、一U CBF及一V CBF執行CABAC編碼。
  31. 如請求項24之視訊編碼器件,其中該RQT之一非葉節點包括一分裂旗標、一Y CBF、一U CBF及一V CBF,該分裂旗標指示該非葉節點具有複數個子系節點,該Y CBF指示該等子系節點中之任一者是否與一有效亮度係數區塊相關聯,該U CBF指示該等子系節點中之任一者是否與一有效U係數區塊相關聯,該V CBF指示 該等子系節點中之任一者是否與一有效V係數區塊相關聯。
  32. 如請求項24之視訊編碼器件,其中該一或多個處理器經組態以執行以下動作:基於該RQT之節點的深度,選擇寫碼上下文以用於由該RQT之該等節點指定的Y CBF、U CBF及V CBF;及基於經選擇用於該等Y CBF、U CBF及V CBF之該等寫碼上下文對該等Y CBF、U CBF及V CBF執行熵編碼操作。
  33. 如請求項32之視訊編碼器件,其中該一或多個處理器經組態以選擇該等寫碼上下文,使得該一或多個處理器選擇用於一CBF的一寫碼上下文,其中該寫碼上下文之一索引值等於該RQT的指定該CBF之一節點之一深度。
  34. 如請求項24之視訊編碼器件,其中對於該RQT中之每一各別節點:除非該各別節點為該根節點或該各別節點之一父節點之一U CBF指示該父節點之一子系節點與一有效U色度區塊相關聯,否則該各別節點不包括一U CBF;且除非該各別節點為該根節點或該各別節點之該父節點之一V CBF指示該父節點之一子系節點與一有效V色度區塊相關聯,否則該各別節點不包括一V CBF。
  35. 如請求項24之視訊編碼器件,其中該視訊編碼器件包含以下之至少一者:一積體電路;一微處理器;或一無線手機。
  36. 如請求項24之視訊編碼器件,其進一步包含一攝影機,其經組態以捕捉該視訊資料。
  37. 一種解碼視訊資料之視訊解碼器件,該視訊解碼器件包含:一或多個資料儲存媒體,經組態以儲存該視訊資料;及一或多個處理器,經組態以執行以下動作:自一包括該視訊資料之一已編碼表示的位元串流在一寫碼單元(CU)之一殘餘四分樹(RQT)的一根節點處剖析兩個已寫碼區塊旗標(CBF),其中該CU大於一最大允許變換單元(TU)大小;及對於該等色度CBF之每一者,基於該各別色度CBF,判定該CU之任何TU是否與基於一各別色度分量之樣本的一有效色度係數區塊相關聯。
  38. 如請求項37之視訊解碼器件,其中該一或多個處理器經進一步組態以自該位元串流剖析該根節點之一Y CBF,該根節點之該Y CBF指示該RQT之任一葉節點是否與一有效亮度係數區塊相關聯。
  39. 如請求項37之視訊解碼器件,其中該一或多個處理器經進一步組態以自該位元串流剖析該根節點之一旗標,該旗標指示是否存在該RQT之一與一有效係數區塊相關聯的葉節點,其中若該旗標指示該RQT中沒有葉節點與一有效係數區塊相關聯,則該RQT中的節點皆不包括一CBF。
  40. 如請求項37之視訊解碼器件,其中該一或多個處理器經組態以執行以下動作:基於該RQT之一節點的一Y CBF、該節點之一U CBF及該節點之一V CBF,進行一判定以剖析該RQT之一節點的一分裂旗標;及回應於進行該判定,基於該節點之該分裂旗標判定是否自該位元串流剖析該節點之複數個子節點,其中該Y CBF指示該節點或該節點之任一子系節點是否與一有 效Y係數區塊相關聯,該U CBF指示該節點或該節點之任一子系節點是否與一有效U係數區塊相關聯,且該V CBF指示該節點或該節點之任一子系節點是否與一有效V係數區塊相關聯。
  41. 如請求項37之視訊解碼器件,其中該一或多個處理器經組態以執行以下動作:基於該RQT之一節點之一CBF選擇一寫碼上下文;及基於該選定之寫碼上下文對該節點之一分裂旗標執行上下文自適應二進位算術寫碼(CABAC)解碼,該分裂旗標指示該節點是否具有複數個子節點。
  42. 如請求項41之視訊解碼器件,其中該一或多個處理器經組態以基於該節點之一Y CBF、該節點之一U CBF及該節點之一V CBF選擇該寫碼上下文。
  43. 如請求項37之視訊解碼器件,其中該一或多個處理器經組態以基於一相同寫碼上下文對該RQT之一節點的一Y CBF、該節點之一U CBF及該節點之一V CBF執行CABAC解碼。
  44. 如請求項37之視訊解碼器件,其中該RQT之一非葉節點包括一分裂旗標、一Y CBF、一U CBF及一V CBF,該分裂旗標指示該非葉節點具有複數個子系節點,該Y CBF指示該等子系節點中之任一者是否與一有效亮度係數區塊相關聯,該U CBF指示該等子系節點中之任一者是否與一有效U係數區塊相關聯,該V CBF指示該等子系節點中之任一者是否與一有效V係數區塊相關聯。
  45. 如請求項37之視訊解碼器件,其中該一或多個處理器經進一步組態以執行以下動作:基於該RQT之節點的深度選擇寫碼上下文以用於由該RQT之該等節點指定的Y CBF、U CBF及V CBF;及基於經選擇用於該等Y CBF、U CBF及V CBF之該等寫碼上下 文對該等Y CBF、U CBF及V CBF執行熵解碼操作。
  46. 如請求項45之視訊解碼器件,其中該一或多個處理器經組態以選擇該等寫碼上下文,使得該一或多個處理器選擇用於一CBF的一寫碼上下文,其中該寫碼上下文之一索引值等於該RQT的指定該CBF之一節點的一深度。
  47. 如請求項44之視訊解碼器件,其中對於該RQT中之每一各別節點:除非該各別節點為該根節點或該各別節點之一父節點之一U CBF指示該父節點之一子系節點與一有效U色度區塊相關聯,否則該各別節點不包括一U CBF;且除非該各別節點為該根節點或該各別節點之該父節點之一V CBF指示該父節點之一子系節點與一有效V色度區塊相關聯,否則該各別節點不包括一V CBF。
  48. 如請求項37之視訊解碼器件,其中該視訊解碼器件包含以下之至少一者:一積體電路;一微處理器;或一無線手機。
  49. 如請求項37之視訊編碼器件,其進一步包含一顯示器,其經組態以顯示該經解碼之視訊資料。
  50. 一種編碼視訊資料之視訊編碼器件,該視訊編碼器件包含用於產生一位元串流之構件,該位元串流包括表示該視訊資料之一寫碼單元(CU)之一殘餘四分樹(RQT)的資料,該CU大於一最大允許變換單元(TU)大小,該RQT包括節點之一階層架構,其中該RQT之一根節點對應於該CU整體,且該RQT之葉節點對應於該CU之TU, 其中該位元串流包括在該RQT之該根節點處之兩個色度已寫碼區塊旗標(CBF),該等色度CBF之每一者指示該CU之該等TU中之任何者是否與基於一個別色度分量之樣本的一有效色度係數區塊相關聯。
  51. 一種解碼視訊資料之視訊解碼器件,該視訊解碼器件包含:用於自一包括該視訊資料之一已編碼表示的位元串流在一寫碼單元(CU)之一殘餘四分樹(RQT)的一根節點處剖析兩個色度已寫碼區塊旗標(CBF)的構件,其中該CU大於一最大允許變換單元(TU)大小;及用於對於該等色度CBF之每一者,基於該各別色度CBF,判定該CU之任何TU是否與基於一各別色度分量之樣本的一有效色度係數區塊相關聯之構件。
  52. 一種儲存指令之電腦可讀儲存媒體,該等指令在由一視訊編碼器件之一或多個處理器執行時組態該視訊編碼器件以產生一位元串流,其包括表示一寫碼單元(CU)之一殘餘四分樹(RQT)的資料,該CU大於一最大允許變換單元(TU)大小,該RQT包括節點之一階層架構,其中該RQT之一根節點對應於該CU整體,且該RQT之葉節點對應於該CU之TU,其中該位元串流包括在該RQT之該根節點處之兩個色度已寫碼區塊旗標(CBF),該等色度CBF之每一者指示該CU之該等TU中之任何者是否與基於一各別色度分量之樣本的一有效色度係數區塊相關聯。
  53. 一種儲存指令之電腦可讀儲存媒體,該等指令在由一視訊解碼器件之一或多個處理器執行時組態該視訊解碼器件以執行以下動作:自一包括視訊資料之一已編碼表示的位元串流在一寫碼單元 (CU)之一殘餘四分樹(RQT)的一根節點處剖析兩個色度已寫碼區塊旗標(CBF),其中該CU大於一最大允許變換單元(TU)大小;及對於該等色度CBF之每一者,基於該各別色度CBF,判定該CU之任何TU是否與基於一各別色度分量之樣本的一有效色度係數區塊相關聯。
TW102112223A 2012-04-05 2013-04-03 已寫碼區塊旗標寫碼 TWI527465B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261620765P 2012-04-05 2012-04-05
US13/739,598 US9467701B2 (en) 2012-04-05 2013-01-11 Coded block flag coding

Publications (2)

Publication Number Publication Date
TW201349866A TW201349866A (zh) 2013-12-01
TWI527465B true TWI527465B (zh) 2016-03-21

Family

ID=49292281

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102112223A TWI527465B (zh) 2012-04-05 2013-04-03 已寫碼區塊旗標寫碼

Country Status (22)

Country Link
US (1) US9467701B2 (zh)
EP (1) EP2834978B1 (zh)
JP (1) JP6181150B2 (zh)
KR (1) KR101773240B1 (zh)
CN (1) CN104247424B (zh)
AR (1) AR092816A1 (zh)
AU (1) AU2013243793B2 (zh)
BR (1) BR112014024920B1 (zh)
CA (1) CA2866900C (zh)
DK (1) DK2834978T3 (zh)
ES (1) ES2650795T3 (zh)
HK (1) HK1203257A1 (zh)
HU (1) HUE034972T2 (zh)
IL (1) IL234568A (zh)
MY (1) MY167824A (zh)
PH (1) PH12014502116B1 (zh)
PT (1) PT2834978T (zh)
RU (1) RU2627119C2 (zh)
SG (1) SG11201405546SA (zh)
SI (1) SI2834978T1 (zh)
TW (1) TWI527465B (zh)
WO (1) WO2013151785A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9749645B2 (en) * 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
CN103533324B (zh) * 2012-07-03 2017-04-05 乐金电子(中国)研究开发中心有限公司 一种深度图像帧内编码方法、装置及编码器
US9088770B2 (en) * 2012-08-15 2015-07-21 Intel Corporation Size based transform unit context derivation
WO2015051011A1 (en) * 2013-10-02 2015-04-09 Arris Enterprises, Inc. Modified hevc transform tree syntax
CN106256125B (zh) * 2014-05-05 2019-11-19 联发科技(新加坡)私人有限公司 确定残余转换树表达的方法及装置
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
CN108293139A (zh) * 2015-09-08 2018-07-17 三星电子株式会社 用于熵编码和熵解码的设备和方法
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
EP4266684A3 (en) * 2016-02-11 2024-01-24 InterDigital VC Holdings, Inc. Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel
US9942548B2 (en) * 2016-02-16 2018-04-10 Google Llc Entropy coding transform partitioning information
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US10609414B2 (en) * 2017-05-08 2020-03-31 Qualcomm Incorporated Context modeling for transform coefficient coding
WO2019027200A1 (ko) * 2017-07-31 2019-02-07 에스케이텔레콤 주식회사 비-제로 계수들의 위치를 표현하는 방법 및 장치
WO2019045538A1 (ko) * 2017-09-04 2019-03-07 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11677940B2 (en) * 2017-09-20 2023-06-13 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium having stored bitstream
CN118042132A (zh) * 2017-11-16 2024-05-14 松下电器(美国)知识产权公司 图像编码装置、编码方法、图像解码装置、解码方法和非暂时性存储介质
CN110035287B (zh) 2018-01-12 2023-05-09 富士通株式会社 对统一转换单元模式进行分组标识的方法、装置和电子设备
WO2019151284A1 (ja) 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR20190113656A (ko) * 2018-03-27 2019-10-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3785433A4 (en) * 2018-04-30 2022-02-23 MediaTek Inc. SYNTAX INTERLACE METHOD AND APPARATUS FOR A SEPARATE CODING TREE IN A VIDEO CODING SYSTEM
KR101997681B1 (ko) * 2018-06-11 2019-07-08 광운대학교 산학협력단 양자화 파라미터 기반의 잔차 블록 부호화/복호화 방법 및 장치
JP7278719B2 (ja) * 2018-06-27 2023-05-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP7193610B2 (ja) * 2018-07-12 2022-12-20 華為技術有限公司 ビデオ符号化における境界ブロックのパーティション分割
WO2020114508A1 (zh) * 2018-12-06 2020-06-11 华为技术有限公司 视频编解码方法及装置
CN111416975B (zh) * 2019-01-08 2022-09-16 华为技术有限公司 预测模式确定方法和装置
JP7317973B2 (ja) 2019-01-08 2023-07-31 華為技術有限公司 画像予測方法、機器、及びシステム、装置、及び記憶媒体
KR102464910B1 (ko) 2019-02-28 2022-11-09 삼성전자주식회사 크로마 성분을 예측하는 비디오 부호화 및 복호화 방법, 및 크로마 성분을 예측하는 비디오 부호화 및 복호화 장치
CA3121220A1 (en) 2019-03-01 2020-09-10 Huawei Technologies Co., Ltd. Method of signalling of coded block flags
AU2019201649A1 (en) 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
CN113678449A (zh) * 2019-04-23 2021-11-19 Oppo广东移动通信有限公司 图像解码方法、解码器以及存储介质
CN113853798B (zh) * 2019-05-17 2024-04-19 北京字节跳动网络技术有限公司 根据色度格式信令通知语法元素
CN115567707A (zh) 2019-05-30 2023-01-03 抖音视界有限公司 色度分量的自适应环路滤波
US20220277491A1 (en) * 2019-05-31 2022-09-01 Electronics And Telecommunications Research Institute Method and device for machine learning-based image compression using global context
US11212545B2 (en) * 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
WO2020252726A1 (zh) * 2019-06-20 2020-12-24 富士通株式会社 图像编码和解码方法、装置以及视频编解码设备
JP7273339B2 (ja) * 2019-06-24 2023-05-15 日本電信電話株式会社 画像符号化方法、及び画像復号方法
US11190777B2 (en) * 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding
US11317090B2 (en) * 2019-08-12 2022-04-26 Tencent America LLC Method and apparatus for video coding
CN118075461A (zh) * 2020-06-12 2024-05-24 北京达佳互联信息技术有限公司 一种视频解码的方法、装置和介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2408076C1 (ru) * 2009-07-02 2010-12-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображения
KR101675116B1 (ko) * 2009-08-06 2016-11-10 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8942282B2 (en) * 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9172963B2 (en) 2010-11-01 2015-10-27 Qualcomm Incorporated Joint coding of syntax elements for video coding
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
US9210442B2 (en) * 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US8948271B2 (en) * 2011-01-13 2015-02-03 Texas Instruments Incorporated Method and apparatus for a low complexity transform unit partitioning structure for HEVC
US9380319B2 (en) * 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US8953690B2 (en) * 2011-02-16 2015-02-10 Google Technology Holdings LLC Method and system for processing video data
US9788019B2 (en) * 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
US9848197B2 (en) 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9807426B2 (en) 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US8804816B2 (en) * 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements

Also Published As

Publication number Publication date
JP2015515824A (ja) 2015-05-28
MY167824A (en) 2018-09-26
PT2834978T (pt) 2017-12-13
CN104247424A (zh) 2014-12-24
RU2014144293A (ru) 2016-05-27
CN104247424B (zh) 2018-01-26
EP2834978B1 (en) 2017-09-06
WO2013151785A1 (en) 2013-10-10
KR20150003778A (ko) 2015-01-09
CA2866900C (en) 2018-05-01
BR112014024920A2 (pt) 2017-06-20
RU2627119C2 (ru) 2017-08-03
AU2013243793A1 (en) 2014-10-02
ES2650795T3 (es) 2018-01-22
KR101773240B1 (ko) 2017-08-31
PH12014502116A1 (en) 2014-12-10
JP6181150B2 (ja) 2017-08-16
BR112014024920B1 (pt) 2023-03-14
HUE034972T2 (en) 2018-05-02
DK2834978T3 (da) 2017-11-27
SI2834978T1 (en) 2018-01-31
AU2013243793B2 (en) 2017-08-10
EP2834978A1 (en) 2015-02-11
US9467701B2 (en) 2016-10-11
PH12014502116B1 (en) 2014-12-10
US20130266074A1 (en) 2013-10-10
BR112014024920A8 (pt) 2021-06-22
AR092816A1 (es) 2015-05-06
SG11201405546SA (en) 2014-11-27
HK1203257A1 (zh) 2015-10-23
CA2866900A1 (en) 2013-10-10
IL234568A (en) 2017-09-28
TW201349866A (zh) 2013-12-01

Similar Documents

Publication Publication Date Title
TWI527465B (zh) 已寫碼區塊旗標寫碼
KR102305988B1 (ko) 팔레트-기반 비디오 코딩을 위한 컬러 인덱스 코딩
JP6046235B2 (ja) ビデオコーディングにおけるコード化ブロックフラグ推論
CN107113436B (zh) 用于解码视频数据的方法和装置以及计算机可读存储媒体
JP6749925B2 (ja) ビデオコーディングにおけるパレットブロックサイズに対する制限
TWI689195B (zh) 用於調色板寫碼之寫碼逃脫像素
US9706200B2 (en) Unification of signaling lossless coding mode and pulse code modulation (PCM) mode in video coding
TWI481223B (zh) 用於樣本自適應偏移語法元素之旁路寫碼位元子的分組
JP5890031B2 (ja) ビデオコーディング用の断片化されたパラメータセット
KR20180056687A (ko) 팔레트 모드 비디오 코딩에서의 이스케이프 픽셀 시그널링된 값들의 제한
JP2017514365A (ja) ビデオコーディングにおけるパレットサイズ、パレットエントリ、およびパレットコード化ブロックのフィルタリングの決定
TW201635798A (zh) 用於大的寫碼樹單元之內容
TW201404174A (zh) 片段及波前平行處理
WO2016049440A1 (en) Parsing dependency reduction for palette index coding
EP3205102A1 (en) Palette run hiding in palette-based video coding
US9961351B2 (en) Palette mode coding