TW201031217A - Video coding with large macroblocks - Google Patents

Video coding with large macroblocks Download PDF

Info

Publication number
TW201031217A
TW201031217A TW098133636A TW98133636A TW201031217A TW 201031217 A TW201031217 A TW 201031217A TW 098133636 A TW098133636 A TW 098133636A TW 98133636 A TW98133636 A TW 98133636A TW 201031217 A TW201031217 A TW 201031217A
Authority
TW
Taiwan
Prior art keywords
block
encoding
coding mode
partitions
video
Prior art date
Application number
TW098133636A
Other languages
English (en)
Other versions
TWI488506B (zh
Inventor
Pei-Song Chen
Yan Ye
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42060949&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TW201031217(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201031217A publication Critical patent/TW201031217A/zh
Application granted granted Critical
Publication of TWI488506B publication Critical patent/TWI488506B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Description

201031217 六、發明說明: 【發明所屬之技術領域】 本發明係關於數位視訊編碼,且更特定言之,係關於基 於&塊之視訊編碼。 本申請案主張2008年10月3曰申請之美國臨時申請案第 61/102,787號、2009年1月13日申請之美國臨時申請案第 6 1/144,357號及2009年4月3曰申請之美國臨時申請案第 61/166,631號的權利,該等申請案中之每一者之全文以引 用的方式併入本文中。 本申請案關於均與本申請案同一天申請、均具有相同標 題「使用大的巨區塊之視訊編碼(VIDEO CODING WITH LARGE MACROBLOCKS)」之美國專利申請案(暫時由代 理人案號090033111、0900331;3、0900331;4來弓|用),該等 申請案均已讓與給本受讓人且其全文在此以引用的方式明 確地併入本文中以用於所有目的。 【先前技術】 可將數位視訊能力併入寬廣範圍之器件中,包括數位電 視、數位直播系統、無線廣播系統、個人數位助理 (PDA)、膝上型或桌上型電腦、數位相機、數位記錄器 件、視訊遊戲器件、視訊遊戲機、蜂巢式或衛星無線電電 話及其類似者。數位視訊器件實施視訊壓縮技術,諸如由 MPEG-2、MPEG-4、ITU-T H.263 或 ITU-T H.264/MPEG-4 第10部分進階視訊編碼(AVC)定義之標準及該等標準之擴 展中所描述的彼等視訊壓縮技術,以更有效地傳輸及接收 143688.doc 201031217 數位視訊資訊。
視訊壓縮技術執行空間預測及/或時間預測以減少或移 除視訊序列中所固有的冗餘。對於基於區塊之視訊編碼, 可將一視訊圖框或片分割成巨區塊。可進一步分割每一巨 區塊。使用關於相鄰巨區塊之空間預測編碼一框内編碼之 ⑴圖框或片中之巨區塊。一框間編碼之(P或B)圖框或片中 之巨區塊可使用關於同一圖框或片中之相鄰巨區塊之空間 預測或關於其他參考圖框之時間預測。 【發明内容】 大體而言,本發明描述用於使用大的巨區塊編碼數位視 訊資料之技術。大的巨區塊大於一般由現有視訊編碼標準 規定之巨區塊。大多數視訊編碼標準規定使用16xl6像素 陣列之形式的巨區塊。根據本發明,編碼器及解碼器可利 用大小大於16X16像素之大的巨區塊。作為實例,大的巨 區塊可具有32x32、64x64或更大之像素陣列。 視訊編碼依賴於空間及/或時間冗餘來支援視訊資料之 壓縮。以較高空間解析度及/或較高圖框率產生之視訊圖 框可支援較多冗餘。如本發明中所描述,使用大的巨區塊 可准許視訊編碼技術利用隨著空間解析度及/或圖框率增 加而產生的較大冗餘度。根據本發明,視訊編碼技術可利 用多種特徵來支援大的巨區塊之編碼。 如本發明中所描述,大的巨區塊編碼技術可將大的巨區 塊分割成分龍,且針對“分割區使用不同分割區大小 及不同編碼模式(例如,不同之空間⑴模式或㈣(p或 143688.doc 201031217 模式)。作為另一實例,一編碼技術可利用階層式編碼區 塊型樣(coded block pattern,CBP)值來有效地識別一大的 巨區塊内的具有非零係數之經編碼之巨區塊及分割區。作 為另一實例’一編碼技術可比較藉由使用大的巨區塊與小 的巨區塊進行編碼而產生之速率-失真量度以選擇一產生 更有利之結果的巨區塊大小。 在一實例中’本發明提供一種方法’其包含用一視訊編 碼器編碼一具有大於16x16像素之大小之視訊區塊,產生 指示該區塊之該大小之區塊類型語法資訊,及產生一用於 該經編碼之區塊之編碼區塊型樣值,其中該編碼區塊型樣 值指不該經編碼之區塊是否包括至少一非零係數。 在另一實例中’本發明提供一種裝置,其包含一視訊編 碼器’該視訊編碼器經組態以編碼一具有大於16 X 16像素 之大小之視訊區塊,產生指示該區塊之該大小之區塊類型 語法資訊,且產生一用於該經編碼之區塊之編碼區塊型樣 值’其中該編碼區塊型樣值指示該經編碼之區塊是否包括 至少一非零係數。 在另一實例中’本發明提供一種電腦可讀媒體,其經編 碼有用於引起一視訊編碼裝置執行以下操作之指令·用一 視訊編碼器編碼一具有大於16x16像素之大小之視訊區 塊’產生指示該區塊之該大小之區塊類型語法資訊,及產 生一用於該經編碼之區塊之編碼區塊型樣值,其中該編碼 Εΐ塊型樣值指不該經編碼之區塊是否包括至少—'非零係 數0 143688.doc 201031217 在一額外實例中’本發明提供一種方法,其包含用一視 訊解碼器接收一具有大於16χ 16像素之大小的經編碼之視 讯區塊’接收指示該經編碼之區塊之該大小的區塊類型語 法資訊’接收一用於該經編碼之區塊之編碼區塊型樣值, 其中該編碼區塊型樣值指示該經編碼之區塊是否包括至少 一非零係數’及基於該區塊類型語法資訊及用於該經編碼 之區塊之該編碼區塊型樣值解碼該經編碼之區塊。 • 在另一實例中’本發明提供一種裝置,其包含一視訊解 碼器,該視訊解碼器經組態以接收一具有大於16xl6像素 之大小的經編碼之視訊區塊’接收指示該經編碼之區塊之 該大小的區塊類型語法資訊,接收一用於該經編碼之區塊 之編碼區塊型樣值’其中該編碼區塊型樣值指示該經編碼 之區塊是否包括至少一非零係數’且基於該區塊類型語法 資訊及用於該經編碼之區塊之該編碼區塊型樣值解碼該經 編碼之區塊。 φ 在另一實例中,本發明提供一種電腦可讀媒體,其包含 用以引起一視訊解碼器執行以下操作之指令:接收一具有 ‘大於16x16像素之大小的經編碼之視訊區塊,接收指示該 經編碼之區塊之該大小的區塊類型語法資訊,接收一用於 s亥經編碼之區塊之編碼區塊型樣值,其中該編碼區塊型樣 值指示該經編碼之區塊是否包括至少一非零係數,及基於 該區塊類型語法資訊及用於該經編碼之區塊之該編碼區塊 型樣值解碼該經編碼之區塊。 在另一實例中,本發明提供一種方法,其包含用一視訊 143688.doc 201031217 編碼器接收-具有大於16xl6像素之大小之視訊區塊將 該區塊分㈣分割區m編碼模式編碼該等分割 區中之一者’使用一不同於該第一編碼模式之第二編碼模 式編碼該等分割區中之另—者,及產生指示該區塊之該大 】且識別料分割區及帛於編碼該等分㈣之料編碼模 式的區塊類型語法資訊。
在-額外實例中,本發明提供_職置,其包含一視訊 編碼器’該視訊編碼器經組態以接收—具有大於16><16像 素之大小之視訊區塊,將該區塊分割成分割區,使用一第 :編碼模式編碼該等分割區中之一者,使用一不同於該第 一編碼模式之第二編碼模式編碼該等分㈣中之另一者, 產生^不該區塊之該大小且識別該等分割區及用於編碼該 等为割區之該等編碼模式的區塊類型言吾法資訊。
在另一實例中,本發明提供一種電腦可讀媒體其經編 碼有用以引起一視訊編碼器執行以下操作之指令:接收一 八有大於16x16像素之大小之視訊區塊將該區塊分割成 分割區,使用一第一編碼模式編碼該等分割區中之一者, 使用不同於該第—編瑪模式之第二編碼模式編碼該等分 J區中之另一者,及產生指示該區塊之該大小且識別該等 刀。J區及用於編碼該等分割區之該等編碼模式的區塊類型 語法資訊。 在另一實例中,本發明提供_種方法,其包含用一視訊 解碼器接收具有大於16xl6像素之大小之視訊區塊,其 中該區塊Μ分割成分割區’豸等分割區中之一者係使用一 143688.doc -8 - 201031217 第一編碼模式編碼且該等分割區令之另-者係使用-不同 於該第-編碼模式之第二編碼模式編碼,接收指示該區塊 之該大小且識別該等分割區及用於編碼該等分割區之該等 編碼模式的區塊類型語法資訊,及基於該區塊類型語法資 訊解碼該視訊區塊。 在另f實射,本發明提供―種裝置,其包含-視訊解 石馬器’該視訊解碼器經組態以接收一具有大於“…像素 • <大小之視訊區塊,其中該區塊經分割成分割區,該等分 。彳區t之者係使用—第—編碼模式編碼且該等分割區中 另者係使用;p同於該第一編碼模式之第二編碼模式 編碼;,接收指示該區塊之該大小且識別該等分割區及用於 編碼β亥等分割區之該等編碼模式的區塊類型語法資訊,且 基於該區塊類型語法資訊解碼該視訊區塊。 在額外實例中,本發明提供一種電腦可讀媒體,其經 編碼有用以引起-視訊解碼器執行以下操作之指令:用一 籲視訊解碼器接收-具有大於16><16像素之大小之視訊區 塊,其中該區塊經分割成分割區,該等分割區中之一者係 使用一第一編碼模式編碼且該等分割區中之另一者係使用 一不同於該第一編碼模式之第二編碼模式編碼,接收指示 該區塊之該大小且識別該等分割區及用於編碼該等分割區 之該等編碼模式的區塊類型語法資訊,及基於該區塊類型 語法資訊解碼該視訊區塊。 在另-實例中’本發明提供—種方法,其包含用一數位 視訊編碼器接收一視訊編碼單元,判定使用具有16><16像 143688.doc •9- 201031217 素之大小之第一視訊區塊編碼該視訊編碼單元的第一速 率-失真量度,判定使用具有大於16xl6像素之大小之第二 視訊區塊編碼該視訊編碼單元的第二速率失真量度,在 該第一速率-失真量度小於第二速率_失真量度時使用該等 第一視訊區塊編碼該視訊編碼單元,及在該第二速率-失 真量度小於該第—速率_失真量度時使用該等第二視訊區 塊編碼該視訊編喝單元。 在一額外實例中,本發明提供一種裝置,其包含一視訊 編碼器,该視訊編碼器經組態以接收一視訊編碼單元,判 疋使用具有16x16像素之大小之第一視訊區塊編碼該視訊 編碼單兀的第一速率-失真量度,判定使用具有大於16x16 像素之大小之第二視訊區塊編碼該視訊編碼單元的第二速 率-失真量度,在該第一速率_失真量度小於第二速率-失真 量度時使用該等第一視訊區塊編碼該視訊編碼單元在該 第二速率-失真量度小於該第一速率_失真量度時使用該等 第二視訊區塊編碼該視訊編碼單元。 在另一實例中,本發明提供一種電腦可讀媒體,其經編 碼有用以引起一視訊編碼器執行以下操作之指令:接收一 視訊編碼單元,判定使用具有16x16像素之大小之第一視 訊區塊編碼該視訊編碼單元的第一速率_失真量度,判定 使用具有大於16χ16像素之大小之第二視訊區塊^碼該^ 訊編碼單元的第二速率-失真量度,在該第一速率-失真量 度小於第二速率失真量度時使用該等第一視訊區塊編碼 該視訊編碼單元,&在該第二速率失真量度小於該第— 143688.doc •10- 201031217 速率-失真量度時使用該等第二視訊區塊編碼該視訊編碼 〇5 一 早兀。 在另一實例中’本發明提供一種方法,其包含用一視訊 編碼器編碼一包含複數個視訊區塊之經編碼單元,其中該 . 複數個視訊區塊中之至少一者包含大於16x16像素之大 小,及產生用於該經編碼單元的包括一最大大小值之語法 資訊,其中該最大大小值指示該經編碼單元中的該複數個 φ 視訊區塊中之一最大者的大小。 在另一實例中,本發明提供一種裝置,其包含一視訊編 碼器,該視訊編碼器經組態以編碼一包含複數個視訊區塊 之經編碼單元,其中該複數個視訊區塊中之至少一者包含 大於16χ 16像素之大小,且產生用於該經編碼單元的包括 最大大小值之語法資訊,其中該最大大小值指示該經編 碼單元中的該複數個視訊區塊中之一最大者的大小。 一最大大小值之語法資訊的構件 該經編碼單元中的該複數個視1 在另—實例中,本發明提供一種裝置,其包含包含以下 ❿冑件之裝置:用於編碼—包含複數個視訊區塊之經編碼單 一、構件其中該複數個視訊區塊中之至少一者包含大於 1 6像素之大小,及用於產生用於該經編碼單元的包括 卜,其中該最大大小值指示 讯區塊中之一最大者的大 在另一實例中,本發明提供一
143688.doc 例中’本發明提供一種電腦可讀儲存媒體,其 處理器執行以下操作之指 ^行吸取卿优m险塊之經編碼單元,其中該複 201031217 數個視sK區塊中之至少一者包含大於丨6 χ丨6像素之大小, 及產生用於該經編碼早元的包括一最大大小值之語法資 訊,其中該最大大小值指示該經編碼單元中的該複數個視 訊區塊_之一最大者的大小。 在另一實例中,本發明提供一種方法,其包含用一視訊 解碼器接收一包含複數個視訊區塊之經編碼單元,其中該 複數個視訊區塊中之至少一者包含大於16χ16像素之大 小’接收用於該經編碼單元的包括一最大大小值之語法資 訊’其中該最大大小值指示該經編碼單元中的該複數個視 訊區塊中之一最大者的大小,根據該最大大小值選擇一區 塊類型語法解碼器,及使用該選定區塊類型語法解碼器解 瑪該經編碼單元中的該複數個視訊區塊中之每一者。 在另一實例中’本發明提供一種裝置,其包含一視訊解 碼器,該視訊解碼器經組態以接收一包含複數個視訊區塊 之經編碼單元’其中該複數個視訊區塊中之至少一者包含 大於16x16像素之大小,接收用於該經編碼單元的包括一 最大大小值之語法資訊,其中該最大大小值指示該經編碼 單元中的該複數個視訊區塊中之一最大者的大小,根據該 最大大小值選擇一區塊類型語法解碼器,且使用該選定區 塊類型語法解碼器解碼該經編碼單元中的該複數個視訊區 塊中之每一者。 在另一實例中’本發明提供用於接收一包含複數個視訊 區塊之經編碼單元的構件,其中該複數個視訊區塊中之至 ^ 一者包含大於16x16像素之大小;用於接收用於該經編 143688.doc 201031217 碼單7G的包括-最大大小值之語法資訊的構件,其中該最 大大小值扣不該經編碼單元中的該複數個視訊區塊中之一 最大者的大小;用於根據該最大大小值選擇一區塊類型語 法解碼器的構件;及用於使用該選定區塊類型語法解碼器 • 解碼該經編碼單元中的該複數個視訊區塊中之每一者的構 件。 在另一實例中,本發明提供一種電腦可讀儲存媒體,其 ❿ 經編碼有用於引起一可程式化處理器執行以下操作之指 令.接收一包含複數個視訊區塊之經編碼單元,其中該複 數個視訊區塊中之至少一者包含大於16><16像素之大小, 接收用於該經編碼單元的包括一最大大小值之語法資訊, 其中該最大大小值指示該經編碼單元中的該複數個視訊區 塊中之一最大者的大小,根據該最大大小值選擇一區塊類 型語法解碼器,及使用該選定區塊類型語法解碼器解碼該 經編碼單元中的該複數個視訊區塊中之每一者。 • 在下文之附圖及描述中闡述一或多個實例之細節。其他 特徵、目標及優點將自該描述及圖式及自申請專利範圍而 顯而易見。 【實施方式】 本發明描述用於使用大的巨區塊編碼及解碼數位視訊資 料之技術。大的巨區塊大於一般由現有視訊編碼標準規定 之巨區塊。大多數視訊編碼標準規定使用一 16><16像素陣 列之形式的巨區塊。根據本發明’一編喝器及/或一解碼 器可利用大小大於16x16像素之大的巨區塊。作為實例, 143688.doc -13- 201031217 一大的巨區塊可具有32x32、 列。 64X64或可能更大之像素陣 大體而言,「巨區塊」這一術語當在本發明中使用時可 指代包含表達為ΝχΝ像素之較義大小之像素陣列的資料 結構,其中N為正整數值。巨區塊可定義四個照度區塊, 每一照度區塊包含(N/2MN/2)像素之陣列;兩個色度區 塊,每一色度區塊包含ΝχΝ像素之陣列;及一標頭,=包 含巨區塊類型資訊及編碼區塊型樣(CBp)資訊,如下文更 詳細論述。 習知視訊編碼標準通常規定經定義之巨區塊大小為 16x16像素陣列。根據本發明中所描述之各種技術,巨區 塊可包含ΝχΝ像素陣列,其中N可大於16。同樣地,習知 視訊編碼標準規定一框間編碼之巨區塊通常經指派一單一 運動向量。根據本發明中所描述之各種技術,複數個運動 向量可經指派用於ΝχΝ巨區塊之框間編碼之分割區,如下 文更詳細描述。對「大的巨區塊」或類似片語之引用大體 指代具有大於16x1 6之像素陣列之巨區塊。 在一些狀況下,大的巨區塊可支援編碼效率之改良及/ 或資料傳輸耗用之減少,同時維持或可能改良影像品質。 舉例而言,使用大的巨區塊可准許一視訊編碼器及/或解 碼器利用以增加之空間解析度(例如,每一圖框128〇χ72〇 或192〇x1〇80像素)及/或增加之圖框率(例如,每秒3〇圖框 或60圖框)產生視訊資料所提供的增加之冗餘。 作為一說明,具有每一圖框128〇χ72〇像素之空間解析度 143688.doc • 14 - 201031217 及每秒60圖框之圖框率的數位視訊序列在空間上比具有每 一圖框176x144像素之空間解析度及每秒15圖框之圖框率 的數位視訊序列大36倍且在時間上比具有每一圖框 176x144像素之空間解析度及每秒15圖框之圖框率的數位 ,視訊序列快4倍。藉由增加之巨區塊大小,視訊編碼器及/ 或解碼器可更好地利用增加之空間及/或時間冗餘來支援 視訊資料之壓縮。 瘳 又,藉由使用較大巨區塊,針對一給定圖框或片,可編 碼較小數目個區塊,從而減少需要傳輸之耗用資訊之量。 換言之’較大巨區塊可准許針對每一圖框或片編碼之巨區 塊之總數目的減少。若(例如)圖框之空間解析度增加4倍, 則對於該圖框中之像素,將需要4倍的16x16巨區塊。在此 實例中,藉由64x64巨區塊,減少了處置增加之空間解析 度所需之巨區塊的數目。藉由每一圖框或片之減少數目個 巨區塊,例如,可減少諸如語法資訊、運動向量資料及其 φ 類似者之編碼資訊之累積量。 在本發明中’巨區塊之大小大體上指代巨區塊中所含有 之像素之數目,例如,64x64、32x32、16x16或其類似 者因此,大的巨區塊(例如,64x64或32x32)可能在其含 有比16x16巨區塊之像素數目大的數目個像素之意義上而 。為大的。然而’由大的巨區塊之垂直及水平尺寸定義之 空間區域(亦即,作為由視訊圖框之垂直及水平尺寸定義 之區域的部分)可或可不大於習知16x16巨區塊之區域。在 些實例中,大的巨區塊之區域可與習知16x16巨區塊相 143688.doc -15- 201031217 :或類似。然而,大的巨區塊具有以巨區塊内之像素之較 局數目及較高空間密度為特徵的較冑空間解析度。 可至少部分基於圖框中之像素之數目(亦即,圖框中之 空間解析度)來組態巨區塊之大小。若圖框具有較高數目 個像素,則可將大的巨區塊組態為具有較高數目個像素。 作為一說明,一視訊編碼器可經組態以針對以每秒圖框 顯示之1280x720像素圖框利用32x32像素巨區塊。作為另 一說明,一視訊編碼器可經組態以針對以每秒6〇圖框顯示 之1280x720像素圖框利用64x64像素巨區塊。 由編碼器編碼之每一巨區塊可能需要描述巨區塊之—或 夕個特性之資料。該資料可指示(例如)用於表示巨區塊之 大小、巨區塊經分割之方式,及應用於巨區塊及/或其分 割區之編碼模式(空間或時間)的巨區塊類型資料。另外, 該資料可包括運動向量差異(mvd)資料以及其他語法元素 以表不巨區塊及/或其分割區之運動向量資訊。又,該資 料可包括編碼區塊型樣(CBP)值以及其他語法元素以表示 預測之後之殘餘資訊。巨區塊類型資料可提供於大的巨區 塊之單一巨區塊標頭中。 如上文所提及,藉由利用大的巨區塊,編碼器可減少每 一圖框或片之巨區塊之數目,且藉此減少對於每一圖框或 片需要傳輸之淨耗用(net overhead)的量。又,藉由利用大 的巨區塊,針對一特定圖框或片,巨區塊之總數目可減 小,此可減少顯示給使用者之視訊中之塊狀假影(bl〇cky artifact)。 143688.doc -16- 201031217 本發明中所描述之視訊編碼技術可利用一或多個特徵來 支援大的巨區塊之編碼。舉例而言,可將一大的巨區塊分 割成較小分割區。可將不同編碼模式(例如,不同之空間 (I)或時間(P或B)編碼模式)應用於一大的巨區塊内之選定 . 分割區。又,可利用階層式編碼區塊型樣(CBP)值來有效 職別具有表示殘餘資料之非零變換係數的經編碼之巨區 塊及分割區。另外,可比較使用大的巨區塊大小與小的巨 〇 1塊大小進行編碼之速率-失真量度以選擇-產生有利結 果之巨區塊大小。此外’一包含變化大小之巨區塊的經編 碼單元(例如,-圖框、片、序列,或圖片群)可包括指示 該經編碼單元中的最大巨區塊之大小的語法元素。如下文 更詳細描述,大的巨區塊包含不同於標 之區塊層級語法。因此,藉由指示經編碼單元中3 = 區塊之大小,編碼器可將一將應用於該經編碼單元之巨區 塊的區塊層級語法解碼器傳信至解碼器、 •、,針對大的巨區塊中之不同分割區使用不同編碼模式可被 稱作大的巨區塊之混合模式編碼。代替均句地編碼大的巨 s鬼以使得所有分割區具有相同的框内或框間編碼模式, 可編碼大的巨區塊以使得一些分割區具有不同編碼模式, 諸如不同的框内編碼模式(例如,Ι_16χ16、I—8x8、j 4χ4) 或框内及框間編碼模式。 - — 右將大的巨區塊劃分成兩個或兩個以上分割區,則 二如)可用-第一模式編碼至少一分割區且可用一不同於 該第一模式之第二模式編碼另一分割區。在—些狀況下,、 143688.doc -17- 201031217 第模式可為第一1模式且第二模式可為不同於該第一 i模 式之第二1模式。在其他狀況下,第-模式可為I模式且第 -模式可為P或B模式。因此,在—些實例中—大的巨區 塊可包括一或多個在時間上(]?或8)編碼之分割區及一或多 個在工間上(j)編碼之分割區,或一或多個具有不同I模式 的在空間上編碼之分割區。 一或多個階層式編碼區塊型樣(CBp)值可用於有效地描 述一大的巨區塊中之任何分割區是否具有至少一非零變換 係數,且若如此,則描述哪些分割區具有至少一非零變換 係數。變換係數編碼大的巨區塊之殘餘資料。一大的巨區 塊層級CBP位元指示大的巨區塊中之任何分割區是否包括 非零的、經量化之係數。若大的巨區塊中之任何分割區 不包括一非零、經量化之係數,則不需要考慮該等分割區 中之任一者是否具有一非零係數,因為已知整個大的巨區 塊不具有非零係數。在此狀況下,可使用預測巨區塊來解 碼不具有殘餘資料之巨區塊。 或者,若巨區塊層級CBP值指示大的巨區塊中之至少一 分割區具有一非零係數,則可分析分割區層級CBp值以識 別該等分割區中之哪一者包括至少一非零係數。解碼器接 著可擷取具有至少一非零係數之分割區之適當殘餘資料, 且使用該殘餘資料及預測區塊資料解碼該等分割區。在一 些狀況下,一或多個分割區可具有非零係數,且因此包括 具有適當指示之分割區層級CBp值。大的巨區塊與該等分 割Q中之至少一些分割區均可大於16x16像素。 143688.doc •18· 201031217 為了選擇產生有利过f 〜迷率-失真篁度之巨區塊大小,可針 =]大的巨區塊(例如’ 32><32或6柯4)與小的巨區塊(例如, 16x16)兩者分析速率_失真量度。舉例而言,一編碼器可 比較-經編碼單元(諸如,—圖框或片)的16><16巨區塊、 3 2 X 3 2巨區塊與64><64η日日4; + 巨&塊之間的速率-失真量度。編碼 器可接著選擇產生最優速率.失真之巨區塊大小,且使用
i選疋巨區塊大小(亦即,具有最優速率·失真之巨區塊大 小)編碼該經編碼單元。 該選擇可係基於在三個或三個以上遍次(例如,使用 16x16像素巨區塊之第一遍次、使用32><32像素巨區塊之第 一遍次,及使用64x64像素巨區塊之第三遍次)中編碼圖框 或片,及比較每一遍次之速率_失真量度。以此方式,編 碼器可藉由變化巨區塊大小且選擇產生一給定編碼單元 (諸如’一片或圖框)之最優或最佳速率-失真之巨區塊大小 來最佳化速率·失真。編碼器可進一步將用於經編碼單元 的識別在經編碼單元中所使用的巨區塊之大小的語法資訊 (例如)作為一圖框標頭或一片標頭之一部分加以傳輸。如 下文更詳細論述,用於經編碼單元之語法資訊可包含一最 大大小指示符’其指示經編碼單元中所使用的巨區塊之最 大大小。以此方式,編碼器可向解碼器通知預期將哪些語 法用於經編碼單元之巨區塊。當巨區塊之最大大小包含 16x16像素時,解碼器可預期標準η.264語法且根據H.264-指定語法剖析巨區塊。然而,當巨區塊之最大大小大於 16xl6(例如,包含64x64像素)時,解碼器可預期與較大巨 143688.doc -19· 201031217 區塊之處理有關的修改之語法元素及/或額外語法元素(如 本發明描述),且根據該修改之語法或額外語法剖析巨區 塊。 對於一些視訊圖框或片,在給定相對低之失真之情況 下,大的巨區塊可提供實質位元率節省且藉此產生最優速 率-失真結果。然而,對於其他視訊圖框或片,較小巨區 塊可提供較少失真,從而在速率-失真成本分析中重要性 超過位元率。因此,在不同狀況下,(例如)視視訊内容及 複雜性而定,64x64、32x32或16x16可適合於不同視訊圖 框或片。 圖1為說明一實例視訊編碼及解碼系統1〇之方塊圖,視 訊編碼及解碼系統1〇可利用用於使用大的巨區塊(亦即, 含有比16x16巨區塊多之像素之巨區塊)編碼/解碼數位視訊 資料之技術。如圖1中所展示,系統1〇包括經由通信頻道 16將經編碼之視訊傳輸至目的地器件14的源器件12。源器 件12及目的地器件14可包含寬廣範圍之器件中之任一者。 在一些狀況下,源器件12及目的地器件14可包含無線通信 器件,諸如無線手機、所謂之蜂巢式或衛星無線電電話, 或可在通信頻道16上(在此狀況下,通信頻道16為無線的) 傳達視訊資訊之任何無線器件。然而,本發明之關注包含 比由習知視訊編碼標準規定之巨區塊多的像素之大的巨區 塊之使用的技術未必限於無線應用或設定。舉例而言,此 等技術可適用於空中電視廣播、有線電視傳輸、衛星電視 傳輸、網際網路視訊傳輸、經編碼至儲存媒體上之經編碼 143688.doc 201031217 之數位視訊,或其他情況。因此,通信頻道16可包含適合 於傳輸經編碼之視訊資料的無線媒體或有線媒體之任何組 合0 在圖1之實例中,源器件12可包括視訊源18、視訊編碼 器20、調變器/解調變器(數據機)22及傳輸器以。目的地器 件14可包括接收器26、數據機28、視訊解碼器3〇,及顯示 器件32。根據本發明,源器件12之視訊編碼器20可經組態 ❹以應用用於在一視訊編碼過程中使用具有大於由習知視訊 編碼裇準規足之巨區塊大小之大小的大的巨區塊的技術中 之一或多者。類似地’目的地器件14之視訊解碼器3〇可經 組態以應用用於在一視訊解碼過程中使用大於由習知視訊 編碼標準規定之巨區塊大小之巨區塊大小的技術中之一或 多者。 圖1之所說明之系統1〇僅為一實例。如本發明中所描述 之用於使用大的巨區塊之技術可由任何數位視訊編碼及/ • 或解碼器件來執行。源器件12及目的地器件14僅為該等編 碼器件(在該等編碼器件中,源器件12產生用於傳輸至目 的地器件14之經編碼之視訊資料)之實例。在一些實例 中,器件12、14可以一大體上對稱之方式操作以使得器件 12、14中之每一者包括視訊編碼及解碼組件。因此,系統 可支援視訊器件12、14之間的單向或雙向視訊傳輸(例 如)用於視訊串流、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊捕獲器件,諸如攝影 機' 含有先前所捕獲之視訊之視訊存檔,及/或來自視訊 1436B8.doc 21 · 201031217 内谷提供者之視汛饋入(vide〇 feed)。作為另一替代,視訊 源18可產生基於電腦圖形之資料作為源視訊,或產生實況 視訊、經保存之視訊與電腦產生之視訊的組合。在一些狀 況下,若視訊源18為攝影機,則源器件12與目的地器件14 可形成所謂的相機電話或視訊電話。然而,如上文所提 及大體而s,本發明中所描述之技術可適用於視訊編 碼且可適用於無線或有線應用。在每一狀況下,可由視 訊編碼器20來編碼經捕獲之、經預先捕獲之或電腦產生之 視訊。經編碼之視訊資訊可接著由數據機22根據一通信標 準來調變,且經由傳輸器24而傳輸至目的地器件14。數據 機22可包括各種混頻器、濾波器、放大器或經設計以用於 信號調變之其他組件。傳輸器24可包括經設計以用於傳輸 資料之電路,包括放大器、濾波器,及一或多個天線。 目的地器件14之接收器26在頻道16上接收資訊,且數據 機28解調變該資訊。再一次,視訊編碼過程可實施本文中 所描述的技術中的一或多者以將大的巨區塊(例如,大於 16x16)用於視訊資料之框間(亦即,時間)編碼及/或框内 (亦即,空間)編碼。由視訊解碼器3〇執行之視訊解碼過程 亦可在解碼過程期間使用該等技術◦在頻道16上傳遞之資 訊可包括由視訊編碼器20定義之語法資訊,該語法資訊亦 由視訊解碼器30使用,該語法資訊包括描述大的巨區塊之 特性及/或處理之語法元素,如下文更詳細論述。可將笋 法資訊包括於一圖框標頭、一片標頭、一序列標頭(例 如,關於H.264,藉由使用經編碼之視訊序列所符合之設 143688.doc •22· 201031217 定檔及層級)或一巨區塊標頭中之任一者或全部中。顯示 器件32將經解碼之視訊資料顯示給使用者,且可包含諸如 陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機 發光二極體(〇LED)顯示器或另一類型之顯示器件之多種 顯示器件中的任一者。 在圖1之實例中,通信頻道16可包含任何無線或有線通 信媒體(諸如’射頻(rF)頻譜或一或多個實體傳輸線),或 φ 無線與有線媒體之任何組合。通信頻道16可形成基於封包 之網路(諸如,區域網路、廣域網路,或諸如網際網路之 全球網路)之一部分。通信頻道16大體上表示用於將視訊 資料自源器件12傳輸至目的地器件14的任何合適之通信媒 體或不同通信媒體之集合,包括有線或無線媒體之任何合 適組合。通信頻道16可包括路由器、開關、基地台,或可 用於促進自源器件12至目的地器件14之通信之任何其他設 備。 Φ 視訊編碼器2〇及視訊解碼器30可根據一諸如Ιτυ_τ Η·264標準(或者經描述為MPEG-4第10部分,進階視訊編 碼(AVC))之視訊壓縮標準操作。然而,本發明之技術不限 於任何特疋編碼標準。其他實例包括MPEG-2及ITU-T Η·ά63。雖然圖1中未展示,但在一些態樣中,視訊編碼器 20及視訊解碼器3〇可各自與音訊編碼器及解碼器整合,且 可包括適當MUX-DEMUX單元或其他硬體及軟體,以處置 共同資料流或單獨資料流中之音訊與視訊兩者的編碼。若 可適用’則MUX-DEMUX單元可符合ITU Η.223多工器協 143688.doc -23- 201031217 定,或諸如使用者資料報協定(UDP)之其他協定。 ITU-T H.264/MP.EG-4(AVC)標準由 ITU-T視訊編碼專家 組(VCEG)連同ISO/IEC動畫專家組(MPEG)—起製定,作為 稱為聯合視訊小組(JVT)之集體夥伴關係的產物。在一些 態樣中,本發明中所描述之技術可適用於大體符合Η·264 標準之器件。Η.264標準描述於ITU-T研究組的2005年3月 公布之 ITU-T 推薦 H_264,Advanced Video Coding for generic audiovisual services(用於一般視聽服務之進階視訊 編碼)中,其在本文中可稱作Η.264標準或Η.264規範,或 H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於 H.264/MPEG-4 AVC之擴展。 視訊編碼器20及視訊解碼器30各自可經實施為諸如一或 多個微處理器、數位信號處理器(DSP)、特殊應用積體電 路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、 硬體、韌體或其任何組合之多種合適編碼器電路中的任一 者。視訊編碼器20及視訊解碼器30中之每一者可包括於一 或多個編碼器或解碼器中,視訊編碼器20及視訊解碼器30 中之任一者可作為組合編碼器/解碼器(CODEC)之一部分 而整合於各別相機、電腦、行動器件、用戶器件、廣播器 件、機上盒、伺服器或其類似者中。 一視訊序列通常包括一系列視訊圖框。視訊編碼器20對 個別視訊圖框内之視訊區塊操作以便編碼視訊資料。 視 訊區塊可對應於一巨區塊或一巨區塊之一分割區。一視訊 區塊可進一步對應於一分割區之一分割區。視訊區塊可具 143688.doc -24- 201031217 有固定或變化之大小,且大小可根據指定編碼標準或根據 本發明之技術而不同。每一視訊圖框可包括複數個片。每 一片可包括複數個巨區塊,該複數個巨區塊可排列成亦稱 作子區塊之分割區。 作為一實例,ITU-T H.264標準支援各種區塊大小(諸 如’用於明度分量之16乘16、8乘8或4乘4,及用於色度分 量之8x8)之框内預測,以及各種區塊大小(諸如,用於明 度分 S:之 16x16、16x8、8x16、8x8、8x4、4x8 及 4x4,及 用於色度分量之對應按比例調整之大小)之框間預測。在 本發明中,「X」與「乘」可互換地使用以指代根據垂直 及水平尺寸的區塊之像素尺寸,例如,16χ16像素或16乘 16像素。大體而言,16xl6區塊將具有在垂直方向上之16 個像素及在水平方向上之16個像素。同樣地,NxN區塊大 體上具有在垂直方向上之N個像素及在水平方向上之N個 像素’其中N表示一可大於16之正整數值。一區塊中之像 素可排列成多列及多行。 小於16乘16之區塊大小可稱作16乘16巨區塊之分割區。 同樣地,對於ΝχΝ區塊,小於ΝχΝ之區塊大小可稱作NxN 區塊之分割區。本發明之技術描述大於習知16χ16像素巨 區塊之巨區塊(諸如,32x32像素巨區塊、64x64像素巨區 塊’或更大的巨區塊)的框内編碼及框間編碼。視訊區塊 可包含像素域中的像素資料之區塊,或(例如)在對表示經 編碼之視訊區塊與預測視訊區塊之間的像素差異之殘餘視 訊區塊資料應用諸如離散餘弦變換(DCT)、整數變換、小 143688.doc -25- 201031217 波變換或概念上類似之變換的變換之後的在變換域中之變 換係數之區塊。在一些狀況下,一視訊區塊可包含變換域 中的經量化之變換係數之區塊。 較小視訊區塊可提供較好解析度,且可用於視訊圖框之 包括高細節度的位置。大體而言,可將巨區塊及有時稱作 子區塊之各種分割區視為視訊區塊。另外,可將片視為複 數個視訊區塊,諸如巨區塊及/或子區塊。每一片可為視 訊圖框之一可獨立解碼之單元。或者,圖框本身可為可解 碼之單元’或可將圖框之其他部分定義為可解碼之單元。 術語「經編碼單元」或「編碼單元」可指代一視訊圖框之 任何可獨立解碼之單元,諸如一完整圖框、一圖框之一 片、亦稱作序列之圖片群(GOP),或根據可適用之編碼技 術定義的另一可獨立解碼之單元。 在用於產生預測資料及殘餘資料之框内預測或框間預測 編碼之後,且在用於產生變換係數之任何變換(諸如, H.264/AVC中所使用之4x4或8x8整數變換或離散餘弦變換 DCT)之後’可執行變換係數之量化。量化大體指代一將 變換係數量化以可能地減少用於表示係數之資料量的過 程。量化過程可減少與一些係數或全部係數相關聯之位元 深度。舉例而言,在量化期間,可將位元值向下捨入至 所-位元值’其中《大於m。 在量化之後’可(例如)根據内容適應性可變長度編碼 (CAVLC)、上下文適應性 二進位算術編碼(CABAC)或另一 痛編瑪方法執行經量化資料之熵編碼。一經組態以用於熵 143688.doc -26· 201031217 編瑪之處理單元或另一處理單元可執行其他處理功能,諸 如經量化係數之零游程長度編碼及/或諸如CBp值、巨區塊 類型、編碼模式、經編碼單元(諸如,圖框、片、巨區 塊或序列)之最大巨區塊大小或其類似者的語法資訊之 產生。 根據本發明之各種技術,視訊編碼器20可使用一大於由 習知視訊編碼標準規定之巨區塊之巨區塊來編碼數位視訊 ❹ 資料在實例中,視訊編碼器2 0可用一視訊編碼器編瑪 一具有大於16x16像素之大小之視訊區塊,產生指示該區 塊之大小之區塊類型語法資訊,且產生該經編碼區塊之 CBP值’其中該編碼區塊型樣值指示該經編碼之區塊是否 包括至少一非零係數。巨區塊區塊類型語法資訊可提供於 大的巨區塊之巨區塊標頭中。巨區塊區塊類型語法資訊可 指不巨區塊在圖框或#中之位址或位置,或識別巨區塊之 位置之巨區塊編號、應用於巨區塊之編碼模式之類型、巨 • 區塊之量化值、巨區塊之任何運動向量資訊,及巨區塊之 CBP 值。 在另—實例中,視訊編碼器20可接收一具有大於16x16 像素之大小之視訊區塊’將該區塊分割成分割區,使用一 第一編碼模式編碼該等分割區中之一者,使用一不同於該 第一編碼模式之第二編碼模式編碼該等分割區中之另一 者’且產生指示該區塊之大小且識別該等分割區及用於編 碼該等分割區之編碼模式的區塊類型語法資訊。 在—額外實例中,視訊編碼器20可接收一視訊編碼單元 143688.doc -27- 201031217 (諸如’一圖框或片),判定使用具有16x16像素之大小之 第一視訊區塊編碼該視訊編碼單元的第一速率·失真量 度,判定使用具有大於16x16像素之大小之第二視訊區塊 編碼該視訊編碼單元的第二速率-失真量度,在該第一速 率-失真量度小於第二速率-失真量度時使用該等第一視訊 區塊編碼該視訊編碼單元,且在該第二速率-失真量度小 於該第一速率-失真量度時使用該等第二視訊區塊編碼該 視訊編碼單元。 在一實例中’視訊解碼器30可接收一具有大於16><16像 素之大小的經編碼之視訊區塊’接收指示該經編碼之區塊 之大小的區塊類型語法資訊’接收該經編碼之區塊之編瑪 區塊型樣值,其中該編碼區塊型樣值指示該經編碼之區塊 是否包括至少一非零係數,且基於該區塊類型語法資訊及 該經編碼區塊之該編碼區塊型樣值解碼該經編碼之區塊。 在另一實例中,視訊解碼器30可接收一具有大於丨6xi6 像素之大小之視訊區塊’其中該區塊經分割成分割區,該 等分割區中之一者經框内編碼且該等分割區中之另一者經 框内編碼’接收指示該區塊之大小且識別該等分割區及用 於編碼該等分割區之該等編碼模式的區塊類型語法資訊, 且基於該區塊類型語法資訊解碼該視訊區塊。 圖2為說明視訊編碼器5〇之一實例的方塊圖,視訊編碼 器50可實施與本發明一致的用於使用大的巨區塊之技術。 視訊編碼器50可對應於源器件12之視訊編碼器2〇或一不同 盗件之視訊編碼器。視訊編碼器5〇可執行視訊圖框内之區 143688.doc •28- 201031217 塊(包括大的巨區塊’或大的巨區塊之分割區或子分割區) 之框内編碼及框間編碼。框内編碼依賴於空間預測來減少 或移除給定視訊圖框内之視訊的空間冗餘。框間編碼依賴 於時間預測來減少或移除視訊序列之鄰近圖框内之視訊的 時間冗餘。 框内模式(I-模式)可指代若干基於空間之壓縮模式中之 任一者,且諸如預測(P-模式)或雙向(B_模式)之框間模式 鲁可指代若干基於時間之壓縮模式中之任一者。本發明之技 術可在框間編碼與框内編碼兩者期間應用。在一些狀況 下,本發明之技術亦可適用於編碼非視訊數位圖片。亦 即,數位靜態圖片編碼器可利用本發明之技術來以類似於 編碼視訊序列中之視訊圖框中的框内編碼之巨區塊的方 式使用大的巨區塊對一數位靜態圖片進行框内編碼。 如圖2中所展示,視訊編碼器5〇接收待編碼之視訊圖框 内之當前視訊區塊。在圖2之實例中,視訊編碼器5〇包括 ❹ 運動補償單元3 5、運動估計單元3 6、框内預測單元3 7、模 式選擇單元39、參考圖框儲存器34、求和器48、變換單元 38量化單元40,及熵編碼單元46。對於視訊區塊重建, 視訊編碼器50亦包括反量化單元42、逆變換單元44,及求 彳器1亦可包括解塊濾波器(圖2中未展示)以將區塊邊界 渡波以自經重建之視訊移除塊狀物假影(blockiness artlfaCt)。在需要時,解塊濾波器通常將求和器51之輸出 瀘'波。 在編碼過程期間,視訊編碼器5 0接收一待編碼之視訊圖 143688.doc -29- 201031217 框或片。可將該圖框或片劃分成多個視訊區塊,包括大的 巨區塊。運動估計單元36及運動補償單元35相對於一或多 個參考圖框中之一或多個區塊執行所接收之視訊區塊的框 間預測編碼以提供時間壓縮。框内預測單元3 7相對於與待 編碼之區塊相同之圖框或片中的一或多個相鄰區塊執行所 接收之視訊區塊之框内預測編碼以提供空間壓縮。 · 模式選擇單元39可(例如)基於誤差結果選擇編碼模式(框 内或框間)中之一者,且將所得之框内編碼或框間編碼之 Εΐ塊長:供至求和器48以產生殘餘區塊資料,且提供至求和 ⑩ 器51以重建經編碼之區塊以用作一參考圖框。根據本發明 之技術,待編碼之視訊區塊可包含一大於由習知編碼標準 規定之巨區塊(亦即,大於16χ16像素巨區塊)之巨區塊。 舉例而言’大的視訊區塊可包含一 64χ64像素巨區塊或一 32x32像素巨區塊。 運動估計單元36與運動補償單元35可高度整合,但出於 概念目的而單獨加以說明。運動估計為產生估計視訊區塊 之運動之運動向量的過程。運動向量(例如)可指示預測參 考圖框(或其他經編碼單元)内之預測區塊相對於當前圖框 (或其他經編碼單元)内正被編碼之#前區塊的位移。預測 區塊為經發現在像素差異方面密切地匹配待編碼之區塊之 區塊’其可藉由絕對差總和(SAD)、平方差總和(ssd)或其 他差異量度來判定。 運動向量亦可指示-大的巨區塊之—分龍之位移。在 一關於具有—個32X64分割區及兩個32x32分割區之64x64 143688.doc -30- 201031217 像素巨區塊之實例中,第一運動向量可指示32χ 之位移,第二運動向量可指示32χ32分割區中之—第1 之位移,且第三運動向量可指示32χ32分割區中之—第二 者之位移,所有位移均相對於參考圖框中之對應分割區。 亦可將该等分割區視為視訊區塊(在彼等術語用於本發明 曰中時)。運動補償可涉及基於藉由運動估計判定之運動向 置提取或產生預測區塊。再一次,運動估計單元%與運動 補償單元35可在功能上整合。 運動估計單㈣藉由比較—框間編碼之圖框之視訊區塊 與參考圖框儲存器34中之-參考圖框之視訊區塊來計算框 間編碑之圖框之視訊區塊之運動向量。運動補償單元抑 可内插參考圖框(例如,!_圖框或ρ_圖框)之次整數(池 integer)像素。Ιτυ Η·2Μ標準將參考圖框稱作「清單」。 因此’亦可將儲存於參考圖框储存器34中之資料視為清 早。運動估計單元36比較來自參考圖框儲存器Μ之一或多 個參考圖框(或清單)之區塊與當前圖框(例如,ρ_圖框或& 圖框)之待編碼之區塊。當參考圖框儲存器34中之參考圖 框包括用於次整數像素之值時,由運動估計單元36計算之 運動向量可指代參考圖框之次整數像素位置。運動估計單 :將、’玉。十箅之運動向量發送至熵編碼單元46及運動補償 。元5由運動向量識別之參考圖框區塊可稱作預測區 塊。運動補償單元35計算參考圖框之預測區塊之誤差值。 運動補償單元3 5可基於預測區塊計算預測資料。視訊編 碼器50藉由自經編碼之原始視訊區塊減去來自運動補償單 143688.doc -31- 201031217 元35之預測資料而形成殘餘視訊區塊。求和器48表示執行 此減法運算之一或多個組件。變換單元3 8對殘餘區塊應用 諸如離.散餘弦變換(DCT)或概念上類似之變換之變換,從 而產生包含殘餘變換係數值之視訊區塊。變換單元38可執 行概念上類似於DCT之其他變換,諸如由H.264標準定義 之彼等變換。亦可使用小波變換、整數變換、次頻帶變換 或其他類型之變換。在任何狀況下’變換單元3 8對殘餘區 塊應用變換,從而產生殘餘變換係數之區塊。該變換可將 殘餘資訊自像素值域轉換至變換域(諸如,頻域)。 . 量化單元40使殘餘變換係數量化以進一步減小位元率。 量化過程可減少與一些係數或全部係數相關聯之位元深 度。在一實例中,量化單元4〇可根據照度量化參數(在本 發明中稱作QPY)建立用於每一 64x64像素巨區塊之不同程 度之量化。量化單元4〇可基於量化參數修改因子 (modifler)(其在本文中稱作「MB64—deita_Qp」)及先前經 編碼之64x64像素巨區塊進—步修改在64χ64巨區塊之量化 期間所使用之照度量化參數。 〇 每64x64像素的大的巨區塊可包含一在%與+25之間 (包括-26與+25)之範圍内的個別ΜΒ64—。大體 而吕’視訊編碼器50可基於用於傳輸一特定區塊之經編碼、 版本的所要位疋率建立用於該特定區塊之⑽ 值。第一 64X64像素巨區塊之MB64_ _delta—QP值可等於一 匕括第64X64像素巨區塊之圖框或片之QP值(例如,在圖 框7片標頭中)°可根據下式來計算用於當前64x64像素巨區 143688.doc •32· 201031217 塊之QPY :
Qpy = ^QPY,pmv+MB6A delta_QP + siy〇S2 其中QPy,prev指代在當前片/圖框之解碼次序中的前一 64x64像素巨區塊之QPy值,且纟中「%」指代模數運算 符,使得應2傳回一在〇與51之間(包括〇與51)的結果,對 應於N除以52之餘數值。對於一圖框/片中之第—巨區塊, 可將QPy’prev設定為等於在圖框/片㈣中發送之圖框/片 QP。 在貫例中量化單元40假定:當未針對特定64x64像 素巨區塊(包括「跳躍」型巨區塊,諸如,p—Skip及b—啊 巨區塊類型)定義MB64—delta_QP值時,MB64—心以一(^>值 等於零。在—些實例中,可定義額外deUa_QI>值(大體稱作 量化參數修改值)以用於64x64像素巨區塊内之分割區之較 細粒度量化控制,諸如用於64x64像素巨區塊之每一 32χ32 像素为割區之MB32_delta_QP值。在一些實例中,64x64 巨區塊之母一分割區可經指派一個別量化參數。代替對於 一 64x64巨區塊使用單一 QP,對於每一分割區使用個別化 之i化參數可導致巨區塊之更有效量化,(例如)以便更好 地調整對於非均勻區域之量化。可將每一量化參數修改值 作為§#法資訊與對應經編碼區塊包括在一起,且一解碼器 可藉由根據量化參數修改值解除量化(亦即,反量化)經編 碼之區塊來解碼經編碼之區塊。 在量化之後,熵編碼單元46將經量化之變換係數進行熵 143688.doc -33- 201031217 編碼。舉例而言’㈣碼單以6可執行内容適應性可變長 度編碼(CAVLC)、上下文適應性二進位算,術編碼(CABAC), 或另-痛編碼技術。在由熵編碼單心進行熵編碼之後, 可將經編碼之視訊傳輸至另__器件或將其保存以用於務後 傳輸或祿取。經編碼之位元流可包括經熵編狀殘餘變換 係數區塊、該等區塊之運動向量、每—64xm像素巨區塊 之MB64_delta—QP值,及包括(例如)巨區塊類型識別符 值、指示經編瑪單元中之巨區塊的最大大小的經編碼軍元 標頭、QPY值、編碼區塊型樣(CBP)值、識別巨區塊或子區 塊之分割方法之值,及變換大小旗標值的其他語法元素, 如下文更詳細論述。在上下文適應性二進位算術編碼之狀 況下,上下文可係基於相鄰巨區塊。 在一些狀況下,除熵編碼之外,視訊編碼器5〇之熵編碼 單元46或另一單元可經組態以執行其他編碼功能。舉例而 言’熵編碼單元46可經組態以判定大的巨區塊及分割區之 CBP值。熵編碼單元46可應用階層式cBP方案以提供大的 巨區塊之指示巨區塊中之任何分割區是否包括非零變換係 數值的CBP值,且若如此,則提供用於指示大的巨區塊内 之特定分割區是否具有非零變換係數值之其他CBP值。 又’在一些狀況下,熵編碼單元46可執行大的巨區塊或子 分割區中之係數之游程長度編碼。詳言之,熵編碼單元46 可應用曲折掃描或其他掃描型樣以掃描巨區塊或分割區中 之變換係數,且編碼零的游程以用於進一步壓縮》熵編碼 單元46亦可用適當語法元素建構標頭資訊以用於在經編碼 143688.doc -34- 201031217 之視訊位元流中傳輸。
反量化單元42及逆變換單元44分別應用反量化及逆變 換’以重建像素域中之殘餘區塊,(例如)以用於稍後用作 參考區塊。運動補償單元35可藉由將殘餘區塊加至參考圖 框儲存器34之圖框中之一者的預測區塊來計算參考區塊。 運動補償單元35亦可對經重建之殘餘區塊應用一或多個内 插渡波器以計算次整數像素值。求和器51將經重建之殘餘 區塊加至由運動補償單元35產生的經運動補償之預測區塊 以產生用於儲存於參考圖框儲存器34中的經重建之視訊區 塊。經重建之視訊區塊可由運動估計單元36及運動補償單 元3 5用作一用於對後續視訊圖框中之區塊進行框間編碼的 參考區塊。大的巨區塊可包含64x64像素巨區塊、32x32像 素巨區塊,或大於由習知視訊編碼標準規定之大小的其他 巨區塊。 圖3為說明視訊解碼器6〇之一實例的方塊圖,視訊解碼 器60解碼以本發明巾所描述之方式編碼之視訊序列。經編 碼之視訊序列可包括大於由f知視訊編碼標準規定之大小 的經編碼之巨區塊。舉例而t,經編碼之巨區塊可為 32x32像素或64x64像素巨區塊。在圖3之實例中,視訊解 碼器60包括熵解碼單元52、運動補償單心、框内預測單 元55、反量化單元56、逆變換嚴开a . 、 迓雯換早兀58、參考圖框儲存器62 ^求和㈣。視訊解碼請在—些實财可執行—大體與 關於視訊編碼器5〇(圖2)所描述之編碼遍次互逆之解碼遍 次。運動補償單元54可基於自熵解碼單元Μ接收之運動向 143688.doc •35- 201031217 量產生預測資料。 滴解碼單元52對所接收之位元流進行熵解碼以蓋生嗤量 化之係數及語法元素(例如,運動向量、CBp值、Qh值、 變換大小旗標值、刪4^处值)。嫡解碼單元Μ可剖 析位元流以識別經編碼單元(諸如,圖框、片及/或巨區塊 標頭)中之語法資訊。-包含複數個巨區塊之經編碼單元 的語法資訊可指示經編碼單元中的巨區塊(例如,16川像 素、32x32像素、64x64像素’或其他較大大小之巨區塊) 之最大大小。(例如)視區塊之編碼模式而定,將一區塊之❹ 語法資訊自熵編碼單元52轉遞至運動補償單元㈣框内預 測單元55。解碼器可使用經編碼單元之語法中的最大大小 指示符來選擇用於該經編碼單元之語法解碼器。使用針對 該最大大小指定之語法解碼器,解碼器可接著適當地解譯 及處理包括於該經編碼單元中的大的巨區塊。 運動補償單元54可使用在位元流中所接收之運動向量來 識別參考圖框儲存器62中之參考圖框中之預測區塊。框内 預測單元55可使用在位元流中所接收之框内制模式來自© 空間上鄰近之區塊形成預測區塊。反量化單元娜提供於 位元流中且由嫡解碼單元52解碼的經量化之區塊係數反量 化(亦即,解除量化卜反量化過程可包括一(例如)如藉由- H.264解碼標準定義之習知過程。反量化過程亦可包括使 用由編碼器50針對每一 64x64巨區塊計算的用於判定量化 之程度且同樣地應該應用之反量化之程度的量化參數 QPY。 143688.doc •36· 201031217 逆變換單元58對變換係數應用逆變換(例如,逆向 DCT、逆整數變換,或概念上類似之逆變換過程卜以便 產生像素域中之殘餘區塊。運動補償單元54產生經運動補 償之區塊,可能執行基於内插濾波器之内插。待用於具有 次像素精度的運動估計之内插濾波器之識別符可包括在語 法元素中。運動補償單元54可使用如由視訊編碼器5〇在視 訊區塊之編碼期間使用之内插濾波器來計算參考區塊之次 整數像素的内插值。運動補償單元54可根據所接收之語法 資訊判定由視訊編碼器50使用之内插濾波器且使用内插濾 波器來產生預測區塊。 運動補償單元54使用一些語法資訊來判定用於編碼經編 碼視訊區塊之(多個)圖框的巨區塊之大小、描述經編碼視 訊序列之圖框的每一巨區塊經分割之方式的分割資訊指 示每一分割區經編碼之方式之模式、用於每一框間編碼之 巨區塊或分割區之一或多個參考圖框(或清單),及用於解 碼經編碼視訊序列之其他資訊。 求和器64將殘餘區塊與由運動補償單元54或框内預測單 元產生之對應預測區塊求和以形成經解碼之區塊。在需要 時’亦可應用解塊遽波器以遽波經解碼之區塊以便移除塊 狀物假衫。接著將經解碼之視訊區塊儲存於參考圖框儲存 器62中’參考圖框儲存器62提供用於後續運動補償之參考 區塊且亦產生用於在一顯示器件(諸如,圖1之器件32)上呈 現之經解碼視訊。經解碼視訊區塊可各自包含64><64像素 巨區塊、32x32像素巨區塊’或其他大於標準之巨區塊。 143688.doc -37- 201031217 一些巨區塊可包括具有多種不同分割區大小之分割區。 圖4A為說明一大的巨區塊之各種分割區層級中的實例分 割的概念圖。每一分割區層級之區塊包括對應於特定層級 之若干像素。對於每一層級亦展示四個分割型樣,其中第 一分割型樣包括整個區塊,第二分割型樣包括相等大小之 兩個水平分割區,第三分割型樣包括相等大小之兩個垂直 分割區’且第四分割型樣包括四個相等大小之分割區。可 針對每一分割區層級之每一分割區選擇該等分割型樣中之 一者。 在圖4A之實例中’層級〇對應於明度樣本及相關聯之色 度樣本之64x64像素巨區塊分割區。層級!對應於明度樣本 及相關聯之色度樣本之32x32像素區塊。層級2對應於明度 樣本及相關聯之色度樣本之16x16像素區塊,且層級3對應 於明度樣本及相關聯之色度樣本之8x8像素區塊。 在其他實例中,可引入額外層級以利用更大或更小數目 個像素。舉例而言,層級〇可自128x128像素巨區塊、 256x256像素巨區塊或其他較大大小之巨區塊開始。最高 編號之層級在一些實例中可精細到單一像素(亦即,lxlg 塊)。因此,自最低層級至最高層級,可將分割愈來愈子 分割’使得巨區塊被分割,分割區被進一步分割所得分 割區被再進—步分割,等等。在一些情況中,低於層級〇 之分割區(亦即’分割區之分割區)可稱作子分割區。 當使用四個相等大小之子區塊分割一層級之區塊時,可 根據下一個層級之分割型樣分割子區塊中之任一者或全 143688.doc -38 - 201031217 部。亦即,對於在層級$經分割成四個相等大小之子區塊 (Ν/2)χ(Ν/2)之NxN區塊,可根據層級x+l之分割型樣中之 任一者進一步分割(Ν/2)χ(Ν/2)子區塊中之任一者。因此, 可根據圖4Α中所展示的層級1之型樣(例如,32x32、32x16 與 32x16、16x32 與 16x32,或 16x16、16x16、16x16 與 16x16)中之任一者進一步分割層級〇之64x64像素巨區塊之 3 2 X 3 2像素子區塊。同樣地,在由經分割之3 2 χ 3 2像素子區 φ 塊產生四個16χ16像素子區塊之情況下,可根據圖4Α中所 展示的層級2之型樣中之任一者進一步分割16χ 16像素子區 塊中之每一者。在由經分割之16><16像素子區塊產生四個 8x8像素子區塊之情況下,可根據圖4Α中所展示的層級3之 型樣中之任一者進一步分割8χ8像素子區塊中之每一者。 使用圖4Α中所展示之分割區之實例性的四個層級,可藉 由實施本發明之架構及技術之編瑪器適應性地表示大的均 句區域及精細偶發性改變。舉例而言,視訊編碼器%可 •(例如)基於速率-失真分析判定不同巨區塊之不同分割層 級,以及對該等分割區應用之編碼模式。又,如下文更詳 編碼器5〇可(例如)基於速率-失真量度結果或 =考慮事項而使心間(ρ_編碼或Β•編碼)或時即_編碼) 預測不同地編竭最終分割區中之至少—些分割區。 —大的£區塊而使得所有區 =一内:=?或框間編碼模式,可編碼-大的巨區3 對於同一巨舉例而言’可用相 之其他(至少一個)分割區而言不同之框 143688.doc -39· 201031217 Ι_16χ16 ' Ι_8χ8 ,可對一些(至少 塊中之其他(至少 内編碼模式(例如, 少一個)分割區。又 編碼而對同—巨巴 編碼。 、Ι_4χ4)編瑪一些(至 一個)分割區進行框内 一個)分割區進行框間 舉例而言,對於目士 , ;、有四個16χ16分割區之32x32區塊,視 訊編碼器5 〇可你田& 〇 二間預測編碼16χ 1 ό分割區中之一些分 2區,J'使用時間制編碼其他1㈣6分割區。作為ρ 對於具有四個16X16分割區之以现塊,視訊編碼 益5〇可使用第—預測模式(例如,! 8x8] 4x4 中之—者Wx16分割區_之—或多者,且使用一—不同 之空間預測模式(例如,U6XH—㈣、1 4咐之一者) 編碼一或多個其他16x16分割區。 圖4B為說明將研編侧式指派至—大的巨區塊之不同 分割區的概念圖。詳言之’圖4B說明將^㈣框内編碼 模式指派至大的32x32巨區塊之左上部16x16區塊、將 工—㈣框内編碼模式指派至大的32χ32巨區塊之右上部及左 下部16x16區塊及將〔叫框内編碼模式指派至大的…μ 巨區塊之右下部!6χ16區塊。在_些狀況下,圖4β中所說 明之編碼模式可為詩明度編碼之Η2_⑽碼模式。 以所描述之方式,可有選擇地進一步分割每一分割區, 且可使用時間預測或空間預測且使用選定之時間編碼模式 或空間編碼模式選擇性地編碼每一最終分割區。因此,有 可能用混合模式編碼大的巨區塊,以使得巨區塊中之一些 分割區經框内編碼且同-巨區塊中之其他分割區經框間Ζ 143688.doc •40- 201031217 碼’或同一巨區塊中之一些分割區係用不同之框内編碼模 式或不同之框間編碼模式進行編碼。 視訊編碼器50可根據巨區塊類型進一步定義每一分割 區。可將巨區塊類型作為語法元素包括於經編碼之位元流 中’例如作為巨區塊標頭中之語法元素。大體而言,巨區 塊類型可用於識別巨區塊經分割之方式,及用於編碼巨區 塊之分割區中之每一者的各別方法或模式,如上文所論 φ 述。用於編碼分割區之方法可不僅包括框内編碼及框間編 瑪’而且包括特定模式之框内編碼(例如,1_ 16x16、 1—8 8 Ι-4χ4)或框間編碼(例如,p—或 b —16x16、16x8、 8x16 、 8x8 、 8x4 、 4x8及4x4)。 如下文更詳細地針對Ρ_區塊關於表【之實例及針對Β_區 塊關於表2之實例所論述,可根據表示具有64><64像素之巨 區塊之MB64_type語法元素定義分割區層級〇區塊。可針對 任何MB[N]_type(其中,[N]指代具有ΝχΝ像素之區塊其 • 中Ν為可大於16之正整數)形成類似類型定義。當ΝχΝ區塊 具有大小為(N/2)x(N/2)之四個分割區時(如圖4人上之最後 行中所展示)’該四個分割區中之每一者可接收其自身之 類3L疋義(例如,MB[N/2]_type)。舉例而言,對於具有四 個32x32像素分割區之Μχ64像素區塊(mb64」外e之類 型)’視訊編碼器50可針對四個32χ32像素分割區中之每一 者引入MB32一type。此等巨區塊類型語法元素可輔助解碼 器晴碼大的巨區塊及大的巨區塊之各種分割區,如本發 明中所描述。每一 NXN像素巨區塊(其中N大於16)大體對 143688.doc -41 201031217 應於唯一類型定義。因此,編碼器可產生適合於特定巨區 塊之語法’且向解碼器指示經編碼單元(諸如,圖框、 片’或巨區塊之序列)中的巨區塊之最大大小。以此方 式,解碼器可接收將應用於經編碼單元之巨區塊的語法解 碼器之指示。此亦確保解碼器可與現有編碼標準(諸如, H.264)回溯相容,因為編碼器可指示將應用於巨區塊之語 法解碼器之類型(例如,標準的H.264或根據本發明之技術 針對較大巨區塊之處理指定之彼等類型)。 大體而言,對於一對應類型,每一MB[N]_type定義可表 不對應類型(例如,64x64)之區塊中之像素的數目、區塊 之參考圖框(或參考清單)、區塊之分割區之數目、區塊之 每一分割區之大小、每一分割區經編碼之方式(例如,框 内或框間及特定模式)’及當分割區經框間編碼時區塊之 每一分割區之參考圖框(或參考清單)。對於16χΐ6及更小 之區塊,視訊編碼器50在一些實例中可使用習知類型定義 作為區塊之類型(諸如,由H 264標準指定之類型卜在其他 實例中’視訊編碼器5〇可對16><16及更小之區塊應用新定 義之區塊類型。 視訊編碼器5 G可評估使用正常巨區塊大小及分割區之習 知框間或框内編碼方法(諸如,由ιτυ H 264規定之方法)及 由本發月A述的使用較大巨區塊及分割區之框間或框内編 碼方法,且比較每一途徑之速率-失真特性以判定哪種方 法產生最優速率·失真效能。視訊編碼㈣接著可基於編 碼途徑之取佳或可接受之速率失真結果選擇最優編碼途 143688.doc 201031217 徑(包括框間或框内模式、巨區塊大小(大的、較大或正 常),及分割),且將之應用於待編碼之區塊。作為一說 明’視訊編碼器50可基於當視訊編碼器使用64x64巨區 塊、32x32巨區塊或16x16巨區塊大小時所產生之速率_失 真結果來選擇使用64x64巨區塊、32x32巨區塊或16x16巨 區塊編碼特定圖框或片。 大體而言,可使用兩種不同途徑來設計使用大的巨區塊 之框内模式。作為一實例,在框内編碼期間,可直接基於 相鄰區塊對區塊執行空間預測。根據本發明之技術,視訊 編碼器50可直接基於區塊之相鄰像素產生空間預測32x32 區塊,且直接基於區塊之相鄰像素產生空間預測64x64區 塊。與16x16框内區塊相比較,以此方式,可以較大規模 執行空間預測。因此,此等技術在一些實例中可導致一此 位元率節省’例如’每一圖框或片使用較小數目個區塊或 分割區。 作為另一實例’視訊編碼器50可將四個ΝχΝ區塊分組在 一起以產生(Ν*2)χ(Ν*2)區塊’且接著編碼該(n*2)x(n*2) 區塊。使用現有H.264框内編碼模式,視訊編碼器5〇可將 四個框内編碼之區塊分組在一起’藉此形成大的框内編碼 之巨區塊。舉例而言,可將四個框内編碼之區塊(每一者 具有16x16之大小)分組在一起以形成大的32x32之框内編 碼之區塊。視訊編碼器5 0可使用一不同編碼模式(例如, 根據H.264之Ι_16χ16、Ι_8χ8或Ι_4χ4)編碼四個對應ΝχΝ區 塊中之每一者。以此方式,每一 16x16區塊可由視訊編碼 143688.doc 43- 201031217 (例如)以促進有利的編 H50指派其自身之空間預測模式 碼結果。 Γ編碼_可根據上文所論述之兩種不討法中之任 描供2框㈣式,且分析該^时法以判定哪種途徑 - 編碼結果。舉例而言,視訊編碼器50可應用不 同之框内模式途獲,日腺甘里^^ w 彳且將其置於早一候選集區中以允許其 彼此競爭以達到最優速率·失真效能。使用不同途徑之間 的速率-失真比較’視訊編碼器5〇可判定如何編碼每一分 =區及/或巨區塊。詳言之’視訊編碼器50可選擇針對給 疋巨區塊產生最優速率·失真效能之編碼模式,且應用彼 等編碼模式來編碼該巨區塊。 圖5為說明一大的巨區塊之各種分割區層級之階層視圖 的概念圖。圖5亦表示如關於圖4八所描述的大的巨區塊之 各種分割區層級之間的關係。如圖5之實例中所說明,一 为割區層級之每一區塊可具有一對應編碼區塊型樣(CBp) 值。该4CBP值形成描述一區塊或巨區塊之語法資訊之一 部分。在一實例中,CBP值各自為指示在變換及量化運算 之後在一給疋區塊中是否存在任何非零變換係數值的一位 元語法值。 在一些狀況下’一預測區塊可能在像素内容上非常接近 於一待編碼之區塊’使得全部殘餘變換係數量化成零,在 該狀況下,可能不需要傳輸用於該經編碼區塊之變換係 數。相反地,可將用於區塊之CBP值設定至0以指示經編 碼區塊不包括非零係數。或者,若區塊包括至少一非零係 143688.doc •44- 201031217 數’則可將CBP值設定至1。解碼器6〇可使用CBp值來識別 經編碼之殘餘區塊(亦即,具有一或多個非零變換係數)與 未經編碼之區塊(亦即,不包括非零變換係數)。 根據本發明中所描述之技術中之一些,一編碼器可基於 大的巨區塊(包括其分割區)是否具有至少一非零係數而按 階層將CBP值指派至彼等巨區塊,且將cbp值指派至該等 分割區以指示哪些分割區具有非零係數。大的巨區塊之階 φ 層式CBP可促進對大的巨區塊之處理以迅速地識別經編碼 之大的巨區塊及未經編碼之大的巨區塊,且准許識別大的 巨區塊之每一分割區層級的經編碼分割區以判定是否有必 要使用殘餘資料解碼該等區塊。 在一實例中,層級零之64x64像素巨區塊可包括包含 CBP64值(例如,一位元值)的語法資訊,該CBpM值用以 指示完整64x64像素巨區塊(包括任何分割區)是否具有非 零係數。在一實例中,視訊編碼器5〇將CBp64位元「設 φ 定」(例如)至值「1」,以表示64χ64像素巨區塊包括至少 一非零係數。因此,當將CBP64值設定(例如)至值「ι」 時,64x64像素巨區塊在其中某處包括至少一非零係數1 在另一實例中,視訊編碼器50將CBP64值「清除」(例如) 至值「〇」,以表示64x64像素巨區塊具有全零係數。因 此,當將CBP64值清除(例如)至值「〇」時,指示64><64像 素巨區塊為具有全零係數。具有為「〇」2CBp64值之巨 區塊大體不需要在位元流中傳輸殘餘資料,而具有為 「1」之CBP64值之巨區塊大體需要在位元流中傳輸殘餘 143688.doc -45- 201031217 資料以用於解碼該等巨區塊。 具有全零係數之64x64像素巨區塊不需要包括用於其分 割區或子區塊之CBP值。亦即,因為64x64像素巨區塊具 有全零係數,所以該等分割區中之每一者亦必定具有全零 係數。相反地,包括至少一非零係數之64χ64像素巨區塊 可進一步包括用於下一分割區層級之分割區之CBp值。舉 例而言,具有值1之CBP64可包括用於64χ64區塊之每一 32X32分割區的呈一位元值CBP32之形式的額外語法資 讯。亦即,在一實例中,64χ64像素巨區塊之每一 32以2像 素刀。j區(諸如,圖5中之層級丨之四個分割區區塊)經指派 一 CBP32值作為64x64像素巨區塊之語法資訊之一部分。 位元,該位元
如同CBP64值一樣,每一 CBp32值可包含一 在對應32x32像素區塊具有至少一非零係數時經設定至值 1且在對應32X32像素區塊具有全零係數時經清除至值 〇編碼器可進一步在包含複數個巨區塊之經編碼單元(諸
如圖極、片或序列)的語法中指示經編碼單元中之巨區 塊的最大大小,以向解碼器指示如何解譯每一巨區塊之語 法-貝訊(例如,將哪個語法解碼器用於處理經編碼單元中 之巨區塊)。 ”、此方式具有全零係數之64x64像素巨區塊可使用一 單一位元來表示巨區塊具有全零係數之事實而具有至少 非零係數之64x64像素巨區塊可包括包含至少五個位元 之CBP語法資訊:用於表示64><64像素巨區塊具有一非零 係數之第位元,及各自表示巨區塊之四個32x32像素分 143688.doc -46 · 201031217 割區中之-對應者是否包括至少一非零係數的四個額外位 在-些實例中,當四個額外位元中之前三者為零時, ::包括第四額外位元’解竭器可將其解譯為最後分割區 亦P S前一個位TG為零時且當表示較高層級階層 之位元具有值1時,編碼器可判定最後位元具有值卜舉例 而言,可將CBP64首碼值「1〇〇〇1」縮短至「獅」,因
為第一位元指示四個分割區中之至少_者具有非零係數, 且接著的三個零指#前三個分龍具有全零係數。因此, 解碼器可(例如)自位元奉「咖」推論:最後分割區包括 一非零係數,而不必明確用位元向解碼器通知該事實。亦 即,解碼器可將CBP64首碼「1〇〇〇」解譯為「1〇〇〇1」。 同樣地,當32x32像素分割區包括至少一非零係數時, 可將一位元CBP32設定至值「丨」,且當全部係數具有零 值時,將一位元CBP32設定至值「〇」。若32>〇2像素分割 區具有為「1」之CBP值,則彼32x32分割區的在下一個分 割區層級之分割區可經指派CBp值以指示各別分割區是否 包括任何非零係數。因此,可在每一分割區層級處以階層 式方式指派CBP值,直至不存在其他分割區層級或不存在 包括非零係數之分割區為止。 以上述方式’編碼器及/或解碼器可利用階層式Cbp值來 表示大的巨區塊(例如,64x64或32x32)及其分割區是否包 括至少一非零係數或全零係數。因此’一編碼器可編碼一 數位視訊流之一經編碼單元的一大的巨區塊,以使得該大 的巨區塊包含大於16x16像素;產生識別該區塊之大小之 143688.doc -47- 201031217 區塊類型§§法h訊,產生用於該區塊之CBP值,以使得續 CBP值識別該區塊是否包括至少一非零係數;且在可適用 時產生用於該區塊之各種分割區層級之額外CBP值。 在一實例中,階層式CBP值可包含位元陣列(例如,位元 向量),該位元陣列之長度視首碼之值而定。該陣列可進 一步表示CBP值之階層(諸如,樹結構),如圖5中所展示。 該陣列可以寬度優先(breadth-first)方式表示樹之節點,其 中每一節點對應於陣列中之一位元。在一實例中,當樹之 一節點具有經設定至「1」之位元時,該節點具有四個分 枝(對應於四個分割區),且當位元經清除至r 〇」時,該節 點不具有分枝。 在此實例中,為了識別自一特定節點X分枝之節點之 值,一編碼器及/或一解碼器可藉由計算下式來判定表示 自節點λ:分枝之節點的自節點r開始的四個連續位元: 产〔4 令ree,")_3 其中對應於具有為〇之開始索引之位元陣列,ζ·為至陣 列iree□中之整數索引,χ對應於□中之節點义之索引, 且少對應於為節點X之第一分枝節點之節點r的索引。三個 後續陣列位置(亦即,:TH、7+2,及>;+3)對應於節點尤之其 他分枝節點。 編碼器(諸如,視訊編碼器50(圖2))可使用現有方法 (諸如’由ITU H.264規定的用於設定16x16區塊之CBp值之 方法)指派具有至少一非零係數之32x32像素分割區之 I43688.doc -48· 201031217 16xi6像素分割區的CBP值,作為64χ64像素巨區塊之語法 之-部分。編碼器亦可基於分割區之大小、對應於分割區 之區塊之類型(例如,色度區塊或明度區塊),或分割區之 其他特性選擇具有至少一非零係數之32><32像素分割區之 >龍的CBP值。參;#圖8及® 9進-步料論述用於設定 32x32像素分割區之分割區之CBp值的實例方法。 圖6至圖9為說明根據本發明之技術的用於設定各種編碼 φ 區塊型樣(CBP)值之實例方法的流程圖。雖然圖6至圖9之 實例方法係關於64x64像素巨區塊進行論述,但應理解, 類似技術可適用於指派其他大小之巨區塊之階層式cBp 值。雖然圖6至圖9之實例係關於視訊編碼器5〇(圖2)進行論 述,但應理解,其他編碼器可使用類似方法來將cBp值指 派至大於標準之巨區塊。同樣地,解碼器可利用類似的、 但互逆之方法來解譯巨區塊之特定CBP值之意義。舉例而 言,若在位元流中所接收之框間編碼之巨區塊具有為 _ 〇」之CBP值,則解碼器可不接收該巨區塊之殘餘資 料,且可僅產生一由運動向量識別之預測區塊作為經解碼 之巨區塊,或由關於該巨區塊之分割區之運動向量識別的 預測區塊群組。 圖6為說明一用於設定一實例64x64像素巨區塊之cBP64 值之實例方法的流程圖。可對大於64%4之巨區塊應用類 似方法。最初,視訊編碼器50接收64x64像素巨區塊 (100)。運動估計單元36及運動補償單元35可接著分別產生 用於編碼該巨區塊之一或多自運動向量及一或多個殘餘區 143688.doc -49- 201031217 塊。變換單元38之輸出大體上包含用於一框内編碼之區塊 或一框間編碼之區塊之一殘餘區塊的殘餘變換係數值陣 列,該陣列由量化單元40量化以產生一系列經量化之變換 係數。 熵編碼單元46可提供熵編碼及與熵編碼分離之其他編碼 功能。舉例而言,除CAVLC、CABAC或其他熵編碼功能 之外,視訊編碼器50之熵編碼單元46或另一單元可判定用 於大的巨區塊及分割區之CBP值。詳言之,熵編碼單元46 可藉由首先判定一 64x64像素巨區塊是否具有至少一非零 的、經量化之變換係數來判定該巨區塊之CBP64值(102)。 當熵編碼單元46判定所有變換係數具有零值時(1 02之 「否」分枝),熵編碼單元46清除64x64巨區塊之CBP64值 (例如,將用於CBP64值之位元重設至「0」)(104)。當熵 編碼單元46識別出64x64巨區塊之至少一非零係數時(102 之「是」分枝),熵編碼單元46設定CBP64值(例如,將用 於CBP64值之位元設定至「1」)(106)。 當巨區塊具有全零係數時,熵編碼單元46不需要建立用 於巨區塊之分割區之任何額外CBP值,此可減少耗用。然 而,在一實例中,當巨區塊具有至少一非零係數時,熵編 碼單元46進行至判定用於64x64像素巨區塊之四個32x32像 素分割區中之每一者的CBP值(108)。熵編碼單元46可將參 看圖7所描述之方法利用四次,每次針對該四個分割區中 之一者,以建立四個CBP32值,每一 CBP32值對應於64x64 巨區塊之四個32x32像素分割區中之一不同者。以此方 143688.doc -50- 201031217 式,當巨區塊具有全零係數時,熵編碼單元46可傳輸具有 值0」之單-位7L以指不巨區塊具有全零係數,而當巨 區塊具有至少-非零係數時,爛編碼單元46可傳輸五個位 -用於巨區塊t位元,及各自對應於巨區塊之四個分 参m中之一者的四個位元。另外,當分割區包括至少一非 |係數時’可在經編碼之位元流中發送用於分割區之殘餘 資料。如同上文所論述之CBP64之實例一樣,當四個額外 • 位元中之前三者為零時,第四額外位元可能不必要,因為 解瑪器可判定其JL有傕1。& . ' 因此’在一些實例中,編碼器 可僅發送三個0(亦即,「咖」)而不是三個〇及一個ι (亦 即,「0001」)。 圖7為說明一用於設定—64%4像素巨區塊之一 32“2像 素刀割區之一 CBP32值的實例方法的流程圖。最初,對於 下個刀割區層級,熵編碼單元46接收巨區塊之32x32像 素分割區(例如,參看圖6引用之四個分割區中之一者) • (11〇)。熵編碼單元46接著藉由首先判定32x32像素分割區 是否包括至少一非零係數來判定用於該分割區之CBp32值 (m)。當熵編碼單元46判定用於分割區之所有係數具有零 值時(112之「否」分枝),熵編碼單元46清除CBP32值(例 如,將用於CBP32值之位元重設至「〇」)(114)〇當熵編碼 單元46識別出分割區之至少一非零係數時(112之「是」分 枝),熵編碼單元46設定CBP32值(例如,將用於(:81>32值 之位元設定至值「丨」)(116)。 在一實例中,當分割區具有全零係數時,熵編碼單元46 143688.doc •51- 201031217 不會建立用於該分割區之任何額外CBp值。然而當分割 區包括至少-非零係數時’網編碼單元46判定用於巨區塊 之32x32像素分割區之四個16xl6像素分割區中的每一者之 CBP值。熵編碼單元46可利用參看圖8所描述之方法來建 立各自對應於四個16x16像素分割區中之一者之四個 CBP16值。 以此方式,當分割區具有全零係數時,熵編碼單元46可 設定一具有值「0」之位元以指示分割區具有全零係數, 而當分割區具有至少一非零係數時,熵編碼單元牝可包括❹ 五個位元:用於分割區之一位元,及各自對應於巨區塊之 分割區之四個子分割區中的一不同者之四個位元。因此, 田則刀割區層級中之分割區具有至少一非零變換係數值 時,每一額外分割區層級可呈現四個額外CBp位元。作為 一實例,若04x64巨區塊具有為iiCBp值,且四個32χ32 分割區具有分別為1、〇、1及丨之CBp值,則直至彼點之總 的CBP值為11〇1卜可添加用於32χ32分割區之額外分割區 (例如’ 16x16分割區)之額外CBP位元。 ❹ 圖8為說明—用於設定64x64像素巨區塊之一 32x32像素 7刀割區之—16x16像素分割區的CBP16值之實例方法的流 程圖。對於特定16x16像素分割區,視訊編碼器50可利用 如由視訊編碼標準(諸如,ITU H.264)規定之CBP值,如下 文所’述。對於其他16 x 1 6分割區,視訊編碼器5 0可利用 根據本發明之其他技術之CBP值。最初,如圖8中所展 不’網編碼單元46接收16x16分割區(例如,參看圖7所描 143688.doc •52· 201031217 述之32x32分割區之16x16分割區中之一者)(120)。 痛編碼單元46可接著判定16xl6像素分割區之運動分割 區(motion partition)是否大於8x8像素區塊(122)。大體而 言,一運動分割區描述一其中運動較為集中之分割區。舉 例而言,可將僅具有一運動向量之16><16像素分割區視為 一 16x16運動分割區。類似地,對於具有各自具有一運動 向量之兩個8x16分割區之ι6χ16像素分割區,可將兩個 籲 8x16分割區中之每一者視為一8χ16運動分割區。在任何狀 況下,在圖8之實例中,當運動分割區不大於8χ8像素區塊 時(122之「否」分枝),熵編碼單元46以與由ITU Η 264規 疋之方式相同之方式將CBP值指派至16 X 16像素分割區 (124)。 當存在16x16像素分割區之大於8x8像素區塊之運動分割 區時(122之「是」分枝),熵編碼單元46使用步驟125之後 的步驟建構及發送lumacbpl6值(125)。在圖8之實例中,為 參 了建構lumacbPl6值’熵編碼單元46判定分割區之16><16像 素明度分量是否具有至少一非零係數(126)。在圖8之實例 中’當16x16像素明度分量具有全零係數時(126之「否」 分枝),熵編碼單元46指派根據ITU H.264之編碼區塊型樣 色度部分之CBP16值(128)。 當熵編碼單元46判定16x16像素明度分量具有至少一非 零係數時(126之「是」分枝)’熵編碼單元46判定16><16像 素分割區之變換大小旗標(130) 〇變換大小旗標大體上指示 對於該分割區使用變換。藉由變換大小旗標表示之變換可 143688.doc •53· 201031217 包括4x4變換、8x8變換、16χ16變換、16χ8變換或8χΐ6變 換中之者。變換大小旗標可包含一整數值,其對應於一 識別可能變換中之一者的列舉型值。熵編碼單元牝可接著 判定變換大小旗標是否表示變換大小大於或等於ΐ6χ8(或 8><16)(132)。 在圖8之實例中,當變換大小旗標不指示變換大小大於 或等於16><8(或8><16)時(132之「否」分枝),熵編碼單元仂 指派一值至根據ITU Η.264之CBP16(134p當變換大小旗 標指示變換大小大於或等於16x8(或8><16)時〇32之「是」 分枝)’熵編碼單元46接著判定16x16像素分割區之類型是 否為兩個16x8像素分割區或兩個8xl6像素分割區(136)。 在圖8之實例中,當j 6 x丨6像素分割區之類型不是兩個 16x8像素分割區且不是兩個8χ16像素分割區時(丨38之 「否」分枝)’熵編碼單元46指派根據由ITU Η.264規定之 色度編碼區塊分割區之CBp 16值(丨4〇)。當! 6 χ〗6像素分割 區之類型為兩個16x8或兩個8x16像素分割區時(138之 「是」分枝)’熵編碼單元46亦使用由ITU Η.264規定之色 度編碼區塊型樣’但另外向CBP16值指派之兩位元 lumal6x8_CBP值)(例如,根據參看圖9所描述之方 法)(142)。 圖9為說明一用於判定兩位元lurnal6x8_cBP值之實例方 法的流程圖。熵編碼單元46接收經進一步分割成兩個16 X 8 或兩個8x16像素分割區之ι6χ16像素分割區(丨5〇”熵編碼 單元46大體根據16x16像素分割區之一對應子區塊是否包 143688.doc •54· 201031217 括至少—非零係數來指派lumal6x8_CBP之每一位元。 烟編碼單元46判定16x16像素分割區之第一子區塊是否 具有至少一非零係數,以判定第一子區塊是否具有至少— 非零係數(152)。當第一子區塊具有全零係數時(152之 Γ ycz 舍」分枝),熵編碼單元46清除lumal6x8_CBP之第一位 元(例如,將lUma16x8_CBP[0]指派為值「〇」)(154)。當第 一子區塊具有至少一非零係數時(152之「是」分枝),熵編 碼單元46設定lumai6x8_CBP之第一位元(例如,將 lumal6x8_CBP[0]指派為值「!」)(156)。 熵編碼單元46亦判定16x16像素分割區之第二子分割區 是否具有至少一非零係數(158)。當第二子分割區具有全零 係數時(158之「否」分枝),熵編碼單元46清除 lumal6x8_CBP 之第二位元(例如,將 lumal6xg cBp[i]指 派為值「0」)(160)。當第二子區塊具有至少一非零係數時 (158之「是」分枝),熵編碼單元46接著設定 籲 lumal6x8—CBP之第二位元(例如,將lumal6x8—CBp[1]指 派為值「1」)(162)。 以下偽碼提供參看圖8及圖9所描述之方法之一實例實 施: if (運動分割區大於8x8) lumacbpl6 if (lumacbpl6 != 0) 143688.doc -55- 201031217 transform_size_flag if (transform_size_flag = TRANSFORM_SIZE_GREATER_THAN_16x8) { if ((mbl6_type =P—16x8) OR (mbl6_type==P_8><16)) {
Iumal6x8_cbp chromacbp } else chromacbp } else h264_cbp } else chromacbp } else h264_cbp 在該偽碼中,「lumacbpl6」對應於附加一指示整個 16x16明度區塊是否具有非零係數之一位元旗標之運算。 當「lumacbp 16」等於1時,存在至少一非零係數。函式 「Transform_size_flag」指代具有一指示所使用之變換(例 143688.doc -56- 201031217 如,4x4變換、8x8變換、16x16變換(用於等於或大於 16x16之運動分割區)、16x8變換(用於P-16X8)或8xl6變換 (用於Ρ_8χΐ6)中之一者)之結果的所執行之計算。 TRANSFORM 一 SIZE_GREATER_THAN_16x8為用於指示變 換大小大於或等於16 X 8或8 X16之列舉型值(例如, 「2」)。將transform一size_flag之結果併入64x64像素巨區 塊之語法資訊中。 ❹ 「lumal6x8_ebp」指代一產生兩位元數的計算,其中每 一位元指示兩個分割區p_ 16x84Ρ_8χ 16中之一者是否具有 非零係數。將由Iumal6x8_cbp產生之兩位元數併入64x64 像素巨區塊之語法中。可以與如由ITU Η.264規定之編碼 區塊型樣色度(CodedBlockPatternChroma)相同之方式計算 值「chroma_cbp」。將所計算之chroma_cbp值併入64x64 像素巨區塊之語法資訊中。可以與ITU H.264中所定義之 CBP相同之方式計算函式。將所計算之H264_cbp φ 值併入64χ64像素巨區塊之語法資訊中。 大體而言’根據圖6至圖9之方法可包括用視訊編碼器編 碼具有大於16x16像素之大小之視訊區塊,產生指示該區 塊之大小之區塊類型語法資訊’及產生一用於該經編碼區 塊之編碼區塊型樣值,其中該編碼區塊型樣值指示該經編 碼區塊是否包括至少一非零係數。 圖10為說明一 64x64像素巨區塊之一實例排列的方塊 圖。圖10之巨區塊包含在圖1〇中經標記為A、β、C及D之 四個32x32分割區。如參看圖4A所論述,在一實例中,可 143688.doc 57· 201031217 以以下四種方式中 ^ Μ _ 一者分割一區塊··不具有子分到汚 之整個區塊(64χ64)、个,、男于刀割& 32x64彳am 個相等大小之水平分割區(32x64及 •3 2 64)、兩個相等夫丨 ππ加,妨 小之垂直分割區(64x32及64x32),戋
四個相等大小之正 )A 32x32) 形力割區(32x32、32x32、32x32 及 在圖10之實例中,
士 — 凡整的區塊分割區包含區塊A、B、C 及D中之母一者;兩個相箄女 水平分割區中之-第- 石匕3 A及B,而兩個相黧 相等大小之水平分割區中之一第二 者包3C及D;兩個相耸 相4大小之垂直分割區中之一第一者 匕sA及C’而兩個相蓉女t _^士、 相荨大小之垂直分割區中之一第二者 匕sB及D;且四個相室| , 個相等大小之正方形分割區對應於A、 C及D中之母一者中之—者。類似分割區方案可用於任 可大小之區塊’例如’大於“咖像素、32χ32像素、 16X16像素、8X8像素,或其他大小之視訊區塊。 當對-視訊區塊進行框内編碼時,各種方法可用於分割 該視訊區塊。此外,可對分割區中之每—者進行不同地框 ⑽碼(亦即’用不同模式,諸如不同之框内模式)。舉例 而。,可將32x32分割區(諸如,圖1〇之分割區Α)進一步分 割成大小為16x16像素之四個相等大小之區塊。作為一實 例’ ITU Η.264描述用於對16χ16巨區塊進行框内編碼之三 種不同方法,包括在16χ16層級之框内編碼在8χ8層級之 杧内編碼,及在4x4層級之框内編碼。然而,ITU Η 264規 疋使用相同框内編碼模式編碼16χ16巨區塊之每一分割 區。因此,根據ITU Η.264,若16><16巨區塊之一子區塊要 143688.doc -58· 201031217 在4x4層級進行框内編碼,則16χ 1 6巨區塊之每個子區塊都 必須在4x4層級進行框内編碼。
另一方面,根據本發明之技術組態之編碼器可應用一混 合模式途徑。對於框内編碼,例如,一大的巨區塊可具有 用不同編碼模式編碼之各種分割區。作為一說明,(例 如,如圖4Β中所展示)在32x32分割區中,一16x16分割區 可在4x4像素層級進行框内編碼,而其他16x16分割區可在 8x8像素層級進行框内編碼,且一 16x16分割區可在16x16 層級進行框内編碼。 當要將一視訊區塊分割成用於框内編碼之四個相等大小 之子區塊時’待進行框内編碼之第一區塊可為左上部區 塊,隨後是緊接在第一區塊右方之區塊,隨後是緊接在第 一區塊下方之區塊’且最後是第一區塊之右下方之區塊。 參考圖10之實例區塊,框内編碼之次序將自Α進行至6至〇 且最後至D。雖然圖1〇描繪一 64x64像素巨區塊,但不同大 小之經分割區塊的框内編碼可遵循此相同排序。 當一視訊區塊將作為P-圖框或P_片之一部分進行框間編 碼時,可將該區塊分割成四個上文所描述之分割區中之任 一者,該四個分割區中之每一者可經單獨編碼。亦即可 根據一不同編碼模式(框内編碼(1_編碼)或參考單一參考圖 框/片/清單之框間編碼(P_編碼編碼該區 π 母—分割 區。下文之表1概述用於大小為ΝχΝ之區塊之各一 母一^晋在可 能分割區的框間編碼資訊。在表1引用「Μ 」< 位置,Μ= Ν/2。在下文之表i中,[〇指代「清單〇」(亦即 麥·考圖框 143688.doc -59- 201031217 /片/清單)。當決定如何最優地分割ΝχΝ區塊時,一編碼器 (諸如,視訊編碼器50)可基於拉格朗日乘數(Lagrange multiplier)分析每一 MB_N_type(亦即,每一分割區類型)之 速率-失真成本資訊(如參看圖11更詳細論述),選擇最低成 本者作為最優分割方法。 表1 MB— N_type MBNtype 之名稱 部分之 編號 預測模式 部分1 預測模式 部分2 部分 寬度 部分 1¾度 0 P_L0_NxN 1 Pred_L0 N/A Ν Ν 1 P_L0_L0_NxM 2 PredLO Pred_L0 Ν Μ 2 P_L0_L0_MxN 2 Pred—L0 Pred_L0 Μ Ν 3 ΡΝ_ΜχΜ 4 N/A N/A Μ Μ 推論 PN—Skip 1 Pred_L0 N/A Ν Ν 在上述表1中,「MB_N_type」欄之元素為ΝχΝ區塊之 每一分割區類型之關鍵。「MB_N_type之名稱」攔之元素 為ΝχΝ區塊之不同分割類型之名稱。名稱中之「P」指代 使用Ρ-編碼(亦即,參考單一圖框/片/清單)框間編碼區 塊。名稱中之「L0」指代用作Ρ編碼之參考圖框或片之參 考圖框/片/清單(例如,「清單0」)。「ΝχΝ」指代分割區 為完整的區塊,「ΝχΜ」指代分割區為寬度Ν及高度Μ之 兩個分割區,「ΜχΝ」指代分割區為寬度Μ及高度Ν之兩 個分割區,「ΜχΜ」指代分割區為各自具有寬度Μ及高度 Μ之四個相等大小之分割區。 在表1中,PN_Skip暗示「跳過」該區塊,(例如)因為由 編碼產生之區塊具有全零係數。「預測模式部分1」欄之 143688.doc •60· 201031217 元素指代用於分割區之子分割區1之參考圖框/片/清單,而 「預測模式部分2」攔之元素指代用於分割區之子分割區2 之參考圖框/片/清單。因為P_L0_NxN僅具有單一分割區, 所以「預測模式部分2」之對應元素為「N/A」,因為不存 在第二子分割區。對於ΡΝ_ΜχΜ,存在可經單獨編碼之四 個分割區區塊。因此,用於ΡΝ_Μ X Μ之兩個預測模式欄包 括「Ν/Α」。如同P—LO—ΝχΝ—樣,PN—Skip僅具有單一部 分,因此「預測模式部分2」欄之對應元素為「N/A」。
下文之表2包括類似於表1之彼等欄及元素之欄及元素。 然而,表2對應於使用雙向預測(B-編碼)的框間編碼之區塊 之各種編碼模式。因此,可藉由第一圖框/片/清單(L0)與 第二圖框/片/清單(L1)中之任一者或兩者來編碼每一分割 區。「BiPred」指代自L0與L1兩者預測之對應分割區。在 表2中,欄標籤及值之意義類似於表1中所使用之彼等欄標 籤及值之意義。 表2
MB_ N一type MBNtype 之名稱 部分之 編號 預測模式 部分1 預測模式 部分2 部分 寬度 部分 南度 0 BDirectNxN Na 直接 na N N 1 B_L0_NxN 1 Pred_L0 na N N 2 B_Ll_NxN 1 Pred_Ll na N N 3 Β_Βί_ΝχΝ 1 BiPred na N N 4 B_L0_L0_NxM 2 Pred_L0 PredLO N M 5 B_L0_L0_MxN 2 Pred_L0 Pred_L0 M N 6 B_L1_L1_NxM 2 Pred_Ll PredLl N M 7 B_L1_L1_MxN 2 Pred_Ll Pred_Ll M N 143688.doc -61 · 201031217 ΜΒ_ Ntype MBNtype 之名稱 部分之 編號 預測模式 部分1 預測模式 部分2 部分 寬度 部分 局度 g B_L0_Ll_NxM 2 PredLO Pred_Ll N Μ 9 B_L0_Ll_MxN 2 Pred_L0 Pred—Ll M N 10 B_Ll_L0_NxM 2 PredLl PredJLO N Μ 11 B_Ll_L0_MxN 2 Pred_Ll Pred_L0 M N 12 B_L0_Bi_NxM 2 PredLO BiPred N Μ 13 B_L0_Bi_MxN 2 Pred_L0 BiPred M N 14 B_Ll_Bi_NxM 2 Pred_Ll BiPred N Μ 15 B_Ll_Bi_MxN 2 Pred—LI BiPred M N 16 B_Bi_L0_NxM 2 BiPred Pred_L0 N Μ 17 B_Bi_L0_MxN 2 BiPred Pred_L0 M N 18 BBiLINxM 2 BiPred PredLl N Μ 19 B_Bi_Ll_MxN 2 BiPred Pred_Ll M N 20 B_Bi_Bi_NxM 2 BiPred BiPred N Μ 21 B_Bi_Bi_MxN 2 BiPred BiPred M N 22 BN_MxM 4 na na M Μ 推論 BN_Skip Na 直接 na M Μ 圖11為說明一用於計算ΝχΝ像素視訊區塊之最佳分割及 編碼方法之實例方法的流程圖。大體而言,圖11之方法包 含計算如應用於(例如)圖4Α中所展示之每一不同分割方法 之每一不同編碼方法(例如,各種空間或時間模式)的成 本,及選擇對於ΝχΝ像素視訊區塊而言具有最優速率-失 真成本之編碼模式與分割方法之組合。大體上可使用拉格 朗曰乘數與速率及失真值計算成本,以使得速率-失真成 本=失真+λ*速率,其中失真表示原始區塊與經編碼區塊之 間的誤差,且速率表示支援該編碼模式所必要之位元率。 在一些狀況下,可在巨區塊、分割區、片或圖框層級上判 143688.doc -62- 201031217 定速率及失真。 最初,視訊編碼器50接收待編碼之ΝχΝ視訊區塊(17〇)。 舉例而言,視訊編碼器50可接收64χ64的大的巨區塊或其 分割區(諸如,32><32或16><16分割區),視訊編碼器5〇將針 . _該巨區’塊或其分割區選擇編碼及分割方法。視訊編碼器 50接著計算使用多種不同編碼模式(諸如,不同之框内編 • 碼模式及框間編碼模式)編碼ΝχΝ區塊之成本(172)。為了計 算在工間上編碼ΝχΝ區塊之成本,視訊編碼器5〇可計算失 ^ I及用一給定編碼模式編碼ΝχΝ區塊所需之位元率,且接 著计算成本=失真(M°de,ΝχΝ}+λ*速率(M()de,ΝχΝ)。視訊編碼器 5〇可使用指定編碼技術編碼巨區塊,且判定所得位元率成 本及失真。可基於經編碼之巨區塊中之像素與原始巨區塊中 之像素之間的像素差異(例如,基於絕對差總和(SAD)量度、 平方差總和(SSD)量度或其他像素差異量度)來判定失真。 視訊編碼器50可接著將NxN區塊分割成兩個相等大小之 非重疊的水平Νχ(Ν/2)分割區。視訊編碼器50可計算使用 泰 各種編碼模式編碼該等分割區中之每一者之成本(176)。舉 例而言,為了計算編碼第一 Nx(N/2)分割區之成本,視訊 編碼器50可計算編碼第一 Nx(n/2)分割區之失真及位元 率且接著 °十舁成本=失真(Mode, FIRST PARTITION, Νχ(Ν/2)) + λ* 速率(Mode,FIRST PARTITION,Νχ(Ν/2);)。 視訊編碼器50可接著將NxN區塊分割成兩個相等大小之 非重疊的垂直(Ν/2)χΝ分割區。視訊編碼器50可計算使用 各種編碼模式編碼該等分割區中之每一者之成本(178)。舉 例而言’為了計算編碼該等(Ν/2)ΧΝ分割區中之第一者之成 143688.doc -63- 201031217 本,視訊編碼器50可計算編碼第一(Ν/2)χΝ分割區之失真及 位元率,且接著計算成本=失真 (Mode, FIRST PARTITION,(Ν/2)χΝ) + λ* 速率(Mode, FIRST PARTITION, (Ν/2)χΝ)。對於編碼該等(Ν/2)ΧΝ 巨區塊分割區中之第二者之成本,視訊編碼器5 〇可執行一 類似計算。 視訊編碼器50可接著將ΝχΝ區塊分割成四個相等大小之 非重疊的(N/2)x(N/2)分割區。視訊編碼器50可計算使用各 種編碼模式編碼該等分割區之成本(1 80)。為了計算編碼該 等(Ν/2)χ(Ν/2)分割區之成本,視訊編碼器50可首先計算編 碼左上部(Ν/2)χ(Ν/2)分割區之失真及位元率,且按照成本 (Mode, UPPER-LEFT, (Ν/2)χ(Ν/2)) = 失真 (Mode,UPPER-LEFT,(Ν/2)χ(Ν/2))+ λ* 速率(Mode, UPPER-LEFT, (Ν/2)χ(Ν/2))得到其成本。視訊編碼器50 可按以下次序類似地計算每一(Ν/2)Χ(Ν/2)區塊之成本:(1) 左上部分割區,(2)右上部分割區,(3)左下部分割區,(4) 右下部分割區。視訊編碼器50在一些實例中可對於該等 (Ν/2)χ(Ν/2)分割區中之一或多者遞歸呼叫此方法以計算進 一步分割及單獨編碼該等(N/2)x(N/2)分割區中之每一者 (例如,作為(Ν/2)χ(Ν/4)分割區、(Ν/4)χ(Ν/2)分割區,及 (Ν/4)χ(Ν/4)分割區)之成本。 接著,視訊編碼器50可判定分割與編碼模式之哪個組合 產生根據速率及失真的最優(亦即,最低)成本(182)。舉例 而言,視訊編碼器50可比較編碼兩個鄰近(N/2)x(N/2)分割 區之最優成本與編碼包含該兩個鄰近(N/2)x(N/2)分割區之 Νχ(Ν/2)分割區之最優成本。當編碼該兩個鄰近(Ν/2)χ(Ν/2) 143688.doc -64· 201031217 分割區之累計成本超過編碼包含該兩個鄰近(N/2)x(N/2)分 割區之Νχ(Ν/2)分割區之成本時,視訊編碼器5〇可選擇編 碼Νχ(Ν/2)分割區之較低成本選項。大體而言,視訊編碼 器50可針對每一分割區應用分割方法與編碼模式之每個組 合以識別一最低成本分割及編碼方法。在一些狀況下,視 訊編碼器50可經組態以評估分割與編碼模式組合之一更有 限集合。
在判定最優(例如,最低成本)之分割及編碼方法後,視 訊編碼器50可使用該藉由最優_成本判定的方法編碼ΝχΝ 巨區塊(184Ρ在一些狀況下’結果可為一大的巨區塊具有 使用不㈣碼模式編碼之分割區4大的巨區塊應用混合 模式編碼錢得對大的巨區塊巾之不时㈣應用不同編 碼模式之能力可准許以減少之成本編碼巨區塊。 在-些實例中,用混合模式編碼之方法可包括用視訊編 碼器50接收-具有大於⑽⑽素之大小之視訊區塊,將 該區塊分割成分割區,用—第—編碼模式編碼該等分割區 中之-者’用—不同於該第—編碼模式之第二編碼模式編 媽該等分割區中之另一者,及產生指示該區塊之大小且識 別該等分龍及帛於編碼㈣分縣之料編碼模式的區 塊類型語法資訊。 圖12為說明—具有各種分割區之實例64x64像素的大的 巨區塊及用於每-分割區之不同選定編碼方法的方塊圖。 在圖12之實例中,每一分割區經標記有「j」、「p」或 B」中之者。經標記「工」之分割區為編碼器已(例如) 143688.doc -65- 201031217 基=速率-失真評估而選擇利用框内編碼之分割區。經標 °己p」之分割區為編碼器已(例如)基於速率-失真評估而 k擇利用卓參考框間編碼之分割區。經標記「b」之八 割區為編碼器已(例如)基於速率_失真評估而選擇利用雙向 預測框間編碼之分割區。在圖12之實例中,同—大的巨區 塊内之不同分割區具有不同之編碼模式,包括不同分割區 或子分割區大小及不同之框内編碼模式或框間編碼模式。 大的巨區塊為由巨區塊語法元素識別之巨區塊,該巨區 塊語法元素識制於諸如H.264編碼標準之擴展之給定編 碼標準的巨區塊類型(例如,mb64—type Qr。巨 區塊類型語法it素可作為巨區塊標頭語法元素提供於經編 碼之視訊位元流中。圖12中所說明的^編碼、p_編碼及& 編碼之分割區可根據不同之編碼模式(例如,具有各種區 塊大小之框㈣龍式或框間_模式,包㈣於大小大 於16χ16之大分龍之大區塊大小模式或用於大小小於或 等於16x16之分割區之h.264模式)來編碼。 在一實例中,一編碼器(諸如,視訊編碼器50)可使用參 看圖11所描述之實例方法來選擇用於圖12之實例性的大的 巨區塊之不同分割區及子分割區之各種編碼模式及分割區 大小。舉例而言,視訊編碼器5〇可接收64χ64巨區塊,執 行圖η之方法,且因此產生具有各種分割區大小及編碼模 式之圖12之實例Η塊。然而’應理解,分割及編碼模式 之選擇可由助n之方法而產生,例如,基純區塊所 選自之圖框之類型’且基於該方法所執行於的輸入之巨區 143688.doc -66 - 201031217 塊。舉例而言,當圖框包含圖框時,每一分割區將經框 α扁碼作為另-實例,當圖框包含p-圖框時,每一分割 品° i框内編碼或基於單一參考圖框(亦即,無雙 而經框間編碼。 ; 出於說明之目的,假定圖12之實例巨區塊係選自—雙向 制圖框⑺-圖框)。在其他實例中,在巨區塊係選自p圖 :之If況下,視訊編碼器50將不使用雙向預測來編碼分割
7同樣地,在巨區塊係選自厂圖框之情況下,視訊編碼 〇將不使用框間編碼(P_編碼或B-編碼)編碼分割區。然 在任何狀況下,視讯編碼器5 〇可針對巨區塊之不同部 刀選擇各種分割區大小,且選擇使用任何可用之編碼模式 編碼每一分割區。 在圖12之實例中,假定基於速率-失真分析之分割區與 模式選擇之組合產生一 32x32經B-編碼之分割區、一32x32 絰P-編碼之分割區、一 16x3h£I編碼之分割區、一 經B-編碼之分割區、一 16xlw^p編碼之分割區、一 “Μ 經ρ-編碼之分割區、一以“經匕編碼之分割區、一經 Ρ-編碼之分割區、一8χ8經Β_編碼之分割區、一8χ8經〗_編 碼之分割區,及具有各種編碼模式之眾多較小子分割區。 圖12之實例係出於概念性說明一大的巨區塊中之分割區之 混合模式編碼之目的而提供,且不應必定被視為表示特定 的大的64x64巨區塊之實際編碼結果。 圖13為β兒明一用於判定用於編喝一視訊序列之一圖框或 片之巨區塊的最佳大小的實例方法的流程圖。雖然關於選 143688.doc -67· 201031217 擇圖框之巨區塊之最佳大小進行描述’但類似於參看圖i3 所描述之彼方法之方法可用於選擇一片之巨區塊之最佳大 小。同樣地,雖然圖13之方法係關於視訊編碼器5〇進行描 述’但應理解,任何編碼器可利用圖13之實例方法來判定 編碼一視訊序列之一圖框之巨區塊的最佳(例如,最低成 本)大小。大體而言,圖13之方法包含將一編碼遍次執行 三次’針對16x16巨區塊、32x32巨區塊及64x64巨區塊中 之每一者各執行一次,且一視訊編碼器可計算每一遍次之 速率-失真量度以判定哪個巨區塊大小提供最優速率-失 真。 視訊編碼器50可首先在第一編碼遍次期間使用ι6χ16像 素巨區塊編碼圖框(例如,使用函式編碼(圖框, MB16_type))(190) ’以產生經編碼之圖框Fl0。在第一編瑪 遍次之後,視訊編碼器50可基於16x16像素巨區塊之使用 而为別计算位元率及失真作為6及D〗6( 192)。視訊編碼器 5〇可接著使用拉格朗日乘數Cl6==Dl6+pRi6計算使用ι6χ16 像素巨區塊之成本C10之形式的速率-失真量度(194)。可 (例如)根據H.264標準選擇用於16x16像素巨區塊之編碼模 式及分割區大小。 視訊編碼器50可接著在第二編碼遍次期間使用32x32像 素巨區塊編碼圖框(例如’使用函式編碼(圖框, ΜΒ32-~Ρ^)(196),以產生經編碼之圖框F32。在第二編碼 編次之後,視訊編碼器50可基於32x32像素巨區塊之使用 而分別计异位元率及失真作為R32及D32( 198)。視訊編碼器 143688.doc -68- 201031217 50可接著使用拉格朗日乘數C32=D32+X*R32計算使用32x32 像素巨區塊之成本C32之形式的速率-失真量度(2〇〇) ^可 (例如)使用如參考圖11及圖12所描述之速率及失真評估技 術來選擇用於3 2 X 3 2像素巨區塊之編碼模式及分割區大 /J\ 〇 視讯編碼器50可接著在第三編碼遍次期間使用64x64像 素巨區塊編碼圖框(例如,使用函式編碼(圖框, MB64_type))(202),以產生經編碼之圖框。在第三編碼 遍次之後’視訊編碼器50可基於64x64像素巨區塊之使用 分別計算位元率及失真作為及D64(204)。視訊編碼器5〇 可接著使用拉格朗日乘數C64=D64+X*R64計算使用64x64像 素巨區塊之成本CM之形式的速率·失真量度(2〇6)。可(例 如)使用如參考圖11及圖12所描述之速率及失真評估技術 來選擇用於64x64像素巨區塊之編碼模式及分割區大小。 接著’視訊編碼器5 0可判定對於該圖框而言量度匸丨6、 CD及C“中之哪一者最低(2〇8)。視訊編碼器50可選擇使用 用產生最低成本之巨區塊大小編碼之圖框(2 1 〇) 〇因此,例 如,當Cm最低時,視訊編碼器50可在位元流中轉遞用 16x10巨區塊編碼之圖框Fl0作為經編碼之圖框以用於儲存 或傳輸至一解碼器。當C32最低時,視訊編碼器5〇可轉遞 用32x32巨區塊編碼之F32。當CM最低時,視訊編碼器5〇可 轉遞用64χ64巨區塊編碼之ρ64。 在其他實例中’視訊編碼器50可以任何次序執行編碼遍 次。舉例而言’視訊編碼器5〇可自64x64巨區塊編碼遍次 143688.doc •69- 201031217 開始,其次執行32x32巨區塊編碼遍次, 王U 16x16巨區塊 編碼遍次結束。又’類似方法可用於編竭包含複數個巨區 塊之其他經編碼單元(諸如,具有不 u穴小之巨區塊之 片)。舉例而言,視訊編碼器50可應用 π頰似於圖13之彼方 法之方法來選擇用於編碼一圖框之片( 门vmj不疋完整圖框)之 最佳巨區塊大小。 視訊編碼器5 0亦可在一特定經編碼單 1平兀(例如,一圖框 或一片)之標頭中傳輸該經編碼單元之 心钇區塊的大小之識 別符以供解碼器使用。根據圖13之方法,—士 方法可包括用 -數位視訊編碼器接收-數位視訊流之—經編碼單元,計 算-對應於使用各自包含16xl6像素之第一複數個區塊編 碼該經編碼單元的速率-失真之第一速率_失真量度計算 一對應於使用各自包含大於16><16像素之第二複數個區塊 編碼該經編碼單元的速率-失真之第二速率-失真量度,及 判定對於該經編碼單元而言該第一速率失真量度及該第 二速率-失真量度中之哪一者最低。該方法可進一步包 括 當判定第一速率-失真量度最低時,使用第一複數個 區塊編碼該經編碼單元,且當判定第二速率-失真量度最 低時’使用第二複數個區塊編碼該經編碼單元。
圖14為說明包括視訊編碼器/解碼器c〇DEc 234之實例 ,、.、線通L器件230之方塊圖,視訊編碼器/解碼器c〇deC 234可使用本發明中所描述之多種技術中之任—者、使用 大於標準之巨區塊編碼及/或解碼數位視訊資料。在圖14 之實例中’無線通信器件230包括攝影機232、視訊編碼 143688.doc -70· 201031217 器-解碼器(CODEC)234、調變器/解調變器(數據機)236、 收發器238、處理器240、使用者介面242、記憶體244、資 料儲存器件246、天線248,及匯流排250·。 圖14中所說明的包括於無線通信器件230中之組件可藉 由硬體、軟體及/或韌體之任何合適之組合來實現。在所 說明之實例中,該等組件經描繪為單獨單元。然而,在其 他實例中,該等各種組件可整合於共同硬體及/或軟體内 之組合單元中。作為一實例,記憶體244可儲存可由處理 器240執行之對應於視訊CODEC 234之各種功能的指令。 作為另一實例,攝影機232可包括執行視訊CODEC 234之 功能(例如,編碼及/或解碼視訊資料)之視訊CODEC。 在一實例中,攝影機232可對應於視訊源18(圖1)。大體 而言,攝影機232可記錄由感測器陣列捕獲之視訊資料以 產生數位視訊資料。攝影機232可經由匯流排250將原始 的、所記錄之數位視訊資料發送至視訊CODEC 234以用於 編碼且接著發送至資料儲存器件246以用於資料儲存。處 理器240可經由匯流排250將關於記錄視訊之模式、記錄視 訊之圖框率、結束記錄或改變圖框率模式之時間、將視訊 資料發送至視訊CODEC 234之時間或指示其他模式或參數 之信號的信號發送至攝影機232。 使用者介面242可包含一或多個介面(諸如,輸入及輸出 介面)。舉例而言,使用者介面242可包括觸控式螢幕、小 鍵盤、按紐、可充當取景鏡(viewfinder)之螢幕、麥克風、 揚聲器,或其他介面。當攝影機232接收視訊資料時,處 143688.doc •71 · 201031217 理器240可向攝影機232傳信以使其將視訊資料發送至使用 者介面242以顯示在取景鏡上。 視訊CODEC 234可編碼來自攝影機232之視訊資料且解 碼經由天線248、收發器238及數據機236接收之視訊資 料。視訊CODEC 234額外或替代性地可解碼自資料儲存器 件246接收的先前編碼之資料以用於播放。視訊CODEC 234可使用大於由習知視訊編碼標準規定之巨區塊之大小 的巨區塊編碼及/或解碼數位視訊資料。舉例而言,視訊 CODEC 234可使用包含64x64像素或32x32像素之大的巨區 塊編碼及/或解碼數位視訊資料。可用根據諸如H.264標準 之擴展之視訊標準的巨區塊類型語法元素來識別大的巨區 塊。 視訊CODEC 234可執行視訊編碼器50(圖2)及/或視訊解 碼器60(圖3)中之任一者或兩者之功能,以及如本發明中所 描述之任何其他編碼/解碼功能或技術。舉例而言, CODEC 234可將大的巨區塊分割成多種不同大小之較小分 割區,且針對選定分割區使用不同之編碼模式(例如,空 間(I)或時間(P或B))。分割區大小及編碼模式之選擇可係 基於該等分割區大小及編碼模式之速率-失真結果。 CODEC 234亦可利用階層式編碼區塊型樣(CBP)值來識別 大的巨區塊内的具有非零係數之經編碼巨區塊及分割區。 另外,在一些實例中,CODEC 234可比較大的巨區塊與小 的巨區塊之速率-失真量度以選擇針對一圖框、片或其他 編碼單元產生較有利之結果的巨區塊大小。 143688.doc -72- 201031217 使用者可與使用者介面242互動以經由數據機236、收發 器238及天線248將資料儲存器件246中的所記錄之視訊序 列傳輸至另一器件(諸如’另一無線通信器件)。可根據諸 如 MPEG-2、MPEG_3、MPEG_4、H 263、H 264 或經受本 • 發明中所描述之擴展或修改之其他視訊編碼標準的編碼標 準來編碼該視訊序列》舉例而言,亦可使用大於標準之巨 區塊編碼該視訊序列,如本發明中所描述。無線通信器件 • 230亦可接收經編碼之視訊片段且將所接收之視訊序列儲 存於資料儲存器件246中。 所接收的經編碼之視訊序列之巨區塊可大於由習知視訊 編碼標準指定之巨區塊。為了顯示資料儲存器件246中之 經編碼視訊片段(諸如,所記錄之視訊序列或所接收之視 訊片段),視訊⑶職234可解聽訊序列且將視訊片段 之經解碼圖框發送至使用者介面242。當視訊序列包括音 訊資料時,視訊CODEC 234可解碼音訊,或者無線通信器 • #230可進一步包括用以解碼音訊之音訊編解碼器(未展 示)。以此方S,視訊CODEC 234可執行編碼器之功能與 解碼器之功能兩者。 圖14之無線通信器件23〇之記憶體244可經編碼有電腦可 讀指令,該等電腦可讀指令引起處理器24〇及/或視訊 CODEC 234執行各種任務(除儲存經編碼之視訊資料之 外)。可將該等指令自諸如資料儲存器件246之資料儲存器 件載入記憶體244令。舉例而言,該等指令可引起處理器 240執行關於視訊c〇DEC 234所描述之功能。 143688.doc -73- 201031217 圖15為說明實例階層式編碼區塊型樣(CBP)260之方塊 圖。CBP 260之實例大體對應於用於64x64像素巨區塊之語 法資訊之一部分。在圖15之實例中,CBP 260包含CBP64 值 262、四個 CBP32值 264、266、268、270,及四個 CBP16 值272、274、276、278。CBP 260之每一區塊可包括一或 多個位元。在一實例中,當CBP64值262為具有值「1」(其 指示大的巨區塊中存在至少一非零係數)之位元時,CBP 260包括用於大的64x64巨區塊之四個32x32分割區之四個 CBP3 2值264、266、268、270,如圖15之實例中戶斤展示。 在另一實例中,當CBP64值262為具有值「〇」之位元 時’ CBP 260可僅由CBP64組成,因為值「〇」可指示對應 於CBP 260之區塊具有全零值係數。因此,彼區塊之所有 分割區同樣將含有全零值係數。在一實例中,當CBP64為 具有值「1」之位元’且CBP32值中之用於特定32x32分割 區之CBP32值為具有值「1」之位元時,用於該32x32分割 區之CBP32值具有表示CBP16值之四個分枝,(例如)如關 於CBP32值266所展示。在一實例中,當CBP32值為具有值 「0」之位元時’ CBP32不具有任何分枝。在圖15之實例 中,CBP 260可具有五位元首碼「1〇1〇〇」,其指示: CBP64值為1,且32x32分割區中之一者具有為「1」之 CBP3 2值,後續位元對應於四個CBP16值272、274、276、 278(對應於具有為「1」之CBP32值之32x32分割區的 16x16分割區)。雖然在圖15之實例中僅將單一 CBP32值展 示為具有值「1」,但在其他實例中,兩個32x32分割區、 143688.doc -74· 201031217 三個32x32分割區或全部四個32x32分割區可具有為「1」 之CBP32值,在該狀況下,將需要具有對應CBP16值之四 個16 X 16分割區之多個例項。 在圖15之實例中,可根據各種方法(例如,根據圖8及圖 9之方法)來計算用於四個16x16分割區之四個CBP16值 272、274、276、278。CBP16值 272、274、276、278 中之 任一者或全部可包括「lumacbpl6」值、transform_size_flag ,及/或11111^16><8_吐?。亦可根據如1丁1;11.264中所定義之 φ W CBP值或如ITU Η.264中之編碼區塊型樣色度 (CodedBlockPatternChroma)、如關於圖8及圖9所論述來計 算CBP16值272、274、276、278。在圖15之實例中,假定 CBP16 278具有值「1」且其他CBP 16值272、274、276具 有值「0」,則用於64x64巨區塊之九位元CBP值將為 「101000001」,其中每一位元對應於CBP/分割區階層中 之各別層級處之分割區中的一者。 φ 圖16為說明一對應於CBP 260(圖15)之實例樹結構280的 方塊圖。CBP64節點282對應於CBP64值262,CBP32節點 284、286、288、290 各自對應於 CBP32 值 264、266、 268、270 中之各別者’且 CBP16 節點 292、294、296、298 各自對應於CBP16值272、274、276、278中之各別者。以 此方式’如本發明中所定義之編碼區塊型樣值可對應於階 層式CBP。樹中產生另一分枝之每一節點對應於為「1」 之各別CBP值。在圖15及圖16之實例中,CBP64 282與 CBP32 286均具有值「1」且產生具有可能為「丨」之CBp 143688.doc -75- 201031217 值之進一步分割區,亦即,在該處下一個分割區層級處之 至少一分割區包括至少一非零變換係數值。 圖17為說明一用於使用一經編碼單元之語法資訊來指示 及選擇用於該經編碼單元之視訊區塊的基於區塊之語法編 碼器及解碼器的實例方法的流程圖◊大體而言,除編碼經 編碼單元之複數個視訊區塊之外且結合編碼經編碼單元之 複數個視訊區塊,諸如視訊編碼器2〇(圖”之視訊編碼器可 執行圖17之步驟300至310。一經編碼單元可包含一視訊圖 框、一片’或一圖片群(亦稱作一「序列」)。除解碼該經 編碼單元之該複數個視訊區塊之外且結合解碼該經編碼單 元之該複數個視訊區塊,諸如視訊解碼器3〇(圖丨)之視訊解 碼器可執行圖17之步驟312至316。 最初,視訊編碼器20可接收一經編碼單元(諸如,一圖 框、片’或圖片群)的各種大小之區塊的集合(3〇〇)。根據 本發明之技術’該等區塊中之一或多者可包含大於16><16 像素(例如,32x32像素、64x64像素等p然而,該等區塊 不需要各自包括相同數目個像素。大體而言,視訊編碼器 20可使用相同的基於區塊之語法來編碼該等區塊中之每一 者。舉例而言’視訊編碼器20可使用階層式編碼區塊型樣 來編碼s亥等區塊中之每一者,如上文所描述。 視訊編碼器20可基於該經編碼單元之該區塊集合中的最 大區塊(亦即’最大區塊大小)選擇要使用的基於區塊之語 法。最大區塊大小可對應於該經編碼單元中所包括的最大 巨區塊之大小。因此,視訊編碼器2〇可判定該集合中之最 I43688.doc •76- 201031217
大大小的區塊(302)。在圖17之實例中,視訊編碼器20亦可 判定該集合中之最小大小的區塊(304)。如上文所論述,一 區塊之階層式編碼區塊型樣具有對應於該區塊之分割區是 否具有一非零的、經量化係數的長度。在一些實例中,視 訊編碼器20可將最小大小值包括於用於一經編碼單元之語 法資訊中。在一些實例中,最小大小值指示該經編碼單元 中之最小分割區大小。以此方式,最小分割區大小(例 如’一經編碼單元中之最小區塊)可用於判定階層式編碼 區塊型樣之最大長度。 視訊編碼器20可接著根據對應於最大區塊之語法來編碼 該經編碼單元之集合的每一區塊(3〇6)。舉例而言,假定最 大區塊包含64x64像素區塊,則視訊編碼器2〇可使用諸如 上文針對MB64_type定義之彼語法之語法。作為另一實 例,假定最大區塊包含32x32像素區塊,則視訊編碼器2〇 可使用諸如上文針對MB32_type定義之彼語法之語法。 視訊編碼器20亦產生經編碼單元語法資訊,其包括對應 於經編碼單元中之最大區塊及經編碼單元中之最小區塊的 值(308)。視訊編碼器20可接著將經編碼單元(包括用於經 編碼單元及經編碼單元之區塊中的每一者的語法資訊)傳 輸至視訊解碼器30。 視訊解碼H3G可自視訊編碼器2G接收經編碼單元及用於 經編碼單元之語法資訊(312)。視訊解碼㈣可基於經編碼 單元中之最大區塊的經編碼單元語法資訊中之指示而選擇 基於區塊之語法解碼器(314)。舉例而言,假定經編碼單元 143688.doc •77- 201031217 語法資訊指示經編碼單元中之最大區塊包含64x64像素, 則視訊解碼器30可選擇用於MB64_type區塊之語法解碼 器。視訊解碼器30可接著將選定語法解碼器應用至經編碼 單元之區塊以解碼經編碼單元之區塊(316)。視訊解碼器3〇 亦可基於最小的經編碼之分割區的經編碼單元語法資訊中 之指示而判定一區塊何時不具有進一步單獨編碼之子分割 區。舉例而言,若最大區塊為64χ64像素且最小區塊亦為 64x64像素,則可判定64χ64區塊未劃分成小於64χ64大小 之子分割區。作為另一實例,若最大區塊為64χ64像素且❹ 最小區塊為32x32像素,則可判定將64><64區塊劃分成不小 於32x32之子分割區。 以此方式,視訊解碼器3〇可保持與現有編碼標準(諸 如Η.264)回溯相容。舉例而言,當經編碼單元中之最大 區塊包含16x16像素時,視訊編碼器2〇可在經編碼單元語 法資訊中才曰此資訊’且視訊解碼器3〇可應用標準η.2料 基於區塊之語法解碼器。然而,當經編碼單元中之最大區 塊包含大於16X16像素時’視訊編碼器20可在經編碼單元❹ 吾法貝訊中指不此資訊,且視訊解碼器3〇可根據本發明之 技術選擇性地應用基於區塊之語法解碼器以解碼經編碼單 元之區塊。 ’ 在一或多個實例中,可以硬體、軟體、勤體或其任何組 合來實施所描述之功能。若以軟體來實施,則可將該等功 月匕作為《多個指令或程式碼儲存於電腦可讀媒體上或在 電腦可讀媒體上傳輸。電腦可讀媒體包括電腦健存媒邀與 143688.doc -78- 201031217 通信媒體(包括促進電腦程式自一處至另一處之傳送的任 何媒體)兩者。儲存媒體可為可由電腦存取之任何可用媒 體。作為實例且非限制,該電腦可讀媒體可包含ram、 ROM、EEPROM、CD_R0M或其他光碟儲存器磁碟健存 器或其他磁性儲存器件,或可用於載運或儲存呈指令或資 料結構之形式的所要之程式碼且可由電腦存取的任何其他 • 媒體。又,將任何連接適當地稱為電腦可讀媒體。舉例而 φ 言,若使用同轴電纜、光纖電纜、雙絞線、數位用戶線 (DSL)或諸如紅外線、無線電及微波之無線技術而自網 站、伺服器或其他遠端源傳輸軟體,則同.軸電纜、光纖電 纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技 術包括在媒體之定義中。如本文中所使用之磁碟及光碟包 括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟 (DVD)、軟性磁碟及藍光(biu_ray)光碟,其中磁碟通常磁 性地再生資料,而光碟藉由雷射光學地再生資料。上述之 φ 組合亦應包括在電腦可讀媒體之範疇内。 已描述各種實例。此等及其他實例在以下申請專利範圍 之範嘴内。 【圖式簡單說明】 圖1為說明一使用大的巨區塊編碼及解碼數位視訊資料 之實例視訊編碼及解碼系統的方塊圖。 圖2為說明一實施用於編碼大的巨區塊之技術之視訊編 碼器的一實例的方塊圖。 圖3為說明一實施用於編碼大的巨區塊之技術之視訊解 143688.doc •79- 201031217 碼器的一實例的方塊圖。 圖 圖4A為說明一 大的巨區塊之各種層 級中的分割的概念 圖4B為說明將不同編碼模式 ,^ ^ ώ 供叭相派至一大的巨區塊之不同 分割區的概念圖。 圖5為說明一大的巨區地 塊之各種層級之階層視圖的概念 圖。 圖6為說明一用於設定^ ,,. 又疋64x64像素的大的巨區塊之編碼區 塊型樣(CBP)值之實例方法的流程圖。 圖7為說明一用於設定64x64像素的大的巨區塊之一 32x32像素分割區之CBp值的實例方法的流程圖。 圖8為說明一用於設定64χ64像素的大的巨區塊之一 32x32像素分割區之一 16χ16像素分割區的cBp值之實例方 法的流程圖。 圖9為說明一用於判定兩位元一CBp值之實例方 法的流程圖。 圖10為說明一 64x64像素的大的巨區塊之一實例排列的 方塊圖。 圖11為說明一用於計算一 ΝχΝ像素的大的視訊區塊之最 佳分割及編碼方法之實例方法的流程圖。 圖12為說明一具有各種分割區之實例64x64像素巨區塊 及用於每一分割區之選定編碼方法的方塊圖。 圖13為說明一用於判定一用於編碼一視訊序列之一圖框 之巨區塊的最佳大小的實例方法的流程圖。 143688.doc -80- 201031217 圖14為說明一實例無線通信器件的方塊圖’該無線通信 器件包括一使用大的巨區塊編碼數位視訊資料之視訊編碼 器/解碑器(CODEC)。 圖b為說明一大的巨區塊之階層式CBP表示之一實例陣 列表示的方塊圖。 圖16為說明對應於圖15之階層式CBP表示之實例樹結構 ’ 的方塊圖。 φ 圖17為說明一用於使用一經編碼單元之語法資訊來指示 及選擇用於該經編碼單元之視訊區塊的基於區塊之語法編 碼器及解碼器的實例方法的流程圖。 【主要元件符號說明】 10 12 14 16 18 20 22 24 26 28 30 32 34 視訊編碼及解碼系統 源器件 目的地器件 通信頻道 視訊源 視訊編碼器 調變器/解調變器(數據機) 傳輪器 接收器 數據機 視訊解碼器 顯示器件 參考圖框儲存器 143688.doc •81- 201031217 35 運動補償單元 36 運動估計單元 37 框内預測單元 38 變換單元 39 模式選擇單元 40 量化單元 42 反量化單元 44 逆變換單元 46 熵編碼單元 48 求和器 50 視訊編碼 51 求和器 52 熵解碼單元 54 運動補償單元 55 框内預測單元 56 反量化單元 58 逆變換單元 60 視訊解碼器 62 參考圖框儲存器 64 求和器 230 無線通信器件 232 攝影機 234 視訊編碼器/解碼器CODEC 236 調變器/解調變器(數據機) 143688.doc -82- 201031217 參 238 收發器 240 處理器 242 使用者介面 244 記憶體 246 資料儲存器件 248 天線 250 匯流排 260 階層式編碼區塊型樣(CBP) 262 CBP64值 264 CBP32值 266 CBP32值 268 CBP32值 270 CBP32值 272 CBP16值 274 CBP16值 276 CBP16值 278 CBP16值 280 樹結構 282 CBP64節點 284 CBP32節點 286 CBP32節點 288 CBP32節點 290 CBP32節點 292 CBP16節點 143688.doc -83· 201031217 294 296 298 CBP16節點 CBP16節點 CBP16節點 143688.doc

Claims (1)

  1. 201031217 七、申請專利範圍·· 1. 一種方法,其包含: 用一視訊編碼器接收一具有一大於16x16像素之大小 之視訊區塊; 將該區塊分割成分割區; 使用一第一編碼模式編碼該等分割區中之一者; 使用一不同於該第一編碼模式之第二編碼模式編碼該 等分割區中之另一者;及 產生指示該區塊之該大小且識別該等分割區及用於編 碼该等分割區之該等編碼模式的區塊類型語法資訊。 2·如請求項丨之方法,其進一步包含產生一包含該區塊之 經編碼資料及該區塊類型語法資訊的經編碼之視訊位元 流0 3.如請求们之方法,其進一步包含基於一編碼成本分析 選擇用於編碼該等分之料編瑪模心 • 4·: = = 3之方法,其進-步包含基於該編碼成本分析 塊之該分割,其中該編碼成本分析包括對編瑪 、:該等分割區之位元率及失真之一分析。 5.如清求項!之方法,其中該第一編 碼模式且誃坌_ 飞I括一框内編 6·如請求項Γ之方—Γ 括""框間編碼模式。 法,其中該第一編碼模式包括ir 内編碼模式且 L栝第一框 編碼模式之第 ' 模式包括—不同於該第-框内 、之第一框内編碼模式。 7.如請求項丨 法,其中該第-編碼模式包括一第一框 I43688.doc 201031217 間編碼模式且該第二編碼模式 丁 η & —松 π供八巴栝一不同於該第一框間 編碼模式之第二框間編碼模式。 8. 如請求们之方法,其中該視訊區塊具有一至少…料像 素之大小。 9. 如請求項1之方法,其進一步包含: 產生對應於該等分割區中之各別者之量化參數修改 值;及 在該等分割區之編碼期間根據該等量化參數修改值中 之各別者將該等分割區量化。 10. 種裝置,其包含一視訊編碼器,該視訊編碼器經組態 以: 接收—具有一大於16x16像素之大小之視訊區塊; 將該區塊分割成分割區; 使用—第一編碼模式編碼該等分割區中之一者; 使用一不同於該第一編碼模式之第二編碼模式編碼該 等分割區中之另一者;且 產生指示該區塊之該大小且識別該等分割區及用於編 碼°玄等刀割區之該等編碼模式的區塊類型語法資訊。 11. 如清求項1〇之裝置,其中該視訊編碼器經組態以產生一 包含該區塊之經編碼資料及該區塊類型語法資訊的經編 碼之視訊位元流。 12. 如明求項1〇之裝置,其中該視訊編碼器經組態以基於一 編碼成本分析選擇用於編碼該等分割區之該等編碼模 式。 143688.doc 201031217 13. 如請求項12之裝置,宜 ^ , , v ’、 u視矾編碼器經組態以基於該 編碼成本分析選擇該區塊之該分 ^ #, ° 其中該編碼成本分 析匕括對編碼模式及該等 析。 寻刀割£之位元率及失真之一分 14. 如請求項1〇之裝置,其中該 弟編碼模式包括一框内編 碼模式且該第二編碼模式包括一框間編碼模式。 請求項1G之裝置,其中該[編碼模式包括—第一框 内編碼模式且該第二編碼 ^ 犋式匕括—不同於該第一框内 編碼模式之第二框内編碼模式。 16. 如請求項1G之裝置’其中該第—編碼模式包括-第-框 間編碼模式且該第二編碼模式包括_不同於該第一框間 編碼模式之第二框間編碼模式。 17. 如請求項10之裝置,其中該視訊區塊具有一至少6444 像素之大小。 ❹ 18. 如請求項1G之裝置,其中該裝置包含—無線通信器件。 19· 一種裝置,其包含: 用於接收一具有一大於16><16像素之大小之視訊區塊 的構件; 用於將該區塊分割成分割區之構件; 用於使用一第一編碼模式編碼該等分割區中之一者的 構件; 用於使用一不同於該第一編碼模式之第二編碼模式編 碼該等分割區中之另一者的構件;及 用於產生指示該區塊之該大小且識別該等分割區及用 143688.doc 201031217 於編碼該等分割區之該等編碼模式的區塊類型語法資訊 的構件。 20 21. 22. 23. 24. 25. 26. 27. •如請求項19之裝置,其進—步包含用於產生_包含該區 塊之經編碼資料及該區塊類型語法資訊的經編碼之視訊 位元流的構件。 ^請求物之裝置,其進—步包含用於基於_編碼成本 分析選擇用於編碼該等分割區之該等編碼模式的構件。 如請求項21之裝置,其進—步包含用於基於該編碼成本 分析選擇該區塊之該分割的構件,其中該編碼成本分析壽 包括對該等分割區之框内編碼及框間編碼之位元率及失 真的一分析。 如β求項19之裝置,其中該第一編碼模式包括一框内編 碼模式且該第二編碼模式包括一框間編碼模式。 如4求項19之裝置’其中該第一編碼模式包括一第一框 内編碼模式且該第二編碼模式包括一不同於該第一框内 編碼模式之第二框内編碼模式。 如請求項19之裝置,其中該第—編碼模式包括一第一框β 間編碼模式且該第二編碼模式包括一不同於該第一框間 編碼模式之第二框間編碼模式。 如請求項19之裝置’其中該視訊區塊具有一至少64χ64 ’ 像素之大小。 一種電腦可讀儲存媒體,其經編碼㈣於引起—視訊編 碼器執行以下步驟之指令: 接收-具有-大於16”6像素之大小之視訊區塊; 143688.doc -4- 201031217 將該區塊分割成分割區; 使用第編碼模式編碼該等分割區中之一者; 使用不同於該第一編碼模式之第二編瑪模式編碼該 等分割區中之另一者;及 產生指不該區塊之該大小且識別該等分割區及用於編 碼該等分割區之該等編碼模式的區塊類型語法資訊。 28. 如請求項27之電腦可讀儲存媒體,其進一步包含用於引 φ ㈣視訊編碼器執行以下步驟之指令:產生-包含該區 塊之經編碼資料及該區塊類型語法資訊的經編碼之視訊 位元流。 29. 如請求項27之電腦可讀儲存媒體,其進一步包含用於引 起該視訊編碼器執行以下步驟之指令:基於—編碼成本 分析選擇用於編碼該等分割區之該等編碼模式。 30. 如請求項29之電腦可讀儲存媒體,其進一步包含用於引 起該視訊編碼器基於該編碼成本分析選擇該區塊之該分 Φ 割的扣令,其中該編碼成本分析包括對該等分割區之框 内編碼及框間編碼之位元率及失真的一分析。 3[如請求項27之電腦可讀儲存媒體,其中該第一編碼模式 包括-框内編碼模式且該第二編碼模式包括一框間編碼 模式。 32·如請求項27之電腦可讀儲存媒體,其中該第—編碼模式 包括-第-框内編碼模式且該第二編碣模式包括一不同 於該第一框内編碼模式之第二框内編碼模式。 33.如請求項27之㈣可讀儲存媒鱧’其中該第—編碼模式 143688.doc 201031217 包括一第一框間編碼模式且該第二編碼模式包括一不同 於該第一框間編碼模式之第二框間編碼模式。 34 35 36. 37. 38. 39. 40. .如請求項27之電腦可讀儲存媒體,其中該視訊區塊具有 一至少64x64像素之大小。 .一種方法,其包含: 用一視訊解碼器接收一具有一大於16χΐ6像素之大小 之視訊區塊,其中該區塊經分割成分割區,該等分割區 中之一者係用一第一編碼模式編碼且該等分割區中之另 -者係用同於該第—編碼料之第二編碼模式編 碼; 接收指示該區塊之該大小且識別該等分割區及用於編 碼該等分割區之該等編碼模式的區塊類型語法資訊;及 基於該區塊類型語法資訊解碼該視訊區塊。 .如請求項35之方法,其中該第—編碼模式包括-框内編 碼模式且該第二編碼模式包括—框間編碼模式。 如請求項35之方法,其中該第—編碼模式包括-第-框 内編碼模式且該第二編碼模式包括一不同於該第—框内 編碼模式之第二框内編碼棋式。 =請求項35之方法,其中該第—編碼模式包括-第-框 :編碼模式且該第二編碼模式包括-不同於該第一框間 編碼模式之第二框間編碼模式。 如請求項35之方法 像素之大小。 如請求項35之方法 其中該視訊區塊具有一至少Mx64 其進—步包含接收用於該等分割區 143688.doc 201031217 中之每一者之量化參數修改值,其中解碼該視訊區塊包 含根據該等量化參數修改值將該等分割區解除量化。 41 · 一種裝置,其包含一視訊解碼器,該視訊解碼器經組態 以: ❹ 接收一具有一大於16><16像素之大小之視訊區塊,其 中該區塊經分割成分割區,該等分割區中之一者係用一 第編碼模式編碼且該等分割區中之另一者係用一不同 於該第一編碼模式之第二編碼模式編碼; 接收指示該區塊之該大小且識別該等分割區及用於編 碼該等分割區之該等編碼模式的區塊類型語法資訊;且 基於該區塊類型語法資訊解碼該視訊區塊。 42. 如請求項41之裝置,其中該第―編碼模式包括—框内編 黾模式且„亥第一編碼模式包括一框間編碼模式。 43. 如請求項41之裝置,其中該第一編碼模式包括一第一框 内,扁碼模式且該第二編碼模式包括—不同於該第一框内 編碼模式之第二框内編碼模式。 其中該第一編碼模式包括一第一框 44.如请求項41之震置, 1、爲碼模式且遠第二編碼模式包括一不同於該第一框間 編碼模式之第二框間編碼模式。 45. 如請求項41之奘番 ^ , 衣直’其中該視訊區塊具有一至少64x64 像素之大小。
    .==::’其中_包含-無線通信器件。 用於接收一具有 一大於16x16像素之大小之視訊區塊 143688.doc 201031217 :構件,其中該區塊經分割成分割區,該等分割區中之 -者係用-第—編碼模式編碼且該等分割區中之另一者 係用一不同於該第-編碼模式之第二編碼模式編碼; 用於接收指示該區塊之該大小且識別該等分割區及用 於編碼”亥等分割區之該等編碼模式的區塊類型語法資訊 的構件;及 用於基於該區塊類和丨狂· 次4 + 孤頰孓法資訊解碼該視訊區塊之構 48. 49. 50. 51. 52. 如請求項47之裝置,其中該第—編碼模式包括—框内編 碼模式且該第二編碼模式包括—框間編碼模式。 如請求項47之裝置’其中該第一編碼模式包括一第一框 内編碼模式且該第二編碼模式包括一不同於該第—框内 編碼模式之第二框内編碼模式。 如明求項47之裝置,其中該第_編碼模式包括—第一框 間編碼模式且該第二編碼模式包括—不同於該第—框間 編碼模式之第二框間編碼模式。 如请求項47之裝置’其中該視訊區塊具有一至少 像素之大小。 種電腦可讀儲存媒體,其經編碼有用於引起一視訊解 碼器執行以下步驟之指令: 用一視訊解碼器接收一具有—大於16χΐ6像素之大小 之視訊區塊’其中該區塊經分割成分割區,該等分割區 中之一者係用"第—編碼模式編瑪且該等分割區中之另 -者係用-不同於該第-編碼模式之第二編碼棋式編 143688.doc 201031217 碼; 接收指示該區塊之該大小且識別該等分割區及用於編 碼該等分割區之該等編碼模式的區塊類型語法資訊;及 基於該區塊類型語法資訊解碼該視訊區塊。 53.如請求項52之電腦可讀儲存媒體,其中該第一編碼模式 包括-框内編碼模式且該第二編碼模式包括—框間編碼 模式。 54. 如請求項52之電腦可讀儲存媒體,其中該第一編碼模式 包括-第一框内編碼模式且該第二編碼模式包 於該第-框内編碼模式之第二框内編碼模式。 55. ::!Γ之電腦可讀儲存媒體’其中該第-編碼模式 ^ 框間編碼模式且該第二編碼模式包括一、 於該第一框間編碼模式之第二框間編碼模式。—不同 56•如=52之電腦可讀儲存媒體,其中該 一至少04x64像素之大小。 ^•塊具有
    143688.doc
TW098133636A 2008-10-03 2009-10-02 使用大的巨區塊之視訊編碼 TWI488506B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10278708P 2008-10-03 2008-10-03
US14435709P 2009-01-13 2009-01-13
US16663109P 2009-04-03 2009-04-03
US12/562,438 US8619856B2 (en) 2008-10-03 2009-09-18 Video coding with large macroblocks

Publications (2)

Publication Number Publication Date
TW201031217A true TW201031217A (en) 2010-08-16
TWI488506B TWI488506B (zh) 2015-06-11

Family

ID=42060949

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098133636A TWI488506B (zh) 2008-10-03 2009-10-02 使用大的巨區塊之視訊編碼

Country Status (15)

Country Link
US (1) US8619856B2 (zh)
EP (2) EP2347592B1 (zh)
JP (5) JP5547199B2 (zh)
KR (2) KR101375891B1 (zh)
CN (1) CN102172023B (zh)
AU (1) AU2009298646B2 (zh)
BR (1) BRPI0920722A2 (zh)
CA (1) CA2738504C (zh)
HK (1) HK1161465A1 (zh)
IL (1) IL211789A (zh)
MY (1) MY152695A (zh)
RU (1) RU2533196C2 (zh)
TW (1) TWI488506B (zh)
WO (1) WO2010039731A2 (zh)
ZA (1) ZA201103130B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI470616B (zh) * 2012-07-26 2015-01-21 Benq Corp 影像輔助顯示裝置
TWI615017B (zh) * 2012-07-02 2018-02-11 三星電子股份有限公司 熵編碼視訊的方法與裝置、以及熵解碼視訊的方法與裝置

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101712351B1 (ko) * 2009-06-26 2017-03-06 에스케이 텔레콤주식회사 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
CN104796717B (zh) * 2009-07-01 2018-11-06 汤姆森特许公司 用于视频编码器和解码器的方法和装置
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101487686B1 (ko) 2009-08-14 2015-01-30 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9549190B2 (en) * 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
JP5562346B2 (ja) * 2009-10-20 2014-07-30 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
AU2015203385B2 (en) * 2010-01-14 2016-06-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding video and method and apparatus for decoding video by considering skip and split order
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102884570B (zh) 2010-04-09 2015-06-17 杜比国际公司 基于mdct的复数预测立体声编码
KR101540899B1 (ko) * 2010-04-09 2015-07-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치
US8665959B2 (en) 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
PT3301648T (pt) 2010-04-13 2020-04-20 Ge Video Compression Llc Herança em matriz de amostras em subdivisão multitree
DK2559246T3 (en) 2010-04-13 2016-09-19 Ge Video Compression Llc Fusion of sample areas
AU2011241283B2 (en) 2010-04-13 2015-02-05 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
JP5856143B2 (ja) 2010-04-13 2016-02-09 ジーイー ビデオ コンプレッション エルエルシー 細分割を使用した2次元情報信号の空間的なサンプリングの符号化
KR101447796B1 (ko) 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
KR101813189B1 (ko) * 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
EP4290860A3 (en) * 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
KR101387467B1 (ko) * 2010-06-07 2014-04-22 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
US8855188B2 (en) * 2010-07-15 2014-10-07 Sharp Laboratories Of America, Inc. Method of parallel video coding based on mapping
US8873617B2 (en) * 2010-07-15 2014-10-28 Sharp Laboratories Of America, Inc. Method of parallel video coding based on same sized blocks
SG10201506682SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US9532059B2 (en) * 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US9172963B2 (en) * 2010-11-01 2015-10-27 Qualcomm Incorporated Joint coding of syntax elements for video coding
US10244239B2 (en) 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
CN104811706B (zh) * 2011-01-06 2017-10-27 三星电子株式会社 视频的编码方法和装置及视频的解码方法和装置
US9826238B2 (en) * 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit
US11245912B2 (en) * 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
ES2773691T3 (es) * 2011-09-14 2020-07-14 Samsung Electronics Co Ltd Procedimiento y dispositivo de codificación de una unidad de predicción (PU) según su tamaño y dispositivo de decodificación correspondiente
US8964849B2 (en) 2011-11-01 2015-02-24 Blackberry Limited Multi-level significance maps for encoding and decoding
CN107277511A (zh) 2011-11-08 2017-10-20 株式会社东芝 图像解码方法和图像解码装置
US20130136180A1 (en) * 2011-11-29 2013-05-30 Futurewei Technologies, Inc. Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding
BR122020007529B1 (pt) * 2012-01-20 2021-09-21 Ge Video Compression, Llc Conceito de codificação que permite o processamento paralelo, desmultiplexador de transporte e fluxo de bites de vídeo
US20140029670A1 (en) * 2012-07-27 2014-01-30 Motorola Mobility Llc Devices and methods for processing of partition mode in high efficiency video coding
WO2014134308A1 (en) 2013-03-01 2014-09-04 Amgen Inc. Substituted 7-oxo-pyrido [2, 3-d] pyrimidines and their use for the treatment of egfr / erbb2 related disorders
CN103533330B (zh) * 2013-10-15 2016-01-06 华侨大学 一种基于数据重用的多视点多描述视频编码方法
RU2622875C2 (ru) * 2015-05-18 2017-06-20 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО) Способ префиксной дедупликации цифровых данных
US10972731B2 (en) 2015-11-10 2021-04-06 Interdigital Madison Patent Holdings, Sas Systems and methods for coding in super-block based video coding framework
JP6566864B2 (ja) * 2015-12-28 2019-08-28 Kddi株式会社 ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
CN116916013A (zh) 2016-04-29 2023-10-20 世宗大学校产学协力团 视频信号编码/解码方法和设备
US10805607B2 (en) 2016-04-29 2020-10-13 Industry Academy Cooperation Foundation Of Sejong University Video signal encoding/decoding method and apparatus
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
US11412220B2 (en) * 2017-12-14 2022-08-09 Interdigital Vc Holdings, Inc. Texture-based partitioning decisions for video compression
US11695967B2 (en) * 2018-06-22 2023-07-04 Op Solutions, Llc Block level geometric partitioning
WO2022114752A1 (ko) * 2020-11-24 2022-06-02 현대자동차주식회사 효율적인 예측 및 변환을 위한 블록 분할 구조 및 이를 이용한 비디오 부호화 및 복호화를 위한 방법 및 장치
WO2023055032A1 (ko) * 2021-09-28 2023-04-06 엘지전자 주식회사 Gpm(geometric partitioning mode) 기반 영상 코딩 방법 및 장치
WO2023055172A1 (ko) * 2021-10-01 2023-04-06 엘지전자 주식회사 Ciip 기반 예측 방법 및 장치
WO2023055126A1 (ko) * 2021-10-01 2023-04-06 엘지전자 주식회사 Gpm 기반 영상 코딩 방법 및 장치

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082106B2 (ja) 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
EP0850540B1 (en) 1996-07-11 2004-11-10 Koninklijke Philips Electronics N.V. Transmission and reception of encoded video pictures
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
DE10022331A1 (de) 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur Transformationscodierung von Bewegtbildsequenzen
JP4163618B2 (ja) * 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
JP2005519543A (ja) 2002-03-05 2005-06-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ レイヤ映像符合化のための方法及びシステム
US6795584B2 (en) * 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
JP2006517364A (ja) * 2003-01-07 2006-07-20 トムソン ライセンシング マクロブロック・パーティションのインター/イントラ混在ビデオ符号化
US9210441B2 (en) 2003-06-25 2015-12-08 Thomson Licensing Fast mode-decision encoding for interframes
US7830963B2 (en) 2003-07-18 2010-11-09 Microsoft Corporation Decoding jointly coded transform type and subblock pattern information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
US7362804B2 (en) 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
US8116374B2 (en) 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
WO2006028088A1 (ja) 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
US20060203905A1 (en) 2005-03-14 2006-09-14 Shih-Chang Hsia Video coding system
JP2006304107A (ja) 2005-04-22 2006-11-02 Ntt Electornics Corp 符号化装置、及び、この符号化装置に適用されるプログラム
US7881384B2 (en) 2005-08-05 2011-02-01 Lsi Corporation Method and apparatus for H.264 to MPEG-2 video transcoding
EP2720466A1 (en) * 2005-09-26 2014-04-16 Mitsubishi Electric Corporation Moving image coding method
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8494052B2 (en) 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
BRPI0715770B1 (pt) 2006-08-25 2020-03-10 Interdigital Vc Holdings, Inc. Método, aparelho e mídia de armazenamento para particionamento com menor resolução
US8923393B2 (en) 2006-11-02 2014-12-30 Qualcomm Incorporated Apparatus and method of reduced reference frame search in video encoding
CN101888555B (zh) 2006-11-17 2013-04-03 Lg电子株式会社 用于解码/编码视频信号的方法及装置
KR101356735B1 (ko) 2007-01-03 2014-02-03 삼성전자주식회사 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
US8335261B2 (en) 2007-01-08 2012-12-18 Qualcomm Incorporated Variable length coding techniques for coded block patterns
JP4901772B2 (ja) 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
EP3107292B1 (en) * 2007-03-20 2018-08-15 Fujitsu Limited Video encoding method and apparatus, and video decoding apparatus
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
CN101822064A (zh) * 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US8483285B2 (en) 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US20100086031A1 (en) 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI615017B (zh) * 2012-07-02 2018-02-11 三星電子股份有限公司 熵編碼視訊的方法與裝置、以及熵解碼視訊的方法與裝置
TWI470616B (zh) * 2012-07-26 2015-01-21 Benq Corp 影像輔助顯示裝置

Also Published As

Publication number Publication date
US8619856B2 (en) 2013-12-31
WO2010039731A2 (en) 2010-04-08
AU2009298646B2 (en) 2014-03-27
BRPI0920722A2 (pt) 2015-12-29
WO2010039731A3 (en) 2010-06-17
IL211789A0 (en) 2011-06-30
MY152695A (en) 2014-11-28
JP6896903B2 (ja) 2021-06-30
KR20110063859A (ko) 2011-06-14
JP6203662B2 (ja) 2017-09-27
CA2738504C (en) 2014-10-28
EP2347592B1 (en) 2020-04-01
KR20130054461A (ko) 2013-05-24
EP3745724A1 (en) 2020-12-02
JP2012504909A (ja) 2012-02-23
RU2011117578A (ru) 2012-11-10
US20100086030A1 (en) 2010-04-08
AU2009298646A1 (en) 2010-04-08
CN102172023B (zh) 2013-08-28
KR101375891B1 (ko) 2014-04-10
EP2347592A2 (en) 2011-07-27
EP3745724A3 (en) 2021-04-14
IL211789A (en) 2015-10-29
JP6672226B2 (ja) 2020-03-25
JP2020109982A (ja) 2020-07-16
JP2018014726A (ja) 2018-01-25
JP5547199B2 (ja) 2014-07-09
TWI488506B (zh) 2015-06-11
JP6193432B2 (ja) 2017-09-06
CN102172023A (zh) 2011-08-31
RU2533196C2 (ru) 2014-11-20
HK1161465A1 (en) 2012-08-24
JP2014143691A (ja) 2014-08-07
ZA201103130B (en) 2012-04-18
CA2738504A1 (en) 2010-04-08
JP2016167830A (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
JP6896903B2 (ja) 大型マクロ・ブロックを用いたビデオ・コーディング
TWI419567B (zh) 使用大的巨區塊之視訊編碼
TWI392370B (zh) 使用大的巨區塊之視訊編碼
JP5925416B2 (ja) ビデオブロックヘッダ情報の適応可能なコーディング
US20110194613A1 (en) Video coding with large macroblocks
RU2497303C2 (ru) Видео кодирование с использованием преобразования больше чем 4×4 и 8×8
TW201031211A (en) Video coding with large macroblocks