TW201108743A - 4x4 transform for media coding - Google Patents

4x4 transform for media coding Download PDF

Info

Publication number
TW201108743A
TW201108743A TW099118490A TW99118490A TW201108743A TW 201108743 A TW201108743 A TW 201108743A TW 099118490 A TW099118490 A TW 099118490A TW 99118490 A TW99118490 A TW 99118490A TW 201108743 A TW201108743 A TW 201108743A
Authority
TW
Taiwan
Prior art keywords
dct
factor
equal
internal
internal factor
Prior art date
Application number
TW099118490A
Other languages
English (en)
Inventor
Yuriy Reznik
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201108743A publication Critical patent/TW201108743A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Discrete Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Complex Calculations (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

201108743 六、發明說明: 【發明所屬之技術領域】 本發明係關於資料壓縮,且更特定言之,係關於涉及轉 換之資料壓縮。 本申請案主張2009年6月5曰申請之美國臨時申請案第 61/184,656號及2009年6月24曰申請之美國臨時申請案第 61/219,887號之權利。 本專利申請案係關於以下同在申請中之美國專利申請 案: 具有代理人檔案號碼0921 64U1,與本案同時申請,已讓 與給本受讓人且在此以引用之方式明確地併入本文中之 4x4 TRANSFORM FOR MEDIA CODING。 【先前技術】 資料壓縮廣泛用於多種應用中以減少對資料儲存空間、 傳輸頻寬或兩者之消耗。資料壓縮之實例應用包括可見或 可聽媒體資料編碼,諸如,數位視訊、影像、語音及音訊 編碼。數位視訊編碼(例如)用於廣泛範圍之器件中,其包 括數位電視、數位直播系統、無線通信器件、個人數位助 理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器 件、視訊遊戲器件、蜂巢式或衛星無線電電話等等。數位 視訊器件實施諸如MPEG-2、MPEG-4或H.264/MPEG-4先 進視訊編碼(AVC)之視訊壓縮技術以更有效地傳輸及接收 數位視訊。 大體而言,視訊壓縮技術執行空間預測、運動估計及運 148857.doc 201108743 動補償以減少或移除視訊資料中所固有的冗餘。詳言之, 框内編碼依賴於空間預測來減少或移除給定視訊圖框内之 視讯之空間冗餘。框間編碼依賴於時間預測來減少或移除 鄰近圖框内之視訊之時間冗餘。對於框間編碼,視訊編碼 盗執行運動估計以追蹤在兩個或兩個以上鄰近圖框之間的 匹配的視訊區塊之移動。運動估計產生運動向量,其指示 視訊區塊相對於一或多個參考圖框中之相應視訊區塊的位 移。運動補償使用運動向量以自參考圖框產生預測視訊區 塊。在運動補償之後,藉由自原始視訊區塊減去預測視訊 區塊而形成殘餘視訊區塊。 視訊編碼器接著應用轉換,繼之以量化及無損耗統計編 碼程序,以進一步減小藉由視訊編碼程序產生之殘餘區塊 之位元率。在一些情況下,所應用之轉換包含離散餘弦轉 換(DCT)。通常,將DCT應用於大小為二的冪之視訊區 塊,諸如,4像素乘4像素(高X寬)之視訊區塊(其通常被稱 為「4x4視訊區塊」)。此等dCT因此可被稱為4x4 dCT, 因為此等DCT被應用於4x4視訊區塊以產生DCT係數之4χ4 矩陣。由將4x4 DCT應用於殘餘區塊所產生之dct係數之 4X4矩陣接著經歷量化及無損耗統計編碼程序以產生位元 机統计編碼程序(亦被稱為「熵編碼」程序)之實例包括 上下文自適應性可變長度編碼(CAVLC)或上下文自適應性 —進位算術編碼(CAB AC)。視訊解碼器接收編碼之位元流 且執行無損耗解碼以解壓縮用於區塊中之每一者之殘餘資 訊。藉由使用殘餘資訊及運動資訊,視訊解碼器重建構經 148857.doc 201108743 編碼之視訊。 【發明内容】 大體而§,本發明針對用於使用可相對於習知4 x 4 d C T 提供增加的編碼增益之4x4離散餘弦轉換(DCT)之近似之— 或多個實施來編碼諸如媒體資料之資料的技術。根據本發 明之技術所應用之4x4 DCT的實施涉及在經縮放因數與内 部因數之間的各種關係。術語「經縮放因數」指代經由因 式分解移除之在4x4 DCT之實施外部的因數。術語「内部 因數」指代在因式分解之後保留之在4><4 DCT之實施内部 的因數。4x4 DCT之一實例實施為正交的,其意味著表示 4x4 DCT之係數矩陣在乘以此矩陣之轉置時等於單位矩 陣。4x4 DCT之另一實例實施為接近正交的(或近似正交 的)。藉由遵守以下詳細描述之各種關係,該等技術促進 在兩種情況下選擇導致正交與接近正交4 x4 DCT實施的矩 陣係數,該等實施在應用於資料時可相對於習知4x4 DcT 推進增加之編碼增益。 在一態樣中,裝置包含一 4x4離散餘弦轉換(DCT)硬體單 元’其實施具有一奇數部分之正交4x4 DCT,該奇數部分 應用與經縮放因數(ξ)有關的第一内部因數及第二内部因數 (C、S)以使得經縮放因數等於第一内部因數(c)之平方加 第二内部因數(S)之平方之總和的平方根,其中4x4 DCT硬 體單元將4x4 DCT實施應用於媒體資料以將媒體資料自空 間域轉換至頻域。 在另一態樣中,方法包含藉由4x4 DCT硬體單元將正交 148857.doc 201108743 Μ離散餘弦轉換(DCT)實施應用於媒體資料以將媒體資料 ^空間域轉換至頻域’其令正交叫町實施包括一奇數 P刀該奇數。p分應用與經縮放因數⑻有關的第一内部因 數及第二内部因數(C、S)以使得經縮放因數等於第一内部 因數(C)之平方加第二内部因數⑻之平方之總和的平方 根0 〜樣中,裝置包含用於將正交4x4離散餘弦轉換 (D C T)實施應用於媒體資料以將媒體資料自空間域轉換至 頻域之構件,其中正交4x4 DCT實施包括一奇數部分,該 奇數P刀應用與經縮放因數(ξ)有關的第一内部因數及第二 内部因數(C、S)以使得經縮放因數等於第一内部因數(c) 之平方加第二内部因數(s)之平方之總和的平方根。 在另-態樣中,非暫時性電腦可讀儲存媒體儲存指令, 該等指令在由處理器執行時引起處理器藉由叫DC 丁硬體 单元將正交4x4離散餘弦轉換(DCT)實施應用於媒體資料以 將媒體資料自空間域轉換至頻域,其中正交4x4 DCT實施 =括-奇數部分,該奇數部分應用與經縮放因數⑻有二的 第一内部因數及第二内部因數(c、 丨口数…S)以使得經縮放因數等 於第-内部因數(C)之平方加第二内部因數⑻之平方之蜂 和的平方根。 〜 在另-態樣中’裝置包含一 4X4反離散餘弦轉換(IDCT) 硬體單元’其實施具有-奇數部分之正交4x4 DCT之 IDCT’該奇數部分應用與經縮放因數⑻有關的第一内部 因數及第二内部因數(C、S)以使得經縮放因數等於第一内 148857.doc 201108743 部因數(c)之平方加第二内部因數⑻之平方之總和的平方 根,、中4 4 IDCT硬體單元將4x4 IDCT實施應用於代表媒 體資料之D C T絲簡媒體f料自頻_換至空間域。 在另態樣中,方法包含藉由4x4 IDCT硬體單元將正交 4x4 DCT之4x4反離散餘弦轉換(IDCT)應用於代表媒體資 料之DCT係數以將媒體資料自頻域轉換至空間域,其中正 又4x4 DCT包括-奇數部分,該奇數部分應用與經縮放因 數(ξ)有關的第一内部因數及第二内部因數(c、s)以使得經 縮放因數等於第一内部因數(C)之平方加第二内部因數⑻ 之平方之總和的平方根。 在另一態樣中,裝置包含用於將正交4χ4 DCT之反 離散餘弦轉換(IDCT)應用於代㈣體f料之町係數以將 媒體資料自頻域轉換至空間域之構件,其中正交4χ4 dct 匕括Up分’邊奇數部分應用與經縮放因數⑻有關的 第-内部因數及第二内部因數(c、s)以使得經縮放因數等 於第- π部因數(C)之平方加第二内部因數⑻之平方之總 和的平方根。 在另一態樣中,非暫時性電腦可讀儲存媒體儲存指令, 該等指令在由處理器執行時引起處理器藉由4><4 IDCT硬體 單兀將正父4x4 DCT之4X4反離散餘弦轉換(IDCT)應用於 代表媒體資料之DCT係數以將媒體資料自頻域轉換至空間 域,其中正交4x4 DCT包括—奇數部分,該奇數部分應用 與經縮放因數(ξ)有關的第一内部因數及第二内部因數、 S)以使得經縮放因數等於第一内部因數(c)之平方加第二 148857.doc 201108743 内部因數(s)之平方之總和的平方根。 。。在另-錢中’裝置包含— 4χ4離散餘弦轉換(dct)硬體 早元’其令DCT模組實施具有一奇數部分之非正交私4 DCT ’該奇數部分應用按以下方程式與經縮放因數(ξ)有關 的第一變數及第二變數(C、s): C + S (ύΛ-ψ 其中變數ω”表#無理内部#換因數且變數表示在 非正交4χ4 DCT之整數實施中代替變數…使用之二元有 理内部轉換因數,且其中4x4 DCT硬體單元將4x4町實 施應用於媒體資料以將媒體資料自空間域轉換至頻域。 在另—態樣中,方法包含藉由4x4⑽硬體單元將非正 交4x4離散餘弦轉換(DCT)應用於媒體資料以將媒體資料自 空間域轉換至頻域,其中非正交4χ4町包括—奇數部 分,該奇數部分應用按以下方程式與經縮放因數(ξ)有關的 第一變數及第二變數(C、S): 卜β , ω + ψ 其中變數ω&Ψ表示無理内部轉換因數且變數〇及3表示在 非正交4x4 DCT之整數實施中代替變數ω&ψ使用之二元有 理内部轉換因數。 在另一態樣中,裝置包含用於藉由4x4 DCT硬體單元將 非正交4M離散餘弦轉換(DCT)應用於媒體資料以將媒體資 料自空間域轉換至頻域之構件,其中非正交4χ4 〇ct包括 148857.doc 201108743 奇數。p分’該奇數部分應用按以下方程式與經縮放因數 (ξ)有關的第一變數及第二變數(C、s): 卜 , 6) + ψ 其中變數ω&ψ表示無理内部轉換因數且變數c&s表示在 非正交4X4 DCT之整數實施中代替變數ω”使用之二元有 理内部轉換因數。 在另-態樣中,非暫時性電腦可讀儲存媒體儲存指令, 忒等指令在由處理器執行時引起處理器藉由4 Μ DCT硬體 單元將非正交4χ4離散餘弦轉換(DCT)應用於媒體資料以將 媒體資料自空間域轉換至頻域,其中非正交4χ4 DCT包括 -奇數部分’該奇數部分應用按以下方程式與經縮放因數 (ξ)有關的第一變數及第二變數(c、s): ω七ψ 其中變數ω及Ψ表示無理内部轉換因數且變數〇及8表示在 非正父4x4 DCT之整數實施中代替變數①及^使用之二元有 理内部轉換因數。 在另-態樣中,裝置包含一 4χ4反離散餘弦轉換⑼ct) 硬體單元,其中DCT硬體單元實施具有—奇數部分之非正 交4x4 DCT之反DCT,該奇數部分應用按以下方程式與經 縮放因數(ξ)有關的第一内部因數及第二内部因數(c、s): ω + ψ 其中變數ω及ψ表示無理内部轉換因數且變數匚及呂表示在 148857.doc 1Λ 201108743 非正父4x4 DCT之整數實施中代替變數①及^使用之二元有 理内。p轉換因數,且其中4χ4 IDCT硬體單元將4x4 實 鈀應用於代表媒體資料之DCT係數以將媒體資料自頻域轉 換至空間域。 在另一態樣中’方法包含藉由4X4 IDCt硬體單元將4x4 反離政餘弦轉換(IDCT)應用於代表媒體資料之dct係數以 將媒體資料自頻域轉換至空間域,其中4x4 IDCT&含具有 一奇數部分之非正交4x4 DCT2IDCT,該奇數部分應用按 以下方程式與經縮放因數(ξ)有關的第一内部因數及第二内 部因數(C、S): ί = . 0)-\-ψ 其中變數ω及Ψ表示無理内部轉換因數且變數c&s表示在 非正父4x4 DCT之整數實施中代替變數①及屮使用之二元有 理内部轉換因數。 在另一態樣中’裝置包含用於藉由4x4 IDCT硬體單元將 4 4反離散餘弦轉換(IDCT)應用於代表媒體資料之係 數以將媒體資料自頻域轉換至空間域之構件,其中4χ4 IDCT包含具有一奇數部分之非正交4x4 DCT之IDCT,該 奇數部分應用按以下方程式與經縮放因數(〇有關的第一内 部因數及第二内部因數(C、S): , ω + ψ 其中.憂數ω及ψ表示無理内部轉換因數且變數(:及§表示在 148857.doc 201108743 非正父4X4 DCT之整數實施中代替變數ω及ψ使用之二元有 理内部轉換因數。 在另一態樣中,非暫時性電腦可讀儲存媒體儲存指令, 該等指令在由處理器執行時引起處理器藉由4χ4 mcT硬體 單元將4x4反離散餘弦轉換(IDCT)應用於代表媒體資料之 DCT係數以將媒體資料自頻域轉換至空間域,其中4x4 DCT包3具有一奇數部分之非正交之IDCT,該 奇數部分應用按以下方程式與經縮放因數⑻有關的第一内 部因數及第二内部因數(c、y : , ω七ψ 其中變數①及Ψ表示無理内部轉換因數且變數c&s表示在 非正交4M DCT之整數實施中代替變數錢少使用之二元有 理内部轉換因數。 在另〜、樣中裝置包含一 4x4離散餘弦轉換(DCT)硬體 單元’其實施具有一奇數部分之非正交4x4 DCT,該奇數 部分應用按以下方程式與經縮放因數(ξ)有關的第一内部因 數及第二内部因數(Α、Β): l+i/Vi 其中經縮放因數(ξ)等於第一内部因數(Α)加第二内部因數 (Β)之總和除以-加—除以二之平方根,且其中叫⑽硬 體單元將4x4 DCT實施應用於媒體資料以將媒體資料自空 間域轉換至頻域。 148857.doc •12· 201108743 在另邊、樣中,方法包含藉由4x4 DCT硬體單元將非正 又4χ4離散餘弦轉換(DCT)應用於媒體資料以將媒體資料自 空間域轉換至頻域。非正交4X4 DCT包括一奇數部分該 奇數部分應用按以下方程式與經縮放因數(ξ)有關的第一内 部因數及第二内部因數(A、Β): 卜-^4^, 1 + 1/V2 其中經縮放因數(ξ)等於第一内部因數⑷加第二内部因數 (Β)之總和除以一加一除以二之平方根。 在另心樣中,裝置包含用於藉由4x4 DCT硬體單元將 非正交4x4離散餘弦轉換(DCT)應用於媒體資料以將媒體資 料自空間域轉換至頻域之構件’ #中非正交叫dct包括 一奇數部分’該奇數部分應用按以下方程式與經縮放因數 (ξ)有關的第一内部因數及第二内部因數(A、B广 Α + Β T+TTvi 數(Α)加第 二内告卩因數 其中經縮放因數(ξ)等於第 (Β)之總和除以一加一除以二之平方根 在另-態樣中,非暫時性電腦可讀儲存媒體儲存指令, 該等指令在由處理器執行時引起處理器藉由4χ4町硬體 單元將非正交4x4離散餘弦轉換(DCT)應用於媒體資料以將 媒體資料自空間域轉換至頻域。非正交4χ4 dct包括—奇 數部分,該奇數部分應用按以下方程式與經縮放因數⑻有 關的第一内部因數及第二内部因數(A、B). 148857.doc 13 201108743 , H-1/V2 其中經縮放因數(ξ)等於第一内部 口数(Α)加第二内部因數 (Β)之總和除以一加一除以二之平方根。 在另一態樣中,裝置包含—4χ4 〇 欠離散餘弦轉換(IDCT) 硬體單元’其中4Μ IDCT硬體單亓音#曰本 早疋貫施具有一奇數部分之 非正交4><4 DCT之IDCT,該奇數部分廡 J双口丨刀應用按以下方程式與 經縮放因數(ξ)有關的第一内部因數 数及第二内部因數(Α、 B): r _ 3 + 5 ξ=Τ^Π2 s
其中經縮放因數(ξ)等於第一内部因數(A)加第二内部因數 (B)之總和除以一加一除以二之平方根,且其中4χ4 IDCT 硬體單元將4X4 IDCT實施應用於代表媒體資料之DCT係數 以將媒體資料自頻域轉換至空間域。 在另一態樣中,方法包含藉由4x4 IDCT硬體單元將4x4 反離散餘弦轉換(IDCT)應用於代表媒體資料之DCT係數以 將媒體資料自頻域轉換至空間域。IDCT包含具有—奇數 部分之非正交4x4 DCT之IDCT,該奇數部分應用按以下方 程式與經縮放因數(ξ)有關的第一内部因數及第二内部因數 (A ' Β): £· Α + Β ?=-1= > 1 + 1/V2 其中經縮放因數(ξ)等於第一内部因數(Α)加第二内部因數 (Β)之總和除以一加一除以二之平方根。 148857.doc •14- 201108743 在另—態樣中,裝置包含用於藉由4x4 IDCT硬體單元將 4X4反離散餘弦轉換(IDCT)應用於代表媒體資料之DCT係 數以將媒體資料自頻域轉換至空間域之構件。IDCT包含 具有—奇數部分之非正交4x4 DCTiIDCT,該奇數部分應 文乂下方私式與經縮放因數(ξ)有關的第一内部因數及第 一内部因數(A、Β): ^ Α + Β 、中、、二縮放因數(ξ)等於第一内部因數(Α)加第二内部因數 (B)之總和除以—加一除以二之平方根。 :在另-態樣中,非暫時性電腦可讀儲存媒體儲存指令, 該等扣V在由處理器執行時引起處理器藉由4x4 IDCT硬體 單几將4 4反離散餘弦轉換(IDCT)應用於代表媒體資料之 系數以將媒體資料自頻域轉換至空間域。IDCT包含具 有-奇數部分之非正交…町之】町,該奇數部分應用 按以下方程式與經縮放因數(ξ)有關的第—内部因數及第二 内部因數(A、Β): Α + Β 1 + 1/^ 於第—内部因數(Α)加第二内部因數 除以二之平方根。 其中經縮放因數(ξ)等 (Β)之總和除以—加— 在隨附圖式及以下ρ ^ ^中陳述技術之一或多個態樣的細 節。本發明中所描述 技病·之其他特徵、目標及優點自描 述及圖式且自申請專剎銘 月寻利灰圍將為顯而易見的。 148857.doc -15· 201108743 【貫施方式】 好大體而5,本發明針對用於使用表示為根據各種關係所 選擇之係數之4x4矩陣的一或多個4x4離散餘弦轉換(DCT) 來編碼資料之技術。可應用該等技術以壓縮多種資料,其 包括可見或可聽媒體資料,諸如,數位視訊、影像、語音 及/或音訊資料,且藉此將表示此資料之此等電信號轉換 為壓縮信號以用於電信號之更有效處理、傳輸或存樓。藉 由遵寸根據本發明之技術所定義之各種關係可為係數矩 陣選擇係數以使得4x4 DCT之正交及接近正交實施在應用 於資料時可推進增加之編碼增益。 依據離散資料單元表示以上所表示之大小,亦即, 4x4。為說明起見,通常依據視訊區塊猫述視訊資料(尤盆 在關於視訊壓縮時)。視訊區塊通常指代視訊圖框之任何 大小的部分,其中視訊圖框指代—系列圖片或影像中之一 圖片或影像。每一視訊區塊通常包含複數個離散像素資 :’其指示例如紅色、藍色及綠色之色彩分量(所謂的 色度」分量)或明度分量(所謂的「明度」分量卜每—組 像素資料包含在視訊區塊中 — 視訊區塊之離散資料單元。因: 可被當作關於 舣負卄早兀。因此,4x4視訊區塊(例如)包 含四列之像素資料,1中备 sr ^ 了貧科-中母-列中具有四個離散的像素資 枓集s。可將n位元值指派至_ 值 像素以規疋色彩或明度 通常依據町能夠處理之資料(不管是音訊、語 像抑或視訊資料)區堍之+ f 、/ J塊之大小來描述DCT。舉例而言,若 148857.doc -16- 201108743 DCT可處理4x4資料區塊,則DCT可被稱為4x4 DCT。此 外’ DCT可經表示為特定類型。八個不同類型之dct中的 最常用類型之DCT為類型II之DCT,其可經表示為「DCT-II」。通常,當泛指DCT時,此用語指代類型η之DCT或 DCT-II » DCT-Π之反操作被稱為類型III之DCT,其可類似 地表示為「DCT-III」,或由於通常將DCT理解為指代DCT-II,因此表示為「IDCT」其中「IDCT」中之「I」表示反 才采作。以下對D C Τ之提及符合此記法,其中對d c τ之泛指 指代DCT-II,除非另外規定,然而,為了避免混淆包括 DCT-II之DCT在下文主要用所指示之相應類型(π、ΙΠ等) 來指代。 本發明中所描述之技術涉及編碼器及/或解碼器兩者, 其使用4x4 DCT-II之一或多個實施以促進資料之壓縮及/或 解壓縮。此外,經由應用此等4x4 實施所完成之壓 縮及解壓縮允許表示㈣之電信號之實體轉換,使得可使 用實體計算硬體、實體傳輸媒體(例如,、光纖、無線 或其他媒體)及/或儲存硬體(例如,磁碟或光碟或磁帶,或 多種固態媒體中之任-者)更有效地處理、傳輸及/或儲存 信號。可僅在硬體中組態實施或可在硬體與軟體之組 組態實施。 4><4 DCT-II之實施可為正交 乂 4接近正父的。術語「正 父」大體上指代矩陣之性質,甘士 丨買其中矩陣在乘以矩陣之轉晋 時等於單位矩陣。術語「接近 ,t ^ # , l 、 牧%止父」指代其中此正交性質 被放鬆使得不必需嚴格正交性 人丨王的情況。在此方面,「接近 148857.doc 201108743 正父」暗示近似正交或鬆散正交。然而,接近正交矩陣不 符合正交之技術定義,且從純粹技術角度而言,此等接近 正交矩陣可被當作非正交的。 為了說明本發明中所描述之4x4 DCT-ΙΙ之正交實施,考 慮包括4M DCT模組之裝置。4x4 DCT模組實施根據本發 明中所描述之技術建構的正交4x4 DCT n。此正交 DCT-II貫施包括奇數部分及偶數部分^ 4χ4 之所謂 的「奇數部分」指代4Μ DCT-II實施之輸出奇數編號係數 之部分。4x4 DCT-Π之所謂的「偶數部分」指代4χ4 DCT_ Π實施之輸出偶數編號係數之部分。 根據本發明之技術,奇數部分應用與經縮放因數(ξ)有關 2第一内部因數及第二内部因數c、s以使得該經縮放因數 等於第一内部因數(C)之平方加第二内部因數(8)之平方之 總和的平方根。術語「内部因數」指代在因式分解之後保 留之在4X4 DCT之實施内部的因數。術語「經縮放因數」 指代經由因式分解移除之在4x4DCT之實施外部的因數。 内部因數通常由於需要在實施複雜性方面可為代價大的 乘法而增加實施複雜性。舉例而言,與較簡單的加法運算 相比,乘法可需要三倍或三倍以上之計算操作(例如,時 脈循環)來完成。可實施特定乘法器以更有效地(例如,在 較少時脈循環中)執行乘法’但此等乘法器實施通常消耗 顯著更多的晶片或矽表面積且亦可汲取大量電力。因此通 常避免乘以因數之乘法,尤其是在功率敏感器件中,諸 如,大部分行動器件,其包括蜂巢式電話,所謂的「智慧 148857.doc •18- 201108743 型」蜂巢式電話、個人數位助理(PDA)、膝上型電腦、所 謂的「迷你筆記型電腦」及其類似物。因式分解為可藉以 自4x4 DCT-ΙΙ實施移除一或多個内部因數且用外部因數加 以替換之程序。接著可通常以最小的花費或最小的複雜性 增加將外部因數併入於(例如)關於視訊編碼器的隨後量化 操作中。 無論如何,以上所提到之第一内部因數及第二内部因數 c、S與經縮放因數(ξ)之間的以上關係提供了未用於4χ4 DCT-II之先前實施中之内部因數的特定值。舉例而言,分 別用於内部因數C及S之值2及5不過度增加實施複雜性,且 與涉及C及S之1及2之值的已知4x4 DCT實施相比改良了編 碼增益。視訊編碼器接著將具有内部因數2及5之4χ4 dct-II實施應用於媒體資料以便將媒體資料自空間域轉換至頻 域。藉由應用此正交4x4 DCT-II實施,在與包括之内 部因數之標準DCT-II實施相比時,該等技術促進了編碼增 益(.其為表示壓縮效率之術語)。 就DCT-II實施而纟’正交性通常為所要的,因為其為可 逆的。作為一實例,此可逆性質允許視訊編碼器應用正交 4x4 DCT貫施以自視訊資料之殘餘區塊產生dct係數。視 訊解碼器可接著應用4><4反]〇(:丁_11(11)(:1〇實施以便在資料 極小損耗(若存在)的情況下自DCT_n係數重建構視訊資料 之殘餘區塊。考慮到視訊編碼之主要目標為資料之保存, 故諸如H.264視訊編碼標準之各種編碼標準皆採用4χ4 dct 之正交實施。 148857.doc -19- 201108743 雖然正交性通常在理論上為所要 田始成其城— 祝sfl、音訊或通 用編碼官線貫際上涉及會引入所 J 雜讯」的許炙半 驟,該雜訊在大多方面實際上防止準確重建構由正交^ DCT-n實施提供之值。考慮到整數算術實施, 換與嚴格正交整數轉換相比可改良編碼效率同時亦減= 施複雜性。實際上’放鬆正交性質會將雜訊引入至 = 中,但可改良編碼增益同時亦減小實施複雜性。 為了說明本發明中所描述之4 4 DCT-H之接近正交實 施’考慮裝置之4M DCT模組實施根攄 • 很龈本發明中所描述之 技術建構之此接近正交4x4 DCT-II。μ·拉
此接近正交4x4 DCT η實施亦包括奇數部分及偶數部分。在此情況下奇數部分 應用按以下方程式與經縮放因數(ξ)有關的第_㈣因數1 第二内部因數(c、s): (ϋ^-ψ 在此方程式中’變數…表示原始(無理)内部轉換因數, 例如,⑷可為三乘常數pi⑷除以八的餘弦且⑷可為三 乘常數ρί(π)除以八的正弦。變數r 文数(C)及(S)表示替換((〇)及 (Ψ)之整數(或二元有理)内部轉換因數。 方程式(2)指示經縮放因數(ξ)箅於笛 _ .„ m 寻於第一内部因數(C)加第二 内部因數(S)之總和除以(ω)加()。h ^ (Ψ)此方程式可識別類似於 關於正交實施所定義之以上關係之的特定内部因數 值,但導致不同的外部因數。鋏而 , I 口数然而,由於以上所提到之原 因,不同外部因數通常不增加實施複雜性,而是通常提供 148857.doc -20- 201108743 原始轉換因數之更準確近似β其亦可提供較習知4χ4 DCT-11貫施且甚至在一些情況下較以上所述之正交4x4 DCT-II 貫施改良之編碼增益。因此,控制單元將此接近正交4 x 4 DCT-II應用於媒體資料以便將媒體資料自空間域轉換至頻 域,結果可能得到改良的編碼增益。 圖1為說明視訊編碼及解碼系統1〇之方塊圖。如圖1中所 示’系統10包括一源硬體器件12,其將經編碼之視訊經由 通信通道16傳輸至接收硬體器件14。源器件12可包括視訊 源1 8、視訊編碼器2〇及傳輸器22。目的地器件14可包括接 收器24 '視訊解碼器26及視訊顯示器件28。 在圖1之實例中,通信通道16可包含任何無線或有線通 k媒體’諸如’射頻(RF)頻譜或一或多個實體傳輸線,或 無線及有線媒體之任何組合。通道丨6可形成基於封包之網 路(諸如’區域網路、廣域網路或諸如網際網路之全球網 路)之一部分。通信通道16通常表示用於將視訊資料自源 器件12傳輸至接收器件14的任何適當的通信媒體或不同通 信媒體之集合。 源器件12產生用於傳輸至目的地器件14之視訊。然而, 在些狀況下,器件12、14可以大體上對稱方式操作。舉 例而5,器件12、14中之每一者可包括視訊編碼及解碼組 件。因此,系統10可支援在視訊器件12、14之間的單向或 雙向視訊傳輸(例如)以用於視訊串流、視訊廣播或視訊電 話。對於其他資料壓縮及編碼應用,器件12、14可經組態 以發送且接收或交換其他類型之資料,諸如,影像、語音 148857.doc -21 · 201108743 或曰afl*資料’或親畔、與你 ° 〜像、語音及音訊資料中之兩個或 兩個以上者之組合。因&,為達成說明之目的提供視訊應 用之以下論教不應認為其限制如本文中廣泛描述之本發 明之各種態樣。 視Λ源1 8可包括諸如_或多個攝影機之視訊俘獲器件、 含:先前俘獲的視訊之視訊存擋,或來自視訊内容提供者 之實況視afL饋入。作為另_替代例,視訊源】8可產生基於 電腦圖形之資料作為源視訊,或實況視訊及電腦產生視訊 之組合。。。在-些狀況下,若視訊源18為相機,則源器件12 及接收益件14可形成所謂的相機電話或視訊電話。因此, 在一些態樣中’源器件12、接收器件14或兩者可形成無線 通信器件手機,諸如,行動電話。在每一狀況下,經俘 名乂預先俘獲或電腦產纟的視訊可由視訊編石馬器編碼以 用於自視訊源器件12經由傳輸器22、通道16及接收器⑷專 輸至視訊接收器件14之視訊解碼器26。顯示器件28可包括 夕#顯示n件中之任—纟’諸如’液晶顯示器(lcd)、電 漿顯不器或有機發光二極體(〇LED)顯示器。 視。fl編碼器20及視訊解碼器26可經組態以支援可縮放視 Λ編碼,以實現空間、時間及/或信雜比(snr)可縮放性。 在些態樣中,視訊編碼器20及視訊解碼器26可經組態以 支援精細粒度SNR可縮放性(FGS)編碼。編碼器2〇及解碼 器26可藉由支援基層及一或多個可縮放增強層之編碼、傳 輸及解碼來支援各種程度之可縮放性。對於可縮放視訊編 碼’基層載運具有最小品質等級之視訊資料。一或多個增 148857.doc -22- 201108743 強層載運額外位元流以支援更高的空間、時間及/或SNR等 級0 視訊編碼器20及視訊解碼器26可根據諸如MPEG-2、 MPEG-4、ITU-T H.263 或 ITU-T H.264/MPEG-4 先進視訊編 碼(AVC)之視訊壓縮標準操作。儘管圖1中未展示,但在一 些態樣中,視訊編碼器20及視訊解碼器26可分別與音訊編 碼器及音訊解碼器整合,且包括適當MUX-DEMUX單元或 其他硬體及軟體以處置對共同資料流或分離的資料流中之 音訊與視訊之編碼。若適用,則MUX-DEMUX單元可符合 ITU H.223多工器協定,或諸如使用者資料報協定(UDP)之 其他協定。 在一些態樣中,對於視訊廣播,可應用本發明中所描述 之技術以增強H.264視訊編碼以用於(例如)經由無線視訊廣 播伺服器或無線通信器件手機使用僅前向鏈路(FLO)空中 介面規格(作為技術標準TIA-1099公開之「Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast」(「FLO規格」))在陸地行動多媒體 多播(TM3)系統中遞送即時視訊服務。FLO規格包括定義 位元流語法及語義且解碼適合於FLO空中介面之程序的實 例。或者,可根據諸如DVB-H(手持型數位視訊廣播)、 ISDB-T(陸地整合服務數位廣播)或DMB(數位媒體廣播)之 其他標準廣播視訊。因此,源器件12可為行動無線終端 機、視訊串流伺服器或視訊廣播伺服器。然而,本發明中 所描述之技術不限於任何特定類型之廣播、多播或點對點 148857.doc -23- 201108743 系統。在廣播之狀況下,源器件12可將若干通道之視訊資 料廣播至多個接收器件,其中之每一者可類似於圖1之接 收器件14。 視訊編碼器20及視訊解碼器26各自可實施為一或多個微 處理器、數位信號處理器(DSp)、特殊應用積體電路 (ASIC)、場可程式化閘陣列(FpGA)、離散邏輯、軟體、硬 體、韌體或其任何組合。因此,視訊編碼器2〇及視訊解碼 26中之每一者可至少部分地實施為積體電路(IC)晶片或 器件’且包括於一或多個編碼器或解碼器中,其中之任一 者可整合為各別行動器件、用戶器件、廣播器件、伺服器 等等中之組合編碼器/解碼器(c〇DEC)之一部分。另外, 源器件12及接收器件14各自可包括(適用時)用於傳輸及接 收經編碼視訊之適當調變、解調變、增頻轉換、濾波及放 大器組件,其包括足以支援無線通信之射頻(RF)無線組件 及天線。然而,為達成易於說明之目的,圖丨中未展示此 等組件。 視訊序列包括一系列視訊圖框。視訊編碼器2〇對個別視 訊圖框内之像素之區塊操作以便編碼視訊資料。視訊區塊 可具有固定或變化大小,且可根據規定編碼標準而大小不 同。每一視訊圖框包括一系列片段。每—片段可包括—系 列巨集區塊’其可經配置為子區塊。例如, U ϋ-Τ H.264 標準支援各種二元區塊大小下的框内預測,1 错如,對於明 度分量之16乘16、8乘8、4乘4及對於色声八θ &乂刀直之8x8,以 及各種區塊大小下的框間預測,諸如,對於 ^刊度分量之16 148857.doc •24- 201108743 乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4及對於色 度分量之相應縮放的大小。 較小視訊區塊通常可提供較好解析度,且可用於視訊圖 框之包括更高細節等級之位置。大體而言,通常可將巨集 區塊(MB)及各種子區塊視為表示視訊區塊。另外,可將片 段視為表不·一糸列視訊區塊,諸如,MB及/或子區塊。每 一片段可為可獨立解碼單元。在預測之後,可對二元或非 二元大小之殘餘區塊執行轉換,且可在使用框内16x16預 測模式的情況下將額外轉換應用於色度分量或明度分量之 4x4區塊之DCT係數。
圖1之系統10之視訊編碼器20及/或視訊解碼器26可經組 態以分別包括4x4 DCT-II及其反操作(例如,4x4 DCT-III) 之貫施’其中4x4 DCT-II遵守本發明中所描述之用於選擇 4x4大小DCT之DCT-II矩陣係數的技術之各種關係中之一 者。雖然ITU-T H.264標準支援各種區塊大小下的框内預 測,諸如,對於明度分量之16乘16、8乘8、4乘4及對於色 度分量之8x8,但為了改良編碼效率而對此標準之修訂當 前在進行中。一修訂標準可被稱為171)_7 h.265或簡單地 Η·265(有時被稱為下一代視訊編碼或NGVC)。如下文關於 圖7A至圖7C所描述,遵守根據本發明之技術所陳述之各 種關係中之一者的類型Η24χ4 DCT(「DCT_n」)可改良如 依據峰值信雜比(PSNR)所量測之編碼效率❶因此,ITUT Η·265及其他演進中的標準或規格可考慮此等DCT-II以便 改良編碼效率。 148857.doc -25- 201108743 根據本發明中所描述之技術,可以遵守可與習知實施相 比推進改良的編碼增益之各種關係中之一者的方式產生 心4 DCT-ΙΙ之實施。第一關係係針對4x4 DCT-ΙΙ之正交實 施而定義且以下關於方程式(1)加以陳述: ξ=^|ΈΓ7¥, (1) 其中C及S表示4x4 DCT-II實施之「奇數」部分中之第一内 部因數及第二内部因數且(ξ)表示應用於4x4 DCT-II實施之 「奇數」部分之經縮放因數。4x4 DCT-II之所謂的「奇數 部分」指代4x4 DCT-II實施之輸出奇數編號係數之部分。 4><4 DCT-II之所謂的「偶數」部分指代04 DCT-II實施之 輸出偶數編號係數之部分。術語「内部因數」指代在因式 分解之後保留的在4M DCT之實施内部的因數。術語「經 縮放因數」指代經由因式分解移除之在4x4 DCT之實施外 部的因數。 内部因數通常由於需要在實施複雜性方面可為代價大的 乘法而增加實施複雜性。舉例而言,與較簡單的加法運算 相比,乘法可需要三倍或三倍以上之計算操作(例如,時 脈循環)來完成。可實施特定乘法器以更有效地(例如,在 較少時脈循環中)執行乘法,但此等乘法器實施通常消耗 顯著更多的晶片或矽表面積且亦可汲取大量電力。因此通 常避免乘以因數之乘法,特別在功率敏感器件中諸如, 大°卩刀行動器件,其包括蜂巢式電話,所謂的「智慧型」 蜂巢式電話、個人數位助理(PDA)、膝上型電腦、所謂的 「迷你筆記型電腦」及其類似物。因式分解為可藉以自 148857.doc •26· 201108743 4x4 DCT-ΙΙ實施移除一或多個内部因數且用外部因數加以 替換之程序。接著可通常以最小的花費或最小的複雜性增 加將外部因數併入於(例如)關於視訊編碼器的隨後量化操 作中。 無論如何,以上關於方程式(1)所提到之第一内部因數c 及第二内部因數s與經縮放因數(ξ)之間的以上關係提供了 未用於4x4 DCT-II之先前實施中之内部因數的特定值。舉 例而言,分別用於内部因數(:及3之值2及5不過度增加實施 複雜性,且與涉及〇:及8之之值的已知4x4 DCT實施相 比,改良了編碼增益。視訊編碼器接著將具有内部因數2 及5之4x4 DCT-II實施應用於媒體資料以便將媒體資料自 工間域轉換至頻域。藉由應用此正交4x4 DCT-II實施,在 與包括1及2之内部因數之標準!)^^實施相比時該等技術 促進了編碼增益(其為表示壓縮效率之術語)。 就DCT-II實施而言,正交性通常為所要的,因為其為可 逆的。作為一實例,此可逆性質允許視訊編碼器應用正交 4x4 DCT實施以自視訊資料之殘餘區塊產生DCT係數。視 訊解碼器可接著應用4x4反DCT_II(IDCT)實施以便在資料 損耗極小(若存在)的情況下自DCT-H係數重建構視訊資料 之殘餘區塊。諸如H.264視訊編碼標準之若干編碼標準採 用4x4 DCT之正交實施。 木 雖然正交性通常在理論上為所要的,但視訊、音訊或通 用編碼管線實際上涉及會引人所謂的「雜訊」的許多額= 步驟(諸如縮放或量化),該雜訊在大多方面實際上 止準 148857.doc •27· 201108743 確重建構由正交4x4 DCT-ΙΙ實施提供之值。結果,放鬆正 交性質以達成接近正交(就技術上而言,其為非正交為 可能的。考慮到整數算術實施,此等接近正交轉換與嚴格 正交整數轉換相比可改良編碼效率同時亦減小實施複雜 性。大體而言,放鬆正交性質將雜訊引入至系統十,但可 改良編碼增益同時亦減小實施複雜性。 為了說明4><4 DCT-n之接近正交實施,作為一實例,考 慮包括控制單元n控制單元實施根據本發明中所描 述之技術的接近正交4x4 DCT_IIe此接近正交4x4 實施亦包括奇數部分及偶數部分。在此種情況下奇數部分 應用按以下方程式(2)與經縮放因數(ξ)有關的第—内部: 數及第二内部因數(C、S):
C^S ω^ψ (2) 在方式(2)中,變數ω及ψ表示原始(無理)内部轉換因數, 例如’(ω)可為三乘常數pi(7〇除以八的餘弦,且(ψ)可為三 乘常數Pi⑻除以八的正③。變數(〇及(s)表示替換⑷: (Ψ)之整數(或二元有理)内部轉換因數。 方程式⑺指示經縮放因數(ξ)等於第—内部因數(〇加第二 内部因數⑻之總和除以⑻加(ψ)β此方程式可識別類似: 以上關於正交實施所定義之關係之⑴的特定内部因數 值,但導致不同的外部因數。然而,由於以上所提到之原 因,不同外部因數通常不增加實施複雜性,而是通常提# 原始轉換因數之較準確近似。其亦可與習知叫DCT姆 148857.doc •28- 201108743 把相比且甚至在一些情況下與以上所述之正交4><4 DC Τ-II 實施相比提供改良之編碼增益。因此’控制單元將此接近 正交4x4 DCT-II應用於媒體資料以將媒體資料自空間域轉 換至頻域’結果為具有潛在改良的編碼增益。 根據本發明中所描述之技術建構的以上所得到4x4 Dct_ Π實施表示與直接4x4 DCT-II實施相對比的經縮放4χ4 D C Τ-11貫施。έ亥專貫施為「經縮放的」,由於其已經歷因 式分解以移除内部因數且因此輸出需要應用額外外部因數 以正確計算4x4 DCT之經縮放係數。所謂的「直接」DCT_ II貫把輸出不需要任何另外運算(諸如乘以外部因數)以正 確計算4x4 DCT之係數。 存在能夠產生經縮放4x4 DCT_n實施之許多不同因式分 解 替代因式分解產生一不同的經縮放4x4 DCT-II實 施,可根據本發明之技術自該經縮放4x4 實施導出 另關係以產生一接近正交實施,該接近正交實施與通常 由遵照H.264之視訊編碼器使用之習知DCT_n相比改良了 編碼增益。 為了關於用以產i經縮放4x4 DCT_n之替代因式分解說 月接近正父實施’作為一實例’考慮包括控制單元之裝 置。控制單元根據本發明中所描述之技術實施接近正交 DCT-II。類似於以上所述之實施,此接近正交叫 DCT_I1實施包括奇數部分及偶數部分。在此種情況下奇數 部分應用按以下方程式(3)與經縮放因數(ξ)有關的第一内 部因數及第二内部因數(Α、Β): 148857.doc •29- 201108743 卜 Α + β ^'1 + 1/72。 (3) 方程式(3)指示經縮放因數(ξ)等於第一内部因數(Α)加第二 内部因數(Β)之總和除以一加一除以二之平方根。此方程 式可分別識別内部因數Α及Β之特定值7及5。使用替代因 式分解且用以上所提到之内部因數建構的此所得之接近正 父4><4 DCT-II實施與習知h.264 4M DCT-Π實施相比可更 準確地表示直接4M DCT_„i無理内部因數’且藉此與習 知4x4 DCT_n實施相比提供改良之編碼增纟。因此,控制 單元將此接近正交4χ4 DCT铺用於媒體資料以將媒體資
料自空間域轉換至頻域,結果A 只4 、。录為具有潛在改良的編碼增 益0 ^為更詳細說明圖1之視訊編碼㈣之方塊圖。視制 碼盗20可至少部分地形成為—或多個積體電路器件,盆^ 共同地被稱為積體電路器件。在—些態樣中,視訊編碼器 可形成無線通信器件手機或廣播㈣器之-部分。視邻 編碼器2 0可執行親1# ……± 之區塊之框内及框間編碼。框 内編碼依賴於空間預測以減 m之介ΠΤΓ# , 飞移除*·.σ疋視讯圖框内之視 =工間几餘。框間編碼依賴於時間預測 訊序列之鄰近圖框内 夕Α移除視 内之視Λ的時間冗餘。對 視訊編碼器20執行、《間編碼, 巩仃運動估相追蹤在鄰 視訊區塊的移動。 口I之間匹配的 ::2中所示’視訊編媽器20接收 之當前視訊區塊3卜在圖 視Λ圖框内 運動估計單元32 '參考 :心馬器2〇包括 储存益34、運動補償單元%、 148857.doc -30· 201108743 區塊轉換單元38、量化單元40、反量化單元42、反轉換單 元44及熵編碼單元46。可應用迴路内或迴路後解區塊遽波 器(未圖示)以對區塊濾波以移除區塊假影。視訊編碼器 亦包括求和器48及求和器50。圖2說明用於視訊區塊之框 間編碼之視訊編碼器2G的時間預測組件。儘管為達成易於 說明之目的圖2中未展示,但視訊編碼器2〇亦可包括用於 些視sfl區塊之框内編碼的空間預測組件。 運動估計單元3 2比較視訊區塊3 〇與一或多個鄰近視訊圖 ί中之區塊以產生一或多個運動向量。可自參考圖框儲存 器34掏取-或多個鄰近圖框,該參考圖框儲存器34可包含 任何類型之記憶體或資料儲存器件以儲存自先前編碼區塊 重建構之視訊區塊。可針對可變大小之區#,例如, 8 8X16、8X8或更小的區塊大小執行運動估 计。運動估計單元32(例如)基於速率失真模型而識別鄰近 圖:中的最緊密匹配當前視訊區塊30之一或多個區塊,且 確定在鄰近圖框中之區塊與當前視訊區塊之間的位移。在 此基礎上’運動估計單元32產生—或多個運動向量(My), 其指示在當前視訊區塊3G與來自用於編碼#前視訊區塊Μ 之參考圖框的一或多個匹配區塊之間的位移之量值及軌 跡。-或多個匹配區塊將用作預測性(或預測)區塊以供框 間編碼待編碼區塊。 運動向量可具有三分之—或四分之—像素精確度乃至更 精細的精確度,從而允許視訊編竭器耻比整數像素位置 更高的精確度追蹤運動且獲得更好的預測區塊。當使用具 148857.doc •31· 201108743 有分數像素值之運動向量時’在運動補償單元对進行内 插運算。運動估計單元32使㈣如速率失真模型之某些準 則識別視訊區塊之最佳區塊分割及一或多個運動向量。舉 例而言’在雙向預測之狀況下可存在__個以上之運動向 量。使用所得之區塊分割及運動向量,運動補償單元娜 成預測視訊區塊。 視訊編碼器20藉由在求和器48處自原始的當前視訊區塊 3〇減去由運動補償單元36產生之糊視訊區塊來形成殘餘 視訊區塊。區塊轉換單元38應用產生殘餘轉換區塊係數之 ,換。如圖2中所示,區塊轉換單元Μ包括一㈣μτ_π 單元52,其實施根據本發明中所描述之技術建構之私* DCT-II。4x4 DCT-II單元52表示—硬體模組,該硬體模組 在一凊况下執行軟體(諸如執行軟體程式碼或指令之數 位U處理器或DSP),其實施具有由以上所識別之三種關 係中之-者定義的内部因數之4χ4町]卜區塊轉換單元 38將a縮放4M DCT,II單元52應用於殘餘區塊以產生殘餘 轉換係數之4x4區塊。4x4⑽姆⑶通常將殘餘區塊 自表不為殘餘像素資料之空間域轉換至表示為dct係數之 頻域。轉換係數可包含DCT係數,其包括至少—DC係數及 一或多個AC係數。 單元40量化(例如’捨人)殘餘轉換區塊係數以進一 步減小位元率。如上所提及,量化單元40藉由併入有在因 式分解期間所移除之内部因數來考慮經縮放4x4町娜 元52之經縮放性f。亦即,量化單元40併人有以下關於圖 148857.doc -32- 201108743 4A至圖4C之實施70A-70C所示之外部因數。由於量化通常 涉及乘法,因此將此等因數併入至量化單元4〇中可不增加 里化單元40之實施複雜性。在此方面,自經縮放4χ4 dct_ II單元52移除因數在不增加量化單元4〇之實施複雜性的情 況下減小DCT-II單元52之實施複雜性,從而導致關於視訊 編碼器20之實施複雜性之淨減小。 熵編碼單元4 6熵編碼量化係數以更進一步減小位元率。 燜、’為碼單元46執行統計無損耗編碼,在—些情況下被稱為 熵編碼。熵編碼單元46模型化量化DCT係數之機率分佈且 基於模型化的機率分佈選擇碼薄(例如,cavlc或 CABAC)。使用此碼薄,熵編碼單元46以壓縮量化沉τ係 數之方式選擇用於每—量化DCT係數之碼。為說明起見, 熵編碼單元46可選㈣於頻繁出現之量化町係數之短碼 字(依據位元)及用於較不頻繁出現之量化dct係數之較長 碼字(依據位元)。只要短碼字使用t匕量化町係數更少的 位元’則平均而言燜編碼單元46壓縮量化DCT係數。烟編 碼單元46輸出熵編碼係數以作為發送至視訊解碼器%之位 元流。大體而言’視訊解碼器26執行反操作以自位元流解 碼且重建構經編碼視訊,如將參看圖3之實例描述。 重建構單S42及反轉換單元44分別重建構量化係數及應 用反轉換以重建構殘餘區塊。求和單元5〇將重建構的殘餘 區塊加至由運動補償單元36產生之運動補償預測區塊以產 生重建構的視訊區塊以健存於參考圖框儲存器B中。重建 構的視訊區塊由運動估計單元32及運動補償翠元%用於編 148857.doc •33- 201108743 碼隨後視訊圖框中之區塊。 圖3為更詳細說明圖i之視訊解碼器26之實例的方塊圖 視訊解碼器26可至少部分地形成為一或多個積體電路器 件’其可共同地被稱為積體電路器件。在一些態樣中,視 訊解碼器26可形成無線通信器件手機之一部分。視訊解碼 器26可執行視訊圖框内之區塊之框内及框間解碼。如圖3 中所示,視訊解碼器26接收已由視訊編碼器2〇編碼之經編 碼視訊位元流。在圖3之實例中,視訊解碼器26包括熵解 碼單元54、運動補償單元56、重建構單元58、反轉換單元 60及參考圖框儲存器62。熵解碼單元64可存取儲存於記憶 體64中之一或多個資料結構以獲得可用於編碼之資料。視 訊解碼器26亦可包括迴路内解區塊濾波器(未圖示),其對 求和器66之輸出濾波。視訊解碼器26亦包括求和器66。圖 3說明用於視訊區塊之框間解碼之視訊解碼器%的時間預 測組件。儘管圖3中未展示,但視訊解碼器26亦可包括用 於一些視訊區塊之框内解碼的空間預測組件。 熵解碼單元54接收經編碼之視訊位元流且自位元流解碼 量化殘餘係數及量化參數,以及其他資訊,諸如,巨集區 塊編碼模式及運動資訊(其可包括運動向量及區塊分割)。 運動補償單元56接收運動向量及區塊分割及來自參考圖框 儲存器62之一或多個重建構的參考圖框以產生預測視訊區 塊。 重建構單元58反量化(亦即,解量化)量化區塊係數。反 轉換單元60將反轉換(例如,反DCT)應用於係數以產生殘 148857.doc •34· 201108743
器26之複雜性之淨減小。 接著藉由求和器66將預測視訊區塊與殘餘區塊求和以形 成經解碼之區塊。可應用解區塊濾波器(未圖示)以對經解 碼之區塊濾波以移除區塊假影。經濾波之區塊接著置於參 考圖框儲存态62中,該參考圖框儲存器62提供用於隨後視 訊圖框之解碼的參考圖框且亦產生經解碼之視訊以驅動顯 示器件2 8 (圖1)。 圖4A至圖4C為各自說明根據本發明之技術所建構之經 縮放4x4 DCT-II之實施的圖。圖4A為說明根據本發明之技 術所建構之經縮放正交4x4 DCT-II實施70A的圖。圖4B為 說明根據本發明之技術所建構之經縮放接近正交4x4 DCT-Π實施70B的圖。圖4C為說明根據本發明之技術所建構之 經縮放接近正交4x4 DCT-II替代實施70C的圖。圖2之實例 中所示之4x4 DCT單元52可併入有一或多個此等實施70A-70C。 148857.doc -35- 201108743 首先參看圖4A之實例,4x4 DCT-ΙΙ實施70A包括蝶形單 兀72、偶數部分74A及奇數部分74B。蝶形單元μ可表示 硬體或硬體與軟體之組合,其用於將輸人々,,〜投送或 以其他方式轉遞至適當偶數部分74Α及奇數部分74Β(「部 /刀74」)。蝶形單元92通常組合諸如2x2 DCT_n實施之較小 DCT之結果’其在此種狀況下可分別由偶數部分及奇數部 分74表示,偶數部分74A為4x4DCT_n實施7〇a之輸出偶數 DCT係數及&之2X2部分。值得注意地,此等偶數係數 义〇及义2乘以為二分之一(1/2)之外部因數,該外部因數可且 通常由量化單元4〇應用。 奇數部分74B為4x4 DCT_n實施7〇A之輸出奇數D(:T係數 不及不之2x2部分。奇數部分74B包括表示為〇及5之兩個内 部因數,該兩個内部因數CA雜照根據本發明之技術定義 之以上所提到方程式(1)而與應用於奇數係數不及&之外部 因數有關》將-除以二之平方根(1/々2)之額外外部因數乘 乂除以以方程式⑴中所提到之關係U導致關於奇數係 數义I及不所示之外部因數。 方程式(1) t所提到之關係可藉由首先考慮正交性質而 導出,該性質由以下方程式(4)數學地陳述: CTC = I。 (4) 變數C在此種情況下指代任何矩陣,而γ表示矩陣〔之轉 置變數/表不單位矩陣。因此,若矩陣之轉置乘矩陣本 身等於單位矩陣,則矩陣展現出正交性質。 假疋由於以上所提到之原因在媒體.編碼實施中較佳的經 )4SS57.doc •36· 201108743 縮放矩陣’矩陣[可被分成表示為p之整數經縮放轉換及 縮放因數或外部因數之對角矩陣D,如以下方程式(5 提到: 以來自方程式(5)之代入方程式(4)中之c導致以下方程 式(6): ^ {C'D)T(CD)^DC'TCD^I , … (6) 其可簡化為以下方程式(7)中所示之數學方程式·· C’C = 1X2。 (7) 方程式(7)提供用於選擇縮放因數以使得所得之整數轉換保 持正交之機制。 舉例而言,在4x4 DCT-II實施之狀況下,此DCT-ΙΙ通常 僅應用表示三乘常數pi除以八之餘弦及三乘常數pi除以八 之正弦之因數的近似。假定此等兩個因數將由為矩陣c,之 係數的整數(:及S替換且使用以上正交性條件,以上方程式 (1)表示標準化因數,以使得設計4x4 DCT-II之正交近似的 任務可限於找到成對之整數(C、幻,以使得滿足以下方程 式(8)及(9): ,及 (8) 讀)。 (9) 在此等假定下,導致展示為4x4 DCT-II實施7〇A之整數經 縮放轉換。’ 148857.doc •37· 201108743 以下表1說明與Η.264視訊編碼標準中所採用之4x4 DCT-II實施相比較的經選擇用於整數C及*S之各種值及所得之近 似誤差。 表1 參數 近似誤差 複雜性 (x*C,y*S) 註解 C S y]C2+S2 1 2 4~s -0.0645302 0.0294523 1移位 H.264 中 採用 2 5 V29 0.0112928 -0.00459716 1加法+2移位 動態範圍中 +2位元 3 7 V58 -0.0112359 0.0047345 2加法+1移位 動態範圍中 +3位元 5 12 13 -0.00193195 0.000802609 2加法+2移位 動態範圍中 +4位元 17 41 V1970 -0.00033159 0.000137419 3加法+2移位 動態範圍中 +5位元 值得注意地,當將變數(:及S分別設定至2及5時,所得之實 施70A之複雜性增加,但在三乘常數pi除以八之餘弦及三 乘常數pi除以八之正弦的近似中存在少得多的誤差,該情 況推進編碼增益。與基礎H.264實施相比,複雜性僅涉及 額外加法及移位,但不涉及任何在運算意義上代價大的乘 法。因此,透過實施70A併入有分別用於變數C及5*之值2 及5,在實施複雜性最小增加的情況下潛在地提供最佳編 碼增益,本發明中所描述之技術僅以複雜性之微小增加推 進增加之編碼增益。 雖然以上關於類型II之DCT加以描述,但圖4A之實例中 所示之實施70A亦可表示類型III之DCT或反DCT實施。由 實施70A形成反DCT涉及顛倒輸入及輸出以使得輸入由圖 148857.doc -38- 201108743 4A右:上之實施接收且輸出在實施之左側輸出。在左側輸 出之前,輸人接著首先由偶數部分及奇數部分74且接著由 蝶形單元72處理。為達成易於說明之目的,#於此⑴η :施可經描述為實施70A之鏡像,未在單獨的圖中展示與 實施70 A相反的此IDCT實施。 圖4 B為說明根據本發明之技術所建構之經縮放接近正交 4x4 DCT-II實施70B的圖。DCT_n實施7〇b包括類似於 圖4A之蝶形單元72之蝶形單元%,及偶數部分78a及奇數 部分78B(「部分78」)。偶數部分78A類似於偶數部分 74A。奇數部分78B亦類似於奇數部分mb,不同在於正交 性條件已放鬆,從而導致在内部因數c、s與經縮放因數^ 之間的不同關係,亦即,以上關於方程式(2)所表示之關 係。 為了根據由方程式(2)所表示之關係導出圖4]8之實例實 知70B ’首先考慮雖然正交性通常在理論上確保4dct_ Π之直接反實施,但實際上大部分縮放因數(在整數轉換之 後)變為無理數,其難以使用整數乘法器精確地實施。此 外’量化通常在4x4 DCT轉換之應用之後且此量化添加雜 訊’其可防止反正交DCT-II實施之直接應用。此外,考慮 整數算術實施’此等接近正交轉換與嚴格正交整數轉換相 比可改良編碼效率同時亦減小實施複雜性。因此,放鬆在 直接實施與反實施之間的此正交性失配之程度實際上可改 良編碼增益。 為了特性化失配之程度,根據以下方程式(10)定義自單 148857.doc -39- 201108743 位矩陣之距離之範數:
CTC-I (1〇) 使用與以上關於方程式(4)之記法相同的記法,方程式(1〇) 簡單地指示自單位矩陣之距離之范數可定義為矩陣之轉置 乘矩陣減去單位矩陣。假定C保持對角的,則可根據以 下方程式(11)計算平均絕對距離: (11) 其中平均絕對距離由變數δΝ表示且N等於矩陣之大小。 藉由放鬆正交性性質,編碼增益可改良,但關於平均絕 對差之對編碼增益之分析過於取決於正經歷壓縮之影像的 特疋模型或統計資料。因此,可經由分析與找到在匹配 DCT-II之基本函數方面潛在最佳的整數轉換有關的不同量 度來確定放鬆正交性性質之程度。關於此形式之評估之更 多資訊可在由 Υ·Α· Reznik、A.T.Hinds及 J.L.Mitchell創作 之題為「Improved Precision of Fixed-Point Algorithms by Means of Common Factors」(會刊 ICIP 2008,San Diego, C A)的文章中找到,該文章之全部内容就如同在本文中完 全陳述一樣以引用之方式併入本文中。 根據此併入之參考文獻,用於產生最佳匹配設計之一種 技術被稱為「基於公因數之近似」。使用此技術,可如下 導出以下方程式(12): ξ = c+s (12) c0S(X) + sin (竽), 148857.doc •40· 201108743 使得可如下導出以下方程式(13)及(14): (13) 57f»sin(·^) 〇 (14) 方程式(12)確保對於經縮放因數(,C及之相應近似之誤 差具有相同量值但相反正負號。在此等假定下,導致展示 為4x4 DCT-II實施70B之整數縮放轉換。 以下表2說明經選擇用於整數C及S之各種值及所得之近 似誤差。 表2 參數 近似誤差 歸因於因數 C、S之位元 深度擴充 C S f 一 oos(f)-C/f δίη(τ)-5/^ f-1 1 2 2.296100594 -0.0528375558 0.0528375558 -0.0516073433 1位元 2 5 5.357568053 0.0093797282 -0.0093797282 0.010328504 2位元 5 12 13.01123670 -0.0015997926 0.0015997926 -0.0017264839 4位元 更詳細地考慮表2,當分別將變數C及S設定至2及5時, 近似誤差減小。以上在標題「近似誤差」下所示之第三誤 差量度(ί^+β/ξ2-;!)基本上為以上關於方程式(11)所論述之 正交性失配量度‘之子集,其中此失配量度描述沿CY-/ 之對角線出現在奇數位置之值。值得注意地,對DCT-II基 本函數之更精確整數近似亦大體上更接近於正交的。雖然 此種整數近似大體上更接近於正交的,但C及分別設定至 值1及2的DCT-II實施70B在所列出之彼等實施中可能提供 在編碼增益方面之最多回報,如下文關於圖7 B所示。 雖然以上關於類型II之DCT加以描述,但圖4B之實例中 148857.doc •41 - 201108743 所不之實施7〇B亦可表示類型ΠΙ之DCT或反DCT實施。由 貫施70B形成反DCT涉及顛倒輸入及輸出,以使得輸入由 圖4B右側上之實施接收且輸出在實施之左側輸出。在左側 輸出之前’輸入接著首先由偶數部分及奇數部分78且接著 由蝶形單元76處理。為達成易於說明之目的,考慮到此 IDCT實施可被描述為實施7〇B之鏡像,未在單獨圖中展示 與實施7〇B相反的此IDCT實施。 圖4C為說明由替代因式分解引起之根據本發明之技術建 構之另一例示性經縮放接近正交4x4 DCT_n實施70C的 圖。4x4 DCT-II實施70(:包括類似於圖4A之蝶形單元72及 圖4B之蝶形單元76的蝶形單元80,及偶數部分82A及奇數 部分82B(「部分82」)。偶數部分82A類似於偶數部分 78A°奇數部分82B與奇數部分78B類似,因為正交性條件 已放鬆’但作為替代因式分解之結果,導致在内部因數 d 5與經縮放因數ξ之間的不同關係,亦即,以上關於方 程式(3)所表示之關係。關於替代因式分解之更多資訊可在 2009年4月在MPEG第88次會議(Maui,HI)上提交之MPEG輸 入文件M16438的由γ·Α. Reznik及R.C. Chivukula創作之題 為「On Design of Transforms for High-Resolution/High-Performance Video Coding」的文章中找到’該文章之全部 内容就如同在本文中完全陳述一樣以引用之方式併入本文 中。 值得注意地,將不同縮放因數應用於奇數係數不及义3, 且在4x4 DCT-II實施70C中僅存在一個要近似的無理因 148857.doc -42· 201108743 數。為了保持正交,内部因數5通常必須設定至一除以二 之平方根且j必須設定至一。因此,自此等值改變内部因 數j、5的值會導致非正交實施。為了評估此等内部因數之 各種值,使用被稱為公因數近似技術之以上技術,其在上 文關於圖4B提到。使用此技術,確定以下方程式(15)以使 得可為内部因數j5選擇兩個整數值以導出參數ξ: 「1 + 1/W 7 (15) 以使得滿足以下方程式(16)及(17): Α/ξ*1,及 (16) 5/爹。 (17) 以上方程式(1 5)確保相應近似之誤差在量值方面變得平衡 但正負號相反》在此等假定下,導致展不為4><4 DCT-II貫 施70C之整數縮放轉換。 以下表3說明為整數C及5"選擇之各種值及所得之近似誤 差。 表3 參數 近似誤差 歸因於因數A、Β 之位元深度擴充 A B 匕 A + B \-Α!ξ llS-ΒΙξ ΙΠ ^ 1 + 1/V2 3 2 2.928932188 -0.0242640686 0.0242640686 0.067451660 2位元 7 5 7.029437252 0.0041877111 -0.0041877111 0.011879709 3位元 • . · * · · .♦. ... 29 41 41.00505064 0.0001231711 -0.0001231711 0.000348411 6位元 更詳細地考慮表3,當將變數4及Β分別設定至7及5時, 近似誤差減小。d及5分別設定至值7及5的4x4 DCT-II實施 70C在所列出之彼等實施中可能提供在編碼增益方面(與複 148857.doc -43- 201108743 雜性增加(表3中去a -、上 干未展不)相比較)之最多回報,如下文關於 圖7 C所示。 雖然以上關於類型11之DCT加以描述,但圖4C之實例中 斤丁之實施70C亦可表示類型m之DCT或反dct實施。由 實施70C%成反DCT涉及顛倒輸人及輸出,以使得輸入由 圖4C右側上之實施接收且輸出在實施之左側輸出。在左側 輸出之則’輸入接著首先由偶數部分及奇數部分82且接著 由蝶形早兀8G處理。為達成易於說明之目的考慮到此 實施可被描述為實施取之鏡像,未在單獨圖中展示 與貫施70C相反的此iDCT實施。 圖5為說明諸如圖2之視訊編碼器2〇之編碼器件在應用根 據本發明之技術所建構之4x4 DCT#施時之例示性操作的 流程圖。最初,視訊編碼器2〇接收待編碼之視訊圖框内之 當前視訊區塊3G(9Q)。運動料單元32執行運歸計以比 較視訊區塊30與一或多個鄰近視訊圖框中之區塊以產生一 或多個運動向量(92)。可自參考圖框儲存器34棟取一或多 個鄰近圖框。可針對可變大小之區塊,例如,ΐ6χΐ6、 16x8、8χ16、8χ8、4χ4或更小的區塊大小執行運動估計。 運動估計單元32(例如)基於速率失真模型識別鄰近圖框中 的最緊密匹配當前視訊區塊30之一或多個區塊,且確定在 鄰近圖框中之區塊與當前視訊區塊之間的位移。在此基礎 上,運動估計單元32產生一或多個運動向量(Μν),其指示 在當前視訊區塊30與來自用於編碼當前視訊區塊3〇之參考 圖框之一或多個匹配區塊之間的位移之量值及軌跡。一 148857.doc • 44- 201108743 多個匹配區塊將用作預測性(或預測)區塊以供框間編碼待 編碼區塊。 運動向量可具有二分之一或四分之一像素精確度乃至更 精細的精確度,從而允許視訊編碼器2〇以比整數像素位置 更高的精確度追蹤運動且獲得更好的預測區塊。當使用具 有分數像素值之運動向量時,在運動補償單元36中進行内 插運算。運動估計單元32使用諸如速率失真模型之某些準 則識別視訊區塊之最佳區塊分割及一或多個運動向量。舉 例而言,在雙向預測之狀況下可存在一個以上之運動向 量。使用所得之區塊分割及運動向量,運動補償單元36形 成預測視訊區塊(94)。 視訊編碼器20藉由在求和器48處自原始的當前視訊區塊 3〇減去由運動補償單元36產生之預測視訊區塊來形成殘餘 視訊區塊(96)。區塊轉換單元38應用產生殘餘轉換區塊係 數之轉換。區塊轉換單元38包括根據本發明中描述之技術 產生之4x4 DCT-Π單元52。區塊轉換單元38將經縮放4χ4 DCT-II單元52應用於殘餘區塊以產生殘餘轉換係數之4χ4 區塊。4x4 DCT-II單元52通常將殘餘區塊自表示為殘餘像 素資料之空間域轉換至表示為DCT係數之頻域(98)。轉換 係數可包含DCT係數,其包括至少一DC係數及一或多個 AC係數。 I化單元40量化(例如,捨入)殘餘轉換區塊係數以進一 步減小位tl率(100)。如上文所提及,量化單元4〇藉由併入 有在因式分解期間所移除之内部因數來考慮到經縮放4χ4 I48857.d0c -45- 201108743 DCT-ΙΙ單元52之經縮放性質。亦即,量化單元如併入有以 上關於圖4Α至圖4C之實施70A-70C所提到之外部因數。由 於量化通常涉及乘法,因此將此等因數併入至量化單元 中不會增加量化單元40之實施複雜性。在此方面,自經縮 放4x4 DCT-II單元52移除因數在不增加量化單元4〇之實施 複雜性的情況下減小DCT-II單元52之實施複雜性,從而導 致關於視机編碼|§ 2 0之實施複雜性之淨減小。 嫡編碼單元46嫡編碼經量化的係數以更進一步減々位元 率。熵編碼單元46執行統計無損耗編碼(在一些情況下被 稱為熵編碼)以產生經編碼之位元流(1〇2卜熵編碼單元牝 模型化經量化DCT係數之機率分佈且基於模型化機率分佈 選擇碼薄(例如’ CAVLC或CABAC)。透過使用此碼薄,摘 編碼單元46以壓縮經量化DCT係數之方式選擇用於每一經 量化DCT係數之碼。熵編碼單元46輸出熵編碼係數以作為 儲存至記憶體或儲存器件及/或發送至視訊解碼器%之經 編碼位元流(1 〇4)。 重建構單元4 2及反轉換單元4 4分別重建構經量化係數及 應用反轉換以重建構殘餘區塊。求和單元5〇將重建構㈣ 餘區塊加至由運動補償單元36產生之運動補償的預測區塊 以產生重建構的視訊區塊以用於儲存於參考圖框儲存器Μ 中。重建構的視訊區塊被運動估計單元32及運動補償單元 36用於編碼隨後視訊圖框中之區塊。 圖6為說明諸如圖3之視訊解碼器%之編碼器件在應用根 據本發明之技術建構之4x4町仙實施時之實例操作的流 148857.doc _46· 201108743 程圖。視訊解碼器26接收已由視訊編碼器2〇編碼之經編碼 視訊位元流。詳言之,熵解碼單元54接收經編碼之視訊位 元流且自位元流解碼量化的殘餘係數及量化的參數,以及 其他資訊,諸如,巨集區塊編碼模式及運動資訊,其可包 括運動向量及區塊分割(106、108)。運動補償單元56接收 運動向量及區塊分割及來自參考圖框儲存器62之一或多個 重建構的參考圖框以產生預測視訊區塊(丨丨〇)。 重建構單元5 8反置化(亦即,解量化)量化的區塊係數 (112)。反轉換單元6〇將反轉換(例如,反DCT)應用於係數 以產生殘餘區塊。更特定言之,反轉換單元6〇包括一經縮 放4M DCT-ΙΠ單元68,反轉換單元60將其應用於係數以產 生殘餘區塊(114)。為圖2中所示之經縮放4x4 DCT-II單元 52之反操作的經縮放4x4 DCT_In單元68可將係數自頻域轉 換至空間域以產生殘餘區塊。類似衿以上之量化單元4〇, 重建構單元58藉由在實施複雜性極小增加(若存在)的情況 下將在因式分解期間所移除之外部因數併入至重建構程序 中來考慮到4x4 DCT-III單元68之經縮放性質。自經縮放 4x4 DCT-III單元68移除因數可減小實施複雜性,藉此導致 視訊解碼器26之複雜性之淨減小。 接著藉由求和器66將預測視訊區塊與殘餘區塊求和以形 成經解碼之區塊(116)。可應用解區塊濾波器(未圖示)以對 、’一<解碼之區塊濾波以移除區塊假影。經濾波之區塊接著被 置於參考圖框儲存器62巾’該參相框儲存器62提供用於 解竭隨後視訊圖框之參考圖框且亦產生經解碼之視訊以驅 148857.doc •47· 201108743 動諸如圖1之顯示器件28之顯示器件(118)。 圖7A至圖7C為說明根據本發明之技術所建構之三種不 同4x4 DCT-II實施(諸如圖4A至圖4C之實施70A-70C)中之 每一者的相對於位元率之峰值信雜比之曲線120A-120C的 圖。圖7 A為說明根據本發明之技術所建構之正交經縮放 4x4 DCT-II實施(諸如圖4A之實施70A)的相對於位元率之 峰值信雜比(PSNR)之曲線120A的圖。根據曲線120A之圖 解,實線表示由H.264視訊編碼標準併入有之標準4x4 DCT-II實施。點線表示能夠執行無理乘法及加法之理論最 佳DCT實施。長劃線表示内部因數C及*S分別設定至2及5之 正交4x4 DCT-II實施70A。短劃線表示内部因數(:及5分別 設定至3及7之正交4x4 DCT-II實施70A。點劃線表示内部 因數C及51分別設定至5及12之正交4x4 DCT-II實施70A。值 得注意地,内部因數C及5"設定至2及5之正交4x4 DCT-II實 施70A比H.264實施更準確地近似理論最佳DCT-II實施。此 外,内部因數C及*S設定至3及7或5及12之正交4x4 DCT-II 實施70A與内部因數C及S設定至2及5之正交4x4 DCT-II實 施70A相比不提供PSNR方面的顯著增益,儘管此等實施涉 及更複雜的實施。 圖7B為說明根據本發明之技術建構之正交經縮放4x4 DCT-II實施(諸如圖4B之實施70B)的相對於位元率之峰值 信雜比(PSNR)之曲線120B的圖。根據曲線120B之圖解, 實線表示由H.264視訊編碼標準併入有之標準正交4x4 DCT-II實施。點線表示能夠執行無理乘法及加法之理論最 148857.doc -48- 201108743 佳DCT實施。短劃線表示内部因數(:及S分別設定至1及2之 接近正交4x4 DCT-II實施70B。長劃線表示内部因數C及5* 分別設定至2及5之接近正交4x4 DCT-II實施70B。點劃線 表示内部因數C及51分別設定至5及12之接近正交4x4 DCT-II實施70B。值得注意地,内部因數0及5設定至2及5之接 近正交4x4 DCT-II實施70B在PSNR方面並不比H.264實施 好很多。然而,内部因數C及51設定至1及2之接近正交4x4 DCT-II實施70B提供甚至比理論DCT實施還要好的PSNR, 而内部因數C及51設定至5及12之接近正交4x4 DCT-II實施 70B最準確地表示理論DCT實施。 圖7C為說明自替代因式分解所導出且根據本發明之技術 所建構之接近正交經縮放4x4 DCT-II實施(諸如圖4C之實 施70C)的相對於位元率之峰值信雜比(PSNR)之曲線120C 的圖。根據曲線120C之圖解,實線表示由H.264視訊編碼 標準併入有之標準正交4x4 DCT-II實施。點線表示能夠執 行無理乘法及加法之理論最佳DCT實施。長劃線表示内部 因數5及d分別設定至2及3之接近正交4x4 DCT-II實施 70C。短劃線表示内部因數5及乂分別設定至5及7之接近正 交4x4 DCT-II實施70C。點劃線表示内部因數5及3分別設 定至29及41之接近正交4x4 DCT-II實施70C。值得注意 地,内部因數5及J設定至2及3之接近正交4x4 DCT-II實施 70C在PSNR方面比H.264實施更差。然而,内部因數5及J 設定至5及7之接近正交4x4 DCT-II實施70C提供比H.264實 施好的PSNR,且準確地表示理論DCT實施而不需要内部 148857.doc • 49- 201108743 因數C及S設定至29及41之接近正交4x4 DCT-ΙΙ實施70C的 複雜性。 本發明之技術可在廣泛多種器件或裝置中實施,其包括 諸如行動電話之無線通信器件手機、積體電路(IC)或一組 1C(亦即,晶片組)^已描述任何組件、模組或單元以強調 功能態樣且不必定需要藉由不同硬體單元實現。本文中所 描述之技術亦可在硬體、軟體、韌體或其任何組合中實 施。描述為模組、單元或組件之任何特徵可在積體邏輯器 件中共同貫施,或作為離散但可交互操作之邏輯器件分別 實施。在一些狀況下,各種特徵可實施為積體電路器件, 诸如’積體電路晶片或晶片組。 若在軟體中實施,則技術可至少部分地藉由包含指令之 電腦可讀媒體實現,該等指令在處理器中執行時執行以上 所述之方法中之-或多纟。電腦可讀媒體可包含為實體結 構之電腦可讀儲存媒體且可形成電腦程式產品之一部分, 電腦程式產品可包括包裝材料。電腦可讀儲存媒體可包/ 諸如同步動態隨機存取記憶體(SDRAM)之隨機存取H (RAM)、唯讀記憶體⑽M)、非揮發性隨機存取士己憶| (NVRAM)、電可抹除可程式化唯讀記憶體(EEpR〇M):: 閃記憶體、磁性或光學資料儲存媒體及其類似物。在此 義上’電腦可讀儲存媒體可在一些方面被認為非暫 腦可讀儲存媒體。 、 私式碼或4曰令可由一或多個處理器 位信號處理器(DSP)、通用微處理器 ,諸如 —或多個數 特殊應用積體電路 148857.doc •50. 201108743 (ASIC)、場可程式化邏輯陣列(FpGA)或其他等效積體或離 散邏輯電路來執行。因此,術語「處理器」如本文中所使 用可私代以上結構或適合於實施本文中所描述技術之任何 其他結構中之任—者。另外,在—些態樣中,本文中所描 述之功此性可提供於經組態以用於編碼及解碼之專用軟體 模、.且或硬體模組内,或併入於組合的視訊編碼解碼器中。 又可在一或多個電路或邏輯元件中充分地實施該等技 術。 本發明亦預期多種積體電路器件中之任一者,其包括實 =本發明中所描述技術中之一或多者的電路。此電路可經 提供於單一積體電路晶片中或提供於所謂的晶片組中之多 個可交互操作之積體電路晶片中。此等積體電路器件可用 ;夕種應用中’其之-些可包括在諸如行動電話手機之無 線通信器件中之使用。 已描述技術之各種態樣。此等及其他態樣在以下申請專 利範圍之範嘴内。 【圖式簡單說明】 圖1為說明視訊編碼及解碼系統之方塊圖; 圖2為更詳細說明圖i之視訊編碼器之方塊圖; 圖3為更詳細說明圖丨之視訊解碼器之方塊圖; 圖4A至圖4C為各自說明根據本發明之技術所建構之經 縮放4><4 DCT-II之實施的圖; 圖5為說明編碼器件在應用根據本發明之技術所建構之 4x4 DCT實施時之例示性操作的流程圖; 148857.doc •51 - 201108743 圖6為說明編碼器件在應用根據本發明之技術所建構之 4x4 DCT-ΙΙΙ實施時之實例操作的流程圖;及 圖7Α至圖7C為說明根據本發明之技術所建構之三種不 同4x4 DCT-II實施中之每—者的相對於位元率之峰值信雜 比之曲線的圖。 【主要元件符號說明】 10 視訊編碼及解碼系統 12 源硬體器件 14 接收硬體器件 16 通信通道 18 視訊源 20 視訊編碼器 22 傳輸器 24 接收器 26 視訊解碼器 28 視訊顯示器件 30 當刚視訊區塊 32 運動估計單元 34 參考圖框儲存器 36 運動補償單元 38 區塊轉換單元 40 量化單元 42 反量化單元/重建構單元 44 反轉換單元 148857.doc -52- 201108743 46 熵編碼單元 48 求和器 50 求和器 52 4x4 DCT-II單元 54 熵解碼單元 56 運動補償單元 58 重建構單元 60 反轉換單元 62 參考圖框儲存器 64 記憶體 66 求和器 68 4x4 DCT-III單元 70Α 經縮放正交4x4 DCT-II實施 70Β 經縮放接近正交4 x4 DCT-II實施 70C 經縮放接近正交4 x4 DCT-II實施 72 蝶形單元 74Α 偶數部分 74Β 奇數部分 76 蝶形單元 78Α 偶數部分 78Β 奇數部分 80 蝶形單元 82Α 偶數部分 82Β 奇數部分 120A-120C 曲線 148857.doc -53·

Claims (1)

  1. 201108743 七、申請專利範園: 1. 一種裝置,其包含: 一4X4離散餘弦轉換(DCT)硬體單元,其實施具有一奇 數P刀之正父4x4 DCT,該奇數部分應用與一經縮放 因數(ξ)有㈣的第一内部因數及第二内部因數(C、S)以使 得省Ik縮放因數等於該第一内部因數之一平方加該第 二内部因數⑻之—平方之―總和的—平方根, 其中該4x4 DCT硬體單元將該4x4 DCT實施應用於媒 體貧料以將該媒體資料自一空間域轉換至一頻域。 2 ·如請求項1之裝置, 其中該内部因數C等於一,且 其中該内部因數S等於二。 3.如請求項1之裝置, 其中該内部因數C等於二,且 其中該内部因數S等於五。 4·如請求項1之裝置, 其中該内部因數C等於三,且 其中該内部因數S等於七。 - 5.如請求項1之裝·置, 其中該内部因數C等於五,且 其中該内部因數S等於十二。 6.如請求項!之裝置, 其中該内部因數C等於十七,且 其中該内部因數S等於四十一。 148857.doc 201108743 7 ·如凊求項1之裝置, 其中該4x4 DCT硬體單元將該4x4 DCT實施應用於該 媒體資料以確定一或多個DCT係數,且 其中该裝置進一步包含一量化單元,該量化單元使用 一或多個DCT係數之該經縮放因數(ξ)以確定量化DCT係 數。 ’、 8.如請求項1之震置,其 亡—处工王 9. 器’該處理器執行軟體以實施該正交4x4 DCT 一種方法’其包含: •正交4x4 空間域轉 該奇數部 藉由一4x4離散餘弦轉換(DCT)硬體單元將 DCT實施應用於媒體資料以將該媒體資料自· 換至一頻域, 其中該正交4M DCT實施包括一奇數邻八 八田& 〇丨刀,睐寸数邵 刀應用與一經縮放因數(ξ)有關的第一内部因數及第二内 部因數(C、S)以使得該經縮放因數等 第—内部因數 ()之一平方加該第二内部因數(s — -平方根。 +方之-總和的 10.如請求項9之方法, 其中該内部因數C等於一,且 其中該内部因數s等於二。 11_如請求項9之方法, 其中該内部因數C等於二,且 其中該内部因數S等於五。 12.如請求項9之方法, 148857.doc 201108743 其中該内部因數c等於三,且 其中該内部因數s等於七。 13·如請求項9之方法, 其中該内部因數C等於五,且 其中該内部因數S等於十二。 14. 如請求項9之方法, 其中該内部因數C等於十七,且 其中該内部因數S等於四十一。 15. 如請求項9之方法, 其中應用該正交4x4 DCT實施包括將該正交4x4 DCT 貫施應用於該媒體資料以確定一或多個DCT係數,且 其中該方法進一步包含使用一或多個DCT係數之該經 縮放因數(ξ)以確定量化DCT係數。 16. —種裝置,其包含: 用於將一正交4x4離散餘弦轉換(DCT)實施應用於媒體 資料以將該媒體資料自一空間域轉換至一頻域之構件, 其中該正交4x4 DCT實施包括一奇數部分,該奇數部 分應用與一經縮放因數⑻有關的第一内部因數及第二内 部因數(C、S)以使得該經縮放因數等於該第—内部因數 ⑹之-平方加該第二内部因數⑻之一平方之—總 一平方根。 17.如請求項16之裝置, 其中該内部因數C等於一,且 其中該内部因數S等於二。 148857.doc 201108743 18_如請求項16之裝置, 其中該内部因數C等於二,且 其中該内部因數S等於五。 19.如請求項16之裝置, 其中該内部因數c等於三,且 其中該内部因數S等於七。 2 0.如請求項16之裝置, 其中該内部因數C等於五,且 其中該内部因數8等於十二。 21 ·如清求項16之裝置, 其中該内部因數(:等於十七,且 其中該内部因數S等於四十一。 2 2.如凊求項16之裝置, 其中用於將該4x4 DCT實施應用於該媒體資料之該構 件包含用於應用該4x4 DCT實施以確定一或多個DCT係 數之構件,且 其中該裝置進—步包含用於使用一或多個DCT係數之 該經縮放因數(纟)以確定量化DCT係數之構件。 23. -種非暫時性電腦可讀儲存媒體,其儲存指令,該等指 令在由一處理器執行時引起該處理器: 藉由一4X4離散餘弦轉換(DCT)硬體單元將一正交4χ4 DCT實施應用於媒體資料以將該媒體資料自一空間域轉 換至一頻域, 其中該正交4M DCT實施包括一奇數部分,該奇數部 I48857.doc 201108743 分應用與一經縮放因數(ξ)有關的第一内部因數及第二内 部因數(c、s)以使得該經縮放因數等於該第一内部因數 (C)之一平方加該第二内部因數(s)之一平方之一總和的 一平方根。 24. —種裝置,其包含: 一4x4雄散餘弦轉換(dct)硬體單元,其中DCT模組實 施具有一奇數部分之一非正交4x4 DCT,該奇數部分應 用按以下方程式與一經縮放因數(ξ)有關的第一變數及第 二變數(C、S): ω + ψ 其中變數ω及ψ表示無理内部轉換因數且變數c及s表 不在該非正交4M DCT之整數實施中代替變數(〇及¥使用 之二元有理内部轉換因數,且 其中该4x4 DCT硬體單元將該4x4 DCT實施應用於媒 體資料以將該媒體資料自一空間域轉換至一頻域。 25. 如請求項24之裝置, 其中該内部因數C等於一,且 其中該内部因數S等於二。 26. 如請求項24之裝置, 其中該内部因數C等於二,且 其中該内部因數S等於五。 27. 如請求項24之裝置, 其中該内部因數C等於五,且 148857.doc 201108743 其中該内部因數s等於十二。 28.如請求項24之裝置, 其中該4x4 DCT模組將該非正交4x4 DCT實施應用於 該媒體資料以確定一或多個DCT係數,且 其中该裝置進一步包含一量化單元,該量化單元使用 *亥一或多個DCT係數之該經縮放因數(ξ)以確定量化DCT 係數。 29·如晴求項24之裝置,其中該4x4 DCT硬體單元包含一處 理器’該處理器執行軟體以實施該非正交4χ4 DCT。 30. —種方法’其包含: 藉由一 4x4離散餘弦轉換(DCT)硬體單元將一非正交 4x4 DCT應用於媒體資料以將該媒體資料自一空間域轉 換至一頻域, 其中該非正交4x4 DCT包括-奇數部分,該奇數部分 應用按以下方程式與一經縮放因數(ξ)有關的第一 第二變數(C、S): ί =— > ω·¥ψ 其中變數ω及ψ表示無理内部轉換因數且變數匚及呂表 示在該非正交4χ4 DCT之整數實施中代替變數使用^ 之二元有理内部轉換因數。 3 1·如請求項3〇之方法, 其中該内部因數C等於一,且 其中該内部因數s等於二。 148857.doc 201108743 32. 如請求項3〇之方法, 其中該内部因數C等於二,且 其中該内部因數S等於五。 33. 如請求項3〇之方法, 其中該内部因數C等於五,且 其中該内部因數S等於十二。 3 4.如睛求項3 〇之方法, 其中應用該非正交4x4 DCT包含將該非正交4x4 DCT 應用於該媒體資料以確定一或多個DCT係數,且 其中該方法進一步包含使用該一或多個DCT係數之該 經縮放因數(ξ)以確定量化Dct係數。 35. —種裝置,其包含: 用於藉由一 4x4離散餘弦轉換(DCT)硬體單元將一非正 父4x4 DCT應用於媒體資料以將該媒體資料自一空間域 轉換至一頻域之構件, 其中該非正交4x4 DCT包括一奇數部分,該奇數部分 應用按以下方程式與一經縮放因數(ξ)有關的第一變數及 第二變數(C、S): jr C S # =--- ω + ψ 其中變數ω及ψ表示無理内部轉換因數且變數€及8表 示在該非正交4x4 DCT之整數實施中代替變數①及^^使用 之二元有理内部轉換因數。 36_如請求項35之裝置, 148857.doc 201108743 其中該内部因數c等於一,且 其中該内部因數s等於二。 3 7 _如請求項3 5之裝置, 其中該内部因數C等於二,且 其中該内部因數S等於五。 3 8 ·如請求項3 5之裝置, 其中該内部因數C等於五,且 其中該内部因數S等於十二。 3 9 ·如請求項3 5之裝置, 其中用於應用該非正交4x4 DCT之該構件包含用於將 該非正交4x4 DCT應用於該媒體資料以確定一或多個 DCT係數之構件,且 其中該裝置進一步包含用於使用該一或多個DCT係數 之该經縮放因數(ξ)以確定量化dct係數之構件。 40. —種非暫時性電腦可讀儲存媒體,其儲存指令,該等指 令在由一處理器執行時引起該處理器: 藉由一 4x4離散餘弦轉換(DcT)硬體單元將一非正交 4x4 DCT應用於媒體資料以將該媒體資料自一空間域轉 換至一頻域, 其中該非正交4x4 DCT包括一奇數部分,該奇數部分 應用按以下方程式與一經縮放因數(ξ)有關的第一變數及 第二變數(C、S): „ C + S ξ=-, 148857.doc 201108743 其中變數表示無理内部轉換因數且變數表 不在該非正交4X4 DCT之整數實施中代替變數錢少使用 之一疋有理内部轉換因數。 41· 一種裝置,其包含: 一 4x4離散餘弦轉換(DCT)硬體單元,其實施具有一奇 數部分之—非正交4x4 DCT ’該奇數部分應用按以下方 程式與一經縮放因數(ξ)有關的第一内部因數及第二内部 因數(A、Β): #- Α-\- Β ξ=Τ^7Έ 5 其中該經縮放因數(ξ)等於該第一内部因數加該第 二内部因數(Β)之一總和除以一加一除以二之平方根,且 其中該4x4 DCT硬體單元將該4x4 DCT實施應用於媒 體資料以將該媒體資料自一空間域轉換至一頻域。 42. 如請求項41之裝置, 其中該内部因數Α等於三,且 其中該内部因數B等於二。 43. 如請求項41之裝置, 其中該内部因數A等於七,且 其中該内部因數B等於五。 44. 如請求項41之裝置, 其中該内部因數A等於二十九,且 其中該内部因數B等於四十一。 45. 如請求項41之裝置, 148857.doc •9· 201108743 其中該4x4 DCT硬體單元將該非正交4x4 DCT實施應 用於該媒體資料以確定一或多個DCT係數,且 其中s亥裝置進一步包含一量化單元,該量化單元使用 '玄或夕個DCT係數之該經縮放因數(ξ)以確定量化dct 係數。 46. 47. 48. 49. 如請求項41之裝置,其中該4x4 DCT硬體單元包含一處 理器’該處理器執行軟體以實施該非正交4x4 DCT。 一種方法’其包含: 藉由一 4x4離散餘弦轉換(DCT)硬體單元將一非正交 4M DCT應用於媒體資料以將該媒體資料自一空間域轉 換至一頻域, 其中該非正交4x4 DCT包括一奇數部分,該奇數部分 應用按以下方程式與一經縮放因數(ξ)有關的第一内部因 數及第二内部因數(A、Β): t A + B ξ=Τνϊ772 5 其中該經縮放因數(ξ)等於該第一内部因數(Α)加該第 一内部因數(B)之一總和除以一加一除以二之平方根。 如請求項47之方法, 其中該内部因數A等於三,且 其中該内部因數B等於二。 如請求項47之方法, 其中該内部因數八等於七,且 其中該内部因數B等於五。 148857.doc 201108743 50. 如請求項47之方法, 其中該内部因數A等於二十九,且 其中該内部因數B等於四十一。 51. 如請求項47之方法, 其中應用s亥非正交4x4 DCT包括將該非正交4x4 DCT 應用於該媒體資料以確定一或多個Dct係數,且 其中該方法進一步包含使用該一或多個DCT係數之該 經縮放因數(ξ)以確定量化Dct係數。 52. —種裝置,其包含: 用於藉由一 4x4離散餘弦轉換(DCT)硬體單元將一非正 父4x4 DCT應用於媒體資料以將該媒體資料自一空間域 轉換至一頻域之構件,其中該非正交4x4 DCT包括一奇 數部分’該奇數部分應用按以下方程式與一經縮放因數 (ξ)有關的第一内部因數及第二内部因數(A、Β): 1+1/V2 其中該經縮放因數(ξ)等於該第/内部因數(A)加該第 二内部因數(B)之一總和除以一加〆除以二之平方根。 53. 如請求項52之裝置, 其中該内部因數八等於三,且 其中該内部因數3等於二。 54. 如請求項52之裝置, 其中該内部因數A等於七,且 其中該内部因數B等於五。 148857.doc 201108743 55. 如請求項52之裝置, 其中該内部因數A等於二十九,且 其中該内部因數B等於四十一。 56. 如凊求項52之裂置, 其中用於應用該非正交4x4 DCT之該構件包含用於將 该非正交4x4 DCT應用於該媒體資料以確定一或多個 DCT係數之構件,且 /、中及裝置進一步包含用於使用該一或多個係數 之忒經縮放因數(ξ)以確定量化DCt係數之構件。 57. —種非暫時性電腦可讀儲存媒體,其儲存指令,該等指 令在由一處理器執行時引起該處理器: 藉由一 4Μ離散餘弦轉換(DCT)硬體單元將一非正交 4M DCT應用於媒體資料以將該媒體資料自一空間域轉 換至一頻域, 其中該非正交4Μ DCT包括一奇數部分,該奇數部分 應用按以下方程式與一經縮放因數(ξ)有關的第一内部因 數及第二内部因數(A、Β): 其中該經縮放因數(ξ)等於該第一内部因數(A)加該第 一内部因數(B)之一總和除以—加一除以二之平方根。 148857.doc -12-
TW099118490A 2009-06-05 2010-06-07 4x4 transform for media coding TW201108743A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US18465609P 2009-06-05 2009-06-05
US21988709P 2009-06-24 2009-06-24
US12/788,666 US8762441B2 (en) 2009-06-05 2010-05-27 4X4 transform for media coding

Publications (1)

Publication Number Publication Date
TW201108743A true TW201108743A (en) 2011-03-01

Family

ID=43298577

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099118490A TW201108743A (en) 2009-06-05 2010-06-07 4x4 transform for media coding

Country Status (7)

Country Link
US (1) US8762441B2 (zh)
EP (1) EP2438536A2 (zh)
JP (1) JP5497164B2 (zh)
KR (1) KR101315562B1 (zh)
CN (1) CN102713895B (zh)
TW (1) TW201108743A (zh)
WO (1) WO2010141903A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI502970B (zh) * 2011-06-30 2015-10-01 Samsung Electronics Co Ltd 以對固定點轉換之位元深度控制做視訊編碼之方法與裝置以及以對固定點轉換之位元深度控制做視訊解碼之方法與裝置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110849B2 (en) * 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US9069713B2 (en) * 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
US8451904B2 (en) * 2009-06-24 2013-05-28 Qualcomm Incorporated 8-point transform for media data coding
US9075757B2 (en) * 2009-06-24 2015-07-07 Qualcomm Incorporated 16-point transform for media data coding
US9118898B2 (en) 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
US9081733B2 (en) * 2009-06-24 2015-07-14 Qualcomm Incorporated 16-point transform for media data coding
US9824066B2 (en) 2011-01-10 2017-11-21 Qualcomm Incorporated 32-point transform for media data coding
JP2014523708A (ja) 2011-07-01 2014-09-11 モトローラ モビリティ エルエルシー 動きベクトル予測設計の簡易化
CN108063943B (zh) * 2011-10-17 2021-11-02 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
GB2561487B (en) * 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
WO2013067440A1 (en) * 2011-11-04 2013-05-10 General Instrument Corporation Motion vector scaling for non-uniform motion vector grid
AU2013261845A1 (en) * 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
BR112017004886A2 (pt) * 2014-09-12 2017-12-05 Vid Scale Inc dispositivo de codificação de vídeo e método de codificação de vídeo
US11647214B2 (en) * 2018-03-30 2023-05-09 Qualcomm Incorporated Multiple transforms adjustment stages for video coding
WO2022174762A1 (en) * 2021-02-20 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. Transforms on non-dyadic blocks
US20230336752A1 (en) * 2022-04-15 2023-10-19 Synaptics Incorporated Image compression with inter-channel encoding of codewords

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253055A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Efficient frequency scalable video encoding with coefficient selection
US5408425A (en) * 1993-05-25 1995-04-18 The Aerospace Corporation Split-radix discrete cosine transform
US5508949A (en) * 1993-12-29 1996-04-16 Hewlett-Packard Company Fast subband filtering in digital signal coding
US5649077A (en) * 1994-03-30 1997-07-15 Institute Of Microelectronics, National University Of Singapore Modularized architecture for rendering scaled discrete cosine transform coefficients and inverse thereof for rapid implementation
JP3115199B2 (ja) * 1994-12-16 2000-12-04 松下電器産業株式会社 画像圧縮符号化装置
US5737450A (en) * 1995-05-15 1998-04-07 Polaroid Corporation Method and apparatus for fast two-dimensional cosine transform filtering
JP2778622B2 (ja) * 1995-06-06 1998-07-23 日本電気株式会社 2次元dct回路
JPH09212484A (ja) 1996-01-30 1997-08-15 Texas Instr Inc <Ti> 離散コサイン変換方法
AU9030298A (en) 1997-08-25 1999-03-16 Qualcomm Incorporated Variable block size 2-dimensional inverse discrete cosine transform engine
CN1213612C (zh) * 1997-11-17 2005-08-03 索尼电子有限公司 用于采用离散变换进行数字视频数据去压缩的方法和系统
US6222944B1 (en) 1998-05-07 2001-04-24 Sarnoff Corporation Down-sampling MPEG image decoder
JP2001346213A (ja) * 2000-06-02 2001-12-14 Nec Corp 離散コサイン変換装置及びその離散コサイン変換方法
AU2001234971A1 (en) * 2000-02-09 2001-08-20 T. C. Cheng Fast method for the forward and inverse mdct in audio coding
KR100545445B1 (ko) 2000-10-23 2006-01-24 인터내셔널 비지네스 머신즈 코포레이션 스케일링 항, 초기 중지 및 정밀도 세분을 이용한 고속 이산 변환 방법
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7366236B1 (en) * 2001-06-04 2008-04-29 Cisco Sytems Canada Co. Source adaptive system and method for 2D iDCT
US7185037B2 (en) * 2001-08-23 2007-02-27 Texas Instruments Incorporated Video block transform
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
KR100481067B1 (ko) * 2001-09-28 2005-04-07 브이케이 주식회사 분산 산술 처리장치 및 그를 이용한 이차원 이산여현변환 처리장치
FR2834362A1 (fr) 2001-12-28 2003-07-04 Koninkl Philips Electronics Nv Dispositif de transformation inverse adaptatif
JP2003223433A (ja) 2002-01-31 2003-08-08 Matsushita Electric Ind Co Ltd 直交変換方法、直交変換装置、符号化方法、符号化装置、逆直交変換方法、逆直交変換装置、復号化方法、及び、復号化装置
US7007055B2 (en) * 2002-03-12 2006-02-28 Intel Corporation Method of performing NxM Discrete Cosine Transform
US7242713B2 (en) * 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
US7437394B2 (en) * 2002-06-19 2008-10-14 The Aerospace Corporation Merge and split discrete cosine block transform method
US20040136602A1 (en) * 2003-01-10 2004-07-15 Nithin Nagaraj Method and apparatus for performing non-dyadic wavelet transforms
US7412100B2 (en) * 2003-09-04 2008-08-12 Qualcomm Incorporated Apparatus and method for sub-sampling images in a transform domain
US7379500B2 (en) * 2003-09-30 2008-05-27 Microsoft Corporation Low-complexity 2-power transform for image/video compression
TWI241074B (en) 2003-11-05 2005-10-01 Bing-Fei Wu Image compression system using two-dimensional discrete wavelet transformation
US20050213835A1 (en) * 2004-03-18 2005-09-29 Huazhong University Of Science & Technology And Samsung Electronics Co., Ltd. Integer transform matrix selection method in video coding and related integer transform method
US8861600B2 (en) * 2004-06-18 2014-10-14 Broadcom Corporation Method and system for dynamically configurable DCT/IDCT module in a wireless handset
US7587093B2 (en) 2004-07-07 2009-09-08 Mediatek Inc. Method and apparatus for implementing DCT/IDCT based video/image processing
US7471850B2 (en) 2004-12-17 2008-12-30 Microsoft Corporation Reversible transform for lossy and lossless 2-D data compression
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
TW200643848A (en) 2005-06-01 2006-12-16 Wintek Corp Method and apparatus for four-color data conversion
JP4885487B2 (ja) * 2005-06-28 2012-02-29 矢崎総業株式会社 配線基板における接続端子固定構造
US20070025441A1 (en) * 2005-07-28 2007-02-01 Nokia Corporation Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding
TWI280804B (en) 2005-09-26 2007-05-01 Yuh-Jue Chuang Method for splitting 8x8 DCT into four 4x4 modified DCTS used in AVC/H. 264
US7725516B2 (en) 2005-10-05 2010-05-25 Qualcomm Incorporated Fast DCT algorithm for DSP with VLIW architecture
US20070200738A1 (en) * 2005-10-12 2007-08-30 Yuriy Reznik Efficient multiplication-free computation for signal and data processing
TWI311856B (en) 2006-01-04 2009-07-01 Quanta Comp Inc Synthesis subband filtering method and apparatus
US8595281B2 (en) * 2006-01-11 2013-11-26 Qualcomm Incorporated Transforms with common factors
US8849884B2 (en) * 2006-03-29 2014-09-30 Qualcom Incorporate Transform design with scaled and non-scaled interfaces
EP1850597A1 (en) 2006-04-24 2007-10-31 Universität Dortmund Method and circuit for performing a cordic based Loeffler discrete cosine transformation (DCT), particularly for signal processing
US8699810B2 (en) * 2006-06-26 2014-04-15 Qualcomm Incorporated Efficient fixed-point approximations of forward and inverse discrete cosine transforms
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US8654833B2 (en) * 2007-09-26 2014-02-18 Qualcomm Incorporated Efficient transformation techniques for video coding
US9445110B2 (en) * 2007-09-28 2016-09-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
US20090141808A1 (en) * 2007-11-30 2009-06-04 Yiufai Wong System and methods for improved video decoding
US8631060B2 (en) * 2007-12-13 2014-01-14 Qualcomm Incorporated Fast algorithms for computation of 5-point DCT-II, DCT-IV, and DST-IV, and architectures
KR20090078494A (ko) * 2008-01-15 2009-07-20 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
US20100172409A1 (en) * 2009-01-06 2010-07-08 Qualcom Incorporated Low-complexity transforms for data compression and decompression
US9110849B2 (en) * 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US9069713B2 (en) * 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
US9118898B2 (en) * 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
US9081733B2 (en) * 2009-06-24 2015-07-14 Qualcomm Incorporated 16-point transform for media data coding
US8451904B2 (en) * 2009-06-24 2013-05-28 Qualcomm Incorporated 8-point transform for media data coding
US9075757B2 (en) * 2009-06-24 2015-07-07 Qualcomm Incorporated 16-point transform for media data coding
US9824066B2 (en) * 2011-01-10 2017-11-21 Qualcomm Incorporated 32-point transform for media data coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI502970B (zh) * 2011-06-30 2015-10-01 Samsung Electronics Co Ltd 以對固定點轉換之位元深度控制做視訊編碼之方法與裝置以及以對固定點轉換之位元深度控制做視訊解碼之方法與裝置
US9392285B2 (en) 2011-06-30 2016-07-12 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
US9407917B2 (en) 2011-06-30 2016-08-02 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
US9414074B2 (en) 2011-06-30 2016-08-09 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
US9549202B2 (en) 2011-06-30 2017-01-17 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
US9888242B2 (en) 2011-06-30 2018-02-06 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor

Also Published As

Publication number Publication date
US8762441B2 (en) 2014-06-24
WO2010141903A3 (en) 2012-05-18
CN102713895A (zh) 2012-10-03
EP2438536A2 (en) 2012-04-11
KR101315562B1 (ko) 2013-10-10
WO2010141903A2 (en) 2010-12-09
US20100312811A1 (en) 2010-12-09
CN102713895B (zh) 2016-03-16
KR20120026603A (ko) 2012-03-19
JP5497164B2 (ja) 2014-05-21
JP2012529129A (ja) 2012-11-15

Similar Documents

Publication Publication Date Title
TW201108743A (en) 4x4 transform for media coding
JP5497163B2 (ja) メディアコード化のための4×4変換
TWI418996B (zh) 執行一按比例縮放後的為類型ii之離散餘弦轉換(dct-ii)之方法及設備、媒體編碼裝置、非暫時電腦可讀媒體、執行一類型ii之全離散餘弦轉換(dct-ii)之方法及設備和執行一為類型iii之離散餘弦轉換(dct-iii)之方法及設備
KR101315629B1 (ko) 미디어 데이터 코딩을 위한 16-포인트 변환
US9118898B2 (en) 8-point transform for media data coding
US8451904B2 (en) 8-point transform for media data coding
US9075757B2 (en) 16-point transform for media data coding
WO2010080662A2 (en) Low-complexity transforms for data compression and decompression
JP2017537491A (ja) 改善された転置バッファを有するスケーラブルな変換ハードウェアアーキテクチャ