TW201208383A - Image processing device, image processing method, and program - Google Patents

Image processing device, image processing method, and program Download PDF

Info

Publication number
TW201208383A
TW201208383A TW100121641A TW100121641A TW201208383A TW 201208383 A TW201208383 A TW 201208383A TW 100121641 A TW100121641 A TW 100121641A TW 100121641 A TW100121641 A TW 100121641A TW 201208383 A TW201208383 A TW 201208383A
Authority
TW
Taiwan
Prior art keywords
inverse
image
frequency component
recorded
low
Prior art date
Application number
TW100121641A
Other languages
English (en)
Inventor
Kenji Kondo
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201208383A publication Critical patent/TW201208383A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

201208383 六、發明說明: 【發明所屬之技術領域】 本技術係有關於影像處理裝置、影像處理方法、及程 式,尤其是有關於,可削減正交轉換處理或逆正交轉換裝 置之演算量的影像處理裝置、影像處理方法、及程式。 【先前技術】 在相當於AVC ( Advanced Video Coding)之次世代的 編碼方式中,使用一種稱作Rotation transform (ROT)之 正交轉換的方式,正在被硏究(例如,參照專利文獻1) 。在視訊編碼中廣爲使用的先前之離散餘弦轉換(DCT ( Discrete Cosine Transform)),係在數種狀況下並非最 佳。例如,在轉換對象是帶有較強方向成分的情況下, DCT基底向量係無法良好地表現出該較強之方向成分。 通常,在ROT (Directional transform)中是可解決上 記課題,但要求較多的浮點運算、且轉換對象的區塊是要 求正方形,因此要進行ROT是較爲困難的。尤其是,當 ROT的區塊尺寸之種類較多時,更加困難。 於是,考慮設計出進行區塊尺寸種類較少之ROT的處 理部,在DCT之後以2nd transform的方式僅對低頻成分實 施ROT的方法。 圖1係將以此種方法進行正交轉換而被編碼成的影像 資料予以解碼的解碼器中的逆ROT之工程例。 左邊的白框係爲從已被編碼之影像資料中所取出的作 201208383 爲殘差資訊的影像資料。該影像資料係按照4x4像素、8x8 像素、16x16像素、32x32像素、64x64像素、或128x128像 素的像素値所成之區塊而被分別逆量化。然後,逆量化後 的區塊當中,只有低頻成分所成之4x4或8x8像素之區塊會 被逆ROT,該逆ROT後的係數與逆量化後的區塊當中,剩 下的髙頻成分會被一倂進行逆DC T轉換。 藉此,在上述方法中,ROT及逆ROT的區塊尺寸係僅 需準備4x4像素或8x8像素這2種類即可。 [先前技術文獻] [非專利文獻] [非特許文献 l]http://wftp3.itu.int/av-arch/jctvc-site/2010_04_A_Dresden/JCTVC-A124.zip[2010 年 10 月 28 日 檢索] 【發明內容】 [發明所欲解決之課題] 然而,畫面內預測的區塊尺寸若像是4x4像素這麼小 時,會造成問題。具體而言’爲了進行各區塊的畫面內預 測,必須要有該區塊的包含左區塊之周圍的區塊的解碼後 之影像資料,無法平行地進行各區塊的畫面內預測。然後 ,在上述的方法中,爲了獲得解碼後的影像資料’需要進 行DCT、ROT、量化、逆量化、逆R〇T、及逆DCT等非常 多的處理。 -6 - 201208383 因此,當畫面內預測的區塊尺寸較小時,巨集區塊或 CU( Cording Unit)的編碼及解碼所需的最長時間係較大 ,在要求即時性的應用程式中使用上述方法是極爲困難的 。此處,所謂CU係爲和AVC方式中的巨集區塊是相同的槪 念。 本技術係有鑑於此種狀況而硏發,目的在於可削減 ROT及DCT或逆DCT及逆ROT之處理量。 [用以解決課題之手段] 本技術之一側面的影像處理裝置、或程式,係一種影 像處理裝置、或使電腦發揮機能而成爲影像處理裝置的程 式,其特徵爲,具備:逆量化部,係藉由將已被量化之影 像進行逆量化,以求出藉由在第1正交轉換後進行第2正交 轉換所求得之前記影像的所定尺寸的低頻成分、和藉由前 記第1正交轉換所求得之前記影像的前記低頻成分以外之 成分亦即高頻成分;和逆正交轉換部,係當前記影像之尺 寸是前記所定尺寸時,對屬於前記低頻成分的前記影像, 進行前記第1正交轉換所對應之第1逆正交轉換與前記第2 正交轉換所對應之第2逆正交轉換加以合成的轉換亦即第3 逆正交轉換,當前記影像之尺寸是大於前記所定尺寸時, 對前記低頻成分進行前記第2逆正交轉換,對於前記第2逆 正交轉換後的前記低頻成分與已被前記逆量化部所求出之 前記高頻成分,進行前記第1逆正交轉換。 本技術之一側面之影像處理方法,係一種含有以下步 201208383 驟之影像處理方法:藉由將已被量化之影像進行逆量化, 以求出藉由在第1正交轉換後進行第2正交轉換所求得之前 記影像的所定尺寸的低頻成分、和藉由前記第1正交轉換 所求得之前記影像的前記低頻成分以外之成分亦即高頻成 分;當前記影像之尺寸是前記所定尺寸時,對屬於前記低 頻成分的前記影像,進行前記第1正交轉換所對應之第1逆 正交轉換與前記第2正交轉換所對應之第2逆正交轉換加以 合成的轉換亦即第3逆正交轉換,當前記影像之尺寸是大 於前記所定尺寸時,對前記低頻成分進行前記第2逆正交 轉換,對於前記第2逆正交轉換後的前記低頻成分與已被 前記逆量化部所求出之前記高頻成分,進行前記第1逆正 交轉換。 於本技術之一側面中,藉由將已被量化之影像進行逆 量化,以求出藉由在第1正交轉換後進行第2正交轉換所求 得之前記影像的所定尺寸的低頻成分、和藉由前記第1正 交轉換所求得之前記影像的前記低頻成分以外之成分亦即 高頻成分:當前記影像之尺寸是前記所定尺寸時,對屬於 前記低頻成分的前記影像,進行前記第1正交轉換所對應 之第1逆正交轉換與前記第2正交轉換所對應之第2逆正交 轉換加以合成的轉換亦即第3逆正交轉換,當前記影像之 尺寸是大於前記所定尺寸時,對前記低頻成分進行前記第 2逆正交轉換,對於前記第2逆正交轉換後的前記低頻成分 與已被前記逆量化部所求出之前記高頻成分,進行前記第 1逆正交轉換》 -8- 201208383 [發明效果] 若依據本技術之一側面,則可削減R Ο T及D C T或逆 DCT及逆ROT之處理量》 【實施方式】 < —實施形態> 〔編碼器之構成例〕 圖2係適用了本技術之AVC方式之編碼器的一實施形 態之構成例的區塊圖。 圖2的編碼器,係由:A/D轉換裝置101、畫面排序緩 衝區102、演算裝置103、正交轉換裝置1〇4、量化裝置105 、可逆編碼裝置106、積存緩衝區1〇7、逆量化裝置108、 逆正交轉換裝置109、加算裝置11〇、去區塊濾波器ill、 畫格記憶體112、運動補償裝置113、畫面內預測裝置114 、速率控制裝置115、運動預測裝置116、及選擇裝置117 所構成。圖1的編碼器,係將已被輸入之影像,以AVC方 式進行壓縮編碼。 具體而言,編碼器的A/D轉換裝置1〇1,係將作爲輸入 訊號而被輸入之畫格單位的影像,進行A/D轉換,輸出至 畫面重排緩衝區102而記憶之。畫面重排緩衝區102,係將 已記憶之顯示順序的畫格之影像,隨應於GOP ( Group of Picture)構造,重排成編碼所需的順序》 演算裝置103,係因應需要,而從畫面重排緩衝區102 -9- 201208383 所讀出之影像,減去從選擇裝置1 1 7所供給之預測影像。 演算裝置1 03,係將減算結果所得之影像,當作殘差資訊 而輸出至正交轉換裝置104。演算裝置103,係當沒有從選 擇裝置1 1 7供給預測影像時,將從畫面重排緩衝區1 02所讀 出之影像直接當作殘差資訊而輸出至正交轉換裝置104。 正交轉換裝置104,係對來自演算裝置103的殘差資訊 ,進行相應於區塊尺寸的正交轉換處理。具體而言,當區 塊尺寸是4x4像素時,則正交轉換裝置1〇4係對殘差資訊進 行DCT與ROT所合成之轉換。另一方面,當區塊尺寸是8x8 像素時,則正交轉換裝置104係對殘差資訊進行DCT,對 其結果所得之係數,進行ROT。又,當區塊尺寸是大於8x 8像素時,則正交轉換裝置104係對殘差資訊進行DCT,對 其結果所得之係數當中的8x8像素之低頻成分進行ROT, 將其結果所得之係數與剩餘之高頻成分,當作最終的係數 。正交轉換裝置104,係將正交轉換處理之結果所得之係 數,供給至量化裝置105。 量化裝置105,係將從正交轉換裝置104所供給之係數 ,進行量化。已被量化之係數,係被輸入至可逆編碼裝置 106 〇 可逆編碼裝置106,係從畫面內預測裝置1 14取得表示 最佳畫面內預測模式之資訊(以下稱作畫面內預測模式資 訊),並從運動預測裝置1 1 6取得表示最佳畫面間預測模 式之資訊(以下稱作畫面間預測模式資訊)、運動向量之 資訊等。 -10· 201208383 可逆編碼裝置106,係對從量化裝置105所供給之已被 量化之係數,進行可變長度編碼(例如CAVLC ( Context-Adaptive Variable Length Coding) 等 )、 算術編碼 (例如 CABAC ( Context-Adaptive Binary Arithmetic Coding) ^ )等之可逆編碼,將其結果所得之資訊,當作壓縮影像。 又,可逆編碼裝置1 06,係將畫面內預測模式資訊、畫面 間預測模式資訊、運動向量之資訊等進行可逆編碼,將其 結果所得之資訊,當作附加至壓縮影像的標頭資訊。可逆 編碼裝置1 06,係將可逆編碼之結果所得的附加有標頭資 訊的壓縮影像,當作影像壓縮資訊而供給至積存緩衝區 1 07,而積存之。 積存緩衝區107,係將從可逆編碼裝置106所供給之影 像壓縮資訊,予以暫時保持,而輸出至例如後段未圖示的 記錄裝置或傳輸路等。 又,從量化裝置1 05所輸出的已被量化之係數,係亦 被輸入至逆量化裝置108,被逆量化後,供給至逆正交轉 換裝置1 0 9。 逆正交轉換裝置109,係對從逆量化裝置108所供給之 係數,進行相應於區塊尺寸的逆正交轉換處理。具體而言 ,當區塊尺寸是4x4像素時,則逆正交轉換裝置1〇9係對係 數進行逆ROT與逆DCT所合成之轉換。另一方面,當區塊 尺寸是8x8像素時,則逆正交轉換裝置1〇9係對係數進行逆 ROT ’對其結果所得之係數,進行逆DCT。又,當區塊尺 寸是大於8x8像素時,則逆正交轉換裝置1〇9係對係數的8χ -11 - 201208383 8之低頻成分進行逆ROT,對其結果所得之係數與剩餘的 高頻成分,進行逆DCT。逆正交轉換裝置109,係將逆正 交轉換處理之結果所得之殘差資訊,供給至加算裝置1 1 0 〇 加算裝置1 1 0,係將從逆正交轉換裝置1 09所供給之殘 差資訊,因應需要,而與從畫面內預測裝置114或運動補 償裝置1 1 3所供給之預測影像,進行加算,獲得局部性解 碼之影像。加算裝置1 1 0,係將所得到之影像,供給至去 區塊濾波器1 1 1,並且當作參照影像而供給至畫面內預測 裝置1 14。 去區塊濾波器1 1 1,係藉由將從加算裝置1 1 0所供給之 局部性解碼之影像進行過濾,以去除區塊失真。去區塊濾 波器1 1 1,係將其結果所得之影像,供給至畫格記憶體1 1 2 並積存之。被積存在畫格記憶體112中的影像,係成爲參 照影像而輸出至運動補償裝置113及運動預測裝置116。 運動補償裝置113,係基於從運動預測裝置116所供給 之運動向量與畫面間預測模式資訊,而對從畫格記憶體 1 1 2所供給之參照影像,進行補償處理,生成預測影像。 運動補償裝置1 1 3,係將從運動預測裝置1 1 6所供給之成本 函數値(細節將於後述)、和已被生成之預測影像,供給 至選擇裝置117 » 此外’成本函數値係亦稱作RD ( Rate Distortion)成 本’例如’基於如AVC方式中的參照軟體亦即jM ( joint Model)所制定的 High Complexity模式或 Low Complexity -12- 201208383 模式之任一手法而被算出。 具體而言,作爲成本函數値的算出手 Complexity模式時,對於候補的所有預測模 行到可逆編碼爲止,對各預測模式算出下另 的成本函數値。
Cost(Mode)=D + λ · R D係爲原影像與解碼影像之差分(失真) 到正交轉換之係數爲止的發生編碼量,λ係 數QP之函數而被給予的拉格朗日乘數。 另一方面,當作爲成本函數値之算出手 Complexity模式時,對於候補的所有預測模 影像之生成、及表示預測模式之資訊等的標 ,對各預測模式算出下式(2 )所表示之成本 Cost(Mode)=D +QPtoQuant(QP) · Header.Bit D係爲原影像與解碼影像之差分 Header_Bit係爲相對於預測模式的標頭位元: 爲作爲量化參數QP之函數而被給予之函數。 在Low Complexity模式下,對所有的預 生成解碼影像即可,不須進行可逆編碼,因 減少。此外,此處係假設,作爲成本函數値 是採用High Complexity模式。 畫面內預測裝置114,係基於從畫面重| 讀出之影像、和從加算裝置1 1 0所供給之參 候補之所有區塊尺寸的區塊單位,進行候補 法是採用High 式,會嘗試進 :(1 )所表示 ...⑴ ,尺係爲計算 爲作爲量化參 法是採用Low 式,進行解碼 頭位元之算出 函數。 • · · (2) (失真), 丨 QPtoQuant係 測模式 '只需 此演算量可以 之算出手法, 丰緩衝區102所 照影像,而以 之所有畫面內 -13- 201208383 預測模式的畫面內預測處理,生成預測影像。 又,畫面內預測裝置1 1 4係對於候補之所有畫面內預 測模式及區塊尺寸,算出成本函數値。然後,畫面內預測 裝置1 Μ係將成本函數値最小的畫面內預測模式及區塊尺 寸之組合,決定成最佳畫面內預測模式。畫面內預測裝置 1 1 4係將以最佳畫面內預測模式所生成之預測影像、及對 應之成本函數値,供給至選擇裝置1 1 7。畫面內預測裝置 114,係當從選擇裝置117通知了在最佳畫面內預測模式下 所生成之預測影像之選擇時,則將畫面內預測模式資訊供 給至可逆編碼裝置106。 運動預測裝置1 1 6,係基於從畫面重排緩衝區1 02所供 給之影像、和從畫格記億體1 12所供給之參照影像,而進 行候補之所有畫面間預測模式的運動預測,生成運動向量 。此時,運動預測裝置1 1 6係對候補之所有畫面間預測模 式,算出成本函數値,將成本函數値最小的畫面間預測模 式,決定成最佳畫面間預測模式。然後,運動預測裝置 1 1 6係將畫面間預測模式資訊、以及對應之運動向量及成 本函數値,供給至運動補償裝置1 1 3。運動預測裝置1 1 6, 係當從選擇裝置1 1 7通知了在最佳畫面間預測模式下所生 成之預測影像之選擇時,則將畫面間預測模式資訊、對應 之運動向量之資訊等,輸出至可逆編碼裝置106。 選擇裝置117,係基於從畫面內預測裝置114及運動補 償裝置Π 3所供給之成本函數値,而將最佳畫面內預測模 式與最佳畫面間預測模式當中之任一者,決定成最佳預測 -14- 201208383 模式。然後,選擇裝置1 1 7,係將最佳預測模式的預測影 像’供給至演算裝置103及加算裝置110。又,選擇裝置 1 1 7係將最佳預測模式之預測影像的選擇,通知給畫面內 預測裝置1 1 4或運動預測裝置1 1 6。 速率控制裝置115,係基於積存緩衝區107中所積存之 影像壓縮資訊,以不會發生溢位或下溢之方式,控制量化 裝置105的量化動作之速率。 〔解碼裝置的構成例〕 圖3係圖2之編碼器所對應的A VC方式之解碼器的區塊 圖。 圖3的解碼器,係由:積存緩衝區216、可逆解碼裝置 217、逆量化裝置218、逆正交轉換裝置219、加算裝置220 、畫面重排緩衝區221、D/A轉換裝置222、畫格記億體223 、運動補償裝置224、畫面內預測裝置225、去區塊濾波器 226、及開關227所構成。 積存緩衝區216,係將圖2的編碼器所傳輸過來的影像 壓縮資訊,予以積存。可逆解碼裝置217,係從積存緩衝 區216讀出影像壓縮資訊而取得之,將該影像壓縮資訊以 圖2之可逆編碼裝置106的可逆編碼方式所對應之方式,進 行可逆解碼。 具體而言’可逆解碼裝置217,係將影像壓縮資訊當 中的標頭資訊進行可逆解碼,取得畫面內預測模式資訊、 畫面間預測模式資訊、運動向量資訊等。又,可逆解碼裝 -15- 201208383 置2 1 7係將影像壓縮資訊當中的壓縮影像,進行可逆解碼 〇 又,可逆解碼裝置217係將壓縮影像進行可逆解碼結 果所得之已被量化之係數,供給至逆量化裝置218。可逆 解碼裝置2 1 7,係將可逆解碼結果所得之畫面內預測模式 資訊,供給至畫面內預測裝置22 5,並將畫面間預測模式 資訊、運動向量資訊等,供給至運動補償裝置224。 逆量化裝置2 1 8,係和圖2的逆量化裝置1 08同樣地構 成,將從可逆解碼裝置21 7所供給之已被量化之係數,以 圖2之量化裝置105之量化方式所對應之方式,進行逆量化 。逆量化裝置2 1 8,係將逆量化結果所得之係數,供給至 逆正交轉換裝置219。 逆正交轉換裝置219,係和圖2的逆正交轉換裝置109 同樣地,對從逆量化裝置2 1 8所供給之係數,進行相應於 區塊尺寸的逆正交轉換處理。逆正交轉換裝置219,係將 逆正交轉換處理之結果所得之殘差資訊,供給至加算裝置 220 ° 加算裝置220,係將從逆正交轉換裝置21 9所供給之殘 差資訊,因應需要,而與從開關227所供給之預測影像進 行加算,進行解碼。加算裝置220,係將其結果所得之解 碼影像,供給至畫面內預測裝置225與去區塊濾波器226。 去區塊濾波器226,係藉由將從加算裝置220所供給之 解碼影像進行過濾,以去除區塊失真。去區塊濾波器226 ,係將其結果所得之影像,供給至畫格記憶體223而積存 16- 201208383 ,並輸出至畫面重排緩衝區22 1° 畫面重排緩衝區221 ’係進行從去區塊濾波器226所供 給之影像的重排。具體而言’已被圖2的畫面重排緩衝區 1 02排序成編碼所需之順序的影像之順序’會被重排成原 本的顯示順序。D/A轉換裝置222 ’係將已被畫面重排緩衝 區221所重排過的影像進行D/A轉換,成爲輸出訊號而輸出 至未圖示之顯示器,而顯示之。 畫格記憶體22 3,係將所積存之影像當作參照影像而 讀出,並輸出至運動補償裝置224。 畫面內預測裝置225,係基於從可逆解碼裝置217所供 給之畫面內預測模式資訊,進行該畫面內預測模式資訊所 示之最佳畫面內預測模式的畫面內預測處理,生成預測影 像。畫面內預測裝置225,係將預測影像供給至開關227。 運動補償裝置224,係基於從可逆解碼裝置21 7所供給 之畫面間預測模式資訊、運動向量資訊等,而對從畫格記 憶體223所供給之參照影像進行運動補償處理,生成預測 影像。運動補償裝置224,係將預測影像供給至開關227。 開關227,係將運動補償裝置224或畫面內預測裝置 225所生成之預測影像加以選擇,供給至加算裝置22〇。 〔正交轉換處理與逆正交轉換處理之說明〕 首先,圖4係作爲正交轉換處理是進行DCT與ROT時的 先前之編碼器的正交轉換裝置、量化裝置、逆量化裝置、 及逆正交轉換裝置的區塊圖。 -17- 201208383 如圖4所示,先前之編碼器的正交轉換裝置,係由4x 4DCT411、8x8DCT412、1 6 x16DCT413 > 32 x 32DCT414、 64 x 64DCT415、1 28 x 1 28DCT416、4 x 4ROT417、及 8 x 8ROT418所構成。 對 4x4DCT411、8 x 8DCT4 1 2、1 6 x 1 6DCT4 1 3、3 2 x 32DCT414、64x64DCT415、及 128xl28DCT416,係隨著區 塊尺寸而輸入著殘差資訊,而被進行DCT。 具體而言,4X4DCT411係對4x4像素的殘差資訊進行 DCT,將結果所得之4x4像素之係數的演算精度取近似, 然後供給至4X4ROT41 7。 8X8DCT4 12係對8x8像素的殘差資訊進行DCT,將結果 所得之8x8像素之係數的演算精度取近似,然後供給至8x 8ROT418。16x1 6DCT4 13係對16x16像素的殘差資訊進行 DCT,將結果所得之16x1 6像素之係數的演算精度取近似 。16><160(^413,係將結果所得之16><16像素的係數當中 的8x8像素的低頻成分供給至8X8ROT418,將剩餘的高頻 成分供給至量化裝置。 同樣地,32X32DCT414、64 x 64DCT415 ' 及 128x 128DCT416 > 係分別對 32x32 像素、64x64像素、128x128 像素的殘差資訊進行DCT,將結果所得之係數的演算精度 取近似。然後,32x32DCT414、64x64DCT4 15、及 128x 128 DCT416,係僅將結果所得之係數當中的8x8像素的低 頻成分供給至8x8ROT41 8、將剩餘的高頻成分供給至量化 裝置。 -18- 201208383 4X4ROT417,係對從4X4DCT411所供給之4x4像素之係 數,使用角度索引(index)而進行ROT。 此外,所謂ROT,係爲使用了下式(1)所示之垂直 方向的旋轉矩陣Rverti(;aI&水平方向的旋轉矩陣RhHzantal 的旋轉轉換,所謂角度索引,係指式(1)中的乃至α6 [數1]
Rvertical(®丨,知免)· cosflfiC〇s〇i3_sinai|C〇sai2siiiQi3 -sinoficosoircosaf丨⑽吣如吣如(^拟3 cosQf|Sinaf3+smQf|C〇sQf2C〇sQ?3 -sincifisin^+cosaicos^cos^ -sinQf2cosflf3 sinffisin^ cos〇!|Sinaf2 cos〇f2 cosa^cosafi-sino^oscMna^ _sin〇f彳cosff6-cos〇f彳cos〇f5si晚 sin〇f5sin〇f6 cosQf4sinQf6+sinQf4cosQf5C〇sQi6 -sinQf4sinQf6+cosQi4C〇sci!scosQ?6 -sinQfjCosQfi sin〇i4sinQf5 誠_ _ 0 0 0 …⑴ 8x8ROT418 ,係對從8χ8DCT412' 16xl6DCT413、 32x 32DCT414 ' 64x64DCT415、及 1 2 8 x 1 2 8 D C T 4 1 6 所供給之 8 x 8像素的係數,使用角度索引而進行ROT。 4X4ROT4 17所做的ROT之結果所得之4x4像素的係數及 8x8ROT418所做的ROT之結果所得之8x8像素的係數,其演 算精度係被分別取近似,而供給至量化裝置。 量化裝置係由 4x4Quant419、8x8Quant420、16 χ 1 6Quant42 1、3 2 χ 3 2 Qu ant4 2 2、64 x 64Quant423 ' 及 128x 128Quant424所構成。 -19 - 201208383 4x4Quant419 >係將從4 x4RΟT4 1 7所供給之4 x4像素的 係數,予以量化。4x4Quant419,係將已被量化之4x4像素 的係數,供給至逆量化裝置,並且供給至和圖2之可逆編 碼裝置106同樣的未圖示之可逆編碼裝置。 8x8Quant420,係將從8x8ROT418所供給之8x8像素的 係數,予以量化。8x8Quant420,係將已被量化之8x8像素 的係數,供給至逆量化裝置,並且供給至和可逆編碼裝置 106同樣的未圖示之可逆編碼裝置。 16xl6Quant421,係將從8X8ROT418所供給之8x8像素 的係數、和從16X16DCT413所供給之對16x16像素之殘差 資訊進行DCT之結果所得之係數當中的8x8像素的低頻成 分以外之髙頻成分,予以量化。16xl6Quant421,係將已 被量化之16x16像素的係數,供給至逆量化裝置,並且供 給至和可逆編碼裝置106同樣的未圖示之可逆編碼裝置。 同樣地 ’ 32x32Quant422 ' 64 x 64Quant423、及 128x 128Quant424,係分別將從8x8ROT418所供給之8x8像素的 係數、和對3 2 x 3 2像素、64x64像素、1 28 x 1 28像素之殘差 資訊進行DCT之結果所得之係數當中的8x8像素的低頻成 分以外之高頻成分,予以量化。32 x 3 2Quant422、64x 64Quant423、及1 2 8 x 1 2 8 Quant424,係分別將已被量化之 3 2 x 3 2像素、64 x 64像素、1 28 x 1 28像素的係數,供給至逆 量化裝置,並且供給至和可逆編碼裝置106同樣的未圖示 之可逆編碼裝置。 逆量化裝置係由 4x4Inv Quant451、8x8Inv Quant452 -20- 201208383 、16 x 16Inv Quant453、32 x 32Inv Quant454、64 x 64Inv Quant455、及 128xl28Inv Quant456戶斤構成。 4 x 4Inv Quant45 1 、8 x 8Inv Quant452 、 16 x 1 6Inv
Quant453 、 32x32Inv Quant454 、 64x64Inv Quant455 、及 128 x 128Inv Quant456,係分別將從 4x4Quant419、8 x 8Quant420 、 16 x 1 6Quant42 1 、 3 2 x 3 2Quan1422 、 64 x 64Quant423 ' 1 2 8 x 1 2 8 Qu a nt4 2 4所供給之已被量化之係數 ,進行逆量化,並供給至逆正交轉換裝置。 逆正交轉換裝置係由4x4Inv ROT457、8x8Inv ROT458 、4x4Inv DCT459、8x8Inv DCT460、16x16Ιην DCT461、 32 χ 32Ιην DCT462、64 χ 64Ιην DCT463、及 128 χ 128Ιην DCT464所構成。 4χ4Ιην ROT457,係對從 4χ4Ιην Quant451 所供給之已 被逆量化的4x4像素之係數,使用角度索引而進行逆R〇T 。4x4Inv ROT457,係將結果所得之4x4像素的係數,供給 至 4x4Inv DCT459 〇 8x8Inv ROT45 8,係對從 8x8Inv Quant452所供給之已 被逆量化的8x8像素之係數,使用角度索引而進行逆rot ,將其結果所得之8x8像素的係數,供給至8x8Inv DCT460 〇 又 ’ 8x8Inv ROT458’ 係對從 16xl6Inv Quant453 所供 給之已被逆量化的16x1 6像素的係數當中的8x8像素的低頻 成分,使用角度索引而進行逆ROT。然後,8 χ 8Inv ROT45 8係將逆ROT之結果所得之8 χ 8像素的係數,供給至 -21 - 201208383 16xl6Inv DCT461。 同樣地,8x8Inv ROT45 8,係對從 3 2 x3 2 Inv Quant454 、64 x 64 Inv Quant455 ' 及 128xl28Inv Quant456 戶斤供給之 已被逆量化的3 2 x 3 2像素、64x64像素、1 28 x 1 28像素的係 數當中的8x8像素的低頻成分,使用角度索引而進行逆 ROT。然後,8x8Inv ROT458係將對已被逆量化的32x32像 素、64x64像素、1 28x 1 28像素的係數當中的8x8像素的低 頻成分進行逆ROT之結果所得之8x8像素的係數,供給至 32 X 3 2Inv DCT462 、 64 x 64Inv DCT463、1 28 x 1 2 8 Inv DCT464。 4x4Inv DCT459,係對從 4x4Inv Rot457所供給之 4x4像 素的係數,進行逆DCT。4x4Inv DCT459,係將其結果所 得之4x4像素的殘差資訊,供給至和圖2之加算裝置110同 樣的未圖示之加算裝置。 8x8Inv DCT460,係對從 8x8Inv Rot458所供給之 8x8像 素的係數,進行逆DCT。8x8Inv DCT460,係將其結果所 得之8x8像素的殘差資訊,供給至和加算裝置丨10同樣的未 圖示之加算裝置》16xl6Inv DCT461,係將從8x8Inv R〇t45 8所供給之8x8像素的係數、和從16xl6InV Quant453 所供給之對1 6 x 1 6像素的係數當中的8 x 8像素的低頻成分以 外之高頻成分,進行逆DCT。16xl6Inv DCT461,係將其 結果所得之16x16像素的殘差資訊,供給至和加算裝置no 同樣的未圖示之加算裝置。 同樣地,3 2 x 32Inv DCT462、64x64Inv DCT463、及 -22- 201208383 128xl28Inv DCT464,係分別對從 8x8Inv ROT458所供給之 8x8像素的係數、和從 32x32Inv Quant454、64x64Inv Quant455、128xl28Inv Quant456 所供給之係數當中的 8x8 像素之低頻成分以外的高頻成分,進行逆DCT。32x32Inv DCT462 ' 64x64Inv DCT463、及 128xl28Inv DCT464,係 分別將逆DCT之結果所得之32x32像素、64x64像素、128x 128像素的殘差資訊,供給至和加算裝置11〇相同的未圖示 之加算裝置。 如以上所述’藉由對加算裝置輸入殘差資訊,就可獲 得解碼後的影像。 接著,圖5係圖示了圖2之編碼器的正交轉換裝置1〇4 、量化裝置105、逆量化裝置1〇8、及逆正交轉換裝置109 之細節的區塊圖。 此外’在圖5所示的構成當中,和圖4之構成相同的構 成係標示相同符號。至於重複的說明則會適宜省略。 圖5的構成,係主要是在正交轉換裝置1〇4中取代了 4x 4DCT411 與 4x4ROT417而改爲設置 4x4DCTxR〇T501這點, 在逆正交轉換裝置109中取代了 4x4Inv ROT457與4x4Inv DCT459而改爲設置4x4Inv ROTxInv DCT502這點,是和圖 4的構成不同。 正交轉換裝置104的4x4DCTxROT501,係使用角度索 引’對從圖2之演算裝置1〇3所供給之4x4像素的殘差資訊 ’進行DCT與ROT所合成之轉換。具體而言,4x4DCTx ROT501係事先準備好相應於角度索引的DCT與ROT所合成 -23- 201208383 之轉換所需之矩陣,4x4DCTxROT501係以使用了該矩陣的 1次之轉換’獲得DCT及ROT後的4x4像素的係數。4X4DCT XROT501 ’係將該4x4像素的係數的演算精度取近似,供 給至 4x4Quant419。 此外’ DCT與ROT係爲正交轉換之一種,通常是藉由 矩陣演算而進行。因此,所謂DCT與ROT所合成之轉換所 需之矩陣,係爲藉由DCT之矩陣演算所使用之矩陣和ROT 之矩陣演算所使用之矩陣的乘積而獲得的矩陣。 如以上,在正交轉換裝置104中,由於對4x4像素的殘 差資訊,以1次的轉換就能進行DCT與ROT,因此相較於圖 4的正交轉換裝置,可削減正交轉換處理的演算量。又, 不需要DCT後的演算精度之近似,相較於圖4的正交轉換 裝置,可提高演算精度。因此,圖4的4X4ROT417之輸出 與圖5的4x4DCTxROT501之輸出,並不相同。 又,逆正交轉換裝置109的4x4Inv ROTxInv DCT502, 係使用角度索引,對從4x4Inv Quant451所供給之4x4像素 之係數,進行逆DCT與逆ROT所合成之轉換。具體而言,4 x4Inv ROTxInv DCT502係事先準備好相應於角度索引的逆 DCT與逆ROT所合成之轉換所需之矩陣,4x4Inv ROTxInv DCT5 02係以使用了該矩陣的1次之轉換,獲得逆DCT及逆 ROT後的4x4像素的殘差資訊。此外,逆DCT與逆ROT所合 成之轉換,係爲4x4DCTxROT501所進行之轉換的逆轉換。 4x4Inv ROTxInv DCT502,係將轉換結果所得之4x4像素的 殘差資訊,供給至圖2的加算裝置110。 -24- 201208383 如以上,在逆正交轉換裝置l〇9中,由於對4x4像素的 係數’以1次的轉換就能進行逆DCT與逆R0T,因此相較於 圖4的逆正交轉換處理,可削減逆正交轉換處理的演算量 。又’不需要逆ROT後的演算精度之近似,相較於圖4的 逆正交轉換裝置,可提高演算精度。因此,圖4的4x4 In v DCT459之輸出與圖5的4x4Inv ROTxInv DCT5 02之輸出, 並不相同。 接著,圖6係作爲正交轉換處理是進行DCT與ROT時的 先前之解碼器的逆量化裝置及逆正交轉換裝置的區塊圖。 圖6的先前之解碼器的逆量化裝置係和圖4的逆量化裝 置相同構成,圖6的逆正交轉換裝置係和圖4的逆正交轉換 裝置相同構成。 具體而言,圖6的逆量化裝置係由4x4Inv Quant601、8 x 8 Inv Quant602、16 x161nv Quant603、32x32Inv Quant604 、64x64Inv Quant605 ' 及 128xl28Inv Quant606戶斤構成。4 x41nv Quant601、8 x 8 Inv Quant602、16 x 1 6 In v Quant603、 32x32Inv Quant604 ' 64 x64Inv Quant605、及 128xl28Inv Quant606,係對於從編碼器做了可逆編碼而傳輸過來之影 像壓縮資訊進行可逆解碼之結果所得之已被量化之係數, 進行和圖4之逆量化裝置相同的逆量化。 又,圖6的逆正交轉換裝置係由4x4Inv ROT607、8x 8 Inv ROT608、4 x 4Inv DCT609、8 x 8 Inv DCT610、1 6 x 16Inv DCT611、3 2 x 3 2 In v D C T 6 1 2、6 4 x 6 41 n v D C T 6 1 3、及 1 28 x 1 28Inv DCT614 所構成。4 x 4Inv RO T 6 0 7 及 8 x 8 I n v -25- 201208383 ROT608 > 係分別進行與圖 4的 4x4Inv ROT457、8 x 8 Inv ROT458 相同的逆 ROT。又,4 x 4Inv DCT609、8 x 8 In v DCT610、1 6 x 1 6Inv DCT611、32 x 3 2Inv DCT612 、 64 x 64Inv DCT613、及 128xl28Inv DCT614,係分別和圖 4的對 應之區塊尺寸的Inv DCT同樣地,進行逆DCT。 接著,圖7係爲圖3之解碼器的逆量化裝置218及逆正 交轉換裝置219之細節的區塊圖。 圖7的逆量化裝置218係和圖5的逆量化裝置108相同構 成,圖7的逆正交轉換裝置219係和圖5的逆正交轉換裝置 109相同構成。 此外,在圖7所示的構成當中,和圖6之構成相同的構 成係標示相同符號。至於重複的說明則會適宜省略。 圖7的構成,主要是在逆正交轉換裝置219中,和逆正 交轉換裝置109同樣地,取代了 4x4Inv ROT607與4x4Inv DCT609而改爲設置4x4Inv ROTxInv DCT701這點,是和圖 6的構成不同。 逆正交轉換裝置219的4x4Inv ROTxInv DCT701,係和 圖5的4x4Inv ROTxInv DCT502同樣地,使用角度索引,對 從4x4Inv Quant601所供給之4x4像素之係數,進行逆DCT 與逆ROT所合成之轉換。4x4Inv ROTxInv DCT701,係將 轉換結果所得之4 x4像素的殘差資訊,供給至圖3的加算裝 置 220。 此外,角度索引係例如由編碼器所決定,被可逆編碼 裝置106放進標頭資訊內而傳送至解碼器。 -26- 201208383 在本實施形態中,對4x4像素之殘差資訊的DCT與ROT 是以1次的轉換而進行之,但不僅限於4x4像素,對8x8像 素的殘差資訊的DCT與ROT亦可以1次的轉換而進行之。關 於逆DCT與逆ROT也是同樣如此。 又,在本實施形態中,關於DCT結果所得之8x8像素 以上之尺寸的係數,係僅對8x8像素的低頻成分進行ROT ,但進行ROT的係數的最大限度之尺寸,係亦可爲8x8像 素以外的尺寸(4x4像素、16x16像素等)。這點在逆ROT 時也是同樣如此。 [編碼器之處理的說明] 圖8、圖9、圖10、圖11、及圖12,係爲圖2的編碼器 之處理的流程圖。 圖8係說明巨集區塊(MB )之編碼處理的流程圖。 於圖8的步驟S11中,編碼器係將有使用畫面間預測時 的RD成本(P ),予以算出。將有使用畫面間預測時的RD 成本(P)予以算出之處理的細節,將參照後述的圖9來說 明。 於步驟S12中,編碼器係將有使用畫面內預測時的RD 成本(I),予以算出。將有使用畫面內預測時的RD成本 (I)予以算出之處理的細節,將參照後述的圖1 2來說明 〇 於步驟S 1 3中,選擇裝置1 1 7係判定RD成本(I )是否 大於RD成本(P )。 -27- 201208383 若在步驟S13中判定爲RD成本(I)沒有大於RD成本 (P ),亦即RD成本(I )是RD成本(P )以下時,則選擇 裝置1 1 7係將最佳畫面內預測模式決定成最佳預測模式。 然後,選擇裝置1 1 7,係將最佳畫面內預測模式的預測影 像,供給至演算裝置103及加算裝置110。又,選擇裝置 1 1 7,係將最佳畫面內預測模式的預測影像之選擇,通知 給畫面內預測裝置1 1 4。藉此,畫面內預測裝置1 1 4係將畫 面內預測模式資訊,供給至可逆編碼裝置1 06。 然後,於步驟S14中,編碼器係將處理對象之巨集區 塊(該當MB ),以最佳畫面內預測模式的畫面內預測, 進行編碼。具體而言,編碼器的演算裝置103,係將從畫 面重排緩衝區102所讀出之影像的處理對象之巨集區塊, 減去從選擇裝置117所供給之預測影像,正交轉換裝置104 係將該結果所得之殘差資訊,進行正交轉換。量化裝置 105,係將正交轉換裝置104所進行之正交轉換的結果所得 之係數予以量化,可逆編碼裝置1 06係將已被量化之係數 進行可逆編碼,並且將畫面內預測模式資訊等進行可逆編 碼而當作標頭資訊。積存緩衝區1 07,係將可逆編碼之結 果所得的附加有標頭資訊的壓縮影像,當作影像壓縮資訊 而予以暫時積存,然後輸出。 另一方面,若在步驟S13中判定爲RD成本(I)大於 RD成本(P ),則選擇裝置1 1 7係將最佳畫面間預測模式 決定成最佳預測模式。然後,選擇裝置1 1 7,係將最佳畫 面間預測模式的預測影像,供給至演算裝置1 03及加算裝 -28- 201208383 置1 1 0。又,選擇裝置π 7,係將最佳畫面間預測模式的預 測影像之選擇’通知給運動預測裝置Η 6。藉此,運動預 測裝置1 1 6係將畫面間預測模式資訊、對應之運動向量之 資訊等’輸出至可逆編碼裝置1〇6。 然後,於步驟S15中,編碼器係將處理對象之巨集區 塊,以最佳畫面間預測模式的畫面間預測,進行編碼。具 體而言,編碼器的演算裝置1〇3,係將從畫面重排緩衝區 102所讀出之影像的處理對象之巨集區塊,減去從選擇裝 置1 1 7所供給之預測影像,正交轉換裝置1 04係將該結果所 得之殘差資訊,進行正交轉換。量化裝置1 05,係將正交 轉換裝置1 04所進行之正交轉換的結果所得之係數予以量 化,可逆編碼裝置1 06係將已被量化之係數進行可逆編碼 ,並且將畫面間預測模式資訊、運動向量之資訊等進行可 逆編碼而當作標頭資訊。積存緩衝區107,係將可逆編碼 之結果所得的附加有標頭資訊的壓縮影像,當作影像壓縮 資訊而予以暫時積存,然後輸出。 圖9係說明使用圖8之步驟S 1 1之畫面間預測時的rd成 本(Ρ)算出處理之細節的流程圖。 於圖9的步驟S31中,運動預測裝置116,係將畫面間 預測的區塊尺寸,設定成各畫面間預測模式所對應之4 χ 4 像素、8x8像素、16x16像素、3 2 x 32像素、64x64像素、 128x128像素當中、尙未被設定者。 於步驟S32中,運動預測裝置116係以步驟S31所設定 之尺寸,進行運動預測。具體而言’運動預測裝置丨〗6, -29- 201208383 係使用從畫面重排緩衝區丨〇2所供給之影像、和從畫格記 憶體1 1 2所供給之參照影像,而以步驟S3〗所設定之尺寸的 區塊單位來進行運動預測。其結果爲,可獲得區塊單位的 運動向量(MV)。運動預測裝置116,係將該運動向量’ 供給至運動補償裝置113。 於步驟S33中,運動補償裝置1 13係隨應於從運動預測 裝置116所供給之運動向量,而進行運動補償(MC )。具 體而言,運動補償裝置113係隨應於運動向量,根據從畫 格記憶體1 1 2所供給之參照影像而生成預測影像。運動補 償裝置113,係將已被生成之預測影像,透過選擇裝置117 而供給至演算裝置103。 於步驟S34中,演算裝置103係計算出輸入訊號所對應 之影像與MC影像(預測影像)之差分。演算裝置1 03,係 將計算結果所得之差分,當作殘差資訊而供給至正交轉換 裝置1 04。 於步驟S35中,正交轉換裝置104係將角度索引,設定 成索引號碼0、1、2、及3之角度索引當中尙未被設定之角 度索引。此外,所謂索引號碼,係爲角度索引^!乃至 之組合所固有之號碼,在本實施形態中係準備了 〇乃至3之 號碼的4種角度索引之組合。 於步驟S36中,正交轉換裝置104係對從演算裝置103 所供給之殘差資訊(差分資訊),實施隨應於角度索引而 進行ROT之處理,亦即ROT處理等。步驟S36之處理的細節 ,將參照後述的圖1〇來說明。 -30- 201208383 於步驟S37中,量化裝置105係對步驟S36中實施ROT 處理等之結果所得之係數,實施進行量化之處理亦即量化 處理。具體而言,量化裝置105的畫面間預測的區塊尺寸 所對應之 4x4Quant419、8x8Quant420、16xl6Quant421、 32 x 3 2Quant422、6 4 χ 6 4 Qu an 14 2 3、或 1 2 8 x 1 2 8 Quant424, 會將從正交轉換裝置1 04所供給之係數,予以量化。量化 裝置1 05,係將量化處理之結果所得之係數,供給至可逆 編碼裝置106與逆量化裝置108。 於步驟S38中,可逆編碼裝置106係將從量化裝置105 所供給之係數(量化後係數)進行可逆編碼,獲得壓縮影 像。 於步驟S39中,逆量化裝置108係對從量化裝置105所 供給之係數,進行逆量化之處理亦即實施逆量化處理。具 體而言,逆量化裝置1 08的畫面間預測的區塊尺寸所對應 之 4 χ 4Inv Quant451 、 8 χ 8 Inv Quant452 、 16 χ 16Inv
Quant45 3、3 2 χ 3 2I ην Quant454、64 χ 64Ιην Quant45 5、或 128χ128Ιην Quant45 6,會將從量化裝置105所供給之係數 ,進行逆量化。逆量化處理之結果所得之係數,係被供給 至逆正交轉換裝置109。 於步驟S40中,逆正交轉換裝置109係對殘差資訊(差 分資訊)所對應之係數,隨著步驟S35中所設定之角度索 引,進行逆ROT之處理亦即實施逆ROT處理等。步驟S40之 處理的細節,將參照後述的圖1 1來說明。 步驟S40的處理後,處理係返回步驟S35,重複進行步 -31 - 201208383 驟s 35乃至S40之處理,一直到索引號碼0乃至3的角度索引 全部都被設定爲角度索引爲止。然後,一旦索引號碼〇乃 至3的角度索引全部都被設定爲角度索引,則處理係返回 步驟S31。然後,重複進行步驟S31乃至S4 0之處理’直到4 x4像素、8x8像素、16x16像素、32x32像素、64x64像素、 及128 xl 28像素的所有尺寸都有被設定成畫面間預測的區 塊尺寸爲止。 然後,4x4像素、8x8像素、16x16像素、3 2x 3 2像素、 64x64像素、及1 28x 1 2 8像素的所有尺寸都被設定成畫面間 預測的區塊尺寸,對各區塊尺寸的畫面間預測的區塊,索 引號碼〇乃至3之角度索引全部都有被設定成爲角度索引時 ,則處理係前進至步驟S41。 於步驟S4 1中,運動預測裝置1 1 6係對畫面間預測模式 與角度索引的每種組合,根據MV資訊、量化後編碼資訊 、解碼影像,計算出RD成本。具體而言,運動預測裝置 1 1 6,係對畫面間預測模式與角度索引之每種組合,使用 運動向量與從畫格記憶體112所供給之參照影像,來生成 預測影像。然後,運動預測裝置1 1 6係演算出該預測影像 與從畫面重排緩衝區102所供給之影像的差分。然後,運 動預測裝置116係使用該差分、步驟S38之處理所得之壓縮 影像的發生編碼量等’演算上述的式(1),算出RD成本 〇
然後’藉由運動預測裝置1 1 6,從畫面間預測的區塊 尺寸所對應之畫面間預測模式與角度索引之每種組合的RD -32- 201208383 成本中’選出最小的RD成本當作RD成本(P)使用。亦即 ’運動預測裝置1 1 6,係將畫面間預測模式與角度索引之 每種組合的RD成本當中最小的RD成本亦即RD成本(P ) 、和對應之運動向量及畫面間預測模式資訊,供給至運動 補償裝置1 1 3。 藉此’運動補償裝置113,係基於從運動預測裝置116 所供給之運動向量與畫面間預測模式資訊,而對從畫格記 憶體1 1 2所供給之參照影像’進行補償處理,生成預測影 像。然後’運動補償裝置1 1 3,係將從運動預測裝置丨丨6所 供給之RD成本(p )、和已被生成之預測影像,供給至選 擇裝置1 17。 圖10係圖9的步驟S36的處理之細節的說明用流程圖。 於圖10的步驟SM中,正交轉換裝置1〇4係判定畫面間 預測的區塊尺寸是否爲4x4像素。 當步驟SH中判定爲,畫面間預測的區塊尺寸是4x4像 素時’則於步驟S52中,正交轉換裝置1〇4係隨應於角度索 引而實施ROTxDCT處理。具體而言,正交轉換裝置1〇4的4 x4DCTxR〇T501 (圖5),係隨著圖9之步驟S35中所設定的 角度索引,而對從演算裝置103所供給之殘差資訊,進行 DCT與ROT所合成之轉換。4x4DCTxR〇T501,係將轉換結 果所得之係數,供給至量化裝置105的4x4Quant419。 當步驟S5 1中判定爲,畫面間預測的區塊尺寸不是4x4 像素時,則於步驟S53中,正交轉換裝置104係對從演算裝 置103所供給之殘差資訊,進行DCT之處理亦即實施DCT處 -33- 201208383 理。具體而言,正交轉換裝置104的畫面間預測的區塊尺 寸所對應之 8x8DCT412 、 16x16DCT413 ' 32x32DCT414、 64 x 64DCT415、或1 2 8 x 1 2 8 D C T 4 1 6,會對殘差資訊進行 DCT。DCT結果所得之係數當中的8x8像素之低頻成分,係 被供給至8X8ROT418,剩餘的高頻成分係被供給至畫面間 預測之區塊尺寸所對應之16xl6Quant421、32x32Quant422 、64x64Quant423、或 1 2 8 χ 1 2 8 Qu an 14 2 4。 於步驟S54中,正交轉換裝置104的8X8ROT418,係對 低頻成分的8x8像素(8x8大小)的係數,隨著圖9之步驟 S35所設定之角度索引而實施ROT處理。8x8ROT418,係將 ROT處理之結果所得之8x8像素的係數,供給至畫面內預 測之區塊尺寸所對應之8x8Quant420、16xl6Quant421、32 x32Quant422、64x64Quant423、或 1 2 8 χ 1 2 8 Quant424。 圖1 1係圖9的步驟S40的處理的詳細說明用流程圖。 於圖11的步驟S71中,逆正交轉換裝置1〇9係判定畫面 間預測的區塊尺寸是否爲4x4像素。 當步驟S71中判定爲,畫面間預測的區塊尺寸是4x4像 素時,則於步驟S72中,逆正交轉換裝置109係隨應於角度 索引而實施逆ROTxDCT處理。具體而言,逆正交轉換裝置 109的4x4Inv ROTxInv DCT502 (圖5),係隨著圖9之步驟 S35中所設定的角度索引,而對從逆量化裝置1〇8的4x4InV Quant451所供給之係數,進行逆ROT與逆DCT所合成之轉 換。4x4Inv ROTxInv DCT5 02,係將轉換結果所得之殘差 資訊,供給至加算裝置1 1 〇。 -34- 201208383 當步驟S71中判定爲,畫面間預測的區塊尺寸不是4x4 像素時,則處理係前進至步驟S73。於步驟S73中,逆正交 轉換裝置109的8x8Inv ROT4 58 (圖7),係對從逆量化裝 置108所供給之8x8像素以上之尺寸的係數當中的低頻成分 之8x8像素(8x8大小)的係數,隨著圖9之步驟S35所設定 之角度索引,而進行逆ROT之處理亦即實施逆R0T處理。8 x8Inv ROT45 8,係將逆ROT處理之結果所得之係數,供給 至畫面間預測之區塊尺寸所對應之8x8Inv DCT460、16x 16Inv DCT461、3 2 x 3 2 I n v D C T 4 6 2、6 4 x 6 41 n v D C T 4 6 3、或 128xl28Inv DCT464。 於步驟S74中,逆正交轉換裝置109的8x8Inv DCT460 、16x16Inv DCT461 、3 2 x 3 2Inv DCT462、64 x 64Inv DCT463、或 128xl28Inv DCT464 > 係對從 8x8Inv ROT458 所供給之係數與從逆量化裝置1 08所供給之係數,進行逆 DCT之處理亦即實施逆DCT處理。逆DCT處理之結果所得 之殘差資訊,係被供給至加算裝置1 1 0。 圖12係說明使用圖8之步驟S12之畫面內預測時的RD 成本(I)算出處理之細節的流程圖。 於圖12的步驟S101中,畫面內預測裝置114,係將畫 面內預測的區塊尺寸,設定成4x4像素、8x8像素' 16x16 像素、3 2 x 3 2像素、64x64像素、及1 28 x 1 2 8像素當中、尙 未被設定者。 於步驟Sl〇2中,畫面內預測裝置114,係將畫面內預 測模式(Intra direction mode ),設定成畫面內預測模式 -35- 201208383 號碼爲0、1、2、3、4、5、6、7、或8的畫面內預測模式 當中尙未被設定者。此外,所謂畫面內預測模式號碼,係 爲畫面內預測模式所固有之號碼,在本實施形態中中係準 備了 〇乃至8之號碼的8種畫面內預測模式。 於步驟S1 03中,畫面內預測裝置1 14係以步驟S 1 01中 所設定之區塊尺寸及畫面內預測模式,進行運動預測。具 體而言,畫面內預測裝置114,係使用從畫面重排緩衝區 102所供給之影像和從加算裝置1 10所供給之參照影像,而 以步驟S101中所設定之區塊尺寸的區塊單位,進行已被設 定之畫面內預測模式的畫面內預測處理,生成預測影像。 畫面內預測裝置114,係將已被生成之預測影像,透過選 擇裝置117而供給至演算裝置103。 於步驟S104中,演算裝置103係計算出輸入訊號所對 應之影像與畫面內預測處理(畫面內預測處理所生成之預 測影像)之差分。演算裝置1 03,係將計算結果所得之差 分,當作殘差資訊而供給至正交轉換裝置1 04。 步驟S105乃至S110之處理,係和圖9的步驟S35乃至 S40之處理相同,因此省略說明。 步驟S110的處理後,處理係返回步驟S1 05,重複進行 步驟S1 05乃至S1 10之處理,一直到索引號碼〇乃至3的角度 索引全部都被設定爲角度索引爲止。然後,一旦索引號碼 〇乃至3的角度索引全部都被設定爲角度索引,則處理係返 回步驟S102»然後,重複進行步驟S102乃至S110之處理, —直到畫面內預測模式號碼〇乃至8的畫面內預測模式全部 -36- 201208383 都有被設定爲畫面內預測模式爲止。 然後’一旦畫面內預測模式號碼〇乃至8的角度索引全 部都被設定爲畫面內預測模式,則處理係返回步驟S 1 0 1。 然後,重複進行步驟S101乃至S1 10之處理,直到4x4像素 、8x8像素' 16x16像素、3 2x3 2像素、64x64像素、及128x 128像素的所有尺寸都有被設定成畫面內預測的區塊尺寸 爲止。 然後,4x4像素、8x8像素、16x16像素、3 2x3 2像素、 64x64像素、及1 28x 1 2 8像素的所有尺寸都被設定成畫面內 預測的區塊尺寸,對各區塊尺寸的區塊,索引號碼〇乃至3 之角度索引全部都有被設定成爲角度索引時,且畫面內預 測模式〇乃至8的畫面內預測模式全部都曾被設定成爲畫面 內預測模式時,則處理係前進至步驟S 1 1 1。 於步驟S 1 1 1中,畫面內預測裝置1 1 4係對畫面內預測 的區塊尺寸、畫面內預測模式、及角度索引的每種組合, 根據量化後編碼資訊、解碼影像,計算出RD成本。具體而 言,畫面內預測裝置114係對畫面內預測的區塊尺寸、畫 面內預測模式、及角度索引的每種組合,使用從畫格記憶 體1 1 2所供給之參照影像,而生成預測影像。然後,畫面 內預測裝置1 1 4係演算出該預測影像與從畫面重排緩衝區 102所供給之影像的差分。然後,運動預測裝置116係使用 該差分、步驟S108之處理所得之壓縮影像的發生編碼量等 ,演算上述的式(1),算出RD成本。 然後,藉由畫面內預測裝置114,從畫面內預測的區 -37- 201208383 塊尺寸、畫面內預測模式、及角度索引之每種組合的RD成 本中,選出最小的RD成本當作RD成本(I )使用。亦即, 畫面內預測裝置114係在畫面內預測的區塊尺寸、畫面內 預測模式、及角度索引之每種組合的RD成本當中,把最小 RD成本的RD成本(I )所對應之預測影像,供給至選擇裝 置 1 1 7。 圖13、圖14、及圖15,係圖3的解碼器之處理的流程 圖。 圖13係說明巨集區塊(MB)之解碼處理的流程圖。 於圖13的步驟S121中,可逆解碼裝置217係從積存緩 衝區216讀出處理對象之巨集區塊的影像壓縮資訊而取得 之,將該影像壓縮資訊以圖2之可逆編碼裝置106的可逆編 碼方式所對應之方式,進行可逆解碼。藉由該可逆解碼而 取出畫面內預測模式資訊或畫面間預測模式資訊,以作爲 表示處理對象之巨集區塊之最佳預測模式的資訊》 於步驟S122中,可逆解碼裝置217係判定,步驟S121 中所取出的表示最佳預測模式之資訊,是否爲畫面內預測 模式資訊。若步驟S 1 22中判定爲是畫面內預測模式資訊時 ,則於步驟S1 23中,解碼器係將處理對象之巨集區塊(該 當MB ),以畫面內預測進行解碼。步驟S 1 23之處理的細 節,將參照後述的圖15來說明。 另一方面,若步驟S 1 22中判定爲不是畫面內預測模式 資訊時,亦即步驟S 1 2 1中所取出之表示最佳預測模式是畫 面間預測模式資訊時,則處理係前進至步驟S 1 24。 -38- 201208383 於步驟S124中,解碼器係將處理對象之巨集區塊,以 畫面間預測進行解碼。步驟s 1 24之處理的細節’將參照後 述的圖1 4來說明。 圖1 4係圖1 3的步驟S 1 2 4的處理之細節的說明用流程圖 〇 於圖14的步驟S141中,可逆解碼裝置217,係從積存 緩衝區2 1 6所取得的影像壓縮資訊(串流資訊)中,取出 畫面間預測的區塊尺寸、運動向量(MV )、角度索引、 殘差資訊(差分資訊)所對應之已被量化之係數。具體而 言,可逆解碼裝置217,係將影像壓縮資訊進行可逆解碼 ,獲得畫面間預測模式資訊、運動向量、角度索引資訊、 及已被量化之係數。然後,可逆解碼裝置217係辨識畫面 間預測模式資訊所對應之畫面間預測的區塊尺寸。可逆解 碼裝置2 1 7係以畫面間預測模式資訊所對應之區塊尺寸的 區塊單位’將已被量化之係數供給至逆量化裝置218。又 ’可逆解碼裝置2 1 7係將畫面間預測模式資訊及運動向量 供給至運動補償裝置224,將角度索引供給至逆正交轉換 裝置219。 於步驟S1U中,運動補償裝置224,係隨應於從可逆 解碼裝置2 1 7所供給之畫面間預測模式資訊及運動向量, 而對從畫格記憶體223所供給之參照影像,實施運動補償 處理(MC處理)。然後,運動補償裝置224係將運動補償 處理結果所得之預測影像,透過開關227而供給至加算裝 置 220。 -39- 201208383 於步驟S143中,逆量化裝置218係對從可逆解碼裝置 217所供給之已被量化之係數,實施逆量化處理。具體而 言,逆量化裝置218的畫面間預測的區塊尺寸所對應之4x 4Inv Quant6 0 1、8 x 8 Inv Quant602、16 x 1 6Inv Quant603、 32x32Inv Quant604 、 64x64Inv Quant605 、或 128xl28Inv Quant6 06,係將已被量化之係數,進行逆量化。逆量化裝 置2 1 8,係將逆量化處理結果所得之係數,供給至逆正交 轉換裝置219。 於步驟S1 44中,逆正交轉換裝置219係對從逆量化裝 置2 1 8所供給之差分資訊(殘差資訊)所對應之係數,隨 著從可逆解碼裝置217所供給之角度索引,而實施逆ROT 處理等。步驟S 1 44之處理的細節,係和圖1 1所說明的情形 相同,因此省略說明。 於步驟S145中,加算裝置220,係對從運動補償裝置 224透過開關22 7所供給之預測影像(預測訊號),加上步 驟S 144之處理結果所得之殘差資訊(逆ROT資訊),獲得 解碼影像。該解碼影像,係可被供給至畫面內預測裝置 225,或透過去區塊濾波器226而供給至畫格記憶體223, 或透過去區塊濾波器226、畫面重排緩衝區221、D/A轉換 裝置222而輸出至外部等等。 圖1 5係圖1 3的步驟S 1 23的處理之細節的說明用流程圖 〇 於圖15的步驟S161中,可逆解碼裝置217,係從積存 緩衝區216所取得的影像壓縮資訊(串流資訊)中,取出 -40- 201208383 畫面內預測的區塊尺寸、畫面內預測模式、角度索引資訊 、殘差資訊(差分資訊)所對應之已被量化之係數。具體 而言,可逆解碼裝置217,係將影像壓縮資訊進行可逆解 碼,獲得畫面內預測模式資訊、角度索引資訊、及已被量 化之係數。然後,可逆解碼裝置2 1 7係從畫面內預測模式 資訊中,辨識出畫面內預測模式與畫面內預測的區塊尺寸 。可逆解碼裝置217,係以畫面內預測之區塊尺寸的區塊 單位,將已被量化之係數供給至逆量化裝置218。又,可 逆解碼裝置21 7係將畫面內預測模式資訊供給至畫面內預 測裝置225,將角度索引供給至逆正交轉換裝置219。 於步驟S162中’畫面內預測裝置225,係隨應於從可 逆解碼裝置2 1 7所供給之畫面內預測模式資訊,對從加算 裝置2 2 0所供給之參照影像,進行畫面內預測處理。然後 ’畫面內預測裝置225 ’係將畫面內預測處理結果所得之 預測影像,透過開關227而供給至加算裝置22〇。 於步驟S163中’逆量化裝置218係和圖14的步驟S143 之處理同樣地,對從可逆解碼裝置2 1 7所供給之已被量化 之係數’實施逆量化處理。逆量化裝置218,係將逆量化 處理結果所得之係數,供給至逆正交轉換裝置219<> 於步驟S164中’逆正交轉換裝置219係和步驟3144之 處理同樣地’對從逆量化裝置218所供給之差分資訊所對 應之係數’隨者從可逆解碼裝置217所供給之角度索引, 而實施逆ROT處理等。 於步驟S1 65中,加算裝置22〇,係對從畫面內預測裝 -41 - 201208383 置225透過開關227所供給之預測影像(預測訊號),加上 步驟S164之處理結果所得之殘差資訊(逆ROT資訊),獲 得解碼影像。該解碼影像,係可被供給至畫面內預測裝置 225,或透過去區塊濾波器226而供給至畫格記億體223, 或透過去區塊濾波器226、畫面重排緩衝區221、D/A轉換 裝置222而輸出至外部等等。 〔適用了本技術之電腦的說明〕 其次,上述一連串處理,係可藉由的硬體來進行,也 可藉由軟體來進行。在以軟體來進行一連串之處理時,構 成該軟體的程式,係可安裝至通用的電腦等。 於是,圖16係圖示了,執行上述一連串處理的程式所 被安裝之電腦的一實施形態之構成例。 程式是可預先被記錄在內建於電腦中的做爲記錄媒體 之硬碟705或ROM703。 又或者,程式係亦可先儲存(記錄)在可移除式記錄 媒體711中。此種可移除式記錄媒體71ι,係可以所謂套裝 軟體的方式來提供。此處,作爲可移除式記錄媒體711係 例如有軟碟片、CD-ROM ( Compact Disc Read Only Memory ) 、MO ( Magneto Optical )碟、DVD ( Digital
Versatile Disc)、磁碟、半導體記憶體等》 此外’程式除了可從如上述的可移除式記錄媒體711 安裝至電腦,還可透過通訊網或播送網而下載至電腦中, 安裝至內建的硬碟705。亦即,程式係可例如從下載網站 -42- 201208383 ,透過數位衛星播送用的人造衛星,以無線而傳輸至電腦 ,或透過LAN (Local Area Network)、網際網路這類網 路,以有線方式而傳輸至電腦。 電腦係內載有 CPU (Central Processing Unit) 702, 對CPU7 02係透過匯流排700而連接有輸出入介面710。 CPU702係一旦透過輸出入介面710藉由使用者操作輸 入部707等而進行了指令輸入,則會聽從之而執行ROM ( Read Only Memory) 703中所儲存的程式。或者,CPU702 係將硬碟705中所儲存的程式,載入至RAM (Random Access Memory) 704中而加以執行。 藉此,CP U702係可進行上述流程圖所述之處理,或 者藉由上述之區塊圖的構成來進行處理。然後,CPU702 係將其處理結果,因應需要,例如,透過輸出入介面710 而從輸出部706加以輸出,或者從通訊部708進行送訊,或 甚至記錄在硬碟705中等。 此外,輸入部707係由鍵盤、滑鼠、麥克風等所構成 。又,輸出部 706 係由 LCD ( Liquid Crystal Display)或揚 聲器等所構成。 此處,於本說明書中,電腦依照程式而進行之處理, 係並不一定依照流程圖方式所記載之順序而時間序列性地 進行。亦即,電腦依照程式所進行的處理,係包含可平行 地或個別地執行之處理(例如平行處理或是物件所致之處 理)。 又,程式係可被1個電腦(處理器)所處理,也可被 -43- 201208383 複數電腦分散處理。甚至,程式係亦可被傳輸至遠方的電 腦而執行之。 此外,本技術的實施形態係不限定於上述實施形態, 在不脫離本技術主旨的範圍內可做各種變更。 又,本技術係亦可視爲如下之構成》 (1 ) —種影像處理裝置,其特徵爲,具備: 逆量化部,係藉由將已被量化之影像進行逆量化,以 求出藉由在第1正交轉換後進行第2正交轉換所求得之前記 影像的所定尺寸的低頻成分、和藉由前記第1正交轉換所 求得之前記影.像的前記低頻成分以外之成分亦即高頻成分 :和 逆正交轉換部,係當前記影像之尺寸是前記所定尺寸 時’對屬於前記低頻成分的前記影像,進行前記第1正交 轉換所對應之第1逆正交轉換與前記第2正交轉換所對應之 第2逆正交轉換加以合成的轉換亦即第3逆正交轉換,當前 記影像之尺寸是大於前記所定尺寸時,對前記低頻成分進 行前記第2逆正交轉換,對於前記第2逆正交轉換後的前記 低頻成分與已被前記逆量化部所求出之前記高頻成分,進 行前記第1逆正交轉換》 (2) 如前記(1 )所記載之影像處理裝置,其中, 前記所定尺寸,係爲4x4像素。 -44 - 201208383 如前記(1)所記載之影像處理裝置’其中, 前記所定尺寸係爲,當前記影像之尺寸是4x4像素時 則爲4x4像素,當前記影像之尺寸是8x8像素以上時則爲8X 8像素: 前記逆正交轉換部係爲,當前記影像之尺寸是4x4像 素時,對屬於前記低頻成分的前記影像進行前記第3逆正 交轉換,當前記影像之尺寸是8 X 8像素以上時,對前記低 頻成分進行前記第2逆正交轉換,對於前記第2逆正交轉換 後的前記低頻成分與已被前記逆量化部所求出之前記高頻 成分,進行前記第1逆正交轉換。 (4) 如前記(1 )乃至(3 )之任一項所記載之影像處理裝 置,其中, 前記第1正交轉換係爲DCT ( Discrete Cosine Transform ) ; 前記第2正交轉換係爲ROT ( Rotation transform)。 (5) 如前記(1 )乃至(4 )之任一項所記載之影像處理裝 置,其中, 還具備: 正交轉換部,係當前記影像之尺寸是前記所定尺寸時 ,對前記影像進行前記第1正交轉換與前記第2正交轉換所 合成之轉換亦即第3正交轉換’當前記影像之尺寸是大於 前記所定尺寸時,對前記影像進行前記第1正交轉換’並 -45- 201208383 對前記第1正交轉換後的影像中的前記所定尺寸的低頻成 分,進行第2正交轉換;和 量化部’係將前記第3正交轉換後的前記所定尺寸之 前記影像進行量化,或者,將藉由前記第Ϊ正交轉換所求 得之前記低頻成分以外之成分亦即高頻成分和藉由前記第 2正交轉換所求得之前記低頻成分,進行量化。 (6) —種影像處理方法, 係屬於具備: 逆量化部’係藉由將已被量化之影像進行逆量化,以 求出藉由在第1正交轉換後進行第2正交轉換所求得之前記 影像的所定尺寸的低頻成分、和藉由前記第1正交轉換所 求得之前記影像的前記低頻成分以外之成分亦即高頻成分 :和 逆正交轉換部,係當前記影像之尺寸是前記所定尺寸 時,對屬於前記低頻成分的前記影像,進行前記第1正交 轉換所對應之第1逆正交轉換與前記第2正交轉換所對應之 第2逆正交轉換加以合成的轉換亦即第3逆正交轉換,當前 記影像之尺寸是大於前記所定尺寸時,對前記低頻成分進 行前記第2逆正交轉換,對於前記第2逆正交轉換後的前記 低頻成分與已被前記逆量化部所求出之前記高頻成分,進 行前記第1逆正交轉換的影像處理裝置的影像處理方法, 其特徵爲,含有以下步驟: 前記逆量化部求出前記低頻成分與前記高頻成分; -46 - 201208383 前記逆正交轉換部當前記影像之尺寸是前記所定尺寸 時,對屬於前記低頻成分的前記影像進行前記第3逆正交 轉換,當前記影像之尺寸是大於前記所定尺寸時,對前記 低頻成分進行前記第2逆正交轉換,對於前記第2逆正交轉 換後的前記低頻成分與已被前記逆量化部所求出之前記高 頻成分,進行前記第1逆正交轉換。 (7) 一種程式,其特徵爲,係使電腦發揮機能而成爲: 逆量化部,係藉由將已被量化之影像進行逆量化,以 求出藉由在第1正交轉換後進行第2正交轉換所求得之前記 影像的所定尺寸的低頻成分、和藉由前記第1正交轉換所 求得之前記影像的前記低頻成分以外之成分亦即高頻成分 :和 逆正交轉換部,係當前記影像之尺寸是前記所定尺寸 時,對屬於前記低頻成分的前記影像’進行前記第1正交 轉換所對應之第1逆正交轉換與前記第2正交轉換所對應之 第2逆正交轉換加以合成的轉換亦即第3逆正交轉換,當前 記影像之尺寸是大於前記所定尺寸時’對前記低頻成分進 行前記第2逆正交轉換,對於前記第2逆正交轉換後的前記 低頻成分與已被前記逆量化部所求出之前記高頻成分,進 行前記第1逆正交轉換。 【圖式簡單說明】 [圖1]解碼器中的R〇T之工程例的圖示。 -47- 201208383 [圖2]AVC方式之編碼器之構成例的區塊圖。 [圖3]AVC方式之解碼器之構成例的區塊圖。 [圖4]導入ROT時,相當於正交轉換裝置、量化裝置、 逆量化裝置、及逆正交轉換裝置之部分之構成例的區塊圖 〇 [圖5]在編碼器側上的ROT之改善的說明圖。 [圖6]導入ROT時,相當於逆量化裝置、及逆正交轉換 裝置之部分之構成例的區塊圖。 [圖7]在解碼器側上的ROT之改善的說明圖。 [圖8]說明編碼器處理的流程圖。 [圖9]說明編碼器處理的流程圖。 圖 圖 圖 圖 圖 圖 圖 [ [ 1-- t rL . . .-1 塊 區 圖 程 流 的 ITT: 理 處 器 碼 編 明 說 圖 程 流 的 m: 理 處 器 碼 編 明 說 圖圖 程程 流流 »ΛΟ mi t rm·-· 理理 處處 器器0 0 扁 择 韻 角 說說 圖圖 程程 流流 的 mil 理 處 器 碼 解 明 說 的 mil 理 處 器 碼 解 明 說 的 例 成 構 之 態 形 施 實 1 的 腦 電 之 術 技 本 了 用 適 【主要元件符號說明】 101 : A/D轉換裝置 102:畫面重排緩衝區 103 :演算裝置 -48- 201208383 l〇4 :正交轉換裝置 105 :量化裝置 106 :可逆編碼裝置 107 :積存緩衝區 108 :逆量化裝置 109 :逆正交轉換裝置 1 1 0 :加算裝置 1 1 1 :去區塊濾波器 1 1 2 :畫格記憶體 1 1 3 :運動補償裝置 1 1 4 :畫面內預測裝置 1 1 5 :速率控制裝置 1 1 6 :運動預測裝置 1 17 :選擇裝置 2 1 6 :積存緩衝區 217:可逆解碼裝置 2 1 8 :逆量化裝置 219:逆正交轉換裝置 220 :加算裝置 221 :畫面重排緩衝區 222 : D/A轉換裝置 223 :畫格記憶體 224 :運動補償裝置 225 :畫面內預測裝置 -49 201208383 2 2 6 :去區塊濾波器 227 :開關 4 11: 4x4DCT部 412 : 8x8DCT部 413 : 1 6x1 6DCT部 414 : 32X32DCT部 4 15: 64x64DCT部 416 : 1 2 8X 1 28DCT部 417 : 4x4ROT部 418: 8x8ROT部 41 9 : 4x4量化部 4 2 0 : 8 X 8量化部 421 : 16x16量化部 422: 32x32量化部 423 : 64x64量化部 424: 128x128量化部 45 1 : 4x4逆量化部 452: 8x8逆量化部 453: 16x16逆量化部 454: 32x32逆量化部 455: 64x64逆量化部 456: 128x128逆量化部 45 7 : 4x4逆 ROT部 45 8 : 8x8 逆 ROT 部 -50 201208383 459 : 4x4 逆 DCT 部 460 : 8x8 逆 DCT部 46 1 : 16x16逆 DCT部 462: 32x32逆 DCT部 463 : 64x64逆 DCT部 464 : 128x128 逆 DCT 部 501 : 4x4DCTxROT部 5 02 : 4x4 逆 ROTx 逆 DCT 部 601 : 4x4逆量化部 602 : 8x8逆量化部 603: 16x16逆量化部 604 : 3 2x3 2逆量化部 605 : 64x64逆量化部 606: 128x128逆量化部 607 : 4x4逆 ROT部 608 : 8x8 逆 ROT 部 609 : 4x4 逆 DCT 部 610 : 8x8 逆 DC T 部 6 11: 16x16逆 DCT部 612 : 32x32逆 DCT部 613 : 64x64逆 DCT部 614 : 128x128 逆 DCT 部 701 : 4x4逆 ROTx逆 DCT部 7 0 0 :匯流排 -51 - 201208383
702 : CPU
703 : ROM
704 : RAM 705 :硬碟 706 :輸出部 707 :輸入部 7 0 8 :通訊部 709 :驅動機 7 1 0 :輸出入介面 7 1 1 :可移除式記錄媒體 -52

Claims (1)

  1. 201208383 七、申請專利範圍: 1·—種影像處理裝置,其特徵爲,具備: 逆量化部,係藉由將已被量化之影像進行逆量化,以 求出藉由在第1正交轉換後進行第2正交轉換所求得之前記 影像的所定尺寸的低頻成分、和藉由前記第1正交轉換所 求得之前記影像的前記低頻成分以外之成分亦即高頻成分 :和 逆正交轉換部,係當前記影像之尺寸是前記所定尺寸 時,對屬於前記低頻成分的前記影像’進行前記第1正交 轉換所對應之第1逆正交轉換與前記第2正交轉換所對應之 第2逆正交轉換加以合成的轉換亦即第3逆正交轉換,當前 記影像之尺寸是大於前記所定尺寸時’對前記低頻成分進 行前記第2逆正交轉換,對於前記第2逆正交轉換後的前記 低頻成分與已被前記逆量化部所求出之前記高頻成分’進 行前記第1逆正交轉換。 2.如申請專利範圍第1項所記載之影像處理裝置’其 中, 前記所定尺寸,係爲4x4像素。 3 .如申請專利範圍第1項所記載之影像處理裝置’其 中, 前記所定尺寸係爲’當前記影像之尺寸是4x4像素時 則爲4x4像素,當前記影像之尺寸是8x8像素以上時則爲 8像素; 前記逆正交轉換部係爲’當前記影像之尺寸是4 X 4像 -53- 201208383 素時,對屬於前記低頻成分的前記影像進行前記第3逆正 交轉換,當前記影像之尺寸是8x8像素以上時,對前記低 頻成分進行前記第2逆正交轉換’對於前記第2逆正交轉換 後的前記低頻成分與已被前記逆量化部所求出之前記高頻 成分,進行前記第1逆正交轉換。 4.如申請專利範圍第1項所記載之影像處理裝置,其 中, 前記第1正交轉換係爲DCT ( Discrete Cosine Transform ) ; 前記第2正交轉換係爲ROT ( Rotation transform)。 5 .如申請專利範圍第1項所記載之影像處理裝置,其 中, 還具備: 正交轉換部,係當前記影像之尺寸是前記所定尺寸時 ,對前記影像進行前記第1正交轉換與前記第2正交轉換所 合成之轉換亦即第3正交轉換,當前記影像之尺寸是大於 前記所定尺寸時,對前記影像進行前記第1正交轉換,並 對前記第1正交轉換後的影像中的前記所定尺寸的低頻成 分,進行第2正交轉換;和 量化部,係將前記第3正交轉換後的前記所定尺寸之 前記影像進行量化,或者,將藉由前記第1正交轉換所求 得之前記低頻成分以外之成分亦即高頻成分和藉由前記第 2正交轉換所求得之前記低頻成分,進行量化。 6.—種影像處理方法,係屬於具備: -54- 201208383 逆量化部,係藉由將已被量化之影像進行逆量化’以 求出藉由在第1正交轉換後進行第2正交轉換所求得之前記 影像的所定尺寸的低頻成分、和藉由前記第1正交轉換所 求得之前記影像的前記低頻成分以外之成分亦即高頻成分 :和 逆正交轉換部,係當前記影像之尺寸是前記所定尺寸 時,對屬於前記低頻成分的前記影像,進行前記第1正交 轉換所對應之第1逆正交轉換與前記第2正交轉換所對應之 第2逆正交轉換加以合成的轉換亦即第3逆正交轉換,當前 記影像之尺寸是大於前記所定尺寸時,對前記低頻成分進 行前記第2逆正交轉換,對於前記第2逆正交轉換後的前記 低頻成分與已被前記逆量化部所求出之前記高頻成分,進 行前記第1逆正交轉換的此種影像處理裝置的影像處理方 法,其特徵爲,含有以下步驟: 前記逆量化部求出前記低頻成分與前記高頻成分; 前記逆正交轉換部當前記影像之尺寸是前記所定尺寸 時,對屬於前記低頻成分的前記影像進行前記第3逆正交 轉換,當前記影像之尺寸是大於前記所定尺寸時,對前記 低頻成分進行前記第2逆正交轉換,對於前記第2逆正交轉 換後的前記低頻成分與已被前記逆量化部所求出之前記高 頻成分,進行前記第1逆正交轉換。 7.—種程式,其特徵爲,係使電腦發揮機能而成爲: 逆量化部,係藉由將已被量化之影像進行逆量化,以 求出藉由在第1正交轉換後進行第2正交轉換所求得之前記 -55- 201208383 影像的所定尺寸的低頻成分、和藉由前記第1正交轉換所 求得之前記影像的前記低頻成分以外之成分亦即高頻成分 :和 逆正交轉換部,係當前記影像之尺寸是前記所定尺寸 時,對屬於前記低頻成分的前記影像,進行前記第1正交 轉換所對應之第1逆正交轉換與前記第2正交轉換所對應之 第2逆正交轉換加以合成的轉換亦即第3逆正交轉換,當前 記影像之尺寸是大於前記所定尺寸時,對前記低頻成分進 行前記第2逆正交轉換,對於前記第2逆正交轉換後的前記 低頻成分與已被前記逆量化部所求出之前記高頻成分,進 行前記第1逆正交轉換。 -56-
TW100121641A 2010-07-16 2011-06-21 Image processing device, image processing method, and program TW201208383A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010162279 2010-07-16
JP2010241769A JP2012039590A (ja) 2010-07-16 2010-10-28 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
TW201208383A true TW201208383A (en) 2012-02-16

Family

ID=45469389

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100121641A TW201208383A (en) 2010-07-16 2011-06-21 Image processing device, image processing method, and program

Country Status (12)

Country Link
US (1) US20130108185A1 (zh)
EP (1) EP2595384A1 (zh)
JP (1) JP2012039590A (zh)
KR (1) KR20130088114A (zh)
CN (1) CN102986223A (zh)
AU (1) AU2011277552A1 (zh)
BR (1) BR112013000637A2 (zh)
CA (1) CA2802439A1 (zh)
MX (1) MX2013000355A (zh)
RU (1) RU2013100169A (zh)
TW (1) TW201208383A (zh)
WO (1) WO2012008389A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5854612B2 (ja) * 2011-02-18 2016-02-09 ソニー株式会社 画像処理装置および方法
US9712829B2 (en) 2013-11-22 2017-07-18 Google Inc. Implementation design for hybrid transform coding scheme
JP6476900B2 (ja) * 2015-01-21 2019-03-06 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US11375220B2 (en) * 2019-11-27 2022-06-28 Tencent America LLC Method and apparatus for video decoding using a nominal directional mode and an angular offset

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167092A (en) * 1999-08-12 2000-12-26 Packetvideo Corporation Method and device for variable complexity decoding of motion-compensated block-based compressed digital video
US7221708B1 (en) * 2002-12-16 2007-05-22 Emblaze V Con Ltd Apparatus and method for motion compensation
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
US20080008246A1 (en) * 2006-07-05 2008-01-10 Debargha Mukherjee Optimizing video coding
KR20110017303A (ko) * 2009-08-13 2011-02-21 삼성전자주식회사 회전변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR20110065092A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US8693795B2 (en) * 2010-10-01 2014-04-08 Samsung Electronics Co., Ltd. Low complexity secondary transform for image and video compression
US20120320972A1 (en) * 2011-06-16 2012-12-20 Samsung Electronics Co., Ltd. Apparatus and method for low-complexity optimal transform selection

Also Published As

Publication number Publication date
MX2013000355A (es) 2013-01-28
WO2012008389A1 (ja) 2012-01-19
KR20130088114A (ko) 2013-08-07
JP2012039590A (ja) 2012-02-23
CA2802439A1 (en) 2012-01-19
BR112013000637A2 (pt) 2016-05-24
US20130108185A1 (en) 2013-05-02
AU2011277552A1 (en) 2013-01-10
EP2595384A1 (en) 2013-05-22
RU2013100169A (ru) 2014-07-20
CN102986223A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
JP2022033108A (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
JP2006262004A (ja) 動画像符号化/復号化の方法及び装置
CN102422643A (zh) 图像处理装置、方法和程序
TW201208383A (en) Image processing device, image processing method, and program
JP5375938B2 (ja) 復号装置及び方法
KR20090072150A (ko) 스캔 패턴 결정 장치 및 이를 이용한 영상 데이터 부호화방법과 그 장치, 그리고, 이를 이용한 영상 데이터 복호화방법과 그 장치
JP6708211B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
KR20180040824A (ko) 복호화기 기반의 화면 내 예측 모드 추출 기술을 사용하는 비디오 코딩 방법 및 장치
JP2011010197A (ja) 画像符号化装置及び画像復号装置
JP4768779B2 (ja) 動画像符号化/復号化の方法及び装置
CN103843344A (zh) 图像处理装置和方法
JP2023027401A (ja) 復号装置、プログラム、及び復号方法
WO2017082304A1 (ja) 情報圧縮装置、情報圧縮方法、記録媒体、及び、符号化装置
JP6421426B2 (ja) 符号化方式変換装置及びプログラム
JP2007266861A (ja) 画像符号化装置
JP6402520B2 (ja) 符号化装置、方法、プログラム及び機器
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP5375935B2 (ja) 符号化装置及び方法
JP5299340B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2008104072A (ja) 画像データの符号化方法および符号化装置
JP2023520679A (ja) ビデオデータの符号化および復号
CN112740673A (zh) 图像数据编码和解码
JP2011217084A (ja) 画像復号装置、画像復号方法及び画像復号プログラム