TWI411310B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI411310B
TWI411310B TW99125791A TW99125791A TWI411310B TW I411310 B TWI411310 B TW I411310B TW 99125791 A TW99125791 A TW 99125791A TW 99125791 A TW99125791 A TW 99125791A TW I411310 B TWI411310 B TW I411310B
Authority
TW
Taiwan
Prior art keywords
unit
block
image
prediction
motion
Prior art date
Application number
TW99125791A
Other languages
English (en)
Other versions
TW201129099A (en
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201129099A publication Critical patent/TW201129099A/zh
Application granted granted Critical
Publication of TWI411310B publication Critical patent/TWI411310B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，尤其係關於一種藉由計算出與圖框內之局部性質相對應的最佳濾波器係數，而進一步提昇編碼效率之圖像處理裝置及方法。
近年來，將圖像資訊作為數位進行處理，此時，以高效率之資訊之傳輸、儲存為目的，利用圖像資訊特有之冗餘性，採用藉由離散餘弦變換等正交變換與移動補償進行壓縮之編碼方式對圖像進行壓縮編碼之裝置得到不斷普及。該編碼方式例如有MPEG(Moving Picture Experts Group，動畫專家群)等。
尤其，MPEG2(ISO(International Organization for Standardization，國際標準化組織)/IEC(International Electrotechnical Commission，國際電工技術委員會)13818-2)被定義為通用圖像編碼方式，其係包羅交錯掃描圖像及依序掃描圖像兩者、以及標準解析度圖像及高精細圖像之標準。例如，MPEG2目前正廣泛地適用於專業用途及消費型用途之廣泛用途。藉由使用MPEG2壓縮方式，若為例如具有720×480像素之標準解析度之交錯掃描圖像，則分配4至8 Mbps之碼量(位元率)。又，藉由使用MPEG2壓縮方式，若為例如具有1920×1088像素之高解析度之交錯掃描圖像，則分配18至22 Mbps之碼量(位元率)。藉此，可實現較高之壓縮率及良好之畫質。
MPEG2主要係以適合於播放用之高畫質編碼為對象，但並不對應於較MPEG1更低之碼量(位元率)，即更高壓縮率之編碼方式。可想到隨著移動終端之普及，今後此種編碼方式之需求將高漲，對應於此，已進行了MPEG4編碼方式之標準化。關於圖像編碼方式，於1998年12月，該規格作為ISO/IEC 14496-2被承認為國際標準。
進而，近年來，以當初電視會議用之圖像編碼為目的，正在推進H.26L(ITU-T Q6/16 VCEG)這一標準之規格化。眾所周知，H.26L雖與MPEG2或MPEG4之類的先前之編碼方式相比，其編碼、解碼要求更多之運算量，但可實現更高之編碼效率。又，目前，作為MPEG4之活動之一環，以該H.26L為基礎，亦導入H.26L中無法支持之功能以實現更高之編碼效率的標準化，係作為Joint Model of Enhanced-Compression Video Coding(增強壓縮視訊編碼之聯合開發模式)正在進行。作為標準化之排程，於2003年3月已變為H.264及MPEG-4 Part10(Advanced Video Coding(進階視訊編碼)，以下記作H.264/AVC)這一國際標準。
進而，作為其之擴展，亦包括RGB(Red/Green/Blue，紅/綠/藍)或4：2：2、4：4：4之類的商業用所必需之編碼工具、或者由MPEG-2所規定之8×8DCT(Discrete Cosine Transform，離散餘弦變換)或量化矩陣之FRExt(Fidelity Range Extension，保真度範圍擴展)的標準化已於2005年2月完成。藉此，使用H.264/AVC，成為可使電影中所包含之影片雜訊亦良好地表現之編碼方式，而逐步用於Blu-Ray Disc(商標)等廣泛用途。
然而，最近，欲壓縮高畫質圖像之4倍之4000×2000像素左右的圖像，或者欲於如網際網路之有限之傳輸容量的環境中傳送高畫質圖像這一對於更高壓縮率編碼之需求高漲。因此，於上述之ITU-T(International Telecommunications Union-Telecommunication Standards Sector，國際電訊聯盟電訊標準組)旗下之VCEG(=Video Coding Expert Group，視訊編碼專家群)中，繼續研究關於編碼效率之改善。
此處，於H.264/AVC方式之移動預測補償中，進行1/4像素精度之預測‧補償處理，藉此提昇預測效率。
例如，於MPEG2方式中，利用線性內插處理進行1/2像素精度之移動預測‧補償處理。相對於此，於H.264/AVC方式中，進行使用6個分接頭之FIR濾波器(Finite Impulse Response Filter，有限脈衝響應濾波器)之1/4像素精度的預測‧補償處理。
圖1係說明H.264/AVC方式中之1/4像素精度之預測‧補償處理之圖。於H.264/AVC方式中，進行使用6個分接頭之FIR濾波器(Finite Impulse Response Filter)之1/4像素精度之預測‧補償處理。
於圖1之例中，位置A表示整數精度像素之位置，位置b、c、d表示1/2像素精度之位置，位置e1、e2、e3表示1/4像素精度之位置。首先，以下將Clip()如下式(1)般定義。
[數1]
再者，於輸入圖像為8位元精度之情形時，max_pix之值成為255。
位置b及d中之像素值係使用6個分接頭之FIR濾波器，如下式(2)般生成。
[數2]
位置c中之像素值係於水平方向及垂直方向上適用6個分接頭之FIR濾波器，如下式(3)般生成。
[數3]
再者，Clip處理係於進行水平方向及垂直方向之積和處理兩者後，最後僅執行一次。
位置e1至e3係如下式(4)般藉由線性內插而生成。
[數4]
e 1 =(A +b +1)>>1
e 2 =(b +d +1)>>1…(4)
e 3 =(b +c +1)>>1
又，為獲得編碼效率較高之壓縮圖像，藉由何種處理選擇以此種1/4像素精度所求出之移動向量亦較重要。作為該處理之一例，可列舉非專利文獻1中所公開之安裝於被稱作JM(Joint Model，聯合模型)之參考軟體(reference software)的方法。
其次，參考圖2，對安裝於JM中之移動搜索方法進行說明。
於圖2之例中，像素A至I表示具有整數像素精度之像素值之像素(以下，稱為整數像素精度之像素)。像素1至8表示像素E周邊之具有1/2像素精度之像素值的像素(以下，稱為1/2像素精度之像素)。像素a至h表示像素6周邊之具有1/4像素精度之像素值的像素(以下，稱為1/4像素精度之像素)。
於JM中，作為第1步驟，在特定之搜索範圍內，求出使SAD(Sum of Absolute Difference，絕對差之和)等之成本函數值成為最小之整數像素精度的移動向量。藉此，將相對於所求出之移動向量之像素設定為像素E。
其次，作為第2步驟，求出像素E、及像素E周邊之1/2像素精度之像素1至8之中，使上述成本函數值成為最小之像素值之像素，將該像素(圖2之例之情形時為像素6)設定為相對於1/2像素精度之最佳移動向量之像素。
繼而，作為第3步驟，求出像素6、及像素6周邊之1/4像素精度之像素a至h之中，使上述成本函數值成為最小之像素值之像素。藉此，相對於求所求出之像素之移動向量成為1/4像素精度的最佳移動向量。
如上所述，於H.264/AVC方式中進行1/4像素精度之預測‧補償處理，但針對該1/4像素精度之預測‧補償處理，業界已提出有多種用以進一步提昇編碼效率之技術。
例如，於H.264/AVC方式中，用於生成相對於參考圖1所述之小數像素精度之移動向量的取樣位置之像素值之內插濾波器的濾波器係數如非專利文獻2中所記載般，係預先規定者。
因此，於非專利文獻3中，提出有以針對各對象圖框使預測殘差成為最小之方式，適當地切換該濾波器係數。
即，於非專利文獻3中，首先，作為第1步驟，進行通常之H.264/AVC方式之移動預測處理，並針對各個移動補償區塊計算出移動向量值。
作為第2步驟，以相對於第1步驟中所求出之移動向量值使移動殘差成為最小之方式，進行濾波器之最佳化。
繼而，作為第3步驟，使用第2步驟中所求出之濾波器係數，再次進行移動搜索，並更新移動向量值。藉此，可提昇編碼效率。
藉由進一步重複以上之步驟，亦可進行濾波器係數與移動向量值之最佳化。
又，如上所述，於H.264/AVC方式中，巨集區塊尺寸為16×16像素。然而，將巨集區塊尺寸設定為16像素×16像素對於如成為下一代編碼方式之對象之UHD(Ultra High Definition，超高清晰度；4000像素×2000像素)之類的大畫框而言，並非最佳。
因此，於非專利文獻4等中，亦提出有將巨集區塊尺寸擴展為例如32×32像素之大小。
再者，上述圖1及圖2以下亦可用作說明本發明之圖。
[先前技術文獻] [非專利文獻]
[非專利文獻1]H.264/AVC Software Coordination，Institut Nachrichtentechnik Heinrich-Hertz-Institut，[2009年8月13日檢索]，網際網路<URL：http://iphome.hhi.de/suehring/tml/index.htm>
[非專利文獻2]「8.4.2.2.1 Luma sample interpolation process」,「ITU-T Recommendation H.264 Advanced video coding for generic audiovisual」,P162-P164 November 2007
[非專利文獻3]「Prediction of P-and B-Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation for H.264/AVC」,VCEG-AD08,ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG),23-27 Oct 2006
[非專利文獻4]「Video Coding Using Extended Block Sizes」,VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123,Jan 2009
但是，根據上述非專利文獻3中所記載之方法，雖然圖框整體之畫質被最佳化，且編碼效率得到提昇，但所計算出之適應性濾波器係數對於圖框內之局部性質而言未必係最佳者。例如，於圖框內，平坦之區域與包含高通成分之紋理區域必需為信號性質不同，最佳濾波器係數亦不同者。
然而，於非專利文獻3中所記載之方法中，難以對應於此種圖框內之局部性質。
本發明係鑒於此種情況而完成者，其係藉由計算出對應於圖框內之局部性質的最佳濾波器係數，而可進一步提昇編碼效率者。
本發明之第1態樣之圖像處理裝置包括：移動預測機構，其係使用預先設定之第1濾波器係數，進行成為候補之預測模式下之成為編碼處理對象的對象區塊之移動預測；區塊判別機構，其係根據最佳預測模式所示之區塊尺寸對級別進行分類，上述最佳預測模式係自藉由上述移動預測機構進行移動預測之上述成為候補之預測模式中針對上述對象區塊所決定；以及濾波器係數計算機構，其係針對藉由上述區塊判別機構所分類之上述每個級別，計算出使預測誤差成為最小之第2濾波器係數。
上述移動預測機構使用藉由上述濾波器係數計算機構所計算出之上述第2濾波器係數，進行上述成為候補之預測模式下之上述對象區塊之移動預測，且該圖像處理裝置可更包括：模式決定機構，其係自藉由上述移動預測機構使用上述第2濾波器係數進行移動預測之上述成為候補之預測模式中，針對上述對象區塊決定上述最佳預測模式；移動補償機構，其係進行上述最佳預測模式下之上述對象區塊之移動補償，上述最佳預測模式係自藉由上述移動預測機構進行移動預測之上述成為候補之預測模式中決定；以及編碼機構，其係對由上述移動補償機構之上述移動補償所獲得之上述對象區塊的預測圖像與原圖像之差分進行編碼。
上述編碼機構可對藉由上述濾波器係數計算機構針對上述每個級別所計算出之上述第2濾波器係數進行編碼。
上述編碼機構可對表示傳送上述每個級別的上述第2濾波器係數之旗標資訊、及上述旗標資訊已編碼之級別的上述第2濾波器係數進行編碼。
上述移動預測機構可相對於被分類為上述旗標資訊未經編碼之級別的區塊尺寸之預測模式，使用上述第1濾波器係數進行上述對象區塊之移動預測。
上述移動預測機構可相對於被分類為上述旗標資訊未經編碼之級別的區塊尺寸之預測模式，使用較該級別更大之區塊尺寸之級別的上述第2濾波器係數進行上述對象區塊之移動預測。
上述移動預測機構可於對象片層中，相對於被分類為上述旗標資訊未經編碼之級別之區塊尺寸之預測模式，使用較上述對象片層更前之片層中之相同級別的上述第2濾波器係數進行上述對象區塊之移動預測。
上述區塊判別機構可根據上述區塊尺寸是否大於8×8區塊，對上述級別進行分類。
上述區塊判別機構可根據上述區塊尺寸是否大於16×16區塊、或者是否為16×16區塊以下且大於8×8區塊、或者是否為8×8區塊以下，對上述級別進行分類。
本發明之第1態樣之圖像處理方法包括下述步驟：圖像處理裝置使用預先設定之第1濾波器係數，進行成為候補之預測模式下之成為編碼處理對象的對象區塊之移動預測，根據最佳預測模式所示之區塊尺寸對級別進行分類，上述最佳預測模式係自已進行移動預測之上述成為候補之預測模式中針對上述對象區塊所決定，針對所分類之上述每個級別，計算出使預測誤差成為最小之第2濾波器係數。
本發明之第2態樣之圖像處理裝置包括：解碼機構，其係對成為解碼處理之對象的對象區塊之移動向量資訊進行解碼；濾波器係數設定機構，其係自針對根據區塊尺寸而分類之每個級別以使預測誤差成為最小之方式所計算出的每個級別之濾波器係數中，設定與上述對象區塊之區塊尺寸相應之濾波器係數；以及預測圖像生成機構，其係使用藉由上述解碼機構解碼之上述移動向量資訊、及藉由上述濾波器係數設定機構設定之上述濾波器係數，生成上述對象區塊之預測圖像。
上述解碼機構可對每個片層中經編碼之上述每個級別之濾波器係數進行解碼，上述濾波器係數設定機構可自藉由上述解碼機構解碼之上述每個級別之濾波器係數中，設定與上述對象區塊之區塊尺寸相應之濾波器係數。
上述解碼機構亦可對上述對象區塊之預測模式資訊進行解碼，上述濾波器係數設定機構可根據藉由上述解碼機構解碼之上述預測模式資訊所示之區塊尺寸，設定與上述對象區塊之區塊尺寸相應之濾波器係數。
上述解碼機構可對表示傳送每個片層中經編碼之上述每個級別之濾波器係數的旗標資訊、及上述旗標資訊已解碼之級別的上述濾波器係數進行解碼。
上述預測圖像生成機構可針對被分類為上述旗標資訊未經解碼之級別的區塊尺寸之對象區塊，使用預先設定之濾波器係數生成預測圖像。
上述預測圖像生成機構可於對象片層中，相對於被分類為上述旗標資訊未經解碼之級別的區塊尺寸之預測模式，使用較上述對象片層更前之片層中之相同級別的上述第2濾波器係數生成上述對象區塊之預測圖像。
上述區塊判別機構可根據上述區塊尺寸是否大於8×8區塊，對上述級別進行分類。
上述區塊判別機構可根據上述區塊尺寸是否大於16×16區塊、或者是否為16×16區塊以下且大於8×8區塊、或者是否為8×8區塊以下，對上述級別進行分類。
上述級別係根據上述區塊尺寸是否大於8×8區塊而分類。
上述級別係根據上述區塊尺寸是否大於16×16區塊、或者是否為16×16區塊以下且大於8×8區塊、或者是否為8×8區塊以下而分類。
本發明之第2態樣之圖像處理方法包括下述步驟：對成為解碼處理之對象的對象區塊之移動向量資訊進行解碼，自針對根據區塊尺寸而分類之每個級別以使預測誤差成為最小之方式所計算出的每個級別之濾波器係數中，設定與上述對象區塊之區塊尺寸相應之濾波器係數，使用經解碼之上述移動向量資訊、及所設定之上述濾波器係數，生成上述對象區塊之預測圖像。
於本發明之第1態樣中，使用預先設定之第1濾波器係數，進行成為候補之預測模式下之成為編碼處理對象的對象區塊之移動預測，並根據最佳預測模式所示之區塊尺寸對級別進行分類，上述最佳預測模式係自已進行移動預測之上述成為候補之預測模式中針對上述對象區塊所決定。然後，針對所分類之上述每個級別，計算出使預測誤差成為最小之第2濾波器係數。
於本發明之第2態樣中，對成為解碼處理之對象的對象區塊之移動向量資訊進行解碼，並自針對根據區塊尺寸而分類之每個級別以使預測誤差成為最小之方式所計算出之每個級別的濾波器係數中，設定與上述對象區塊之區塊尺寸相應之濾波器係數。然後，使用經解碼之上述移動向量資訊、及所設定之上述濾波器係數，生成上述對象區塊之預測圖像。
再者，上述之圖像處理裝置之各個可為獨立之裝置，亦可為構成1個圖像編碼裝置或圖像解碼裝置之內部區塊。
根據本發明之第1態樣，可計算出與圖框內之局部性質相對應的最佳濾波器係數。又，根據本發明之第1態樣，可提昇編碼效率。
根據本發明之第2態樣，可設定與圖框內之局部性質相對應的最佳濾波器係數。又，根據本發明之第2態樣，可提昇編碼效率。
以下，參考圖對本發明之實施形態進行說明。
[圖像編碼裝置之構成例]
圖3表示作為適用本發明之圖像處理裝置之圖像編碼裝置之一實施形態的構成。
該圖像編碼裝置51以例如H.264及MPEG-4 Part10(Advanced Video Coding)(以下記作H.264/AVC)方式為基礎對圖像進行壓縮編碼。
於圖3之例中，圖像編碼裝置51包括：A/D(Analog/Digital、類比/數位)變換部61、畫面重排緩衝器62、運算部63、正交變換部64、量化部65、可逆編碼部66、儲存緩衝器67、逆量化部68、逆正交變換部69、運算部70、解塊濾波器71、圖框記憶體72、開關73、框內預測部74、移動預測‧補償部75、適應性內插濾波器計算部76、區塊判別部77、預測圖像選擇部78、及碼率控制部79。
A/D變換部61對所輸入之圖像進行A/D變換，並輸出至畫面重排緩衝器62中加以儲存。畫面重排緩衝器62將所儲存之顯示之順序之圖框的圖像根據GOP(Group of Picture，畫面群)重排成用於編碼之圖框之順序。
運算部63使自畫面重排緩衝器62所讀出之圖像減去藉由預測圖像選擇部78所選擇之來自框內預測部74之預測圖像或來自移動預測‧補償部75之預測圖像，並將所獲取之差分資訊輸出至正交變換部64中。正交變換部64對來自運算部63之差分資訊實施離散餘弦變換、K-L(Karhunen-Loeve)變換等正交變換，並輸出其變換係數。量化部65將正交變換部64所輸出之變換係數量化。
成為量化部65之輸出之經量化的變換係數被輸入至可逆編碼部66中，於其中對其實施可變長度編碼、算術編碼等可逆編碼且進行壓縮。
可逆編碼部66自框內預測部74獲取表示框內預測之資訊，並自移動預測‧補償部75獲取表示框間預測模式之資訊等。再者，表示框內預測之資訊及表示框間預測之資訊以下亦分別稱為框內預測模式資訊及框間預測模式資訊。
可逆編碼部66對經量化之變換係數進行編碼，並且對表示框內預測之資訊、表示框間預測之資訊等進行編碼，並將該等作為壓縮圖像中之標頭資訊之一部分。可逆編碼部66將經編碼之資料供給至儲存緩衝器67中加以儲存。
例如，於可逆編碼部66中進行可變長度編碼或者算術編碼等可逆編碼處理。作為可變長度編碼，可列舉由H.264/AVC方式所規定之CAVLC(Context-Adaptive Variable Length Coding，文絡適應性可變長度編碼)等。作為算術編碼，可列舉CABAC(Context-Adaptive Binary Arithmetic Coding，文絡適應性二進位算數編碼)等。
儲存緩衝器67將自可逆編碼部66所供給之資料作為以H.264/AVC方式編碼之壓縮圖像，輸出至例如後段之未圖示之記錄裝置或傳輸路徑等。
又，自量化部65所輸出之經量化之變換係數亦被輸入至逆量化部68中，經逆量化後，進而於逆正交變換部69中進行逆正交變換。經逆正交變換之輸出藉由運算部70而與自預測圖像選擇部78所供給之預測圖像相加，成為局部經解碼之圖像。解塊濾波器71去除經解碼之圖像之區塊失真後，將其供給至圖框記憶體72中加以儲存。亦對圖框記憶體72供給藉由解塊濾波器71進行解塊濾波器處理之前之圖像，並加以儲存。
開關73將圖框記憶體72中所儲存之參考圖像輸出至移動預測‧補償部75或框內預測部74中。
於該圖像編碼裝置51中，例如將來自畫面重排緩衝器62之I畫面、B畫面以及P畫面作為進行框內預測(亦稱為框內處理)之圖像供給至框內預測部74。又，將自畫面重排緩衝器62所讀出之B畫面以及P畫面作為進行框間預測(亦稱為框間處理)之圖像供給至移動預測‧補償部75。
框內預測部74根據自畫面重排緩衝器62所讀出之進行框內預測之圖像與自圖框記憶體72所供給之參考圖像，進行成為候補之所有框內預測模式之框內預測處理，而生成預測圖像。
此時，框內預測部74針對成為候補之所有框內預測模式計算出成本函數值，並選擇所計算出之成本函數值提供最小值之框內預測模式作為最佳框內預測模式。該成本函數值之詳細情況將參考圖10而後述。
框內預測部74將由最佳框內預測模式所生成之預測圖像及其成本函數值供給至預測圖像選擇部78。框內預測部74於藉由預測圖像選擇部78已選擇由最佳框內預測模式所生成之預測圖像之情形時，將表示最佳框內預測模式之資訊供給至可逆編碼部66。可逆編碼部66對該資訊進行編碼，並將其作為壓縮圖像中之標頭資訊之一部分。
對移動預測‧補償部75供給自畫面重排緩衝器62所讀出之進行框間處理之圖像，且經由開關73自圖框記憶體72供給參考圖像。移動預測‧補償部75進行成為候補之所有框間預測模式之移動預測，檢測整數像素精度之移動向量，並使用H.264/AVC方式之內插濾波器預測小數像素精度之移動向量。
移動預測‧補償部75使用所預測之移動向量，針對成為候補之所有框間預測模式計算出成本函數值。移動預測‧補償部75將所計算出之成本函數值之中提供最小值的預測模式決定為最佳框間預測模式，並將所決定之預測模式之資訊與相對應之小數像素精度之移動向量資訊供給至適應性內插濾波器計算部76。
進而，移動預測‧補償部75使用藉由適應性內插濾波器計算部76所計算出之濾波器係數之適應性內插濾波器，再次針對成為候補之所有框間預測模式預測小數像素精度之移動向量，並計算出成本函數值。然後，移動預測‧補償部75將所計算出之成本函數值之中提供最小值的預測模式決定為最佳框間預測模式。
再者，以下，為加以區分，將由使用H.264/AVC方式之內插濾波器所預測之移動向量資訊所決定的最佳框間預測模式稱作第1最佳框間預測模式。相對於此，將由使用適應性內插濾波器所預測之移動向量資訊所決定之最佳框間預測模式稱作第2最佳框間預測模式，上述適應性內插濾波器係藉由適應性內插濾波器計算部76所計算出之濾波器係數之適應性內插濾波器。
移動預測‧補償部75根據所決定之第2最佳框間預測模式之小數像素精度之移動向量對參考圖像實施補償處理，生成預測圖像，並求出成本函數值。然後，移動預測‧補償部75將由第2最佳框間預測模式所生成之預測圖像與其成本函數值供給至預測圖像選擇部78。移動預測‧補償部75於藉由預測圖像選擇部78已選擇由第2最佳框間預測模式所生成之預測圖像之情形時，將表示第2最佳框間預測模式之資訊(框間預測模式資訊)輸出至可逆編碼部66。
此時，移動向量資訊、參考圖框資訊等亦被輸出至可逆編碼部66。可逆編碼部66依然對來自移動預測‧補償部75之資訊進行可變長度編碼、算術編碼之類的可逆編碼處理，並將其插入至壓縮圖像之標頭部。
由移動預測‧補償部75所預測之小數像素精度之移動向量資訊、及第1最佳框間預測模式之資訊被供給至適應性內插濾波器計算部76中。適應性內插濾波器計算部76根據來自區塊判別部77之控制信號，針對每個片層計算出用於較8×8更大之大區塊尺寸與用於8×8以下之小區塊尺寸之適應性內插濾波器的濾波器係數。
即，適應性內插濾波器計算部76利用來自區塊判別部77之控制信號，針對移動向量資訊之中，較8×8更大之區塊尺寸之第1最佳框間預測模式的移動向量資訊計算出用於大區塊尺寸之濾波器係數。又，適應性內插濾波器計算部76利用來自區塊判別部77之控制信號，針對每個片層，對移動向量資訊之中，8×8以下之區塊尺寸之第1最佳框間預測模式的移動向量資訊計算出用於小區塊尺寸之濾波器係數。
適應性內插濾波器計算部76將針對每個片層所計算出之用於大區塊尺寸及用於小區塊尺寸之濾波器係數供給至移動預測‧補償部75及可逆編碼部66。
區塊判別部77根據供給至適應性內插濾波器計算部76之第1最佳框間預測模式所示之區塊尺寸，將控制用於大區塊尺寸或用於小區塊尺寸之濾波器係數之計算的控制信號供給至適應性內插濾波器計算部76。
預測圖像選擇部78根據自框內預測部74或移動預測‧補償部75所輸出之各成本函數值，自最佳框內預測模式與最佳框間預測模式中決定最佳預測模式。然後，預測圖像選擇部78選擇所決定之最佳預測模式之預測圖像，並將其供給至運算部63、70。此時，預測圖像選擇部78將預測圖像之選擇資訊供給至框內預測部74或移動預測‧補償部75。
碼率控制部79根據儲存緩衝器67中所儲存之壓縮圖像，控制量化部65之量化動作之碼率，以防止產生溢位或下溢。
[H.264/AVC方式之說明]
圖4係表示H.264/AVC方式中之移動預測‧補償之區塊尺寸之例的圖。於H.264/AVC方式中，使區塊尺寸可變而進行移動預測‧補償。
於圖4之上段中，自左側起依序表示有分割成16×16像素、16×8像素、8×16像素、以及8×8像素之分區的由16×16像素構成的巨集區塊。又，於圖4之下段中，自左側起依序表示有分割成8×8像素、8×4像素、4×8像素、以及4×4像素之子分區的8×8像素的分區。
即，於H.264/AVC方式中，可將1個巨集區塊分割成16×16像素、16×8像素、8×16像素、或者8×8像素中之任一分區，且具有分別獨立之移動向量資訊。又，可將8×8像素之分區分割成8×8像素、8×4像素、4×8像素、或者4×4像素之任一子分區，且具有分別獨立之移動向量資訊。
圖5係說明H.264/AVC方式中之多參考圖框之預測‧補償處理的圖。於H.264/AVC方式中，規定多參考圖框(Multi-Reference Frame)之移動預測‧補償方式。
於圖5之例中，表示有即將被編碼之對象圖框Fn與已完成編碼之圖框Fn-5、......、Fn-1。圖框Fn-1係時間軸上對象圖框Fn之1個之前之圖框，圖框Fn-2係時間軸上對象圖框Fn之2個之前之圖框，圖框Fn-3係對象圖框Fn之3個之前之圖框。又，圖框Fn-4係對象圖框Fn之4個之前之圖框，圖框Fn-5係對象圖框Fn之5個之前之圖框。一般而言，相對於對象圖框Fn於時間軸上越接近之圖框，附加越小之參考畫面編號(ref_id)。即，圖框Fn-1之參考畫面編號最小，以下，參考畫面編號以Fn-2、......、Fn-5之順序變大。
於對象圖框Fn中表示有區塊A1與區塊A2，區塊A1係與對象圖框Fn之2個之前之圖框Fn-2之區塊A1'相關，搜索移動向量V1。又，區塊A2係與對象圖框Fn之4個之前之圖框Fn-4之區塊A1'相關，搜索移動向量V2。
如上所述，於H.264/AVC方式中，可先將複數個參考圖框儲存於記憶體中，然後於1張圖框(畫面)中參考不同之參考圖框。即，例如，如區塊A1參考圖框Fn-2，區塊A2參考圖框Fn-4般，可於1張畫面中具有於每個區塊中分別獨立之參考圖框資訊(參考畫面編號(ref_id))。
此處，區塊係參考圖4表示上述16×16像素、16×8像素、8×16像素、以及8×8像素之分區之任一者。8×8子區塊內之參考圖框必需相同。
於H.264/AVC方式中，參考圖1進行上述1/4像素精度之移動預測‧補償處理，且參考圖4及圖5進行如上所述之移動預測‧補償處理，藉此生成龐大之移動向量資訊。對該龐大之移動向量資訊直接進行編碼會導致編碼效率降低。相對於此，於H.264/AVC方式中，藉由圖6所示之方法，實現移動向量之編碼資訊之減少。
圖6係對H.264/AVC方式之移動向量資訊之生成方法進行說明的圖。
於圖6之例中，表示有即將被編碼之對象區塊E(例如，16×16像素)與已完成編碼且鄰接於對象區塊E之區塊A至D。
即，區塊D係鄰接於對象區塊E之左上方，區塊B係鄰接於對象區塊E之上方，區塊C係鄰接於對象區塊E之右上方，區塊A係鄰接於對象區塊E之左側。再者，區塊A至D未被區分係分別表示圖4中上述16×16像素至4×4像素中之任一構成之區塊。
例如，以mvX 表示相對於X(=A、B、C、D、E)之移動向量資訊。首先，相對於對象區塊E之預測移動向量資訊pmvE 係使用關於區塊A、B、C之移動向量資訊，藉由中值預測而如下式(5)般生成。
pmvE =med(mvA ,mvB ,mvC )…(5)
關於區塊C之移動向量資訊，有由於為畫框之端部或尚未被編碼等理由而無法利用(unavailable)之情形。於此情形時，關於區塊C之移動向量資訊係由關於區塊D之移動向量資訊代用。
作為相對於對象區塊E之移動向量資訊，附加於壓縮圖像之標頭部之資料mvdE 係使用pmvE ，如下式(6)般而生成。
mvdE =mvE -pmvE …(6)
再者，實際上，對移動向量資訊之水平方向、垂直方向之各個成分獨立地進行處理。
如此，生成預測移動向量資訊，並將由與鄰接之區塊之相關性所生成之預測移動向量資訊與移動向量資訊的差分附加於壓縮圖像之標頭部，藉此可減少移動向量資訊。
[內插處理之說明]
此處，再次參考圖4，對圖3之適應性內插濾波器計算部76及區塊判定部77之處理進行詳細說明。
圖4所示之移動補償之區塊尺寸之中，針對不怎麼存在紋理之區塊，或者包含紋理，但遍及寬廣之區域平行移動之區塊，易於選擇16×16像素等之大區塊尺寸。
另一方面，針對包含精細之紋理、或者包含無規則之移動的區域，易於選擇4×4像素等之小區塊尺寸。
如此，選擇圖4所示之移動補償之區塊之中何種尺寸的區塊，反映了圖像所具有之局部特徵。因此，利用該事實，於適應性內插濾波器計算部76及區塊判定部77中，進行適合於圖像所具有之局部特徵之內插濾波器(即，適應性內插濾波器)的濾波器係數之計算處理。
即，於上述非專利文獻3中，針對如圖2所示之每個小數像素精度之位置計算出適應性內插濾波器之濾波器係數。相對於此，於適應性內插濾波器計算部76及區塊判定部77中，針對圖4所示之區塊尺寸之中，較8×8更大之區塊尺寸之級別與8×8以下之區塊尺寸之級別，計算出不同之濾波器係數。
藉此，可對應於圖框內之局部性質，進而可提昇編碼效率。
[移動預測‧補償部及適應性內插濾波器計算部之構成例]
圖7係表示移動預測‧補償部75及適應性內插濾波器計算部76之詳細之構成例的方塊圖。再者，於圖7中省略了圖3之開關73。
於圖7之例中，移動預測‧補償部75包括：整數像素精度移動預測部81、小數像素精度移動預測部82、模式判定部83、小數像素精度移動預測部84、以及移動補償部85。再者，於移動預測‧補償部75中，參考圖2，根據上述安裝於JM(Joint Model)之移動搜索方法，求出小數像素精度之移動向量。即，藉由整數像素精度移動預測部81進行整數像素精度之移動搜索，藉由小數像素精度移動預測部82或84進行小數像素精度之移動搜索，求出小數像素精度之移動向量資訊。
適應性內插濾波器計算部76包括：移動資訊緩衝器91、大區塊濾波器計算部92、以及小區塊濾波器計算部93。
自圖框記憶體72將整數像素精度之參考圖像像素值供給至整數像素精度移動預測部81、模式判定部83、以及移動補償部85。又，於圖7之例中，雖然省略了圖示，但來自畫面重排緩衝器62之進行框間處理之圖像被供給至整數像素精度移動預測部81、小數像素精度移動預測部82及84、模式判定部83、以及移動補償部85。
整數像素精度移動預測部81使用進行框間處理之圖像及整數像素精度之參考圖像像素值，針對成為候補之所有框間預測模式進行對象區塊之整數像素精度的移動搜索。即，於整數像素精度移動預測部81中，在特定之搜索範圍內，針對成為候補之所有框間預測模式，求出使SAD(Sum of Absolute Difference)等之成本函數值成為最小之整數像素精度的移動向量。所求出之對象區塊之整數像素精度的移動向量資訊與所需之整數像素精度之參考圖像像素值一併被供給至小數像素精度移動預測部82及84。
小數像素精度移動預測部82使用進行框間處理之圖像、整數像素精度之移動向量資訊、及整數像素精度之參考圖像像素值，針對成為候補之所有框間預測模式進行對象區塊之小數像素精度的移動搜索。此時，於小數像素精度移動預測部82中，參考圖1使用上述H.264/AVC方式之內插濾波器，求出使上述成本函數(SAD)成為最小之1/2像素精度之小數像素精度的移動向量資訊。然後，進而求出使上述成本函數(SAD)成為最小之1/4像素精度之小數像素精度的移動向量資訊。所求出之小數像素精度之移動向量資訊被供給至模式判定部83。
模式判定部83針對藉由小數像素精度移動預測部82而求出小數像素精度之移動向量之成為候補的所有框間預測模式，參考圖10計算出後述之成本函數值。模式判定部83將所計算出之成本函數值提供最小值之框間預測模式決定為該對象區塊之第1最佳框間預測模式。模式判定部83將所決定之第1最佳框間預測模式之資訊與對應於其之小數像素精度的移動向量資訊供給至移動資訊緩衝器91。
又，模式判定部83針對藉由小數像素精度移動預測部84而求出小數像素精度之移動向量之成為候補的所有框間預測模式，再次參考圖10計算出後述之成本函數值。模式判定部83將再次計算出之成本函數值提供最小值之框間預測模式選擇為該對象區塊之第2最佳框間預測模式，並將所選擇之第2最佳框間預測模式之資訊供給至移動補償部85。
自大區塊濾波器計算部92將針對對象片層所計算出之用於較8×8更大之區塊尺寸的濾波器係數供給至小數像素精度移動預測部84。又，自小區塊濾波器計算部93將針對對象片層所計算出之用於8×8以下小區塊尺寸之濾波器係數供給至小數像素精度移動預測部84。
小數像素精度移動預測部84使用進行框間處理之圖像、整數像素精度之移動向量資訊、及整數像素精度之參考圖像像素值，針對成為候補之所有框間預測模式進行對象區塊之小數像素精度的移動搜索。此時，於小數像素精度移動預測部84中，使用所計算出之濾波器係數之適應性內插濾波器，求出使上述成本函數(SAD)成為最小之1/2像素精度之小數像素精度的移動向量資訊。然後，進而求出使上述成本函數(SAD)成為最小之1/4像素精度之小數像素精度的移動向量資訊。所求出之各區塊之小數像素精度的移動向量資訊、及每個片層之適應性內插濾波器之濾波器係數被供給至模式判定部83及移動補償部85。
再者，此時，不僅可重新進行小數像素精度移動預測，如虛線所示，亦可對整數像素精度移動預測部81發出指示，重新進行整數像素精度移動預測。藉由變更內插濾波器，周邊區塊中之移動向量資訊之變化亦給對象區塊之移動搜索造成影響，因此即使濾波器係數係僅適用於小數像素精度者，亦會對整數像素精度之移動預測產生影響。
於移動補償部85中供給有來自畫面重排緩衝器62之進行框間處理之圖像、及來自圖框記憶體72之整數像素精度之參考圖像像素值。又，進而於移動補償部85中亦供給有來自小數像素精度移動預測部84之小數像素精度之移動向量資訊、及每個片層之濾波器係數、來自模式判定部83之第2最佳框間預測模式之資訊及差分移動向量資訊等。
移動補償部85使用整數像素精度之參考圖像像素值、小數像素精度之移動向量資訊、及濾波器係數，以來自模式判定部83之第2最佳框間預測模式，對小數像素精度之像素值進行內插，藉此生成預測圖像。移動補償部85進而亦使用進行框間處理之圖像等，計算出該第2最佳框間預測模式之成本函數值，並將所生成之預測圖像與其成本函數值供給至預測圖像選擇部78。
於藉由預測圖像選擇部78已選擇第2最佳框間預測模式之預測圖像之情形時，移動補償部85將表示第2最佳框間預測模式之資訊與移動向量資訊(實際為差分移動向量資訊)、參考圖框資訊等輸出至可逆編碼部66。
移動資訊緩衝器91針對對象區塊，儲存由模式判定部83判定為最佳之第1最佳框間預測模式及對應之小數像素精度之移動向量資訊。
自移動資訊緩衝器91將小數像素精度之移動向量資訊供給至大區塊濾波器計算部92及小區塊濾波器計算部93。
大區塊濾波器計算部92僅使用來自移動資訊緩衝器91之小數像素精度之移動向量資訊之中，與自區塊判定部77所輸入之控制信號相對應之移動向量資訊，進行大區塊尺寸之濾波器係數之計算處理。即，於大區塊濾波器計算部92中，僅使用對象片層之中，區塊尺寸較8×8像素更大之區塊之移動向量資訊，以使預測殘差成為最小之方式計算出大區塊尺寸之濾波器係數。
小區塊濾波器計算部93僅使用來自移動資訊緩衝器91之小數像素精度之移動向量資訊之中，與自區塊判定部77所輸入之控制信號相對應之移動向量資訊，進行小區塊尺寸之濾波器係數之計算處理。即，於小區塊濾波器計算部93中，僅使用對象片層之中，區塊尺寸為8×8像素以下之區塊之移動向量資訊，以使預測殘差成為最小之方式計算出小區塊尺寸之濾波器係數。
針對每個片層所計算出之用於大區塊尺寸及用於小區塊尺寸之濾波器係數分別被供給至移動預測‧補償部75及可逆編碼部66。
區塊判定部77判定移動資訊緩衝器91中所儲存之第1最佳框間預測模式之區塊尺寸，並根據判定結果，將控制信號輸出至大區塊濾波器計算部92或小區塊濾波器計算部93。具體而言，於區塊尺寸較8×8像素區塊更大之情形時，自區塊判定部77將進行濾波器計算處理之控制信號輸出至大區塊濾波器計算部92。另一方面，於區塊尺寸為8×8像素區塊以下之情形時，自區塊判定部77將進行濾波器計算處理之控制信號輸出至小區塊濾波器計算部93。
即，區塊判定部77藉由將控制信號輸出至大區塊濾波器計算部92或小區塊濾波器計算部93之其中一者，而將區塊分類為較8×8更大之區塊尺寸之級別與8×8以下之區塊尺寸之級別。然後，於大區塊濾波器計算部92或小區塊濾波器計算部93中，僅將所分類之級別之移動向量資訊用於符合之級別之濾波器係數計算。
[圖像編碼裝置之編碼處理之說明]
其次，參考圖8之流程圖，對圖3之圖像編碼裝置51之編碼處理進行說明。
於步驟S11中，A/D變換部61對所輸入之圖像進行A/D變換。於步驟S12中，畫面重排緩衝器62儲存自A/D變換部61所供給之圖像，進行自各畫面自顯示順序向編碼順序之重排。
於步驟S13中，運算部63對步驟S12中所重排之圖像與預測圖像之差分進行運算。預測圖像於進行框間預測之情形時係自移動預測‧補償部75經由預測圖像選擇部78而供給至運算部63，於進行框內預測之情形時係自框內預測部74經由預測圖像選擇部78而供給至運算部63。
差分資料與原來之圖像資料相比資料量變小。因此，與對圖像直接進行編碼之情形時相比，可壓縮資料量。
於步驟S14中，正交變換部64對自運算部63所供給之差分資訊進行正交變換。具體而言，進行離散餘弦變換、K-L變換等正交變換，並輸出變換係數。於步驟S15中，量化部65將變換係數加以量化。於該量化時，如後述之步驟S25之處理中所說明般，碼率受到控制。
以上述方式量化之差分資訊以如下方式被局部解碼。即，於步驟S16中，逆量化部68以與量化部65之特性相對應之特性將藉由量化部65而量化之變換係數逆量化。於步驟S17中，逆正交變換部69以與正交變換部64之特性相對應之特性對藉由逆量化部68而逆量化之變換係數進行逆正交變換。
於步驟S18中，運算部70於經局部解碼之差分資訊中加上經由預測圖像選擇部78而輸入之預測圖像，生成經局部解碼之圖像(與向運算部63之輸入相對應之圖像)。於步驟S19中，解塊濾波器71對自運算部70所輸出之圖像進行濾波。藉此去除區塊失真。於步驟S20中，圖框記憶體72儲存經濾波之圖像。再者，對圖框記憶體72亦自運算部70供給未藉由解塊濾波器71進行濾波器處理之圖像，並加以儲存。
於步驟S21中，框內預測部74及移動預測‧補償部75分別進行圖像之預測處理。即，於步驟S21中，框內預測部74進行框內預測模式之框內預測處理。移動預測‧補償部75進行框間預測模式之移動預測‧補償處理。
步驟S21中之預測處理之詳細情況將參考圖9而後述，首先，藉由該處理，分別進行成為候補之所有框內預測模式下之預測處理，並分別計算出成為候補之所有框內預測模式下之成本函數值。然後，根據所計算出之成本函數值，選擇最佳框內預測模式，並將由最佳框內預測模式之框內預測所生成之預測圖像與其成本函數值供給至預測圖像選擇部78。
又，藉由該處理，分別進行成為候補之所有框間預測模式下之預測處理，並分別計算出成為候補之所有框間預測模式下之成本函數值。根據所計算出之成本函數值，自框間預測模式之中決定最佳框間預測模式。
再者，具體而言，使用H.264/AVC方式之內插濾波器，預測所有框間預測模式下之小數像素精度之移動向量，並計算出成本函數值之結果，可求出第1最佳框間預測模式。然後，於每個片層中，根據第1最佳框間預測模式之區塊尺寸計算出大區塊尺寸之濾波器係數及小區塊尺寸之濾波器係數。進而，使用所計算出之適應性內插濾波器之濾波器係數，再次預測小數像素精度之移動向量，並計算出成本函數之結果，可求出第2最佳框間預測模式。
然後，將由第2最佳框間預測模式所生成之預測圖像與其成本函數值供給至預測圖像選擇部78。又，所計算出之每個片層之濾波器係數被供給至可逆編碼部66。
於步驟S22中，預測圖像選擇部78根據自框內預測部74及移動預測.補償部75所輸出之各成本函數值，將最佳框內預測模式與最佳框間預測模式中之一者決定為最佳預測模式。然後，預測圖像選擇部78選擇所決定之最佳預測模式之預測圖像，並將其供給至運算部63、70。該預測圖像如上所述，被用於步驟S13、S18之運算。
再者，該預測圖像之選擇資訊被供給至框內預測部74或移動預測‧補償部75。於已選擇最佳框內預測模式之預測圖像之情形時，框內預測部74將表示最佳框內預測模式之資訊(即，框內預測模式資訊)供給至可逆編碼部66。
於已選擇最佳框間預測模式之預測圖像之情形時，移動預測‧補償部75將表示最佳框間預測模式之資訊輸出至可逆編碼部66中，進而，視需要亦將與最佳框間預測模式相應之資訊輸出至可逆編碼部66中。作為與最佳框間預測模式相應之資訊，可列舉移動向量資訊或參考圖框資訊等。
於步驟S23中，可逆編碼部66對自量化部65所輸出之經量化之變換係數進行編碼。即，對差分圖像進行可變長度編碼、算術編碼等可逆編碼，並加以壓縮。此時，對在上述步驟S22中輸入至可逆編碼部66之來自框內預測部74之框內預測模式資訊、或與來自移動預測‧補償部75之最佳框間預測模式相對應之資訊等亦進行編碼，並附加至標頭資訊中。進而，對來自適應性內插濾波器計算部76之濾波器係數亦進行編碼。
例如，於每個巨集區塊中對表示框間預測模式之資訊進行編碼。於每個成為對象之區塊中對移動向量資訊或參考圖框資訊進行編碼。於每個片層中對所計算出之濾波器係數進行編碼。
於步驟S24中，儲存緩衝器67將差分圖像作為壓縮圖像加以儲存。適當地讀出儲存緩衝器67中所儲存之壓縮圖像，並將其經由傳輸路徑而傳輸至解碼側。
於步驟S25中，碼率控制部79根據儲存緩衝器67中所儲存之壓縮圖像，控制量化部65之量化動作之碼率，以防止產生溢位或下溢。
[預測處理之說明]
其次，參考圖9之流程圖，說明圖8之步驟S21中之預測處理。
於自畫面重排緩衝器62所供給之處理對象之圖像為進行框內處理之區塊之圖像的情形時，自圖框記憶體72讀出所參考之已完成解碼之圖像，並經由開關73供給至框內預測部74中。根據該等圖像，於步驟S31中，框內預測部74以成為候補之所有框內預測模式對處理對象之區塊的像素進行框內預測。再者，作為所參考之已完成解碼之像素，可使用未藉由解塊濾波器71進行解塊濾波之像素。
步驟S31中之框內預測處理之詳細情況將參考圖10而後述，藉由該處理，以成為候補之所有框內預測模式進行框內預測，並對成為候補之所有框內預測模式計算出成本函數值。然後，根據所計算出之成本函數值，選擇最佳框內預測模式，並將由最佳框內預測模式之框內預測所生成之預測圖像與其成本函數值供給至預測圖像選擇部78。
於自畫面重排緩衝器62所供給之處理對象之圖像為進行框間處理之圖像的情形時，自圖框記憶體72讀出所參考之圖像，並經由開關73供給至移動預測‧補償部75中。根據該等圖像，於步驟S32中，移動預測‧補償部75進行框間移動預測處理。即，移動預測‧補償部75參考自圖框記憶體72所供給之圖像，進行成為候補之所有框間預測模式之移動預測處理。
步驟S32中之框間移動預測處理之詳細情況將參考圖11而後述，藉由該處理，使用H.264/AVC方式之內插濾波器，以成為候補之所有框間預測模式進行移動預測處理，並對成為候補之所有框間預測模式計算出成本函數值。然後，根據所計算出之成本函數值，決定第1最佳框間預測模式，並根據第1最佳框間預測模式之區塊尺寸計算出用於大區塊尺寸之濾波器係數及用於小區塊尺寸之濾波器係數。
進而，使用所計算出之適應性內插濾波器之濾波器係數，再次預測小數像素精度之移動向量，並計算出成本函數值之結果，可決定第2最佳框間預測模式。將由所決定之第2最佳框間預測模式所生成之預測圖像與其成本函數值供給至預測圖像選擇部78。
[框內預測處理之說明]
其次，參考圖10之流程圖，說明圖9之步驟S31中之框內預測處理。再者，於圖10之例中，以亮度信號之情形為例進行說明。
框內預測部74於步驟S41中，對4×4像素、8×8像素以及16×16像素之各框內預測模式進行框內預測。
於亮度信號之框內預測模式中，存在九種4×4像素以及8×8像素之區塊單位、以及四種16×16像素之巨集區塊單位之預測模式，於色差信號之框內預測模式中，存在四種8×8像素之區塊單位之預測模式。色差信號之框內預測模式可獨立於亮度信號之框內預測模式而設定。關於亮度信號之4×4像素及8×8像素之框內預測模式，係於每個4×4像素及8×8像素之亮度信號之區塊中定義一種框內預測模式。關於亮度信號之16×16像素之框內預測模式與色差信號之框內預測模式，係針對1個巨集區塊定義一種預測模式。
具體而言，框內預測部74自圖框記憶體72讀出處理對象之區塊之像素，並參考經由開關73所供給之已完成解碼之圖像進行框內預測。該框內預測處理係於各框內預測模式下進行，藉此生成各框內預測模式下之預測圖像。再者，作為所參考之已完成解碼之像素，可使用未藉由解塊濾波器71進行解塊濾波之像素。
內預測部74於步驟S42中，計算出針對4×4像素、8×8像素、以及16×16像素之各框內預測模式之成本函數值。此處，成本函數值係根據High Complexity(高複雜度)模式或Low Complexity(低複雜度)模式中之任一種方法而進行計算。該等模式係由H.264/AVC方式中之參考軟體即JM(Joint Model，聯合模型)規定。
即，於High Complexity模式中，作為步驟S41之處理，對成為候補之所有預測模式暫時進行至編碼處理為止。然後，針對各預測模式計算出由下式(7)所表示之成本函數值，並選擇提供該最小值之預測模式作為最佳預測模式。
Cost(Mode)=D+λ‧R…(7)
D為原圖像與解碼圖像之差分(變形量)，R為包含至正交變換係數為止之發生碼量，λ為作為量化參數QP之函數而提供之拉格朗日乘數(Lagrange multiplier)。
另一方面，於Low Complexity模式中，作為步驟S41之處理，針對成為候補之所有預測模式生成預測圖像，計算出移動向量資訊或預測模式資訊、旗標資訊等之標頭位元為止。然後，針對各預測模式計算出由下式(8)所表示之成本函數值，並選擇提供該最小值之預測模式作為最佳預測模式。
Cost(Mode)=D+QPtoQuant(QP)‧Header_Bit…(8)
D為原圖像與解碼圖像之差分(變形量)，Header_Bit為針對預測模式之標頭位元，QPtoQuant為作為量化參數QP之函數而提供之函數。
於Low Complexity模式中，針對所有預測模式僅生成預測圖像，而無需進行編碼處理及解碼處理，因此運算量可較少。
框內預測部74於步驟S43中，針對4×4像素、8×8像素、以及16×16像素之各框內預測模式分別決定最佳模式。即，如上述般，於框內4×4預測模式及框內8×8預測模式之情形時，預測模式之種類有九種，於框內16×16預測模式之情形時，預測模式之種類有四種。因此，框內預測部74根據步驟S42中所計算出之成本函數值，自該等之中決定最佳框內4×4預測模式、最佳框內8×8預測模式、最佳框內16×16預測模式。
框內預測部74於步驟S44中，根據步驟S42中所計算出之成本函數值，自針對4×4像素、8×8像素、以及16×16像素之各框內預測模式所決定之各最佳模式中選擇最佳框內預測模式。即，自針對4×4像素、8×8像素、以及16×16像素所決定之各最佳模式中，選擇成本函數值為最小值之模式作為最佳框內預測模式。然後，框內預測部74將由最佳框內預測模式所生成之預測圖像及其成本函數值供給至預測圖像選擇部78。
[框間移動預測處理之說明]
其次，參考圖11之流程圖，對圖9之步驟S32之框間移動預測處理進行說明。再者，於移動預測‧補償部75中，參考圖2，根據上述安裝於JM之移動搜索方法求出整數像素精度之移動向量，並求出小數像素精度之移動向量。
整數像素精度移動預測部81、小數像素精度移動預測部82、以及模式判定部83於步驟S51中，執行使用H.264/AVC方式之內插濾波器之移動預測補償處理。再者，該移動預測補償處理之詳細情況將參考圖12而後述。
藉由該處理，針對成為候補之所有框間預測模式，求出成為編碼處理之對象之對象區塊之整數像素精度的移動向量，並使用H.264/AVC方式之內插濾波器求出小數像素精度之移動向量資訊。然後，針對成為候補之所有框間預測模式計算出成本函數值。
於步驟S52中，模式判定部83將步驟S51中所計算出之成本函數值提供最小值之框間預測模式決定為該對象區塊之第1最佳框間預測模式。模式判定部83將所決定之第1最佳框間預測模式之資訊與對應於其之小數像素精度的移動向量資訊供給至移動資訊緩衝器91。
於步驟S53中，區塊判別部77將移動資訊緩衝器91中所儲存之針對各對象區塊之第1最佳框間預測模式的區塊尺寸分類為較8×8更大之區塊尺寸之級別、以及8×8以下之區塊尺寸之級別。
具體而言，區塊尺寸判別部77判定移動資訊緩衝器91中所儲存之各對象區塊之第1最佳框間預測模式的區塊尺寸。區塊尺寸判別部77於區塊尺寸較8×8像素區塊更大之情形時，將進行濾波器計算處理之控制信號輸出至大區塊濾波器計算部92。又，區塊尺寸判別部77於區塊尺寸為8×8像素區塊以下之情形時，將進行濾波器計算處理之控制信號輸出至小區塊濾波器計算部93。
其結果，僅於區塊尺寸為較8×8像素更大之區塊之情形時將控制信號輸入至大區塊濾波器計算部92，僅於區塊尺寸為8×8像素區塊以下之情形時將控制信號輸入至小區塊濾波器計算部93。
即，區塊判定部77藉由將控制信號輸出至大區塊濾波器計算部92或小區塊濾波器計算部93之其中一者，而於片層中將區塊分類為較8×8更大之區塊尺寸之級別與8×8以下之區塊尺寸之級別。
於步驟S54中，大區塊濾波器計算部92及小區塊濾波器計算部93針對於每個片層中所分類之各級別，分別計算出適應性內插濾波器之濾波器系數值。
具體而言，大區塊濾波器計算部92僅使用來自移動資訊緩衝器91之小數像素精度之移動向量資訊之中，與自區塊判定部77所輸入之控制信號相對應之對象區塊的移動向量資訊，進行大區塊尺寸之濾波器係數之計算處理。小區塊濾波器計算部93僅使用來自移動資訊緩衝器91之小數像素精度之移動向量資訊之中，與自區塊判定部77所輸入之控制信號相對應之對象區塊的移動向量資訊，進行小區塊尺寸之濾波器係數之計算處理。
即，大區塊濾波器計算部92僅使用片層中，被分類為區塊尺寸較8×8像素更大之區塊之級別的移動向量資訊，以使預測殘差成為最小之方式計算出大區塊尺寸之濾波器係數。小區塊濾波器計算部93僅使用片層中，被分類為區塊尺寸為8×8像素以下之區塊之級別的移動向量資訊，以使預測殘差成為最小之方式計算出小區塊尺寸之濾波器系數值。
針對對象片層所計算出之用於大區塊尺寸之濾波器係數與用於小區塊尺寸之濾波器係數被供給至小數像素精度移動預測部84及可逆編碼部66。該每個片層之濾波器係數係於圖8之步驟S23中得到編碼。
於步驟S55中，整數像素精度移動預測部81、小數像素精度移動預測部84、以及模式判定部83執行移動預測補償處理，該移動預測補償處理係使用由步驟S55中所計算出之濾波器系數值所構成之適應性內插濾波器者。再者，該移動預測補償處理之詳細情況將參考圖12而後述。
再者，圖12之處理係再次求出整數像素精度之移動向量資訊之情形的處理例。相對於此，於步驟S55之移動預測補償處理中，可僅再次求出小數像素精度之移動向量，而不再次求出整數像素精度之移動向量資訊。
藉由該處理，針對成為候補之所有框間預測模式求出對象區塊之整數像素精度之移動向量，並使用適應性內插濾波器求出小數像素精度之移動向量資訊。然後，針對成為候補之所有框間預測模式計算出成本函數值。
於步驟S56中，模式判定部83將步驟S55中所計算出之成本函數值提供最小值之框間預測模式決定為該對象區塊之第2最佳框間預測模式。
於步驟S57中，模式判定部83判定是否進一步進行最佳化。例如，於藉由使用者設定有最佳化次數之情形時，於步驟S57中判定為進行最佳化，直至達到該最佳化次數為止，處理返回至步驟S53，重複其以後之處理。
於此情形時，自模式判定部83將所決定之第2最佳框間預測模式之資訊與對應於其之小數像素精度之移動向量資訊供給至移動資訊緩衝器91，藉由其以後之處理，於模式判定部83中決定第3最佳框間預測模式。如此，藉由重複最佳化次數，可進一步使濾波器係數最佳化。
當於步驟S57中，模式判定部83判定為不進行最佳化時，將所決定之第2最佳框間預測模式之資訊供給至移動補償部85。
於步驟S58中，移動補償部85以來自模式判定部83之第2最佳框間預測模式生成對象區塊之預測圖像。即，移動補償部85使用來自圖框記憶體72之整數像素精度之參考圖像像素值、第2最佳框間預測模式之小數像素精度之移動向量資訊、及適應性內插濾波器，對小數像素精度之像素值進行內插，藉此生成對象區塊之預測圖像。然後，移動補償部85計算出該第2最佳框間預測模式之成本函數值，並將所生成之預測圖像與其成本函數值供給至預測圖像選擇部78。
其次，參考圖12之流程圖，說明圖11之步驟S51或S55之移動預測補償處理。再者，圖11之步驟S51及S55之處理僅所使用之內插濾波器不同，因此於圖12之例中，對步驟S55之處理進行說明。
於步驟S61中，整數像素精度移動預測部81及小數像素精度移動預測部84針對包含參考圖4所述之16×16像素至4×4像素之八種的各框間預測模式，分別決定移動向量與參考圖像。
即，來自畫面重排緩衝器62之進行框間處理之圖像與來自圖框記憶體72之整數像素精度之參考圖像像素值被供給至整數像素精度移動預測部81。整數像素精度移動預測部81使用該等圖像，針對各框間預測模式，於候補之參考圖像之特定的搜索範圍內求出使SAD等之成本函數值成為最小之整數像素精度的移動向量與參考圖像。藉此，針對各框間預測模式之處理對象之對象區塊，分別決定整數像素精度之移動向量與參考圖像，並將整數像素精度之移動向量資訊與整數像素精度之參考圖像像素值供給至小數像素精度移動預測部84。
小數像素精度移動預測部84使用進行框間處理之圖像、整數像素精度之移動向量資訊、及整數像素精度之參考圖像像素值，針對成為候補之所有框間預測模式進行對象區塊之小數像素精度的移動搜索。此時，於小數像素精度移動預測部84中，使用由大區塊濾波器計算部92或小區塊濾波器計算部93所計算出之濾波器係數之適應性內插濾波器，求出使SAD等之成本函數成為最小之1/2像素精度之小數像素精度的移動向量資訊。然後，進一步求出使SAD等之成本函數成為最小之1/4像素精度之小數像素精度的移動向量資訊。所求出之各對象區塊之小數像素精度的移動向量資訊、及每個片層之適應性內插濾波器之濾波器係數被供給至模式判定部83及移動補償部85。
模式判定部83為計算出上述式(7)或式(8)所示之成本函數值，進行以下之步驟S62至S64之處理。
即，模式判定部83於步驟S62中，根據來自小數像素精度移動預測部84之小數像素精度之移動向量，對參考圖像進行補償處理。具體而言，於模式判定部83中，使用來自圖框記憶體72之整數像素精度之參考圖像像素值、小數像素精度之移動向量資訊、及適應性移動預測濾波器之濾波器係數，對小數像素精度之像素值進行內插，藉此生成對象區塊之預測圖像。
於步驟S63中，模式判定部83對於針對包含16×16像素至4×4像素之八種之各框間預測模式所決定的移動向量，生成差分移動向量資訊mvdE 。此時，參考圖6使用上述移動向量之生成方法。
具體而言，模式判定部83使用鄰接區塊移動向量資訊，藉由上述式(5)之中值預測計算出針對對象區塊E之預測移動向量資訊pmvE 。然後，模式判定部83如上述式(6)所示般，藉由來自小數像素精度移動預測部84之移動向量資訊mvE 與所計算出之預測移動向量資訊pmvE 的差分求出差分移動向量資訊mvdE 。
所求出之差分移動向量資訊於以下之步驟S64中之計算成本函數值時使用，為最終於藉由預測圖像選擇部78已選擇相對應之預測圖像之情形時，將該差分移動向量資訊與預測模式資訊、濾波器係數及參考圖框資訊等一併供給至可逆編碼部66，而將其供給至移動補償部85。
模式判定部83於步驟S64中，針對包含16×16像素至4×4像素之八種之各框間預測模式，計算出由上述式(7)或式(8)所表示之成本函數值。
具體而言，模式判定部83適當地使用來自畫面重排緩衝器62之進行框間處理之圖像、來自圖框記憶體72之整數像素精度之參考圖像像素值、小數像素精度之移動向量資訊、適應性內插濾波器之濾波器係數、以及差分移動向量資訊等資訊，計算出成本函數值。此處所計算出之成本函數值係當於上述圖11之步驟S56中決定第2最佳框間預測模式時使用。
經編碼之壓縮圖像係經由特定之傳輸路徑進行傳輸，且藉由圖像解碼裝置進行解碼。
[圖像解碼裝置之構成例]
圖13表示作為適用本發明之圖像處理裝置之圖像解碼裝置之一實施形態的構成。
圖像解碼裝置101包括：儲存緩衝器111、可逆解碼部112、逆量化部113、逆正交變換部114、運算部115、解塊濾波器116、畫面重排緩衝器117、D/A變換部118、圖框記憶體119、開關120、框內預測部121、移動預測.補償部122、適應性內插濾波器設定部123、區塊判別部124、以及開關125。
儲存緩衝器111儲存傳輸而來之壓縮圖像。可逆解碼部112對自儲存緩衝器111所供給之藉由圖3之可逆編碼部66而編碼之資訊，以與可逆編碼部66之編碼方式相對應之方式進行解碼。逆量化部113以與圖3之量化部65之量化方式相對應之方式，將藉由可逆解碼部112而解碼之圖像逆量化。逆正交變換部114以與圖3之正交變換部64之正交變換方式相對應之方式，對逆量化部113之輸出進行逆正交變換。
經逆正交變換之輸出藉由運算部115而與自開關125所供給之預測圖像相加而得到解碼。解塊濾波器116於去除經解碼之圖像之區塊失真後，將其供給至圖框記憶體119加以儲存，並且將其輸出至畫面重排緩衝器117中。
畫面重排緩衝器117進行圖像之重排。即，將為了編碼之順序而藉由圖3之畫面重排緩衝器62重排之圖框之順序重排成原來之顯示之順序。D/A變換部118對自畫面重排緩衝器117所供給之圖像進行D/A變換，並將其輸出至未圖示之顯示器加以顯示。
開關120自圖框記憶體119讀出進行框間處理之圖像與所參考之圖像，並將該等輸出至移動預測‧補償部122，並且自圖框記憶體119讀出用於框內預測之圖像，並將其供給至框內預測部121。
自可逆解碼部112將對標頭資訊進行解碼所獲得之表示框內預測模式之資訊供給至框內預測部121。框內預測部121根據該資訊生成預測圖像，並將所生成之預測圖像輸出至開關125中。
自可逆解碼部112將對標頭資訊進行解碼所獲得之資訊中之框間預測模式資訊、移動向量資訊、參考圖框資訊等供給至移動預測‧補償部122。框間預測模式資訊被發送至每個巨集區塊。移動向量資訊或參考圖框資訊被發送至每個對象區塊。
移動預測‧補償部122以自可逆解碼部112所供給之框間預測模式資訊所表示之預測模式，生成針對對象區塊之預測圖像之像素值。此時，於移動預測‧補償部122中，使用來自適應性內插濾波器設定部123之濾波器係數、移動向量資訊、及自圖框記憶體119所獲得之整數像素精度之參考圖像像素值，生成預測圖像之像素值。所生成之預測圖像之像素值經由開關125被供給至運算部115。
自可逆解碼部112將對標頭資訊進行解碼所獲得之資訊之中，適應性內插濾波器之用於大區塊尺寸及用於小區塊尺寸的濾波器係數供給至適應性內插濾波器設定部123。該等濾波器係數被發送至每個片層。適應性內插濾波器設定部123根據來自區塊判別部124之控制信號，將用於大區塊尺寸或用於小區塊尺寸之濾波器係數之其中一者供給至移動預測‧補償部122。
區塊判別部124根據供給至移動預測‧補償部122之框間預測模式資訊所示之區塊尺寸，將用以選擇用於大區塊尺寸或用於小區塊尺寸之濾波器係數之控制信號供給至適應性內插濾波器設定部123。
換言之，區塊判別部124將框間預測模式資訊所示之區塊分類為較8×8更大之區塊尺寸之級別與8×8以下之區塊尺寸之級別，並供給用以選擇對應於級別之濾波器係數之控制信號。
開關125選擇由移動預測‧補償部122或框內預測部121所生成之預測圖像，並將其供給至運算部115。
再者，於圖3之圖像編碼裝置51中，在裝置內部進行適應性內插濾波器之濾波器係數之計算。相對於此，於該圖像解碼裝置101中，根據移動補償之區塊尺寸切換使用經編碼後傳送而來之濾波器係數。
[移動預測‧補償部及適應性內插濾波器設定部之構成例]
圖14係表示移動預測‧補償部122及適應性內插濾波器設定部123之詳細之構成例的方塊圖。再者，於圖14中，省略了圖13之開關120及125。
於圖14之例中，移動預測‧補償部122係由模式‧移動資訊緩衝器131及移動補償部132構成。
適應性內插濾波器設定部123係由大區塊適應性濾波器係數緩衝器141及小區塊適應性濾波器係數緩衝器142構成。
模式‧移動資訊緩衝器131儲存來自可逆解碼部112之每個巨集區塊之框間預測模式資訊、及對象區塊之移動向量資訊。
移動補償部132自模式‧移動資訊緩衝器131讀出與移動向量資訊相對應之框間預測模式資訊，使用自圖框記憶體119所獲得之參考圖像像素值，生成針對解碼處理之對象區塊之預測圖像的像素值。此時，於移動補償部132中，作為適應性內插濾波器之係數，使用來自大區塊適應性濾波器係數緩衝器141或小區塊適應性濾波器係數緩衝器142之濾波器係數。所生成之預測圖像之像素值係經由開關125而供給至運算部115。
大區塊適應性濾波器係數緩衝器141儲存來自可逆解碼部112之每個片層之用於大區塊尺寸的濾波器係數。小區塊適應性濾波器係數緩衝器142儲存來自可逆解碼部112之每個片層之用於小區塊尺寸之濾波器係數。
自區塊判別部124將與移動補償之區塊尺寸相應之控制信號供給至大區塊適應性濾波器係數緩衝器141及小區塊適應性濾波器係數緩衝器142之其中一者。
對應於來自區塊判別部124之控制信號而讀出大區塊適應性濾波器係數緩衝器141中所儲存之用於大區塊尺寸的濾波器係數，並將其供給至移動補償部132。對應於來自區塊判別部124之控制信號而讀出小區塊適應性濾波器係數緩衝器142中所儲存之用於小區塊尺寸的濾波器係數，並將其供給至移動補償部132。
[圖像解碼裝置之解碼處理之說明]
其次，參考圖15之流程圖，對圖像解碼裝置101所執行之解碼處理進行說明。
於步驟S131中，儲存緩衝器111儲存傳輸而來之圖像。於步驟S132中，可逆解碼部112對自儲存緩衝器111所供給之壓縮圖像進行解碼。即，對藉由圖3之可逆編碼部66而編碼之I畫面、P畫面以及B畫面進行解碼。
此時，亦對移動向量資訊、參考圖框資訊、預測模式資訊(表示框內預測模式或框間預測模式之資訊)、適應性內插濾波器之濾波器係數等進行解碼。
即，於預測模式資訊為框內預測模式資訊之情形時，預測模式資訊被供給至框內預測部121中。於預測模式資訊為框間預測模式資訊之情形時，與預測模式資訊相對應之移動向量資訊及參考圖框資訊被供給至移動預測‧補償部122中。又，濾波器係數係針對每個片層而被供給至適應性內插濾波器設定部123中。
於步驟S133中，逆量化部113以與圖3之量化部65之特性相對應之特性，將藉由可逆解碼部112而解碼之變換係數逆量化。於步驟S134中，逆正交變換部114以與圖3之正交變換部64之特性相對應之特性，對藉由逆量化部113而逆量化之變換係數進行逆正交變換。藉此，與圖3之正交變換部64之輸入(運算部63之輸出)相對應之差分資訊得到解碼。
於步驟S135中，運算部115將於後述之步驟S141之處理中所選擇之經由開關125而輸入的預測圖像與差分資訊相加。藉此，原來之圖像得到解碼。於步驟S136中，解塊濾波器116對自運算部115所輸出之圖像進行濾波。藉此去除區塊失真。於步驟S137中，圖框記憶體119儲存經濾波之圖像。
於步驟S138中，框內預測部121或移動預測‧補償部122對應於自可逆解碼部112所供給之預測模式資訊，分別進行圖像之預測處理。
即，於自可逆解碼部112供給有框內預測模式資訊之情形時，框內預測部121進行框內預測模式之框內預測處理。於自可逆解碼部112供給有框間預測模式資訊之情形時，移動預測‧補償部122進行框間預測模式之移動預測‧補償處理。此時，移動預測‧補償部122使用由適應性內插濾波器設定部123所設定之濾波器係數、移動向量資訊、及自圖框記憶體119所獲得之整數像素精度之參考圖像像素值，生成針對對象區塊之預測圖像之像素值。
步驟S138中之預測處理之詳細情況將參考圖16而後述，藉由該處理，將藉由框內預測部121所生成之預測圖像、或藉由移動預測‧補償部122所生成之預測圖像供給至開關125。
於步驟S139中，開關125選擇預測圖像。即，供給藉由框內預測部121所生成之預測圖像、或藉由移動預測‧補償部122所生成之預測圖像。因此，選擇所供給之預測圖像並將其供給至運算部115，然後如上述般，於步驟S134中使其與逆正交變換部114之輸出相加。
於步驟S140中，畫面重排緩衝器117進行重排。即，將為了編碼而藉由圖像編碼裝置51之畫面重排緩衝器62重排之圖框之順序重排成原來之顯示之順序。
於步驟S141中，D/A變換部118對來自畫面重排緩衝器117之圖像進行D/A變換。將該圖像輸出至未圖示之顯示器而顯示圖像。
[圖像解碼裝置之預測處理之說明]
其次，參考圖16之流程圖，對圖15之步驟S138之預測處理進行說明。
框內預測部121於步驟S171中，判定對象區塊是否被框內編碼。若自可逆解碼部112將框內預測模式資訊供給至框內預測部121中，則框內預測部121於步驟S171中，判定為對象區塊已被框內編碼，處理進入至步驟S172。
框內預測部121於步驟S172中獲取框內預測模式資訊，並於步驟S173中進行框內預測。
即，於處理對象之圖像為進行框內處理之圖像之情形時，自圖框記憶體119讀出所需之圖像，並經由開關120供給至框內預測部121中。於步驟S173中，框內預測部121根據步驟S172中所獲取之框內預測模式資訊進行框內預測，生成預測圖像。所生成之預測圖像被輸出至開關125中。
另一方面，當於步驟S171中判定為未被框內編碼時，處理進入至步驟S174。
於處理對象之圖像為進行框間處理之圖像的情形時，自可逆解碼部112將框間預測模式資訊、參考圖框資訊、移動向量資訊供給至移動預測‧補償部122。又，將適應性內插濾波器之濾波器係數供給至適應性內插濾波器設定部123。
於步驟S174中，適應性內插濾波器設定部123獲取適應性內插濾波器之濾波器係數。將所獲取之濾波器係數中之用於大區塊尺寸的濾波器係數儲存於大區塊適應性濾波器係數緩衝器141。將所獲取之濾波器係數中之用於小區塊尺寸之濾波器係數儲存於小區塊適應性濾波器係數緩衝器142。
於步驟S175中，移動預測‧補償部122獲取來自可逆解碼部112之預測模式資訊等。即，獲取框間預測模式資訊、參考圖框資訊、移動向量資訊。將所獲取之移動向量資訊與框間預測模式資訊儲存於模式‧移動資訊緩衝器131。
於步驟S176中，區塊判別部124根據模式‧移動資訊緩衝器131中所儲存之框間預測模式資訊，切換用於大區塊尺寸之濾波器係數、或者用於小區塊尺寸之濾波器係數。
即，區塊判別部124根據供給至移動預測‧補償部122之框間預測模式資訊所示之區塊尺寸，將用以選擇用於大區塊尺寸或用於小區塊尺寸之濾波器係數之控制信號供給至適應性內插濾波器設定部123。
對應於來自區塊判別部124之控制信號而讀出大區塊適應性濾波器係數緩衝器141中所儲存之用於大區塊尺寸的濾波器係數，並將其供給至移動補償部132。或者，對應於來自區塊判別部124之控制信號而讀出小區塊適應性濾波器係數緩衝器142中所儲存之用於小區塊尺寸的濾波器係數，並將其供給至移動補償部132。
於步驟S177中，移動補償部132使用於步驟S176中所切換之濾波器係數進行移動補償。即，移動補償部132使用來自模式‧移動資訊緩衝器131之移動向量資訊、框間預測模式資訊、來自圖框記憶體119之參考圖像像素值，藉由所切換之濾波器係數，生成針對對象區塊之預測圖像之像素值。所生成之預測圖像被輸出至開關125。
如上所述，於圖像編碼裝置51中，在片層中將大區塊尺寸之級別及小區塊尺寸之級別加以分類，並針對所分類之每個級別計算出適應性內插濾波器之濾波器系數值。即，於圖像編碼裝置51中，可計算出與圖框中之局部性質相對應之最佳的濾波器系數值。
又，於圖像解碼裝置101中，對傳送而來之濾波器系數值之中，與區塊尺寸(級別)相應之濾波器系數值進行設定並使用。即，於圖像解碼裝置101中，可設定與圖框中之局部性質相對應之最佳的濾波器系數值。
藉此，可進行與圖框中之局部性質相對應之移動預測、補償。作為結果，可提昇編碼效率。
再者，於上述說明中，說明了根據區塊尺寸較8×8像素區塊更大、或者為8×8像素區塊以下而對級別進行分類，並進行濾波器係數之計算、切換之例，但並不限定於此。即，亦可以8×8區塊以外之區塊為基準進行級別之分類，亦可根據區塊尺寸，對三種以上之級別進行分類。
例如，於級別之分類數為三類之情形時，與分類數為兩類之情形相比，預測效率變佳，但發送之係數增加。相反地，於級別之分類數為兩類之情形時，與分類數為三類之情形相比，發送之係數減少，但預測效率下降。
又，於P畫面之情形時，原來所發送之位元數較多，因此由發送之係數之增加所造成的影響較少，於B畫面之情形時，原來所發送之位元數較少，因此由發送之係數之增加所造成的影響較大。因此，亦可針對P畫面，將級別之分類數設定為三類，針對B畫面，將級別之分類數設定為兩類等，例如根據畫面類型，切換級別之分類數(例如，分類為兩種級別與分類為三種級別)。
又，於上述說明中，對巨集區塊之大小為16×16像素之情形進行了說明，但本發明亦可適用於上述非專利文獻4中所記載之經擴展之巨集區塊尺寸。
[對於擴展巨集區塊尺寸之適用之說明]
圖17係表示非專利文獻4中所提出之區塊尺寸之例的圖。於非專利文獻4中，將巨集區塊尺寸擴展為32×32像素。
於圖17之上段中，自左側起依序表示有分割成32×32像素、32×16像素、16×32像素、以及16×16像素之區塊(分區)之由32×32像素構成的巨集區塊。於圖17之中段中，自左側起依序表示有分割成16×16像素、16×8像素、8×16像素、以及8×8像素之區塊之由16×16像素構成的區塊。又，於圖17之下段中，自左側起依序表示有分割成8×8像素、8×4像素、4×8像素、以及4×4像素之區塊之8×8像素的區塊。
即，32×32像素之巨集區塊可進行圖17之上段所示之32×32像素、32×16像素、16×32像素、以及16×16像素之區塊中之處理。
上段之右側所示之16×16像素之區塊與H.264/AVC方式同樣地，可進行中段所示之16×16像素、16×8像素、8×16像素、以及8×8像素之區塊中之處理。
中段之右側所示之8×8像素之區塊與H.264/AVC方式同樣地，可進行下段所示之8×8像素、8×4像素、4×8像素、以及4×4像素之區塊中之處理。
該等區塊可分類為以下3個階層。即，將圖17之上段所示之32×32像素、32×16像素、以及16×32像素之區塊稱為第1階層。將上段之右側所示之16×16像素之區塊、以及中段所示之16×16像素、16×8像素及8×16像素之區塊稱為第2階層。將中段之右側所示之8×8像素之區塊、以及下段所示之8×8像素、8×4像素、4×8像素及4×4像素之區塊稱為第3階層。
藉由採用此種階層構造，於非專利文獻1之提案中，關於16×16像素之區塊以下，一面與H.264/AVC方式保持互換性，一面作為其母集而被定義有更大之區塊。
作為對於如上述般所提出之經擴展之巨集區塊尺寸的本發明之適用方法，例如有如下之方法，即，於成為對象之片層中，針對每個階層計算出適應性濾波器係數，將所計算出之每個階層之濾波器係數附加至壓縮圖像中並發送至解碼側。即，於成為對象之片層中，對每個階層之級別進行分類之方法。此時，亦可將關於對各階層(級別)傳送或不傳送濾波器係數之旗標資訊附加至壓縮圖像中並發送至解碼側。
於不將旗標資訊發送至解碼側，解碼側不接收旗標資訊之情形時，藉由以下之任一種方法，設定內插濾波器。
即，作為第1種方法，於不接收旗標資訊之情形時，在所使用之內插濾波器中設定H.264/AVC方式中所規定之6個分接頭之FIR濾波器。
作為第2種方法，例如於接收與第1階層相對應之濾波器係數，但不接收與第2階層相對應之濾波器係數的情形時，亦對第2階層設定與作為區塊尺寸較第2階層更大之階層之第1階層相對應的濾波器係數。
藉由適用該第2種方法，例如可對第1階層與第2階層使用相同之濾波器係數，對第3階層使用不同之濾波器係數。
作為第3種方法，有如下之方法，即，當於對象片層中不接收針對對象階層之濾波器係數時，將1個之前或1個以上之前的片層中之針對相同階層之濾波器係數用於該對象片層中之對象階層。
於圖17之例中，可認為如第1階層或第2階層般，使用比較大之區塊尺寸進行編碼之巨集區塊比較不包含高頻成分。相對於此，如第3階層般，使用比較小之區塊尺寸進行編碼之巨集區塊比較包含高頻成分。
因此，當進行使用如圖17所示之擴展巨集區塊之編碼時，根據區塊尺寸不同之各階層，分別計算出濾波器係數。藉此，可實現適合於圖像所具有之局部性質之編碼性能的提昇。
再者，濾波器之分接頭數亦可於每個階層中不同。
即，對於被認為比較不包含高頻成分之第1階層及第2階層，可適用4個分接頭之濾波器，對於比較包含高頻成分之第3階層，可適用6個分接頭。
進而，亦可根據P畫面與B畫面使用不同分接頭數之濾波器。
又，亦可根據片層類型適用上述利用區塊尺寸之濾波器分類。
即，於框間片層中，關於發生碼量相對較多之P片層，即使根據區塊尺寸具有兩種濾波器係數，其附加項資訊亦相對較少。
另一方面，關於B片層，由於發生碼量相對較少，因此若具有兩種濾波器係數，則亦存在用於該等濾波器係數之附加項資訊使編碼效率下降之情形。於此種情形時，亦可將本發明之濾波器分類適用於P片層，但不適用於B片層。
再者，針對經擴展之巨集區塊尺寸所述之適用方法亦可適用於參考圖3至圖16所述之以H.264/AVC方式為基礎的情形。
以上，作為編碼方式，係以H.264/AVC方式為基礎，但本發明並不限定於此，可適用使用適應性內插濾波器進行移動補償之其他編碼方式/解碼方式。
再者，本發明例如可如MPEG、H.26x等般，適用於經由衛星廣播、有線電視、網際網路、或行動電話等網路媒體接收藉由離散餘弦變換等正交變換與移動補償而壓縮之圖像資訊(位元流)時所使用的圖像編碼裝置及圖像解碼裝置。又，本發明可適用於在如磁光碟及快閃記憶體之類的儲存媒體上進行處理時所使用之圖像編碼裝置以及圖像解碼裝置。進而，本發明亦可適用於該等圖像編碼裝置及圖像解碼裝置等中所包含之移動預測補償裝置。
上述一系列處理可藉由硬體執行，亦可藉由軟體執行。於藉由軟體執行一系列處理之情形時，將構成該軟體之程式安裝於電腦中。此處，電腦包括組裝入專用硬體中之電腦、藉由安裝各種程式而可執行各種功能之通用之個人電腦等。
[個人電腦之構成例]
圖18係表示利用程式執行上述一系列處理之電腦之硬體之構成例的方塊圖。
於電腦中，CPU(Central Processing Unit，中央處理單元)201、ROM(Read Only Memory，唯讀記憶體)202、RAM(Random Access Memory，隨機存取記憶體)203係藉由匯流排204而相互連接。
匯流排204上進而連接有輸入輸出介面205。輸入輸出介面205上連接有輸入部206、輸出部207、儲存部208、通信部209、以及驅動器210。
輸入部206包含鍵盤、滑鼠、麥克風等。輸出部207包含顯示器、揚聲器等。儲存部208包含硬碟或非揮發性之記憶體等。通信部209包含網路介面等。驅動器210驅動磁碟、光碟、磁光碟或半導體記憶體等可移動媒體211。
於以上述方式構成之電腦中，CPU201例如將儲存部208中所儲存之程式經由輸入輸出介面205及匯流排204載入至RAM203中加以執行，藉此進行上述一系列之處理。
電腦(CPU201)所執行之程式例如可記錄於作為套裝軟體媒體等之可移動媒體211中而加以提供。又，程式可經由區域網路、網際網路、數位廣播之類的有線或無線之傳輸媒體而加以提供。
於電腦中，程式可藉由將可移動媒體211安裝於驅動器210，並經由輸入輸出介面205而安裝於儲存部208中。又，程式可經由有線或無線之傳輸媒體，由通信部209接收而安裝於儲存部208中。除此以外，程式可預先安裝於ROM202或儲存部208中。
再者，電腦所執行之程式可為按本說明書中所說明之順序以時間序列進行處理的程式，亦可為並列地、或以已進行調用時等之必要時序進行處理之程式。
本發明之實施形態並不限定於上述實施形態，可於不脫離本發明之主旨之範圍內進行各種變更。
例如，上述圖像編碼裝置51或圖像解碼裝置101可適用於任意之電子機器。以下，對其例進行說明。
[電視接收器之構成例]
圖19係表示使用適用了本發明之圖像解碼裝置之電視接收器之主要構成例的方塊圖。
圖19所示之電視接收器300包括：地面波調諧器313、視訊解碼器315、影像信號處理電路318、圖形生成電路319、面板驅動電路320、以及顯示面板321。
地面波調諧器313經由天線而接收地面類比廣播之廣播波信號，進行解調後獲取影像信號，並將其供給至視訊解碼器315。視訊解碼器315對自地面波調諧器313所供給之影像信號實施解碼處理，並將所獲得之數位之成分信號供給至影像信號處理電路318。
影像信號處理電路318對自視訊解碼器315所供給之影像資料實施雜訊去除等特定之處理，並將所獲得之影像資料供給至圖形生成電路319。
圖形生成電路319生成顯示於顯示面板321之節目之影像資料、或由基於經由網絡所供給之應用程式之處理所產生之圖像資料等，並將所生成之影像資料或圖像資料供給至面板驅動電路320。又，圖形生成電路319亦適當地進行如下處理，即生成用於顯示由使用者於選擇項目等時所利用之畫面的影像資料(圖形)，並將其與節目之影像資料重疊，將藉此所獲得之影像資料供給至面板驅動電路320。
面板驅動電路320根據自圖形生成電路319所供給之資料而驅動顯示面板321，並使節目之影像或上述各種畫面顯示於顯示面板321。
顯示面板321包含LCD(Liquid Crystal Display，液晶顯示器)等，其根據面板驅動電路320之控制而顯示節目之影像等。
又，電視接收器300亦包括：聲音A/D(Analog/Digital)變換電路314、聲音信號處理電路322、回音消除/聲音合成電路323、聲音放大電路324、以及揚聲器325。
地面波調諧器313對所接收之廣播波信號進行解調，藉此不僅獲取影像信號，亦獲取聲音信號。地面波調諧器313將所獲取之聲音信號供給至聲音A/D變換電路314。
聲音A/D變換電路314對自地面波調諧器313所供給之聲音信號實施A/D變換處理，並將所獲得之數位之聲音信號供給至聲音信號處理電路322。
聲音信號處理電路322對自聲音A/D變換電路314所供給之聲音資料實施雜訊去除等特定之處理，並將所獲得之聲音資料供給至回音消除/聲音合成電路323。
回音消除/聲音合成電路323將自聲音信號處理電路322所供給之聲音資料供給至聲音放大電路324。
聲音放大電路324對自回音消除/聲音合成電路323所供給之聲音資料實施D/A變換處理、放大處理，並於調整為特定之音量之後，使聲音自揚聲器325輸出。
進而，電視接收器300亦包括數位調諧器316及MPEG解碼器317。
數位調諧器316經由天線接收數位廣播(地面數位廣播、BS(Broadcasting Satellite，廣播衛星)/CS(Communications Satellite，通信衛星)數位廣播)之廣播波信號，進行解調後獲取MPEG-TS(Moving Picture Experts Group-Transport Stream，動畫專家群-傳輸串流)，並將其供給至MPEG解碼器317。
MPEG解碼器317解除對自數位調諧器316所供給之MPEG-TS所實施之鎖碼，並抽選包含成為再生對象(視聽對象)之節目之資料的串流。MPEG解碼器317對構成所抽選之串流之聲音封包進行解碼，將所獲得之聲音資料供給至聲音信號處理電路322，並且對構成串流之影像封包進行解碼，將所獲得之影像資料供給至影像信號處理電路318。又，MPEG解碼器317將自MPEG-TS所抽選之EPG(Electronic Program Guide，電子節目表)資料經由未圖示之路徑供給至CPU332。
電視接收器300使用上述圖像解碼裝置101作為如上述般對影像封包進行解碼之MPEG解碼器317。因此，MPEG解碼器317與圖像解碼裝置101之情形同樣地，對傳送而來之適應性內插濾波器之濾波器系數值之中，與區塊尺寸(級別)相應之濾波器系數值進行設定並使用。藉此，可進行與圖框中之局部性質相對應之移動預測、補償。
自MPEG解碼器317所供給之影像資料與自視訊解碼器315所供給之影像資料之情形同樣地，於影像信號處理電路318中被實施特定之處理。然後，被實施特定之處理之影像資料於圖形生成電路319中，適當地與所生成之影像資料等重疊，並經由面板驅動電路320而被供給至顯示面板321後顯示其圖像。
自MPEG解碼器317所供給之聲音資料與自聲音A/D變換電路314所供給之聲音資料之情形同樣地，於聲音信號處理電路322中被實施特定之處理。然後，被實施特定之處理之聲音資料經由回音消除/聲音合成電路323而被供給至聲音放大電路324，並被實施D/A變換處理或放大處理。其結果，調整為特定之音量之聲音自揚聲器325輸出。
又，電視接收器300亦包括麥克風326及A/D變換電路327。
A/D變換電路327接收作為聲音會話用者而由設置於電視接收器300中之麥克風326所導入之使用者之聲音的信號。A/D變換電路327對所接收之聲音信號實施A/D變換處理，並將所獲得之數位之聲音資料供給至回音消除/聲音合成電路323。
回音消除/聲音合成電路323於自A/D變換電路327供給有電視接收器300之使用者(使用者A)之聲音之資料的情形時，將使用者A之聲音資料作為對象而進行回音消除。然後，回音消除/聲音合成電路323於進行回音消除之後，將與其他聲音資料進行合成等所獲得之聲音之資料經由聲音放大電路324自揚聲器325輸出。
進而，電視接收器300亦包括：聲音編解碼器328、內部匯流排329、SDRAM(Synchronous Dynamic Random Access Memory，同步動態隨機存取記憶體)330、快閃記憶體331、CPU332、USB(Universal Serial Bus，通用串列匯流排)I/F333、及網路I/F334。
A/D變換電路327接收作為聲音會話用者而由設置於電視接收器300中之麥克風326所導入之使用者之聲音的信號。A/D變換電路327對所接收之聲音信號實施A/D變換處理，並將所獲得之數位之聲音資料供給至聲音編解碼器328。
聲音編解碼器328將自A/D變換電路327所供給之聲音資料變換為用以經由網路發送之特定格式之資料，並經由內部匯流排329而供給至網路I/F334。
網路I/F334經由安裝於網路端子335之電纜而連接於網路。網路I/F334例如對連接於該網路之其他裝置發送自聲音編解碼器328所供給之聲音資料。又，網路I/F334例如經由網路端子335接收自經由網路而連接之其他裝置所發送的聲音資料，並將其經由內部匯流排329而供給至聲音編解碼器328。
聲音編解碼器328將自網路I/F334所供給之聲音資料變換為特定格式之資料，並將其供給至回音消除/聲音合成電路323。
回音消除/聲音合成電路323將自聲音編解碼器328所供給之聲音資料作為對象而進行回音消除，然後將與其他聲音資料進行合成等所獲得之聲音之資料經由聲音放大電路324自揚聲器325輸出。
SDRAM330儲存CPU332進行處理時所需之各種資料。
閃記憶體331儲存由CPU332所執行之程式。快閃記憶體331中所儲存之程式係於電視接收器300之啟動時等特定之時間點，藉由CPU332而讀出。於快閃記憶體331中亦儲存經由數位廣播所獲取之EPG資料，經由網路而自特定之伺服器所獲取之資料等。
例如，於快閃記憶體331中儲存MPEG-TS，該MPEG-TS包含藉由CPU332之控制而經由網路自特定之伺服器所獲取之內容資料。快閃記憶體331例如藉由CPU332之控制，將該MPEG-TS經由內部匯流排329而供給至MPEG解碼器317。
MPEG解碼器317與自數位調諧器316所供給之MPEG-TS之情形同樣地對該MPEG-TS進行處理。如此，電視接收器300可經由網路接收包含影像或聲音等之內容資料，並使用MPEG解碼器317進行解碼，從而顯示該影像或輸出聲音。
又，電視接收器300亦包括接收自遙控器351所發送之紅外線信號之受光部337。
受光部337接收來自遙控器351之紅外線，將進行解調所獲得之表示使用者操作之內容的控制碼輸出至CPU332。
CPU332執行快閃記憶體331中所儲存之程式，並根據自受光部337所供給之控制碼等控制電視接收器300整體之動作。CPU332與電視接收器300之各部分係經由未圖示之路徑連接。
USB I/F333在與經由安裝於USB端子336之USB電纜而連接之電視接收器300的外部機器之間進行資料之發送接收。網路I/F334亦經由安裝於網路端子335之電纜而連接於網路，且與連接於網路之各種裝置進行聲音資料以外之資料之發送接收。
電視接收器300使用圖像解碼裝置101作為MPEG解碼器317，藉此可對應於圖框中之局部性質，因此可提昇編碼效率。作為其結果，電視接收器300可自經由天線而接收之廣播波信號、或經由網路而獲取之內容資料更高速地獲得更高精細之解碼圖像，並使其顯示。
[行動電話之構成例]
圖31係表示使用適用了本發明之圖像編碼裝置及圖像解碼裝置之行動電話之主要構成例的方塊圖。
圖31所示之行動電話400包括：以統一控制各部分之方式所形成之主控制部450、電源電路部451、操作輸入控制部452、圖像編碼器453、相機I/F部454、LCD控制部455、圖像解碼器456、多工分離部457、記錄再生部462、調變解調電路部458、以及聲音編解碼器459。該等係經由匯流排460而相互連接。
又，行動電話400包括：操作鍵419、CCD(Charge Coupled Devices，電荷耦合元件)相機416、液晶顯示器418、儲存部423、發送接收電路部463、天線414、麥克風(話筒)421、以及揚聲器417。
電源電路部451於藉由使用者之操作而結束通話及使電源鍵成為接通狀態時，自電池組對各部分供給電力，藉此使行動電話400啟動為可動作之狀態。
行動電話400基於包括CPU、ROM及RAM等之主控制部450之控制，以聲音通話模式或資料通信模式等各種模式進行聲音信號之發送接收、電子郵件或圖像資料之發送接收、圖像攝影、或資料記錄等各種動作。
例如於聲音通話模式中，行動電話400藉由聲音編解碼器459而將由麥克風(話筒)421所收集之聲音信號變換為數位聲音資料，並利用調變解調電路部458對該數位聲音資料進行展頻處理，且利用發送接收電路部463進行數位類比變換處理及頻率變換處理。行動電話400經由天線414將藉由上述變換處理所獲得之發送用信號發送至未圖示之基地台。向基地台傳輸之發送用信號(聲音信號)係經由公眾電話網路而供給至通話對象之行動電話。
又，例如於聲音通話模式中，行動電話400利用發送接收電路部463將由天線414所接收之接收信號放大，進而進行頻率變換處理及類比數位變換處理，並利用調變解調電路部458進行解展頻處理，且藉由聲音編解碼器459而將其變換為類比聲音信號。行動電話400將經該變換所獲得之類比聲音信號自揚聲器417輸出。
進而，例如當於資料通信模式中發送電子郵件時，行動電話400係於操作輸入控制部452接收藉由操作鍵419之操作而輸入之電子郵件之文本資料。行動電話400係於主控制部450中對該文本資料進行處理，並經由LCD控制部455使其作為圖像而顯示於液晶顯示器418。
又，行動電話400係於主控制部450中，根據操作輸入控制部452所接收之文本資料或使用者指示等而生成電子郵件資料。行動電話400利用調變解調電路部458對該電子郵件資料進行展頻處理，並利用發送接收電路部463進行數位類比變換處理及頻率變換處理。行動電話400將經該變換處理所獲得之發送用信號經由天線414而發送至未圖示之基地台。向基地台傳輸之發送用信號(電子郵件)係經由網路及郵件伺服器等而供給至特定之目的地。
又，例如當於資料通信模式中接收電子郵件時，行動電話400經由天線414而以發送接收電路部463接收自基地台所發送之信號，將該信號放大後，進而進行頻率變換處理及類比數位變換處理。行動電話400利用調變解調電路部458對該接收信號進行解展頻處理而復原原來之電子郵件資料。行動電話400將經復原之電子郵件資料經由LCD控制部455而顯示於液晶顯示器418。
再者，行動電話400亦可經由記錄再生部462而將所接收之電子郵件資料記錄(儲存)於儲存部423。
該儲存部423為可覆寫之任意之儲存媒體。儲存部423例如可為RAM或內置型快閃記憶體等半導體記憶體，亦可為硬碟，亦可為磁碟、磁光碟、光碟、USB記憶體、或記憶卡等可移動媒體。當然，亦可為除該等以外者。
進而，例如當於資料通信模式中發送圖像資料時，行動電話400藉由攝像而利用CCD相機416生成圖像資料。CCD相機416包括透鏡或光圈等光學設備與作為光電變換元件之CCD，其對被攝體進行攝像，並將所接收之光之強度變換為電信號，生成被攝體之圖像之圖像資料。藉由圖像編碼器453，並經由相機I/F部454，利用例如MPEG2或MPEG4等之特定之編碼方式對該圖像資料進行壓縮編碼，藉此將其變換為編碼圖像資料。
行動電話400使用上述圖像編碼裝置51作為進行此種處理之圖像編碼器453。因此，圖像編碼器453與圖像編碼裝置51之情形同樣地，於片層中，對大區塊尺寸之級別及小區塊尺寸之級別進行分類，並針對所分類之每個級別計算出適應性內插濾波器之濾波器系數值。藉此，可進行與圖框中之局部性質相對應之移動預測、補償。
再者，與此同時，行動電話400將藉由CCD相機416進行攝像之過程中由麥克風(話筒)421所收集之聲音於聲音編解碼器459中進行類比數位變換，進而進行編碼。
行動電話400於多工分離部457中，以特定之方式將自圖像編碼器453所供給之編碼圖像資料與自聲音編解碼器459所供給之數位聲音資料多工化。行動電話400利用調變解調電路部458對上述所獲得之多工化資料進行展頻處理，並利用發送接收電路部463進行數位類比變換處理及頻率變換處理。行動電話400將藉由該變換處理所獲得之發送用信號經由天線414發送至未圖示之基地台。向基地台傳輸之發送用信號(圖像資料)係經由網路等而供給至通信對象。
再者，於不發送圖像資料之情形時，行動電話400亦可不經由圖像編碼器453，而經由LCD控制部455將由CCD相機416所生成之圖像資料顯示於液晶顯示器418。
又，例如當於資料通信模式中接收與簡易主頁等鏈接之動態圖像檔案之資料時，行動電話400經由天線414而以發送接收電路部463接收自基地台所發送之信號，將該信號放大後，進而進行頻率變換處理及類比數位變換處理。行動電話400利用調變解調電路部458對該接收信號進行解展頻處理而復原原來之多工化資料。行動電話400於多工分離部457中分離該多工化資料，並將其分為編碼圖像資料與聲音資料。
行動電話400於圖像解碼器456中，以與MPEG2或MPEG4等之特定之編碼方式相對應的解碼方式對編碼圖像資料進行解碼，藉此生成再生動圖像資料，並經由LCD控制部455使其顯示於液晶顯示器418。藉此，使例如與簡易主頁鏈接之動態圖像檔案中所包含之動畫資料顯示於液晶顯示器418。
行動電話400使用上述圖像解碼裝置101作為進行此種處理之圖像解碼器456。因此，圖像解碼器456與圖像解碼裝置101之情形同樣地，對傳送而來之適應性內插濾波器之濾波器系數值之中，與區塊尺寸(級別)相應之濾波器系數值進行設定並使用。藉此，可進行與圖框中之局部性質相對應之移動預測、補償。
此時，行動電話400係同時於聲音編解碼器459中，將數位之聲音資料變換為類比聲音信號，並使其自揚聲器417輸出。藉此，使例如與簡易主頁鏈接之動態圖像檔案中所包含之聲音資料再生。
再者，與電子郵件之情形同樣地，行動電話400亦可將所接收之與簡易主頁等鏈接之資料經由記錄再生部462而記錄(儲存)於儲存部423。
又，行動電話400可於主控制部450中，對由CCD相機416進行攝像所獲得之二維碼進行解析，從而獲取記錄成二維碼之資訊。
進而，行動電話400可藉由紅外線通信部481而以紅外線與外部之機器進行通信。
行動電話400使用圖像編碼裝置51作為圖像編碼器453，藉此可對應於圖框中之局部性質，因此可提昇編碼效率。作為結果，行動電話400可將編碼效率較佳之編碼資料(圖像資料)提供給其他裝置。
又，行動電話400使用圖像解碼裝置101作為圖像解碼器456，藉此可對應於圖框中之局部性質，因此可提昇編碼效率。作為其結果，行動電話400可自例如與簡易主頁等鏈接之動態圖像檔案獲得更高精細之解碼圖像，並使其顯示。
再者，以上對行動電話400使用CCD相機416之情形進行了說明，但亦可使用應用了CMOS(Complementary Metal Oxide Semiconductor，互補金氧半導體)之影像感測器(CMOS影像感測器)代替該CCD相機416。於此情形時，行動電話400亦可與使用CCD相機416之情形同樣地對被攝體進行攝像，並生成被攝體之圖像之圖像資料。
又，以上對行動電話400進行了說明，但只要為例如PDA(Personal Digital Assistants，個人數位助理)、智慧型手機、UMPC(Ultra Mobile Personal Computer，超行動個人計算機)、迷你筆記型個人計算機、筆記型個人電腦等具有與該行動電話400相同之攝像功能或通信功能之裝置，則無論為何種裝置，均可與行動電話400之情形同樣地適用圖像編碼裝置51及圖像解碼裝置101。
[硬碟記錄器之構成例]
圖32係表示使用適用了本發明之圖像編碼裝置及圖像解碼裝置之硬碟記錄器之主要構成例的方塊圖。
圖32所示之硬碟記錄器(HDD記錄器)500為如下之裝置，即，將由調諧器所接收之自衛星或地面之天線等發送的廣播波信號(電視信號)中所包含之廣播節目之音訊資料與視訊資料保存於內置之硬碟中，並將所保存之資料於與使用者之指示相應之時間點提供給使用者。
硬碟記錄器500例如可自廣播波信號中抽選音訊資料與視訊資料，並適當地對該等資料進行解碼，然後將該等儲存於內置之硬碟中。又，硬碟記錄器500例如亦可經由網路而自其他裝置獲取音訊資料或視訊資料，並適當地對該等資料進行解碼，然後將該等儲存於內置之硬碟中。
進而，硬碟記錄器500例如可對記錄於內置之硬碟中之音訊資料或視訊資料進行解碼並供給至監視器560，使該圖像顯示於監視器560之畫面上。又，硬碟記錄器500可使該聲音自監視器560之揚聲器輸出。
硬碟記錄器500例如亦可對自經由調諧器而獲取之廣播波信號中所抽選之音訊資料與視訊資料、或者經由網路而自其他裝置所獲取之音訊資料或視訊資料進行解碼並供給至監視器560，使該圖像顯示於監視器560之畫面上。又，硬碟記錄器500亦可使該聲音自監視器560之揚聲器輸出。
當然，亦可進行其他動作。
如圖32所示，硬碟記錄器500包括：接收部521、解調部522、解多工器523、音訊解碼器524、視訊解碼器525、以及記錄器控制部526。硬碟記錄器500更包括：EPG資料記憶體527、程式記憶體528、工作記憶體529、顯示變換器530、OSD(On Screen Display，螢幕顯示)控制部531、顯示控制部532、記錄再生部533、D/A變換器534、以及通信部535。
又，顯示變換器530具有視訊編碼器541。記錄再生部533具有編碼器551及解碼器552。
接收部521接收來自遙控器(未圖示)之紅外線信號，將該紅外線信號變換為電信號並輸出至記錄器控制部526。記錄器控制部526例如由微處理器等構成，且根據儲存於程式記憶體528之程式而執行各種處理。此時，記錄器控制部526根據需要而使用工作記憶體529。
通信部535連接於網路，經由網路而與其他裝置進行通信處理。例如，通信部535由記錄器控制部526控制，與調諧器(未圖示)進行通信，並主要對調諧器輸出選台控制信號。
解調部522對自調諧器所供給之信號進行解調，並將其輸出至解多工器523。解多工器523將自解調部522所供給之資料分離為音訊資料、視訊資料、以及EPG資料，並分別輸出至音訊解碼器524、視訊解碼器525或記錄器控制部526。
音訊解碼器524例如以MPEG方式對所輸入之音訊資料進行解碼，並將其輸出至記錄再生部533。視訊解碼器525例如以MPEG方式對所輸入之視訊資料進行解碼，並將其輸出至顯示變換器530。記錄器控制部526將所輸入之EPG資料供給至EPG資料記憶體527中加以儲存。
顯示變換器530將自視訊解碼器525或記錄器控制部526所供給之視訊資料，藉由視訊編碼器541而編碼為例如NTSC(National Television Standards Committee，國家電視標準委員會)方式之視訊資料，並輸出至記錄再生部533。又，顯示變換器530將自視訊解碼器525或記錄器控制部526所供給之視訊資料之畫面的尺寸變換為與監視器560之尺寸相對應之尺寸。顯示器變換器530進而藉由視訊編碼器541將畫面之尺寸經變換之視訊資料變換為NTSC方式之視訊資料，繼而變換為類比信號後輸出至顯示控制部532。
顯示器控制部532於記錄器控制部526之控制下，將OSD(On Screen Display)控制部531所輸出之OSD信號與自顯示變換器530所輸入之視訊信號重疊，並輸出至監視器560之顯示器而加以顯示。
又，藉由D/A變換器534將音訊解碼器524所輸出之音訊資料變換為類比信號，並供給至監視器560。監視器560將該音訊信號自內置之揚聲器輸出。
記錄再生部533具有硬碟作為記錄視訊資料或音訊資料等之儲存媒體。
記錄再生部533例如藉由編碼器551以MPEG方式對自音訊解碼器524所供給之音訊資料進行編碼。又，記錄再生部533藉由編碼器551以MPEG方式對自顯示變換器530之視訊編碼器541所供給之視訊資料進行編碼。記錄再生部533藉由多工器而對該音訊資料之編碼資料與視訊資料之編碼資料進行合成。記錄再生部533對該合成資料進行通道編碼並將其放大，然後經由記錄頭而將該資料寫入至硬碟。
記錄再生部533經由再生磁頭而將記錄於硬碟之資料予以再生、放大，並藉由解多工器而將該資料分離為音訊資料與視訊資料。記錄再生部533藉由解碼器552以MPEG方式對音訊資料及視訊資料進行解碼。記錄再生部533對經解碼之音訊資料進行D/A變換，並將其輸出至監視器560之揚聲器。又，記錄再生部533對經解碼之視訊資料進行D/A變換，並將其輸出至監視器560之顯示器。
記錄器控制部526根據經由接收部521而接收之由來自遙控器之紅外線信號所表示之使用者指示，自EPG資料記憶體527讀出最新之EPG資料，並將其供給至OSD控制部531。OSD控制部531生成與所輸入之EPG資料相對應之圖像資料，並將其輸出至顯示控制部532。顯示控制部532將自OSD控制部531所輸入之視訊資料輸出至監視器560之顯示器而加以顯示。藉此，於監視器560之顯示器中顯示EPG(電子節目表)。
又，硬碟記錄器500可經由網際網路等網路而獲取自其他裝置所供給之視訊資料、音訊資料或EPG資料等各種資料。
通信部535由記錄器控制部526控制，經由網路而獲取自其他裝置所發送之視訊資料、音訊資料及EPG資料等之編碼資料，並將其供給至記錄器控制部526。記錄器控制部526例如將所獲取之視訊資料或音訊資料之編碼資料供給至記錄再生部533，並儲存於硬碟。此時，記錄器控制部526及記錄再生部533亦可根據需要而進行再編碼等處理。
又，記錄器控制部526對所獲取之視訊資料或音訊資料之編碼資料進行解碼，將所獲得之視訊資料供給至顯示變換器530。顯示變換器530與自視訊解碼器525所供給之視訊資料同樣地，對自記錄器控制部526所供給之視訊資料進行處理，經由顯示控制部532而將其供給至監視器560，並顯示該圖像。
又，配合該圖像顯示，記錄器控制部526亦可將經解碼之音訊資料經由D/A變換器534供給至監視器560，並使該聲音自揚聲器輸出。
進而，記錄器控制部526對所獲取之EPG資料之編碼資料進行解碼，將經解碼之EPG資料供給至EPG資料記憶體527。
如上所述之硬碟記錄器500使用圖像解碼裝置101作為視訊解碼器525、解碼器552、以及內置於記錄器控制部526之解碼器。因此，視訊解碼器525、解碼器552、以及內置於記錄器控制部526之解碼器與圖像解碼裝置101之情形同樣地，對傳送而來之適應性內插濾波器之濾波器系數值之中，與區塊尺寸(級別)相應之濾波器系數值進行設定並使用。藉此，可提昇編碼效率。
因此，硬碟記錄器500可生成精度較高之預測圖像。作為其結果，硬碟記錄器500可自例如經由調諧器而接收之視訊資料之編碼資料、或自記錄再生部533之硬碟所讀出之視訊資料之編碼資料、或藉由網路而獲取之視訊資料之編碼資料獲得更高精細的解碼圖像，並使其顯示於監視器560。
又，硬碟記錄器500使用圖像編碼裝置51作為編碼器551。因此，編碼器551與圖像編碼裝置51之情形同樣地，於片層中，對大區塊尺寸之級別及小區塊尺寸之級別進行分類，並針對所分類之每個級別計算出適應性內插濾波器之濾波器系數值。藉此，可進行與圖框中之局部性質相對應之移動預測、補償。
因此，硬碟記錄器500可提昇例如硬碟中所記錄之編碼資料之編碼效率。作為其結果，硬碟記錄器500可更高效地使用硬碟之儲存區域。
再者，以上對將視訊資料或音訊資料記錄於硬碟之硬碟記錄器500進行了說明，當然，記錄媒體亦可為任意者。例如即便為適用快閃記憶體、光碟、或錄影帶等硬碟以外之記錄媒體之記錄器，亦可與上述硬碟記錄器500之情形同樣地適用圖像編碼裝置51及圖像解碼裝置101。
[相機之構成例]
圖33係表示使用適用了本發明之圖像編碼裝置及圖像解碼裝置機之相機之主要構成例的方塊圖。
圖33所示之相機600對被攝體進行攝像，並使被攝體之圖像顯示於LCD616、或將其作為圖像資料而記錄於記錄媒體633。
透鏡塊611使光(即被攝體之影像)入射至CCD/CMOS612。CCD/CMOS612係使用有CCD或CMOS之影像感測器，其將所接收之光之強度變換為電信號，並供給至相機信號處理部613。
相機信號處理部613將自CCD/CMOS612所供給之電信號變換為Y、Cr、Cb之色差信號，並供給至圖像信號處理部614。圖像信號處理部614於控制器621之控制下，對自相機信號處理部613所供給之圖像信號實施特定之圖像處理、或藉由編碼器641以例如MPEG方式對該圖像信號進行編碼。圖像信號處理部614將對圖像信號進行編碼所生成之編碼資料供給至解碼器615。進而，圖像信號處理部614獲取於螢幕顯示器(OSD)620中所生成之顯示用資料，並將其供給至解碼器615。
於以上之處理中，相機信號處理部613適當地使用經由匯流排617而連接之DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)618，並根據需要而將圖像資料、或對該圖像資料進行編碼所得之編碼資料等保持於該DRAM618。
解碼器615對自圖像信號處理部614所供給之編碼資料進行解碼，將所獲得之圖像資料(解碼圖像資料)供給至LCD616。又，解碼器615將自圖像信號處理部614所供給之顯示用資料供給至LCD616。LCD616適當地將自解碼器615所供給之解碼圖像資料之圖像與顯示用資料之圖像加以合成，並顯示該合成圖像。
螢幕顯示器620於控制器621之控制下，將包含符號、文字、或圖形之選單畫面或圖符等顯示用資料經由匯流排617輸出至圖像信號處理部614。
控制器621根據表示使用者使用操作部622而指示之內容之信號，執行各種處理，並且經由匯流排617而控制圖像信號處理部614、DRAM618、外部介面619、螢幕顯示器620、以及媒體驅動器623等。於FLASH ROM624中儲存控制器621執行各種處理時所需之程式或資料等。
例如，控制器621可代替圖像信號處理部614或解碼器615而對儲存於DRAM618之圖像資料進行編碼、或對儲存於DRAM618之編碼資料進行解碼。此時，控制器621可藉由與圖像信號處理部614或解碼器615之編碼‧解碼方式相同之方式進行編碼‧解碼處理，亦可藉由與圖像信號處理部614或解碼器615不對應之方式進行編碼‧解碼處理。
又，例如，於自操作部622指示有開始印刷圖像之情形時，控制器621自DRAM618讀出圖像資料，將其經由匯流排617而供給至連接於外部介面619之印表機634並進行印刷。
進而，例如，於自操作部622指示有記錄圖像之情形時，控制器621自DRAM618讀出編碼資料，將其經由匯流排617而供給至安裝於媒體驅動器623之記錄媒體633並加以儲存。
記錄媒體633例如為磁碟、磁光碟、光碟、或半導體記憶體等可讀寫之任意之可移動媒體。對於記錄媒體633而言，當然作為可移動媒體之種類亦為任意，亦可為磁帶設備，亦可為碟片，亦可為記憶卡。當然，亦可為非接觸IC(Integrated Circuit，積體電路)卡等。
又，亦可將媒體驅動器623與記錄媒體633一體化，例如，如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)等般由非可攜性之儲存媒體構成。
外部介面619例如由USB輸入輸出端子等構成，於進行圖像之印刷之情形時，其連接於印表機634。又，外部介面619上根據需要而連接驅動器631，且適當地安裝磁碟、光碟、或磁光碟等可移動媒體632，自該等所讀出之電腦程式根據需要而安裝於FLASH ROM624。
進而，外部介面619具有連接於LAN(local area network，局域網路)或網際網路等特定之網路之網路介面。控制器621例如可根據來自操作部622之指示，自DRAM618讀出編碼資料，並將其自外部介面619供給至經由網路而連接之其他裝置。又，控制器621可經由外部介面619而獲取經由網路自其他裝置所供給之編碼資料或圖像資料，並將其保持於DRAM618或供給至圖像信號處理部614。
如上所述之相機600使用圖像解碼裝置101作為解碼器615。因此，解碼器615與圖像解碼裝置101之情形同樣地，對傳送而來之適應性內插濾波器之濾波器系數值之中，與區塊尺寸(級別)相應之濾波器系數值進行設定並使用。
因此，相機600可生成精度較高之預測圖像。作為其結果，相機600可自例如CCD/CMOS612中所生成之圖像資料、或者自DRAM618或記錄媒體633所讀出之視訊資料之編碼資料、或者經由網路而獲取之視訊資料之編碼資料獲得更高精細的解碼圖像，並使其顯示於LCD616。
又，相機600使用圖像編碼裝置51作為編碼器641。因此，編碼器641與圖像編碼裝置51之情形同樣地，於片層中，對大區塊尺寸之級別及小區塊尺寸之級別進行分類，並針對所分類之每個級別計算出適應性內插濾波器之濾波器系數值。藉此，可進行與圖框中之局部性質相對應之移動預測、補償。
因此，相機600可提昇例如硬碟中所記錄之編碼資料之編碼效率。作為其結果，相機600可更高效地使用DRAM618或記錄媒體633之儲存區域。
再者，亦可將圖像解碼裝置101之解碼方法適用於控制器621所進行之解碼處理。同樣地，亦可將圖像編碼裝置51之編碼方法適用於控制器621所進行之編碼處理。
又，相機600所攝像之圖像資料可為動態圖像，亦可為靜態圖像。
當然，圖像編碼裝置51及圖像解碼裝置101亦可適用於上述裝置以外之裝置或系統。
51．．．圖像編碼裝置
61．．．A/D變換部
62、117．．．畫面重排緩衝器
63、70、115．．．運算部
64．．．正交變換部
65．．．量化部
66．．．可逆編碼部
67、111．．．儲存緩衝器
68、113．．．逆量化部
69、114．．．逆正交變換部
71、116．．．解塊濾波器
72、119．．．圖框記憶體
73、120、125．．．開關
74、121．．．框內預測部
75、122．．．移動預測‧補償部
76．．．適應性內插濾波器計算部
77．．．區塊判別部
78．．．預測圖像選擇部
79．．．碼率控制部
81．．．整數像素精度移動預測部
82．．．小數像素精度移動預測部
83．．．模式判定部
84．．．小數像素精度移動預測部
85．．．移動補償部
91．．．移動資訊緩衝器
92．．．大區塊濾波器計算部
93．．．小區塊濾波器計算部
101．．．圖像解碼裝置
112．．．可逆解碼部
118．．．D/A變換部
121．．．框內預測部
122．．．移動預測‧補償部
123．．．適應性內插濾波器設定部
124．．．區塊判別部
131．．．模式‧移動資訊緩衝器
132．．．移動補償部
141．．．大區塊適應性濾波器係數緩衝器
142．．．小區塊適應性濾波器係數緩衝器
201．．．CPU
202．．．ROM
203．．．RAM
204．．．匯流排
205．．．輸入輸出介面
206．．．輸入部
207．．．輸出部
208．．．儲存部
209．．．通信部
210．．．驅動器
211．．．可移動媒體
300．．．電視接收器
313．．．地面波調諧器
314．．．聲音A/D變換電路
315．．．視訊解碼器
316．．．數位調諧器
317．．．MPEG解碼器
318．．．影像信號處理電路
319．．．圖形生成電路
320．．．面板驅動電路
321．．．顯示面板
322．．．聲音信號處理電路
323．．．回音消除/聲音合成電路
324．．．聲音放大電路
325．．．揚聲器
326．．．麥克風
327．．．A/D變換電路
328．．．聲音編解碼器
329．．．內部匯流排
330．．．SDRAM
331．．．快閃記憶體
332．．．CPU
333．．．USB I/F
334．．．網路I/F
335．．．網路端子
336．．．USB端子
337．．．受光部
351．．．遙控器
400．．．行動電話
414．．．天線
416．．．CCD相機
417．．．揚聲器
418．．．液晶顯示器
419．．．操作鍵
421．．．麥克風(話筒)
423．．．儲存部
450．．．主控制部
451．．．電源電路部
452．．．操作輸入控制部
453．．．圖像編碼器
454．．．相機I/F部
455．．．LCD控制部
456．．．圖像解碼器
457．．．多工分離部
458．．．調變解調電路部
459．．．聲音編解碼器
460．．．匯流排
462．．．記錄再生部
463．．．發送接收電路部
481．．．紅外線通信部
500．．．硬碟記錄器(HDD記錄器)
521．．．接收部
522．．．解調部
523．．．解多工器
524．．．音訊解碼器
525．．．視訊解碼器
526．．．記錄器控制部
527．．．EPG資料記憶體
528．．．程式記憶體
529．．．工作記憶體
530．．．顯示變換器
531．．．OSD控制部
532．．．顯示控制部
533．．．記錄再生部
534．．．D/A變換器
535．．．通信部
541．．．視訊編碼器
551．．．編碼器
552．．．解碼器
560．．．監視器
600．．．相機
611．．．透鏡塊
612．．．CCD/CMOS
613．．．相機信號處理部
614．．．圖像信號處理部
615．．．解碼器
616．．．LCD
617．．．匯流排
618．．．DRAM
619．．．外部介面
620．．．螢幕顯示器(OSD)
621．．．控制器
622．．．操作部
623．．．媒體驅動器
624．．．FLASH ROM
631．．．驅動器
632．．．可移動媒體
633．．．記錄媒體
634．．．印表機
641．．．編碼器
圖1係說明H.264/AVC方式中之1/4像素精度之移動預測‧補償處理的圖。
圖2係說明H.264/AVC方式中之移動搜索方法之圖。
圖3係表示適用本發明之圖像編碼裝置之一實施形態之構成的方塊圖。
圖4係說明可變區塊尺寸之移動預測‧補償處理之圖。
圖5係說明多參考圖框之移動預測‧補償方式之圖。
圖6係說明移動向量資訊之生成方法之例的圖。
圖7係表示圖3之移動預測‧補償部及適應性內插濾波器計算部之構成例之方塊圖。
圖8係說明圖3之圖像編碼裝置之編碼處理的流程圖。
圖9係說明圖8之步驟S21之預測處理的流程圖。
圖10係說明圖9之步驟S31之框內預測處理的流程圖。
圖11係說明圖9之步驟S32之框間移動預測處理的流程圖。
圖12係說明圖11之步驟S51或S52之移動預測補償處理的流程圖。
圖13係表示適用本發明之圖像解碼裝置之一實施形態之構成的方塊圖。
圖14係表示圖13之移動預測‧補償部及適應性內插濾波器設定部之構成例的方塊圖。
圖15係說明圖13之圖像解碼裝置之解碼處理的流程圖。
圖16係說明圖15之步驟S138之預測處理的流程圖。
圖17係表示經擴展之區塊尺寸之例的圖。
圖18係表示電腦之硬體之構成例的方塊圖。
圖19係表示適用本發明之電視接收器之主要構成例的方塊圖。
圖20係表示適用本發明之行動電話之主要構成例的方塊圖。
圖21係表示適用本發明之硬碟記錄器之主要構成例的方塊圖。
圖22係表示適用本發明之相機之主要構成例的方塊圖。
66．．．可逆編碼部
72．．．圖框記憶體
75．．．移動預測‧補償部
76．．．適應性內插濾波器計算部
77．．．區塊判別部
78．．．預測圖像選擇部
81．．．整數像素精度移動預測部
82．．．小數像素精度移動預測部
83．．．模式判定部
84．．．小數像素精度移動預測部
85．．．移動補償部
91．．．移動資訊緩衝器
92．．．大區塊濾波器計算部
93．．．小區塊濾波器計算部

Claims (20)

  1. 一種圖像處理裝置，其包括：移動預測機構，其係使用預先設定之第1濾波器係數，進行成為候補之預測模式下之成為編碼處理對象的對象區塊之移動預測；區塊判別機構，其係根據最佳預測模式所示之區塊尺寸對級別進行分類，上述最佳預測模式係自藉由上述移動預測機構進行移動預測之上述成為候補之預測模式中針對上述對象區塊所決定；以及濾波器係數計算機構，其係針對藉由上述區塊判別機構所分類之上述每個級別，計算出使預測誤差成為最小之第2濾波器係數。
  2. 如請求項1之圖像處理裝置，其中上述移動預測機構使用藉由上述濾波器係數計算機構所計算出之上述第2濾波器係數，進行上述成為候補之預測模式下之上述對象區塊之移動預測；該圖像處理裝置更包括：模式決定機構，其係自藉由上述移動預測機構使用上述第2濾波器係數進行移動預測之上述成為候補之預測模式中，針對上述對象區塊決定上述最佳預測模式；移動補償機構，其係進行上述最佳預測模式下之上述對象區塊之移動補償，上述最佳預測模式係自藉由上述移動預測機構進行移動預測之上述成為候補之預測模式中決定；以及編碼機構，其係對由上述移動補償機構之上述移動補償所獲得之上述對象區塊的預測圖像與原圖像之差分進行編碼。
  3. 如請求項2之圖像處理裝置，其中上述編碼機構係對藉由上述濾波器係數計算機構針對上述每個級別所計算出之上述第2濾波器係數進行編碼。
  4. 如請求項2之圖像處理裝置，其中上述編碼機構係對表示傳送上述每個級別的上述第2濾波器係數之旗標資訊、及上述旗標資訊已編碼之級別的上述第2濾波器係數進行編碼。
  5. 如請求項4之圖像處理裝置，其中上述移動預測機構相對於被分類為上述旗標資訊未經編碼之級別的區塊尺寸之預測模式，使用上述第1濾波器係數進行上述對象區塊之移動預測。
  6. 如請求項4之圖像處理裝置，其中上述移動預測機構相對於被分類為上述旗標資訊未經編碼之級別的區塊尺寸之預測模式，使用較該級別更大之區塊尺寸之級別的上述第2濾波器係數進行上述對象區塊之移動預測。
  7. 如請求項4之圖像處理裝置，其中上述移動預測機構於對象片層中，相對於被分類為上述旗標資訊未經編碼之級別的區塊尺寸之預測模式，使用較上述對象片層更前之片層中之相同級別的上述第2濾波器係數進行上述對象區塊之移動預測。
  8. 如請求項1之圖像處理裝置，其中上述區塊判別機構根據上述區塊尺寸是否大於8×8區塊，對上述級別進行分類。
  9. 如請求項1之圖像處理裝置，其中上述區塊判別機構根據上述區塊尺寸是否大於16×16區塊、或者是否為16×16區塊以下且大於8×8區塊、或者是否為8×8區塊以下，對上述級別進行分類。
  10. 一種圖像處理方法，其包括下述步驟：圖像處理裝置使用預先設定之第1濾波器係數，進行成為候補之預測模式下之成為編碼處理對象的對象區塊之移動預測；根據最佳預測模式所示之區塊尺寸對級別進行分類，上述最佳預測模式係自已進行移動預測之上述成為候補之預測模式中針對上述對象區塊所決定；針對所分類之上述每個級別，計算出使預測誤差成為最小之第2濾波器係數。
  11. 一種圖像處理裝置，其包括：解碼機構，其係對成為解碼處理之對象的對象區塊之移動向量資訊進行解碼；濾波器係數設定機構，其係自針對根據區塊尺寸而分類之每個級別以使預測誤差成為最小之方式所計算出的每個級別之濾波器係數中，設定與上述對象區塊之區塊尺寸相應之濾波器係數；以及預測圖像生成機構，其係使用藉由上述解碼機構解碼之上述移動向量資訊、及藉由上述濾波器係數設定機構設定之上述濾波器係數，生成上述對象區塊之預測圖像。
  12. 如請求項11之圖像處理裝置，其中上述解碼機構對每個片層中經編碼之上述每個級別之濾波器係數進行解碼；上述濾波器係數設定機構自藉由上述解碼機構解碼之上述每個級別之濾波器係數中，設定與上述對象區塊之區塊尺寸相應之濾波器係數。
  13. 如請求項12之圖像處理裝置，其中上述解碼機構亦對上述對象區塊之預測模式資訊進行解碼；上述濾波器係數設定機構根據藉由上述解碼機構解碼之上述預測模式資訊所示之區塊尺寸，設定與上述對象區塊之區塊尺寸相應之濾波器係數。
  14. 如請求項12之圖像處理裝置，其中上述解碼機構對表示傳送每個片層中經編碼之上述每個級別之濾波器係數的旗標資訊、及上述旗標資訊已解碼之級別的上述濾波器係數進行解碼。
  15. 如請求項14之圖像處理裝置，其中上述預測圖像生成機構針對被分類為上述旗標資訊未經解碼之級別的區塊尺寸之對象區塊，使用預先設定之濾波器係數生成預測圖像。
  16. 如請求項14之圖像處理裝置，其中上述預測圖像生成機構針對被分類為上述旗標資訊未經解碼之級別的區塊尺寸之對象區塊，使用較該級別更大之區塊尺寸之級別的上述濾波器係數生成預測圖像。
  17. 如請求項14之圖像處理裝置，其中上述預測圖像生成機構於對象片層中，相對於被分類為上述旗標資訊未經解碼之級別的區塊尺寸之預測模式，使用較上述對象片層更前之片層中之相同級別的上述濾波器係數生成上述對象區塊之預測圖像。
  18. 如請求項11之圖像處理裝置，其中上述級別係根據上述區塊尺寸是否大於8×8區塊而分類。
  19. 如請求項11之圖像處理裝置，其中上述級別係根據上述區塊尺寸是否大於16×16區塊、或者是否為16×16區塊以下且大於8×8區塊、或者是否為8×8區塊以下而分類。
  20. 一種圖像處理方法，其包括下述步驟：圖像處理裝置對成為解碼處理之對象的對象區塊之移動向量資訊進行解碼；自針對根據區塊尺寸而分類之每個級別以使預測誤差成為最小之方式所計算出的每個級別之濾波器係數中，設定與上述對象區塊之區塊尺寸相應之濾波器係數；使用經解碼之上述移動向量資訊、及所設定之上述濾波器係數，生成上述對象區塊之預測圖像。
TW99125791A 2009-08-28 2010-08-03 Image processing apparatus and method TWI411310B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009198767A JP2011050001A (ja) 2009-08-28 2009-08-28 画像処理装置および方法

Publications (2)

Publication Number Publication Date
TW201129099A TW201129099A (en) 2011-08-16
TWI411310B true TWI411310B (zh) 2013-10-01

Family

ID=43627790

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99125791A TWI411310B (zh) 2009-08-28 2010-08-03 Image processing apparatus and method

Country Status (9)

Country Link
US (1) US20120147963A1 (zh)
EP (1) EP2472871A1 (zh)
JP (1) JP2011050001A (zh)
KR (1) KR20120058521A (zh)
CN (1) CN102577390A (zh)
BR (1) BR112012003807A2 (zh)
RU (1) RU2012107394A (zh)
TW (1) TWI411310B (zh)
WO (1) WO2011024685A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
US8797414B2 (en) 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
CN107257462B (zh) 2012-03-26 2020-04-28 Jvc 建伍株式会社 图像解码装置、图像解码方法、接收装置
JP2013207402A (ja) * 2012-03-27 2013-10-07 Nippon Hoso Kyokai <Nhk> 画像符号化装置及びプログラム
CN102665080B (zh) * 2012-05-08 2015-05-13 开曼群岛威睿电通股份有限公司 用于移动补偿的电子装置及移动补偿方法
JP5890794B2 (ja) * 2013-02-28 2016-03-22 株式会社東芝 画像処理装置
CN105230017B (zh) * 2013-03-21 2019-08-06 索尼公司 图像编码装置和方法以及图像解码装置和方法
WO2015053001A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法
US9979908B2 (en) * 2014-03-31 2018-05-22 Agency For Science, Technology And Research Image processing devices and image processing methods with interpolation for improving image resolution
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
CN116708783A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US10735682B2 (en) * 2018-11-14 2020-08-04 Omnivision Technologies, Inc. Dram with staggered word line transitions for hybrid-bonded photosensor arrays
US11178415B2 (en) 2019-03-12 2021-11-16 Tencent America LLC Signaling of CU based interpolation filter selection
CN117459718A (zh) 2019-04-01 2024-01-26 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
CN117395411A (zh) 2019-08-20 2024-01-12 北京字节跳动网络技术有限公司 用于视频处理的方法、装置以及计算机可读存储介质
WO2021061322A1 (en) * 2019-09-24 2021-04-01 Alibaba Group Holding Limited Motion compensation methods for video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007337A (ja) * 2002-04-25 2004-01-08 Sony Corp 画像処理装置およびその方法
JP2005532725A (ja) * 2002-07-09 2005-10-27 ノキア コーポレイション ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
TW200814753A (en) * 2006-06-05 2008-03-16 Sony Corp Imaging apparatus
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression
US20080247467A1 (en) * 2007-01-09 2008-10-09 Nokia Corporation Adaptive interpolation filters for video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
US20070121728A1 (en) * 2005-05-12 2007-05-31 Kylintv, Inc. Codec for IPTV
FR2889778A1 (fr) * 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
EP2092752A2 (en) * 2006-12-01 2009-08-26 France Telecom Adaptive interpolation method and system for motion compensated predictive video coding and decoding
CN101212672B (zh) * 2006-12-30 2011-01-05 安凯(广州)微电子技术有限公司 视频内容自适应的亚像素插值方法和装置
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
CN101350925A (zh) * 2008-07-11 2009-01-21 清华大学 一种插值滤波方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007337A (ja) * 2002-04-25 2004-01-08 Sony Corp 画像処理装置およびその方法
JP2005532725A (ja) * 2002-07-09 2005-10-27 ノキア コーポレイション ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
TW200814753A (en) * 2006-06-05 2008-03-16 Sony Corp Imaging apparatus
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression
US20080247467A1 (en) * 2007-01-09 2008-10-09 Nokia Corporation Adaptive interpolation filters for video coding

Also Published As

Publication number Publication date
CN102577390A (zh) 2012-07-11
BR112012003807A2 (pt) 2016-04-26
TW201129099A (en) 2011-08-16
RU2012107394A (ru) 2013-09-10
WO2011024685A1 (ja) 2011-03-03
JP2011050001A (ja) 2011-03-10
KR20120058521A (ko) 2012-06-07
EP2472871A1 (en) 2012-07-04
US20120147963A1 (en) 2012-06-14

Similar Documents

Publication Publication Date Title
TWI411310B (zh) Image processing apparatus and method
JP5234368B2 (ja) 画像処理装置および方法
TWI577179B (zh) Image processing apparatus and method, program, and recording medium
TWI405469B (zh) Image processing apparatus and method
CN102342108B (zh) 图像处理设备和方法
WO2010095560A1 (ja) 画像処理装置および方法
WO2010035734A1 (ja) 画像処理装置および方法
JP2011151682A (ja) 画像処理装置および方法
JP2011041037A (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2011086964A1 (ja) 画像処理装置および方法、並びにプログラム
JPWO2010035731A1 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
WO2011086963A1 (ja) 画像処理装置および方法
WO2010035735A1 (ja) 画像処理装置および方法
JP2014143716A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2011125625A1 (ja) 画像処理装置および方法
JP2013150347A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees