TWI440363B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI440363B
TWI440363B TW98141559A TW98141559A TWI440363B TW I440363 B TWI440363 B TW I440363B TW 98141559 A TW98141559 A TW 98141559A TW 98141559 A TW98141559 A TW 98141559A TW I440363 B TWI440363 B TW I440363B
Authority
TW
Taiwan
Prior art keywords
image
prediction
circuit
predicted
intra prediction
Prior art date
Application number
TW98141559A
Other languages
English (en)
Other versions
TW201036452A (en
Inventor
Ohji Nakagami
Yoichi Yagasaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201036452A publication Critical patent/TW201036452A/zh
Application granted granted Critical
Publication of TWI440363B publication Critical patent/TWI440363B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，尤其係關於一種可生成精度高的預測圖像而不會加大處理負擔的圖像處理裝置及方法。
先前，MPEG(Moving Picture Experts Group，動態圖像專家組)、H.26x等之使用有運動補償及離散餘弦變換、K-L轉換(Karhunen-Loeve transform，卡氏變換)、或小波轉換(wavelet transform)等之正交轉換的編碼方式一般被用作處理動態圖像時之編碼方式。於該等動態圖像編碼方式中，利用成為編碼對象之輸入之圖像信號所具有之特性中的空間方向及時間方向之關聯來謀求編碼量之削減。
例如於H.264中，在利用時間方向之關聯來生成成為幀間預測(inter預測)之對象之幀即中間幀時，使用單向預測或雙向預測。幀間預測係根據不同時刻之幀而生成預測圖像者。
圖1係表示單向預測之例之示圖。
如圖1所示，當藉由單向預測而生成成為編碼對象之當前時刻之幀即編碼幀P0時，將對當前時刻而言在時間上為過去或者為未來之時刻的編碼完畢之幀作為參照幀來進行運動補償。利用時間方向之關聯來對預測圖像與實際圖像之殘差進行編碼，藉此可削減編碼量。分別使用參照幀資訊與運動向量來作為指定參照幀之資訊與指定該參照幀之參照目的地的位置之資訊，並將該等資訊自編碼側傳送至解碼側。
於此，參照幀之片數並非限於1片。例如，於H.264中可將複數片幀作為參照幀。如圖1所示，當按時間上接近編碼幀P0之順序將2片幀作為參照幀R0、R1時，可根據參照幀R0或R1之任意像素之像素值來預測編碼幀P0內之任意巨集區塊之像素值。
圖1之各幀的內側所示之框表示巨集區塊。若將作為預測對象之編碼幀P0之巨集區塊設為巨集區塊MBP0，則與該巨集區塊MBP0對應之參照幀R0之巨集區塊成為由運動向量MV0所指定之巨集區塊MBR0。又，參照幀R1之巨集區塊成為由運動向量MV1所指定之巨集區塊MBR1。
若將巨集區塊MBR0、MBR1之像素值(運動補償圖像之像素值)設為MC0(i，j)、MC1(i，j)，則於單向預測中可使用任一運動補償圖像之像素值來作為預測圖像之像素值，故預測圖像Pred(i，j)藉由下式(1)表示。(i，j)表示巨集區塊內之像素的相對位置，且0≦i≦16，0≦j≦16。式(1)中之「∥」表示取MC0(i，j)與MC1(i，j)中之任一值。
[數1]
Pred(i,j)=MC0 (i,j)∥MC1 (i,j)　…(1)
再者，將16×16像素的1個巨集區塊進一步細分為16×8像素等尺寸之區塊，並針對所分割之每一區塊，可將不同之參照幀作為參照目的地來進行運動補償。傳送小數精度之運動向量而非整數精度之運動向量，使用規格中所規定之FIR(Finite Impulse Response，有限脈衝響應)濾波器進行內插，藉此，亦可將對應的參照目的地之位置之周邊之像素的像素值用於運動補償。
圖2係表示雙向預測之例之示圖。
如圖2所示，當藉由雙向預測而生成成為編碼對象之當前時刻之幀即編碼幀B0時，將對當前時刻而言在時間上為過去以及為未來之時刻的編碼完畢之幀作為參照幀來進行運動補償。將編碼完畢之複數片幀作為參照幀，利用與其等之關聯來對預測圖像與實際圖像之殘差進行編碼，藉此可削減編碼量。於H.264中，亦可將過去之複數片幀與未來之複數片幀作為參照幀。
如圖2所示，當以編碼幀B0為基準而將過去與未來之幀逐片地作為參照幀L0、L1時，可根據參照幀L0、L1之任意像素之像素值來預測編碼幀B0內之任意之巨集區塊的像素值。
於圖2之例中，與編碼幀B0之巨集區塊MBB0對應之參照幀L0之巨集區塊被當作由運動向量MV0所指定之巨集區塊MBL0。又，與編碼幀B0之巨集區塊MBB0對應的參照幀L1之巨集區塊被當作由運動向量MV1所指定之巨集區塊MBL1。
若將巨集區塊MBL0、MBL1之像素值分別設為MC0(i，j)、MC1(i，j)，則預測圖像Pred(i，j)之像素值Pred(i，j)如下式(2)所示係作為其等之平均值而求出。
[數2]
Pred(i,j)=(MC0 (i,j)+MC1 (i,j))/2　…(2)
於使用有如上所述之單向預測之運動補償中，提高運動向量之精度或細化巨集區塊之尺寸，以提高預測圖像之精度，減少與實際圖像之殘差，藉此來謀求編碼效率之提高。
又，於使用雙向預測之運動補償中，使用時間上相近之參照幀之像素之像素值的平均值來作為預測圖像之像素之像素值，藉此，就概率而言，亦可實現預測殘差之穩定地減少。
圖3係表示幀內(intra)預測之例之示圖。
於圖3之例中，表示在進行編碼幀I0之當前區塊之解碼時自同一畫面內之解碼完畢附近像素進行預測的情形。一般而言，圖像與附近之像素值的關聯極高，故以如此之自附近像素進行預測來減少當前區塊之殘差成分。藉此可實現編碼效率之提高。
例如，於H.264規格之幀內4×4預測中，可利用附近之編碼完畢像素並以9種方法來進行當前區塊之預測。在與附近圖像之關聯上採用二維方向性，藉此實現預測精度之提高。
作為其他的幀內預測之方法，存在有自畫面內複製關聯高的區域之手法。具體而言，該手法係為了進行當前區塊之解碼而指定解碼完畢之圖像之特定的位置，藉此將該區域利用於當前區塊之預測圖像中。
當畫面內存在有複數個規則性的紋路或同一形狀之物件等情形時，該手法可實現較高的預測效率。
此外，作為其他的幀內預測之方法，亦存在如下技術：透過解析存在於編碼對象圖像中之特徵性之區域、紋理區域之信號成分，而將人工合成之圖像用於編碼圖像中，藉此使編碼量減少。
如此，由於用於幀內預測之各種技術之出現，因而幀內預測之預測精度逐漸提高，但於一般的動態圖像中，依然以幀間預測之預測精度為高。其原因在於，例如即便為相當複雜之紋理，當於畫面內靜止之情形時，雖難以提高幀內預測之精度，但幀間預測之預測殘差皆無限制地成為零。
又，作為其他的預測方法，已有考慮藉由運動補償與像素值之FIR濾波來將時間方向之關聯轉換為空間解像度加以利用之手法(例如，參照非專利文獻1)。
於非專利文獻1所記載之方法中，為了對輸入圖像行進行高解析度化處理而利用時間方向之關聯。具體而言，在當前圖像與過去圖像之間計算經運動預測、補償後之圖像之差分資訊，並反饋至作為對象之當前圖像，藉此使輸入圖像中所含之高頻成分還原。
[先行技術文獻] [非專利文獻]
[非專利文獻1]「Improving Resolution by Image Registration」,MICHAL IRANI AND SHMUEL PELEG,Department of Computer Science,The Hebrew University of Jerusalem,91904 Jerusalem,Israel,Communicated by Rama Chellapa,Received June 16,1989;accepted May 25,1990
由於在先前之幀間預測之情形時若要使用複數片的參照幀，則用於運動預測或運動補償之處理成本、及用於保存參照面之記憶體容量之成本等必要成本會變得較幀內預測時更高。非專利文獻1所記載之方法之情形亦相同。
另一方面，於幀內預測時，用於生成預測圖像之處理成本雖較幀間預測為低，但因所生成之圖像之預測精度低，故與幀間預測之情形相比，存在有編碼效率差之問題。
本發明係鑒於此種狀況而完成者，其係利用幀間預測之預測精度來補償幀內預測之預測精度之不足，以實現編碼效率之提高，進而，藉由減少幀間預測時所需之參照面之數目而實現處理成本之降低。
本發明之一側面為一種圖像處理裝置，其包括：解碼機構，其對經編碼之圖像進行解碼；生成機構，其將經上述解碼機構解碼後之圖像與預測圖像相加，生成解碼完畢之圖像；擷取機構，其將包含由上述生成機構所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼之上述圖像之運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；幀內預測圖像生成機構，其於生成上述預測圖像之目前幀內進行幀內預測，自藉由上述生成機構所生成之解碼完畢之部分圖像而生成與上述預測圖像對應之幀內預測圖像；及預測圖像生成機構，其對於由上述擷取機構所擷取之上述運動補償圖像及由上述幀內預測圖像生成機構所生成之上述幀內預測圖像，利用上述運動補償圖像及上述幀內預測圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
上述預測圖像生成機構可包括：第1濾波機構，其係對由上述第1擷取機構所擷取之上述運動補償圖像、與由上述幀內預測圖像生成機構所生成之上述幀內預測圖像之差分圖像實施低通濾波；第2濾波機構，其係對經上述第1濾波機構實施低通濾波所獲得之圖像實施高通濾波；及加法機構，其係將經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像，加上由上述幀內預測圖像生成機構所生成之上述上述幀內預測圖像，而生成上述預測圖像。
上述加法機構可對以上述預測圖像之時刻為基準而自1時刻前之幀中所擷取的上述運動補償圖像，加上經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像。
上述圖像處理裝置可進而包括：單向預測機構，其使用複數個上述運動補償圖像進行單向預測，生成上述預測圖像；雙向預測機構，其使用複數個上述運動補償圖像進行雙向預測，生成上述預測圖像；及判定機構，其根據經編碼之上述圖像之標頭中所含之識別旗標，來判定上述預測圖像係由上述單向預測機構進行單向預測所生成、或是由上述雙向預測機構進行雙向預測所生成、抑或是由上述預測圖像生成機構進行上述濾波處理所生成。
又，本發明之一側面為一種圖像處理方法，其包括：對經編碼之圖像進行解碼；將已解碼之圖像與預測圖像相加，生成解碼完畢之圖像；將包含所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼之上述圖像之運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；於生成上述預測圖像之目前幀內進行幀內預測，自解碼完畢之部分圖像而生成與上述預測圖像對應之幀內預測圖像；對上述運動補償圖像及上述幀內預測圖像，利用上述運動補償圖像及上述幀內預測圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
本發明之另一側面為一種圖像處理裝置，其包括：編碼機構，其對編碼對象之圖像即原圖像進行編碼，生成經編碼之圖像；檢測機構，其根據基於表示上述原圖像與預測圖像之差之殘差信號而局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；擷取機構，其將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用由上述檢測機構檢測到的運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；幀內預測圖像生成機構，其於生成上述預測圖像的目前幀內進行幀內預測，自上述幀之部分圖像而生成與上述預測圖像對應之幀內預測圖像；及生成機構，其對由上述第1擷取機構所擷取之上述運動補償圖像及由上述幀內預測圖像生成機構所生成之上述幀內預測圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
上述生成機構可包括：第1濾波機構，其係對由上述第1擷取機構所擷取之上述運動補償圖像、與由上述幀內預測圖像生成機構所生成之上述幀內預測圖像之差分圖像實施低通濾波；第2濾波機構，其係對經上述第1濾波機構實施低通濾波所獲得之圖像實施高通濾波；及加法機構，其係將經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像，加上由上述幀內預測圖像生成機構所生成之上述上述幀內預測圖像，來生成上述預測圖像。
上述加法機構可對以上述預測圖像之時刻為基準而自1個時刻前之幀中所擷取的上述運動補償圖像，加上經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像。
上述編碼機構可於經編碼之上述圖像之標頭中包含識別旗標，該識別旗標係識別要與在解碼裝置中所解碼之圖像相加之預測圖像是經單向預測所生成、或是經雙向預測所生成、抑或是經上述濾波處理所生成。
本發明之另一側面為一種圖像處理方法，其包括：對編碼對象之圖像即原圖像進行編碼，生成經編碼之圖像；根據基於表示上述原圖像與預測圖像之差之殘差信號而局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用已檢測到的運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；於生成上述預測圖像之目前幀內進行幀內預測，自上述幀之部分圖像而生成與上述預測圖像對應之幀內預測圖像；及對所擷取之上述運動補償圖像及生成之上述幀內預測圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
於本發明之一側面中，對經編碼之圖像進行解碼；將已解碼之圖像與預測圖像相加，生成解碼完畢之圖像；將包含所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼之圖像之運動向量來進行運動補償，自參照幀中擷取出與預測圖像對應之運動補償圖像；於生成預測圖像之目前幀內進行幀內預測，自解碼完畢之部分圖像而生成與預測圖像對應之幀內預測圖像；對運動補償圖像及幀內預測圖像，利用運動補償圖像及幀內預測圖像中包含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成預測圖像。
於本發明之另一側面中，對編碼對象之圖像即原圖像進行編碼，生成經編碼之圖像；根據基於表示原圖像與預測圖像之差之殘差信號而局部地解碼所獲得之圖像與原圖像，來檢測運動向量；將包含經局部地解碼所獲得之圖像之幀作為參照幀，使用所檢測到的運動向量進行運動補償，自參照幀中擷取出與預測圖像對應之運動補償圖像；於生成預測圖像之目前幀內進行幀內預測，自幀之部分圖像而生成與預測圖像對應之幀內預測圖像；對所擷取之運動補償圖像及所生成之幀內預測圖像，利用運動補償圖像中包含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成預測圖像。
根據本發明，可生成精度高的預測圖像而不會使串流中之運動向量之傳送量增加，從而可達成較高之編碼效率。
以下，說明用以實施發明之形態(以下稱作實施形態)。再者，說明係以如下順序進行。
1.第1實施形態(解碼處理)
2.第2實施形態(編碼處理)
3.第3實施形態(濾波電路之變形例)
<1.第1實施形態>
[預測之概要]
圖4係說明適用有本發明之預測圖像生成方法之概要的示圖。於本發明中，為了於解碼器內獲得運動補償圖像而利用位元流來傳送最低1條的運動向量。
圖4中，表示在用於運動補償的參照面中使用1片幀(N-1)以便進行幀N之解碼之情形。於圖4中，利用串流來傳送用於表示在幀(N-1)中進行運動補償之圖像之座標的運動向量。解碼器藉由使用該向量而獲得圖像MC。
又，利用幀N中之解碼完畢像素值來進行幀內預測。於該預測中，使用例如H.264規格之幀內預測。然而，於本發明中，若利用當前幀中之編碼完畢像素來進行適當之預測以便以更高精度持續地進行濾波處理之預測而無論幀內預測之處理之種類，則亦可對其進行選擇。
根據以上2個預測處理，於進行當前區塊之解碼時，解碼器可由幀(N-1)而獲得運動預測圖像，且由幀N而獲得空間預測圖像。對該2種圖像進行濾波處理，藉此可利用所輸入之預測圖像中包含之成分而生成更接近原圖像之新的預測圖像。
[解碼裝置之構成]
圖5係表示本發明之一實施形態之解碼裝置1之構成例的方塊圖。
對解碼裝置1，經由電纜、網路、或可移動式媒體而輸入下述的經編碼裝置編碼後之圖像資訊。壓縮圖像資訊例如係以H.264規格進行編碼後之圖像資訊。
蓄積緩衝器11依序記憶作為壓縮圖像資訊而輸入之位元流。記憶於蓄積緩衝器11內之資訊能對應構成幀之巨集區塊等之每一個特定單位之圖像而由可逆解碼電路12適當地讀出。於H.264規格中，亦能以將16×16像素之巨集區塊進一步分割而成之8×8像素、4×4像素等之區塊而非16×16像素之區塊為單位來進行處理。
可逆解碼電路12對自蓄積緩衝器11讀出之圖像實施可變長度解碼處理、算術解碼處理等之與編碼方式對應之解碼處理。可逆解碼電路12將藉由實施解碼處理所獲得之已量化之轉換係數輸出至反量化電路13。
又，可逆解碼電路12根據成為解碼對象之圖像之標頭中所含的識別旗標，來識別該圖像為幀內編碼之圖像、抑或為幀間編碼之圖像。當判斷為成為解碼對象之圖像係經幀內編碼後之圖像時，可逆解碼電路12將儲存於該圖像之標頭內之幀內預測模式資訊輸出至幀內預測電路22。幀內預測模式資訊中，含有成為處理單位之區塊之尺寸等的與幀內預測相關之資訊。
當判斷為成為解碼對象之圖像係經幀間編碼後之資訊時，可逆解碼電路12將儲存於該圖像之標頭內之運動向量與識別旗標輸出至運動預測‧補償電路21。根據識別旗標來識別由幀間預測生成預測圖像時之預測之模式。識別旗標例如係以巨集區塊為單位、以幀為單位而設定。
作為預測之模式，除圖1之單向預測之模式、圖2之雙向預測之模式以外，另準備有第3預測模式，其係對自於時間上處於單方向或雙方向之複數之參照幀中擷取出的運動補償圖像進行濾波以生成預測圖像。
圖6係表示第3預測模式之概念之示圖。
於圖6之例中，將以目前幀(預測幀)之時刻為基準之時間上為1個時刻前之幀作為參照幀R0，將在參照幀R0之1個時刻前之幀作為參照幀R1。此時，根據第3預測模式，自參照幀R0、R1中擷取出之運動補償圖像MC0、MC1被輸入至濾波電路，將自濾波電路輸出之圖像之像素值作為對象之巨集區塊即預測圖像的像素值。
圖7係表示於第3預測模式中輸入不同圖像時之概念之示圖。
於圖7之例中，將以目前幀(預測幀)之時刻為基準之時間上為1個時刻前之幀作為參照幀R0。此時，為了第3預測模式而將自參照幀R0中擷取出之運動補償圖像MC0、與自處於目前幀之當前區塊周邊之編碼完畢圖像所生成之幀內預測圖像IP輸入至濾波電路，將自濾波電路輸出之圖像之像素值作為對象之巨集區塊即預測圖像的像素值。
以下，如參照圖1所說明，將以自處於單方向之複數之參照幀中擷取出的運動補償圖像中之任一運動補償圖像之像素值作為預測圖像之像素值的預測之模式僅稱作單向預測模式。又，如參照圖2所說明，將以自處於雙方向之複數之參照幀中分別擷取出的運動補償圖像之像素值之平均值作為預測圖像之像素值的預測之模式僅稱作雙向預測模式。
將對自處於單方向或雙方向之複數之參照幀中擷取出的各運動補償圖像進行濾波而求出預測圖像之像素值的如圖6所示之第3預測模式，稱作濾波預測模式。
同樣地，除自1個或複數之參照幀中擷取出的各運動補償圖像之外，對藉由進行幀內預測而自目前幀之編碼完畢圖像中擷取出的幀內預測圖像進行濾波而求出預測圖像之像素值的如圖7所示之第3預測模式，亦同樣稱作濾波預測模式。該濾波預測模式將於之後詳細描述。
返回至圖5之說明，反量化電路13係以與編碼側之量化方式對應之方式來對由可逆解碼電路12所供給之量化後之狀態之轉換係數進行反量化。反量化電路13將進行反量化所獲得之轉換係數輸出至逆正交轉換電路14。
逆正交轉換電路14以與離散餘弦變換、K-L轉換等之編碼側之正交轉換方式對應之方式來對由反量化電路13所供給之轉換係數實施例如4次逆正交轉換，並將所得之圖像輸出至加法電路15。
加法電路15將由逆正交轉換電路14所供給之解碼圖像與自運動預測‧補償電路21或幀內預測電路22經由開關23所供給之預測圖像加以合成，並將合成圖像輸出至去塊濾波器16。
去塊濾波器16去除由加法電路15供給之圖像中所包含之區塊失真，並輸出已去除區塊失真後之圖像。由去塊濾波器16輸出之圖像被供給至排序緩衝器17與幀記憶體19。
排序緩衝器17暫時記憶由去塊濾波器16所供給之圖像。排序緩衝器17係由所記憶之例如以巨集區塊為單位之圖像而生成各幀，並將所生成之幀按顯示順序等之特定之順序進行排序而輸出至D/A(Digital/Analog，數位/類比)轉換電路18。
D/A轉換電路18對由排序緩衝器17所供給之各幀實施D/A轉換，並將各幀之信號輸出至外部。
幀記憶體19暫時記憶由去塊濾波器16所供給之圖像。記憶於幀記憶體19內之資訊經由開關20而被供給至運動預測‧補償電路21或幀內預測電路22。
當藉由幀間預測而生成預測圖像時，開關20連接於端子a1，當藉由幀內預測而生成預測圖像時，開關20連接於端子b1。開關20之切換例如係由控制電路31所控制。
運動預測‧補償電路21根據由可逆解碼電路12所供給之識別旗標來決定預測模式，並從記憶於幀記憶體19內之解碼完結之幀中，根據預測模式來選擇用作參照幀之幀。運動預測‧補償電路21從構成參照幀之巨集區塊中，根據由可逆解碼電路12所供給之運動向量來決定與作為對象之預測圖像對應的巨集區塊，並將已決定之巨集區塊作為運動補償圖像而擷取。運動預測‧補償電路21根據預測模式而由運動補償圖像之像素值來求出預測圖像之像素值，並將已求出像素值之預測圖像經由開關23而輸出至加法電路15。
幀內預測電路22根據由可逆解碼電路12所供給之幀內預測模式資訊而進行幀內預測，生成預測圖像。幀內預測電路22將所生成之預測圖像經由開關23而輸出至加法電路15。
當已由運動預測‧補償電路21而生成預測圖像時，開關23連接於端子a2，當已由幀內預測電路22而生成預測圖像時，開關23連接於端子b2。開關23之切換例如亦係由控制電路31所控制。
控制電路31對開關20、23之連接進行切換等以控制整個解碼裝置1之動作。處理對象之圖像為幀內編碼之圖像、抑或為幀間編碼之圖像之識別亦可藉由控制電路31而進行。
圖8係表示圖5之運動預測.補償電路21之構成例的方塊圖。
如圖8所示，運動預測.補償電路21係由預測模式決定電路41、單向預測電路42、雙向預測電路43、預測電路44、及濾波電路45所構成。由可逆解碼電路12所供給之運動向量與識別旗標被輸入至預測模式決定電路41。
預測模式決定電路41根據由可逆解碼電路12所供給之識別旗標來決定預測模式。於決定藉由單向預測來進行預測圖像之生成時，預測模式決定電路41將運動向量輸出至單向預測電路42，於決定藉由雙向預測來進行預測圖像之生成時，預測模式決定電路41將運動向量輸出至雙向預測電路43。又，於決定藉由濾波預測來進行預測圖像之生成時，預測模式決定電路41將運動向量輸出至預測電路44。
如此一來，可識別濾波預測，故可將以先前之H.264規格所規定之與表示單向預測之值、表示雙向預測之值所不同的值設定作為識別旗標之值。再者，為了削減資訊量，亦可藉由預先決定之方法來決定預測模式而不以識別旗標來決定預測模式。
如圖1所示，單向預測電路42係將於時間上處於單方向之複數之幀作為參照幀，根據運動向量來決定與預測圖像對應之參照幀之巨集區塊。又，單向預測電路42自幀記憶體19中讀出已決定之各個參照幀之巨集區塊作為運動補償圖像，並將任一運動補償圖像之像素值作為預測圖像之像素值，藉此生成預測圖像。單向預測電路42將預測圖像輸出至加法電路15。作為單向預測電路42之單向預測，可使用例如以H.264規格所規定之單向預測。
如圖2所示，雙向預測電路43係將於時間上處於雙方向之複數之幀作為參照幀，根據運動向量來決定與預測圖像對應之參照幀之巨集區塊。又，雙向預測電路43自幀記憶體19中讀出已決定之各個參照幀之巨集區塊作為運動補償圖像，並將所讀出之運動補償圖像之像素值之平均值作為預測圖像之像素值，藉此生成預測圖像。雙向預測電路43將預測圖像輸出至加法電路15。作為雙向預測電路43之雙向預測，可使用例如以H.264規格所規定之雙向預測。
預測電路44係將於時間上處於單方向或雙方向之複數之幀決定為參照幀。關於將哪幀作為參照幀，可預先決定，亦可藉由與識別旗標一同自編碼側傳送而來之資訊來指定。
圖9係表示參照幀之例之示圖。
於圖9之例中，將以預測幀之時刻為基準之時間上為1個時刻前及再1個時刻前之2片幀作為參照幀。2片參照幀中，將更接近預測幀之1個時刻前之幀作為參照幀R0，將參照幀R0之1個時刻前之幀作為參照幀R1。
圖10係表示參照幀之另一例之示圖。
於圖10之例中，將以預測幀之時刻為基準之時間上為1個時刻前與1個時刻後之2片幀作為參照幀。2片參照幀中，將預測幀之1個時刻前之幀作為參照幀L0，將1個時刻後之幀作為參照幀L1。
如此一來，於濾波預測中，將在時間上處於單方向之複數之幀、或處於雙方向之複數之幀用作參照幀。
又，預測電路44根據由預測模式決定電路41所供給之運動向量，來決定以圖9、圖10所示之方式而決定之參照幀中至少1片參照幀之解碼完畢之巨集區塊中的與預測圖像對應之巨集區塊。
進而，如參照圖7所說明，預測電路44於當前幀中進行例如H.264規格中之幀內預測。
預測電路44自幀記憶體19中讀出已決定之各個參照幀之巨集區塊作為幀內預測圖像，並將所讀出之幀內預測圖像輸出至濾波電路45。
亦即，預測電路44根據運動向量而自當前幀以外之參照幀中擷取出運動補償圖像，並且於當前幀中進行幀內預測，生成幀內預測圖像。
再者，運動向量亦能以將16×16像素等之巨集區塊進一步分割而成之區塊而非16×16像素等之區塊為單位來進行處理。對濾波電路45輸入例如以巨集區塊為單位之圖像。於圖8中，顯示2個箭頭作為自預測電路44向濾波電路45之箭頭，其表示供給有2個運動補償圖像。
濾波電路45將由預測電路44所供給之運動補償圖像輸入來進行濾波，並將藉由進行濾波所獲得之預測圖像輸出至加法電路15。
圖11係表示圖6之預測電路44之構成例的方塊圖。於圖11中，預測電路44包括運動補償電路51及幀內預測電路52。
運動補償電路51使用由預測模式決定電路41所供給之運動向量，於當前幀以外之參照幀中特定與預測圖像對應之巨集區塊。運動補償電路51自幀記憶體19中讀出已特定之巨集區塊之圖像，並作為運動補償圖像而擷取。運動補償電路51將擷取出之運動補償圖像MC0供給至濾波電路45。
幀內預測電路52於當前幀(目前幀)中，使用任意之方法進行幀內預測(intra預測)，其預測結果為生成與所需預測圖像對應之幀內預測圖像IP。於此，為了進行幀內預測而使用例如H.264之幀內4×4預測或幀內8×8預測或者幀內16×16預測。當使用該等幀內預測時，將在解碼器側用以規定預測方法唯一之控制資訊記述於串流中並傳送。幀內預測電路52將所生成之幀內預測圖像IP供給至濾波電路45。
圖12係表示濾波電路45之構成例的方塊圖。於具有圖12之構成之濾波電路45中，對時間區域之信號進行濾波。
如圖12所示，濾波電路45係由差分計算電路61、低通濾波電路62、增益調整電路63、高通濾波電路64、增益調整電路65、加法電路66、及加法電路67所構成。由預測電路44所供給之運動補償圖像MC0被輸入至差分計算電路61與加法電路67，運動補償圖像MC1被輸入至差分計算電路61。
如上所述，當藉由幀內預測而生成預測圖像時，例如將於當前幀中生成之圖像作為幀內預測圖像IP，將自當前幀以外之參照幀中擷取出之圖像作為運動補償圖像MC1。
再者，如圖9所示，當藉由單向預測而生成預測圖像時，例如將自認為與預測圖像之關聯更高之自參照幀R0中所擷取之圖像作為運動補償圖像MC0，將自參照幀R1中所擷取之圖像作為運動補償圖像MC1。亦可將自參照幀R0中所擷取之圖像作為運動補償圖像MC1，並將自參照幀R1中所擷取之圖像作為運動補償圖像MC0。
又，如圖10所示，當藉由雙向預測而生成預測圖像時，例如，將自1個時刻前之參照幀L0中所擷取之圖像作為運動補償圖像MC0，將自1個時刻後之參照幀L1中所擷取之圖像作為運動補償圖像MC1。亦可將自參照幀L0中所擷取之圖像作為運動補償圖像MC1，並將自參照幀L1中所擷取之圖像作為運動補償圖像MC0。
該等運動補償圖像MC0可替換為圖12之幀內預測圖像IP，並與幀內預測圖像IP相同地進行處理。以下，說明幀內預測圖像IP。
差分計算電路61計算幀內預測圖像IP(運動補償圖像MC0)與運動補償圖像MC1之差分，並將差分圖像輸出至低通濾波電路62。差分圖像D係由下式(3)表示。
[數3]
D(i,j)=IP(i,j)-MC1 (i,j)　…(3)
於式(3)中，(i，j)表示運動補償圖像內之像素之相對位置，當以16×16像素之巨集區塊為單位進行處理時，0≦i≦16，0≦j≦16。以下相同。
低通濾波電路62包括FIR濾波電路。低通濾波電路62對由差分計算電路61所供給之差分圖像D進行低通濾波，並將所獲得之圖像輸出至增益調整電路63與高通濾波電路64。藉由進行低通濾波而獲得之圖像即差分圖像D'係由下式(4)表示。式(4)之LPF(X)係表示使用二維FIR濾波器來對輸入圖像X進行低通濾波。
[數4]
D' =LPF(D)　…(4)
增益調整電路63調整由低通濾波電路62所供給之差分圖像D'之增益，並將已調整增益後之圖像輸出至加法電路66。增益調整電路63之輸出圖像X(i，j)係由下式(5)表示。
[數5]
X(i,j)=αD' (i,j)　…(5)
高通濾波電路64包括FIR濾波電路。高通濾波電路64對由低通濾波電路62所供給之差分圖像D'進行高通濾波，並將所獲得之圖像輸出至增益調整電路65。藉由進行高通濾波而獲得之圖像即差分圖像D"係由下式(6)表示。式(6)之HPF(X)係表示使用二維FIR濾波器來對輸入圖像X進行高通濾波。
[數6]
D" =HPF(D' )　…(6)
增益調整電路65調整由高通濾波電路64所供給之差分圖像D"之增益，並將已調整增益後之圖像輸出至加法電路66。增益調整電路65之輸出圖像Y(i，j)係由下式(7)表示。
[數7]
Y(i,j)=βD" (i,j)　…(7)
作為式(5)之α及式(7)之β之值，選擇例如α=0.8、β=0.2之值，但為了提高預測像素之精度，亦可為除此以外之值。又，亦可根據輸入序列之性質等而適應性地變化。
加法電路66將已增益調整後之圖像X(i，j)與圖像Y(i，j)相加，並輸出相加所得之圖像。加法電路66之輸出圖像Z(i，j)係由下式(8)表示。
[數8]
Z(i,j)=X(i,j)+Y(i,j)　…(8)
輸出圖像Z(i，j)係表示運動補償圖像MC0與運動補償圖像MC1之差分，即由關聯而求出之圖像之高頻成分。
加法電路67對幀內預測圖像IP補充由加法電路66所供給之輸出圖像Z(i，j)，並將所獲得之圖像作為預測圖像而輸出至加法電路15。加法電路67之最終輸出即預測圖像S(i，j)係由下式(9)表示。
[數9]
S(i,j)=IP(i,j)+Z(i,j)　…(9)
如此一來，根據濾波預測模式，藉由對幀內預測圖像IP補充表示高頻成分之圖像而獲得之圖像係作為預測圖像而生成。該預測圖像與單純地進行雙向預測時所獲得之預測圖像相比，更多地含有高頻成分。又，與單純地進行單向預測時相比，可更有效地利用圖像之時間關聯而生成預測圖像。進而，將較多地含有高頻成分之預測圖像在加法電路15中與解碼圖像相加，故最終自解碼裝置1輸出之圖像亦成為較多地含有高頻成分之高精細者。
又，於預測圖像之生成中，在當前幀中進行幀內預測，並使所生成之幀內預測圖像IP與運動補償圖像MC1一同被利用，故可減少用於生成運動補償圖像之運動向量之數目。
如上所述，在利用本發明中之運動補償裝置來進行預測圖像之輸出後，以如先前之方式進行解碼而使圖像資訊復原。
如此一來，解碼裝置1可利用幀間預測之預測精度來補償幀內預測之預測精度之不足以實現編碼效率之提高，進而，可藉由減少幀間預測時必要之參照面之數目來實現處理成本之降低。
[解碼處理之流程之說明]
於此，對具有以上構成之解碼裝置1之處理加以說明。
首先，參照圖13之流程圖來說明解碼裝置1之解碼處理。
圖13之處理例如係於藉由可逆解碼電路12自記憶於蓄積緩衝器11內之資訊中已讀出16×16像素之巨集區塊等之特定尺寸的圖像時開始。圖13之各步驟之處理可適當地與其他步驟之處理並行，或者與其他步驟改變順序而進行。下述之各流程圖中之各步驟之處理亦相同。
於步驟S1中，可逆解碼電路12對自蓄積緩衝器11中所讀出之圖像進行解碼處理，將已量化之轉換係數輸出至反量化電路13。又，當解碼對象之圖像係幀內編碼之圖像時，可逆解碼電路12將幀內預測模式資訊輸出至幀內預測電路22，當解碼對象之圖像係幀間編碼之圖像時，可逆解碼電路12將運動向量與識別旗標輸出至運動預測‧補償電路21。
於步驟S2中，反量化電路13以與編碼側之量化方式對應之方式進行反量化，並將轉換係數輸出至逆正交轉換電路14。
於步驟S3中，逆正交轉換電路14對由反量化電路13所供給之轉換係數實施逆正交轉換，並將所得之圖像輸出至加法電路15。
於步驟S4中，加法電路15將由逆正交轉換電路14所供給之解碼圖像與由運動預測‧補償電路21或幀內預測電路22所供給之預測圖像加以合成，並將合成圖像輸出至去塊濾波器16。
於步驟S5中，去塊濾波器16藉由實施濾波而去除合成圖像中所含之區塊失真，並輸出已去除區塊失真後之圖像。
於步驟S6中，幀記憶體19暫時記憶由去塊濾波器16所供給之圖像。
於步驟S7中，控制電路31判定對象之圖像是否為幀內編碼之圖像。
當於步驟S7中判定為幀內編碼之圖像時，於步驟S8中，幀內預測電路22藉由進行幀內預測而生成預測圖像，並將所生成之預測圖像輸出至加法電路15。
另一方面，當於步驟S7中判定為非幀內編碼之圖像、即為幀間編碼之圖像時，於步驟S9中，藉由運動預測‧補償電路21而進行運動預測‧補償處理。經進行運動預測‧補償處理而生成之預測圖像被輸出至加法電路15。關於運動預測‧補償處理，將參照圖14之流程圖於以下描述。
於步驟S10中，控制電路31判定是否已對整個1幀之巨集區塊進行了以上之處理，當判定為未進行處理時，注視其他的巨集區塊，反覆執行步驟S1之後的處理。
另一方面，當於步驟S10中判定為已對整個1幀之巨集區塊進行了處理時，於步驟S11中，排序緩衝器17根據控制電路31之控制而將所生成之幀輸出至D/A轉換電路18。
於步驟S12中，D/A轉換電路18對由排序緩衝器17所供給之幀實施D/A轉換，並將類比信號輸出至外部。以上之處理係以各幀為對象而進行。
其次，參照圖14之流程圖來說明於圖13之步驟S9中進行之運動預測‧補償處理。
於步驟S31中，運動預測‧補償電路21之預測模式決定電路41判定由可逆解碼電路12所供給之識別旗標是否表示以濾波預測模式來進行處理。
當於步驟S31中判定為表示以濾波預測模式來進行處理時，處理進入至步驟S32。於步驟S32中，預測電路44進行擷取運動補償圖像之擷取處理、及生成幀內預測圖像之生成處理。該擷取處理及生成處理之詳情將於以下描述。
在擷取運動補償圖像並生成幀內預測圖像後，於步驟S33中，濾波電路45進行濾波預測處理。該濾波預測處理之詳情將於以下描述。
在步驟S33之處理結束後，運動預測‧補償處理結束，處理返回至圖11之步驟S9，並進入至步驟S10。
又，於步驟S31中，當判定為不表示以濾波預測模式來進行處理時，處理進入至步驟S32。於步驟S32中，由單向預測電路42進行單向預測、或者由雙向預測電路43進行雙向預測，生成預測圖像。
亦即，當識別旗標表示以單向預測模式來進行處理時，自預測模式決定電路41對單向預測電路42供給運動向量，於單向預測電路42中進行單向預測。又，當識別旗標表示以雙向預測模式來進行處理時，自預測模式決定電路41對雙向預測電路43供給運動向量，於雙向預測電路43中進行雙向預測。於預測圖像被輸入至加法電路15之後，運動預測‧補償處理結束，處理返回至圖13之步驟S9，並進入步驟S10。
其次，參照圖15之流程圖，說明於圖14的步驟S32中所執行之擷取處理之流程之例。
在擷取處理開始後，於步驟S51中，預測電路44之變數i=1。於步驟S52中，運動補償電路51自第i個參照幀、即自參照面i進行運動補償，擷取運動補償圖像MC[i]。於步驟S53中，運動補償電路51將運動補償圖像MC[i]輸出至濾波電路45。
於步驟S54中，預測電路44判定變數i之值是否為N以下。當判定變數i之值為特定之自然數N以下時，處理進入至步驟S55。
於步驟S55中，運動補償電路51增加變數i。在步驟S55之處理結束後，處理返回至步驟S52，並反覆進行此後之處理。又，於步驟S54中，當判定變數i之值大於N時，處理進入至步驟S56。
於步驟S56中，幀內預測電路52判定是否進行幀內預測。當判定為進行幀內預測時，處理進入至步驟S57。於步驟S57中，幀內預測電路52於當前幀(目前幀)中進行幀內預測。於步驟S58中，幀內預測電路52將經幀內預測所生成之幀內預測圖像IP輸出至濾波電路45。
在步驟S58之處理結束後，擷取處理結束，處理返回至圖14之步驟S32，並進入步驟S33。又，於圖15之步驟S56中，當判定為不進行幀內預測時，擷取處理結束，處理返回至圖14之步驟S32，並進入步驟S33。
其次，參照圖16之流程圖，說明於圖14之步驟S33中執行的濾波預測處理之流程之例。
在擷取運動補償圖像而生成幀內預測圖像並開始濾波處理後，於步驟S71中，濾波電路45之差分計算電路61計算運動補償圖像與幀內預測圖像之差分，並將差分圖像輸出至低通濾波電路62。
於步驟S72中，低通濾波電路62對由差分計算電路61所供給之差分圖像進行低通濾波，並將所得之圖像輸出至增益調整電路63與高通濾波電路64。
於步驟S73中，增益調整電路63調整由低通濾波電路62所供給之圖像之增益，並將已調整增益後之圖像輸出至加法電路66。
於步驟S74中，高通濾波電路64對由低通濾波電路62所供給之差分圖像進行高通濾波，並將所得之圖像輸出至增益調整電路65。
於步驟S75中，增益調整電路65調整由高通濾波電路64所供給之差分圖像之增益，並將已調整增益後之圖像輸出至加法電路66。
於步驟S76中，加法電路66將由增益調整電路63所供給之圖像(低通濾波之輸出)與由增益調整電路65所供給之圖像(高通濾波之輸出)相加而求出圖像之高頻成分。所求出之高頻成分自加法電路66而供給至加法電路67。
於步驟S77中，加法電路67對幀內預測圖像補充由加法電路66所供給之圖像(高頻成分)，並將所得之圖像作為預測圖像而輸出至加法電路15。再者，加法電路67亦可取代幀內預測圖像而對運動補償圖像補充由加法電路66所供給之圖像(高頻成分)。
於步驟S78中，濾波電路45判定是否已對所有的運動補償圖像及幀內預測圖像進行了處理。當判定為存在有未處理之運動補償圖像或幀內預測圖像時，處理返回至步驟S71，並反覆進行此後之處理。
又，於步驟S78中，當判定為已對所有的運動補償圖像及幀內預測圖像進行了處理時，濾波預測處理結束，處理返回至圖12之步驟S33，運動預測.補償處理結束，返回至圖11之步驟S9，並進入步驟S10。
如上所述，使用經濾波預測所生成之預測圖像來進行解碼，藉此可利用幀間預測之預測精度來補償幀內預測之預測精度之不足，因此可獲得高精細之解碼圖像。又，此時，在預測圖像之計算中使用至少1個幀內預測圖像，藉此可使編碼之運動向量之量減少，從而可實現處理成本之降低(抑制負載增大)。亦即，解碼裝置1可由較少之控制資訊而生成精度高的預測圖像。
<2.第2實施形態>
[編碼裝置之構成]
其次，說明編碼側之裝置之構成與動作。
圖17係表示編碼裝置101之構成例的方塊圖。將藉由編碼裝置101編碼而獲得之壓縮圖像資訊輸入至圖5之解碼裝置1。
A/D轉換電路111對輸入信號實施A/D轉換，並將圖像輸出至排序緩衝器112。
排序緩衝器112對應於壓縮圖像資訊之GOP(Group of Pictures，圖像群組)結構而進行幀之排序，並輸出巨集區塊等特定之單位之圖像。自排序緩衝器112所輸出之圖像被供給至加法電路113、模式決定電路123、運動預測‧補償電路125、及幀內預測電路126。
加法電路113求出由排序緩衝器112所供給之圖像、與由運動預測‧補償電路125或幀內預測電路126所生成且經由開關127所供給之預測圖像之差，並將殘差輸出至正交轉換電路114。在預測圖像接近原圖像而使此處求出之殘差越少的情況下，則按殘差所分配之編碼量可越少，因此可謂編碼效率越高。
正交轉換電路114對由加法電路113所供給之殘差實施離散餘弦變換、K-L轉換等之正交轉換，並將經實施正交轉換所獲得之轉換係數輸出至量化電路115。
量化電路115隨著速率控制電路118之控制而對由正交轉換電路114所供給之轉換係數進行量化，並輸出量化後之轉換係數。經量化電路115量化後之轉換係數被供給至可逆編碼電路116與反量化電路119。
可逆編碼電路116藉由實施可變長度編碼、算術編碼等之可逆編碼而壓縮由量化電路115所供給之轉換係數，並將資訊輸出至蓄積緩衝器117。
又，可逆編碼電路116按照由模式決定電路123所供給之資訊而設定識別旗標之值，並於圖像之標頭中記述識別旗標。根據由可逆編碼電路116所記述之識別旗標，如上所述於解碼裝置1中決定預測模式。
可逆編碼電路116亦將由運動預測‧補償電路125或者由幀內預測電路126所供給之資訊記述於圖像之標頭。自運動預測‧補償電路125而供給在進行幀間預測時檢測到的運動向量等，自幀內預測電路126而供給與所適用之幀內預測模式相關之資訊。
蓄積緩衝器117暫時記憶由可逆編碼電路116所供給之資訊，並以特定之時序輸出作為壓縮圖像資訊。蓄積緩衝器117將產生編碼量之資訊輸出至速率控制電路118。
速率控制電路118根據由蓄積緩衝器117所輸出之編碼量來計算量化尺度，並以根據所計算之量化尺度來進行量化之方式而控制量化電路115。
反量化電路119對已藉由量化電路115而量化後之轉換係數實施反量化，並將轉換係數輸出至逆正交轉換電路120。
逆正交轉換電路120對由反量化電路119所供給之轉換係數實施逆正交轉換，並將所獲得之圖像輸出至去塊濾波器121。
去塊濾波器121去除已局部地解碼後之圖像中所出現之區塊失真，並將已去除區塊失真後之圖像輸出至幀記憶體122。
幀記憶體122記憶由去塊濾波器121所供給之圖像。記憶於幀記憶體122內之圖像藉由模式決定電路123而被適當地讀出。
模式決定電路123根據記憶於幀記憶體122內之圖像與由排序緩衝器112所供給之原圖像，來決定進行幀內編碼抑或進行幀間編碼。又，於決定進行幀間編碼時，模式決定電路123決定單向預測模式、雙向預測模式、濾波預測模式中之任一種模式。模式決定電路123將表示決定結果之資訊作為模式資訊而輸出至可逆編碼電路116。
於決定進行幀間編碼時，模式決定電路123將記憶於幀記憶體122內之經局部地解碼所獲得之幀經由開關124而輸出至運動預測‧補償電路125。
又，於決定進行幀內編碼時，模式決定電路123將記憶於幀記憶體122內之經局部地解碼所獲得之幀輸出至幀內預測電路126。
於進行幀間編碼時，開關124連接於端子a11，於進行幀內編碼時，開關124連接於端子b11。開關124之切換例如係由控制電路131所控制。
運動預測‧補償電路125根據由排序緩衝器112所供給之原圖像、與自幀記憶體122所讀出之參照幀來檢測運動向量，並將檢測到的運動向量輸出至可逆編碼電路116。
又，運動預測‧補償電路125使用所檢測到的運動向量與參照幀來進行運動補償，藉此生成預測圖像，並將所生成之預測圖像經由開關127而輸出至加法電路113。
幀內預測電路126根據由排序緩衝器112所供給之原圖像、與經局部地解碼後記憶於幀記憶體122內之參照幀來進行幀內預測，生成預測圖像。幀內預測電路126將所生成之預測圖像經由開關127而輸出至加法電路113，並將幀內預測模式資訊輸出至可逆編碼電路116。
開關127連接於端子a12或端子b12，將藉由運動預測‧補償電路125或幀內預測電路126所生成之預測圖像輸出至加法電路113。
控制電路131根據由模式決定電路123所決定之模式來切換開關124、127之連接等，以控制編碼裝置101之所有的動作。
圖18係表示圖17之模式決定電路123之構成例的方塊圖。
如圖18所示，模式決定電路123係由幀內預測電路141、幀間預測電路142、預測誤差計算電路143、及決定電路144所構成。於模式決定電路123中，分別以不同大小之區塊為對象而進行幀內預測、幀間預測，並根據其結果來決定以何種預測模式進行預測。就幀間預測而言，可進行單向預測模式、雙向預測模式、及濾波預測模式之各個預測模式下的處理。由排序緩衝器112所供給之原圖像被輸入至幀內預測電路141、幀間預測電路142、及預測誤差計算電路143。
幀內預測電路141根據原圖像與自幀記憶體122中所讀出之圖像，分別以不同尺寸之區塊為單位來進行幀內預測，並將所生成之幀內預測圖像輸出至預測誤差計算電路143。於4×4預測電路151-1中，以4×4像素之區塊為單位來進行幀內預測，於8×8預測電路151-2中，以8×8像素之區塊為單位來進行幀內預測。於16×16預測電路151-3中，以16×16像素之區塊為單位來進行幀內預測。幀內預測電路141之各電路亦將所生成之幀內預測圖像供給至濾波電路164。
幀間預測電路142之預測電路161根據原圖像與自幀記憶體122中所讀出之參照幀，分別以不同尺寸之區塊為單位來檢測運動向量。又，預測電路161根據所檢測到的運動向量來進行運動補償，並輸出用於生成預測圖像之運動補償圖像。
於16×16預測電路161-1中，將以16×16像素之區塊為單位之圖像作為對象而進行處理，於16×8預測電路161-2中，將以16×8像素之區塊為單位之圖像作為對象而進行處理。又，於4×4預測電路161-(n-1)中，將以4×4像素之區塊為單位之圖像作為對象而進行處理。於跳躍/直接(skip/direct)預測電路161-n中，以跳躍預測模式、直接預測模式來檢測運動向量，並使用所檢測到的運動向量來進行運動補償。
將以目前幀為基準而自處於單方向之複數之參照幀中擷取出的運動補償圖像由預測電路161之各電路而供給至單向預測電路162。又，將以目前幀為基準而自處於雙方向之複數之參照幀中擷取出的運動補償圖像由預測電路161之各電路而供給至雙向預測電路163。
當濾波預測係如上所述使用自處於單方向之複數之參照幀中擷取出的運動補償圖像來進行時，自預測電路161之各電路來對濾波電路164供給自處於單方向之參照幀中所擷取之運動補償圖像。當濾波預測係使用自處於雙方向之複數之參照幀中擷取出的運動補償圖像來進行時，自預測電路161之各電路來對濾波電路164供給自處於雙方向之參照幀中所擷取之運動補償圖像。
單向預測電路162藉由使用由預測電路161之各電路所供給之尺寸各不相同之運動補償圖像來進行單向預測而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。例如，單向預測電路162藉由將由預測電路161-1所供給之16×16像素之複數個運動補償圖像中的任一圖像之像素值作為預測圖像之像素值而生成預測圖像。
雙向預測電路163藉由使用由預測電路161之各電路所供給之尺寸各不相同之運動補償圖像來進行雙向預測而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。例如，雙向預測電路163藉由將由預測電路161-1所供給之16×16像素之複數個運動補償圖像的像素值之平均值作為預測圖像之像素值而生成預測圖像。
濾波電路164係使用由預測電路161之各電路所供給之尺寸各不相同之運動補償圖像、與由幀內預測電路141之各電路所供給之尺寸各不相同之幀內預測圖像來進行濾波預測，藉此生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。濾波電路164對應於解碼裝置1之濾波電路45而具有與圖12所示之構成相同的構成。
例如，在將由預測電路161-1所供給之16×16像素之運動補償圖像、與由預測電路151-3所供給之16×16像素之幀內預測圖像作為對象而生成預測圖像時，濾波電路164求出幀內預測圖像與運動補償圖像之差分，並對所求出之差分圖像進行低通濾波。又，濾波電路164對低通濾波之輸出進行高通濾波，並將該輸出之增益經調整後的圖像、與低通濾波之輸出之增益經調整後的圖像相加。濾波電路164將表示高頻成分之相加結果之圖像與幀內預測圖像相加而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。
預測誤差計算電路143針對由幀內預測電路141之各電路所供給之各個預測圖像而求出與原圖像之差，並將表示所求出之差的殘差信號輸出至決定電路144。又，預測誤差計算電路143針對由幀間預測電路142之單向預測電路162、雙向預測電路163、濾波電路164所供給之各個預測圖像而求出與原圖像之差，並將表示所求出之差的殘差信號輸出至決定電路144。
決定電路144測定由預測誤差計算電路143所供給之殘差信號之強度，並決定與原圖像之差較少的預測圖像之生成中所使用之預測方法，將其作為用以生成編碼中所使用之預測圖像的預測方法。決定電路144將表示決定結果之資訊作為模式資訊而輸出至可逆編碼電路116。於模式資訊中，亦包含有表示將哪種尺寸之區塊作為處理之單位的資訊等。
又，決定電路144於已決定藉由幀間預測而生成預測圖像時(於已決定進行幀間編碼時)，將自幀記憶體122中所讀出之參照幀與模式資訊一同輸出至運動預測‧補償電路125。決定電路144於已決定藉由幀內預測而生成預測圖像時(於已決定進行幀內編碼時)，將自幀記憶體122中所讀出之用於幀內預測之圖像與模式資訊一同輸出至幀內預測電路126。
圖19係表示圖17之運動預測‧補償電路125之構成例的方塊圖。
如圖19所示，運動預測‧補償電路125係由運動向量檢測電路181、單向預測電路182、雙向預測電路183、預測電路184、及濾波電路185所構成。除設置有運動向量檢測電路181以取代預測模式決定電路41該點以外，運動預測‧補償電路125具有與圖8所示之運動預測‧補償電路21相同之構成。
運動向量檢測電路181根據由排序緩衝器112所供給之原圖像、與由模式決定電路123所供給之參照幀而進行區塊匹配等，藉此來檢測運動向量。運動向量檢測電路181參照由模式決定電路123所供給之模式資訊，將運動向量與參照幀一同輸出至單向預測電路182、雙向預測電路183、預測電路184之任一者中。
當選擇單向預測時，運動向量檢測電路181將運動向量與參照幀一同輸出至單向預測電路182，當選擇進行雙向預測時，運動向量檢測電路181將其等資訊輸出至雙向預測電路183。當選擇進行濾波預測時，運動向量檢測電路181將運動向量與參照幀一同輸出至預測電路184。
與圖8之單向預測電路42同樣地，單向預測電路182藉由進行單向預測而生成預測圖像。單向預測電路182將所生成之預測圖像輸出至加法電路113。
與圖8之雙向預測電路43同樣地，雙向預測電路183藉由進行雙向預測而生成預測圖像。雙向預測電路183將所生成之預測圖像輸出至加法電路113。
與圖8之預測電路44同樣地，預測電路184自2片等之複數之參照幀中分別擷取運動補償圖像，並將所擷取之複數之運動補償圖像輸出至濾波電路185。
與圖8之濾波電路45同樣地，濾波電路185藉由進行濾波預測而生成預測圖像。濾波電路185將所生成之預測圖像輸出至加法電路113。再者，濾波電路185具有與圖12所示之濾波電路45之構成相同的構成。以下，適當地引用圖12所示之濾波電路45之構成來作為濾波電路185之構成進行說明。
藉由濾波預測所生成之預測圖像與以單向預測、雙向預測所生成之預測圖像相比，較多地含有高頻成分而成為與原圖像之差較少的圖像。因此，按殘差所分配之編碼量可較少，故可提高編碼效率。
又，在參照幀之數目至少為2片時可進行濾波預測，因此可不使處理變得複雜便能實現上述之編碼效率之提高。例如，使幀間預測中所使用之參照幀之數目較多以生成精度高的預測圖像，並使用該精度高的預測圖像，藉此亦可減小與原圖像之殘差而提高編碼效率，但此時因參照幀之數目變多而會導致處理變得複雜。
再者，於選擇預測方法時，亦可考慮預測時必要之運動向量及編碼模式等資訊之編碼量而將與編碼量相應之權重附加於殘差信號之強度以選擇最佳的預測方法。藉此，可更進一步改善編碼效率。又，為了簡化編碼處理，亦可利用所輸入之原圖像之時間‧空間方向之特徵量而適應性地選擇預測方法。
[編碼處理之流程之說明]
其次，對具有如上所述之構成之編碼裝置101之處理加以說明。
參照圖20之流程圖來說明編碼裝置101之編碼處理。該處理係於巨集區塊等特定之單位之圖像自排序緩衝器112中輸出時開始。
於步驟S101中，加法電路113求出由排序緩衝器112所供給之圖像、與藉由運動預測.補償電路125或幀內預測電路126所生成之預測圖像之差，並將殘差輸出至正交轉換電路114。
於步驟S102中，正交轉換電路114對由加法電路113所供給之殘差實施正交轉換，並將轉換係數輸出至量化電路115。
於步驟S103中，量化電路115對由正交轉換電路114所供給之轉換係數進行量化，並輸出已量化之轉換係數。
於步驟S104中，反量化電路119對已藉由量化電路115而量化後之轉換係數實施反量化，並將轉換係數輸出至逆正交轉換電路120。
於步驟S105中，逆正交轉換電路120對由反量化電路119所供給之轉換係數實施逆正交轉換，並將所得之圖像輸出至去塊濾波器121。
於步驟S106中，去塊濾波器121藉由進行濾波而去除區塊失真，並將已去除區塊失真後之圖像輸出至幀記憶體122。
於步驟S107中，幀記憶體122記憶由去塊濾波器121所供給之圖像。
於步驟S108中，由模式決定電路123而進行模式決定處理。藉由模式決定處理，可決定以何種預測模式而生成預測圖像。關於模式決定處理，將於以下描述。
於步驟S109中，控制電路131根據模式決定電路123之決定來判定是否進行幀內預測。
當於步驟S109中判定為進行幀內預測時，於步驟S110中，幀內預測電路126進行幀內預測，並將預測圖像輸出至加法電路113。
另一方面，若步驟S109中判定為不進行幀內預測、即進行幀間預測時，於步驟S111中，藉由運動預測‧補償電路125而進行運動預測‧補償處理，並將預測圖像輸出至加法電路113。關於運動預測‧補償處理，將於以下描述。
於步驟S112中，可逆編碼電路116將由量化電路115所供給之轉換係數壓縮並輸出至蓄積緩衝器117。又，可逆編碼電路116根據由模式決定電路123所供給之資訊而將識別旗標記述於圖像之標頭中，或者將由運動預測‧補償電路125所供給之運動向量記述於圖像之標頭中。
於步驟S113中，蓄積緩衝器117暫時記憶由可逆編碼電路116所供給之資訊。
於步驟S114中，控制電路131判定是否已對整個1幀之巨集區塊進行了以上之處理，當判定為未進行處理時，注視其他的巨集區塊，反覆進行步驟S111之後的處理。
另一方面，當於步驟S114中判定為已對整個1幀之巨集區塊進行了處理時，於步驟S115中，蓄積緩衝器117根據控制電路131之控制而輸出壓縮圖像資訊。以上之處理係以各幀為對象而進行。
其次，參照圖21之流程圖來說明於圖20之步驟S108中所執行的模式決定處理。
於步驟S131中，幀內預測電路141、幀間預測電路142分別以不同大小之區塊為對象而進行幀內預測、幀間預測，生成預測圖像。所生成之預測圖像被供給至預測誤差計算電路143。
於步驟S132中，預測誤差計算電路143針對由幀內預測電路141之各電路、幀間預測電路142之單向預測電路162、雙向預測電路163、及濾波電路164所供給之各個預測圖像而求出與原圖像之差。預測誤差計算電路143將殘差信號輸出至決定電路144。
於步驟S133中，決定電路144根據由預測誤差計算電路143所供給之殘差信號之強度來決定用以生成供給至加法電路113之預測圖像的預測方法。
於步驟S134中，決定電路144將與所決定之預測方法相關之資訊即模式資訊輸出至可逆編碼電路116。其後，返回至圖20之步驟S108，執行此後之處理。
其次，參照圖22之流程圖來說明於圖20之步驟S111中所進行之運動預測‧補償處理。
於步驟S151中，運動向量檢測電路181根據原圖像與參照幀來檢測運動向量。
於步驟S152中，運動向量檢測電路181判定模式決定電路123是否已決定利用濾波預測模式來進行處理。
當判定為已決定利用濾波預測模式來進行處理時，處理進入至步驟S153。步驟S153及步驟S154之各處理係分別與圖14之步驟S32及步驟S33之情形同樣地執行。亦即，於步驟S153中，擷取處理係以參照圖15之流程圖所說明之方式而執行，於步驟S154中，濾波預測處理係以參照圖16之流程圖所說明之方式而執行。
在步驟S154之處理結束後，運動預測‧補償處理結束，處理返回至圖20之步驟S111，並進入步驟S112。
又，於圖22之步驟S152中，當判定為未決定利用濾波預測模式來進行處理時，處理進入至步驟S155。於步驟S155中，單向預測電路182或雙向預測電路183進行單向預測或雙向預測，生成預測圖像。
亦即，當已決定利用單向預測模式來進行處理時，自運動向量檢測電路181對單向預測電路182供給運動向量，於單向預測電路182中進行單向預測。又，當已決定利用雙向預測模式來進行處理時，自運動向量檢測電路181對雙向預測電路183供給運動向量，於雙向預測電路183中進行雙向預測。將預測圖像輸出至加法電路113，在圖22之步驟S155之處理結束後，運動預測.補償處理結束，處理返回至圖20之步驟S111，並進入步驟S112。
如上所述，使用藉由濾波預測所生成之預測圖像來進行編碼，藉此可提高編碼效率。尤其對於編碼裝置101，可利用幀間預測之預測精度來補償幀內預測之預測精度之不足藉以提高編碼效率。進而，可減少幀間預測所必要之參照幀之數目，故可實現處理成本之降低。
<3.第3實施形態>
[濾波電路之變形例]
以上，濾波電路45、185具有如圖12所示之構成，但該構成可適當地變更。
圖23係表示濾波電路45之另一構成例的方塊圖。對與圖12所示之構成對應的構成附上相同之符號，適當省略重複之說明。
圖23之差分計算電路61計算幀內預測圖像與運動補償圖像之差分，並將差分圖像輸出至低通濾波電路62。
低通濾波電路62對由差分計算電路61所供給之差分圖像進行低通濾波，並將所得之圖像輸出至加法電路67。
加法電路67對幀內預測圖像補充由低通濾波電路62所供給之圖像，並將所得之圖像作為預測圖像而輸出。
與使用圖12之構成之情形相比，藉由使用如圖23所示之構成而可減少處理量，從而可實現高速之動作。
圖24係表示濾波電路45之此外另一構成例的方塊圖。對與圖12所示之構成對應的構成附上相同之符號，適當省略重複之說明。
於圖24之濾波電路45中，以頻率區域之信號而非時間區域之信號為對象來進行濾波。圖12、圖23所示之濾波電路45均係對時間區域之信號進行濾波者。
圖24之差分計算電路61計算幀內預測圖像與運動補償圖像之差分，並將差分圖像輸出至正交轉換電路201。
正交轉換電路201對差分圖像進行DCT(Discrete Cosine Transform，離散餘弦變換)、Hadamard變換(Hadamard Transformation，哈達馬德變換)、KLT(Karhunen Loeve Transformation，卡氏轉換)所代表之正交變換，並將正交轉換後之信號輸出至帶通濾波電路202。與對時間區域之信號進行濾波之情形相比，進行正交轉換來對頻率區域之信號進行濾波，藉此能更靈活地進行精度高的濾波處理。
當使用DCT來作為正交轉換時，正交轉換後之輸出DF由下式(10)表示。式(10)之DCT(X)表示對信號X進行二維DCT處理。
[數10]
DF=DCT(D)　…(10)
帶通濾波電路202對正交轉換電路201之輸出進行濾波，並輸出特定頻帶之信號。
增益調整電路203將帶通濾波電路202之輸出之增益調整至α倍，並且進行頻率成分之調整。增益調整電路203之輸出XF係由下式(11)表示。式(11)之BPF(X)表示對信號X進行帶通濾波處理。
[數11]
XF=α‧BPF(DF)　…(11)
逆正交轉換電路204以與正交轉換電路201之正交轉換對應之方式來進行逆正交轉換，並將由增益調整電路203所供給之頻率區域之信號轉換為時間區域之信號。例如，當於正交轉換電路201中使用DCT來作為正交轉換時，於逆正交轉換電路204中進行IDCT(Inverse　Discrete　Cosine Transformation，離散餘弦反變換)。逆正交轉換電路204之輸出X係由下式(12)表示。式(12)之IDCT(X)表示對信號X進行二維IDCT處理。
[數12]
X=IDCT(XF)　…(12)
加法電路67於時間區域中對幀內預測圖像補充由逆正交轉換電路204所供給之信號X，並將所得之圖像作為預測圖像而輸出。加法電路67之最終輸出即預測圖像S(i，j)係由下式(13)表示。
[數13]
S(i,j)=MC0 (i,j)+X(i,j)　…(13)
如此一來，藉由對頻率區域之信號進行濾波亦可生成精度高的預測圖像。
又，以上係使用2片參照幀來進行濾波預測者，但亦可將2片以上之片數之幀用作參照幀。
圖25係表示使用3片參照幀時之例之示圖。
於圖25之例中，以預測幀之時刻為基準，將時間上於1個時刻前、再1個時刻前、及進而又1個時刻前之3片幀作為參照幀。將更接近預測幀之1個時刻前之幀作為參照幀R0，將參照幀R0之1個時刻前之幀作為參照幀R1，將參照幀R1之1個時刻前之幀作為參照幀R2。
圖26係表示使用3片參照幀時之濾波電路之構成例的方塊圖。
如圖26所示，濾波電路211係由濾波電路221與濾波電路222所構成。濾波電路221與濾波電路222分別具有如圖12、圖23、圖24所示之構成。亦即，濾波電路211藉由級聯連接用於2輸入1輸出時之濾波電路45而作為3輸入1輸出之電路進行動作。
於此，說明將自參照幀R0中所擷取之運動補償圖像作為運動補償圖像MC0、將自參照幀R1中所擷取之運動補償圖像作為運動補償圖像MC1、並於當前幀中可獲得幀內預測圖像者。幀內預測圖像IP與運動補償圖像MC0被輸入至濾波電路221，運動補償圖像MC1被輸入至濾波電路222。
濾波電路221以參照圖12所說明之方式對幀內預測圖像IP與運動補償圖像MC0進行濾波，並將濾波之結果即中間輸出X輸出至濾波電路222。
濾波電路221以參照圖12所說明之方式對中間輸出X與運動補償圖像MC1進行濾波，並將濾波之結果作為預測圖像而輸出。
亦可將處理上述3片幀之濾波電路211代替濾波電路45而設置於圖5之解碼裝置1及圖17之編碼裝置101中。
再者，濾波電路221與濾波電路222不必具有相同之構成，如一者具有圖12所示之構成、另一者具有圖23所示之構成之類的各自之構成亦可不同。又，考慮濾波前後之輸入輸出特性，濾波器所用之參數亦可不同。
亦可將自位於前後之3片參照幀中所擷取出的運動補償圖像而非自時間上在一個方向上之參照幀中所擷取出的運動補償圖像作為對象，在濾波電路211中進行濾波。
再者，包括參照圖12所說明之情形，當以預測幀之時刻為基準而將位於前後之幀用作參照幀時，亦可與參照幀之時間方向或距離對應地來動態地變更濾波時之抽頭係數等參數。
自編碼裝置101對解碼裝置1進行之壓縮圖像資訊之傳送係經由光碟、磁碟、快閃記憶體等之記錄媒體、衛星廣播、電纜TV、網際網路、行動電話機網路等之各種媒體而進行。
上述一系列之處理可由硬體執行，亦可由軟體執行。當由軟體來執行上述一系列之處理時，將構成上述軟體之程式自程式記錄媒體安裝於併入到專用硬體之電腦中、或者藉由安裝各種程式而能實行各種功能之通用的個人電腦等中。
圖27係藉由程式而執行上述一系列處理之電腦300之硬體之構成例的方塊圖。
CPU(Central Processing Unit，中央處理單元)301、ROM(Read Only Memory，唯讀記憶體)302、RAM(Random Access Memory，隨機存取記憶體)303係經匯流排304而相互連接。
於匯流排304上，進而連接有輸入輸出介面310。於輸入輸出介面310上，連接有：包括鍵盤、鼠標、麥克風等之輸入部311；包括顯示器、揚聲器等之輸出部312；包括硬碟或非揮發性之記憶體等之記憶部313；包括網路介面等之通訊部314；及驅動光碟或半導體記憶體等可移動式媒體321之驅動器315。
在以上述方式所構成之電腦300中，CPU301例如將記憶於記憶部313中之程式經由輸入輸出介面310及匯流排304而載入至RAM303中並執行，藉此來進行上述一系列之處理。
CPU301所執行之程式係記錄於例如可移動式媒體321中，或者經由區域網路、網際網路、數位廣播等有線或無線之傳送媒體而提供，並被安裝於記憶部313中。
此外，電腦所執行之程式可為按本說明書中所說明之順序並以時間序列進行處理之程式，亦可為並列地或者以執行調用時等必要之時序進行處理之程式。
又，本說明書中，對記錄於記錄媒體中之程式進行記述之步驟當然包括按所記載之順序並以時間序列所執行之處理，而且亦包括即便未必以時間序列來處理亦會並列地或個別地執行之處理。
又，本說明書中，所謂系統，係指藉由複數個元件(裝置)所構成之裝置整體。
又，亦可將以上所說明之作為1個裝置(或處理部)之構成加以分割而構成為複數個裝置(或處理部)。相反地，亦可將以上所說明之作為複數個裝置(或處理部)之構成加以組合而構成為1個裝置(或處理部)。又，當然亦可對各裝置(或各處理部)之構成附加除上述以外之構成。進而，若系統全體之構成及動作實質上相同，則可於其他裝置(或其他處理部)之構成中包含某裝置(或處理部)之構成之一部分。亦即，本發明之實施形態並不限定於上述的實施形態，於不脫離本發明之主旨之範圍內可進行各種變更。
例如，上述的解碼裝置1或編碼裝置101可適用於任意之電子機器。以下說明其例。
圖28係表示使用有適用本發明之解碼裝置1之電視接收器之主要構成例的方塊圖。
圖28所示之電視接收器1000包括：地面波調諧器1013、視訊解碼器1015、影像信號處理電路1018、圖形生成電路1019、面板驅動電路1020、及顯示面板1021。
地面波調諧器1013係經由天線而接收地面類比廣播之廣播波信號，並進行解調而獲取影像信號，將其供給至視訊解碼器1015。視訊解碼器1015對由地面波調諧器1013所供給之影像信號實施解碼處理，並將所獲得之數位成分信號供給至影像信號處理電路1018。
影像信號處理電路1018對由視訊解碼器1015所供給之影像資料實施雜訊去除等特定之處理，並將所獲得之影像資料供給至圖形生成電路1019。
圖形生成電路1019生成顯示面板1021上所顯示之節目之影像資料、或者經由網路所供給之基於適用之處理的圖像資料等，並將所生成之影像資料或圖像資料供給至面板驅動電路1020。又，圖形生成電路1019亦適當地進行如下處理：生成用於顯示由使用者在項目之選擇等時所利用之畫面的影像資料(圖形)，並使其與節目的影像資料重疊，將以此獲得之影像資料供給至面板驅動電路1020。
面板驅動電路1020根據由圖形生成電路1019所供給之資料而驅動顯示面板1021，使節目之影像或上述之各種畫面顯示於顯示面板1021。
顯示面板1021包括LCD(Liquid Crystal Display，液晶顯示器)等，隨著面板驅動電路1020之控制而顯示節目之影像等。
又，電視接收器1000亦包括：音頻A/D(Analog/Digital)轉換電路1014、音頻信號處理電路1022、回波消除/音頻合成電路1023、音頻放大電路1024、及揚聲器1025。
地面波調諧器1013藉由對所接收到的傳送波信號進行解調，不僅獲取影像信號而且亦獲取音頻信號。地面波調諧器1013將所獲取之音頻信號供給至音頻A/D轉換電路1014。
音頻A/D轉換電路1014對由地面波調諧器1013所供給之音頻信號實施A/D轉換處理，將所獲得之數位音頻信號供給至音頻信號處理電路1022。
音頻信號處理電路1022對由音頻A/D轉換電路1014所供給之音頻資料實施雜訊去除等之特定之處理，並將所獲得之音頻資料供給至回波消除/音頻合成電路1023。
回波消除/音頻合成電路1023將由音頻信號處理電路1022所供給之音頻資料供給至音頻放大電路1024。
音頻放大電路1024對由回波消除/音頻合成電路1023所供給之音頻資料實施D/A轉換處理、放大處理，並於調整為特定之音量後，將音頻自揚聲器1025中輸出。
此外，電視接收器1000亦包括數位調諧器1016及MPEG解碼器1017。
數位調諧器1016經由天線而接收數位廣播(地面數位廣播、BS(Broadcasting Satellite，廣播衛星)/CS(Communications Satellite，通訊衛星)數位廣播)之廣播波信號，並進行解調，獲取MPEG-TS(Moving Picture Experts Group-Transport Stream，動態影像專家群-傳輸流)，將其供給至MPEG解碼器1017。
MPEG解碼器1017解除對由數位調諧器1016供給之MPEG-TS所施加的擾碼，並擷取出包含成為再生對象(視聽對象)之節目之資料的串流。MPEG解碼器1017對構成所擷取之串流之音頻封包進行解碼，將所獲得之音頻資料供給至音頻信號處理電路1022，並且對構成串流之影像封包進行解碼，將所獲得之影像資料供給至影像信號處理電路1018。又，MPEG解碼器1017將自MPEG-TS所擷取之EPG(Electronic Program Guide，電子節目表)資料經由未圖示之路徑而供給至CPU1032。
電視接收器1000使用上述解碼裝置1來作為如此對影像封包進行解碼之MPEG解碼器1017。此外，由廣播局等所發送之MPEG-TS藉由編碼裝置101而被編碼。
與解碼裝置1之情形相同，MPEG解碼器1017使用運動向量自幀(N-1)獲得運動預測圖像，並且藉由利用幀N之解碼完畢像素值的幀內預測而自幀N中獲得空間預測圖像。然後，MPEG解碼器1017對該2種圖像進行濾波處理而生成預測圖像。因此，MPEG解碼器1017可生成更接近原圖像之新的預測圖像。
與由視訊解碼器1015所供給之影像資料之情形相同，由MPEG解碼器1017所供給之影像資料在影像信號處理電路1018中被實施特定之處理，於圖形生成電路1019中，將所生成之影像資料等適當地重疊，並經由面板驅動電路1020而供給至顯示面板1021，顯示該圖像。
與由音頻A/D轉換電路1014所供給之音頻資料之情形相同，由MPEG解碼器1017所供給之音頻資料在音頻信號處理電路1022中被實施特定之處理，並經由回波消除/音頻合成電路1023而供給至音頻放大電路1024，實施D/A轉換處理及放大處理。其結果為，被調整成特定之音量之音頻自揚聲器1025中輸出。
又，電視接收器1000亦包括麥克風1026、及A/D轉換電路1027。
A/D轉換電路1027接收藉由設置於電視接收器1000上之作為音頻會話用者之麥克風1026所取入之使用者的音頻信號，並對接收到的音頻信號實施A/D轉換處理，將所獲得之數位音頻資料供給至回波消除/音頻合成電路1023。
在自A/D轉換電路1027而供給電視接收器1000之使用者(使用者A)之音頻資料時，回波消除/音頻合成電路1023以使用者A之音頻資料為對象而進行回波消除，使藉由與其他音頻資料合成等所獲得之音頻資料經由音頻放大電路1024而自揚聲器1025輸出。
進而，電視接收器1000亦包括：音頻編解碼器1028、內部匯流排1029、SDRAM(Synchronous Dynamic Random Access Memory，同步動態隨機存取記憶體)1030、快閃記憶體1031、CPU1032、USB(Universal Serial Bus，通用串列匯流排)介面(I/F，interface)1033、及網路介面1034。
A/D轉換電路1027接收藉由設置於電視接收器1000上之作為音頻會話用者之麥克風1026所取入之使用者的音頻信號，並對接收到的音頻信號實施A/D轉換處理，將所獲得之數位音頻資料供給至音頻編解碼器1028。
音頻編解碼器1028將由A/D轉換電路1027所供給之音頻資料轉換為用於經由網路進行發送之特定格式之資料，並經由內部匯流排1029而供給至網路介面1034。
網路介面1034係經由安裝於網路端子1035上之電纜而連接於網路。網路介面1034例如對連接於該網路之其他的裝置發送由音頻編解碼器1028所供給之音頻資料。又，網路介面1034例如經由網路端子1035而接收從經由網路而連接之其他的裝置所發送之音頻資料，並將其經由內部匯流排1029而供給至音頻編解碼器1028。
音頻編解碼器1028將由網路介面1034所供給之音頻資料轉換為特定格式之資料，並將其供給至回波消除/音頻合成電路1023。
回波消除/音頻合成電路1023以由音頻編解碼器1028所供給之音頻資料為對象來進行回波消除，並與其他的音頻資料加以合成等，將以此所獲得之音頻資料經由音頻放大電路1024而自揚聲器1025輸出。
SDRAM1030係於CPU1032執行處理時記憶必要的各種資料。
快閃記憶體1031記憶由CPU1032所執行之程式。記憶於快閃記憶體1031中之程式係於電視接收器1000啟動時等特定之時刻由CPU1032讀出。快閃記憶體1031中，亦記憶有經由數位廣播所獲取之EPG資料、經由網路而自特定之伺服器所獲取之資料等。
例如，於快閃記憶體1031中，記憶有在CPU1032之控制下經由網路而自特定之伺服器所獲取之包含內容資料的MPEG-TS。快閃記憶體1031例如在CPU1032之控制下，將該MPEG-TS經由內部匯流排1029而供給至MPEG解碼器1017。
與由數位調諧器1016所供給之MPEG-TS之情形相同，MPEG解碼器1017處理該MPEG-TS。如上所述，電視接收器1000可經由網路而接收包含影像及音頻等之內容資料，並使用MPEG解碼器1017進行解碼，從而顯示該影像或者輸出音頻。
又，電視接收器1000亦包括接收自遙控器1051發送之紅外線信號之受光部1037。
受光部1037接收來自遙控器1051之紅外線，並對其進行解調，將以此所獲得之表示使用者操作內容之控制編碼輸出至CPU1032。
CPU1032執行記憶於快閃記憶體1031中之程式，並根據由受光部1037所供給之控制編碼等而控制電視接收器1000全體之動作。CPU1032與電視接收器1000之各部係經由未圖示之路徑而連接。
USB介面1033係與經由安裝於USB端子1036上之USB電纜而連接的電視接收器1000外部之機器之間進行資料之收發。網路介面1034經由安裝於網路端子1035上之電纜而連接於網路，亦與連接於網路之各種裝置進行除音頻資料以外之資料之收發。
電視接收器1000使用解碼裝置1來作為MPEG解碼器1017，因而於對構成串流之影像封包進行之解碼中，可藉由對幀內預測圖像IP補充表示高頻成分之圖像而生成預測圖像。
該預測圖像相較單純地進行雙向預測時所獲得之預測圖像而更多地含有高頻成分。
又，與單純地進行單向預測之情形相比，可更有效地利用圖像之時間關聯來生成預測圖像。
進而，將較多地含有高頻成分之預測圖像於加法電路15中與解碼圖像相加，因此最終自MPEG解碼器1017輸出之圖像亦成為較多地含有高頻成分之高精細者。
又，於預測圖像之生成中，在當前幀中進行幀內預測，並使所生成之幀內預測圖像IP與運動補償圖像MC1一同被利用，故可減少用於生成運動補償圖像之運動向量的數目。
如此，電視接收器1000於對構成串流之影像封包進行解碼時，可利用幀間預測之預測精度來補償幀內預測之預測精度之不足以實現編碼效率之提高，進而，亦可藉由減少幀間預測時必要之參照面之數目來實現處理成本之降低。
圖29係表示使用有適用本發明之解碼裝置1及編碼裝置101之行動電話機之主要構成例的方塊圖。
圖29所示之行動電話機1100包括：總括地控制各部之主控制部1150、電源電路部1151、操作輸入控制部1152、圖像編碼器1153、相機介面部1154、LCD控制部1155、圖像編碼器1156、解多工部(demultiplexing)1157、記錄再生部1162、調變解調電路部1158、及音頻編解碼器1159。該等係經由匯流排1160而相互連接。
又，行動電話機1100包括操作鍵1119、CCD(Charge Coupled Devices，電荷耦合元件)相機1116、液晶顯示器1118、記憶部1123、收發電路部1163、天線1114、麥克風(話筒)1121、及揚聲器1117。
在經使用者之操作而終話及電源鍵接通之狀態時，電源電路部1151自電池組對各部供給電力藉以啟動行動電話機1100而成為可動作之狀態。
行動電話機1100根據由CPU、ROM及RAM等所成之主控制部1150之控制，以音頻通話模式或資料通訊模式等各種模式來進行音頻信號之收發、電子郵件或圖像資料之收發、圖像攝影、或者資料記錄等之各種動作。
例如，於音頻通話模式下，行動電話機1100將麥克風(話筒)1121所採集之音頻信號藉由音頻編解碼器1159而轉換為數位音頻資料，並利用調變解調電路部1158對其進行展頻處理，利用收發電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話機1100將經該轉換處理所獲得之發送用信號經由天線1114而發送至未圖示之基地台。傳送至基地台之發送用信號(音頻信號)經由公眾電話網路而被供給至通話對象之行動電話機。
又，例如，於音頻通話模式下，行動電話機1100將由天線1114接收到的接收信號利用收發電路部1163進行放大，進而進行頻率轉換處理及類比數位轉換處理，利用調變解調電路部1158進行解展頻處理，並利用音頻編解碼器1159轉換為類比音頻信號。行動電話機1100將經該轉換所獲得之類比音頻信號自揚聲器1117輸出。
進而，例如，於資料通訊模式下發送電子郵件時，行動電話機1100會於操作輸入控制部1152中接受經操作鍵1119之操作所輸入之電子郵件之文本資料。行動電話機1100於主控制部1150中處理該文本資料，並經由LCD控制部1155而顯示於液晶顯示器1118上作為圖像。
又，行動電話機1100於主控制部1150中根據操作輸入控制部1152所接受之文本資料或使用者指示等而生成電子郵件資料。行動電話機1100對該電子郵件資料利用調變解調電路部1158進行展頻處理，並利用收發電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話機1100將經該轉換處理所獲得之發送用信號經由天線1114而發送至未圖示之基地台。傳送至基地台之發送用信號(電子郵件)經由網路及郵件伺服器等而被供給至特定之目的地。
又，例如，於資料通訊模式下接收電子郵件時，行動電話機1100會經由天線1114而由收發電路部1163來接收自基地台所發送之信號，並進行放大，進而進行頻率轉換處理及類比數位轉換處理。行動電話機1100利用調變解調電路部1158來對該接收信號進行解展頻處理而復原成原先的電子郵件資料。行動電話機1100將已復原之電子郵件資料經由LCD控制部1155而顯示於液晶顯示器1118。
此外，行動電話機1100亦可將所接收到的電子郵件資料經由記錄再生部1162而記錄(記憶)於記憶部1123。
該記憶部1123係可覆寫之任意之記憶媒體。記憶部1123可為例如RAM或內置型快閃記憶體等之半導體記憶體，亦可為硬碟，還可為磁碟、磁光碟、光碟、USB記憶體、或記憶卡等之可移動式媒體。當然，亦可為除該等以外者。
進而，例如，於資料通訊模式下發送圖像資料時，行動電話機1100經拍攝後由CCD相機1116生成圖像資料。CCD相機1116包括透鏡或光圈等之光學元件及作為光電轉換元件之CCD，其拍攝被攝體，將所接收到的光之強度轉換為電氣信號，生成被攝體圖像之圖像資料。CCD相機1116將該圖像資料經由相機介面部1154而由圖像編碼器1153進行編碼，從而轉換成編碼圖像資料。
行動電話機1100將上述編碼裝置101用作進行該種處理之圖像解碼器1153。與編碼裝置101之情形相同，圖像解碼器1153使用運動向量而自幀(N-1)中獲得運動預測圖像，並且藉由利用幀N中之解碼完畢之像素值的幀內預測而自幀N中獲得空間預測圖像。而且，圖像解碼器1153對該2種圖像進行濾波處理而生成預測圖像。因此，圖像解碼器1153可生成更接近原圖像之新的預測圖像。所以，按殘差所分配之編碼量可較少，故可提高編碼效率。
再者，與此同時，行動電話機1100將CCD相機1116於拍攝中由麥克風(話筒)1121所採集之音頻在音頻編解碼器1159中進行類比數位轉換，進而進行編碼。
行動電話機1100於解多工部1157中將由圖像編碼器1153所供給之編碼圖像資料、與由音頻編解碼器1159所供給之數位音頻資料以特定之方式進行多工化。行動電話機1100將其結果所獲得之多工化資料利用調變解調電路部1158進行展頻處理，並利用收發電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話機1100將經該轉換處理所獲得之發送用信號經由天線1114而發送至未圖示之基地台。傳送至基地台之發送用信號(圖像資料)經由網路等而被供給至通訊對象。
再者，於不發送圖像資料之情形時，行動電話機1100亦可不經由圖像編碼器1153而是經由LCD控制部1155來使由CCD相機1116所生成之圖像資料顯示於液晶顯示器1118上。
又，例如，於資料通訊模式下接收與簡易主頁等鏈接之動態圖像文檔之資料時，行動電話機1100會經由天線1114而由收發電路部1163來接收自基地台所發送之信號，並進行放大，進而進行頻率轉換處理及類比數位轉換處理。行動電話機1100利用調變解調電路部1158對該接收到的信號進行解展頻處理而復原成原先的多工化資料。行動電話機1100於解多工部1157中對該多工化資料進行分解，分為編碼圖像資料與音頻資料。
行動電話機1100於圖像解碼器1156中對編碼圖像資料進行解碼，藉以生成再生動態圖像資料，並使其經由LCD控制部1155而顯示於液晶顯示器1118上。藉此，例如使與簡易主頁鏈接之動態圖像文檔中所含之動畫資料顯示於液晶顯示器1118。
行動電話機1100將上述解碼裝置1用作進行該種處理之圖像解碼器1156。亦即，與解碼裝置1之情形相同，圖像解碼器1156使用運動向量而自幀(N-1)獲得運動預測圖像，並且藉由利用幀N中之解碼完畢像素值之幀內預測而自幀N獲得空間預測圖像。然後，圖像解碼器1156對該2種圖像進行濾波處理而生成預測圖像。因此，圖像解碼器1156可生成更接近原圖像之新的預測圖像。
此時，行動電話機1100會同時於音頻編解碼器1159中將數位音頻資料轉換為類比音頻信號，並將其自揚聲器1117輸出。藉此，例如再生出與簡易主頁鏈接之動態圖像文檔中所含之音頻資料。
再者，與電子郵件之情形相同，行動電話機1100亦可將所接收到的與簡易主頁等鏈接之資料經由記錄再生部1162而記錄(記憶)於記憶部1123。
又，行動電話機1100可於主控制部1150中對拍攝後由CCD相機1116所獲得之二維碼進行解析，獲取記錄於二維碼中之資訊。
此外，行動電話機1100可於紅外線通訊部1181利用紅外線而與外部之機器進行通訊。
行動電話機1100將編碼裝置101用作圖像編碼器1153，故例如在對CCD相機1116中所生成之圖像資料進行編碼並傳送時，可利用幀間預測之預測精度來補償幀內預測之預測精度之不足藉以提高編碼效率。進而，可減少幀間預測時必要之參照幀之數目，因此行動電話機1100可實現處理成本之降低。
又，行動電話機1100將解碼裝置1用作圖像解碼器1156，故在接收例如與簡易主頁等鏈接於之動態圖像文檔之資料(編碼資料)時之解碼中，可藉由對幀內預測圖像IP補充表示高頻成分之圖像而生成預測圖像。
因此，行動電話機1100可利用幀間預測之預測精度來補償幀內預測之預測精度之不足以實現編碼效率之提高，進而，亦可藉由減少幀間預測時必要之參照面之數目而實現處理成本之降低。
此外，以上，說明了行動電話機1100中使用CCD相機1116之情形，但亦可代替該CCD相機1116而使用一種適用有CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化半導體)之影像感測器(CMOS影像感測器)。此時，亦與使用有CCD相機1116之情形相同，行動電話機1100可拍攝被攝體，生成被攝體圖像之圖像資料
又，以上說明了行動電話機1100，但只要係例如PDA(Personal Digital Assistants，個人數位助理)、智慧型手機、UMPC(Ultra Mobile Personal Computer，超級移動個人電腦)、上網本(Netbook)、筆記型個人電腦等之與該行動電話機1100具有相同之攝像功能或通訊功能之裝置，則無論何種裝置，均可與行動電話機1100之情形同樣地適用解碼裝置1及編碼裝置101。
圖30係表示使用有適用本發明之解碼裝置1及編碼裝置101之硬碟錄影機之主要構成例的方塊圖。
圖30所示之硬碟錄影機(HDD錄影機)1200係如下所述之裝置：將由調諧器接收到的自衛星或地面之天線等所發送之廣播波信號(電視信號)中所包含的廣播節目之音訊資料與視訊資料保存於內置的硬碟中，並將該所保存之資料以與使用者之指示相應之時序而提供給使用者。
硬碟錄影機1200例如可自廣播波信號中擷取音訊資料與視訊資料，對其等進行適當解碼，並記憶於內置的硬碟中。又，硬碟錄影機1200例如亦可經由網路而自其他裝置獲取音訊資料或視訊資料，對其等進行適當地解碼，並記憶於內置的硬碟中。
進而，硬碟錄影機1200例如可對記錄於內置的硬碟中之音訊資料與視訊資料進行解碼並供給至螢幕1260，使其圖像顯示於螢幕1260之畫面中，並使其聲音自螢幕1260之揚聲器輸出。又，硬碟錄影機1200例如可對自經由調諧器而獲取之廣播波信號中所擷取之音訊資料與視訊資料、或者經由網路而自其他裝置所獲取之音訊資料或視訊資料進行解碼，並供給至螢幕1260，使其圖像顯示於螢幕1260之畫面中，並使其聲音自螢幕1260之揚聲器輸出。
當然，亦可執行其他的動作。
如圖30所示，硬碟錄影機1200包括：接收部1221、解調部1222、解多工器1223、音訊解碼器1224、視訊解碼器1225、及錄影機控制部1226。硬碟錄影機1200進而包括：EPG資料記憶體1227、程式記憶體1228、工作記憶體1229、顯示轉換器1230、OSD(On Screen Display，螢幕顯示)控制部1231、顯示控制部1232、記錄再生部1233、D/A轉換器1234、及通訊部1235。
又，顯示轉換器1230包括視訊編碼器1241。記錄再生部1233包括編碼器1251及解碼器1252。
接收部1221接收來自遙控器(未圖示)之紅外線信號，並轉換為電氣信號而輸出至錄影機控制部1226。錄影機控制部1226例如係由微處理器等所構成，其根據記憶於程式記憶體1228中之程式而執行各種處理。此時，錄影機控制部1226視需要而使用工作記憶體1229。
通訊部1235連接於網路，並經由網路而進行與其他裝置之通訊處理。例如，通訊部1235受到錄影機控制部1226之控制，與調諧器(未圖示)進行通訊，主要對調諧器輸出選頻控制信號。
解調部1222對由調諧器所供給之信號進行解調，並輸出至解多工器1223。解多工器1223將由解調部1222所供給之資料分解為音訊資料、視訊資料、及EPG資料，並分別輸出至音訊解碼器1224、視訊解碼器1225、或錄影機控制部1226。
音訊解碼器1224對所輸入之音訊資料進行解碼，並輸出至記錄再生部1233。視訊解碼器1225對所輸入之視訊資料進行解碼，並輸出至顯示轉換器1230。錄影機控制部1226將所輸入之EPG資料供給並記憶於EPG資料記憶體1227中。
顯示轉換器1230將由視訊解碼器1225或錄影機控制部1226所供給之視訊資料藉由視訊編碼器1241而編碼為例如NTSC(National Television Standards Committee，國家電視標準委員會)方式之視訊資料，並輸出至記錄再生部1233。又，顯示轉換器1230將由視訊解碼器1225或錄影機控制部1226所供給之視訊資料之畫面之尺寸轉換為與螢幕1260之尺寸對應的尺寸，藉由視訊編碼器1241而轉換為NTSC方式之視訊資料，並轉換為類比信號而輸出至顯示控制部1232。
顯示控制部1232在錄影機控制部1226之控制下，將OSD(On Screen Display)控制部1231所輸出之OSD信號與自顯示轉換器1230所輸入之視訊信號重疊，輸出至螢幕1260之顯示器中而使其顯示。
而且，將音訊解碼器1224所輸出之音訊資料藉由D/A轉換器1234轉換為類比信號而供給至螢幕1260。螢幕1260將該音訊信號自內置的揚聲器輸出。
記錄再生部1233包括硬碟作為記錄視訊資料或音訊資料等之記憶媒體。
記錄再生部1233例如藉由編碼器1251而對自音訊解碼器1224所供給之音訊資料進行編碼。又，記錄再生部1233藉由編碼器1251而對由顯示轉換器1230之視訊編碼器1241所供給之視訊資料進行編碼。記錄再生部1233藉由多工器而將該音訊資料之編碼資料與視訊資料之編碼資料加以合成。記錄再生部1233對該合成資料進行通道編碼而放大，並將該資料經由記錄頭而寫入至硬碟。
記錄再生部1233經由再生頭而使記錄於硬碟中之資料再生、放大，並藉由解多工器而分解為音訊資料與視訊資料。記錄再生部1233藉由解碼器1252而對音訊資料及視訊資料進行解碼。記錄再生部1233對已解碼之音訊資料進行D/A轉換，並輸出至螢幕1260之揚聲器。又，記錄再生部1233對已解碼之視訊資料進行D/A轉換，並輸出至螢幕1260之顯示器。
錄影機控制部1226根據經由接收部1221接收到的來自遙控器之紅外線信號所表示之使用者指示，而自EPG資料記憶體1227中讀出最新的EPG資料，並將其供給至OSD控制部1231。OSD控制部1231生成與所輸入之EPG資料對應之圖像資料，並輸出至顯示控制部1232。顯示控制部1232將自OSD控制部1231所輸入之視訊資料輸出至螢幕1260之顯示器而使其顯示。藉此，螢幕1260之顯示器上顯示有EPG(電子節目表)
又，硬碟錄影機1200可經由網際網路等網路而獲取自其他裝置所供給之視訊資料、音訊資料、或EPG資料等之各種資料。
通訊部1235受到錄影機控制部1226之控制，經由網路而獲取自其他裝置所發送之視訊資料、音訊資料、及EPG資料等之編碼資料，並將其供給至錄影機控制部1226。錄影機控制部1226例如將所獲取之視訊資料或音訊資料之編碼資料供給至記錄再生部1233，並記憶於硬碟中。此時，錄影機控制部1226及記錄再生部1233亦可視需要而進行再編碼等處理。
又，錄影機控制部1226對所獲取之視訊資料或音訊資料之編碼資料進行解碼，並將所獲得之視訊資料供給至顯示轉換器1230。與自視訊解碼器1225供給之視訊資料同樣地，顯示轉換器1230對自錄影機控制部1226供給之視訊資料進行處理，並經由顯示控制部1232而供給至螢幕1260，顯示該圖像。
又，配合該圖像顯示，錄影機控制部1226亦可將已解碼之音訊資料經由D/A轉換器1234而供給至螢幕1260，使其音頻自揚聲器輸出。
進而，錄影機控制部1226對所獲取之EPG資料之編碼資料進行解碼，並將解碼後之EPG資料供給至EPG資料記憶體1227。
上述的硬碟錄影機1200將解碼裝置1用作視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226中之解碼器。亦即，視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226中之解碼器係與解碼裝置1同樣地，使用運動向量而自幀(N-1)獲得運動預測圖像，並且藉由利用幀N中之解碼完畢像素值的幀內預測而自幀N獲得空間預測圖像。而且，視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226中之解碼器對該2種圖像進行濾波處理而生成預測圖像。因此，視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226中之解碼器可生成更接近原圖像之新的預測圖像。
因此，硬碟錄影機1200例如在調諧器或通訊部1235對視訊資料(編碼資料)進行接收時、或者在記錄再生部1233對視訊資料(編碼資料)自硬碟進行再生時的解碼中，可藉由對幀內預測圖像IP補充表示高頻成分之圖像而生成預測圖像。
藉此，硬碟錄影機1200可利用幀間預測之預測精度來補償幀內預測之預測精度之不足，從而實現編碼效率之提高，進而，亦可藉由減少幀間預測時必要之參照面之數目而實現處理成本之降低。
又，硬碟錄影機1200將編碼裝置101用作編碼器1251。與編碼裝置101之情形相同，編碼器1251對使用有運動向量之運動預測圖像與幀內預測圖像進行濾波處理而生成預測圖像。因此，編碼器1251可生成更接近原圖像之新的預測圖像。所以，按殘差所分配之編碼量可較少，故可提高編碼效率。
因此，硬碟錄影機1200例如在向硬碟中記錄編碼資料時的幀內預測之預測精度之不足，可利用幀間預測之預測精度來補償以提高編碼效率。進而，可減少幀間預測時必要之參照幀之數目，故硬碟錄影機1200可實現處理成本之降低。
再者，以上說明了將視訊資料或音訊資料記錄於硬碟中之硬碟錄影機1200，當然，記錄媒體可為任意者。例如即便為適用有快閃記憶體、光碟、或錄影帶等硬碟以外之記錄媒體的錄影機，亦與上述硬碟錄影機1200之情形同樣地可適用解碼裝置1及編碼裝置101。
圖31係表示使用有適用本發明之解碼裝置1及編碼裝置101之相機之主要構成例的方塊圖。
圖31所示之相機1300拍攝被攝體，使被攝體之圖像顯示於LCD1316，或將其作為圖像資料而記錄於記錄媒體1333中。
透鏡區塊1311將光(即，被攝體之影像)入射至CCD/CMOS1312。CCD/CMOS1312係使用有CCD或CMOS之影像感測器，其將所接收到的光之強度轉換為電氣信號，並供給至相機信號處理部1313。
相機信號處理部1313將由CCD/CMOS1312所供給之電氣信號轉換為Y、Cr、Cb之色差信號，並供給至圖像信號處理部1314。圖像信號處理部1314於控制器1321之控制下，對由相機信號處理部1313所供給之圖像信號實施特定之圖像處理，又利用編碼器1341對該圖像信號進行編碼。圖像信號處理部1314將對圖像信號進行編碼所生成之編碼資料供給至解碼器1315。進而，圖像信號處理部1314獲取於螢幕視控器(OSD)1320中所生成之顯示用資料，並將其供給至解碼器1315。
於上述處理中，相機信號處理部1313適當地利用經由匯流排1317所連接之DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)1318，視需要而將圖像資料、或者將該圖像資料經編碼後之編碼資料等保持於該DRAM1318。
解碼器1315對由圖像信號處理部1314所供給之編碼資料進行解碼，並將所獲得之圖像資料(解碼圖像資料)供給至LCD1316。又，解碼器1315將由圖像信號處理部1314所供給之顯示用資料供給至LCD1316。LCD1316將由解碼器1315所供給之解碼圖像資料之圖像與顯示用資料之圖像加以適當合成，並顯示該合成圖像。
螢幕視控器1320於控制器1321之控制下，將包含符號、文字、或圖形之選單畫面或圖標等之顯示用資料經由匯流排1317而輸出至圖像信號處理部1314。
控制器1321根據表示使用者使用操作部1322發出指令之內容之信號而執行各種處理，並且經由匯流排1317來控制圖像信號處理部1314、DRAM1318、外部介面1319、螢幕視控器1320、及媒體驅動器1323等。快閃ROM1324中存儲有在控制器1321執行各種處理時所必要之程式或資料等。
例如，控制器1321可代替圖像信號處理部1314或解碼器1315而對記憶於DRAM1318中之圖像資料進行編碼，或者對記憶於DRAM1318之編碼資料進行解碼。此時，控制器1321可藉由與圖像信號處理部1314或解碼器1315之編碼、解碼方式相同之方式來進行編碼、解碼處理，亦可藉由與圖像信號處理部1314或解碼器1315並不對應之方式來進行編碼、解碼處理。
又，例如，在由操作部1322指示開始進行圖像印刷之情形時，控制器1321會自DRAM1318中讀出圖像資料，並將其經由匯流排1317而供給至連接於外部介面1319之列印機1334來進行印刷。
進而，例如，在由操作部1322指示進行圖像記錄之情形時，控制器1321會自DRAM1318中讀出編碼資料，將其經由匯流排1317而供給並記憶於媒體驅動器1323上所安裝之記錄媒體1333中。
記錄媒體1333例如為磁碟、磁光碟、光碟、或半導體記憶體等之可讀寫之任意的可移動式媒體。當然，記錄媒體1333之可移動式媒體之種類亦為任意，可為磁帶裝置，亦可為碟片，或者亦可為記憶卡。當然，亦可為非接觸式IC卡等。
又，亦可將媒體驅動器1323與記錄媒體1333一體化，或者亦可如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)等之由非可攜性之記憶媒體所構成。
外部介面1319例如係由USB輸出輸入端子等所構成，在進行圖像之印刷時，與列印機1334連接。又，外部介面1319上視需要而連接有驅動器1331，並適當地安裝有磁碟、光碟、或磁光碟等之可移動式媒體1332，將自其等所讀出之電腦程式視需要而安裝於快閃ROM1324中。
進而，外部介面1319包括連接於LAN(局域網路)或網際網路等特定之網路之網路介面。控制器1321例如可根據來自操作部1322之指示而自DRAM1318中讀出編碼資料，並將其自外部介面1319供給至經由網路而連接之其他裝置。又，控制器1321可經由外部介面1319來獲取經網路而自其他裝置所供給之編碼資料或圖像資料，並將其保持於DRAM1318中，或者供給至圖像信號處理部1314。
如上所述之相機1300將解碼裝置1用作解碼器1315。亦即，與解碼裝置1之情形相同，解碼器1315使用運動向量而自幀(N-1)獲得運動預測圖像，並且藉由利用幀N中之解碼完畢像素值的幀內預測而自幀N中獲得空間預測圖像。然後，解碼器1315對該2種圖像進行濾波處理而生成預測圖像。因此，解碼器1315可生成更接近原圖像之新的預測圖像。
因此，相機1300例如在讀出CCD/CMOS1312中所生成之圖像資料或者自DRAM1318或記錄媒體1333中讀出視訊資料之編碼資料時、或者在經由網路而獲取視訊資料之編碼資料時的解碼中，可藉由對幀內預測圖像IP補充表示高頻成分之圖像而生成預測圖像。
又，相機1300將編碼裝置101用作編碼器1341。與編碼裝置101之情形相同，編碼器1341對使用有運動向量之運動預測圖像與幀內預測圖像進行濾波處理而生成預測圖像。因此，編碼器1341可生成更接近原圖像之新的預測圖像。所以，按殘差所分配之編碼量可較少，故可提高編碼效率。
因此，相機1300例如在進行將編碼資料記錄於DRAM1318或記錄媒體1333時、或者在將編碼資料提供至其他裝置時的幀內預測之預測精度之不足，可利用幀間預測之預測精度來補償以提高編碼效率。進而，可減少幀間預測時必要之參照幀之數目，因此相機1300可實現處理成本之降低。
再者，於控制器1321所進行之解碼處理中亦可適用解碼裝置1之解碼方法。同樣地，於控制器1321所進行之編碼處理中亦可適用編碼裝置101之編碼方法。
又，相機1300所拍攝之圖像資料可為動態圖像，亦可為靜止圖像。
當然，解碼裝置1及編碼裝置101亦可適用於除上述裝置以外之裝置或系統中。
又，巨集區塊之大小為任意。本發明可適用於例如圖32所示之所有大小之巨集區塊。例如，本發明不僅可適用於通常之16×16像素之巨集區塊，亦可適用於32×32像素之擴大的巨集區塊(擴大巨集區塊)。
圖32中，於上段自左側起依序表示分割為32×32像素、32×16像素、16×32像素、及16×16像素之區塊(分區)之由32×32像素所構成的巨集區塊。又，於中段自左側起依序表示分割為16×16像素、16×8像素、8×16像素、及8×8像素之區塊之由16×16像素所構成的區塊。進而，於下段自左側起依序表示分割為8×8像素、8×4像素、4×8像素、及4×4像素之區塊之8×8像素的區塊。
即，32×32像素之巨集區塊可進行上段所示之32×32像素、32×16像素、16×32像素、及16×16像素之區塊中之處理。
上段之右側所示之16×16像素之區塊係與H.264/AVC方式同樣地可進行中段所示之16×16像素、16×8像素、8×16像素、及8×8像素之區塊中之處理。
中段之右側所示之8×8像素之區塊係與H.264/AVC方式同樣地可進行下段所示之8×8像素、8×4像素、4×8像素、及4×4像素之區塊中之處理。
該等區塊可分類為以下的3階層。即，將圖32之上段所示之32×32像素、32×16像素、及16×32像素之區塊稱作第1階層。將上段之右側所示之16×16像素之區塊及中段所示之16×16像素、16×8像素、及8×16像素之區塊稱作第2階層。將中段之右側所示之8×8像素之區塊及下段所示之8×8像素、8×4像素、4×8像素、及4×4像素之區塊稱作第3階層。
關於16×16像素之區塊以下，藉由採用上述的階層結構而可與H.264/AVC方式保持互換性，並且可將更大之區塊定義為其超級組。
例如，解碼裝置1及編碼裝置101可於每一階層生成預測圖像。又，例如，解碼裝置1及編碼裝置101亦可對第2階層利用較第2階層之區塊尺寸更大之階層即第1階層中所生成之預測圖像。
如第1階層或第2階層般使用相對較大之區塊尺寸來進行編碼之巨集區塊中不含有較高頻率成分。相對於此，認為如第3階層般使用相對較小之區塊尺寸來進行編碼之巨集區塊中含有較高頻率成分。
因此，對應於區塊尺寸不同之各階層而分別生成預測圖像，藉此可實現圖像所具有之適合於局部性質之編碼性能的提高。
1．．．解碼裝置
21．．．運動預測‧補償電路
41．．．預測模式決定電路
42．．．單向預測電路
43．．．雙向預測電路
44．．．預測電路
45．．．濾波電路
51．．．運動補償電路
52．．．幀內預測電路
61．．．差分計算電路
62．．．低通濾波電路
63．．．增益調整電路
64．．．高通濾波電路
65．．．增益調整電路
66．．．加法電路
67．．．加法電路
圖1係表示單向預測之例之示圖。
圖2係表示雙向預測之例之示圖。
圖3係表示幀內預測之例之示圖。
圖4係說明本發明之預測圖像生成之概要之示圖。
圖5係表示本發明之一實施形態之解碼裝置之構成例的方塊圖。
圖6係表示第3預測模式之概念之示圖。
圖7係表示第3預測模式之概念之示圖。
圖8係表示圖5之運動預測‧補償電路之構成例之方塊圖。
圖9係表示參照幀之例之示圖。
圖10係表示參照幀之另一例之示圖。
圖11係表示圖8之預測電路之構成例之方塊圖。
圖12係表示圖8之濾波電路之構成例之方塊圖。
圖13係說明解碼裝置之解碼處理之流程圖。
圖14係說明於圖13之步驟S9中進行之運動預測‧補償處理之流程圖。
圖15係說明擷取處理之流程之例的流程圖。
圖16係說明濾波預測處理之流程之例的流程圖。
圖17係表示編碼裝置之構成例的方塊圖。
圖18係表示圖17之模式決定電路之構成例的方塊圖。
圖19係表示圖17之運動預測‧補償電路之構成例的方塊圖。
圖20係說明編碼裝置之編碼處理之流程圖。
圖21係說明於圖20之步驟S108中進行之模式決定處理的流程圖。
圖22係說明於圖20之步驟S111中進行之運動預測‧補償處理的流程圖。
圖23係表示濾波電路之另一構成例的方塊圖。
圖24係表示濾波電路之此外另一構成例的方塊圖。
圖25係表示使用3片參照幀時之例之示圖。
圖26係表示使用3片參照幀時之濾波電路之構成例之方塊圖。
圖27係表示個人電腦之構成例之方塊圖。
圖28係表示適用有本發明之電視接收器之主要構成例的方塊圖。
圖29係表示適用有本發明之行動電話機之主要構成例的方塊圖。
圖30係表示適用有本發明之硬碟錄影機之主要構成例的方塊圖。
圖31係表示適用有本發明之相機之主要構成例的方塊圖。
圖32係表示巨集區塊尺寸之例之示圖。
MC．．．圖像

Claims (10)

  1. 一種圖像處理裝置，其包括：解碼機構，其對經編碼之圖像進行解碼；生成機構，其將經上述解碼機構解碼後之圖像與預測圖像相加，生成解碼完畢之圖像；擷取機構，其將包含由上述生成機構所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼之上述圖像之運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；幀內預測圖像生成機構，其於生成上述預測圖像之目前幀內進行幀內預測，自藉由上述生成機構所生成的解碼完畢之部分圖像而生成與上述預測圖像對應之幀內預測圖像；及預測圖像生成機構，其對於由上述擷取機構所擷取之上述運動補償圖像及由上述幀內預測圖像生成機構所生成之上述幀內預測圖像，利用上述運動補償圖像及上述幀內預測圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
  2. 如請求項1之圖像處理裝置，其中上述預測圖像生成機構包括：第1濾波機構，其係對由上述擷取機構所擷取之上述運動補償圖像、與由上述幀內預測圖像生成機構所生成之上述幀內預測圖像之差分圖像實施低通濾波；第2濾波機構，其係對經上述第1濾波機構實施低通 濾波所獲得之圖像實施高通濾波；及加法機構，其係將經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像，加上由上述幀內預測圖像生成機構所生成之上述上述幀內預測圖像，而生成上述預測圖像。
  3. 如請求項2之圖像處理裝置，其中上述加法機構係對以上述預測圖像之時刻為基準而自1時刻前之幀中所擷取的上述運動補償圖像，加上經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像。
  4. 如請求項1之圖像處理裝置，其中進而包括：單向預測機構，其使用複數個上述運動補償圖像進行單向預測，生成上述預測圖像；雙向預測機構，其使用複數個上述運動補償圖像進行雙向預測，生成上述預測圖像；及判定機構，其根據經編碼之上述圖像之標頭中所含之識別旗標，來判定上述預測圖像是由上述單向預測機構進行單向預測所生成、或是由上述雙向預測機構進行雙向預測所生成、抑或是由上述預測圖像生成機構進行上述濾波處理所生成。
  5. 一種圖像處理方法，其包括：對經編碼之圖像進行解碼；將已解碼之圖像與預測圖像相加，生成解碼完畢之圖像； 將包含所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼之上述圖像之運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；於生成上述預測圖像的目前幀內進行幀內預測，自解碼完畢之部分圖像而生成與上述預測圖像對應之幀內預測圖像；對上述運動補償圖像及上述幀內預測圖像，利用上述運動補償圖像及上述幀內預測圖像中所含之時間方向之關聯進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
  6. 一種圖像處理裝置，其包括：編碼機構，其對編碼對象之圖像即原圖像進行編碼，生成經編碼之圖像；檢測機構，其根據基於表示上述原圖像與預測圖像之差之殘差信號而局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；擷取機構，其將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用由上述檢測機構檢測到的運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；幀內預測圖像生成機構，其於生成上述預測圖像的目前幀內進行幀內預測，自上述幀之部分圖像而生成與上述預測圖像對應之幀內預測圖像；及 生成機構，其對由上述擷取機構所擷取之上述運動補償圖像及由上述幀內預測圖像生成機構所生成之上述幀內預測圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
  7. 如請求項6之圖像處理裝置，其中上述生成機構包括：第1濾波機構，其係對由上述擷取機構所擷取之上述運動補償圖像、與由上述幀內預測圖像生成機構所生成之上述幀內預測圖像之差分圖像實施低通濾波；第2濾波機構，其係對經上述第1濾波機構實施低通濾波所獲得之圖像實施高通濾波；及加法機構，其係將經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像，加上由上述幀內預測圖像生成機構所生成之上述上述幀內預測圖像，來生成上述預測圖像。
  8. 如請求項7之圖像處理裝置，其中上述加法機構係對以上述預測圖像之時刻為基準而自1個時刻前之幀中所擷取的上述運動補償圖像，加上經上述第1濾波機構實施低通濾波所獲得之圖像、與經上述第2濾波機構實施高通濾波所獲得之圖像。
  9. 如請求項6之圖像處理裝置，其中上述編碼機構係於經編碼之上述圖像之標頭中包含識別旗標，該識別旗標係識別要與在解碼裝置中所解碼之 圖像相加之預測圖像是經單向預測所生成、或是經雙向預測所生成、抑或是經上述濾波處理所生成。
  10. 一種圖像處理方法，其包括：對編碼對象之圖像即原圖像進行編碼，生成經編碼之圖像；根據基於表示上述原圖像與預測圖像之差之殘差信號而局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用已檢測到的運動向量來進行運動補償，自上述參照幀中擷取出與上述預測圖像對應之運動補償圖像；於生成上述預測圖像的目前幀內進行幀內預測，自上述幀之部分圖像而生成與上述預測圖像對應之幀內預測圖像；及對所擷取之上述運動補償圖像及所生成之上述幀內預測圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉以生成上述預測圖像。
TW98141559A 2009-02-19 2009-12-04 Image processing apparatus and method TWI440363B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009036499 2009-02-19

Publications (2)

Publication Number Publication Date
TW201036452A TW201036452A (en) 2010-10-01
TWI440363B true TWI440363B (zh) 2014-06-01

Family

ID=42633841

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98141559A TWI440363B (zh) 2009-02-19 2009-12-04 Image processing apparatus and method

Country Status (9)

Country Link
US (4) US8934531B2 (zh)
EP (2) EP2400762B1 (zh)
JP (3) JP5545499B2 (zh)
KR (4) KR101854096B1 (zh)
CN (1) CN102396227B (zh)
BR (1) BRPI1008421A2 (zh)
RU (1) RU2527751C2 (zh)
TW (1) TWI440363B (zh)
WO (1) WO2010095558A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
WO2011125411A1 (ja) * 2010-04-01 2011-10-13 ソニー株式会社 画像処理装置および方法
JP5478740B2 (ja) * 2011-01-12 2014-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9049459B2 (en) * 2011-10-17 2015-06-02 Exaimage Corporation Video multi-codec encoders
KR101582153B1 (ko) 2012-02-06 2016-01-04 네이버 주식회사 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치
TWI480810B (zh) * 2012-03-08 2015-04-11 Ind Tech Res Inst 基於單一影像的影像內雨紋去除方法與裝置
JP6099931B2 (ja) * 2012-11-01 2017-03-22 株式会社東芝 画像同期装置及びシステム
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
TWI503792B (zh) * 2013-05-21 2015-10-11 Nat Taichung University Science & Technology 對位裝置及其方法
US9948935B2 (en) * 2014-01-30 2018-04-17 Panasonic Corporation Image decoding apparatus, image transmission apparatus, image processing system, image decoding method, and image transmission method using range information
US10382792B2 (en) * 2015-02-13 2019-08-13 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal by means of transform-domain prediction
EP3379820B1 (en) 2017-03-24 2020-01-15 Axis AB Controller, video camera, and method for controlling a video camera
EP3379830B1 (en) * 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
KR102608008B1 (ko) 2017-05-19 2023-11-30 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN116320402A (zh) * 2018-04-04 2023-06-23 日本放送协会 预测图像校正装置、图像编码装置、图像解码装置以及程序
KR102211880B1 (ko) 2020-01-09 2021-02-03 케이오티 (주) 트러스터 수중 설치장치

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03272290A (ja) * 1990-03-20 1991-12-03 Victor Co Of Japan Ltd 画像フィルタ処理装置
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
JP2606523B2 (ja) * 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
US5761200A (en) * 1993-10-27 1998-06-02 Industrial Technology Research Institute Intelligent distributed data transfer system
US6009236A (en) * 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
TW293227B (zh) * 1994-11-24 1996-12-11 Victor Company Of Japan
JP2947103B2 (ja) 1994-11-25 1999-09-13 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
JPH09289642A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd ビデオ信号符号化方法、ビデオ信号復号化方法及び装置
JPH10290464A (ja) * 1997-04-14 1998-10-27 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化モード判定装置
DE60037981T2 (de) * 1999-04-06 2009-02-05 Seiko Epson Corp. Tintenstrahlaufzeichnungsgerät
CN1166207C (zh) 1999-05-27 2004-09-08 皇家菲利浦电子有限公司 对视频信号进行编码的方法、装置及采用该装置的摄像机
JP3964391B2 (ja) 2001-06-29 2007-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US7047991B2 (en) * 2002-12-10 2006-05-23 J.T. Posey Company Bed enclosure
CN101626510B (zh) 2003-07-24 2011-01-05 日本电信电话株式会社 图像编码装置和方法以及图像解码装置和方法
JP2007503775A (ja) 2003-08-26 2007-02-22 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
RU2329615C2 (ru) * 2003-12-01 2008-07-20 Самсунг Электроникс Ко., Лтд. Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
JP4277793B2 (ja) * 2004-12-17 2009-06-10 ソニー株式会社 画像処理装置、符号化装置およびそれらの方法
JP4501676B2 (ja) 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
JP2006333436A (ja) 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
KR100913088B1 (ko) 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
RU2411689C2 (ru) 2005-07-11 2011-02-10 Томсон Лайсенсинг Способ и устройство для адаптивного к макроблоку межслойного предсказания внутренней текстуры
ZA200800248B (en) 2005-07-21 2009-08-26 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
JP4594201B2 (ja) * 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
JP2007205174A (ja) 2006-01-31 2007-08-16 Toyota Motor Corp 内燃機関
KR100712550B1 (ko) 2006-02-03 2007-05-02 삼성전자주식회사 하드디스크 드라이브의 고밀도 기록 방법
US7852853B1 (en) * 2006-02-07 2010-12-14 Nextel Communications Inc. System and method for transmitting video information
EP1835749A1 (en) * 2006-03-16 2007-09-19 THOMSON Licensing Method for coding video data of a sequence of pictures
KR20100085199A (ko) 2006-04-28 2010-07-28 가부시키가이샤 엔티티 도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
JP2007300380A (ja) 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP4844455B2 (ja) 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
US8542736B2 (en) 2006-10-18 2013-09-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
FR2907630A1 (fr) 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
JP2008108811A (ja) 2006-10-24 2008-05-08 Seiko Epson Corp プラズマ処理装置
CN105376574A (zh) * 2006-11-08 2016-03-02 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
KR101365575B1 (ko) 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP2010135864A (ja) 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
US9031129B2 (en) * 2007-06-15 2015-05-12 Microsoft Technology Licensing, Llc Joint spatio-temporal prediction for video coding
JP4356777B2 (ja) 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4877090B2 (ja) 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8934542B2 (en) * 2007-06-29 2015-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scalable video coding supporting pixel value refinement scalability
WO2009059152A1 (en) 2007-10-31 2009-05-07 Boston Scientific Neuromodulation Corp. Connector assemblies for implantable stimulators
JP5333449B2 (ja) 2008-07-25 2013-11-06 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
RU2494568C2 (ru) 2008-07-25 2013-09-27 Сони Корпорейшн Способ и устройство обработки изображения
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) * 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method

Also Published As

Publication number Publication date
KR20170065676A (ko) 2017-06-13
EP2635028B1 (en) 2018-05-09
WO2010095558A1 (ja) 2010-08-26
KR101745848B1 (ko) 2017-06-12
RU2527751C2 (ru) 2014-09-10
KR20160108602A (ko) 2016-09-19
US10321136B2 (en) 2019-06-11
JP5812372B2 (ja) 2015-11-11
EP2400762A4 (en) 2012-11-21
EP2635028A2 (en) 2013-09-04
CN102396227A (zh) 2012-03-28
US20190261005A1 (en) 2019-08-22
EP2400762B1 (en) 2018-07-11
EP2400762A1 (en) 2011-12-28
KR20180045060A (ko) 2018-05-03
US9282345B2 (en) 2016-03-08
RU2011134047A (ru) 2013-02-20
JP5545510B2 (ja) 2014-07-09
KR101854096B1 (ko) 2018-05-02
EP2635028A3 (en) 2014-05-21
US20160150232A1 (en) 2016-05-26
KR101656904B1 (ko) 2016-09-12
US20110293014A1 (en) 2011-12-01
US8934531B2 (en) 2015-01-13
JPWO2010095558A1 (ja) 2012-08-23
US10721480B2 (en) 2020-07-21
CN102396227B (zh) 2015-04-29
JP2013102531A (ja) 2013-05-23
TW201036452A (en) 2010-10-01
JP5545499B2 (ja) 2014-07-09
KR20110126616A (ko) 2011-11-23
US20150110195A1 (en) 2015-04-23
BRPI1008421A2 (pt) 2016-02-23
KR101971843B1 (ko) 2019-04-23
JP2014187700A (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
TWI440363B (zh) Image processing apparatus and method
KR101736015B1 (ko) 화상 처리 장치 및 방법
TWI468020B (zh) Image processing apparatus and method
KR101590663B1 (ko) 화상 처리 장치 및 방법
KR101612977B1 (ko) 화상 처리 장치 및 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees