TWI468020B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI468020B
TWI468020B TW98139936A TW98139936A TWI468020B TW I468020 B TWI468020 B TW I468020B TW 98139936 A TW98139936 A TW 98139936A TW 98139936 A TW98139936 A TW 98139936A TW I468020 B TWI468020 B TW I468020B
Authority
TW
Taiwan
Prior art keywords
image
circuit
prediction
resolution
motion compensation
Prior art date
Application number
TW98139936A
Other languages
English (en)
Other versions
TW201032598A (en
Inventor
Ohji Nakagami
Yoichi Yagasaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201032598A publication Critical patent/TW201032598A/zh
Application granted granted Critical
Publication of TWI468020B publication Critical patent/TWI468020B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，尤其係關於一種可一面抑制負載之增大一面提高編碼效率之圖像處理裝置及方法。
先前，MPEG(Moving Picture Experts Group，動態圖像專家組)、H.26x等之使用有運動補償及離散餘弦轉換、K-L轉換(Karhunen-Loeve transform，卡氏轉換)、或小波轉換(wavelet transform)等之正交轉換的編碼方式一般被用作處理動態圖像時之編碼方式。於該等動態圖像編碼方式中，利用成為編碼對象之輸入之圖像信號所具有之特性中的空間方向及時間方向之關聯來謀求編碼量之削減。
例如於H.264中，在利用時間方向之關聯來生成成為幀間預測(inter預測)之對象之幀即中間幀時，使用單向預測或雙向預測。幀間預測係根據不同時刻之幀而生成預測圖像者。
進而，於作為H.264之放大規格之SVC(Scalable Video Coding，延展性視訊編碼)中，制定出一種考慮空間的延展性(scalability)之編碼方式。SVC(H.264/AVC Annex G)係於2007年11月經ITU-T(International Telecommunication Union Telecommunication Standardization Sector，國際電信聯盟-遠程通信標準化組)與ISO/IEC(International Organization for Standardization/International Electrotechnical Commission，國際標準化組織/國際電工委員會)標準化後之最新的影像編碼標準規格。
圖1表示用以進行考慮SVC之空間的延展性之壓縮之用於預測圖像製作的參照關係。於SVC中，例如圖1所示之基礎層(base layer)與增強層(enhancement layer)般以複數個解析度進行編碼。於圖1之例中，利用空間的延展性對基礎層之具有n×m[像素(pix)]之解析度之圖像(n、m為整數)進行編碼。與此同時，利用空間的延展性對增強層之具有N×M[像素(pix)]之解析度之圖像(N、M為整數，N>n且M>m)進行編碼。
對於基礎層而言，當前幀(current frame)之編碼係與H.264規格之情形同樣地利用幀內(intra)預測或幀間預測來進行。於圖1之例中，在進行基礎層之編碼時，係使用2個參照面(Ref0、Ref1)擷取來自各參照面之運動補償圖像(MC0、MC1)以進行幀間預測。
對於增強層而言，當前幀之編碼亦可與基礎層同樣地利用幀內預測或幀間預測來進行。
關於幀內預測，其係於當前幀之增強層內利用空間之關聯來進行預測。幀內預測在編碼對象之動態圖像中於被攝體之運動較少等時間方向之關聯較少時為有效，但於一般的動態圖像中，通常多有時間方向之關聯較空間方向之預測更高的情形，故而從編碼效率之觀點而言不能稱為最佳。
關於幀間預測，其係將時間上在前或在後之幀之增強層中的解碼圖像用於參照面。幀間預測利用時間方向之關聯，故可實現較高之編碼效率。然而，事前上必需對成為參照面之高解析度之增強層的幀圖像進行解碼。又，因用於參照而亦必需將該高解析度圖像保存於記憶體中。進而，必需自記憶體中讀出該資料量大的高解析度圖像。因此，從處理量及安裝成本之觀點而言，幀間預測可謂為負載大的方式。
然而，對於增強層而言，當前幀之編碼除該等2個方式以外，亦可使用基礎層之空間性之上採樣(上轉換)的預測方法(以下，稱作上轉換預測)。
基礎層之圖像係使增強層之圖像之解析度降低而成者，故可認為其包含與增強層之圖像之低頻率成分相當的信號。亦即，藉由對基礎層之圖像補償高頻率成分而可獲得增強層之圖像。上轉換預測係利用該種層間之關聯而進行預測之方法。尤其係在幀內或幀間預測不準時有助於改善編碼效率之預測方法。又，關於該預測方法，為了進行當前幀之增強層之圖像之解碼，僅對同一時刻之基礎層之圖像進行解碼即可，故而從處理量之觀點而言亦可謂為優異(負載小)的預測方式。
且說於高解析度化處理中，有藉由運動補償與像素值之FIR(Finite Impulse Response，有限脈衝響應)濾波來將時間方向之關聯轉換為空間解析度並利用之手法。(例如，參照非專利文獻1)。
於非專利文獻1所揭示之方法中，為了對輸入圖像行進行高解析度化處理而利用時間方向之關聯。具體而言，在當前圖像與過去圖像之間計算經運動預測‧補償後之圖像之差分資訊，並反饋至作為對象之當前圖像，藉此使輸入圖像中所含之高頻成分恢復。
[非專利文獻1]：「Improving Resolution by Image Registration」,MICHAL IRANI AND SHMUEL PELEG,Department of Computer Science,The Hebrew University of Jerusalem,91904 Jerusalem,Israel,Communicated by Rama Chellapa,Received June 16,1989;accepted May 25,1990
然而，在對低解析度之圖像進行上轉換後，於線性內插濾波器之影響下會生成高頻率成分少的圖像，故而在上轉換預測中，有只能獲得高頻率成分少的預測圖像之虞。亦即，並不能說在上轉換預測中，充分利用傳送完畢之基礎層中之像素資訊進行預測。因此，有於增強層中進行殘差信號之編碼時需要較多編碼量之虞。
如上所述，於先前之編碼‧解碼方法中，難以使提高編碼效率與抑制負載增大兩者兼具。
因此，考慮一種方法，應用如非專利文獻1所揭示之將動態圖像之時間關聯轉換為空間解析度之圖像處理的手法來實現編碼效率之改善。然而，無法將非專利文獻1所揭示之方法簡單地應用於SVC。
例如，於幀間預測中，自參照面所獲得之運動補償圖像與所生成之預測圖像之解析度為相同，故而無法將非專利文獻1所揭示之方法應用於上轉換預測。又，於上轉換預測中，僅自基礎層之當前幀之圖像生成預測圖像，故而無法將使用3個圖像進行高解析度化之非專利文獻1所揭示之方法應用於上轉換預測。
本發明係鑒於此種狀況而提出者，其係在進行考慮空間的延展性之編碼時，藉由更有效地利用動態圖像信號行中所含之時間關聯，而可一方面抑制例如編碼或解碼等處理之負載之增大，一方面提高編碼效率者。
本發明之一側面為一種圖像處理裝置，其包括：解碼機構，其對經編碼的圖像進行解碼；生成機構，其將經上述解碼機構解碼後之圖像與預測圖像相加，生成解碼完畢之圖像；擷取機構，其將包含由上述生成機構所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼的上述圖像之運動向量來進行運動補償，自對應於上述預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；及預測圖像生成機構，其對由上述擷取機構所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分的濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像。
上述編碼圖像被階層化且被編碼為解析度彼此不同之複數個層；上述解碼機構係於各層中對上述編碼圖像進行解碼；上述生成機構係於各層中生成上述解碼完畢之圖像；上述擷取機構係於進行高解析度之層之解碼時，將較上述層更低解析度之層的上述幀作為上述參照幀，自上述低解析度之層之上述參照幀中擷取出上述運動補償圖像；上述預測圖像生成機構係藉由對自上述低解析度之層之上述參照幀中所擷取之上述運動補償圖像進行上述濾波處理，而可生成上述高解析度之層之上述預測圖像。
上述預測圖像生成機構可包括：解析度轉換機構，其係轉換由上述擷取機構所擷取之複數個上述運動補償圖像之差分圖像的解析度，而使其高解析度化；第1濾波機構，其係對藉由上述解析度轉換機構而予以高解析度化之上述差分圖像進行低通濾波；第2濾波機構，其係對藉由上述第1濾波機構進行低通濾波所獲得之圖像進行高通濾波；及加法機構，其係將藉由上述第1濾波機構進行低通濾波所獲得之圖像、與藉由上述第2濾波機構進行高通濾波所獲得之圖像，加上由上述擷取機構所擷取之複數個上述運動補償圖像中之任一個，而生成上述預測圖像。
上述加法機構可對以上述預測圖像之時刻為基準而自1個時刻前之幀中所擷取的上述運動補償圖像，加上藉由上述第1濾波機構進行低通濾波所獲得之圖像與藉由上述第2濾波機構進行高通濾波所獲得之圖像。
上述圖像處理裝置可進一步包括：單向預測機構，其使用複數個上述運動補償圖像來進行單向預測，並生成上述預測圖像；雙向預測機構，其使用複數個上述運動補償圖像來進行雙向預測，並生成上述預測圖像；及判定機構，其根據經編碼的上述圖像之標頭中所含之識別旗標，來判定上述預測圖像是由上述單向預測機構進行單向預測所生成，或是由上述雙向預測機構進行雙向預測所生成，抑或是由上述預測圖像生成機構進行上述濾波處理所生成。
本發明之另一側面為一種圖像處理方法，其係：對編碼圖像進行解碼；將已解碼之圖像與預測圖像相加，生成解碼完畢之圖像；將包含所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼的上述圖像之運動向量來進行運動補償，自對應於上述預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；及對所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分的濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像。
本發明之又一側面為一種圖像處理裝置，其包括：編碼機構，其對編碼對象之圖像即原圖像進行編碼，而生成編碼圖像；檢測機構，其根據基於表示上述原圖像與預測圖像之差之殘差信號局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；擷取機構，其將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用由上述檢測機構檢測到的運動向量來進行運動補償，並自對應於上述預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；及生成機構，其對由上述擷取機構所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像。
上述編碼機構係於解析度彼此不同之複數個層中生成編碼圖像；上述擷取機構係於進行高解析度之層之解碼時，將較上述層更低解析度之層的上述幀作為上述參照幀，使用由上述檢測機構於上述低解析度之層中檢測到的上述運動向量，自上述低解析度之層之上述參照幀中擷取出上述運動補償圖像；上述生成機構藉由對自上述低解析度之層之上述參照幀中擷取出的上述運動補償圖像進行上述濾波處理，而可生成上述高解析度之層之上述預測圖像。
上述生成機構可包括：解析度轉換機構，其係轉換由上述擷取機構所擷取之複數個上述運動補償圖像之差分圖像的解析度，而使其高解析度化；第1濾波機構，其係對藉由上述解析度轉換機構而予以高解析度化之上述差分圖像進行低通濾波；第2濾波機構，其對藉由上述第1濾波機構進行低通濾波所獲得之圖像進行高通濾波；及加法機構，其係將藉由上述第1濾波機構進行低通濾波所獲得之圖像、與藉由上述第2濾波機構進行高通濾波所獲得之圖像，加上由上述擷取機構所擷取之複數個上述運動補償圖像中之任一個，而生成上述預測圖像。
上述加法機構可對以上述預測圖像之時刻為基準而自1個時刻前之幀中所擷取的上述運動補償圖像，加上藉由上述第1濾波機構進行低通濾波所獲得之圖像與藉由上述第2濾波機構進行高通濾波所獲得之圖像。
上述編碼機構可於標頭中包含識別旗標，該識別旗標係識別與在解碼裝置中已解碼之圖像相加之預測圖像，是由單向預測所生成，或是由雙向預測所生成，抑或是由上述濾波處理所生成。
本發明之再一側面為一種圖像處理方法，其係：對編碼對象之圖像即原圖像進行編碼，而生成編碼圖像；根據基於表示上述原圖像與預測圖像之差之殘差信號而局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用已檢測到的運動向量進行運動補償，並自對應於上述預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；對所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像。
於本發明之一側面之圖像處理方法中，對經編碼的圖像進行解碼；將已解碼之圖像與預測圖像相加，生成解碼完畢之圖像；將包含所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼的圖像之運動向量來進行運動補償；並自對應於預測圖像之參照幀中擷取出較預測圖像更低解析度的運動補償圖像；對所擷取之運動補償圖像，利用運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較運動補償圖像更高解析度的預測圖像。
於本發明之另一側面之圖像處理方法中，對編碼對象之圖像即原圖像進行編碼，而生成編碼圖像；根據基於表示原圖像與預測圖像之差之殘差信號局部地解碼所獲得之圖像與原圖像，來檢測運動向量；將包含經局部地解碼所獲得之圖像之幀作為參照幀，使用所檢測到的運動向量進行運動補償，並自對應於預測圖像之參照幀中擷取出較預測圖像更低解析度的運動補償圖像；對所擷取之運動補償圖像，利用運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較運動補償圖像更高解析度的預測圖像。
根據本發明，可處理資訊。尤其不會無用地增大負載而可生成精度高的預測圖像，使編碼效率提高。
以下，說明用以實施發明之形態(以下稱作實施形態)。再者，說明係按以下順序進行。
1.第1實施形態(解碼處理)
2.第2實施形態(編碼處理)
3.第3實施形態(運動補償圖像進行3次以上之解碼處理)
4.第4實施形態(使用同一層之運動補償圖像之解碼處理‧編碼處理)
<1.第1實施形態> [預測之概要]
圖2係說明應用有本發明之預測圖像生成方法之概要的示圖。如圖2所示，此時對基礎層中之複數個參照面的圖像進行濾波，藉以生成增強層之當前區塊(當前時刻之處理對象區塊)的預測圖像。
如上所述使用時間方向之解析，便能較空間性之上採樣濾波器更有效地利用圖像行中之信號成分。該結果為，以本發明之手法(以下稱作濾波預測)所生成之預測圖像相較利用基礎層之當前幀(當前時刻之處理對象幀)之圖像的以先前之上轉換預測所生成之預測圖像而具有空間性更高的頻率成分，且可使預測殘差減少。亦即，可使增強層之編碼圖片之編碼量減少，從而能有助於編碼效率之改善。
進行，於該濾波預測中並未參照時間性不同之幀中的增強層之解碼圖像，故可減少編碼所必要之處理量、暫時記憶容量、來自記憶體之讀出資訊量等，從而可減少安裝所花費之成本。又，亦可降低消耗電力。
[解碼裝置之構成]
圖3係表示本發明之一實施形態之解碼裝置1之構成例的方塊圖。
對解碼裝置1中經由電纜、網路、或可移動媒體而輸入下述的藉由編碼裝置而編碼的圖像資訊。壓縮圖像資訊例如係以H.264/SVC規格而編碼的圖像資訊。
於SVC中，壓縮圖像資訊係由複數個解析度之層所構成。解析度最低之層為基礎層，較基礎層更高解析度的層為增強層。此外，該層數為任意，但以下所述中，壓縮圖像資訊係由2層所構成。即，輸入至解碼裝置1之壓縮圖像資訊包含基礎層與1層增強層。
解碼裝置1中依序輸入有各幀之壓縮圖像資訊，但於各幀中，自低解析度側向高解析度側依序輸入有各層之位元流。亦即，基礎層之位元流被先輸入至解碼裝置1中。
基礎層之位元流係與H.264/AVC規格之壓縮圖像資訊同樣地被解碼，故此處省略說明。在對基礎層之位元流進行解碼後，對解碼裝置1中被輸入增強層之位元流。以下，基本上說明對增強層之位元流之處理。
蓄積緩衝器11依序記憶作為壓縮圖像資訊而輸入之位元流。記憶於蓄積緩衝器11內之資訊能以每一個構成幀之巨集區塊等之特定單位之圖像為單位而由可逆解碼電路12適當地讀出。於H.264規格中，亦能以將16×16像素之巨集區塊進一步分割而成之8×8像素、4×4像素等之區塊而非16×16像素之區塊為單位來進行處理。
可逆解碼電路12對自蓄積緩衝器11讀出之圖像實施可變長度解碼處理、算術解碼處理等之與編碼方式對應之解碼處理。可逆解碼電路12將藉由實施解碼處理所獲得之已量化之轉換係數輸出至反量化電路13。
又，可逆解碼電路12根據成為解碼對象之圖像之標頭中所含的識別旗標來識別預測方法。當判斷為成為解碼對象之圖像係經幀內編碼之圖像時，可逆解碼電路12將儲存於該圖像之標頭內之幀內預測模式資訊輸出至幀內預測電路22。幀內預測模式資訊中，含有成為處理之單位之區塊之尺寸等的與幀內預測相關的資訊。
當判斷為成為解碼對象之圖像係經幀間編碼之資訊時，可逆解碼電路12將儲存於該圖像之標頭內之運動向量與識別旗標輸出至運動預測‧補償電路21。根據識別旗標來識別由幀間預測生成預測圖像時之預測模式。識別旗標例如係以巨集區塊為單位、並以幀為單位而設定。
作為預測之模式，除單向預測之模式、雙向預測之模式、上轉換預測之模式以外，另準備有濾波預測之模式，其係對自基礎層之於時間上處於單向或雙向之複數個參照幀中擷取出的運動補償圖像進行濾波以生成預測圖像。
以下，將以自處於單方向之複數個參照幀中擷取出的運動補償圖像中之任一運動補償圖像之像素值作為預測圖像之像素值的預測之模式僅稱作單向預測模式。又，將以自處於雙方向之複數個參照幀中分別擷取出的運動補償圖像之像素值之平均值作為預測圖像之像素值的預測之模式僅稱作雙向預測模式。進而，將對自基礎層之當前幀中擷取出的運動補償圖像進行上轉換而求出預測圖像之像素值的預測之模式僅稱作上轉換預測模式。
將對自基礎層之處於單方向或雙方向之複數個參照幀中擷取出的各運動補償圖像進行包含上轉換之濾波而求出預測圖像之像素值的如圖2所示之第4預測模式，稱作濾波預測模式。
反量化電路13係以與編碼側之量化方式對應之方式來對由可逆解碼電路12所供給之量化後之狀態之轉換係數進行反量化。反量化電路13將進行反量化所獲得之轉換係數輸出至逆正交轉換電路14。
逆正交轉換電路14係以與離散餘弦轉換、K-L轉換等之編碼側之正交轉換方式對應之方式來對由反量化電路13所供給之轉換係數實施例如4次逆正交轉換，並將所得之圖像輸出至加法電路15。
加法電路15係將自逆正交轉換電路14所供給之解碼圖像與自運動預測‧補償電路21或幀內預測電路22經由開關23所供給之預測圖像加以合成，並將合成圖像輸出至解塊濾波器16。
解塊濾波器16去除由加法電路15供給之圖像中所包含之區塊失真，並輸出已去除區塊失真後之圖像。由解塊濾波器16輸出之圖像係被供給至排序緩衝器17與幀記憶體19。
排序緩衝器17暫時記憶由解塊濾波器16所供給之圖像。排序緩衝器17係由所記憶之例如以巨集區塊為單位之圖像而生成各幀，並將所生成之幀按顯示順序等之特定之順序進行排序而輸出至D/A(Digital/Analog，數位/類比)轉換電路18。
D/A轉換電路18對由排序緩衝器17所供給之各幀實施D/A轉換，並將各幀之信號輸出至外部。
幀記憶體19暫時記憶由解塊濾波器16所供給之圖像。記憶於幀記憶體19內之資訊係經由開關20而被供給至運動預測‧補償電路21或幀內預測電路22。此外，於幀記憶體19內亦記憶有較增強層更先被解碼之基礎層之圖像，並如下所述被用於增強層之解碼。
當藉由幀間預測而生成預測圖像時，開關20係連接於端子a1，當藉由幀內預測而生成預測圖像時，開關20係連接於端子b1。開關20之切換例如係由控制電路31所控制。
運動預測‧補償電路21係根據由可逆解碼電路12所供給之識別旗標來決定預測模式，並從記憶於幀記憶體19內之解碼完結之幀中，與預測模式對應地來選擇用作參照幀之幀。運動預測‧補償電路21係從構成參照幀之巨集區塊中，根據由可逆解碼電路12所供給之運動向量來決定與作為對象之預測圖像對應的巨集區塊，並將已決定之巨集區塊作為運動補償圖像而擷取。運動預測‧補償電路21會與預測模式對應地由運動補償圖像之像素值而求出預測圖像之像素值，並將已求出像素值之預測圖像經由開關23而輸出至加法電路15。
幀內預測電路22根據由可逆解碼電路12所供給之幀內預測模式資訊而進行幀內預測，生成預測圖像。幀內預測電路22係將所生成之預測圖像經由開關23而輸出至加法電路15。
當已由運動預測‧補償電路21而生成預測圖像時，開關23係連接於端子a2，當已由幀內預測電路22而生成預測圖像時，開關23係連接於端子b2。開關23之切換例如亦係由控制電路31所控制。
控制電路31對開關20、23之連接進行切換等以控制整個解碼裝置1之動作。處理對象之圖像之預測方法的識別亦可藉由控制電路31而進行。
圖4係表示圖3之可逆解碼電路12之主要構成例的方塊圖。
如圖4所示，可逆解碼電路12包括預測判定電路41及解碼處理電路42。預測判定電路41判定由蓄積緩衝器11所供給之圖像之預測方法。預測判定電路41例如根據成為解碼對象之圖像之標頭中所含之識別旗標來識別預測方法。此外，預測判定電路41當然亦可藉由解析位元流而進行該預測方法之識別。此時，識別旗標可省略，故可減少壓縮圖像資訊之資訊量。
預測判定電路41於判斷為成為解碼對象之圖像係經幀內編碼之圖像時，會將儲存於圖像之標頭中之幀內預測模式資訊輸出至幀內預測電路22。又，預測判定電路41於判斷為成為解碼對象之圖像係經幀間編碼之資訊時，會將儲存於該圖像之標頭中之運動向量與識別旗標輸出至運動預測‧補償電路21。
預測判定電路41進一步將已判定預測方法之圖像之位元流供給至解碼處理電路42。解碼處理電路42對該圖像實施可變長度解碼處理、算術解碼處理等之與編碼方式對應的解碼處理。預測判定電路41將藉由實施解碼處理所獲得之已量化之轉換係數輸出至反量化電路13。
圖5係表示圖3之運動預測‧補償電路之主要構成例的方塊圖。
如圖5所示，運動預測‧補償電路21包括：預測選擇電路51、單向預測電路61、雙向預測電路62、上轉換預測電路63、及濾波預測電路64。由可逆解碼電路12(預測判定電路41)所供給之運動向量與識別旗標被輸入至預測選擇電路51。
預測選擇電路51根據由預測判定電路41所供給之識別旗標來選擇預測模式。預測選擇電路51於決定藉由單向預測來進行預測圖像之生成時，將運動向量輸出至單向預測電路61。又，預測選擇電路51於決定藉由雙向預測來進行預測圖像之生成時，將運動向量輸出至雙向預測電路62。此外，預測選擇電路51於決定藉由上轉換預測來進行預測圖像之生成時，將該指示輸出至上轉換預測電路63。
又，預測選擇電路51於決定藉由濾波預測來進行預測圖像之生成時，將運動向量輸出至濾波預測電路64。
如此一來，可識別濾波預測，故而可將以先前之規格所規定之與表示單向預測之值、表示雙向預測之值、及表示上轉換預測之值所不同的值設定作為識別旗標之值。
單向預測電路61係將增強層之於時間上處於單方向之複數個幀作為參照幀，根據運動向量來決定與預測圖像對應之參照幀之巨集區塊。又，單向預測電路61自幀記憶體19中讀出已決定之各個參照幀之巨集區塊作為運動補償圖像，並將任一運動補償圖像之像素值作為預測圖像之像素值，藉此生成預測圖像。單向預測電路61將所生成之預測圖像輸出至加法電路15。作為單向預測電路61之單向預測，可使用例如以H.264/SVC規格(或H.264規格)所規定之單向預測。
雙向預測電路62係將增強層之於時間上處於雙方向之複數個幀作為參照幀，根據運動向量來決定與預測圖像對應之參照幀之巨集區塊。又，雙向預測電路62自幀記憶體19中讀出已決定之各個參照幀之巨集區塊作為運動補償圖像，並將所讀出之運動補償圖像之像素值之平均值作為預測圖像之像素值，藉此生成預測圖像。雙向預測電路62將所生成之預測圖像輸出至加法電路15。作為雙向預測電路62之雙向預測，可使用例如以H.264/SVC規格(或H.264規格)所規定之雙向預測。
如圖1所示，上轉換預測電路63係將基礎層之當前幀作為參照幀。上轉換預測電路63自該基礎層之參照幀中擷取出與增強層之當前幀之處理對象巨集區塊為相同位置之巨集區塊。亦即，上轉換預測電路63自幀記憶體19內讀出基礎層之參照幀之與處理對象巨集區塊對應的巨集區塊。該擷取出的巨集區塊係基礎層之巨集區塊，因此相對於處理對象巨集區塊而言為低解析度。上轉換預測電路63藉由對該擷取出的基礎層之巨集區塊進行上轉換而生成處理對象巨集區塊之預測圖像。
上轉換預測電路63將所生成之預測圖像輸出至加法電路15。作為上轉換預測電路63之雙向預測，可使用例如以H.264/SVC規格所規定之上轉換預測。
如圖2所示，濾波預測電路64係將基礎層之於時間上處於單方向或雙方向之複數個幀決定為參照幀。可預先決定哪幀為參照幀，亦可藉由與識別旗標一同自編碼側傳送而來之資訊來指定。例如，可將時間上自當前幀起算的1個時刻前及再1個時刻前之2片幀作為參照幀。又，例如亦可將時間上自當前幀起算的1個時刻前及1個時刻後之2片幀作為參照幀。當然，亦可將其他的幀作為參照幀。
濾波預測電路64根據由預測選擇電路51所供給之運動向量來決定如上所決定之基礎層之參照幀之與預測圖像對應的巨集區塊。濾波預測電路64自幀記憶體19中讀出已決定之各個參照幀之巨集區塊作為運動補償圖像。此外，運動向量亦能以將16×16像素等之巨集區塊進一步分割而成之區塊而非16×16像素之區塊為單位來進行處理。
該運動補償圖像係基礎層之圖像，故而較增強層之處理對象巨集區塊之解析度為低解析度。濾波預測電路64輸入該運動補償圖像，進行帶有上轉換之濾波，並將藉由進行濾波所獲得之預測圖像輸出至加法電路15。該預測圖像被上轉換成增強層之巨集區塊之解析度。
濾波預測電路64將所生成之預測圖像輸出至加法電路15。
圖6係表示圖5之濾波預測電路64之主要構成例的方塊圖。於具有圖6之構成之濾波預測電路64中，對時間區域之信號進行濾波。
如圖6所示，濾波預測電路64包括擷取電路71及濾波電路72。擷取電路71係根據由預測選擇電路51所供給之資訊來特別規定基礎層之參照幀，並自該基礎層之參照幀中擷取運動補償圖像(例如運動補償圖像MC0及運動補償圖像MC1)。
作為用以識別用於本發明之複數個低解析度圖像的1種方法，考慮利用基礎層之串流中之信號而不附加新的信號。
即為如下方法：使用於當前時刻之低解析度圖像中在空間上處於同一位置之解碼圖像來作為第1輸入，並將用以對在時間預測中使用有該像素之在時間上為過去或未來之2個低解析度圖像進行持續濾波處理之輸入作為第2輸入。
亦即，此時，擷取電路71將基礎層之當前幀之與增強層之處理對象巨集區塊為相同位置的巨集區塊作為1個運動補償圖像，進而，利用於該基礎層之巨集區塊之解碼時所用之運動向量而擷取其他的運動補償圖像。該手法優點在於不會於串流中追加新的信號，因此從編碼效率之觀點而言為有利。
此時，當於低解析度圖像中將複數個參照幀之資訊用於解碼時，具體而言，當進行雙向預測等時，亦可使用所有的其等預測圖像來作為第2、第3輸入。
一般而言，越多地利用關聯高的時間資訊，則越會提昇持續濾波處理之高解析度生成結果，因此該方法為有效。
進而，為了藉由濾波處理而生成更高精度之高解析度圖像，亦可舉出對1個或複數個運動向量進行重新編碼之方法。
亦即，此時，與在基礎層之解碼時所用之運動向量不同地另外對用於增強層之解碼之運動向量進行編碼。該方法係於串流中追加新的信號，但相對於增強層之預測精度提昇，故可減少增強層中之殘差信號，因而從編碼效率之觀點而言有時為有效。
如上所述，擷取電路71特別規定運動補償圖像MC0及運動補償圖像MC1，自幀記憶體19中獲取其資訊。擷取電路71將所擷取之運動補償圖像MC0及運動補償圖像MC1供給至濾波電路72。
濾波電路72對所供給之運動補償圖像MC0及運動補償圖像MC1進行帶有上轉換之濾波，生成預測圖像。亦即，濾波電路72對由擷取電路71所擷取之複數個運動補償圖像，利用該運動補償圖像中包含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較運動補償圖像更高解析度的預測圖像。以此生成之預測圖像會補償高頻成分，故其預測精度提高。結果使編碼效率提高。
如圖6所示，濾波電路72包括：差分計算電路81、上轉換電路82、低通濾波電路83、增益調整電路84、高通濾波電路85、增益調整電路86、加法電路87、上轉換電路88、及加法電路89。
由擷取電路71所供給之運動補償圖像MC0被輸入至差分計算電路81及上轉換電路88，運動補償圖像MC1被輸入至差分計算電路81。
當藉由單向預測而生成預測圖像時，例如將認為與預測圖像之關聯更高的自接近當前幀之參照幀R0中所擷取之圖像作為運動補償圖像MC0，將自遠離當前幀之參照幀R1中所擷取之圖像作為運動補償圖像MC1。亦可將自參照幀R0中所擷取之圖像作為運動補償圖像MC1，並將自參照幀R1中所擷取之圖像作為運動補償圖像MC0。
又，當藉由雙向預測而生成預測圖像時，例如將自1個時刻前之參照幀L0中所擷取之圖像作為運動補償圖像MC0，將自1個時刻後之參照幀L1中所擷取之圖像作為運動補償圖像MC1。亦可將自參照幀L0中所擷取之圖像作為運動補償圖像MC1，並將自參照幀L1中所擷取之圖像作為運動補償圖像MC0。
差分計算電路81例如以下述式(1)之方式來計算運動補償圖像MC0與運動補償圖像MC1之差分，並將差分圖像D輸出至上轉換電路82。
D(i，j)=A(i，j)-B(i，j)...(1)
於式(1)中，(i，j)表示運動補償圖像內之像素之相對位置。例如，當以16×16像素之巨集區塊為單位進行處理時，為0≦i≦16，0≦j≦16。以下相同。
上轉換電路82對由差分計算電路81所計算出之差分圖像D進行解析度之轉換。該解析度轉換比率取決於基礎層與增強層之空間解析度之比率。例如，當基礎層之解析度為n×m[像素](n、m為整數)，增強層之解析度為N×M[像素](N、M為整數，N>n，M>m)時，水平方向之倍率H_Scale與垂直方向之倍率V_Scale為式(2)及式(3)所示。
H_Scale=N/n　...(2)
V_Scale=M/m　...(3)
上轉換電路82將如上所述經解析度轉換(上轉換)後之差分圖像D'輸出至低通濾波電路83。
低通濾波電路83包括FIR濾波電路。低通濾波電路83對由上轉換電路82所供給之差分圖像D'進行低通濾波，並將所獲得之圖像輸出至增益調整電路84與高通濾波電路85。藉由進行低通濾波而獲得之圖像即差分圖像D"係由下述式(4)表示。
D"=LPF(D')...(4)
式(4)之LPF(X)係表示使用二維FIR濾波器來對輸入圖像X進行低通濾波。
增益調整電路84調整由低通濾波電路83所供給之差分圖像D"之增益，並將已調整增益後之圖像輸出至加法電路87。若使0≦I≦16×H_Scale，0≦J≦16×V_Scale，則增益調整電路84之輸出圖像X(I，J)係如下述式(5)所示。
X(I，J)=αD"(I，J)...(5)
高通濾波電路85包括FIR濾波電路。高通濾波電路85對由低通濾波電路83所供給之差分圖像D"進行高通濾波，並將所得之圖像輸出至增益調整電路86。藉由進行高通濾波而獲得之圖像即差分圖像D'''係如下述式(6)所示。
D'''=HPF(D")...(6)
式(6)之HPF(X)係表示對輸入圖像X進行二維FIR濾波器之高通濾波處理。
增益調整電路86調整由高通濾波電路85所供給之差分圖像D'''之增益，並將已調整增益後之圖像輸出至加法電路87。增益調整電路86之輸出圖像Y(I，J)係如下述式(7)所示。
Y(I，J)=βD'''(I，J)...(7)
作為式(5)之α及式(7)之β之值，係選擇例如α=0.8、β=0.2之值，但為了提高預測像素之精度，亦可為除此以外之值。又，亦可對應於輸入順序之性質等而適應性地變化。
加法電路87將已增益調整後之圖像X(I，J)與圖像Y(I，J)相加，並輸出相加所得之圖像。加法電路87之輸出圖像Z(I，J)係如下述式(8)所示。
Z(I，J)=X(I，J)+Y(I，J)...(8)
輸出圖像Z(I，J)係表示運動補償圖像MC0與運動補償圖像MC1之差分、即由關聯而求出之圖像之高頻成分。
上轉換電路88對運動補償圖像MC0進行解析度之轉換。該解析度轉換比率與上轉換電路82同樣地取決於基礎層與增強層之空間解析度之比率。亦即，水平方向之倍率H_Scale與垂直方向之倍率V_Scale係如上述式(2)及式(3)所示。上轉換電路88將以此方式進行解析度轉換(上轉換)後之運動補償圖像MC0即圖像A'輸出至加法電路89。
加法電路89對由上轉換電路88所供給之圖像A'補充由加法電路87所供給之輸出圖像Z(I，J)，並將所獲得之圖像作為預測圖像而輸出至加法電路15。加法電路89之最終輸出即預測圖像S(I，J)係如下述式(9)所示。
S(I，J)=A'(I，J)+Z(I，J)...(9)
如此，根據濾波預測模式，於對運動補償圖像MC0進行上轉換後之圖像中補充對基礎層之圖像進行上轉換所生成之表示高頻成分的圖像，藉此可生成預測圖像。
以如上所述之濾波預測模式而生成預測圖像，藉此，解碼裝置1可獲得相較將基礎層之當前幀之圖像進行上轉換後所得之上轉換預測之預測圖像而更多地含有高頻率成分之預測圖像。又，在由複數個運動補償圖像而生成預測圖像時，如上所述進行濾波，因此，解碼裝置1可獲得相較單純地將複數個運動補償圖像之各像素之平均值作為各像素值的預測圖像而更多地含有高頻率成分之預測圖像。
進而，與參照增強層之幀而生成預測圖像之幀間預測之情形相比，參照之圖像之解析度較小。因此，無需將增強層之高解析度圖像保存於或者讀出至幀記憶體19內。又，例如，如運動向量般，於進行增強層之解碼時可利用進行基礎層解碼時之資訊，因此可減少壓縮圖像資訊之編碼量。亦即，解碼裝置1可使壓縮效率提高。
如此一來，解碼裝置1可一面抑制負載之增大一面提高編碼效率。
[解碼處理之流程之說明]
其次，對具有以上構成之解碼裝置1之處理加以說明。首先，參照圖7之流程圖來說明增強層之解碼處理之流程之例。增強層之解碼亦基本上與基礎層之解碼處理同樣地利用以H.264之規格為標準之方法來進行。
然而，於進行增強層之解碼處理時，具有將同一時刻之基礎層之圖像用於預測圖像之生成的模式，該點與基礎層之解碼處理及H.264之規格大不相同。此外，在進行應用有本發明之增強層之解碼處理時，追加如下功能：將時間上與當前幀相同或不同之時刻的基礎層之複數個圖像用於增強層之解碼。
圖9之處理係於例如由可逆解碼電路12自記憶於蓄積緩衝器11內之資訊中讀出16×16像素之巨集區塊等之特定尺寸的圖像時開始。圖9之各步驟之處理可適當地與其他步驟之處理並行，或者與其他步驟改變順序而進行。下述各流程圖中之各步驟之處理亦相同。
於步驟S1中，可逆解碼電路12對自蓄積緩衝器11中所讀出之圖像開始進行可逆解碼處理。關於可逆解碼處理之詳情將於以下描述。可逆解碼電路12將經可逆解碼處理而生成之已量化之轉換係數輸出至反量化電路13。又，可逆解碼電路12於可逆解碼處理中，當解碼對象之圖像係幀內編碼的圖像時，將幀內預測模式資訊輸出至幀內預測電路22，當解碼對象之圖像係幀間編碼的圖像時，將運動向量與識別旗標輸出至運動預測‧補償電路21。
於步驟S2中，反量化電路13以與編碼側之量化方式對應之方式進行反量化，將轉換係數輸出至逆正交轉換電路14。於步驟S3中，逆正交轉換電路14對由反量化電路13所供給之轉換係數實施逆正交轉換，並將所得之圖像輸出至加法電路15。
於步驟S4中，加法電路15將由逆正交轉換電路14所供給之解碼圖像與由運動預測‧補償電路21或幀內預測電路22所供給之預測圖像加以合成，並將合成圖像輸出至解塊濾波器16。於步驟S5中，解塊濾波器16藉由進行濾波而去除合成圖像中所含之區塊失真，並輸出已去除區塊失真後之圖像。於步驟S6中，幀記憶體19暫時記憶由解塊濾波器16所供給之圖像。又，此時，圖像亦被保持於排序緩衝器17中。
於步驟S7中，控制電路31判定是否已對整個1幀之巨集區塊進行了以上處理，當判定為未進行處理時，注視其他的巨集區塊，反覆執行步驟S1之後的處理。
又，於步驟S7中，當判定為已對整個1幀之巨集區塊進行了處理時，處理進入至步驟S8。於步驟S8中，排序緩衝器17根據控制電路31之控制而將所生成之幀輸出至D/A轉換電路18。
於步驟S9中，D/A轉換電路18對自排序緩衝器17所供給之幀實施D/A轉換，並將類比信號輸出至外部。以上處理係以各幀為對象而進行。
其次，參照圖8之流程圖來說明可逆解碼處理之流程之例。
在可逆解碼處理開始後，於步驟S21中，預測判定電路41參照由蓄積緩衝器11所供給之壓縮圖像資訊之標頭。於步驟S22中，預測判定電路41根據該標頭中所含之表示由編碼裝置所指定之預測模式的資訊，來判定是否進行幀內預測。當藉由編碼裝置而指定幀內預測模式時，處理進入至步驟S23。
於步驟S23中，幀內預測電路22進行幀內預測而生成預測圖像，並將該預測圖像供給至加法電路15。於圖7之步驟S4中，該預測圖像會與自逆正交轉換電路14所供給之解碼圖像加以合成。
在步驟S23之處理結束時，處理進入至步驟S29。又，於步驟S22中，當判定為不進行幀內預測時，處理進入至步驟S24。
於步驟S24中，預測判定電路41根據標頭中所含之表示由編碼裝置所指定之預測模式的資訊，來判定是否進行上轉換預測。當藉由編碼裝置而指定上轉換預測模式時，處理進入至步驟S25。
於步驟S25中，運動預測.補償電路21之上轉換預測電路63進行上轉換預測而生成預測圖像，並將該預測圖像供給至加法電路15。該預測圖像於圖7之步驟S4中與自逆正交轉換電路14供給之解碼圖像合成。
若步驟S25之處理完成，則處理進入至步驟S29。又，當於步驟S24中判定為不進行上轉換預測時，處理進入至步驟S26。
於步驟S26中，預測判定電路41根據標頭中所含之表示由編碼裝置所指定之預測模式的資訊，來判定是否進行幀間預測。當藉由編碼裝置而指定幀間預測模式時，處理進入至步驟S27。
於步驟S27中，運動預測.補償電路21之單向預測電路61或雙向預測電路62進行幀間預測(單向預測或雙向預測)而生成預測圖像，並將該預測圖像供給至加法電路15。於圖7之步驟S4中，該預測圖像會與由逆正交轉換電路14所供給之解碼圖像加以合成。
在步驟S27之處理結束時，處理進入至步驟S29。又，於步驟S26中，當藉由編碼裝置而指定濾波預測模式，且判定為不進行幀間預測時，處理進入至步驟S28。
於步驟S28中，運動預測‧補償電路21之濾波預測電路64根據標頭中所含之表示濾波預測模式的資訊，來進行濾波預測而生成預測圖像，並將該預測圖像供給至加法電路15。於圖7之步驟S4中，該預測圖像會與自逆正交轉換電路14所供給之解碼圖像加以合成。在步驟S28之處理完成後，處理進入至步驟S29。
於步驟S29中，解碼處理電路42對壓縮圖像資訊之殘差信號進行解碼，將已量化之轉換係數輸出至反量化電路13。在步驟S29之處理結束時，可逆解碼處理結束，處理返回至圖7之步驟S1，執行步驟S2之後的處理。
此外，以上對根據步驟S21中所參照之壓縮圖像資訊之標頭中所含的資訊而選擇預測模式進行了說明。然而，並不限定於此，預測判定電路41例如亦可藉由解析壓縮圖像資訊之位元流而選擇適切的預測模式。此時，於步驟S21中，預測判定電路41進行壓縮圖像資訊之解析而取代參照標頭，並藉由步驟S22以後之處理，根據其解析結果而進行預測模式之選擇。
其次，參照圖9之流程圖，說明藉由圖8之步驟S28之處理所執行的濾波預測處理之流程之例。
在濾波預測處理開始後，於步驟S41中，擷取電路71自基礎層之當前幀或參照幀中擷取出運動補償圖像。於步驟S42中，差分計算電路81計算運動補償圖像之差分。於步驟S43中，上轉換電路82對步驟S42中所計算之運動補償圖像之差分進行上轉換。於步驟S44中，低通濾波電路83對在步驟S43中已進行上轉換後之差分進行低通濾波。
於步驟S45中，增益調整電路84對步驟S44之處理之低通濾波的輸出乘以係數α，進行增益調整。於步驟S46中，高通濾波電路85對步驟S44之處理之低通濾波之輸出進行高通濾波。於步驟S47中，增益調整電路86對步驟S46之處理之高通濾波的輸出乘以係數β，進行增益調整。
於步驟S48中，加法電路87將藉由步驟S45之處理而進行增益調整後之低通濾波之輸出與藉由步驟S47之處理而進行增益調整後之高通濾波之輸出相加，求出高頻率成分。
於步驟S49中，上轉換電路88對自基礎層中所擷取之運動補償圖像MC0進行上轉換。於步驟S50中，加法電路89對在步驟S49中已進行上轉換後之運動補償圖像附加步驟S48中所求出的高頻率成分而生成預測圖像。加法電路89將所生成之預測圖像供給至加法電路15。
在步驟S50之處理結束時，濾波預測處理結束，處理返回至圖8之步驟S28，執行步驟S29以後之處理。
如上所述，使用經濾波預測所生成之預測圖像進行解碼，藉此可不使處理之負載增大而獲得高精細之解碼圖像。亦即，解碼裝置1可一面抑制負載之增大一面提高編碼效率。
此外，以上對在同一解碼裝置1中進行基礎層之解碼與增強層之解碼進行了說明，但並不限定於此，亦可於兩者之解碼彼此不同之解碼裝置1中進行。然而，於該情形時，幀記憶體19亦於所有的解碼裝置中共用，且於進行增強層之解碼時可讀出基礎層之幀。
<2.第2實施形態> [編碼裝置之構成]
圖10係表示應用有本發明之編碼裝置之主要構成例的方塊圖。該編碼裝置101係與圖3之解碼裝置1對應之編碼裝置。亦即，將藉由編碼裝置101編碼而獲得之壓縮圖像資訊輸入至圖3之解碼裝置1。
編碼裝置101包括：A/D轉換電路111、排序緩衝器112、加法電路113、正交轉換電路114、量化電路115、可逆編碼電路116、及蓄積緩衝器117。又，編碼裝置101包括：速率控制電路118、反量化電路119、逆正交轉換電路120、解塊濾波器121、幀記憶體122、及模式決定電路123。進而，編碼裝置101包括：開關124、運動預測‧補償電路125、幀內預測電路126、開關127、及控制電路131。
圖像資訊被2層化(或者3層以上之多層化)為低解析度之基礎層與高解析度之增強層，各幀之圖像資訊係自低解析度之基礎層先被供給至編碼裝置101而進行編碼。該基礎層之編碼係與H.264之規格之情形同樣地進行。在基礎層之編碼結束時，增強層之圖像資訊藉由編碼裝置101而被編碼。以下，說明該增強層之編碼。
A/D轉換電路111對輸入信號實施A/D轉換，並將圖像輸出至排序緩衝器112。排序緩衝器112對應於壓縮圖像資訊之GOP(Group of Pictures，圖像群組)結構而進行幀之排序，並輸出巨集區塊等之特定單位之圖像。自排序緩衝器112所輸出之圖像被供給至加法電路113、模式決定電路123、運動預測‧補償電路125、及幀內預測電路126。
加法電路113求出自排序緩衝器112所供給之圖像、與由運動預測‧補償電路125或幀內預測電路126所生成且經由開關127所供給之預測圖像的差，並將殘差輸出至正交轉換電路114。在預測圖像接近原圖像而使此處求出之殘差越少的情況下，則按殘差所分配之編碼量可越少，因此可謂編碼效率越高。
正交轉換電路114對由加法電路113所供給之殘差實施離散餘弦轉換、K-L轉換等之正交轉換，並將藉由實施正交轉換所獲得之轉換係數輸出至量化電路115。
量化電路115隨著速率控制電路118之控制而對由正交轉換電路114所供給之轉換係數進行量化，並輸出已量化之轉換係數。經量化電路115量化後之轉換係數被供給至可逆編碼電路116與反量化電路119。
可逆編碼電路116藉由實施可變長度編碼、算術編碼等之可逆編碼而壓縮由量化電路115所供給之轉換係數，並將資訊輸出至蓄積緩衝器117。
又，可逆編碼電路116按照由模式決定電路123所供給之資訊而設定識別旗標之值，並於圖像之標頭中記述識別旗標。根據由可逆編碼電路116所記述之識別旗標，如上所述於解碼裝置1中決定預測模式。
可逆編碼電路116亦將自運動預測‧補償電路125或幀內預測電路126所供給之資訊記述於圖像之標頭。自運動預測‧補償電路125供給在進行幀間預測時所檢測到的運動向量等，自幀內預測電路126供給與所應用之幀內預測模式相關之資訊。
蓄積緩衝器117暫時記憶自可逆編碼電路116所供給之資訊，並以特定之時序作為壓縮圖像資訊而輸出。蓄積緩衝器117將產生編碼量之資訊輸出至速率控制電路118。
速率控制電路118根據由蓄積緩衝器117所輸出之編碼量來計算量化尺度，並以根據所計算之量化尺度進行量化之方式而控制量化電路115。
反量化電路119對已藉由量化電路115而量化後之轉換係數實施反量化，並將轉換係數輸出至逆正交轉換電路120。
逆正交轉換電路120對自反量化電路119所供給之轉換係數實施逆正交轉換，並將所獲得之圖像輸出至解塊濾波器121。
解塊濾波器121去除在已局部地解碼後之圖像中所出現之區塊失真，並將已去除區塊失真後之圖像輸出至幀記憶體122。
幀記憶體122記憶由解塊濾波器121所供給之圖像。記憶於幀記憶體122內之圖像係藉由模式決定電路123而被適當地讀出。
模式決定電路123根據記憶於幀記憶體122內之圖像與由排序緩衝器112所供給之原圖像，來決定進行幀內編碼抑或進行幀間編碼。又，於決定進行幀間編碼時，模式決定電路123決定單向預測模式、雙向預測模式、上轉換預測模式、濾波預測模式中之任一種模式。模式決定電路123將表示決定結果之資訊作為模式資訊而輸出至可逆編碼電路116。
於決定進行幀間編碼時，模式決定電路123將記憶於幀記憶體122內之經局部地解碼所獲得之幀經由開關124而輸出至運動預測‧補償電路125。
又，於決定進行幀間編碼時，模式決定電路123將記憶於幀記憶體122內之經局部地解碼所獲得之幀輸出至幀內預測電路126。
於進行幀間編碼時，開關124係連接於端子a11，於進行幀內編碼時，開關124係連接於端子b11。開關124之切換例如係由控制電路131所控制。
運動預測‧補償電路125根據由排序緩衝器112所供給之原圖像與自幀記憶體122所讀出之參照幀來檢測運動向量，並將檢測到的運動向量輸出至可逆編碼電路116。又，運動預測‧補償電路125使用所檢測到的運動向量與參照幀來進行運動補償，藉此生成預測圖像，並將所生成之預測圖像經由開關127而輸出至加法電路113。
幀內預測電路126根據自排序緩衝器112所供給之原圖像與經局部地解碼後記憶於幀記憶體122內之參照幀來進行幀內預測，生成預測圖像。幀內預測電路126將所生成之預測圖像經由開關127而輸出至加法電路113，將幀內預測模式資訊輸出至可逆編碼電路116。
開關127係連接於端子a12或端子b12，將藉由運動預測‧補償電路125或幀內預測電路126所生成之預測圖像輸出至加法電路113。
控制電路131對應於由模式決定電路123所決定之模式來切換開關124、127之連接等，以控制編碼裝置101之所有的動作。
圖11係表示圖10之模式決定電路123之主要構成例的方塊圖。
如圖11所示，模式決定電路123包括：幀內預測電路141、單向預測電路142、雙向預測電路143、上轉換預測電路144、濾波預測電路145、預測誤差計算電路146、及決定電路147。
於模式決定電路123中，分別以不同大小之區塊為對象而進行幀內預測、幀間預測，並根據其結果來決定以何種預測模式進行預測。就幀間預測而言，可進行單向預測模式、雙向預測模式、上轉換預測模式、及濾波預測模式之各個預測模式下的處理。
幀內預測電路141、單向預測電路142、雙向預測電路143、上轉換預測電路144、及濾波預測電路145會根據原圖像與自幀記憶體122中所讀出之圖像，以各種方法進行預測而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路146。
幀內預測電路141係以與解碼裝置1之幀內預測電路22相同之方法來進行幀內預測。單向預測電路142檢測運動向量，並根據所檢測到的運動向量而自參照幀中擷取出運動補償圖像，使用該運動補償圖像來進行單向預測，藉此生成預測圖像。亦即，單向預測電路142根據所檢測到的運動向量，以與解碼裝置1之單向預測電路61相同之方法而生成預測圖像。
雙向預測電路143檢測運動向量，並根據所檢測到的運動向量而自參照幀中擷取出運動補償圖像，使用該運動補償圖像來進行雙向預測，藉此生成預測圖像。亦即，雙向預測電路143根據檢測到的運動向量，以與解碼裝置1之雙向預測電路62相同之方法而生成預測圖像。
上轉換預測電路144將基礎層之當前幀之與增強層之當前幀之處理對象巨集區塊為相同位置的巨集區塊作為運動補償圖像，對其進行上轉換，藉此生成增強層之預測圖像。亦即，上轉換預測電路144係以與解碼裝置1之上轉換預測電路63相同之方法而生成預測圖像。
濾波預測電路145於基礎層上檢測運動向量，並根據所檢測到的運動向量而自參照幀中擷取出基礎層之運動補償圖像，使用該基礎層之運動補償圖像來進行濾波預測，藉此生成預測圖像。亦即，濾波預測電路145根據所檢測到的運動向量，以與解碼裝置1之濾波預測電路145相同之方法而生成預測圖像。
此外，幀內預測電路141或濾波預測電路145例如係以4×4像素之區塊、8×8像素之區塊、16×16像素之區塊之各自為單位來檢測運動向量或者進行預測。成為該處理單位之區塊之大小為任意。又，進行預測之區塊之種類數亦為任意。幀內預測電路141或濾波預測電路145係對各區塊而生成預測圖像，並將所生成之各預測圖像輸出至預測誤差計算電路146。
由排序緩衝器112所供給之原圖像被輸入至幀內預測電路141或濾波預測電路145、及預測誤差計算電路146。
預測誤差計算電路146針對自幀內預測電路141之各電路所供給之各個預測圖像而求出與原圖像之差，並將表示所求出之差的殘差信號輸出至決定電路147。同樣地，預測誤差計算電路146針對自單向預測電路142、雙向預測電路143、上轉換預測電路144、或濾波預測電路145所供給之各個預測圖像而求出與原圖像之差，並將表示所求出之差的殘差信號輸出至決定電路147。
決定電路147測定由預測誤差計算電路146所供給之殘差信號之強度，並決定與原圖像之差較少的預測圖像之生成中所使用之預測方法，並其作為用以生成編碼中所使用之預測圖像的預測方法。決定電路147將表示決定結果之資訊作為模式資訊而輸出至可逆編碼電路116。於模式資訊中，包含表示將哪種尺寸之區塊作為處理之單位的資訊等。
又，決定電路147於決定藉由幀間預測而生成預測圖像時(於決定進行幀間編碼時)，將自幀記憶體122中所讀出之參照幀與模式資訊一同輸出至運動預測‧補償電路125。決定電路147於決定藉由幀內預測而生成預測圖像時(於決定進行幀內編碼時)，將自幀記憶體122中所讀出之用於幀內預測之圖像與模式資訊一同輸出至幀內預測電路126。
圖12係表示圖10之運動預測‧補償電路125之主要構成例的方塊圖。
如圖12所示，運動預測‧補償電路125包括：運動向量檢測電路151、單向預測電路152、雙向預測電路153、上轉換預測電路154、及濾波電路155。除設置有運動向量檢測電路151以取代預測選擇電路51該點之外，運動預測‧補償電路125具有與圖5所示之運動預測‧補償電路21相同之構成。
運動向量檢測電路151根據自排序緩衝器112所供給之原圖像與自模式決定電路123所供給之參照幀而進行區塊匹配等，藉此來檢測運動向量。運動向量檢測電路151參照自模式決定電路123所供給之模式資訊，將參照幀輸出至單向預測電路152或濾波預測電路155中之任一個。又，運動向量檢測電路151視需要亦將運動向量輸出至參照幀之輸出目的地。
於選擇單向預測時，運動向量檢測電路151將運動向量與參照幀一同輸出至單向預測電路152，於選擇進行雙向預測時，運動向量檢測電路151將其等資訊輸出至雙向預測電路153。又，於選擇上轉換預測時，運動向量檢測電路151將作為參照幀之基礎層之當前幀之圖像輸出至上轉換預測電路154。進而，於選擇濾波預測時，運動向量檢測電路151將運動向量與基礎層之參照幀一同輸出至濾波預測電路155。
與圖5之單向預測電路61同樣地，單向預測電路152藉由進行單向預測而生成預測圖像。單向預測電路152將所生成之預測圖像輸出至加法電路113。與圖5之雙向預測電路62同樣地，雙向預測電路153藉由進行雙向預測而生成預測圖像。雙向預測電路153將所生成之預測圖像輸出至加法電路113。與圖5之上轉換預測電路63同樣地，上轉換預測電路154藉由進行上轉換預測而生成預測圖像。上轉換預測電路154將所生成之預測圖像輸出至加法電路113。
與圖5之濾波預測電路64同樣地，濾波預測電路155自基礎層之複數個參照幀中分別擷取運動補償圖像，並對擷取出的複數個運動補償圖像進行帶有上轉換之濾波預測，藉此生成預測圖像。濾波預測電路155將所生成之預測圖像輸出至加法電路113。此外，濾波預測電路155具有與圖6所示之濾波預測電路64之構成相同的構成。以下，適當地引用圖6所示之濾波預測電路64之構成來作為濾波預測電路155之構成進行說明。
藉由濾波預測所生成之預測圖像與以單向預測、雙向預測、或上轉換預測所生成之預測圖像相比，較多地含有高頻成分而成為與原圖像之差較少的圖像。因此，濾波預測按殘差所分配之編碼量可較少，故可提高編碼效率。又，濾波預測與參照增強層之幀之單向預測及雙向預測之情形相比，參照幀之解析度較小，故而例如參照幀之於幀記憶體122中之保存及自幀記憶體122中之讀出等處理之負載較小。亦即，編碼裝置101藉由使用濾波預測而可一面抑制編碼及解碼之負載之增大一面提高編碼效率。
進而，在參照幀之數量至少為2片時可進行濾波預測，因此可不使處理變得複雜而實現如此之編碼效率之提高。例如，使幀間預測中所使用之參照幀數變多以生成精度高的預測圖像，藉由使用該精度高的預測圖像亦可減小與原圖像之殘差，從而可提高編碼效率，但此時因參照幀數變多而導致處理變得複雜。
再者，於選擇預測方法時，亦可考慮預測時必要之運動向量及編碼模式之資訊之編碼量而將與編碼量相應之權重附加於殘差信號之強度以選擇最佳的預測方法。藉此，可更進一步改善編碼效率。又，為了簡化編碼處理，亦可利用所輸入之原圖像之時間‧空間方向之特徵量而適應性地選擇預測方法。
[編碼處理之流程之說明]
其次，對具有如上所述之構成之編碼裝置101之處理加以說明。
參照圖13之流程圖，來說明對於編碼裝置101之增強層之編碼處理。該處理係於巨集區塊等之特定單位之圖像自排序緩衝器112中輸出時開始。此外，對於基礎層之編碼處理與如上所述之基於H.264之規定之方法相同，故省略其說明。
於步驟S101中，加法電路113求出自排序緩衝器112所供給之圖像與藉由運動預測‧補償電路125或幀內預測電路126所生成之預測圖像之差，並將殘差輸出至正交轉換電路114。
於步驟S102中，正交轉換電路114對自加法電路113所供給之殘差實施正交轉換，並將轉換係數輸出至量化電路115。
於步驟S103中，量化電路115對自正交轉換電路114所供給之轉換係數進行量化，並輸出已量化之轉換係數。
於步驟S104中，反量化電路119對已藉由量化電路115而量化之轉換係數實施反量化，並將轉換係數輸出至逆正交轉換電路120。
於步驟S105中，逆正交轉換電路120對自反量化電路119所供給之轉換係數實施逆正交轉換，並將所得之圖像輸出至解塊濾波器121。
於步驟S106中，解塊濾波器121藉由進行濾波而去除區塊失真，並將已去除區塊失真後之圖像輸出至幀記憶體122。
於步驟S107中，幀記憶體122記憶由解塊濾波器121所供給之圖像。
於步驟S108中，由模式決定電路123而進行模式決定處理。利用模式決定處理來決定以何種預測模式而生成預測圖像。模式決定處理之詳情將於以下描述。
於步驟S109中，運動預測‧補償電路125或幀內預測電路126係以步驟S108中所決定之模式而生成預測圖像。該預測圖像被利用於步驟S101之處理中。
於步驟S110中，可逆編碼電路116將自量化電路115所供給之轉換係數壓縮並輸出至蓄積緩衝器117。又，可逆編碼電路116根據由模式決定電路123所供給之資訊而於圖像之標頭中記述識別旗標，或者於圖像之標頭中記述由運動預測‧補償電路125所供給之運動向量。
於步驟S111中，蓄積緩衝器117暫時記憶自可逆編碼電路116所供給之資訊。
於步驟S112中，控制電路31判定是否已對整個1幀之巨集區塊進行了以上處理，當判定為未進行處理時，注視其他的巨集區塊，反覆進行步驟S101之後的處理。
另一方面，於步驟S112中，當判定為已對整個1幀之巨集區塊進行了處理時，於步驟S113中，蓄積緩衝器117根據控制電路131之控制而輸出壓縮圖像資訊。以上之處理係以各幀為對象而進行。
其次，參照圖14之流程圖來說明於圖13之步驟S108中所執行的模式決定處理。
於步驟S131中，幀內預測電路141或濾波預測電路145分別以不同大小之區塊為對象而進行幀內預測或幀間預測，生成預測圖像。所生成之預測圖像被供給至預測誤差計算電路146。
於步驟S132中，預測誤差計算電路146針對由幀內預測電路141或濾波預測電路145所供給之各個預測圖像而求出與原圖像之差。預測誤差計算電路146將殘差信號輸出至決定電路147。
於步驟S133中，決定電路147根據由預測誤差計算電路146所供給之殘差信號之強度來決定用以生成供給至加法電路113之預測圖像的預測方法。
於步驟S134中，決定電路147將與所決定之預測方法相關之資訊即模式資訊輸出至可逆編碼電路116。其後，返回至圖13之步驟S108，進行此後之處理。
其次，參照圖15之流程圖，以圖13之步驟S109中所執行的生成預測圖像之處理為例，來說明藉由濾波預測而生成預測圖像之濾波預測處理之流程之例。
如上所述，於圖13之步驟S109中，以由步驟S108之模式決定處理所決定之模式來生成預測圖像。因此，於步驟S108中，當已決定濾波預測模式時，會於步驟S109中執行如圖15所示之濾波預測處理。
在濾波預測處理開始後，於步驟S151中，運動向量檢測電路151根據原圖像與參照幀而檢測運動向量。
在檢測到運動向量時，使用該檢測到的運動向量，以與圖9之步驟S41至步驟S50之各處理相同之方式來執行步驟S152至步驟S161之各處理。亦即，根據運動向量而於基礎層之參照幀中生成運動補償圖像，並對該運動補償圖像進行帶有上轉換之濾波處理而生成增強層之預測圖像。
在步驟S161之處理結束時，濾波預測處理結束，處理返回至圖13之步驟S109，執行步驟S110以後之處理。
此外，於步驟S108之處理中當選擇其他模式時，運動預測‧補償電路125或幀內預測電路126會以所選擇之其他模式而生成預測圖像。該等處理係按照H.264/SVC規格而進行，故省略其說明。
如上所述，在進行考慮空間的延展性之編碼時，藉由更有效地利用動態圖像信號行中包含之時間關聯而可一面抑制例如編碼或解碼等處理之負載之增大，一面提高編碼效率。
<3.第3實施形態> [解碼處理之概要]
圖16係說明應用有本發明之解碼處理之概要之另一例的示圖。如圖16所示，參照幀之個數量亦可為3個以上。
於圖16之例中，將時間上自當前幀起算的1個時刻前、再1個時刻前、及進而又1個時刻前之3片幀(Ref0、Ref1、Ref2)作為參照幀。將當前幀之1個時刻前之幀作為參照幀Ref0，將參照幀Ref0之1個時刻前之幀作為參照幀Ref1，將參照幀Ref1之1個時刻前之幀作為參照幀Ref2。
[濾波電路之構成]
圖17係表示如上所述參照3片幀時的圖6之濾波電路之構成例的方塊圖。
如圖17所示，濾波電路211包括濾波電路221與濾波電路222。濾波電路221與濾波電路222分別具有如圖6所示之構成。即，濾波電路211藉由級聯連接用於2輸入1輸出時之濾波電路72而作為3輸入1輸出之電路進行動作。
再者，此時，擷取電路71自3個參照幀(Ref0、Ref1、Ref2)之各個中擷取運動補償圖像。亦即，例如擷取電路71自參照幀Ref0中擷取運動補償圖像MC0。又，例如擷取電路71自參照幀Ref1中擷取運動補償圖像MC1。進而，例如擷取電路71自參照幀Ref2中擷取運動補償圖像MC2。
運動補償圖像MC1、MC2被輸入至濾波電路221，運動補償圖像MC0被輸入至濾波電路222。
濾波電路221將運動補償圖像MC1、MC2分別作為圖6等中之運動補償圖像MC0、MC1而進行濾波，並將濾波之結果即中間輸出X輸出至濾波電路222。
濾波電路221將中間輸出X與運動補償圖像MC0分別作為圖6等中之運動補償圖像MC0、MC1而進行濾波，並將濾波之結果作為預測圖像而輸出。
亦可將處理上述3片參照幀之濾波電路211代替濾波電路72而設置於圖3之解碼裝置1及圖10之編碼裝置101中。
此外，濾波電路221與濾波電路222各自之構成亦可不同而不必具有相同之構成。又，考慮濾波前後之輸入輸出特性，濾波器所用之參數(例如α、β)亦可不同。
亦可將自位於前後之3片參照幀中所擷取出的運動補償圖像而非自時間上在一個方向上之參照幀中擷取出的運動補償圖像作為對象，在濾波電路211中進行濾波。
此外，當以當前幀之時刻作為基準並以位於前後之幀作為參照幀來使用時，亦可與參照幀之時間方向或距離對應地來動態地變更濾波時之分接點係數等參數。
自編碼裝置101對解碼裝置1進行之壓縮圖像資訊之傳送係經由光碟、磁碟、快閃記憶體等之記錄媒體、衛星廣播、電纜TV、網際網路、行動電話機網路等之各種媒體而進行。
另外，以上對在增強層之編碼‧解碼時自基礎層之參照幀中擷取運動補償圖像進行了說明，但運動補償圖像亦可自基礎層以外之任意層中擷取。
例如，壓縮圖像資訊形成包含第1層至第3層之3層結構，第1層係基礎層，且為解析度最低之層，第2層這解析度次於第1層之層，第3層為解析度最高之層。此時，於第3層之濾波預測時，運動補償圖像亦可自非基礎層之第2層之參照幀中擷取。當然，亦可自作為基礎層之第1層之參照幀中擷取運動補償圖像。
<4.第4實施形態> [解碼處理之概要]
又，亦可自與生成之預測圖像相同之層的參照幀中擷取運動補償圖像。例如，對於上述3層結構之情形，亦可於第3層之濾波預測時自第3層之參照幀中擷取低解析度之運動補償圖像。
圖18係說明此時之解碼處理之概要的示圖。
於圖18所示之例中，參照幀Ref0及參照幀Ref1係與預測圖像相同之增強層之幀。然而，自各參照幀中擷取之運動補償圖像之解析度為較預測圖像低之解析度。
例如，與以先前之H.264規格之方法相同，於增強層之各參照幀中，與處理對象巨集區塊對應之位置(範圍)係藉由運動向量而特定，該範圍內之像素值係空開特定數間隔地作為運動補償圖像被擷取。又，例如，與先前之以H.264規格之方法相同，於增強層之各參照幀中，與處理對象巨集區塊對應之位置係藉由運動向量而特定，以該位置為中心的較處理對象巨集區塊之尺寸更小之範圍係作為運動補償圖像被擷取。當然，亦可為除此以外之方法。
亦即，所擷取之運動補償圖像可為較預測圖像更低之解析度，且其擷取方法為任意，又，運動補償圖像亦可自任意層中擷取。
與上述其他情形相同，對如此所擷取之低解析度之運動補償圖像進行含有上轉換之濾波處理，生成所需解析度之預測圖像。
由於僅僅是生成運動補償圖像之層為不同，故此時之編碼裝置1之構成與參照圖3至圖6說明時之構成基本相同。然而，於幀記憶體19內，保持有增強層之幀，且擷取電路71係自幀記憶體19中讀出增強層之圖像。
[解碼處理之流程之說明]
因此，解碼處理及可逆解碼處理之流程亦與參照圖7及圖8之流程圖所說明之情形基本相同地實行。參照圖19之流程圖來說明此時之濾波預測電路64進行濾波預測處理的流程。該流程圖對應於圖9之流程圖。
在濾波預測處理開始後，於步驟S341中，擷取電路71自增強層之參照幀中以低解析度而擷取運動補償圖像。步驟S342至步驟S350之各處理係與圖9之步驟S42至步驟S50之各處理同樣地執行，故與圖9之情形同樣地生成預測圖像。
在步驟S350之處理結束時，濾波預測處理結束，處理返回至圖8之步驟S28，並進入至步驟S29。
如此，當自增強層之幀中擷取運動補償圖像時，解碼裝置1亦可藉由更有效地利用動態圖像信號行中所包含之時間關聯而生成高解析度且高精度之預測圖像，從而可提高編碼效率。又，可使運動補償圖像較預測圖像而為更低之解析度，故解碼裝置1例如可減少自幀記憶體中讀出之圖像資訊量，從而可一面抑制編碼或解碼等處理之負載的增大一面提高編碼效率。
[編碼處理之流程之說明]
再者，與此時之解碼裝置1對應之編碼裝置101的構成係與參照圖10至圖12所說明之情形基本相同。然而，於幀記憶體122內，保持有增強層之幀，且模式決定處理123係自幀記憶體19中讀出增強層之圖像。
此時亦與圖11及圖12之情形相同，模式決定處理123之濾波預測電路145及運動預測‧補償電路125之濾波預測電路155之構成係與圖6所示之濾波預測電路64之構成相同。然而，與解碼裝置1之情形相同，擷取電路71係自增強層之幀中擷取運動補償圖像。
因此，編碼處理及模式決定處理之流程係與參照圖13及圖14之流程圖所說明之情形基本相同地執行。參照圖20之流程圖來說明此時之濾波預測電路155進行濾波預測處理之流程。該流程圖對應於圖15之流程圖。
在濾波預測處理開始後，於步驟S451中，與圖15之步驟S151之情形相同，運動向量檢測電路151檢測運動向量。於步驟S452中，擷取電路71自增強層之參照幀中以低解析度而擷取運動補償圖像。步驟S453至步驟S461之各處理係與圖15之步驟S153至步驟S161之各處理同樣地執行，故與圖15之情形同樣地生成預測圖像。
在步驟S461之處理結束時，濾波預測處理結束，處理返回至圖13之步驟S109，並進入至步驟S110。
如此，當自增強層之幀中擷取運動補償圖像時，編碼裝置101亦可藉由更有效地利用動態圖像信號行中所包含之時間關聯而生成高解析度且高精度之預測圖像，從而可提高編碼效率。又，可使運動補償圖像較預測圖像而為更低之解析度，故編碼裝置101例如可減少自幀記憶體中讀出之圖像資訊量，從而可一面抑制編碼或解碼等處理之負載的增大一面提高編碼效率。
即，該方法亦可應用於以不考慮空間延展性之單層結構來對圖像資訊進行編碼‧解碼之情形。亦即，亦可應用於H.264/AVC規格之編碼‧解碼。
此外，如上所述，可於進行運動補償圖像擷取之時將解析度調整為低解析度，故亦可於複數個層中進行運動補償圖像之擷取。然而，由於在濾波預測處理中求出運動補償圖像之差分，故而在此之前，必需使各運動補償圖像之解析度彼此一致。
上述一系列之處理可由硬體而執行，亦可由軟體而執行。此時，例如亦可構成為如圖21所示之個人電腦。
於圖21中，個人電腦500之CPU(Central Processing Unit，中央處理單元)501係根據記憶於ROM(Read Only Memory，唯讀記憶體)502中之程式、或者自記憶部513載入至RAM(Random Access Memory，隨機存取記憶體)503中之程式來執行各種處理。於RAM503中，亦適當地記憶有CPU501執行各種處理時所需之資料等。
CPU501、ROM502、及RAM503係經由匯流排504而相互連接。於該匯流排504上亦連接有輸入輸出介面510。
於輸入輸出介面510上連接有：包含鍵盤、滑鼠等之輸入部511；包含CRT(Cathode Ray Tube，陰極射線管)及LCD(Liquid Crystal Display，液晶顯示器)等之顯示器；包含揚聲器等之輸出部512；由硬碟等所構成之記憶部513；及由調制解調器等所構成之通訊部514。通訊部514係經由包含網際網路之網路而進行通訊處理。
於輸入輸出介面510上，視需要而另連接有驅動器515，且適當地安裝有磁碟、光碟、磁光碟、或半導體記憶體等之可移動媒體521，自其等中所讀出之電腦程式視需要而被安裝於記憶部513。
當由軟體來執行上述一系列之處理時，自網路或記錄媒體而安裝構成該軟體之程式。
例如圖21所示，該記錄媒體係與裝置本體不同地另外藉由可移動媒體521所構成，上述可移動媒體521係為了對使用者發送程式而分配，其包含記錄有程式之磁碟(含軟碟)、光碟(包括CD-ROM(Compact Disc-Read Only Memory，緊密光碟-唯讀記憶體)、DVD(Digital Versatile Disc，數位多功能光碟))、磁光碟(包括MD(Mini Disc，迷你磁碟))、或者半導體記憶體等，不僅如此，該記錄媒體亦可由以預先併入裝置本體中之狀態而發送給使用者之記錄有程式之ROM502及記憶部513中所含的硬碟等所構成。
此外，電腦所執行之程式可為按本說明書中所說明之順序以時間序列來進行處理之程式，亦可為並列地或者以執行調用時等必要的時序來進行處理之程式。
又，於本說明書中，對記錄於記錄媒體中之程式進行記述之步驟當然包括按所記載之順序以時間序列執行之處理，而且亦包括即便未必以時間序列來處理亦會並列地或個別地執行之處理。
又，於本說明書中，所謂系統，係指藉由複數個元件(裝置)所構成之整個裝置。
又，亦可將以上作為1個裝置(或處理部)所說明之構成加以分割而構成為複數個裝置(或處理部)。相反地，亦可將以上作為複數個裝置(或處理部)所說明之構成加以組合而構成為1個裝置(或處理部)。又，當然亦可對各裝置(或各處理部)之構成附加除上述以外之構成。此外，若系統全體之構成及動作實質上相同，則可於其他裝置(或其他處理部)之構成中包含某裝置(或處理部)之構成之一部分。亦即，本發明之實施形態並不限定於上述實施形態，於不脫離本發明之主旨之範圍內可進行各種變更。
例如，上述解碼裝置1或編碼裝置101可應用於任意之電子機器。以下說明其例。
圖22係表示使用有應用本發明之解碼裝置1之電視接收機之主要構成例的方塊圖。
圖22所示之電視接收機1000包括：地面波調諧器1013、視訊解碼器1015、影像信號處理電路1018、圖形生成電路1019、面板驅動電路1020、及顯示面板1021。
地面波調諧器1013係經由天線而接收地面類比傳送之廣播信號，進行解調後獲取影像信號，並將其供給至視訊解碼器1015。視訊解碼器1015對由地面波調諧器1013所供給之影像信號實施解碼處理，並將所獲得之數位成分信號供給至影像信號處理電路1018。
影像信號處理電路1018對由視訊解碼器1015所供給之影像資料實施雜訊去除等之特定之處理，並將所獲得之影像資料供給至圖形生成電路1019。
圖形生成電路1019生成顯示於顯示面板1021上之節目之影像資料、或者經由網路所供給之基於應用之處理的圖像資料等，並將所生成之影像資料或圖像資料供給至面板驅動電路1020。又，圖形生成電路1019亦適當地進行如下處理：生成用於顯示由使用者在項目之選擇等時所利用之畫面的影像資料(圖形)，並使其與節目的影像資料重疊，將以此獲得之影像資料供給至面板驅動電路1020。
面板驅動電路1020根據自圖形生成電路1019所供給之資料而驅動顯示面板1021，使節目之影像或上述的各種畫面顯示於顯示面板1021。
顯示面板1021包括LCD(Liquid Crystal Display，液晶顯示器)等，隨著面板驅動電路1020之控制而顯示節目之影像等。
又，電視接收器1000亦包括：音頻A/D(Analog/Digital)轉換電路1014、音頻信號處理電路1022、回波消除/音頻合成電路1023、音頻放大電路1024、及揚聲器1025。
地面波調諧器1013藉由對所接收到的廣播信號進行解調，不僅獲取影像信號，亦獲取音頻信號。地面波調諧器1013將所獲取之音頻信號供給至音頻A/D轉換電路1014。
音頻A/D轉換電路1014對由地面波調諧器1013所供給之音頻信號實施A/D轉換處理，將所獲得之數位音頻信號供給至音頻信號處理電路1022。
音頻信號處理電路1022對由音頻A/D轉換電路1014所供給之音頻資料實施雜訊去除等之特定之處理，並將所獲得之音頻資料供給至回波消除/音頻合成電路1023。
回波消除/音頻合成電路1023將由音頻信號處理電路1022所供給之音頻資料供給至音頻放大電路1024。
音頻放大電路1024對由回波消除/音頻合成電路1023所供給之音頻資料實施D/A轉換處理、放大處理，並於調整為特定之音量後，將音頻自揚聲器1025中輸出。
此外，電視接收機1000亦包括數位調諧器1016及MPEG解碼器1017。
數位調諧器1016經由天線而接收數位傳送(地面數位傳送、BS(Broadcasting Satellite，廣播衛星)/CS(Communications Satellite，通信衛星)數位傳送)之廣播信號，並進行解調，獲取MPEG-TS(Moving Picture Experts Group-Transport Stream，動態影像專家群-傳輸流)，將其供給至MPEG解碼器1017。
MPEG解碼器1017解除對由數位調諧器1016供給之MPEG-TS所施加的擾碼，並擷取包含成為再生對象(視聽對象)之節目之資料的串流。MPEG解碼器1017對構成所擷取之串流之音頻封包進行解碼，將所獲得之音頻資料供給至音頻信號處理電路1022，並且對構成串流之影像封包進行解碼，將所獲得之影像資料供給至影像信號處理電路1018。又，MPEG解碼器1017將自MPEG-TS所擷取之EPG(Electronic Program Guide，電子節目表)資料經由未圖示之路徑而供給至CPU1032。
電視接收機1000使用上述解碼裝置1作為如此對影像封包進行解碼之MPEG解碼器1017。此外，由電視台等發送之MPEG-TS藉由編碼裝置101而被編碼。
與解碼裝置1之情形相同，MPEG解碼器1017藉由對基礎層中之複數個參照面之圖像進行濾波來生成增強層中之當前區塊之預測圖像。因此，MPEG解碼器1017能較空間性之上採樣濾波器更有效地利用圖像行中之信號成分。此結果為，與利用基礎層之當前幀之圖像的藉由先前之上轉換預測所生成之預測圖像相比，該預測圖像具有空間上更高之頻率成分且可減少預測殘差。亦即，可使增強層中之編碼圖片之編碼量減少，從而能有助於編碼效率之改善。
此外，於該濾波預測中並未參照時間上不同之幀中之增強層的解碼圖像，故可減少編碼所需之處理量、暫時記憶容量、及來自記憶體之讀出資訊量等，從而可減少安裝所花費之成本。又，亦可降低消耗電力。
與由視訊解碼器1015所供給之影像資料之情形相同，由MPEG解碼器1017所供給之影像資料在影像信號處理電路1018中被實施特定之處理，於圖形生成電路1019中，將所生成之影像資料等適當地重疊，並經由面板驅動電路1020而供給至顯示面板1021，顯示該圖像。
與由音頻A/D轉換電路1014所供給之音頻資料之情形相同，由MPEG解碼器1017所供給之音頻資料在音頻信號處理電路1022中實施特定之處理，並經由回波消除/音頻合成電路1023而供給至音頻放大電路1024，實施D/A轉換處理及放大處理。其結果為，被調整成特定音量之音頻會自揚聲器1025中輸出。
又，電視接收機1000亦包括麥克風1026、及A/D轉換電路1027。
A/D轉換電路1027接收藉由設置於電視接收機1000上之作為音頻會話用者之麥克風1026所取入之使用者的音頻信號，並對接收到的音頻信號實施A/D轉換處理，將所獲得之數位音頻資料供給至回波消除/音頻合成電路1023。
在自A/D轉換電路1027而供給電視接收機1000之使用者(使用者A)之音頻資料時，回波消除/音頻合成電路1023以使用者A之音頻資料為對象而進行回波消除，使與其他音頻資料合成等所獲得之音頻資料經由音頻放大電路1024而自揚聲器1025輸出。
進而，電視接收機1000亦包括：音頻編解碼器1028、內部匯流排1029、SDRAM(Synchronous Dynamic Random Access Memory，同步動態隨機存取記憶體)1030、快閃記憶體1031、CPU1032、USB(Universal Serial Bus，通用串列匯流排)介面(I/F，interface)1033、及網路介面1034。
A/D轉換電路1027接收藉由設置於電視接收機1000上之作為音頻會話用者之麥克風1026所取入之使用者的音頻信號，並對接收到的音頻信號實施A/D轉換處理，將所獲得之數位音頻資料供給至音頻編解碼器1028。
音頻編解碼器1028將由A/D轉換電路1027所供給之音頻資料轉換為用於經由網路進行發送之特定格式之資料，並經由內部匯流排1029而供給至網路介面1034。
網路介面1034係經由安裝於網路端子1035上之電纜而連接於網路。網路介面1034例如對連接於該網路之其他的裝置發送由音頻編解碼器1028所供給之音頻資料。又，網路介面1034例如經由網路端子1035而接收由經網路而連接之其他的裝置所發送之音頻資料，並將其經由內部匯流排1029而供給至音頻編解碼器1028。
音頻編解碼器1028將自網路介面1034所供給之音頻資料轉換為特定格式之資料，並將其供給至回波消除/音頻合成電路1023。
回波消除/音頻合成電路1023以自音頻編解碼器1028所供給之音頻資料為對象來進行回波消除，並與其他的音頻資料加以合成等，將以此所獲得之音頻資料經由音頻放大電路1024而自揚聲器1025輸出。
SDRAM1030係於CPU1032執行處理時記憶必要的各種資料。
快閃記憶體1031記憶由CPU1032所執行之程式。記憶於快閃記憶體1031中之程式係於電視接收器1000啟動時等之特定之時刻由CPU1032所讀出。快閃記憶體1031中亦記憶有經由數位傳送而獲取之EPG資料、經由網路而自特定之伺服器獲取之資料等。
例如，於快閃記憶體1031中，記憶有包含在CPU1032之控制下經由網路而自特定之伺服器所獲取之內容資料的MPEG-TS。快閃記憶體1031例如在CPU1032之控制下將該MPEG-TS經由內部匯流排1029而供給至MPEG解碼器1017。
與自數位調諧器1016所供給之MPEG-TS之情形相同，MPEG解碼器1017處理該MPEG-TS。如上所述，電視接收器1000可經由網路而接收包含影像及音頻等之內容資料，並使用MPEG解碼器1017進行解碼，從而顯示該影像或者輸出音頻。
又，電視接收器1000亦包括接收自遙控器1051發送之紅外線信號之受光部1037。
受光部1037接收來自遙控器1051之紅外線，並對其進行解調，將以此所獲得之表示使用者操作內容之控制編碼輸出至CPU1032。
CPU1032執行記憶於快閃記憶體1031中之程式，並根據自受光部1037所供給之控制編碼等而控制電視接收器1000全體之動作。CPU1032與電視接收器1000之各部分係經由未圖示之路徑而連接。
USB介面1033係與經由安裝於USB端子1036上之USB電纜而連接的電視接收器1000外部之機器之間進行資料之發送接收。網路介面1034經由安裝於網路端子1035上之電纜而連接於網路，亦與連接於網路之各種裝置進行音頻資料以外之資料之發送接收。
電視接收機1000使用解碼裝置1作為MPEG解碼器1017，因而於對構成串流之影像封包進行解碼時可不使負載增大而獲得高精細之解碼圖像。亦即，電視接收機1000可一面抑制負載之增大一面提高編碼效率。
圖23係表示使用有應用本發明之解碼裝置1及編碼裝置101之行動電話機之主要構成例的方塊圖。
圖23所示之行動電話機1100包括：總括地控制各部之主控制部1150、電源電路部1151、操作輸入控制部1152、圖像編碼器1153、相機介面部1154、LCD控制部1155、圖像編碼器1156、解多工部(demultiplexing)1157、記錄再生部1162、調變解調電路部1158、及音頻編解碼器1159。該等係經由匯流排1160而相互連接。
又，行動電話機1100包括操作鍵1119、CCD(Charge Coupled Devices，電荷耦合元件)相機1116、液晶顯示器1118、記憶部1123、發送接收電路部1163、天線1114、麥克風(麥克風)1121、及揚聲器1117。
在經使用者之操作而終話及電源鍵接通之狀態時，電源電路部1151自電池組對各部供給電力藉以啟動行動電話機1100而成為可動作之狀態。
行動電話機1100根據包含CPU、ROM及RAM等之主控制部1150之控制，以音頻通話模式或資料通訊模式等之各種模式來進行音頻信號之發送接收、電子郵件或圖像資料之發送接收、圖像攝影、或資料記錄等之各種動作。
例如，於音頻通話模式下，行動電話機1100將麥克風(話筒)1121所採集之音頻信號藉由音頻編解碼器1159而轉換為數位音頻資料，並利用調變解調電路部1158對其進行展頻處理，利用發送接收電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話機1100將經該轉換處理所獲得之發送用信號經由天線1114而發送至未圖示之基地台送。傳送至基地台之發送用信號(音頻信號)經由公眾電話網路而被供給至通話對象之行動電話機。
又，例如，於音頻通話模式下，行動電話機1100將天線1114所接收到的接收信號藉由發送接收電路部1163進行放大，進而進行頻率轉換處理及類比數位轉換處理，利用調變解調電路部1158進行解展頻處理，並利用音頻編解碼器1159轉換為類比音頻信號。行動電話機1100將經該轉換所獲得之類比音頻信號自揚聲器1117輸出。
進而，例如，於資料通訊模式下發送電子郵件時，行動電話機1100會於操作輸入控制部1152來接受經操作鍵1119之操作所輸入之電子郵件之文本資料。行動電話機1100於主控制部1150處理該文本資料，並經由LCD控制部1155而作為圖像顯示於液晶顯示器1118。
又，行動電話機1100於主控制部1150根據操作輸入控制部1152所受理之文本資料或使用者指示等而生成電子郵件資料。行動電話機1100對該電子郵件資料藉由調變解調電路部1158進行展頻處理，並利用發送接收電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話機1100將經該轉換處理所獲得之發送用信號經由天線1114而發送至未圖示之基地台。傳送至基地台之發送用信號(電子郵件)經由網路及郵件伺服器等而被供給至特定之目的地。
又，例如，於資料通訊模式下接收電子郵件時，行動電話機1100會利用發送接收電路部1163來經由天線1114而接收自基地台所發送之信號，並進行放大，進而進行頻率轉換處理及類比數位轉換處理。行動電話機1100利用調變解調電路部1158來對該接收信號進行解展頻處理而恢原為原先的電子郵件資料。行動電話機1100將已恢復之電子郵件資料經由LCD控制部1155而顯示於液晶顯示器1118。
此外，行動電話機1100亦可將所接收到的電子郵件資料經由記錄再生部1162而記錄(記憶)於記憶部1123。
該記憶部1123為可覆寫之任意之記憶媒體。記憶部1123可為例如RAM或內置型快閃記憶體等之半導體記憶體，亦可為硬碟，還可為磁碟、磁光碟、光碟、USB記憶體、或記憶卡等之可移動媒體。當然，亦可為除該等以外者。
進而，例如，於資料通訊模式下發送圖像資料時，行動電話機1100透過攝像而利用CCD相機1116來生成圖像資料。CCD相機1116包括透鏡或光圈等之光學元件與作為光電轉換元件之CCD，對被攝體進行攝像，將所接收到的光之強度轉換為電氣信號，生成被攝體圖像之圖像資料。CCD相機1116將該圖像資料經由相機介面部1154並利用圖像編碼器1153進行編碼，轉換成編碼圖像資料。
行動電話機1100使用上述編碼裝置101來作為進行該種處理之圖像編碼器1153。與編碼裝置101之情形相同，圖像編碼器1153在預測圖像之生成時使用濾波預測。藉此，與以單向預測、雙向預測、或上轉換預測所生成之預測圖像相比，較多地含有高頻成分而可獲得與原圖像之差較少的預測圖像。因此，按殘差所分配之編碼量可較少，從而可提高編碼效率。與參照增強層之幀之單向預測及雙向預測之情形相比，參照幀之解析度較小，故而例如參照幀之於幀記憶體122中之保存及自幀記憶體122中之讀出等處理之負載較小。進而，在參照幀之數量至少為2片時可進行濾波預測，因此可不使處理變得複雜而實現如此之編碼效率之提高。
再者，與此同時，行動電話機1100將CCD相機1116於攝像中由麥克風(話筒)1121所採集之音頻在音頻編解碼器1159中進行類比數位轉換，進而進行編碼。
行動電話機1100於解多工部1157將自圖像編碼器1153所供給之編碼圖像資料、與自音頻編解碼器1159所供給之數位音頻資料以特定之方式進行多工化。行動電話機1100將其結果所獲得之多工化資料利用調變解調電路部1158進行展頻處理，並利用發送接收電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話機1100將經該轉換處理所獲得之發送用信號經由天線1114而發送至未圖示之基地台。傳送至基地台之發送用信號(圖像資料)經由網路等而被供給至通訊對象。
再者，於不發送圖像資料之情形時，行動電話機1100亦可不經由圖像編碼器1153而是經由LCD控制部1155來使由CCD相機1116所生成之圖像資料顯示於液晶顯示器1118上。
又，例如，於資料通訊模式下接收鏈接於簡易主頁等之動態圖像文檔之資料時，行動電話機1100會經由天線1114而以發送接收電路部1163來接收自基地台所發送之信號，並進行放大，進而進行頻率轉換處理及類比數位轉換處理。行動電話機1100利用調變解調電路部1158對該接收到的信號進行解展頻處理而恢復為原先之多工化資料。行動電話機1100於解多工部1157中對該多工化資料進行分解，分為編碼圖像資料與音頻資料。
行動電話機1100於圖像解碼器1156中對編碼圖像資料進行解碼，藉以生成再生動態圖像資料，並使其經由LCD控制部1155而顯示於液晶顯示器1118上。藉此，例如使鏈接於簡易主頁之動態圖像文檔中所含之動畫資料顯示於液晶顯示器1118。
行動電話機1100使用上述解碼裝置1來作為進行該種處理之圖像解碼器1156。亦即，與解碼裝置1之情形相同，圖像解碼器1156藉由對基礎層中之複數個參照面之圖像進行濾波而生成增強層中之當前區塊之預測圖像。因此，較空間性之上採樣濾波器而言，圖像解碼器1156能更有效地利用圖像行中之信號成分。此結果為，與利用基礎層之當前幀之圖像的藉由先前之上轉換預測所生成之預測圖像相比，該預測圖像具有空間上更高之頻率成分且可減少預測殘差。亦即，可使增強層中之編碼圖片之編碼量減少，從而能有助於編碼效率之改善。
進而，於該濾波預測中並未參照時間上不同之幀中之增強層的解碼圖像，故可減少編碼所需之處理量、暫時記憶容量、及來自記憶體之讀出資訊量等，從而可減少安裝所花費之成本。又，亦可降低消耗電力。
此時，行動電話機1100同時於音頻編解碼器1159中將數位音頻資料轉換為類比音頻信號，並將其自揚聲器1117輸出。藉此，例如鏈接於簡易主頁之動態圖像文檔中所含之音頻資料可再生。
再者，與電子郵件之情形相同，行動電話機1100亦可將所接收到的鏈接於簡易主頁等之資料經由記錄再生部1162而記錄(記憶)於記憶部1123。
又，行動電話機1100可於主控制部1150中對經CCD相機1116攝像所獲得之二維碼進行解析，獲取記錄於二維碼中之資訊。
此外，行動電話機1100可於紅外線通訊部1181透過紅外線而與外部之機器進行通訊。
行動電話機1100由於使用編碼裝置101來作為圖像編碼器1153，故而在對例如CCD相機1116中所生成之圖像資料進行編碼並傳送時會進行考慮空間延展性之編碼，此時藉由更有效地利用動態圖像信號行中所包含之時間關聯而可一面抑制例如編碼或解碼等處理之負載之增大，一面提高編碼效率。
又，行動電話機1100由於使用解碼裝置1來作為圖像解碼器1156，故而在接收例如鏈接於簡易主頁等之動態圖像文檔之資料(編碼資料)時之解碼中，可不使處理之負載增大而獲得高精細之解碼圖像。亦即，行動電話機1100可一面抑制負載之增大一面提高編碼效率。
此外，以上，說明了行動電話機1100使用CCD相機1116之情形，但亦可代替該CCD相機1116而使用一種應用有CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化半導體)之影像感測器(CMOS影像感測器)。此時，亦與使用CCD相機1116之情形相同，行動電話機1100可對被攝體進行攝像，生成被攝體圖像之圖像資料。
又，以上說明了行動電話機1100，但只要係例如PDA(Personal Digital Assistants，個人數位助理)、智慧型手機、UMPC(Ultra Mobile Personal Computer，超級移動個人電腦)、上網本(Netbook)、筆記型個人電腦等之與該行動電話機1100具有相同之攝像功能或通訊功能之裝置，則無論何種裝置，均可與行動電話機1100之情形同樣地應用解碼裝置1及編碼裝置101。
圖24係表示使用有應用本發明之解碼裝置1及編碼裝置101之硬碟錄影機之主要構成例的方塊圖。
圖24所示之硬碟錄影機(HDD錄影機)1200係如下所述之裝置：將由調諧器接收到的自衛星或地面之天線等發送之廣播信號(電視信號)中所包含的播放節目之音訊資料與視訊資料保存於內置的硬碟中，並將該保存之資料以與使用者之指示相應之時序來提供給使用者。
硬碟錄影機1200例如可自廣播信號中擷取音訊資料與視訊資料，對其等進行適當解碼，並記憶於內置的硬碟中。又，硬碟錄影機1200例如亦可經由網路而自其他裝置獲取音訊資料或視訊資料，對其等進行適當地解碼，並記憶於內置的硬碟中。
進而，硬碟錄影機1200例如可對記錄於內置的硬碟中之音訊資料與視訊資料進行解碼並供給至螢幕1260，使其圖像顯示於螢幕1260之畫面中，並使該聲音自螢幕1260之揚聲器輸出。又，硬碟錄影機1200例如可對自經由調諧器而獲取之廣播信號中所擷取之音訊資料與視訊資料、或者經由網路而自其他裝置所獲取之音訊資料或視訊資料進行解碼，並供給至螢幕1260，使其圖像顯示於螢幕1260之畫面中，並使該聲音自螢幕1260之揚聲器輸出。
當然，亦可執行其他的動作。
如圖24所示，硬碟錄影機1200包括：接收部1221、解調部1222、解多工器1223、音訊解碼器1224、視訊解碼器1225、及錄影機控制部1226。硬碟錄影機1200進而包括：EPG資料記憶體1227、程式記憶體1228、工作記憶體1229、顯示轉換器1230、OSD(On Screen Display，螢幕顯示)控制部1231、顯示控制部1232、記錄再生部1233、D/A轉換器1234、及通訊部1235。
又，顯示轉換器1230包括視訊編碼器1241。記錄再生部1233包括編碼器1251及解碼器1252。
接收部1221接收來自遙控器(未圖示)之紅外線信號，並轉換為電氣信號而輸出至錄影機控制部1226。錄影機控制部1226例如係由微處理器等所構成，其根據記憶於程式記憶體1228中之程式而執行各種處理。此時，錄影機控制部1226視需要而使用工作記憶體1229。
通訊部1235連接於網路，並經由網路而進行與其他裝置之通訊處理。例如，通訊部1235受到錄影機控制部1226之控制，與調諧器(未圖示)進行通訊，主要對調諧器輸出選頻控制信號。
解調部1222對自調諧器所供給之信號進行解調，並輸出至解多工器1223。解多工器1223將自解調部1222所供給之資料分解為音訊資料、視訊資料、及EPG資料，並分別輸出至音訊解碼器1224、視訊解碼器1225、或錄影機控制部1226。
音訊解碼器1224對所輸入之音訊資料進行解碼，並輸出至記錄再生部1233。視訊解碼器1225對所輸入之視訊資料進行解碼，並輸出至顯示轉換器1230。錄影機控制部1226將所輸入之EPG資料供給至EPG資料記憶體1227中而記憶。
顯示轉換器1230將自視訊解碼器1225或錄影機控制部1226所供給之視訊資料藉由視訊編碼器1241而編碼為例如NTSC(National Television Standards Committee，國家電視標準委員會)方式之視訊資料，並輸出至記錄再生部1233。又，顯示轉換器1230將自視訊解碼器1225或錄影機控制部1226所供給之視訊資料之畫面之尺寸轉換為與螢幕1260尺寸對應之尺寸，藉由視訊編碼器1241而轉換為NTSC方式之視訊資料，並轉換為類比信號而輸出至顯示控制部1232。
顯示控制部1232在錄影機控制部1226之控制下，將OSD(On Screen Display)控制部1231所輸出之OSD信號重疊於自顯示轉換器1230所輸入之視訊信號，並輸出至螢幕1260之顯示器中使其顯示。
此外，將音訊解碼器1224所輸出之音訊資料藉由D/A轉換器1234轉換為類比信號而供給至螢幕1260。螢幕1260將該音訊信號自內置的揚聲器輸出。
記錄再生部1233具有硬碟，作為記錄視訊資料或音訊資料等之記憶媒體。
記錄再生部1233例如藉由編碼器1251而對自音訊解碼器1224所供給之音訊資料進行編碼。又，記錄再生部1233藉由編碼器1251而對由顯示轉換器1230之視訊編碼器1241所供給之視訊資料進行編碼。記錄再生部1233藉由多工器而將該音訊資料之編碼資料與視訊資料之編碼資料加以合成。記錄再生部1233對該合成資料進行通道編碼而放大，並將該資料經由記錄頭而寫入硬碟。
記錄再生部1233經由再生頭而將記錄於硬碟中之資料再生、放大，並藉由解多工器而分解為音訊資料與視訊資料。記錄再生部1233藉由解碼器1252而對音訊資料及視訊資料進行解碼。記錄再生部1233對已解碼之音訊資料進行D/A轉換，並輸出至螢幕1260之揚聲器。又，記錄再生部1233對已解碼之視訊資料進行D/A轉換，並輸出至螢幕1260之顯示器。
錄影機控制部1226根據經由接收部1221所接收的來自遙控器之紅外線信號所表示之使用者指示，從EPG資料記憶體1227中讀出最新的EPG資料，並將其供給至OSD控制部1231。OSD控制部1231生成對應於所輸入之EPG資料之圖像資料，並輸出至顯示控制部1232。顯示控制部1232將自OSD控制部1231所輸入之視訊資料輸出至螢幕1260之顯示器而使其顯示。藉此，於螢幕1260之顯示器上顯示EPG(電子節目表)。
又，硬碟錄影機1200可經由網際網路等之網路而獲取自其他裝置所供給之視訊資料、音訊資料、或EPG資料等之各種資料。
通訊部1235受到錄影機控制部1226之控制，經由網路而獲取自其他裝置所發送之視訊資料、音訊資料、及EPG資料等之編碼資料，並將其供給至錄影機控制部1226。錄影機控制部1226例如將所獲取之視訊資料或音訊資料之編碼資料供給至記錄再生部1233，並記憶於硬碟中。此時，錄影機控制部1226及記錄再生部1233亦可視需要而進行再編碼等之處理。
又，錄影機控制部1226對所獲取之視訊資料或音訊資料之編碼資料進行解碼，並將所獲得之視訊資料供給至顯示轉換器1230。與自視訊解碼器1225所供給之視訊資料同樣地，顯示轉換器1230對自錄影機控制部1226供給之視訊資料進行處理，並經由顯示控制部1232供給至螢幕1260而使該圖像顯示。
又，與該圖像顯示一致，錄影機控制部1226亦可將已解碼之音訊資料經由D/A轉換器1234而供給至螢幕1260，以使其聲頻自揚聲器輸出。
進而，錄影機控制部1226對所獲取之EPG資料之編碼資料進行解碼，並將解碼後之EPG資料供給至EPG資料記憶體1227。
上述的硬碟錄影機1200使用解碼裝置1作為視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226中之解碼器。亦即，視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226中之解碼器係與解碼裝置1同樣地，藉由對基礎層中之複數個參照面之圖像進行濾波而生成增強層中之當前區塊之預測圖像。
因此，內置於視訊解碼器1225、解碼器1252、及錄影機控制部1226中之解碼器能較空間性之上採樣濾波器更有效地利用圖像行中之信號成分。此結果為，與利用基礎層之當前幀之圖像的藉由先前之上轉換預測所生成的預測圖像相比，該預測圖像具有空間上更高之頻率成分且可減少預測殘差。亦即，可使增強層中之編碼圖片之編碼量減少，從而能有助於編碼效率之改善。
此外，於該濾波預測中並未參照時間上不同之幀中之增強層的解碼圖像，故可減少編碼所需之處理量、暫時記憶容量、來自記憶體之讀出資訊量等，從而可減少安裝所花費之成本。又，亦可降低消耗電力。
因此，硬碟錄影機1200例如在調諧器或通訊部1235對視訊資料(編碼資料)進行接收時、或者在記錄再生部1233對視訊資料(編碼資料)自硬碟中進行再生時的解碼中，可不使處理之負載增大而獲得高精細之解碼圖像。亦即，硬碟錄影機1200可一面抑制負載之增大一面提高編碼效率。
又，硬碟錄影機1200使用編碼裝置101來作為編碼器1251。因此，編碼器1251與編碼裝置101之情形同樣地，相較以雙向預測或上轉換預測所生成之預測圖像而更多地含有高頻成分而可獲得與原圖像之差較少的預測圖像。因此，按殘差所分配之編碼量可較少，從而可提高編碼效率。與參照增強層之幀之單向預測及雙向預測之情形相比，參照幀之解析度較小，故而例如參照幀之於幀記憶體122中之保存及自幀記憶體122中之讀出等處理之負載較小。此外，在參照幀之數量至少為2片時可進行濾波預測，故可不使處理變得複雜而實現如此之編碼效率之提高。
因此，硬碟錄影機1200在對例如編碼資料記錄於硬碟時會進行考慮空間延展性之編碼，此時藉由更有效地利用動態圖像信號行中所包含之時間關聯而可一面抑制例如編碼或解碼等處理之負載之增大，一面提高編碼效率。
再者，以上，說明了將視訊資料或音訊資料記錄於硬碟中之硬碟錄影機1200，當然，記錄媒體可任意。即便為例如應用有快閃記憶體、光碟、或錄影帶等之硬碟以外之記錄媒體的錄影機，亦可與上述硬碟錄影機1200同樣地應用解碼裝置1及編碼裝置101。
圖25係表示使用有應用本發明之解碼裝置1及編碼裝置101之相機之主要構成例的方塊圖。
圖25所示之相機1300對被攝體進行攝像，使被攝體之圖像顯示於LCD1316，或將其作為圖像資料而記錄於記錄媒體1333中。
透鏡區塊1311將光(即，被攝體之影像)入射至CCD/CMOS1312。CCD/CMOS1312係使用有CCD或CMOS之影像感測器，將所接收到的光之強度轉換為電氣信號，並供給至相機信號處理部1313。
相機信號處理部1313將自CCD/CMOS1312所供給之電氣信號轉換為Y、Cr、Cb之色差信號，並供給至圖像信號處理部1314。圖像信號處理部1314於控制器1321之控制下，對由相機信號處理部1313所供給之圖像信號實施特定之圖像處理，或者利用編碼器1341對該圖像信號進行編碼。圖像信號處理部1314將對圖像信號進行編碼所生成之編碼資料供給至解碼器1315。進而，圖像信號處理部1314獲取於螢幕顯示器(OSD)1320中所生成之顯示用資料，並將其供給至解碼器1315。
於上述處理中，相機信號處理部1313適當地利用經由匯流排1317所連接之DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)1318，並視需要而將圖像資料、或者該圖像資料經編碼後之編碼資料等保持於該DRAM1318。
解碼器1315對自圖像信號處理部1314所供給之編碼資料進行解碼，並將所獲得之圖像資料(解碼圖像資料)供給至LCD1316。又，解碼器1315將自圖像信號處理部1314所供給之顯示用資料供給至LCD1316。LCD1316將自解碼器1315所供給之解碼圖像資料之圖像與顯示用資料之圖像加以適當合成，並顯示該合成圖像。
螢幕顯示器1320於控制器1321之控制下，將包含符號、文字、或圖形之選單畫面或圖標等之顯示用資料經由匯流排1317而輸出至圖像信號處理部1314。
控制器1321根據表示使用者使用操作部1322所指示之內容之信號而執行各種處理，並且經由匯流排1317來控制圖像信號處理部1314、DRAM1318、外部介面1319、螢幕顯示器1320、及媒體驅動器1323等。快閃ROM1324中存儲有在控制器1321執行各種處理時所必要之程式或資料等。
例如，控制器1321可代替圖像信號處理部1314或解碼器1315而對記憶於DRAM1318中之圖像資料進行編碼，或者對記憶於DRAM1318之編碼資料進行解碼。此時，控制器1321可藉由與圖像信號處理部1314或解碼器1315之編碼‧解碼方式相同之方式來進行編碼‧解碼處理，亦可藉由與圖像信號處理部1314或解碼器1315並不對應之方式來進行編碼‧解碼處理。
又，例如，在由操作部1322指示開始進行圖像印刷時，控制器1321會自DRAM1318中讀出圖像資料，並將其供給至經由匯流排1317而連接於外部介面1319之列印機1334並進行印刷。
進而，例如，在由操作部1322指示進行圖像記錄時，控制器1321會自DRAM1318中讀出編碼資料，並將其經由匯流排1317而供給至媒體驅動器1323上所安裝之記錄媒體1333以進行記憶。
記錄媒體1333例如為磁碟、磁光碟、光碟、或半導體記憶體等之可讀寫之任意的可移動媒體。當然，記錄媒體1333之可移動媒體之種類亦不任意，可為帶式裝置，亦可為碟片，還可為記憶卡。當然，亦可為非接觸IC卡等。
又，亦可將媒體驅動器1323與記錄媒體1333一體化，並且如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)等之由非可攜性之記憶媒體所構成。
外部介面1319例如係由USB輸出輸入端子等所構成，在進行圖像之印刷時，與列印機1334相連接。又，外部介面1319上視需要而連接有驅動器1331，並適當地安裝有磁碟、光碟、或磁光碟等之可移動媒體1332，將自其等所讀出之電腦程式視需要而安裝於快閃ROM1324中。
進而，外部介面1319包括連接於LAN(局域網路)或網際網路等特定網路之網路介面。控制器1321例如可根據來自操作部1322之指示而自DRAM1318中讀出編碼資料，並將其自外部介面1319供給至經由網路而連接之其他裝置。又，控制器1321可經由外部介面1319來獲取經網路而自其他裝置所供給之編碼資料或圖像資料，並將其保持於DRAM1318中，或者供給至圖像信號處理部1314。
如上所述之相機1300使用解碼裝置1來作為解碼器1315。亦即，與解碼裝置1之情形相同，解碼器1315藉由對基礎層中之複數個參照面之圖像進行濾波來生成增強層中之當前區塊之預測圖像。因此，解碼器1315能較空間性之上採樣濾波器更有效地利用圖像行中之信號成分。此結果為，與利用基礎層之當前幀之圖像的藉由先前之上轉換預測所生成之預測圖像相比，該預測圖像具有空間上更高之頻率成分且可減少預測殘差。亦即，可使增強層中之編碼圖片之編碼量減少，從而能有助於編碼效率之改善。
因此，相機1300例如可一面抑制在讀出於CCD/CMOS1312中所生成之圖像資料或者自DRAM1318或記錄媒體1333中讀出視訊資料之編碼資料時、或者在經由網路而獲取視訊資料之編碼資料時的處理之負載之增大，一面提高編碼效率。
又，相機1300使用編碼裝置101來作為編碼器1341。與編碼裝置101之情形相同，編碼器1341相較以雙向預測或上轉換預測所生成之預測圖像而更多地含有高頻成分，從而可獲得與原圖像之差較少的預測圖像。因此，按殘差所分配之編碼量可較少，故可提高編碼效率。與參照增強層之幀之單向預測及雙向預測之情形相比，參照幀之解析度較小，故而例如參照幀之於幀記憶體122中之保存及自幀記憶體122中之讀出等處理之負載較小。進而，在參照幀之數量至少為2片時可進行濾波預測，故可不使處理變得複雜而實現如此之編碼效率之提高。
因此，相機1300例如在進行將編碼資料記錄於DRAM1318或記錄媒體1333中時，或者在將編碼資料提供給其他的裝置時，會進行考慮空間延展性之編碼，此時藉由更有效地利用動態圖像信號行中所包含之時間關聯而可一面抑制例如編碼或解碼等處理之負載之增大，一面提高編碼效率。
再者，亦可於控制器1321所進行之解碼處理中使用解碼裝置1之解碼方法。同樣地，亦可於控制器1321所進行之編碼處理中使用編碼裝置101之編碼方法。
又，相機1300所拍攝之圖像資料可為動態圖像，亦可為靜止圖像。
當然，解碼裝置1及編碼裝置101亦可應用於除上述裝置以外之裝置或系統中。
又，巨集區塊之大小為任意。本發明可應用於例如圖26所示之所有大小之巨集區塊。例如，本發明不僅可應用於通常之16×16像素之巨集區塊，亦可應用於32×32像素之放大的巨集區塊(放大巨集區塊)。
於圖26中，於上段自左側起依序表示分割為32×32像素、32×16像素、16×32像素、及16×16像素之區塊(分區)之由32×32像素所構成之巨集區塊。又，於中段自左側起依序表示分割為16×16像素、16×8像素、8×16像素、及8×8像素之區塊之由16×16像素所構成之區塊。進而，於下段自左側起依序表示分割為8×8像素、8×4像素、4×8像素、及4×4像素之區塊之8×8像素之區塊。
即，32×32像素之巨集區塊係可進行上段所示之32×32像素、32×16像素、16×32像素、及16×16像素之區塊中之處理。
上段之右側所示之16×16像素之區塊係與H.264/AVC方式同樣地可進行中段所示之16×16像素、16×8像素、8×16像素、及8×8像素之區塊中之處理。
中段之右側所示之8×8像素之區塊係與H.264/AVC方式同樣地可進行下段所示之8×8像素、8×4像素、4×8像素、及4×4像素之區塊中之處理。
該等區塊可分類為以下3階層。即，將圖26之上段所示之32×32像素、32×16像素、及16×32像素之區塊稱作第1階層。將上段之右側所示之16×16像素之區塊及中段所示之16×16像素、16×8像素、及8×16像素之區塊稱作第2階層。將中段之右側所示之8×8像素之區塊及下段所示之8×8像素、8×4像素、4×8像素、及4×4像素之區塊稱作第3階層。
關於16×16像素之區塊以下，藉由採用該種階層結構而可與H.264/AVC方式保持互換性，並且可將更大之區塊定義為其超級組。
例如，解碼裝置1及編碼裝置101可於每個階層生成預測圖像。又，例如，解碼裝置1及編碼裝置101亦可將在較第2階層之區塊尺寸更大之階層即第1階層中所生成之預測圖像利用於第2階層。
如第1階層或第2階層般使用相對較大之區塊尺寸來進行編碼之巨集區塊中不含有較高頻率成分。相對於此，認為如第3階層般使用相對較小之區塊尺寸來進行編碼之巨集區塊中含有較高頻率成分。
因此，對應於區塊尺寸不同之各階層而分別生成預測圖像，藉此可實現圖像所具有之適合於局部性質之編碼性能的提高。
1．．．解碼裝置
12．．．可逆解碼電路
15．．．加法電路
19．．．幀記憶體
21．．．運動預測‧補償電路
41．．．預測判定電路
51．．．預測選擇電路
64．．．濾波預測電路
71．．．擷取電路
72．．．濾波電路
81．．．差分計算電路
82．．．上轉換電路
83．．．低通濾波電路
84．．．增益調整電路
85．．．高通濾波電路
86．．．增益調整電路
87．．．加法電路
88．．．上轉換電路
89．．．加法電路
101．．．編碼裝置
112．．．排序緩衝器
123．．．模式決定電路
125．．．運動預測‧補償電路
126．．．幀內預測電路
145．．．濾波預測電路
155．．．濾波預測電路
211．．．濾波電路
圖1係說明先前之考慮空間的延展性後之編碼方式之解碼之情況的示圖。
圖2係說明應用有本發明之預測圖像生成之概要的示圖。
圖3係表示應用有本發明之解碼裝置之主要構成例的方塊圖。
圖4係表示圖3之可逆解碼電路之主要構成例的方塊圖。
圖5係表示圖3之運動預測‧補償電路之主要構成例的方塊圖。
圖6係表示圖5之濾波預測電路之主要構成例的方塊圖。
圖7係說明解碼處理之流程之例的流程圖。
圖8係說明可逆解碼處理之流程之例的流程圖。
圖9係說明解碼時之濾波預測處理之流程之例的流程圖。
圖10係表示應用有本發明之編碼裝置之主要構成例的方塊圖。
圖11係表示圖10之模式決定電路之主要構成例的方塊圖。
圖12係表示運動預測‧補償電路之主要構成例的方塊圖。
圖13係說明編碼處理之流程之例的流程圖。
圖14係說明模式決定處理之流程之例的流程圖。
圖15係說明編碼時之濾波預測處理之流程之例的流程圖。
圖16係說明應用有本發明之解碼處理之概要之另一例的示圖。
圖17係表示圖6之濾波電路之另一構成例的方塊圖。
圖18係說明應用有本發明之解碼處理之概要之此外另一例的示圖。
圖19係說明解碼時之濾波預測處理之流程之另一例的流程圖。
圖20係說明編碼時之濾波預測處理之流程之另一例的流程圖。
圖21係表示應用有本發明之個人電腦之主要構成例的方塊圖。
圖22係表示應用有本發明之電視接收機之主要構成例的方塊圖。
圖23係表示應用有本發明之行動電話機之主要構成例的方塊圖。
圖24係表示應用有本發明之硬碟錄影機之主要構成例的方塊圖。
圖25係表示應用有本發明之相機之主要構成例的方塊圖。
圖26係表示巨集區塊尺寸之例的示圖。
Ref1、Ref0．．．參照幀
MC0、MC1．．．運動補償圖像

Claims (13)

  1. 一種圖像處理裝置，其包括：擷取機構，其將包含解碼完畢之圖像之幀作為參照幀，使用經編碼的上述圖像之運動向量來進行運動補償，自對應於預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；及預測圖像生成機構，其對由上述擷取機構所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像；上述預測圖像生成機構包括：解析度轉換機構，其係轉換由上述擷取機構所擷取之複數個上述運動補償圖像之差分圖像的解析度，而使其高解析度化；第1濾波機構，其係對藉由上述解析度轉換機構而予以高解析度化之上述差分圖像進行低通濾波；第2濾波機構，其係對藉由上述第1濾波機構進行低通濾波所獲得之圖像進行高通濾波；及加法機構，其係將藉由上述第1濾波機構進行低通濾波所獲得之圖像、與藉由上述第2濾波機構進行高通濾波所獲得之圖像，加上由上述擷取機構所擷取之複數個上述運動補償圖像中之任一個，而生成上述預測圖像。
  2. 如請求項1之圖像處理裝置，其中進一步包括： 解碼機構，其對編碼圖像進行解碼；及生成機構，其將經上述解碼機構解碼後之圖像與上述預測圖像相加，生成解碼完畢之圖像。
  3. 如請求項2之圖像處理裝置，其中上述編碼圖像被階層化且被編碼為解析度彼此不同之複數個層；上述解碼機構係於各層中對上述編碼圖像進行解碼；上述生成機構係於各層中生成上述解碼完畢之圖像；上述擷取機構係於進行高解析度之層之解碼時，將較上述層更低解析度之層的上述幀作為上述參照幀，自上述低解析度之層之上述參照幀中擷取上述運動補償圖像；上述預測圖像生成機構係對自上述低解析度之層之上述參照幀中所擷取之上述運動補償圖像進行上述濾波處理，藉此生成上述高解析度之層之上述預測圖像。
  4. 如請求項1之圖像處理裝置，其中上述加法機構係對以上述預測圖像之時刻為基準而自1個時刻前之幀中所擷取的上述運動補償圖像，加上藉由上述第1濾波機構進行低通濾波所獲得之圖像與藉由上述第2濾波機構進行高通濾波所獲得之圖像。
  5. 如請求項1之圖像處理裝置，其中進一步包括：判定機構，其根據經編碼的上述圖像之標頭中所含之識別旗標，來判定上述預測圖像是由單向預測機構進行單向預測所生成，或是由雙向預測機構進行雙向預測所 生成，抑或是由上述預測圖像生成機構進行上述濾波處理所生成。
  6. 如請求項5之圖像處理裝置，其中進一步包括：上述單向預測機構，其使用複數個上述運動補償圖像來進行單向預測，並生成上述預測圖像；及上述雙向預測機構，其使用複數個上述運動補償圖像來進行雙向預測，並生成上述預測圖像。
  7. 一種圖像處理方法，其係對編碼圖像進行解碼；將已解碼之圖像與預測圖像相加，生成解碼完畢之圖像；將包含所生成的解碼完畢之圖像之幀作為參照幀，使用經編碼的上述圖像之運動向量來進行運動補償，並自對應於上述預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；及對所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分的濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像；上述濾波處理係：轉換由上述擷取之複數個運動補償圖像之差分圖像的解析度，而使其高解析度化；對經高解析度化之上述差分圖像進行低通濾波；對藉由進行低通濾波所獲得之圖像進行高通濾波；及 將藉由進行低通濾波所獲得之圖像、與藉由進行高通濾波所獲得之圖像，加上經擷取之複數個上述運動補償圖像中之任一個，而生成上述預測圖像。
  8. 一種圖像處理裝置，其包括：檢測機構，其根據基於表示原圖像與預測圖像之差之殘差信號局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；擷取機構，其將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用由上述檢測機構檢測到的運動向量來進行運動補償，並自對應於上述預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；及生成機構，其對由上述擷取機構所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像；上述生成機構包括：解析度轉換機構，其係轉換由上述擷取機構所擷取之複數個上述運動補償圖像之差分圖像的解析度，而使其高解析度化；第1濾波機構，其係對藉由上述解析度轉換機構而予以高解析度化之上述差分圖像進行低通濾波；第2濾波機構，其係對藉由上述第1濾波機構進行低通濾波所獲得之圖像進行高通濾波；及 加法機構，其係將藉由上述第1濾波機構進行低通濾波所獲得之圖像、與藉由上述第2濾波機構進行高通濾波所獲得之圖像，加上由上述擷取機構所擷取之複數個上述運動補償圖像中之任一個，而生成上述預測圖像。
  9. 如請求項8之圖像處理裝置，其中進一步包括：編碼機構，其對編碼對象之圖像即上述原圖像進行編碼，而生成編碼圖像。
  10. 如請求項9之圖像處理裝置，其中上述編碼機構係於解析度彼此不同之複數個層中生成編碼圖像；上述擷取機構係於進行高解析度之層之解碼時，將較上述層更低解析度之層的上述幀作為上述參照幀，使用由上述檢測機構於上述低解析度之層中檢測到的上述運動向量，自上述低解析度之層之上述參照幀中擷取出上述運動補償圖像；上述生成機構係對自上述低解析度之層之上述參照幀中擷取出的上述運動補償圖像進行上述濾波處理，藉此生成上述高解析度之層之上述預測圖像。
  11. 如請求項8之圖像處理裝置，其中上述加法機構係對以上述預測圖像之時刻為基準而自1個時刻前之幀中所擷取的上述運動補償圖像，加上藉由上述第1濾波機構進行低通濾波所獲得之圖像與藉由上述第2濾波機構進行高通濾波所獲得之圖像。
  12. 如請求項9之圖像處理裝置，其中上述編碼機構係於標頭中包含識別旗標，該識別旗標係識別與在解碼裝置中已解碼之圖像相加之預測圖像，是由單向預測所生成，或是由雙向預測所生成，抑或是由上述濾波處理所生成。
  13. 一種圖像處理方法，其係對編碼對象之圖像即原圖像進行編碼，而生成編碼圖像；根據基於表示上述原圖像與預測圖像之差之殘差信號局部地解碼所獲得之圖像與上述原圖像，來檢測運動向量；將包含經局部地解碼所獲得之上述圖像之幀作為參照幀，使用已檢測到的運動向量來進行運動補償，並自對應於上述預測圖像之上述參照幀中擷取出較上述預測圖像更低解析度的運動補償圖像；對所擷取之上述運動補償圖像，利用上述運動補償圖像中所含之時間方向之關聯來進行補償高頻成分之濾波處理，藉此生成較上述運動補償圖像更高解析度的上述預測圖像；上述濾波處理包括：轉換上述擷取之複數個運動補償圖像之差分圖像的解析度，而使其高解析度化；對經高解析度化之上述差分圖像進行低通濾波；對藉由進行低通濾波所獲得之圖像進行高通濾波； 將藉由進行低通濾波所獲得之圖像、與藉由進行高通濾波所獲得之圖像，加上經擷取之複數個上述運動補償圖像中之任一個，而生成上述預測圖像。
TW98139936A 2009-02-19 2009-11-24 Image processing apparatus and method TWI468020B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009036497 2009-02-19

Publications (2)

Publication Number Publication Date
TW201032598A TW201032598A (en) 2010-09-01
TWI468020B true TWI468020B (zh) 2015-01-01

Family

ID=42633839

Family Applications (1)

Application Number Title Priority Date Filing Date
TW98139936A TWI468020B (zh) 2009-02-19 2009-11-24 Image processing apparatus and method

Country Status (9)

Country Link
US (4) US8824542B2 (zh)
EP (1) EP2400760A4 (zh)
JP (2) JP5532345B2 (zh)
KR (1) KR20110126615A (zh)
CN (2) CN102396228B (zh)
BR (1) BRPI1008281A2 (zh)
RU (1) RU2541881C2 (zh)
TW (1) TWI468020B (zh)
WO (1) WO2010095556A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
JP2012249116A (ja) * 2011-05-30 2012-12-13 Canon Inc 画像符号化装置
EP2624577B1 (en) * 2012-02-01 2016-11-02 EchoStar UK Holdings Limited Remote viewing of media content using layered video encoding
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
KR101934261B1 (ko) * 2012-07-09 2019-01-03 삼성전자 주식회사 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치
KR20140016760A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
RU2666305C1 (ru) * 2012-09-28 2018-09-06 Сони Корпорейшн Устройство и способ кодирования, устройство и способ декодирования
WO2014047877A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Inter-layer residual prediction
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
CN105075269B (zh) * 2013-04-04 2018-07-03 夏普株式会社 图像解码装置、图像编码装置及计算机可读取的记录介质
CN105765979B (zh) * 2013-09-24 2019-08-09 Vid拓展公司 用于可缩放视频编码的层间预测
JP2015128205A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CA2988107A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10448013B2 (en) * 2016-12-22 2019-10-15 Google Llc Multi-layer-multi-reference prediction using adaptive temporal filtering
US11551064B2 (en) 2018-02-08 2023-01-10 Western Digital Technologies, Inc. Systolic neural network engine capable of forward propagation
US11494582B2 (en) 2018-02-08 2022-11-08 Western Digital Technologies, Inc. Configurable neural network engine of tensor arrays and memory cells
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
GB2583087B (en) * 2019-04-11 2023-01-04 V Nova Int Ltd Decoding a video signal in a video decoder chipset
TWI774100B (zh) 2020-10-26 2022-08-11 瑞昱半導體股份有限公司 影像處理晶片與影像處理方法
CN114449183B (zh) * 2020-11-02 2024-03-15 瑞昱半导体股份有限公司 影像处理芯片与影像处理方法
CN113126057B (zh) * 2021-04-20 2022-09-16 哈尔滨工业大学 一种基于调频率估计的sar运动补偿方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188024A1 (en) * 2005-01-07 2006-08-24 Yoshinori Suzuki Motion image encoding apparatus, motion image decoding apparatus, motion image encoding method, motion image decoding method, motion image encoding program, and motion image decoding program
US20070071104A1 (en) * 2005-09-28 2007-03-29 Satoshi Kondo Picture coding method and picture decoding method
TW200820789A (en) * 2006-07-14 2008-05-01 Sony Corp Image processing apparatus and method, and program
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947103B2 (ja) 1994-11-25 1999-09-13 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
CN1166207C (zh) 1999-05-27 2004-09-08 皇家菲利浦电子有限公司 对视频信号进行编码的方法、装置及采用该装置的摄像机
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
EP3787294B1 (en) 2003-07-24 2022-06-15 Nippon Telegraph And Telephone Corporation Image decoding method with hierarchical reference picture selection
MXPA06002210A (es) * 2003-08-26 2006-05-19 Thomson Licensing Metodo y aparato para la decodificacion de bloques intra-inter codificados hibridos.
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
JP2005217940A (ja) * 2004-01-30 2005-08-11 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US20080037633A1 (en) * 2004-07-13 2008-02-14 France Telecom Method and Device for Coding a Sequence of Video Images
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
JP2006108811A (ja) * 2004-09-30 2006-04-20 Sanyo Electric Co Ltd 画像符号化方法
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN100471280C (zh) * 2005-01-07 2009-03-18 株式会社Ntt都科摩 运动图像编码及译码装置、方法
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703788B1 (ko) * 2005-06-10 2007-04-06 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US7564652B2 (en) * 2005-07-06 2009-07-21 Sae Magnetics (H.K.) Ltd. Head gimbal assembly including a one-piece structural suspension and an accessory plate, and method of manufacturing the same
US8374239B2 (en) 2005-07-11 2013-02-12 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
EP1915870B1 (en) 2005-07-21 2017-03-08 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US7743912B2 (en) * 2005-08-05 2010-06-29 Finley Dana J Liquid seal bulk feeder for destructive distillation of lightweight materials
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
KR100763194B1 (ko) * 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
JP4334533B2 (ja) * 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
JP5160451B2 (ja) * 2006-01-31 2013-03-13 トムソン ライセンシング エッジ・ベースの空間‐時間的フィルタリングの方法および装置
KR100712550B1 (ko) 2006-02-03 2007-05-02 삼성전자주식회사 하드디스크 드라이브의 고밀도 기록 방법
JP2007221208A (ja) * 2006-02-14 2007-08-30 Toshiba Corp 動画像符号化方法および装置
KR20130006537A (ko) 2006-04-28 2013-01-16 가부시키가이샤 엔티티 도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
JP2007300380A (ja) * 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP4844455B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
WO2008048489A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
FR2907630A1 (fr) 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
JP4877090B2 (ja) 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8352035B2 (en) 2007-10-31 2013-01-08 Boston Scientific Neuromodulation Corporation Connector assemblies for implantable stimulators
WO2010010943A1 (ja) 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
BRPI0915971A2 (pt) * 2008-07-25 2019-02-26 Sony Corp aparelho e método de processamento de imagem
US20100177117A1 (en) 2009-01-14 2010-07-15 International Business Machines Corporation Contextual templates for modifying objects in a virtual universe
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188024A1 (en) * 2005-01-07 2006-08-24 Yoshinori Suzuki Motion image encoding apparatus, motion image decoding apparatus, motion image encoding method, motion image decoding method, motion image encoding program, and motion image decoding program
US20070071104A1 (en) * 2005-09-28 2007-03-29 Satoshi Kondo Picture coding method and picture decoding method
TW200820789A (en) * 2006-07-14 2008-05-01 Sony Corp Image processing apparatus and method, and program
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability

Also Published As

Publication number Publication date
JP5831587B2 (ja) 2015-12-09
WO2010095556A1 (ja) 2010-08-26
JPWO2010095556A1 (ja) 2012-08-23
KR20110126615A (ko) 2011-11-23
JP2014171240A (ja) 2014-09-18
US20160142731A1 (en) 2016-05-19
TW201032598A (en) 2010-09-01
BRPI1008281A2 (pt) 2016-03-15
JP5532345B2 (ja) 2014-06-25
RU2011134044A (ru) 2013-02-20
CN105915900A (zh) 2016-08-31
US20110286526A1 (en) 2011-11-24
US8824542B2 (en) 2014-09-02
US10075732B2 (en) 2018-09-11
CN102396228A (zh) 2012-03-28
US9277235B2 (en) 2016-03-01
CN102396228B (zh) 2016-07-06
EP2400760A1 (en) 2011-12-28
US20140334549A1 (en) 2014-11-13
RU2541881C2 (ru) 2015-02-20
CN105915900B (zh) 2019-12-10
US20180324455A1 (en) 2018-11-08
EP2400760A4 (en) 2012-11-21
US10491919B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
TWI468020B (zh) Image processing apparatus and method
TWI440363B (zh) Image processing apparatus and method
KR101736015B1 (ko) 화상 처리 장치 및 방법
KR101612977B1 (ko) 화상 처리 장치 및 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees