WO2010095558A1

WO2010095558A1 - 画像処理装置および方法

Info

Publication number: WO2010095558A1
Application number: PCT/JP2010/052018
Authority: WO
Inventors: 央二中神; 矢ケ崎　陽一
Original assignee: ソニー株式会社
Priority date: 2009-02-19
Filing date: 2010-02-12
Publication date: 2010-08-26
Also published as: RU2011134047A; BRPI1008421A2; CN102396227A; JP5545510B2; EP2400762B1; US20110293014A1; KR20160108602A; RU2527751C2; KR20170065676A; US8934531B2; US20160150232A1; KR101656904B1; US10321136B2; KR101745848B1; TWI440363B; KR101971843B1; JPWO2010095558A1; US9282345B2; KR20180045060A; JP5812372B2

Abstract

　本発明は、少ない制御情報で、精度の高い予測画像を生成することができる画像処理装置および方法に関する。　動き補償回路５１は、予測モード決定回路４１より供給される動きベクトルを用いて、カレントフレーム以外の参照フレームにおいて予測画像に対応するマクロブロックを特定する。動き補償回路５１は、特定したマクロブロックの画像をフレームメモリ１９より読み出し、動き補償画像として抽出する。イントラ予測回路５２は、カレントフレームにおいて、任意の方法でイントラ予測を行い、イントラ予測画像IPを生成する。本発明は、例えば、符号化装置および復号装置に適用することができる。

Description

画像処理装置および方法

　本発明は、画像処理装置および方法に関し、特に、処理負担を大きくすることなく、精度の高い予測画像を生成することができるようにした画像処理装置および方法に関する。

　従来、MPEG(Moving Picture Experts Group)、H.26xなどの、動き補償と、離散コサイン変換、カルーネン・レーベ変換、またはウェーブレット変換等の直交変換とを用いた符号化方式が、動画像を扱う場合の符号化方式として一般に利用されている。これらの動画像符号化方式においては、符号化の対象になる入力の画像信号がもつ特性のうち、空間方向および時間方向の相関を利用することで符号量の削減が図られている。

　例えば、H.264においては、時間方向の相関を利用して、フレーム間予測（インター予測）の対象になるフレームであるインターフレームを生成する際に、片方向予測若しくは双方向予測が用いられる。フレーム間予測は、異なる時刻のフレームに基づいて予測画像を生成するものである。

　図１は、片方向予測の例を示す図である。

　図１に示されるように、符号化対象になっている現在時刻のフレームである符号化フレームＰ0を片方向予測によって生成する場合、現在時刻より時間的に過去、または未来の時刻における符号化済みのフレームを参照フレームとして動き補償が行われる。時間方向の相関を利用し、予測画像と実際の画像との残差を符号化することで、符号量を削減することが可能になる。参照フレームを指定する情報とその参照フレームの参照先の位置を指定する情報として、それぞれ、参照フレーム情報と動きベクトルが用いられ、これらの情報が符号化側から復号側に伝送される。

　ここで、参照フレームの枚数は１枚とは限らない。例えば、H.264においては複数枚のフレームを参照フレームとすることが可能とされている。図１に示されるように符号化フレームＰ0に時間的に近い順に２枚のフレームを参照フレームＲ0，Ｒ1とした場合、参照フレームＲ0またはＲ1の任意の画素の画素値から、符号化フレームＰ0内の任意のマクロブロックの画素値を予測することができる。

　図１のそれぞれのフレームの内側に示される枠はマクロブロックを表す。予測対象としている符号化フレームＰ0のマクロブロックをマクロブロックMBP0とすると、このマクロブロックMBP0に対応する参照フレームＲ0のマクロブロックは動きベクトルMV0によって指定されるマクロブロックMBR0となる。また、参照フレームＲ1のマクロブロックは動きベクトルMV1によって指定されるマクロブロックMBR1となる。

　マクロブロックMBR0，MBR1の画素値（動き補償画像の画素値）をMC0(i,j)，MC1(i,j)とすると、片方向予測においてはいずれかの動き補償画像の画素値が予測画像の画素値として用いられるから、予測画像Pred（i,j）は下式（１）により表される。(i,j)はマクロブロック内における画素の相対位置を表し、０≦ｉ≦１６、０≦ｊ≦１６となる。式（１）における「｜｜」はMC0（i,j）とMC1（i,j）のうちのいずれかの値をとることを表す。

　なお、１６×１６画素の１つのマクロブロックを１６×８画素などのサイズにさらに細かくブロック分割し、分割したブロックごとに、異なる参照フレームを参照先として動き補償を行うことも可能とされている。整数精度の動きベクトルではなく、小数精度の動きベクトルを伝送し、規格で定められたFIRフィルタを用いて補間することにより、対応する参照先の位置の周辺の画素の画素値を動き補償に用いることも可能とされている。

　図２は、双方向予測の例を示す図である。

　図２に示されるように、符号化対象になっている現在時刻のフレームである符号化フレームＢ0を双方向予測によって生成する場合、現在時刻より時間的に過去、および未来の時刻における符号化済みのフレームを参照フレームとして動き補償が行われる。符号化済みの複数枚のフレームを参照フレームとし、それらとの相関を利用して予測画像と実際の画像との残差を符号化することで符号量を削減することが可能になる。H.264においては、過去の複数枚のフレームと未来の複数枚のフレームを参照フレームとすることも可能とされている。

　図２に示されるように、符号化フレームＢ0を基準として過去と未来のフレームを１枚ずつ参照フレームＬ0，Ｌ1とした場合、参照フレームＬ0，Ｌ1の任意の画素の画素値から、符号化フレームＢ0内の任意のマクロブロックの画素値を予測することができる。

　図２の例においては、符号化フレームＢ0のマクロブロックMBB0に対応する参照フレームＬ0のマクロブロックは動きベクトルMV0によって指定されるマクロブロックMBL0とされている。また、符号化フレームＢ0のマクロブロックMBB0に対応する参照フレームＬ1のマクロブロックは動きベクトルMV1によって指定されるマクロブロックMBL1とされている。

　マクロブロックMBL0，MBL1の画素値をそれぞれMC0（i,j），MC1（i,j）とすると、予測画像Pred（i,j）の画素値Pred（i,j）は、下式（２）に示すようにそれらの平均値として求められる。

　以上のような片方向予測を用いた動き補償においては、動きベクトルの精度を上げたり、マクロブロックのサイズを細かくしたりして予測画像の精度を向上させ、実際の画像との残差を低減させることで符号化効率の向上を図るようにしていた。

　また、双方向予測を用いた動き補償においては、時間的に近くにある参照フレームの画素の画素値の平均を予測画像の画素の画素値として用いることで、確率的にみても予測残差を安定して減らすことを実現できるようにしていた。

　図３は、イントラ予測の例を示す図である。

　図３の例においては、符号化フレームI0のカレントブロックの復号にあたり、同一画面内の復号済み近傍画素から予測を行う様子を示す。一般に、画像は近傍の画素値と極めて相関が高いため、このように近傍画素から予測を行うことで、カレントブロックの残差成分が減少する。これにより符号化効率の向上が実現される。

　例えば、H.264規格におけるイントラ4ｘ4予測においては、近傍の符号化済み画素を利用して、９通りの方法でカレントブロックの予測を行うことができる。近傍画像との相関に、２次元の方向性を取り入れることで、予測精度の向上を実現している。

　別のイントラ予測の方法として、相関が高い領域を画面内からコピーするという手法が存在する。具体的には、カレントブロックの復号のために、復号済み画像の特定の位置を指定することで、その領域をカレントブロックの予測画像に利用するという手法である。

　この手法は、規則的な模様や、同一形状のオブジェクトが画面内に複数存在する場合などに、高い予測効率を実現する。

　さらに、別のイントラ予測の方法として、符号化対象画像に存在する特徴的な領域、テクスチャ領域の信号成分を解析することで、人工的に合成した画像を符号化画像に用いることで、符号量を減少させるという技術も存在する。

　このように、イントラ予測のためのさまざまな技術の登場により、イントラ予測の予測精度は向上しつつあるが、一般的な動画像においては、依然として、インター予測の方が予測精度は高い。たとえば、相当に複雑なテクスチャであったとしても、画面内で静止している場合は、イントラ予測の精度を高めることは難しいが、インター予測による予測残差は限りなくゼロになるからである。

　また、他の予測方法として、時間方向の相関を、動き補償と画素値のFIRフィルタリングにより、空間解像度に変換して利用する手法が考えられていた（例えば、非特許文献１参照）。

　非特許文献１に記載の方法では、入力画像列に対する高解像度化処理のために、時間方向の相関を利用している。具体的には、現画像と過去の画像の間で、動き予測・補償した画像の差分情報を計算し、対象の現画像にフィードバックすることで、入力画像に含まれる高周波成分を復元させている。

"Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990

　従来のインター予測の場合、複数枚の参照フレームを用いるためには、動き予測や動き補償のための処理コストや、参照面を保存するためのメモリ容量のためのコスト等の必要なコストが、イントラ予測の場合よりも高くなる。非特許文献１に記載の方法の場合も同様である。

　一方で、イントラ予測の場合は、予測画像生成のための処理コストがインター予測に比べ低いものの、生成された画像の予測精度が低いため、インター予測の場合と比べて、符号化効率が悪いという問題があった。

　本発明はこのような状況に鑑みてなされたものであり、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率の向上を実現し、さらに、インター予測に必要な参照面の数を減らすことで処理コストの低減を実現するためのものである。

　本発明の一側面は、符号化された画像を復号する復号手段と、前記復号手段により復号された画像と予測画像とを加算し、復号済みの画像を生成する生成手段と、前記生成手段により生成された復号済みの画像からなるフレームを参照フレームとして、符号化された前記画像の動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出する抽出手段と、前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、前記生成手段により生成された復号済みの部分画像から前記予測画像に対応するイントラ予測画像を生成するイントラ予測画像生成手段と、前記抽出手段により抽出された前記動き補償画像および前記イントラ予測画像生成手段により生成された前記イントラ予測画像に対して、前記動き補償画像および前記イントラ予測画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する予測画像生成手段とを備える画像処理装置である。

　前記予測画像生成手段は、前記第１の抽出手段により抽出された前記動き補償画像と、前記イントラ予測画像生成手段により生成された前記イントラ予測画像との差分画像にローパスフィルタをかける第１のフィルタ手段と、前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像にハイパスフィルタをかける第２のフィルタ手段と、前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像と、前記第２のフィルタ手段によりハイパスフィルタがかけられることによって得られた画像とを、前記イントラ予測画像生成手段により生成された前記イントラ予測画像に加算し、前記予測画像を生成する加算手段とを備えることができる。

　前記加算手段は、前記予測画像の時刻を基準として１時刻前のフレームから抽出された前記動き補償画像に対して、前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像と、前記第２のフィルタ手段によりハイパスフィルタがかけられることによって得られた画像とを加算することができる。

　複数の前記動き補償画像を用いて片方向予測を行い、前記予測画像を生成する片方向予測手段と、複数の前記動き補償画像を用いて双方向予測を行い、前記予測画像を生成する双方向予測手段と、符号化された前記画像のヘッダに含まれる識別フラグにより、前記予測画像を、前記片方向予測手段による片方向予測によって生成するのか、前記双方向予測手段による双方向予測によって生成するのか、または、前記予測画像生成手段による前記フィルタリング処理によって生成するのかを判定する判定手段とをさらに備えることができる。

　本発明の一側面はまた、符号化された画像を復号し、復号された画像と予測画像とを加算し、復号済みの画像を生成し、生成された復号済みの画像からなるフレームを参照フレームとして、符号化された前記画像の動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出し、前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、復号済みの部分画像から、前記予測画像に対応するイントラ予測画像を生成し、前記動き補償画像および前記イントラ予測画像に対して、前記動き補償画像および前記イントラ予測画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する画像処理方法である。

　本発明の他の側面は、符号化対象の画像である原画像を符号化し、符号化された画像を生成する符号化手段と、前記原画像と予測画像との差を示す残差信号に基づいて局所的に復号して得られた画像と前記原画像とに基づいて動きベクトルを検出する検出手段と、局所的に復号して得られた前記画像からなるフレームを参照フレームとして、前記検出手段により検出された動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出する抽出手段と、前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、前記フレームの部分画像から前記予測画像に対応するイントラ予測画像を生成するイントラ予測画像生成手段と、前記第１の抽出手段により抽出された前記動き補償画像および前記イントラ予測画像生成手段により生成された前記イントラ予測画像に対して、前記動き補償画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する生成手段とを備える画像処理装置である。

　前記生成手段は、前記第１の抽出手段により抽出された前記動き補償画像と、前記イントラ予測画像生成手段により生成された前記イントラ予測画像との差分画像にローパスフィルタをかける第１のフィルタ手段と、前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像にハイパスフィルタをかける第２のフィルタ手段と、前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像と、前記第２のフィルタ手段によりハイパスフィルタがかけられることによって得られた画像とを、前記イントラ予測画像生成手段により生成された前記イントラ予測画像に加算し、前記予測画像を生成する加算手段とを備えることができる。

　前記符号化手段は、復号装置において復号した画像に加算する予測画像を、片方向予測によって生成するのか、双方向予測によって生成するのか、または、前記フィルタリング処理によって生成するのかを識別する識別フラグを、符号化された前記画像のヘッダに含めることができる。

　本発明の他の側面はまた、符号化対象の画像である原画像を符号化し、符号化された画像を生成し、前記原画像と予測画像との差を示す残差信号に基づいて局所的に復号して得られた画像と前記原画像とに基づいて動きベクトルを検出し、局所的に復号して得られた前記画像からなるフレームを参照フレームとして、検出された動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出し、前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、前記フレームの部分画像から前記予測画像に対応するイントラ予測画像を生成し、抽出された前記動き補償画像および生成された前記イントラ予測画像に対して、前記動き補償画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する画像処理方法。

　本発明の一側面においては、符号化された画像が復号され、復号された画像と予測画像が加算され、復号済みの画像が生成され、生成された復号済みの画像からなるフレームを参照フレームとして、符号化された画像の動きベクトルが用いられて動き補償が行われ、予測画像に対応する動き補償画像が参照フレームから抽出され、予測画像を生成する現在のフレーム内においてフレーム内予測が行われ、復号済みの部分画像から、予測画像に対応するイントラ予測画像が生成され、動き補償画像およびイントラ予測画像に対して、動き補償画像およびイントラ予測画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理が行われることにより、予測画像が生成される。

　本発明の他の側面においは、符号化対象の画像である原画像が符号化され、符号化された画像が生成され、原画像と予測画像との差を示す残差信号に基づいて局所的に復号して得られた画像と原画像とに基づいて動きベクトルが検出され、局所的に復号して得られた画像からなるフレームを参照フレームとして、検出された動きベクトルを用いて動き補償が行われ、予測画像に対応する動き補償画像が参照フレームから抽出され、予測画像を生成する現在のフレーム内においてフレーム内予測が行われ、フレームの部分画像から予測画像に対応するイントラ予測画像が生成され、抽出された動き補償画像および生成されたイントラ予測画像に対して、動き補償画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理が行われることにより、予測画像が生成される。

　本発明によれば、ストリーム中における動きベクトルの伝送量を増加させることなく、精度の高い予測画像を生成することができ、高い符号化効率を達成することができる。

片方向予測の例を示す図である。双方向予測の例を示す図である。イントラ予測の例を示す図である。本発明の予測画像生成の概要を説明する図である。本発明の一実施形態に係る復号装置の構成例を示すブロック図である。第３の予測モードの概念を示す図である。第３の予測モードの概念を示す図である。図５の動き予測・補償回路の構成例を示すブロック図である。参照フレームの例を示す図である。参照フレームの他の例を示す図である。図８の予測回路の構成例を示すブロック図である。図８のフィルタリング回路の構成例を示すブロック図である。復号装置の復号処理について説明するフローチャートである。図１３のステップＳ９において行われる動き予測・補償処理について説明するフローチャートである。抽出処理の流れの例を説明するフローチャートである。フィルタリング予測処理の流れの例を説明するフローチャートである。符号化装置の構成例を示すブロック図である。図１７のモード決定回路の構成例を示すブロック図である。図１７の動き予測・補償回路の構成例を示すブロック図である。符号化装置の符号化処理について説明するフローチャートである。図２０のステップＳ１０８において行われるモード決定処理について説明するフローチャートである。図２０のステップＳ１１１において行われる動き予測・補償処理について説明するフローチャートである。フィルタリング回路の他の構成例を示すブロック図である。フィルタリング回路のさらに他の構成例を示すブロック図である。３枚の参照フレームを用いる場合の例を示す図である。３枚の参照フレームを用いる場合のフィルタリング回路の構成例を示すブロック図である。パーソナルコンピュータの構成例を示すブロック図である。本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。本発明を適用した携帯電話機の主な構成例を示すブロック図である。本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。本発明を適用したカメラの主な構成例を示すブロック図である。マクロブロックサイズの例を示す図である。

　以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（復号処理）
２．第２の実施の形態（符号化処理）
３．第３の実施の形態（フィルタリング回路の変形例）

＜１．第１の実施の形態＞
［予測の概要］
　図４は、本発明を適用した予測画像生成方法の概要を説明する図である。本発明においては、復号器において、動き補償画像を得るために、最低１本の動きベクトルが、ビットストリームで伝送される。

　図４では、フレームＮの復号のために、フレーム（Ｎ－1）１枚を、動き補償のための参照面に用いる様子を示している。図４では、フレーム（Ｎ－１）における動き補償を行う画像の座標を示すための動きベクトルがストリームで伝送される。復号器は、このベクトルを用いることで、画像MCを得る。

　また、フレームＮにおける復号済み画素値を利用して、イントラ予測が行われる。この予測には、例えばH.264規格におけるイントラ予測が用いられる。しかしながら、本発明ではイントラ予測の処理の種類は問わず、カレントフレームにおける符号化済み画素を利用して、より精度の高い、続くフィルタリング処理による予測のために好適な予測を行うことがあれば、それを選択してもよい。

　以上２つの予測処理により、カレントブロックの復号にあたり、復号器はフレーム（Ｎ－１）から動き予測画像を、フレームＮから空間予測画像を得ることが可能になる。この２種類の画像をフィルタリング処理することにより、入力の予測画像に含まれる成分を利用することで、より原画像に近い新たな予測画像を生成することができる。

［復号装置の構成］
　図５は、本発明の一実施形態に係る復号装置１の構成例を示すブロック図である。

　復号装置１に対しては、後述する符号化装置により符号化された画像情報がケーブル、ネットワーク、またはリムーバブルメディアを介して入力される。圧縮画像情報は、例えば、H.264規格に従って符号化された画像情報である。

　蓄積バッファ１１は、圧縮画像情報として入力されたビットストリームを順に記憶する。蓄積バッファ１１に記憶された情報は、適宜、フレームを構成するマクロブロックなどの所定の単位の画像毎に可逆復号回路１２により読み出される。H.264規格においては、１６×１６画素のマクロブロック単位ではなく、それをさらに分割した８×８画素、４×４画素などのブロック単位で処理を行うことも可能とされている。

　可逆復号回路１２は、蓄積バッファ１１から読み出した画像に対して、可変長復号処理、算術復号処理等の、符号化方式に対応する復号処理を施す。可逆復号回路１２は、復号処理を施すことによって得られた、量子化された変換係数を逆量子化回路１３に出力する。

　また、可逆復号回路１２は、復号の対象になっている画像のヘッダに含まれる識別フラグに基づいて、その画像がイントラ符号化された画像であるのかインター符号化された画像であるのかを識別する。可逆復号回路１２は、復号の対象になっている画像がイントラ符号化された画像であると判断した場合、その画像のヘッダに格納されたイントラ予測モード情報をイントラ予測回路２２に出力する。イントラ予測モード情報には、処理の単位となるブロックのサイズなどのイントラ予測に関する情報が含まれる。

　可逆復号回路１２は、復号の対象になっている画像がインター符号化された情報であると判断した場合、その画像のヘッダに格納された動きベクトルと識別フラグを動き予測・補償回路２１に出力する。識別フラグにより、インター予測によって予測画像を生成する際の予測のモードが識別される。識別フラグは、例えば、マクロブロック単位、フレーム単位で設定される。

　予測のモードとして、図１の片方向予測のモード、図２の双方向予測のモードの他に、時間的に一方向または双方向にある複数の参照フレームから抽出した動き補償画像にフィルタリングを施して予測画像を生成する第３の予測モードが用意されている。

　図６は、第３の予測モードの概念を示す図である。

　図６の例においては、現在のフレーム（予測フレーム）の時刻を基準として、時間的に１時刻前にあるフレームが参照フレームＲ0とされ、参照フレームＲ0の１時刻前にあるフレームが参照フレームＲ1とされている。この場合、第３の予測モードによれば、参照フレームＲ0，Ｒ1から抽出された動き補償画像MC0，MC1がフィルタリング回路に入力され、フィルタリング回路から出力された画像の画素値が、対象のマクロブロックである予測画像の画素値とされる。

　図７は、第３の予測モードに、異なる画像を入力する場合の概念を示す図である。

　図７の例においては、現在のフレーム（予測フレーム）の時刻を基準として、時間的に１時刻前にあるフレームが参照フレームＲ0とされる。この場合、第３の予測モードのために、参照フレームＲ0から抽出された動き補償画像MC０と、現在フレームのカレントブロック周辺にある符号化済み画像から生成されたイントラ予測画像IPがフィルタリング回路に入力され、フィルタリング回路から出力された画像の画素値が、対象のマクロブロックである予測画像の画素値とされる。

　以下、図１を参照して説明したような、一方向にある複数の参照フレームから抽出した動き補償画像のうちのいずれかの動き補償画像の画素値を予測画像の画素値とする予測のモードを単に片方向予測モードという。また、図２を参照して説明したような、双方向にある複数の参照フレームからそれぞれ抽出した動き補償画像の画素値の平均値を予測画像の画素値とする予測のモードを単に双方向予測モードという。

　一方向または双方向にある複数の参照フレームから抽出したそれぞれの動き補償画像に対してフィルタリングを施して予測画像の画素値を求める図６に示されるような第３の予測のモードをフィルタリング予測モードという。

　同様に、１つまたは複数の参照フレームから抽出したそれぞれの動き補償画像に加え、現在フレームの符号化済み画像からイントラ予測を行うことで抽出したイントラ予測画像に対してフィルタリングを施して予測画像の画素値を求める図７に示されるような第３の予測のモードも、同様にフィルタリング予測モードという。このフィルタリング予測モードについては後に詳述する。

　図５の説明に戻り、逆量子化回路１３は、可逆復号回路１２から供給された量子化された状態の変換係数に対して、符号化側における量子化方式に対応する方式で逆量子化を行う。逆量子化回路１３は、逆量子化を行うことによって得られた変換係数を逆直交変換回路１４に出力する。

　逆直交変換回路１４は、離散コサイン変換、カルーネン・レーベ変換等の、符号化側における直交変換方式に対応する方式で例えば４次の逆直交変換を逆量子化回路１３から供給された変換係数に対して施し、得られた画像を加算回路１５に出力する。

　加算回路１５は、逆直交変換回路１４から供給された復号画像と、動き予測・補償回路２１から、またはイントラ予測回路２２からスイッチ２３を介して供給された予測画像を合成し、合成画像をデブロックフィルタ１６に出力する。

　デブロックフィルタ１６は、加算回路１５から供給された画像に含まれるブロック歪を除去し、ブロック歪を除去した画像を出力する。デブロックフィルタ１６から出力された画像は並べ替えバッファ１７とフレームメモリ１９に供給される。

　並べ替えバッファ１７は、デブロックフィルタ１６から供給された画像を一時的に記憶する。並べ替えバッファ１７は、記憶している例えばマクロブロック単位の画像から各フレームを生成し、生成したフレームを表示順などの所定の順番に並べ替えてD/A(Digital/Analog)変換回路１８に出力する。

　D/A変換回路１８は、並べ替えバッファ１７から供給された各フレームに対してD/A変換を施し、各フレームの信号を外部に出力する。

　フレームメモリ１９は、デブロックフィルタ１６から供給された画像を一時的に記憶する。フレームメモリ１９に記憶された情報は、スイッチ２０を介して、動き予測・補償回路２１またはイントラ予測回路２２に供給される。

　スイッチ２０は、予測画像をインター予測により生成する場合、端子ａ1に接続し、イントラ予測により生成する場合、端子ｂ1に接続する。スイッチ２０の切り替えは例えば制御回路３１により制御される。

　動き予測・補償回路２１は、可逆復号回路１２から供給された識別フラグに従って予測モードを決定し、フレームメモリ１９に記憶されている復号済みのフレームの中から、参照フレームとして用いるフレームを予測モードに応じて選択する。動き予測・補償回路２１は、参照フレームを構成するマクロブロックの中から、対象とする予測画像に対応するマクロブロックを可逆復号回路１２から供給された動きベクトルに基づいて決定し、決定したマクロブロックを動き補償画像として抽出する。動き予測・補償回路２１は、動き補償画像の画素値から予測画像の画素値を予測モードに応じて求め、画素値を求めた予測画像を、スイッチ２３を介して加算回路１５に出力する。

　イントラ予測回路２２は、可逆復号回路１２から供給されたイントラ予測モード情報に従ってイントラ予測を行い、予測画像を生成する。イントラ予測回路２２は、生成した予測画像を、スイッチ２３を介して加算回路１５に出力する。

　スイッチ２３は、動き予測・補償回路２１により予測画像が生成された場合、端子ａ2に接続し、イントラ予測回路２２により予測画像が生成された場合、端子ｂ2に接続する。スイッチ２３の切り替えも例えば制御回路３１により制御される。

　制御回路３１は、スイッチ２０，２３の接続を切り替えるなどして、復号装置１の全体の動作を制御する。処理対象の画像がイントラ符号化された画像であるのかインター符号化された画像であるのかの識別が制御回路３１により行われるようにしてもよい。

　図８は、図５の動き予測・補償回路２１の構成例を示すブロック図である。

　図８に示されるように、動き予測・補償回路２１は、予測モード決定回路４１、片方向予測回路４２、双方向予測回路４３、予測回路４４、およびフィルタリング回路４５から構成される。可逆復号回路１２から供給された動きベクトルと識別フラグは予測モード決定回路４１に入力される。

　予測モード決定回路４１は、可逆復号回路１２から供給された識別フラグに従って予測モードを決定する。予測モード決定回路４１は、片方向予測によって予測画像の生成を行うことを決定した場合、動きベクトルを片方向予測回路４２に出力し、双方向予測によって予測画像の生成を行うことを決定した場合、動きベクトルを双方向予測回路４３に出力する。また、予測モード決定回路４１は、フィルタリング予測によって予測画像の生成を行うことを決定した場合、動きベクトルを予測回路４４に出力する。

　このように、フィルタリング予測を識別することができるようにするため、従来のH.264規格で定められている、片方向予測を表す値、双方向予測を表す値とは異なる値を、識別フラグの値として設定することが可能とされている。なお、識別フラグに従って予測モードが決定されるのではなく、情報量を削減するため、予め決められた方法により予測モードが決定されるようにしてもよい。

　片方向予測回路４２は、図１に示されるように、時間的に一方向にある複数のフレームを参照フレームとし、予測画像に対応する参照フレームのマクロブロックを動きベクトルに基づいて決定する。また、片方向予測回路４２は、決定したそれぞれの参照フレームのマクロブロックを動き補償画像としてフレームメモリ１９から読み出し、いずれかの動き補償画像の画素値を予測画像の画素値とすることによって予測画像を生成する。片方向予測回路４２は、予測画像を加算回路１５に出力する。片方向予測回路４２による片方向予測としては、例えばH.264規格で規定された片方向予測が用いられる。

　双方向予測回路４３は、図２に示されるように、時間的に双方向にある複数のフレームを参照フレームとし、予測画像に対応する参照フレームのマクロブロックを動きベクトルに基づいて決定する。また、双方向予測回路４３は、決定したそれぞれの参照フレームのマクロブロックを動き補償画像としてフレームメモリ１９から読み出し、読み出した動き補償画像の画素値の平均を予測画像の画素値とすることによって予測画像を生成する。双方向予測回路４３は、予測画像を加算回路１５に出力する。双方向予測回路４３による双方向予測としては、例えばH.264規格で規定された双方向予測が用いられる。

　予測回路４４は、時間的に一方向、または双方向にある複数のフレームを参照フレームとして決定する。どのフレームを参照フレームとするのかは、予め決定されているようにしてもよいし、識別フラグとともに符号化側から伝送されてきた情報により指定されるようにしてもよい。

　図９は、参照フレームの例を示す図である。

　図９の例においては、予測フレームの時刻を基準として、時間的に１時刻前とその１時刻前にある２枚のフレームが参照フレームとされている。２枚の参照フレームのうち、予測フレームにより近い、１時刻前のフレームが参照フレームＲ0とされ、参照フレームＲ0の１時刻前のフレームが参照フレームＲ1とされている。

　図１０は、参照フレームの他の例を示す図である。

　図１０の例においては、予測フレームの時刻を基準として、時間的に１時刻前と１時刻後にある２枚のフレームが参照フレームとされている。２枚の参照フレームのうち、予測フレームの１時刻前のフレームが参照フレームＬ0とされ、１時刻後のフレームが参照フレームＬ1とされている。

　このように、フィルタリング予測においては、時間的に一方向にある複数のフレーム、または双方向にある複数のフレームが参照フレームとして用いられる。

　また、予測回路４４は、図９、図１０に示されるようにして決定した参照フレームのうち、少なくとも１つの参照フレームの復号済みのマクロブロックのうち、予測画像に対応するマクロブロックを予測モード決定回路４１から供給された動きベクトルに基づいて決定する。

　さらに、予測回路４４は、図７を参照して説明したように、カレントフレームにおいて例えばH.264規格におけるイントラ予測を行う。

　予測回路４４は、決定したそれぞれの参照フレームのマクロブロックをイントラ予測画像としてフレームメモリ１９から読み出し、読み出したイントラ予測画像をフィルタリング回路４５に出力する。

　つまり、予測回路４４は、カレントフレーム以外の参照フレームから動きベクトルに基づいて動き補償画像を抽出するとともに、カレントフレームにおいてイントラ予測を行い、イントラ予測画像を生成する。

　なお、動きベクトルは、１６×１６画素などのマクロブロック単位で行われるのではなく、マクロブロックをさらに分割したブロック単位で行われるようにしてもよい。フィルタリング回路４５に対しては、例えばマクロブロック単位の画像が入力される。図８において、予測回路４４からフィルタリング回路４５に向かう矢印として２本の矢印が示されていることは２つの動き補償画像が供給されることを表している。

　フィルタリング回路４５は、予測回路４４から供給された動き補償画像を入力としてフィルタリングを行い、フィルタリングを行うことによって得られた予測画像を加算回路１５に出力する。

　図１１は、図６の予測回路４４の構成例を示すブロック図である。図１１において、予測回路４４は、動き補償回路５１およびイントラ予測回路５２を有する。

　動き補償回路５１は、予測モード決定回路４１より供給される動きベクトルを用いて、カレントフレーム以外の参照フレームにおいて予測画像に対応するマクロブロックを特定する。動き補償回路５１は、特定したマクロブロックの画像をフレームメモリ１９より読み出し、動き補償画像として抽出する。動き補償回路５１は、抽出した動き補償画像MC0を、フィルタリング回路４５に供給する。

　イントラ予測回路５２は、カレントフレーム（現在のフレーム）において、任意の方法でイントラ予測（フレーム内予測）を行い、その予測結果として、所望の予測画像に対応するイントラ予測画像IPを生成する。ここで、イントラ予測を行うためには、例えば、H.264におけるイントラ4ｘ4予測若しくはイントラ8x8予測若しくはイントラ16x16予測が用いられる。それらのイントラ予測が用いられる場合には、復号器側で予測方法が一意に定まるための制御情報がストリーム中に記述され、伝送される。イントラ予測回路５２は、生成したイントラ予測画像IPを、フィルタリング回路４５に供給する。

　図１２は、フィルタリング回路４５の構成例を示すブロック図である。図１２の構成を有するフィルタリング回路４５においては、時間領域の信号に対してフィルタリングが施される。

　図１２に示されるように、フィルタリング回路４５は、差分計算回路６１、ローパスフィルタ回路６２、ゲイン調整回路６３、ハイパスフィルタ回路６４、ゲイン調整回路６５、加算回路６６、および加算回路６７から構成される。予測回路４４から供給された動き補償画像MC0は差分計算回路６１と加算回路６７に入力され、動き補償画像MC1は差分計算回路６１に入力される。

　上述したようにイントラ予測によって予測画像を生成する場合、例えば、カレントフレームにおいて生成された画像がイントラ予測画像IPとされ、カレントフレーム以外の参照フレームから抽出された画像が動き補償画像MC1とされる。

　なお、図９に示されるように片方向予測によって予測画像を生成する場合、例えば、予測画像との相関がより高いと考えられる参照フレームＲ0から抽出された画像が動き補償画像MC0とされ、参照フレームＲ1から抽出された画像が動き補償画像MC1とされる。参照フレームＲ0から抽出された画像が動き補償画像MC1とされ、参照フレームＲ1から抽出された画像が動き補償画像MC0とされるようにしてもよい。

　また、図１０に示されるように双方向予測によって予測画像を生成する場合、例えば、１時刻前の参照フレームＬ0から抽出された画像が動き補償画像MC0とされ、１時刻後の参照フレームＬ1から抽出された画像が動き補償画像MC1とされる。参照フレームＬ0から抽出された画像が動き補償画像MC1とされ、参照フレームＬ1から抽出された画像が動き補償画像MC0とされるようにしてもよい。

　これらの動き補償画像MC0は、図１２のイントラ予測画像IPに置き換え、イントラ予測画像IPと同様に処理することができる。以下においては、イントラ予測画像IPについて説明する。

　差分計算回路６１は、イントラ予測画像IP（動き補償画像MC0）と動き補償画像MC1の差分を計算し、差分画像をローパスフィルタ回路６２に出力する。差分画像Ｄは下式（３）により表される。

　式（３）において、(i,j)は動き補償画像内における画素の相対位置を表し、１６×１６画素のマクロブロック単位で処理が行われるようになされている場合、０≦ｉ≦１６、０≦ｊ≦１６となる。以下、同様とする。

　ローパスフィルタ回路６２はFIRフィルタ回路を有する。ローパスフィルタ回路６２は、差分計算回路６１から供給された差分画像Ｄに対してローパスフィルタをかけ、得られた画像をゲイン調整回路６３とハイパスフィルタ回路６４に出力する。ローパスフィルタをかけることによって得られた画像である差分画像Ｄ’は下式（４）により表される。式（４）のLPF（Ｘ）は、入力画像Ｘに対して２次元のFIRフィルタを用いてローパスフィルタをかけることを表す。

　ゲイン調整回路６３は、ローパスフィルタ回路６２から供給された差分画像Ｄ’のゲインを調整し、ゲインを調整した画像を加算回路６６に出力する。ゲイン調整回路６３の出力画像Ｘ(i,j)は下式（５）により表される。

　ハイパスフィルタ回路６４はFIRフィルタ回路を有する。ハイパスフィルタ回路６４は、ローパスフィルタ回路６２から供給された差分画像Ｄ’に対してハイパスフィルタをかけ、得られた画像をゲイン調整回路６５に出力する。ハイパスフィルタをかけることによって得られた画像である差分画像Ｄ’’は下式（６）により表される。式（６）のHPF（Ｘ）は、入力画像Ｘに対して２次元のFIRフィルタを用いてハイパスフィルタをかけることを表す。

　ゲイン調整回路６５は、ハイパスフィルタ回路６４から供給された差分画像Ｄ’’のゲインを調整し、ゲインを調整した画像を加算回路６６に出力する。ゲイン調整回路６５の出力画像Ｙ(i,j)は下式（７）により表される。

　式（５）のα、式（７）のβの値としては、例えばα＝０．８、β＝０．２といった値が選ばれるが、予測画素の精度を上げるためにこれ以外の値とされるようにしてもよい。また、入力シーケンスの性質などに応じて適応的に変えるようにしてもよい。

　加算回路６６は、ゲイン調整された画像Ｘ(i,j)と画像Ｙ(i,j)を加算し、加算して得られた画像を出力する。加算回路６６の出力画像Ｚ(i,j)は下式（８）により表される。

　出力画像Ｚ(i,j)は、動き補償画像MC0と動き補償画像MC1の差分、すなわち相関から求められる、画像の高周波成分を表わすものになる。

　加算回路６７は、イントラ予測画像IPに対して、加算回路６６から供給された出力画像Ｚ(i,j)を足し込み、得られた画像を予測画像として加算回路１５に出力する。加算回路６７の最終出力である予測画像Ｓ(i,j)は下式（９）により表される。

　このように、フィルタリング予測モードによれば、高周波成分を表す画像をイントラ予測画像IPに足し込むことによって得られた画像が予測画像として生成される。この予測画像は、単純に双方向予測を行った場合に得られる予測画像と較べて高周波成分をより多く含むものになる。また、単純に片方向予測を行った場合と較べて、画像の時間相関をより効率的に利用して予測画像を生成することが可能になる。さらに、高周波成分を多く含む予測画像が加算回路１５において復号画像に加算されるから、最終的に復号装置１から出力される画像も高周波成分を多く含む高精細なものになる。

　また、予測画像の生成において、カレントフレームにおいてイントラ予測が行われ、その生成されるイントラ予測画像IPが動き補償画像MC1とともに利用されるので、動き補償画像生成のための動きベクトルの数を低減させることができる。

　以上述べてきた様に、本発明における動き補償装置により予測画像の出力が行われた後は、従来通りに復号を行うことで画像情報が復元される。

　このように、復号装置１は、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率の向上を実現することができ、さらに、インター予測に必要な参照面の数を減らすことで処理コストの低減を実現することもできる。

［復号処理の流れの説明］
　ここで、以上の構成を有する復号装置１の処理について説明する。

　はじめに、図１３のフローチャートを参照して、復号装置１の復号処理について説明する。

　図１３の処理は、例えば蓄積バッファ１１に記憶された情報から、１６×１６画素のマクロブロックなどの所定のサイズの画像が可逆復号回路１２により読み出されたときに開始される。図１３の各ステップの処理は、適宜、他のステップの処理と並行して、または他のステップと順番を変えて行われる。後述する各フローチャートにおける各ステップの処理も同様である。

　ステップＳ１において、可逆復号回路１２は、蓄積バッファ１１から読み出した画像に対して復号処理を施し、量子化された変換係数を逆量子化回路１３に出力する。また、可逆復号回路１２は、復号対象の画像がイントラ符号化された画像である場合、イントラ予測モード情報をイントラ予測回路２２に出力し、インター符号化された画像である場合、動きベクトルと識別フラグを動き予測・補償回路２１に出力する。

　ステップＳ２において、逆量子化回路１３は、符号化側における量子化方式に対応する方式で逆量子化を行い、変換係数を逆直交変換回路１４に出力する。

　ステップＳ３において、逆直交変換回路１４は、逆量子化回路１３から供給された変換係数に対して逆直交変換を施し、得られた画像を加算回路１５に出力する。

　ステップＳ４において、加算回路１５は、逆直交変換回路１４から供給された復号画像と、動き予測・補償回路２１から、またはイントラ予測回路２２から供給された予測画像を合成し、合成画像をデブロックフィルタ１６に出力する。

　ステップＳ５において、デブロックフィルタ１６は、フィルタリングを施すことによって、合成画像に含まれるブロック歪を除去し、ブロック歪を除去した画像を出力する。

　ステップＳ６において、フレームメモリ１９は、デブロックフィルタ１６から供給された画像を一時的に記憶する。

　ステップＳ７において、制御回路３１は、対象の画像がイントラ符号化された画像であるか否かを判定する。

　イントラ符号化された画像であるとステップＳ７において判定された場合、ステップＳ８において、イントラ予測回路２２は、イントラ予測を行うことによって予測画像を生成し、生成した予測画像を加算回路１５に出力する。

　一方、イントラ符号化された画像ではない、すなわちインター符号化された画像であるとステップＳ７において判定された場合、ステップＳ９において、動き予測・補償回路２１により動き予測・補償処理が行われる。動き予測・補償処理が行われることによって生成された予測画像は加算回路１５に出力される。動き予測・補償処理については図１４のフローチャートを参照して後述する。

　ステップＳ１０において、制御回路３１は、１フレーム全体のマクロブロックについて以上の処理を行ったか否かを判定し、処理を行っていないと判定した場合、他のマクロブロックに注目して、ステップＳ１以降の処理を繰り返す。

　一方、１フレーム全体のマクロブロックについて処理を行ったとステップＳ１０において判定された場合、ステップＳ１１において、並べ替えバッファ１７は、制御回路３１による制御に従って、生成したフレームをD/A変換回路１８に出力する。

　ステップＳ１２において、D/A変換回路１８は、並べ替えバッファ１７から供給されたフレームに対してD/A変換を施し、アナログの信号を外部に出力する。以上の処理が、各フレームを対象として行われる。

　次に、図１４のフローチャートを参照して、図１３のステップＳ９において行われる動き予測・補償処理について説明する。

　ステップＳ３１において、動き予測・補償回路２１の予測モード決定回路４１は、可逆復号回路１２から供給された識別フラグがフィルタリング予測モードで処理を行うことを表しているか否かを判定する。

　フィルタリング予測モードで処理を行うことを表しているとステップＳ３１において判定された場合、処理はステップＳ３２に進む。ステップＳ３２において、予測回路４４は、動き補償画像を抽出する抽出処理、および、イントラ予測画像を生成する生成処理を行う。この抽出処理および生成処理の詳細については、後述する。

　動き補償画像が抽出され、イントラ予測画像が生成されると、ステップＳ３３において、フィルタリング回路４５は、フィルタリング予測処理を行う。このフィルタリング予測処理の詳細については後述する。

　ステップＳ３３の処理が終了すると、動き予測・補償処理が終了され、処理は、図１１のステップＳ９に戻り、ステップＳ１０に進む。

　また、ステップＳ３１において、フィルタリング予測モードで処理を行うことを表していないと判定された場合、処理はステップＳ３２に進む。ステップＳ３２において、片方向予測回路４２が片方向予測を行い、または、双方向予測回路４３が双方向予測を行い、予測画像が生成される。

　すなわち、識別フラグが片方向予測モードで処理を行うことを表している場合、予測モード決定回路４１から片方向予測回路４２に対して動きベクトルが供給され、片方向予測回路４２において片方向予測が行われる。また、識別フラグが双方向予測モードで処理を行うことを表している場合、予測モード決定回路４１から双方向予測回路４３に対して動きベクトルが供給され、双方向予測回路４３において双方向予測が行われる。予測画像が加算回路１５に出力された後、動き予測・補償処理が終了され、処理は、図１３のステップＳ９に戻り、ステップＳ１０に進む。

　次に、図１５のフローチャートを参照して、図１４のステップＳ３２において実行される抽出処理の流れの例について説明する。

　抽出処理が開始されると、予測回路４４は、ステップＳ５１において、変数ｉ＝１とする。ステップＳ５２において、動き補償回路５１は、ｉ番目の参照フレーム、すなわち、参照面ｉから動き補償を行い、動き補償画像MC[i]を抽出する。ステップＳ５３において、動き補償回路５１は、動き補償画像MC[i]をフィルタリング回路４５に出力する。

　ステップＳ５４において、予測回路４４は、変数ｉの値がＮ以下であるか否かを判定する。変数ｉの値が所定の自然数Ｎ以下であると判定された場合、処理は、ステップＳ５５に進む。

　ステップＳ５５において、動き補償回路５１は、変数ｉをインクリメントする。ステップＳ５５の処理が終了すると、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返される。また、ステップＳ５４において、変数ｉの値がＮより大きいと判定された場合、処理は、ステップＳ５６に進む。

　ステップＳ５６において、イントラ予測回路５２は、イントラ予測を行うか否かを判定する。イントラ予測を行うと判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、イントラ予測回路５２は、カレントフレーム（現在フレーム）においてイントラ予測を行う。ステップＳ５８において、イントラ予測回路５２は、イントラ予測により生成されたイントラ予測画像IPをフィルタリング回路４５に出力する。

　ステップＳ５８の処理が終了すると、抽出処理が終了され、処理は、図１４のステップＳ３２に戻り、ステップＳ３３に進む。また、図１５のステップＳ５６において、イントラ予測を行わないと判定された場合、抽出処理が終了され、処理は、図１４のステップＳ３２に戻り、ステップＳ３３に進む。

　次に、図１６のフローチャートを参照して、図１４のステップＳ３３において実行されるフィルタリング予測処理の流れの例について説明する。

　動き補償画像が抽出され、イントラ予測画像が生成され、フィルタリング処理が開始されると、フィルタリング回路４５の差分計算回路６１は、ステップＳ７１において、動き補償画像とイントラ予測画像の差分を計算し、差分画像をローパスフィルタ回路６２に出力する。

　ステップＳ７２において、ローパスフィルタ回路６２は、差分計算回路６１から供給された差分画像に対してローパスフィルタをかけ、得られた画像をゲイン調整回路６３とハイパスフィルタ回路６４に出力する。

　ステップＳ７３において、ゲイン調整回路６３は、ローパスフィルタ回路６２から供給された画像のゲインを調整し、ゲインを調整した画像を加算回路６６に出力する。

　ステップＳ７４において、ハイパスフィルタ回路６４は、ローパスフィルタ回路６２から供給された差分画像に対してハイパスフィルタをかけ、得られた画像をゲイン調整回路６５に出力する。

　ステップＳ７５において、ゲイン調整回路６５は、ハイパスフィルタ回路６４から供給された差分画像のゲインを調整し、ゲインを調整した画像を加算回路６６に出力する。

　ステップＳ７６において、加算回路６６は、ゲイン調整回路６３から供給された画像（ローパスフィルタの出力）とゲイン調整回路６５から供給された画像（ハイパスフィルタの出力）を加算して画像の高周波成分を求める。求められた高周波成分は加算回路６６から加算回路６７に供給される。

　ステップＳ７７において、加算回路６７は、イントラ予測画像に対して、加算回路６６から供給された画像（高周波成分）を足し込み、得られた画像を予測画像として加算回路１５に出力する。なお、加算回路６７は、イントラ予測画像の代わりに、動き補償画像に対して、加算回路６６から供給された画像（高周波成分）を足し込むようにしてもよい。

　ステップＳ７８において、フィルタリング回路４５は、全ての動き補償画像およびイントラ予測画像を処理したか否かを判定する。未処理の動き補償画像またはイントラ予測画像が存在すると判定された場合、処理はステップＳ７１に戻り、それ以降の処理が繰り返される。

　また、ステップＳ７８において、全ての動き補償画像およびイントラ予測画像が処理されたと判定された場合、フィルタリング予測処理が終了され、処理は、図１２のステップＳ３３に戻り、動き予測・補償処理が終了され、図１１のステップＳ９に戻り、ステップＳ１０に進む。

　以上のように、フィルタリング予測によって生成された予測画像を用いて復号が行われることにより、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことができるので、高精細な復号画像を得ることが可能になる。また、このとき、予測画像の算出に、少なくとも１つのイントラ予測画像を用いることにより、符号化する動きベクトルの量を低減させることができ、処理コストの低減（負荷の増大の抑制）を実現することができる。つまり、復号装置１は、少ない制御情報で、精度の高い予測画像を生成することができる。

＜２．第２の実施の形態＞
［符号化装置の構成］
　次に、符号化側の装置の構成と動作について説明する。

　図１７は、符号化装置１０１の構成例を示すブロック図である。符号化装置１０１により符号化されることによって得られた圧縮画像情報が、図５の復号装置１に入力される。

　A/D変換回路１１１は、入力信号にA/D変換を施し、画像を並べ替えバッファ１１２に出力する。

　並べ替えバッファ１１２は、圧縮画像情報のGOP(Group of Pictures)構造に応じてフレームの並べ替えを行い、マクロブロックなどの所定の単位の画像を出力する。並べ替えバッファ１１２から出力された画像は、加算回路１１３、モード決定回路１２３、動き予測・補償回路１２５、およびイントラ予測回路１２６に供給される。

　加算回路１１３は、並べ替えバッファ１１２から供給された画像と、動き予測・補償回路１２５、またはイントラ予測回路１２６により生成され、スイッチ１２７を介して供給された予測画像の差を求め、残差を直交変換回路１１４に出力する。予測画像が原画像に近く、ここで求められる残差が少ないほど、残差に割り当てる符号量が少なくて済むことから符号化効率が高いといえる。

　直交変換回路１１４は、加算回路１１３から供給された残差に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、直交変換を施すことによって得られた変換係数を量子化回路１１５に出力する。

　量子化回路１１５は、直交変換回路１１４から供給された変換係数を、レート制御回路１１８による制御に従って量子化し、量子化した変換係数を出力する。量子化回路１１５により量子化された変換係数は可逆符号化回路１１６と逆量子化回路１１９に供給される。

　可逆符号化回路１１６は、量子化回路１１５から供給された変換係数を、可変長符号化、算術符号化等の可逆符号化を施すことによって圧縮し、情報を蓄積バッファ１１７に出力する。

　また、可逆符号化回路１１６は、モード決定回路１２３から供給された情報に従って識別フラグの値を設定し、識別フラグを画像のヘッダに記述する。可逆符号化回路１１６により記述された識別フラグに基づいて、上述したように、復号装置１において予測モードが決定される。

　可逆符号化回路１１６は、動き予測・補償回路１２５またはイントラ予測回路１２６から供給された情報を画像のヘッダに記述することも行う。動き予測・補償回路１２５からは、インター予測を行う際に検出された動きベクトルなどが供給され、イントラ予測回路１２６からは、適用されたイントラ予測モードに関する情報が供給される。

　蓄積バッファ１１７は、可逆符号化回路１１６から供給された情報を一時的に記憶し、所定のタイミングで圧縮画像情報として出力する。蓄積バッファ１１７は、発生符号量の情報をレート制御回路１１８に出力する。

　レート制御回路１１８は、蓄積バッファ１１７から出力された符号量に基づいて量子化スケールを算出し、算出した量子化スケールで量子化が行われるように量子化回路１１５を制御する。

　逆量子化回路１１９は、量子化回路１１５により量子化された変換係数に対して逆量子化を施し、変換係数を逆直交変換回路１２０に出力する。

　逆直交変換回路１２０は、逆量子化回路１１９から供給された変換係数に対して逆直交変換を施し、得られた画像をデブロックフィルタ１２１に出力する。

　デブロックフィルタ１２１は、局所的に復号された画像に現れるブロック歪みを除去し、ブロック歪みを除去した画像をフレームメモリ１２２に出力する。

　フレームメモリ１２２は、デブロックフィルタ１２１から供給された画像を記憶する。フレームメモリ１２２に記憶された画像はモード決定回路１２３により適宜読み出される。

　モード決定回路１２３は、フレームメモリ１２２に記憶されている画像と並べ替えバッファ１１２から供給された原画像に基づいて、イントラ符号化を行うか、インター符号化を行うかを決定する。また、モード決定回路１２３は、インター符号化を行うことを決定した場合、片方向予測モード、双方向予測モード、フィルタリング予測モードのうちのいずれかのモードを決定する。モード決定回路１２３は、決定結果を表す情報をモード情報として可逆符号化回路１１６に出力する。

　モード決定回路１２３は、インター符号化を行うことを決定した場合、フレームメモリ１２２に記憶されている、局所的に復号して得られたフレームを、スイッチ１２４を介して動き予測・補償回路１２５に出力する。

　また、モード決定回路１２３は、イントラ符号化を行うことを決定した場合、フレームメモリ１２２に記憶されている、局所的に復号して得られたフレームをイントラ予測回路１２６に出力する。

　スイッチ１２４は、インター符号化を行う場合、端子ａ11に接続し、イントラ符号化を行う場合、端子ｂ11に接続する。スイッチ１２４の切り替えは例えば制御回路１３１により制御される。

　動き予測・補償回路１２５は、並べ替えバッファ１１２から供給された原画像と、フレームメモリ１２２から読み出された参照フレームに基づいて動きベクトルを検出し、検出した動きベクトルを可逆符号化回路１１６に出力する。また、動き予測・補償回路１２５は、検出した動きベクトルと参照フレームを用いて動き補償を行うことによって予測画像を生成し、生成した予測画像を、スイッチ１２７を介して加算回路１１３に出力する。

　イントラ予測回路１２６は、並べ替えバッファ１１２から供給された原画像と、ローカルデコードされてフレームメモリ１２２に記憶されている参照フレームに基づいてイントラ予測を行い、予測画像を生成する。イントラ予測回路１２６は、生成した予測画像を、スイッチ１２７を介して加算回路１１３に出力し、イントラ予測モード情報を可逆符号化回路１１６に出力する。

　スイッチ１２７は、端子ａ12または端子ｂ12に接続し、動き予測・補償回路１２５、またはイントラ予測回路１２６により生成された予測画像を加算回路１１３に出力する。

　制御回路１３１は、モード決定回路１２３により決定されたモードに応じてスイッチ１２４，１２７の接続を切り替えるなどして、符号化装置１０１の全体の動作を制御する。

　図１８は、図１７のモード決定回路１２３の構成例を示すブロック図である。

　図１８に示されるように、モード決定回路１２３は、イントラ予測回路１４１、インター予測回路１４２、予測誤差計算回路１４３、および決定回路１４４から構成される。モード決定回路１２３においては、それぞれ異なる大きさのブロックを対象としてイントラ予測、インター予測が行われ、その結果から、どの予測モードで予測を行うのかが決定される。インター予測については、片方向予測モード、双方向予測モード、フィルタリング予測モードのそれぞれの予測モードでの処理が行われる。並べ替えバッファ１１２から供給された原画像はイントラ予測回路１４１、インター予測回路１４２、および予測誤差計算回路１４３に入力される。

　イントラ予測回路１４１は、原画像とフレームメモリ１２２から読み出された画像に基づいてそれぞれ異なるサイズのブロック単位でイントラ予測を行い、生成したイントラ予測画像を予測誤差計算回路１４３に出力する。４×４予測回路１５１－１においては、４×４画素のブロック単位でイントラ予測が行われ、８×８予測回路１５１－２においては、８×８画素のブロック単位でイントラ予測が行われる。１６×１６予測回路１５１－３においては、１６×１６画素のブロック単位でイントラ予測が行われる。イントラ予測回路１４１の各回路は、また、生成したイントラ予測画像をフィルタリング回路１６４にも供給する。

　インター予測回路１４２の予測回路１６１は、原画像とフレームメモリ１２２から読み出された参照フレームに基づいてそれぞれ異なるサイズのブロック単位で動きベクトルを検出する。また、予測回路１６１は、検出した動きベクトルに基づいて動き補償を行い、予測画像の生成に用いる動き補償画像を出力する。

　１６×１６予測回路１６１－１においては、１６×１６画素のブロック単位の画像を対象として処理が行われ、１６×８予測回路１６１－２においては、１６×８画素のブロック単位の画像を対象として処理が行われる。また、４×４予測回路１６１－（ｎ－１）においては、４×４画素のブロック単位の画像を対象として処理が行われる。スキップ／ダイレクト予測回路１６１－ｎにおいては、スキップ予測モード、ダイレクト予測モードで動きベクトルが検出され、検出された動きベクトルを用いて動き補償が行われる。

　現在のフレームを基準として、片方向にある複数の参照フレームから抽出された動き補償画像が予測回路１６１の各回路から片方向予測回路１６２に供給される。また、現在のフレームを基準として、双方向にある複数の参照フレームから抽出された動き補償画像が予測回路１６１の各回路から双方向予測回路１６３に供給される。

　フィルタリング予測が上述したように片方向にある複数の参照フレームから抽出された動き補償画像を用いて行われる場合、予測回路１６１の各回路からフィルタリング回路１６４に対して、片方向にある参照フレームから抽出された動き補償画像が供給される。フィルタリング予測が双方向にある複数の参照フレームから抽出された動き補償画像を用いて行われる場合、予測回路１６１の各回路からフィルタリング回路１６４に対して、双方向にある参照フレームから抽出された動き補償画像が供給される。

　片方向予測回路１６２は、予測回路１６１の各回路から供給されたそれぞれ異なるサイズの動き補償画像を用いて片方向予測を行うことによって予測画像を生成し、生成した予測画像を予測誤差計算回路１４３に出力する。例えば、片方向予測回路１６２は、予測回路１６１－１から供給された、１６×１６画素の複数の動き補償画像のうちのいずれかの画像の画素値を予測画像の画素値とすることによって予測画像を生成する。

　双方向予測回路１６３は、予測回路１６１の各回路から供給されたそれぞれ異なるサイズの動き補償画像を用いて双方向予測を行うことによって予測画像を生成し、生成した予測画像を予測誤差計算回路１４３に出力する。例えば、双方向予測回路１６３は、予測回路１６１－１から供給された、１６×１６画素の複数の動き補償画像の画素値の平均値を予測画像の画素値とすることによって予測画像を生成する。

　フィルタリング回路１６４は、予測回路１６１の各回路から供給されたそれぞれ異なるサイズの動き補償画像と、イントラ予測回路１４１の各回路から供給されたそれぞれ異なるサイズのイントラ予測画像を用いてフィルタリング予測を行うことによって予測画像を生成し、生成した予測画像を予測誤差計算回路１４３に出力する。フィルタリング回路１６４は、復号装置１のフィルタリング回路４５に対応して、図１２に示される構成と同じ構成を有している。

　例えば、フィルタリング回路１６４は、予測回路１６１－１から供給された１６×１６画素の動き補償画像と、予測回路１５１－３から供給された１６×１６画素を対象として予測画像を生成する場合、イントラ予測画像と動き補償画像の差分を求め、求めた差分画像にローパスフィルタをかける。また、フィルタリング回路１６４は、ローパスフィルタの出力に対してハイパスフィルタをかけ、その出力のゲインを調整した画像と、ローパスフィルタの出力のゲインを調整した画像とを加算する。フィルタリング回路１６４は、高周波成分を表す加算結果の画像をイントラ予測画像に加算することによって予測画像を生成し、生成した予測画像を予測誤差計算回路１４３に出力する。

　予測誤差計算回路１４３は、イントラ予測回路１４１の各回路から供給されたそれぞれの予測画像について、原画像との差を求め、求めた差を表す残差信号を決定回路１４４に出力する。また、予測誤差計算回路１４３は、インター予測回路１４２の片方向予測回路１６２、双方向予測回路１６３、フィルタリング回路１６４から供給されたそれぞれの予測画像について、原画像との差を求め、求めた差を表す残差信号を決定回路１４４に出力する。

　決定回路１４４は、予測誤差計算回路１４３から供給された残差信号の強度を測定し、原画像との差の少ない予測画像の生成に用いられた予測方法を、符号化に用いる予測画像を生成するための予測方法として決定する。決定回路１４４は、決定結果を表す情報をモード情報として可逆符号化回路１１６に出力する。モード情報には、どのサイズのブロックを処理の単位とするのかを表す情報なども含まれる。

　また、決定回路１４４は、インター予測によって予測画像を生成することを決定した場合（インター符号化を行うことを決定した場合）、フレームメモリ１２２から読み出した参照フレームを、モード情報とともに動き予測・補償回路１２５に出力する。決定回路１４４は、イントラ予測によって予測画像を生成することを決定した場合（イントラ符号化を行うことを決定した場合）、フレームメモリ１２２から読み出したイントラ予測に用いる画像を、モード情報とともにイントラ予測回路１２６に出力する。

　図１９は、図１７の動き予測・補償回路１２５の構成例を示すブロック図である。

　図１９に示されるように、動き予測・補償回路１２５は、動きベクトル検出回路１８１、片方向予測回路１８２、双方向予測回路１８３、予測回路１８４、およびフィルタリング回路１８５から構成される。予測モード決定回路４１に替えて動きベクトル検出回路１８１が設けられている点を除いて、動き予測・補償回路１２５は、図８に示される動き予測・補償回路２１と同様の構成を有する。

　動きベクトル検出回路１８１は、並べ替えバッファ１１２から供給された原画像と、モード決定回路１２３から供給された参照フレームに基づいて、ブロックマッチングなどを行うことによって動きベクトルを検出する。動きベクトル検出回路１８１は、モード決定回路１２３から供給されたモード情報を参照し、参照フレームとともに動きベクトルを片方向予測回路１８２、双方向予測回路１８３、予測回路１８４のいずれかに出力する。

　動きベクトル検出回路１８１は、片方向予測が選択されている場合、参照フレームとともに動きベクトルを片方向予測回路１８２に出力し、双方向予測を行うことが選択されている場合、それらの情報を双方向予測回路１８３に出力する。動きベクトル検出回路１８１は、フィルタリング予測を行うことが選択されている場合、参照フレームとともに動きベクトルを予測回路１８４に出力する。

　片方向予測回路１８２は、図８の片方向予測回路４２と同様に、片方向予測を行うことによって予測画像を生成する。片方向予測回路１８２は、生成した予測画像を加算回路１１３に出力する。

　双方向予測回路１８３は、図８の双方向予測回路４３と同様に、双方向予測を行うことによって予測画像を生成する。双方向予測回路１８３は、生成した予測画像を加算回路１１３に出力する。

　予測回路１８４は、図８の予測回路４４と同様に、２枚などの複数の参照フレームからそれぞれ動き補償画像を抽出し、抽出した複数の動き補償画像をフィルタリング回路１８５に出力する。

　フィルタリング回路１８５は、図８のフィルタリング回路４５と同様に、フィルタリング予測を行うことによって予測画像を生成する。フィルタリング回路１８５は、生成した予測画像を加算回路１１３に出力する。なお、フィルタリング回路１８５は図１２に示されるフィルタリング回路４５の構成と同様の構成を有している。以下、適宜、図１２に示されるフィルタリング回路４５の構成をフィルタリング回路１８５の構成として引用して説明する。

　フィルタリング予測によって生成された予測画像は、片方向予測、双方向予測によって生成された予測画像と較べて高周波成分を多く含み、原画像との差が少ない画像になる。従って、残差に割り当てる符号量が少なくて済むため、符号化効率を上げることが可能になる。

　また、参照フレームの数が少なくとも２枚あればフィルタリング予測を行うことができるため、そのように符号化効率を上げるといったことを、処理を複雑にすることなく実現することが可能になる。例えば、インター予測で用いる参照フレームの数を多くして精度の高い予測画像を生成し、それを用いることによっても原画像との残差を小さくし、符号化効率を上げることができるが、この場合、参照フレームの数が多くなることから、処理が複雑になる。

　なお、予測方法を選択する際、予測に必要な動きベクトルや符号化モードといった情報の符号量を考慮し、符号量に応じた重みを残差信号の強度に加えて最適な予測方法が選択されるようにしてもよい。これにより、より一層、符号化効率を改善させることが可能になる。また、符号化処理の簡略化のために、入力された原画像の時間・空間方向の特徴量を利用して、適応的に予測方法が選択されるようにしてもよい。

［符号化処理の流れの説明］
　次に、以上のような構成を有する符号化装置１０１の処理について説明する。

　図２０のフローチャートを参照して、符号化装置１０１の符号化処理について説明する。この処理は、マクロブロックなどの所定の単位の画像が並べ替えバッファ１１２から出力されたときに開始される。

　ステップＳ１０１において、加算回路１１３は、並べ替えバッファ１１２から供給された画像と、動き予測・補償回路１２５、またはイントラ予測回路１２６により生成された予測画像の差を求め、残差を直交変換回路１１４に出力する。

　ステップＳ１０２において、直交変換回路１１４は、加算回路１１３から供給された残差に対して直交変換を施し、変換係数を量子化回路１１５に出力する。

　ステップＳ１０３において、量子化回路１１５は、直交変換回路１１４から供給された変換係数を量子化し、量子化した変換係数を出力する。

　ステップＳ１０４において、逆量子化回路１１９は、量子化回路１１５により量子化された変換係数に対して逆量子化を施し、変換係数を逆直交変換回路１２０に出力する。

　ステップＳ１０５において、逆直交変換回路１２０は、逆量子化回路１１９から供給された変換係数に対して逆直交変換を施し、得られた画像をデブロックフィルタ１２１に出力する。

　ステップＳ１０６において、デブロックフィルタ１２１は、フィルタリングを施すことによってブロック歪みを除去し、ブロック歪みを除去した画像をフレームメモリ１２２に出力する。

　ステップＳ１０７において、フレームメモリ１２２は、デブロックフィルタ１２１から供給された画像を記憶する。

　ステップＳ１０８において、モード決定回路１２３によりモード決定処理が行われる。モード決定処理により、どの予測モードで予測画像を生成するのかが決定される。モード決定処理については後述する。

　ステップＳ１０９において、制御回路１３１は、モード決定回路１２３による決定に基づいて、イントラ予測を行うか否かを判定する。

　イントラ予測を行うとステップＳ１０９において判定された場合、ステップＳ１１０において、イントラ予測回路１２６はイントラ予測を行い、予測画像を加算回路１１３に出力する。

　一方、イントラ予測を行わない、すなわちインター予測を行うとステップＳ１０９において判定された場合、ステップＳ１１１において、動き予測・補償処理が動き予測・補償回路１２５により行われ、予測画像が加算回路１１３に出力される。動き予測・補償処理については後述する。

　ステップＳ１１２において、可逆符号化回路１１６は、量子化回路１１５から供給された変換係数を圧縮し、蓄積バッファ１１７に出力する。また、可逆符号化回路１１６は、モード決定回路１２３から供給された情報に従って識別フラグを画像のヘッダに記述したり、動き予測・補償回路１２５から供給された動きベクトルを画像のヘッダに記述したりする。

　ステップＳ１１３において、蓄積バッファ１１７は、可逆符号化回路１１６から供給された情報を一時的に記憶する。

　ステップＳ１１４において、制御回路１３１は、１フレーム全体のマクロブロックについて以上の処理を行ったか否かを判定し、処理を行っていないと判定した場合、他のマクロブロックに注目して、ステップＳ１１１以降の処理を繰り返す。

　一方、１フレーム全体のマクロブロックについて処理を行ったとステップＳ１１４において判定された場合、ステップＳ１１５において、蓄積バッファ１１７は制御回路１３１による制御に従って圧縮画像情報を出力する。以上の処理が、各フレームを対象として行われる。

　次に、図２１のフローチャートを参照して、図２０のステップＳ１０８において行われるモード決定処理について説明する。

　ステップＳ１３１において、イントラ予測回路１４１、インター予測回路１４２は、それぞれ、異なる大きさのブロックを対象としてイントラ予測、インター予測を行い、予測画像を生成する。生成された予測画像は予測誤差計算回路１４３に供給される。

　ステップＳ１３２において、予測誤差計算回路１４３は、イントラ予測回路１４１の各回路、インター予測回路１４２の片方向予測回路１６２、双方向予測回路１６３、フィルタリング回路１６４から供給されたそれぞれの予測画像について、原画像との差を求める。予測誤差計算回路１４３は残差信号を決定回路１４４に出力する。

　ステップＳ１３３において、決定回路１４４は、予測誤差計算回路１４３から供給された残差信号の強度に基づいて、加算回路１１３に供給する予測画像を生成するための予測方法を決定する。

　ステップＳ１３４において、決定回路１４４は、決定した予測方法に関する情報であるモード情報を可逆符号化回路１１６に出力する。その後、図２０のステップＳ１０８に戻り、それ以降の処理が行われる。

　次に、図２２のフローチャートを参照して、図２０のステップＳ１１１において行われる動き予測・補償処理について説明する。

　ステップＳ１５１において、動きベクトル検出回路１８１は、原画像と参照フレームに基づいて動きベクトルを検出する。

　ステップＳ１５２において、動きベクトル検出回路１８１は、モード決定回路１２３によりフィルタリング予測モードで処理を行うことが決定されたか否かを判定する。

　フィルタリング予測モードで処理を行うことが決定されたと判定された場合、処理は、ステップＳ１５３に進む。ステップＳ１５３およびステップＳ１５４の各処理は、それぞれ、図１４のステップＳ３２およびステップＳ３３の場合と同様に実行される。つまり、ステップＳ１５３においては、抽出処理が、図１５のフローチャートを参照して説明したように実行され、ステップＳ１５４においては、フィルタリング予測処理が、図１６のフローチャートを参照して説明したように実行される。

　ステップＳ１５４の処理が終了すると、動き予測・補償処理が終了され、処理は、図２０のステップＳ１１１に戻り、ステップＳ１１２に進む。

　また、図２２のステップＳ１５２において、フィルタリング予測モードで処理を行うことが決定されていないと判定された場合、処理は、ステップＳ１５５に進む。ステップＳ１５５において、片方向予測回路１８２または双方向予測回路１８３は、片方向予測、または双方向予測を行い、予測画像を生成する。

　すなわち、片方向予測モードで処理を行うことが決定された場合、動きベクトル検出回路１８１から片方向予測回路１８２に対して動きベクトルが供給され、片方向予測回路１８２において片方向予測が行われる。また、双方向予測モードで処理を行うことが決定された場合、動きベクトル検出回路１８１から双方向予測回路１８３に対して動きベクトルが供給され、双方向予測回路１８３において双方向予測が行われる。予測画像が加算回路１１３に出力され、図２２のステップＳ１５５の処理が終了すると、動き予測・補償処理が終了され、処理は、図２０のステップＳ１１１に戻り、ステップＳ１１２に進む。

　以上のように、フィルタリング予測によって生成された予測画像を用いて符号化を行うことにより、符号化効率を上げることが可能になる。特に、符号化装置１０１は、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率を向上させることができる。さらに、インター予測に必要な参照フレームの数を減らすことができるので処理コストの低減を実現することができる。

＜３．第３の実施の形態＞
［フィルタリング回路の変形例］
　以上においては、フィルタリング回路４５，１８５は図１２に示されるような構成を有するものとしたが、この構成は適宜変更可能である。

　図２３は、フィルタリング回路４５の他の構成例を示すブロック図である。図１２に示される構成と対応する構成には同じ符号を付してある。重複する説明については適宜省略する。

　図２３の差分計算回路６１は、イントラ予測画像と動き補償画像の差分を計算し、差分画像をローパスフィルタ回路６２に出力する。

　ローパスフィルタ回路６２は、差分計算回路６１から供給された差分画像に対してローパスフィルタをかけ、得られた画像を加算回路６７に出力する。

　加算回路６７は、イントラ予測画像に対して、ローパスフィルタ回路６２から供給された画像を足し込み、得られた画像を予測画像として出力する。

　図２３に示されるような構成を用いることにより、図１２の構成を用いた場合と較べて処理量を減らすことができ、高速な動作を実現する可能になる。

　図２４は、フィルタリング回路４５のさらに他の構成例を示すブロック図である。図１２に示される構成と対応する構成には同じ符号を付してある。重複する説明については適宜省略する。

　図２４のフィルタリング回路４５においては、時間領域の信号ではなく周波数領域の信号を対象としてフィルタリングが施される。図１２、図２３に示されるフィルタリング回路４５は、いずれも、時間領域の信号に対してフィルタリングを施すものである。

　図２４の差分計算回路６１は、イントラ予測画像と動き補償画像の差分を計算し、差分画像を直交変換回路２０１に出力する。

　直交変換回路２０１は、差分画像に対して、DCT(Discrete Cosine Transform)、Hadamard変換、KLT(Karhunen Loeve Transformation)に代表される直交変換を施し、直交変換後の信号をバンドパスフィルタ回路２０２に出力する。直交変換を行い、周波数領域の信号に対してフィルタリングを施すようにすることにより、時間領域の信号に対してフィルタリングを施す場合に較べて、より柔軟に精度の高いフィルタ処理が可能になる。

　DCTを直交変換として用いた場合、直交変換後の出力DFは下式（１０）により表される。式（１０）のDCT（Ｘ）は、信号Ｘに対して２次元のDCT処理を行うことを表す。

　バンドパスフィルタ回路２０２は、直交変換回路２０１の出力に対してフィルタリングを施し、所定の帯域の信号を出力する。

　ゲイン調整回路２０３は、バンドパスフィルタ回路２０２の出力のゲインをα倍して調整するとともに、周波数成分の調整を行う。ゲイン調整回路２０３の出力XFは下式（１１）により表される。式（１１）のBPF（Ｘ）は、信号Ｘに対してバンドパスフィルタ処理を行うことを表す。

　逆直交変換回路２０４は、直交変換回路２０１による直交変換に対応する方式で逆直交変換を行い、ゲイン調整回路２０３から供給された周波数領域の信号を時間領域の信号に変換する。例えば、直交変換回路２０１においてDCTが直交変換として用いられた場合、逆直交変換回路２０４においてはIDCTが行われる。逆直交変換回路２０４の出力Ｘは下式（１２）により表される。式（１２）のIDCT（Ｘ）は、信号Ｘに対して２次元のIDCT処理を行うことを表す。

　加算回路６７は、イントラ予測画像に対して、逆直交変換回路２０４から供給され信号Ｘを時間領域で足し込み、得られた画像を予測画像として出力する。加算回路６７の最終出力である予測画像Ｓ(i,j)は下式（１３）により表される。

　このように、周波数領域の信号に対してフィルタリングを行うことによっても、精度の高い予測画像を生成することができる。

　また、以上においては、２枚の参照フレームが用いられてフィルタリング予測が行われるものとしたが、それ以上の枚数のフレームが参照フレームとして用いられるようにしてもよい。

　図２５は、３枚の参照フレームを用いる場合の例を示す図である。

　図２５の例においては、予測フレームの時刻を基準として、時間的に１時刻前とその１時刻前とさらにその１時刻前にある３枚のフレームが参照フレームとされている。予測フレームにより近い、１時刻前のフレームが参照フレームＲ0とされ、参照フレームＲ0の１時刻前のフレームが参照フレームＲ1とされ、参照フレームＲ1の１時刻前のフレームが参照フレームＲ2とされている。

　図２６は、３枚の参照フレームを用いる場合のフィルタリング回路の構成例を示すブロック図である。

　図２６に示されるように、フィルタリング回路２１１は、フィルタリング回路２２１とフィルタリング回路２２２から構成される。フィルタリング回路２２１とフィルタリング回路２２２は、それぞれ、図１２、図２３、図２４に示されるような構成を有している。すなわち、フィルタリング回路２１１は、２入力１出力のときに用いるフィルタリング回路４５をカスケード接続することによって、３入力１出力の回路として動作するようになされている。

　ここでは、参照フレームＲ0から抽出された動き補償画像を動き補償画像MC0、参照フレームＲ1から抽出された動き補償画像を動き補償画像MC1とし、カレントフレームにおいてイントラ予測画像が得られるものとして説明する。イントラ予測画像IPと動き補償画像MC0はフィルタリング回路２２１に入力され、動き補償画像MC1はフィルタリング回路２２２に入力される。

　フィルタリング回路２２１は、イントラ予測画像IPと動き補償画像MC0に対して図１２を参照して説明したようにフィルタリングを行い、フィルタリングの結果である中間出力Ｘをフィルタリング回路２２２に出力する。

　フィルタリング回路２２１は、中間出力Ｘと動き補償画像MC1に対して図１２を参照して説明したようにフィルタリングを行い、フィルタリングの結果を予測画像として出力する。

　このような３枚のフレームを扱うフィルタリング回路２１１が、フィルタリング回路４５に替えて図５の復号装置１や図１７の符号化装置１０１に設けられるようにすることも可能である。

　なお、フィルタリング回路２２１とフィルタリング回路２２２が同じ構成を有している必要はなく、一方は図１２に示される構成を有し、他方は図２３に示される構成を有するといったように、それぞれの構成が異なるようにしてもよい。また、フィルタリングの前後における入出力特性を考慮して、フィルタに用いるパラメータが異なるようにすることも可能である。

　時間的に一方にある参照フレームから抽出された動き補償画像ではなく、前後にある３枚の参照フレームから抽出された動き補償画像を対象として、フィルタリング回路２１１においてフィルタリングが施されるようにしてもよい。

　なお、図１２を参照して説明した場合を含めて、予測フレームの時刻を基準として前後にあるフレームを参照フレームとして用いる場合、フィルタリング時のタップ係数などのパラメータを、参照フレームの時間方向や距離に応じて動的に変更するようにしてもよい。

　符号化装置１０１から復号装置１に対する圧縮画像情報の伝送は、光ディスク、磁気ディスク、フラッシュメモリなどの記録メディア、衛星放送、ケーブルTV、インターネット、携帯電話機ネットワークなどの各種の媒体を介して行われる。

　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

　図２７は、上述した一連の処理をプログラムにより実行するコンピュータ３００のハードウエアの構成例を示すブロック図である。

　CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。

　バス３０４には、さらに、入出力インタフェース３１０が接続されている。入出力インタフェース３１０には、キーボード、マウス、マイクロホンなどよりなる入力部３１１、ディスプレイ、スピーカなどよりなる出力部３１２、ハードディスクや不揮発性のメモリなどよりなる記憶部３１３、ネットワークインタフェースなどよりなる通信部３１４、光ディスクや半導体メモリなどのリムーバブルメディア３２１を駆動するドライブ３１５が接続されている。

　以上のように構成されるコンピュータ３００では、CPU３０１が、例えば、記憶部３１３に記憶されているプログラムを入出力インタフェース３１０及びバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。

　CPU３０１が実行するプログラムは、例えばリムーバブルメディア３２１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３１３にインストールされる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。

　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、上述した復号装置１や符号化装置１０１は、任意の電子機器に適用することができる。以下にその例について説明する。

　図２８は、本発明を適用した復号装置１を用いるテレビジョン受像機の主な構成例を示すブロック図である。

　図２８に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。

　地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。

　映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。

　グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。

　パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。

　表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。

　また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。

　地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。

　音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。

　音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。

　エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。

　音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。

　さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。

　デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。

　MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。

　テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、上述した復号装置１を用いる。なお、放送局等より送信されるMPEG-TSは、符号化装置１０１によって符号化されている。

　MPEGデコーダ１０１７は、復号装置１の場合と同様に、動きベクトルを用いてフレーム（Ｎ－１）から動き予測画像を得るとともに、フレームＮにおける復号済み画素値を利用したイントラ予測によりフレームＮから空間予測画像を得る。そして、MPEGデコーダ１０１７は、この２種類の画像をフィルタリング処理して予測画像を生成する。したがって、MPEGデコーダ１０１７は、より原画像に近い新たな予測画像を生成することができる。

　MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。

　MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。

　また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。

　A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。

　エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

　さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。

　A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。

　音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。

　ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。

　音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。

　エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

　SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。

　フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

　例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。

　MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

　また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。

　受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。

　CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。

　USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

　テレビジョン受像機１０００は、MPEGデコーダ１０１７として復号装置１を用いることにより、ストリームを構成する映像パケットに対するデコードにおいて、高周波成分を表す画像をイントラ予測画像IPに足し込むことによって予測画像を生成するようにすることができる。

　この予測画像は、単純に双方向予測を行った場合に得られる予測画像と較べて高周波成分をより多く含むものになる。

　また、単純に片方向予測を行った場合と較べて、画像の時間相関をより効率的に利用して予測画像を生成することが可能になる。

　さらに、高周波成分を多く含む予測画像が加算回路１５において復号画像に加算されるから、最終的にMPEGデコーダ１０１７から出力される画像も高周波成分を多く含む高精細なものになる。

　このように、テレビジョン受像機１０００は、ストリームを構成する映像パケットに対するデコードにおいて、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率の向上を実現することができ、さらに、インター予測に必要な参照面の数を減らすことで処理コストの低減を実現することもできる。

　図２９は、本発明を適用した復号装置１および符号化装置１０１を用いる携帯電話機の主な構成例を示すブロック図である。

　図２９に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。

　また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。

　電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。

　携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

　例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

　また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。

　更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。

　また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

　また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。

　なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

　この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

　さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。

　携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、上述した符号化装置１０１を用いる。画像エンコーダ１１５３は、符号化装置１０１の場合と同様に、動きベクトルを用いてフレーム（Ｎ－１）から動き予測画像を得るとともに、フレームＮにおける復号済み画素値を利用したイントラ予測によりフレームＮから空間予測画像を得る。そして、画像エンコーダ１１５３は、この２種類の画像をフィルタリング処理して予測画像を生成する。したがって、画像エンコーダ１１５３は、より原画像に近い新たな予測画像を生成することができる。従って、残差に割り当てる符号量が少なくて済むため、符号化効率を上げることが可能になる。

　なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。

　携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

　なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。

　また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

　携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。

　携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、上述した復号装置１を用いる。つまり、画像デコーダ１１５６は、復号装置１の場合と同様に、動きベクトルを用いてフレーム（Ｎ－１）から動き予測画像を得るとともに、フレームＮにおける復号済み画素値を利用したイントラ予測によりフレームＮから空間予測画像を得る。そして、画像デコーダ１１５６は、この２種類の画像をフィルタリング処理して予測画像を生成する。したがって、画像デコーダ１１５６は、より原画像に近い新たな予測画像を生成することができる。

　このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

　なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

　また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

　さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。

　携帯電話機１１００は、画像エンコーダ１１５３として符号化装置１０１を用いることにより、例えばCCDカメラ１１１６において生成された画像データを符号化して伝送する際の、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率を向上させることができる。さらに、インター予測に必要な参照フレームの数を減らすことができるので、携帯電話機１１００は、処理コストの低減を実現することができる。

　また、携帯電話機１１００は、画像デコーダ１１５６として復号装置１を用いることにより、例えば、簡易ホームページ等にリンクされた動画像ファイルのデータ（符号化データ）を受信する際の復号において、高周波成分を表す画像をイントラ予測画像IPに足し込むことによって予測画像を生成するようにすることができる。

　これにより、携帯電話機１１００は、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率の向上を実現することができ、さらに、インター予測に必要な参照面の数を減らすことで処理コストの低減を実現することもできる。

　なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

　また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、復号装置１および符号化装置１０１を適用することができる。

　図３０は、本発明を適用した復号装置１および符号化装置１０１を用いるハードディスクレコーダの主な構成例を示すブロック図である。

　図３０に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

　ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

　さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。

　もちろん、この他の動作も可能である。

　図３０に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。

　また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。

　受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。

　通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

　復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。

　オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。

　ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。

　ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。

　モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。

　記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

　記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

　記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。

　レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。

　また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

　通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

　また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。

　また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。

　さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。

　以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして復号装置１を用いる。つまり、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、復号装置１の場合と同様に、動きベクトルを用いてフレーム（Ｎ－１）から動き予測画像を得るとともに、フレームＮにおける復号済み画素値を利用したイントラ予測によりフレームＮから空間予測画像を得る。そして、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、この２種類の画像をフィルタリング処理して予測画像を生成する。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、より原画像に近い新たな予測画像を生成することができる。

　したがって、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５によるビデオデータ（符号化データ）の受信の際や、記録再生部１２３３によるビデオデータ（符号化データ）のハードディスクからの再生の際の復号において、高周波成分を表す画像をイントラ予測画像IPに足し込むことによって予測画像を生成するようにすることができる。

　これにより、ハードディスクレコーダ１２００は、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率の向上を実現することができ、さらに、インター予測に必要な参照面の数を減らすことで処理コストの低減を実現することもできる。

　また、ハードディスクレコーダ１２００は、エンコーダ１２５１として符号化装置１０１を用いる。エンコーダ１２５１は、符号化装置１０１の場合と同様に、動きベクトルを用いた動き予測画像とイントラ予測画像をフィルタリング処理して予測画像を生成する。したがって、エンコーダ１２５１は、より原画像に近い新たな予測画像を生成することができる。従って、残差に割り当てる符号量が少なくて済むため、符号化効率を上げることが可能になる。

　したがって、ハードディスクレコーダ１２００は、例えば、ハードディスクに符号化データを記録する際の、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率を向上させることができる。さらに、インター予測に必要な参照フレームの数を減らすことができるので、ハードディスクレコーダ１２００は、処理コストの低減を実現することができる。

　なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、復号装置１および符号化装置１０１を適用することができる。

　図３１は、本発明を適用した復号装置１および符号化装置１０１を用いるカメラの主な構成例を示すブロック図である。

　図３１に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。

　レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。

　カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。

　以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。

　デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

　オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。

　コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

　例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

　また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。

　さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。

　記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

　また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

　外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。

　さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。

　以上のようなカメラ１３００は、デコーダ１３１５として復号装置１を用いる。つまり、デコーダ１３１５は、復号装置１の場合と同様に、動きベクトルを用いてフレーム（Ｎ－１）から動き予測画像を得るとともに、フレームＮにおける復号済み画素値を利用したイントラ予測によりフレームＮから空間予測画像を得る。そして、デコーダ１３１５は、この２種類の画像をフィルタリング処理して予測画像を生成する。したがって、デコーダ１３１５は、より原画像に近い新たな予測画像を生成することができる。

　したがって、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３からビデオデータの符号化データを読み出す際や、ネットワークを介してビデオデータの符号化データを取得する際の復号において、高周波成分を表す画像をイントラ予測画像IPに足し込むことによって予測画像を生成するようにすることができる。

　また、カメラ１３００は、エンコーダ１３４１として符号化装置１０１を用いる。エンコーダ１３４１は、符号化装置１０１の場合と同様に、動きベクトルを用いた動き予測画像とイントラ予測画像をフィルタリング処理して予測画像を生成する。したがって、エンコーダ１３４１は、より原画像に近い新たな予測画像を生成することができる。従って、残差に割り当てる符号量が少なくて済むため、符号化効率を上げることが可能になる。

　したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に符号化データを記録する際や、符号化データを他の装置に提供する際の、イントラ予測による予測精度の不足を、インター予測による予測精度で補うことで符号化効率を向上させることができる。さらに、インター予測に必要な参照フレームの数を減らすことができるので、カメラ１３００は、処理コストの低減を実現することができる。

　なお、コントローラ１３２１が行う復号処理に復号装置１の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に符号化装置１０１の符号化方法を適用するようにしてもよい。

　また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

　もちろん、復号装置１および符号化装置１０１は、上述した装置以外の装置やシステムにも適用可能である。

　また、マクロブロックの大きさは任意である。本発明は、例えば図３２に示されるようなあらゆる大きさのマクロブロックに対して適用することができる。例えば、本発明は、通常の１６×１６画素のようなマクロブロックだけでなく、３２×３２画素のような拡張されたマクロブロック（拡張マクロブロック）にも適用することができる。

　図３２において、上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。また、中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。さらに、下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。

　すなわち、３２×３２画素のマクロブロックは、上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。

　上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。

　中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。

　これらのブロックは、以下の３階層に分類することができる。すなわち、図３２の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と称する。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と称する。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と称する。

　このような階層構造を採用することにより、１６×１６画素のブロック以下に関しては、H．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックを定義することができる。

　例えば、復号装置１および符号化装置１０１が、階層毎に予測画像を生成するようにしてもよい。また、例えば、復号装置１および符号化装置１０１が、第２の階層よりブロックサイズが大きい階層である第１階層において生成した予測画像を、第２階層に対しても利用するようにしてもよい。

　第１階層や第２階層のように、比較的大きなブロックサイズを用いて符号化が行われるマクロブロックは、比較的高周波成分を含んでいない。これに対して、第３階層のように、比較的小さなブロックサイズを用いて符号化が行われるマクロブロックは、比較的、高周波成分を含んでいると考えられる。

　そこで、ブロックサイズの異なる各階層に応じて、別々に予測画像を生成することにより、画像の持つ、局所的性質に適した符号化性能向上を実現させることが可能である。

　１　復号装置，　２１　動き予測・補償回路，　４１　予測モード決定回路，　４２　片方向予測回路，　４３　双方向予測回路，　４４　予測回路，　４５　フィルタリング回路，　５１　動き補償回路，　５２　イントラ予測回路，　６１　差分計算回路，　６２　ローパスフィルタ回路，　６３　ゲイン調整回路，　６４　ハイパスフィルタ回路，　６５　ゲイン調整回路，　６６　加算回路，　６７　加算回路

Claims

　符号化された画像を復号する復号手段と、
　前記復号手段により復号された画像と予測画像とを加算し、復号済みの画像を生成する生成手段と、
　前記生成手段により生成された復号済みの画像からなるフレームを参照フレームとして、符号化された前記画像の動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出する抽出手段と、
　前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、前記生成手段により生成された復号済みの部分画像から前記予測画像に対応するイントラ予測画像を生成するイントラ予測画像生成手段と、
　前記抽出手段により抽出された前記動き補償画像および前記イントラ予測画像生成手段により生成された前記イントラ予測画像に対して、前記動き補償画像および前記イントラ予測画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する予測画像生成手段と
　を備える画像処理装置。
　前記予測画像生成手段は、
　　前記第１の抽出手段により抽出された前記動き補償画像と、前記イントラ予測画像生成手段により生成された前記イントラ予測画像との差分画像にローパスフィルタをかける第１のフィルタ手段と、
　　前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像にハイパスフィルタをかける第２のフィルタ手段と、
　　前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像と、前記第２のフィルタ手段によりハイパスフィルタがかけられることによって得られた画像とを、前記イントラ予測画像生成手段により生成された前記イントラ予測画像に加算し、前記予測画像を生成する加算手段と
　を備える請求項１に記載の画像処理装置。
　　前記加算手段は、前記予測画像の時刻を基準として１時刻前のフレームから抽出された前記動き補償画像に対して、前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像と、前記第２のフィルタ手段によりハイパスフィルタがかけられることによって得られた画像とを加算する
　請求項２に記載の画像処理装置。
　複数の前記動き補償画像を用いて片方向予測を行い、前記予測画像を生成する片方向予測手段と、
　複数の前記動き補償画像を用いて双方向予測を行い、前記予測画像を生成する双方向予測手段と、
　符号化された前記画像のヘッダに含まれる識別フラグにより、前記予測画像を、前記片方向予測手段による片方向予測によって生成するのか、前記双方向予測手段による双方向予測によって生成するのか、または、前記予測画像生成手段による前記フィルタリング処理によって生成するのかを判定する判定手段と
　をさらに備える請求項１に記載の画像処理装置。
　符号化された画像を復号し、
　復号された画像と予測画像とを加算し、復号済みの画像を生成し、
　生成された復号済みの画像からなるフレームを参照フレームとして、符号化された前記画像の動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出し、
　前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、復号済みの部分画像から、前記予測画像に対応するイントラ予測画像を生成し、
　前記動き補償画像および前記イントラ予測画像に対して、前記動き補償画像および前記イントラ予測画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する
　画像処理方法。
　符号化対象の画像である原画像を符号化し、符号化された画像を生成する符号化手段と、
　前記原画像と予測画像との差を示す残差信号に基づいて局所的に復号して得られた画像と前記原画像とに基づいて動きベクトルを検出する検出手段と、
　局所的に復号して得られた前記画像からなるフレームを参照フレームとして、前記検出手段により検出された動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出する抽出手段と、
　前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、前記フレームの部分画像から前記予測画像に対応するイントラ予測画像を生成するイントラ予測画像生成手段と、
　前記第１の抽出手段により抽出された前記動き補償画像および前記イントラ予測画像生成手段により生成された前記イントラ予測画像に対して、前記動き補償画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する生成手段と
　を備える画像処理装置。
　前記生成手段は、
　　前記第１の抽出手段により抽出された前記動き補償画像と、前記イントラ予測画像生成手段により生成された前記イントラ予測画像との差分画像にローパスフィルタをかける第１のフィルタ手段と、
　　前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像にハイパスフィルタをかける第２のフィルタ手段と、
　　前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像と、前記第２のフィルタ手段によりハイパスフィルタがかけられることによって得られた画像とを、前記イントラ予測画像生成手段により生成された前記イントラ予測画像に加算し、前記予測画像を生成する加算手段と
　を備える請求項６に記載の画像処理装置。
　　前記加算手段は、前記予測画像の時刻を基準として１時刻前のフレームから抽出された前記動き補償画像に対して、前記第１のフィルタ手段によりローパスフィルタがかけられることによって得られた画像と、前記第２のフィルタ手段によりハイパスフィルタがかけられることによって得られた画像とを加算する
　請求項７に記載の画像処理装置。
　前記符号化手段は、復号装置において復号した画像に加算する予測画像を、片方向予測によって生成するのか、双方向予測によって生成するのか、または、前記フィルタリング処理によって生成するのかを識別する識別フラグを、符号化された前記画像のヘッダに含める
　請求項６に記載の画像処理装置。
　符号化対象の画像である原画像を符号化し、符号化された画像を生成し、
　前記原画像と予測画像との差を示す残差信号に基づいて局所的に復号して得られた画像と前記原画像とに基づいて動きベクトルを検出し、
　局所的に復号して得られた前記画像からなるフレームを参照フレームとして、検出された動きベクトルを用いて動き補償を行い、前記予測画像に対応する動き補償画像を前記参照フレームから抽出し、
　前記予測画像を生成する現在のフレーム内においてフレーム内予測を行い、前記フレームの部分画像から前記予測画像に対応するイントラ予測画像を生成し、
　抽出された前記動き補償画像および生成された前記イントラ予測画像に対して、前記動き補償画像に含まれる時間方向の相関を利用して高周波成分を補うフィルタリング処理を行うことにより、前記予測画像を生成する
　画像処理方法。