JPWO2010064675A1 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

整数精度の動き補償処理を行う場合であっても、インター予測による予測画像の品質を向上させることができる画像処理装置および画像処理方法、並びにプログラムに関する。演算部１１５は、逆直交変換部１１４から供給される逆直交変換後の変換係数を、スイッチ２１４から供給されるインター予測画像と加算して復号する。動き予測・補償部２１２は、復号された画像に対して動き補償を行う。ＦＩＲフィルタ２１３は、圧縮画像に対応して画像符号化装置より送信されてくる、その圧縮画像の生成時に最小自乗法を用いて求められたフィルタ係数を用いて、動き補償後の画像に対してフィルタ処理を行う。ＦＩＲフィルタ２１３は、そのフィルタ処理後の画像をインター予測画像として、スイッチ２１４に供給する。本発明は、例えば、H.264/AVC方式で復号する画像復号装置に適用することができる。

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、整数精度の動き補償処理を行う場合であっても、インター予測による予測画像の品質を向上させることができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式を採用して画像を圧縮符号化する装置が普及しつつある。

特に、MPEG2（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

このMPEG2は主として放送用に適合する高画質符号化を対象としており、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していない。しかしながら、携帯端末の普及により、今後、そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。例えば、MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として、その規格が国際標準に承認されている。

更に、近年、テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。これは、2003年3月にH．264及びMPEG-4 Part10 （Advanced Video Coding、以下ＡＶＣと称する）という名で国際標準となっている。

ところで、H.264/AVCなどにおいては、フレームまたはフィールド間の相関に注目したインター予測が行われる。そして、このインター予測で行われる動き補償処理では、既に保存されている参照可能な画像内の一部の領域を用いて、インター予測による予測画像（以下、インター予測画像という）が生成される。

例えば、図１に示すように、既に保存されている参照可能な画像の５フレームが参照フレームとされた場合、インター予測するフレーム（原フレーム）のインター予測画像の一部は、５つのうちのいずれか１つの参照フレームの画像（以下、参照画像という）の一部を参照して構成される。なお、インター予測画像の一部となる参照画像の一部の位置は、参照フレームと原フレームの画像に基づいて検出された動きベクトルによって決定される。

より詳細には、図２に示すように、参照フレーム内の顔１１が、原フレームにおいて右下方向に移動し、下部の約1/3が隠れた場合、右下方向の逆の左上方向を表す動きベクトルが検出される。そして、原フレーム内の隠れていない顔１１の一部１２は、その一部１２を動きベクトルが表す動きだけ移動させた位置の参照フレーム内の顔１１の一部１３を参照して構成される。

また、H.264/AVCなどでは、動き補償処理において、動きベクトルの分解能を２分の１または４分の１といった分数精度に向上させることが考えられている。

このような分数精度の動き補償処理においては、隣接する画素の間に、Ｓｕｂ−Ｐｅｌと呼ばれる仮想的な分数位置の画素を設定し、そのＳｕｂ−Ｐｅｌを生成する処理（以下、インターポーレーションという）が追加して行われる。即ち、分数精度の動き補償処理では、動きベクトルの最小分解能が分数位置の画素になるため、分数位置の画素を生成するためのインターポーレーションが行われる。

図３は、インターポーレーションによって縦方向と横方向の画素数が４倍に増加された画像の各画素を示している。なお、図３において、白色の正方形は、整数位置の画素を表し、斜線が付された正方形は、分数位置の画素を表している。また、正方形内のアルファベットは、その正方形が表す画素の画素値を表している。

インターポーレーションによって生成される分数位置の画素の画素値ｂ，ｈ，ｊ，ａ，ｄ，ｆ，ｒは、以下に示す式（１）で表される。

b=(E-5F+20G+20H-5I+J)/32
h=(A-5C+20G+20M-5R+T)/32
j=(aa-5bb+20b+20s-5gg+hh)/32
a=(G+b)/2
d=(G+h)/2
f=(b+j)/2
r=(m+s)/2
・・・（１）

なお、画素値ａａ，ｂｂ，ｓ，ｇｇ，ｈｈはｂと同様に、ｃｃ，ｄｄ，ｍ，ｅｅ，ｆｆ はｈと同様に、ｃはaと同様に、ｆ，ｎ，ｑはｄと同様に、ｅ，ｐ，ｇはrと同様に、それぞれ求めることができる。

上述した式（１）は、H.264/AVCなどのインターポーレーションで採用される式であり、この式は規格の違いによって異なるが、式の目的は同一である。この式は、偶数のタップ数を有する有限インパルス応答（ＦＩＲ（Finit-duration Impulse Response））フィルタで実現することができる。

また、非特許文献１および２には、最近の研究報告として、アダプティブ・インターポーレーション・フィルタ（ＡＩＦ）が挙げられている。このＡＩＦを用いた動き補償処理では、インターポーレーションで用いられるタップ数が偶数のＦＩＲフィルタのフィルタ係数を適応的に変えることで、エイリアシングの影響や符号化歪みを低減し、動き補償の誤差を小さくすることができる。

なお、ＡＩＦとは異なるが、さらに、最近、検討されている次世代のビデオ符号化技術として適応ループフィルタ（ＡＬＦ（Adaptive Loop Filter））もある（例えば、非特許文献３参照）。この適応フィルタにより、フレーム毎に最適なフィルタ処理が行われ、デブロックフィルタで取りきれなかったブロック歪みや量子化による歪みを低減することができる。

Thomas Wedi and Hans Georg Musmann,Motion- and Aliasing-Compensated Prediction for Hybrid Video Coding, IEEE Transactions on circuits and systems for video technology, July 2003, Vol.13, No.7 Yuri Vatis, Joern Ostermann,Prediction of P- and B-Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H.264/AVC, ITU-T SG16 VCEG 30th Meeting, Hangzhou China, October 2006 Yi-Jen Chiu and L. Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008

しかしながら、整数精度の動き補償処理およびＦＩＲフィルタを用いた分数精度の動き補償処理では、参照フレームの画素値を動きベクトルに対応するインター予測画像内の位置にそのまま複製するだけであり、インター予測画像がインター予測する画像と完全に一致しない場合が多い。そして、インター予測画像とインター予測する画像の差分は、復号側に送信する必要があるため、この差分が大きくなると、符号化効率は悪化する。

なお、インター予測画像がインター予測する画像と完全に一致しない原因としては、参照フレームの符号化時に生じた量子化誤差、動きベクトルの誤差などが挙げられる。

ＡＩＦを用いた分数精度の動き補償処理では、符号化歪みを低減させることはできるが、ＡＩＦはインターポーレーションを行うためのフィルタであるため、インターポーレーションを行わない整数精度の動き補償処理には適用することができない。

本発明はこのような状況に鑑みてなされたものであり、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができるようにするものである。

本発明の第１の側面は、符号化された画像を復号する復号手段と、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる、その画像の符号化時に、前記画像の参照画像または動き補償後の参照画像を符号化前の前記画像に近づけるように求められたフィルタ係数を用いて、前記復号手段により復号された前記画像または動き補償後の画像に対してフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によるフィルタ処理後の画像または前記復号手段により復号された前記画像に対して動き補償を行う動き補償手段と、前記復号手段により復号された前記画像と、前記動き補償手段により前記動き補償が行われた前記フィルタ処理後の画像または前記フィルタ処理手段により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、復号画像を生成する演算手段とを備える画像処理装置である。

前記フィルタ処理手段は、前記復号手段により復号された前記画像に対してフィルタ処理を行い、前記動き補償手段は、前記フィルタ処理手段による前記フィルタ処理後の画像に対して動き補償を行い、前記演算手段は、前記復号手段により復号された前記画像と、前記動き補償手段により前記動き補償が行われた前記フィルタ処理後の画像とを加算して、前記復号画像を生成することができる。

前記動き補償手段は、前記復号手段により復号された前記画像に対して動き補償を行い、前記フィルタ処理手段は、前記動き補償手段による前記動き補償後の画像に対してフィルタ処理を行い、前記演算手段は、前記復号手段により復号された前記画像と、前記フィルタ処理手段により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、前記復号画像を生成することができる。

前記フィルタ係数は、前記画像の符号化時に、前記画像の参照画像または前記動き補償後の画像と、符号化前の前記画像との差分の自乗が最小となるように、最小自乗法を用いて求められる。

前記フィルタ係数と前記符号化された画像は可逆符号化されて、圧縮情報として前記画像処理装置から送信され、前記復号手段は、前記圧縮情報を可逆復号し、その結果得られる情報から前記フィルタ係数を抽出するとともに、前記符号化された画像を抽出して前記符号化された画像を復号し、前記フィルタ処理手段は、前記復号手段により抽出された前記フィルタ係数を用いて、前記復号手段により復号された前記画像または前記動き補償後の画像に対してフィルタ処理を行うことができる。

本発明の第１の側面は、画像処理装置が、符号化された画像を復号する復号ステップと、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる、その画像の符号化時に、前記画像の参照画像または動き補償後の画像を符号化前の前記画像に近づけるように求められたフィルタ係数を用いて、前記復号手段により復号された前記画像または動き補償後の画像に対してフィルタ処理を行うフィルタ処理ステップと、前記フィルタ処理ステップの処理によるフィルタ処理後の画像または前記復号ステップの処理により復号された前記画像に対して動き補償を行う動き補償ステップと、前記復号ステップの処理により復号された前記画像と、前記動き補償ステップの処理により前記動き補償が行われた前記フィルタ処理後の画像または前記フィルタ処理ステップの処理により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、復号画像を生成する演算ステップとを含む画像処理方法である。

本発明の第１の側面は、符号化された画像を復号する復号手段と、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる、その画像の符号化時に、前記画像の参照画像または動き補償後の画像を符号化前の前記画像に近づけるように求められたフィルタ係数を用いて、前記復号手段により復号された前記画像または動き補償後の画像に対してフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によるフィルタ処理後の画像または前記復号手段により復号された前記画像に対して動き補償を行う動き補償手段と、前記復号手段により復号された前記画像と、前記動き補償手段により前記動き補償が行われた前記フィルタ処理後の画像または前記フィルタ処理手段により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、復号画像を生成する演算手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。

本発明の第２の側面は、符号化対象の画像と参照画像または動き補償後の参照画像とに基づいて、前記参照画像または前記動き補償後の参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出するフィルタ係数算出手段と、前記フィルタ係数算出手段により算出された前記フィルタ係数を用いて、前記参照画像または前記動き補償後の参照画像に対してフィルタ処理を行うフィルタ処理手段と、前記符号化対象の画像と、フィルタ処理後の参照画像または前記参照画像とを用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像または前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像または前記参照画像に対して動き補償を行う動き補償手段と、前記動き補償が行われた前記フィルタ処理後の参照画像または前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する符号化手段と、前記符号化後の画像と前記フィルタ係数を送信する送信手段とを備える画像処理装置である。

前記フィルタ係数算出手段は、前記符号化対象の画像と前記参照画像とに基づいて、前記参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出し、前記フィルタ処理手段は、前記フィルタ係数を用いて、前記参照画像に対してフィルタ処理を行い、前記動き補償手段は、前記符号化対象の画像および前記フィルタ処理後の参照画像を用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像の間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像に対して動き補償を行い、前記符号化手段は、前記動き補償が行われた前記フィルタ処理後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成することができる。

前記動き補償手段は、前記符号化対象の画像と、前記参照画像とを用いて、前記符号化対象の画像と前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記参照画像に対して動き補償を行い、前記フィルタ係数算出手段は、前記符号化対象の画像と前記動き補償後の参照画像とに基づいて、前記動き補償後の参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出し、前記フィルタ処理手段は、前記フィルタ係数を用いて、前記動き補償後の参照画像に対してフィルタ処理を行い、前記符号化手段は、前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成することができる。

前記フィルタ係数算出手段は、前記符号化対象の画像と前記参照画像または前記動き補償後の参照画像との差分の自乗が最小となるように、最小自乗法を用いて前記フィルタ係数を算出することができる。

前記フィルタ係数算出手段は、前記参照画像または前記動き補償後の参照画像の整数精度の画素値および分数精度の画素値を用いて前記フィルタ係数を算出することができる。

前記送信手段は、前記符号化後の画像と前記フィルタ係数を可逆符号化し、圧縮情報として送信することができる。

本発明の第２の側面は、画像処理装置が、符号化対象の画像と参照画像または動き補償後の画像とに基づいて、前記参照画像または前記動き補償後の画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出するフィルタ係数算出ステップと、前記フィルタ係数算出ステップの処理により算出された前記フィルタ係数を用いて、前記参照画像または前記動き補償後の画像に対してフィルタ処理を行うフィルタ処理ステップと、前記符号化対象の画像と、フィルタ処理後の参照画像または前記参照画像とを用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像または前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像または前記参照画像に対して動き補償を行う動き補償ステップと、前記動き補償が行われた前記フィルタ処理後の参照画像または前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する符号化ステップと、前記符号化後の画像と前記フィルタ係数を送信する送信ステップとを含む画像処理方法である。

本発明の第２の側面は、符号化対象の画像と参照画像または動き補償後の参照画像とに基づいて、前記参照画像または前記動き補償後の参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出するフィルタ係数算出手段と、前記フィルタ係数算出手段により算出された前記フィルタ係数を用いて、前記参照画像または前記動き補償後の参照画像に対してフィルタ処理を行うフィルタ処理手段と、前記符号化対象の画像と、フィルタ処理後の参照画像または前記参照画像とを用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像または前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像または前記参照画像に対して動き補償を行う動き補償手段と、前記動き補償が行われた前記フィルタ処理後の参照画像または前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する符号化手段と、前記符号化後の画像と前記フィルタ係数を送信する送信手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。

本発明の第１の側面においては、符号化された画像が復号され、符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる、その画像の符号化時に、画像の参照画像または動き補償後の参照画像を符号化前の画像に近づけるように求められたフィルタ係数を用いて、復号された画像または動き補償後の画像に対してフィルタ処理が行われる。また、フィルタ処理後の画像または復号された画像に対して動き補償が行われる。そして、復号された画像と、動き補償が行われたフィルタ処理後の画像またはフィルタ処理が行われた動き補償後の画像とが加算されて、復号画像が生成される。

本発明の第２の側面においては、符号化対象の画像と参照画像または動き補償後の参照画像とに基づいて、参照画像または動き補償後の参照画像を符号化対象の画像に近づけるフィルタのフィルタ係数が算出され、そのフィルタ係数を用いて、参照画像または動き補償後の画像に対してフィルタ処理が行われる。また、符号化対象の画像と、フィルタ処理後の参照画像または参照画像とを用いて、符号化対象の画像とフィルタ処理後の参照画像または参照画像との間の動きベクトルを検出し、動きベクトルに基づいて、フィルタ処理後の参照画像または参照画像に対して動き補償が行われる。そして、動き補償が行われたフィルタ処理後の参照画像またはフィルタ処理が行われた動き補償後の参照画像と、符号化対象の画像との差分を用いて、符号化後の画像が生成され、符号化後の画像とフィルタ係数が送信される。

本発明によれば、整数精度の動き補償処理を行う場合であっても、インター予測による予測画像の品質を向上させることができる。

従来のインター予測について説明する図である。 従来のインター予測について詳細に説明する図である。 インターポーレーションについて説明する図である。 本発明の前提となる画像符号化装置の構成を示すブロック図である。 可変ブロックサイズについて説明する図である。 本発明の前提となる画像復号装置の構成を示すブロック図である。 本発明を適用した画像符号化装置の一実施の形態の構成例を示すブロック図である。 図７の画像符号化装置の符号化処理について説明するフローチャートである。 フィルタ係数算出部およびFIRフィルタ周辺の詳細な構成の例を示すブロック図である。 フィルタ係数算出部およびFIRフィルタ周辺の詳細な構成の他の例を示すブロック図である。 本発明を適用した画像復号装置の一実施の形態の構成例を示すブロック図である。 図１１の画像復号装置の復号処理について説明するフローチャートである。 本発明を適用した画像復号装置の図１０に対応する構成例を示すブロック図である。 拡張されたブロックサイズの例を示す図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。

＜１．発明の前提＞
まず、図４乃至図６を参照して、本発明の前提となる画像符号化装置および画像復号装置について説明する。

図４は、本発明の前提となる画像符号化装置の構成を示している。この画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、予測画像選択部７６、およびレート制御部７７により構成されている。この画像符号化装置５１は、例えば、H.264/AVC方式で画像を圧縮符号化する。

Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。

演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７６により選択されたイントラ予測画像またはインター予測による予測画像（以下、インター予測画像という）を減算し、その結果得られる差分を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。

量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力される。ここで、量子化された変換係数には、CAVLC（Context-based Adaptive Variable Length Coding)などの可変長符号化、CABAC(Context-based Adaptive Binary Arithmetic Coding)などの算術符号化等の可逆符号化が施され、圧縮される。その結果得られる圧縮画像は、蓄積バッファ６７に蓄積された後、出力される。

また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は、演算部７０により予測画像選択部７６から供給されるインター予測画像またはイントラ予測画像と加算され、局部的に復号された画像となる。デブロックフィルタ７１は、その局部的に復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。

スイッチ７３は、フレームメモリ７２に蓄積された画像を、動き予測・補償部７５またはイントラ予測部７４に出力する。

この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャ、およびＰピクチャが、インター予測する画像として、動き予測・補償部７５に供給される。

イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とスイッチ７３を介してフレームメモリ７２から供給された画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。

なお、H.264/AVC符号化方式では、輝度信号に対するイントラ予測モードとして、4×4画素のブロック単位の予測モード、8×8画素のブロック単位の予測モード、および16×16画素のブロック単位、即ちマクロブロック単位の予測モードが定義されている。また、色差信号に対するイントラ予測モードは、輝度信号に対するイントラ予測モードと独立に定義することが可能であり、マクロブロック単位で定義される。

また、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。

このコスト関数値は、例えば、H.264/AVC方式における参照ソフトウェアであるＪＭ(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、仮に符号化処理までが行われ、次の式（２）で表わされるコスト関数が各イントラ予測モードに対して算出される。

Cost(Mode)=D+λ・R ・・・（２）

Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、イントラ予測画像の生成、および、イントラ予測モードを表す情報などのヘッダビットの算出が行われ、次の式（３）で表わされるコスト関数が各イントラ予測モードに対して算出される。

Cost(Mode)=D+QPtoQuant(QP)・Header_Bit ・・・（３）

Dは、原画像と復号画像の差分（歪）、Header_Bitは、イントラ予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全てのイントラ予測モードに対して、イントラ予測画像を生成するだけでよく、符号化処理を行う必要がないため、演算量が少なくて済む。

イントラ予測部７４は、以上のようにして算出されたコスト関数値のうち、最小値を与えるイントラ予測モードを、最適イントラ予測モードとして決定する。イントラ予測部７４は、最適イントラ予測モードで生成されたイントラ予測画像とそのコスト関数値を、予測画像選択部７６に供給する。イントラ予測部７４は、予測画像選択部７６により最適イントラ予測モードで生成されたイントラ予測画像が選択された場合、最適イントラ予測モードを表す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を可逆符号化し、圧縮画像のヘッダ部の一部とする。

動き予測・補償部７５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部７５は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部７５は、動きベクトルに基づいて参照画像に動き補償処理を施し、動き補償後の画像を生成する。

なお、MPEG2においては、ブロックサイズを固定（フレーム間の動き予測・補償処理では16×16画素単位、フィールド間の動き予測・補償処理では、各フィールドについて16×8画素単位）にして動き予測・補償が行われるが、H.264/AVC方式においては、ブロックサイズを可変にして、動き予測・補償が行われる。

具体的には、H.264/AVC方式においては、16×16画素で構成される１つのマクロブロックを、図５に示すように、16×16画素、16×8画素、8×16画素、あるいは8×8画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、8×8画素のパーティションに関しては、図５に示すように、8×8画素、8×4画素、4×8画素、あるいは4×4画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。

従って、インター予測モードとしては、16×16画素、16×8画素、8×16画素、8×8画素、8×4画素、4×8画素、および4×4画素の単位で動きベクトルを検出する８種類のモードがある。

なお、動き予測・補償部７５は、インター予測する画像と参照画像に対してインターポーレーションを行って、分数精度の動きベクトルを検出してもよいし、インターポーレーションを行わずに、整数精度の動きベクトルを検出してもよい。

また、動き予測・補償部７５は、イントラ予測部７４と同様の手法で、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７５は、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。

そして、動き予測・補償部７５は、最適インター予測モードで生成された動き補償後の画像を、インター予測画像として予測画像選択部７６に供給するとともに、最適インター予測モードに対するコスト関数を予測画像選択部７６に供給する。動き予測・補償部７５は、予測画像選択部７６により最適インター予測モードで生成されたインター予測画像が選択された場合、最適インター予測モードを表す情報、および、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部６６に出力する。可逆符号化部６６は、動き予測・補償部７５からの情報を可逆符号化し、圧縮画像のヘッダ部に挿入する。

予測画像選択部７６は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７６は、決定された最適予測モードの予測画像としてのイントラ予測画像またはインター予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７６は、イントラ予測画像が選択された旨を表す選択情報を、イントラ予測部７４に供給するか、インター予測画像が選択された旨を表す選択情報を動き予測・補償部７５に供給する。

レート制御部７７は、蓄積バッファ６７に圧縮情報として蓄積されたヘッダ部が付加された圧縮画像に基づいて、蓄積バッファ６７にオーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

以上のように構成される画像符号化装置５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。図６は、このような画像復号装置の構成を表している。

画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、およびスイッチ１２３により構成されている。

蓄積バッファ１１１は、伝送されてきた圧縮情報を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図４の可逆符号化部６６により可逆符号化された圧縮情報を、可逆符号化部６６の可逆符号化方式に対応する方式で可逆復号（可変長復号、算術復号等）する。そして、可逆復号部１１２は、可逆復号の結果得られる情報から、画像、最適インター予測モードまたは最適イントラ予測モードを表す情報、動きベクトル情報、参照フレーム情報などを抽出する。

逆量子化部１１３は、可逆復号部１１２により可逆復号された画像を、図４の量子化部６５の量子化方式に対応する方式で逆量子化し、その結果得られる変換係数を逆直交変換部１１４に供給する。逆直交変換部１１４は、図４の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３からの変換係数に対して４次の逆直交変換を施す。

逆直交変換された出力は、演算部１１５によりスイッチ１２３から供給されるイントラ予測画像またはインター予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去し、その結果得られる画像をフレームメモリ１１９に供給して蓄積させるとともに、画面並べ替えバッファ１１７に出力する。

画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図４の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。

スイッチ１２０は、符号化時のインター予測において参照画像となった画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。

イントラ予測部１２１には、ヘッダ部を可逆復号して得られた最適イントラ予測モードを表す情報が可逆復号部１１２から供給される。最適イントラ予測モードを表す情報が供給された場合、イントラ予測部１２１は、この情報が表すイントラ予測モードで、フレームメモリ１１９からの画像を用いてイントラ予測処理を行い、イントラ予測画像を生成する。イントラ予測部１２１は、生成したイントラ予測画像を、スイッチ１２３に出力する。

動き予測・補償部１２２には、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報など）が可逆復号部１１２から供給される。最適インター予測モードを表す情報が供給された場合、動き予測・補償部１２２は、その情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に動き補償処理を施し、動き補償後の画像を生成する。そして、動き予測・補償部１２２は、動き補償後の画像をインター予測画像としてスイッチ１２３に出力する。

スイッチ１２３は、動き予測・補償部１２２から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に供給する。

＜２．一実施の形態＞
［画像符号化装置の構成例］
次に、図７は、本発明を適用した画像符号化装置の一実施の形態の構成例を示している。

図７に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図７の画像符号化装置１５１の構成は、主に、動き予測・補償部７５、予測画像選択部７６、可逆符号化部６６の代わりに、動き予測・補償部１６１、予測画像選択部１６４、可逆符号化部１６５が設けられている点、および、新たにフィルタ係数算出部１６２およびＦＩＲフィルタ１６３が設けられている点で図４の構成と異なる。

詳細には、図７の画像符号化装置１５１の動き予測・補償部１６１は、図４の動き予測・補償部７５と同様に、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１６１は、動き予測・補償部７５と同様に、候補となる全てのインター予測モードに対してコスト関数値を算出し、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。

そして、動き予測・補償部１６１は、最適インター予測モードで生成された動き補償後の画像を、フィルタ係数算出部１６２とＦＩＲフィルタ１６３に供給する。また、動き予測・補償部１６１は、動き予測・補償部７５と同様に、予測画像選択部１６４により最適インター予測モードで生成されたインター予測画像が選択された場合、最適インター予測モードを表す情報、および、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部１６５に出力する。

フィルタ係数算出部１６２は、動き予測・補償部１６１から供給される動き補償後の画像と、その動き補償後の画像の動き予測・補償処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像とに基づいて、ＦＩＲフィルタ１６３によるフィルタ処理後の画像をインター予測する画像に近づけるためのフィルタ係数を算出する。そして、フィルタ係数算出部１６２は、算出されたフィルタ係数をＦＩＲフィルタ１６３に供給する。

また、フィルタ係数算出部１６２は、動き予測・補償部１６１と同様の手法で、ＦＩＲフィルタ１６３から供給されるフィルタ処理後の画像のコスト関数値を算出する。そして、フィルタ係数算出部１６２は、フィルタ処理後の画像をインター予測画像として予測画像選択部１６４に供給するとともに、そのインター予測画像のコスト関数値を予測画像選択部１６４に供給する。

さらに、フィルタ係数算出部１６２は、予測画像選択部１６４により最適インター予測モードで生成されたインター予測画像が選択された場合、フィルタ係数を可逆符号化部１６５に出力する。

ＦＩＲフィルタ１６３は、フィルタ係数算出部１６２から供給されるフィルタ係数を用いて、動き予測・補償部１６１から供給される動き補償後の画像に対して以下の式（４）で表される、たたきこみと呼ばれる演算を行うことにより、フィルタ処理を行う。

式（４）において、ｏはフィルタ処理後の画素値を表し、ｉはフィルタ処理前の画素値、即ち動き補償後の画像の画素値を表す。したがって、ｉは、分数精度の画素値の場合もあれば、整数精度の画素値の場合もある。また、ｘ，ｙは、それぞれ、画素の縦方向、横方向の位置を表し、ｈはフィルタ係数を表す。このフィルタ係数ｈによってＦＩＲフィルタ１６３は特徴付けられる。なお、フィルタ係数ｈはインパルス応答と呼ばれることもある。

また、式（４）では、ＦＩＲフィルタ１６３は、（２Ｎｘ＋１）×（２Ｎｙ＋１）タップの２次元ＦＩＲフィルタであるものとしているが、タップ数は（２Ｎｘ＋１）×（２Ｎｙ＋１）に限定されない。また、フィルタ係数ｈの数と演算量の削減のため、ＦＩＲフィルタ１６３としては１次元ＦＩＲフィルタを採用してもよい。さらに、ＦＩＲフィルタ１６３は、式（４）に示す２次元のたたきこみ演算を行うのではなく、１次元のたたきこみ演算を縦方向と横方向の２回に分けて行うようにしてもよい。この場合、フィルタ係数ｈの数と演算量を削減することができる。さらに、このとき、フィルタタップ数に応じて、動き補償サイズよりも大きい領域を動き補償するか、あるいは足りない分は補償した画素値でコピーされて用いられる。

以上のようにして得られたフィルタ処理後の画像は、フィルタ係数算出部１６２に供給される。

予測画像選択部１６４は、イントラ予測部７４またはフィルタ係数算出部１６２より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部１６４は、決定された最適予測モードの予測画像としてのイントラ予測画像またはインター予測画像を選択し、演算部６３，７０に供給する。

このとき、予測画像選択部１６４は、イントラ予測画像が選択された旨を表す選択情報を、イントラ予測部７４に供給するか、インター予測画像が選択された旨を表す選択情報を動き予測・補償部１６１およびフィルタ係数算出部１６２に供給する。

可逆符号化部１６５は、可逆符号化部６６と同様に、量子化部６５から供給される量子化された変換係数に対して可逆符号化を施し、圧縮することにより、圧縮画像を生成する。また、可逆符号化部１６５は、イントラ予測部７４、動き予測・補償部１６１、またはフィルタ係数算出部１６２からの情報に対して可逆符号化を施し、圧縮画像のヘッダ部に挿入する。そして、可逆符号化部１６５により生成されたヘッダ部が付加された圧縮画像は、圧縮情報として蓄積バッファ６７に蓄積された後、出力される。

以上のように、画像符号化装置１５１は、インター予測において、動き補償後の画像に対して、インター予測画像をインター予測する画像に近づけるためのフィルタ係数を用いたフィルタ処理を行うので、インター予測画像とインター予測する画像の差分を低減し、インター予測画像の品質を向上させることができる。

また、動き補償後の画像に対して、フィルタ処理が行われるので、このフィルタ処理は、従来のＡＩＦと異なり、整数精度の動き補償処理にも適用される。すなわち、動きベクトルが整数位置の場合にもフィルタ処理が施されるようになるので、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

さらに、インター予測画像とインター予測する画像の差分は、復号後の圧縮画像の主観を悪くするが、画像符号化装置１５１では、この差分が低減するため、復号後の圧縮画像の主観を向上させることができる。

また、インター予測においてフィルタ処理を行う場合、フィルタ係数を画像復号装置（後述する）に送信する必要があるため、圧縮画像のヘッダ部のビット量は増加するが、上述したようにインター予測する画像とインター予測画像との差分は低減する。その結果、全体的には圧縮情報のデータ量、即ち符号量が減少し、符号化効率を向上させることができる場合がある。

例えば、ＦＩＲフィルタ１６３として５タップの２次元フィルタを採用した場合、２５（＝５×５）個のフィルタ係数がフレーム単位で発生する。ここで、各フィルタ係数が１２ビットで表現されるとすると、１フレーム毎に３００（＝２５×１２）ビットをフィルタ係数のビットとして割り当てる必要がある。従って、この場合、フィルタ処理を行うことにより、圧縮画像の符号量が３００ビット以上削減されると、圧縮情報の符号量は全体として削減される。

［フィルタ係数の算出方法］
次に、フィルタ係数算出部１６２によるフィルタ係数の算出方法について説明する。

フィルタ係数の算出方法については、各種の方法があるが、所望の信号とフィルタ処理後の信号の差分(誤差)の平均を最小にしたい場合、ウィーナー・フィルタの理論を用いてフィルタ係数を算出する方法が好ましいため、ここでは、この方法について説明する。

なお、ウィーナー・フィルタとは、所望の信号とフィルタ処理後の信号の差分の２乗の平均を最小にするフィルタである。

ここで、所望の信号としてのインター予測する画像の画素値をｄとし、フィルタ処理後の信号としてのＦＩＲフィルタ１６３から出力される画素値をｏとした場合、画素値ｄとｏの差分の２乗の平均である平均２乗誤差ｅは、次の式（５）で求められる。なお、式（５）においては、説明を簡単にするため、ＦＩＲフィルタ１６３が（２Ｎ＋１）タップの１次元フィルタであるものとしている。

式（５）において、Ｅ｛｝は括弧内の期待値を表している。また、ｉはフィルタ処理前の画素値、即ち動き補償後の画像の画素値を表している。したがって、ｉは、分数精度の画素値の場合もあれば、整数精度の画素値の場合もある。ｘ，ｙは、それぞれ、画素の縦方向、横方向の位置を表し、ｈはフィルタ係数を表す。

そして、ウィーナー・フィルタの設計は、平均２乗誤差ｅを最小とするためのフィルタ係数ｈを算出する問題に帰着する。そこで、フィルタ係数算出部１６２は、最小自乗法を利用して、平均２乗誤差ｅをフィルタ係数ｈで偏微分し、それを０としてフィルタ係数ｈを求めればよい。

具体的には、平均２乗誤差ｅをフィルタ係数ｈで偏微分すると次の式（６）が得られる。

そして、この式（６）を０として式を整理すると、次の式（７）を得る。

従って、式（７）におけるｈを求めることにより、平均２乗誤差eを最小とするフィルタ係数を求めることができる。より詳細には、式（７）は連立方程式となるため、その連立方程式を解くことによりフィルタ係数を求めることができる。

よって、フィルタ係数算出部１６２は、式（７）で示されるインター予測する画像の画素値ｄと動き補償後の画像の画素値ｉの相関、動き補償後の画素値ｉの自己相関、および、それらからなる連立方程式を解き、フィルタ係数ｈを求める。

［符号化処理の説明］
次に、図８のフローチャートを参照して、図７の画像符号化装置１５１の符号化処理について説明する。

ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と、予測画像選択部１６４からのイントラ予測画像またはインター予測画像との差分を演算する。

差分データは元の画像データに比べてデータ量が小さくなるため、差分データを演算して符号化することにより、画像データをそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ１４において、直交変換部６４は、演算部６３から供給された差分を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は、その変換係数を量子化する。この量子化に際しては、後述するステップＳ３０の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分は、次のようにして局部的に復号される。即ち、ステップＳ１６において、逆量子化部６８は、量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は、逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。

ステップＳ１８において、演算部７０は、予測画像選択部１６４を介して入力されるインター予測画像またはイントラ予測画像を局部的に復号された差分に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９において、デブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０において、フレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２には、デブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。

ステップＳ２１において、イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像と、スイッチ７３を介してフレームメモリ７２から供給された画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。そして、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。

ステップＳ２２において、イントラ予測部７４は、算出されたコスト関数値のうち、最小値を与えるイントラ予測モードを、最適イントラ予測モードとして決定する。そして、イントラ予測部７４は、最適イントラ予測モードで生成されたイントラ予測画像とそのコスト関数値を、予測画像選択部１６４に供給する。

ステップＳ２３において、動き予測・補償部１６１は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、候補となる全てのインター予測モードで動き予測・補償処理を行う。そして、動き予測・補償部１６１は、候補となる全てのインター予測モードに対してコスト関数値を算出する。

ステップＳ２４において、動き予測・補償部１６１は、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部１６１は、最適インター予測モードで生成された動き補償後の画像をフィルタ係数算出部１６２に供給する。

ステップＳ２５において、フィルタ係数算出部１６２は、フィルタ係数ｈを算出する。具体的には、フィルタ係数算出部１６２は、動き予測・補償部１６１からの動き補償後の画像と、その動き補償後の画像の動き予測・補償処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像とを用いて、上述した式（７）の演算を行う。そして、フィルタ係数算出部１６２は、その演算の結果得られるフィルタ係数ｈをＦＩＲフィルタ１６３に供給する。

ステップＳ２６において、ＦＩＲフィルタ１６３は、フィルタ係数算出部１６２からのフィルタ係数を用いて、動き予測・補償部１６１からの動き補償後の画像に対して、上述した式（４）の演算を行うことにより、フィルタ処理を行う。そして、ＦＩＲフィルタ１６３は、フィルタ処理後の画像をフィルタ係数算出部１６２に供給する。

その結果、フィルタ係数算出部１６２では、動き予測・補償部１６１と同様の手法で、このフィルタ処理後の画像のコスト関数値が算出される。そして、フィルタ係数算出部１６２は、フィルタ処理後の画像をインター予測画像として予測画像選択部１６４に供給するとともに、そのインター予測画像のコスト関数値を予測画像選択部１６４に供給する。

ステップＳ２７において、予測画像選択部１６４は、イントラ予測部７４およびフィルタ係数算出部１６２より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定し、決定された最適予測モードの予測画像を選択する。このようにして最適予測モードの予測画像として選択されたインター予測画像またはイントラ予測画像は、演算部６３，７０に供給され、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。

なお、このとき、予測画像選択部１６４は、イントラ予測部７４、または、動き予測・補償部１６１およびフィルタ係数算出部１６２に選択情報を供給する。イントラ予測画像が選択された旨を表す選択情報が供給された場合、イントラ予測部７４は、最適イントラ予測モードを表す情報を、可逆符号化部１６５に供給する。

最適インター予測モードが選択された旨を表す選択情報が供給された場合、動き予測・補償部１６１は、最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報などを可逆符号化部１６５に出力し、フィルタ係数算出部１６２は、フィルタ係数を可逆符号化部１６５に出力する。

ステップＳ２８において、可逆符号化部１６５は、量子化部６５より出力された量子化された変換係数を符号化し、圧縮画像を生成する。このとき、最適イントラ予測モードや最適インター予測モードを表す情報、最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）、フィルタ係数なども可逆符号化され、圧縮画像のヘッダ部に挿入される。

ステップＳ２９において、蓄積バッファ６７は、可逆符号化部１６５により生成されたヘッダ部が付加された圧縮画像を圧縮情報として蓄積する。蓄積バッファ６７に蓄積された圧縮情報は適宜読み出され、伝送路を介して画像復号装置に伝送される。

ステップＳ３０において、レート制御部７７は、蓄積バッファ６７に蓄積された圧縮情報に基づいて、蓄積バッファ６７にオーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

なお、上述した説明では、画像符号化装置１５１が、動き補償後の画像のコスト関数値に基づいて最適インター予測モードを決定し、最適インター予測モードの動き補償後の画像に対してフィルタ処理を行うようにしたが、候補となる全てのインター予測モードの動き補償後の画像に対してフィルタ処理を行い、その結果得られる画像のコスト関数値に基づいて最適インター予測モードを決定するようにしてもよい。

以上のようにして画像符号化装置１５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。

［フィルタ係数算出部およびFIRフィルタ周辺の詳細な構成例］
図９は、図７の画像符号化装置１５１のうち、フィルタ係数算出部およびFIRフィルタ周辺の詳細な構成例を示している。

なお、図９の例においては、動き予測・補償部１６１が、動き予測部１７１および動き補償部１７２に機能的に分けられている。また、図９の例においては、説明および効果をわかりやすくするため、周辺であっても、スイッチ７３、イントラ予測部７４、および予測画像選択部１６４を省略し、コスト関数値の計算や予測画像選択などはなされず、フレームメモリ７２からの参照画像が用いられてあるインター予測モードで動き予測、補償された画像が演算部６３に出力するものとして説明する。

動き予測部１７１は、動き予測・補償部１６１における動き予測処理を行う。すなわち、動き予測部１７１は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、フレームメモリ７２から供給される参照画像としての画像に基づいて、インター予測モードの動きベクトルを検出する。動き予測部１７１により検出された動きベクトルは、動き補償部１７２、フィルタ係数算出部１６２、および可逆符号化部１６５に出力される。可逆符号化部１６５は、この情報を可逆符号化し、圧縮画像のヘッダ部の一部とする。

動き補償部１７２は、動き予測・補償部１６１における動き補償処理を行う。すなわち、動き補償部１７２は、動き予測部１７１からの動きベクトルを用いて、フレームメモリ７２から供給される参照画像に動き補償処理を施し、動き補償後の画像を生成し、FIRフィルタ１６３に出力する。なお、このとき、フィルタタップ数に応じて、動き補償サイズよりも大きい領域を動き補償するため、その分の領域がフレームメモリ７２から取得される。

フィルタ係数算出部１６２は、動き予測部１７１からの動きベクトル、フレームメモリ７２からの参照画像、および、その動き予測処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像を用いて、ＦＩＲフィルタ１６３によるフィルタ処理後の画像（すなわち、動き補償後の画像）をインター予測する画像に近づけるためのフィルタ係数を算出する。そして、フィルタ係数算出部１６２は、算出されたフィルタ係数をＦＩＲフィルタ１６３および可逆符号化部１６５に供給する。

なお、フィルタ係数算出部１６２においては、動き予測部１７１からの動きベクトルとフレームメモリ７２からの参照画像の代わりに、図７の画像符号化装置１５１と同様に、動き補償部１７２からの動き補償後の画像を用いるようにしてもよい。

ＦＩＲフィルタ１６３は、フィルタ係数算出部１６２から供給されるフィルタ係数を用いて、動き補償部１７２から供給される動き補償後の画像に対して上述した式（４）で表される、たたきこみと呼ばれる演算を行うことにより、フィルタ処理を行う。フィルタ処理が行われた動き補償後の画像は、演算部６３に出力され、符号化対象の画像との差分が演算される。符号化対象の画像と、フィルタ処理が行われた動き補償後の画像の差分は、直交変換部６４、量子化部６５を介して、可逆符号化部１６５において符号化され、復号側に送信される。

以上のように、図９の画像符号化装置１５１においては、動き補償後の画像に対してフィルタ処理が行われる。

ここで、非特許文献１に記載のＡＩＦについて述べる。ＡＩＦは、符号化歪みを低減させることはできるが、インターポーレーションを行うフィルタためのフィルタであるため、動きベクトルが分数精度の場合には効果があったが、動きベクトルが整数精度の場合には適用することができなかった。また、ＡＩＦは、インターポーレーションを行うためのフィルタであるため、分数精度の画素分のフィルタ係数をすべて復号側へ送る必要があった。

これに対して、画像符号化装置１５１においては、動き補償後の画像に対して、フィルタ処理が行われる。すなわち、このフィルタ処理は、整数精度の動き補償処理にも適用される。したがって、動きベクトルが整数位置の場合にもフィルタ処理が施されるようになるので、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

また、分数精度の画素分のフィルタ係数が不要となるため、復号側へ送るオーバーヘッドを減らすことができる。

さらに、非特許文献３に記載のＡＬＦについて述べる。ＡＬＦは、デブロックフィルタ７１の出力（すなわち、残差が再構成後）に、現時点の入力信号に近づけるためのフィルタであり、それゆえ、現時点の残差を減らす効果はない。例えば、次のスライスがＰの場合や、Ｐが続く場合には効果的である。

これに対して、画像符号化装置１５１においては、ＦＩＲフィルタ１６３からの出力（すなわち、結果的に演算部６３からの出力である残差）を小さくなるようにフィルタ処理が行われる。したがって、現時点の残差を減らすことができるので、残差情報のビット量を削減することができる。

なお、上記説明においては、動き補償後の画像にフィルタ処理を行う例を説明してきたが、動き補償前の画像、すなわち、参照画像にフィルタ処理を行い、それに対して動き補償を行う例について説明する。

［フィルタ係数算出部およびFIRフィルタ周辺の詳細な他の構成例］
図１０は、図７の画像符号化装置１５１のうち、フィルタ係数算出部およびFIRフィルタ周辺の詳細な構成例を示している。

なお、図１０の例においては、図９の例と同様に、動き予測・補償部１６１が、動き予測部１７１および動き補償部１７２に機能的に分けられている。また、図９の例と異なり、フィルタ用動き予測部１８１が追加され、フィルタ係数算出部１６１およびＦＩＲフィルタ１６２の代わりに、それぞれ、フィルタ係数算出部１８２およびＦＩＲフィルタ１８３が備えられている。さらに、図１０の例においては、図９の例と同様に、説明および効果をわかりやすくするため、周辺であっても、スイッチ７３、イントラ予測部７４、および予測画像選択部１６４を省略し、コスト関数値の計算や予測画像選択などはなされず、フレームメモリ７２からの参照画像が用いられてあるインター予測モードで動き予測、補償された画像が演算部６３に出力するものとして説明する。

フィルタ用動き予測部１８１は、動き予測部１７１による動き予測に先立ち、フィルタ係数算出部１８２で用いられる動きベクトルを検出する。すなわち、フィルタ用動き予測部１８１は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、フレームメモリ７２から供給される参照画像としての画像に基づいて、フィルタ用の動きベクトルを検出する。検出された動きベクトルは、フィルタ係数算出部１８２に出力される。

なお、フィルタ用動き予測部１８１と動き予測部１７１とを共用するようにすることもできる。

フィルタ係数算出部１８２は、フィルタ用動き予測部１８１からの動きベクトル、フレームメモリ７２からの参照画像、および、その動き予測処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像を用いて、ＦＩＲフィルタ１８３によるフィルタ処理後の参照画像（すなわち、参照画像）をインター予測する画像に近づけるためのフィルタ係数を算出する。そして、フィルタ係数算出部１８２は、算出されたフィルタ係数をＦＩＲフィルタ１８３および可逆符号化部１６５に供給する。

ＦＩＲフィルタ１８３は、フィルタ係数算出部１８２から供給されるフィルタ係数を用いて、フレームメモリ７２からの参照画像に対して上述した式（４）で表される、たたきこみと呼ばれる演算を行うことにより、フィルタ処理を行う。フィルタ処理が行われた参照画像は、動き補償部１７２に出力する。なお、このとき、フィルタタップ数に応じて、動き補償サイズよりも大きい領域がフレームメモリ７２から取得される。

動き予測部１７１は、図９の例と同様に、画面並べ替えバッファ６２から読み出されたインター予測する画像と、フレームメモリ７２から供給される参照画像としての画像に基づいて、インター予測モードの動きベクトルを検出する。動き予測部１７１により検出された動きベクトルは、動き補償部１７２および可逆符号化部１６５に出力される。

動き補償部１７２は、動き予測部１７１からの動きベクトルを用いて、ＦＩＲフィルタ１８３から供給されるフィルタ処理が行われた参照画像に動き補償処理を施し、動き補償後の画像を生成する。この動き補償後の画像は、演算部６３に出力され、符号化対象の画像との差分が演算される。符号化対象の画像と、フィルタ処理が行われた動き補償後の画像の差分は、直交変換部６４、量子化部６５を介して、可逆符号化部１６５において符号化され、復号側に送信される。

以上のように、図１０の画像符号化装置１５１においては、動き補償前の参照画像に対してフィルタ処理が行われる。すなわち、このフィルタ処理は、参照画像において、整数精度の画素に行われる。したがって、動きベクトルが整数位置の場合にもフィルタ処理が施されるようになるので、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

また、図１０の場合も、分数精度の画素分のフィルタ係数が不要となるため、復号側へ送るオーバーヘッドを減らすことができる。

さらに、図１０の場合も、画像符号化装置１５１においては、ＦＩＲフィルタ１８３からの出力を小さくなるようにフィルタ処理が行われる。したがって、結果的に演算部６３からの出力である残差を減らすことができるので、残差情報のビット量を削減することができる。

以上のように、動き予測、補償と、ＦＩＲフィルタの順番が入れ替わったとしても、同様の効果を得ることができる。

［画像復号装置の構成例］
図１１は、このような画像復号装置の構成例を示している。

図１１に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１１の画像復号装置２０１の構成は、主に、可逆復号部１１２、動き予測・補償部１２２、スイッチ１２３の代わりに、可逆復号部２１１、動き予測・補償部２１２、スイッチ２１４が設けられている点、および、新たにＦＩＲフィルタ２１３が設けられている点で図６の構成と異なる。

詳細には、図１１の画像復号装置２０１の可逆復号部２１１は、蓄積バッファ１１１より供給された、図７の可逆符号化部１６５により可逆符号化された圧縮情報を、可逆符号化部１６５の可逆符号化方式に対応する方式で可逆復号する。そして、可逆復号部２１１は、可逆復号の結果得られる情報から、画像、最適インター予測モードまたは最適イントラ予測モードを表す情報、動きベクトル情報、参照フレーム情報、フィルタ係数ｈなどを抽出する。

動き予測・補償部２１２には、図６の動き予測・補償部１２２と同様に、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報など）が可逆復号部２１１から供給される。最適インター予測モードを表す情報が供給された場合、動き予測・補償部２１２は、動き予測・補償部１２２と同様に、その情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に動き補償処理を施す。そして、動き予測・補償部２１２は、その結果得られる動き補償後の画像をＦＩＲフィルタ２１３に出力する。

ＦＩＲフィルタ２１３には、ヘッダ部を可逆復号して得られたフィルタ係数ｈが可逆復号部２１１から供給される。ＦＩＲフィルタ２１３は、フィルタ係数ｈを用いて、動き予測・補償部２１２から供給される動き補償後の画像に対して、上述した式（４）の演算を行うことにより、フィルタ処理を行う。そして、ＦＩＲフィルタ２１３は、フィルタ処理後の画像を、インター予測画像としてスイッチ２１４に出力する。

スイッチ２１４は、ＦＩＲフィルタ２１３から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に供給する。

以上のように、画像復号装置２０１は、インター予測において、動き補償後の画像に対して、画像符号化装置１５１から送信されてくる、インター予測画像をインター予測する画像に近づけるためのフィルタ係数ｈを用いたフィルタ処理を行うので、より正確にインター予測を行い、インター予測画像の品質を向上させることができる。

また、動き補償後の画像に対してフィルタ処理が行われるので、動きベクトルが整数位置の場合にもフィルタ処理が施されるようになり、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

［復号処理の説明］
次に、図１２のフローチャートを参照して、図１１の画像復号装置２０１の復号処理について説明する。

ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた圧縮情報を蓄積する。ステップＳ１３２において、可逆復号部２１１は、蓄積バッファ１１１から供給される圧縮情報を可逆復号する。即ち、図７の可逆符号化部１６５により可逆符号化されたＩピクチャ、Ｐピクチャ、およびＢピクチャが可逆復号される。なお、このとき、動きベクトル情報、参照フレーム情報、最適イントラ予測モードまたは最適インター予測モードを表す情報、フィルタ係数なども復号される。

ステップＳ１３３において、逆量子化部１１３は、可逆復号部２１１により可逆復号された変換係数を、図７の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において、逆直交変換部１１４は、逆量子化部１１３により逆量子化された変換係数を、図７の直交変換部６４の特性に対応する特性で逆直交変換する。これにより、図７の直交変換部６４の入力（演算部６３の出力）としての差分が復号されたことになる。

ステップＳ１３５において、演算部１１５は、復号された差分を、後述するステップＳ１４２の処理でスイッチ２１４から出力されるインター予測画像またはイントラ予測画像と加算する。これにより元の画像が復号される。ステップＳ１３６において、デブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７において、フレームメモリ１１９は、フィルタリングされた画像を記憶する。

ステップＳ１３８において、可逆復号部２１１は、圧縮画像のヘッダ部の可逆復号結果に基づいて、圧縮画像がインター予測された画像であるかどうか、即ち、可逆復号結果に最適インター予測モードを表す情報が含まれているかどうかを判定する。

ステップＳ１３８で圧縮画像がインター予測された画像であると判定された場合、可逆復号部２１１は、動きベクトル情報、参照フレーム情報、および最適インター予測モードを表す情報を動き予測・補償部２１２に供給し、フィルタ係数をＦＩＲフィルタ２１３に供給する。

そして、ステップＳ１３９において、動き予測・補償部２１２は、可逆復号部２１１からの情報が表す最適インター予測モードで、その情報が表す動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に対して動き補償処理を行う。そして、動き予測・補償部２１２は、その結果得られる動き補償後の画像をＦＩＲフィルタ２１３に出力する。

ステップＳ１４０において、ＦＩＲフィルタ２１３は、可逆復号部２１１からのフィルタ係数を用いて、動き予測・補償部２１２から供給される動き補償後の画像に対して、上述した式（４）の演算を行うことにより、フィルタ処理を行う。

一方、ステップＳ１３８で圧縮画像がインター予測された画像ではないと判定された場合、即ち可逆復号結果に最適イントラ予測モードを表す情報が含まれている場合、可逆復号部２１１は、最適イントラ予測モードを表す情報をイントラ予測部１２１に供給する。そして、ステップＳ１４１において、イントラ予測部１２１は、可逆復号部２１１からの情報が表す最適イントラ予測モードで、フレームメモリ１１９からの画像に対してイントラ予測処理を行い、イントラ予測画像を生成する。そして、イントラ予測部１２１は、イントラ予測画像をスイッチ２１４に出力する。

ステップＳ１４０またはＳ１４１の処理後、ステップＳ１４２において、スイッチ２１４は、ＦＩＲフィルタ２１３から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に出力する。これにより、上述したように、ステップＳ１３５においてインター予測画像またはイントラ予測画像が逆直交変換部１１４の出力と加算される。

ステップＳ１４３において、画面並べ替えバッファ１１７は並べ替えを行う。即ち、画像符号化装置１５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ１４４において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

なお、図１１は、上述した図７および図９の画像符号化装置１５１に対応する画像復号装置２０１の例である。次に、図１０の画像符号化装置１５１に対応する画像復号装置２０１は、図１３のように構成される。

図１３の画像復号装置２０１は、蓄積バッファ１１１、可逆復号部２１１、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、およびスイッチ２１４が備えられている点で、図１１の画像復号装置２０１と共通している。また、図１３の画像復号装置２０１は、動き予測・補償部２１２とＦＩＲフィルタ２１３の代わりにそれぞれ、動き予測・補償部２６２とＦＩＲフィルタ２６１が入れ替わっている点が図１１の画像復号装置２０１と異なっている。

すなわち、図１３の画像復号装置２０１と図１１の画像復号装置２０１は、ＦＩＲフィルタ２６１と、動き予測・補償部２６２の処理の順番が異なっていることが違うだけである。

ＦＩＲフィルタ２６１は、ヘッダ部を可逆復号して得られたフィルタ係数ｈが可逆復号部２１１から供給される。ＦＩＲフィルタ２６１は、フィルタ係数ｈを用いて、フレームメモリ１１９からスイッチ１２０を介して供給される参照画像に対して、上述した式（４）の演算を行うことにより、フィルタ処理を行う。そして、ＦＩＲフィルタ２６１は、フィルタ処理後の参照画像を、動き予測・補償部２６２に出力する。

動き予測・補償部２６２には、図１１の動き予測・補償部２１２と同様に、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報など）が可逆復号部２１１から供給される。最適インター予測モードを表す情報が供給された場合、動き予測・補償部２６２は、動き予測・補償部２１２と同様に、その情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報と参照フレーム情報に基づいて、ＦＩＲフィルタ２６１からのフィルタ処理後の参照画像に動き補償処理を施す。そして、動き予測・補償部２６２は、その結果得られる動き補償後の画像を、インター予測画像としてスイッチ２１４に出力する。

以上のように、図１３の画像復号装置２０１は、インター予測において、動き補償前の参照画像に対して、画像符号化装置１５１から送信されてくる、インター予測画像をインター予測する画像に近づけるためのフィルタ係数ｈを用いたフィルタ処理を行うので、より正確にインター予測を行い、インター予測画像の品質を向上させることができる。

また、動き補償前の参照画像に対してフィルタ処理が行われるので、この場合も、動きベクトルが整数位置の場合にもフィルタ処理が施されるようになり、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

なお、上述した説明では、フィルタ係数はフレーム単位で設定されたが、マクロブロック単位または動き補償ブロック単位で設定されるようにしてもよい。

また、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本発明は、"Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009に記載の拡張されたマクロブロックサイズに対しても適用することが可能である。

図１４は、拡張されたマクロブロックサイズの例を示す図である。上記記載では、マクロブロックサイズが３２×３２画素に拡張されている。

図１４の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図１４の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図１４の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。

すなわち、３２×３２画素のマクロブロックは、図１４の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。

また、上段の右側に示される１６×１６画素のブロックは、Ｈ．２６４／ＡＶＣ方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。

さらに、中段の右側に示される８×８画素のブロックは、Ｈ．２６４／ＡＶＣ方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。

このような階層構造を採用することにより、拡張されたマクロブロックサイズにおいては、１６×１６画素のブロック以下に関してＨ．２６４／ＡＶＣ方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

以上のように提案される拡張されたマクロブロックサイズにも本発明を適用することができる。

また、以上においては、符号化方式／復号方式としてH.264/AVC方式が用いられたが、本発明は、その他の動き予測・補償処理を行う符号化方式／復号方式を用いる画像符号化装置/画像復号装置に適用することもできる。

さらに、本発明は、例えば、MPEG,H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMやハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した画像符号化装置１５１や画像復号装置２０１は、任意の電子機器に適用することができる。以下にその例について説明する。

図１５は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図１５に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。

地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。

映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。

グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。

パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。

表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。

地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。

音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。

音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。

エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。

音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。

さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。

デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。

MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。

テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置２０１を用いる。したがって、MPEGデコーダ３１７は、画像復号装置２０１の場合と同様に、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させる。

MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。

MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。

また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。

A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。

エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。

さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。

A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。

音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。

ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。

音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。

エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。

SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。

MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。

受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。

CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。

USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機３００は、MPEGデコーダ３１７として画像復号装置２０１を用いることにより、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。

図１６は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図１６に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。

また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。

電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。

携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。

また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。

なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。

この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置１５１を用いる。したがって、画像エンコーダ４５３は、画像符号化装置１５１の場合と同様に、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。

携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置２０１を用いる。したがって、画像デコーダ４５６は、画像復号装置２０１の場合と同様に、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。

また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。

携帯電話機４００は、画像エンコーダ４５３として画像符号化装置１５１を用いることにより、例えばCCDカメラ４１６において生成された画像データを符号化して生成する符号化データの符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。

また、携帯電話機４００は、画像デコーダ４５６として画像復号装置２０１を用いることにより、精度の高い予測画像を生成することができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。

なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置１５１および画像復号装置２０１を適用することができる。

図１７は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図１７に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。

ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図１７に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。

また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。

受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。

通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。

オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。

ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。

ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。

モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。

レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。

以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして画像復号装置２０１を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、画像復号装置２０１の場合と同様に、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

したがって、ハードディスクレコーダ５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ５６０に表示させることができる。

また、ハードディスクレコーダ５００は、エンコーダ５５１として画像符号化装置１５１を用いる。したがって、エンコーダ５５１は、画像符号化装置１５１の場合と同様に、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

したがって、ハードディスクレコーダ５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、ハードディスクの記憶領域をより効率よく使用することができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、画像符号化装置１５１および画像復号装置２０１を適用することができる。

図１８は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。

図１８に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。

レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。

カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。

以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。

デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。

コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。

さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。

記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。

さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。

以上のようなカメラ６００は、デコーダ６１５として画像復号装置２０１を用いる。したがって、デコーダ６１５は、画像復号装置２０１の場合と同様に、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

したがって、カメラ６００は、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD６１６に表示させることができる。

また、カメラ６００は、エンコーダ６４１として画像符号化装置１５１を用いる。したがって、エンコーダ６４１は、画像符号化装置１５１の場合と同様に、整数精度の動き補償処理を行う場合であっても、インター予測画像の品質を向上させることができる。

したがって、カメラ６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。

なお、コントローラ６２１が行う復号処理に画像復号装置２０１の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に画像符号化装置１５１の符号化方法を適用するようにしてもよい。

また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、画像符号化装置１５１および画像復号装置２０１は、上述した装置以外の装置やシステムにも適用可能である。

６３，７０，１１５ 演算部， ６７ 蓄積バッファ， １５１ 画像符号化装置， １６１ 動き予測・補償部， １６２ フィルタ係数算出部， １６３ ＦＩＲフィルタ， ２０１ 画像復号装置， ２１２ 動き予測・補償部， ２１３ ＦＩＲフィルタ

Claims (15)

1. 符号化された画像を復号する復号手段と、
   前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる、その画像の符号化時に、前記画像の参照画像または動き補償後の参照画像を符号化前の前記画像に近づけるように求められたフィルタ係数を用いて、前記復号手段により復号された前記画像または動き補償後の画像に対してフィルタ処理を行うフィルタ処理手段と、
   前記フィルタ処理手段によるフィルタ処理後の画像または前記復号手段により復号された前記画像に対して動き補償を行う動き補償手段と、
   前記復号手段により復号された前記画像と、前記動き補償手段により前記動き補償が行われた前記フィルタ処理後の画像または前記フィルタ処理手段により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、復号画像を生成する演算手段と
   を備える画像処理装置。
2. 前記フィルタ処理手段は、前記復号手段により復号された前記画像に対してフィルタ処理を行い、
   前記動き補償手段は、前記フィルタ処理手段による前記フィルタ処理後の画像に対して動き補償を行い、
   前記演算手段は、前記復号手段により復号された前記画像と、前記動き補償手段により前記動き補償が行われた前記フィルタ処理後の画像とを加算して、前記復号画像を生成する
   請求項１に記載の画像処理装置。
3. 前記動き補償手段は、前記復号手段により復号された前記画像に対して動き補償を行い、
   前記フィルタ処理手段は、前記動き補償手段による前記動き補償後の画像に対してフィルタ処理を行い、
   前記演算手段は、前記復号手段により復号された前記画像と、前記フィルタ処理手段により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、前記復号画像を生成する
   請求項１に記載の画像処理装置。
4. 前記フィルタ係数は、前記画像の符号化時に、前記画像の参照画像または前記動き補償後の参照画像と、符号化前の前記画像との差分の自乗が最小となるように、最小自乗法を用いて求められる
   請求項１に記載の画像処理装置。
5. 前記フィルタ係数と前記符号化された画像は可逆符号化されて、圧縮情報として前記他の画像処理装置から送信され、
   前記復号手段は、前記圧縮情報を可逆復号し、その結果得られる情報から前記フィルタ係数を抽出するとともに、前記符号化された画像を抽出して前記符号化された画像を復号し、
   前記フィルタ処理手段は、前記復号手段により抽出された前記フィルタ係数を用いて、前記復号手段により復号された前記画像または前記動き補償後の画像に対してフィルタ処理を行う
   請求項１に記載の画像処理装置。
6. 画像処理装置が、
   符号化された画像を復号する復号ステップと、
   前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる、その画像の符号化時に、前記画像の参照画像または動き補償後の画像を符号化前の前記画像に近づけるように求められたフィルタ係数を用いて、前記復号手段により復号された前記画像または動き補償後の画像に対してフィルタ処理を行うフィルタ処理ステップと、
   前記フィルタ処理ステップの処理によるフィルタ処理後の画像または前記復号ステップの処理により復号された前記画像に対して動き補償を行う動き補償ステップと、
   前記復号ステップの処理により復号された前記画像と、前記動き補償ステップの処理により前記動き補償が行われた前記フィルタ処理後の画像または前記フィルタ処理ステップの処理により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、復号画像を生成する演算ステップと
   を含む画像処理方法。
7. 符号化された画像を復号する復号手段と、
   前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる、その画像の符号化時に、前記画像の参照画像または動き補償後の画像を符号化前の前記画像に近づけるように求められたフィルタ係数を用いて、前記復号手段により復号された前記画像または動き補償後の画像に対してフィルタ処理を行うフィルタ処理手段と、
   前記フィルタ処理手段によるフィルタ処理後の画像または前記復号手段により復号された前記画像に対して動き補償を行う動き補償手段と、
   前記復号手段により復号された前記画像と、前記動き補償手段により前記動き補償が行われた前記フィルタ処理後の画像または前記フィルタ処理手段により前記フィルタ処理が行われた前記動き補償後の画像とを加算して、復号画像を生成する演算手段と
   を備える画像処理装置として、コンピュータを機能させるためのプログラム。
8. 符号化対象の画像と参照画像または動き補償後の参照画像とに基づいて、前記参照画像または前記動き補償後の参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出するフィルタ係数算出手段と、
   前記フィルタ係数算出手段により算出された前記フィルタ係数を用いて、前記参照画像または前記動き補償後の参照画像に対してフィルタ処理を行うフィルタ処理手段と、
   前記符号化対象の画像と、フィルタ処理後の参照画像または前記参照画像とを用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像または前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像または前記参照画像に対して動き補償を行う動き補償手段と、
   前記動き補償が行われた前記フィルタ処理後の参照画像または前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する符号化手段と、
   前記符号化後の画像と前記フィルタ係数を送信する送信手段と
   を備える画像処理装置。
9. 前記フィルタ係数算出手段は、前記符号化対象の画像と前記参照画像とに基づいて、前記参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出し、
   前記フィルタ処理手段は、前記フィルタ係数を用いて、前記参照画像に対してフィルタ処理を行い、
   前記動き補償手段は、前記符号化対象の画像および前記フィルタ処理後の参照画像を用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像の間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像に対して動き補償を行い、
   前記符号化手段は、前記動き補償が行われた前記フィルタ処理後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する
   請求項８に記載の画像処理装置。
10. 前記動き補償手段は、前記符号化対象の画像と、前記参照画像とを用いて、前記符号化対象の画像と前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記参照画像に対して動き補償を行い、
    前記フィルタ係数算出手段は、前記符号化対象の画像と前記動き補償後の参照画像とに基づいて、前記動き補償後の参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出し、
    前記フィルタ処理手段は、前記フィルタ係数を用いて、前記動き補償後の参照画像に対してフィルタ処理を行い、
    前記符号化手段は、前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する
    請求項８に記載の画像処理装置。
11. 前記フィルタ係数算出手段は、前記符号化対象の画像と前記参照画像または前記動き補償後の参照画像との差分の自乗が最小となるように、最小自乗法を用いて前記フィルタ係数を算出する
    請求項８に記載の画像処理装置。
12. 前記フィルタ係数算出手段は、前記参照画像または前記動き補償後の参照画像の整数精度の画素値および分数精度の画素値を用いて前記フィルタ係数を算出する
    請求項８に記載の画像処理装置。
13. 前記送信手段は、前記符号化後の画像と前記フィルタ係数を可逆符号化し、圧縮情報として送信する
    請求項８に記載の画像処理装置。
14. 画像処理装置が、
    符号化対象の画像と参照画像または動き補償後の画像とに基づいて、前記参照画像または前記動き補償後の画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出するフィルタ係数算出ステップと、
    前記フィルタ係数算出ステップの処理により算出された前記フィルタ係数を用いて、前記参照画像または前記動き補償後の画像に対してフィルタ処理を行うフィルタ処理ステップと、
    前記符号化対象の画像と、フィルタ処理後の参照画像または前記参照画像とを用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像または前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像または前記参照画像に対して動き補償を行う動き補償ステップと、
    前記動き補償が行われた前記フィルタ処理後の参照画像または前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する符号化ステップと、
    前記符号化後の画像と前記フィルタ係数を送信する送信ステップと
    を含む画像処理方法。
15. 符号化対象の画像と参照画像または動き補償後の参照画像とに基づいて、前記参照画像または前記動き補償後の参照画像を前記符号化対象の画像に近づけるフィルタのフィルタ係数を算出するフィルタ係数算出手段と、
    前記フィルタ係数算出手段により算出された前記フィルタ係数を用いて、前記参照画像または前記動き補償後の参照画像に対してフィルタ処理を行うフィルタ処理手段と、
    前記符号化対象の画像と、フィルタ処理後の参照画像または前記参照画像とを用いて、前記符号化対象の画像と前記フィルタ処理後の参照画像または前記参照画像との間の動きベクトルを検出し、前記動きベクトルに基づいて、前記フィルタ処理後の参照画像または前記参照画像に対して動き補償を行う動き補償手段と、
    前記動き補償が行われた前記フィルタ処理後の参照画像または前記フィルタ処理が行われた前記動き補償後の参照画像と、前記符号化対象の画像との差分を用いて、前記符号化後の画像を生成する符号化手段と、
    前記符号化後の画像と前記フィルタ係数を送信する送信手段と
    を備える画像処理装置として、コンピュータを機能させるためのプログラム。

Images