JPWO2010101064A1 - 画像処理装置および方法 - Google Patents

Abstract

本発明は、圧縮情報の増大を抑制し、かつ、予測精度を向上することができるようにする画像処理装置および方法に関する。精度フラグ生成部９３は、対象動きベクトル精度判別部９１からの対象ブロックの動きベクトル情報の精度パラメータと隣接動きベクトル精度判別部９２からの隣接ブロックの動きベクトル情報の精度パラメータを比較し、対象ブロックの動きベクトル情報の精度と、隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成する。この精度フラグは、予測画像選択部７７により最適インター予測モードの予測画像が選択された場合、動きベクトル情報mvdEなどとともに可逆符号化部６６に出力され、符号化される。本発明は、例えば、H．264/AVC方式で符号化する画像符号化装置に適用することができる。

Description

本発明は画像処理装置および方法に関し、特に、圧縮情報の増大を抑制するとともに、予測精度を向上するようにした画像処理装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。

さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。

ところで、MPEG2方式においては、線形内挿処理により１／２画素精度の動き予測・補償処理が行われている。これに対して、H．264/AVC方式においては、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。

また、MPEG2方式においては、フレーム動き補償モードの場合には、１６×１６画素を単位として動き予測・補償処理が行われている。フィールド動き補償モードの場合には、第１フィールドと第２フィールドのそれぞれに対し、１６×８画素を単位として動き予測・補償処理が行われている。

これに対して、H．264/AVC方式においては、ブロックサイズを可変にして、動き予測・補償を行うことができる。すなわち、H．264/AVC方式においては、１６×１６画素で構成される１つのマクロブロックを、１６×１６、１６×８、８×１６、あるいは８×８のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８パーティションに関しては、８×８、８×４、４×８、あるいは４×４のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。

しかしながら、H．264/AVC方式においては、上述した１／４画素精度、およびブロック可変の動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成されてしまい、これをこのまま符号化してしまうと、符号化効率の低下を招いていた。

そこで、これから符号化されようとしている対象ブロックの予測動きベクトル情報を、既に符号化済の、隣接するブロックの動きベクトル情報を用いてメディアンオペレーションにより生成する方法などにより、符号化効率の低下を抑えることが提案されている。

ところで、近年、H．264/AVC方式の効率をさらに向上させようという検討が行われている。このための符号化方式の１つとして、非特許文献１においては、１／８画素精度の動き予測が提案されている。

すなわち、非特許文献１において、１／２画素精度の補間処理はフィルタ[-3,12,-39,158,158,-39,12,-3]/256により行われる。また、１／４画素精度の補間処理はフィルタ[-3,12,-37,229,71,-21,6,-1]/256により行われ、１／８画素精度の補間処理は線形補間により行われる。

このように、より高い画素精度の補間処理を用いた動き予測を行うことにより、特に、解像度が高いテクスチャを持ち、比較的ゆっくりした動きのシーケンスにおいては、予測精度を向上させ、符号化効率の向上を実現することができる。

"Motion compensated prediction with 1/8-pel displacement vector resolution",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 23-27 Oct 2006

ここで、復号側に送信される圧縮画像情報中における動きベクトル情報について考える。整数画素精度において、値が”1”である動きベクトル情報は、1/4画素精度の動き予測を行う場合、圧縮画像情報中における処理上の値は”4”となるが、1/8画素精度の動き予測を行う場合、圧縮画像情報中における処理上の値は”8”となる。

すなわち、1/8画素精度の動き予測を行う場合の方が、1/4画素精度の動き予測を行う場合よりも、より多くの符号量を動きベクトル情報に割り当てる必要がある。この増大分が、動き予測効率の向上を上回る場合には、1/8画素精度の動き予測を行った場合、効率が逆に低下してしまうこともあり得る。

本発明は、このような状況に鑑みてなされたものであり、圧縮情報の増大を抑制するとともに、予測精度を向上するものである。

本発明の第１の側面の画像処理装置は、対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成する精度フラグ生成手段と、前記対象ブロックの動きベクトル情報と、前記精度フラグ生成手段により生成された前記精度フラグを符号化する符号化手段とを備える。

前記精度フラグ生成手段により生成された前記精度フラグが、前記対象ブロックの動きベクトル情報の精度と、前記隣接ブロックの動きベクトル情報の精度とが異なることを示す場合、前記隣接ブロックの動きベクトル情報の精度を、前記対象ブロックの動きベクトル情報の精度に換算してメディアン予測を行い、予測動きベクトル情報を生成する予測動きベクトル生成手段をさらに備え、前記符号化手段は、前記対象ブロックの動きベクトル情報として、前記対象ブロックの動きベクトル情報と前記予測動きベクトル情報との差分を符号化することができる。

前記精度フラグ生成手段および前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックの左部に隣接するブロックを用いることができる。

前記精度フラグ生成手段および前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックに隣接するとともに、直前に符号化処理が施されたブロックを用いることができる。

前記精度フラグ生成手段および前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロック隣接するとともに、メディアン予測により選択された動きベクトル情報を与えるブロックを用いることができる。

本発明の第１の側面の画像処理方法は、画像処理装置が、対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成し、前記対象ブロックの動きベクトル情報と、生成された前記精度フラグを符号化するステップを含む。

本発明の第２の側面の画像処理装置は、符号化された対象ブロックの動きベクトル情報と、前記対象ブロックの動きベクトル情報の精度、および前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを復号する復号手段と、前記復号手段により復号された前記精度フラグを用いて、前記復号手段により復号された前記対象ブロックの動きベクトル情報を再構成する動きベクトル再構成手段と、前記動きベクトル再構成手段により再構成された前記対象ブロックの動きベクトル情報を用いて、前記対象ブロックの予測画像を生成する予測画像生成手段とを備える。

前記復号手段により復号された前記精度フラグが、前記対象ブロックの動きベクトル情報の精度と、前記隣接ブロックの動きベクトル情報の精度とが異なることを示す場合、前記隣接ブロックの動きベクトル情報の精度を、前記対象ブロックの動きベクトル情報の精度に換算してメディアン予測を行い、予測動きベクトル情報を生成する予測動きベクトル生成手段をさらに備え、前記動きベクトル再構成手段は、前記復号手段により復号された前記精度フラグと、前記予測動きベクトル生成手段により生成された前記予測動きベクトル情報を用いて、前記復号手段により復号された前記対象ブロックの動きベクトル情報を再構成することができる。

前記動きベクトル再構成手段と前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックの左部に隣接するブロックを用いることができる。

前記動きベクトル再構成手段と前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックに隣接するとともに、直前に符号化処理が施されたブロックを用いることができる。

前記動きベクトル再構成手段と前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロック隣接するとともに、メディアン予測により選択された動きベクトル情報を与えるブロックを用いることができる。

本発明の第２の側面の画像処理方法は、画像処理装置が、符号化された対象ブロックの動きベクトル情報、および前記対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを復号し、復号された前記精度フラグを用いて、復号された前記対象ブロックの動きベクトル情報を再構成し、再構成された前記対象ブロックの動きベクトル情報を用いて、前記対象ブロックの予測画像を生成するステップを含む。

本発明の第１の側面においては、対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグが生成され、前記対象ブロックの動きベクトル情報とともに、生成された前記精度フラグが符号化される。

本発明の第２の側面においては、符号化された対象ブロックの動きベクトル情報、および前記対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグが復号される。そして、復号された前記精度フラグを用いて、復号された前記対象ブロックの動きベクトル情報が再構成され、再構成された前記対象ブロックの動きベクトル情報を用いて、前記対象ブロックの予測画像が生成される。

なお、上述の画像処理装置のそれぞれは、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。

本発明の第１の側面によれば、画像を符号化することができる。また、本発明の第１の側面によれば、圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

本発明の第２の側面によれば、画像を復号することができる。また、本発明の第２の側面によれば、圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 可変ブロックサイズ動き予測・補償処理を説明する図である。 １／４画素精度の動き予測・補償処理を説明する図である。 マルチ参照フレームの動き予測・補償方式について説明する図である。 動きベクトル情報の生成方法の例を説明する図である。 時間ダイレクトモードについて説明する図である。 図１の動き予測・補償部および動きベクトル精度判定部の構成例を示すブロック図である。 図１の画像符号化装置の符号化処理を説明するフローチャートである。 図８のステップＳ２１の予測処理を説明するフローチャートである。 図９のステップＳ３１のイントラ予測処理を説明するフローチャートである。 図９のステップＳ３２のインター動き予測処理を説明するフローチャートである。 図１１のステップＳ５３の動きベクトル精度判定処理を説明するフローチャートである。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図１３の動き予測・補償部および動きベクトル精度判定部の構成例を示すブロック図である。 図１３の画像復号装置の復号処理を説明するフローチャートである。 図１５のステップＳ１３８の予測処理を説明するフローチャートである。 拡張されたブロックサイズの例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。

以下、図を参照して本発明の実施の形態について説明する。

［画像符号化装置の構成例］
図１は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

この画像符号化装置５１は、例えば、H．264及びMPEG-4 Part10（Advanced Video Coding）（以下H．264/AVCと記す）方式で画像を圧縮符号化する。

図１の例において、画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、動きベクトル精度判定部７６、予測画像選択部７７、およびレート制御部７８により構成されている。

Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。

演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７７により選択されたイントラ予測部７４からの予測画像または動き予測・補償部７５からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。

量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。

可逆符号化部６６は、イントラ予測を示す情報をイントラ予測部７４から取得し、インター予測モードを示す情報などを動き予測・補償部７５から取得する。なお、イントラ予測を示す情報およびインター予測を示す情報は、以下、それぞれ、イントラ予測モード情報およびインター予測モード情報とも称する。

可逆符号化部６６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部６６は、符号化したデータを蓄積バッファ６７に供給して蓄積させる。

例えば、可逆符号化部６６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ６７は、可逆符号化部６６から供給されたデータを、H．264/AVC方式で符号化された圧縮画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部７７から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。

スイッチ７３はフレームメモリ７２に蓄積された参照画像を動き予測・補償部７５またはイントラ予測部７４に出力する。

この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部７５に供給される。

イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とフレームメモリ７２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。

その際、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。

イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。イントラ予測部７４は、予測画像選択部７７により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。

動き予測・補償部７５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。すなわち、動き予測・補償部７５には、画面並べ替えバッファ６２から読み出されたインター処理する画像と、スイッチ７３を介してフレームメモリ７２から参照画像が供給される。動き予測・補償部７５は、インター処理する画像と参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出し、動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。

なお、動き予測・補償部７５は、図３を参照して後述するH．264/AVC方式において定められている１／４画素精度の動き予測補償処理ではなく、上述した非特許文献１に記載の１／８画素精度の動き予測補償処理を行う。

動き予測・補償部７５により求められた対象ブロックの動きベクトル情報と、対象ブロックに隣接する隣接ブロックの動きベクトル情報は、動きベクトル精度判定部７６に供給される。これに対応して、動き予測・補償部７５には、動きベクトル精度判定部７６から、対象ブロックの動きベクトル情報の精度と隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグが供給される。

動き予測・補償部７５は、その精度フラグを基に、隣接ブロックの動きベクトル情報を用いて、対象ブロックの予測動きベクトル情報を算出し、求められた動きベクトル情報と生成した予測動きベクトル情報との差分を、復号側に送る動きベクトル情報とする。

また、動き予測・補償部７５は、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７５は、算出したコスト関数値のうち、最小値を与える予測モードを、最適インター予測モードとして決定する。

動き予測・補償部７５は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。動き予測・補償部７５は、予測画像選択部７７により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードを示す情報（インター予測モード情報）を可逆符号化部６６に出力する。

このとき、動きベクトル情報、精度フラグ、参照フレーム情報なども可逆符号化部６６に出力される。可逆符号化部６６は、動き予測・補償部７５からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。

動きベクトル精度判定部７６には、動き予測・補償部７５からの対象ブロックの動きベクトル情報と隣接ブロックの動きベクトル情報が供給される。動きベクトル精度判定部７６は、対象ブロックの動きベクトル情報の精度と、隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成し、生成した精度フラグを、動き予測・補償部７５に供給する。

予測画像選択部７７は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７７は、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７７は、予測画像の選択情報を、イントラ予測部７４または動き予測・補償部７５に供給する。

レート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

［H．264/AVC方式の説明］
図２は、H．264/AVC方式における動き予測・補償のブロックサイズの例を示す図である。H．264/AVC方式においては、ブロックサイズを可変にして、動き予測・補償が行われる。

図２の上段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションに分割された１６×１６画素で構成されるマクロブロックが順に示されている。また、図２の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のサブパーティションに分割された８×８画素のパーティションが順に示されている。

すなわち、H．264/AVC方式においては、１つのマクロブロックを、１６×１６画素、１６×８画素、８×１６画素、あるいは８×８画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８画素のパーティションに関しては、８×８画素、８×４画素、４×８画素、あるいは４×４画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。

図３は、H．264/AVC方式における１／４画素精度の予測・補償処理を説明する図である。H．264/AVC方式においては、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。

図３の例において、位置Ａは、整数精度画素の位置、位置ｂ，ｃ，ｄは、１／２画素精度の位置、位置ｅ１，ｅ２，ｅ３は、１／４画素精度の位置を示している。まず、以下においては、Clip()を次の式（１）のように定義する。

なお、入力画像が８ビット精度である場合、max_pixの値は255となる。

位置ｂおよびｄにおける画素値は、６タップのFIRフィルタを用いて、次の式（２）のように生成される。

位置ｃにおける画素値は、水平方向および垂直方向に６タップのFIRフィルタを適用し、次の式（３）のように生成される。

なお、Clip処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に１度のみ実行される。

位置ｅ１乃至ｅ３は、次の式（４）のように線形内挿により生成される。

なお、図１の動き予測・補償部７５においては、１／４画素精度の動き予測補償処理に代えて、上述した非特許文献１に記載の１／８画素精度の動き予測補償処理が行われる。

すなわち、動き予測・補償部７５においては、１／２画素精度の補間処理がフィルタ[-3,12,-39,158,158,-39,12,-3]/256を用いて行われる。また、１／４画素精度の補間処理がフィルタ[-3,12,-37,229,71,-21,6,-1]/256を用いて行われ、１／８画素精度の補間処理が線形補間により行われる。

図４は、H．264/AVC方式におけるマルチ参照フレームの予測・補償処理を説明する図である。H．264/AVC方式においては、マルチ参照フレーム(Multi-Reference Frame) の動き予測・補償方式が定められている。

図４の例においては、いまから符号化される対象フレームＦnと、符号化済みのフレームＦn-5,…,Ｆn-1が示されている。フレームＦn-1は、時間軸上、対象フレームＦnの１つ前のフレームであり、フレームＦn-2は、対象フレームＦnの２つ前のフレームであり、フレームＦn-3は、対象フレームＦnの３つ前のフレームである。また、フレームＦn-4は、対象フレームＦnの４つ前のフレームであり、フレームＦn-5は、対象フレームＦnの５つ前のフレームである。一般的には、対象フレームＦnに対して時間軸上に近いフレームほど、小さい参照ピクチャ番号（ref_id）が付加される。すなわち、フレームＦn-1が一番参照ピクチャ番号が小さく、以降、Fn-2,…, Ｆn-5の順に参照ピクチャ番号が小さい。

対象フレームＦnには、ブロックＡ1とブロックＡ2が示されており、ブロックＡ1は、２つ前のフレームＦn-2のブロックＡ1’と相関があるとされて、動きベクトルＶ1が探索されている。また、ブロックＡ2は、４つ前のフレームＦn-4のブロックＡ1’と相関があるとされて、動きベクトルＶ2が探索されている。

以上のように、H．264/AVC方式においては、複数の参照フレームをメモリに格納しておき、１枚のフレーム（ピクチャ）において、異なる参照フレームを参照することが可能である。すなわち、例えば、ブロックＡ1がフレームＦn-2を参照し、ブロックＡ2がフレームＦn-4を参照しているというように、１枚のピクチャにおいて、ブロック毎にそれぞれ独立した参照フレーム情報（参照ピクチャ番号（ref_id））を持つことができる。

ここで、ブロックとは、図２を参照して上述した１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションのいずれかを示す。８×８サブブロック内における参照フレームは同一でなければならない。

H．264/AVC方式においては、図２乃至図４を参照して上述した動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成され、これをこのまま符号化することは、符号化効率の低下を招いてしまう。これに対して、H．264/AVC方式においては、図５に示す方法により、動きベクトルの符号化情報の低減が実現されている。

図５は、H．264/AVC方式による動きベクトル情報の生成方法について説明する図である。

図５の例において、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。

すなわち、ブロックＤは、対象ブロックＥの左上に隣接しており、ブロックＢは、対象ブロックＥの上に隣接しており、ブロックＣは、対象ブロックＥの右上に隣接しており、ブロックＡは、対象ブロックＥの左に隣接している。なお、ブロックＡ乃至Ｄが区切られていないのは、それぞれ、図２で上述した１６×１６画素乃至４×４画素のうちのいずれかの構成のブロックであることを表している。

例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報を、mv_Xで表す。まず、対象ブロックＥに対する予測動きベクトル情報pmv_Eは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により次の式（５）のように生成される。

pmv_E = med(mv_A,mv_B,mv_C) ・・・（５）
ブロックＣに関する動きベクトル情報が、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により、利用可能でない（unavailableである）場合がある。この場合には、ブロックＣに関する動きベクトル情報は、ブロックＤに関する動きベクトル情報で代用される。

対象ブロックＥに対する動きベクトル情報として、圧縮画像のヘッダ部に付加されるデータmvd_Eは、pmv_Eを用いて、次の式（６）のように生成される。

mvd_E = mv_E - pmv_E ・・・（６）

なお、実際には、動きベクトル情報の水平方向、垂直方向のそれぞれの成分に対して、独立に処理が行われる。

以下、このデータmvd_Eを、動き予測で求められた動きベクトル情報と区別するために、適宜、差分動きベクトル情報とも称する。

このように、予測動きベクトル情報を生成し、隣接するブロックとの相関で生成された予測動きベクトル情報と動きベクトル情報との差分である差分動きベクトル情報を、圧縮画像のヘッダ部に付加することにより、動きベクトル情報を低減することができる。

ところで、Ｂピクチャについての動きベクトル情報における情報量は膨大であるが、H．264/AVC方式においては、ダイレクトモードと呼ばれるモードが用意されている。ダイレクトモードにおいては、動きベクトル情報は、圧縮画像中には格納されない。

すなわち、復号側においては、対象ブロックの周辺の動きベクトル情報、または参照ピクチャにおいて、対象ブロックと座標が同じブロックであるco-locatedブロックの動きベクトル情報から、対象ブロックの動きベクトル情報が抽出される。したがって、動きベクトル情報を復号側に送る必要がない。

このダイレクトモードには、空間ダイレクトモード（Spatial Direct Mode）と、時間ダイレクトモード（Temporal Direct Mode）の２種類が存在する。空間ダイレクトモードは、主として空間方向（ピクチャ内の水平、垂直の２次元空間）の動き情報の相関を利用するモードであり、一般的に、同じような動きが含まれる画像で、動きの速度が変化する画像で効果がある。一方、時間ダイレクトモードは、主として時間方向の動き情報の相関を利用するモードであり、一般的に、異なる動きが含まれる画像で、動きの速度が一定の画像で効果がある。

これらの空間ダイレクトモードと時間ダイレクトモードのうち、どちらを用いるかは、スライス毎に切り替えることができる。

再び、図５を参照して、H．264/AVC方式による空間ダイレクトモードについて説明する。図５の例においては、上述したように、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。そして、例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報は、mv_Xで表わされる。

対象ブロックＥに対する予測動きベクトル情報pmv_Eは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により上述した式（５）のように生成される。そして、空間ダイレクトモードにおける対象ブロックＥに対する動きベクトル情報mv_Eは、次の式（７）で表される。

mv_E = pmv_E ・・・（７）

すなわち、空間ダイレクトモードにおいては、メディアン予測により生成された予測動きベクトル情報が、対象ブロックの動きベクトル情報とされる。すなわち、対象ブロックの動きベクトル情報は、符号化済みブロックの動きベクトル情報で生成される。したがって、空間ダイレクトモードによる動きベクトルは、復号側でも生成することができるので、動きベクトル情報を送る必要がない。

次に、図６を参照して、H．264/AVC方式における時間ダイレクトモードについて説明する。

図６の例においては、時間軸tが時間の経過を表しており、左から順に、Ｌ０(List0)参照ピクチャ、いまから符号化される対象ピクチャ、Ｌ１(List1)参照ピクチャが示されている。なお、Ｌ０参照ピクチャ、対象ピクチャ、Ｌ１参照ピクチャの並びは、H．264/AVC方式においては、この順に限らない。

対象ピクチャの対象ブロックは、例えば、Ｂスライスに含まれている。したがって、対象ピクチャの対象ブロックについては、Ｌ０参照ピクチャとＬ１参照ピクチャに対して、時間ダイレクトモードに基づくＬ０動きベクトル情報mv_L0とＬ１動きベクトル情報mv_L1が算出される。

また、Ｌ０参照ピクチャにおいて、いまから符号化される対象ブロックと同じ空間上のアドレス（座標）にあるブロックであるco-locatedブロックにおける動きベクトル情報mv_colは、Ｌ０参照ピクチャとＬ１参照ピクチャに基づいて算出されている。

ここで、対象ピクチャとＬ０参照ピクチャの時間軸上の距離をTD_Bとし、Ｌ０参照ピクチャとＬ１参照ピクチャの時間軸上の距離をTD_Dとする。この場合、対象ピクチャにおけるＬ０動きベクトル情報mv_L0と、対象ピクチャにおけるＬ１動きベクトル情報mv_L1は、次の式（８）で算出することができる。

なお、H．264/AVC方式においては、圧縮画像中には、対象ピクチャに対する時間軸t上の距離TD_B、TD_Dに相当する情報が存在しない。したがって、距離TD_B、TD_Dの実際の値としては、ピクチャの出力順序を示す情報であるPOC(Picture Order Count)が用いられる。

また、H．264/AVC方式においては、同様に動きベクトル情報を送る必要がないモードとして、他に、スキップモードがある。動きベクトルに関する符号化データが０の場合（H．264/AVC方式の場合、上述した式（７）が成り立つ場合）で、かつ、DCT係数が全て０のとき、その対象ブロックは、スキップモードとなる。また、Ｂピクチャの場合には、ダイレクトモードで、かつ、DCT係数が０のとき、その対象ブロックは、スキップモードとなる。

［動き予測・補償部および動きベクトル精度判定部の構成例］
図７は、動き予測・補償部および動きベクトル精度判定部の詳細な構成例を示すブロック図である。なお、各詳細については、適宜、上述した図５の対象ブロックＥおよび隣接ブロックＡ乃至Ｄを用いて説明する。

図７の例においては、動き予測・補償部７５は、整数画素精度動き予測・補償部８１、小数画素精度動き予測・補償部８２、動きベクトル情報蓄積バッファ８３、予測動きベクトル算出部８４、動きベクトル情報符号化部８５、およびモード判定部８６により構成される。

動きベクトル精度判定部７６は、対象動きベクトル精度判別部９１、隣接動きベクトル精度判別部９２、および精度フラグ生成部９３により構成される。

整数画素精度動き予測・補償部８１には、画面並べ替えバッファ６２から読み出されたインター処理する原画像と、スイッチ７３を介してフレームメモリ７２から参照画像が供給される。整数画素精度動き予測・補償部８１は、候補となる全てのインター予測モードについて、対象ブロックＥの整数画素精度の動き予測・補償処理を行う。このとき、求められた対象ブロックＥの整数画素精度の動きベクトル情報は、インターする画像および参照画像とともに、小数画素精度動き予測・補償部８２に供給される。

小数画素精度動き予測・補償部８２は、インターする画像および参照画像を用い、整数画素精度の動きベクトル情報を基に、対象ブロックＥの小数画素精度の動き予測・補償処理を行う。ここでは、上述したように、１／８画素精度の動き予測・補償処理が行われる。このとき、求められた動きベクトル情報mv_Eは、動きベクトル情報蓄積バッファ８３に蓄積されるとともに、動きベクトル情報符号化部８５および対象動きベクトル精度判別部９１に供給される。また、小数画素精度の補償処理により、求められた予測画像は、原画像および参照フレーム情報とともに、モード判定部８６に供給される。

動きベクトル情報蓄積バッファ８３は、小数画素精度動き予測・補償部８２により求められた動きベクトル情報mv_X（Ｘ＝Ａ，Ｂ，Ｃ，Ｄ,Ｅ）を蓄積している。

予測動きベクトル算出部８４は、動きベクトル情報蓄積バッファ８３より対象ブロックに隣接する隣接ブロックの動きベクトル情報mv_A,mv_B,mv_Cを読み出す。予測動きベクトル算出部８４は、読みだした動きベクトル情報を用いて、上述した式（５）のメディアン予測により、対象ブロックＥの予測動きベクトル情報pmv_Eを算出する。このとき、予測動きベクトル算出部８４には、精度フラグ生成部９３により生成された精度フラグ（horizontal_mv_precision_change_flag,vertical_mv_precision_change_flag）が供給される。

この精度フラグが、対象ブロックＥの動きベクトル情報の精度と、予測動きベクトル情報生成に用いる隣接ブロックの動きベクトル情報の精度とが異なることを示す場合、予測動きベクトル算出部８４は、次のように処理を行う。すなわち、この場合、予測動きベクトル算出部８４は、隣接ブロックの動きベクトル情報の精度を、対象ブロックＥの動きベクトル情報の精度に換算して（合わせて）、対象ブロックＥの予測動きベクトル情報pmv_Eを算出する。

予測動きベクトル算出部８４により生成された対象ブロックＥの予測動きベクトル情報pmv_Eは、動きベクトル情報符号化部８５に供給される。

動きベクトル情報符号化部８５には、小数画素精度動き予測・補償部８２から対象ブロックＥの動きベクトル情報mv_Eが供給され、予測動きベクトル算出部８４から対象ブロックＥの予測動きベクトル情報pmv_Eが供給される。さらに、動きベクトル情報符号化部８５には、精度フラグ生成部９３から精度フラグが供給される。

動きベクトル情報符号化部８５は、対象ブロックＥの動きベクトル情報mv_Eと対象ブロックＥの予測動きベクトル情報pmv_Eを用いて、上述した式（６）により、圧縮画像のヘッダ部に付加するための対象ブロックＥの差分動きベクトル情報mvd_Eを求める。動きベクトル情報符号化部８５は、求めた対象ブロックＥの差分動きベクトル情報mvd_Eを、精度フラグとともに、モード判定部８６に供給する。

モード判定部８６には、小数画素精度動き予測・補償部８２からの予測画像、原画像、および参照フレーム情報、並びに動きベクトル情報符号化部８５からの差分動きベクトル情報mvd_Eおよび精度フラグなどが供給される。モード判定部８６は、供給された情報を適宜用いて、候補となる全てのインター予測モードについてのコスト関数値を算出する。モード判定部８６は、コスト関数値が最小値を与える予測モードを、最適インター予測モードとして決定し、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。

予測画像選択部７７により最適インター予測モードの予測画像が選択された場合、モード判定部８６は、最適インター予測モードを示す情報と、差分動きベクトル情報mvd_E、精度フラグ、参照フレーム情報などを可逆符号化部６６に出力する。

対象動きベクトル精度判別部９１は、小数画素精度動き予測・補償部８２からの対象ブロックの動きベクトル情報mv_Eの精度を判別する。そして、対象動きベクトル精度判別部９１は、対象ブロックの動きベクトル情報に対する水平成分と垂直成分に関する精度パラメータ（curr_horizontal_mv_precision_param, curr_vertical_mv_precision_param）を決定する。決定された対象ブロックの動きベクトル情報の精度パラメータは、精度フラグ生成部９３に供給される。

例えば、対象ブロックＥの動きベクトル情報mv_Eが１／４画素精度までの情報しか持たない場合、対象ブロックＥの水平成分の精度パラメータと垂直成分の精度パラメータの値は０とされる。対象ブロックＥの動きベクトル情報mv_Eが１／８画素精度までの情報を持つ場合、対象ブロックＥの水平成分の精度パラメータと垂直成分の精度パラメータの値は１とされる。

隣接動きベクトル精度判別部９２は、動きベクトル情報蓄積バッファ８３の隣接ブロックの動きベクトル情報を読み出し、隣接ブロックの動きベクトル情報の精度を判別する。そして、隣接動きベクトル精度判別部９２は、隣接ブロックの動きベクトル情報に対する水平成分と垂直成分に関する精度パラメータ（pred_horizontal_mv_precision_param, pred_vertical_mv_precision_param）を決定する。決定された隣接ブロックの動きベクトル情報の精度パラメータは、精度フラグ生成部９３に供給される。

例えば、隣接ブロックの動きベクトル情報が１／４画素精度までの情報しか持たない場合、隣接ブロックの水平成分の精度パラメータと垂直成分の精度パラメータの値は０とされる。隣接ブロックの動きベクトル情報が１／８画素精度までの情報を持つ場合、隣接ブロックの水平成分の精度パラメータと垂直成分の精度パラメータの値は１とされる。

ここで、隣接ブロックとは、対象ブロックＥの動きベクトル情報mv_Eに対して、予測値（予測動きベクトル情報）pmv_Eを与える可能性のあるブロックであり、例えば、図５のブロックＡ，Ｂ，Ｃ, Ｄのいずれかのブロックである。具体的には、以下のいずれかの方法により定義される。

第１の方法は、対象ブロックＥの左部に隣接するブロックＡを隣接ブロックとして用いる方法である。

第２の方法は、直前に復号処理が施されたブロックを隣接ブロックとして用いる方法である。

第３の方法は、上述した式（５）のメディアン予測により選択された予測値を与えるブロックを隣接ブロックとして用いる方法である。すなわち、この場合、メディアン予測により予測値とされた動きベクトルの精度が用いられる。

なお、上述した第１の方法および第２の方法において、pred_horizontal_mv_precision_param, pred_vertical_mv_precision_paramを与えるブロックがイントラ符号化されたものである場合には、その動きベクトル情報の値を０として処理が行われる。また、第３の方法の場合、H．264/AVC方式で定められているメディアン予測に基づく処理が行われる。

精度フラグ生成部９３には、対象動きベクトル精度判別部９１からの対象ブロックＥの動きベクトル情報の精度パラメータと隣接動きベクトル精度判別部９２からの隣接ブロックの動きベクトル情報の精度パラメータが供給される。精度フラグ生成部９３は、両者の精度パラメータを比較し、対象ブロックＥの動きベクトル情報の精度と、隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成する。

すなわち、対象ブロックＥの水平成分の精度パラメータと隣接ブロックの水平成分の精度パラメータが同じ値であるなら、対象ブロックＥの水平成分の精度フラグ（horizontal_mv_precision_change_flag）の値は、０とされる。対象ブロックＥの水平成分の精度パラメータと隣接ブロックの水平成分の精度パラメータが異なる値であるなら、対象ブロックＥの水平成分の精度フラグ（horizontal_mv_precision_change_flag）の値は、１とされる。

また、対象ブロックＥの垂直成分の精度パラメータと隣接ブロックの垂直成分の精度パラメータが同じ値であるなら、対象ブロックＥの垂直成分の精度フラグ（vertical_mv_precision_change_flag）の値は、０とされる。対象ブロックＥの垂直成分の精度パラメータと隣接ブロックの垂直成分の精度パラメータが異なる値であるなら、対象ブロックＥの垂直成分の精度フラグ（vertical_mv_precision_change_flag）の値は、１とされる。

すなわち、対象ブロックＥの動きベクトル情報の精度と隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグは、対象ブロックＥの動きベクトル情報の精度が、隣接ブロックの動きベクトル情報の精度から変わったか否かを示すものである。

生成された対象ブロックの水平成分および垂直成分の精度フラグは、予測動きベクトル算出部８４および動きベクトル情報符号化部８５に供給される。

［画像符号化装置の符号化処理の説明］
次に、図８のフローチャートを参照して、図１の画像符号化装置５１の符号化処理について説明する。

ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７５から、イントラ予測する場合はイントラ予測部７４から、それぞれ予測画像選択部７７を介して演算部６３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２５の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。

ステップＳ１８において、演算部７０は、予測画像選択部７７を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。

ステップＳ２１において、イントラ予測部７４および動き予測・補償部７５は、それぞれ画像の予測処理を行う。すなわち、ステップＳ２１において、イントラ予測部７４は、イントラ予測モードのイントラ予測処理を行う。動き予測・補償部７５は、１／８画素精度でのインター予測モードの動き予測・補償処理を行う。

このとき、動きベクトル精度判定部７６は、動き予測・補償部７５により求められた対象ブロックの動きベクトル情報の精度と、対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成する。動き予測・補償部７５は、その精度フラグを基に、隣接ブロックの動きベクトル情報を用いて、対象ブロックの予測動きベクトル情報を算出し、求めた動きベクトル情報と算出した予測動きベクトル情報との差分を、復号側に送る差分動きベクトル情報とする。

この精度フラグと差分動きベクトル情報は、ステップＳ２２において、最適インター予測モードの予測画像が選択された場合に、最適インター予測モードを示す情報や参照フレーム情報とともに、可逆符号化部６６に供給される。

ステップＳ２１における予測処理の詳細は、図９を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでの予測処理がそれぞれ行われ、候補となる全てのイントラ予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。

また、この処理により、候補となる全てのインター予測モードでの予測処理がそれぞれ行われ、候補となる全てのインター予測モードでのコスト関数値がそれぞれ算出される。算出されたコスト関数値に基づいて、インター予測モードの中から、最適インター予測モードが決定され、最適インター予測モードで生成された予測画像とそのコスト関数値が、予測画像選択部７７に供給される。

ステップＳ２２において、予測画像選択部７７は、イントラ予測部７４および動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部７７は、決定した最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。

なお、この予測画像の選択情報は、イントラ予測部７４または動き予測・補償部７５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部６６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部７５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部６６に出力する。最適インター予測モードに応じた情報としては、差分動きベクトル情報や精度フラグ、参照フレーム情報などがあげられる。

ステップＳ２３において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２２において可逆符号化部６６に入力された、イントラ予測部７４からのイントラ予測モード情報、または、動き予測・補償部７５からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。

ステップＳ２４において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ２５においてレート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

［予測処理の説明］
次に、図９のフローチャートを参照して、図８のステップＳ２１における予測処理を説明する。

画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。これらの画像に基づいて、ステップＳ３１において、イントラ予測部７４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。

ステップＳ３１におけるイントラ予測処理の詳細は、図１０を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。

画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３を介して動き予測・補償部７５に供給される。これらの画像に基づいて、ステップＳ３２において、動き予測・補償部７５はインター動き予測処理を行う。すなわち、動き予測・補償部７５は、フレームメモリ７２から供給される画像を参照して、候補となる全てのインター予測モードの動き予測処理を行う。

なお、このとき、動きベクトル精度判定部７６は、動き予測・補償部７５により求められた対象ブロックの動きベクトル情報の精度と、対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成する。動き予測・補償部７５は、その精度フラグを基に、隣接ブロックの動きベクトル情報を用いて、対象ブロックの予測動きベクトル情報を生成し、求めた動きベクトル情報と生成した予測動きベクトル情報との差分を、復号側に送る差分動きベクトル情報とする。

この精度フラグと差分動きベクトル情報は、図８のステップＳ２２において、最適インター予測モードの予測画像が選択された場合に、最適インター予測モードを示す情報や参照フレーム情報とともに、可逆符号化部６６に供給される。

ステップＳ３２におけるインター動き予測処理の詳細は、図１１を参照して後述するが、この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。

ステップＳ３４において、動き予測・補償部７５のモード判定部８６は、ステップＳ３２において算出されたインター予測モードに対してのコスト関数値を比較する。モード判定部８６は、最小値を与える予測モードを、最適インター予測モードとして決定し、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。

［イントラ予測処理の説明］
次に、図１０のフローチャートを参照して、図９のステップＳ３１におけるイントラ予測処理を説明する。なお、図１０の例においては、輝度信号の場合を例として説明する。

イントラ予測部７４は、ステップＳ４１において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。

輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。

具体的には、イントラ予測部７４は、処理対象のブロックの画素を、フレームメモリ７２から読み出され、スイッチ７３を介して供給される復号済みの画像を参照して、イントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。

イントラ予測部７４は、ステップＳ４２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値としては、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。これらのモードは、H．264/AVC方式における参照ソフトウエアであるＪＭ(Joint Model)で定められている。

すなわち、High Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、仮に符号化処理までが行われる。そして、次の式（９）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。

Cost(Mode) = D + λ・R ・・・（９）

Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、Low Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報、フラグ情報などのヘッダビットまでが算出される。そして、次の式（１０）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。

Cost(Mode) = D + QPtoQuant(QP)・Header_Bit ・・・（１０）
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するのみで、符号化処理および復号処理を行う必要がないため、演算量が少なくて済む。

イントラ予測部７４は、ステップＳ４３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ４２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。

イントラ予測部７４は、ステップＳ４４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ４２において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部７７に供給する。

［インター動き予測処理の説明］
次に、図１１のフローチャートを参照して、図９のステップＳ３２のインター動き予測処理について説明する。

動き予測・補償部７５は、ステップＳ５１において、図２を参照して上述した１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、各インター予測モードの処理対象のブロックについて、動きベクトルと参照画像がそれぞれ決定される。

動き予測・補償部７５は、ステップＳ５２において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードについて、ステップＳ５１で決定された動きベクトルに基づいて、参照画像に動き予測と補償処理を行う。この動き予測と補償処理により、各インター予測モードでの予測画像が生成される。

具体的には、上述したステップＳ５１およびＳ５２の処理は、整数画素精度動き予測・補償部８１により、各インター予測モードの対象ブロックに対して、整数画素精度で行われ、小数画素精度動き予測・補償部８２により、１／８画素精度で行われる。

まず、整数画素精度動き予測・補償部８１は、候補となる全てのインター予測モードについて、対象ブロックの整数画素精度の動き予測・補償処理を行う。このとき、求められた対象ブロックの整数画素精度の動きベクトル情報は、インターする画像および参照画像とともに、小数画素精度動き予測・補償部８２に供給される。これに対応して、小数画素精度動き予測・補償部８２は、インターする画像および参照画像を用い、整数画素精度の動きベクトル情報を基に、対象ブロックの小数画素精度の動き予測・補償処理を行う。

求められた動きベクトル情報は、動きベクトル情報蓄積バッファ８３に蓄積されるとともに、動きベクトル情報符号化部８５および対象動きベクトル精度判別部９１に供給される。また、小数画素精度の補償処理により、求められた予測画像は、原画像および参照フレーム情報とともに、モード判定部８６に供給される。

小数画素精度動き予測・補償部８２から対象ブロックの動きベクトル情報が供給されると、ステップＳ５３において、動きベクトル精度判定部７６は、動きベクトル精度判定処理を実行する。この動きベクトル精度判定処理については、図１２を参照して後述する。

ステップＳ５３の動きベクトル精度判定処理により、対象ブロックの動きベクトル情報の精度と、隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグが生成される。生成された精度フラグは、予測動きベクトル算出部８４および動きベクトル情報符号化部８５に供給される。

予測動きベクトル算出部８４と動きベクトル情報符号化部８５は、ステップＳ５４において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して決定された動きベクトルについて、差分動きベクトル情報mvd_Eを生成する。このとき、図５を参照して上述した動きベクトルの生成方法が用いられる。

すなわち、予測動きベクトル算出部８４は、隣接ブロック動きベクトル情報を用いて、上述した式（５）のメディアン予測により対象ブロックＥに対する予測動きベクトル情報pmv_Eを算出する。そして、動きベクトル情報符号化部８５は、上述した式（６）に示されるように、小数画素精度動き予測・補償部８２からの動きベクトル情報mv_Eと、算出された予測動きベクトル情報pmv_Eの差分により差分動きベクトル情報mvd_Eを求める。

なお、予測動きベクトル情報の算出を行う際、例えば、図５に示す隣接ブロックＡ，Ｂ，Ｃ, Ｄにおける動きベクトル情報の精度が、１／４画素精度と１／８画素精度で混在している場合がある。例えば、水平、垂直成分のそれぞれについて、対象ブロックＥの動きベクトル情報mv_Eは、１／８画素精度であるが、隣接ブロックＸ＝Ａ，Ｂ，Ｃ，Ｄの動きベクトル情報mv_Xが１／４画素精度である場合は、次の式（１１）のようにメディアン予測が行われる。

mv_X = mv_X*2 ・・・（１１）

すなわち、この場合、隣接ブロックの動きベクトル情報が１／８画素精度に換算されて、メディアン予測が行われる。

逆に、水平、垂直成分のそれぞれについて、対象ブロックＥの動きベクトル情報mv_Eは、１／４画素精度であるが、隣接ブロックＸ＝Ａ，Ｂ，Ｃ，Ｄの動きベクトル情報mv_Xが１／８画素精度である場合は、次の式（１２）のようにメディアン予測が行われる。

mv_X = mv_X/2 ・・・（１２）

すなわち、この場合、隣接ブロックの動きベクトル情報が１／４画素精度に換算されて、メディアン予測が行われる。

求められた差分動きベクトル情報は、精度フラグとともにモード判定部８６に供給される。この差分動きベクトル情報は、次のステップＳ５４におけるコスト関数値算出の際にも用いられる。そして、差分動きベクトル情報は、最終的に予測画像選択部７７により対応する予測画像が選択された場合には、精度フラグ、予測モード情報、および参照フレーム情報とともに、可逆符号化部６６へ出力される。

モード判定部８６は、ステップＳ５４において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（９）または式（１０）で示されるコスト関数値を算出する。

すなわち、モード判定部８６には、小数画素精度動き予測・補償部８２からの予測画像、原画像、および参照フレーム情報、並びに動きベクトル情報符号化部８５からの差分動きベクトル情報mvd_Eおよび精度フラグなどが供給される。モード判定部８６は、供給された情報を適宜用いて、候補となる全てのインター予測モードについてのコスト関数値を算出する。ここで算出されたコスト関数値は、上述した図８のステップＳ３４で最適インター予測モードを決定する際に用いられる。

［動きベクトル精度判定処理の説明］
次に、図１２のフローチャートを参照して、図１１のステップＳ５３の動きベクトル精度判定処理について説明する。

対象動きベクトル精度判別部９１は、ステップＳ７１において、curr_horizontal_mv_precision_paramおよびcurr_vertical_mv_precision_paramを決定する。すなわち、対象動きベクトル精度判別部９１には、小数画素精度動き予測・補償部８２から対象ブロックの動きベクトル情報が供給される。対象動きベクトル精度判別部９１は、対象ブロックの動きベクトル情報の精度を判別し、ステップＳ７１において、対象ブロックの動きベクトル情報に対する水平成分の精度パラメータおよび垂直成分の精度パラメータを決定する。決定されたcurr_horizontal_mv_precision_paramおよびcurr_vertical_mv_precision_paramは、精度フラグ生成部９３に供給される。

隣接動きベクトル精度判別部９２は、ステップＳ７２において、pred_horizontal_mv_precision_paramおよびpred_vertical_mv_precision_paramを決定する。すなわち、隣接動きベクトル精度判別部９２は、動きベクトル情報蓄積バッファ８３からの隣接ブロックの動きベクトル情報を読み出す。隣接動きベクトル精度判別部９２は隣接ブロックの動きベクトル情報の精度を判別し、ステップＳ７２において、隣接ブロックの動きベクトル情報に対する水平成分の精度パラメータおよび垂直成分の精度パラメータを決定する。決定されたpred_horizontal_mv_precision_paramおよびpred_vertical_mv_precision_paramは、精度フラグ生成部９３に供給される。

精度フラグ生成部９３は、ステップＳ７３において、curr_horizontal_mv_precision_paramとpred_horizontal_mv_precision_paramが一致するか否かを判定する。

ステップＳ７３において、curr_horizontal_mv_precision_paramとpred_horizontal_mv_precision_paramが一致すると判定された場合、処理は、ステップＳ７４に進む。ステップＳ７４において、精度フラグ生成部９３は、対象ブロックの水平成分の精度フラグ（horizontal_mv_precision_change_flag）の値を、０とする。すなわち、値が０である対象ブロックの水平成分の精度フラグが生成される。

ステップＳ７３において、curr_horizontal_mv_precision_paramとpred_horizontal_mv_precision_paramが異なると判定された場合、処理は、ステップＳ７５に進む。ステップＳ７５において、精度フラグ生成部９３は、対象ブロックの水平成分の精度フラグ（horizontal_mv_precision_change_flag）の値を、１とする。すなわち、値が１である対象ブロックの水平成分の精度フラグが生成される。

精度フラグ生成部９３は、ステップＳ７６において、curr_vertical_mv_precision_paramとpred_vertical_mv_precision_paramが一致するか否かを判定する。

ステップＳ７６において、curr_vertical_mv_precision_paramとpred_vertical_mv_precision_paramが一致すると判定された場合、処理は、ステップＳ７７に進む。ステップＳ７７において、精度フラグ生成部９３は、対象ブロックの垂直成分の精度フラグ（vertical_mv_precision_change_flag）の値を、０とする。すなわち、値が０である対象ブロックの垂直成分の精度フラグが生成される。

ステップＳ７６において、curr_vertical_mv_precision_paramとpred_vertical_mv_precision_paramが異なると判定された場合、処理は、ステップＳ７８に進む。ステップＳ７８において、精度フラグ生成部９３は、対象ブロックの垂直成分の精度フラグ（vertical_mv_precision_change_flag）の値を、１とする。すなわち、値が１である対象ブロックの垂直成分の精度フラグが生成される。

生成された対象ブロックの水平成分および垂直成分の精度フラグは、予測動きベクトル算出部８４および動きベクトル情報符号化部８５に供給される。そして、精度フラグは、図８のステップＳ２２で最適インター予測モードの予測画像が選択された場合に、差分動きベクトル情報、最適インター予測モードを示す情報や参照フレーム情報とともに、可逆符号化部６６に供給され、符号化されて復号側に送信される。

以上のように、対象ブロック毎に、対象ブロックの動きベクトル情報の精度と、その隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを圧縮画像のヘッダに付加して復号側に送るようにした。

すなわち、本発明においては、圧縮画像情報中のそれぞれの動き予測ブロックについて、精度フラグが定義される。

これにより、常に動きベクトル情報を１／８画素精度で送るのではなく、必要なときのみ１／８画素精度で送ることができる。すなわち、必要でないときには、動きベクトル情報を１／４画素精度で送ることができる。この結果、すべての動きベクトル情報に対してより多くの符号量を割り当てる必要がなくなるため、動きベクトル情報を増大させることなく、動き予測効率を向上させることができる。

なお、対象ブロックがＢブロックである場合には、List0およびList1のそれぞれに対して一連の処理が行われる。

また、図５または図６を参照して上述したように、対象ブロックがダイレクトモードまたはスキップモードである場合には、精度フラグ（horizontal_mv_precision_change_flag ,vertical_mv_precision_change_flag）の値は０であるとして、復号側には伝送されない。

符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。

［画像復号装置の構成例］
図１３は、を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。

画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、動きベクトル精度判定部１２３、およびスイッチ１２４により構成されている。

蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図１の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１１３は可逆復号部１１２により復号された画像を、図１の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１１４は、図１の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３の出力を逆直交変換する。

逆直交変換された出力は演算部１１５によりスイッチ１２４から供給される予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去した後、フレームメモリ１１９に供給し、蓄積させるとともに、画面並べ替えバッファ１１７に出力する。

画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。

スイッチ１２０は、インター処理される画像と参照される画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。

イントラ予測部１２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部１１２から供給される。イントラ予測部１２１は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ１２４に出力する。

動き予測・補償部１２２には、ヘッダ情報を復号して得られた情報のうち、予測モード情報、差分動きベクトル情報、参照フレーム情報などが可逆復号部１１２から供給される。インター予測モードを示す情報が供給された場合、動き予測・補償部１２２は、動きベクトル精度判定部１２３からの対象ブロックの動きベクトル情報の精度パラメータを参照し、復号された差分動きベクトル情報を用いて、動きベクトル情報を再構成する。

具体的には、動き予測・補償部１２２は、動きベクトル精度判定部１２３からの対象ブロックの動きベクトル情報の精度パラメータを参照して、隣接ブロックの動きベクトル情報から、対象ブロックの予測動きベクトル情報を生成する。動き予測・補償部１２２は、可逆復号部１１２からの差分動きベクトル情報、対象ブロックの動きベクトル情報の精度パラメータ、および対象ブロックの予測動きベクトル情報から、対象ブロックの動きベクトル情報を再構成する。

そして、動き予測・補償部１２２は、参照フレーム情報が示すフレームメモリ１１９の参照画像と、再構成された動きベクトル情報に基づいて画像に補償処理を施し、予測画像を生成する。生成された予測画像は、スイッチ１２４に出力される。

動きベクトル精度判定部１２３には、ヘッダ情報を復号して得られた情報のうち、精度フラグが可逆復号部１１２から供給される。動きベクトル精度判定部１２３は、可逆復号部１１２からの精度フラグと、動き予測・補償部１２２からの隣接ブロックの動きベクトル情報の精度から、対象ブロックの動きベクトル情報の精度パラメータを決定する。決定した対象ブロックの動きベクトル情報の精度パラメータは、動き予測・補償部１２２に供給される。

スイッチ１２４は、動き予測・補償部１２２またはイントラ予測部１２１により生成された予測画像を選択し、演算部１１５に供給する。

［動き予測・補償部および動きベクトル精度判定部の構成例］
図１４は、動き予測・補償部および動きベクトル精度判定部の詳細な構成例を示すブロック図である。なお、各詳細については、適宜、上述した図５の対象ブロックＥおよび隣接ブロックＡ乃至Ｄを用いて説明する。

図１４の例においては、動き予測・補償部１２２は、動きベクトル情報受信部１５１、予測動きベクトル生成部１５２、動きベクトル再構成部１５３、動きベクトル情報蓄積バッファ１５４、および画像予測部１５５により構成される。

動きベクトル精度判定部１２３は、精度フラグ受信部１６１、隣接動きベクトル精度判別部１６２、および対象動きベクトル精度判別部１６３により構成される。

動きベクトル情報受信部１５１は、可逆復号部１１２（すなわち、画像符号化装置５１）からの対象ブロックＥの差分動きベクトル情報mvd_Eを受信し、受信した差分動きベクトル情報mvd_Eを動きベクトル再構成部１５３に供給する。

予測動きベクトル生成部１５２には、対象動きベクトル精度判別部１６３からの対象ブロックＥの動きベクトルに対する水平成分と垂直成分に関する精度パラメータ（curr_horizontal_mv_precision_param, curr_vertical_mv_precision_param）が供給される。予測動きベクトル生成部１５２は、動きベクトル情報蓄積バッファ１５４から隣接ブロックの動きベクトル情報mv_A,mv_B,mv_Cを読み出す。

予測動きベクトル生成部１５２は、対象ブロックＥの動きベクトルの精度パラメータを参照し、隣接ブロックの動きベクトル情報mv_A,mv_B,mv_Cを用いて、上述した式（５）のメディアン予測により、対象ブロックＥの予測動きベクトル情報pmv_Eを生成する。生成された予測動きベクトル情報pmv_Eは、動きベクトル再構成部１５３に供給される。

動きベクトル再構成部１５３には、動きベクトル情報受信部１５１からの差分動きベクトル情報mvd_E、予測動きベクトル生成部１５２からの予測動きベクトル情報pmv_Eが供給されている。さらに、動きベクトル再構成部１５３には、対象動きベクトル精度判別部１６３からの対象ブロックＥの動きベクトルの精度パラメータが供給されている。

動きベクトル再構成部１５３は、対象ブロックＥの動きベクトルの精度パラメータを参照して、差分動きベクトル情報mvd_Eを処理上の値から実際の値に換算する。動きベクトル再構成部１５３は、換算した差分動きベクトル情報mvd_Eに、予測動きベクトル生成部１５２からの予測動きベクトル情報pmv_Eを加算することで、対象ブロックＥの動きベクトル情報mv_Eを再構成する。再構成された対象ブロックＥの動きベクトル情報mv_Eは、動きベクトル情報蓄積バッファ１５４に蓄積されるとともに、画像予測部１５５に出力される。

動きベクトル情報蓄積バッファ１５４は、動きベクトル再構成部１５３により再構成された動きベクトル情報mv_X（Ｘ＝Ａ，Ｂ，Ｃ，Ｄ,Ｅ）を蓄積している。

画像予測部１５５は、可逆復号部１１２からの参照フレーム情報が示す参照画像を、スイッチ１２０を介して、フレームメモリ１１９から読み出す。画像予測部１５５は、動きベクトル再構成部１５３により再構成された対象ブロックＥの動きベクトル情報mv_Eに基づいて参照画像に補償処理を施し、対象ブロックＥの予測画像を生成する。生成された予測画像は、スイッチ１２４に出力される。

精度フラグ受信部１６１は、可逆復号部１１２からの、対象ブロックＥの動きベクトル情報に対する水平および垂直成分の精度フラグ（horizontal_mv_precision_change_flag,vertical_mv_precision_change_flag）を受信する。受信した対象ブロックＥの動きベクトル情報に対する水平および垂直成分の精度フラグは、対象動きベクトル精度判別部１６３に供給される。

隣接動きベクトル精度判別部１６２は、動きベクトル情報蓄積バッファ１５４から隣接動きベクトル情報を読み出し、隣接ブロックの動きベクトル情報の精度を判別する。そして、隣接動きベクトル精度判別部１６２は、隣接ブロックの動きベクトル情報に対する水平成分と垂直成分に関する精度パラメータ（pred_horizontal_mv_precision_param, pred_vertical_mv_precision_param）を決定する。決定された隣接ブロックの動きベクトル情報の精度パラメータは、対象動きベクトル精度判別部１６３に供給される。

なお、ここで、隣接ブロックは、対象ブロックＥの動きベクトル情報mv_Eに対して、予測値（予測動きベクトル情報）pmv_Eを与える可能性のあるブロックであり、図７を参照して上述した第１乃至第３の方法で定義される。

対象動きベクトル精度判別部１６３には、輝度フラグ受信部１６１からの対象ブロックＥの動きベクトル情報に対する水平および垂直成分の精度フラグと、隣接動きベクトル精度判別部１６２からの隣接ブロックの動きベクトル情報の精度パラメータが供給される。

対象動きベクトル精度判別部１６３は、対象ブロックＥの動きベクトル情報に対する水平および垂直成分の精度フラグと隣接ブロックの動きベクトル情報の精度パラメータから、対象ブロックＥの動きベクトル情報の精度を判別する。そして、対象動きベクトル精度判別部１６３は、対象ブロックＥの動きベクトル情報に対する水平成分と垂直成分に関する精度パラメータ（curr_horizontal_mv_precision_param, curr_vertical_mv_precision_param）を決定する。決定された対象ブロックＥの動きベクトル情報の精度パラメータは、予測動きベクトル生成部１５２および動きベクトル再構成部１５３に供給される。

［画像復号装置の復号処理の説明］
次に、図１５のフローチャートを参照して、画像復号装置１０１が実行する復号処理について説明する。

ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１１２は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図１の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

このとき、差分動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）、精度フラグも復号される。

すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部１２１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する差分動きベクトル情報および参照フレーム情報は、動き予測・補償部１２２に供給される。また、この場合、精度フラグは、動きベクトル精度判定部１２３に供給される。

ステップＳ１３３において、逆量子化部１１３は可逆復号部１１２により復号された変換係数を、図１の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１１４は逆量子化部１１３により逆量子化された変換係数を、図１の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。

ステップＳ１３５において、演算部１１５は、後述するステップＳ１４１の処理で選択され、スイッチ１２４を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。

ステップＳ１３８において、イントラ予測部１２１または動き予測・補償部１２２、は、可逆復号部１１２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。

すなわち、可逆復号部１１２からイントラ予測モード情報が供給された場合、イントラ予測部１２１は、イントラ予測モードのイントラ予測処理を行う。可逆復号部１１２からインター予測モード情報が供給された場合、動き予測・補償部１２２は、インター予測モードの動き予測・補償処理を行う。このとき、動き予測・補償部１２２は、動きベクトル精度判定部１２３からの対象ブロックの動きベクトル情報の精度パラメータを参照して、可逆復号部１１２からの差分動きベクトル情報を用いて、対象ブロックの動きベクトル情報を再構成する。

ステップＳ１３８における予測処理の詳細は、図１６を参照して後述するが、この処理により、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像がスイッチ１２４に供給される。

ステップＳ１３９において、スイッチ１２４は予測画像を選択する。すなわち、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像供給される。したがって、供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３４において逆直交変換部１１４の出力と加算される。

ステップＳ１４０において、画面並べ替えバッファ１１７は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ１４１において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

［画像復号装置の予測処理の説明］
次に、図１６のフローチャートを参照して、図１５のステップＳ１３８の予測処理を説明する。

イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１１２からイントラ予測モード情報がイントラ予測部１２１に供給されると、イントラ予測部１２１は、ステップ１７１において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７２に進む。

イントラ予測部１２１は、ステップＳ１７２において、イントラ予測モード情報を取得し、ステップＳ１７３において、イントラ予測を行う。

すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介してイントラ予測部１２１に供給される。ステップＳ１７３において、イントラ予測部１２１は、ステップＳ１７２で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。

一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７４に進む。

ステップＳ１７４において、動き予測・補償部１２２は、可逆復号部１１２からの予想モード情報などを取得する。

処理対象の画像がインター処理される画像である場合、可逆復号部１１２からインター予測モード情報、参照フレーム情報、差分動きベクトル情報が動き予測・補償部１２２に供給される。この場合、ステップＳ１７４において、動き予測・補償部１２２は、インター予測モード情報、参照フレーム情報、差分動きベクトル情報を取得する。

なお、このとき、精度フラグ受信部１６１は、精度フラグを受信し、取得する。受信した対象ブロックの動きベクトル情報に対する水平および垂直成分の精度フラグは、対象動きベクトル精度判別部１６３に供給される。また、隣接動きベクトル精度判別部１６２は、動きベクトル情報蓄積バッファ１５４から隣接動きベクトル情報を基に、隣接ブロックの動きベクトル情報の精度パラメータを決定し、対象動きベクトル精度判別部１６３に供給する。

対象動きベクトル精度判別部１６３は、ステップＳ１７５において、対象ブロックの動きベクトル情報に対する水平および垂直成分の精度フラグと隣接ブロックの動きベクトル情報の精度パラメータから、対象ブロックの動きベクトル情報の精度を決定する。決定された対象ブロックの動きベクトル情報の精度パラメータは、予測動きベクトル生成部１５２および動きベクトル再構成部１５３に供給される。

対象動きベクトル精度判別部１６３からの対象ブロックの動きベクトル情報の精度パラメータが供給されると、予測動きベクトル生成部１５２は、ステップＳ１７６において、図５を参照して上述したメディアン予測を行う。

具体的には、予測動きベクトル生成部１５２は、動きベクトル情報蓄積バッファ１５４から隣接ブロックの動きベクトル情報mv_A,mv_B,mv_Cを読み出し、上述した式（５）のメディアン予測により、対象ブロックの予測動きベクトル情報pmv_Eを生成する。このとき、対象ブロックの動きベクトルの精度パラメータが参照される。すなわち、精度パラメータが示す対象ブロックの動きベクトル情報の精度と、予測動きベクトル情報生成に用いる隣接ブロックの動きベクトル情報の精度とが異なる場合、隣接ブロックの動きベクトル情報の精度が対象ブロックの動きベクトル情報の精度に換算される。

予測動きベクトル生成部１５２により生成された対象ブロックの予測動きベクトル情報pmv_Eは、動きベクトル再構成部１５３に供給される。

動きベクトル再構成部１５３は、ステップＳ１７７において、動きベクトル情報受信部１５１からの差分動きベクトル情報mvd_Eを用いて、対象ブロックの動きベクトル情報を再構築する。すなわち、動きベクトル再構成部１５３には、動きベクトル情報受信部１５１からの差分動きベクトル情報mvd_E、予測動きベクトル生成部１５２からの予測動きベクトル情報pmv_Eが供給されている。さらに、動きベクトル再構成部１５３には、対象動きベクトル精度判別部１６３からの対象ブロックの動きベクトルの精度パラメータが供給されている。

動きベクトル再構成部１５３は、対象ブロックの動きベクトルの精度パラメータを参照して、差分動きベクトル情報mvd_Eの値を、処理上の値から実際の値に換算する。動きベクトル再構成部１５３は、値を換算した差分動きベクトル情報mvd_Eに、予測動きベクトル生成部１５２からの予測動きベクトル情報pmv_Eを加算する。これにより、対象ブロックの動きベクトル情報mv_Eが再構成される。再構成された動きベクトル情報mv_Eは、動きベクトル情報蓄積バッファ１５４に蓄積されるとともに、画像予測部１５５に出力される。

画像予測部１５５は、ステップＳ１７８において、対象ブロックの予測画像を生成する。すなわち、画像予測部１５５は、可逆符号化部１１２からの参照フレーム情報が示す参照画像を、スイッチ１２０を介して、フレームメモリ１１９から読み出す。画像予測部１５５は、動きベクトル再構成部１５３により再構成された動きベクトル情報mv_Eに基づいて参照画像に補償処理を施し、対象ブロックの予測画像を生成する。生成された予測画像は、スイッチ１２４に出力される。

以上のように、対象ブロック毎に、対象ブロックの動きベクトル情報の精度と、その隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを圧縮画像のヘッダに付加して復号側に送るようにした。これにより、常に動きベクトル情報を１／８画素精度で送るのではなく、必要なときのみ１／８画素精度で送ることができる。この結果、動きベクトル情報を増大させることなく、動き予測効率を向上させることができる。

すなわち、圧縮情報の増大を招くことなく、１／８画素精度の動き予測・補償を行うことができるので、予測精度を向上することができる。

なお、上記説明においては、１／４画素精度まであるか、１／８画素精度まであるかを例に説明したが、この例に限らない。

すなわち、本発明は、整数画素精度と１／２画素精度、１／２画素精度と１／４画素精度といったように、小数画素精度の動き予測・補償を行うあらゆる場合に適用することが可能である。また、本発明は、整数画素精度、１／２画素精度、および１／４画素精度といったように３段階以上の設定をもって処理を行う場合にも適用することが可能である。

また、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本発明は、”Video Coding Using Extended Block Sizes”,VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009に記載の拡張されたマクロブロックサイズに対しても適用することが可能である。

図１７は、拡張されたマクロブロックサイズの例を示す図である。上記提案では、マクロブロックサイズが３２×３２画素に拡張されている。

図１７の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図１７の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図１７の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。

すなわち、３２×３２画素のマクロブロックは、図１７の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。

また、上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。

さらに、中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。

このような階層構造を採用することにより、拡張されたマクロブロックサイズにおいては、１６×１６画素のブロック以下に関してH．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

以上のように提案される拡張されたマクロブロックサイズにも、本発明を適用することができる。

以上においては、符号化方式としてH．264/AVC方式を用いるようにしたが、その他の符号化方式／復号方式を用いることもできる。

なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５及びバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した画像符号化装置５１や画像復号装置１０１は、任意の電子機器に適用することができる。以下にその例について説明する。

図１９は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図１９に示されるテレビジョン受像機１３００は、地上波チューナ１３１３、ビデオデコーダ１３１５、映像信号処理回路１３１８、グラフィック生成回路１３１９、パネル駆動回路１３２０、および表示パネル１３２１を有する。

地上波チューナ１３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１３１５に供給する。ビデオデコーダ１３１５は、地上波チューナ１３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１３１８に供給する。

映像信号処理回路１３１８は、ビデオデコーダ１３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１３１９に供給する。

グラフィック生成回路１３１９は、表示パネル１３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１３２０に供給する。また、グラフィック生成回路１３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１３２０に供給するといった処理も適宜行う。

パネル駆動回路１３２０は、グラフィック生成回路１３１９から供給されたデータに基づいて表示パネル１３２１を駆動し、番組の映像や上述した各種の画面を表示パネル１３２１に表示させる。

表示パネル１３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１３２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機１３００は、音声A/D（Analog/Digital)変換回路１３１４、音声信号処理回路１３２２、エコーキャンセル／音声合成回路１３２３、音声増幅回路１３２４、およびスピーカ１３２５も有する。

地上波チューナ１３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１３１３は、取得した音声信号を音声A/D変換回路１３１４に供給する。

音声A/D変換回路１３１４は、地上波チューナ１３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１３２２に供給する。

音声信号処理回路１３２２は、音声A/D変換回路１３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１３２３に供給する。

エコーキャンセル／音声合成回路１３２３は、音声信号処理回路１３２２から供給された音声データを音声増幅回路１３２４に供給する。

音声増幅回路１３２４は、エコーキャンセル／音声合成回路１３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１３２５から出力させる。

さらに、テレビジョン受像機１３００は、デジタルチューナ１３１６およびMPEGデコーダ１３１７も有する。

デジタルチューナ１３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１３１７に供給する。

MPEGデコーダ１３１７は、デジタルチューナ１３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１３１８に供給する。また、MPEGデコーダ１３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１３３２に供給する。

テレビジョン受像機１３００は、このように映像パケットをデコードするMPEGデコーダ１３１７として、上述した画像復号装置１０１を用いる。したがって、MPEGデコーダ１３１７は、画像復号装置１０１の場合と同様に、圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

MPEGデコーダ１３１７から供給された映像データは、ビデオデコーダ１３１５から供給された映像データの場合と同様に、映像信号処理回路１３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路１３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１３２０を介して表示パネル１３２１に供給され、その画像が表示される。

MPEGデコーダ１３１７から供給された音声データは、音声A/D変換回路１３１４から供給された音声データの場合と同様に、音声信号処理回路１３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路１３２３を介して音声増幅回路１３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１３２５から出力される。

また、テレビジョン受像機１３００は、マイクロホン１３２６、およびA/D変換回路１３２７も有する。

A/D変換回路１３２７は、音声会話用のものとしてテレビジョン受像機１３００に設けられるマイクロホン１３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路１３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１３２３に供給する。

エコーキャンセル／音声合成回路１３２３は、テレビジョン受像機１３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路１３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１３２４を介してスピーカ１３２５より出力させる。

さらに、テレビジョン受像機１３００は、音声コーデック１３２８、内部バス１３２９、SDRAM（Synchronous Dynamic Random Access Memory)１３３０、フラッシュメモリ１３３１、CPU１３３２、USB（Universal Serial Bus) I/F１３３３、およびネットワークI/F１３３４も有する。

A/D変換回路１３２７は、音声会話用のものとしてテレビジョン受像機１３００に設けられるマイクロホン１３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路１３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１３２８に供給する。

音声コーデック１３２８は、A/D変換回路１３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１３２９を介してネットワークI/F１３３４に供給する。

ネットワークI/F１３３４は、ネットワーク端子１３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１３２８から供給された音声データを送信する。また、ネットワークI/F１３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１３３５を介して受信し、それを、内部バス１３２９を介して音声コーデック１３２８に供給する。

音声コーデック１３２８は、ネットワークI/F１３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１３２３に供給する。

エコーキャンセル／音声合成回路１３２３は、音声コーデック１３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１３２４を介してスピーカ１３２５より出力させる。

SDRAM１３３０は、CPU１３３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ１３３１は、CPU１３３２により実行されるプログラムを記憶する。フラッシュメモリ１３３１に記憶されているプログラムは、テレビジョン受像機１３００の起動時などの所定のタイミングでCPU１３３２により読み出される。フラッシュメモリ１３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ１３３１には、CPU１３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１３３１は、例えばCPU１３３２の制御により、そのMPEG-TSを、内部バス１３２９を介してMPEGデコーダ１３１７に供給する。

MPEGデコーダ１３１７は、デジタルチューナ１３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機１３００は、リモートコントローラ１３５１から送信される赤外線信号を受光する受光部１３３７も有する。

受光部１３３７は、リモートコントローラ１３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１３３２に出力する。

CPU１３３２は、フラッシュメモリ１３３１に記憶されているプログラムを実行し、受光部１３３７から供給される制御コードなどに応じてテレビジョン受像機１３００の全体の動作を制御する。CPU１３３２とテレビジョン受像機１３００の各部は、図示せぬ経路を介して接続されている。

USB I/F１３３３は、USB端子１３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１３００の外部の機器との間でデータの送受信を行う。ネットワークI/F１３３４は、ネットワーク端子１３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機１３００は、MPEGデコーダ１３１７として画像復号装置１０１を用いることにより、符号化効率を向上することができる。その結果として、テレビジョン受像機１３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。

図２０は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図２０に示される携帯電話機１４００は、各部を統括的に制御するようになされた主制御部１４５０、電源回路部１４５１、操作入力制御部１４５２、画像エンコーダ１４５３、カメラI/F部１４５４、LCD制御部１４５５、画像デコーダ１４５６、多重分離部１４５７、記録再生部１４６２、変復調回路部１４５８、および音声コーデック１４５９を有する。これらは、バス１４６０を介して互いに接続されている。

また、携帯電話機１４００は、操作キー１４１９、CCD（Charge Coupled Devices）カメラ１４１６、液晶ディスプレイ１４１８、記憶部１４２３、送受信回路部１４６３、アンテナ１４１４、マイクロホン（マイク）１４２１、およびスピーカ１４１７を有する。

電源回路部１４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１４００を動作可能な状態に起動する。

携帯電話機１４００は、CPU、ROMおよびRAM等でなる主制御部１４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機１４００は、マイクロホン（マイク）１４２１で集音した音声信号を、音声コーデック１４５９によってデジタル音声データに変換し、これを変復調回路部１４５８でスペクトラム拡散処理し、送受信回路部１４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１４００は、その変換処理により得られた送信用信号を、アンテナ１４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機１４００は、アンテナ１４１４で受信した受信信号を送受信回路部１４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１４５８でスペクトラム逆拡散処理し、音声コーデック１４５９によってアナログ音声信号に変換する。携帯電話機１４００は、その変換して得られたアナログ音声信号をスピーカ１４１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１４００は、操作キー１４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１４５２において受け付ける。携帯電話機１４００は、そのテキストデータを主制御部１４５０において処理し、LCD制御部１４５５を介して、画像として液晶ディスプレイ１４１８に表示させる。

また、携帯電話機１４００は、主制御部１４５０において、操作入力制御部１４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１４００は、その電子メールデータを、変復調回路部１４５８でスペクトラム拡散処理し、送受信回路部１４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１４００は、その変換処理により得られた送信用信号を、アンテナ１４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１４００は、基地局から送信された信号を、アンテナ１４１４を介して送受信回路部１４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１４００は、その受信信号を変復調回路部１４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１４００は、復元された電子メールデータを、LCD制御部１４５５を介して液晶ディスプレイ１４１８に表示する。

なお、携帯電話機１４００は、受信した電子メールデータを、記録再生部１４６２を介して、記憶部１４２３に記録する（記憶させる）ことも可能である。

この記憶部１４２３は、書き換え可能な任意の記憶媒体である。記憶部１４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１４００は、撮像によりCCDカメラ１４１６で画像データを生成する。CCDカメラ１４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部１４５４を介して、画像エンコーダ１４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機１４００は、このような処理を行う画像エンコーダ１４５３として、上述した画像符号化装置５１を用いる。したがって、画像エンコーダ１４５３は、画像符号化装置５１の場合と同様に、圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

なお、携帯電話機１４００は、このとき同時に、CCDカメラ１４１６で撮像中にマイクロホン（マイク）１４２１で集音した音声を、音声コーデック１４５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機１４００は、多重分離部１４５７において、画像エンコーダ１４５３から供給された符号化画像データと、音声コーデック１４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１４００は、その結果得られる多重化データを、変復調回路部１４５８でスペクトラム拡散処理し、送受信回路部１４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１４００は、その変換処理により得られた送信用信号を、アンテナ１４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機１４００は、CCDカメラ１４１６で生成した画像データを、画像エンコーダ１４５３を介さずに、LCD制御部１４５５を介して液晶ディスプレイ１４１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１４００は、基地局から送信された信号を、アンテナ１４１４を介して送受信回路部１４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１４００は、その受信信号を変復調回路部１４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１４００は、多重分離部１４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機１４００は、画像デコーダ１４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部１４５５を介して液晶ディスプレイ１４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１４１８に表示される。

携帯電話機１４００は、このような処理を行う画像デコーダ１４５６として、上述した画像復号装置１０１を用いる。したがって、画像デコーダ１４５６は、画像復号装置１０１の場合と同様に、圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

このとき、携帯電話機１４００は、同時に、音声コーデック１４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機１４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１４６２を介して、記憶部１４２３に記録する（記憶させる）ことも可能である。

また、携帯電話機１４００は、主制御部１４５０において、撮像されてCCDカメラ１４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機１４００は、赤外線通信部１４８１で赤外線により外部の機器と通信することができる。

携帯電話機１４００は、画像エンコーダ１４５３として画像符号化装置５１を用いることにより、例えばCCDカメラ１４１６において生成された画像データを符号化して生成する符号化データの符号化効率を向上させることができる。結果として、携帯電話機１４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。

また、携帯電話機１４００は、画像デコーダ１４５６として画像復号装置１０１を用いることにより、精度の高い予測画像を生成することができる。その結果として、携帯電話機１４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。

なお、以上において、携帯電話機１４００が、CCDカメラ１４１６を用いるように説明したが、このCCDカメラ１４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１４００は、CCDカメラ１４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機１４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１４００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。

図２１は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図２１に示されるハードディスクレコーダ（HDDレコーダ）１５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ１５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ１５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１５６０に供給し、モニタ１５６０の画面にその画像を表示させる。また、ハードディスクレコーダ１５００は、モニタ１５６０のスピーカよりその音声を出力させることができる。

ハードディスクレコーダ１５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１５６０に供給し、モニタ１５６０の画面にその画像を表示させる。また、ハードディスクレコーダ１５００は、モニタ１５６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図２１に示されるように、ハードディスクレコーダ１５００は、受信部１５２１、復調部１５２２、デマルチプレクサ１５２３、オーディオデコーダ１５２４、ビデオデコーダ１５２５、およびレコーダ制御部１５２６を有する。ハードディスクレコーダ１５００は、さらに、EPGデータメモリ１５２７、プログラムメモリ１５２８、ワークメモリ１５２９、ディスプレイコンバータ１５３０、OSD（On Screen Display）制御部１５３１、ディスプレイ制御部１５３２、記録再生部１５３３、D/Aコンバータ１５３４、および通信部１５３５を有する。

また、ディスプレイコンバータ１５３０は、ビデオエンコーダ１５４１を有する。記録再生部１５３３は、エンコーダ１５５１およびデコーダ１５５２を有する。

受信部１５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１５２６に出力する。レコーダ制御部１５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１５２６は、このとき、ワークメモリ１５２９を必要に応じて使用する。

通信部１５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１５３５は、レコーダ制御部１５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部１５２２は、チューナより供給された信号を、復調し、デマルチプレクサ１５２３に出力する。デマルチプレクサ１５２３は、復調部１５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１５２４、ビデオデコーダ１５２５、またはレコーダ制御部１５２６に出力する。

オーディオデコーダ１５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部１５３３に出力する。ビデオデコーダ１５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ１５３０に出力する。レコーダ制御部１５２６は、入力されたEPGデータをEPGデータメモリ１５２７に供給し、記憶させる。

ディスプレイコンバータ１５３０は、ビデオデコーダ１５２５またはレコーダ制御部１５２６より供給されたビデオデータを、ビデオエンコーダ１５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１５３３に出力する。また、ディスプレイコンバータ１５３０は、ビデオデコーダ１５２５またはレコーダ制御部１５２６より供給されるビデオデータの画面のサイズを、モニタ１５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ１５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ１５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１５３２に出力する。

ディスプレイ制御部１５３２は、レコーダ制御部１５２６の制御のもと、OSD（On Screen Display）制御部１５３１が出力したOSD信号を、ディスプレイコンバータ１５３０より入力されたビデオ信号に重畳し、モニタ１５６０のディスプレイに出力し、表示させる。

モニタ１５６０にはまた、オーディオデコーダ１５２４が出力したオーディオデータが、D/Aコンバータ１５３４によりアナログ信号に変換されて供給されている。モニタ１５６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部１５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部１５３３は、例えば、オーディオデコーダ１５２４より供給されるオーディオデータを、エンコーダ１５５１によりMPEG方式でエンコードする。また、記録再生部１５３３は、ディスプレイコンバータ１５３０のビデオエンコーダ１５４１より供給されるビデオデータを、エンコーダ１５５１によりMPEG方式でエンコードする。記録再生部１５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部１５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１５３３は、デコーダ１５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部１５３３は、復号したオーディオデータをD/A変換し、モニタ１５６０のスピーカに出力する。また、記録再生部１５３３は、復号したビデオデータをD/A変換し、モニタ１５６０のディスプレイに出力する。

レコーダ制御部１５２６は、受信部１５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１５２７から最新のEPGデータを読み出し、それをOSD制御部１５３１に供給する。OSD制御部１５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１５３２に出力する。ディスプレイ制御部１５３２は、OSD制御部１５３１より入力されたビデオデータをモニタ１５６０のディスプレイに出力し、表示させる。これにより、モニタ１５６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ１５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部１５３５は、レコーダ制御部１５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１５２６に供給する。レコーダ制御部１５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１５２６および記録再生部１５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部１５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１５３０に供給する。ディスプレイコンバータ１５３０は、ビデオデコーダ１５２５から供給されるビデオデータと同様に、レコーダ制御部１５２６から供給されるビデオデータを処理し、ディスプレイ制御部１５３２を介してモニタ１５６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部１５２６が、復号したオーディオデータを、D/Aコンバータ１５３４を介してモニタ１５６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部１５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１５２７に供給する。

以上のようなハードディスクレコーダ１５００は、ビデオデコーダ１５２５、デコーダ１５５２、およびレコーダ制御部１５２６に内蔵されるデコーダとして画像復号装置１０１を用いる。したがって、ビデオデコーダ１５２５、デコーダ１５５２、およびレコーダ制御部１５２６に内蔵されるデコーダは、画像復号装置１０１の場合と同様に、圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

したがって、ハードディスクレコーダ１５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ１５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部１５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ１５６０に表示させることができる。

また、ハードディスクレコーダ１５００は、エンコーダ１５５１として画像符号化装置５１を用いる。したがって、エンコーダ１５５１は、画像符号化装置５１の場合と同様に、圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

したがって、ハードディスクレコーダ１５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ１５００は、ハードディスクの記憶領域をより効率よく使用することができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１５００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。

図２２は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。

図２２に示されるカメラ１６００は、被写体を撮像し、被写体の画像をLCD１６１６に表示させたり、それを画像データとして、記録メディア１６３３に記録したりする。

レンズブロック１６１１は、光（すなわち、被写体の映像）を、CCD/CMOS１６１２に入射させる。CCD/CMOS１６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１６１３に供給する。

カメラ信号処理部１６１３は、CCD/CMOS１６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１６１４に供給する。画像信号処理部１６１４は、コントローラ１６２１の制御の下、カメラ信号処理部１６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１６４１で例えばMPEG方式により符号化したりする。画像信号処理部１６１４は、画像信号を符号化して生成した符号化データを、デコーダ１６１５に供給する。さらに、画像信号処理部１６１４は、オンスクリーンディスプレイ（OSD）１６２０において生成された表示用データを取得し、それをデコーダ１６１５に供給する。

以上の処理において、カメラ信号処理部１６１３は、バス１６１７を介して接続されるDRAM（Dynamic Random Access Memory）１６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１６１８に保持させる。

デコーダ１６１５は、画像信号処理部１６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１６１６に供給する。また、デコーダ１６１５は、画像信号処理部１６１４から供給された表示用データをLCD１６１６に供給する。LCD１６１６は、デコーダ１６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ１６２０は、コントローラ１６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１６１７を介して画像信号処理部１６１４に出力する。

コントローラ１６２１は、ユーザが操作部１６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１６１７を介して、画像信号処理部１６１４、DRAM１６１８、外部インタフェース１６１９、オンスクリーンディスプレイ１６２０、およびメディアドライブ１６２３等を制御する。FLASH ROM１６２４には、コントローラ１６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１６２１は、画像信号処理部１６１４やデコーダ１６１５に代わって、DRAM１６１８に記憶されている画像データを符号化したり、DRAM１６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１６２１は、画像信号処理部１６１４やデコーダ１６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１６１４やデコーダ１６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１６２２から画像印刷の開始が指示された場合、コントローラ１６２１は、DRAM１６１８から画像データを読み出し、それを、バス１６１７を介して外部インタフェース１６１９に接続されるプリンタ１６３４に供給して印刷させる。

さらに、例えば、操作部１６２２から画像記録が指示された場合、コントローラ１６２１は、DRAM１６１８から符号化データを読み出し、それを、バス１６１７を介してメディアドライブ１６２３に装着される記録メディア１６３３に供給して記憶させる。

記録メディア１６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ１６２３と記録メディア１６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１６３４と接続される。また、外部インタフェース１６１９には、必要に応じてドライブ１６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１６２４にインストールされる。

さらに、外部インタフェース１６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１６２１は、例えば、操作部１６２２からの指示に従って、DRAM１６１８から符号化データを読み出し、それを外部インタフェース１６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１６１９を介して取得し、それをDRAM１６１８に保持させたり、画像信号処理部１６１４に供給したりすることができる。

以上のようなカメラ１６００は、デコーダ１６１５として画像復号装置１０１を用いる。したがって、デコーダ１６１５は、画像復号装置１０１の場合と同様に、V圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

したがって、カメラ１６００は、精度の高い予測画像を生成することができる。その結果として、カメラ１６００は、例えば、CCD/CMOS１６１２において生成された画像データや、DRAM１６１８または記録メディア１６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD１６１６に表示させることができる。

また、カメラ１６００は、エンコーダ１６４１として画像符号化装置５１を用いる。したがって、エンコーダ１６４１は、画像符号化装置５１の場合と同様に、V圧縮情報の増大を抑制するとともに、予測精度を向上することができる。

したがって、カメラ１６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ１６００は、DRAM１６１８や記録メディア１６３３の記憶領域をより効率よく使用することができる。

なお、コントローラ１６２１が行う復号処理に画像復号装置１０１の復号方法を適用するようにしてもよい。同様に、コントローラ１６２１が行う符号化処理に画像符号化装置５１の符号化方法を適用するようにしてもよい。

また、カメラ１６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、画像符号化装置５１および画像復号装置１０１は、上述した装置以外の装置やシステムにも適用可能である。

５１ 画像符号化装置， ６６ 可逆符号化部， ７４ イントラ予測部， ７５ 動き予測・補償部， ７６ 動きベクトル精度判定部， ７７ 予測画像選択部， ８１ 整数画素精度動き予測・補償部， ８２ 小数画素精度動き予測・補償部， ８３ 動きベクトル情報蓄積バッファ， ８４ 予測動きベクトル算出部， ８５ 動きベクトル情報符号化部， ８６ モード判定部， ９１ 対象動きベクトル精度判別部， ９２ 隣接動きベクトル精度判別部， ９３ 精度フラグ生成部， １０１ 画像復号装置， １１２ 可逆復号部， １２１ イントラ予測部， １２２ 動き予測・補償部， １２３ 動きベクトル精度判定部， １２４ スイッチ， １５１ 動きベクトル情報受信部， １５２ 予測動きベクトル生成部， １５３ 動きベクトル再構成部， １５４ 動きベクトル情報蓄積バッファ， １５５ 画像予測部， １６１ 精度フラグ受信部， １６２ 隣接動きベクトル精度判別部， １６３ 対象動きベクトル精度判別部

Claims (12)

1. 対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成する精度フラグ生成手段と、
   前記対象ブロックの動きベクトル情報と、前記精度フラグ生成手段により生成された前記精度フラグを符号化する符号化手段と
   を備える画像処理装置。
2. 前記精度フラグ生成手段により生成された前記精度フラグが、前記対象ブロックの動きベクトル情報の精度と、前記隣接ブロックの動きベクトル情報の精度とが異なることを示す場合、前記隣接ブロックの動きベクトル情報の精度を、前記対象ブロックの動きベクトル情報の精度に換算してメディアン予測を行い、予測動きベクトル情報を生成する予測動きベクトル生成手段をさらに備え、
   前記符号化手段は、前記対象ブロックの動きベクトル情報として、前記対象ブロックの動きベクトル情報と前記予測動きベクトル情報との差分を符号化する
   請求項１に記載の画像処理装置。
3. 前記精度フラグ生成手段および前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックの左部に隣接するブロックを用いる
   請求項２に記載の画像処理装置。
4. 前記精度フラグ生成手段および前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックに隣接するとともに、直前に符号化処理が施されたブロックを用いる
   請求項２に記載の画像処理装置。
5. 前記精度フラグ生成手段および前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロック隣接するとともに、メディアン予測により選択された動きベクトル情報を与えるブロックを用いる
   請求項２に記載の画像処理装置。
6. 画像処理装置が、
   対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを生成し、
   前記対象ブロックの動きベクトル情報と、生成された前記精度フラグを符号化するステップを
   含む画像処理方法。
7. 符号化された対象ブロックの動きベクトル情報、および前記対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを復号する復号手段と、
   前記復号手段により復号された前記精度フラグを用いて、前記復号手段により復号された前記対象ブロックの動きベクトル情報を再構成する動きベクトル再構成手段と、
   前記動きベクトル再構成手段により再構成された前記対象ブロックの動きベクトル情報を用いて、前記対象ブロックの予測画像を生成する予測画像生成手段と
   を備える画像処理装置。
8. 前記復号手段により復号された前記精度フラグが、前記対象ブロックの動きベクトル情報の精度と、前記隣接ブロックの動きベクトル情報の精度とが異なることを示す場合、前記隣接ブロックの動きベクトル情報の精度を、前記対象ブロックの動きベクトル情報の精度に換算してメディアン予測を行い、予測動きベクトル情報を生成する予測動きベクトル生成手段をさらに備え、
   前記動きベクトル再構成手段は、前記復号手段により復号された前記精度フラグと、前記予測動きベクトル生成手段により生成された前記予測動きベクトル情報を用いて、前記復号手段により復号された前記対象ブロックの動きベクトル情報を再構成する
   請求項７に記載の画像処理装置。
9. 前記動きベクトル再構成手段と前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックの左部に隣接するブロックを用いる
   請求項８に記載の画像処理装置。
10. 前記動きベクトル再構成手段と前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロックに隣接するとともに、直前に符号化処理が施されたブロックを用いる
    請求項８に記載の画像処理装置。
11. 前記動きベクトル再構成手段と前記予測動きベクトル生成手段は、前記隣接ブロックとして、前記対象ブロック隣接するとともに、メディアン予測により選択された動きベクトル情報を与えるブロックを用いる
    請求項８に記載の画像処理装置。
12. 画像処理装置が、
    符号化された対象ブロックの動きベクトル情報、および前記対象ブロックの動きベクトル情報の精度と、前記対象ブロックに隣接する隣接ブロックの動きベクトル情報の精度とが同じであるか異なるかを示す精度フラグを復号し、
    復号された前記精度フラグを用いて、復号された前記対象ブロックの動きベクトル情報を再構成し、
    再構成された前記対象ブロックの動きベクトル情報を用いて、前記対象ブロックの予測画像を生成するステップを
    含む画像処理方法。

Images