JP5197864B2 - 画像復号化方法及び装置 - Google Patents

Description

本発明は、動画像や静止画像の符号化／復号化方法及び装置に関する。

ITU-T及びISO/IECより、動画像符号化方式の共同勧告（標準）としてITU-T Rec. H. 264及びISO/IEC 14496-10（以下、単にH.264と称する）が策定されている。H.264では、符号化対象の矩形ブロック（符号化対象ブロック）毎に予測処理、変換処理及びエントロピー符号化処理が行われる。上記予測処理では、例えば、既に符号化済みのフレーム（参照フレーム）が参照され、符号化対象ブロックに対して時間方向の予測（動き補償）が行われる。上記動き補償では、一般に、符号化対象ブロックと参照フレーム内において参照されるブロックとの間の空間的シフト情報である動きベクトルを符号化する必要がある。また、上記参照フレームを複数用いる場合には、個々の参照フレームを識別するために参照フレーム番号も符号化する必要がある。

非特許文献１記載の動画像符号化方式（即ち、H.264）は、符号化対象ブロックの隣接ブロックの動きベクトルが既に符号化済みである場合に、当該隣接ブロックの動きベクトルに基づき予測動きベクトル（例えば、隣接ブロックの動きベクトルのメディアン値）を導出する。非特許文献１記載の動画像符号化方式は、上記予測動きベクトルと符号化対象ブロックに対し実際に導出した動きベクトルとの間の差分を符号化している。

非特許文献２記載の動画像符号化方式は、上記予測動きベクトルのバリエーションを複数用意し、符号化対象ブロック毎に利用する予測動きベクトルを切り替え、選択された予測動きベクトルと符号化対象ブロックに対し実際に導出した動きベクトルとの間の差分を符号化している。従って、非特許文献２記載の動画像符号化方式によれば、符号量が小さくなるように予測動きベクトルを選択的に利用することができる。

特許文献１記載の動画像符号化方法は、既に符号化済みの動きベクトルをフレーム単位で保存しておき、当該フレーム内において符号化対象ブロックと同位置（Collocate位置）のブロックの動きベクトルを、当該符号化対象ブロックの動きベクトルをして取得している。従って、特許文献１記載の動画像符号化方法によれば、動きベクトルの符号化を省略することができる。

特許第３９７７７１６号公報

ITU-T Rec. H.264 ITU-T Q.6/SG16, VCEG-AC06r1, "Competition-Based Scheme for Motion Vector Selection and Coding"

非特許文献１記載の動画像符号化方式は、予測動きベクトルと、符号化対象ブロックに関し実際に導出した動きベクトルとの間の差分を符号化しているが、当該差分に関する符号量が上記実際に導出した動きベクトルに関する符号量を下回るとは限らない。

非特許文献２記載の動画像符号化方式は、符号化対象ブロック毎にいずれの予測動きベクトルが選択されたかを復号化側に通知するために切り替え情報を符号化する必要がある。即ち、非特許文献２記載の動画像符号化方式は、上記切り替え情報の符号量により却って符号量が増大するおそれがある。

特許文献１記載の動画像符号化方法によれば、動きベクトルの符号化を省略することは可能であるが、Collocate位置のブロックに関する動きベクトルは符号化対象ブロックの動きベクトルとして必ずしも適切でない。

従って、本発明は符号化効率の高い画像符号化／復号化装置を提供することを目的とする。

本発明の一態様に係る画像復号化装置は、符号化された予測誤差を復号化する復号化部と、既に復号化済みの第１の画素領域に対応する第１の動きベクトルを取得する記憶部と、前記第１の動きベクトルを少なくとも１つ含む動きベクトル群を導出する第１の導出部と、前記動きベクトル群に基づき、復号化前の第２の画素領域を分割した第３の画素領域の各々に対応する第２の動きベクトルを導出する第２の導出部と、前記第２の動きベクトルを用いて、前記第３の画素領域の各々の第１のインター予測画像を生成する予測部と、前記第１のインター予測画像を統合して、前記復号化前の第２の画素領域に対応する第２のインター予測画像を生成する統合部と、前記第２のインター予測画像と前記予測誤差とを加算して復号画像を生成する加算部とを具備する。

本発明によれば、符号化効率の高い画像符号化／復号化装置を提供できる。

第１の実施形態に係る画像符号化装置を示すブロック図。 図１の動きベクトル導出部を示すブロック図。 図２の動きベクトル処理部を示すブロック図。 図１のインター予測部を示すブロック図。 図１の画像符号化装置によるマクロブロックに対する符号化処理順序の一例を示す図。 図１の画像符号化装置の使用する符号化対象ブロックのサイズの一例を示す図。 図６Ａの他の例を示す図。 図６Ａ及び図６Ｂの他の例を示す図。 インター予測処理の一例の説明図。 図７Ａの他の例の説明図。 インター予測処理におけるマクロブロック単位の動き補償ブロックサイズの一例を示す図。 図８Ａの他の例を示す図。 図８Ａ及び図８Ｂの他の例を示す図。 図８Ａ、図８Ｂ及び図８Ｃの他の例を示す図。 インター予測処理におけるサブマクロブロック単位の動き補償ブロックサイズの一例を示す図。 図９Ａの他の例を示す図。 図９Ａ及び図９Ｂの他の例を示す図。 図９Ａ、図９Ｂ及び図９Ｃの他の例を示す図。 図３の動きベクトルブロック生成部によって生成される動きベクトルブロックの一例を示す図。 図２の参照動きベクトルメモリに記憶される動きベクトルフレームの一例を示す図。 図３の動きベクトル生成部によって利用される動きベクトルブロック情報の説明図。 動きベクトルブロックのサイズと、図３の動きベクトル生成部によって生成される動きベクトルの数との関係を示すテーブル。 図４の動き補償部による動き補償処理の説明図。 図４の動き補償部による動き補償処理において利用可能な小数画素精度の補間処理の説明図。 図１のインター予測部による動きベクトルブロック予測処理を示すフローチャート。 図１６のステップＳ４０２における処理によって分割されたマクロブロック内のインデクスの一例を示す図。 図１６のステップＳ４０４における処理の説明図。 図１のインター予測部による動きベクトルブロック予測処理の適用例を概念的に示す図。 図１９の他の例を概念的に示す図。 空間ＳＫＩＰモードの説明図。 第２の実施形態に係る画像符号化装置を示すブロック図。 図２２の予測部を示すブロック図。 複数フレームを利用する場合における、図１のインター予測部による動きベクトルブロック予測処理の一例の説明図。 図２４Ａの他の例の説明図。 図１の画像符号化装置が使用するシンタクス構造の一例を示す図。 図２５のマクロブロックレイヤーシンタクスの一例を示す図。 図２５のマクロブロックプレディクションシンタクスの一例を示す図。 図２５のマクロブロックプレディクションシンタクスのサブマクロブロックに関する一例を示す図。 第３の実施形態に係る画像符号化装置を示すブロック図。 図２９の予測部を示すブロック図。 図３０の第２インター予測部を示すブロック図。 図２５のシーケンスパラメータセットシンタクスの一例を示す図。 図２５のピクチャパラメータセットシンタクスの一例を示す図。 図２５のスライスヘッダシンタクスの一例を示す図。 図２５のマクロブロックレイヤーシンタクスの一例を示す図。 図２７の他の例を示す図。 図２８の他の例を示す図。 動きベクトルブロックＳＫＩＰモードにおける、mv_block_in_mb_flagの符号化省略処理を示すフローチャート。 第４の実施形態に係る画像復号化装置における動きベクトル導出部を示すブロック図。 図３９の動きベクトル導出部を含む画像復号化装置を示すブロック図。 図３９の動きベクトルブロック処理部を示すブロック図。 図４０のインター予測部を示すブロック図。 第５の実施形態に係る画像復号化装置を示すブロック図。 図４３の予測部を示すブロック図。 第６の実施形態に係る画像復号化装置を示すブロック図。 図４５の予測部を示すブロック図。 図４６の第２インター予測部を示すブロック図。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る画像符号化装置は、画像符号化部１０００、符号化制御部１３０及び出力バッファ１１２を有する。図１の画像符号化装置は、ＬＳＩチップなどのハードウエアにより実現されてよいし、コンピュータに画像符号化プログラムを実行させることにより実現されてもよい。画像符号化部１０００は、インター予測部１０１、減算部１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算部１０６、参照画像メモリ１０７及び動きベクトル導出部１２４を有する。

符号化制御部１３０は、発生符号量のフィードバック制御、量子化制御、予測モード制御及びエントロピー符号化制御といった画像符号化部１０００による符号化処理全般を制御する。具体的には、符号化制御部１３０は、画像符号化部１０００の各部に符号化制御情報３０を設定し、また、画像符号化部１０００の各部からフィードバック情報３１を適宜取得する。符号化制御情報３０には、予測情報２２（予測モード情報及びブロックサイズ切り替え情報を含む）、動きベクトル情報１８、動きベクトルブロック情報２１及び量子化パラメータ（量子化幅（量子化ステップサイズ）及び量子化マトリクスなどを含む）等が含まれる。フィードバック情報３１は、画像符号化部１０００による発生符号量を含み、例えば上記量子化パラメータの決定に用いられる。

画像符号化部１０００には、動画像または静止画像である原画像１０が、所定の処理単位（例えば、マクロブロック、サブブロックまたは１画素などの小画素ブロック）に分割されたうえで入力される。尚、上記処理単位はフレームまたはフィールドでもよい。以下の説明では、特に断りのない限り上記処理単位をマクロブロックとし、処理対象であるマクロブロック単位の原画像１０を特に符号化対象ブロックと称する。

符号化対象ブロックのサイズは、図６Ａに示すような１６×１６画素、図６Ｂに示すような８×８画素、或いは図６Ｃに示すような４×４画素であってもよいし、図示しないその他のサイズ（例えば３２×３２画素）でもよい。また、マクロブロックの形状は、正方形状に限らず任意形状でよいが、以下の説明では、マクロブロックの形状は正方形状であるものとする。

また、原画像１０の符号化対象フレームを構成する各符号化対象ブロックに対する符号化処理順序は任意であるが、以下の説明では、図５に示すように左上から右下に至るまで、いわゆるラスタ・スキャン順に処理が行われるものとする。

インター予測部１０１は、後述する参照画像メモリ１０７から取得した参照画像（参照画像信号）１７と、後述する動きベクトル導出部１２４から入力される複数の動きベクトル情報１８と、符号化制御部１３０から通知される予測情報２２とに基づきインター予測を行って、符号化対象ブロックの予測画像（予測画像信号）１１を生成する。インター予測部１０１は、予測画像１１を減算部１０２及び加算部１０６に入力する。尚、インター予測部１０１による予測処理は、図１の画像符号化装置が行う特徴的な予測処理に過ぎず、図１の画像符号化装置は、いわゆる通常のインター予測処理及びイントラ予測処理を選択的に行って予測画像１１を生成してもよい。インター予測部１０１による予測処理の詳細は後述する。

減算部１０２は、符号化対象ブロックより予測画像１１を減算し、予測誤差（予測誤差信号）１２を変換・量子化部１０３に入力する。

変換・量子化部１０３は、減算部１０２からの予測誤差１２に対して変換処理・量子化処理を行って、量子化された変換係数（以下、単に量子化変換係数と称する）１３をエントロピー符号化部１０４及び逆変換・逆量子化部１０５に入力する。上記変換処理は、例えば離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）、ウェーブレット変換または独立成分解析などである。上記量子化処理は、符号化制御部１３０によって設定される量子化パラメータに従って行われる。

エントロピー符号化部１０４は、変換・量子化部１０３からの量子化変換係数１３、符号化制御部１３０からの動きベクトルブロック情報２１、予測情報２２及び量子化パラメータ等を含む符号化パラメータに対しエントロピー符号化を行って、符号化データ１４を出力バッファ１１２に入力する。上記エントロピー符号化処理は、例えば等長符号化、ハフマン符号化または算術符号化等である。尚、従来の画像符号化装置は、インター予測を行った場合には動きベクトル情報１８を符号化する必要があるが、図１の画像符号化装置は、上記動きベクトル情報１８の符号化を行わず、動きベクトルブロック情報２１を符号化する。符号化データ１４は、多重化された状態で出力バッファ１１２に一時的に蓄積され、符号化制御部１３０によって管理される出力タイミングに応じ、図１の画像符号化装置の外部に出力される。ここで、図１の画像符号化装置の外部とは、図示しない蓄積系（蓄積メディア）または伝送系（通信回線）である。

逆変換・逆量子化部１０５は、変換・量子化部１０３からの量子化変換係数１３に対して、逆量子化・逆変換を行って予測誤差１２を復号化し、復号予測誤差１５として加算部１０６に入力する。上記逆量子化処理は、符号化制御部１３０によって設定される量子化パラメータに従って行われる。また、上記逆変換処理は、前述した変換処理の逆変換処理であって、例えば逆離散コサイン変換（ＩＤＣＴ；Inverse Discrete Cosine Transform）または逆ウェーブレット変換などである。

加算部１０６は、逆変換・逆量子化部１０５からの復号予測誤差１５と、インター予測部１０１からの予測画像１１とを加算し、符号化対象ブロックの局所復号画像１６を生成する。加算部１０６は、局所復号画像（局所復号画像信号）１６を参照画像メモリ１０７に参照画像（参照画像信号）１７として記憶させる。

参照画像メモリ１０７には、例えばフレーム単位で参照画像１７が記憶され、インター予測部１０１によって必要に応じて読み出される。

動きベクトル導出部１２４は、符号化制御部１３０からの動きベクトルブロック情報２１及び予測情報２２に基づき、複数の動きベクトル情報１８を導出する。具体的には、図２に示すように、動きベクトル処理部１０８及び参照動きベクトルメモリ１０９を有する。

動きベクトル処理部１０８は、符号化制御部１３０からの動きベクトルブロック情報２１及び予測情報２２に基づき、参照動きベクトルメモリ１０９から参照動きベクトル情報１９を取得し、複数の動きベクトル情報１８を導出する。尚、動きベクトル処理部１０８による動きベクトル導出処理の詳細は後述する。

参照動きベクトルメモリ１０９には、既に符号化済みの動きベクトル情報１８が、参照動きベクトル情報１９として一時的に保存される。より詳細には、図１１に示すように、参照動きベクトルメモリ１０９には、参照動きベクトル情報１９がフレーム単位で保存され、参照動きベクトルフレーム１１４を形成している。参照動きベクトルメモリ１０９には、符号化済みの動きベクトル情報１８が順次入力され、時間的位置に応じた参照動きベクトルフレーム１１４を構成する参照動きベクトル情報１９として保存される。図１１において、参照動きベクトルフレーム１１４を構成する参照動きベクトル情報１９の動き補償ブロックサイズは４×４画素であるが、２×２画素や１画素単位でもよく、また、矩形状に限らず任意形状でもよい。また、図１０に示すように、動きベクトルブロック２８は４×４の１６個の参照動きベクトル情報１９の集合であるが、動きベクトルブロック２８の具体的態様はこれに限られない。

以下、図３を用いて動きベクトルブロック処理部１０８による動きベクトル導出処理を説明する。図３に示すように、動きベクトルブロック処理部１０８は、動きベクトルブロック生成部１１０及び動きベクトル生成部１１１を有する。

動きベクトルブロック生成部１１０は、動きベクトルブロック情報２１を取得し、当該動きベクトルブロック情報２１に応じた参照動きベクトル情報１９の集合である動きベクトルブロック２８を生成する。動きベクトルブロック生成部１１０は、動きベクトルブロック２８を動きベクトル生成部１１１に入力する。

動きベクトルブロック情報２１は、図１２に示すように、参照動きベクトルフレーム１１４内における動きベクトルブロック２８の空間的位置を示す情報である。以下の説明では、参照動きベクトルフレーム１１４内において、符号化対象ブロックの左上頂点と同一位置を基準点とし、当該基準点から上記動きベクトルブロック２８の左上頂点までの空間的シフト量を動きベクトルブロック情報２１とする。本実施形態において、輝度信号に関し、参照動きベクトル情報１９の動き補償ブロックサイズは４×４画素なので、動きベクトルブロック情報２１は、次の数式（１）に示すような４×４画素精度の情報である。

数式（１）において、（blk_x, blk_y）は符号化対象ブロックの左頂点位置のフレーム内における垂直方向及び水平方向のインデクス（座標）を示し、（mvblk_x_pos, mvblk_y_pos）は動き補償ブロック２８の左頂点位置の参照動きベクトルフレーム１１４内における垂直方向及び水平方向のインデクスを示し、（mvblk_x, mvblk_y）は動きベクトルブロック情報２１の垂直方向及び水平方向成分を示している。動きベクトルブロック２８のサイズと、当該動きベクトルブロック２８内に含まれる参照動きベクトル情報１９の数との関係は、図１３に示す通りである。尚、動きベクトルブロック情報２１は、既に符号化済みの他の動きベクトルブロックベクトル情報２１に対する差分によって表現されてもよい。

尚、動きベクトルブロック２８のサイズは、符号化対象ブロックと同サイズであってもよいし、符号化対象ブロックを分割したサイズでもよい。例えば、符号化対象ブロックが１６×１６画素ブロックであれば、動きベクトルブロック２８は１６×１６画素ブロック、１６×８画素ブロック、８×１６画素ブロック、８×８画素ブロック、８×４画素ブロック、４×８画素ブロックまたは４×４画素ブロックのいずれでもよい。動きベクトルブロック２８のサイズを、符号化対象ブロックを分割したサイズとする場合、当該分割数に応じた数の動きベクトルブロック情報２１が取得されることが望ましい。

ここで、動きベクトルブロックベクトル情報２１を利用することの技術的意義を説明する。
動きベクトルブロック２８には、例えば図１０に示すように４×４の計１６個の参照動きベクトル情報１９が含まれており、後述するインター予測部１０１は当該１６個の参照動きベクトル情報１９を符号化対象ブロックに適用することができる。例えば符号化対象ブロックのサイズが１６×１６画素であれば、インター予測部１０１はこれを更に分割した４×４画素ブロック単位での動き補償を行うことが可能となり、インター予測処理の精度向上が期待できる。また、H.264では個々の動きベクトル情報１８を符号化する必要があるが、前述したようにエントロピー符号化部１０４は上記動きベクトルブロック２８に含まれる個々の参照動きベクトル情報１９を動きベクトル情報１８として符号化する必要は無く、動きベクトルブロック情報２１のみを符号化すればよい。従って、本実施形態に係る画像符号化装置によれば、動きベクトル情報に関する符号量（オーバーヘッド）を削減することができる。また、H.264における動きベクトル情報は、１／４画素精度の情報であるのに対し、動きベクトルブロック情報２１は４画素精度の情報であるので、情報量は１／１６程度に抑えられる。

また、動きベクトルブロック情報２１は、外部から与えられてもよいし、いわゆる動き探索処理を利用して動きベクトルブロック２８を参照動きベクトルフレーム１１４から実際に探索することにより導出されてもよい。上記動き探索処理において、後述する数式（５）または（６）に示すコストを利用してもよい。参照動きベクトルフレーム１１４において符号化対象ブロックと同一位置から、上記動き探索処理の結果得られた最適な動きベクトルブロック２８までの空間的シフト量が動きベクトルブロック情報２１として利用される。

動きベクトル生成部１１１は、動きベクトルブロック生成部１１０からの動きベクトルブロック２８に含まれる参照動きベクトル情報１９に基づき、符号化対象ブロックを分割した複数の小画素ブロック（小画素ブロック信号）２３の各々に関する動きベクトル情報１８を生成し、出力する。具体的には、動きベクトル生成部１１１は、小画素ブロック２３に関する動きベクトル情報１８として、適切な参照動きベクトル情報１９を代入する。例えば、小画素ブロック２３のブロックサイズと、参照動きベクトル情報１９の動き補償ブロックサイズが一致しているならば、各小画素ブロック２３と各参照動きベクトル情報１９とが位置的に一対一に対応するので、動きベクトル生成部１１１は小画素ブロック２３に対応する動きベクトル情報１８として当該小画素ブロック２３に位置的に対応する参照動きベクトル情報１９を逐次代入すればよい。小画素ブロック２３のブロックサイズと、参照動きベクトル情報１９の動き補償ブロックサイズとが異なる場合には、動きベクトル生成部１１１は例えば小画素ブロック２３と空間的位置が重複する動き補償ブロックに対応する参照動きベクトル情報１９を代入すればよい。

また、動きベクトル生成部１１１は、小画素ブロック２３に対応する動きベクトル情報１８として参照動きベクトル情報１９をそのまま代入するのでなく、以下のような変形を加えてよい。

（Ａ）参照動きベクトル情報１９の反転ベクトル（マイナス値）を代入
（Ｂ）参照動きベクトル情報１９と、当該参照動きベクトル情報１９に隣接する参照動きベクトル情報との加重平均値、メディアン値、最大値または最小値を代入
（Ｃ）参照フレーム番号または動きベクトルブロックの時間的位置に応じ、参照動きベクトルを正規化した値を代入
ここで、正規化は、参照動きベクトル情報１９が参照するフレームの時間的距離と、符号化対象ブロックが参照するフレームの時間的距離とが異なる場合に行われることが望ましい。具体的には、参照動きベクトル情報１９が属する参照動きベクトルフレーム１１４と、当該参照動きベクトル情報１９が参照する参照画像１７との間の時間的距離をＴＲ、符号化対象ブロックの属するフレームと、当該符号化対象ブロックの参照画像１７との間の時間的距離をＴＣとすると、参照動きベクトル情報１９をＴＣ／ＴＲ倍した値を動きベクトル情報１８として代入すればよい。

尚、符号化対象ブロックをどのように複数の小画素ブロック２３に分割するかは、予測情報２２によって指定される。例えば、符号化対象ブロックが１６×１６画素のマクロブロックであれば、４×４画素ブロックや１画素等が小画素ブロック２３の例として挙げられる。前述したように参照動きベクトル情報１９に基づいて、小画素ブロック２３に関する動きベクトル１８が生成されるため、参照動きベクトル情報１９の動き補償ブロックサイズは、小画素ブロック２３のブロックサイズ以下であることが望ましい。例えば、小画素ブロック２３のブロックサイズが４×４画素であれば、参照動きベクトル情報１９の動き補償ブロックサイズは４×４画素であってもよいし、２×２画素であってもよいし、１画素であってもよい。

以下、インター予測部１０１によるインター予測処理を説明する。
まず、インター予測部１０１によるインター予測処理が理解しやすいように、図１の画像符号化装置が利用可能なその他の予測処理を説明する。図１の画像符号化装置は、複数の予測モードが利用可能であり、各予測モードは予測画像１１を生成するための予測処理や動き補償ブロックサイズが互いに異なる。尚、予測モードは予測情報２２によって指定される。上記予測処理は、空間方向の予測処理及び時間方向の予測処理に大別され、夫々イントラ予測（フレーム内予測）及びインター予測（フレーム間予測）と称される。イントラ予測は、符号化対象ブロックと同一のフレームまたはフィールドの参照画像１７を用いて予測画像１１を生成する。インター予測は、符号化対象ブロックと時間的位置の異なるフレームまたはフィールドの参照画像１７用いて予測画像１１を生成する。

通常のインター予測に関して更に詳細に説明すると、例えば図７Ａに示すように、参照画像１７において符号化対象ブロックと同一位置から、動きベクトル情報１８に応じて空間的にシフトした位置の画素ブロックを予測画像１１として生成する。尚、上記インター予測では、小数画素精度の動き補償が可能であり、例えばH.264では輝度信号に関して１／２画素精度及び１／４画素精度の動き補償が可能である。１／４画素精度の動き補償を行う場合、動きベクトル情報１８の情報量は整数画素精度の動き補償を行う場合の１６（＝４×４）倍となる。

また、インター予測処理において、参照可能なフレーム数は１つに限られず、例えば図７Ｂに示すように、時間的位置が異なる複数の参照画像１７を利用してもよい。複数の参照画像１７を利用する場合、いずれの参照画像１７が参照されたかは参照フレーム番号によって識別される。参照フレーム番号は、各画素領域単位（ピクチャまたはブロック単位など）で変更されてもよい。参照フレーム番号は、例えば符号化対象ブロックの属するフレームの１つ前のフレームに対して「０」、２つ前のフレームに対して「１」などが与えられる。また、参照フレーム数が１である場合には、当該参照フレームの参照フレーム番号は「０」などで固定される。

また、インター予測処理において、複数の動き補償ブロックサイズの中から符号化対象ブロックに適したものを選択することができる。具体的には、マクロブロックに関し、図８Ａに示す１６×１６画素、図８Ｂに示す１６×８画素、図８Ｃに示す８×１６画素及び図８Ｄに示す８×８画素等が選択可能であり、サブマクロブロックに関し、図９Ａに示す８×８画素、図９Ｂに示す８×４画素、図９Ｃに示す４×８画素及び図９Ｄに示す４×４画素等が選択可能である。上記動き補償ブロック毎に個別に動きベクトルを導出することが可能なので、符号化対象ブロックの局所的な性質に従って、最適な動き補償ブロックの形状（サイズ）及び動きベクトルが選択される。

図４に示すように、インター予測部１０１は、予測画像信号統合部１１５及び複数の動き補償部１１３を有する。
複数の動き補償部１１３の各々は、符号化対象ブロックを分割した複数の小画素ブロック２３の各々に対して小予測画像２４を生成する。動き補償部１１３は、小予測画像２４を予測画像信号統合部１１５に入力する。

動き補償部１１３は、図１４に示すように、参照画像１７において小画素ブロック２３と同一位置から、当該小画素ブロック２３に関する動きベクトル情報１８に応じて空間シフトした位置の画素ブロックを小予測画像（小予測画像信号）２４として生成する。動き補償部１１３が小画素ブロック２３に対して行う動き補償処理は、H.264における動き補償処理と同様に実現できる。具体的には、１／２画素精度や１／４画素精度の動き補償処理が利用可能である。１／４画素精度までの動き補償を行う場合、小予測画像２４の位置は以下の数式（２）によって定められる。

数式（２）におて、（x, y)は小画素ブロック２３の左上頂点を示す水平方向のインデクス及び垂直方向のインデクス、（mv_x, mv_y）は動きベクトル情報１８の水平方向成分及び垂直方向成分、（x_pos, y_pos）は小予測画像２４の左上頂点を示す水平方向のインデクス及び垂直方向のインデクスを夫々示す。小予測画像２４の左上頂点（x_pos, y_pos）は、動きベクトル情報１８の水平方向成分mv_x及び垂直方向成分mv_yが４の倍数であれば整数画素位置、４の倍数でない２の倍数であれば１／２画素位置、奇数であれば１／４画素位置である。小予測画像２４の左上頂点（x_pos, y_pos）が１／２画素位置または１／４画素位置であれば、画素値の補間処理が必要である。具体的には、図１５において、左下斜線のみが付されたブロックは整数画素位置に対応する画素、左下斜線及び右下斜線が付されたブロックは１／２画素位置に対応する画素、その他のブロックは１／４画素位置に対応する画素を夫々示す。

１／２画素位置に対応する画素の画素値ｂ及びｈは、以下の補間式（３）によって導出される。

数式（３）において＞＞は右シフト演算を示し、＞＞５は３２で除算することに相当する。即ち、１／２画素位置に対応する画素の画素値は、６タップＦＩＲ（Finite Impulse Response）フィルタ（タップ係数：（1，−５，２０，２０、−５，１）／３２）を用いて生成される。

また、１／４画素位置に対応する画素の画素値ａ及びｄは、以下の補間式（４）によって導出される。

即ち、１／４画素位置に対応する画素の画素値は、２タップの平均値フィルタ（タップ係数：（１／２，１／２））を用いて生成される。尚、４つの整数画素位置の中間に存在する画素の画素値ｊは、垂直方向６タップＦＩＲフィルタ及び水平方向６タップＦＩＲフィルタを適宜組み合わせて生成される。例えば、垂直方向６タップＦＩＲフィルタを用いて画素値ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、及びｆｆを生成し、これらに水平方向６タップＦＩＲフィルタを適用することにより画素値ｊが生成される。また、水平方向６タップＦＩＲフィルタを用いて画素値ａａ、ｂｂ、ｂ、ｓ、ｇｇ及びｈｈを生成し、これらに垂直方向６タップＦＩＲフィルタを適用することにより画素値ｊが生成される。その他の位置に対応する画素の画素値も同様の補間ルールに従って生成できる。

尚、数式（３）及び（４）とは異なる補間処理を行って、小数精度画素位置に対応する画素の画素値を生成してもよい。また、補間係数は、前述したものに限らず、符号化制御部１３０によって固定値または可変値が設定されてもよい。更に、補間係数を可変とする場合、後述する符号化コストの観点からフレーム毎に補間係数が最適化されてもよい。

予測画像信号統合部１１５は、複数の動き補償部１１３からの小予測画像２４を統合し、符号化対象ブロックに対応する予測画像１１を生成する。即ち、個々の小画素ブロック２３に対応する小予測画像２４を統合することにより、当該小画素ブロック２３に分割する前の符号化対象ブロックに対応する予測画像１１が得られる。ここで、統合とは、小予測画像２４をつなぎ合わせて、予測画像１１を生成することを意味する。

以上説明したように、インター予測部１０１によるインター予測処理は、通常のインター予測処理とは異なり、動きベクトルブロック２８を利用する点が特徴的である。以降、動きベクトルブロックを利用したインター予測処理を、動きベクトルブロック予測処理と称する。

以下、図１６を用いてインター予測部１０１による動きベクトルブロック予測処理の流れを説明する。尚、図１６において符号化対象ブロックは１６×１６画素のマクロブロックとし、一連の処理が終了すると次の符号化対象ブロックに対する処理を行うものとする。
まず、動きベクトルブロック生成部１１０は、動きベクトルブロック情報２１に基づき符号化対象ブロックに対応する動きベクトルブロック２８を生成する（ステップＳ４０１）。具体的には、動きベクトルブロック生成部１１０は、参照動きベクトルメモリ１０９に保存されている参照動きベクトルフレーム１１４において符号化対象ブロックと同一位置から上記動きベクトルブロック情報２１に応じて空間的にシフトした位置における、参照動きベクトル情報１９の集合を動きベクトルブロック２８として生成する。本例では、参照動きベクトル情報１９の各々の動き補償ブロックサイズは４×４画素とし、動きベクトルブロック２８には４×４の計１６個の参照動きベクトル情報１９が含まれる。

次に、動きベクトル生成部１１１は、予測情報２２に従って符号化対象ブロックを４×４画素の小画素ブロック２３に分割する（ステップＳ４０２）。尚、小画素ブロック２３の各々は、図１７に示すような「０」から「１５」までのインデクスが付与され、識別される。

次に、動きベクトル生成部１１１は、現在処理対象としている小画素ブロック２３を特定するための変数BlkIdxに初期値として「０」代入し（ステップＳ４０３）、処理はステップＳ４０４に進む。

ステップＳ４０４では、変数BlkIdxに対応する小画素ブロック２３に関する動きベクトル情報Vc(BlkIdx)として、適切な参照動きベクトル情報１９を代入する。本例では、小画素ブロック２３のブロックサイズ（４×４画素）と、参照動きベクトル情報１９の動き補償ブロックサイズ（４×４画素）とが一致しているため、図１８に示すように、動きベクトル情報Vc(BlkIdx)には同一位置の参照動きベクトル情報Vr(BlkIdx）を代入することが望ましい。

次に、複数の動き補償部１１３のいずれか１つが、変数BlkIdxに対応する小画素ブロック２３に関する動きベクトル情報Vc(BlkIdx)を用いて動き補償を行って、当該小画素ブロック２３に対応する小予測画像２４を生成する（ステップＳ４０５）。

次に、動きベクトル生成部１１１は、変数BlkIdxに対応する小画素ブロック２３に関する動きベクトル情報Vc(BlkIdx)を参照動きベクトルメモリ１０９に保存させる（ステップＳ４０６）。動きベクトル生成部１１１は、変数BlkIdxを１インクリメントし（ステップＳ４０７）、変数BlkIdxと定数BLK_MAXとの大小比較を行う（ステップＳ４０８）。ここで、定数BLK_MAXは変数BlkIdxの最大値であり、本例では「１５」が設定される。

変数BlkIdxが定数BLK_MAXを超えれば（ステップＳ４０８）、処理はステップＳ４０９に進み、変数BlkIdxが定数BLK_MAX以下であれば（ステップＳ４０８）、処理はステップＳ４０４に戻る。

ステップＳ４０９では、予測画像信号統合部１１５が、ステップＳ４０４乃至ステップＳ４０８の処理ループにより得られた全ての小予測画像２４を統合し、符号化対象ブロックに対応する予測画像１１を生成し（ステップＳ４０９）、当該符号化対象ブロックに対する動きベクトルブロック予測処理が終了する。

以下、動きベクトルブロック予測処理の適用例を、図１９を用いて概念的に説明する。
図１９において、横軸が時間方向、縦軸が空間方向のうち垂直方向のみを夫々表す。より具体的には、時間ｔのフレームにおけるC0、C2、C8及びC10は、夫々符号化対象ブロックのインデクス０、２、８及び１０に対応する小画素ブロック２３を示している。符号化対象ブロックに対応する動きベクトルブロック情報２１に基づき、小画素ブロックC0、C2、C8及びC10に対応する動きベクトル情報Vc(0)、Vc(2)、Vc(8)及びVc(10)として、参照動きベクトル情報Vr(0)、Vr(2)、Vr(8)及びVr(10)が夫々代入される。小画素ブロックC0、C2、C8及びC10に対応する動きベクトル情報Vc(0)、Vc(2)、Vc(8)及びVc(10)が生成されると、小予測画像P0、P2、P8及びP10が夫々生成される。このように、動きベクトルブロック予測処理が適用される場合、動きベクトルブロック情報２１さえ符号化すれば、各小画素ブロック２３に対する小予測画像２４の生成において個別の動きベクトル情報１８を利用することが可能となる。一方、通常のインター予測処理では、小予測画像２４の生成において個別の動きベクトル情報１８を利用するためには、当該個別の動きベクトル情報１８を符号化する必要がある。この点において、動きベクトルブロック予測処理は、インター予測処理に比べて動きベクトル情報に関する符号量を削減できる。

以下、動きベクトルブロック予測処理の図１９とは異なる例を、図２０を用いて概念的に説明する。
図１９の例では、参照フレームが固定されていたが、前述したように参照フレームは任意に選択されてもよい。図２０に示す例では、いずれの参照フレームが参照されているかが参照フレーム番号によって識別されるものとし、当該参照フレーム番号には符号化対象ブロックの属するフレームから参照フレームまでの時間的シフト量に応じた値が設定されるものとする。例えば、符号化対象ブロックの属するフレームの１つ前の参照フレームには「０」、２つ前の参照フレームには「１」が夫々参照フレーム番号として設定されるものとする。

図２０において、横軸が時間方向、縦軸が空間方向のうち垂直方向のみを夫々表す。より具体的には、時間ｔのフレームにおけるC0、C2、C8及びC10は、夫々符号化対象ブロックのインデクス０、２、８及び１０に対応する小画素ブロック２３を示している。符号化対象ブロックに対応する動きベクトルブロック情報２１に基づき、小画素ブロックC0、C2、C8及びC10に対応する動きベクトル情報Vc(0)、Vc(2)、Vc(8)及びVc(10)として、参照動きベクトル情報Vr(0)、Vr(2)、Vr(8)及びVr(10)が夫々代入される。ここで、参照動きベクトル情報Vr(0)、Vr(2)、Vr(8)及びVr(10)には、参照フレーム内における空間的シフト量である参照動きベクトルのみならず、時間的シフト量である参照フレーム番号も含まれているものとし、当該参照フレーム番号も動きベクトル情報Vc(0)、Vc(2)、Vc(8)及びVc(10)として代入されるものとする。小画素ブロックC0、C2、C8及びC10に対応する動きベクトル情報Vc(0)、Vc(2)、Vc(8)及びVc(10)が生成されると、小予測画像P0、P2、P8及びP10が夫々生成される。このように、動きベクトルブロック予測処理において、参照動きベクトルのみならず、参照フレーム番号をも小画素ブロック２３に対応する動きベクトル情報１８として代入することにより、小予測画像２４の生成において参照フレームの異なる個別の動きベクトル情報１８を利用できる。

以下、動きベクトルブロック予測処理におけるＳＫＩＰモードを説明する。
まず、動きベクトルブロック予測処理におけるＳＫＩＰモードが理解しやすいように、いわゆるH.264における空間ＳＫＩＰモードを説明する。空間ＳＫＩＰモードでは、符号化対象ブロックに関する動きベクトル情報１８及び量子化変換係数１３等の符号化が行われない。具体的には、図２１に示すように、符号化対象ブロックに隣接する符号化済みマクロブロックＡ、Ｂ及びＣの動きベクトル情報１８のメディアン値によって参照される参照画像（符号化対象ブロックと同サイズ）がそのまま復号画像及び局所復号画像１６として使用される。従って、空間ＳＫＩＰモードによれば、符号化対象ブロックの動きベクトル情報１８及び量子化変換係数１３等を符号化する必要がない。

一方、動きベクトルブロック予測処理におけるＳＫＩＰモードは次の通りである。尚、以降の説明において、上記ＳＫＩＰモードを動きベクトルブロックＳＫＩＰモードと称する。

動きベクトルブロックＳＫＩＰモードでは、符号化対象ブロックに対応する動きベクトルブロック情報２１を符号化しない。具体的には、既に符号化済であって、かつ、１つ前の参照動きベクトルフレーム１１４において空間的に同位置の動きベクトルブロック２８が、符号化対象ブロックに対応する動きベクトルブロック２８として用いられる。即ち、動きベクトルブロック情報２１は、「０（同位置）」となる。また、動きベクトルブロックＳＫＩＰモードにおいても、符号化対象ブロックに対応する量子化変換係数１３を符号化する必要はなく、動きベクトルブロック２８に含まれる参照動きベクトル情報１８によって参照される個々の参照画像（小画素ブロック２３と同サイズ）が統合され、そのまま復号画像及び局所復号画像１６として利用される。

動きベクトルブロックＳＫＩＰモードの他のバリエーションとして、既に符号化済みの隣接ブロックにおける動きベクトル情報１８または動きベクトルブロック情報２１を利用して、符号化対象ブロックに対応する動きベクトルブロック情報２１を導出してもよい。具体的には、複数の隣接ブロックに対応する動きベクトルブロック情報２１のメディアン値、平均値、最大値または最小値などが、符号化対象ブロックに対応する動きベクトルブロック情報２１として導出されてもよい。

以下、動きベクトルブロック予測処理の双方向予測処理への適用例を説明する。H.264におけるＢスライスでは、符号化対象ブロックに対して２つの動きベクトル情報１８を導出し、当該２つの動きベクトル情報１８に基づく予測画像の画素単位の加重平均によって最終的な予測画像１１を生成する双方向予測処理が行われる。動きベクトルブロック予測処理を双方向予測処理に適用すると、１つの符号化対象ブロックに対し２つの動きベクトルブロック２８が生成され、当該符号化対象ブロックを構成する小画素ブロック２３の各々に対し２つの動きベクトル情報１８が与えられる。動き補償部１１３は、２つの動きベクトル情報１８に基づき、各小画素ブロック２３に対し既存の双方向予測処理と同様の予測処理を行って、小予測画像２４を生成する。

例えば、図２４Ａに示すように、過去方向の２フレームから２つの動きベクトルブロックを生成する場合であれば、時間的距離の近い動きベクトルブロック情報及び動きベクトルブロックをリスト０動きベクトルブロック情報及びリスト０動きベクトルブロックとし、時間的距離の遠い動きベクトルブロック情報及び動きベクトルブロックをリスト１動きベクトルブロック情報及びリスト１動きベクトルブロックとして夫々識別することができる。尚、リスト０及びリスト１を逆にしてもよい。

また、図２４Ｂに示すように、過去方向の１フレーム及び未来方向の１フレームから１つずつ動きベクトルブロックを生成する場合であれば、過去方向のフレームに関する動きベクトルブロック情報及び動きベクトルブロックをリスト０動きベクトルブロック情報及びリスト０動きベクトルブロックとし、未来方向のフレームに関する動きベクトルブロック情報及び動きベクトルブロックをリスト１動きベクトルブロック情報及びリスト１動きベクトルブロックとして夫々識別することができる。尚、リスト０及びリスト１を逆にしてもよい。

その他、次の場合にも動きベクトルブロック予測処理を同様に適用可能である。
（Ａ）２つの動きベクトルブロックが同一フレームに存在する場合
（Ｂ）１つの符号化対象ブロックに対して３つ以上の動きベクトルブロックが生成される場合
以下、図１の画像符号化装置が使用するシンタクス構造を説明する。
図２５に示すように、図１の画像符号化装置が使用するシンタクス構造は、ハイレベルシンタクス９０１、スライスレベルシンタクス９０４及びマクロブロックレベルシンタクス９０７の３つのパートで構成される。ハイレベルシンタクス９０１には、スライスよりも上位のレイヤ（シーケンスまたはピクチャ等）に関するシンタクス情報が記述され、シーケンスパラメータセットシンタクス９０２及びピクチャパラメータセットシンタクス９０３が含まれる。スライスレベルシンタクス９０４には、スライスに関するシンタクス情報が記述され、スライスヘッダシンタクス９０５及びスライスデータシンタクス９０６が含まれる。マクロブロックレベルシンタクス９０７には、マクロブロックに関するシンタクス情報が記述され、マクロブロックレイヤーシンタクス９０８及びマクロブロックプレディクションシンタクス９０９が含まれる。

図２６に示すように、マクロブロックレイヤーシンタクス９０８には、マクロブロックタイプ情報mb_typeが記述される。マクロブロックタイプ情報mb_typeには、当該マクロブロックに対して行われた予測処理（イントラ予測またはインター予測等）や、ブロック形状等の情報が含まれる。

図２７に示すように、マクロブロックプレディクションシンタクス９０９には、マクロブロック内の小画素ブロック単位（８×８画素ブロックや１６×１６画素ブロック等）の予測モード及び当該マクロブロックに対応する動きベクトルブロック情報２１が記述される。図２７において、前述したリスト０動きベクトルブロック情報（参照動きベクトルフレーム１１４内における空間的シフト量）がmvblk_l0、リスト１動きベクトルブロック情報がmvblk_l1で表現される。尚、１つの符号化対象ブロックに対し、１つの動きベクトルブロック２８のみが用いられる場合にはリスト１動きベクトルブロック情報mvblk_1は記述されず、３つ以上の動きベクトルブロック２８が用いられる場合にはリスト２動きベクトルブロック情報mvblk_2等が記述される。

また、マクロブロックプレディクションシンタクス９０９には、リスト０動きベクトルブロックが属する参照動きベクトルフレームを表す参照フレーム番号ref_mvblk_idx_l0及びリスト１動きベクトルブロックが属する参照動きベクトルフレームを表す参照フレーム番号ref_mvblk_idx_l1が記述される。

尚、リスト０動きベクトルブロック及びリスト１動きベクトルブロックが属する参照動きベクトルフレームが、既に符号化済みの１つ前の参照動きベクトルフレーム等に固定されている場合には、参照フレーム番号ref_mvblk_idx_l0及びref_mvblk_idx_l1を符号化する必要はない。参照フレーム番号ref_mvblk_idx_l0及びref_mvblk_idx_l1を符号化しない場合には、例えば「０」等の固定値が参照フレーム番号ref_mvblk_idx_l0及びref_mvblk_idx_l1として自動的に代入される。

図２７に示すマクロブロックプレディクションシンタクス９０９は、サブマクロブロック（８×８画素ブロック以下）に関しても同様に記述することが可能であり、一例を図２８に示す。

尚、図２６乃至２８は、本実施形態に係る画像符号化装置が使用するシンタクス構造を例示しているに過ぎず、適宜変形を加えてもよい。具体的には、図２６乃至２８において、その他のシンタクスエレメントが挿入されたり、その他の条件分岐に関する記述が含まれたりしてもよい。また、図２６乃至２８において、シンタクステーブルを複数のテーブルに分割または統合したりしてもよい。また、図２６乃至２８において、記述されている用語を変更してもよい。更に、図２６に示すマクロブロックレイヤーシンタクス９０８に記述されるシンタクスエレメントは、後述するマクロブロックデータシンタクスに記述されてもよい。

以上説明したように、本実施形態に係る画像符号化装置は、符号化対象ブロックを更に細分化した小画素ブロックの各々に対応する動きベクトル情報を纏めた動きベクトルブロックを用いて予測処理を行い、上記動きベクトル情報の個々の符号化は行わず動きベクトルブロック情報を符号化している。従って、本実施形態に係る画像符号化装置によれば、動きベクトル情報に関する符号量を削減しつつ、符号化対象ブロックよりも更に細かな小画素ブロック単位での動き補償予測を行えるため、高い符号化効率を実現できる。

（第２の実施形態）
図２２に示すように、本発明の第２の実施形態に係る画像符号化装置は、上記図１に示す画像符号化装置において、インター予測部１０１を予測部１１６に置き換えている。以下の説明では、図２２において図１と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

予測部１１６は、図２３に示すように、インター予測部１０１、イントラ予測部１１７、モード判定部１１８及びモード選択スイッチ１１９を有する。
インター予測部１０１は、第１の実施形態において説明した動きベクトルブロック予測を行って、予測画像１１をモード選択スイッチ１１９に入力する。

イントラ予測部１１７は、いわゆるH.264におけるイントラ予測処理を行う。H.264において図６Ａに示す１６×１６画素ブロック単位のイントラ予測処理、図６Ｂに示す８×８画素ブロック単位のイントラ予測処理及び図６Ｃに示す４×４画素ブロック単位のイントラ予測処理が夫々規定されている。いずれのイントラ予測処理においても、符号化対象ブロックと同一フレーム内の既に符号化済みのブロックの画素値をコピーすることによって予測画像１１が生成される。イントラ予測部１１７は、予測画像１１をモード選択スイッチ１１９に入力する。

モード判定部１１８は、符号化対象ブロック（またはスライス）に関する予測情報２２に基づき、モード選択スイッチ１１９が選択すべき予測モードを判定し、判定結果を予測モード判定情報２６としてモード選択スイッチ１１９に入力する。

モード判定部１１８は、符号化対象スライスがいわゆるＩスライスであれば、モード選択スイッチ１１９をイントラ予測部１１７に接続させる。一方、モード判定部１１８は、符号化対象スライスがいわゆるＰスライスまたはＢスライスであれば、コストに基づく予測モード判定を行う。

モード判定部１１８は、例えば次の数式（５）に従ってコストを算出する。

数式（５）において、Ｋは符号化コスト、ＳＡＤは符号化対象ブロックと予測画像１１との間の差分絶対値和（即ち、予測誤差１２の絶対値和）、ＯＨは予測情報２２に関する符号量（例えば、動きベクトルブロック情報２１の符号量及びブロック形状の符号量等）を夫々表す。また、λは量子化幅等によって定められるラグランジュ未定定数である。モード判定部１１８は、コストＫの最も小さな予測モードを最適な予測モードとして選択し、予測モード判定情報２６をモード選択スイッチ１１９に入力する。

また、モード判定部１１８が利用可能なコストは、数式（５）におけるコストＫに限られず、予測画像１１のみに基づき算出された値や、ＳＡＤのみに基づき算出された値や、予測画像１１及びＳＡＤにアダマール変換を施した値及びこれに近似した値等であってもよい。また、モード判定部１１８は、符号化対象ブロックの画素値のアクティビティ（分散）に基づき算出された値や、量子化幅または量子化パラメータに基づき算出された値をコストとして利用してもよい。

更に、モード判定部１１８は、インター予測部１０１からの予測画像１１に対応する予測誤差１２及びイントラ予測部１１７からの予測画像１１に対応する予測誤差１２を夫々仮符号化ユニットによって仮符号化した場合の発生符号量と、符号化対象ブロックと局所復号画像１６との間の二乗誤差和とを用いて符号化コストを算出し、予測モード判定に利用してもよい。具体的な符号化コストの算出式は次の数式（６）である。

数式（６）において、Ｊは符号化コスト、Ｄは符号化対象ブロックと局所復号画像１６との間の二乗誤差和を表す符号化歪み、Ｒは仮符号化による発生符号量を夫々表す。λは数式（５）と同様である。モード判定部１１８は、符号化コストＪの最も小さな予測モードを最適な予測モードとして選択し、予測モード判定情報２６をモード選択スイッチ１１９に入力する。

数式（６）における符号化コストＪを利用する場合、予測モード毎に仮符号化処理及び局所復号化処理が必要であるので、前述したその他のコストを利用する場合に比べて画像符号化装置の回路規模及び演算量は増大する。しかしながら、符号化コストＪは、前述したその他のコストに比べて予測モード判定の信頼度が高く、符号化効率の向上を期待できる。また、モード判定部１１８は、数式（６）における符号化コストＪをそのまま利用せずに、Ｒ及びＤのいずれか一方のみに基づき算出されたコストを利用してもよいし、ＲまたはＤの近似値に基づき算出されたコストを利用してもよい。

モード選択スイッチ１１９は、予測モード判定情報２６に従ってインター予測部１０１及びイントラ予測部１１７のいずれか一方から予測画像１１を取得する。モード選択スイッチ１１９によって取得された予測画像１１は、減算部１０２及び加算部１０６に入力される。

以上説明したように、本実施形態に係る画像符号化装置は、前述した第１の実施形態に係る動きベクトルブロック予測処理と、いわゆるイントラ予測処理とをマクロブロック毎、小画素ブロック毎またはフレーム毎に選択的に利用している。従って、本実施形態に係る画像符号化装置によれば、より符号化効率の高い予測処理が選択されるため、符号化効率の向上が期待できる。

（第３の実施形態）
図２９に示すように、本発明の第３の実施形態に係る画像符号化装置は、上記図２２に示す画像符号化装置において、予測部１１６を予測部１２５に置き換え、動きベクトル推定部１２０を更に設けている。以下の説明では、図２９において図２２と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

予測部１２５は、図３０に示すように、第１インター予測部１０１、イントラ予測部１１７、第２インター予測部１２１、モード判定部１２２及びモード選択スイッチ１２３を有する。

第１インター予測部１０１及びイントラ予測部１１７は、前述した動きベクトルブロック予測処理及びイントラ予測処理を夫々行って予測画像１１を生成し、モード選択スイッチ１２３に入力する。尚、後述する第２インター予測部１２１と区別するために、図２２におけるインター予測部１０１の名称を図２９において第１インター予測部１０１へと便宜的に改めている。

第２インター予測部１２１は、いわゆるH.264におけるインター予測処理を行う。第２インター予測部１２１は、後述する動きベクトル推定部１２０からの動きベクトル情報２５と、参照画像メモリ１０７からの参照画像１７とに基づき予測画像１１を生成する。第２インター予測部１２１は、図３１に示すように１つの動き補償部１２６を有する。

動き補償部１２６は、動きベクトル情報２５を用いて参照画像１７の動き補償を行う。即ち、動き補償部１２６は、参照画像１７において動きベクトル情報２５が指し示す画素ブロックを予測画像１１として出力する。

モード判定部１２２及びモード選択スイッチ１２３の基本的機能は、図２３におけるモード判定部１１８及びモード選択スイッチ１１９と同様であるが、第２インター予測部１２１からの予測画像１１を選択可能な点が異なる。尚、モード選択スイッチ１１９によって第２インター予測部１２１からの予測画像１１が選択された場合、エントロピー符号化部１０４は動きベクトルブロック情報２１ではなく動きベクトル情報２５に対してエントロピー符号化処理を行う。

以下、通常のインター予測処理と、動きベクトルブロック予測処理とを選択的に利用することの技術的意義を説明する。
通常のインター予測処理は、後述するように符号化対象ブロックに対するマッチングによって推定した動きベクトル情報２５を利用するため、予測精度が高い。しかしながら、符号化対象ブロックを分割するほど（即ち、動き補償対象ブロックを多く設けるほど）、符号化の必要な動きベクトル情報２５も追随して増加するため符号量が増大する。

一方、動きベクトルブロック予測処理は、個々の動きベクトル情報１８を符号化する必要は無いが、参照動きベクトル情報１９の集合を動きベクトルブロック２８として利用するため、第２インター予測処理に比べて動きベクトル情報１８の選択の自由度が低い。

換言すれば、第２インター予測処理は予測誤差を抑える観点において、動きベクトル予測処理は符号量を抑える観点において夫々他方に比べて優れる。従って、両者を選択的に利用することにより、符号化効率を更に高めることが可能となる。

動きベクトル推定部１２０は、符号化対象ブロックと、参照画像１７とに基づき動きベクトル情報２５を推定する。具体的には、動きベクトル推定部１２０は、符号化対象ブロックと参照画像１７の補間画像との間でブロックマッチングを行う。動きベクトル推定部１２０は、上記ブロックマッチングにおいて例えば両者の間の誤差を画素毎に累積した値を算出し、当該累積値の最も小さくなる動きベクトル情報を動きベクトル情報２５として推定する。また、動きベクトル推定部１２０は、上記累積値に何らかの変換を行って得られる値を評価値としてもよい。更に、動きベクトル推定部１２０は、動きベクトル情報２５の大きさや符号量、数式（５）または（６）を推定に利用してもよい。また、動きベクトル推定部１２０は、符号化装置の外部から指定される探索範囲情報に基づいて探索範囲内を全探索してもよいし、画素精度に応じて階層的に探索してもよい。また、動きベクトル推定部１２０は、探索処理を行わず、符号化制御部１３０から入力される動きベクトル情報２５を出力してもよい。

前述した第１の実施形態に係る画像符号化装置は、図２７に示すマクロブロックプレディクションシンタクス９０９を使用していたが、本実施形態に係る画像符号化装置は、図３６に示すマクロブロックプレディクションシンタクス９０９を使用する。

図３６において、mv_block_in_mb_flagは、マクロブロックに対して動きベクトルブロック予測処理が適用されるか否かを示すフラグである。mv_block_in_mb_flagが「１(TRUE)」であればマクロブロックに対して動きベクトルブロック予測処理が適用され、「０(FALSE)」であればマクロブロックに対して動きベクトルブロック予測処理が適用されない。mv_block_in_mb_flagが「１(TRUE)」の場合には、図２７に示すマクロブロックプレディクションシンタクス９０９と同様に、リスト０動きベクトルブロック情報mvblk_l0、リスト１動きベクトルブロック情報がmvblk_l1、リスト０動きベクトルブロックの参照フレーム番号ref_mvblk_idx_l0及びリスト１動きベクトルブロックの参照フレーム番号ref_mvblk_idx_l1等が記述される。図３６に示すマクロブロックプレディクションシンタクス９０９は、サブマクロブロック（８×８画素ブロック以下）に関しても同様に記述することが可能であり、一例を図３７に示す。

本実施形態に係る画像符号化装置は、図３２に示すシーケンスパラメータセットシンタクス９０２を使用する。図３２において、mv_block_in_seq_flagは、シーケンス内で動きベクトルブロック予測処理が適用可能であるか否かを示すフラグである。mv_block_in_seq_flagが「１(TRUE)」であればシーケンス内で動きベクトルブロック予測処理の適用が可能であり、「０(FALSE)」であればシーケンス内で動きベクトルブロック予測処理の適用が不可能である。

本実施形態に係る画像符号化装置は、図３３に示すピクチャパラメータセットシンタクス９０３を使用する。図３３において、mv_block_in_pic_flagは、ピクチャ内で動きベクトルブロック予測処理が適用可能であるか否かを示すフラグであり、前述したmv_block_in_seq_flagが「１(TRUE)」の場合に記述される。mv_block_in_pic_flagが「１(TRUE)」であればピクチャ内で動きベクトルブロック予測処理の適用が可能であり、「０(FALSE)」であればピクチャ内で動きベクトルブロック予測処理の適用が不可能である。

本実施形態に係る画像符号化装置は、図３４に示すスライダヘッダシンタクス９０５を使用する。図３４において、mv_block_in_slice_flagは、スライス内で動きベクトルブロック予測処理が適用可能であるか否かを示すフラグであり、前述したmv_block_in_pic_flagが「１(TRUE)」の場合に記述される。mv_block_in_slice_flagが「１(TRUE)」であればスライス内で動きベクトルブロック予測処理の適用が可能であり、「０(FALSE)」であればスライス内で動きベクトルブロック予測処理の適用が不可能である。

本実施形態に係る画像符号化装置は、図３５に示すマクロブロックレイヤーシンタクス９０８を使用する。図３５において、mv_block_in_mb_flagは、前述したmv_block_in_slice_flagが「１(TRUE)」の場合に記述される。

尚、前述したフラグ（シンタクスエレメント）mv_block_in_seq_flag、mv_block_in_pic_flag、mv_block_in_slice_flag及びmv_block_in_mb_flagの初期値は「０(FALSE)」とする。

また、上記シンタクスが示す情報はそれぞれ符号化して復号側に伝送しても良いし、上記シンタクスが示す情報は符号化して復号側に伝送せずに符号化済みの隣接ブロックにおける画素の相関関係や分散などのアクティビティ情報に応じて切り替えても良い。

また、本実施形態に係る画像符号化装置も、前述した動きベクトルブロックＳＫＩＰモードを使用可能である。動きベクトルブロックＳＫＩＰモードを適用する場合において、特定の条件下で前述したmv_block_in_mb_flag等のシンタクスエレメントの符号化が省略されてもよい。上記特定の条件下とは、動きベクトルブロックＳＫＩＰモードを適用して得られる動きベクトルブロックを構成する全ての動きベクトル情報と、いわゆる空間ＳＫＩＰモードを適用して得られる動きベクトル情報とが一致する場合である。

以下、図３８のフローチャートを用いて、mv_block_in_mb_flagの符号化省略処理を説明する。
まず、動きベクトル生成部１１１は、動きベクトルブロックＳＫＩＰモードを適用した場合の動きベクトルブロック２８に含まれる動きベクトル情報ＭＶblk1、ＭＶblk2、ＭＶblk3、・・・、ＭＶblk16を生成する（ステップＳ５０１）。本例では、動きベクトルブロックのサイズは１６×１６画素とし、動きベクトル情報１８の動き補償ブロックサイズは４×４画素としている。

ステップＳ５０１において生成された動きベクトル情報ＭＶblk1、ＭＶblk2、ＭＶblk3、・・・、ＭＶblk16が全て等しければ処理はステップＳ５０３に進み、そうでなければ処理はステップＳ５０７に進む（ステップＳ５０２）。

ステップＳ５０３において、動きベクトル生成部１１１は空間ＳＫＩＰモードを適用した場合の動きベクトル情報ＭＶspaを符号化対象ブロックの隣接ブロックから導出する。動きベクトル情報ＭＶspaと、動きベクトル情報ＭＶblk1（＝ＭＶblk2＝ＭＶblk3＝・・・＝ＭＶblk16）とが等しければ処理はステップＳ５０５に進み、そうでなければ処理はステップＳ５０７に進む（ステップＳ５０７）。

ステップＳ５０５において、mv_block_in_mb_flagには「０(FALSE)」が設定され、当該mv_block_in_mb_flagの符号化が省略され（ステップＳ５０６）、処理は終了する。また、ステップＳ５０７において、mv_block_in_mb_flagは符号化され、処理が終了する。

以上のように、mv_block_in_mb_flagの符号化省略処理を行うことにより、mv_block_in_mb_flagの不要な符号化を回避し、符号量を削減することが可能となる。尚、mv_block_in_mb_flag以外にも、前述したmv_block_in_seq_flag、mv_block_in_pic_flag、mv_block_in_slice_flag及びマクロブロックを分割した小画素ブロックに関する動きベクトルブロック予測処理の適用の可否を示すシンタクスエレメントに対しても同様の符号化省略処理を行うことが可能である。即ち、上記説明において符号化対象ブロックのサイズをシーケンス、ピクチャ、スライス小画素ブロックに夫々置き換えればよい。また、動きベクトルブロックＳＫＩＰモード以外の、動きベクトルブロック予測処理が適用される場合には、リスト０及びリスト１動きベクトルブロック情報を予め符号化し、参照動きベクトルフレーム内における参照位置を特定すれば、同様の処理を行うことができる。

以上説明したように、本実施形態に係る画像符号化装置は、前述した第１の実施形態における動きベクトルブロック予測処理と、いわゆるイントラ予測処理及びインター予測処理をマクロブロック毎、小画素ブロック毎またはフレーム毎に選択的に利用している。従って、本実施形態に係る画像符号化装置によれば、より符号化効率の高い予測処理が選択されるため、符号化効率の向上が期待できる。

（第４の実施形態）
図４０に示すように、本発明の第４の実施形態に係る画像復号化装置は前述した第１の実施形態に係る画像符号化装置に対応する画像復号化装置であって、入力バッファ２００、画像復号化部２０００、復号化制御部２３０及び出力バッファ２０８を有する。図４０の画像復号化装置は、ＬＳＩチップなどのハードウエアにより実現されてもよいし、コンピュータに画像復号化プログラムを実行させることにより実現されてもよい。画像復号化部２０００は、エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算部２０３、参照画像メモリ２０４、インター予測部２０５及び動きベクトル導出部２１８を有する。

図示しない伝送系または蓄積系から入力される符号化データ３００は、入力バッファ２００に一度蓄積され、多重化された状態で画像復号化部２０００に入力される。

エントロピー復号化部２０１は、フレーム毎またはフィールド毎にシンタクスに基づく構文解析を行って、各種データを復号化する。具体的には、エントロピー復号化部２０１は、復号化対象ブロックに対応する量子化変換係数３０１、予測情報３０４及び動きベクトルブロック情報３０９を復号化する。エントロピー復号化部２０１は、量子化変換係数を逆変換・逆量子化部２０２、予測情報３０４を動きベクトル導出部２１８及びインター予測部２０５、動きベクトルブロック情報３０９を動きベクトル導出部２１８に夫々入力する。その他、エントロピー復号化部２０１は、量子化パラメータ等の画像復号化に必要な情報も復号化し、フィードバック情報３３１として復号化制御部２３０に入力する。

逆変換・逆量子化部２０２は、エントロピー復号化部２０１からの量子化変換係数３０１に対して、逆量子化・逆変換を行って予測誤差を復号化し、復号予測誤差３０２として加算部２０３に入力する。上記逆量子化処理は、復号化制御部２３０によって設定される量子化パラメータに従って行われる。また、上記逆変換処理は、符号化側で行われた変換処理の逆変換処理であって、例えばＩＤＣＴまたは逆ウェーブレット変換等である。

加算部２０３は、逆変換・逆量子化部２０２からの復号予測誤差３０２と、インター予測部２０５からの予測画像３０５とを加算し、復号化対象ブロックの復号画像（復号画像信号）３０３を生成する。加算部２０３は、復号画像３０３を参照画像メモリ２０４に参照画像（参照画像信号）３０６として記憶させる。また、復号画像３０３は、出力バッファ２０８に一時的に蓄積され、復号化制御部２３０によって管理される出力タイミングに応じ、図４０の画像符号化装置の外部に出力される
参照画像メモリ２０４には、例えばフレーム単位で参照画像３０６が記憶され、インター予測部２０５によって必要に応じて読み出される。

インター予測部２０５は、図１におけるインター予測部１０１と同様の機能を有する。具体的には図４２に示すように、インター予測部２０５は、予測画像信号統合部１１５に対応する予測画像信号統合部２１３と、複数の動き補償部１１３に対応する複数の動き補償部２１２とを有する。

動き補償部２１２の各々は、復号化対象ブロックを分割した複数の小画素ブロックの各々に対して小予測画像３１２を生成する。動き補償部２１２は、小予測画像３１２を予測画像信号統合部２１３に入力する。

動き補償部２１２は、参照画像３０６において小画素ブロックと同一位置から、当該小画素ブロックに関する動きベクトル情報３０７に応じて空間シフトした位置の画素ブロックを小予測画像３１２として生成する。動き補償部２１２が小画素ブロックに対して行う動き補償処理は、H.264における動き補償処理と同様に実現できる。

予測画像信号統合部２１３は、複数の動き補償部２１２からの小予測画像を統合し、復号化対象ブロックに対応する予測画像３０５を生成する。即ち、個々の小画素ブロックに対応する小予測画像３１２を統合することにより、当該小画素ブロックに分割する前の復号化対象ブロックに対応する予測画像３０５が得られる。

動きベクトル導出部２１８は、図１における動きベクトル導出部１２４と同様の機能を有する。具体的には図３９に示すように、動きベクトル導出部２１８は、参照動きベクトルメモリ１０９に対応する参照動きベクトルメモリ２０７と、動きベクトルブロック処理部１０８に対応する動きベクトルブロック処理部２０６とを有する。

参照動きベクトルメモリ２０７には、既に復号化済みの動きベクトル情報３０７が、参照動きベクトル情報３０８として一時的に保存される。

動きベクトル処理部２０６は、エントロピー復号化部２０１からの動きベクトルブロック情報３０９及び予測情報３０４に基づき、参照動きベクトルメモリ２０７から参照動きベクトル情報３０８を取得し、複数の動きベクトル情報３０７を導出する。より詳細には、動きベクトル処理部２０６は、図４１に示すように、動きベクトルブロック生成部１１０に対応する動きベクトルブロック生成部２１０と、動きベクトル生成部１１１に対応する動きベクトル生成部２１１とを有する。

動きベクトルブロック生成部２１０は、動きベクトルブロック情報３０９をエントロピー復号化部２０１から取得し、当該動きベクトルブロック情報３０９に応じた参照動きベクトル情報３０８の集合である動きベクトルブロック３１１を生成する。動きベクトルブロック生成部２１０は、動きベクトルブロック３１１を動きベクトル生成部２１１に入力する。

動きベクトル生成部２１１は、動きベクトルブロック生成部２１０からの動きベクトルブロック３１１に含まれる参照動きベクトル情報３０８に基づき、復号化対象ブロックを分割した複数の小画素ブロックの各々に関する動きベクトル情報３０７を生成し、出力する。具体的には、動きベクトル生成部２１１は、小画素ブロックに関する動きベクトル情報３０７として、適切な参照動きベクトル情報３０８を代入する。

以上説明したように、本実施形態に係る画像復号化装置は、前述した第１の実施形態に係る画像符号化装置によって符号化された画像を復号化している。従って、本実施形態に係る画像復号化装置によれば、比較的小さな符号化データから高画質な復号画像を再生することが可能となる。

（第５の実施形態）
図４３に示すように、本発明の第５の実施形態に係る画像復号化装置は前述した第２の実施形態に係る画像符号化装置に対応する画像復号化装置であって、上記図４０に示す画像復号化装置において、インター予測部２０５を予測部２１４に置き換えている。以下の説明では、図４３において図４０と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

予測部２１４は図４４に示すように、インター予測部２０５、イントラ予測部２２０及びモード選択スイッチ２２１を有する。
インター予測部２０５は、第１の実施形態において説明した動きベクトルブロック予測を行って、予測画像３０５をモード選択スイッチ２２１に入力する。イントラ予測部２２０は、図２３におけるイントラ予測部１１７と同様の機能を有する。イントラ予測部２２０は、予測画像３０５をモード選択スイッチ２２１に入力する。

モード選択スイッチ２２１は、エントロピー復号化部２０１からの予測情報３０４に従って、インター予測部２０５及びイントラ予測部２２０のいずれか一方から予測画像３０５を取得する。モード選択スイッチ２２１によって取得された予測画像３０５は、加算部２０３に入力される。

以上説明したように、本実施形態に係る画像復号化装置は、前述した第２の実施形態に係る画像符号化装置によって符号化された画像を復号化している。従って、本実施形態に係る画像復号化装置によれば、比較的小さな符号化データから高画質な復号画像を再生することが可能となる。

（第６の実施形態）
図４５に示すように、本発明の第６の実施形態に係る画像復号化装置は前述した第３の実施形態に係る画像符号化装置に対応する画像復号化装置であって、上記図４３に示す画像復号化装置において、予測部２１４を予測部２２３に置き換えている。以下の説明では、図４３において図４０と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

予測部２２３は、図４６に示すように、第１インター予測部２０５、イントラ予測部２２０、第２インター予測部２１７及びモード選択スイッチ２１６を有する。
第１インター予測部２０５は、図４４における第１インター予測部２０５と同様の機能を有し、動きベクトルブロック予測処理を行って予測画像３０５を生成し、モード選択スイッチ２１６に入力する。イントラ予測部２２０は、図４４におけるイントラ予測部２２０と同様の機能を有し、イントラ予測処理を行って予測画像３０５を生成し、モード選択スイッチ２１６に入力する。尚、後述する第２インター予測部２１７と区別するために、図４４におけるインター予測部２０５の名称を図４４において第１インター予測部２０５へと便宜的に改めている。

第２インター予測部２１７は、いわゆるH.264におけるインター予測処理を行う。第２インター予測部２１７は、エントロピー復号化部２０１によって復号化された動きベクトル情報３１３と、参照画像メモリ２０４からの参照画像３０６とに基づき予測画像３０５を生成する。第２インター予測部２１７は、図４７に示すように１つの動き補償部２２２を有する。

動き補償部２２２は、動きベクトル情報３１３を用いて参照画像３０６の動き補償を行う。即ち、動き補償部２２２は、参照画像３０６において動きベクトル情報３１３が指し示す画素ブロックを予測画像３０５として出力する。

モード選択スイッチ２１６の基本的機能は、図４４におけるモード選択スイッチ２２１と同様であるが、第２インター予測部２１７からの予測画像３０５を選択可能な点が異なる。

また、第３の実施形態において、mv_block_in_mb_flagの符号化省略処理を説明したが、本実施形態に係る画像復号化装置においても同様の復号化省略処理を行うことができる。上記復号化省略処理を行うことにより、符号化側において不要なmv_block_in_mb_flagが符号化されていた場合であっても、図４５の画像復号化装置は必要なmv_block_in_mb_flagのみを選択的に復号化できるため演算量を削減できる。

以上説明したように、本実施形態に係る画像復号化装置は、前述した第３の実施形態に係る画像符号化装置によって符号化された画像を復号化している。従って、本実施形態に係る画像復号化装置によれば、比較的小さな符号化データから高画質な復号画像を再生することが可能となる。

なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

その一例として例えば、上記第１乃至第６の実施形態を次のように変形しても同様の効果が得られる。
（１）図５に示す符号化／復号化順序は一例に過ぎず、例えば、画面右下から左上に向かう処理順序でもよいし、右上から左下に向かう処理順序でもよい。また、渦巻き状に中心部から周辺部に向かう処理順序でもよいし、周辺部から中心部に向かう処理順序でもよい。

（２）図６Ａ乃至図６Ｃに示したブロックサイズは全て正方形状であるが、符号化対象ブロックのサイズはこれらに限られず、例えば１６×８画素、８×１６画素、８×４画素または４×８画素などの長方形状でもよい。また、異なるサイズの符号化対象ブロックが選択的に利用されてもよい。この場合、サイズの切り替え情報に関する符号化が必要になるが、前述したコスト等を利用して符号化歪みと符号量とのバランスの取れた符号化が実現されることが望ましい。

（３）第１乃至第６の実施形態において、輝度信号と色差信号とを分割せず、一方の色信号成分に限定した例を説明した。しかしながら、予測処理が輝度信号と色差信号とを分割し、個別に予測処理を適用してもよい。

その他、本発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

１０・・・原画像
１１・・・予測画像
１２・・・予測誤差
１３・・・量子化変換係数
１４・・・符号化データ
１５・・・復号予測誤差
１６・・・局所復号画像
１７・・・参照画像
１８・・・動きベクトル情報
１９・・・参照動きベクトル情報
２１・・・動きベクトルブロック情報
２２・・・予測情報
２３・・・小画素ブロック
２４・・・小予測画像
２５・・・動きベクトル情報
２６・・・予測モード判定情報
２８・・・動きベクトルブロック
３０・・・符号化制御情報
３１・・・フィードバック情報
１０１・・・インター予測部
１０２・・・減算部
１０３・・・変換・量子化部
１０４・・・エントロピー符号化部
１０５・・・逆変換・逆量子化部
１０６・・・加算部
１０７・・・参照画像メモリ
１０８・・・動きベクトルブロック処理部
１０９・・・参照動きベクトルメモリ
１１０・・・動きベクトルブロック生成部
１１１・・・動きベクトル生成部
１１２・・・出力バッファ
１１３・・・動き補償部
１１４・・・参照動きベクトルフレーム
１１５・・・予測画像信号統合部
１１６・・・予測部
１１７・・・イントラ予測部
１１８・・・モード判定部
１１９・・・モード選択スイッチ
１２０・・・動きベクトル推定部
１２１・・・第２インター予測部
１２２・・・モード選択スイッチ
１２４・・・動きベクトル導出部
１２５・・・予測部
１２６・・・動き補償部
１３０・・・符号化制御部
２００・・・入力バッファ
２０１・・・エントロピー復号化部
２０２・・・逆変換・逆量子化部
２０３・・・加算部
２０４・・・参照画像メモリ
２０５・・・インター予測部
２０６・・・動きベクトルブロック処理部
２０７・・・参照動きベクトルメモリ
２０８・・・出力バッファ
２１０・・・動きベクトルブロック生成部
２１１・・・動きベクトル生成部
２１２・・・動き補償部
２１３・・・予測画像信号統合部
２１４・・・予測部
２１７・・・第２インター予測部
２１８・・・動きベクトル導出部
２２０・・・イントラ予測部
２２１・・・モード選択スイッチ
２２２・・・動き補償部
２２３・・・予測部
２３０・・・復号化制御部
３００・・・符号化データ
３０１・・・量子化変換係数
３０２・・・復号予測残差
３０３・・・復号画像
３０４・・・予測情報
３０５・・・予測画像
３０６・・・参照画像
３０７・・・動きベクトル情報
３０８・・・参照動きベクトル情報
３０９・・・動きベクトルブロック情報
３１１・・・動きベクトルブロック
３１２・・・小予測画像
３１３・・・動きベクトル情報
３３０・・・復号化制御情報
３３１・・・フィードバック情報
９０１・・・ハイレベルシンタクス
９０２・・・シーケンスパラメータセットシンタクス
９０３・・・ピクチャパラメータセットシンタクス
９０４・・・スライスレベルシンタクス
９０５・・・スライスヘッダシンタクス
９０６・・・スライスデータシンタクス
９０７・・・マクロブロックレベルシンタクス
９０８・・・マクロブロックレイヤーシンタクス
９０９・・・マクロブロックプレディクションシンタクス
１０００、１１００、１２００・・・画像符号化部
２０００、２１００、２２００・・・画像復号化部

Claims (2)

1. 符号化された予測誤差を復号化する復号化部と、
   既に復号化済みの第１の画素領域に対応する第１の動きベクトルを取得する記憶部と、
   前記第１の動きベクトルを少なくとも１つ含む動きベクトル群を導出する第１の導出部と、
   前記動きベクトル群に基づき、復号化前の第２の画素領域を分割した第３の画素領域の各々に対応する第２の動きベクトルを導出する第２の導出部と、
   前記第２の動きベクトルを用いて、前記第３の画素領域の各々の第１のインター予測画像を生成する予測部と、
   前記第１のインター予測画像を統合して、前記復号化前の第２の画素領域に対応する第２のインター予測画像を生成する統合部と、
   前記第２のインター予測画像と前記予測誤差とを加算して復号画像を生成する加算部と
   を具備することを特徴とする画像復号化装置。
2. 符号化された予測誤差を復号化することと、
   既に復号化済みの第１の画素領域に対応する第１の動きベクトルを取得することと、
   前記第１の動きベクトルを少なくとも１つ含む動きベクトル群を導出することと、
   前記動きベクトル群に基づき、復号化前の第２の画素領域を分割した第３の画素領域の各々に対応する第２の動きベクトルを導出することと、
   前記第２の動きベクトルを用いて、前記第３の画素領域の各々の第１のインター予測画像を生成することと、
   前記第１のインター予測画像を統合して、前記復号化前の第２の画素領域に対応する第２のインター予測画像を生成することと、
   前記第２のインター予測画像と前記予測誤差とを加算して復号画像を生成することと
   を具備することを特徴とする画像復号化方法。

Images