JPWO2005076630A1 - 復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム - Google Patents

Abstract

本発明では、符号化効率を向上させつつ高精度の補間フレームの生成を行うための復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムを提供することを課題とする。復号化装置１２は、復号化部７０と、動きベクトル検出部７９と、補間フレーム生成部８０とを備えている。復号化部７０は、画像信号ｄ２１０を構成する画像フレームと、画像フレーム間の動きベクトルである動きベクトルＭＶ４８に基づいて画像フレームを補間する補間フレームを生成するための付加情報ｄ２３１とが符号化された符号化画像信号ｄ２１１を復号化する。動きベクトル検出部７９は、復号化された画像フレームｄ２６０間の動きベクトルである動きベクトルＭＶ９０を検出する。補間フレーム生成部８０は、動きベクトルＭＶ９０と復号化された画像フレームｄ２５９と復号化された付加情報ｄ２５２とに基づいて補間フレームを生成する。

Description

本発明は、復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム、特に、補間フレームの生成を行うための復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムに関する。

テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示する装置において、画像信号を構成する画像フレームを補間する補間フレームを生成し、生成された補間フレームを画像フレームに内挿して表示させる技術が知られている。この技術は、低フレームレートで伝送された画像信号を滑らかに表示すること、あるいは画像信号を低ビットレートで符号化し伝送することを目的として利用されている。
前者を目的とする技術として、画像フレーム間の動きベクトルを検出し、求められた動きベクトルを用いて補間フレームを生成する技術が知られている（例えば、特許文献１参照）。
より具体的には、画像フレーム間の動きベクトルを検出し、動きベクトルを検出した画像フレーム間の時間的距離と補間フレームの補間位置の時間的距離との比により検出された動きベクトルを内分あるいは外分する。こうして導出された動きベクトル（以下、補間用動きベクトルという）と画像フレームの画素値とを用いて、補間フレームを生成する。
ここで、補間フレームの精度を高めることを目的として、補間用動きベクトルを用いた補間の精度が低い部分については、補間フレームに対応する画像信号の画素値を伝送する技術についても知られている（例えば、特許文献２参照）。
後者を目的とする技術として、動き補償符号化という技術が知られている。動き補償符号化とは、画像フレームを構成する画像ブロックの動きベクトルを用いて行われる符号化である。例えば、動画像信号圧縮の国際規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、符号化に際して、画面内符号化と画面間符号化の２つの符号化方法が用いられる。画面内符号化は、画像フレームをそのフレーム内の情報だけで符号化する方法であり、この方法で符号化された画像フレームをＩフレームと呼んでいる。画面間符号化とは、画像フレームをそのフレーム内の情報と他のフレームの情報との両方を用いて符号化する方法であり、この方法で符号化された画像フレームをＰフレームまたはＢフレームと呼んでいる。
すなわち、後者を目的とする動き補償符号化は、補間フレーム（Ｂフレーム）と補間フレームに対して時間的に双方向に位置する画像フレーム（ＩフレームまたはＰフレーム）との動きベクトルと、動きベクトルにより動き補償された画像フレームと補間フレームとの残差情報とを補間フレームを生成するための情報として符号化する技術である。復号化側では、符号化画像信号と既に復号化された画像フレームとを用いて、補間フレームの生成を行う。
特開平７−１７７５１４号公報（第５図） 特許第２８２８０９６号公報

本技術分野においては、さらに符号化効率を向上させつつ高精度の補間フレームの生成を行うことが求められている。具体的には、上記した２つの技術において、前者では、さらに高精度な補間フレームを生成することが求められており、後者では、符号化効率を向上させることが求められている。
そこで、本発明では、符号化効率を向上させつつ高精度の補間フレームの生成を行うための復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムを提供することを課題とする。

請求項１に記載の復号化装置は、復号化手段と、動きベクトル検出手段と、補間フレーム生成手段とを備えている。復号化手段は、画像信号を構成する画像フレームと、画像フレーム間の動きベクトルである第１の動きベクトルに基づいて画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する。動きベクトル検出手段は、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成手段は、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
復号化手段は、符号化画像信号から画像フレームと付加情報とを復号化する。付加情報は、画像フレームを補間する補間フレームを生成するための情報であって、符号化前の画像フレームについて検出された第１の動きベクトルに基づいて補間フレームを生成するための情報である。動きベクトル検出手段は、例えばブロックマッチングなどにより復号化後の画像フレーム間の第２の動きベクトルを検出する。補間フレーム生成手段は、第２の動きベクトルを第１の動きベクトルとみなし、第２の動きベクトルと画像フレームと付加情報とに基づいて補間フレームを生成する。
ここで、第１の動きベクトルとは、補間フレームに対して時間的に前方および後方に位置する画像フレーム間について、一方向あるいは双方向に検出される動きベクトルだけでなく、補間フレームに対して時間的に前方あるいは後方に位置する複数の画像フレーム間について、一方向あるいは双方向に検出される動きベクトルであってもよい（以下、この欄において同じ）。また、フレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってもよい（以下、この欄において同じ）。さらに、画像フレームは、符号化される際に、画面内符号化されるものであっても、画面間符号化されるものであってもよい（以下、この欄において同じ）。
本発明の復号化装置では、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化画像信号に含まれていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。
請求項２に記載の復号化装置は、請求項１に記載の復号化装置であって、付加情報は、画像フレームに対する補間フレームの補間方式と、補間フレームと補間フレームに対応する画像フレームとの残差情報と、補間フレームの画像フレームに対して検出された動きベクトルと第１の動きベクトルに基づいて導出される補間フレームの画像フレームに対する動きベクトルとのベクトル差分と、第１の動きベクトルの検出に用いられた動き検出方式とのうち少なくともいずれかを含む。
補間方式は、例えば、補間フレームの生成に用いられる第１の動きベクトルの向き、補間フレームの生成に用いられる画像フレーム、および画像フレームに対する補間位置に関する情報などである（以下、この欄において同じ）。残差情報とは、例えば、補間フレームの画素値と補間フレームの生成に用いられる画像フレームの画素値との差分などである（以下、この欄において同じ）。ベクトル差分とは、第１の動きベクトルに基づいて補間フレームの動きベクトルを導出するための情報であり、例えば、動き検出により検出される補間フレームの動きベクトルと、第１の動きベクトルを内分あるいは外分して求められる補間フレームの動きベクトルとの差分などである（以下、この欄において同じ）。動き検出方式とは、例えば、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報である（以下、この欄において同じ）。動き検出のアルゴリズムに関する情報とは、例えば、全探索、間引き探索、ＯＡＴ探索、Ｎステップ探索、階層型探索などと呼ばれる探索方法を指定する情報である。探索範囲に関する情報とは、例えば、ブロックマッチングを行う領域に関する情報である。サブペル精度に関する情報とは、例えば、ブロックマッチングを行う精度に関する情報である。評価関数に関する情報とは、例えば、ブロックマッチングにおける評価関数であるＳＡＤ（絶対差分和）やＳＳＤ（平方差分和）などを指定する情報である。
本発明の復号化装置では、以下のいずれかの効果を実現することが可能となる。すなわち、付加情報に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、補間フレームの動きベクトルがより正確に生成される。さらには、補間フレームがより正確に生成される。また、付加情報に残差情報が含まれる場合には、補間フレームの画素値がより正確に生成される。
請求項３に記載の復号化装置は、請求項２に記載の復号化装置であって、付加情報は、付加情報が含む情報の組み合わせを特定するためのプロファイル情報をさらに含んでいる。
プロファイル情報は、例えば、補間方式、残差情報、ベクトル差分、あるいは動き検出方式などの情報が付加情報に含まれているか否かに関する情報であり、それぞれの情報の組み合わせに対して割り当てられた番号などにより、付加情報が含む情報の組み合わせを特定する。
本発明の復号化装置では、付加情報が含む情報の組み合わせを確実に取得することが可能となる。このため、より正確に補間フレームを生成することが可能となる。
請求項４に記載の復号化装置は、請求項２または３に記載の復号化装置であって、動き検出方式は、動き検出のパラメータの組み合わせを特定するためのコード情報として含まれている。動きベクトル検出手段は、コード情報が特定する動き検出のパラメータに基づいて、第２の動きベクトルの検出を行う。
ここで、動き検出のパラメータとは、例えば、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報それぞれについての内容である。コード情報は、例えば、動き検出のパラメータの組み合わせに対して割り当てられた番号などにより、動き検出のパラメータの組み合わせを特定する。
動きベクトル検出手段は、取得されたコード情報により動き検出方式を特定し、特定された動き検出方式により第２の動きベクトルの検出を行う。
本発明の復号化装置では、動き検出方法がコード情報としてまとめられて符号化される。このため、符号化効率をより高めつつ高精度の補間フレームの生成が可能となる。
請求項５に記載の復号化装置は、請求項２〜４のいずれか１項に記載の復号化装置であって、動きベクトル検出手段は、付加情報が含む動き検出方式を実行できない場合には、付加情報が含む動き検出方式に応じて定められた所定の動き検出方式により第２の動きベクトルを検出する。
動きベクトル検出手段は、例えば、付加情報が含む動き検出方式が動きベクトル検出手段では実行できない動き検出のアルゴリズムを指定する場合、指定されたアルゴリズムに応じて定められた他のアルゴリズムにより動き検出を実行する。
本発明の復号化装置では、第１の動きベクトルの検出に用いられた動き検出方式を実行できない場合であっても、異なる動き検出方式を用いて第２の動きベクトルを検出することが可能となる。また、第１の動きベクトルの検出に用いられた動き検出方式とできるだけ近い特性の動き検出方式を用いることにより、第１の動きベクトルに近い動きベクトルを検出することが可能となる。
請求項６に記載の復号化装置は、請求項２〜５のいずれか１項に記載の復号化装置であって、付加情報は、補間フレーム毎に作成されている情報である。
本発明の復号化装置では、補間フレーム毎に付加情報が作成されている。このため、より高精度な補間フレームを生成することが可能となる。
請求項７に記載の復号化装置は、請求項２〜５のいずれか１項に記載の復号化装置であって、付加情報のうち、動き検出方式は、符号化画像信号のストリーム毎に作成されている情報である。
本発明の復号化装置では、動き検出方式はストリーム毎に作成されている。このため、より符号化効率を向上させることが可能となる。
請求項８に記載の復号化装置は、請求項１〜７のいずれか１項に記載の復号化装置であって、補間フレーム生成手段は、符号化画像信号に付加情報が含まれていない場合に、復号化した画像フレームに基づいて補間フレームの生成を行う。
補間フレーム生成手段では、画像信号を画面内符号化と画面間符号化とのみにより符号化した符号化画像信号が取得される場合、復号化した画像フレームを用いて、補間フレームの生成が行われる。補間フレームの生成は、例えば、画像フレーム間の動きベクトルを検出し補間フレームの動きベクトルを求め補間フレームを生成する方法や、画面間符号化された画像フレームの動きベクトルを用いて補間フレームの動きベクトルを求め補間フレームを生成する方法などにより行われる。
本発明の復号化装置では、付加情報を含まない符号化画像信号を取得した場合にも補間フレームを生成することが可能となる。すなわち、従来法との互換性が保たれている。
請求項９に記載の符号化装置は、第１の動きベクトル検出手段と、付加情報作成手段と、符号化手段とを備えている。第１の動きベクトル検出手段は、画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する。付加情報作成手段は、画像フレームを補間する補間フレームを第１の動きベクトルに基づいて生成するための付加情報を作成する。符号化手段は、画像フレームと付加情報とを符号化する。
第１の動きベクトル検出手段は、例えば、ブロックマッチングなどにより画像フレーム間の第１の動きベクトルを検出する。付加情報作成手段は、第１の動きベクトルに基づいて補間フレームを生成するための情報である付加情報を作成する。符号化手段は、画像フレームと付加情報とを符号化する。ここで、画像フレームの符号化は、画面内符号化あるいは画面間符号化などにより行われる。
本発明の符号化装置では、補間フレームを生成するために特別に符号化する情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどを符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
請求項１０に記載の符号化装置は、請求項９に記載の符号化装置であって、付加情報は、画像フレームに対する補間フレームの補間方式と、補間フレームと補間フレームに対応する画像フレームとの残差情報と、補間フレームの画像フレームに対して検出された動きベクトルと第１の動きベクトルに基づいて導出される補間フレームの画像フレームに対する動きベクトルとのベクトル差分と、第１の動きベクトルの検出に用いられた動き検出方式とのうち少なくともいずれかを含む。
本発明の符号化装置により、以下のいずれかの効果が実現される。すなわち、付加情報に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、補間フレームの動きベクトルのより正確な生成が可能となる。さらには、補間フレームのより正確な生成が可能となる。また、付加情報に残差情報が含まれる場合には、補間フレームの画素値のより正確な生成が可能となる。
請求項１１に記載の符号化装置は、請求項１０に記載の符号化装置であって、付加情報は、付加情報が含む情報の組み合わせを特定するためのプロファイル情報をさらに含んでいる。
プロファイル情報は、例えば、補間方式、残差情報、ベクトル差分、あるいは動き検出方式などの情報が付加情報に含まれているか否かに関する情報であり、それぞれの情報の組み合わせに対して割り当てられた番号などにより、付加情報が含む情報の組み合わせを特定する。
本発明の符号化装置では、付加情報が含む情報の組み合わせを確実に符号化することが可能となる。このため、補間フレームのより正確な生成が可能となる。
請求項１２に記載の符号化装置は、請求項１０または１１に記載の符号化装置であって、動き検出方式は、動き検出のパラメータの組み合わせを特定するためのコード情報として含まれている。
ここで、動き検出のパラメータとは、例えば、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報それぞれについての内容である。コード情報は、例えば、動き検出のパラメータの組み合わせに対して割り当てられた番号などにより、動き検出のパラメータの組み合わせを特定する。
本発明の符号化装置では、動き検出方法がコード情報としてまとめられて符号化される。このため、符号化効率のさらなる向上と高精度の補間フレームの生成とが可能となる。
請求項１３に記載の符号化装置は、請求項１０〜１２のいずれか１項に記載の符号化装置であって、付加情報は、補間フレーム毎に作成される情報である。
本発明の符号化装置では、補間フレーム毎に付加情報が作成されている。このため、より高精度の補間フレームの生成が可能となる。
請求項１４に記載の符号化装置は、請求項１０〜１２のいずれか１項に記載の符号化装置であって、動き検出方式は、画像信号のストリームのヘッダ情報として含まれている。
本発明の符号化装置では、動き検出方式はストリーム毎に作成されている。
請求項１５に記載の符号化装置は、請求項１１に記載の符号化装置であって、プロファイル情報は、画像信号のストリームのヘッダ情報として含まれている。
本発明の符号化装置では、プロファイル情報はストリーム毎に作成されている。
請求項１６に記載の符号化装置は、請求項９〜１５のいずれか１項に記載の符号化装置であって、符号化手段は、画像フレームに基づいて生成される補間フレームと補間フレームに対応する画像信号との残差が小さい場合には、付加情報の符号化を行わない。
符号化手段は、画像フレームに基づいて高精度の補間フレームの生成が行われる場合には、付加情報の符号化を行わない。補間フレームの生成は、例えば、画像フレーム間の動きベクトルを検出し補間フレームの動きベクトルを求め補間フレームを生成する方法や、画面間符号化される画像クレームの動きベクトルを用いて補間フレームの動きベクトルを求め補間フレームを生成する方法などにより行われる。
本発明の符号化装置では、符号化効率のさらなる向上と高精度の補間フレームの生成とが可能となる。
請求項１７に記載の補間フレーム生成システムは、画像信号を構成する画像フレームを補間する補間フレームを生成する補間フレーム生成システムであって、第１の動きベクトル検出手段と、付加情報作成手段と、符号化手段と、復号化手段と、第２の動きベクトル検出手段と、補間フレーム生成手段とを備えている。第１の動きベクトル検出手段は、画像フレーム間の動きベクトルである第１の動きベクトルを検出する付加情報作成手段は、第１の動きベクトルに基づいて補間フレームを生成するための付加情報を作成する。符号化手段は、画像フレームと付加情報とを符号化する。復号化手段は、符号化された画像フレームと付加情報とを復号化する。第２の動きベクトル検出手段は、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成手段は、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
本発明の補間フレーム生成システムでは、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化されていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。
請求項１８に記載の集積回路装置は、復号化部と、動きベクトル検出部と、補間フレーム生成部とを備えている。復号化部は、画像信号を構成する画像フレームと、画像フレーム間の動きベクトルである第１の動きベクトルに基づいて画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する。動きベクトル検出部は、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成部は、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
本発明の集積回路装置では、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化画像信号に含まれていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。
請求項１９に記載の集積回路装置は、第１の動きベクトル検出部と、付加情報作成部と、符号化部とを備えている。第１の動きベクトル検出部は、画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する。付加情報作成部は、画像フレームを補間する補間フレームを第１の動きベクトルに基づいて生成するための付加情報を作成する。符号化部は、画像フレームと付加情報とを符号化する。
本発明の集積回路装置では、補間フレームを生成するために特別に符号化する情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどを符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
請求項２０に記載の復号化プログラムは、復号化ステップと、動きベクトル検出ステップと、補間フレーム生成ステップとを備える復号化方法をコンピュータに行わせるための復号化プログラムである。復号化ステップは、画像信号を構成する画像フレームと、画像フレーム間の動きベクトルである第１の動きベクトルに基づいて画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する。動きベクトル検出ステップは、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成ステップは、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
本発明の復号化プログラムでは、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化画像信号に含まれていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。
請求項２１に記載の符号化プログラムは、第１の動きベクトル検出ステップと、付加情報作成ステップと、符号化ステップとを備える符号化方法をコンピュータに行わせるための符号化プログラムである。第１の動きベクトル検出ステップは、画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する。付加情報作成ステップは、画像フレームを補間する補間フレームを第１の動きベクトルに基づいて生成するための付加情報を作成する。符号化ステップは、画像フレームと付加情報とを符号化する。
本発明の符号化プログラムでは、補間フレームを生成するために特別に符号化する情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどを符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。

本発明により、符号化効率を向上させつつ高精度の補間フレームの生成を行うための復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムを提供することが可能となる。

補間フレーム生成システム１０の概要を説明するブロック図 符号化装置１１の構成について説明するブロック図 画像信号ｄ２１０を構成する画像フレームについて説明する説明図 ＢフレームＢ４２の符号化について説明する説明図 付加情報作成方法について説明するフローチャート 復号化装置１２の構成について説明するブロック図 ＢフレームＢ４２の復号化について説明する説明図 補間フレーム生成方法について説明するフローチャート 補間用動きベクトルの導出方法の変形例について説明する説明図 付加情報ｄ２１が含む動き検出方式のパラメータの組み合わせを特定するためのテーブル１１０ 付加情報ｄ２３１が含む情報の組み合わせを特定するためのテーブル１１５ 付加情報ｄ２５２が指定する動き検出のアルゴリズム１２０と、動きベクトル検出部７９で実行される動き検出のアルゴリズム１２１との対応関係 コンテンツ供給システムの全体構成について説明するブロック図 本発明の補間フレーム作成装置を搭載する携帯電話の例 携帯電話の構成について説明するブロック図 ディジタル放送用システムの例

符号の説明

１０ 補間フレーム生成システム
１１ 符号化装置
１２ 復号化装置
１７ 動き補償部
１８ 付加情報作成部
３０ フレームメモリ
３１ 動きベクトル検出部
７０ 復号化部
７１ フレーム出力部
７９ 動きベクトル検出部
８０ 補間フレーム生成部
ＭＶ 動きベクトル
ＣＭＶ 補間用動きベクトル

［第１実施形態］
〈補間フレーム生成システム１０の構成〉
図１〜図１２を用いて、本発明の第１実施形態としての補間フレーム生成システム、符号化装置および復号化装置について説明する。
図１は、補間フレーム生成システム１０の概要を説明するブロック図である。補間フレーム生成システム１０は、画像信号ｄ２１０を入力とし符号化された符号化画像信号ｄ２１１を出力とする符号化装置１１と、符号化画像信号ｄ２１１を入力とし復号化された復号化画像信号ｄ２１２を出力とする復号化装置１２とを備えている。符号化装置１１は、画像信号ｄ２１０を提供する提供者側に設置され、インターネットや電話回線などの通信網もしくは地上波放送、ケーブルテレビあるいは衛星放送などの放送網などを介して復号化装置１２と接続されている。復号化装置１２は、符号化画像信号ｄ２１１を受信する受信者側に設置される。復号化装置１２は、主にコンピュータ、携帯電話、ＰＤＡ、デジタルテレビ、デジタルテレビのセットアップボックスあるいはカーナビゲーションシステムなどの画像を取り扱う機器において備えられる。
補間フレーム生成システム１０は、画像信号ｄ２１０をできるだけ低ビットレートで、すなわち符号化効率を向上させて伝送すること、および画像信号ｄ２１０をできるだけ高画質で伝送することを目的とするシステムである。より具体的には、画像信号ｄ２１０をフレーム毎に画面内符号化あるいは画面間符号化する際に、一部のフレーム（例えば、Ｂフレームなど）については、動きベクトルの伝送を行わない。これにより符号化効率を向上させるとともに、一部のフレーム（例えば、Ｂフレームなど）の復号化に必要な情報を付加情報として伝送し、復号化画像信号ｄ２１２を高画質化する。
以下、図２〜図８を用いて、補間フレーム生成システム１０に備えられる符号化装置１１および復号化装置１２について詳細な説明を加える。
〈符号化装置１１〉
（符号化装置１１の構成）
図２は、符号化装置１１の構成について説明するブロック図である。符号化装置１１は、画像信号ｄ２１０を直交変換と量子化を含む方法で符号化し、符号化画像信号ｄ２１１を出力する装置である。図２では、ＭＰＥＧなどで用いられる画面内符号化あるいは画面間符号化により画像信号ｄ２１０を符号化する場合の符号化装置１１について説明している。
符号化装置１１は、画像信号ｄ２１０を動き補償符号化し符号化画像信号ｄ２１１を出力する装置であって、符号化部１６と、動き補償部１７と、付加情報作成部１８とを備えている。
符号化部１６は、減算部２０と、スイッチ２１と、直交変換部２２と、量子化部２３と、可変長符号化部２４と、逆量子化部２５と、逆直交変換部２６と、加算部２７とを備えている。
減算部２０は、画像信号ｄ２１０を第１の入力、動き補償された画像信号ｄ２２５を第２の入力とし、第１の入力と第２の入力との差分である減算信号ｄ２２０を出力する。スイッチ２１は、減算信号ｄ２２０の出力先を切り換えるスイッチであり、直交変換部２２あるいは付加情報作成部１８に接続される。直交変換部２２は、スイッチ２１の出力である減算信号ｄ２２０を入力とし、減算信号ｄ２２０を直交変換したＤＣＴ係数ｄ２２１を出力する。量子化部２３は、ＤＣＴ係数ｄ２２１を入力とし、ＤＣＴ係数ｄ２２１を量子化した量子化ＤＣＴ係数ｄ２２２を出力とする。可変長符号化部２４は、量子化ＤＣＴ係数ｄ２２２を第１の入力、付加情報作成部１８の作成した付加情報ｄ２３１を第２の入力とし、動き補償部１７から取得される動きベクトルや符号化モードとあわせて可変長符号化した符号化画像信号ｄ２１１を出力とする。逆量子化部２５は、量子化ＤＣＴ係数ｄ２２２を入力とし、量子化ＤＣＴ係数ｄ２２２を逆量子化した逆量子化ＤＣＴ係数ｄ２２３を出力とする。逆直交変換部２６は、逆量子化ＤＣＴ係数ｄ２２３を入力とし、逆量子化ＤＣＴ係数ｄ２２３を逆直交変換した逆直交変換信号ｄ２２４を出力とする。加算部２７は、逆直交変換信号ｄ２２４を第１の入力、動き補償された画像信号ｄ２２５を第２の入力とし、第１の入力と第２の入力とを加算した局所復号化信号ｄ２２６を出力とする。
動き補償部１７は、フレームメモリ３０と、動きベクトル検出部３１とを備えており、画像信号ｄ２１０を第１の入力、局所復号化信号ｄ２２６を第２の入力とし、動き補償された画像信号ｄ２２５を第１の出力、検出された動きベクトルｄ２２８を第２の出力とする。
フレームメモリ３０は、局所復号化信号ｄ２２６を第１の入力、動きベクトル検出部３１の検出した動きベクトルｄ２２８を第２の入力とし、動きベクトルｄ２２８で動き補償された動き補償された画像信号ｄ２２５を第１の出力、フレームメモリ３０に記憶された局所復号化信号ｄ２２７を第２の出力とする。動きベクトル検出部３１は、画像信号ｄ２１０を第１の入力、フレームメモリ３０に記憶された局所復号化信号ｄ２２７を第２の入力とし、動きベクトルｄ２２８を出力とする。
付加情報作成部１８は、スイッチ２１の出力である減算信号ｄ２２０を第１の入力、動きベクトルｄ２２８を第２の入力とし、付加情報ｄ２３１を出力とする。
可変長符号化部２４は、付加情報ｄ２３１を、量子化ＤＣＴ係数ｄ２２２、動き補償部１７から取得される動きベクトルや符号化モードなどとあわせて可変長符号化する。この時、付加情報ｄ２３１が付加される場合には、可変長符号化される符号列に付加情報ｄ２３１が付加されていることを示す判別情報が含められてもよい。
なお、上記した各部は、ＬＳＩなどの集積回路として、独立にあるいは一体的に構成されている。また、フレームメモリ３０は、ＤＲＡＭ、ＳＲＡＭなどの記憶装置である。
（符号化装置１１の作用）
図３と図４とを用いて、画像信号ｄ２１０を構成する画像フレーム（ＩフレームＩ４１、ＢフレームＢ４２，Ｂ４３、ＰフレームＰ４４（図３（ａ）参照））を符号化する場合の符号化装置１１の動作について説明する。なお、本発明は、ＢフレームＢ４２，Ｂ４３を符号化する場合に特徴を有している。
《ＩフレームＩ４１、ＰフレームＰ４４の符号化》
ＩフレームＩ４１を符号化する場合、減算部２０は、減算処理を行わない。また、スイッチ２１は、直交変換部２２側を向く。これにより、画像信号ｄ２１０を構成するＩフレームＩ４１は、直交変換部２２により直交変換され、量子化部２３により量子化され、可変長符号化部２４により可変長符号化され、符号化画像信号ｄ２１１として出力される。さらに、量子化されたＩフレームＩ４１は、ローカルデコードされフレームメモリ３０に記憶される。
ＰフレームＰ４４を符号化する場合について、図３（ｂ）を用いて説明する。ＰフレームＰ４４を符号化する場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１との動きベクトルＭＶ４６を検出する。さらに、検出された動きベクトルＭＶ４６により動き補償された画像信号ｄ２２５を導出する。減算部２０は、画像信号ｄ２１０と動き補償された画像信号ｄ２２５との減算処理を行い、減算信号ｄ２２０を出力する。スイッチ２１は、直交変換部２２側を向く。これにより、減算信号ｄ２２０は、直交変換部２２により直交変換され、量子化部２３により量子化され、可変長符号化部２４により可変長符号化され、検出された動きベクトルＭＶ４６とともに符号化画像信号ｄ２１１として出力される。さらに、量子化されたＰフレームＰ４４は、ローカルデコードされフレームメモリ３０に記憶される。
《ＢフレームＢ４２の符号化》
ＢフレームＢ４２を符号化する場合について、図４を用いて説明する。なお、ＢフレームＢ４３を符号化する場合については同様であり、説明を省略する。
（１）
ＢフレームＢ４２を符号化する場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４との動きベクトルを検出する（図４（ａ）参照）。より具体的には、ＢフレームＢ４２のブロックｂ５１の符号化に際して、ブロックｂ５１と同じ位置にあるＰフレームＰ４４のブロックｂ５３のブロックマッチングをＩフレームＩ４１に対して行う。これにより、ＩフレームＩ４１のブロックｂ５２に対する動きベクトルＭＶ４８が検出される。検出された動きベクトルＭＶ４８は、動きベクトル検出部３１から動きベクトルｄ２２８として付加情報作成部１８に出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動きベクトルが出力される。
フレームメモリ３０は、検出された動きベクトルＭＶ４８を用いて、動き補償されたＢフレームＢ４２を生成する。より具体的には、画像信号ｄ２１０におけるＩフレームＩ４１とＰフレームＰ４４との時間的距離に対する画像信号ｄ２１０におけるＩフレームＩ４１とＢフレームＢ４２との時間的距離の割合で動きベクトルＭＶ４８を内分し、ＩフレームＩ４１のブロックｂ５４に対するブロックｂ５１の補間用動きベクトルＣＭＶ４９を導出する。また、画像信号ｄ２１０におけるＩフレームＩ４１とＰフレームＰ４４との時間的距離に対する画像信号ｄ２１０におけるＰフレームＰ４４とＢフレームＢ４２との時間的距離の割合で動きベクトルＭＶ４８を内分し、ＰフレームＰ４４のブロックｂ５５に対するブロックｂ５１の補間用動きベクトルＣＭＶ５０を導出する。さらに、動き補償されたＢフレームＢ４２におけるブロックｂ５１に対応する画素値として、ブロックｂ５４とブロックｂ５５の画素値を平均した値が出力される。ブロックｂ５４とブロックｂ５５の画素値を平均した値は、フレームメモリ３０から、動き補償された画像信号ｄ２２５として出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動き補償された画素値が出力される。
減算部２０は、画像信号ｄ２１０と動き補償された画像信号ｄ２２５とを減算処理し、減算信号ｄ２２０を出力する。スイッチ２１は、付加情報作成部１８側を向き、減算信号ｄ２２０は、付加情報作成部１８に入力される。
付加情報作成部１８は、入力された減算信号ｄ２２０の大きさに応じて、付加情報ｄ２３１の作成を行う。より具体的には、減算信号ｄ２２０の大きさが［０］あるいは所定の閾値より小さい場合には、付加情報作成部１８は、ＢフレームＢ４２の補間方式と、動きベクトルＭＶ４８の動き検出方式とを付加情報ｄ２３１として作成する。作成された付加情報ｄ２３１は、可変長符号化部２４において、ＰフレームＰ４４についての量子化ＤＣＴ係数ｄ２２２の後に符号化される。
ここで、補間方式とは、ＢフレームＢ４２の生成に用いられる動きベクトルＭＶ４８の向き、ＢフレームＢ４２の生成に用いられるＩフレームＩ４１およびＰフレームＰ４４を特定する情報およびＢフレームＢ４２の補間位置に関する情報などである。
また、動き検出方式とは、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報である。動き検出のアルゴリズムに関する情報とは、全探索、間引き探索、ＯＡＴ探索、Ｎステップ探索、階層型探索などと呼ばれる探索方法を指定する情報である。探索範囲に関する情報とは、ブロックマッチングを行う画素領域（±８画素、±１６画素、±３２画素、±６４画素など）に関する情報である。サブペル精度に関する情報とは、ブロックマッチングを行う画素精度（整数画素単位、１／２画素単位、１／４画素単位、１／８画素単位など）に関する情報である。評価関数に関する情報とは、ブロックマッチングにおける評価関数であるＳＡＤ（絶対差分和）やＳＳＤ（平方差分和）などを指定する情報である。
（２）
一方、減算信号ｄ２２０の大きさが所定の閾値より大きい場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４とに対する画像信号ｄ２１０におけるＢフレームＢ４２の動きベクトルを検出する（図４（ｂ）参照）。より具体的には、画像信号ｄ２１０におけるＢフレームＢ４２のブロックｂ５１の符号化に際して、ブロックｂ５１の双方向へのブロックマッチングを行い、ＩフレームＩ４１のブロックｂ６１に対する動きベクトルＭＶ６３とＰフレームＰ４４のブロックｂ６２に対する動きベクトルＭＶ６４とが検出される。検出された動きベクトルＭＶ６３とＭＶ６４とは、動きベクトル検出部３１から動きベクトルｄ２２８として付加情報作成部１８に出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動きベクトルが出力される。
さらに、フレームメモリ３０は、検出された動きベクトルＭＶ６３とＭＶ６４とを用いて動き補償されたＢフレームＢ４２を作成する。より具体的には、動き補償されたＢフレームＢ４２のブロックｂ５１に対応する画素値として、ブロックｂ６１とブロックｂ６２の画素値を平均した値が出力される。ブロックｂ６１とブロックｂ６２の画素値を平均した値は、フレームメモリ３０から、動き補償された画像信号ｄ２２５として出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動き補償された画素値が出力される。
減算部２０は、画像信号ｄ２１０を構成するＢフレームＢ４２と動き補償された画像信号ｄ２２５（動きベクトルＭＶ６３、ＭＶ６４により動き補償されたＢフレームＢ４２）とを減算処理し、減算信号ｄ２２０を出力する。スイッチ２１は、付加情報作成部１８側を向き、減算信号ｄ２２０は、付加情報作成部１８に入力される。
付加情報作成部１８は、上記した補間方式と動き検出方式とに加えて、残差情報とベクトル差分とを付加情報ｄ２３１として作成する。作成された付加情報ｄ２３１は、可変長符号化部２４において、ＰフレームＰ４４についての量子化ＤＣＴ係数ｄ２２２の後に符号化される。
ここで、残差情報とは、減算信号ｄ２２０の値である。また、ベクトル差分とは、動きベクトルＭＶ４８に基づいて、ＢフレームＢ４２の動きベクトルＭＶ６３とＭＶ６４とを導出するための情報であり、具体的には、動きベクトルＭＶ６３と補間用動きベクトルＣＭＶ４９とのベクトル差分および動きベクトルＭＶ６４と補間用動きベクトルＣＭＶ５０とのベクトル差分のことである（図４（ｃ）参照）。
（方法・プログラム）
図５に、符号化装置１１における付加情報作成方法について説明するフローチャートを示す。なお、詳しい内容は、上記と同様であり、説明を省略する。また、この付加情報作成方法は、全てあるいは一部の動作をプログラムとして実行可能である。
画像信号ｄ２１０におけるＢフレームＢ４２を符号化する場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４との動きベクトルを検出する（ステップＳ４０１）。さらに、フレームメモリ３０は、検出された動きベクトルを用いて、動き補償されたＢフレームＢ４２を作成する（ステップＳ４０２）。減算部２０は、画像信号ｄ２１０に含まれるＢフレームＢ４２と動き補償されたＢフレームＢ４２とを減算処理し減算信号ｄ２２０を出力する（ステップＳ４０３）。
付加情報作成部１８は、減算信号ｄ２２０の大きさに応じて、付加情報ｄ２３１の作成を行う。
減算信号ｄ２２０の大きさが［０］あるいは所定の閾値より小さい場合には、付加情報作成部１８は、ＢフレームＢ４２の補間方式と、動きベクトルＭＶ４８の動き検出方式とを付加情報ｄ２３１として作成する（ステップＳ４０４，Ｓ４０５）。
減算信号ｄ２２０の大きさが所定の閾値より大きい場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４とに対する画像信号ｄ２１０におけるＢフレームＢ４２の動きベクトルを検出する（ステップＳ４０６）。フレームメモリ３０は、検出された動きベクトルを用いて、動き補償されたＢフレームＢ４２を作成する（ステップＳ４０７）。減算部２０は、画像信号ｄ２１０に含まれるＢフレームＢ４２と動き補償されたＢフレームＢ４２とを減算処理し、減算信号ｄ２２０を出力する（ステップＳ４０８）。
付加情報作成部１８は、補間方式と動き検出方式とに加えて、残差情報とベクトル差分とを付加情報ｄ２３１として作成する（ステップＳ４０９）。ここで、残差情報とは、ステップＳ４０８で出力された減算信号ｄ２２０の値である。また、ベクトル差分とは、ステップＳ４０６で検出された動きベクトルと、ステップＳ４０１で検出された動きベクトルから作成された補間用動きベクトルとの差分である。
〈復号化装置１２〉
（復号化装置１２の構成）
図６は、復号化装置１２の構成について説明するブロック図である。復号化装置１２は、画像信号ｄ２１０を直交変換と量子化を含む方法で符号化した符号化画像信号ｄ２１１を復号化し、復号化画像信号ｄ２１２を出力する装置である。復号化装置１２は、復号化部７０と、フレーム出力部７１とを備えている。
復号化部７０は、動き補償符号化された符号化画像信号ｄ２１１を入力とし、画像フレームｄ２５８〜ｄ２６０を第１〜第３の出力、付加情報ｄ２５２を第４の出力とする。復号化部７０は、可変長復号化部７２と、逆量子化部７３と、逆直交変換部７４と、加算部７５と、フレームメモリ７６と、動き補償部７７とを備えている。
可変長復号化部７２は、符号化画像信号ｄ２１１を第１の入力とし、符号化画像信号ｄ２１１を復号化することにより、量子化ＤＣＴ係数ｄ２５０を第１の出力、復号化動きベクトルｄ２５１を第２の出力、付加情報ｄ２５２を第３の出力とする。逆量子化部７３は、量子化ＤＣＴ係数ｄ２５０を入力とし、量子化ＤＣＴ係数ｄ２５０を逆量子化した逆量子化ＤＣＴ係数ｄ２５３を出力とする。逆直交変換部７４は、逆量子化ＤＣＴ係数ｄ２５３を入力とし、逆量子化ＤＣＴ係数ｄ２５３を逆直交変換した逆直交変換信号ｄ２５４を出力とする。加算部７５は、逆直交変換信号ｄ２５４を第１の入力、動き補償された画像フレームｄ２５５を第２の入力とし、第１の入力と第２の入力とを加算した加算信号ｄ２５６を出力とする。フレームメモリ７６は、加算信号ｄ２５６を入力とし、画像フレームｄ２５７〜ｄ２６０を第１〜第４の出力とする。動き補償部７７は、復号化動きベクトルｄ２５１を第１の入力、画像フレームｄ２５７を第２の入力とし、動き補償された画像フレームｄ２５５を出力とする。
フレーム出力部７１は、画像フレームｄ２５８〜ｄ２６０を第１〜第３の入力とし、付加情報を第４の入力とし、復号化画像信号ｄ２１２を出力とする。フレーム出力部７１は、動きベクトル検出部７９と、補間フレーム生成部８０と、スイッチ８１とを備えている。
動きベクトル検出部７９は、画像フレームｄ２６０を第１の入力、付加情報ｄ２５２を第２の入力とし、画像フレームｄ２６０間に検出された動きベクトルｄ２６５を出力とする。補間フレーム生成部８０は、画像フレームｄ２５９を第１の入力、動きベクトルｄ２６５を第２の入力、付加情報ｄ２５２を第３の入力とし、補間フレームｄ２６８を出力とする。スイッチ８１は、画像フレームｄ２５８を第１の入力、補間フレームｄ２６８を第２の入力とし、それぞれの入力を切り換えて復号化画像信号ｄ２１２を出力する。
なお、上記した各部は、ＬＳＩなどの集積回路として、独立にあるいは一体的に構成されている。また、フレームメモリ７６は、ＤＲＡＭ、ＳＲＡＭなどの記憶装置である。
（復号化装置１２の作用）
画像信号ｄ２１０を構成する画像フレーム（ＩフレームＩ４１、ＢフレームＢ４２，Ｂ４３、ＰフレームＰ４４（図３（ａ）参照））が符号化された符号化画像信号ｄ２１１を復号化する場合の復号化装置１２の動作について説明する。なお、本発明は、ＢフレームＢ４２，Ｂ４３を復号化する場合に特徴を有している。
《ＩフレームＩ４１、ＰフレームＰ４４の復号化》
ＩフレームＩ４１を復号化する場合、符号化画像信号ｄ２１１は、可変長復号化部７２により可変長復号化され、逆量子化部７３により逆量子化され、逆直交変換部７４により逆直交変換され、逆直交変換信号ｄ２５４が出力される。また、加算部７５は、加算処理を行わない。これにより、フレームメモリ７６には、復号化されたＩフレームＩ４１が記憶される。スイッチ８１は、ＩフレームＩ４１を出力するタイミングでフレームメモリ７６側を向く。これにより、ＩフレームＩ４１が復号化画像信号ｄ２１２として出力される。
ＰフレームＰ４４を復号化する場合、符号化画像信号ｄ２１１は、可変長復号化部７２により可変長復号化され、逆量子化部７３により逆量子化され、逆直交変換部７４により逆直交変換され、逆直交変換信号ｄ２５４が出力される。また、動き補償部７７は、可変長復号化部７２より取得された復号化動きベクトルｄ２５１と、フレームメモリ７６に記憶されたＩフレームＩ４１とを用いて、動き補償された画像フレームｄ２５５（動き補償されたＰフレームＰ４４）を出力する。加算部７５は、逆直交変換信号ｄ２５４と動き補償された画像フレームｄ２５５とを加算する。これにより、フレームメモリ７６には、復号化されたＰフレームＰ４４が記憶される。スイッチ８１は、ＰフレームＰ４４を出力するタイミングでフレームメモリ７６側を向く。これにより、ＰフレームＰ４４が復号化画像信号ｄ２１２として出力される。
《ＢフレームＢ４２の復号化》
ＢフレームＢ４２を復号化する場合について、図７を用いて説明する。なお、ＢフレームＢ４３を復号化する場合については同様であり、説明を省略する。
（１）
復号化部７０は、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいない場合には、従来のＢフレームと同様の符号化が行われていると判断する。すなわち、符号化画像信号ｄ２１１は、可変長復号化部７２により可変長復号化され、逆量子化部７３により逆量子化され、逆直交変換部７４により逆直交変換され、逆直交変換信号ｄ２５４が出力される。また、動き補償部７７は、可変長復号化部７２より取得された復号化動きベクトルｄ２５１とフレームメモリ７６に記憶されたＩフレームＩ４１またはＰフレームＰ４４とを用いて、動き補償された画像フレームｄ２５５（動き補償されたＢフレームＢ４２）を出力する。加算部７５は、逆直交変換信号ｄ２５４と動き補償された画像フレームｄ２５５とを加算する。これにより、フレームメモリ７６には、復号化されたＢフレームＢ４２が記憶される。スイッチ８１は、ＢフレームＢ４２を出力するタイミングでフレームメモリ７６側を向く。これにより、ＢフレームＢ４２が復号化画像信号ｄ２１２として出力される。
（２）
一方、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいる場合には、フレーム出力部７１においてＢフレームＢ４２の生成が行われる。以下、具体的に説明する。
なお、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいることは、付加情報ｄ２５２の有無で判断してもよいが、可変長復号化される符号化画像信号ｄ２１１が判別情報を含んでいるか否かで判断してもよい。ここで、判別情報とは、符号化画像信号ｄ２１１に付加情報ｄ２３１が付加されているか否かを示すものであり、例えば、フラグなどであっても良い。
（２−１）
動きベクトル検出部７９は、付加情報ｄ２５２が含む補間方式および動き検出方式を取得し、動きベクトルの検出を行う。
ここで、補間方式とは、ＢフレームＢ４２の生成に用いられる動きベクトルの向き、ＢフレームＢ４２の生成に用いられるＩフレームＩ４１およびＰフレームＰ４４を特定する情報およびＢフレームＢ４２の補間位置に関する情報などである。
また、動き検出方式とは、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報である。動き検出のアルゴリズムに関する情報とは、全探索、間引き探索、ＯＡＴ探索、Ｎステップ探索、階層型探索などと呼ばれる探索方法を指定する情報である。探索範囲に関する情報とは、ブロックマッチングを行う領域に関する情報である。サブペル精度に関する情報とは、ブロックマッチングを行う精度に関する情報である。評価関数に関する情報とは、ブロックマッチングにおける評価関数であるＳＡＤ（絶対差分和）やＳＳＤ（平方差分和）などを指定する情報である。
図７（ａ）を用いて、動きベクトル検出部７９の動作についてさらに詳しく説明する。ＢフレームＢ４２のブロックｂ５１を復号化する場合、動きベクトル検出部７９は、補間方式が指定する画像フレーム間の動きベクトルであって、ブロックｂ５１に対応する位置のブロックの動きベクトルを検出する。図７（ａ）は、補間方式として、ＢフレームＢ４２の生成に用いられる動きベクトルは、ＰフレームＰ４４からＩフレームＩ４１への動きベクトルである、という情報が含まれている場合に検出される動きベクトルＭＶ９０について示している。この場合、動きベクトル検出部７９は、フレームメモリ７６に記憶されているＰフレームＰ４４のブロックｂ５３からＩフレームＩ４１のブロックｂ９１への動きベクトルＭＶ９０を検出する。この際、動きベクトル検出部７９は、付加情報ｄ２５２が含む動き検出方式により動きベクトルＭＶ９０の検出を行う。
（２−２）
補間フレーム生成部８０は、付加情報ｄ２５２が含む補間方式、残差情報およびベクトル差分を取得し、ＢフレームＢ４２の生成を行う。
ここで、残差情報とは、符号化装置１１（図２参照）において、画像信号ｄ２１０が含むＢフレームＢ４２と動き補償されたＢフレームＢ４２とを減算処理した減算信号ｄ２２０の値である。ベクトル差分とは、具体的には、動きベクトルＭＶ６３と補間用動きベクトルＣＭＶ４９とのベクトル差分および動きベクトルＭＶ６４と補間用動きベクトルＣＭＶ５０とのベクトル差分のことである（図４（ｃ）参照）。
図７（ｂ）および（ｃ）を用いて、補間フレーム生成部８０の動作についてさらに詳しく説明する。補間フレーム生成部８０は、動きベクトル検出部７９が検出した動きベクトルＭＶ９０を補間方式が含むＢフレームＢ４２の補間位置により内分し、ＢフレームＢ４２からＩフレームＩ４１への補間用動きベクトルＣＭＶ９３と、ＢフレームＢ４２からＰフレームＰ４４への補間用動きベクトルＣＭＶ９５とを導出する（図７（ｂ）参照）。
導出された補間用動きベクトルＣＭＶ９３に対して、動きベクトルＭＶ６３と補間用動きベクトルＣＭＶ４９とのベクトル差分を加算し、ＢフレームＢ４２からＩフレームＩ４１への動きベクトルＭＶ９７が作成される（図７（ｃ）参照）。また同様に、導出された補間用動きベクトルＣＭＶ９５に対して、動きベクトルＭＶ６４と補間用動きベクトルＣＭＶ５０とのベクトル差分を加算し、ＢフレームＢ４２からＰフレームＰ４４への動きベクトルＭＶ９９が作成される（図７（ｃ）参照）。
さらに、作成された動きベクトルＭＶ９７とＭＶ９９とを用いて、動き補償されたＢフレームＢ４２を作成する。より具体的には、動き補償されたＢフレームＢ４２のブロックｂ５１に対応する画素値として、ブロックｂ５１を動きベクトルＭＶ９７で移動させた先のブロックｂ１０１とブロックｂ５１を動きベクトルＭＶ９９で移動させた先のブロックｂ１０３との画素値を平均した値が計算される。補間フレーム生成部８０は、ブロックｂ１０１とブロックｂ１０３との画素値をフレームメモリ７６からの出力である画像フレームｄ２５９により取得する。
さらに、補間フレーム生成部８０は、付加情報ｄ２５２が残差情報を含む場合、動き補償されたＢフレームＢ４２の値に残差情報の値を加算し、復号化されたＢフレームＢ４２を出力する。復号化されたＢフレームＢ４２は、補間フレームｄ２６８として補間フレーム生成部８０から出力される。
スイッチ８１は、ＢフレームＢ４２を出力するタイミングで補間フレーム生成部８０側を向く。これにより、ＢフレームＢ４２が復号化画像信号ｄ２１２として出力される。
（方法・プログラム）
図８に復号化装置１２における補間フレーム生成方法について説明するフローチャートを示す。なお、詳しい内容は、上記と同様であり、説明を省略する。また、この補間フレーム生成方法は、全てあるいは一部の動作をプログラムとして実行可能である。
復号化部７０は、符号化画像信号ｄ２１１が付加情報ｄ２５２を含まない場合、画面内符号化されたＩフレーム、画面間符号化されたＰフレームあるいはＢフレームの復号化を行う（ステップＳ４３１、ステップＳ４３２）。
符号化画像信号ｄ２１１が付加情報ｄ２５２を含む場合、フレーム出力部７１によるＢフレームＢ４２（図７（ａ）参照）の復号化が行われる（ステップＳ４３３〜Ｓ４３９）。
付加情報ｄ２５２が含む補間方式および動き検出方式に基づいて、フレームメモリ７６に記憶されている画像フレームについて動きベクトルが検出される（ステップＳ４３３）。また、付加情報ｄ２５２が含む補間方式に基づいて、ステップＳ４３３で検出された動きベクトルから補間用動きベクトルが導出される（ステップＳ４３４）。補間フレーム生成部８０は、付加情報ｄ２５２がベクトル差分を含むか否かを判定し（ステップＳ４３５）、ベクトル差分を含む場合には、補間用動きベクトルに対してベクトル差分を加算して、ＢフレームＢ４２からＩフレームＩ４１またはＰフレームＰ４４への動きベクトルを作成する（ステップＳ４３６）。ベクトル差分を含まない場合には、導出された補間用動きベクトルを作成された動きベクトルとみなす。
補間フレーム生成部８０は、作成された動きベクトルを用いて、動き補償されたＢフレームＢ４２を作成する（ステップＳ４３７）。補間フレーム生成部８０は、付加情報ｄ２５２が残差情報を含むか否かを判定し（ステップＳ４３８）、残差情報を含む場合には、動き補償されたＢフレームＢ４２に対して残差情報を適用して（ステップＳ４３９）、復号化されたＢフレームＢ４２を出力する。残差情報を含まない場合には、ステップＳ４３７で作成された動き補償されたＢフレームＢ４２を復号化されたＢフレームＢ４２とみなす。
〈補間フレーム生成システム１０の効果〉
（符号化装置１１の効果）
《１》
本発明の符号化装置１１では、ＢフレームＢ４２を生成するために特別に符号化する情報は付加情報ｄ２３１のみである。すなわち、ＢフレームＢ４２について検出された動きベクトル（動きベクトルＭＶ６３，ＭＶ６４（図４（ｂ）参照））を符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
《２》
本発明の符号化装置１１では、以下のいずれかの効果が実現される。すなわち、付加情報ｄ２３１に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、ＢフレームＢ４２の動きベクトルＭＶ６３，ＭＶ６４のより正確な作成が可能となる。さらには、ＢフレームＢ４２のより正確な生成が可能となる。また、付加情報ｄ２３１に残差情報が含まれる場合には、ＢフレームＢ４２の画素値のより正確な生成が可能となる。
《３》
本発明の符号化装置１１では、付加情報ｄ２３１が含む情報を必要に応じて変更可能である（図５（ステップＳ４０４）参照）。このためさらなる符号化効率の向上が可能となる。
《４》
本発明の符号化装置１１では、付加情報ｄ２３１は、Ｂフレーム毎に作成されている。このため、より高精度な補間フレームの生成が可能となる。
（復号化装置１２の効果）
《１》
本発明の復号化装置１２では、ＢフレームＢ４２を生成するために特別に符号化する情報は付加情報ｄ２３１のみである。すなわち、画像信号ｄ２１０におけるＢフレームＢ４２について検出された動きベクトル（動きベクトルＭＶ６３，ＭＶ６４（図４（ｂ）参照））が符号化されていなくとも、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
《２》
本発明の復号化装置１２では、以下のいずれかの効果が実現される。すなわち、付加情報ｄ２３１に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、画像信号ｄ２１０におけるＢフレームＢ４２の動きベクトルＭＶ６３，ＭＶ６４がより正確に作成される。さらには、ＢフレームＢ４２のより正確な生成が可能となる。また、付加情報ｄ２３１に残差情報が含まれる場合には、ＢフレームＢ４２の画素値のより正確な生成が可能となる。
《３》
本発明の復号化装置１２では、付加情報ｄ２３１を含まない符号化画像信号ｄ２１１を取得した場合にもＢフレームＢ４２を生成することが可能となる（図８（ステップＳ４３１）参照）。すなわち、従来法との互換性が保たれている。
《４》
本発明の復号化装置１２では、付加情報ｄ２３１は、Ｂフレーム毎に作成されている。このため、より高精度な補間フレームの生成が可能となる。
（補間フレーム生成システム１０の効果）
《１》
本発明の補間フレーム生成システム１０では、ＢフレームＢ４２を生成するために特別に符号化する情報は付加情報ｄ２３１のみである。すなわち、ＢフレームＢ４２について検出された動きベクトル（動きベクトルＭＶ６３，ＭＶ６４（図４（ｂ）参照））が符号化されていなくとも、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
より具体的に効果について説明する。補間フレーム生成システム１０では、付加情報ｄ２３１を用いて、符号化装置１１の動きベクトル検出部３１と、復号化装置１２の動きベクトル検出部７９とに同様の動き検出を実現させることが可能となる。これにより、動きベクトルＭＶ４８（図４参照）と動きベクトルＭＶ９０（図７参照）とを近似したベクトルとして検出することが可能となる。また、符号化および復号化の基準となる情報（動きベクトルＭＶ４８および動きベクトルＭＶ９０）について伝送することなく、この基準となる情報からの差分のみを伝送する。このため、符号化効率の向上が可能となる。さらに、従来と同程度に高精度な補間フレームの生成が可能となる。
〈変形例〉
本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。また、上記実施形態で述べた方法は、プログラムとしてコンピュータなどにより実現されることも可能である。
（動きベクトルについて）
《１》
上記実施形態では、ＢフレームＢ４２に対して時間的に前方に位置するＩフレームＩ４１と、時間的に後方に位置するＰフレームＰ４４との間の動きベクトルＭＶ４８を検出すると説明した（図４参照）。ここで、ＢフレームＢ４２の符号化のために検出される動きベクトルは、これに限定されるものでは無い。
例えば、ＩフレームＩ４１からＰフレームＰ４４への動きベクトルが検出されていてもよい。また、ＢフレームＢ４２に対して時間的に前方あるいは後方に位置する複数の画像フレーム間について動きベクトルが検出されていてもよい。また、動きベクトルの検出は、一方向のみでなく、双方向に検出されるものであってもよい。
また、これら複数の検出方法について、動きベクトルの検出精度を比較し、最も精度の高い方法を採用するとしてもよい。
さらに、図４に示したフレームの構成は一例であり、本発明の効果がこのフレームの構成に限定されるものではない。
例えば、ＩフレームＩ４１は、Ｐフレームに置き換えられていてもよいし、ＰフレームＰ４４は、Ｉフレームに置き換えられていてもよい。また、Ｂフレームの枚数も図４に示した枚数に限定されるものではない。
また、本発明の効果は、上記実施形態で説明したＩフレームＩ４１、ＰフレームＰ４４の符号化の方法に限定されるものでは無い。例えば、ＩフレームＩ４１は、あらかじめ決められたルールに従い、フレームメモリ３０に作成された画素値の減算処理を行うことにより符号化されるものであっても良い。より具体的には、ＭＰＥＧ−４などで行われる様に、イントラ符号化では、フレーム内で予測画素を作成し、その画素値を減算し、その残差成分の符号化を行うものであってもよい。すなわち、本発明では、符号化済のフレームであれば、符号化方法に依存せず、ＩフレームＩ４１、ＰフレームＰ４４の代わりに用いられることが可能である。
また、同様に、本発明の効果は、上記実施形態で説明したＩフレームＩ４１、ＰフレームＰ４４の復号化の方法に限定されるものでは無い。例えば、加算部７５は、あらかじめ決められたルールに従い、フレームメモリ７６に作成された画素値の加算処理を行うことにより、ＩフレームＩ４１を復号化するものであっても良い。
《２》
上記実施形態では、ブロックｂ５１に対する補間用動きベクトルＣＭＶ４９，ＣＭＶ５０を導出するための動きベクトルＭＶ４８は、ブロックｂ５１と同じ位置にあるＰフレームＰ４４のブロックｂ５３について検出される動きベクトルであると説明した（図４参照）。ここで、動きベクトルの検出方法は、これに限定されるものでは無い。
例えば、ブロックｂ５１に対する補間用動きベクトルを導出するための動きベクトルは、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルのうち、ブロックｂ５１を横切る動きベクトルとして求められてもよい。
さらにこの場合、ブロックｂ５１を横切る複数の動きベクトルがある場合には、それらの動きベクトルにより動き補償されたＢフレームＢ４２のブロックｂ５１に対応する画素値として、複数の動きベクトルを検出するのに用いられたブロックの画素値を単純平均あるいは加重平均した値としてもよい。
さらにこの場合、ブロックｂ５１を横切る動きベクトルが無い場合には、ブロックｂ５１の近傍のブロックの動きベクトルの平均値、もしくは線形補間の値、もしくは平滑化フィルタをかけた値、もしくは重みつきの平滑化フィルタをかけた値などの値としてもよい。
《３》
上記実施形態では、ＢフレームＢ４２に対して双方向の補間用動きベクトルＣＭＶ４９，ＣＭＶ５０が導出され、ＢフレームＢ４２に対して双方向の動きベクトルＭＶ６３，ＭＶ６４が検出され、それぞれのベクトル差分が算出されると説明した。ここで、ＢフレームＢ４２のそれぞれのブロックについて検出される動きベクトルは、双方向のものに限定されない。
例えば、一方向のものであっても良いし、さらに多くの動きベクトルが検出されるものであってもよい。
《４》
上記実施形態では、ブロックｂ５１に対する補間用動きベクトルＣＭＶ４９，ＣＭＶ５０は、ブロックｂ５１と同じ位置にあるＰフレームＰ４４のブロックｂ５３について検出される動きベクトル、または、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルのうち、ブロックｂ５１を横切る動きベクトルにより算出される値であると説明した（図４参照）。ここで、補間用動きベクトルの導出方法は、これに限定されるものでは無い。
これについて、図９を用いて説明する。図９（ａ）は、図４のＢフレームＢ４２を符号化する場合の例である。画像信号ｄ２１０におけるＢフレームＢ４２を符号化する場合、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルにより算出される値から、ＢフレームＢ４２上のブロックｂ５１１〜ｂ５１９に対して、双方向のベクトルＶ５１１ａ〜Ｖ５１９ａ及び、Ｖ５１１ｂ〜Ｖ５１９ｂが算出できる（図９（ａ）参照）。ここで、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルからベクトルＶ５１１ａ〜Ｖ５１９ａ及び、Ｖ５１１ｂ〜Ｖ５１９ｂを導出する方法は、上記実施形態で、補間用動きベクトルの導出方法として説明した方法と同様である。なお、図９において、Ｖ５１１ｂ〜Ｖ５１９ｂについては、Ｖ５１１ａ〜Ｖ５１９ａと同じ処理で行うため、説明は省略する。
さらに、それぞれのブロックについて導出されたベクトルを隣接ブロックについて導出されたベクトルを用いて平滑化処理などすることにより、それぞれのブロックについて補間用動きベクトルが導出される。例えば、ブロックｂ５１５に対する補間用動きベクトルＣＭＶ５１５ａ及びＣＭＶ５１５ｂは、周囲のブロックのベクトルであるＶ５１１ａ〜Ｖ５１９ａ及び、Ｖ５１１ｂ〜Ｖ５１９ｂに対して、例えば、平滑化フィルタまたはメディアンフィルタまたは重みをつけた平滑化フィルタをかけることにより、算出される（図９（ｂ）参照）。また、周囲のブロックの範囲は８近傍でなくてもよい。
なお、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルを平滑化し、平滑化された動きベクトルを内分あるいは外分することにより補間用動きベクトルを算出しても同様の結果が得られる。
符号化装置１１では、算出された補間用動きベクトルを用いて、上記実施形態で説明したベクトル差分、残差情報を計算し、付加情報として符号化する。
あるいは、ベクトル差分、残差情報は付加情報として符号化せず、補間方式あるいは平滑化方式などを付加情報として符号化する。
復号化装置１２では、復号化したＰフレームＰ４４とＩフレームＩ４１とから、各ブロックに対する補間用動きベクトルを算出する。さらに、補間用動きベクトルと付加情報とを用いて、各ブロックの復号化を行う。
ここで、付加情報としてベクトル差分、残差情報が含まれていない場合には、補間用動きベクトルを各ブロックの動きベクトルとみなして補間フレームの各ブロックの復号化を行う。
以上の手順で導出された補間用動きベクトルは、例えば、付加情報として残差情報あるいはベクトル差分が伝送されない場合において、言い換えれば、低ビットレートの伝送において、復号化装置１２で生成されるＢフレームの画質向上に有効である。すなわち、復号化装置１２で算出される各ブロックの補間用動きベクトルでは、隣接ブロックとの空間的な相関性が強められており、Ｂフレームの精度の向上、特にブロック歪みなどの削減に有効である。
《５》
上記実施形態では、ＢフレームＢ４２のブロックｂ５１の大きさについて、ＰフレームＰ４４のブロックと同じ大きさとして説明した（図４参照）。ここで、ブロックｂ５１の大きさは、これに限定されるものでは無い。
例えば、ＢフレームＢ４２のブロックｂ５１はＰフレームＰ４４のブロックの４分の１の大きさであってもよい。
これにより、詳細に動き補償することができるため、復号化装置１２で生成されるＢフレームの精度を向上させることができる。
（付加情報について）
《６》
符号化装置１１で作成される付加情報ｄ２３１は、デフォルトの付加情報をコード化して含むものであってもかまわない。これについて、図１０と図１１とを用いて説明する。
（６−１）
図１０は、付加情報ｄ２３１が含む動き検出方式のパラメータの組み合わせを特定するためのテーブル１１０である。テーブル１１０は、動き検出の探索範囲（±８画素、±１６画素、±３２画素、±６４画素）、サブペル精度（整数画素単位、１／２画素単位、１／４画素単位、１／８画素単位）および評価関数（Ｆ１〜Ｆ４：Ｆ１〜Ｆ４は、ＳＡＤあるいはＳＳＤなどの評価関数を示す。）についてパラメータの組み合わせを複数格納しており、それぞれの組み合わせは、コード情報１１１により特定可能である。なお、符号化装置１１と復号化装置１２とは、共通のテーブル１１０を有している。
付加情報ｄ２３１は、動きベクトル検出部３１で実行された動き検出方式をコード情報１１１として含んでいる。コード情報１１１は、数ビットの情報として表現される。このため、付加情報ｄ２３１の情報量は、さらに削減可能となる。
なお、動き検出方式に限らず、補間方式などについてもテーブル化されていてもよい。また、図１０は、一例であり、本発明の効果がこの場合に限定されるものではない。
（６−２）
図１１は、付加情報ｄ２３１が含む情報の組み合わせを特定するためのテーブル１１５である。テーブル１１５は、付加情報ｄ２３１が含む情報の組み合わせを複数のプロファイル情報１１６として有している。図１１では、プロファイル情報１１６は、１〜４の番号により特定される。また、テーブル１１５中［○］は、その情報が含まれていることを示している。テーブル１１５中［×］は、その情報が含まれていないことを示している。なお、符号化装置１１と復号化装置１２とは、共通のテーブル１１０を有している。
復号化装置１２では、テーブル１１５により、符号化画像信号ｄ２１１から取得された付加情報ｄ２５２が含む情報の組み合わせを認識可能となる。このため、復号化装置１２は、付加情報ｄ２５２が含む情報の一部を利用できない場合であっても、その情報が含まれているか否かを認識することにより確実にスキップすることが可能となる。また、付加情報ｄ２５２が含む情報を確実に取得することが可能となる。このため、付加情報ｄ２５２の内容を誤って認識することが防止可能となる。
なお、図１１は、一例であり、本発明の効果がこの場合に限定されるものではない。
《７》
復号化装置１２（図６参照）において、動きベクトル検出部７９は、符号化画像信号ｄ２１１から取得された付加情報ｄ２５２が指定する動き検出方式を実行できない場合には、あらかじめ定めた他の動き検出方式により動きベクトルの検出を行ってもよい。
図１２は、付加情報ｄ２５２が指定する動き検出のアルゴリズム１２０と、動きベクトル検出部７９で実行される動き検出のアルゴリズム１２１との対応関係について示している。
これにより、動きベクトル検出部７９は、付加情報ｄ２５２が指定する動き検出のアルゴリズム１２０を実行できない場合であっても、できるだけ近い動きベクトルを検出することができる他の動き検出のアルゴリズム１２１を実行する。
なお、図１２は、対応関係の一例であり、本発明の効果がこの場合に限定されるものではない。
《８》
符号化装置１１（図２参照）では、動き検出方式あるいは補間方式などの情報があらかじめ定めたデフォルトと一致する場合には、付加情報ｄ２３１に含めないこととしてもよい。
この場合、復号化装置１２（図６参照）では、動き検出方式あるいは補間方式などに相当する情報が付加情報ｄ２５２に含まれない場合には、あらかじめ符号化装置１１と共通に有するデフォルトの動き検出方式あるいは補間方式を用いて補間フレームの生成を行う。
また、符号化装置１１（図２参照）では、画像フレームの画面間符号化の際に検出される動きベクトルが利用可能である場合には、動き検出方式を付加情報ｄ２３１に含めないこととしても良い。
例えば、ＢフレームＢ４２の符号化に際して検出される動きベクトルＭＶ４８（図４（ａ）参照）がすでにＰフレームＰ４４の符号化の際に検出されている場合、再度ＰフレームＰ４４とＩフレームＩ４１との動きベクトルの検出を行わない。符号化装置１１では、ＢフレームＢ４２の符号化に際して、ＰフレームＰ４４の符号化の際に検出された動きベクトルを利用する。
この場合、復号化装置１２では、補間フレームの生成に際して、動きベクトル検出部７９によるＰフレームＰ４４とＩフレームＩ４１との動きベクトルの検出を行わない。補間フレーム生成部８０は、復号化部７０から、ＰフレームＰ４４の符号化の際に用いられた動きベクトル取得し、この動きベクトルを利用してＢフレームＢ４２の復号化を行う。
《９》
上記実施形態では、付加情報ｄ２３１は、補間フレーム毎に作成されるとした。ここで、付加情報ｄ２３１に含まれる情報のうちの一部は、画像信号ｄ２１０のストリーム毎に含まれるものであってもよい。
例えば、動き検出方式や補間方式などは、画像信号ｄ２１０のストリーム毎に含まれるものであってもよい。これにより、補間フレーム毎に動き検出方式や補間方式を付加する必要がなくなり、符号化効率が向上する。
また、付加情報ｄ２３１の少なくとも一部は、画像信号ｄ２１０のストリームヘッダとして含まれるものであっても良い。
《１０》
上記実施形態では、付加情報作成部１８は、入力された減算信号ｄ２２０の大きさに応じて、付加情報ｄ２３１の作成を行うとした。ここで、付加情報作成部１８は、動きベクトル検出部３１によるＰフレームＰ４４とＩフレームＩ４１との動きベクトルの検出結果に応じて、付加情報ｄ２３１の作成を行ってもよい。
例えば、動きベクトル検出部３１での動きベクトルが近傍の動きベクトルとの類似している、つまり大きく異ならない場合、付加情報を作成する。また、付加情報作成部１８は、前記減算信号ｄ２２０の大きさ及び動きベクトル検出部３１での動きベクトルの近傍の動きベクトルと類似性に応じて、付加情報ｄ２３１の作成を行ってもよい。
これにより、Ｂフレームの生成精度の向上を図ることができる。
《１１》
上記実施形態では、残差情報を付加情報ｄ２３１とする際に、減算信号ｄ２２０を付加情報作成部１８に入力するとした。ここで、残差情報を付加情報ｄ２３１とする際に、減算信号ｄ２２０を直行変換部２２および量子化部２３を用いて処理した量子化ＤＣＴ係数ｄ２２２を付加情報作成部１８に入力してもよい。
この場合、付加情報ｄ２３１の情報量を削減することが可能である。
また、これに対応して、復号化装置１２においても、可変長復号化部７２により出力される付加情報ｄ２５２のうち、減算信号ｄ２２０を直行変換部２２および量子化部２３を用いて処理した量子化ＤＣＴ係数ｄ２２２は、逆量子化部７３および逆直行変換部７４を用いて処理され、補間フレーム生成部８０に出力されるものであってもよい。これにより、減算信号ｄ２２０の値は、補間フレーム生成部８０に与えられることとなる。
（復号化部７０について）
《１２》
上記実施形態では、復号化部７０は、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいない場合には、ＢフレームＢ４２について従来のＢフレームと同様の符号化が行われていると判断すると説明した（図８（ステップＳ４３１）参照）。ここで、復号化部７０は、付加情報ｄ２５２が含まれていない場合には、フレームメモリ７６に記憶されている画像フレームを用いて補間フレームを生成するものであってもよい。
例えば、補間フレーム生成部８０は、あらかじめ定めた方法により補間フレームの生成を行う。
ここで、あらかじめ定めた方法とは、例えば、フレームメモリ７６に記憶されている画像フレーム間の動きベクトルを検出し、補間フレームの動きベクトルを求め、補間フレームを生成する方法や、符号化画像信号ｄ２１１が含む画面間符号化された画像フレームの動きベクトルを用いて、補間フレームの動きベクトルを求め、補間フレームを生成する方法などである。
（符号化装置１１および復号化装置１２について）
《１３》
符号化装置１１（図２参照）および復号化装置１２（図６参照）の各部は、それぞれ一体として存在していてもよいし、別体として存在していても良い。例えば、符号化装置１１において、符号化部１６と、動き補償部１７と、付加情報作成部１８などは、一体として備えられるものであっても、別々の装置として別体として備えられるものであってもよい。また、復号化装置１２において、復号化部７０とフレーム出力部７１とは一体として備えられるものであっても、別々の装置として別体として備えられるものであってもよい。
《１４》
符号化装置１１（図２参照）および復号化装置１２（図６参照）の各部は、それぞれフレーム単位での切換として説明した。ここで、切換の単位はブロック単位であってもよい。例えば、スイッチ２１（図２参照）やスイッチ８１（図６参照）の動作は、ブロック単位での判定で行っても良い。
この場合、図５で説明した付加情報作成方法および図８で説明した補間フレーム生成方法におけるＢフレームについての処理は、ブロック単位で行われることとなる。
これにより、ブロック毎に適した符号化・復号化方法を選択することができるため、Ｂフレームの画質を向上させることができる。
また、上記実施形態および変形例で説明したそれぞれの内容は、ブロック単位、フレーム単位、ストリーム単位などで任意に組み合わせて用いられることが可能である。
また、ブロック単位で切換を行う場合、Ｂフレームの符号化では、付加情報を作成しない従来の符号化と、付加情報を作成する本発明の符号化とを切換るものであってもよい。
具体的には、スイッチ２１（または、スイッチ２１を制御する制御部（図示せず））は、Ｂフレームを構成するブロック毎に以下に示す符号化手法選択処理を行う。符号化手法選択処理は、入力されたブロックに対して、符号化手法の候補毎に、次の（式１）を計算する。
Ｊ＝Ｄ＋λ・Ｒ ・・・ （式１）
ここで、Ｊは、コスト、Ｄは、ひずみ、λは、所定の係数、Ｒは、符号量である。より詳しくは、Ｄは、それぞれの手法を用いて符号化した画像の復号化画像と、原画像との誤差を示す。Ｒは、それぞれの手法を用いて符号化した場合の符号量を示し、量子化ＤＣＴ係数ｄ２２２、動きベクトル、符号化モード、付加情報ｄ２３１などを符号化する場合の符号量である。
符号化手法選択処理は、計算された（式１）の値Ｊを最小とする符号化手法の候補を選択する。
これにより、（式１）を最小とする符号化手法の候補がブロック毎に選択され、復号化の際のひずみを抑えつつ、符号量を低減するＢフレームの符号化が実現できる。
なお、符号化手法の候補としては、従来の符号化手法や、上記実施形態で説明した符号化手法が用いられる。ここで、従来の符号化手法とは、例えば、Ｂフレームを構成するブロックの符号化手法として用いられる画面内符号化、片方向予測、双方向予測、ダイレクトモードなどといった手法である。
より具体的には、画面内符号化、片方向予測は、ＩフレームやＰフレームの符号化として説明したのと同様に行われる。双方向予測では、動き補償部１７（図２参照）は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームとＰフレームとに対して、Ｂフレームの動きベクトルを検出する。さらに、フレームメモリ３０は、検出された動きベクトルを用いて動き補償されたＢフレームを作成する。さらに、減算部２０は、画像信号ｄ２１０を構成するＢフレームと動き補償されたＢフレームとを処理し、減算信号ｄ２２０を出力する。また、ダイレクトモードでは、動き補償部１７（図２参照）は、既にローカルデコードされフレームメモリ３０に記憶されているＰフレームにおいて、符号化対象となるＢフレームのブロックと同じ位置にあるブロック（アンカーブロック）の動きベクトルを、Ｂフレームの位置でスケーリングし、ＢフレームのＩフレームおよびＰフレームに対する動きベクトルを算出する。さらに、フレームメモリ３０は、検出された動きベクトルを用いて動き補償されたＢフレームを作成する。さらに、減算部２０は、画像信号ｄ２１０を構成するＢフレームと動き補償されたＢフレームとを処理し、減算信号ｄ２２０を出力する。
スイッチ２１により、従来法がＢフレームの符号化手法として選択された場合には、スイッチ２１は、直交変換部２２側を向き、減算信号ｄ２２０は、直交変換部２２に入力される。また、検出された動きベクトルは、可変長符号化部２４に入力される。
このように、従来法と本発明の手法とをブロック毎に切換えることにより、より符号化効率が向上する。例えば、従来法としてはダイレクトモードで符号化することが望ましい場合において、そのダイレクトモードよりも符号化効率の高い本発明の手法を用いることが可能となる。
より具体的には、ダイレクトモードでは、符号化の対象となるＢフレームに対する動きベクトルを求めず、例えば、Ｐフレームの動きベクトルを利用する。このように、ダイレクトモードでは、動きベクトルを符号化しないことにより、符号化効率を向上させている。この一方で、ダイレクトモードでは、Ｐフレームの動きベクトルを利用しているため、動き補償されたＢフレームの精度が十分に得られず、残差情報が大きくなることがある。
しかし、本発明の手法を用いる場合、符号化の対象となるＢフレームに対する動きベクトルが求められている。このため、動き補償されたＢフレームの精度を十分に得ることが可能となる。さらに、求めた動きベクトルを符号化する必要なく、ダイレクトモードと同様に符号化効率を高めることが可能となっている。
また、このように符号化された符号化画像信号ｄ２１１に対応して、スイッチ８１（図６参照）をブロック単位で動作させることも可能である。
［第２実施形態］
本発明の第２実施形態として、上記で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムの応用例とそれを用いたシステムを図１３〜図１６を用いて説明する。
図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
コンテンツの符号化処理あるいは復号化処理に際して、上記実施形態で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示した符号化装置、復号化装置を備え、補間フレーム生成方法、補間フレーム生成プログラムを実現でき、全体として補間フレーム生成システムを構築するものであってよい。
一例として携帯電話について説明する。
図１４は、上記実施形態の符号化装置および復号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ｅｘ１１５について図１５を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
以上の構成において、画像符号化部ｅｘ３１２は、上記実施形態の符号化装置を備え、画像復号化部ｅｘ３０９は、上記実施形態の復号化装置を備えている。この時、図２に示す符号化装置１１と図６に示す復号化装置１２とで共通する構成については同一のハードウェアを共用することとしてもよい。すなわち、フレームメモリ、動きベクトル検出部、逆量子化部、逆直交変換部などは、同一のハードウェアであっても良い。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施形態で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記実施形態で説明した符号化装置、復号化装置を備えていてもよい。また、上記実施形態の補間フレーム生成方法を用いるものであってもよい。さらに、補間フレーム生成プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態で説明した符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記実施形態で説明した符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した符号化装置、復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。
なお、カーナビゲーションｅｘ４１３の構成は例えば図１５に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施形態で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
また、上記実施形態で図を用いて説明した符号化装置、復号化装置において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
具体的には、図２における各ブロックは、１チップ化されても良い。この際、フレームメモリ３０は、別体として外部に接続されるものであっても良い。
また、図６における各ブロックは、１チップ化されても良い。この際、フレームメモリ７６は、別体として外部に接続されるものであっても良い。また、復号化部７０とフレーム出力部７１とは、別対として構成されていても良い。このような構成においても、フレームメモリ７６は、別体として復号化部７０の外部に接続されるものであっても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、上記実施形態で図を用いて説明した各機能ブロックの処理の一部又は全部は、プログラムにより実現されるものであってもよい。この場合、具体的な処理は、例えば、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

本発明の復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムは、符号化効率を向上させつつ高精度の補間フレームを生成を行うことが必要な復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムなどに適用することが可能である。

本発明は、復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム、特に、補間フレームの生成を行うための復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムに関する。

テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示する装置において、画像信号を構成する画像フレームを補間する補間フレームを生成し、生成された補間フレームを画像フレームに内挿して表示させる技術が知られている。この技術は、低フレームレートで伝送された画像信号を滑らかに表示すること、あるいは画像信号を低ビットレートで符号化し伝送することを目的として利用されている。
前者を目的とする技術として、画像フレーム間の動きベクトルを検出し、求められた動きベクトルを用いて補間フレームを生成する技術が知られている（例えば、特許文献１参照）。
より具体的には、画像フレーム間の動きベクトルを検出し、動きベクトルを検出した画像フレーム間の時間的距離と補間フレームの補間位置の時間的距離との比により検出された動きベクトルを内分あるいは外分する。こうして導出された動きベクトル（以下、補間用動きベクトルという）と画像フレームの画素値とを用いて、補間フレームを生成する。
ここで、補間フレームの精度を高めることを目的として、補間用動きベクトルを用いた補間の精度が低い部分については、補間フレームに対応する画像信号の画素値を伝送する技術についても知られている（例えば、特許文献２参照）。

後者を目的とする技術として、動き補償符号化という技術が知られている。動き補償符号化とは、画像フレームを構成する画像ブロックの動きベクトルを用いて行われる符号化である。例えば、動画像信号圧縮の国際規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、符号化に際して、画面内符号化と画面間符号化の２つの符号化方法が用いられる。画面内符号化は、画像フレームをそのフレーム内の情報だけで符号化する方法であり、この方法で符号化された画像フレームをＩフレームと呼んでいる。画面間符号化とは、画像フレームをそのフレーム内の情報と他のフレームの情報との両方を用いて符号化する方法であり、この方法で符号化された画像フレームをＰフレームまたはＢフレームと呼んでいる。
すなわち、後者を目的とする動き補償符号化は、補間フレーム（Ｂフレーム）と補間フレームに対して時間的に双方向に位置する画像フレーム（ＩフレームまたはＰフレーム）との動きベクトルと、動きベクトルにより動き補償された画像フレームと補間フレームとの残差情報とを補間フレームを生成するための情報として符号化する技術である。復号化側では、符号化画像信号と既に復号化された画像フレームとを用いて、補間フレームの生成を行う。
特開平７−１７７５１４号公報（第５図） 特許第２８２８０９６号公報

本技術分野においては、さらに符号化効率を向上させつつ高精度の補間フレームの生成を行うことが求められている。具体的には、上記した２つの技術において、前者では、さらに高精度な補間フレームを生成することが求められており、後者では、符号化効率を向上させることが求められている。
そこで、本発明では、符号化効率を向上させつつ高精度の補間フレームの生成を行うための復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムを提供することを課題とする。

請求項１に記載の復号化装置は、復号化手段と、動きベクトル検出手段と、補間フレーム生成手段とを備えている。復号化手段は、画像信号を構成する画像フレームと、画像フレーム間の動きベクトルである第１の動きベクトルに基づいて画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する。動きベクトル検出手段は、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成手段は、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
復号化手段は、符号化画像信号から画像フレームと付加情報とを復号化する。付加情報は、画像フレームを補間する補間フレームを生成するための情報であって、符号化前の画像フレームについて検出された第１の動きベクトルに基づいて補間フレームを生成するための情報である。動きベクトル検出手段は、例えばブロックマッチングなどにより復号化後の画像フレーム間の第２の動きベクトルを検出する。補間フレーム生成手段は、第２の動きベクトルを第１の動きベクトルとみなし、第２の動きベクトルと画像フレームと付加情報とに基づいて補間フレームを生成する。
ここで、第１の動きベクトルとは、補間フレームに対して時間的に前方および後方に位置する画像フレーム間について、一方向あるいは双方向に検出される動きベクトルだけでなく、補間フレームに対して時間的に前方あるいは後方に位置する複数の画像フレーム間について、一方向あるいは双方向に検出される動きベクトルであってもよい（以下、この欄において同じ）。また、フレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってもよい（以下、この欄において同じ）。さらに、画像フレームは、符号化される際に、画面内符号化されるものであっても、画面間符号化されるものであってもよい（以下、この欄において同じ）。

本発明の復号化装置では、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化画像信号に含まれていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。
請求項２に記載の復号化装置は、請求項１に記載の復号化装置であって、付加情報は、画像フレームに対する補間フレームの補間方式と、補間フレームと補間フレームに対応する画像フレームとの残差情報と、補間フレームの画像フレームに対して検出された動きベクトルと第１の動きベクトルに基づいて導出される補間フレームの画像フレームに対する動きベクトルとのベクトル差分と、第１の動きベクトルの検出に用いられた動き検出方式とのうち少なくともいずれかを含む。
補間方式は、例えば、補間フレームの生成に用いられる第１の動きベクトルの向き、補間フレームの生成に用いられる画像フレーム、および画像フレームに対する補間位置に関する情報などである（以下、この欄において同じ）。残差情報とは、例えば、補間フレームの画素値と補間フレームの生成に用いられる画像フレームの画素値との差分などである（以下、この欄において同じ）。ベクトル差分とは、第１の動きベクトルに基づいて補間フレームの動きベクトルを導出するための情報であり、例えば、動き検出により検出される補間フレームの動きベクトルと、第１の動きベクトルを内分あるいは外分して求められる補間フレームの動きベクトルとの差分などである（以下、この欄において同じ）。動き検出方式とは、例えば、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報である（以下、この欄において同じ）。動き検出のアルゴリズムに関する情報とは、例えば、全探索、間引き探索、ＯＡＴ探索、Ｎステップ探索、階層型探索などと呼ばれる探索方法を指定する情報である。探索範囲に関する情報とは、例えば、ブロックマッチングを行う領域に関する情報である。サブペル精度に関する情報とは、例えば、ブロックマッチングを行う精度に関する情報である。評価関数に関する情報とは、例えば、ブロックマッチングにおける評価関数であるＳＡＤ（絶対差分和）やＳＳＤ（平方差分和）などを指定する情報である。

本発明の復号化装置では、以下のいずれかの効果を実現することが可能となる。すなわち、付加情報に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、補間フレームの動きベクトルがより正確に生成される。さらには、補間フレームがより正確に生成される。また、付加情報に残差情報が含まれる場合には、補間フレームの画素値がより正確に生成される。
請求項３に記載の復号化装置は、請求項２に記載の復号化装置であって、付加情報は、付加情報が含む情報の組み合わせを特定するためのプロファイル情報をさらに含んでいる。
プロファイル情報は、例えば、補間方式、残差情報、ベクトル差分、あるいは動き検出方式などの情報が付加情報に含まれているか否かに関する情報であり、それぞれの情報の組み合わせに対して割り当てられた番号などにより、付加情報が含む情報の組み合わせを特定する。
本発明の復号化装置では、付加情報が含む情報の組み合わせを確実に取得することが可能となる。このため、より正確に補間フレームを生成することが可能となる。
請求項４に記載の復号化装置は、請求項２または３に記載の復号化装置であって、動き検出方式は、動き検出のパラメータの組み合わせを特定するためのコード情報として含まれている。動きベクトル検出手段は、コード情報が特定する動き検出のパラメータに基づいて、第２の動きベクトルの検出を行う。

ここで、動き検出のパラメータとは、例えば、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報それぞれについての内容である。コード情報は、例えば、動き検出のパラメータの組み合わせに対して割り当てられた番号などにより、動き検出のパラメータの組み合わせを特定する。
動きベクトル検出手段は、取得されたコード情報により動き検出方式を特定し、特定された動き検出方式により第２の動きベクトルの検出を行う。
本発明の復号化装置では、動き検出方法がコード情報としてまとめられて符号化される。このため、符号化効率をより高めつつ高精度の補間フレームの生成が可能となる。
請求項５に記載の復号化装置は、請求項２〜４のいずれか１項に記載の復号化装置であって、動きベクトル検出手段は、付加情報が含む動き検出方式を実行できない場合には、付加情報が含む動き検出方式に応じて定められた所定の動き検出方式により第２の動きベクトルを検出する。
動きベクトル検出手段は、例えば、付加情報が含む動き検出方式が動きベクトル検出手段では実行できない動き検出のアルゴリズムを指定する場合、指定されたアルゴリズムに応じて定められた他のアルゴリズムにより動き検出を実行する。

本発明の復号化装置では、第１の動きベクトルの検出に用いられた動き検出方式を実行できない場合であっても、異なる動き検出方式を用いて第２の動きベクトルを検出することが可能となる。また、第１の動きベクトルの検出に用いられた動き検出方式とできるだけ近い特性の動き検出方式を用いることにより、第１の動きベクトルに近い動きベクトルを検出することが可能となる。
請求項６に記載の復号化装置は、請求項２〜５のいずれか１項に記載の復号化装置であって、付加情報は、補間フレーム毎に作成されている情報である。
本発明の復号化装置では、補間フレーム毎に付加情報が作成されている。このため、より高精度な補間フレームを生成することが可能となる。
請求項７に記載の復号化装置は、請求項２〜５のいずれか１項に記載の復号化装置であって、付加情報のうち、動き検出方式は、符号化画像信号のストリーム毎に作成されている情報である。
本発明の復号化装置では、動き検出方式はストリーム毎に作成されている。このため、より符号化効率を向上させることが可能となる。
請求項８に記載の復号化装置は、請求項１〜７のいずれか１項に記載の復号化装置であって、補間フレーム生成手段は、符号化画像信号に付加情報が含まれていない場合に、復号化した画像フレームに基づいて補間フレームの生成を行う。

補間フレーム生成手段では、画像信号を画面内符号化と画面間符号化とのみにより符号化した符号化画像信号が取得される場合、復号化した画像フレームを用いて、補間フレームの生成が行われる。補間フレームの生成は、例えば、画像フレーム間の動きベクトルを検出し補間フレームの動きベクトルを求め補間フレームを生成する方法や、画面間符号化された画像フレームの動きベクトルを用いて補間フレームの動きベクトルを求め補間フレームを生成する方法などにより行われる。
本発明の復号化装置では、付加情報を含まない符号化画像信号を取得した場合にも補間フレームを生成することが可能となる。すなわち、従来法との互換性が保たれている。
請求項９に記載の符号化装置は、第１の動きベクトル検出手段と、付加情報作成手段と、符号化手段とを備えている。第１の動きベクトル検出手段は、画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する。付加情報作成手段は、画像フレームを補間する補間フレームを第１の動きベクトルに基づいて生成するための付加情報を作成する。符号化手段は、画像フレームと付加情報とを符号化する。
第１の動きベクトル検出手段は、例えば、ブロックマッチングなどにより画像フレーム間の第１の動きベクトルを検出する。付加情報作成手段は、第１の動きベクトルに基づいて補間フレームを生成するための情報である付加情報を作成する。符号化手段は、画像フレームと付加情報とを符号化する。ここで、画像フレームの符号化は、画面内符号化あるいは画面間符号化などにより行われる。

本発明の符号化装置では、補間フレームを生成するために特別に符号化する情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどを符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
請求項１０に記載の符号化装置は、請求項９に記載の符号化装置であって、付加情報は、画像フレームに対する補間フレームの補間方式と、補間フレームと補間フレームに対応する画像フレームとの残差情報と、補間フレームの画像フレームに対して検出された動きベクトルと第１の動きベクトルに基づいて導出される補間フレームの画像フレームに対する動きベクトルとのベクトル差分と、第１の動きベクトルの検出に用いられた動き検出方式とのうち少なくともいずれかを含む。
本発明の符号化装置により、以下のいずれかの効果が実現される。すなわち、付加情報に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、補間フレームの動きベクトルのより正確な生成が可能となる。さらには、補間フレームのより正確な生成が可能となる。また、付加情報に残差情報が含まれる場合には、補間フレームの画素値のより正確な生成が可能となる。
請求項１１に記載の符号化装置は、請求項１０に記載の符号化装置であって、付加情報は、付加情報が含む情報の組み合わせを特定するためのプロファイル情報をさらに含んでいる。

プロファイル情報は、例えば、補間方式、残差情報、ベクトル差分、あるいは動き検出方式などの情報が付加情報に含まれているか否かに関する情報であり、それぞれの情報の組み合わせに対して割り当てられた番号などにより、付加情報が含む情報の組み合わせを特定する。
本発明の符号化装置では、付加情報が含む情報の組み合わせを確実に符号化することが可能となる。このため、補間フレームのより正確な生成が可能となる。
請求項１２に記載の符号化装置は、請求項１０または１１に記載の符号化装置であって、動き検出方式は、動き検出のパラメータの組み合わせを特定するためのコード情報として含まれている。
ここで、動き検出のパラメータとは、例えば、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報それぞれについての内容である。コード情報は、例えば、動き検出のパラメータの組み合わせに対して割り当てられた番号などにより、動き検出のパラメータの組み合わせを特定する。
本発明の符号化装置では、動き検出方法がコード情報としてまとめられて符号化される。このため、符号化効率のさらなる向上と高精度の補間フレームの生成とが可能となる。

請求項１３に記載の符号化装置は、請求項１０〜１２のいずれか１項に記載の符号化装置であって、付加情報は、補間フレーム毎に作成される情報である。
本発明の符号化装置では、補間フレーム毎に付加情報が作成されている。このため、より高精度の補間フレームの生成が可能となる。
請求項１４に記載の符号化装置は、請求項１０〜１２のいずれか１項に記載の符号化装置であって、動き検出方式は、画像信号のストリームのヘッダ情報として含まれている。
本発明の符号化装置では、動き検出方式はストリーム毎に作成されている。
請求項１５に記載の符号化装置は、請求項１１に記載の符号化装置であって、プロファイル情報は、画像信号のストリームのヘッダ情報として含まれている。
本発明の符号化装置では、プロファイル情報はストリーム毎に作成されている。
請求項１６に記載の符号化装置は、請求項９〜１５のいずれか１項に記載の符号化装置であって、符号化手段は、画像フレームに基づいて生成される補間フレームと補間フレームに対応する画像信号との残差が小さい場合には、付加情報の符号化を行わない。
符号化手段は、画像フレームに基づいて高精度の補間フレームの生成が行われる場合には、付加情報の符号化を行わない。補間フレームの生成は、例えば、画像フレーム間の動きベクトルを検出し補間フレームの動きベクトルを求め補間フレームを生成する方法や、画面間符号化される画像フレームの動きベクトルを用いて補間フレームの動きベクトルを求め補間フレームを生成する方法などにより行われる。

本発明の符号化装置では、符号化効率のさらなる向上と高精度の補間フレームの生成とが可能となる。
請求項１７に記載の補間フレーム生成システムは、画像信号を構成する画像フレームを補間する補間フレームを生成する補間フレーム生成システムであって、第１の動きベクトル検出手段と、付加情報作成手段と、符号化手段と、復号化手段と、第２の動きベクトル検出手段と、補間フレーム生成手段とを備えている。第１の動きベクトル検出手段は、画像フレーム間の動きベクトルである第１の動きベクトルを検出する付加情報作成手段は、第１の動きベクトルに基づいて補間フレームを生成するための付加情報を作成する。符号化手段は、画像フレームと付加情報とを符号化する。復号化手段は、符号化された画像フレームと付加情報とを復号化する。第２の動きベクトル検出手段は、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成手段は、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
本発明の補間フレーム生成システムでは、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化されていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。

請求項１８に記載の集積回路装置は、復号化部と、動きベクトル検出部と、補間フレーム生成部とを備えている。復号化部は、画像信号を構成する画像フレームと、画像フレーム間の動きベクトルである第１の動きベクトルに基づいて画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する。動きベクトル検出部は、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成部は、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
本発明の集積回路装置では、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化画像信号に含まれていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。
請求項１９に記載の集積回路装置は、第１の動きベクトル検出部と、付加情報作成部と、符号化部とを備えている。第１の動きベクトル検出部は、画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する。付加情報作成部は、画像フレームを補間する補間フレームを第１の動きベクトルに基づいて生成するための付加情報を作成する。符号化部は、画像フレームと付加情報とを符号化する。

本発明の集積回路装置では、補間フレームを生成するために特別に符号化する情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどを符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
請求項２０に記載の復号化プログラムは、復号化ステップと、動きベクトル検出ステップと、補間フレーム生成ステップとを備える復号化方法をコンピュータに行わせるための復号化プログラムである。復号化ステップは、画像信号を構成する画像フレームと、画像フレーム間の動きベクトルである第１の動きベクトルに基づいて画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する。動きベクトル検出ステップは、復号化された画像フレーム間の動きベクトルである第２の動きベクトルを検出する。補間フレーム生成ステップは、第２の動きベクトルと復号化された画像フレームと復号化された付加情報とに基づいて補間フレームを生成する。
本発明の復号化プログラムでは、補間フレームを生成するために特別に必要となる情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどが符号化画像信号に含まれていなくとも、符号化効率を向上させつつ高精度の補間フレームを生成することが可能となる。

請求項２１に記載の符号化プログラムは、第１の動きベクトル検出ステップと、付加情報作成ステップと、符号化ステップとを備える符号化方法をコンピュータに行わせるための符号化プログラムである。第１の動きベクトル検出ステップは、画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する。付加情報作成ステップは、画像フレームを補間する補間フレームを第１の動きベクトルに基づいて生成するための付加情報を作成する。符号化ステップは、画像フレームと付加情報とを符号化する。
本発明の符号化プログラムでは、補間フレームを生成するために特別に符号化する情報は付加情報のみである。すなわち、補間フレームの動きベクトルなどを符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。

本発明により、符号化効率を向上させつつ高精度の補間フレームの生成を行うための復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムを提供することが可能となる。

［第１実施形態］
〈補間フレーム生成システム１０の構成〉
図１〜図１２を用いて、本発明の第１実施形態としての補間フレーム生成システム、符号化装置および復号化装置について説明する。
図１は、補間フレーム生成システム１０の概要を説明するブロック図である。補間フレーム生成システム１０は、画像信号ｄ２１０を入力とし符号化された符号化画像信号ｄ２１１を出力とする符号化装置１１と、符号化画像信号ｄ２１１を入力とし復号化された復号化画像信号ｄ２１２を出力とする復号化装置１２とを備えている。符号化装置１１は、画像信号ｄ２１０を提供する提供者側に設置され、インターネットや電話回線などの通信網もしくは地上波放送、ケーブルテレビあるいは衛星放送などの放送網などを介して復号化装置１２と接続されている。復号化装置１２は、符号化画像信号ｄ２１１を受信する受信者側に設置される。復号化装置１２は、主にコンピュータ、携帯電話、ＰＤＡ、デジタルテレビ、デジタルテレビのセットアップボックスあるいはカーナビゲーションシステムなどの画像を取り扱う機器において備えられる。
補間フレーム生成システム１０は、画像信号ｄ２１０をできるだけ低ビットレートで、すなわち符号化効率を向上させて伝送すること、および画像信号ｄ２１０をできるだけ高画質で伝送することを目的とするシステムである。より具体的には、画像信号ｄ２１０をフレーム毎に画面内符号化あるいは画面間符号化する際に、一部のフレーム（例えば、Ｂフレームなど）については、動きベクトルの伝送を行わない。これにより符号化効率を向上させるとともに、一部のフレーム（例えば、Ｂフレームなど）の復号化に必要な情報を付加情報として伝送し、復号化画像信号ｄ２１２を高画質化する。

以下、図２〜図８を用いて、補間フレーム生成システム１０に備えられる符号化装置１１および復号化装置１２について詳細な説明を加える。
〈符号化装置１１〉
（符号化装置１１の構成）
図２は、符号化装置１１の構成について説明するブロック図である。符号化装置１１は、画像信号ｄ２１０を直交変換と量子化を含む方法で符号化し、符号化画像信号ｄ２１１を出力する装置である。図２では、ＭＰＥＧなどで用いられる画面内符号化あるいは画面間符号化により画像信号ｄ２１０を符号化する場合の符号化装置１１について説明している。
符号化装置１１は、画像信号ｄ２１０を動き補償符号化し符号化画像信号ｄ２１１を出力する装置であって、符号化部１６と、動き補償部１７と、付加情報作成部１８とを備えている。
符号化部１６は、減算部２０と、スイッチ２１と、直交変換部２２と、量子化部２３と、可変長符号化部２４と、逆量子化部２５と、逆直交変換部２６と、加算部２７とを備えている。

減算部２０は、画像信号ｄ２１０を第１の入力、動き補償された画像信号ｄ２２５を第２の入力とし、第１の入力と第２の入力との差分である減算信号ｄ２２０を出力する。スイッチ２１は、減算信号ｄ２２０の出力先を切り換えるスイッチであり、直交変換部２２あるいは付加情報作成部１８に接続される。直交変換部２２は、スイッチ２１の出力である減算信号ｄ２２０を入力とし、減算信号ｄ２２０を直交変換したＤＣＴ係数ｄ２２１を出力する。量子化部２３は、ＤＣＴ係数ｄ２２１を入力とし、ＤＣＴ係数ｄ２２１を量子化した量子化ＤＣＴ係数ｄ２２２を出力とする。可変長符号化部２４は、量子化ＤＣＴ係数ｄ２２２を第１の入力、付加情報作成部１８の作成した付加情報ｄ２３１を第２の入力とし、動き補償部１７から取得される動きベクトルや符号化モードとあわせて可変長符号化した符号化画像信号ｄ２１１を出力とする。逆量子化部２５は、量子化ＤＣＴ係数ｄ２２２を入力とし、量子化ＤＣＴ係数ｄ２２２を逆量子化した逆量子化ＤＣＴ係数ｄ２２３を出力とする。逆直交変換部２６は、逆量子化ＤＣＴ係数ｄ２２３を入力とし、逆量子化ＤＣＴ係数ｄ２２３を逆直交変換した逆直交変換信号ｄ２２４を出力とする。加算部２７は、逆直交変換信号ｄ２２４を第１の入力、動き補償された画像信号ｄ２２５を第２の入力とし、第１の入力と第２の入力とを加算した局所復号化信号ｄ２２６を出力とする。

動き補償部１７は、フレームメモリ３０と、動きベクトル検出部３１とを備えており、画像信号ｄ２１０を第１の入力、局所復号化信号ｄ２２６を第２の入力とし、動き補償された画像信号ｄ２２５を第１の出力、検出された動きベクトルｄ２２８を第２の出力とする。
フレームメモリ３０は、局所復号化信号ｄ２２６を第１の入力、動きベクトル検出部３１の検出した動きベクトルｄ２２８を第２の入力とし、動きベクトルｄ２２８で動き補償された動き補償された画像信号ｄ２２５を第１の出力、フレームメモリ３０に記憶された局所復号化信号ｄ２２７を第２の出力とする。動きベクトル検出部３１は、画像信号ｄ２１０を第１の入力、フレームメモリ３０に記憶された局所復号化信号ｄ２２７を第２の入力とし、動きベクトルｄ２２８を出力とする。
付加情報作成部１８は、スイッチ２１の出力である減算信号ｄ２２０を第１の入力、動きベクトルｄ２２８を第２の入力とし、付加情報ｄ２３１を出力とする。
可変長符号化部２４は、付加情報ｄ２３１を、量子化ＤＣＴ係数ｄ２２２、動き補償部１７から取得される動きベクトルや符号化モードなどとあわせて可変長符号化する。この時、付加情報ｄ２３１が付加される場合には、可変長符号化される符号列に付加情報ｄ２３１が付加されていることを示す判別情報が含められてもよい。

なお、上記した各部は、ＬＳＩなどの集積回路として、独立にあるいは一体的に構成されている。また、フレームメモリ３０は、ＤＲＡＭ、ＳＲＡＭなどの記憶装置である。
（符号化装置１１の作用）
図３と図４とを用いて、画像信号ｄ２１０を構成する画像フレーム（ＩフレームＩ４１、ＢフレームＢ４２，Ｂ４３、ＰフレームＰ４４（図３（ａ）参照））を符号化する場合の符号化装置１１の動作について説明する。なお、本発明は、ＢフレームＢ４２，Ｂ４３を符号化する場合に特徴を有している。
《ＩフレームＩ４１、ＰフレームＰ４４の符号化》
ＩフレームＩ４１を符号化する場合、減算部２０は、減算処理を行わない。また、スイッチ２１は、直交変換部２２側を向く。これにより、画像信号ｄ２１０を構成するＩフレームＩ４１は、直交変換部２２により直交変換され、量子化部２３により量子化され、可変長符号化部２４により可変長符号化され、符号化画像信号ｄ２１１として出力される。さらに、量子化されたＩフレームＩ４１は、ローカルデコードされフレームメモリ３０に記憶される。
ＰフレームＰ４４を符号化する場合について、図３（ｂ）を用いて説明する。ＰフレームＰ４４を符号化する場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１との動きベクトルＭＶ４６を検出する。さらに、検出された動きベクトルＭＶ４６により動き補償された画像信号ｄ２２５を導出する。減算部２０は、画像信号ｄ２１０と動き補償された画像信号ｄ２２５との減算処理を行い、減算信号ｄ２２０を出力する。スイッチ２１は、直交変換部２２側を向く。これにより、減算信号ｄ２２０は、直交変換部２２により直交変換され、量子化部２３により量子化され、可変長符号化部２４により可変長符号化され、検出された動きベクトルＭＶ４６とともに符号化画像信号ｄ２１１として出力される。さらに、量子化されたＰフレームＰ４４は、ローカルデコードされフレームメモリ３０に記憶される。

《ＢフレームＢ４２の符号化》
ＢフレームＢ４２を符号化する場合について、図４を用いて説明する。なお、ＢフレームＢ４３を符号化する場合については同様であり、説明を省略する。
（１）
ＢフレームＢ４２を符号化する場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４との動きベクトルを検出する（図４（ａ）参照）。より具体的には、ＢフレームＢ４２のブロックｂ５１の符号化に際して、ブロックｂ５１と同じ位置にあるＰフレームＰ４４のブロックｂ５３のブロックマッチングをＩフレームＩ４１に対して行う。これにより、ＩフレームＩ４１のブロックｂ５２に対する動きベクトルＭＶ４８が検出される。検出された動きベクトルＭＶ４８は、動きベクトル検出部３１から動きベクトルｄ２２８として付加情報作成部１８に出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動きベクトルが出力される。
フレームメモリ３０は、検出された動きベクトルＭＶ４８を用いて、動き補償されたＢフレームＢ４２を生成する。より具体的には、画像信号ｄ２１０におけるＩフレームＩ４１とＰフレームＰ４４との時間的距離に対する画像信号ｄ２１０におけるＩフレームＩ４１とＢフレームＢ４２との時間的距離の割合で動きベクトルＭＶ４８を内分し、ＩフレームＩ４１のブロックｂ５４に対するブロックｂ５１の補間用動きベクトルＣＭＶ４９を導出する。また、画像信号ｄ２１０におけるＩフレームＩ４１とＰフレームＰ４４との時間的距離に対する画像信号ｄ２１０におけるＰフレームＰ４４とＢフレームＢ４２との時間的距離の割合で動きベクトルＭＶ４８を内分し、ＰフレームＰ４４のブロックｂ５５に対するブロックｂ５１の補間用動きベクトルＣＭＶ５０を導出する。さらに、動き補償されたＢフレームＢ４２におけるブロックｂ５１に対応する画素値として、ブロックｂ５４とブロックｂ５５の画素値を平均した値が出力される。ブロックｂ５４とブロックｂ５５の画素値を平均した値は、フレームメモリ３０から、動き補償された画像信号ｄ２２５として出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動き補償された画素値が出力される。

減算部２０は、画像信号ｄ２１０と動き補償された画像信号ｄ２２５とを減算処理し、減算信号ｄ２２０を出力する。スイッチ２１は、付加情報作成部１８側を向き、減算信号ｄ２２０は、付加情報作成部１８に入力される。
付加情報作成部１８は、入力された減算信号ｄ２２０の大きさに応じて、付加情報ｄ２３１の作成を行う。より具体的には、減算信号ｄ２２０の大きさが［０］あるいは所定の閾値より小さい場合には、付加情報作成部１８は、ＢフレームＢ４２の補間方式と、動きベクトルＭＶ４８の動き検出方式とを付加情報ｄ２３１として作成する。作成された付加情報ｄ２３１は、可変長符号化部２４において、ＰフレームＰ４４についての量子化ＤＣＴ係数ｄ２２２の後に符号化される。
ここで、補間方式とは、ＢフレームＢ４２の生成に用いられる動きベクトルＭＶ４８の向き、ＢフレームＢ４２の生成に用いられるＩフレームＩ４１およびＰフレームＰ４４を特定する情報およびＢフレームＢ４２の補間位置に関する情報などである。
また、動き検出方式とは、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報である。動き検出のアルゴリズムに関する情報とは、全探索、間引き探索、ＯＡＴ探索、Ｎステップ探索、階層型探索などと呼ばれる探索方法を指定する情報である。探索範囲に関する情報とは、ブロックマッチングを行う画素領域（±８画素、±１６画素、±３２画素、±６４画素など）に関する情報である。サブペル精度に関する情報とは、ブロックマッチングを行う画素精度（整数画素単位、１／２画素単位、１／４画素単位、１／８画素単位など）に関する情報である。評価関数に関する情報とは、ブロックマッチングにおける評価関数であるＳＡＤ（絶対差分和）やＳＳＤ（平方差分和）などを指定する情報である。

（２）
一方、減算信号ｄ２２０の大きさが所定の閾値より大きい場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４とに対する画像信号ｄ２１０におけるＢフレームＢ４２の動きベクトルを検出する（図４（ｂ）参照）。より具体的には、画像信号ｄ２１０におけるＢフレームＢ４２のブロックｂ５１の符号化に際して、ブロックｂ５１の双方向へのブロックマッチングを行い、ＩフレームＩ４１のブロックｂ６１に対する動きベクトルＭＶ６３とＰフレームＰ４４のブロックｂ６２に対する動きベクトルＭＶ６４とが検出される。検出された動きベクトルＭＶ６３とＭＶ６４とは、動きベクトル検出部３１から動きベクトルｄ２２８として付加情報作成部１８に出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動きベクトルが出力される。
さらに、フレームメモリ３０は、検出された動きベクトルＭＶ６３とＭＶ６４とを用いて動き補償されたＢフレームＢ４２を作成する。より具体的には、動き補償されたＢフレームＢ４２のブロックｂ５１に対応する画素値として、ブロックｂ６１とブロックｂ６２の画素値を平均した値が出力される。ブロックｂ６１とブロックｂ６２の画素値を平均した値は、フレームメモリ３０から、動き補償された画像信号ｄ２２５として出力される。同様の処理により、ＢフレームＢ４２の全てのブロックについて動き補償された画素値が出力される。

減算部２０は、画像信号ｄ２１０を構成するＢフレームＢ４２と動き補償された画像信号ｄ２２５（動きベクトルＭＶ６３、ＭＶ６４により動き補償されたＢフレームＢ４２）とを減算処理し、減算信号ｄ２２０を出力する。スイッチ２１は、付加情報作成部１８側を向き、減算信号ｄ２２０は、付加情報作成部１８に入力される。
付加情報作成部１８は、上記した補間方式と動き検出方式とに加えて、残差情報とベクトル差分とを付加情報ｄ２３１として作成する。作成された付加情報ｄ２３１は、可変長符号化部２４において、ＰフレームＰ４４についての量子化ＤＣＴ係数ｄ２２２の後に符号化される。
ここで、残差情報とは、減算信号ｄ２２０の値である。また、ベクトル差分とは、動きベクトルＭＶ４８に基づいて、ＢフレームＢ４２の動きベクトルＭＶ６３とＭＶ６４とを導出するための情報であり、具体的には、動きベクトルＭＶ６３と補間用動きベクトルＣＭＶ４９とのベクトル差分および動きベクトルＭＶ６４と補間用動きベクトルＣＭＶ５０とのベクトル差分のことである（図４（ｃ）参照）。
（方法・プログラム）
図５に、符号化装置１１における付加情報作成方法について説明するフローチャートを示す。なお、詳しい内容は、上記と同様であり、説明を省略する。また、この付加情報作成方法は、全てあるいは一部の動作をプログラムとして実行可能である。

画像信号ｄ２１０におけるＢフレームＢ４２を符号化する場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４との動きベクトルを検出する（ステップＳ４０１）。さらに、フレームメモリ３０は、検出された動きベクトルを用いて、動き補償されたＢフレームＢ４２を作成する（ステップＳ４０２）。減算部２０は、画像信号ｄ２１０に含まれるＢフレームＢ４２と動き補償されたＢフレームＢ４２とを減算処理し減算信号ｄ２２０を出力する（ステップＳ４０３）。
付加情報作成部１８は、減算信号ｄ２２０の大きさに応じて、付加情報ｄ２３１の作成を行う。
減算信号ｄ２２０の大きさが［０］あるいは所定の閾値より小さい場合には、付加情報作成部１８は、ＢフレームＢ４２の補間方式と、動きベクトルＭＶ４８の動き検出方式とを付加情報ｄ２３１として作成する（ステップＳ４０４，Ｓ４０５）。
減算信号ｄ２２０の大きさが所定の閾値より大きい場合、動き補償部１７は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームＩ４１とＰフレームＰ４４とに対する画像信号ｄ２１０におけるＢフレームＢ４２の動きベクトルを検出する（ステップＳ４０６）。フレームメモリ３０は、検出された動きベクトルを用いて、動き補償されたＢフレームＢ４２を作成する（ステップＳ４０７）。減算部２０は、画像信号ｄ２１０に含まれるＢフレームＢ４２と動き補償されたＢフレームＢ４２とを減算処理し、減算信号ｄ２２０を出力する（ステップＳ４０８）。

付加情報作成部１８は、補間方式と動き検出方式とに加えて、残差情報とベクトル差分とを付加情報ｄ２３１として作成する（ステップＳ４０９）。ここで、残差情報とは、ステップＳ４０８で出力された減算信号ｄ２２０の値である。また、ベクトル差分とは、ステップＳ４０６で検出された動きベクトルと、ステップＳ４０１で検出された動きベクトルから作成された補間用動きベクトルとの差分である。
〈復号化装置１２〉
（復号化装置１２の構成）
図６は、復号化装置１２の構成について説明するブロック図である。復号化装置１２は、画像信号ｄ２１０を直交変換と量子化を含む方法で符号化した符号化画像信号ｄ２１１を復号化し、復号化画像信号ｄ２１２を出力する装置である。復号化装置１２は、復号化部７０と、フレーム出力部７１とを備えている。
復号化部７０は、動き補償符号化された符号化画像信号ｄ２１１を入力とし、画像フレームｄ２５８〜ｄ２６０を第１〜第３の出力、付加情報ｄ２５２を第４の出力とする。復号化部７０は、可変長復号化部７２と、逆量子化部７３と、逆直交変換部７４と、加算部７５と、フレームメモリ７６と、動き補償部７７とを備えている。

可変長復号化部７２は、符号化画像信号ｄ２１１を第１の入力とし、符号化画像信号ｄ２１１を復号化することにより、量子化ＤＣＴ係数ｄ２５０を第１の出力、復号化動きベクトルｄ２５１を第２の出力、付加情報ｄ２５２を第３の出力とする。逆量子化部７３は、量子化ＤＣＴ係数ｄ２５０を入力とし、量子化ＤＣＴ係数ｄ２５０を逆量子化した逆量子化ＤＣＴ係数ｄ２５３を出力とする。逆直交変換部７４は、逆量子化ＤＣＴ係数ｄ２５３を入力とし、逆量子化ＤＣＴ係数ｄ２５３を逆直交変換した逆直交変換信号ｄ２５４を出力とする。加算部７５は、逆直交変換信号ｄ２５４を第１の入力、動き補償された画像フレームｄ２５５を第２の入力とし、第１の入力と第２の入力とを加算した加算信号ｄ２５６を出力とする。フレームメモリ７６は、加算信号ｄ２５６を入力とし、画像フレームｄ２５７〜ｄ２６０を第１〜第４の出力とする。動き補償部７７は、復号化動きベクトルｄ２５１を第１の入力、画像フレームｄ２５７を第２の入力とし、動き補償された画像フレームｄ２５５を出力とする。
フレーム出力部７１は、画像フレームｄ２５８〜ｄ２６０を第１〜第３の入力とし、付加情報を第４の入力とし、復号化画像信号ｄ２１２を出力とする。フレーム出力部７１は、動きベクトル検出部７９と、補間フレーム生成部８０と、スイッチ８１とを備えている。

動きベクトル検出部７９は、画像フレームｄ２６０を第１の入力、付加情報ｄ２５２を第２の入力とし、画像フレームｄ２６０間に検出された動きベクトルｄ２６５を出力とする。補間フレーム生成部８０は、画像フレームｄ２５９を第１の入力、動きベクトルｄ２６５を第２の入力、付加情報ｄ２５２を第３の入力とし、補間フレームｄ２６８を出力とする。スイッチ８１は、画像フレームｄ２５８を第１の入力、補間フレームｄ２６８を第２の入力とし、それぞれの入力を切り換えて復号化画像信号ｄ２１２を出力する。
なお、上記した各部は、ＬＳＩなどの集積回路として、独立にあるいは一体的に構成されている。また、フレームメモリ７６は、ＤＲＡＭ、ＳＲＡＭなどの記憶装置である。
（復号化装置１２の作用）
画像信号ｄ２１０を構成する画像フレーム（ＩフレームＩ４１、ＢフレームＢ４２，Ｂ４３、ＰフレームＰ４４（図３（ａ）参照））が符号化された符号化画像信号ｄ２１１を復号化する場合の復号化装置１２の動作について説明する。なお、本発明は、ＢフレームＢ４２，Ｂ４３を復号化する場合に特徴を有している。
《ＩフレームＩ４１、ＰフレームＰ４４の復号化》
ＩフレームＩ４１を復号化する場合、符号化画像信号ｄ２１１は、可変長復号化部７２により可変長復号化され、逆量子化部７３により逆量子化され、逆直交変換部７４により逆直交変換され、逆直交変換信号ｄ２５４が出力される。また、加算部７５は、加算処理を行わない。これにより、フレームメモリ７６には、復号化されたＩフレームＩ４１が記憶される。スイッチ８１は、ＩフレームＩ４１を出力するタイミングでフレームメモリ７６側を向く。これにより、ＩフレームＩ４１が復号化画像信号ｄ２１２として出力される。

ＰフレームＰ４４を復号化する場合、符号化画像信号ｄ２１１は、可変長復号化部７２により可変長復号化され、逆量子化部７３により逆量子化され、逆直交変換部７４により逆直交変換され、逆直交変換信号ｄ２５４が出力される。また、動き補償部７７は、可変長復号化部７２より取得された復号化動きベクトルｄ２５１と、フレームメモリ７６に記憶されたＩフレームＩ４１とを用いて、動き補償された画像フレームｄ２５５（動き補償されたＰフレームＰ４４）を出力する。加算部７５は、逆直交変換信号ｄ２５４と動き補償された画像フレームｄ２５５とを加算する。これにより、フレームメモリ７６には、復号化されたＰフレームＰ４４が記憶される。スイッチ８１は、ＰフレームＰ４４を出力するタイミングでフレームメモリ７６側を向く。これにより、ＰフレームＰ４４が復号化画像信号ｄ２１２として出力される。
《ＢフレームＢ４２の復号化》
ＢフレームＢ４２を復号化する場合について、図７を用いて説明する。なお、ＢフレームＢ４３を復号化する場合については同様であり、説明を省略する。
（１）
復号化部７０は、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいない場合には、従来のＢフレームと同様の符号化が行われていると判断する。すなわち、符号化画像信号ｄ２１１は、可変長復号化部７２により可変長復号化され、逆量子化部７３により逆量子化され、逆直交変換部７４により逆直交変換され、逆直交変換信号ｄ２５４が出力される。また、動き補償部７７は、可変長復号化部７２より取得された復号化動きベクトルｄ２５１とフレームメモリ７６に記憶されたＩフレームＩ４１またはＰフレームＰ４４とを用いて、動き補償された画像フレームｄ２５５（動き補償されたＢフレームＢ４２）を出力する。加算部７５は、逆直交変換信号ｄ２５４と動き補償された画像フレームｄ２５５とを加算する。これにより、フレームメモリ７６には、復号化されたＢフレームＢ４２が記憶される。スイッチ８１は、ＢフレームＢ４２を出力するタイミングでフレームメモリ７６側を向く。これにより、ＢフレームＢ４２が復号化画像信号ｄ２１２として出力される。

（２）
一方、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいる場合には、フレーム出力部７１においてＢフレームＢ４２の生成が行われる。以下、具体的に説明する。
なお、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいることは、付加情報ｄ２５２の有無で判断してもよいが、可変長復号化される符号化画像信号ｄ２１１が判別情報を含んでいるか否かで判断してもよい。ここで、判別情報とは、符号化画像信号ｄ２１１に付加情報ｄ２３１が付加されているか否かを示すものであり、例えば、フラグなどで有ってもよい。
（２−１）
動きベクトル検出部７９は、付加情報ｄ２５２が含む補間方式および動き検出方式を取得し、動きベクトルの検出を行う。
ここで、補間方式とは、ＢフレームＢ４２の生成に用いられる動きベクトルの向き、ＢフレームＢ４２の生成に用いられるＩフレームＩ４１およびＰフレームＰ４４を特定する情報およびＢフレームＢ４２の補間位置に関する情報などである。
また、動き検出方式とは、動き検出のアルゴリズム、探索範囲、サブペル精度、評価関数などに関する情報である。動き検出のアルゴリズムに関する情報とは、全探索、間引き探索、ＯＡＴ探索、Ｎステップ探索、階層型探索などと呼ばれる探索方法を指定する情報である。探索範囲に関する情報とは、ブロックマッチングを行う領域に関する情報である。サブペル精度に関する情報とは、ブロックマッチングを行う精度に関する情報である。評価関数に関する情報とは、ブロックマッチングにおける評価関数であるＳＡＤ（絶対差分和）やＳＳＤ（平方差分和）などを指定する情報である。

図７（ａ）を用いて、動きベクトル検出部７９の動作についてさらに詳しく説明する。ＢフレームＢ４２のブロックｂ５１を復号化する場合、動きベクトル検出部７９は、補間方式が指定する画像フレーム間の動きベクトルであって、ブロックｂ５１に対応する位置のブロックの動きベクトルを検出する。図７（ａ）は、補間方式として、ＢフレームＢ４２の生成に用いられる動きベクトルは、ＰフレームＰ４４からＩフレームＩ４１への動きベクトルである、という情報が含まれている場合に検出される動きベクトルＭＶ９０について示している。この場合、動きベクトル検出部７９は、フレームメモリ７６に記憶されているＰフレームＰ４４のブロックｂ５３からＩフレームＩ４１のブロックｂ９１への動きベクトルＭＶ９０を検出する。この際、動きベクトル検出部７９は、付加情報ｄ２５２が含む動き検出方式により動きベクトルＭＶ９０の検出を行う。
（２−２）
補間フレーム生成部８０は、付加情報ｄ２５２が含む補間方式、残差情報およびベクトル差分を取得し、ＢフレームＢ４２の生成を行う。
ここで、残差情報とは、符号化装置１１（図２参照）において、画像信号ｄ２１０が含むＢフレームＢ４２と動き補償されたＢフレームＢ４２とを減算処理した減算信号ｄ２２０の値である。ベクトル差分とは、具体的には、動きベクトルＭＶ６３と補間用動きベクトルＣＭＶ４９とのベクトル差分および動きベクトルＭＶ６４と補間用動きベクトルＣＭＶ５０とのベクトル差分のことである（図４（ｃ）参照）。

図７（ｂ）および（ｃ）を用いて、補間フレーム生成部８０の動作についてさらに詳しく説明する。補間フレーム生成部８０は、動きベクトル検出部７９が検出した動きベクトルＭＶ９０を補間方式が含むＢフレームＢ４２の補間位置により内分し、ＢフレームＢ４２からＩフレームＩ４１への補間用動きベクトルＣＭＶ９３と、ＢフレームＢ４２からＰフレームＰ４４への補間用動きベクトルＣＭＶ９５とを導出する（図７（ｂ）参照）。
導出された補間用動きベクトルＣＭＶ９３に対して、動きベクトルＭＶ６３と補間用動きベクトルＣＭＶ４９とのベクトル差分を加算し、ＢフレームＢ４２からＩフレームＩ４１への動きベクトルＭＶ９７が作成される（図７（ｃ）参照）。また同様に、導出された補間用動きベクトルＣＭＶ９５に対して、動きベクトルＭＶ６４と補間用動きベクトルＣＭＶ５０とのベクトル差分を加算し、ＢフレームＢ４２からＰフレームＰ４４への動きベクトルＭＶ９９が作成される（図７（ｃ）参照）。
さらに、作成された動きベクトルＭＶ９７とＭＶ９９とを用いて、動き補償されたＢフレームＢ４２を作成する。より具体的には、動き補償されたＢフレームＢ４２のブロックｂ５１に対応する画素値として、ブロックｂ５１を動きベクトルＭＶ９７で移動させた先のブロックｂ１０１とブロックｂ５１を動きベクトルＭＶ９９で移動させた先のブロックｂ１０３との画素値を平均した値が計算される。補間フレーム生成部８０は、ブロックｂ１０１とブロックｂ１０３との画素値をフレームメモリ７６からの出力である画像フレームｄ２５９により取得する。

さらに、補間フレーム生成部８０は、付加情報ｄ２５２が残差情報を含む場合、動き補償されたＢフレームＢ４２の値に残差情報の値を加算し、復号化されたＢフレームＢ４２を出力する。復号化されたＢフレームＢ４２は、補間フレームｄ２６８として補間フレーム生成部８０から出力される。
スイッチ８１は、ＢフレームＢ４２を出力するタイミングで補間フレーム生成部８０側を向く。これにより、ＢフレームＢ４２が復号化画像信号ｄ２１２として出力される。
（方法・プログラム）
図８に復号化装置１２における補間フレーム生成方法について説明するフローチャートを示す。なお、詳しい内容は、上記と同様であり、説明を省略する。また、この補間フレーム生成方法は、全てあるいは一部の動作をプログラムとして実行可能である。
復号化部７０は、符号化画像信号ｄ２１１が付加情報ｄ２５２を含まない場合、画面内符号化されたＩフレーム、画面間符号化されたＰフレームあるいはＢフレームの復号化を行う（ステップＳ４３１、ステップＳ４３２）。
符号化画像信号ｄ２１１が付加情報ｄ２５２を含む場合、フレーム出力部７１によるＢフレームＢ４２（図７（ａ）参照）の復号化が行われる（ステップＳ４３３〜Ｓ４３９）。

付加情報ｄ２５２が含む補間方式および動き検出方式に基づいて、フレームメモリ７６に記憶されている画像フレームについて動きベクトルが検出される（ステップＳ４３３）。また、付加情報ｄ２５２が含む補間方式に基づいて、ステップＳ４３３で検出された動きベクトルから補間用動きベクトルが導出される（ステップＳ４３４）。補間フレーム生成部８０は、付加情報ｄ２５２がベクトル差分を含むか否かを判定し（ステップＳ４３５）、ベクトル差分を含む場合には、補間用動きベクトルに対してベクトル差分を加算して、ＢフレームＢ４２からＩフレームＩ４１またはＰフレームＰ４４への動きベクトルを作成する（ステップＳ４３６）。ベクトル差分を含まない場合には、導出された補間用動きベクトルを作成された動きベクトルとみなす。
補間フレーム生成部８０は、作成された動きベクトルを用いて、動き補償されたＢフレームＢ４２を作成する（ステップＳ４３７）。補間フレーム生成部８０は、付加情報ｄ２５２が残差情報を含むか否かを判定し（ステップＳ４３８）、残差情報を含む場合には、動き補償されたＢフレームＢ４２に対して残差情報を適用して（ステップＳ４３９）、復号化されたＢフレームＢ４２を出力する。残差情報を含まない場合には、ステップＳ４３７で作成された動き補償されたＢフレームＢ４２を復号化されたＢフレームＢ４２とみなす。

〈補間フレーム生成システム１０の効果〉
（符号化装置１１の効果）
《１》
本発明の符号化装置１１では、ＢフレームＢ４２を生成するために特別に符号化する情報は付加情報ｄ２３１のみである。すなわち、ＢフレームＢ４２について検出された動きベクトル（動きベクトルＭＶ６３，ＭＶ６４（図４（ｂ）参照））を符号化することなく、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
《２》
本発明の符号化装置１１では、以下のいずれかの効果が実現される。すなわち、付加情報ｄ２３１に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、ＢフレームＢ４２の動きベクトルＭＶ６３，ＭＶ６４のより正確な作成が可能となる。さらには、ＢフレームＢ４２のより正確な生成が可能となる。また、付加情報ｄ２３１に残差情報が含まれる場合には、ＢフレームＢ４２の画素値のより正確な生成が可能となる。
《３》
本発明の符号化装置１１では、付加情報ｄ２３１が含む情報を必要に応じて変更可能である（図５（ステップＳ４０４）参照）。このためさらなる符号化効率の向上が可能となる。

《４》
本発明の符号化装置１１では、付加情報ｄ２３１は、Ｂフレーム毎に作成されている。このため、より高精度な補間フレームの生成が可能となる。
（復号化装置１２の効果）
《１》
本発明の復号化装置１２では、ＢフレームＢ４２を生成するために特別に符号化する情報は付加情報ｄ２３１のみである。すなわち、画像信号ｄ２１０におけるＢフレームＢ４２について検出された動きベクトル（動きベクトルＭＶ６３，ＭＶ６４（図４（ｂ）参照））が符号化されていなくとも、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
《２》
本発明の復号化装置１２では、以下のいずれかの効果が実現される。すなわち、付加情報ｄ２３１に補間方式、ベクトル差分、あるいは動き検出方式が含まれる場合には、画像信号ｄ２１０におけるＢフレームＢ４２の動きベクトルＭＶ６３，ＭＶ６４がより正確に作成される。さらには、ＢフレームＢ４２のより正確な生成が可能となる。また、付加情報ｄ２３１に残差情報が含まれる場合には、ＢフレームＢ４２の画素値のより正確な生成が可能となる。

《３》
本発明の復号化装置１２では、付加情報ｄ２３１を含まない符号化画像信号ｄ２１１を取得した場合にもＢフレームＢ４２を生成することが可能となる（図８（ステップＳ４３１）参照）。すなわち、従来法との互換性が保たれている。
《４》
本発明の復号化装置１２では、付加情報ｄ２３１は、Ｂフレーム毎に作成されている。このため、より高精度な補間フレームの生成が可能となる。
（補間フレーム生成システム１０の効果）
《１》
本発明の補間フレーム生成システム１０では、ＢフレームＢ４２を生成するために特別に符号化する情報は付加情報ｄ２３１のみである。すなわち、ＢフレームＢ４２について検出された動きベクトル（動きベクトルＭＶ６３，ＭＶ６４（図４（ｂ）参照））が符号化されていなくとも、符号化効率の向上と高精度の補間フレームの生成とが可能となる。
より具体的に効果について説明する。補間フレーム生成システム１０では、付加情報ｄ２３１を用いて、符号化装置１１の動きベクトル検出部３１と、復号化装置１２の動きベクトル検出部７９とに同様の動き検出を実現させることが可能となる。これにより、動きベクトルＭＶ４８（図４参照）と動きベクトルＭＶ９０（図７参照）とを近似したベクトルとして検出することが可能となる。また、符号化および復号化の基準となる情報（動きベクトルＭＶ４８および動きベクトルＭＶ９０）について伝送することなく、この基準となる情報からの差分のみを伝送する。このため、符号化効率の向上が可能となる。さらに、従来と同程度に高精度な補間フレームの生成が可能となる。

〈変形例〉
本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。また、上記実施形態で述べた方法は、プログラムとしてコンピュータなどにより実現されることも可能である。
（動きベクトルについて）
《１》
上記実施形態では、ＢフレームＢ４２に対して時間的に前方に位置するＩフレームＩ４１と、時間的に後方に位置するＰフレームＰ４４との間の動きベクトルＭＶ４８を検出すると説明した（図４参照）。ここで、ＢフレームＢ４２の符号化のために検出される動きベクトルは、これに限定されるものでは無い。
例えば、ＩフレームＩ４１からＰフレームＰ４４への動きベクトルが検出されていてもよい。また、ＢフレームＢ４２に対して時間的に前方あるいは後方に位置する複数の画像フレーム間について動きベクトルが検出されていてもよい。また、動きベクトルの検出は、一方向のみでなく、双方向に検出されるものであってもよい。
また、これら複数の検出方法について、動きベクトルの検出精度を比較し、最も精度の高い方法を採用するとしてもよい。

さらに、図４に示したフレームの構成は一例であり、本発明の効果がこのフレームの構成に限定されるものではない。
例えば、ＩフレームＩ４１は、Ｐフレームに置き換えられていてもよいし、ＰフレームＰ４４は、Ｉフレームに置き換えられていてもよい。また、Ｂフレームの枚数も図４に示した枚数に限定されるものではない。
また、本発明の効果は、上記実施形態で説明したＩフレームＩ４１、ＰフレームＰ４４の符号化の方法に限定されるものでは無い。例えば、ＩフレームＩ４１は、あらかじめ決められたルールに従い、フレームメモリ３０に作成された画素値の減算処理を行うことにより符号化されるものであっても良い。より具体的には、ＭＰＥＧ−４などで行われる様に、イントラ符号化では、フレーム内で予測画素を作成し、その画素値を減算し、その残差成分の符号化を行うものであってもよい。すなわち、本発明では、符号化済のフレームであれば、符号化方法に依存せず、ＩフレームＩ４１、ＰフレームＰ４４の代わりに用いられることが可能である。
また、同様に、本発明の効果は、上記実施形態で説明したＩフレームＩ４１、ＰフレームＰ４４の復号化の方法に限定されるものでは無い。例えば、加算部７５は、あらかじめ決められたルールに従い、フレームメモリ７６に作成された画素値の加算処理を行うことにより、ＩフレームＩ４１を復号化するものであっても良い。

《２》
上記実施形態では、ブロックｂ５１に対する補間用動きベクトルＣＭＶ４９，ＣＭＶ５０を導出するための動きベクトルＭＶ４８は、ブロックｂ５１と同じ位置にあるＰフレームＰ４４のブロックｂ５３について検出される動きベクトルであると説明した（図４参照）。ここで、動きベクトルの検出方法は、これに限定されるものでは無い。
例えば、ブロックｂ５１に対する補間用動きベクトルを導出するための動きベクトルは、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルのうち、ブロックｂ５１を横切る動きベクトルとして求められてもよい。
さらにこの場合、ブロックｂ５１を横切る複数の動きベクトルがある場合には、それらの動きベクトルにより動き補償されたＢフレームＢ４２のブロックｂ５１に対応する画素値として、複数の動きベクトルを検出するのに用いられたブロックの画素値を単純平均あるいは加重平均した値としてもよい。
さらにこの場合、ブロックｂ５１を横切る動きベクトルが無い場合には、ブロックｂ５１の近傍のブロックの動きベクトルの平均値、もしくは線形補間の値、もしくは平滑化フィルタをかけた値、もしくは重みつきの平滑化フィルタをかけた値などの値としてもよい。

《３》
上記実施形態では、ＢフレームＢ４２に対して双方向の補間用動きベクトルＣＭＶ４９，ＣＭＶ５０が導出され、ＢフレームＢ４２に対して双方向の動きベクトルＭＶ６３，ＭＶ６４が検出され、それぞれのベクトル差分が算出されると説明した。ここで、ＢフレームＢ４２のそれぞれのブロックについて検出される動きベクトルは、双方向のものに限定されない。
例えば、一方向のものであっても良いし、さらに多くの動きベクトルが検出されるものであってもよい。
《４》
上記実施形態では、ブロックｂ５１に対する補間用動きベクトルＣＭＶ４９，ＣＭＶ５０は、ブロックｂ５１と同じ位置にあるＰフレームＰ４４のブロックｂ５３について検出される動きベクトル、または、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルのうち、ブロックｂ５１を横切る動きベクトルにより算出される値であると説明した（図４参照）。ここで、補間用動きベクトルの導出方法は、これに限定されるものでは無い。

これについて、図９を用いて説明する。図９（ａ）は、図４のＢフレームＢ４２を符号化する場合の例である。画像信号ｄ２１０におけるＢフレームＢ４２を符号化する場合、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルにより算出される値から、ＢフレームＢ４２上のブロックｂ５１１〜ｂ５１９に対して、双方向のベクトルＶ５１１ａ〜Ｖ５１９ａ及び、Ｖ５１１ｂ〜Ｖ５１９ｂが算出できる（図９（ａ）参照）。ここで、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルからベクトルＶ５１１ａ〜Ｖ５１９ａ及び、Ｖ５１１ｂ〜Ｖ５１９ｂを導出する方法は、上記実施形態で、補間用動きベクトルの導出方法として説明した方法と同様である。なお、図９において、Ｖ５１１ｂ〜Ｖ５１９ｂについては、Ｖ５１１ａ〜Ｖ５１９ａと同じ処理で行うため、説明は省略する。
さらに、それぞれのブロックについて導出されたベクトルを隣接ブロックについて導出されたベクトルを用いて平滑化処理などすることにより、それぞれのブロックについて補間用動きベクトルが導出される。例えば、ブロックｂ５１５に対する補間用動きベクトルＣＭＶ５１５ａ及びＣＭＶ５１５ｂは、周囲のブロックのベクトルであるＶ５１１ａ〜Ｖ５１９ａ及び、Ｖ５１１ｂ〜Ｖ５１９ｂに対して、例えば、平滑化フィルタまたはメディアンフィルタまたは重みをつけた平滑化フィルタをかけることにより、算出される（図９（ｂ）参照）。また、周囲のブロックの範囲は８近傍でなくてもよい。

なお、ＰフレームＰ４４とＩフレームＩ４１との間に検出される動きベクトルを平滑化し、平滑化された動きベクトルを内分あるいは外分することにより補間用動きベクトルを算出しても同様の結果が得られる。
符号化装置１１では、算出された補間用動きベクトルを用いて、上記実施形態で説明したベクトル差分、残差情報を計算し、付加情報として符号化する。
あるいは、ベクトル差分、残差情報は付加情報として符号化せず、補間方式あるいは平滑化方式などを付加情報として符号化する。
復号化装置１２では、復号化したＰフレームＰ４４とＩフレームＩ４１とから、各ブロックに対する補間用動きベクトルを算出する。さらに、補間用動きベクトルと付加情報とを用いて、各ブロックの復号化を行う。
ここで、付加情報としてベクトル差分、残差情報が含まれていない場合には、補間用動きベクトルを各ブロックの動きベクトルとみなして補間フレームの各ブロックの復号化を行う。
以上の手順で導出された補間用動きベクトルは、例えば、付加情報として残差情報あるいはベクトル差分が伝送されない場合において、言い換えれば、低ビットレートの伝送において、復号化装置１２で生成されるＢフレームの画質向上に有効である。すなわち、復号化装置１２で算出される各ブロックの補間用動きベクトルでは、隣接ブロックとの空間的な相関性が強められており、Ｂフレームの精度の向上、特にブロック歪みなどの削減に有効である。

《５》
上記実施形態では、ＢフレームＢ４２のブロックｂ５１の大きさについて、ＰフレームＰ４４のブロックと同じ大きさとして説明した（図４参照）。ここで、ブロックｂ５１の大きさは、これに限定されるものでは無い。
例えば、ＢフレームＢ４２のブロックｂ５１はＰフレームＰ４４のブロックの４分の１の大きさであってもよい。
これにより、詳細に動き補償することができるため、復号化装置１２で生成されるＢフレームの精度を向上させることができる。
（付加情報について）
《６》
符号化装置１１で作成される付加情報ｄ２３１は、デフォルトの付加情報をコード化して含むものであってもかまわない。これについて、図１０と図１１とを用いて説明する。
（６−１）
図１０は、付加情報ｄ２３１が含む動き検出方式のパラメータの組み合わせを特定するためのテーブル１１０である。テーブル１１０は、動き検出の探索範囲（±８画素、±１６画素、±３２画素、±６４画素）、サブペル精度（整数画素単位、１／２画素単位、１／４画素単位、１／８画素単位）および評価関数（Ｆ１〜Ｆ４：Ｆ１〜Ｆ４は、ＳＡＤあるいはＳＳＤなどの評価関数を示す。）についてパラメータの組み合わせを複数格納しており、それぞれの組み合わせは、コード情報１１１により特定可能である。なお、符号化装置１１と復号化装置１２とは、共通のテーブル１１０を有している。

付加情報ｄ２３１は、動きベクトル検出部３１で実行された動き検出方式をコード情報１１１として含んでいる。コード情報１１１は、数ビットの情報として表現される。このため、付加情報ｄ２３１の情報量は、さらに削減可能となる。
なお、動き検出方式に限らず、補間方式などについてもテーブル化されていてもよい。また、図１０は、一例であり、本発明の効果がこの場合に限定されるものではない。
（６−２）
図１１は、付加情報ｄ２３１が含む情報の組み合わせを特定するためのテーブル１１５である。テーブル１１５は、付加情報ｄ２３１が含む情報の組み合わせを複数のプロファイル情報１１６として有している。図１１では、プロファイル情報１１６は、１〜４の番号により特定される。また、テーブル１１５中［○］は、その情報が含まれていることを示している。テーブル１１５中［×］は、その情報が含まれていないことを示している。なお、符号化装置１１と復号化装置１２とは、共通のテーブル１１０を有している。
復号化装置１２では、テーブル１１５により、符号化画像信号ｄ２１１から取得された付加情報ｄ２５２が含む情報の組み合わせを認識可能となる。このため、復号化装置１２は、付加情報ｄ２５２が含む情報の一部を利用できない場合であっても、その情報が含まれているか否かを認識することにより確実にスキップすることが可能となる。また、付加情報ｄ２５２が含む情報を確実に取得することが可能となる。このため、付加情報ｄ２５２の内容を誤って認識することが防止可能となる。

なお、図１１は、一例であり、本発明の効果がこの場合に限定されるものではない。
《７》
復号化装置１２（図６参照）において、動きベクトル検出部７９は、符号化画像信号ｄ２１１から取得された付加情報ｄ２５２が指定する動き検出方式を実行できない場合には、あらかじめ定めた他の動き検出方式により動きベクトルの検出を行ってもよい。
図１２は、付加情報ｄ２５２が指定する動き検出のアルゴリズム１２０と、動きベクトル検出部７９で実行される動き検出のアルゴリズム１２１との対応関係について示している。
これにより、動きベクトル検出部７９は、付加情報ｄ２５２が指定する動き検出のアルゴリズム１２０を実行できない場合であっても、できるだけ近い動きベクトルを検出することができる他の動き検出のアルゴリズム１２１を実行する。
なお、図１２は、対応関係の一例であり、本発明の効果がこの場合に限定されるものではない。
《８》
符号化装置１１（図２参照）では、動き検出方式あるいは補間方式などの情報があらかじめ定めたデフォルトと一致する場合には、付加情報ｄ２３１に含めないこととしてもよい。

この場合、復号化装置１２（図６参照）では、動き検出方式あるいは補間方式などに相当する情報が付加情報ｄ２５２に含まれない場合には、あらかじめ符号化装置１１と共通に有するデフォルトの動き検出方式あるいは補間方式を用いて補間フレームの生成を行う。
また、符号化装置１１（図２参照）では、画像フレームの画面間符号化の際に検出される動きベクトルが利用可能である場合には、動き検出方式を付加情報ｄ２３１に含めないこととしても良い。
例えば、ＢフレームＢ４２の符号化に際して検出される動きベクトルＭＶ４８（図４（ａ）参照）がすでにＰフレームＰ４４の符号化の際に検出されている場合、再度ＰフレームＰ４４とＩフレームＩ４１との動きベクトルの検出を行わない。符号化装置１１では、ＢフレームＢ４２の符号化に際して、ＰフレームＰ４４の符号化の際に検出された動きベクトルを利用する。
この場合、復号化装置１２では、補間フレームの生成に際して、動きベクトル検出部７９によるＰフレームＰ４４とＩフレームＩ４１との動きベクトルの検出を行わない。補間フレーム生成部８０は、復号化部７０から、ＰフレームＰ４４の符号化の際に用いられた動きベクトル取得し、この動きベクトルを利用してＢフレームＢ４２の復号化を行う。

《９》
上記実施形態では、付加情報ｄ２３１は、補間フレーム毎に作成されるとした。ここで、付加情報ｄ２３１に含まれる情報のうちの一部は、画像信号ｄ２１０のストリーム毎に含まれるものであってもよい。
例えば、動き検出方式や補間方式などは、画像信号ｄ２１０のストリーム毎に含まれるものであってもよい。これにより、補間フレーム毎に動き検出方式や補間方式を付加する必要がなくなり、符号化効率が向上する。
また、付加情報ｄ２３１の少なくとも一部は、画像信号ｄ２１０のストリームヘッダとして含まれるものであっても良い。
《１０》
上記実施形態では、付加情報作成部１８は、入力された減算信号ｄ２２０の大きさに応じて、付加情報ｄ２３１の作成を行うとした。ここで、付加情報作成部１８は、動きベクトル検出部３１によるＰフレームＰ４４とＩフレームＩ４１との動きベクトルの検出結果に応じて、付加情報ｄ２３１の作成を行ってもよい。
例えば、動きベクトル検出部３１での動きベクトルが近傍の動きベクトルとの類似している、つまり大きく異ならない場合、付加情報を作成する。また、付加情報作成部１８は、前記減算信号ｄ２２０の大きさ及び動きベクトル検出部３１での動きベクトルの近傍の動きベクトルと類似性に応じて、付加情報ｄ２３１の作成を行ってもよい。

これにより、Ｂフレームの生成精度の向上を図ることができる。
《１１》
上記実施形態では、残差情報を付加情報ｄ２３１とする際に、減算信号ｄ２２０を付加情報作成部１８に入力するとした。ここで、残差情報を付加情報ｄ２３１とする際に、減算信号ｄ２２０を直行変換部２２および量子化部２３を用いて処理した量子化ＤＣＴ係数ｄ２２２を付加情報作成部１８に入力してもよい。
この場合、付加情報ｄ２３１の情報量を削減することが可能である。
また、これに対応して、復号化装置１２においても、可変長復号化部７２により出力される付加情報ｄ２５２のうち、減算信号ｄ２２０を直行変換部２２および量子化部２３を用いて処理した量子化ＤＣＴ係数ｄ２２２は、逆量子化部７３および逆直行変換部７４を用いて処理され、補間フレーム生成部８０に出力されるものであってもよい。これにより、減算信号ｄ２２０の値は、補間フレーム生成部８０に与えられることとなる。
（復号化部７０について）
《１２》
上記実施形態では、復号化部７０は、符号化画像信号ｄ２１１が付加情報ｄ２５２を含んでいない場合には、ＢフレームＢ４２について従来のＢフレームと同様の符号化が行われていると判断すると説明した（図８（ステップＳ４３１）参照）。ここで、復号化部７０は、付加情報ｄ２５２が含まれていない場合には、フレームメモリ７６に記憶されている画像フレームを用いて補間フレームを生成するものであってもよい。

例えば、補間フレーム生成部８０は、あらかじめ定めた方法により補間フレームの生成を行う。
ここで、あらかじめ定めた方法とは、例えば、フレームメモリ７６に記憶されている画像フレーム間の動きベクトルを検出し、補間フレームの動きベクトルを求め、補間フレームを生成する方法や、符号化画像信号ｄ２１１が含む画面間符号化された画像フレームの動きベクトルを用いて、補間フレームの動きベクトルを求め、補間フレームを生成する方法などである。
（符号化装置１１および復号化装置１２について）
《１３》
符号化装置１１（図２参照）および復号化装置１２（図６参照）の各部は、それぞれ一体として存在していてもよいし、別体として存在していても良い。例えば、符号化装置１１において、符号化部１６と、動き補償部１７と、付加情報作成部１８などは、一体として備えられるものであっても、別々の装置として別体として備えられるものであってもよい。また、復号化装置１２において、復号化部７０とフレーム出力部７１とは一体として備えられるものであっても、別々の装置として別体として備えられるものであってもよい。

《１４》
符号化装置１１（図２参照）および復号化装置１２（図６参照）の各部は、それぞれフレーム単位での切換として説明した。ここで、切換の単位はブロック単位であってもよい。例えば、スイッチ２１（図２参照）やスイッチ８１（図６参照）の動作は、ブロック単位での判定で行っても良い。
この場合、図５で説明した付加情報作成方法および図８で説明した補間フレーム生成方法におけるＢフレームについての処理は、ブロック単位で行われることとなる。
これにより、ブロック毎に適した符号化・復号化方法を選択することができるため、Ｂフレームの画質を向上させることができる。
また、上記実施形態および変形例で説明したそれぞれの内容は、ブロック単位、フレーム単位、ストリーム単位などで任意に組み合わせて用いられることが可能である。
また、ブロック単位で切換を行う場合、Ｂフレームの符号化では、付加情報を作成しない従来の符号化と、付加情報を作成する本発明の符号化とを切換るものであってもよい。
具体的には、スイッチ２１（または、スイッチ２１を制御する制御部（図示せず））は、Ｂフレームを構成するブロック毎に以下に示す符号化手法選択処理を行う。符号化手法選択処理は、入力されたブロックに対して、符号化手法の候補毎に、次の（式１）を計算する。

Ｊ＝Ｄ＋λ・Ｒ ・・・ （式１）
ここで、Ｊは、コスト、Ｄは、ひずみ、λは、所定の係数、Ｒは、符号量である。より詳しくは、Ｄは、それぞれの手法を用いて符号化した画像の復号化画像と、原画像との誤差を示す。Ｒは、それぞれの手法を用いて符号化した場合の符号量を示し、量子化ＤＣＴ係数ｄ２２２、動きベクトル、符号化モード、付加情報ｄ２３１などを符号化する場合の符号量である。
符号化手法選択処理は、計算された（式１）の値Ｊを最小とする符号化手法の候補を選択する。
これにより、（式１）を最小とする符号化手法の候補がブロック毎に選択され、復号化の際のひずみを抑えつつ、符号量を低減するＢフレームの符号化が実現できる。
なお、符号化手法の候補としては、従来の符号化手法や、上記実施形態で説明した符号化手法が用いられる。ここで、従来の符号化手法とは、例えば、Ｂフレームを構成するブロックの符号化手法として用いられる画面内符号化、片方向予測、双方向予測、ダイレクトモードなどといった手法である。
より具体的には、画面内符号化、片方向予測は、ＩフレームやＰフレームの符号化として説明したのと同様に行われる。双方向予測では、動き補償部１７（図２参照）は、既にローカルデコードされフレームメモリ３０に記憶されているＩフレームとＰフレームとに対して、Ｂフレームの動きベクトルを検出する。さらに、フレームメモリ３０は、検出された動きベクトルを用いて動き補償されたＢフレームを作成する。さらに、減算部２０は、画像信号ｄ２１０を構成するＢフレームと動き補償されたＢフレームとを処理し、減算信号ｄ２２０を出力する。また、ダイレクトモードでは、動き補償部１７（図２参照）は、既にローカルデコードされフレームメモリ３０に記憶されているＰフレームにおいて、符号化対象となるＢフレームのブロックと同じ位置にあるブロック（アンカーブロック）の動きベクトルを、Ｂフレームの位置でスケーリングし、ＢフレームのＩフレームおよびＰフレームに対する動きベクトルを算出する。さらに、フレームメモリ３０は、検出された動きベクトルを用いて動き補償されたＢフレームを作成する。さらに、減算部２０は、画像信号ｄ２１０を構成するＢフレームと動き補償されたＢフレームとを処理し、減算信号ｄ２２０を出力する。

スイッチ２１により、従来法がＢフレームの符号化手法として選択された場合には、スイッチ２１は、直交変換部２２側を向き、減算信号ｄ２２０は、直交変換部２２に入力される。また、検出された動きベクトルは、可変長符号化部２４に入力される。
このように、従来法と本発明の手法とをブロック毎に切換えることにより、より符号化効率が向上する。例えば、従来法としてはダイレクトモードで符号化することが望ましい場合において、そのダイレクトモードよりも符号化効率の高い本発明の手法を用いることが可能となる。
より具体的には、ダイレクトモードでは、符号化の対象となるＢフレームに対する動きベクトルを求めず、例えば、Ｐフレームの動きベクトルを利用する。このように、ダイレクトモードでは、動きベクトルを符号化しないことにより、符号化効率を向上させている。この一方で、ダイレクトモードでは、Ｐフレームの動きベクトルを利用しているため、動き補償されたＢフレームの精度が十分に得られず、残差情報が大きくなることがある。
しかし、本発明の手法を用いる場合、符号化の対象となるＢフレームに対する動きベクトルが求められている。このため、動き補償されたＢフレームの精度を十分に得ることが可能となる。さらに、求めた動きベクトルを符号化する必要なく、ダイレクトモードと同様に符号化効率を高めることが可能となっている。

また、このように符号化された符号化画像信号ｄ２１１に対応して、スイッチ８１（図６参照）をブロック単位で動作させることも可能である。
［第２実施形態］
本発明の第２実施形態として、上記で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムの応用例とそれを用いたシステムを図１３〜図１６を用いて説明する。
図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（personal digital assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
コンテンツの符号化処理あるいは復号化処理に際して、上記実施形態で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示した符号化装置、復号化装置を備え、補間フレーム生成方法、補間フレーム生成プログラムを実現でき、全体として補間フレーム生成システムを構築するものであってよい。

一例として携帯電話について説明する。
図１４は、上記実施形態の符号化装置および復号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図１５を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

以上の構成において、画像符号化部ｅｘ３１２は、上記実施形態の符号化装置を備え、画像復号化部ｅｘ３０９は、上記実施形態の復号化装置を備えている。この時、図２に示す符号化装置１１と図６に示す復号化装置１２とで共通する構成については同一のハードウェアを共用することとしてもよい。すなわち、フレームメモリ、動きベクトル検出部、逆量子化部、逆直交変換部などは、同一のハードウェアであっても良い。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施形態で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記実施形態で説明した符号化装置、復号化装置を備えていてもよい。また、上記実施形態の補間フレーム生成方法を用いるものであってもよい。さらに、補間フレーム生成プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態で説明した符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記実施形態で説明した符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した符号化装置、復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。
なお、カーナビゲーションｅｘ４１３の構成は例えば図１５に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施形態で説明した補間フレーム生成システム、符号化装置、復号化装置、補間フレーム生成方法、補間フレーム生成プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。

また、上記実施形態で図を用いて説明した符号化装置、復号化装置において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
具体的には、図２における各ブロックは、１チップ化されても良い。この際、フレームメモリ３０は、別体として外部に接続されるものであっても良い。
また、図６における各ブロックは、１チップ化されても良い。この際、フレームメモリ７６は、別体として外部に接続されるものであっても良い。また、復号化部７０とフレーム出力部７１とは、別対として構成されていても良い。このような構成においても、フレームメモリ７６は、別体として復号化部７０の外部に接続されるものであっても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、上記実施形態で図を用いて説明した各機能ブロックの処理の一部又は全部は、プログラムにより実現されるものであってもよい。この場合、具体的な処理は、例えば、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

本発明の復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムは、符号化効率を向上させつつ高精度の補間フレームを生成を行うことが必要な復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラムなどに適用することが可能である。

補間フレーム生成システム１０の概要を説明するブロック図 符号化装置１１の構成について説明するブロック図 画像信号ｄ２１０を構成する画像フレームについて説明する説明図 ＢフレームＢ４２の符号化について説明する説明図 付加情報作成方法について説明するフローチャート 復号化装置１２の構成について説明するブロック図 ＢフレームＢ４２の復号化について説明する説明図 補間フレーム生成方法について説明するフローチャート 補間用動きベクトルの導出方法の変形例について説明する説明図 付加情報ｄ２１が含む動き検出方式のパラメータの組み合わせを特定するためのテーブル１１０ 付加情報ｄ２３１が含む情報の組み合わせを特定するためのテーブル１１５ 付加情報ｄ２５２が指定する動き検出のアルゴリズム１２０と、動きベクトル検出部７９で実行される動き検出のアルゴリズム１２１との対応関係 コンテンツ供給システムの全体構成について説明するブロック図 本発明の補間フレーム作成装置を搭載する携帯電話の例 携帯電話の構成について説明するブロック図 ディジタル放送用システムの例

符号の説明

１０ 補間フレーム生成システム
１１ 符号化装置
１２ 復号化装置
１７ 動き補償部
１８ 付加情報作成部
３０ フレームメモリ
３１ 動きベクトル検出部
７０ 復号化部
７１ フレーム出力部
７９ 動きベクトル検出部
８０ 補間フレーム生成部
ＭＶ 動きベクトル
ＣＭＶ 補間用動きベクトル

Claims (21)

1. 画像信号を構成する画像フレームと、前記画像フレーム間の動きベクトルである第１の動きベクトルに基づいて前記画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する復号化手段と、
   復号化された前記画像フレーム間の動きベクトルである第２の動きベクトルを検出する動きベクトル検出手段と、
   前記第２の動きベクトルと復号化された前記画像フレームと復号化された前記付加情報とに基づいて補間フレームを生成する補間フレーム生成手段と、
   を備える復号化装置。
2. 前記付加情報は、前記画像フレームに対する前記補間フレームの補間方式と、前記補間フレームと前記補間フレームに対応する画像フレームとの残差情報と、前記補間フレームの前記画像フレームに対して検出された動きベク卜ルと前記第１の動きベクトルに基づいて導出される前記補間フレームの前記画像フレームに対する動きベクトルとのベクトル差分と、前記第１の動きベクトルの検出に用いられた動き検出方式とのうち少なくともいずれかを含む、
   請求項１に記載の復号化装置。
3. 前記付加情報は、前記付加情報が含む情報の組み合わせを特定するためのプロファイル情報をさらに含んでいる、
   請求項２に記載の復号化装置。
4. 前記動き検出方式は、動き検出のパラメータの組み合わせを特定するためのコード情報として含まれており、
   前記動きベクトル検出手段は、前記コード情報が特定する前記動き検出のパラメータに基づいて、前記第２の動きベクトルの検出を行う、
   請求項２または３に記載の復号化装置。
5. 前記動きベクトル検出手段は、前記付加情報が含む前記動き検出方式を実行できない場合には、前記付加情報が含む前記動き検出方式に応じて定められた所定の動き検出方式により前記第２の動きベクトルを検出する、
   請求項２〜４のいずれか１項に記載の復号化装置。
6. 前記付加情報は、補間フレーム毎に作成されている情報である、
   請求項２〜５のいずれか１項に記載の復号化装置。
7. 前記付加情報のうち、前記動き検出方式は、前記符号化画像信号のストリーム毎に作成されている情報である、
   請求項２〜５のいずれか１項に記載の復号化装置。
8. 前記補間フレーム生成手段は、前記符号化画像信号に前記付加情報が含まれていない場合に、復号化した前記画像フレームに基づいて前記補間フレームの生成を行う、
   請求項１〜７のいずれか１項に記載の復号化装置。
9. 画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する第１の動きベクトル検出手段と、
   前記画像フレームを補間する補間フレームを前記第１の動きベクトルに基づいて生成するための付加情報を作成する付加情報作成手段と、
   前記画像フレームと前記付加情報とを符号化する符号化手段と、
   を備える符号化装置
10. 前記付加情報は、前記画像フレームに対する前記補間フレームの補間方式と、前記補間フレームと前記補間フレームに対応する画像フレームとの残差情報と、前記補間フレームの前記画像フレームに対して検出された動きベクトルと前記第１の動きベクトルに基づいて導出される前記補間フレームの前記画像フレームに対する動きベクトルとのベクトル差分と、前記第１の動きベクトルの検出に用いられた動き検出方式とのうち少なくともいずれかを含む、
    請求項９に記載の符号化装置。
11. 前記付加情報は、前記付加情報が含む情報の組み合わせを特定するためのプロファイル情報をさらに含んでいる、
    請求項１０に記載の符号化装置。
12. 前記動き検出方式は、動き検出のパラメータの組み合わせを特定するためのコード情報として含まれている、
    請求項１０または１１に記載の符号化装置。
13. 前記付加情報は、補間フレーム毎に作成される情報である、
    請求項１０〜１２のいずれか１項に記載の符号化装置。
14. 前記動き検出方式は、前記画像信号のストリームのヘッダ情報として含まれている、
    請求項１０〜１２のいずれか１項に記載の符号化装置。
15. 前記プロファイル情報は、前記画像信号のストリームのヘッダ情報として含まれている、
    請求項１１に記載の符号化装置。
16. 前記符号化手段は、前記画像フレームに基づいて生成される補間フレームと前記補間フレームに対応する前記画像信号との残差が小さい場合には、前記付加情報の符号化を行わない、
    請求項９〜１５のいずれか１項に記載の符号化装置。
17. 画像信号を構成する画像フレームを補間する補間フレームを生成する補間フレーム生成システムであって、
    前記画像フレーム間の動きベクトルである第１の動きベクトルを検出する第１の動きベクトル検出手段と、
    前記第１の動きベクトルに基づいて前記補間フレームを生成するための付加情報を作成する付加情報作成手段と、
    前記画像フレームと前記付加情報とを符号化する符号化手段と、
    前記符号化された前記画像フレームと前記付加情報とを復号化する復号化手段と、
    復号化された前記画像フレーム間の動きベクトルである第２の動きベクトルを検出する第２の動きベクトル検出手段と、
    前記第２の動きベクトルと復号化された前記画像フレームと復号化された前記付加情報とに基づいて補間フレームを生成する補間フレーム生成手段と、
    を備える補間フレーム生成システム。
18. 画像信号を構成する画像フレームと、前記画像フレーム間の動きベクトルである第１の動きベクトルに基づいて前記画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する復号化部と、
    復号化された前記画像フレーム間の動きベクトルである第２の動きベクトルを検出する動きベクトル検出部と、
    前記第２の動きベクトルと復号化された前記画像フレームと復号化された前記付加情報とに基づいて補間フレームを生成する補間フレーム生成部と、
    を備える集積回路装置。
19. 画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する第１の動きベクトル検出部と、
    前記画像フレームを補間する補間フレームを前記第１の動きベクトルに基づいて生成するための付加情報を作成する付加情報作成部と、
    前記画像フレームと前記付加情報とを符号化する符号化部と、
    を備える集積回路装置。
20. 画像信号を構成する画像フレームと、前記画像フレーム間の動きベクトルである第１の動きベクトルに基づいて前記画像フレームを補間する補間フレームを生成するための付加情報とが符号化された符号化画像信号を復号化する復号化ステップと、
    復号化された前記画像フレーム間の動きベクトルである第２の動きベクトルを検出する動きベクトル検出ステップと、
    前記第２の動きベクトルと復号化された前記画像フレームと復号化された前記付加情報とに基づいて補間フレームを生成する補間フレーム生成ステップと、
    を備える復号化方法をコンピュータに行わせるための復号化プログラム。
21. 画像信号を構成する画像フレーム間の動きベクトルである第１の動きベクトルを検出する第１の動きベクトル検出ステップと、
    前記画像フレームを補間する補間フレームを前記第１の動きベクトルに基づいて生成するための付加情報を作成する付加情報作成ステップと、
    前記画像フレームと前記付加情報とを符号化する符号化ステップと、
    を備える符号化方法をコンピュータに行わせるための符号化プログラム。

Images