JP4416796B2 - 画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラム - Google Patents

Description

本発明は、画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラムに関し、特に、フレームあるいはフィールド間予測符号化された画像データの高速再生に適した画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラムに関するものであり、より詳細には、ＩフレームとＰフレームのみからなり、Ｂフレーム（双方向予測符号化フレーム）を含まない符号化ビットストリームの高速再生に適した画像予測方法を用いた画像符号化装置及び画像復号装置、更に、画像符号化プログラム、及び画像復号プログラムに関する。

画像の符号化方式には、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３等がある。これらの方式では、Ｉフレーム（イントラ符号化されたフレーム）、Ｐフレーム（片方向予測符号化されたフレーム）、Ｂフレーム（双方向予測符号化されたフレーム）と名付けられた、３種類の予測タイプを持つフレームで符号化することにより、ビットストリームが構成される。ここでは、対象をフレームとしたが、フィールドとしても同じである。

これらのビットストリームの高速再生は、例えば特許文献１に示す特開平１１−１５５１２９号公報「ＭＰＥＧ画像再生装置及びＭＰＥＧ画像再生方法」に記載されるように、Ｂフレームのみをスキップして再生することによっても実現可能である。図１４は、本特許文献１に示す従来技術における高速再生動作を説明するための模式図である。図１４（Ａ）は符号化方式をＭＰＥＧ−２メインプロファイルとした時のビットストリームの一例を示している。この例では、ＩフレームとＰフレームとの間又は２つのＰフレーム間に、Ｂフレームが２フレームずつ挿入された構造になっている。

図１４において、符号Ｉ、Ｐ、Ｂはフレームの予測符号化タイプを表し、数字は表示順序を表している。例えば、Ｉ２は、２番目に表示されるＩフレームを示し、Ｐ５は、５番目に表示されるＰフレームを示している。また、図１４では、左から右へ順番に画像が復号されることを示している。このビットストリームの高速再生においては、図１４（Ｂ）に示すように、他のフレームからの参照に使用されることがないＢフレームの復号処理をスキップし、Ｉ及びＰフレームのみを復号して表示することにより、高速の再生が可能とされている。

即ち、この高速再生動作においては、高速再生時に、復号・表示されるＩ，Ｐフレームの参照画像としてはＢフレームが用いられないため、Ｂフレームを復号しなくても、Ｉ及びＰフレームに関して、画質を劣化させずに正常に再生することが可能である。

ここで、ＭＰＥＧ−２メインプロファイルの場合であれば、前述のように、Ｂフレームが含まれているので、該Ｂフレームの復号処理及び表示をスキップすることにより、滑らかな高速再生の実現が可能である。しかしながら、ＭＰＥＧ−２シンプルプロファイルやＭＰＥＧ−４シンプルプロファイル等のように、低遅延や少ない処理量を必須とするアプリケーションをターゲットとして、Ｂフレームを使用していないような規格も存在している。

ＭＰＥＧ−２シンプルプロファイル、ＭＰＥＧ−４シンプルプロファイルでは、Ｐフレームの参照画像はＩ又はＰフレームであり、かつ、直前のＩ又はＰフレームを参照することしかできなかった。このようなＭＰＥＧ−２シンプルプロファイル、ＭＰＥＧ−４シンプルプロファイルの符号化ビットストリームを高速再生する方法としては、
１）特許文献２に示す特開昭６３−３１０２９３号公報「圧縮記録画像の再生方式」のように、Ｉフレームに対応するビットストリームのみを読込み、復号し表示する。
２）特許文献３に示す特開平７−１５４７４３号公報「高速画像再生システム」のように、Ｉ及びＰフレームの復号処理の一部を省略することによって、１フレーム当たりの処理量を小さくし、高速再生を実現する。
３）ＣＰＵの処理能力が許容する限り、最大限の速度で画像を復号して高速再生を実現する。
等の技術が挙げられる。
特開平１１−１５５１２９号公報 特開昭６３−３１０２９３号公報 特開平７−１５４７４３号公報

しかしながら、前述の特許文献２に示すような１）の方法では、非常に粗い再生となり画質が劣化すること、また、前述の特許文献３に示すような２）の方法では、通常再生と同じ画像を復号することができないため、フレーム間予測で誤差が蓄積し、時間が経過するにつれて画質が劣化していくこと、また、前述の３）の方法では、高速再生のためだけに、通常の復号処理のＭ倍（ここで、Ｍ＞１）以上の処理能力を有するＣＰＵが必要であること、などの問題がある。

本発明は、かくのごとき問題を解決するためになされたものであり、Ｂフレームが含まれていないようなビットストリームに対しても、高速再生時において、処理量の増加や画質劣化がない画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラムを提供することを目的とする。

第１の技術手段は、画像をイントラ符号化及び片方向予測符号化のみによりビットストリームとして符号化する画像符号化装置であって、画像をイントラ符号化のみで符号化したＩフレーム、又は、画像をイントラ符号化及び片方向予測符号化したＰフレームが、後続の他のフレームから参照画像として使用される画像か否かを示す第１のデータを予測使用情報として符号化する予測使用情報符号化手段と、前記Ｐフレームが参照する画像のフレーム番号を示す第２のデータを参照用情報として符号化する参照用情報符号化手段とを有し、前記Ｐフレームを符号化する場合、前記第１のデータによって示された前記参照画像の中から、前記第２のデータが示すフレーム番号の画像を参照し、高速再生用ビットストリームの作成のために予め指示された設定倍速に応じて高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレーム及び高速再生用として設定されていない残りのフレーム番号のＰフレームを、それぞれ符号化し、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームの符号化画像を保存すると共に、後続の他のフレームから参照される旨を示す前記予測使用情報として前記第１のデータを設定し、前記予測使用情報符号化手段に対して前記第１のデータを符号化するように指示する高速再生用符号化手段を有することを特徴とする。

第２の技術手段は、前記第１の技術手段に記載の画像符号化装置において、前記高速再生用符号化手段が、前記設定倍速に応じて高速再生用として設定されたフレーム間隔毎に区切られた範囲内の各前記Ｐフレームについて、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像と、高速再生用として設定されていない残りのフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像とで、同一のフレーム番号の参照画像とする旨を示す前記参照用情報として前記第２のデータを設定し、前記参照用情報符号化手段に対して前記第２のデータを符号化するように指示することを特徴とする。

第３の技術手段は、前記第１又は第２の技術手段に記載の画像符号化装置において、前記参照画像を周期的な位置に限定して配置し、前記Ｉフレームを含め、前記Ｉフレームを基点としたＮフレーム（Ｎは２以上の整数）毎の画像を、前記第１のデータによって示される前記参照画像とすることを特徴とする。

第４の技術手段は、前記第１の技術手段に記載の画像符号化装置において、前記高速再生用符号化手段が、前記設定倍速に応じて高速再生用として設定されたフレーム間隔毎に区切られた範囲内の各前記Ｐフレームについて、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像と、高速再生用として設定されていない残りのフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像とで、異なるフレーム番号の画像を参照する旨を示す前記参照用情報として前記第２のデータを設定し、前記参照用情報符号化手段に対して前記第２のデータを符号化するように指示することを特徴とする。

第５の技術手段は、前記第４の技術手段に記載の画像符号化装置において、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像が、前記Ｉフレームを含め、前記Ｉフレームを基点としたＮフレーム（Ｎは２以上の整数）毎の画像であり、高速再生用として設定されていない残りのフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像が、符号化済み画像のうち任意の位置にあるフレームの画像であることを特徴とする。

第６の技術手段は、前記第５の技術手段に記載の画像符号化装置において、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する参照画像を示すＮフレーム毎の間隔が、高速再生用ビットストリームを作成するために予め指示された前記設定倍速に応じて設定されたフレーム間隔であり、高速再生用として設定されていない残りのフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する参照画像が、符号化する当該フレームの１つ前に位置するフレームの画像であることを特徴とする。

第７の技術手段は、前記第５又は第６の技術手段に記載の画像符号化装置において、前記高速再生用符号化手段が、後続の他のフレームから参照画像として使用される画像か否かを示す第１のデータを予測使用情報として設定する場合、後続の他のフレームから参照画像として使用される画像について、高速再生用として設定されたフレーム間隔毎のフレーム番号の画像と高速再生用として設定されていない残りのフレーム番号の画像とで、前記第１のデータを異なる値に設定することを特徴とする。

第８の技術手段は、前記第１乃至第７の技術手段のいずれかに記載の画像符号化装置において、各前記Ｐフレームの画像を符号化する際に、各前記Ｐフレーム毎に、参照する参照画像として複数のフレームの符号化済み画像を参照することができることを特徴とする。

第９の技術手段は、前記第８の技術手段に記載の画像符号化装置において、各前記Ｐフレーム毎に、複数のフレームの符号化済み画像のいずれかを参照する場合、符号化する各前記Ｐフレーム内のスライス単位、マクロブロック単位、又は、ブロック単位のいずれかの単位毎に、異なるフレームの符号化済み画像を前記参照画像として参照することが可能であり、前記単位毎の前記参照画像を示すフレーム番号をビットストリームのヘッダ情報として符号化することを特徴とする。

第１０の技術手段は、前記第８又は第９の技術手段に記載の画像符号化装置において、各前記Ｐフレーム毎に参照画像として参照することができる複数のフレームの符号化済み画像が、予め指示された前記設定倍速に応じて設定されたフレーム間隔毎のフレーム番号の画像のうち、少なくとも、符号化する当該フレームの直近に位置する前記フレーム間隔毎のフレーム番号の画像を含むことを特徴とする。

第１１の技術手段は、画像をイントラ符号化及び片方向予測符号化のみにより符号化したビットストリームを復号する画像復号装置であって、画像をイントラ符号化のみで符号化したＩフレーム、又は、画像をイントラ符号化及び片方向予測符号化したＰフレームが、後続の他のフレームから参照画像として使用される画像か否かを示す第１のデータを予測使用情報として復号する予測使用情報復号手段と、前記Ｐフレームが参照するフレーム番号を示す第２のデータを参照用情報として復号する参照用情報復号手段とを有し、前記Ｐフレームを復号する場合、前記第１のデータによって示された前記参照画像の中から、前記第２のデータが示すフレーム番号の画像を参照し、予め指示された再生用倍速に応じて高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを復号する高速再生用復号手段を有することを特徴とする。

第１２の技術手段は、前記第１１の技術手段に記載の画像復号装置において、前記高速再生用復号手段が、高速再生用として予め指示された設定倍速に応じて符号化された符号化ビットストリームについて、前記Ｐフレームを復号する場合、前記第１のデータが予測使用情報として示す前記参照画像のうち、復号する当該フレームの前記第２のデータが参照用情報として示すフレーム番号の画像を参照することにより、前記設定倍速と異なる任意の値の再生用倍速を用いて、前記Ｐフレームを復号することができることを特徴とする。

第１３の技術手段は、前記第１１又は第１２の技術手段に記載の画像復号装置において、前記第１のデータが予測使用情報として示す前記参照画像が、周期的な位置に限定して配置されており、前記Ｉフレームを含め、前記Ｉフレームを基点としたＮフレーム（Ｎは２以上の整数）毎の復号済みの画像であり、予め指示された前記再生用倍速に応じて高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを復号する際に、前記第１のデータが参照用情報として示している前記Ｎフレーム毎のフレーム番号の復号済み画像を参照して、前記Ｐフレームを復号することを特徴とする。

第１４の技術手段は、前記第１３の技術手段に記載の画像復号装置において、高速再生用として予め指示された設定倍速に応じて符号化された符号化ビットストリームについて、前記Ｐフレームを復号する場合、前記参照画像となる前記Ｎフレーム毎の間隔が、前記設定倍速に応じて設定されたフレーム間隔であることを特徴とする。

第１５の技術手段は、前記第１１乃至第１４の技術手段のいずれかに記載の画像復号装置において、各前記Ｐフレームの画像を復号する際に、各前記Ｐフレーム毎に、参照する参照画像として複数のフレームの復号済み画像を参照することができることを特徴とする。

第１６の技術手段は、前記第１５の技術手段に記載の画像復号装置において、各前記Ｐフレーム毎に、複数のフレームの復号済み画像のいずれかを参照する場合、復号する各前記Ｐフレーム内のスライス単位、マクロブロック単位、又は、ブロック単位のいずれかの単位毎に、異なる復号済みの画像を前記参照画像として参照することが可能であり、前記単位毎の前記参照画像を示すフレーム番号を、符号化ビットストリームのヘッダ情報を参照して取得し、取得したフレーム番号の復号済み画像を用いて、各フレーム内の該当する単位の画像を復号することを特徴とする。

第１７の技術手段は、前記第１５又は第１６の技術手段に記載の画像復号装置において、高速再生用として予め指示された設定倍速に応じて符号化された符号化ビットストリームについて、前記Ｐフレームを復号する場合、各前記Ｐフレーム毎に前記参照画像として参照することができる複数のフレームの復号済み画像が、前記設定倍速に応じて設定されたフレーム間隔毎のフレーム番号の画像のうち、少なくとも、復号する当該Ｐフレームの直近に位置するフレーム間隔毎のフレーム番号の画像を含むことを特徴とする。

第１８の技術手段は、画像をイントラ符号化及び片方向予測符号化のみにより符号化する画像符号化装置の機能をコンピュータによりプログラムとして実行する画像符号化プログラムにおいて、前記第１乃至第１０の技術手段のいずれかに記載の画像符号化装置の機能をプログラムとして実行する画像符号化プログラムとすることを特徴とする。

第１９の技術手段は、画像をイントラ符号化及び片方向予測符号化のみにより符号化したビットストリームを復号する画像復号装置の機能をコンピュータによりプログラムとして実行する画像復号プログラムにおいて、前記第１１乃至第１７の技術手段のいずれかに記載の画像復号装置の機能をプログラムとして実行する画像復号プログラムとすることを特徴とする。

以上のごとき技術手段から構成される本発明によれば、画像符号化において、各Ｐフレームについて既符号化画像のうち限定された画像を参照画像として指定し、指定した参照画像を用いて予測符号化することによって、Ｉ及びＰフレームのみのビットストリームであっても、画質の劣化や、処理量の増加を生じることなく、高速再生を可能とするビットストリームを符号化することができる。

また、画像の復号においても、画像符号化時に既符号化画像のうち限定された画像を参照画像として使用して予測符号化されたＰフレームを該参照画像と共に入力することにより、Ｉ及びＰフレームのみのビットストリームにおいても、画質の劣化や、処理量の増加を生じることなく、高速再生が可能となる。

本発明に係る画像符号化装置の実施例の構成を示すブロック構成図である。 本発明に係る画像復号装置の実施例の構成を示すブロック構成図である。 本発明に係る画像符号化装置及び画像復号装置の実施例１として２倍速再生用のビットストリームを生成し復号する場合のフレーム間予測構造の例を示す模式図である。 本発明に係る画像符号化装置及び画像復号装置の実施例１として４倍速再生用のビットストリームを生成し復号する場合のフレーム間予測構造の例を示す模式図である。 本発明に係る画像符号化装置及び画像復号装置の実施例１として４倍速再生用のビットストリームを可変速再生した場合のフレーム間予測構造の例を示す模式図である。 本発明に係る画像符号化装置及び画像復号装置の実施例１として４倍速再生用のビットストリームを可変速再生した場合のフレーム間予測構造の異なる例を示す模式図である。 本発明に係る画像符号化装置及び画像復号装置の実施例２として４倍速再生用のビットストリームを可変速再生した場合のフレーム間予測構造の例を示す模式図である。 本発明に係る画像符号化装置及び画像復号装置の実施例３として４倍速再生用のビットストリームを４倍速再生した場合のフレーム間予測構造の例を示す模式図である。 本発明に係る画像符号化装置及び画像復号装置の実施例３として４倍速再生用のビットストリームを４倍速再生した場合のフレーム間予測構造の異なる例を示す模式図である。 本発明に係る画像符号化装置における処理手順の一例を説明するためのフローチャートである。 本発明に係る画像復号装置における処理手順の一例を説明するためのフローチャートである。 本発明に係る画像符号化装置における処理手順の異なる例を説明するためのフローチャートである。 本発明に係る画像復号装置における処理手順の異なる例を説明するためのフローチャートである。 従来技術における高速再生動作を説明するための模式図である。

符号の説明

１００…画像符号化装置、１０１…ブロック分割部、１０２…減算部、１０３…直交変換部、１０４…量子化部、１０５…可変長符号化部、１０６，２０２…逆量子化部、１０７，２０３…逆直交変換部、１０８，２０４…加算部、１０９，２０５…フレームメモリ、１１０，２０６…動き補償部、１１１…動き検出部、１１２，２０７…制御部、２００…画像復号装置、２０１…可変長復号部。

以下に、本発明に係る画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラムの実施形態の一例について、図面を参照しながら説明する。

［実施例１］
まず、本発明に係る画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラムの最初の実施例として実施例１について説明する。なお、本発明に係る画像符号化プログラム、画像復号プログラムについては、以下に詳細に説明する画像符号化装置の機能、画像復号装置の機能をそれぞれコンピュータのプログラムとして実行するものである。図１は、本発明に係る画像符号化装置の実施例１の構成を示すブロック構成図である。図１に示す画像符号化装置１００において、１０１は入力画像をブロック分割するブロック分割部、１０２は現入力画像のブロックと該ブロックに対する予測画像との差分値を計算する減算部、１０３は減算部１０２で計算した差分値を直交変換する直交変換部、１０４は直交変換部１０３からの変換係数を量子化する量子化部、１０５は量子化部１０４からの量子化係数を可変長符号化する可変長符号化部であり、符号化ビットストリームとして画像符号化装置１００から外部に出力する。

また、１０６は量子化部１０４からの量子化係数を逆量子化する逆量子化部、１０７は逆量子化部１０６から出力される逆量子化した変換係数を逆直交変換し、各ブロックの差分値を作成する逆直交変換部、１０８は逆量子化部１０７から出力される逆直交変換した各ブロックの差分値を予測画像に加算して復号画像を生成する加算部、１０９は加算部１０８から出力される復号画像を格納するフレームメモリ、１１０はフレームメモリ１０９に格納された復号画像から予測画像を作成する動き補償部、１１１はブロック分割部１０１から出力される現画像の各ブロックとフレームメモリ１０９からの復号画像の各ブロックとを比較し、２つの画像間の動きを検出する動き検出部、１１２は、ユーザから予め指示された高速再生用の設定倍速に従って、高速再生用のビットストリームを作成するために、動き検出部１１１で対象とする復号画像の制御、フレームメモリ１０９に格納する復号画像の制御、及び、可変長符号化部１０５から外部に出力するビットストリーム内容の制御（即ち、高速再生用符号化制御）を行なう制御部である。

なお、図１に示す画像符号化装置１００のフレームメモリ１０９には、本発明に係る画像符号化装置を実現するために、復号画像を複数フレーム分格納可能なメモリが用意されており、動き検出部１１１で対象とする復号画像として、フレームメモリ１０９に格納された複数の復号画像のうち、いずれの復号画像を用いるかを制御部１１２からの制御により切り替えることを可能としている。

また、可変長符号化部１０５から外部に出力するビットストリームには、後続する他のフレームの予測符号化のために用いられる参照画像であることを示す予測使用フラグ（即ち、予測使用情報となる第１のデータ）と、動き検出部１１１で用いた復号画像のフレーム番号を示す参照画像番号（即ち、参照用情報となる第２のデータ）とが、制御部１１２の制御により、即ち、予測使用情報符号化制御と参照用情報符号化制御とにより付加されるように構成されている。

図２は、本発明に係る画像復号装置の実施例１の構成を示すブロック構成図であり、図１に示す画像符号化装置１００からのビットストリームを復号して再生画像を出力する。図２に示す画像復号装置２００において、２０１は入力ビットストリームを可変長復号する可変長復号部、２０２は可変長復号後の量子化係数を逆量子化する逆量子化部、２０３は逆量子化部２０２から出力される逆量子化した変換係数を逆直交変換し、各ブロックの差分値を作成する逆直交変換部、２０４は逆直交変換部２０３から出力される各ブロックの差分値を予測画像に加算して復号画像即ち再生画像を生成する加算部であり、再生画像として外部の表示部（図示していない）などに対して出力する。

また、２０５は加算部２０４から出力される復号画像を格納するフレームメモリ、２０６はフレームメモリ２０５に格納された復号画像から予測画像を作成する動き補償部、２０７は、ユーザから予め指示された再生用倍速に従って、高速再生するために、可変長復号部２０１に対するビットストリームのスキップ制御、フレームメモリ２０５に格納する復号画像の制御、及び、図示しない表示部に対する表示画像の制御（即ち、高速再生用復号制御）を行なう制御部である。

なお、図２に示す画像復号装置２００のフレームメモリ２０５には、本発明に係る画像復号装置を実現するために、復号画像を複数フレーム分格納可能なメモリが用意されており、動き補償部２０６で対象とする復号画像として、フレームメモリ２０５に格納された複数の復号画像のうち、いずれの復号画像を用いるかを制御部２０７からの制御により切り替えることを可能としている。

また、可変長復号部２０１から出力される情報には、逆量子化部２０２に入力される可変長復号後の量子化係数の他に、予測使用フラグと参照画像番号とが含まれる。ビットストリームに含まれている予測使用フラグをデコードすることにより得られたフレーム番号（即ち、後続する他のフレームから参照画像として使用される画像であるか否かを示す予測使用情報となる第１のデータ）の画像を、参照画像としてフレームメモリ２０５に対して出力すると共に、フレームメモリ２０５に格納された復号画像のうち参照画像として用いるべき復号画像を示す情報として、ビットストリームに含まれている参照画像番号（即ち、参照用情報となる第２のデータ）を復号して動き補償部２０６に対して出力するような、制御部２０７の制御（即ち、予測使用情報復号制御と参照用情報復号制御）が行なわれる。

なお、本発明に係る画像符号化装置及び画像復号装置においては、高速再生用としてユーザが予め指定する倍速が、図１に示す画像符号化装置１００の制御部１１２に対する指示（以下の説明においては「設定倍速」と称する）と図２に示す画像復号装置２００の制御部２０７に対する指示（以下の説明においては「再生用倍速」と称する）とで異なっていても良い。例えば、符号化時には、４倍速再生用のビットストリームの作成を指定し、再生時には、２倍速再生の指定を行なっても良い。

図３は、本発明に係る画像符号化装置及び画像復号装置の実施例１として２倍速再生用のビットストリームを生成し復号する場合のフレーム間予測構造の例を示す模式図であり、図１に示す画像符号化装置１００を用いて作成したビットストリームのフレーム間予測構造と、図２に示す画像復号装置２００を用いて復号した復号画像のフレーム間予測構造の一例を示すものである。図３（Ａ）が、画像符号化装置１００で作成した２倍速再生用のビットストリームの状況を示し、図３（Ｂ）が、図３（Ａ）で作成されたビットストリームを画像復号装置２００側で２倍速再生して復号する状況を示している。図３において、符号Ｉ、Ｐは、それぞれ、イントラ符号化のみで符号化したＩフレーム、イントラ符号化及び片方向予測符号化により符号化したＰフレームを示し、双方向予測符号化により符号化するＢフレームは含まれていない。また、符号ＩあるいはＰの後の数字は対象とする画像のフレーム番号を表している。このような表記は、以降の実施例の図やその説明においても同様である。

また、以降の実施例の図やその説明においては、フレーム番号はＩフレームをフレーム０と仮定してカウントすることにする。従って、例えば、Ｉフレームが１５フレーム毎に周期的に出現する場合には、Ｉフレーム毎にフレーム番号がリセットされて、フレーム０となり、次のＩフレームが出現するまで、即ち、Ｐフレームが継続する間は、フレーム番号が１ずつ増加することになる。

ＩフレームとＰフレームとの２種類のフレームのみからなる画像についての従来の画像符号化装置においては、Ｐフレームは、１フレーム前の画像のみを参照画像として用いていたが、本発明に係る画像符号化装置においては、Ｐフレームの参照画像を、１フレーム前の画像のみに限らず、既に符号化したＩフレームやＰフレームの画像の中から任意に選択することができる。そのため、Ｐフレームが参照する画像のフレーム番号を「参照画像番号」（参照用情報）として、また、現フレームが参照画像として今後参照されるか否かを示す（即ち、当該フレームが後続する他フレームからの参照画像として使用されるか否かを示す）フラグを「予測使用フラグ」（予測使用情報）として符号化して、ビットストリームの中に付加して挿入するように構成している。

図１に示す画像符号化装置１００において、かくのごとき「参照画像番号」と「予測使用フラグ」との２つのデータをビットストリーム中に挿入することにより、図２に示す画像復号装置２００側の可変長復号部２０１において、入力されたビットストリームを復号して、「予測使用フラグ」を参照することにより、入力ビットストリームを復号した現フレームの復号画像をフレームメモリ２０５に格納する必要があるか否か、及び、「参照画像番号」を参照することにより、どのフレームを参照して現フレームを予測復号すれば良いかを、判定することができる。

なお、前述の説明においては、フレーム毎に参照する画像のフレーム番号を「参照画像番号」としてビットストリーム中に付加挿入するように説明したが、本発明に係る画像符号化装置においては、参照画像を参照する単位は、フレーム毎ではなく、スライス（パケット）単位やマクロブロック（ＭＢ）単位、あるいは、ブロック単位であっても良く、各スライス（パケット）ヘッダ、ＭＢヘッダ、あるいは、ブロックヘッダ部分に参照する画像のフレーム番号を書き込むようにしても良い。
また、参照する画像のフレーム番号の代わりに、現画像と参照画像とのフレーム番号の差分値や参照画像の時刻情報等を用いても良い。

図３（Ａ）は、フレーム番号Ｌが２の倍数となる２ｆ（ｆ＝０，１，２，…）番目の既符号化画像のみを参照画像として用いて符号化している例を示している。即ち、フレームＰ１，Ｐ２は、共にフレームＩ０を参照画像として予測符号化され、フレームＰ３，Ｐ４は、共にフレームＰ２を参照画像として予測符号化され、フレームＰ５，Ｐ６は、共にフレームＰ４を参照画像として予測符号化され、以降、同様に、順次、参照画像が２フレームずつ移動していく。従って、「参照画像番号」は、フレームＰ１，Ｐ２は共に０であり、フレームＰ３，Ｐ４は共に２であり、フレームＰ５，Ｐ６は共に４であり、以降同様である。また、「予測使用フラグ」は、フレームＩ０，Ｐ２，Ｐ４，…と、フレーム番号Ｌが２ｆ番目のフレームの画像は参照画像を示す「１」にセットされ、フレームＰ１，Ｐ３，Ｐ５，…と、フレーム番号Ｌが（２ｆ＋１）番目のフレームの画像は参照画像ではない旨を示す「０」のままとされる。

このように、フレーム番号Ｌが（２ｆ＋１）番目の画像は参照画像として用いないため、画像復号装置２００側で、高速再生時に表示する必要がない画像であれば復号する必要がない。つまり、画像復号装置２００側において、通常再生の場合には、全てのフレームの画像を復号して表示するが、２倍速再生の場合には、フレーム番号Ｌが（２ｆ＋１）番目の画像を何ら処理することなく、フレーム番号Ｌが２ｆ番目の画像のみを復号して表示することにより、画像復号装置２００における高速再生時に処理量を削減し、かつ、高速再生画像の画質が通常再生画像に比して劣化しない特徴を有するビットストリームを作成することができる。

ここで、図１を用いて、図３（Ａ）に示すビットストリームを作成する場合の、画像符号化装置１００の動作について説明する。ユーザから予め指示された設定倍速として２倍速再生用のビットストリーム作成の指示があった場合、制御部１１２は、フレームメモリ１０９に対してフレーム番号Ｌが２ｆ番目の画像のみを格納するように通知する。また、可変長符号化部１０５に対して、現フレームをこれ以降のフレームの符号化時に参照画像として用いるか否かを示す「予測使用フラグ」を２ｆ番目の画像については「１」とし、（２ｆ＋１）番目の画像については「０」として通知する。

同時に、動き検出部１１１に対して、現フレーム（あるいは、スライス、ＭＢ又はブロック）が参照画像として使用するフレーム番号の画像をフレームメモリ１０９から読み出して、動きを検出するように通知すると共に、現フレーム（あるいは、スライス、ＭＢ又はブロック）が参照画像として使用するフレーム番号即ち「参照画像番号」を符号化するよう可変長符号化部１０５に対して通知することを指示する。制御部１１２からの通知によって、フレーム番号Ｌが（２ｆ＋１）番目の画像は、直前のフレームである２ｆ番目の既符号化画像を参照画像とし、フレーム番号Ｌが２ｆ番目の画像は、２フレーム前の２（ｆ−１）番目の既符号化画像を参照画像として予測符号化することになる。

即ち、ユーザから予め指示された設定倍速に応じて高速再生用として設定された２フレーム間隔毎のフレーム番号２ｆのＰフレームと、高速再生用としては設定されていない残りのフレーム番号（２ｆ＋１）のＰフレームとをそれぞれ符号化して、高速再生用として設定された２フレーム間隔毎のフレーム番号２ｆの既符号化画像をフレームメモリ１０９に保存すると共に、後続する他のフレームから参照される参照画像であることを示すように、「予測使用フラグ」を「１」に設定する。また、本実施例１においては、ユーザから予め指示された設定倍速に応じて高速再生用として設定された２フレーム間隔毎のフレーム番号２ｆのＰフレームと、高速再生用としては設定されていない残りのフレーム番号（２ｆ＋１）のＰフレームとが、それぞれ参照する参照画像として、同一フレーム番号の画像即ち２ｆフレームの画像を用いて予測符号化されるように、「参照画像番号」が設定されている。

而して、前述したように、図３（Ａ）では、Ｉ０，Ｐ２，Ｐ４，Ｐ６，…で示す２ｆ番目のフレームが参照画像として用いられている。従って、「参照画像番号」は、フレームＰ１，Ｐ２がフレーム番号０（Ｉ０）、フレームＰ３，Ｐ４がフレーム番号２（Ｐ２）、フレームＰ５，Ｐ６がフレーム番号４（Ｐ４）、…となる。

一方、「予測使用フラグ」は、フレーム番号Ｌが２ｆ番目のＩ０，Ｐ２，Ｐ４，Ｐ６，…が「１」、フレーム番号Ｌが（２ｆ＋１）番目のＰ１，Ｐ３，Ｐ５，Ｐ７，…が「０」となる。ここで、「予測使用フラグ」が「１」のフレームは、参照画像として使用され、「０」のフレームは、参照画像として不使用であることを意味している。

言い換えると、「予測使用フラグ」を「１」に設定する参照画像が、周期的な位置に限定して配置されるようにして、Ｉフレームを基点としたＮフレーム（Ｎは２以上の整数値）毎の画像を、Ｉフレームの画像も含めて参照画像とするものである。ここで、図３の場合には、Ｎの値（フレーム間隔）は、高速再生用の設定倍速で設定されるフレーム間隔と同一の値（Ｎ＝２）に設定されている。

次に、図２を用いて、図３（Ａ）に示すようなビットストリームを復号する場合の、画像復号装置２００の動作について説明する。ユーザから予め指示された設定倍速としてビットストリームの２倍速再生を行なう旨の指示があった場合、制御部２０７は、可変長復号部２０１に対して、入力ビットストリームの「予測使用フラグ」が「０」のフレームであれば、次フレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレームの画像を格納するように通知する。

つまり、図３（Ｂ）に示すように、可変長復号部２０１においては、フレームＩ０を復号、表示し、フレームＰ１をスキップし、以降、同様に、フレーム番号Ｌが２ｆ番目のフレームＰ２，Ｐ４，Ｐ６，…のみを復号、表示する。この時、フレームＰ２，Ｐ４，Ｐ６，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｐ２，Ｐ４，…であるので、フレーム番号Ｌが（２ｆ＋１）番目のフレームＰ１，Ｐ３，Ｐ５，…をスキップするような処理をしたにも関わらず、フレーム番号Ｌが２ｆ番目のフレームＰ２，Ｐ４，Ｐ６，…を正常に復号することが可能である。

言い換えると、「参照画像番号」として参照画像を示すフレーム番号は、当該フレームが後続する他のフレームから参照される参照画像であることを示すように、必ず、「予測使用フラグ」が「１」に設定されているフレームを用いるようにされている。従って、符号化時に、周期的に、Ｎフレーム（Ｎは２以上の整数値）毎に参照画像が配置されている場合は、「予測使用フラグ」も同じ周期で「１」に設定されていることになり、該Ｎフレーム毎に「予測符号化フラグ」が「１」に設定されていることを確認することにより、より確実な参照画像を用いて、Ｐフレームの予測復号を行なうことができる。ここで、図３（Ｂ）の場合は、Ｎの値（フレーム間隔）は、高速再生用として符号化された際の設定倍速のフレーム間隔と同一の値（Ｎ＝２）に設定されている。

また、フレームＩ０，Ｐ２，Ｐ４，Ｐ６，…は、「予測使用フラグ」が「１」であるので、復号後において、それぞれの復号画像がフレームメモリ２０５に格納され、後続するフレームの参照画像として用いられる。このようにして、復号処理が、通常再生の約半分に削減可能となるため、処理量を増加させることなく、かつ、画質の劣化を伴うこともなく、２倍速再生が可能となる。

次に、別の符号化及び復号の例として、図４を用いて４倍速再生の場合を例にとって説明する。図４は、本発明に係る画像符号化装置及び画像復号装置の実施例１として４倍速再生用のビットストリームを生成し復号する場合のフレーム間予測構造の例を示す模式図であり、図１に示す画像符号化装置１００を用いて作成したビットストリームのフレーム間予測構造と、図２に示す画像復号装置２００を用いて復号した復号画像のフレーム間予測構造の一例を示すものである。図４（Ａ）が、画像符号化装置１００で作成した４倍速再生用のビットストリームの作成状況を示し、図４（Ｂ）が、図４（Ａ）で作成されたビットストリームを画像復号装置２００側で４倍速再生して復号する状況を示している。

図４（Ａ）は、フレーム番号Ｌが４ｆ（ｆ＝０，１，２，…）番目の既符号化画像のみを参照画像として用いて符号化している例を示している。即ち、フレームＰ１，Ｐ２，Ｐ３，Ｐ４は、共にフレームＩ０を参照画像として予測符号化され、フレームＰ５，Ｐ６，Ｐ７，Ｐ８は、共にフレームＰ４を参照画像として予測符号化され、フレームＰ９，Ｐ１０，Ｐ１１，Ｐ１２は、共にフレームＰ８を参照画像として予測符号化され、以降、同様に、順次、参照画像が４フレームずつ移動していく。

従って、「参照画像番号」は、フレームＰ１，Ｐ２，Ｐ３，Ｐ４は共に０であり、フレームＰ５，Ｐ６，Ｐ７，Ｐ８は共に４であり、フレームＰ９，Ｐ１０，Ｐ１１，Ｐ１２は共に８であり、以降同様である。また、「予測使用フラグ」は、フレームＩ０，Ｐ４，Ｐ８，…と、フレーム番号Ｌが４ｆ番目のフレームの画像は参照画像を示す「１」にセットされ、フレームＰ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，Ｐ９，Ｐ１０，Ｐ１１，…と、フレーム番号Ｌが４ｆ番目以外のフレームの画像は参照画像ではない旨を示す「０」のままとされる。

このように、フレーム番号Ｌが４ｆ番目以外の画像は参照画像として用いないため、画像復号装置２００側で、高速再生時に表示する必要がない画像であれば復号する必要がない。つまり、画像復号装置２００側において、通常再生の場合には、全てのフレームの画像を復号して表示するが、４倍速再生の場合には、フレーム番号Ｌが４ｆ番目以外の画像を何ら処理することなく、フレーム番号Ｌが４ｆ番目の画像のみを復号して表示することにより、画像復号装置２００における高速再生時に処理量を削減し、かつ、高速再生画像の画質が通常再生画像に比して劣化しない特徴を有するビットストリームを作成することができる。

ここで、図１を用いて、図４（Ａ）に示すビットストリームを作成する場合の、画像符号化装置１００の動作について説明する。ユーザからの設定倍速として４倍速再生用のビットストリーム作成の指示があった場合、制御部１１２は、フレームメモリ１０９に対してフレーム番号Ｌが４ｆ番目の画像のみを格納するように通知する。また、可変長符号化部１０５に対して、現フレームをこれ以降のフレームの符号化時に参照画像として用いるか否かを示す「予測使用フラグ」として４ｆ番目の画像については「１」を、４ｆ番目以外の画像については「０」を通知する。

同時に、動き検出部１１１に対して、現フレーム（あるいは、スライス、ＭＢ又はブロック）が参照画像として使用するフレーム番号の画像をフレームメモリ１０９から読み出して、動きを検出するように通知すると共に、現フレーム（あるいは、スライス、ＭＢ又はブロック）が参照画像として使用するフレーム番号即ち参照画像番号を符号化するよう可変長符号化部１０５に対して通知することを指示する。制御部１１２からの通知によって、フレーム番号Ｌが４ｆ番目以外の画像は直前の４ｆ番目の既符号化画像を参照画像とし、フレーム番号Ｌが４ｆ番目の画像は４フレーム前の４（ｆ−１）番目の既符号化画像を参照画像として予測符号化することになる。

而して、前述したように、図４（Ａ）では、Ｉ０，Ｐ４，Ｐ８，…で示す４ｆ番目のフレームが参照画像として用いられている。従って、「参照画像番号」は、フレームＰ１，Ｐ２，Ｐ３，Ｐ４がフレーム番号０（Ｉ０）、フレームＰ５，Ｐ６，Ｐ７，Ｐ８がフレーム番号４（Ｐ４）、フレームＰ９，Ｐ１０，Ｐ１１，Ｐ１２がフレーム番号８（Ｐ８）、…となる。一方、「予測使用フラグ」は、フレーム番号Ｌが４ｆ番目のＩ０，Ｐ４，Ｐ８，…が「１」、フレーム番号Ｌが４ｆ番目以外のＰ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，…が「０」となる。ここで、「予測使用フラグ」が「１」のフレームは、参照画像として使用され、「０」のフレームは、参照画像として不使用であることを意味している。

次に、図２を用いて、図４（Ａ）に示すようなビットストリームを復号する場合の、画像復号装置２００の動作について説明する。ユーザからの再生用倍速としてビットストリームの４倍速再生を行なう旨の指示があった場合、制御部２０７は、可変長復号部２０１に対して、入力ビットストリームの「予測使用フラグ」が「０」のフレームであれば、次フレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレームの画像を格納するように通知する。

つまり、図４（Ｂ）に示すように、可変長復号部２０１においては、フレームＩ０を復号・表示し、フレームＰ１，Ｐ２，Ｐ３をスキップし、以降、同様に、フレーム番号Ｌが４ｆ番目（ｆ＝０，１，２，…）のフレームＰ４，Ｐ８，Ｐ１２，…のみを復号・表示する。この時、フレームＰ４，Ｐ８，Ｐ１２，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｐ４，Ｐ８，…であるので、フレーム番号Ｌが４ｆ番目以外のフレームＰ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，Ｐ９，Ｐ１０，Ｐ１１，…をスキップするような処理をしたにも関わらず、フレーム番号Ｌが４ｆ番目のフレームＰ４，Ｐ８，Ｐ１２，…を正常に復号することが可能である。

同時に、フレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…は、「予測使用フラグ」が「１」であるので、復号後において、それぞれの復号画像がフレームメモリ２０５に格納され、後続するフレームの参照画像として用いられる。このようにして、復号処理が、通常再生の約（１／４）に削減可能となるため、処理量を増加させることなく、かつ、画質の劣化を伴うこともなく、４倍速再生が可能となる。

なお、図４に示す実施例においては、４倍速再生用のビットストリームを生成し、同じ速度の４倍速で復号する場合について説明したが、本発明は、前述したように、かかる場合に限定されるものではない。たとえ４倍速再生用としてフレーム番号Ｌが４ｆ番目の画像のみを参照して生成したビットストリームであっても、４倍速とは異なる倍速で再生することも可能である。即ち、本発明においては、例えば、４倍速で符号化されたビットストリームを、図５に示すように、４倍速以外の可変速再生を行なうことも可能である。

ここに、図５は、本発明に係る画像符号化装置及び画像復号装置の実施例１として４倍速再生用のビットストリームを可変速再生した場合のフレーム間予測構造の例を示す模式図であり、可変速再生用の一例として４倍速で符号化された可変速再生用ビットストリームを、可変の倍速（２倍速、３倍速、５倍速）で再生する場合の動作を説明しているものである。更に言えば、画像符号化装置１００において符号化する際に、高速再生用としてユーザが指示した設定倍速と、画像復号装置２００において符号化ビットストリームを復号する際に、ユーザが指示した再生用倍速とが、異なる速度となる場合について説明している。

図５においても、図１に示す画像符号化装置１００を用いて可変速再生用として４倍速で符号化された可変速再生用ビットストリームは、「参照画像番号」、「予測使用フラグ」共に図４における場合と同様に、ユーザからの設定倍速により設定されるフレーム間隔と同一の間隔毎のフレーム番号の画像が参照画像として用いられる形で符号化され、「参照画像番号」としては、フレーム番号Ｌが４ｆ番目（ｆ＝０，１，２，…）のフレームＩ０，Ｐ４，Ｐ８，…のみが設定され、また、「予測使用フラグ」も、フレーム番号Ｌが４ｆ番目のフレームＩ０，Ｐ４，Ｐ８，…のみが「１」に設定される。

即ち、本発明における可変速再生は、図１に示す画像符号化装置１００における画像符号化処理を同倍速再生用のビットストリーム作成の場合と全く同様の符号化動作とし、図２に示す画像復号装置２００における画像復号処理を可変速指定の倍速に応じて可変に変更して復号する。例えば、図５（Ａ）に示す可変速再生例は、設定倍速として４倍速の高速再生用として符号化されたビットストリームを２倍速の再生用倍速で復号し再生する場合を示しており、図５（Ｂ）に示す可変速再生例は、４倍速の高速再生用として符号化されたビットストリームを３倍速で復号し再生する場合を示しており、図５（Ｃ）に示す可変速再生例は、４倍速の高速再生用として符号化されたビットストリームを５倍速で復号し再生する場合を示している。以下、それぞれの可変速再生例における動作について説明する。

まず、図５（Ａ）に示す２倍速再生の例では、フレームＩ０を参照画像として、フレームＰ２，Ｐ４を復号・表示し、次に、フレームＰ４を参照画像として、フレームＰ６，Ｐ８を復号・表示し、以降、同様の処理を繰り返すことにより、図３において説明した２倍速再生の場合と同様に、２フレーム毎の復号及び表示処理を行なう。

即ち、図２に示す画像復号装置２００の制御部２０７が、ユーザからの再生用倍速としてビットストリームの２倍速再生を行なう旨の指示を受け取った場合、可変長復号部２０１に対して、入力ビットストリームのフレーム番号Ｌが２ｆ番目のフレームの画像（「予測使用フラグ」が「１」のフレームの画像を含む）を復号し、２フレームに１フレームの割合で復号せずに、次フレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレームの画像を格納するように通知する。ここで、図５（Ａ）の符号化ビットストリームに示すように、画像符号化装置１００において符号化した際に、高速再生用として４倍速再生用のビットストリームを作成するように指示されているので、画像復号装置２００に入力されたビットストリームは、フレーム番号Ｌが４ｆ番目に該当するフレーム毎に、「予測使用フラグ」が「１」に設定されている。

つまり、図５（Ａ）に示すように、可変長復号部２０１においては、フレームＩ０を復号・表示し、フレームＰ１をスキップし、以降、同様に、フレーム番号Ｌが２ｆ番目のフレームＰ２，Ｐ４，Ｐ６，Ｐ８，…のみを復号・表示する。この時、フレームＰ２，Ｐ４，Ｐ６，Ｐ８，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｉ０，Ｐ４，Ｐ４，…であるので、フレーム番号Ｌが（２ｆ＋１）番目のフレームＰ１，Ｐ３，Ｐ５，Ｐ７，…をスキップするような処理をしたにも関わらず、フレーム番号Ｌが２ｆ番目のフレームＰ２，Ｐ４，Ｐ６，Ｐ８，…を正常に復号することが可能である。

次に、図５（Ｂ）に示す３倍速再生の例では、フレームＩ０を参照画像として、フレームＰ３，Ｐ４を復号し、フレームＰ３を表示し、フレームＰ４をフレームメモリ２０５に格納する。次に、フレームメモリ２０５に格納したフレームＰ４を参照画像として、フレームＰ６，Ｐ８を復号し、フレームＰ６を表示し、フレームＰ８をフレームメモリ２０５に格納する。次に、フレームメモリ２０５に格納したフレームＰ８を参照画像として、フレームＰ９，Ｐ１２を復号し、フレームＰ９，Ｐ１２を表示し、フレームＰ１２をフレームメモリ２０５に格納する。次に、フレームメモリ２０５に格納したフレームＰ１２を参照画像として、フレームＰ１５，Ｐ１６を復号し、フレームＰ１５を表示し、フレームＰ１６をフレームメモリ２０５に格納する。

以降、同様の処理を繰り返すことにより、３ｆ番目のフレーム及び４ｆ番目のフレーム毎の復号を行ない、復号した３ｆ番目のフレームを表示し、復号した４ｆ番目のフレームをフレームメモリ２０５に格納していき、３倍速再生に必要なフレームのみの復号及び表示処理を行なう。

即ち、図２に示す画像復号装置２００の制御部２０７が、ユーザからの再生用倍速としてビットストリームの３倍速再生を行なう旨の指示を受け取った場合、可変長復号部２０１に対して、入力ビットストリームの３ｆ番目のフレーム及び４ｆ番目のフレームの割合で復号し、その他のフレームを復号せずに、３ｆ，４ｆ番目として次に該当するフレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレーム番号Ｌが４ｆ番目の画像を格納するように通知する。

つまり、３倍速再生の場合、３フレームに１フレームの割合で表示するので、表示しない画像については、復号処理を省くことができる。しかし、可変速再生の場合には「予測使用フラグ」が「１」のフレームの画像（図５の４倍速ビットストリーム例では、フレーム番号Ｌが４ｆ番目の画像）については、以降のフレームの参照画像として使用されるために、復号してフレームメモリ２０５に格納することが必要である。このため、制御部２０７は、可変速再生として３倍速再生の指示を受けると、可変長復号部２０１に対して、画像表示すべきフレーム番号Ｌが３ｆ番目のフレームか、あるいは、「予測使用フラグ」が「１」であり復号してフレームメモリ２０５に格納すべき、フレーム番号Ｌが４ｆ番目のフレームの画像のみを復号し、他のフレームをスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレーム番号Ｌが４ｆ番目の画像即ちフレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…を格納するように通知する。

従って、図５（Ｂ）に示すように、可変長復号部２０１においては、フレーム番号Ｌが３ｆ又は４ｆ番目に該当しないフレームＰ１，Ｐ２，Ｐ５，Ｐ７，Ｐ１０，Ｐ１１，…をスキップする。一方、フレーム番号が３ｆ又は４ｆ番目に該当するフレームＩ０，Ｐ３，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１２，…を復号した後、次フレームの復号完了までの間に、制御部２０７は、図示していない表示部に対して、復号したフレームの画像のうち、３ｆ番目の画像に該当するフレームＩ０，Ｐ３，Ｐ６，Ｐ９，Ｐ１２，…のみを表示するように通知し、フレームメモリ２０５に対しては、復号したフレームの画像のうち、「予測使用フラグ」が「１」の４ｆ番目の画像に該当するフレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…のみを格納するように通知する。

この時、フレームＰ３，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１２，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｉ０，Ｐ４，Ｐ４，Ｐ８，Ｐ８，…であるので、フレーム番号Ｌが３ｆ，４ｆ番目以外のフレームＰ１，Ｐ２，Ｐ５，Ｐ７，Ｐ１０，Ｐ１１，…をスキップするような処理をしたにも関わらず、フレーム番号Ｌが３ｆ，４ｆ番目のフレームＰ３，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１２，…を正常に復号することが可能である。

また、図５（Ｃ）に示す５倍速再生の例では、フレームＩ０を参照画像として、フレームＰ４を復号し、復号したフレームＰ４をフレームメモリ２０５に格納した後、フレームメモリ２０５に格納したフレームＰ４を参照画像として、フレームＰ５，Ｐ８を復号し、フレーム番号Ｌが５ｆ番目のフレームＰ５を表示し、フレーム番号Ｌが４ｆ番目のフレームＰ８をフレームメモリ２０５に格納する。次に、フレームメモリ２０５に格納したフレームＰ８を参照画像として、フレームＰ１０，Ｐ１２を復号し、フレーム番号Ｌが５ｆ番目のフレームＰ１０を表示し、フレーム番号Ｌが４ｆ番目のフレームＰ１２をフレームメモリ２０５に格納する。

以降、同様の処理を繰り返すことにより、５ｆフレーム及び４ｆフレーム毎の復号を行ない、復号した５ｆ番目のフレームを表示し、復号した４ｆ番目のフレームをフレームメモリ２０５に格納していき、５倍速再生に必要なフレームのみの復号及び表示処理を行なう。

即ち、図２に示す画像復号装置２００の制御部２０７が、ユーザからの再生用倍速としてビットストリームの５倍速再生を行なう旨の指示を受け取った場合、可変長復号部２０１に対して、入力ビットストリームの５ｆ番目のフレーム及び４ｆ番目のフレームの割合で復号し、その他のフレームを復号せずに、５ｆ，４ｆ番目として次に該当するフレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレーム番号Ｌが４ｆ番目の画像を格納するように通知する。

つまり、５倍速再生の場合、５フレームに１フレームの割合で表示するので、表示しない画像については、復号処理を省くことができる。しかし、可変速再生の場合には「予測使用フラグ」が「１」のフレームの画像（図５の４倍速ビットストリーム例では、フレーム番号Ｌが４ｆ番目の画像）については、以降のフレームの参照画像として使用されるために、復号してフレームメモリ２０５に格納することが必要である。このため、制御部２０７は、可変速再生として５倍速再生の指示を受けると、可変長復号部２０１に対して、画像表示すべきフレーム番号Ｌが５ｆ番目のフレームか、あるいは、「予測使用フラグ」が「１」であり復号してフレームメモリ２０５に格納すべき、フレーム番号Ｌが４ｆ番目のフレームの画像のみを復号し、他のフレームをスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレーム番号Ｌが４ｆ番目の画像即ちフレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…を格納するように通知する。

従って、図５（Ｃ）に示すように、可変長復号部２０１においては、フレーム番号Ｌが５ｆ又は４ｆ番目に該当しないフレームＰ１，Ｐ２，Ｐ３，Ｐ６，Ｐ７，Ｐ９，Ｐ１１，Ｐ１３，Ｐ１４，…をスキップする。一方、フレーム番号Ｌが５ｆ又は４ｆ番目に該当するフレームＩ０，Ｐ４，Ｐ５，Ｐ８，Ｐ１０，Ｐ１２，Ｐ１５，…を復号した後、次フレームの復号完了までの間に、制御部２０７は、図示していない表示部に対して、復号したフレームの画像のうち、５ｆ番目の画像に該当するフレームＩ０，Ｐ５，Ｐ１０，Ｐ１５，…のみを表示するように通知し、フレームメモリ２０５に対しては、復号したフレームの画像のうち、「予測使用フラグ」が「１」の４ｆ番目の画像に該当するフレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…のみを格納するように通知する。

この時、フレームＰ４，Ｐ５，Ｐ８，Ｐ１０，Ｐ１２，Ｐ１５，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｐ４，Ｐ４，Ｐ８，Ｐ８，Ｐ１２，…であるので、フレーム番号Ｌが５ｆ，４ｆ番目以外のフレームＰ１，Ｐ２，Ｐ３，Ｐ６，Ｐ７，Ｐ９，Ｐ１１，Ｐ１３，Ｐ１４，…をスキップするような処理をしたにも関わらず、フレーム番号Ｌが５ｆ，４ｆ番目のフレームＰ４，Ｐ５，Ｐ８，Ｐ１０，Ｐ１２，Ｐ１５，…を正常に復号することが可能である。

以上に説明した画像符号化処理を、図１に示す画像符号化装置１００の制御部１１２によって実行する手順を図１０に示す。ここに、図１０は、本発明に係る画像符号化装置における処理手順の一例を説明するためのフローチャートである。なお、図１０のステップＳ１８，Ｓ２２に示す（量子化・符号化）の処理については、制御部１１２が直接関係する処理手段ではないが、全体の処理の流れを表すために参考として追加して記載している。

図１０の符号化処理手順例において、高速再生用として符号化する際の設定倍速としてユーザからＮ倍速（Ｎ：２以上の正整数）再生用のビットストリームの作成指示が入力されると（ステップＳ１１）、まず、入力画像のフレーム数をカウントする変数Ｌを初期化して「０」に設定する（ステップＳ１２）。ここに、入力フレーム数をカンウトする変数即ちフレーム番号Ｌは、Ｉフレームに該当するフレームが出現する都度、「０」に初期設定される。

次に、フレーム番号Ｌを指定された倍速Ｎによって除した値（Ｌ／Ｎ）が０又は整数であるか否か、即ち、入力フレーム数が０又はＮの倍数であるか否かを判別する（ステップＳ１３）。
（Ｌ／Ｎ）が０又は整数であった場合は（ステップＳ１３のＹＥＳ）、（Ｌ／Ｎ）が０か否かを判定し（ステップＳ１４）、（Ｌ／Ｎ）が０の場合は（ステップＳ１４のＹＥＳ）、Ｉフレームとして符号化するフレームの画像であるので、フレームメモリ１０９の内容をクリアして、可変長符号化部１０５に対して「参照画像番号」としては何ら出力することなくＩフレームとして符号化するよう動き検出部１１１に対して指示する（ステップＳ１５）。

一方、（Ｌ／Ｎ）が０ではなかった場合は（ステップＳ１４のＮＯ）、（Ｌ／Ｎ）は整数であり、後続するフレームから参照される参照画像とすべきＰフレームとして符号化するので、Ｎ（Ｌ−１）番目のフレーム、即ち、Ｎ個前のフレームを参照して、Ｐフレームとして予測符号化し、「参照画像番号」としてＮ（Ｌ−１）を可変長符号化部１０５に通知するように動き検出部１１１に対して指示する（ステップＳ１６）。

しかる後、可変長符号化部１０５に対して、後続するフレームから参照される参照画像である旨を示す「予測使用フラグ」を「１」に設定するように、可変長符号化部１０５に対して通知した後（ステップＳ１７）、フレーム番号Ｌの現フレームを直交変換・量子化し、可変長符号化部１０５により符号化して、符号化された「参照画像番号」、「予測使用フラグ」と共に出力する（ステップＳ１８）。更に、量子化係数を逆量子化・逆直交変換した後の復号画像をフレームメモリ１０９に格納するように通知する（ステップＳ１９）。

一方、（Ｌ／Ｎ）が０又は整数ではなかった場合は（ステップＳ１３のＮＯ）、（Ｌ／Ｎ）は非整数であり、後続するフレームから参照画像としては参照されないＰフレームとして符号化するものであるので、｛Ｎ・［Ｌ／Ｎ］｝番目（ここに、［ｘ］は小数部を切り捨てた整数値）のフレーム、即ち、指定した倍速Ｎの整数倍の位置にある直前のフレームを参照して、Ｐフレームとして予測符号化し、「参照画像番号」として｛Ｎ・［Ｌ／Ｎ］｝を可変長符号化部１０５に通知するように動き検出部１１１に対して指示する（ステップＳ２０）。

しかる後、可変長符号化部１０５に対して、後続するフレームから参照される参照画像ではない旨を示すために、「予測使用フラグ」を「０」に設定するように、可変長符号化部１０５に対して通知した後（ステップＳ２１）、フレーム番号Ｌの現フレームを直交変換・量子化し、可変長符号化部１０５により符号化して、符号化された「参照画像番号」、「予測使用フラグ」と共に出力する（ステップＳ２２）。その後、ステップＳ２３に移行する。即ち、（Ｌ／Ｎ）が０又は整数の場合と異なり、フレーム番号Ｌの現フレームは、参照画像として参照されないフレームの画像であるので、復号画像をフレームメモリ１０９には格納する必要はない。

最後に、符号化すべき画像は全て終了したか否かを判定し（ステップＳ２３）、終了している場合は（ステップＳ２３のＹＥＳ）、画像符号化処理を終了する。一方、まだ終了していない場合は（ステップＳ２３のＮＯ）、次フレームがＩフレームとして符号化すべきフレームの画像か否かを判定し（ステップＳ２４）、Ｉフレームとして符号化すべきフレームであった場合には（ステップＳ２４のＹＥＳ）、フレーム番号Ｌを０にリセットして初期状態に復帰させるために、ステップＳ１２に戻り、一方、ＩフレームではなくＰフレームとして予測符号化すべきフレームであった場合は（ステップＳ２４のＮＯ）、フレーム番号Ｌを１つ更新して（ステップＳ２５）、ステップＳ１３に復帰し、Ｐフレームの予測符号化を継続する。

次に、以上に説明した画像復号処理を、図２に示す画像復号装置２００の制御部２０７によって実行する手順を図１１に示す。ここに、図１１は、本発明に係る画像復号装置における処理手順の一例を説明するためのフローチャートである。なお、図１１のステップＳ３５，Ｓ３９に示す（復号）の処理については、制御部２０７が直接関係する処理手段ではないが、全体の処理の流れを表すために参考として追加して記載している。

図１１の復号処理手順例において、高速再生用として復号する際の再生用倍速としてユーザからＮ倍速（Ｎ：正整数）再生の指示が入力されると（ステップＳ３１）、まず、入力ビットストリームの現フレーム中からフレーム番号Ｌ、「予測使用フラグ」及び「参照画像番号」を復号する。（ステップＳ３２）。ここに、フレーム番号Ｌは、Ｉフレームに該当するフレームの都度、「０」に設定されている。また、「予測参照フラグ」は、後続するＰフレームによって参照されるフレームの画像については「１」に設定されており、「参照画像番号」は、Ｐフレームが参照している画像のフレーム番号を示している。

次に、復号した「予測使用フラグ」が「１」であったか否かを判定し（ステップＳ３３）、「予測使用フラグ」が「１」であった場合（ステップＳ３３のＹＥＳ）、現フレームがＰフレームの場合、現フレームの「参照画像番号」が示すフレームを動き補償部２０６に通知する（ステップＳ３４）。その後、ビットストリームを逆量子化・逆直交変換し、復号画像を生成する（ステップＳ３５）。
しかる後、「予測使用フラグ」が「１」であるので、後続するフレームが参照画像として参照するフレームであり、フレームメモリ２０５に対して現フレームの復号画像を格納するように指示し（ステップＳ３６）、ステップＳ４１へ移行する。

また、「予測使用フラグ」が「０」であった場合（ステップＳ３３のＮＯ）、後続するフレームが参照画像として参照するフレームではないので、現フレームの復号画像をフレームメモリ２０５に格納する必要はなく、フレーム番号Ｌを指定された倍速Ｎによって除した値（Ｌ／Ｎ）が０又は整数であるか否か、即ち、Ｎ倍速として再生すべきフレームの画像に該当しているか否かを判定する（ステップＳ３７）。

（Ｌ／Ｎ）が０又は整数であった場合は（ステップＳ３７のＹＥＳ）、Ｎ倍速として再生すべきＰフレームの画像であるので、現フレームの「参照画像番号」が示すフレームを動き補償部２０６に通知する（ステップＳ３８）。その後、ビットストリームを逆量子化・逆直交変換し、復号画像を生成した後（ステップＳ３９）、ステップＳ４１へ移行する。一方、（Ｌ／Ｎ）が０又は整数ではなかった場合は（ステップＳ３７のＮＯ）、Ｎ倍速として再生すべきフレームの画像ではないので、次フレームの先頭まで復号処理をスキップするように、可変長復号部２０１に対して指示し（ステップＳ４０）、ステップＳ４３へ移行する。

ステップＳ４１においては、まず、（Ｌ／Ｎ）が０又は整数か否か、即ち、Ｎ倍速再生用の再生画像として画面表示すべきフレームの画像か否かを判定し（ステップＳ４１）、（Ｌ／Ｎ）が０又は整数であった場合（ステップＳ４１のＹＥＳ）、現フレームの復号画像を画面表示するように、図２には図示していない表示部に対して指示する（ステップＳ４２）。
しかる後、次のフレームをビットストリームから取り出して（ステップＳ４３）、復号すべきビットストリームが終了しているか否かを判定し（ステップＳ４４）、終了していた場合は（ステップＳ４４のＹＥＳ）、復号処理を終了するが、まだ、入力ビットストリームが継続していた場合は（ステップＳ４４のＮＯ）、ステップＳ３２に復帰し、復号処理を継続する。

次に、前述した２倍速、４倍速、３倍速、５倍速のような整数倍速の再生動作ではなく、小数点以下も含む分数形式の任意の倍速再生の場合について説明する。
一例として、図１に示す画象符号化装置１００における符号化処理としては、前述の４倍速再生用のビットストリームとして符号化されている場合において、図２に示す画像復号装置２００における復号処理として、１．５倍速再生を行なう場合について、図６を用いて説明する。ここに、図６は、本発明に係る画像符号化装置及び画像復号装置の実施例１として４倍速再生用のビットストリームを可変速再生した場合のフレーム間予測構造の異なる例を示す模式図であり、可変速再生用としての４倍速再生用のビットストリームを可変倍速の一例として１．５倍速で再生する場合を示している。

図６においても、図１に示す画像符号化装置１００を用いて可変速再生用として４倍速で符号化された可変速再生用ビットストリームは、「参照画像番号」、「予測使用フラグ」共に図４における場合と同様に符号化され、「参照画像番号」としては、フレーム番号Ｌが４ｆ番目（ｆ＝０，１，２，…）のフレームＩ０，Ｐ４，Ｐ８，…のみが設定され、また、「予測使用フラグ」も、フレーム番号Ｌが４ｆ番目のフレームＩ０，Ｐ４，Ｐ８，…のみが「１」に設定される。
即ち、本発明における可変速再生は、図１に示す画像符号化装置１００における画像符号化処理を同倍速再生用のビットストリーム作成の場合と全く同様とし、図２に示す画像復号装置２００における画像復号処理を可変速指定の倍速に応じて可変に変更して実行する。

画像復号装置２００において、まず、図６に示す１．５倍速再生の例では、フレームＩ０を参照画像として、フレームＰ１，Ｐ３，Ｐ４を復号し、フレームＰ１，Ｐ３，Ｐ４を表示し、フレームＰ４をフレームメモリ２０５に格納する。次に、フレームメモリ２０５に格納したフレームＰ４を参照画像として、フレームＰ６，Ｐ７，Ｐ８を復号し、フレームＰ６，Ｐ７を表示し、フレームＰ８をフレームメモリ２０５に格納する。次に、フレームメモリ２０５に格納したフレームＰ８を参照画像として、フレームＰ９，Ｐ１０，Ｐ１２を復号し、フレームＰ９，Ｐ１０，Ｐ１２を表示し、フレームＰ１２をフレームメモリ２０５に格納する。

以降、同様の処理を繰り返すことにより、［（３／２）ｆ］フレーム（ここに、ｆ＝０，１，２，…であり、［ｘ］は小数点以下を切り捨てた整数値）及び４ｆフレーム毎の復号を行ない、復号した［（３／２）ｆ］番目のフレームを表示し、復号した４ｆ番目のフレームをフレームメモリ２０５に格納していき、１．５倍速再生に必要なフレームのみの復号及び表示処理を行なう。

即ち、図２に示す画像復号装置２００の制御部２０７が、ユーザからの再生用倍速としてビットストリームの１．５倍速再生を行なう旨の指示を受け取った場合、可変長復号部２０１に対して、入力ビットストリームの［（３／２）ｆ］番目のフレーム及び４ｆ番目のフレームの割合で復号し、その他のフレームを復号せずに、［（３／２）ｆ］，４ｆ番目として次に該当するフレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレーム番号Ｌが４ｆ番目の画像を格納するように通知する。

つまり、１．５倍速再生の場合、３フレームに２フレームの割合で表示するので、表示しない画像については、復号処理を省くことができる。しかし、可変速再生の場合には「予測使用フラグ」が「１」のフレームの画像（図６の４倍速ビットストリーム例では、フレーム番号Ｌが４ｆ番目の画像）については、以降のフレームの参照画像として使用されるために、復号してフレームメモリ２０５に格納することが必要である。このため、制御部２０７は、可変速再生として１．５倍速再生の指示を受けると、可変長復号部２０１に対して、画像表示すべきフレーム番号が［（３／２）ｆ］番目のフレームか、あるいは、「予測使用フラグ」が「１」であり復号してフレームメモリ２０５に格納すべき、フレーム番号Ｌが４ｆ番目のフレームの画像のみを復号し、他のフレームをスキップするように通知し、３フレームに２フレームの割合でスキップするように指示する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレーム番号Ｌが４ｆ番目の画像即ちフレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…を格納するように通知する。

従って、図６に示すように、可変長復号部２０１においては、フレーム番号Ｌが［（３／２）ｆ］又は４ｆ番目に該当しないフレームＰ２，Ｐ５，Ｐ１１，Ｐ１４，…をスキップする。一方、フレーム番号Ｌが［（３／２）ｆ］又は４ｆ番目に該当するフレームＩ０，Ｐ１，Ｐ３，Ｐ４，Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０，Ｐ１２，Ｐ１３，…を復号した後、次フレームの復号完了までの間に、制御部２０７は、図示していない表示部に対して、復号したフレームの画像のうち、［（３／２）ｆ］番目の画像に該当するフレームＩ０，Ｐ１，Ｐ３，Ｐ４，Ｐ６，Ｐ７，Ｐ９，Ｐ１０，Ｐ１２，Ｐ１３，…のみを表示するように通知し、フレームメモリ２０５に対しては、復号したフレームの画像のうち、「予測使用フラグ」が「１」の４ｆ番目の画像に該当するフレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…のみを格納するように通知する。

この時、フレームＰ１，Ｐ３，Ｐ４，Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０，Ｐ１２，Ｐ１３，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｉ０，Ｉ０，Ｐ４，Ｐ４，Ｐ４，Ｐ８，Ｐ８，Ｐ８，Ｐ１２，…であるので、フレーム番号Ｌが［（３／２）ｆ］，４ｆ番目以外のフレームＰ２，Ｐ５，Ｐ１１，Ｐ１４，…をスキップするような処理をしたにも関わらず、フレーム番号Ｌが［（３／２）ｆ］，４ｆ番目のフレームＰ１，Ｐ３，Ｐ４，Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０，Ｐ１２，Ｐ１３，…を正常に復号することが可能である。

この１．５倍速再生の場合においては、図１１に示す復号処理フローチャートにおいて（Ｌ／Ｎ）は０又は整数か否かを判定して、現フレームを復号するか、又は、スキップするかを切り替えていたステップＳ３７の処理を、また、（Ｌ／Ｎ）は０か又は整数かを判定して、現フレームを画面表示するか、又は、表示をスキップするかを切り替えていたステップＳ４１の処理を、それぞれ、変更し、フレーム番号Ｌが０から始まる３フレームずつに区切られた範囲内のうち、いずれか予め指定された２フレームに該当するフレームか否かを判定することが必要である。この結果、例えば、３フレームのうち、最初の２フレームを復号して画面表示し、次の１フレームをスキップする処理とすることにより、１．５倍速再生を行なうことが可能である。

一般に、高速再生用として指示された設定倍速Ｎが分数形式の（ａ／ｂ）であった場合、入力ビットストリームを分母のｂフレームずつ区切った際の最初から分子のａフレーム分の画像のみを復号して表示することにより、（ａ／ｂ）倍速で画像を高速表示することができる。なお、ここで、ｂフレームずつ区切った際の最初のａフレーム分の画像のみを復号して表示する代わりに、ｂフレーム内の任意に選択した位置のフレームをａ個抽出して復号・表示するようにしても良い。

以上に説明したように、本発明の実施例１においては、Ｉフレーム及びＰフレームのみから構成されるビットストリームにおいて、図１に示す画像符号化装置１００の符号化処理として、後続するフレームが参照することを示す「予測使用フラグ」と、符号化する現Ｐフレームが参照する参照画像のフレーム番号を指定する「参照画像番号」とを符号化することにより、如何なる再生用倍速を用いても、高速再生が可能なビットストリームとして作成することが可能であり、図２に示す画像復号装置２００の復号処理として、任意の倍速で高速再生を行なうことを可能にしている。

即ち、画像符号化装置１００側でユーザから指定される設定倍速とは、画像復号装置２００側で、画像符号化装置１００側で作成した当該ビットストリームを高速再生するときに最も効率の良く再生することができる速度という意味であり、前述した実施例のように、画像符号化装置１００側で４倍速再生用として符号化されたビットストリームについて、画像復号装置２００側では、当該ビットストリームを、４倍速のみに限ることなく、２倍速、３倍速、５倍速、１．５倍速など任意の再生用倍速で再生することが可能である。

［実施例２］
次に、本発明に係る画像符号化装置及び画像復号装置の前述の実施例１と異なる実施例２について説明する。実施例２における画像符号化装置及び画像復号装置の構成は、図１及び図２に示す画像符号化装置１００及び画像復号装置２００と同様の構成で良い。ここで、実施例２の場合においては、実施例１とは異なり、複数の参照画像を用いて、画像符号化装置１００側で高速再生可能なビットストリームを作成し、画像復号装置２００側で高速再生する例について説明する。

言い換えると、実施例２の場合、実施例１の場合とは異なり、符号化時にユーザからの設定倍速に応じて、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に参照画像の中から参照する画像と、高速再生用としては設定されていない残りのフレーム番号のＰフレームを符号化する際に参照画像の中から参照する画像とで、異なるフレーム番号の画像を参照画像として参照する場合について説明する。

即ち、実施例１の場合、Ｉフレーム及びＰフレームのみから構成されるビットストリームにおいて、Ｐフレームの予測符号化を行なう場合に、遠く離れたフレームの画像を参照画像として参照する場合も存在しており、例えば、図４に示す４倍速の例では、フレームＩ０とフレームＰ３との間は３フレーム分の間隔も離れてしまうことになる。一般に、参照画像との間の距離が離れれば離れるほど、予測符号化効率が低下し、画質が劣化するという問題が発生する。実施例２では、画像符号化装置１００側のフレームメモリ１０９及び画像復号装置２００側のフレームメモリ２０５として、複数のフレームを参照画像として格納することを可能とすることにより、符号化するＰフレームから近い位置にある既符号化画像を参照することを可能とし、もって、予測符号化効率の低下を抑制するようにしている。

図７は、本発明に係る画像符号化装置及び画像復号装置の実施例２として４倍速再生用のビットストリームを可変速再生した場合のフレーム間予測構造の例を示す模式図であり、各フレームの画像毎にそれぞれで異なるフレームの画像を用いて、即ち、複数のフレームの画像を参照画像として用いて、予測符号化する動作の一例を示している。図７（Ａ）が、画像符号化装置１００で作成した４倍速再生用のビットストリームの作成状況を示し、図７（Ｂ）が、図７（Ａ）で作成されたビットストリームを画像復号装置２００側で４倍速再生して復号する状況を示している。

図７（Ａ）は、実施例１として前述した図４の場合とは異なり、フレーム番号Ｌが４ｆ（ｆ＝０，１，２，…）番目の既符号化画像のみを参照画像として用いて符号化するのではなく、例えば、フレームＰ２，Ｐ３の参照画像がフレームＩ０ではなく、それぞれフレームＰ１，Ｐ２と直前のＰフレームを参照して予測符号化している例を示している。即ち、フレームＰ１，Ｐ２，Ｐ３は、それぞれ直前のフレームＩ０，Ｐ１，Ｐ２を参照画像として予測符号化され、フレームＰ４は、４フレーム前のフレームＩ０を参照画像として予測符号化される。また、フレームＰ５，Ｐ６，Ｐ７は、それぞれ直前のフレームＰ４，Ｐ５，Ｐ６を参照画像として予測符号化され、フレームＰ８は、４フレーム前のフレームＰ４を参照画像として予測符号化される。

以降、同様に、順次、参照画像が４フレームずつ移動していく。
従って、「参照画像番号」は、フレームＰ１，Ｐ２，Ｐ３，Ｐ４は０，１，２，０であり、フレームＰ５，Ｐ６，Ｐ７，Ｐ８は４，５，６，４であり、フレームＰ９，Ｐ１０，Ｐ１１，Ｐ１２は８，９，１０，８であり、以降同様である。また、「予測使用フラグ」は、フレームＩ０，Ｐ１，Ｐ２，Ｐ４，Ｐ５，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，…と、フレーム番号Ｌが４ｆ，（４ｆ＋１），（４ｆ＋２）番目のフレームの画像はそれぞれ参照画像を示す「１」にセットされ、フレームＰ３，Ｐ７，Ｐ１１，…と、フレーム番号Ｌが（４ｆ＋３）番目のフレームの画像は参照画像ではない旨を示す「０」のままとされる。

従って、図７（Ａ）に示すように、ユーザからの設定倍速として４倍速再生用のビットストリーム作成の指示があった場合、制御部１１２は、フレームメモリ１０９に対してフレーム番号Ｌが４ｆ，（４ｆ＋１），（４ｆ＋２）番目のフレームの画像を格納するように通知する。また、可変長符号化部１０５に対して、現フレームをこれ以降のフレームの符号化時に参照画像として用いるか否かを示す予測使用フラグを、４ｆ，（４ｆ＋１），（４ｆ＋２）番目のフレームの画像について通知する。

同時に、動き検出部１１１に対して、現フレーム（あるいは、スライス、ＭＢ又はブロック）が参照画像として使用するフレーム番号の画像をフレームメモリ１０９から読み出して、動きを検出するように通知すると共に、現フレーム（あるいは、スライス、ＭＢ又はブロック）が参照画像として使用するフレーム番号即ち参照画像番号を符号化するよう可変長符号化部１０５に対して通知することを指示する。制御部１１２からの通知によって、フレーム番号Ｌが（４ｆ＋１），（４ｆ＋２），（４ｆ＋３）番目の画像は直前のフレームの既符号化画像を参照画像とし、フレーム番号Ｌが４ｆ番目の画像は４フレーム前の４（ｆ−１）番目の既符号化画像を参照画像として予測符号化することになる。

次に、図７（Ａ）に示すようなビットストリームを復号する場合、画像復号装置２００において、ユーザからの再生用倍速としてビットストリームの４倍速再生を行なう旨の指示があった場合、制御部２０７は、可変長復号部２０１に対して、入力ビットストリームの「予測使用フラグ」が「０」のフレームであれば、次フレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「１」のフレームの画像を格納するように通知する。

つまり、図７（Ｂ）に示すように、図４（Ｂ）の場合と同様の復号動作を行ない、可変長復号部２０１においては、フレームＩ０を復号・表示し、フレームＰ１，Ｐ２，Ｐ３をスキップし、以降、同様に、フレーム番号Ｌが４ｆ番目のフレームＰ４，Ｐ８，Ｐ１２，…のみを復号・表示する。この時、フレームＰ４，Ｐ８，Ｐ１２，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｐ４，Ｐ８，…であるので、フレーム番号Ｌが４ｆ番目以外のフレームＰ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，Ｐ９，Ｐ１０，Ｐ１１，…をスキップするような処理をしたにも関わらず、フレーム番号Ｌが４ｆ番目のフレームＰ４，Ｐ８，Ｐ１２，…を正常に復号することが可能である。
このように、復号処理が、通常再生の約（１／４）に削減可能となるため、処理量を増加させることなく、かつ、画質の劣化を伴うこともなく、４倍速再生が可能となる。

図７（Ａ）に示すように、画像符号化装置１００において、フレームＰ２又はＰ３を符号化している段階では、それ以降のフレームＰ４を符号化する際の参照画像となるフレームＩ０と、フレームＰ２又はＰ３をそれぞれ符号化する際の参照画像となるフレームＰ１又はＰ２という、２フレーム分の画像がフレームメモリ１０９に格納されることになる。即ち、例えば、４倍速の高速再生に必ず使用されるフレームの画像（即ち、フレーム番号Ｌが４ｆ番目のフレームの画像）は、４倍速の高速再生で使用される既符号化画像を、また、それ以外のフレームの画像（即ち、フレーム番号Ｌが４ｆ番目以外のフレームの画像）は、直前のフレームの既符号化画像を選択するというように、高速再生用画像とそれ以外の画像とで参照画像の選択方法を変えている。

また、図７（Ｂ）には示していないが、４倍速再生用として符号化されたビットストリームを、再生用倍速として２倍速再生を指示して高速再生することが指示された場合、可変長復号部２０１においては、フレームＩ０，Ｐ１を復号し、フレームＩ０を表示し、フレームＩ０，Ｐ１をフレームメモリ２０５に格納する。次に、フレームＰ２をフレームメモリ２０５に格納したＰ１を参照して復号・表示し、フレームＰ３をスキップする。次に、フレームＰ４をフレームメモリ２０５に格納したＩ０を参照して復号・表示し、フレームメモリ２０５に格納する。以降、同様に、復号することにより、４倍速再生用のビットストリームであっても、２倍速再生として、画質を劣化させることなく、高速再生することができる。

即ち、図７に示す実施例においては、高速再生用の設定倍速Ｎとして指定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に参照する画像が、フレームＩ０を含め、フレームＩ０を基点としたＮフレーム（本実施例では、Ｎ＝４）毎の画像であり、一方、高速再生用としては設定されていない残りのフレーム番号のＰフレームを符号化する際に参照する画像が、１つ前の直前の画像である場合を示している。このように、符号化ビットストリームを高速再生用画像とそれ以外の画像とで参照画像の選択方法を変えて復号する場合であっても、再生用倍速として任意に指示された倍速で、処理量を増加させることなく、かつ、画質の劣化を伴うこともなく、高速再生を行なうことができる。

つまり、図７（Ａ）の例においては、フレーム番号Ｌが４ｆ番目以外のフレームの画像が参照画像として参照する既符号化画像を直前のフレームに設定している場合を説明したが、本発明は、１つ前の直前のフレームを参照する場合のみに限るものではなく、任意の既符号化画像の中から、参照画像を選択するようにしても勿論構わない。

また、符号化時に指定した設定倍速で再生する場合に必ず使用される高速再生用画像、即ち、該設定倍速により高速再生用として設定されたフレーム間隔毎のフレーム番号の画像と、それ以外の画像、即ち、高速再生用としては設定されていない残りのフレーム番号の画像とで、参照画像の選択方法を変えて予測符号化している場合に、画像復号装置２００に対して、参照画像として選択方法が異なるフレームの画像であることを通知する方法として、実施例１において前述した「予測使用フラグ」を拡張し、画像符号化装置１００において、高速再生に必ず使用する高速再生用画像の既符号化画像については、「予測使用フラグ」を「２」に設定し、それ以外の予測符号化に使用する既符号化画像については、「１」を設定し、予測符号化には用いない画像については、「０」に設定して、画像復号装置２００に対して通知する方法を採用することができる。

画像符号化装置１００では、ユーザからの４倍速再生用のビットストリーム作成の指示を受け付けた場合、制御部１１２は、フレーム番号Ｌが４ｆ番目のフレームの画像については、４倍速の高速再生用の参照画像となるため、フレームメモリ１０９に格納すると共に、「予測使用フラグ」を「２」に設定し、４ｆ番目の現フレームの参照画像番号としては、４フレーム前のフレーム番号である４（ｆ−１）を指定する。また、フレーム番号Ｌが４ｆ番目以外のフレームの画像で、かつ、後続するフレームの画像（図７（Ａ）の例では、（４ｆ＋１）、（４ｆ＋２）番目のフレームの画像）に対する参照画像となるフレームの画像については、フレームメモリ１０９に格納すると共に、「予測使用フラグ」を「１」に設定し、４ｆ番目以外の現フレームの参照画像番号としては、参照する既符号化画像のフレーム番号（図７（Ａ）の例では、当該（４ｆ＋１）、（４ｆ＋２）番目のフレームの１フレーム前となる４ｆ、（４ｆ＋１）番目）を指定する。

一方、参照画像として参照されない（４ｆ＋３）番目のフレームの画像については、フレームメモリ１０９に格納することなく、「予測使用フラグ」を「０」に設定すると共に、（４ｆ＋３）番目の現フレームの参照画像番号としては、参照する既符号化画像のフレーム番号（図７（Ａ）の例では、当該（４ｆ＋３）番目のフレームの１フレーム前となる（４ｆ＋２）番目）を指定する。

以上に説明した実施例２における画像符号化処理を、図１に示す画像符号化装置１００の制御部１１２によって実行する手順を図１２に示す。ここに、図１２は、実施例２として、本発明に係る画像符号化装置における処理手順の異なる例を説明するためのフローチャートである。なお、図１２のステップＳ５８，Ｓ６５に示す（量子化・符号化）の処理については、制御部１１２が直接関係する処理手段ではないが、全体の処理の流れを表すために参考として追加して記載している。

図１２の符号化処理手順例において、ステップＳ５１乃至Ｓ５９の処理、また、ステップＳ６６乃至Ｓ６８の処理は、それぞれ、図１０の符号化処理手順例におけるステップＳ１１乃至Ｓ１９の処理、また、ステップＳ２３乃至Ｓ２５の処理と全く同様であるので、ここでの詳細な説明は省略する。ただし、ステップＳ１７では「予測使用フラグ」を「１」にセットしていたが、ステップＳ５７の処理では「予測使用フラグ」を「２」にセットすることが異なる。

ステップＳ５３において、（Ｌ／Ｎ）が０又は整数ではなかった場合は（ステップＳ５３のＮＯ）、（Ｌ／Ｎ）は非整数であり、Ｎ倍速では再生しない場合のフレームの画像であるので、次に、Ｌフレーム番目の現フレームの画像が後続のフレームから参照画像として参照される画像であるか否かを判定する（ステップＳ６０）。なお、図１２のステップＳ６０においては、図７（Ａ）のビットストリームの場合を説明するために、４倍速再生用のビットストリームとして、４ｆフレームの１つ手前に位置するフレームの画像のみが後続するフレームからは参照されない場合について示している。

本発明においては、このステップＳ６０の判定処理としては、かかる場合のみに限るものではなく、例えば、複数のフレームのうち、後続のフレームからは参照されない画像のフレーム番号（又は、かかるフレーム番号に関する規則）を、あるいは、逆に、後続のフレームから参照画像として参照される画像のフレーム番号（又は、かかるフレーム番号に関する規則）を制御部１１２内の図示していないメモリに予め設定登録するようにして、制御部１１２において、該メモリに登録されている情報を参照して、現フレームの画像が後続のフレームから参照画像として参照される画像であるか否かを判定するようにしても良い。

ステップＳ６０において、Ｌフレーム番目の現フレームの画像が後続のフレームから参照画像として参照される画像であると判定した場合、即ち、４ｆフレームの１つ手前に位置するフレームの画像ではなかった場合（ステップＳ６０のＮＯ）、後続のフレームから参照される参照画像であり、かつ、Ｐフレームとして符号化するので、（Ｌ−１）番目のフレーム、即ち、１個前のフレームを参照して、Ｐフレームとして予測符号化し、参照画像番号として（Ｌ−１）を可変長符号化部１０５に通知するように動き検出部１１１に対して指示する（ステップＳ６１）。

しかる後、可変長符号化部１０５に対して、Ｎ倍速再生用の画像のフレームではないものの、後続するフレームから参照される参照画像である旨を示す「予測使用フラグ」を「１」に設定するように、可変長符号化部１０５に対して通知した後（ステップＳ６２）、ステップＳ５８に移行して、フレーム番号Ｌの現フレームを直交変換・量子化し、更に符号化し（ステップＳ５８）、量子化係数を逆量子化・逆直交変換した後の復号画像をフレームメモリ１０９に格納するように通知する（ステップＳ５９）。

一方、ステップＳ６０において、Ｌフレーム番目の現フレームの画像が後続のフレームから参照画像として参照される画像ではないと判定した場合、即ち、４ｆフレームの１つ手前に位置するフレームの画像であった場合（ステップＳ６０のＹＥＳ）、ステップＳ６１と同様に、Ｐフレームとして符号化するので、（Ｌ−１）番目のフレーム、即ち、現フレームの１個前のフレームを参照して、Ｐフレームとして予測符号化し、参照画像番号として（Ｌ−１）を可変長符号化部１０５に通知するように動き検出部１１１に対して指示する（ステップＳ６１）。

しかる後、可変長符号化部１０５に対して、後続するフレームから参照される参照画像ではない旨を示すために、「予測使用フラグ」を「０」に設定するように、可変長符号化部１０５に対して通知した後（ステップＳ６４）、フレーム番号Ｌの現フレームを直交変換・量子化し、更に符号化し（ステップＳ６５）、ステップＳ６６に移行する。即ち、フレーム番号Ｌの現フレームは、後続のフレームから参照画像として参照されないフレームの画像であるので、復号画像をフレームメモリ１０９には格納する必要はない。

なお、前述のステップＳ６１，Ｓ６３の処理も、前述したステップＳ６０の場合と同様に、図７（Ａ）のビットストリームの場合を説明するために、Ｎ倍速再生用のビットストリームにおいて、現フレームの１つ手前に位置するフレームの画像を参照画像として用いて予測符号化する場合を示しているが、本発明は、かかる場合のみに限るものではなく、既符号化画像のフレームのうち、任意に指定したフレームの画像を参照画像として用いるようにしても構わない。任意に指定した既符号化画像を参照画像として用いる場合の具体的な実現方法としては、ステップＳ６０において前述した場合と同様に、例えば、制御部１１２内の図示していないメモリに、参照画像として参照する画像のフレーム番号（又は、かかるフレーム番号に関する規則）を予め登録するようにしても良い。

また、図１２に示す符号化処理手順例においては、符号化時に設定倍速として指定したＮ倍速で再生する場合に必ず使用される高速再生用画像と、後続の他のフレームから参照されるものの、高速再生用としては設定されていないそれ以外の画像とで参照画像の選択方法を変えて予測符号化していることを、画像復号装置２００に対して通知する方法として、実施例１において前述した「予測使用フラグ」を拡張して、それぞれ「２」と「１」と変更して設定する例を示したが、本発明は、かかる場合のみに限ることなく、実施例１の場合と同様に、後続の他のフレームから参照される参照画像であることを示すのみとし、「予測使用フラグ」を「１」と設定するようにしても良い。

但し、かくのごとく、参照画像の選択方法を変えて予測符号化する場合であっても、後続の他のフレームから参照される参照画像として「予測使用フラグ」を「１」とのみ設定する場合では、設定倍速として指定したＮ倍速再生用の符号化ビットストリームを復号する際に、Ｎ倍速の高速再生に必ず利用する参照画像であるか否かを「予測使用フラグ」からは推測できなくなる。このような場合に備えて、別途、符号化ビットストリーム中に、このビットストリームをＮ倍速再生用に作成したことを示す設定倍速「Ｎ」の値を格納して符号化することが必要である。あるいは、符号化ビットストリームとは別の補助情報として、設定倍速「Ｎ」の値を、画像符号化装置１００から画像復号装置２００側に対して通知するようにしても良い。なお、図７の符号化ビットストリーム例及び図１２に符号化処理手順例においては、倍速Ｎ＝４として説明している。

次に、図７のように符号化されたビットストリームを、図２に示す画像復号装置２００において復号する場合の動作について説明すると、前述したように、まず、画像復号装置２００の制御部２０７が、４倍速の高速再生用として作成されたビットストリームについて、設定倍速と同倍速の４倍速再生を行なう旨の指示を再生用倍速として受け取った場合、可変長復号部２０１に対して、入力ビットストリームのフレーム番号Ｌが４ｆ番目のフレームの画像（「予測使用フラグ」が「２」に設定されている画像）を復号し、フレーム番号Lが４ｆ番目に該当しないフレームの画像は復号せずに、次フレームの画像のヘッダまでスキップするように通知する。そして、フレームメモリ２０５に対しては、「予測使用フラグ」が「２」の４ｆ番目のフレームの画像を格納するように通知する。

つまり、図７（Ａ）に示すように、可変長復号部２０１においては、フレームＩ０を復号・表示し、フレームＰ１，Ｐ２，Ｐ３をスキップする。次に、フレームＰ４を復号・表示し、フレームＰ５，Ｐ６，Ｐ７をスキップする。以降、同様に、フレーム番号Ｌが４ｆ番目のフレームＰ４，Ｐ８，Ｐ１２，Ｐ１６，…のみを復号・表示する。ここで、フレーム番号Ｌが４ｆ番目のフレームＰ４，Ｐ８，Ｐ１２，Ｐ１６，…のみを復号・表示するように、可変長復号部２０１に対して制御部２０７が指示することは、ビットストリーム中の「予測使用フラグ」が「２」であること、あるいは、ビットストリームの補助情報として画像復号装置２００に入力される設定倍速「Ｎ」の値（前述の図７や図１２の例では、Ｎ＝４）から予測することができる。

この時、フレームＰ４，Ｐ８，Ｐ１２，Ｐ１６，…の参照画像は、それぞれ、フレームメモリ２０５に格納されているフレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…であるので、Ｎ倍速の高速再生時にフレーム番号Ｌが４ｆ番目以外のフレームＰ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３，Ｐ１４，Ｐ１５，…をスキップして復号しないような処理をしたにも関わらず、フレーム番号Ｌが４ｆ番目のフレームＰ４，Ｐ８，Ｐ１２，Ｐ１６，…を正常に復号して再生することが可能である。

以上に説明した実施例２における画像復号処理を、図２に示す画像復号装置２００の制御部２０７によって実行する手順を図１３に示す。ここに、図１３は、実施例２として、本発明に係る画像復号装置における処理手順の異なる例を説明するためのフローチャートである。なお、図１３のステップＳ７５，Ｓ７９，Ｓ８２に示す（復号）の処理については、制御部２０７が直接関係する処理手段ではないが、全体の処理の流れを表すために参考として追加して記載している。

図１３の復号処理手順例において、ステップＳ７１，Ｓ７２の処理、ステップＳ７４乃至Ｓ７６の処理、また、ステップＳ８０乃至Ｓ８７の処理は、それぞれ、図１１の復号処理手順例におけるステップＳ３１，Ｓ３２の処理、ステップＳ３４乃至Ｓ３６の処理、また、ステップＳ３７乃至Ｓ４４の処理と全く同様であるので、ここでの詳細な説明は省略する。

ステップＳ７３において、前述のごとく、符号化時に設定倍速として設定されているＮ倍速の高速再生の場合には必ず利用する参照画像となるフレームか否かを、「予測使用フラグ」が「２」であるか否かにより判定し（ステップＳ７３）、「予測使用フラグ」が「２」であった場合（ステップＳ７３のＹＥＳ）、ステップＳ７４乃至Ｓ７６の処理に移行して、図１１におけるステップＳ３４乃至Ｓ３６の処理と全く同様に、Ｐフレームの場合は、現フレームの「参照画像番号」が示すフレームを動き補償部２０６に通知する（ステップＳ７４）。その後、Ｌ番目のフレームを復号し（ステップＳ７５）、復号画像を後続のフレームで参照される参照画像としてフレームメモリ２０５に格納する（ステップＳ７６）。

一方、ステップＳ７３において、「予測使用フラグ」が「２」ではなかった場合（ステップＳ７３のＮＯ）、Ｎ倍速の高速再生に必ず利用する参照画像ではないが、後続するフレームから参照される画像のフレームであるか否かを判定するために、「予測使用フラグ」が「１」であるか否かを判定する（ステップＳ７７）。「予測使用フラグ」が「１」ではなかった場合（ステップＳ７７のＮＯ）、後続のフレームの参照画像としては用いられないフレームの画像であり、ステップＳ８０乃至Ｓ８７の処理に移行して、図１１におけるステップＳ３７乃至Ｓ４４の処理と全く同様のスキップ処理を行なう。

また、「予測使用フラグ」が「１」であった場合（ステップＳ７７のＹＥＳ）、現フレームの「参照画像番号」が示すフレームを動き補償部２０６に通知し（ステップＳ７８）、ビットストリームを逆量子化・逆直交変換し、復号画像を生成した後（ステップＳ７９）、ステップＳ７６に移行して、復号画像を格納するようにフレームメモリ２０５に対して指示する処理に移行する。

なお、ステップＳ７８及びＳ８１においてＰフレームを予測復号する際に参照すべき既符号化画像は、前述の図７における符号化ビットストリーム及び図１２の符号化処理手順の例のような場合には、フレーム番号Ｌの現フレームの１つ前に位置するフレーム番号が（Ｌ−１）番目のフレームの画像となっている。
また、符号化時において用いた高速再生用の設定倍速と同一の値の再生用倍速で再生する場合、即ち、「予測使用フラグ」が「２」のフレームの画像のみを再生・表示するような高速再生を行なう場合には、ステップＳ７７乃至Ｓ８２の処理を全て割愛し、「予測使用フラグ」が「２」ではなかった場合には（ステップＳ７３のＮＯ）、次フレームの先頭まで復号処理をスキップするように、可変長復号部２０１に対して指示し（ステップＳ８３）、ステップＳ８６へ移行するようにすれば、高速復号時の処理量を更に低減することが可能である。

また、４倍速再生用のビットストリームを４倍速再生するように、Ｎ倍速再生用のビットストリームを同速のＮ倍速で高速再生する場合には、フレームメモリ２０５には、フレーム番号がＮｆ番目に該当する１フレームの画像のみを格納すれば良いが、通常再生（等倍速再生）や、あるいは、Ｎ倍速再生用のビットストリームをＮ倍速とは異なる倍速で高速再生する場合には、フレームメモリ２０５には、前述の符号化手順においても説明した通り、２フレーム分の画像を格納することが必要である。即ち、Ｎ倍速再生用のビットストリームを、通常再生（等倍速再生）やあるいはＮ倍速とは異なる倍速で高速再生する場合には、フレーム番号がＮｆ番目以外のフレームの画像についても別途１フレームの画像が参照画像として使用される。

かくのごとく、実施例２においては、Ｉフレーム及びＰフレームのみから構成されるビットストリームにおいて、複数の参照画像をフレームメモリ２０５に格納し、画像によって参照画像を適宜変更することにより、符号化する現フレームの画像と参照画像との間のフレーム間隔を小さくし、高速再生を実現しながら、予測符号化効率の低下を抑制し、画質の劣化を防止することができる。

［実施例３］
次に、本発明に係る画像符号化装置及び画像復号装置の前述の実施例１，２と異なる実施例３について説明する。実施例３における画像符号化装置及び画像復号装置の構成は、図１及び図２に示す画像符号化装置１００及び画像復号装置２００と同様の構成で良いが、実施例３の場合、実施例１，２とは異なり、各Ｐフレーム毎の画像の予測符号化において、複数フレームの画像を参照画像として用いて符号化することにより、高速再生可能なビットストリームでありながらも、予測符号化効率を更に改善可能とするものである。

図８は、本発明に係る画像符号化装置及び画像復号装置の実施例３として４倍速再生用のビットストリームを４倍速再生した場合のフレーム間予測構造の例を示す模式図であり、１つのＰフレームの画像が複数のフレームの画像を参照画像として用いて予測符号化する動作の一例を示している。図８（Ａ）が、画像符号化装置１００で作成した４倍速再生用のビットストリームの作成状況を示し、図８（Ｂ）が、図８（Ａ）で作成されたビットストリームを画像復号装置２００側で４倍速再生して復号する状況を示している。

図８（Ａ）は、実施例１，２として前述した図４，図７の場合とは異なり、フレーム番号Ｌが４ｆ番目のフレームの画像については、参照画像が直前の４（ｆ−１）番目の１フレームのみに限定されず、既符号化済みのフレーム番号が４の倍数となる４（ｆ−ｎ）番目のフレームの画像（但し、ｆ＝０，１，２，…であり、ｎは、整数であり、０≦ｎ≦ｆの範囲）を参照画像として用いているものであり、既符号化済みの複数のフレームの画像を参照するように構成されている。更に、フレーム番号Ｌが４ｆ番目以外のフレームの画像についても、実施例３の場合は、既符号化済みのフレーム番号が４の倍数となる｛４（［Ｌ／４］−ｎ）｝番目のフレームの画像（ここで、［ｘ］は小数点以下を切り捨てた整数値）のみを参照画像として用いるものの、実施例１の場合とは異なり、参照画像が１フレームの画像のみに限定されず、既符号化済みの複数のフレームの画像を参照するように構成されている。

即ち、図８（Ａ）は、４倍速再生用のビットストリームを作成する場合に、フレーム番号Ｌが４ｆ（ｆ＝０，１，２，…）番目の画像のみを参照画像として用いて符号化するものの、実施例１として前述した図４の場合とは異なり、例えば、フレームＰ５，Ｐ６，Ｐ７，Ｐ８の参照画像は、フレーム番号が４の倍数となる直近のフレームＰ４の画像のみではなく、その４フレーム前のフレームＩ０も参照して符号化している例を示している。また、フレームＰ９，Ｐ１０，Ｐ１１，Ｐ１２は、フレーム番号が４の倍数となる直近のフレームＰ８の画像のみではなく、その４フレーム前のフレームＰ４も参照画像として予測符号化される。以降、同様に、順次、参照画像が４フレームずつ移動していく。なお、予測符号化効率の低下を防ぐために、設定倍速により設定されたフレーム間隔毎のフレーム番号｛４（［Ｌ／４］−ｎ）｝のうち、少なくとも、フレーム番号Ｌの当該Ｐフレームの直近に位置するフレーム番号｛４（［Ｌ／４］−１）｝のフレームの画像を含むようにしている。

なお、Ｉフレームの直後に続く４番目のフレームまで（フレームＰ１，Ｐ２，Ｐ３，Ｐ４）は、参照すべき既符号化済みのフレームの画像がフレームＩ０以外に存在していないため、実施例１として前述した図４の場合と同様に、共に、フレームＩ０の画像のみを参照して予測符号化している。

従って、「参照画像番号」は、既符号化済みの４ｆ番目（ｆ=０，１，２，…）のフレームが１個しか存在していないフレームＰ１，Ｐ２，Ｐ３，Ｐ４が、例外的に共に０の１個のみであり、フレームＰ５，Ｐ６，Ｐ７，Ｐ８が０及び４の２個であり、フレームＰ９，Ｐ１０，Ｐ１１，Ｐ１２が４及び８の２個であり、以降同様である。また、「予測使用フラグ」は、フレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…と、フレーム番号Ｌが４ｆ番目のフレームの画像はそれぞれ参照画像を示す「１」にセットされ、フレームＰ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，Ｐ９，Ｐ１０，Ｐ１１，…と、フレーム番号Ｌが４ｆ番目以外のフレームの画像は参照画像ではない旨を示す「０」のままとされる。

なお、本実施例においては、参照画像として２個のフレームを用いる場合を示しているが、本発明は、２個のみに限るものではなく、２個以上の任意の個数のフレームの既符号化画像を参照画像として用いるようにしても勿論構わない。
ここで、複数個（本実施例では２個）の参照画像番号が設定されたＰフレームの予測符号化をする際に、参照画像番号として設定されている複数個のフレームの既符号化画像について、いずれかの既符号化画像を、スライス単位、ＭＢ単位、あるいは、ブロック単位で、参照画像として適宜切り替えて参照して、予測符号化を行なうことが可能であり、各単位毎に参照した既符号化画像のフレーム番号（参照画像番号）をビットストリームのヘッダ部等に記録して符号化していく。

一方、設定倍速として４倍速で符号化されたビットストリームを復号する画像復号装置２００側では、該設定倍速と同倍速の４倍速再生を再生用倍速として指示されている場合、図８（Ｂ）に示すように、フレーム番号Ｌが４ｆ番目のフレーム（フレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…）の画像のみを復号・表示することになるが、フレームＰ４，Ｐ８，Ｐ１２，…を予測符号化する際に参照する参照画像としては、参照画像番号から、それぞれ、フレームＩ０，Ｉ０及びＰ４，Ｐ４及びＰ８，…を参照し、更に、ビットストリームのヘッダ部等に記録されている各単位毎の参照画像番号を用いて、予測復号することになる。これにより、複数の参照画像の中からビットストリームのヘッダ部等に記録されている各単位毎の参照画像を用いて適切に切り替えて予測復号することが可能であり、高速再生を可能にしながら、画質がより優れた再生画像を復号することができる。

次に、図９を用いて、各フレーム毎に、複数フレームの画像を参照画像として用いて符号化する場合について、図８の場合とは異なる例を説明する。ここに、図９は、本発明に係る画像符号化装置及び画像復号装置の実施例３として４倍速再生用のビットストリームを４倍速再生した場合のフレーム間予測構造の異なる例を示す模式図であり、１つのフレームの画像が複数のフレームの画像を参照画像として用いて予測符号化する動作の図８とは異なる例を示している。

即ち、図８においては、４倍速再生用のビットストリームを作成する際に、２個の参照画像として、フレーム番号が４の倍数となる直近のフレームの画像と更に４つ前のフレームの画像とを用いる場合を示しているが、図９においては、フレーム番号Ｌが４の倍数とならないフレームの画像については、フレーム番号が４の倍数となる直近のフレームの画像を参照画像とすることは、図８の場合と同様であるが、更に４つ前のフレームの画像を用いる代わりに、１つ前の直前のフレームの画像を参照画像として用いる場合を示している。図９（Ａ）が、画像符号化装置１００で作成した４倍速再生用のビットストリームの作成状況を示し、図９（Ｂ）が、図９（Ａ）で作成されたビットストリームを画像復号装置２００側で４倍速再生して復号する状況を示している。

更に説明すれば、実施例２として前述した図７の場合では、フレーム番号Ｌが４の倍数となる４ｆ番目のフレームの画像（ｆ＝０，１，２，…）については、４フレーム前の既符号化済みの画像のみを参照画像として用いて符号化し、フレーム番号Ｌが４の倍数とならない４ｆ番目以外のフレームの画像については、直前のフレームの画像のみを参照画像として用いて符号化する例を示した。しかし、図９（Ａ）の場合、４倍速再生用のビットストリームを作成する場合に、各フレーム毎に、２個の参照画像を用いることを可能とするために、図７の場合に加えて、図８にて説明したように、フレーム番号Ｌが４の倍数となる４ｆのフレームの画像については、更に４つ前のフレームの画像を、また、フレーム番号Ｌが４の倍数とならない４ｆ番目以外のフレームの画像については、フレーム番号が４の倍数となる直近のフレームの画像を参照画像とする例を示している。

即ち、図９（Ａ）は、４倍速再生用のビットストリームを作成する場合に、実施例２として前述した図７の場合とは異なり、例えば、設定倍速である４の倍数となるフレーム番号ＬがフレームＰ４の参照画像は、参照すべき既符号化画像が４フレーム前のフレームＩ０の１個のみであるため、フレームＩ０のみを用い、また、フレーム番号Ｌが４の倍数の１つ後に位置するフレームＰ１の参照画像も、４の倍数となっている１つ前のフレームＩ０を用い、フレーム番号Ｌが４の倍数とはならない残りのフレームＰ２，Ｐ３の参照画像は、それぞれの１つ前のフレームＰ１，Ｐ２のみならず、更に、４の倍数となる直近のフレームＩ０をも用いている例を示している。また、フレーム番号Ｌが４の倍数となるフレームＰ８の参照画像は、４フレーム前のフレームＰ４のみならず、更に４フレーム前のフレームＩ０をも用い、また、フレーム番号Ｌが４の倍数の１つ後に位置するフレームＰ５の参照画像は、４の倍数となっている１つ前のフレームＰ４を用い、フレーム番号Ｌが４の倍数とはならない残りのフレームＰ６，Ｐ７の参照画像は、それぞれの１つ前のフレームＰ５，Ｐ６のみならず、更に、４の倍数となる直近のフレームＰ４をも用いている。

また、フレーム番号Ｌが４の倍数となるフレームＰ１２は、それぞれ、４フレーム前及び更に４フレーム前のフレームＰ８及びＰ４を、また、フレーム番号Ｌが４の倍数の１つ後に位置するフレームＰ９は、４の倍数となっている１つ前のフレームＰ８を、フレーム番号Ｌが４の倍数とはならない残りのフレームＰ１０，Ｐ１１は、それぞれの１つ前のフレームＰ９，Ｐ１０と４の倍数となる直近のフレームＰ８とを、参照画像として用いて予測符号化される。以降、同様に、順次、参照画像が４フレームずつ移動していく。

従って、「参照画像番号」は、フレームＰ１，Ｐ２，Ｐ３，Ｐ４が、それぞれ、０，０及び１，０及び２，０であり、フレームＰ５，Ｐ６，Ｐ７，Ｐ８が、それぞれ、４，４及び５，４及び６，０及び４であり、フレームＰ９，Ｐ１０，Ｐ１１，Ｐ１２が、それぞれ、８，８及び９，８及び１０，４及び８であり、以降同様である。また、「予測使用フラグ」は、フレームＩ０，Ｐ１，Ｐ２，Ｐ４，Ｐ５，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１２，…と、フレーム番号Ｌが４ｆ，（４ｆ＋１），（４ｆ＋２）番目のフレームの画像はそれぞれ参照画像を示す「１」にセットされ、フレームＰ３，Ｐ７，Ｐ１１，…と、フレーム番号Ｌが（４ｆ＋３）番目のフレームの画像は参照画像ではない旨を示す「０」のままとされる。

なお、図９に示す本実施例においては、参照画像として２個のフレームを用いる場合を示しているが、本発明は、２個のみに限るものではなく、２個以上の任意の個数のフレームの既符号化画像を参照画像として用いるようにしても勿論構わない。
また、図９に示す本実施例においては、フレーム番号Ｌが４の倍数とならないフレームの画像について、１つ前の直前のフレームの画像と、フレーム番号が４の倍数となる直近のフレームの画像との２つのフレームの画像を参照画像とする場合について示したが、本発明はかかる場合に限るものではなく、例えば、フレーム番号が４の倍数となる直近のフレームの画像の代わりに、２つ前のフレームの画像を参照画像として用いることにしても良いし、更には、任意に指定した既符号化画像を複数個用いることとしても構わない。

ここで、複数個（本実施例では２個）の参照画像番号が設定されたＰフレームの予測符号化をする際に、前述した図８の場合と同様に、参照画像番号として設定されている複数個のフレームの既符号化画像について、いずれかの既符号化画像を、スライス単位、ＭＢ単位、あるいは、ブロック単位で、参照画像として適宜切り替えて参照して、予測符号化を行なうことが可能であり、各単位毎に参照した既符号化画像のフレーム番号（参照画像番号）をビットストリームのヘッダ部等に記録して符号化していく。

一方、設定倍速として４倍速で符号化されたビットストリームを復号する画像復号装置２００側では、設定倍速と同倍速の４倍速再生を再生用倍速として指示されている場合、図９（Ｂ）に示すように、フレーム番号Ｌが４ｆ番目のフレーム（フレームＩ０，Ｐ４，Ｐ８，Ｐ１２，…）の画像のみを復号・表示することになるが、フレームＰ４，Ｐ８，Ｐ１２，…を予測符号化する際に参照する参照画像としては、参照画像番号から、それぞれ、フレームＩ０，Ｉ０及びＰ４，Ｐ４及びＰ８，…を参照し、更に、ビットストリームのヘッダ部等に記録されている各単位毎の参照画像番号を用いて、予測復号することになる。これにより、複数の参照画像の中からビットストリームのヘッダ部等に記録されている各単位毎の参照画像を用いて適切に切り替えて予測復号することが可能であり、高速再生を可能にしながら、画質がより優れた再生画像を復号することができる。

また、図９（Ａ）における符号化ビットストリーム例においても、符号化時に指定した倍速で再生する場合に必ず使用される高速再生用画像とそれ以外の画像とで参照画像の選択方法を変えて予測符号化している場合に、画像復号装置２００に対して、参照画像として選択方法が異なるフレームの画像であることを通知する方法として、実施例２において前述した「予測使用フラグ」の拡張方法と同様に、画像符号化装置１００において、「予測使用フラグ」を、高速再生に必ず使用する高速再生用画像の既符号化画像については、「予測使用フラグ」を「２」に設定し、それ以外の予測符号化に使用する既符号化画像については、「１」を設定し、予測符号化には用いない画像については、「０」に設定して、画像復号装置２００に対して通知する方法を採用することもできる。

あるいは、「予測使用フラグ」の値を「０」と「１」との２種類のみに限定して用いる場合、実施例２で前述した場合と同様に、画像復号装置２００は、高速再生に必ず利用する参照画像であるか否かを「予測使用フラグ」の値からは推測することができないため、かかる場合に備えて、別途、符号化ビットストリーム中に、当該ビットストリームをＮ倍速再生用として作成したことを示す設定倍速「Ｎ」の値を格納して符号化するようにしても良い。あるいは、符号化ビットストリームとは別の補助情報として、設定倍速「Ｎ」の値を、画像符号化装置１００から画像復号装置２００側に対して通知するようにしても良い。

なお、図９に示す符号化ビットストリームを作成する実施例３の場合には、図１２の符号化処理手順例において、ステップＳ５６で通知する参照画像番号を変更する必要がある。即ち、ステップＳ５６で参照する参照画像番号としては、｛Ｎ（Ｌ−１）｝のフレーム番号のみに限らず、更に、｛Ｎ（Ｌ−２）｝のフレーム番号を追加することにしても良いし、あるいは、場合によっては、フレームメモリ１０９に格納されている｛Ｎ（Ｌ−ｍ）｝のフレーム番号（ここで、ｍは２以上の正整数）で表される既符号化画像の中から任意の１フレームを選択して追加することにしても良い。

更に、図１２のステップＳ６１及びＳ６３で通知する参照画像番号も変更する必要がある。即ち、ステップＳ６１及びＳ６３でそれぞれ参照する参照画像番号としては、（Ｌ−１）のフレーム番号のみに限らず、更に、フレーム番号Ｌの現フレームの直近に位置する４の倍数のフレームとなる｛Ｎ［Ｌ／Ｎ］｝のフレーム番号（ここで、［ｘ］は小数点以下を切り捨てた整数値）を追加することにしても良いし、あるいは、場合によっては、フレームメモリ１０９に格納されている既符号化画像の中から任意の１フレームを選択して追加することにしても良い。

以上に説明した実施例１，２，３においては、画像符号化装置１００で作成する符号化ビットストリームを、ユーザから指定される設定倍速として２倍速再生用と４倍速再生用との２つの場合に限って説明したが、本発明に係る画像符号化装置及び画像復号装置として、一般的に、設定倍速の指定として、任意の倍速即ちＮ倍速再生（ここで、Ｎは１より大きい実数値）に拡張することが可能であることは、以上の詳細な説明から容易に理解することができる。

なお、前述の実施例１，２，３の説明においては、イントラ符号化のみで符号化するＩフレームが、周期的に出現する場合について示したが、本発明に係る画像符号化装置及び画像復号装置においては、ビットストリームの途中にランダムにＩフレームが含まれている場合や先頭の１フレームのみの場合であっても、全く同様に拡張することが可能であることも、以上の詳細な説明から容易に理解することができる。

また、前述の実施例１，２，３の説明においては、画像復号装置２００の制御部２０７は、復号する必要がないフレームについて、可変長復号部２０１に対してビットストリームのスキップを通知する例を示したが、このビットストリームのスキップに関する処理は、可変長復号部２０１のみに限るものではなく、可変長復号部２０１の前段に位置していて、図２に図示していない逆多重化部に対してユーザからの再生用倍速の指示がなされることによって、逆多重化部において、復号する必要がないフレームのビットストリームをスキップしてしまい、画像復号装置２００側には、スキップしたフレームのビットストリームを渡さないようにすることでも実現可能である。

また、前述の実施例１，２，３の説明においては、画像符号化装置１００の制御部１１２に対してユーザからＮ倍速再生用のビットストリーム作成を指定する例について示したが、毎回、ユーザからＮ倍速再生用の指定を行なう代わりに、デフォルト値として予め定められた設定倍速「Ｎ_０」の値を用いて、ビットストリームを作成するようにしても良い。

Claims (7)

1. 画像をイントラ符号化のみで符号化したＩフレーム、又は、画像をイントラ符号化及び片方向予測符号化したＰフレームが、後続の他のフレームから参照画像として使用される画像か否かを示す第１のデータを予測使用情報として符号化する予測使用情報符号化手段と、前記Ｐフレームが参照する画像のフレーム番号を示す第２のデータを参照用情報として符号化する参照用情報符号化手段とを有し、前記Ｐフレームを符号化する場合、前記第１のデータによって示された前記参照画像の中から、前記第２のデータが示すフレーム番号の画像を参照し、高速再生用ビットストリームの作成のために予め指示された設定倍速に応じて高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレーム及び高速再生用として設定されていない残りのフレーム番号のＰフレームを、それぞれ符号化し、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームの符号化画像を保存すると共に、後続の他のフレームから参照される旨を示す前記予測使用情報として前記第１のデータを設定し、前記予測使用情報符号化手段に対して前記第１のデータを符号化するように指示する高速再生用符号化手段を有することを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置において、前記高速再生用符号化手段が、前記設定倍速に応じて高速再生用として設定されたフレーム間隔毎に区切られた範囲内の各前記Ｐフレームについて、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像と、高速再生用として設定されていない残りのフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像とで、同一のフレーム番号の参照画像とする旨を示す前記参照用情報として前記第２のデータを設定し、前記参照用情報符号化手段に対して前記第２のデータを符号化するように指示することを特徴とする画像符号化装置。
3. 請求項１に記載の画像符号化装置において、前記高速再生用符号化手段が、前記設定倍速に応じて高速再生用として設定されたフレーム間隔毎に区切られた範囲内の各前記Ｐフレームについて、高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像と、高速再生用として設定されていない残りのフレーム番号のＰフレームを符号化する際に前記参照画像の中から参照する画像とで、異なるフレーム番号を含む画像を参照する旨を示す前記参照用情報として前記第２のデータを設定し、前記参照用情報符号化手段に対して前記第２のデータを符号化するように指示することを特徴とする画像符号化装置。
4. 請求項１乃至３のいずれかに記載の画像符号化装置において、各前記Ｐフレームの画像を符号化する際に、各前記Ｐフレーム毎に、複数の符号化済み画像を参照することができることを特徴とする画像符号化装置。
5. 画像をイントラ符号化のみで符号化したＩフレーム、又は、画像をイントラ符号化及び片方向予測符号化したＰフレームが、後続の他のフレームから参照画像として使用される画像か否かを示す第１のデータを予測使用情報として復号する予測使用情報復号手段と、前記Ｐフレームが参照するフレーム番号を示す第２のデータを参照用情報として復号する参照用情報復号手段とを有し、前記Ｐフレームを復号する場合、前記第１のデータによって示された前記参照画像の中から、前記第２のデータが示すフレーム番号の画像を参照し、予め指示された再生用倍速に応じて高速再生用として設定されたフレーム間隔毎のフレーム番号のＰフレームを復号する高速再生用復号手段を有することを特徴とする画像復号装置。
6. 請求項５に記載の画像復号装置において、前記高速再生用復号手段が、高速再生用として予め指示された設定倍速に応じて符号化された符号化ビットストリームについて、前記Ｐフレームを復号する場合、前記第１のデータが予測使用情報として示す前記参照画像のうち、復号する当該フレームの前記第２のデータが参照用情報として示すフレーム番号の画像を参照することにより、前記設定倍速と異なる任意の値の再生用倍速を用いて、前記Ｐフレームを復号することができることを特徴とする画像復号装置。
7. 請求項５又は６に記載の画像復号装置において、各前記Ｐフレームの画像を復号する際に、各前記Ｐフレーム毎に、複数の復号済み画像を参照することができることを特徴とする画像復号装置。

Images