JP4643447B2 - 画像符号化装置，画像復号装置，画像符号化方法および画像復号方法 - Google Patents

Description

本発明は，フレーム間予測符号化方式を使った，複数フレームの画像符号化／復号技術に関する。

ＭＰＥＧ−１，ＭＰＥＧ−２やＨ．２６１，Ｈ．２６３といった国際標準動画像符号化では，各フレームの出力時刻を符号化する。これらの時刻情報はＴＲ（Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎｃｅ）と呼ばれ，フレーム毎に固定長符号化される。システムで基準となる時間間隔を予め設定しておき，その時間間隔とＴＲの積でシーケンス先頭からの時刻を示す。エンコーダでは，入力画像の時刻情報をＴＲに設定して各フレームを符号化し，デコーダでは，各フレームの復号画像をＴＲで指定された時刻に出力する。

他方，一般的に動画像符号化では時間方向の相関を使って高い符号化効率を実現するため，フレーム間予測符号化を用いている。フレームの符号化モードには，フレーム間の相関を使わずに符号化するＩフレームと，過去に符号化した１フレームから予測するＰフレームと，過去に符号化した２フレームから予測することができるＢフレームがある。

Ｂフレームでは，参照画像メモリに２フレーム分の復号画像を蓄積しておく必要がある。特に映像符号化方式Ｈ．２６３とＨ．２６４では，参照画像メモリに２フレーム以上の複数フレーム分の復号画像を蓄積しておき，そのメモリから参照画像を選択して予測することができる。

参照画像はブロック毎に選択することができ，参照画像を指定する参照画像指定情報を符号化する。参照画像メモリには，短時間用（ＳＴＲＭ）と長時間用（ＬＴＲＭ）があり，ＳＴＲＭには現フレームの復号画像を蓄積していき，ＬＴＲＭにはＳＴＲＭに蓄積されている画像を選択して蓄積する。なお，ＬＴＲＭとＳＴＲＭの制御方法については，例えば非特許文献１に記載されている。
Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ，Ｘｉａｏｚｈｅｎｇ Ｚｈａｎｇ，ａｎｄ Ｂｅｒｎｅｄ Ｇｉｒｏｄ，″Ｌｏｎｇ−Ｔｅｒｍ Ｍｅｍｏｒｙ Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ″，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．９，ｎｏ．１，ｐｐ．７０−８４，Ｆｅｂ．，１９９９ ＭＰＥＧ−１，ＭＰＥＧ−２のＢフレームでは，より過去のフレームから予測する方法を前方向フレーム間予測と呼び，より未来のフレームから予測する方法を後方向フレーム間予測と呼ぶ。後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも未来である。この場合には，現フレームを表示した後に，後方向フレーム間予測の参照フレームを出力することになる。Ｂフレームで２フレームから予測する場合（両方向フレーム間予測）には，２フレームからの画像情報を補間して１フレーム分の画像情報を作成し，これを予測画像とする。

図１６（Ａ）に，後方向フレーム間予測における参照フレームの表示時刻が未来の場合の，動画像の予測関係の例を示す。図１６に示す（１）〜（７）は，フレーム番号を表している。第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合には，図１６（Ａ）に示す予測関係があるため，実際に符号化する場合には，図１６（Ｂ）に示すように１４２３７５６の順序でフレームを符号化する。この場合の符号化されるＴＲの順序は，符号化フレームと同様に１４２３７５６に対応した値となる。

Ｈ．２６４のＢフレームでは，後方向フレーム間予測の概念をＭＰＥＧ−１，ＭＰＥＧ−２よりも拡張しており，後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも過去であってもよい。この場合には，後方向フレーム間予測の参照フレームの方を先に出力することになる。

上記したように，Ｈ．２６４では参照画像メモリに複数の復号画像を蓄積することができる。そこで前方向フレーム間予測用の参照画像指定情報Ｌ０と，後方向フレーム間予測用の参照画像指定情報Ｌ１を定義しておき，それぞれ独立に前方向フレーム間予測用の参照画像と後方向フレーム間予測用の参照画像を指定する。

ブロック毎に参照画像を指定するため，まずブロックの予測モード（前方向フレーム間予測または後方向フレーム間予測または両方向フレーム間予測）を符号化して，予測モードが前方向フレーム間予測の場合には参照画像指定情報Ｌ０を符号化し，後方向フレーム間予測の場合には参照画像指定情報Ｌ１を符号化し，両方向フレーム間予測の場合には参照画像指定情報Ｌ０と参照画像指定情報Ｌ１とを符号化する。

このように定義すると，後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも未来である必要はない。Ｈ．２６４のＢフレームでは，このように後方向フレーム間予測も過去のフレームを参照画像に指定でき，さらに指定はブロック単位に変更できるため，両方向フレーム間予測の場合を除いて，Ｐフレームと同様な予測画像を作成することができる。

図１７（Ａ）に，後方向フレーム間予測における参照フレームの表示時刻が過去の場合の，動画像の予測関係の例を示す。図１６の場合と異なり，第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合であっても，図１７（Ａ）に示す予測関係があるため，図１７（Ｂ）に示すように１４２３５６７の順序でフレームを符号化する。

参照画像メモリに複数の復号画像を蓄積しておき，参照画像を選択してフレーム間予測符号化する方法では，全フレームの復号画像を蓄積しておく必要はない。これを応用して時間スケーラブル機能を実現することができる。

例えばＭＰＥＧ−１，ＭＰＥＧ−２で図１６（Ａ）のような予測関係にある場合には，Ｂフレーム（フレーム番号（２），（３），（５），（６））は以後のフレームで参照画像として使用されない。そこで復号側は，Ｂフレームを復号せずにＩフレームとＰフレームのみ復号することができる。もともと毎秒３０フレームで符号化されているとすると，Ｂフレームを復号／出力しないようにすれば毎秒１０フレームの映像を出力することができる。

このような技術を多階層に応用することもできる。図１は，３レイヤ構成の予測関係の例を示す図である。図１において，（１）〜（９）はフレーム番号を，フレーム中に記載された１〜９までの数字は各フレームの符号化順序を示す。

例えば図１（Ｃ）に示すように，第５フレーム（第１レイヤ）は第１フレームを参照フレームとし，第３フレーム（第２レイヤ）は第１フレームまたは第５フレームを参照フレームとし，第２フレーム（第３レイヤ）は第１フレームまたは第３フレームを参照フレームとし，第４フレーム（第３レイヤ）は第３フレームと第５フレームを参照フレームとする場合には，全５フレームが毎秒３０フレームの映像である場合には，第２フレームと第４フレーム（第３レイヤ）を復号しないことにより，毎秒１５フレームの映像を出力することができる。

また，第２フレームと第３フレームと第４フレーム（第２レイヤと第３レイヤ）を復号しないことにより，毎秒７．５フレームの映像を出力することができる。なお図１（Ｃ）以外にもフレームの符号化順序は複数パターン設定することができ，例えば図１（Ａ）のように入力順序と同じにしてもよいし，図１（Ｂ）のように，第１レイヤ符号化後すぐに第２レイヤを符号化し，続いて第３レイヤを符号化するようにしてもよい。

このような参照フレームとされないフレームがある場合に，時間解像度を変更する仕組みは，復号側が実行してもよいし，符号化側と復号側との間の中継地点で実行してもよい。放送のように符号化データを片方向に配信する場合には，復号側が実行する方が好適である。

また，このような時間スケーラブル機能は，図１のレイヤを視点とみなすことにより，多視点映像の符号化に適用することも可能である。

また，一般的なフレーム間に時間関係がないような複数のフレームであっても，複数のフレームを予め設定した次元に並べ，その次元を時間とみなすことにより動画像として扱うことができる。このような複数のフレームをさらに少数の集合に分類し，それを図１におけるレイヤとみなして，時間スケーラブル機能を適用することも可能である。

また，時間スケーラブル符号化を実現する手法としてＭＣＴＦ符号化が挙げられる。このＭＣＴＦ符号化方法は，映像データに対して時間方向にフィルタリング（サブバンド分割）し，映像データの時間方向の相関を利用して，映像データのエネルギーをコンパクト化する手法である。図１８に時間方向で低域をオクターブ分割する概念図を示す。ＧＯＰを設定してＧＯＰ内で時間方向にフィルタリングする。時間方向のフィルタにはＨａａｒ基底が一般的に提案されている（非特許文献２参照）。
非特許文献２：Ｊｅｎｓ−Ｒａｉｎｅｒ Ｏｈｍ，“Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａ；Ｓｕｂｂａｎｄ Ｃｏｄｉｎｇ ｗｉｔｈ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃ．，ｖｏｌ．３，ｎｏ．５，ｐｐ．５５９−５７１，１９９４．また，Ｈａａｒ基底には一般的に図１９に示すようなＬｉｆｔｉｎｇ Ｓｃｈｅｍｅを適用できる。この手法により，演算量を少なくフィルタリングすることが出来る。このＬｉｆｔｉｎｇ Ｓｃｈｅｍｅにおいて，ｐｒｅｄｉｃｔは通常の予測符号化と同様な処理であり，予測画像と原画像との残差を求める処理である。

なお，非特許文献３または非特許文献４に，複数の画像から高い解像度の画像を得る手法が記載されている。
非特許文献３：Ｓｕｎｇ Ｃｈｅｏｌ Ｐａｒｋ，Ｍｉｎ Ｋｙｕ Ｐａｒｋ，ａｎｄ Ｍｏｏｎ Ｇｉ Ｋａｎｇ，″Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：Ａ Ｔｅｃｈｎｉｃａｌ Ｏｖｅｒｖｉｅｗ″，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，ｐｐ．２１−３６，Ｍａｙ，２００３．
非特許文献４：Ｃ．Ａｎｄｒｅｗ Ｓｅｇａｌｌ，Ｒａｆａｅｌ Ｍｏｌｉｎａ，ａｎｄ Ａｇｇｅｌｏｓ Ｋ．Ｋａｔｓａｇｇｅｌｏｓ，″Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ ｆｒｏｍ Ｌｏｗ−Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｍｐｒｅｓｓ Ｖｉｄｅｏ″，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，ｐｐ．３７−４８，Ｍａｙ，２００３．複数フレームの参照画像メモリを備える場合には，蓄積する最大フレーム数を大きくするほど符号化効率が向上する。ここで時間スケーラブル機能を実現する場合には，復号するレイヤ数が少なくなった場合においても符号化データ中の参照画像指定情報によって同一の復号画像が指定される必要がある。

しかしながら従来のＨ．２６４では，ＳＴＲＭとＬＴＲＭを備えているが，ＬＴＲＭはＳＴＲＭに蓄積されている画像を蓄積するメモリであり，復号画像はＳＴＲＭへ蓄積されるため，時間スケーラブルにおけるレイヤとは無関係に復号画像に対して参照画像指定情報を符号化する。

したがって，復号側で符号化データの特定のフレームを復号しない場合には，参照画像指定情報が異なるフレームを参照してしまう。このように異なる参照画像から予測画像を作成すると復号側で正しい復号画像が得られない。

参照画像指定情報を用いて複数のフレームから参照画像を選択するのではなく，ＭＰＥＧ−１，ＭＰＥＧ−２のＢフレームのように，復号画像を参照画像メモリに蓄積せずに，また参照画像を前後するＩフレームまたはＰフレームに限定する場合には，Ｂフレームを復号しない場合に参照画像が異なることは無い。これにより時間スケーラブル符号化を実現できる。しかしながら，Ｂフレームの復号画像を参照画像メモリに蓄積しないとすると，Ｂフレームは前後するＩフレームまたはＰフレームに参照画像が限定されており複数フレームの参照画像メモリを備えないため，符号化効率を向上することができない。

以上のように，従来の時間スケーラブル符号化を実現する手法において，符号化効率を向上するために，参照画像メモリを複数フレーム備えることはできず，逆に従来の参照画像メモリに複数フレームを蓄積する手法では時間スケーラブル符号化を実現できなかった。

本発明は，復号側で符号化データの特定のフレームを復号しない場合にもそのフレームを復号する場合と同一の参照画像が指定されて，正しい復号画像を得ることができ，かつ，符号化効率を向上させることが可能な画像符号化装置，画像復号装置，画像符号化方法および画像復号方法の提供を目的とする。

本発明の第１の側面は，複数のフレームで構成される画像情報を符号化する画像符号化方法であって，符号化対象の各フレームをＮ個（Ｎ≧２）のカテゴリに分類する画像分類ステップと，第ｊカテゴリに分類される現フレームについて，第ｉ（１≦ｉ≦ｊ）カテゴリの，過去に符号化した参照画像メモリ中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステップと，現フレームの画像情報と予測画像との差分を符号化する差分符号化ステップと，前記選択した画像情報を指定する，第ｊカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化ステップと，現フレームのカテゴリ番号を符号化する現カテゴリ符号化ステップと，現フレームの画像情報を参照画像メモリに蓄積する画像蓄積ステップと，を有し，前記参照画像指定情報符号化ステップは，前記参照画像メモリに蓄積された複数の画像情報のうち，前記現フレームの第ｊカテゴリ以下の各第ｉカテゴリに属するフレームの画像情報に対してのみ，第１のフレーム番号を設定するフレーム番号設定ステップと，前記予測画像作成ステップで選択した画像情報を指定する前記第１のフレーム番号を，参照画像指定情報として符号化する暫定フレーム番号符号化ステップと を有することを特徴とする。

本発明の第２の側面は，複数のフレームで構成される画像情報を符号化する画像符号化方法であって，符号化対象の各フレームをＮ個（Ｎ≧２）のカテゴリに分類する画像分類ステップと，第ｊカテゴリに分類される現フレームについて，第ｉ（１≦ｉ≦ｊ）カテゴリの，過去に符号化した参照画像メモリ中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステップと，現フレームの画像情報と予測画像との差分を符号化する差分符号化ステップと，前記選択した画像情報を指定する，第ｊカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化ステップと，現フレームのカテゴリ番号を符号化する現カテゴリ符号化ステップと，現フレームの画像情報を参照画像メモリに蓄積する画像蓄積ステップと，を有し，前記カテゴリ毎に，カテゴリに所属するフレームを指定する第２のフレーム番号が割り当てられ，前記参照画像指定情報が，前記予測画像作成ステップで選択した画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリの第２のフレーム番号とから構成されることを特徴とする。

本発明の第３の側面は，複数のフレームで構成される画像情報を復号する画像復号方法であって，現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，前記復号したカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号ステップと，前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成ステップと，現フレームの復号画像と予測画像との差分を復号する差分復号ステップと，前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成ステップと，前記作成した現フレームの復号画像情報を，前記復号したカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積ステップと，を有し，前記参照画像指定情報復号ステップは，前記参照画像メモリに蓄積された複数の画像情報のうち，前記現フレームのカテゴリ番号以下の各カテゴリに属するフレームの画像情報に対してのみ，第１のフレーム番号を設定するフレーム番号設定ステップと，参照画像指定情報を復号して，前記予測画像作成ステップで選択する画像情報を指定する前記第１のフレーム番号を得るフレーム番号復号ステップとを有することを特徴とする。

本発明の第４の側面は，複数のフレームで構成される画像情報を復号する画像復号方法であって，現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，前記復号したカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号ステップと，前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成ステップと，現フレームの復号画像と予測画像との差分を復号する差分復号ステップと，前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成ステップと，前記作成した現フレームの復号画像情報を，前記復号したカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積ステップと，を有し，前記参照画像指定情報は，前記予測画像作成ステップにより前記参照画像メモリから読み込む参照画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリに所属するフレームを指定する第２のフレーム番号とから構成されることを特徴とする。

本発明の第１の側面による画像符号化方法あるいは本発明の第３の側面による画像復号方法によれば，参照画像メモリを複数のカテゴリに分類しておき，カテゴリ毎に参照画像を管理することができる。これにより，カテゴリ毎に復号するかどうかを決定して，復号しないカテゴリがある場合には，その他のカテゴリに含まれる参照画像から予測画像を作成することができる。参照画像指定情報はカテゴリ毎に別々に設定しているため，カテゴリを復号する場合としない場合とで参照画像指定情報により同一の画像が指定され，正しい復号画像を得ることができる。また，カテゴリ毎に参照画像数を多くすることができ符号化効率を向上することができる。

カテゴリは，例えば図１で示したレイヤに設定することができる。第１カテゴリ（第１レイヤ）の画像は第１カテゴリ（第１レイヤ）の画像のみ参照し，第２カテゴリ（第２レイヤ）の画像は第１カテゴリ（第１レイヤ）と第２カテゴリ（第２レイヤ）の画像を参照し，第３カテゴリ（第３レイヤ）の画像は第１カテゴリ（第１レイヤ）と第２カテゴリ（第２レイヤ）と第３カテゴリ（第３レイヤ）の画像を参照する。このとき，カテゴリ毎に複数フレーム分の参照画像を蓄積できる参照画像メモリを備えれば，各カテゴリの符号化効率を向上することができる。

参照画像指定情報としては，例えば，
（方法１）参照画像とするカテゴリに含まれるフレームに対して，符号化または復号順序が現フレームに近いフレームから通し番号を付けたもの，
（方法２）参照画像とするカテゴリに含まれるフレームに対して，入力または出力順序が現フレームに近いフレームから通し番号を付けたもの，
等が挙げられる。

これらに限らず，符号化側と復号側が一意に参照画像を指定することができ，参照画像としないカテゴリのフレームを復号しない場合に，参照する画像が一致するような指定方法であればよい。

図１（Ｃ）における符号化順序のフレームの構成について，方法１で指定する場合の参照画像指定情報の例を図２に，方法２で指定する場合の参照画像指定情報の例を図３に示す。ただし，図３で現フレームに対する入力または出力順序の差分が同じ場合には，より最近に符号化したフレームに小さい番号を付与した。また，参照画像指定情報としては，例えば，０，１，２，…という通し番号であるものとする。

図２においては，例えば，現フレームが第２フレームの場合，参照画像指定情報をつける順序は，第３フレーム，第５フレーム，第１フレームの順であり，現フレームが第３フレームの場合，参照画像指定情報をつける順序は，第５フレーム，第１フレームの順である。

図３においては，例えば，現フレームが第２フレームの場合，参照画像指定情報をつける順序は，第３フレーム，第１フレーム，第５フレームの順であり，現フレームが第３フレームの場合，参照画像指定情報をつける順序は，第５フレーム，第１フレームの順である。

また，本発明は可逆符号化と不可逆符号化のいずれに用いてもよい。画像符号化装置の参照画像メモリには，可逆符号化の場合には原画像と復号画像のいずれを蓄積してもよい。不可逆符号化の場合には復号画像を蓄積する。

本発明の第２の側面による画像符号化方法あるいは本発明の第４の側面による画像復号方法によれば，参照画像指定情報について，上記に挙げた例（方法１と方法２）の他に，
（方法３）カテゴリ番号とカテゴリ内で設定するカテゴリ内のフレーム番号
で構成することができる。

ここでカテゴリ番号は，第１カテゴリから順につけた絶対番号でもよいし，現フレームのカテゴリ番号からの差分でもよい。フレーム番号は，同じカテゴリの第１フレームから順につけた絶対番号でもよいし，現フレームからの差分でもよい。

方法３によれば，カテゴリ毎に個別のフレーム番号を割り当てるため，フレーム番号の管理が簡易であり，また，伝送エラーにより特定カテゴリのフレームが復号できない場合における，参照画像の不一致を軽減することができる。

例えば，図１（Ｃ）において，第２フレーム（第３カテゴリ内の１番目のフレーム）が伝送エラーで復号できない場合には，第２フレームの復号画像を得られず，第２フレームを参照するフレームにはエラーが伝播する。

カテゴリ内のフレーム番号を第１フレームからの絶対番号とする場合で，図１（Ｃ）に示す第３カテゴリ内の２番目のフレームが第３カテゴリ内の１番目のフレームを参照しない場合には，第３カテゴリ内の２番目のフレームから正しく復号できる。したがって，第３カテゴリ内の２番目のフレーム以後で第３カテゴリ内の１番目のフレーム以外を参照するのであれば，そのフレームは正しく復号できる。

また，カテゴリ内のフレーム番号を現フレームからの相対番号とする場合には，第２カテゴリのフレームは全てフレーム番号がずれてしまう。しかしながら第２フレーム以後のフレームで第２カテゴリのフレームを参照しないのであれば，他のカテゴリのフレームは正しく復号することができる。

また、現カテゴリ番号以下に属するフレームに暫定フレーム番号を割り当てることにより，予測画像ステップで選択可能なフレームのみに，固有の番号を割り当てることが出来る。また予測画像ステップで選択不可能なフレームについては番号を割り当てない。従って，画像復号側にて現フレームよりカテゴリ番号の大きいフレームを復号しない場合においても，正しく参照画像を指定することができるため，正しい復号画像を得ることが可能となる。

また、過去に符号化されたフレームの符号化順序を使うことにより，より最近に符号化したフレームほど，参照画像指定情報の符号量が少なくなるように暫定フレーム番号を設定することができる。これによって，参照画像指定情報の符号量を低減することが可能であり，符号化効率を向上することが出来る。

本発明の第５の側面による画像符号化方法あるいは本発明の第６の側面による画像復号方法によれば，参照画像と参照画像指定情報との対応付けをフレームまたはスライス単位に変更可能である。参照画像指定情報を符号量が削減されるように変更することにより，全体の符号化効率を向上することが出来る。

本発明の第７の側面による画像符号化方法あるいは本発明の第８の側面による画像復号方法によれば，ＭＣＴＦ符号化方式において，現フレームを符号化する際に，参照する画像情報の候補を増やすことが出来るため，符号化効率を向上することが出来る。

なお，本発明では各カテゴリの参照画像メモリを，物理的に異なるメモリで構成してもよいし，論理的に区別して構成してもよい。また，フレームや複数フレーム毎に，各カテゴリの参照画像メモリ量の割り当てを変更してもよい。

また，フレーム内画素数をカテゴリ毎に異なるように設定してもよい。例えば図１における第２レイヤや第３レイヤの画素数を第１レイヤの縦横半分，あるいは２倍にしてもよい。この場合には，予測画像作成部で予測画像を作成する際に，アフィン変換等による拡大・縮小や，高解像度変換が必要となる。

高解像度変換について，複数の画像から高い解像度の画像を得る手法が報告されており，これらの手法を利用すると好適である（例えば，非特許文献３または非特許文献４参照）。また，画素の階調（ビット数）をカテゴリ毎に異なるように設定してもよい。例えば図１における第１レイヤの階調を８ビットにし，第２レイヤや第３レイヤの階調を４ビットにしてもよい。この場合には，予測画像作成部で予測画像を作成する際に階調の増加や減少が必要となる。

本発明は，複数のフレームで構成される画像を対象にしている。複数のフレームは，例えば，動画像を構成してもよいし，視点を変えて撮影して得られる多視点画像を構成してもよい。

本発明によれば，複数フレームの画像を符号化または復号する時に，参照画像メモリを複数のカテゴリに分類しておき，カテゴリ毎に参照画像を管理することにより，カテゴリを復号する場合としない場合とで同一の参照画像が指定され，正しい復号画像を得ることができる。また，カテゴリ毎に参照画像数を多くすることができ符号化効率を向上することができる。

図１は，レイヤ構成の予測関係の例を示す図である。 図２は，参照画像指定情報の例を示す図である。 図３は，参照画像指定情報の例を示す図である。 図４は，画像符号化装置の第１の構成例を示す図である。 図５は，画像符号化処理フローの一例を示す図である。 図６は，画像復号装置の第１の構成例を示す図である。 図７は，画像復号処理フローの一例を示す図である。 図８は，画像符号化装置の第２の構成例を示す図である。 図９は，画像復号装置の第２の構成例を示す図である。 図１０は，従来技術との比較による本発明の効果を説明する図である。 図１１は，レイヤ構成の予測関係の例を示す図である。 図１２は，画像符号化装置の第３の構成例を示す図である。 図１３は，画像復号装置の第３の構成例を示す図である。 図１４は，ＭＣＴＦ画像符号化の例を示す図である。 図１５は，ＭＣＴＦ画像復号の例を示す図である。 図１６は，動画像の予測関係の例を示す図である。 図１７は，動画像の予測関係の例を示す図である。 図１８は，ＭＣＴＦ符号化における時間方向のフィルタの例を示す図である。 図１９は，Ｈａａｒ基底でのＬｉｆｔｉｎｇ Ｓｃｈｅｍｅの例を示す図である。 図２０は，参照画像指定情報符号化部の一構成例を示す図である。 図２１は，暫定フレーム番号設定部の一構成例を示す図である。 図２２は，暫定フレーム番号設定部の他の構成例を示す図である。 図２３は，暫定フレーム番号決定部の一構成例を示す図である。 図２４は，参照画像指定情報復号部の一構成例を示す図である。

図面を用いて本発明の実施の形態を説明する。本実施の形態においては，画像を３つのカテゴリに分類して，画像を不可逆符号化するものとする。第１カテゴリの入力画像は，第１カテゴリの復号画像を参照画像の候補とし，第２カテゴリの入力画像は，第１カテゴリと第２カテゴリの復号画像を参照画像の候補とし，第３カテゴリの入力画像は，第１カテゴリと第２カテゴリと第３カテゴリの復号画像を参照画像の候補とする。

本発明の実施の形態として，図１に示す画像を符号化する場合の例を示す。また，１フレームを縦横１６画素マクロブロックに分割し，マクロブロック毎に差分符号化データの符号量が最小となるように参照画像を選択して符号化する例を示す。

図４は，本発明の実施の形態に係る画像符号化装置の構成を示す図である。画像符号化装置１は，画像情報を取り込む画像入力部１０１と，入力画像を３つのカテゴリに分類する画像分類部１０２と，予測画像を作成する予測画像作成部１０３と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０５と，現フレームのカテゴリ番号を符号化する現カテゴリ符号化部１０６と，復号画像を蓄積する参照画像メモリ１０７と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１０８と，差分符号化部１０４で作成された差分符号化データの符号量を計測する符号量計測部１０９と，予測画像作成部１０３で使用する参照画像の切り替えを制御する参照画像切替部１１０と，参照画像切替部１１０の制御によって参照画像を切り替えるスイッチ部１１１と，差分符号化データの出力と符号量の計測とを切り替えるスイッチ部１１２とを備える。

参照画像指定情報符号化部１０５では，例えば図２に示される，前述した方法１に従って付けられた参照画像指定情報を符号化するものとする。

参照画像メモリ１０７には，７フレーム分の画像を蓄積できるメモリが備えてあり，第１カテゴリには２フレーム分のメモリ（Ｃ１），第２カテゴリには２フレーム分のメモリ（Ｃ２），第３カテゴリには３フレーム分のメモリ（Ｃ３）が割り当てられているものとする。

各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。画像入力部１０１は，入力画像を図１（Ｃ）の各フレーム内に記載された数字で示される順序で取り込み，入力画像をマクロブロックに分割するものとする。

画像分類部１０２は，各フレームを図１に示したカテゴリ（第１レイヤ，第２レイヤ，第３レイヤ）に分類するものとする。現カテゴリ符号化部１０６は，現フレームのカテゴリ番号を固定長符号化するものとする。予測画像作成部１０３では，入力画像と参照画像との間で動き探索を行い，最も差分が小さい位置の画像を予測画像とするものとする。

動きベクトル情報は，差分符号化部１０４が差分符号化データの一部として符号化するものとする。また，第１フレームは既に符号化されており，参照画像メモリ１０７に復号画像が蓄積されているものとする。

このような前提で入力画像を次のように符号化する。まず画像入力部１０１は，図１（Ｃ）における第５フレームを取り込み，マクロブロックに分割する。画像分類部１０２は，入力画像を第１カテゴリに分類する。現カテゴリ符号化部１０６は，第１カテゴリであることを符号化する。

参照画像切替部１１０は，参照画像を第１カテゴリの第１フレームに設定する。予測画像作成部１０３は，参照画像から予測画像を作成する。差分符号化部１０４は，マクロブロック毎に差分符号化データを作成する。このフレームでは参照画像の候補が１フレームであるので，符号量計測部１０９は符号量を計測せずに，スイッチ部１１２から差分符号化データを出力する。また，復号部１０８は，差分符号化データを復号する。

参照画像指定情報符号化部１０５は，参照画像指定情報を符号化する。全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第１カテゴリ用のメモリ（Ｃ１）に蓄積する。第５フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が蓄積されている。

次に画像入力部１０１は，図１（Ｃ）における第３フレームを取り込み，マクロブロックに分割する。画像分類部１０２は，入力画像を第２カテゴリに分類する。現カテゴリ符号化部１０６は，第２カテゴリであることを符号化する。

続いてマクロブロック毎に，次のように符号化する。まず参照画像切替部１１０は，参照画像を第１カテゴリの第１フレームに設定する。予測画像作成部１０３は，参照画像から予測画像を作成する。差分符号化部１０４は，差分符号化データを作成する。符号量計測部１０９は，差分符号化データの符号量を計測する。

次に参照画像切替部１１０は，参照画像を第１カテゴリの第２フレームに設定する。差分符号化部１０４は，差分符号化データを作成する。符号量計測部１０９は，差分符号化データの符号量を計測する。

そして参照画像切替部１１０は，符号量計測部１０９で得られた符号量のうち最も値の小さい場合のフレームを参照画像に設定する。予測画像作成部１０３は，参照画像から予測画像を作成する。差分符号化データは，差分符号化データを作成して出力する。復号部１０８は，差分符号化データを復号する。参照画像指定情報符号化部１０５は，参照画像指定情報を符号化する。

このような処理を全てのマクロブロックに対して実行する。全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第２カテゴリ用のメモリ（Ｃ２）に蓄積する。第３フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が蓄積されている。

次に画像入力部１０１は，図１（Ｃ）における第２フレームを取り込み，マクロブロックに分割する。画像分類部１０２は，入力画像を第３カテゴリに分類する。現カテゴリ符号化部１０６は，第３カテゴリであることを符号化する。

続いてマクロブロック毎に，次のように符号化する。まず参照画像切替部１１０は，参照画像を第１カテゴリの第１フレームに設定する。予測画像作成部１０３は，参照画像から予測画像を作成する。差分符号化部１０４は，差分符号化データを作成する。符号量計測部１０９は，差分符号化データの符号量を計測する。

このような処理を全ての参照画像の候補に対して実行する。参照画像の候補は，参照画像メモリ１０７の第１カテゴリ用のメモリ（Ｃ１）または第２カテゴリ用のメモリ（Ｃ２）に蓄積された画像（第１フレーム，第５フレーム，第３フレーム）である。

そして参照画像切替部１１０は，符号量計測部１０９で得られた符号量のうち最も値の小さい場合のフレームを参照画像に設定する。予測画像作成部１０３は，参照画像から予測画像を作成する。差分符号化部１０４は，差分符号化データを作成して出力する。復号部１０８は，差分符号化データを復号する。参照画像指定情報符号化部１０５は，参照画像指定情報を符号化する。

このような処理を全てのマクロブロックに対して実行する。全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第３カテゴリ用のメモリ（Ｃ３）に蓄積する。第２フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームの復号画像が蓄積されている。

次に第４フレームについて第２フレームと同様にして，第３カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。

参照画像の候補は，参照画像メモリ１０７の第１カテゴリまたは第２カテゴリまたは第３カテゴリ用のメモリ（Ｃ１またはＣ２またはＣ３）に蓄積された画像（第１フレーム，第５フレーム，第３フレーム，第２フレーム）である。

全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第３カテゴリ用のメモリ（Ｃ３）に蓄積する。第４フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームの復号画像が蓄積されている。

次に第９フレームについて第５フレームと同様にして，第１カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。参照画像の候補は，参照画像メモリ１０７の第１カテゴリ用のメモリに蓄積された画像（第１フレーム，第５フレーム）である。

全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第１カテゴリ用のメモリ（Ｃ１）に蓄積する。この時，第１カテゴリ用のメモリ（Ｃ１）は，２フレーム分しか蓄積できないため，最も過去に蓄積した第１フレームの画像を廃棄してから，第９フレームの復号画像を蓄積する。

第９フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームの復号画像が蓄積されている。

次に第７フレームについて第３フレームと同様にして，第２カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。参照画像の候補は，参照画像メモリ１０７の第１カテゴリまたは第２カテゴリ用のメモリ（Ｃ１またはＣ２）に蓄積された画像（第５フレーム，第９フレーム，第３フレーム）である。

全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第２カテゴリ用のメモリ（Ｃ２）に蓄積する。第７フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームと第７フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームの復号画像が蓄積されている。

次に第６フレームについて第２フレームと同様にして，第３カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。

参照画像の候補は，参照画像メモリ１０７の第１カテゴリまたは第２カテゴリ用のメモリ（Ｃ１またはＣ２）または第３カテゴリ用のメモリ（Ｃ３）に蓄積された画像（第５フレーム，第９フレーム，第３フレーム，第７フレーム，第２フレーム，第４フレーム）である。

全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第３カテゴリ用のメモリ（Ｃ３）に蓄積する。第６フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームと第７フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームと第６フレームの復号画像が蓄積されている。

次に第８フレームについて第２フレームと同様にして，第３カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。

参照画像の候補は，参照画像メモリ１０７の第１カテゴリまたは第２カテゴリまたは第３カテゴリ用のメモリ（Ｃ１またはＣ２またはＣ３）に蓄積された画像（第５フレーム，第９フレーム，第３フレーム，第７フレーム，第２フレーム，第４フレーム，第６フレーム）である。

全てのマクロブロックを符号化した後で復号画像を参照画像メモリ１０７の第３カテゴリ用のメモリ（Ｃ３）に蓄積する。この時，第３カテゴリ用のメモリ（Ｃ３）は３フレーム分しか蓄積できないため，最も過去に蓄積した第２フレームの画像を廃棄してから，第８フレームの復号画像を蓄積する。

第８フレームを符号化後の参照画像メモリ１０７には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームと第７フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第４フレームと第６フレームと第８フレームの復号画像が蓄積されている。以上により第１フレームから第９フレームまでの符号化を行う。

図５は，本発明の実施の形態における画像符号化処理フローの一例を示す図である。まず，画像情報（フレーム）を入力し，マクロブロックに分割する（ステップＳ１）。分割されたマクロブロックには，例えばブロック番号ｋ（ｋ＝１，２，３…）が付けられているものとする。

次に，入力画像をカテゴリに分類する（ステップＳ２）。現フレームのカテゴリ番号を符号化する（ステップＳ３）。最初のマクロブロック（ブロック番号ｋ＝１）を取り出し（ステップＳ４），現フレームについての参照画像候補を選択し（ステップＳ５），選択された参照画像候補から予測画像を作成する（ステップＳ６）。

現フレームの画像情報と選択された参照画像候補から作成された予測画像との差分を符号化する（ステップＳ７）。そして，差分符号化データの符号量を計測する（ステップＳ８）。

選択されていない参照画像候補があるかを判断し（ステップＳ９），選択されていない参照画像候補があればステップＳ５に戻り，選択されていない参照画像候補がなければ差分符号化データの符号量が最も小さい参照画像候補を現フレームについての参照画像に設定する（ステップＳ１０）。

設定された参照画像から予測画像を作成し（ステップＳ１１），現フレームの画像情報と設定された参照画像から作成された予測画像との差分を符号化し，差分符号化データを出力する（ステップＳ１２）。差分符号化データを復号し記憶しておく（ステップＳ１３）。また，参照画像指定情報を符号化する（ステップＳ１４）。

次に，ブロック番号ｋをインクリメントして（ステップＳ１５），全てのマクロブロックについて差分符号化データを作成したか（ｋ＞ｋＭＡＸか）を判断する（ステップＳ１６）。差分符号化データが作成されていないマクロブロックがある場合には，ステップＳ５に戻る。全てのマクロブロックについて差分符号化データが作成された場合には，復号画像を参照画像メモリ１０７に蓄積して（ステップＳ１７），処理を終了する。

図６は，本発明の実施の形態に係る画像復号装置の構成を示す図である。画像復号装置２は，差分符号化データを復号する差分復号部２０１と，予測画像を作成する予測画像作成部２０２と，参照画像指定情報を復号する参照画像指定情報復号部２０３と，現フレームのカテゴリ番号を復号する現カテゴリ復号部２０４と，参照画像を蓄積する参照画像メモリ２０５と，差分画像と予測画像から復号画像を作成する復号画像作成部２０６と，復号画像を参照画像メモリ２０５に蓄積する復号画像蓄積部２０７と，予測画像作成部２０２で使用する参照画像の切り替えを制御する参照画像切替部２０８と，参照画像切替部２０８の制御によって参照画像を切り替えるスイッチ部２０９とを備える。

参照画像指定情報復号部２０３では，例えば図２に示すように，方法１に従って参照画像指定情報を復号するものとする。参照画像メモリ２０５には，７フレーム分の画像を蓄積できるメモリが備えてあり，第１カテゴリには，２フレーム分のメモリ（Ｃ１），第２カテゴリには，２フレーム分のメモリ（Ｃ２），第３カテゴリには，３フレーム分のメモリ（Ｃ３）が割り当てられているものとする。

各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。現カテゴリ復号部２０４は，現フレームのカテゴリ番号を固定長復号するものとする。また，第１フレームは，既に復号されており，参照画像メモリ２０５に復号画像が蓄積されているものとする。

以下に，前記画像符号化装置１で符号化された符号化データの復号処理を具体的に説明する。図１（Ｃ）の第５フレームについて，現カテゴリ復号部２０４は，現フレームのカテゴリ番号を復号する。続いてマクロブロック毎に，次のようにして復号画像を作成する。

差分復号部２０１は，差分符号化データを復号して差分画像を作成する。また，動きベクトル情報も復号する。参照画像指定情報復号部２０３は，参照画像指定情報を復号する。参照画像切替部２０８は，参照画像を参照画像指定情報で指定される画像に設定する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリ用のメモリ（Ｃ１）に蓄積された画像（第１フレーム）である。予測画像作成部２０２は，参照画像から動きベクトルに対応した予測画像を作成する。復号画像作成部２０６は，差分画像と予測画像から復号画像を作成する。

このような処理を全てのマクロブロックに対して実行する。全てのマクロブロックを復号した後で，復号画像蓄積部２０７は，復号画像を，参照画像メモリ２０５における指定されたカテゴリ番号用のメモリに蓄積し，出力する。第５フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が蓄積されている。

第３フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリ用のメモリ（Ｃ１）に蓄積された画像（第１フレーム，第５フレーム）である。

第３フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が蓄積されている。

第２フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリ用のメモリ（Ｃ１）または第２カテゴリ用のメモリ（Ｃ２）に蓄積された画像（第１フレーム，第５フレーム，第３フレーム）である。

第２フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームの復号画像が蓄積されている。

第４フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリまたは第２カテゴリまたは第３カテゴリ用のメモリ（Ｃ１または，Ｃ２または，Ｃ３）に蓄積された画像（第１フレーム，第５フレーム，第３フレーム，第２フレーム）である。

第４フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームの復号画像が蓄積されている。

第９フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリ用のメモリ（Ｃ１）に蓄積された画像（第１フレーム，第５フレーム）である。この時，第１カテゴリ用のメモリ（Ｃ１）は２フレーム分しか蓄積できないため，最も過去に蓄積した第１フレームの画像を廃棄してから，第９フレームの復号画像を蓄積する。

第９フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームの復号画像が蓄積されている。

第７フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリまたは第２カテゴリ用のメモリ（Ｃ１またはＣ２）に蓄積された画像（第５フレーム，第９フレーム，第３フレーム）である。

第７フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームと第７フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームの復号画像が蓄積されている。

第６フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５中の第１カテゴリまたは第２カテゴリまたは第３カテゴリ用のメモリ（Ｃ１またはＣ２またはＣ３）に蓄積された画像（第５フレーム，第９フレーム，第３フレーム，第７フレーム，第２フレーム，第４フレーム）である。

第６フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームと第７フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第２フレームと第４フレームと第６フレームの復号画像が蓄積されている。

第８フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリまたは第２カテゴリまたは第３カテゴリ用のメモリ（Ｃ１またはＣ２またはＣ３）に蓄積された画像（第５フレーム，第９フレーム，第３フレーム，第７フレーム，第２フレーム，第４フレーム，第６フレーム）である。

この時，第３カテゴリ用のメモリ（Ｃ３）は３フレーム分しか蓄積できないため，最も過去に蓄積した第２フレームの画像を廃棄してから，第８フレームの復号画像を蓄積する。第８フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームと第７フレームの復号画像が，第３カテゴリ用のメモリ（Ｃ３）に第４フレームと第６フレームと第８フレームの復号画像が蓄積されている。以上により第１フレームから第９フレームまでの復号を行う。

図７は，本発明の実施の形態における画像復号処理フローの一例を示す図である。第１フレームは既に復号されており，参照画像メモリ２０５に復号画像が蓄積されている後の処理の流れについて説明する。まず，現フレームのカテゴリ番号を復号する（ステップＳ２１）。ブロック番号ｋ＝１とする（ステップＳ２２）。

差分符号化データを復号して差分画像を作成し，また，動きベクトル情報を復号する（ステップＳ２３）。参照画像指定情報を復号し（ステップＳ２４），参照画像を参照画像指定情報で指定される画像に設定する（ステップＳ２５）。参照画像から動きベクトルに対応した予測画像を作成する（ステップＳ２６）。

次に，差分画像と予測画像とから復号画像を作成し（ステップＳ２７），ブロック番号ｋをインクリメントし（ステップＳ２８），全てのマクロブロックについて復号画像を作成したか（ｋ＞ｋＭＡＸか）を判断する（ステップＳ２９）。

復号画像を作成していないマクロブロックがある場合には，ステップＳ２３に戻り，全てのマクロブロックについて復号画像を作成した場合には，復号画像をカテゴリ番号で指定された参照画像メモリに蓄積し（ステップＳ３０），復号画像を出力して（ステップＳ３１），処理を終了する。

次に，本発明の実施の形態において，時間解像度を変更して復号する場合の例について説明する。第１フレームは既に復号されており，参照画像メモリ２０５に復号画像が蓄積されているものとする。この例では，符号化データ中から第１カテゴリ（図１（Ｃ）の第５フレームと第９フレーム）と第２カテゴリ（図１（Ｃ）の第３フレームと第７フレーム）の画像のみ復号するものとする。

第５フレームについて，上記の例と同様にして符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリ用のメモリ（Ｃ１）に蓄積された画像（第１フレーム）である。第５フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が蓄積されている。

第３フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリ用のメモリ（Ｃ１）に蓄積された画像（第１フレーム，第５フレーム）である。第３フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第１フレームと第５フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ１）に第３フレームの復号画像が蓄積されている。

第９フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，第１カテゴリ用のメモリ（Ｃ１）に蓄積された画像（第１フレーム，第５フレーム）である。この時，第１カテゴリ用のメモリ（Ｃ１）は２フレーム分しか蓄積できないため，最も過去に蓄積した第１フレームの画像を廃棄してから，第９フレームの復号画像を蓄積する。第９フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームの復号画像が蓄積されている。

第７フレームについて，第５フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ２０５に蓄積し出力する。参照画像の候補は，参照画像メモリ２０５の第１カテゴリまたは第２カテゴリ用のメモリ（Ｃ１またはＣ２）に蓄積された画像（第５フレーム，第９フレーム，第３フレーム）である。

第７フレームを復号後の参照画像メモリ２０５には，第１カテゴリ用のメモリ（Ｃ１）に第５フレームと第９フレームの復号画像が，第２カテゴリ用のメモリ（Ｃ２）に第３フレームと第７フレームの復号画像が蓄積されている。

以上により第３カテゴリの画像を復号しなくとも，第１カテゴリと第２カテゴリの画像を正しく復号することができる。同様に，第１カテゴリの画像のみを復号することも可能である。

本実施例での参照画像指定情報符号化部は方法１に従って参照画像指定情報を符号化し、参照画像指定情報復号部は方法１に従って参照画像指定情報を復号したが、参照画像指定情報を暫定フレーム番号から決定して符号化しても良い。この方法を用いる場合の、画像符号化装置の参照画像指定情報符号化部１０５の構成を図２０に示す。

参照画像指定情報符号化部１０５は、暫定フレーム番号設定部１０５１と暫定フレーム番号符号株１０５２とで構成される。ここで、暫定フレーム番号設定部１０５１は、参照画像メモリ１０７に蓄積された複数の画像情報のうち、現フレームのカテゴリ以下に属するフレームの画像情報に対して、暫定フレーム番号を設定する。暫定フレーム番号符号化部１０５２は、予測画像作成部１０３で選択したフレームを指定する暫定フレーム番号を、参照画像指定情報として符号化する。

暫定フレーム番号設定部１０５１で暫定フレーム番号を設定する方法としては、実施例に記載の方法１や方法２または方法３を用いても良い。または各フレームの符号化順序を利用する方法として次の例が挙げられる。暫定フレーム番号設定部１０５１を図２１に示すように、符号化順序記録部１０５１１と暫定フレーム番号決定部１０５１２で構成する。符号化順序記録部１０５１１は過去に符号化されたフレームの符号化順序をカテゴリ毎の符号化順序番号として記録する。暫定フレーム番号決定部１０５１２は過去に符号化したフレームの符号化順序番号と現フレームのカテゴリ番号から、過去に符号化されたフレームの暫定フレーム番号を決定する。

あるいは、暫定フレーム番号設定部１０５１を図２２に示す構成とすることも可能である。この場合暫定フレーム番号設定部１０５１は、符号化順序記録部１０５１１と、カテゴリ番号記録部１０５１３と暫定フレーム番号決定部１０５１２で構成される。ここでの符号化順序記録部１０５１１は過去に符号化されたフレームの符号化順序を符号化順序番号として記録し、カテゴリ番号記録部１０５１３は過去に符号化されたフレームのカテゴリ番号を記録する。すなわち符号化順序記録部１０５１１はカテゴリ毎の符号化順序を記憶するのではなく、カテゴリに関係なく各フレームの符号化順序を記録する。そして、暫定フレーム番号決定部１０５１２は過去に符号化したフレームの符号化順序番号とカテゴリ番号と現フレームのカテゴリ番号から、過去に符号化されたフレームの暫定フレーム番号を決定する。

ここで、暫定フレーム番号決定部１０５１２は、次のようにして符号化順序から暫定フレーム番号を決定しても良い。図２３に示すように暫定フレーム番号決定部１０５１２を差分フレーム番号割り当て部１０５１２１と暫定フレーム番号算出部１０５１２２で構成する。差分フレーム番号割り当て部１０５１２１は、予め設定した規則に従って符号化順序番号から差分フレーム番号を割り当てる。そして暫定フレーム番号算出部１０５１２２は、差分フレーム番号と現フレームのカテゴリ番号の組み合わせから暫定フレーム番号を算出する。この時、差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して、暫定フレーム番号を割り当てる表を予め備えておき、差分フレーム番号と現フレームのカテゴリ番号から表を参照して暫定フレーム番号を求めても良い。あるいは、差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して、暫定フレーム番号を算出する計算式を予め設定しておき、差分フレーム番号と現フレームのカテゴリ番号から計算により暫定フレーム番号を算出しても良い。

また、これらの場合、参照画像指定情報復号部２０３は図２４に示すように、暫定フレーム番号設定部２０３１と暫定フレーム番号復号部２０３２から構成することが可能である。ここで、暫定フレーム番号設定部２０３１は、参照画像メモリ２０５に蓄積された複数の画像情報のうち、現フレームのカテゴリ以下に属するフレームの画像情報に対して、暫定フレーム番号を設定する。暫定フレーム番号復号部２０３２は、予測画像作成部２０２で選択したフレームを指定する暫定フレーム番号を、参照画像指定情報として復号する。

本実施例では参照画像指定情報符号化部１０５で方法１に従って参照画像指定情報を符号化し，参照画像指定情報復号部２０３で方法１に従って参照画像指定情報を復号した。すなわち，参照画像指定情報符号化部または参照画像指定情報復号部では，予め設定した，各カテゴリに対応した参照画像指定情報の対応関係を使って参照画像指定情報を符号化または復号した。次に，この対応関係をフレームまたはスライス毎に変更する構成を示す。

この場合の画像符号化装置３の構成を図８に，画像復号装置４の構成を図９に示す。それぞれ，参照カテゴリ設定部３１１，４０３と参照画像指定情報設定部３１２，４１０を追加した構成になっている。画像符号化装置３では，参照画像指定情報符号化部３０８は，参照画像切替部３０７で設定される参照画像に対して，参照画像指定情報設定部３１２で設定される対応関係を元に，参照画像指定情報を符号化する。また画像復号装置４では，参照画像指定情報復号部４０４は参照画像指定情報を復号し，参照画像切替部４０３が，参照画像指定情報設定部４１０で設定される対応関係を元に参照画像を切り替える。

画像符号化装置３と画像復号装置４における参照カテゴリ設定部３１１，４０３は，フレーム毎に現フレームのカテゴリ番号から，参照可能なカテゴリ番号を設定する。本実施例では現フレームが第１カテゴリであれば，参照可能なカテゴリとして第１を設定し，現フレームが第２カテゴリであれば，参照可能なカテゴリとして第１と第２を設定し，現フレームが第３カテゴリであれば，参照可能なカテゴリとして第１と第２と第３を設定する。

なお，本実施例に示す設定ではなく，例えば，第１カテゴリ以外については，現フレームの属するカテゴリを参照可能なカテゴリに含まないようにしても良い。

画像符号化装置３における参照画像指定情報設定部３１２は，フレーム毎に対応付けについて方法１または方法２のいずれかを選択する。この時，いずれの方法を用いたのかを指定する情報を符号化する。画像復号装置４における参照画像指定情報設定部４１０は，フレーム毎に対応付けについて方法１または方法２のいずれを選択したのかを示す情報を復号して，どちらかを選択する。

この対応付けを設定するのはフレーム毎ではなく，スライス毎に実行しても良い。また，方法１または方法２に限らず，選択可能な方法を予め複数設定しておき，それらのいずれかを選択するようにしても良い。更に，選択可能な方法を予め設定するのではなく，対応関係そのものを符号化しても良い。対応関係を符号化する場合には，各カテゴリに属するフレームに対する参照画像指定情報の対応関係を示す情報を符号化する。この時フレームを指定する情報としてフレーム番号を固有に割り当てておき，それを利用しても良い。例えば，第１カテゴリに属するフレーム番号１とフレーム番号５の画像情報が参照画像メモリに蓄積されている場合には，フレーム番号５に対して参照画像指定情報１を，フレーム番号１に対して参照画像指定情報２を対応付けても良い。

本発明の効果を確認するために，従来方法と本発明の方法による画像符号化／復号の実験を行った。本発明を用いた方法では，上記の実施の形態で説明したように３レイヤで構成される参照画像メモリを備え，参照画像メモリを第１レイヤは２フレーム分，第２レイヤは２フレーム分，第３レイヤは３フレーム分の画像メモリで構成した。この本発明による方法を用いた画像符号化／復号方法を，以後，ＬａｙｅｒＭｕｌという。

従来方法として，レイヤ毎に参照画像メモリを管理せずに，一定間隔ごとに参照画像メモリに蓄積した画像を，１フレーム分だけ残して他を廃棄する方法を用いた。この従来方法を，以後，ＬａｙｅｒＯｆｆという。

例えば，方法ＬａｙｅｒＯｆｆでは，図１においてフレーム番号（５）のフレームはフレーム番号（１）の画像を参照し，フレーム番号（３）のフレームはフレーム番号（１）とフレーム番号（５）の画像を参照し，フレーム番号（２）のフレームはフレーム番号（１）とフレーム番号（５）とフレーム番号（３）の画像を参照し，フレーム番号（４）はフレーム番号（１）とフレーム番号（５）とフレーム番号（３）とフレーム番号（２）の画像を参照する。

このようにしてフレーム番号（２）のフレームからフレーム番号（５）のフレームまでを符号化した後，参照画像メモリに蓄積されているフレーム番号（２）からフレーム番号（４）までの画像を廃棄してフレーム番号（５）の画像のみ蓄積しておく。

続いて，フレーム番号（９）のフレームはフレーム番号（５）の画像を参照し，フレーム番号（７）のフレームはフレーム番号（５）とフレーム番号（９）の画像を参照し，フレーム番号（６）のフレームはフレーム番号（５）とフレーム番号（９）とフレーム番号（７）の画像を参照し，フレーム番号（８）のフレームはフレーム番号（５）とフレーム番号（９）とフレーム番号（７）とフレーム番号（６）の画像を参照する。

このようにしてフレーム番号（６）のフレームからフレーム番号（９）のフレームまでを符号化した後，参照画像メモリに蓄積されているフレーム番号（６）のフレームからフレーム番号（８）のフレームまでの画像を廃棄してフレーム番号（９）の画像のみ蓄積しておく。

以上のように４フレーム毎に参照画像メモリの画像を，１フレーム分残してその他を廃棄する。残したフレームを指定する参照画像指定情報を１にリセットする。この方法によっても，全レイヤを復号する方法の他に，第１レイヤのみ復号する，または第１レイヤと第２レイヤのみ復号することが可能である。

方法ＬａｙｅｒＭｕｌと方法Ｌａｙｅｒｏｆｆを用いて，画像サイズが横３５２縦２８８画素で１７フレームで構成される画像Ａを３レイヤに分類して符号化した場合の，フレームあたりの符号量（ビット数）を図１０に示す。予測画像の作成方法と予測残差の符号化にＨ．２６４映像符号化方式に採用されている方式を用いた。

量子化スケールは固定して実験を行っており，各フレームにおいて方法ＬａｙｅｒＭｕｌと方法ＬａｙｅｒＯｆｆとでほぼ同じ値である。このようにフレーム番号（６）までは両者はほぼ同じ符号量となるが，それ以後の奇数番目のフレームにおいて方法ＬａｙｅｒＭｕｌの方が方法ＬａｙｅｒＯｆｆよりも符号量が少ない。

これは，奇数番目のフレームは第１レイヤと第２レイヤに属しており，参照画像として利用できるフレーム数が方法ＬａｙｅｒＭｕｌの方が多いことに起因する。すなわち，本発明によれば，レイヤ毎に参照画像メモリを管理することにより，各レイヤの符号化効率を向上することが示される。

以上説明した本発明の実施の形態では，１フレームの参照画像から予測画像を作成したが，複数の参照画像から予測画像を作成してもよい。この場合には，画像符号化装置１では，参照画像切替部１１０が複数の参照画像を選択し，予測画像作成部１０３は，複数の参照画像から予測画像を作成する。また，参照画像指定情報符号化部１０５は，複数の参照画像指定情報を符号化する。

画像復号装置２では，参照画像切替部２０８が複数の参照画像を選択し，予測画像作成部２０２は，複数の参照画像から予測画像を作成する。また，参照画像指定情報復号部２０３は，複数の参照画像指定情報を復号する。

複数の参照画像から予測画像を作成するには，参照画像間で対応する画素位置の画像情報を平均してもよい。また，平均するときに重み付けを行ってもよい。重み付けは，例えば昔の画像ほど重み付けが小さくなるように，現フレームからの時間間隔から算出してもよい。または明示的に符号化してもよい。

また，本実施の形態として，各カテゴリに対する参照画像メモリの割り当てが固定の場合を説明したが，本発明は，参照メモリの割り当てが固定の場合に限るものではなく，途中のフレームでメモリの割り当てを変えてもよい。例えば第４フレームを符号化／復号した後に，第１カテゴリ用のメモリ（Ｃ１）を３フレーム分にし，第３カテゴリ用のメモリ（Ｃ３）を２フレーム分にしてもよい。カテゴリのメモリ量を多くすることにより，そのカテゴリの符号化効率を向上することができる。

また，本実施の形態として，フレームを周期的にカテゴリに割り当てる例を説明したが，本発明は，フレームを周期的にカテゴリに割り当てる場合に限るものではない。例えば図１１に示すように，第４フレームを符号化するまでは第３カテゴリまで設定しておき，それ以後のフレームを符号化する際に第２カテゴリまで符号化し，第３カテゴリは符号化しないようにしてもよい。この場合には，カテゴリへの参照画像メモリの割り当てを変更する方が好適である。

また，本実施の形態として，現フレームのカテゴリ番号をフレーム毎に符号化する例を説明したが，本発明は，現フレームのカテゴリ番号をフレーム毎に符号化する場合に限るものではなく，これを複数フレーム毎に符号化してもよい。例えば，符号化側では，符号化データを毎フレーム出力するのではなく，同じカテゴリに属するフレームの符号化データを蓄積しておき，ある程度のフレーム数を符号化した後で，カテゴリ毎に，カテゴリ番号を符号化し，その番号で指定されるカテゴリに属するフレームの符号化データをまとめて出力してもよい。この方法のほうが，カテゴリ毎に符号化データが纏められているため，復号側で特定のカテゴリの符号化データを復号する際に，符号化側で出力される符号化データから所望の符号化データを取り出しやすい。

このようにカテゴリ毎に別々の符号化データで構成されている場合には，復号側で所望のカテゴリの符号化データを取り出しやすいだけではなく，符号化側から復号側の間に中継装置がある場合に，中継装置で特定のカテゴリの符号化データを取り出すことも可能である。このようにすれば，複数フレームが動画像を構成する場合に，復号側で通常低いフレームレートで復号し出力しておき，必要な時間帯になったときに，復号側が中継装置に多くのカテゴリの符号化データを要求して受信することにより，復号側はその時間帯だけ高いフレームレートで復号して出力できる。

また，本実施の形態として，参照画像指定情報を上記方法１で符号化する例を説明したが，本発明は，参照画像指定情報を上記方法１で符号化する場合に限るものではなく，符号化側と復号側が一意に参照画像を指定することができ，参照画像としないカテゴリのフレームを復号しない場合に，参照する画像が一致するような指定方法であればよい。

次に，本発明の画像符号化装置と画像復号装置の別の実施例を示す。この場合の画像符号化装置５の構成を図１２に，画像復号装置６の構成を図１３に示す。

画像符号化装置５の参照画像指定情報設定部５１２では，フレームを指定する情報としてフレーム番号を固有に割り当てておき，これに対する参照画像指定情報を対応付けた対応関係を符号化する。対応付けは，参照画像の候補となるフレームについて，カテゴリ番号の小さい順に，またフレーム番号の小さい順に，参照画像を指定する番号を割り当てるものとする。画像復号装置６の参照画像指定情報設定部６１０では，この対応関係を復号する。画像符号化装置５における予測画像作成部５０５では現フレームをマクロブロックに分割してマクロブロック毎の動きベクトルを探索して，動きベクトル位置に対応する予測画像を作成する。ロスレス符号化部５１３は画像情報をロスレス符号化する。

ここで図１４に示す４フレームの入力画像を符号化する場合の処理を示す。参照画像メモリは第３カテゴリ用に１フレーム，第２カテゴリ用に２フレーム，第１カテゴリ用に４フレーム分のメモリがあるとする。そして入力される原画像は参照画像メモリ中の第１カテゴリ用のメモリに蓄積されているものとする。

まず第１カテゴリ用メモリにあるフレーム１とフレーム２の符号化を行う。現カテゴリ符号化部５０３はカテゴリ番号１を符号化する。参照画像指定情報設定部５１２は，現フレームをフレーム１とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。この時点では第１カテゴリのフレーム２のみ参照画像に設定される。予測画像作成部５０５はフレーム２から予測画像を作成する。差分符号化部５０４は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化する。復号部５１０は高域画像情報と予測画像情報から低域画像情報を作成して，低域画像情報を第２カテゴリ用参照画像メモリ５０６のフレーム１に蓄積する。参照画像指定情報符号化部５０８は参照画像指定情報を符号化する。

次に第１カテゴリ用メモリにあるフレーム３とフレーム４の符号化を行う。現カテゴリ符号化部５０３はカテゴリ番号１を符号化する。参照画像指定情報設定部５１２は，現フレームをフレーム３とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。この時点では第１カテゴリのフレーム１とフレーム２とフレーム４と第２カテゴリのフレーム１が参照画像に設定される。次にマクロブロック毎に，設定された参照画像から一つを選択して，次に示す処理を行う。予測画像作成部５０５は選択した参照画像から予測画像を作成し，差分符号化部５０４は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化し，符号量計測部５０９はこの時の符号量を計測する。

この処理を全ての参照画像について行い，符号量計測部５０９は符号量の少ない方を参照画像に選択するように，参照画像切替部５０７に指示する。参照画像切替部５０７は指示された参照画像を選択し，予測画像作成部５０５は予測画像を作成し，差分符号化部５０４は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化する。参照画像指定情報符号化部５０８は参照画像指定情報を符号化する。全てのマクロブロックについて上記処理を行った後で，復号部５１０は高域画像情報と予測画像情報から低域画像情報を作成して，低域画像情報を第２カテゴリ用参照画像メモリ５０６のフレーム２に蓄積する。ただし，選択された参照画像が第１カテゴリのフレーム４以外の場合には，そのマクロブロックの高域画像情報は使用しない。

次に第２カテゴリ用メモリにあるフレーム１とフレーム２の符号化を行う。現カテゴリ符号化部５０３はカテゴリ番号２を符号化する。参照画像指定情報設定部５１２は，現フレームをフレーム１とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。この時点では第２カテゴリのフレーム２が参照画像に設定される。

次にマクロブロック毎に，設定された参照画像から一つを選択して，次に示す処理を行う。予測画像作成部５０５は選択した参照画像から予測画像を作成し，差分符号化部５０４は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化し，符号量計測部５０９はこの時の符号量を計測する。

この処理を全ての参照画像について行い，符号量計測部５０９は符号量の少ない方を参照画像に選択するように，参照画像切替部５０７に指示する。参照画像切替部５０７は指示された参照画像を選択し，予測画像作成部５０５は予測画像を作成し，差分符号化部５０４は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化する。参照画像指定情報符号化部５０８は参照画像指定情報を符号化する。

全てのマクロブロックについて上記処理を行った後で，復号部５１０は高域画像情報と予測画像情報から低域画像情報を作成して，低域画像情報を第３カテゴリ用参照画像メモリ５０６のフレーム１に蓄積する。そして最後にロスレス符号化部５１３は，第３カテゴリ用参照画像メモリのフレーム１に蓄積された画像情報をロスレス符号化する。

次にこのようにして作成される符号化データを、図１５に示す４フレームの出力画像に復号する場合の手順を示す。第３カテゴリ，第２カテゴリ，第１カテゴリの順序で復号する。

まず現カテゴリ復号部６０５はカテゴリ番号３を復号する。ロスレス復号部６１１は符号化データを復号して第３カテゴリのフレーム１に復号画像を蓄積する。

次に第２カテゴリの復号を行う。現カテゴリ復号部６０５はカテゴリ番号２を復号する。参照画像指定情報設定部６０４は，現フレームをフレーム１とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。画像符号化装置５で参照画像とした第２カテゴリのフレーム２を指定する参照画像指定情報を，第３カテゴリのフレーム１を指定するように対応付ける。この時点では第３カテゴリのフレーム１が参照画像に設定される。

次にマクロブロック毎に，次に示す処理を行う。差分復号部６０１は高域画像情報と動きベクトルを復号する。参照画像指定情報復号部６０４は参照画像指定情報を復号する。参照画像切替部６０３は参照画像指定情報で指示された参照画像を選択し，予測画像作成部６０２は動きベクトルを使って予測画像を作成する。復号画像作成部６０７は高域画像情報と予測画像から復号画像２フレームを作成する。復号画像蓄積部６０８は復号画像を第２カテゴリのフレーム１とフレーム２に蓄積する。

続いて第１カテゴリの復号を行う。まずフレーム１とフレーム２を復号する手順を示す。現カテゴリ復号部６０５はカテゴリ番号１を復号する。参照画像指定情報設定部６１０は，現フレームをフレーム１とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。画像符号化装置５で参照画像とした第１カテゴリのフレーム２を指定する参照画像指定情報を，第２カテゴリのフレーム１を指定するように対応付ける。この時点では第２カテゴリのフレーム１が参照画像に設定される。

次にマクロブロック毎に，次に示す処理を行う。差分復号部６０１は高域画像情報と動きベクトルを復号する。参照画像指定情報復号部６０４は参照画像指定情報を復号する。参照画像切替部６０３は参照画像指定情報で指示された参照画像を選択し，予測画像作成部６０２は動きベクトルを使って予測画像を作成する。復号画像作成部６０７は高域画像情報と予測画像から復号画像２フレームを作成する。復号画像蓄積部６０８は復号画像を第１カテゴリのフレーム１とフレーム２に蓄積する。

次にフレーム３とフレーム４を復号する手順を示す。現カテゴリ復号部６０５はカテゴリ番号１を復号する。参照画像指定情報設定部６１０は，現フレームをフレーム３とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。画像符号化装置５で参照画像とした第１カテゴリのフレーム４を指定する参照画像指定情報を，第２カテゴリのフレーム２を指定するように対応付ける。この時点では第２カテゴリのフレーム１とフレーム２と，第１カテゴリのフレーム１とフレーム２が参照画像に設定される。

次にマクロブロック毎に，次に示す処理を行う。差分復号部６０１は高域画像情報と動きベクトルを復号する。参照画像指定情報復号部６０４は参照画像指定情報を復号する。参照画像切替部６０３は参照画像指定情報で指示された参照画像を選択し，予測画像作成部６０２は動きベクトルを使って予測画像を作成する。復号画像作成部６０７は高域画像情報と予測画像から復号画像２フレームを作成する。ただし，選択された参照画像が第２カテゴリのフレーム２以外の場合には，そのマクロブロックの高域画像情報は使用しない。

復号画像蓄積部６０８は復号画像を第１カテゴリのフレーム３とフレーム４に蓄積する。以上より，符号化対象画像であった第１カテゴリ４フレームが復号される．
ここでは，予測画像作成部６０２で動き探索を行ったが，これを行わずに画面内で同位置の画像情報から予測画像を作成しても良い。

本実施例によれば，第２カテゴリのフレーム３とフレーム４を符号化する際に複数の参照画像から参照画像を選択できるため，符号化効率を向上することが出来る。

また，本実施の形態として，複数の画像をフレームに割り当てて動画像とみなして符号化する例を説明したが，本発明は，複数の画像をフレームに割り当てて動画像とみなして符号化する場合に限るものではなく，複数の画像の時間的な相関はなくてもよい。すなわち，視点や視線を変えて撮影した複数の画像について，各画像をフレームとみなして符号化してもよい。

また，本実施の形態として，予測残差を不可逆符号化する例を説明したが，本発明は，予測残差を不可逆符号化する場合に限るものではなく，可逆符号化してもよい。この場合には，画像符号化装置１に復号部１０８を備えず，参照画像メモリ１０７に復号画像を蓄積するのではなく，原画像を蓄積してもよい。

また，本発明は，２次元の画像を符号化する場合に限るものではなく，画像の次元は２次元以外でもよい。例えば３次元の複数の画像を符号化してもよいし，１次元の複数の画像を蓄積してもよい。

本発明によれば，複数フレームの画像を符号化または復号する時に，参照画像メモリを複数のカテゴリに分類しておき，カテゴリ毎に参照画像を管理することにより，カテゴリを復号する場合としない場合とで同一の参照画像が指定され，正しい復号画像を得ることができる。また，カテゴリ毎に参照画像数を多くすることができ符号化効率を向上することができる。

Claims (8)

1. 複数のフレームで構成される画像情報を符号化する画像符号化方法であって，
   符号化対象の各フレームをＮ個（Ｎ≧２）のカテゴリに分類する画像分類ステップと，
   第ｊカテゴリに分類される現フレームについて，第ｉ（１≦ｉ≦ｊ）カテゴリの，過去に符号化した参照画像メモリ中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステップと，
   現フレームの画像情報と予測画像との差分を符号化する差分符号化ステップと，
   前記選択した画像情報を指定する，第ｊカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化ステップと，
   現フレームのカテゴリ番号を符号化する現カテゴリ符号化ステップと，
   現フレームの画像情報を参照画像メモリに蓄積する画像蓄積ステップと，を有し，
   前記参照画像指定情報符号化ステップは，
   前記参照画像メモリに蓄積された複数の画像情報のうち，前記現フレームの第ｊカテゴリ以下の各第ｉカテゴリに属するフレームの画像情報に対してのみ，第１のフレーム番号を設定するフレーム番号設定ステップと，
   前記予測画像作成ステップで選択した画像情報を指定する前記第１のフレーム番号を，参照画像指定情報として符号化する暫定フレーム番号符号化ステップと
   を有することを特徴とする画像符号化方法。
2. 複数のフレームで構成される画像情報を符号化する画像符号化方法であって，
   符号化対象の各フレームをＮ個（Ｎ≧２）のカテゴリに分類する画像分類ステップと，
   第ｊカテゴリに分類される現フレームについて，第ｉ（１≦ｉ≦ｊ）カテゴリの，過去に符号化した参照画像メモリ中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステップと，
   現フレームの画像情報と予測画像との差分を符号化する差分符号化ステップと，
   前記選択した画像情報を指定する，第ｊカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化ステップと，
   現フレームのカテゴリ番号を符号化する現カテゴリ符号化ステップと，
   現フレームの画像情報を参照画像メモリに蓄積する画像蓄積ステップと，を有し，
   前記カテゴリ毎に，カテゴリに所属するフレームを指定する第２のフレーム番号が割り当てられ，
   前記参照画像指定情報が，前記予測画像作成ステップで選択した画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリの第２のフレーム番号とから構成される
   ことを特徴とする画像符号化方法。
3. 複数のフレームで構成される画像情報を復号する画像復号方法であって，
   現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，
   前記復号したカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号ステップと，
   前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成ステップと，
   現フレームの復号画像と予測画像との差分を復号する差分復号ステップと，
   前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成ステップと，
   前記作成した現フレームの復号画像情報を，前記復号したカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積ステップと，を有し，
   前記参照画像指定情報復号ステップは，
   前記参照画像メモリに蓄積された複数の画像情報のうち，前記現フレームのカテゴリ番号以下の各カテゴリに属するフレームの画像情報に対してのみ，第１のフレーム番号を設定するフレーム番号設定ステップと，
   参照画像指定情報を復号して，前記予測画像作成ステップで選択する画像情報を指定する前記第１のフレーム番号を得るフレーム番号復号ステップと
   を有することを特徴とする画像復号方法。
4. 複数のフレームで構成される画像情報を復号する画像復号方法であって，
   現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，
   前記復号したカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号ステップと，
   前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成ステップと，
   現フレームの復号画像と予測画像との差分を復号する差分復号ステップと，
   前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成ステップと，
   前記作成した現フレームの復号画像情報を，前記復号したカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積ステップと，を有し，
   前記参照画像指定情報は，前記予測画像作成ステップにより前記参照画像メモリから読み込む参照画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリに所属するフレームを指定する第２のフレーム番号とから構成される
   ことを特徴とする画像復号方法。
5. 複数のフレームで構成される画像情報を符号化する画像符号化装置であって，
   符号化対象の各フレームをＮ個（Ｎ≧２）のカテゴリに分類する画像分類部と，
   第ｊカテゴリに分類される現フレームについて，第ｉ（１≦ｉ≦ｊ）カテゴリの，過去に符号化した参照画像メモリ中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成部と，
   現フレームの画像情報と予測画像との差分を符号化する差分符号化部と，
   前記選択した画像情報を指定する，第ｊカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化部と，
   現フレームのカテゴリ番号を符号化する現カテゴリ符号化部と，
   現フレームの画像情報を参照画像メモリに蓄積する画像蓄積部と，を有し，
   前記参照画像指定情報符号化部は，
   前記参照画像メモリに蓄積された複数の画像情報のうち，前記現フレームの第ｊカテゴリ以下の各第ｉカテゴリに属するフレームの画像情報に対してのみ，第１のフレーム番号を設定するフレーム番号設定部と，
   前記予測画像作成部で選択した画像情報を指定する前記第１のフレーム番号を，参照画像指定情報として符号化する暫定フレーム番号符号化部と
   を有することを特徴とする画像符号化装置。
6. 複数のフレームで構成される画像情報を符号化する画像符号化装置であって，
   符号化対象の各フレームをＮ個（Ｎ≧２）のカテゴリに分類する画像分類部と，
   第ｊカテゴリに分類される現フレームについて，第ｉ（１≦ｉ≦ｊ）カテゴリの，過去に符号化した参照画像メモリ中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成部と，
   現フレームの画像情報と予測画像との差分を符号化する差分符号化部と，
   前記選択した画像情報を指定する，第ｊカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化部と，
   現フレームのカテゴリ番号を符号化する現カテゴリ符号化部と，
   現フレームの画像情報を参照画像メモリに蓄積する画像蓄積部と，を有し，
   前記カテゴリ毎に，カテゴリに所属するフレームを指定する第２のフレーム番号が割り当てられ，
   前記参照画像指定情報が，前記予測画像作成部で選択した画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリの第２のフレーム番号とから構成される
   ことを特徴とする画像符号化装置。
7. 複数のフレームで構成される画像情報を復号する画像復号装置であって，
   現フレームのカテゴリ番号を復号する現カテゴリ復号部と，
   前記復号したカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号部と，
   前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成部と，
   現フレームの復号画像と予測画像との差分を復号する差分復号部と，
   前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成部と，
   前記作成した現フレームの復号画像情報を，前記復号したカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積部と，を有し，
   前記参照画像指定情報復号部は，
   前記参照画像メモリに蓄積された複数の画像情報のうち，前記現フレームのカテゴリ番号以下の各カテゴリに属するフレームの画像情報に対してのみ，第１のフレーム番号を設定するフレーム番号設定部と，
   参照画像指定情報を復号して，前記予測画像作成部で選択する画像情報を指定する前記第１のフレーム番号を得るフレーム番号復号部と
   を有することを特徴とする画像復号装置。
8. 複数のフレームで構成される画像情報を復号する画像復号装置であって，
   現フレームのカテゴリ番号を復号する現カテゴリ復号部と，
   前記復号したカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号部と，
   前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成部と，
   現フレームの復号画像と予測画像との差分を復号する差分復号部と，
   前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成部と，
   前記作成した現フレームの復号画像情報を，前記復号したカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積部と，を有し，
   前記参照画像指定情報は，前記予測画像作成部により前記参照画像メモリから読み込む参照画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリに所属するフレームを指定する第２のフレーム番号とから構成される
   ことを特徴とする画像復号装置。

Images