WO2004008774A1

WO2004008774A1 - 画像符号化方法及び画像復号化方法

Info

Publication number: WO2004008774A1
Application number: PCT/JP2003/008576
Authority: WO
Inventors: Chong Soon Lim; Teck Wee Foo; Sheng Mei Shen; Shinya Kadono; Satoshi Kondo; Makoto Hagai; Kiyofumi Abe
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2002-07-11
Filing date: 2003-07-07
Publication date: 2004-01-22
Also published as: US9088783B2; US20120213287A1; EP1742480B1; KR100961036B1; US20070076801A1; US20140133577A1; CN101179733B; CN100361535C; EP2278816A3; AU2003281129A1; JP2014014142A; AU2003281129B2; JP2008172821A; PT2278816E; EP1406451A4; ATE413067T1; ES2330555T3; ES2277092T3; TW200723891A; US9412177B2

Abstract

本発明の画像符号化方法は、ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であって、復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるか否かを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに格納する。

Description

明細書画像符号化方法及び画像復号化方法技術分野

本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化して表示する画像復号化方法に関する。背景技術

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディァの持つ情報量をディジタル情報量として見積もってみると、文字の場合 1 文字当たりの情報量は 1 〜 2バイトであるのに対し、音声の場合 1秒当たリ 64Kbits (電話品質）、さらに動画については 1 秒当たり lOOMbits (現行テレビ受信品質）以上の情報量が必要となり、上記情報メディァでその膨大な情報をディジタル形式でそのまま极うことは現実的では無い。例えば、テレビ電話は、 64Kbit/s~ 1.5Mbit/s の伝送速度を持つサービス総合ディジタル網（ISDN： Integrated Services Digital Network) によってすでに実用化されているが、テレビ - カメラの映像をそのまま ISDNで送ることは不可能である。そこで、必要となつてくるのが情報の圧縮技術であリ、例えば、テレビ電話の場合、 ITU-T (国際電気通信連合電気通信標準化部門）で国際標準化された H.261 や H.263規格の動画圧縮技術が用いられている。また、 MPEG- 1規格の情報圧縮技術によると、通常の音楽用 CD (コンパクト ' ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、 MPEG ( Moving Picture Experts Group ) とは、動画像信号圧縮の国際規格であリ、 MPEG- 1 は、動画像信号を 1 . 5 Mbit/sまで、つまリテレビ信号の情報を約 1 0 0分の 1 にまで圧縮する規格である。また、 MPEG- 1 規格を対象とする伝送速度が主として約 1 . 5 Mbit/sに制限されていることから、さらなる高画質化の求をみたすべく規格化された MPEG- 2では、動画像信号が 2 ~ 1 5 Mbit/sに圧縮される。さらに現状では、 MPEG- 1 , MPEG- 2 と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11 ) によって、 MPEG- 1 ， MPEG- 2を上回る圧縮率を達成し、更に物体単位で符号化 ■ 復号化，操作を可能とし、マルチメディア時代に必要な新しい機能を実現する MPEG- 4が規格化された。 MPEG- 4 では、当初、低ビットレー卜の符号化方法の標準化を目指して進められたが、現在はィンタレース画像も含む高ビットレー卜も含む、より汎用的な符号化に拡張されている。

更に近年、 MPEG-4の次世代符号化として JVT と呼ばれる、 ITU-T と ISO/IEC共同による新しい画像符号化が檩準化中である。

図 2 4はピクチャの予測構造 ' 復号順序と表示順序を示す図である。ピクチャとはフレームもしくはフィールドのいずれかを指す用語であり、本明細書ではフレームもしくはフィールドの代わりにピクチャという表現を用いる。また、画像もしくは画面という用語もピクチャと同義語である。図 2 4で斜線のハッチングを施したピクチャは、他のピクチャの符号化 - 復号化の際に参照されるため、メモリに保存されるピクチャを表す。

10は画面内符号化ピクチャであり、 P3、 P 6、 P9は画面間予測符号化ピクチャ（P ピクチャ）である。 JVT標準化案では画面間符号化では、従来の MPEG- 1/2/4と異なリ、複数の符号化済ピクチャから任意のピクチャを参照ピクチャとして 1 つ選択して、参照ピクチャから予測画像を生成することができる。たとえば、 P9 ピクチャは、 10、 P3、 P6の 3つのピクチャから任意の 1 ピクチャを選択してそのピクチャから予測画像を生成することができる。これにより、従来の MPEG- 1/2/4よりも適切な予測画像を選択できる可能性が高まり、圧縮率が向上する。 Bl、 B2、 B4、 B5、 B7、 B8 は画面間双予測符号化ピクチャ（B ピクチャ）であり、画面間予測ピクチャの予測と異なり、複数（ 2つ）のピクチャを選択してその選択したピクチヤから予測画像を生成し符号化する。特に、時間的に前後の 2つのピクチヤの平均値を予測画像とする内挿予測をすることで、予測画像の精度を大幅に向上でき圧縮率が大幅に向上することが知られている。以下、画面内符号化ピクチャを I、画面間予測符号化ピクチャを P、画面間双予測符号化ピクチャを Bという記号を各ピクチャに付与し、各ピクチャの符号化方法を区別する。

B ピクチャで時間的に前後のピクチャを予測符号化で参照するためには、時間的に後方のピクチャが先に符号化 '復号化されていなければならない。これは、ピクチャの並べ替え（リーオーダリング）と呼ばれ、従来の MPEG-1/2/4からよく行われている。従って、符号化順序（Stream Order) に対し、符号化されたストリームを復号化して表示する順序（ Display Order) は図 2 4のピクチャの予測構造 ' 復号順序と表示順序を示す図のように並べ替えられることになる。なお、図 2 4の例における B ピクチャはストリームを復号化した瞬間に表示されるため、他の画像から参照されない場合はメモリ等に蓄積する必要が無いが、 I ピクチャや P ピクチャは復号化した後、次の Bピクチャを復号化した後に表示されるため、メモリに保存する必要がある。以下、ピクチャの予測構造 '復号順序と表示順序を示す図においては、用語およびピクチャの斜線のハッチングの意味は図 2 4と同じ意味で統一する。

図 2 5は他のピクチャの予測構造 '復号順序と表示順序を示す図である。同図において、図 2 4との違いは、ピクチャ 6が P ピクチヤで無く、 I ピクチャであることである。

図 2 6は従来の画像符号化方法を実現するための画像符号化装置のプロック図である。以下、図 2 6の従来の画像符号化方法を実現する画像符号化装置の動作について説明する。

ピクチャ構造決定ュニッ卜 PicStruct は各ピクチャの符号化タイプ（I ピクチャ、 P ピクチャ、 B ピクチャ）を決定して参照ピクチャ管理ュニット HefPicCtrl にその符号化タイプおよび符号化で参照可能なピクチャを指示し、またピクチヤの符号化順序を並べ替えユニット ReOrderに通知する。並べ替えュニット ReOrderは入力ピクチャ Piclnの順序を符号化順序に並べ替えて、動き検出ュニット MEおよび減算ュニット Subに並べ替えたピクチャを出力する。動き検出ュニッ卜 MEはピクチャメモリ PicMem l に保存されたピクチャを参照して適切な参照ピクチャとその画素位置を指し示す動きべクトル MV とを導出し、可変長符号化ュニット VLC とピクチヤメモリ PicMeml、動き補償ュニッ卜 MCに送出する。ピクチャメモリ PicMeml は動きべクトル MV に対応する参照ピクチャの画素を動き補償ユニット MCに出力し、動き補償ュニット MCはピクチャメモリ PicMeml から得た参照ピクチャの画素と動きベクトル M Vとから予測画像を生成する。

減算ュニッ卜 Sub は並べ替えュニット ReOrderで並べ替えたピクチャと予測画像の差を計算し、その差を直交変換ュニット Tで周波数係数に変換し、更に量子化ユニット Qで周波数係数を量子化し、量子化値 Coef とする。

逆量子化ュニット IQは量子化値 Coef を逆量子化して周波数係数に復元し、更に逆直交変換ュニット IT で周波数係数から画素差分値に逆周波数変換する。加算ュニット Addでは予測画像を画素差分値に加算して復号画像を得る。

参照ピクチャ管理ユニット RefPicCtrl はピクチャの符号化タイプに応じ、参照ピクチャとして参照するためにピクチャメモリ PicMeml に保存すべき復号画像か、ピクチャメモリ PicMeml から開放（参照ピクチャとして以後参照されない）すべき復号画像があるかを判断し、その動作をメモリ管理コマンド MMCO として通知する。

スィッチ SW は、当該復号画像がメモリ管理コマンド MMCO によって保存が指示された場合に ON になり、当該復号画像がピクチャメモリ PicMem l に参照ピクチャとして保存される。また、ピクチャメモリ PicMeml は、メモリ管理コマンド MMCO によってピクチャメモリ PicMemlから開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。可変長符号化ュニット VLC は、量子化値 Coef、動きべクトル MV、メモリ管理コマンド MMCOを符号化し、符号化ス卜リーム Strを出力する。符号化として周波数変換と量子化を伴う例を示したが、周波数変換や量子化を伴わない符号化（DPCMや ADPCM、線形予測符号化など）でもよい。また、周波数変換と量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に量子化を伴わない符号化でもよい。

図 2 7はメモリ管理コマンド MMCO の符号例である。符号化 ■ 復号化の最初や、 GOPの先頭ではピクチヤメモリを初期化するために、可変長符号化ユニット VLC は全メモリ開放を意味する' 000'を符号化する。また、復号化した画像をピクチャメモリに保存する場合には、可変長符号化ュニット VLCは' 0 Γを符号化する。ピクチャメモリに保存したピクチャを開放する場合は、開放するピクチャ番号を指示しなければならないので、可変長符号化ュニット VLCは' 00 Γの次に開放するピクチャ番号を符号化する。なお、同時に複数ピクチャ開放する場合は開放するコマンドを複数回符号化する必要があり、またピクチャを開放するコマンドに加えて、ピクチャを保存するコマンドを符号化する場合もある。そこで、可変長符号化ュニット VLCは複数のメモリ管理コマンド MMCOを続けて符号化し、メモリ管理コマンド MMCO が完了したことを示す Tを最後に符号化する。以上のようにして、メモリ管理コマンド MMCO が符号化ストリーム Str に符号化される。

図 2 8は従来の画像復号化方法を実現する画像復号化装置のブロック図である。同図において、図 2 6の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。

可変長復号化ュニット VLD は符号化ストリーム Str を復号化し、メモリ管理コマンド MMCO、動きべクトル MV、量子化値 Coef を出力する。ピクチャ時刻 Time は外部から入力され、表示するピクチャを指定する信号である。表示すべきピクチャが復号化した当該ピクチャであればセレクタ Selで加算ュニット Addの出力が選択され、表示ュニッ卜 Dispに送出される。表示すべきピクチャがピクチャメモリ PicMeml に保存されているピクチャであればそれがピクチャメモリ PicMeml から読み出され、レクタ Selで選択され、表示ュニット Dispに送出される。

なお、上述の通り、ピクチャメモリ PicMeml は動きべクトル MVに対応する画素を動き補償ュニット MCに出力し、動き補償ュニット MCはピクチャメモリ PicMeml から得た画素と動きべクトル M Vとから予測画像を生成する。また、逆量子化ュニット IQは量子化値 Coef を逆量子化して周波数係数に復元し、更に逆直交変換ユニット IT で周波数係数から画素差分値に逆周波数変換する。加算ュニッ卜 Addはその画素差分値に予測画像を加算して復号画像とする。

また、ピクチャメモリ PicMemlは、メモリ管理コマンド MMCOによつてピクチャメモリ PicMem lでの開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。

復号化として逆周波数変換と逆量子化を伴う例を示したが、逆周波数変換ゃ逆量子化を伴わない復号化（DPCMや ADPCM、線形予測符号化など）でもよい。また、逆周波数変換と逆量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に逆量子化を伴わない復号化でもよい。

以上の図 2 8の従来の画像復号化方法を実現する画像復号化装置により図 2 4および図 2 5で示す従来のピクチャ符号化タイプの組み合わせは、図 2 6の従来の画像符号化方法を実現する画像符号化装置で符号化した符号化ストリーム Strを正しく復号化できることは明らかである。

さて、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討した。図 1 はピクチャの従来にはない予測構造■ 復号順序と表示順序を示す図である。図 1ではピクチャ 4の前後で B ピクチャの予測構造が異なっている。即ち、ピクチャ 2の Bピクチャは保存されてピクチャ 1 およびピクチャ 3の予測画像として参照されるものである。その結果、各ピクチャの符号化順序および表示順序は図 1 のようになる。

さて、ピクチャ 5とピクチャ 6は予測符号化で参照されないので保存されない： B ピクチャである。しかしながら、図 2 4の場合と異なり、復号化時点では他のピクチャの表示時刻であり、まだ表示する時刻になっていない。つまり、ピクチャ B 5の復号化時点ではピクチャ P 4を表示しなければならず、ピクチャ B 6の復号化時点ではピクチャ B 5を表示しなければならない。一方、ピクチャ B 5とピクチャ B 6は保存されないため、ピクチヤメモリから表示時刻にピクチャ B 5 とピクチャ B 6を出力することもできない。従って、予測符号化で参照されないピクチャはピクチャメモリに保存しないため、従来の符号化 ■ 復号化の方法ではピクチャ B 5とピクチヤ B 6を復号化して表示できないことになる。すなわち、図 2 4に示す例のように予測符号化で参照されないピクチャを保存しない場合ではピクチヤ 0、ピクチャ 1 、ピクチャ 2、ピクチャ 4、ピクチャ 7だけが表示できることになる。

このように、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討すると、復号化して表示できないピクチャが生じてしまうという問題がある。また、表示用に別途、ピクチャメモリを追加し、ピクチャメモリ PicMeml に保存されていないピクチャを表示用の別のピクチャメモリに保存すれば表示が可能になるが、この場合、別のピクチャメモリに大きな余分なメモリが必要になる欠点がある。

更に、表示用の別のピクチャメモリを導入したとしても、ストリーム途中からの再生において新たな問題が発生する。図 2はピクチャの予測構造 ■ 復号順序と表示順序を示す図である。同図において、図 2 5との違いは、ピクチャ 7の前後で完全に予測構造が独立となることである。 17以降のピクチャは 17より前の時刻のピクチャを符号化 ■ 復号化で参照しない。従って、 17 ピクチャから復号化を開始すれば 17 ピクチャ以降が正しく復号化できるため、 17 ピクチャはス卜リーム途中から再生可能であるという特徴を有する。このように、ストリーム途中に I ピクチャを挿入することが良く行われ、この途中から再生できる構造を MPEG-2に準じて GOP (グループォブピクチャ）と呼ぶことにする。さて、ストリーム途中から再生するためには、途中から再生した時点でも再生画像が符号化装置と復号化装置との間で一致することを保証しなければならず、そのためにピクチャメモリの全ピクチャ領域を初期化するのが簡単な方法である。しかしながら、ピクチャ 6はピクチャ 7を復号化した時点ではまだ表示されずにピクチャメモリに格納されているため、単純にピクチャ 6の表示前に全てのピクチャメモリを初期化してしまうとピクチヤ 6の表示時刻にピクチャメモリからピクチャ 6を表示できなくなってしまう。

そこで、本発明では、画像の符号化あるいは復号化において必要なメモリ量を考慮しながら、復号化して表示できないピクチャが生じないようにすることを目的とする。発明の開示

上記目的を達成するため、本発明の画像符号化方法は、ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であって、復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させることを特徴とする。ここで前記画像符号化方法は、復号化された画像が参照用の画像であるか否かを判定する第 1 の判定ステップと、復号化された画像が参照用ではなくかつ表示時刻まで保持が必要な出力用の画像であるか否かを判定する第 2の判定ステップと、第 1 の判定ステップにおいて参照用の画像と判定された画像を前記ピクチャバッファに保持させ、第 2の判定ステップにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理ステツプとを有する構成としても良い。

この構成によれば、復号画像が参照用の画像であるかという判定に加えて、出力用の画像であるかという判定も行って、参照用の画像に加えて予測符号化において参照されないが復号されると同時に表示又は出力することができない画像を出力用画像としてピクチャバッファに格納する。画像符号化に際してこのような判定及ぴピクチャバッファ管理を行い復号動作を検証しているので、復号化装置において出力用の画像を確実にその表示時刻に表示あるいは出力することができる。

ここで、前記ピクチャバッファは一定のサイズを有し、前記画像符号化方法は、さらに、ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第 3の判定ステップと、ピクチャバッファに保持されている出力用の画像が出力済となったか否かを判定する第 4の判定ステップとを有し、前記管理ステップにおいて、第 3及び第 4の判定ス亍ップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチヤバッファ中の画像を保持している領域を再利用する構成としてもよい, この構成によれば、管理ステップにおいて、前記ピクチャバッファの一定のサイズの範囲内で、参照用の画像と前記出力用の画像とを、画像を保持している領域を再利用して格納するので、メモリを無駄に消費することなく復号画像ピクチャバッファを必要最小限のサイズとすることができる, さらに、前記画像符号化方法は、複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化ステップを有するようにしてもよい。

この構成によれば、シーケンス毎に前記サイズが一定となるので、シーケンス毎に予測符号化で用いる画像のタイプを柔軟に定めることができるまた、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第 4の判定ステップにおいて出力済になったと判定された出力用の画像を保持している領域に、第 1 の判定ステップにおいて参照用の画像と判定された画像および第 2の判定ステップにおいて参照用の画像と判定された画像の何れかを格納する構成としてもよい。

この構成によれば、ピクチャバッファに格納された出力用の画像の領域のうち既に出力済の画像が格納されている領域に、新たな画像を格納する。つまり出力済の画像が格納されている領域を再利用するので、出力済でなぃ復号画像の表示をより確実にすることができる。

さらに、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された出力用の画像のうち表示順で古い画像を保持している領域に、第 1 の判定ステツプにおいて参照用の画像と判定された画像および第 2の判定ステツプにおいて出力用の画像と判定された画像の何れかを保持させる構成としてもよい。

この構成によれば、出力用の画像のうち表示順で古い画像が格納されている領域には出力済の復号画像が格納されている可能性が高いので、個々の復号画像の表示時刻を正確に判断する構成でなくても、出力済でない復号画像の表示をよリ確実にすることができる。

また、前記画像符号化方法は、さらに、複数の符号化画像を含むシ一ケンスの途中で入力画像のサイズ変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放ステップを有する構成としてもよい。

この構成によれば、サイズ変更があつたとき、出力用の復号画像は復号画像ピクチャバッファに残すことができるので、サイズ変更の時点で出力済でない画像を削除することなくできるだけ多く出力することができる。以上の様に、本発明によれば従来では正しく表示不可能であったピクチャも、余分なメモリを持つことなく、開放されたメモリ領域を有効に活用することで表示可能となり、その実用的価値は高い。

また本発明の画像復号化方法、画像符号化装置、画像復号化装置、プログラムについても上記と同様の構成、作用、効果を有する。

また、本発明の画像符号化方法又は画像復号化方法は、以下の（ 1 ) から（ 1 6 ) の何れかの構成とすることができる。

( 1 ) 復号化されメモリに保存されている復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、前記復号化済画像をメモリから参照して予測画像を生成し、前記予測画像と前記画像信号の差を符号化して符号化ストリ一ムとするステップと、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、所定の復号画像を前記メモリに格納するステップと、前記メモリの全領域を開放して再利用可能とするか否かを示す指示情報を前記符号化ストリームに含めるステップとを含むことを特徴とする画像符号化方法。

( 2 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法。

( 3 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリ一ムとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したリ不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法。

( 4 ) 復号化されメモリに保存されている復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、

前記復号化済画像を前記メモリから参照して予測画像を生成し、前記符号化ストリ一ムを復号化して得られる画像信号に前記予測画像を加算して復号画像とし、所定の復号画像をメモリに格納するステップと、

前記符号化ストリ一ムを復号化して得られるメモリの全領域を開放して再利用可能とするか否かを示す指示情報を基に、前記指示情報が示す情報に基づいた処理を行う処理ステップとを

含むことを特徴とする画像復号化方法。

( 5 ) 復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であつて、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし. 前記復号画像を前記メモリに格納したリ不要になつた画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法。

( 6 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ス卜リームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法。

( 7 ) 復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし. 前記復号画像を前記メモリに格納したリ不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法。

( 8 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ス卜リームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法。

( 9 ) 復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリー厶を復号化して前記予測画像を加算して復号画像とし. 前記復号画像を前記メモリに格納したリ不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法。

( 1 0 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、予測画像生成のために参照される画像および即座に表示不可能な画像をメモリに格納するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果を前記メモリに格納するメモリ手段を備えた画像符号化装置。

( 1 1 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したリ不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であつて復号化装置で復号化済画像として外部に出力済である画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。

( 1 2 ) 復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ス'トリ一厶を復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したリ不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって復号化済画像として外部に出力済の画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。

( 1 3 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したリ不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であつて時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。

( 1 4 ) 復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したリ不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。

( 1 5 ) 復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したリ不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であつてで開放した順序が早い領域に格納するメモリ手段を備えた画像符号化装

( 1 6 ) 復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したリ不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって開放した順序が早い領域に格納するメモリ手段を備えた画像復号化装置。

また、本発明の画像符号化方法及び画像復号化方法をコンピュータに実行させるプログラムを格納する記憶媒体は、以下の（ 1 7 ) から（ 2 3 ) の何れかとしてもよい。

( 1 7 ) 上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。 ( 1 8 ) 上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したリ不要になつた画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。

( 1 9 ) 上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。

( 2 0 ) 上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したリ不要になつた画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。 ( 2 1 ) 上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリ一ムを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。

( 2 2 ) 上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリー厶とし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したリ不要になつた画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。

( 2 3 ) 上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。

また、本発明の画像符号化装置においてストリーム及び画像復号化装置に対するメモリ拘束条件を定義し、ビデオを符号化する方法は、以下の（ A 1 ) から（ A 2 6 ) の何れかであってもよい。

( A 1 ) ストリーム及び画像復号化装置に対するメモリ拘束条件を定義する、画像符号化方法であって、用いることができる參照ピクチャの最大数を決定するステップと、後方予測参照ピクチャの最大数を設定するステツプと、ストリームのヘッダーに後方予測参照ピクチャの前記最大数を入れるステップと、仮想ディスプレイ遅延バッファを生成するステップと、デイスプレイ · カウンタを生成するステツプと、前記参照ピクチャに対して十分な記憶空間を割り当てるステップと、前記ビデオを符号化するステツプと、を含む画像符号化方法。ここで、仮想 ■ ディスプレイ遅延バッファは、画像符号化装置内のメモリに確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの出力する順序を示す情報（ピクチャ順序番号等）を保持する。デイスプレイ ■ カウンタは、仮想的にディスプレイに出力されるべきピクチャのピクチャ順序番号を記憶及び更新する。また、十分な記憶空間とは、参照ピクチャと表示用ピクチャを格納する領域をいう。

( A 2 ) 参照ピクチャの前記最大数は、デコーダの能力を示すレベル値に応じて決定される、（A 1 ) に記載の画像符号化方法。

( A 3 ) 後方予測参照ピクチャの前記最大数は、参照ピクチャの前記最大数よりも少ない、（A 1 ) または（A 2 ) に記載の画像符号化方法。

( A 4 ) ストリーム全体の前記後方予測は、後方予測参照ピクチャの前記最大数によって制限される、（A 1 )、 ( A 2 ) または（A 3 ) に記載の画像符号化方法。

( A 5 ) 前記仮想 ' ディスプレイ遅延バッファのサイズは、後方予測参照ピクチャの前記最大数から 1 を引いたものである、（ A 1 ) に記載の画像符号化方法。 ( A 6 ) 前記仮想 ' ディスプレイ遅延バッファの物理メモリは、ピクチャの表示順序情報だけを含む、（A 1 ) または（A 5 ) に記載の画像符号化方法。

( A 7 ) 前記ディスプレイ ■ カウンタは、仮想 - ディスプレイ遅延バッファから除去されるピクチャの表示順序情報を記憶するために用いられる、 ( A 1 ) に記載の画像符号化方法。

( A 8 ) 前記画像符号化方法は、利用可能な参照ピクチャを用いて符号化対象ピクチャを予測するステップと、前記符号化対象ピクチャを符号化するステップと、前記符号化したピクチャが予測に用いられるかどうかを決定するステップと、前記符号化したピクチャを復号化するステップと、前記復号化したピクチャを前記参照ピクチャ ■ バッファに記憶するステップと、前記仮想 ' ディスプレイ遅延バッファを更新するステップと、前記デイスプレイ ■ カウンタを更新するステップと、を含む（A 1 ) に記載の画像符号化方法。

( A 9 ) ピクチャの前記予測は、前記ピクチヤが予測符号化される場合には一つ又は複数の参照ピクチャを用いることができる、（ A 1 ) または（ A 8 ) に記載の画像符号化方法。

( A 1 0 ) 前記参照ピクチャは、前記参照ピクチャ ' バッファがメモリ拘束条件を満足した場合にのみ用いることができる、（A 1 ) または（A 8 ) に記載の画像符号化方法。

( A 1 1 ) 前記参照ピクチャは、前記符号化対象ピクチャが参照ピクチャとして用いられる場合に復号化される、（A 1 ) または（A 8 ) に記載の画像符号化方法。

( A 1 2 ) 前記復号化されたピクチャの記憶は、次のピクチャに対する参照ピクチャ数のメモリ拘束条件を決定するステップと、前記参照ピクチャ - バッファから未使用参照ピクチャを除去するステップと、前記復号化したピクチャを前記参照ピクチャ■バッファに加えるステップと、を含む、 ( A 1 )、 ( A 8 ) または（A 1 0 ) に記載の画像符号化方法。

( A 1 3 ) 次のピクチャに対する参照ピクチャの前記最大数は、ストリー厶に対する参照ピクチヤの最大数から前記仮想 - ディスプレイ遅延バッファのピクチャ数を引いた数に等しい、（ A 1 )、（ A 8 )、（ A 1 0 )または（ A

1 2 ) に記載の画像符号化方法。

( A 1 ) 前記未使用参照ピクチャのディスプレイに対する表示順序情報は、ディスプレイに対する前記表示順序情報が前記ディスプレイ ■ カウンタの値よりも大きい場合に仮想'ディスプレイ遅延バッファに移動される、 ( A 1 )、（ A 8 )、 ( A 1 0 ) または（A 1 2 ) に記載の画像符号化方法。

( A 1 5 ) 前記仮想 ' ディスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ ■ カウンタの値より大きい場合には、前記ピクチャの前記時間的情報を記憶する、（ A 1 )または（A 8 )に記載の画像符号化方法。

( A 1 6 ) 前記仮想 ' デイスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ ■ カウンタの値以下である場合には、前記ピクチャの前記表示順序情報を除去する、（ A 1 )、 ( A 8 ) または（A 1 5 ) に記載の画像符号化方法。

( A 1 7 ) 前記仮想 ■ デイスプレイ遅延バッファの前記ピクチャ数は、前記仮想 ■ ディスプレイ遅延バッファに存在するピクチャの表示順序情報の合計数によって定義される、（A 1 )、（A 8 )、 ( A 1 0 )、 ( A 1 2 ) または ( A 1 3 ) に記載の画像符号化方法。

( A 1 8 ) 前記ディスプレイ ■ 力ゥンタの表示順序情報は、前記仮想 ■ デイスプレイ遅延バッファがフルであるときか又は符号化されたピクチャ数が前記参照ピクチャの最大数に等しいときに更新を開始する、（A 1 ) または（A 8 ) に記載の画像符号化方法。

( A 1 9 ) 前記ディスプレイ ' カウンタの表示順序情報は、前記ディスプレイ，カウンタが更新を開始した後に符号化された各ピクチャの表示順序情報に基づいて更新される、（ A 1 )、（ A 8 ) または（A 1 8 ) に記載の画像符号化方法。

( A 2 0 ) 前記画像符号化装置のための画像復号化装置は、ストリーム - ヘッダーから最大ボスト ■ デコーダ ■ バッファ ■ サイズを決定するステツプと、必要な参照ピクチャの最小数を決定するステップと、参照ピクチャに対して十分な物理メモリ空間を割リ当てるステップと、前記ストリームを復号化するステップと、前記ストリームを出力するステップと、を含む ( A 1 ) に記載の画像符号化方法。

( A 2 1 ) 前記最大ポスト ' デコーダ ' バッファ ' サイズは、前記画像符号化装置によって設定された後方参照ピクチャの最大数である、（A 1 ) または（A 2 0 ) に記載の画像符号化方法。

( A 2 2 ) 必要な参照ピクチャの前記最小数は、同じそのストリームを復号化できる画像復号化装置の能力レベルに対して固定される、（A 1 ) または（A 2 0 ) に記載の画像符号化方法。

( A 2 3 ) 前記画像復号化装置で割り当てられた前記物理メモリ空間は、参照ピクチャ及びボス卜 ■ デコーダ " ピクチャの両方を記憶するために用いることができる、（A 1 ) または（A 2 0 ) に記載の画像符号化方法。

( A 2 4 )参照ピクチャ及びポスト 'デコーダ "ピクチャの両方の合計は、前記割り当てられた物理メモリ空間を超えない、（ A 1 ) または（ A 2 0 ) に記載の画像符号化方法。

( A 2 5 ) 前記復号化は、復号化されたピクチャの数が前記最大ポスト - デコーダ■ バッファ ' サイズから 1 を引いた数に等しいときか又は復号化されたピクチャの合計数が参照ピクチャの前記決定された最小数に等しいときのいずれか早い方に、第 1 の復号化されたピクチャを出力する、（A 1 ) または（A 2 0 ) に記載の画像符号化方法。 ( A 2 6 ) 復号化されたピクチャは、一旦それが出力のために送られたならば前記ポスト ■ デコーダ■バッファから除去される、（ A 1 ) または（ A 2 0 ) に記載の画像符号化方法。

また、本発明の画像復号化装置においてス卜リーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリームを復号化する方法は、以下の（A 2 7 ) から（A 3 7 ) の何れかであってもよい。

( A 2 7 ) ス卜リーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリー厶を復号化する方法であって、ストリ一ムに用いられる参照ピクチャの最大数を決定するステツプと、後方予測参照ピクチャの最大可能数を決定するステップと、ポスト ■ デコーダ ■ バッファの最小サイズを計算するステップと、参照ピクチャ ■ バッファに対して十分な物理メモリ空間を割り当てるステップと、ボス卜 ■ デコーダ ' バッファに対して十分な物理メモリ空間を割リ当てるステップと、ストリ一ムを復号化するステップと、参照ピクチャ ■ バッファに復号化したピクチャを記憶するステツプと、ポスト ' デコーダ ' バッファに復号化したピクチャを記憶するステップと、復号化したピクチャを出力するステップと、を含む画像復号化方法。ここで、ボスト ■ デコーダ ■ バッファは、画像復号化装置内の参照ピクチャメモリにおける表示用領域をいう。

( A 2 8 ) 参照ピクチャの前記最大数は、ストリームを復号化できる能力のレベルに応じて画像復号化装置に対して固定される、（A 2 7 ) に記載の画像復号化方法。

( A 2 9 ) 後方予測参照ピクチャの前記最大可能数は、参照ピクチャの前記最大数から 1 を引いた数として定義される、（A 2 7 ) に記載の画像復号化方法。

( A 3 0 ) ポスト ' デコーダ ' バッファの前記最小サイズは、後方予測参照ピクチャの前記最大可能数から 1 を引いた数として定義される、（A 2 7 ) に記載の画像復号化方法。

( A 3 1 ) ポス卜 ' デコーダ ' パッファの前記最小サイズをストリ一ムから取得する、（A 2 7 ) または（A 3 0 ) に記載の画像復号化方法。

( A 3 2 ) 後方予測参照ピクチャの前記最大可能数は、ポスト ·デコーダ - バッファの前記最小サイズに 1 を加えた数によって定義される、（ A 2 7 ) または（ A 3 1 ) に記載の画像復号化方法。

( A 3 3 ) 参照ピクチャ，バッファの前記最小サイズは、参照ピクチャの前記最大数として定義される、（A 2 7 ) に記載の画像復号化方法。

( A 3 4 ) 前記参照ピクチャ ■ バッファは、参照ピクチャを記憶するためにだけ用いられる、（A 2 7 ) または（A 3 3 ) に記載の画像復号化方法。

( A 3 5 ) 前記ポスト - デコーダ ■ バッファは、非参照ピクチャを記憶するために用いられる、（A 2 7 )、 ( A 3 0 ) または（A 3 1 ) に記載の画像復号化方法。

( A 3 6 ) 参照ピクチャは、それが非参照ピクチャと判定されたときに前記参照ピクチャ 'バッファから除去される、（ A 2 7 )、（ A 3 2 ) または（ A 3 3 ) に記載の画像復号化方法。

( A 3 7 ) ポスト ' デコーダ ■ バッファのピクチャは、それが出力された際に前記ポスト■デコーダ'バッファから除去される、（A 2 7 )、（A 3 0)、

( A 3 1 ) または（ A 3 5 ) に記載の画像復号化方法。

以上の構成によればストリーム及び画像復号化装置の両方に対して同じメモリ拘束条件で動作させることで、ストリームを正しく復号化できることが保証できる。もしそうしなければ、画像復号化装置が復号化過程でス卜リ一厶を復号化するために十分なメモリ空間を確保できない場合が発生する。図面の簡単な説明図 1 は、ピクチャの予測構造 ■ 復号順序と表示順序を示す図を示す。図 2は、ピクチャの予測構造 · 復号順序と表示順序を示す図を示す。図 3は、本発明の画像符号化方法を実現する画像符号化装置のブロック図（実施の形態 1 ) を示す。

図 4は、本発明の参照ピクチャ管理ユニットの動作を示すフローチヤート（実施の形態 1 ) を示す。

図 5 ( a ) ( b ) ( c ) はいずれもメモリへのピクチャの保存状態を示す状態図を示す。

図 6は、本発明の画像符号化装置の動作を示すフローチャート（実施の形態 2 ) を示す。

図 7は、本発明の画像符号化装置の動作を示すフローチャート（実施の形態 3 ) を示す。

図 8は、本発明の画像符号化装置の動作を示すフローチャート（実施の形態 4 ) を示す。

図 9は、本発明の画像復号化方法を実現する画像復号化装置のブロック図（実施の形態 5 ) を示す。

図 1 0は、本発明における画像復号化装置の動作を示すフローチヤ一卜（実施の形態 5 ) を示す。

図 1 1 は、本発明における画像復号化装置の他の動作を示すフローチヤート（実施の形態 5 ) を示す。

図 1 2は、本発明における画像復号化装置の更に他の動作を示すフロ —チャート（実施の形態 5 ) を示す。

図 1 3は、本発明における画像復号化装置のまた更に他の動作を示すフローチャート（実施の形態 5 ) を示す。

図 1 4は、画像符号化装置の仮想 ■ ディスプレイ遅延バッファの使用のブロック図を示す。図 1 5は、符号化における、ポスト ■ デコーダ■ バッファ動作処理における本発明のブロック図を示す。

図 1 6は、復号化における、ボスト ' デコーダ ■ バッファ動作処理における本発明のブロック図を示す。

図 1 7は、参照ピクチャの最大数を制限するために画像符号化装置における仮想 ■ ディスプレイ遅延バッファを用いる一例を示す。

図 1 8は、第 1 のピクチャをディスプレイするための時間を決定するために仮想 ■ ディスプレイ遅延バッファを用いる一例を示す。

図 1 9は、上記各実施の形態の画像符号化方法及び画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図（実施の形態 7 ) を示す。

図 2 0は、コンテンツ供給システムの全体構成を示すブロック図（実施の形態 8 ) を示す。

図 2 1 は、画像符号化方法及び画像復号化方法を用いた携帯電話の例を示す外観図（実施の形態 8 ) を示す。

図 2 2は、携帯電話のブロック図（実施の形態 8 ) を示す。

図 2 3は、ディジタル放送用システムの例を示す構成図（実施の形態 8 ) を示す。

図 2 4は、ピクチャの予測構造 '復号順序と表示順序を示す図を示す。図 2 5は、ピクチャの予測構造-復号順序と表示順序を示す図を示す。図 2 6は、従来の画像符号化方法を実現する画像符号化装置のブロック図を示す。

図 2 7は、メモリ管理コマンド MMCOの符号例を示す対応図を示す。図 2 8は、従来の画像復号化方法を実現する画像復号化装置のブロック図を示す。発明を実施するための最良の形態

以下、本発明の実施の形態について、図面を用いて説明する。

(実施の形態 1 )

本発明の実施の形態 1 を説明する。

図 3は本発明の画像符号化方法を実現する画像符号化装置のブロック図である。同図において、図 2 6の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。

図 2 6の従来の画像符号化方法を実現する画像符号化装置のプロック図との違いは、図 3では表示ピクチャ管理ユニット DispPicCtrlが追加され、さらに表示ピクチャ管理ュニット DispPicCtrlの指示が参照ピクチャ管理ユニット RefPicCtrlとピクチャメモリ PicMem2に出力されていることでおる。

また、図 3に示される画像符号化装置 1 0 0では新たに、外部から変更されたピクチャサイズを取得するとともに、ピクチャ構造決定ユニット PicStruc から各ピクチャの符号化タイプ（Iピクチャ、 Pピクチャ、 B ピクチャ）を取得して、 I ピクチャのタイミングで、変更するピクチャサイズを示す情報を参照ピクチャ管理ユニット RefPicCtrl に出力するピクチャサイズ変更ュニッ卜 PicSizeが設けられている。

ピクチャメモリ PicMem2はピクチャメモリ PicMemlと動作が殆ど同じであるため、異なる動作の部分のみ説明する。

表示ピクチャ管理ュニット DispPicCtrlはピクチャ時刻 Timeを取得し、参照されないために本来は保存されないピクチャが即座に表示可能かどうか（ピクチャメモリに表示時刻まで格納する必要があるかどうか）を判断する。ピクチャ時刻 Time は外部から入力され、表示するピクチャを指定する信号である。ピクチャ時刻の取得は、例えばピクチャをパケット等の伝送路で伝送するためのシステムが出力する時刻情報から取得してもよいし、あるいは、ビデオストリームとオーディオストリームとを多重化するためのフォーマット中の時刻情報から取得してもよく、あるいは、ビデオストリームのフォーマット中の時刻情報から取得してもよい。また、これらはピクチャ毎に時刻がわかる絶対時刻であっても、ピクチャ間で時間の前後がわかる相対時刻であってもどちらでもよい。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。

なお、即座に表示が可能である場合とは、加算器 Addで加算して得られたピクチャがピクチャ時刻 Time で指示された表示するピクチャと一致する場合である。この場合には、ピクチャメモリ PicMem2 に、未表示で且つ符号化のために入力されたピクチャより前に表示されるべきピクチャがない場合のことである。即座に表示可能でなければ、参照されない画像であってもピクチャメモリ PicMem2 に保存するように、表示ピクチャ管理ユニット DispPicCtrlは、参照ピクチャ管理ュニット RefPicCtrlに指示を出す。その結果、即座に表示されないピクチャは参照の有無に関わらず必ずピクチャメモリ PicMem2 に格納されることになリ、復号化装置でピクチヤメモリ PicMem2からピクチャを表示できるようになる。

図 4は本発明における参照ピクチャ管理ュニッ卜 RefPicCtrl の動作のフローチャートである。

当該復号画像（ピクチャ）が予測画像として参照されるために保存すベきであるかどうかを判断する（ Step lO)。参照されるならば Step l2に進み、そうでなければ Step llに進む。

Step ll では当該復号画像が即座に表示可能であるかどうかを判断する。即座に表示可能とは、復号化した時点でそのまま表示できることであり（例えば図 1 に示すピクチャ 1 )、即座に表示不可能とは後で表示しなければならない（例えば図 1 に示す B 5 ) ことである。即座に表示可能であれば終了し、そうでなければ Step l2に進む。

Step l2 ではピクチャメモリ PicMem2 から保存可能な領域を取得し、 Stepl3で取得したピクチャメモリ PicMem2の領域に当該復号画像を保存するようにメモリ管理コマンド MMCOで指示を出す。

以上のようにして、即座に表示されないピクチャはピクチャメモリ PicMem2に保存し、表示時刻になった時点でピクチャメモリ PicMem2からピクチャを表示できるようにすることができる。また、表示用の余分なピクチャメモリを必要とすることがなく、表示のために保存が必要なピクチヤを参照用のピクチャメモリに保存することができる。

上述したピクチャメモリ PicMem2 には、予測画像の生成のために参照される参照ピクチャが保存される参照用領域と、表示用ピクチャが保存される表示用領域が存在する。

ところで、前述した GOP (グループォブピクチャ）毎にピクチャサィズの変更を行うことも可能である。このピクチャサイズの変更は、不要になった参照ピクチャの保存されたメモリの参照用領域を全て開放する (再利用可能の状態にする）場合にのみ行われる。

しかしながら、このようにピクチャサイズの変更が行われる場合に、上述したように、未表示の表示用ピクチャはメモリ領域に保存されているが、この未表示の表示用ピクチャをどのように扱うべきか（消去すべきか、そのまま表示されるまで保存すべきか）に対する対処方法について明確に決定する必要がある。

ここで、ピクチャサイズの変更が行われるときの、メモリへのピクチャの保存状態について段階的に説明する。

図 5 ( a ) ( b ) ( c ) は、メモリへのピクチャの保存状態を段階的に示す状態図である。図 5 ( a ) において、ピクチャ 2 0 0 a、 2 0 0 b、 2 0 0 cは、参照用に保存された参照ピクチャ（予測画像生成のために参照されるピクチャ）であり、ピクチャ 2 0 1 a， 2 0 1 b , 2 0 1 c , 2 0 1 d , 2 0 1 eは、表示用に保存されている表示用ピクチャ（未表示のピクチャ）である。ピクチャ 2 0 1 a , 2 0 1 b , 2 0 1 c , 2 0 1 d , 2 0 1 eは、この順番に表示される。

この図 5 ( a ) には、参照ピクチャ 2 0 0 a 、 2 0 0 b、 2 0 0 cの保存されているメモリ領域が全て開放されて再利用可能な状態とされた状態が示されている。

図 5 ( b ) には、図 5 ( a ) に示す状態の後にピクチャサイズが変更され、参照ピクチャ 2 0 0 aの保存されていたメモリ領域に、ピクチャサイズが大きくなるよう変更された参照ピクチャ 2 0 2 aが保存され、さらに表示用ピクチャ 2 0 1 aが表示されて、そのメモリ領域が開放された状態が示されている。

図 5 ( c ) は、図 5 ( b ) に示す状態の後、さらに表示用ピクチャ 2 0 1 bの保存されたメモリ領域が開放され、表示用ピクチャ 2 0 1 a , 2 0 1 bの保存されていた開放されたメモリ領域に、画像サイズが大きくなるように変更された参照ピクチャ 2 0 2 bが保存された状態を示しておリ、小さなメモリ領域 2 0 3が残っている。この状態で、表示用ピクチャ 2 0 1 cが保存されているメモリ領域を開放しても、新たに参照ピクチャ（ピクチャサイズが大きくなるように変更された）を保存することはできない。このように、ピクチャサイズが変更されると、メモリ内に異なるピクチャサイズのピクチャが混在する（ピクチャサイズが大きくなるように変更された参照ピクチャと、サイズ変更前の未表示の表示用ピクチャ）ことになる。

それによつて、メモリが断片的に使用されるようになり、使用できない小さなメモリ領域が発生してメモリの使用効率が劣化する。また、メモリを断片的に使用しないように、発生した小さなメモリ領域がなくなるようにメモリ内でデータの再配置を行うと、メモリアクセスが非常に大きくなつてその間の実時間で符号化 ' 復号化動作を実現することが困難である。そのため、ピクチャサイズが変更される場合は、第 1 の方法として、未表示の表示用ピクチャの保存されている表示用領域と、参照ピクチャの保存されている参照用領域を開放して（再利用可能な状態として）、未表示の表示用ピクチャの表示をあきらめるようにする。このようにすることによリ、サイズの異なるピクチャの混在により生じるメモリの断片的な使用を防止することができ、メモリの使用効率の劣化を抑えることができる。上述したピクチャサイズの変更は次のタイミングで行われる。すなわち、図 3に示すピクチャサイズ変更ュニット PicSizeが、ピクチャ構造決定ュニット PicStructが決定した各ピクチャの符号化タイプ（I ピクチャ、 P ピクチャ、 Bピクチャ）と、外部から入力される変更するピクチャサイズとをうけて、 I ピクチャのタイミングでピクチャサイズの変更を行う指令を参照ピクチャ管理ュニット RefPicCtrlに出力する。この I ピクチャは、例えば GOP の最初に挿入される特別な I ピクチャ（ I D Rピクチャ）である。

また、ピクチャサイズが変更される場合は、第 2の方法として、メモリの全領域を開放して、未表示の表示用ピクチャをあきらめるようにする手段と、あるいは参照ピクチャが保存された参照用領域のみを開放して、符号化信号（ストリーム）を復号する後述する画像復号化装置（デコーダ）の判断により、サイズ変更前のピクチャで未表示の表示用ピクチャについては表示できるものを表示するようにし、未表示の表示用ピクチャの表示を義務付けないようにする手段とを.切り替えるようにしている。このとき、画像復号化装置は、未表示のピクチャについて例えば損傷していないピクチヤなどの表示可能なピクチャを表示順序に従って表示するようにする。このような切り替えを行うとき、メモリの全領域を開放する方法と、参照ピクチャが保存された参照用領域のみを開放する方法のいずれの方法で行うかを示す指示情報（フラグ）もしくは他の識別できるような情報を画像符号化装置 1 0 0から出力されるストリーム Strに含めて配置する。画像復号化装置側では、ストリ一ムに配置された指示情報に基づいた処理を行う。

この指示情報が示す 2つの方法を切り替える際の判断基準の例としては, いずれの方法で行うかをアプリケーションによってコンテンツを作る人が決めるようにするか、メモリに余裕があれば参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない（メモリの全領域を開放することはしない）か、あるいは、ピクチャサィズが小さくなるよう変更される場合は、参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない (メモリの全領域を開放することはしない）などが考えられる。

以上の構成により、従来の課題を解決する画像符号化装置が実現できる。

(実施の形態 2 )

本発明の実施の形態 2について説明する。

本実施の形態では、囡 3 で示した表示ピクチャ管理ュニット DispPicCtrlが、ピクチャメモリ PicMem2に対して、開放したメモリにピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチヤを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存（上書き）されない限りは直前に保存したピクチャが再生できる。そこで、仮に表示していないピクチャの保存されたメモリ領域が開放されたとしても、そのメモリ領域には新しいピクチャを保存せず、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で、開放されているが、まだ上書きされずに残っている未表示のピクチャを表示することができる。このピクチャメモリの開放されたピクチャ領域にあるピクチャを表示用ピクチャと呼ぶことにする。なお、表示済とは、表示装置への出力済と実質的に同義であり、復号化装置においては実際に表示したこと（あるいは表示装置へ出力したこと）を意味し、符号化装置においては実際には表示（あるいは出力）するわけではなくピクチャ時刻 Time に指定されたときに表示したもの（あるいは出力したもの）とみなして扱うことを意味する。図 6は本実施の形態における画像符号化装置 1 0 0の動作を示すフローチャートである。本実施の形態は、開放領域のメモリに保存されているピクチャが表示済みかどうかで、ピクチャの保存を決定することを特徴とする。

まず、 Step20で当該復号画像がピクチャメモリ PicMem2に保存するものかどうかをメモリ管理コマンド MMCOの指示に基づき判断する。

保存する場合には、開放されたピクチャ領域を取得し（Step21 )、開放されたピクチャ領域に保存されていたピクチャが表示済であるかどうかを確認する（Ste_P22)。まだ表示されていなければ、 Step21に戻り表示済のピクチャが保存されていた開放領域を見つけるまで処理を繰リ返す。表示済のピクチャが保存されていた開放領域を見つけたならば、その領域に復号画像を保存する（Step23)。

このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されている領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。なお、メモリに保存されているピクチャが表示済みかどうかは、表示ピクチャ管理ユニット DispPicCtrlにおいて表示したかどうかの情報を管理することによって判断することができる。また、ピクチャ領域が開放領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば Γ _u s e d (参照ピクチャとして使用可能） J か Γ _u n u s e d (以後、参照ピクチャとして参照されない）」なのかをメモリ管理コマンド MMCOに従ってピクチャメモリ PicMem2において保持し、この保持されている情報を参照することにより判断することができる。以上の構成により、従来の課題を解決する画像符号化装置が実現できる。以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。

なお、ピクチャサイズが変更になった場合の動作は、実施の形態 1 と同様なので説明を省略する。

(実施の形態 3 )

本発明の実施の形態 3を説明する。

図 7は本発明の実施の形態 3における画像符号化装置 1 0 0の動作を示すフローチャートである。本実施の形態は、メモリを開放した時刻によつてピクチャの保存を決定することを特徴とする。

まず、 Step30で当該復号画像がピクチャメモリ PicMem2に保存するものかどうかをメモリ管理コマンド MMCOの指示に基づき判断する。

保存する場合には、開放されたピクチャメモリ領域のうち表示時刻が最も古いピクチャメモリ領域を取得し（Step31 )、その領域に復号画像を保存する（Step32)。

また、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。また、これらの最も古い時刻は時刻である必要はなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。

以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。また、ピクチャメモリ PicMem2 に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチヤの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ュニット DispPicCtrl において表示したかどうかの情報を管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。なお、ピクチャサイズが変更になった場合の動作は、実施の形態 1 と同様なので説明を省略する。

(実施の形態 4 )

本発明の実施の形態 4を説明する。

図 8は本発明の実施の形態 4における画像符号化装置 1 0 0の動作を示すフローチャートである。本実施の形態は、メモリを開放した順番によつてピクチャの保存を決定することを特徴とする。

まず、 Step40で当該復号画像がピクチャメモリ PicMem2に保存するものかどうかをメモリ管理コマンド MMCOの指示に基づき判断する。

保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し（Step41 )、その領域に復号画像を保存する（Step42)。表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最初に開放されたピクチヤの領域が、後で開放された領域よリも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。

なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチヤ領域毎に開放されているかどうかの情報、例えば「 _u s _e d ：開放されていない（参照ピクチャとして使用可能）」か「 _{u n u s e} d _: 開放済み (以後、参照ピクチャとして参照されない）」かをメモリ管理コマンド MMCOに従ってピクチャメモリ PicMem2において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリ PicMem2 を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数（またはピクチャ数）の画像が保存される先入れ先出し方式（ F I F O ) のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。

(実施の形態 5 )

本発明の実施の形態 5を説明する。

図 9は本発明の画像復号化方法を実現する画像復号化装置のプロック図である。同図において、図 3の本発明の画像符号化方法を実現する画像符号化装置のブロック図および図 2 8の従来の画像復号化方法を実現する画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。

図 9の画像復号化装置 1 5 0において、従来例を示す図 2 8 と異なる点は、図 9では、外部から取得した変更するピクチャサイズ、および可変長復号化ュニッ卜 VLDから取得したメモリ管理コマンド MMCOを基に、特另 IJな I ピクチャ（IDR(Instantaneous D ecoding Refresh)ピクチャ）のタイミングでピクチャサイズを変更する指令をピクチャメモリ PicMem2 に出力するピクチャサイズ変更検出ュニッ卜 PicSizeDet と、表示ピクチャ管理ュニッ卜 DispPicCtrlが新たに設けられている。

表示ピクチャ管理ュニット DispPicCti'l はピクチャメモリ PicMem2 における開放した領域に対してピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチャを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存（上書き）されない限りは直前に保存したピクチャのデータがメモリ内に残っており再生できる。そこで、仮に表示していないピクチャが開放されたとしても、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で開放されているがまだ上書きされずに残っている表示されていないピクチャを表示することができる。なお、表示済は、表示装置への出力済と実質的に同義である.

このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されているメモリ領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。

以上の構成によリ、従来の課題を解決する画像復号化装置が実現できる。なお、画像復号化装置 1 5 0は、実施の形態 3、および実施の形態 4に示した画像符号化装置 1 0 0により符号化された符号化信号を復号するようにしてもよい。その場合にピクチャメモリの利用についての動作は、実施の形態 3および実施の形態 4に示された画像符号化装置と同様である。即ち、このピクチャメモリで開放された（以後、参照されない）ピクチャの再利用については、実施の形態 1 から実施の形態 3に記載した方法で新たにピクチャを保存する領域の決定方法のいずれかを使うこともできる。上述した実施の形態 3および実施の形態 4に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。

最初に、実施の形態 3に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。

まず、画像復号化装置 1 5 0における加算ユニット Addより出力される復号画像がピクチャメモリ PicMem2 に保存するものかどうかをメモリ管理コマンド MMCOの指示に基づき判断する。

保存する場合には、最も古い時刻に開放されたピクチャメモリ領域を取得し、その領域に復号画像を保存する。

このとき、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域、あるいは最も表示時刻が古いピクチャの保存されているメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作リ方によっては表示時刻を入手することが困難である。最も古い時刻に保存されたピクチャの領域が、よリ新しい時刻に保存された領域よリも古い表示時刻のピクチャが保存されていた可能性が高い。古い表示時刻のピクチャが既に表示されている可能性が高いのは当然であるため、最も古い時刻に保存されたピクチャは既に表示されている可能性が高い。従って、最も古い時刻に保存されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャを上書きしない可能性が高くなる。また、最も古い時刻がピクチャを符号化した時刻の最も古い時刻である場合、例えば最も古い時刻に符号化されたかどうかはピクチャの予測構造 ■ 復号順序から判断することが可能である。

また、これらの最も古い時刻は時刻である必要ばなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。

以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、寧示のために保存が必要なピクチャを保存することができる。

また、ピクチャメモリ PicMem2 に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチャの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ュニット DispPicCtrlにおいて表示したかどうかの情報を管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。

次に、実施の形態 4に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明するまず、画像復号化装置 1 5 0の上述した加算ュニット Addより出力される復号画像がピクチャメモリ PicMem2 に保存するものかどうかをメモリ管理コマンド MMCOの指示に基づき判断する。

保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し、その領域に復号画像を保存する。

表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作リ方によっては表示時刻を入手することが困難である。最初に開放されたピクチヤの領域が、後で開放された領域よリも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。

なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチヤ領域毎に開放されているかどうかの情報、例えば Γ u s _e d ：開放されていない（参照ピクチャとして使用可能）」か Γ u _n u _{s e} d _: 開放済み (以後、参照ピクチャとして参照されない）」かをメモリ管理コマンド

MMCOに従ってピクチャメモリ PicMem2において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリ PicMem2 を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数（またはピクチャ数）の画像が保存される先入れ先出し方式（ F I F O ) のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。

以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。

尚、表示ュニッ卜 Disp は画像復号化装置 1 5 0の中に備えるのではなく、画像復号化装置 1 5 0からは表示ユニット Disp でピクチャを表示するために必要なデータのみを送出し、表示ユニット Disp を画像復号化装置 1 5 0の外部に備えて実現してもよい。

ここで、実施の形態 2で説明したピクチャサイズが変更される場合における画像復号化装置 1 5 0の動作を説明する。なお、実施の形態 3および 4に対する以下の動作も同じなので、説明を省略する。

実施の形態 2に示されたピクチャサイズが変更される場合における第 1 の方法に対応する方法として、画像復号化装置 1 5 0は、ピクチャサイズの変更指令があつたときは、メモリの参照ピクチャの保存された参照用領域と表示用ピクチャの保存された表示用領域を含む全領域を開放して初期化を行う。

図 1 0は、画像符号化装置 1 5 0の動作を示すフローチャートである。ピクチャサイズ変更検出ュニッ卜 PicSizeDet から出力される信号が、ピクチャサイズの変更を示すものかを判定し（Step l00)、ピクチャサイズの変更がある場合は（Step lOOの Yes)、ピクチャメモリ PicMem2の全メモリ領域を開放して（再利用可能な状態として）初期化し（Step l02)、処理を終了する。

一方、ピクチャサイズの変更がない場合（Step lOOの No)、可変長復号化ュニット VLDから出力されるメモリ管理コマンド MMCOが、ピクチャメモリ PicMem2 の全メモリ領域を開放する（初期化する）ことを示すものかを判定し（Step lOl )、示すものである場合は（Step lO lの Yes)、全メモリ領域を開放し（Step l02)、示すものでない場合は（Step lOl の No)、参照ピクチャの保存された参照用領域のみを開放して（ Step l03)、処理を終了する。

このようにメモリの全領域を開放することで、サイズの異なるピクチャが混在することにより生じるメモリの断片的な使用を防止できるため、メモリの使用効率の劣化を抑えることができる。

次に、実施の形態 2に示されたピクチャサイズが変更される場合の第 2 の方法に対応する方法として、画像復号化装置 1 5 0が行う動作について説明する。

ピクチャサイズを変更した場合に、メモリの全領域を開放する方法か、あるいは参照ピクチャが保存された参照用領域のみを開放して、未表示のピクチャについては画像復号化装置 1 5 0が判断して表示できるものを表示する方法かを切り替える。

実施の形態 2で説明したように、メモリの全領域を開放するか、参照用領域のみを開放するかを示す指示情報（フラグ）は、画像符号化装置 1 0 0から出力されるストリーム Strのメモリ管理コマンド MMCO に含まれる。

画像復号化装置 1 5 0は、メモリ管理コマンド MMCO に含まれる指示情報に基づいて、上記 2つの方法のうちいずれを行うかを判断する。

図 1 1 は、その判断動作を示すフローチャートである。

まず、指示情報（フラグ）がメモリの全領域を初期化するか否かのいずれを示しているかを判断し（Stepl 50)、全領域の初期化を示している場合は（Step l 50の Yes)、未表示の表示用ピクチャの保存された表示用領域を含むメモリの全領域を開放して初期化を行い（Step l 51)、そうでない場合は（Step l 50の No)、参照用領域のみ開放して初期化を行う（Step 152)。

この指示情報（フラグ）が全領域の初期化を示していない場合は、画像復号化装置 1 5 0は、参照用領域のみの開放を行い、参照用領域以外の領域にある未表示のピクチャについては画像復号化装置 1 5 0が判断して表示できるものを表示するようにする。

この参照用領域のみの初期化を行う場合の画像復号化装置 1 5 0の動作を、フローチャートを用いて説明する。

図 1 2は画像復号化装置 1 5 0 (デコーダ）の動作を示すフローチヤ一卜である。

ピクチャサイズ変更検出ュニッ卜 Pic SizeD et から出力される信号が、ピクチャサイズの変更を示すものかを判定し（Step200)、ピクチャサイズの変更でない場合は（Step 200の No)、表示用領域に保存された表示すベき未表示のピクチャを表示する（Step 203)。

一方、ピクチャサイズの変更である場合は（Step 200の Yes)、表示用領域に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し（Step201)、変更前のものでない場合は（Step201の No)、表示すべき未表示のピクチャを表示する（Step203 )。変更前のものである場合は ( Step201の Yes )、表示用ピクチャが表示可能か否かを判断し、表示可能なピクチャを表示する（Step202)。

この表示可能か否かの判断についての画像復号化装置 1 5 0の動作を説明する。

図 1 3は、画像復号化装置 1 5 0のピクチャの表示に関する動作を示すフローチヤ一トである。

図 1 3において図 1 2と同じものには同じ符号を付している。

表示用に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し（Step201 )、変更前のピクチャでない場合は（Step201 の No)、そのピクチャを表示する。一方、変更前のピクチャである場合は（Step201 の Yes)、表示するピクチャに損傷があるかを判定し（Step211)、損傷がない場合は（Step211 の No)、そのピクチャが表示可能であるとして表示する（Step210)。損傷がある場合は（Step211の Yes)、そのピクチャを表示せずに、例えば前のピクチャを表示する。ここで損傷が無いというのは、表示すべきピクチャが格納されているピクチャの一部であっても新しいピクチャのデータを保存するために上書きされていないことを意味する。こうすることで、画像復号化装置 1 5 0は、表示するピクチャに損傷があるかを判定し、損傷がないピクチャを表示可能と判断して表示する。

このように、図 1 1 、図 1 2、図 1 3のフローチャートで説明したように、画像復号化装置 1 5 0は、ピクチャサイズの変更があつたときに、メモリの全領域を初期化するか否かを示す指示情報（フラグ）に応じた、未表示のピクチャに対する表示を行う。

以上のような画像復号化装置 1 5 0の画像復号化方法により、ピクチャサイズの変更があつたときでも、メモリの全領域を初期化するか参照用領域のみを初期化して未表示の表示用ピクチャを表示可能なものは表示するようにするかを切り替えることで、適切な復号化が可能となる。すなわち、例えばメモリの空き容量が少ないときは、メモリの全領域を初期化して再利用可能とし、メモリの空き容量が大きいときは、参照用領域のみを初期化することで、未表示のピクチャの表示を可能とするようにして柔軟に対処することが可能である。

(実施の形態 6 )

実施の形態 6では、次の用語を用いて説明する。すなわち、参照ピクチャバッファは、画像符号化装置内のピクチャメモリ PicMem2 における参照用領域と表示用領域とを合わせた領域をいう。仮想 ■ ディスプレイ遅延バッファは、画像符号化装置内のピクチャメモリ PicMem2 に確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの時間的参照番号（ピクチャ番号等）を保持する。参照メモリバッファは、画像復号化装置内のピクチャメモリ PicMem2における参照用領域をいう。ポスト ' デコーダ - ノくッファは、画像復号化装置内のピクチャメモリ PicMem2 における表示用領域をいう。時間的参照番号は、表示時刻の順序に従ったピクチャの番号をいい、ピクチヤ時刻 Timeに相当するものでもよい。

まず、画像符号化装置について説明する。仮想 ■ ディスプレイ遅延バッファは、画像符号化装置での予測符号化に用いられる参照ピクチヤの最大数を制限するために用いられる。

図 1 4は、仮想 - ディスプレイ遅延バッファと後方参照ピクチャの最大数との間の関係を決定する処理を示す。図 1 4中の各モジュールは、ピクチヤ構造決定ュニット PicStruct、参照ピクチャ管理ュニット RefPicCtrl 及び表示ピクチャ管理ユニット DispPicCtrlにおける機能ブロック又は処理ステップを表す。図に示すように、このプロファイル及びレベルに対する、許容された参照ピクチャの最大数 N _Rは、モジュール 4 0 1 で決定される。この値は、各プロファイル及びレベル定義されており、エンコーダは NRに相当するプロファイル ' レベルの値をストリームの情報として符号化し、デコーダはストリームのプロファイル ■ レベルの値から NR を取得する。次いで、画像符号化装置は、それがモジュール 4 0 2におけるビデォ ' シーケンスを符号化するのに最適な後方参照ピクチャの最大数 N _B を設定する。この N _B値に基づき、仮想 ■ ディスプレイ遅延バッファのサィズを決定することができる。 N _Bが 2よりも小さい場合には、仮想 ■ デイスプレイ遅延バッファを必要としない。しかしながら、 N _Bが 2以上である場合には、 N _B— 1 ピクチャの仮想 ' デイスプレイ遅延バッファがモジュール 4 0 4で生成される。仮想 ■ ディスプレイ遅延バッファに格納されているピクチャの情報はメモリ中あるいは何れかのレジスタ中に確保される。この仮想 ' ディスプレイ遅延バッファは、画像符号化装置に大きな物理メモリ空間を必要としない。それは、画像復号化装置で復号化した画像を表示（出力）する必要がなければ、どのピクチャが表示のために仮想 ■ ディスプレイ遅延バッファに格納されているかを判断するだけでよいため. 再構成（復号）ピクチャ ■ データ全体でなく、どの再構成（復号）ピクチャであるかを特定する参照ピクチャの記述（ピクチャ番号等）のみが仮想 - ディスプレイ遅延バッファに格納されるからである。仮想 ■ ディスプレイ遅延バッファ以外には、ディスプレイ ■ カウンタがモジュール 4 0 5で生成され、その値がメモリ中あるいは何れかのレジスタ中に確保される。このカウンタは、仮想 " ディスプレイ遅延バッファから不要なピクチャを除去する判断に用いられる。プロファイル及びレベル定義に基づき、画像符号化装置は、次いで、モジュール 4 0 6に示すように参照ピクチャに対するメモリ空間の 1\1 _[¾ピクチャ ' サイズを生成する。

最大仮想 ■ ディスプレイ遅延バッファ ' サイズ = N _B - 1 ( 1 )

ここで、 N _B < N _Rである。

図 1 5は、画像符号化装置におけるポス卜 ■ エンコーディング処理すなわち、符号化後に復号化されたピクチャ（ェンコ一デッド ■ ピクチャ又は単にピクチャと呼ぶ）について参照メモリバッファに格納する処理を示す。図中のモジュールは、参照ピクチャ管理ュニット RefPicCtrl及び表示ピクチヤ管理ュニット DispPicCtrlにおける機能プロック又は処理ステツプを表す。一つのピクチャがモジュール 5 0 1 でエンコードされた後、ピクチャは、それがモジュール 5 0 2で参照ピクチャとして用いられるかどうか判定される。ピクチャが参照ピクチャである場合には、可能な参照ピクチャの最大数が式（ 2 ) に基づき計算される。 N M a x = N _R - F v ( 2 )

ここで、 N M a xは、可能な参照ピクチャの最大数を表し、 N _Rは、プ口ファイル及びレベル定義で許容される参照ピクチャの最大数を表す。 F Vは、仮想 ' ディスプレイ遅延バッファ ' フルネスつまり、仮想 ■ デイスプレイ遅延バッファのサイズ（NB— 1 ) のうち現に使用されている数を表す。

参照ピクチャ ■ バッファの参照ピクチャの数が N M a Xよりも小さい場合には、ェンコーデッド■ ピクチャは、モジュール 5 0 6で再構成（復号）されかつモジュール 5 0 7で参照ピクチャ ' バッファに記憶される。十分な空きが存在しない場合には、画像符号化装置は、モジュール 5 0 4に示すようにバッファからある未使用参照ピクチャ r_{unus e}d (以降、参照ピクチヤとして参照されない）」を除去することによって参照ピクチャ■バッファに必要な領域を確保する。バッファから除去するような未使用参照ピクチヤが存在しない場合には、ェンコ一デッド ' ピクチャは、参照ピクチャとして使用しない。ェンコーデッド ■ ピクチャが参照ピクチャではない場合には、ェンコ一デッド · ピクチャの時間的参照番号は、モジュール 5 0 5でディスプレイ ■ カウンタと比較される。非参照ピクチャの時間的参照番号がディスプレイ ■ カウンタよりも小さい場合には、仮想ディスプレイ遅延バッファは、モジュール 5 0 8で更新される。モジュール 5 0 8では、仮想 ■ ディスプレイ遅延バッファは、ディスプレイ ■ カウンタに等しいかそれ以前の時間的参照番号を有するピクチャを除去しかつ現行の非参照ピクチャの時間的参照番号をバッファに加える。ディスプレイ ■ カウンタよリも小さい時間的参照番号を有する仮想 "バッファのピクチャ数が、バッファのフルネスになる。ディスプレイ · カウンタは、ェンコ一デッド - ピクチャの数が N _Bに等しいか又は仮想ディスプレイ ■ カウンタがフルであるか、どちらかが早いときに、最初に更新動作を開始する。その後、ディスプレイ ■ カウンタは、モジュール 5 0 9でエンコードされた全てのピクチヤに対して符号化される毎に更新される。

図 1 6は、画像復号化装置におけるポスト · デコーディング処理すなわち画像復号化装置において復号化されたピクチャ（復号化ピクチャ又は単にピクチャと呼ぶ）について参照ピクチャバッファに格納する処理を示す。図中のモジュールは、表示ピクチャ管理ュニット DispPicCtrlにおける機能ブロック又は処理ステップを表す。ピクチャは、モジュール 6 0 1 で復号化される。モジュール 6 0 2では、画像復号化装置は、ピクチャを参照ピクチャとして記憶することが必要かどうかを決定する。復号化されたピクチャを参照ピクチャとして記憶する場合には、それは、モジュール 6 0 6で参照ピクチャバッファに記憶される。そうでなければ、画像復号化装置は、モジュール 6 0 3でこのピクチャを表示（出力）する時間であるかどうかをチェックする。復号化されたピクチャをまだ表示（出力）すべき時刻でない場合には、ピクチャは、表示（出力）する時刻までモジュール 6 0 4でポスト ' デコーダ ' バッファに記憶される。ポスト ' デコーダ - バッファと参照ピクチャバッファは、物理的に同じメモリ領域を共用する。換言すると、同じメモリの各領域は、参照ピクチャバッファとしてあるときに用いる場合とポスト ' デコーダ，バッファとして用いる場合とを切り替えることができる。

モジュール 6 0 5では、次いで画像復号化装置は、それらのディスプレィ ■ タイミングに基づき参照ピクチャバッファ又はボスト ■ デコーダ ■ バッファから表示（出力）するピクチャを決定する。一旦ポスト 'デコーダ - バッファからのピクチャが表示（出力）されると、それは、バッファから除去される。他方、参照ピクチャは、ストリームによって今後参照されないことが示されたときに参照ピクチャバッファから除去されるか又はボス卜 · デコーダ ■ バッファに移動されるだけである。図 1 7は、各ピクチャ間隔で参照ピクチャの最大数を決定するために仮想 - ディスプレイ遅延バッファを用いる方法の一例を示す。この例について、許容される参照ピクチャの最大数 N _Rは、 4とする。画像符号化装置は、後方参照ピクチャの最大数 N _Bを 3に設定する。それゆえに、二つのピクチャの仮想'ディスプレイ遅延バッファが生成される（領域が確保される）。ディスプレイ ' カウンタは、仮想的に表示（出力）されるピクチャの時間的参照番号を記憶及び更新するために用いられる。図中、参照メモリバッファにおける、空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照用ピクチャが格納されていることを、斜線でハッチングされた領域は表示用ピクチャが格納されていることを示す < また、仮想'ディスプレイ遅延バッファにおける空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照メモリパッファ中の表示用ピクチャに対応する時間的参照番号が格納されていることを. 斜線でハッチングされた領域は、表示用ピクチャの格納領域が参照メモリバッファ中に存在しないことを示す。参照メモリバッファにおけるハッチングされた領域に対応した、同数の仮想'ディスプレイ遅延バッファは、表示用ピクチャの時間的参照番号を保持する。

図に示すように、ピクチャ B 2及び B 3は、参照ピクチャに対して用いられ、それゆえにそれらは、 I 0及び P 4と一緒に参照メモリ ' バッファに記憶されかつディスプレイ ■ カウンタは、ピクチャ B 3が符号化された後に更新が開始される。時間 T 6において、 B 5は、参照ピクチャとして用いられないが、それは、その時間的参照番号がディスプレイ ■ カウンタよりも大きいので、仮想 ■ デイスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおける仮想 ■ ディスプレイ遅延バッファのフルネス f vは、 1 でありかつ可能な参照ピクチャの最大数 N M a Xは、 3である。同様に時間 T 7において、ディスプレイ ' カウンタよりも大きいその時間的参照番号によリ Β 5をまだ除去することができないが、 Β 6は、仮想 - ディスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおける N M a Xは、 2である。参照ピクチャ 1 0は、不十分なメモリによリ参照メモリ ' バッファから除去されなければならない。従つて、そのときの B 7は、 P 4及び P 8からだけで予測することができる。図 1 8は、ディスプレイ ' カウンタが仮想 ' ディスプレイ遅延バッファを用いて先に増分されるような一例を示す。この例について、 N _Rは、 5 であるとする。画像符号化装置は、複数の逆方向参照ピクチャの最大数 N _Bを 3に設定する。それゆえに、二つのピクチャの仮想 ' ディスプレイ遅延バッファが生成される。

図に示すように、 B 1、 B 2、 B 3及び B 4は、参照ピクチャに用いられないが、 B 7及び B 8が用いられる。それゆえに、 B 1 及び B 2は、デイスプレイを待っために時間 T 3で仮想 ■ ディスプレイ遅延バッファに記憶される。仮想 - ディスプレイ遅延バッファは、時間 T 3でフルなので、ディスプレイ ' カウンタは、時間 T 3で更新することを開始する。デイスプレイ · カウンタが、それが更新することを開始できる前に少なくとも仮想-ディスプレイ遅延バッファがフルになるのを待つことが必要な理由は、それが画像復号化装置で発生すると思われる Bピクチャのリオ一ダリングを処理することが必要だからである。

図 1 7に示すように、画像復号化装置は、ポスト ' デコーダ ' バッファとしてその参照ピクチャバッファの一部をときどき用いる。それゆえに参照ピクチャバッファの固定物理メモリ ' サイズに基づき、画像復号化装置は、そのある部分が参照ピクチャに用いられかつ残りがポスト 'デコーダ - バッファとして用いられるように参照ピクチャバッファを操作する。例えば、時間 T 3で、参照ピクチャバッファ全体は、参照ピクチャを記憶するために用いられる。他方、時間 T 7で、参照ピクチャバッファの二つだけが P 4及び P 8参照ピクチャを記憶するために用いられる。残りは、ポスト - デコーダ ' ピクチャ B 5及び B 6を記憶するために用いられる。

画像復号化装置側で用いられる参照ピクチャの最大数は、画像符号化装置に対するプロファイル及びレベル定義で規定される。それゆえに、画像符号化装置は、プロファイル及びレベルによって定義された参照ピクチャの最大数まで用いることができる。従って、画像符号化装置は画像復号化装置がこの拘束条件に基づいて動作を行って場合に同様の動作が実現できる（参照ピクチャ数が定義された値を超えない）ように、参照ピクチャの管理を行って符号化を行うことが必要である。

同様に、画像復号化装置は、画像符号化装置と同じ数の参照ピクチャを有する。さらに、追加メモリ空間がポスト ■ デコーダ ■ ノくッファに対して必要である。ポスト ' デコーダ ' ピクチャの最大数は、式（ 3 ) によって定義される。

N = N _R - 2 ( 3 )

ここで、 N は、ポスト ' デコーダ ' ピクチャの最大数を表し、 N _Rは、プロファイル及びレベル定義によって定義された参照ピクチャの最大数を表す。

それゆえに、プロファイル及びレベルに対して適合する画像復号化装置に対して、このポスト ■ デコーダ ' ピクチャの最大数は、画像復号化装置の設計で考慮しなければならない。このポスト ■ デコーダ ■ ピクチャの最大数は、式 3から計算することができるか又はプロファイル及びレベル定義で特定することができる。一旦ポスト - デコーダ ' ピクチャの最大数がプロファイル及びレベル定義で特定されたならば、値は、式（ 4 ) に基づいて後方予測ピクチャの最大数が導出できる。

N = N + 1 ( 4 ) ここで、 N _Bは、参照ピクチャバッファの後方予測ピクチャの最大数を表す。本実施の形態では、それがプロファイルおよびレベル定義に準拠したストリー厶を復号化できるように画像復号化装置によって要求される最小メモリ要件になる。

後方予測の数は、画像復号化装置側で参照ピクチャバッファに追加された追加ボス卜 ■ デコーダ，ピクチャの数を削減するために制限することも可能である。例えば、後方予測の最大数が 2つに制限された場合には、その場合には 1 つの追加ポスト ■ デコーダ ■ ピクチャだけを参照ピクチャバッファに追加することが必要であり、それは、画像復号化装置側においてポスト ■ デコーダ ■ ピクチャに余分な物理メモリ空間の割リ当てが行われることを避けることができる。

(実施の形態 7 ) - さらに、上記各実施の形態で示した画像符号化方法及び画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。図 1 9は、上記各実施の形態の画像符号化方法及び画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図 1 9 ( b ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図 1 9 ( a ) は、記録媒体本体であるフレキシブルディスクの物理フォーマツ卜の例を示している。フレキシブルディスク F D 1 はケース F内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラック T rが形成され、各トラックは角度方向に 1 6のセクタ S eに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク F D 1 上に割リ当てられた領域に、上記プログラムが記録されている。また、図 1 9 ( c ) は、フレキシブルディスク F D 1 に上記プログラムの記録再生を行うための構成を示す。画像符号化方法及び画像復号化方法を実現する上記プログラムをフレキシブルディスク F D 1 に記録する場合は、コンピュータシステム C sから上記プログラムをフレキシブルデイスクドライブ FDD を介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法及び画像復号化方法を実現する上記画像符号化方法及び画像復号 ^方法をコンピュータシステム Cs 中に構築する場合は、フレキシブルディスクドライブ FDD によりプログラムをフレキシブルディスクから読み出し、コンピュータシステム Csに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I Cカード、 R O Mカセット等、プログラムを記録できるものであれば同様に実施することができる。

(実施の形態 8 )

さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。

図 2 0は、コンテンツ配信サービスを実現するコンテンツ供給システム ex 1 0 0の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 ex 1 0 7 〜 ex 1 1 0が設置されている。

このコンテンツ供給システム _ex 1 0 0は、例えば、インタ一ネット ex 1 0 1 にインタ一ネットサービスプロバイダ ex 1 0 2および電話網 _ex 1 0 4、および基地局 e x 1 0 7 ~ e x 1 1 0を介して、コンピュータ ex 1 1 1 、 P D A (personal

digital assistant) e 1 1 2、カメラ ex 1 1 3、携帯電話 ex 1 1 4、力メラ付きの携帯電話 e x 1 1 5などの各機器が接続される。

しかし、コンテンッ供給システム ex 1 0 0は図 2 0のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 exl 0 7〜ex1 1 0を介さずに、各機器が電話網 exl 0 4に直接接続されてもよい。

カメラ ex 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A ( Wideband-Code Division Multiple Access ) 方式、若しくは G S M (Global System for Mobile Communications) 方式の携帯電話機、または P H S (Personal Handyphone System) 等であり、いずれでも構わない。

また、ストリ一ミングサーバ ex 1 0 3は、カメラ ex 1 1 3から基地局 exl 0 9、電話網 exl 0 4を通じて接続されておリ、カメラ ex 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラ exl 1 3で行っても. データの送信処理をするサーバ等で行ってもよい。また、カメラ 1 1 6で撮影した動画データはコンピュータ exl 1 1 を介してストリーミングサーバ ex 1 0 3に送信されてもよい。カメラ ex 1 1 6はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ ex 1 1 6で行ってもコンピュータ ex 1 1 1 で行ってもどちらでもよい。また、符号化処理はコンピュータ ex 1 1 1 やカメラ ex 1 1 6が有する L S I exl 1 7において処理することになる。なお、画像符号化 ■ 復号化用のソフトウェアをコンピュータ ex 1 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア（ C D— R O M、フレキシブルデイスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 ex 1 1 5で動画データを送信してもよい。このときの動画データは携帯電話 exl 1 5が有する L S I で符号化処理されたデータである。

このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex 1 1 3、カメラ ex 1 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバ exl 0 3に送信する一方で、ストリーミングサーバ exl 0 3は要求のあったクライアン卜に対して上記コンテンツデータをストリ一ム配信する < クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータ exl 1 1 、 P D A ex 1 1 2、カメラ exl 1 3、携帯電話 ex 1 1 4等がある。このようにすることでコンテンツ供給システム exl 0 0は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。

その一例として携帯電話について説明する。

図 2 1 は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話 exl 1 5を示す図である。携帯電話 exl 1 5は、基地局 exl 1 0との間で電波を送受信するためのアンテナ ex2 0 1 、 C C D カメラ等の映像、静止画を撮ることが可能なカメラ部 ex 2 0 3、カメラ部 ex 2 0 3で撮影した映像、アンテナ ex2 0 1 で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex 2 0 2、操作キー e X 2 0 4群から構成される本体部、音声出力をするためのスピーカ等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声入力部 ex 2 0 5、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア ex 2 0 7、携帯電話 ex1 1 5に記録メディア ex2 0 7を装着可能とするためのスロット部 ex2 0 6 を有している。記録メディア ex 2 0 7は S Dカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである E E P R O M Electrical V Erasable and Programmable Read Onlv Memory の— であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話 ex 1 1 5について図 2 2を用いて説明する。携帯電話 ex1 1 5は表示部 ex2 0 2及び操作キー e x 2 0 4を備えた本体部の各部を統括的に制御するようになされた主制御部 ex3 1 1 に対して、電源回路部 ex 3 1 0、操作入力制御部 ex 3 0 4、画像符号化部 ex 3 1 2、カメラインターフェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、画像復号化部 ex3 0 9、多重分離部 ex 3 0 8、記録再生部 ex 3 0 7、変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を介して互いに接続されている。

電源回路部 ex3 1 0は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによリカメラ付ディジタル携帯電話 ex1 1 5を動作可能な状態に起動する。携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 2 0 5で集音した音声信号を音声処理部 ex 3 0 5によってディジタル音声データに変換し、これを変復調回路部 ex 3 0 6でスぺクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex2 0 1 で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部 ex 3 0 6でスぺクトラム逆拡散処理し、音声処理部 ex 3 0 5によってアナ口グ音声信号に変換した後、これを音声出力部 e X 2 0 8を介して出力する。さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キ一 e X 2 0 4の操作によって入力された電子メールのテキストデータは操作入力制御部 ex 3 0 4を介して主制御部 ex 3 1 1 に送出される。主制御部 ex 3 1 1 は、テキストデータを変復調回路部 ex3 0 6でスぺクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基地局 ex1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 ex 2 0 3で撮像された画像データをカメラインターフェース部 ex 3 0 3を介して画像符号化部 ex 3 1 2に供給する。また、画像データを送信しない場合には、カメラ部 ex2 0 3で撮像した画像データをカメラインタ一フヱース部 ex 3 0 3及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に直接表示することも可能である。

画像符号化部 ex3 1 2は、本願発明で説明した画像符号化装置を備えた構成であリ、カメラ部 ex2 0 3から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部 ex3 0 8に送出する。また、このとき同時に携帯電話機 ex1 1 5は、カメラ部 ex 2 0 3で撮像中に音声入力部 ex 2 0 5で集音した音声を音声処理部 ex 3 0 5を介してディジタルの音声データとして多重分離部 ex 3 0 8に送出する。

多重分離部 ex3 0 8は、画像符号化部 ex 3 1 2から供給された符号化画像データと音声処理部 ex 3 0 5から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex3 0 6 でスぺク卜ラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ ex 2 0 1 を介して基地局 ex 1 1 0から受信した受信信号を変復調回路部 ex 3 0 6でスぺクトラム逆拡散処理し、その結果得られる多重化データを多重分離部 ex 3 0 8に送出する。

また、アンテナ ex 2 0 1 を介して受信された多重化データを復号化するには、多重分離部 ex 3 0 8は、多重化データを分離することにより画像データの符号化ストリームと音声データの符号化ス卜リームとに分け、同期バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給する。

次に、画像復号化部 ex 3 0 9は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex 3 0 5 は、音声データをアナログ音声信号に変換した後、これを音声出力部 ex 2 0 8に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図 2 3に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局 ex 4 0 9では映像情報の符号化ストリームが電波を介して通信または放送衛星 ex 4 1 0に伝送される。これを受けた放送衛星 ex 4 1 0は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex4 0 6で受信し、テレビ（受信機） ex4 0 1 またはセットトップボックス（ S T B) ex 4 0 7などの装置により符号化ストリ一厶を復号化してこれを再生する。また、記録媒体である CDや DVD等の蓄積メディア ex4 0 2に記録した符号化ストリームを読み取り、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタ ex4 0 4に表示される。また、ケーブルテレビ用のケーブル ex4 0 5または衛星地上波放送のアンテナ ex4 0 6に接続されたセッ卜トップボックス ex 4 0 7内に画像復号化装置を実装し、これをテレビのモニタ ex 4 0 8で再生する構成も考えられる。このときセット卜ップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 exl 0 7等から信号を受信し、車 ex4 1 2が有する力一ナビゲーシヨン ex 4 1 3等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、 DVDディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ e X 4 2 0がある。更に SDカード e x 4 2 2に記録することもできる。レコーダ e X 4 2 0が上記実施の形態で示した画像復号化装置を備えていれば、 DVDディスク e x 4 2 1 や SD力一ド e X 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で表示することができる。

なお、力一ナビゲーション ex4 1 3の構成は例えば図 2 2に示す構成のうち、カメラ部 ex 2 0 3とカメラインターフェース部 ex 3 0 3、画像符号化部 e X 3 1 2を除いた構成が考えられ、同様なことがコンピュータ _ex 1 1 1 やテレビ（受信機） ex 4 0 1 等でも考えられる。また、上記携帯電話 ex 1 1 4等の端末は、符号化器■復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器■ システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

なお、本実施の形態では、本実施では表示すべき順序にピクチャの順序を並べ替えて出力することを表示と表現している。すなわち、復号化画像を表示デバイスに出力するためのプロセスを表示と表現しており、例えば他の記録機器で記録するために復号化画像を出す動作もこの表示の特殊な場合と考えられる。また、表示デバイスが画像メモリを有する場合には、復号化画像を実際の表示時刻よりも早めに表示デバイスに送信することも可能である。産業上の利用可能性本発明は、復号画像バッファに保存されている復号化済の画像を参照しながら予測符号化によリ画像を符号化し、さらに符号化された画像を復号化して当該復号画像を前記復号画像バッファに格納する画像符号化装置、及び復号画像バッファに保存されている復号化済の画像を参照しながら、予測符号化によリ符号化された画像を復号化して当該復号画像を前記復号画像バッファに格納する画像符号化装置に利用される。

Claims

請求の範囲

1 ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であつて、

復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるか否かを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させることを特徴とする画像符号化方法。

2 前記画像符号化方法は、

復号化された画像が参照用の画像であるか否かを判定する第 1 の判定ステツプと、

復号化された画像が表示時刻まで保持が必要な出力用の画像であるか否かを判定する第 2の判定ステップと、

第 1 の判定ステップにおいて参照用の画像と判定された画像および第 2 の判定ステツプにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるよぅピクチャバッファを管理する管理ス亍ップとを有することを特徴とする請求の範囲第 1項記載の画像符号化方法。

3 前記ピクチャバッファは一定のサイズを有し、

前記画像符号化方法は、さらに、

ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第 3の判定ステップと、

ピクチャバッファに保持されている画像が出力済となったか否かを判定する第 4の判定ステップとを有し、前記管理ステップにおいて、第 3及び第 4の判定ステップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する

ことを特徴とする請求の範囲第 2項記載の画像符号化方法。

4 前記画像符号化方法は、さらに、

複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化ステップを有する

ことを特徴とする請求の範囲第 3項に記載の画像符号化方法。

5 前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第 4の判定ステップにおいて出力済になったと判定された参照用でない画像を保持している領域に、第 1 の判定ステップにおいて参照用の画像と判定された画像および第 2の判定ス亍ップにおいて出力用の画像と判定された画像の何れかを格納する

6 前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第 1 の判定ステップにおいて参照用の画像と判定された画像および第 2の判定ステップにおいて出力用の画像と判定された画像の何れかを保持させることを特徴とする請求の範囲第 3項に記載の画像符号化方法。

7 前記画像符号化方法は、さらに、複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放ステップを有する

ことを特徴とする請求の範囲第 1項に記載の画像符号化方法。

8 ピクチャバッファに保持されている画像を参照しながら予測符号化された入力画像を復号化する画像復号化方法であって、

復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させる

ことを特徴とする画像復号化方法。

9 前記画像復号化方法は、

第 1 の判定ステップにおいて参照用の画像と判定された画像および第 2 の判定ステツプにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理ステップとを有することを特徴とする請求の範囲第 8項記載の画像復号化方法。

1 0 前記ピクチャバッファは一定のサイズを有し、

前記画像復号化方法は、さらに、

ピクチャバッファに保持されている参照用の画像が参照済となつたか否かを判定する第 3の判定手段と、

ピクチャバッファに保持されている画像が出力済となったか否かを判定する第 4の判定ステップとを有し、

前記管理ステップにおいて、第 3及び第 4の判定ステップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する

ことを特徴とする請求の範囲第 9項記載の画像復号化方法。

1 1 前記画像復号化方法は、さらに、

複数の符号化画像からなるシーケンス毎に、当該シーケンス単位の一定となる前記サイズを取得する復号化ステップを有する

ことを特徴とする請求の範囲第 1 0項に記載の画像復号化方法。

1 2 前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第 4の判定ステップにおいて出力済と判定された参照用で無い画像を保持している領域に、第 1 の判定ステップにおいて参照用の画像と判定された画像および第 2の判定ステツプにおいて出力用の画像と判定された画像の何れかを格納する

1 3 前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第 1 の判定ステップにおいて参照用の画像と判定された画像および第 2の判定ステツプにおいて出力用の画像と判定された画像の何れかを保持させることを特徴とする請求の範囲第 1 0項に記載の画像復号化方法。 1 4 前記画像復号化方法は、さらに、

複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、ピクチャバッファに保持されている参照用でない画像のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を出力する出力ステップを有する

ことを特徴とする請求の範囲第 8項に記載の画像復号化方法。

1 5 ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化装置であって、

復号化された画像について、参照.用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させる

ことを特徴とする画像符号化装置。

1 6 前記画像符号化装置は、

復号化された画像が参照用の画像であるか否かを判定する第 1 の判定手段と、

復号化された画像が表示時刻まで保持が必要な出力用の画像であるか否かを判定する第 2の判定手段と、

第 1 の判定手段によリ参照用の画像と判定された画像または第 2の判定手段によリ出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理手段と

を有することを特徴とする請求の範囲第 1 5項記載の画像符号化装置。 1 7 前記ピクチャバッファは一定のサイズを有し、

前記画像符号化装置は、さらに、

ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第 3の判定手段と、

ピクチャバッファに保持されている画像が出力済となったか否かを判定する第 4の判定手段とを有し、

前記管理手段は、第 3及び第 4の判定手段における各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する

ことを特徴とする請求の範囲第 1 6項記載の画像符号化装置。

1 8 前記画像符号化装置は、さらに、

複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化手段を有することを特徴とする請求の範囲第 1 7項に記載の画像符号化装置。

1 9 前記管理手段は、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第 4の判定手段により出力済になったと判定された参照用でない画像を保持している領域に、第 1 の判定手段によリ参照用の画像と判定された画像および第 2の判定手段によリ出力用の画像と判定された画像の何れかを格納する

ことを特徴とする請求の範囲第 1 7項に記載の画像符号化装置。

2 0 前記管理手段は、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第 1 の判定手段によリ参照用の画像と判定された画像および第 2の判定手段によリ出力用の画像と判定された画像の何れかを保持させる

ことを特徴とする請求の範囲第 1 7項に記載の画像符号化装置。 2 1 前記画像符号化装置は、さらに、

複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放手段を有する

ことを特徴とする請求の範囲第 1 5項に記載の画像符号化装置。

2 2 ピクチャバッファに保持されている画像を参照しながら予測符号化された入力画像を復号化する画像復号化装置であって、

復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させることを特徴とする画像復号化装置。

2 3 前記画像復号化装置は、

第 1 の判定手段によリ参照用の画像と判定された画像および第 2の判定手段により出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理手段とを有することを特徴とする請求の範囲第 2 2項記載の画像復号化装置。

2 4 前記ピクチャバッファは一定のサイズを有し、

前記画像復号化装置は、さらに、

ことを特徴とする請求の範囲第 2 3項記載の画像復号化装置。

2 5 前記画像復号化装置は、さらに、

複数の符号化画像からなるシーケンス毎に、当該シーケンス単位の一定となる前記サイズを取得する復号化手段を有する

ことを特徴とする請求の範囲第 2 4項に記載の画像復号化装置。

2 6 前記管理手段には、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第 4の判定手段により出力済になったと判定された参照用でない画像を保持している領域に、第 1 の判定手段により参照用の画像と判定された画像および第 2の判定手段により出力用の画像と判定された画像の何れかを格納する

2 7 前記管理手段は、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第 1 の判定手段により参照用の画像と判定された画像および第 2の判定手段により出力用の画像と判定された画像の何れかを保持させる

2 8 前記画像復号化装置は、さらに、

複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、ピクチャバッファに保持されている参照用でない画像のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を出力する出力手段を有する

ことを特徴とする請求の範囲第 2 2項に記載の画像復号化装置。

2 9 請求の範囲第 1項から第 7項の何れかに記載の画像符号化方法又は請求の範囲第 8項から第 1 4項の何れかに記載の画像復号化方法をコンビュ一タに実行させることを特徴とするプログラム。