WO2003088677A1

WO2003088677A1 - Image encoding method and image decoding method

Info

Publication number: WO2003088677A1
Application number: PCT/JP2003/004538
Authority: WO
Inventors: Shinya Kadono; Satoshi Kondo; Makoto Hagai; Kiyofumi Abe
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2002-04-12
Filing date: 2003-04-10
Publication date: 2003-10-23
Also published as: MY135229A; KR20040099094A; US7218787B2; CA2448970A1; EP2178304A2; EP1381238B1; BR0303673A; PT3096515T; DK3096515T3; EP3096515A1; US7167591B2; BRPI0303673B1; US20070041648A1; US7221803B2; EP3096515B1; CN1509575A; JP2004088723A; EP2178304A3; US20070041646A1; TW200412152A

Description

明細書画像符号化方法および画像復号化方法技術分野

本発明は、動画像信号を画面間の相関を利用して効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法、並びにそれをソフトウエアで実施するためのプログラム等に関する。背景技術

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになつてきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もつてみると、文字の場合 1文字当たりの情報量は 1〜 2バイ卜であるのに対し、音声の場合 1 秒当たり 64kbits (電話品質）、さらに動画については 1秒当たり 100Mb its (現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、 64kbps〜 1.5Mbps の伝送速度を持つサービス総合ディジタル網（ ISDN: Integrated Services Digital Network) によってすでに実用化されているが、テレビ .カメラの映像をそのまま ISDN で送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、 ITU-T (国際電気通信連合電気通信標準化部門）で国際標準化された H.261 や H.263 規格の動画圧縮技術が用いられている。また、 MPEG - 1規格の情報圧縮技術によると、通常の音楽用 GD (コンパクト■ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、 MPEG (Mo ing Picture Experts Group) とは、動画面信号のデジタル圧縮の国際規格であり、 MPEG-1は、動画面信号を 1.5Mbpsまで、つまりテレビ信号の情報を約 100分の 1 にまで圧縮する規格である。また、 MPEG - 1規格を対象とする伝送速度が主として約 1.5Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化された MPEG-2では、動画像信号が 2〜 1 5Mbpsに圧縮される。

さらに現状では、 MPEG- 1， MPEG-2 と標準化を進めてきた作業グループ（IS0/IEG JTG1/SG29/WG11) によって、より圧縮率が高い MPEG- 4が規格化された。 MPEG- 4では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、 IS0/1EGと 1TUの共同で次世代画面符号化方式として、 JVT (Joint Video Team) の標準化活動が進んでおり、現時点ではジョイント■モデル 2 (JM2) と呼ばれるものが最新である。

JVTでは、従来の動画像符号化と異なり、前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択可能である。ここで、ピクチャとはフレームまたはフィールドのことを表す。

図 1 ( a ) はメモリに保存された複数の参照画像から選択した画像を参照して符号化する画像符号化の説明図である。図 1 ( b ) は、画像が保存されるメモリの構成を示す構成図である。

図 1 ( b ) に示すように、メモリは短時間保存メモリと長時間保存メモリから構成される。短時間保存メモリは直前に復号化した数画像を記憶するものであり、いわゆる MPEG-1 や MPEG- 2の Pピクチヤ（前方予測符号化ピクチャ）および Bピクチャ（双方向予測符号化ピクチャ）の参照画像に相当する。長時間保存メモリは短時間保存メモリよリも画像信号を長時間保存するために用いられる。通常は、短時間保存メモリは F I FO (先入先出）メモリであり、メモリの上限を超えた画像を短時間保存メモリに保存する場合には、短時間保存メモリ内の最も古い時刻の画像が除去されてその領域に新しい画像が保存される。従って、通常は F I FOの仕組みによつてメモリから除去された参照画像を参照したい場合には、その参照画像を予め短時間保存メモリから長時間保存メモリに移動して長時間保存メモリ内に保存することにより長時間の参照が可能となる。長時間メモリは、保存する領域を明示する方法であり、同じ領域を指定して上書きしない限りその領域に保存したピクチャを参照可能である。図 1 ( a ) は画像符号化の際の予測状況を示しており、ピクチャ番号 2の画像はピクチヤ番号 0の画像を参照し、ピクチャ番号 1の画像はピクチャ番号 0またはピクチャ番号 2の画像を参照する。同様にして、ピクチャ番号 4の画像はピクチャ番号 0、 2の画像を参照し、ピクチャ番号 6の画像はピクチャ番号 0の画像を参照する。更にピクチャ番号 5の画像では、ピクチャ番号 0、 2、 4、 6の画像を参照することができる。

さて、この図 1 ( a ) では、ピクチャ番号 0、 6、 12の画像は比較的長時間後まで参照されるのに対し、ピクチャ番号 2、 4、 8の画像等は短時間後の画像からのみ参照される。そこで、画像を保存するメモリ領域を図 1 ( b ) の様に短時間保存用メモリと長時間保存メモリに分割し、長時間保存が必要なメモリにピクチャ（フレーム）番号 0、 6、 12 の画像を保存することができる。

さて、この図 1 ( a ) に示すようなメモリを効率的に使用するためには高度なメモリ管理が必要であり、メモリを制御するための仕組みが JVTに導入されている。

メモリを制御するコマンドは以下のものがある。

1 . 参照可能な画像を選択するコマンド

2. 短時間保存メモリで予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するコマンド

3. 短時間保存メモリの内容を長時間保存メモリに移動するコマンド

画像符号化■復号化では、参照可能な画像の中からブロック単位で予測誤差が小さい画像を参照画像として選択するため、ブロック単位で参照画像を指示する信号が必要である。予め参照可能な画像を選択することで、参照画像の候補数を適切な値に絞り込み、プロック単位で必要な参照画像指示信号のビット数を節約できる。

また、短時間保存メモリから長時間保存メモリに移動した場合は、同じ内容を短時間保存メモリと長時間保存メモリの両方に保存されていても無駄なだけであるから、短時間保存メモリ内の画像を除去する。

図 2 ( a ) ( b )は従来の画像符号化方法および画像復号化方法を示すフローチャートである。

図 2 ( a ) は、予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するときの画像符号化装置の動作を示している。図 2 ( a )において、まず画像符号化装置は、入力される入力画像を符号化する（Step100)。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Step101 )、不要なメモリ領域があるかを判定する（Step102)。不要なメモリ領域が有ると判定したときは (Stepl 02の Yes)、不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化し（Step103)、その不要なメモリ領域を開放（メモリ内の画像を除去）して（Step104)、処理を終了する。一方、画像符号化装置は、不要なメモリ領域が無いと判定した場合 (Step102の No) は、 Step103および Step104の動作は行わず、処理を終了する。

次に予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するときの画像復号化装置が行う動作を、図 2 ( b ) のフローチャートに沿って説明する。まず、画像復号化装置は、メモリ管理情報を復号化し（Step1 10)、そして符号化信号から画像信号を復号化する（Step1 1 1 )。画像復号化装置は、調査した結果メモリ開放コマンドがあるかを判定し（Step1 12)、メモリ開放コマンドがあれば（Step1 12 の Yes)、そのコマンドで除去すべき画像があるか、若しくは既にメモリ開放済み（画像除去済み）であるかを判定する（Step1 13)。開放済みと判定すれば（Stepl 13の Yes)、エラー（E R R O R ) とする。 JVT ではメモリから画像を除去した後に同じ画像を再度除去するコマンドを送ることは禁止されており、従って開放済みのメモリを再度開放する場合にはエラ一とすることになつているからである。一方画像復号化装置は、開放済みでないと判定すれば（Step1 13の No)、メモリを開放して（Step1 14)処理を終了する。また、メモリ開放コマンドが無いと判定した場合には（Step1 12の No)、 Step1 13および Step1 14の動作は行わなわず、処理を終了する。なお、 Step1 10と Step1 1 1は順不同であリ、入れ替わっても構わない。

図 3 ( a ) ( b )は従来の他の画像符号化方法および画像復号化方法を示すフローチヤ一卜である。

図 3 ( a ) は、短時間保存メモリから長時間保存メモリへ画像を移動するときの画像符号化装置が行う動作を示している。

図 3 ( a ) において、まず、画像符号化装置は、入力画像を符号化する（Step120)。符号化後に長時間保存メモリに移動すべき画像があるかを調査し（Step121 )、移動すベき画像があるかを判定する（Step122)。移動すべき画像があれば（Step122の Yes)、どのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化し（Step123)、そのコマンド通りに画像を長時間保存メモリに移動して（Step124)、処理を終了する。一方、画像符号化装置は、長時間保存メモリに移動すべき画像が無いと判定した場合（Step122の No) は、 Step123および Step124の動作は行わなわず、処理を終了する。

次に短時間保存メモリから長時間保存メモリへ画像を移動するときの画像復号化装置が行う動作を、図 3 ( b ) のフローチャートに沿って説明する。まず、画像復号化装置が、メモリ管理情報を復号化し（Step130)、次に符号化信号から画像信号を復号化する (Step131 そして、画像復号化装置は、復号化したメモリ管理情報に、長時間保存メモリに移動するコマンドがあるかを判定し（Step132)、あると判定すれば（Step132 の Yes) , 次にそのコマンドで移動すべき画像があるか若しくは既に移動済み（移動後に除去済のため画像が存在しない）であるかを判定する（Step133)。 JVT では長時間保存メモリに移動した後に同じ画像を再度長時間保存メモリに移動するコマンドを送ることは禁止されており、従って長時間保存メモリに移動済みの画像を再度長時間保存メモリに移動する場合にはエラーとすることになつている。よって、画像復号化装置は、長時間保存メモリに移動済みであると判定すれば（Step133の Yes)、エラー（ERROR) とし、移動済でないと判定すれば、長時間保存メモリに移動して（Step134) 処理を終了する。一方、画像復号化装置は、長時間保存メモリに移動するコマンドが無いと判定した場合には（Stepl 32の No) Stepl 33および Stepl 34の動作は行わなわず、処理を終了する。なお、 Step130と Step131は順不同であり、入れ替わっても構わない。

図 4 ( a ) ( b )は従来の更に他の画像符号化方法および画像復号化方法を示すフローチヤートである。

まず、参照可能な画像を選択するときの画像符号化装置が行う動作について、図 4 ( a ) のフローチヤ一卜に沿って説明する。

まず、画像符号化装置は、被符号化画像と相関が高いと予想される参照画像（通常は時間的に近接した参照画像）を参照画像の候補として選択する（Step200)。次に選択した参照画像の候補を示す指示情報（メモリ管理情報の一種）を符号化し（Step201 )、選択した参照画像の候補の中からブロック単位で適切な参照画像を参照して符号化して (Step202)、処理を終了する。なお、 Step201 と Step202は順不同であり、入れ替わつても構わない。

次に参照可能な画像を選択するときの画像復号化装置が行う動作について、図 4 ( b ) のフローチヤ一卜に沿って説明する。

まず、画像復号化装置はメモリ管理情報の一種である指示情報を復号化し（Step210)、その結果として參照画像の候補をメモリの中から選択し（Step21 1 )、選択した参照画像の候補の中からブロック単位で適切な参照画像を選択して参照しながら復号化して (Step212)、処理を終了する。

さて、このような従来の画像符号化方法および画像復号化方法では、不要な画像をメモリから除去するコマンドゃ、画像を短時間保存メモリから長時間保存メモリに移動するコマンドを画像符号化装置で符号化して出力し、画像復号化装置に伝送して復号化するが、この伝送する回数が 1つのピクチャのみに限定されているため、そのコマンドを伴うピクチャが伝送ェラ一等で消失した場合にはメモリ内の画像配置が正しく復元できないため、画像を復号化できなくなる。

また、画像の符号化および復号化において、参照画像を ¾択する場合に、単純に時間的に近い画像のみを参照画像候補とすると、画像の復号化のスケーラビリティ（図 1 ( a ) の予測構造の例では、 Bピクチャは復号化しなくても I ピクチャや Pピクチャが復号できたり、ピクチャ番号 4、 10、 16の Pピクチャを復号化しなくても他の Pピクチャは復号化できること）を考慮した最適な符号化ができない。すなわち、ピクチャ番号 6の画像に時間的に近い画像はピクチャ番号 4、 2 の画像であるが、実際にはピクチャ番号 0 の画像しか参照できないため、参照できないピクチャ番号 4、 2の画像を参照画像の候補に入れると符号化効率があまり良くない。

更に、従来の画像符号化方法では、メモリに保存しない画像に付随して、メモリ内の不要な画像を除去するコマンドや、画像を短時間保存メモリから長時間保存メモリに移動するコマンドを伝送することは禁止されているため、柔軟なメモリ管理情報のコマンド伝送が阻害されている。メモリに保存しない画像に付随して当該コマンドの伝送を禁止するのには、次の理由がある。すなわち、メモリに保存しない画像は最も重要度が低く、スケーラビリティで復号化されない可能性が高いため、このメモリに保存しない画像に付随した当該コマンドが復号化されずにメモリ内の画像配置が正しく復元できないことを回避するためである。

そこで、本発明は以上の課題を解決するために、伝送路エラーで一部のメモリ管理情報が消失しても正しく復元可能な画像符号化方法および画像復号化方法等と、参照可能な参照画像の候補をよリ適切に選択して符号化効率を高める画像符号化方法および画像復号化方法等を提供することを目的とする。発明の開示

この課題を解決するために、本発明に係る画像符号化方法は、メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化する画像符号化方法であって、前記選択した参照ピクチャを参照して、符号化対象ピクチャを符号化するピクチャ符号化ステップと、前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を前記符号化された符号化対象ピクチャに付随させて符号化する管理情報符号化ステップと、前記メモリ管理情報を前記管理情報符号化ステップにおける符号化とは別に再度符号化する管理情報再符号化ステップとを含むことを特徴とする _c これによつて、メモリ管理情報が複数回符号化出力されるため、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、複数回伝送されたメモリ管理情報のうちいずれかは伝送されて復号されると考えられるため、ピクチャを正しく復元できる可能性が高くなる。

また、前記管理情報再符号化ステップでは、前記再度符号化されたメモリ管理情報に、前記管理情報符号化ステップにおいてメモリ管理情報を付随させた前記符号化対象ピクチヤを特定する情報を付随させるようにしてもよい。

これによつて、符号化対象ピクチャに付随させて最初に符号化されたメモリ管理情報が画像復号化装置に伝送されるときに伝送エラーが生じた場合、メモリ管理情報の付随した符号化対象ピクチャが特定されるため、どの時点で伝送エラーが生じたかを検出することができる。

また、前記管理情報符号化ステップにおいて、前記メモリ管理情報を前記メモリに保存されない符号化対象ピクチャに付随させる場合には、前記管理情報再符号化ステップにおいて、前記メモリ管理情報を前記メモリに保存される符号化対象ピクチャにも付随させるようにしてもよい。

これによつて、復号されメモリに保存される重要画像にメモリ管理情報が付随されるため、メモリ管理情報の復号が確実に行われ、ピクチャを正しく復元できる可能性が高くなる。

また、本発明の画像復号化方法は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して復号化する画像復号化方法であって、前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を復号化し、復号化したメモリ管理情報に基づいて、前記メモリの不要になるメモリ領域を開放する場合に、開放するメモリ領域が開放済でなければメモリ領域を開放し、開放するメモリ領域がすでに開放済であれば前記メモリに対して何も処理を行わないことを特徴とする。

これによつて、ピクチャをメモリから除去することを示すメモリ管理情報を複数回受信した場合でも、エラ一処理することなく、ピクチャを正しく復号化できる。

また、メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して復号化する画像復号化方法であって、前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記画像復号化方法は、前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を復号化し、復号化したメモリ管理情報に基づいて、前記メモリ内に保存されている参照ピクチャを前記短時間保存メモリから前記長時間保存メモリに移動する場合に、移動対象の参照ピクチャが前記短時間保存メモリに存在すれば当該参照ピクチャを前記短時間保存メモリから前記長時間保存メモリに移動し、移動対象の参照ピクチャが前記短時間保存メモリに存在しなければ前記メモリ内の移動を行わないようにしてもよい。

これによつて、メモリ管理情報を複数回受信した場合でも、ェラー処理することなく、ピクチャを正しく復号化できる。

また、メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化する画像符号化方法であって、重要度が符号化対象ピクチャ以上である前記メモリ内に保存されている参照ピクチャを参照ピクチヤの候補として符号化するとしてもよい。

これによつて、参照可能なピクチャの候補をよリ適切に選択して符号化効率を高くすることができる。

また、本発明に係る画像符号化方法は、符号化対象ピクチャを符号化するステップと、前記符号化対象ピクチャを符号化した後に参照されない参照ピクチャがメモリ内にあるかないかを判断するステップと、前記参照されない参照ピクチャがあれば、参照されないことにより不要になるメモリ領域を開放するコマンドとして、符号化データを復号化する復号化装置において前記符号化対象ピクチャを復号化した後に前記不要になるメモリ領域を開放することを示すコマンドを符号化するステップと、前記不要になるメモリ領域を開放するステップと、前記符号化対象ピクチャよリ後に符号化される別の符号化対象ピクチャを符号化するときに、前記別の符号化対象ピクチャを復号化する前に前記不要になるメモリ領域を開放することを示すコマンドを符号化するステップとを含むことを特徴とする。

これによつて、不要になるメモリ領域を開放することを示す、最初のコマンドが欠落した場合においても、次に伝送されるコマンドがピクチャの復号化前に実行されるため、コマンドの実行の遅れを少なくすることができる。

また、本発明に係る画像復号化方法は、復号化対象ピクチャに付随するメモリを管理するメモリ管理情報を復号化するステップと、前記メモリ管理情報が、前記復号化対象ピクチャを復号化する前にメモリを管理する処理をすることを示す復号化前用コマンドであるかどうかを判断する第一の判断ステップと、前記第一の判断ステップで前記メモリ管理情報が前記復号化前用コマンドであると判断されたとき、メモリを管理する処理が済んでいるかどうかを判断する第二の判断ステップと、前記第二の判断ステップにおいてメモリを管理する処理が済んでいると判断されたとき、前記復号化対象ピクチャを複号化し、前記第二の判断ステップにおいてメモリを管理する処理が済んでいないと判断されたとき、前記メモリ管理情報に基づきメモリを管理する処理をした後に前記復号化対象ピクチャを復号化するステップとを含むことを特徴とする。

また、本発明に係る画像符号化方法は、符号化対象ピクチャを符号化するステップと、前記符号化対象ピクチャを符号化した後にメモリ内にある参照ピクチャが全て参照されないピクチャかどうかを判断する判断ステップと、前記判断ステップにおいて、前記メモリ内にある参照ピクチャは全て参照されないピクチャであると判断されたとき、前記メモリ内にある参照ピクチャを全て削除する命令である初期化コマンドを符号化するステツプと、前記メモリ内にある参照ピクチャを全て削除する初期化ステップと、前記符号化対象ピクチャより後に符号化される別の符号化対象ピクチャを符号化するときに、前記符号化対象ピクチャの符号化時に削除された、前記符号化対象ピクチャより前に前記メモリ内に保存された全参照ピクチャを削除の対象とする付加情報に基づいて、メモリ内にある参照ピクチャを削除することを示す命令である初期化再送コマンドを符号化するステップとを含むことを特徴とする。

これによつて、初期化コマンドが復号化装置に伝送されるときに、伝送路エラーで初期化コマンドが欠落した場合でも、初期化再送コマンドの付加情報に基づいて正常にメモリ内の初期化を行うことができる。

また、本発明に係る画像復号化方法は、復号化対象ピクチャに付随するメモリを管理するメモリ管理情報を復号化するステップと、前記復号化対象ピクチャを復号化するステツプと、前記メモリ管理情報に、メモリ内にある参照ピクチャを全て削除する命令である初期化コマンドがあるかどうかを判断する初期化判断ステップと、前記初期化判断ステップにおいて前記メモリ管理情報に、前記初期化コマンドがあると判断されなかつたとき、前記メモリ管理情報に、前記復号化対象ピクチャより前に復号化された別の復号化対象ピクチャを復号化したときに初期化して削除するべきである、前記別の復号化対象ピクチャより前に前記メモリ内に保存された参照ピクチャを削除するために、削除の対象を示す付加情報に基づいて、メモリ内にある參照ピクチャを削除する命令である初期化再送コマンドがあるかどうかを判断する初期化再送判断ステップと、前記初期化再送判断ステップにおいて、前記メモリ管理情報が前記初期化再送コマンドであると判断されたとき、メモリ内にある參照ピクチャが全て削除されているかどうかを判断する初期化済み判断ステップと、前記初期化済み判断ステップにおいて、メモリ内にある参照ピクチャが全て削除されていないと判断されたとき、前記付加情報に基づいてメモリ内にあるピクチャを削除する削除ステップとを含むことを特徴とする。

また、メモリ内に保存されている複数の参照ピクチャから選択したピクチャを参照してスライス単位で符号化したデータストリ一ムが記録された記録媒体であって、前記メモリ内に保存されている参照ピクチャをメモリから除去する場合に、除去する対象の参照ピクチャを指定する情報を少なくとも 2つのスライスに付随して符号化するとしてもよい。

これによつて、符号化がスライス単位で行われる場合において、復号化装置に伝送されるときに伝送路エラーが発生しても、複数回伝送された、メモリから除去する対象の参照ピクチャを指定する情報のうちいずれかは伝送されて復号されると考えられるため、ピクチャをスライス単位で正しく復元できる可能性が高くなる。

また、メモリ内に保存されている複数の参照ピクチャから選択したピクチャを参照してスライス単位で符号化したデ一タストリームが記録された記録媒体であって、前記メモリ内に保存されている参照ピクチャをメモリから除去する場合に、除去する対象の参照ピクチャを指定する情報を少なくとも 2つのスライスに付随して符号化し、さらに前記スライスが前記除去する対象の参照ピクチャを指定する情報を有することを示す情報を前記スライスに付随して符号化し、前記除去する対象の参照ピクチャを指定する情報を有さないスライスで、前記除去する対象の参照ピクチャを指定する情報を参照するとき、前記除去する対象の参照ピクチャを指定する情報を参照することを示す情報を符号化するとしてもよい。

これによつて、上記除去する対象のピクチャを指定する情報を有さないスライスでは、上記情報の付加を省略でき、符号化効率を上げることができる。

以上の様に、本発明にかかる画像符号化方法および画像復号化方法によれば、伝送路エラーで一部のメモリ管理情報が消失しても正しく復元可能な画像符号化方法および画像復号化方法と、参照可能な参照画像の候補をより適切に選択して符号化効率を高める画像符号化方法および画像復号化方法を実現することができ、その実用的価値は高い。尚、本発明は、このような画像符号化方法および画像復号化方法として実現することができるだけでなく、このような方法を用いた画像符号化装置および画像復号化装置として実現したり、画像符号化方法により符号化されたデータストリームが記録された記録媒体として実現したり、画像符号化方法および画像復号化方法におけるステップをコンピュ一タに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、 C D— R O Mなどの記録媒体やインターネットなどの伝送媒体を介して配信することができるのは言うまでもない。

なお、この明細書は、前の曰本国特許出願 Γ特願 2002 - 1 1 0424」、 Γ特願 2 002 - 1 90955」、 Γ特願 2003 -4971 1 J および米国仮出願「60/37 7656 J の内容を取り込む。図面の簡単な説明

図 1 (a) はメモリに保存された複数の参照画像から選択した画像を参照して符号化する画像符号化の説明図であり、図 1 (b) は画像が保存されるメモリの構成を示す構成図である。

図 2 (a) は従来の画像符号化方法を示すフローチャートであり、図 2 ( b) は従来の画像復号化方法を示すフローチヤ一トである。

図 3 (a) は従来の画像符号化方法を示す他のフローチャートであり、図 3 (b) は従来の画像復号化方法を示す他のフローチヤ一卜である。

図 4 (a) は従来の画像符号化方法を示す更に他のフローチャートであり、図 4 (b) は従来の画像復号化方法を示す更に他のフローチヤ一卜である。 ' 図 5は、本発明の画像符号化装置の構成を示すプロック図である。

図 6は、本発明の実施の形態 1における画像符号化方法を示すフローチヤ一トである。図 7は、本発明の画像復号化装置の構成を示すプロック図である。

図 8は、本発明の実施の形態 2における画像復号化方法を示すフローチャートである。図 9は、本発明の実施の形態 3における画像符号化方法を示すフローチヤ一トである。図 1 0は、本発明の実施の形態 4における画像復号化方法を示すフローチャートである。

図 1 1は、本発明の実施の形態 5における画像符号化方法を示すフローチャートである。

図 1 2は、本発明の実施の形態 6における画像符号化方法を示すフローチャートである。

図 1 3は、本発明の実施の形態 7における画像符号化方法を示すフローチャートである。 .

図 1 4 ( a ) は画像のピクチャ番号と保存ピクチャ番号と伝送順序の関係を示す説明図であり、図 1 4 ( b ) はデコードするピクチャ番号と保存されているピクチャ番号と削除されるピクチャ番号との関係を示す関係図であり、図 1 4 ( c ) はデコードするピクチャ番号と保存されているピクチャ番号と削除されるピクチャ番号との他の関係を示す関係図である。 '

図 1 5は、本発明におけるメモリ管理情報のコマンドを示す対応図である。

図 1 6は、本発明の実施の形態 8におけるコマンド実行手順を示すフローチャートであ。

図 1 7は、各ピクチャの符号化信号におけるヘッダ情報とフレームデータとの関係を示す模式図である。

図 1 8は、符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。

図 1 9は、各画像のピクチャ番号と保存ピクチャ番号と伝送順序の関係を示す説明図である。

図 2 0は、初期化コマンドを符号化する方法を示すフローチヤ一卜である。

図 2 1は、符号化された初期化コマンドを復号する方法を示すフロ一チヤ一トである。図 2 2は、本発明の実施の形態 8に用いるメモリ管理情報のコマンドを示す対応図であ。図 2 3は、本発明における初期化再送コマンドを用いた画像符号化方法を示すフローチャートである。

図 2 4は、本発明における符号化された初期化再送コマンドを復号する方法を示すフローチャートである。

図 2 5は、各画像のピクチャ番号と保存ピクチャ番号と伝送順序の他の関係を示す説明図である。

図 2 6は、本発明の実施の形態 9で用いるメモリ管理情報のコマンドを示す対応図である。

図 2 7は、本発明の実施の形態 9における画像符号化方法を示すフローチヤ一トである。

図 2 8は、本発明の実施の形態 9における画像復号化方法を示すフローチヤ一トである。

図 2 9 ( a ) はコマンドの内容と付加情報を示す対応図であり、図 2 9 ( b ) はコマンドの実行タイミングを示す対応図である。

図 3 0は、符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。

図 3 1は、他の符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。

図 3 2は、スライス単位で符号化したデータス卜リーム構造を示す模式図である。図 3 3 ( a ) ( b )いずれもスライス単位で符号化したデータストリーム構造を示す模式図である。

図 3 4 ( a ) ( b ) ( c )はいずれも本発明の実施の形態 1から実施の形態 1 0の画像符号化方法およぴ画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。

図 3 5は、本発明に係る画像符号化方法および画像復号化方法が用いられるコンテンッ供給システムの全体構成を示すブロック図である。図 3 6は、本発明に係る画像符号化方法および画像復号化方法が用いられる携帯電話の一例を示す外観図である。

図 3 7は、同携帯電話の構成を示すブロック図である。

図 3 8は、本発明に係る画像符号化方法および画像復号化方法が用いられるディジタル放送用システムの構成を示す構成図である。発明を実施するための最良の形態

以下、本発明の実施の形態について、図面を用いて説明する。

(実施の形態 1 )

まず、実施の形態 1について説明する。

図 5は、本実施の形態における画像符号化方法を実現するための画像符号化装置の構成を示すブロック図である。

画像符号化装置 1 0 0は、メモリ情報制御部 1 0 1 と、短時間保存メモリ管理部 1 0 2と、長時間保存メモリ管理部 1 0 3と、非保存メモリ管理情報部 1 0 4と、管理情報符号化部 1 0 5と、参照画像選択部 1 0 6と、保存領域指定部 1 0 7と、参照領域指定部 1 0 8と、画像メモリ 1 0 9と、画像復号化部 1 1 1 と、画像符号化部 1 1 0と、可変長符号化部 1 1 2と、カウンタ 1 1 3と、カウンタ 1 1 4などから構成される。参照画像選択部 1 0 6は外部から入力される重要度指示信号 Pr i およぴピクチャタイプ情報 P i cTypeから参照画像の候補を選択し、メモリ情報制御部 1 0 1に通知する。メモリ情報制御部 1 0 1は、ピクチャタイプ情報 P i cTypeによって前方および後方のいずれ、もしくは両方の画像（ピクチャ）が参照可能かどうかを判断し、参照領域指定部 1 0 8に指令して、画像メモリ 1 0 9から対応する参照画像を画像符号化部 1 1 0に出力する。

画像符号化部 1 1 0は、画像メモリ 1 0 9から出力される参照画像を参照して入力画像信号 V i nを符号化し、可変長符号化部 1 1 2は更に可変長符号化して画像符号化ストリーム V i deoStrを出力する。画像符号化部 1 1 0の出力は、また、画像復号化部 1 1 1 で復号化されて復号化画像となり、画像メモリ 1 0 9に参照画像として格納される。このとき、画像メモリ 1 0 9における復号化画像の格納可能なメモリ位置は、次のように指定される。メモリ情報制御部 1 0 1が短時間保存メモリ管理部 1 0 2に問い合わせて、短時間メモリで画像の除去されたメモリ位置を特定し、保存領域指定部 1 0 7がそのメモリ位置に復号化画像を記録するように、画像メモリ 1 0 9に対し指示を出す。短時間保存メモリ管理部 1 0 2は、短時間保存メモリ内の不要な（参照されない）画像を検出して除去する（メモリを開放する）指令をメモリ情報制御ユニット部 1 0 1に通知する。また、長時間保存メモリ管理部 1 0 3は、短時間保存メモリ内の画像を長時間保存メモリに移動する指令をメモリ情報制御部 1 0 1に通知する。この不要な画像の除去（メモリの開放）指令や、短時間保存メモリ内の画像を長時間保存メモリに移動する指令は、管理情報符号化部 1 0 5で符号化されて、メモリ管理情報ストリーム Gt l Str となる。

—方、伝送路エラ一により、メモリ管理情報ストリ一ム Gt l Strの一部が消失することでメモリ管理情報が損なわれることを防止するために、短時間保存メモリ用のカウンタ 1 1 3および長時間保存メモリ用のカウンタ 1 1 4で、不要な画像の除去指令や、短時間保存メモリ内の画像を長時間保存メモリに移動する指令の符号化回数を計測し、必要に応じて上記指令の複数回の伝送を可能にする。

また、非保存メモリ管理情報部 1 0 4は、重要度が低く復号化されにくい画像に付随して、不要な画像の除去指令や短時間保存メモリ内の画像を長時間保存メモリに移動する指令が符号化されたかどうかを管理し、重要度が低い画像に付随して上記指令が符号化された場合は、より高い重要度の画像に付随して再度指令を符号化するように、メモリ情報制御部 1 0 1に指示を出す。

次に、本発明の実施の形態 1における画像符号化方法について説明する。図 6は実施の形態 1における画像符号化方法を示すフローチヤ一トであり、図 5で示した画像符号化装置 1 0 0が行う動作を示している。なお、図 6において図 2 ( a )と動作が同じものには同じ記号を付している。図 6に示す画像符号化方法の特徴は、メモリ内で予測符号化の参照画像として不要な画像（ピクチャ）が存在する場合に、その画像の保存されているメモリ領域を開放する (その画像を除去する）メモリ管理情報のコマンドを繰り返し符号化することである。このように、メモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラ一で消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元できるため、伝送路エラ一があつても画像を正しく復元できる可能性が高くなる。

図 6において、まず、入力画像を符号化する（Step100)。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Step101 )、不要なメモリ領域があるかを判定する（Step102)。不要なメモリ領域がある場合（Step102の Yes)、管理情報符号化部 1 0 5が不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化する（Step103)。そして、その不要なメモリ領域を開放する（Step104)。不要なメモリ領域が無い場合（Step102の No) は、 Step103および Step104の動作は行わない。次に、メモリ情報制御部 1 0 1が、直前に符号化した画像（符号化対象より前の画像）の符号化に付随させて、不要なメモリ領域を開放するコマンドがメモリ管理情報として符号化されているかを判定し（Step105)、コマンドが符号化されていない場合は（Step105 の No) 処理を終了し、コマンドが符号化されている場合は（Step105の Yes)、管理情報符号化部 1 0 5が、その不要なメモリ領域を開放するコマンドを再度メモリ管理情報として符号化し（Step106)、処理を終了する。

このように、直前の画像の符号化で不要メモリを開放する（メモリ管理情報の）コマンドが符号化されると、再度、メモリ管理情報のコマンドが符号化される。直前の画像の符号化に付随させて符号化されたメモリ管理情報と、再度符号化されたメモリ管理情報は、それぞれ画像符号化装置よリ出力され、画像復号化装置に伝送され復号化される。なお、 Step105 で直前に符号化された画像の符号化信号に付随して、不要なメモリ領域を開放するコマンドが符号化されている場合に、再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく、数画像前の画像に付随している場合でも良く、更に、繰り返して上記コマンドをメモリ管理情報として符号化し、複数の画像に付随して伝送させてもよい。

また、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送する必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じス卜リームにあるのではなく、例えば別のス卜リームとして伝送するようにしてもよく、蓄積メディァの別の領域に記録されてもよい。

以上のようにして、不要なメモリ領域を開放する（メモリ管理情報の）コマンドを複数回伝送することで、伝送路エラーが発生した場合でも、複数回伝送されたコマンドのうちいずれかは伝送されて復号されると考えられるため、画像を正しく復元できる可能性が高くなる。

(実施の形態 2 )

次に、本発明の実施の形態 2について説明する。

図 7は、実施の形態 2における画像復号化方法を実現するための画像復号化装置のブ口ック図である。

画像復号化装置 2 0 0は、メモリ情報制御部 2 0 1 と、短時間保存メモリ管理部 2 0 2と、長時間保存メモリ管理部 2 0 3と、管理情報復号化部 2 0 5と、保存領域指定部 2 0 7と、参照領域指定部 2 0 8と、画像メモリ 2 0 9と、画像復号化部 2 1 0と、可変長復号化部 2 1 2などから構成される。

メモリ情報制御部 2 0 1は、ピクチャタイプ情報 P i cTypeによって、符号化対象に対して前方および後方のいずれ、もしくは両方の画像が参照可能かどうかを判断し、参照領域指定部 2 0 8に指令して、画像メモリ 2 0 9から対応する参照画像を画像復号化部 2 1 0に出力する。

可変長復号化部 2 1 2は符号化ストリーム V i deoStrを復号化し、画像復号化部 2 1 0 はそれを更に復号化して、復号画像信号 Voutとして出力すると共に画像メモリ 2 0 9に参照画像として格納する。

このとき、画像メモリ 2 0 9における復号化画像の格納可能なメモリ位置は、次のように指定される。メモリ情報制御部 2 0 1が短時間保存メモリ管理部 2 0 2に問い合わせて、画像の除去されたメモリ位置を特定し、保存領域指定部 2 0 7がそのメモリ位置に復号化画像を記録するように、画像メモリ 2 0 9に対し指示を出す。

管理情報復号化部 2 0 5は、メモリ管理情報ストリーム Gt l Strを復号化して、メモリ情報制御部 2 0 1 を通じ、短時間保存メモリ内の不要な（参照されない）画像の情報を短時間保存メモリ管理部 2 0 2に通知し、短時間保存メモリ内の画像を長時間保存メモリに移動する指令を長時間保存メモリ管理部 2 0 3に通知する。

次に、本発明の実施の形態 2における画像復号化方法について説明する。図 8は実施の形態 2における画像復号化方法を示すフローチャートであり、図 7で示した画像復号化装置 2 0 0が行う動作を示している。なお、図 8において図 2 ( b )と動作が同じものは同じ記号を付している。

画像符号化装置が不要なメモリ領域を開放するコマンドを複数回伝送した場合には、伝送路エラ一でコマンドが消失しない限り、画像復号化装置は、複数回、メモリ内の同じ画像の領域を開放するコマンドを受信することになる。従って、既に開放したメモリ領域を再度開放するコマンドを画像復号化装置が受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断する画像復号化方法を実現しなければならなし、。本実施の形態では、このような画像復号化方法を実現している。

図 8において、まず、管理情報復号化部 2 0 5がメモリ管理情報を復号化する (Step1 l 0)。次に、符号化信号から画像信号を復号化する（Step1 1 1 )。そして、メモリ情報制御部 2 0 1が、復号化されたメモリ管理情報にメモリを開放するコマンドがあるか否かを判定する（Step1 12)。メモリを開放するコマンドがあれば（Step1 12の Yes)、そのコマンドで除去すべき画像があるか若しくは既に開放済み（除去済み）であるかを判定し（Step1 13)、メモリ開放済みであれば（Step1 13の Yes)何も処理をせずに終了し、そうでなければメモリを開放して（Step1 14) 処理を終了する。一方、メモリ開放コマンドが無い場合には（Step1 12の No) Step1 13および Step1 14の動作は行わなわず処理を終了する。なお、 Step1 10と Step1 1 1は順不同であり、入れ替わっても構わない。

以上のような動作により、実施の形態 1の画像符号化方法でメモリ内の同じ画像の領域を開放するコマンドを複数回符号化し伝送し、画像復号化装置 2 0 0がそれを複数回受信した場合でも、エラーとして処理しないため、正しく復号化できる画像復号化方法が実現できる。

なお、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送されている必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

(実施の形態 3 )

次に、実施の形態 3における画像符号化方法について説明する。図 9は実施の形態 3 における画像符号化方法を示すフローチャートであり、画像符号化装置 1 0 0が行う動作を示している。図 9において図 3 ( a ) と動作が同じものは同じ記号を付している。本実施の形態の特徴はメモリ内で短時間保存メモリから長時間保存メモリに移動すベき画像が存在する場合に、その画像を移動するメモリ管理情報のコマンドを繰り返し符号化することである。メモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元できるため、伝送路ェラ一があっても画像を正しく復元できる可能性が高くなる。

図 9において、まず、入力画像を符号化する（Step120)。符号化後に長時間保存メモリに移動すべき画像があるかを調査する（Step121 )。そして、メモリ情報制御部 1 0 1 が長時間保存メモリに移動する画像があるか否かを判定する（Step122)。移動すべき画像があれば（Step1 22の Yes)、管理情報符号化部 1 0 5は、どのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化する（Step123)。そして、そのコマンド通りに画像を長時間保存メモリに移動する（Step124)。

次に、メモリ情報制御部 1 0 1は、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随して長時間保存メモリに移動するコマンドをメモリ管理情報として符号化しているか否かを判定し（Step125)、符号化していなければ（Step125の No)処理を終了し、符号化していれば（Step125の Yes)、管理情報符号化部 1 0 5は、その長時間保存メモリに移動するコマンドを再度メモリ管理情報として符号化して（Step126)、処理を終了する。

このように、直前の画像の符号化で長時間保存メモリに移動する（メモリ管理情報の）コマンドが符号化されると、再度、メモリ管理情報のコマンドが符号化される。直前の画像の符号化に付随させて符号化されたメモリ管理情報と、再度符号化されたメモリ管理情報は、それぞれ画像符号化装置より出力され、画像復号化装置に伝送され復号化される。

なお、 Step125 で直前に符号化した画像の符号化信号に付随して長時間保存メモリに移動するコマンドが符号化されている場合に再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく数画像前の画像に付随している場合でも良く、更に、繰り返して、上記コマンドをメモリ管理情報として符号化し、複数の画像に付随させてもよい。

また、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、必ずしもそのコマンドを再度符号化して伝送するときに画像の符号化信号に付随させて伝送する必要はない ₉

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリー厶にあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

以上のようにして、長時間保存メモリに画像を移動するコマンドを複数回符号化して伝送することで、伝送路エラーが発生した場合でも、複数回伝送されたコマンドのうちいずれかは伝送されて復号されると考えられるため、画像を正しく復元できる可能性が高くなる。

(実施の形態 4 )

次に、実施の形態 4の画像復号化方法について説明する。

画像符号化装置が長時間保存メモリに移動するコマンドを複数回伝した場合には、伝送路エラーでコマンドが消失しない限り、画像復号化装置は、短時間保存メモリ内の同じ画像の領域を長時間保存メモリに移動すコマンドを複数回受信することになる。従って、既に移動した画像を再度移動するコマンドを画像復号化装置が受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断する画像復号化方法を実現しなければならない。本実施の形態における画像復号化方法の特徴は、このような画像復号化方法を実現したものである。

図 1 0は実施の形態 4における画像復号化方法を示すフローチャートであり、図 7に示す画像復号化装置 2 0 0の動作を示している。図 1 0において図 3 ( b ) と動作が同じものは同じ記号を付している。

図 1 0において、まず、管理情報復号化部 2 0 5がメモリ管理情報を復号化する (Step130) _o そして、符号化信号から画像信号を復号化する（Step131 )。

そして、メモリ情報制御部 2 0 1が、復号化したメモリ管理情報に長時間保存メモリに画像を移動するコマンドがあるか否かを判定する（Step132)。長時間保存メモリに移動するコマンドがあれば（Step132の Yes) そのコマンドで移動すべき画像があるか、若しくは既に移動済み（移動後に除去済みのため画像が存在しない）であるかを判定し (Step133)、長時間保存メモリに移動済みであれば（Step133の Yes)何も処理をせず終了し、そうでなければ長時間保存メモリに移動して（Step134) 処理を終了する。

一方、長時間保存メモリに移動するコマンドが無い場合には（Step132の No) Step133 および Step134の動作は行わなわず処理を終了する。なお、 Step130と Step131 は順不同であり、入れ替わっても構わない。

以上のような動作により、実施の形態 3の画像符号化方法で、長時間保存メモリに画像を移動するコマンドを複数回符号化して伝送しても、正しく復号化できる画像復号化方法が実現できる。

なお、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、必ずしもそのコマンドを再度符号化して伝送するときに画像の符号化信号に付随させて伝送されている必要はない。

(実施の形態 5 )

次に、本実施の形態における画像符号化方法について説明する。図 1 1は実施の形態

5における画像符号化方法を示すフローチャートであり、図 5で示した画像符号化装置 1 0 0の動作を示している。図 1 1において、図 6と動作が同じものは同じ記号を付している。

図 1 1に示す本実施の形態の特徴はメモリ内で不要な画像が存在する場合、その画像を除去するメモリ管理情報のコマンドを繰り返し符号化し、少なくとも 1回はメモリに保存される重要画面に付随して伝送することである。メモリ管理情報のコマンドを繰り返し符号化する場合でも、重要度の高くない画像に付随してメモリ管理情報のコマンドを伝送したのでは、重要度の高くない画像が全て復号化されない場合にメモリ管理情報のコマンドは取得できなくなる。

例えば、図 1 ( a ) において、ピクチャ番号 4の画像はピクチャ番号 5の画像を符号化した後は不要になるため、ピクチャ番号 5の画像に付随してピクチャ番号 4の画像のあるメモリ領域を開放するコマンドを符号化することができる。

しかしながら、このピクチャ番号 4の画像のあるメモリ領域を開放するコマンドをピクチャ番号 5の画像に付随して符号化する以外に、ピクチャ番号 7の画像に付随して符号化したのでは、いずれも最も重要度が低い（復号化しない場合に画質劣化が少ない） B ピクチャに付随して上記コマンドが符号化されることになる。これらの Bピクチャは復号化されないことがあり、ピクチャ番号 4の画像のあるメモリ領域を開放するコマンドが復号化されないことになり、メモリ内の管理情報が正しく再現できないことになる。従って、少なくとも 1回は、重要度が高く、必ず復号化され、メモリに保存される画像に付随して画像領域を開放するコマンドを符号化することが必要である。

図 1 1において、まず入力画像を符号化する（Step100)。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Step101 )、不要なメモリ領域があるかを判定する（Step102)。不要なメモリ領域があれば（Step102の Yes)、管理情報符号化部 1 0 5が、不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化する（Ste_P103)。そして、その不要なメモリ領域を開放する（Step104)。不要なメモリ領域が無い場合（Step102の No) は、 Step103および Step104の動作は行わない。次に、メモリ情報制御部 1 0 1は、過去に符号化された、不要なメモリ領域を開放するコマンドが重要画像（復号化されメモリに保存される）に付随されて符号化されているかを判定し（Step140)、重要画像に付随されて符号化されていれば（StepMOの Yes) 処理を終了し、重要画像に付随されて符号化されていなければ（Step140の No)、管理情報符号化部 1 0 5は、その不要なメモリ領域を開放するコマンドを再度メモリ管理情報として符号化して（Step141 ) 処理を終了する。

これにより、不要なメモリ領域を開放するコマンドが重要画像に付随されて符号化される。

以上のようにして、復号化されメモリに保存される重要画像に上記コマンドが付随されるため、上記コマンドが復号されることになリ、伝送路エラーが発生した際に画像を正し〈復元できる可能性が高くなる。

なお、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送する必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じス卜リームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

(実施の形態 6 )

次に、本実施の形態の画像符号化方法について説明する。図 1 2は実施の形態 6における画像符号化方法を示すフローチャートである。図 1 2は、図 5に示した画像符号化装置 1 0 0の動作を示している。図 1 2において、図 9と動作が同じものは同じ記号を付している。

図 1 2に示す本実施の形態の特徴は、長時間保存メモリに画像を移動するメモリ管理情報のコマンドを繰り返し符号化し、少なくとも 1回は重要画面（復号化されメモリに保存される）に付随して伝送することである。長時間保存メモリに画像を移動するメモリ管理情報のコマンドを繰り返し符号化する場合でも、重要度の高くない画像に付随してメモリ管理情報のコマンドを伝送したのでは、重要度の高くない画像が全て復号化されない場合に、メモリ管理情報のコマンドを取得できなくなる。

図 1 2において、まず入力画像を符号化する（Step120)。符号化後に長時間保存メモリに移動すべき画像があるかを調査し（Step121 )、移動すべき画像があるかを判定する (Step122) ₀

移動すべき画像があれば（Step122の Yes)、管理情報符号化部 1 0 5がどのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化し (Ste_P123)、そのコマンド通りに画像を長時間保存メモリに移動する（Step124)。次に、メモリ情報制御部 1 0 1が、過去に符号化した長時間保存メモリに移動するコマンドが、重要画像（復号化されメモリに保存される）に付随されて符号化されているか否かを判定し（Step150)、重要画像に付随していれば（Step150の Yes)処理を終了し、重要画像に付随されていなければ（Step150の No)、管理情報符号化部 1 0 5がその長時間保存メモリに移動するコマンドを再度メモリ管理情報として符号化して（Step151 )、処理を終了する。

これにより、長時間保存メモリに画像を移動するコマンドが重要画像に付随して符号化される。以上のようにして、復号化されメモリに保存される重要画像に上記コマンドが付随するため、上記コマンドが復号化されることになリ、伝送路エラーが発生した際に画像を正しく復元できる可能性が高くなる。

なお、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送されている必要はない。

(実施の形態 7 )

実施の形態 7における画像符号化方法について説明する。

本実施の形態の特徴は、画像の重要度に応じて選択した参照画像を参照して符号化を行う画像符号化方法である。

図 1 3は本発明の実施の形態 7における画像符号化方法を示すフロ一チヤ一卜である < 図 1 3は、図 5で示した画像符号化装置 1 0 0が行う動作を示したものである。

図 1 3において、まず符号化対象の各画像の重要度を設定する（Step160)。例えば、 I ピクチャや Pピクチヤの重要度は高く、 Bピクチャの重要度は低い。また、同じ Pピクチヤであっても、多くの画像から参照される Pピクチヤの重要度は高く、あまり参照されない Pピクチャの重要度は低い。

次に、符号化対象画像と同等以上の重要度の画像をメモリ内の参照画像から選択し、参照画像の候補とする（Step161 )。例えば、 Bピクチャは I ピクチャおよび Pピクチャを参照できるが、 Pピクチャは重要度が低い Pピクチャを参照画像の候補から除外する。次に選択した参照画像の候補を示す指示情報（メモリ管理情報の一種）を符号化し ( S t e p 1 62 )、選択した参照画像の候補の中からブロック単位で適切な参照画像を参照して符号化する（Step163)。なお、 Step162 と Step163は順不同であり、入れ替わっても構わない。このようにして、参照画像の候補の中に、符号化対象画像の重要度よりも低い重要度の画像を入れないようにしてしる。

以上のように、参照画像の候補の中に、符号化対象画像の重要度よりも低い重要度の画像を入れないことによリ、スケーラビリティを実現できるストリー厶を生成した場合に参照不可能な画像を参照画像の候補から除外することができ、符号化効率が向上する。

ここで、上述したように設定された画像の重要度に応じて行われる画像符号化方法について、図 1 4を用いて具体的に説明する。

図 1 4 ( a ) は、各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）の関係を示す説明図である。

図 1 4 ( a )【こおいて、ピクチャ番号 0の I ピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は 0になる。次にピクチャ番号 0の I ピクチャを参照するピクチャ番号 2の Pピクチヤがメモリに保存されるためピクチャ番号 2の Pピクチャに関する保存ピクチャ番号が 1 となる。そして次に、ピクチャ番号 0の I ピクチャとピクチャ番号 2の Pピクチヤを参照するピクチャ番号 1の Bピクチヤがメモリ内に保存されるため、ピクチャ番号 1の Bピクチヤの保存ピクチャ番号が 2となる。各ピクチヤが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。

次に、デコード（復号）するピクチャ番号と、メモリに保存されているピクチャ番号、および削除されるピクチャ番号の関係の一例について図 1 4 ( b ) を用いて説明する。図 1 4 ( b ) はデコードするピクチャ番号（フレーム番号）と保存されているピクチャ番号（フレーム番号）と削除されるピクチャ番号（フレーム番号）の関係を示す関係図である。なお、ここではメモリに保存できるピクチャの最大枚数を 5とする。メモリには伝送順序に従ってピクチャが保存されることになる。

また、例えばピクチャ番号が 4の Pピクチヤがデコードされるときには、ピクチャ番号が 4の Pピクチヤの保存ピクチャ番号が 3であるため、保存ピクチャ番号が 0、 1、 2のピクチャがメモリ上に保存されることになる。デコードするピクチャ番号が 3の B ピクチャがデコードされるときには、図 1 4 ( b) に示すように、ピクチャ番号が 4, 1 , 2, 0のピクチャが保存されている。ここで、ピクチャ番号 1の Bピクチャは、図 1 4 (a) に示すように、ピクチャ番号 3のピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が 3のピクチャがデコードされた時点で削除される。

同様に、デコードするピクチャ番号が 5の Bピクチヤがデコードされるときには、図 1 4 (b) に示すように、ピクチャ番号が 6， 3， 4, 2, 0のピクチャが保存されている。ここで、ピクチャ番号 3の Bピクチヤは、ピクチャ番号 5のピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が 5の Bピクチヤがデコードされた時点で削除される。

さらに、デコードするピクチャ番号が 8の Pピクチヤがデコードされるときには、図 1 4 (b) に示すように、ピクチャ番号が 5, 6， 4, 2, 0のピクチャが保存されている。ここでメモリには最大 5フレームしか保存できないため、ピクチャ番号 8の Pピクチャを後で参照するためにはピクチャ番号が 5， 6, 4, 2, 0のいずれかのピクチャを削除してピクチャ番号 8の Pピクチャを記憶するメモリを確保しなければならない _c 従って、図 1 4 (b) における削除するフレームの選択基準として、 Pピクチャのデコ ―ド、つまリ偶数番号のピクチャ番号のデコ一ドにおいては時間的に最も古いピクチャ、即ちこの場合はピクチャ番号が 0の I ピクチャをピクチャ番号 8の Pピクチャをデコ一ドした時点で削除する。

同様に、デコードするピクチャ番号が 7の Bピクチヤがデコードされるときには、図 1 4 (b) に示すように、ピクチャ番号が 8, 5, 6， 4， 2のピクチャが保存されている。ここで、ピクチャ番号 5の Bピクチヤは、ピクチャ番号 7の Bピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が 7の Bピクチャをデコードした時点で削除される。

さらに、デコードするピクチャ番号が 1 0の Pピクチヤがデコードされるときには、図 1 4 (b) に示すように、ピクチャ番号が 7, 8, 6, 4， 2のピクチャが保存されている。ここで、メモリには最大 5フレームしか保存できないため、ピクチャ番号 1 0 の Pピクチャを後で参照するためにはピクチャ番号が 7， 8, 6, 4， 2のいずれかのピクチャを削除してピクチャ番号 1 0のピクチャを記憶するメモリを確保しなければならない。従って、図 1 4 (b) における削除するフレームの選択基準として、 Pピクチャのデコード、つまり偶数番号のピクチャ番号であるピクチャのデコードにおいては、時間的に最も古いピクチャ番号が 2のピクチャをピクチャ番号 1 0の Pピクチャをデコードした時点で削除する。

このようにピクチャが削除されるときに、デコードされるピクチャの符号化信号に、ピクチャを削除するためのメモリ管理情報のコマンドが符号化されて付随され、伝送される。

上記図 1 4 (b) に示した例では、メモリ内で不要な画像（ピクチャ）が存在し、その画像を除去するメモリ管理情報のコマンドを 1回送る例について述べた。このように、除去するメモリ管理情報のコマンドを 1回だけ送ると、 Bピクチャに付随して送られたメモリ管理情報のコマンドを実行することができない可能性がある。なぜなら、 Bピクチヤは、 Pピクチャの符号化■復号化で参照される画像として用いられる可能性が低いため、十分な記憶容量や伝送容量が確保できない場合に Bピクチャのデータが優先して破棄される可能性が高く、その結果 Bピクチャに付随して送られたメモリ管理情報のコマンドを実行できない可能性があるためである。

この問題を解決するために、画像を除去するメモリ管理情報のコマンドを繰り返し符号化して伝送するようにした例を説明する。以下図 1 4 (c) について具体的に説明する。

図 1 4 (c) は、デコードするピクチャ番号（フレーム番号）と保存されているピクチヤ番号（フレーム番号）と削除されるピクチャ番号（フレーム番号）の他の関係を示した関係図である。図 1 4 (c) において、削除されるピクチャ番号のピクチャを削除するコマンドが、デコ一ドするピクチャ番号のピクチャの符号化信号に付随することを示している。

図 1 4 ( c ) に示すように、ピクチャ番号が 3の Bピクチヤがデコードされるときには、ピクチャ番号が 4， 1 , 2， 0のピクチャが保存されている。ここで、ピクチャ番号 1の Bピクチャは、図 1 4 ( a ) に示すように、ピクチャ番号 3のピクチャを復号化した後はどのピクチャからも参照されることがない。よって、ピクチャ番号が 3のピクチヤがデコードされた時点でピクチャ番号 1の Bピクチャを削除し、削除するためのメモリ管理情報のコマンドがピクチャ番号 3のピクチャに付随される。

しかし、ピクチャ番号 3のピクチャは Bピクチヤであるため、 I ピクチャや Pピクチャと比べて画像の再現の点において前述の様に重要度が低く、送信の際にデータが破棄されやすいためピクチャ番号 3の Bピクチヤに付随して送られたメモリ管理情報のコマンドを実行できない可能性がある（図 2 5に示すようにフレームが保存される場合）。そこで、次にデコードする、ピクチャ番号 3の Bピクチヤより画像の再現の点において重要度が高いピクチャ番号 6の Pピクチヤに、ピクチャ番号 3に付随させたピクチャ番号 1のピクチャを削除することを示すメモリ管理情報のコマンドを付随させる（図 1 4 ( c ) 参照）。

同様に、ピクチャ番号 8の Pピクチャにピクチャ番号 5の Bピクチヤに付随させたメモリ管理情報のコマンド（ピクチャ番号 3のピクチャを削除することを示す）を付随させ、ピクチャ番号 1 0の Pピクチャにピクチャ番号 7の Bピクチヤに付随させたメモリ管理情報のコマンド（ピクチャ番号 5のピクチャを削除することを示す）を付随させる。なお、ピクチャ番号 8のピクチャは Pピクチヤであるため、図 1 4 ( c )に示すように、ピクチャ番号 7の Bピクチャにピクチャ番号 8のピクチャに付随させたメモリ管理情報のコマンドを付随させていないが、付随させてもよい。

以上、図 1 4 ( c ) に示すように、 Bピクチャに最初に付随させたメモリ管理情報のコマンドと同一のメモリ管理情報のコマンドを、 Bピクチャより画像の再現の点において重要度の高いピクチャであり、最初にメモリ管理情報のコマンドを付随させた Bピクチヤより後に保存または伝送されるピクチャに、繰り返し付随させた。これにより、最初にメモリ管理情報のコマンドが付随された Bピクチヤが欠落しても、メモリ管理情報のコマンドを正常に実行することができる。

なお、図 1 4 ( c ) を用いて説明したように、 Bピクチャにメモリ管理情報のコマンドを付随させても、更に Pピクチャに繰り返しメモリ管理情報のコマンドを付随させる場合に、設定された重要度が用いられる。なお、重要度の設定は、本実施の形態に示したものに限られない。

なお、本実施の形態では各画像の重要度に応じて、各画像を送るか送らないかを決めており、各画像における重要度を、上記実施の形態に示すメモリ管理情報のように各画像に付随して符号化するわけではない。よって、本実施の形態で符号化されたデータの復号化処理は従来の方法と変わらない。

(実施の形態 8 )

次に、実施の形態 8について説明する。

本実施の形態の特徴は、メモリ内の全画像（ピクチャ）を削除して、メモリ領域の初期化を行う（メモリ管理情報の）コマンドを複数回符号化して伝送することである。上記各実施の形態で示したメモリ管理情報は、図 1 5に示すようなコ一ド情報として付与される。

図 1 5は、メモリ管理情報のコマンドを示す対応図であり、コード番号（C o d e ) と、コマンドの内容（コマンド）と、その付加情報（付加情報）を示している。

例えば、短時間保存メモリの不要なメモリ領域を開放するコマンド（短時間保存メモリ開放）はコード情報 Godel として付与され、開放するピクチャ番号（フレーム番号）が付加情報として付加される。

また、コード情報は図 1 7に示す各フレームのヘッダ情報として与えられる。

図 1 7は、各ピクチャの符号化信号におけるヘッダ情報とフレームデータとの関係を示す模式図である。図 1 7において、各符号化信号は、後逑するフレーム Frm12、 Frm1 1、 Frm14 の符号化信号を示している。各符号化信号は、ヘッダ情報を有するフレームへッダと画像の符号化に関するフレームデータを備えている。例えば、フレーム Frm12の符号化信号は、フレームヘッダ Frm12Hdrと、各データ MB12a， MB12b, MB12c, MB12dなどからなるフレームデータを備えている。

この符号化信号の詳細を図 1 8の模式図に示す。

図 1 8に示すように、フレーム FrmAの符号化信号はヘッダ情報を有するフレームへッダ FrmAHdrと、各データ MBa, MBb， MBG, Mbdなどからなるフレームデータとを備えている。そして、コマンドのコード情報 GodeAの次にコード情報 GodeAの付加情報 AddA力続いてコ一ド情報 GodeAのコマンドの次に実行されるべきコマンドのコ一ド情報 CodeB、コ -ド情報 CodeBの付加情報 AddBがフレームへッダ FrmAHdrに付加される。付加情報がなければコード情報 CodeGのようにコード情報のみが付加される。

次に、図 1 6にコマンド実行の手順を示す。

図 1 6は、コマンド実行手順を示すフローチャートである。

図 1 6において、まずコマンドを取得し（StepC0)、コマンドの取得が終了したか否かを判定する（StepG1 )。コマンドの取得が終了しておらず、コマンドが取得されれば (StepCI の No)、取得したコマンドの実行を行い（StepC2)、 StepCOに戻ってこの動作を繰り返す。一方、コマンドの取得が終了しておリコマンドが取得されなければ（StepGI の Yes)、コマンド実行の処理を終了する。この手続きをフレーム毎に行う。なお、複数のマクロプロックからなるスライスの単位でコマンド情報が送られる場合でも、同上の手順でコマンドが実行される。

ところで、上記実施の形態 1では不要な画像を除去する（メモリを開放する）メモリ管理情報のコマンドについて説明した。さらに、実施の形態 1では、不要な画像を除去するメモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元でき、画像を正しく復元できる可能性が高 <なることを示した。ここで、図 1 5に示すコード情報のうち、メモリ内の全ての情報を除去する初期化コマンド Gode5について検討する。

初期化コマンド Gode5が一度だけ送られるときに、この初期化コマンド Code5が伝送路エラーで消失すれば、本来初期化した後に行うメモリ管理等の処理に影響が出る。そこで、実施の形態 1 と同様に、初期化コマンド Gode5を繰り返し符号化して伝送した場合について図 1 9を用いて説明する。

図 1 9は各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）の関係を示す説明図である。

以下、図 1 9について具体的に説明する。まず、ピクチャ番号 0の I ピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は 0になる。次にピクチヤ番号 0の I ピクチャを参照するピクチャ番号 2の Pピクチャがメモリに保存されるためピクチャ番号 2の Pピクチヤに関する保存ピクチャ番号が 1 となる。そして、ピクチヤ番号 0の I ピクチャとピクチャ番号 2の Pピクチャを参照するピクチャ番号 1の B ピクチャがメモリ内に保存されるため、ピクチャ番号 1の Bピクチヤの保存ピクチャ番号が 2となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。

図 1 9に示すピクチャ番号 1 2の I ピクチャを符号化するときに図 1 5に示す初期化コマンド Gode5を送るとする。ピクチャ番号 1 2の I ピクチャの保存ピクチャ番号は 1 1であるため、この初期化コマンド Gode5により、保存ピクチャ番号が 1 0以下のピクチヤをメモリ内から全て除去することができる。

ここで、初期化コマンド Gode5を符号化する方法について図 2 0を用いて説明する。図 2 0は、初期化コマンド code5を符号化する方法を示すフローチャートであり、図 5に示す画像符号化装置 1 0 0が行う動作を示している。

まず、入力画像を符号化する（StepA0)。符号化後にメモリ内の参照可能な全てのピクチヤが不要かどうか（今後の符号化でどの画像も参照されないかどうか）を調査（初期化調査）し（StepA1 )、メモリに格納されていたピクチャが今後参照されず初期化した方がよいかを判定する (StepA2) ₀

初期化したほうがよければ（ StepA2の Yes )、メモリ領域を初期化する初期化コマンド Code5 をメモリ管理情報として符号化し（StepA3)、初期化を行い（StepA4)、処理を終了する。一方、初期化の必要がない場合（StepA2の No) は、 StepA3および StepA4の動作は行わなわず、処理を終了する。

次に符号化された初期化コマンド Code5を復号化する方法について図 2 1 を用いて説明する。

図 2 1は符号化された初期化コマンド Gode5を復号化する方法示したフローチヤ一トであり、図 7に示す画像符号化装置 2 0 0が行う動作を示している。

まず、メモリ管理情報を復号化し（StepA10)、符号化信号から画像信号を復号化する ( StepA1 1 ) ₀ 次に、復号化したメモリ管理情報に初期化コマンド Gode5があるかを判定し（StepA12)、初期化コマンド Code5があれば（StepA12の Yes)、メモリ内に記憶されていたピクチャを全て除去して初期化し（StepA13)、処理を終了する。但し、このとき、復号化した画像（StepA1 1において）は除去しない。

一方、メモリ管理情報に初期化コマンド Gode5がなければ（StepA12の No)、処理を終了する。

以下、図 1 9を用いてメモリの初期化を行う方法について具体的に説明する。図 1 9 に示すピクチャ番号 1 1の Bピクチヤに、ピクチャ番号 1 2の I ピクチャに付与した初期化コマンド Code5と同一の初期化コマンド Gode5を付与するとする。

図 1 7で示すと、フレーム Frm12 (ピクチャ番号 1 2 )のフレームヘッダ Frm12Hdrと、フレーム Frm1 1 (ピクチャ番号 1 1 ) のフレームヘッダ Frm1 1 Hdr とに初期化コマンド Gode5が付与されることになる。初期化コマンド Code5は図 1 5に示すように付加情報を有しないため、復号化された時点においてメモリ内に保存されているピクチャをすベて除去することになる。

よって、ピクチャ番号 1 2 (保存ピクチャ番号 1 1 ) の I ピクチャに付与した初期化コマンド Code5が伝送路エラーで消失し、ピクチャ番号 1 1 (保存ピクチャ番号 1 2 ) の Bピクチヤに付与した初期化コマンド Gode5が実行されると、保存ピクチャ番号 1 1 以前に復号化したピクチャでメモリに保存されているピクチャが全て除去されることになる。つまり、本来除去されてはならないピクチャ番号 1 2 (保存ピクチャ番号 1 1 ) の I ピクチャまでが除去されることになる。

このようにピクチャ番号 1 1の Bピクチヤに、ピクチャ番号 1 2の I ピクチャに付与した初期化コマンド Gode5と同一の初期化コマンド Gode5を付与したときは、 1枚のピクチャ（ピクチャ番号 1 2の I ピクチャ）が欠落することになる。一方、ピクチャ番号 1 4 (保存ピクチャ番号 1 3 ) の Pピクチヤに、ピクチャ番号 1 2 (保存ピクチャ番号 1 1 ) の I ピクチャに付与した初期化コマンド Gode5と同一の初期化コマンド Gode5を付与し、ピクチャ番号 1 2の I ピクチャに付与した初期化コマンド Gode5が伝送路エラ —で消失し、ピクチャ番号 1 4の Pピクチヤに付与した初期化コマンド Code5が実行されると、 2枚のピクチャ（ピクチャ番号 1 1の Bピクチャとピクチャ番号 1 2の I ピクチヤ）が欠落することになる。

なお、初期化コマンド Gode5を繰り返し符号化し、最初に送った初期化コマンド Gode5 も、続けて送った初期化コマンド Gode5も、伝送路エラーなく実行される場合にも、上記と同様の問題が生じる。なぜなら、最初に送った初期化コマンド Code5によって初期化され、さらに続けて送った初期化コマンド Code5によリ再度初期化されるためである。このようなメモリの初期化における問題を解決するための方法について説明する。図 2 2にメモリの初期化における問題を解決するために用いるメモリ管理情報のコマンドを示す。

図 1 5と異なる点は、図 2 2では新たに初期化再送コマンド Gode6を追加した点である。また、この初期化再送コマンド Gode6は付加情報として初期化ピクチャ（フレーム）番号（メモリ領域を初期化する初期化コマンド Gode5が付随されるフレームの番号）を有する。

以下、この初期化再送コマンド Gode6を用いた画像符号化の処理の流れについて図 2 3を用いて説明する。

図 2 3は、初期化再送コマンド Gode6を用いた画像符号化方法を示すフローチヤ一トであり、図 5に示す画像符号化装置 1 0 0の行う動作を示している。図 2 3について図 2 0と同じ動作には同一の符号を付している。

まず、入力画像を符号化する（StepA0)。符号化後にメモリ内の全てのピクチャが不要かどうか（今後の符号化でどの画像も参照されないかどうか）を調査（初期化調査）する（StepA1 )。メモリ情報制御部 1 0 1が、初期化が必要であるかを判定し（StepA2)、初期化が必要であれば（StepA2の Yes)、管理情報符号化部 1 0 5が、メモリ領域を初期化する初期化コマンド Gode5をメモリ管理情報として符号化し（StepA3)、初期化を行う (StepA4)。初期化の必要がない場合（StepA2の No) は、 StepA3および StepA4の動作は行わない。

次に、メモリ情報制御部 1 0 1が、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随してメモリ領域を初期化する初期化コマンド Code5をメモリ管理情報として符号化しているか否かを判定し（StepA30)、符号化していれば（StepA30の Yes)、管理情報符号化部 1 0 5が、そのメモリ領域を初期化する初期化再送コマンド Gode6をメモリ管理情報として符号化して（StepA31 )、処理を終了する。

また、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随してメモリ領域を初期化する初期化コマンド Gode5がメモリ管理情報として符号化されていなければ（StepA30の No)、処理を終了する。

なお、図 2 3に示す方法では、直前に符号化した画像の符号化信号に付随してメモリ領域を初期化する初期化コマンド Gode5が符号化されている場合に、再度初期化再送コマンド Code6を符号化するとしたが、直前ではなく数画像前に符号化した画像の符号化に付随してメモリ領域を初期化する初期化コマンド Gode5が符号化されている場合に、再度初期化再送コマンド Gode6を符号化しても良く、また複数の画像に付随して、メモリ領域を初期化する初期化再送コマンド Gode6をメモリ管理情報として繰り返し符号化してもよい。具体的には図 1 9に示すようにピクチャ番号 1 2の I ピクチャの符号化に付随して初期化コマンド Gode5を符号化する場合、ピクチャ番号 1 1の Bピクチヤの符号化に付随して初期化再送コマンド Gode6を符号化してもよく、またピクチャ番号 1 4の Pピクチャの符号化に付随して初期化再送コマンド Gode6を符号化してもよい。

前者の場合、図 1 7で示すと、フレーム Frm12のフレームヘッダ Frm12Hdr に初期化コマンド Code5が付与され、更にフレーム Frm1 1のフレームヘッダ Frm1 1 Hdrに初期化再送コマンド Gode6が付与される、また、後者の場合、フレーム Frm12のフレームヘッダ Frm12Hdr に初期化コマンド Code5 が付与され、フレーム Frni14 のフレームヘッダ FrmHHdrに初期化再送コマンド Code6が付与されることになる。

さらにまた、ピクチャ番号 1 1の Bピクチヤの符号化に付随して初期化再送コマンド Code6 を符号化するとともに、ピクチャ番号 1 4の Pピクチヤの符号化にも付随して初期化再送コマンド Code6を符号化するようにしてもよい。この場合、図 1 7で示すと、フレーム Frm12のフレームヘッダ Frm12Hdr に初期化コマンド Gode5が付与され、フレ —ム Frm1 1 のフレームヘッダ Frm1 1 Hdr と、フレーム Frm14のフレームヘッダ Frm Hdr とに、初期化再送コマンド Gode6が付与される。

次に、上記初期化再送コマンド Gode6が符号化されたデータを復号化するときの処理について図 2 4を用いて説明する。図 2 4は、符号化された初期化再送コマンド Gode6 を復号する方法を示すフローチヤ一トであり、図 7に示した画像復号化装置 2 0 0の動作を示している。図 2 4について図 2 1 と同じ動作には同一の符号を付している。

まず、管理情報復号化部 2 0 5が、メモリ管理情報を復号化する（StepAI O)。そして、符号化信号から画像信号を復号化する（StepA1 1 )。

復号化したメモリ管理情報に初期化コマンド Code5があるかを判定し（StepA12)、初期化コマンド Gode5があれば（StepA12の Yes)、メモリ内のピクチャを全て除去して初期化し（StepA13)、初期化コマンド Gode5がなければ（StepA12の No)、初期化を行わない。

次に、メモリ情報制御部 1 0 1が、メモリ管理情報に初期化再送コマンド Gode6があるかを判定する（StepA40)。初期化再送コマンド Code6がなければ（StepA40の No) 処理を終了し、初期化再送コマンド Gode6があれば（StepA40の Yes)、初期化が済んでいるかどうかを調査する（StepA41 )。初期化が済んでいれば（StepA41の Yes) 処理を終了し、初期化がされていなければ（StepA41の No)、初期化再送コマンド Gode6の付加情報に基づいて、初期化フレーム（メモリ領域を初期化する初期化コマンド Gode5が付随されるフレーム）以前の保存フレーム（初期化フレームの符号化時点で参照用画像メモリに格納されているフレーム）を削除し、さらに長時間保存メモリサイズを 0とし (StepA42) 処理を終了する。なお、長時間保存フレームを使用しない場合は、長時間保存メモリサイズを 0にする必要は無い。

よって、図 1 9で示されるピクチャ番号 1 2のピクチャに初期化コマンド Gode5、ピクチャ番号 1 4に初期化再送コマンド Code6が付随して符号化された場合、初期化コマンド Code5が伝送路エラーで消失しない場合は、初期化コマンド Gode5によって、初期化コマンド Code5が伝送路エラ一で消失した場合は初期化再送コマンド Code6によって、保存ピクチャ番号が 1 0以下のピクチャでメモリに保存されているピクチャが全て削除されることになる。

このように、初期化コマンド code5を繰り返し符号化して伝送する際に、 2回目以降は、付加情報である初期化ピクチャ番号の付加された初期化再送コマンド Gode6を符号化して伝送するため、その付加情報に基づいて初期化フレーム以前の保存フレーム（最初に初期化コマンド Gode5が付随する初期化フレームの符号化時点で参照用画像メモリに格納されているフレーム）が削除されることになる。そのため、必要な画像（ピクチャ）が欠落するような上述した問題を解決することができる。

なお、図 2 5のように図 1 9と異なる保存ピクチャ番号の付け方の場合でも、上記で説明した初期化再送コマンド Gode6は有効である。

以下、具体的に説明する。

図 2 5は各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）における他の関係を示す説明図である。

これらの番号の付与方法について説明する。まず、ピクチャ番号 0の I ピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は 0になる。次にピクチャ番号 0の I ピクチャを参照するピクチャ番号 2の Pピクチヤがメモリに保存されるためピクチャ番号 2の Pピクチヤに関する保存ピクチャ番号が 1 となる。そして、ピクチャ番号 0の 1 ピクチャとピクチャ番号 2の Pピクチャを参照するピクチャ番号 1の Bピクチャがメモリ内に保存されるが、この Bピクチャは他のピクチャから参照されることがないため、保存ピクチャ番号は直前に保存されたピクチャ番号 2の Pピクチヤの保存ピクチャ番号と同じく 1 となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。

図 2 5に示すように、ピクチャ番号 1 2の I ピクチャを符号化するときに図 1 5に示す初期化コマンド Code5を付随して送るとする。ピクチャ番号 1 2の I ピクチャの保存ピクチャ番号は 6であるため、この初期化コマンド Gode5により、保存ピクチャ番号が 5以下のピクチャがメモリ内から全て除去することができる。

ここで、初期化コマンド Code5を繰り返し符号化する場合、具体的には、ピクチャ番号 1 4の Pピクチャにピクチャ番号 1 2の I ピクチャに付与した初期化コマンド Gode5 と同一の初期化コマンド Gode5を付与する場合について説明する。

初期化コマンド Code5は図 1 5に示すように付加情報を有しないため、復号化された時点において参照用メモリ内に保存されているピクチャをすベて除去することになる。よって、ピクチャ番号 1 2 (保存ピクチャ番号 6 ) の I ピクチャに付与した初期化コマンド Gode5が伝送路エラーで消失し、ピクチャ番号 1 4 (保存ピクチャ番号 7 ) の Pピクチャに付与した初期化コマンド Gode5が実行されると、保存ピクチャ番号 6以下のピクチャでメモリに保存されているピクチャが全て除去されることになる。つまり、本来除去されてはならないピクチャ番号 1 2 (保存ピクチャ番号 6 ) の I ピクチャまでが除去されることになる。しかし、初期化コマンド Code5の代わりに上記初期化再送コマンド Gode6をピクチャ番号 1 4の Pピクチヤに付随させることによって、ピクチャ番号 1 2の I ピクチャに付随した初期化コマンド Gode5が伝送路エラーで消失しない場合は初期化コマンド Gode5 によって、初期化コマンド Code5が伝送路エラーで消失した場合はピクチャ番号 1 4の Pピクチャに付随した初期化再送コマンド Code6によって、保存ピクチャ番号が 5以下のピクチャでメモリに保存されているピクチャが全て削除されることになる。

すなわち、初期化再送コマンド Code6には付加情報として初期化フレーム（この場合、ピクチャ番号 1 2 )番号が付加されているため、初期化フレーム以前の保存フレーム（初期化フレームを保存する時点で参照用画像メモリに格納されている保存ピクチャ番号が 5以下の保存フレーム）が削除される。

以上のように、付加情報を有する初期化再送コマンド Gode6によって、初期化コマンド code5が伝送路エラーで欠落した場合でも初期化を正常に実行できる可能性が高くなる。なお、本実施の形態で示した初期化再送コマンドで、付加情報を初期化再送コマンドが付随されたピクチャ番号としたものを初期化コマンドとして代用し、図 2 2に示す Gode5 と Code6を 1つのコマンドで実現するようにしてもよい。これは、初期化情報の再送のために初期化再送を行うときには、初期化コマンドが付随されたフレームの番号を指定するため、当該フレームを再送するようなピクチャ番号は用いられることがないからである。このとき、初期化コマンド Gode5は無効としてもよい。

なお、このように 1コマンドで上記実施の形態で示した初期化再送コマンドと初期化コマンド Gode5とを実現する場合、上記実施の形態で示した初期化再送コマンドでは用いられない特別の値を付加情報として有した初期化再送コマンドをもって、最初に送る初期化コマンド Gode5と同一の機能を有するコマンドとしてもよい。

また、上記各実施の形態で説明したように、不要になったメモリ領域を開放するコマンドゃ初期化コマンドなどのメモリ管理情報が再度伝送されるときに、図 1 7および図 1 8に示すように画像の符号化に関するフレームデータに付加されたヘッダ情報に含まれて伝送されるのではなく、メモリ管理情報の含まれたへッダ情報がフレームデータとは別に分離して伝送されてもよい。すなわち、再送する上述のコマンドが、符号化されたピクチャと同じス卜リームにあるのではなく、例えば別のストリームとして伝送するようにしてもよい。また、蓄積メディアの別の領域に記録されてもよい。

さらにまた本実施の形態では、初期化コマンドを再送するときに初期化再送コマンドに、初期化コマンドを最初に付随させたピクチャのピクチャ番号（初期化フレーム番号）を付加情報として付加させたが、上述した各実施の形態において示した、開放するメモリ領域を示すコマンドゃ短時間保存メモリから長時間保存メモリに移動する対象のピクチヤを指定するコマンドなどのメモリ管理情報のコマンドを再送するときにも、最初にそのコマンドを付随させて伝送した符号化対象ピクチャのピクチャ番号（ピクチャを特定する情報）をパラメータとして含めて伝送してもよいのは当然である。このようにすることにより、どのピクチャを伝送するときに伝送エラーが発生したのかを検出することができる。

(実施の形態 9 )

次に、実施の形態 9における画像符号化方法および画像復号化方法について説明する。本実施の形態の特徴は、メモリ管理情報を複数回伝送するときに、 2回目以降に伝送されたメモリ管理情報に基づく処理のタイミングを変更していることである。

上記実施の形態で示したメモリ管理情報を繰り返し符号化したデータを復号化するとき、繰り返し送られたメモリ管理情報の処理をする前に必ず、メモリ管理情報を付随させた画像信号を復号化していた。具体例として実施の形態 2において説明した、不要なメモリ領域を開放するコマンドを複数回伝送した場合について、図 1 9を用いて再度説明する。

図 1 9に示すピクチャ番号 1 2のピクチャに図 2 2に示す Godelのコマンドを付随させて符号化させ、さらにピクチャ番号 1 1のピクチャにも Godelのコマンドを付随させて符号化させるとする。このとき、復号化は図 8に従ってなされる。

まず、ピクチャ番号 1 2のピクチャに付随された Godelが復号化される（Step110)。次にピクチャ番号 1 2のピクチャが復号化される（Step1 1 1 )。ここで、本来ピクチャ番号 1 2のピクチャに付随されているはずの Godel が伝送途中で欠落したとすると (Step1 l 2の No)、このフレームに関する処理が終了する。

伝送順でピクチャ番号 1 2のピクチャの次に復号化処理されるのはピクチャ番号 1 1 のピクチャである。

まず、ピクチャ番号 1 1のピクチャに付随して符号化された Godel が復号化される (Step1 10)。次にピクチャ番号 1 1のピクチャが復号化される（Step1 1 1 )。この Codel が伝送途中で欠落せず伝送された場合、復号化されたメモリ管理情報にメモリ開放のコマンドである Godelが存在するため（Step1 12の Yes)、次の処理（Step1 13) に至る。ここで、ピクチャ番号 1 1のピクチャが復号化される前に復号化されたピクチャ番号 1 2のピクチャを復号化したときにメモリ開放がされていないため（Step1 13の No)、メモリ開放処理がなされる（Step1 14)。

上記具体例で示したように、不要なメモリ領域を開放するコマンドを複数回伝送することに伴い、本来最初のコマンド実行がされなかったピクチャ（ピクチャ番号 1 2 ) に対して実行するべきコマンドの実行が、後から送られるピクチャ（ピクチャ番号 1 1 ) の画像信号の復号化処理の後になり、コマンドの実行の遅延が生じる。

よって、本実施の形態においては、上記課題を解決するための方法について図 2 6、図 2 7、および図 2 8を用いて説明する。

. 図 2 6は本実施の形態で用いるメモリ管理情報とコマンドの関係を示す対応図である _c 図 2 6において、 Codeはコマンドの番号を、コマンドはコマンドの内容を、付加情報はコマンドに付加される付加情報を、処理位置はコマンドを実行するタイミングを示している。

図 1 5と異なる点は、図 2 6では CodeAIから GodeA4までを画像の復号化処理の後に実行するコマンドとする一方、 CodeAIから GodeA4に対応した GodeA6から GodeA 9までを画像の復号化処理の前に実行するコマンドとした点である。

そして、繰り返してメモリ管理情報を送る場合、最初に符号化するメモリ管理情報のコマンド夯、処理位置が復号化後の（画像の復号化後に実行する）コマンド（GodeAIから GodeA4) とし、繰り返し（2回目以降に）符号化するコマンドを、処理位置が復号化前の（画像の復号化前に実行する）コマンド（GodeA6から GodeA9) とする。

これにより、最初に送られたメモリ管理情報が欠落した場合でも、本来最初に送られたメモリ管理情報で実行すべきコマンドが、早期に実行され、遅延等の問題を起こりにくくすることができる。

以下、図 2 6のコマンドを用いるときの処理手順について図 2 7および図 2 8を用いて説明する。

図 2 7は本実施の形態における画像符号化方法を示すフローチヤ一卜であり、図 5に示した画像符号化装置 1 0 0の動作を示している。

図 2 7において、まず、画像が符号化される（StepB0)。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（StepB1 )、不要なメモリ領域があるか判定する（StepB2)。不要なメモリ領域があれば（StepB2の Yes)、不要なメモリ領域を開放するコマンドを画像信号の復号化の後に実行するものとして、復号化後用メモリ管理情報を符号化し（StepB3)、その不要なメモリ領域を開放する（StepB4)。一方、不要なメモリ領域が無い場合（StepB2の No)は、 StepB3および StepB4の動作は行わない。次に、メモリ情報制御部 1 0 1が、直前に符号化した画像（符号化対象より前の画像）の符号化に付随して不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化しているかを判定する（StepB30)。符号化していなければ（StepB30の No) 処理を終了し、符号化していれば（StepB30の Yes)、管理情報符号化部 1 0 5が、その不要なメモリ領域を開放するコマンドを画像信号の復号化の前に実行するものとして復号化前用メモリ管理情報を符号化して（StepB31 )、処理を終了する。

なお、 StepB30 で直前に符号化した画像の符号化信号に付随して、不要なメモリ領域を開放するコマンドが符号化されている場合に、再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく、数画像前の画像に付随している場合でも良く、更に、上記コマンドを繰り返してメモリ管理情報として符号化し、複数の画像に付随して伝送させてもよい。次に図 2 7の手順に従って符号化されたデータを復号化する手順について図 2 8と図 1 9を用いて説明する。

図 2 8は、本実施の形態における画像復号化方法を示すフローチャートであり、図 7 で示した画像復号化装置 2 0 0が行う動作を示している。

以下の説明において、図 1 9ではピクチャ番号 1 2のピクチャに図 2 6に示す GodeAI のコマンドが付随して符号化されており、さらにピクチャ番号 1 1のピクチャに CodeA6 のコマンドを付随させて符号化されているとする。図 1 7で示すと、ピクチャ番号 1 2 のフレーム Frm12のフレームヘッダ Frm1 2Hdrに GodeAIが付与され、ピクチャ番号 1 1 のフレーム Frm1 1 のフレームへッダ Frm1 1 Hdrに GodeA6が付与されることになる。

なお、画像復号化装置では伝送路エラーでコマンドが消失しない限り、複数回メモリ内の同じ画像の領域を開放するコマンドが受信されることになる。従って、画像復号化装置が行う画像復号化方法では、既に開放した画像を再度開放するコマンドを受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断しなければならない。

まず、ピクチャ番号 1 2のピクチャに関する復号化処理について説明する。

図 2 8において、まず、ピクチャ番号 1 2のピクチャのメモリ管理情報を復号化し ( StepB5 )、このメモリ管理情報が復号化前用メモリ管理情報であるかを調査する (StepB7)。ここでこのメモリ管理情報（GodeAI ) は復号化後用メモリ管理情報であるため（StepB7の No)、ピクチャ番号 1 2の画像信号が復号化される。そして、上述したようにメモリ管理情報（GodeAI )は復号化後用メモリ管理情報であるため（StepB9の Yes)、メモリが開放され（St印 B1 1 )、ピクチャ番号 1 2のピクチャのメモリ管理情報に関する処理は終了する。

一方、メモリ管理情報の CodeAI が欠落していたとき、 St印 B7において復号化前用メモリ管理情報であると判断されず（StepB7の No)、また、 StepB9においても復号化後用メモリ管理情報であると判断されず（StepB9の No)、ピクチャ番号 1 2の画像信号の復号化のみがなされ（StepB6)、ピクチャ番号 1 2のメモリ管理情報に関する処理は終了する。

次に、ピクチャ番号 1 1のフレームに関する復号化処理について図 2 8を用いて説明する。

まず、ピクチャ番号 1 1のメモリ管理情報を復号化し（StepB5)、このメモリ管理情報が復号化前用メモリ管理情報であるかを調査する（StepB7)。ここで GodeA6は復号化前用メモリ管理情報であるため（StepB7 の Yes)、メモリが開放済みかどうかを調査する (StepB8)。ピクチャ番号 1 2の処理において、 GodeAI が実行されていればメモリ開放済みのため（StepB8の Yes)、メモリ開放処理（StepBI O)を行わず、ピクチャ番号 1 1の画像信号の復号化がなされる（StepB6)。そして、メモリ管理情報が復号化後用であるか判定されるが（StepB9)、GodeA6は復号化前用メモリ管理情報であるため（StepB9の No)、ピクチャ番号 1 1のピクチャのメモリ管理情報に関する処理は終了する。

しかし、伝送過程でのパケットの欠落等でピクチャ番号 1 2のメモリ管理情報が欠落して、ピクチャ番号 1 2に関する処理において、メモリ開放がなされていなければ、ピクチャ番号 1 1に関する処理において、メモリ開放済みでないと判定され（ StepB8の No)，次のステップにおいてメモリ開放される（StepBI O)。メモリ開放された後、ピクチャ番号 1 1の画像信号は復号化される（StepB6)。そして、 CodeA6 は復号化前用メモリ管理情報であるため（StepB9の No)、ピクチャ番号 1 1のピクチャのメモリ管理情報に関する処理は終了する。

このように再送分については画像信号の復号化よリ前にコマンドが実行されるようにすることで、最初に送ったコマンドが欠落しても、コマンドの実行の遅れを少なくすることができる。

なお、具体例としてメモリ管理情報が GodeAI と GodeA6である場合について説明したが、 GodeA2と GodeA7を用いる場合でも同様の処理で実現可能であり、 GodeA3と GodeA8、 CodeA 4と GodeA 9を用いる場合でも同様の処理で実現可能である。

また、図 2 6に示す初期化コマンド GodeA5を復号化後用メモリ管理情報とし、図 2 2 に示す初期化再送コマンド Gode6を復号化前用メモリ管理情報として、それぞれを対で使うことも可能である。

また、 1フレームに 1つの復号化後用メモリ管理情報と複数の復号化前用メモリ管理情報がヘッダ情報として付与されている場合、複数の復号化前用メモリ管理情報が復号化後用メモリ管理情報よリ先に処理されるようにするとよい。

つまり、図 1 7に示すヘッダ情報の先頭の方に復号化前用メモリ管理情報を付与し符号化するようにすればよい。

また、図 2 9 ( a ) と図 2 9 ( b ) とに示す命令の組み合わせにより、メモリ管理情報が復号前用管理情報であるか復号化後用管理情報であるかを別の情報として、上記実施の形態に示したコマンドを実現しても良い。

図 2 9 ( a )は、コマンドの内容と付加情報を示す対応図である。図 2 9 ( b ) は、コマンドの実行タイミング（処理位置）を示す対応図である。

図 3 0において、フレーム FrmBの符号化信号は、フレームヘッダ FrmBHdrと、 MBa, MBb などのフレームデータなどを有しており、フレームヘッダ FrmBHdrは、ヘッダ情報として、コード情報 GodeDなどを有している。

このとき、例えば図 3 0に示すように、フレーム FrmBのフレームヘッダ FrmBHdrを先頭からコマンドのコード情報 GodeD、処理位置を示す F l agD、コマンドの付加情報を示す付加情報 AddD とすればよい。付加情報がない場合は図 3 0に示すようにコマンドの GodeE、処理位置を示す F l agEがフレームヘッダ FrmBHdrに付加されればよい。コマンドを示す Codeの直後に付加情報を示す Addとせず処理位置を示す F l agとすることにより、図 2 8に示す StepB7や StepB9の処理が最適化できる。

また、コマンドの実行タイミングが画像信号の復号前と復号後のいずれかであるかを区別するために、コマンドの処理位置を示す新しいコマンドを用い、その処理位置を示すコマンドのフレームヘッダでの位置より前に位置するコマンドは復号化後に実施、その処理位置示すコマンドのフレームヘッダでの位置よリ後に位置するコマンドは復号化前に実施するようにしてもよい。これにより、複数コマンドがあるときに、それぞれのコマンドの実行タイミング（処理位置）を 1つのコマンドで示すことができ、コマンド毎に処理位置を示す F l agを送る場合に比べて送る情報が減少して、符号化効率が向上する。

具体例を図 3 1を用いて説明する。

図 3 1において、フレーム FrmGの符号化信号は、フレームヘッダ FrmGHdrと、 MBa， MBb などのフレームデータなどを有しており、フレームヘッダ FrmGHdrは、ヘッダ情報として、前から順にコマンド GodeF、コマンド d i f、コマンド CodeG、付加情報 AddG、コマンド GodeHが位置している。

そして、処理位置を示すコマンド c^ f がフレームヘッダ FrmGHdrにあるかないかが判別され、処理位置を示すコマンド d i f より前にあるコマンド GodeFはフレーム FrmGの復号化後に実行され、コマンド d i f よリ後にあるコマンド GodeGやコマンド CodeHはフレーム FrmGの復号化前に実行されるようにしてもよい。この場合、処理位置を示すコマンド dげがなければ、フレームヘッダ FrmGHdr内の全てのコマンドは、フレーム FrmGの復号化処理後に実行されることになる。

尚、上記各実施の形態で説明したように、不要になったメモリ領域を開放するコマンドゃ初期化コマンドなどのメモリ管理情報が再度伝送されるときに、画像の符号化信号に付加されたヘッダ情報に含まれて伝送されるのではなく、メモリ管理情報の含まれたヘッダ情報が画像の符号化信号とは別に分離して伝送されてもよい。すなわち、再送する上述のコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよい。また、蓄積メディアの別の領域に記録されてもよい。

(実施の形態 1 0 )

次に、本発明の実施の形態 1 0について説明する。本実施の形態では、上記各実施の形態と符号化を行う単位が異なる。すなわち、上記実施の形態 1において不要なメモリ領域を開放するコマンドを複数回伝送するとき、上記コマンドに相当する図 5に示されるメモリ管理情報ストリーム GtlStr と画像符号化ストリーム VideoStrとは画像（ピクチャ）単位で符号化していたが、本実施の形態では、図 32に示すス卜リーム構造のように 1フレームをスライス単位で符号化してもよい。スライス単位で符号化するとは、図 32のフレーム 1のスライス 1がヘッダ 1-1、 ctlStr1、 VideoStr1-1 を有し、フレーム 1 のスライス 2がヘッダ 1 - 2、 ctlStr1、 VideoStr1-2 を有するように、各フレームが有するスライス毎にヘッダ、メモリ管理情報ストリ一ム CtlStr、画像符号化ストリ一ム VideoStr を符号化することである。画像符号化装置で符号化後、画像符号化装置はデータストリームを出力する。なお、スライスは同期復帰単位であり、一つまたは複数のブロックからなる帯状の領域であり、複数のスライスからピクチャが構成される。また、ピクチャは 1枚の画像に対応する基本的符号化単位であり、プロックは符号化■復号化の基本単位である。

また、上記のようにメモリ管理情報ストリ一ム CtlStrを複数回伝送するときの内容は同一フレーム内において同一の情報とする。同一の情報とすることにより、このメモリ管理情報ストリーム CtlStrのスライス単位での付加の省略ができる。例えば、スライスのヘッダに複数回の伝送が当該スライスでは省略されているかどうかを示す情報を付加し、上記コマンドを複数回伝送することが当該スライスでは省略されているときには「0」を、上記コマンドが当該スライスにおいて伝送されているとき（省略されていないとき）には「i j を付加する。具体的に図 33 (a) に一例を示し、以下説明する。フレーム 1におけるスライス 1からスライス 3におけるヘッダおよび画像符号化ス卜リー厶 VideoStrはそれぞれ異なる。一方、スライス 1およびスライス 2においては同一のメモリ管理情報ス卜リーム CtlStrl を有し、同一フレームにおける複数のスライスにおいて同一のメモリ管理情報ストリ一ム CtlStrlが符号化されていることを示す情報 Γ 1 j をスライス 1およびスライス 2それぞれが有する。また、スライス 3はメモリ管理情報ストリーム GtlStrl を省略していることを示す情報「oj を有する。これにより、複数回伝送することが当該スライスにおいて省略されているときには、先頭のスライス等、上記「1 Jが示されているスライスにおけるメモリ管理情報ストリー厶 CtlStrを参照することにより、メモリ管理情報ストリーム GtlStrの付加を省略可能にでき、ビット数を減らすことが可能となる。

すなわち、上述したメモリ管理情報ストリーム CtlStrlを省略していることを示す情報「0」は、除去する対象のピクチャを指定する情報を有さないスライス（スライス 3) で、除去する対象のピクチャを指定する情報を参照するとき、除去する対象のピクチャを指定する情報を参照することを示す情報である。

このようなメモリ管理情報ストリーム GtlStrの付加を省略可能にする方法は、伝送過程でメモリ管理情報ストリーム GtlStr が複数回欠落する可能性は少ないため有効である。

さらに、メモリ管理情報ストリーム CtlStr の有無が、メモリ管理情報ストリーム GtlStrが省略されていることを示す情報なしに判別できる場合、図 33 (b) のようにこれを省略してもよい。例えばメモリ管理情報ス卜リーム GtlStrの先頭が画像符号化ストリ一ム VideoStrの先頭と区別できる場合では、図 33 ( b ) のようにメモリ管理情報ストリーム GtlStrlが符号化されているかどうかを示す情報があるかどうかの判別を、各スライスにおける先頭から所定の位置に所定の情報があるかないかで確認することができる。

このようなメモリ管理情報ストリ一ム CtlStrの付加を省略可能にする方法は、メモリ管理情報ス卜リーム GtlStrを符号化する回数を削減し、ビット数を減らすの有効である。以上、符号化について説明したが同様に 1フレームの復号化をスライス単位ですることができる。上記実施の形態 2において不要なメモリ領域を開放するコマンドを複数回伝送するとき、図 7に示す画像復号化装置 200においては、上記コマンドに相当する図 32に示される管理情報ストリーム GtlStrと画像符号化ストリーム VideoStrとを有するストリーム構造を分離し、それぞれを画像（ピクチャ）単位で入力するが、それぞれをスライス単位で入力してもよい。なお、他の実施の形態における符号化 '復号化においても同様に 1 フレームをスライス単位で符号化 '復号化してもよい。

また、上記実施の形態 1から実施の形態 1 0までに示した符号化方法'復号化方法は、携帯電話やカーナビゲーシヨンシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器に L S I等の半導体によって実装することが可能である。また、実装形式としては、符号化器 '復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りが考えられる。

(実施の形態 1 1 )

次に、本発明の実施の形態 1 1について説明する。

本実施の形態では、さらに、実施の形態 1から実施の形態 1 0で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図 3 4は、上記実施の形態 1の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。図 3 4 ( b ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図 3 4 ( a ) は、記録媒体本体であるフレキシブルディスクの物理フォーマツ卜の例を示している。フレキシブルディスク F D 1はケース F内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラック丁 rが形成され、各トラックは角度方向に 1 6のセクタ S eに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク F D 1上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図 3 4 ( c ) は、フレキシブルディスク F D 1に上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスク F D 1に記録する場合は、コンピュータシステム C sから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブ F D Dを介して書き込む。また、フレキシブルディスク F D 1内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブ F DDによりプログラムをフレキシブルディスク F D 1から読み出し、コンピュータシステム C sに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行つたが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I C カード、 ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施の形態に示した画像符号化方法■画像復号化方法は、携帯電話やカーナビゲ一シヨンシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器に L S I等の半導体によって実装することが可能である。また、実装形式としては、符号化器■復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りが考えられる。

ここで、上記実施の形態 1から実施の形態 1 0で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。

図 35は、コンテンッ配信サービスを実現するコンテンツ供給システム ex1 00の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 ex 1 07〜ex1 1 0が設置されている。このコンテンツ供給システム ex 1 00は、例えば、インターネッ卜 exl 01にインタ —ネットサービスプロバイダ exl 02および電話網 exl 04、および基地局 ex 1 07 〜ex1 1 0を介して、コンヒユータ ex 1 1 1、 PDA (personal digital assistant) exl 1 2、カメラ exl 1 3、携帯電話 ex 1 1 4、カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。

しかし、コンテンツ供給システム exl 00は図 35のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 exl 07 -exl 1 0を介さずに、各機器が電話網 exl 04に直接接続されてもよい。カメラ ex 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 PDC (Personal Digital Communications) 方式、 CDMA (Code Division Multiple Access) 方式、 W— CDMA (Wideband-Code Division Multiple Access) 方式、若しくは GSM (Global System for Mobile Communications) 方式の携帯電話機、または P HS (Personal Handyphone System) 等であり、いずれでも構わない。

また、ストリ一ミングサーバ ex1 03は、カメラ ex 1 1 3から基地局 ex 1 09、電話網 exl 04を通じて接続されており、カメラ exl 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラ exl 1 3で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ exl 1 6で撮影した動画データはコンピュータ exl 1 1を介してストリ一ミングサ一パ exl 03に送信されてもよし、。カメラ exl 1 6はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ exl 1 6で行つてもコンピュータ ex 1 1 1で行ってもどちらでもよい。また、符号化処理はコンビユータ ex 1 1 1やカメラ ex 1 1 6が有する L S 1 ex 1 1 7において処理することになる。なお、画像符号化■復号化用のソフトウ Iァをコンピュータ exl 1 1等で読み取り可能な記録媒体である何らかの蓄積メディア（CD— ROM、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 ex 1 1 5で動画データを送信してもよい。このときの動画データは携帯電話 exl 1 5が有する LS Iで符号化処理されたデータである。

このコンテンッ供給システム ex 1 00では、ユーザが力メラ ex 1 1 3、カメラ ex 1 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリ一ミングサーバ exl 03に送信する一方で、ストリ —ミングサ一パ ex 1 03は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータ exl 1 1、 P D Aexl 1 2、カメラ ex 1 1 3、携帯電話 exl 1 4等がある。このようにすることでコンテンツ供給システム exl 00は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。 '

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。

その一例として携帯電話について説明する。

図 36は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話 exl 1 5を示す図である。携帯電話 exl 1 5は、基地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex201、 CC Dカメラ等の映像、静止画を撮ることが可能なカメラ部 ex203、カメラ部 ex203で撮影した映像、アンテナ ex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex202、操作キ一 e X 204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部 ex 208、音声入力をするためのマイク等の音声入力部 ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア ex2 07、携帯電話 exl 1 5に記録メディア ex207を装着可能とするためのスロット部 ex206を有している。記録メディア ex 207は S Dカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである E E P ROM (Electrical ly Erasable and Programmable Read Only Memory) のー禾星であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話 exl 1 5について図 37を用いて説明する。携帯電話 exl 1 5は表示部 ex 202及び操作キー e X 204を備えた本体部の各部を統括的に制御するようになされた主制御部 ex31 1に対して、電源回路部 ex3 1 0、操作入力制御部 ex30 4、画像符号化部 ex 31 2、カメラインタ一フェース部 ex 303、 L C D (Liquid Crystal Display) 制御部 ex302、画像復号化部 ex309、多重分離部 ex308、記録再生部 ex307、変復調回路部 ex 306及び音声処理部 ex 305が同期バス ex31 3を介して互いに接続されている。

電源回路部 ex3 1 0は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによリカメラ付ディジタル携帯電話 exl 1 5を動作可能な状態に起動する。

携帯電話 exl 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 31 1の制御に基づいて、音声通話モード時に音声入力部 ex205で集音した音声信号を音声処理部 ex 305によってディジタル音声データに変換し、これを変復調回路部 ex 306でスぺクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して送信する。また携帯電話機 exl 1 5は、音声通話モード時にアンテナ ex201で受信した受信データを増幅して周波数変換処理及ぴアナログディジタル変換処理を施し、変復調回路部 ex306でスぺクトラ厶逆拡散処理し、音声処理部 ex 305によってアナログ音声データに変換した後、これを音声出力部 ex208を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー e x 2 04の操作によって入力された電子メールのテキストデータは操作入力制御部 ex30 4を介して主制御部 ex31 1に送出される。主制御部 ex3 1 1は、テキストデータを変復調回路部 ex306でスぺクトラ厶拡散処理し、送受信回路部 ex301でディジタルァナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して基地局 ex 1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 ex203で撮像された画像データをカメラインターフ： tース部 ex303を介して画像符号化部 ex31 2に供給する。また、画像データを送信しない場合には、カメラ部 ex203で撮像した画像データをカメラインターフェース部 ex 303及び LC D制御部 ex302を介して表示部 ex 202に直接表示することも可能である。

画像符号化部 ex31 2は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部 ex 203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することによリ符号化画像データに変換し、これを多重分離部 ex308に送出する。また、このとき同時に携帯電話機 ex1 1 5は、カメラ部 ex203で撮像中に音声入力部 ex205で集音した音声を音声処理部 ex30 5を介してディジタルの音声データとして多重分離部 ex308に送出する。

多重分離部 ex308は、画像符号化部 ex31 2から供給された符号化画像データと音声処理部 ex 305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex306でスぺクトラム拡散処理し、送受信回路部 ex 301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex2 01を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ ex201を介して基地局 exl 1 0から受信した受信データを変復調回路部 ex306でスぺクトラ厶逆拡散処理し、その結果得られる多重化データを多重分離部 ex308に送出する。

また、アンテナ ex201を介して受信された多重化データを復号化するには、多重分離部 ex308は、多重化データを分離することにより画像データのビットス卜リームと音声データのビットス卜リームとに分け、同期バス ex31 3を介して当該符号化画像データを画像復号化部 ex309に供給すると共に当該音声データを音声処理部 ex305 に供給する。

次に、画像復号化部 ex 309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリー厶を上記実施の形態で示した符号化方法に対応した復号化方法で復号することによリ再生動画像データを生成し、これを L C D制御部 ex3 02を介して表示部 ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex3 05は、音声データをアナログ音声データに変換した後、これを音声出力部 ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図 38に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送 ex 409では映像情報のビッ卜ストリームが電波を介して通信または放送衛星 ex4 1 0に伝送される。これを受けた放送衛星 ex4 1 0は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex406で受信し、テレビ (受信機） ex40 1またはセットトップボックス（S T B) ex407などの装置によりビットストリー厶を復号化してこれを再生する。また、記録媒体である GDや DVD等の蓄積メディア ex402に記録したビットストリームを読み取り、復号化する再生装置 ex 403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタ ex404に表示される。また、ケーブルテレビ用のケーブル ex405または衛星ノ地上波放送のアンテナ ex406に接続されたセット卜ップボックス ex407内に画像復号化装置を実装し、これをテレビのモニタ ex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナ ex4 1 1を有する車 ex4 1 2で衛星 ex 4 1 0からまたは基地局 exl 07等から信号を受信し、車 ex4 1 2が有するカーナビゲーシヨン ex4 1 3等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、 DVD ディスク e X 42 1に画像信号を記録する DVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ ex420 がある。更に SDカード e x 422に記録することもできる。レコーダ e x 420が上記実施の形態で示した画像復号化装置を備えていれば、 DVDディスク e x 42 1や SD力一ド e X 422に記録した画像信号を再生し、モニタ e X 408で表示することができる。なお、カーナビゲーシヨン ex4 1 3の構成は例えば図 37に示す構成のうち、カメラ部 ex203とカメラインタ一フ X—ス部 ex303、画像符号化部 e x 3 1 2を除いた構成が考えられ、同様なことがコンピュータ exl 1 1やテレビ（受信機） ex40 1等でも考えられる。

また、上記携帯電話 ex 1 1 4等の端末は、符号化器'復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器 ' システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。産業上の利用の可能性

本発明に係る画像符号化装置は、通信機能を備えるパーソナルコンピュータ、 P D A、デジタル放送の放送局および携帯電話機などに備えられる画像符号化装置として有用でめる。

また、本発明に係る画像復号化装置は、通信機能を備えるパーソナルコンピュータ、 P D A , デジタル放送を受信する S T Bおよび携帯電話機などに備えられる画像復号化装置として有用である。

Claims

請求の範囲

1 . メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化方法であって、

前記選択した参照ピクチャを参照して、符号化対象ピクチャを符号^するピクチャ符号化ステップと、

前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を前記符号化された符号化対象ピクチャに付随させて符号化する管理情報符号化ステップと, 前記メモリ管理情報を前記管理情報符号化ステップにおける符号化とは別に再度符号化する管理情報再符号化ステップと

を含むことを特徴とする画像符号化方法。

2 . 前記管理情報再符号化ステップでは、前記再度符号化されたメモリ管理情報に、前記管理情報符号化ステツプにおいてメモリ管理情報を付随させた前記符号化対象ピクチヤを特定する情報を付随させる

ことを特徴とする請求の範囲 1記載の画像符号化方法。

3 . 前記管理情報再符号化ステップでは、前記メモリ管理情報の符号化を繰り返すことを特徴とする請求の範囲 1又は請求の範囲 2記載の画像符号化方法。

4 . 前記メモリ管理情報は、前記メモリの不要になり開放するメモリ領域を指定する情報である

ことを特徴とする請求の範囲 1から 3のいずれか 1項に記載の画像符号化方法。

5 . 前記メモリは、参照ピクチヤの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である

ことを特徴とすることを特徴とする請求の範囲 1から 3のいずれか 1項に記載の画像符号化方法。

6 . 前記管理情報再符号化ステツプでは、前記管理情報符号化ステツプにおいて前記メモリ管理情報を付随させた符号化対象ピクチャとは異なる少なくとも 1つの他の符号化対象ピクチャに付随させて前記メモリ管理情報を再度符号化する

ことを特徴とする請求の範囲 1から 5のいずれか 1項に記載の画像符号化方法。

7 . 前記管理情報符号化ステツプにおいて、前記メモリ管理情報を前記メモリに保存されない符号化対象ピクチャに付随させる場合には、前記管理情報再符号化ステップにおいて、前記メモリ管理情報を前記メモリに保存される符号化対象ピクチャにも付随させる

ことを特徴とする請求の範囲 6に記載の画像符号化方法。

8 . メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して復号化する画像復号化方法であって、

前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を復号化し、復号化したメモリ管理情報に基づいて、前記メモリの不要になるメモリ領域を開放する場合に、開放するメモリ領域が開放済でなければメモリ領域を開放し、開放するメモリ領域がすでに開放済であれば前記メモリに対して何も処理を行わない

ことを特徴とする画像復号化方法。 9 . メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して復号化する画像復号化方法であって、前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよリも参照ピクチャの保存時間の長い長時間保存メモリとを備え、

前記画像復号化方法は、前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を復号化し、復号化したメモリ管理情報に基づいて、前記メモリ内に保存されている参照ピクチャを前記短時間保存メモリから前記長時間保存メモリに移動する場合に、移動対象の参照ピクチャが前記短時間保存メモリに存在すれば当該参照ピクチャを前記短時間保存メモリから前記長時間保存メモリに移動し、移動対象の参照ピクチャが前記短時間保存メモリに存在しなければ前記メモリ内の移動を行わないことを特徴とする画像復号化方法。

1 0 . メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化する画像符号化方法であって、

重要度が符号化対象ピクチャ以上である前記メモリ内に保存されている参照ピクチャを参照ピクチャの候補として符号化する

ことを特徴とする画像符号化方法。

1 1 . メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化したデ一タストリームが記録された記録媒体であって、

前記選択した参照ピクチャを参照して、符号化対象ピクチャを符号化した符号化データと、

前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を前記符号化された符号化データに付随させて符号化した管理情報符号化データと、前記メモリ管理情報を前記管理情報符号化データとは別に再度符号化した管理情報再符号化データと

含むデータストリ一ムが記録された記録媒体。

1 2 . メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化したデ一タストリームが記録された記録媒体であって、

前記選択した参照ピクチャを参照して符号化された符号化対象ピクチャに付随させて最初に符号化されたメモリ管理情報とは別に、前記メモリ管理情報が再度符号化された管理情報再符号化データ

を含むデータス卜リームが記録された記録媒体。

1 3 . 前記管理情報再符号化データには、前記符号化された符号化対象ピクチャを特定する情報が付随している

ことを特徴とする請求の範囲 1 2記載のデ一タストリームが記録された記録媒体。

1 4 . メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化する画像符号化装置であって、

前記選択した参照ピクチャを参照して、符号化対象ピクチャを符号化するピクチャ符号化手段と、

前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を前記符号化された符号化対象ピクチャに付随させて符号化する管理情報符号化手段と、前記メモリ管理情報を前記管理情報符号化手段が行う符号化とは別に再度符号化する管理情報再符号化手段とを備える

ことを特徴とする画像符号化装置。

1 5 . 前記管理情報再符号化手段は、前記再度符号化されたメモリ管理情報に、前記管理情報符号化手段がメモリ管理情報を付随させた前記符号化対象ピクチャを特定する情報を付随させる

ことを特徴とする請求の範囲 1 4に記載の画像符号化装置。

1 6 . 前記メモリ管理情報は、前記メモリの不要になり開放するメモリ領域を指定する情報である

ことを特徴とする請求の範囲 1 4または請求の範囲 1 5に記載の画像符号化装置。

1 7 . 前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリより参照ピクチャの保存時間の長い長時間保存メモリとを備え、

前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である

1 8 . 前記管理情報再符号化手段は、前記管理情報符号化手段が前記メモリ管理情報を付随させた符号化対象ピクチャとは異なる少なくとも 1つの他の符号化対象ピクチャに付随させて前記メモリ管理情報を再度符号化する

ことを特徴とする請求の範囲 1 4から 1 7のいずれか 1項に記載の画像符号化装置。

1 9 . メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して復号化する画像復号化装置であって、

前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を復号化する管理情報復号化手段と、

前記管理情報復号化手段が復号化したメモリ管理情報に基づいて、前記メモリのメモリ領域を開放する場合に、開放するメモリ領域が開放済でなければメモリ領域を開放し、開放するメモリ領域がすでに開放済であれば前記メモリに対して何も処理を行わないメモリ管理情報制御手段と

を備えることを特徴とする画像復号化装置。

2 0 . ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよリ画像の保存時間の長い長時間保存メモリを備えるメモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して復号化する画像復号化装置であって、前記メモリに保存されているピクチャを制御管理するためのメモリ管理情報を復号化する管理情報復号化手段と、

前記管理情報復号化手段が復号化したメモリ管理情報が指定する、前記メモリ内に保存されているピクチャを前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャがメモリに存在すれば当該参照ピクチャを前記短時間保存メモリから前記長時間保存メモリに移動し、移動する対象の参照ピクチャがメモリに存在しなければメモリに対して何も処理を行わないメモリ管理情報制御手段と

を備えることを特徴とする画像復号化装置。

2 1 . メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化する画像符号化装置であって、

重要度が符号化対象ピクチャ以上である前記メモリ内に保存されている参照ピクチャを参照ピクチャの候補として符号化する符号化手段を備えることを特徴とする画像符号化装置。

2 2 . コンピュータにより、メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化する画像符号化方法を行うためのプログラムであつて、

前記選択した参照ピクチャを参照して、符号化対象ピクチャを符号化するピクチャ符号化ステップと、

前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を前記符号化された符号化対象ピクチャに付随させて符号化する管理情報符号化ステップと, 前記メモリ管理情報を前記管理情報符号化ステップにおける符号化とは別に再度符号化する管理情報再符号化ステップとをコンピュータに実行させることを特徴とするプログラム <

2 3 . 前記管理情報符号化ステップにおける前記メモリ管理情報は、前記メモリ内で不要になり開放されるメモリ領域を指定する情報である

ことを特徴とする請求の範囲 2 2記載のプログラム。

2 4 . 前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよリも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である

ことを特徴とする請求の範囲 2 2記載のプログラム。

2 5 . コンピュータにより、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して復号化する画像復号化方法を行うためのプログラムであつて、

前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を復号化し、復号化したメモリ管理情報に基づいて、前記メモリの不要になるメモリ領域を開放する場合に、開放するメモリ領域が開放済でなければメモリ領域を開放し、開放するメモリ領域がすでに開放済であれば前記メモリに対して何も処理を行わないステツプを

コンピュータに実行させることを特徴とするプログラム。

2 6 . コンピュータにより、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して復号化する画像復号化方法を行うためのプログラムであつて、

前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記画像復号化方法は、前記メモリに保存されている参照ピクチャを制御管理するためのメモリ管理情報を復号化し、復号化したメモリ管理情報に基づいて、前記メモリ内に保存されている参照ピクチャを前記短時間保存メモリから前記長時間保存メモリに移動する場合に、移動対象の参照ピクチャが前記短時間保存メモリに存在すれば当該参照ピクチャを前記短時間保存メモリから前記長時間保存メモリに移動し、移動対象の参照ピクチャが前記短時間保存メモリに存在しなければ前記メモリ内の移動を行わないステップ

をコンピュータに実行させることを特徴とするプログラム。

2 7 . コンピュータにより、メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照して符号化する画像符号化方法を行うためのプログラムであつて、

重要度が符号化対象ピクチャ以上である前記メモリ内に保存されている参照ピクチャを参照ピクチャの候補として符号化するステップ

2 8 . 符号化対象ピクチャを符号化するステップと、

前記符号化対象ピクチャを符号化した後に参照されない参照ピクチャがメモリ内にあるかないかを判断するステップと、

前記参照されない参照ピクチャがあれば、参照されないことにより不要になるメモリ領域を開放するコマンドとして、符号化データを復号化する復号化装置において前記符号化対象ピクチャを復号化した後に前記不要になるメモリ領域を開放することを示すコマンドを符号化するステップと、

前記不要になるメモリ領域を開放するステップと、

前記符号化対象ピクチャより後に符号化される別の符号化対象ピクチャを符号化するときに、前記別の符号化対象ピクチャを復号化する前に前記不要になるメモリ領域を開放することを示すコマンドを符号化するステップと

を含むことを特徴とする画像符号化方法。 2 9 . 復号化対象ピクチャに付随するメモリを管理するメモリ管理情報を復号化するステップと、

前記メモリ管理情報が、前記復号化対象ピクチャを復号化する前にメモリを管理する処理をすることを示す復号化前用コマンドであるかどうかを判断する第一の判断ステツプと、

前記第一の判断ステップで前記メモリ管理情報が前記復号化前用コマンドであると判断されたとき、メモリを管理する処理が済んでいるかどうかを判断する第二の判断ステップと、

前記第二の判断ス亍ップにおいてメモリを管理する処理が済んでいると判断されたとき、前記復号化対象ピクチャを復号化し、前記第二の判断ステップにおいてメモリを管理する処理が済んでいないと判断されたとき、前記メモリ管理情報に基づきメモリを管理する処理をした後に前記復号化対象ピクチャを復号化するステップと

を含むことを特徴とする画像復号化方法。

3 0 . 復号化対象ピクチャに付随するメモリを管理するメモリ管理情報を復号化するステップと、

前記復号化対象ピクチャを復号化する復号化ステツプと、

前記第一の判断ステップにおいて、前記メモリ管理情報が前記復号化前用コマンドでないと判断されたとき、前記メモリ管理情報が、復号化対象ピクチャを復号化した後にメモリを管理する処理をすることを示す復号化後用コマンドであるかどうかを判断する第三の判断ステップと、

前記第三の判断ステップにおいて、前記メモリ管理情報が前記復号化後用コマンドであると判断されたとき、前記メモリ管理情報に基づきメモリを管理する処理をするステップと

を含むことを特徴とする画像復号化方法。

3 1 . 符号化対象ピクチャを符号化するステップと、

前記符号化対象ピクチャを符号化した後にメモリ内にある参照ピクチャが全て参照されないピクチャかどうかを判断する判断ステップと、

前記判断ステップにおいて、前記メモリ内にある参照ピクチャは全て参照されないピクチャであると判断されたとき、前記メモリ内にある参照ピクチャを全て削除する命令である初期化コマンドを符号化するステップと、

前記メモリ内にある参照ピクチャを全て削除する初期化ステップと、

前記符号化対象ピクチャより後に符号化される別の符号化対象ピクチャを符号化するときに、前記符号化対象ピクチャの符号化時に削除された、前記符号化対象ピクチャよリ前に前記メモリ内に保存された全参照ピクチャを削除の対象とする付加情報に基づいて、メモリ内にある参照ピクチャを削除することを示す命令である初期化再送コマンドを符号化するステップと

を含むことを特徴とする画像符号化方法。

3 2 . 復号化対象ピクチャに付随するメモリを管理するメモリ管理情報を復号化するステップと、

前記復号化対象ピクチャを復号化するステップと、

前記メモリ管理情報に、メモリ内にある参照ピクチャを全て削除する命令である初期化コマンドがあるかどうかを判断する初期化判断ステップと、前記初期化判断ステップにおいて前記メモリ管理情報に、前記初期化コマンドがあると判断されなかったとき、

前記メモリ管理情報に、前記復号化対象ピクチャより前に復号化された別の復号化対象ピクチャを復号化したときに初期化して削除するべきである、前記別の復号化対象ピクチャより前に前記メモリ内に保存された参照ピクチャを削除するために、削除の対象を示す付加情報に基づいて、メモリ内にある参照ピクチャを削除する命令である初期化再送コマンドがあるかどうかを判断する初期化再送判断ステップと、

前記初期化再送判断ステツプにおいて、前記メモリ管理情報が前記初期化再送コマンドであると判断されたとき、メモリ内にある参照ピクチャが全て削除されているかどうかを判断する初期化済み判断ステップと、

前記初期化済み判断ス亍ップにおいて、メモリ内にある参照ピクチャが全て削除されていないと判断されたとき、前記付加情報に基づいてメモリ内にある参照ピクチャを削除する削除ステップと

を含むことを特徴とする画像復号化方法。

3 3 . 前記メモリは、先入先出メモリである短時間保存メモリと前記短時間保存メモリよりも参照ピクチャを長時間保存するために用いられる長時間保存メモリとを有しており、

前記削除ステツプにおいて、さらに前記長時間保存メモリのサイズを 0とすることを特徴とする請求の範囲 3 2に記載の画像復号化方法。

3 4 . メモリ内に保存されている複数の参照ピクチヤから選択した参照ピクチャを参照してスライス単位で符号化したデータストリームが記録された記録媒体であって、前記メモリ内に保存されている参照ピクチャをメモリから除去する場合に、除去する対象の参照ピクチャを指定する情報を少なくとも 2つのスライスに付随して符号化したデータス卜リームが記録された記録媒体。

3 5 . メモリ内に保存されている複数の参照ピクチヤから選択したピクチャを参照してスライス単位で符号化したデータストリ一ムが記録された記録媒体であって、前記メモリ内に保存されている参照ピクチャをメモリから除去する場合に、除去する対象の参照ピクチャを指定する情報を少なくとも 2つのスライスに付随して符号化し、さらに前記スライスが前記除去する対象の参照ピクチャを指定する情報を有することを示す情報を前記スライスに付随して符号化し、前記除去する対象の參照ピクチャを指定する情報を有さないスライスで、前記除去する対象の参照ピクチャを指定する情報を参照するとき、前記除去する対象の参照ピクチャを指定する情報を参照することを示す情報を符号化したデータストリームが記録された記録媒体。