JP5530409B2 - 画像符号化方法および画像符号化装置 - Google Patents

Description

本発明は、動画像信号を画面間の相関を利用して効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法、並びにそれをソフトウェアで実施するためのプログラム等に関する。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をデジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合デジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画面信号のデジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画面信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＳＯ／ＩＥＣとＩＴＵの共同で次世代画面符号化方式として、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）の標準化活動が進んでおり、現時点ではジョイント・モデル２（ＪＭ２）と呼ばれるものが最新である。

ＪＶＴでは、従来の動画像符号化と異なり、前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択可能である。ここで、ピクチャとはフレームまたはフィールドのことを表す。

図３５（ａ）はメモリに保存された複数の参照画像から選択した画像を参照して符号化する画像符号化の説明図である。図３５（ｂ）は、画像が保存されるメモリの構成を示す構成図である。

図３５（ｂ）に示すように、メモリは短時間保存メモリと長時間保存メモリから構成される。短時間保存メモリは直前に復号化した数画像を記憶するものであり、いわゆるＭＰＥＧ−１やＭＰＥＧ−２のＰピクチャ（前方予測符号化ピクチャ）およびＢピクチャ（双方向予測符号化ピクチャ）の参照画像に相当する。長時間保存メモリは短時間保存メモリよりも画像信号を長時間保存するために用いられる。

通常は、短時間保存メモリはＦＩＦＯ（先入先出）メモリであり、メモリの上限を超えた画像を短時間保存メモリに保存する場合には、短時間保存メモリ内の最も古い時刻の画像が除去されてその領域に新しい画像が保存される。従って、通常はＦＩＦＯの仕組みによってメモリから除去された参照画像を参照したい場合には、その参照画像を予め短時間保存メモリから長時間保存メモリに移動して長時間保存メモリ内に保存することにより長時間の参照が可能となる。長時間メモリは、保存する領域を明示する方法であり、同じ領域を指定して上書きしない限りその領域に保存したピクチャを参照可能である。

図３５（ａ）は画像符号化の際の予測状況を示しており、ピクチャ番号２の画像はピクチャ番号０の画像を参照し、ピクチャ番号１の画像はピクチャ番号０またはピクチャ番号２の画像を参照する。同様にして、ピクチャ番号４の画像はピクチャ番号０、２の画像を参照し、ピクチャ番号６の画像はピクチャ番号０の画像を参照する。更にピクチャ番号５の画像では、ピクチャ番号０、２、４、６の画像を参照することができる。

さて、この図３５（ａ）では、ピクチャ番号０、６、１２の画像は比較的長時間後まで参照されるのに対し、ピクチャ番号２、４、８の画像等は短時間後の画像からのみ参照される。

そこで、画像を保存するメモリ領域を図３５（ｂ）の様に短時間保存用メモリと長時間保存メモリに分割し、長時間保存が必要なメモリにピクチャ（フレーム）番号０、６、１２の画像を保存することができる。

さて、この図３５（ａ）に示すようなメモリを効率的に使用するためには高度なメモリ管理が必要であり、メモリを制御するための仕組みがＪＶＴに導入されている。

メモリを制御するコマンドは以下のものがある。

１． 参照可能な画像を選択するコマンド
２． 短時間保存メモリで予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するコマンド
３． 短時間保存メモリの内容を長時間保存メモリに移動するコマンド

画像符号化・復号化では、参照可能な画像の中からブロック単位で予測誤差が小さい画像を参照画像として選択するため、ブロック単位で参照画像を指示する信号が必要である。予め参照可能な画像を選択することで、参照画像の候補数を適切な値に絞り込み、ブロック単位で必要な参照画像指示信号のビット数を節約できる。

また、短時間保存メモリから長時間保存メモリに移動した場合は、同じ内容を短時間保存メモリと長時間保存メモリの両方に保存されていても無駄なだけであるから、短時間保存メモリ内の画像を除去する。

図３６（ａ）、（ｂ）は従来の画像符号化方法および画像復号化方法を示すフローチャートである。

図３６（ａ）は、予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するときの画像符号化装置の動作を示している。図３６（ａ）において、まず画像符号化装置は、入力される入力画像を符号化する（Ｓｔｅｐ１００）。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Ｓｔｅｐ１０１）、不要なメモリ領域があるかを判定する（Ｓｔｅｐ１０２）。不要なメモリ領域が有ると判定したときは（Ｓｔｅｐ１０２のＹｅｓ）、不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化し（Ｓｔｅｐ１０３）、その不要なメモリ領域を開放（メモリ内の画像を除去）して（Ｓｔｅｐ１０４）、処理を終了する。一方、画像符号化装置は、不要なメモリ領域が無いと判定した場合（Ｓｔｅｐ１０２のＮｏ）は、Ｓｔｅｐ１０３およびＳｔｅｐ１０４の動作は行わず、処理を終了する。

次に予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するときの画像復号化装置が行う動作を、図３６（ｂ）のフローチャートに沿って説明する。まず、画像復号化装置は、メモリ管理情報を復号化し（Ｓｔｅｐ１１０）、そして符号化信号から画像信号を復号化する（Ｓｔｅｐ１１１）。画像復号化装置は、調査した結果メモリ開放コマンドがあるかを判定し（Ｓｔｅｐ１１２）、メモリ開放コマンドがあれば（Ｓｔｅｐ１１２のＹｅｓ）、そのコマンドで除去すべき画像があるか、若しくは既にメモリ開放済み（画像除去済み）であるかを判定する（Ｓｔｅｐ１１３）。開放済みと判定すれば（Ｓｔｅｐ１１３のＹｅｓ）、エラー（ＥＲＲＯＲ）とする。ＪＶＴではメモリから画像を除去した後に同じ画像を再度除去するコマンドを送ることは禁止されており、従って開放済みのメモリを再度開放する場合にはエラーとすることになっているからである。一方画像復号化装置は、開放済みでないと判定すれば（Ｓｔｅｐ１１３のＮｏ）、メモリを開放して（Ｓｔｅｐ１１４）処理を終了する。また、メモリ開放コマンドが無いと判定した場合には（Ｓｔｅｐ１１２のＮｏ）、Ｓｔｅｐ１１３およびＳｔｅｐ１１４の動作は行わず、処理を終了する。なお、Ｓｔｅｐ１１０とＳｔｅｐ１１１は順不同であり、入れ替わっても構わない。

図３７（ａ）、（ｂ）は従来の他の画像符号化方法および画像復号化方法を示すフローチャートである。

図３７（ａ）は、短時間保存メモリから長時間保存メモリへ画像を移動するときの画像符号化装置が行う動作を示している。

図３７（ａ）において、まず、画像符号化装置は、入力画像を符号化する（Ｓｔｅｐ１２０）。符号化後に長時間保存メモリに移動すべき画像があるかを調査し（Ｓｔｅｐ１２１）、移動すべき画像があるかを判定する（Ｓｔｅｐ１２２）。移動すべき画像があれば（Ｓｔｅｐ１２２のＹｅｓ）、どのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化し（Ｓｔｅｐ１２３）、そのコマンド通りに画像を長時間保存メモリに移動して（Ｓｔｅｐ１２４）、処理を終了する。一方、画像符号化装置は、長時間保存メモリに移動すべき画像が無いと判定した場合（Ｓｔｅｐ１２２のＮｏ）は、Ｓｔｅｐ１２３およびＳｔｅｐ１２４の動作は行わず、処理を終了する。

次に短時間保存メモリから長時間保存メモリへ画像を移動するときの画像復号化装置が行う動作を、図３７（ｂ）のフローチャートに沿って説明する。まず、画像復号化装置が、メモリ管理情報を復号化し（Ｓｔｅｐ１３０）、次に符号化信号から画像信号を復号化する（Ｓｔｅｐ１３１）。そして、画像復号化装置は、復号化したメモリ管理情報に、長時間保存メモリに移動するコマンドがあるかを判定し（Ｓｔｅｐ１３２）、あると判定すれば（Ｓｔｅｐ１３２のＹｅｓ）、次にそのコマンドで移動すべき画像があるか若しくは既に移動済み（移動後に除去済のため画像が存在しない）であるかを判定する（Ｓｔｅｐ１３３）。ＪＶＴでは長時間保存メモリに移動した後に同じ画像を再度長時間保存メモリに移動するコマンドを送ることは禁止されており、従って長時間保存メモリに移動済みの画像を再度長時間保存メモリに移動する場合にはエラーとすることになっている。よって、画像復号化装置は、長時間保存メモリに移動済みであると判定すれば（Ｓｔｅｐ１３３のＹｅｓ）、エラー（ＥＲＲＯＲ）とし、移動済でないと判定すれば、長時間保存メモリに移動して（Ｓｔｅｐ１３４）処理を終了する。

一方、画像復号化装置は、長時間保存メモリに移動するコマンドが無いと判定した場合には（Ｓｔｅｐ１３２のＮｏ）Ｓｔｅｐ１３３およびＳｔｅｐ１３４の動作は行わず、処理を終了する。なお、Ｓｔｅｐ１３０とＳｔｅｐ１３１は順不同であり、入れ替わっても構わない。

図３８（ａ）、（ｂ）は従来の更に他の画像符号化方法および画像復号化方法を示すフローチャートである。

まず、参照可能な画像を選択するときの画像符号化装置が行う動作について、図３８（ａ）のフローチャートに沿って説明する。

まず、画像符号化装置は、被符号化画像と相関が高いと予想される参照画像（通常は時間的に近接した参照画像）を参照画像の候補として選択する（Ｓｔｅｐ２００）。次に選択した参照画像の候補を示す指示情報（メモリ管理情報の一種）を符号化し（Ｓｔｅｐ２０１）、選択した参照画像の候補の中からブロック単位で適切な参照画像を参照して符号化して（Ｓｔｅｐ２０２）、処理を終了する。なお、Ｓｔｅｐ２０１とＳｔｅｐ２０２は順不同であり、入れ替わっても構わない。

次に参照可能な画像を選択するときの画像復号化装置が行う動作について、図３８（ｂ）のフローチャートに沿って説明する。

まず、画像復号化装置はメモリ管理情報の一種である指示情報を復号化し（Ｓｔｅｐ２１０）、その結果として参照画像の候補をメモリの中から選択し（Ｓｔｅｐ２１１）、選択した参照画像の候補の中からブロック単位で適切な参照画像を選択して参照しながら復号化して（Ｓｔｅｐ２１２）、処理を終了する。

"Ｗｏｒｋｉｎｇ Ｄｒａｆｔ Ｎｕｍｂｅｒ ２， Ｒｅｖｉｓｉｏｎ ０ （ＷＤ−２）"， Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ， ＪＶＴ−Ｂ１１８， １３ Ｍａｒｃｈ， ２００２

さて、このような従来の画像符号化方法および画像復号化方法では、不要な画像をメモリから除去するコマンドや、画像を短時間保存メモリから長時間保存メモリに移動するコマンドを画像符号化装置で符号化して出力し、画像復号化装置に伝送して復号化するが、この伝送する回数が１つのピクチャのみに限定されているため、そのコマンドを伴うピクチャが伝送エラー等で消失した場合にはメモリ内の画像配置が正しく復元できないため、画像を復号化できなくなる。

また、画像の符号化および復号化において、参照画像を選択する場合に、単純に時間的に近い画像のみを参照画像候補とすると、画像の復号化のスケーラビリティ（図３５（ａ）の予測構造の例では、Ｂピクチャは復号化しなくてもＩピクチャやＰピクチャが復号できたり、ピクチャ番号４、１０、１６のＰピクチャを復号化しなくても他のＰピクチャは復号化できたりすること）を考慮した最適な符号化ができない。すなわち、ピクチャ番号６の画像に時間的に近い画像はピクチャ番号４、２の画像であるが、実際にはピクチャ番号０の画像しか参照できないため、参照できないピクチャ番号４、２の画像を参照画像の候補に入れると符号化効率があまり良くない。

更に、従来の画像符号化方法では、メモリに保存しない画像に付随して、メモリ内の不要な画像を除去するコマンドや、画像を短時間保存メモリから長時間保存メモリに移動するコマンドを伝送することは禁止されているため、柔軟なメモリ管理情報のコマンド伝送が阻害されている。メモリに保存しない画像に付随して当該コマンドの伝送を禁止するのには、次の理由がある。すなわち、メモリに保存しない画像は最も重要度が低く、スケーラビリティで復号化されない可能性が高いため、このメモリに保存しない画像に付随した当該コマンドが復号化されずにメモリ内の画像配置が正しく復元できないことを回避するためである。

そこで、本発明は以上の課題を解決するために、伝送路エラーで一部のメモリ管理情報が消失しても正しく復元可能な画像符号化方法および画像復号化方法等と、参照可能な参照画像の候補をより適切に選択して符号化効率を高める画像符号化方法および画像復号化方法等を提供することを目的とする。

この課題を解決するために、本発明の一形態である画像符号化方法は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化方法であって、選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化し、前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である、ことを特徴とする。

これによって、メモリ管理情報が複数回符号化出力されるため、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、複数回伝送されたメモリ管理情報のうちいずれかは伝送されて復号されると考えられるため、ピクチャを正しく復元できる可能性が高くなる。

また、前記メモリ管理情報は、前記メモリ内で不要になり開放するメモリ領域を指定する情報であるとしてもよい。

これによって、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、メモリの不要になるメモリ領域を開放することができる。

また、前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報であるとしてもよい。

これによって、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを正しく指定することができる。

また、本発明の記録媒体は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化したデータストリームが記録された記録媒体であって、選択した参照ピクチャを参照して、符号化対象ピクチャを符号化した符号化データと、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化対象ピクチャに付随させて符号化した管理情報符号化データと、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化した管理情報再符号化データとを含み、前記第２のメモリ管理情報には、前記符号化対象ピクチャを特定する情報が付随していることを特徴とする。

また、本発明の画像符号化装置は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化装置であって、前記選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化する管理情報符号化手段を備え、前記管理情報符号化手段は、前記第２のメモリ管理情報に、前記符号化対象ピクチャを特定する情報を付随させることを特徴とする。

これによって、メモリ管理情報が複数回符号化出力されるため、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、複数回伝送されたメモリ管理情報のうちいずれかは伝送されて復号されると考えられるため、ピクチャを正しく復元できる可能性が高くなる。
本発明に係る画像符号化方法は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化方法であって、選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化し、前記第２のメモリ管理情報に、前記符号化対象ピクチャを特定する情報を付随させ、前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である、ことを特徴とする画像符号化方法でもよい。
本発明に係る画像符号化装置は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化装置であって、選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化し、前記第２のメモリ管理情報に、前記符号化対象ピクチャを特定する情報を付随させる管理情報符号化手段を備え、前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である、ことを特徴とする画像符号化装置でもよい。

なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、ＣＤ−ＲＯＭなどの記録媒体やインターネット等の通信ネットワークを介して配信してもよい。

以上の様に、本発明にかかる画像符号化方法および画像復号化方法によれば、伝送路エラーで一部のメモリ管理情報が消失しても正しく復元可能な画像符号化方法および画像復号化方法と、参照可能な参照画像の候補をより適切に選択して符号化効率を高める画像符号化方法および画像復号化方法を実現することができ、その実用的価値は高い。

本発明の画像符号化装置の構成を示すブロック図である。 本発明の実施の形態１における画像符号化方法を示すフローチャートである。 本発明の画像復号化装置の構成を示すブロック図である。 本発明の実施の形態２における画像復号化方法を示すフローチャートである。 本発明の実施の形態３における画像符号化方法を示すフローチャートである。 本発明の実施の形態４における画像復号化方法を示すフローチャートである。 本発明の実施の形態５における画像符号化方法を示すフローチャートである。 本発明の実施の形態６における画像符号化方法を示すフローチャートである。 本発明の実施の形態７における画像符号化方法を示すフローチャートである。 （ａ）は画像のピクチャ番号と保存ピクチャ番号と伝送順序の関係を示す説明図であり、（ｂ）はデコードするピクチャ番号と保存されているピクチャ番号と削除されるピクチャ番号との関係を示す関係図であり、（ｃ）はデコードするピクチャ番号と保存されているピクチャ番号と削除されるピクチャ番号との他の関係を示す関係図である。 本発明におけるメモリ管理情報のコマンドを示す対応図である。 本発明の実施の形態８におけるコマンド実行手順を示すフローチャートである。 各ピクチャの符号化信号におけるヘッダ情報とフレームデータとの関係を示す模式図である。 符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。 各画像のピクチャ番号と保存ピクチャ番号と伝送順序の関係を示す説明図である。 初期化コマンドを符号化する方法を示すフローチャートである。 符号化された初期化コマンドを復号する方法を示すフローチャートである。 本発明の実施の形態８に用いるメモリ管理情報のコマンドを示す対応図である。 本発明における初期化再送コマンドを用いた画像符号化方法を示すフローチャートである。 本発明における符号化された初期化再送コマンドを復号する方法を示すフローチャートである。 各画像のピクチャ番号と保存ピクチャ番号と伝送順序の他の関係を示す説明図である。 本発明の実施の形態９で用いるメモリ管理情報のコマンドを示す対応図である。 本発明の実施の形態９における画像符号化方法を示すフローチャートである。 本発明の実施の形態９における画像復号化方法を示すフローチャートである。 （ａ）はコマンドの内容と付加情報を示す対応図であり、（ｂ）はコマンドの実行タイミングを示す対応図である。 符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。 他の符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。 スライス単位で符号化したデータストリーム構造を示す模式図である。 （ａ）（ｂ）いずれもスライス単位で符号化したデータストリーム構造を示す模式図である。 （ａ）（ｂ）（ｃ）はいずれも本発明の実施の形態１から実施の形態１０の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。 本発明に係る画像符号化方法および画像復号化方法が用いられるコンテンツ供給システムの全体構成を示すブロック図である。 本発明に係る画像符号化方法および画像復号化方法が用いられる携帯電話の一例を示す外観図である。 同携帯電話の構成を示すブロック図である。 本発明に係る画像符号化方法および画像復号化方法が用いられるデジタル放送用システムの構成を示す構成図である。 （ａ）はメモリに保存された複数の参照画像から選択した画像を参照して符号化する画像符号化の説明図であり、（ｂ）は画像が保存されるメモリの構成を示す構成図である。 （ａ）は従来の画像符号化方法を示すフローチャートであり、（ｂ）は従来の画像復号化方法を示すフローチャートである。 （ａ）は従来の画像符号化方法を示す他のフローチャートであり、（ｂ）は従来の画像復号化方法を示す他のフローチャートである。 （ａ）は従来の画像符号化方法を示す更に他のフローチャートであり、（ｂ）は従来の画像復号化方法を示す更に他のフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
まず、実施の形態１について説明する。

図１は、本実施の形態における画像符号化方法を実現するための画像符号化装置の構成を示すブロック図である。

画像符号化装置１００は、メモリ情報制御部１０１と、短時間保存メモリ管理部１０２と、長時間保存メモリ管理部１０３と、非保存メモリ管理情報部１０４と、管理情報符号化部１０５と、参照画像選択部１０６と、保存領域指定部１０７と、参照領域指定部１０８と、画像メモリ１０９と、画像復号化部１１１と、画像符号化部１１０と、可変長符号化部１１２と、カウンタ１１３と、カウンタ１１４などから構成される。

参照画像選択部１０６は外部から入力される重要度指示信号Ｐｒｉおよびピクチャタイプ情報ＰｉｃＴｙｐｅから参照画像の候補を選択し、メモリ情報制御部１０１に通知する。

メモリ情報制御部１０１は、ピクチャタイプ情報ＰｉｃＴｙｐｅによって前方および後方のいずれ、もしくは両方の画像（ピクチャ）が参照可能かどうかを判断し、参照領域指定部１０８に指令して、画像メモリ１０９から対応する参照画像を画像符号化部１１０に出力する。

画像符号化部１１０は、画像メモリ１０９から出力される参照画像を参照して入力画像信号Ｖｉｎを符号化し、可変長符号化部１１２は更に可変長符号化して画像符号化ストリームＶｉｄｅｏＳｔｒを出力する。画像符号化部１１０の出力は、また、画像復号化部１１１で復号化されて復号化画像となり、画像メモリ１０９に参照画像として格納される。

このとき、画像メモリ１０９における復号化画像の格納可能なメモリ位置は、次のように指定される。メモリ情報制御部１０１が短時間保存メモリ管理部１０２に問い合わせて、短時間メモリで画像の除去されたメモリ位置を特定し、保存領域指定部１０７がそのメモリ位置に復号化画像を記録するように、画像メモリ１０９に対し指示を出す。

短時間保存メモリ管理部１０２は、短時間保存メモリ内の不要な（参照されない）画像を検出して除去する（メモリを開放する）指令をメモリ情報制御部１０１に通知する。また、長時間保存メモリ管理部１０３は、短時間保存メモリ内の画像を長時間保存メモリに移動する指令をメモリ情報制御部１０１に通知する。この不要な画像の除去（メモリの開放）指令や、短時間保存メモリ内の画像を長時間保存メモリに移動する指令は、管理情報符号化部１０５で符号化されて、メモリ管理情報ストリームＣｔｌＳｔｒとなる。

一方、伝送路エラーにより、メモリ管理情報ストリームＣｔｌＳｔｒの一部が消失することでメモリ管理情報が損なわれることを防止するために、短時間保存メモリ用のカウンタ１１３および長時間保存メモリ用のカウンタ１１４で、不要な画像の除去指令や、短時間保存メモリ内の画像を長時間保存メモリに移動する指令の符号化回数を計測し、必要に応じて上記指令の複数回の伝送を可能にする。

また、非保存メモリ管理情報部１０４は、重要度が低く復号化されにくい画像に付随して、不要な画像の除去指令や短時間保存メモリ内の画像を長時間保存メモリに移動する指令が符号化されたかどうかを管理し、重要度が低い画像に付随して上記指令が符号化された場合は、より高い重要度の画像に付随して再度指令を符号化するように、メモリ情報制御部１０１に指示を出す。

次に、本発明の実施の形態１における画像符号化方法について説明する。図２は実施の形態１における画像符号化方法を示すフローチャートであり、図１で示した画像符号化装置１００が行う動作を示している。なお、図２において図３６（ａ）と動作が同じものには同じ記号を付している。

図２に示す画像符号化方法の特徴は、メモリ内で予測符号化の参照画像として不要な画像（ピクチャ）が存在する場合に、その画像の保存されているメモリ領域を開放する（その画像を除去する）メモリ管理情報のコマンドを繰り返し符号化することである。このように、メモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元できるため、伝送路エラーがあっても画像を正しく復元できる可能性が高くなる。

図２において、まず、入力画像を符号化する（Ｓｔｅｐ１００）。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Ｓｔｅｐ１０１）、不要なメモリ領域があるかを判定する（Ｓｔｅｐ１０２）。不要なメモリ領域がある場合（Ｓｔｅｐ１０２のＹｅｓ）、管理情報符号化部１０５が不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化する（Ｓｔｅｐ１０３）。そして、その不要なメモリ領域を開放する（Ｓｔｅｐ１０４）。不要なメモリ領域が無い場合（Ｓｔｅｐ１０２のＮｏ）は、Ｓｔｅｐ１０３およびＳｔｅｐ１０４の動作は行わない。

次に、メモリ情報制御部１０１が、直前に符号化した画像（符号化対象より前の画像）の符号化に付随させて、不要なメモリ領域を開放するコマンドがメモリ管理情報として符号化されているかを判定し（Ｓｔｅｐ１０５）、コマンドが符号化されていない場合は（Ｓｔｅｐ１０５のＮｏ）処理を終了し、コマンドが符号化されている場合は（Ｓｔｅｐ１０５のＹｅｓ）、管理情報符号化部１０５が、その不要なメモリ領域を開放するコマンドを再度メモリ管理情報として符号化し（Ｓｔｅｐ１０６）、処理を終了する。

このように、直前の画像の符号化で不要メモリを開放する（メモリ管理情報の）コマンドが符号化されると、再度、メモリ管理情報のコマンドが符号化される。直前の画像の符号化に付随させて符号化されたメモリ管理情報と、再度符号化されたメモリ管理情報は、それぞれ画像符号化装置より出力され、画像復号化装置に伝送され復号化される。

なお、Ｓｔｅｐ１０５で直前に符号化された画像の符号化信号に付随して、不要なメモリ領域を開放するコマンドが符号化されている場合に、再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく、数画像前の画像に付随している場合でも良く、更に、繰り返して上記コマンドをメモリ管理情報として符号化し、複数の画像に付随して伝送させてもよい。

また、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送する必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

以上のようにして、不要なメモリ領域を開放する（メモリ管理情報の）コマンドを複数回伝送することで、伝送路エラーが発生した場合でも、複数回伝送されたコマンドのうちいずれかは伝送されて復号されると考えられるため、画像を正しく復元できる可能性が高くなる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。

図３は、実施の形態２における画像復号化方法を実現するための画像復号化装置のブロック図である。

画像復号化装置２００は、メモリ情報制御部２０１と、短時間保存メモリ管理部２０２と、長時間保存メモリ管理部２０３と、管理情報復号化部２０５と、保存領域指定部２０７と、参照領域指定部２０８と、画像メモリ２０９と、画像復号化部２１０と、可変長復号化部２１２などから構成される。

メモリ情報制御部２０１は、ピクチャタイプ情報ＰｉｃＴｙｐｅによって、符号化対象に対して前方および後方のいずれ、もしくは両方の画像が参照可能かどうかを判断し、参照領域指定部２０８に指令して、画像メモリ２０９から対応する参照画像を画像復号化部２１０に出力する。

可変長復号化部２１２は符号化ストリームＶｉｄｅｏＳｔｒを復号化し、画像復号化部２１０はそれを更に復号化して、復号画像信号Ｖｏｕｔとして出力すると共に画像メモリ２０９に参照画像として格納する。

このとき、画像メモリ２０９における復号化画像の格納可能なメモリ位置は、次のように指定される。メモリ情報制御部２０１が短時間保存メモリ管理部２０２に問い合わせて、画像の除去されたメモリ位置を特定し、保存領域指定部２０７がそのメモリ位置に復号化画像を記録するように、画像メモリ２０９に対し指示を出す。

管理情報復号化部２０５は、メモリ管理情報ストリームＣｔｌＳｔｒを復号化して、メモリ情報制御部２０１を通じ、短時間保存メモリ内の不要な（参照されない）画像の情報を短時間保存メモリ管理部２０２に通知し、短時間保存メモリ内の画像を長時間保存メモリに移動する指令を長時間保存メモリ管理部２０３に通知する。

次に、本発明の実施の形態２における画像復号化方法について説明する。図４は実施の形態２における画像復号化方法を示すフローチャートであり、図３で示した画像復号化装置２００が行う動作を示している。なお、図４において図３６（ｂ）と動作が同じものは同じ記号を付している。

画像符号化装置が不要なメモリ領域を開放するコマンドを複数回伝送した場合には、伝送路エラーでコマンドが消失しない限り、画像復号化装置は、複数回、メモリ内の同じ画像の領域を開放するコマンドを受信することになる。従って、既に開放したメモリ領域を再度開放するコマンドを画像復号化装置が受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断する画像復号化方法を実現しなければならない。本実施の形態では、このような画像復号化方法を実現している。

図４において、まず、管理情報復号化部２０５がメモリ管理情報を復号化する（Ｓｔｅｐ１１０）。次に、符号化信号から画像信号を復号化する（Ｓｔｅｐ１１１）。そして、メモリ情報制御部２０１が、復号化されたメモリ管理情報にメモリを開放するコマンドがあるか否かを判定する（Ｓｔｅｐ１１２）。メモリを開放するコマンドがあれば（Ｓｔｅｐ１１２のＹｅｓ）、そのコマンドで除去すべき画像があるか若しくは既に開放済み（除去済み）であるかを判定し（Ｓｔｅｐ１１３）、メモリ開放済みであれば（Ｓｔｅｐ１１３のＹｅｓ）何も処理をせずに終了し、そうでなければメモリを開放して（Ｓｔｅｐ１１４）処理を終了する。一方、メモリ開放コマンドが無い場合には（Ｓｔｅｐ１１２のＮｏ）Ｓｔｅｐ１１３およびＳｔｅｐ１１４の動作は行なわず処理を終了する。なお、Ｓｔｅｐ１１０とＳｔｅｐ１１１は順不同であり、入れ替わっても構わない。

以上のような動作により、実施の形態１の画像符号化方法でメモリ内の同じ画像の領域を開放するコマンドを複数回符号化し伝送し、画像復号化装置２００がそれを複数回受信した場合でも、エラーとして処理しないため、正しく復号化できる画像復号化方法が実現できる。

なお、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送されている必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

（実施の形態３）
次に、実施の形態３における画像符号化方法について説明する。図５は実施の形態３における画像符号化方法を示すフローチャートであり、画像符号化装置１００が行う動作を示している。図５において図３７（ａ）と動作が同じものは同じ記号を付している。

本実施の形態の特徴はメモリ内で短時間保存メモリから長時間保存メモリに移動すべき画像が存在する場合に、その画像を移動するメモリ管理情報のコマンドを繰り返し符号化することである。メモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元できるため、伝送路エラーがあっても画像を正しく復元できる可能性が高くなる。

図５において、まず、入力画像を符号化する（Ｓｔｅｐ１２０）。符号化後に長時間保存メモリに移動すべき画像があるかを調査する（Ｓｔｅｐ１２１）。そして、メモリ情報制御部１０１が長時間保存メモリに移動する画像があるか否かを判定する（Ｓｔｅｐ１２２）。移動すべき画像があれば（Ｓｔｅｐ１２２のＹｅｓ）、管理情報符号化部１０５は、どのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化する（Ｓｔｅｐ１２３）。そして、そのコマンド通りに画像を長時間保存メモリに移動する（Ｓｔｅｐ１２４）。

次に、メモリ情報制御部１０１は、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随して長時間保存メモリに移動するコマンドをメモリ管理情報として符号化しているか否かを判定し（Ｓｔｅｐ１２５）、符号化していなければ（Ｓｔｅｐ１２５のＮｏ）処理を終了し、符号化していれば（Ｓｔｅｐ１２５のＹｅｓ）、管理情報符号化部１０５は、その長時間保存メモリに移動するコマンドを再度メモリ管理情報として符号化して（Ｓｔｅｐ１２６）、処理を終了する。

このように、直前の画像の符号化で長時間保存メモリに移動する（メモリ管理情報の）コマンドが符号化されると、再度、メモリ管理情報のコマンドが符号化される。直前の画像の符号化に付随させて符号化されたメモリ管理情報と、再度符号化されたメモリ管理情報は、それぞれ画像符号化装置より出力され、画像復号化装置に伝送され復号化される。

なお、Ｓｔｅｐ１２５で直前に符号化した画像の符号化信号に付随して長時間保存メモリに移動するコマンドが符号化されている場合に再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく数画像前の画像に付随している場合でも良く、更に、繰り返して、上記コマンドをメモリ管理情報として符号化し、複数の画像に付随させてもよい。

また、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、必ずしもそのコマンドを再度符号化して伝送するときに画像の符号化信号に付随させて伝送する必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

以上のようにして、長時間保存メモリに画像を移動するコマンドを複数回符号化して伝送することで、伝送路エラーが発生した場合でも、複数回伝送されたコマンドのうちいずれかは伝送されて復号されると考えられるため、画像を正しく復元できる可能性が高くなる。

（実施の形態４）
次に、実施の形態４の画像復号化方法について説明する。

画像符号化装置が長時間保存メモリに移動するコマンドを複数回伝送した場合には、伝送路エラーでコマンドが消失しない限り、画像復号化装置は、短時間保存メモリ内の同じ画像の領域を長時間保存メモリに移動するコマンドを複数回受信することになる。従って、既に移動した画像を再度移動するコマンドを画像復号化装置が受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断する画像復号化方法を実現しなければならない。本実施の形態における画像復号化方法の特徴は、このような画像復号化方法を実現したものである。

図６は実施の形態４における画像復号化方法を示すフローチャートであり、図３に示す画像復号化装置２００の動作を示している。図６において図３７（ｂ）と動作が同じものは同じ記号を付している。

図６において、まず、管理情報復号化部２０５がメモリ管理情報を復号化する（Ｓｔｅｐ１３０）。そして、符号化信号から画像信号を復号化する（Ｓｔｅｐ１３１）。

そして、メモリ情報制御部２０１が、復号化したメモリ管理情報に長時間保存メモリに画像を移動するコマンドがあるか否かを判定する（Ｓｔｅｐ１３２）。長時間保存メモリに移動するコマンドがあれば（Ｓｔｅｐ１３２のＹｅｓ）そのコマンドで移動すべき画像があるか、若しくは既に移動済み（移動後に除去済みのため画像が存在しない）であるかを判定し（Ｓｔｅｐ１３３）、長時間保存メモリに移動済みであれば（Ｓｔｅｐ１３３のＹｅｓ）何も処理をせず終了し、そうでなければ長時間保存メモリに移動して（Ｓｔｅｐ１３４）処理を終了する。

一方、長時間保存メモリに移動するコマンドが無い場合には（Ｓｔｅｐ１３２のＮｏ）Ｓｔｅｐ１３３およびＳｔｅｐ１３４の動作は行なわず処理を終了する。なお、Ｓｔｅｐ１３０とＳｔｅｐ１３１は順不同であり、入れ替わっても構わない。

以上のような動作により、実施の形態３の画像符号化方法で、長時間保存メモリに画像を移動するコマンドを複数回符号化して伝送しても、正しく復号化できる画像復号化方法が実現できる。

なお、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、必ずしもそのコマンドを再度符号化して伝送するときに画像の符号化信号に付随させて伝送されている必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

（実施の形態５）
次に、本実施の形態における画像符号化方法について説明する。図７は実施の形態５における画像符号化方法を示すフローチャートであり、図１で示した画像符号化装置１００の動作を示している。図７において、図２と動作が同じものは同じ記号を付している。

図７に示す本実施の形態の特徴はメモリ内で不要な画像が存在する場合、その画像を除去するメモリ管理情報のコマンドを繰り返し符号化し、少なくとも１回はメモリに保存される重要画面に付随して伝送することである。メモリ管理情報のコマンドを繰り返し符号化する場合でも、重要度の高くない画像に付随してメモリ管理情報のコマンドを伝送したのでは、重要度の高くない画像が全て復号化されない場合にメモリ管理情報のコマンドは取得できなくなる。

例えば、図３５（ａ）において、ピクチャ番号４の画像はピクチャ番号５の画像を符号化した後は不要になるため、ピクチャ番号５の画像に付随してピクチャ番号４の画像のあるメモリ領域を開放するコマンドを符号化することができる。

しかしながら、このピクチャ番号４の画像のあるメモリ領域を開放するコマンドをピクチャ番号５の画像に付随して符号化する以外に、ピクチャ番号７の画像に付随して符号化したのでは、いずれも最も重要度が低い（復号化しない場合に画質劣化が少ない）Ｂピクチャに付随して上記コマンドが符号化されることになる。これらのＢピクチャは復号化されないことがあり、ピクチャ番号４の画像のあるメモリ領域を開放するコマンドが復号化されないことになり、メモリ内の管理情報が正しく再現できないことになる。従って、少なくとも１回は、重要度が高く、必ず復号化され、メモリに保存される画像に付随して画像領域を開放するコマンドを符号化することが必要である。

図７において、まず入力画像を符号化する（Ｓｔｅｐ１００）。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Ｓｔｅｐ１０１）、不要なメモリ領域があるかを判定する（Ｓｔｅｐ１０２）。不要なメモリ領域があれば（Ｓｔｅｐ１０２のＹｅｓ）、管理情報符号化部１０５が、不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化する（Ｓｔｅｐ１０３）。そして、その不要なメモリ領域を開放する（Ｓｔｅｐ１０４）。不要なメモリ領域が無い場合（Ｓｔｅｐ１０２のＮｏ）は、Ｓｔｅｐ１０３およびＳｔｅｐ１０４の動作は行わない。

次に、メモリ情報制御部１０１は、過去に符号化された、不要なメモリ領域を開放するコマンドが重要画像（復号化されメモリに保存される）に付随されて符号化されているかを判定し（Ｓｔｅｐ１４０）、重要画像に付随されて符号化されていれば（Ｓｔｅｐ１４０のＹｅｓ）処理を終了し、重要画像に付随されて符号化されていなければ（Ｓｔｅｐ１４０のＮｏ）、管理情報符号化部１０５は、その不要なメモリ領域を開放するコマンドを再度メモリ管理情報として符号化して（Ｓｔｅｐ１４１）処理を終了する。

これにより、不要なメモリ領域を開放するコマンドが重要画像に付随されて符号化される。

以上のようにして、復号化されメモリに保存される重要画像に上記コマンドが付随されるため、上記コマンドが復号されることになり、伝送路エラーが発生した際に画像を正しく復元できる可能性が高くなる。

なお、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送する必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

（実施の形態６）
次に、本実施の形態の画像符号化方法について説明する。図８は実施の形態６における画像符号化方法を示すフローチャートである。図８は、図１に示した画像符号化装置１００の動作を示している。図８において、図５と動作が同じものは同じ記号を付している。

図８に示す本実施の形態の特徴は、長時間保存メモリに画像を移動するメモリ管理情報のコマンドを繰り返し符号化し、少なくとも１回は重要画面（復号化されメモリに保存される）に付随して伝送することである。長時間保存メモリに画像を移動するメモリ管理情報のコマンドを繰り返し符号化する場合でも、重要度の高くない画像に付随してメモリ管理情報のコマンドを伝送したのでは、重要度の高くない画像が全て復号化されない場合に、メモリ管理情報のコマンドを取得できなくなる。

図８において、まず入力画像を符号化する（Ｓｔｅｐ１２０）。符号化後に長時間保存メモリに移動すべき画像があるかを調査し（Ｓｔｅｐ１２１）、移動すべき画像があるかを判定する（Ｓｔｅｐ１２２）。

移動すべき画像があれば（Ｓｔｅｐ１２２のＹｅｓ）、管理情報符号化部１０５がどのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化し（Ｓｔｅｐ１２３）、そのコマンド通りに画像を長時間保存メモリに移動する（Ｓｔｅｐ１２４）。

次に、メモリ情報制御部１０１が、過去に符号化した長時間保存メモリに移動するコマンドが、重要画像（復号化されメモリに保存される）に付随されて符号化されているか否かを判定し（Ｓｔｅｐ１５０）、重要画像に付随していれば（Ｓｔｅｐ１５０のＹｅｓ）処理を終了し、重要画像に付随されていなければ（Ｓｔｅｐ１５０のＮｏ）、管理情報符号化部１０５がその長時間保存メモリに移動するコマンドを再度メモリ管理情報として符号化して（Ｓｔｅｐ１５１）、処理を終了する。

これにより、長時間保存メモリに画像を移動するコマンドが重要画像に付随して符号化される。

以上のようにして、復号化されメモリに保存される重要画像に上記コマンドが付随するため、上記コマンドが復号化されることになり、伝送路エラーが発生した際に画像を正しく復元できる可能性が高くなる。

なお、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送されている必要はない。

また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。

（実施の形態７）
実施の形態７における画像符号化方法について説明する。

本実施の形態の特徴は、画像の重要度に応じて選択した参照画像を参照して符号化を行う画像符号化方法である。

図９は本発明の実施の形態７における画像符号化方法を示すフローチャートである。図９は、図１で示した画像符号化装置１００が行う動作を示したものである。

図９において、まず符号化対象の各画像の重要度を設定する（Ｓｔｅｐ１６０）。例えば、ＩピクチャやＰピクチャの重要度は高く、Ｂピクチャの重要度は低い。また、同じＰピクチャであっても、多くの画像から参照されるＰピクチャの重要度は高く、あまり参照されないＰピクチャの重要度は低い。

次に、符号化対象画像と同等以上の重要度の画像をメモリ内の参照画像から選択し、参照画像の候補とする（Ｓｔｅｐ１６１）。例えば、ＢピクチャはＩピクチャおよびＰピクチャを参照できるが、Ｐピクチャは重要度が低いＰピクチャを参照画像の候補から除外する。

次に選択した参照画像の候補を示す指示情報（メモリ管理情報の一種）を符号化し（Ｓｔｅｐ１６２）、選択した参照画像の候補の中からブロック単位で適切な参照画像を参照して符号化する（Ｓｔｅｐ１６３）。なお、Ｓｔｅｐ１６２とＳｔｅｐ１６３は順不同であり、入れ替わっても構わない。

このようにして、参照画像の候補の中に、符号化対象画像の重要度よりも低い重要度の画像を入れないようにしている。

以上のように、参照画像の候補の中に、符号化対象画像の重要度よりも低い重要度の画像を入れないことにより、スケーラビリティを実現できるストリームを生成した場合に参照不可能な画像を参照画像の候補から除外することができ、符号化効率が向上する。

ここで、上述したように設定された画像の重要度に応じて行われる画像符号化方法について、図１０を用いて具体的に説明する。

図１０（ａ）は、各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）の関係を示す説明図である。

図１０（ａ）において、ピクチャ番号０のＩピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は０になる。次にピクチャ番号０のＩピクチャを参照するピクチャ番号２のＰピクチャがメモリに保存されるためピクチャ番号２のＰピクチャに関する保存ピクチャ番号が１となる。そして次に、ピクチャ番号０のＩピクチャとピクチャ番号２のＰピクチャを参照するピクチャ番号１のＢピクチャがメモリ内に保存されるため、ピクチャ番号１のＢピクチャの保存ピクチャ番号が２となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。

次に、デコード（復号）するピクチャ番号と、メモリに保存されているピクチャ番号、および削除されるピクチャ番号の関係の一例について図１０（ｂ）を用いて説明する。

図１０（ｂ）はデコードするピクチャ番号（フレーム番号）と保存されているピクチャ番号（フレーム番号）と削除されるピクチャ番号（フレーム番号）の関係を示す関係図である。なお、ここではメモリに保存できるピクチャの最大枚数を５とする。メモリには伝送順序に従ってピクチャが保存されることになる。

また、例えばピクチャ番号が４のＰピクチャがデコードされるときには、ピクチャ番号が４のＰピクチャの保存ピクチャ番号が３であるため、保存ピクチャ番号が０、１、２のピクチャがメモリ上に保存されることになる。デコードするピクチャ番号が３のＢピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が４、１、２、０のピクチャが保存されている。ここで、ピクチャ番号１のＢピクチャは、図１０（ａ）に示すように、ピクチャ番号３のピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が３のピクチャがデコードされた時点で削除される。

同様に、デコードするピクチャ番号が５のＢピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が６、３、４、２、０のピクチャが保存されている。ここで、ピクチャ番号３のＢピクチャは、ピクチャ番号５のピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が５のＢピクチャがデコードされた時点で削除される。

さらに、デコードするピクチャ番号が８のＰピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が５、６、４、２、０のピクチャが保存されている。ここでメモリには最大５フレームしか保存できないため、ピクチャ番号８のＰピクチャを後で参照するためにはピクチャ番号が５、６、４、２、０のいずれかのピクチャを削除してピクチャ番号８のＰピクチャを記憶するメモリを確保しなければならない。従って、図１０（ｂ）における削除するフレームの選択基準として、Ｐピクチャのデコード、つまり偶数番号のピクチャ番号のデコードにおいては時間的に最も古いピクチャ、即ちこの場合はピクチャ番号が０のＩピクチャをピクチャ番号８のＰピクチャをデコードした時点で削除する。

同様に、デコードするピクチャ番号が７のＢピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が８、５、６、４、２のピクチャが保存されている。ここで、ピクチャ番号５のＢピクチャは、ピクチャ番号７のＢピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が７のＢピクチャをデコードした時点で削除される。

さらに、デコードするピクチャ番号が１０のＰピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が７、８、６、４、２のピクチャが保存されている。ここで、メモリには最大５フレームしか保存できないため、ピクチャ番号１０のＰピクチャを後で参照するためにはピクチャ番号が７、８、６、４、２のいずれかのピクチャを削除してピクチャ番号１０のピクチャを記憶するメモリを確保しなければならない。従って、図１０（ｂ）における削除するフレームの選択基準として、Ｐピクチャのデコード、つまり偶数番号のピクチャ番号であるピクチャのデコードにおいては、時間的に最も古いピクチャ番号が２のピクチャをピクチャ番号１０のＰピクチャをデコードした時点で削除する。

このようにピクチャが削除されるときに、デコードされるピクチャの符号化信号に、ピクチャを削除するためのメモリ管理情報のコマンドが符号化されて付随され、伝送される。

上記図１０（ｂ）に示した例では、メモリ内で不要な画像（ピクチャ）が存在し、その画像を除去するメモリ管理情報のコマンドを１回送る例について述べた。このように、除去するメモリ管理情報のコマンドを１回だけ送ると、Ｂピクチャに付随して送られたメモリ管理情報のコマンドを実行することができない可能性がある。なぜなら、Ｂピクチャは、Ｐピクチャの符号化・復号化で参照される画像として用いられる可能性が低いため、十分な記憶容量や伝送容量が確保できない場合にＢピクチャのデータが優先して破棄される可能性が高く、その結果Ｂピクチャに付随して送られたメモリ管理情報のコマンドを実行できない可能性があるためである。

この問題を解決するために、画像を除去するメモリ管理情報のコマンドを繰り返し符号化して伝送するようにした例を説明する。以下図１０（ｃ）について具体的に説明する。

図１０（ｃ）は、デコードするピクチャ番号（フレーム番号）と保存されているピクチャ番号（フレーム番号）と削除されるピクチャ番号（フレーム番号）の他の関係を示した関係図である。図１０（ｃ）において、削除されるピクチャ番号のピクチャを削除するコマンドが、デコードするピクチャ番号のピクチャの符号化信号に付随することを示している。

図１０（ｃ）に示すように、ピクチャ番号が３のＢピクチャがデコードされるときには、ピクチャ番号が４、１、２、０のピクチャが保存されている。ここで、ピクチャ番号１のＢピクチャは、図１０（ａ）に示すように、ピクチャ番号３のピクチャを復号化した後はどのピクチャからも参照されることがない。よって、ピクチャ番号が３のピクチャがデコードされた時点でピクチャ番号１のＢピクチャを削除し、削除するためのメモリ管理情報のコマンドがピクチャ番号３のピクチャに付随される。

しかし、ピクチャ番号３のピクチャはＢピクチャであるため、ＩピクチャやＰピクチャと比べて画像の再現の点において前述の様に重要度が低く、送信の際にデータが破棄されやすいためピクチャ番号３のＢピクチャに付随して送られたメモリ管理情報のコマンドを実行できない可能性がある（図２１に示すようにフレームが保存される場合）。

そこで、次にデコードする、ピクチャ番号３のＢピクチャより画像の再現の点において重要度が高いピクチャ番号６のＰピクチャに、ピクチャ番号３に付随させたピクチャ番号１のピクチャを削除することを示すメモリ管理情報のコマンドを付随させる（図１０（ｃ）参照）。

同様に、ピクチャ番号８のＰピクチャにピクチャ番号５のＢピクチャに付随させたメモリ管理情報のコマンド（ピクチャ番号３のピクチャを削除することを示す）を付随させ、ピクチャ番号１０のＰピクチャにピクチャ番号７のＢピクチャに付随させたメモリ管理情報のコマンド（ピクチャ番号５のピクチャを削除することを示す）を付随させる。なお、ピクチャ番号８のピクチャはＰピクチャであるため、図１０（ｃ）に示すように、ピクチャ番号７のＢピクチャにピクチャ番号８のピクチャに付随させたメモリ管理情報のコマンドを付随させていないが、付随させてもよい。

以上、図１０（ｃ）に示すように、Ｂピクチャに最初に付随させたメモリ管理情報のコマンドと同一のメモリ管理情報のコマンドを、Ｂピクチャより画像の再現の点において重要度の高いピクチャであり、最初にメモリ管理情報のコマンドを付随させたＢピクチャより後に保存または伝送されるピクチャに、繰り返し付随させた。これにより、最初にメモリ管理情報のコマンドが付随されたＢピクチャが欠落しても、メモリ管理情報のコマンドを正常に実行することができる。

なお、図１０（ｃ）を用いて説明したように、Ｂピクチャにメモリ管理情報のコマンドを付随させても、更にＰピクチャに繰り返しメモリ管理情報のコマンドを付随させる場合に、設定された重要度が用いられる。なお、重要度の設定は、本実施の形態に示したものに限られない。

なお、本実施の形態では各画像の重要度に応じて、各画像を送るか送らないかを決めており、各画像における重要度を、上記実施の形態に示すメモリ管理情報のように各画像に付随して符号化するわけではない。よって、本実施の形態で符号化されたデータの復号化処理は従来の方法と変わらない。

（実施の形態８）
次に、実施の形態８について説明する。

本実施の形態の特徴は、メモリ内の全画像（ピクチャ）を削除して、メモリ領域の初期化を行う（メモリ管理情報の）コマンドを複数回符号化して伝送することである。

上記各実施の形態で示したメモリ管理情報は、図１１に示すようなコード情報として付与される。

図１１は、メモリ管理情報のコマンドを示す対応図であり、コード番号（Ｃｏｄｅ）と、コマンドの内容（コマンド）と、その付加情報（付加情報）を示している。

例えば、短時間保存メモリの不要なメモリ領域を開放するコマンド（短時間保存メモリ開放）はコード情報Ｃｏｄｅ１として付与され、開放するピクチャ番号（フレーム番号）が付加情報として付加される。

また、コード情報は図１３に示す各フレームのヘッダ情報として与えられる。

図１３は、各ピクチャの符号化信号におけるヘッダ情報とフレームデータとの関係を示す模式図である。図１３において、各符号化信号は、後述するフレームＦｒｍ１２、Ｆｒｍ１１、Ｆｒｍ１４の符号化信号を示している。各符号化信号は、ヘッダ情報を有するフレームヘッダと画像の符号化に関するフレームデータを備えている。例えば、フレームＦｒｍ１２の符号化信号は、フレームヘッダＦｒｍ１２Ｈｄｒと、各データＭＢ１２ａ，ＭＢ１２ｂ，ＭＢ１２ｃ，ＭＢ１２ｄなどからなるフレームデータを備えている。

この符号化信号の詳細を図１４の模式図に示す。

図１４は、符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。

図１４に示すように、フレームＦｒｍＡの符号化信号はヘッダ情報を有するフレームヘッダＦｒｍＡＨｄｒと、各データＭＢａ，ＭＢｂ，ＭＢｃ，Ｍｂｄなどからなるフレームデータとを備えている。そして、コマンドのコード情報ＣｏｄｅＡの次にコード情報ＣｏｄｅＡの付加情報ＡｄｄＡが、続いてコード情報ＣｏｄｅＡのコマンドの次に実行されるべきコマンドのコード情報ＣｏｄｅＢ、コード情報ＣｏｄｅＢの付加情報ＡｄｄＢがフレームヘッダＦｒｍＡＨｄｒに付加される。付加情報がなければコード情報ＣｏｄｅＣのようにコード情報のみが付加される。

次に、図１２にコマンド実行の手順を示す。

図１２は、コマンド実行手順を示すフローチャートである。

図１２において、まずコマンドを取得し（ＳｔｅｐＣ０）、コマンドの取得が終了したか否かを判定する（ＳｔｅｐＣ１）。コマンドの取得が終了しておらず、コマンドが取得されれば（ＳｔｅｐＣ１のＮｏ）、取得したコマンドの実行を行い（ＳｔｅｐＣ２）、ＳｔｅｐＣ０に戻ってこの動作を繰り返す。一方、コマンドの取得が終了しておりコマンドが取得されなければ（ＳｔｅｐＣ１のＹｅｓ）、コマンド実行の処理を終了する。この手続きをフレーム毎に行う。なお、複数のマクロブロックからなるスライスの単位でコマンド情報が送られる場合でも、同上の手順でコマンドが実行される。

ところで、上記実施の形態１では不要な画像を除去する（メモリを開放する）メモリ管理情報のコマンドについて説明した。さらに、実施の形態１では、不要な画像を除去するメモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元でき、画像を正しく復元できる可能性が高くなることを示した。

ここで、図１１に示すコード情報のうち、メモリ内の全ての情報を除去する初期化コマンドＣｏｄｅ５について検討する。

初期化コマンドＣｏｄｅ５が一度だけ送られるときに、この初期化コマンドＣｏｄｅ５が伝送路エラーで消失すれば、本来初期化した後に行うメモリ管理等の処理に影響が出る。そこで、実施の形態１と同様に、初期化コマンドＣｏｄｅ５を繰り返し符号化して伝送した場合について図１５を用いて説明する。

図１５は各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）の関係を示す説明図である。

以下、図１５について具体的に説明する。まず、ピクチャ番号０のＩピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は０になる。次にピクチャ番号０のＩピクチャを参照するピクチャ番号２のＰピクチャがメモリに保存されるためピクチャ番号２のＰピクチャに関する保存ピクチャ番号が１となる。そして、ピクチャ番号０のＩピクチャとピクチャ番号２のＰピクチャを参照するピクチャ番号１のＢピクチャがメモリ内に保存されるため、ピクチャ番号１のＢピクチャの保存ピクチャ番号が２となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。

図１５に示すピクチャ番号１２のＩピクチャを符号化するときに図１１に示す初期化コマンドＣｏｄｅ５を送るとする。ピクチャ番号１２のＩピクチャの保存ピクチャ番号は１１であるため、この初期化コマンドＣｏｄｅ５により、保存ピクチャ番号が１０以下のピクチャをメモリ内から全て除去することができる。

ここで、初期化コマンドＣｏｄｅ５を符号化する方法について図１６を用いて説明する。

図１６は、初期化コマンドｃｏｄｅ５を符号化する方法を示すフローチャートであり、図１に示す画像符号化装置１００が行う動作を示している。

まず、入力画像を符号化する（ＳｔｅｐＡ０）。符号化後にメモリ内の参照可能な全てのピクチャが不要かどうか（今後の符号化でどの画像も参照されないかどうか）を調査（初期化調査）し（ＳｔｅｐＡ１）、メモリに格納されていたピクチャが今後参照されず初期化した方がよいかを判定する（ＳｔｅｐＡ２）。

初期化したほうがよければ（ＳｔｅｐＡ２のＹｅｓ）、メモリ領域を初期化する初期化コマンドＣｏｄｅ５をメモリ管理情報として符号化し（ＳｔｅｐＡ３）、初期化を行い（ＳｔｅｐＡ４）、処理を終了する。一方、初期化の必要がない場合（ＳｔｅｐＡ２のＮｏ）は、ＳｔｅｐＡ３およびＳｔｅｐＡ４の動作は行なわず、処理を終了する。

次に符号化された初期化コマンドＣｏｄｅ５を復号化する方法について図１７を用いて説明する。

図１７は符号化された初期化コマンドＣｏｄｅ５を復号化する方法を示したフローチャートであり、図３に示す画像復号化装置２００が行う動作を示している。

まず、メモリ管理情報を復号化し（ＳｔｅｐＡ１０）、符号化信号から画像信号を復号化する（ＳｔｅｐＡ１１）。次に、復号化したメモリ管理情報に初期化コマンドＣｏｄｅ５があるかを判定し（ＳｔｅｐＡ１２）、初期化コマンドＣｏｄｅ５があれば（ＳｔｅｐＡ１２のＹｅｓ）、メモリ内に記憶されていたピクチャを全て除去して初期化し（ＳｔｅｐＡ１３）、処理を終了する。但し、このとき、復号化した画像（ＳｔｅｐＡ１１において）は除去しない。

一方、メモリ管理情報に初期化コマンドＣｏｄｅ５がなければ（ＳｔｅｐＡ１２のＮｏ）、処理を終了する。

以下、図１５を用いてメモリの初期化を行う方法について具体的に説明する。図１５に示すピクチャ番号１１のＢピクチャに、ピクチャ番号１２のＩピクチャに付与した初期化コマンドＣｏｄｅ５と同一の初期化コマンドＣｏｄｅ５を付与するとする。

図１３で示すと、フレームＦｒｍ１２（ピクチャ番号１２）のフレームヘッダＦｒｍ１２Ｈｄｒ と、フレームＦｒｍ１１（ピクチャ番号１１）のフレームヘッダＦｒｍ１１Ｈｄｒとに初期化コマンドＣｏｄｅ５が付与されることになる。初期化コマンドＣｏｄｅ５は図１１に示すように付加情報を有しないため、復号化された時点においてメモリ内に保存されているピクチャをすべて除去することになる。

よって、ピクチャ番号１２（保存ピクチャ番号１１）のＩピクチャに付与した初期化コマンドＣｏｄｅ５が伝送路エラーで消失し、ピクチャ番号１１（保存ピクチャ番号１２）のＢピクチャに付与した初期化コマンドＣｏｄｅ５が実行されると、保存ピクチャ番号１１以前に復号化したピクチャでメモリに保存されているピクチャが全て除去されることになる。つまり、本来除去されてはならないピクチャ番号１２（保存ピクチャ番号１１）のＩピクチャまでが除去されることになる。

このようにピクチャ番号１１のＢピクチャに、ピクチャ番号１２のＩピクチャに付与した初期化コマンドＣｏｄｅ５と同一の初期化コマンドＣｏｄｅ５を付与したときは、１枚のピクチャ（ピクチャ番号１２のＩピクチャ）が欠落することになる。一方、ピクチャ番号１４（保存ピクチャ番号１３）のＰピクチャに、ピクチャ番号１２（保存ピクチャ番号１１）のＩピクチャに付与した初期化コマンドＣｏｄｅ５と同一の初期化コマンドＣｏｄｅ５を付与し、ピクチャ番号１２のＩピクチャに付与した初期化コマンドＣｏｄｅ５が伝送路エラーで消失し、ピクチャ番号１４のＰピクチャに付与した初期化コマンドＣｏｄｅ５が実行されると、２枚のピクチャ（ピクチャ番号１１のＢピクチャとピクチャ番号１２のＩピクチャ）が欠落することになる。

なお、初期化コマンドＣｏｄｅ５を繰り返し符号化し、最初に送った初期化コマンドＣｏｄｅ５も、続けて送った初期化コマンドＣｏｄｅ５も、伝送路エラーなく実行される場合にも、上記と同様の問題が生じる。なぜなら、最初に送った初期化コマンドＣｏｄｅ５によって初期化され、さらに続けて送った初期化コマンドＣｏｄｅ５により再度初期化されるためである。

このようなメモリの初期化における問題を解決するための方法について説明する。

図１８にメモリの初期化における問題を解決するために用いるメモリ管理情報のコマンドを示す。

図１１と異なる点は、図１８では新たに初期化再送コマンドＣｏｄｅ６を追加した点である。また、この初期化再送コマンドＣｏｄｅ６は付加情報として初期化ピクチャ（フレーム）番号（メモリ領域を初期化する初期化コマンドＣｏｄｅ５が付随されるフレームの番号）を有する。

以下、この初期化再送コマンドＣｏｄｅ６を用いた画像符号化の処理の流れについて図１９を用いて説明する。

図１９は、初期化再送コマンドＣｏｄｅ６を用いた画像符号化方法を示すフローチャートであり、図１に示す画像符号化装置１００の行う動作を示している。図１９について図１６と同じ動作には同一の符号を付している。

まず、入力画像を符号化する（ＳｔｅｐＡ０）。符号化後にメモリ内の全てのピクチャが不要かどうか（今後の符号化でどの画像も参照されないかどうか）を調査（初期化調査）する（ＳｔｅｐＡ１）。メモリ情報制御部１０１が、初期化が必要であるかを判定し（ＳｔｅｐＡ２）、初期化が必要であれば（ＳｔｅｐＡ２のＹｅｓ）、管理情報符号化部１０５が、メモリ領域を初期化する初期化コマンドＣｏｄｅ５をメモリ管理情報として符号化し（ＳｔｅｐＡ３）、初期化を行う（ＳｔｅｐＡ４）。初期化の必要がない場合（ＳｔｅｐＡ２のＮｏ）は、ＳｔｅｐＡ３およびＳｔｅｐＡ４の動作は行わない。

次に、メモリ情報制御部１０１が、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随してメモリ領域を初期化する初期化コマンドＣｏｄｅ５をメモリ管理情報として符号化しているか否かを判定し（ＳｔｅｐＡ３０）、符号化していれば（ＳｔｅｐＡ３０のＹｅｓ）、管理情報符号化部１０５が、そのメモリ領域を初期化する初期化再送コマンドＣｏｄｅ６をメモリ管理情報として符号化して（ＳｔｅｐＡ３１）、処理を終了する。

また、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随してメモリ領域を初期化する初期化コマンドＣｏｄｅ５がメモリ管理情報として符号化されていなければ（ＳｔｅｐＡ３０のＮｏ）、処理を終了する。

なお、図１９に示す方法では、直前に符号化した画像の符号化信号に付随してメモリ領域を初期化する初期化コマンドＣｏｄｅ５が符号化されている場合に、再度初期化再送コマンドＣｏｄｅ６を符号化するとしたが、直前ではなく数画像前に符号化した画像の符号化に付随してメモリ領域を初期化する初期化コマンドＣｏｄｅ５が符号化されている場合に、再度初期化再送コマンドＣｏｄｅ６を符号化しても良く、また複数の画像に付随して、メモリ領域を初期化する初期化再送コマンドＣｏｄｅ６をメモリ管理情報として繰り返し符号化してもよい。

具体的には図１５に示すようにピクチャ番号１２のＩピクチャの符号化に付随して初期化コマンドＣｏｄｅ５を符号化する場合、ピクチャ番号１１のＢピクチャの符号化に付随して初期化再送コマンドＣｏｄｅ６を符号化してもよく、またピクチャ番号１４のＰピクチャの符号化に付随して初期化再送コマンドＣｏｄｅ６を符号化してもよい。

前者の場合、図１３で示すと、フレームＦｒｍ１２のフレームヘッダＦｒｍ１２Ｈｄｒに初期化コマンドＣｏｄｅ５が付与され、更にフレームＦｒｍ１１のフレームヘッダＦｒｍ１１Ｈｄｒに初期化再送コマンドＣｏｄｅ６が付与される、また、後者の場合、フレームＦｒｍ１２のフレームヘッダＦｒｍ１２Ｈｄｒに初期化コマンドＣｏｄｅ５が付与され、フレームＦｒｍ１４のフレームヘッダＦｒｍ１４Ｈｄｒに初期化再送コマンドＣｏｄｅ６が付与されることになる。

さらにまた、ピクチャ番号１１のＢピクチャの符号化に付随して初期化再送コマンドＣｏｄｅ６を符号化するとともに、ピクチャ番号１４のＰピクチャの符号化にも付随して初期化再送コマンドＣｏｄｅ６を符号化するようにしてもよい。この場合、図１３で示すと、フレームＦｒｍ１２のフレームヘッダＦｒｍ１２Ｈｄｒに初期化コマンドＣｏｄｅ５が付与され、フレームＦｒｍ１１のフレームヘッダＦｒｍ１１Ｈｄｒと、フレームＦｒｍ１４のフレームヘッダＦｒｍ１４Ｈｄｒとに、初期化再送コマンドＣｏｄｅ６が付与される。

次に、上記初期化再送コマンドＣｏｄｅ６が符号化されたデータを復号化するときの処理について図２０を用いて説明する。図２０は、符号化された初期化再送コマンドＣｏｄｅ６を復号する方法を示すフローチャートであり、図３に示した画像復号化装置２００の動作を示している。図２０について図１７と同じ動作には同一の符号を付している。

まず、管理情報復号化部２０５が、メモリ管理情報を復号化する（ＳｔｅｐＡ１０）。そして、符号化信号から画像信号を復号化する（ＳｔｅｐＡ１１）。

復号化したメモリ管理情報に初期化コマンドＣｏｄｅ５があるかを判定し（ＳｔｅｐＡ１２）、初期化コマンドＣｏｄｅ５があれば（ＳｔｅｐＡ１２のＹｅｓ）、メモリ内のピクチャを全て除去して初期化し（ＳｔｅｐＡ１３）、初期化コマンドＣｏｄｅ５がなければ（ＳｔｅｐＡ１２のＮｏ）、初期化を行わない。

次に、メモリ情報制御部１０１が、メモリ管理情報に初期化再送コマンドＣｏｄｅ６があるかを判定する（ＳｔｅｐＡ４０）。初期化再送コマンドＣｏｄｅ６がなければ（ＳｔｅｐＡ４０のＮｏ）処理を終了し、初期化再送コマンドＣｏｄｅ６があれば（ＳｔｅｐＡ４０のＹｅｓ）、初期化が済んでいるかどうかを調査する（ＳｔｅｐＡ４１）。初期化が済んでいれば（ＳｔｅｐＡ４１のＹｅｓ）処理を終了し、初期化がされていなければ（ＳｔｅｐＡ４１のＮｏ）、初期化再送コマンドＣｏｄｅ６の付加情報に基づいて、初期化フレーム（メモリ領域を初期化する初期化コマンドＣｏｄｅ５が付随されるフレーム）以前の保存フレーム（初期化フレームの符号化時点で参照用画像メモリに格納されているフレーム）を削除し、さらに長時間保存メモリサイズを０とし（ＳｔｅｐＡ４２）処理を終了する。なお、長時間保存フレームを使用しない場合は、長時間保存メモリサイズを０にする必要は無い。

よって、図１５で示されるピクチャ番号１２のピクチャに初期化コマンドＣｏｄｅ５、ピクチャ番号１４に初期化再送コマンドＣｏｄｅ６が付随して符号化された場合、初期化コマンドＣｏｄｅ５が伝送路エラーで消失しない場合は、初期化コマンドＣｏｄｅ５によって、初期化コマンドＣｏｄｅ５が伝送路エラーで消失した場合は初期化再送コマンドＣｏｄｅ６によって、保存ピクチャ番号が１０以下のピクチャでメモリに保存されているピクチャが全て削除されることになる。

このように、初期化コマンドｃｏｄｅ５を繰り返し符号化して伝送する際に、２回目以降は、付加情報である初期化ピクチャ番号の付加された初期化再送コマンドＣｏｄｅ６を符号化して伝送するため、その付加情報に基づいて初期化フレーム以前の保存フレーム（最初に初期化コマンドＣｏｄｅ５が付随する初期化フレームの符号化時点で参照用画像メモリに格納されているフレーム）が削除されることになる。そのため、必要な画像（ピクチャ）が欠落するような上述した問題を解決することができる。

なお、図２１のように図１５と異なる保存ピクチャ番号の付け方の場合でも、上記で説明した初期化再送コマンドＣｏｄｅ６は有効である。

以下、具体的に説明する。

図２１は各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）における他の関係を示す説明図である。

これらの番号の付与方法について説明する。まず、ピクチャ番号０のＩピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は０になる。次にピクチャ番号０のＩピクチャを参照するピクチャ番号２のＰピクチャがメモリに保存されるためピクチャ番号２のＰピクチャに関する保存ピクチャ番号が１となる。そして、ピクチャ番号０のＩピクチャとピクチャ番号２のＰピクチャを参照するピクチャ番号１のＢピクチャがメモリ内に保存されるが、このＢピクチャは他のピクチャから参照されることがないため、保存ピクチャ番号は直前に保存されたピクチャ番号２のＰピクチャの保存ピクチャ番号と同じく１となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。

図２１に示すように、ピクチャ番号１２のＩピクチャを符号化するときに図１１に示す初期化コマンドＣｏｄｅ５を付随して送るとする。ピクチャ番号１２のＩピクチャの保存ピクチャ番号は６であるため、この初期化コマンドＣｏｄｅ５により、保存ピクチャ番号が５以下のピクチャがメモリ内から全て除去することができる。

ここで、初期化コマンドＣｏｄｅ５を繰り返し符号化する場合、具体的には、ピクチャ番号１４のＰピクチャにピクチャ番号１２のＩピクチャに付与した初期化コマンドＣｏｄｅ５と同一の初期化コマンドＣｏｄｅ５を付与する場合について説明する。

初期化コマンドＣｏｄｅ５は図１１に示すように付加情報を有しないため、復号化された時点において参照用メモリ内に保存されているピクチャをすべて除去することになる。よって、ピクチャ番号１２（保存ピクチャ番号６）のＩピクチャに付与した初期化コマンドＣｏｄｅ５が伝送路エラーで消失し、ピクチャ番号１４（保存ピクチャ番号７）のＰピクチャに付与した初期化コマンドＣｏｄｅ５が実行されると、保存ピクチャ番号６以下のピクチャでメモリに保存されているピクチャが全て除去されることになる。つまり、本来除去されてはならないピクチャ番号１２（保存ピクチャ番号６）のＩピクチャまでが除去されることになる。

しかし、初期化コマンドＣｏｄｅ５の代わりに上記初期化再送コマンドＣｏｄｅ６をピクチャ番号１４のＰピクチャに付随させることによって、ピクチャ番号１２のＩピクチャに付随した初期化コマンドＣｏｄｅ５が伝送路エラーで消失しない場合は初期化コマンドＣｏｄｅ５によって、初期化コマンドＣｏｄｅ５が伝送路エラーで消失した場合はピクチャ番号１４のＰピクチャに付随した初期化再送コマンドＣｏｄｅ６によって、保存ピクチャ番号が５以下のピクチャでメモリに保存されているピクチャが全て削除されることになる。

すなわち、初期化再送コマンドＣｏｄｅ６には付加情報として初期化フレーム（この場合、ピクチャ番号１２）番号が付加されているため、初期化フレーム以前の保存フレーム（初期化フレームを保存する時点で参照用画像メモリに格納されている保存ピクチャ番号が５以下の保存フレーム）が削除される。

以上のように、付加情報を有する初期化再送コマンドＣｏｄｅ６によって、初期化コマンドｃｏｄｅ５が伝送路エラーで欠落した場合でも初期化を正常に実行できる可能性が高くなる。なお、本実施の形態で示した初期化再送コマンドで、付加情報を初期化再送コマンドが付随されたピクチャ番号としたものを初期化コマンドとして代用し、図１８に示すＣｏｄｅ５とＣｏｄｅ６を１つのコマンドで実現するようにしてもよい。これは、初期化情報の再送のために初期化再送を行うときには、初期化コマンドが付随されたフレームの番号を指定するため、当該フレームを再送するようなピクチャ番号は用いられることがないからである。このとき、初期化コマンドＣｏｄｅ５は無効としてもよい。

なお、このように１コマンドで上記実施の形態で示した初期化再送コマンドと初期化コマンドＣｏｄｅ５とを実現する場合、上記実施の形態で示した初期化再送コマンドでは用いられない特別の値を付加情報として有した初期化再送コマンドをもって、最初に送る初期化コマンドＣｏｄｅ５と同一の機能を有するコマンドとしてもよい。

また、上記各実施の形態で説明したように、不要になったメモリ領域を開放するコマンドや初期化コマンドなどのメモリ管理情報が再度伝送されるときに、図１３および図１４に示すように画像の符号化に関するフレームデータに付加されたヘッダ情報に含まれて伝送されるのではなく、メモリ管理情報の含まれたヘッダ情報がフレームデータとは別に分離して伝送されてもよい。すなわち、再送する上述のコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよい。また、蓄積メディアの別の領域に記録されてもよい。

さらにまた本実施の形態では、初期化コマンドを再送するときに初期化再送コマンドに、初期化コマンドを最初に付随させたピクチャのピクチャ番号（初期化フレーム番号）を付加情報として付加させたが、上述した各実施の形態において示した、開放するメモリ領域を示すコマンドや短時間保存メモリから長時間保存メモリに移動する対象のピクチャを指定するコマンドなどのメモリ管理情報のコマンドを再送するときにも、最初にそのコマンドを付随させて伝送した符号化対象ピクチャのピクチャ番号（ピクチャを特定する情報）をパラメータとして含めて伝送してもよいのは当然である。このようにすることにより、どのピクチャを伝送するときに伝送エラーが発生したのかを検出することができる。

（実施の形態９）
次に、実施の形態９における画像符号化方法および画像復号化方法について説明する。

本実施の形態の特徴は、メモリ管理情報を複数回伝送するときに、２回目以降に伝送されたメモリ管理情報に基づく処理のタイミングを変更していることである。

上記実施の形態で示したメモリ管理情報を繰り返し符号化したデータを復号化するとき、繰り返し送られたメモリ管理情報の処理をする前に必ず、メモリ管理情報を付随させた画像信号を復号化していた。具体例として実施の形態２において説明した、不要なメモリ領域を開放するコマンドを複数回伝送した場合について、図１５を用いて再度説明する。

図１５に示すピクチャ番号１２のピクチャに図１８に示すＣｏｄｅ１のコマンドを付随させて符号化させ、さらにピクチャ番号１１のピクチャにもＣｏｄｅ１のコマンドを付随させて符号化させるとする。このとき、復号化は図４に従ってなされる。

まず、ピクチャ番号１２のピクチャに付随されたＣｏｄｅ１が復号化される（Ｓｔｅｐ１１０）。次にピクチャ番号１２のピクチャが復号化される（Ｓｔｅｐ１１１）。ここで、本来ピクチャ番号１２のピクチャに付随されているはずのＣｏｄｅ１が伝送途中で欠落したとすると（Ｓｔｅｐ１１２のＮｏ）、このフレームに関する処理が終了する。

伝送順でピクチャ番号１２のピクチャの次に復号化処理されるのはピクチャ番号１１のピクチャである。

まず、ピクチャ番号１１のピクチャに付随して符号化されたＣｏｄｅ１が復号化される（Ｓｔｅｐ１１０）。次にピクチャ番号１１のピクチャが復号化される（Ｓｔｅｐ１１１）。このＣｏｄｅ１が伝送途中で欠落せず伝送された場合、復号化されたメモリ管理情報にメモリ開放のコマンドであるＣｏｄｅ１が存在するため（Ｓｔｅｐ１１２のＹｅｓ）、次の処理（Ｓｔｅｐ１１３）に至る。

ここで、ピクチャ番号１１のピクチャが復号化される前に復号化されたピクチャ番号１２のピクチャを復号化したときにメモリ開放がされていないため（Ｓｔｅｐ１１３のＮｏ）、メモリ開放処理がなされる（Ｓｔｅｐ１１４）。

上記具体例で示したように、不要なメモリ領域を開放するコマンドを複数回伝送することに伴い、本来最初のコマンド実行がされなかったピクチャ（ピクチャ番号１２）に対して実行するべきコマンドの実行が、後から送られるピクチャ（ピクチャ番号１１）の画像信号の復号化処理の後になり、コマンドの実行の遅延が生じる。

よって、本実施の形態においては、上記課題を解決するための方法について図２２、図２３、および図２４を用いて説明する。

図２２は本実施の形態で用いるメモリ管理情報とコマンドの関係を示す対応図である。

図２２において、Ｃｏｄｅはコマンドの番号を、コマンドはコマンドの内容を、付加情報はコマンドに付加される付加情報を、処理位置はコマンドを実行するタイミングを示している。

図１１と異なる点は、図２２ではＣｏｄｅＡ１からＣｏｄｅＡ４までを画像の復号化処理の後に実行するコマンドとする一方、ＣｏｄｅＡ１からＣｏｄｅＡ４に対応したＣｏｄｅＡ６からＣｏｄｅＡ９までを画像の復号化処理の前に実行するコマンドとした点である。

そして、繰り返してメモリ管理情報を送る場合、最初に符号化するメモリ管理情報のコマンドを、処理位置が復号化後の（画像の復号化後に実行する）コマンド（ＣｏｄｅＡ１からＣｏｄｅＡ４）とし、繰り返し（２回目以降に）符号化するコマンドを、処理位置が復号化前の（画像の復号化前に実行する）コマンド（ＣｏｄｅＡ６からＣｏｄｅＡ９）とする。

これにより、最初に送られたメモリ管理情報が欠落した場合でも、本来最初に送られたメモリ管理情報で実行すべきコマンドが、早期に実行され、遅延等の問題を起こりにくくすることができる。

以下、図２２のコマンドを用いるときの処理手順について図２３および図２４を用いて説明する。

図２３は本実施の形態における画像符号化方法を示すフローチャートであり、図１に示した画像符号化装置１００の動作を示している。

図２３において、まず、画像が符号化される（ＳｔｅｐＢ０）。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（ＳｔｅｐＢ１）、不要なメモリ領域があるか判定する（ＳｔｅｐＢ２）。不要なメモリ領域があれば（ＳｔｅｐＢ２のＹｅｓ）、不要なメモリ領域を開放するコマンドを画像信号の復号化の後に実行するものとして、復号化後用メモリ管理情報を符号化し（ＳｔｅｐＢ３）、その不要なメモリ領域を開放する（ＳｔｅｐＢ４）。一方、不要なメモリ領域が無い場合（ＳｔｅｐＢ２のＮｏ）は、ＳｔｅｐＢ３およびＳｔｅｐＢ４の動作は行わない。

次に、メモリ情報制御部１０１が、直前に符号化した画像（符号化対象より前の画像）の符号化に付随して不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化しているかを判定する（ＳｔｅｐＢ３０）。符号化していなければ（ＳｔｅｐＢ３０のＮｏ）処理を終了し、符号化していれば（ＳｔｅｐＢ３０のＹｅｓ）、管理情報符号化部１０５が、その不要なメモリ領域を開放するコマンドを画像信号の復号化の前に実行するものとして復号化前用メモリ管理情報を符号化して（ＳｔｅｐＢ３１）、処理を終了する。

なお、ＳｔｅｐＢ３０で直前に符号化した画像の符号化信号に付随して、不要なメモリ領域を開放するコマンドが符号化されている場合に、再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく、数画像前の画像に付随している場合でも良く、更に、上記コマンドを繰り返してメモリ管理情報として符号化し、複数の画像に付随して伝送させてもよい。

次に図２３の手順に従って符号化されたデータを復号化する手順について図２４と図１５を用いて説明する。

図２４は、本実施の形態における画像復号化方法を示すフローチャートであり、図３で示した画像復号化装置２００が行う動作を示している。

以下の説明において、図１５ではピクチャ番号１２のピクチャに図２２に示すＣｏｄｅＡ１のコマンドが付随して符号化されており、さらにピクチャ番号１１のピクチャにＣｏｄｅＡ６のコマンドを付随させて符号化されているとする。図１３で示すと、ピクチャ番号１２のフレームＦｒｍ１２のフレームヘッダＦｒｍ１２ＨｄｒにＣｏｄｅＡ１が付与され、ピクチャ番号１１のフレームＦｒｍ１１のフレームヘッダＦｒｍ１１ＨｄｒにＣｏｄｅＡ６が付与されることになる。

なお、画像復号化装置では伝送路エラーでコマンドが消失しない限り、複数回メモリ内の同じ画像の領域を開放するコマンドが受信されることになる。従って、画像復号化装置が行う画像復号化方法では、既に開放した画像を再度開放するコマンドを受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断しなければならない。

まず、ピクチャ番号１２のピクチャに関する復号化処理について説明する。

図２４において、まず、ピクチャ番号１２のピクチャのメモリ管理情報を復号化し（ＳｔｅｐＢ５）、このメモリ管理情報が復号化前用メモリ管理情報であるかを調査する（ＳｔｅｐＢ７）。ここでこのメモリ管理情報（ＣｏｄｅＡ１）は復号化後用メモリ管理情報であるため（ＳｔｅｐＢ７のＮｏ）、ピクチャ番号１２の画像信号が復号化される。そして、上述したようにメモリ管理情報（ＣｏｄｅＡ１）は復号化後用メモリ管理情報であるため（ＳｔｅｐＢ９のＹｅｓ）、メモリが開放され（ＳｔｅｐＢ１１）、ピクチャ番号１２のピクチャのメモリ管理情報に関する処理は終了する。

一方、メモリ管理情報のＣｏｄｅＡ１が欠落していたとき、ＳｔｅｐＢ７において復号化前用メモリ管理情報であると判断されず（ＳｔｅｐＢ７のＮｏ）、また、ＳｔｅｐＢ９においても復号化後用メモリ管理情報であると判断されず（ＳｔｅｐＢ９のＮｏ）、ピクチャ番号１２の画像信号の復号化のみがなされ（ＳｔｅｐＢ６）、ピクチャ番号１２のメモリ管理情報に関する処理は終了する。

次に、ピクチャ番号１１のフレームに関する復号化処理について図２４を用いて説明する。

まず、ピクチャ番号１１のメモリ管理情報を復号化し（ＳｔｅｐＢ５）、このメモリ管理情報が復号化前用メモリ管理情報であるかを調査する（ＳｔｅｐＢ７）。ここでＣｏｄｅＡ６は復号化前用メモリ管理情報であるため（ＳｔｅｐＢ７のＹｅｓ）、メモリが開放済みかどうかを調査する（ＳｔｅｐＢ８）。ピクチャ番号１２の処理において、ＣｏｄｅＡ１が実行されていればメモリ開放済みのため（ＳｔｅｐＢ８のＹｅｓ）、メモリ開放処理（ＳｔｅｐＢ１０）を行わず、ピクチャ番号１１の画像信号の復号化がなされる（ＳｔｅｐＢ６）。そして、メモリ管理情報が復号化後用であるか判定されるが（ＳｔｅｐＢ９）、ＣｏｄｅＡ６は復号化前用メモリ管理情報であるため（ＳｔｅｐＢ９のＮｏ）、ピクチャ番号１１のピクチャのメモリ管理情報に関する処理は終了する。

しかし、伝送過程でのパケットの欠落等でピクチャ番号１２のメモリ管理情報が欠落して、ピクチャ番号１２に関する処理において、メモリ開放がなされていなければ、ピクチャ番号１１に関する処理において、メモリ開放済みでないと判定され（ＳｔｅｐＢ８のＮｏ）、次のステップにおいてメモリ開放される（ＳｔｅｐＢ１０）。メモリ開放された後、ピクチャ番号１１の画像信号は復号化される（ＳｔｅｐＢ６）。そして、ＣｏｄｅＡ６は復号化前用メモリ管理情報であるため（ＳｔｅｐＢ９のＮｏ）、ピクチャ番号１１のピクチャのメモリ管理情報に関する処理は終了する。

このように再送分については画像信号の復号化より前にコマンドが実行されるようにすることで、最初に送ったコマンドが欠落しても、コマンドの実行の遅れを少なくすることができる。

なお、具体例としてメモリ管理情報がＣｏｄｅＡ１とＣｏｄｅＡ６である場合について説明したが、ＣｏｄｅＡ２とＣｏｄｅＡ７を用いる場合でも同様の処理で実現可能であり、ＣｏｄｅＡ３とＣｏｄｅＡ８、ＣｏｄｅＡ４とＣｏｄｅＡ９を用いる場合でも同様の処理で実現可能である。

また、図２２に示す初期化コマンドＣｏｄｅＡ５を復号化後用メモリ管理情報とし、図１８に示す初期化再送コマンドＣｏｄｅ６を復号化前用メモリ管理情報として、それぞれを対で使うことも可能である。

また、１フレームに１つの復号化後用メモリ管理情報と複数の復号化前用メモリ管理情報がヘッダ情報として付与されている場合、複数の復号化前用メモリ管理情報が復号化後用メモリ管理情報より先に処理されるようにするとよい。

つまり、図１３に示すヘッダ情報の先頭の方に復号化前用メモリ管理情報を付与し符号化するようにすればよい。

また、図２５（ａ）と図２５（ｂ）とに示す命令の組み合わせにより、メモリ管理情報が復号前用管理情報であるか復号化後用管理情報であるかを別の情報として、上記実施の形態に示したコマンドを実現しても良い。

図２５（ａ）は、コマンドの内容と付加情報を示す対応図である。図２５（ｂ）は、コマンドの実行タイミング（処理位置）を示す対応図である。

図２６は、符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。

図２６において、フレームＦｒｍＢの符号化信号は、フレームヘッダＦｒｍＢＨｄｒと、ＭＢａ，ＭＢｂなどのフレームデータなどを有しており、フレームヘッダＦｒｍＢＨｄｒは、ヘッダ情報として、コード情報ＣｏｄｅＤなどを有している。

このとき、例えば図２６に示すように、フレームＦｒｍＢのフレームヘッダＦｒｍＢＨｄｒを先頭からコマンドのコード情報ＣｏｄｅＤ、処理位置を示すＦｌａｇＤ、コマンドの付加情報を示す付加情報ＡｄｄＤとすればよい。付加情報がない場合は図２６に示すようにコマンドのＣｏｄｅＥ、処理位置を示すＦｌａｇＥがフレームヘッダＦｒｍＢＨｄｒに付加されればよい。コマンドを示すＣｏｄｅの直後に付加情報を示すＡｄｄとせず処理位置を示すＦｌａｇとすることにより、図２４に示すＳｔｅｐＢ７やＳｔｅｐＢ９の処理が最適化できる。

また、コマンドの実行タイミングが画像信号の復号前と復号後のいずれかであるかを区別するために、コマンドの処理位置を示す新しいコマンドを用い、その処理位置を示すコマンドのフレームヘッダでの位置より前に位置するコマンドは復号化後に実施、その処理位置を示すコマンドのフレームヘッダでの位置より後に位置するコマンドは復号化前に実施するようにしてもよい。これにより、複数コマンドがあるときに、それぞれのコマンドの実行タイミング（処理位置）を１つのコマンドで示すことができ、コマンド毎に処理位置を示すＦｌａｇを送る場合に比べて送る情報が減少して、符号化効率が向上する。

具体例を図２７を用いて説明する。

図２７は、他の符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。

図２７において、フレームＦｒｍＣの符号化信号は、フレームヘッダＦｒｍＣＨｄｒと、ＭＢａ，ＭＢｂなどのフレームデータなどを有しており、フレームヘッダＦｒｍＣＨｄｒは、ヘッダ情報として、前から順にコマンドＣｏｄｅＦ、コマンドｄｉｆ、コマンドＣｏｄｅＧ、付加情報ＡｄｄＧ、コマンドＣｏｄｅＨが位置している。

そして、処理位置を示すコマンドｄｉｆがフレームヘッダＦｒｍＣＨｄｒにあるかないかが判別され、処理位置を示すコマンドｄｉｆより前にあるコマンドＣｏｄｅＦはフレームＦｒｍＣの復号化後に実行され、コマンドｄｉｆより後にあるコマンドＣｏｄｅＧやコマンドＣｏｄｅＨはフレームＦｒｍＣの復号化前に実行されるようにしてもよい。この場合、処理位置を示すコマンドｄｉｆがなければ、フレームヘッダＦｒｍＣＨｄｒ内の全てのコマンドは、フレームＦｒｍＣの復号化処理後に実行されることになる。

尚、上記各実施の形態で説明したように、不要になったメモリ領域を開放するコマンドや初期化コマンドなどのメモリ管理情報が再度伝送されるときに、画像の符号化信号に付加されたヘッダ情報に含まれて伝送されるのではなく、メモリ管理情報の含まれたヘッダ情報が画像の符号化信号とは別に分離して伝送されてもよい。すなわち、再送する上述のコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよい。また、蓄積メディアの別の領域に記録されてもよい。

（実施の形態１０）
次に、本発明の実施の形態１０について説明する。

本実施の形態では、上記各実施の形態と符号化を行う単位が異なる。すなわち、上記実施の形態１において不要なメモリ領域を開放するコマンドを複数回伝送するとき、上記コマンドに相当する図１に示されるメモリ管理情報ストリームＣｔｌＳｔｒと画像符号化ストリームＶｉｄｅｏＳｔｒとは画像（ピクチャ）単位で符号化していたが、本実施の形態では、図２８に示すストリーム構造のように１フレームをスライス単位で符号化してもよい。

スライス単位で符号化するとは、図２８のフレーム１のスライス１がヘッダ１−１、ｃｔｌＳｔｒ１、ＶｉｄｅｏＳｔｒ１−１を有し、フレーム１のスライス２がヘッダ１−２、ｃｔｌＳｔｒ１、ＶｉｄｅｏＳｔｒ１−２を有するように、各フレームが有するスライス毎にヘッダ、メモリ管理情報ストリームＣｔｌＳｔｒ、画像符号化ストリームＶｉｄｅｏＳｔｒを符号化することである。画像符号化装置で符号化後、画像符号化装置はデータストリームを出力する。なお、スライスは同期復帰単位であり、一つまたは複数のブロックからなる帯状の領域であり、複数のスライスからピクチャが構成される。また、ピクチャは１枚の画像に対応する基本的符号化単位であり、ブロックは符号化・復号化の基本単位である。

また、上記のようにメモリ管理情報ストリームＣｔｌＳｔｒを複数回伝送するときの内容は同一フレーム内において同一の情報とする。同一の情報とすることにより、このメモリ管理情報ストリームＣｔｌＳｔｒのスライス単位での付加の省略ができる。例えば、スライスのヘッダに複数回の伝送が当該スライスでは省略されているかどうかを示す情報を付加し、上記コマンドを複数回伝送することが当該スライスでは省略されているときには「０」を、上記コマンドが当該スライスにおいて伝送されているとき（省略されていないとき）には「１」を付加する。具体的に図２９（ａ）に一例を示し、以下説明する。フレーム１におけるスライス１からスライス３におけるヘッダおよび画像符号化ストリームＶｉｄｅｏＳｔｒはそれぞれ異なる。一方、スライス１およびスライス２においては同一のメモリ管理情報ストリームＣｔｌＳｔｒ１を有し、同一フレームにおける複数のスライスにおいて同一のメモリ管理情報ストリームＣｔｌＳｔｒ１が符号化されていることを示す情報「１」をスライス１およびスライス２それぞれが有する。また、スライス３はメモリ管理情報ストリームＣｔｌＳｔｒ１を省略していることを示す情報「０」を有する。これにより、複数回伝送することが当該スライスにおいて省略されているときには、先頭のスライス等、上記「１」が示されているスライスにおけるメモリ管理情報ストリームＣｔｌＳｔｒを参照することにより、メモリ管理情報ストリームＣｔｌＳｔｒの付加を省略可能にでき、ビット数を減らすことが可能となる。

すなわち、上述したメモリ管理情報ストリームＣｔｌＳｔｒ１を省略していることを示す情報「０」は、除去する対象のピクチャを指定する情報を有さないスライス（スライス３）で、除去する対象のピクチャを指定する情報を参照するとき、除去する対象のピクチャを指定する情報を参照することを示す情報である。

このようなメモリ管理情報ストリームＣｔｌＳｔｒの付加を省略可能にする方法は、伝送過程でメモリ管理情報ストリームＣｔｌＳｔｒが複数回欠落する可能性は少ないため有効である。

さらに、メモリ管理情報ストリームＣｔｌＳｔｒの有無が、メモリ管理情報ストリームＣｔｌＳｔｒが省略されていることを示す情報なしに判別できる場合、図２９（ｂ）のようにこれを省略してもよい。例えばメモリ管理情報ストリームＣｔｌＳｔｒの先頭が画像符号化ストリームＶｉｄｅｏＳｔｒの先頭と区別できる場合では、図２９（ｂ）のようにメモリ管理情報ストリームＣｔｌＳｔｒ１が符号化されているかどうかを示す情報があるかどうかの判別を、各スライスにおける先頭から所定の位置に所定の情報があるかないかで確認することができる。

このようなメモリ管理情報ストリームＣｔｌＳｔｒの付加を省略可能にする方法は、メモリ管理情報ストリームＣｔｌＳｔｒを符号化する回数を削減し、ビット数を減らすのに有効である。

以上、符号化について説明したが同様に１フレームの復号化をスライス単位ですることができる。上記実施の形態２において不要なメモリ領域を開放するコマンドを複数回伝送するとき、図３に示す画像復号化装置２００においては、上記コマンドに相当する図２８に示される管理情報ストリームＣｔｌＳｔｒと画像符号化ストリームＶｉｄｅｏＳｔｒとを有するストリーム構造を分離し、それぞれを画像（ピクチャ）単位で入力するが、それぞれをスライス単位で入力してもよい。

なお、他の実施の形態における符号化・復号化においても同様に１フレームをスライス単位で符号化・復号化してもよい。

また、上記実施の形態１から実施の形態１０までに示した符号化方法・復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。

（実施の形態１１）
次に、本発明の実施の形態１１について説明する。

本実施の形態では、さらに、実施の形態１から実施の形態１０で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図３０は、上記実施の形態１の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図３０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図３０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤ１はケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ１上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図３０（ｃ）は、フレキシブルディスクＦＤ１に上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤ１に記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法を、フレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ１内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤ１から読み出し、コンピュータシステムＣｓに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施の形態に示した画像符号化方法・画像復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。

ここで、上記実施の形態１から実施の形態１０で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。

図３１は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図３１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。

その一例として携帯電話について説明する。

図３２は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図３３を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してデジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図３４に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図３３に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

なお、ブロック図（図１、３、３３など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

以上、図面を参照してこの発明の実施の形態を説明したが、この発明は、図示した実施の形態のものに限定されない。図示した実施の形態に対して、この発明と同一の範囲において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

本発明は、画像符号化装置を備えるマルチメディア機器に適用でき、特に携帯電話機、デジタルカメラ、ビデオカメラ、ＰＤＡ、テレビ、ＤＶＤレコーダ、ＢＤレコーダ、ＳＴＢ、パーソナルコンピュータ、カーナビゲーション装置等に適用できる。

１００ 画像符号化装置
１０１ メモリ情報制御部
１０２ 短時間保存メモリ管理部
１０３ 長時間保存メモリ管理部
１０４ 非保存メモリ管理情報部
１０５ 管理情報符号化部
１０６ 参照画像選択部
１０７ 保存領域指定部
１０８ 参照領域指定部
１０９ 画像メモリ
１１０ 画像符号化部
１１１ 画像復号化部
１１２ 可変長符号化部
１１３ カウンタ
１１４ カウンタ
２００ 画像復号化装置
２０１ メモリ情報制御部
２０２ 短時間保存メモリ管理部
２０３ 長時間保存メモリ管理部
２０５ 管理情報復号化部
２０７ 保存領域指定部
２０８ 参照領域指定部
２０９ 画像メモリ
２１０ 画像復号化部
２１２ 可変長復号化部
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (2)

1. メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化方法であって、
   選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、
   メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、
   前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化し、
   前記第２のメモリ管理情報に、前記符号化対象ピクチャを特定する情報を付随させ、
   前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、
   前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である、
   ことを特徴とする画像符号化方法。
2. メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化装置であって、
   選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、
   メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、
   前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化し、前記第２のメモリ管理情報に、前記符号化対象ピクチャを特定する情報を付随させる管理情報符号化手段を備え、
   前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、
   前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報である、
   ことを特徴とする画像符号化装置。

Images