JP4544879B2 - 画像符号化方法、画像符号化装置及びプログラム - Google Patents

Description

本発明は、動画像信号を各ピクチャごとに符号化する画像符号化方法、及びその符号化された信号を復号化する画像復号化方法に関する。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、動画像信号のデジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの共同で次世代画像符号化方式として、ＪＶＴ（Joint Video Team）でＩＴＵ Ｈ．２６４｜ＡＶＣと呼ばれる標準化活動が進んでおり、現時点ではスタディ・オブＦＣＤ（SoFCD）と呼ばれるものが最新である（例えば、非特許文献１参照。）。

Ｈ．２６４｜ＡＶＣでは、従来の動画像符号化と異なり、複数のピクチャから任意のピクチャを前方参照ピクチャとして選択可能である。ここで、ピクチャとはフレームまたはフィールドのことを表す。
参照ピクチャなどは、メモリに保存される。
メモリは、短時間保存メモリと長時間保存メモリから構成される。短時間保存メモリは直前に復号化された複数のピクチャを記憶するものであり、いわゆるＭＰＥＧ−１やＭＰＥＧ−２のＰピクチャ（前方予測符号化ピクチャ）およびＢピクチャ（双方向予測符号化ピクチャ）といった参照ピクチャが記憶される。長時間保存メモリは短時間保存メモリよりもピクチャを長時間保存するために用いられる。

通常は、短時間保存メモリはＦＩＦＯ（先入先出）メモリであり、記憶領域にピクチャが満たされた状態で、さらにピクチャを短時間保存メモリに保存する場合には、短時間保存メモリ内の最も古い時刻に保存されたピクチャが除去されて、その除去された領域に新しい画像が保存される。従って、通常は短時間保存メモリから除去される参照ピクチャを長時間にわたって参照する必要がある場合には、その参照ピクチャを予め短時間保存メモリから長時間保存メモリに移動して長時間保存メモリ内に保存しておく。これにより長時間の参照が可能となる。長時間保存メモリは、明示された領域にピクチャを保存する。これにより、同じ領域を指定して上書きしない限りその領域に保存されたピクチャを参照することができる。

更に復号化されたピクチャは表示されるまでに一時的に表示用メモリに保存される。この表示用メモリは、表示の順序で古いピクチャから順に上書きされるＦＩＦＯ構成になっている。
このようなメモリを効率的に使用するためには高度なメモリ管理が必要であり、メモリを管理するための仕組みがＨ．２６４｜ＡＶＣに導入されている。

上記管理に用いられるメモリ管理コマンドは、例えば以下の指令を示す。
１．参照可能なピクチャを選択する指令
２．短時間保存メモリで予測符号化の参照ピクチャとして不要になったピクチャの保存されているメモリ領域を開放する指令
３．短時間保存メモリのピクチャを長時間保存メモリに移動する指令
４．メモリ内のピクチャを全て開放してピクチャ復号化に関する情報を初期化する指令
画像符号化・復号化では、参照可能なピクチャの中からブロック単位で予測誤差が小さいピクチャを参照ピクチャとして選択するため、ブロック単位で参照ピクチャを指示する信号（参照画像指示信号）が必要である。予め参照可能なピクチャを選択することで、参照ピクチャの候補数を適切な値に絞り込み、ブロック単位で必要な参照画像指示信号のビット数を節約できる。

また、短時間保存メモリから長時間保存メモリにピクチャが移動された場合は、同じピクチャが短時間保存メモリと長時間保存メモリの両方に保存されていても無駄なだけであるから、短時間保存メモリ内のピクチャは除去される。
このような画像符号化方法および画像復号化方法では、不要なピクチャをメモリから除去するように指令するメモリ管理コマンドや、ピクチャを短時間保存メモリから長時間保存メモリに移動するように指令するメモリ管理コマンドを、画像符号化装置で符号化して出力し、画像復号化装置に伝送して復号化する。このようなメモリ管理コマンドは、符号化されたピクチャに付加されて伝送されるが、そのメモリ管理コマンドを伴うピクチャが伝送エラー等で消失した場合には、画像復号化装置側のメモリ内の画像配置が正しく復元できないため、ピクチャを復号化できなくなる。

このような問題を考慮して、メモリ管理コマンド（ＭＭＣＯ）を再送することが考えられる。このようにメモリ管理コマンドを再送することで、メモリ管理コマンドを伴うピクチャが伝送エラーなどで消失した場合に、再送したメモリ管理コマンドにより、メモリ内の画像配置が正しく復元される。
メモリ管理コマンドを適用するピクチャ（メモリ管理コマンドの管理対象となるピクチャ）や、メモリ管理用コマンドを再送する場合にどのピクチャに対して付加されたメモリ管理用コマンドの再送であるかを示すために、各ピクチャに対してピクチャ番号を付与される。このピクチャ番号によって、管理対象のピクチャや、最初にメモリ管理コマンドが付加されたピクチャが示される。

ピクチャ番号は、画像符号化ストリームで昇順（符号化順）に割り当てられた番号であり、表示用メモリでピクチャの表示順序を導出するためにも使用される。なお、ピクチャ数が増加するとピクチャ番号は非常に大きくなるため、ピクチャ番号は、所定数MaxFrameNumの剰余として符号化されている。
一方、画像符号化ストリームのピクチャレートなどを途中で切り換えても、それ以降の画像符号化ストリームが正しく復号化できることを保証するために、ＩＤＲピクチャが導入される。このＩＤＲピクチャは、これを超えて前方のピクチャの参照が行われないようにするためのピクチャであって、このＩＤＲピクチャが符号化される時点で、メモリ内のピクチャが開放されてピクチャ復号化に関する情報が初期化される。そのため、ＩＤＲピクチャの符号化、復号化の前後でメモリ内に保存されているピクチャが異なる。また、ＩＤＲピクチャでなく、初期化コマンドが用いられることもある。ＩＤＲピクチャは、ピクチャ番号を含め全てのピクチャに関する復号化情報を初期化するのに対して、初期化コマンドは、一部の情報（ピクチャ番号等）のみを初期化する。

また、画像符号化ストリームが編集される場合、すなわち複数の画像符号化ストリームのそれぞれの一部を抽出して結合し、新たに別の画像符号化ストリームが生成される場合には、結合部（編集点）にてピクチャ番号等の不整合が発生する。
"Study of Final Committee Draft of Joint Video Specification", Joint Video Team (JVT) of ISO/IEC and ITU-T VCEG, JVT-F100, 15 Feb., 2003

しかしながら、上記画像符号化方法及び画像復号化方法では、再送されたメモリ管理コマンドが管理対象となるピクチャをピクチャ番号で示しても、その再送されたメモリ管理コマンドを受けた画像復号化装置側では、どのピクチャに対するメモリ管理コマンドなのかが不明となり、誤動作を誘発してしまうという問題がある。
即ち、ピクチャ番号が所定数の剰余として表現されることや、ＩＤＲピクチャや初期化コマンドによりピクチャ番号が０に初期化されることによって、異なるピクチャに同一のピクチャ番号が付与されることとなるため、ピクチャ番号による１つのピクチャの特定が困難になり、誤動作を誘発してしまうのである。

例えば、表示用メモリは、各ピクチャの表示順序の情報に基づいて各ピクチャを表示順序が早いものから順に除去して、表示用に必要な新しい領域を確保する。ＩＤＲピクチャ又は初期化コマンド後のピクチャ番号が最小値０にリセットされると、表示順序を示す情報も初期化される。その結果、画像符号化装置が、ＩＤＲピクチャ又は初期化コマンドの符号化後に、ＩＤＲピクチャなどの前にあるピクチャを管理対象とするメモリ管理コマンドを再送したとしても、それを受信した画像復号化装置は、メモリ管理コマンドを適用するピクチャが存在しないため、誤動作を生じする。

本発明は、かかる問題に鑑みてなされたものであり、コマンドの再送に起因する誤動作の発生を防止する画像符号化方法及び画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明の画像符号化方法は、動画像信号に含まれる各ピクチャに対して所定のピクチャ数単位で符号化順にピクチャ番号を割り当て、各ピクチャごとに符号化を行うことで画像符号化信号を生成する画像符号化方法であって、所定のピクチャ番号の第１のピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドを、前記第１のピクチャと異なる第２のピクチャに付加する付加ステップと、前記メモリ管理コマンドを前記画像符号化信号中の前記第２のピクチャ以外の付加対象部位に再付加する再付加ステップとを含み、前記再付加ステップは、前記付加対象部位までの画像符号化信号に含まれる前記所定のピクチャ番号のピクチャの中で、前記第１のピクチャが符号化順で前記付加対象部位の直前にあるか否かを判別する判別サブステップと、前記判別サブステップで直前にないと判別されたときには、前記メモリ管理コマンドの再付加を禁止する禁止サブステップとを含むことを特徴とする。

これにより、再付加されたメモリ管理コマンドの管理対象となるピクチャは常に直前のピクチャであるため、このように再付加されて再送されたメモリ管理コマンドを取得した画像復号化装置側では、そのメモリ管理コマンドにより示される所定のピクチャ番号のピクチャが複数あったとしても、直前のピクチャをそのメモリ管理コマンドの管理対象となるピクチャとして特定することができ、再送されたメモリ管理コマンドに起因する画像復号化装置側での誤動作の発生を防止することができる。

また、前記判別サブステップでは、さらに、前記第１のピクチャが、画像符号化信号中の基準点よりも符号化順で前方にあるか否かを判別し、前記禁止サブステップでは、さらに、前記判別サブステップで前方にあると判別されたときには、前記メモリ管理コマンドの再付加を禁止する
ことを特徴としても良い。例えば、前記判別サブステップでは、前記画像符号化信号の連続性が編集によって失われた編集点を前記基準点として扱う。又は、前記判別サブステップでは、メモリを初期化するように促す情報を含めて符号化されたピクチャを前記基準点として扱う。

これにより、基準点よりも前方にあるピクチャを管理対象とするメモリ管理コマンドは再付加されないため、このように再付加されて再送されたメモリ管理コマンドを取得した画像復号化装置側では、基準点よりも後のピクチャをそのメモリ管理コマンドの管理対象として扱うことができ、基準点よりも前にあって例えば既に消去されたピクチャに対してメモリ管理コマンドを適用することにより生じする誤動作の発生を防止することができる。

また、上記目的を達成するために、本発明の画像復号化方法は、動画像信号がピクチャ単位で符号化された画像符号化信号を、各ピクチャに対して所定のピクチャ数単位で復号化順に割り当てられたピクチャ番号を用いて復号化する画像復号化方法であって、所定のピクチャ番号のピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドが前記画像符号信号中に付加されているか否かを判別する判別ステップと、前記判別ステップでメモリ管理コマンドが付加されていると判別されたときには、前記メモリ管理コマンドまでの画像符号化信号に含まれる前記所定のピクチャ番号のピクチャの中から、復号化順で前記メモリ管理コマンドの直前にあるピクチャを選択する選択ステップと、前記選択ステップで選択されたピクチャに対して、前記メモリ管理コマンドにより示される管理内容を実行する実行ステップとを含むことを特徴とする。

これにより、そのメモリ管理コマンドにより示される所定のピクチャ番号のピクチャが複数あったとしても、直前のピクチャに対してそのメモリ管理コマンドが適用されるため、直前のピクチャを管理対象とするメモリ管理コマンドを画像符号化装置から再送させることによって、符号化側及び復号化側でその管理対象を一致させることができ、画像符号化装置側から再送されたメモリ管理コマンドに起因する誤動作の発生を防止することができる。

尚、本発明は、このような画像符号化方法および画像復号化方法として実現することができるだけでなく、このような方法を用いた画像符号化装置および画像復号化装置として実現したり、画像符号化方法により符号化された画像符号化ストリームが記録された記録媒体として実現したり、画像符号化方法および画像復号化方法における各ステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどの伝送媒体を介して配信することができるのは言うまでもない。

本発明の画像符号化方法及び画像復号化方法は、コマンドの再送に起因する誤動作の発生を防止することができるという作用効果を奏する。

以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
図１は、本実施の形態における画像符号化方法を実現するための画像符号化装置の構成を示すブロック図である。
画像符号化装置１００は、メモリ情報制御部１０１と、短時間保存メモリ管理部１０２と、長時間保存メモリ管理部１０３と、非保存メモリ管理情報部１０４と、管理情報符号化部１０５と、参照画像選択部１０６と、保存領域指定部１０７と、参照領域指定部１０８と、画像メモリ１０９と、画像復号化部１１１と、画像符号化部１１０と、可変長符号化部１１２と、カウンタ１１３と、カウンタ１１４などから構成される。

参照画像選択部１０６は外部から入力される重要度指示信号Ｐｒｉおよびピクチャタイプ情報ＰＴから参照ピクチャの候補を選択し、その選択結果をメモリ情報制御部１０１に通知する。
メモリ情報制御部１０１は、ピクチャタイプ情報ＰＴによって前方および後方のいずれか一方のピクチャ、もしくは両方のピクチャが参照可能かどうかを判断する。さらに、メモリ情報制御部１０１は、参照領域指定部１０８に指令することにより、その判断結果に対応する参照ピクチャを画像メモリ１０９から画像符号化部１１０に出力させる。

画像符号化部１１０は、画像メモリ１０９から出力される参照ピクチャを参照して入力画像信号Ｖｉｎをピクチャごとに符号化する。可変長符号化部１１２は、画像符号化部１１０からの出力を更に可変長符号化して画像符号化ストリームＶＳｔを出力する。また、可変長符号化部１１２は、画像符号化ストリームＶＳｔが編集された場合、編集された画像符号化ストリームＶＳｔの編集点を示す情報の符号化も行う。画像符号化部１１０の出力は、また、画像復号化部１１１で復号化されて復号化画像となり、画像メモリ１０９に参照ピクチャとして格納される。

このとき、画像メモリ１０９における復号化画像の格納可能なメモリ領域は、保存領域指定部１０７からの指示によって決定される。即ち、メモリ情報制御部１０１は、短時間保存メモリ管理部１０２に問い合わせて、画像メモリ１０９内の短時間保存メモリでピクチャの除去されたメモリ領域を特定する。保存領域指定部１０７は、その特定されたメモリ領域に復号化画像を記録するように、画像メモリ１０９に対し指示を出す。

短時間保存メモリ管理部１０２は、短時間保存メモリ内の不要な（参照されない）ピクチャを検出して、そのピクチャを管理対象としてこれを除去する（メモリを開放する）ように指示する内容のメモリ管理コマンドをメモリ情報制御部１０１に通知する。また、長時間保存メモリ管理部１０３は、短時間保存メモリ内のピクチャを管理対象として、これを画像メモリ１０９内の長時間保存メモリに移動するように指示する内容のメモリ管理コマンドをメモリ情報制御部１０１に通知する。このようなメモリ管理コマンドは、管理情報符号化部１０５で符号化されて、メモリ管理情報ストリームＣＳｔとなる。また、このようなメモリ管理情報ストリームＣＳｔに含まれるメモリ管理コマンドは、画像符号化ストリームＶＳｔに付加されて画像復号化装置に送信される。

短時間保存メモリ用のカウンタ１１３および長時間保存メモリ用のカウンタ１１４は、不要なピクチャの除去を指示するメモリ管理コマンドや、短時間保存メモリ内のピクチャを長時間保存メモリに移動するように指示するメモリ管理コマンドの符号化回数を計測する。
非保存メモリ管理情報部１０４は、不要なピクチャの除去を指示するメモリ管理コマンドや、短時間保存メモリ内のピクチャを長時間保存メモリに移動するように指示するメモリ管理コマンドが符号化され、画像符号化ストリームＶＳｔ中の重要度が低く復号化されにくいピクチャに付加されたかどうかを管理する。そして、非保存メモリ管理情報部１０４は、重要度が低いピクチャに付加されている場合は、メモリ管理コマンドを再度符号化して画像符号化ストリームＶＳｔに付加するようにメモリ情報制御部１０１に指示する。

これにより、画像符号化装置１００は、必要に応じて上記メモリ管理コマンドを複数回伝送することにより、メモリ管理情報ストリームＣＳｔのメモリ管理コマンドが伝送路エラーによって消失するのを防止する。
さらに、メモリ情報制御部１０１は、メモリ管理コマンドの２回目以降の伝送時（再送時）には、メモリ管理コマンドを適用するメモリに保存されているピクチャ（管理対象のピクチャ）が、ＩＤＲピクチャより以前に符号化されているピクチャであるかを検出して、ＩＤＲピクチャより以前に符号化されているピクチャである場合は、メモリ管理コマンドを符号化して再送することはしない。また、メモリ情報制御部１０１は、同一のピクチャ番号を有する（巡回する番号が付与されているため）ピクチャのうち、管理対象のピクチャが符号化順で最近のピクチャであるか否かを検出し、最近のピクチャである場合にのみメモリ管理コマンドを符号化して再送する。さらに、メモリ情報制御部１０１は、画像符号化ストリームＶＳｔの編集により不連続となった編集点より、管理対象のピクチャが符号化順で前にあるか否かを検出し、編集点より前である場合はメモリ管理コマンドを符号化して再送することはしない。

ここで、本実施の特徴について説明する。
図２の（ａ）は、符号化された各ピクチャを示す図である。
この図２の（ａ）に示すように、各ピクチャには符号化順にピクチャ番号が付与されている。ピクチャ番号は予め定められた最大値（例えば１５）になると再び０に戻される。このようにピクチャ番号は番号が巡回している。

現時点で符号化されるピクチャ（符号化対象ピクチャ）がピクチャＡであるとする。本実施の形態では、ピクチャＡより以前に符号化されたピクチャに付随させたメモリ管理コマンド（ＭＭＣＯ）を再度符号化してピクチャＡの箇所で付加する場合、以下のようになる。
ピクチャＡ以前に符号化された各ピクチャをピクチャＢ０，Ｂ１…Ｂ１５、Ｃ０，Ｃ１…Ｃ１１とする。ピクチャＢ０〜Ｂ１５のピクチャ番号が０〜１５であり、ピクチャＣ０〜Ｃ１１のピクチャ番号は０〜１１である。ピクチャＣ０，Ｃ１…Ｃ１１は、同じく巡回したピクチャ番号の付与されたピクチャＢ０，Ｂ１…Ｂ１５に比べて符号化された順番がピクチャＡに近い。そこで、本実施の形態の画像符号化装置１００は、ピクチャＣ０，Ｃ１…Ｃ１１に対して適用するメモリ管理コマンドを再度符号化してピクチャＡの箇所で符号化し伝送するが、ピクチャＢ０，Ｂ１…Ｂ１５に対して適用するメモリ管理コマンドは再度符号化することはない。

例えば、ピクチャ番号２のピクチャＢ２が保存されたメモリを開放する（再利用可能とする）ことを示すメモリ管理コマンドが以前に符号化された場合であっても、本実施の形態の画像符号化装置１００は、そのメモリ管理コマンドをピクチャＡで再度符号化せず、ピクチャ番号２のピクチャＣ２が保存されたメモリ領域を開放することを示すメモリ管理コマンドが以前に符号化された場合であれば、そのメモリ管理コマンドをピクチャＡの箇所で再度符号化（再付加）する。

このようにすることで、画像復号化装置は、メモリ領域の開放を指示するメモリ管理コマンドを復号化したときに、同一のピクチャ番号２が付与されたピクチャＢ２とピクチャＣ２が保存されたメモリのいずれを開放すべきかを一意的に決定することができる。すなわち、画像復号化装置は、符号化対象のピクチャＡと最も近い時刻に符号化されたピクチャＣ２の保存されたメモリ領域を、開放すべきメモリ領域として特定できる。その結果、画像符号化装置と画像復号化装置でメモリの状態に不一致が発生することがなく、画像復号化装置においてメモリ管理コマンドの再送に起因する誤動作が発生するのを防止することができる。

さらに、本実施の形態における他の特徴について説明する。
図２の（ｂ）は、図２の（ａ）におけるピクチャＣ４がＩＤＲピクチャである場合の各ピクチャを示す図である。
ＩＤＲピクチャとは、その箇所から画像符号化ストリームＶＳｔの復号化を開始しても画像符号化ストリームＶＳｔを正しく復号化できたり、その直前で、画像符号化ストリームＶＳｔのピクチャレートなどを切り換えても、ＩＤＲピクチャ以降のストリームが正しく復号化できることを保証するために、導入されたピクチャである。このＩＤＲピクチャは、これを超えて前方のピクチャの参照が行われないようにし、このＩＤＲピクチャが符号化される時点で、メモリ内の全ピクチャが開放されて復号化に関する情報が初期化される。

本実施の形態では、現時点で符号化されるピクチャＡより以前に符号化されたピクチャに付随させたメモリ管理コマンド（ＭＭＣＯ）を再度符号化してピクチャＡの箇所で符号化する場合、ＩＤＲピクチャ以前に符号化されたピクチャに対して適用するメモリ管理コマンドを再度符号化しないようにする。
例えば、ＩＤＲピクチャであるピクチャＣ４以前のピクチャＣ１が保存されたメモリを開放する（再利用可能とする）ことを示すメモリ管理コマンドが以前に符号化された場合であれば、本実施の形態の画像符号化装置１００は、そのメモリ管理コマンドを再度符号化しない。

ＩＤＲピクチャは、その時点でメモリに保存されているピクチャとピクチャ番号を初期化する。そのため、再送するメモリ管理コマンドの管理対象となるピクチャが、ＩＤＲピクチャより前のピクチャである場合には、そのメモリ管理コマンドが再送された時点で、すでに画像復号化装置のメモリ内にそのメモリ管理コマンドの管理対象となるピクチャが存在しない。このとき、画像復号化装置では、エラーであるとして失われたピクチャが新たに生成されてメモリに保存され、その結果、メモリ内の他のピクチャが失われるといった誤動作が生じする可能性がある。

そのため、本実施の形態の画像符号化装置１００は、ＩＤＲピクチャ以前に符号化されたピクチャに対して適用するメモリ管理コマンドを再度符号化しないようにすることで、誤動作の発生を防止することができる。
また、本実施の形態におけるさらに他の特徴を、図３を用いて説明する。
図３は、画像符号化ストリームＶＳｔの編集を説明するための説明図である。

例えば、この図３に示すように、ピクチャＥ０〜Ｅ１３を含む画像符号化ストリームとピクチャＦ０〜Ｆ１３を含む画像符号化ストリームとが、それぞれの途中で結合（編集）される。なお、このような画像符号化ストリームの編集は、ＤＶＤなどの編集を行う場合に行われる。
ピクチャＥ０〜Ｅ１３を含む画像符号化ストリームは、ピクチャＥ１１とピクチャＥ１２の間で分割され、ピクチャＦ０〜Ｆ１３を含む画像符号化ストリームは、ピクチャＦ１１とピクチャＦ１２の間で分割される。ピクチャＥ０〜Ｅ１１の画像符号化ストリームとピクチャＦ１２〜Ｆ１３の画像符号化ストリームとがつなげられて、１つの画像符号化ストリームＹに編集される。このようにピクチャＥ１１とピクチャＦ１２がつなげられてピクチャ番号が不連続となった部分を編集点Ｈとよぶ。

本実施の形態の画像符号化装置１００は、現時点で符号化されるピクチャＦ１３より以前に符号化されたピクチャに付随させたメモリ管理コマンド（ＭＭＣＯ）を再度符号化してピクチャＦ１３に付随させようとする場合、そのメモリ管理コマンドの管理対象となるピクチャが編集点Ｈ以前に符号化されたピクチャであるか否かを判別する。そして、編集点Ｈ以前に符号化されたピクチャであれば、画像符号化装置１００は、そのメモリ管理コマンドの再度の符号化を禁止する。

例えば、編集点Ｈ以前のピクチャＦ１が保存されたメモリを開放する（再利用可能とする）ことを示すメモリ管理コマンドが以前にピクチャ番号ｍ−２のピクチャＦ１０に付随させて符号化された場合であれば、画像符号化装置１００は、そのメモリ管理コマンドを再度符号化しない。
即ち、ピクチャＦ１３を含む画像符号化ストリームは、編集されて画像符号化ストリームＹとなっているため、メモリに保存されるピクチャには編集点Ｈ以前のピクチャＦ０〜Ｆ１１はメモリ内に存在しない。そこで、編集点Ｈ以前のピクチャであるピクチャＦ０〜Ｆ１１に適用するメモリ管理コマンドが再度符号化されてしまうと、画像復号化装置は、そのメモリ管理コマンドの実行時に、そのメモリ管理コマンドを適用するピクチャが存在しないため、失われたピクチャを新たに生成してメモリに保存し、他のピクチャをメモリから消去するといった誤動作を行う可能性がある。したがって、本実施の形態の画像符号化装置１００は、そのようなメモリ管理コマンドを再度符号化することを禁止するのである。

ここで、本実施の形態の画像符号化装置１００の動作を説明する。
図４は、本実施の形態の画像符号化装置１００がＩＤＲピクチャに基づいてメモリ管理コマンドの再符号化を行う動作を示すフローチャートである。
まず、画像符号化装置１００の画像符号化部１１０は、入力画像信号Ｖｉｎの符号化を開始する（ステップＳ１００）。短時間保存メモリ管理部１０２及び長時間保存メモリ管理部１０３は、画像符号化部１１０の符号化処理中、メモリ内で不要な領域（今後の符号化で参照されないピクチャ）を調査し（ステップＳ１０１）、不要なメモリ領域があるか否かを判定する（ステップＳ１０２）。ここで、短時間保存メモリ管理部１０２及び長時間保存メモリ管理部１０３が不要なメモリ領域があると判定したときには（ステップＳ１０２のＹｅｓ）、画像符号化装置１００の管理情報符号化部１０５は、不要なメモリ領域を開放するように指示するメモリ管理コマンドを符号化する（ステップＳ１０３）。そして、短時間保存メモリ管理部１０２及び長時間保存メモリ管理部１０３は、その不要なメモリ領域を開放する（ステップＳ１０４）。また、短時間保存メモリ管理部１０２及び長時間保存メモリ管理部１０３によって不要なメモリ領域がないと判定されたときには（ステップＳ１０２のＮｏ）、画像符号化装置１００は、ステップＳ１０３，Ｓ１０４の動作を実行しない。

次に、メモリ情報制御部１０１は、非保存メモリ管理情報部１０４の動作に基づいて、不要なメモリ領域を開放するように指示するメモリ管理コマンドが符号化され、以前に符号化したピクチャ（符号化対象ピクチャより前のピクチャ）に付加されているか否かを判定し（ステップＳ１０５）、メモリ管理コマンドが符号化されていないと判定した場合は（ステップＳ１０５のＮｏ）、画像符号化装置１００は処理を終了する。

一方、メモリ管理コマンドが符号化されていると判定した場合には（ステップＳ１０５のＹｅｓ）、メモリ情報制御部１０１は、メモリ管理コマンドの管理対象となるピクチャ（開放された不要なメモリ領域に保存されていたピクチャ）がＩＤＲピクチャより符号化順で前にあるか否かを判定する（ステップＳ１０６）。ここで、メモリ情報制御部１０１は、前にあると判定したときには（ステップＳ１０６のＹｅｓ)、メモリ管理コマンドを再符号化（再付加）することなく処理を終了し、前にはないと判定したときには（ステップＳ１０６のＮｏ）、メモリ管理コマンドを再符号化（再付加）して（ステップＳ１０７）、処理を終了する。

図５は、本実施の形態の画像符号化装置１００がＩＤＲピクチャ及び最近か否かの判断に基づいてメモリ管理コマンドの再符号化を行う動作を示すフローチャートである。
画像符号化装置１００は、まず、図４に示すステップＳ１００〜Ｓ１０６と同様の動作を実行する（ステップＳ２００〜Ｓ２０６）。
メモリ情報制御部１０１は、メモリ管理コマンドの管理対象となるピクチャがＩＤＲピクチャよりも前にはないと判定したときには（ステップＳ２０６のＮｏ)、さらに、管理対象のピクチャと同一のピクチャ番号が付与されたピクチャのうち、管理対象のピクチャが最近のピクチャであるかを判定する（ステップＳ２０７）。即ち、メモリ情報制御部１０１は、管理対象のピクチャと同一のピクチャ番号が付与されたピクチャの中で、その管理対象のピクチャが符号化順で、画像符号化ストリームＶＳｔ中のメモリ管理コマンドが再付加される予定の部位の直前にあるか否かを判定する。

その結果、メモリ情報制御部１０１は、最近のピクチャでないと判定したときには（ステップＳ２０７のＮｏ)、メモリ管理コマンドを再符号化（再付加）せず処理を終了し、最近のピクチャであると判定したときには（ステップＳ２０７のＹｅｓ）、メモリ管理コマンドを再符号化（再付加）して（ステップＳ２０８）、処理を終了する。
図６は、本実施の形態の画像符号化装置１００が画像符号化信号の編集を行う動作を示すフローチャートである。

まず、画像符号化装置１００は、画像符号化ストリームＶＳｔの編集を行う（ステップＳ３００）。
次に、画像符号化装置１００のメモリ情報制御部１０１は、メモリ管理コマンドが符号化されて、編集後の画像符号化ストリームＶＳｔに付加されているか否かを判別する（ステップＳ３０１）。

ここで、メモリ管理コマンドが符号化されていると判別したときには（ステップＳ３０１のＹｅｓ）、画像符号化装置１００は、さらに、そのメモリ管理コマンドの管理対象となるピクチャが符号化順で編集点よりも前にあるか否かを判別する（ステップＳ３０２）。
一方、ステップＳ３０１においてメモリ管理コマンドが符号化（付加）されていないと判別されたときや（ステップＳ３０１のＮｏ）、ステップＳ３０２において管理対象のピクチャが編集点よりも前にあると判別されたときには（ステップＳ３０２のＹｅｓ）、画像符号化装置１００は、その画像符号化ストリームＶＳｔの編集処理を終了する。

また、画像符号化装置１００のメモリ情報制御部１０１は、ステップＳ３０２において管理対象のピクチャが編集点よりも前にはないと判別したときには（ステップＳ３０２のＮｏ）、再びそのメモリ管理コマンドを管理情報符号化部１０５に符号化させ、画像符号化ストリームＶＳｔに再付加させる（ステップＳ３０３）。

図７は、本実施の形態の画像符号化装置１００が、ＩＤＲピクチャ及び最近か否かの判断並びに編集点に基づいて、メモリ管理コマンドの再符号化を行う動作を示すフローチャートである。

画像符号化装置１００は、まず、図５に示すステップＳ２００〜Ｓ２０７と同様の動作を実行する（ステップＳ４００〜Ｓ４０７）。
メモリ情報制御部１０１は、メモリ管理コマンドの管理対象のピクチャが最近のピクチャでないと判定したときには（ステップＳ４０７のＮｏ)、処理を終了するが、最近のピクチャであると判定したときには（ステップＳ４０７のＹｅｓ）、さらに、そのメモリ管理コマンドの管理対象となるピクチャが符号化順で編集点よりも前にあるか否かを判別する（ステップＳ４０８）。

メモリ情報制御部１０１は、編集点よりも前にあると判別したときには（ステップＳ４０８のＹｅｓ）、処理を終了し、編集点よりも前にはないと判別したときには（ステップＳ４０８のＮｏ）、メモリ管理コマンドを再符号化（再付加）して（ステップＳ４０９）、処理を終了する。

以上のように、本実施の形態では、メモリ領域を開放する（そのメモリ領域のピクチャを除去する）ように指示するメモリ管理コマンドを繰り返し符号化しているため、１つのメモリ管理コマンドが伝送路エラーで消失しても、他のメモリ管理コマンドが画像復号化装置へその指示内容を伝えるため、伝送路エラーがあっても画像復号化装置においてピクチャを正しく復号することができる。

さらに、本実施の形態の画像符号化装置１００は、メモリ管理コマンドを適用する対象のピクチャが、編集点より前である場合や、ＩＤＲピクチャより前である場合や、最近のピクチャでない場合は、メモリ管理コマンドを再符号化しないので、画像復号化装置において、メモリ管理コマンドが実行されるときに、メモリ管理コマンドの管理対象のピクチャが存在しないなどの理由により生じする誤動作を防止する。

なお、本実施の形態では、不要なメモリを開放するように指示する内容のメモリ管理コマンドを例に挙げて説明したが、ピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドであれば、短時間保存メモリに保存されているピクチャを長時間保存メモリに移動させるように指示する内容のメモリ管理コマンドであっても良い。

また、本実施の形態では、メモリ管理コマンドの管理対象とするピクチャが符号化順でＩＤＲピクチャよりも前にあるときに、そのメモリ管理コマンドの再送を禁止したが、管理対象のピクチャが符号化順でメモリ初期化コマンドよりも前にあるときに、再送を禁止しても良い。このメモリ初期化コマンドは、メモリに保存されている全ピクチャを消去してメモリを初期化し、ピクチャ番号を０にリセットするように指示するコマンドである。

更に、図７のフローチャートでは、画像符号化装置１００がステップＳ４０６、ステップＳ４０７、ステップＳ４０８の処理をこの順序で全て実行するものとして説明したが、これらのステップは順不同で実行の順序を入れ替えてもよく、また実現簡単化のために一部のステップを省略しても良い。

更に、図４〜図７のフローチャートでは、再送でないメモリ管理コマンドを、再送するメモリ管理コマンドよりも先に符号化する例を示したが、この符号化の順序を逆にし、再送するメモリ管理コマンドを先に符号化してから、再送でないメモリ管理コマンドを符号化しても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図８は、実施の形態２における画像復号化方法を実現するための画像復号化装置のブロック図である。
画像復号化装置２００は、メモリ情報制御部２０１と、短時間保存メモリ管理部２０２と、長時間保存メモリ管理部２０３と、管理情報復号化部２０５と、保存領域指定部２０７と、参照領域指定部２０８と、画像メモリ２０９と、画像復号化部２１０と、可変長復号化部２１２などから構成される。

メモリ情報制御部２０１は、ピクチャタイプ情報ＰＴに基づいて、復号化対象のピクチャに対して前方および後方のいずれか一方のピクチャ、又は両方のピクチャが参照可能かどうかを判断する。さらにメモリ情報制御部２０１は、参照領域指定部２０８に指令して、その判断結果に対応する参照ピクチャを画像メモリ２０９から画像復号化部２１０に出力させる。

可変長復号化部２１２は、画像符号化ストリームＶＳｔを可変長復号化する。画像復号化部２１０は、可変長復号化部２１２からの出力を更に復号化して復号画像信号Ｖｏｕｔを出力して、その出力を画像メモリ２０９に参照ピクチャとして格納する。
このとき、画像メモリ２０９における参照ピクチャの格納可能なメモリ領域は、保存領域指定部２０７からの指示によって決定される。即ち、メモリ情報制御部２０１は、短時間保存メモリ管理部２０２に問い合わせて、画像メモリ２０９内の短時間保存メモリでピクチャの除去されたメモリ領域を特定する。保存領域指定部２０７は、その特定されたメモリ領域に参照ピクチャを記録するように、画像メモリ２０９に対し指示を出す。

編集検出部２１５は、可変長復号化部２１２の出力に基づいて、画像符号化ストリームＶＳｔの編集点を検出し、その編集点を示す情報をメモリ情報制御部２０１に出力する。
管理情報復号化部２０５は、メモリ管理情報ストリームＣＳｔを復号化して、メモリ情報制御部２０１を通じ、短時間保存メモリ内の不要な（参照されない）ピクチャを除去するように指示する内容のメモリ管理コマンドを、短時間保存メモリ管理部２０２に通知する。また、管理情報復号化部２０５は、短時間保存メモリ内のピクチャを画像メモリ２０９内の長時間保存メモリに移動するように指示するメモリ管理コマンドを、長時間保存メモリ管理部２０３に通知する。

ここで、メモリ情報制御部２０１は、再送されたメモリ管理コマンドの管理対象となるピクチャがＩＤＲピクチャよりも復号化順で前にあれば、そのメモリ管理コマンドを無効とする。また、メモリ情報制御部２０１は、そのメモリ管理コマンドの管理対象となるピクチャが編集点よりも復号化順で前にあれば、そのメモリ管理コマンドを無効にする。また、メモリ情報制御部２０１は、そのメモリ管理コマンドにより示されるピクチャ番号と同一のピクチャ番号が付与されたピクチャのうち、最近に復号化されたピクチャを管理対象とし、そのピクチャに対してメモリ管理コマンドの管理内容を適用する。

このような本実施の形態の画像復号化装置２００の特徴について、実施の形態１で用いた図２の（ｂ）を用いて説明する。
例えば、画像復号化装置２００は、復号化されたメモリ管理コマンドが再送されたものであって、ＩＤＲピクチャ（Ｃ４）以前に復号化されたピクチャ（例えばＣ１）が保存されたメモリ領域を開放する（再利用可能とする）ように指示するような場合には、このメモリ管理コマンドを無効とする。即ち、画像復号化装置２００は、このメモリ管理コマンドにより指示される管理内容をピクチャＣ１に対して実行しない。

ＩＤＲピクチャは、その復号化の時点でメモリに保存されているピクチャを初期化する。そのため、再送するメモリ管理コマンドの管理対象となるピクチャが、ＩＤＲピクチャより前のピクチャである場合には、その再送されたメモリ管理コマンドを実行する時点で、すでに画像復号化装置のメモリ内にそのメモリ管理コマンドの管理対象となるピクチャが存在しない事態が発生する。このとき、画像復号化装置では、エラーであるとして失われたピクチャが新たに生成されメモリに保存され、その結果、メモリ内の他のピクチャが失われるといった誤動作が生じる可能性がある。

そのため、本実施の形態の画像復号化装置２００は、ＩＤＲピクチャ以前に復号化されたピクチャを管理対象とするメモリ管理コマンドが再送されても、そのメモリ管理コマンドの再送はエラーとみなして、そのメモリ管理コマンドの管理内容を実行しない。これにより、上述のような誤動作を防止することができる。
実施の形態１の画像符号化装置１００は、このようなメモリ管理コマンドを再送することがないように画像符号化ストリームを生成するため、従来の画像復号化装置であっても、この画像符号化ストリームを、上述のような誤動作を生じることなく復号化することができる。ところが、従来の画像復号化装置は、従来の画像符号化装置で生成された画像符号化ストリームを復号化するときには、上述のような誤動作をしてしまう。そこで、本実施の形態の画像復号化装置は、従来の画像符号化装置で生成された画像符号化ストリームであっても、誤動作を生じることなくこれを復号化することができるのである。

本実施の形態における他の特徴を説明する。
また、本実施の形態の画像復号化装置２００は、再送されたメモリ管理コマンドの管理対象となるピクチャのピクチャ番号と同一のピクチャ番号が付与されたピクチャのうち、最近に復号化されたピクチャにそのメモリ管理コマンドを適用する。このような動作は、画像符号化装置と画像復号化装置で一致させる必要がある。したがって、実施の形態１の画像符号化装置１００が、このように最近のピクチャを管理対象としないメモリ管理コマンドの再送を禁止して画像符号化ストリームを作成した場合であっても、本実施の形態の動作は必要である。

このような本実施の形態の画像復号化装置２００の特徴について、実施の形態１で用いた図２の（ａ）を用いて説明する。
画像復号化装置２００は、復号化したメモリ管理コマンドが再送されたものであり、例えば、ピクチャ番号２であるピクチャが保存されたメモリ領域を開放するように指示するメモリ管理コマンドである場合、復号化順が現時点に最も近いピクチャＣ２の保存されたメモリ領域を開放し、ピクチャＢ２の保存されたメモリを開放しない。

これにより、本実施の形態の画像復号化装置２００は、ピクチャ番号２のピクチャが保存されたメモリ領域を開放することを示すメモリ管理コマンドを復号化したときに、同一のピクチャ番号２が付与されたピクチャＢ２とピクチャＣ２のそれぞれが保存されたメモリ領域のいずれを開放すればよいのかを容易に判別することができる。すなわち、画像復号化装置２００は、復号化対象のピクチャＡと最も近い時刻に復号化されたピクチャＣ２の保存されたメモリ領域を、開放するメモリ領域として特定できる。ここで、ピクチャＣ２は、ピクチャ番号２のピクチャのうち、再送されたメモリ管理コマンドの復号化順で直前のピクチャである。

また、本実施の形態の画像復号化装置２００は、再送されたメモリ管理コマンドの管理対象となるピクチャが編集点より前に復号化されていれば、そのメモリ管理コマンドをそのピクチャに対して適用しない。
このような本実施の形態の画像復号化装置２００の特徴的な動作について、図３を用いて説明する。

画像復号化装置２００は、復号化したメモリ管理コマンドが再送されたものであり、メモリ管理コマンドが適用される対象のメモリに保存されたピクチャが編集点Ｈ以前に復号化されたピクチャである場合は、そのメモリ管理コマンドの管理内容を実行しない。
例えば、復号化されたメモリ管理コマンドが、再送されたメモリ管理コマンドであって、編集点Ｈより前のピクチャＦ１の保存されたメモリ領域を開放するように指示する場合には、そのメモリ領域の開放を実行しない。

即ち、ピクチャＦ１３を含む画像符号化ストリームは、編集されて画像符号化ストリームＹとなっているため、メモリに保存されるピクチャには編集点Ｈ以前のピクチャＦ０〜Ｆ１１はメモリ内に存在しない。そこで、仮に、画像復号化装置が、編集点Ｈ以前のピクチャであるピクチャＦ０〜Ｆ１１に適用するメモリ管理コマンドを実行してしまうと、そのメモリ管理コマンドの実行時に、管理対象のピクチャがメモリに存在しないため、失われたピクチャを新たに生成してメモリに保存し、他のピクチャをメモリから消去するといった誤動作を行う可能性がある。また、仮に、そのメモリ管理コマンドの実行時に実行対象のピクチャと同じピクチャ番号のピクチャがメモリに存在したならば、本来適用されない（メモリ管理コマンドで操作されない）ピクチャに対して誤ってメモリ管理コマンドが適用されることになり、編集点より後の画像符号化ストリームが正しく復号化できなくなる可能性がある。したがって、本実施の形態の画像復号化装置２００は、編集点より前にあるピクチャを管理対象とするメモリ管理コマンドを実行しないのである。

ここで、本実施の形態の画像復号化装置２００の動作を説明する。
図９は、本実施の形態の画像復号化装置２００が、最近か否かの判断に基づいてメモリ管理コマンドを取り扱う動作を示すフローチャートである。
まず、画像復号化装置２００の管理情報復号化部２０５は、メモリ管理情報ストリームＣＳｔ中に含まれるメモリ管理コマンドを復号化する（ステップＳ５００）。このメモリ管理コマンドの復号化ステップ（ステップＳ５００）では、再送されたメモリ管理コマンドと、初めて受信した（再送でない）メモリ管理コマンドの両方の復号化を行う。次に、可変長復号化部２１２及び画像復号化部２１０は、画像符号化ストリームＶＳｔを復号化する（ステップＳ５０１）。

次に、メモリ情報制御部２０１は、復号化されたメモリ管理コマンドに、再送されたメモリ管理コマンド（例えば、不要なメモリを開放するように指示する内容のメモリ管理コマンド）があるか否かを判定する（ステップＳ５０２)。再送されたメモリ管理コマンドがないと判定したときには（ステップＳ５０２のＮｏ）、メモリ情報制御部２０１は、再送でない他のメモリ管理コマンドを実行する（ステップＳ５０３）。一方、再送されたメモリ管理コマンドがあると判定したときには（ステップＳ５０２のＹｅｓ）、メモリ情報制御部２０１は、再送されたメモリ管理コマンドを、そのメモリ管理コマンドにより示されるピクチャ番号と同一のピクチャ番号が付与されたピクチャのうち、復号化順で最近のピクチャに対して実行する（ステップＳ５０４）。即ち、メモリ情報制御部２０１は、画像符号化ストリームＶＳｔのメモリ管理コマンドまでに復号化順で含まれていた上記ピクチャ番号のピクチャのうち、メモリ管理コマンドの直前にあるピクチャに対してそのメモリ管理コマンドを実行する。

図１０は、本実施の形態の画像復号化装置２００が、ＩＤＲピクチャ及び最近か否かの判断に基づいて、メモリ管理コマンドを取り扱う動作を示すフローチャートである。
画像復号化装置２００は、図９に示すステップＳ５００〜Ｓ５０３と同様の動作を実行する（ステップＳ６００〜Ｓ６０３）。
画像復号化装置２００のメモリ情報制御部２０１は、ステップＳ６０２で、再送されたメモリ管理コマンドがあると判別したときには（ステップＳ６０２のＹｅｓ）、再送されたメモリ管理コマンドの管理対象となるピクチャがＩＤＲピクチャより前に復号化されたピクチャであるか否かを判定する（ステップＳ６０４）。この再送されたメモリ管理コマンドの管理対象となるピクチャとは、再送されたメモリ管理コマンドが例えば不要なメモリ領域を開放する（再利用可能とする）ように指示するコマンドである場合、その開放されるメモリ領域に保存されたピクチャのことである。

ここで、メモリ情報制御部２０１は、ＩＤＲピクチャより前であると判定したときには（ステップＳ６０４のＹｅｓ)、再送されたメモリ管理コマンドを実行せずに、処理を終了する。一方、ＩＤＲピクチャより前でないと判定したときには（ステップＳ６０４のＮｏ）、メモリ情報制御部２０１は、図９に示すステップＳ５０４と同様、再送されたメモリ管理コマンドにより示されるピクチャ番号と同一のピクチャ番号が付与されたピクチャのうち、復号化順で最近のピクチャに対してそのメモリ管理コマンドを実行し（ステップＳ６０５）、処理を終了する。

図１１は、本実施の形態の画像復号化装置２００が、ＩＤＲピクチャ及び編集点並びに最近か否かの判断に基づいて、メモリ管理コマンドを取り扱う動作を示すフローチャートである。
画像復号化装置２００は、図１０に示すステップＳ６００〜Ｓ６０４と同様の動作を実行する（ステップＳ７００〜Ｓ７０４）。

画像復号化装置２００のメモリ情報制御部２０１は、ステップＳ７０４で、再送されたメモリ管理コマンドの管理対象となるピクチャがＩＤＲピクチャよりも復号化順で前にはないと判定したときには（ステップＳ７０４のＮｏ)、さらに、その管理対象となるピクチャが編集点よりも復号化順で前にあるか否かを判定する（ステップＳ７０５）。即ち、メモリ情報制御部２０１は、管理対象となるピクチャが編集点より前に復号化されたピクチャであるか否かを判定する。

ここで、メモリ情報制御部２０１は、編集点よりも前にあると判定したときには（ステップＳ７０５のＹｅｓ）、再送されたメモリ管理コマンドを実行せずに処理を終了する。一方、編集点より前にはないと判定したときには（ステップＳ７０５のＮｏ）、メモリ情報制御部２０１は、図９に示すステップＳ５０４と同様、再送されたメモリ管理コマンドにより示されるピクチャ番号と同一のピクチャ番号が付与されたピクチャのうち、復号化順で最近のピクチャに対してそのメモリ管理コマンドを実行し（ステップＳ７０６）、処理を終了する。

以上のように、本実施の形態の画像復号化装置２００は、再送されたメモリ管理コマンドの管理対象となるピクチャが、編集点より前である場合や、ＩＤＲピクチャより前である場合は、そのメモリ管理コマンドを適用（実行）しないため、メモリ管理コマンドの管理対象となるピクチャが存在しないことに起因する誤動作の発生を防止することができる。

また、本実施の形態の画像復号化装置２００は、同一のピクチャ番号が付与されたピクチャのうち、現時点の符号化対象ピクチャまでの最近のピクチャに対してメモリ管理コマンドを適用するため、管理対象のピクチャを確実に特定することができる。
なお、本実施の形態では、不要なメモリを開放するように指示する内容のメモリ管理コマンドを例に挙げて説明したが、ピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドであれば、短時間保存メモリに保存されているピクチャを長時間保存メモリに移動させるように指示する内容のメモリ管理コマンドであっても良い。

また、本実施の形態では、再送されたメモリ管理コマンドの管理対象とするピクチャが符号化順でＩＤＲピクチャよりも前にあるときに、そのメモリ管理コマンドの適用を禁止したが、管理対象のピクチャが符号化順でメモリ初期化コマンドよりも前にあるときに、適用を禁止しても良い。このメモリ初期化コマンドは、メモリに保存されている全ピクチャを消去してメモリを初期化し、ピクチャ番号を０にリセットするように指示するコマンドである。

更に、図１１のフローチャートではステップＳ７０４、ステップＳ７０５、ステップＳ７０６をこの順序で全て実行するものとして説明したが、これらのステップは順不同で実行の順序を入れ替えてもよく、また実現簡単化のために一部のステップを省略しても良い。

（実施の形態３）
次に、本発明の実施の形態３について説明する。

本実施の形態では、さらに、実施の形態１と実施の形態２で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１２は、上記実施の形態の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図１２の（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２の（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤ１はケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ１上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図１２の（ｃ）は、フレキシブルディスクＦＤ１に上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤ１に記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ１内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤ１から読み出し、コンピュータシステムＣｓに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
また、上記実施の形態に示した画像符号化方法・画像復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。

さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。
図１４は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１５を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１５に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明に係る画像符号化方法及び画像復号化方法は、コマンドの再送に起因する誤動作の発生を防止することができ、本画像符号化方法で画像を符号化する例えばビデオカメラや録画機能付き携帯電話などの画像符号化装置や、本画像復号化方法で符号化信号を復号化するパーソナルコンピュータや携帯電話などの画像復号化装置に適用できる。

本発明の実施の形態１に係る画像符号化方法を実現する画像符号化装置の構成を示すブロック図である。 （ａ）及び（ｂ）は、いずれも本発明の実施の形態１を説明するために用いる各ピクチャを示す図である。 本発明の実施の形態１におけるストリームの編集を説明するために用いる各ピクチャを示す図である。 本発明の実施の形態１における画像符号化装置がＩＤＲピクチャに基づいてメモリ管理コマンドの再符号化を行う動作を示すフローチャートである。 本発明の実施の形態１における画像符号化装置がＩＤＲピクチャ及び最近か否かの判断に基づいてメモリ管理コマンドの再符号化を行う動作を示すフローチャートである。 本発明の実施の形態１における画像符号化装置が画像符号化信号の編集を行う動作を示すフローチャートである。 本発明の実施の形態１における画像符号化装置が、ＩＤＲピクチャ及び最近か否かの判断並びに編集点に基づいて、メモリ管理コマンドの再符号化を行う動作を示すフローチャートである。 本発明の実施の形態２における画像復号化方法を実現する画像復号化装置の構成を示すブロック図である。 本発明の実施の形態２における画像復号化装置が、最近か否かの判断に基づいてメモリ管理コマンドを取り扱う動作を示すフローチャートである。 本発明の実施の形態２における画像復号化装置が、ＩＤＲピクチャ及び最近か否かの判断に基づいて、メモリ管理コマンドを取り扱う動作を示すフローチャートである。 本発明の実施の形態２における画像復号化装置が、ＩＤＲピクチャ及び編集点並びに最近か否かの判断に基づいて、メモリ管理コマンドを取り扱う動作を示すフローチャートである。 (ａ)及び(ｂ)並びに(ｃ)は、本発明の実施の形態３における記憶媒体についての説明図である。 本発明の実施の形態４におけるコンテンツ供給システムの全体構成を示すブロック図である。 本発明の実施の形態４における携帯電話の一例を示す外観図である。 本発明の実施の形態４における携帯電話の構成を示すブロック図である。 本発明の実施の形態４におけるディジタル放送用システムの構成を示す構成図である。

符号の説明

１００ 画像符号化装置
１０１ メモリ情報制御部
１０２ 短時間保存メモリ管理部
１０３ 長時間保存メモリ管理部
１０４ 非保存メモリ管理情報部
１０５ 管理情報符号化部
１０６ 参照画像選択部
１０７ 保存領域指定部
１０８ 参照領域指定部
１０９ 画像メモリ
１１０ 画像符号化部
１１１ 画像復号化部
１１２ 可変長符号化部
１１３ カウンタ
１１４ カウンタ
２００ 画像復号化装置
２０１ メモリ情報制御部
２０２ 短時間保存メモリ管理部
２０３ 長時間保存メモリ管理部
２０５ 管理情報復号化部
２０７ 保存領域指定部
２０８ 参照領域指定部
２０９ 画像メモリ
２１０ 画像復号化部
２１２ 可変長復号化部
２１５ 編集検出部
ＣＳｔ メモリ管理情報ストリーム
Ｈ 編集点
ＰＴ ピクチャタイプ情報
Ｐｒｉ 重要度指示信号
ＶＳｔ 画像符号化ストリーム
Ｖｉｎ 入力画像信号
Ｖｏｕｔ 復号画像信号
Ｙ 画像符号化ストリーム

Claims (5)

1. 動画像信号に含まれる各ピクチャに対して所定のピクチャ数単位で符号化順にピクチャ番号を割り当て、各ピクチャごとに符号化を行うことで画像符号化信号を生成する画像符号化方法であって、
   所定のピクチャ番号の第１のピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドを、前記第１のピクチャと異なる第２のピクチャに付加する付加ステップと、
   前記メモリ管理コマンドを前記画像符号化信号中の前記第２のピクチャ以外の付加対象部位に再付加する再付加ステップとを含み、
   前記再付加ステップは、
   前記付加対象部位までの画像符号化信号に含まれる前記所定のピクチャ番号のピクチャの中で、前記第１のピクチャが符号化順で前記付加対象部位の直前にあるか否かを判別する判別サブステップと、
   前記判別サブステップで直前にないと判別されたときには、前記メモリ管理コマンドの再付加を禁止する禁止サブステップとを含む
   ことを特徴とする画像符号化方法。
2. 前記判別サブステップでは、さらに、
   メモリを初期化するように促す情報を含めて符号化されたピクチャ、あるいは、前記画像符号化信号の連続性が編集によって失われた編集点よりも、前記第１のピクチャが符号化順で前方にあるか否かを判別し、
   前記禁止サブステップでは、さらに、
   前記判別サブステップで前方にあると判別されたときには、前記メモリ管理コマンドの再付加を禁止する
   ことを特徴とする請求項１記載の画像符号化方法。
3. 前記メモリを初期化するように促す情報を含めて符号化されたピクチャは、ＩＤＲピクチャである
   ことを特徴とする請求項２記載の画像符号化方法。
   
4. 動画像信号に含まれる各ピクチャに対して所定のピクチャ数単位で符号化順にピクチャ番号を割り当て、各ピクチャごとに符号化を行うことで画像符号化信号を生成する画像符号化装置であって、
   所定のピクチャ番号の第１のピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドを、前記第１のピクチャと異なる第２のピクチャに付加する付加手段と、
   前記メモリ管理コマンドを前記画像符号化信号中の前記第２のピクチャ以外の付加対象部位に再付加する再付加手段とを備え、
   前記再付加手段は、
   前記付加対象部位までの画像符号化信号に含まれる前記所定のピクチャ番号のピクチャの中で、前記第１のピクチャが符号化順で前記付加対象部位の直前にあるか否かを判別する判別手段と、
   前記判別手段で最前にないと判別されたときには、前記メモリ管理コマンドの再付加を禁止する禁止手段とを備える
   ことを特徴とする画像符号化装置。
5. 動画像信号に含まれる各ピクチャに対して所定のピクチャ数単位で符号化順にピクチャ番号を割り当て、各ピクチャごとに符号化を行うことで画像符号化信号を生成するためのプログラムであって、
   所定のピクチャ番号の第１のピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドを、前記第１のピクチャと異なる第２のピクチャに付加する付加ステップと、
   前記メモリ管理コマンドを前記画像符号化信号中の前記第２のピクチャ以外の付加対象部位に再付加する再付加ステップと
   をコンピュータに実行させるとともに、
   前記再付加ステップでは、
   前記付加対象部位までの画像符号化信号に含まれる前記所定のピクチャ番号のピクチャの中で、前記第１のピクチャが符号化順で前記付加対象部位の直前にあるか否かを判別する判別サブステップと、
   前記判別サブステップで直前にないと判別されたときには、前記メモリ管理コマンドの再付加を禁止する禁止サブステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images