WO2004080083A1 - 画像符号化方法および画像復号化方法 - Google Patents

Abstract

誤動作の発生を防止する画像符号化方法は、所定のピクチャ番号の第１のピクチャに対するメモリ管理コマンドを、第１のピクチャと異なる第２のピクチャに符号化して付加する付加ステップ（ステップＳ２０３）と、そのメモリ管理コマンドを再符号化して画像符号化ストリームＶＳｔの第２のピクチャ以外の付加対象部位に再付加する再付加ステップ（ステップＳ２０５～Ｓ２０８）とを含み、その再付加ステップでは、画像符号化ストリームＶＳｔに含まれるその所定のピクチャ番号のピクチャの中で、第１のピクチャが符号化順で直前にないときには、そのメモリ管理コマンドの再付加を禁止する。

Description

明 細 書 画像符号化方法および画像復号化方法 技術分野

本発明は、 動画像信号を各ピクチャごとに符号化する画像符号化方法 、 及びその符号化された信号を復号化する画像復号化方法に関する。 背景技術

近年、 音声， 画像， その他の画素値を統合的に扱うマルチメディア時 代を迎え、 従来からの情報メディア， つまり新聞， 雑誌， テレビ， ラジ ォ， 電話等の情報を人に伝達する手段がマルチメディアの対象と して取 リ上げられるようになつてきた。 一般に、 マルチメディアとは、 文字だ けでなく、 図形、 音声、 特に画像等を同時に関連づけて表すことをいう 力《、 上記従来の情報メディアをマルチメディアの対象とするには、 その 情報をディジタル形式にして表すことが必須条件となる。

ところが、 上記各情報メディァの持つ情報量をディジタル情報量と し て見積もってみると、 文字の場合 1 文字当たりの情報量は 1 〜 2バイ ト であるのに対し、 音声の場合 1 秒当たり 6 4 k b i t s (電話品質） 、 さらに動画については 1 秒当たり 1 O O M b i t s (現行テレビ受信品 質） 以上の情報量が必要となり、 上記情報メディアでその膨大な情報を ディジタル形式でそのまま极うことは現実的では無い。 例えば、 テレビ 電話は、 6 4 k b p s〜 1 . 5 M b p sの伝送速度を持つサービス総合 ディジタル網 （ I S D N： I integrated Services Digital Network) によ つてすでに実用化されているが、 テレビ ■ カメラの映像をそのまま ！ S D Nで送ることは不可能である。 そこで、 必要となってく るのが情報の圧縮技術であり、 例えば、 テレ ビ電話の場合、 I T U— T (国際電気通信連合 電気通信標準化部門） で国際標準化された H . 2 6 1 や H . 2 6 3規袼の IS画圧縮技術が用い られている。 また、 M P E G— 1 規格の情報圧縮技術によると、 通常の 音楽用 C D (コンパク ト . ディスク） に音声情報とともに画像情報を入 れることも可能となる。

ここで、 M P E G (Moving Picture Experts Group) とは、 動画像信 号のデジタル圧縮の国際規格であり、 M P E G— 1 は、動画像信号を 1 . 5 M b p sまで、 つまりテレビ信号の情報を約 1 0 0分の 1 にまで圧縮 する規格である。 また、 M P E G— 1 規格を対象とする伝送速度が主と して約 1 . 5 M b p sに制限されていることから、 さらなる高画質化の 要求をみたすべく規格化された M P E G— 2では、 動画像信号が 2 ~ 1 5 M b p sに圧縮される。

さらに現状では、 M P E G— 1 , M P E G— 2と標準化を進めてきた 作業グループ （ ISO/IEG JTG1/SG29/WG11) によって、 より圧縮率が高い M P E G— 4が規格化された。 M P E G— 4では、 当初、 低ビッ トレ一 トで効率の高い符号化が可能になるだけでなく、 伝送路誤りが発生して も主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されてい る。 また、 I S OZ I E Cと I T U— Tの共同で次世代画像符号化方式 と して、 J V T (Joint Video Team) で I T U H . 2 6 4 | A V Cと呼 ばれる標準化活動が進んでおり、 現時点ではスタディ ■ ォブ F C D (SoFCD) と呼ばれるものが最新である （ "Study of Final Committee Draft of Joint Video Spec i f i cat i on" , Joint Video Team (JVT) of I SO/ 1 EC and ITU-T VCEG, JVT-F100, 15 Feb. , 2003 参照） 。

H . 2 6 4 I A V Cでは、 従来の動画像符号化と異なり、 複数のピク チヤから任意のピクチャを前方参照ピクチャと して選択可能である。 こ こで、 ピクチャとはフレームまたはフィールドのことを表す。

参照ピクチャなどは、 メモリに保存される。

メモリは、 短時間保存メモリと長時間保存≠モリから構成される。 短 時間保存メモリは直前に復号化された複数のピクチヤを記憶するもので あり、 いわゆる M P E G— 1 や M P E G— 2の P ピクチヤ （前方予測符 号化ピクチャ） および Bピクチャ （双方向予測符号化ピクチャ） といつ た参照ピクチャが記憶される。 長時間保存メモリは短時間保存メモリよ リもピクチャを長時間保存するために用いられる。

通常は、 短時間保存メ モ リは F I F O (先入先出） メモリ であり、 記 憶領域にピクチャが満たされた状態で、 さらにピクチャを短時間保存メ モリに保存する場合には、 短時間保存メモリ内の最も古い時刻に保存さ れたピクチャが除去されて、 その除去された領域に新しい画像が保存さ れる。 従って、 通常は短時間保存メモリから除去される参照ピクチャを 長時間にわたって参照する必要がある場合には、 その参照ピクチャを予 め短時間保存メモリから長時間保存メモリに移動して長時間保存メモリ 内に保存しておく。 これにより長時間の参照が可能となる。 長時間保存 メモリは、 明示された領域にピクチャを保存する。 これにより、 同じ領 域を指定して上書きしない限りその領域に保存されたピクチャを参照す ることができる。

更に復号化されたピクチャは表示されるまでに一時的に表示用メモリ に保存される。 この表示用メモリは、 表示の順序で古いピクチャから順 に上書きされる F I F O構成になっている。

このようなメモリを効率的に使用するためには高度なメモリ管理が必 要であり、 メモリを管理するための仕組みが H . 2 6 4 I A V Cに導入 されている。

上記管理に用いられるメモリ管理コマン ドは、 例えば以下の指令 *示 す。

1 . 参照可能なピクチャを選択する指令

2 . 短時間保存メモリで予測符号化の参照ピクチャと して不要になつた ピクチャの保存されているメ モリ領域を開放する指令

3 . 短時間保存メモ リのピクチャを長時間保存メ モリ に移動する指令 . メ モリ内のピクチャを全て開放してピクチャ復号化に関する情報を 初期化する指令

画像符号化 ■ 復号化では、 参照可能なピクチャの中からブロック単位 で予測誤差が小さいピクチャを参照ピクチャと して選択するため、 プロ ック単位で参 ピクチャを指示する信号 （参照画像指示信号） が必要で ある。 予め参照可能なピクチャを選択することで、 参照ピクチャの候補 数を適切な値に絞り込み、 ブロック単位で必要な参照画像指示信号のビ ッ ト数を節約できる。

また、 短時間保存メモリから長時間保存メモリにピクチャが移動され た場合は、 同じピクチャが短時間保存メモリと長時間保存メモリの両方 に保存されていても無駄なだけであるから、 短時間保存メモ リ内のピク チヤは除去される。

このような画像符号化方法および画像復号化方法では、 不要なピクチ ャをメモリがら除去するように指令するメモリ管理コマン ドゃ、 ピクチ ャを短時間保存メモリから長時間保存メモリに移動するように指令する メモリ管理コマン ドを、 画像符号化装置で符号化して出力し、 画像復号 化装置に伝送して復号化する。 このようなメモリ管理コマン ドは、 符号 化されたピクチャに付加されて伝送されるが、 そのメモリ管理コマン ド を伴う ピクチャが伝送エラー等で消失した場合には、 画像復号化装置側 のメモリ内の画像配置が正しく復元できないため、 ピクチャを複号化で きなく なる。 このような問題を考慮して、 メモリ管理コマン ド （M M C O ) を再送 することが考えられる。 このようにメモリ管理コマン ドを再送すること で、 メモリ管理コマン ドを伴うピクチャが伝送エラ一などで消失した場 合に、 再送したメモリ管理コマン ドにより、 メモリ内の画像配置が正し く復元される。

メモリ管理コマン ドを適用するピクチャ （メモリ管理コマン ドの管理 対象となるピクチャ） や、 メモリ管理用コマン ドを再送する場合にどの ピクチャに対して付加されたメモリ管理用コマン ドの再送であるかを示 すために、 各ピクチャに対してピクチャ番号を付与される。 このピクチ ャ番号によって、 管理対象のピクチャや、 最初にメモリ管理コマン ドが 付加されたピクチャが示される。

ピクチャ番号は、 画像符号化ス トリームで昇順 （符号化順） に割り当 てられた番号であり、 表示用メモリでピクチャの表示順序を導出するた めにも使用される。 なお、 ピクチャ数が増加するとピクチャ番号は非常 に大きくなるため、 ピクチャ番号は、 所定数 MaxF r ameNumの剰余と して 符号化されている。

—方、 画像符号化ス トリームのピクチャレ一 トなどを途中で切り換え ても、 それ以降の画像符号化ス トリームが正しく復号化できることを保 証するために、 I D Rピクチャが導入される。 この I D Rピクチャは、 これを超えて前方のピクチャの参照が行われないようにするためのピク チヤであって、 この I D Rピクチャが符号化される時点で、 メモリ内の ピクチャが開放されてピクチャ復号化に関する情報が初期化される。 そ のため、 ！ D Rピクチャの符号化、 復号化の前後でメモリ内に保存され ているピクチャが異なる。 また、 I D Rピクチャでなく、 初期化コマン ドが用いられることもある。 I D Rピクチャは、 ピクチャ番号を含め全 てのピクチャに関する復号化情報を初期化するのに対して、 初期化コマ ンドは、 一部の情報 （ピクチャ番号等） のみを初期化する。

また、 画像符号化ス トリームが編集される場合、 すなわち複数の画像 符号化ス トリームのそれぞれの一部を抽出して結合し 新たに別の画像 符号化ス トリームが生成される場合には、 結合部 （編集点） にてピクチ ャ番号等の不整合が発生する。

しかしながら、 上記画像符号化方法及び画像復号化方法では、 再送さ れたメモリ管理コマン ドが管理対象となるピクチャをピクチャ番号で示 しても、 その再送されたメモリ管理コマン ドを受けた画像復号化装置側 では、 どのピクチャに対するメモリ管理コマン ドなのかが不明となり、 誤動作を誘発してしまうという問題がある。

即ち、 ピクチャ番号が所定数の剰余と して表現されることや、 I D R ピクチャや初期化コマン ドによリ ピクチャ番号が 0に初期化されること によって、 異なるピクチャに同一のピクチャ番号が付与されることとな るため、 ピクチャ番号による 1 つのピクチャの特定が困難になり、 誤動 作を誘発してしまうのである。

例えば、 表示用メモリは、 各ピクチャの表示順序の情報に基づいて各 ピクチャを表示順序が早いものから順に除去して、 表示用に必要な新し い領域を確保する。 I D Rピクチャ又は初期化コマン ド後のピクチャ番 号が最小値 0にリセッ トされると、表示順序を示す情報も初期化される。 その結果、 画像符号化装置が、 I D Rピクチャ又は初期化コマン ドの符 号化後に、 I D Rピクチャなどの前にあるピクチャを管理対象とするメ モリ管理コマン ドを再送したと しても、 それを受信した画像復号化装置 は、 メモリ管理コマン ドを適用するピクチャが存在しないため、 誤動作 を生じする。

本 明は、 かかる問題に鑑みてなされたものであり、 コマンドの再送 に起因する誤動作の発生を防止する画像符号化方法及び画像復号化方法 を提供することを目的とする。 明の開示

上記目的を達成するために、 本発明の画像符号化方法は、 動画像信号 に含まれる各ピクチャに対して所定のピクチャ数単位で符号化順にピク チヤ番号を割り当て、 各ピクチャごとに符号化を行うことで画像符号化 信号を生成する画像符号化方法であって、 所定のピクチャ番号の第 1 の ピクチャに対するメモリ上の管理内容を示すメモリ管理コマンドを、 前 記第 1 のピクチャと異なる第 2のピクチャに付加する付加ステップと、 前記メ モ リ管理コマン ドを前記画像符号化信号中の前記第 2のピクチャ 以外の付加対象部位に再付加する再付加ステップとを含み、 前記再付加 ステップは、 前記付加対象部位までの画像符号化信号に含まれる前記所 定のピクチャ番号のピクチャの中で、 前記第 1 のピクチャが符号化順で 前記付加対象部位の直前にあるか否かを判別する判別サブステップと、 前記判別サブステップで直前にないと判別されたときには、 前記メ モ リ 管理コマンドの再付加を禁止する禁止サブステップとを含むことを特徴 とする。

これにより、 再付加されたメ モ リ管理コマン ドの管理対象となるピク チヤは常に直前のピクチャであるため、 このように再付加されて再送さ れたメ モ リ管理コマン ドを取得した画像復号化装置側では、 そのメ モ リ 管理コマンドにより示される所定のピクチャ番号のピクチャが複数あつ たと しても、 直前のピクチャをそのメモリ管理コマン ドの管理対象とな るピクチャと して特定することができ、 再送されたメモリ管理コマン ド に起因する画像復号化装置側での誤動作の発生を防止することができる また、 前記判別サブステップでは、 さらに、 前記第 1 のピクチャが、 画像符号化信号中の基準点よリも符号化順で前方にあるか否かを判別し 前記禁止サブステップでは、 さらに、 前記判別サブステップで前方にあ ると判別されたときには、 前記メモリ管理コマン ドの再付加を禁止する ことを特徴と しても良い。 例えば、 前記判別サブステップでは、 前記 画像符号化信号の連続性が編集によって失われた編集点を前記基準点と して扱う。 又は、 前記判別サブステップでは、 メモリを初期化するよう に促す情報を含めて符号化されたピクチャを前記基準点と して扱う。 これにより、 基準点よりも前方にあるピクチャを管理対象とするメモ リ管理コマン ドは再付加されないため、 このように再付加されて再送さ れたメ モ リ管理コマン ドを取得した画像復号化装置側では、 基準点よリ も後のピクチャをそのメモリ管理コマン ドの管理対象と して扱うことが でき、 基準点よりも前にあって例えば既に消去されたピクチャに対して メモリ管理コマン ドを適用することにより生じする誤動作の発生を防止 することができる。

また、 上記目的を達成するために、 本発明の画像復号化方法は、 動画 像信号がピクチャ単位で符号化された画像符号化信号を、 各ピクチャに 対して所定のピクチャ数単位で復号化順に割り当てられたピクチャ番号 を用いて復号化する画像復号化方法であって、 所定のピクチャ番号のピ クチャに対するメモリ上の管理内容を示すメ モ リ管理コマン ドが前記画 像符号信号中に付加されているか否かを判別する判別ステツプと、 前記 判別ステツプでメ モ リ管理コマンドが付加されていると判別されたとき には、 前記メモリ管理コマン ドまでの画像符号化信号に含まれる前記所 定のピクチャ番号のピクチャの中から、 復号化順で前記メ モ リ管理コマ ン ドの直前にあるピクチャを選択する選択ステツプと、 前記選択ステツ プで選択されたピクチャに対して、 前記メモリ管理コマン ドにより示さ れる管理内容を実行する実行ステップとを含むことを特徴とする。

これにより、 そのメモリ管理コマン ドにより示される所定のピクチャ 番号のピクチャが複数あったとしても、 直前のピクチャに対してそのメ モリ管理コマンドが適用されるため、 直前のピクチャを管理対象とする メモリ管理コマン ドを画像符号化装置から再送させることによって、 号化側及び復号化側でその管理対象を一致させることができ、 画像符号 化装置側から再送されたメ モリ管理コマン ドに起因する誤動作の発生を 防止することができる。

尚、 本発明は、 このような画像符号化方法および画像復号化方法と し て実現することができるだけでなく、 このような方法を用いた画像符号 化装置および画像復号化装置と して実現したり、 画像符号化方法により 符号化された画像符号化ス トリ一ムが記録された記録媒体と して実現し たリ、 画像符号化方法および画像復号化方法における各ステップをコン ピュータに実行させるプログラムと して実現したりすることもできる。 そして、 そのようなプログラムは、 C D— R O Mなどの記録媒体やイン ターネッ トなどの伝送媒体を介して配信することができるのは言うまで もない。 図面の簡単な説明

図 1 は、 本発明の実施の形態 1 に係る画像符号化方法を実現する画像 符号化装置の構成を示すブロック図である。

図 2の （ a ) 及び （ b ) は、 いずれも本発明の実施の形態 1 を説明す るために用いる各ピクチャを示す図である。

図 3は、 本発明の実施の形態 1 におけるス トリームの編集を説明する ために用いる各ピクチャを示す図である。

図 4は、 本発明の実施の形態 1 における画像符号化装置が I D Rピク チヤに基づいてメモリ管理コマン ドの再符号化を行う動作を示すフロー チヤ一 トである。 図 5は、 本発明の実施の形態 1 における画像符号化装置が I D Rピク チヤ及び最近か否かの判断に基づいてメモリ管理コマン ドの再符号化を 行う動作を示すフローチヤ一トである。

図 6は、 本発明の卖施の形態 1 における画像符号化装置が画像符号化 信号の編集を行う動作を示すフローチャー トである。

図 7は、 本発明の実施の形態 1 における画像符号化装置が、 I D Rピ クチャ及び最近か否かの判断並びに編集点に基づいて、 メモリ管理コマ ン ドの再符号化を行う動作を示すフローチヤ一トである。

図 8は、 本発明の実施の形態 2における画像復号化方法を実現する画 像復号化装置の構成を示すブロック図である。

図 9は、 本発明の実施の形態 2における画像復号化装置が、 最近か否 かの判断に基づいてメモリ管理コマン ドを取り扱う動作を示すフローチ ヤー トである。

図 1 0は、 本発明の実施の形態 2における画像復号化装置が、 I D R ピクチャ及び最近か否かの判断に基づいて、 メモリ管理コマン ドを取り 扱う動作を示すフローチャー トである。

図 1 1 は、 本発明の実施の形態 2における画像復号化装置が、 I D R ピクチャ及び編集点並びに最近か否かの判断に基づいて、 メモリ管理コ マン ドを取り扱う動作を示すフローチヤ一トである。

図 1 2の（ a )及び（ b )並びに（ c )は、 本発明の実施の形態 3における 記憶媒体についての説明図である。

図 1 3は、 本発明の実施の形態 4におけるコンテンツ供給システムの 全体構成を示すブロック図である。

図 1 4は、 本発明の実施の形態 4における携帯電話の一例を示す外観 図である。

図 1 5は、 本発明の実施の形態 4における携帯電話の構成を示すプロ ック図である。

図 1 6は、 本発明の実施の形態 4におけるディジタル放送用システム の構成を示す搆成囫である。 発明を実施するための最良の形態

以下、 本発明の実施の形態について、 図面を用いて説明する。

(実施の形態 1 )

図 1 は、 本実施の形態における画像符号化方法を実現するための画像 符号化装置の構成を示すブロ ック図である。

画像符号化装置 1 0 0は、 メモリ情報制御部 1 0 1 と、 短時間保存メ モリ管理部 1 0 2 と、 長時間保存メモリ管理部 1 0 3 と、 非保存メモリ 管理情報部 1 0 4 と、 管理情報符号化部 1 0 5 と、 参照画像選択部 1 0 6 と、 保存領域指定部 1 0 7 と、 参照領域指定部 1 0 8 と、 画像メモリ 1 0 9 と、 画像復号化部 1 1 1 と、 画像符号化部 1 1 0 と、 可変長符号 化部 1 1 2 と、カウンタ 1 1 3 と、カウンタ 1 1 4などから構成される。 参照画像選択部 1 0 6は外部から入力される重要度指示信号 P r i お よびピクチャタイ プ情報 P Tから参照ピクチャの候補を選択し、 その選 択結果をメモ リ情報制御部 1 0 1 に通知する。

メモリ情報制御部 1 0 1 は、 ピクチャタイ プ情報 P Tによつて前方お よび後方のいずれか一方のピクチャ、 も し く は両方のピクチャが参照可 能かどうかを判断する。 さ.らに、 メモリ情報制御部 1 0 1 は、 参照領域 指定部 1 0 8 に指令することによ り、 その判断結果に対応する参照ピク チヤを画像メ モリ 1 0 9から画像符号化部 1 1 0に出力させる。

画像符号化部 1 1 0は、 画像メモリ 1 0 9から出力される参照ピクチ ャを参照して入力画像信号 V i nをピクチャごとに符号化する。 可変長 符号化部 1 1 2は、 画像符号化部 1 1 0からの出力を更に可変長符号化 して画像符号化ス ト リーム V S t を出力する。 また、 可変長符号化部 1

1 2は、 画像符号化ス トリーム V S tが編集された場合、 編集された画 像符号化ス トリーム v s t の編集点を示す情報の符号化も行う。 画像符 号化部 1 1 0の出力は、 また、 画像復号化部 1 1 1 で復号化されて復号 化画像となり、 画像メモリ 1 0 9に参照ピクチャと して格納される。

このとき、 画像メモリ 1 0 9における復号化画像の格納可能なメモリ 領域は、 保存領域指定部 1 0 7からの指示によって決定される。 即ち、 メモリ情報制御部 1 0 1 は、 短時間保存メモリ管理部 1 0 2に問い合わ せて、 画像メモリ 1 0 9内の短時間保存メモリでピクチャの除去された メ モリ領域を特定する。 保存領域指定部 1 0 7は、 その特定されたメモ リ領域に復号化画像を記録するように、 画像メ モリ 1 0 9に対し指示を 出す。

短時間保存メモリ管理部 1 0 2は、 短時間保存メモリ内の不要な （参 照されない） ピクチャを検出して、 そのピクチャを管理対象と してこれ を除去する （メモリを開放する） ように指示する内容のメ モリ管理コマ ン ドをメモリ情報制御部 1 0 1 に通知する。 また、 長時間保存メモリ管 理部 1 0 3は、 短時間保存メモリ内のピクチャを管理対象と して、 これ を画像メモリ 1 0 9内の長時間保存メモリに移動するように指示する内 容のメモリ管理コマン ドをメモリ情報制御部 1 0 1 に通知する。 このよ うなメモリ管理コマン ドは、 管理情報符号化部 1 0 5で符号化されて、 メモリ管理情報ス トリーム C S t となる。 また、 このようなメモリ管理 情報ス トリーム C S t に含まれるメモリ管理コマン ドは、 画像符号化ス トリーム V S t に付加されて画像復号化装置に送信される。

短時間保存メモリ用のカウンタ 1 1 3および長時間保存メモリ用の力 ゥンタ 1 1 4は、 不要なピクチャの除去を指示するメモリ管理コマン ド や、 短時間保存メモリ内のピクチャを長時間保存メモリに移動するよう に指示するメモリ管理コマン ドの符号化回数を計測する。

非保存メモリ管理情報部 1 0 4は、 不要なピクチヤの除去を指示する メモリ管理コマン ドゃ、 短時間保存メモリ内のピクチャを長時間傺存メ モリ に移動するように指示するメモリ管理コマン ドが符号化され、 画像 符号化ス トリーム V S t 中の重要度が低く復号化されにく ぃピクチャに 付加されたかどうかを管理する。 そして、 非保存メモリ管理情報部 1 0 4は、 重要度が低いピクチャに付加されている場合は、 メモリ管理コマ ンドを再度符号化して画像符号化ス トリーム V S t に付加するようにメ モリ情報制御部 1 0 1 に指示する。

これにより、 画像符号化装置 1 0 0は、 必要に応じて上記メモリ管理 コマン ドを複数回伝送することによ り 、 メモリ管理情報ス ト リーム C S t のメ モリ管理コマン ドが伝送路エラーによつて消失するのを防止する さらに、 メモリ情報制御部 1 0 1 は、 メモリ管理コマン ドの 2回目以 降の伝送時 （再送時） には、 メモリ管理コマン ドを適用するメモリに保 存されているピクチャ （管理対象のピクチャ） 力 I D Rピクチャより 以前に符号化されているピクチャであるかを検出して、 I D Rピクチャ より以前に符号化されているピクチャである場合は、 メモリ管理コマン ドを符号化して再送することはしない。 また、 メモリ情報制御部 1 0 1 は、 同一のピクチャ番号を有する （巡回する番号が付与されているため） ピクチャのうち、 管理対象のピクチャが符号化順で最近のピクチャであ るか否かを検出し、 最近のピクチャである場合にのみメモリ管理コマン ドを符号化して再送する。 さらに、 メモリ情報制御部 1 0 1 は、 画像符 号化ス ト リ一ム V S t の編集によリ不連続となった編集点よリ、 管理対 象のピクチャが符号化順で前にあるか否かを検出し、 編集点より前であ る場合はメモリ管理コマン ドを符号化して再送することはしない。

ここで、 本実施の特徴について説明する。 図 2の （ a ) は、 符号化された各ピクチャを示す図である。

この図 2の （ a ) に示すように、 各ピクチャには符号化順にピクチャ 番号が付与されている。 ピクチャ番号は予め定められた最大値 （例えぱ 1 5 ) になると再び 0に戻される。 このようにピクチャ番号は番号が巡 回している。

現時点で符号化されるピクチャ （符号化対象ピクチャ） がピクチャ A であるとする。 本実施の形態では、 ピクチャ Aより以前に符号化された ピクチャに付随させたメモリ管理コマン ド （ M M C O ) を再度符号化し てピクチャ Aの箇所で付加する場合、 以下のようになる。

ピクチャ A以 に符号化された各ピクチャをピクチャ B 0， B 1 - B 1 5、 C O , C 1ί■■■〇 "！ 1 とする。 ピクチャ B O〜 Β 1 5のピクチャ番 号が 0〜 1 5であり、 ピクチャ C O〜 C 1 1 のピクチャ番号は 0〜 1 1 である。 ピクチャ C O , C 1 — C 1 1 は、 同じく巡回したピクチャ番号 の付与されたピクチャ B 0 , B 1 … B 1 5に比べて符号化された順番が ピクチャ Aに近い。 そこで、 本実施の形態の画像符号化装置 1 0 0は、 ピクチャ C O , C 1 - C 1 1 に対して適用するメモリ管理コマン ドを再 度符号化してピクチャ Aの箇所で符号化し伝送するが、 ピクチャ B 0 , B 1 〜 B 1 5に対して適用するメモリ管理コマンドは再度符号化するこ とはない

例えば、 ピクチャ番号 2のピクチャ B 2が保存されたメモリを開放す る （再利用可能とする） ことを示すメモリ管理コマン ドが以前に符号化 された場合であっても、 本実施の形態の画像符号化装置 1 0 0は、 その メモリ管理コマン ドをピクチャ Aで再度符号化せず、 ピクチャ番号 2の ピクチャ C 2が保存されたメモリ領域を開放することを示すメモリ管理 コマン ドが以前に符号化された場合であれば、 そのメモリ管理コマン ド をピクチャ Aの箇所で再度符号化 （再付加） する。 このようにすることで、 画像復号化装置は、 メモリ領域の開放を指示 するメモリ管理コマンドを復号化したときに、 同一のピクチャ番号 2が 付与されたピクチャ B 2とピクチャ G 2が保存されたメモリのいずれを 開放すべきかを一意的に決定することができる。 すなわち、 画像復号化 装置は、 符号化対象のピクチャ Aと最も近い時刻に符号化されたピクチ ャ C 2の保存されたメモリ領域を、 開放すべきメモリ領域と して特定で きる。 その結果、 画像符号化装置と画像復号化装置でメモリの状態に不 一致が発生することがなく、 画像復号化装置においてメモリ管理コマン ドの再送に起因する誤動作が発生するのを防止することができる。

さらに、 本実施の形態における他の特徴について説明する。

図 2の （ b ) は、 図 2の （ a ) におけるピクチャ C 4力 I D Rピクチ ャである場合の各ピクチャを示す図である。

I D Rピクチャとは、 その箇所から画像符号化ス トリーム V S t の復 号化を開始しても画像符号化ス トリーム V S t を正しく復号化できたり . その直前で、 画像符号化ス トリー厶 V S t のピクチャレー トなどを切り 換えても、 I D Rピクチャ以降のス トリームが正しく復号化できること を保証するために、導入されたピクチャである。この I D Rピクチャは、 これを超えて前方のピクチャの参照が行われないようにし、 この I D R ピクチャが符号化される時点で、 メモリ内の全ピクチャが開放されて復 号化に関する情報が初期化される。

本実施の形態では、 現時点で符号化されるピクチャ Aより以前に符号 化されたピクチャに付随させたメモリ管理コマン ド （ M M C O ) を再度 符号化してピクチャ Aの箇所で符号化する場合、 I D Rピクチャ以前に 符号化されたピクチャに対して適用するメモリ管理コマン ドを再度符号 化しないようにする。

例えば、 I D Rピクチャであるピクチャ C 4以前のピクチャ C 1 が保 存されたメモリを開放する （再利用可能とする） ことを示すメモ リ管理 コマンドが以前に符号化された場合であれば、 本実施の形態の画像符号 化装置 1 0 0は、 そのメモリ管理コマン ドを再度符号化しない。

I D Rピクチャは、 その時点でメモリに保存されているピクチャとピ クチャ番号を初期化する。 そのため、 再送するメモリ管理コマン ドの管 理対象となるピクチャが、 I D Rピクチャより前のピクチャである場合 には、 そのメモリ管理コマン ドが再送された時点で、 すでに画像復号化 装置のメモリ内にそのメモリ管理コマン ドの管理対象となるピクチャが 存在しない。 このとき、 画像復号化装置では、 エラ一であるとして失わ れたピクチャが新たに生成されてメモリ に保存され、 その結果、 メモリ 内の他のピクチャが失われるといった誤動作が生じする可能性がある。 そのため、 本実施の形態の画像符号化装置 1 0 0は、 I D Rピクチャ 以前に符号化されたピクチャに対して適用するメ モリ管理コマン ドを再 度符号化しないようにすることで、 誤動作の発生を防止することができ る。

また、 本実施の形態におけるさらに他の特徴を、 図 3を用いて説明す る。

図 3は、 画像符号化ス トリーム V S t の編集を説明するための説明図 である。

例えば、 この図 3に示すように、 ピクチャ E O 〜 E 1 3を含む画像符 号化ス トリ一ムと ピクチャ F O〜 F 1 3を含む画像符号化ス トリームと 力 それぞれの途中で結合 （編集） される。 なお、 このような画像符号 化ス トリームの編集は、 D V Dなどの編集を行う場合に行われる。

ピクチャ E O 〜 E 1 3を含む画像符号化ス トリームは、 ピクチャ E 1 1 とピクチャ E 1 2の間で分割され、 ピクチャ F 0 〜 F 1 3を含む画像 符号化ス トリームは、 ピクチャ F 1 1 とピクチャ F 1 2の間で分割され る。 ピクチャ E 0 ~ E 1 1 の画像符号化ス トリームとピクチャ F 1 2 〜

F 1 3の画像符号化ス トリームとがつなげられて、 1 つの画像符号化ス トリー厶 Yに編集される。 このようにピクチャ E 1 1 とピクチャ F 1 2 がつなげられてピクチャ番号が不連続となった部分を編集点 Hとよぶ。 本実施の形態の画像符号化装置 1 0 0は、 現時点で符号化されるピク チヤ F 1 3ょリ以前に符号化されたピクチヤに付随させたメモリ管理コ マン ド （M M C O ) を再度符号化してピクチャ F 1 3に付随させようと する場合、 そのメモリ,管理コマン ドの管理対象となるピクチャが編集点 H以前に符号化されたピクチャであるか否かを判別する。 そして、 編集 点 H以前に符号化されたピクチャであれば、 画像符号化装置 1 0 0は、 そのメモリ管理コマン ドの再度の符号化を禁止する。

例えば、 編集点 H以前のピクチャ F 1 が保存されたメモリを開放する (再利用可能とする） ことを示すメモリ管理コマンドが以前にピクチャ 番号 m— 2のピクチャ F 1 0に付随させて符号化された場合であれば、 画像符号化装置 1 0 0は、そのメモリ管理コマン ドを再度符号化しない。 即ち、 ピクチャ F 1 3を含む画像符号化ス ト リームは、 編集されて画 像符号化ス トリーム Yとなっているため、 メモリに保存されるピクチャ には編集点 H以前のピクチャ F 0 ~ F 1 1 はメモリ内に存在しない。 そ こで、 編集点 H以前のピクチャであるピクチャ F O 〜 F 1 1 に適用する メモリ管理コマン ドが再度符号化されてしまうと、 画像復号化装置は、 そのメモリ管理コマン ドの実行時に、 そのメモリ管理コマン ドを適用す るピクチャが存在しないため、 失われたピクチャを新たに生成してメモ リに保存し、 他のピクチャをメモリから消去するといつた誤動作を行う 可能性がある。 したがって、 本実施の形態の画像符号化装置 1 0 0は、 そのようなメモリ管理コマン ドを再度符号化することを禁止するのであ る。 ここで、 本実施の形態の画像符号化装置 1 0 0の動作を説明する。 図 4は、 本実施の形態の画像符号化装置 1 0 0が 〖 D Rピクチャに基 づいてメモリ管理コマン ドの再符号化を行う動作を示すフローチャー ト である。

まず、 画像符号化装置 1 0 0の画像符号化部 1 1 0は、 入力画像信号 V i πの符号化を開始する （ステップ S 1 0 0 ) 。 短時間保存メ モリ管 理部 1 0 2及び長時間保存メモリ管理部 1 0 3は、 画像符号化部 1 1 0 の符号化処理中、 メモリ内で不要な領域 （今後の符号化で参照されない ピクチャ） を調査し （ステップ S 1 0 1 ) 、 不要なメモリ領域があるか 否かを判定する （ステップ S 1 0 2 ) 。 ここで、 短時間保存メモ リ管理 部 1 0 2及び長時間保存メモリ管理部 1 0 3が不要なメ モリ領域がある と判定したときには （ステップ S 1 0 2の Y e s ) 、 画像符号化装置 1 0 0の管理情報符号化部 1 0 5は、 不要なメモリ領域を開放するように 指示するメモリ管理コマン ドを符号化する （ステップ S 1 0 3 ) 。 そし て、 短時間保存メモリ管理部 1 0 2及び長時間保存メモリ管理部 1 0 3 は、 その不要なメ モリ領域を開放する (ステップ S 1 0 4 ) 。 また、 短 時間保存メモリ管理部 1 0 2及び長時間保存メモリ管理部 1 0 3によつ て不要なメモリ領域がないと判定されたときには (ステップ S 1 0 2の N o ) 、 画像符号化装置 1 0 0は、 ステップ S 1 0 3 , S 1 0 4の動作 を実行しない。

次に、 メモリ情報制御部 1 0 1 は、 非保存メモリ管理情報部 1 0 4の 動作に基づいて、 不要なメモリ領域を開放するように指示するメモリ管 理コマン ドが符号化され、 以前に符号化したピクチャ （符号化対象ピク チヤより前のピクチャ） に付加されているか否かを判定し （ステップ S 1 0 5 ) 、 メモリ管理コマン ドが符号化されていないと判定した場合は (ステップ S 1 0 5の N o )、画像符号化装置 1 0 0は処理を終了する。 —方、メモリ管理コマン ドが符号化されていると判定した場合には（ス テツプ S 1 0 5の Y e s ) 、 メモリ情報制御部 1 0 1 は、 メモリ管理コ マンドの管理対象となるピクチャ （開放された不要なメモリ領域に保存 されていたピクチャ） が ί D Rピクチャより符号化順で前にあるか否か を判定する （ステップ S "I 0 6 ) 。 ここで、 メモリ情報制御部 1 0 1 は、 前にあると判定したときには （ステップ S 1 0 6の Y e s )、 メモリ管理 コマン ドを再符号化 （再付加） することなく処理を終了し、 前にはない と判定したときには （ステップ S 1 0 6の N o ) 、 メモリ管理コマンド を再符号化 （再付加） して （ステップ S 1 0 7 ) 、 処理を終了する。 図 5は、 本実施の形態の画像符号化装置 1 0 0が I D Rピクチャ及び 最近か否かの判断に基づいてメモリ管理コマンドの再符号化を行う動作 を示すフローチヤ一 トである。

画像符号化装置 1 0 0は、 まず、 図 4に示すステップ S I 0 0〜 S 1 0 6と同様の動作を実行する （ステップ S 2 0 0〜 S 2 0 6 ) 。

メモリ情報制御部 1 0 1 は、 メ モリ管理コマン ドの管理対象となるピ クチャが I D Rピクチャよりも前にはないと判定したときには （ステツ プ S 2 0 6の N o)、 さらに、 管理対象のピクチャと同一のピクチャ番号 が付与されたピクチャのうち、 管理対象のピクチャが最近のピクチャで あるかを判定する （ステップ S 2 0 7 ) 。 即ち、 メモリ情報制御部 1 0 1 は、 管理対象のピクチャと同一のピクチャ番号が付与されたピクチャ の中で、 その管理対象のピクチャが符号化順で、 画像符号化ス トリーム V S t 中のメモリ管理コマン ドが再付加される予定の部位の直前にある か否かを判定する。

その結果、 メモリ情報制御部 1 0 1 は、 最近のピクチャでないと判定 したときには （ステップ S 2 0 7の N o )、 メモリ管理コマンドを再符号 化 （再付加） せず処理を終了し、 最近のピクチャであると判定したとき には （ステップ S 2 0 7の Y e s ) 、 メ モリ管理コマン ドを再符号化 （再 付加） して （ステップ S 2 0 8 ) 、 処理を終了する。

図 6は 本実施の形態の画像符号化装置 1 0 0が画像符号化信号の編 集を行う動作を示すフローチヤ一トである。

まず、 画像符号化装置 1 0 0は、 画像符号化ス トリーム V S t の編集 を行う （ステップ S 3 0 0 ) 。

次に、 画像符号化装置 1 0 0のメモリ情報制御部 1 0 1 は、 メモリ管 理コマン ドが符号化されて、 編集後の画像符号化ス トリーム V s t に付 加されているか否かを判別する (ステツプ S 3 0 1 ) 。

ここで、 メモリ管理コマン ドが符号化されていると判別 したときには (ステップ S 3 0 1 の Y e s ) 、 画像符号化装置 1 0 0は、 さ らに、 そ のメモリ管理コマン ドの管理対象となるピクチャが符号化順で編集点よ リ も前にあるか否かを判別する （ステップ S 3 0 2 ) 。

一方、 ステップ S 3 0 1 においてメモリ管理コマン ドが符号化 （付加） されていないと判別されたときや （ステップ S 3 0 1 の N o ) 、 ステツ プ S 3 0 2において管理対象のピクチャが編集点よ り も前にあると判別 されたと きには （ステップ S 3 0 2の Y e s ) 、 画像符号化装置 1 0 0 は、 その画像符号化ス ト リーム V S t の編集処理を終了する。

また、 画像符号化装置 1 0 0のメモリ情報制御部 1 0 1 は、 ステップ S 3 0 2において管理対象のピクチャが編集点よ り も前にはないと判別 したときには （ステップ S 3 0 2の N o ) 、 再ぴそのメ モリ管理コマン ドを管理情報符号化部 1 0 5に符号化させ、 画像符号化ス 卜リーム V S t に再付加させる （ステップ S 3 0 3 ) 。

図 7は、 本実施の形態の画像符号化装置 1 0 0力 I D Rピクチャ及 び最近か否かの判断並ぴに編集点に基づいて、 メモリ管理コマン ドの再 符号化を行う動作を示すフローチヤ一トである。 画像符号化装置 1 0 0は、 まず、 図 5に示すステップ S 2 0 0〜 S ² 0 7 と同様の動作を実行する （ステップ S 4 0 0〜 S 4 0 7 ) 。

メ モリ情報制御部 1 0 1 は、 メモ リ管理コマン ドの管理対象のピクチ ャが最近のピクチャでないと判定したときには （ステップ S 4 0 7の N o )、 処理を終了するが、 最近のピクチャであると判定したときには （ス テツプ S 4 0 7 の Y e s ) 、 さ らに、 そのメモリ管理コマン ドの管理対 象となるピクチヤが符号化順で編集点よ リ も前にあるか否かを判別する (ステップ S 4 0 8 ) 。

メモリ情報制御部 1 0 1 は、 編集点よ リ も前にあると判別したと きに は （ステップ S 4 0 8の Y e s ) 、 処理を終了 し、 編集点よ り も前には ないと判別したときには （ステップ S 4 0 8の N o ) 、 メ モリ管理コマ ン ドを再符号化 （再付加） して （ステップ S 4 0 9 ) 、 処理を終了する。 以上のように、 本実施の形態では、 メモリ領域を開放する （そのメモ リ領域のピクチャを除去する） よ うに指示するメモリ管理コマン ドを繰 リ返し符号化しているため、 1 つのメモリ管理コマン ドが伝送路エラー で消失しても、 他のメ モ リ管理コマン ドが画像復号化装置へその指示内 容を伝えるため、 伝送路エラーがあっても画像復号化装置においてピク チヤを正しく 復号することができる。

さ らに、 本実施の形態の画像符号化装置 1 0 0は、 メ モ リ管理コマン ドを適用する対象のピクチャが、 編集点よ り前である場合や、 I D Rピ クチャよ リ前である場合や、 最近のピクチャでない場合は、 メモリ管理 コマン ドを再符号化しないので、 画像復号化装置において、 メモ リ管理 コマン ドが実行されるときに、 メモリ管理コマン ドの管理対象のピクチ ャが存在しないなどの理由によ リ生じする誤動作を防止する。

なお、 本 II施の形態では、 不要なメモリを開放するように指示する内 容のメモリ管理コマン ドを例に挙げて説明したが、 ピクチャに対するメ モリ上の管理内容を示すメモリ管理コマン ドであれば、 短時間保存メモ リに保存されているピクチャを長時間保存メモリに移動させるように指 示する内容のメモリ管理コマンドであっても良い。

また、 本実施の形態では、 メモリ管理コマン ドの管理対象とするピク チヤが符号化順で ！ D Rピクチャよりも前にあるときに、 そのメモリ管 理コマン ドの再送を禁止したが、 管理対象のピクチャが符号化順でメモ リ初期化コマン ドよりも前にあるときに、 再送を禁止しても良い。 この メモリ初期化コマン ドは、 メモリに保存されている全ピクチャを消去し てメモリを初期化し、 ピクチャ番号を 0にリセッ 卜するように指示する コマンドである。

更に、 図 7のフローチャー トでは、 画像符号化装置 1 0 0がステップ S 4 0 6、 ステップ S 4 0 7、 ステップ S 4 0 8の処理をこの順序で全 て実行するものと して説明したが、 これらのステップは順不同で実行の 順序を入れ替えてもよく、 また実現簡単化のために一部のステップを省 略しても良い。

更に、 図 4〜図 7のフローチャー トでは、 再送でないメモリ管理コマ ンドを、 再送するメモリ管理コマン ドよりも先に符号化する例を示した が、 この符号化の順序を逆にし、 再送するメモリ管理コマン ドを先に符 号化してから、 再送でないメモリ管理コマン ドを符号化しても良い。

(実施の形態 2 )

次に、 本発明の実施の形態 2について説明する。

図 8は、 実施の形態 2における画像復号化方法を実現するための画像 復号化装置のブロック図である。

画像復号化装置 2 0 0は、 メモリ情報制御部 2 0 1 と、 短時間保存メ モリ管理部 2 0 2 と、 長時間保存メモリ管理部 2 0 3 と、 管理情報復号 化部 2 0 5 と、 保存領域指定部 2 0 7 と、 参照領域指定部 2 0 8 と、 画 像メモリ 2 0 9 と、 画像復号化部 2 1 0と、 可変長復号化部 2 1 2など から構成される。

メモリ情報制御部 2 0 1 は、 ピクチャタイプ惰報 P Tに基づいて、 復 号化対象のピクチャに対して前方おょぴ後方のいずれか一方のピクチャ 又は両方のピクチャが参照可能かどうかを判断する。 さらにメモリ情報 制御部 2 0 1 は、 参照領域指定部 2 0 8に指令して、 その判断結果に対 応する参照ピクチャを画像メモリ 2 0 9から画像復号化部 2 1 0に出力 させる。

可変長復号化部 2 1 2は、 画像符号化ス ト リーム V S t を可変長復号 化する。 画像復号化部 2 1 0は、 可変長復号化部 2 1 2からの出力を更 に復号化して復号画像信号 V o u t を出力して、 その出力を画像メモリ

2 0 9に参照ピクチャと して格納する。

このとき、 画像メモリ 2 0 9における参照ピクチャの格納可能なメモ リ領域は、保存領域指定部 2 0 7からの指示によって決定される。即ち、 メモリ情報制御部 2 0 1 は、 短時間保存メモリ管理部 2 0 2に問い合わ せて、 画像メモリ 2 0 9内の短時間保存メモリでピクチャの除去された メモリ領域を特定する。 保存領域指定部 2 0 7 は、 その特定されたメモ リ領域に参照ピクチャを記録するように、 画像メモリ 2 0 9に対し指示 を出す。

編集検出部 2 1 5は、 可変長復号化部 2 1 2の出力に基づいて、 画像 符号化ス トリーム V S t の編集点を検出し、 その編集点を示す情報をメ モリ情報制御部 2 0 1 に出力する。

管理情報復号化部 2 0 5は、 メモリ管理情報ス トリーム C S t を復号 化して、 メモリ情報制御部 2 0 1 を通じ、 短時間保存メモリ内の不要な (参照されない） ピクチャを除去するように指示する内容のメモリ管理 コマン ドを、 短時間保存メモリ管理部 2 0 2に通知する。 また、 管理情 報復号化部 2 0 5は、 短時間保存メモリ内のピクチャを画像メモリ 2 0 9内の長時間保存メモリに移動するように指示するメモリ管理コマンド を、 長時間保存メモリ管理部 2 0 3に通知する。

ここで、 メモリ情報制御部 2 0 1 は、 再送されたメモリ管理コマンド の管理対象となるピクチャが ！ D Rピクチャよりも復号化順で前にあれ ば、 そのメモリ管理コマン ドを無勃とする。 また、 メモリ情報制御部 2 0 1 は、 そのメモリ管理コマンドの管理対象となるピクチヤが編集点よ リも復号化順で前にあれば、 そのメモリ管理コマン ドを無効にする。 ま た、 メモリ情報制御部 2 0 1 は、 そのメモリ管理コマン ドによリ示され るピクチャ番号と同一のピクチャ番号が付与されたピクチャのうち、 最 近に復号化されたピクチャを管理対象とし、 そのピクチャに対してメモ リ管理コマンドの管理内容を適用する。

このような本実施の形態の画像復号化装置 2 0 0の特徴について、 実 施の形態 1 で用いた図 2の （ b ) を用いて説明する。

例えば、 画像復号化装置 2 0 0は、 復号化されたメモリ管理コマンド が再送されたものであって、 I D Rピクチャ （ C 4 ) 以前に復号化され たピクチャ （例えば C 1 ) が保存されたメモリ領域を開放する （再利用 可能とする） ように指示するような場合には、 このメモリ管理コマンド を無効とする。 即ち、 画像復号化装置 2 0 0は、 このメモリ管理コマン ドにより指示される管理内容をピクチャ C 1 に対して実行しない。

I D Rピクチャは、 その復号化の時点でメモリに保存されているピク チヤを初期化する。 そのため、 再送するメモリ管理コマン ドの管理対象 となるピクチャが、 I D Rピクチャより前のピクチャである場合には、 その再送されたメモリ管理コマン ドを実行する時点で、 すでに画像復号 化装置のメモリ内にそのメモリ管理コマンドの管理対象となるピクチャ が存在しない事態が発生する。 このとき、 画像復号化装置では、 エラー であると して失われたピクチャが新たに生成されメモリ に保存され、 そ の結果、 メモリ内の他のピクチヤが失われるといった誤動作が生じる可 能性がある。

そのため、 本実施の形態の画像復号化装置 2 0 0は、 I D Rピクチャ 以前に復号化されたピクチャを管理対象とするメモリ管理コマン ドが再 送されても、 そのメモリ管理コマン ドの再送はエラーとみなして、 その メモリ管理コマン ドの管理内容を実行しない。 これによリ、 上述のよう な誤動作を防止することができる。

実施の形態 1 の画像符号化装置 1 0 0は、 このようなメモリ管理コマ ン ドを再送することがないように画像符号化ス トリームを生成するため. 従来の画像復号化装置であっても、 この画像符号化ス ト リームを、 上述 のような誤動作を生じることなく復号化することができる。 ところが、 従来の画像復号化装置は、 従来の画像符号化装置で生成された画像符号 化ス トリームを復号化するときには、上述のような誤動作をしてしまう。 そこで、 本実施の形態の画像復号化装置は、 従来の画像符号化装置で生 成された画像符号化ス トリームであっても、 誤動作を生じることなく こ れを復号化することができるのである。

本実施の形態における他の特徴を説明する。

また、 本実施の形態の画像復号化装置 2 0 0は、 再送されたメ モリ管 理コマン ドの管理対象となるピクチャのピクチャ番号と同一のピクチャ 番号が付与されたピクチャのうち、 最近に復号化されたピクチャにその メモリ管理コマン ドを適用する。 このような動作は、 画像符号化装置と 画像復号化装置で一致させる必要がある。 したがって、 実施の形態 1 の 画像符号化装置 1 0 0が、 このように最近のピクチャを管理封象と しな ぃメモリ管理コマン ドの再送を禁止して画像符号化ス トリームを作成し た場合であっても、 本実施の形態の動作は必要である。 このような本実施の形態の画像復号化装置 2 0 0の特徴について、 実 施の形態 1 で用いた図 2の （ a ) を用いて説明する。

画像但号化装置 ² 0 0は、 復号化したメモリ管理コマン ドが再送され たものであり、 例えば、 ピクチャ番号 2であるピクチャが保存されたメ モリ領域を開放するように指示するメモリ管理コマン ドである場合、 復 号化順が現時点に最も近いピクチャ C 2の保存されたメモリ領域を開放 し、 ピクチャ B 2の保存されたメモリを開放しない。

これにより、 本実施の形態の画像復号化装置 2 0 0は、 ピクチャ番号 2のピクチャが保存されたメモリ領域を開放することを示すメモリ管理 コマン ドを復号化したときに、 同一のピクチャ番号 2が付与されたピク チヤ B 2とピクチャ C 2のそれぞれが保存されたメモリ領域のいずれを 開放すればよいのかを容易に判別することができる。 すなわち、 画像復 号化装置 2 0 0は、 復号化対象のピクチャ Aと最も近い時刻に復号化さ れたピクチャ C 2の保存されたメモリ領域を、 開放するメモリ領域と し て特定できる。 ここで、 ピクチャ C 2は、 ピクチャ番号 2のピクチャの うち、 再送されたメモリ管理コマン ドの復号化順で直前のピクチャであ る。

また、 本実施の形態の画像復号化装置 2 0 0は、 再送されたメ モ リ管 理コマン ドの管理対象となるピクチャが編集点より前に復号化されてい れぱ、 そのメモリ管理コマン ドをそのピクチャに対して適用しない。

このような本実施の形態の画像復号化装置 2 0 0の特徴的な動作につ いて、 図 3を用いて説明する。

画像復号化装置 2 0 0は、 復号化したメモリ管理コマン ドが再送され たものであり、 メモリ管理コマン ドが適用される対象のメモリに保存さ れたピクチャが鎘集点 H以前に複号化されたピクチャである場合は、 そ のメ モリ管理コマン ドの管理内容を実行しない。 例えば、 復号化されたメモリ管理コマン ドが、 再送されたメモリ管理 コマン ドであって、 編集点 Hよ り前のピクチャ F 1 の保存されたメ モリ 領域を開放するよ う に指示する場合には、 そのメ モリ領域の開放を実行 しない

即ち、 ピクチャ F 1 3 を含む画像符号化ス ト リームは、 編集されて画 像符号化ス ト リーム Yとなっているため、 メモ リ に保存されるピクチャ には編集点 H以前のピクチャ F 0〜 F 1 1 はメモリ内に存在しない。 そ こで、 仮に、 画像復号化装置が、 編集点 H以前のピクチャである ピクチ ャ F O〜 F 1 1 に適用するメモリ管理コマン ドを実行して しまう と、 そ のメモリ管理コマン ドの実行時に、 管理対象のピクチャがメモリ に存在 しないため、 失われたピクチャを新たに生成してメモリ に保存し、 他の ピクチャをメ モリから消去するといつた誤動作を行う可能性がある。 ま た、 仮に、 そのメモリ管理コマン ドの実行時に実行対象のピクチャと同 じピクチャ番号のピクチャがメモリ に存在したならば、 本来適用されな しゝ （メモリ管理コマン ドで操作されない） ピクチャに対して誤ってメモ リ管理コマン ドが適用されることになリ 、 編集点よ り後の画像符号化ス ト リームが正し く 復号化できなく なる可能性がある。 したがって、 本実 施の形態の画像復号化装置 2 0 0は、 編集点よ リ前にあるピクチャを管 理対象とするメ モリ管理コマン ドを実行しないのである。

ここで、 本実施の形態の画像復号化装置 2 0 0の動作を説明する。 図 9 は、 本実施の形態の画像復号化装置 2 0 0が、 最近か否かの判断 に基づいてメモリ管理コマン ドを取り扱う動作を示すフローチヤ一卜で ある。

まず、 画像復号化装置 2 0 0の管理情報復号化部 2 0 5は、 メモリ管 理惰報ス ト リーム C S t 中に含まれるメ モリ管理コマン ドを復号化する (ステップ S 5 0 0 ) 。 このメモリ管理コマン ドの復号化ステップ （ス テツプ S 5 0 0 ) では、 再送されたメモリ管理コマン ドと、 初めて受信 した （再送でない） メモリ管理コマン ドの両方の復号化を行う。 次に、 可変長復号化部 2 1 2及び画像復号化部 2 1 0は 画像符号化ス トリー ム V S t を復号化する （ステップ S 5 0 1 ) 。

次に、 メモリ情報制御部 2 0 1 は、 復号化されたメモリ管理コマン ド に、 再送されたメ モリ管理コマン ド （例えば、 不要なメモリを開放する ように指示する内容のメモリ管理コマン ド）があるか否かを判定する（ス テツプ S 5 0 2 )。再送されたメモリ管理コマン ドがないと判定したとき には （ステップ S 5 0 2の N o ) 、 メモリ情報制御部 2 0 1 は、 再送で ない他のメモリ管理コマン ドを実行する （ステップ S 5 0 3 ) 。 一方、 再送されたメモリ管理コマンドがあるど判定したときには （ステップ S 5 0 2の Y e s ) 、 メモリ情報制御部 2 0 1 は、 再送されたメモリ管理 コマン ドを、 そのメモリ管理コマン ドにより示されるピクチャ番号と同 一のピクチャ番号が付与されたピクチャのうち、 復号化順で最近のピク チヤに対して実行する （ステップ S 5 0 4 ) 。 即ち、 メモリ情報制御部 2 0 1 は、 画像符号化ス トリーム V S t のメモリ管理コマン ドまでに復 号化順で含まれていた上記ピクチャ番号のピクチャのうち、 メモリ管理 コマンドの直前にあるピクチャに対してそのメモリ管理コマン ドを実行 する。

図 1 0は、 本実施の形態の画像復号化装置 2 0 0が、 I D Rピクチャ 及び最近か否かの判断に基づいて、 メモリ管理コマン ドを取り扱う動作 を示すフローチヤ一トである。

画像復号化装置 2 0 0は、 図 9に示すステップ S 5 0 0〜 S 5 0 3 と 同様の動作を実行する （ステップ S 6 0 0〜 S 6 0 3 ) 。

画像復号化装置 2 0 0のメモリ惰報制御部 2 0 1 は、 ステップ S 6 0

2で、 再送されたメモリ管理コマン ドがあると判別したときには （ステ ップ S 6 0 2の Y e s ) 、 再送されたメモリ管理コマン ドの管理対象と なるピクチャが I D Rピクチャより前に復号化されたピクチャであるか 否かを判定する （ステップ S 6 0 4 ) 。 この再送されたメモリ管理コマ ン ドの管理対象となるピクチャとは、 再送されたメモリ管理コマン ドが 例えば不要なメモリ領域を開放する （再利用可能とする） ように指示す るコマン ドである場合、 その開放されるメモリ領域に保存されたピクチ ャのことである。

ここで、 メモリ情報制御部 2 0 1 は、 I D Rピクチャよリ前であると 判定したときには （ステップ S 6 0 4の Y e s )、再送されたメモリ管理 コマン ドを実行¹せずに、 処理を終了する。 一方、 I D Rピクチャよリ前 でないと判定したときには （ステップ S 6 0 4の N o ) 、 メモリ情報制 御部 2 0 1 は、 図 9に示すステップ S 5 0 4と同様、 再送されたメモリ 管理コマン ドによ り示されるピクチャ番号と同一のピクチャ番号が付与 されたピクチャのうち、 復号化順で最近のピクチャに対してそのメモリ 管理コマンドを実行し （ステップ S 6 0 5 ) 、 処理を終了する。

図 1 1 は、 本実施の形態の画像復号化装置 2 0 0が、 I D Rピクチャ 及び編集点並びに最近か否かの判断に基づいて、 メモリ管理コマン ドを 取り扱う動作を示すフローチャー トである。 .

画像復号化装置 2 0 0は、 図 1 0に示すステップ S 6 0 0〜 S 6 0 4 と同様の動作を実行する （ステップ S 7 0 0〜 S 7 0 4 ) 。

画像復号化装置 2 0 0のメモリ情報制御部 2 0 1 は、 ステップ S 7 0 4で、 再送されたメ モリ管理コマン ドの管理対象となるピクチャが I D Rピクチャよりも復号化順で前にはないと判定したときには （ステップ S 7 0 4の o )、 さらに、 その管理対象となるピクチャが編集点よりも 復号化順で前にあるか否かを判定する （ステップ S 7 0 5 ) 。 即ち、 メ モリ情報制御部 2 0 1 は、 管理対象となるピクチャが編集点より前に復 号化されたピクチャであるか否かを判定する。

ここで、 メモリ情報制御部 2 0 1 は、 編集点よ り も前にあると判定し たときには （ステップ S 7 0 5の Y e s ) 、 再送されたメモリ管理コマ ン ドを案行せずに処理を終了する。 一方、 編集点よ り前にはないと判定 したときには（ステップ S 7 0 5の N o ) 、 メモリ情報制御部 2 0 1 は、 図 9 に示すステップ S 5 0 4 と同様、 再送されたメモリ管理コマン ドに よ り示されるピクチャ番号と同一のピクチャ番号が付与されたピクチャ のうち、 復号化順で最近のピクチャに対してそのメモリ管理コマン ドを 実行し （ステップ S 7 0 6 ) 、 処理を終了する。

以上のように、 本実施の形態の画像復号化装置 2 0 0は、 再送された メモリ管理コマン ドの管理対象となるピクチャが、 編集点より前である 場合や、 I D Rピクチャよリ前である場合は、 そのメ モリ管理コマンド を適用 （実行） しないため、 メモリ管理コマン ドの管理対象となるピク チヤが存在しないことに起因する誤動作の発生を防止することができる, また、 本実施の形態の画像復号化装置 2 0 0は、 同一のピクチャ番号 が付与されたピクチャのうち、 現時点の符号化対象ピクチヤまでの最近 のピクチャに対してメモリ管理コマン ドを適用するため、 管理対象のピ クチャを確実に特定することができる。

なお、 本実施の形態では、 不要なメモリを開放するように指示する内 容のメモリ管理コマン ドを例に挙げて説明したが、 ピクチャに対するメ モリ上の管理内容を示すメモリ管理コマン ドであれば、 短時間保存メモ リ に保存されている ピクチャを長時間保存メモリ に移動させるよう に指 示する内容のメモリ管理コマン ドであっても良い。

また、 本実施の形態では、 再送されたメモリ管理コマン ドの管理対象 とする ピクチャが符号化順で I D R ピクチャよ り も前にあるときに、 そ のメモリ管理コマン ドの適用を禁止したが、 管理対象のピクチャが符号 化順でメモリ初期化コマン ドよりも前にあるときに、 適用を禁止しても 良い。 このメモリ初期化コマン ドは、 メモリ に保存されている全ピクチ ャを消去してメモリ を初期化し、 ピクチャ番号を 0にリセッ 卜するよう に指示するコマン ドである。

更に、 図 1 1 のフローチャー トではステップ S 7 0 4、 ステップ S 7 0 5、 ステップ S 7 0 6 をこの順序で全て実行するものと して説明した 力 これらのステップは順不同で実行の順序を入れ替えてもよ く 、 また 実現簡単化のために一部のステップを省略しても良い。

(実施の形態 3 )

次に、 本発明の実施の形態 3について説明する。

本実施の形態では、 さらに、 実施の形態 1 と実施の形態 2で示した画 像符号化方法または画像復号化方法の構成を実現するためのプログラム を、 フレキシブルディスク等の記憶媒体に記録するようにすることによ リ、 上記実施の形態で示した処理を、 独立したコンピュータシステムに おいて簡単に実施することが可能となる。

図 1 2は、 上記実施の形態の画像符号化方法または画像復号化方法を 格納したフレキシブルディスクを用いて、 コンピュータシステムにより 実施する場合の説明図である。

図 1 2の （ b ) は、 フレキシブルディスクの正面からみた外観、 断面 構造、 及びフレキシブルディスクを示し、 図 1 2の （ a ) は、 記録媒体 本体であるフレキシブルディスクの物理フォーマツ 卜の例を示している フレキシブルディスク F D 1 はケース F内に内蔵され、 該ディスクの表 面には、 同心円状に外周からは内周に向かって複数の トラック T r が形 成され、 各 トラックは角度方向に 1 6のセクタ S e に分割されている。 従って、 上記プログラムを格納したフ レキシブルディスクでは、 上記フ レキシブルディスク F D 1 上に割り当てられた領域に、 上記プログラム と しての画像符号化方法が記録されている。

また、 図 1 2の （ c ) は、 フ レキシブルディスク F D 1 に上記プログ ラムの記録再生を行うための構成を示す。 上記プログラムをフ レキシブ ルディスク F D 1 に記録する場合は、 コ ンピュータシステム C sから上 記プログラムと しての画像符号化方法または画像復号化方法をフ レキシ ブルディスク ドライ ブ F D Dを介して書き込む。 また、 フ レキシブルデ イスク F D 1 内のプログラムによ り上記画像符号化方法をコ ンピュータ システム中に構築する場合は、 フ レキシブルディ スク ドライ ブ F D Dに よりプログラ をフレキシブルディスク F D 1 から読み出し、 コンビュ —タシステム sに転送する。

i

なお、 上記説明では、 記録媒体と してフレキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行うことができる。また、 記録媒体はこれ .限らず、 I Cカード、 R O Mカセッ ト等、 プログラム を記録できるものであれば同様に実施することができる。

また、 上記実施の形態に示した画像符号化方法 " 画像復号化方法は、 携帯電話やカーナビゲ一シヨンシステム等の移動体通信機器やデジタル ビデオカメラやデジタルスチールカメラ等の撮影機器に L S I 等の半導 体によって実装することが可能である。 また、 実装形式と しては、 符号 化器 ■ 復号化器を両方持つ送受信型の端末の他に、 符号化器のみの送信 端末、 復号化器のみの受信端末の 3通りが考えられる。

さらにここで、 上記実施の形態で示した画像符号化方法や画像復号化 方法の応用例とそれを用いたシステムを説明する。

図 1 3 は、 コ ンテンツ配信サービスを実現するコンテンツ供給システ ム e x 1 0 0の全体構成を示すブロ ック図である。 通信サービスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex l 0 7 〜ex 1 1 0が設置されている。 このコ ンテンツ供給システム ex 1 0 0は、 例えば、 イ ンタ一ネッ ト ex

1 0 1 にイ ンタ一ネッ トサービスプロバイダ ex l 0 2および電話網 ex 1 0 4、 および基地局 ex 1 0 7 〜 ex 1 1 0 を介して、 コ ンピュータ ex 1 1 1 、 P D A ( persona I d i g i ta I assistant) e 1 1 2、 カメ ラ ex l 1 3、 携帯電話 ex 1 1 4、 カメ ラ付きの携帯電話 e x 1.1 5などの各機 器が接続される。

しかし、 コ ンテンツ供給システム ex l 0 0は図 1 3のような組合せに 限定されず、いずれかを組み合わせて接続するよ うにしてもよい。また、 固定無線局である基地局 ex l 0 7 〜ex 1 1 0 を介さずに、 各機器が電話 網 ex 1 0 4に直接接続されてもよい。

カメ ラ ex 1 1 3 はデジタルビデオカメ ラ等の動画撮影が可能な機器 である。 また、 携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A (Wideband-Code Division Multiple Access) 方式、 若し く は G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Persona I Handyphone System) 等であり、 し、ずれでも構わな い。

また、 ス ト リーミ ングサーバ ex 1 0 3は、 カメ ラ ex 1 1 3から基地局 ex 1 0 9、 電話網 ex l 0 4を通じて接続されており、 カメ ラ ex l 1 3 を 用いてユーザが送信する符号化処理されたデータ に基づいたライ ブ配信 等が可能になる。 撮影したデータの符号化処理は力メ ラ ex 1 1 3で行つ ても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメ ラ ex 1 1 6で撮影した動画データはコ ンピュータ ex 1 1 1 を介してス ト リーミ ングサーバ ex 1 0 3に送信されてもよい。カメ ラ ex 1 1 6はデジ タルカメ ラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画 データの符号化はカメ ラ ex 1 1 6で行ってもコ ンピュータ ex 1 1 1 で 行ってもどちらでもよい。 また、 符号化処理はコンピュータ ex 1 1 1 や カメラ ex l 1 6が有する L S I ex 1 1 7において処理することになる。 なお、 画像符号化 '復号化用のソフ トウェアをコンピュータ ex 1 1 1 等 で読み取り可能な記録媒体である何らかの蓄積メディア（ C D— R O iVl、 フ レキシブルディスク、 ハードディスクなど） に組み込んでもよい。 さ らに、 カメラ付きの携帯電話 ex 1 1 5で動画データを送信してもよい。 このときの動画データは携帯電話 ex 1 1 5が有する L S I で符号化処 理されたデータである。

このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex l 1 3、 カメラ ex 1 1 6等で撮影しているコンテンツ （例えば、 音楽ライブを撮 影した映像等） を上記実施の形態同様に符号化処理してス トリーミング サーバ ex l 0 3に送信する一方で、ス トリ一ミングサーバ ex l 0 3は要 求のあったクライアン 卜に対して上記コンテンッデータをス トリーム配 信する。 クライアン トと しては、 上記符号化処理されたデータを復号化 することが可能な、 コンピュータ ex 1 1 1 、 P D A ex 1 1 2、 カメラ ex 1 1 3、 携帯電話 ex 1 1 4等がある。 このようにすることでコンテンツ 供給システム ex 1 0 0は、符号化されたデータをクライアン トにおいて 受信して再生することができ、 さらにクライアン 卜においてリアルタイ ムで受信して復号化し、 再生することにより、 個人放送をも実現可能に なるシステムである。

このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した画像符号化装置あるいは画像復号化装置を用いるようにすれ ぱよい。

その一例として携帯電話について説明する。

図 1 4は、 上記実施の形態で説明した画像符号化方法と画像復号化方 法を用いた携帯電話 ex 1 1 5を示す図である。携帯電話 ex 1 1 5は、基 地局 ex 1 1 0 との間で電波を送受信するためのアンテナ ex2 0 1 、 C C

Dカメ ラ等の映像、 静止画を撮ることが可能なカメ ラ部 ex2 0 3、 カメ ラ部 ex2 0 3で撮影した映像、アンテナ ex2 0 1 で受信した映像等が復 号化されたデータ を表示する液晶ディスプレイ等の表示部 ex 2 0 2、 操 作キー e x 2 0 4群から構成される本体部、 音声出力をするためのスピ —力等の音声出力部 _eX2 0 8 、 音声入力をするためのマイク等の音声入 力部 ex2 0 5、 撮影した動画も し く は静止画のデータ、 受信したメール のデータ、 動画のデータ も し く は静止画のデータ等、 符号化されたデー タまたは復号化されたデータ を保存するための記録メ ディ ア ex2 0 7 、 携帯電話 ex 1 1 5に記録メディ ア ex 2 0 7 を装着可能とするためのス ロ ッ ト部 ex 2 0 6 を有している。記録メディア ex 2 0 7 は S Dカー ド等 のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモ リである E E P R O M (Electrical ly Erasable and Programmab I e Read On I y Memory) の一種であるフラ ッシュメ モ リ素子を格納したものである , さ らに、 携帯電話 ex 1 1 5について図 1 5 を用いて説明する。 '携帯電 話 ex 1 1 5は表示部 ex 2 0 2及び操作キー e X 2 0 4 を備えた本体部 の各部を統括的に制御するよ うになされた主制御部 ex 3 1 1 に対して、 電源回路部 ex3 1 0、 操作入力制御部 ex3 0 4、 画像符号化部 ex 3 1 2、 カメ ライ ンターフェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、 画像復号化部 ex3 0 9 、 多重分離部 ex 3 0 8、 記録再生部 ex3 0 7 、 変復調回路部 ex3 0 6及び音声処理部 ex3 0 5が同期バス ex 3 1 3 を介して互いに接続されている。

電源回路部 ex3 1 0は、 ユーザの操作によ リ終話及び電源キーがオン 状態にされると、 バッテリパックから各部に対して電力を供給すること によ リ カメ ラ付ディ ジタル携帯電話 ex 1 1 5 を動作可能な状態に起動 する。 携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、 音声通話モ一 ド時に音声入力部 ex 2 0 5で集 音した音声信号を音声処理部 ex3 0 5によってディ ジタル音声データ に変換し、 これを変復調回路部 ex3 0 6でスぺク トラム拡散処理し、 送 受信回路部 ex 3 0 1 でディ ジタルアナログ変換処理及び周波数変換処 理を施した後にアンテナ ex 2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、 音声通話モー ド時にアンテナ ex 2 0 1 で受信した受信データ を増幅して周波数変換処理及びアナログディ ジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスぺク トラ厶逆拡散処理し、音声処理部 ex 3 0 5 によってアナ口グ音声データに変換した後、 これを音声出力部 ex2 0 8 を介して出力する。

さ らに、 データ通信モー ド時に電子メールを送信する場合、 本体部の 操作キー e X 2 0 4の操作によって入力された電子メールのテキス トデ ータ は操作入力制御部 ex 3 0 4 を介して主制御部 ex 3 1 1 に送出され る。 主制御部 ex3 1 1 は、 テキス トデータ を変復調回路部 ex3 0 6でス ぺク トラム拡散処理し、 送受信回路部 ex3 0 1 でディ ジタルアナログ変 換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基 地局 ex 1 1 0へ送信する。

データ通信モー ド時に画像データ を送信する場合、 カメ ラ部 ex 2 0 3 で撮像された画像データ をカメ ライ ンタ一フヱ一ス部 ex3 0 3 を介し て画像符号化部 ex 3 1 2に供給する。 また、 画像データ を送信しない場 合には、 カメ ラ部 ex2 0 3で撮像した画像データ をカメ ライ ンターフエ ース部 ex3 0 3及び L C D制御部 ex 3 0 2 を介して表示部 ex2 0 2に 直接表示することも可能である。

画像符号化部 ex3 1 2は、 本願発明で説明した画像符号化装置を備え た構成であり、 カメ ラ部 ex2 0 3から供給された画像データ を上記実施 の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化 するこ とによ り符号化画像データに変換し、 これを多重分離部 ex 3 0 8 に送出する。 また、 このとき同時に携帯電話機 e x l 1 5は、 カメ ラ部 e x 2 0 3で撮像中に音声入力部 ex 2 0 5で集音した音声を音声処理部 ex 3 0 5 を介してディ ジタルの音声データ と して多重分離部 ex 3 0 8に

3≤出 る。

多重分離部 ex 3 0 8は、画像符号化部 ex 3 1 2から供給された符号化 画像データ と音声処理部 ex 3 0 5から供給された音声データ とを所定 の方式で多重化し、 その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、 送受信回路部 ex 3 0 1 でディ ジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を 介して送信する。

データ通信モー ド時にホームページ等にリ ンク された動画像ファイル のデータ を受信する場合、アンテナ ex 2 0 1 を介して基地局 ex l 1 0か ら受信した受信データ を変復調回路部 ex 3 0 6でスぺク トラム逆拡散 処理し、 その結果得られる多重化データ を多重分離部 ex 3 0 8 に送出す る。

また、 アンテナ ex 2 0 1 を介して受信された多重化データ を復号化す るには、 多重分離部 ex 3 0 8 は、 多重化データ を分離することによ リ画 像データのビッ トス ト リームと音声データのビッ トス 卜 リームとに分け. 同期バス ex 3 1 3 を介して当該符号化画像データを画像復号化部 ex 3 0 9 に供給すると共に当該音声データ を音声処理部 ex 3 0 5に供給す

Ό。

次に、 画像復号化部 ex 3 0 9は、 本願発明で説明した画像復号化装置 を備えた構成であり、 画像データのビッ トス ト リームを上記卖施の形態 で示した符号化方法に対応した復号化方法で復号することによ リ再生動 画像データを生成し、 これをし C D制御部 ex3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリ ンクされた動画 ファイルに含まれる動画データが表示される。 このとき同時に音声処 理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 これ を音声出力部 ex 2 0 8に供給し、 これにより、 例えばホームページにリ ンクされた動画像ファイルに含まる音声データが再生される。

なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっており、 図 1 6に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも画像符号化装置または画像復 号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex4 0 9では映像情報のビッ トス トリームが電波を介して通信または放送衛 星 ex 4 1 0に伝送される。 これを受けた放送衛星 ex 4 1 0は、放送用の 電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ （受信機） ex 4 0 1 またはセッ ト トップボックス ( S T B ) ex4 0 7などの装置により ビッ トス トリームを復号化してこ れを再生する。 また、 記録媒体である GDや DVD等の蓄積メディア ex 4 0 2に記録したビッ トス トリームを読み取り、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した画像復号化装置を実装することが可能 である。この場合、再生された映像信号はモニタ ex 4 0 4に表示される。 また、 ケーブルテレビ用のケーブル ex 4 0 5または衛星 地上波放送の アンテナ ex 4 0 6に接続されたセッ ト トップボックス ex4 0 7内に画 像復号化装置を実装し、 これをテレビのモニタ ex4 0 8で再生する構成 も考えられる。 このときセッ ト トップボックスではなく、 テレビ内に画 像復号化装置を組み込んでも良い。 また、 アンテナ ex4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信 し、車 ex4 1 2が有するカーナビゲ一シヨ ン ex4 1 3等の表示装置に動 画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、 記録媒体に記録することもできる。 具体例と しては、 DVDディスク e κ 4 2 1 に画像信号を記録する DVD レコーダや、 ハードディスクに記録す るディスク レコーダなどのレコーダ e X 4 2 0がある。 更に SDカード e κ 4 2 2に記録することもできる。 レコーダ e X 4 2 0が上記実施の形 態で示した画像復号化装置を備えていれば、 DVDディスク e X 4 2 1 や SDカード e x 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で 表示することができる。

なお、 力一ナピゲ一シヨン ex 4 1 3の構成は例えば図 1 5に示す構成 のうち、 カメラ部 ex 2 0 3とカメラインタ一フェース部 ex 3 0 3、画像 符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンピュー タ ex 1 1 1 やテレビ （受信機） ex 4 0 1 等でも考えられる。

また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器 '復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。

このように、 上記実施の形態で示した画像符号化方法あるいは画像復 号化方法を上述したいずれの機器 'システムに用いることは可能であり、 そうすることで、 上記実施の形態で説明した効果を得ることができる。 また、 本発明はかかる上記実施の形態に限定されるものではなく、 本 発明の範囲を逸脱することなく種々の変形または修正が可能である。 産業上の利用の可能性

本発明に係る画像符号化方法及び画像復号化方法は、 コマンドの再送 に起因する誤動作の発生を防止することができ、 本画像符号化方法で画 像を符号化する例えばビデオカメラゃ録画機能付き携帯電話などの画像 符号化装置や、 本画像復号化方法で符号化信号を復号化するパーソナル コンピュータや携帯電話などの画像復号化装置に適用できる。

Claims

請 求 の 範 囲

1 - 動画像信号に含まれる各ピクチャに対して所定のピクチャ数単位 で符号化順にピクチャ番号を割り当て、 各ピクチャごとに符号化を行う ことで画像符号化信号を生成する画像符号化方法であって、

所定のピクチャ番号の第 1 のピクチャに対するメモリ上の管理内容を 示すメモリ管理コマン ドを、 前記第 1 のピクチャと異なる第 2のピクチ ャに付加する付加ステップと、

前記メモリ管理コマン ドを前記画像符号化信号中の前記第 2のピクチ ャ以外の付加対象部位に再付加する再付加ステツプとを含み、

前記再付加ステップは、

前記付加対象部位までの画像符号化信号に含まれる前記所定のピクチ ャ番号のピクチャの中で、 前記第 1 のピクチャが符号化順で前記付加対 象部位の直前にあるか否かを判別する判別サブステップと、

前記判別サブステップで直前にないと判別されたときには、 前記メ モ リ管理コマン ドの再付加を禁止する禁止サブステップとを含む

ことを特徴とする画像符号化方法。

2 . 前記判別サブステップでは、 さらに、

前記第 1 のピクチャが、 画像符号化信号中の基準点よりも符号化順で 前方にあるか否かを判別し、

前記禁止サブステップでは、 さらに、

前記判別サブステップで前方にあると判別されたときには、 前記メモ リ管理コマン ドの再付加を禁止する

ことを待徵とする請求の ¾囲第 1 項記載の画像符号化方法。

3 . 前記判別サブステップでは、

前記画像符号化信号の連続性が編集によつて失われた編集点を前記基 準点と して极ぅ

ことを特徵とする請求の範囲第 2項記載の画像符号化方法。

4 . 前記判別サブステップでは、

メモリを初期化するように促す情報を含めて符号化されたピクチャを 前記基準点と して扱う

ことを特徴とする請求の範囲第 2項記載の画像符号化方法。

5 . 動画像信号がピクチャ単位で符号化された画像符号化信号を、 各 ピクチャに対して所定のピクチャ数単位で復号化順に割り当てられたピ クチヤ番号を用いて復号化する画像復号化方法であって、

所定のピクチャ番号のピクチャに対するメモリ上の管理内容を示すメ モリ管理コマン ドが前記画像符号信号中に付加されているか否かを判別 する判別ステップと、

前記判別ステップでメモリ管理コマン ドが付加されていると判別され たときには、 前記メ モリ管理コマン ドまでの画像符号化信号に含まれる 前記所定のピクチャ番号のピクチャの中から、 復号化順で前記メモリ管 理コマン ドの直前にあるピクチャを選択する選択ステップと、

前記選択ステップで選択されたピクチャに対して、 前記メモリ管理コ マン ドにより示される管理内容を実行する実行ステップと

を含むことを特徴とする画像復号化方法。

6。 前記画像復号化方法は、 さらに、

前記判別ステツプでメ モリ管理コマン ドが付加されていると判別され たときには、 前記メモリ管理コマン ドの対象となるピクチャが前記画像 符号化信号中の基準点よりも復号化順で前方にあるか否かを判別する基 準点判別ステップと、

前記基準点判別ステツプで、 前記第 1 のピクチャが前記基準点よリも 前方にあると判別されたときには、 前記メモリ管理コマンドにより示さ れる管理内容を無効とする管理無効ステップと

を含むことを特徴とする請求の範囲第 5項記載の画像復号化方法。

7 . 前記基準点判別ステツプでは、

前記画像符号化信号の連続性が編集によって失われた編集点を前記基 準点と して扱う

ことを特徴とする請求の範囲第 6項記載の画像復号化方法。

8 . 前記基準点判別ステップでは、

メモリを初期化するように促す情報を含めて符号化されたピクチャを 前記基準点と して扱う

ことを特徴とする請求の範囲第 6項記載の画像復号化方法。

9 . 動画像信号に含まれる各ピクチャに対して所定のピクチャ数単位 で符号化順にピクチャ番号を割り当て、 各ピクチャごとに符号化を行う ことで画像符号化信号を生成する画像符号化装置であって、

所定のピクチャ番号の第 1 のピクチャに対するメモリ上の管理内容を 示すメモリ管理コマン ドを、 前記第 1 のピクチャと異なる第 2のピクチ ャに付加する付加手段と、

前記メモリ管理コマン ドを前記画像符号化信号中の前記第 2のピクチ ャ以外の付加対象部位に再付加する再付加手段とを備え、 前記再付加手段は、

前記付加対象部位までの画像符号化信号に含まれる前記所定のピクチ ャ番号のピクチャの中で、 前記第 1 のピクチャが符号化順で前記付加対 象部位の直前にあるか否かを判別する判別手段と、

前記判別手段で最前にないと判別されたときには、 前記メモリ管理コ マン ドの再付加を禁止する禁止手段とを備える

ことを特徴とする画像符号化装置。

1 0 . 動画像信号がピクチャ単位で符号化された画像符号化信号を、 各ピクチャに対して所定のピクチャ数単位で復号化順に割リ当てられた ピクチャ番号を用いて復号化する画像復号化装置であって、

所定のピクチャ番号のピクチャに対するメモリ上の管理内容を示すメ モリ管理コマン ドが前記画像符号信号中に付加されているか否かを判別 する判別手段と、

前記判別手段でメモリ管理コマン ドが付加されていると判別されたと きには、 前記メモリ管理コマン ドまでの画像符号化信号に含まれる前記 所定のピクチャ番号のピクチャの中から、 復号化順で前記メモリ管理コ マン ドの直前にあるピクチャを選択する選択手段と、

前記選択手段で選択されたピクチャに対して、 前記メモリ管理コマン ドにより示される管理内容を実行する実行手段と

を備えることを特徴とする画像復号化装置。

1 1 . 動画像信号に含まれる各ピクチャに対して所定のピクチャ数単 位で符号化順にピクチャ番号を割リ当て、 各ピクチャごとに符号化を行 う ことで画像符号化信号を生成するためのプログラムであって、 所定のピクチャ番号の第 1 のピクチャに対するメモリ上の管理内容を 示すメモリ管理コマンドを、 前記第 1 のピクチャと異なる第 2のピクチ ャに付加する付加ステップと、 .

前記メモリ管理コマン ドを前記画像符号化信号中の前記第 2のピクチ ャ以外の付加対象部位に再付加する再付加ステップと

をコンピュータに実行させるとともに、

前記再付加ステップでは、

前記付加対象部位までの画像符号化信号に含まれる前記所定のピクチ ャ番号のピクチャの中で、 前記第 1 のピクチャが符号化順で前記付加対 象部位の直前にあるか否かを判別する判別サブステツプと、

前記判別サブステップで直前にないと判別されたときには、 前記メモ リ管理コマン ドの再付加を禁止する禁止サブステップと

をコンピュータに実行させることを特徴とするプログラム。

1 2 . 動画像信号がピクチャ単位で符号化された画像符号化信号を、 各ピクチャに対して所定のピクチャ数単位で復号化順に割り当てられた ピクチャ番号を用いて復号化するためのプログラムであって、

所定のピクチャ番号の第 1 のピクチャに対するメモリ上の管理内容を 示すメモリ管理コマン ドが前記画像符号信号中に付加されているか否か を判別する判別ステップと、

前記判別ステップでメモリ管理コマン ドが付加されていると判別され たときには、 前記メモリ管理コマン ドまでの画像符号化信号に含まれる 前記所定のピクチャ番号のピクチャの中から、 復号化順で前記メモリ管 理コマンドの直前にあるピクチャを選択する選択ステップと、

前記選択ステツプで選択されたピクチャに対して、 前記メモリ管理コ マンドにより示される管理内容を実行する実行ステップと

をコンピュータに実行させることを特徴とするプログラム。