WO2003088678A1 - Image encoding method and image decoding method - Google Patents

Description

明 細 書 画像符号化方法および画像復号化方法 技術分野

本発明は、 動画像信号を画面間の相関を利用して効率良く 圧縮す る画像符号化方法とそれを正し く復号化する画像復号化方法、 並び にそれをソフ トウェアで実施するためのプログラムが記録された記 録媒体に関する。 背景技術

近年、 音声、 画像、 その他の画素値を統合的に扱うマルチメディ ァ時代を迎え、 従来からの情報メディア、 つまり新聞、 雑誌、 テレ ビ、 ラジオ、 電話等の情報を人に伝達する手段がマルチメ ディアの 対象と して取り上げられるよ うになつてきた。 一般に、 マルチメデ ィ ァとは、 文字だけでなく 、 図形、 音声、 特に画像等を同時に関連 づけて表すことをいうが、 上記従来の情報メディアをマルチメディ ァの対象とするには、 その情報をディ ジタル形式にして表すことが 必須条件となる。

と ころが、 上記各情報メディアの持つ情報量をディ ジタル情報量 と して見積もってみると、 文字の場合 1 文字当たりの情報量は 1 ~ 2パイ 卜であるのに対し、 音声の場合 1 秒当た り 6 4 kb s (電話品 質）、 さ らに動画については 1 秒当たり 1 0 0 Mb i ts (現行テレビ受 信品質） 以上の情報量が必要となり 、 上記情報メディ アでその膨大 な情報をディ ジタル形式でそのまま极う ことは現実的では無い。 例 えば、 テレビ電話は、 6 4 kbps〜 1 . 5 bpsの伝送速度を持つサー ビ ス 総 合 デ ィ ジ タ ル 網 （ ISDN: Integrated Services Digital Network) によってすでに実用化されているが、 テレビ . カメ ラの映 像をそのまま ISDNで送ることは不可能である。

そこで、 必要となってく るのが情報の圧縮技術であり、 例えば、 テ レビ電話の場合、 ITU-T (国際電気通信連合 電気通信標準化部門） で国際標準化された H.261 や H.263規格の動画圧縮技術が用いられ ている。 また、 MPEG- 1 規格の情報圧縮技術によると、 通常の音楽用 CD (コ ンパク ト ■ ディスク） に音声情報と ともに画像情報を入れる こ とも可能となる。

こ こで、 MPEG (Moving Picture Experts Group) とは、 動画像信 号のデジタル圧縮の国際規格であり、 MPEG- 1 は、 動画像信号を 1 . 5 bps まで、 つま りテレビ信号の情報を約 1 0 0分の 1 にまで圧縮 する規格である。 また、 MPEG- 1 規格では対象とする品質を伝送速度 が主と して約 1 . 5 Mbps で実現できる程度の中程度の品質と したこ とから、 さ らなる高画質化の要求をみたすべく規格化された MPEG - 2 では、 動画像信号を 2 ~ 1 5 Mbps に圧縮する。

さ らに現状では、 MPEG-1、 MPEG-2 と標準化を進めてきた作業グル —プ（ ISO/IEC JTG1/SG29/WG11) によって、よ り圧縮率が高い MPEG- 4 が規格化された。 MPEG- 4では、 当初、 低ビッ ト レー 卜で効率の高い 符号化が可能になるだけでなく 、 伝送路誤りが発生しても主観的な 画質劣化を小さ く できる強力な誤り耐性技術も導入されている。 ま た、 IS0/IEG と ITU-T の共同で次世代画面符号化方式と して、 JVT (Joint Video Team) の標準化活動が進んでおり、 現時点ではジョ イン ト ■ モデル 2 ( JM2) と呼ばれるものが最新である。

参照画像を持たず画面内予測符号化を行う ものを I ピクチャと 呼ぷ。 また、 1 枚のピクチャのみを参照し画面間予測符号化を行う ものを P ピクチヤと呼ぶ。 また、 同時に 2枚のピクチャを参照して 画面間予測符号化を行う ことのできるものを B ピクチャと呼ぶ。

こ こで、 ピクチャとは 1 枚の画面を表す用語であり、 プログレ ッシブ画像ではフ レームを意味し、 インタ レース画像ではフ レーム も し く はフィール ドを意味する。 こ こで、 イ ンタ レース画像とは、 1 つのフ レームが時刻の異なる 2つのフィール ドから構成される画 像である。 インタ レース画像の符号化や復号化処理においては、 1 つのフ レームをフ レームのまま処理した り、 2つのフィール ドと し て処理した り、 フ レーム内のブロ ック毎にフ レーム構造またはフィ 一ル ド構造と して処理した りするこ とができる。

JVT では、 従来の動画像符号化と異なり、 前方参照画像と して複 数の画像 （ピクチャ） から任意の画像 （ピクチャ） を参照画像と し て選択することが可能である。 また、 符号化したス ト リームを特定 のピクチャで切換可能にするような仕組みを導入し、 S ピクチャ （S I ピクチャおよび SP ピクチャと呼ばれ、それぞれ S ピクチャで画面内 予測符号化、 画面間予測符号化に対応する） が導入された。

S ピクチャは、 複数のス 卜 リームから、 S ピクチャの直前でス ト リ ー厶を切り換えても S ピクチャ以降のス ト リームが正しく復号化で きることを保証する仕組みであり、 動画配信サーバなどで受信端末 との間の通信容量や受信者の嗜好に合わせて、 サーバでス ト リーム を切換るこ とが可能になる。

さて、 このような従来の画像符号化方法および画像復号化方法で は、 （ 1 ) 前方参照画像と して複数の画像 （ピクチャ） から任意の画 像 （ピクチャ） を参照画像と して選択することができるようにし、 ( 2 ) 特定のピクチャでス ト リームを切換ることができるよう S ピ クチャを導入した。 しかしながら、 このように 2つの技術が導入さ れているにもかかわらず、 残念ながらその両者を組合せた場合につ いて発生する問題については十分に考慮されておらず、 以下に記載 する課題によ り 、 実際には両者を併用することが困難であった。

図 1 は、 入力画像信号 V i n を符号化した場合のピクチャと ピクチ ャ番号 PN との対応を説明する図である。 ス ト リ一厶 1 、 ス 卜 リーム 2、 ス ト リーム 3 は同じ画像信号を異なる ピクチャ レー ト （ 1 秒あ た りのピクチャ数） で符号化したものである。 ピクチャ番号 P Nは符 号化したピクチャを識別するための番号であり、 J 2 では参照画像 と して後続の符号化で参照されるものは 「 1 J ずつ増加する番号が 割り 当てられることになつている。 説明を簡単にするため、 図 1 の 例では各ス ト リームで全てのピクチャを後続の符号化で参照される ものと し、 ピクチャ番号 P Nの値が常に 「 1 」 ずつ増える場合のみ記 載している。 後続の符号化で参照されないピクチャはピクチャ番号 P N の増減に影響を与えず、 メ モ リ にも保存されない。 したがって、 後続の符号化で参照されないピクチャについては、 今後の動作の説 明には影響を与えないので、 説明を省略する。

さて、 図 1 に示すように、 時刻 t 3において、 各ス トリームの斜 線で示されるピクチャは S ピクチャと して符号化される。 図 2は、 S ピクチャを符号化およぴ復号化する際に、 参照画像メ モ リ M emに格 納される画像のピクチャ番号 PNを示す図である。

図 2は参照画像メモリ M emに記憶されている画像およびその位置 を表している。 参照画像メモリ M e tn内で左位置のピクチャは右位置 に格納されている ピクチャよ り時刻が新しい。 予測符号化する際に は、 符号化およぴ復号化で同じ画像を参照する必要があり、 JM2 の ように複数の参照画像から参照画像を選択可能な場合にはどの画像 を参照したかを明示する必要がある。 参照画像を明示するには、 下記の 2通りの方法があり、 J M 2 では 目的に応じて両者を使い分けている。

①時刻が新しいものから何ピクチャ前かの情報を明示する

②ピクチャ番号 PNによって参照する ピクチャを明示する

S ピクチャでス ト リームを切り換えた際に、 S ピクチャおよび S ピクチャよ り後のピクチャを正し く 符号化し、 かつ、 復号化の時点 で正しく 復号化できるためには、 S ピクチャでどのス ト リームから どのス ト リームに切り換えた場合でも、 参照画像メモリ M e mの内容 がー致していなければならない。

しかしながら、 図 2の参照画像メモリ M e mに格納される画像のピ クチャ番号 P Nの説明図から明らかなように、ス ト リーム毎に S ピク チヤ符号化 ■ 復号化開始時点で参照画像メ モ リ M em の内容が一致し ていないため、 従来の方法のままでは、 参照画像メ モリ M em内から 参照ピクチャを選択する符号化方法と、 ス トリームを切り換える S ピクチャの仕組みを組み合わせて使用することはできない。

そこで、 本発明は以上の課題を解決し、 S ピクチャの仕組みが参 照画像メ モ リ M em内から参照ピクチャを選択する符号化方法と組み 合わせて使用できるよ うにし、 S ピクチャを用いた場合でも前記符 号化手法における圧縮率を向上することができる画像符号化方法お よび画像復号化方法を提供することを目的とする。 発明の開示

この課題を解決するために、

第 1 の発明は、 メモリ に格納した参照ピクチャをピクチャ番号に よって特定して参照し、 動画の符号化ス ト リームを生成する画像符 号化方法であって、 符号化対象ピクチャに対応する ピクチャ番号を 符号化する ピクチャ番号符号化ステップと、 当該符号化対象ピクチ ャを符号化する符号化ステップと、 前記符号化ステップの実行後、 前記符号化対象ピクチャ以外のピクチャでメモリ に記憶されている ピクチャを全て不使用にする全ピクチャ不使用化ステップと、 メモ リ内の前記符号化対象ピクチャのピクチャ番号を初期化する ピクチ ャ番号初期化ステッ プと、 画像復号化装置に対し、 前記符号化対象 ピクチャ以外のピクチャですでにメ モリ に格納されているピクチャ を全て不使用にする こと を指示する全ピクチャ不使用化情報を符号 化する全ピクチャ不使用化情報符号化ステップとを含むことを特徴 とする画像符号化方法である。

第 2の発明は、 メ モリ に格納した参照ピクチャをピクチャ番号に よって特定して参照し、 動画の符号化ス 卜 リームを復号化する画像 復号化方法であって、 符号化ス 卜 リームから、 復号化対象ピクチャ 以外のピクチャで、 すでにメモリ に格納されているピクチャを全て 不使用にするこ とを意味する全ピクチャ不使用化情報を検出 して復 号化する全ピクチャ不使用化情報復号化ステップと、 前記符号化ス 卜 リームから前記復号化対象ピクチャを復号化する復号化ステップ と、 前記復号化ステップの実行後に、 復号化された前記全ピクチャ 不使用化情報に従って、前記復号化対象ピクチャ以外のピクチャで、 すでにメモリ に格納されている ピクチャを全て不使用にする全ピク チヤ不使用化ステップと、 メ モ リ 内の前記復号化対象ピクチャに対 し、 初期化された新たなピクチャ番号を付与するピクチャ番号初期 化ステップとを含むことを特徴とする画像復号化方法である。

第 3の発明は、 複数の画像信号を符号化して各画像に対する符号 化信号を生成する画像符号化方法であって、 前記複数の符号化信号 を切換可能な切換ピクチャおよび切換ピクチャ以降から参照できる ピクチャは前記符号化信号で同じ時刻のピクチャ群のみである画像 符号化方法である。

第 4の発明は、符号化信号を復号化する画像復号化方法であって、 切換可能な切換ピクチャの前で不使用にしたピクチャの情報を復号 化し、 前記復号化した結果に基づき参照画像メ モリから復号化した ピクチャを不使用にし、 切換ピクチャ以後では不使用にされなかつ た参照ピクチャのみを参照して符号化信号を復号化する画像復号化 方法である。

第 5の発明は、 複数の画像信号を符号化して各画像に対する符号 化信号を生成する画像符号化方法であって、 前記複数の符号化信号 を切換可能な切換ピクチャのピクチャ番号を前記各符号化信号で同 じ値に変更する仕組みを有する画像符号化方法である。

第 6の発明は、符号化信号を復号化する画像符号化方法であって、 前記符号化信号を切換可能な切換ピクチャで切 り換える際に、 参照 ピクチャのピクチャ番号を切換可能な符号化信号で同 じ値に変更す る仕組みを有する画像復号化方法である。

以上の様に、 本発明にかかる画像符号化方法および画像復号化方 法によれば、 S ピクチャの仕組みと参照画像メ モリ Mem 内から参照 ピクチャを選択する符号化方法とを組み合わせて使用できるように し、 S ピクチャを用いた場合でも前記符号化方法における圧縮率を 向上するこ とができる画像符号化方法および画像復号化方法を提供 することができ、 その実用的価値は高い。

なお、 この明細書は、 前の日本国特許出願 Γ特願 2 0 0 2 - 1 1 2 7 8 7」、 「特願 2 0 0 2 - 1 9 2 5 3 3」、 「特願 2 0 0 2 - 2 0 4 7 1 8」、 Γ特願 2 0 0 3 — 9 2 4 9 0 J および米国仮出願 「 6 0 / 3 7 7 6 3 8 J の内容を取り込む。 図面の簡単な説明

図 1 は、 入力画像信号 Vin を符号化した場合のピクチャと ピクチ ャ番号 PN との対応を説明する図である。

図 2は、 S ピクチャを符号化および復号化する際に、 参照画像メ モリ Mem に格納される画像のピクチャ番号 PN を示す図である。

図 3は、 参照画像メ モ リ Memに格納される画像のピクチャ番号 PN の説明図である。

図 4 ( a )、 図 4 ( b ) および図 4 ( c ) は、 本発明の画像符号化 方法および画像復号化方法の参照画像メ モ リ Memに格納される画像 制御に関する情報の符号化方法および復号化方法のフローチャー ト である。

図 5 ( a ) および図 5 ( b ) は、 参照画像メ モ リ Memに格納され る画像の ピクチャ番号 PNの説明図である。

図 6 ( a )、 図 6 ( b ) およぴ図 6 ( c ) は、 本発明の画像符号化 方法および画像復号化方法の参照画像メ モ リ Memに格納される画像 制御に関する情報の符号化方法および復号化方法のフローチャー ト である。

図 7は、 本発明の入力画像信号 Vi n を符号化した場合のピクチャ と ピクチャ番号 PN との対応説明図である。

図 8 ( a ) および図 8 ( b ) は、 本発明の画像復号化方法の参照 画像メ モ リ Memに格納される画像制御に関する情報の復号化方法の フローチヤ一 卜である。

図 9は、本発明の画像符号化装置の構成を示すブロ ック図である。 図 1 0 ( a )、 図 1 0 ( b )、 図 1 0 ( c ) および図 1 0 ( d ) は、 本発明の符号化信号 Str のデータ構成の一例を示す図である。 図 1 .1 は、 本発明の画像復号化装置の構成を示すブロック図であ る。

図 1 2は、 本発明の入力画像信号 V i n を符号化した場合の各ピク チヤ と ピクチャ番号 PN との対応説明図である。

図 1 3は、 本発明のス ト リームの各ピクチャにピクチャ番号を付 与して符号化する方法を示すフローチヤ一卜である。

図 1 4は、 本実施の形態 7 における復号化方法を示すフローチヤ — 卜である。

図 1 5は、 本実施の形態 7 におけるメ モ リ構造を示す図である。 図 1 6 ( a ) および図 1 6 ( b ) は、 本実施の形態 7 における符 号化方法を示すフ ロ ーチヤ一 トである。

図 1 7 ( a ) および図 1 7 ( b ) は、 本実施の形態 7 における別 の符号化方法を示すフローチヤ一卜である。

図 1 8 は、 本実施の形態 7 における別の符号化方法を示すフロー チャー トである。

図 1 9は、 本実施の形態 8における符号化装置の構成を示すプロ ック図である。

図 2 0は、 本実施の形態 8における別の符号化装置の構成を示す ブロ ック図である。

図 2 1 ( a ) およぴ図 2 1 ( b ) は、 本実施の形態 1 0における 復号化方法を示すフローチヤ一卜である。

図 2 2は、 本実施の形態 1 1 における復号化装置の構成を示すブ ロ ック図である。

図 2 3 ( a ) および図 2 3 ( b ) は、 符号化信号の作成手順およ び符号化信号の復号化手順を示すフ ローチヤ一 トである。

図 2 4は、 本実施の形態 1 2の符号化方法を実現する画像符号化 装置の構成を示すプロ ック図である。

図 2 5は、 本実施の形態 1 2の復号化方法を実現する画像復号化 装置の構成を示すプロ ック図である。

図 2 6は、 実施の形態 1 から実施の形態 1 2の画像符号化方法お よび画像復号化方法をコ ンピュータ システムによ り実現するための プログラムを格納する記憶媒体についての説明図である。

図 2 7 は、 本発明に係るコ ンテンツ配信サービスを実現するコ ン テンッ供給システムの全体構成を示すブロック図である。

図 2 8は、 本発明に係る携帯電話の一例を示す図である。

図 2 9 は、 同携帯電話の構成を示すブロック図である。

図 3 0は、 本発明に係るディ ジタル放送用システムの構成を示す 図である。 発明を実施するための最良の形態

以下、 本発明の実施の形態について、 図 3から図 3 0を用いて説 明する。

(実施の形態 1 )

図 3は、 参照画像メ モ リ Memに格納される画像のピクチャ番号 PN の説明図である。 同図と、 図 2の参照画像メモリ M emに格納される 画像のピクチャ番号 PNの説明図の違いを以下で説明する。

従来は S ピクチャを符号化 ， 復号化する際に、 ス ト リームを切り 換えると参照画像メモリ M emの内容が一致しないことを説明した。 そこで、 本発明の符号化，復号化方法では、 図 1 の入力画像信号 V i n を符号化した場合のピクチャと ピクチャ番号 PNの対応説明図で、全 てのス ト リームでピクチャが一致する時刻 t O 、 t 1 、 t 2の画像の みを参照画像メモリ M emに記憶し、 それ以外の画像を S ピクチヤの 符号化 ■ 復号化前に参照画像メ モ リ Memから削除する。 その結果を 示すのが図 3の参照画像メ モ リ Memに格納される画像のピクチャ番 号 PNの説明図である。

図 3の参照画像メ モ リ Mem に格納される画像のピクチャ番号 PN の説明図から明らかなよ うに、 符号化 · 復号化で参照画像を明示す る場合に、 「時刻が新しいものから何ピクチャ前かの情報を明示す る J と い う方法を用いれば、 ス ト リ ーム 1 、 ス ト リ ーム 2 、 ス ト リ

—ム 3のいずれの場合でも同 じ時刻の画像を参照することになるた め、 符号化 ■ 復号化が正しく 行えることになる。

図 4は本発明の画像符号化方法および画像復号化方法の参照画像 メ モ リ Memに格納される画像制御に関する情報の符号化方法および 復号化方法のフ ローチヤ一トである。

図 4 ( a ) の符号化方法のフローチャー トは、 図 3 を用いて説明 した動作の実現方法とそのために必要な情報の符号化 ■ 復号化方法 を示す。

Step 0では複数の符号化情報 （ス ト リーム） の中で時刻が同じピ クチャを選択する。 Step 1 では Step 0で選択した 以外の ピク チ ャを削除すること を示す削除情報を符号化する。 Step 2では Step 0 で選択した以外のピクチャを参照画像メ モ リ Memから削除する。 以 上のよう にして、 図 3に示すように、 符号化信号を切り換えても復 号可能なス 卜 リームを実現するための参照画像メ モ リ Mem格納状態 を実現できる。

なお、 Step 1 と Step 2の順序は入れ替えてもよ く 、 その場合は図 4 ( b ) に示す画像符号化方法のフ ローチャー トになる。

図 4 ( a ) の符号化方法のフ ローチャー トで符号化した削除情報 を図 4 ( c ) の後号化方法のフ ローチャー トで示す方法で復号化す ることで、 図 3 に示すように、 符号化信号を切 り換えても復号可能 なス トリームを実現するための参照画像メ モ リ Mem格納状態を画像 復号化方法で実現できる。

Step5 で削除情報を復号化するこ とで、 複数の符号化情報 （ス ト リーム） の中で時刻が同 じでないピクチャを明示できる。 これは図 4 ( a ) の Step 0で選択した時刻が同じピクチャ以外のものに相当 する。 次に、 Step 6 では、 Step 5で選択したビグチヤを参照画像メ モ リ Memから削除する。 具体的には、 参照画像メ モリ Mem内に保存 されている ピクチャを削除 （または消去） する場合、 削除されるべ きピクチャに、 参照画像と して使用することを禁止する 「不使用 j などの識別情報を設定することによって行う。 これに対応して、 画 像復号化ュニッ ト P i cDec と画像符号化ュニッ ト P i cEnc とは、 参照 画像メ モ リ Mem内に保存されている ピクチャを参照する際には必ず 「不使用」 の識別情報が設定されているか否かを確認した上、 Γ不使 用」の識別情報が設定されている場合にはそのピクチャを参照せず、 「不使用 jの識別情報が設定されていないピクチャのみを参照する。 以下の実施の形態においても同様にして参照画像メモリ Mem内のピ クチャを削除 （または消去） する。 もちろん、 この削除方法は一例 であり、 参照画像メ モリ Mem内から前記ピクチャのデータ を実際に 削除 （または消去） して しまう ことによって削除してもよいことは いうまでもない。 以上のようにして、 符号化信号を切り換えても、 図 3 に示すよう に復号可能なス 卜 リームを実現するための参照画像 メ モ リ Mem格納状態を実現できる。

(実施の形態 2 )

図 5 (a)は参照画像メ モ リ Mem に格納される画像のピクチャ番号 PN の説明図である。 図 5 (a)と図 3の参照画像メ モ リ Mem に格納さ れる画像のピクチャ番号 PNの説明図の違いは、 参照画像メモリ M em 内のピクチャ番号 PNがー致するか否かである。

参照画像メ モ リ M em内に保存されている ピクチやの時刻だけでな く 、参照画像メ モリ Mem内のピクチャ番号 PNも全ての符号化信号で 一致される ことで、 符号化 ■ 復号化で参照画像を明示する場合に、 Γピクチャ番号 PN によって参照する ピクチャを明示する」という方 法が利用可能になり、 ス ト リーム 1 、 ス ト リーム 2、 ス ト リーム 3 のいずれの場合でも同じ時刻の画像を参照することになるため、 符 号化 ■ 復号化が正しく行えることになる。

これを実現するためには、 S ピクチャの符号化 ' 復号化の前に、 参照画像メ モ リ M em内に保存されているピクチャのピクチャ番号 PN を同じ値に付け替え、 その付け替えのための情報を符号化 ■ 復号化 すればよい。

更に、次に S ピクチャを保存する際も同 じピクチャ番号 PN と して 保存しなければならないので、 S ピクチャのピクチャ番号 PN も、 ど のス 卜 リ ームの場合でも一致させる必要がある。

図 6は本発明の画像符号化方法および画像復号化方法の参照画像 メ モ リ M emに格納される画像制御に関する情報の符号化方法および 復号化方法のフローチヤ一 トであり、図 5 (a)を用いて説明した動作 の実現方法とそのために必要な情報の符号化 ■ 復号化方法を示す。

St ep 1 0では切換対象の符号化信号で参照画像メ モ リ M emに含ま れている ピクチャのピクチャ番号 PNの最大値（図 5 (a )の例では 8 ) を検出する。 St ep 1 2ではピクチャ番号 PNの最大値を基準と し、 参 照画像メ モ リ M em に格納されている各ピクチャのピクチャ番号 PN を割り当てなおすための情報を符号化する。 また、 必要に応じて、 次の S ピクチャに割り当てるべきピクチャ番号 PN も符号化する。な お、図 5 ( a )のス 卜 リーム 3 と図 3のス 卜リーム 3は同 じであるから . ス ト リーム 3 については割り 当てなおす必要は無い。 従って、 ピク チヤ番号 PNの割り 当てなおしは必要なもののみ実施し、必要な割り 当てなおしの情報のみ S t ep l 1 で符号化すれば良い。 最後に St e p 1 1 で符号化した情報で示すピクチャ番号 PN の割り 当てなおしを St e p 1 2で実施する。 以上のようにして、 図 5に示すように、 符号 化信号を切 り換えても復号可能なス ト リームを実現するための参照 画像メモ リ Mem格納状態を実現できる。

また、 S ピクチャのピクチャ番号 PNは 1 2であるから、 S ピクチ ャの符号化■復号化後にピクチャ番号 PNが連続するよ うにするため には、 図 5 (b)に示すように S ピクチャ直前のピクチャ番号 PN (図 1 のス ト リーム 1 の S ピクチヤ直前） である 1 1 を用いてもよい。 この場合は S ピクチャのピクチャ番号 PN は 1 2であるから、 符号 化 -復号化過程で常にピクチャ番号 PNが増加することになリ、 ピク チヤ番号 PN が減少した場合をエラーとするエラー検出機能も実現 することができてよ り効果的である。

図 7は本発明の入力画像信号 V i n を符号化した場合のピクチャと ピクチャ番号 PNの対応説明図である。 図 7 は図 5 (b)で説明した方 法でピクチャ番号 PNの割り 当てなおしをした例であり、 S ピクチャ でピクチャ番号 PNが全て 1 2になっており、 S ピクチャ符号化 - 復 号化する際に参照画像メ モリ M emの画像がス ト リ一厶に依らず一定 であれば、 S ピクチャでス ト リームを切り換えても、 S ピクチャ以降 の全ての画像が正しく 復号化できることは明らかである。

なお、 St ep 1 1 と St e p 1 2の順序は入れ替えてもよ く 、 その場合 は図 6 ( b ) に示す画像符号化方法のフ ローチャー トになる。

図 6 ( a ) の符号化方法のフローチヤ一 卜で符号化した削除情報 を図 6 ( c ) の復号化方法のフローチヤ一 卜で示す方法で復号化す ることで、 図 5 (a)に示すように、 符号化信号を切り換えても復号可 能なス ト リ 一ムを実現するための参照画像メ モ リ M em格納状態を画 像復号化方法で実現できる。

S t ep 1 5でピクチャ番号 PN の割り 当てなおしの情報を復号化す るこ とで、ピクチャ番号 PNの割り当てなおしが必要な画像とその方 法を特定できる。 次に、 St ep 1 6では、 St ep 1 5で復号化した、 ピ クチャ番号 PN の割り当てなおしが必要な画像とその方法に基づい て、参照画像メ モ リ M emのピクチャ番号 PNの割り 当てなおしを行う。 以上のよ うに して、 符号化信号を切り換えても、 図 5に示すように 復号可能なス ト リ一ムを実現するための参照画像メ モ リ M em格納状 態を実現できる。

なお、 本実施の形態では、 実施の形態 1 と組合せた形での有効性 を説明したが、 Γピクチャ番号 PNによって参照する ピクチャを明示 する」 場合に正しく 符号化 ■ 復号化できるという長所は実施の形態 2のみで実現できるものであり、 この効果のみで十分な場合は実施 の形態 1 と組合せないで利用することも可能である。

(実施の形態 3 )

図 8は図 5の参照画像メ モ リ M emに格納される画像のピクチャ番 号 PNの説明図を実現するための別の実施の形態である。

ピクチャのタイ プはピクチャタイプ情報 P i cTyp e で識別される。 従って、 ピクチャタイプ情報 P i c Typ e がス ト リームを切り換え可能 な S ピクチャであれば、 S ピクチャのピクチャ番号 PNに合わせるよ うに参照画像メモリ M emのピクチャ番号 PNの割り当てなおしを行う 規則を決めることで、 参照画像メ モ リ M emの個々のピクチャ番号の 割り 当てなおし方法の情報の符号化 ■ 復号化を省略することができ る。

以下、 図 8 (a)の動作を説明する。 Step2 0では符号化信号を復号 化して画像のピクチャ番号 PNを取得する。 Step2 1 で取得した画像 のピクチャタイプ情報 P i cTypeを取得し、 そのピクチャタイプ情報 PicType が S ピクチャであれば、 Step 2 2で所定の方法を用いて S ピクチャのピクチャ番号 PN に合わせるよ うに参照画像メモリ Mem のピクチャ番号 PNの割り 当てなおしを行う。 以上のようにして、 図 5に示すように、 符号化信号を切り換えても復号可能なス ト リ一ム を実現するための参照画像メ モ リ Mem格納状態を実現できる。

なお、 Step 2 1 と Step 2 2の順序は入れ替えてもよ く 、 その場合 は図 8 ( b ) に示す画像符号化方法のフローチャー トになる。

また、 図 8 および図 6に示す図 5の参照画像メモリ Memに格納さ れる画像のピクチャ番号 PN の説明図を組み合わせ、 図 6の Step 1 1 および Step 1 5でピクチャ番号 PN の割り当てなおし情報の一部 (S ピクチャのピクチャ番号 PN に合わせるように参照画像メモリ Memのピクチャ番号 PNの割り 当てなおしを行う規則で表現できない もの） のみを符号化 ， 復号化しても良い。

(実施の形態 4 )

図 9は本発明の画像符号化装置の構成を示すブロ ック図である。 図 9の本発明の画像符号化装置のブロ ック図は、 実施の形態 1 およ び実施の形態 2の画像符号化方法を実現する一例である。

ピクチャ番号生成ュニッ ト PNGenはピクチャ番号 PN を生成する。 ピクチャ番号 PNは参照画像メモリ Memに記憶されている画像を区別 する識別子であり、 参照画像メ モ リ Memに記憶されている異なる画 像には異なる ピクチャ番号 PNが付与される。 通常は、 参照画像メ モ リ Memに画像を保存する都度ピクチャ番号 PN を 1 増加し、画像復号 化装置で受信したピクチャ番号 PN が 2以上増加した場合には伝送 路誤りで保存すべき画像が欠落したことを画像復号化装置で検出 し エラ一修正またはエラー修整処理を施すことが可能になっている。 最大ピクチャ番号検出ュニッ ト MaxPNは他符号化信号ピクチャ番 号 Other PNおよびピクチャ番号生成ュニッ ト PNGen で生成されたピ クチャ番号 PN を比較し、 ピクチャ番号 PNの最大値を検出 して可変 長符号化ュニッ ト VLCに通知すると共に、 ピクチャ番号生成ュニッ ト PNGen に通知しピクチャ番号生成ュニッ 卜 PNGen で生成するピク チヤ番号 PN を前記ピクチャ番号 PNの最大値で初期化する。 他符号 化信号ピクチャ番号 OtherPNは、 同 じ符号化対象ピクチャに対応す る違うス ト リームのピクチャのピクチャ番号である。 その結果、 ピ クチャ番号生成ュニッ ト PNGenは以後、前記ピクチャ番号 PNの最大 値よ り大きなピクチャ番号 PN を出力するようになる。

符号化ピクチャ時刻比較ュニッ ト T i meCmpはこれまでに符号化し た入力画像信号 Vi nの各ピクチャの時刻と他の符号化信号 （ス ト リ —ム） と して符号化した各ピクチャのピクチャ時刻 FrameT ime を比 較し、 全ての符号化信号で符号化されている時刻のピクチャの情報 を画像除去ュニッ ト Pi cDel に通知する。

画像除去ュニッ ト Pi cDel は、ピクチャタイプ情報 P i cTypeが次の ピクチャが S ピクチャであること を示す場合には、 符号化ピクチャ 時刻比較ュニッ ト Τ ί meGmpから通知された情報に基づき、 全ての符 号化信号で符号化されている時刻のピクチャ以外の参照画像メ モ リ Mem に保存されている画像を消去する指令を参照画像メモリ Mem に 通知し、同時に可変長符号化ュニッ ト VLGにもその情報を通知する。 画像符号化ュニッ ト P i cEncは参照画像メ モ リ Memに保存されてい る画像を参照してピクチャタイプ情報 PicTypeで示すピクチャタイ プと して入力画像信号 Vin を周波数変換■量子化等を伴う符号化し、 その結果を画像復号化ュニッ ト Pi cDecや可変長符号化ュニッ ト VLC に送信する。 画像復号化ュニッ ト P i cDec は画像符号化ュニッ ト P i cEncで符号化した結果をピクチャタイ プ情報 P i cTypeで示すピク チヤタイ プと して逆量子化 ■ 逆周波数変換し、 後続の画像の符号化 で参照するためにピクチャ番号 PNと して参照画像メ モ リ Memに保存 する。

可変長符号化ュニッ 卜 VLGは、画像符号化ュニッ ト P i cEncで符号 化した結果を可変長符号化してビッ ト列にすると共に、 復号化で必 要な情報である、画像除去ュニッ 卜 P i cDe I から通知された参照画像 メ モ リ Memに保存されている画像を消去するための情報、 および前 記ピクチャ番号 PNの最大値ゃピクチャ番号 PN を符号化し、 符号化 信号 Str と して出力する。 また、 画像除去ュニッ ト P i cDe I から通知 された情報や、 ピクチャ番号 PN力、ら、 実施の形態 2に記載した方法 に基づき、 参照画像メ モリ Memに保存されている画像のピクチャ番 号 PN を付け替える情報も符号化する。

図 1 0 に本発明の符号化信号 Str の構成例を示す。以下図 1 0 (a) の各データについて説明する。

最初にピクチャ番号 PNが符号化される。 次に、 付け替えるべき最 大 PNや、参照画像メモリ Memに保存されている画像を消去するため の情報、 参照画像メ モ リ Memに保存されている画像のピクチャ番号 PN を付け替える情報が符号化される。 それに引き続いてピクチャタ ィ プ情報 PicTypeや画像符号化ュニッ ト PicEncの出力である画像符 号化データが配置される。

なお、 図 1 0 (a)は単にデータ配置の一例であり 、 図 1 0 (b)のよ 'うにデータの順番を入れ替えて実現することも可能である。 以上の構成によ り 、 実施の形態 1 および実施の形態 2の画像符号 化方法を実現する画像符号化装置を実現できる。

(実施の形態 5 )

図 1 1 は本発明の画像復号化装置の構成を示すブロ ック図である。 図 1 1 の本発明の画像復号化装置のブロック図は、 実施の形態 1 、 実施の形態 2および実施の形態 3 を実現する画像復号化装置の一例 である。 以下その動作を説明する。

可変長復号化 iニッ ト VLDは符号化信号 Str を復号化し、 様々な 情報 （参照画像メ モ リ Memに保存されている画像を消去する指令、 ピクチャタイ プ情報 Pi cType、 ピクチャ番号 PN、 ピクチャ番号 PN を付け替える情報および画像データなど） を出力する。

まず、 可変長復号化ユニッ ト VLD で得られた参照画像メ モ リ Mem に保存されている画像を消去する指令は、 画像除去ュニッ 卜 P i cDe I に通知され、画像除去ュニッ ト P i cDe I は参照画像メ モ リ Memに保存 されている指令された画像を消去する。

可変長復号化ュニ ッ ト VLD で得 られた ピク チ ャ タ イ プ情報 PicTypeは、 画像復号化ュニッ ト PicDecに通知され復号化方法を指 示する。

可変長復号化ュニッ 卜 VLDで得られたピクチャ番号 PNは、参照画 像メ モ リ Mem に通知され、画像復号化ュニッ ト P i cDecで復号化され た画像を格納する際のピクチャ番号 PN とする。

可変長復号化ュニッ 卜 VLDで得られた参照画像メ モ リ Memに保存 されている画像のピクチャ番号 PN を付け替える情報は、ピクチャ番 号変更ュニッ ト PNchgに通知され、ピクチャ番号変更ュニッ ト PNchg はその指示に従い参照画像メモリ Mem内に保存されている画像のピ クチャ番号 PN を付け替える。 よ り具体的には、 ピクチャ番号変更ュ ニッ 卜 PN c h gは、 参照画像メ モ リ M emに保存されている画像のピク チヤ番号 PN を読み出 し、 読み出されたピクチャ番号 PNの値を変更 した後、 そのピクチャ番号 M emを参照画像メ モ リ M emに書き込む。 可変長復号化ュニッ ト VLDで得られた画像データは、 画像復号化 ユニッ ト P i cD e c において、ピクチャタイプ情報 P i cT yp eで示される ピクチャタイプに応じた復号化方法で復号化される。 すなわち、 I ピクチャは参照画像メ モ リ M emの画像を参照しないで復号化され、 P ピクチャおよび B ピクチャは参照画像メモリ M emに保存されてい る画像を参照して復号化される。 このようにして得られた復号画像 は参照画像メ モ リ Mem 内に保存されると共に、 復号画像信号 Vou t と して出力される。

以上のようにして、 実施の形態 1 、 実施の形態 2 および実施の形 態 3 を実現する画像復号化装置が実現できる。

(実施の形態 6 )

実施の形態 1 から実施の形態 5に記載した画像符号化装置では、 S ピクチャでス ト リ一ムを切換える際、 切換可能なピクチャのピク チヤ番号と連続するように、 切換可能なピクチャの前のピクチャの ピクチャ番号を切換えるようになっていた。 本実施の形態では、 切 換可能なピクチャにおいてピクチャ番号を切換える。

ス トリームの切換えの例と しては、 同一画像を異なるピクチャ レ ー トゃ異なるビッ ト レー ト、 異なる ピクチャ構造を有する複数のス トリ一厶の符号化に関し、 符号化を進めている ピクチャが属するス トリー厶から、 その他のス 卜 リームに属するピクチャに切換えて符 号化を進める処理である。 以下は、 説明の便宜上、 単にス ト リーム の切換えと言う。

また、 更に、 本実施の形態においては、 符号化対象のピクチャを 参照メモリ に保存するか否かは、 各ス ト リ一ムにおいて符号化対象 のピクチャの符号化順序 （ス ト リーム順） で前に隣接する ピクチャ (以下、 前のピクチャ） のピクチャ番号と符号化対象のピクチャ番 号との変化の度合いにしたがって判断される。 具体的には、 符号化 対象のピクチャのピクチャ番号が前のピクチャのピクチャ番号に対 して Γ 1 j 増加していれば、 符号化対象のピクチャが参照メ モリ に 保存されることを表している。 一方、 符号化対象のピクチャのピク チヤ番号が前のピクチャのピクチャ番号に対して前のピクチャ番号 と同 じであれば、 符号化対象のピクチャは参照メモリ に保存されな いことを表している。

以下、 切換可能なピクチャにおいてピクチャ番号を切換える処理 について、 図面を参照しながら具体的に説明する。

図 1 2は、 入力画像信号 V i n を符号化した場合のピクチャと ピ クチャ番号 P N との対応の一例を示す図である。 ス ト リーム 1 、 ス 卜 リーム 2、 ス ト リーム 3それぞれは、 同一の画像信号をそれぞれ 異なる ピクチャ レー トで符号化したものである。 図 1 2では、 符号 化される順にしたがってピクチャが、 ス ト リーム毎に並んでいる。

ス ト リーム 1 においては、 各ピクチャ間で Γ 1 」 ずつ増加するよ うにピクチャ番号 P Nが各ピクチャに割り 当てられている。 また、 ス ト リーム 2においては、 ピクチャ間で Γ 1 j ずつ増加するように ピクチャ番号が割り 当てられたピクチャと、 前のピクチャ と同じピ クチャ番号が割り当てられたピクチャとがある。 更に、 ス ト リーム 3 においては、 ス ト リーム 1 と同様に、 各ピクチャ間で Γ 1 j ずつ 増加するよ うにピクチャ番号 P Nが各ピクチャに割り 当て られてい る。

したがって、 ス ト リーム 1 、 3においては、 ピクチャ番号が各ピ クチャ間で 「 1 」 ずつ増加するので、 符号化対象のピクチャが参照 メモリに保存される。 ス ト リ一ム 2においては、 ピクチャ間で Γ 1 j ずつ増加するよう にピクチャ番号が割り当て られたピクチャは参照 メ モリに保存され、 前のピクチヤと同 じピクチャ番号が割り当てら れたピクチャは保存されない。

また、 ス ト リーム 1 のピクチャ番号 「 0」 のピクチャ、 ス ト リー ム 2のピクチャ番号 「 0」 のピクチャ及びス ト リーム 3のピクチャ 番号 Γ 0 J のピクチャは、 時刻 t 0において対応している。 以下同 様に、 ス ト リーム 1 のピクチャ F 1 4、 ス ト リーム 2のピクチャ F 2 2及ぴス ト リーム 3のピクチャ F 3 1 は時刻 t 1 で、 ス ト リーム 1 のピクチャ F 1 8、 ス ト リーム 2のピクチャ F 2 4及びス トリ一 ム 3のピクチャ F 3 2は時刻 t 2で、 ス ト リーム 1 のピクチャ F 1 1 2、 ス ト リーム 2のピクチャ F 2 6及びス トリーム 3のピクチャ F 3 3は時刻 t 3 で、 ス ト リーム 1 のピクチャ F 1 1 7、 ス ト リ一 厶 2のピクチャ F 2 1 5及びス ト リーム 3のピクチャ F 3 4は時刻 t 4で対応している。 なお、 ピクチャ F 1 1 2 、 F 2 6 、 F 3 3は、 実施の形態 1 、 2 における S ピクチャに該当する。

図 1 2 において、 ピクチャ B P 1 、 B P 2は、 ス ト リームを切換 える際に経由され、 切換え元のピクチャと切換え先のピクチャとの 間で、 切換え先のピクチャが属するス ト リームにおいて切換え先の ピクチャの前のピクチャと同じ時刻に対応させて符号化されるスィ ツチピクチヤである。

例えば、 ス ト リーム 2のピクチャ F 02 6 (切換え元のピクチャ） からス ト リーム 1 のピクチャ F 1 1 3 (切換え先のピクチャ） にス ト リ一厶を切換える場合、 ピクチャ F 2 4 と ピクチャ F 1 1 3 との 間で時刻 t 3のピクチャと してスィ ッチピクチャ B P 1 を使う。 こ の場合、 切換えピクチャであるスィ ッチピクチャ B P 1 のピクチャ 番号を、 切換え先のピクチャ F 1 1 3のピクチャ番号 「 1 3 J と連 続するように 「 1 2 J に変更する。

また、 同様に、 ス ト リーム 3のピクチャ F 3 2 (切換え元のピク チヤ） からス ト リーム 2のピクチャ F 2 1 3 (切換え先のピクチャ） にス ト リームを切換える場合、 ピクチャ F 3 2 と ピクチャ F 2 1 3 との間で時刻 t 3のピクチャと してスィ ッチピクチャ B P 2 を使う， この場合、 切換えピクチャであるスィ ッチピクチャ B P 2のピクチ ャ番号を、 切換え先のピクチャ F 2 1 3のピクチャ番号 「 1 3 J と 連続するように変更する。

このように、 切換え先のピクチャのピクチャ番号と連続するよう にスィ ッチピクチャのピクチャ番号を割り 当てるこ とによって、 ス 卜 リーム毎の流れにしたがって符号化する場合とス ト リームを切換 えた場合とで切換え先のピクチャのピクチャ番号は同じ値になる。 次に、 ス ト リームを切換える場合における、 ピクチャ番号の割り 当て処理の流れについて説明する。

図 1 3 は、 図 1 2のス ト リームの各ピクチャにピクチャ番号を付 与して符号化する方法を示すフローチヤ一 トである。

ステップ 1 4 0 1 では、 符号化対象ピクチャが S ピクチャかどう か判定される。 も し、 符号化対象ピクチャが S ピクチャであれば、 ステップ 1 4 0 2 において、 符号化対象ピクチャのピクチャ番号を 初期値 Mに変更する。 も し、 符号化対象ピクチャが S ピクチャでな ければ、 符号化対象ピクチャのピクチャ番号は変更されない。

ステップ 1 4 0 3では、 符号化対象ピクチャが S ピクチャの次の ピクチャかどうかが判定される。 も し、 符号化対象ピクチャが S ピ クチャの次のピクチャであれば S ピクチャがメモリ に記憶されるか どうかの判断がステップ 1 4 0 4で行われる。 も し、 符号化対象ピ クチャが S ピクチャの次のピクチャでないならば、 符号化対象ピク チヤがメモリ に記憶されるかどうかがステップ 1 4 0 5で判断され る。

ステップ 1 4 0 4において S ピクチャがメモリ に記憶されると判 断されたときはステップ 1 4 0 6でピクチャ番号 Mが M+ 1 にインク リ メ ン 卜され、 イ ンク リ メ ン トされたピクチャ番号が新たなピクチ ャ番号になる。

ステップ 1 4 0 4において S ピクチャがメ モリ に記憶されないと 判断されたときは、 ステップ 1 4 0 7 でピクチャ番号を M 自身とす る。 （ピクチャ番号を変更しない。） ステップ 1 4 0 5においては、 符号化対象ピクチャがメモリ に記憶されるかどうかが判断される。 符号化対象ピクチャがメモリ に記憶されると判断されたときはステ ップ 1 4 0 8でピクチャ番号 PNが PN+ 1 にイ ンク リ メ ン トされ、 ィ ンク リ メ ン 卜されたピクチャ番号が新たなピクチャ番号になる。 符号化対象ピクチャがメモリに記憶されないと判断されたときは ピクチャ番号の変更は行われない。

ステップ 1 4 0 9では対象ピクチャが符号化される。 ステップ 1 4 1 0では、 すべての符号化対象ピクチャが符号化されたかどうか が判断される。 すべての符号化対象ピクチャが符号化されていない と きはステップ 1 4 0 1 に戻り、 すべての符号化対象ピクチャが符 号化されているときは処理を終了する。

図 1 3 に示す処理によって、 スィ ッチピクチャ以降のピクチャに おいてピクチャ番号が連続した符号化データス ト リームを生成する ことができる。

また、 このよ う にして生成された符号化信号 St r は、 実施の形態 5の画像復号化装置における復号化装置にしたがって復号化すれば よい。 このよ うに して、 本実施の形態における符号化信号を復号化 する画像復号化装置が実現できる。

また、 上記実施の形態 1 から実施の形態 6までに示した符号化方 法 ■ 復号化方法は、 携帯電話や力一ナビゲ一シヨ ンシステム等の移 動体通信機器やデジタルビデオカメ ラやデジタルスチールカメラ等 の撮影機器に L S I 等の半導体によって実装することが可能である _c また、 実装形式と しては、 符号化器 * 復号化器を両方持つ送受信型 の端末の他に、 符号化器のみの送信端末、 復号化器のみの受信端末 の 3通りが考えられる。

(実施の形態 7 )

復号化対象ピクチャが参照するピクチャは、ピクチャ番号 PNによ つて明示される。 またピクチャ番号 PN の増減にょ リ ピクチャ番号 P のエラ一の検出をするこ とができる。 図 1 4は、 例えば図 1 0 ( b ) に示すピクチャデータにおいて、 ピクチャ番号 PNをも とにピ クチャ番号 PNのエラ一検出 ' 修正をする手順について示す。

まず St e p 2 0においてピクチャ番号 PN を検出する。 次に、 St ep 2 1 においてピクチャタイ プ P i cTyp e を検出する。 そ して、 St epA 2において検出されたピクチャ番号 PN が連続しているかどうかを 判断する。 S t e pA 2においてピクチャ番号 PNが連続していればピク チヤ番号 PNのエラー検出 - 修正処理を終了する。 一方、 St epA 2に おいてピクチャ番号 PNが連続していなければ St e pA 3 においてエラ —修正を行う。 なお、 図 6に示す最大保存済 PN 検出や、 PN 再割当 といった処理は、 このエラー検出 · 修正処理が終了 してから実施し てもよ く 、 このエラ一検出 ' 修正処理と並列に実施してもよい。

S t e pA 3 におけるエラー修正の処理に関する第 1 の方法と して、ェ ラーが生じたピクチャ番号 PNに関するデータの再送を要求し、再送 を受けた後に再度ピクチャ番号 PN のエラー検出をする手順に従つ た処理を行う ことが考えられる。 しかし、 S ピクチャでピクチャ番 号 PNの不連続は伝送エラーで生じた訳ではない。 つまり、 S ピクチ ャでのピクチャ番号 P Nの不連続はス ト リ一ム毎に S ピクチャよ り 前にメ モ リ上に記憶される ピクチャ数が異なる可能性を有している ため、ピクチャ番号 PNに関するデータの再送を要求しても対応する ピクチャが存在しない可能性があり 、 不連続なピクチャに対応する ピクチャは再送できない可能性が大いにある。 従って、 再送されな ぃピクチャを再送されるまで要求しつづけるため、 画像の再生がで きなく なる恐れがある。 この理由によ り画像の再生がうまく できな い例に対する解決手段については、 以下の実施の形態 1 0で詳し く 説明する。

また、 ス ト リームを切り替えた時点で、 切り替え先のス ト リーム に対応するメ モ リ 内のピクチャ数が、 切り替えを行わない場合のス ト リームに対応するメモリ内のピクチャ数と完全に一致していなけ れぱ画像の再生が正しく行えない可能性がある。

まずメ モリ は、 図 1 5に示すよう に先入先出メモリである短時間 保存メ モ リ と前記短時間保存メ モ リ よ り も ピクチャを長時間保存す るために先入先出では無く 直接記憶場所の指定をして記録する長時 間保存メ モリ とを有する。 短時間保存メモリが 7 ピクチャ分保存で きる大きさで、 長時間保存メモリが 4 ピクチャ分保存できる場合、 参照する ピクチャは、 メモリに入っているピクチャのうち、 短時間 保存メモ リの方から数えて何番目に入っている ピクチャかどうかで 指定する。例えば長時間保存メ モ リ にある u s e d LT 2は 8番目に入つ ているピクチャ （ I d x= 7 ) という こ とができる。 このように相対的 な位置関係で参照ピ'クチャは指定される。

また図 7 に示すようにス ト リームが 3つある場合、 図 2に示すよ うに同一のピクチャ （例えば図 7に示す S ピクチャ） を指定するた めのメ モ リ上の位置はそれぞれのス ト リームによって異なる。 そし て、 S ピクチャによ り别のス 卜 リームのピクチャを参照することに なると、 参照ピクチャを指定するためのメモリ上の位置はス トリー 厶毎のメ モリ によって異なる。 なお、 S ピクチャとは複数のス トリ —厶があり 、 所定のス ト リームから别のス 卜 リームに移動するとき に、 移動前のス 卜 リームの S ピクチャよ リ前にある ピクチャを参照 して予測符号化されるピクチャと、 移動先のス ト リ一ムの S ピクチ ャょ リ前にある ピクチャを参照して予測符号化される ピクチャとが 同一の画像となる ピクチャである。 （図 1 2 )。

なお、 S ピクチャでなく 、 I ピクチャの場合でも参照メモ リ内で 複数のス ト リームで復号化した画像が完全に一致する場合は、 ス 卜 リームを切 り換えることができるため、 I ピクチャを S ピクチヤと 同 じ用途 （ス ト リーム切替） で用いることができる。

このように様々な条件を加味すると、 メモ リ内のピクチャ数が一 致しない場合に、参照する ピクチャを正確に指定することは難し く 、 参照するピクチャを指定したと してもエラーが起きる可能性が大き い。

そこで、 本実施の形態では、 ピクチャ番号 PNの不連続や、 メモリ 内容の不一致等の問題によってピクチャ番号 PN のエラー検出処理 が終わらなく なることを避けるために用いる付加情報の符号化方法 と復号化方法について説明する。 この付加情報 （全ピクチャ削除情 報） とは、 画面内符号化を行う I ピクチャや上記 S ピクチャを符号 化した後のピクチャの符号化処理でエラーが生じないように、 符号 化対象の I ピクチャや s ピクチヤ以外のピクチャを、 符号化も し く は復号化で参照するためのメモリから全て削除するこ とを示す命令 のことである。

これによ り、 所定のス ト リームから別のス 卜 リームへ移動した後 に、 複数のス ト リームそれぞれのメ モ リ状態が同一になるため、 画 面間予測符号化等で参照ピクチャを必要とする場合でも、 所定のピ クチャをメ モ リ上で正確に指定することができる。 また、 所定のス ト リームから別のス ト リームへ移動するときに、 ピクチャ番号が連 続しないこ とをエラーと して修正しないようにすることによ り、 実 際には存在しない画像の再送を要求することによって復号化できな く なる不都合も解消できる。

以下、 符号化方法について図 1 6 ( a ) を用いて説明する。 図 1 6 ( a ) は本実施の形態における符号化信号の作成手順を示す。 まず St ep 2 0においてピクチャ番号 PN を検出する。 次に、 S tep 2 1 においてピクチャタイ プ P i cType を検出する。 そ して StepA 1 において、 検出されたピクチャタイ プが I ピクチャであるかどうか を判断する。 検出されたピクチャタイ プが I ピクチャであれば、 St epA 1 0 において符号化対象の I ピクチャ以外でメモリ上にある 全てのピクチャを削除する。 続いて StepA 1 1 においてメ モ リ上に ある全てのピクチャを削除するこ とを意味する全ピクチャ削除情報 を符号化し、 付加情報の符号化手順を終了する。

なお、 図 1 6 ( b ) に示すように、 図 1 6 ( a ) の StepA 1 をピ クチャタ イ プが S ピクチャであるかどうかを判断するステップと し ても同様の符号化処理が可能である。 また、 StepA 1 と StepA 2 とを 合わせて、 I ピクチャであるかまたは S ピクチャであるかの判断を Step 2 1 における ピクチャタイプの検出の後に行ってもよい。 また、 図 1 7 ( a ) に示すように、 Step 2 1 におけるピクチャタ イブの検出をして、StepA 1 で符号化対象ピクチャが I ピクチャであ る場合、 StepA 3のよ うにピクチャ番号 PNが連続しているかどうか を判断して、 ピクチャ番号 PNが連続していない場合に、 符号化対象 の I ピクチャ以外でメモリ上にある全てのピクチャを削除するよう にしてもよい。 一方、 StepA3においてピクチャ番号 PNが連続して いれば、 メ モリ上のピクチャを削除しない。 ピクチャタイプと して S ピクチャを検出する場合も、 図 1 7 ( a ) と同様の説明が成り立 つ。 また、 StepA 1 と StepA 2 とを合わせて、 I ピクチャであるかま たは S ピク チャであるかの判断を Step 2 1 における ピクチャタイ プの検出の後に行ってもよい。

なお、 図 1 7 ( a ) に示す StepA 3の処理の後に図 1 7 ( b ) に 示すように、 メモリ上に記憶されている ピクチャ数が同じかどうか を判断する StepA3 0の処理をし、 ピクチャ番号が連続していても メモリ上に記憶されているピクチャ数が異なリエラーが生じること を防ぐよう にしてもよい。 また、 図 1 7 ( b ) における StepA 3の 処理をする前に StepA3 0の処理をして、 ピクチャ数がス ト リーム 間で同数でなければ StepA 1 0の全ピクチャ削除の処理をし、 ピク チヤ数がス トリーム間で同数であり、 かつ、 ピクチャ番号が連続で なければ StepA 1 0の全ピクチャ削除の処理をするようにしてもよ しゝ （図 1 8 )。

このよう に、 図 1 7 に示すような手順によ り、 参照画像になる可 能性のある ピクチャを可能な限リ メモリ上に残し、 エラ一を低減し つつ画像の再現性を高めることができる。 また、 I ピクチャまたは S ピクチャにおいてメモ リ上に記憶されている ピクチャ数が異なつ た り、 ピクチャ番号が連続していなかったりするときに、 エラ一修 正処理を必要と しないため、 符号化装置におけるメ モ リ管理を簡略 化できる。

更に、 I ピクチャであること とメモリ上にある全てのピクチャを 削除することは、 特別な I ピクチャであることを示すピクチャタイ プによって示してもよい。

(実施の形態 8 )

図 1 9は本発明の画像符号化装置の構成を示すブロ ック図である _c 図 1 9 に示す本発明の画像符号化装置のブロック図は、 図 1 6の画 像符号化方法を実現する一例である。

ピクチャ番号生成ユニッ ト PNGenはピクチャ番号 PN を生成する。 ピクチャ番号 PNは参照画像メモリ Memに記憶されている画像を区別 する識別子であり、 参照画像メ モ リ Memに記憶されている異なる画 像には異なるピクチャ番号 PNが付与される。通常は、 参照画像メ モ リ Memに画像を保存する都度ピクチャ番号 PNを Γ 1 j 増加し、 画像 復号化装置で受信したピクチャ番号 PNが Γ 2」 以上増加した場合に は伝送路誤りで保存すべき画像が欠落したことを画像復号化装置で 検出 しエラー修整 （エラーを目立たなくすること） も しく はエラ一 修正 （再送によ リエラーの無いピクチャを再生するこ と） 等のエラ 一修復処理を施すことが可能になっている。

画像除去ユニッ ト PicDel 3は、 ピクチャタイプ情報 P i cTypeが S ピクチャであることを示す場合 （図 1 6の StepA2の処理に対応） には、 符号化対象ピクチャ以外の参照画像メモリ Memに保存されて いる画像を消去する指令を参照画像メモリ Memに通知し、 同時に可 変長符号化ュニッ ト VLCにもその情報を通知する。

または、 画像除去ユニッ ト P i cDe I 3 は、 ピクチャタ イ プ情報 P i cTypeが I ピクチャであるこ とを示す場合（図 1 6 の StepA 1 の処 理に対応） には、 符号化対象ピクチャ以外の参照画像メ モ リ Memに 保存されている画像を消去する指令を参照画像メ モ リ Memに通知し . 同時に可変長符号化ュニッ ト VLGにもその情報を通知する。

画像符号化ュニッ ト P i cEncは参照画像メ モ リ Memに保存されてい る画像を参照してピクチャタイ プ情報 PicTypeで示すピクチャタイ プと して入力画像信号 Vin を周波数変換■量子化等を伴う符号化 し、 その結果を画像復号化ュニッ ト PicDecや可変長符号化ュニッ ト VLG に送信する。

画像復号化ュニッ ト P i cDecは画像符号化ュニッ 卜 P i cEncで符号 化した結果をピクチャタイプ情報 P i cTypeで示すピクチャタイプと して逆量子化 · 逆周波数変換し、 後続の画像の符号化で参照するた めにピクチャ番号 PN と して参照画像メモリ Memに保存する。

可変長符号化ュニッ ト VLGは、画像符号化ュニッ 卜 P i cEncで符号 化した結果を可変長符号化してビッ ト列にすると共に、 復号化で必 要な情報である、 画像除去ュニッ ト P ί cDe I 3から通知された参照画 像メ モ リ Memに保存されている画像を消去するための情報、 ピクチ ャ番号 PN、ピクチャタイ プ情報 PicType を符号化し、符号化信号 Str と して出力する。

図 1 0 ( _c ) ( d ) に本発明の符号化信号 Str の構成例を示す。 以 下各データについて説明する。

最初にピクチャ番号 PN が符号化される。 次に、 参照画像メモリ Mem に保存されている画像を消去するための情報、 続いてピクチャ タイプ情報 PicTypeや画像符号化ュニッ ト PicEncの出力である画像 符号化データが配置される。

なお、 図 1 0 ( c ) は単にデータ配置の一例であり 、 図 1 0 ( d ) のようにデータの順番を入れ替えて実現すること も可能である。 以上の構成によ り、 図 1 6 に示す画像符号化方法を実現する画像 符号化装置を実現できる。 また、 エラ一耐性の高い符号化装置を提 供することができる。

(実施の形態 9 )

図 2 0は本発明の画像符号化装置の構成を示すブロ ック図である , 図 2 0の本発明の画像符号化装置のブロ ック図は、 図 1 7の画像符 号化方法を実現する一例を示す。 なお、 以下の説明において図 1 9 と同一のュニッ 卜に関する説明は省略する。

図 2 0が図 1 9 と異なる点は画像除去ユニッ ト P i cDe I 4におけ る処理である。 具体的には、 画像除去ュニッ ト P i cDe I 4は、 ピクチ ャタイプ情報 PicTypeが S ピクチヤであるこ とを示す場合 （図 1 7 の StepA2の処理に対応） で、 メモ リ内のピクチャ数を比較して同 一でない場合 （図 1 7の StepA 3 0の処理に対応） には、 符号化対 象ピクチャ以外の参照画像メ モ リ Memに保存されている画像を消去 する指令を参照画像メ モ リ Memに通知し、 同時に可変長符号化ュニ ッ ト VLG にもその情報を通知する。 なお、 ピク チャタ イ プ情報 P i cType が I ピクチャであるときも同様である。 また、 本発明の符 号化信号は図 1 0 ( c ) ( d ) と同様の構成である。

以上の構成によ り、 図 1 7 に示す画像符号化方法を実現する画像 符号化装置を実現できる。 また、 エラ一耐性の高い符号化装置を提 供することができる。

(実施の形態 1 0 )

上記実施の形態 7 において、 S ピクチャでピクチャ番号 PNの不達 続が生じたとき、 再送されないピクチャを再送されるまで要求しつ づけるため、 画像の再生ができなく なる恐れがあることを示した。 以下、 この理由によ リ画像の再生がうま くできない例に対する解決 方法について説明する。

図 2 1 ( a ) は符号化信号を復号化する手順を示す。

まず Step 2 0においてピクチャ番号 PN を検出する。 次に、 Step 2 1 においてピクチャタイプ PicType を検出する。 そして StepA 1 において、 検出されたピクチャタイ プが I ピクチャであるかどうか を判断する。 検出されたピクチャタイ プが I ピクチャでなければ、 StepA 3 においてピクチャ番号 PNが連続しているかどうかを判断す る。 一方、 検出されたピクチャタイ プが I ピクチャであれば、 エラ —検出 ' 修正処理をせずに、 一連の処理を終了する。

StepA3においてピクチャ番号 PN が連続していなければ、 StepA 4においてエラー修正がなされる。 一方、 StepA 3においてピクチャ 番号 PNが連続していれば、 エラ一検出処理を終了する。

StepA 4におけるエラー修正とは、 例えば、 上記実施例で述べた最 大保存済 PN 検出や、 PN 再割当といった処理であっても、 メ モ リ上 にある全てのピクチャを削除するこ とを意味する全ピクチャ削除情 報を受けて、 メモリ上にある全てのピクチャを削除する処理でもよ い。

なお、 図 2 1 ( b ) に示すよう に、 図 2 1 ( a ) の StepA 1 をピ クチャタイ プが S ピクチャであるかどうかを判断するステップと し ても同様の符号化処理が可能である。 また、 StepA 1 と StepA 2 とを 合わせて、 I ピクチャであるかまたは S ピクチャであるかの判断を Step 2 1 における ピクチャタイプの検出の後に行ってもよい。

以上のよ うに、 I ピクチャまたは S ピクチャにおいてピクチャ番 号が連続していないときに、 エラ一修正のために再送要求を繰り返 して復号化できなく なることを防止することができる。 なお、 この I ピクチャにおける処理は、 ス ト リームを切り替えることができる ような特別な I ピクチャの場合に特に有効である。

(実施の形態 1 1 )

図 2 2は本発明の画像復号化装置の構成を示すプロ ック図である , 図 2 2の本発明の画像復号化装置のブロ ック図は、 図 2 1 の画像復 号化方法を実現する一例を示す。 なお、 以下の説明において図 1 1 と同一のュニッ 卜に関する説明は省略する。

図 2 2が図 1 1 と異なる点は PN連続判定ユニッ ト PNchkと ピクチ ャタイプ PicTypeとによるエラ一検出ュニッ ト ErrGhkにおける処理 である。 具体的には、 PN連続判定ュニッ 卜 PNchkに入力されるピク チヤ番号 PNが連続していなく 、ピクチャタイプ Pi cTypeが I ピクチ ャまたは S ピクチャでなければ、エラ一検出ュニッ ト Er r Ghkからェ ラ一修正命令 Errが出力される。 エラ一修正命令 Err があれば、 例 えば、 最大保存済 PN検出や、 PN 再割当といった処理、 あるいは、 メ モ リ上にある全てのピクチャを削除することを意味する全ピクチ ャ削除情報を受けて、 メ モ リ上にある全てのピクチャを削除する処 理をする。

以上の構成によ り 、 図 2 1 に示す画像復号化方法を実現する画像 復号化装置を実現できる。 また、 エラー耐性の高い復号化装置を提 供することができる。

(実施の形態 1 2 )

本実施の形態では、 ピクチャ番号 PNの不連続や、 メモリ 内容の不 —致等の問題によってピクチャ番号 PN のエラー検出処理が終わら なく なるこ とを避けることができる別の方法について説明する。 本 実施の形態が実施の形態 7 と異なる点は、 実施の形態 7 における符 号化の処理において全ピクチャを削除するステップがあつたが、 全 ピクチャを削除するときにはさらにピクチャ番号を Γ 0 J から再割 リ 当てすることである。

これによ り、 所定のス ト リ一厶から別のス ト リ一厶へ移動した後 に、 複数のス ト リームそれぞれのメ モリ状態が同一になり、 さ らに ピクチャ番号が初期化されるため、 画面間予測符号化等で参照ピク チヤを必要とする場合でも、 所定のピクチャをメ モ リ上で正確に指 定することができる。 また、 復号化対象となる符号化ス ト リームを 所定のス ト リームから別のス ト リームへ移動する （切替える） とき に、 ピクチャ番号が連続しないこと をエラ一と して修正しないよう にすることによ り 、 復号化できなく なる不都合も解消することがで ぎる。

すでに説明したように、 動画像を符号化して得られる符号化ス ト リームにおいては、 ス トリーム内の各ピクチャに対し、 表示時刻の 順に連続する ピクチャ番号 P Nが付与される。ピクチャ番号 P Nが、 各ピクチャの表示時刻の順に連続するよう付与される理由は、 画像 復号化装置が伝送路を介して符号化ス ト リ ームを受信する場合など において、 符号化ス ト リーム中のピクチャが伝送エラーなどによつ て欠落したこ とを検出することができるからである。 このような画 像復号化装置は、 受信した符号化ス ト リームを復号化中に、 表示時 刻の順に入力されるピクチャ間のピクチャ番号 P Nが 2以上増加し た場合、 先のピクチャを受信してから後のピクチャを受信するまで の間に伝送エラーがあったことを検出 し、 送信側に、 欠落したピク チヤの再送を要求することができる。 したがって、 画像復号化装置 が 1 つの符号化ス ト リームを継続して復号化している限り、 このよ うにして有効に伝送エラーを検出 し、 欠落したピクチャの再送を受 けて、 完全な符号化ス トリームを復号化することができる。

しかし、 同一の動画像を異なるピクチャ レ一 卜で符号化して得ら れる複数の符号化ス ト リー厶を入力と し、 1 つの符号化ス ト リ一ム を復号化中に、 ピクチャ レ一 卜の異なる他の符号化ス ト リ一ムに切 り替えて以降の復号化を継続する画像復号化装置では、 このような エラー検出が逆に、ピクチャ番号 PNのエラー検出処理が終わらなく なるという不具合の原因となる。 これは、 個々の符号化ス ト リーム 内で各ピクチャのピクチャ番号 P Nが表示時刻の順に連続するだけ で、 ピクチャ レー トの異なる符号化ス トリーム間では、 同一時刻に 表示されるべきピクチャであっても、 先頭ピクチャ以外、 ピクチャ 番号 P Nがー致しないことに起因する。 したがって、 画像復号化装 置において、 1 つの符号化ス ト リームの復号化途中で、 復号化対象 を別の符号化ス ト リームに切替えるとき、 同一時刻に表示される クチャであっても ピクチャ番号 P Nが不連続になる。 このよ うに、 ピクチャ番号 PNの不連続や、メモリ内容の不一致等の問題によって ピクチャ番号 PN のエラ一検出処理が終わらな く なることを避ける ために、 実施の形態 7 において付加情報 （全ピクチャ削除情報） を 用いる符号化方法について説明した。 この付加情報とは、 画面内符 号化を行う I ピクチャや上記 s ピクチャを符号化した後のピクチャ の符号化処理で、 ス ト リ一ム切替え時のエラーが生じないよ うに、 符号化対象以外のピクチャを、 符号化も し く は復号化で参照するた めのメモリから全て削除することを示す命令のことである。

以下、 符号化方法について図 2 3 を用いて説明する。 図 2 3 ( a ) は本実施の形態における符号化信号の作成手順を示す。

まず St ep 0 1 においてピクチャ番号 PN を検出する。 次に、 St ep 0 2において Step 0 1 で検出されたピクチャ番号 PNを符号化する。 そ して、 St ep 0 3においてピクチャタイプ P i cType を検出する。Step 0 3において、 検出されたピクチャタイプが S ピクチャであるかど うかを判断する。

検出された ピクチャタイ プが S ピクチャであれば、 Step 0 5にお いてメモ リ上にある全てのピクチャを削除することを意味する全ピ クチャ削除情報を符号化する。 次に Step 0 6 Aにおいて S ピクチャ を符号化する。 そ して St ep O 7 においてピクチャ番号を初期化し、 続いて St ep 0 8において符号化対象の S ピクチャ以外でメ モリ上 にある全ての ピクチャを削除する。 以上で、 付加情報の符号化およ びピクチャ番号 PNの初期化処理を終了する。

検出されたピクチャタイプが S ピクチャでなければ、 ピクチャ番 号は連続するため、 Step O 6 B においてそのピクチャを符号化する が、 付加情報の符号化およびピクチャ番号 PNの初期化処理、 全ピク チヤの削除を行わないで処理を終了する。

Step O 7におけるピクチャ番号 PNの初期化とは、 例えば、 符号化 処理が済んだ S ピクチャにピクチャ番号 0 を付与することである。 つま り、 S ピクチャにおいてピクチャ番号を初期化することによ り、 表示時間の順番で S ピクチャに後続する ピクチャに対して、 S ピク チヤ （ P N = 0 ) から始まる番号 （例えば、 P N = 1 ) を付与する ことになるこ とを意味する。 その結果、 ピクチャ番号 PNの初期化は S ピクチャを符号化 （すなわち S ピクチャのピクチャ番号を符号化 した後） した後に行われることになる。

なお、 Step 0 4において S ピクチャであるかどうかの判断を行つ たが、 I ピクチャであるかどうかの判断をしてもよい。 また、 図 2 3 ( a ) では全ピクチャを削除するステップがある場合には併せて ピクチャ番号を初期化するとよ く 、 ピクチャ番号の初期化処理をす る判断は I ピクチャまたは S ピクチャであるか否かに限られるもの ではない。 また、 Step 0 2におけるピクチャ番号 PNの符号化の処理 は Step 0 1 のピクチャ番号検出の処理よ り後の処理で、 Step 0 7 に おけるピクチャ番号 PN の初期化の処理よ り前であればいずれの時 点において行ってもよい。 また、 Step 0 8 における符号化対象の S ピクチャ以外でメモリ上にある全てのピクチャを削除する処理の後 に StepO 7におけるピクチャ番号 PNの初期化の処理を してもよい。 また、 StepO 5におけるメモリ上にある全てのピクチャを削除する こ と を意味する全ピクチャ削除情報を符号化する処理は Step 0 4 における S ピクチャであるかどうかの判断の後の処理で、 図 2 3 ( a ) に示す処理が終了する前であればいつでもよい。 また、 符号 化対象のピクチャ以外を、 符号化も し く は復号化で参照するための メモ リから全て削除することを意味する付加情報がピクチャタイプ P i cType に含まれるような特別なピクチャタイ プ Pi cType を用いる ことで、 付加情報を符号化しないことも可能である。 更に、 S ピク チヤも し く は I ピクチャで切り替えるためにピクチャ番号 PNを付け 替えるこ とが効果的であるが、 必ずしも S ピクチャや I ピクチャの みで有効な訳ではなく 、 ス ト リ一ムを切替ることができれば P ピク チヤ等でも全ピクチャを削除するステッ プがあればピクチャ番号 PN に対して同様の処理をしてもよい。

図 2 4は、 本実施の形態 1 2の符号化方法を実現する画像符号化 装置の構成を示すブロ ック図である。

ピクチャ番号生成ュニッ 卜 PNGenはピクチャ番号 PN を生成する。 ピクチャ番号 PNは参照画像メ モ リ Memに記憶されている画像を区別 する識別子であり、 参照画像メモリ Memに記憶されている異なる画 像には異なるピクチャ番号 PNが付与される。 通常は、 参照画像メ モ リ Memに画像を保存する都度ピクチャ番号 PN を 「 1 j 増加する。 ま た、 画像符号化ュニッ 卜 PicEncからの通知に従って、 S ピクチャの 符号化後、当該 S ピクチャのピクチャ番号 PN を「 0」に初期化する。 画像除去ュニッ ト P i cDe I 5は、 ピクチャタイプ情報 P i cTypeが S ピクチャであることを示す場合 （図 2 3の Step 0 3の処理に対応） には、 符号化対象ピクチャ以外の参照画像メ モ リ Memに保存されて いる画像を消去する指令 （全ピクチャ削除情報） を参照画像メ モ リ Mem に通知し、 同時に可変長符号化ユニッ ト VLC にもその情報を通 知する。

画像符号化ュニッ ト Pi cEncは、参照画像メ モ リ Memに保存されて いる画像を参照してピクチャタ イプ情報 Pi cTypeで示されるピクチ ャタイプと して入力画像信号 Vinを周波数変換 ■ 量子化等を伴う符 号化し、その結果を画像復号化ュニッ 卜 P i cDecおよび可変長符号化 ュニッ ト VLGに送信する。 また、 画像符号化ュニッ 卜 PicEncは、 S ピクチャを符号化した後、ピクチャ番号生成ュニッ 卜 PNGen2にピク チヤ番号 PN の初期化指示を通知する。

画像復号化ユニッ ト PicDec は画像符号化ュニッ 卜 PicEncで符号 化した結果をピクチャタイ プ情報 Pi cTypeで示されるピクチャタイ プと して逆量子化 ■ 逆周波数変換し、 後続の画像の符号化で参照す るためにピクチャ番号 PNに対応付けて参照画像メ モ リ Memに保存す る。

可変長符号化ュニッ ト VLGは、画像符号化ュニッ ト PicEncで符号 化した結果を可変長符号化してビッ 卜列にすると共に、 復号化で必 要な情報である、 画像除去ュニッ ト P i cDe I 5から通知された参照画 像メ モ リ Memに保存されている画像を消去するための情報 （全ピク チヤ削除情報）、 ピクチャ番号 PN、 ピクチャタイプ情報 PicType を 符号化し、 符号化信号 Str と して出力する。

次に、 復号化方法について図 2 3 ( b ) を用いて説明する。 図 2 3 ( b ) は符号化信号の復号化手順を示す。

まず Step 0 9においてピクチャ番号 PN を復号化する。次に、 Step 0 1 0において全ピクチャ削除情報が符号化されているかどうかを 判断する。

Step 0 1 0において全ピクチャ削除情報が符号化されていると判 断された場合、 Step 0 1 1 において全ピクチャ削除情報を復号化す る。 そして Step 0 1 2 Aにおいてピクチャを復号化する。 さ らに、 Step 0 1 3 において復号化対象のピクチャ以外でメモ リ上にある全 てのピクチャを削除し、 続いて、 Step 0 1 4においてピクチャ番号 PN を初期化する。 以上で、 付加情報の復号化およびピクチャ番号 PN の初期化処理を終了する。

Step 0 1 0において全ピクチャ削除情報が符号化されていないと 判断された場合、 Step 0 1 2 B においてピクチャを復号化し、 付加 情報の復号化およびピクチャ番号 PNの初期化処理を終了する。

Step 0 1 4におけるピクチャ番号 PNの初期化とは、 例えば、復号 化処理が済んだピクチャにピクチャ番号 Γ 0 J を付与することであ る。 つま り、 図 2 3 ( a ) に示した符号化手順で符号化された符号 化信号を復号化する場合は、 S ピクチャにおいてピクチャ番号を初 期化することによ リ、 表示時間の順番で S ピクチャに後続するピク チヤに対して、 S ピクチャから始まる番号を付与することになるこ とを意味する。

なお、 図 2 3 ( b ) では全ピクチャを削除するステップがある場 合にはピクチャ番号を初期化する処理をすればよ く 、 その処理をす るかどうかの判断は、復号化する ピクチャのタイプとは関係はない。 また、 StepO 1 4 における ピクチャ番号 PN の初期化の処理は Step 0 1 3における符号化対象のピクチャ以外でメモリ上にある全ての ピクチャを削除する処理の前の処理であってもよい。 また、 復号化 対象のピクチャ以外を、 復号化で参照するためのメモリから全て削 除するこ とを意味する付加情報がピクチャタイプ P i cTypeに含まれ るような特別なピクチャタ イプ P i cType を用いることで、 付加情報 を符号化しないことも可能である。

図 2 5 は、 本実施の形態 1 2の復号化方法を実現する画像復号化 装置の構成を示すプロ ック図である。

可変長復号化ュニッ ト VLDは符号化信号 Str を復号化し、 様々な 情報 （参照画像メ モ リ Memに保存されている画像を消去する指令、 ピクチャタイ プ情報 Pi cType、 ピクチャ番号 PN、 ピクチャ番号 PN を付け替える情報および画像データ など） を出力する。

まず、 可変長復号化ユニ ッ ト VLD で得られた参照画像メ モ リ Mem に保存されている画像を消去する指令 （全ピクチャ削除情報） は、 画像除去ュニッ ト Pi cDe 16 に通知され、 画像除去ュニッ ト Pi cDel 6 は、 参照画像メ モ リ Memに保存されている指令された画像を消去す る。

可変長復号化ユニ ッ ト VLD で得 られた ピク チャ タ イ プ情報 PicTypeは、 画像復号化ュニッ ト Pi cDecに通知され復号化方法を指 示する。

可変長復号化ュニッ ト VLDで得られたピクチャ番号 PNは、参照画 像メ モ リ Mem に通知され、画像復号化ュニッ ト P i cDecで復号化され た画像を格納する際のピクチャ番号 PN とする。

可変長復号化ュニッ ト VLDで得られた全ピクチャ削除情報は、 ピ クチャ番号変更ュニッ ト PNchg2に通知され、ピクチャ番号変更ュニ ッ 卜 PNchg2はその指示に従い参照画像メ モリ Mem内に保存されてい る画像のピクチャ番号 PN を付け替える （初期化する）。 よ り具体的 には、 ピクチャ番号変更ユニッ ト PNchg2 は、 参照画像メ モ リ Mem 内の復号化対象ピクチャ （ S ピクチャ） 以外の画像が全て削除され た後、 参照画像メ モ リ Memに保存されている画像のピクチャ番号 PN を読み出 し、 読み出されたピクチャ番号 PNの値を 「 0」 に変更した 後、 そのピクチャ番号 Mem を参照画像メ モ リ Memに書き込む。

可変長復号化ュニッ ト VLDで得られた画像データは、 画像復号化 ユニッ ト PicDec において、ピクチャタイ プ情報 PicTypeで示される ピクチャタ イ プに応じた復号化方法で復号化される。 すなわち、 I ピクチャは参照画像メ モ リ Memの画像を参照しないで復号化され、 P ピクチャおよび B ピクチャは参照画像メモ リ Memに保存されてい る画像を参照して復号化される。 このよ うに して得られた復号画像 は参照画像メ モ リ Mem 内に保存されると共に、 復号画像信号 Vout と して出力される。

以上の構成によ り、 図 2 3に示す画像復号化方法を実現する画像 復号化装置を実現できる。 また、 エラー耐性の高い復号化装置を提 供することができる。

このよう に本実施の形態に示す符号化方法、復号化方法によって、 所定のス ト リームから別のス ト リームへ移動した後に、 複数のス ト リームそれぞれのメ モ リ状態が同一になるため、 画面間予測符号化 等で参照ピクチャを必要とする場合でも、 所定のピクチャをメ モ リ 上で正確に指定することができる。

なお、 上記実施の形態においては、 付加情報 （全ピクチャ削除情 報）をピクチャ Pi cType とまとめて符号化してもよいと説明したが、 I ピクチャでは参照メモリの全ピクチャを削除するこ とによ り、 そ の I ピクチャからス ト リームを再生できる特別なピクチャにするこ と力《できる これを IDR ( Instantaneous Decoder Refresh) ピクチ ャと呼ぶ。 I DR ピクチャはランダム ' アクセスの再生開始位置とな ることから G O P ( G r oup of P i ctu r e ) の先頭の I ピクチャと して 有効である。 この I DR ピクチャを符号化するときには毎回、 メ モ リ 内の当該ピクチャ以外のピクチャをすベて削除し、 かつ、 当該ピク チヤの符号化後にピクチャ番号を初期化すると定めておけば、 画像 符号化装置においてメモリ内の当該ピクチャ以外の全ピクチャを削 除した場合でも付加情報を符号化しなく てもよい。 この場合、 画像 復号化装置においては、 符号化ス ト リーム内の I DR ピクチャをピク チヤタイプから検出 し、 I DR ピクチャを復号化する場合には、 付加 情報が符号化されなく ても、 その都度、 メ モ リ内の当該 I DR ピクチ ャ以外のピクチャをすベて削除し、 かつ、 当該ピクチャの符号化 - 復号化後にピクチャ番号を初期化する。

(実施の形態 1 3 )

さ らに、 上記各実施の形態で示した画像符号化方法および画像復 号化方法の構成を実現するためのプログラムを、 フ レキシブルディ スク等の記憶媒体に記録するようにすることによ り 、 上記各実施の 形態で示した処理を、 独立したコンピュータ システムにおいて簡単 に実施することが可能となる。

図 2 6は、 上記実施の形態 1 から実施の形態 1 2の画像符号化方 法および画像復号化方法をコ ンピュータ システムによ り実現するた めのプログラムを格納するための記憶媒体についての説明図である 図 2 6 ( b ) は、 フ レキシブルディスクの正面からみた外観、 断 面構造、 及びフ レキシブルディスク を示し、 図 2 6 ( a ) は、 記録 媒体本体であるフ レキシブルディスクの物理フォーマツ 卜の例を示 している。 フレキシブルディスク F Dはケース F内に内蔵され、 該 ディスクの表面には、 同心円状に外周からは内周に向かって複数の トラック T r が形成され、 各 トラックは角度方向に 1 6のセクタ S e に分割されている。 従って、 上記プログラムを格納したフ レキシ ブルディスクでは、 上記フ レキシブルディスク F D上に割り 当てら れた領域に、 上記プログラムと しての画像符号化方法および画像復 号化方法が記録されている。

また、 図 2 6 ( c ) は、 フレキシブルディスク F Dに上記プログ ラムの記録再生を行うための構成を示す。 上記プログラムをフ レキ シブルディ スク F Dに記録する場合は、 コ ンピュータ システム C s から上記プログラムと しての画像符号化方法および画像復号化方法 をフ レキシブルディ スク ドライ ブを介して書き込む。 また、 フ レキ シブルディ スク内のプログラムによ リ上記画像符号化方法および画 像復号化方法をコ ンピュータシステム中に構築する場合は、 フ レキ シブルディ スク ドライブによ り プログラムをフ レキシブルディ スク から読み出 し、 コ ンピュータシステムに転送する。

なお、 上記説明では、 記録媒体と してフ レキシブルディ スク を用 いて説明を行ったが、 光ディスクを用いても同様に行うことができ る。 また、 記録媒体はこれに限らず、 GD-R0M、 メモリ カー ド、 R O Mカセッ ト等、 プログラムを記録できるものであれば同様に実施す ることができる。

さ らにこ こで、 上記実施の形態で示した画像符号化方法や画像復 号化方法の応用例とそれを用いたシステムを説明する。

図 2 7 は、 コ ンテンツ配信サービスを実現するコ ンテンツ供給シ ステム ex l 0 0の全体構成を示すブロ ック図である。 通信サービス の提供エリ ァを所望の大きさに分割し、 各セル内にそれぞれ固定無 線局である基地局 ex l 0 7 〜 ex 1 1 0が設置されている。

このコンテンツ供給システム ex 1 0 0は、 例えば、 インタ一ネッ ト ex 1 0 1 にインターネッ トサービスプロバイダ ex 1 0 2および 電話網 ex 1 0 4、 および基地局 ex 1 0 7〜ex 1 1 0を介して、 コン ピュータ exl 1 1 、 P D A (personal digital assistant) ex 1 1 2、 カメ ラ ex l 1 3、 携帯電話 ex l 1 4、 カメ ラ付きの携帯電話 e χ 1 1 5などの各機器が接続される。

しかし、 コ ンテンツ供給システム ex l 0 0は図 2 7 のような組合 せに限定されず、 いずれかを組み合わせて接続するようにしてもよ い。また、固定無線局である基地局 ex 1 0 7〜 ex 1 1 0 を介さずに、 各機器が電話網 ex 1 0 4に直接接続されてもよい。

カ メ ラ ex l 1 3 はデジタルビデオカメ ラ等の動画撮影が可能な 機器で あ る 。 ま た 、 携帯電話 は、 P D C ( Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A ( W i deband-Gode Di ision Multiple Access) 方式、 若し く は G S M (Global System for obi le Commun i cat i ons) 方式の携帯電話機、 または P H S (Personal Handyphone System) 等であり、 いずれでも構わない。

また、 ス ト リーミ ングサーノ ex 1 0 3は、 カメ ラ ex 1 1 3から基 地局 ex l 0 9 、 電話網 ex l 0 4 を通じて接続されており 、 カメ ラ ex 1 1 3 を用いてユーザが送信する符号化処理されたデータに基づ いたライブ配信等が可能になる。 撮影したデータの符号化処理は力 メラ exl 1 3で行っても、 データの送信処理をするサーバ等で行つ てもよい。 また、 カメ ラ ex l 1 6で撮影した動画データはコ ンビュ —タ ex l 1 1 を介してス ト リーミ ングサーバ exl 0 3に送信され てもよい。 カメ ラ exl 1 6はデジタルカメ ラ等の静止画、 動画が撮 影可能な機器である。 この場合、 動画データの符号化はカメ ラ ex l 1 6で行ってもコ ンピュータ ex l 1 1 で行ってもどちらでもよい。 また、符号化処理はコンピュータ ex 1 1 1 やカメ ラ ex 1 1 6が有す る L S I ex 1 1 7において処理するこ とになる。なお、画像符号化 - 復号化用のソフ トウェアをコ ンピュータ ex l 1 1 等で読み取り可 能な記録媒体である何らかの蓄積メディア （ C D— R O M、 フレキ シブルディ スク、 ハー ドディスクなど） に組み込んでもよい。 さ ら に、 カメ ラ付きの携帯電話 ex l 1 5で動画データ を送信してもよい, このときの動画データは携帯電話 ex l 1 5が有する L S I で符号 化処理されたデータである。

このコ ンテンツ供給システム ex l 0 0では、 ユーザがカメ ラ ex 1 1 3、 カメ ラ ex l 1 6等で撮影しているコンテンツ （例えば、 音 楽ライブを撮影した映像等） を上記実施の形態同様に符号化処理し てス ト リ ーミ ングサーバ ex l 0 3 に送信する一方で、 ス ト リ 一ミ ン グサーバ ex l 0 3 は要求のあったク ライアン 卜に対して上記コ ン テンッデータ をス ト リーム配信する。 クライアン トと しては、 上記 符号化処理されたデータ を復号化することが可能な、 コンピュータ ex 1 1 1 、 P D A ex 1 1 2、 カメ ラ ex 1 1 3 、 携帯電話 ex 1 1 4等 がある。 このよ うにする ことでコ ンテンツ供給システム ex 1 0 0は 符号化されたデータ をク ライアン トにおいて受信して再生すること ができ、 さ らにクライアン トにおいてリ アルタイムで受信して復号 化し、 再生することによ り、 個人放送をも実現可能になるシステム である。

このシステムを構成する各機器の符号化、 復号化には上記各実施 の形態で示した画像符号化装置あるいは画像復号化装置を用いるよ うにすればよい。

その一例と して携帯電話について説明する。

図 2 8 は、 上記実施の形態で説明 した画像符号化方法と画像復号 化方法を用いた携帯電話 ex 1 1 5を示す図である。携帯電話 ex 1 1 5は、基地局 ex l 1 0 との間で電波を送受信するためのアンテナ ex 2 0 1 、 C C Dカメ ラ等の映像、 静止画を撮ることが可能なカメ ラ 部 ex 2 0 3、 カメ ラ部 ex 2 0 3で撮影した映像、 アンテナ ex 2 0 1 で受信した映像等が復号化されたデータ を表示する液晶ディスプ レイ等の表示部 ex 2 0 2、 操作キー e x 2 0 4群から構成される本 体部、 音声出力をするためのスピーカ等の音声出力部 ex 2 0 8、 音 声入力をするためのマイク等の音声入力部 ex2 0 5、 撮影した動画 も し く は静止画のデータ、 受信したメールのデータ、 動画のデータ も し く は静止画のデータ等、 符号化されたデータまたは復号化され たデータ を保存するための記録メディ ア ex 2 0 7、携帯電話 ex l 1 5 に記録メディア ex 2 0 7 を装着可能とするためのスロ ッ ト部 ex 2 0 6を有している。記録メディア ex 2 0 7 は S Dカー ド等のブラ スチックケース内に電気的に書換えや消去が可能な不揮発性メ モ リ である E E P R O M (Electrical ly Erasable and Programmable Read On I y Memory) の一種であるフラ ッシュメモ リ素子を格納したもので める。

さ らに、 携帯電話 ex 1 1 5について図 2 9 を用いて説明する。 携 帯電話 ex l 1 5は表示部 ex 2 0 2及び操作キー e x 2 0 4 を備ぇ た本体部の各部を統括的に制御するよう になされた主制御部 ex 3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex 3 0 4、 画 像符号化部 ex 3 1 2、 カメ ライ ンタ一フ： cース部 ex 3 0 3 、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、 画像復号化部 ex 3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex 3 0 7、 変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3 を介して互い に接続されている。 電源回路部 ex 3 1 0は、 ユーザの操作によ り終話及び電源キーが オン状態にされると、 バッテリパックから各部に対して電力を供給 する こ とによ リ カメ ラ付ディ ジタル携帯電話 ex l 1 5 を動作可能 な状態に起動する。

携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御 部 ex 3 1 1 の制御に基づいて、 音声通話モー ド時に音声入力部 ex 2 0 5 で集音した音声信号を音声処理部 ex 3 0 5 によってデイ ジ タル音声データ に変換し、 これを変復調回路部 ex 3 0 6でスぺク ト ラム拡散処理し、 送受信回路部 ex 3 0 1 でディ ジタルアナログ変換 処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して 送信する。 また携帯電話機 ex 1 1 5は、 音声通話モー ド時にアンテ ナ ex 2 0 1 で受信した受信データ を増幅して周波数変換処理及び アナログディ ジタル変換処理を施し、 変復調回路部 ex 3 0 6 でスぺ ク トラム逆拡散処理し、 音声処理部 ex 3 0 5によってアナログ音声 データに変換した後、 これを音声出力部 ex 2 0 8 を介して出力する さ らに、 データ通信モー ド時に電子メールを送信する場合、 本体 部の操作キー e X 2 0 4の操作によって入力された電子メールのテ キス 卜データは操作入力制御部 ex 3 0 4を介して主制御部 ex 3 1 1 に送出される。 主制御部 ex 3 1 1 は、 テキス トデータを変復調回 路部 ex 3 0 6でスぺク トラ厶拡散処理し、送受信回路部 ex 3 0 1 で ディ ジタルアナログ変換処理及び周波数変換処理を施した後にアン テナ ex 2 0 1 を介して基地局 ex l 1 0へ送信する。

データ通信モー ド時に画像データを送信する場合、 カメ ラ部 ex 2 0 3で撮像された画像データ をカメ ライ ンタ一フェース部 ex 3 0 3 を介して画像符号化部 ex 3 1 2に供給する。 また、 画像データ を 送信しない場合には、 カメ ラ部 ex 2 0 3で撮像した画像データ を力 メ ライ ンターフ ェース部 ex3 0 3及び L C D制御部 ex3 0 2を介 して表示部 ex 2 0 2に直接表示することも可能である。

画像符号化部 ex 3 1 2は、 本願発明で説明した画像符号化装置を 備えた構成であり 、 カメ ラ部 ex 2 0 3から供給された画像データ を 上記実施の形態で示した画像符号化装置に用いた符号化方法によつ て圧縮符号化することによ り符号化画像データに変換し、 これを多 重分離部 ex 3 0 8に送出する。 また、 この とき同時に携帯電話機 ex 1 1 5は、カ メ ラ部 ex 2 0 3で撮像中に音声入力部 ex2 0 5で集音 した音声を音声処理部 ex 3 0 5 を介してディ ジタルの音声データ と して多重分離部 ex 3 0 8 に送出する。

多重分離部 ex3 0 8は、画像符号化部 ex3 1 2から供給された符 号化画像データ と音声処理部 ex 3 0 5から供給された音声データ とを所定の方式で多重化し、 その結果得られる多重化データを変復 調回路部 ex3 0 6でスぺク トラム拡散処理し、送受信回路部 ex3 0 1 でディ ジタルアナログ変換処理及び周波数変換処理を施した後に アンテナ ex2 0 1 を介して送信する。

データ通信モー ド時にホームページ等にリ ンク された動画像ファ ィルのデータ を受信する場合、アンテナ ex 2 0 1 を介して基地局 ex 1 1 0から受信した受信データ を変復調回路部 ex 3 0 6でスぺク トラム逆拡散処理し、 その結果得られる多重化データ を多重分離部 ex 3 0 8に送出する。

また、 アンテナ ex2 0 1 を介して受信された多重化データを復号 化するには、 多重分離部 ex 3 0 8は、 多重化データ を分離すること によ り画像データのビッ トス 卜 リームと音声データのビッ トス ト リ ームとに分け、 同期バス ex 3 1 3 を介して当該符号化画像データを 画像復号化部 ex3 0 9 に供給する と共に当該音声データ を音声処 理部 ex 3 0 5に供給する。

次に、 画像復号化部 e x 3 0 9は、 本願発明で説明した画像復号化 装置を備えた構成であり、 画像データのビッ トス ト リームを上記実 施の形態で示した符号化方法に対応した復号化方法で復号すること によ り再生動画像データを生成し、 これを L C D制御部 ex 3 0 2を 介して表示部 ex 2 0 2に供給し、 これによ り、 例えばホームページ にリ ンク された動画像ファイルに含まれる動画データが表示される , このとき同時に音声処理部 ex 3 0 5は、 音声データ をアナログ音声 データに変換した後、 これを音声出力部 ex 2 0 8に供給し、 これに より 、 例えばホームページにリ ンク された動画像ファイルに含まる 音声データが再生される。

なお、 上記システムの例に限られず、 最近は衛星、 地上波による ディ ジタル放送が話題となっており、 図 3 0に示すようにディ ジタ ル放送用システムにも上記実施の形態の少なく とも画像符号化装置 または画像復号化装置のいずれかを組み込むことができる。 具体的 には、 放送局 ex 4 0 9では映像情報のビッ トス 卜リームが電波を介 して通信または放送衛星 ex 4 1 0に伝送される。 これを受けた放送 衛星 ex 4 1 0は、 放送用の電波を発信し、 この電波を衛星放送受信 設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ （受信機） ex 4 0 1 またはセッ ト トップボックス （ S T B ) ex 4 0 7などの装置 によ り ビッ トス ト リームを復号化してこれを再生する。 また、 記録 媒体である CD や DVD等の蓄積メディア ex 4 0 2に記録したビッ ト ス ト リー厶を読み取り、 復号化する再生装置 ex 4 0 3 にも上記実施 の形態で示した画像復号化装置を実装することが可能である。 この 場合、 再生された映像信号はモニタ ex 4 0 4に表示される。 また、 ケーブルテレビ用のケーブル ex 4 0 5または衛星 地上波放送の 9

アンテナ ex 4 0 6に接続されたセッ ト トップボックス ex 4 0 7 内 に画像復号化装置を実装し、 これをテレビのモニタ ex4 0 8で再生 する構成も考えられる。 このときセッ 卜 トップボックスではなく 、 テレビ内に画像復号化装置を組み込んでも良い。 また、 アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、 車 ex 4 1 2が有するカーナビゲーショ ン ex 4 1 3等の表示装置に動画を再生することも可能である。

更に、 画像信号を上記実施の形態で示した画像符号化装置で符号 化し、 記録媒体に記録することもできる。 具体例と しては、 DVD デ イ スク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハー ドデ イ スクに記録するディ スク レコーダなどの レコーダ e x4 2 0があ る。 更に SD カー ド e x 4 2 2に記録することもできる。 レコーダ e X 4 2 0が上記実施の形態で示した画像復号化装置を備えていれば DVDディ スク e X 4 2 1 や SDカー ド e x 4 2 2に記録した画像信号 を再生し、 モニタ e x 4 0 8で表示することができる。

なお、 力一ナビゲ一ショ ン ex 4 1 3の構成は例えば図 2 9 に示す 構成のうち、カメ ラ部 ex 2 0 3 とカメ ラインタ一フェース部 ex 3 0 3 、 画像符号化部 e X 3 1 2を除いた構成が考えられ、 同様なこと がコンピュータ ex 1 1 1 やテレビ （受信機） ex 4 0 1 等でも考えら れる。

また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器 ' 復号化器を 両方持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化 器のみの受信端末の 3通りの実装形式が考えられる。

このよう に、 上記実施の形態で示した動画像符号化方法あるいは 動画像復号化方法を上述したいずれの機器 ' システムに用いること は可能であり、 そうすることで、 上記実施の形態で説明した効果を 得るこ とができる。

また、 本発明はかかる上記実施形態に限定されるものではなく 、 本発明の範囲を逸脱する ことなく種々の変形または修正が可能であ る。 産業上の利用の可能性

本発明に係る画像符号化装置は、 通信機能を備えるパーソナルコ ンピュータ、 P D A、 デジタル放送の放送局および携帯電話機など に備えられる画像符号化装置と して有用である。

また、 本発明に係る画像復号化装置は、 通信機能を備えるパーソ ナルコ ンピュータ、 P D A、 デジタル放送を受信する S T Bおよび 携帯電話機などに備えられる画像復号化装置と して有用である。

Claims

請 求 の 範 囲

1 . メモ リに格納した参照ピクチャをピクチャ番号によって特定 して参照し、 動画の符号化ス ト リ一ムを生成する画像符号化方法で あって、

符号化対象ピクチャに対応する ピクチャ番号を符号化するピクチ ャ番号符号化ステップと、

当該符号化対象ピクチャを符号化する符号化ステップと、 前記符号化ステップの実行後、 前記符号化対象ピクチャ以外のピ クチャでメモリ に記憶されている ピクチャを全て不使用にする全ピ クチャ不使用化ステップと、

メ モ リ 内の前記符号化対象ピク チャのピクチャ番号を初期化する ピクチャ番号初期化ステップと、

画像復号化装置に対し、 前記符号化対象ピクチャ以外のピクチャ ですでにメモリに格納されている ピクチャを全て不使用にすること を指示する全ピクチャ不使用化情報を符号化する全ピクチャ不使用 化情報符号化ステップと

を含むことを特徴とする画像符号化方法。

2 . 前記ピクチャ番号初期化ステップでは、 前記符号化対象ピク チヤのピクチャ番号を 「 0」 に初期化する

ことを特徴とする請求の範囲 1 記載の画像符号化方法。

3 . 前記全ピクチャ不使用化ステップでは、 画面内符号化ピクチ ャを符号化対象ピクチャとする前記符号化ステップの実行後、 前記 メモリ に記憶されている前記画面内符号化ピクチャ以外のピクチャ を全て不使用にし、

前記ピクチャ番号初期化ステップでは、 前記画面内符号化ピクチ ャのピクチャ番号を初期化し、

前記全ピクチャ不使用化情報符号化ステップでは、 メモリ に格納 されている前記画面内符号化ピクチャ以外のピクチャを全て不使用 にすることを指示する前記全ピクチャ不使用化情報を符号化する こ とを特徴とする請求の範囲 1 記載の画像符号化方法。

4 . メモリ に格納した参照ピクチャをピクチャ番号によって特定 して参照し、 画像復号化装置における画像の復号化時に複数の符号 化ス ト リ一ム間で復号化対象となる符号化ス ト リー厶を切り換えで きる符号化ス トリ一ムを生成する画像符号化方法であって、

複数の符号化ス ト リーム間で切り換えを選択し得るピクチャに対 し、 初期化された新たなピクチャ番号を付与するピクチャ番号初期 化ステッ プと、

前記ピクチャを符号化して符号化ス ト リームを生成する符号化ス テツプと、

前記ピクチャを符号化する際にすでに前記メ モ リ内に格納されて いる全参照ピクチャを、 前記符号化ステップの実行後、 不使用にす る全ピクチャ不使用化ステップと

を含むことを特徴とする画像符号化方法。

5 . メ モリ に格納したピクチャ番号によって特定される参照ピク チヤを参照して符号化ス ト リームを生成する画像符号化方法であつ て、

複数の符号化ス トリーム間で切 り換えを選択し得るピクチャに対 し、 当該ピクチャが属するス ト リームにおける連続番号で与えられ るピクチャ番号で前記ピクチャを符号化して前記符号化ス ト リーム を生成する符号化ステップと、

前記ピクチャを符号化する際にすでに前記メ モ リ内に格納されて いる全ピクチャを、 前記符号化ステップの実行後、 不使用にする全 ピクチャ不使用化ステップと、

前記符号化ステップの実行後に前記ピクチャのピクチャ番号を初 期化するピクチャ番号初期化ステップと

を含むことを特徴とする画像符号化方法。

6 . 複数の画像信号を符号化して各画像に対する符号化信号を生 成する画像符号化方法であって、

前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピク チヤ以降から参照できるピクチャは前記符号化信号で同じ時刻のピ クチャ群のみである

ことを特徴とする画像符号化方法。

7 . 前記切換ピクチャの直前で参照可能なピクチャ群以外を不使 用にし、 その不使用にしたピクチャの情報を符号化する

ことを特徴とする請求の範囲 6記載の画像符号化方法。

8 . 複数の画像信号を符号化して各画像に対する符号化信号を生 成する画像符号化方法であって、

前記複数の符号化信号を切換可能な切換ピクチャのピクチャ番号 を前記各符号化信号で同じ値に変更する仕組みを有する

ことを特徴とする画像符号化方法。

9 . 前記切換可能なピクチャの前のピクチャで、 前記切換可能な ピクチャのピクチャ番号を符号化する

ことを特徴とする請求の範囲 8記載の画像符号化方法。

1 0 . 前記切換可能なピクチャの前のピクチャで、 参照ピクチャ のピクチャ番号を前記切換可能なピクチャのピクチャ番号と連続す る値となるよ うにピクチャ番号の再割当に関する情報を符号化する ことを特徴とする請求の範囲 9記載の画像符号化方法。

1 1 . 前記切換可能なピクチャで、 参照ピクチャのピクチャ番号 を切換可能なピクチャのピクチャ番号と連続する値となるよ うにピ クチャ番号を再割当する

こ とを特徴とする請求の範囲 9記載の画像符号化方法。

1 2 . 同一画像を異なるピクチャ レー トで符号化した複数のス ト リームをメモリに格納し、

前記複数のス ト リームの一つのス ト リ一厶にしたがって、 切換え 元のピクチヤまで符号化を進め、

前記記憶されたス ト リームの中でその他のス ト リ一厶に属する切 換え先のピクチャと前記切換え元のピクチャと.の間で、 当該その他 のス ト リームに属する当該切換え先のピクチャの前のピクチャと同 じ時刻に対応させてスィ ツチピクチャを符号化し、

前記符号化されたスィ ツチピクチャのピクチャ番号を、 前記切換 え先のピクチャのピクチャ番号と連続するように変更し、

前記切換え先のピクチャから符号化を更に進める こ とを特徴とする画像符号化方法。

1 3 . 符号化対象ピクチャのピクチャ番号を検出する第 1 の検出 ステップと、

前記符号化対象ピクチャのピクチャタイ プを検出する第 2の検出 ステップと、

前記第 2の検出ステップにおいて画面内符号化を行う I ピクチャ または復号化装置において複数のス ト リーム間を切り替えてもス ト リームの復号化ができるように保証されている S ピクチャが検出さ れたとき、 前記 I ピクチャまたは前記 S ピクチャを符号化した後に 前記 I ピクチャまたは前記 S ピクチャ以外のピクチャでメ モリに記 憶されている ピクチャを全て不使用にするステップと、

復号化装置において前記 I ピクチャまたは前記 S ピクチャを復号 化した後に前記 I ピクチャまたは S ピクチャ以外のピクチャでメモ リ に記憶されている ピクチャを全て不使用にする全ピクチャ不使用 化情報を符号化するステップと

を有することを特徴とする画像符号化方法。

1 4 . 符号化対象ピクチャのピクチャ番号を検出する第 1 の検出 ステップと、

前記符号化対象ピクチャのピクチャタイ プを検出する第 2の検出 ステップと、

前記第 2の検出ステップにおいて画面内符号化を行う I ピクチャ または復号化装置において複数のス ト リーム間を切り替えてもス ト リームの復号化ができるよう に保証されている S ピクチャが検出さ れたとき、 前記第 1 の検出ステップで検出された前記ピクチャ番号 が連続しているかどうかを判断するステップと、

前記ピクチャ番号が連続していないとき、 前記 I ピクチャまたは 前記 S ピクチャを符号化した後に前記 I ピクチャまたは前記 S ピク チヤ以外のピクチャでメモリに記憶されているピクチャを全て不使 用にするステップと、

復号化装置において前記 I ピクチャまたは前記 S ピクチャを復号 化した後に前記 I ピクチャまたは S ピクチャ以外のピクチャでメモ リ に記憶されているピクチャを全て不使用にする全ピクチャ不使用 化情報を符号化するステップと

を有することを特徴とする画像符号化方法。

1 5 . 複数のス ト リームそれぞれのメモリ に記憶されている符号 化対象ピクチャで、 符号化対象ス ト リームの符号化対象ピクチャの ピクチャ番号を検出する第 1 の検出ステップと、

前記符号化対象ピクチャのピクチャタイ プを検出する第 2の検出 ステップと、

前記第 2の検出ステップにおいて画面内符号化を行う I ピクチャ または復号化装置において複数のス ト リーム間を切り替えてもス 卜 リームの復号化ができるよ うに保証されている S ピクチャが検出さ れたとき、 前記第 1 の検出ステップで検出された前記ピクチャ番号 が連続しているかどうかを判断する第 1 の判断ステップと、

前記ピクチャ番号が連続しているとき、 ス 卜 リームを切替えた時 点で前記複数のス ト リームそれぞれのメモリ に同一数のピクチヤが 記憶されているかどうかを判断する第 2の判断ステップと、

前記第 2の判断ステップで同一のピクチャ数が記憶されていない と判断されたとき、 前記 I ピクチャまたは前記 S ピクチャを符号化 した後に前記 I ピクチャまたは前記 S ピクチャ以外のピクチャでメ モリ に記憶されているピクチャを全て不使用にするステップと、 復号化装置において前記 I ピクチャまたは前記 S ピクチャを復号 化した後に前記 I ピクチャまたは S ピクチャ以外のピクチャでメモ リ に記憶されているピクチャを全て不使用にする全ピクチャ不使用 化情報を符号化するステップと

を有することを特徴とする画像符号化方法。

1 6 . メ モリ に格納した参照ピクチャをピクチャ番号によって特 定して参照し、 動画の符号化ス ト リ一ムを復号化する画像復号化方 法であって、

符号化ス ト リームから、 復号化対象ピクチャ以外のピクチャで、 すでにメ モリ に格納されているピクチャを全て不使用にすることを 意味する全ピクチャ不使用化情報を検出 して復号化する全ピクチャ 不使用化情報復号化ステップと、

前記符号化ス ト リームから前記復号化対象ピクチャを復号化する 復号化ステップと、

前記復号化ステップの実行後に、 復号化された前記全ピクチャ不 使用化情報に従って、 前記復号化対象ピクチャ以外のピクチャで、 すでにメ モリ に格納されているピクチャを全て不使用にする全ピク チヤ不使用化ステップと、

メモリ 内の前記復号化対象ピクチャに対し、 初期化された新たな ピクチャ番号を付与する ピクチャ番号初期化ステップと

を含むことを特徴とする画像復号化方法。

1 7 - 前記ピクチャ番号初期化ステップでは、 メ モ リ内の前記復 号化対象ピクチャに対し、 Γ 0 J に初期化された新たなピクチャ番号 を付与する

ことを特徴とする請求の範囲 1 6記載の画像復号化方法。

1 8 . 前記全ピクチャ不使用化情報復号化ステップでは、 画面内 符号化ピクチャを前記復号化対象ピクチャとする前記全ピクチャ不 使用化情報を検出 して復号化し、

前記復号化ステップでは、 前記画面内符号化ピクチャを復号化対 象ピクチャと して復号化し、

前記全ピクチャ不使用化ステップでは、 前記画面内符号化ピクチ ャを復号化対象ピクチャと してメモリに格納されているピクチャを 全て不使用にし、

前記ピクチャ番号初期化ステップでは、 前記画面内符号化ピクチ ャを復号化対象ピクチャと して新たなピクチャ番号を付与する ことを特徴とする請求の範囲 1 6記載の画像復号化方法。

1 9 . メモリ に格納したピクチャ番号によって特定される参照ピ クチャを参照して復号化可能な画像復号化方法であって、

符号化ス ト リームから所定のピクチャを復号化する復号化ステツ プと、

前記ピクチャを復号化する際にすでに前記メ モ リ 内に格納されて いる全ピクチャを、 前記ピクチャの復号化完了後に不使用にする全 ピクチャ不使用化ステップと

を含むことを特徴とする画像復号化方法。

2 0 . 前記画像復号化方法は、 さ らに、 前記復号化ステップの実行前に、 前記所定のピクチャに対し、 ピ クチャ番号を初期化するピクチャ番号初期化ステップ

を含むこ とを特徴とする請求の範囲 1 9記載の画像復号化方法。 2 1 . メ モリ に格納したピクチャ番号によって特定される参照ピ クチャを参照して復号化する画像復号化方法であって、

復号化対象ピクチャに対し、 ピクチャ番号を復号化するピクチャ 番号復号化ステップと、

前記符号化ス トリームから前記復号化対象ピクチャを復号化する 復号化ステップと、

復号化されたピクチャ番号の連続性に基づいて、 前記符号化ス ト リームの誤り検出を行う誤り検出ステップとを含み、 前記誤り検出ステップは、 復号化対象ピクチャが、 特別なピクチ ャの場合には前記誤り検出を行わない ことを特徴とする画像復号化方法。

2 2 . 前記特別なピクチャは画面内符号化ピクチャであって、 前記画像復号化方法は、 さ らに、

前記特別なピクチャを復号化対象ピクチャとする前記復号化ステ ップの実行後に、 前記復号化対象ピクチャ以外のピクチャで、 すで にメモリ に格納されている ピクチャを全て不使用にする全ピクチャ 不使用化ステップ

を含むこ とを特徴とする請求の範囲 2 1 記載の画像復号化方法。

2 3 . 前記特別なピクチャは、 複数の符号化ス ト リームの間で復 号化対象となる符号化ス トリームの切 り替えを選択できるピクチャ であって、

前記画像復号化方法は、 さ らに、

前記特別なピクチャを復号化対象ピクチャとする前記復号化ステ ップの実行後に、 前記復号化対象ピクチャ以外のピクチャで、 すで にメ モリ に格納されているピクチャを全て不使用にする全ピクチャ 不使用化ステップ

を含むこと を特徴とする請求の範囲 2 1 記載の画像復号化方法。

2 4 . 符号化信号を復号化する画像復号化方法であって、

切換可能な切換ピクチャの前で不使用にしたピクチャの情報を復 号化し、 前記復号化した結果に基づき参照画像メ モリから復号化し たピクチャを不使用にし、 切換ピクチャ以後では不使用にされなか つた参照ピクチャのみを参照して符号化信号を復号化する

ことを特徴とする画像復号化方法。

2 5 . 符号化信号を復号化する画像復号化方法であって、

前記符号化信号を切換可能な切換ピクチャで切 り換える際に、 参 照ピクチャのピクチャ番号を切換可能な符号化信号で同じ値に変更 する仕組みを有する

ことを特徴とする画像復号化方法。

2 6 . 前記切換可能なピクチャの前のピクチャで、 切換可能なピ クチャのピクチャ番号を復号化する

ことを特徴とする請求の範囲 2 5記載の画像復号化方法。

2 7 . 前記切換可能なピクチャの前のピクチャで、 ピクチャ番号 の再割当に関する情報を復号化し、 参照ピクチャのピクチャ番号を 切換可能なピクチャのピクチャ番号と連続する値となるよ うにする ことを特徴とする請求の範囲 2 6記載の画像復号化方法。

2 8 . 前記切換可能なピクチャで、 参照ピクチャのピクチャ番号 を切換可能なピクチャのピクチャ番号と連続する値となるようにピ クチャ番号を再割当する

ことを特徴とする請求の範囲 2 6記載の画像復号化方法。

2 9 . 復号化対象ピクチャのピクチャ番号を検出する第 1 の検出 ステップと、

前記復号化対象ピクチャのピクチャタイ プを検出する第 2の検出 ステップと、

前記第 2の検出ステップにおいて画面内符号化された I ピクチャ または復号化装置において複数のス ト リーム間を切り替えてもス 卜 リームの復号化ができるように保証されている S ピクチャが検出さ れたとき、 前記 I ピクチャまたは前記 S ピクチャを復号化した後に 前記 I ピクチャまたは前記 S ピクチャ以外のピクチャでメ モリ に記 憶されているピクチャを全て不使用にするステップと

を有することを特徴とする画像復号化方法。

3 0 . 復号化対象ピクチャのピクチャ番号を検出する第 1 の検出 ステップと、

前記復号化対象ピクチャのピクチャタイ プを検出する第 2の検出 ステップと、

前記第 2の検出ステップにおいて画面内符号化された I ピクチャ または復号化装置において複数のス 卜 リーム間を切 り替えてもス ト リームの復号化ができるように保証されている S ピクチャが検出さ れなかったとき、 前記第 1 の検出ステップで検出された前記ピクチ ャ番号が連続しているかどうかを判断するステップと、

前記ピクチャ番号が連続していないとき、 前記ピクチャ番号が連 続していないことによる不具合を修正するステップと

を有するこ とを特徴とする画像復号化方法。

3 1 . 前記不具合を修正するステップにおいて、 連続していない 部分のピクチャ番号に対応するピクチャの再送を要求し、 再送され たピクチャを復号化する

こ とを特徴とする請求の範囲 3 0記載の画像復号化方法。

3 2 . 切換ピクチャの直前で参照可能なピクチャ群以外を参照画 像メモリ内で不使用にする不使用化手段と、

前記不使用にしたピクチャの情報を符号化する第 1 の符号化手段 参照画像メモリの画像を参照して画像信号を符号化する第 2の符 号化手段と

を備えたことを特徴とする画像符号化装置。

3 3 . 複数の符号化信号を切換可能な切換ピクチャのピクチャ番 号を前記各符号化信号で同じ値に変更するピクチャ番号変更手段と 前記変更方法を符号化する第 1 の符号化手段と、 画像信号を符号化する第 2の符号化手段と

を備えたことを特徴とする画像符号化装置。

3 4 . 符号化信号を復号化して切換ピクチャの前で不使用にした ピクチャの情報を復号化する第 1 の復号化手段と、

前記第 1 の復号化手段の復号化した結果に基づいて参照画像メモ リ 内の画像を不使用にする不使用化手段と、

前記参照画像メモリの画像を参照して前記符号化信号を復号化す る第 2の復号化手段と

を備えたことを特徴とする画像復号化装置。

3 5 . 符号化信号を復号化して複数の符号化信号を切換可能な切 換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更する 方法を復号化する第 1 の復号化手段と、

前記第 1 の復号化手段の復号化した結果に基づいて切換ピクチャ のピクチャ番号を前記各符号化信号で同じ値に変更する ピクチャ番 号変更手段と、

前記符号化信号を復号化する第 2の復号化手段と

を備えたこと を特徴とする画像復号化装置。

3 6 . コ ンピュータに、 複数の画像信号を符号化して各画像に対 する符号化信号を生成する画像符号化方法を実行させるプログラム であって、

前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピク チヤ以降から参照できるピクチャは前記符号化信号で同じ時刻のピ クチャ群のみである画像符号化方法を実行させるためのプログラム

3 7 . コ ンピュータに、 複数の画像信号を符号化して各画像に対 する符号化信号を生成する画像符号化方法を実行させるプログラム であって、

前記複数の符号化信号を切換可能な切換ピクチャのピクチャ番号 を前記各符号化信号で同 じ値に変更する仕組みを有する画像符号化 方法を実行させるためのプログラム。

3 8 . コ ンピュータに、 符号化信号を復号化する画像復号化方法 を実行させるプログラムであって、

切換可能な切換ピクチャの前で不使用にしたピクチャの情報を復 号化し、 前記復号化した結果に基づき参照画像メ モリから復号化し たピクチャを不使用にし、 切換ピクチャ以後では不使用にされなか つた参照ピクチャのみを参照して符号化信号を復号化する画像復号 化方法を実行させるためのプログラム。

3 9 . コ ンピュータに、 符号化信号を復号化する画像復号化方法 を実行させるプログラムであって、

前記符号化信号を切換可能な切換ピクチャで切り換える際に、 参 照ピクチャのピクチャ番号を切換可能な符号化信号で同じ値に変更 する仕組みを有する画像復号化方法を実行させるためのプログラム