JP5171662B2

JP5171662B2 - 画像符号化方法および画像符号化装置

Info

Publication number: JP5171662B2
Application number: JP2009013682A
Authority: JP
Inventors: 眞也角野; 敏志近藤; 誠羽飼; 清史安倍
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-04-16
Filing date: 2009-01-23
Publication date: 2013-03-27
Anticipated expiration: 2023-03-28
Also published as: JP2009081898A

Description

本発明は、動画像信号を画面間の相関を利用して効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法、並びにそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４kbits（電話品質）、さらに動画については１秒当たり１００Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をデジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総合デジタル網（ISDN:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合電気通信標準化部門）で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、MPEG（Moving Picture Experts Group）とは、動画像信号のデジタル圧縮の国際規格であり、MPEG-1は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-1規格では対象とする品質を伝送速度が主として約１．５Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-2では、動画像信号を２〜１５Mbpsに圧縮する。

さらに現状では、MPEG-1、MPEG-2と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、より圧縮率が高いMPEG-4が規格化された。MPEG-4では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ISO/IECとITU-Tの共同で次世代画面符号化方式として、JVT（Joint Video Team）の標準化活動が進んでおり、現時点ではジョイント・モデル２（JM2）と呼ばれるものが最新である。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。

ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

JVTでは、従来の動画像符号化と異なり、前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択することが可能である。また、符号化したストリームを特定のピクチャで切替可能にするような仕組みを導入し、Sピクチャ（SIピクチャおよびSPピクチャと呼ばれ、それぞれSピクチャで画面内予測符号化、画面間予測符号化に対応する）が導入された。

Sピクチャは、複数のストリームから、Sピクチャの直前でストリームを切り替えてもSピクチャ以降のストリームが正しく復号化できることを保証する仕組みであり、動画配信サーバなどで受信端末との間の通信容量や受信者の嗜好に合わせて、サーバでストリームを切替ることが可能になる。

さて、このような従来の画像符号化方法および画像復号化方法では、（１）前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択することができるようにし、（２）特定のピクチャでストリームを切替ることができるようSピクチャを導入した。しかしながら、このように２つの技術が導入されているにもかかわらず、残念ながらその両者を組合せた場合について発生する問題については十分に考慮されておらず、以下に記載する課題により、実際には両者を併用することが困難であった。

図２９は、入力画像信号Vinを符号化した場合のピクチャとピクチャ番号PNとの対応を説明する図である。ストリーム１、ストリーム２、ストリーム３は同じ画像信号を異なるピクチャレート（１秒あたりのピクチャ数）で符号化したものである。ピクチャ番号PNは符号化したピクチャを識別するための番号であり、JM2では参照画像として後続の符号化で参照されるものは「１」ずつ増加する番号が割り当てられることになっている。説明を簡単にするため、図２９の例では各ストリームで全てのピクチャを後続の符号化で参照されるものとし、ピクチャ番号PNの値が常に「１」ずつ増える場合のみ記載している。後続の符号化で参照されないピクチャはピクチャ番号PNの増減に影響を与えず、メモリにも保存されない。したがって、後続の符号化で参照されないピクチャについては、今後の動作の説明には影響を与えないので、説明を省略する。

さて、図２９に示すように、時刻t３において、各ストリームの斜線で示されるピクチャはSピクチャとして符号化される。図３０は、Sピクチャを符号化および復号化する際に、参照画像メモリMemに格納される画像のピクチャ番号PNを示す図である。

図３０は参照画像メモリMemに記憶されている画像およびその位置を表している。参照画像メモリMem内で左位置のピクチャは右位置に格納されているピクチャより時刻が新しい。予測符号化する際には、符号化および復号化で同じ画像を参照する必要があり、JM2のように複数の参照画像から参照画像を選択可能な場合にはどの画像を参照したかを明示する必要がある。

参照画像を明示するには、下記の２通りの方法があり、JM2では目的に応じて両者を使い分けている。

（１）時刻が新しいものから何ピクチャ前かの情報を明示する
（２）ピクチャ番号PNによって参照するピクチャを明示する

Sピクチャでストリームを切り替えた際に、SピクチャおよびSピクチャより後のピクチャを正しく符号化し、かつ、復号化の時点で正しく復号化できるためには、Sピクチャでどのストリームからどのストリームに切り替えた場合でも、参照画像メモリMemの内容が一致していなければならない。
ITU-T勧告 H.263AnnexU(11/00) "Enhanced reference picture selection mode"

しかしながら、図３０の参照画像メモリMemに格納される画像のピクチャ番号PNの説明図から明らかなように、ストリーム毎にSピクチャ符号化・復号化開始時点で参照画像メモリMemの内容が一致していないため、従来の方法のままでは、参照画像メモリMem内から参照ピクチャを選択する符号化方法と、ストリームを切り替えるSピクチャの仕組みを組み合わせて使用することはできない。

そこで、本発明は以上の課題を解決し、Sピクチャの仕組みが参照画像メモリMem内から参照ピクチャを選択する符号化方法と組み合わせて使用できるようにし、Sピクチャを用いた場合でも前記符号化手法における圧縮率を向上することができる画像符号化方法および画像復号化方法を提供することを目的とする。

この課題を解決するために、
第１の発明は、メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを生成する画像符号化方法であって、符号化対象ピクチャに対応するピクチャ番号を符号化するピクチャ番号符号化ステップと、当該符号化対象ピクチャを符号化する符号化ステップと、前記符号化ステップの実行後、前記符号化対象ピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、メモリ内の前記符号化対象ピクチャのピクチャ番号を初期化するピクチャ番号初期化ステップと、画像復号化装置に対し、前記符号化対象ピクチャ以外のピクチャですでにメモリに格納されているピクチャを全て不使用にすることを指示する全ピクチャ不使用化情報を符号化する全ピクチャ不使用化情報符号化ステップとを含むことを特徴とする画像符号化方法である。

第２の発明は、メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを復号化する画像復号化方法であって、符号化ストリームから、復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にすることを意味する全ピクチャ不使用化情報を検出して復号化する全ピクチャ不使用化情報復号化ステップと、前記符号化ストリームから前記復号化対象ピクチャを復号化する復号化ステップと、前記復号化ステップの実行後に、復号化された前記全ピクチャ不使用化情報に従って、前記復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、メモリ内の前記復号化対象ピクチャに対し、初期化された新たなピクチャ番号を付与するピクチャ番号初期化ステップとを含むことを特徴とする画像復号化方法である。

第３の発明は、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切替可能な切替ピクチャおよび切替ピクチャ以降から参照できるピクチャは前記符号化信号で同じ時刻のピクチャ群のみである画像符号化方法である。

第４の発明は、符号化信号を復号化する画像復号化方法であって、切替可能な切替ピクチャの前で不使用にしたピクチャの情報を復号化し、前記復号化した結果に基づき参照画像メモリから復号化したピクチャを不使用にし、切替ピクチャ以後では不使用にされなかった参照ピクチャのみを参照して符号化信号を復号化する画像復号化方法である。

第５の発明は、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切替可能な切替ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更する仕組みを有する画像符号化方法である。

第６の発明は、符号化信号を復号化する画像符号化方法であって、前記符号化信号を切替可能な切替ピクチャで切り替える際に、参照ピクチャのピクチャ番号を切替可能な符号化信号で同じ値に変更する仕組みを有する画像復号化方法である。

以上の様に、本発明にかかる画像符号化方法および画像復号化方法によれば、Sピクチャの仕組みと参照画像メモリMem内から参照ピクチャを選択する符号化方法とを組み合わせて使用できるようにし、Sピクチャを用いた場合でも前記符号化方法における圧縮率を向上することができる画像符号化方法および画像復号化方法を提供することができ、その実用的価値は高い。

以下、本発明の実施の形態について、図１から図２８を用いて説明する。

（実施の形態１）
図１は、参照画像メモリMemに格納される画像のピクチャ番号PNの説明図である。同図と、図３０の参照画像メモリMemに格納される画像のピクチャ番号PNの説明図の違いを以下で説明する。

従来はSピクチャを符号化・復号化する際に、符号化信号を切り替えると参照画像メモリMemの内容が一致しないことを説明した。そこで、本発明の符号化・復号化方法では、図２９の入力画像信号Vinを符号化した場合のピクチャとピクチャ番号PNの対応説明図で、全てのストリームでピクチャが一致する時刻t０、t１、t２の画像のみを参照画像メモリMemに記憶し、それ以外の画像をSピクチャの符号化・復号化前に参照画像メモリMemから削除する。その結果を示すのが図１の参照画像メモリMemに格納される画像のピクチャ番号PNの説明図である。

図１の参照画像メモリMemに格納される画像のピクチャ番号PNの説明図から明らかなように、符号化・復号化で参照画像を明示する場合に、「時刻が新しいものから何ピクチャ前かの情報を明示する」という方法を用いれば、ストリーム１、ストリーム２、ストリーム３のいずれの場合でも同じ時刻の画像を参照することになるため、符号化・復号化が正しく行えることになる。

図２は本発明の画像符号化方法および画像復号化方法の参照画像メモリMemに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。

図２（ａ）の符号化方法のフローチャートは、図１を用いて説明した動作の実現方法とそのために必要な情報の符号化・復号化方法を示す。

Step０では複数の符号化情報（ストリーム）の中で時刻が同じピクチャを選択する。Step１ではStep０で選択した以外のピクチャを削除することを示す削除情報を符号化する。Step２ではStep０で選択した以外のピクチャを参照画像メモリMemから削除する。以上のようにして、図１に示すように、符号化信号を切り替えても復号可能なストリームを実現するための参照画像メモリMem格納状態を実現できる。

なお、Step１とStep２の順序は入れ替えてもよく、その場合は図２（ｂ）に示す画像符号化方法のフローチャートになる。

図２（ａ）の符号化方法のフローチャートで符号化した削除情報を図２（ｃ）の復号化方法のフローチャートで示す方法で復号化することで、図１に示すように、符号化信号を切り替えても復号可能なストリームを実現するための参照画像メモリMem格納状態を画像復号化方法で実現できる。

Step５で削除情報を復号化することで、複数の符号化情報（ストリーム）の中で時刻が同じでないピクチャを明示できる。これは図２（ａ）のStep０で選択した時刻が同じピクチャ以外のものに相当する。次に、Step６では、Step５で選択したピクチャを参照画像メモリMemから削除する。具体的には、参照画像メモリMem内に保存されているピクチャを削除（または消去）する場合、削除されるべきピクチャに、参照画像として使用することを禁止する「不使用」などの識別情報を設定することによって行う。これに対応して、画像復号化ユニットPicDecと画像符号化ユニットPicEncとは、参照画像メモリMem内に保存されているピクチャを参照する際には必ず「不使用」の識別情報が設定されているか否かを確認した上、「不使用」の識別情報が設定されている場合にはそのピクチャを参照せず、「不使用」の識別情報が設定されていないピクチャのみを参照する。以下の実施の形態においても同様にして参照画像メモリMem内のピクチャを削除（または消去）する。もちろん、この削除方法は一例であり、参照画像メモリMem内から前記ピクチャのデータを実際に削除（または消去）してしまうことによって削除してもよいことはいうまでもない。以上のようにして、符号化信号を切り替えても、図１に示すように復号可能なストリームを実現するための参照画像メモリMem格納状態を実現できる。

（実施の形態２）
図３（ａ）は参照画像メモリMemに格納される画像のピクチャ番号PNの説明図である。図３（ａ）と図１の参照画像メモリMemに格納される画像のピクチャ番号PNの説明図の違いは、参照画像メモリMem内のピクチャ番号PNが一致するか否かである。

参照画像メモリMem内に保存されているピクチャの時刻だけでなく、参照画像メモリMem内のピクチャ番号PNも全ての符号化信号で一致されることで、符号化・復号化で参照画像を明示する場合に、「ピクチャ番号PNによって参照するピクチャを明示する」という方法が利用可能になり、ストリーム１、ストリーム２、ストリーム３のいずれの場合でも同じ時刻の画像を参照することになるため、符号化・復号化が正しく行えることになる。

これを実現するためには、Sピクチャの符号化・復号化の前に、参照画像メモリMem内に保存されているピクチャのピクチャ番号PNを同じ値に付け替え、その付け替えのための情報を符号化・復号化すればよい。

更に、次にSピクチャを保存する際も同じピクチャ番号PNとして保存しなければならないので、Sピクチャのピクチャ番号PNも、どのストリームの場合でも一致させる必要がある。

図４は本発明の画像符号化方法および画像復号化方法の参照画像メモリMemに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートであり、図３（ａ）を用いて説明した動作の実現方法とそのために必要な情報の符号化・復号化方法を示す。

Step１０では切替対象の符号化信号で参照画像メモリMemに含まれているピクチャのピクチャ番号PNの最大値（図３（ａ）の例では８）を検出する。Step１２ではピクチャ番号PNの最大値を基準とし、参照画像メモリMemに格納されている各ピクチャのピクチャ番号PNを割り当てなおすための情報を符号化する。また、必要に応じて、次のSピクチャに割り当てるべきピクチャ番号PNも符号化する。なお、図３（ａ）のストリーム３と図１のストリーム３は同じであるから、ストリーム３については割り当てなおす必要は無い。従って、ピクチャ番号PNの割り当てなおしは必要なもののみ実施し、必要な割り当てなおしの情報のみStep１１で符号化すれば良い。最後にStep１１で符号化した情報で示すピクチャ番号PNの割り当てなおしをStep１２で実施する。以上のようにして、図３に示すように、符号化信号を切り替えても復号可能なストリームを実現するための参照画像メモリMem格納状態を実現できる。

また、Sピクチャのピクチャ番号PNは１２であるから、Sピクチャの符号化・復号化後にピクチャ番号PNが連続するようにするためには、図３（ｂ）に示すようにSピクチャ直前のピクチャ番号PN（図２９のストリーム１のSピクチャ直前）である１１を用いてもよい。この場合はSピクチャのピクチャ番号PNは１２であるから、符号化・復号化過程で常にピクチャ番号PNが増加することになり、ピクチャ番号PNが減少した場合をエラーとするエラー検出機能も実現することができてより効果的である。

図５は本発明の入力画像信号Vinを符号化した場合のピクチャとピクチャ番号PNの対応説明図である。図５は図３（ｂ）で説明した方法でピクチャ番号PNの割り当てなおしをした例であり、Sピクチャでピクチャ番号PNが全て１２になっており、Sピクチャ符号化・復号化する際に参照画像メモリMemの画像がストリームに依らず一定であれば、Sピクチャでストリームを切り替えても、Sピクチャ以降の全ての画像が正しく復号化できることは明らかである。

なお、Step１１とStep１２の順序は入れ替えてもよく、その場合は図４（ｂ）に示す画像符号化方法のフローチャートになる。

図４（ａ）の符号化方法のフローチャートで符号化した削除情報を図４（ｃ）の復号化方法のフローチャートで示す方法で復号化することで、図３（ａ）に示すように、符号化信号を切り替えても復号可能なストリームを実現するための参照画像メモリMem格納状態を画像復号化方法で実現できる。

Step１５でピクチャ番号PNの割り当てなおしの情報を復号化することで、ピクチャ番号PNの割り当てなおしが必要な画像とその方法を特定できる。次に、Step１６では、Step１５で復号化した、ピクチャ番号PNの割り当てなおしが必要な画像とその方法に基づいて、参照画像メモリMemのピクチャ番号PNの割り当てなおしを行う。以上のようにして、符号化信号を切り替えても、図３に示すように復号可能なストリームを実現するための参照画像メモリMem格納状態を実現できる。

なお、本実施の形態では、実施の形態１と組合せた形での有効性を説明したが、「ピクチャ番号PNによって参照するピクチャを明示する」場合に正しく符号化・復号化できるという長所は実施の形態２のみで実現できるものであり、この効果のみで十分な場合は実施の形態１と組合せないで利用することも可能である。

（実施の形態３）
図６は図３の参照画像メモリMemに格納される画像のピクチャ番号PNの説明図を実現するための別の実施の形態である。

ピクチャのタイプはピクチャタイプ情報PicTypeで識別される。従って、ピクチャタイプ情報PicTypeがストリームを切り替え可能なSピクチャであれば、Sピクチャのピクチャ番号PNに合わせるように参照画像メモリMemのピクチャ番号PNの割り当てなおしを行う規則を決めることで、参照画像メモリMemの個々のピクチャ番号の割り当てなおし方法の情報の符号化・復号化を省略することができる。

以下、図６（ａ）の動作を説明する。Step２０では符号化信号を復号化して画像のピクチャ番号PNを取得する。Step２１で取得した画像のピクチャタイプ情報PicTypeを取得し、そのピクチャタイプ情報PicTypeがSピクチャであれば、Step２２で所定の方法を用いてSピクチャのピクチャ番号PNに合わせるように参照画像メモリMemのピクチャ番号PNの割り当てなおしを行う。以上のようにして、図３に示すように、符号化信号を切り替えても復号可能なストリームを実現するための参照画像メモリMem格納状態を実現できる。

なお、Step２１とStep２２の順序は入れ替えてもよく、その場合は図６（ｂ）に示す画像符号化方法のフローチャートになる。

また、図６および図４に示す図３の参照画像メモリMemに格納される画像のピクチャ番号PNの説明図を組み合わせ、図４のStep１１およびStep１５でピクチャ番号PNの割り当てなおし情報の一部（Sピクチャのピクチャ番号PNに合わせるように参照画像メモリMemのピクチャ番号PNの割り当てなおしを行う規則で表現できないもの）のみを符号化・復号化しても良い。

（実施の形態４）
図７は本発明の画像符号化装置の構成を示すブロック図である。図７の本発明の画像符号化装置のブロック図は、実施の形態１および実施の形態２の画像符号化方法を実現する一例である。

ピクチャ番号生成ユニットPNGenはピクチャ番号PNを生成する。ピクチャ番号PNは参照画像メモリMemに記憶されている画像を区別する識別子であり、参照画像メモリMemに記憶されている異なる画像には異なるピクチャ番号PNが付与される。通常は、参照画像メモリMemに画像を保存する都度ピクチャ番号PNを１増加し、画像復号化装置で受信したピクチャ番号PNが２以上増加した場合には伝送路誤りで保存すべき画像が欠落したことを画像復号化装置で検出しエラー修正またはエラー修整処理を施すことが可能になっている。

最大ピクチャ番号検出ユニットMaxPNは他符号化信号ピクチャ番号OtherPNおよびピクチャ番号生成ユニットPNGenで生成されたピクチャ番号PNを比較し、ピクチャ番号PNの最大値を検出して可変長符号化ユニットVLCに通知すると共に、ピクチャ番号生成ユニットPNGenに通知しピクチャ番号生成ユニットPNGenで生成するピクチャ番号PNを前記ピクチャ番号PNの最大値で初期化する。他符号化信号ピクチャ番号OtherPNは、同じ符号化対象ピクチャに対応する違うストリームのピクチャのピクチャ番号である。その結果、ピクチャ番号生成ユニットPNGenは以後、前記ピクチャ番号PNの最大値より大きなピクチャ番号PNを出力するようになる。

符号化ピクチャ時刻比較ユニットTimeCmpはこれまでに符号化した入力画像信号Vinの各ピクチャの時刻と他の符号化信号（ストリーム）として符号化した各ピクチャのピクチャ時刻FrameTimeを比較し、全ての符号化信号で符号化されている時刻のピクチャの情報を画像除去ユニットPicDelに通知する。

画像除去ユニットPicDelは、ピクチャタイプ情報PicTypeが次のピクチャがSピクチャであることを示す場合には、符号化ピクチャ時刻比較ユニットTimeCmpから通知された情報に基づき、全ての符号化信号で符号化されている時刻のピクチャ以外の参照画像メモリMemに保存されている画像を消去する指令を参照画像メモリMemに通知し、同時に可変長符号化ユニットVLCにもその情報を通知する。

画像符号化ユニットPicEncは参照画像メモリMemに保存されている画像を参照してピクチャタイプ情報PicTypeで示すピクチャタイプとして入力画像信号Vinを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットPicDecや可変長符号化ユニットVLCに送信する。画像復号化ユニットPicDecは画像符号化ユニットPicEncで符号化した結果をピクチャタイプ情報PicTypeで示すピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号PNとして参照画像メモリMemに保存する。

可変長符号化ユニットVLCは、画像符号化ユニットPicEncで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットPicDelから通知された参照画像メモリMemに保存されている画像を消去するための情報、および前記ピクチャ番号PNの最大値やピクチャ番号PNを符号化し、符号化信号Strとして出力する。また、画像除去ユニットPicDelから通知された情報や、ピクチャ番号PNから、実施の形態２に記載した方法に基づき、参照画像メモリMemに保存されている画像のピクチャ番号PNを付け替える情報も符号化する。

図８に本発明の符号化信号Strの構成例を示す。以下図８（ａ）の各データについて説明する。

最初にピクチャ番号PNが符号化される。次に、付け替えるべき最大PNや、参照画像メモリMemに保存されている画像を消去するための情報、参照画像メモリMemに保存されている画像のピクチャ番号PNを付け替える情報が符号化される。それに引き続いてピクチャタイプ情報PicTypeや画像符号化ユニットPicEncの出力である画像符号化データが配置される。

なお、図８（ａ）は単にデータ配置の一例であり、図８（ｂ）のようにデータの順番を入れ替えて実現することも可能である。

以上の構成により、実施の形態１および実施の形態２の画像符号化方法を実現する画像符号化装置を実現できる。

（実施の形態５）
図９は本発明の画像復号化装置の構成を示すブロック図である。図９の本発明の画像復号化装置のブロック図は、実施の形態１、実施の形態２および実施の形態３を実現する画像復号化装置の一例である。以下その動作を説明する。

可変長復号化ユニットVLDは符号化信号Strを復号化し、様々な情報（参照画像メモリMemに保存されている画像を消去する指令、ピクチャタイプ情報PicType、ピクチャ番号PN、ピクチャ番号PNを付け替える情報および画像データなど）を出力する。

まず、可変長復号化ユニットVLDで得られた参照画像メモリMemに保存されている画像を消去する指令は、画像除去ユニットPicDelに通知され、画像除去ユニットPicDelは参照画像メモリMemに保存されている指令された画像を消去する。

可変長復号化ユニットVLDで得られたピクチャタイプ情報PicTypeは、画像復号化ユニットPicDecに通知され復号化方法を指示する。

可変長復号化ユニットVLDで得られたピクチャ番号PNは、参照画像メモリMemに通知され、画像復号化ユニットPicDecで復号化された画像を格納する際のピクチャ番号PNとする。

可変長復号化ユニットVLDで得られた参照画像メモリMemに保存されている画像のピクチャ番号PNを付け替える情報は、ピクチャ番号変更ユニットPNchgに通知され、ピクチャ番号変更ユニットPNchgはその指示に従い参照画像メモリMem内に保存されている画像のピクチャ番号PNを付け替える。より具体的には、ピクチャ番号変更ユニットPNchgは、参照画像メモリMemに保存されている画像のピクチャ番号PNを読み出し、読み出されたピクチャ番号PNの値を変更した後、そのピクチャ番号PNを参照画像メモリMemに書き込む。

可変長復号化ユニットVLDで得られた画像データは、画像復号化ユニットPicDecにおいて、ピクチャタイプ情報PicTypeで示されるピクチャタイプに応じた復号化方法で復号化される。すなわち、Ｉピクチャは参照画像メモリMemの画像を参照しないで復号化され、ＰピクチャおよびＢピクチャは参照画像メモリMemに保存されている画像を参照して復号化される。このようにして得られた復号画像は参照画像メモリMem内に保存されると共に、復号画像信号Voutとして出力される。

以上のようにして、実施の形態１、実施の形態２および実施の形態３を実現する画像復号化装置が実現できる。

（実施の形態６）
実施の形態１から実施の形態５に記載した画像符号化装置では、Ｓピクチャでストリームを切替える際、切替可能なピクチャのピクチャ番号と連続するように、切替可能なピクチャの前のピクチャのピクチャ番号を切替えるようになっていた。本実施の形態では、切替可能なピクチャにおいてピクチャ番号を切替える。

ストリームの切替えの例としては、同一画像を異なるピクチャレートや異なるビットレート、異なるピクチャ構造を有する複数のストリームの符号化に関し、符号化を進めているピクチャが属するストリームから、その他のストリームに属するピクチャに切替えて符号化を進める処理である。以下は、説明の便宜上、単にストリームの切替えと言う。

また、更に、本実施の形態においては、符号化対象のピクチャを参照メモリに保存するか否かは、各ストリームにおいて符号化対象のピクチャの符号化順序（ストリーム順）で前に隣接するピクチャ（以下、前のピクチャ）のピクチャ番号と符号化対象のピクチャ番号との変化の度合いにしたがって判断される。具体的には、符号化対象のピクチャのピクチャ番号が前のピクチャのピクチャ番号に対して「１」増加していれば、符号化対象のピクチャが参照メモリに保存されることを表している。一方、符号化対象のピクチャのピクチャ番号が前のピクチャのピクチャ番号に対して前のピクチャ番号と同じであれば、符号化対象のピクチャは参照メモリに保存されないことを表している。

以下、切替可能なピクチャにおいてピクチャ番号を切替える処理について、図面を参照しながら具体的に説明する。

図１０は、入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応の一例を示す図である。ストリーム１、ストリーム２、ストリーム３それぞれは、同一の画像信号をそれぞれ異なるピクチャレートで符号化したものである。図１０では、符号化される順にしたがってピクチャが、ストリーム毎に並んでいる。

ストリーム１においては、各ピクチャ間で「１」ずつ増加するようにピクチャ番号ＰＮが各ピクチャに割り当てられている。また、ストリーム２においては、ピクチャ間で「１」ずつ増加するようにピクチャ番号が割り当てられたピクチャと、前のピクチャと同じピクチャ番号が割り当てられたピクチャとがある。更に、ストリーム３においては、ストリーム１と同様に、各ピクチャ間で「１」ずつ増加するようにピクチャ番号ＰＮが各ピクチャに割り当てられている。

したがって、ストリーム１、３においては、ピクチャ番号が各ピクチャ間で「１」ずつ増加するので、符号化対象のピクチャが参照メモリに保存される。ストリーム２においては、ピクチャ間で「１」ずつ増加するようにピクチャ番号が割り当てられたピクチャは参照メモリに保存され、前のピクチャと同じピクチャ番号が割り当てられたピクチャは保存されない。

また、ストリーム１のピクチャ番号「０」のピクチャ、ストリーム２のピクチャ番号「０」のピクチャ及びストリーム３のピクチャ番号「０」のピクチャは、時刻ｔ０において対応している。以下同様に、ストリーム１のピクチャＦ１４、ストリーム２のピクチャF２２及びストリーム３のピクチャＦ３１は時刻ｔ１で、ストリーム１のピクチャＦ１８、ストリーム２のピクチャＦ２４及びストリーム３のピクチャＦ３２は時刻ｔ２で、ストリーム１のピクチャＦ１１２、ストリーム２のピクチャＦ２６及びストリーム３のピクチャＦ３３は時刻ｔ３で、ストリーム１のピクチャＦ１１７、ストリーム２のピクチャＦ２１５及びストリーム３のピクチャＦ３４は時刻ｔ４で対応している。なお、ピクチャＦ１１２、Ｆ２６、Ｆ３３は、実施の形態１、２におけるＳピクチャに該当する。

図１０において、ピクチャＢＰ１、ＢＰ２は、ストリームを切替える際に経由され、切替え元のピクチャと切替え先のピクチャとの間で、切替え先のピクチャが属するストリームにおいて切替え先のピクチャの前のピクチャと同じ時刻に対応させて符号化されるスイッチピクチャである。

例えば、ストリーム２のピクチャＦＯ２６（切替え元のピクチャ）からストリーム１のピクチャＦ１１３（切替え先のピクチャ）にストリームを切替える場合、ピクチャＦ２４とピクチャＦ１１３との間で時刻ｔ３のピクチャとしてスイッチピクチャＢＰ１を使う。この場合、切替えピクチャであるスイッチピクチャＢＰ１のピクチャ番号を、切替え先のピクチャＦ１１３のピクチャ番号「１３」と連続するように「１２」に変更する。

また、同様に、ストリーム３のピクチャＦ３２（切替え元のピクチャ）からストリーム２のピクチャＦ２１３（切替え先のピクチャ）にストリームを切替える場合、ピクチャＦ３２とピクチャＦ２１３との間で時刻ｔ３のピクチャとしてスイッチピクチャＢＰ２を使う。この場合、切替えピクチャであるスイッチピクチャＢＰ２のピクチャ番号を、切替え先のピクチャＦ２１３のピクチャ番号「１３」と連続するように変更する。

このように、切替え先のピクチャのピクチャ番号と連続するようにスイッチピクチャのピクチャ番号を割り当てることによって、ストリーム毎の流れにしたがって符号化する場合とストリームを切替えた場合とで切替え先のピクチャのピクチャ番号は同じ値になる。

次に、ストリームを切替える場合における、ピクチャ番号の割り当て処理の流れについて説明する。

図１１は、図１０のストリームの各ピクチャにピクチャ番号を付与して符号化する方法を示すフローチャートである。

ステップ１４０１では、符号化対象ピクチャがSピクチャかどうか判定される。もし、符号化対象ピクチャがSピクチャであれば、ステップ１４０２において、符号化対象ピクチャのピクチャ番号を初期値Mに変更する。もし、符号化対象ピクチャがSピクチャでなければ、符号化対象ピクチャのピクチャ番号は変更されない。

ステップ１４０３では、符号化対象ピクチャがSピクチャの次のピクチャかどうかが判定される。もし、符号化対象ピクチャがSピクチャの次のピクチャであればSピクチャがメモリに記憶されるかどうかの判断がステップ１４０４で行われる。もし、符号化対象ピクチャがSピクチャの次のピクチャでないならば、符号化対象ピクチャがメモリに記憶されるかどうかがステップ１４０５で判断される。

ステップ１４０４においてSピクチャがメモリに記憶されると判断されたときはステップ１４０６でピクチャ番号MがM+１にインクリメントされ、インクリメントされたピクチャ番号が新たなピクチャ番号になる。

ステップ１４０４においてSピクチャがメモリに記憶されないと判断されたときは、ステップ１４０７でピクチャ番号をM自身とする（ピクチャ番号を変更しない。）。ステップ１４０５においては、符号化対象ピクチャがメモリに記憶されるかどうかが判断される。符号化対象ピクチャがメモリに記憶されると判断されたときはステップ１４０８でピクチャ番号PNがPN+１にインクリメントされ、インクリメントされたピクチャ番号が新たなピクチャ番号になる。

符号化対象ピクチャがメモリに記憶されないと判断されたときはピクチャ番号の変更は行われない。

ステップ１４０９では対象ピクチャが符号化される。ステップ１４１０では、すべての符号化対象ピクチャが符号化されたかどうかが判断される。すべての符号化対象ピクチャが符号化されていないときはステップ１４０１に戻り、すべての符号化対象ピクチャが符号化されているときは処理を終了する。

図１１に示す処理によって、スイッチピクチャ以降のピクチャにおいてピクチャ番号が連続した符号化データストリームを生成することができる。

また、このようにして生成された符号化信号Strは、実施の形態５の画像復号化装置における復号化装置にしたがって復号化すればよい。このようにして、本実施の形態における符号化信号を復号化する画像復号化装置が実現できる。

また、上記実施の形態１から実施の形態６までに示した符号化方法・復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。

（実施の形態７）
復号化対象ピクチャが参照するピクチャは、ピクチャ番号PNによって明示される。またピクチャ番号PNの増減によりピクチャ番号PNのエラーの検出をすることができる。図１２は、例えば図８（ｂ）に示すピクチャデータにおいて、ピクチャ番号PNをもとにピクチャ番号PNのエラー検出・修正をする手順について示す。

まずStep２０においてピクチャ番号PNを検出する。次に、Step２１においてピクチャタイプ情報PicTypeを検出する。そして、StepA２において検出されたピクチャ番号PNが連続しているかどうかを判断する。StepA２においてピクチャ番号PNが連続していればピクチャ番号PNのエラー検出・修正処理を終了する。一方、StepA２においてピクチャ番号PNが連続していなければStepA３においてエラー修正を行う。なお、図４に示す最大保存済PN検出や、PN再割当といった処理は、このエラー検出・修正処理が終了してから実施してもよく、このエラー検出・修正処理と並列に実施してもよい。

StepA３におけるエラー修正の処理に関する第１の方法として、エラーが生じたピクチャ番号PNに関するデータの再送を要求し、再送を受けた後に再度ピクチャ番号PNのエラー検出をする手順に従った処理を行うことが考えられる。しかし、Sピクチャでピクチャ番号PNの不連続は伝送エラーで生じた訳ではない。つまり、Ｓピクチャでのピクチャ番号ＰＮの不連続はストリーム毎にＳピクチャより前にメモリ上に記憶されるピクチャ数が異なる可能性を有しているため、ピクチャ番号PNに関するデータの再送を要求しても対応するピクチャが存在しない可能性があり、不連続なピクチャに対応するピクチャは再送できない可能性が大いにある。従って、再送されないピクチャを再送されるまで要求しつづけるため、画像の再生ができなくなる恐れがある。この理由により画像の再生がうまくできない例に対する解決手段については、以下の実施の形態１０で詳しく説明する。

また、ストリームを切り替えた時点で、切り替え先のストリームに対応するメモリ内のピクチャ数が、切り替えを行わない場合のストリームに対応するメモリ内のピクチャ数と完全に一致していなければ画像の再生が正しく行えない可能性がある。

まずメモリは、図１３に示すように先入先出メモリである短時間保存メモリと前記短時間保存メモリよりもピクチャを長時間保存するために先入先出では無く直接記憶場所の指定をして記録する長時間保存メモリとを有する。短時間保存メモリが７ピクチャ分保存できる大きさで、長時間保存メモリが４ピクチャ分保存できる場合、参照するピクチャは、メモリに入っているピクチャのうち、短時間保存メモリの方から数えて何番目に入っているピクチャかどうかで指定する。例えば長時間保存メモリにあるusedLT２は８番目に入っているピクチャ（Idx=７）ということができる。このように相対的な位置関係で参照ピクチャは指定される。

また図５に示すようにストリームが３つある場合、図３０に示すように同一のピクチャ（例えば図５に示すＳピクチャ）を指定するためのメモリ上の位置はそれぞれのストリームによって異なる。そして、Ｓピクチャにより別のストリームのピクチャを参照することになると、参照ピクチャを指定するためのメモリ上の位置はストリーム毎のメモリによって異なる。なお、Sピクチャとは複数のストリームがあり、所定のストリームから別のストリームに移動するときに、移動前のストリームのSピクチャより前にあるピクチャを参照して予測符号化されるピクチャと、移動先のストリームのSピクチャより前にあるピクチャを参照して予測符号化されるピクチャとが同一の画像となるピクチャである。（図１０）。

なお、Sピクチャでなく、Ｉピクチャの場合でも参照メモリ内で複数のストリームで復号化した画像が完全に一致する場合は、ストリームを切り替えることができるため、ＩピクチャをＳピクチャと同じ用途（ストリーム切替）で用いることができる。

このように様々な条件を加味すると、メモリ内のピクチャ数が一致しない場合に、参照するピクチャを正確に指定することは難しく、参照するピクチャを指定したとしてもエラーが起きる可能性が大きい。

そこで、本実施の形態では、ピクチャ番号PNの不連続や、メモリ内容の不一致等の問題によってピクチャ番号PNのエラー検出処理が終わらなくなることを避けるために用いる付加情報の符号化方法と復号化方法について説明する。この付加情報（全ピクチャ削除情報）とは、画面内符号化を行うＩピクチャや上記Ｓピクチャを符号化した後のピクチャの符号化処理でエラーが生じないように、符号化対象のＩピクチャやＳピクチャ以外のピクチャを、符号化もしくは復号化で参照するためのメモリから全て削除することを示す命令のことである。

これにより、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。また、所定のストリームから別のストリームへ移動するときに、ピクチャ番号が連続しないことをエラーとして修正しないようにすることにより、実際には存在しない画像の再送を要求することによって復号化できなくなる不都合も解消できる。

以下、符号化方法について図１４（ａ）を用いて説明する。図１４（ａ）は本実施の形態における符号化信号の作成手順を示す。

まずStep２０においてピクチャ番号PNを検出する。次に、Step２１においてピクチャタイプ情報PicTypeを検出する。そしてStepA１において、検出されたピクチャタイプがＩピクチャであるかどうかを判断する。検出されたピクチャタイプがIピクチャであれば、StepA１０において符号化対象のIピクチャ以外でメモリ上にある全てのピクチャを削除する。続いてStepA１１においてメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化し、付加情報の符号化手順を終了する。

なお、図１４（ｂ）に示すように、図１４（ａ）のStepA１をピクチャタイプがSピクチャであるかどうかを判断するステップとしても同様の符号化処理が可能である。また、StepA１とStepA２とを合わせて、IピクチャであるかまたはＳピクチャであるかの判断をStep２１におけるピクチャタイプの検出の後に行ってもよい。

また、図１５（ａ）に示すように、Step２１におけるピクチャタイプの検出をして、StepA１で符号化対象ピクチャがIピクチャである場合、StepA３のようにピクチャ番号PNが連続しているかどうかを判断して、ピクチャ番号PNが連続していない場合に、符号化対象のIピクチャ以外でメモリ上にある全てのピクチャを削除するようにしてもよい。一方、StepA３においてピクチャ番号PNが連続していれば、メモリ上のピクチャを削除しない。ピクチャタイプとしてＳピクチャを検出する場合も、図１５（ａ）と同様の説明が成り立つ。また、StepA１とStepA２とを合わせて、IピクチャであるかまたはＳピクチャであるかの判断をStep２１におけるピクチャタイプの検出の後に行ってもよい。

なお、図１５（ａ）に示すStepA３の処理の後に図１５（ｂ）に示すように、メモリ上に記憶されているピクチャ数が同じかどうかを判断するStepA３０の処理をし、ピクチャ番号が連続していてもメモリ上に記憶されているピクチャ数が異なりエラーが生じることを防ぐようにしてもよい。また、図１５（ｂ）におけるStepA３の処理をする前にStepA３０の処理をして、ピクチャ数がストリーム間で同数でなければStepA１０の全ピクチャ削除の処理をし、ピクチャ数がストリーム間で同数であり、かつ、ピクチャ番号が連続でなければStepA１０の全ピクチャ削除の処理をするようにしてもよい（図１６）。

このように、図１５に示すような手順により、参照画像になる可能性のあるピクチャを可能な限りメモリ上に残し、エラーを低減しつつ画像の再現性を高めることができる。また、ＩピクチャまたはＳピクチャにおいてメモリ上に記憶されているピクチャ数が異なったり、ピクチャ番号が連続していなかったりするときに、エラー修正処理を必要としないため、符号化装置におけるメモリ管理を簡略化できる。

更に、Iピクチャであることとメモリ上にある全てのピクチャを削除することは、特別なIピクチャであることを示すピクチャタイプによって示してもよい。

（実施の形態８）
図１７は本発明の画像符号化装置の構成を示すブロック図である。図１７に示す本発明の画像符号化装置のブロック図は、図１４の画像符号化方法を実現する一例である。

ピクチャ番号生成ユニットPNGenはピクチャ番号PNを生成する。ピクチャ番号PNは参照画像メモリMemに記憶されている画像を区別する識別子であり、参照画像メモリMemに記憶されている異なる画像には異なるピクチャ番号PNが付与される。通常は、参照画像メモリMemに画像を保存する都度ピクチャ番号PNを「１」増加し、画像復号化装置で受信したピクチャ番号PNが「２」以上増加した場合には伝送路誤りで保存すべき画像が欠落したことを画像復号化装置で検出しエラー修整（エラーを目立たなくすること）もしくはエラー修正（再送によりエラーの無いピクチャを再生すること）等のエラー修復処理を施すことが可能になっている。

画像除去ユニットPicDel３は、ピクチャタイプ情報PicTypeがSピクチャであることを示す場合（図１４のStepA２の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリMemに保存されている画像を消去する指令を参照画像メモリMemに通知し、同時に可変長符号化ユニットVLCにもその情報を通知する。

または、画像除去ユニットPicDel３は、ピクチャタイプ情報PicTypeがＩピクチャであることを示す場合（図１４のStepA１の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリMemに保存されている画像を消去する指令を参照画像メモリMemに通知し、同時に可変長符号化ユニットVLCにもその情報を通知する。

画像符号化ユニットPicEncは参照画像メモリMemに保存されている画像を参照してピクチャタイプ情報PicTypeで示すピクチャタイプとして入力画像信号Vinを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットPicDecや可変長符号化ユニットVLCに送信する。

画像復号化ユニットPicDecは画像符号化ユニットPicEncで符号化した結果をピクチャタイプ情報PicTypeで示すピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号PNとして参照画像メモリMemに保存する。

可変長符号化ユニットVLCは、画像符号化ユニットPicEncで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットPicDel３から通知された参照画像メモリMemに保存されている画像を消去するための情報、ピクチャ番号PN、ピクチャタイプ情報PicTypeを符号化し、符号化信号Strとして出力する。

図８（ｃ）、図８（ｄ）に本発明の符号化信号Strの構成例を示す。以下各データについて説明する。

最初にピクチャ番号PNが符号化される。次に、参照画像メモリMemに保存されている画像を消去するための情報、続いてピクチャタイプ情報PicTypeや画像符号化ユニットPicEncの出力である画像符号化データが配置される。

なお、図８（ｃ）は単にデータ配置の一例であり、図８（ｄ）のようにデータの順番を入れ替えて実現することも可能である。

以上の構成により、図１４に示す画像符号化方法を実現する画像符号化装置を実現できる。また、エラー耐性の高い符号化装置を提供することができる。

（実施の形態９）
図１８は本発明の画像符号化装置の構成を示すブロック図である。図１８の本発明の画像符号化装置のブロック図は、図１５の画像符号化方法を実現する一例を示す。なお、以下の説明において図１７と同一のユニットに関する説明は省略する。

図１８が図１７と異なる点は画像除去ユニットPicDel４における処理である。具体的には、画像除去ユニットPicDel４は、ピクチャタイプ情報PicTypeがSピクチャであることを示す場合（図１５のStepA２の処理に対応）で、メモリ内のピクチャ数を比較して同一でない場合（図１５のStepA３０の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリMemに保存されている画像を消去する指令を参照画像メモリMemに通知し、同時に可変長符号化ユニットVLCにもその情報を通知する。なお、ピクチャタイプ情報PicTypeがＩピクチャであるときも同様である。また、本発明の符号化信号は図８（ｃ）、図８（ｄ）と同様の構成である。

以上の構成により、図１５に示す画像符号化方法を実現する画像符号化装置を実現できる。また、エラー耐性の高い符号化装置を提供することができる。

（実施の形態１０）
上記実施の形態７において、Sピクチャでピクチャ番号PNの不連続が生じたとき、再送されないピクチャを再送されるまで要求しつづけるため、画像の再生ができなくなる恐れがあることを示した。以下、この理由により画像の再生がうまくできない例に対する解決方法について説明する。

図１９（ａ）は符号化信号を復号化する手順を示す。
まずStep２０においてピクチャ番号PNを検出する。次に、Step２１においてピクチャタイプ情報PicTypeを検出する。そしてStepA１において、検出されたピクチャタイプがＩピクチャであるかどうかを判断する。検出されたピクチャタイプがIピクチャでなければ、StepA３においてピクチャ番号PNが連続しているかどうかを判断する。一方、検出されたピクチャタイプがIピクチャであれば、エラー検出・修正処理をせずに、一連の処理を終了する。

StepA３においてピクチャ番号PNが連続していなければ、StepA４においてエラー修正がなされる。一方、StepA３においてピクチャ番号PNが連続していれば、エラー検出処理を終了する。

StepA４におけるエラー修正とは、例えば、上記実施例で述べた最大保存済PN検出や、PN再割当といった処理であっても、メモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を受けて、メモリ上にある全てのピクチャを削除する処理でもよい。

なお、図１９（ｂ）に示すように、図１９（ａ）のStepA１をピクチャタイプがSピクチャであるかどうかを判断するステップとしても同様の符号化処理が可能である。また、StepA１とStepA２とを合わせて、IピクチャであるかまたはＳピクチャであるかの判断をStep２１におけるピクチャタイプの検出の後に行ってもよい。

以上のように、ＩピクチャまたはＳピクチャにおいてピクチャ番号が連続していないときに、エラー修正のために再送要求を繰り返して復号化できなくなることを防止することができる。なお、このIピクチャにおける処理は、ストリームを切り替えることができるような特別なIピクチャの場合に特に有効である。

（実施の形態１１）
図２０は本発明の画像復号化装置の構成を示すブロック図である。図２０の本発明の画像復号化装置のブロック図は、図１９の画像復号化方法を実現する一例を示す。なお、以下の説明において図９と同一のユニットに関する説明は省略する。

図２０が図９と異なる点はPN連続判定ユニットPNchkとピクチャタイプ情報PicTypeとによるエラー検出ユニットErrChkにおける処理である。具体的には、PN連続判定ユニットPNchkに入力されるピクチャ番号PNが連続していなく、ピクチャタイプ情報PicTypeがIピクチャまたはSピクチャでなければ、エラー検出ユニットErrChkからエラー修正命令Errが出力される。エラー修正命令Errがあれば、例えば、最大保存済PN検出や、PN再割当といった処理、あるいは、メモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を受けて、メモリ上にある全てのピクチャを削除する処理をする。

以上の構成により、図１９に示す画像復号化方法を実現する画像復号化装置を実現できる。また、エラー耐性の高い復号化装置を提供することができる。

（実施の形態１２）
本実施の形態では、ピクチャ番号PNの不連続や、メモリ内容の不一致等の問題によってピクチャ番号PNのエラー検出処理が終わらなくなることを避けることができる別の方法について説明する。本実施の形態が実施の形態７と異なる点は、実施の形態７における符号化の処理において全ピクチャを削除するステップがあったが、全ピクチャを削除するときにはさらにピクチャ番号を「０」から再割り当てすることである。

これにより、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になり、さらにピクチャ番号が初期化されるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。また、復号化対象となる符号化ストリームを所定のストリームから別のストリームへ移動する（切替える）ときに、ピクチャ番号が連続しないことをエラーとして修正しないようにすることにより、復号化できなくなる不都合も解消することができる。

すでに説明したように、動画像を符号化して得られる符号化ストリームにおいては、ストリーム内の各ピクチャに対し、表示時刻の順に連続するピクチャ番号ＰＮが付与される。ピクチャ番号ＰＮが、各ピクチャの表示時刻の順に連続するよう付与される理由は、画像復号化装置が伝送路を介して符号化ストリームを受信する場合などにおいて、符号化ストリーム中のピクチャが伝送エラーなどによって欠落したことを検出することができるからである。このような画像復号化装置は、受信した符号化ストリームを復号化中に、表示時刻の順に入力されるピクチャ間のピクチャ番号ＰＮが２以上増加した場合、先のピクチャを受信してから後のピクチャを受信するまでの間に伝送エラーがあったことを検出し、送信側に、欠落したピクチャの再送を要求することができる。したがって、画像復号化装置が１つの符号化ストリームを継続して復号化している限り、このようにして有効に伝送エラーを検出し、欠落したピクチャの再送を受けて、完全な符号化ストリームを復号化することができる。

しかし、同一の動画像を異なるピクチャレートで符号化して得られる複数の符号化ストリームを入力とし、１つの符号化ストリームを復号化中に、ピクチャレートの異なる他の符号化ストリームに切り替えて以降の復号化を継続する画像復号化装置では、このようなエラー検出が逆に、ピクチャ番号PNのエラー検出処理が終わらなくなるという不具合の原因となる。これは、個々の符号化ストリーム内で各ピクチャのピクチャ番号ＰＮが表示時刻の順に連続するだけで、ピクチャレートの異なる符号化ストリーム間では、同一時刻に表示されるべきピクチャであっても、先頭ピクチャ以外、ピクチャ番号ＰＮが一致しないことに起因する。したがって、画像復号化装置において、１つの符号化ストリームの復号化途中で、復号化対象を別の符号化ストリームに切替えるとき、同一時刻に表示されるピクチャであってもピクチャ番号ＰＮが不連続になる。このように、ピクチャ番号PNの不連続や、メモリ内容の不一致等の問題によってピクチャ番号PNのエラー検出処理が終わらなくなることを避けるために、実施の形態７において付加情報（全ピクチャ削除情報）を用いる符号化方法について説明した。この付加情報とは、画面内符号化を行うＩピクチャや上記Ｓピクチャを符号化した後のピクチャの符号化処理で、ストリーム切替え時のエラーが生じないように、符号化対象以外のピクチャを、符号化もしくは復号化で参照するためのメモリから全て削除することを示す命令のことである。

以下、符号化方法について図２１を用いて説明する。図２１（ａ）は本実施の形態における符号化信号の作成手順を示す。

まずStep０１においてピクチャ番号PNを検出する。次に、Step０２においてStep０１で検出されたピクチャ番号PNを符号化する。そして、Step０３においてピクチャタイプ情報PicTypeを検出する。Step０３において、検出されたピクチャタイプがSピクチャであるかどうかを判断する。

検出されたピクチャタイプがＳピクチャであれば、Step０５においてメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化する。次にStep０６AにおいてＳピクチャを符号化する。そしてStep０７においてピクチャ番号を初期化し、続いてStep０８において符号化対象のＳピクチャ以外でメモリ上にある全てのピクチャを削除する。以上で、付加情報の符号化およびピクチャ番号PNの初期化処理を終了する。

検出されたピクチャタイプがＳピクチャでなければ、ピクチャ番号は連続するため、Step０６Bにおいてそのピクチャを符号化するが、付加情報の符号化およびピクチャ番号PNの初期化処理、全ピクチャの削除を行わないで処理を終了する。

Step０７におけるピクチャ番号PNの初期化とは、例えば、符号化処理が済んだＳピクチャにピクチャ番号０を付与することである。つまり、Ｓピクチャにおいてピクチャ番号を初期化することにより、表示時間の順番でＳピクチャに後続するピクチャに対して、Ｓピクチャ（ＰＮ＝０）から始まる番号（例えば、ＰＮ＝１）を付与することになることを意味する。その結果、ピクチャ番号PNの初期化はSピクチャを符号化（すなわちSピクチャのピクチャ番号を符号化した後）した後に行われることになる。

なお、Step０４においてＳピクチャであるかどうかの判断を行ったが、Ｉピクチャであるかどうかの判断をしてもよい。また、図２１（ａ）では全ピクチャを削除するステップがある場合には併せてピクチャ番号を初期化するとよく、ピクチャ番号の初期化処理をする判断はＩピクチャまたはＳピクチャであるか否かに限られるものではない。また、Step０２におけるピクチャ番号PNの符号化の処理はStep０１のピクチャ番号検出の処理より後の処理で、Step０７におけるピクチャ番号PNの初期化の処理より前であればいずれの時点において行ってもよい。また、Step０８における符号化対象のＳピクチャ以外でメモリ上にある全てのピクチャを削除する処理の後にStep０７におけるピクチャ番号PNの初期化の処理をしてもよい。また、Step０５におけるメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化する処理はStep０４におけるＳピクチャであるかどうかの判断の後の処理で、図２１（ａ）に示す処理が終了する前であればいつでもよい。また、符号化対象のピクチャ以外を、符号化もしくは復号化で参照するためのメモリから全て削除することを意味する付加情報がピクチャタイプ情報PicTypeに含まれるような特別なピクチャタイプ情報PicTypeを用いることで、付加情報を符号化しないことも可能である。更に、SピクチャもしくはIピクチャで切り替えるためにピクチャ番号PNを付け替えることが効果的であるが、必ずしもSピクチャやIピクチャのみで有効な訳ではなく、ストリームを切替ることができればPピクチャ等でも全ピクチャを削除するステップがあればピクチャ番号PNに対して同様の処理をしてもよい。

図２２は、本実施の形態１２の符号化方法を実現する画像符号化装置の構成を示すブロック図である。

ピクチャ番号生成ユニットPNGenはピクチャ番号PNを生成する。ピクチャ番号PNは参照画像メモリMemに記憶されている画像を区別する識別子であり、参照画像メモリMemに記憶されている異なる画像には異なるピクチャ番号PNが付与される。通常は、参照画像メモリMemに画像を保存する都度ピクチャ番号PNを「１」増加する。また、画像符号化ユニットPicEncからの通知に従って、Ｓピクチャの符号化後、当該Ｓピクチャのピクチャ番号PNを「０」に初期化する。

画像除去ユニットPicDel５は、ピクチャタイプ情報PicTypeがSピクチャであることを示す場合（図２１のStep０３の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリMemに保存されている画像を消去する指令（全ピクチャ削除情報）を参照画像メモリMemに通知し、同時に可変長符号化ユニットVLCにもその情報を通知する。

画像符号化ユニットPicEncは、参照画像メモリMemに保存されている画像を参照してピクチャタイプ情報PicTypeで示されるピクチャタイプとして入力画像信号Vinを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットPicDecおよび可変長符号化ユニットVLCに送信する。また、画像符号化ユニットPicEncは、Ｓピクチャを符号化した後、ピクチャ番号生成ユニットPNGen2にピクチャ番号PNの初期化指示を通知する。

画像復号化ユニットPicDecは画像符号化ユニットPicEncで符号化した結果をピクチャタイプ情報PicTypeで示されるピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号PNに対応付けて参照画像メモリMemに保存する。

可変長符号化ユニットVLCは、画像符号化ユニットPicEncで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットPicDel５から通知された参照画像メモリMemに保存されている画像を消去するための情報（全ピクチャ削除情報）、ピクチャ番号PN、ピクチャタイプ情報PicTypeを符号化し、符号化信号Strとして出力する。

次に、復号化方法について図２１（ｂ）を用いて説明する。図２１（ｂ）は符号化信号の復号化手順を示す。

まずStep０９においてピクチャ番号PNを復号化する。次に、Step０１０において全ピクチャ削除情報が符号化されているかどうかを判断する。

Step０１０において全ピクチャ削除情報が符号化されていると判断された場合、Step０１１において全ピクチャ削除情報を復号化する。そしてStep０１２Aにおいてピクチャを復号化する。さらに、Step０１３において復号化対象のピクチャ以外でメモリ上にある全てのピクチャを削除し、続いて、Step０１４においてピクチャ番号PNを初期化する。以上で、付加情報の復号化およびピクチャ番号PNの初期化処理を終了する。

Step０１０において全ピクチャ削除情報が符号化されていないと判断された場合、Step０１２Bにおいてピクチャを復号化し、付加情報の復号化およびピクチャ番号PNの初期化処理を終了する。

Step０１４におけるピクチャ番号PNの初期化とは、例えば、復号化処理が済んだピクチャにピクチャ番号「０」を付与することである。つまり、図２１（ａ）に示した符号化手順で符号化された符号化信号を復号化する場合は、Ｓピクチャにおいてピクチャ番号を初期化することにより、表示時間の順番でＳピクチャに後続するピクチャに対して、Ｓピクチャから始まる番号を付与することになることを意味する。

なお、図２１（ｂ）では全ピクチャを削除するステップがある場合にはピクチャ番号を初期化する処理をすればよく、その処理をするかどうかの判断は、復号化するピクチャのタイプとは関係はない。また、Step０１４におけるピクチャ番号PNの初期化の処理はStep０１３における符号化対象のピクチャ以外でメモリ上にある全てのピクチャを削除する処理の前の処理であってもよい。また、復号化対象のピクチャ以外を、復号化で参照するためのメモリから全て削除することを意味する付加情報がピクチャタイプ情報PicTypeに含まれるような特別なピクチャタイプ情報PicTypeを用いることで、付加情報を符号化しないことも可能である。

図２３は、本実施の形態１２の復号化方法を実現する画像復号化装置の構成を示すブロック図である。

まず、可変長復号化ユニットVLDで得られた参照画像メモリMemに保存されている画像を消去する指令（全ピクチャ削除情報）は、画像除去ユニットPicDel6に通知され、画像除去ユニットPicDel6は、参照画像メモリMemに保存されている指令された画像を消去する。

可変長復号化ユニットVLDで得られた全ピクチャ削除情報は、ピクチャ番号変更ユニットPNchg2に通知され、ピクチャ番号変更ユニットPNchg2はその指示に従い参照画像メモリMem内に保存されている画像のピクチャ番号PNを付け替える（初期化する）。より具体的には、ピクチャ番号変更ユニットPNchg2は、参照画像メモリMem内の復号化対象ピクチャ（Ｓピクチャ）以外の画像が全て削除された後、参照画像メモリMemに保存されている画像のピクチャ番号PNを読み出し、読み出されたピクチャ番号PNの値を「０」に変更した後、そのピクチャ番号PNを参照画像メモリMemに書き込む。

以上の構成により、図２１に示す画像復号化方法を実現する画像復号化装置を実現できる。また、エラー耐性の高い復号化装置を提供することができる。

このように本実施の形態に示す符号化方法、復号化方法によって、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。

なお、上記実施の形態においては、付加情報（全ピクチャ削除情報）をピクチャPicTypeとまとめて符号化してもよいと説明したが、Iピクチャでは参照メモリの全ピクチャを削除することにより、そのIピクチャからストリームを再生できる特別なピクチャにすることができる。これをIDR（Instantaneous Decoder Refresh）ピクチャと呼ぶ。IDRピクチャはランダム・アクセスの再生開始位置となることからＧＯＰ（Group of Picture）の先頭のＩピクチャとして有効である。このIDRピクチャを符号化するときには毎回、メモリ内の当該ピクチャ以外のピクチャをすべて削除し、かつ、当該ピクチャの符号化後にピクチャ番号を初期化すると定めておけば、画像符号化装置においてメモリ内の当該ピクチャ以外の全ピクチャを削除した場合でも付加情報を符号化しなくてもよい。この場合、画像復号化装置においては、符号化ストリーム内のIDRピクチャをピクチャタイプから検出し、IDRピクチャを復号化する場合には、付加情報が符号化されなくても、その都度、メモリ内の当該IDRピクチャ以外のピクチャをすべて削除し、かつ、当該ピクチャの符号化・復号化後にピクチャ番号を初期化する。

（実施の形態１３）
さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２４は、上記実施の形態１から実施の形態１２の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。

図２４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法および画像復号化方法が記録されている。

また、図２４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法および画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、CD-ROM、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。

図２５は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。
図２６は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図２７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってデジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してデジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図２８に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２７に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明に係る画像符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送の放送局および携帯電話機などに備えられる画像符号化装置として有用である。

また、本発明に係る画像復号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送を受信するＳＴＢおよび携帯電話機などに備えられる画像復号化装置として有用である。

参照画像メモリMemに格納される画像のピクチャ番号PNの説明図である。本発明の画像符号化方法および画像復号化方法の参照画像メモリMemに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。参照画像メモリMemに格納される画像のピクチャ番号PNの説明図である。本発明の画像符号化方法および画像復号化方法の参照画像メモリMemに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。本発明の入力画像信号Vinを符号化した場合のピクチャとピクチャ番号PNとの対応説明図である。本発明の画像復号化方法の参照画像メモリMemに格納される画像制御に関する情報の復号化方法のフローチャートである。本発明の画像符号化装置の構成を示すブロック図である。本発明の符号化信号Strのデータ構成の一例を示す図である。本発明の画像復号化装置の構成を示すブロック図である。本発明の入力画像信号Vinを符号化した場合の各ピクチャとピクチャ番号PNとの対応説明図である。本発明のストリームの各ピクチャにピクチャ番号を付与して符号化する方法を示すフローチャートである。本実施の形態７における復号化方法を示すフローチャートである。本実施の形態７におけるメモリ構造を示す図である。本実施の形態７における符号化方法を示すフローチャートである。本実施の形態７における別の符号化方法を示すフローチャートである。本実施の形態７における別の符号化方法を示すフローチャートである。本実施の形態８における符号化装置の構成を示すブロック図である。本実施の形態８における別の符号化装置の構成を示すブロック図である。本実施の形態１０における復号化方法を示すフローチャートである。本実施の形態１１における復号化装置の構成を示すブロック図である。本実施の形態１２における符号化信号の作成手順および符号化信号の復号化手順を示すフローチャートである。本実施の形態１２の符号化方法を実現する画像符号化装置の構成を示すブロック図である。本実施の形態１２の復号化方法を実現する画像復号化装置の構成を示すブロック図である。実施の形態１から実施の形態１２の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。本発明に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。本発明に係る携帯電話の一例を示す図である。同携帯電話の構成を示すブロック図である。本発明に係るデジタル放送用システムの構成を示す図である。入力画像信号Vinを符号化した場合のピクチャとピクチャ番号PNとの対応を説明する図である。 Sピクチャを符号化および復号化する際に、参照画像メモリMemに格納される画像のピクチャ番号PNを示す図である。

PicType ピクチャタイプ情報
Vin 入力画像信号
PNcmp メモリ内ピクチャ数比較ユニット
Mem メモリ
PicEnc 画像符号化ユニット
PNGen ピクチャ番号生成ユニット
VLC 可変長符号化ユニット
PicDec 画像復号化ユニット
PicDel4 画像除去ユニット

Claims

動画像を符号化する画像符号化方法であって、
符号化対象ピクチャにピクチャ番号を割り当て、
前記符号化対象ピクチャのピクチャ番号を符号化し、
メモリ内に格納されている全ての参照ピクチャを削除するための指示情報である全ピクチャ削除情報を符号化し、
前記符号化対象ピクチャがＰピクチャである場合に、前記符号化対象ピクチャを前記メモリに格納されている参照ピクチャを参照して符号化することにより符号化ピクチャを出力し、
前記符号化ピクチャを前記メモリに格納されている前記参照ピクチャを参照して復号化することにより復号化ピクチャを生成し、
前記メモリに格納されている全参照ピクチャを削除し、
復号化された前記復号化ピクチャを前記メモリに格納し、
前記符号化対象ピクチャの前記ピクチャ番号を初期化し、
前記初期化は、前記符号化対象ピクチャに対して新しいピクチャ番号「０」を割り当て、前記対象ピクチャより後に符号化されるピクチャに対して前記符号化対象ピクチャの新しいピクチャ番号から始まり連続するピクチャ番号を割り当てることによって行う
ことを特徴とする画像符号化方法。
前記メモリに格納されている全てのピクチャの前記削除処理は、前記メモリに格納されている全ての復号化ピクチャに対して削除を示す情報を設定することにより実行される
ことを特徴とする請求項１に記載の画像符号化方法。
動画像を符号化する画像符号化装置であって、
符号化対象ピクチャにピクチャ番号を割り当てるピクチャ番号割当手段と、
前記符号化対象ピクチャのピクチャ番号を符号化するピクチャ番号符号化手段と、
メモリ内に格納されている全ての参照ピクチャを削除するための指示情報である全ピクチャ削除情報を符号化する削除情報符号化手段と、
前記符号化対象ピクチャがＰピクチャである場合に、前記符号化対象ピクチャを前記メモリに格納されている参照ピクチャを参照して符号化することにより符号化ピクチャを出力するピクチャ符号化手段と、
前記符号化ピクチャを前記メモリに格納されている前記参照ピクチャを参照して復号化することにより復号化ピクチャを生成するピクチャ復号化手段と、
前記メモリに格納されている全参照ピクチャを削除するメモリ管理手段と、
復号化された前記復号化ピクチャを前記メモリに格納する格納手段と、
前記符号化対象ピクチャの前記ピクチャ番号を初期化する初期化手段とを備え、
前記初期化手段は、前記符号化対象ピクチャに対して新しいピクチャ番号「０」を割り当て、前記対象ピクチャより後に符号化されるピクチャに対して前記符号化対象ピクチャの新しいピクチャ番号から始まり連続するピクチャ番号を割り当てる
ことを特徴とする画像符号化装置。
前記メモリ管理手段は、前記メモリに格納されている全ての復号化ピクチャに対して削除することを示す情報を設定することにより、前記メモリに格納されているピクチャを全て削除する
ことを特徴とする請求項３に記載の画像符号化装置。