JP4390009B2 - 符号化装置及び方法、画像処理システム - Google Patents

Description

本発明は、画像データの再エンコードを行うシステムに用いて好適な符号化装置及び方法、画像処理システムに関し、特に、ビットストリームを復号して画像データを生成するとともに再エンコードを行うときに用いる符号化パラメータを生成する復号装置からの画像データ及び符号化パラメータを用いて再エンコードを行う符号化装置及び方法、ビットストリームを復号して画像データを生成するとともに再エンコードを行うときに用いる符号化パラメータを生成し、復号装置からの画像データ及び符号化パラメータを用いて再エンコードを行う画像処理システムに関する。

従来のエンコーダにおいて、ＭＰＥＧ（Moving Picture Experts Group）方式でエンコードされた画像信号に対する編集処理において、一旦エンコードされた画像信号を復号化し、復号化した画像について再エンコードを行う際に、通常のビデオ信号についてエンコードを行う場合と比較した大きな画質劣化が生ずる場合がある。このような画像劣化の原因としては、再エンコードを行う前後、すなわち最初にＭＰＥＧ方式でエンコードしたときと再エンコードを行うときとで、ピクチャタイプ、動きベクトル等の各種符号化パラメータの不一致が挙げられる。

このような符号化パラメータの不一致のうち、ピクチャタイプが不一致であることで画質劣化が発生するときの一例について説明する。例えば、Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８とＩ(Intra)ピクチャ、Ｐ(Predictive)ピクチャ、Ｂ(Bidirectionally predictive)ピクチャが配されてなるＭＰＥＧ方式で準拠したピクチャ数Ｎ＝９、あるＩ又はＰピクチャから次のＩ又はＰピクチャまでのピクチャ数Ｍ＝３のＧＯＰ（Group of Pictures）ひとつ分の入力復号画像、すなわち再エンコードすべき復号画像についてのピクチャタイプがある。そして、上述のように配されてなるＧＯＰに対して、Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８と位相ロックを行う場合には再エンコードの際の参照画像として、上記入力復号画像中において、Ｉピクチャであったものがそのまま用いられる。

これに対して、Ｂ０，Ｉ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７と配列され、位相ロックを行わない場合には例えば３個目のピクチャ（Ｂ２）のように、画質劣化の度合いが大きいＢピクチャが再エンコードを行うときの参照画像として用いられることになる。その結果として、再エンコードの精度が低下し、大きな画質劣化が発生することになる。

また、上述のように、従来のエンコーダにおいて、ピクチャタイプのみならず、他の符号化パラメータ、例えば動きベクトルについても、再エンコードの前後で一致させると、再エンコード時に符号化パラメータの再計算を行って算出する値を使用する場合よりも、再エンコードしたときの画質劣化が小さくなる。そして、従来のエンコーダにおいては、ピクチャタイプ、動きベクトルを含む全ての符号化パラメータを再エンコードの前後で一致させることにより、再エンコードによる画質劣化がほとんど生じない。

ところで、ビットストリームの伝送経路中でエラーが付加されたり、又はオリジナルのビットストリームをエンコードしたエンコーダがＭＰＥＧ方式に準拠しない符号化パラメータを使用する場合においては、デコーダで受信したビットストリームの中にシンタクスエラーが発生する場合がある。

このように、ビットストリームの中にシンタクスエラーが発生した場合、デコーダは、ビットストリームのエラーが発生した位置から、次のスタートコード（３２ビット長の同期コード）をサーチすることによって、エラーリカバリーをする。そして、デコーダは、ビットストリームのエラーが発生した位置からエラーリカバリーできた位置までのビットストリームからは画像を復号することはできないので、既に復号された画像の情報を用いて、シンタクスエラーで失われた画像部分のエラーコンシールを行う。このとき、デコーダは、例えば過去の表示画像からエラーで失われた画像部分へ画像をコピーして表示する処理を行う。

国際公開第９８／０３０１７号

従来のエンコーダを例に挙げて説明したようにピクチャタイプ、動きベクトルを含む全ての符号化パラメータを再エンコードの前後で一致させて再エンコードをしている場合において、デコーダで受信したビットストリームの中にシンタクスエラーが発生したとき、エンコーダには、デコーダがエラーコンシールによって再生した画像が入力され、また、その時の符号化パラメータは入力されないか、又は誤った値の符号化パラメータが入力されることになる。そして、エンコーダは、デコーダからの誤った符号化パラメータを用いてエンコードを行うと、非常に画質劣化が大きな符号化結果となってしまう。

上述したように、従来においては、デコーダに入力されたビットストリームにシンタクスエラー等が発生したか否かに関わらず、エンコーダ側でデコーダからの符号化パラメータを用いてエンコードを行うことが多かった。したがって、エンコーダでは、誤った符号化パラメータを用いて画像の符号化を行うことにより、正常な処理を行うことができなくなってしまうという問題があった。

そこで、本発明は、上述したような実情に鑑みて提案されたものであり、ビットストリームにエラーが発生しても良好な画質で符号化処理を行うことができる符号化装置及び方法、画像処理システムを提供することを目的とする。

上述の課題を解決する本発明に係る符号化装置は、各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、復号装置から入力されたピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグに基づいて、復号装置から入力された画像データの再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定する判定手段と、復号装置からの符号化パラメータが有効でない旨の上記判定手段からの判定結果に基づいて、復号装置からの画像データを用いて符号化パラメータを計算する符号化パラメータ計算手段と、復号装置からの符号化パラメータが有効であると判定手段により判定されたときには復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、復号装置からの符号化パラメータが有効でないと判定手段により判定されたときには上記符号化パラメータ計算手段で生成された符号化パラメータを用いて画像データの符号化を行う符号化手段と、復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定するピクチャタイプ判定手段とを備え、上記判定手段は、上記ピクチャタイプ判定手段からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定することを特徴とする。

また、本発明に係る符号化方法は、各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、復号装置から入力されたピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグに基づいて、復号装置から入力された画像データの再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定する判定処理と、復号装置からの符号化パラメータが有効でない旨の判定結果に基づいて、復号装置からの画像データを用いて符号化パラメータを計算する符号化パラメータ計算処理と、復号装置からの符号化パラメータが有効であると判定されたときには復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、復号装置からの符号化パラメータが有効でないと判定されたときには上記符号化パラメータ計算処理で生成した符号化パラメータを用いて画像データの符号化を行う符号化処理と、復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定するピクチャタイプ判定処理を有し、上記判定処理では、上記ピクチャタイプ判定処理で判定されたエラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定することを特徴とする。

さらに、本発明に係る画像処理システムは、入力されたビットストリームを復号して画像データを生成する復号手段と、上記復号手段で復号された画像データを再符号化するときに用いる各階層についての符号化パラメータを生成する符号化パラメータ生成手段と、画像データの再符号化を行うときに上記符号化パラメータ生成手段により生成された各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、ピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグを生成するエラーフラグ生成手段とを備える復号装置と、上記復号装置から入力された各階層ごとのエラーフラグに基づいて、再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定する判定手段と、上記復号装置からの符号化パラメータが有効でない旨の上記判定手段からの判定結果に基づいて、上記復号装置からの画像データを用いて符号化パラメータを計算する符号化パラメータ計算手段と、上記復号装置からの符号化パラメータが有効であると判定手段により判定されたときには上記復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、上記復号装置からの符号化パラメータが有効でないと判定手段により判定されたときには上記符号化パラメータ計算手段で生成された符号化パラメータを用いて画像データの符号化を行う符号化手段とを備える符号化装置とを備え、上記符号化装置は、上記復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定するピクチャタイプ判定手段を備え、上記判定手段は、上記ピクチャタイプ判定手段からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定することを特徴とする。

本発明に係る符号化装置及び方法では、各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、復号装置から入力されたピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグに基づいて、復号装置から入力された画像データの再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定するに当たり、復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定し、エラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定する。そして、復号装置からの符号化パラメータが有効であると判定されたときには復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、復号装置からの符号化パラメータが有効でないと判定されたときには上記符号化パラメータ計算処理で生成した符号化パラメータを用いて画像データの符号化を行うことにより、復号装置からの符号化パラメータが有効なときには入力された画像データについての符号化パラメータを用いて再符号化を行い、復号装置からの符号化パラメータが無効のときには自身で計算して得た符号化パラメータで再符号化を行う。したがって、この符号化装置及び方法によれば、エラーフラグにより示された符号化パラメータを用いて再符号化を行うことがないので正確に再符号化を行うことができ、良好な画質で符号化結果を得ることができる。

また、本発明に係る画像処理システムでは、符号化装置において、各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、復号装置から入力されたピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグに基づいて、復号装置から入力された画像データの再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定するに当たり、復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定し、エラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定し、復号装置からの符号化パラメータが有効であると判定されたときには復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、復号装置からの符号化パラメータが有効でないと判定されたときには上記符号化パラメータ計算処理で生成した符号化パラメータを用いて画像データの符号化を行うことにより、復号装置からの符号化パラメータが有効なときには入力された画像データについての符号化パラメータを用いて再符号化を行い、復号装置からの符号化パラメータが無効のときには自身で計算して得た符号化パラメータで再符号化を行うことができる。したがって、この画像処理システムによれば、エラーフラグにより示された符号化パラメータを用いて再符号化を行うことがないので正確に再符号化を行うことができ、良好な画質で符号化結果を得ることができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

本発明は、例えば図１に示すように構成された画像処理システム１に適用される。

図１に示す画像処理システム１は、デコーダ１０とエンコーダ３０とをカスケードに接続してなり、外部からエンコードされたＭＰＥＧ２規格に準拠したビットストリームが入力されるデコーダ１０と、デコーダ１０でデコードされた画像データを再エンコードして外部にビットストリームとして出力するエンコーダ３０とからなる。

デコーダ１０は、外部からＭＰＥＧ２方式で符号化されたビットストリームが入力されるバッファ１１を備える。このバッファ１１は、ビットストリームを一旦記憶して、可変長復号部（ＶＬＤ：Variable Length Decoder）１２に出力する。

可変長復号部１２は、バッファ１１からの可変長符号のビットストリームに例えばマクロブロック（ＭＢ）単位で可変長復号処理を施すことで量子化係数や動きベクトルを求めて、逆量子化部（Inverse Quantization：ＩＱ）１４に出力する。

また、この可変長復号部１２は、上述のように可変長復号処理を行うとともに、各ＭＢ層について付加された符号化パラメータ（以下、ＭＢパラメータ（MB_parameters）と呼ぶ。）を検出してメモリ１３に出力する。更に、可変長復号部１２は、ピクチャ層以上の符号化パラメータ（Sequence_GOP_Picure_parameters）を検出するとともに、ピクチャ層の符号化パラメータ及びＭＢパラメータが有効か否かを示すパラメータ判定情報（picture_mb_parameters_valid）を生成して、後述の制御部４１に出力する。

上記Sequence_GOP_Picure_parametersには、ＭＰＥＧ２規格において定義されている以下のパラメータを含む。すなわち可変長復号部１２に入力されるビットストリームには、シーケンスヘッダ（Sequence_header）の直後配置されるシーケンス拡張部（Sequence_extension）、シーケンスディスプレイ機能拡張部（Sequence_display_extension）、シーケンス・スケーラブル機能拡張部（Sequence_scalable_extension）が含まれ、これらの拡張部に続いてＧＯＰヘッダ（group_of_pictures_header）が付加される。

更に、ビットストリームには、Ｉ（Inter）ピクチャ（フレーム内符号化画像）、Ｐ（Predictive）ピクチャ（フレーム間順方向予測符号化画像）及びＢ（Bidirectionally Predictive）ピクチャ（双方向予測符号化画像）のピクチャ毎に関する情報を格納したピクチャヘッダ（picture_header）、ピクチャ符号化機能拡張部（picture_coding_extension）、量子化マトリクス機能拡張部（quant_matrix_extension）、ピクチャディスプレイ機能拡張部（picture_display_extension）等の拡張部が含まれる。

更にまた、ピクチャ層以上の符号化パラメータは、画像サイズ（horizontal_size、vertical_size）、piture_coding_type、top_field_first、repeat_first_field等のパラメータをも含む。

上記ＭＢパラメータは、ＭＢ層の符号化パラメータであり、ＭＰＥＧ２規格において定義されている以下のパラメータを含む。すなわち、ＭＢ層には、マクロブロックアドレス、量子化ステップ・サイズを示す量子化スケール、この量子化スケールが有効であることを示すフラグ（ＭＢがスキップＭＢ又はnot coded ＭＢのとき、“０”とされる。）、ＤＣＴがフレームモードかフィールドモードかを示すＤＣＴタイプ、フレームモード、フィールドモード又はデュアルプライムモードで動き補償を行うことを示す動き補償タイプ、前方向、後方向又は両方向で動き予測を行うことを示すＭＢモード、動きベクトル、フィールド動きベクトルの参照フィールド、デュアルプライムの補助ベクトルが含まれる。

可変長復号部１２は、復号するマクロブロックが“not coded MB”であるとき、すなわちイントラＭＢ以外でcoded_block_patternが存在しないマクロブロックのとき、上記ＤＣＴタイプをフレームモードとする。

また、可変長復号部１２は、スキップＭＢのとき、上記ＤＣＴタイプをフレームモードとし、上記動き補償タイプをフレーム予測とし、上記ＭＢモードをＰピクチャのとき前方向予測、Ｂピクチャのとき直前のＭＢからの予測とし、上記動きベクトルをＰピクチャのとき０、Ｂピクチャのとき直前のＭＢと同じ値とする。

更に、可変長復号部１２は、上述したように、シーケンス層、ＧＯＰ層、ピクチャ層、ＭＢ層における種々の符号化パラメータを出力するとともに、下記の表１に示すように、２ビットのフラグ、すなわちピクチャ層の符号化パラメータが有効か否かを示す１ビットのフラグと、ＭＢパラメータが有効か否かを示す１ビットのフラグで表現されるパラメータ判定情報を生成する。

すなわち、可変長復号部１２は、ピクチャ層の符号化パラメータ及びＭＢパラメータにエラー（invalid）を含んでいるときにはフラグを“００”とし、ピクチャ層の符号化パラメータにはエラーを含んでない（valid）がＭＢパラメータにエラーを含んでいるときにはフラグを“１０”とし、ピクチャ層の符号化パラメータ及びＭＢパラメータにエラーを含んでないときにはフラグを“１１”としてパラメータ判定情報を生成して制御部４１に出力する。

ピクチャ層の符号化パラメータにエラーが含まれるときとしては、例えば、デコーダ１０の可変長復号部１２における復号処理中においてビットストリームにエラーが発生したときが挙げられる。このとき、次のＧＯＰヘッダを検出してエラーリカバリーをするまでの間にデコーダ１０からエラーコンシールによって出力した画像データはpicture_coding_typeを持たないので、ピクチャ層の符号化パラメータにエラーを含むことになり、ピクチャ層の符号化パラメータが後述の制御部４１で無効と判定される。

また、ＭＢパラメータにエラーが含まれるときとしては、例えば、復号したピクチャ内にＭＢ層のビットストリームエラーがあったときが挙げられる。このとき、ＭＢパラメータにエラーを含むことになり、ＭＢパラメータが後述の制御部４１で無効と判定される。

更に、この可変長復号部１２は、スイッチ部２１を介してエンコーダ３０に出力されるフィールド画像列の画像データの中でスイッチ部３１に入力されるフィールド画像と、エンコーダ３０から出力するときのフィールド画像とが同じ画像としてエンコーダ３０側でエンコードを行わせるため、top_field_first及びrepeat_first_fieldを制御部４１に出力する。

ここで、上記top_field_firstはインタレース画像において、フレーム構造のピクチャのトップフィールドとボトムフィールドとのいずれかを時間的に先に表示するか否かを示すフラグであり、上記repeat_first_fieldはフレーム構造のピクチャを表示するときに一番目に表示するフィールドを２番目に表示するフィールドの後に繰り返して表示するか否かを示すフラグである。

メモリ１３は、可変長復号部１２からのＭＢパラメータが入力され、エンコーダ３０側の処理タイミングに応じて、後述する所定のピクチャ時間のディレイが制御部４１により制御されて出力する。

逆量子化部１４は、可変長復号部１２からの量子化係数からなる画像データについて例えば８×８画素ブロックごとに逆量子化を行う。このとき、逆量子化部１４は、画像データに量子化ステップを乗算することでＤＣＴ変換係数とする逆量子化処理を行って、画像データを逆ＤＣＴ（Inverse Discrete Cosine Transform：ＩＤＣＴ）部１５に出力する。

逆ＤＣＴ部１５は、逆量子化部１４からの画像データについて例えば８×８画素ブロック単位で離散コサイン変換の逆変換を行う。これにより、逆ＤＣＴ部１５は、８×８画素ブロック毎にそれぞれの画素値（輝度、色差）を算出する。そして、この逆ＤＣＴ部１５は、逆変換を施して生成した画素値からなる画像データを加算器１６に出力する。

加算器１６は、逆ＤＣＴ部１５からの画像データと、動き補償部１８からの画像データとを加算処理して制御部１７に出力する。

動き補償（Motion Compensation：ＭＣ）部１８は、時間的に前及び後に位置する画像データを格納するフレームメモリ（ＦＭ）を備え、動きベクトルに基づいて当該フレームメモリから予測する画像データをピクチャタイプ毎に読み出して加算器１６で加算処理をさせることで動き補償をする。

制御部１７は、加算器１６から復号順序でフレームが配列されてなるフレーム画像シーケンスを、表示順序でフレームが配列されてなるフレーム画像シーケンスとするように、フレームの順序を変更して画像処理部１９に出力する。

画像処理部１９は、後段のエンコーダ３０で行う再エンコードを画像サイズを変更して行うとき、制御部１７から入力される画像データＳ１０について、画像サイズを変更する処理を行う。この画像処理部１９は、例えば７２０ピクセル×４８０ピクセルの画像を３５２ピクセル×４８０ピクセルの画像データＳ３０としてスイッチ部２１に出力する。

また、この画像処理部１９は、制御部１７からの画像データを構成する各ピクチャについて、ピクチャ内の垂直方向及び水平方向の画素を補間して、制御部１７から入力されたときよりも解像度が高いピクチャとするアップサンプリング処理を行う。

また、画像処理部１９は、各ピクチャのピクチャヘッダに付加されているトップ・フィールド・ファースト（top_field_first）及びリピート・ファースト・フィールド（repeat_first_field）に基づいて、入力されたビットストリームを構成する各ピクチャをフレーム画像からインタレース画像とする。

更に、この画像処理部１９は、各ピクチャについて輝度信号、色差信号Ｃｂ、Ｃｒの比を示す輝度色差フォーマットを変換する処理を行う。すなわち、この画像処理部１９は、ピクチャ毎に水平方向及び垂直方向において色情報を半分に削減した輝度色差フォーマットを示す４：２：０から、水平方向において色情報を半分に削減した輝度色差フォーマットを示す４：２：２に切り換える処理を行う。

そして、この画像処理部１９は、画像サイズを変更する処理、上述したアップサンプリング処理、ピクチャヘッダを書き換えてフレーム画像からフィールド画像に変換する処理、輝度色差フォーマットを変換する処理を行った画像データＳ３０をスイッチ部２１を介してエンコーダ３０に出力する。

ダミーデータ付加部２０は、後段のエンコーダ３０で行う再エンコードを画像サイズを変更しないで行うとき、制御部１７から入力される画像データについて、図２に示すように、例えば水平方向におけるサイズｘ×垂直方向におけるサイズｙの画像データ（図２（ａ））にダミーデータを付加する処理を行って（図２（ｂ））、ダミーデータを付加した画像データＳ２０をスイッチ部２１を介してエンコーダ３０に出力する。

このとき、ダミーデータ付加部２０は、制御部１７からの画像データＳ１０のピクチャ単位の画像サイズが７２０ピクセル×４８０又は５７６ピクセルよりも小さいと判定したときにはダミーデータを付加して、７２０ピクセル×４８０又は５７６ピクセルの画像データとする処理を行う。すなわち、ダミーデータ付加部２０は、制御部１７からの画像データＳ１０のピクチャ単位の画像サイズが７２０ピクセル×４８０又は５７６ピクセルよりも小さいと判定したときには、画像データが示すピクチャの水平方向において（７２０−ｘ）ピクセル×４８０又は５７６ピクセルのダミーデータを付加し、ピクチャの垂直方向においてｘピクセル×（４８０−ｙ）又は（５６７−ｙ）ピクセルのダミーデータを付加する処理を行う。

スイッチ部２１は、後述の制御部４１からの制御信号にしたがって開閉動作し、端子ａが接続されることでダミーデータ付加部２０からの画像データＳ２０をエンコーダ３０に出力するとともに、端子ｂが接続されることで画像処理部１９からの画像データＳ３０をエンコーダ３０に出力する。

制御部４１は、可変長復号部１２からピクチャ層以上の符号化パラメータ（Sequence_GOP_Picure_parameters）が入力され、Sequence_parameters、GOP_parameters、Picure_parametersをエンコーダ３０に出力する。また、この制御部４１には、可変長復号部１２から上述の表１を用いて説明したパラメータ判定情報が入力される。制御部４１は、入力した符号化パラメータ及びパラメータ判定情報をメモリ４２に格納する処理を行う。

制御部４１は、デコーダ１０及びエンコーダ３０の処理タイミングを制御するため、スイッチ部２１、スイッチ部３１及びスイッチ部３７に制御信号を出力して、各スイッチ部２１、３１、３７の開閉タイミングを制御する。このとき、制御部４１は、上記パラメータ判定情報を参照することで、ピクチャ層の符号化パラメータが有効か否かを判定するとともに、ＭＢパラメータが有効か否かを判定して、スイッチ部３７を開閉動作させるための制御信号等を生成する。このとき、制御部４１は、作業用メモリとして機能するメモリ４２に上記各パラメータを格納して上述の処理を行う。

エンコーダ３０は、上記スイッチ部２１から画像データＳ２０又は画像データＳ３０が入力されるスイッチ部３１を備える。

スイッチ部３１は、制御部４１からの制御信号にしたがって開閉動作し、端子ａが接続されることでデコーダ１０からの画像データＳ２０を入力してダミーデータ除去部３２に画像データＳ２１を出力するとともに、端子ｂが接続されることでデコーダ１０からの画像データＳ３０を入力して画像処理部３３に画像データＳ３１を出力する。

ダミーデータ除去部３２は、スイッチ部３１からの画像データＳ２１について図２（ｃ）に示すように、ダミーデータを除去する処理を行って画像データＳ４０を動き推定部３４に出力する。すなわち、このダミーデータ除去部３２は、デコーダ１０からのダミーデータが付加された画像データＳ２０（図２（ｂ））に付加されているダミーデータを除去する処理を行ってダミーデータが付加される前の画像データとする。

画像処理部３３は、スイッチ部３１からの画像データＳ３１について、上述の画像処理部１９で変更された画像サイズを変更するとき、スイッチ部３１から入力される画像データＳ３１について、画像サイズを変更する処理等を行って画像データＳ４０を動き推定部３４に出力する。この画像処理部３３は、例えば３５２ピクセル×４８０ピクセルの画像を７２０ピクセル×４８０ピクセルの画像として動き推定（ＭＥ：Motion Estimation）部３４に出力する。

また、この画像処理部３３は、画像データＳ３１について２−３プルダウン処理を行う。すなわち、この画像処理部３３は、例えば２４ピクチャ／秒のフィルム映像を、３０フレーム／秒の画像データに変換する処理を行う。

更に、この画像処理部３３は、画像データＳ３１を構成する各ピクチャについて、ピクチャ内の垂直方向及び水平方向の画素を間引いて、スイッチ部３１から入力されたときよりも解像度が低いピクチャとするダウンサンプリング処理を行う。

更にまた、画像処理部３３は、各ピクチャのピクチャ層のヘッダに付加されているトップ・フィールド・ファースト（top_field_first）及びリピート・ファースト・フィールド（repeat_first_field）に基づいて、入力されたビットストリームを構成する各ピクチャをインタレース画像からフレーム画像とする。

更に、この画像処理部３３は、各ピクチャについて輝度信号、色差信号Ｃｂ、Ｃｒの比を示す輝度色差フォーマットを変換する処理を行う。すなわち、この画像処理部３３は、水平方向において色情報を半分に削減した輝度色差フォーマットを示す４：２：２から、ピクチャ毎に水平方向及び垂直方向において色情報を半分に削減した輝度色差フォーマットを示す４：２：０に切り換える処理を行う。

そして、この画像処理部３３は、画像サイズを変更する処理、上述した２−３プルダウン処理、ダウンサンプリング処理、ピクチャヘッダを書き換えてインタレース画像からフレーム画像に変換する処理、輝度色差フォーマットを変換する処理を行った画像データＳ４０を動き推定部３４に出力する。

動き推定部３４は、スイッチ部３１又はダミーデータ除去部３２からの画像データＳ４０を、ＭＢ単位で動きベクトルを算出する処理を行う。ここで、動き推定部３４は、過去の画像から予測を行う順方向予測、未来の画像から予測を行う逆方向予測及び過去及び未来の画像から予測を行う双方向予測を行って動きベクトルを算出する処理を行う。そして、この動き推定部３４は、算出した動きベクトル及びＭＢ単位の画像データを制御部３５及びＭＢパラメータ計算部３６に出力する。

制御部３５は、動き推定部３４からの表示順序でフレームが配列されてなるフレーム画像シーケンスを、符号化順序でフレームが配列されてなるフレーム画像シーケンスとするように、フレームの順序を変更してエンコード部３８に出力する。

ＭＢパラメータ計算部３６は、動き推定部３４からのＭＢ単位の動きベクトル及びＭＢ単位の画像データを用いて、ＭＢパラメータを生成してスイッチ部３７に出力する処理を行う。

スイッチ部３７は、制御部４１からの制御信号にしたがって開閉動作し、端子ａが接続されることでＭＢパラメータ計算部３６で計算されたＭＢパラメータを入力してエンコード部３８に出力するとともに、端子ｂが接続されることでデコーダ１０からのＭＢパラメータを入力してエンコード部３８に出力する。

エンコード部３８は、制御部３５からのＭＢ単位の画像データが入力される加算器５１と、加算器５１からのＭＢ単位の画像データについて離散コサイン変換処理を施してＤＣＴ変換係数からなる画像データとするＤＣＴ処理部（ＤＣＴ）５２と、このＤＣＴ処理部５２からの画像データを構成するＤＣＴ変換係数について量子化を行う量子化処理部（Ｑ）５３と、逆量子化処理部（ＩＱ）と、逆ＤＣＴ処理部（ＩＤＣＴ）５５と、加算器５６と、フレームメモリ（ＦＭ）５７ａ及び動き補償部（ＭＣ）５７ｂとからなる。

ここで、動き補償部（ＭＣ）５７ｂは、時間的に前及び後に位置する画像データを格納するフレームメモリ（ＦＭ）を備え、動きベクトルに基づいて当該フレームメモリから予測する画像データを読み出して加算器５１及び加算器５６で加算処理をさせることで動き補償をする。

このようなエンコード部３８は、上述したように構成されることで、ＭＢ単位で画像データのエンコードを行うことで、ＭＰＥＧ２規格に準拠してＩピクチャ、Ｐピクチャ及びＢピクチャが配列されてなる画像データを生成して可変長符号化部３９に出力する。

可変長符号化部３９は、エンコード部３８からの量子化係数からなるＭＢ単位の画像データについてハフマン符号化を用いることで可変長圧縮を行ってビットストリームとしバッファ４０に出力する。

バッファ４０は、可変長符号化部３９からのビットストリームを一旦格納し、再エンコードしたビットストリームを外部に出力する。

次に、上述したように構成された画像処理システム１において、エンコードデコーダ１０からピクチャ層の符号化パラメータ、パラメータ判定情報等がエンコーダ３０に入力されるときのタイミングチャート図３を参照して説明する。

この図３によれば、先ず、図３（ａ）に示すように、デコーダ１０には、ピクチャ時間ｔ１〜ｔ６に亘って、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順に配されてなるビットストリームがバッファ１１に入力される。

ここで、バッファ１１にビットストリームがピクチャ時間ｔ１〜ｔ６に亘って入力されることと同じタイミングで、図３（ｃ）に示すように、可変長復号部１２は、ピクチャ層以上の符号化パラメータ（Sequence_GOP_Picure_parameters）をピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順に検出して制御部４１に出力する。

また、デコーダ１０の可変長復号部１２では、パラメータ判定情報（picture_mb_parameters_valid）をピクチャの可変長復号するごとに生成し、図３（ｄ）に示すように、図３（ａ）に示すバッファ１１へのビットストリームの入力タイミングに対して１ピクチャ時間だけ遅延して出力する。ここで、可変長復号部１２は、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４についてのパラメータ判定情報をピクチャ時間ｔ２〜ｔ７に亘って制御部４１に出力する。

更に、デコーダ１０のスイッチ部２１からは、画像処理部１９又はダミーデータ付加部２０で上述した処理を施した画像データを図３（ｂ）に示すように、バッファ１１にビットストリームの入力タイミングに対して１ピクチャ時間だけ遅延してピクチャ時間ｔ２〜ｔ７に亘ってエンコーダ３０にピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５の順に出力する。

図３（ａ）〜（ｄ）に示したデコーダ１０側の処理に対し、エンコーダ３０では、図３（ｅ）に示すように、図３（ｂ）に示すデコーダ１０からの画像データの出力タイミングに対して遅延なしでピクチャ時間ｔ２〜ｔ７に亘りピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５の順に画像データが入力される。

また、エンコーダ３０では、図３（ｆ）に示すように、デコーダ１０からのピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順にピクチャ層以上の符号化パラメータ（Sequence_GOP_Picure_parameters）が、図３（ｃ）に示す可変長復号部１２からの出力タイミングから遅延なしで制御部４１を介して入力される。

更に、エンコーダ３０では、図３（ｇ）に示すように、デコーダ１０からのピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順にパラメータ判定情報が可変長復号部１２から遅延なしで入力される。このとき、エンコーダ３０には、可変長復号部１２からのピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４についてのパラメータ判定情報をピクチャ時間ｔ２〜ｔ７に亘って制御部４１を介して入力される。

更にまた、エンコーダ３０では、図３（ｈ）に示すように、Ｍ＝３のＧＯＰの画像データをエンコードするのに要する遅延タイミングとして、図３（ｅ）の画像データの入力タイミングから３ピクチャ時間の遅延タイミングでピクチャ時間ｔ５〜ｔ１０に亘りバッファ４０からビットストリームを出力する。このとき、エンコーダ３０からは、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順に出力する。

ここで、エンコーダ３０側ではエンコードするのに要するピクチャ時間分だけピクチャ層の符号化パラメータをメモリ４２でバッファリングする必要がある。そして、本例において、制御部４１は、ＭＰＥＧ２規格に準拠してＭ＝３のＧＯＰから構成されるビットストリームを出力するとき、４ピクチャ時間分（ｔ１〜ｔ４）だけ符号化パラメータのバッファリングを行わせることで、符号化パラメータが付加されエンコードしたビットストリームを出力させる処理を行うように制御する。

次に、上述の画像処理システム１において、デコーダ１０からＭＢパラメータ等がエンコーダ３０に入力されるときのタイミングチャートを図４を参照して説明する。

デコーダ１０では、図４（ａ）に示すように、ピクチャ時間ｔ１〜ｔ６に亘って、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順にピクチャが配されてなるビットストリームがバッファ１１に入力される。

また、デコーダ１０の可変長復号部１２では、図４（ｃ）に示すように、ピクチャ時間ｔ１〜ｔ６に亘るビットストリームのバッファ１１への入力タイミングに対して遅延なく同じタイミングでＭＢパラメータ（MB_parameters）をデコードして生成する。このとき、可変長復号部１２は、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４ついてのＭＢパラメータを順に生成する。

そして、デコーダ１０の可変長復号部１２では、上述の図４（ｃ）に示すタイミングで生成したＭＢパラメータを、図４（ｄ）に示すように、４ピクチャ時間分だけ遅延させてピクチャ時間ｔ５〜ｔ１０に亘って、ピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４ついてのＭＢパラメータを順に出力する。

ここで、制御部４１は、ＧＯＰのＭ＝３であるときには４ピクチャ時間分（４フレーム分）のＭＢパラメータをメモリ１３にバッファリングさせてエンコーダ３０に出力するように制御する。

更にまた、デコーダ１０は、図４（ｂ）に示すように、ビットストリームの入力タイミングに対して１ピクチャ時間だけ遅延してピクチャ時間ｔ２〜ｔ７に亘ってエンコーダ３０にピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５の順に画像データを出力する。

図４（ａ）〜（ｄ）に示したデコーダ１０側の処理に対し、エンコーダ３０では、図４（ｅ）に示すように、デコーダ１０から画像データが図４（ｂ）に示す出力タイミングに対して遅延なしでピクチャ時間ｔ２〜ｔ７に亘りピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５の順に画像データが入力される。

また、エンコーダ３０では、図４（ｄ）に示すＭＢパラメータの出力タイミングに対して遅延なしでピクチャ時間ｔ５〜ｔ１０に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４ついてのＭＢパラメータが順に入力される。

更に、エンコーダ３０では、図４（ｇ）の入力タイミングで入力されたＭＢパラメータを用いてエンコード部３８でエンコード等をすることで生成したビットストリームを、図４（ｆ）に示すように、図４（ｅ）に示すエンコーダ３０への画像データ入力の入力タイミングに対して３ピクチャ時間遅延してピクチャ時間ｔ５〜ｔ１０に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４の順に出力する。

ここで、エンコーダ３０側ではエンコードするのに要するピクチャ時間分だけピクチャ層の符号化パラメータをメモリ４２でバッファリングする必要がある。そして、本例において、制御部４１は、Ｍ＝３のＧＯＰで構成されるビットストリームを出力するとき、画像データの入力タイミングに対して３ピクチャ時間分（ｔ２〜ｔ４）だけ遅延させて出力するように制御する。

次に、上述の画像処理システム１において、デコーダ１０からのパラメータ判定情報に応じた処理について説明する。

画像処理システム１は、可変長復号部１２で生成されたパラメータ判定情報に基づいてピクチャ層以上の符号化パラメータ及びＭＢパラメータが有効か無効かを制御部４１で判定させ、制御部４１によりエンコーダ３０側でエンコードを行うときに用いる符号化パラメータを選択する処理を行わせる。

具体的には、制御部４１は、可変長復号部１２からのパラメータ判定情報に基づいて、ピクチャ層以上の符号化パラメータ及びＭＢパラメータにエラーを含んでおらず有効であることを示すフラグを検出したときには、デコーダ１０に入力されたビットストリームに付加された符号化パラメータと同じ符号化パラメータを用いてデコーダ１０から入力される画像データをエンコーダ３０でエンコードさせる。

また、制御部４１は、エンコーダ３０でエンコードを行うことでビットレートを下げる場合には、量子化スケールを示す符号化パラメータのみをエンコーダ３０で変更してエンコードを行い、他の符号化パラメータについてはデコーダ１０に入力されたビットストリームに付加された符号化パラメータを用いてエンコードするように制御する。

更に、制御部４１は、エンコーダ３０で画像サイズを変更してエンコードを行う場合には、ピクチャ層以上の符号化パラメータのみを用いてエンコードを行わせる。このとき、制御部４１は、少なくともpicture_coding_type、top_field_first、repeat_first_fieldについて、エンコードを行うときの符号化パラメータとデコーダ１０に入力されるビットストリームに付加された符号化パラメータとを同じくするように制御する。また、制御部４１は、可変長復号部１２からのＭＢパラメータを無効とし、ＭＢパラメータ計算部３６で計算されたＭＢ層の全ての符号化パラメータを用いてエンコード部３８でエンコードを行うようにスイッチ部３７を制御する。

一方、上述の画像処理システム１おいて、可変長復号部１２からのパラメータ判定情報に基づいて、ピクチャ層以上の符号化パラメータ及びＭＢパラメータにエラーを含んでおり無効であることを示すフラグを検出したときには、エンコーダ３０のＭＢパラメータ計算部３６で計算したＭＢパラメータを用いてエンコードを行う。以下に、符号化パラメータが無効であるときの処理について図５に示すタイミングチャートを参照して説明する。

この図５に示すタイミングチャートによれば、図５（ａ）に示すようにピクチャ時間ｔ１〜ｔ１２に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順にピクチャが配されてなるビットストリームがデコーダ１０のバッファ１１に入力される。

これに応じて、デコーダ１０の可変長復号部１２では、図５（ｃ）に示すように、ビットストリームの入力タイミングと同じタイミングでピクチャ時間ｔ１〜ｔ１２に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順でＭＢパラメータのデコードを行う。

ここで、図５（ｄ）に示すように、ピクチャ時間ｔ４において、ピクチャＰ５についてのＭＢ層のシンタクスエラーが発生すると、可変長復号部１２は、図５（ｅ）に示すように、パラメータ判定情報（mb_parameters_valid）のＭＢ層についての１ビットのフラグを“０”とする。そして、可変長復号部１２は、ピクチャＰ５の次のピクチャＢ３のスタートコードでエラーリカバリーを行う。

また、可変長復号部１２は、ピクチャ時間ｔ１〜ｔ３及びｔ５〜ｔ１２においてはＭＢ層にエラーが発生せずに、パラメータ判定情報のＭＢ層についての１ビットのフラグを“１”とする。

また、デコーダ１０は、図５（ｆ）に示すように、可変長復号部１２でデコードして生成したＭＢパラメータをメモリ１３にバッファリングして制御部４１からの制御によりビットストリームの入力タイミングに対して４ピクチャ時間だけ遅延させてピクチャ時間ｔ５〜ｔ１６に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順でＭＢパラメータを３０に出力する。

更に、デコーダ１０は、図５（ｂ）に示すように、ビットストリームの入力タイミングに対して１ピクチャ時間だけ遅延してピクチャ時間ｔ２〜ｔ１３に亘ってピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８，Ｂ０，Ｂ１，Ｉ２の順に画像データをエンコーダ３０に出力する。

図５（ａ）〜（ｆ）に示したデコーダ１０側の処理に対し、エンコーダ３０では、図５（ｇ）に示すように、デコーダ１０から画像データが図５（ｂ）に示す出力タイミングに対して遅延なしでピクチャ時間ｔ２〜ｔ１０に亘りピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｐ８の順に画像データが入力される。

また、エンコーダ３０には、図５（ｈ）に示すように、図５（ｆ）に示すＭＢパラメータの出力タイミングに対して遅延なしでピクチャ時間ｔ５〜ｔ１６に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１ついてのＭＢパラメータが入力される。

そして、図５（ｉ）に示すように、図５（ｈ）に示したＭＢパラメータの入力タイミングと同じタイミングで、制御部４１では、可変長復号部１２からのパラメータ判定情報に基づいて、可変長復号部１２からのＭＢパラメータが有効か否かの判定を行う。ここで、図５（ｉ）においては、制御部４１によりＭＢパラメータを有効と判定したときには“１”と表記し、制御部４１によりＭＢパラメータを無効と判定したときには“０”と表記している。

図５（ｄ）に示したようにピクチャ時間ｔ４においてピクチャＰ５についてのＭＢパラメータにエラーを含んでいる旨のパラメータ判定情報に応じて、制御部４１は、ピクチャＰ５がエラーコンシールにより生成された画像データであることを認識する。そして、制御部４１は、ピクチャＰ５を用いて予測符号化がなされて生成されたピクチャＢ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７についてのＭＢパラメータも無効とする。そして、制御部４１は、ピクチャＰ５を用いないで生成されるピクチャＩ２から再びＭＢパラメータが有効と判定する。すなわち、制御部４１は、ピクチャ時間ｔ５〜ｔ７に入力されるピクチャＩ２，Ｂ０，Ｂ１についてのＭＢパラメータ及びピクチャ時間ｔ１４〜ｔ１６に入力されるピクチャＩ２，Ｂ０，Ｂ１についてのＭＢパラメータを有効と判定し、ピクチャ時間ｔ８〜ｔ１３に入力されるピクチャＰ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７についてのＭＢパラメータを無効と判定する。

図５（ｉ）に示したように、ＭＢパラメータが有効と判定されたピクチャＩ２，Ｂ０，Ｂ１については、制御部４１は、スイッチ部３７が端子ｂと接続するように制御し、可変長復号部１２からスイッチ部３７に入力されたＭＢパラメータを用いてエンコード部３８で動きベクトルの予測等の処理を行ってエンコードを行うように制御する。

一方、図５（ｉ）に示したように、ＭＢパラメータが無効と判定されたピクチャＰ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７については、制御部４１は、スイッチ部３７が端子ａと接続するように制御し、可変長復号部１２で生成されエンコーダ３０に入力されたＭＢパラメータを用いず、ＭＢパラメータ計算部３６で計算したＭＢパラメータを用いてエンコード部３８で動きベクトルの予測等の処理を行ってエンコードを行うように制御する。

そして、エンコーダ３０は、エンコード部３８でエンコード等をすることで生成したビットストリームを、図５（ｊ）に示すように、図５（ｇ）に示す画像データ入力の入力タイミングに対して３ピクチャ時間分遅延してピクチャ時間ｔ５〜ｔ１６に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順に出力する。

ここで、エンコーダ３０側ではエンコードするのに要するピクチャ時間分だけピクチャ層の符号化パラメータをメモリ４２でバッファリングする必要がある。そして、本例において、制御部４１は、Ｍ＝３のＧＯＰで構成されるビットストリームを出力するとき、画像データの入力タイミングに対して３ピクチャ時間分（ｔ２〜ｔ４）だけ遅延させて出力するように制御する。

このように構成された画像処理システム１は、デコーダ１０の可変長復号部１２でピクチャ層の符号化パラメータ、ＭＢパラメータにエラーが発生していることを示すパラメータ判定情報を生成して、エンコーダ３０で用いる符号化パラメータを制御部４１により制御することができる。したがって、この画像処理システム１によれば、例えば符号化パラメータが無効であるときには、当該符号化パラメータを用いないでエンコーダ３０で計算して生成した符号化パラメータを用いて再エンコードを行うことで、正確に再エンコードを行うことができる。

具体的には、画像処理システム１によれば、図５（ｄ）に示すように、ＭＢ層のエラーが発生したときには、デコーダ１０の可変長復号部１２で生成したＭＢパラメータを用いないで、ＭＢパラメータ計算部３６で計算したＭＢパラメータを用いてエンコード部３８で再エンコードを行うことで、間違いのある符号化パラメータを用いて再エンコードすることを防止することができる。

上述の図３〜図５を用いて説明した動作を行う画像処理システム１に備えられるエンコーダ３０は、Ｉピクチャ又はＰピクチャの間隔が３（Ｍ＝３）以下のＧＯＰで構成される画像データについてエンコードを行うものであり、Ｍが３以上（Ｍ＞３）のＧＯＰで構成される画像データが入力されたときには、Ｍが３以下（Ｍ≦３）の画像データに変更する処理を制御部４１により行って再エンコードを行う。

例えば、エンコーダ３０にピクチャＩ０，Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｐ５が順に表示される画像データについては、制御部４１は、ピクチャＢ３をピクチャＰ３と変更する処理を行ってピクチャＩ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｐ５が順に表示される画像データとする。これにより、制御部４１は、Ｍ＝５のＧＯＰの画像データを、Ｍ＝３とＭ＝２のＧＯＰの画像データとする。

制御部４１は、上述のように、Ｍを変更するとき、ピクチャの表示順に従ってエンコーダ３０に入力されるピクチャパラメータのpicture_coding_typeを参照して、連続して入力されるＢピクチャの数をカウントし、当該カウント数が３となったときのＢピクチャをＰピクチャに変更するように符号化パラメータを生成して再エンコードを行うように制御する。

このような処理を行う画像処理システム１について図６のタイミングチャートを参照して説明する。

この図６に示すタイミングチャートによれば、先ず、図６（ａ）に示すように、ピクチャ時間ｔ１〜ｔ１４に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐａ，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐｄ，Ｂｂ，Ｂｃの順にピクチャが配されてなるビットストリームがデコーダ１０のバッファ１１に入力される。

ここで、デコーダ１０に入力されたビットストリームについてのＭは、あるピクチャ時間のＩピクチャ又はＰピクチャから後のピクチャ時間に出現するＩピクチャ又はＰピクチャまでのピクチャ数を検出することにより得られ、図６（ｂ）に示すように、ピクチャＩ２，Ｂ０，Ｂ１で３となり、ピクチャＰ５，Ｂ３，Ｂ４で“３”となり、ピクチャＰａ，Ｂ６，Ｂ７，Ｂ８，Ｂ９で“５”となり、ピクチャＰｄ，Ｂｂ，Ｂｃで“３”となる。

図６（ａ）に示すビットストリームの入力タイミングと同じタイミングで、デコーダ１０の可変長復号部１２では、図６（ｄ）に示すように、ピクチャ時間ｔ１〜ｔ１４に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐａ，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐｄ，Ｂｂ，Ｂｃの順で各ピクチャについてのＭＢパラメータのデコードを行う。

そして、デコーダ１０は、図６（ｅ）に示すように、可変長復号部１２で生成したＭＢパラメータをメモリ１３にバッファリングして制御部４１からの制御によりビットストリームの入力タイミングに対して４ピクチャ時間だけ遅延させてピクチャ時間ｔ５〜ｔ１６に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｉ２，Ｂ０，Ｂ１の順で各ピクチャについてのＭＢパラメータをエンコーダ３０に出力する。

更に、デコーダ１０は、図６（ｃ）に示すように、ビットストリームの入力タイミングに対して１ピクチャ時間だけ遅延しピクチャ時間ｔ２〜ｔ１５に亘ってピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐａ，Ｂｂ，Ｂｃ，Ｐｄの順に画像データをエンコーダ３０に出力する。

これに対し、エンコーダ３０には、図６（ｆ）に示すように、図６（ｃ）に示すデコーダ１０からの画像データの出力タイミングと同じタイミングで、ピクチャ時間ｔ２〜ｔ１５に亘ってピクチャＢ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐａ，Ｂｂ，Ｂｃ，Ｐｄの順に画像データが入力される。

ここで、制御部４１は、図６（ｇ）に示すように、図６（ｆ）に示す画像データの入力タイミングに基づいて、エンコーダ３０に時間的に連続して入力されるＢピクチャの数をカウントして、カウント数を得る。制御部４１は、Ｉピクチャ又はＰピクチャがエンコーダ３０に入力されたとき、又はカウント数が“３”となったときに、カウント数を“０”にリセットする。

すなわち、制御部４１は、図６（ｆ）に示すように入力された画像データに対し、１，２，０，１，２，０，１，２，３，１，０，１，２，０とピクチャに対応したカウント数を得る。

そして、制御部４１は、図６（ｇ）に示すカウント数に基づいて、画像データのＭを変更するか否かを判定を行う。すなわち、制御部４１は、カウンタ数が“３”となったときに画像データのＭを変更する旨の判定をし、図６（ｈ）に示すように、ピクチャ時間ｔ１０においてカウンタ数が“３”におけるピクチャＢ８をＰピクチャに変更して、Ｍを変更する。

このようにＢピクチャをＰピクチャに変更した場合において、制御部４１は、図６（ｉ）に示すように、図６（ｇ）に示すカウンタ数に基づいて、各ピクチャについてのピクチャタイプ（picture_coding_type）を決定する。本例において、制御部４１は、ピクチャ時間ｔ１０におけるピクチャＢ８をＰピクチャに変更することにより、図６（ｆ）のピクチャタイプをＢピクチャからＰピクチャに変更する処理を行う。

ここで、制御部４１は、デコーダ１０からエンコーダ３０に入力されるＭＢパラメータに関わらず、カウント数に基づいて決定したピクチャタイプに従ってエンコード部３８で再エンコードを行うように制御する。

また、エンコーダ３０には、図６（ｊ）に示すように、図６（ｅ）に示すＭＢパラメータの出力タイミングに対して遅延なしでピクチャ時間ｔ５〜ｔ１８に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐａ，Ｂ６，Ｂ７，Ｂ８，Ｂ９，Ｐｄ，Ｂｂ，ＢｃついてのＭＢパラメータが順に入力される。

そして、図６（ｋ）に示すように、図６（ｊ）に示したＭＢパラメータの入力タイミングと同じタイミングで、制御部４１では、可変長復号部１２からのパラメータ判定情報に基づいて、可変長復号部１２からのＭＢパラメータが有効か否かの判定を行う。ここで、図６（ｋ）においては、制御部４１によりＭＢパラメータを有効と判定したときには“１”と表記し、制御部４１によりＭＢパラメータを無効と判定したときには“０”と表記している。

ここで、制御部４１は、上述の図６（ｉ）に示すようにピクチャ時間ｔ１０におけるピクチャをＢピクチャからＰピクチャに変更した場合において、変更した時におけるＢピクチャと時間的に連続するＢピクチャから、時間的に後のＰピクチャまでにおける各ピクチャについてのＭＢパラメータ（例えば動きベクトル等）を無効と判定する。

すなわち、制御部４１は、カウンタ数が３であるときのピクチャＢ８と当該ピクチャＢ８と時間的に連続するピクチャＢ６，Ｂ７，Ｂ９から、時間的に後のピクチャＰａまでのＭＢパラメータを無効と判定し、それ以外のピクチャについてのＭＢパラメータを有効と判定する。

そして、制御部４１は、無効と判定されたＭＢパラメータに対応するピクチャについてはＭＢパラメータ計算部３６で計算して得たＭＢパラメータを用いてエンコード部３８で再エンコードを行い、有効と判定されたＭＢパラメータに対応するピクチャについてはデコーダ１０からのＭＢパラメータを用いてエンコード部３８で再エンコードを行う。

すなわち、制御部４１は、デコーダ１０から入力されたＭＢパラメータが無効であるピクチャＢ６〜Ｐａまでについてはスイッチ部３７が端子ａと接続するように制御し、可変長復号部１２で生成されエンコーダ３０に入力されたＭＢパラメータを用いず、ＭＢパラメータ計算部３６で計算したＭＢパラメータ（picture_coding_type）を用いてエンコード部３８で動きベクトルの予測等の処理を行ってエンコードを行うようにスイッチ部３７を制御する。

一方、制御部４１は、デコーダ１０から入力されたＭＢパラメータが有効であるピクチャについては、可変長復号部１２からスイッチ部３７に入力されたＭＢパラメータを用いてエンコード部３８で動きベクトルの予測等の処理を行ってエンコードを行うように制御する。

そして、エンコーダ３０は、エンコード部３８でエンコード等をすることで生成したビットストリームを、図６（ｌ）に示すように、図６（ｆ）に示す画像データ入力の入力タイミングに対して３ピクチャ時間遅延してピクチャ時間ｔ５〜ｔ１８に亘りピクチャＩ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｐａ，Ｂ９，Ｐｄ，Ｂｂ，Ｂｃの順に出力する。

ここで、エンコーダ３０側ではエンコードするのに要するピクチャ時間分だけピクチャ層の符号化パラメータをメモリ４２でバッファリングする必要がある。そして、本例において、制御部４１は、Ｍ＝３のＧＯＰで構成されるビットストリームを出力するとき、画像データの入力タイミングに対して３ピクチャ時間分（ｔ２〜ｔ４）だけ遅延させて出力するように制御する。

このような処理を行う画像処理システム１によれば、Ｍが３以下のＧＯＰの画像データに対応したエンコーダ３０において、Ｍが３以上のＧＯＰの画像データがデコーダ１０から入力されたときにはＢピクチャをＰピクチャに変更してＭが３以下のＧＯＰの画像データに変更しても、デコーダ１０からの符号化パラメータに代えてＭＢパラメータ計算部３６で計算した符号化パラメータを用いることにより正確に再エンコードを行うことができる。

すなわち、この画像処理システム１によれば、デコーダ１０から入力する符号化パラメータがエンコーダ３０で符号化することができる範囲外であっても、ＭＢパラメータ計算部３６で計算した符号化パラメータを用いることにより、符号化パラメータを変更して再エンコードを行うことができる。

また、エンコーダ３０は、デコーダ１０から入力されたＭＢパラメータのうち量子化スケールを使用して再エンコードを行った場合であっても、エンコード部３８で再エンコードした各ピクチャについての平均量子化スケールを計算する処理を行う。このとき、エンコーダ３０では、ＭＢパラメータのうち、量子化スケールが有効であることを示すフラグを検出し、エラーフラグのない有効な量子化スケールのみを用いて各ピクチャについての量子化スケールを計算する処理を行う。このように計算した平均量子化スケールは、レートコントロールに応じて可変長符号化部３９で行う符号化の符号化難易度を学習するときに用いられる。これにより、エンコーダ３０は、デコーダ１０から入力される量子化スケールでエンコードを行う処理モードから、ＭＢパラメータ計算部３６で量子化スケールを計算してエンコードを行う処理モードに変更したとき、上述のように計算した平均量子化スケールを用いた学習を可変長符号化部３９で再符号化を行うときのレートコントロールに生かすことができる。

なお、本発明を適用した画像処理システム１の説明においては、可変長復号部１２で生成するパラメータ判定情報をピクチャ層以上の階層及びＭＢ層について生成するときの一例について説明したが、これに限らず、例えばＭＰＥＧ規格に準拠したＧＯＰ層やスライス層等の他の階層（レイヤー）についてパラメータ判定情報を生成しても良い。これにより、画像処理システム１は、エンコーダ３０で再エンコードを行うとき、上記各階層に対応したパラメータ判定情報を参照して、デコーダ１０からの符号化パラメータを用いて再エンコードを行うか、各階層における符号化パラメータをＭＢパラメータ計算部３６で生成して再エンコードを行うかを制御部４１により判定して、正確な再エンコードを行うことができる。

更に、本発明を適用した画像処理システム１においては、パラメータ判定情報を可変長復号部１２で生成して制御部４１に出力する一例について説明したが、これに限らず、画像データ中のブランキング区間やクロマ信号のＬＳＢ（LeastSignificant Bit）等の有効な画像データでない信号部分に書き込んでデコーダ１０からエンコーダ３０に入力しても良い。このとき、可変長復号部１２は、パラメータ判定情報のみならず、ピクチャ層以上の符号化パラメータ及びＭＢパラメータも画像データ中の有効な部分以外に書き込んであることが望ましい。

つぎに、本発明を適用した他の画像処理システム１００について説明する。この画像処理システムは、入力されるビットストリームを画像データにまでは復号しないで、その途中の符号化情報まで復号して、当該符号化情報を用いて再エンコードを行う。

この画像処理システム１００は、図７に示すように、入力端子１０１を介してビットストリームＳ５１が入力されるバッファ１０２と、バッファ１０２からのビットストリームＳ５１について可変長復号を行って量子化ＤＣＴ係数からなる画像データとする可変長復号部１０３と、可変長復号部１０３からの画像データＳ５２を逆量子化部１０５に出力するとともに及び画像データＳ５２以外の情報Ｓ５３を遅延処理部１０９に出力するスイッチ部１０４と、スイッチ部１０４からの画像データＳ５２に逆量子化処理を行ってＤＣＴ係数からなる画像データとする逆量子化部１０５と、逆量子化部１０５からの画像データについて量子化処理を行って量子化ＤＣＴ係数からなる画像データＳ５４とする量子化部１０６と、可変長復号部１０３からの量子化パラメータに基づいて量子化部１０６の量子化処理を制御する量子化コントロール部１０７と、可変長復号部１０３からのパラメータ判定情報に基づいて符号化パラメータを生成するパラメータ発生部１０８と、スイッチ部１０４から量子化ＤＣＴ係数以外の情報Ｓ５３が入力される遅延処理部１０９と、量子化部１０６からの画像データＳ５４、遅延処理部１０９で遅延処理がなされた情報Ｓ５３、パラメータ発生部１０８で生成した符号化パラメータのいずれかを出力するように制御されるスイッチ部１１０と、スイッチ部１１０からの画像データについて可変長符号化処理を施してビットストリームＳ５５を生成する可変長符号化部１１１と、バッファ１１からのビットストリームを一旦格納して出力端子１１３を介して外部に出力するバッファ１１２とを備える。

このように構成された画像処理システム１００において、可変長復号部１０３は、上述した可変長復号部１２と同様の処理を行い、バッファ１０２からのビットストリームに例えばマクロブロック（ＭＢ）単位で可変長復号処理を施すことで量子化ＤＣＴ変換係数からなる画像データを求めてスイッチ部１０４に出力する。

また、この可変長復号部１０３は、上述のように可変長復号処理を行うとともに、各ＭＢ層について付加されたＭＢパラメータ（MB_parameters）及びピクチャ層以上の符号化パラメータ（Sequence_GOP_Picure_parameters）を検出してスイッチ部１０４に出力する。更に、可変長復号部１０２は、ピクチャ層の符号化パラメータ及びＭＢパラメータが有効か否かを示すパラメータ判定情報（picture_mb_parameters_valid）を生成してパラメータ発生部１０８及びスイッチ部１０４に出力する。

スイッチ部１０４は、図示しない制御部から制御信号が入力されることで端子Ａ又は端子Ｂと接続されるように制御されて動作する。このスイッチ部１０４は、端子Ａと接続することで可変長復号部１０３からの画像データを逆量子化部１０５に出力するとともに、端子Ｂと接続することで可変長復号部１０３からの符号化パラメータを遅延処理部１０９に出力する。

逆量子化部１０５は、スイッチ部１０４からの量子化ＤＣＴ変換係数からなる画像データについて例えば８×８画素ブロックごとに逆量子化を行う。このとき、逆量子化部１４は、画像データに量子化ステップを乗算することでＤＣＴ変換係数とする逆量子化処理を行って量子化部１０６に出力する。

量子化部１０６は、逆量子化部１０５からのＤＣＴ変換係数からなる画像データについて量子化を行うことで量子化ＤＣＴ変換係数からなる画像データＳ５４にしてスイッチ部１１０に出力する。

遅延処理部１０９は、逆量子化部１０５及び量子化部１０６における処理に要する時間だけスイッチ部１１０への入力タイミングを遅延させてスイッチ部１１０に符号化パラメータＳ５３を出力する。

量子化コントロール部１０７は、可変長復号部１０３からの量子化パラメータに基づいて、バッファ１１２のビット占有量を計算し、バッファ１１２から所定のビットレート以下のビットストリームＳ５５が出力されるように、量子化部１０６で行う量子化処理における量子化スケールを指定する量子化制御信号を生成する。

なお、この量子化コントロール部１０７は、エンコード及びデコードするときに原理上発生してしまう再生画像の動き補償によるビットストリームＳ５５のミスマッチエラーが目立たないように量子化スケールを制御することが望ましい。

パラメータ発生部１０８は、可変長復号部１０３からパラメータ判定情報に基づいて符号化パラメータを生成する。すなわち、このパラメータ発生部１０８は、パラメータ判定情報により、エラーが発生している階層における符号化パラメータを生成してスイッチ部１１０に出力する。

スイッチ部１１０は、可変長復号部１０３からのパラメータ判定情報及び図示しない制御部から制御信号が入力されることで端子Ａ、端子Ｂ又は端子Ｃと接続され出力タイミングが制御されて動作する。このスイッチ部１１０は、パラメータ判定情報により可変長復号部１０３で生成した符号化パラメータが有効と判定したときには遅延処理部１０９からの符号化パラメータを可変長符号化部１１１に出力するように端子Ｂと接続され、パラメータ判定情報により可変長復号部１０３で生成した符号化パラメータが無効と判定したときにはパラメータ発生部１０８からの符号化パラメータを可変長符号化部１１１に出力するように端子Ｃと接続される。

可変長符号化部１１１は、スイッチ部１１０からの画像データを可変長符号化してビットストリームＳ５５を生成してバッファ１１２に出力し、目的とするビットレートで出力端子１１３を介してビットストリームを出力する。

このように構成された画像処理システム１００において、入力端子１０１から入力されたビットストリームにシンタクスエラーが発生しないときの動作について説明する。

このとき、可変長復号部１０３で生成されるパラメータ判定情報のフラグは、表１を参照して明らかなように“１１”となる。すなわち、可変長復号部１０３で可変長復号されたビットストリームのピクチャ層及びＭＢパラメータにはエラーが発生しておらず有効である。したがって、この場合においては、可変長復号部１０３で生成した符号化パラメータを用いて可変長符号化部１１１で可変長符号化を行うことでビットレートを変換するように再エンコードをしてビットストリームＳ５５を生成する。

次に、入力端子１０１から入力されたビットストリームにシンタクスエラーが発生した場合の画像処理システム１００の動作について説明する。

入力されたビットストリームにシンタクスエラーが発生すると、可変長復号部１０３は、パラメータ判定情報のフラグが“００”又は“１０”となる。このとき、パラメータ発生部１０８は、エラーがＩピクチャ又はＰピクチャの位置で発生したときには、Ｐピクチャのピクチャヘッダを出力し、スキップマクロブロックとする旨のＭＢパラメータをスイッチ部１１０に出力する。

また、パラメータ発生部１０８は、エラーがＢピクチャの位置で発生したときにはＢピクチャのピクチャヘッダを出力し、動きベクトルが“０”でありＤＣＴ係数を持たないことを示すＭＢパラメータをスイッチ部１１０に出力する。そして、スイッチ部１１０では、パラメータ判定情報に基づいて、端子Ｃに入力された符号化パラメータとともに、端子Ａに入力された符号化パラメータを可変長符号化部１１１に出力し、ビットレートを変換するように再エンコードをしてビットストリームＳ５５を生成する。

次に、入力端子１０１から入力されたビットストリームにＭＢ層のシンタクスエラーが発生した場合の画像処理システム１００の動作について説明する。

この画像処理システム１００において、パラメータ判定情報により、ＭＢ層のエラーがＩピクチャの中で発生したときには、パラメータ発生部１０８は、エラーが発生したマクロブロックと隣接するマクロブロックについての符号化パラメータをエラーが発生したマクロブロックの符号化パラメータとしてスイッチ部１１０に出力する。

また、エラーがＰピクチャの中で発生した場合には、パラメータ発生部１０８は、スキップマクロブロックとする旨のＭＢパラメータをスイッチ部１１０に出力する。

更に、エラーがＢピクチの中で発生したときには、パラメータ発生部１０８は、動きベクトルが“０”であり、ＤＣＴ係数を持たないことを示すＭＢパラメータをスイッチ部１１０に出力する。そして、スイッチ部１１０では、パラメータ判定情報に基づいて、端子Ｃに入力された符号化パラメータとともに、端子Ａに入力された符号化パラメータを可変長符号化部１１１に出力し、ビットレートを変換するように再エンコードをしてビットストリームＳ５５を生成する。

このように構成された画像処理システム１００は、入力されたビットストリームにシンタクスエラーが発生する場合に置いても、可変長復号部１０３で生成したパラメータ判定情報に基づいて、パラメータ発生部１０８でピクチャ層及びＭＢパラメータを生成するので、シンタクスエラーを修正したビットストリームを生成するように再エンコードして出力端子１１３から出力することができる。

本発明を適用した画像処理システムの構成について示すブロック図である。 （ａ）は水平方向におけるサイズｘ×垂直方向におけるサイズｙの画像データを示す図であり、（ｂ）は画像データにダミーデータを付加する処理について説明するための図であり、（ｃ）は画像データからダミーデータを除去する処理について説明するための図である。 本発明を適用した画像処理システムにおいて、デコーダからピクチャパラメータ、パラメータ判定情報等がエンコーダに入力されるときの処理タイミングを説明するためのタイミングチャートである。 本発明を適用した画像処理システムにおいて、デコーダからＭＢパラメータ等がエンコーダに入力されるときの処理タイミングを説明するためのタイミングチャートである。 本発明を適用した画像処理システムにおいて、デコーダからエンコーダに入力された符号化パラメータが無効であるときの処理タイミングについて説明するためのタイミングチャートである。 ピクチャの表示順に従ってエンコーダに入力されるpicture_coding_typeのＭＢパラメータを参照して、Ｂピクチャの数をカウント数に応じてＢピクチャをＰピクチャと変更してエンコードを行うときの処理タイミングについて説明するためのタイミングチャートである。 本発明を適用した他の画像処理システムについて説明するための図である。

符号の説明

１，１００ 画像処理システム、１０ デコーダ、３０ エンコーダ

Claims (3)

1. 各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、復号装置から入力されたピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグに基づいて、復号装置から入力された画像データの再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定する判定手段と、
   復号装置からの符号化パラメータが有効でない旨の上記判定手段からの判定結果に基づいて、復号装置からの画像データを用いて符号化パラメータを計算する符号化パラメータ計算手段と、
   復号装置からの符号化パラメータが有効であると判定手段により判定されたときには復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、復号装置からの符号化パラメータが有効でないと判定手段により判定されたときには上記符号化パラメータ計算手段で生成された符号化パラメータを用いて画像データの符号化を行う符号化手段と、
   復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定するピクチャタイプ判定手段とを備え、
   上記判定手段は、上記ピクチャタイプ判定手段からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定することを特徴とする符号化装置。
2. 各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、復号装置から入力されたピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグに基づいて、復号装置から入力された画像データの再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定する判定処理と、
   復号装置からの符号化パラメータが有効でない旨の判定結果に基づいて、復号装置からの画像データを用いて符号化パラメータを計算する符号化パラメータ計算処理と、
   復号装置からの符号化パラメータが有効であると判定されたときには復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、復号装置からの符号化パラメータが有効でないと判定されたときには上記符号化パラメータ計算処理で生成した符号化パラメータを用いて画像データの符号化を行う符号化処理と、
   復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定するピクチャタイプ判定処理を有し、
   上記判定処理は、上記ピクチャタイプ判定処理で判定されたエラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定することを特徴とする符号化方法。
3. 入力されたビットストリームを復号して画像データを生成する復号手段と、上記復号手段で復号された画像データを再符号化するときに用いる各階層についての符号化パラメータを生成する符号化パラメータ生成手段と、画像データの再符号化を行うときに上記符号化パラメータ生成手段により生成された各階層ごとの符号化パラメータを有効に用いることができるか否かを示すエラーフラグとして、ピクチャ層の符号化パラメータが有効であるかを示す１ビットのフラグとマクロブロック層の符号化パラメータが有効であるかを示す１ビットのフラグからなる２ビットのエラーフラグを生成するエラーフラグ生成手段とを備える復号装置と、
   上記復号装置から入力された各階層ごとのエラーフラグに基づいて、再符号化を行うときに上記符号化パラメータを有効に用いることができるか否かを判定する判定手段と、上記復号装置からの符号化パラメータが有効でない旨の上記判定手段からの判定結果に基づいて、上記復号装置からの画像データを用いて符号化パラメータを計算する符号化パラメータ計算手段と、上記復号装置からの符号化パラメータが有効であると判定手段により判定されたときには上記復号装置から入力された符号化パラメータを用いて画像データの符号化を行い、上記復号装置からの符号化パラメータが有効でないと判定手段により判定されたときには上記符号化パラメータ計算手段で生成された符号化パラメータを用いて画像データの符号化を行う符号化手段とを備える符号化装置と
   を備え、
   上記符号化装置は、上記復号装置からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプを判定するピクチャタイプ判定手段を備え、上記判定手段は、上記ピクチャタイプ判定手段からのエラーフラグが付加されているピクチャを示す画像データのピクチャタイプに基づいて、当該エラーフラグが付加されているピクチャを用いて生成されたピクチャを示す画像データについての符号化パラメータを有効でないと判定することを特徴とする画像処理システム。

Images