JP5183309B2 - 映像復号化装置及び方法 - Google Patents

Description

本発明は、圧縮映像データを復号化する映像復号化装置及び方法に関し、より具体的には、エラーを修復する機能を具備する映像復号化装置及び方法に関する。

圧縮映像データ、即ち、動画像の符号化データを復号化する映像復号化装置では、データ伝送エラーにより、符号化データを正常に復号化できないことがある。このようなエラーを隠蔽又は修復する処理として、ＭＰＥＧ４におけるエラーコンシールメント処理が知られている。

例えば、図１０に示すように、エラーが発生したブロックと同じ位置にある、前フレームの画像データで、エラー部分を補間する（特許文献１参照）。即ち、フレーム＃ＮのブロックＸにおいて復号化が不可能な場合、前フレーム＃Ｎ−１における画面上の同一位置にあるブロックＸ２の復号済みデータによって、ブロックＸ１のデータを置き換える。ことにより補間する。
特許第３４９６３７８号

特許文献１に記載のエラーコンシールメント処理では、動きの激しい画像の場合に、正常に復号化されたブロックと補間処理を施したブロックとの境界部分において画像の連続性が保たれずに、画像にずれが生じることがある。

この問題を、図１１を参照して説明する。復号化対象フレームＰ１を復号化中に、ブロックＡでエラーが発生し、ブロックＡ以降のブロックで正常に復号化が出来なかったとする。従来の技術では、フレームＰ１のブロックＡに対して、先行するフレームＰ２を参照フレームとして、エラーの発生したブロックＡと同じ位置のブロックで補間処理を行う。しかし、動きの激しい映像では、復号化対象フレームと参照フレームとの差分が大きく、補間処理後画像Ｐ３のように、境界部Ｂにおける不整合が大きくなってしまう。

本発明は、このような不都合を緩和又は解消する映像復号化装置及び方法を提示することを目的とする。

本発明に係る映像復号化装置は、符号化画像データを復号化する復号化手段と、復号化不能エラーを発生した画像データを補間データで置換する置換手段と、前記置換手段の出力画像データを順次記憶するフレームメモリとを具備する映像復号化装置であって、前記符号化画像データに付加される参照フレーム情報と、動きベクトル情報及びカメラ情報を記憶する記憶手段と、前記復号化不能エラーの発生した前記画像データに対し、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された参照フレーム情報と動きベクトル情報又はカメラ情報を前記記憶手段から抽出し、補間処理用動きベクトル及び代表参照フレームを決定する決定手段と、前記決定手段により決定される前記補間処理用動きベクトル及び前記代表参照フレームに従い、前記フレームメモリに記憶される前記代表参照フレームの画像データから前記復号化不能エラーの発生した前記画像データに対する前記補間データを生成する補間データ生成手段とを具備し、前記決定手段は、前記復号化不能エラーの発生した前記画像データのピクチャタイプがＰピクチャ又はＢピクチャの場合、ピクチャのブロック数に対する復号化済みブロックの割合が閾値以上のときには、前記補間処理用動きベクトルを、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された動きベクトルの平均値または中央値を用いて算出し、前記復号化済みブロックの割合が前記閾値未満のときには、前記補間処理用動きベクトルを前記符号化不能エラーの発生した画像データに対応する前記符号化画像データに付加された前記カメラ情報から算出することを特徴とする。

本発明に係る映像復号化装置は、符号化画像データを復号化する復号化ステップと、復号化不能エラーを発生した画像データを補間データで置換する置換ステップと、前記置換ステップの補間結果である出力画像データをフレームメモリに順次記憶するステップとを具備する映像復号化方法であって、前記符号化画像データに付加される参照フレーム情報と、動きベクトル情報及びカメラ情報を記憶手段に記憶する記憶ステップと、前記復号化不能エラーの発生した前記画像データに対し、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された参照フレーム情報と動きベクトル情報又はカメラ情報を前記記憶手段から抽出し、補間処理用動きベクトル及び代表参照フレームを決定する決定ステップと、前記決定ステップにより決定される前記補間処理用動きベクトル及び前記代表参照フレームに従い、前記フレームメモリに記憶される前記代表参照フレームの画像データから前記復号化不能エラーの発生した前記画像データに対する前記補間データを生成する補間データ生成ステップとを具備し、前記決定ステップは、前記復号化不能エラーの発生した前記画像データのピクチャタイプがＰピクチャ又はＢピクチャの場合、ピクチャのブロック数に対する復号化済みブロックの割合が閾値以上のときには、前記補間処理用動きベクトルを、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された動きベクトルの平均値または中央値を用いて算出し、前記復号化済みブロックの割合が前記閾値未満のときには、前記補間処理用動きベクトルを前記符号化不能エラーの発生した画像データに対応する前記符号化画像データに付加された前記カメラ情報から算出することを特徴とする。

本発明によれば、エラーコンシールメント処理における画像境界部の不整合を緩和できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、Ｈ．２６４／ＡＶＣに対応した映像復号化装置の、本発明の一実施例の概略構成ブロック図を示す。

データ入力端子１０からＴＳ処理／カメラ情報抽出装置１２に、映像符号化データ（トランスポートストリーム）が入力する。トランスポートストリームのデータ構造を図２に示す。ＴＳ処理／カメラ情報抽出装置１２は、入力するトランスポートストリーム５０から図２に示すＰＥＳ（Packetized Elementary Stream）パケット５２を抽出する。ＰＥＳパケット５２からＰＥＳパケット・ペイロード５４を抽出し、ＰＥＳパケット・ペイロード５４からビデオ符号化データ（符号化画像データ）５６を抽出する。ＴＳ処理／カメラ情報抽出装置１２は、抽出したビデオ符号化データ５６をエントロピー復号化装置１４に供給する。さらに、ＴＳ処理／カメラ情報抽出装置１２は、ストリーム中のアクセスユニット内のＳＥＩ（Supplemental Enhancement Information）に付加されたカメラ情報を抽出して、カメラ情報メモリ１３に供給する。カメラ情報は、例えば、パン／チルトの動き量を示す情報、および、カメラが動いたときの加速度を示す情報である。

エントロピー復号化装置１４は、ＴＳ処理／カメラ情報抽出装置１２からの符号化画像データのエントロピー符号化部分を復号化するＣＡＶＬＣ又はＣＡＢＡＣのエントロピー復号化ブロックと、ビデオ符号化データ５６を解析するパース部を含む。パース部は、エントロピー復号化ブロックの出力からパースエラーを検出するエラー検出手段としても機能する。パースエラー検出の詳細は、後述する。

動きベクトル抽出装置１５は、エントロピー復号化装置１４より動きベクトルを抽出して、動きベクトルメモリ１７へ動きベクトル情報を供給する。ここで、動きベクトルメモリ１７は、カメラ情報メモリ１３と同一のメモリでも良い。

逆量子化装置１６は、エントロピー復号化装置１４から出力されるエントロピー復号化データを逆量子化し、逆ＤＣＴ装置１８は、逆量子化装置１６の出力を逆離散コサイン変換する。逆ＤＣＴ装置１８の出力は、予測符号化の場合には、参照画像との差分を示す残差データ又は差分データであり、予測を使わない非予測符号化の場合には、画像データそのものである。

画面内予測装置２０は、エントロピー復号化装置１４の出力から画面内予測における参照画像を生成する。動き補償装置２２及び重み付け予測装置２４は、フレームメモリ３２より復号化済み画像データを入力し、動き補償処理および重み付け処理を加味することで、画面間予測における参照フレーム画像を生成する。セレクタ２６は、エントロピー復号化装置１４からの制御信号に従い、画面内予測装置２０の出力データ、重み付け予測装置２４の出力データ又はゼロ値を選択し、選択したデータを加算器２８に供給する。具体的には、セレクタ２６は、非予測符号化に対してゼロ値を選択する。セレクタ２６は、画面内予測符号化に対して画面内予測装置２０の出力データを選択する。セレクタ２６は、画面間予測符号化に対して重み付け予測装置２４の出力データを選択する。

加算器２８は、逆ＤＣＴ装置１８の出力データにセレクタ２６で選択されたデータを加算する。加算器２８の出力データは、予測符号化の対象か非予測符号化の対象かに関わらず、復元された画像データである。加算器２８は、加算結果をセレクタ３０に出力する。

セレクタ３０には他に、補間データ生成装置３８から補間データが供給される。セレクタ３０は、補間データ生成装置３８からの制御信号に従い、加算器２８の出力データ、又は補間データ生成装置３８からの補間データを選択する。

エントロピー復号化装置１４のパース部がエラーを検出しない場合、無エラーを補間データ生成装置３８に通知する。補間データ生成装置３８は、無エラーの通知に従い、セレクタ３０に加算器２８の出力データを選択させる。セレクタ３０の出力画像データ、即ち、セレクタ３０で選択された画像データ（受信画像データ又は補間データ）は、フレームメモリ３２に順次記憶される。フレームメモリ３２に記憶される画像データは、順次読み出され、出力端子３４から外部に出力される。

エントロピー復号化装置１４のパース部がエラーを検出した場合の動作を説明する。パース部は、エラーが発生したブロックのアドレス情報を含むエラー検出信号を補間処理用動きベクトル算出装置３６および補間データ生成装置３８に出力する。補間処理用動きベクトル算出装置３６は、エラー検出信号を受けると、動きベクトルメモリ３７から同一フレーム内の既に復号化済みブロックの動きベクトル情報を抽出する。もしくは、カメラ情報メモリ１３よりカメラ情報（パン／チルトの動き量および加速度）を抽出する。補間処理用動きベクトル算出装置３６はまた、復号化済みブロックの動きベクトルの平均値（average）または中央値（median）を算出する。算出した平均値若しくは中央値、又はカメラ情報（パン／チルトの動き量および加速度）は、補間処理用動きベクトルとして補間データ生成装置３８に供給される。また、フレームメモリ３２から参照フレーム情報も補間データ生成装置３８に供給される。

図３を参照して、同一フレーム内の既に復号化済みブロックの動きベクトル情報を用いた補間処理用動きベクトルの算出方法を説明する。図３は、復号化対象フレームの画面構成を示す。ブロックＡ〜Ｏは、復号化済みのブロックを示す。また、ブロックＰは、復号化不能エラーにより復号化が不可能なブロックを示す。ブロックＰのデータを補間する為に、復号化済みのブロックＡ〜Ｏの動きベクトルを用いて、補間処理用動きベクトルＭＶを算出する。即ち、ＭＶ＝average（Ａ、Ｂ、Ｃ、Ｄ、…、Ｏ）又は、ＭＶ＝median（Ａ、Ｂ、Ｃ、Ｄ、…、Ｏ）である。

補間データ生成装置３８は、エントロピー復号化装置１４からエラー検出信号を受けると、フレームメモリ３２から復号化済みの参照フレーム画像を読み出す。そして、復号化不能エラーによる復号化不能ブロックと同一位置のブロックから、補間処理用動きベクトルだけ移動したブロックのデータを復号化済みの参照フレーム画像から抽出し、補間データを生成する。即ち、補間処理用動きベクトルの値が０（ゼロ）の場合には、復号化済みの参照フレーム画像の、復号化不能なブロックと同一位置のブロックのデータを用いて、補間データが生成される。補間データ生成装置３８は、生成した補間データをセレクタ３０に出力する。

セレクタ３０は、補間データ生成装置３８からの切替え制御信号に従い、エラーの発生したブロックの処理に合わせて、補間データ生成装置３８からの補間データと加算器２８からの画像データとを切り替える。即ち、セレクタ３０は、加算器２８からの画像データの内の復号化不能なブロックに対して、補間データで置換する置換手段として機能する。

エントロピー復号化装置１４のパース部におけるエラー検出動作を説明する。パース部は、複数種類のエラーを検出する機能を持つ。例えば、ref_idx_l0及びref_idx_l1の制限値のエラーを検出機能を持つ。Ｈ．２６４／ＡＶＣでは、メイン・プロファイル、ハイ・プロファイル及びベースライン・プロファイルなど複数のプロファイルが規定されている。これらのプロファイル毎にref_idx_l0およびref_idx_l1の取り得る範囲が規定されている。パース部は、エントロピー復号化処理の結果が所定範囲外であるか否かを検出する。パース部はまた、処理するマクロブロック数が設定されたマクロブロック数と異なるか否かを検出する機能も具備する。このように、パース部は、エントロピー復号化の結果が規格外であるか否かを項目毎に検出するエラー検出機能を具備する。

図４に示すフローチャートを参照して、補間処理用動きベクトル算出装置３６及び補間データ生成装置３８の動作を説明する。

補間処理用動きベクトル算出装置３６および補間データ生成装置３８は、エントロピー復号化装置１４からのエラー検出信号を待機する（Ｓ１）。エラーが検出されない場合（Ｓ１）、補間処理用動きベクトル算出装置３６および補間データ生成装置３８は機能せず、図１を用いて説明したエラー無しのパスにより復号化対象となるブロックの復号化処理（逆量子化及び逆ＤＣＴ）が実行される（Ｓ２）。エラー検出信号が入力すると（Ｓ１）、補間処理用動きベクトル算出装置３６は、エラーの発生したブロックのピクチャタイプがＩピクチャかどうかを判定する（Ｓ３）。復号化対象ブロックがＩピクチャであると判定されると（Ｓ３）、カメラ情報を抽出して、カメラ情報を元に補間処理用動きベクトルを決定する（Ｓ４）。

復号化対象ブロックがＩピクチャでない場合、即ち、ＰピクチャまたはＢピクチャの場合（Ｓ３）、同じピクチャ内で正常に復号化済みであるブロックの動きベクトル情報を抽出する（Ｓ５）。そして、抽出した動きベクトル情報の平均値又は中央値をもって、補間処理用動きベクトル情報とする（Ｓ６）。ステップＳ５，Ｓ６の代わりに、Ｓ４で抽出したカメラ情報から補間処理用動きベクトルを決定してもよい。

ステップＳ４，Ｓ６の後、エラー発生ブロックと同一の位置から、Ｓ４，Ｓ６で決定した補間処理用動きベクトル分移動した位置にある参照ピクチャ（又は参照フレーム）のブロックのデータから、補間データを生成する（Ｓ７）。そして、エラー発生ブロックのデータを補間データで置換する。

復号化対象フレームの全ブロックに対して、以上の処理を繰り返す（Ｓ８）。即ち、未処理ブロックが残っている限り（Ｓ８）、Ｓ１以降を繰り返す。

図５は、図４とは異なる処理方法の、図４とは同じ目的の動作フローチャートを示す。

補間処理用動きベクトル算出装置３６および補間データ生成装置３８は、エントロピー復号化装置１４からのエラー検出信号を待機する（Ｓ１１）。エラーが検出されない場合（Ｓ１１）、補間処理用動きベクトル算出装置３６および補間データ生成装置３８は機能せず、図１を用いて説明したエラー無しのパスにより復号化対象となるブロックの復号化処理（逆量子化及び逆ＤＣＴ）が実行される（Ｓ１２）。エラー検出信号が入力すると（Ｓ１１）、補間処理用動きベクトル算出装置３６は、エラーの発生したブロックのピクチャタイプがＩピクチャかどうかを判定する（Ｓ１３）。復号化対象ブロックがＩピクチャであると判定されると（Ｓ１３）、抽出したカメラ情報を基に補間処理用動きベクトルを決定する（Ｓ１５）。

復号化対象ブロックがＩピクチャでない場合、即ち、ＰピクチャまたはＢピクチャの場合（Ｓ１３）、復号化対象ピクチャに対して、正常に復号化済みのブロックの割合が閾値以上か否かを判定する（Ｓ１４）。復号化済みブロックの割合が閾値未満の場合には（Ｓ１４）、ステップＳ１５に移行する。復号化済みブロックの割合が閾値以上の場合には（Ｓ１４）、正常に復号化済みであるブロックの動きベクトル情報を抽出し（Ｓ１６）、抽出した動きベクトル情報の平均値又は中央値をもって、補間処理用動きベクトル情報とする（Ｓ１７）。

ステップＳ１５，Ｓ１７の後、エラー発生ブロックと同一の位置から、それぞれＳ１５，Ｓ１７で決定した補間処理用動きベクトル分移動した位置にある参照ピクチャ（または参照フレーム）のブロックのデータから、補間データを生成する（Ｓ１８）。そして、エラー発生ブロックのデータを補間データで置換する。

復号化対象フレームの全ブロックに対して、以上の処理を繰り返す（Ｓ１９）。即ち、未処理ブロックが残っている限り（Ｓ１９）、Ｓ１１以降を繰り返す。

なお、本実施例では、カメラ情報を、アクセスユニットのＳＥIとして付加されている情報から取得する。アクセスユニットの構造例を図６に示す。但し、動きベクトルを得られるのであれば、カメラ情報は、別の方法で定義されるものであってもよい。また、カメラ情報をＳＥＩから取得すると説明したが、その他の箇所に埋め込んで伝送しても良く、ＳＥＩに埋め込むことに限定されない。

復号化不能ブロックをデータ補間する際の、参照フレームの選定方法を説明する。Ｈ．２６４／ＡＶＣでは、ＰピクチャとＢピクチャは、参照フレームが１つとは限らない。即ち、図７に示すように、復号化対象ピクチャＡに対して、２つのフレームＲ０，Ｒ１を参照フレームとすることが可能である。本実施例では、復号化不能ブロックに対するデータ補間の参照フレームは、エラーの発生したフレーム内では同一のものとする。例えば、復号化済みブロックの参照フレームとして最も多く使用されている一つのフレームをデータ補間の参照フレーム、即ち、代表参照フレームとする。図７では、復号化済みブロックは、フレームＲ０又はＲ１を参照フレームとしているが、フレームＲ０を参照フレームとするブロックが６つ、フレームＲ１を参照フレームとするブロックが９つとなっている。従って、このケースでは、復号化不能ブロックのデータ補間に使用する代表参照フレームとして、フレームＲ１を採用する。

図８を参照して、本実施例のエラーコンシールメント処理を説明する。図８において、Ｐ１は復号化対象フレームを示す。フレームＰ１を復号化中に、ブロックＡでエラーが発生し、ブロックＡ以降のブロックが正常に復号化出来なくなったとする。そして、復号化不能ブロックの補間のための参照フレームとして、前フレームＰ２が選択されたとする。エラーが発生したブロックと同じ位置のブロックから補間処理用動きベクトルだけ移動した位置のブロックのデータを、フレームＰ２から抽出し、補間処理に使用する。補間処理後の画像Ｐ３では、境界部Ｂにおいて不整合を抑制して、高品質な画像を生成する。

補間処理を実施する場合に、参照画像が存在しない場合が生じる。この場合の対応策を説明する。図９（Ａ）は現在、復号化中（時間#N）のフレームの前フレーム（時間＃Ｎ-１）を示し、同（Ｂ）は、現在、復号化中（時間#N）のフレームを示す。

現在、復号化中のフレーム（現在フレーム）では、左上のブロックから復号化処理を行い、太枠で囲ったブロックＸ，Ａ〜Ｄ，Ｙ，Ｅ〜Ｈについて、エラーが生じて正常な復号化が不可能となったとする。そして、現在フレームで復号化済みブロックの動きベクトルから、前フレームのブロックＡ〜Ｈが現在フレームのブロックＡ〜Ｈに対応しており、補間データとして利用できるとする。このとき、現在フレームのブロックX、Yに対しては、補間データを得ることができない。

このようなブロックＸ，Ｙに対して、本実施例では、参照フレームの同一位置のブロックにより補間するものとする。図９に示す例では、現在フレームのブロックＸ，Ｙを、参照フレームの同一位置にあるブロックＡ，Ｅを使って補間する。

他の方法として、参照フレームの端のブロックデータを水平方向又は垂直方向に保持して補間する方法や、レジスタに設定した値によって補間する方法などが考えられる。その他、出力映像が著しく低画質な映像とならなければ、他の方法を用いても良い。

本発明の一実施例の概略構成ブロック図を示す。 トランスポートストリームのデータ構造を示す。 復号化対象フレームの画面構成例を示す。 本実施例における復号化不能ブロックの修復（補間）動作のフローチャートである。 本実施例における復号化不能ブロックの修復（補間）動作の別のフローチャートである。 アクセスユニットの構造例を示す。 復号化対象ピクチャＡが２つのフレームＲ０，Ｒ１を参照フレームとする構成の説明図である。 本実施例の修復動作の説明図である。 本実施例で、参照フレームに対応ブロックが存在しない場合の修復動作の説明図である。 従来例における復号化不能ブロックを修復（補間）する処理の説明図である。 従来例の問題点の説明例である。

符号の説明

１０：データ入力端子
１２：ＴＳ処理／カメラ情報抽出装置
１３：カメラ情報メモリ
１４：エントロピー復号化装置
１５：動きベクトル抽出装置
１６：逆量子化装置
１７：動きベクトルメモリ
１８：逆ＤＣＴ装置
２０：画面内予測装置
２２：動き補償装置
２４：重み付け予測装置
２６：セレクタ
２８：加算器
３０：セレクタ
３２：フレームメモリ
３４：出力端子
３６：補間処理用動きベクトル算出装置
３８：補間データ生成装置
５０：トランスポートストリーム
５２：ＰＥＳ（Packetized Elementary Stream）パケット
５４：ＰＥＳパケット・ペイロード
５６：ビデオ符号化データ

Claims (10)

1. 符号化画像データを復号化する復号化手段と、復号化不能エラーを発生した画像データを補間データで置換する置換手段と、前記置換手段の出力画像データを順次記憶するフレームメモリとを具備する映像復号化装置であって、
   前記符号化画像データに付加される参照フレーム情報と、動きベクトル情報及びカメラ情報を記憶する記憶手段と、
   前記復号化不能エラーの発生した前記画像データに対し、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された参照フレーム情報と動きベクトル情報又はカメラ情報を前記記憶手段から抽出し、補間処理用動きベクトル及び代表参照フレームを決定する決定手段と、
   前記決定手段により決定される前記補間処理用動きベクトル及び前記代表参照フレームに従い、前記フレームメモリに記憶される前記代表参照フレームの画像データから前記復号化不能エラーの発生した前記画像データに対する前記補間データを生成する補間データ生成手段
   とを具備し、
   前記決定手段は、前記復号化不能エラーの発生した前記画像データのピクチャタイプがＰピクチャ又はＢピクチャの場合、ピクチャのブロック数に対する復号化済みブロックの割合が閾値以上のときには、前記補間処理用動きベクトルを、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された動きベクトルの平均値または中央値を用いて算出し、前記復号化済みブロックの割合が前記閾値未満のときには、前記補間処理用動きベクトルを前記符号化不能エラーの発生した画像データに対応する前記符号化画像データに付加された前記カメラ情報から算出する
   ことを特徴とする映像復号化装置。
2. 前記決定手段は、前記復号化不能エラーの発生した前記画像データのピクチャタイプがＩピクチャの場合は、前記補間処理用動きベクトルを、カメラ情報から算出することを特徴とする請求項１に記載の映像復号化装置。
3. 前記決定手段は、複数の参照フレームが存在する場合、復号化済みブロックが最も多く参照するフレームを、前記代表参照フレームとすることを特徴とする請求項１または２に記載の映像復号化装置。
4. 前記補間データ生成手段は、前記補間処理用動きベクトルに基づいて参照されるべき前記代表参照フレームの画像データが存在しない場合、前記補間処理用動きベクトルによらず前記復号化不能エラーの発生した画像データと同一位置の画像データに基づいて、前記復号化不能エラーの発生した画像データに対する補間データを生成することを特徴とする請求項１から３のいずれか１項に記載の映像復号化装置。
5. 前記決定手段は、複数の参照フレームが存在する場合、前記復号化不能エラーの発生した前記画像データよりも前に復号化されたブロックが最も多く参照するフレームを、前記代表参照フレームとすることを特徴とする請求項３に記載の映像復号化装置。
6. 符号化画像データを復号化する復号化ステップと、復号化不能エラーを発生した画像データを補間データで置換する置換ステップと、前記置換ステップの補間結果である出力画像データをフレームメモリに順次記憶するステップとを具備する映像復号化方法であって、
   前記符号化画像データに付加される参照フレーム情報と、動きベクトル情報及びカメラ情報を記憶手段に記憶する記憶ステップと、
   前記復号化不能エラーの発生した前記画像データに対し、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された参照フレーム情報と動きベクトル情報又はカメラ情報を前記記憶手段から抽出し、補間処理用動きベクトル及び代表参照フレームを決定する決定ステップと、
   前記決定ステップにより決定される前記補間処理用動きベクトル及び前記代表参照フレームに従い、前記フレームメモリに記憶される前記代表参照フレームの画像データから前記復号化不能エラーの発生した前記画像データに対する前記補間データを生成する補間データ生成ステップ
   とを具備し、
   前記決定ステップは、前記復号化不能エラーの発生した前記画像データのピクチャタイプがＰピクチャ又はＢピクチャの場合、ピクチャのブロック数に対する復号化済みブロックの割合が閾値以上のときには、前記補間処理用動きベクトルを、同じ画面内で復号化済み部分に対応する前記符号化画像データに付加された動きベクトルの平均値または中央値を用いて算出し、前記復号化済みブロックの割合が前記閾値未満のときには、前記補間処理用動きベクトルを前記符号化不能エラーの発生した画像データに対応する前記符号化画像データに付加された前記カメラ情報から算出する
   ことを特徴とする映像復号化方法。
7. 前記決定ステップは、前記復号化不能エラーの発生した前記画像データのピクチャタイプがＩピクチャの場合は、前記補間処理用動きベクトルを、カメラ情報から算出することを特徴とする請求項６に記載の映像復号化方法。
8. 前記決定ステップは、複数の参照フレームが存在する場合、復号化済みブロックが最も多く参照するフレームを、前記代表参照フレームとすることを特徴とする請求項６または７に記載の映像復号化方法。
9. 前記補間データ生成ステップは、前記補間処理用動きベクトルに基づいて参照されるべき前記代表参照フレームの画像データが存在しない場合、前記補間処理用動きベクトルによらず前記復号化不能エラーの発生した画像データと同一位置の画像データに基づいて、前記復号化不能エラーの発生した画像データに対する補間データを生成することを特徴とする請求項６から８のいずれか１項に記載の映像復号化方法。
10. 前記決定ステップは、複数の参照フレームが存在する場合、前記復号化不能エラーの発生した前記画像データよりも前に復号化されたブロックが最も多く参照するフレームを、前記代表参照フレームとすることを特徴とする請求項８に記載の映像復号化方法。

Images