JP4650894B2

JP4650894B2 - 画像復号装置

Info

Publication number: JP4650894B2
Application number: JP2006102041A
Authority: JP
Inventors: 聖崇加藤; 幾朗上野; 隆太鈴木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-04-03
Filing date: 2006-04-03
Publication date: 2011-03-16
Anticipated expiration: 2026-04-03
Also published as: US20070230802A1; JP2007281594A

Description

この発明は、コードストリームの復号エラー検出時に復号画像を適応的に切り替える画像復号装置に関するものである。

ＪＰＥＧ２０００やウェーブレット変換等の解像度レイヤを用いた画像符号化アルゴリズムでは、入力画像を２次元ウェーブレット変換、量子化、エントロピー符号化し、コードストリームを生成する。入力画像（元画像）を、ウェーブレット変換を経て低周波数成分（ＬＬ成分）及び高周波数成分にサブバンド分解した場合、レベル１の分解では、「ＬＬ成分」は、元画像を水平垂直方向に１／２（計１／４）とした画像となる。例えば、元画像が縦横４０００×４０００の解像度を持つ場合、変換後の画像として、「ＬＬ成分」は２０００×２０００の解像度を持つ画像となる。また、高周波数成分として、「ＨＬ成分」、「ＬＨ成分」、「ＨＨ成分」が生成される。復号装置では、「ＬＬ成分」と「高周波数成分」のコードストリームを共に復号し、逆ウェーブレット変換を実施することにより、元画像４０００×４０００の画像を得ることができる。

ここで、高解像度を持つ動画像を復号する画像復号装置において、符号化されたコードストリームにエラーが混入した場合、復号エラーとなり、復号回路が復帰するまでの間、画像出力が途切れたり、乱れたりしてしまう。また、高解像度動画像の復号ゆえの高負荷のリアルタイム処理が発生し、復号回路の処理性能が追いつかず、復号エラーが発生した場合も、復号回路の復帰まで、画像出力が途切れたり、乱れたりしてしまう。そこで、複数に分割されたサブバンド成分内のエラーのあるウェーブレット変換係数を補間し、エラーの有無により出力画像を変更する方法も提案されている（例えば、特許文献１を参照）。

また、ＪＰＥＧ２０００における画像復号化において、復号化に許容される時間制約の関係で、ＬＬ成分のみを復号化対象とすることで、画像再生を行っても比較的高い画質を維持する画像復号装置がある（例えば、特許文献２参照）。

また、プログレッシブ表示処理において、ＬＬ→（ＬＨ，ＨＬ）→ＨＨ成分を表示させていくことで、復号化画像解像度を上げるものがある（例えば、特許文献３参照）。

また、高速復号化処理の実現のために、必要に応じてＬＬ，ＨＬ，ＨＨ成分を不要とし、ＬＬ成分のみで復号化するものがある（例えば、特許文献４参照）。

また、処理コスト低減を目的に、ＬＬ成分以外の他のサブバンドの復号化を行わないようにしたものがある（例えば、特許文献５ないし７参照）。

特開２００３−６９９９８号公報特開２００２−３２５２５７号公報特開２００４−４０６７４号公報特開２００４−２３６２１６号公報特開２００２−３５９８４６号公報特開２００４−５６４５２号公報特開２００４−２２９３１４号公報

上述したように、従来の高解像度動画を扱うＪＰＥＧ２０００やウェーブレット変換等の解像度レイヤを用いた画像復号装置では、ある特定の解像度レイヤで部分的な復号エラーが発生した場合、画像復号装置が復号エラーから回復するまでの間、復号出力である表示画像が途切れたり、乱れたりしてしまうという問題点があった。

また、特許文献１に提案されている従来装置では、符号化されたコードストリーム中にエラーがあった場合、エラー補間処理後の復号画像の出力切替えをコードストリームのエラーの有無だけで行うため、復号出力である表示画像が途切れたり、乱れたりしてしまうという問題点があった。

また、復号画像が高解像度であることに起因するリアルタイム復号処理のための規定時間を満たせない場合などのエラー時には、エラー内容に応じて出力画像を適応的に切り替えることができず、復号出力である表示画像が途切れたり、乱れたりしてしまうという問題点があった。

この発明は上記のような問題点を解決するためになされたもので、コードストリーム中にエラーが含まれていたり、ある特定の解像度レイヤで部分的な復号エラーが発生した場合でも、復号出力である表示画像が途切れたり、乱れたりしないで、画像復号装置が復号エラーから回復することができる画像復号装置を得ることを目的とする。

この発明に係る画像復号装置は、複数のサブバンド成分に符号化されたコードストリームを入力し、低周波数成分コードストリームと高周波数成分コードストリームに分解して出力する入力手段と、前記低周波数成分コードストリームを復号して低周波数成分復号画像を出力する低周波数サブバンド成分復号手段と、前記高周波数成分コードストリームを復号して高周波数成分復号画像を出力する高周波数サブバンド成分復号手段と、前記低周波数サブバンド成分復号手段からの低周波数成分復号画像を処理して代用画像を生成する代用画像生成手段と、前記高周波数成分コードストリーム及び低周波数成分コードストリームの復号時のエラーを検出するエラー検出手段と、復号処理のためのタイミング信号を生成するタイミング生成手段と、前記エラー検出手段からのエラー検出信号と前記タイミング生成手段からのタイミング信号に基づいて復号処理のための残り時間を算出して復号処理時間信号を出力する復号残時間算出手段と、前記エラー検出手段からのエラー検出信号と前記復号残時間算出手段からの復号処理時間信号とに基づいて適応的に出力画像の選択を制御する出力画像制御手段と、前記出力画像制御手段からの制御に基づいて前記高周波数サブバンド成分復号手段からの高周波数成分復号画像または前記代用画像生成手段からの代用画像のいずれかを選択して表示画像として出力する出力画像選択手段とを備えたものである。

この発明によれば、コードストリーム中にエラーが含まれていたり、ある特定の解像度レイヤで部分的な復号エラーが発生した場合でも、エラー内容及び復号処理の残時間に応じて出力画像の選択を適応的に切り替えることで、復号出力である表示画像が途切れたり、乱れたりしないで、画像復号装置が復号エラーから回復することができる。

実施の形態１．
図１は、この発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。図１において、入力手段１は、ＪＰＥＧ２０００符号化されたコードストリームとそのタグ情報（メタデータ）により構成されるパッケージデータ１００から、タグ情報を切り取り、複数の周波数成分で構成されたコードストリームを低周波数成分（ＬＬ成分）コードストリーム１０１と高周波数成分コードストリーム１０２に分解して出力すると共に、コードストリームのヘッダ情報やタグ情報より得られる入力コードストリームエラーステータス１０３を出力する。

低周波数サブバンド成分復号手段２は、入力された低周波数成分コードストリーム１０１を所定の解像度で画像復号し、低周波数成分復号画像１０４を出力すると共に、低周波数成分復号時のエラーステータスとして低周波数成分復号エラーステータス１０５を出力する。

高周波数サブバンド成分復号手段３は、入力された高周波数成分コードストリーム１０２と低周波数成分復号画像１０４により、所定の解像度で画像復号し、通常画像１０６を出力すると共に、高周波数成分復号時のエラーステータスとして高周波数成分復号エラーステータス１０７を出力する。

代用画像生成手段４は、低周波数成分復号画像１０４より、代用画像１０８を生成する。エラー検出手段５は、入力コードストリームエラーステータス１０３、低周波数成分復号エラーステータス１０５、高周波数成分復号エラーステータス１０７に基づき、エラー検出信号１１３を出力する。タイミング生成手段７は、復号処理に必要なタイミングを生成し、タイミング信号１１４を出力する。

復号残時間算出手段８は、エラー検出信号１１３とタイミング信号１１４より、復号処理時間信号１１５を出力する。出力画像制御手段９は、エラー検出信号１１３と、復号処理時間信号１１５より、代用画像生成信号１１０、出力画像選択制御信号１１１、代用復号パラメータ１１２を出力する。出力画像選択手段６は、高周波数成分復号画像１０６、代用画像信号１０８から、出力画像選択制御信号１１１に従い、表示画像１０９を出力する。

次に動作について説明する。まず、入力手段１は、ＪＰＥＧ２０００符号化されたコードストリームとそのタグ情報（メタデータ）により構成されるパッケージデータ１００を入力して、タグ情報を切り取り、複数の周波数成分で構成されたコードストリームを低周波数成分（ＬＬ成分）コードストリーム１０１と高周波数成分コードストリーム１０２に分解すると共に、ＪＰＥＧ２０００のマーカーチェックにより、入力されたコードストリーム中にエラーがないかチェックを行い、ＪＰＥＧ２０００で規定されていないマーカーコードがある場合は、エラーステータス１０３によりエラー検出手段５にエラーを報告する。低周波数成分（ＬＬ成分）コードストリーム１０１は、低周波数サブバンド成分復号手段２により復号され、低周波数成分復号画像１０４として高周波数サブバンド成分復号手段３と代用画像生成手段４に出力される。

高周波数サブバンド成分復号手段３では、高周波数成分コードストリーム１０２と低周波数成分復号画像１０４により元画像のもつ所定の解像度で画像復号し、出力画像選択手段６へ通常画像１０６を出力する。例えば、元画像が４０９６画素×４０９６ラインの場合、低周波数成分復号画像は２０４８画素×２０４８ラインの画像であり、これと高周波数成分コードストリームの復号結果を逆ウェーブレット変換することにより、元画像の持つ４０９６画素×４０９６ラインの画像が復号される。復号エラーが発生した場合（復号できないコードを含む場合や、処理能力により復号できない場合）は、高周波数成分復号エラーステータス１０７をエラー検出手段５に送出する。

エラー検出手段５では、各エラーステータスにより、エラーが検出された場合、復号残時間算出手段８と出力画像制御手段９とにエラー検出信号１１３を出力する。復号残時間算出手段８は、タイミング生成手段７から復号に必要なタイミング信号１１４が入力されおり、エラー検出信号１１３が入力された時、残りの復号処理時間を算出し、規定された復号処理時間と比較して、再復号が可能と判定したなら、出力画像制御手段９に復号処理時間信号１１５を送出する。

復号残時間算出手段８において、残りの復号時間の取得には、例えば、１秒間に２４フレームを表示する場合、１フレームの復号は１／２４秒（４１．１７ｍｓ）以内で処理する必要がある（複数並列で行う場合は、４１．１７×並列数倍の時間が許されことになる）。タイミング生成手段７から、タイミング信号１１４として、垂直同期信号（１／２４秒毎のフレーム同期信号）や水平同期信号を入力する。復号残時間算出手段８は、これらの信号を基準として、内部クロックにより、経過時間を計測しておき、エラー検出信号１１３が入力された時から次の垂直同期信号が入力されるまでの時間を算出する。例えば、基準クロックで動作するダウンカウンタを用いるならば、ダウンカウンタの初期値を４１．１７ｍｓを基準クロック時間で割った値としておく。そして、基準クロックでダウンカウントしていき、エラー検出信号が入力された段階でのダウンカウンタ値を観測すれば、そのダウンカウンタ値×基準クロック時間が残りの処理に割り当てられる時間となる。なお、復号処理時間の規定値は、復号処理性能により異なるため、例えば、ＣＰＵ等により外部から復号装置内メモリへ設定したり、あらかじめＲＯＭ等に格納したりしても良い。

出力画像制御手段９の動作は、図２に示すフローチャートを参照して説明する。出力画像制御手段９は、まず、エラー検出手段５からのエラー検出信号１１３及び復号残時間算出手段８からの復号処理時間信号１１５を入力する（Ｓ２０１）。そして、出力画像制御手段９は、エラー検出信号１１３により高周波成分でエラーが検出されない場合（「高周波成分エラー」がＮｏ）に、通常の復号処理を行い、出力画像選択手段６により、通常画像１０６を選択して、表示画像１０９として出力させるべく、出力画像選択手段６に通常の復号処理を行うための出力画像制御信号１１１を出力する（Ｓ２０２→Ｓ２０３）。

他方、出力画像制御手段９は、エラー検出手段５からのエラー検出信号１１３により高周波成分のエラーを受信したならば、復号残時間算出手段８からの復号処理時間信号１１５より、再復号の処理時間がある場合に、代用復号パラメータ１１２を高周波数サブバンド成分復号手段３に出力して、高周波数サブバンド成分復号手段３により再復号を実施させ、出力画像選択手段６により、通常画像１０６を選択して、表示画像１０９として出力させるべく、出力画像選択手段６に通常の復号処理を行うための出力画像制御信号１１１を出力する（Ｓ２０２→Ｓ２０４→Ｓ２０５）。

高周波数サブバンド成分復号手段３では、代用復号パラメータ１１２により、エラーのあった高周波数成分のコードストリームを復号結果が０となるコードストリームとして再復号を行い、その結果と低周波成分復号画像１０４を逆ウェーブレット変換して、通常画像１０６として出力画像選択手段６に出力する。出力画像選択手段６では、出力画像制御信号１１１に従い、通常画像１０６を表示画像１０９として出力する。

また、出力画像制御手段９は、復号残時間算出手段８からの復号処理時間信号１１５より、再復号の処理時間が不足すると判定される場合は、代用画像生成信号１１０を代用画像生成手段４に出力すると共に、出力画像選択手段６に、表示画像１０９として代用画像１０８を選択するように、出力画像制御信号１１１を出力する（Ｓ２０４→Ｓ２０６）。

代用画像生成手段４では、低周波数成分復号画像１０４より、補間、フィルタイリングを行い、所定の解像度の代用画像１０８を生成し、出力画像選択手段６へ出力する。例えば、元画像が４０９６画素×４０９６ラインの場合、分解レベル１の低周波数成分復号画像は２０４８画素×２０４８ラインの画像であり、これを水平方向及び垂直方向に補間、フィルタリングを実施することにより、元画像の解像度４０９６画素×４０９６ラインを持つ復号画像が代用画像１０８として生成される。出力画像選択手段６では、出力画像制御信号１１１に従い、代用画像１０８を表示画像１０９として出力する。

なお、上記実施の形態１において、出力画像制御手段９は、エラー検出信号１１３により高周波成分でエラーが検出された場合に、代用復号パラメータ１１２を高周波数サブバンド成分復号手段３に出力して、高周波数サブバンド成分復号手段３によりエラーのあった高周波数成分のコードストリームを復号結果が０となるコードストリームとして再復号を実施し、通常画像１０６を得ているが、前記高周波数成分のＬＨ成分、ＨＬ成分、ＨＨ成分のいずれかのエラーのあった成分のみ、代用復号パラメータ１１２を０として再復号を実施してもよい。

また、代用復号パラメータ１１２として、高周波数成分を０とする再復号処理を実施し、通常画像１０６を得ているが、再復号のための代用復号パラメータ１１２は、他の適切な値を設定しても良い。また、エラーのあったコードストリームの復号処理を実施せず、エラーのあった高周波成分を０として、他の成分（ＬＬ成分とエラーのない高周波成分）との逆ウェーブレット変換を実施し、復号画像を得ても良い。

また、上記実施の形態１では、コードストリームのエラー検出として、コードストリームに含まれるＪＰＥＧ２０００のヘッダ情報に割り当てられていないマーカーコードがある場合、コードストリームエラーとしたが、入力されるパッケージデータ内にメタデータとして、前記コードストリームのチェックサムやＭＩＣ（メッセージ・インテグリティ・コード）等を１つもしくは複数付加することにより、入力手段１内において、その完全性の確認を実施し、前記コードストリームのエラーの有無を判別してもよい。

以上のように、実施の形態１によれば、コードストリームにエラーが含まれていた場合や復号時にエラーが検出された場合でも、そのコードストリームの高周波数成分のエラー内容及び復号処理の残時間に応じて出力画像の選択を適応的に切り替えることで、復号出力である表示画像が途切れたり、乱れたりしないで、画像復号装置が復号エラーから回復することができる。

実施の形態２．
図３は、この発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。図３に示す実施の形態２に係る構成において、図１に示す実施の形態１と同一部分は同一符号を付してその説明は省略する。図３に示す実施の形態２では、前フレームの画像を蓄積する前フレーム画像蓄積手段１１と、前フレームと現在のフレームのフレーム間差分を取得するフレーム間差分取得手段１０とをさらに備え、出力画像制御手段９は、エラー検出手段５の高周波数成分のエラー検出結果と復号残時間算出手段８の結果とフレーム間差分取得手段１０の結果に基づき、適応的に出力画像の選択を制御するようになされている。

すなわち、前フレーム画像蓄積手段１１は、前フレームの全成分の復号画像を蓄積する全成分蓄積手段１１ａと、前フレームのＬＬ成分の復号画像を蓄積する低周波成分蓄積手段１１ｂとを有し、現在のフレームの１フレーム前の前フレーム復号画像１１６を代用画像生成手段４に出力すると共に、前フレーム低周波数成分復号画像１１７をフレーム間差分取得手段１０に出力する。フレーム間差分取得手段１０は、低周波数サブバンド成分復号手段２からの現在のフレームの低周波数復号画像１０４と低周波成分蓄積手段１１ｂからの１フレーム前（前フレーム）の低周波数復号画像とのフレーム間差分を取得し、フレーム間差分情報１１８を出力する。そして、出力画像制御手段９は、エラー検出信号１１３と復号時間信号１１５及びフレーム間差分情報１１８より、代用画像生成信号１１０、出力画像選択制御信号１１１、代用復号パラメータ１１２を出力する。

ここで、低周波数サブバンド成分復号手段２による低周波数成分コードストリーム１０１の復号時に、エラーが発生した場合、低周波数サブバンド成分復号手段２は、低周波数成分復号エラーステータス１０５によりエラー検出手段５を経由して出力画像制御手段９にエラー通知する。この際、出力画像制御手段９は、代用画像生成信号１１０により、代用画像生成手段４に前フレームの復号画像１１６を用いて代用画像１０８を生成させると共に、出力画像制御信号１１１により、出力画像選択手段６に表示画像１０９として代用画像１０８を出力するように制御する。

高周波数サブバンド成分復号手段３では、入力手段１からの高周波数成分コードストリーム１０２の復号結果と低周波数サブバンド成分復号手段２からの低周波数成分復号画像１０４を逆ウェーブレット変換することにより元画像のもつ所定の解像度で画像復号し、出力画像選択手段６へ通常画像１０６を出力する。例えば、元画像が４０９６画素×４０９６ラインの場合、低周波数成分復号画像は２０４８画素×２０４８ラインの画像であり、これと高周波数成分の復号結果を逆ウェーブレット変換することにより、元画像の持つ４０９６画素×４０９６ラインの画像が復号される。復号エラーが発生した場合、例えば、復号できないコードを含む場合や処理能力により復号できない場合は、高周波数成分復号エラーステータス１０７をエラー検出手段５に送出する。

出力画像制御手段９の動作は、図４に示すフローチャートを参照して説明する。出力画像制御手段９は、まず、エラー検出手段５からのエラー検出信号１１３、復号残時間算出手段８からの復号処理時間信号１１５及びフレーム間差分取得手段１０からのフレーム間差分情報１１８を入力する（Ｓ４０１）。そして、出力画像制御手段９は、エラー検出手段５からのエラー検出信号１１３によりエラーが検出されない場合、つまりＬＬ成分エラーおよび高周波成分エラーがともに検出されない場合に、通常の復号処理を行い、出力画像選択手段６により、通常画像１０６を選択して、表示画像１０９として出力させるべく、出力画像選択手段６に通常の復号処理を行うための出力画像制御信号１１１を出力する（Ｓ４０２→Ｓ４０３→Ｓ４０４）。

他方、出力画像制御手段９は、エラー検出手段５からのエラー検出信号１１３により、まず、低周波数成分にエラーがある場合は、前フレーム復号画像１１６を用いて代用画像生成手段４にて代用画像１０８を生成し、代用画像１０８を出力画像選択手段６より表示画像１０９として出力させるべく、代用画像生成手段４に代用画像生成信号１１０を出力すると共に出力画像選択手段６に代用画像生成信号１１１を出力する（Ｓ４０２→Ｓ４０５）。

出力画像制御手段９は、次に、ＬＬ成分にはエラーがなく、高周波成分にエラーがある場合は、復号残時間算出手段８から得られる復号処理時間信号１１５により、再復号の処理時間がある場合には、代用復号パラメータ１１２を高周波数サブバンド成分復号手段３に出力して再復号を実施させると共に、出力画像選択手段６には、表示画像１０９として通常画像１０６を選択するように、出力画像制御信号１１１を出力する（Ｓ４０２→Ｓ４０３→Ｓ４０６→Ｓ４０７）。

高周波数サブバンド成分復号手段３では、エラーのあった高周波数成分のコードストリームを復号結果が０となるコードストリームとして再復号を行い、その結果と低周波成分復号画像１０４を逆ウェーブレット変換して、通常画像１０６として出力画像選択手段６に出力する。出力画像選択手段６では、出力画像制御信号１１１に従い、通常画像１０６を表示画像１０９として出力する。

また、出力画像制御手段９は、復号残時間算出手段８からの復号処理時間信号１１５より、復号処理時間が不足すると判定された場合は、低周波数成分復号画像１０４と前フレーム蓄積手段１１より出力される前フレーム低周波数成分復号画像１１７とのフレーム間差分情報１１８をフレーム間差分取得手段１０により取得し、そのフレーム間差分値が規定値より小さければ、代用画像生成手段４により、前フレーム復号画像１１６を用いて、例えば、前フレーム復号画像代用画像として、代用画像１０８を生成させ、出力画像選択手段により表示画像１１１として出力させるべく、代用画像生成手段４に代用画像生成信号１１０を出力すると共に出力画像選択手段６に代用画像生成信号１１１を出力する（Ｓ４０６→Ｓ４０８→Ｓ４０５）。

ここで、フレーム間差分取得手段１０は、フレーム間差分情報１１８として、例えば、現フレームと前フレームとの絶対差分値の平均を計算して求めることができる。
フレーム間差分値＝（Σ｜Ｘｉ'−Ｘｉ｜）／Ｎ
ｉ＝１〜Ｎ，Ｎ：フレームの画素数
Ｘｉ'：現フレームの画素値，Ｘｉ：前フレームの画素値

また、出力画像制御手段９は、前記フレーム間差分値が規定値より大きければ、代用画像生成信号１１０を代用画像生成手段４に出力すると共に、出力画像選択手段６には、表示画像１０９として代用画像１０８を選択するように、出力画像制御信号１１１を出力する（Ｓ４０８→Ｓ４０９）。

代用画像生成手段４では、低周波数成分復号画像１０４より、補間、フィルタイリングを行い、所定の解像度の代用画像１０８を生成し、出力画像選択手段６へ出力する。

また、出力画像選択手段６からの出力画像は、同時に前フレーム蓄積手段１１に格納される。例えば、元画像が４０９６画素×４０９６ラインの場合、分解レベル１の低周波数成分復号画像は２０４８画素×２０４８ラインの画像であり、これを水平方向及び垂直方向に補間、フィルタリングを実施することにより、元画像の解像度４０９６画素×４０９６ラインを持つ復号画像が代用画像１０８として生成される。

なお、フレーム間差分値と比較する規定値は、扱うデータの階調数により異なるため、例えば、ＣＰＵ等により外部から復号装置内メモリへ設定したり、あらかじめＲＯＭ等に格納したりしても良い。

なお、上記実施の形態２では、高周波数成分コードストリーム１０２でエラーがあり、かつ、復号処理時間がない場合に、フレーム間差分をとり、その結果より代用画像を生成したが、フレーム間差分をとらずに、低周波数成分復号画像１０４より代用画像１０８を生成して、表示画像１０９としてもよい。また、高周波数成分コードストリーム１０２でエラーがあり、かつ、復号処理時間がない場合に、フレーム間差分をとり、その結果より代用画像１０８を生成したが、フレーム間差分をとらずに、前フレーム復号画像１１６より代用画像１０８を生成して、表示画像１０９としてもよい。

また、上記実施の形態２では、代用復号パラメータ１１２として、高周波数成分をすべてを０とするようなコードストリームを生成して再復号処理を実施し通常画像１０６を得ているが、前記高周波数成分のＬＨ成分、ＨＬ成分、ＨＨ成分のいずれかのエラーのあった成分のみ、代用復号パラメータ１１２を０として再復号を実施してもよい。

また、代用復号パラメータ１１２として、高周波数成分を０とする再復号処理を実施し、通常画像１０６を得ているが、再復号のための代用復号パラメータは、他の適切な値を設定しても良い。また、エラーのあったコードストリームの復号処理を実施せず、エラーのあった高周波成分を０として、他の成分（ＬＬ成分とエラーのない高周波成分）との逆ウェーブレット変換を実施し、復号画像を得ても良い。

また、上記実施の形態２では、コードストリームのエラー検出として、コードストリームに含まれるＪＰＥＧ２０００のヘッダ情報に割り当てられていないマーカーコードがある場合、コードストリームエラーとしたが、入力されるパッケージデータ内にメタデータとして、前記コードストリームのチェックサムやＭＩＣ（メッセージ・インテグリティ・コード）等を１つもしくは複数付加することにより、前記入力手段１内において、その完全性の確認を実施し、前記コードストリームのエラーの有無を判別してもよい。

以上のように、実施の形態２によれば、シーンチェンジなどが含まれるコードストリームにエラーが含まれていた場合や復号時にエラーが検出された場合でも、そのコードストリームの高周波数成分のエラー内容及び復号処理の残り時間、フレーム間差分情報に応じて出力画像の選択を適応的に切り替えることで、復号出力である表示画像が途切れたり、乱れたりしないで、画像復号装置が復号エラーから回復することができる。

実施の形態３．
図５は、この発明の実施の形態３に係る画像復号装置の構成を示すブロック図である。図５に示す実施の形態３に係る構成において、図３に示す実施の形態２と同一部分は同一符号を付してその説明は省略する。図５に示す実施の形態２では、低周波数サブバンド成分復号手段２及び高周波数サブバンド成分復号手段３は、輝度成分（Ｙ成分）を所定の解像度で画像復号するＹ成分復号手段、色差成分（Ｃｂ成分，Ｃｒ成分）をそれぞれ所定の解像度で画像復号するＣｂ成分復号手段及びＣｒ成分復号手段をそれぞれ有し、代用画像生成手段４は、Ｙ成分生成手段、Ｃｂ成分生成手段及びＣｒ成分生成手段を有し、出力画像選択手段６は、Ｙ成分選択手段、Ｃｂ成分選択手段及びＣｒ成分選択手段を有し、コードストリーム中の高周波数成分の色情報のエラー検出結果に基づいて出力画像を適応的に選択するようになされている。

図５において、低周波数サブバンド成分復号手段２は、入力された低周波数成分コードストリーム１０１に含まれる輝度成分（Ｙ成分）、色差成分（Ｃｂ成分，Ｃｒ成分）をそれぞれ所定の解像度で画像復号し、低周波数成分復号画像１０４を出力すると共に、低周波数成分復号時の低周波数成分復号エラーステータス１０５を出力する。高周波数サブバンド成分復号手段３は、入力された高周波数成分コードストリーム１０２に含まれる輝度成分（Ｙ成分）、色差成分（Ｃｂ成分，Ｃｒ成分）と低周波数成分復号画像１０４により、それぞれ輝度成分（Ｙ成分）、色差成分（Ｃｂ成分，Ｃｒ成分）を所定の解像度で画像復号し、通常画像１０６を出力すると共に、高周波数成分復号時の高周波数成分復号エラーステータス１０７を出力する。

代用画像生成手段４は、低周波数サブバンド成分復号手段２からの低周波数成分復号画像１０４、出力画像制御手段９からの代用画像生成信号１１０、前フレーム画像蓄積手段１１からの前フレーム復号画像１１６より、輝度成分（Ｙ成分）、色差成分（Ｃｂ成分，Ｃｒ成分）のそれぞれの代用画像１０８を生成する。出力画像選択手段６は、低周波数成分復号画像１０４、全成分の復号画像である通常画像１０６、代用画像１０８から、出力画像選択制御信号１１１に従い、輝度成分（Ｙ成分）、色差成分（Ｃｂ成分，Ｃｒ成分）を含んだ表示画像１０９を出力する。

次に動作について説明する。まず、入力手段１は、ＪＰＥＧ２０００符号化されたコードストリームとそのタグ情報（メタデータ）により構成されるパッケージデータ１００ヲ入力して、タグ情報を切り取り、複数の周波数成分で構成されたコードストリームを低周波数成分（ＬＬ成分）コードストリーム１０１と高周波数成分コードストリーム１０２に分解すると共に、ＪＰＥＧ２０００のマーカーチェックにより、入力されたコードストリーム中にエラーがないかチェックを行い、ＪＰＥＧ２０００で規定されていないマーカーコードがある場合は、エラーステータス１０３をエラー検出手段５に送出する。低周波数成分（ＬＬ成分）コードストリーム１０１は、低周波数サブバンド成分復号手段２によりＹ成分、Ｃｂ成分、Ｃｒ成分にそれぞれ復号され、ＬＬ成分復号画像１０４として高周波サブバンド成分復号手段３と代用画像生成手段４に出力される。

高周波数サブバンド成分復号手段３では、入力される高周波数成分コードストリーム１０２とＬＬ成分復号画像１０４により、Ｙ成分、Ｃｂ成分、Ｃｒ成分のそれぞれを元画像のもつ所定の解像度で画像復号し、通常画像１０６として出力画像選択手段６へ出力する。また、同時に、高周波数成分復号エラーステータス１０７をエラー検出手段５に送出する。エラー検出手段５では、各エラーステータスにより、エラーが検出された場合、代用画像生成手段４に代用画像生成信号１１０を出力する。

代用画像生成手段４では、低周波数成分復号画像１０４、代用画像生成信号１１０、前フレーム復号画像１１６より、輝度成分（Ｙ成分）、色差成分（Ｃｂ成分，Ｃｒ成分）のそれぞれの代用画像１０８を生成する。出力画像選択手段６では、入力される通常画像１０６と代用画像１０８から、エラー検出手段５より出力される出力画像選択制御信号１１１に従い、表示画像１０９を出力する。

出力画像制御手段９の動作は、図６及び図７に示すフローチャートを参照して説明する。まず、エラー検出手段５からのエラー検出信号１１３、復号残時間算出手段８からの復号処理時間信号１１５及びフレーム間差分取得手段１０からのフレーム間差分情報１１８を入力する（Ｓ６０１）。そして、出力画像制御手段９は、エラー検出手段５からのエラー検出信号１１３によりエラーが検出されない場合、つまりＬＬ成分エラーおよび高周波成分エラーがともに検出されない場合に、通常の復号処理を行い、出力画像選択手段６により、通常画像１０６を選択して、表示画像１０９として出力させるべく、出力画像選択手段６に通常の復号処理を行うための出力画像制御信号１１１を出力する（Ｓ６０２→Ｓ６０３→Ｓ６０４）。

他方、出力画像制御手段９は、エラー検出手段５からのエラー検出信号１１３により、まず、低周波数成分にエラーがある場合は、前フレーム復号画像１１６を用いて代用画像生成手段４にて代用画像１０８を生成し、代用画像１０８を出力画像選択手段６より表示画像１０９として出力させるべく、代用画像生成手段４に代用画像生成信号１１０を出力すると共に出力画像選択手段６に代用画像生成信号１１１を出力する（Ｓ６０２→Ｓ６０５）。

出力画像制御手段９は、次に、ＬＬ成分にはエラーがなく、高周波数成分コードストリーム１０２のＹ成分にエラーがない場合や、その復号時にエラーのない場合は、高周波数サブバンド成分復号手段３にＹ成分の通常復号処理を実施させると共に、出力画像選択手段６には、表示画像１０９として通常画像１０６のＹ成分を選択するように、出力画像制御信号１１１を出力する（Ｓ６０２→Ｓ６０３→Ｓ６０６→Ｓ６０７）。

高周波数サブバンド成分復号手段３にて高周波数成分のＹ成分に復号処理時エラーが発生した場合（復号できないコードを含む場合や、処理能力により復号できない場合、高周波数成分復号エラーステータス１０７を出力する）や、入力手段１より高周波数成分のＹ成分にコードストリームにエラーがある場合（入力コードストリームエラーステータス１０３で高周波数成分のＹ成分にエラーがある）は、出力画像制御手段９は、前フレーム蓄積手段１１から出力される前フレーム低周波数成分復号画像１１７と低周波数成分復号画像１０４とに基づいてフレーム間差分取得手段１０で取得される２つのフレーム間差分と規定値との比較を行う（Ｓ６０６→Ｓ６０８）。

出力画像制御手段９は、比較結果、フレーム間差分値が規定値より大きければ、低周波数成分復号画像１０４のＹ成分から、補間、フィルタリング等により、Ｙ成分の代用画像を生成し、Ｙ成分を取得する（Ｓ６０８→Ｓ６０９）。他方、フレーム間差分値が規定値より小さい場合に、前フレーム復号画像１１６のＹ成分を取得し、Ｙ成分の代用画像とする（Ｓ６０８→Ｓ６１０）。取得したＹ成分は、代用画像１０８のＹ成分として、出力画像選択手段６に出力される。なお、フレーム間差分値を取得する際、低周波数成分復号画像の輝度成分（Ｙ成分）のみで行っても良いし、低周波数成分復号画像の全成分で行っても良い。

次に、図７に移行し、高周波数成分コードストリーム１０２のＣｂ成分にエラーがない場合は、通常画像１０６のＣｂ成分を選択し（Ｓ７０１→Ｓ７０２）、Ｃｂ成分に復号処理時のエラーやコードストリームにエラーがある場合は、復号残時間算出手段８により、エラー発生時点から残りの復号処理が完了すべき時間を取得し、再復号処理を行うか、行わないかを決定する（Ｓ７０１→Ｓ７０３）。復号処理時間があるならば、高周波数サブバンド成分復号手段３に代用復号パラメータ１１２を渡して（例えば、高周波数成分のＣｂを０として）再復号処理を実施させ、高周波数成分のＣｂ成分を取得する（Ｓ７０３→Ｓ７０４）。

他方、復号処理時間がない場合は、フレーム間差分取得手段１０にて、低周波数成分復号画像１０４と前フレーム蓄積手段１１より出力される前フレームの低周波数成分復号画像１１７とのフレーム間差分を取り、その差分値が規定値より大きければ、低周波数成分の復号画像１０４のＣｂ成分を取得し、補間、フィルタリング等により、Ｃｂ成分の代用画像を生成する（Ｓ７０３→Ｓ７０５→Ｓ７０６）。その差分値が規定値より小さければ、前フレーム復号画像１１６のＣｂ成分より、Ｃｂ成分の代用画像を生成する（Ｓ７０３→Ｓ７０５→Ｓ７０７）。

次に、高周波数成分コードストリーム１０２のＣｂ成分についても同様な処理が行われ（Ｓ７０８〜Ｓ７７１４）、高周波数成分コードストリーム１０２のＣｒ成分に復号処理時のエラーやコードストリームにエラーがある場合も同様に処理を行い、Ｃｂ成分の代用画像を得る。なお、コードストリームのＹ成分、Ｃｂ成分、Ｃｒ成分のうち、コードストリームにエラーがなく、その復号時にもエラーのない成分は、それぞれの成分の復号処理を行い、出力画像選択手段６に入力される。エラーの検出された成分に関しては、再復号した成分は、通常画像１０６を選択し、再復号を行わずに代用画像１０８を生成した成分は、代用画像１０８を選択し、エラーのない成分は通常画像１０６を選択して、表示画像１０９として出力されるとともに、前フレーム画像蓄積手段１１に格納される。

上記処理で、取得した成分は、代用画像を生成し、表示画像１０９として代用画像１０８を出力し、選択した成分は、表示画像１０９として通常画像１０６を出力する（Ｓ７１５）。

なお、上記実施の形態３では、高周波数成分コードストリーム１０２でエラーがあり、かつ、復号処理時間がない場合に、フレーム間差分をとり、その結果より代用画像１０８を生成したが、フレーム間差分をとらずに、低周波数成分復号画像１０４より代用画像１０８を生成して、表示画像１０９としてもよい。また、高周波数成分コードストリーム１０２でエラーがあり、かつ、復号処理時間がない場合に、フレーム間差分をとり、その結果より代用画像を生成したが、フレーム間差分をとらずに、前フレーム復号画像１１６より代用画像１０８を生成して、表示画像１０９としてもよい。

また、上記実施の形態３では、代用復号パラメータ１１３として、高周波数成分をすべてを０とするようなコードストリームを生成して再復号処理を実施し通常画像１０６を得ているが、前記輝度成分（Ｙ成分）及び色差成分の高周波数成分のＬＨ成分、ＨＬ成分、ＨＨ成分のいずれかのエラーのあった成分のみ、代用復号パラメータを０として再復号を実施してもよい。

また、代用復号パラメータ１１３として、高周波数成分を０とする再復号処理を実施し、通常画像１０６を得ているが、再復号のための代用復号パラメータは、他の適切な値を設定しても良い。また、エラーのあったコードストリームの復号処理を実施せず、エラーのあった高周波成分を０として、他の成分（ＬＬ成分とエラーのない高周波成分）との逆ウェーブレット変換を実施し、復号画像を得ても良い。

また、上記実施の形態３では、コードストリームのエラー検出として、コードストリームに含まれるＪＰＥＧ２０００のヘッダ情報に割り当てられていないマーカーコードがある場合、コードストリームエラーとしたが、入力されるパッケージデータ内にメタデータとして、前記コードストリームのチェックサムやＭＩＣ（メッセージ・インテグリティ・コード）等を１つもしくは複数付加することにより、前記入力手段１内において、その完全性の確認を実施し、前記コードストリームのエラーの有無を判別してもよい。

また、上記実施の形態３では、前記コードストリーム中の高周波数成分の色情報として、輝度成分（Ｙ成分）、色差成分（Ｃｂ成分，Ｃｒ成分）について記載したが、色情報として、ＲＧＢ系で構成されたストリームであれば、Ｒ成分、Ｇ成分、Ｂ成分を用いても良い。その他の色情報として、ＹＭＣＫ系、ＸＹＺ系、ＹＵＶ系も同様である。

以上のように、実施の形態３によれば、コードストリームにエラーが含まれていた場合や復号時にエラーが検出された場合でも、復号するコードストリームの高周波数成分の輝度成分（Ｙ）、色差成分（Ｃｂ、Ｃｒ）等の色情報のエラー内容及び復号処理の残り時間、フレーム間差分情報に応じて代用画像の生成と出力画像の選択を適応的に切り替えることで、復号出力である表示画像が途切れたり、乱れたりしないで、画像復号装置が復号エラーから回復することができる。

この発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。この発明の実施の形態１に係る出力画像制御手段９の動作を説明するフローチャートである。この発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。この発明の実施の形態２に係る出力画像制御手段９の動作を説明するフローチャートである。この発明の実施の形態３に係る画像復号装置の構成を示すブロック図である。この発明の実施の形態３に係る出力画像制御手段９の動作を説明するフローチャートである。図６に続くフローチャートである。

符号の説明

１入力手段、２低周波数サブバンド成分復号手段、３高周波数サブバンド成分復号手段、４代用画像生成手段、５エラー検出手段、６出力画像選択手段、７タイミング生成手段、８復号残時間算出手段、９出力画像制御手段、１０フレーム間差分取得手段、１１前フレーム画像蓄積手段、１１ａ全成分蓄積手段、１１ｂ低周波成分蓄積手段。

Claims

複数のサブバンド成分に符号化されたコードストリームを入力し、低周波数成分コードストリームと高周波数成分コードストリームに分解して出力する入力手段と、
前記低周波数成分コードストリームを復号して低周波数成分復号画像を出力する低周波数サブバンド成分復号手段と、
前記高周波数成分コードストリームを復号して高周波数成分復号画像を出力する高周波数サブバンド成分復号手段と、
前記低周波数サブバンド成分復号手段からの低周波数成分復号画像を処理して代用画像を生成する代用画像生成手段と、
前記高周波数成分コードストリーム及び低周波数成分コードストリームの復号時のエラーを検出するエラー検出手段と、
復号処理のためのタイミング信号を生成するタイミング生成手段と、
前記エラー検出手段からのエラー検出信号と前記タイミング生成手段からのタイミング信号に基づいて復号処理のための残り時間を算出して復号処理時間信号を出力する復号残時間算出手段と、
前記エラー検出手段からのエラー検出信号と前記復号残時間算出手段からの復号処理時間信号とに基づいて適応的に出力画像の選択を制御する出力画像制御手段と、
前記出力画像制御手段からの制御に基づいて前記高周波数サブバンド成分復号手段からの高周波数成分復号画像または前記代用画像生成手段からの代用画像のいずれかを選択して表示画像として出力する出力画像選択手段と
を備えた画像復号装置。
請求項１に記載の画像復号装置において、
前記出力画像制御手段は、
前記エラー検出手段からのエラー検出信号により高周波成分でエラーが検出されない場合は、前記高周波数サブバンド成分復号手段からの高周波数成分復号画像を表示画像として選択すべく、前記出力画像選択手段に画像選択制御信号を出力し、
前記エラー検出手段からのエラー検出信号により高周波数成分でエラーが検出され、かつ前記復号残時間算出手段からの復号処理時間信号より再復号の処理時間がある場合には、前記高周波数サブバンド成分復号手段に再復号を実施させて、前記高周波数サブバンド成分復号手段からの高周波数成分復号画像を表示画像として選択すべく、前記高周波数サブバンド成分復号手段に代用復号パラメータを出力すると共に前記出力画像選択手段に画像選択制御信号を出力し、
前記エラー検出手段からのエラー検出信号により高周波数成分でエラーが検出され、かつ前記復号残時間算出手段からの復号処理時間信号より再復号の処理時間が不足する場合には、前記代用画像生成手段からの代用画像を表示画像として選択すべく、前記代用画像生成手段に代用画像生成信号を出力すると共に前記出力画像選択手段に出力画像制御信号を出力する
ことを特徴とする画像復号装置。
請求項１に記載の画像復号装置において、
前フレームの画像を蓄積する前フレーム画像蓄積手段と、
前フレームと現在のフレームのフレーム間差分を取得するフレーム間差分取得手段と
をさらに備え、
前記代用画像生成手段は、前フレーム復号画像を用いた代用画像をさらに生成し、
前記出力画像制御手段は、
前記エラー検出手段からのエラー検出信号により低周波数成分及び高周波数成分で共にエラーが検出されない場合は、前記高周波数サブバンド成分復号手段からの高周波数成分復号画像を表示画像として出力すべく、前記出力画像選択手段に画像選択制御信号を出力し、
前記エラー検出手段からのエラー検出信号により低周波数成分でエラーが検出されなく、高周波数成分でエラーが検出され、かつ前記復号残時間算出手段からの復号処理時間信号より再復号の処理時間がある場合には、再復号を実施した前記高周波数サブバンド成分復号手段からの高周波数成分復号画像を表示画像として出力すべく、前記高周波数サブバンド成分復号手段に代用復号パラメータを出力すると共に前記出力画像選択手段に画像選択制御信号を出力し、
前記エラー検出手段からのエラー検出信号により低周波数成分でエラーが検出されなく、高周波数成分でエラーが検出され、前記復号残時間算出手段からの復号処理時間信号より再復号の処理時間がなく、かつ前記フレーム間差分取得手段からのフレーム間差分が規定値より大きい場合には、前記代用画像生成手段で低周波数成分復号画像より生成された代用画像を表示画像として選択すべく、前記代用画像生成手段に代用画像生成信号を出力すると共に前記出力画像選択手段に出力画像制御信号を出力し、
前記エラー検出手段からのエラー検出信号により低周波数成分でエラーが検出されなく、高周波数成分でエラーが検出され、前記復号残時間算出手段からの復号処理時間信号より再復号の処理時間がなく、かつ前記フレーム間差分取得手段からのフレーム間差分が規定値以下の場合、または前記エラー検出手段からのエラー検出信号により低周波数成分でエラーが検出された場合は、前記代用画像生成手段で前フレーム復号画像より生成された代用画像を表示画像として選択すべく、前記代用画像生成手段に代用画像生成信号を出力すると共に前記出力画像選択手段に画像選択制御信号を出力する
ことを特徴とする画像復号装置。
請求項１から３までのいずれか１項に記載の画像復号装置において、
前記出力画像制御手段は、前記コードストリーム中の高周波数成分の色情報のエラー検出結果に基づいて出力画像を適応的に選択する
ことを特徴とする画像復号装置。