JP5050964B2 - 復号装置，復号方法および復号プログラム - Google Patents

Description

本発明は，復号装置，復号方法及び復号プログラムに関し，特に，イントラスライスのリフレッシュを用いて動画像データを復号する復号装置，復号方法及び復号プログラムに関する。

従来，符号化された複数のフレームもしくはフィールドで構成される動画像データの復号処理において，例えば，伝送路からの受信データにパケットロスが発生した場合や復号データの読込み時にビットエラーが発生した場合には正しく復号できず，そのまま表示処理を行うと壊れた画像が表示される。

図１２は，ＭＰＥＧ−２における動画像フレームのピクチャおよびエラー発生の説明図である。

図１２は，ＭＰＥＧ−２における動画像のフレームの並びを示している。ＭＰＥＧ−２では，Ｉ（Ｉｎｔｒａ−ｃｏｄｅｄ）ピクチャ，Ｐ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ）ピクチャ，Ｂ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｐｒｅｄｉｃｔｉｏｎ）ピクチャの３種類のピクチャが規定されている。

Ｉピクチャは，フレーム内で閉じて符号化され，他のフレーム（ピクチャ）を参照しないピクチャである。Ｐピクチャは，過去のフレーム（ピクチャ）から順方向のフレーム間予測を行い，予測誤差を符号化したピクチャである。Ｂピクチャは，過去と未来のフレーム（ピクチャ）から双方向のフレーム間予測を行い，その予測誤差を符号化したピクチャである。

動画像フレームのピクチャ内でエラーの有無を監視し，エラーがあった場合にはエラーが発生したピクチャ９０５以前の正常かつ最終のピクチャ９０３を表示し続ける状態（フリーズ状態と呼ぶ）を維持し，画像復帰できるピクチャ９０７のフレームタイミングで本来の表示を再開する手法をとっている。復号エラーが有ったかどうかは，ピクチャ内でエラーが発生したマクロブロックの有無を監視し，エラーが発生したマクロブロックがあった場合に表示更新を停止する。

また，図１２のピクチャ９０１，９０７がＩピクチャである場合に，フレーム内の情報のみで復号できるため，エラーが発生していなければ，ピクチャ９０７のフレームタイミングで表示を更新するのが簡易であり，一般的である。

低遅延符号方式においてエラー検出および表示制御を実現する場合に，一般的に，イントラスライスリフレッシュ方式が採用される。

低遅延を実現する動画像符号化方式では，ピクチャの並び替えの遅延を回避するため，Ｂピクチャを使用しない。また，ピクチャの１６×１６画素のマクロブロック単位等で行われる。マクロブロックのタイプには，ピクチャ内符号化を行うイントラマクロブロックと，ピクチャ間符号化を行うインターマクロブロックがある。

また，スライスとは，所定のマクロブロック（例えば１ピクチャの縦横１６×１６画素のブロック）に分割した場合の，特に横１列のマクロブロックの集合体をいう。ＭＰＥＧ−２では，ピクチャ内の特定のマクロブロックグループ（通常１〜数行の横方向への帯状のマクロブロックの並び，１〜数列の縦方向への帯状のマクロブロックの並び等）をイントラコラムと呼び，矩形のマクロブロックの並びとする場合もある
イントラスライスは，ピクチャ内の画像データのみで符号化したブロックの集合体であり，遅延増の主因となるＩピクチャを周期的に挿入するのではなく，縦続するＰピクチャ間で移動させる。

イントラスライスリフレッシュ方式では，Ｐピクチャ内のマクロブロックライン内のデータを全てイントラマクロブロックとして符号化したイントラスライスを適用するマクロブロックラインの位置をピクチャごとにずらし，一定周期でピクチャ全体をイントラスライスが巡回するようにして，ピクチャ全体をリフレッシュしている。

この方式は，画質をほとんど劣化させることなくリフレッシュ起因の遅延を低減できる利点がある。

しかし，この際，Ｐピクチャのイントラスライス以外のスライスについて，制限なくベクトルを用いて動き補償を行うと，イントラスライスがピクチャ全体を巡回しても，イントラスライスによるリフレッシュ後のマクロブロックがイントラリフレッシュ前の位置の画像を参照する。したがって，参照先のピクチャでエラーが発生していた場合には，エラーが空間方向に伝播してしまい，最悪の場合にはエラー画面が残り続けてしまうおそれがある。

この空間的エラー伝播を回避するために，動画像信号のイントラスライスを用いた低遅延符号方式のエラー検出・表示制御方法の従来技術が，特許文献１に開示されている。

特許文献１の方法は，イントラスライスでは，符号化が行われたスライスについて，あらかじめ定められた時間だけ非ゼロの動きベクトルを用いた動き補償を禁止することによって，エラー伝播を抑止するものである。この従来技術では，リフレッシュが終了したばかりの少なくともＮ番目のマクロブロックライン（Ｎは整数）は，動き補償を禁止するため，動き補償による一つのブロックのエラーが他のブロックへの空間的移動あるいは，拡大することがない。すなわち，リフレッシュ終了直後の領域へのエラー移動による破壊が生じないため，リフレッシュによってエラーが除去されている。

また，ＡＶＣ／Ｈ．２６４規格では，ＭＰＥＧ−２／４と異なり，可変長符号表が不要な「指数ゴロム符号」を採用している（非特許文献１参照）。

この指数ゴロム符号では，１ビット「０」と「１」とが反転しても復号可能な場合が多いため，ビットエラーが検出しにくくなっている。また，エラーが発生していても，復号処理がある程度続けられ，しばらくしてからエラーと判断される場合が多いため，ビットエラーが検出された位置とビットエラーが実際に発生した位置とが異なる場合が多い。このように，ＡＶＣ／Ｈ．２６４規格の動画像復号装置のエラー検出・表示制御に関して，従来では，低遅延を実現する装置や方法が存在していない。
特開昭６０−１６２３９２号公報 ＩＳＯ／ＩＥＣ "Ａｄｖａｎｃｅｄ−Ｖｉｄｅｏ−Ｃｏｄｉｎｇ"，ＩＴＵ−Ｔ "Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４"，２００３

図１３は，ＡＶＣ／Ｈ．２６４規格に基づく動画像復号時のエラー検出及び表示制御の動作例を示す図である。

図１３（Ａ）では，イントラマクロブロックを含むＰピクチャのみで動画像を構成する場合に，連続する各画像上のイントラマクロブロック（イントラＭＢ）９１１の位置は，それぞれ，時間の経過とともにピクチャ上の上方から下方（矢印ＹＡの方向）に順次ずれる。そして，イントラＭＢ９１１が画像上の最下部に位置すると，その次のピクチャで，イントラＭＢ９１１は最上部に位置する。

図１３（Ｂ）では，反対に，イントラＭＢ９１３の位置は，それぞれ，時間の経過とともにピクチャ上の下方から上方（矢印ＹＢの方向）に順次ずれ，画像上の最上部に位置すると，その次のピクチャでは，ピクチャの最下部に位置する。

このように，ピクチャ上のイントラＭＢ９１１，９１３の位置は周期的に移動する。ピクチャ上でイントラＭＢの設けられる場所が移動する周期を，リフレッシュ周期という。例えば，図１３（Ａ）及び図１３（Ｂ）の場合ではリフレッシュ周期は８フレームの期間となる。

イントラＭＢ９１１，９１３が設けられている箇所の次のピクチャの同じ場所の符号化データは，フレーム内予測符号化ではなく，フレーム間順方向予測符号化されたデータであり，直前のイントラＭＢを用いることにより，画像を復元することが可能となっている。したがって，１リフレッシュ周期分の符号化データが揃えば，それ以降の画像の復号は可能となる。

図１３（Ａ）及び図１３（Ｂ）に示すように，動画像復号装置では，イントラリフレッシュ周期の最初のイントラＭＢのタイミング９２１，９２３，９２５，９２７及び９３１，９３３，９３５，９３７において，ＡＶＣ／Ｈ．２６４符号化データのヘッダ情報のパラメータを受け取る。

パラメータ情報は，シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ），ピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ），付加拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）等の情報を含む。

ＳＰＳは，符号化されているシーケンス全体のパラメータを定義する情報，ＰＰＳは，ピクチャのパラメータを定義する情報である。ＳＥＩは，画像の復号処理そのものには直接必要とされないが，映像の凍結／解除，リカバリポイントの情報として，復号処理の補助的情報として用いられる。

ＡＶＣ／Ｈ．２６４規格では，イントラリフレッシュの一巡毎に，復号処理データに含まれるＳＥＩのリカバリポイントを用いて復旧点であることを示し，その復旧点より正しい復号を開始できるようにしている。

図１３（Ａ）は，Ａｃｔｉｖｅ範囲にエラーが発生した場合の動作概要を示し，図１３（Ｂ）は，Ｎｅｇａｔｉｖｅ範囲にエラーが発生した場合の動作概要を示す。

Ａｃｔｉｖｅ範囲とは，リフレッシュ周期中のリフレッシュ処理済みの範囲をいい，Ｎｅｇａｔｉｖｅ範囲とは，リフレッシュ未処理の範囲をいう。図１３中において，各フレームのブロックで，斜線で示す部分及びイントラＭＢの位置までの範囲がＡｃｔｉｖｅ範囲を，それ以外の白色部分の範囲がＮｅｇａｔｉｖｅ範囲を示す。

図１３（Ａ）において，エラー発生点９４１は，Ａｃｔｉｖｅ範囲で復号エラーが発生した場合のフレームタイミングを示す。ピクチャ９５１は，エラー発生点９４１のフレームタイミングのピクチャであり，ピクチャ９５３は，エラー発生点９４１前のフレームタイミングのピクチャである。

復旧点９４３は，エラー発生点９４１のピクチャ９５３を表示し続け，画像表示解除のフレームタイミングを示す。エラー発生点９４１から復旧点９４３までの期間９４５で復号エラーが発生しなければ，復旧点９４３の次フレームタイミングのピクチャ９５３で画面の表示更新が可能となる。

また，図１３（Ｂ）において，エラー発生点９６１は，Ｎｅｇａｔｉｖｅ範囲で復号エラーが発生した場合のフレームタイミングを示す。ピクチャ９７１は，エラー発生点９６１のピクチャであり，ピクチャ９７３は，エラー発生点９６１の前のフレームタイミングのピクチャである。

復旧点９６３は，エラー発生点９６１から，エラー発生点９６１前のピクチャ９７３を表示し続け，その画像表示解除のフレームタイミングを示す。

従来手法では，エラー発生箇所をＡｃｔｉｖｅ範囲とＮｅｇａｔｉｖｅ範囲で切り分ける判断処理及び，エラーが発生箇所に対応した表示制御を行っていなかった。そのため，Ｎｅｇａｔｉｖｅ期間でエラーが発生した場合に（エラー発生点９６１），ピクチャ９７１に換えて，ピクチャ９７３を次のリフレッシュ周期が終了する期間９６９の経過後まで，すなわち復旧点９６３のフレームタイミングまで，継続して表示し続ける。

そして，タイミング９３７で受け取るパラメータ情報のＳＥＩに含まれるリカバリポイント情報に基づいて，この次タイミング９３７のピクチャ９７５で画面を更新表示している。

しかし，タイミング９３７前のタイミング９３５は，動画像のパラメータ情報を受け取るため，本来であれば，ピクチャ９７１の画像表示解除を最短で行える復旧点となる。エラー発生箇所がＮｅｇａｔｉｖｅ範囲であれば，当該発生したエラー以降にエラーが発生しない限り，タイミング９３５を復旧点９６５として，ピクチャ９７７の画面で表示更新が可能である。エラー発生点９６１から最短の復旧点９６５までの期間９６７は，従来の復旧点９６３までの期間９６９より当然に短い。

以上の結果より，リフレッシュ期間中のＡｃｔｉｖｅ範囲でエラーが発生せず，Ｎｅｇａｔｉｖｅ範囲でエラーが発生した場合は，現リフレッシュ周期終了後に，ピクチャを正常に復旧することが可能である。また，リフレッシュ期間中のＡｃｔｉｖｅ範囲にエラーが発生した場合は，次のリフレッシュ周期でリフレッシュすることにより，次のリフレッシュ周期終了後に，ピクチャを正常に復旧することが可能である。

従来方法では，リフレッシュのＮｅｇａｔｉｖｅ範囲またはＡｃｔｉｖｅ範囲のいずれの範囲で発生したエラーであるかを判別せず，単に，復号エラー発生のみを判断し，Ｎｅｇａｔｉｖｅ範囲でのエラーについても，Ａｃｔｉｖｅ範囲でのエラーと同様な復旧タイミングで表示制御を行っていた。そのため，Ｎｅｇａｔｉｖｅ範囲のエラー発生の場合に，最短で表示再開することができず，正常な画面復帰が遅れていた。

さらに，イントラリフレッシュのイントラＭＢの巡回方向を固定的に扱い，単純に，イントラＭＢの上側をリフレッシュ済の範囲，イントラＭＢの下側をリフレッシュ前の範囲として対応したイントラリフレッシュを行う復号化装置の場合には，逆方向，すなわちイントラリフレッシュ下側からイントラＭＢ巡回をする符号化装置に対応することができない。また，その逆に，下側リフレッシュのイントラＭＢ巡回に対応した復号化装置の場合に，上側からイントラＭＢ巡回をした符号化装置に対応できないため，処理の汎用性にかけることが問題となる。

本発明は，符号化された複数フィールドで構成される動画像の，フィールド内予測復号化及びフィールド間予測復号化を行う動画像復号装置において，復号エラー発生時に際して，低遅延を実現し，汎用的なイントラＭＢ巡回に対応できるエラー検出・表示制御を行う動画像復号装置を目的とする。

また，本発明は，前記装置の各処理手段が実行する，低遅延かつ汎用的なエラー検出・表示制御を実現する動画像復号処理方法を提供することを目的とする。

さらに，本発明は，前記装置としてコンピュータを機能させるための動画像復号処理プログラムを提供することを目的とする。

開示される，イントラスライスのリフレッシュを用いて動画像データを復号する復号装置は，復号処理部と，イントラブロックライン決定部と，リフレッシュ制御部と，エラー検知部と，エラー判定部と，復旧点決定部とを備える。

すなわち，前記復号装置は，動画像データを復号し，前記動画像データのヘッダ情報から，イントラスライスのリフレッシュ巡回が開始するイントラスライスの開始点を識別する復号処理部と，前記動画像データのフレーム毎に，該フレーム毎の複数のマクロブロックラインの１つであって前記イントラスライスに適用されるイントラマクロブロックラインを選択するイントラブロックライン決定部と，前記フレーム毎に，最新のイントラスライスおよび前記イントラスライスとなったイントラマクロブロックラインをマクロブロックラインの範囲であるリフレッシュされた範囲として特定するリフレッシュ制御部と，復号エラーの発生を検知するエラー検知部と，前記復号エラーが発生した場合に，前記復号エラーの発生箇所が，前記リフレッシュされた範囲であるか否かを判断するエラー判定部と，前記復号エラーの発生箇所が前記リフレッシュされた範囲内であると判定された場合に，前記動画像データの直後の復旧点の次の復旧点を前記動画像データの更新を行う復旧点に決定し，前記復号エラーの発生箇所が前記リフレッシュされた範囲外であると判定された場合に，前記動画像データの直後の復旧点を前記動画像データの更新を行う復旧点に決定する復旧点決定部とを備える。

これにより，エラー発生が解除された後，復旧点決定部によって決定された復旧点で復号された動画像を出力する。

開示される復号装置において，好ましくは，前記エラー判定部は，後続の２フレームにおける前記イントラマクロブロックラインの位置にもとづいて前記リフレッシュされた範囲を特定する。

または，前記エラー判定部は，後続の２フレームにおける前記イントラマクロブロックラインの位置および前記後続の２フレームの先行フレームにおける前記イントラマクロブロックラインの位置にもとづいて前記リフレッシュされた範囲を特定する。

さらに，好ましくは，前記復旧点決定部は，前記エラー判定部が，前記復号エラーの発生箇所が前記リフレッシュされた範囲外であると判断した場合に，前記復旧点として，前記復号エラーの発生箇所を含む前記リフレッシュされた範囲の直後の復旧情報を含むフレームを決定する。

開始する動画像復号装置並びにエラー検出・表示制御方法及びプログラムによれば，エラーが発生した場合に，エラー発生箇所がリフレッシュ済みの範囲内外かの判定処理を行い，エラー箇所がピクチャのリフレッシュ済み範囲外と判定したときは，より短期間でピクチャの更新表示を行うことができる。

また，動画像復号装置並びにエラー検出・表示制御方法及びプログラムによれば，イントラスライスのリフレッシュ巡回の方向が上側または下側からのいずれの方向にも対応して，最短の復旧点でのピクチャ更新表示を行うことができ，動画像符号化装置のイントラスライス巡回方向に依存せず，汎用性を有する動画像復号化装置を実現できる。

さらに，本動画像復号装置並びにエラー検出・表示制御方法及びプログラムによれば，イントラスライスとベクトル制限を併用するリフレッシュ方式を用いても，リフレッシュ範囲を特定でき，画像を復旧する最短のポイントを決定することができる。

図１は，本発明に係る動画像復号装置の基本構成を示す図である。

図１の動画像復号装置１は，受信部３，復号処理部５及び出力制御部７を備える。

復号処理部５は，さらに，データ多重分離部１１，ビデオ復号部１３，表示管理部１５及びオーディオ復号部１７を備える。

動画像復号装置１には，インタフェース入力信号として，ＤＶＢ−ＡＳＩｉｎ信号又はＩＰｉｎ信号が接続されている。入力信号には，ＭＰＥＧ−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のストリームデータが含まれる。

受信部３は，前述の２つのインタフェース入力信号（ＤＶＢ−ＡＳＩｉｎ，ＩＰｉｎ）のいずれかのデータを受信することができ，入力として，いずれか一つの信号を選択，使用する。なお，接続は，ＤＶＢ−ＡＳＩｉｎ又はＩＰｉｎのどちらか少なくとも一方が接続されているだけでもよい。

データ多重分離部１１は，受信部３から受け取ったシリアルデータをバイト単位に並び換え，必要なデータ情報単位として，ビデオデータを含む符号化データをビデオ復号部１３へ，オーディオデータを含む符号化データをオーディオ復号部１７へ，それぞれ転送する。

ビデオ復号部１３は，符号化されたビデオデータを１ピクチャ単位に復号処理を行う。画像情報であるピクチャは，マクロブロック単位で処理される。

オーディオ復号部１７は，符号化されたオーディオデータを復号処理する。

ビデオ復号部１３およびオーディオ復号部１７での１ピクチャ分のデータ処理後，復号画像と共に，エラー情報等が表示管理部１５に転送される。

表示管理部１５は，復号処理が完了したビデオデータ及びオーディオデータのタイミングを調整するため表示設定制御を行う。表示設定制御において，エラー情報等に基づき復号エラー発生時の画像フリーズ処理の設定等も行う。表示管理部１５で設定されたデータは，出力データとして出力制御部７へ送られる。

出力制御部７は，以上の設定に基づいて復号された画像データを表示・停止の制御を行い，モニタ等に所定の信号形式でデータ出力を行う。

以下に，動画像復号装置１の全体の動作概要について説明する。

動画像復号装置１の受信部３は，入力された信号を受信し，ＭＰＥＧ−ＴＳ形式のストリームデータのみを抽出し，復号処理部５内のデータ多重分離部１１へ転送する。

データ多重分離部１１は，転送されたデータを，ビデオデータとオーディオデータに分離して取り出す。さらに，取り出したデータを，ビデオ復号部１３とオーディオ復号部１７とに転送する。

ビデオ復号部１３が，受け取ったビデオデータの復号処理を行い，オーディオ復号部１７が受け取ったオーディオデータの復号処理を行う。ビデオ復号部１３およびオーディオ復号部１７での処理完後，表示管理部１５にそれぞれ処理完了が通知される。

表示管理部１５は，復号処理が完了したビデオデータ及びオーディオデータのタイミングを調整するため，表示設定制御を行う。表示設定制御において，復号エラー発生時のフリーズ状態設定等も行われる。表示管理部１５は，設定したデータを出力データとして出力制御部７へ転送する。

出力制御部７は，表示管理部１５から送られた出力データをＨＤ−ＳＤＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ｔｅｌｅｖｉｓｉｏｎ−Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）／ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）−ＳＤＩ信号形式（図１のＳＤＩｏｕｔ），又はＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）信号形式（図１のＨＤＭＩｏｕｔ）に変換して，モニタ等に出力する。

図２は，図１の復号処理部５を構成するビデオ復号部１３及び表示管理部１５のより詳細な構成を示す図である。

ビデオ復号部１３は，復号データ処理部３１，強制イントラブロックライン決定部３３，リフレッシュ制御部３５，巡回方向判定部３７，エラー検知部４１，エラー判定部４３及び復号結果通知部４５を備える。

復号データ処理部３１は，データ多重分離部１１から転送されてくる符号化されたデータを１ピクチャ単位に復号処理を行う。

強制イントラブロックライン決定部３３は，ピクチャ内のあるマクロブロックを水平方向に並べたマクロブロックライン（ＭＢライン）内のデータを，全てイントラＭＢとして符号化するＭＢラインの位置を決定する。

ＭＰＥＧ−２では，イントラスライスを生成する場合に，スライスヘッダ上にイントラスライスというシンタックスが存在するため，このフラグをオンすることによって，指定されたスライスを構成するマクロブロックが全てイントラＭＢで構成することを指定できる。しかし，ＡＶＣ／Ｈ２６４．規格では，このようなシンタックスが存在しないためにイントラスライスを生成することができない。

強制イントラブロックライン決定部３３では，イントラスライスと同等のものを生成する。なお，以降では，この同等な機能を「イントラスライス」とも記載する。

リフレッシュ制御部３５は，ピクチャ内のあるマクロブロックを水平方向に並べたＭＢライン内のデータを，全てイントラＭＢとして符号化するイントラスライスを用いるため，イントラスライスを適用するＭＢラインの位置をピクチャごとにずらす。その位置をずらす周期を一定とし，ピクチャ全体をイントラスライスが巡回するように制御して，ピクチャ全体をリフレッシュする。

巡回方向判定部３７は，イントラスライスが上側から巡回するか，もしくは，下側から巡回するかを判定する。

エラー検知部４１は，ピクチャ内の復号エラーの発生を検知する。

エラー判定部４３は，検知されたエラーの発生箇所が，リフレッシュ範囲内（Ａｃｔｉｖｅ範囲）か，又はリフレッシュ範囲外（Ｎｅｇａｔｉｖｅ範囲）かを判定する。

復号結果通知部４５は，エラー判定部４３から，エラーの有無，フリーズ設定，復旧点の位置等の情報を表示管理部１５へ通知する。

表示管理部１５は，ビデオデータバッファ部５１，表示設定部５３，オーディオデータバッファ部５５，フリーズ設定部５７，復旧点決定部５９及び復号結果受信部６１を備える。

ビデオデータバッファ部５１は，ビデオ復号部１３から転送される復号化されたピクチャデータを一時記憶する記憶部である。記憶されたピクチャデータの中で，表示に必要なデータが出力制御部７に出力される。エラー発生後のフリーズ状態設定中における表示選択されないピクチャデータは，ビデオデータバッファ部５１から取り出されず出力制御部７に出力されない。

オーディオデータバッファ部５５は，ピクチャデータに対応したオーディオデータが一時記憶される記憶部である。

表示設定部５３は，ビデオデータバッファ部５１の画像保存アドレス及び画像サイズ，ピクチャタイプ，復旧点／フリーズ状態設定の有無等の情報（後述の図９に示す）に基づいて，画面表示するデータを決定し，その対応するデータをビデオデータバッファ部５１及びオーディオデータバッファ部５５から取り出し，出力制御部７へ送信する。

フリーズ設定部５７は，復号結果受信部６１の情報により，フリーズするピクチャをフレームタイミングで決定し，当該タイミングを表示設定部１５に設定する。

復旧点決定部５９は，復号結果受信部６１の情報により，ピクチャの復旧点をフレームタイミングで決定し，当該タイミングを表示設定部５３に設定する。

復号結果受信部６１は，復号結果通知部４５からエラーの有無，フリーズ設定，復旧点の位置等の情報を受信し，受信した情報に基づいて，フリーズ設定部５７，復旧点決定部５９を設定する。

図３は，ＡＶＣ／Ｈ．２６４準拠のデータ構造において，ビットストリームデータを採用する場合のデータ構造例を示す図である。

動画像復号装置１の受信部３が，入力信号から，図３に示すビットストリームデータを抽出する。図３（ａ）〜（ｅ）は，データ構造のカプセル化の内容を上位階層順に示している。

図３（ａ）に示すように，ビットストリームデータのデータ構造は，一つ又は複数のシーケンスからなる集合体である。一つのシーケンスは，従来のＭＰＥＧと同様にピクチャの集合体として規定される。

図３（ｂ）に示すように，図３（ａ）の一つのシーケンスは，一つ又は複数のアクセスユニットからなる。

図３（ｃ）に示すように，図３（ｂ）の一つのアクセスユニットの構造は，ＡＵＤ，ＳＰＳ，ＰＰＳ，ＳＥＩ等の情報と，一つのピクチャから構成されるデータ群である。なお，ＥＯＳ（Ｅｎｄ ｏｆ Ｓｅｑｕｅｎｃｅ）等の他のデータ情報は図示省略している。

図３（ｄ）に示すように，図３（ｃ）の一つのピクチャは，複数のスライスグループ，例えば，４つのスライスグループからなる。

図３（ｅ）に示すように，図３（ｄ）の一つのスライスグループは，複数のスライス（１）〜（ｍ）（ｍは整数）からなる。

図４は，動画像の１ピクチャ単位に行うエラー検出及びエラー判定処理を説明するための図である。

図４のピクチャＰｉｃ＿Ａには，ＭＢラインＬ１〜Ｌ８が設定される。ＭＢラインＬ１〜Ｌ８の各ラインは，一つのスライスであり，図３（ｅ）に示す一つのスライス（ｉ）に対応する（ｉは１〜ｍの整数）。

なお，ピクチャＰｉｃ＿Ａの一つのＭＢラインが，複数のスライス（ｉ）からなる構成であってもよい。また，例えば，図３（ｄ）に示すスライスグループとして，スライスグループ１（ＭＢラインＬ１，Ｌ２），スライスグループ２（ＭＢラインＬ３，Ｌ４），スライスグループ３（ＭＢラインＬ５，Ｌ６），スライスグループ４（ＭＢラインＬ７，Ｌ８）のようにグループ化してもよい。また，図４に示すＭＢライン間をまたがってグループ化する構成であってもよい。

図４のＭＢラインＬ１は，マクロブロック単位にＭＢ（ａ１）〜ＭＢ（ａｎ）に分けられている。ＭＢラインＬ２〜Ｌ８も，同様にＭＢ（ａ１）〜ＭＢ（ａｎ）に対応するマクロブロック単位に分けられている。

判定Ｊ１〜Ｊ８は，１ピクチャの復号処理において，ＭＢラインＬ１〜Ｌ８のライン毎に，後述するエラー判定処理が行われることを示す。

復号処理の前提として，まず，復号データ処理部３１は，図３（ｃ）に示すデータのピクチャのデータを，図３（ｅ）に示すスライス（ｉ）の順に，図４に示すＭＢラインＬ１のマクロブロックＭＢ（ａ１）側からＭＢ（ａｎ）側へ対応するメモリ上（図示省略）に記憶する。さらに，図４に示すＭＢラインＬ２〜Ｌ８の矢印ＹＡの方向に対応するメモリ上（図示省略）にデータを記憶する。

ビデオ復号部１３は，前述のようにメモリ上に記憶されたデータを１ピクチャ単位毎に復号処理を行う。その場合に，ピクチャＰｉｃ＿Ａは，マクロブロック単位（例えば，図４のＭＢ（ａ１）〜ＭＢ（ａｎ）単位毎）に処理される。例えば，マクロブロックの１単位は，１６×１６ピクセルからなる。

以下にエラー判定処理の全体概要について説明する。

処理Ｓ１：エラー判定部４３は，ピクチャＰｉｃ＿ＡのＭＢラインＬｘ（ｘは１〜８）の処理終了後毎に，そのＭＢラインＬｘがイントラＭＢラインであるか判断する。

処理Ｓ２：エラー検知部４１は，リフレッシュ範囲をｓｅａｒｃｈＳｔａｔｅパラメータとし，ｓｅａｒｃｈＳｔａｔｅがＡｃｔｉｖｅの間に復号エラーが発生した場合に，エラー検出フラグｅｒｒｏｒＤｉｔｅｃｔをセットする。

処理Ｓ３：復号結果通知部４５は，ピクチャＰｉｃ＿Ａ全体の判定（判定Ｊ１〜Ｊ８）が終了したら，ｅｒｒｏｒＤｉｔｅｃｔ情報を表示管理部１５（図２に示す）に渡す。

処理Ｓ４：表示管理部１５は，復旧点の範囲内でエラーが発生しなかった場合（Ａｃｔｉｖｅ範囲にエラー発生，ｅｒｒｏｒＤｉｔｅｃｔ＝１の場合）に，直近の復旧点で表示する。

図５は，イントラスライスが上から下へ巡回する場合のエラー判定処理の説明図，図６は，イントラスライスが下から上へ巡回する場合のエラー判定処理の説明図である。図５及び図６を用いて説明する処理例は，イントラスライスとベクトル制限によってリフレッシュする方式に対応した処理である。

図５において，Ｐｉｃ（ｉ：ｉは整数）は１ピクチャ内のエラー判定処理の区切りを示すブロックのピクチャを示し，複数ブロックのピクチャ（Ｐｉｃ（ｉ）〜Ｐｉｃ（ｉ＋２Ｎ＋１））を処理する経過をイントラスライスの上から下方向への移動順に従って示している。ピクチャ内の黒斜線で示す範囲は，リフレッシュ済み（イントラスライスも含む）の範囲（Ａｃｔｉｖｅ範囲）を示す。

イントラスライスＩＳ（１）〜（Ｎ）は，ピクチャ（Ｐｉｃ（ｉ＋１），Ｐｉｃ（ｉ＋３），・・・，Ｐｉｃ（ｉ＋２Ｎ−１），Ｐｉｃ（ｉ＋２Ｎ＋１））内の各ブロックに対応するイントラスライスである。また，ピクチャＰｉｃ（ｉ），Ｐｉｃ（ｉ＋２），・・・，Ｐｉｃ（ｉ＋２Ｎ−２），Ｐｉｃ（ｉ＋２Ｎ）は，イントラスライスがなくベクトル制限のみのピクチャである。矢印ＹＡは，イントラスライスの移動方向を示す。

タイミング２０１，２０３は，表示制御の解除が可能な復旧点を示す。期間２０５はタイミング２０１から２０３までの間における１ピクチャのエラー判定の範囲を示す。

以下に，エラー判定部４３のエラー判定処理におけるリフレッシュ範囲内エラー判断の概要を示す。

リフレッシュ範囲（リフレッシュ済みの範囲）でのエラー発生かの判定は，図５に示す，イントラスライスＩＳのライン番号（ａ），直近ピクチャに存在したイントラスライスＩＳのライン番号（ｂ），リフレッシュ範囲を示す範囲（ｃ）の値を用いて行う。

処理Ｓ１１：エラー判定部４３は，ピクチャ内でＭＢライン全体がイントラＭＢであるＭＢラインのライン番号（ａ）を探す。

処理Ｓ１２：ＭＢライン番号（ａ）がある場合には，直近に存在するＭＢライン番号（ｂ）と比較する。

処理Ｓ１３：ＭＢライン番号“（ａ）＞（ｂ）”であった場合に，右範囲をインクリメントした範囲（ｃ）をリフレッシュ範囲とする。実際にはインクリメントした値と，ＭＢライン番号（ａ）が同じであるため，右範囲（図５のＰｉｃ（ｉ）のｉが増加する方向）をＭＢライン番号（ａ）に置き換えても良い。

処理Ｓ１４：ＭＢライン番号（ｂ）がない場合には，直前ピクチャと同じ範囲をエラー発生範囲とする。“（ａ）＝1”かつ“（ｂ）＝Ｎ”ならば，範囲（ｃ）の右範囲を１に設定する。

図５を用いて，エラー判定処理の具体例を示す。

〔具体例１〕
“イントラスライスのライン番号（ａ）＝１（最上ライン）”かつ“直近ピクチャに存在したイントラスライスのライン番号（ｂ）＝Ｎ”の場合に，リフレッシュ範囲（ｃ）はライン番号１〜１とする。すなわち，現イントラスライス（ライン番号＝１）でエラーが発生した場合に，リフレッシュ範囲内エラーと判定する。

〔具体例２〕
“イントラスライスのライン番号（ａ）＝２”かつ“直近ピクチャに存在したイントラスライスのライン番号（ｂ）＝１”の場合に，リフレッシュ範囲（ｃ）はライン番号１〜２の範囲とする。すなわち，ライン番号１〜２の範囲内でエラーが発生した場合に，リフレッシュ範囲内エラーと判定する。

〔具体例３〕
“イントラスライスのライン番号（ａ）＝３”かつ“（直近ピクチャに存在したイントラスライスのライン番号ｂ）＝２”の場合に，リフレッシュ範囲（ｃ）はライン番号１〜３の範囲とする。すなわち，ライン番号１〜３の範囲内でエラーが発生した場合に，リフレッシュ範囲内エラーと判定する。

図４に示すピクチャＰｉｃ＿ＡのＭＢラインＬ１〜Ｌ８各々で，エラー検出・エラー判定（判定Ｊ１〜判定Ｊ８）が行われ，この結果に基づいて，エラーがリフレッシュ範囲内か範囲外かが判定されて，復旧点が決定される。

エラー判定部４３は，図５に示す期間２０５の間に，リフレッシュ範囲外のエラーが発生した場合には，復旧点は最短でタイミング２０３と決定できるので，表示更新までの期間がより短くなる。

一方，リフレッシュ範囲内のエラーが発生した場合には，復旧点はタイミング２０３の次の復旧点と決定することになる。

図６において，Ｐｉｃ（ｉ：ｉは整数）は１ピクチャ内のエラー判定処理の区切りを示すブロックを示し，複数ブロック（Ｐｉｃ（ｉ）〜Ｐｉｃ（ｉ＋２Ｎ＋１））を処理する経過をイントラスライスの下から上方向への移動順に従って示している。矢印ＹＢは，イントラスライスの移動方向を示す。

イントラスライスＩＳ（Ｎ）〜（１）は，ピクチャ内のブロックのそれぞれ対応するイントラスライスである。タイミング２１１，２１３は，表示停止の解除が可能な復旧点である。期間２１５は，タイミング２１１から２１３までの間における１ピクチャのエラー判定の範囲を示す。

図６の下側からイントラスライスが巡回するリフレッシュの動作概要は，図５の上側リフレッシュの動作概要と基本的な動作は同様であるため，ここでは説明は省略する。

図６の場合にも，図５と同様の判定処理が行われ，期間２１５の間に，リフレッシュ範囲外でエラーが発生した場合には，復旧点は最短でタイミング２１３と決定することができる。一方，リフレッシュ範囲内でエラーが発生した場合には，復旧点は，タイミング２１３の次の復旧点となる。

以上の図５及び図６の動作説明からわかるように，動画像復号装置１は，上側及び下側からイントラスライスが巡回する符号化データに対応できるため，上側または下側からイントラスライス巡回をした動画像符号化装置に対応できる汎用性を備える。

さらに，動画像復号装置１は，ピクチャに必ずイントラスライスを設定する必要がない方式，すなわち，イントラスライスとベクトル制限を併用したリフレッシュ方式にも対応できる。

図７は，上側からリフレッシュする場合における１ピクチャ分の復号処理の処理フローを示す図である。

復号データ処理部３１は，ピクチャＰｉｃ＿Ａ（図４）の復号開始時に，エラー判定のための処理変数を初期化する（ステップＳ２１），処理変数は，例えば，ｆｒｅｅｚｅ（フリーズ設定の変数），ｅｒｒｏｒＤｉｔｅｃｔ（エラー検出フラグ），ｓｅａｒｃｈＳｔａｔｅ（サーチ範囲の変数）であり，ｆｒｅｅｚｅ＝“１”で表示停止指示，ｅｒｒｏｒＤｉｔｅｃｔ＝“１”でリフレッシュ範囲内エラー検出である。また，変数ｓｅａｒｃｈＳｔａｔｅは＝“Ａｃｔｉｖｅ”でリフレッシュ範囲内，“Ｎｅｇａｔｉｖｅ”でリフレッシュ範囲外を示す。

復号データ処理部３１は，ピクチャＰｉｃ＿Ａの一つのＭＢライン，例えば，ＭＢラインＬ１のデータ処理を行う（ステップＳ２２）。ピクチャＰｉｃ＿Ａの上側（矢印ＹＡ方向）からリフレッシュする場合に，判定処理は，ＭＢラインＬ１の判定Ｊ１から順に行われる。

この際，エラー検知部４１が，一つのＭＢライン毎に復号エラーを検知し，エラー判定部４３が，エラー判定処理を行う（ステップＳ２３）。詳細なエラー判定の処理フローは，後述する図８に示す。

エラー判定部４３は，ピクチャＰｉｃ＿Ａ中のすべての判定Ｊ１〜Ｊ８まで終了したか判断し，未処理のＭＢラインがある場合に（ステップＳ２４のＮｏ），ステップＳ２２の処理へ戻り，全てのＭＢラインの処理を終了した場合は（ステップＳ２４のＹｅｓ），エラー判定結果を復号結果通知部４５に通知する。

そして，復号結果通知部４５が，表示管理部１５へエラー判定結果を含む復号結果を通知する（ステップＳ２５）。表示管理部１５は，その通知内容に基づいて，画像の表示の停止または再開を設定し，その設定に基づいて，表示設定部５３が，設定による所定のタイミングにて表示の再開・停止を行う。

図８は，ステップＳ２３のエラー判定処理のより詳細な処理フローを示す図である。

エラー判定部４３は，現在対象のＭＢラインの範囲内で復号エラーが発生したかどうか判断する（ステップＳ３１）。エラーが発生した場合に（ステップＳ３１のＹｅｓ），表示を停止させるためのフリーズ設定の変数ｆｒｅｅｚｅに“１”セットする（ステップＳ３２）。

そのセット後，現在処理しているＭＢラインがリフレッシュ範囲内（“ｓｅａｒｃｈＳｔａｔｅ＝Ａｃｔｉｖｅ”）であるか否かを判断する（ステップＳ３３）。

リフレッシュ範囲内のエラーである場合に（ステップＳ３３のＹｅｓ），エラー検出フラグ“ｅｒｒｏｒＤｉｔｅｃｔ＝１”をセットし（ステップＳ３４），次の処理（ステップＳ３５）に移行する。

以下に説明するステップＳ３５〜ステップＳ４５の処理は，リフレッシュ範囲内か範囲外かの更新判定を行う処理フローである。

続いて，エラー判定部４３は，ＭＢラインが全てイントラＭＢであるかどうかを判定する（ステップＳ３５）。全てイントラＭＢの場合には（ステップＳ３５のＹｅｓ），現在処理しているＭＢラインのライン番号（ａ）と直近のピクチャに存在したイントラスライスのライン番号（ｂ）の和が，ピクチャの高さＮに１を足した値と等しいか（“（ａ）＋（ｂ）＝Ｎ＋１”）を判定する（ステップＳ３６）。

この値が等しいときは（ステップＳ３６のＹｅｓ），イントラスライスが巡回したときであり，一番下から一番上になったときである（もしくは，一番上から一番下）。

イントラスライスが巡回した場合に，ｉｎｉｔｉａｌ変数を反転（ＡｃｔｉｖｅをＮｅｇａｔｉｖｅへ，もしくはＮｅｇａｔｉｖｅをＡｃｔｉｖｅへ設定）し，その値をｓｅａｒｃｈＳｔａｔｅ及びＰｒｅＳｅａｒｃｈＳｔａｔｅ変数へ保持する。また，次のピクチャ処理時に，直近のピクチャに存在したイントラスライスのライン番号（ｂ）が現在処理中のＭＢラインのライン番号（ａ）となるため，（ｂ）の値を（ａ）の値に更新する（ステップＳ３７）。

一方，“（ａ）＋（ｂ）＝Ｎ＋１”でない場合には（ステップＳ３６のＮｏ），現在処理中のＭＢラインのライン番号（ａ）と，直近のピクチャに存在したイントラスライスのライン番号（ｂ）の大小を比較する（ステップＳ４０）。

“（ａ）＞（ｂ）”である場合に（ステップＳ４０のＹｅｓ），イントラスライスが上から下へ移動している場合と判定する。このラインより下はリフレッシュ範囲外とし，ｓｅａｒｃｈＳｔａｔｅ及びＰｒｅＳｅａｒｃｈＳｔａｔｅ変数をＮｅｇａｔｉｖｅに設定する。また，次のピクチャ処理時に，直近のピクチャに存在したイントラスライスのライン番号（ｂ）が現在処理中のＭＢラインのライン番号（ａ）となるため，（ｂ）の値を（ａ）の値に更新する（ステップＳ４１）。

“（ａ）＞（ｂ）”でない場合に（ステップＳ４０のＮｏ），現在処理中のＭＢライン番号（ａ）と直近のピクチャに存在したイントラスライスのライン番号（ｂ）の大小をさらに比較する（ステップＳ４２）。

“（ａ）＜（ｂ）”である場合に（ステップＳ４２のＹｅｓ），イントラスライスが下から上と移動している場合と判定する。このラインより下はリフレッシュ範囲内とし，ｓｅａｒｃｈＳｔａｔｅ及びＰｒｅＳｅａｒｃｈＳｔａｔｅ変数をＡｃｔｉｖｅにセットする。また，次のピクチャ処理時に，直近のピクチャに存在したイントラスライスのライン番号（ｂ）が現在処理中のＭＢラインのライン番号（ａ）となるため，（ｂ）の値を（ａ）の値に更新する（ステップＳ４３）。

以上のようにイントラスライスが存在する場合には，前述までの処理でリフレッシュ範囲内，または範囲外の判定は終了するが，イントラスライスがない場合にはステップＳ４４の処理へ移行する。

ＭＢラインが全てイントラＭＢでない場合には（ステップＳ３５のＮｏ），現在処理中のＭＢライン番号（ａ）と直近のピクチャに存在したイントラスライスのライン番号（ｂ）が等しいか判定する（ステップＳ４４）。

“（ａ）＝（ｂ）”である場合に（ステップＳ４４のＹｅｓ），前のピクチャと同じ位置まで処理が進んだため，それ以降の処理は直近のピクチャと同じ状態とするため，ｓｅａｒｃｈＳｔａｔｅ変数にＰｒｅＳｅａｒｃｈＳｔａｔｅ変数の値をセットし，リフレッシュ範囲を決定する（ステップＳ４５）。

以上までのステップ処理で，リフレッシュ範囲内又はリフレッシュ範囲外であるかの状態が更新される。

次に，リフレッシュ範囲更新により，現在処理中のＭＢライン番号（ａ）より下にあるＭＢラインをリフレッシュ範囲外（“ｓｅａｒｃｈＳｔａｔｅ＝＝Ｎｅｇａｔｉｖｅ”）とした場合（上から巡回の場合）に，エラー判定の処理は終了する（ステップＳ３８のＮｏ）。

一方，現在処理中のＭＢライン番号がリフレッシュ範囲内（“ｓｅａｒｃｈＳｔａｔｅ＝＝Ａｃｔｉｖｅ”）とした場合（ステップＳ３８のＹｅｓ），リフレッシュ範囲内でエラー発生があったとし，“ｅｒｒｏｒＤｉｔｅｃｔ＝１”にセットし（ステップＳ３９），エラー判定処理を終了する。

なお，下側からリフレッシュする場合の１ピクチャ分の復号処理及びエラー判定の処理フローは，前述の上側リフレッシュの処理フローの説明とはリフレッシュ方向が異なるものの，基本的な動作処理は共通しており，ここでは説明は省略する。

復号結果通知部４５は，１ピクチャ分の処理終了後，復号ピクチャとともに，エラー有無情報等の復号結果通知を表示管理部１の復号結果受信部６１へ転送する。

図９は，表示管理部１５に通知される情報の構造例を示す図である。

図９の通知において，Ｂａｎｋ Ｎｏは，メモリ上の画像が保存されているアドレスを示す。ｒｅｃｏｖｅｒは復旧点となるフレームタイミング，ピクチャタイプはＩピクチャ，Ｂピクチャ，Ｐピクチャのいずれかのタイプ種別を示し，ｆｒｅｅｚｅはエラーが発生したかどうかを示す情報として定義される。

画像サイズは，画面の大きさ情報を示し，ＰＴＳは表示時刻を示す情報である。

表示管理部１５の復号結果受信部６１が，これらの情報を受信し，その通知された情報に基づいて，フリーズ設定部５７，復旧点決定部５９が所定の設定を行う。

具体的には，フリーズ設定部５７は，ｆｒｅｅｚｅ＝１の情報の場合に，フリーズ設定として，フリーズするピクチャをフレームタイミングで設定する。

１ピクチャの処理が終了し，ｅｒｒｏｒＤｉｔｅｃｔ＝０であり，かつ，ＳＰＳ・ＰＰＳ・ＳＥＩが存在する場合には，そのフレームタイミングが復旧点となり，ｒｅｃｏｖｅｒ＝１として，表示管理部１５へ通知される。ＳＰＳ・ＰＰＳ・ＳＥＩは，ピクチャの処理に先立って復号されるため，復旧点の判断とすることができる。そこで，復旧点決定部５９は，ｒｅｃｏｖｅｒ情報に基づいて，ＳＰＳ・ＰＰＳ・ＳＥＩが存在するフレームタイミングを復旧点として設定する。

図１０は，上側から下側へリフレッシュした場合のエラー検出・復旧までの動作概要を示す図，図１１は下側から上側へリフレッシュした場合のエラー検出・復旧までの動作概要を示す図である。図１０及び図１１の実施例の動作概要においては，説明を簡略に行うために，ベクトル制限のピクチャを含む場合は除き，全てイントラスライスを含むピクチャの例で説明を行う。また，各フレームのブロックで，斜線で示す部分及びイントラＭＢの位置までの範囲の期間がＡｃｔｉｖｅ範囲であり，それ以外の白色で示す範囲の期間がＮｅｇａｔｉｖｅ範囲に対応する。

図１０（Ａ）は，イントラスライスの巡回時にリフレッシュ範囲内でエラー発生したときの動作概要を示す。また，図１０（Ｂ）は，同様の巡回時にリフレッシュ範囲外でエラーが発生したときの動作概要を示す。

図１０（Ａ）及び図１０（Ｂ）において，タイミング３０１，３０３，３０５，３０７及び３３１，３３３，３３５，３３７は，イントラリフレッシュ周期の最初のイントラＭＢにおいて，ＡＶＣ／Ｈ．２６４符号化データのヘッダ情報のパラメータを受け取るタイミングを示す。パラメータ情報は，ＳＰＳ，ＰＰＳ，ＳＥＩ等の情報を含む。

図１０（Ａ）において，エラー発生時３０９は，Ａｃｔｉｖｅ範囲で復号エラーが発生した場合のフレームタイミングを示す。ピクチャ３２３は，エラー発生時３０９のピクチャであり，ピクチャ３２１は，エラー発生時３０９前のフレームタイミングのピクチャである。

エラー発生時３０９で，エラー検知部４１がエラーを検知すると，ｆｒｅｅｚｅ情報に“１”が設定される。表示管理部１５のフリーズ設定部５７は，エラー発生時３０９からエラー発生前のピクチャ３２１でフリーズ設定し，表示設定部５３は，ピクチャ３２１を表示し続ける表示設定を行う。

復旧点３１１は，その表示設定の解除のフレームタイミングである。エラー発生時３０９からタイミング３１１まで期間３１３で復号エラーが発生しなければ，タイミング３１１が復旧点となり，その次フレームタイミングのピクチャ３２５で画面の表示更新が可能となる。この際，エラー判定部４３は，エラー発生がＡｃｔｉｖｅ範囲中に発生したエラーと判断すると，ｒｅｃｏｖｅｒ情報により，タイミング３１１について“ｒｅｃｏｖｅｒ＝１”をセットする。

表示管理部１５の復旧点決定部５９がタイミング３１１を復旧点と設定し，表示設定部５３は，タイミング３１１の次フレームタイミングのピクチャ３２５での表示更新を設定する。

また，図１０（Ｂ）において，エラー発生点３３９は，Ｎｅｇａｔｉｖｅ範囲で復号エラーが発生した場合のフレームタイミングを示す。ピクチャ３５３は，エラー発生時のフレームタイミングのピクチャであり，ピクチャ３５１は，エラー発生前のフレームタイミングのピクチャである。

エラー発生時３３９で，エラー検知部４１がエラーを検知し，ｆｒｅｅｚｅ情報に“１”を設定する。これにより，表示管理部１５のフリーズ設定部５７が，エラー発生時３３９からエラー発生前のピクチャ３５１でフリーズ設定し，表示設定部５３は，ピクチャ３５１を表示し続ける表示設定を行う。

その表示設定の解除が可能な復旧点をフレームタイミング３４１とする。エラー発生時３３９からタイミング３４１までの期間３４３で復号エラーが発生しなければ，タイミング３４１が復旧点となり，その次フレームタイミングのピクチャ３５５で画面の表示更新が可能となる。

この際，エラー判定部４３が，Ｎｅｇａｔｉｖｅ範囲で発生したエラーと判断し，ｒｅｃｏｖｅｒ情報により，タイミング３４１において“ｒｅｃｏｖｅｒ＝１”を設定する。

表示管理部１５の復旧点決定部５９がタイミング３４１を復旧点と設定し，表示設定部５３は，タイミング３４１の次フレームタイミングのピクチャ３５５での表示更新を行う表示設定を行う。

図１１（Ａ）は，イントラスライスの巡回時にリフレッシュ範囲内でエラー発生した場合の動作概要を示す。また，図１１（Ｂ）は，同様の巡回時にリフレッシュ範囲外でエラーが発生した場合の動作概要を示す。

図１１（Ａ）及び図１１（Ｂ）において，タイミング４０１，４０３，４０５，４０７及び４３１，４３３，４３５，４３７は，イントラリフレッシュ周期の最初のイントラＭＢにおいて，ＡＶＣ／Ｈ．２６４符号化データのヘッダ情報のパラメータを受け取るフレームタイミングを示す。

図１１（Ａ）において，エラー発生時４０９は，Ａｃｔｉｖｅ範囲中で復号エラーが発生した場合のフレームタイミングを示す。ピクチャ４２３は，エラー発生時４０９のピクチャである。また，ピクチャ４２１は，エラー発生前のフレームタイミングのピクチャである。

タイミング４１１は，エラー発生時４０９からエラー発生前のピクチャ４２１を表示し続け，その画像表示解除可能な復旧点となるフレームタイミングである。エラー発生時４０９からタイミング４１１までの期間４１３で復号エラーが発生しなければ，タイミング４１１の次のフレームタイミングのピクチャ４２５で画面の表示更新が可能となる。

図１１（Ａ）の場合も，図１０（Ａ）と同様な動作で，ｆｒｅｅｚｅ，ｒｅｃｏｖｅｒ情報の設定等が行われるので，説明を省略する。

図１１（Ｂ）において，エラー発生時４３９は，Ｎｅｇａｔｉｖｅ範囲で復号エラーが発生した場合のフレームタイミングを示す。ピクチャ４５３は，エラー発生時のフレームタイミングのピクチャである。ピクチャ４５１は，エラー発生前のフレームタイミングのピクチャである。

エラー発生時４３９から，エラー発生前のピクチャ４５１を表示し続け，タイミング４４１が，画像表示解除の復旧点となるフレームタイミングとする。エラー発生時４３９から復旧点４４１までの期間４４３を示す。タイミング４４１を復旧点とし，その次のフレームタイミングのピクチャ４５５を表示し，以降は表示を更新する。

図１１（Ｂ）の場合も，図１０（Ｂ）と同様な動作で，ｆｒｅｅｚｅ，ｒｅｃｏｖｅｒ情報の設定等が行われるので，説明を省略する。

以上説明したように，動画像復号装置１では，イントラスライスの巡回方向にかかわらず，エラー発生時３０９（３３９，４０９，４３９）がリフレッシュ済みの範囲かどうか（Ａｃｔｉｖｅ範囲又はＮｅｇａｔｉｖｅ範囲であるか）を判断し，それに対応した表示制御を行うことができる。

そのため，動画像復号装置１は，ピクチャ３２１（又は３５１，４２１，４５１）を表示した後，エラー発生時のピクチャ３２３（又は３５３，４２３，４５３）に換えてピクチャ３２１（又は３５１，４２１，４５１）を，次のリフレッシュ周期が終了する期間３１３（又は３４３，４１３，４４３）の経過後の復旧点３１１（又は３４１，４１１，４４１）のフレームタイミングまで，継続して表示し続ける。

そして，エラー発生時がＮｅｇａｔｉｖｅ範囲であれば，そのエラーはすぐにリフレッシュされて空間的に伝播せずに復旧できるため，フレームタイミング３３５，４３５で受け取るパラメータ情報のＳＥＩに含まれるリカバリポイント情報によって，タイミング３４１，４４１を復旧点として決定し，その次のフレームタイミング，すなわち，エラー発生後最短の期間３４３，４４３で，正常なピクチャ３５５，４５５に更新表示することができる。

動画像復号装置の基本構成を示す図である。 復号処理部の詳細な構成を示す図である。 ＡＶＣ／Ｈ．２６４準拠のデータ構造を示す図である。 動画像の１ピクチャ単位に行うエラー検出及びエラー判定処理の説明図である。 イントラスライスが上から下へ巡回する場合のエラー判定処理の説明図である。 イントラスライスが下から上へ巡回する場合のエラー判定処理の説明図である。 上側からリフレッシュする場合の１ピクチャ分の復号処理の処理フローを示す図である。 上側からリフレッシュする場合のエラー判定処理の処理フローを示す図である。 表示管理部に通知される情報の構造例を示す図である。 ピクチャの上側から下側へリフレッシュした場合のエラー検出・復旧までの動作概要を示す図である。 ピクチャの下側から上側へリフレッシュした場合のエラー検出・復旧までの動作概要を示す図である。 ＭＰＥＧ−２における動画像フレームのピクチャおよびエラー発生の説明図である。 ＡＶＣ／Ｈ．２６４規格に基づく動画像復号のエラー検出時の表示制御の動作例を示す図である。

符号の説明

１ 動画像復号装置
３ 受信部
５ 復号処理部
７ 出力制御部
１１ データ多重分離部
１３ ビデオ復号部
１５ 表示管理部
１７ オーディオ復号部
３１ 復号データ処理部
３３ 強制イントラブロックライン決定部
３５ リフレッシュ制御部
３７ 巡回方向判定部
４１ エラー検知部
４３ エラー判定部
４５ 復号結果通知部
５１ ビデオデータバッファ部
５３ 表示設定部
５５ オーディオデータバッファ部
５７ フリーズ設定部
５９ 復旧点決定部
６１ 復号結果受信部

Claims (6)

1. イントラスライスのリフレッシュを用いて動画像データを復号する復号装置において，
   動画像データを復号し，前記動画像データのヘッダ情報から，イントラスライスのリフレッシュ巡回が開始するイントラスライスの開始点を識別する復号処理部と，
   前記動画像データのフレーム毎に，該フレーム毎の複数のマクロブロックラインの１つであって前記イントラスライスに適用されるイントラマクロブロックラインを選択するイントラブロックライン決定部と，
   前記フレーム毎に，最新のイントラスライスおよび前記イントラスライスとなったイントラマクロブロックラインをマクロブロックラインの範囲であるリフレッシュされた範囲として特定するリフレッシュ制御部と，
   復号エラーの発生を検知するエラー検知部と，
   前記復号エラーが発生した場合に，前記復号エラーの発生箇所が，前記リフレッシュされた範囲であるか否かを判断するエラー判定部と，
   前記復号エラーの発生箇所が前記リフレッシュされた範囲内であると判定された場合に，前記動画像データの直後の復旧点の次の復旧点を前記動画像データの更新を行う復旧点に決定し，前記復号エラーの発生箇所が前記リフレッシュされた範囲外であると判定された場合に，前記動画像データの直後の復旧点を前記動画像データの更新を行う復旧点に決定する復旧点決定部とを備える
   ことを特徴とする復号装置。
2. 前記エラー判定部は，後続の２フレームにおける前記イントラマクロブロックラインの位置にもとづいて前記リフレッシュされた範囲を特定する
   ことを特徴とする請求項１記載の復号装置。
3. 前記エラー判定部は，後続の２フレームにおける前記イントラマクロブロックラインの位置および前記後続の２フレームの先行フレームにおける前記イントラマクロブロックラインの位置にもとづいて前記リフレッシュされた範囲を特定する
   ことを特徴とする請求項１または請求項２に記載の復号装置。
4. 前記復旧点決定部は，前記エラー判定部が，前記復号エラーの発生箇所が前記リフレッシュされた範囲外であると判断した場合に，前記復旧点として，前記復号エラーの発生箇所を含む前記リフレッシュされた範囲の直後の復旧情報を含むフレームを決定する
   ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の復号装置。
5. イントラスライスのリフレッシュを用いて動画像データを復号する復号方法において，コンピュータが，
   動画像データのヘッダ情報から，前記動画像データにおいてイントラスライスのリフレッシュ巡回が開始する復旧点を識別し，
   前記動画像データのフレーム毎に，該フレーム毎の複数のマクロブロックラインの１つであって前記イントラスライスに適用されるイントラマクロブロックラインを選択し，
   前記フレーム毎に，最新のイントラスライスおよび前記イントラスライスとなったイントラマクロブロックラインをリフレッシュされた範囲として特定し，
   復号エラーの発生を検知し，
   前記復号エラーが発生した場合に，前記復号エラーの発生箇所が，前記リフレッシュされた範囲であるか否かを判断し，
   前記復号エラーの発生箇所が前記リフレッシュされた範囲内であると判定された場合に，前記動画像データの直後の復旧点の次の復旧点を前記動画像データの更新を行う復旧点に決定し，前記復号エラーの発生箇所が前記リフレッシュされた範囲外であると判定された場合に，前記動画像データの直後の復旧点を前記動画像データの更新を行う復旧点に決定する，処理を実行する
   ことを特徴とする復号方法。
6. イントラスライスのリフレッシュを用いて動画像データを復号する復号プログラムであって，コンピュータに，
   動画像データのヘッダ情報から，前記動画像データにおいてイントラスライスのリフレッシュ巡回が開始する復旧点を識別し，
   前記動画像データのフレーム毎に，該フレーム毎の複数のマクロブロックラインの１つであって前記イントラスライスに適用されるイントラマクロブロックラインを選択し，
   前記フレーム毎に，最新のイントラスライスおよび前記イントラスライスとなったイントラマクロブロックラインをリフレッシュされた範囲として特定し，
   復号エラーの発生を検知し，
   前記復号エラーが発生した場合に，前記復号エラーの発生箇所が，前記リフレッシュされた範囲であるか否かを判断し，
   前記復号エラーの発生箇所が前記リフレッシュされた範囲内であると判定された場合に，前記動画像データの直後の復旧点の次の復旧点を前記動画像データの更新を行う復旧点に決定し，前記復号エラーの発生箇所が前記リフレッシュされた範囲外であると判定された場合に，前記動画像データの直後の復旧点を前記動画像データの更新を行う復旧点に決定する，処理を実行させるための復号プログラム。

Images