JP4485409B2 - 動画像復号装置 - Google Patents

Description

この発明は、動き補償予測を実施して圧縮符号化された動画像圧縮データから符号化データを抽出して復号し、その符号化データから動画像を再生する動画像復号装置に関するものである。

ＭＰＥＧやＩＴＵ−Ｔ Ｈ.２６ｘなどの国際標準映像符号化方式では、各フレームの映像信号のうち、１６×１６画素の輝度信号と、その輝度信号に対応する８×８画素の色差信号とを纏め、それらの纏めたデータ（マクロブロックの映像信号）を一単位にして、動き補償技術や直交変換・変換係数量子化技術によって圧縮する方法が採用されている。
ここで、動き補償技術とは、ビデオフレーム間に存在する高い相関を利用して、マクロブロック毎に時間方向の信号の冗長度を削減する技術であり、過去に符号化済みのフレームを参照画像としてメモリに蓄積し、その参照画像の中の所定の探索範囲内で、動き補償予測対象になっている現マクロブロックと最も差分電力が小さいブロック領域を探索して、現マクロブロックの空間位置と探索結果ブロックの空間位置とのずれを動きベクトルとして符号化する技術である。

また、直交変換・変換係数量子化技術は、空間方向に残存する画像信号の冗長度を削減する技術であり、その直交変換には、変換係数の電力集中度の最適性からＤＣＴ（離散コサイン変換）が広く用いられている。変換係数は量子化されることによって情報量が削減されて符号化される。
動きベクトルや変換係数の符号化は、発生確率が高いものを短い符号で表現し、発生確率が低いものを長い符号で表現することにより、圧縮効率が高まるため、予め定義されたハフマン符号などを用いて、可変長符号化による圧縮を実施するのが一般的である。

動画像符号化ビットストリームを無線回線やＩＰ網などで伝送して復号する場合、回線誤りやパケットロスに伴って、ビットストリーム中にビット誤りが発生することがあり、システムとして十分な精度の誤り訂正符号を利用することができない場合には、実際にビット誤りが発生した箇所以降の動画像符号化ビットストリームが正しく復号される保証が得られなくなる。
可変長符号化を用いる動画像符号化ビットストリームにおいては、受信した圧縮データ中にビット誤りが発生している場合、その圧縮データのビットが未定義な符号語に変化したり、別のハフマン符号語に変化したりする不具合が起る。
ビット誤り発生箇所で未定義な符号語に変化すると、その時点で復号破綻が生じ、それ以降のデータを正しく復号することが不可能となる。

この不具合に対処する方法として、ＭＰＥＧやＩＴＵ−Ｔ Ｈ.２６ｘなどの国際標準映像符号化方式では、１個ないし複数個のマクロブロックの連なりをスライス、ビデオパケット、ＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｂｌｏｃｋｓ）などと定義し、これらの単位で正常に復号同期が確保されるようにビットストリームのシンタックス（データ配列）が定義されている。以下、この復号同期単位となるデータ単位を「スライス」という用語で総称する。つまり、１フレームのビットストリームデータは、一般に１つのスライス、ないしは、複数のスライスの集合となる。

スライスの典型的なビットストリームシンタックスの場合（例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４）、その先頭には、「スタートコードプレフィックス」と呼ばれる同期コード（ビットストリームの中でユニークなコード）が付与される。
このため、あるポイントにおいて、ビットストリームの中にビット誤りが発生しても、次のスタートコードプレフィックスを検出すれば、それ以降の復号同期を回復することができる。
このスタートコードプレフィックスに続いて、スライス内のマクロブロックを、それ以前のスライスと全く独立に復号するために必要な各種情報が多重化されたスライスヘッダ情報が挿入され、そのスライスヘッダ情報に続いて、個々のマクロブロックのデータが挿入される。

このような構成のビットストリームシンタックスを取ることによって、スタートコードプレフィックスから先は他のいかなるスライスの情報も必要とせず、独立にマクロブロックの復号を行うことができる。つまり、あるスライスに生じたビット誤りに伴う品質劣化は、当該スライス内に局在化され、広範囲にわたって復号同期ずれに伴う映像品質劣化が波及しないようにすることが可能である。

一方、復号破綻の検出と再同期によりデータが読み飛ばされた部分については、マクロブロックの画像データを正常に復号することができない。このままの状態では、復号破綻が検出されたフレームだけでなく、そのフレームを予測参照フレームに用いる後続フレームの映像劣化の要因となって時間方向に劣化が伝播するため、ビット誤りによって正常に復号が行われないマクロブロックについては、劣化の伝播を抑止するために修復処置を行うのが通常である。この修復処置は「エラーコンシールメント」と呼ばれる。

動画像のエラーコンシールメントは、基本的には、修復に用いる代用画像データをいかに本来の信号に近いものに生成するかという問題に帰着する。そのテクニックについては、例えば、以下の非特許文献１に示されるように、一般的には、同一フレーム内の空間的な近傍情報を用いて修復画像を生成する「フレーム内修復」と、直前のフレームなど時間的に近傍にある画像情報を利用して修復画像を生成する「フレーム間修復」とに分類される。

フレーム内修復では、空間的な画素補間となるため、ディテールが失われる傾向にあり、フレーム間修復では、正しく復号された絵柄がフレームメモリに格納されることが保証されることが多いため、ディテールが保たれた修復が可能であるという性質がある。
したがって、フレーム間修復を極力利用することが好ましいが、動きがある場合や、急激なシーンチェンジがある場合など、フレーム間の相関が低下している場合には、本来の絵柄と全く異なる絵柄の修復画像を生成してしまうことがある。
そこで、フレーム内修復とフレーム間修復を適応的に切り替えながらエラーコンシールメントを行う手法の提案もなされている。また、酷く誤りの多い環境が初めから想定される場合には、時間方向の誤りの伝播を防止する目的で、フレーム内に閉じて、予測参照を行わずに符号化するマクロブロックやピクチャを定期的に挿入するイントラリフレッシュという対策が符号化装置側でなされることがある。

ＩＴＵ−Ｔ Ｈ.２６１，Ｈ.２６３や、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの国際標準符号化方式では、フレーム間修復に利用することができる画像としては、特に復号装置側で別途メモリを用意しない限り、直前のフレーム画像に限定される。
しかし、最新のＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４では、予測参照の自由度が増しており、通常復号に必要なフレームメモリを複数個備えて、必ずしも直前のフレームだけでなく、時間的に直前のフレームよりも遡ったフレームも予測参照に使用することができるようになっている。このような場合は、以下のような問題が発生する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４では、マクロブロックないしはマクロブロックが細分化されたサブブロックの単位で、動き補償予測を実施することが可能であり、予測画像を特定する動きベクトルに加えて、複数の予測参照フレームのうち、どのフレームを予測参照フレームに使用するかを示す予測参照フレームインデックスｒｅｆＩｄｘが付与される。
ただし、複数の予測参照フレームのうち、符号化装置により使用された予測参照フレームと同じ予測参照フレームを復号装置が使用する必要があるため、符号化装置が予測参照フレームインデックスｒｅｆＩｄｘをマクロブロックの符号化データとして復号装置に送信する。

ここで、予測参照に利用するフレームに誤りが含まれており、絵が崩れた状態でフレームメモリに格納されているケースを想定する。
複数のフレームメモリが復号装置に存在する場合、上記のように絵が崩れた状態で復号されたフレームが予測参照フレームとして利用されることにより、数フレーム分に渡って、崩れた状態の絵がフレームメモリ内に残存することがある。
例えば、絵が崩れた状態のフレームｆ（ｔ）が存在するとき、仮に、適切なイントラリフレッシュなどの処置が実施されることにより、フレームｆ（ｔ）の絵の崩れの時間方向の伝播がフレームｆ（ｔ＋１）において抑止され、フレームｆ（ｔ＋１）の絵が崩れていない場合でも、フレームｆ（ｔ＋２）の復号処理過程において、フレームｆ（ｔ＋２）上のカレントマクロブロックの予測参照フレームインデックスｒｅｆＩｄｘが指し示す予測参照フレームがフレームｆ（ｔ）であって、動きベクトルがフレームｆ（ｔ）上の絵の乱れた領域を示す場合、フレームｆ（ｔ）を予測参照フレームとして利用することにより、絵の乱れがフレームｆ（ｔ＋２）に伝播する。

Ｙ．Ｗａｎｇ ａｎｄ Ｑ−Ｆ． Ｚｈｕ，"Ｅｒｒｏｒ Ｃｏｎｔｒｏｌ ａｎｄ Ｃｏｎｃｅａｌｍｅｎｔ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：Ａ Ｒｅｖｉｅｗ"，ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨＥ ＩＥＥＥ，ＶＯＬ．８６，ＮＯ．５，ＭＡＹ １９９８

従来の動画像復号装置は以上のように構成されているので、回線誤りやパケットロスに伴って、ビットストリーム中にビット誤りが発生すると、そのビット誤りに伴う画像品質の劣化が時間方向に伝播するなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、ビット誤りに伴う画像品質の劣化の時間方向の伝播を抑止することができる動画像復号装置を得ることを目的とする。

この発明に係る動画像復号装置は、動き補償予測を実施して圧縮符号化された動画像圧縮データから符号化データを抽出して、その符号化データを復号する符号化データ復号手段と、上記符号化データ復号手段により復号された符号化データに含まれている動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定する予測参照フレーム決定手段と、上記予測参照フレーム決定手段により決定された予測参照フレームと上記符号化データ復号手段により復号された符号化データを用いて、動画像を再生する画像再生手段とを備え、上記予測参照フレーム決定手段は、上記符号化データ復号手段により復号された符号化データに含まれている動きベクトルの大きさが所定の閾値より大きい場合、その符号化データに含まれている予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定する一方、その動きベクトルの大きさが所定の閾値より小さい場合、その動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定するようにしたものである。

この発明によれば、動き補償予測を実施して圧縮符号化された動画像圧縮データから符号化データを抽出して、その符号化データを復号する符号化データ復号手段と、上記符号化データ復号手段により復号された符号化データに含まれている動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定する予測参照フレーム決定手段と、上記予測参照フレーム決定手段により決定された予測参照フレームと上記符号化データ復号手段により復号された符号化データを用いて、動画像を再生する画像再生手段とを備え、上記予測参照フレーム決定手段は、上記符号化データ復号手段により復号された符号化データに含まれている動きベクトルの大きさが所定の閾値より大きい場合、その符号化データに含まれている予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定する一方、その動きベクトルの大きさが所定の閾値より小さい場合、その動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定するように構成したので、ビット誤りに伴う画像品質の劣化の時間方向の伝播を抑止することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による動画像復号装置を示す構成図であり、図において、可変長復号部１は符号化装置から送信された動画像圧縮データ（動き補償予測を実施して圧縮符号化されたデータ）を受信すると、マクロブロック単位にシンタックス解析を実行して、その動画像圧縮データから可変長符号化された各マクロブロックの符号化データ（変換係数データ、各マクロブロックに対する量子化パラメータ、符号化モード情報、予測参照フレームインデックス、動きベクトル）を抽出して、その符号化データを復号するとともに、シンタックス解析処理過程で発生する復号破綻を検出する。
また、可変長復号部１は符号化データに含まれている動きベクトルの大きさが所定の閾値より大きい場合、その符号化データに含まれている予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定する一方、その動きベクトルの大きさが所定の閾値より小さい場合、その動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定する。ただし、動きベクトルの大きさが所定の閾値より小さい場合でも、予測参照フレームインデックスが指し示すフレームにおいて、その動きベクトルが示す画像領域が未修復の画像領域であれば、その予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定する。
メモリ２は可変長復号部１による復号破綻の検出結果を示す復号破綻検出フラグから構成された誤りエリアマップを格納する。
なお、可変長復号部１及びメモリ２から符号化データ復号手段及び予測参照フレーム決定手段が構成されている。

逆量子化・逆変換部３は復号破綻検出フラグが“０”である場合（復号破綻が検出されない場合）、可変長復号部１から出力された変換係数データと量子化パラメータを用いて画像を復号する。
動き補償部４は復号破綻検出フラグが“０”である場合、可変長復号部１から出力された符号化モード情報がフレーム間動き予測モード（インターモード）を示していれば、フレームメモリ９に格納されている複数の予測参照フレームの中から、可変長復号部１から出力された予測参照フレームインデックスが指し示す予測参照フレームを取得し、その予測参照フレームと可変長復号部１から出力された動きベクトルとを用いて動き補償予測を実施して予測画像を生成する。

スイッチ５は可変長復号部１から出力された符号化モード情報がフレーム間動き予測モード（インターモード）を示していれば、動き補償部４により生成された予測画像を選択して、その予測画像を加算部６に出力し、その符号化モード情報がフレーム内符号化モード（イントラモード）を示していれば、“０”を加算部６に出力する。
加算部６は復号破綻検出フラグが“０”である場合、逆量子化・逆変換部３により復号された画像とスイッチ５から出力された予測画像又は“０”を加算し、その加算結果を復号画像としてスイッチ８に出力する。

修復画像生成部７は復号破綻検出フラグが“１”である場合（復号破綻が検出された場合）、正常に復号されていないマクロブロックの修復画像を生成する。
スイッチ８は復号破綻検出フラグが“０”である場合、加算部６から出力された復号画像を選択して、その復号画像を動画像の再生結果として出力し、復号破綻検出フラグが“１”である場合、修復画像生成部７により生成された修復画像を選択して、その修復画像を動画像の再生結果として出力する。
フレームメモリ９はスイッチ８から出力された動画像を予測参照フレームとして格納する。
なお、逆量子化・逆変換部３、動き補償部４、スイッチ５、加算部６、修復画像生成部７、スイッチ８及びフレームメモリ９から画像再生手段が構成されている。

図２はこの発明の実施の形態１による動画像復号装置の可変長復号部１の内部を示す構成図であり、図において、シンタックス解析部１１は符号化装置から送信された動画像圧縮データ（動き補償予測を実施して圧縮符号化されたデータ）を受信すると、マクロブロック単位にシンタックス解析を実行して、その動画像圧縮データから可変長符号化された各マクロブロックの符号化データ（変換係数データ、各マクロブロックに対する量子化パラメータ、符号化モード情報、予測参照フレームインデックス、動きベクトル）を抽出して、その符号化データを復号する。また、シンタックス解析部１１はシンタックス解析処理過程で発生する復号破綻を検出して復号破綻検出フラグを出力するとともに、カレントマクロブロック位置と画像修復終了位置を検出して、カレントマクロブロック位置情報と画像修復終了位置情報を出力する。

予測参照フレーム判定部１２はシンタックス解析部１１から出力された動きベクトルの大きさが所定の閾値より大きい場合、シンタックス解析部１１から出力された予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定して、その予測参照フレームインデックスを動き補償部４に出力する一方、その動きベクトルの大きさが所定の閾値より小さい場合、その動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定し、その予測参照フレームを示す予測参照フレームインデックスを動き補償部４に出力する。ただし、動きベクトルの大きさが所定の閾値より小さい場合でも、予測参照フレームインデックスが指し示すフレームにおいて、その動きベクトルが示す画像領域が未修復の画像領域であれば、その予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定して、その予測参照フレームインデックスを動き補償部４に出力する。

図３はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
図４はこの発明の実施の形態１による動画像復号装置の可変長復号部の処理内容を示すフローチャートである。
なお、この実施の形態１では、動画像復号装置の構成要素である可変長復号部１、逆量子化・逆変換部３、動き補償部４、スイッチ５、加算部６、修復画像生成部７及びスイッチ８がハードウェアで構成されているものとして説明するが、動画像復号装置がコンピュータで構成されている場合、動画像復号装置の構成要素である可変長復号部１、逆量子化・逆変換部３、動き補償部４、スイッチ５、加算部６、修復画像生成部７及びスイッチ８の処理内容を示すプログラムを予めコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に動作について説明する。
動画像復号装置が符号化装置から送信された動画像圧縮データを受信し、その動画像圧縮データに発生しているビット誤りに伴う画質劣化を修復しながら動画像を再生する内容について説明する。
この実施の形態１では、動画像圧縮データは、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４符号化方式などで採用されている複数の予測参照フレームを利用した動き補償予測が可能であり、マクロブロックの単位に動き補償予測と変換・量子化が組み合わされたブロックベースのハイブリッド符号化方式にしたがって符号化されたデータであるものとする。
また、動画像圧縮データは、図５に示すように、動画像の各フレーム画像が複数のスライス（従来例のビデオパケットに相当するデータ単位)に分割され、スライスが可変長符号化されたマクロブロックデータから構成されているものとする。

可変長復号部１のシンタックス解析部１１は、符号化装置から送信された動画像圧縮データを受信すると、マクロブロック単位にシンタックス解析を実行して、その動画像圧縮データのビット列から符号化データを復元する。
即ち、シンタックス解析部１１は、その動画像圧縮データのビット列からスライスヘッダ情報を抽出して、そのスライスヘッダ情報を復号する（ステップＳＴ１）。
なお、スライスヘッダ情報には、カレントスライスに属する先頭マクロブロックのフレーム内位置情報や、カレントスライスに含まれるマクロブロックの量子化パラメータなどが含まれている。

また、シンタックス解析部１１は、動画像圧縮データが従う規格にしたがって、可変長符号化された各マクロブロックの符号化データを抽出して、その符号化データを復号する（ステップＳＴ２）。
なお、各マクロブロックの符号化データには、変換係数データ、各マクロブロックに対する量子化パラメータ、符号化モード情報、予測参照フレームインデックス、動きベクトルが含まれている。

また、シンタックス解析部１１は、各マクロブロックの符号化データを復号する際、シンタックス解析処理過程で発生する復号破綻の検出処理を実施する。
ここで、復号破綻とは、再び復号同期が回復するまでの間、それ以上、正常なシンタックス解析を継続することが不可能な状態になることである。
これは、通常、符号化装置から動画像圧縮データが送信された後、動画像復号装置が動画像圧縮データを受信する前に何らかの要因（例えば、無線回線による動画像圧縮データの伝送中における誤りの混入、動画像圧縮データをメディアに記録する際の誤り混入、メディアから動画像圧縮データを読み出す際の読み取りエラーなど）によって、動画像圧縮データにビット誤りが混入することにより発生する。
シンタックス解析部１１により検出される復号破綻としては、例えば、以下の（１）〜（５）のようなものがある。

（１）動画像圧縮データが従う規格において、シンタックス上、発生し得ない未定義の符号語、ないしは、未定義の復号値が検出される場合、復号破綻とみなされる。
（２）動画像圧縮データが従う規格において、シンタックス上、復号値が固定的に定まっているデータが他の値をとる場合、復号破綻とみなされる。
（３）動画像圧縮データが従う規格において、シンタックス上、復号値の値域が、そのデータ固有、ないしは、別のデータの復号値の制約の下で定められているデータが、正常な値域を逸脱している場合、復号破綻とみなされる。
（４）復号されたデータが、それまでの復号過程に照らして明らかに矛盾を生じている場合（例えば、あるスライスの先頭のマクロブロックのフレーム内位置を復号した結果、その値が、その前までに復号されたマクロブロックのフレーム内位置と不連続になっている場合）、復号破綻とみなされる。
（５）動画像圧縮データが従う規格において、復号される同種データの個数に限界が定められているとき、その個数を超過して復号される場合（例えば、ＡＶＣで採用される整数変換は、４×４画素ブロックに対して施されるため、直交変換係数は最大でも１ブロック当り１６個しか発生しないが、復号時にこの個数が１６個を超過する場合）、復号破綻とみなされる。

シンタックス解析部１１は、復号破綻の検出処理で、復号破綻を検出すると、復号破綻検出フラグを“１”に設定し、復号破綻の検出処理で、復号破綻を検出しなければ、復号破綻検出フラグを“０”に設定する。
シンタックス解析部１１は、“１”または“０”の復号破綻検出フラグを逆量子化・逆変換部３、動き補償部４、加算部６、修復画像生成部７及びスイッチ８に出力する。

可変長復号部１の予測参照フレーム判定部１２は、シンタックス解析部１１が復号破綻を検出しない場合、動き補償部４が動き補償予測に用いる予測参照フレームを決定する処理を実施する。
具体的には、下記の通りである。

予測参照フレーム判定部１２は、シンタックス解析部１１から予測参照フレームインデックスとしてｒｅｆｉｄｘを受けると、シンタックス解析部１１から出力されるカレントマクロブロック位置情報が示すカレントマクロブロックにおける予測参照フレームインデックスが、カレントフレームの直前のフレームであるか否かを判定する（図４のステップＳＴ２１）。図６の例では、ｒｅｆｉｄｘ＝０であるか否かを判定する。
予測参照フレーム判定部１２は、カレントマクロブロックにおける予測参照フレームインデックスが、カレントフレームの直前のフレームである場合（ｒｅｆｉｄｘ＝０）、予測参照フレームを変更する余地がないので、シンタックス解析部１１から出力された予測参照フレームインデックスｒｅｆｉｄｘをそのまま動き補償部４に出力する。

予測参照フレーム判定部１２は、カレントマクロブロックにおける予測参照フレームインデックスが、カレントフレームの直前のフレームでない場合（ｒｅｆｉｄｘ！＝０）、予測参照フレームを変更する余地があるので（例えば、ｒｅｆｉｄｘ＝Ｎ（Ｎ≠０）の場合、ｒｅｆｉｄｘ＝Ｎの予測参照フレームを、ｒｅｆｉｄｘ＝Ｎ−１〜０の予測参照フレームに変更できる余地がある）、シンタックス解析部１１から出力されるカレントマクロブロック位置情報と動きベクトルを参照して、予測画像として使用される画像領域が、メモリ２に格納されている誤りエリアマップ上のどこに位置に該当するかを特定する（ステップＳＴ２２）。
即ち、カレントマクロブロックを動きベクトルの始点にして、その動きベクトルが指す予測参照フレームの画像領域に対応する誤りエリアマップ上の位置を特定する。
図６の例では、ｒｅｆｉｄｘ＝１の予測参照フレームにおける座標（３，２）の画像領域に対応する誤りエリアマップ上の位置が特定される。

予測参照フレーム判定部１２は、予測画像として使用される画像領域に対応する誤りエリアマップ上の位置を特定すると、その位置の誤りエリアマップの誤り状態値（“１”または“０”の値）を参照して、その画像領域がビット誤りの影響を受けて、修復画像生成部７により修復された画像の領域であるか否かを判定する（ステップＳＴ２３）。
予測参照フレーム判定部１２は、その位置の誤りエリアマップの誤り状態値が“１”であれば、その画像領域がビット誤りの影響を受けて、修復画像生成部７により修復された画像の領域であると判定し、その位置の誤りエリアマップの誤り状態値が“０”であれば、その画像領域がビット誤りの影響を受けておらず、修復画像生成部７により修復された画像の領域ではないと判定する。

予測参照フレーム判定部１２は、予測画像として使用される画像領域が修復画像生成部７により修復された画像の領域ではないと判定する場合、予測参照フレームインデックスｒｅｆｉｄｘが示す予測参照フレームを利用すれば、精度の高い動き補償予測を実施することができるものと判断して、その予測参照フレームインデックスｒｅｆｉｄｘをそのまま動き補償部４に出力する。

予測参照フレーム判定部１２は、予測画像として使用される画像領域が修復画像生成部７により修復された画像の領域であると判定する場合、予測参照フレームインデックスｒｅｆｉｄｘが示す予測参照フレームを利用しても、精度の高い動き補償予測を実施することができないものと判断し、シンタックス解析部１１から出力される動きベクトルを評価する。
即ち、予測参照フレーム判定部１２は、シンタックス解析部１１から出力される動きベクトルの大きさを所定の閾値と比較して、その動きベクトルの大きさが所定の閾値より小さいか否かを判定する（ステップＳＴ２４）。

予測参照フレーム判定部１２は、動きベクトルの大きさが所定の閾値より小さい場合（予測参照フレームインデックスｒｅｆｉｄｘが示す予測参照フレーム（以下、本来の予測参照フレームという）と、カレントフレームの間で動きが小さい場合）、本来の予測参照フレームとカレントフレームの間に存在する中間フレームも、同様に動きが小さいことが推察されるので、ビット誤りの影響を受けて、修復画像生成部７により修復された画像領域を含む本来の予測参照フレームよりも、ビット誤りの影響を受けておらず、修復画像生成部７により修復された画像領域を含まない中間フレームを予測画像として利用する方が、乱れのない予測画像を獲得できる確率が高いと考えて、予測参照フレームを本来の予測参照フレームから中間フレームに再設定する処理を実施する（ステップＳＴ２５）。

即ち、予測参照フレーム判定部１２は、本来の予測参照フレームとカレントフレームの間に存在する中間フレームの中で、ビット誤りの影響を受けておらず、修復画像生成部７により修復された画像領域を含まない中間フレームを検出する。
そして、予測参照フレーム判定部１２は、このような中間フレームが複数存在する場合、本来の予測参照フレームに時間的に最も近い中間フレームを選択して、その中間フレームを予測参照フレームに決定し、その予測参照フレームを示す予測参照フレームインデックスを動き補償部４に出力する。
なお、本来の予測参照フレームに時間的に最も近い中間フレームを選択する理由は、本来の予測参照フレームと異なるフレームから予測画像を取り出すことになるので、本来の予測参照フレームと時間的に遠い中間フレームを選択する程、むしろ望ましくない予測画像を取り出す可能性が高くなるからである。

予測参照フレーム判定部１２は、動きベクトルの大きさが所定の閾値より大きい場合（本来の予測参照フレームと、カレントフレームの間で動きが大きい場合）、本来の予測参照フレームと異なるフレームから予測画像を取り出すと、むしろ望ましくない予測画像を取り出す可能性が高くなるので、本来の予測参照フレームを示す予測参照フレームインデックスｒｅｆｉｄｘをそのまま動き補償部４に出力する。

逆量子化・逆変換部３は、可変長復号部１のシンタックス解析部１１が復号破綻を検出せずに“０”の復号破綻検出フラグを出力すると（図３のステップＳＴ３）、可変長復号部１のシンタックス解析部１１から出力された変換係数データと量子化パラメータを用いて画像を復号する。

動き補償部４は、可変長復号部１のシンタックス解析部１１から“０”の復号破綻検出フラグを受けると、シンタックス解析部１１から出力された符号化モード情報がフレーム間動き予測モード（インターモード）を示していれば、フレームメモリ９に格納されている複数の予測参照フレームの中から、シンタックス解析部１１から出力された予測参照フレームインデックスが指し示す予測参照フレームを取得する。例えば、予測参照フレームインデックスがｒｅｆｉｄｘ＝Ｎ−１であれば、フレームメモリ９に格納されている複数の予測参照フレームの中から、ｒｅｆｉｄｘ＝Ｎ−１の予測参照フレームを取得する。
そして、動き補償部４は、その予測参照フレームと可変長復号部１から出力された動きベクトルとを用いて、動き補償予測を実施して予測画像（符号化装置により生成された予測画像と同じ予測画像であり、動き補償予測結果である予測誤差画像信号に相当する）を生成する。
なお、シンタックス解析部１１から出力された符号化モード情報がフレーム内符号化モード（イントラモード）を示している場合、予測画像の生成処理を実施しない。

スイッチ５は、可変長復号部１から出力された符号化モード情報がフレーム間動き予測モード（インターモード）を示している場合、動き補償部４により生成された予測画像を選択して、その予測画像を加算部６に出力する。
一方、その符号化モード情報がフレーム内符号化モード（イントラモード）を示している場合、“０”を加算部６に出力する。
加算部６は、可変長復号部１のシンタックス解析部１１から“０”の復号破綻検出フラグを受けると、逆量子化・逆変換部３により復号された画像と、スイッチ５から出力された予測画像又は“０”を加算し、その加算結果を復号画像としてスイッチ８に出力する（ステップＳＴ４）。
このように、この実施の形態１では、イントラモードの場合、予測参照フレームを全く利用せずにフレーム内符号化されるモードとしているため（ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４の復号装置の場合、この構成はあてはまらない。ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４では、イントラモードは、同一フレーム上の近傍画素データを用いて空間予測を行うため、予測参照フレームが自身のフレームとなり、その予測誤差が符号化される。)、スイッチ５の出力が“０”になり、逆量子化・逆変換部３により復号される画像がそのまま復号画像となる。

スイッチ８は、可変長復号部１のシンタックス解析部１１から“０”の復号破綻検出フラグを受けると、加算部６から出力された復号画像を選択して、その復号画像を動画像の再生結果として出力する。
スイッチ８から出力される動画像は、以降のフレームの予測参照フレームとして用いられるため、フレームメモリ９に格納される。

また、可変長復号部１のシンタックス解析部１１から出力された“０”の復号破綻検出フラグは、メモリ２に格納されている誤りエリアマップにおけるカレントフレーム・カレントマクロブロックの該当位置の誤り状態値として保持される（ステップＳＴ５）。
なお、誤りエリアマップは、例えば、図６の「０」「１」の分布情報に相当し、フレームメモリ９に格納される全ての予測参照フレームの分だけ用意される。例えば、図７の再生画像に対する誤りエリアマップは、図８のように表すことができる。
以上で、カレントマクロブロックにおいて、復号破綻が検出されない場合の復号処理が完了する。スライス内に含まれる全てのマクロブロックについて、この処理フローを完了すると（ステップＳＴ６）、カレントスライスの処理を終了する。

次に、可変長復号部１のシンタックス解析部１１は、上記のようにして、復号破綻を検出すると、復号同期を回復して、正常な復号を再開することができるようにするために、再同期コードをサーチする（ステップＳＴ７）。
再同期コードは、その前までのビットがいなかる状態であっても、そのビット位置からは正常復号が可能になるポイントを指示するユニークなコードを意味し、例えば、図５におけるスライスヘッダ先頭のスタートコードプレフィックスなどが該当する。
ただし、復号破綻が検出された後、その再同期コードが見つかるまでの間のマクロブロックの符号化データは読み捨てられるので、その読み捨てにより失われた範囲の画像を修復する必要がある。

可変長復号部１のシンタックス解析部１１は、再同期コードを検出すると、次のスライスの先頭マクロブロックのフレーム内の位置を確認することにより、カレントスライスが画面内のどの位置のマクロブロックで終了するかを識別する。
シンタックス解析部１１は、カレントスライスが画面内のどの位置のマクロブロックで終了するかを識別すると、カレントスライスの中で、修復が必要な画像領域の終端を認識し、その画像領域の終端を示す画像修復終了位置情報を修復画像生成部７に出力する（ステップＳＴ８）。

修復画像生成部７は、可変長復号部１のシンタックス解析部１１から“１”の復号破綻検出フラグと画像修復終了位置情報を受けると、復号破綻が検出されたマクロブロックの位置から画像修復終了位置情報が示す終了位置までの区間の画像を修復画像として生成する（ステップＳＴ９）。
修復画像生成部７における画像修復処理は、修復対象のマクロブロックに対して、その時間的あるいは空間的な近傍にある画像情報ないしは符号化データから、類似な画像を修復画像として生成する処理である。例えば、以下のような処理方法が考えられる。

Ａ．予測参照フレームから修復画像を生成する方法
（１）フレームメモリ９に格納されている予測参照フレームから、修復対象のマクロブロックと空間的に同一の位置にある画像を修復画像としてコピーする。
（２）フレームメモリ９に格納されている予測参照フレームから、修復対象のマクロブロックと空間的に同一の位置から所定の動きベクトル分だけシフトさせた箇所の画像を修復画像としてコピーする。
なお、本来の動きベクトルが復号破綻のために失われており、本来の動きベクトルを使用することができない場合、例えば、以下の（ア）（イ）（ウ）のような方法で代替の動きベクトルを求める。
（ア）修復対象のマクロブロックの真上に位置するマクロブロックの動きベクトルを代替の動きベクトルとして使用する。
（イ）修復対象のマクロブロックの周辺のマクロブロックの動きベクトルを保持しておいて、それらの動きベクトルを用いて、動き補償予測を実施する際に使用する動きベクトル予測値を計算して使用する。
（ウ）カレントスライスが、例えばＭＰＥＧ−４ビジュアル規格やＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４規格に定めるデータパーティショニングシンタックスを用いて、重要度の高いデータと低いデータに区分されて符号化されている場合、重要度の高いデータの正常復号が確認できたときは、重要度の高いデータとして符号化されている動きベクトルを使用する。

Ｂ．同一フレーム内のデータを使用して修復画像を生成する方法
（１）同一フレーム内の周辺マクロブロックのＤＣ係数やＡＣ係数（一部または全部）を保持しておき、それらのＤＣ係数やＡＣ係数を用いて修復画像を生成する。
（２）カレントスライスが、例えばＭＰＥＧ−４ビジュアル規格やＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４規格に定めるデータパーティショニングシンタックスを用いて、重要度の高いデータと低いデータに区分されて符号化されている場合、重要度の高いデータの正常復号が確認できたときは、重要度の高いデータとして符号化されているＤＣ係数を使用して修復画像を生成する。あるいは、その際に、周辺マクロブロックのＡＣ係数も保持しておき、そのＡＣ係数も加味して修復画像を生成する。

スイッチ８は、可変長復号部１のシンタックス解析部１１から“１”の復号破綻検出フラグを受けると、修復画像生成部７により生成された修復画像を選択して、その修復画像を動画像の再生結果として出力する。
スイッチ８から出力される動画像は、以降のフレームの予測参照フレームとして用いられるため、フレームメモリ９に格納される。

また、可変長復号部１のシンタックス解析部１１から出力された“１”の復号破綻検出フラグは、メモリ２に格納されている誤りエリアマップにおけるカレントフレーム・カレントマクロブロックの該当位置の誤り状態値として保持される（ステップＳＴ１０）。
なお、誤りエリアマップは、例えば、図６の「０」「１」の分布情報に相当し、フレームメモリ９に格納される全ての予測参照フレームの分だけ用意される。例えば、図７の再生画像に対する誤りエリアマップは、図８のように表すことができる。
以上の方法で、修復が必要な画像領域内のすべてのマクロブロックの修復画像を生成し終えたら（ステップＳＴ１１）、カレントスライスの処理を終了する。

以上で明らかなように、この実施の形態１によれば、符号化データに含まれている動きベクトルの大きさが所定の閾値より大きい場合、その符号化データに含まれている予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定する一方、その動きベクトルの大きさが所定の閾値より小さい場合、その動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定する予測参照フレーム判定部１２を設け、その予測参照フレーム判定部１２により決定された予測参照フレームと符号化データを用いて、動画像を再生するように構成したので、ビット誤りに伴う画像品質の劣化の時間方向の伝播を抑止することができる効果を奏する。

また、この実施の形態１によれば、符号化データに含まれている動きベクトルの大きさが所定の閾値より小さい場合でも、予測参照フレームインデックスが指し示すフレームにおいて、その動きベクトルが示す画像領域がビット誤りの影響を受けずに、修復画像生成部７により修復された画像の領域でなければ、その予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定するように構成したので、精度の高い動き補償予測を実施することができる効果を奏する。

この実施の形態１によれば、予測参照フレームインデックスが指し示すフレームにおいて、動きベクトルが示す画像領域がビット誤りの影響を受けて、修復画像生成部７により修復された画像の領域であれば、その予測参照フレームインデックスが指し示すフレームとカレントフレームの間に存在する中間フレームの中で、その動きベクトルが示す画像領域が修復画像生成部７により修復された画像を含まない中間フレームを動き補償予測に用いる予測参照フレームに決定するように構成したので、乱れのない予測画像が得られる確率が高まり、画像品質が高い動画像を再生することができる効果を奏する。

この実施の形態１によれば、動きベクトルが示す画像領域が修復画像生成部７により修復された画像を含まない中間フレームが複数存在する場合、それらの中間フレームの中で、予測参照フレームインデックスが示すフレームに時間的に最も近いフレームを動き補償予測に用いる予測参照フレームに決定するように構成したので、さらに、乱れのない予測画像が得られる確率が高まり、画像品質が高い動画像を再生することができる効果を奏する。

なお、この実施の形態１では、誤りエリアマップを格納するメモリ２を実装する必要があるが、誤りエリアマップに対する誤り状態値の設定処理や、誤りエリアマップ及び動きベクトルを参照して、予測参照フレームを決定する処理自体は、極めて簡易な演算で実現することが可能であり、多くの演算回路の増加を招くことなく、問題を解決することができる。

また、この実施の形態１では、可変長復号部１のシンタックス解析部１１から出力される動きベクトルを変更することなく、その動きベクトルを利用するものについて示したが、予測参照フレーム判定部１２から出力される予測参照フレームインデックスが指し示すフレームとカレントフレーム間の時間差を考慮して動きベクトルを調整し、調整後の動きベクトルを利用するようにしてもよい。
その際、予測参照フレーム判定部１２から出力される予測参照フレームインデックスが指し示すフレームとカレントフレーム間の時間差だけでなく、カレントフレームの中で、カレントマクロブロックの近傍に存在する動きベクトルや、符号化モード情報や、予測誤差の大きさなどを考慮して、動きベクトルを調整するようにしてもよい。
予測参照フレーム判定部１２から出力される予測参照フレームインデックスが、シンタックス解析部１１から出力される本来の予測参照フレームインデックスと異なる場合は、上記のようにして、利用する動きベクトルを調整すれば、さらに、予測画像の精度を高めることができる。

この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の可変長復号部の内部を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置の可変長復号部の処理内容を示すフローチャートである。 動画像圧縮データにおけるスライスデータのシンタックス例を示す説明図である。 カレントマクロブロックと予測参照フレームの関係を示す説明図である。 再生画像の一例を示す説明図である。 図７の再生画像に対する誤りエリアマップを示す説明図である。

符号の説明

１ 可変長復号部（符号化データ復号手段、予測参照フレーム決定手段）、２ メモリ（符号化データ復号手段、予測参照フレーム決定手段）、３ 逆量子化・逆変換部（画像再生手段）、４ 動き補償部（画像再生手段）、５ スイッチ（画像再生手段）、６ 加算部（画像再生手段）、７ 修復画像生成部（画像再生手段）、８ スイッチ（画像再生手段）、９ フレームメモリ（画像再生手段）、１１ シンタックス解析部、１２ 予測参照フレーム判定部。

Claims (5)

1. 動き補償予測を実施して圧縮符号化された動画像圧縮データから符号化データを抽出して、その符号化データを復号する符号化データ復号手段と、上記符号化データ復号手段により復号された符号化データに含まれている動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定する予測参照フレーム決定手段と、上記予測参照フレーム決定手段により決定された予測参照フレームと上記符号化データ復号手段により復号された符号化データを用いて、動画像を再生する画像再生手段とを備え、
   上記予測参照フレーム決定手段は、上記符号化データ復号手段により復号された符号化データに含まれている動きベクトルの大きさが所定の閾値より大きい場合、その符号化データに含まれている予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定する一方、その動きベクトルの大きさが所定の閾値より小さい場合、その動きベクトルが示す画像領域の修復状況に応じて動き補償予測に用いる予測参照フレームを決定することを特徴とする動画像復号装置。
2. 予測参照フレーム決定手段は、符号化データ復号手段により復号された符号化データに含まれている動きベクトルの大きさが所定の閾値より小さい場合でも、予測参照フレームインデックスが指し示すフレームにおいて、その動きベクトルが示す画像領域が未修復の画像領域であれば、その予測参照フレームインデックスが指し示すフレームを動き補償予測に用いる予測参照フレームに決定することを特徴とする請求項１記載の動画像復号装置。
3. 予測参照フレーム決定手段は、予測参照フレームインデックスが指し示すフレームにおいて、動きベクトルが示す画像領域が修復済の画像領域であれば、その予測参照フレームインデックスが指し示すフレームとカレントフレームの間に存在するフレームの中で、その動きベクトルが示す画像領域が未修復のフレームを動き補償予測に用いる予測参照フレームに決定することを特徴とする請求項２記載の動画像復号装置。
4. 予測参照フレーム決定手段は、動きベクトルが示す画像領域が未修復のフレームが複数存在する場合、それらのフレームの中で、予測参照フレームインデックスが示すフレームに時間的に最も近いフレームを動き補償予測に用いる予測参照フレームに決定することを特徴とする請求項３記載の動画像復号装置。
5. 画像再生手段は、符号化データ復号手段により符号化データが正常に復号されないマクロブロックが存在する場合、そのマクロブロックの修復画像を生成することを特徴とする請求項１から請求項４のうちのいずれか１項記載の動画像復号装置。

Images