JP5089632B2 - 動画像復号装置 - Google Patents

Description

この発明は、映像ＥＳ（Elementary Stream）のデコード時にマクロブロックのエラーを検出し、デコード済み画像でエラーを補完する動画像復号装置に関するものである。

従来の動画像復号装置は、入力された動画像データ中の文法誤りなどにより、復号画像中に現れるエラーを発見した際に、その時点より時間的に前、もしくは、その画像より前に復号した画像の情報を用いてエラーの補完を行っていた（例えば、特許文献１参照）。

特開平９−１５４１４１号公報

エラー補完を行う従来の動画像復号装置では、エラー補完を行う対象の画像より時間的に前の画像、もしくは、エラー補完を行う対象の画像より前に復号が必要な画像のみを補完元画像として使用しており、これらの、従来技術における補完元画像より、対象よりも後の画像の方がエラーが少ない場合や、従来技術における補完元画像より、対象よりも後の画像の方が、対象の画像と類似している場合など、対象の画像よりも後の画像を使用した方が効果的なエラー補完を行える場合に対応することができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、エラー補完が必要な画像を時間的に前後の画像から補完することにより、効果的にエラー補完を行うことができる動画像復号装置を得ることを目的とする。

この発明に係る動画像復号装置は、入力された動画像情報を示す画像ストリームを復号して復号画像を得るとともに、前記動画像情報のエラーによる前記復号画像上のエラー箇所を検出し、当該エラー箇所を示すエラー箇所情報を生成する復号手段と、
前記復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持し、前記エラー箇所情報によって前記保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択し、前記エラー補完先の保持画像のエラー箇所を前記エラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完するエラー補完手段とを備え、
前記エラー補完手段は、
前記復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持する画像メモリと、
前記復号手段から入力したエラー箇所情報によって前記保持画像にエラー箇所の存在を検知すると、当該検知されたエラー補完先の保持画像に関して時系列の直前にある保持画像及び時系列の直後にある保持画像を前記画像メモリから取得して、当該時系列の直前にある保持画像と前記時系列の直後にある保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について類似度を算出し、所定の閾値との比較結果から当該類似度が前記閾値より高い場合、前記時系列の直前及び直後の保持画像の中間画像を生成してエラー補完元画像とする補完計画部と、
前記エラー補完先の保持画像のエラー箇所を、前記補完計画部で得られたエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する補完操作部とを備えたものである。

この発明によれば、エラー補完手段が、復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持し、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択し、エラー補完先の保持画像のエラー箇所をエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する。
このように、エラー補完が必要な画像に関して時系列の前後にある保持画像のうちから選択したエラー補完元画像を利用してエラー補完するので、従来と比較してエラー補完元画像として選択可能な画像を増やすことができる。これにより、効果的にエラー補完を行うことができるという効果がある。また、エラー補完が必要な画像との類似度などからエラー補完元画像を評価することで、伝送等によって発生するエラーをより目立たないように補完できる。

この発明の実施の形態１による動画像復号装置の構成を示すブロック図である。 図１中のエラー補完部の構成を示すブロック図である。 図２中の画像メモリと補完操作部との動作を説明するための図である。 この発明の実施の形態２による動画像復号装置におけるエラー補完部の構成を示すブロック図である。 この発明の実施の形態３による動画像復号装置におけるエラー補完部の構成を示すブロック図である。 この発明の実施の形態４による動画像復号装置におけるエラー補完部の構成を示すブロック図である。 この発明の実施の形態５による動画像復号装置におけるエラー補完部の構成を示すブロック図である。 この発明の実施の形態６による動画像復号装置の構成を示すブロック図である。

実施の形態１．
図１は、この発明の実施の形態１による動画像復号装置の構成を示すブロック図である。図１において、実施の形態１による動画像復号装置は、映像デコーダ１０１及びエラー補完部１０２を備える。映像デコーダ（復号手段）１０１は、映像ＥＳ（Elementary Stream）をデコード（復号）して、デコード結果であるデコード画像、当該デコード画像の映像ＥＳ中での表現形式を示す画像タイプ及び当該デコード画像のエラー箇所情報（エラーの発生した部分の座標）を順次出力する手段である。

ここで、例えば映像ＥＳは、ＭＰＥＧ−Ｖｉｄｅｏ形式で符号化されたビットストリームであり、画像タイプは、ＭＰＥＧ−Ｖｉｄｅｏ形式のＩ、Ｐ、Ｂのいずれか、エラー箇所情報はエラーを含むマクロブロックの座標である。なお、エラー箇所情報は、デコード過程において、デコード対象画像のあるマクロブロック中で記述されるべき符号が揃う前に次のスタートコードを得た場合、当該マクロブロックにエラーがあると見なすなどの、文法エラーを検出することによって得ることができる。

エラー補完部（エラー補完手段）１０２は、映像デコーダ１０１からのデコード画像、画像タイプ及びエラー箇所情報を入力してエラーの補完を行い、補完画像を順次出力する手段である。例えば、映像デコーダ１０１から、デコード画像、画像タイプ及びエラー箇所情報とを入力し、当該画像タイプとエラー箇所情報とに従ってデコード画像の補完を行い、補完結果を補完画像として得る。

図２は、図１中のエラー補完部の構成を示すブロック図である。図２において、エラー補完部１０２は、画像メモリ２０１、補完計画部２０２及び補完操作部２０３を備える。画像メモリ２０１は、映像デコーダ１０１でデコードされたデコード画像を順次入力すると、時間的に新しい方から時系列に並んだ複数枚の画像を保持画像として保持し、補完操作部２０３によって上記時系列に並んだ保持画像のうちの１つの画像が補完処理された結果を入力すると、当該画像を補完画像として出力する。

補完計画部２０２は、映像デコーダ１０１から画像タイプとエラー箇所情報を順次入力して、画像メモリ２０１に保持された保持画像の画像タイプとエラー箇所情報を保持し、画像メモリ２０１の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該保持画像の後に初めて画像タイプがＩフレームとなるものが何枚目の保持画像であるかを探索し、探索結果の保持画像が何枚目であるかを示す情報及びエラー箇所情報を補完指示として出力する。

補完操作部２０３は、補完計画部２０２から補完指示を入力し、当該補完指示に従う枚数目の保持画像の上記エラー箇所情報が示す部分についての画像情報を画像メモリ２０１から読み出し、エラーが存在する保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

次に動作について説明する。
映像デコーダ１０１は、再生対象となる動画像の映像ＥＳを入力すると、当該映像ＥＳをデコードし、デコード結果のデコード画像、当該デコード画像の映像ＥＳ中での表現形式を示す画像タイプ及び当該デコード画像のエラー箇所情報をエラー補完部１０２へ出力する。

エラー補完部１０２において、画像メモリ２０１が、デコード画像を順次入力して、図３に示すように、時間的に新しい方からＮ枚分のデコード画像（時系列に並んだＮ枚のフレーム）を保持画像として保持する。また、補完計画部２０２は、映像デコーダ１０１から画像タイプとエラー箇所情報を順次入力して、画像メモリ２０１に保持されたＮ枚分の保持画像についての画像タイプとエラー箇所情報を保持する。

補完計画部２０２が、画像メモリ２０１におけるＭ（ＭはＭ≦Ｎなる所定の自然数）枚目の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、Ｍ枚目の後に初めて画像タイプがＩフレームとなるものが何枚目の保持画像であるかを探索し、当該保持画像がｘ枚目である旨と当該エラー箇所情報を補完指示として補完操作部２０３に出力する。

補完操作部２０３では、補完計画部２０２から入力した補完指示に従って、ｘ枚目の保持画像中の上記補完指示におけるエラー箇所情報が示す部分の画像情報を画像メモリ２０１から読み出し、Ｍ枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

画像メモリ２０１は、図３に示すように、補完操作部２０３によってＭ枚前の保持画像が補完処理された結果を入力すると、当該画像を補完画像として出力する。

なお、上記説明では、画像タイプがＭＰＥＧ−Ｖｉｄｅｏ形式のＩフレームとしたが、画像タイプが単独のフレームで画像全体が保持される符号化種類で表現された画像であればよく、ＭＰＥＧ−Ｖｉｄｅｏ形式以外の動画像符号化方式であっても、本発明は適用可能である。また、画像タイプが存在しない、もしくは画像タイプで判断してもエラー補完に効果がない動画像符号化形式においては、画像タイプの判断を行わず、直後の画像を使用することもできる。

以上のように、この実施の形態１によれば、エラー補完部１０２が、映像デコーダ１０１によって映像ＥＳから順次デコード（復号）された時系列に並ぶ所定数分のデコード画像を保持画像として保持し、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択して、エラー補完先の保持画像のエラー箇所をエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する。このようにすることで、デコード画像中のエラーを、当該画像のデコード時にはデコードされていなかった画像も使用して補完することが可能であり、デコード時点でデコード済みの画像のみを使用する場合に比べて補完元となる画像候補を増やすことができる。これにより、効果的なエラー補完が期待できる。

また、この実施の形態１によれば、エラー補完部１０２が、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、画像タイプが単独のフレームで画像全体が保持される符号化種類で表現された画像（例えば、ＭＰＥＧ形式のＩフレーム）であって、検知されたエラー補完先の保持画像に関して時系列の後に最初に出現する保持画像をエラー補完元画像として選択する。これにより、エラーの影響を低減できる。特に、画像タイプがＰやＢのデコード画像ではそれらが参照した画像のエラーを蓄積するのに対し、画像タイプがＩのデコード画像ではエラーの蓄積がないため、デコード画像の時間的に後に現れる画像タイプがＩフレームのデコード画像でエラー補完すれば、エラーの影響を最小に止めることが可能である。

実施の形態２．
この実施の形態２は、デコード画像中のエラー箇所をその前後のデコード画像のうち、より似た方でエラー補完するように構成したものである。なお、実施の形態２による動画像復号装置の全体構成は、上記実施の形態１で図１を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態２では、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。

図４は、この発明の実施の形態２による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態２によるエラー補完部（エラー補完手段）１０２は、画像メモリ４０１、補完計画部４０２及び補完操作部４０３を備え、補完計画部４０２が、エラー検知部４０４、類似度算出部４０５ａ，４０５ｂ及び比較部４０６を備える。

エラー検知部４０４は、映像デコーダ１０１からエラー箇所情報を順次入力し、画像メモリ２０１に保持された保持画像を保持し、画像メモリ２０１の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該保持画像及びその時間的に前後の保持画像を画像メモリ２０１から取得する。

類似度算出部４０５ａは、エラー検知部４０４により取得されたエラーが存在する保持画像とこの保持画像について時間的に前に存在する保持画像との類似度を算出する。類似度算出部４０５ｂでは、エラー検知部４０４により取得されたエラーが存在する保持画像とこの保持画像について時間的に後に存在する保持画像との類似度を算出する。

比較部４０６は、類似度算出部４０５ａ，４０５ｂで算出された各類似度を比較して、この比較結果から時間的に前後にそれぞれ存在する保持画像のうち、エラーが存在する保持画像により類似する方を特定して当該保持画像が何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部４０３へ出力する。

補完操作部４０３は、補完計画部４０２から補完指示を入力し、当該補完指示に従う枚数目の保持画像の上記エラー箇所情報が示す部分についての画像情報を画像メモリ４０１から読み出し、エラーが存在する保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

次に動作について説明する。
実施の形態２による映像デコーダ１０１では、再生対象となる動画像の映像ＥＳを入力すると、当該映像ＥＳをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部１０２へ出力する。

エラー補完部１０２において、画像メモリ４０１が、デコード画像を順次入力して、図４に示すように、時間的に新しい方からＮ枚分のデコード画像（時系列に並んだＮ枚のフレーム）を保持画像として保持する。また、補完計画部４０２のエラー検知部４０４は、映像デコーダ１０１からエラー箇所情報を順次入力して保持する。

エラー検知部４０４が、画像メモリ４０１におけるＭ（ＭはＭ≦Ｎなる所定の自然数）枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、Ｍ枚目の保持画像、その時間的に前後にあるＭ−１枚目の保持画像とＭ＋１枚目の保持画像とを画像メモリ４０１から取得し、類似度算出部４０５ａ，４０５ｂへ出力する。

類似度算出部４０５ａは、エラー検知部４０４により取得されたＭ枚目の保持画像とＭ−１枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲（エラー箇所で特定される部分自体は含まない）の類似度（第１の類似度）を算出する。また、類似度算出部４０５ｂは、同様にしてＭ枚目の保持画像とＭ＋１枚目の保持画像との類似度（第２の類似度）を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。

比較部４０６は、類似度算出部４０５ａ，４０５ｂで算出された各類似度を入力して比較を行い、類似度算出部４０５ｂよりも類似度算出部４０５ａが算出した類似度が高ければｘ＝Ｍ−１、類似度算出部４０５ｂが算出した類似度が高ければｘ＝Ｍ＋１として、エラー補完元の保持画像がｘ枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部４０３に出力する。

補完操作部４０３では、補完計画部４０２から入力した補完指示に従って、ｘ枚目の保持画像中の上記補完指示におけるエラー箇所情報が示す部分の画像情報を画像メモリ４０１から読み出し、Ｍ枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

以上のように、この実施の形態２によれば、エラー補完部１０２を図４に示すように構成することにより、デコード画像中のエラー箇所を、その前後のデコード画像のうち、より似た方で補完することができる。より似ているデコード画像から補完を行うため、シーンチェンジなどの画像の急激な変化の影響を受けなくなることが期待できる。

実施の形態３．
この実施の形態３は、上記実施の形態２と同様に、デコード画像中のエラー箇所をその前後のデコード画像のうち、より似た方でエラー補完するように構成したものである。なお、実施の形態３による動画像復号装置の全体構成は、上記実施の形態１で図１を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態３では、上記実施の形態２と同様に、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。

図５は、この発明の実施の形態３による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態３によるエラー補完部（エラー補完手段）１０２は、画像メモリ６０１、補完計画部６０２及び補完操作部６０３を備え、補完計画部６０２が、エラー検知部６０４、類似度算出部６０５、閾値メモリ６０６及び比較部６０７を備える。

エラー検知部６０４は、映像デコーダ１０１からエラー箇所情報を順次入力し、画像メモリ６０１に保持された保持画像を保持し、画像メモリ６０１の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該保持画像の時間的に前後の保持画像を画像メモリ６０１から取得する。

類似度算出部６０５は、エラー検知部６０４により取得されたエラーが存在する保持画像について時間的に前後に存在する保持画像間の類似度を算出する。閾値メモリ６０６には、類似度に関する所定の閾値が記憶される。

比較部６０７は、類似度算出部６０５で算出された類似度と閾値メモリ６０６から読み出した所定の閾値とを比較して、この比較結果から類似度が所定の閾値を超える場合に、時間的に前後にそれぞれ存在する保持画像がそれぞれ何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部６０３へ出力する。

補完操作部６０３は、補完計画部６０２から補完指示を入力し、当該補完指示に従う枚数目の各保持画像における上記エラー箇所情報が示す部分の画像情報を画像メモリ６０１から取得してこれらの中間画像を生成し、当該中間画像の画像情報をエラーが存在する保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

次に動作について説明する。
実施の形態３による映像デコーダ１０１では、再生対象となる動画像の映像ＥＳを入力すると、当該映像ＥＳをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部１０２へ出力する。

エラー補完部１０２において、画像メモリ６０１が、デコード画像を順次入力して、図５に示すように、時間的に新しい方からＮ枚分のデコード画像（時系列に並んだＮ枚のフレーム）を保持画像として保持する。また、補完計画部６０２のエラー検知部６０４は、映像デコーダ１０１からエラー箇所情報を順次入力して、画像メモリ６０１に保持されたＮ枚分の保持画像についてのエラー箇所情報を保持する。

エラー検知部６０４が、画像メモリ６０１におけるＭ（ＭはＭ≦Ｎなる所定の自然数）枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、Ｍ枚目の保持画像との間で時間的に前後にあるＭ−１枚目の保持画像及びＭ＋１枚目の保持画像を画像メモリ６０１から取得し、類似度算出部６０５へ出力する。

類似度算出部６０５は、エラー検知部６０４により取得されたＭ−１枚目の保持画像とＭ＋１枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲（エラー箇所で特定される部分自体は含まない）の類似度を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。

比較部６０７は、類似度算出部６０５で算出された類似度と閾値メモリ６０６から読み出した所定の閾値とを入力して比較を行い、類似度算出部６０５が算出した類似度が所定の閾値より高ければ、ｘ＝Ｍ−１、ｙ＝Ｍ＋１として、エラー補完元の保持画像がｘ枚目及びｙ枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部６０３に出力する。

補完操作部６０３では、補完計画部６０２から入力した補完指示に従って、ｘ枚目とｙ枚目の保持画像におけるエラー箇所情報が示す部分の画像情報を画像メモリ６０１からそれぞれ取得し、これらの中間画像を生成してＭ枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。なお、中間画像としては、２つの保持画像の輝度の平均値などを使用する。

以上のように、この実施の形態３によれば、エラー補完部１０２を図５に示すように構成することにより、デコード画像中のエラー箇所が、その前後のデコード画像双方と似ていると期待できる場合にのみ補完することが可能である。これにより、画像の変化が少ない場合にのみ補完を行うことができ、誤った補完を避けることが期待できる。

実施の形態４．
この実施の形態４は、エラー補完元となる直前若しくは直後の画像にエラーがあっても、上記実施の形態２と同様に、デコード画像中のエラー箇所をその前後のデコード画像のうち、より似た方でエラー補完するように構成したものである。なお、実施の形態４による動画像復号装置の全体構成は、上記実施の形態１で図１を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態４では、上記実施の形態２と同様に、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。

図６は、この発明の実施の形態４による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態４によるエラー補完部（エラー補完手段）１０２は、画像メモリ８０１、補完計画部８０２及び補完操作部８０３を備え、補完計画部８０２が、エラー検知部８０４、類似度算出部８０５ａ，８０５ｂ及び比較部８０６を備える。

エラー検知部８０４は、映像デコーダ１０１からエラー箇所情報を順次入力し、画像メモリ８０１に保持された保持画像を保持し、画像メモリ８０１の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該エラーを検出した保持画像（以下、補完対象保持画像と称す）の時間的に直前にある保持画像から、それ以前に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像を特定すると共に、上記補完対象保持画像の時間的に直後にある保持画像から、それ以後に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像を特定して、上記補完対象保持画像及び上記特定した各保持画像を画像メモリ８０１から取得する。

類似度算出部８０５ａは、エラー検知部８０４により取得された補完対象保持画像とこれの時間的に前に存在する保持画像から特定された保持画像との類似度を算出する。類似度算出部８０５ｂでは、エラー検知部８０４により取得された補完対象保持画像とこれの時間的に後に存在する保持画像から特定された保持画像との類似度を算出する。

比較部８０６は、類似度算出部８０５ａ，８０５ｂで算出された各類似度を比較して、この比較結果から時間的に前後にそれぞれ存在する保持画像のうち、補完対象保持画像により類似する方を特定して当該保持画像が何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部８０３へ出力する。

補完操作部８０３は、補完計画部８０２から補完指示を入力し、当該補完指示に従う枚数目の保持画像の上記エラー箇所情報が示す部分についての画像情報を画像メモリ８０１から読み出し、補完対象保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

次に動作について説明する。
実施の形態４による映像デコーダ１０１では、再生対象となる動画像の映像ＥＳを入力すると、当該映像ＥＳをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部１０２へ出力する。

エラー補完部１０２において、画像メモリ８０１が、デコード画像を順次入力して、図６に示すように、時間的に新しい方からＮ枚分のデコード画像（時系列に並んだＮ枚のフレーム）を保持画像として保持する。また、補完計画部８０２のエラー検知部８０４は、映像デコーダ１０１からエラー箇所情報を順次入力して、画像メモリ８０１に保持されたＮ枚分の保持画像についてのエラー箇所情報を保持する。

エラー検知部８０４が、画像メモリ８０１におけるＭ（ＭはＭ≦Ｎなる所定の自然数）枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、Ｍ−ｋ枚目保持画像をｋを１から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のｋの値をｉとして特定する。さらに、エラー検知部８０４は、Ｍ＋ｋ枚目保持画像をｋを１から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のｋの値をｊとして特定する。この後、エラー検知部８０４は、補完対象となるＭ枚目の保持画像、Ｍ−ｉ枚目の保持画像及びＭ＋ｊ枚目の保持画像を画像メモリ８０１から取得し、類似度算出部８０５ａ，８０５ｂへ出力する。

類似度算出部８０５ａは、エラー検知部８０４により取得されたＭ枚目の保持画像とＭ−ｉ枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲（エラー箇所で特定される部分自体は含まない）の類似度（第３の類似度）を算出する。また、類似度算出部８０５ｂは、エラー検知部８０４により取得されたＭ枚目の保持画像とＭ＋ｊ枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲（エラー箇所で特定される部分自体は含まない）の類似度（第４の類似度）を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。

比較部８０６は、類似度算出部８０５ａ，８０５ｂで算出された両類似度を入力して比較を行い、類似度算出部８０５ｂより類似度算出部８０５ａが算出した類似度が高ければｘ＝Ｍ−ｉとし、類似度算出部８０５ｂが算出した類似度が高ければｙ＝Ｍ＋ｊとして、エラー補完元の保持画像がＭ−ｉ枚目又はＭ＋ｊ枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部８０３に出力する。

補完操作部８０３では、補完計画部８０２から入力した補完指示に従って、Ｍ−ｉ枚目又はＭ＋ｊ枚目の保持画像におけるエラー箇所情報が示す部分の画像情報を画像メモリ８０１から取得し、Ｍ枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

以上のように、この実施の形態４によれば、エラー補完部１０２を図６に示すように構成することにより、エラー補完元となる直前若しくは直後の画像にエラーがあった場合にも、上記実施の形態２と同様の効果を得ることができる。

実施の形態５．
この実施の形態５は、エラー補完元となる直前若しくは直後の画像にエラーがあっても、上記実施の形態３と同様に、デコード画像中エラー箇所情報がその前後のデコード画像双方と似ていると期待できる場合にのみ補完することを可能としたものである。なお、実施の形態５による動画像復号装置の全体構成は、上記実施の形態１で図１を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態５では、上記実施の形態２と同様に、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。

図７は、この発明の実施の形態５による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態５によるエラー補完部（エラー補完手段）１０２は、画像メモリ９０１、補完計画部９０２及び補完操作部９０３を備え、補完計画部９０２が、エラー検知部９０４、類似度算出部９０５、閾値メモリ９０６及び比較部９０７を備える。

エラー検知部９０４は、映像デコーダ１０１からエラー箇所情報を順次入力し、画像メモリ９０１に保持された保持画像を保持し、画像メモリ９０１の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該エラーを検出した保持画像（以下、補完対象保持画像と称す）の時間的に直前にある保持画像から、それ以前に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定して最初にエラー箇所情報が存在しなくなった保持画像を特定すると共に、上記補完対象保持画像の時間的に直後にある保持画像から、それ以後に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定して最初にエラー箇所情報が存在しなくなった保持画像を特定し、特定した各保持画像を画像メモリ９０１から取得する。

類似度算出部９０５は、エラー検知部９０４により取得された各保持画像間の類似度を算出する。閾値メモリ９０６には、類似度に関する所定の閾値が記憶される。比較部９０７は、類似度算出部９０５で算出された類似度と閾値メモリ９０６から読み出した所定の閾値とを比較して、この比較結果から類似度が所定の閾値を超える場合に、時間的に前後にそれぞれ存在する保持画像がそれぞれ何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部９０３へ出力する。

補完操作部９０３は、補完計画部９０２から補完指示を入力し、当該補完指示に従う枚数目の各保持画像における上記エラー箇所情報が示す部分の画像情報を画像メモリ９０１から取得してこれらの中間画像を生成し、当該中間画像の画像情報を補完対象保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。

次に動作について説明する。
実施の形態５による映像デコーダ１０１では、再生対象となる動画像の映像ＥＳを入力すると、当該映像ＥＳをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部１０２へ出力する。

エラー補完部１０２において、画像メモリ９０１が、デコード画像を順次入力して、図７に示すように、時間的に新しい方からＮ枚分のデコード画像（時系列に並んだＮ枚のフレーム）を保持画像として保持する。また、補完計画部９０２のエラー検知部９０４は、映像デコーダ１０１からエラー箇所情報を順次入力して、画像メモリ９０１に保持されたＮ枚分の保持画像についてのエラー箇所情報を保持する。

エラー検知部９０４が、画像メモリ９０１におけるＭ（ＭはＭ≦Ｎなる所定の自然数）枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、Ｍ−ｋ枚目保持画像をｋを１から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のｋの値をｉとして特定する。さらに、エラー検知部９０４は、Ｍ＋ｋ枚目保持画像をｋを１から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のｋの値をｊとして特定する。この後、エラー検知部９０４は、Ｍ−ｉ枚目の保持画像及びＭ＋ｊ枚目の保持画像を画像メモリ９０１から取得し、類似度算出部９０５へ出力する。

類似度算出部９０５は、エラー検知部９０４により取得されたＭ−ｉ枚目の保持画像とＭ＋ｊ枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲（エラー箇所で特定される部分自体は含まない）の類似度を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。

比較部９０７は、類似度算出部９０５で算出された類似度と閾値メモリ９０６から読み出した所定の閾値とを入力して比較を行い、類似度算出部９０５が算出した類似度が所定の閾値より高ければ、ｘ＝Ｍ−ｉ、ｙ＝Ｍ＋ｊとして、エラー補完元の保持画像がｘ枚目及びｙ枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部９０３に出力する。

補完操作部９０３では、補完計画部９０２から入力した補完指示に従って、ｘ枚目とｙ枚目の保持画像におけるエラー箇所情報が示す部分の画像情報を画像メモリ９０１からそれぞれ取得し、これらの中間画像を生成してＭ枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。なお、中間画像としては、２つの保持画像の輝度の平均値などを使用する。

以上のように、この実施の形態５によれば、エラー補完部１０２を図７に示すように構成することにより、補完元となる直前若しくは直後の画像にエラーがあった場合にも、上記実施の形態３と同様の効果を得ることができる。

実施の形態６．
図８は、この発明の実施の形態６による動画像復号装置の構成を示すブロック図である。図８において、実施の形態６による動画像復号装置は、映像デコーダ１０１ａ、エラー補完部１０２ａ及びエラー追跡部１０３を備える。映像デコーダ（復号手段）１０１は、映像ＥＳをデコード（復号）して、デコード結果であるデコード画像、当該デコード画像の映像ＥＳ中での表現形式を示す画像タイプ、当該デコード画像の動きベクトル情報及び当該デコード画像のエラー箇所情報（エラーの発生した部分の座標）を順次出力する手段である。なお、デコード画像の動きベクトル情報とは、当該デコード画像の参照元デコード画像、参照元座標及びその移動量を含む情報である。

エラー補完部（エラー補完手段）１０２ａは、映像デコーダ１０１ａからデコード画像及び画像タイプを入力し、エラー追跡部１０３から追跡エラー箇所情報を入力して、上記実施の形態１〜５で示したエラー補完を実行して補完画像を順次出力する手段である。例えば、デコード画像、画像タイプ及び追跡エラー箇所情報を入力して、当該画像タイプと追跡エラー箇所情報とに従ってデコード画像の補完を行い、補完結果を補完画像として得る。

エラー追跡部（エラー追跡手段）１０３は、映像デコーダ１０１ａからデコード画像の動きベクトル情報及び検出されたエラー箇所情報を入力し、映像デコーダ１０１ａで順次デコードされたデコード画像における当該エラー箇所情報で特定されるエラーの波及範囲を追跡し、当該エラーが及んだデコード画像のエラー箇所情報を追跡エラー箇所情報として出力する手段である。

次に動作について説明する。
映像デコーダ１０１ａは、再生対象となる動画像の映像ＥＳを入力すると、当該映像ＥＳをデコードし、デコード結果のデコード画像及び当該デコード画像の映像ＥＳ中での表現形式を示す画像タイプをエラー補完部１０２ａへ出力し、当該デコード画像の動きベクトル情報及び当該デコード画像から検出したエラー箇所情報をエラー追跡部１０３へ出力する。

エラー追跡部１０３では、動きベクトル情報に含まれる参照元デコード画像のうち、映像デコーダ１０１ａから入力したエラー箇所情報で特定される部分の座標が、参照元座標と重なる場合、当該参照元デコード画像中のエラー箇所の座標を、動きベクトル情報に含まれる移動量だけ移動させ、移動先の座標（エラー箇所の参照先座標）をエラー箇所の座標として加えた追跡エラー箇所情報としてエラー補完部１０２ａへ出力する。

エラー補完部１０２ａは、エラー追跡部１０３から入力した追跡エラー箇所情報を、上記実施の形態１〜５で示したエラー箇所情報と同様に扱って、上記実施の形態１〜５で示したエラー補完を実行し、補完画像を順次出力する。

以上のように、この実施の形態６によれば、図８に示すエラー追跡部１０３を備えたので、エラー画像を参照することによって波及したエラーも追跡し、補完対象とすることができる。

１０１，１０１ａ 映像デコーダ（復号手段）、１０２，１０２ａ エラー補完部（エラー補完手段）、１０３ エラー追跡部（エラー追跡手段）、２０１，４０１，６０１，８０１，９０１ 画像メモリ、２０２，４０２，６０２，８０２，９０２ 補完計画部、２０３，４０３，６０３，８０３，９０３ 補完操作部、４０５ａ，４０５ｂ，６０５，８０５ａ，８０５ｂ，９０５ 類似度算出部、４０６，６０７，８０６，９０７ 比較部、６０６，９０６ 閾値メモリ。

Claims (3)

1. 入力された動画像情報を示す画像ストリームを復号して復号画像を得るとともに、前記動画像情報のエラーによる前記復号画像上のエラー箇所を検出し、当該エラー箇所を示すエラー箇所情報を生成する復号手段と、
   前記復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持し、前記エラー箇所情報によって前記保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択し、前記エラー補完先の保持画像のエラー箇所を前記エラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完するエラー補完手段とを備え、
   前記エラー補完手段は、
   前記復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持する画像メモリと、
   前記復号手段から入力したエラー箇所情報によって前記保持画像にエラー箇所の存在を検知すると、当該検知されたエラー補完先の保持画像に関して時系列の直前にある保持画像及び時系列の直後にある保持画像を前記画像メモリから取得して、当該時系列の直前にある保持画像と前記時系列の直後にある保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について類似度を算出し、所定の閾値との比較結果から当該類似度が前記閾値より高い場合、前記時系列の直前及び直後の保持画像の中間画像を生成してエラー補完元画像とする補完計画部と、
   前記エラー補完先の保持画像のエラー箇所を、前記補完計画部で得られたエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する補完操作部とを備えたことを特徴とする動画像復号装置。
2. 入力された動画像情報を示す画像ストリームを復号して復号画像を得るとともに、前記動画像情報のエラーによる前記復号画像上のエラー箇所を検出し、当該エラー箇所を示すエラー箇所情報を生成する復号手段と、
   前記復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持し、前記エラー箇所情報によって前記保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択し、前記エラー補完先の保持画像のエラー箇所を前記エラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完するエラー補完手段とを備え、
   前記エラー補完手段は、
   前記復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持する画像メモリと、
   前記復号手段から入力したエラー箇所情報によって、前記保持画像にエラー箇所の存在を検知すると、当該検知されたエラー補完先の保持画像に関して時系列の直前にある保持画像からそれ以前に存在する保持画像を順次参照して前記エラー箇所情報が示す位置にエラー箇所が存在するか否かを判定し、最初にエラー箇所が存在しなくなった保持画像を前記画像メモリから取得し、前記エラー補完先の保持画像に関して時系列の直後にある保持画像からそれ以後に存在する保持画像を順次参照して前記エラー箇所情報が示す位置にエラー箇所が存在するか否かを判定し、最初にエラー箇所が存在しなくなった保持画像を前記画像メモリから取得するとともに、前記時系列の直前からそれ以前にある保持画像のうちから取得された保持画像と前記時系列の直後からそれ以後にある保持画像のうちから取得された保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について類似度を算出し、所定の閾値との比較結果から当該類似度が前記閾値より高い場合、前記時系列の直前及び直後の保持画像の中間画像を生成してエラー補完元画像とする補完計画部と、
   前記エラー補完先の保持画像のエラー箇所を、前記補完計画部で得られたエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する補完操作部とを備えたことを特徴とする動画像復号装置。
3. 補完計画部は、２つの保持画像の各画素値の平均をとって中間画像を生成することを特徴とする請求項１または請求項２記載の動画像復号装置。

Images