JP3576402B2 - 画像復号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、各種の画像圧縮・伸長方式において、符号化ビットストリーム中に発生するビット誤りの影響を受けたエラー部分画像領域を検出する画像復号化装置に関するものである。
【０００２】
【従来の技術】
画像信号を効率的に符号化する方法として、例えば、ＩＳＯ／ＩＥＣ ＪＴＣ１１／ＳＣ２９／ＷＧ１１にて標準化作業が進められているＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ−４）で採用されているように、ブロック毎に、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行い、量子化後に、得られた量子化変換係数を可変長符号化する方法が用いられている。
【０００３】
このように符号化されたビットストリームは、復号化側で、各ブロックデータ毎に、可変長復号化された後、逆量子化、逆ＤＣＴが施され、画像信号として復元される。このとき、例えば、このブロックデータ領域の可変長符号語でビット誤りが発生した場合、誤りが発生した可変長符号語が予め決められた可変長復号テーブルに定義されている値のときは、誤りが検出されることなく復号化されるため、誤った画像信号が復元される。
【０００４】
また、各ブロックデータは、可変長であるため、ブロックデータの区切りは、復号化するまで判別することができない。可変長符号語を誤って復号化した場合には、ブロックデータの区切りも誤って判別されることが多く、次ブロック以降のデータの復号化も誤ったものになる。この場合、誤りによる画質劣化は次ブロック以降に伝播する。
【０００５】
【発明が解決しようとする課題】
従来の画像復号化装置は以上のように構成されているので、例えば、ブロックデータ領域でビット誤りが発生した場合に、可変長復号テーブルに定義されていない値が現われるまで復号化を続行するため、誤りが発生した位置から、誤りが検出されるまでに誤って復号化された画像が著しく劣化すると共に、以降のフレームにおける画像の復号化の際に、その画像が予測画像として用いられるため、以降のフレームの復号画像も劣化してしまうという課題があった。
【０００６】
上記課題に関連する先行技術として、特開平７−１５４７８３号公報に示されたものがある。これは、符号化された所定サイズのブロックを復号化する際に、ブロックの周辺画素と隣接ブロックの周辺画素との変化量を求めて、所定の臨界値と比較することによりエラーを検出している。しかし、ブロックの周辺画素と隣接ブロックの周辺画素との変化量だけでは、エラーを確実に検出することが困難な場合があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、画像信号の持つ統計的性質により、誤りの発生したブロックを確実に検出し、誤りの発生による、画質の劣化や、誤りの伝播を最小限に抑える画像復号化装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る画像復号化装置は、入力画像信号を部分画像領域単位で圧縮符号化して生成された符号化ビットストリームを復号化するものにおいて、上記符号化ビットストリームを上記部分画像領域単位で復号化する部分画像領域データ復号化手段と、上記部分画像領域データ復号化手段によって復号化された復号部分画像領域とそれに隣接する部分画像領域の境界にまたがった隣接画素間における画素レベルの第１の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界に近い画素間における画素レベルの第２の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界より離れた画素間における画素レベルの第３の差分値とを求め、上記第２の差分値と上記第１の差分値との差分値である第４の差分値と、上記第３の差分値と上記第２の差分値との差分値である第５の差分値とを求め、上記第４の差分値と上記第５の差分値との差分値が所定のしきい値より大きい場合に、上記復号部分画像領域が上記符号化ビットストリームに発生したビット誤りの影響を受けたエラー部分画像領域であることを検出するエラー部分画像領域検出手段とを備えたものである。
【００１３】
この発明に係る画像復号化装置は、符号化ビットストリームより復号化された量子化ステップサイズに基づき、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を制御するしきい値制御手段を備えたものである。
【００１８】
この発明に係る画像復号化装置は、符号化ビットストリームを含むメディアパケット列に付加されている誤り検出符号に基づき、上記メディアパケット列を受信する際のビット誤り発生頻度を監視し、検出されたビット数をカウントしてビット誤りカウント値を求め、所定の単位時間間隔におけるビット誤りカウント値が所定のしきい値を超える場合に誤り検出起動指示フラグを出力する監視手段を備え、上記監視手段により出力された誤り検出起動指示フラグに基づきエラー部分画像領域検出手段を起動させるものである。
【００１９】
この発明に係る画像復号化装置は、監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を小さく設定し、上記ビット誤りカウント値が小さい場合に上記所定のしきい値を大きく設定するものである。
【００２０】
この発明に係る画像復号化装置は、監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の評価範囲である部分画像領域単位を小さく設定し、上記ビット誤りカウント値が小さい場合に上記部分画像領域単位を大きく設定するものである。
【００２１】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
この発明の実施の形態１は、符号化ビットストリームのブロックデータ領域に誤りが発生したときに、誤りが検出されずに復号化されたブロックを、ブロック境界付近の画像信号の連続性に基づいて検出するものである。
【００２２】
図１はＭＰＥＧ−４シンプルプロファイルの符号化ビットストリームにおけるテクスチャデータ領域の構造を示す図である。ＭＰＥＧ−４では、符号化対象となるオブジェクトのテクスチャデータを「マクロブロック」と呼ばれる１６×１６画素サイズの輝度成分と、８×８画素サイズの色差成分からなるブロック単位で符号化する。１６×１６画素サイズの輝度成分は、さらに８×８画素サイズのブロックに分割され、８×８画素サイズのブロック単位でＤＣＴ，量子化が行われる。ここでは、「マクロブロック」内における８×８画素サイズのブロックのことを、以下、特に「ブロック」と呼ぶ。
【００２３】
図１に示すように、テクスチャデータ領域は、複数のマクロブロックデータ領域からなり、各マクロブロックデータ領域は、マクロブロックの符号化タイプや動きベクトルの情報が含まれているマクロブロックデータヘッダ情報、４つの輝度ブロックデータ（Ｙ），及び２つの色差ブロックデータ（Ｃｂ／Ｃｒ）から構成されている。この実施の形態では、このマクロブロックデータ領域に誤りが発生したときに、エラーの発生したマクロブロックを早期に検出するものである。
【００２４】
図２は実施の形態１による画像復号化装置の構成を示すブロック図である。図２において、１は可変長復号化部であり、符号化ビットストリーム１０１を入力し、復号ブロックデータ１０２，動きベクトル１０３，付加情報１０４を出力する。２は動き補償部であり、動きベクトル１０３を入力し、メモリ３に記憶されている参照画像１０６を用いて予測画像１０７を出力する。４は切替部であり、付加情報１０４に基づき、予測画像１０７又は０信号を出力する。
【００２５】
また、図２において、５は逆量子化部であり、復号ブロックデータ１０２を入力し逆量子化を行う。６は逆ＤＣＴ部であり、逆量子化後のデータ１０８を入力して逆ＤＣＴ処理を行い、予測誤差信号１０９を出力する。７は加算部であり、予測誤差信号１０９に、切替部４からの予測画像１０７又は０信号を加算し、復号画像信号１１０を出力する。
【００２６】
さらに、図２において、８はエラーマクロブロック検出部（エラー部分画像領域検出手段）であり、復号画像信号１１０を入力し、誤りが発生しているかを判定して、エラーマクロブロック判定結果１１１を出力する。９は切替部であり、エラーマクロブロック判定結果１１１に基づき、復号画像信号１１０の出力先を切り替える。１０はエラーマクロブロック修正部であり、エラーの発生した復号画像信号１１０を修正し、修正画像信号１１２を出力する。１１は部分画像領域データ復号化手段であり、可変長復号化部１，動き補償部２，メモリ３，切替部４，逆量子化部５，逆ＤＣＴ部６，加算部７より構成されている。
【００２７】
次に動作について説明する。
可変長復号化部１は、符号化ビットストリーム１０１よりマクロブロックデータを取り出し可変長復号化を行う。動き補償部２は、復号化された動きベクトル１０３に基づいて、メモリ３内の参照画像１０６を参照して予測画像１０７を取り出す。逆量子化部５は復号化された復号ブロックデータ１０２を逆量子化し、逆ＤＣＴ部６は逆量子化後のデータ１０８を入力して逆ＤＣＴ処理を行い、予測誤差信号１０９を出力する。
【００２８】
切替部４は、可変長復号化部１により復号化された付加情報１０４に含まれるマクロブロックタイプが、イントラ符号化を示している場合には、０信号を選択して加算部７に出力し、イントラ符号化以外の符号化を示している場合には、動き補償部２にて取り出された予測画像１０７を選択して加算部７に出力する。加算部７は、逆ＤＣＴ部６からの予測誤差信号１０９に、切替部４からの０信号又は予測画像１０７を加算して、復号画像信号１１０を出力する。ここで、復号画像信号１１０は復号マクロブロックを意味し、４つの輝度ブロックと２つの色差ブロックから構成されている。
【００２９】
エラーマクロブロック検出部（エラー部分画像領域検出手段）８は、復号画像信号１１０を入力し、誤りが発生したマクロブロックの画像信号か否かの判定を行い、エラーマクロブロック判定結果１１１を出力する。
【００３０】
切替部９はエラーマクロブロック検出部８から出力されるエラーマクロブロック判定結果１１１に基づき、復号画像信号１１０の出力を切り替える。エラーマクロブロック判定結果１１１により、復号画像信号１１０がエラーマクロブロックであることを示している場合は、復号画像信号１１０をエラーマクロブロック修正部１０に出力する。一方、エラーマクロブロック判定結果１１１により、復号画像信号１１０がエラーマクロブロックではないことを示している場合は、復号画像信号１１０はそのまま出力されると共に、以降の復号化処理において、参照画像１０６として用いるため、メモリ３に格納される。
【００３１】
エラーマクロブロック修正部１０は、エラーマクロブロックに対して誤りを目立たなくする処理を行い、修正画像信号１１２を出力する。最も簡単な方法としては、メモリ３内の参照画像１０６から、誤りの発生したと判定されたマクロブロックと同位置にあるマクロブロックを取り出し、誤りが発生したマクロブロックと入れ替える等の方法がある。エラーマクロブロック修正部１０にて、修正された修正画像信号１１２は、復号画像として出力されると共に、以降の復号化処理において、参照画像１０６として用いるためにメモリ３に格納される。
【００３２】
図３は、この実施の形態１の特徴であるエラーマクロブロック検出部（エラー部分画像領域検出手段）８の内部構成を示すブロック図である。図３において、２１は水平方向差分算出部であり、復号画像信号１１０と水平方向のブロック信号１２１を入力して、水平方向に隣接するブロックの境界にまたがった隣接画素間における画素レベルの変化量と、水平方向に隣接するブロック内の画素間における画素レベルの変化量を求めて、水平方向画素間差分１２３として出力する。
【００３３】
また、図３において、２２は垂直方向差分算出部であり、復号画像信号１１０と垂直方向のブロック信号１２２を入力して、垂直方向に隣接するブロックの境界にまたがった隣接画素間における画素レベルの変化量と、垂直方向に隣接するブロック内の画素間における画素レベルの変化量を求めて、垂直方向画素間差分１２４として出力する。
【００３４】
さらに、図３において、２３は水平方向連続性判定部であり、水平方向画素間差分１２３を入力して、水平方向のブロックとの連続性を判定し水平方向連続性１２５を出力する。２４は垂直方向連続性判定部であり、垂直方向画素間差分１２４を入力して垂直方向のブロックとの連続性を判定し垂直方向連続性１２６を出力する。
【００３５】
さらに、図３において、２５はブロック連続性判定部であり、水平方向連続性１２５と垂直方向連続性１２６を入力して、隣接ブロックとの連続性を判定し、隣接ブロック連続性１２７を出力する。２６はエラーマクロブロック判定部であり、隣接ブロック連続性１２７を入力して、エラーマクロブロックかの判定を行い、エラーマクロブロック判定結果１１１を出力する。
【００３６】
次にエラーマクロブロック検出部８の動作について説明する。
図４はエラーマクロブロック検出部８の動作を示すフローチャートである。エラーマクロブロック検出部８は、画像信号の連続性に基づき、復号画像信号１１０が誤りの発生したマクロブロックの画像信号か否かの判定を行う。通常、画像信号は、近隣画素間と大きな相関を持っており、同一物体内では、画素値は連続的に変化する。しかし、誤りが発生したブロックの画像信号は、隣接するブロックの画像信号との連続性が保たれないことが多い。この実施の形態では、隣接ブロックとの連続性を利用し、誤りの発生したマクロブロックを検出する。
【００３７】
図５は水平方向差分算出部２１及び垂直方向差分算出部２２の処理を説明する図である。図４のステップＳＴ１において、水平方向差分算出部２１は、図５の判定対象ブロック（ｍ，ｎ）からの復号画像信号１１０と、図５の水平方向のブロック（ｍ，ｎ−１）からの水平方向のブロック信号１２１を入力して、復号画像信号１１０の色差ブロック、輝度ブロック各々に対して、図５のブロック（ｍ，ｎ−１）におけるブロック境界付近の画素３列（Ｐ _{ｍ，ｎ−１} （ｉ，５）乃至Ｐ _{ｍ，ｎ−１} （ｉ，７））と、判定対象ブロック（ｍ，ｎ）のブロック境界付近の画素１列（Ｐ_ｍ，ｎ （ｉ，０））について、それぞれ隣接画素間の変化量（差分値）を算出し、水平方向画素間差分１２３として出力する。
【００３８】
隣接画素間の変化量（差分値）は次の（１）式によって求められる。
ＤＰ _{ｍ，ｎ−１} （ｉ，ｊ＋１）＝Ｐ _{ｍ，ｎ−１} （ｉ，ｊ）−Ｐ _{ｍ，ｎ−１} （ｉ，ｊ＋１）
（ｉ＝０，１，…，７，ｊ＝５，６）
ＤＰ_ｍ，ｎ （ｉ，０）＝Ｐ _{ｍ，ｎ−１} （ｉ，７）−Ｐ_ｍ，ｎ （ｉ，０）
（ｉ＝０，１，…，７） （１）
【００３９】
ステップＳＴ２において、垂直方向差分算出部２２は、判定対象ブロック（ｍ，ｎ）からの復号画像信号１１０と、図５の垂直方向のブロック（ｍ−１，ｎ）からの垂直方向のブロック信号１２２を入力して、復号画像信号１１０の色差ブロック、輝度ブロック各々に対して、図５のブロック（ｍ−１，ｎ）におけるブロック境界付近の画素３行（Ｐ_{ｍ−１，ｎ} （５，ｊ）乃至Ｐ_{ｍ−１，ｎ} （７，ｊ））と、判定対象ブロック（ｍ，ｎ）のブロック境界付近の画素１行（Ｐ_ｍ，ｎ （０，ｊ））について、それぞれ隣接画素間の差分値を算出し、垂直方向画素間差分１２４として出力する。
【００４０】
図４のステップＳＴ３において、水平方向連続性判定部２３は、水平方向差分算出部２１で算出されたブロック境界付近の画素の変化量（差分値）、すなわち上記（１）式で示される水平方向画素間差分１２３に基づき、復号化されたブロック（ｍ，ｎ）が、左隣のブロック（ｍ，ｎ−１）と相関があるか否かを判定して、水平方向連続性１２５を出力する。左隣のブロックと相関がない場合には、左隣のブロックとの境界付近の画素は不連続になる。
【００４１】
ブロック境界の画素が不連続になる場合には、Ｐ _{ｍ，ｎ−１} （ｉ，５）乃至Ｐ _{ｍ，ｎ−１} （ｉ，７）の隣接する画素レベルの変化量（差分値）に比べて、Ｐ _{ｍ，ｎ−１} （ｉ，７）からＰ_ｍ，ｎ （ｉ，０）への画素レベルの変化量（差分値）が大きくなる。そこで、この２種類の画素レベルの変化量（差分値）に基づいて不連続性を判定する。まず、次の（２）式によって、Ｐ _{ｍ，ｎ−１} （ｉ，５）とＰ _{ｍ，ｎ−１} （ｉ，６）の隣接画素間の変化量（差分値）ＤＰ _{ｍ，ｎ−１} （ｉ，６）と、Ｐ _{ｍ，ｎ−１} （ｉ，６）とＰ _{ｍ，ｎ−１} （ｉ，７）の隣接画素間の変化量（差分値）ＤＰ _{ｍ，ｎ−１} （ｉ，７）との変化量（差分値）ΔＰ _{ｍ，ｎ−１} （ｉ，７）を求める。
ΔＰ _{ｍ，ｎ−１} （ｉ，７）＝ＤＰ _{ｍ，ｎ−１} （ｉ，６）−ＤＰ _{ｍ，ｎ−１} （ｉ，７）
（ｉ＝０，１，…，７） （２）
【００４２】
同様に、次の（３）式によって、Ｐ _{ｍ，ｎ−１} （ｉ，６）とＰ _{ｍ，ｎ−１} （ｉ，７）の隣接画素間の変化量（差分値）ＤＰ _{ｍ，ｎ−１} （ｉ，７）と、Ｐ _{ｍ，ｎ−１} （ｉ，７）とＰ_ｍ，ｎ （ｉ，０）の隣接画素間の変化量（差分値）ＤＰ_ｍ，ｎ （ｉ，０）との変化量（差分値）ΔＰ_ｍ，ｎ （ｉ，０）を求める。
ΔＰ_ｍ，ｎ （ｉ，０）＝ＤＰ _{ｍ，ｎ−１} （ｉ，７）−ＤＰ_ｍ，ｎ （ｉ，０）
（ｉ＝０，１，…，７） （３）
【００４３】
次に、（２）式によって求められた変化量（差分値）ΔＰ _{ｍ，ｎ−１} （ｉ，７）と（３）式によって求められた変化量（差分値）ΔＰ_ｍ，ｎ （ｉ，０）との変化量（差分値）を、所定のしきい値ＴＨ１に基づき判定することにより不連続性を判定する。すなわち、予め決められた所定のしきい値ＴＨ１に対して、次の（４）式が成り立つとき、ｉ行目の画素は不連続であると判定する。
│ΔＰ_ｍ，ｎ （ｉ，０）│−│ΔＰ _{ｍ，ｎ−１} （ｉ，７）│＞ＴＨ１ （４）
ブロック境界のすべての画素について、不連続と判定された場合には、そのブロックは水平方向のブロックと不連続であるとする。
【００４４】
図４のステップＳＴ４において、垂直方向連続性判定部２４は、水平方向連続性判定部２３と同様に、垂直方向差分算出部２２で算出されたブロック境界付近の画素の変化量（差分値）、すなわち垂直方向画素間差分１２４をもとに、復号化されたブロックが上のブロックと相関があるか否かを判定して、垂直方向連続性１２６を出力する。
【００４５】
ステップＳＴ５において、ブロック連続性判定部２５は、水平方向連続性判定部２３の判定結果である水平方向連続性１２５に基づき、復号ブロックが左隣のブロックと連続であるか否かを判定する。判定した結果、復号ブロックが左隣のブロックと連続である場合には、ステップＳＴ８において、ブロック連続性判定部２５は、隣接するブロックと連続であると判定する。
【００４６】
上記ステップＳＴ５において、判定した結果、復号ブロックが左隣のブロックと連続でない場合には、ステップＳＴ６において、ブロック連続性判定部２５は、垂直方向連続性判定部２４の判定結果である垂直方向連続性１２６に基づき、復号ブロックが上のブロックと連続であるか否かを判定する。判定した結果、復号ブロックが上のブロックと連続である場合には、ステップＳＴ８において、ブロック連続性判定部２５は、隣接するブロックと連続であると判定する。
【００４７】
上記ステップＳＴ６において、判定した結果、復号ブロックが上のブロックと連続でない場合には、ステップＳＴ７において、ブロック連続性判定部２５は、隣接するブロックと不連続であると判定する。以上のように、水平方向、垂直方向ともに不連続である場合に、隣接するブロックと不連続であると判定する。
【００４８】
ステップＳＴ９において、全ての輝度ブロック、色差ブロックについて、隣接するブロックとの連続性の判定を終了したら、ブロック連続性判定部２５は判定結果である隣接ブロック連続性１２７を出力する。ステップＳＴ１０において、エラーマクロブロック判定部２６は、隣接ブロック連続性１２７に基づき、エラーマクロブロックか否かの判定を行う。
【００４９】
エラーマクロブロック判定部２６は、輝度ブロック、色差ブロックの各々の近傍ブロックとの連続性に基づいて、復号マクロブロックがエラーマクロブロックか否かを判定する。例えば、２つの色差ブロック又は４つの輝度ブロックのいずれか１つで、不連続性が検出された場合には、そのブロックを含むマクロブロックを誤りが発生したマクロブロックと判定する。また、２つの色差ブロック、４つの輝度ブロックの不連続判定の組合せにより判定することもできる。
【００５０】
なお、この実施の形態１では、隣接する水平方向のブロック（ｍ，ｎ−１）のブロック境界付近の画素３列（Ｐ _{ｍ，ｎ−１} （ｉ，５）乃至Ｐ _{ｍ，ｎ−１} （ｉ，７））と、判定対象ブロックのブロック境界付近の画素１列（Ｐ_ｍ，ｎ （ｉ，０））の隣接画素間の差分値を用いて、エラーブロック判定を行ったが、用いる画素列や画素列数については、特に限定するものではなく、より広範囲に画素間の変化量（差分値）を調べて、エラーブロックの判定に用いることも可能である。また、この実施の形態では、図５において、隣接する画素間の変化量（差分値）を用いたが、１画素おきの変化量（差分値）をとることも可能である。これらのことは、隣接する垂直方向のブロック（ｍ−１，ｎ）に対しても適用できる。
【００５１】
さらに、この実施の形態では、上記ステップＳＴ３において、水平方向連続性判定部２３が、上記（２）式で求めた変化量ΔＰ _{ｍ，ｎ−１} （ｉ，７）と上記（３）式で求めた量ΔＰ_ｍ，ｎ （ｉ，０）を使用して、上記（４）式により所定のしきい値ＴＨ１と比較して、水平方向の連続性を判定しているが、上記（２）式を使用せず、上記（３）式で求めた変化量ΔＰ_ｍ，ｎ （ｉ，０）と別の所定のしきい値ＴＨ１ａと比較して水平方向の連続性を判定しても良い。このことは、垂直方向連続性判定部２４についても適用できる。
【００５２】
以上のように、この実施の形態１によれば、隣接するブロックとの画像信号の連続性を利用して、誤りの発生したマクロブロックを検出することにより、誤りを早期に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができると共に、復号化対象のブロックと隣接するブロックの周辺画素との変化量だけでなく、隣接するブロック内の画素の変化量も考慮することにより、確実に誤りの発生したマクロブロックを検出することができるという効果が得られる。
【００５３】
実施の形態２．
この発明の実施の形態２における画像復号化装置の構成を示すブロック図は、実施の形態１における図２と同一である。この実施の形態は、実施の形態１で述べたエラーマクロブロック検出部８の水平方向連続性判定部２３，垂直方向連続性判定部２４におけるしきい値を、各マクロブロックの量子化ステップサイズに基づいて適応的に切り替えるものである。
【００５４】
実施の形態１で述べたようにブロック単位でＤＣＴ等の直交変換後、量子化を行う場合、ブロック歪みと呼ばれる直交変換符号化特有の雑音が生じる。このブロック歪みによっても、ブロック境界の画素間変化量（差分値）が大きくなることがある。そこで、この実施の形態２におけるエラーマクロブロック検出部８では、ブロック歪みの影響を考慮して、しきい値を適応的に制御するしきい値制御部を設ける。
【００５５】
図６は実施の形態２によるエラーマクロブロック検出部（エラー部分画像領域検出手段）８の内部構成を示すブロック図である。図において、２７はしきい値制御部であり、図２の可変長復号化部１により復号化された付加情報１０４に含まれるマクロブロックの量子化ステップサイズに基づいて、しきい値１２８を制御する。水平方向差分算出部２１，水平方向連続性判定部２３，垂直方向差分算出部２２，垂直方向連続性判定部２４，ブロック連続性判定部２５，エラーマクロブロック判定部２６の動作は実施の形態１と同様である。
【００５６】
次に動作について説明する。
図７はこの実施の形態２によるしきい値制御部２７の動作を示すフローチャートである。しきい値制御部２７は、付加情報１０４に含まれるマクロブロックの量子化ステップサイズに基づいて、しきい値１２８を制御する。ステップＳＴ１１において、しきい値制御部２７は付加情報１０４に含まれるマクロブロックの量子化ステップサイズが所定の値Ｑ１より大きいかを確認し、Ｑ１より大きい場合には、ブロック歪みによりブロック境界付近の画素間変化量（差分値）が大きくなることがあるので、ステップＳＴ１２において、しきい値制御部２７は、不連続判定性のしきい値もそれに応じて大きな値ＴＨａに設定する。
【００５７】
上記ステップＳＴ１１において、量子化ステップサイズが所定の値Ｑ１より小さい場合には、ステップＳＴ１３において、しきい値制御部２７は量子化ステップサイズが所定の値Ｑ２（Ｑ２＜Ｑ１）より大きいかを確認し、Ｑ２より大きい場合には、ステップＳＴ１４において、しきい値制御部２７は、不連続判定性のしきい値もそれに応じてＴＨａより小さな値ＴＨｂに設定する。
【００５８】
以下、同様にして、ステップＳＴ１５，ＳＴ１６，ＳＴ１７の処理を行い、量子化ステップサイズが所定の値Ｑ３（Ｑ３＜Ｑ２＜Ｑ１）より大きい場合には、しきい値をＴＨｃに設定し、小さい場合には、ブロック歪みの影響が少ないので、しきい値もそれに応じて小さい値ＴＨｄ（ＴＨｄ＜ＴＨｃ＜ＴＨｂ＜ＴＨａ）に設定する。
【００５９】
図７の処理では、量子化ステップサイズの範囲を４段階に区切って、それぞれの値に応じてしきい値を設定したが、４段階に限るものではなく、量子化特性に応じて適応的に設定することができる。
【００６０】
図６において、しきい値制御部２７により設定されたしきい値１２８は、水平方向連続性判定部２３，垂直方向連続性判定部２４に出力され、実施の形態１と同様に水平方向のブロック信号１２１，垂直方向のブロック信号１２２との連続性を判定する際のしきい値として用いられる。
【００６１】
以上のように、この実施の形態２によれば、隣接するブロックとの連続性を判定する際に用いるしきい値を、量子化ステップサイズにより制御することにより、ブロック歪みによるブロック境界における不連続性と誤りによるブロック境界における不連続性を区別することができ、ブロック歪みが生じたマクロブロックを、誤りの発生したマクロブロックとして誤判別することを避けることができるという効果が得られる。
【００６２】
実施の形態３．
この発明の実施の形態３における画像復号化装置の構成を示すブロック図は、実施の形態１における図２と同一である。実施の形態１では、ブロック境界付近の画素間差分信号によりブロック間の不連続性を判定し、エラーマクロブロックの検出を行ったが、この実施の形態では、ブロック毎に算出した画素レベルの代表値に基づいて、エラーマクロブロックを検出するものである。
【００６３】
図８は、この実施の形態の特徴であるエラーマクロブロック検出部（エラー部分画像領域検出手段）８の内部構成を示すブロック図である。図８において、３１はブロック内画素平均値算出部であり、復号画像信号１１０を入力し、ブロックごとの画素レベルの代表値としてブロック内画素平均値を求めて画素レベル平均値１３１として出力する。３２は画素平均差分算出部であり、画素レベル平均値１３１と図示されていない所定のメモリに記憶されている近傍ブロックの画素レベルの代表値である近傍ブロック画素レベル平均値１３２を入力して、差分をとり画素平均差分１３３を出力する。３３はエラーマクロブロック判定部であり、画素平均差分１３３を入力して、エラーマクロブロックかの判定を行い、エラーマクロブロック判定結果１１１を出力する。
【００６４】
次に動作について説明する。
図９は実施の形態３によるエラーマクロブロック検出部８の動作を示すフローチャートである。エラーマクロブロック検出部８は、復号画像信号１１０の色差ブロック、輝度ブロック各々について以下の処理を行う。ステップＳＴ２１において、ブロック内画素平均値算出部３１は、復号画像信号１１０を入力して、次の（５）式によりブロック内の画素レベルの平均値を算出する。
【００６５】
【数１】

【００６６】
ステップＳＴ２２において、画素平均差分算出部３２は、次の（６）式によって、ブロック内画素平均値算出部３１により算出された復号ブロックの画素レベルの平均値１３１（ＡｖｅＰ_ｍ，ｎ ）と、近傍のブロックにおける画素レベルの平均値１３２（ＡｖｅＰ_ｓ，ｔ ）との画素平均差分１３３（ΔＡｖｅＰ_{ｍ，ｎ，ｓ，ｔ} ）を算出する。
ΔＡｖｅＰ_{ｍ，ｎ，ｓ，ｔ} ＝ＡｖｅＰ_ｓ，ｔ −ＡｖｅＰ_ｍ，ｎ （６）
図１０は差分算出の対象となる近傍のブロックを示す図であり、例えば、図に示すように４つのブロックが考えられる。上記（６）式におけるｓ，ｔは、図１０における近傍のブロック（ｍ，ｎ−１），（ｍ−１，ｎ−１），（ｍ−１，ｎ），（ｍ−１，ｎ＋１）を示している。
【００６７】
エラーマクロブロック判定部３３は、ステップＳＴ２３以降の処理により、画素平均差分算出部３２にて算出された近傍ブロックとの画素平均差分１３３を用いて、エラーマクロブロックを判定し、エラーマクロブロック判定結果１１１を出力する。
【００６８】
エラーマクロブロックの判定方法としては、ステップＳＴ２３において、エラーマクロブロック判定部３３が、例えば次の（７）式によって、色差ブロック、輝度ブロック各々について、近傍のブロックとの画素平均の絶対差分を計算し、近傍ブロックとの画素平均の絶対差分をすべて加えた値Ｃ_ｍ，ｎ を求める。

【００６９】
次にステップＳＴ２４において、エラーマクロブロック判定部３３が、次の（８）式に基づいて、（７）式によって求められた値Ｃ_ｍ，ｎ を、所定のしきい値ＴＨ２と比較することによりエラーマクロブロックを判定する。すなわち、予め決められたしきい値ＴＨ２に対して、次の（８）式が成り立つとき、そのブロックをエラーブロックとする。
Ｃ_ｍ，ｎ ＞ＴＨ２ （８）
【００７０】
ステップＳＴ２５において、エラーマクロブロック判定部３３は、エラーブロックを含むマクロブロックをエラーマクロブロックと判定する。
【００７１】
上記ステップＳＴ２４において、上記（８）式を満足しない場合、ステップＳＴ２６において、全てのブロックのエラー判定を行ったか否かを調べ、全てのブロックについて、エラーブロックではないと判定された場合には、ステップＳＴ２７において、エラーマクロブロック判定部３３は、復号画像信号１１０を正常マクロブロックと判定する。
【００７２】
また、近傍のブロックとの画素平均の絶対差分の総和を求める際に、次の（９）式によって各絶対差分値に重みづけをして加えることもできる。

これにより、近傍のブロックとの相関が一様ではないときに、相関が強いと思われるブロックとの差分を優先的に扱うことができる。
【００７３】
この実施の形態では、ブロックの画素レベルの代表値として、画素レベルの平均値を使用しているが、画素レベルの分散を使用しても良い。
【００７４】
以上のようにこの実施の形態３によれば、復号画像ブロック毎に代表値を算出し、近傍ブロックの代表値と比較することにより、誤りの発生したマクロブロックを検出することができるため、誤りを早期に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができるという効果が得られる。
【００７５】
実施の形態４．
この発明の実施の形態４における画像復号化装置の構成を示すブロック図は、実施の形態１における図２と同一である。この実施の形態は、実施の形態３で述べたエラーマクロブロック検出部８のエラーマクロブロック判定部３３におけるしきい値を、各マクロブロックの量子化ステップサイズに基づいて適応的に制御するものである。
【００７６】
実施の形態１で述べたように、ブロック単位でＤＣＴなどの直交変換後、量子化を行う場合、量子化ステップサイズが大きいときには、画像信号の振幅が平滑化されて振幅が小さくなる。従って、ブロック毎の平均値は、量子化ステップサイズが大きいときには、小さくなる場合がある。そこで、この実施の形態におけるエラーマクロブロック検出部８では、量子化ステップサイズの影響を考慮し、しきい値を制御するしきい値制御部を設ける。
【００７７】
図１１は、この実施の形態４におけるエラーマクロブロック検出部（エラー部分画像領域検出手段）８の内部構成を示すブロック図である。図１１において、３４はしきい値制御部であり、図２の可変長復号化部１により復号化された付加情報１０４に含まれるマクロブロックの量子化ステップサイズに基づいて、しきい値１３４を設定する。ブロック内画素平均値算出部３１，画素平均差分算出部３２，エラーマクロブロック判定部３３の動作は実施の形態３と同様である。
【００７８】
次に動作について説明する。
しきい値制御部３４は、付加情報１０４に含まれるマクロブロックの量子化ステップサイズに基づいてしきい値１３４を制御する。例えば、量子化ステップサイズが大きい場合には、画像信号の振幅が小さくなるので、平均値が小さくなることがあるので、しきい値を小さい値に設定する。また、量子化ステップサイズが小さい場合には、画像信号の振幅が保たれ、平均値は小さくならないので、しきい値を大きい値に設定する。
【００７９】
しきい値制御部３４により設定されたしきい値１３４は、エラーマクロブロック判定部３３に出力され、実施の形態３と同様に、エラーマクロブロックを判定する際のしきい値として用いられる。
【００８０】
以上のように、この実施の形態４によれば、エラーマクロブロックを判定する際に用いるしきい値を、量子化ステップサイズにより制御することにより、誤りの発生したマクロブロックに対する誤判別を避けることができるという効果が得られる。
【００８１】
実施の形態５．
この発明の実施の形態５における画像復号化装置の構成を示すブロック図は、実施の形態１における図２と同一である。この実施の形態では、実施の形態１から実施の形態４で述べたエラーマクロブロック判定方法を組合せてエラーマクロブロックを判定するものである。
【００８２】
図１２は、この実施の形態５によるエラーマクロブロック検出部（エラー部分画像領域検出手段）８の内部構成を示すブロック図である。図１２において、４１はしきい値制御部であり、図２の可変長復号化部１により復号化された付加情報１０４に含まれるマクロブロックの量子化ステップサイズに基づいて、所定のしきい値１４１と所定のしきい値１４２を設定する。４２はエラーマクロブロック判定部であり、隣接ブロック連続性１２７と画素平均差分１３３に基づいて、エラーマクロブロックを判定する。
【００８３】
図１２において、水平方向差分算出部２１，水平方向連続性判定部２３，垂直方向差分算出部２２，垂直方向連続性判定部２４，ブロック連続性判定部２５，ブロック内画素平均値算出部３１，画素平均差分算出部３２は、実施の形態１及び実施の形態３と同様である。
【００８４】
次に動作について説明する。
しきい値制御部４１の動作は、実施の形態２及び実施の形態４と同様である。図１３は実施の形態５によるエラーマクロブロック判定部４２の動作を示すフローチャートである。エラーマクロブロック判定部４２は、色差ブロック、輝度ブロック毎の隣接ブロック連続性１２７と、画素平均差分１３３に基づいて、エラーマクロブロックを判定する。ステップＳＴ３１において、エラーマクロブロック判定部４２は、色差ブロックから輝度ブロックへ順番に隣接ブロック連続性１２７に基づき、隣接するブロックとの連続性を判定する。
【００８５】
ステップＳＴ３１における判定の結果、隣接するブロックと連続である場合には、ステップＳＴ３５において、エラーマクロブロック判定部４２は、全てのブロックについてエラー判定を行ったか否かを調べ、全てのブロックについて判定を行っていない場合には、ステップＳＴ３１に戻り、次のブロックについて隣接するブロックとの連続性を調べる。
【００８６】
一方、ステップＳＴ３１における判定の結果、隣接するブロックと不連続である場合には、ステップＳＴ３２において、エラーマクロブロック判定部４２は、実施の形態３で述べたように、画素平均差分１３３に基づいて、エラーブロックか否かの判定を行う。
【００８７】
ここで、ステップＳＴ３３において、エラーブロックと判定された場合には、ステップＳＴ３４において、エラーマクロブロック判定部４２は、そのブロックを含むマクロブロックをエラーマクロブロックと判定し、エラーマクロブロック判定結果１１１を図２に示す切替器９へ出力する。
【００８８】
上記ステップＳＴ３３において、エラーブロックと判定されない場合には、ステップＳＴ３５において、全てのブロックについて、上記の判定を行い、いずれのブロックに対してもエラーブロックと判定されなかった場合には、ステップＳＴ３６において、エラーマクロブロック判定部４２は、正常なマクロブロックと判定し、エラーマクロブロック判定結果１１１を切替器９へ出力する。
【００８９】
上記ステップＳＴ３６で、正常マクロブロックと判定されるのは、ステップＳＴ３１で隣接するブロックとの連続性がありと判定するか、又はステップＳＴ３３で、画素平均差分によりエラーブロックとして判定されない場合であるが、ステップＳＴ３１で隣接するブロックとの連続性がありと判定し、かつ上記ステップＳＴ３３で、画素平均差分によりエラーブロックとして判定されない場合に、上記ステップＳＴ３６で、正常マクロブロックと判定しても良い。
【００９０】
この実施の形態では、マクロブロックの量子化ステップサイズに基づいて、しきい値制御部４１が所定のしきい値１４１と所定のしきい値１４２を制御しているが、実施の形態１及び実施の形態３と同様に、量子化ステップサイズに基づいて、制御しなくても良い。
【００９１】
以上のように、この実施の形態５によれば、複数の判定方法に基づきエラーマクロブロックを判定するため、より確実に誤りの発生したマクロブロックを判定することができ、誤判別を避けることができるという効果が得られる。
【００９２】
また、判定処理を色差ブロックから輝度ブロックへ階層的に行い、あるブロックでエラーブロックと判定された場合に、そのブロックを含むマクロブロックをエラーマクロブロックと判定し、以降のブロックの判定処理を行わないため、判定処理にかかる計算量を削減することができるという効果が得られる。
【００９３】
実施の形態６．
実施の形態１から実施の形態５では、動画像におけるＭＰＥＧ−４の符号化方式による画像復号化装置について説明したが、静止画像に対しても適用できる。また、ブロック単位にＤＣＴ，量子化を行う符号化方式について説明したが、これに限ったものではなく、ＤＣＴ以外の直交変換を用いる場合等、ブロック単位で符号化を行う全ての方式に適用することが可能である。
【００９４】
さらに、８×８画素のブロック単位で近傍のブロックの連続性を調べたが、これに限ったものではなく、例えば、１６×１６画素のマクロブロック単位で、近傍のマクロブロックとの連続性を調べることもできる。
【００９５】
さらに、ブロック単位のみならず、任意形状の領域単位で符号化する場合にも、近傍の領域との連続性を同様に調べればよく、任意形状の領域単位で符号化を行う全ての方式に適用することが可能である。
【００９６】
実施の形態７．
この発明の実施の形態７における画像復号化装置の構成を示すブロック図は、実施の形態１における図２と同一である。実施の形態１から実施の形態６では、空間方向の画像信号の連続性を用いて、ビット誤りが発生したマクロブロックを検出したが、この実施の形態は、時間方向の画像信号の相関を用いて、ビット誤りが発生したマクロブロックを検出するものである。
【００９７】
画像を符号化する際に、動きが少ない場合には、フレーム間に相関があることを利用したフレーム間予測符号化が行われる。代表的な方式が動き補償予測で、ある決められた画像サイズのブロック単位で、予め決められた範囲に、差分信号が最も小さくなるブロックを過去のフレームから探索し、探索した結果のブロックと符号化対象ブロックとの位置のずれを動きベクトルとし、この動きベクトルと差分信号（予測誤差信号）を符号化して、符号化ビットストリームに多重化する。
【００９８】
過去のフレーム内に似通ったブロックが存在すれば、予測誤差信号の分散は小さくなるため、効率的に符号化することができる。これに対し、過去のフレーム内に似通ったブロックが存在しない場合には、予測誤差信号の分散が大きくなるため、フレーム内の情報のみで符号化（イントラ符号化）を行う。復号化装置側では、実施の形態１で述べたように、符号化ビットストリーム１０１より動きベクトル１０３と予測誤差信号１０９を復号化し、復号化した動きベクトル１０３に基づいて予測画像１０７を取り出し、復号化した予測誤差信号１０９と加算することにより、復号画像信号１１０を復元する。
【００９９】
この実施の形態では、符号化装置側で、予測誤差信号１０９の分散が大きくなる場合に、イントラ符号化が選択されていることを利用し、復号化装置側で復号化された予測誤差信号１０９の分散をしきい値処理することにより、ビット誤りが発生したマクロブロックを検出する。
【０１００】
図１４は実施の形態７によるエラーマクロブロック検出部（エラー部分画像領域検出手段）８の内部構成を示すブロック図である。図において、５１は予測誤差信号分散算出部であり、予測誤差信号１０９の分散を求めて予測誤差信号分散１５１を出力する。５２は復号画像信号分散算出部であり、復号画像信号１１０の分散を求めて復号画像信号分散１５２を出力する。５３はエラーマクロブロック判定部であり、予測誤差信号分散１５１及び復号画像信号分散１５２に基づき、エラーマクロブロックかの判定を行い、エラーマクロブロック判定結果１１１を出力する。
【０１０１】
次に動作について説明する。
図１５はエラーマクロブロック検出部８の動作を示すフローチャートである。この実施の形態におけるエラーマクロブロック検出部８は、インターマクロブロックについてのみ適用され、イントラマクロブロックの場合は適用されない。
【０１０２】
ステップＳＴ４１において、図２の可変長復号化部１により復号化された付加情報１０４により、インターマクロブロックかイントラマクロブロックかの判定が行われる。イントラマクロブロックの場合には、実施の形態１から実施の形態５のいずれかの手法を用いることができる。インターマクロブロックの場合には、以降の処理によりエラーマクロブロックを判定する。
【０１０３】
ステップＳＴ４２において、予測誤差信号分散算出部５１は、次の（１０）式により、復号化された予測誤差信号１０９の分散を求めて予測誤差信号分散１５１を出力する。ここで、σ^２ （Ｐ）は予測誤差信号分散、ｐ_ｉ，ｊ はＮ×Ｎ画素サイズの予測誤差ブロックのｉ行、ｊ列の画素値で、ｍ_ｐ はＮ×Ｎ画素サイズの画素値の平均を示す。
【０１０４】
【数２】

【０１０５】
ステップＳＴ４３において、復号画像信号分散算出部５２は、次の（１１）式により、復号画像信号１１０の分散を求めて復号画像信号分散１５２を出力する。ここで、σ² （Ｄ）は復号画像信号分散、ｄ_i,j はＮ×Ｎ画素サイズの復号ブロックのｉ行、ｊ列の画素値で、ｍ_d はＮ×Ｎ画素サイズの画素値の平均を示す。
【０１０６】
【数３】

【０１０７】
ステップＳＴ４４において、エラーマクロブロック判定部５３は、予測誤差信号分散算出部５１が求めた予測誤差信号分散１５１と、復号画像信号分散算出部５２が求めた復号画像信号分散１５２と、所定のしきい値ＴＨ３を用いて、次の（１２）式により比較を行う。
σ^２ （Ｐ）＞σ^２ （Ｄ）＋ＴＨ３ （１２）
【０１０８】
上記ステップＳＴ４４において、予測誤差信号分散σ^２ （Ｐ）が復号画像信号分散σ^２ （Ｄ）に所定のしきい値ＴＨ３を加えた値より大きい場合には、ステップＳ４５において、エラーマクロブロック判定部５３は、そのマクロブロックをエラーマクロブロックと判定する。
【０１０９】
上記ステップＳＴ４４において、予測誤差信号分散σ^２ （Ｐ）が復号画像信号分散σ^２ （Ｄ）に所定のしきい値ＴＨ３を加えた値より大きくない場合には、ステップＳＴ４６において、エラーマクロブロック判定部５３は、そのマクロブロックを正常マクロブロックと判定する。
【０１１０】
この実施の形態において、予測誤差信号分散σ^２ （Ｐ）と復号画像信号分散σ^２ （Ｄ）を、それぞれ予測誤差信号１０９及び復号画像信号１１０の代表値としているが、平均や二乗和を代表値としても良い。なお、この実施の形態で述べた手法と実施の形態１から実施の形態５で述べた手法を組み合わせてエラーマクロブロックの判定を行うこともできる。
【０１１１】
以上のように、この実施の形態７によれば、予測誤差信号分散１５１と復号画像信号分散１５２を比較することにより、時間方向の画像信号の相関性を利用してエラーマクロブロックの検出を行うことができ、誤りを早期に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができるという効果が得られる。
【０１１２】
実施の形態８．
この発明の実施の形態８は、伝送路又は記録媒体から符号化ビットストリームを受信して、画像の復号化及び表示を行う画像復号化装置で、ビット誤りの発生頻度を検知して、発生頻度が高いと判定された場合に、上記のエラーマクロブロック検出部を起動させることにより、エラーマクロブロック検出部の誤動作を少なくして、復号誤りによる画質劣化を安定して抑制するものである。
【０１１３】
上記のエラーマクロブロック検出部は、シンタックス解析の過程で復号化が不可能になった、又は不正なデータを復号化したような画像データにとって致命的な誤りを検出するより以前に、画像信号の定常的性質に基づいて誤りを推定して検出するため、誤検出の可能性がある。そこで、この実施の形態は、ビット誤りが頻繁に発生する受信状況の場合のみ、エラーマクロブロック検出部を起動させて、誤りに対する耐性を高めて、トータルで安定した復号化動作を行うものである。
【０１１４】
図１６は実施の形態８による画像復号化装置の構成を示すブロック図である。図において、６１は誤り監視部であり、メディアパケット列２０１を入力して、ビット誤りカウント値２０２を出力する。６２は誤り検出起動制御部であり、ビット誤りカウント値２０２を入力し、誤り検出起動指示フラグ２０３を出力することにより、エラーマクロブロック検出部８の起動を制御する。６３は切替部であり、誤り検出起動指示フラグ２０３により、加算部７からの復号画像信号１１０をエラーマクロブロック検出部８に入力させる。７１は監視部であり、誤り監視部６１と誤り検出起動制御部６２により構成されている。その他の構成は、実施の形態１における図２の構成と同等のものである。
【０１１５】
図１７はメディアパケット列２０１の構成を示す図である。メディアパケットとは、ビデオデータのほか、それと同期して復号化・提示されるオーディオデータや、テキスト・グラフィックス・静止画といった種々のメディアを所定のルールに従って統一されたフォーマットでパッキングするデジタルデータ単位と定義する。例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８−１）Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ（ＰＥＳ），ＩＴＵ−Ｔ Ｈ．２２３ ＡＬ−ＰＤＵ等が挙げられる。
【０１１６】
図１７において、パケットヘッダは、パケットの属性やメディアの種別等を記述する各種のヘッダ情報であり、メディアデータは、ビデオ、オーディオ、データ等の固有の符号化データであり、誤り検出符号は、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）等の誤り検出のための付加ビットである。図１７のような統一されたメディアパケットの形式で伝送され、そのうちの画像符号化データ（符号化ビットストリーム１０１）だけが、図１６における可変長復号化部１に供給される。
【０１１７】
次に動作について説明する。
部分画像領域データ復号化手段１１及びエラーマクロブロック検出部８以降の動作は、実施の形態１と同等である。誤り監視部６１は、メディアパケット列２０１を入力して、そこに含まれている誤り検出符号によって、ビット誤り発生頻度を監視し、検出されたビット数をカウントして、ビット誤りカウント値２０２を出力する。
【０１１８】
誤り検出起動制御部６２は、誤り監視部６１からの誤り検出結果であるビット誤りカウント値２０２を、所定の単位時間間隔でチェックし、所定の単位時間間隔におけるビット誤りカウント値２０２が、所定のしきい値を超える場合に、受信状況が劣悪（伝送路のビットエラーレートが大きい、記憶媒体からの読み出しが不安定等）であると判断して、誤り検出起動指示フラグ２０３を出力する。一方、所定の単位時間間隔におけるビット誤りカウント値２０２が、所定のしきい値を超えない場合には、受信状況が良好であると判断して、誤り検出起動指示フラグ２０３を出力しない。
【０１１９】
切替部６３は、誤り検出起動制御部６２からの誤り検出起動指示フラグ２０３を入力したときには、加算部７からの復号画像信号１１０をエラーマクロブロック検出部８に入力させ、エラーマクロブロック検出部８を起動させる。一方、切替部６３は、誤り検出起動制御部６２からの誤り検出起動指示フラグ２０３を入力しないときには、エラーマクロブロック検出部８を起動させず、加算部７からの復号画像信号１１０をそのまま出力する。
【０１２０】
エラーマクロブロック検出部８は、実施の形態１から実施の形態７までの種々の構成で誤りの発生したマクロブロックを検出し、エラーマクロブロック修正部１０は、損失した画像領域を修正処理する。
【０１２１】
図１８は誤り監視部６１の内部構成を示すブロック図である。ビット誤り検出部８１は、メディアパケット列２０１を入力して、パケット単位に付加されている誤り検出符号によって、パケット中のビット誤りを検出し、パケット単位のビット誤りカウント値２１１を出力する。ビット誤りカウンタ８２は、ビット誤り検出部８１からのパケット単位のビット誤りカウント値２１１をメディアパケット毎に累算し、累算したビット誤りカウント値２０２を誤り検出起動制御部６２に出力する。以上のようにして、誤り監視部６１は、ビット誤りカウント値２０２の推移を監視することにより、伝送路における伝送最中のビット誤り発生頻度や、記憶媒体からの読み出し最中のビット誤り発生頻度を監視する。
【０１２２】
誤り監視部６１の監視方法として、上記の誤り検出符号に基づく方法のほか、メディアパケット列を搬送する電波の受信電界強度や、電波の遅延検波後の位相情報を監視しても良い。また、オーディオ等他のメディアパケットにおけるビット誤りの状況を監視し、その監視結果も含めて考慮しても良い。
【０１２３】
誤り検出起動制御部６２における制御についても上記に示したオン、オフ制御だけでなく、種々の制御方法が考えられる。例えば、実施の形態２及び実施の形態４では、付加情報１０４に含まれるマクロブロックの量子化ステップサイズに基づいてしきい値を制御していたが、誤り監視部６１からのビット誤りカウント値２０２に基づいて、しきい値を制御しても良い。
【０１２４】
すなわち、ビット誤りカウント値２０２が大きい場合には、受信状況が劣悪で誤りが発生する確率が高いので、しきい値を小さく設定する。一方、ビット誤りカウント値２０２が小さい場合には、受信状況が安定し誤りが発生する確率が低いので、しきい値を大きく設定する。このように、誤り監視部６１の出力結果に応じてしきい値を設定することにより、エラーマクロブロック検出部８の処理を制御し、受信状況が良好なときに、エラーマクロブロック検出部８の誤検出を回避することができる。
【０１２５】
誤り検出起動制御部６２の別の制御方法として、連続性の評価範囲を変化させることもできる。実施の形態１では、輝度ブロック、色差ブロック毎に８×８画素サイズのブロック単位で連続性の判定を行い、少なくとも１つのブロックで不連続性の判定がなされた場合に、そのブロックを含むマクロブロックをエラーマクロブロックと判定していたが、誤り監視部６１の出力結果により、安定した受信状況であると判断された場合には、誤りが発生する確率が低いので、エラーマクロブロックの検出条件を厳しくするために、輝度ブロックの場合には、１６×１６画素のマクロブロック単位で不連続性を判定しても良い。また、判定の際に用いる画素間差分の評価対象画素を増やしても良い。
【０１２６】
以上のように、この実施の形態８によれば、伝送路の回線品質や記憶媒体からの読み出しの信頼性等に応じて、適応的にエラーマクロブロック検出部８を作動させることにより、受信状況が良好な場合には、エラーマクロブロック検出部８による誤検出を回避でき、トータルで安定した復号化動作を行わせることができるという効果が得られる。
【０１２７】
【発明の効果】
以上のように、この発明によれば、復号部分画像領域とそれに隣接する部分画像領域の境界にまたがった隣接画素間における画素レベルの第１の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界に近い画素間における画素レベルの第２の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界より離れた画素間における画素レベルの第３の差分値とを求め、上記第２の差分値と上記第１の差分値との差分値である第４の差分値と、上記第３の差分値と上記第２の差分値との差分値である第５の差分値とを求め、上記第４の差分値と上記第５の差分値との差分値が所定のしきい値より大きい場合に、エラー部分画像領域であることを検出することにより、誤りの発生を早期にしかも確実に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができるという効果がある。
【０１３０】
この発明によれば、量子化ステップサイズに基づき、エラー部分画像領域を検出する際のしきい値を制御することにより、誤りの発生したマクロブロックの誤判別を避けることができるという効果がある。
【０１３３】
この発明によれば、メディアパケット列を受信する際のビット誤り発生頻度を監視し、検出されたビット数をカウントしてビット誤りカウント値を求め、所定の単位時間間隔におけるビット誤りカウント値が所定のしきい値を超える場合に誤り検出起動指示フラグを出力する監視手段を備え、出力された誤り検出起動指示フラグに基づきエラー部分画像領域検出手段を起動させることにより、受信状況が良好な場合には、エラー部分画像領域検出手段による誤検出を回避でき、トータルで安定した復号化動作を行わせることができるという効果が得られる。
【図面の簡単な説明】
【図１】ＭＰＥＧ−４シンプルプロファイルの符号化ビットストリームのテクスチャデータ領域の構造を示す図である。
【図２】この発明の実施の形態１による画像復号化装置の構成を示すブロック図である。
【図３】この発明の実施の形態１によるエラーマクロブロック検出部の内部構成を示すブロック図である。
【図４】この発明の実施の形態１によるエラーマクロブロック検出部の動作を示すフローチャートである。
【図５】この発明の実施の形態１による水平方向差分算出部及び垂直方向差分算出部の処理を説明する図である。
【図６】この発明の実施の形態２によるエラーマクロブロック検出部の内部構成を示すブロック図である。
【図７】この発明の実施の形態２によるしきい値制御部の動作を示すフローチャートである。
【図８】この発明の実施の形態３によるエラーマクロブロック検出部の内部構成を示すブロック図である。
【図９】この発明の実施の形態３によるエラーマクロブロック検出部の動作を示すフローチャートである。
【図１０】この発明の実施の形態３による差分算出の対象となる近傍のブロックを示す図である。
【図１１】この発明の実施の形態４におけるエラーマクロブロック検出部の内部構成を示す図である。
【図１２】この発明の実施の形態５によるエラーマクロブロック検出部の内部構成を示す図である。
【図１３】この発明の実施の形態５によるエラーマクロブロック判定部の動作を示すフローチャートである。
【図１４】この発明の実施の形態７によるエラーマクロブロック検出部の内部構成を示す図である。
【図１５】この発明の実施の形態７によるエラーマクロブロック検出部の動作を示すフローチャートである。
【図１６】この発明の実施の形態８による画像復号化装置の構成を示すブロック図である。
【図１７】メディアパケット列の構成を示す図である。
【図１８】この発明の実施の形態８による誤り監視部の構成を示すブロック図である。
【符号の説明】
８ エラーマクロブロック検出部（エラー部分画像領域検出手段）、１１ 部分画像領域データ復号化手段、２７，３４，４１ しきい値制御部（しきい値制御手段）、７１ 監視手段。

Claims (5)

1. 入力画像信号を部分画像領域単位で圧縮符号化して生成された符号化ビットストリームを復号化する画像復号化装置において、
   上記符号化ビットストリームを上記部分画像領域単位で復号化する部分画像領域データ復号化手段と、
   上記部分画像領域データ復号化手段によって復号化された復号部分画像領域とそれに隣接する部分画像領域の境界にまたがった隣接画素間における画素レベルの第１の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界に近い画素間における画素レベルの第２の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界より離れた画素間における画素レベルの第３の差分値とを求め、上記第２の差分値と上記第１の差分値との差分値である第４の差分値と、上記第３の差分値と上記第２の差分値との差分値である第５の差分値とを求め、上記第４の差分値と上記第５の差分値との差分値が所定のしきい値より大きい場合に、上記復号部分画像領域が上記符号化ビットストリームに発生したビット誤りの影響を受けたエラー部分画像領域であることを検出するエラー部分画像領域検出手段と
   を備えたことを特徴とする画像復号化装置。
2. 符号化ビットストリームより復号化された量子化ステップサイズに基づき、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を制御するしきい値制御手段
   を備えたことを特徴とする請求項１記載の画像復号化装置。
3. 符号化ビットストリームを含むメディアパケット列に付加されている誤り検出符号に基づき、上記メディアパケット列を受信する際のビット誤り発生頻度を監視し、検出されたビット数をカウントしてビット誤りカウント値を求め、所定の単位時間間隔におけるビット誤りカウント値が所定のしきい値を超える場合に誤り検出起動指示フラグを出力する監視手段を備え、
   上記監視手段により出力された誤り検出起動指示フラグに基づきエラー部分画像領域検出手段を起動させる
   ことを特徴とする請求項１記載の画像復号化装置。
4. 監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を小さく設定し、上記ビット誤りカウント値が小さい場合に上記所定のしきい値を大きく設定する
   ことを特徴とする請求項３記載の画像復号化装置。
5. 監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の評価範囲である部分画像領域単位を小さく設定し、上記ビット誤りカウント値が小さい場合に上記部分画像領域単位を大きく設定する
   ことを特徴とする請求項３記載の画像復号化装置。

Images