JP3736291B2

JP3736291B2 - 画像信号復号化装置および方法

Info

Publication number: JP3736291B2
Application number: JP2000162002A
Authority: JP
Inventors: 賀津雄西郷
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-05-31
Filing date: 2000-05-31
Publication date: 2006-01-18
Anticipated expiration: 2020-05-31
Also published as: JP2001346208A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像圧縮符号化データを復号再生したとき現れる圧縮歪を低減する画像信号復号化装置および方法に関するものである。
【０００２】
【従来の技術】
現在、最も用いられている画像圧縮符号化はＤＣＴ（離散コサイン変換）を用いたブロック符号化である。これは、画像を複数の正方ブロック（例えば８画素ｘ８ライン）に分割し、このブロック内の信号強度を２次元の直交変換であるＤＣＴを用いて、６４個の基底ベクトルからなる空間周波数成分（ＤＣＴ係数）に変換表現し符号化したものである。
【０００３】
この８×８の基底ベクトルのパワー（スカラー係数）を示すＤＣＴ係数のマトリクスは、原点位置（０，０位置）に直流成分（ＤＣ）の係数、右上端（０，７位置）に水平方向の交流成分（ＡＣ）の最大周波数の係数、左下端（７，０位置）に垂直方向の交流成分（ＡＣ）の最大周波数の係数、そして右下端（７，７位置）に斜め方向の交流成分（ＡＣ）の最大周波数の係数を示す。また、中間位置には、それぞれの水平、垂直の座標位置に対応したＡＣの周波数成分の係数が、原点位置より、順次高い周波数成分が示されるようになっている。
【０００４】
画像を圧縮符号化するのにＤＣＴなど直交変換を用いる理由は、画像の空間的な相関の高さにある。一般的に、画像では空間的に近接する画素間の相関が高いため、直交変換すると少数の特定周波数成分（ＤＣＴ係数）にパワーが偏る。従って、これらの特定ＤＣＴ係数のみを符号化することで画像の冗長度（情報量）を削減できる。例えば、晴天の空のような平坦な画像ブロックではＤＣＴ係数は低周波数成分に集中し、この低周波数成分の係数のみを符号化すればよい。
【０００５】
しかしながら、輪郭、エッジあるいは矩形パターンなどを含む画像ブロックでは、ＤＣＴ係数が低域から高域の広い周波数成分にわたって分布し、多くのＤＣＴ係数を必要するため符号化効率が低下する。すなわち、ＤＣＴ係数の分布やそれらのパワーが、画像の符号化効率、すなわち伝送や記録に必要なデータ量の圧縮率に直接影響する。
【０００６】
とりわけ、限られた狭い帯域内で画像を伝送したり、限られた容量内に画像を記録するには、直交変換符号化による画像の冗長度（情報量）削減だけでは足りず、符号化効率をさらに高めるためＤＣＴ係数を粗く量子化する。ここで量子化とは、ＤＣＴ係数の値を所定のステップ・サイズ（量子化幅の値）で割り算し、ある範囲のＤＣＴ係数の値を少数の小さな整数値へ丸めることである。特に、画像において高域のＤＣＴ係数は切リ捨てても視覚的に差がわからないことから、高域のＤＣＴ係数に対する量子化ステップ・サイズは大きく設定し、粗く量子化する。
【０００７】
量子化によって少数の小さな整数値に丸められた量子化ＤＣＴ係数は、さらに可変長符号化によって発生確率の高い値に小さな符号化コードを割り当て、逆に発生確率の低い値には大きな符号化コードを割り当てることで情報量をさらに削減する。
【０００８】
符号化されたデータは復号側でデコードされ、量子化ＤＣＴ係数が復号される。復号された量子化ＤＣＴ係数は逆量子化によってＤＣＴ係数に復元される。このとき、逆量子化には量子化時のそれと同じ量子化テーブル（量子化ステップ・サイズのマトリクス）が、量子化ＤＣＴ係数に乗算される。このため、量子化ステップ・サイズが大きいほど量子化による丸めの誤差（量子化誤差）が大きくなり、元の画像を正しく復元できない。量子化/逆量子化によってＤＣＴ係数が元の画像のＤＣＴ係数と異なるほど画像はゆがみ、視覚的に顕著な圧縮歪（雑音、ノイズ）となって現れる。
【０００９】
量子化誤差の増大によって復号再生された画像に現れる視覚的な歪としては、次の２つの歪がよく知られている。一つは、画像がブロック(タイル)状に分割されて見えるブロック歪、もう一つは、画像のオブジェクトの周囲に霧状あるいはリンギング状の波形が現れて見える（動画では”蚊”が飛ぶように見える）モスキート歪である。
【００１０】
ブロック歪は、ブロック単位でＤＣＴ係数を量子化することに起因するもので、隣接するブロック間との連続性が失われ、ブロックの境界部分が不連続に見えてしまう歪である。例えば、原画像のＤＣＴ係数と比べ、極端な場合、量子化によってブロック内のＤＣＴ係数がＤＣ成分のみになってしまう。この場合、隣接ブロック間とのＤＣ係数の差が信号波形上では階段状の段差になってしまう。これがブロック境界で不連続性に見える。
【００１１】
また、モスキート歪は、画素間のレベル（電圧）差が大きな矩形パターンや文字など、広い周波数領域のＤＣＴ係数を有する画像のオブジェクトの周囲で発生しやすく、これらのＤＣＴ係数の一部が量子化によって符号化されなかったことから生じる。特に、高次のＤＣＴ係数が切り捨てられる（係数がゼロになる）ことによって、信号波形が変化しそれが周辺の平坦なブロック内領域にもれ、波形すなわち歪となって知覚される。
【００１２】
従来、このような、ＤＣＴを用いたブロック符号化によって発生した歪を低減する技術として、ブロック歪に対して低域通過型瀘波器（ローパスフィルタ）を用いたもの（特開平５−３０８６２３）がある。これは、固定のローパスフィルタを画像全体に一様にかけるのではなく、ブロック内ＤＣＴの水平および垂直方向の係数のうち、所定の閾値以上の係数の最高周波数成分をもとに水平および垂直方向のローパスフィルタの平滑化の程度を可変にする技術である。これによって、フィルタによる過度の画像ボケあるいは歪除去不足を防ぐことができるというものである。
【００１３】
また、特開平６−３１１４９９では、ブロック内ＤＣＴ係数の所定領域（水平および垂直方向の中域周波数成分）の絶対値和を求め、この値が大きいときには、歪のパワーも大であるとして、モスキート歪除去用フィルタの閾値を大きくし除去効果を高め、この値が小さいときにはフィルタの閾値を小さくする技術が公開されている。
【００１４】
これらに共通する構成は、図１０に示すように、符号化データ（ビデオストリーム）を再生する復号器側の構成において、逆量子化回路によって出力されたＤＣＴ係数に対して、判別回路と歪除去処理回路を設けたことである。このときの判別回路は、逆量子化回路によって出力されたＤＣＴ係数から歪の程度を推定し、歪除去処理回路でこの判定結果に基づき除去フィルタの程度を適応的にかえるというものである。
【００１５】
【発明が解決しようとする課題】
しかしながら、上記従来法では、ブロック歪とモスキート歪の両方を適応的に除去することができない。上記２つの従来法を組み合わせても、単なる組み合わせでは、ブロック歪用のローパスフィルタとモスキート歪用のフィルタが共にかけられ、画像に過度のボケが生じるという問題がある。
【００１６】
本発明は、この問題を解決するために、ブロック歪とモスキート歪をＤＣＴ係数の分布から判別し、またその歪の程度を推定することによって、これら２つの視覚的に異なる歪を適応的に低減することを可能とする画像復号化装置を提供するものである。
【００１７】
【課題を解決するための手段】
本発明の画像信号復号化装置は、ブロック毎の直交変換と量子化と可変長符号化を用いて圧縮された画像の符号化データを復号化する画像信号復号化装置であって、前記可変長符号化された符号化データから量子化情報と量子化直交変換係数からなる量子化データを復号化する可変長符号復号化手段と、前記可変長符号復号化手段で復号化された量子化データの量子化直交変換係数を逆量子化し直交変換係数を得る逆量子化手段と、前記逆量子化手段で得られた直交変換係数を逆直交変換する逆直交変換手段と、前記ブロック毎に前記逆量子化手段で得られた直交変換係数からブロックの歪を判別するための少なくとも２つの歪判別変数を抽出する歪判別変数抽出手段と、前記ブロック毎に前記歪判別変数抽出手段で抽出された歪判別変数を入力変数とした場合の所定の判別関数の出力値に基づき前記各ブロックの歪のタイプとその歪のレベルを判別分析する歪判別分析手段と、
前記逆直交変換手段の出力に対して、前記歪判別分析手段で判別分析された結果に基づき、前記ブロック毎に判別された歪のタイプとその歪のレベルに応じて異なる適応的歪除去処理を行う適応的歪除去手段とを具備することを特徴とする。
【００１８】
また、本発明の画像信号復号化方法は、ブロック毎の直交変換と量子化と可変長符号化を用いて圧縮された画像の符号化データを復号化する画像信号復号化方法であって、前記可変長符号化された符号化データから量子化情報と量子化直交変換係数からなる量子化データを復号化する可変長符号復号化ステップと、前記可変長符号復号化ステップで復号化された量子化データの量子化直交変換係数を逆量子化し直交変換係数を得る逆量子化ステップと、前記逆量子化ステップで得られた直交変換係数を逆直交変換する逆直交変換ステップと、前記ブロック毎に前記逆量子化ステップで得られた直交変換係数からブロックの歪を判別するための少なくとも２つの歪判別変数を抽出する歪判別変数抽出ステップと、前記ブロック毎に前記歪判別変数抽出ステップで抽出された歪判別変数を入力変数とした場合の所定の判別関数の出力値に基づき前記各ブロックの歪のタイプとその歪のレベルを判別分析する歪判別分析ステップと、前記逆直交変換ステップの出力に対して、前記歪判別分析ステップで判別分析された結果に基づき前記ブロック毎に判別された歪のタイプとその歪のレベルに応じて異なる適応的歪除去処理を行う適応的歪除去ステップとを具備することを特徴とする。
【００１９】
【発明の実施の形態】
（実施の形態１）
本発明の第１の実施形態における画像信号復号化装置について図１を参照しながら説明する。図１は第１の実施形態における画像信号復号化装置の一例を示す構成図である。
【００２０】
図１の構成図において、１１は可変長符号復号化回路、１２は逆量子化回路、１３は逆直交変換回路、１４Ａ、１４Ｂはそれぞれ、第１、第２の歪判別変数抽出回路、１５は歪判別分析回路、１６は歪除去回路、１７は出力装置である。これら構成の各部分の機能と動作について説明する。
【００２１】
先ず、可変長符号復号化回路１１は、伝送又は記録された圧縮画像の符号化データを受け、その符号化データをデコードする。ここでは、量子化情報および量子化ＤＣＴ係数が分離されて、逆量子化回路１２へ供給される。
【００２２】
逆量子化回路１２では、ブロック毎に復号化された８ｘ８の量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数に復元する。復元されたＤＣＴ係数は、逆直交変換回路１３と第１、第２の歪判別変数抽出回路１４Ａ，１４Ｂへ供給される。このとき、逆量子化によって得られるＤＣＴ係数は、通常、粗い量子化による丸めや切り捨てのため量子化誤差を含んだものである。
【００２３】
逆直交変換回路１３では、復号されたＤＣＴ係数を逆直交変換し画素空間データに変換する。この画素空間データは歪除去回路１６へ供給される。
【００２４】
第１、第２の歪判別変数抽出回路１４Ａ，１４Ｂでは、逆量子化回路１２によって復元されたＤＣＴ係数から、ブロック毎に、モスキート歪やブロック歪を判別する歪判別変数を抽出する。
【００２５】
第１の歪判別変数は、主にブロック歪の有無を判定するために用いるものであり、判別の対象とするブロック内におけるＡＣ係数のうち、ゼロであるものの個数を計数したものである。第２の歪判別変数は、主にモスキート歪の有無を判定するために用いるものであり同じブロック内のＡＣ係数の絶対値の和である。これらの歪判別変数は、次の歪判別分析回路１５へ供給される。
【００２６】
歪判別分析回路１５では、第１および第２の歪判別変数抽出回路１４Ａ，１４Ｂで抽出された前記歪判別変数をもとにブロック歪、モスキート歪を判別し歪の程度（以下、歪レベルと称する）を出力する。
【００２７】
前記で求められた第１、第２の歪判別変数、ブロック内ＡＣ係数のゼロの個数とＡＣ係数絶対値和の２つを変数とし、この２変数によって参照データのブロック歪、モスキート歪あるいは歪なしブロックの３つの分布を最適に（誤判別最小に）分ける判別関数式が判別分析回路１５に導入されている。
【００２８】
以下に判別関数式の導出法を説明する。
【００２９】
先ず、標準画像として異なる絵柄の異なる圧縮率の画像を複数用意し、それらを人が実際に観察し、図２のように、ブロック毎にブロック歪あるいはモスキート歪（これら以外は歪なし）が知覚されたかどうかの判定結果を原画像と比較しながら作成しておく。この作成された歪判定結果は以下の判別関数を導出するための参照データとする。歪の発生は画像の絵柄によって大きく変化する共に人間の視覚的特性が関係するため、最終的に人による歪判定データが現在もっとも確実な方法と言える。判別関数は、前記第１および第２の歪判別変数回路１４Ａ、１４Ｂで抽出された変数からなる関数式であって、人によって判定された前記参照データ内の歪ブロックの分布（ブロック歪、モスキート歪あるいは歪なしの３タイプのブロック分布）を、誤判別が最小になるように分ける関数である。
【００３０】
判別関数式の導出は判別分析法による。図３は、前記標準画像について、第１の変数Ｘ２，第２の変数Ｘ１をすべてのブロックについてプロットしたものでる。歪の性質が異なる３つのタイプのブロックに相当する二つの変数の分布が同図のようになったとき、これら３つの分布を判別する境界は、互いに隣接する２つの分布がそれらの中心からマハラノビス距離の二乗値Ｄ₁ ²、Ｄ₂ ²、Ｄ₃ ²
【００３１】
【数１】

【００３２】
において、Ｄ₁ ²とＤ₂ ²、Ｄ₁ ²とＤ₃ ²、Ｄ₂ ²とＤ₃ ²が等距離になる位置に相当する。同図に線分a、b、cでこの境界を示す。すなわち、判別境界はＤ₁ ²−Ｄ₂ ²＝０、Ｄ₁ ²-Ｄ₃ ²＝０、Ｄ₂ ²−Ｄ₃ ²＝０の式で表され、これが判別関数式となる。
【００３３】
これらの式の左辺の正負によってどちらかの分布に判別される。マハラノビス距離は分布の分散を考慮した距離を表す。すなわち、それぞれの分布を山とするとその勾配をも考慮した距離に相当する。
【００３４】
但し、前記３つのブロックのタイプを実際に判別するのに用いる関数式としては、Ｄ₁ ²、Ｄ₂ ²、Ｄ₃ ²を算出する３つの関数式があればよい。判別は、各ブロックについて前記歪判別変数の２つの変数を、Ｄ₁ ²、Ｄ₂ ²、Ｄ₃ ²を算出するそれぞれの関数式に代入し、結果として最も小さい値を出力したものがＤ₁ ²であれば歪なし、Ｄ₂ ²であればモスキート歪、Ｄ₃ ²であればブロック歪と判別される。すなわち、判定されたブロックは、これら３つのタイプの分布のいずれかの中心に最も近く、他の２つのタイプよりもその生起確率が高いことを意味する。
【００３５】
また、歪判別分析回路１５では、前記３つのマハラノビス距離の二乗値Ｄ₁ ²、、Ｄ₂ ²、Ｄ₃ ²を用いて歪の程度（レベル）を推定する。これは、各ブロックについて、３つのマハラノビス距離の二乗値（Ｄ₁ ²、、Ｄ₂ ²、Ｄ₃ ²）がそれぞれ算出されるが、このとき、モスキート歪では|Ｄ₂ ²−Ｄ₁ ²|、ブロック歪では|Ｄ₃ ²−Ｄ₁ ²|をその値とする。すなわち、歪ブロックＤ₂ ²、Ｄ₃ ²に対して、歪なしとの判別したときのＤ₁ ²の値(距離)との差の絶対値で表す。歪判別分析回路１５は、これらの値をそれぞれ第２の歪レベル、第１の歪レベルとして出力する。この値が大であればあるほど、そのブロックはモスキート歪あるいはブロック歪の分布の中心に近く、したがって歪ブロックとしての生起確率がより高く、歪もより大と見なせる。
【００３６】
但し、実際の判定では、図３で示されたように、歪なしと判定されたブロック（Ｄ₁ ²）についても、境界周辺（Ｄ₁ ²−Ｄ₂ ²＝０、Ｄ₁ ²-Ｄ₃ ²＝０の周辺）では確率的に歪ブロックとみなせるものを含む。このため、歪除去もれを防ぐには、判定された(最小の)歪なしのＤ₁ ²の次に小さな値を示したＤ₂ ²あるいはＤ₃ ²との差、すなわち|Ｄ₁ ²−Ｄ₂ ²|あるいは|Ｄ₁ ²−Ｄ₃ ²|を算出し、この差が所定の値まではそのブロックを歪ブロック（モスキート歪あるいはブロック歪）として扱う。
【００３７】
なお、この場合、差が大きくなるほど歪なしの確率が高くなることから、歪のレベル値は歪除去のレベルを弱くする値にする必要がある。例えば、前記差の所定の値を歪除去レベルゼロとし、Ｄ₁ ²＝Ｄ₂ ²、Ｄ₁ ²＝Ｄ₃ ²で所定のレベル値となるよう歪除去レベル値を次第に増大させる。
【００３８】
モスキート歪（Ｄ₂ ²）あるいはブロック歪（Ｄ₃ ²）間の誤判定については、実際の分析結果から確率的に低く無視できる範囲である。
【００３９】
前記のように、歪判別分析回路１５で判別されたブロックのタイプ（モスキート歪、ブロック歪あるいは歪なし）と歪除去のレベル値は、次の歪除去回路１６に供給される。
【００４０】
歪除去回路１６は、逆直交変換回路１３で逆直交変換された各ブロック内の実空間の各画像信号に対して、歪除去を行う。歪の除去は、歪判別分析回路１５でブロック毎に判定された歪のタイプ（モスキート歪、ブロック歪、歪なし）毎に歪除去処理を変える。またそのときの歪の除去レベルについては、同じく歪判別分析回路１５から出力されたレベルに基づいて可変にする。すなわち、歪判別分析回路１５から出力された第１の歪レベル、第２の歪レベルが大きければ大きいほど歪除去の程度(レベル)を強くする。逆に、この値が小さいほどそのブロックが確率的に歪か否か判定できない曖昧なブロックであることを示し、歪除去の程度(レベル)を弱くする。
【００４１】
第２の歪レベルが大きい場合、すなわちモスキート歪と判定されたブロックについては、例えば図４に示すような、ブロック内の各画素（対象画素）に対して、対象画素とその周辺画素との差分（輝度信号の差分）の絶対値を算出し、数２のように、この差分の絶対値が所定の値以下の周辺画素との差分を累積和し、この累積和に判別分析回路１５から出力されたレベル値に所定係数αを掛け、それを対象画素に加算してモスキート歪を除去する。
【００４２】
【数２】

【００４３】
すなわち、このモスキート除去処理では、所定の差分の絶対値より大きな画素、例えば、輝度変化の大きな輪郭やエッジ部分の画素は、歪除去の平滑化対象画素から外し、それ以外の周辺画素との閾値以下の差分（モスキート歪発生領域の画素濃淡値の変化）の平均で、歪を平滑化し除去する。このとき、その周辺画素との差分の累積和に判別分析回路１５から供給されたレベル値を考慮して値をかけることで平滑化の程度を可変することができる。
【００４４】
また、第１の歪レベルが大きい場合、すなわちブロック歪と判定されたブロックについては、例えば、図５に示すように、ブロック間の水平方向、垂直方向の境界画素についてそれぞれ３タップの平滑化フィルタ[１−β、２β、１−β]をかける。このとき、平滑化のフィルタの係数を判別分析回路１５から出力されたレベル値の大きさを考慮してβを可変にする。すなわち、判別分析回路１５から出力されたレベル値の大きほどβの値を小さくする。
【００４５】
なお、前記で述べたように歪なしと判定されたブロックのうち、歪ブロックとの境界周辺のブロックについては、モスキート歪あるいはブロック歪として歪除去処理の対象とされる。この対象から外れた歪なしブロックについては歪除去処理を行わないか非常に弱い除去フィルタをかける。以上、第１の実施形態の手順を図６にフローチャートとしてまとめる。
【００４６】
出力装置１７は、歪除去された符号化再生画像データをＤＡ変換して画像表示装置へ出力する装置である。
【００４７】
前記実施例では、第１および第２の歪判別変数抽出回路１４Ａ、１４Ｂで２つの係数、すなわち、ブロック内ＡＣ係数のゼロの個数とＡＣ係数絶対値和を歪判別分析回路１５での判別関数導出の２つの変数としたが、これ以外にも他の歪判別変数抽出回路を追加し、歪判別変数を増やせばさらに判別関数の精度を上げることができる。例えば、ブロック歪を判別する係数として隣接ブロック間のＤＣ係数や低域ＡＣ係数の差、あるいは、ＡＣ係数のゼロの個数を、ＤＣＴ係数の低域、中域、高域といった周波数領域毎に分けて変数としたり、ＤＣ係数にγ特性を考慮した値を変数とすることで非常に暗いあるいは非常に明るいブロックでの視覚的な歪のマスキング効果を考慮することもできる。
【００４８】
なお、歪判別変数として、可変長符号復号化回路１１でデコードされた量子化情報を得る構成を設けてもよい。このとき、例えば、量子化テーブル（量子化ステップ・サイズの値）の総和値を歪判別変数抽出回路１４で歪係数として抽出し、歪判別分析回路１５の判別関数の変数として用いることで、量子化テーブルの変化による圧縮率の変化を推定し歪ブロック判定の精度を上げることができる。
【００４９】
また、前記実施例では輝度信号を対象に述べたが、色差信号についても同様に扱うことができる。色差信号ではマクロブロック単位で処理し、色差信号に対する歪ブロックの参照データを作成し、色差信号の判別関数を導出することができる。
【００５０】
（実施の形態２）
本発明の第２の実施形態における画像信号復号化装置について図７を参照しながら説明する。図７は第２の実施形態における画像信号復号化装置の一例を示す構成図である。なお、同図において第１実施形態と同一の機能を有するブロックについては、同実施形態と同一の番号を付与しており、これらについては詳細な説明を省略する。
【００５１】
ここでは動画像として、特にＭＰＥＧ符号化データを復号する場合を説明する。動画像の場合の符号化・復号化についてその流れを先ず簡単に説明する。
【００５２】
ＭＰＥＧの符号化は、基本的に、動き補償予測＋ＤＣＴ方式からなっており、連続する画像フレームの画面を、Ｉピクチャ、Ｐピクチャ、Ｂピクチャから構成している。
【００５３】
Ｉピクチャは入力画像そのものを符号化した画面、Ｐピクチャは今から符号化しようとしている画像と、時間的に前に位置し既に符号化されたＩピクチャまたはＰピクチャの画像との差分をとった画面。Ｂピクチャは、時間的に前方、後方、若しくは前方と後方のＩピクチャまたはＰピクチャから作成された補間画像の画面である。
【００５４】
ＭＰＥＧ符号化では、動画像の時間方向の相関を用いた冗長度削減方法として動き補償予測を用いることができる。このとき、Ｐピクチャ、Ｂピクチャでは、符号化で先行するフレーム（Ｂピクチャでは実時間で未来のフレームも利用する）との間で、例えば、入力マクロブロック画像が最小差分となるような参照画像ブロックを探索し、その空間的なずれ（移動量）を動きベクトルとして求める。
【００５５】
各画面の符号化は、マクロブロック単位（例えば、輝度信号で１６画素ｘ１６ライン、色差信号で８画素ｘ８ラインの画像ブロック）に画面の左から右へ、また上から下へ順番に符号化される。このとき、各マクロブロックでは、符号化モード（予測モード）として動き補償予測モードかイントラ符号化モード（Ｉピクチャはすべてイントラ符号化モード）かが決定される。
【００５６】
動き補償予測モードの場合は、入力されたマクロブロック画像データと、参照画面（ＩピクチャまたはＰピクチャ）から予測によって得られたマクロブロック画像データとの差分をとり予測誤差信号が得られる。この予測誤差信号は、８画素ｘ８ラインのブロック単位でＤＣＴによって空間周波数成分に変換される。
【００５７】
動き補償予測を行わないイントラ符号化の場合は、入力画像データがそのままＤＣＴ符号化される。なお、Ｉピクチャ、Ｐピクチャについては、後の動き補償予測の参照画面として用いる必要があるため量子化された情報は逆量子化され、逆ＤＣＴおよび動き予測により局部復号化が行われる。
【００５８】
直交変換後の８ｘ８のＤＣＴ係数はターゲットビットや視覚特性に応じて量子化され、低周波数成分から順に走査して１次元情報に変換される。量子化ＤＣＴ係数および符号化モード、動きベクトルなどのマクロブロック符号化情報はそれぞれ可変長符号により符号化される。
【００５９】
一方、復号化器側では、図７に示すように、先ず、符号化データが可変長符号復号化回路１１でマクロブロック符号化情報が復号化され、符号化モード、動きベクトル、量子化情報および量子化ＤＣＴ係数が分離される。マクロブロック情報の予測モード、動きベクトルなどは動き補償予測回路２４、画像メモリ２５へ、量子化情報および量子化ＤＣＴ係数は逆量子化回路１２へ供給される。復号された８ｘ８の量子化ＤＣＴ係数は逆量子化回路１２でＤＣＴ係数に復元され、逆直交変換回路１３で画素空間データに変換される。
【００６０】
イントラ符号化モードの場合はそのまま出力されるが、動き補償予測モードの場合は、予測モードによって先に符号化された画像を格納した画像メモリ２５から予測に使用する画像（Ｉピクチャ、Ｐピクチャあるいは両方の平均）を得、動きベクトルや予測モードから動き補償予測回路２４で予測されたブロックデータが加算回路２３で加算されて出力される。
【００６１】
以上が通常の復号器側の構成であるが、本実施の形態では、さらに、歪判別変数抽出回路１４Ａ，１４Ｂ、歪判別分析回路１５、歪除去回路１６が付け加えられている。第１、第２の歪判別変数抽出回路１４Ａ、１４Ｂ、歪判別分析回路１５、歪除去回路１６は前記第１実施形態と基本的に同じようなはたらきであるが、信号の入出力が幾分異なる。
【００６２】
歪判別変数抽出回路１４Ａ，１４Ｂは、逆量子化回路１２から量子化ＤＣＴ係数を得、第１実施形態と同様に量子化ＤＣＴ係数から歪判別変数を抽出し、歪判別分析回路１５へ供給する。
【００６３】
歪判別分析回路１５では、予測モードを可変長符号復号化回路１１から得、マクロブロックの予測モードがイントラ符号化モードの場合のみ、第１実施形態と同様に歪判別変数抽出回路１４Ａ，１４Ｂから供給された歪判別変数を予め導出された所定の歪判別関数に代入し、ブロックの判別情報と歪除去のレベル値を歪除去回路１６へ供給する。また、マクロブロックの予測モードが動き補償予測モードの場合、そのブロックは歪なしとして判定され、その判定結果の信号を歪除去回路１６へ供給する。
【００６４】
歪除去回路１６では、ブロックが歪ありと判定された場合は第１実施形態と同様に判定した対応ブロックに対して歪除去処理を行い、歪なしと判定されたブロックは歪除去処理を行わない。歪除去回路１６の出力は、出力装置１７へ供給されると共に、可変長符号復号化回路１１からピクチャ符号化タイプ（Ｉ，Ｐ，Ｂピクチャ）の情報を得、動き補償予測の参照画面として用いられるＩピクチャとＰピクチャのときのみ画像メモリ２５へも供給される。
【００６５】
本実施例ではイントラ符号化モードのマクロブロック画像について歪除去されたＩピクチャＰピクチャを、動き補償予測の参照画面に使用することを特徴としている。Ｉピクチャはすべてイントラ符号化モードであるので、Ｉピクチャを参照画面とするＰピクチャおよびＢピクチャでは歪除去された参照画面のブロックをそのまま出力することができる。しかも、ＰピクチャおよびＢピクチャで大きく画像が変化しＩピクチャやＰピクチャから参照できないイントラ符号化モードのマクロブロックは、歪除去処理が行われるので歪除去もれを低減することができる。
【００６６】
なお、Ｐピクチャ、Ｂピクチャの動き補償予測モードのマクロブロックは、本来、画像にさほど変化がないため予測誤差信号による歪の伝播も少ないことから歪除去処理を行わない。また、これは、参照画面としてのＰピクチャが符号化時のＰピクチャと大きく異ならないようにするためでもある。
【００６７】
（実施の形態３）
本発明の第３の実施形態における画像信号復号化装置について図８を参照しながら説明する。同図は第３の実施形態における画像信号復号化装置の一例を示す構成図である。なお、前記第１実施形態および第２実施形態と同一の機能を有するブロックについては、前記の実施形態と同一の番号を付与している。これらについては詳細な説明を省略する。
【００６８】
ここでは第２実施形態と同じく動画像、特にＭＰＥＧ符号化データを復号する場合を説明する。第２実施形態と異なるのは、逆直交変換回路１３で画素空間データに変換されたものを再び直交変換回路２６でＤＣＴ係数に変換し、そのＤＣＴ係数をもとに第１、第２の判別変数抽出回路１４Ａ、１４Ｂ、歪判別分析回路１５で判別分析し、歪除去回路１６で歪除去処理しようとする点である。
【００６９】
第２実施形態では、逆量子化されたＤＣＴ係数をもとに歪判別分析し歪除去処理を行った。しかしながら、そのときの歪除去処理は、基本的にイントラ符号化モードのブロックのみに限られた。これは動き補償予測モードでは、ＤＣＴ係数は予測誤差（差分）のＤＣＴ係数のみからなりブロック内の周波数成分を完全に抽出することができず、以降の歪判別分析に用いる係数が不完全となるからである。但し、第２実施形態では、参照画面として歪除去処理したＩピクチャとＰピクチャを使用することで、ＰピクチャおよびＢピクチャの動き補償予測モードのブロックへ歪除去処理結果を波及させた。
【００７０】
本第３実施形態では、画素空間データに変換されたものを再びＤＣＴ変換することで、すべての符号化モードのブロックについてＤＣＴ係数を用いた歪判別分析を行い、歪除去処理を行うものである。但し、ここでは、第１実施形態と異なり歪判別分析回路１５において、可変長符号復号化回路１１からピクチャ符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の情報を得、そのピクチャに対応して判別分析回路の判別関数を変更する。
【００７１】
これは、すべてイントラ符号化されたＩピクチャのＤＣＴ係数とこのＩピクチャを参照画面として予測符号化したＰピクチャやＢピクチャのＤＣＴ係数とでは、同じような画素空間データでもＤＣＴ係数が異なるからである。このことは、有限なブロック空間でＤＣＴ変換することによるものである。
【００７２】
例えば、動き補償によってＩピクチャのブロック境界を含む画像がＰピクチャやＢピクチャのブロック内にシフトされた場合、その境界によってＤＣＴの基底ベクトル（周波数成分の波形）が不連続となる場合があり、その境界を含むブロック画像を再ＤＣＴすると周波数成分が変化しＤＣＴ係数もかわる。図９に、その一例を示す。ここでは、ほとんど平坦なＩピクチャの画像を水平２画素、垂直２ラインシフトしたときのシフト前とシフト後の所定ブロック位置における画素濃淡値とＤＣＴ係数を示す。シフト前とシフト後のブロック内画素濃淡値の変化に比べ、ＤＣＴ係数の相違が多く見られる。特に、シフト後では、不連続となったＬ字型の境界の周波数成分と思われる中域と高域の周波数成分に小さなＤＣＴ係数が出現している。
【００７３】
前記の理由から、判別分析回路１５の判別関数としてＩピクチャ用と、ＰピクチャおよびＢピクチャ用を用意しておく。なお、ＰピクチャおよびＢピクチャ用の判別関数を作成するための参照画像としては、例えば、Ｉピクチャをわずかにシフトさせた画像を参照画像として、この参照画像を人が評価観察して作成したものを用意すればよい。そのあとの判別関数の導出や歪除去処理のプロセスは第１実施形態と同様である。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、直交変換、可変長符号化によって画像符号化されたデータを復号、再生したときに現れる種類の異なる歪を、直交変換係数をもとに歪判別分析し、歪の種類とその歪の程度に応じて歪除去することができるため、前記画像符号化データを高画質の復号画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の構成を示す構成図
【図２】本発明の第１実施形態の参照データ作成を示す説明図
【図３】本発明の第１実施形態の判定するブロックの分布を説明する説明図
【図４】本発明の第１実施形態の歪除去に関する内容を示す説明図
【図５】本発明の第１実施形態の歪除去に関する内容を示す説明図
【図６】本発明の第１実施形態の歪判別除去方法のフローチャート
【図７】本発明の第２実施形態の構成を示す構成図
【図８】本発明の第３実施形態の構成を示す構成図
【図９】本発明の第３実施形態に関係するシフト圧縮画像のＤＣＴの変化を説明する説明図
【図１０】歪除去の従来例を示す構成図
【符号の説明】
１１可変長符号復号化回路
１２逆量子化回路
１３逆直交変換回路
１４Ａ第１歪判別変数抽出回路
１４Ｂ第２歪判別変数抽出回路
１５歪判別分析回路
１６歪除去回路
１７出力回路
２３加算器
２４動き補償予測回路
２５画像メモリ
２６直交変換回路

Claims

ブロック毎の直交変換と量子化と可変長符号化を用いて圧縮された画像の符号化データを復号化する画像信号復号化装置であって、
前記可変長符号化された符号化データから量子化情報と量子化直交変換係数からなる量子化データを復号化する可変長符号復号化手段と、
前記可変長符号復号化手段で復号化された量子化データの量子化直交変換係数を逆量子化し直交変換係数を得る逆量子化手段と、
前記逆量子化手段で得られた直交変換係数を逆直交変換する逆直交変換手段と、
前記ブロック毎に前記逆量子化手段で得られた直交変換係数からブロックの歪を判別するための少なくとも２つの歪判別変数を抽出する歪判別変数抽出手段と、
前記ブロック毎に前記歪判別変数抽出手段で抽出された歪判別変数を入力変数とした場合の所定の判別関数の出力値に基づき前記各ブロックの歪のタイプとその歪のレベルを判別分析する歪判別分析手段と、
前記逆直交変換手段の出力に対して、前記歪判別分析手段で判別分析された結果に基づき前記ブロック毎に判別された歪のタイプとその歪のレベルに応じて異なる適応的歪除去処理を行う適応的歪除去手段と、
を具備することを特徴とする画像信号復号化装置。
参照画面と動きベクトルによる動き補償予測を用いて圧縮された画像で、しかもブロック毎の直交変換と量子化と可変長符号化を用いて圧縮された画像の符号化データを復号化する画像信号復号化装置であって、
前記可変長符号化された符号化データから量子化情報と量子化直交変換係数からなる量子化データと、符号化モード、動きベクトルおよびピクチャ符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）からなる符号化情報を復号化する可変長符号復号化手段と、
前記可変長符号復号化手段で復号化された量子化データの量子化直交変換係数を逆量子化し直交変換係数を得る逆量子化手段と、
前記逆量子化手段で得られた直交変換係数を逆直交変換する逆直交変換手段と、
前記逆量子化手段で得られた逆量子化直交変換係数からブロックの歪を判別するための少なくとも２つの歪判別変数を抽出する歪判別変数抽出手段と、
前記可変長復号化手段で復号化された前記符号化情報から前記符号化モードがイントラ符号化モードのブロックについてのみ前記歪判別変数抽出手段で抽出された歪判別変数を入力変数とした場合の所定の判別関数の出力値に基づき各ブロックの歪のタイプとその歪のレベルを判別分析する歪判別分析手段と、
前記逆直交変換手段の出力に対して、前記歪判別分析手段で得られた前記イントラ符号化モードのブロックの判別分析の結果に基づき前記イントラ符号化モードのブロックのそれぞれについて判別された歪のタイプとその歪のレベルに応じて異なる適応的歪除去処理を行い、かつ、復号化された前記符号化情報のうちの前記ピクチャ符号化タイプがＩピクチャあるいはＰピクチャの場合は前記適応的歪除去処理した出力画像を新たな前記参照画面として使用する適応的歪除去手段と、
を具備することを特徴とする画像信号復号化装置。
参照画面と動きベクトルによる動き補償予測を用いて圧縮された画像で、しかもブロック毎の直交変換と量子化と可変長符号化を用いて圧縮された画像の符号化データを復号化する画像信号復号化装置であって、
前記可変長符号化された符号化データから量子化情報と量子化直交係数からなる量子化データと、符号化モード、動きベクトルおよびピクチャ符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）からなる符号化情報を復号化する可変長符号復号化手段と、
前記可変長符号復号化手段で復号化された量子化データの量子化直交変換係数を逆量子化し直交変換係数を得る逆量子化手段と、
前記逆量子化手段で得られた直交変換係数を逆直交変換する逆直交変換手段と、
前記逆直交変換手段で逆直交変換されたデータを前記ブロック毎に直交変換する直交変換手段と、
前記直交変換手段で得られた直交変換係数からブロックの歪を判別するための少なくとも２つの歪判別変数を抽出する歪判別変数抽出手段と、
前記可変長復号化手段で復号化された符号化情報のピクチャ符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）別に、前記ブロック毎に前記判別変数抽出手段で抽出された歪判別変数を入力変数とした場合の前記ピクチャ符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）別の所定の判別関数の出力値に基づき前記各ブロックの歪のタイプとその歪のレベルを判別分析する歪判別分析手段と、
前記逆直交変換手段の出力に対して、前記歪判別分析手段で判別分析された結果に基づき、前記ブロック毎に判別された歪のタイプとその歪のレベルに応じて異なる適応的歪除去処理を行う適応的歪除去手段と、
を具備することを特徴とする画像信号復号化装置。
前記歪判別変数抽出手段は、前記ブロック毎に前記逆量子化手段で得られた直交変換係数から少なくともブロック内ＡＣ係数のゼロの個数とブロック内ＡＣ係数の絶対値の和を歪判別変数として抽出することを特徴とする請求項１、請求項２および請求項３のいずれかに記載の画像信号復号化装置。
前記歪判別分析手段は、ブロックの歪のタイプとしてモスキート歪、ブロック歪および歪なしの３つの異なるタイプを判別することを特徴とする請求項１、請求項２および請求項３のいずれかに記載の画像信号復号化装置。
前記歪判別分析手段は、前記３つの異なる歪のタイプについてそれぞれ所定の判別関数を有しそれら判別関数の出力値の大小関係から歪のタイプおよび歪のレベルを判別分析することを特徴とする請求項５記載の画像信号復号化装置。
ブロック毎の直交変換と量子化と可変長符号化を用いて圧縮された画像の符号化データを復号化する画像信号復号化方法であって、
前記可変長符号化された符号化データから量子化情報と量子化直交変換係数からなる量子化データを復号化する可変長符号復号化ステップと、
前記可変長符号復号化ステップで復号化された量子化データの量子化直交変換係数を逆量子化し直交変換係数を得る逆量子化ステップと、
前記逆量子化ステップで得られた直交変換係数を逆直交変換する逆直交変換ステップと、
前記ブロック毎に前記逆量子化ステップで得られた直交変換係数からブロックの歪を判別するための少なくとも２つの歪判別変数を抽出する歪判別変数抽出ステップと、
前記ブロック毎に前記歪判別変数抽出ステップで抽出された歪判別変数を入力変数とした場合の所定の判別関数の出力値に基づき前記各ブロックの歪のタイプとその歪のレベルを判別分析する歪判別分析ステップと、
前記逆直交変換ステップの出力に対して、前記歪判別分析ステップで判別分析された結果に基づき前記ブロック毎に判別された歪のタイプとその歪のレベルに応じて異なる適応的歪除去処理を行う適応的歪除去ステップと、
を具備することを特徴とする画像信号復号化方法。