JPH10164578A - 画像符号化復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は符号化時の情報からノイズの発生状
況を予測し、その結果を元に後処理フィルタを適応的に
制御して良好な画質を得る。 【解決手段】符号化部においては２次元離散コサイン変
換器からの変換係数の量子化を行い、その結果は可変長
符号器によって符号化され伝送バッファに蓄積される、
このとき量子化ステップ決定回路は伝送バッファの蓄積
量から量子化ステップを決定し、発生符号量を制御す
る。復号化部では、受信したデータが可変長復号器で量
子化情報に復号され、逆量子化器によって更に変換係数
に戻される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像符号化復号化装
置における画質改善方式に係わり、とくに２次元の離散
コサイン変換を用いて画像を符号化した後、その得られ
た係数を量子化し、復号時においては逆量子化と逆2 次
元離散コサイン変換により画像を再構成するシステムに
おいて、再生画像のモスキートノイズを改善するための
画像符号化復号化装置に関する。

【０００２】

【従来の技術】画像符号化圧縮技術は低レートの伝送媒
体で動画像を送信するため、または限られた容量の記憶
媒体に動画像を記録するため、様々な手法を組み合わせ
て実現されている。それらの技術の中で画像を小領域の
ブロックに分割して、このブロック毎に2 次元離散コサ
イン変換( 以下DCT)を行い、周波数領域に変換してから
その結果を符号化する手法は、特定周波数領域に変換係
数が集中するので相関性が高くなり、高能率の画像圧縮
が可能となるため現在広く用いられている。例えばテレ
ビ会議の画像符号化技術を定めているITU-T H.261 勧告
では、図４に示すように1 画面の画像を8 ×8 画素のブ
ロックに分割し、各ブロックに対して2 次元DCT を行
う。そうすると非零のDCT 係数の分布は左上側の低周波
数成分に多く集中し、右下の高周波成分にはあまり現わ
れない。よってこのブロックの係数を左上から順にジグ
ザグ変換によって1 次元の数列に変換すると零係数の多
く続くようになり、これをランレングス可変長符号化す
ると効率的に符号化が出来る。(図５）また，この符号
化時にジグザグ変換を行う前にDCT 係数の量子化を行う
と、更に符号量が削減できる。しかしながらこの量子化
を行うと、高周波成分に多く現われる小さな係数は零に
丸められるので、元の画像には含まれていた情報が欠落
してしまうことがある。その結果、画像復号時に逆量子
化を行い、逆2 次元DCT によって画像を再構成するとあ
る空間周波数成分が欠落したことによって、モスキート
ノイズと言われるモヤモヤとしたノイズが生じることが
ある。このノイズは2 次元的に示すと図６の様に現われ
る。このモスキートノイズは多く現われると目障りであ
るため、再生画像の画質を悪化させる大きな要因とな
る。そこで、このノイズを目立たなくする処理が必要で
あるが、このためには次のような平均化のフィルタ処理
が有効である。つまり注目している画素の周りの画素と
の平均値を新たな画素値とすることにより平均化され、
細かいノイズが目立たなくなる。しかしこのとき、無条
件に平均化の処理を行うと画像が本来持っているエッジ
などの絵柄の部分までも平均化され、見ためにボケた画
像となってしまう。そこで，図３の様にしきい値θを設
け、平均値を計算する前に周りの画素と注目している画
素を比較し、その差がθ以上なら計算にはその画素の値
を含め内容にする。このフィルタはイプシロンフィルタ
と呼ばれシグマフィルタの一種であり、このフィルタを
用いれば画像に本来含まれるエッジ部がボケる事無くモ
スキートノイズの低減が可能となる。

【０００３】

【発明が解決しようとする課題】ここで重要となるのは
しきい値θの値であるが、θを小さくし過ぎるとほとん
どフィルタとして作用しないのでモスキートノイズを低
減させることが出来ない。しかし、逆にθが大きすぎる
と単なるローパスフィルタのような処理となるため、ノ
イズは低減できても本来画像に含まれる絵柄がボケてし
まう。よって良好な画質得るにはモスキートノイズを低
減するためには適切なθを選ぶ必要がある。ところで、
ISDN回線を用いたテレビ会議システムなどの様に発生符
号量を一定に保つ必要があるシステムでは、伝送バッフ
ァの蓄積量をDCT 係数の量子化の量子化ステップを変化
させることによって制御していることが多いが、この量
子化ステップはモスキートノイズの発生にも影響するの
で、このようなシステムではモスキートノイズの状況も
一定ではなくなってしまう。よって、従来の様に一定の
値にθを固定したフィルタでは常に良好な画質を保つこ
とが難しかった。

【０００４】

【課題を解決するための手段】本発明はこれらの課題を
解決するためのものであり、一画面の画像を小ブロック
に分割してその小ブロック毎に2 次元の離散コサイン変
換を行い、その変換係数を量子化して伝送し、復号化時
には量子化されたデータを逆量子化して変換係数を復元
し、得られた変換係数を逆２次元離散コサイン変換を行
って、元の画像を再構成する画像符号化復号化装置にお
いて、復号化時に符号化される時の量子化ステップを元
に符号化に伴うモスキートノイズの発生状況を予測し、
その予測結果にもとづいてモスキートノイズ低減のため
のフィルタのパラメータを決定し、その決定されたパラ
メータを元に画像のフィルタ処理が行われる画像符号化
復号化装置を提供する。また、このような構成によれ
ば、符号化側で発生符号量の制御等のために量子化ステ
ップを変化させることによって、モスキートノイズの発
生状況が一定でないような場合でも、復号側のフィルタ
のパラメータを適応的に調整することが出来るので、効
果的にフィルタ処理が行うことが可能となり、良好な画
質が得られる。

【０００５】

【発明の実施の形態】以下図面を用いて本発明の実施例
を説明する。図１は本発明をテレビ会議システムに用い
た場合の実施例の概略図である。図において(a) は画像
符号化部の構成を示しており、1 はフレームメモリ、２
はブロック分割手段、３は２次元離散コサイン変換器(2
D-DCT 器) 、４は量子化器、５は可変長符号器、６は伝
送バッファ、７は量子化ステップ決定回路である。一方
(b) は画像復号化部の構成を示しており、８は受信バッ
ファ、９は可変長復号器、１０は逆量子化器、１１は逆
２次元離散コサイン変換器、１２はラインメモリ、１３
はフレームメモリ、１４は量子化ステップ記憶メモリ、
１５はパラメータ決定手段、１６は後処理フィルタであ
る。次にこのシステムの動作について説明する。図３
（a)の画像符号化部では入力画像がフレームメモリ1 に
記憶され、このフレームメモリ1 内の画像はブロック分
割手段2 により任意の小ブロックに分割される。そして
このブロック毎に2D-DCT器3 により2 次元の離散コサイ
ン変換が行われる。そして変換されたDCT 係数は量子化
器4 により量子化され、量子化の結果得られる量子化イ
ンデックスとそのときに使われた量子化ステップを可変
長符号器５に伝える。可変長符号器５は与えられたデー
タを可変長符号化し、伝送バッファ6 に蓄積していく。
伝送バッファ6 に蓄積された符号化データは接続してい
る回線のレートに応じて回線へデータを順次送出する。
このとき、回線のレートよりも伝送バッファ6 に蓄積さ
れていくデータの発生量が多くなると、伝送バッファ6
が溢れてしまいデータを正しく伝送できなくなる。そこ
で、量子化ステップ決定回路7 は伝送バッファ6 の蓄積
量を常に監視し、蓄積量が多くなると量子化ステップを
大きくして発生符号量を減少させ、蓄積量が少なくなっ
た場合には量子化ステップを小さくして符号を多く発生
させる。一方、受信側は図４（ｂ）に示すように、まず
回線から送信されてきたデータを一旦，受信バッファ8
に蓄積する。蓄積されたデータは可変長復号器9 によっ
て量子化インデックスと量子化ステップに復号される。
逆量子化器10は得られた量子化インデックスと量子化ス
テップを元に逆量子化を行いDCT 係数を得る。そしてこ
の係数を元に逆2 次元離散コサイン変換器11は2 次元の
逆離散コサイン変換を行う。これにより画像のデータが
復元されるが、このデータは一旦ラインメモリ12に蓄積
され、ある程度の領域毎に後処理フィルタ16によりフィ
ルタ処理が施される。このときのフィルタはイプシロン
フィルタであり、例えば以下のような計算式で与えられ
る。

【０００６】 ここで、x ＿00はフィルタを作用させようとしているの
画素値であり、x'＿00は新たな出力値である。

【０００７】このフィルタは注目画素の周囲 5×4 を入
力として、処理対象の画素値の差分値の平均を加えて値
を新たな値とするものであるが、しきい値にθよりその
差分値が一定以上の場合には計算に含めないので、単純
なローパスフィルタとは異なり、画像の本来絵柄に含ま
れるエッジ部などは保存しつつ細かいノイズを目立たな
く出来る。ここでこの式中のθはしきい値であるが、こ
の値を適応的に制御するために符号化された時の量子化
の情報を用いる。そのためにまず可変長符号器9から出
力される各ブロックについて量子化された時の量子化ス
テップの値を量子化ステップ記憶メモリ13に記憶する。
そしてパラメータ決定手段１５はこの量子化ステップ記
憶メモリ13に記憶された情報を元に、しきい値θ値を決
定し、後処理フィルタ16はこのθを用いてフィルタ処理
を行う。ここでパラメータ決定手段15が符号化時の量子
化ステップからしきい値を決定する手順を述べる。この
フィルタで低減しようとしているモスキートノイズは符
号化時に２次元DCT した結果のDCT 係数を量子化したと
きに、比較的小さな値を取る高周波数成分の係数が零に
押さえられてしまうため、復号化したときその周波数成
分の情報が欠落し、本来の画像が再生できなくなるもの
である。よって、高周波数成分の小さな係数が欠落しや
すいような条件、つまり量子化ステップが大きいときに
モスキートノイズは多く発生し、逆に量子化ステップが
小さいとモスキートノイズは発生しにくい。よって量子
化ステップが大きいときには、フィルタのしきい値θを
大きく取って平均化処理の効果を高めモスキートノイズ
を低減し、量子化ステップが小さな時にはモスキートノ
イズの発生も少ないので、元の画像に含まれる絵柄を損
なわないようにθの値を小さくするような制御を行う。
この関係をグラフにすると例えば図２の様になる。この
グラフでは、量子化ステップが非常に小さいときはモス
キートノイズがほとんど発生しないので、しきい値を
零、つまりフィルタ処理をせず、また量子化ステップが
大きくなってモスキートノイズが多く発生していると予
想される場合でも、しきい値の値に上限を設けてエッジ
部等がボケてしまわない様にしている。

【０００８】

【発明の効果】本発明によれば、2 次元DCT の係数を量
子化するときの量子化ステップにからモスキートノイズ
の発生を推定して、モスキートノイズ低減のための後処
理フィルタのパラメータを動的に制御するので、モスキ
ートノイズの発生状況が変わってもそれに応じた適切な
フィルタ処理が可能となり、良好な画質を得ることが出
来る。

【図面の簡単な説明】

【図１】 本発明の実施例を示す略図

【図２】 フィルタのパラメータ決定手段の説明図

【図３】 イプシロンフィルタの説明図

【図４】 テレビ会議システムにおけるブロック分割の
例を示す略図

【図５】 2 次元離散コサイン変換とジグザグ変換によ
る符号方法の説明図

【図６】 モスキートノイズの発生例を示す略図

【符号の説明】

１ フレームメモリ ２ ブロック分割手段 ３ 2 次元離散コサイン変換(2D-DCT)器 ４ 量子化器 ５ 可変長符号器 ６ 伝送バッファ ７ 量子化ステップ決定回路 ８ 受信バッファ ９ 可変長復号器 １０ 逆量子化器 １１ 逆２次元離散コサイン変換( 逆2D-DCT) 器 １２ ラインメモリ １３ フレームメモリ １４ 量子化ステップ記憶メモリ １５ パラメータ決定手段 １６ 後処理フィルタ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 一画面の画像を小ブロックに分割してそ
   の小ブロック毎に2 次元の離散コサイン変換を行い、そ
   の変換係数を量子化して伝送し、復号化時には量子化さ
   れたデータを逆量子化して変換係数を復元し、得られた
   変換係数を逆２次元離散コサイン変換を行って、元の画
   像を再構成する画像符号化復号化装置において、復号化
   時に符号化される時の量子化ステップで求められた値に
   よって符号化に伴うモスキートノイズの発生状況を予測
   し、その予測結果にもとづいてモスキートノイズ低減の
   ためのフィルタのパラメータを決定し、その決定された
   パラメータにもとづいて画像のフィルタ処理が行われる
   ことを特徴とする画像符号化復号化装置。