JPH05227518A - 画像信号復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】高圧縮された画像に対して簡単な回路により、
適応的にブロック歪除去処理を行なうことのできる復号
化装置を提供することを目的とする。 【構成】可変長符号デコ−ド回路１１からの復号化出力
を逆量子化、逆直交変換することによって得られる出力
デ−タに対して歪除去処理を行なう歪除去回路１４と、
計数された各ブロックの符号量に基づいて、この歪除去
回路１４の歪除去の特性を変化させる歪除去特性決定回
路１６とを具備することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は高圧縮符号化された後、
伝送もしくは記録された画像を復号する復号化装置に適
用される。

【０００２】

【従来の技術】ＣＣＤに代表される固体撮像装置等によ
り撮像された画像信号をメモリカード、磁気ディスクあ
るいは磁気テープ等の記憶装置にディジタルデータとし
て記憶する場合、そのデータ量は膨大なものとなるた
め、限られた記憶容量の範囲で記録しようとするには、
得られた画像信号のデータに対し、何らかの高能率な圧
縮を行なうことが必要となる。

【０００３】高能率な画像データの圧縮方式としては、
直交変換符号化を利用した符号化方法が広く知られてお
り、この方式についての一例を図７を用いて以下に説明
する。

【０００４】まず入力画像データ（ｆ）を所定の大きさ
のブロックに分割して、（ｆｂ）を得、分割されたブロ
ック毎に直交変換として２次元のＤＣＴ（離散コサイン
変換）を行なって（Ｆ）に変換する。次に各周波数成分
に応じた線形量子化を行ない、この量子化された値（Ｆ
_Q ）に対し可変長符号化としてハフマン符号化を行な
い、その結果が圧縮データ（Ｃ）として伝送または記録
される。この時、前記線形量子化の量子化幅は、各周波
数成分に対する視覚特性を考慮にいれた相対的な量子化
特性を表す量子化マトリックスを用意し、この量子化マ
トリックスを定数倍することで量子化幅を決定してい
る。一方、圧縮データから画像データを再生するとき、
可変長符号（Ｃ）をデコード（復号）することで変換係
数の量子化値（Ｆ_Q ）が得られるが、この値から量子化
前の真値（Ｆ）を得ることは不可能で、逆量子化によっ
て得られる結果は、誤差を含んだ（Ｆ′）になる。この
誤差がいわゆる量子化誤差として再生画像（ｆ′）の画
質劣化の原因となっている。

【０００５】もう少し具体的に説明すると、まず、図３
（ａ）に示すように、１フレームの画像データを所定の
大きさのブロック（例えば、８×８の画素よりなるブロ
ックＡ，Ｂ，Ｃ…）に分割し、この分割されたブロック
毎に直交変換として２次元のＤＣＴを行ない、８×８の
マトリックス上に順次格納する。

【０００６】画像データは２次元平面で眺めてみると、
濃淡情報の分布に基づく周波数情報である空間周波数を
有している。従って、上記ＤＣＴを行なうことにより、
画像データは図３（ｂ）に示すように、直流成分ＤＣと
交流成分ＡＣに変換され、８×８のマトリックス上には
原点位置（０，０位置）に直流成分ＤＣの値を示すデー
タが、そして、０，７位置には横軸方向の交流成分ＡＣ
の最大周波数値を示すデータが、そして、７，０位置に
は縦軸方向の交流成分ＡＣの最大周波数値を示すデータ
が、さらに、７，７位置には斜方向の交流成分ＡＣの最
大周波数値を示すデータがそれぞれ格納され、中間位置
ではそれぞれの座標位置により関係付けられる方向にお
ける周波数データが、原点側より順次高い周波数のもの
が出現する形で格納されることになる。

【０００７】次に、このマトリックスにおける各座標位
置の格納データを、各周波数成分毎の量子化幅で割るこ
とにより、各周波数成分に応じた線形量子化を行ない、
この量子化された値に対し可変長符号化としてハフマン
符号化を行なう。この時、直流成分ＤＣに関しては近傍
ブロックの直流成分との差分値をハフマン符号化する。
交流成分ＡＣに関してはジグザグスキャンと呼ばれる低
い周波数成分から高い周波数成分へのスキャンを行な
い、無効（値が“０”）の成分の連続する個数（零のラ
ン数）と、それに続く有効な成分の値の２次元のハフマ
ン符号化を行ないデータとする。この方法において圧縮
率は前記量子化の量子化幅を変化させることによって制
御されるのが一般的で、圧縮率が高くなるほど、量子化
幅は大きくなり、従って量子化誤差が大きくなり再生画
像の画質劣化が目立つようになる。この変換係数の量子
化誤差は、再生画像においてブロック境界部分に不連続
が発生するいわゆるブロック歪みとして現われる傾向に
ある。このブロック歪みは視覚的に目立つために、たと
えＳ／Ｎが良好であっても主観的な印象は悪くなってし
まうので、復号器によって再生された画像に、歪み除去
処理として低域通過（ローパス）フィルターをかける方
法が考え出された。この後置フィルターは、比較的良好
に歪みを除去することができるが、画像中にエッヂ等が
含まれている場合にそれらがボケてしまい、逆にボケを
減らすためにローパスの度合いをゆるくするとブロック
歪みが完全に除去できなくなるといった不具合があっ
た。そこで、この不具合を解消するために変換係数をど
の程度伝送するかを決めて、その範囲内の係数を量子
化、符号化して伝送し、それと同時に伝送された範囲も
情報として多重化して伝送し、復号器側では、その情報
を利用して後置フィルターの度合いを局所的に変化させ
るようにした方法もある。

【０００８】

【発明が解決しようとする課題】しかし、上述の方法で
は、符号器側で変換係数の送られた範囲を示す信号を送
り、その信号に従ってフィルターの度合いを変化させる
ので、変換係数の送られた範囲を示す信号を伝送しなけ
ればならない分だけ情報に無駄があり、従って圧縮率を
あまり上げることができないといった不具合があった。

【０００９】本発明の画像信号復号化装置は、このよう
な課題に着目してなされたもので、その目的とするとこ
ろは、高圧縮された画像に対して簡単な回路により、適
応的にブロック歪み除去処理を行なうことのできる画像
データの復号化装置を提供することにある。

【００１０】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明の画像信号復号化装置は、画像データをブ
ロックに分割し、この分割されたブロック毎に直交変換
を行なってからこの変換出力を量子化手段により量子化
し、その後、この量子化出力を可変長符号化手段に与え
て可変長符号化して圧縮された画像データを復号化する
可変長符号デコード手段と、逆量子化手段と、逆直交変
換手段と、前記逆直交変換手段からの変換出力に対して
歪み除去処理を行なう歪み除去手段と、前記各ブロック
の符号量かまたは、各ブロックの変換係数の有意な係数
の個数、もしくは各ブロックの変換係数の有意な係数の
夫々のシーケンスによって予め定められている重みの和
の何れかに基づいて前記歪み除去手段の歪み除去特性を
変化させる歪み除去決定手段とを具備している。

【００１１】

【作用】すなわち、本発明においては、可変長符号デコ
−ド手段からの復号化出力を逆量子化、逆直交変換する
ことによって得られる出力デ−タに対して歪み除去処理
を行なう歪み除去回路の特性を、前記各ブロックの符号
量かまたは、各ブロックの変換係数の有意な係数の個
数、もしくは各ブロックの変換係数の有意な係数の夫々
のシーケンスによって予め定められている重みの和の何
れかに基づいて変化させるものである。

【００１２】

【実施例】まず、本発明の基本的概念を説明する。

【００１３】一般に、ブロック歪みの目立ちやすさは近
傍の画像の持つ空間周波数によって変化する。つまり、
細かな構造を有する高い空間周波数まで成分を持ってい
るような部分にブロック歪みが発生している場合にはあ
まりブロック歪みは目立たない。逆に、比較的に変化の
緩やかな低い空間周波数成分しか無い部分にブロック歪
みが発生している場合は、ブロック歪みが目立ちやすく
なる。

【００１４】一方、ブロック歪みはブロック境界での不
連続性によるもので、非常に高い空間周波数まで成分を
持っている。従って歪みの近傍の画像の持つ周波数より
も高い空間周波数成分を除いてやることによって、ブロ
ック歪みは目立たなくすることができる。そこで、ブロ
ック毎にどの程度まで周波数成分を含んでいたかを求
め、その値に基づいて歪み除去特性を適応的に変化させ
ることで、画像にボケなどを生じさせずにブロック歪み
を除去することができる。

【００１５】本発明が適用されるような符号化において
圧縮率を上げていくと量子化幅が大きくなっていき、係
数が０に量子化される確立が高くなる。特に高周波成分
は一般的にパワーが少ないのでほとんどが０に量子化さ
れ、有意な係数として残るものは少ない。従って零のラ
ン数とそれに続く有意な係数の値の２次元のハフマン符
号化等を用いた場合に高周波成分の少ないブロックの発
生符号量は少なくなり、高周波成分まで有意な係数があ
るようなブロックは発生符号量が多くなる傾向にある。
つまり、ブロック内の符号量が多い場合には周波数の高
い係数まで値を持っていたことがわかる。そこで、本発
明では、ブロック毎に周波数成分をどの程度まで含んで
いたかを求めるのに、ブロック毎の符号量や、変換係数
の零でないものの個数等を利用し、それに基づいて歪み
除去の特性を適応的に変化させている。この歪み除去特
性決定方法について以下に図６を用いて説明する。

【００１６】前述したように有意な係数の存在していた
帯域が、注目ブロックについて例えば、最高周波数（ｆ
max ）の半分の周波数成分までで構成されていることが
わかったとすると、（ｆmax ／2 ）までの帯域を持って
いたことになるのでこの帯域より高い成分をカットすれ
ば良い。つまり、図６の斜線部を通過域とする帯域カッ
トを行なえば良い。これを式であらわすと、 Ｈ＝Ｆ×Ｇ ……（１） となる。ここで、式（１）は周波数領域でのフィルタリ
ングを表わしていて、Ｆ，Ｇ、Ｈは夫々データ、フィル
タ、処理結果のフーリエ面での係数で、Ｇの成分は図６
のような帯域透過特性にすればよいことになる。ところ
が、空間周波数面でフィルタリングを行なう場合、フィ
ルタの特性を変化させながら処理を行なうことはできな
いので、画像をブロッキングしてから空間周波数面でフ
ィルタリングして逆変換後に合成しなければならず、そ
の時にブロッキングの影響を考慮しなければならないと
いった問題点も存在する。そこで、このフィルタリング
を実空間でのコンボリューションで実現して、畳み込ま
れる係数を変化させるようにした。

【００１７】 ｈ＝ｆ＊ｇ ……（２） 式（２）において、ｆ，ｇ，ｈは夫々Ｆ，Ｇ，Ｈの逆フ
ーリエ変換結果であって式（１）のフィルタリングを実
空間で処理した場合を表わしていて、式（２）のように
データｆとｇとのコンボリューションになる。このｇの
カーネルサイズは有限なので、図６のようなシャープな
カットオフ特性を得るのは無理であるが実用上は問題が
なく、フィルタ係数とカーネルサイズの決め方も任意で
あって、計算時間やカットオフ特性を考慮して決定され
る。以下、本発明の実施例を図面に基づいて説明する。

【００１８】図１は本発明の画像信号復号化装置の第１
の実施例のブロック構成図である。本実施例の画像信号
復号化装置では、先ず可変長符号デコード回路１１にて
伝送または記録された圧縮画像データを受けて、その圧
縮画像データの可変長符号をデコードする。このデコー
ド出力は、逆量子化回路１２にて逆量子化される。この
逆量子化された結果を逆直交変換回路１３に送り実空間
での画像信号を得る。この結果に対して歪み除去回路１
４で歪み除去処理を行なう。この実空間の画像信号への
歪み除去特性の決定の方法は、ブロック内符号量計数回
路１５にて可変長符号デコード回路１１に入力される符
号量をブロック毎に監視して各ブロックの符号量によっ
て歪み除去特性決定回路１６で歪み除去特性を決定して
いる。歪み除去特性決定回路１６では前記ブロック内符
号量の多いブロックでは広い周波数帯域を保存するよう
なローパスフィルタの特性とし、逆に符号量の少ないブ
ロックでは周波数帯域をあまり保存しないような特性の
歪み除去処理を行なうようにしている。

【００１９】今、逆直交変換回路１３に与えられる注目
ブロックの直交変換係数を図２（ａ）のような８画素×
８画素のＤＣＴ係数とし、斜線のハッチングを施して示
す４×４の部分の係数が零でない、いわゆる有意な係数
であったとする。同様にその隣のブロックのＤＣＴ係数
が図２（ｂ）のように３×３の部分の係数が零でなかっ
たとすると、ブロック内符号量計数回路１５が求められ
る符号量は、注目ブロックのほうがその隣のブロックに
比べて多くなる。このとき周波数帯域で比べるとやはり
注目ブロックの方が広いことがわかる。そこで、符号量
の多かった注目ブロックに対するフィルター特性は、水
平および垂直の両方向ともに高い周波数のみをカットす
るような特性にすればよいことになる。逆に隣のブロッ
クはもう少し低い周波数成分までカットするような特性
にすればよい。

【００２０】この時、ブロック内符号量計数回路１５は
圧縮符号データの中のブロック境界を検出し、その間に
含まれていた符号量を数えるので処理は非常に簡単で回
路規模も小さくすることができる。

【００２１】このようにすることによって、ブロック単
位で記録されていた情報の帯域をほとんど失わないよう
にフィルタリングすることができる。つまり、符号量の
少ないブロックは低い空間周波数成分しかないので、広
い範囲に渡って平均化するような強いローパスフィルタ
リングを行ない、逆に符号量の多いブロックは比較的高
い空間周波数成分まで含んでいるので、あまりぼかさな
いような弱いローパスフィルタリングを行なうことで、
ブロック内の構造がぼけない程度のローパスフィルタリ
ングを実現することができる。

【００２２】以下に、本発明の第２の実施例を述べる。
この実施例によれば、上記ブロックの周波数帯域を前記
有意係数の個数を用いて求めるものである。この方法
は、可変長符号デコード回路１１で復号された係数を有
意な係数であるかどうかを判定し、各ブロック内での有
意な係数の数を数える。この方法によれば、前述の方法
に比べて処理は複雑になるが、直接に変換係数の情報を
利用するので、ブロックに対する歪み除去特性はより好
ましいものを採択することができるようになる。ここ
で、有意な係数とは、量子化によって零にならなかった
係数でもよいし、変換係数の絶対値と予め定めておいた
閾値との比較を行なって判定したもの等でも構わない。

【００２３】以下に、本発明の第３の実施例を述べる。
この実施例によれば、前記した有意係数の夫々のシーケ
ンスによって予め定められている重みの和を用いて歪み
除去特性を決定している。この方法を図４を用いて説明
すると、可変長符号データ回路３１で復号された係数が
係数判定回路３５で零であるかどうかを判定し、重み加
算回路３６で零でなかった係数の周波数に応じた重みを
加算していき、その和によって歪み除去特性を決定して
いくものである。この方法によれば、図５（ａ）のよう
な重みを用いたとすると、重み加算回路３６では、８ビ
ットのレジスターを持たせておいてオーバーフローした
時点で加算を中止するように構成すると、レジスターの
値が０．９以下、１６９以下、それ以上のどれに属する
かによって４通りに分類することができる。この４通り
はそのままブロックの周波数帯域に相当しているのでそ
の結果によって歪み除去特性を決定することができ、前
述の実施例よりも正確にブロックの周波数帯域を求める
ことができる。

【００２４】また、重みを加算する場合に算術和でなく
て論理和を用いるようにすることも可能である。変換係
数の各シーケンスを図５（ｂ）に示すように２５の領域
に分割し、各領域の重みを縦方向の周波数に対応して上
位ビット、および横方向の周波数に対応して下位ビット
の夫々４ビットづつで表わすようにしている。例えば図
中、☆印の４，６位置に有意係数が有ったとすると、レ
ジスターの値と００１００１００との論理和が取られ
る。つまり、各ビットはそのビットが対応する周波数帯
域に有意なデータが有ったかどうかのフラグとして働く
ので、縦と横の両方向、別々に帯域を求めることができ
る。従って歪み除去特性も縦と横、別々なものを選択し
て、夫々最適な歪み除去処理ができる。これは、前述ま
での方法に比べてさらに処理は複雑になるが、ブロック
に対する歪み除去特性は、方向別に好ましいものを採択
することができるようになるので、縦もしくは横方向に
強いエッヂが存在する場合などに都合がよい。

【００２５】従って、この発明によれば、このように圧
縮データを復号して得た変換係数の有意データの持って
いる帯域を保存するようなコンボリューション・ローパ
スフィルタをブロック毎に適応的にかけることで、各ブ
ロック内の構造をボケさせずに歪みを除去することがで
きるようになる。また、復号化処理の途中結果である画
像データのみを用いて歪み除去特性を決定するので、符
号器側で歪み除去のための情報を付加する必要はなく、
画像中のエッヂの有無やブロック歪みを検出するような
処理も当然必要としないので、回路的に非常に簡単な構
成で実現できる上に、処理内容もブロック内の符号量や
有意係数をカウントするだけなので処理にかかる時間も
短くできる。

【００２６】本発明をカラー画像に応用した場合、輝度
信号と色差信号とで夫々別々に処理してもよいし、輝度
信号を先に処理して色差信号は輝度信号の歪み除去特性
の結果を利用して処理を決定するようにしてもよい。更
に、両方の信号で決定した歪み除去特性の好ましい方を
選択して両方の信号に同じ処理を施すようにしてもよ
い。

【００２７】また、フィルターのカーネルサイズは任意
であって、フィルタリングに先立ってフィルタ特性を決
めるためのデータや、各ブロックの再生データを全て求
めておいてそれをメモリに格納しておいてフィルタリン
グするようにしても良い。

【００２８】さらに、本発明は、前述した実施例で使用
したブロックサイズ、直交変換の種類、可変長符号化の
種類などに限定されるものではない。また、フィルタは
ブロック全体にかけるのではなくブロック境界近傍だけ
にかけるようにしても良いし、フィルタ以外でも歪み除
去効果のあるものであればどのようなものであっても構
わない。

【００２９】

【発明の効果】以上、詳述した構成の本発明は、伝送も
しくは記録された画像情報だけを用いて適応的にブロッ
ク歪みを除去することができ、しかも回路的には簡単な
構成なので、応用する装置のコストダウンと小型化が図
れ、静止画像のみならず、動画像の再生機能付きディジ
タル電子カメラ等にも利用できる。

【００３０】さらに、本発明によれば、符号化装置は従
来構成のままで良い。即ち標準的な圧縮方式に対しても
復号化装置への工夫のみで効果が上げられ、もちろん従
来通りの再生もでき、また、歪み除去の程度を自由に設
定することができる。

【図面の簡単な説明】

【図１】本発明の画像信号復号化装置の第１の実施例の
回路構成図。

【図２】図２（ａ）、（ｂ）はブロックの有意係数の存
在する領域を表す図。

【図３】図３（ａ）はブロッキングを説明するための図
であり、図３（ｂ）はＤＣＴ係数を説明するための図。

【図４】本発明の画像信号復号化装置の第３の実施例の
回路構成図。

【図５】図５（ａ）、（ｂ）は係数毎の重みを説明する
ための図。

【図６】理想的フィルタの特性を表す図。

【図７】従来の符号化・復号化装置の構成を示す図。

【符号の説明】

１１…可変長符号デコ−ド回路、１２…逆量子化回路、
１３…逆直交変換回路、１４…歪除去回路、１５…ブロ
ック内符号量計数回路、１６…歪除去特性決定回路。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像データをブロックに分割し、この分
   割されたブロック毎に直交変換を行なってからこの変換
   出力を量子化手段により量子化し、その後、この量子化
   出力を可変長符号化手段に与えて可変長符号化して圧縮
   された画像データを復号化する可変長符号デコード手段
   と、 前記可変長符号デコード手段からの復号化出力を逆量子
   化する逆量子化手段と、 前記逆量子化手段からの逆量子化出力を逆直交変換する
   逆直交変換手段と、 前記逆直交変換手段からの変換出力に対して歪み除去処
   理を行なう歪み除去手段と、 前記各ブロックの符号量に基づいて前記歪み除去手段の
   歪み除去の特性を変化させる歪み除去特性決定手段とを
   具備することを特徴とする画像信号復号化装置。
2. 【請求項２】 画像データをブロックに分割し、この分
   割されたブロック毎に直交変換を行なってからこの変換
   出力を量子化手段により量子化し、その後この量子化出
   力を可変長符号化手段に与えて可変長符号化して圧縮さ
   れた画像データを復号化する可変長符号デコード手段
   と、 前記可変長符号デコード手段からの復号化出力を逆量子
   化する逆量子化手段と、 前記逆量子化手段からの逆量子化出力を逆直交変換する
   逆直交変換手段と、 前記逆直交変換手段からの変換出力に対して歪み除去処
   理を行なう歪み除去手段と、 前記各ブロックの変換係数の有意な係数の個数、もしく
   は各ブロックの変換係数の有意な係数の夫々のシーケン
   スによって予め定められている重みの和の何れかに基づ
   いて前記歪み除去手段の歪み除去の特性を変化させる歪
   み除去特性決定手段とを具備することを特徴とする画像
   信号復号化装置。