JPH0856357A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】画像の高能率符号化を行った際に復号画像で観
察されるブロック歪を軽減するための簡単かつ効果的な
方式を提供する。 【構成】復号画像に対し、ブロックの境界の両側の画素
のサンプル値を交換する処理を加える。 【効果】サンプル値交換処理により、観察者から見てブ
ロックの境界で両側のブロックが重なり合った状態とな
り、知覚されるブロック歪を軽減することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ブロック単位に符号化
・復号化された画像を入力し、ブロック境界の歪を軽減
する画像処理方式に関する。

【０００２】

【従来の技術】画像情報は音声の千倍の情報量を持つと
言われ、これをそのまま伝送・記録したのでは、伝送容
量，記憶容量の面で非現実的である。したがって画像情
報を有効に利用するには、画質の劣化を最小限に押さえ
た上でその情報量を圧縮する高能率符号化技術が必要不
可欠である。画像の高能率符号化では、一般に再生され
た復号画像は誤差を含んでおり、原画像とは異なるもの
となる。したがって、できるだけ少ない符号量で観察者
から見て妨害とならない誤差を発生させることが、画像
符号化技術の本質的な課題である。

【０００３】現在の画像符号化技術では、符号化方式が
小領域（正方形のブロックが採用されることが多いた
め、以後「ブロック」とよぶ）ごとに独立に適用される
処理を含むことが多い。これは、画像全体を対象とする
よりは多数のブロックに独立に処理を加える方が、演算
量を減らす上、あるいは画像のもつ局所的な性質を活用
する上で有利となる場合があることが主な原因となって
いる。ブロックを単位として行われる処理の例は、ＤＣ
Ｔ(Discrete Cosine Transform：離散コサイン変換）や
アダマール変換等による信号の変換，ベクトル量子化
（VectorQuantization），ＩＦＳ（Iterated Function
System）に基づくフラクタル符号化，動き補償における
ブロックマッチングなどがある。

【０００４】図１にブロック単位の処理を含む符号化方
式の一例として、静止画像符号化方式の国際標準である
ＪＰＥＧの符号化器１を示す。ディジタル化された入力
画像信号２は、フレームメモリ３に蓄えられた後、アド
レス信号発生回路４により読み出される。ＤＣＴ変換器
５では、画像は縦横８画素ずつのブロックに分割され、
ブロックごとにＤＣＴが適用される。ＤＣＴ変換器５で
得られたＤＣＴ変換係数は量子化器６で量子化され、エ
ントロピ符号化器７で統計的な冗長度がとり除かれ、圧
縮された画像データ８となって出力される。

【０００５】図２にＪＰＥＧの復号化器９を示す。入力
の情報圧縮画像データ１０は、エントロピ復号化器１
１，逆量子化器１２を経てＤＣＴ係数に変換される。こ
のDCT係数は、逆ＤＣＴ変換器１３により処理された後
にフレームメモリ１４に蓄えられ、アドレス信号発生回
路１５により読み出されて復号画像１６として出力され
る。

【０００６】ＪＰＥＧは、さらに階層的な符号化を行う
機能を持っている。階層的な符号化とは、圧縮された画
像データの一部を取り出して低品質・低解像度の画像が
再生できるように符号化を行うことを意味する。この機
能は、高速に画像の大まかな情報を見る必要のある場合
や、端末の処理能力に限界があり、低解像度の画像にし
か対応できない場合に有効である。

【０００７】図３にＪＰＥＧを用いて階層的な符号化を
行った例を示す。このとき、エントロピ符号化器１８
（図１の７に対応）は、入力されたＤＣＴ係数１７をそ
の周波数の高さに応じて４通りに分類し、それぞれに対
してエントロピ符号化を施して圧縮画像データ（１９〜
２２）として出力する。最も低い周波数成分１９のみを
用いると、低解像度の画像を得ることができる。これに
徐々に高い周波数の成分２０，２１，２２を加えること
により、復号画像の解像度を上げていくことができる。

【０００８】ブロック単位に符号化処理を行ったデータ
を復号化した場合、発生する誤差信号の性質がブロック
ごとに異なるため、復号画像のブロックの境界において
視覚的に強い妨害となる不連続（ブロック歪）が発生す
ることがある。これは特に情報圧縮率が高く、ブロック
ごとの符号化誤差が大きいときに発生しやすい。また、
階層的な符号化を行った場合に、下層の低解像度の画像
にこのような歪が発生しやすい。

【０００９】復号画像におけるブロック歪の悪影響を軽
減するためには、受信側で復号画像に何らかの処理を加
える必要がある。ただし、このときには原画像の持つ本
質的な情報を損なわないように注意しなければならな
い。ブロック歪を軽減する画像処理装置は、ブロックの
境界部に平滑化フィルタを適用する装置（特開昭64−36
178 号公報）が提案されている。

【００１０】この装置の回路例を図４に示す。画像復号
化装置２４は、入力の圧縮画像データ２３を復号化し
て、復号画像２５と、現在出力されている画素の位置に
関するアドレス情報２６(これは図２のアドレス信号発
生器１５の出力信号に相当する)を出力する。このと
き、画素のサンプル値は、画像内で上から下のラインご
とに、左から右に順番に出力されているものとする。ブ
ロック歪軽減装置２７は、アドレス情報をもとに復号画
像においてブロック境界に隣接する画素に対して平滑化
の処理を行い、これを出力画像２８として出力する。

【００１１】このブロック歪軽減装置２７の回路例を図
５に示す。入力された復号画像信号２５は、ライン遅延
回路２９，３０，画素遅延回路３１〜３６により所定の
遅延量だけ遅延させられた後、乗算器３７〜４５により
定数倍（枠内の数値倍）され、加算器４６によって加算
される。一方、復号画像のアドレス情報２６から、ブロ
ック境界検出回路４８によりブロック境界の両側に位置
する画素が検出され、これらの画素に対してのみフィル
タの出力（加算器４６の出力）が選択されるようにスイ
ッチ４７が制御される。このスイッチの出力が、出力画
像２８である。この回路は、ブロックの境界付近のみに
対して処理を加えるために、画像の本質的な情報を損な
うことなくブロック歪を軽減する効果を持つ。

【００１２】

【発明が解決しようとする課題】上述の回路（図５）
は、積和演算を行うために多数の乗算器と加算器が必要
となり、回路規模が大きくなってしまう欠点を持ってい
る。一方で、回路規模，処理量，処理速度等の制約か
ら、簡単な処理でブロック歪を軽減させることが必要と
なる場合がある。

【００１３】本発明の目的は、原画像の持つ本質的な情
報を損なうことなく、しかもできるだけ簡単な処理でブ
ロック歪を軽減することにある。

【００１４】

【課題を解決するための手段】上記目的は、ブロックの
境界の両側に位置する画素のサンプル値を交換すること
により達成される。

【００１５】

【作用】上記のサンプル値交換処理により、観察者から
見てブロックの境界で両側のブロックが重なり合った状
態となり、知覚されるブロック歪を軽減することができ
る。また、サンプル値の交換はブロック境界のみで行わ
れるため、処理が簡単である上に、画像の本質的な情報
は失われにくくなる。

【００１６】

【実施例】図６にサンプル値交換によるブロック歪軽減
装置の実施例を示す。この実施例は、ブロック歪軽減回
路４９の入力として、図５に示したブロック歪軽減装置
２７の入力と同様の信号が得られた場合に関するもので
ある。

【００１７】復号画像信号５０（図５の２５に対応）
は、まずライン遅延回路５１と５２により所定の量だけ
遅延される。スイッチ５３は、ライン遅延回路５１と５
２により遅延された信号と遅延なしの信号を適宜選択す
ることにより、上下でブロックの境界をはさむ二画素の
サンプル値を交換する。スイッチ５３の出力は、画素遅
延回路５４と５５により遅延される。スイッチ５６は、
画素遅延回路５４と５５の出力信号とスイッチ５３の出
力信号を適宜選択することにより、同一ライン上でブロ
ックの境界をはさむ左右二画素のサンプル値を交換す
る。ブロック境界検出回路５９は、復号化器から提供さ
れる画素の位置に関するアドレス情報５８（図５の２６
に対応）から縦方向，横方向のブロック境界を検出し、
スイッチ５３と５６を制御する。

【００１８】ブロックの境界の位置は受信側で既にわか
っているため、送信側でこの処理のために付加的な情報
を伝送する必要はない。この回路では積和演算が不要で
あることから、平滑化のためのフィルタを活用した場合
等と比較して、回路構成を簡略化することができる。

【００１９】図７は、図６の回路による処理の結果の一
例を示したものである。ａ〜ｐは各画素におけるサンプ
ル値を表している。

【００２０】図８に示す実施例は、図４に示した例のよ
うに復号化装置とブロック歪軽減装置を分割せず、復号
化装置内で復号画像を格納しているフレームメモリへ直
接アクセスすることによりサンプル値の交換を行う場合
に関するものである。フレームメモリ６０（図２の１４
に対応）に格納された復号画像を、アドレス信号発生回
路６１（図２の１５に対応）を用いて読み出すことによ
り出力画像６２を得る。この読み出しの順番を操作する
ことにより、上記のブロックの境界の画素のサンプル値
を交換する処理を行う。

【００２１】なお、以下の変形も本発明に含まれること
は明らかである。

【００２２】（１）カラー画像を復号化した場合に、色
信号には処理を加えず、輝度信号のみに対してサンプル
値交換の処理を加えても良い。このようにしてもブロッ
ク歪軽減の効果は十分に得られる上に、処理を簡略化で
きる場合もある。また、この場合には輝度値信号のみに
対する処理となるため、画像の本質的な情報が損なわれ
る可能性は低くなる。

【００２３】（２）サンプル値交換処理の適用／不適用
を、フレーム単位またはフレーム内の領域単位で切り替
えるスイッチを受信側で設けても良い。ブロック歪軽減
処理を行わなくても受信側で十分な画質が得られている
場合や、画像が文字情報を含む場合等には、サンプル値
の交換が逆効果となるときがある。このような場合に対
処するために、利用者が不要と感じた時には本処理の適
用を禁止できるようにすると効果的である。禁止の指定
はフレーム単位で行っても、利用者の指定により、画像
の特定の領域のみに対して行っても良い。

【００２４】（３）（２）の切り替え処理を自動的に行
っても良い。例えば、復号化処理を行ったときの量子化
ステップサイズの情報等から復号画像の画質を推測し、
その結果に応じてサンプル値交換処理の適用／不適用を
自動的に切り替えれば、（２）と同様の効果を自動で得
ることができる。また、例えば一定区間のブロック境界
に対し、境界をはさむ二画素間のサンプル値の差の絶対
値を加算し、これがあるしきい値を超えた場合にのみ、
その区間にサンプル値交換処理を適用すれば、領域単位
で処理の切り替えを自動的に行うことができる。

【００２５】（４）階層的符号化（図２）を行った場合
に、下層の低解像度の画像に対してのみサンプル値交換
の処理を加えるようにしても良い。こうすることによ
り、画質の低い場合には画像のブロック歪が軽減され、
画質の高い場合には画像に不必要な処理が加えられない
ようにすることができる。

【００２６】（５）復号画像を拡大し、拡大前の一画素
を拡大後には複数の画素（例えば縦横２倍に拡大した場
合には四画素となる）として表示する場合に、サンプル
値の交換処理を拡大前に行っても拡大後に行っても良
い。すなわち、拡大前に処理を行えば、拡大画像では、
ブロックの境界に隣接しない画素に対してもサンプル値
の交換が行われることになる。一方、拡大後に処理を行
えば、拡大画像ではブロックの境界に隣接する画素のみ
に対して処理が適用される。どちらの方式でもブロック
歪軽減の効果は得られる。両者を比較すると、拡大前に
処理を行う方がブロック歪軽減の効果が強い半面、画像
の本質的な情報を損なう可能性も高い。

【００２７】（６）サンプル値の交換を図５，図７に示
したようにハードウェアで行わず、ソフトウェアで行っ
ても良い。すなわち、復号画像のデータに対し、コンピ
ュータがサンプル値交換の処理を行っても良い。

【００２８】以上示した実施例，変形例は、本明細書で
例示したＪＰＥＧの以外に、動画像の標準符号化方式で
あるＨ２６１，ＭＰＥＧ１，ＭＰＥＧ２や、その他の小
量域単位の処理を含む動画，静止画の符号化方式に適用
でき、これらの場合にもブロック歪軽減の効果を得るこ
とができる。

【００２９】

【発明の効果】本発明によれば、画像の持つ本質的な情
報を損なうことなく、簡単な処理で視覚的に妨害となる
ブロック歪が軽減できる。

【図面の簡単な説明】

【図１】ＪＰＥＧの符号化器を示したブロック図。

【図２】ＪＰＥＧの復号化器を示したブロック図。

【図３】ＪＰＥＧの符号化器が階層的符号化を行う際の
エントロピ符号化器の動作例を示した説明図。

【図４】受信側においてブロック歪軽減処理を行う回路
の例を示した説明図。

【図５】ブロックの境界の画素に対して平滑化フィルタ
を適用することにより、ブロック歪軽減処理を行う回路
の例を示したブロック図。

【図６】本発明の一実施例のブロック歪軽減装置の入力
として復号画像の画素ごとのサンプル値が画面の左上か
ら右下にラインごとに与えられた場合の本発明の実施例
を示したブロック図。

【図７】本発明の一実施例においてサンプル値交換処理
を行う前後の画像の例を示した説明図。

【図８】本発明の一実施例において復号画像を格納した
メモリを直接アクセスする場合の説明図。

【符号の説明】

４９…ブロック歪軽減装置、５０…復号画像、５１，５
２…ライン遅延回路、５３，５６…スイッチ、５４，５
５…画素遅延回路、５７…ブロック歪が軽減された出力
画像、５８…アドレス情報、５９…ブロック境界検出回
路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】ブロック単位に符号化・復号化された画像
   を入力し、ブロック境界の歪を除去する装置において、
   ブロック境界の両側に位置する画素間で信号のサンプル
   値を交換する手段を具備することを特徴とする画像処理
   装置。
2. 【請求項２】請求項１において、輝度信号と色信号の識
   別手段，前記識別手段により識別した結果に応じたサン
   プル値の交換を禁止する手段を具備する画像処理装置。
3. 【請求項３】請求項１または２に記載された画像処理装
   置を具備する画像復号化装置。