JPH08274996A

JPH08274996A - 画像処理装置

Info

Publication number: JPH08274996A
Application number: JP7077493A
Authority: JP
Inventors: Naoya Imahashi; 直也今橋
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-04-03
Filing date: 1995-04-03
Publication date: 1996-10-18
Anticipated expiration: 2019-03-22
Also published as: JP3508281B2

Abstract

(57)【要約】【目的】ブロックノイズやモスキートノイズ等の画質
劣化要因と、画像の輪郭部分の高周波数成分欠落に伴う
解像度劣化要因の２つの画質劣化に対して、劣化要因を
補い画質改善を図れる画像処理装置を提供することを目
的とする。【構成】画像データに対しフィルタリング処理を行う
フィルタ手段を備える。このフィルタ手段は、ローパス
フィルタ処理部１１とラプラシアンフィルタ処理部１２
と、遅延器１３を備える。ラプラシアンフィルタ処理部
１２により抽出された高周波成分のレベルデータから、
レベル変動の少ないノイズ成分はローパスフィルタ処理
部１１により削除され、レベル変動の大きいエッジ情報
に対してはレベルの加算により強調し、解像度を向上す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データの圧縮伸張
処理等に用いられる復元画像データのポスト処理におけ
る画像処理装置に関するものである。

【０００２】

【従来の技術】動画像データを帯域圧縮技術を用いて符
号化及び復号化する方式として、ＩＳＯ−ＩＥＣ／ＪＴ
ＣＩ／ＳＣ２／ＷＧ１１にて議論され標準化されたＭＰ
ＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＣｏｄｉｎｇ
ＥｘｐｅｒｔｓＧｒｏｕｐ）方式がある。またカラー
静止画像圧縮方式として、ＪＰＥＧ（ＪｏｉｎｔＰｈ
ｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕｐ）方
式が知られている。これらの方式では、画面内の相関を
利用し、画面内を複数画素から構成されるブロックに分
割し、このブロック内データを直交変換方式の１つであ
る離散コサイン変換を行い、量子化、ハフマン符号化を
行う処理を施し、画像データの削減を実現することを基
本としている。以下、図面を参照しながらＪＰＥＧ方式
を例に符号化及び復号化について詳しく説明する。

【０００３】図３は、ＪＰＥＧ方式の符号化及び復号化
装置のブロック図である。まず、符号化において、画面
情報を複数画素ごとのブロックに分割するブロック分割
部１、このブロック化されたデータを離散コサイン変換
を行うＤＣＴ処理部２、ＤＣＴ係数を係数位置ごとにス
テップサイズで量子化する量子化部３、この量子化され
たデータをエントロピー符号化し、可変長データに変換
するハフマン符号化部４から構成され、圧縮画像データ
が生成される。

【０００４】また、復号化については、上記符号化で生
成された可変長コードの圧縮画像データを量子化係数に
復号するハフマン復号化部５、この復号された量子化係
数をＤＣＴ係数に復号化する逆量子化部６、復号された
各ブロックの離散コサイン係数を画像情報に復元する逆
ＤＣＴ処理部７、各ブロック情報を集めて１画面の画像
情報を復元するブロック合成部８から構成されている。

【０００５】以上の構成で、ＪＰＥＧ及びＭＰＥＧのフ
レーム内圧縮伸張処理は行われる。しかし、圧縮効率を
向上させた直交変換系のＤＣＴ変換及び量子化処理は非
可逆であり、圧縮前の元の画像データと、圧縮伸張後の
復元画像データでは少なからず画像データに対して違い
が発生する。

【０００６】

【発明が解決しようとする課題】ところで、上記構成に
よる復元画像データの違いは、ＤＣＴ処理を行う際に小
領域に分割した相関性のないブロック境界部分に、モス
キートノイズやブロックノイズといった形で視覚的に悪
影響を及ぼす。これは、ＤＣＴ処理に８×８のブロック
に分割し係数を導くため、係数情報が６４係数と制限が
付けられ、高周波成分情報が削られ、復号後に周波数成
分の欠如によるリップル現象が発生するとともに、量子
化の際に高周波係数部分の量子化ステップサイズが大き
くなり、これにともなって誤差の蓄積も大きくなること
が、上記弊害をまねく原因となる。

【０００７】したがって、上記視覚的劣化原因をなくす
目的で復号後の画像データ全体にローパスフィルタをか
け、視覚的弊害となる高周波成分を削除することが考え
られるが、画面一様にローパスフィルタをかけてしまう
と、画面全体がぼやけてしまい視覚的に弱くなってしま
うという問題点を有していた。しかし、圧縮伸張にとも
なう画像劣化は、ブロック分割によるブロック境界に顕
著に現れており、この部分の周波数成分を抜き出し、利
用することで視覚的劣化原因である、ブロックノイズや
モスキートノイズの影響を除くことが必要であるととも
に、圧縮伸張時に失われたエッジ部分の高周波成分を復
活させ画像の精彩さを向上させることを可能とする復元
画像のポスト処理が求められる。

【０００８】したがって本発明は、上記２つの要因を適
応的に対処して画質の改善を図れる画像処理装置を提供
することを目的とする。

【０００９】

【課題を解決するための手段】以上の目的を達成するた
めに本発明は、画像データに対しフィルタリング処理を
行う適応フィルタ手段を備えた画像処理装置であって、
適応フィルタ手段に入力される入力データは、復元画像
データに対してローパスフィルタ手段を講じたデータ
と、ラプラシアンフィルタ手段を講じたデータと、遅延
器手段を講じたデータであり、前記３つの入力データに
対して、画像データの各画素データの持つ近傍周波数デ
ータのかたよりを利用し、前記適応フィルタ手段で最適
フィルタ演算を選択し、演算出力結果をポスト処理画像
データとして出力することにより、画質の改善を実行す
るようにした。

【００１０】また好ましくは、前記適応フィルタ手段
は、復元画像データに前記ラプラシアンフィルタ手段を
講じて得られた高周波数成分のレベルデータを元に、レ
ベル比較器で前記レベルデータを段階的に区分分けし、
加算パラメータテーブルにて、前記ローパスフィルタ手
段を講じたデータと、ラプラシアンフィルタ手段を講じ
たデータと、遅延器手段を講じたデータに対して、乗算
させる係数をそれぞれ選択し乗算器で掛け合わせ、加算
器にて前記３つのデータを加算する適応フィルタ手段を
備えた。

【００１１】

【作用】上記構成により、ラプラシアンフィルタ手段に
より抽出された高周波成分のレベルデータから、レベル
変動の少ないノイズ成分はローパスフィルタ手段により
削除されるとともに、レベル変動の大きいエッジ情報に
対してはレベルの加算によってより強調され、解像度の
視覚的向上を図れる。この作用は、ブロックノイズが顕
著に現れる圧縮伸張過程のブロック境界に集中的に施し
てもよい。また画像復号後に行われるフィルタ処理によ
り、視覚的な画質劣化要因であるノイズの低減と画像の
輪郭部分の強調を同時に行えるため、画質向上を図れ
る。

【００１２】

【実施例】以下、図面を参照しながら本発明の一実施例
を説明する。図１は本発明の一実施例の画像処理装置の
ブロック図、図２は同画像処理装置のフローチャートで
ある。

【００１３】図１において、１１はローパスフィルタ処
理部、１２はラプラシアンフィルタ処理部、１３は遅延
器であり、それぞれ画像入力がなされる。１４は適応フ
ィルタ処理部であって、ローパスフィルタ処理部１１に
接続された乗算器１５、遅延器１３に接続された乗算器
１６、ラプラシアンフィルタ処理部１２に接続された乗
算器１８を備えている。ラプラシアンフィルタ処理部１
２はレベル比較器１７、加算パラメータテーブル１９を
介して各乗算器１５、１６、１７に接続されており、ま
た各乗算器１５、１６、１８は加算器２０に接続されて
いる。

【００１４】画像圧縮伸張を行った復号画像データは、
３つの分岐処理を経て適応フィルタ処理部１４に入力さ
れる。各々、高周波数成分を除去するローパスフィルタ
処理部１１にて高周波数成分を除去した画像データとし
て出力されるパス、ラプラシアンフィルタ処理部１２に
て高周波数成分を抽出するパス、上記各フィルタ処理の
遅延量とあわせるため、遅延器１３を通して出力するパ
スがあり、これらの３つのパスを経て得られた画像デー
タを使って、適応フィルタ処理部１４で画質改善のため
のフィルタ処理が施される。

【００１５】次に、適応フィルタ処理部１４の動作につ
いて図１及び図２を用いて説明を行う。まず、ラプラシ
アンフィルタ処理部１２から出力された各画素ごとの高
周波数成分のレベルデータを、レベル比較器１７にて比
較し（ステップ１）、微小レベルのノイズか輪郭エッジ
成分かを前記レベルデータにて段階的に判断する。この
結果は、例えば８ビットのデータとして加算パラメータ
テーブル１９に渡す。加算パラメータテーブル１９で
は、レベル比較器１７で段階的に選択されたデータを元
に、上記３つのパスを経由した画像データの乗算パラメ
ータを選択し（ステップ２）、各乗算器１５、１６、１
８にそれぞれの係数データを出力する。実際には、ラプ
ラシアンフィルタ処理部１２の出力データを用いて、レ
ベルデータが小さい場合は、ノイズ成分である確率が高
いため、ローパスフィルタ処理部１１の出力データに重
きをおくように、つまり１に近い値になるよう乗算係数
を選ぶとともに、遅延器１３を経由した画像データと輪
郭強調を施すラプラシアンフィルタ処理部１２の出力デ
ータの乗算係数は０に近いデータを加算パラメータテー
ブル１９にて選択する。また逆に、ラプラシアンフィル
タ処理部１２の出力データが高い場合は、画像の輪郭部
分である確率が高いため、ローパスフィルタ処理部１１
の出力データの乗算係数は０に近づけたデータを加算パ
ラメータテーブル１９にて選ぶとともに、遅延器１３の
出力データに対しては１に近づけた乗算係数を選ぶ。ま
たラプラシアンフィルタ処理部１２の出力データに対し
ては、輪郭部分のエッジを強調するように高い乗算係数
を加算パラメータテーブル１９で選び、乗算器１５、１
６、１８で掛け合わせる（ステップ３）。上記３つの乗
算器演算結果は、加算器２０で加算され、ポストフィル
タ出力として画像データが出力される（ステップ４）。

【００１６】上記処理を詳しく説明するために、式を用
いて表すと、次のようになる。図２のステップ３におい
て、ローパスフィルタ処理部１１の出力結果をＤ１、遅
延器１３の出力結果をＤ２、ラプラシアンフィルタ処理
部１２の出力結果をＤ３、ステップ４において加算器２
０の出力結果をＤ４とする。また、加算パラメータテー
ブル１９では、直流成分のダイナミックレンジの演算結
果が一定となることを条件に入れると、Ｄ１とＤ２の乗
算係数の加算結果が１となるように、各々係数（Ｋ）、
（１−Ｋ）を選ばなければならない。すなわち、係数
（Ｋ）は、ローパスフィルタ処理部１１の出力成分の重
み付けパラメータとして作用し、係数（Ｋ）、係数（１
−Ｋ）は各乗算器１５、１６で演算され各々の出力加算
結果は常に直流成分が一定となることを保存する。また
ラプラシアンフィルタ処理部１２の出力データに対して
は、直流成分を含まないため、ローパスフィルタ成分重
み付けパラメータ（Ｋ）と独立に輪郭強調パラメータ
（Ｍ）として、加算パラメータテーブル１９にて選択さ
れ、乗算器１８にて次式のように掛け合わせられる。

【００１７】Ｄ４＝Ｄ１×Ｋ＋Ｄ２×（１−Ｋ）＋Ｄ３×Ｍ（１）つまり、上記式に基づいて加算器２０にて３つの分岐デ
ータに重み付け係数が掛け合わされて適応フィルタ処理
が施される。以上の結果、適応フィルタ処理部１４でポ
ストフィルタ処理が施され、画像圧縮伸張で劣化したノ
イズ成分の除去と高周波数成分の欠落による解像度の劣
化を補うといった２つの劣化要因を同時に補うことが可
能となり、画質の改善効果をもたらす。

【００１８】本実施例は、画像圧縮伸張後のデータに対
して画素ごとにノイズ及び画像の持つ輪郭部のエッジ成
分かを判断し適応的にフィルタを施した装置を実現する
ものであるが、ＤＣＴ変換を用いた圧縮伸張処理の場
合、画像データをブロック分割し、この小区間に対して
ＤＣＴ変換を行うため、ブロックノイズが発生する上記
ブロック境界にのみ前記適応フィルタを施してもその効
果は期待できる。

【００１９】また、本実施例では画素ごとの高周波成分
レベル情報に着目して適応的なフィルタを行ったもので
あるが、加算パラメータテーブル１９に、着目画素の周
辺部分も含めた各画素の高周波成分レベル分布も考慮に
入れたテーブル選択を行えば、ノイズと輪郭部のエッジ
情報の判別精度が向上し、高精度の画質改善効果をもた
らす。

【００２０】

【発明の効果】本発明の画像処理装置によれば、画像の
圧縮伸張にともなう画質劣化要因であるブロックノイ
ズ、モスキートノイズ等のノイズ成分の除去と、失われ
た画像の輪郭部分の高周波数成分を復活させ、エッジ強
調を行うといった２つの作用を、各画素の高周波数成分
をパラメータとして適応的にフィルタ処理を行うことに
より実現できるので、元の復元画像データを保ったまま
画質改善に大きな効果をもたらすことができる。

【図面の簡単な説明】

【図１】本発明の一実施例の画像処理装置のブロック図

【図２】本発明の一実施例の画像処理装置のフローチャ
ート

【図３】ＪＰＥＧ方式の符号化及び復号化装置のブロッ
ク図

【符号の説明】

１１ローパスフィルタ処理部１２ラプラシアンフィルタ処理部１３遅延器１４適応フィルタ処理部１５、１６、１８乗算器１７レベル比較器１９加算パラメータテーブル２０加算器

Claims

【特許請求の範囲】

【請求項１】離散コサイン変換や量子化を用い、非可逆
圧縮伸張処理を行った後の画像データのポスト処理に対
して、復元画像データに生じるブロックノイズやモスキ
ートノイズ等のノイズ劣化の低減と高周波数成分の欠如
を補う適応フィルタ手段を備えた画像処理装置であっ
て、前記適応フィルタ手段に入力される入力データは、
復元画像データに対してローパスフィルタ手段を講じた
データと、ラプラシアンフィルタ手段を講じたデータ
と、遅延器手段を講じたデータであり、前記３つの入力
データに対して、画像データの各画素データの持つ近傍
周波数データのかたよりを利用し、前記適応フィルタ手
段で最適フィルタ演算を選択し、演算出力結果をポスト
処理画像データとして出力することにより、画質の改善
を実行することを特徴とする画像処理装置。
【請求項２】前記適応フィルタ手段は、復元画像データ
に前記ラプラシアンフィルタ手段を講じて得られた高周
波数成分のレベルデータを元に、レベル比較器で前記レ
ベルデータを段階的に区分分けし、加算パラメータテー
ブルにて、前記ローパスフィルタ手段を講じたデータ
と、前記ラプラシアンフィルタ手段を講じたデータと、
遅延器手段を講じたデータに対して、乗算させる係数を
それぞれ選択し乗算器で掛け合わせ、加算器にて前記３
つのデータを加算する適応フィルタ手段を備えたことを
特徴とする請求項１記載の画像処理装置。