JPH0951532A - 歪み除去装置 - Google Patents

Abstract

(57)【要約】 【課題】 ＤＣＴ及び逆ＤＣＴによる圧縮歪みを適応的
に平滑化すること。 【解決手段】 圧縮歪みを生じた画像をフィルタサイズ
画像抽出回路９２に入力してフィルタサイズ画像毎に順
次抽出する。更に大領域画素データ抽出回路９３と小領
域画素データ抽出回路９４により、中心画素周囲の大領
域画素データと小領域画素データとを夫々抽出する。次
に画素情報抽出回路１０１、１０２によって２つの領域
の画素データの変化の大きさを抽出し、それらを閾値算
出回路１０４に供給して平滑化閾値を算出する。ε−フ
ィルタ１０５では、フィルタサイズ画像の各画素データ
と中心画素データとの差分である画素データ間差分の絶
対値を平滑化閾値で比較する。そして画素データ間差分
の絶対値が平滑化閾値以下のとき、中心画素を平滑化す
ることによって、歪みを適応的に除去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の歪みを除去
する歪み除去装置に関するものであり、特にＤＣＴ（離
散コサイン変換）を用いた符号化方式によって圧縮符号
化した画像を復号器で再生させたとき、再生画像に生じ
た圧縮歪みを除去し、画質改善を図るものである。

【０００２】

【従来の技術】画像をディジタル信号で伝送又は記録す
る場合、圧縮符号化技術は必須の技術である。現在、最
も普及した圧縮符号化方式としてＤＣＴ符号化方式があ
る。この方式は画像を複数のブロックに分割し、ブロッ
ク毎にＤＣＴによって画像を周波数変換した後、視覚的
に冗長な周波数成分を量子化によって大幅に削減し、画
像信号を符号化するものである。

【０００３】このＤＣＴ符号化方式は、画像の絵柄内容
に対して適当な圧縮率の範囲であれば、優れた画質と符
号化効率を発揮する。しかし圧縮するには厳しい絵柄内
容の画像であって、この画像を決められた高い圧縮率で
伝送又は記録する必要がある場合、視覚的に検出され易
い歪みが生じるという欠点がある。

【０００４】例えば、画像の濃淡変化の大きな輪郭やエ
ッジの近傍の平坦部分では、リンギングにも似た「モヤ
モヤ」としたモスキート歪みと呼ばれる圧縮歪みが生じ
る。また、図２０に示す複雑な枝や葉を含んだ木立のよ
うに、濃淡変化はさほど大きくないが、小刻みに濃淡が
変化するテクスチャ画像では、テクスチャ画像全体に
「ざわざわ」とした歪みがのってしまうことがある。こ
れらの圧縮歪みはいずれも、圧縮による高周波数成分の
大幅な削減のため生じたものであり、その成分が低周波
数成分又は中周波数成分へ漏れ込んでしまった結果とみ
なされている。

【０００５】上記のような圧縮歪みを除去する従来法と
しては、ε−フィルタがよく知られている。このフィル
タの詳細は例えば電子情報通信学会の論文誌（Ａ）、vo
l.J65-A 、pp.297-304，1982年、「ε−分離非線形ディ
ジタルフィルタとその応用」に報告されている。このフ
ィルタの特徴は、エッジを保護しつつ、歪みを除去する
点である。次の（１）式はε−フィルタの特性を示す演
算式である。

【数１】 Ｍは平滑化に用いる画素数を示し、Ｓ（ｋ，ｌ）はスケ
ールファクタである。（１）式に示すように、ある画素
位置（ｘ，ｙ）における画素データｐ（ｘ，ｙ）を、そ
の近傍の画素データｐ（ｘ＋ｋ，ｙ＋ｌ）を用いて平滑
化して歪みを除去するが、平滑化される中心の画素デー
タと近傍の画素データとの差の絶対値がある値、例えば
閾値εよりも大きい場合には、その近傍の画素データを
平滑化に用いない。

【０００６】このフィルタは図２１（ａ）に示すよう
に、矩形の濃淡変化を有する輝度信号に、例えば絶対値
で閾値ε以下のノイズが重畳すると、この場合の輝度信
号は図２１（ｂ）のようになる。図２１（ｂ）の信号の
立ち上がり及び立ち下がり部分で示すように、閾値εよ
り大きな信号の変化は、ノイズによる変化ではなく、信
号本来の変化であることを示している。即ちこれは濃淡
の異なる正規の信号である。このように輝度信号は閾値
εによって濃淡信号が濃の信号レベルと、淡の信号レベ
ルとに分けられる。そしてこのフィルタは、濃淡の信号
の夫々に重畳されたノイズ信号を独立に平滑化するよう
にしている。このため濃淡変化の信号は保護され、ノイ
ズのみが除去されることになる。

【０００７】

【発明が解決しようとする課題】前記従来のε−フィル
タは、フィルタ中心の画素データと近傍の周囲画素デー
タとの差の絶対値が閾値εよりも大きいか否かで、近傍
周囲の画素のデータを中心画素の平滑化に加えるか否か
を判別している。すなわち、閾値εはノイズ振幅の絶対
値に相当し、処理すべき中心画素は、所定のノイズレベ
ル差内の画素値を有する近傍周囲の画素信号を用いて平
滑化される。

【０００８】処理すべき画像全体に±ε以下の振幅のノ
イズが重畳している場合は、このような閾値εを有する
ε−フィルタを用いて画像歪みを除去すればよい。しか
し圧縮画像のように画像内の異なる絵柄内容において異
なる振幅のノイズ（歪み）が生じる場合、次のような問
題点が発生する。即ち、濃淡変化の大きな輪郭やエッジ
の近傍のモスキート雑音における歪みの振幅は、テクス
チャ画像に発生する歪みの振幅に比べ大である。

【０００９】このため、一定の閾値εを有するε−フィ
ルタを用いて画像全領域をフィルタ処理する際、閾値ε
を濃淡変化の大きな輪郭や、エッジの近傍のモスキート
歪みの振幅に合わせると、テクスチャ画像に存在する細
かな輪郭までもが平滑化され、画像がぼかされてしま
う。逆に、閾値εをテクスチャ画像の歪みの振幅に合わ
せると、濃淡変化の大きな輪郭やエッジの近傍のモスキ
ート歪みの除去効果は小さくなる。

【００１０】本発明はこのような従来の問題点に鑑みて
なされたものであって、画像の濃淡変化の大きさや歪み
の振幅の大きさに対応させて、ε−フィルタの閾値εの
値を変化させて適応的に平滑化を行い、画像歪みを除去
する歪み除去装置を実現することを目的とするものであ
る。

【００１１】

【課題を解決するための手段】本願の請求項１の発明
は、圧縮符号化により複数の画素データよりなる原画像
に劣化を生じた場合に、劣化画像の画像歪みを除去する
歪み除去装置であって、前記劣化画像から縦ｍ画素×横
ｎ画素のフィルタ画素サイズの画像信号を抽出するフィ
ルタサイズ画像抽出手段と、前記フィルタサイズ画像抽
出手段で得られた画像信号の画素データのうち、最小
値、最大値、中央値を夫々出力する画素特徴値検出手段
と、前記画素特徴値検出手段で得られた中央値と最小値
の差を第１の絶対値とし、前記画素特徴値検出手段で得
られた中央値と最大値の差を第２の絶対値とするとき、
前記第１又は第２の絶対値のうち小さい方を平滑化閾値
の上限値として出力する平滑化閾値算出手段と、前記フ
ィルタサイズ画像抽出手段で得られた画像信号の中心位
置の画素データを中心画素データとし、前記中心位置の
周辺に位置する周辺画素の画素データを周辺画素データ
とする場合に、前記中心画素データと前記周辺画素デー
タの差分値である差分データの絶対値が、前記平滑化閾
値算出手段の出力する平滑化閾値以下のときのみ前記差
分データを所定の値で除したものを前記フィルタサイズ
画像抽出手段の中心画素データに加算して平滑化する画
像平滑化フィルタ手段と、を具備することを特徴とする
ものである。

【００１２】本願の請求項２の発明は、圧縮符号化によ
り複数の画素データよりなる原画像に劣化を生じた場合
に、劣化画像の画像歪みを除去する歪み除去装置であっ
て、前記劣化画像から縦ｍ画素×横ｎ画素のフィルタ画
素サイズの画像信号を抽出するフィルタサイズ画像抽出
手段と、前記フィルタサイズ画像抽出手段の画像信号が
入力され、フィルタ画素サイズ内における濃淡変化の大
きさを示す微分画像信号を算出する微分画像算出手段
と、画素データの大小を比較するための閾値を設定する
と共に、前記微分画像算出手段で得られた微分画像信号
を前記閾値で分け、前記閾値以上の画像のとき第１の制
御信号を出力し、前記所定の閾値未満の画像のとき第２
の制御信号を発生する閾値設定手段と、前記フィルタサ
イズ画像抽出手段の画像信号が入力され、前記閾値設定
手段から第１の制御信号が与えられたとき、前記画像信
号を平滑化閾値の大きい第１の劣化画像信号として出力
し、前記閾値設定手段から第２の制御信号が与えられた
とき、前記画像信号を平滑化閾値の小さい第２の劣化画
像信号として出力する画像信号選択手段と、前記画像信
号選択手段で選択された第１の劣化画像信号と第２の劣
化画像信号とに対して夫々異なる平滑化処理を行う画像
平滑化フィルタ手段と、を具備することを特徴とするも
のである。

【００１３】本願の請求項３の発明は、圧縮符号化によ
り複数の画素データよりなる原画像に劣化を生じた場合
に、劣化画像の画像歪みを除去する歪み除去装置であっ
て、前記劣化画像から縦ｍ画素×横ｎ画素のフィルタ画
素サイズの画像信号を抽出するフィルタサイズ画像抽出
手段と、前記フィルタサイズ画像抽出手段の画像信号に
対して平滑化処理を行う画像平滑化手段と、前記画像平
滑化手段の平滑化画像信号と前記フィルタサイズ画像抽
出手段の非平滑化画像信号とが入力され、前記平滑化画
像信号と前記非平滑化画像信号との差分信号を算出し、
この信号を差分画像信号として出力する差分画像算出手
段と、画素データの大小を比較するための閾値を設定す
ると共に、前記差分画像算出手段で得られた差分画像信
号を前記閾値で分け、前記閾値以上の画像のとき第１の
制御信号を出力し、前記閾値未満の画像のとき第２の制
御信号を発生する閾値設定手段と、前記フィルタサイズ
画像抽出手段の画像信号が入力され、前記閾値設定手段
から第１の制御信号が与えられたとき、前記画像信号を
平滑化閾値の大きい第１の劣化画像信号として出力し、
前記閾値設定手段から第２の制御信号が与えられたと
き、前記画像信号を平滑化閾値の小さい第２の劣化画像
信号として出力する画像信号選択手段と、前記画像信号
選択手段で選択された第１の劣化画像信号と第２の劣化
画像信号とに対して夫々異なる平滑化処理を行う画像平
滑化フィルタ手段と、を具備すること特徴とするもので
ある。

【００１４】本願の請求項４の発明は、圧縮符号化によ
り複数の画素データよりなる原画像に劣化を生じた場合
に、劣化画像の画像歪みを除去する歪み除去装置であっ
て、前記劣化画像から縦ｍ画素×横ｎ画素（ｍ、ｎは奇
数）のフィルタ画素サイズの画像信号を抽出するフィル
タサイズ画像抽出手段と、前記フィルタサイズ画像抽出
手段で得られたフィルタ画素サイズの画像信号のうち中
心に位置する画素データを中心画素データとし、前記中
心位置の周辺に位置する画素データを周辺画素データと
するとき、前記中心画素データと前記周辺画素データと
の差分の絶対値である差分絶対値を算出する差分絶対値
算出手段と、前記差分絶対値算出手段で得られた差分絶
対値を前記フィルタ画素サイズの画像信号の全てについ
て加算し、加算結果を差分絶対値和として出力する差分
絶対値和算出手段と、画素データの変化の大小を比較す
るための閾値を設定すると共に、前記差分絶対値和算出
手段で得られた差分絶対値和を前記閾値で分け、前記差
分絶対値和が前記閾値以上のとき第１の制御信号を出力
し、前記差分絶対値和が前記閾値未満のとき第２の制御
信号を発生する閾値設定手段と、前記フィルタサイズ画
像抽出手段の画像信号が入力され、前記閾値設定手段か
ら第１の制御信号が与えられたとき、前記画像信号を平
滑化閾値の大きい第１の劣化画像信号として出力し、前
記閾値設定手段から第２の制御信号が与えられたとき、
前記画像信号を平滑化閾値の小さい第２の劣化画像信号
として出力する画像信号選択手段と、前記画像信号選択
手段で選択された第１の劣化画像信号と第２の劣化画像
信号とに対して夫々異なる平滑化処理を行う画像平滑化
フィルタ手段と、を具備することを特徴とするものであ
る。

【００１５】本願の請求項５の発明では、前記画像平滑
化フィルタ手段は、前記フィルタサイズ画像抽出手段で
得られた画像信号の中心位置の画素データを中心画素デ
ータとし、前記中心位置の周辺に位置する周辺画素の画
素データを周辺画素データとするとき、前記中心画素デ
ータに対する前記各周辺画素データの差分値を算出し、
この信号を画素データ間差分値と出力する画素データ間
差分算出手段と、前記画素データ間差分算出手段で得ら
れた画素データ間差分値を差分絶対値に変換する絶対値
算出手段と、前記絶対値算出手段で算出された差分絶対
値が所定の平滑化閾値以下であるとき、前記画素データ
間差分値を平滑化したものを平滑化調整値として算出
し、前記フィルタサイズ画像抽出手段で得られた画像信
号に前記平滑化調整値を加算することにより、平滑化画
素データを生成する画像データ平滑化調整手段と、を有
することを特徴とするものである。

【００１６】本願の請求項８の発明は、圧縮符号化によ
り複数の画素データよりなる原画像に劣化を生じた場合
に、劣化画像の画像歪みを除去する歪み除去装置であっ
て、前記劣化画像から縦ｍ画素×横ｎ画素（ｍ、ｎは奇
数）のフィルタ画素サイズの画像信号を抽出するフィル
タサイズ画像抽出手段と、前記フィルタサイズ画像抽出
手段で得られたフィルタ画素サイズの画像信号の中心に
位置する画素データを中心画素データとし、前記劣化画
像から前記中心画素データ又は前記中心画素データの近
傍画素データを含み、且つ前記フィルタ画素サイズの画
像信号の画素データ数より多い複数画素データである第
１の複数画素データを抽出する第１の画素データ抽出手
段と、前記劣化画像から前記中心画素データを含み、且
つ前記第１の画素データ抽出手段で抽出する画素データ
数より少ない複数画素データである第２の複数画素デー
タを抽出する第２の画素データ抽出手段と、前記第１の
画素データ抽出手段で得られた第１の複数画素データの
変化の大きさを画素情報として抽出する第１の画素情報
抽出手段と、前記第２の画素データ抽出手段で得られた
第２の複数画素データの変化の大きさを画素情報として
抽出する第２の画素情報抽出手段と、前記第１の画素情
報抽出手段で得られた第１の画素情報を前記第２の画素
情報抽出手段で得られた第２の画素情報で補正しながら
平滑化閾値を算出する平滑化閾値算出手段と、前記フィ
ルタサイズ画像抽出手段で得られたフィルタ画素サイズ
の中心位置の周辺に位置する周辺画素の画素データを周
辺画素データとするとき、前記中心画素データと前記周
辺画素データの差分値である差分データの絶対値が、前
記平滑化閾値算出手段の出力する平滑化閾値以下のとき
のみ、前記差分データを所定の値で除したものを前記フ
ィルタサイズ画像抽出手段の中心画素データに加算して
平滑化する画像平滑化フィルタ手段と、を具備すること
を特徴とするものである。

【００１７】本願の請求項９の発明では、前記第１の画
素情報抽出手段は、前記第１の画素データ抽出手段で得
られた第１の複数画素データに対して、前記第１の複数
画素データの連続する画素データ間の１次差分絶対値の
平均を画素情報として抽出するものであり、前記第２の
画素情報抽出手段は、前記第２の画素データ抽出手段で
得られた第２の複数画素データに対して、前記第２の複
数画素データの連続する画素データ間の１次差分絶対値
の平均を画素情報として抽出するものであり、前記平滑
化閾値算出手段は、前記第１の画素情報抽出手段で得ら
れた画素情報に対して、第１の重み付け係数を乗じて第
１の閾値成分を算出する第１の閾値成分算出手段と、前
記第２の画素情報抽出手段で得られた画素情報に対し
て、第２の重み付け係数を乗じて第２の閾値成分を算出
する第２の閾値成分算出手段と、前記第１の閾値成分算
出手段で得られた第１の閾値成分から前記第２の閾値成
分算出手段で得られた第２の閾値成分を差し引いて平滑
化閾値を算出する閾値差分手段と、前記閾値差分手段で
得られた平滑化閾値が前記第２の画素情報抽出手段で得
られた画素情報によって制限された範囲にあるとき、前
記閾値差分手段で得られた平滑化閾値を補正する閾値補
正手段と、を有することを特徴とするものである。

【００１８】本願の請求項１０の発明では、前記第１の
画素情報抽出手段は、前記第１の画素データ抽出手段で
得られた第１の複数画素データに対して、連続する画素
データ間の２次差分絶対値の平均を画素情報として抽出
するものであり、前記第２の画素情報抽出手段は、前記
第２の画素データ抽出手段で得られた第２の複数画素デ
ータに対して、連続する画素データ間の２次差分絶対値
の平均を画素情報として抽出するものであり、前記平滑
化閾値算出手段は、前記第１の画素情報抽出手段で得ら
れた画素情報に対して、第１の重み付け係数を乗じて第
１の閾値成分を算出する第１の閾値成分算出手段と、前
記第２の画素情報抽出手段で得られた画素情報に対し
て、第２の重み付け係数を乗じて第２の閾値成分を算出
する第２の閾値成分算出手段と、前記第１の閾値成分算
出手段で得られた第１の閾値成分から前記第２の閾値成
分算出手段で得られた第２の閾値成分を差し引いて平滑
化閾値を算出する閾値差分手段と、前記閾値差分手段で
得られた平滑化閾値が前記第２の画素情報抽出手段で得
られた画素情報によって制限された範囲にあるとき、前
記閾値差分手段で得られた平滑化閾値を補正する閾値補
正手段と、を有するものであることを特徴とするもので
ある。

【００１９】本願の請求項１１の発明では、前記第１の
画素情報抽出手段は、前記第１の画素データ抽出手段で
得られた第１の複数画素データに対して、連続する画素
データ間の１次差分絶対値の平均を画素情報として抽出
するものであり、前記第２の画素情報抽出手段は、前記
第２の画素データ抽出手段で得られた第２の複数画素デ
ータに対して、連続する画素データ間の１次差分絶対値
の平均を１次差分画素情報として抽出する１次差分画素
情報抽出手段と、前記第２の画素データ抽出手段で得ら
れた第２の複数画素データに対して、連続する画素デー
タ間の２次差分絶対値の平均を２次差分画素情報として
抽出する２次差分画素情報抽出手段と、を有するもので
あり、前記平滑化閾値算出手段は、前記第１の画素情報
抽出手段で得られた画素情報に対して、第１の重み付け
係数を乗じて第１の閾値成分を算出する第１の閾値成分
算出手段と、前記１次差分画素情報抽出段で得られた１
次差分画素情報に対して、第２の重み付け係数を乗じて
第２の閾値成分を算出する第２の閾値成分算出手段と、
前記第１の閾値成分算出手段で得られた第１の閾値成分
から前記第２の閾値成分算出手段で得られた第２の閾値
成分を差し引いて平滑化閾値を算出する閾値差分手段
と、前記閾値差分手段で得られた平滑化閾値が、前記１
次差分画素情報抽出手段で得られた１次差分画素情報に
よって制限された所定の範囲あるいは前記２次差分画素
情報抽出手段で得られた２次差分画素情報とによって制
限された所定の範囲にあるとき、前記閾値差分手段で得
られた平滑化閾値を補正する閾値補正手段と、を有する
ことを特徴とするものである。

【００２０】ＤＣＴ符号化方式によって圧縮し劣化を生
じた劣化画像では、画像の濃淡変化の大きな輪郭やエッ
ジの近傍の平坦部分に発生する歪みと、濃淡変化はさほ
ど大きくないが小刻みに濃淡が変化するテクスチャ画像
に発生する歪みとで、その歪みの大きさが異なる。すな
わち、前者の歪みの大きさは後者のそれに比べて大であ
る。このため、これら歪みを除去するには、歪みの大き
さに対して適応的に歪み除去の大きさが変えられる画像
平滑化フィルタ手段が必要である。

【００２１】このような理由から、本願の請求項１の発
明によれば、劣化画像をｍ×ｎ画素のフィルタサイズ画
像毎に順次抽出し、フィルタサイズ画像の画素データの
最小値、最大値および中央値を算出する。次に、中央値
と最小値の差の絶対値および中央値と最大値の差の絶対
値を算出し、どちらか小さい絶対値を平滑化閾値（歪み
の大きさ）の上限値として出力する。最後的に、フィル
タサイズ画像の各画素データと平滑化対象画素の中心画
素データとの差分である画素データ間差分の絶対値を平
滑化閾値と比較し、画素データ間差分の絶対値が平滑化
閾値以下のときの画素データ間差分のみを用いて平滑化
対象画素の中心画素を平滑化する。これによって、歪み
除去の大きさをフィルタサイズ画像内の濃淡変化の大き
さに対して適応的に変化させることができる。

【００２２】又本願の請求項２、５、６及び７の発明に
よれば、劣化画像の濃淡変化の大きさを示す微分画像を
算出し、微分画像を所定の閾値で分け、所定の閾値以上
の微分画像の画像位置に対応する第１の劣化画像（歪み
成分の大きさも大の画像）と閾値未満の微分画像の画像
位置に対応する第２の劣化画像（歪み成分の大きさも小
の画像）を出力する。次に、第１の劣化画像と第２の劣
化画像に対し、平滑化される中心画素とその画素に近接
し平滑化に用いられる周囲画素との画素データの差分で
ある画素データ間差分と画素データ間差分の絶対値を算
出する。最終的に、第１の劣化画像と第２の劣化画像の
画素データ間差分の絶対値が所定の平滑化閾値（歪みの
大きさ）以下であるとき（ただし、第１の劣化画像に関
する平滑化閾値は第２の劣化画像に関する平滑化閾値よ
り大）、その画素データ間差分を用いて中心画素を平滑
化することで、歪み除去の大きさを微分画像の大きさに
よって変えることができる。

【００２３】又本願の請求項３、５、６及び７の発明に
よれば、劣化画像の平滑化画像と劣化画像との差分画
像、すなわち歪み成分を含んだ画像を算出し、差分画像
を所定の閾値で分け、閾値以上の差分画像の画像位置に
対応する第１の劣化画像（歪み成分の大きさも大の画
像）と閾値未満の差分画像の画像位置に対応する第２の
劣化画像（歪み成分の大きさも小の画像）を出力する。
次に、第１の劣化画像と第２の劣化画像に対し、平滑化
される中心画素とその画素に近接し平滑化に用いられる
周囲画素との画素データの差分である画素データ間差分
と画素データ間差分の絶対値を算出する。最終的に、第
１の劣化画像と第２の劣化画像の画素データ間差分の絶
対値が所定の平滑化閾値（歪みの大きさ）以下であると
き（ただし、第１の劣化画像に関する平滑化閾値は第２
の劣化画像に関する閾値より大）、その画素データ間差
分を用いて中心画素を平滑化することで、歪み除去の大
きさを差分画像の大きさによって変えることができる。

【００２４】又本願の請求項４、５、６及び７の発明に
よれば、劣化画像をｍ×ｎ画素のフィルタサイズ画像毎
に順次抽出し、フィルタサイズ画像の中心画素データと
その周辺各画素データとの差分絶対値の総和を算出す
る。次に、前記差分絶対値の総和を所定の閾値で分け、
所定の閾値以上の差分絶対値の総和の画像位置に対応す
る第１の劣化画像（歪み成分の大きさも大の画像）と閾
値未満の差分絶対値の総和の画像位置に対応する第２の
劣化画像（歪み成分の大きさも小の画像）を出力する。
次に、第１の劣化画像と第２の劣化画像に対し、平滑化
される中心画素とその画素に近接し平滑化に用いられる
周囲画素との画素データの差分である画素データ間差分
と画素データ間差分の絶対値を算出する。最終的に、第
１の劣化画像と第２の劣化画像の画素データ間差分の絶
対値が所定の平滑化閾値（歪みの大きさ）以下であると
き（ただし、第１の劣化画像に関する平滑化閾値は第２
の劣化画像に関する平滑化閾値より大）、その画素デー
タ間差分を用いて中心画素を平滑化することで、歪み除
去の大きさをフィルタサイズ画像の差分絶対値の総和の
大きさによって変えることができる。

【００２５】又本願の請求項８、９、１０、１１の発明
によれば、劣化画像に対し、平滑化される平滑化対象画
素データないしはその近傍画素データを含む大きな画像
領域の複数画素データと、前記対象画素データを含む小
さな画像領域の複数画素データとを抽出し、大きな画像
領域の画素データの変化の大きさをあらわす画素情報と
小さな画像領域の画素データの変化の大きさをあらわす
画素情報とを抽出する。次に、大きな画像領域の画素情
報を小さな画像領域の画素情報によって補正しながら平
滑化対象画素データの平滑化閾値を算出する。最終的
に、平滑化対象画素データと平滑化対象画素データの周
辺に位置する周辺画素データとの差分値と差分絶対値を
算出し、前記差分絶対値が前記平滑化閾値以下のときの
み、前記差分値を所定の値で除したものを平滑化対象画
素データに加算して平滑化する。これによって、歪みの
除去の大きさを大きな画像領域の画素情報に対応させる
と同時に小さな画像領域の画素情報によっても局所的に
補正できる。

【００２６】

【発明の実施の形態】

（実施の形態１）本発明の第１実施形態における歪み除
去装置について図１及び図４を参照しつつ説明する。図
１は第１実施形態における歪み除去装置の全体構成を示
すブロック図である。図示しない符号化装置で、ＤＣＴ
等により圧縮された画像信号は、記録媒体に記録される
か、又は伝送用として受信側の復号装置に出力される。
本図に示す歪み除去装置は、一般に記録媒体の再生時に
又は受信側の復号装置に使用される装置である。

【００２７】復号装置で復号された画像信号は、原画像
に比較して劣化している場合が多い。このような劣化画
素を含む画像信号は図１の入力端子１を介してフィルタ
サイズ画像抽出回路２に入力される。フィルタサイズ画
像抽出回路２は入力画像信号を縦ｍ画素×横ｎ画素（本
実施形態ではｍ＝ｎで、ｍ、ｎは奇数値とする）のフィ
ルタ画素サイズ毎に順次に切り出す回路である。タイミ
ングクロック生成器３はフィルタサイズ画像抽出回路
２、バッファメモリ４、及び後述する他の回路部の動作
タイミングを制御する制御信号の発生回路である。

【００２８】バッファメモリ４はフィルタ画素サイズの
画像信号を記憶するメモリである。遅延回路５はタイミ
ングクロック生成器３の出力する制御信号を遅延させ、
他の回路部との時間調整をする回路である。遅延回路６
はバッファメモリ４に記憶されたフィルタ画素サイズの
画像信号を一時保持し、他の回路部との時間を調整した
後、フィルタ画素サイズの画像信号をε−フィルタ１１
に供給する回路である。

【００２９】最小値検出回路７、中央値検出回路８及び
最大値検出回路９は夫々、バッファメモリ４から供給さ
れたフィルタ画素サイズの画像信号に対して最小値、中
央値及び最大値を検出する画素特徴値検出手段である。
ε値算出回路１０は最小値検出回路７、中央値検出回路
８及び最大値検出回路９から供給される最小値、中央値
及び最大値に対して、中央値と最小値の差を第１の絶対
値として算出すると共に、中央値と最大値の差を第２の
絶対値として算出し、第１及び第２の絶対値を比較する
平滑化閾値算出手段である。そしてどちらか小さい絶対
値を閾値εとしてε−フィルタ１１に供給する。

【００３０】ε−フィルタ１１は、平滑化対象の中心画
素とその周囲画素との差分の絶対値の大きさによって、
周囲画素を平滑化に用いるか否かを選択し、平滑化画像
信号を発生する画像平滑化フィルタ手段である。

【００３１】図４はε−フィルタ１１の具体的な構成を
示すブロック図である。図４の画素データ間差分算出回
路６１は図１の遅延回路６から出力された画像信号に対
して、フィルタの中心画素とその周囲画素との画素デー
タの差分である画素データ間差分値を算出する画素デー
タ間差分算出手段である。絶対値算出回路６２は画素デ
ータ間差分算出回路６１から出力された画素データ間差
分値の絶対値を算出する絶対値算出手段である。平滑化
閾値回路６３は絶対値算出回路６２から供給された画素
データ間差分値の絶対値のうち、図１のε値算出回路１
０から供給された平滑化閾値ε以下の絶対値のときの
み、画素データ間差分算出回路６１の画素値を通過させ
る制御信号を画素データ間差分選択回路６４に出力する
回路である。

【００３２】画素データ間差分選択回路６４は平滑化閾
値回路６３から通過の制御信号が入力されたときのみ、
画素データ間差分算出回路６１から出力された画素デー
タ間差分値を通し、遮断の制御信号が入力されたとき、
画素データ間差分算出回路６１から出力された画素デー
タを０に変換して出力する回路である。画素データ間差
分加算回路６５は画素データ間差分選択回路６４から供
給されたｍ×ｎ個の画素データ間差分値を加算し、画素
データ間差分加算値を出力する回路である。

【００３３】平滑化調整値算出回路６６は画素データ間
差分加算回路６５から供給された画素データ間差分加算
値を、例えばフィルタ画素サイズの画素の総数ｍ×ｎで
除算し、１画素当たりの平滑化調整値を算出する回路で
ある。平滑化画素算出回路６７は遅延回路６から出力さ
れた中心画素のデータと、平滑化調整値算出回路６６か
ら供給された平滑化調整値との和を演算し、中心画素の
平滑化画素データとして出力する回路である。この平滑
化画素データは図１の出力端子１２を介して外部の画像
メモリ等へ出力される。ここで画素データ間差分値選択
回路６４，画素データ間差分加算回路６５，平滑化調整
値算出回路６６，平滑化画素算出回路６７は、フィルタ
サイズ画像抽出手段で得られた画像から平滑化画素デー
タを生成する画像データ平滑化調整手段の機能を有して
いる。

【００３４】このように構成された第１実施形態の歪み
除去装置の動作について説明する。まず信号源から出力
される原画像にＤＣＴ変換及び量子化等の信号処理を行
う。この圧縮された信号を逆ＤＣＴ変換等により復調及
び伸長処理を行う。この信号処理過程で画質が劣化した
輝度信号を劣化画像信号と呼ぶ。この劣化画像信号を図
１の入力端子１に入力する。この劣化画像信号はタイミ
ングクロック生成器３の制御信号に従って、フィルタサ
イズ画像抽出回路２に与えられ、縦ｍ画素×横ｎ画素の
フィルタ画素サイズの画像信号に変換される。そしてこ
の画像信号はバッファメモリ４に供給され、ここで一時
保持される。

【００３５】バッファメモリ４は、フィルタ画素サイズ
の画像信号を遅延回路６、最小値検出回路７、中央値検
出回路８及び最大値検出回路９に供給する。遅延回路６
は後述する他の回路部との動作のタイミングをとり、バ
ッファメモリ４から出力されたフィルタ画素サイズの画
像信号をε−フィルタ１１に供給する。また遅延回路５
もタイミングクロック生成器３の制御信号を遅延させ、
ε−フィルタ１１に出力する。

【００３６】最小値検出回路７、中央値検出回路８及び
最大値検出回路９は夫々、バッファメモリ４から供給さ
れたフィルタ画素サイズの画像信号に対して、画素デー
タの最小値、中央値及び最大値を検出してそれらをε値
算出回路１０に与える。ε値算出回路１０は、中央値と
最小値の差を演算してこれを第１の絶対値とし、中央値
と最大値の差を演算してこれを第２の絶対値とする。そ
してε値算出回路１０は第１及び第２の絶対値のうち、
小さい方を平滑化閾値εとしてε−フィルタ１１に与え
る。この閾値εは圧縮歪みの大きさの上限値に相当す
る。

【００３７】ここでε−フィルタ１１の動作について、
図５に示すフィルタ画素サイズの画像信号を用いて具体
的に説明する。図５（ａ）は図１の遅延回路６から出力
される縦３×横３のフィルタ画素サイズの画像信号の一
例を示す。そして平滑化対象となる中心画素ｐ（ｘ，
ｙ）のデータは７とする。図４の画素データ間差分算出
回路６１はこの画像信号が与えられると、フィルタの中
心に位置する画素データ７と、その周囲に位置する画素
データの差分である画素データ間差分値を算出する。こ
こで算出された画素データ間差分値は図５（ｂ）のよう
になる。

【００３８】この画素データ間差分値を絶対値算出回路
６２に供給すると、３×３の各画素データが図５（ｃ）
に示すような絶対値に変換され、平滑化閾値回路６３に
出力される。平滑化閾値回路６３はこのような画素デー
タ間差分絶対値が供給されると、これらの絶対値のう
ち、図１のε値算出回路１０から供給された平滑化閾値
ε以下の絶対値を判別し、画素データ間差分選択回路６
４に対してゲートを解放する通過制御信号を出力する。

【００３９】ここで平滑化閾値εとして例えば「５」が
与えられると、平滑化閾値回路６３は画素データ間差分
選択回路６４に対して「５」以下の画素データを通過さ
せる制御信号を与える。画素データ間差分選択回路６４
では画素データ間差分算出回路６１から供給された画素
データ間差分値を平滑化閾値回路６３からの制御信号で
選択する。そうすると画素データ間差分選択回路６４は
図５（ｄ）に示すような画像信号を出力する。

【００４０】画素データ間差分選択回路６４からの画素
データ間差分値が画素データ間差分加算回路６５に入力
されると、３×３個の画素データが加算され、画素デー
タ間差分加算値として図５（ｅ）に示すような「−９」
が出力される。この信号は平滑化調整値算出回路６６に
与えられ、フィルタ画素サイズの画素数９で除算され、
平滑化調整値として「−９／９」が出力される。この平
滑化調整値が平滑化画素算出回路６７に出力されると、
遅延回路６から出力されたフィルタ画素サイズの中心画
素のデータ「７」と加算され、最終的な中心画素の平滑
化画素データとして「６」が出力される。

【００４１】このように平滑化画素データｑ（ｘ，ｙ）
は（１）式に示した変換式で変換され、出力端子１２か
ら出力される。こうして歪みが除去されたフィルタ画素
サイズの画像信号が図示しない外部の画像メモリ等へ出
力される。

【００４２】ここで画素データ間差分選択回路６４、画
素データ間差分加算回路６５、平滑化調整値算出回路６
６、平滑化画素算出回路６７は、絶対値算出回路６２で
算出された差分絶対値が、平滑化閾値回路６３で得られ
た閾値以下であるとき、画素データ間差分値を平滑化し
たものを平滑化調整値として算出し、フィルタサイズ画
像抽出手段で得られた画像信号に平滑化調整値を加算す
ることにより、平滑化画素データを生成する画像データ
平滑化調整手段を構成している。

【００４３】以上のように第１実施形態によれば、ε−
フィルタで劣化画像を平滑化するにあたって、フィルタ
画素サイズの画素データの最小値と中央値の差を第１の
絶対値とし、最大値と中央値の差を第２の絶対値とす
る。そしてどちらか小さい方の絶対値を平滑化閾値又は
期待される歪みの大きさとし、この値を基に画素単位で
平滑化の大きさ、ひいては歪み除去の大きさを変化させ
ることができる。

【００４４】なお上記実施形態では、図４の画素データ
間差分加算回路６５において加算された画素データ間差
分値をフィルタ画素の画素データの総数で除算して平滑
化調整値を算出したが、演算高速のためフィルタサイズ
に合わせ２のべき乗値で除算してもよい。また本実施形
態では画素データ間差分値を単純加算し、スケールファ
クタＳ（ｘ，ｙ）として１／９を設定したが、画素デー
タ間差分値に対して中心画素に近接しているほど、重み
付けの値を大にするようなスケールファクタＳ（ｘ，
ｙ）を用いてもよい。さらに、本実施形態では最も簡単
なε−フィルタを用いたが、設定された閾値に基づいて
非線形的な平滑化を行うε−フィルタや他の改良型フィ
ルタを用いてもよい。

【００４５】（実施の形態２）本発明の第２実施形態に
おける歪み除去装置について図２及び図４を参照しつつ
説明する。図２は第２実施形態における歪み除去装置の
全体構成を示すブロック図である。図２に示すブロック
のうち、図１と同じ名称のブロックは第１実施形態と同
じ機能を有し、同様の動作を行うものであるので、それ
らの詳細な説明は省略する。また図４に示すε−フィル
タの構成及びその動作も第１実施形態と同一であり、説
明は省略する。

【００４６】図示しない符号化装置でＤＣＴ等により圧
縮された画像信号は、記録媒体に記録されるか、又は伝
送用として受信側の復号装置に出力される。復号装置で
復号された劣化部分を含む劣化画像信号は、入力端子２
１を介してフィルタサイズ画像抽出回路２２に入力され
る。フィルタサイズ画像抽出回路２２は入力画像信号
を、例えば縦ｍ画素×横ｎ画素のフィルタ画素サイズ毎
に順次切り出す回路である。

【００４７】タイミングクロック生成器２３はフィルタ
サイズ画像抽出回路２２、バッファメモリ２４、及び後
述する他の回路部の動作タイミングを制御する制御信号
の発生回路である。バッファメモリ２４はフィルタ画素
サイズの画像信号を一時保持するメモリである。遅延回
路２５はタイミングクロック生成器２３の制御信号を遅
延させる回路である。遅延回路２６はバッファメモリ２
４に記憶されたフィルタ画素サイズの画像信号を保持
し、他の回路部との時間調整をする回路である。

【００４８】２微分フィルタ２７は、バッファメモリ２
４の画像信号を入力し、例えば（２）式に示すようなフ
ィルタ係数で演算する微分画像算出手段であり、２次元
ラプラシアンフィルタで構成される。

【数２】 この演算によって２微分フィルタ２７は入力信号の２次
微分を行い、画像の濃淡変化の大きさを算出する。閾値
回路２８は、画素データの大小を比較するための閾値を
設定すると共に、２微分フィルタ２７の２次微分値が入
力されると、２次微分値の絶対値を算出し、その絶対値
を所定の閾値で仕分ける閾値設定手段である。そして閾
値回路２８は２次微分値の絶対値が所定の閾値以上のと
き第１の制御信号を発生し、また２次微分値の絶対値が
所定の閾値未満のとき第２の制御信号を発生する。

【００４９】信号選択回路２９は閾値回路２８から出力
された第１の制御信号及び第２の制御信号に基づき、遅
延回路２６の出力を選択してε−フィルタ３０又はε−
フィルタ３１に与える画像信号選択手段である。第１の
制御信号の場合はフィルタ画素サイズの画像信号を第１
の劣化画像信号としてε−フィルタ３０に与え、第２の
制御信号の場合はフィルタ画素サイズの画像信号を第２
の劣化画像信号としてε−フィルタ３１に与える。但
し、ε−フィルタ３０はε−フィルタ３１よりも大きな
値の平滑化閾値εを有するε−フィルタである。ε−フ
ィルタ３０、ε−フィルタ３１は、信号選択回路２９で
選択された第１の劣化画像信号、第２の劣化画像信号に
対して夫々異なる平滑化処理を行う画像平滑化フィルタ
手段を構成している。

【００５０】ε−フィルタ３０及びε−フィルタ３１の
構成は、信号選択回路２９から図４の画素データ間差分
算出回路６１及び平滑化画素算出回路６７にフィルタ画
素サイズの画像信号が供給されること、また平滑化閾値
回路６３には、あらかじめε−フィルタ３０又はε−フ
ィルタ３１用の異なる平滑化閾値が設定されている以外
は第１実施形態と同様である。

【００５１】図２の出力選択回路３２は、遅延回路２５
を介してタイミングクロック生成器２３から出力された
制御信号に従って、ε−フィルタ３０又はε−フィルタ
３１で平滑化された画素データを選択する回路である。
出力選択回路３２で選択された平滑済みの画素データは
出力端子３３を介して外部の画像メモリ等に出力され
る。

【００５２】このように構成された第２実施形態の歪み
除去装置の動作について説明する。まず図２において、
信号源から出力された原画像にＤＣＴ変換及び量子化等
が行われ、さらに復号装置で復号された劣化画像信号は
入力端子２１に入力される。この劣化画像信号はタイミ
ングクロック生成器２３の制御信号に従って、フィルタ
サイズ画像抽出回路２２に入力され、縦ｍ画素×横ｎ画
素のフィルタ画素サイズの画像信号に変換される。この
画像信号はバッファメモリ２４に入力され、一旦保持さ
れる。

【００５３】次にバッファメモリ２４はフィルタ画素サ
イズの画像信号を遅延回路２６及び２次微分フィルタ２
７に出力する。遅延回路２６は後述する他の回路部の動
作タイミングとり、バッファメモリ２４から出力された
フィルタ画素サイズの画像信号を信号選択回路２９に供
給する。また遅延回路２５もタイミングクロック生成器
２３の制御信号を後述する他の回路部の動作に要する時
間だけ遅延させ、信号選択回路２９及び出力選択回路３
２に出力する。

【００５４】２次微分フィルタ２７では、例えばフィル
タ画素サイズの画像信号の中心画素データを（２）式に
示すフィルタの中心位置に来るよう設定し、この式でフ
ィルタリングして２次微分値を算出する。ここで算出さ
れた２次微分値は閾値回路２８に出力される。閾値回路
２８は入力された２次微分値を絶対値に変換し、所定の
閾値と比較する。そして２次微分値の絶対値が所定の閾
値以上のときは、第１の制御信号を出力し、２次微分値
の絶対値が所定の閾値未満のときは、第２の制御信号を
出力し、信号選択回路２９に与える。

【００５５】信号選択回路２９は閾値回路２８から出力
された第１の制御信号又は第２の制御信号に基づき、遅
延回路２６の出力するフィルタ画素サイズの画像信号を
ε−フィルタ３０又はε−フィルタ３１へ選択して振り
分ける。即ち、第１の制御信号が入力されたときは、フ
ィルタ画素サイズの画像信号をε−フィルタ３０に与
え、第２の制御信号が入力されたときは、フィルタ画素
サイズの画像信号をε−フィルタ３１に与える。

【００５６】ε−フィルタ３０及びε−フィルタ３１は
信号選択回路２９から供給されたフィルタ画素サイズの
画像信号に対して、第１実施形態のε−フィルタ１１と
同様の動作をする。但し、図４の平滑化閾値回路６３に
は、あらかじめ所定の平滑化閾値、即ちε−フィルタ３
０の平滑化閾値がε−フィルタ３１のそれよりも大きい
値で設定されている。このため、２次微分値の絶対値が
所定の閾値以上のときは、フィルタ画素サイズの画像信
号をε−フィルタ３０で処理し、２次微分値の絶対値が
所定の閾値未満のときは、フィルタ画素サイズの画像信
号をε−フィルタ３１で処理する。

【００５７】ε−フィルタ３０又はε−フィルタ３１で
平滑化された中心画素のデータは、出力選択回路３２に
与えられる。出力選択回路３２は遅延回路２５からのタ
イミングの制御信号に従って、ε−フィルタ３０又はε
−フィルタ３１のいずれかで平滑化された画素データを
選択し、平滑化された中心画素のデータを出力端子３３
を介して外部の画像メモリ等に出力する。

【００５８】このように第２実施形態によれば、まず劣
化画像の２次微分、即ち画像の濃淡変化の大きさを算出
し、次に２次微分の大きさによって劣化画像を大きく２
つに分ける。そしてそれらの画像信号に対して平滑化閾
値の異なるε−フィルタを用いて平滑化する。これによ
って画像に生じた歪みの大きさに合わせて歪み除去を行
うことができる。

【００５９】なお第２実施形態では、画像の濃淡変化の
大きさを算出するのに２次微分を用いたが、垂直方向及
び水平方向の１次微分の和を用いてもよい。また、閾値
回路では２次微分値を２段階に分けたが、画像の歪みの
大きさに合わせて多段階に分けてもよく、その場合は分
ける数に合わせて平滑化閾値の異なるε−フィルタを複
数用意する。更に本実施形態では、平滑化による除去手
段として図４に示すような最も簡単なε−フィルタを用
いたが、ある閾値に基づいて非線形的に平滑化を行うε
−フィルタや、改良したフィルタを用いてもよい。

【００６０】（実施の形態３）次に本発明の第３実施形
態における歪み除去装置について図３及び図４を参照し
つつ説明する。図３は第３実施形態における歪み除去装
置の全体構成を示すブロック図である。図３及び図４に
おいて第１、第２実施形態と同一機能を有するブロック
は同一の名称を付け、それらの詳細な説明は省略する。

【００６１】図３に示すフィルタサイズ画像抽出回路４
２、タイミングクロック生成器４３、バッファメモリ４
４、遅延回路４５、遅延回路４６、出力選択回路５３
は、第２実施形態におけるフィルタサイズ画像抽出回路
２２、タイミングクロック生成器２３、バッファメモリ
２４、遅延回路２５、遅延回路２６、出力選択回路３２
と全く同一の動作をする回路である。

【００６２】さて平滑化回路４７は、例えば（３）式に
示すようなフィルタ係数を有する画像平滑化手段であ
る。

【数３】

【００６３】平滑化回路４７は劣化画像のフィルタサイ
ズ内の画素データを周囲画素で加算平均し、平滑化画像
信号を生成する。差分信号算出回路４８は平滑化回路４
７から与えられたフィルタ画素サイズの平滑化画像信号
と、バッファメモリ４４から供給されたフィルタ画素サ
イズの非平滑化画像信号との差分データを算出する差分
画像算出手段である。

【００６４】閾値回路４９は、画素データの大小を比較
するための閾値を設定すると共に、差分信号算出回路４
８の出力する差分データを絶対値に変換し、その絶対値
を所定の閾値で分ける閾値設定手段である。そして閾値
回路４９は、差分データの絶対値が所定の閾値以上のと
き第１の制御信号を出力し、また差分信号の絶対値が所
定の閾値未満のとき第２の制御信号を出力する回路であ
る。

【００６５】信号選択回路５０は閾値回路４９から出力
された第１の制御信号及び第２の制御信号に基づき、遅
延回路４６から入力されたフィルタ画素サイズの画像信
号を、ε−フィルタ５１又はε−フィルタ５２に仕分け
をして出力する分離平滑化手段である。信号選択回路５
０は第１の制御信号が与えられると、遅延回路４６の画
像信号をε−フィルタ５１に出力し、第２の制御信号が
与えられると、遅延回路４６の画像信号をε−フィルタ
５２に出力する。なお、ε−フィルタ５１の平滑化閾値
はε−フィルタ５２よりも大とする。

【００６６】ε−フィルタ５１及びε−フィルタ５２の
構成は、第１実施形態のε−フィルタと同様であるが、
信号選択回路５０からフィルタ画素サイズの画像信号が
画素データ間差分算出回路６１及び平滑化画素算出回路
６７に供給される点、また平滑化閾値回路６３にあらか
じめε−フィルタ５１及びε−フィルタ５２用の異なる
平滑化閾値が設定されている点が異なる。

【００６７】このように構成された第３実施形態の歪み
除去装置の動作について、特に第２実施形態と異なる部
分について説明する。まず図３において、信号源から出
力される原画像にＤＣＴ変換及び量子化等が行われ、さ
らに復号装置で復号された劣化画像信号は入力端子２１
に入力される。この劣化画像信号はタイミングクロック
生成器４３の制御信号に従ってフィルタサイズ画像抽出
回路４２に入力され、所定のフィルタ画像サイズで抽出
される。そしてこの画像はバッファメモリ４４に保持さ
れる。そしてバッファメモリ４４に保持されたフィルタ
画素サイズの画像信号は遅延回路４６、平滑化回路４
７、差分信号算出回路４８に出力される。

【００６８】平滑化回路４７では、例えばフィルタ画素
サイズの画像信号の中心画素データが（３）式のフィル
タの中心に来るようにフィルタリングし、フィルタ内の
画素データを平均化した平滑化画像信号を算出する。差
分信号算出回路４８は、平滑化回路４７からの平滑化画
像信号と、バッファメモリ４４からの非平滑化画像信号
との間で差分データを算出する。

【００６９】閾値回路４９は入力された差分データを絶
対値に変換した後、所定の閾値と比較する。そして閾値
回路４９は、差分データの絶対値が所定の閾値以上のと
きは第１の制御信号を発生し、また差分データの絶対値
が所定の閾値未満のときは第２の制御信号を発生し、第
１又は第２の制御信号を信号選択回路５０に与える。

【００７０】信号選択回路５０は閾値回路４９から供給
された第１の制御信号又は第２の制御信号に従って、遅
延回路４６から出力されたフィルタ画素サイズの画像信
号をε−フィルタ５１又はε−フィルタ５２に振り分け
る。ε−フィルタ５１とε−フィルタ５２は夫々第２実
施形態のε−フィルタ３０とε−フィルタ３１と同様な
動作をする。即ち、図４の平滑化閾値回路６３には、異
なる平滑化閾値としてε−フィルタ５１の平滑化閾値が
ε−フィルタ５２のそれよりも大きな値で設定されてい
る。

【００７１】従って、差分データの絶対値が所定の閾値
以上のときは、フィルタ画素サイズの画像信号がε−フ
ィルタ５１で処理され、差分データの絶対値が所定の閾
値未満のときは、フィルタ画素サイズの画像信号がε−
フィルタ５２で処理される。ε−フィルタ５１又はε−
フィルタ５２で平滑化された中心画素のデータは出力選
択回路５３に供給される。出力選択回路５３は遅延回路
４５からのタイミングの制御信号に従って、ε−フィル
タ５１又はε−フィルタ５２のいずれかを選択し、平滑
化された中心画素のデータを出力端子５４を介して外部
の画像メモリ等に出力する。

【００７２】このように第３実施形態によれば、まず劣
化画像とその平滑化画像との差分データ、すなわち歪み
成分を含んだ信号を抽出する。次に差分データの大きさ
によって劣化画像を大きく２つに分け、それらに対して
平滑化閾値の異なるε−フィルタを用いて平滑化する。
これによって、画像に生じた歪みの大きさに合わせてそ
の歪み除去することができる。

【００７３】なお、第３実施形態では、劣化画像とその
平滑化画像との差分データを利用したが、劣化画像と劣
化画像を水平ないしは垂直にシフトした画像との差分デ
ータを用いてもよい。又、閾値回路４９では差分データ
を２段階に分けたが、画像の歪みの大きさに合わせて多
段階に分けてもよい。更に平滑化による除去手段とし
て、図４に示すような最も簡単なε−フィルタを用いた
が、ある閾値に基づいて非線形的に平滑化を行うε−フ
ィルタや改良した他のフィルタを用いてもよい。

【００７４】以上のように第１〜第３の実施形態は、い
ずれも画像の濃淡変化の大きさ、あるいは歪みの大きさ
に対して、ε−フィルタのεの閾値を変化させて適応的
な平滑化を行って歪みを除去することができる。但し、
各実施形態はそれぞれ異なる構成のため、次のような個
別の特徴がある。

【００７５】第１実施形態にあっては、画素単位でε−
フィルタの平滑化閾値（期待される歪みの大きさの上限
値に相当）を適応的に変化することができる。このた
め、局所的な歪みの大きさ変化に対しても歪み除去効果
が大きい。

【００７６】第２実施形態にあっては、画像の濃淡変化
の大きさに直接対応した微分値に基づいて劣化画像に期
待される歪みの大きさを２分し、それらを平滑化閾値の
異なるε−フィルタを用いて平滑化する。このため、画
像の濃淡変化の大きさと歪み変化の大きさとの対応関係
から、大きな濃淡変化の近傍に発生した大きな歪みの変
化、及び小さな濃淡変化の近傍に発生した小さな歪み変
化を夫々異なる条件で除去することができる。また他の
実施形態に比べ演算量が少なくてすむ。

【００７７】第３実施形態にあっては、劣化画像とその
平滑化画像との差分、すなわち歪み成分を含んだ信号に
基づいて直接劣化画像の歪みの大きさ領域を２分し、そ
れらを平滑化閾値の異なるε−フィルタを用いて平滑化
する。このため、画像に生じた歪みの大きさに合わせ
て、画像信号の歪みを除去することができる。

【００７８】（実施の形態４）次に本発明の第４実施形
態における歪み除去装置について図６及び図４を参照し
つつ説明する。図６は第３実施形態における歪み除去装
置の全体構成を示すブロック図である。図６及び図４に
おいて第１、第２、第３実施形態と同一機能を有するブ
ロックは同一の名称を付け、それらの詳細な説明は省略
する。

【００７９】図６に示すフィルタサイズ画像抽出回路７
２、タイミングクロック生成器７３、バッファメモリ７
４、遅延回路７５、遅延回路７６、出力選択回路８４
は、第３実施形態におけるフィルタサイズ画像抽出回路
４２、タイミングクロック生成器４３、バッファメモリ
４４、遅延回路４５、遅延回路４６、出力選択回路５３
と夫々同一の動作をする回路である。

【００８０】また、画素データ間差分算出回路７７、絶
対値算出回路７８は、図４の画素データ間差分算出回路
６１、絶対値算出回路６２と夫々同一の動作をする差分
絶対値算出手段である。画素データ間差分算出回路７７
はバッファメモリ７４から出力された画像信号に対し
て、フィルタの中心画素とその周囲画素との画素データ
の差分である画素データ間差分値を算出する回路であ
る。絶対値算出回路７８は画素データ間差分算出回路７
７から出力された画素データ間差分値の絶対値を算出す
る回路である。

【００８１】絶対値和算出回路７９は絶対値算出回路７
８から供給されたｍ×ｎ個の画素データ間差分値の絶対
値を加算し、画素データ間差分絶対値和を出力する差分
絶対値和算出手段である。閾値回路８０は、画素データ
の大小を比較するための閾値を設定すると共に、絶対値
和算出回路７９の出力する画素データ間差分絶対値和を
所定の閾値で仕分ける閾値設定手段である。そして閾値
回路８０は、画素データ間差分絶対値和が所定の閾値以
上のとき第１の制御信号を出力し、また画素データ間差
分絶対値和が所定の閾値未満のとき第２の制御信号を出
力する回路である。

【００８２】信号選択回路８１は閾値回路８０から出力
された第１の制御信号又は第２の制御信号に基づき、遅
延回路７６から入力されたフィルタ画素サイズの画像信
号を、ε−フィルタ８２又はε−フィルタ８３に仕分け
をして出力するものである。そして信号選択回路８１は
第１の制御信号が与えられると、画像信号をε−フィル
タ８２に出力し、第２の制御信号が与えられると、画像
信号をε−フィルタ８２に出力する。なお、ε−フィル
タ８２の平滑化閾値はε−フィルタ８２のものよりも大
とする。

【００８３】ε−フィルタ８２及びε−フィルタ８３の
構成は、第１実施形態のε−フィルタと同様であるが、
信号選択回路８１からフィルタ画素サイズの画像信号が
図４の画素データ間差分算出回路６１及び平滑化画素算
出回路６７に供給される点、また平滑化閾値回路６３に
あらかじめε−フィルタ８２及びε−フィルタ８３に用
いられる異なった値の平滑化閾値が設定されている点が
異なる。

【００８４】このように構成された第４実施形態の歪み
除去装置の動作について、特に第３実施形態と異なる部
分について説明する。まず信号源から出力される原画像
にＤＣＴ変換及び量子化等の信号処理を行う。さらに復
号装置で復号した劣化画像信号を入力端子２１に入力す
る。この劣化画像信号はタイミングクロック生成器７３
の制御信号に従ってフィルタサイズ画像抽出回路７２に
入力され、所定のフィルタ画像サイズで抽出される。そ
してこの画像はバッファメモリ７４に保持される。そし
てバッファメモリ７４に保持されたフィルタ画素サイズ
の画像信号は遅延回路７６、画素データ間差分算出回路
７７に出力される。

【００８５】画素データ間差分算出回路７７では、バッ
ファメモリ７４から供給されたｍ×ｎ個の画素データの
中心に位置する画素データと、その周囲に位置する画素
データの差分である画素データ間差分値を算出する。こ
の画素データ間差分値を絶対値算出回路７８に供給する
と、ｍ×ｎ個の画素データ差分値は絶対値に変換され、
絶対値和算出回路７９に与えられる。絶対値和算出回路
７９はｍ×ｎ個の画素データ間差分値の絶対値を加算
し、その和である画素データ間差分絶対値和を算出す
る。

【００８６】閾値回路８０は、絶対値和算出回路７９か
ら入力された画素データ間差分絶対値和を所定の閾値と
比較する。そして閾値回路８０は、画素データ間差分絶
対値和が所定の閾値以上のとき、第１の制御信号を出力
し、また画素データ間差分絶対値和が所定の閾値未満の
とき、第２の制御信号を出力し、信号選択回路８１に与
える。

【００８７】信号選択回路８１は閾値回路８０から出力
された第１の制御信号又は第２の制御信号に従って、遅
延回路７６の出力するフィルタ画素サイズの画像信号を
ε−フィルタ８２又はε−フィルタ８３へ選択して振り
分ける。ε−フィルタ８２とε−フィルタ８３は、夫々
第３実施形態のε−フィルタ５１とε−フィルタ５２と
同様な動作をする。図６のε−フィルタ８２の平滑化閾
値は、ε−フィルタ８３の平滑化閾値よりも大きい。

【００８８】従って、画素データ間差分絶対値和が所定
の閾値以上のときは、フィルタ画素サイズの画像信号が
ε−フィルタ８２で処理され、画素データ間差分絶対値
和が所定の閾値未満のときは、フィルタ画素サイズの画
像信号がε−フィルタ８３で処理される。ε−フィルタ
８２又はε−フィルタ８３で平滑化された中心画素のデ
ータは出力選択回路８４に供給される。出力選択回路８
４は遅延回路７５からのタイミングの制御信号に従っ
て、ε−フィルタ８２又はε−フィルタ８３のいずれか
で平滑化された中心画素のデータを出力端子８５を介し
て外部の画像メモリ等に出力する。

【００８９】このように第４実施形態によれば、まず劣
化画像のｍ×ｎ個の画素データの中心に位置する画中心
画素データと、その周囲に位置する周辺画素データとの
画素データ間差分値の絶対値の和である画素データ間差
分絶対値和を算出する。次に画素データ間差分絶対値和
の大きさによって劣化画像を大きく２つに分け、それら
に対して平滑化閾値の異なるε−フィルタを用いて平滑
化する。これによって歪み除去の大きさが、平滑化され
る中心対象画素データとその周辺画素データとの差分の
大きさに対応するようになり、適応的な歪み除去が可能
となる。

【００９０】なお、第４実施形態では、閾値回路８０で
画素データ間差分絶対値和を２段階に分けたが、画像の
歪みの大きさに合わせて多段階に分けてもよい。更に平
滑化による除去手段として、図４に示すような最も簡単
なε−フィルタを用いたが、ある閾値に基づいて非線形
的に平滑化を行うε−フィルタや、改良した他のフィル
タを用いてもよい。

【００９１】（実施の形態５）次に本発明の第５実施形
態における歪み除去装置について図７及び図４を参照し
つつ説明する。図７は第５実施形態における歪み除去装
置の全体構成を示すブロック図である。図７及び図４に
おいて第１から第４実施形態と同一機能を有するブロッ
クは同一の名称を付け、それらの詳細な説明は省略す
る。本図に示す歪み除去装置は、一般に記録媒体の再生
時に、又は受信側の復号装置に使用される装置である。

【００９２】復号装置で復号された画像信号は、原画像
に比較して劣化している場合が多い。このような画像の
劣化部分を含む複数の画素データを図７の入力端子９１
を介して、フィルタサイズ画像抽出回路９２、大領域画
素データ抽出回路９３、小領域画素データ抽出回路９４
に入力する。フィルタサイズ画像抽出回路９２は入力画
像信号を縦ｍ画素×横ｎ画素（ｍ＞１、ｎ＞１の奇数
値）のフィルタ画素サイズ毎に順次に切り出す回路であ
る。

【００９３】これに対して大領域画素データ抽出回路９
３は、フィルタサイズ画像抽出回路９２で切り出された
フィルタ画素サイズの中心画素又はその近傍画素を含
み、フィルタ画素サイズの画素数よりも多い複数画素
（上限画素数は画像１フレーム又は画像１フィールドの
全画素とする）の画素データを抽出する第１の画像デー
タ抽出手段である。大領域画素データ抽出回路９３の複
数画素抽出の仕方としては、例えば、図８の（ａ）〜
（ｎ）に示すような抽出方法がある。外枠の四角形は画
像の１フレーム又は１フィールドの画像範囲を表し、黒
丸はフィルタサイズ画像抽出回路９２で切り出されたフ
ィルタ画素サイズの中心画素を示し、白丸は大領域画素
データ抽出回路９３で抽出する画素を示す。ただし、図
８は説明図であるため、枠内の白丸の数は実際の画素数
とは対応しない。

【００９４】なお、図８の（ａ）、（ｃ）、（ｅ）、
（ｇ）、（ｉ）、（ｋ）、（ｌ）、（ｍ）、（ｎ）に黒
丸で示す中心画素は、他の画素である白丸と共に大領域
画素データ抽出回路９３で抽出される。また、図８の
（ａ）、（ｃ）、（ｅ）、（ｇ）、（ｉ）では、縦方向
及び横方向に連続して画素データが抽出され、（ｋ）と
（ｍ）では横方向に、（ｌ）と（ｎ）では縦方向に連続
して画素データが抽出される。さらに図８の（ｂ）、
（ｄ）、（ｈ）では、縦方向に一定の画素間隔を置いて
横方向に連続して画素データが抽出され、（ｆ）と
（ｊ）では横方向に一定の画素間隔を置いて縦方向に連
続して画素データが抽出される。ただし、図８（ｂ）、
（ｄ）、（ｆ）、（ｈ）、（ｊ）では、中心画素の黒丸
が抽出されない場合を示したが、黒丸が白丸の位置にあ
って、白丸と一緒に抽出される場合も存在する。

【００９５】小領域画素データ抽出回路９４は、フィル
タサイズ画像抽出回路９２で切り出されたフィルタ画素
サイズの中心画素を含み、しかも大領域画素データ抽出
回路９３で抽出された画素数よりも少なく、３画素以上
の複数画素データを抽出する第２の画像データ抽出手段
である。小領域画素データ抽出回路９３の複数画素抽出
の仕方としては、例えば、図８の（ｇ）、（ｉ）、
（ｍ）、（ｎ）に示すような抽出方法がある。

【００９６】タイミングクロック生成器９５は、フィル
タサイズ画像抽出回路９２、領域画素データ抽出回路９
３、小領域画素データ抽出回路９４、メモリ９６、メモ
リ９７、メモリ９８、及び後述する他の回路部の動作タ
イミングを制御する制御信号を発生する回路である。

【００９７】メモリ９６はフィルタ画素サイズ画像抽出
回路６２の画像信号を保持するメモリである。メモリ９
７は大領域画素データ抽出回路９３の画像信号を保持す
るメモリである。メモリ９８は小領域画素データ抽出回
路９４の画像信号を保持するメモリである。遅延回路９
９はタイミングクロック生成器９５の出力する制御信号
を遅延させ、他の回路部との時間調整をする回路であ
る。遅延回路１００はメモリ９６から出力されたフィル
タ画素サイズの画像信号を一時保持し、後述の閾値算出
回路１０４からの出力と同期させるための時間調整を行
い、フィルタ画素サイズの画像信号をε−フィルタ１０
５に供給する回路である。

【００９８】画素情報抽出回路１０１は、メモリ９７か
ら供給された大領域画素データについて画素データの変
化の大きさを画素情報として抽出する第１の画像情報抽
出手段である。画素データの変化としては、大領域画素
データの統計量、例えば、総和、平均、偏差、相関、あ
るいは大領域画素データの隣接する画素データ間の１次
差分又は２次差分（あるいはそれら差分の絶対値）の統
計量、例えば、総和、平均、偏差、相関などがある。

【００９９】画素情報抽出回路１０２は、メモリ９８か
ら供給された小領域画素データについて画素データの変
化の大きさを画素情報として抽出する第２の画素情報抽
出手段である。抽出する画素データの変化としては、画
素情報抽出回路１０１で抽出された画素データの変化と
同じ統計量が対応する。遅延回路１０３は、画素情報抽
出回路１０１で抽出された画素情報を一旦保持し、画素
情報抽出回路１０２から出力される画素情報と同期させ
て閾値算出回路１０４へ画素情報を出力する回路であ
る。

【０１００】閾値算出回路１０４は、遅延回路１０３か
ら入力された画素情報を画素情報抽出回路１０２から入
力された画素情報によって補正しながら、歪み除去の大
きさを決めるための平滑化閾値を算出する平滑化閾値算
出手段である。例えば、図９（ａ）及び（ｂ）に示すよ
うに、遅延回路１０３から入力された大領域画素データ
の画素情報をＤ１とし、画素情報抽出回路１０２から入
力された小領域画素データの画素情報Ｄ２とし、算出す
る平滑化閾値をＴＨとする。この場合、閾値ＴＨは画素
情報Ｄ１の大きさに合わせて増大させると共に、画素情
報Ｄ２の大きさによって山形に補正する。即ち本実施形
態の閾値ＴＨは、大領域の画像の歪みの大きさに対応す
る画素情報Ｄ１の値を歪み除去のベースとし、局所的な
画像の変化を示す画素情報Ｄ２によって補正するように
設定するものである。

【０１０１】画素情報Ｄ２による補正は、画素情報Ｄ２
の小さな低域部分と大きな高域部分で閾値ＴＨを低めに
設定し、歪み除去とボケの抑制をバランスさせ、視覚的
に感度が高い画素情報Ｄ２の低域部分に近い中域部分で
閾値ＴＨを高めに設定することにより、歪み除去効果を
大きくする補正である。また、この場合、画素情報Ｄ１
とＤ２の統計量によってレンジが異なるため、最終的に
算出される閾値ＴＨが、歪み除去の大きさとして適当な
値になるように、画素情報Ｄ１とＤ２とに補正のための
係数を乗じる。なお、図９の（ａ）と（ｂ）の違いは、
（ａ）に示す曲線のプロフィールを、（ｂ）に示す直線
で近似したことである。このように算出された閾値ＴＨ
は図７のε−フィルタ１０５に供給される。

【０１０２】ε−フィルタ１０５の構成は、遅延回路１
００から出力された画像信号が図４の画素データ間差分
算出回路６１及び平滑化画素算出回路６７に供給される
こと、また図４の平滑化閾値回路６３には、閾値算出回
路１０４から出力された閾値が設定される点が、上記の
第２、第３及び第４実施形態と異なる。

【０１０３】このように構成された第５実施形態の歪み
除去装置の動作について、特に第４実施形態と異なる部
分について説明する。まず図７において、信号源から出
力される原画像にＤＣＴ変換及び量子化等の信号処理を
行う。さらに復号装置で復号した劣化画像信号を入力端
子９１に入力する。この劣化画像信号はタイミングクロ
ック生成器９５の制御信号に従って、フィルタサイズ画
像抽出回路９２、大領域画素データ抽出回路９３、小領
域画素データ抽出回路９４に与えられる。

【０１０４】フィルタサイズ画像抽出回路９２に供給さ
れた劣化画像信号は、縦ｍ画素×横ｎ画素のフィルタ画
素サイズの画像信号に変換される、そしてこの画像信号
はメモリ９６に供給され、ここで一時保持される。メモ
リ９６に保持されたフィルタ画素サイズの画像信号は、
タイミングクロック生成器９５の制御信号に従って遅延
回路１００へ出力され、ここで一時保持されて、閾値算
出回路１０４からの出力を待って、ε−フィルタ１０５
へ供給される。

【０１０５】一方、大領域画素データ抽出回路９３に供
給された劣化画像信号は、フィルタ画素サイズの中心画
素又はその近傍画素を含んだフィルタ画素サイズの画素
数よりも多い複数画素データ（大領域画素データ）の画
像信号に変換される。そしてこの画像信号はメモリ９７
に出力され、ここで一時保持される。メモリ９７に保持
された画像信号は、タイミングクロック生成器９５の制
御信号に従って画素情報抽出回路１０１に出力される。

【０１０６】小領域画素データ抽出回路９４に供給され
た劣化画像信号は、フィルタ画素サイズの中心画素を含
み、しかも大領域画素データよりも少ない複数画素デー
タ（小領域画素データ）の画像信号に変換される。そし
てこの画像信号はメモリ９８に出力され、ここで一時保
持される。メモリ９８に保持された画像信号は、タイミ
ングクロック生成器９５の制御信号に従って画素情報抽
出回路１０２に出力される。

【０１０７】画素情報抽出回路１０１に入力された大領
域画素データは、統計処理されてそれら画素データの変
化の大きさを表す値（大領域画素データの画素情報）と
して抽出される。この大領域画素データの画素情報は遅
延回路１０３に供給され、一旦保持された後、画素情報
抽出回路１０２からの出力を待って、閾値算出回路１０
４に出力される。画素情報抽出回路１０２に入力された
小領域画素データは、画素情報抽出回路１０１と同じ統
計処理によってそれら画素データの変化の大きさを表す
値（小領域画素データの画素情報）として抽出される。
この小領域画素データの画素情報は閾値算出回路１０４
に供給される。

【０１０８】閾値算出回路１０４に供給された大領域画
素データの画素情報Ｄ１は、同じく供給された小領域画
素データの画素情報Ｄ２によって図９のように補正さ
れ、平滑化のための閾値ＴＨとして算出される。この閾
値はε−フィルタ１０５へ供給される。ε−フィルタ１
０５において、遅延回路１００から出力されたフィルタ
画素サイズの画素信号は図４の画素データ間差分算出回
路６１に供給され、閾値算出回路１０４から出力された
閾値が図４の平滑化閾値回路６３に供給される以外は、
第１実施形態のε−フィルタ１１の動作と同様である。
ε−フィルタ１０５で平滑化された中心画素のデータは
出力端子１０６を介して外部の画像メモリ等に出力され
る。

【０１０９】このように第５実施形態によれば、大領域
の画素データの変化の大きさ情報と小領域の画素データ
の変化の大きさ情報とによって、平滑化対象画素の平滑
化閾値が算出される。このため、大きな画像領域に基づ
いて歪み除去の大きさのベースが設定されると同時に、
小さな画像領域の情報によって局所的な歪み除去の補正
が可能となる。

【０１１０】なお、第５実施形態では、画素情報抽出回
路１０１と画素情報抽出回路１０２において、それぞれ
の画素情報として１つの画素データの統計量を抽出した
が、複数の統計量を抽出しても良い。また、画素情報抽
出回路１０１と画素情報抽出回路１０２とで同一の統計
量を用いたが、例えば一方が平均値で、もう一方が分散
値など、異なる統計量を組み合わせても良い。更に平滑
化による除去手段として、図４に示すような最も簡単な
ε−フィルタを用いたが、ある閾値に基づいて非線形的
に平滑化を行うε−フィルタや、改良した他のフィルタ
を用いてもよい。

【０１１１】（実施の形態６）次に本発明の第６実施形
態における歪み除去装置について図１０、図１１及び図
４を参照しつつ説明する。図１０は第６実施形態におけ
る歪み除去装置の全体構成を示すブロック図である。図
１０、図１１及び図４において第５実施形態と同一機能
を有するブロックは同一の名称を付け、それらの詳細な
説明は省略する。

【０１１２】図１０に示す入力端子１１１、フィルタサ
イズ画像抽出回路１１２、大領域画素データ抽出回路１
１３、小領域画素データ抽出回路１１４、タイミングク
ロック生成器１１５、メモリ１１６、メモリ１１７、メ
モリ１１８、遅延回路１１９、遅延回路１２０、出力端
子１２９は、夫々第５実施形態における入力端子９１、
フィルタサイズ画像抽出回路９２、大領域画素データ抽
出回路９３、小領域画素データ抽出回路９４、タイミン
グクロック生成器９５、メモリ９６、メモリ９７、メモ
リ９８、遅延回路９９、遅延回路１００、出力端子１０
６と全く同一の動作をするものである。従ってこれらの
回路の説明は省略し、これ以外の部分についてのみ説明
する。

【０１１３】１次差分画素情報抽出回路１２１は、メモ
リ１１７から供給された大領域画素データについて、画
素データ間の差分絶対値の平均を画素情報として抽出す
る回路である。図１１は、１次差分画素情報抽出回路１
２１の具体的な構成を示すブロック図である。本図に示
すように、１次差分画素情報抽出回路１２１は、画素デ
ータ間差分算出回路１３０、絶対値算出回路１３１、平
均値算出回路１３２により構成される。画素データ間差
分算出回路１３０は図１０のメモリ１１７から供給され
た画像信号に対して、連続して隣接する画素データ間の
差分値を算出する回路である。

【０１１４】例えば入力された画像信号において、図８
の（ｇ）のように縦方向よりも横方向に画素データ数が
多い（又は等しい）場合、図１２の（ａ）のように横方
向に連続する画素データ間の差分値を算出する。一方、
図８の（ｉ）のように画素データが横方向よりも縦方向
に多い場合、図１２の（ｃ）のように縦方向に連続する
画素データ間の差分値を算出する。また、図８の（ｈ）
のように横方向に間引かれた配列の画素データからなる
場合は、図１２の（ｂ）のように横方向に連続する画素
データ間の差分値を算出し、図８の（ｊ）のように縦方
向に間引かれた画素データからなる場合は、図１２の
（ｄ）のように縦方向に連続する画素データ間の差分値
を算出する。

【０１１５】なお、図１２では差分する方向が一方向し
か示されていないが、反対方向でもよい。また、図８の
（ｇ）や（ｉ）のように縦方向と横方向に共に画素デー
タが連続している場合は、横方向に連続する画素データ
間の差分値と縦方向に連続する画素データ間の差分値の
両方を算出してもよい。

【０１１６】図１１の絶対値算出回路１３１は上記画素
データ間の差分値の絶対値を算出する回路である。平均
値算出回路１３２は絶対値算出回路１３１の出力する画
素データ間の差分値の絶対値を累積加算し、その総和を
差分値算出に用いた画素データの数で除し、この演算結
果を画素データ間の差分絶対値の平均（以下、第１の画
素情報と呼ぶ）として遅延回路１２３へ出力する回路で
ある。

【０１１７】図１０の１次差分画素情報抽出回路１２２
は、メモリ１１８から供給された小領域画素データにつ
いて画素データ間の差分絶対値の平均を画素情報として
抽出する回路である。１次差分画素情報抽出回路１２２
は、１次差分画素情報抽出回路１２１の構成と全く同じ
であり、図１１に示すように画素データ間差分算出回路
１３０、絶対値算出回路１３１、平均値算出回路１３２
から構成される。１次差分画素情報抽出回路１２２は小
領域画素データにおける画素データ間の差分絶対値の平
均（以下、第２の画素情報と呼ぶ）を算出し、この第２
の画素情報を第２閾値算出回路１２５と閾値補正回路１
２７へ出力する。

【０１１８】遅延回路１２３は１次差分画素情報抽出回
路１２１から入力された第１の画素情報を一旦保持し、
１次差分画素情報抽出回路１２２から出力される第２の
画素情報と同期させて、第１の画素情報を第１閾値算出
回路１２４と閾値補正回路１２７へ出力する回路であ
る。第１閾値算出回路１２４は入力された第１の画素情
報（以下、Ｄ１と略す）に所定の補正係数αを乗じてα
Ｄ１を出力する第１の閾値成分算出手段である。第２閾
値算出回路１２５は入力された第２の画素情報（以下、
Ｄ２と略す）に所定の補正係数βを乗じてβＤ２を出力
する第２の閾値成分算出手段である。

【０１１９】閾値差分回路１２６は、補正した第１の画
素情報の値αＤ１から補正した第２の画素情報の値βＤ
２を減算し、この減算結果を第１の平滑化閾値（以下、
ＴＨ１と略す）として出力する閾値差分手段である。

【０１２０】図１３の（ａ）は、閾値差分回路１２６に
よるＴＨ１の算出方法の具体例を示したものである。こ
こでは、Ｄ１とＤ２に乗ずる補正係数α、βを夫々2.0
、0.5 としてＴＨ１の値を算出した。αとβの値は対
象として扱う画像の圧縮率によって調整可能で、圧縮率
の増大に伴い、αとβの補正係数を高くする必要があ
る。即ちＴＨ１は、大領域画素データのＤ１の増大に伴
い高くし、小領域画素データのＤ２の増大に伴い低くす
る。つまり、Ｄ１の増大は画像の広い領域の複雑度の上
昇に相当し、圧縮による歪も大きくなるので、ＴＨ１を
上げる必要がある。これに対し、Ｄ２の増大は輪郭やエ
ッジの強さ（明瞭度）の上昇に相当し、より明確な輪郭
やエッジは保護するため（歪み除去によるボケを抑制す
るため）ＴＨ１を下げる必要がある。閾値差分回路１２
６で算出されたＴＨ１は閾値補正回路１２７に出力され
る。

【０１２１】閾値補正回路１２７は、閾値差分回路１２
６から入力されたＴＨ１が、１次差分画素情報抽出回路
１２２から入力されたＤ２によって制限された範囲にあ
るとき、ＴＨ１を、遅延回路１２３から入力されたＤ１
に基づいて算出した第２の平滑化閾値（以下、ＴＨ２と
略す）で置き換える閾値補正手段である。例えば、図１
３の（ｂ）では、閾値補正回路１２７でＴＨ１の値をＴ
Ｈ２の値に置換する範囲をグレーで示している。グレー
の範囲はＤ２の小さな値における微弱なテクスチャ画像
領域のボケを抑制する範囲である。このため、ＴＨ２の
値はＴＨ１よりも低い値とし、例えば、Ｄ１の値の半分
以下にする。なお、閾値補正回路１２７は入力されたＴ
Ｈ１が、Ｄ２によって制限された範囲内であるときはＴ
Ｈ２を出力し、ＴＨ１が制限範囲内にないときはＴＨ１
をそのままε−フィルタ１２８に出力する。

【０１２２】ε−フィルタ１２８は、遅延回路１２０か
ら出力された画像信号が図４の画素データ間差分算出回
路６１及び平滑化画素算出回路６７に供給されること、
また平滑化閾値回路６３には、閾値補正回路１２７から
出力された平滑化閾値ＴＨ１又はＴＨ２が設定される点
が異なる以外は第１実施形態と全く同じである。

【０１２３】このように構成された第６実施形態の歪み
除去装置の動作について、特に第５実施形態と異なる部
分について説明する。図１０において、入力端子１１１
から遅延回路１２０、メモリ１１７、メモリ１１８まで
の夫々動作は、第５実施形態の入力端子９１から遅延回
路１００、メモリ９７、メモリ９８までの夫々の動作と
全く同一であるため説明を省略する。

【０１２４】１次差分画素情報抽出回路１２１に入力さ
れた大領域画素データは、１次差分画素情報抽出回路１
２１の下位構成である図１１の画素データ間差分算出回
路１３０にまず供給される。例えば図１２に示すよう
に、画素データ間差分算出回路１３０では、大領域画素
データを、連続する隣接した画素データ間の差分値に変
換して絶対値算出回路１３１に供給する。絶対値算出回
路１３１は差分値を絶対値に変換して平均値算出回路１
３２に供給する。平均値算出回路１３２は差分値の絶対
値を累積加算し、この総和を絶対値の数で除算すること
により差分絶対値の平均値に変換する。この平均値は第
１の画素情報として図１０の遅延回路１２３に出力され
る。遅延回路１２３に入力された第１の画素情報は一旦
保持され、第２閾値算出回路１２５からの出力を待っ
て、閾値差分回路１２６と閾値補正回路１２７とに出力
される。

【０１２５】他方、１次差分画素情報抽出回路１２２に
入力された小領域画素データは、１次差分画素情報抽出
回路１２１と全く同じ処理によって、画素データ間の差
分絶対値の平均に変換される。この平均値は第２の画素
情報として第２閾値算出回路１２５に出力される。

【０１２６】第１閾値算出回路１２４に入力された第１
の画素情報と、第２閾値算出回路１２５に入力された第
２の画素情報とは、図１３（ａ）に示すように夫々所定
の値で重み付けられる。そして閾値差分回路１２６は重
み付けされた第１の画素情報から重み付けされた第２の
画素情報を減算し、第１の閾値を出力する。この第１の
閾値は閾値補正回路１２７に出力される。

【０１２７】閾値補正回路１２７に入力された第１の平
滑化閾値は、もしその値が１次差分画素情報抽出回路１
２２から供給された第２の画素情報の所定の範囲内にあ
るとき、第１の平滑化閾値は遅延回路１２３から入力さ
れた第１の画素情報に基づいて補正され、この補正値は
第２の平滑化閾値として出力される。しかし、入力され
た第１の平滑化閾値が第２の画素情報の所定の範囲内に
ないときは、第１の平滑化閾値がそのまま第２の平滑化
閾値として出力される。

【０１２８】このように第１の平滑化閾値と第２の平滑
化閾値が同じときには、第１の平滑化閾値がε−フィル
タ１２８へ出力され、第１の平滑化閾値と第２の平滑化
閾値と異なるときは、第２の平滑化閾値がε−フィルタ
１２８へ出力される。

【０１２９】ε−フィルタ１２８の動作は、遅延回路１
２０から出力されたフィルタ画素サイズの画素信号が図
４の画素データ間差分算出回路６１に供給され、閾値補
正回路１２７から出力された第１の平滑化閾値又は第２
の平滑化閾値が図４の平滑化閾値回路６３に供給される
以外は、第１実施形態のε−フィルタ１１の動作と同様
である。ε−フィルタ１２８で平滑化された中心画素の
データは出力端子１２９を介して外部の画像メモリ等に
出力される。

【０１３０】このように第６実施形態によれば、大領域
の画素データ間の平均差分絶対値と、小領域の画素デー
タ間の平均差分絶対値とによって平滑化対象画素の平滑
化閾値が算出される。このため、大きな画像領域に基づ
いて歪み除去の大きさのベースが設定されると同時に、
小さな画像領域の情報によって輪郭、エッジ、及び微弱
な変化の画像のボケを抑制することができる。

【０１３１】なお、第６実施形態では、閾値差分回路１
２６において第１の平滑化閾値算出を線形的に算出した
が、第５実施形態の図９（ａ）ように非線形な算出に依
ってもよい。更に平滑化による除去手段として、図４に
示すような最も簡単なε−フィルタを用いたが、ある平
滑化閾値に基づいて非線形的に平滑化を行うε−フィル
タや改良した他のフィルタを用いてもよい。

【０１３２】（実施の形態７）本発明の第７実施形態に
おける歪み除去装置について図１４及び図１５を参照し
つつ説明する。図１４は第７実施形態における歪み除去
装置の全体構成を示すブロック図である。本図において
第６実施形態と同一機能を有するブロックは同一の名称
を付け、それらの詳細な説明は省略する。

【０１３３】図１４に示す入力端子１４１、フィルタサ
イズ画像抽出回路１４２、大領域画素データ抽出回路１
４３、小領域画素データ抽出回路１４４、タイミングク
ロック生成器１４５、メモリ１４６、メモリ１４７、メ
モリ１４８、遅延回路１４９、遅延回路１５０、遅延回
路１５３、第１閾値算出回路１５４、第２閾値算出回路
１５５、閾値差分回路１５６、閾値補正回路１５７、ε
−フィルタ１５８、出力端子１５９は、第６実施形態に
おける入力端子１１１、フィルタサイズ画像抽出回路１
１２、大領域画素データ抽出回路１１３、小領域画素デ
ータ抽出回路１１４、タイミングクロック生成器１１
５、メモリ１１６、メモリ１１７、メモリ１１８、遅延
回路１１９、遅延回路１２０、遅延回路１２３、第１閾
値算出回路１２４、第２閾値算出回路１２５、閾値差分
回路１２６、閾値補正回路１２７、ε−フィルタ１２
８、出力端子１２９と夫々同一の動作をする回路であ
る。従って、これらの回路の説明は省略し、異なる部分
のみについて説明する。

【０１３４】２次差分画素情報抽出回路１５１は、メモ
リ１４７から供給された大領域画素データに対して、画
素データ間の２次差分絶対値の平均を画素情報として抽
出する回路である。図１５は２次差分画素情報抽出回路
１５１の具体的な構成を示すブロック図である。２次差
分画素情報抽出回路１５１は、画素データ間差分算出回
路１６０、画素データ間差分算出回路１６１、絶対値算
出回路１６２、平均値算出回路１６３により構成され
る。これらのうち、画素データ間差分算出回路１６０、
絶対値算出回路１６２、平均値算出回路１６３は、図１
１の画素データ間差分算出回路１３０、絶対値算出回路
１３１、平均値算出回路１３２と夫々同じ機能を有する
回路である。

【０１３５】画素データ間差分算出回路１６０は、図１
２のように連続して隣接する画素データ間の差分値を算
出する回路である。画素データ間差分算出回路１６１
は、画素データ間差分算出回路１６０で算出された画素
データ間の差分値をさらに差分し、２次差分値を算出す
る回路である。図１６は画素データ間差分算出回路１６
０で算出された画素データ間の差分値を、画素データ間
差分算出回路１６１で更に差分する方法を示している。
なお差分の方法は、図１１の画素データ間の差分値算出
の方法と同じである。

【０１３６】図１５の絶対値算出回路１６２は、画素デ
ータ間差分算出回路１６１で算出された２次差分値を絶
対値に変換し、２次差分絶対値を算出する回路である。
平均値算出回路１６３は、絶対値算出回路１６２で算出
された２次差分絶対値の累積加算をし、これを総画素数
で除算することにより２次差分絶対値の平均値を算出す
る。

【０１３７】図１７は、本実施形態の２次差分絶対値の
平均の特徴を説明したものである。図１７（ａ）のよう
に画素濃淡値が右上がりに緩やかに上昇している場合、
１次差分絶対値の平均は2.0 となり、２次差分絶対値の
平均は0.5 で、２次差分絶対値の平均は１次差分絶対値
の平均より小さくなる。これに対して図１７（ｂ）のよ
うに、画素濃淡値が局所的に変化する画像では、１次差
分絶対値の平均は3.2、２次差分絶対値の平均は8.0 と
なり、２次差分絶対値のほうが１次差分絶対値より大き
くなる。

【０１３８】一般に、グラデーションのかかったような
画素濃淡値が緩やかに一定方向に変化するような画像、
例えば図１７（ａ）に示すような画像では、歪み除去の
大きさを低くし、平坦化を防ぐ必要がある。また、平坦
部に発生したパルス状の歪みの場合、例えば、画像をブ
ロックに分割しＤＣＴ圧縮する場合に発生するタイル状
の歪みであるブロック歪みは、視覚的に大きく目立つの
で、歪み除去の大きさを大きくする必要がある。従って
図１７（ａ）、（ｂ）のような画像の場合、歪み除去の
平滑化閾値の大きさを決める指標としては、１次差分絶
対値の平均より２次差分絶対値の平均の方がより優れて
いる。

【０１３９】図１４の２次差分画素情報抽出回路１５２
は、メモリ１４８から供給された小領域画素データに対
して、小領域画素データの２次差分絶対値を算出する回
路であり、２次差分画素情報抽出回路１５１と同一の機
能を有する。それ以外の回路は第６実施形態と同一のた
め説明は省略する。

【０１４０】このように構成された第７実施形態の歪み
除去装置の動作について、特に第６実施形態と異なる部
分について説明する。図１４において、入力端子１４１
から遅延回路１５０、メモリ１４７、メモリ１４８まで
は、第６実施形態の入力端子１１１から遅延回路１２
０、メモリ１１７、メモリ１１８までと夫々同一に動作
するため説明は省略する。

【０１４１】２次差分画素情報抽出回路１５１に入力さ
れた大領域画素データは、２次差分画素情報抽出回路１
５１の下位構成である図１５の画素データ間差分算出回
路１６０にまず供給される。画素データ間差分算出回路
１６０は、例えば図１６に示すように大領域画素データ
を連続する隣接した画素データ間の差分値にまず変換
し、画素データ間差分算出回路１６１に供給する。画素
データ間差分算出回路１６１は図１６に示すように画素
データ間の差分値の差分を更に算出し、画素データ間の
２次差分値を出力する。絶対値算出回路１６２は供給さ
れた差分値を絶対値に変換し、平均値算出回路１６３に
出力する。平均値算出回路１６３は供給された２次差分
値の絶対値を累積加算し、この総和を２次差分値の数で
除算することにより差分絶対値の平均値を算出する。こ
の平均値は第１の画素情報として遅延回路１５３に出力
される。

【０１４２】他方、２次差分画素情報抽出回路１５２に
入力された小領域画素データは２次差分画素情報抽出回
路１５２と同様に処理される。すなわち、小領域画素デ
ータは画素データ間の２次差分絶対値の平均値に変換さ
れ、この平均値が第２の画素情報として第２閾値算出回
路１５５及び閾値補正回路１５７に出力される。遅延回
路１５３及び２次差分画素情報抽出回路１５２の出力端
から出力端子１５９までの動作は、第６実施形態におけ
る遅延回路１２３及び１次差分画素情報抽出回路１２２
の出力端から出力端子１２９までの動作と夫々同じであ
り、それらの説明は省略する。

【０１４３】このように第７実施形態によれば、大領域
の画素データの画素データ間の２次差分絶対値の平均
と、小領域の画素データ間の２次差分絶対値の平均とに
基づいて、平滑化対象画素の平滑化閾値が算出される。
このため、大きな画像領域に基づいて歪み除去の大きさ
のベースが設定されると同時に、小さな画像領域の情報
によって輪郭、エッジ、及び微弱な変化の画像のボケを
抑制することができる。

【０１４４】（実施の形態８）本発明の第８実施形態に
おける歪み除去装置について図１８を参照しつつ説明す
る。図１８は第８実施形態における歪み除去装置の全体
構成を示すブロック図である。本図において第６実施形
態及び第７実施形態と同一機能を有するブロックは同一
の名称を付け、それらの詳細な説明は省略する。

【０１４５】図１８に示す入力端子１７１、フィルタサ
イズ画像抽出回路１７２、大領域画素データ抽出回路１
７３、小領域画素データ抽出回路１７４、タイミングク
ロック生成器１７５、メモリ１７６、メモリ１７７、メ
モリ１７８、遅延回路１７９、遅延回路１８０、１次差
分画素情報抽出回路１８１、１次差分画素情報抽出回路
１８２、遅延回路１８４、第１閾値算出回路１８５、第
２閾値算出回路１８６、閾値差分回路１８７、閾値補正
回路１８８、ε−フィルタ１８９、出力端子１９０は、
第６実施形態における入力端子１１１、フィルタサイズ
画像抽出回路１１２、大領域画素データ抽出回路１１
３、小領域画素データ抽出回路１１４、タイミングクロ
ック生成器１１５、メモリ１１６、メモリ１１７、メモ
リ１１８、遅延回路１１９、遅延回路１２０、１次差分
画素情報抽出回路１２１、１次差分画素情報抽出回路１
２２、遅延回路１２３、第１閾値算出回路１２４、第２
閾値算出回路１２５、閾値差分回路１２６、閾値補正回
路１２７、ε−フィルタ１２８、出力端子１２９と夫々
同一の動作をする回路であり、それらの説明は省略す
る。

【０１４６】第６実施形態と異なる部分は、メモリ１７
８と閾値補正回路１８８との間に２次差分画素情報抽出
回路１８３を更に付加したことである。なお、２次差分
画素情報抽出回路１８３は第７実施形態の２次差分画素
情報抽出回路１５２と全く同一の動作し、小領域画素デ
ータ間の２次差分絶対値の平均を算出する回路とする。
そして、この２次差分絶対値の平均を閾値補正回路１８
８に供給する。従って、閾値補正回路１８８は、新たに
付加した２次差分画素情報抽出回路１８３からの出力に
よって、第６実施形態の閾値補正回路１２７と幾分異な
る動作をする。

【０１４７】閾値補正回路１８８は、閾値差分回路１８
７から供給された第１の平滑化閾値（以下、ＴＨ１と略
す）が、１次差分画素情報抽出回路１８２から第２閾値
算出回路１８６を介して供給された小領域画素データ間
の１次差分絶対値の平均である第２の画素情報（以下、
Ｄ２と略す）と、２次差分画素情報抽出回路１８３から
供給された小領域画素データ間の２次差分絶対値の平均
である第３の画素情報（以下、Ｄ３と略す）とによって
制限された範囲にあるとき、ＴＨ１を、遅延回路１８４
から供給された大領域画素データ間の１次差分絶対値の
平均である第１の画素情報（以下、Ｄ１と略す）に基づ
いた第２の平滑化閾値（以下、ＴＨ２と略す）で置き換
える回路である。

【０１４８】例えば、図１９は、第６実施形態の図１３
の（ｂ）の閾値算出例を基にし、Ｄ３を付加した場合の
閾値算出例を示したものである。閾値補正回路１８８に
よって平滑化閾値が変更される範囲は、図１９のＴＨ２
（第２の平滑化閾値）としてサークルで囲んだグレー部
分（濃いグレー部分（ア）と薄いグレー部分（イ））で
示してある。それ以外の範囲は閾値差分回路１８７から
入力された第１の平滑化閾値（ＴＨ１）の値がそのまま
設定される。なお、図１９の濃いグレー部分は、第６実
施形態の図１３の（ｂ）のＴＨ２の部分と同一である。
また薄いグレー部分（イ）は、歪み除去によるボケの弊
害を更に防ぐため、Ｄ２の範囲が広げられた場合を示し
てある。

【０１４９】図１９のサークルで囲んだグレー部分
（ア) 、（イ）の範囲で、Ｄ３とＤ２の値が比較され、
Ｄ３がＤ２より小さければ、（ア）と（イ）の値に相当
する画像部分で、平滑化閾値の値を小さくする。例えば
Ｄ１にγ（ただし、０＜γ＜１）を乗じたγＤ１を用い
る。これによって、第７実施形態における図１７（ａ）
の場合のように、１次差分絶対値の平均Ｄ２だけでは識
別できない画像のなだらかに変化する領域の平坦化を抑
制できる。なおこの場合、γは（ア）と（イ）のそれぞ
れの領域で係数を換えてもよく、特にグレー部分（イ）
の範囲において、γをより小さくすることで、画像の平
坦化を防ぐことができる。

【０１５０】一方、図１９のサークルで囲んだグレー部
分（ア）の範囲で、Ｄ３がＤ２よりも大きければ、
（ア）に相当する画像部分で平滑化閾値を大きくする。
例えば、Ｄ１にδ（ただし、δ＜１）を乗じたδＤ１を
用いる。これによって、第７実施形態における図１７
（ｂ）の場合のように、平坦部に発生したパルス状の歪
みをより完全に除去することができる。

【０１５１】図１８の閾値補正回路１８８は、閾値差分
回路１８７から供給された第１の平滑化閾値（ＴＨ１）
に変更がなければＴＨ１を出力し、またＴＨ１が異なる
値ＴＨ２に変更された場合にはＴＨ２を出力してε−フ
ィルタ１８９に与える。

【０１５２】上記の第６実施形態、第７実施形態、第８
実施形態の違いは、画素データ間の画素情報として、１
次差分絶対値の平均、あるいは２次差分絶対値の平均、
あるいはそれらの両方を用いるかに依っている。演算量
を考慮すれば１次差分絶対値の平均でも歪み除去の効果
は十分であるが、歪み除去による画像の局所的なボケの
抑制や歪み除去をより完全にするためには、２次差分絶
対値の平均を用いればよい。なお、上記の各実施形態で
は１次差分絶対値又は２次差分絶対値の平均値を用いた
が、それらの中央値を指標として用いても同様の効果が
得られる。

【０１５３】

【発明の効果】以上説明したように、本発明はいずれ
も、画像の濃淡変化の大きさあるいは歪みの大きさに基
づいて、異なる歪みの大きさ含んだ劣化画像を適応的に
平滑化し、歪みを除去することができる。

【０１５４】特に請求項１の発明によれば、平滑化され
る画素を中心にその周囲画素を含むフィルタサイズ画像
内の濃淡変化の大きさに基づいて、歪みを画素単位で適
応的に平滑化することができる。

【０１５５】又請求項２、５、６及び７の発明によれ
ば、画像の濃淡変化の大きさに対応する微分値に基づい
て劣化画像を２分し、それらに対して異なる平滑化を行
うことで、大きな濃淡変化近傍の大きな歪み、及び小さ
な濃淡変化近傍の小さな歪みを除去することができる。

【０１５６】又請求項３、５、６及び７の発明によれ
ば、劣化画像とその平滑化画像との差分信号に基づいて
劣化画像を２分し、それらに対して異なる平滑化を行う
ことで、画像に生じた歪みの大きさに合わせて歪みを除
去することができる。

【０１５７】又請求項３、５、６及び７の発明によれ
ば、劣化画像とその平滑化画像との差分信号に基づいて
劣化画像を２分し、それらに対して異なる平滑化を行う
ことで、画像に生じた歪みの大きさに合わせて歪みを除
去することができる。

【０１５８】又請求項４、５、６及び７の発明によれ
ば、平滑化される画素とその周辺画素との差分絶対値の
和に基づいて平滑化の大きさを分け、平滑化される画素
周辺に生じた歪みの大きさに合わせて歪みを除去するこ
とができる。

【０１５９】又請求項８、９、１０及び１１の発明によ
れば、劣化画像の各画素の平滑化の大きさを、その画素
周囲の、大きな画像領域と小さな画像領域の画素データ
の変化の大きさによって変えることができ、画像に生じ
た歪みを適応的に除去することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態における歪み除去装置の
全体構成を示すブロック図である。

【図２】本発明の第２実施形態における歪み除去装置の
全体構成を示すブロック図である。

【図３】本発明の第３実施形態における歪み除去装置の
全体構成を示すブロック図である。

【図４】本発明の各実施形態の歪み除去装置に用いられ
るε−フィルタの構成例を示すブロック図である。

【図５】各実施形態のε−フィルタの動作原理の一例を
示す説明図である。

【図６】本発明の第４実施形態における歪み除去装置の
全体構成を示すブロック図である。

【図７】本発明の第５実施形態における歪み除去装置の
全体構成を示すブロック図である。

【図８】本発明の第５実施形態〜第８実施形態における
画素データ抽出方法を示す説明図である。

【図９】本発明の第５実施形態〜第８実施形態における
平滑化閾値算出に関する説明図である。

【図１０】本発明の第６実施形態における歪み除去装置
の全体構成を示すブロック図である。

【図１１】本発明の第６実施形態〜第８実施形態におけ
る１次差分画素情報抽出回路の構成を示すブロック図で
ある。

【図１２】本発明の第５実施形態〜第８実施形態におけ
る画素データ間の差分算出法に関する説明図である。

【図１３】本発明の第５実施形態〜第７実施形態におけ
る限定的閾値算出回路の算出法に関する説明図である。

【図１４】本発明の第７実施形態における歪み除去装置
の全体構成を示すブロック図である。

【図１５】本発明の第７実施形態と第８実施形態におけ
る２次差分画素情報抽出回路の構成を示すブロック図で
ある。

【図１６】本発明の第７実施形態と第８実施形態におけ
る２次差分画素情報抽出回路における２次差分算出法を
示す説明図である。

【図１７】本発明の第７実施形態と第８実施形態の２次
差分画素情報抽出回路における２次差分算出法と１次差
分算出法による算出例を示す説明図である。

【図１８】本発明の第８実施形態における歪み除去装置
の全体構成を示すブロック図である。

【図１９】本発明の第８実施形態における限定的閾値算
出回路の算出法に関する具体的説明図である。

【図２０】テクスチャ画像の一例を示す図である。

【図２１】ε−フィルタの動作を示す信号波形図であ
る。

【符号の説明】

１，２１，４１，７１，９１，１１１，１４１，１７１
入力端子 ２，２２，４２，７２，９２，１１２，１４２，１７２
フィルタサイズ画像抽出回路 ３，２３，４３，７３，９５，１１５，１４５，１７５
タイミングクロック生成器 ４，２４，４４，７４ バッファメモリ ５，６，２５，２６，４５，４６，７５，７６，９９，
１００，１０３，１１９，１２０，１２３，１４９，１
５０，１５３，１７９，１８０，１８４ 遅延回路 ７ 最小値検出回路 ８ 中央値検出回路 ９ 最大値検出回路 １０ ε値算出回路 １１，３０，３１，５１，５２，８２，８３，１０５，
１２８，１５８，１８９ ε−フィルタ １２，３３，５４，８５，１０６，１２９，１５９，１
９０ 出力端子 ２７ ２次微分フィルタ ２８，４９，８０ 閾値回路 ２９，５０，８１ 信号選択回路 ３２，５３，８４ 出力選択回路 ４７ 平滑化回路 ４８ 差分信号算出回路 ６１，７７，１３０，１６０，１６１ 画素データ間差
分算出回路 ６２，７８，１３１，１６２ 絶対値算出回路 ６３ 平滑化閾値回路 ６４ 画素データ間差分選択回路 ６５ 画素データ間差分加算回路 ６６ 平滑化調整値算出回路 ６７ 平滑化画素算出回路 ７９ 絶対値和算出回路 ９３，１１３，１４３，１７３ 大領域画素データ抽出
回路 ９４，１１４，１４４，１７４ 小領域画素データ抽出
回路 ９６，９７，９８，１１６，１１７，１１８，１４６，
１４７，１４８，１７６，１７７，１７８ メモリ １０１，１０２ 画素情報抽出回路 １０４ 閾値算出器回路 １２１，１２２，１８１，１８２ １次差分画素情報抽
出回路 １２３，１５４，１８５ 第１閾値算出回路 １２５，１５５，１８６ 第１閾値算出回路 １２６，１５６，１８７ 閾値差分回路 １２７，１５７，１８８ 閾値補正回路 １３２，１６３ 平均値算出回路 １５１，１５２，１８３ ２次差分画素情報抽出回路

Claims (11)

【特許請求の範囲】
1. 【請求項１】 圧縮符号化により複数の画素データより
   なる原画像に劣化を生じた場合に、劣化画像の画像歪み
   を除去する歪み除去装置であって、 前記劣化画像から縦ｍ画素×横ｎ画素のフィルタ画素サ
   イズの画像信号を抽出するフィルタサイズ画像抽出手段
   と、 前記フィルタサイズ画像抽出手段で得られた画像信号の
   画素データのうち、最小値、最大値、中央値を夫々出力
   する画素特徴値検出手段と、 前記画素特徴値検出手段で得られた中央値と最小値の差
   を第１の絶対値とし、前記画素特徴値検出手段で得られ
   た中央値と最大値の差を第２の絶対値とするとき、前記
   第１又は第２の絶対値のうち小さい方を平滑化閾値の上
   限値として出力する平滑化閾値算出手段と、 前記フィルタサイズ画像抽出手段で得られた画像信号の
   中心位置の画素データを中心画素データとし、前記中心
   位置の周辺に位置する周辺画素の画素データを周辺画素
   データとする場合に、前記中心画素データと前記周辺画
   素データの差分値である差分データの絶対値が、前記平
   滑化閾値算出手段の出力する平滑化閾値以下のときのみ
   前記差分データを所定の値で除したものを前記フィルタ
   サイズ画像抽出手段の中心画素データに加算して平滑化
   する画像平滑化フィルタ手段と、を具備することを特徴
   とする歪み除去装置。
2. 【請求項２】 圧縮符号化により複数の画素データより
   なる原画像に劣化を生じた場合に、劣化画像の画像歪み
   を除去する歪み除去装置であって、 前記劣化画像から縦ｍ画素×横ｎ画素のフィルタ画素サ
   イズの画像信号を抽出するフィルタサイズ画像抽出手段
   と、 前記フィルタサイズ画像抽出手段の画像信号が入力さ
   れ、フィルタ画素サイズ内における濃淡変化の大きさを
   示す微分画像信号を算出する微分画像算出手段と、 画素データの大小を比較するための閾値を設定すると共
   に、前記微分画像算出手段で得られた微分画像信号を前
   記閾値で分け、前記閾値以上の画像のとき第１の制御信
   号を出力し、前記所定の閾値未満の画像のとき第２の制
   御信号を発生する閾値設定手段と、 前記フィルタサイズ画像抽出手段の画像信号が入力さ
   れ、前記閾値設定手段から第１の制御信号が与えられた
   とき、前記画像信号を平滑化閾値の大きい第１の劣化画
   像信号として出力し、前記閾値設定手段から第２の制御
   信号が与えられたとき、前記画像信号を平滑化閾値の小
   さい第２の劣化画像信号として出力する画像信号選択手
   段と、 前記画像信号選択手段で選択された第１の劣化画像信号
   と第２の劣化画像信号とに対して夫々異なる平滑化処理
   を行う画像平滑化フィルタ手段と、を具備することを特
   徴とする歪み除去装置。
3. 【請求項３】 圧縮符号化により複数の画素データより
   なる原画像に劣化を生じた場合に、劣化画像の画像歪み
   を除去する歪み除去装置であって、 前記劣化画像から縦ｍ画素×横ｎ画素のフィルタ画素サ
   イズの画像信号を抽出するフィルタサイズ画像抽出手段
   と、 前記フィルタサイズ画像抽出手段の画像信号に対して平
   滑化処理を行う画像平滑化手段と、 前記画像平滑化手段の平滑化画像信号と前記フィルタサ
   イズ画像抽出手段の非平滑化画像信号とが入力され、前
   記平滑化画像信号と前記非平滑化画像信号との差分信号
   を算出し、この信号を差分画像信号として出力する差分
   画像算出手段と、 画素データの大小を比較するための閾値を設定すると共
   に、前記差分画像算出手段で得られた差分画像信号を前
   記閾値で分け、前記閾値以上の画像のとき第１の制御信
   号を出力し、前記閾値未満の画像のとき第２の制御信号
   を発生する閾値設定手段と、 前記フィルタサイズ画像抽出手段の画像信号が入力さ
   れ、前記閾値設定手段から第１の制御信号が与えられた
   とき、前記画像信号を平滑化閾値の大きい第１の劣化画
   像信号として出力し、前記閾値設定手段から第２の制御
   信号が与えられたとき、前記画像信号を平滑化閾値の小
   さい第２の劣化画像信号として出力する画像信号選択手
   段と、 前記画像信号選択手段で選択された第１の劣化画像信号
   と第２の劣化画像信号とに対して夫々異なる平滑化処理
   を行う画像平滑化フィルタ手段と、を具備すること特徴
   とする歪み除去装置。
4. 【請求項４】 圧縮符号化により複数の画素データより
   なる原画像に劣化を生じた場合に、劣化画像の画像歪み
   を除去する歪み除去装置であって、 前記劣化画像から縦ｍ画素×横ｎ画素（ｍ、ｎは奇数）
   のフィルタ画素サイズの画像信号を抽出するフィルタサ
   イズ画像抽出手段と、 前記フィルタサイズ画像抽出手段で得られたフィルタ画
   素サイズの画像信号のうち中心に位置する画素データを
   中心画素データとし、前記中心位置の周辺に位置する画
   素データを周辺画素データとするとき、前記中心画素デ
   ータと前記周辺画素データとの差分の絶対値である差分
   絶対値を算出する差分絶対値算出手段と、 前記差分絶対値算出手段で得られた差分絶対値を前記フ
   ィルタ画素サイズの画像信号の全てについて加算し、加
   算結果を差分絶対値和として出力する差分絶対値和算出
   手段と、 画素データの変化の大小を比較するための閾値を設定す
   ると共に、前記差分絶対値和算出手段で得られた差分絶
   対値和を前記閾値で分け、前記差分絶対値和が前記閾値
   以上のとき第１の制御信号を出力し、前記差分絶対値和
   が前記閾値未満のとき第２の制御信号を発生する閾値設
   定手段と、 前記フィルタサイズ画像抽出手段の画像信号が入力さ
   れ、前記閾値設定手段から第１の制御信号が与えられた
   とき、前記画像信号を平滑化閾値の大きい第１の劣化画
   像信号として出力し、前記閾値設定手段から第２の制御
   信号が与えられたとき、前記画像信号を平滑化閾値の小
   さい第２の劣化画像信号として出力する画像信号選択手
   段と、 前記画像信号選択手段で選択された第１の劣化画像信号
   と第２の劣化画像信号とに対して夫々異なる平滑化処理
   を行う画像平滑化フィルタ手段と、を具備することを特
   徴とする歪み除去装置。
5. 【請求項５】 前記画像平滑化フィルタ手段は、 前記フィルタサイズ画像抽出手段で得られた画像信号の
   中心位置の画素データを中心画素データとし、前記中心
   位置の周辺に位置する周辺画素の画素データを周辺画素
   データとするとき、前記中心画素データに対する前記各
   周辺画素データの差分値を算出し、この信号を画素デー
   タ間差分値と出力する画素データ間差分算出手段と、 前記画素データ間差分算出手段で得られた画素データ間
   差分値を差分絶対値に変換する絶対値算出手段と、 前記絶対値算出手段で算出された差分絶対値が所定の平
   滑化閾値以下であるとき、前記画素データ間差分値を平
   滑化したものを平滑化調整値として算出し、前記フィル
   タサイズ画像抽出手段で得られた画像信号に前記平滑化
   調整値を加算することにより、平滑化画素データを生成
   する画像データ平滑化調整手段と、を有するものである
   ことを特徴とする請求項２，３, ４のいずれか１項記載
   の歪み除去装置。
6. 【請求項６】 前記画像平滑化フィルタ手段は、前記第
   １の劣化画像信号に対する平滑化閾値を前記第２の劣化
   画像信号に対する平滑化閾値よりも大きくしたことを特
   徴とする請求項５記載の歪み除去装置。
7. 【請求項７】 前記フィルタ画素サイズを構成する全て
   の画素データ毎に歪み除去の処理を行うことを特徴とす
   る請求項２, ３, ４のいずれか１項記載の歪み除去装
   置。
8. 【請求項８】 圧縮符号化により複数の画素データより
   なる原画像に劣化を生じた場合に、劣化画像の画像歪み
   を除去する歪み除去装置であって、 前記劣化画像から縦ｍ画素×横ｎ画素（ｍ、ｎは奇数）
   のフィルタ画素サイズの画像信号を抽出するフィルタサ
   イズ画像抽出手段と、 前記フィルタサイズ画像抽出手段で得られたフィルタ画
   素サイズの画像信号の中心に位置する画素データを中心
   画素データとし、前記劣化画像から前記中心画素データ
   又は前記中心画素データの近傍画素データを含み、且つ
   前記フィルタ画素サイズの画像信号の画素データ数より
   多い複数画素データである第１の複数画素データを抽出
   する第１の画素データ抽出手段と、 前記劣化画像から前記中心画素データを含み、且つ前記
   第１の画素データ抽出手段で抽出する画素データ数より
   少ない複数画素データである第２の複数画素データを抽
   出する第２の画素データ抽出手段と、 前記第１の画素データ抽出手段で得られた第１の複数画
   素データの変化の大きさを画素情報として抽出する第１
   の画素情報抽出手段と、 前記第２の画素データ抽出手段で得られた第２の複数画
   素データの変化の大きさを画素情報として抽出する第２
   の画素情報抽出手段と、 前記第１の画素情報抽出手段で得られた第１の画素情報
   を前記第２の画素情報抽出手段で得られた第２の画素情
   報で補正しながら平滑化閾値を算出する平滑化閾値算出
   手段と、 前記フィルタサイズ画像抽出手段で得られたフィルタ画
   素サイズの中心位置の周辺に位置する周辺画素の画素デ
   ータを周辺画素データとするとき、前記中心画素データ
   と前記周辺画素データの差分値である差分データの絶対
   値が、前記平滑化閾値算出手段の出力する平滑化閾値以
   下のときのみ、前記差分データを所定の値で除したもの
   を前記フィルタサイズ画像抽出手段の中心画素データに
   加算して平滑化する画像平滑化フィルタ手段と、を具備
   することを特徴とする歪み除去装置。
9. 【請求項９】 前記第１の画素情報抽出手段は、 前記第１の画素データ抽出手段で得られた第１の複数画
   素データに対して、前記第１の複数画素データの連続す
   る画素データ間の１次差分絶対値の平均を画素情報とし
   て抽出するものであり、 前記第２の画素情報抽出手段は、 前記第２の画素データ抽出手段で得られた第２の複数画
   素データに対して、前記第２の複数画素データの連続す
   る画素データ間の１次差分絶対値の平均を画素情報とし
   て抽出するものであり、 前記平滑化閾値算出手段は、 前記第１の画素情報抽出手段で得られた画素情報に対し
   て、第１の重み付け係数を乗じて第１の閾値成分を算出
   する第１の閾値成分算出手段と、 前記第２の画素情報抽出手段で得られた画素情報に対し
   て、第２の重み付け係数を乗じて第２の閾値成分を算出
   する第２の閾値成分算出手段と、 前記第１の閾値成分算出手段で得られた第１の閾値成分
   から前記第２の閾値成分算出手段で得られた第２の閾値
   成分を差し引いて平滑化閾値を算出する閾値差分手段
   と、 前記閾値差分手段で得られた平滑化閾値が前記第２の画
   素情報抽出手段で得られた画素情報によって制限された
   範囲にあるとき、前記閾値差分手段で得られた平滑化閾
   値を補正する閾値補正手段と、を有するものであること
   を特徴とする請求項８記載の歪み除去装置。
10. 【請求項１０】 前記第１の画素情報抽出手段は、 前記第１の画素データ抽出手段で得られた第１の複数画
    素データに対して、連続する画素データ間の２次差分絶
    対値の平均を画素情報として抽出するものであり、 前記第２の画素情報抽出手段は、 前記第２の画素データ抽出手段で得られた第２の複数画
    素データに対して、連続する画素データ間の２次差分絶
    対値の平均を画素情報として抽出するものであり、 前記平滑化閾値算出手段は、 前記第１の画素情報抽出手段で得られた画素情報に対し
    て、第１の重み付け係数を乗じて第１の閾値成分を算出
    する第１の閾値成分算出手段と、 前記第２の画素情報抽出手段で得られた画素情報に対し
    て、第２の重み付け係数を乗じて第２の閾値成分を算出
    する第２の閾値成分算出手段と、 前記第１の閾値成分算出手段で得られた第１の閾値成分
    から前記第２の閾値成分算出手段で得られた第２の閾値
    成分を差し引いて平滑化閾値を算出する閾値差分手段
    と、 前記閾値差分手段で得られた平滑化閾値が前記第２の画
    素情報抽出手段で得られた画素情報によって制限された
    範囲にあるとき、前記閾値差分手段で得られた平滑化閾
    値を補正する閾値補正手段と、を有するものであること
    を特徴とする請求項８記載の歪み除去装置。
11. 【請求項１１】 前記第１の画素情報抽出手段は、 前記第１の画素データ抽出手段で得られた第１の複数画
    素データに対して、連続する画素データ間の１次差分絶
    対値の平均を画素情報として抽出するものであり、 前記第２の画素情報抽出手段は、 前記第２の画素データ抽出手段で得られた第２の複数画
    素データに対して、連続する画素データ間の１次差分絶
    対値の平均を１次差分画素情報として抽出する１次差分
    画素情報抽出手段と、 前記第２の画素データ抽出手段で得られた第２の複数画
    素データに対して、連続する画素データ間の２次差分絶
    対値の平均を２次差分画素情報として抽出する２次差分
    画素情報抽出手段と、を有するものであり、 前記平滑化閾値算出手段は、 前記第１の画素情報抽出手段で得られた画素情報に対し
    て、第１の重み付け係数を乗じて第１の閾値成分を算出
    する第１の閾値成分算出手段と、 前記１次差分画素情報抽出段で得られた１次差分画素情
    報に対して、第２の重み付け係数を乗じて第２の閾値成
    分を算出する第２の閾値成分算出手段と、 前記第１の閾値成分算出手段で得られた第１の閾値成分
    から前記第２の閾値成分算出手段で得られた第２の閾値
    成分を差し引いて平滑化閾値を算出する閾値差分手段
    と、 前記閾値差分手段で得られた平滑化閾値が、前記１次差
    分画素情報抽出手段で得られた１次差分画素情報によっ
    て制限された所定の範囲あるいは前記２次差分画素情報
    抽出手段で得られた２次差分画素情報とによって制限さ
    れた所定の範囲にあるとき、前記閾値差分手段で得られ
    た平滑化閾値を補正する閾値補正手段と、を有するもの
    であることを特徴とする請求項８記載の歪み除去装置。