JP4097587B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、復号画像に対してフィルタ処理を施すことによって、画像中のエッジおよびテクスチャをぼかすことなく、ブロック符号化によって生じたモスキートノイズを有効に除去した復元画像を生成するための画像処理装置および画像処理方法に関する。

近年、デジタルスチルカメラ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）が普及し、デジタルスチルカメラによって風景や人物などの画像（静止画）を撮影するのが一般化しつつある。ところが、デジタル化された画像のデータ量は非常に大きい。このようにデータ量が大きい画像をそのままＩＣメモリなどの記憶媒体に保存したり、インターネットやＬＡＮなどの伝送媒体で伝送したりすると、記憶媒体にわずかな枚数しか保存できなくなったり、伝送媒体における伝送時間が長くなることになる。このため、画像を扱う上では、圧縮技術が必須となる。

画像データを高圧縮する必要がある場合、一般的に、原画像と復号画像が完全には一致しない非可逆画像圧縮方式が用いられる。非可逆画像圧縮方式の多くは、画像データをＭ×Ｎ画素単位のブロックに分割し、各ブロックにおいて直交変換を行った後、直交変換係数を量子化して符号化する方式を採用している。この代表的な方式の一つに、カラー静止画像圧縮方式として広く普及しているＪＰＥＧがある。

図１５は、ＪＰＥＧの符号化装置および復号化装置の機能構成を示すブロック図である。
符号化装置６０は、原画像をＪＰＥＧ圧縮データに圧縮するものであって、図１５に示されるように、前処理部６１と、ＤＣＴ変換部６２と、量子化部６３と、量子化テーブル６４と、エントロピー符号化部６５とを備える。復号化装置７０は、ＪＰＥＧ圧縮データを復号画像に伸張するものであって、図１５に示されるように、エントロピー復号化部７１と、逆量子化部７２と、逆量子化テーブル７３と、逆ＤＣＴ変換部７４と、後処理部７５とを備える。

符号化装置６０においてＪＰＥＧの符号化処理を行う場合、まず、前処理部６１は、Ｒｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）の多値データで構成される原画像の各画素のデータを、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とのデータに変換する。
次に、ＤＣＴ変換部６２は、ＹＣｂＣｒデータを８×８画素単位のブロック毎に離散コサイン変換（ＤＣＴ）を行い、ＤＣＴ係数を算出する。

次に、量子化部６３は、ＤＣＴ係数の量子化を行う。このとき、ＤＣＴ係数の各成分は、量子化テーブル６４にしたがって、それぞれ異なるステップ幅で量子化される。
最後に、エントロピー符号化部６５は、量子化されたＤＣＴ係数の符号化を行い、ＪＰＥＧ圧縮データを生成する。ＪＰＥＧの標準方式では、エントロピー符号化としてハフマン符号を用いている。

以上の処理が、画像データからＪＰＥＧ圧縮データへの符号化処理の概要である。このようにして生成されたＪＰＥＧ圧縮データは、記憶媒体（例えば、ＳＤカード）や伝送媒体を介して復号化装置７０に渡される。
次に、ＪＰＥＧ圧縮データから復号画像への復号化処理の手順について説明する。
復号化装置７０においてＪＰＥＧの復号化処理を行う場合、まず、エントロピー復号化部７１は、ＪＰＥＧ圧縮データに対してエントロピー復号化を行う。

次に、逆量子化部７２は、逆量子化を行う。このとき、符号化時に使用した量子化テーブル６４の情報をＪＰＥＧ圧縮データから読み取り、逆量子化テーブル７３として使用する。
次に、逆ＤＣＴ変換部７４は、逆離散コサイン変換（ＩＤＣＴ）を行い、ＤＣＴ係数をＹＣｂＣｒデータの復号画像に変換する。
最後に、後処理部７５は、ＹＣｂＣｒデータからＲＧＢデータへの変換処理を行うことによって、復号画像を得る。

以上が、ＪＰＥＧに関する符号化処理および復号化処理の概要である。
上記のように、ＪＰＥＧの符号化処理の過程にはＤＣＴ係数の量子化が含まれている。このため、量子化誤差によってデータの劣化が発生する。この結果、プリンタなどで復号画像をそのまま用紙上に再現すると、この劣化が復号画像のノイズとして現れる。ブロック符号化を行う動画圧縮の場合にもこれらのノイズは目障りになるが、静止画の場合は特にじっくり見ることが可能なので細部のノイズも目立つ。

復号画像に生じるノイズのうち、視覚的な悪影響を及ぼすものに、モスキートノイズと呼ばれるノイズがある。モスキートノイズとは、復号画像のエッジ周辺に発生する弱い階調の揺らぎのことをいう。これは、ＤＣＴ係数の量子化によって高周波成分の多くが欠落したことにより、原画像に存在していた強いエッジが正確に再現されないことに起因している。

このようなノイズを除去するため、図１６に示されるように、復号画像に対してフィルタ処理を行い、モスキートノイズを除去した復元画像を生成する画像処理装置１００が、従来から考えられている。なお、フィルタ処理の手法として数多くのフィルタ処理が提案されているが、その１つとして、エッジのぼけを抑えてノイズを除去することが可能な新しいフィルタ処理として、式（１）で示されるＳＵＳＡＮフィルタがある（例えば、非特許文献１参照。）。なお、この技術を、以下「第１の従来技術」とも記す。

但し、

である。

ここで、式（１）〜式（４）において、（ｘ，ｙ）は注目画素の位置を表しており、（ｉ，ｊ）は注目画素に対する各周辺画素の相対位置を表しており、ｆ（ｘ，ｙ）は復号画像における注目画素の画素値を表しており、ｆ（ｘ＋ｉ，ｙ＋ｊ）は復号画像における各周辺画素の画素値を表しており、ｇ（ｘ，ｙ）はフィルタ処理後の注目画素の画素値を表している。また、α_x,y（ｉ，ｊ）は、注目画素（ｘ，ｙ）に対する各周辺画素（ｉ，ｊ）のフィルタ係数を表しており、第１フィルタ係数α１_x,y（ｉ，ｊ）と、第２フィルタ係数α２_x,y（ｉ，ｊ）との積によって算出される。ここで、第１フィルタ係数α１_x,y（ｉ，ｊ）は、注目画素との距離が近い周辺画素ほどフィルタ係数が大きくなるように設計されており、第２フィルタ係数α２_x,y（ｉ，ｊ）は、注目画素の画素値に近い画素値を有する周辺画素ほどフィルタ係数が大きくなるように設計されている。

なお、σは注目画素から各周辺画素までの距離が第１フィルタ係数α１_x,y（ｉ，ｊ）に与える影響を調節するパラメータであり、ｔは注目画素と周辺画素との画素値の差分値が第２フィルタ係数α２_x,y（ｉ，ｊ）に与える影響を調節するパラメータである。
このフィルタの最大の特徴は、第２フィルタ係数α２_x,y（ｉ，ｊ）の算出方法にある。

ここで、注目画素の画素値と各周辺画素の画素値との差分値と、この差分値から算出される第２フィルタ係数α２_x,y（ｉ，ｊ）の値との関係を図１７に示す。
この図１７からわかるように、周辺画素の画素値が注目画素の画素値に近い場合には、第２フィルタ係数α２_x,y（ｉ，ｊ）に大きな値が設定され、逆に、周辺画素の画素値が注目画素の画素値と大きく異なる場合には、第２フィルタ係数α２_x,y（ｉ，ｊ）に小さな値が設定される。

ここで、パラメータｔに大きな値を設定すると、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対しても大きいフィルタ係数が設定されるため、強く平滑化処理することに対応している。逆に、パラメータｔに小さな値を設定すると、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されることから、弱く平滑化処理することに対応している。このため、ＳＵＳＡＮフィルタを適用する場合には、予め処理の目的に応じてパラメータｔを最適な一定の値に設定しておく必要がある。

このＳＵＳＡＮフィルタを用いて、モスキートノイズを除去する場合について考える。
前述したように、モスキートノイズは強いエッジの周辺に弱い階調の揺らぎとして発生する。
図１８は、エッジとモスキートノイズの関係を模式的に表した図である。なお、ＳＵＳＡＮフィルタのパラメータｔの値は、エッジの階調変化に比べて十分小さく、なおかつ、モスキートノイズの階調変化に比べて十分大きく設定されているものとする。ここで、モスキートノイズ部分の画素に対してＳＵＳＡＮフィルタを適用すると、第２フィルタ係数α２_x,y（ｉ，ｊ）の効果によって、注目画素の画素値と大きく異なる画素値を持つエッジ部分の画素には非常に小さなフィルタ係数が設定されるため、実質的にフィルタ処理にはほとんど影響を与えることがなく、注目画素の画素値に近い画素値を持つ注目画素近傍のモスキートノイズ部分の画素に対してのみ大きなフィルタ係数が設定されてフィルタ処理が行われる。このため、エッジをぼかすことなく、なおかつ、モスキートノイズを有効に除去することができる。

以上の考察から、エッジの鮮鋭度を保持してモスキートノイズを除去するには、注目画素の画素値と周辺画素の画素値との差分値に基づいてフィルタ係数を決定するフィルタ処理が非常に有効であると考えられる。

また、複数のブロックに分割された画像データから、各ブロック毎にノイズを除去する画像処理装置であって、ブロック毎の画像データをもとに、ブロック毎に隣接画素間の差分値の頻度分布を求め、頻度分布に基づいてブロック毎にエッジが含まれるか否かを判別する判別部と、判別部により判別された結果をもとに、ノイズを除去するブロックを選択する選択部とを備える画像処理装置が、従来から考えられている（特許文献１参照。）。なお、この技術を、以下「第２の従来技術」とも記す。

このような第２の従来技術によれば、図１９に示されるようにエッジを含むブロックにおいてはフィルタ（εフィルタ）処理が施され、エッジを含まないブロックではフィルタ処理を施さないため、簡便な処理で、不要なモスキートを除去するとともに、テクスチャのぼけを防止することができる。
S. M. Smith and J. M. Brady,"SUSAN ― A New Approach to Low Level Image Processing,"International Journal of Computer Vision, vol.23, no.1, pp.45-78, 1997． 特許３０１１８２８号公報（第１頁、第１図）

しかしながら、第１の従来技術によれば、モスキートノイズを除去するためにＳＵＳＡＮフィルタを使用すると、図２０に示されるように、看板の領域に生じたモスキートノイズを除去してもエッジがぼけないという顕著な効果があるものの、木々の葉のようなテクスチャ領域において非常に大きなぼけが発生するという課題がある。これは、モスキートノイズを有効に除去するには、パラメータｔの値を、モスキートノイズの階調変化の大きさに比べて十分大きな値に設定する必要があるが、このようなパラメータｔを用いてテクスチャの領域をフィルタ処理すると、原画像から存在していたテクスチャの階調変化まで除去されてしまうことに起因していた。

一方、第２の従来技術によれば、モスキートノイズの除去効果を損なうことなく、テクスチャのぼけを抑制できるものの、弱いエッジにおいてはフィルタ処理が施されないため、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりする新たな問題点が発生することになる。
そこで、本発明では、モスキートノイズの除去効果を損なうことなく、エッジとテクスチャの両方のぼけを抑え、しかも、弱いエッジにおいても、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりすることを防止した画像処理装置および画像処理方法を提供することを目的とする。

上記問題点を解決するために、本発明に係る画像処理装置においては、多値画像をＭ×Ｎ画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成する画像処理装置であって、前記復号画像においてフィルタ処理を適用する注目画素の画素値と、前記注目画素のフィルタ処理に使用するフィルタ処理領域を構成する周辺画素の画素値との差分値を算出する差分値算出手段と、所定のエッジ影響度算出領域における前記周辺画素のエッジ強度を算出するエッジ強度算出手段と、前記エッジ強度算出手段が算出した前記周辺画素のエッジ強度が大きいほど、および、前記注目画素と前記周辺画素との距離が小さいほど、注目画素に対するエッジ影響度として大きな値を算出し、算出したエッジ影響度が大きいほど前記注目画素の画素値の分布係数として大きな値を算出するエッジ影響度算出手段と、前記差分値算出手段によって算出された前記差分値が小さいほど、および、前記エッジ影響度算出手段によって算出された前記分布係数が大きいほど、前記周辺画素に対するフィルタ係数として大きな値を算出するフィルタ係数算出手段と、前記フィルタ係数算出手段によって算出された前記フィルタ係数を用いて、前記復号画像における注目画素の画素値に対してフィルタ処理を行い、復元画像における注目画素の画素値を算出するフィルタ処理手段とを備えることを特徴とする。例えば、前記エッジ影響度算出手段は、前記算出したエッジ影響度の最大値を前記注目画素の画素値の分布係数として算出する。

ここでは、前記分布係数が大きいほどエッジに影響を及ぼさない範囲でフィルタ係数が大きくなるようにする。このようにすることにより、エッジを含むフィルタ処理領域では、分布係数の値が大きいため、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対しても大きいフィルタ係数が設定されて強い平滑化が行われ、エッジをぼかすことなく、なおかつ、モスキートノイズを有効に除去することができる。一方、前記分布係数が小さいほどフィルタ係数が小さくなるようにする。このようにすることにより、エッジを含まないテクスチャなどのフィルタ処理領域では、分布係数の値が小さいため、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されて弱い平滑化が行われ、ぼけの発生を抑制することができる。しかも、従来のようにフィルタ処理を行うブロックと行わないブロックとに分けるような処理でなく、全ての画素に対して適切なフィルタ処理が行われるので、モスキートノイズが残ってしまったり、エッジを含むブロックと含まないブロックとで画質が極端に変化してしまったりする事態を確実に防止することができる。

具体的には、本発明に係る画像処理装置においては、前記分布係数算出手段は、各前記画素における画素値の分布係数を前記ブロック毎に算出することを特徴とする構成としてもよい。
これにより、前記ブロック毎に画素値の分布係数を簡単に算出することができ、全ての画素に対して適切なフィルタ処理を行うことができる。

また、本発明に係る画像処理装置においては、前記分布係数算出手段は、前記ブロック毎に画素値の分布係数を算出し、算出されたブロックにおける画素値の分布係数と、当該ブロックに隣接する周囲のブロックにおける画素値の分布係数とを補間して各画素における画素値の補間分布係数を算出し、算出した補間分布係数を各前記画素における画素値の分布係数として用いることを特徴とする構成とすることもできる。
これによって、ブロック境界においても分布係数が連続的に変化するので、平滑化の強さが連続的に変化するフィルタ処理を実現することができる。

さらに、本発明に係る画像処理装置においては、前記分布係数算出手段は、所定のエッジ影響度算出領域における前記周辺画素のエッジ強度を算出するエッジ強度算出手段と、前記エッジ強度算出手段が算出した前記周辺画素のエッジ強度と、前記注目画素と前記周辺画素との距離とに基づいて注目画素に対するエッジ影響度を算出し、算出したエッジ影響度の最大値を各前記画素の画素値の分布係数として算出する最大エッジ影響度算出手段とを備えることを特徴とする構成とすることもできる。

これによって、ブロック境界がわからない場合であっても、周辺画素のエッジ強度と、注目画素と周辺画素との距離とに基づいて分布係数が連続的に変化するので、平滑化の強さが連続的に変化するフィルタ処理を実現することができる。
ここで、前記分布係数算出手段は、前記ブロック内における画素値の最大値から最小値を減算した差分値を、当該ブロックの画素値の分布係数として算出することを特徴としてもよい。

これによって、分布係数を簡単に求めることができる。
また、前記分布係数算出手段は、前記ブロック内における平均画素値からの分散値を、当該ブロックの画素値の分布係数として算出することを特徴とすることもできる。
これによっても、分布係数を簡単に求めることができる。

また、前記分布係数算出手段は、前記ブロック内における最大エッジ強度を、当該ブロックの画素値の分布係数として算出することを特徴とすることもできる。
これによっても、分布係数を簡単に求めることができる。

なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な手段をステップとする画像処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

以上の説明から明らかなように、本発明に係る画像処理装置によれば、エッジを含むフィルタ処理領域では、分布係数の値が大きいため、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対しても大きいフィルタ係数が設定されて強い平滑化が行われ、モスキートノイズを有効に除去することができる。一方、エッジを含まないテクスチャなどのフィルタ処理領域では、分布係数の値が小さいため、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されて弱い平滑化が行われ、ぼけの発生を抑制することができる。しかも、従来のようにフィルタ処理を行うブロックと行わないブロックとに分けるような処理でなく、全ての画素に対して適切なフィルタ処理が行われるので、モスキートノイズが残ってしまったり、エッジを含むブロックと含まないブロックとで画質が極端に変化してしまったりする事態を確実に防止することができる。

よって、本発明により、高画質の復元画像を再現することが可能となり、デジタルカメラ等の他、高精細なプリンタやプロジェクタ等が普及してきた今日における本願発明の実用的価値は極めて高い。

以下、図面を参照しながら本発明の実施例について説明する。
（実施の形態１）
図１は、デジタルカメラおよびプリンタの外観構成を示す図である。
デジタルカメラｅｘ１００は、ＣＣＤやＣＭＯＳなどのカラーイメージセンサと、上記した画像符号化装置６０（図１５参照）などとから構成され、カラーイメージセンサによって取得された原画像を、符号化装置６０によってブロック毎に符号化することにより、ＪＰＥＧ圧縮データを生成し、生成したＪＰＥＧ圧縮データをＳＤカードｅｘ２００に記録する。

プリンタｅｘ４００は、いわゆるダイレクトプリント機能を有し、ＳＤカードｅｘ２００を装着するためのカードリーダｅｘ３０１や、上記した画像復号化装置７０の他、画像処理装置と、前処理部と、プリンタエンジン等とから構成される。
プリンタｅｘ４００は、ユーザから指示されたＪＰＥＧ圧縮データをＳＤカードｅｘ２００から読み出して復号化装置７０のエントロピー復号化部７１、逆量子化部７２、逆量子化テーブル７３および逆ＤＣＴ変換部７４によって復号化し、ＹＣｂＣｒデータの復号画像を生成する。なお、この復号画像には、エッジ近傍に発生したモスキートノイズが含まれている。

画像処理装置は、逆ＤＣＴ変換部７４から出力されたＹＣｂＣｒデータの復号画像の内のＹ成分に対してフィルタ処理を施すことにより、モスキートノイズを除去し、エッジおよびテクスチャのぼけを抑え、しかも、弱いエッジにおいても、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりすることを防止した復元画像を生成する。

復号化装置７０の後処理部７５は、画像処理装置によってフィルタ処理が施されたＹ成分と元のＣｂＣｒデータとに基づいて、復元画像のＲＧＢデータに変換する。
前処理部は、ＲＧＢカラーの復元画像をＹＭＣＫのカラー復元画像に変換する。
プリンタエンジンは、用紙上にＹＭＣＫのカラーの復元画像を再生する。ここで、画像処理装置によって生成される復元画像においては、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつ、モスキートノイズを除去している。したがって、用紙上に再現される復元画像においても、図１に示されるように、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつ、エッジ強度の高い低いの如何に拘わらずモスキートノイズを除去することができる。

図２は、図１に示されるプリンタｅｘ４００に実装された画像処理装置の機能構成を示すブロック図である。
画像処理装置１は、復号画像のＹ成分に対してブロック毎にフィルタ処理を施すことにより、復元画像を生成するものであって、図２に示されるように、差分値算出部１１と、分布係数算出部１２と、フィルタ係数算出部１３と、フィルタ処理部１４とを備える。

差分値算出部１１は、注目画素の画素値と各周辺画素の画素値との差分値を算出する。
分布係数算出部１２は、各ブロックにおける画素値の分布係数を算出する。
フィルタ係数算出部１３は、差分値算出部１１において算出された差分値と、分布係数算出部１２において算出された分布係数とに基づいて、各周辺画素に対するフィルタ係数をそれぞれ算出する。

フィルタ処理部１４は、フィルタ係数算出部１３において算出された各周辺画素に対するフィルタ係数を用いてフィルタ処理を行い、ノイズが除去された復元画像を生成する。
なお、上記画像処理装置１を構成する差分値算出部１１、分布係数算出部１２、フィルタ係数算出部１３およびフィルタ処理部１４は、ＣＰＵや、画像処理プログラムを予め格納したＲＯＭ、画像処理プログラムを実行するためのワークエリア等を提供するＲＡＭ等によって構成される。

本画像処理装置１のフィルタ処理部１４は、以下の式（５）によって表すことができる。

但し、

である。

ここで、上式（５）〜（８）において、（ｘ，ｙ）は、注目画素の位置を表している。（ｉ，ｊ）は、注目画素に対する各周辺画素の相対位置を表している。ｆ（ｘ，ｙ）は、復号画像における注目画素の画素値を表している。ｆ（ｘ＋ｉ，ｙ＋ｊ）は、復号画像における各周辺画素の画素値を表している。ｇ（ｘ，ｙ）は、フィルタ処理後の復元画像における注目画素の画素値を表している。また、（Ｘ，Ｙ）は、注目画素（ｘ，ｙ）が含まれるブロックの位置を表している。β_x,y（ｉ，ｊ）は、注目画素（ｘ，ｙ）に対する各周辺画素（ｉ，ｊ）のフィルタ係数を表している。ν_x,y（ｉ，ｊ）は、注目画素の画素値ｆ（ｘ，ｙ）と各周辺画素の画素値ｆ（ｘ＋ｉ，ｙ＋ｊ）との差分値を表している。Ｕ（Ｘ，Ｙ）は、ブロック（Ｘ，Ｙ）における画素値の最大値から最小値を減算した値（分布係数）を表している。また、Ｋは、予め設定された定数値を表している。

次いで、上記のように構成された画像処理装置１で復号画像から復元画像を生成するときの動作について説明する。
図３は、画像処理装置１における復号画像から復元画像を生成するときの動作を示すフローチャートである。なお、画像処理装置１は、復元画像を生成するに際して、ＪＰＥＧ圧縮データを復号する過程で、復号画像のどこにブロック境界線が存在するかの情報を予め取得している。

画像処理装置１は、各ブロックについて、以下の処理を繰り返し実行する（Ｓ１１）。まず、分布係数算出部１２は、Ｍ×Ｎ画素単位の各ブロック（図４に示されるブロック境界線で区切られた領域）毎に、画素値の最大値と最小値とを順次取得し（Ｓ１２，Ｓ１３）、そのブロックにおける最大画素値ｍａｘ｛ｆ（ｘ，ｙ）｝から最小画素値ｍｉｎ｛ｆ（ｘ，ｙ）｝を減算し、減算した値を、そのブロックに適用する分布係数Ｕ（Ｘ，Ｙ）として算出する（Ｓ１４）。

各ブロックに適用する分布係数の算出が終わると（Ｓ１５）、差分値算出部１１は、復号画像の各画素について、以下の処理を繰り返し実行する（Ｓ１６）。差分値算出部１１は、ある注目画素の画素値ｆ（ｘ，ｙ）とフィルタ処理領域内の各周辺画素（図４に示されるフィルタ処理領域に含まれる全ての周辺画素）の画素値ｆ（ｘ＋ｉ，ｙ＋ｊ）との差分値ν_x,y（ｉ，ｊ）をそれぞれ算出する（Ｓ１７）。

ここで、図４は、注目画素、フィルタ処理に使用する周辺画素の領域（フィルタ処理領域）と、ブロック境界線によってＭ×Ｎ画素単位に分割されたブロックとの位置関係を示している。なお、この図４では、フィルタのサイズとして５×５、ブロックのサイズとして８×８の場合を示しているが、本発明はこのサイズに限定されるものではない。また、フィルタ処理領域としては、矩形に限定されるものではない。

全ての差分値ν_x,y（ｉ，ｊ）の算出が終わると（Ｓ１８）、フィルタ係数算出部１３は、フィルタ処理領域内の各周辺画素について、以下の処理を繰り返し実行する（Ｓ１９）。フィルタ係数算出部１３は、差分値算出部１１において算出された差分値ν_x,y（ｉ，ｊ）と、分布係数算出部１２において算出された分布係数Ｕ（Ｘ，Ｙ）とから、各周辺画素に対するフィルタ係数β_x,y（ｉ，ｊ）を算出する（Ｓ２０）。具体的には、式（６）に示される算出式によってフィルタ係数β_x,y（ｉ，ｊ）を求めることができる。ここで、分布係数Ｕ（Ｘ，Ｙ）の値については、注目画素が含まれるブロックで算出された値を使用し、差分値ν_x,y（ｉ，ｊ）については、各周辺画素に対してそれぞれ算出された値を使用する。

なお、式（６）における定数Ｋは、分布係数Ｕ（Ｘ，Ｙ）がフィルタ係数β_x,y（ｉ，ｊ）の算出に与える影響を調節するためのパラメータであり、予め適当な値を設定することができる。
全てのフィルタ係数β_x,y（ｉ，ｊ）の算出が終わると（Ｓ２１）、フィルタ処理部１４は、各注目画素について、以下の処理を繰り返し実行する（Ｓ２２）。フィルタ処理部１４は、フィルタ係数算出部１３において算出された各周辺画素に対するフィルタ係数β_x,y（ｉ，ｊ）を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する（Ｓ２３）。このような処理（Ｓ２３）を繰り返し実行し、全てのブロック内の各画素についてフィルタ処理後の画素値を算出し終わると（Ｓ２４）、復元画像が生成され、復元画像生成処理を終了する。

本実施の形態１の画像処理装置１を用いた場合、エッジを含むブロックでは、分布係数Ｕ（Ｘ，Ｙ）の値が大きいため、注目画素の画素値から比較的大きく異なる画素値を持つ周辺画素に対してもエッジに影響を及ぼさない範囲で大きいフィルタ係数が設定されて強い平滑化が行われ、モスキートノイズを有効に除去することができる。一方、エッジを含まないテクスチャなどのブロックでは、分布係数Ｕ（Ｘ，Ｙ）の値が小さいため、注目画素の画素値に非常に近い画素値を持つ周辺画素以外には小さなフィルタ係数が設定されて弱い平滑化が行われ、ぼけの発生を抑制することができる。しかも、従来のようにフィルタ処理を行うブロックと行わないブロックとに分けるような処理でなく、全てのブロックに対して適切なフィルタ処理が行われるので、モスキートノイズが残ってしまったり、エッジを含むブロックと含まないブロックとで画質が極端に変化してしまったりする事態を確実に防止することができる。

（実施の形態２）
図５は、プリンタｅｘ４００に実装された画像処理装置の他の機能構成を示すブロック図である。
画像処理装置２は、復号画像のＹ成分に対してブロック毎にフィルタ処理を施すことにより、復元画像を生成するものであって、図５に示されるように、差分値算出部１１と、分布係数算出部１２と、分布係数補間部２２と、フィルタ係数算出部２３と、フィルタ処理部２４とから構成される。なお、画像処理装置１の構成と対応する部分に同じ番号を付し、その説明を省略する。

ここで、実施の形態１の画像処理装置１では、各ブロック内では同一の分布係数Ｕ（Ｘ，Ｙ）（画一的な値）を用いてフィルタ係数を算出した。一般に、ブロック符号化ではブロック単位で独立に符号化処理が行われるため、モスキートノイズなどのノイズに関してもブロック単位で発生する。このため、上記の処理のようにブロック単位で平滑化の強さを調整することにより、テクスチャのぼけは抑制し、なおかつ、モスキートノイズは有効に除去することが可能となるが、画像によっては、ブロック境界部で平滑化の強さが不連続にならないようにフィルタ処理を行う方が好ましい場合も考えられる。

そこで、この画像処理装置２においては、処理対象のブロックの分布係数と周辺ブロックの分布係数との複数個の分布係数を用い、当該ブロックの分布係数と周辺ブロックの分布係数とを２次元方向に線形補間することにより、画素毎に連続的に変化する補間分布係数ｕ（ｘ，ｙ）を算出するための分布係数補間部２２をさらに備え、この値を用いてフィルタ係数を算出することにより、ブロック境界部においても平滑化の強さが連続的に変化するフィルタ処理を実現するように構成されている。

次いで、上記のように構成された画像処理装置２で復号画像から復元画像を生成するときの動作について説明する。
図６は、画像処理装置２における復号画像から復元画像を生成するときの動作を示すフローチャートである。なお、画像処理装置２は、画像処理装置１と同様に、復元画像を生成するに際して、ＪＰＥＧ圧縮データを復号する過程で、復号画像のどこにブロック境界線が存在するかの情報を予め取得している。

画像処理装置２は、各ブロックについて、以下の処理を繰り返し実行する（Ｓ１１）。まず、分布係数算出部１２は、Ｍ×Ｎ画素単位の各ブロック（図４に示されるブロック境界線で区切られた領域）毎に、画素値の最大値と最小値とを順次取得し（Ｓ１２，Ｓ１３）、そのブロックにおける最大画素値ｍａｘ｛ｆ（ｘ，ｙ）｝から最小画素値ｍｉｎ｛ｆ（ｘ，ｙ）｝を減算し、減算した値を、そのブロックに適用する分布係数Ｕ（Ｘ，Ｙ）として算出する（Ｓ１４）。

各ブロックに適用する分布係数の算出が終わると（Ｓ１５）、差分値算出部１１は、復号画像の各画素について、以下の処理を繰り返し実行する（Ｓ１６）。差分値算出部１１は、ある注目画素の画素値ｆ（ｘ，ｙ）とフィルタ処理領域内の各周辺画素（図４に示されるフィルタ処理領域に含まれる全ての周辺画素）の画素値ｆ（ｘ＋ｉ，ｙ＋ｊ）との差分値ν_x,y（ｉ，ｊ）をそれぞれ算出する（Ｓ１７）。

全ての差分値ν_x,y（ｉ，ｊ）の算出が終わると（Ｓ１８）、分布係数補間部２２は、各画素について、以下の処理を繰り返し実行する（Ｓ３１）。分布係数補間部２２は、図７に示される注目画素のブロックの分布係数Ｕ（Ｘ，Ｙ）および周辺ブロックの分布係数Ｕ（Ｘ−１，Ｙ−１），Ｕ（Ｘ，Ｙ−１），Ｕ（Ｘ−１，Ｙ）を用いて、各画素における画素値の補間分布係数ｕ（ｘ，ｙ）を算出する（Ｓ３２）。

この補間方法を、図７を参照しながら説明する。
まず、分布係数算出部１２において算出された分布係数Ｕ（Ｘ，Ｙ）を各ブロックの中心点における分布係数と仮定する。

次に、各ブロックの中心点とそれぞれ隣接する４つのブロックの中心点とを直線で結ぶと、復号画像の各画素は、４つのブロックの中心点で囲まれる矩形領域のいずれかに含まれる。ここで、ある注目画素（ｘ，ｙ）を取り囲む４つのブロックの中心点の分布係数が、それぞれＵ（Ｘ，Ｙ），Ｕ（Ｘ−1，Ｙ），Ｕ（Ｘ，Ｙ−１），Ｕ（Ｘ−１，Ｙ−１）であるとすると、注目画素（ｘ，ｙ）に対する補間分布係数ｕ（ｘ，ｙ）は、これら４つの分布係数を、各中心点から注目画素（ｘ，ｙ）までの距離に応じて線形補間することにより算出することができる。

全ての補間分布係数ｕ（ｘ，ｙ）の算出が終わると（Ｓ３３）、フィルタ係数算出部２３は、各周辺画素について、以下の処理を繰り返し実行する（Ｓ１９）。フィルタ係数算出部２３は、差分値算出部１１において算出された差分値ν_x,y（ｉ，ｊ）と、分布係数補間部２２において算出された補間分布係数ｕ（ｘ，ｙ）とから、周辺画素に対するフィルタ係数β_x,y（ｉ，ｊ）を算出する（Ｓ２０）。具体的には、式（８）における分布係数Ｕ（Ｘ，Ｙ）を、各注目画素の位置に対して算出された補間分布係数ｕ（ｘ，ｙ）に置き換えた式を用いて、フィルタ係数β_x,y（ｉ，ｊ）を算出する。

全てのフィルタ係数β_x,y（ｉ，ｊ）の算出が終わると（Ｓ２１）、フィルタ処理部２４は、各注目画素について以下の処理を繰り返し実行する（Ｓ２２）。フィルタ処理部２４は、フィルタ係数算出部２３において算出された各周辺画素に対するフィルタ係数β_x,y（ｉ，ｊ）を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する（Ｓ２３）。このような処理（Ｓ２３）を繰り返し実行し、全てのブロック内の各注目画素についてフィルタ処理後の画素値を算出し終わると（Ｓ２４）、復元画像が生成され、復元画像生成処理を終了する。

本実施の形態２の画像処理装置２を用いた場合、画像処理装置１と同様の効果を得ることができるだけでなく、分布係数Ｕ（Ｘ，Ｙ）を補間して算出した画素毎に連続的な補間分布係数ｕ（ｘ，ｙ）を用いてフィルタ係数を算出するため、ブロック境界部においても平滑化の強さが不連続になることはなく、平滑化の強さが連続的に変化するフィルタ処理が実現できる。

（実施の形態３）
図８は、デジタルカメラ、パーソナルコンピュータ（以下、「ＰＣ」とも記す。）、倍率変換器およびプロジェクタの外観構成を示す図である。なお、デジタルカメラｅｘ１００、ＳＤカードｅｘ２００については、図１の場合と同様であるので、その説明を省略する。

ＰＣｅｘ３００は、ＳＤカードｅｘ２００を装着するためのカードリーダｅｘ３０１や、上記した画像復号化装置７０、表示器ｅｘ３０２などから構成され、ユーザから指示されたＪＰＥＧ圧縮データをＳＤカードｅｘ２００から読み出して復号化装置７０によって復号化し、ＲＧＢカラーの復号画像を生成する。そして、ＰＣｅｘ３００は、生成した復号画像を表示器ｅｘ３０２に表示したり、倍率変換器ｅｘ５００に出力したりする。なお、表示器ｅｘ３０２に表示される復号画像には、エッジ近傍に発生したモスキートノイズが含まれている。

倍率変換器ｅｘ５００は、ＰＣｅｘ３００から出力されたＲＧＢカラーの復号画像に対してサイズ調整を行い、サイズ調整済みのＲＧＢカラーの復号画像を出力する。なお、サイズを縮小したり、拡大したりする場合には、間引き処理や、補間処理が適宜行われる。
プロジェクタｅｘ６００は、前処理部と、画像処理装置と、後処理部と、表示エンジン等とから構成される。

前処理部は、倍率変換器ｅｘ４００から出力されたサイズ調整済みのＲＧＢカラーの復号画像をＹＣｂＣｒデータの復号画像に変換する。
画像処理装置は、前処理部から出力されたＹＣｂＣｒデータの復号画像の内のＹ成分に対してフィルタ処理を施すことにより、モスキートノイズを除去し、エッジおよびテクスチャのぼけを抑え、しかも、弱いエッジにおいても、モスキートノイズが残ってしまったり、エッジのあるなしで画質が極端に変化してしまったりすることを防止した復元画像を生成する。

後処理部は、画像処理装置によってフィルタ処理が施されたＹ成分と元のＣｂＣｒデータとに基づいて、復元画像のＲＧＢデータに変換する。
表示エンジンは、ＲＧＢカラーの復元画像をスクリーンｅｘ７００上にピントを合わせてＲＧＢカラーの復元画像を再現する。ここで、画像処理装置によって生成される復元画像においては、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつモスキートノイズを除去している。したがって、スクリーンｅｘ７００上に再現される復元画像においても、図８に示されるように、エッジおよびテクスチャのぼけを抑え、エッジのあるなしで画質が極端に変化してしまったりすることを防止しつつ、エッジ強度の高い低いの如何に拘わらずモスキートノイズを除去することができる。

次いで、プロジェクタｅｘ６００に実装された画像処理装置について説明する。
図９は、図８に示されるプロジェクタｅｘ６００に実装された画像処理装置の機能構成を示すブロック図である。
画像処理装置３は、復号画像を構成する各画素のＹ成分に対して所定のフィルタ処理領域毎にフィルタ処理を施すことにより、復元画像を生成するものであって、図９に示されるように、差分値算出部１１と、エッジ強度算出部３１と、最大エッジ影響度算出部３２と、フィルタ係数算出部３３と、フィルタ処理部３４とを備える。なお、画像処理装置１，２の構成要素と対応する部分に同じ番号を付し、その説明を省略する。

ところで、画像処理装置１では、各ブロック内では同一の分布係数Ｕ（Ｘ，Ｙ）を用いてフィルタ係数を算出した。また、画像処理装置２では、ブロック毎に算出された分布係数Ｕ（Ｘ，Ｙ）を補間して画素毎に連続的に変化する補間分布係数ｕ（ｘ，ｙ）を算出し、この値を用いてフィルタ係数を算出することにより、ブロック境界部においても平滑化の強さが連続的に変化するフィルタ処理を実現している。しかしながら、上記したように復号画像が拡大されたり縮小されたりしている場合に、ブロック境界がどこに存在したのかわからないため、適切なフィルタ処理を行うことができない。そこで、この画像処理装置３は、ブロック境界がわからなくても、ブロック境界線に依存しない適切なフィルタ処理を行えるように構成されている。

画像処理装置３のエッジ強度算出部３１は、例えばソーベルフィルタ（高木幹雄、下田陽久監修「画像解析ハンドブック」、５５０〜５６４頁、東京大学出版会、１９９１年）で構成され、注目画素を中心とするエッジ影響度算出領域（例えば、１１×１１画素）の各周辺画素についてエッジ強度を算出し、これによって各周辺画素のエッジ強度がどうなっているかを検出する。

最大エッジ影響度算出部３２は、エッジ影響度算出領域における周辺画素のエッジ強度と、注目画素とその周辺画素との間の距離とに基づいて、各周辺画素についてのエッジ影響度を算出する。そして、最大エッジ影響度算出部３２は、全ての周辺画素についてのエッジ影響度の中の最大値を、フィルタ処理領域で用いる分布係数として決定する。
フィルタ係数算出部３３は、差分値算出部１１で算出されたフィルタ処理領域内における周辺画素の画素値と注目画素の画素値との差分値と、最大エッジ影響度算出部３２によって算出されたフィルタ処理領域で用いる分布係数とに基づいて、フィルタ処理領域内における周辺画素のフィルタ係数をそれぞれ算出する。

フィルタ処理部３４は、フィルタ係数算出部３３において算出された各周辺画素に対するフィルタ係数β_x,y（ｉ，ｊ）を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する。これにより、フィルタ処理部３４は、強いエッジに近いほどエッジに影響を及ぼさない範囲で強く平滑化し、エッジから遠いほど弱く平滑化する。すなわち、フィルタ処理部３４は、周辺画素のエッジ強度と、距離とに依存してフィルタ係数を動的に変化させる。

なお、上記画像処理装置３を構成する差分値算出部１１、エッジ強度算出部３１、最大エッジ影響度算出部３２、フィルタ係数算出部３３、フィルタ処理部３４は、画像処理装置１，２の場合と同様に、ＣＰＵや、画像処理プログラムを予め格納したＲＯＭ、画像処理プログラムを実行するためのワークエリア等を提供するＲＡＭ等によって構成される。
次いで、上記のように構成された画像処理装置３で復号画像から復元画像を生成するときの動作について説明する。

図１０は、画像処理装置３における復号画像から復元画像を生成するときの動作を示すフローチャートである。
画像処理装置３は、図１１に示される各エッジ影響度算出領域について、以下の処理を繰り返し実行する（Ｓ４１）。

図１１は、ある画素（注目画素）に対して設定されるエッジ影響度算出領域の構成を示す図である。
ここで、この実施の形態３においては１１×１１画素で構成されているが、復号画像のサイズ変換倍率に応じて２１×２１画素など、種々のサイズのフィルタ処理領域を設定してもよい。
まず、エッジ強度算出部３１は、ソーベルフィルタ等を用いて、各周辺画素のエッジ強度をそれぞれ算出する（Ｓ４２）。

図１２はソーベルフィルタの構成を示す図であり、特に、図１２（ａ）は水平方向に適用されるソーベルフィルタの構成を示す図であり、図１２（ｂ）は垂直方向に適用されるソーベルフィルタの構成を示す図である。
ソーベルフィルタは、ある注目画素（ここでは、周辺画素）を中心とした上下左右の９つの画素値に対して、図１２に示されるソーベルフィルタの係数をそれぞれ乗算し、乗算結果を合計する。水平方向の合計値をｇＨＳ、垂直方向の合計値をｇＶＳとしたとき、注目画素のエッジ強度ｇは以下の式で求められる。
ｇ＝（ｇＨＳ^２＋ｇＶＳ^２）^１／２
このような処理を各周辺画素に対して行うことにより、各周辺画素のエッジ強度がどうなっているかを検出することができる。

なお、この実施の形態３においては、エッジ強度算出部３１としてソーベルフィルタを用いたが、Ｐｒｅｗｉｔｔフィルタ等の１次微分フィルタや、２次微分フィルタ等を用いてエッジ強度を求めるようにしてもよい。

周辺画素のエッジ強度の算出が終わると、最大エッジ影響度算出部３２は、フィルタ処理領域に適用する分布係数を求めるための最大エッジ影響度算出処理を実行する（Ｓ４３）。
図１３は、最大エッジ影響度算出処理のサブルーチンを示すフローチャートである。
最大エッジ影響度算出部３２は、エッジ影響度算出領域内の各周辺画素について、以下の処理を繰り返し実行する（Ｓ４３１）。

まず、最大エッジ影響度算出部３２は、エッジ影響度算出領域内の各周辺画素について注目画素からの距離を算出する（Ｓ４３２）。このようにして求められた距離が図１１中の数字で示されている。なお、この実施の形態３では、周辺画素と注目画素との斜め方向の距離として、水平方向の距離と垂直方向の距離との加算値で簡略的に求めているが、水平方向距離の２乗と垂直方向距離の２乗との加算値の平方根で実際に求めるようにしてもよい。

距離が求まると、最大エッジ影響度算出部３２は、ステップＳ４３２で求めた注目画素からの距離と、エッジ強度算出部３１が算出したその周辺画素のエッジ強度とに基づいて、エッジ影響度を算出する（Ｓ４３３）。ここで、エッジ影響度は、図１４に示されるように、注目画素からの距離とエッジ強度に基づく関数Ｆ（距離，エッジ強度）で表され、注目画素に近く、エッジ強度が大きいほど、大きくなり、注目画素から遠く、エッジ強度が小さいほど、小さくなる。

このような処理を繰り返し実行することによりフィルタ処理領域内の各周辺画素についてのエッジ影響度が求まると（Ｓ４３４）、最大エッジ影響度算出部３２は、フィルタ処理領域に適用する分布係数として、算出したエッジ影響度の最大値を採用し（Ｓ４３５）、図１０に示されるメインルーチンにリターンする。
各フィルタ処理領域に適用する分布係数の算出が終わると（Ｓ４４）、差分値算出部１１は、復号画像の各画素について、以下の処理を繰り返し実行する（Ｓ１６）。差分値算出部１１は、ある注目画素の画素値ｆ（ｘ，ｙ）とフィルタ処理領域内の各周辺画素（図４に示されるフィルタ処理領域に含まれる全ての周辺画素）の画素値ｆ（ｘ＋ｉ，ｙ＋ｊ）との差分値ν_x,y（ｉ，ｊ）をそれぞれ算出する（Ｓ１７）。

全ての差分値ν_x,y（ｉ，ｊ）の算出が終わると（Ｓ１８）、フィルタ係数算出部３３は、フィルタ処理領域内の各周辺画素について、以下の処理を繰り返し実行する（Ｓ１９）。フィルタ係数算出部３３は、差分値算出部１１において算出された差分値ν_x,y（ｉ，ｊ）と、最大エッジ影響度算出部３２において算出された分布係数Ｕ（Ｘ，Ｙ）とから、各周辺画素に対するフィルタ係数β_x,y（ｉ，ｊ）を算出する（Ｓ２０）。具体的には、式（８）における分布係数Ｕ（Ｘ，Ｙ）を最大エッジ影響度算出部３２において算出された分布係数Ｕ（Ｘ，Ｙ）に置き換えた式を用いてフィルタ係数β_x,y（ｉ，ｊ）を算出する。

全てのフィルタ係数β_x,y（ｉ，ｊ）の算出が終わると（Ｓ２１）、フィルタ処理部３４は、各注目画素について、以下の処理を繰り返し実行する（Ｓ２２）。フィルタ処理部３４は、フィルタ係数算出部３３において算出された各周辺画素に対するフィルタ係数β_x,y（ｉ，ｊ）を用いて、注目画素に対するフィルタ処理を行い、フィルタ処理後の注目画素の画素値を算出する（Ｓ２３）。このような処理（Ｓ２３）を繰り返し実行し、全てのブロック内の各画素についてフィルタ処理後の画素値を算出し終わると（Ｓ２４）、復元画像が生成され、復元画像生成処理を終了する。

以上のように、本実施の形態３に係る画像処理装置３によれば、エッジ強度算出部３１においてエッジ影響度算出領域内の周辺画素のエッジ強度を算出し、最大エッジ影響度算出部３２においてエッジ画素からの距離とそのエッジ強度の大きさとに応じて、フィルタ処理領域に適用する分布係数（エッジ影響度の域最大値）を決定し、フィルタ係数算出部３３において分布係数に応じたフィルタ係数を算出し、フィルタ処理部３４において画素に対する平滑化の強さを変えるようにしている。

したがって、ブロック境界位置が不明な場合も、効果的に処理できる。しかも、自然画像と人工画像とが混在しているような場合であっても、従来のようなテクスチャのぼけが防止され、エッジ強度の高い低いの如何に拘わらず、エッジのぼけを抑制し、モスキートノイズを確実に除去することができる。また、ブロック境界に依存せずフィルタ処理が行われるので、従来のようにフィルタ処理されるブロックと、処理されないブロックとが極端に分かれ、画質が急激に変化するような事態を確実に防止することができる。

なお、上記実施の形態１，２の画像処理装置１，２では、ブロックに適用する分布係数Ｕ（Ｘ，Ｙ）として、ブロック内の最大画素値ｍａｘ｛ｆ（ｘ，ｙ）｝から最小画素値ｍｉｎ｛ｆ（ｘ，ｙ）｝を減算した値としたが、これに限定されるものではなく、ブロック内における画素値の分布の大きさを示す値であればよい。つまり、例えば、ブロック内における平均画素値からの分散値を、分布係数Ｕ（Ｘ，Ｙ）として用いることもできる。また、ソーベルフィルタを用いて画素毎にエッジ強度を算出し、各ブロック内において最大のエッジ強度を分布係数Ｕ（Ｘ，Ｙ）として用いてもよい。

また、差分値ν_x,y（ｉ，ｊ）と分布係数Ｕ（Ｘ，Ｙ）（または補間分布係数ｕ（ｘ，ｙ））に基づくフィルタ係数β_x,y（ｉ，ｊ）の算出方法としては、式（６）のように連続的な関数に基づいて算出するのではなく、差分値ν_x,y（ｉ，ｊ）および分布係数Ｕ（Ｘ，Ｙ）（または補間分布係数ｕ（ｘ，ｙ））の値に関して予め複数のレベルを設定しておき、各レベルに応じて段階的に設定されるようにしてもよい。

また、カラー画像を処理する場合には、輝度成分（Ｙ）からフィルタ係数β_x,y（ｉ，ｊ）を算出し、このフィルタ係数β_x,y（ｉ，ｊ）を用いて、Ｒ、Ｇ、Ｂ成分毎にそれぞれフィルタ処理を行うようにしてもよい。
また、本発明におけるフィルタ処理は、式（５）で表される処理に限定されるものではなく、同様の手段を備えていれば別の式で実現してもよい。

さらに、本発明はＪＰＥＧによって生じたノイズの除去処理に限定されるものではなく、他のブロック符号化方式によって生じたノイズの除去処理に用いることもできる。
また、静止画に限定されるわけではなく、ＭＰＥＧ圧縮データに対する処理のように動画に対しても適用でき、動画においても静止画の場合と同様の効果が得られる。
また、必ずしもプリンタやプロジェクタ内部で処理しなければならないわけではなく、ＰＣ上で処理してもよい。

また、上記実施の形態１，２では、プリンタでダイレクトプリントしたが、ＰＣからプリントする場合でも、ＰＣ内部でＲＧＢデータに復号してからプリンタに送るのではなく、ＪＰＥＧ圧縮データのままの状態でＰＣからプリンタに転送し、プリンタ内部で復号化処理以降の全ての処理を実行する方式、いわゆるプルプリントが最近になって検討されており、このような方式の場合においても適用できる。この場合においても、プリンタで、ＪＰＥＧ圧縮データの状態で受け取って、復号化処理から全ての処理を内部で行うため、自ずとブロック境界位置が分かる。

画像処理装置は、プリンタや、プロジェクタなど、多値画像をＭ×Ｎ画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成するコンピュータ装置に適用できる。

デジタルカメラおよびプリンタの外観構成を示す図である。 図１に示されるプリンタｅｘ４００に実装された画像処理装置の機能構成を示すブロック図である。 画像処理装置１において、復号画像から復元画像を生成するときの動作を示すフローチャートである。 注目画素、フィルタ処理領域、ブロックの位置関係を示す図である。 図１に示されるプリンタｅｘ４００に実装された他の画像処理装置の機能構成を示すブロック図である。 画像処理装置２において、復号画像から復元画像を生成するときの動作を示すフローチャートである。 分布係数の補間処理を説明するための図である。 デジタルカメラ、パーソナルコンピュータ、倍率変換器およびプロジェクタの外観構成を示す図である。 図８に示されるプロジェクタｅｘ６００に実装された画像処理装置の機能構成を示すブロック図である。 画像処理装置３における復号画像から復元画像を生成するときの動作を示すフローチャートである。 ある画素（注目画素）に対して設定されるフィルタ処理領域およびエッジ影響度算出領域の構成を示す図である。 ソーベルフィルタの構成を示す図であり、特に、図１２（ａ）は水平方向に適用されるソーベルフィルタの構成を示す図であり、図１２（ｂ）は垂直方向に適用されるソーベルフィルタの構成を示す図である。 最大エッジ影響度算出処理のサブルーチンを示すフローチャートである。 注目画素からの距離と、エッジ強度と、エッジ影響度との関係を示す図である。 ＪＰＥＧの符号化装置および復号化装置の機能構成を示すブロック図である。 従来の画像処理装置（ＳＵＳＡＮフィルタ）１００を示す図である。 注目画素の画素値と各周辺画素の画素値との差分値と、この差分値から算出される第２フィルタ係数α２_x,y（ｉ，ｊ）の値との関係を示す図である。 エッジとモスキートノイズの階調変化を模式的に表した図 従来のフィルタ処理を模式的に示す図である。 ＳＵＳＡＮフィルタによるフィルタ処理を行う前の復号画像とフィルタ処理後の復元画像を模式的に示す図である。

符号の説明

１，２，３ 画像処理装置
１１ 差分値算出部
１２ 分布係数算出部
１３，２３，３３ フィルタ係数算出部
１４，２４，３４ フィルタ処理部
２２ 分布係数補間部
３１ エッジ強度算出部
３２ 最大エッジ影響度算出部

Claims (6)

1. 多値画像をＭ×Ｎ画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成する画像処理装置であって、
   前記復号画像においてフィルタ処理を適用する注目画素の画素値と、前記注目画素のフィルタ処理に使用するフィルタ処理領域を構成する周辺画素の画素値との差分値を算出する差分値算出手段と、
   所定のエッジ影響度算出領域における前記周辺画素のエッジ強度を算出するエッジ強度算出手段と、
   前記エッジ強度算出手段が算出した前記周辺画素のエッジ強度が大きいほど、および、前記注目画素と前記周辺画素との距離が小さいほど、注目画素に対するエッジ影響度として大きな値を算出し、算出したエッジ影響度が大きいほど前記注目画素の画素値の分布係数として大きな値を算出するエッジ影響度算出手段と、
   前記差分値算出手段によって算出された前記差分値が小さいほど、および、前記エッジ影響度算出手段によって算出された前記分布係数が大きいほど、前記周辺画素に対するフィルタ係数として大きな値を算出するフィルタ係数算出手段と、
   前記フィルタ係数算出手段によって算出された前記フィルタ係数を用いて、前記復号画像における注目画素の画素値に対してフィルタ処理を行い、復元画像における注目画素の画素値を算出するフィルタ処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記エッジ影響度算出手段は、前記算出したエッジ影響度の最大値を前記注目画素の画素値の分布係数として算出する
   ことを特徴とする請求項１記載の画像処理装置。
3. 多値画像をＭ×Ｎ画素単位のブロック毎に符号化して得られた圧縮データを復号化して得られた復号画像に、ノイズを除去するためのフィルタ処理を行って復元画像を生成する画像処理装置に用いられる画像処理方法であって、
   前記復号画像においてフィルタ処理を適用する注目画素の画素値と、前記注目画素のフィルタ処理に使用するフィルタ処理領域を構成する周辺画素の画素値との差分値を算出する差分値算出ステップと、
   所定のエッジ影響度算出領域における前記周辺画素のエッジ強度を算出するエッジ強度算出ステップと、
   前記エッジ強度算出ステップによって算出した前記周辺画素のエッジ強度が大きいほど、および、前記注目画素と前記周辺画素との距離が小さいほど、注目画素に対するエッジ影響度として大きな値を算出し、算出したエッジ影響度が大きいほど前記注目画素の画素値の分布係数として大きな値を算出するエッジ影響度算出ステップと、
   前記差分値算出ステップによって算出された前記差分値が小さいほど、および、前記エッジ影響度算出ステップによって算出された前記分布係数が大きいほど、前記周辺画素に対するフィルタ係数として大きな値を算出するフィルタ係数算出ステップと、
   前記フィルタ係数算出ステップによって算出された前記フィルタ係数を用いて、前記復号画像における注目画素の画素値に対してフィルタ処理を行い、復元画像における注目画素の画素値を算出するフィルタ処理ステップと
   を含むことを特徴とする画像処理方法。
4. 前記エッジ影響度算出ステップでは、前記算出したエッジ影響度の最大値を前記注目画素の画素値の分布係数として算出する
   ことを特徴とする請求項３記載の画像処理方法。
5. 請求項３または４に記載の画像処理方法が備える全てのステップをコンピュータに実行させるためのプログラム。
6. 請求項３または４に記載の画像処理方法が備える全てのステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images