JPWO2002093935A1 - 画像処理装置 - Google Patents

Abstract

本発明は、ブロック歪を除去する画像処理装置を提供することを目的とする。その目的達成のために、本発明の画像処理装置は、圧縮データを復号化処理して得られる復元画像の中でブロック歪の除去処理を適用するブロック歪領域を特定する領域特定部１０３と、ブロック歪領域に対してノイズ除去処理を行なうブロック歪領域ノイズ除去部１０４とを備える。

Description

技術分野
本願発明は、原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する画像処理装置に関するものである。
背景技術
近年、画像データの圧縮符号化技術は著しく進歩してきている。その圧縮符号化技術は、記憶媒体を効率的に使用するのに有効なだけでなく、ネットワークを介して画像データを送受信する時間を短縮化するためにも有用である。通常、高い圧縮率での符号化が要求される場合は、原画像と復元画像が完全には一致しない非可逆画像圧縮方式が用いられる。非可逆画像圧縮方式の多くは、画像データをＭ×Ｎ画素単位で複数のブロックに分割し、各ブロックにおいて直交変換を行ない、得られた直交変換係数を量子化した後に符号化する方式を採用している。この非可逆画像圧縮方式の代表例に、カラー静止画像圧縮方式として広く普及しているＪＰＥＧがある。
ＪＰＥＧ圧縮に関する符号化及び復号化処理の概要を図１を用いて説明する。ＪＰＥＧ圧縮を行なう場合、まず、色変換部１０が、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の多値データ（濃度データ）で構成される各画素のデータを、輝度成分（Ｙ）及び色差成分（Ｃｒ，Ｃｂ）のデータに変換する。ＲＧＢ空間の定義は複数存在するが、その中の一つであるｓＲＧＢ空間を例にとると、ＲＧＢデータからＹＣｒＣｂデータへの変換は、次式（数１）に基づいて行なわれる。

次に、ＤＣＴ変換部１１が、ＹＣｒＣｂデータを８×８画素のブロック単位で離散コサイン変換（ＤＣＴ変換）する。変換後のＤＣＴ係数をＤＣＴ［ｖ］［ｕ］、変換前のＹＣｒＣｂデータをＦ［ｙ］［ｘ］とすると、ＤＣＴ変換は、次式（数２）に基づいて行なわれる。なお、上記のｘは、各ブロックにおけるＤＣＴ変換前の原画像の横方向の位置を示し、上記のｙは、各ブロックにおけるＤＣＴ変換前の原画像の縦方向の位置を示している。また、上記のｕは、各ブロックにおけるＤＣＴ変換後のＤＣＴ係数の横方向の位置を示し、上記のｖは、各ブロックにおけるＤＣＴ変換後のＤＣＴ係数の縦方向の位置を示している。

なお、人間の目は輝度成分に比べて色差成分に対する感度の方が低感度であるため、色差成分に対してサブサンプリングを行なって圧縮効率を上げている。一般に、２×２画素の輝度成分に対して色差成分の１画素が対応するようにサブサンプリングを行なう。したがって、色差成分については、１６×１６画素単位のブロックから８×８画素分のデータを間引いてきてＤＣＴ変換を行なうことになる。
次に、量子化部１２がＤＣＴ係数の量子化を行なう。量子化後のＤＣＴ係数をＱＤＣＴ［ｖ］［ｕ］、ＤＣＴ係数の各成分を量子化する値をＱｔａｂｌｅ［ｖ］［ｕ］とすると、量子化は次式（数３）に基づいて行なわれる。

ただし、ＩＮＴ｛ａ｝は値ａを超えない最大の整数値を意味する。
なお、各周波数に対応するＤＣＴ係数を量子化するときに用いる量子化ステップ値としては、量子化テーブル１３の各値が用いられ、それはユーザが任意に設定することができる。一般に、人間の目は低周波成分に比べて高周波成分に対する感度の方が低感度であり、また、輝度成分に比べて色差成分に対する感度の方が低感度であることから、低周波成分に対する量子化ステップ値よりも高周波成分に対する量子化ステップ値の方が、相対的に大きな値が用いられる。また、輝度成分に対する量子化ステップ値よりも色差成分に対する量子化ステップ値の方が、相対的に大きな値が用いられる。参考に、ＪＰＥＧの標準方式が推奨する量子化テーブルを図２及び図３に示す。図２は輝度成分（Ｙ）に対する量子化テーブルであり、図３は色差成分（Ｃｒ，Ｃｂ）に対する量子化テーブルである。なお、量子化に使用した量子化テーブルの各量子化ステップ値は復号時に必要となるため、符号化されたＪＰＥＧ圧縮データに格納される。
量子化されたＤＣＴ係数は、エントロピー符号化部１４によって符号化される。ＪＰＥＧの標準方式では、エントロピー符号化としてハフマン符号化が用いられる。
以上の処理が、画像データからＪＰＥＧ圧縮データへの符号化処理の概要である。それに対し、ＪＰＥＧ圧縮データを画像データへ復号化する場合には、基本的に上の符号化処理を逆順に辿ることになる。以下では、復号化処理の手順について説明する。
まず、エントロピー復号化部１５が、ＪＰＥＧ圧縮データに対してエントロピー復号化を行なう。
次に、逆量子化部１６が逆量子化を行なう。このとき、逆量子化部１６は、符号化時に使用した量子化テーブル１３をＪＰＥＧ圧縮データから読み取り、その量子化テーブル１３の各量子化ステップ値を、符号化された各成分を逆量子化する値として使用する。すなわち、逆量子化部１６は、符号化時に使用した量子化テーブル１３の各量子化ステップ値と同じ値を逆量子化ステップ値として持つ逆量子化テーブル１７を用い、その逆量子化テーブル１７の各逆量子化ステップ値を用いて、符号化された各成分を逆量子化する。ここで、逆量子化後のＤＣＴ係数をＲＤＣＴ［ｖ］［ｕ］とすると、逆量子化の演算は次式（数４）に基づいて行なわれる。

なお、上記（数４）に基づいて逆量子化されたＤＣＴ係数は、符号化時に量子化によって丸められた係数から算出された値であるため、原画像から得られるＤＣＴ係数を正確には再現していない。ただし、原画像から得られる正確なＤＣＴ係数は、下記（数５）で示される下限値ｄＤＣＴ［ｖ］［ｕ］以上、下記（数６）で示される上限値ｐＤＣＴ［ｖ］［ｕ］未満であることが保証されている。

このようにして、逆量子化が行なわれると、次に、逆ＤＣＴ変換部１８が逆ＤＣＴ変換を行なう。この逆ＤＣＴ変換によって、ＤＣＴ係数からＹＣｒＣｂデータへの変換が行なわれる。逆ＤＣＴ変換後のＹＣｒＣｂデータをＧ［ｙ］［ｘ］とすると、逆ＤＣＴ変換は、次式（数７）に基づいて行なわれる。

最後に、色変換部１９が、ＹＣｒＣｂデータからＲＧＢデータへの色変換処理を行ない、復元画像を得る。次式（数８）は、ＹＣｒＣｂデータをｓＲＧＢデータへ変換する際に用いる変換式である。

以上が、ＪＰＥＧ圧縮に関する符号化及び復号化処理の概要であるが、符号化処理の中で量子化が行なわれるためにデータの劣化が生じる。このデータの劣化は復元画像においてノイズとして現れ、原画像に比べて復元画像の画質は劣化する。図４に原画像の一例を、図５に、その原画像をＪＰＥＧ圧縮し、その圧縮データを復号化した復元画像の一例を、それぞれ示す。
復元画像に現れるノイズのうち、視覚的に悪影響を及ぼすものに、図５に表われているモスキートノイズと呼ばれるノイズがある。モスキートノイズとは、復元画像中のエッジの周辺に蚊が飛んでいるように見える階調の揺らぎのことをいう。これは、データを符号化する際に、ＤＣＴ係数の量子化によって高周波成分の多くが欠落したことにより、原画像に存在していた強いエッジが正確に復元されないことに起因している。
また、別のノイズとして、図５に表われているブロック歪と呼ばれるノイズがある。ブロック歪とは、８×８画素のブロック単位で符号化処理が行なわれるために、復元画像のブロック境界部で階調が不連続になる現象のことをいう。このノイズは、原画像において階調値が緩やかに変化していた領域において顕著に表われる。
これらのノイズを除去する従来技術として、復元画像に対してフィルタ処理（平滑化処理）を行なって、復元画像に存在する目障りなモスキートノイズやブロック歪を除去する技術がある。この技術を利用して、均一に復元画像を平滑化すると、ノイズは低減される。しかしその反面、原画像に存在していた本来のエッジも鈍ってしまい、画像にぼけが生じる。
画像に不必要なぼけを生じさせないために、特許第２９６２８１５号公報には、原画像を符号化する際に、原画像に存在していた本来のエッジがブロック境界に位置しているブロックを特定する情報を圧縮データに付加しておくという手法が開示されている。そして、復号化時に、上記の情報に基づいて、復元画像を、原画像に存在していた本来のエッジがブロック境界に位置しているブロックとそれ以外のブロックとに区別し、上記それ以外のブロックに対してはブロック歪を除去するための処理を行ない、原画像に存在していた本来のエッジがブロック境界に位置しているブロックに対してはエッジを残すための処理を行なうのである。
しかしながら、上記の特許第２９６２８１５号公報に開示されている手法では、符号化時に、原画像に存在していた本来のエッジがブロック境界に位置しているブロックを特定する情報を、圧縮データに付加しておく必要がある。そのため、符号化装置に、原画像に存在していた本来のエッジがブロック境界に位置しているブロックを特定する機能と、その特定したブロックを識別するための情報を圧縮データに付加する機能とを、設けておかなければならないという課題がある。
これに対し、符号化装置に上記のような特殊な機能を付加することなく、復号化装置の機能だけで、原画像に存在していた本来のエッジを鈍るのを抑制し、つまり画像にぼけが生じるのを抑えて、ブロック歪やモスキートノイズを低減化する手法も提案されている。このような手法のうち、特に有力な手法として凸射影法がある。凸射影法とは、平滑化処理と制約条件に基づく射影処理とを交互に繰り返し行なう手法のことをいう。以下では、図６を参照しながら凸射影法の処理手順について説明する。
まず、ＤＣＴ変換部２０が、ＪＰＥＧ圧縮データから復号化された復元画像をＤＣＴ変換した後、制約条件算出部２１が、射影処理用の制約条件を算出する。ここで上記制約条件とは、最終的に出力される画像を形成する各ブロックが有する各ＤＣＴ係数を、原画像が有していた可能性のあるＤＣＴ係数の範囲内に制限するための条件をいう。
ＪＰＥＧ符号化及び復号化の過程でＤＣＴ係数の量子化が行なわれるが、ＪＰＥＧ復号化処理の説明で述べたように、量子化前のＤＣＴ係数は、下限値ｄＤＣＴ［ｖ］［ｕ］以上、且つ、上限値ｐＤＣＴ［ｖ］［ｕ］未満であることが保証されている。このため、制約条件算出部２１は、射影処理における制約条件として、ＤＣＴ係数の可変範囲を示す下限値ｄＤＣＴ［ｖ］［ｕ］及び上限値ｐＤＣＴ［ｖ］［ｕ］を算出する（上記（数５）及び上記（数６）参照）。
次に、制約条件算出部２１によって算出された制約条件（下限値ｄＤＣＴ［ｖ］［ｕ］及び上限値ｐＤＣＴ［ｖ］［ｕ］）を用いた射影処理と平滑化処理とを交互に繰り返すことにより、復元画像に対してノイズ除去を行なう処理について説明する。
まず、平滑化処理部２２が、復元画像にフィルタ処理を行なって均一に平滑化する。平滑化された画像データは、色変換部２３によりＹＣｒＣｂデータに色変換された後、ＤＣＴ変換部２４によってＤＣＴ変換される。
ここで得られたＤＣＴ係数に対して、射影処理部２５が、制約条件算出部２１によって算出されたＤＣＴ係数の下限値ｄＤＣＴ［ｖ］［ｕ］及び上限値ｐＤＣＴ［ｖ］［ｕ］に基づいて、射影処理を行なう。すなわち、ＤＣＴ変換部２４によって算出されたＤＣＴ係数が、下限値ｄＤＣＴ［ｖ］［ｕ］未満か上限値ｐＤＣＴ［ｖ］［ｕ］以上の場合には、ＤＣＴ係数を可変範囲限界の値に丸める。すなわち、ＤＣＴ変換部２４によって算出されたＤＣＴ係数が、下限値ｄＤＣＴ［ｖ］［ｕ］未満の場合には、射影処理部２５は、ＤＣＴ係数を、下限値ｄＤＣＴ［ｖ］［ｕ］に置き換え、上限値ｐＤＣＴ［ｖ］［ｕ］以上の場合には、射影処理部２５は、ＤＣＴ係数を、上限値ｐＤＣＴ［ｖ］［ｕ］に置き換える。
そして、この丸められたＤＣＴ係数を、逆ＤＣＴ変換部２６が逆ＤＣＴ変換した後、色変換部２７がＹＣｒＣｂデータをＲＧＢデータに色変換する。
次に、終了判定部２８が、ノイズ除去処理を終了するか継続するかを判定する。処理を継続することが判定された場合は、平滑化処理部２２から色変換部２７までの各構成部が再度同じ処理を繰り返す。
ところで、このような平滑化処理と制約条件に基づく射影処理とを数多く繰り返し行なうと、ブロック歪やモスキートノイズは十分に除去されるが、原画像に存在していた本来のエッジが鈍り、画像に生じるぼけが大きくなる。
そこで、原画像に存在していた本来のエッジの鈍りを抑えて、かつ、ブロック歪やモスキートノイズを除去することができる処理回数を、終了判定部２８に予め設定しておく。そうすると、終了判定部２８は、予め設定された回数だけ、平滑化処理と射影処理とを繰り返し行なわせる判定をすることになる。その結果、上述した凸射影法により、原画像に存在していた本来のエッジの鈍りを抑えて、復元画像に存在するブロック歪やモスキートノイズを除去することができる。
図７に、従来の凸射影法によって図５の復元画像が処理された画像を示す。図７に示すように、平滑化処理と制約条件に基づく射影処理とを繰り返し行なうことにより、大きなぼけを発生させることなく、復元画像に存在していたノイズは低減されていることが分かる。
なお、終了判定部２８は、予め設定された回数だけ平滑化処理と射影処理とを繰り返し行なわせるのではなく、画像から得られる評価指標に基づいて、平滑化処理と射影処理との繰り返しの終了を判定してもよい。一例としては、終了判定部２８は、各繰り返し処理において、平滑化処理及び射影処理を行なった後の画像の変化量が小さくなった時点で、平滑化処理及び射影処理を終了させるようにしてもよい。具体的には、ｋ回目の処理後の画像をｆ_ｋ（ｘ，ｙ）、ｋ＋１回目の処理後の画像をｆ_ｋ＋１（ｘ，ｙ）と表わすと、ｋ＋１回目の処理における画像の変化量Ｅは次式（数９）によって算出される。

この変化量Ｅが所定の値以下になった時点で、終了判定部２８は、平滑化処理及び射影処理を終了するように判定するのである。
しかしながら、この凸射影法によるノイズ除去処理では、画像全体に対して単一のフィルタによる平滑化処理を行なうため、画像にはある程度のぼけが生じる。つまり、図７に表わされているように、原画像に存在していた本来のエッジが鈍る。
この課題をさらに改善するために、エッジを考慮して、復元画像を領域分割し、それぞれの領域に対して異なるフィルタを用いて平滑化処理を行なうように工夫されている手法もある。
特開平７−１７０５１８には、隣接する画素に関して画素値の変化が所定の値よりも小さい画素を次々に連結していくことによって画像を複数の小領域（この小領域はブロックとは異なり、各小領域は同じ大きさを持つとは限らない。）に分割し、それぞれの領域内で平滑化処理を行なう技術が開示されている。この手法を用いると、エッジ部分で領域が分けられるため、エッジを横切って平滑化処理が行なわれることがなくなり、エッジ部分でのぼけを比較的小さく抑えられる効果がある。
しかし、この手法では、ブロック歪としてブロック境界部分に生じた階調の不連続性によっても領域が分割される可能性があり、この場合にはブロック歪を低減することができず、ブロック歪は残ってしまう。
そこで、本発明は、上記従来の課題を考慮し、エッジ部分でのぼけを抑えるとともに、ブロック歪を除去することができる画像処理装置を提供することを目的とする。
次に、上記の特許第２９６２８１５号公報に開示されているブロック歪を除去するための処理について図８を用いて説明する。
上記の特許第２９６２８１５号公報に開示されているブロック歪を除去するための処理では、まず、圧縮データに付加されている、原画像に存在していた本来のエッジがブロック境界に位置しているブロックを特定する情報に基づいて、復元画像の中の、ブロック歪除去処理をすべきブロックを特定する。以下では、図８に示す注目ブロックｘは、ブロック歪除去処理をすべきブロックと特定されたブロックとする。
そして、図８に示すように、注目ブロックｘの角部ａについて、注目ブロックｘ内の角部ａの画素ａ１の値と、注目ブロックｘと隣接する三つのブロックＬ，ＬＵ，Ｕそれぞれの角部ａの画素ａ２，ａ３，ａ４との値を平均化し、その平均化した値を、上記注目ブロックｘ内の角部ａの画素ａ１の値と推定する。次に、推定した画素ａ１の値から、復元されたときの画像の画素ａ１の値を減算し、その値を画素ａ１についての補正量とみなす。
同様にして、注目ブロックｘの残りの三つの角部ｂ，ｃ，ｄそれぞれについて、注目ブロックｘ内の角部ｂ，ｃ，ｄに位置する画素ｂ１，ｃ１，ｄ１それぞれについての補正量を算出する。
その後、注目ブロックｘ内の各画素について、画素ａ１，ｂ１，ｃ１，ｄ１についての補正量を、画素ａ１，ｂ１，ｃ１，ｄ１からの距離に応じて重み付けして平均することにより、注目ブロックｘ内の各画素の補正量を算出する。そして、算出した各画素の補正量を復元画像の対応する画素の値に加算して、ブロック歪を低減した画像を得る。
このような方法を用いると、ブロック歪が低減された画像を得ることができる。しかしながら、注目ブロックｘの各角部では、注目ブロックｘ内の角部の画素の値と、隣接する三つのブロックの角部それぞれの画素の値が全て同じ値になってしまう。角部ａを例にとって具体的に説明すると、注目ブロックｘ内の角部ａの画素ａ１の値と、注目ブロックｘと隣接する三つのブロックＬ，ＬＵ，Ｕそれぞれの角部ａの画素ａ２，ａ３，ａ４の各値とが同じ値になるということである。そうすると、ブロック歪は低減されるが、各ブロックの各角部が同じ画素値になり、各ブロックの各角部において滑らかな階調変化が再現されないという問題が発生する。
そこで、本発明は、上記の課題を考慮し、復元画像を構成する各ブロックの各角部においても滑らかな階調変化を再現してブロック歪を除去する画像処理装置を提供することをも目的とする。
また、特開平８−２１４３０９号公報には、圧縮データの原画像に対する圧縮率に応じて、平滑化フィルタを切り替えて復元画像をフィルタ処理するという技術が開示されている。モスキートノイズやブロック歪といったノイズが視覚に与える悪影響の大きさが、圧縮データの原画像に対する圧縮の強さに依存するのは勿論であるが、復元画像の出力サイズにも大きく依存している。すなわち、プリンタ出力や画面表示において、復元画像を拡大処理して出力する場合には、上記のノイズが非常に目立ち、視覚的に大きな悪影響を与えるのに対し、復元画像を縮小処理して出力する場合には、ノイズが目立たなくなり、視覚的な悪影響は小さくなる。
この効果を考慮せずにノイズ除去処理を行なうと、ノイズが十分に除去されない、又は、不必要に大きなぼけが生じるといった課題があった。
そこで、本発明は、上記従来の課題を考慮し、復元画像を出力するときの拡大率を考慮して、復元画像の出力に適した効率的なノイズ除去処理を行なう画像処理装置を提供することを目的とする。
発明の開示
上記目的を達成するために、本発明の画像処理装置は、原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する装置であって、上記復元画像の中でブロック歪の除去処理を適用するブロック歪領域を特定する領域特定部を備えたことを特徴としている。そして、本発明の画像処理装置は、上記領域特定部によって特定されたブロック歪領域に対して、ノイズ除去処理を行なうブロック歪領域ノイズ除去部をも備える。
また、本発明の画像処理方法は、原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する方法であって、上記復元画像の中でブロック歪の除去処理を適用するブロック歪領域を特定する領域特定ステップを備えたことを特徴としている。そして、本発明の画像処理方法は、上記領域特定ステップにおいて特定したブロック歪領域に対して、ノイズ除去処理を行なうブロック歪領域ノイズ除去ステップをも備える。
また、本発明の画像処理装置は、原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する装置であって、上記復元画像に対する出力画像の拡大率を検出する拡大率検出部と、その拡大率検出部によって検出された拡大率に基づいて、上記復元画像に存在するノイズを除去するノイズ除去部を備えたことを特徴としている。そして、本発明の画像処理装置は、上記ノイズ除去部によってノイズが除去された上記復元画像を、上記拡大率検出部によって検出された拡大率に基づいて拡大する画像拡大部をも備えている。
また、本発明の画像処理方法は、原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する方法であって、上記復元画像に対する出力画像の拡大率を検出する拡大率検出ステップと、その拡大率検出ステップにおいて検出した拡大率に基づいて、上記復元画像に存在するノイズを除去するノイズ除去ステップを備えたことを特徴としている。そして、本発明の画像処理方法は、上記ノイズ除去ステップにおいてノイズを除去した上記復元画像を、上記拡大率検出ステップにおいて検出した拡大率に基づいて拡大する画像拡大ステップをも備えている。
発明の実施をするための最良の形態
以下に、本発明の実施の形態を図面を参照して説明する。
（実施の形態１）
まず、本発明の実施の形態１の画像処理装置を説明する。
図９に、本実施の形態１の画像処理装置の構成及び処理手順を示す。まず、従来の凸射影法と同様に、ＤＣＴ変換部１０１が、ＪＰＥＧ圧縮データから復号化された復元画像をＤＣＴ変換し、制約条件算出部１０２が、射影処理で用いるための制約条件を算出する。なお、ここで算出する制約条件は、通常の凸射影法で用いる制約条件と同じである。なお、本実施の形態１及び後述する実施の形態２では、直交変換の一例としてＤＣＴ変換を用いた場合の処理について説明する。したがって、本実施の形態１及び後述する実施の形態２では、ＤＣＴ係数が直交変換係数の一例となる。
他方、領域特定部１０３は、上記ＪＰＥＧ圧縮データから復号化された復元画像の中の「ブロック歪領域」、「エッジ領域」、及び「均質領域」を特定する。言い換えると、領域特定部１０３は、復元画像を、「ブロック歪領域」、「エッジ領域」、「均質領域」の三つの領域に分割する。具体的には、領域特定部１０３は、まず、復元画像の中の「ブロック歪領域」を特定し、復元画像の中の「ブロック歪領域」を除いた領域から「エッジ領域」を特定し、ブロック歪領域にもエッジ領域にも属さなかった領域を「均質領域」と特定する。
以下では、この三つの領域を特定する方法について説明する。なお、ＪＰＥＧ符号化では、色差成分に対してサブサンプリングが行なわれることに加え、輝度成分に比べて色差成分の方が量子化テーブルの値が大きく設定されるため、復元画像における色差成分の情報量は輝度成分に比べて大幅に劣化している。そこで、本実施の形態１では、復元画像のＲＧＢデータをＹＣｒＣｂデータに色変換し、このうち輝度成分（Ｙ）だけを使用して、上記の「ブロック歪領域」、「エッジ領域」、及び「均質領域」の三つの領域を特定する。
まず、復元画像の中の「ブロック歪領域」を特定する方法を説明する。ＪＰＥＧ復号化処理の説明で述べたように、ブロック歪が目障りとなり補正が必要と判断される領域は、原画像において階調値が緩やかに変化していた領域、すなわち、高周波成分を多く含まない領域である。そこで、領域特定部１０３は、復元画像を構成する全てのブロックについてＤＣＴ変換し、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックを、ブロック歪領域と特定する。例えば、領域特定部１０３は、図１０に示すように、３次以上のＤＣＴ係数の値が全てゼロであるブロックを、ブロック歪領域と特定する。
なお、この方法によりブロック歪領域と特定されたブロックに隣接するブロックに高周波成分が含まれていると、ブロック歪領域と特定されたブロックを後述する方法でノイズ除去処理した場合、ブロック歪領域と特定されたブロックに隣接するブロックに生じているモスキートノイズによって、ブロック歪領域と特定されたブロック内の各画素値の補正量が不適切な値となる場合がある。
そこで、そのような問題を回避するために、領域特定部１０３は、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのうちで、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのみで囲まれているブロックを、ブロック歪領域と特定することが好ましい。例えば、領域特定部１０３は、ＤＣＴ係数が図１０に示される条件を満たすブロックのうちで、ＤＣＴ係数が図１０に示される条件を満たすブロックのみで囲まれているブロックのみを、ブロック歪領域と特定することが好ましい。
その特定方法の説明を図１１を用いて補充する。図１１において、ある注目ブロックＸが、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックであるとする。例えば、注目ブロックＸのＤＣＴ係数が、図１０に示すような、直流成分、１次の交流成分、及び２次の交流成分のみが任意の値を有し、３次以上の交流成分が全てゼロであるブロックであるとする。その場合、上記注目ブロックＸを取り囲む８個のブロックＬＵ，Ｕ，ＲＵ，Ｌ，Ｒ，ＬＤ，Ｄ，ＲＤの全てが、上記注目ブロックＸと同様に、所定の周波数（次数，図１０のブロックの場合では３次）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックである場合に、領域特定部１０３は、上記注目ブロックＸをブロック歪領域と特定するのである。
このようにしてブロック歪領域を特定すると、領域特定部１０３は、次に、復元画像の中のエッジ領域を特定する。以下では、領域特定部１０３によるエッジ領域の特定方法について図１２を用いて説明する。図１２は、領域特定部１０３内の、エッジ領域を特定する構成部を示す図である。
まず、平滑化処理部２０１が、ＪＰＥＧ圧縮データから復号化された復元画像に対してガウシアンフィルタなどを用いた平滑化処理を行なう。その平滑化処理は、復元画像にはノイズが多く含まれており、そのノイズを低減する必要があるからである。
次に、２次微分フィルタ処理部２０２が、平滑化処理部２０１によって平滑化処理された画像に対して２次微分フィルタ処理（例えば、ラプラシアンフィルタ処理）を行ない、その後、エッジ候補画素検出部２０３が、零交差法を用いてエッジ候補画素を検出する。この零交差法を用いる検出方法は、エッジの中心を高精度に検出できることが大きな特徴である。
ところで、このエッジ候補画素の中には、ブロック歪やモスキートノイズに起因するエッジ成分を有する画素も多く含まれている。なぜなら、エッジ候補画素検出部２０３は、零交差法を用い、２次微分フィルタ処理結果（例えば、ラプラシアンフィルタ処理結果）において、値が正から負へ、又は、負から正へ変化している画素を全て検出するからである。つまり、エッジ候補画素検出部２０３は、非常に小さな階調変化であっても、２次微分フィルタ処理結果（例えば、ラプラシアンフィルタ処理結果）において、値が正から負へ、又は、負から正へ変化している画素であれば、その画素全てをエッジ候補画素として検出してしまうということである。
そのため、エッジ候補画素検出部２０３によって検出されたエッジ候補画素から、ブロック歪に起因するエッジ候補画素と、モスキートノイズに起因するエッジ候補画素と、階調変化の非常に小さいエッジ候補画素とを除外することにより、原画像に存在していた本来のエッジ画素だけを特定する必要がある。
そこで、まず、ブロック歪エッジ特定部２０４が、エッジ候補画素検出部２０３によって検出されたエッジ候補画素のうちで、ブロック歪に起因するエッジ候補画素を特定する。例えば、ブロック境界に位置するエッジ候補画素であって、且つ、そのブロックの内部に位置するエッジ候補画素と隣接していない画素を、ブロック歪に起因するエッジ候補画素であると、ブロック歪エッジ特定部２０４は特定する。
次に、モスキートノイズエッジ特定部２０５が、エッジ候補画素検出部２０３によって検出されたエッジ候補画素のうちで、モスキートノイズに起因するエッジ候補画素を特定する。原画像においてブロック内に強いエッジが存在していた場合、復元画像には本来のエッジの周辺に弱い階調の揺らぎ、すなわち、モスキートノイズが生じる。したがって、同一ブロック内において相対的にエッジ強度が強いエッジ候補画素と相対的にエッジ強度が弱いエッジ候補画素とが存在する場合には、相対的にエッジ強度が弱い画素はモスキートノイズに起因するエッジ候補画素である可能性が高い。
そこで、モスキートノイズエッジ特定部２０５は、各ブロック内で検出されたエッジ候補画素に関して４近傍の連結性を調べる。具体的には、モスキートノイズエッジ特定部２０５は、検出されたエッジ候補画素の、上、下、左、右に位置する画素を調べ、これらの中にエッジ候補画素が存在した場合には、それらのエッジ候補画素は連結しているものと判定する。このようにして、ブロック内の全てのエッジ候補画素について４近傍の連結性を調べた結果、最終的に、各ブロックにおいて連結していると判定されたエッジ候補画素の計都合体のことを、それぞれ連結エッジ候補と呼ぶ。同一ブロック内に複数の連結エッジ候補が存在した場合には、モスキートノイズエッジ特定部２０５は、ソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）を用いて各エッジ候補画素におけるエッジの強さを算出した後、連結エッジ候補毎にその平均値を算出する。モスキートノイズエッジ特定部２０５は、この平均値に関して、同一ブロック内で相対的にエッジの強さが予め決められた所定の割合より弱いと判断される連結エッジ候補を構成する画素全てを、モスキートノイズに起因するエッジ候補画素であると特定する。例えば、ある連結エッジ候補のエッジ強度の平均値が、同一ブロック内で最も強い平均エッジ強度を有する連結エッジ候補の８０％未満のエッジ強度である場合には、モスキートノイズエッジ特定部２０５は、その連結エッジ候補を構成する画素全てを、モスキートノイズに起因するエッジ候補画素であると特定する。
次に、微小階調変化エッジ特定部２０６が、エッジ候補画素検出部２０３によって検出されたエッジ候補画素のうちで、絶対的なエッジ強度が所定の値より小さいエッジ候補画素を、微小階調変化画素と特定する。例えば、微小階調変化エッジ特定部２０６は、ソーベルフィルタを用いた処理によって各エッジ候補画素のエッジの強さを算出し、この強さが所定の値以下であった画素を微小階調変化画素と特定する。
そして、エッジ画素特定部２０７が、エッジ候補画素検出部２０３によって検出されたエッジ候補画素から、ブロック歪エッジ特定部２０４によって特定されたブロック歪に起因するエッジ候補画素と、モスキートノイズエッジ特定部２０５によって特定されたモスキートノイズに起因するエッジ候補画素と、微小階調変化エッジ特定部２０６によって特定された微小階調変化画素とを除いた画素を、エッジ画素と特定する。
次に、エッジ領域特定部２０８は、エッジ画素特定部２０７によって特定されたエッジ画素に基づいて、復元画像におけるエッジ領域を特定する。エッジ画素特定部２０７によって特定されたエッジ画素は、エッジの中央に位置する画素であり、この画素に隣接する周辺の画素についても、原画像で比較的急激な階調変化が生じていた可能性が高い。そこで、エッジ領域特定部２０８は、エッジ画素特定部２０７によって特定されたエッジ画素から所定の距離範囲内の画素複数個で構成される領域を、エッジ領域と特定する。
従来、エッジ検出を行なう場合には、ソーベルフィルタなどでフィルタ処理された値に基づいて、階調値が急激に変化している領域を検出するといった手法が多く用いられてきた。この手法をＪＰＥＧ復元画像に適用すると、原画像に存在していた本来のエッジだけでなく、ブロック歪やモスキートノイズによって生じた階調の段差や揺らぎまでエッジとして検出してしまう。しかしながら、上述した本実施の形態におけるエッジ領域の特定方法によると、原画像に含まれていたエッジだけを特定することが可能となる。
なお、上記では、ブロック歪エッジ特定部２０４がブロック歪に起因するエッジ候補画素を特定し、次に、モスキートノイズエッジ特定部２０５がモスキートノイズに起因するエッジ候補画素を特定し、その後、微小階調変化エッジ特定部２０６が微小階調変化画素を特定するとした。しかしながら、ブロック歪に起因するエッジ候補画素、モスキートノイズに起因するエッジ候補画素、及び微小階調変化画素を特定する順序は、限定されるものではない。
さて、上述したようにして、領域特定部１０３がブロック歪領域及びエッジ領域を特定すると、領域特定部１０３は、上記復元画像中のブロック歪領域にもエッジ領域にも属さない領域を、均質領域と特定する。この均質領域は、復元画像においてモスキートノイズが生じている領域と、比較的階調値が滑らかに変化している領域とから構成される領域である。
このように、領域特定部１０３によって、上記復元画像中のブロック歪領域、エッジ領域、及び均質領域が特定されると、ブロック歪領域ノイズ除去部１０４、エッジ領域ノイズ除去部１０５、及び均質領域ノイズ除去部１０６それぞれが、ブロック歪領域、エッジ領域、又は均質領域に対応した画像処理を行なう。
以下に、ブロック歪領域ノイズ除去部１０４、エッジ領域ノイズ除去部１０５、及び均質領域ノイズ除去部１０６が行なう処理について説明する。
まず、ブロック歪領域ノイズ除去部１０４が行なう処理について説明する。ブロック歪が目障りとなるブロック歪領域は、上述したように、主に原画像において階調が緩やかに変化していた領域である。これは、ブロック単位で独立に符号化が行なわれるために、量子化によって隣接ブロックの境界部で階調の連続性が保持されなくなったために生じたものである。このブロック歪を除去するために、単なるフィルタ処理によって平滑化するだけでは、階調の不連続性を除去することは困難である。このため、ブロック歪を効果的に除去するための特別な処理が必要となる。
そこで以下に、画素補間を応用したブロック歪を効果的に除去するためのブロック歪除去手法を説明する。以下では、図１３〜図１６を参照しながら、本実施の形態１におけるブロック歪除去手法の処理手順について説明する。
本実施の形態１におけるブロック歪除去手法では、復元画像を８×８画素単位のブロックに分割したときに、四つのブロックが交わる点のことをブロック交点と呼ぶことにする。この点は、図１３のブロック交点１８０（１８０Ａ〜１８０Ｄ）に対応する。また、各ブロック交点１８０における仮想的な画素濃度（画素値）のことをブロック交点画素の濃度と呼ぶことにする。
図１４に、ブロック歪領域ノイズ除去部１０４の内部構成を示す。ブロック交点画素濃度付与部１６０は、ブロック交点画素の濃度を算出する。ブロック交点画素の濃度は、領域特定部１０３によって特定された各ブロック歪領域の各ブロック交点１８０に隣接する四つのブロックからそれぞれ個別に与えられる。すなわち、各ブロック交点１８０には、四つのブロック交点画素の濃度が与えられることになる。
図１５を用いて、具体的にブロック交点画素の濃度を説明する。図１５は、被処理対象のブロック歪領域（８×８画素のブロック）Ｘが、８個のブロック歪領域（８×８画素のブロック）ＬＵ，Ｕ，ＲＵ，Ｌ，Ｒ，ＬＤ，Ｄ，ＲＤで囲まれている様子を示している。被処理対象のブロック歪領域Ｘの各角部には、図１５に示すように、ブロック交点１８０（１８０Ａ〜１８０Ｄ）が存在する。
そして、ブロック交点１８０Ａを例にとると、そのブロック交点１８０Ａには、被処理対象のブロック歪領域Ｘに属する画素から算出されるブロック交点画素の濃度Ａ［４］が付与される。また、ブロック交点１８０Ａには、ブロック歪領域Ｘの左上のブロック歪領域ＬＵに属する画素から算出されるブロック交点画素の濃度Ａ［１］と、ブロック歪領域Ｘの上のブロック歪領域Ｕに属する画素から算出されるブロック交点画素の濃度Ａ［２］と、ブロック歪領域Ｘの左のブロック歪領域Ｌに属する画素から算出されるブロック交点画素の濃度Ａ［３］も付与される。
このように、被処理対象のブロック歪領域Ｘの各角部の各ブロック交点１８０（１８０Ａ〜１８０Ｄ）には、そのブロック交点１８０を取り囲む四つのブロックそれぞれに属する画素から算出される四つのブロック交点画素の濃度が付与される。
各ブロック交点１８０に付与されるブロック交点画素の濃度の算出方法を以下に説明する。ブロック交点画素濃度付与部１６０は、被処理対象のブロック歪領域Ｘの各角部の各ブロック交点１８０について、そのブロック交点１８０からの距離が一定値以内の画素を対象とし、その画素の画素値をブロック交点１８０からの距離の逆数に応じて重み付け平均してブロック交点画素の濃度を算出する。
例えば、互いに隣り合う二つの画素の中心同士の距離を１とする。ブロック交点１８０Ａを取り囲む四つの画素ａ１，ａ２，ａ３，ａ４を例にとると、画素ａ１の中心と画素ａ２の中心との距離が１であり、画素ａ２の中心と画素ａ４の中心との距離が１であり、画素ａ４の中心と画素ａ３の中心との距離が１である、ということである。この場合、ブロック交点画素濃度付与部１６０は、ブロック交点１８０からのユークリッド距離が２以内である画素に関して、ユークリッド距離の逆数を重みとして平均値を算出し、その値をブロック交点画素の濃度としてブロック交点１８０に付与する。例として、被処理対象のブロック歪領域Ｘ内の画素値を使用して、ブロック交点１８０Ａにおけるブロック交点画素の濃度Ａ［４］を算出する方法を説明すると、ブロック交点画素の濃度Ａ［４］は、次式（数１０）に基づいて算出される。

ただし、ｆ（０，０）、ｆ（１，０）、ｆ（０，１）は、図１６に示す被処理対象のブロック歪領域Ｘ内のブロック交点１８０Ａからユークリッド距離が２以内である各画素の画素値を意味する。
このようにしてブロック交点画素濃度付与部１６０が被処理対象のブロック歪領域Ｘを囲む四つのブロック交点１８０Ａ〜１８０Ｄそれぞれに、四つのブロック交点画素の濃度を付与する。
次に、角部補正量算出部１６１が、各ブロック交点１８０に付与されたブロック交点画素の濃度を用いて、各ブロック交点１８０の補正量を算出する。以下、各ブロック交点１８０の補正量をブロック交点画素の濃度補正量と呼ぶ。さて、角部補正量算出部１６１は、各ブロック交点１８０について、四つのブロック交点画素の濃度（例えば、ブロック交点１８０Ａにおいては、Ａ［１］〜Ａ［４］）の平均値から、被処理対象のブロック歪領域Ｘ内の画素から算出されたブロック交点画素の濃度（例えば、ブロック交点１８０Ａにおいては、Ａ［４］）を減算し、ブロック交点画素の濃度補正量を算出する。
ブロック交点画素の濃度補正量を算出する方法を、ブロック交点１８０Ａにおけるブロック交点画素の濃度補正量を算出する場合を例にとって説明する。ここで、ブロック交点１８０Ａにおけるブロック交点画素の濃度補正量をｄＡとすると、このブロック交点画素の濃度補正量ｄＡは、次式（数１１）に基づいて算出される。

次に、補正量算出部１６２が、被処理対象のブロック歪領域Ｘを囲む四つのブロック交点１８０それぞれにおけるブロック交点画素の濃度補正量に基づいて、被処理対象のブロック歪領域Ｘ内の各画素の補正量（画素値補正量）を算出する。具体的には、ブロック交点１８０Ａ〜１８０Ｄにおけるブロック交点画素の濃度補正量を、それぞれｄＡ，ｄＢ，ｄＣ，ｄＤとする。そして、補正量算出部１６２は、被処理対象のブロック歪領域Ｘ内のある画素の補正量（画素値補正量）を算出する場合、上記のｄＡ，ｄＢ，ｄＣ，ｄＤそれぞれを、ブロック交点１８０Ａ〜１８０Ｄそれぞれとその画素の中心とのユークリッド距離の逆数で重み付けして平均し、その重み付け平均値を、その画素の補正量（画素値補正量）とする。
図１６に示すｆ（ｘ，ｙ）の位置の画素の補正量（画素値補正量）をｇ（ｘ，ｙ）すると、ｇ（ｘ，ｙ）は、次式（数１２）に基づいて算出される。

次に、画素値補正部１６３が、上式（数１２）に基づいて算出された画素値補正量ｇ（ｘ，ｙ）を、被処理対象のブロック歪領域Ｘ内の対応する各画素値に加算することにより新しい画素値を得る。このようにして、ブロック歪領域におけるノイズ除去処理を行なう。
上述したブロック歪除去処理は、階調が緩やかに変化している領域に生じたブロック歪を除去する手法として非常に有効である。
また、上述したブロック歪除去処理を用いると、被処理対象のブロック歪領域Ｘの各角部において、その角部を取り囲む四つ画素の値は、同じにならない。その結果、各ブロックの各角部においても滑らかな階調変化を再現できる。
なお、領域特定部１０３によるブロック歪領域を特定する方法を説明する際に述べたように、ブロック歪領域は、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのうちで、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのみで囲まれているブロックであるとすることが好ましい。
このようにして特定されたブロック歪領域に隣接するブロックには、エッジが含まれている可能性が低い。上述したように、エッジの周辺にはモスキートノイズが存在していることが多いが、エッジが含まれていなければ、モスキートノイズが存在している可能性は低い。したがって、上述したようにして特定されたブロック歪領域に隣接するブロックのブロック交点付近の画素値は、モスキートノイズの影響によって局所的に不適切な値になっていることは少ない。そのため、ブロック交点画素の濃度補正量が不適切な値となることを回避できる。
また、以上のブロック歪除去処理は、復元画像におけるＲＧＢの各成分に対して個別に行なうことにより、全ての色成分を補正することができる。
次に、エッジ領域ノイズ除去部１０５が行なう処理について説明する。エッジ領域ノイズ除去部１０５は、領域特定部１０３によって特定されたエッジ領域、すなわち原画像に存在していた本来のエッジ画素及びその周囲の画素により形成される領域の各画素のＲＧＢの各色成分に対して、それぞれメディアンフィルタ処理などのエッジ保存型平滑化処理を行ない、エッジを残してノイズの低減を図る。
エッジ領域の画素に対して、単純に例えば３×３画素の平均値を新たな画素値とするような強い平滑化処理を行なうと、原画像に存在していた本来のエッジがぼけてしまい、画像全体の鮮鋭さが失われる。このため、上述したように、エッジ領域ノイズ除去部１０５は、エッジ領域に対して、メディアンフィルタ処理などのエッジ保存型平滑化処理を行なって、エッジを保持したままノイズを除去するのである。
次に、均質領域ノイズ除去部１０６が行なう処理について説明する。領域特定部１０３によって特定された均質領域は、上述したように、復元画像においてモスキートノイズが生じている領域と、比較的階調値が滑らかに変化している領域とで構成される。階調変化が滑らかな領域は、隣接する画素が近い画素値を有しているため、強い平滑化処理を行なっても画素値の変化量は小さく、画質に与える影響も小さい。そこで、均質領域ノイズ除去部１０６は、均質領域を形成する各画素のＲＧＢの各色成分に対して、それぞれＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）を用いた平滑化処理や、３×３近傍画素の単純平均を新たな画素値とするような強い平滑化処理を行ない、モスキートノイズの低減を図る。
以上のように、復元画像を解析して、復元画像を「ブロック歪領域」、「エッジ領域」、「均質領域」の三つの領域に分割し、各領域に適したノイズ除去処理を行なうことによってノイズを効果的に除去することが可能となる。特に、高圧縮で符号化された圧縮データを復号化して得られた復元画像に対して、原画像に存在していた本来のエッジを保持したまま、強く生じたブロック歪を効果的に除去することができる。
次に、領域毎にノイズ除去処理された画像に対して、制約条件算出部１０２によって算出された制約条件に基づく射影処理を行なう。ここでは、図９に示すように、通常の凸射影法と同様に、まず、色変換部１０７が、ＲＧＢで構成される画像データをＹＣｒＣｂデータに色変換する。次に、ＤＣＴ変換部１０８が、このＹＣｒＣｂデータに対してＤＣＴ変換し、そして、射影処理部１０９が、制約条件算出部１０２によって算出された制約条件に基づいて射影処理を行なう。ここで丸められたＤＣＴ係数を、逆ＤＣＴ変換部１１０が逆ＤＣＴ変換することによって、ＹＣｒＣｂからなる画像データに復元し、色変換部１１１がＹＣｒＣｂデータをＲＧＢデータへ色変換して復元画像を得る。最後に、終了判定部１１２が、ノイズ除去処理を終了するか継続するかを判定する。終了判定部１１２によって処理終了と判定されれば処理を終了し、ノイズが除去された画像が出力される。他方、処理未終了と判定された場合には、領域特定部１０３がブロック歪領域、エッジ領域、及び均質領域を特定する手順に戻って、それ以降の処理を繰り返す。ここでの終了判定を行なう条件としては、従来の凸射影法の説明で述べたのと同様の判定条件を用いることができる。
なお、ＪＰＥＧ符号化では、輝度成分（Ｙ）に対して色差成分（Ｃｒ，Ｃｂ）の情報を間引いて（サブサンプリングして）符号化する場合が多い。この場合には、凸射影法においても、サブサンプリングして得られたＤＣＴ係数に対して射影処理を行なうことが好ましい。すなわち、色変換部１０７によって算出された輝度成分及び色差成分のデータのうち、色差成分に関しては、ＪＰＥＧ符号化されていたときと同じサブサンプリングを行なって、データの間引きを行なう。一例としては、２×２画素の輝度成分に対して色差成分１画素が割り当てられる。
ＤＣＴ変換部１０８は、このサブサンプリングされたデータに対してＤＣＴ変換を行なってＤＣＴ係数を算出し、その後、射影処理部１０９は、輝度成分、色差成分のＤＣＴ係数に関してそれぞれ射影処理を行なう。このとき、射影処理部１０９は、色差成分に対する射影を、サブサンプリングされたデータに対応する制約条件の値を用いて行なう。
次に、逆ＤＣＴ変換部１１０は、射影されたＤＣＴ係数に対して逆ＤＣＴ変換を行なった後、サブサンプリングの逆変換を行なって、間引かれている色差成分のデータを輝度成分と同じ画素数まで補間する。以上の処理により、ＪＰＥＧ符号化時にサブサンプリングされていた場合にも、同様のノイズ除去処理が実現できる。
図１７に、本実施の形態１の画像処理装置によって、図５に示す復元画像が処理された画像を示す。図１７から分かるように、本実施の形態１の画像処理装置による画像処理により、目障りなブロック歪は十分に除去されていることがわかる。さらに、図１７から分かるように、本実施の形態１の画像処理装置は、上述した本実施の形態１における画像処理を行なうことによって、原画像に存在していた本来のエッジを鈍らせずに、図５に示す復元画像に存在する目障りなブロック歪を十分に除去できる。加えて、図１７から分かるように、本実施の形態１の画像処理装置はモスキートノイズも除去できる。
なお、以上の説明は全てカラー画像を例にとって行なってきたが、モノクロの中間調画像に対しても同様の処理を行なうことができる。この場合には、色変換部１０７及び色変換部１１１の処理を省略し、領域特定部１０３が、モノクロ画像の階調値を用いて、ブロック歪領域、エッジ領域、及び均質領域を特定し、ブロック歪領域ノイズ除去部１０４、エッジ領域ノイズ除去部１０５、及び均質領域ノイズ除去部１０６が、ブロック歪領域、エッジ領域、及び均質領域に対して、上述した処理と同様の処理をそれぞれ行なう。
また、上述した実施の形態１では、復元画像を、ブロック歪領域、エッジ領域及び均質領域の三つの領域に分割する形態について説明した。しかしながら、図１８に示すように、領域特定部１０３が、復元画像の中のブロック歪領域のみを特定し、ブロック歪領域ノイズ除去部１０４がブロック歪領域に対して、上述した本実施の形態１においてブロック歪領域ノイズ除去部１０４が行なったノイズ除去処理を行なってもよい。そして、ブロック歪領域以外の領域に対しては、均質領域ノイズ除去部１０６が、上述した本実施の形態１において均質領域ノイズ除去部１０６が行なったノイズ除去処理を行なってもよい。この場合でも、復元画像に存在する目障りなブロック歪を、効果的に除去することができる。ただし、この場合は、均質領域ノイズ除去部１０６が、ブロック歪領域以外の領域に対して、強い平滑化処理を行なうので、原画像に存在していた本来のエッジは鈍る。
また、上述した実施の形態１では、領域特定部１０３は、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックを、ブロック歪領域として特定するとした。また、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのうちで、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのみで囲まれているブロックを、ブロック歪領域として特定することが好ましいとした。
しかしながら、領域特定部１０３は、後述するようにしてブロック歪領域を特定してもよい。例えば、領域特定部１０３は、まず、復元画像を構成する複数個のブロックのうちで、上述したようにしてエッジ画素を特定し、原画像においてエッジが存在していた可能性があるブロックをエッジブロックと特定する。そして、領域特定部１０３は、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのうちで、エッジブロックと隣り合わないブロックを、ブロック歪領域と特定してもよい。
このように、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのうちで、エッジブロックと隣り合わないブロックを、ブロック歪領域と特定した場合、ブロック歪領域に隣接するブロックには、エッジに起因するモスキートノイズが存在しないことになる。そうすると、ブロック歪領域に隣接するブロックのブロック交点付近の画素値は、モスキートノイズの影響によって局所的に不適切な値になっていることは少なく、ブロック交点画素の濃度補正量が不適切な値となることを回避できる。その結果、ブロック歪を除去するとともに、ブロック歪領域内の各画素の画素値を適切に補正することができる。
又は、領域特定部１０３は、まず、復元画像を構成する複数個のブロックのうちで、上述したようにしてエッジ画素を特定し、原画像においてエッジが存在していた可能性があるブロックをエッジブロックと特定する。そして、領域特定部１０３は、復元画像の中のエッジブロック以外のブロックであってエッジブロックと隣り合わないブロックを、ブロック歪領域と特定してもよい。この場合も、ブロック歪領域に隣接するブロックには、エッジに起因するモスキートノイズが存在しないことになり、ブロック歪領域に隣接するブロックのブロック交点付近の画素値は、モスキートノイズの影響によって局所的に不適切な値になっていることは少ない。そのため、ブロック交点画素の濃度補正量が不適切な値となることを回避できる。そして、ブロック歪を除去するとともに、ブロック歪領域内の各画素の画素値を適切に補正することができる。なお、この場合、復元画像の中のエッジブロック以外のブロックであってエッジブロックと隣り合うブロックは均質領域とみなされ、その均質領域に対して、均質領域ノイズ除去部１０６が、強い平滑化処理を行なう。
また、上述した実施の形態１では、領域特定部１０３は、まず、復元画像を構成する全てのブロックについてＤＣＴ変換し、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックを、ブロック歪領域として特定するとした。しかしながら、領域特定部１０３は、復元画像を構成する各ブロックをＤＣＴ変換するのではなく、ＪＰＥＧ圧縮データをブロック毎に復号化及び逆量子化して得られた所定の周波数以上のＤＣＴ係数の値の全てが所定の値以下であるブロックを、ブロック歪領域と特定してもよい。
さらに、そのようにして特定されたブロック歪領域のうちで、所定の周波数（次数）以上のＤＣＴ係数の値の全てが予め決められた所定の値以下であるブロックのみで囲まれているブロックを、又はエッジブロックと隣り合わないブロックを、領域特定部１０３はブロック歪領域と特定してもよい。
このようにしてブロック歪領域を特定しても、上記と同様、目障りなブロック歪を除去できる。また、ブロック歪領域内の各画素の値を適切に補正することができる。
ところで、非常に稀な場合ではあるが、領域特定部１０３によって特定されたブロック歪領域の中に、ブロック境界において原画像の本当のエッジが位置していたブロックが存在する場合がある。このような原画像においてエッジが存在していたブロックに対して、エッジを横切るブロックの画素値から算出されたブロック交点画素の濃度を用いて被処理対象のブロック歪領域Ｘ内の各画素値を補正すると、ブロック境界に存在していたエッジは完全に失われてしまう。
この課題を解決するために、各ブロック交点におけるブロック交点画素の濃度補正量を算出する際、被処理対象のブロック歪領域Ｘ内の画素から算出されたブロック交点画素の濃度と、被処理対象のブロック歪領域Ｘと隣接する三つのブロック内の画素から算出されたブロック交点画素の濃度との差が、予め定められた所定の値を超えていた場合には、そのブロック交点画素の濃度を用いずにブロック交点画素の濃度補正量を算出する。
すなわち、被処理対象のブロック歪領域Ｘ内の画素から算出されたブロック交点画素の濃度と大きく異なるようなブロック交点画素の濃度が算出された場合には、そのブロック境界部分に原画像においてエッジが存在したものと判断して、残りの３つ以下のブロック交点画素の濃度を平均した値から被処理対象のブロック歪領域Ｘ内の画素から算出されたブロック交点画素の濃度を減算して、ブロック交点画素の濃度補正量を算出する。
このような方法を用いると、原画像において存在していたエッジを鈍らせず、ブロック歪を効果的に除去することができる。
（実施の形態２）
次に、本発明の実施の形態２の画像処理装置を説明する。
図１９に、本実施の形態２の画像処理装置の構成及び処理手順を示す。
簡単に、本実施の形態２の画像処理装置の動作を説明する。
まず、復号化部３０１が、ＪＰＥＧ圧縮データを復号化処理して復元画像を得る。次に、圧縮率検出部３０２が、復元画像がＪＰＥＧ圧縮されていたときの圧縮率を検出する。また、拡大率検出部３０３が、復元画像を出力するときの拡大率を検出する。
次に、処理内容決定部３０４が、圧縮率検出部３０２によって検出された圧縮率、及び、拡大率検出部３０３によって検出された拡大率に基づいて、ノイズ除去処理の内容を決定する。ノイズ除去部３０５は、処理内容決定部３０４によって決定された内容により、復元画像に生じているノイズの除去処理を行なう。最後に、画像拡大部３０６が、拡大率検出部３０３によって検出された拡大率に基づいて、画像の拡大処理を行なう。
以下に、本実施の形態２の画像処理装置の各構成部が行なう処理の内容を詳しく説明する。
まず、復号化部３０１は、ＪＰＥＧ圧縮データから画像データへの復号化処理を行なう。この復号化処理は、前述した図１におけるエントロピー復号化部１５から色変換部１９までの処理によって実現される。復号化部３０１は、上記の復号化処理を行なうと、復号化する前のＪＰＥＧ圧縮データのデータ量、及び、復号化した後の画像データのデータ量を圧縮率検出部３０２に転送する。
次に、圧縮率検出部３０２は、復号化部３０１から転送されてきた情報に基づいて復元画像がＪＰＥＧ圧縮されていたときの圧縮率を検出する。例えば、圧縮率検出部３０２は、復号化前のデータ量に対する復号化後のデータ量の比から、復元画像がＪＰＥＧ圧縮されていたときの圧縮率を検出する。
次に、拡大率検出部３０３は、復元画像を出力するときの拡大率を検出する。例えば、拡大率検出部３０３は、復元画像の画素数と出力装置の解像度及び出力画像サイズの関係から、復元画像に対する出力画像の拡大率を検出する。具体的に説明すると、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ，６４０×４８０ｐｉｘｅｌｓ）サイズの復元画像を、解像度６００ｄｐｉのプリンタにＡ４サイズで出力する場合、拡大率は縦横方向にそれぞれ約８倍となる。
次に、処理内容決定部３０４は、圧縮率検出部３０２によって検出された圧縮率、及び、拡大率検出部３０３によって検出された拡大率に基づいて、ノイズ除去部３０５が行なうノイズ除去処理の内容を決定する。以下に、処理内容決定部３０４によるノイズ除去処理内容の決定方法を具体的に説明する。
処理内容決定部３０４は、図２０に示すような、圧縮率及び拡大率とフィルタサイズとの予め決められた関係を示すフィルタ決定テーブルを有している。そのフィルタ決定テーブルは、圧縮率及び拡大率のレベルがそれぞれ３段階ある場合の、圧縮率及び拡大率とフィルタサイズとの予め決められた関係を示している。
そして、処理内容決定部３０４は、上記図２０のフィルタ決定テーブルに従って、圧縮率検出部３０２によって検出された圧縮率と、拡大率検出部３０３によって検出された拡大率とで一意に決まるフィルタを選択する。
例えば、圧縮率検出部３０２によって検出された圧縮率が圧縮率レベル１であり、拡大率検出部３０３によって検出された拡大率が拡大率レベル２であれば、処理内容決定部３０４は、ノイズ除去部３０５が使用すべきフィルタとして「Ｂ−１」のフィルタを選択する。
なお、図２０のフィルタ決定テーブルでは、圧縮率レベル１は圧縮率レベル２よりも圧縮率が高く、圧縮率レベル２は圧縮率レベル３よりも圧縮率が高いとしている。また、拡大率レベル１は拡大率レベル２よりも拡大率が高く、拡大率レベル２は拡大率レベル３よりも拡大率が高いとしている。また例えば、拡大率レベル１は、復元画像を縦横ともに８倍して出力するような場合のレベルであり、拡大率レベル２は、復元画像を縦横ともに４倍して出力するような場合のレベルであり、拡大率レベル３は、復元画像をそのままの大きさで出力する場合のレベルである。
また、処理内容決定部３０４は、図２０に示すフィルタ決定テーブルではなく、図２１又は図２２に示すフィルタ決定テーブルを有していてもよい。その場合、処理内容決定部３０４は、図２１又は図２２のフィルタ決定テーブルに従って、圧縮率検出部３０２によって検出された圧縮率と、拡大率検出部３０３によって検出された拡大率とで一意に決まるフィルタを選択する。
ここで、図２０、図２１及び図２２それぞれのフィルタ決定テーブルの相違を説明する。図２０のフィルタ決定テーブルは、フィルタの係数が全て等しく、サイズが圧縮率及び拡大率に応じて異なる場合の、圧縮率及び拡大率とフィルタサイズとの関係を示している。また、図２１のフィルタ決定テーブルは、フィルタのサイズが全て等しく、係数が圧縮率及び拡大率に応じて異なる場合の、圧縮率及び拡大率とフィルタ係数との関係を示している。さらに、図２２のフィルタ決定テーブルは、フィルタのサイズ及び係数の両方が、圧縮率及び拡大率に応じて異なる場合の、圧縮率及び拡大率とフィルタとの関係を示している。
なお、例えば、図２０のフィルタ決定テーブルを用いる場合、圧縮率がレベル３であり拡大率がレベル３であるときの「Ｃ−３」のフィルタは、処理の前後で何の変化も生じないフィルタである。そのようなフィルタが処理内容決定部３０４によって選択されたときは、ノイズ除去部３０５はノイズ除去処理を行なわないようにしてもよい。
また、処理内容決定部３０４は、図２０、図２１及び図２２に示す３種類のフィルタ決定テーブルを有しており、処理内容決定部３０４が処理内容を決定する前に、ユーザがどのフィルタ決定テーブルを用いるべきかを処理内容決定部３０４に指示するとしてもよい。例えば、図２２のフィルタ決定テーブルは、図２０のフィルタ決定テーブルに比べて、フィルタの中央付近の係数が大きな値になっている。このため、図２２のフィルタ決定テーブルでは、図２０のフィルタ決定テーブルよりも弱い平滑化が行なわれる。したがって、ユーザが、モスキートノイズの低減化よりもエッジのぼけの抑制を優先したい場合には図２２のフィルタ決定テーブルを用いるように指示し、逆に、エッジのぼけの抑制よりもモスキートノイズの低減化を優先したい場合には図２０のフィルタ決定テーブルを用いるように指示する。そして、処理内容決定部３０４は、ユーザにより指示されたフィルタ決定テーブルを用いて、ノイズ除去部３０５が使用すべきフィルタを選択する。
さて、ノイズ除去部３０５は、処理内容決定部３０４によって決定された内容に基づいて、復元画像に生じているノイズの除去処理を行なう。以下に、復元画像に生じているノイズのうち、特にブロック歪を有効に除去することが可能なノイズ除去処理について詳しく説明する。
図２３に、ノイズ除去部３０５の構成を示す。図２３に示すように、ノイズ除去部３０５は、領域特定部１０３と、ブロック歪領域ノイズ除去部４０１と、残部領域ノイズ除去部４０２とで構成されている。
さて、領域特定部１０３は、復元画像のうち、ブロック歪が強く生じていると判断される「ブロック歪領域」とそれ以外の領域とを特定する。なお、領域特定部１０３による「ブロック歪領域」の特定の仕方としては、上記実施の形態１において領域特定部１０３が行なった方法を用いる。
次に、領域特定部１０３によって特定されたブロック歪領域に生じているブロック歪を効果的に除去する方法について説明する。一般に、高圧縮によって強く生じたブロック歪を、均一にフィルタ処理するだけで十分に除去することは困難である。このため、本実施の形態２では、ブロック境界における階調の不連続分をブロック内の画素に均等に分散させることによってブロック歪を効果的に除去する手法を採用する。
以下に、図２４〜図２８を参照しながら、本実施の形態２におけるブロック歪除去手法について詳しく説明する。ここで、図２４は本手法の処理を行なうブロック歪領域ノイズ除去部４０１の構成及び処理手順を示している。図２５〜図２８は本手法のアルゴリズムの説明図である。なお、図２５におけるＰ_ｉｊ，Ａ_ｉｊ，Ｂ_ｉｊ，Ｃ_ｉｊ，Ｄ_ｉｊは、それぞれ画素を表わしており、太線はブロック境界を表わしている。また、Ｐ_ｉｊで表わされる画素からなるブロックは被処理対象のブロック歪領域であるとし、以下の説明では注目ブロックと呼ぶ。
まず、図２４における左側補正量算出部５０１、右側補正量算出部５０２、水平方向補正量算出部５０３、及び、水平方向画素値補正部５０４が、注目ブロックの左右のブロック境界における階調の不連続を除去する。以下に、その注目ブロックの左右のブロック境界における階調の不連続を除去する手法を説明する。
まず、左側補正量算出部５０１は、注目ブロックの左側のブロック歪を除去するための前処理として、注目ブロック内の各行について左側補正量（ＨＬ_ｊ）を算出する。具体的には、左側補正量算出部５０１は、下記（数１３）に基づいて、図２５に示す注目ブロック内の各行について、左端の画素（Ｐ_０ｊ）と、その左隣の画素（Ｂ_７ｊ）との中間位置、すなわち、ブロック境界線上の位置に、左側補正量（ＨＬ_ｊ）を付与する（図２６参照）。つまり、左側補正量算出部５０１は、各行について、注目ブロック内の左端の画素（Ｐ_０ｊ）の値と、その左隣の画素（Ｂ_７ｊ）の値との平均値から画素（Ｐ_０ｊ）の値を減算し、各行についての左側補正量（ＨＬ_ｊ）を算出する。

同様に、右側補正量算出部５０２は、注目ブロックの右側のブロック歪を除去するための前処理として、注目ブロック内の各行について右側補正量（ＨＲ_ｊ）を算出する。具体的には、右側補正量算出部５０２は、下記（数１４）に基づいて、図２５に示す注目ブロック内の各行について、右端の画素（Ｐ_７ｊ）と、その右隣の画素（Ｃ_０ｊ）との中間位置、すなわち、ブロック境界線上の位置に、右側補正量（ＨＲ_ｊ）を付与する（図２６参照）。つまり、右側補正量算出部５０２は、各行について、注目ブロック内の右端の画素（Ｐ_７ｊ）の値と、その右隣の画素（Ｃ_０ｊ）の値との平均値から画素（Ｐ_７ｊ）の値を減算し、各行についての右側補正量（ＨＲ_ｊ）を算出する。

次に、水平方向補正量算出部５０３は、注目ブロック内の各行毎に、各画素に対して、下記（数１５）に基づいて、左側補正量（ＨＬ_ｊ）及び右側補正量（ＨＲ_ｊ）を、各画素と注目ブロックの左右のブロック境界線との距離に応じて重み付け平均し、注目ブロック内の各行についての各画素の補正量Ｙ_ｉｊを算出する。

そして、水平方向画素値補正部５０４は、下記（数１６）に示すように、水平方向補正量算出部５０３によって算出された各行についての各画素の補正量Ｙ_ｉｊを、対応する画素（Ｐ_ｉｊ）の値に加算して、各行についての補正後の各画素（Ｑ_ｉｊ）の値を算出する。

以上の処理によって、注目ブロックの左右のブロック境界における階調の不連続分がブロック内の画素に均等に分散されることにより、注目ブロックの左右のブロック境界におけるブロック歪が有効に除去される。
次に、上下方向に関しても同様の処理を行なう。すなわち、注目ブロックの左右のブロック境界におけるブロック歪が除去された画像に対して、図２４における上側補正量算出部５０５、下側補正量算出部５０６、垂直方向補正量算出部５０７、及び、垂直方向画素値補正部５０８が、注目ブロックの上下のブロック境界における階調の不連続を除去する。以下に、その注目ブロックの上下のブロック境界における階調の不連続を除去する手法を説明する。
まず、上側補正量算出部５０５は、注目ブロックの上側のブロック歪を除去するための前処理として、注目ブロック内の各列について上側補正量（ＶＴ_ｉ）を算出する。具体的には、上側補正量算出部５０５は、下記（数１７）に基づいて、図２７に示す注目ブロック内の各列について、上端の画素（Ｑ_ｉ０）と、その上隣の画素（Ａ_ｉ７）との中間位置、すなわち、ブロック境界線上の位置に、上側補正量（ＶＴ_ｉ）を付与する（図２８参照）。つまり、上側補正量算出部５０５は、各列について、注目ブロック内の上端の画素（Ｑ_ｉ０）の値と、その上隣の画素（Ａ_ｉ７）の値との平均値から画素（Ｑ_ｉ０）の値を減算し、各列についての上側補正量（ＶＴ_ｉ）を算出する。なお、上記の図２７は、注目ブロックの左右のブロック境界におけるブロック歪が除去された画像を構成する各画素Ｑ_ｉｊを示す図である。

同様に、下側補正量算出部５０６は、注目ブロックの下側のブロック歪を除去するための前処理として、注目ブロック内の各列について下側補正量（ＶＢ_ｉ）を算出する。具体的には、下側補正量算出部５０６は、下記（数１８）に基づいて、図２７に示す注目ブロック内の各列について、下端の画素（Ｑ_ｉ７）と、その下隣の画素（Ｄ_ｉ０）との中間位置、すなわち、ブロック境界線上の位置に、下側補正量（ＶＢ_ｉ）を付与する（図２８参照）。つまり、下側補正量算出部５０６は、各列について、注目ブロック内の下端の画素（Ｑ_ｉ７）の値と、その下隣の画素（Ｄ_ｉ０）の値との平均値から画素（Ｑ_ｉ７）の値を減算し、各列についての下側補正量（ＶＢ_ｉ）を算出する。

次に、垂直方向補正量算出部５０７は、注目ブロック内の各列毎に、各画素に対して、下記（数１９）に示すように、上側補正量（ＶＴ_ｉ）及び下側補正量（ＶＢ_ｉ）を、各画素と注目ブロックについての上下のブロック境界線との距離に応じて重み付け平均し、注目ブロック内の各列についての各画素の補正量Ｚ_ｉｊを算出する。

そして、垂直方向画素値補正部５０８は、下記（数２０）に基づいて、垂直方向補正量算出部５０７によって算出された各列についての各画素の補正量Ｚ_ｉｊを、対応する画素（Ｑ_ｉｊ）の値に加算して、補正後の各画素（Ｒ_ｉｊ）の値を算出する。

以上の処理によって、注目ブロックの上下のブロック境界における階調の不連続分がブロック内の画素に均等に分散されることにより、注目ブロックの上下のブロック境界におけるブロック歪が有効に除去される。
以上が、ブロック歪領域と判定された領域におけるノイズ除去処理である。
他方、ブロック歪領域以外の領域に対しては、残部領域ノイズ除去部４０２が、モスキートノイズ等のノイズを除去するためにフィルタ処理を行なう。上述したように、例えば、フィルタサイズを大きくすると、平滑化効果が大きくなり、ノイズが強く除去される反面、画像のぼけが大きくなる。逆に、フィルタサイズを小さくすると、平滑化効果が小さくなり、画像のぼけは小さくなる反面、ノイズ除去の効果も小さくなる。
そこで、ノイズを十分に除去し、且つ、画像のぼけを必要最小限に押さえたノイズ除去処理を行なうために、処理内容決定部３０４が、残部領域ノイズ除去部４０２がフィルタ処理を行なう前に、上述したようにして、残部領域ノイズ除去部４０２が行なうノイズ除去処理の内容を決定する。
そして、残部領域ノイズ除去部４０２は、ブロック歪領域以外の領域に対して、処理内容決定部３０４によって決定された処理の内容に基づいてフィルタ処理を行なう。
以上の残部領域ノイズ除去部４０２の動作により、復元画像が圧縮されていたときの圧縮率だけでなく、出力時の拡大率が視覚に与える影響まで考慮し、適切なノイズ除去対策を行なうことが可能となる。
最後に、画像拡大部３０６が、拡大率検出部３０３によって検出された拡大率に基づいてノイズ除去部３０５により画像処理された画像データを拡大処理することにより、ノイズが除去された出力画像を得ることができる。
なお、本実施の形態２では、「出力」には、表示や印刷が含まれるものとする。
また、上述した実施の形態２では、圧縮率検出部３０２は、復号化前のデータ量に対する復号化後のデータ量の比から圧縮率を検出するとした。しかしながら、圧縮率検出部３０２は、圧縮データの符号化時に使用された量子化テーブルの情報に基づいて、圧縮率を検出してもよい。
例えば、圧縮率検出部３０２は、量子化テーブルのＤＣ成分の値に着目し、所定の値Ｓ１が所定の値Ｓ２より大きいとした場合、上記ＤＣ成分の値が上記所定の値Ｓ１以上であれば圧縮レベル１と、上記ＤＣ成分の値が上記所定の値Ｓ２以上でかつ上記所定の値Ｓ１未満であれば圧縮レベル２と、上記ＤＣ成分の値が上記所定の値Ｓ２未満であれば圧縮レベル３と、圧縮率を検出することができる。
また例えば、圧縮率検出部３０２は、量子化テーブルの複数の値に着目し、その着目した値それぞれと、上記複数の値それぞれに対して設定された所定の値Ｓ１［ｉ］及び所定の値Ｓ２［ｉ］（値Ｓ１［ｉ］は値Ｓ２［ｉ］より大きいとする。）とを比較する。そして、値Ｓ１［ｉ］以上である係数の個数が所定の割合以上であれば圧縮レベル１と、値Ｓ１［ｉ］以上である係数の個数は所定の割合未満であるが値Ｓ２［ｉ］以上である係数の個数が所定の割合以上であれば圧縮レベル２と、それ以外の場合は圧縮レベル３とする方法を、圧縮率検出部３０２は圧縮率の検出に用いてもよい。
また、上述した実施の形態２では、拡大率検出部３０３は、例えば、復元画像の画素数と出力装置の解像度及び出力画像サイズの関係から、復元画像に対する出力画像の拡大率を検出するとした。しかしながら、拡大率検出部３０３は、予めユーザが不図示の入力手段を用いて入力した拡大率の情報を検出することにより、復元画像に対する出力画像の拡大率を検出してもよい。
また、上記処理内容決定部３０４は、復元画像が圧縮されていたときの圧縮率と、復元画像を出力するときの拡大率のいずれか一方だけを用いて、処理内容を決定してもよい。
また、上述した実施の形態２では、図２４〜図２８を用いて説明したように、ブロック歪領域のノイズ除去を行なう際、まずブロック歪領域の左右のブロック境界におけるブロック歪を除去した後に、上下のブロック境界におけるブロック歪を除去するとした。しかしながら、上記の順序を入れ換えて、ブロック歪領域のノイズ除去を、上下のブロック境界におけるブロック歪を除去した後に、左右のブロック境界におけるブロック歪を除去することにより行なってもよい。このようにしても、ブロック歪を十分に除去することができる。
また、上述した実施の形態２では、残部領域ノイズ除去部４０２は、ブロック歪領域以外の領域に対して、処理内容決定部３０４によって決定された処理の内容に基づいたフィルタ処理を行なうとした。しかしながら、ブロック歪領域ノイズ除去部４０１がブロック歪領域に対してノイズ除去処理を行なわず、残部領域ノイズ除去部４０２が、復元画像の全体に対して、処理内容決定部３０４によって決定された処理の内容に基づいたフィルタ処理を行なってもよい。
また、上述した実施の形態２におけるブロック歪領域のノイズ除去方法を、実施の形態１におけるブロック歪領域のノイズ除去方法として用いてもよい。また、実施の形態１におけるブロック歪領域のノイズ除去方法を、実施の形態２におけるブロック歪領域のノイズ除去方法として用いてもよい。
また、上述した実施の形態１及び２では、直交変換の一例として、ＤＣＴ変換を用いたが、実施の形態１及び２で説明したブロック歪除去処理法は、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や、離散フーリエ変換（ＤＦＴ；Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）といった直交変換が行なわれた圧縮データから得られた復元画像におけるブロック歪を除去する場合にも有効である。なお、このように、上述した実施の形態１及び２では、直交変換の一例としてＤＣＴ変換を用いたので、直交変換係数の一例としてＤＣＴ係数を用いた。しかしながら、直交変換として上記の離散サイン変換や離散フーリエ変換を用いた場合、直交変換係数としてＤＳＴ係数やＤＦＴ係数が用いられる。
また、上述した実施の形態１及び２では、符号化の一例としてＪＰＥＧを用いたが、実施の形態１及び２で説明したブロック歪除去処理法は、ＭＰＥＧやＨ．２６１等の符号化が行なわれた圧縮データから得られた復元画像におけるブロック歪を除去する場合にも有効である。
また、上述した実施の形態１及び２における画像処理装置の各構成要素は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよい。
さらに、上述した実施の形態１及び２における画像処理装置の全部又は一部の構成要素としてコンピュータを機能させるためのプログラムを、所定のコンピュータに適用し、そのコンピュータで、上述した実施の形態１及び２における画像処理装置の全部又は一部の構成要素の機能を実現することも可能である。なお、上記プログラムの実施態様の具体例としては、ＣＤ−ＲＯＭ等の記録媒体に上記プログラムを記録することや、そのプログラムが記録された記録媒体を譲渡することや、インターネット等における通信手段で上記プログラムを通信すること等が含まれる。また、コンピュータに、上記プログラムをインストールすることも含まれる。
以上説明したところから明らかなように、本発明は、復元画像を解析することによって復元画像の中のブロック歪領域を特定し、ブロック歪を除去する画像処理装置を提供することができる。
また、本発明は、復元画像を構成する各ブロックの各角部においても滑らかな階調変化を再現してブロック歪を除去する画像処理装置を提供することができる。
さらに、本発明は、復元画像の出力に適した効率的なノイズ除去処理を行なう画像処理装置を提供することができる。
上述した本発明の画像処理装置を用いれば、ＪＰＥＧ圧縮等の原画像データを圧縮することによって生じたノイズ、特に、高圧縮な場合に生じた強いブロック歪を有効に除去することが可能となる。さらに、ノイズが視覚に与える悪影響の大きさに応じて、適切なノイズ除去処理を行なうことが可能となる。
【図面の簡単な説明】
図１は、ＪＰＥＧ符号化及び復号化処理手順を示す図である。
図２は、輝度成分に対するＪＰＥＧの標準方式が推奨する量子化テーブルを示す図である。
図３は、色差成分に対するＪＰＥＧの標準方式が推奨する量子化テーブルを示す図である。
図４は、原画像の一例を示す図である。
図５は、図４の原画像のＪＰＥＧ圧縮データを復号化することにより得られた復元画像を示す図である。
図６は、凸射影法処理手順を示す図である。
図７は、図５に示す復元画像を従来の凸射影法処理することにより得られた画像を示す図である。
図８は、従来のブロック歪の除去処理を説明するための図である。
図９は、本実施の形態１の画像処理装置の構成及び処理手順を示す図である。
図１０は、ブロック歪領域の特定方法を説明するための図である。
図１１は、ブロック歪領域の特定方法を説明するための図である。
図１２は、エッジ領域の特定方法を説明するための図である。
図１３は、ブロック交点を説明するための図である。
図１４は、ブロック歪領域ノイズ除去部１０４の内部構成を示す図である。
図１５は、ブロック交点画素の濃度を説明するための図である。
図１６は、被処理対象のブロック歪領域Ｘ内の画素値を説明するための図である。
図１７は、実施の形態１の画像処理装置によってブロック歪が除去された画像を示す図である。
図１８は、本実施の形態１における他の画像処理装置の構成及び処理手順を示す図である。
図１９は、本実施の形態２の画像処理装置の構成及び処理手順を示す図である。
図２０は、フィルタ決定テーブルの一例を示す図である。
図２１は、フィルタ決定テーブルの一例を示す図である。
図２２は、フィルタ決定テーブルの一例を示す図である。
図２３は、ノイズ除去部３０５の構成の内部構成を示す図である。
図２４は、ブロック歪領域ノイズ除去部４０１の構成及び処理手順を示す図である。
図２５は、ブロック歪除去処理を説明するための図である。
図２６は、ブロック歪領域の左右のブロック境界におけるブロック歪を除去する処理の説明図である。
図２７は、ブロック歪除去処理を説明するための図である。
図２８は、ブロック歪領域の上下のブロック境界におけるブロック歪を除去する処理の説明図である。

Claims (26)

1. 原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する画像処理装置において、
   前記復元画像の中でブロック歪の除去処理を適用するブロック歪領域を特定する領域特定部と、
   前記領域特定部によって特定されたブロック歪領域に対して、ノイズ除去処理を行なうブロック歪領域ノイズ除去部とを
   備えた画像処理装置。
2. 前記圧縮データは、複数のブロックに分割された前記原画像を形成するデータに対して、前記ブロック毎に直交変換、量子化、及び符号化が行なわれて得られたデータである請求項１に記載の画像処理装置。
3. 前記領域特定部は、前記復元画像を構成する複数個のブロックのうちで、前記ブロック毎に直交変換し、所定の周波数以上の直交変換係数の値の全てが所定の値以下である前記ブロックを、前記ブロック歪領域と特定する請求項１に記載の画像処理装置。
4. 前記領域特定部は、
   前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるブロックのうちで、
   前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるブロックのみで囲まれているブロックを、前記ブロック歪領域と特定する
   請求項３に記載の画像処理装置。
5. 前記領域特定部は、
   前記復元画像を構成する複数個のブロックのうちで、前記原画像においてエッジが存在していた可能性があるブロックをエッジブロックと特定し、
   前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるブロックのうちで、エッジブロックと隣り合わないブロックを、前記ブロック歪領域と特定する
   請求項３に記載の画像処理装置。
6. 前記領域特定部は、前記圧縮データを復号したときの所定の周波数以上の直交変換係数の値の全てが所定の値以下である前記ブロックを、前記ブロック歪領域と特定する請求項１に記載の画像処理装置。
7. 前記領域特定部は、
   前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるブロックのうちで、
   前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるブロックのみで囲まれているブロックを、前記ブロック歪領域と特定する
   請求項６に記載の画像処理装置。
8. 前記領域特定部は、
   前記復元画像を構成する複数個のブロックのうちで、前記原画像においてエッジが存在していた可能性があるブロックをエッジブロックと特定し、
   前記所定の周波数以上の直交変換係数の値の全てが所定の値以下であるブロックのうちで、エッジブロックと隣り合わないブロックを、前記ブロック歪領域と特定する
   請求項６に記載の画像処理装置。
9. 前記領域特定部は、前記復元画像を構成する複数個のブロックのうちで、前記原画像においてエッジが存在していた可能性があるブロックをエッジブロックと特定し、エッジブロック以外のブロックであってエッジブロックと隣り合わないブロックを、前記ブロック歪領域と特定する請求項１に記載の画像処理装置。
10. 前記ブロック歪領域ノイズ除去部は、
    前記ブロック歪領域の各角部において、前記ブロック歪領域と前記ブロック歪領域に接する三つのブロックの交点に位置するブロック交点に、前記ブロック交点から所定の距離範囲内に位置する前記ブロック歪領域の画素の値を前記ブロック交点からの距離に応じて重み付けして平均した第１の値と、前記ブロック歪領域に接する三つのブロックそれぞれに関して、前記ブロック交点から所定の距離範囲内に位置する画素の値を前記ブロック交点からの距離に応じて重み付けして平均した第２の値、第３の値、及び第４の値とを、前記ブロック歪領域及び前記ブロック歪領域に接する三つのブロックそれぞれについてのブロック交点画素値として付与するブロック交点画素値付与部と、
    前記ブロック歪領域の四つの角部それぞれについて、前記第２の値、前記第３の値、及び前記第４の値のうちの前記第１の値との差が所定の値以下であるもの全てと前記第１の値との平均値から、前記第１の値を減算し、各前記角部の補正量を算出する角部補正量算出部と、
    前記ブロック歪領域内の各画素について、その画素と前記ブロック歪領域の四つの角部それぞれに対応する四つの前記ブロック交点それぞれとの距離に応じて、対応する前記四つの角部の補正量を重み付けして平均し、その画素の補正量を算出する補正量算出部と、
    前記補正量算出部によって算出された各画素の補正量を、前記ブロック歪領域の対応する各画素の値に加算する画素値補正部とを
    有する請求項１に記載の画像処理装置。
11. 前記ブロック歪領域ノイズ除去部は、
    前記復元画像の前記ブロック歪領域の各行毎に、前記ブロック歪領域の左端の画素の値と前記左端の画素の左隣の画素の値との平均値から、前記左端の画素の値を減算して、前記ブロック歪領域の各行毎の左側補正量を算出する左側補正量算出部と、
    前記復元画像の前記ブロック歪領域の各行毎に、前記ブロック歪領域の右端の画素の値と前記右端の画素の右隣の画素の値との平均値から、前記右端の画素の値を減算して、前記ブロック歪領域の各行毎の右側補正量を算出する右側補正量算出部と、
    前記ブロック歪領域の各行の各画素について、その画素の前記左端及び右端からの距離に応じて、前記左側補正量及び前記右側補正量を重み付けして平均し、前記ブロック歪領域の行についてのその画素の補正量を算出する水平方向補正量算出部と、
    前記水平方向補正量算出部によって算出された行についての各画素の補正量を、対応する画素の値に加算する水平方向画素値補正部と、
    前記水平方向画素値補正部によって補正された各画素で形成される画像の前記ブロック歪領域の各列毎に、前記ブロック歪領域の上端の画素の値と前記上端の画素の上隣の画素の値との平均値から、前記上端の画素の値を減算して、前記ブロック歪領域の各列毎の上側補正量を算出する上側補正量算出部と、
    前記水平方向画素値補正部によって補正された各画素で構成される画像の前記ブロック歪領域の各列毎に、前記ブロック歪領域の下端の画素の値と前記下端の画素の下隣の画素の値との平均値から、前記下端の画素の値を減算して、前記ブロック歪領域の各列毎の下側補正量を算出する下側補正量算出部と、
    前記ブロック歪領域の各列の各画素について、その画素の前記上端及び下端からの距離に応じて、前記上側補正量及び前記下側補正量を重み付けして平均し、前記ブロック歪領域の列についてのその画素の補正量を算出する垂直方向補正量算出部と、
    前記垂直方向補正量算出部によって算出された列についての各画素の補正量を、前記水平方向画素値補正部によって補正された対応する画素の値に加算する垂直方向画素値補正部とを
    有する請求項１に記載の画像処理装置。
12. 前記ブロック歪領域ノイズ除去部は、
    前記復元画像の前記ブロック歪領域の各列毎に、前記ブロック歪領域の上端の画素の値と前記上端の画素の上隣の画素の値との平均値から、前記上端の画素の値を減算して、前記ブロック歪領域の各列毎の上側補正量を算出する上側補正量算出部と、
    前記復元画像の前記ブロック歪領域の各列毎に、前記ブロック歪領域の下端の画素の値と前記下端の画素の下隣の画素の値との平均値から、前記下端の画素の値を減算して、前記ブロック歪領域の各列毎の下側補正量を算出する下側補正量算出部と、
    前記ブロック歪領域の各列の各画素について、その画素の前記上端及び下端からの距離に応じて、前記上側補正量及び前記下側補正量を重み付けして平均し、前記ブロック歪領域の列についてのその画素の補正量を算出する垂直方向補正量算出部と、
    前記垂直方向補正量算出部によって算出された列についての各画素の補正量を、対応する画素の値に加算する垂直方向画素値補正部と、
    前記垂直方向画素値補正部によって補正された各画素で形成される画像の前記ブロック歪領域の各行毎に、前記ブロック歪領域の左端の画素の値と前記左端の画素の左隣の画素の値との平均値から、前記左端の画素の値を減算して、前記ブロック歪領域の各行毎の左側補正量を算出する左側補正量算出部と、
    前記垂直方向画素値補正部によって補正された各画素で構成される画像の前記ブロック歪領域の各行毎に、前記ブロック歪領域の右端の画素の値と前記右端の画素の右隣の画素の値との平均値から、前記右端の画素の値を減算して、前記ブロック歪領域の各行毎の右側補正量を算出する右側補正量算出部と、
    前記ブロック歪領域の各行の各画素について、その画素の前記左端及び右端からの距離に応じて、前記左側補正量及び前記右側補正量を重み付けして平均し、前記ブロック歪領域の行についてのその画素の補正量を算出する水平方向補正量算出部と、
    前記水平方向補正量算出部によって算出された行についての各画素の補正量を、前記垂直方向画素値補正部によって補正された対応する画素の値に加算する水平方向画素値補正部とを
    有する請求項１に記載の画像処理装置。
13. 前記領域特定部は、前記復元画像の中の、前記原画像においてエッジが存在していた可能性があるエッジ領域を特定し、
    前記領域特定部によって特定されたエッジ領域に対して、エッジを残してノイズ除去処理を行なうエッジ領域ノイズ除去部を
    備えた請求項１に記載の画像処理装置。
14. 前記領域特定部は、
    前記復元画像に対して平滑化処理を行なう平滑化処理部と、
    前記平滑化処理部よって平滑化処理された画像に対して２次微分フィルタを用いたフィルタ処理を行なう２次微分フィルタ処理部と、
    前記２次微分フィルタ処理部によってフィルタ処理された画像に対して零交差法を行なってエッジ候補画素を検出するエッジ候補画素検出部と、
    前記エッジ候補画素検出部によって検出された前記エッジ候補画素のうちで、ブロック歪に起因して検出された可能性のある画素を特定するブロック歪エッジ特定部と、
    前記エッジ候補画素検出部によって検出された前記エッジ候補画素のうちで、モスキートノイズに起因して検出された可能性のある画素を特定するモスキートノイズエッジ特定部と、
    前記エッジ候補画素検出部によって検出された前記エッジ候補画素のうちで、エッジ強度が所定の値以下である画素を特定する微小階調変化エッジ特定部と、
    前記エッジ候補画素検出部によって検出された前記エッジ候補画素から、前記ブロック歪エッジ特定部、前記モスキートノイズエッジ特定部、及び前記微小階調変化エッジ特定部によって特定された画素を除いた画素をエッジ画素と特定するエッジ画素特定部と、
    前記エッジ画素特定部によって特定されたエッジ画素に基づいて、前記エッジ領域を特定するエッジ領域特定部とを
    有する請求項１３に記載の画像処理装置。
15. 前記エッジ領域特定部は、前記エッジ画素特定部によって特定されたエッジ画素から所定の距離範囲内の画素複数個で構成される領域を、前記エッジ領域と特定する請求項１４に記載の画像処理装置。
16. 前記領域特定部は、前記復元画像の中の前記ブロック歪領域にも前記エッジ領域にも属さない領域を均質領域と特定し、
    前記領域特定部によって特定された均質領域に対して、ノイズ除去処理を行なう均質領域ノイズ除去部を
    備えた請求項１３に記載の画像処理装置。
17. 原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する画像処理装置において、
    前記復元画像に対する前記出力画像の拡大率を検出する拡大率検出部と、
    前記拡大率検出部によって検出された拡大率に基づいて、前記復元画像に存在するノイズを除去するノイズ除去部と、
    前記ノイズ除去部によってノイズが除去された前記復元画像を、前記拡大率に基づいて拡大する画像拡大部とを
    備えた画像処理装置。
18. 前記復元画像に対する前記出力画像の拡大率と前記ノイズ除去部が行なう処理の内容との予め決められた関係に従って、前記拡大率検出部によって検出された拡大率に対応する前記ノイズ除去部が行なう処理の内容を決定する処理内容決定部を備え、
    前記ノイズ除去部は、前記処理内容決定部によって決定された処理の内容に基づいて、前記復元画像を処理する
    請求項１７に記載の画像処理装置。
19. 前記処理の内容とは、前記復元画像を形成する各画素を平滑化する際の平滑化フィルタの大きさ及び係数を意味する請求項１８に記載の画像処理装置。
20. 前記原画像に対する前記圧縮データの圧縮率を検出する圧縮率検出部を備え、
    前記処理の内容は、前記原画像に対する前記圧縮データの圧縮率をも考慮して決められる内容であり、
    前記処理内容決定部は、前記圧縮率検出部によって検出された圧縮率をも考慮して前記ノイズ除去部が行なう処理の内容を決定する
    請求項１９に記載の画像処理装置。
21. 前記圧縮率検出部は、前記復元画像のデータ量と前記圧縮データのデータ量との比に基づいて、前記圧縮率を検出する請求項２０に記載の画像処理装置。
22. 前記圧縮率検出部は、前記圧縮データの符号化時に用いられた量子化テーブルの情報に基づいて、前記圧縮率を検出する請求項２０に記載の画像処理装置。
23. 原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理する画像処理方法において、
    前記復元画像の中でブロック歪の除去処理を適用するブロック歪領域を特定する領域特定ステップと、
    前記領域特定ステップにおいて特定したブロック歪領域に対して、ノイズ除去処理を行なうブロック歪領域ノイズ除去ステップとを
    備えた画像処理方法。
24. 原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元、画像を処理する画像処理方法において、
    前記復元画像に対する前記出力画像の拡大率を検出する拡大率検出ステップと、
    前記拡大率検出ステップにおいて検出した拡大率に基づいて、前記復元画像に存在するノイズを除去するノイズ除去ステップと、
    前記ノイズ除去ステップにおいてノイズが除去された前記復元画像を、前記拡大率に基づいて拡大する画像拡大ステップとを
    備えた画像処理方法。
25. 原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理するためのプログラムであって、
    前記復元画像の中でブロック歪の除去処理を適用するブロック歪領域を特定する領域特定部と、
    前記領域特定部によって特定されたブロック歪領域に対して、ノイズ除去処理を行なうブロック歪領域ノイズ除去部として
    コンピュータを機能させるプログラム。
26. 原画像を形成するデータを圧縮することによって得られた圧縮データを復号化処理して得られる復元画像を処理するプログラムにおいて、
    前記復元画像に対する前記出力画像の拡大率を検出する拡大率検出部と、
    前記拡大率検出部によって検出された拡大率に基づいて、前記復元画像に存在するノイズを除去するノイズ除去部と、
    前記ノイズ除去部によってノイズが除去された前記復元画像を、前記拡大率に基づいて拡大する画像拡大部として
    コンピュータを機能させるプログラム。

Images