JP6953183B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、より詳細には、画像の鮮鋭性回復技術に関する。

デジタルカメラやイメージスキャナなどによって取得した画像の画質低下の１つに、光学系に起因する鮮鋭性の劣化（所謂ボケ）がある。特許文献１には、取得した画像に対して、光学系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づくデジタルフィルタを適用することにより、劣化した鮮鋭性を回復（補正、復元）する技術が開示されている。また、特許文献１の回復処理に類する技術として、特許文献２には、バイリニア法などの変倍処理によって拡大した画像に超解像処理を適用することにより、拡大した画像の鮮鋭性を向上させる技術が開示されている。

ところで、画像処理の分野では、鮮鋭性を向上させるほど画像に含まれるノイズも増幅してしまうことが一般的に知られている。特許文献３には、鮮鋭性を劣化させることなくノイズを低減する技術（以下「エッジ保存型ノイズ低減処理」と記す）が開示されている。すなわち、着目画素と周辺画素との画素値の差分絶対値を所定の閾値と比較し、着目画素との相関が高い周辺画素（差分絶対値が所定の閾値よりも小さくなる周辺画素）のみを平滑化処理に用いることにより、鮮鋭性を劣化させることなくノイズを低減する。上記特許文献１には、回復処理によって鮮鋭性が回復した画像に対して、特許文献３に記載の技術に類するエッジ保存型ノイズ低減処理を適用することにより、取得した画像の鮮鋭性を回復しつつノイズ低減を行う技術もさらに開示されている。

特開２０１５−１０９５６２号公報 特許第５７０５３９１号公報 特許第３３３４７７６号公報

回復処理後の画像に対してエッジ保存型ノイズ低減処理を適用する場合、増幅されたノイズの影響によって、着目画素と周辺画素との相関判定に誤りが生じる可能性がある。そのため、特許文献１に記載の技術では、回復処理後の画像に対してエッジ保存型ノイズ低減処理を適用する場合、回復処理前の画像を用いて着目画素と周辺画素との相関を判定している。

しかしながら、回復処理後の画像に対してエッジ保存型ノイズ低減処理を適用する場合において、相関判定に回復処理前の画像を用いると良好な画質を得られない場合があった。本発明は上記事情に鑑みなされたものであり、鮮鋭性の回復特性に応じたノイズ低減処理を実現することを目的とする。

本発明の画像処理装置は、入力画像の鮮鋭性を回復する鮮鋭性回復手段と、前記入力画像の着目画素と周辺画素との相関を判定する相関判定手段と、前記鮮鋭性回復手段が出力する回復後画像において、周辺画素と前記相関を有すると判定された着目画素を平滑化するノイズ除去手段と、前記入力画像の鮮鋭性の回復に用いられる回復特性に応じて、前記相関判定手段が相関判定に回復前の前記入力画像の着目画素と周辺画素とを用いるモードと、相関判定に回復後の前記入力画像の着目画素と周辺画素とを用いるモードとを切り換える切り換え手段と、を有することを特徴とする。

本発明によれば、鮮鋭性の回復特性に応じたノイズ低減処理を実現することができる。

従来例において、回復・ノイズ低減処理を適用するための構成例を示すブロック図である。 従来例において、回復・ノイズ低減処理を適用するための構成例を示すブロック図である。 振幅スペクトルおよび振幅特性を示すグラフである。 振幅スペクトルを示すグラフである。 実施形態１における画像処理装置の全体構成例を示すブロック図である。 実施形態１における画像処理部の回路構成例を示すブロック図である。 実施形態１における回復・ノイズ低減処理を適用するための構成例を示すブロック図である。 実施形態１における回復・ノイズ低減処理例を示すフローチャートである。 ３画素四方の着目領域を示す模式図である。 差分フィルタの振幅特性を示すグラフである。

本実施形態の説明に先立ち、エッジ保存型ノイズ低減処理を鮮鋭性回復処理後に適用した従来例について説明する。ここでは説明の簡略化のため、一次元の画像データを処理する例を説明する。なお、この一次元の画像データの解像度は６００ｄｐｉとする。

図１および図２は、鮮鋭性回復処理後の回復後画像データに対してエッジ保存型ノイズ低減処理を適用するための構成例を示すブロック図である。図１では相関判定に回復後画像データが用いられるが、図２では相関判定に鮮鋭性回復処理前の回復前画像データが用いられる。図２の構成が、特許文献１、特許文献２に記載の技術に対応する。すなわち、特許文献１、特許文献２に記載の技術では、相関判定に、鮮鋭性向上処理に伴ってノイズが増幅してしまう前の画像データを用いることにより、画像データが表す画像の画質が良くなることを期待している。なお、上記「画質が良くなる」という表現は、鮮鋭性を維持しつつ、ノイズを効果的に低減することを意味している（以降の説明においても同様である）。

しかしながら、回復処理に用いられるデジタルフィルタ（以下、「回復フィルタ」とも記す）の周波数特性によっては、相関判定に回復前画像データを用いた場合、かえって画質が悪化することが、発明者の検討により明らかになった。なお、上記「画質が悪化する」という表現は、鮮鋭性が悪化すること、または、ノイズを十分に低減できないことを意味している（以降の説明においても同様である）。相関判定に回復前画像データを用いると画質が悪化してしまう例を、図３および図４を参照して説明する。

図３のグラフ３０１は、横軸を空間周波数ｆとし、縦軸を回復フィルタの振幅特性としたグラフである。高周波回復フィルタＦｌｔ_１（ｆ）のように、フィルタの振幅特性がｆ＝０ｃｙｃｌｅ／ｍｍを除く全ての周波数領域で１を超えている場合は、相関判定に回復前画像データを用いた方が、回復後画像データを用いた場合に比べて画質が向上した。一方、低周波回復・高周波抑制フィルタＦｌｔ_２（ｆ）のように、フィルタの振幅特性が高周波領域において１を下回る場合は、相関判定に回復前画像データを用いると、回復後画像データを用いた場合に比べてかえって画質が悪化した。すなわち、回復処理に低周波回復フィルタ・高周波抑制フィルタを用いた場合は、相関判定に回復後画像データを用いた方が、回復前画像データを用いた場合に比べて画質が向上した。以下、このような結果になる仕組みを説明する。なお、ここでは周波数によらず強度が一定のノイズ（ホワイトノイズ）を低減することを想定している。

回復部１０１と回復部２０１とは、それぞれ同一構成の回復フィルタを用いて、一次元の回復前画像データｂ（ｘ）との畳み込み演算を行い、一次元の回復後画像データｄ（ｘ）を出力する。このときｘは入力画像における画素位置を示す。

平滑化部１０２と相関判定部１０３とは、特許文献３に記載の技術に類するエッジ保存型ノイズ低減処理を行う。同様に、平滑化部２０２および相関判定部２０３も、エッジ保存型ノイズ低減処理を行う。以下では、説明を簡略化するために、位置ｘと位置ｘ＋１における２つのデータ（画素値）を用いてエッジ保存型ノイズ低減処理を行い、位置ｘに対応する出力画像データｏ（ｘ）を出力する具体例について説明する。

相関判定部１０３と相関判定部２０３とは、いずれも、着目画素における画素値（以下「着目画素値」と記す）と、着目画素の周辺画素における画素値（以下「周辺画素値」と記す）とが、相関を有するか否かを判定する。相関判定は、特許文献３に記載の技術と同様に、着目画素値と周辺画素値との差分絶対値を所定の閾値と比較することにより行われる。本例では、位置ｘと位置ｘ＋１とにおける２つの画素値が用いられる。図１および図２の例では、位置ｘにある画素値が着目画素値であり、位置ｘ＋１にある画素値が周辺画素値であるものとして説明する。

相関判定部１０３は、ｄ（ｘ）とｄ（ｘ＋１）との差分絶対値が所定の閾値を下回っていれば、位置ｘ＋１の周辺画素値は、位置ｘの着目画素値との関係において相関を有すると判定する。一方、相関判定部２０３は、ｂ（ｘ）とｂ（ｘ＋１）の差分絶対値が所定の閾値を下回っていれば、位置ｘ＋１の周辺画素値は、位置ｘの着目画素値との関係において相関を有すると判定する。

平滑化部１０２と平滑化部２０２とは、それぞれ同一構成の平滑化フィルタを用いて、特許文献３に記載の技術と同様に、着目画素値との相関が高い周辺画素値のみを対象に平滑化を行うことにより、入力画像の鮮鋭性を劣化させずにノイズ除去を行う。本例では、位置ｘおよび位置ｘ＋１における２つの画素値が用いられるため、位置ｘにおける画素値と位置ｘ＋１における画素値との間に相関があると判定された場合、位置ｘ＋１の画素値が平滑化に使用される。具体的には、位置ｘにおける画素値と位置ｘ＋１における画素値との間に相関があると判定された場合、ｄ（ｘ）とｄ（ｘ＋１）とを足して２で割った値が出力画像データｏ（ｘ）として出力される。一方、位置ｘにおける画素値と位置ｘ＋１における画素値との間に相関がないと判定された場合、位置ｘ＋１における画素値は平滑化に使用されない。よって、位置ｘにおける画素値と位置ｘ＋１における画素値との間に相関がないと判定された場合、ｄ（ｘ）が出力画像データｏ（ｘ）として出力される。

前述の通り、回復フィルタの周波数特性に応じて、相関判定に回復後画像データを用いた方が画質が良くなる場合と、相関判定に回復前画像データを用いた方が画質が良くなる場合との２通りの結果が得られる。これは、鮮鋭性向上処理に伴って増幅したノイズによって、相関判定の精度が悪化してしまうことに起因する。そこで、相関判定に用いられる差分絶対値のＳ／Ｎ比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）を評価する。この差分絶対値のＳ／Ｎ比が大きいほど差分絶対値の精度が向上するため、相関判定が正確になり、画質が良くなることを示している。以下、回復フィルタの周波数特性に応じて、差分絶対値のＳ／Ｎ比が可変することを示す。

ここでは、差分絶対値のＳ／Ｎ比を評価するために、入力画像データ（回復前画像データ）を、ノイズが含まれていない画像信号データと、ノイズデータとに分離する。図３のグラフ３０２は、横軸を空間周波数ｆとし、縦軸を回復前画像データの振幅スペクトルとしたグラフの一例を示している。なお、図３および図４におけるいずれのグラフも、ナイキスト周波数は約１１．８ｃｙｃｌｅｓ／ｍｍ（＝６００÷２５．４÷２ｃｙｃｌｅｓ／ｍｍ）である。一般的に、画像信号においては隣接画素間の相関性が高く、高周波成分を含むエッジ領域はわずかしか出現しないという特徴がある。そのため、画像信号の振幅スペクトルＳ（ｆ）は、空間周波数ｆが高いほど小さくなる。一方、ノイズは、空間周波数の高低とは相関性がなくランダムに変化する。図３のグラフ３０２の例では、空間周波数ｆに対応するノイズの振幅スペクトルＮ（ｆ）は、全ての周波数帯において値がほぼ一定となっている。つまり、本例においては、上記ノイズはホワイトノイズを想定している。

相関判定に回復前画像データを用いる場合、回復前画像データにおけるｂ（ｘ）とｂ（ｘ＋１）との差分絶対値により相関が判定される。ここで、隣接する画素間における画素値の差分を求めるためのフィルタ（以下「差分フィルタ」と記す）の振幅特性をＤ（ｆ）とする。図３のグラフ３０３は、横軸を空間周波数ｆとし、縦軸を差分フィルタの振幅特性Ｄ（ｆ）としたグラフの一例を示している。そして、振幅特性Ｄ（ｆ）は、ｆ_Nをナイキスト周波数とすると、グラフ３０３に示すように、公知の信号処理理論より、√（２（１−ｃｏｓ（πｆ／ｆ_N））となる。回復前画像データに差分フィルタを適用すると、図４のグラフ４０１に示すように、画像信号の振幅スペクトルはＳ（ｆ）×Ｄ（ｆ）となり、ノイズの振幅スペクトルはＮ（ｆ）×Ｄ（ｆ）となる。よって、差分絶対値のＳ／Ｎ比は、以下の式（１）に示されるように、Ｓ（ｆ）×Ｄ（ｆ）をｆについて合算した値を、Ｎ（ｆ）×Ｄ（ｆ）をｆについて合算した値で除算した値となる。図３および図４で示される例では、式（１）より、相関判定の正確さを示す評価値は２．２となった。

次に、相関判定に回復後画像データを用いる場合における差分絶対値のＳ／Ｎ比を計算する。ここで、回復部１０１で用いられるフィルタとして、以下の２種類のフィルタを想定する。これら２種類のフィルタの振幅特性はそれぞれグラフ３０１に示す通りとする。１つ目のフィルタは高周波回復フィルタＦｌｔ_１（ｆ）であり、２つ目のフィルタは低周波回復・高周波抑制フィルタＦｌｔ_２（ｆ）である。相関判定に用いられる回復後画像データは、回復前画像データｂ（ｘ）に対し、これらの回復フィルタを適用したものである。

グラフ３０２に示される、画像信号Ｓ（ｆ）、ノイズＮ（ｆ）のそれぞれに高周波回復フィルタＦｌｔ_１（ｆ）を適用すると、回復後画像データの振幅スペクトルはそれぞれ、Ｓ（ｆ）×Ｆｌｔ_１（ｆ）および、Ｎ（ｆ）×Ｆｌｔ_１（ｆ）となる。同様に、画像信号Ｓ（ｆ）、ノイズＮ（ｆ）のそれぞれに低周波回復・高周波抑制フィルタＦｌｔ_２（ｆ）を適用すると、回復後画像データの振幅スペクトルはそれぞれ、Ｓ（ｆ）×Ｆｌｔ_２（ｆ）および、Ｎ（ｆ）×Ｆｌｔ_２（ｆ）となる。

相関判定に回復後画像データを用いる場合、回復後画像データにおけるｄ（ｘ）とｄ（ｘ＋１）との差分絶対値により相関が判定される。相関判定においては、前述の方法と同様に、グラフ３０３に示される振幅特性Ｄ（ｆ）を有する差分フィルタを用いて、隣接する画素間における画素値の差分が求められる。差分フィルタが、高周波回復フィルタＦｌｔ_１（ｆ）による回復後画像データに適用されると、信号の振幅スペクトルはＳ（ｆ）×Ｆｌｔ_１（ｆ）×Ｄ（ｆ）となり、ノイズの振幅スペクトルはＮ（ｆ）×Ｆｌｔ_１（ｆ）×Ｄ（ｆ）となる。グラフ４０２は、横軸を空間周波数ｆとし、縦軸を回復後画像データ（高周波回復）の振幅スペクトルとしたグラフである。グラフ４０２において、画像信号の振幅スペクトルＳ（ｆ）×Ｆｌｔ_１（ｆ）×Ｄ（ｆ）と、ノイズの振幅スペクトルＮ（ｆ）×Ｆｌｔ_１（ｆ）×Ｄ（ｆ）とが示されている。

差分フィルタが、低周波回復・高周波抑制フィルタＦｌｔ_２（ｆ）による回復後画像データに適用されると、画像信号の振幅スペクトルはＳ（ｆ）×Ｆｌｔ_２（ｆ）×Ｄ（ｆ）に、ノイズの振幅スペクトルはＮ（ｆ）×Ｆｌｔ_２（ｆ）×Ｄ（ｆ）になる。グラフ４０３は、横軸を空間周波数ｆとし、縦軸を回復後画像データ（低周波回復・高周波抑制）の振幅スペクトルとしたグラフである。グラフ４０３において、画像信号の振幅スペクトルＳ（ｆ）×Ｆｌｔ_２（ｆ）×Ｄ（ｆ）と、ノイズの振幅スペクトルＮ（ｆ）×Ｆｌｔ_２（ｆ）×Ｄ（ｆ）とが示されている。本例において、高周波回復フィルタＦｌｔ_１（ｆ）を適用した場合、差分絶対値のＳ／Ｎ比は、以下の式（２）に示される通り評価値は０．７となった。一方、低周波回復・高周波抑制フィルタＦｌｔ_２（ｆ）を適用した場合、差分絶対値のＳ／Ｎ比は、以下の式（３）に示される通り評価値は３．７となった。

以上の結果より、回復フィルタの周波数特性に応じて、相関判定に回復前画像データを用いた方が良い場合と、相関判定に回復後画像データを用いた方が良い場合とがあることが分かる。すなわち、相関判定に回復前画像データを用いた場合のＳ／Ｎ比は式（１）に示される通り２．２となったが、高周波回復フィルタを適用した回復後画像データを用いた場合のＳ／Ｎ比は式（２）に示される通り０．７となった。つまり、式（２）で算出されるＳ／Ｎ比の値よりも、式（１）で算出されるＳ／Ｎ比の値の方が大きいため、回復処理に高周波回復フィルタを用いた場合は、相関判定に回復前画像データを用いた方が画質が良くなる。

一方、低周波回復・高周波抑制フィルタを適用した回復後画像データを用いた場合のＳ／Ｎ比は式（３）に示される通り３．７となった。つまり、式（１）で算出されるＳ／Ｎ比の値よりも、式（３）で算出されるＳ／Ｎ比の値の方が大きいため、回復処理に低周波回復・高周波抑制フィルタを用いた場合は、相関判定に回復後画像データを用いた方が画質が良くなる。

このように、回復フィルタの周波数特性に応じて、相関判定に回復前画像データを用いた方が良い場合と、相関判定に回復後画像データを用いた方が良い場合とがあることが分かる。しかしながら、特許文献１に記載の技術では、相関判定に回復前画像データしか用いることができない。そのため、特許文献１に記載の技術によれば、回復処理に低周波回復・高周波抑制フィルタを用いた場合は、ノイズを増幅させることなく鮮鋭性を効果的に向上させた好適な画質を得ることができない。そこで、本実施形態の画像処理装置では、相関判定に用いる画像データを切り換える。かかる構成により、鮮鋭性の回復特性に応じた好適な画質を得ることができる。なお、上記説明では周波数によらず強度が一定のホワイトノイズを想定したが、ノイズの種別はホワイトノイズのみに限られず、Ｓ／Ｎ比が同様の関係にあれば同様の現象が起こる。

［実施形態１］
以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

（画像処理装置の全体構成）
図５は、本実施形態における画像処理装置の全体構成の一例を示すブロック図である。図５において、画像読み取り部５２０は、レンズ５２２と、ＣＣＤセンサ５２４と、アナログ信号処理部５２６とを備える。レンズ５２２を介してＣＣＤセンサ５２４に結像された原稿５００の画像が、ＣＣＤセンサ５２４によりＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のアナログ電気信号に変換される。なお、本実施形態では、原稿５００が画像読み取り部５２０によって読み取られるが、原稿５００は文書に限られず写真やイラストなども含み得る。

アナログ信号に変換された画像情報は、アナログ信号処理部５２６に入力され、Ｒ、Ｇ、Ｂの色ごとに補正などが行われた後に、アナログ・デジタル変換（Ａ／Ｄ変換）される。デジタル化された画像データ信号は、画像処理部５３０に入力される。画像処理部５３０は、画像データ信号に対し、後述する入力補正処理、回復・ノイズ低減処理、色空間変換、濃度補正処理、および中間調処理を施し、これらの処理が施された後の画像データ信号をプリンタ部５４０へ出力する。プリンタ部５４０は、例えば、インクジェットヘッドやサーマルヘッド等を使用したラスタプロッタ等の印刷出力部（図示せず）を備えており、入力された画像データ信号に基づいて記録媒体上に画像を記録する。

また、コントローラ５１０は、演算制御用のＣＰＵ５１２、固定データやプログラムを格納するＲＯＭ５１４、データの一時保存やプログラムのロードに使用されるＲＡＭ５１６、および、外部記憶装置５１８を備える。コントローラ５１０は、画像読み取り部５２０、画像処理部５３０、および、プリンタ部５４０を制御し、本実施形態の画像処理装置１のシーケンスを統括的に制御する。外部記憶装置５１８は、本実施形態の画像処理装置１が使用するパラメータやプログラムを記憶するハードディスク等の記憶媒体であり、ＲＡＭ５１６のデータやプログラム等は外部記憶装置５１８からロードされる構成としてもよい。

（画像処理部の回路構成）
次に、図５の画像処理部５３０について詳細に説明する。図６は、本実施形態における画像処理部５３０の回路構成の一例を示すブロック図である。

アナログ信号処理部５２６から画像データ信号がバス６０５を経由して画像処理部５３０に入力され、以下に説明する画像処理が実行される。画像処理部５３０は入力インターフェース６１０と、入力補正回路６２０と、回復・ノイズ低減回路６３０と、色空間変換回路６４０と、濃度補正回路６５０と、中間調処理回路６６０と、出力インターフェース６７０とを備える。以下、入力補正回路６２０、回復・ノイズ低減回路６３０、色空間変換回路６４０、濃度補正回路６５０、および、中間調処理回路６６０それぞれの機能について説明する。

（入力補正回路）
入力インターフェース６１０を経由して入力補正回路６２０に画像データ信号６１５が入力される。この画像データ信号６１５はＲ，Ｇ，Ｂの輝度信号で構成される。入力補正回路６２０では、原稿５００を読み取るセンサの特性のばらつきや、照明用ランプの配光特性を補正するための処理が画像データ信号６１５に対して行われる。

（回復・ノイズ低減回路）
入力補正回路６２０から出力された画像データ信号（輝度信号Ｒ，Ｇ，Ｂ）６２５が、回復・ノイズ低減回路６３０に入力される。回復・ノイズ低減回路６３０では、画像データ信号（輝度信号Ｒ，Ｇ，Ｂ）６２５に対し、回復処理およびノイズ低減処理が行なわれる。

（色空間変換回路）
回復・ノイズ低減回路６３０から出力された画像データ信号（輝度信号Ｒ，Ｇ，Ｂ）６３５が、色空間変換回路６４０に入力される。色空間変換回路６４０では、画像データ信号６３５を構成する輝度信号Ｒ，Ｇ，Ｂが、濃度信号Ｃ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）、Ｋ（Ｂｌａｃｋ）からなる画像データ信号６４５に変換される。

（濃度補正回路）
色空間変換回路６４０から出力された画像データ信号（濃度信号Ｃ，Ｍ，Ｙ，Ｋ）６４５が、濃度補正回路６５０に入力される。濃度補正回路６５０では、画像データ信号（濃度信号Ｃ，Ｍ，Ｙ，Ｋ）６４５に対し、中間調処理回路６６０で２値化された場合に濃度変化が起きないように、中間調処理の特性を考慮して濃度補正が行われる。

（中間調処理回路）
濃度補正回路６５０から出力される画像データ信号（濃度信号Ｃ，Ｍ，Ｙ，Ｋ）６５５が中間調処理回路６６０に入力される。中間調処理回路６６０では、多値の画像データ信号（濃度信号Ｃ，Ｍ，Ｙ，Ｋ）６５５に対し、中間調処理（ハーフトーン処理）が行われ、２値（または２値以上で入力階調数より少ない階調数の多値）の中間調表現に変換される。そして、２値画像データ信号（出力信号Ｃ，Ｍ，Ｙ，Ｋ）６６５が出力インターフェース６７０とバス６７５とを経由してプリンタ部５４０に出力される。

（回復・ノイズ低減回路における画像処理）
次に、回復・ノイズ低減回路６３０で行われる画像処理について、図７のブロック図および図８のフローチャートを参照して説明する。回復・ノイズ低減回路６３０では、画像データ信号における色成分ごとに同じ処理が適用される。図７は、１つの色成分に対する回復・ノイズ低減処理を適用するための構成例を示すブロック図である。図８は、１つの色成分に対する回復・ノイズ低減処理例を示すフローチャートである。なお、以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。

図７においてｂ（ｘ，ｙ）は、入力補正回路６２０から出力された画像データ信号６２５のうちの１つの色成分を示す。このとき、ｘとｙとは、画像データ信号６２５が表す画像における画素位置を示す。そして、この画像の解像度は６００ｄｐｉとする。以下、ｂ（ｘ，ｙ）を回復前画像データと記す。

図８のフローチャートのＳ８０１において、回復部７０１は、この回復前画像データｂ（ｘ，ｙ）と、回復フィルタとの畳み込み演算を行うことにより、鮮鋭性が回復された回復後画像データｄ（ｘ，ｙ）を生成する。

本実施形態において、回復フィルタはそのパラメータを変更することにより、鮮鋭性の回復特性を変更可能に構成されている。パラメータの変更は、不図示の入力部にユーザ指示が入力されることに応じて、回復部７０１が回復フィルタの周波数特性を変更する。例えば、回復部７０１は、回復フィルタのパラメータが変更されることに応じて、グラフ３０１に示される、高周波回復フィルタＦｌｔ_１（ｆ）と、低周波回復・高周波抑制フィルタＦｌｔ_２（ｆ）とを切り換えることができる。

また、回復フィルタは、例えば、特許文献１に記載の方法によって生成することができる。具体的には、画像読み取り部５２０のＭＴＦをＨ（ｕ，ｖ）とした場合、その逆特性１／Ｈ（ｕ，ｖ）を逆フーリエ変換して生成する。このとき、ｕ，ｖは空間周波数である。本実施形態では、回復フィルタのサイズは１１×１１としているが、フィルタサイズはこれに限定されない。回復特性に応じて必要なフィルタサイズを設定すればよい。

通常、画像読み取り部５２０で取得された画像データ信号は光学系の影響で鮮鋭性が劣化している。そのため、ｆ＝０ｃｙｃｌｅ／ｍｍを除く全ての空間周波数ｆにおいて振幅特性が１を下回り、その逆特性１／Ｈ（ｕ，ｖ）はｆ＝０ｃｙｃｌｅ／ｍｍを除く全ての空間周波数ｆにおいて振幅特性が１を上回る。そのため、１／Ｈ（ｕ，ｖ）を逆フーリエ変換して生成した回復フィルタは、前述した高周波回復フィルタとなる。

一方、低周波回復・高周波抑制フィルタは、逆特性１／Ｈ（ｕ，ｖ）にローパス特性を掛ける方法により、高周波領域における振幅特性が１を下回るように、逆フーリエ変換して生成される。具体的には、低周波回復・高周波抑制フィルタは、ナイキスト周波数の半分を下回る低周波領域では振幅特性の最大値が１を上回り、ナイキスト周波数の半分を上回る高周波領域では振幅特性の最小値が１を下回るフィルタとする。なお、前述の通り、本実施形態では画像の解像度を６００ｄｐｉとしたため、ナイキスト周波数は約１１．８ｃｙｃｌｅｓ／ｍｍ（＝６００÷２５．４÷２ ｃｙｃｌｅｓ／ｍｍ）である。

切り換え部７０４は、相関判定に用いる画像データの種別を切り換える。例えば、回復部７０１で高周波回復フィルタが用いられる場合、切り換え部７０４は、相関判定部７０３に回復前画像データが送られるように設定される。一方、回復部７０１で低周波回復・高周波抑制フィルタが用いられる場合、切り換え部７０４は、相関判定部７０３に回復後画像データが送られるように設定される。このように、切り換え部７０４により、回復フィルタの周波数特性に応じて、相関判定に回復前画像データの画素値を用いるモードと、相関判定に回復後画像データの画素値を用いるモードとが切り換えられる。そのため、回復フィルタの周波数特性によらず、好適な画質を得ることができる。

Ｓ８０２において、回復・ノイズ低減回路６３０は、回復部７０１が回復処理に用いるフィルタを判定する。回復フィルタが高周波回復フィルタであった場合（Ｓ８０２：ＹＥＳ）、Ｓ８０３に移行し、切り換え部７０４は、回復前画像データが相関判定部７０３に送信されるように設定される。一方、回復フィルタが低周波回復・高周波抑制フィルタであった場合（Ｓ８０２：ＮＯ）、Ｓ８０４に移行し、切り換え部７０４は、回復後画像データが相関判定部７０３に送信されるように設定される。

平滑化部７０２と相関判定部７０３とは、前述の平滑化部１０２、２０２と相関判定部１０３、２０３と同様に、特許文献３に記載の技術に類するエッジ保存型ノイズ低減処理を行う。

Ｓ８０５において、相関判定部７０３は、着目領域において、着目画素と周辺画素との相関の有無を判定する。

Ｓ８０６において、平滑化部７０２は、回復後画像データｄ（ｘ，ｙ）と、相関判定部７０３が出力する相関判定結果データｃ（ｘ，ｙ）とに基づいて、着目画素と相関を有する周辺画素のみを用いて平滑化を行う。そして、平滑化部７０２は、平滑化により得られた値を着目画素の値として出力する。上記方法により得られた出力画像データｏ（ｘ，ｙ）は、画像データ信号６３５のうちの１つの輝度信号として、色空間変換回路６４０へ出力される。以下、Ｓ８０５〜Ｓ８０６における処理の詳細を、図９を用いて説明する。

図９は、着目画素に隣接する３画素四方の着目領域の一例を示す模式図である。着目画素（または着目画素位置に対応する画素）は、着目領域９０１〜９０５において太字で示される中央の画素であり、これらの添え字を「１１」としている。着目領域９０１におけるｂ_ijは回復前画像データｂ（ｘ，ｙ）の画素値であり、着目領域９０２におけるｄ_ijは回復後画像データｄ（ｘ，ｙ）の画素値である。着目領域９０３におけるｃ_ijは、相関判定部７０３が出力する相関判定結果データｃ（ｘ，ｙ）である。

相関判定に回復前画像データが用いられる場合、相関判定結果データｃ_ijは以下説明する式（４）に従って生成され、相関判定に回復後画像データが用いられる場合、相関判定結果データｃ_ijは以下説明する式（５）に従って生成される。このとき、「相関あり」と判定された画素値は、ｃ_ij ＝１となり、「相関なし」と判定された画素値は、ｃ_ij ＝０となる。すなわち、相関判定部７０３は、回復前画像データまたは回復後画像データを参照し、着目領域において、着目画素と周辺画素との画素値の差分絶対値を求め、その差分絶対値が所定の相関判定閾値Ｔｈを超えているか否かを判定する。

着目領域９０４は、回復前画像データまたは回復後画像データにおける着目領域の具体例を示している。着目領域９０５は、相関判定閾値Ｔｈを５とした場合において、着目領域９０４に相関判定を施した結果を示している。図９の具体例では、着目領域のサイズが３画素四方であり、差分絶対値が着目画素と隣接画素との間で算出される。そのため、相関判定の振幅特性は、着目画素を基準として縦横方向ではグラフ３０３に示される通りとなり、着目画素を基準として斜め方向ではグラフ３０３の横軸のスケールを√２倍したものとなる。つまり、図９の具体例のように、差分フィルタの振幅特性は、着目領域のサイズが３画素四方の２次元画像データにおいても、先に説明した１次元画像データの場合と同様に成立する。

平滑化部７０２は、相関を有すると判定された画素（ｃ_ij＝１）における回復後画像データの画素値ｄ_ijを平均化する。例えば、相関判定結果が着目領域９０５となった場合、平均化された値ｄ_avgは、「（ｄ₀₀ +ｄ₁₀ +ｄ₂₀ +ｄ₀₁ +ｄ₁₁ +ｄ₂₁）÷６」となる。そして、着目画素値ｄ₁₁は、ｄ_avgで置換される。

Ｓ８０７において、回復・ノイズ低減回路６３０は、出力画像データｏ（ｘ，ｙ）を出力する。
Ｓ８０８において、回復後画像データｄ（ｘ，ｙ）におけるすべての画素について、Ｓ８０５〜Ｓ８０７の処理が完了したか否かが判定される。すべての画素について処理が完了していない場合（Ｓ８０８：ＮＯ）、再びＳ８０５に戻る。すべての画素について処理が完了した場合（Ｓ８０８：ＹＥＳ）、本フローチャートを終了する。

以上説明した通り、本実施形態の画像処理装置によれば、回復後画像データに対してエッジ保存型ノイズ低減処理を適用する場合において、回復処理に用いられるフィルタの周波数特性によらず、鮮鋭性向上とノイズ低減とを両立することができる。具体的には、切り換え部７０４は、鮮鋭性の回復特性に応じて相関判定に用いられる画像を切り換えることができるため、鮮鋭性の回復特性によらず入力画像の鮮鋭性を効果的に向上させることができる。

なお、切り換え部７０４を設ける効果は、本実施形態のように、相関判定に用いる着目領域のサイズを３画素四方としたときに特に顕著である。以下、その理由を説明する。

図９のように着目領域のサイズが３画素四方の場合、相関判定に着目画素と隣接画素との画素値の差分が用いられるため、差分フィルタの振幅特性Ｄ（ｆ）は、グラフ３０３が示すように、空間周波数が高くなるほど振幅特性も高くなる。そのため、高周波回復フィルタが適用された回復後画像データに基づいて相関判定を行うと、ノイズの影響を強く受けてしまう。すなわち、回復処理に高周波回復フィルタを用い、かつ、相関判定に３画素四方の着目領域のサイズを用いる場合、回復後画像データに基づいて相関判定を行うと、回復前画像データに基づいて相関判定を行った場合に比べ、画質が大きく悪化してしまう。

一方、着目領域のサイズが３画素四方よりも大きい場合、着目画素と隣接画素との画素値の差分だけではなく、着目画素から２画素以上離れた画素との画素値の差分にも基づいて相関判定が行われる。着目画素と、着目画素から２画素以上離れた画素との画素値の差分は、ナイキスト周波数の１／２よりも低い空間周波数でピークを持つ。なぜなら、着目画素と、着目画素からｍ画素離れた画素との画素値の差分を求めるために用いられる差分フィルタの伝達関数は、公知の信号処理理論より「ｅｘｐ（−ｊπｍｆ／ｆ_N）−１」となるからである。その振幅特性は「√（２（１−ｃｏｓ（πｍｆ／ｆ_N））」となり、例えば、ｍ＝２、３、４のとき、図１０の１００１、１００２、１００３に示す通りとなる。

このように、着目領域のサイズが３画素四方よりも大きい場合、差分絶対値のＳ／Ｎ比は元々Ｓ／Ｎ比の値が多い低周波成分の割合が増加するため、高周波回復フィルタが適用された回復後画像データから相関判定を行った場合の画質劣化が少なくなる。すなわち、回復処理に高周波回復フィルタを用い、かつ、相関判定に３画素四方よりも十分大きいサイズの着目領域を用いる場合、回復後画像データに基づいて相関判定を行っても、回復前画像データに基づいて相関判定を行っても、双方の画質の差は小さい。

一方、回復処理に低周波回復・高周波抑制フィルタを用いる場合、着目領域のサイズが大きくなるほど回復後画像データに基づいて相関判定を行った方が、Ｓ／Ｎ比の値が多くなる。そのため、相関判定に用いられる着目領域のサイズによらず、回復後画像データに基づいて相関判定を行った方が画質が良くなる。

以上を総合すると、回復処理に高周波回復フィルタを用い、かつ、着目領域のサイズが３画素四方の場合は、相関判定に回復前画像データを用いるのがよい。その他の場合では、相関判定に回復後画像データが用いられても問題ないといえる。すなわち、着目領域のサイズが３画素四方の場合、回復特性に応じて相関判定に用いる画像データを切り換えることにより、顕著な画質改善の効果を得ることができる。一方、着目領域のサイズが３画素四方よりも大きい場合、回復特性によらず相関判定に回復後画像データを用いればよいので、回復・ノイズ低減回路６３０に切り換え部７０４を設けなくても、画質の悪化を抑制することができる。

［実施形態２］
前述の通り、相関判定に回復前画像データを用いることにより顕著な画質改善効果を得られるユースケースは、回復処理に高周波回復フィルタを用い、かつ、着目領域のサイズが３画素四方の場合といえる。そのため、回復処理に高周波回復フィルタのみを用いることが確定しており、かつ、着目領域のサイズが３画素四方の場合は、常に回復前画像データに基づいて相関判定を行えばよい。そこで、本実施形態における回復・ノイズ低減回路６３０の構成は、図７の構成から切り換え部７０４を取り除き、常に回復前画像データに基づいて相関判定を行う構成とする。この場合、回復部７０１は高周波回復フィルタのみを用いて回復処理を行い、相関判定部７０３は３画素四方のサイズの着目領域を用いて相関判定を行うものとする。

以上説明した通り、本実施形態によれば、回復処理に高周波回復フィルタのみを用いることが確定しており、かつ、着目領域のサイズが３画素四方の場合において、好適な画質を得ることができる。すなわち、実施形態２の構成によれば、画質を劣化させることなく、画像処理部５３０に切り換え部７０４を実装するためのコストを削減することができる。

［その他の実施形態］
なお、実施形態１において、画像処理部５３０は、相関判定に用いる画像を鮮鋭性の回復特性に応じて切り換えていたが、いずれの画像を相関判定に用いるか否かの判定基準は、回復特性に限定されない。例えば、画像処理部５３０は、回復フィルタの種別を決定した後、相関判定に回復前画像データを用いた場合に出力される画像の画質と、回復後画像データを用いた場合に出力される画像の画質とをそれぞれ評価し、画質が良くなる方を採用してもよい。このとき、回復前画像データを用いた方が画質が良くなる場合は、相関判定に回復前画像データを用いるようにする。逆に、回復後画像データを用いた方が画質が良くなる場合は、相関判定に回復後画像データを用いるようにする。あるいはまた、記録媒体の種類や記録品位など、ユーザが設定する動作モードに応じて相関判定に用いる画像データが切り換えられてもよい。この場合、相関判定に用いる画像データだけでなく、フィルタ特性と、相関判定に用いる画像データとの両方を、ユーザが設定する動作モードに応じて同時に可変させてもよい。

また、実施形態１において、高周波回復フィルタは、ｆ＝０ｃｙｃｌｅ／ｍｍを除く全ての空間周波数において振幅特性が１を上回るフィルタとしたが、これに限定されない。例えば、ナイキスト周波数の半分を上回る高い周波数成分に対応する振幅特性の平均値が、ナイキスト周波数の半分を下回る低い周波数成分に対応する振幅特性の平均値を上回っているフィルタを、高周波回復フィルタとしてもよい。あるいはまた、ナイキスト周波数の半分を上回る高い周波数成分において、振幅特性の最大値が所定の閾値を超えるフィルタを、高周波回復フィルタとしてもよい。

また、実施形態１では、低周波回復・高周波抑制フィルタは、ナイキスト周波数の半分を下回る低い周波数成分では振幅特性の最大値が１を上回り、ナイキスト周波数の半分を上回る高い周波数成分では振幅特性の最小値が１を下回るフィルタとした。しかしながら、低周波回復・高周波抑制フィルタは上記に限定されない。例えば、ナイキスト周波数の半分を上回る高い周波数成分に対応する振幅特性の平均値が、ナイキスト周波数の半分を下回る低い周波数成分に対応する振幅特性の平均値を下回るフィルタを、低周波回復・高周波抑制フィルタとしてもよい。あるいはまた、ナイキスト周波数の半分を上回る高い周波数成分において、振幅特性の最大値が所定の閾値を下回るフィルタを、低周波回復・高周波抑制フィルタとしてもよい。

また、実施形態１の相関判定部７０３は、相関判定に差分絶対値を用いるが、Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ法のようにブロック間の相違度を用いてもよい。また、実施形態１の切り換え部７０４は、回復前画像データまたは回復後画像データを相関判定部７０３に出力するが、これらの画像データをブレンドして生成した画像データを相関判定部７０３に出力してもよい。すなわち、切り換え部７０４は、回復前画像および回復後画像の同じ座標の画素値を所定の割合でブレンドして生成した画像を相関判定部７０３に出力してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１・・・・画像処理装置
５３０・・画像処理部
６３０・・回復・ノイズ低減回路
７０１・・回復部
７０２・・平滑化部
７０３・・相関判定部
７０４・・切り換え部

Claims (8)

1. 入力画像の鮮鋭性を回復する鮮鋭性回復手段と、
   前記入力画像の着目画素と周辺画素との相関を判定する相関判定手段と、
   前記鮮鋭性回復手段が出力する回復後画像において、周辺画素と前記相関を有すると判定された着目画素を平滑化するノイズ除去手段と、
   前記入力画像の鮮鋭性の回復に用いられる回復特性に応じて、前記相関判定手段が相関判定に回復前の前記入力画像の着目画素と周辺画素とを用いるモードと、相関判定に回復後の前記入力画像の着目画素と周辺画素とを用いるモードとを切り換える切り換え手段と、
   を有することを特徴とする画像処理装置。
2. 前記鮮鋭性回復手段は、パラメータを変更することにより前記回復特性が変更可能であることを特徴とする請求項１に記載の画像処理装置。
3. 前記相関判定手段は、前記回復特性が第１の周波数よりも高い周波数成分まで前記入力画像の鮮鋭性を回復する特性を示す場合は相関判定に回復前の前記入力画像の着目画素と周辺画素とを用い、前記回復特性が第１の周波数よりも高い周波数成分において前記入力画像の鮮鋭性の回復を抑制する特性を示す場合は相関判定に回復後の前記入力画像の着目画素と周辺画素とを用いることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第１の周波数は、ナイキスト周波数の半分であることを特徴とする請求項３に記載の画像処理装置。
5. 前記相関判定手段は、相関判定に前記入力画像の着目画素に隣接する３画素四方の領域における画素値を用いることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記相関判定手段は、前記入力画像の着目画素と隣接画素との画素値の差分絶対値が、所定の閾値よりも小さい場合、前記入力画像の着目画素が前記隣接画素と前記相関を有すると判定することを特徴とする請求項５に記載の画像処理装置。
7. 入力画像の鮮鋭性を回復する鮮鋭性回復ステップと、
   前記入力画像の着目画素と周辺画素との相関を判定する相関判定ステップと、
   前記鮮鋭性回復ステップにおいて出力される回復後画像において、周辺画素と前記相関を有すると判定された着目画素を平滑化するノイズ除去ステップと、
   前記鮮鋭性回復ステップにおいて前記入力画像の鮮鋭性の回復に用いられる回復特性に応じて、前記相関判定ステップにおいて相関判定に回復前の前記入力画像の着目画素と周辺画素とが用いられるモードと、相関判定に回復後の前記入力画像の着目画素と周辺画素とが用いられるモードとを切り換える切り換えステップと、
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１から請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images