JP6768312B2 - 画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体 - Google Patents

Description

本発明は、画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体に関する。

従来、ぼかした画像と入力画像との差分を、入力画像に加算あるいは減算することで画像を鮮鋭化するアンシャープマスク処理が知られている。特許文献１では、像高方向の画素信号列に対して非対称な１次元のフィルタを適用することで光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の影響を低減する方法が提案されている。

特許第４６１８３５５号公報

アンシャープマスクとして回転対称なフィルタを利用する従来のアンシャープマスク処理では、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。すなわち、収差が大きく発生しているアジムス方向の収差を補正する場合、収差の小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差が十分に補正できない。

特許文献１の方法では、メリジオナル面のアジムス方向である像高方向への非対称性しか考慮しておらず、フィルタは１次元であるため、像高方向以外の方向への非対称性を改善することができない。また、フィルタは、マイナスタップ係数の個数で非対称性を調整され、光学系のＰＳＦのぼけ方とは異なるため、十分に画像を鮮鋭化することができない。

さらに、回転対称なフィルタを利用する従来のアンシャープマスク処理では、補正の強さを制御することは行われているが、各周波数に対するバランスの制御は考慮されていない。そのため、鮮鋭化の効果を上げるために補正を強めると、特に高周波側でのノイズが増大し、逆に補正を弱めると、ノイズの問題は解消されるものの鮮鋭化の効果が低減する。

このような課題に鑑みて、本発明は、ノイズの影響を最小限に抑えつつ鮮鋭化効果に優れた画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタを前記光学系を介した撮像により生成される入力画像に適用した画像とローパスフィルタを前記入力画像に適用した画像との差分に基づいて、前記入力画像を鮮鋭化する処理部を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタを前記光学系を介した撮像により生成される入力画像に適用した画像とローパスフィルタを前記入力画像に適用した画像との差分に基づいて、前記入力画像を鮮鋭化するステップを有することを特徴とする。

本発明によれば、ノイズの影響を最小限に抑えつつ鮮鋭化効果に優れた画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体を提供することができる。

アンシャープマスク処理による鮮鋭化の模式図である。 撮影光学系のＰＳＦの模式図である。 回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 非回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 アンシャープマスク処理のゲインを示す図である。 アンシャープマスク処理による鮮鋭化前後の振幅成分の変化を示す図である。 補正成分の周波数特性の説明図である。 本発明の実施形態に係る撮像装置のブロック図である（実施例１、２、３）。 画像処理方法を示すフローチャートである（実施例１、２、３）。 ベイヤー配列の模式図である。 アンシャープマスクの模式図と概略断面図である。 入力画像の分割方法の説明図である。 入力画像の像高方向の補間方法の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、アンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図である。図１の横軸は座標であり、縦軸は画素値または輝度値である。図１（Ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像（ボケ画像）、点線は鮮鋭化後の画像を表す。図１（Ｂ）は、補正成分を表す。

入力画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は以下の式（１）で表される。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） （１）
ｍは補正の強さを変化させるための調整係数であり、調整係数ｍを変化させることで補正量を調整することができる。なお、調整係数ｍは、入力画像の位置によらない定数であってもよいし、入力画像の位置に応じて変化させてもよい。調整係数ｍを入力画像の位置に応じて異ならせることで、入力画像の位置に応じて補正量を調整することができる。また、調整係数ｍは、光学系の焦点距離、絞り値、または被写体距離といった撮影条件に応じて異なる数であってもよい。また、式（１）は第１項と第２項を加算する形で表されるが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は式（１）は第１項と第２項を減算する形で表される。

補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、以下の式（２）で表される。アンシャープマスクＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） （２）
式（２）の右辺を変形することで、補正成分ｈ（ｘ，ｙ）は以下の式（３）で表される。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）） （３）
＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。デルタ関数とは、アンシャープマスクＵＳＭ（ｘ，ｙ）とタップ数が等しく、中心の値が１でそれ以外が０で埋まっているデータである。

以下、補正成分ｈ（ｘ，ｙ）の生成について説明する。一般的なアンシャープマスク処理では、アンシャープマスクとしてガウシアンフィルタ、メディアンフィルタ、または移動平均フィルタ等の平滑化フィルタが使用される。例えば、図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）に対してアンシャープマスクＵＳＭ（ｘ，ｙ）としてガウシアンフィルタを適用する場合、入力画像ｆ（ｘ，ｙ）は図１（Ａ）の破線で示されるボケ画像となる。補正成分ｈ（ｘ，ｙ）は、式（２）に示されるように、入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であり、図１（Ａ）の実線から図１（Ａ）の破線を減算することで図１（Ｂ）の実線で表される。入力画像ｆ（ｘ，ｙ）は、式（１）の演算を行うことで、図１（Ａ）の点線で示される鮮鋭化後の画像ｇ（ｘ，ｙ）となる。

以下、被写体の光学像を形成する撮影光学系により劣化した画像に対して、アンシャープマスク処理を行うことで画像を鮮鋭化する方法について説明する。撮影光学系を介して取得される入力画像ｆ（ｘ，ｙ）は、撮影前の元の画像（被写体像）をＩ（ｘ，ｙ）、撮影光学系の点光源に対する応答を表す関数であるＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式（４）で表される。

ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） （４）
撮影光学系が回転対称な共軸光学系である場合、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部に対して回転対称なアンシャープマスクＵＳＭ（ｘ，ｙ）を適用することで、入力画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正成分ｈ（ｘ，ｙ）は入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であるため、アンシャープマスクＵＳＭ（ｘ，ｙ）として単純な平滑化フィルタではなく、ＰＳＦに近い形状のフィルタを使用することで入力画像ｆ（ｘ，ｙ）を精度良く補正することができる。例えば、球面収差の影響で入力画像が劣化する場合、球面収差は入力画像に回転対称に影響を与えるが、ガウシアンフィルタのような平滑化フィルタは、球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、入力画像が回転対称にぼける影響を低減する場合、ＰＳＦを使用することで入力画像を精度良く補正することができる。

本実施形態では、アンシャープマスクＵＳＭ（ｘ，ｙ）としてＰＳＦを用いる。図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）は、簡略化のため対称な形状としているが、非対称な形状であってもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）の劣化関数が回転対称であれば、回転対称なアンシャープマスクＵＳＭ（ｘ，ｙ）を用いて鮮鋭化することができる。

画像の中心部以外では、撮影光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図２は、撮影光学系のＰＳＦの模式図である。図２（Ａ）は軸上のＰＳＦ、図２（Ｂ）は軸外のＰＳＦを表す。例えば、元の画像（被写体像）が理想点像である場合、入力画像ｆ（ｘ，ｙ）は、式（４）に示されるように、撮影光学系のＰＳＦになる。図２（Ｂ）に対応する画角に理想点像があり、撮影光学系のＰＳＦの影響を受けて元の画像（被写体像）が劣化する場合、入力画像ｆ（ｘ，ｙ）として得られる画像は、図２（Ｂ）に示されるように、ぼけた画像となる。

以下、非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。図３は、非対称に劣化した画像に対して回転対称なアンシャープマスクとしてガウシアンフィルタを適用するアンシャープマスク処理による鮮鋭化の模式図である。図４は、非対称に劣化した画像に対して回転非対称なアンシャープマスクとして撮影光学系のＰＳＦを適用するアンシャープ処理の模式図である。図３（Ａ）および図４（Ａ）の実線は入力画像、点線は入力画像をアンシャープマスクでぼかした画像（ボケ画像）を表す。図３（Ｂ）および図４（Ｂ）は、入力画像とボケ画像の差分値である補正成分を表す。図３および図４の横軸と縦軸は、図１と同様である。図３および図４の横軸では、ボケ画像のうちよりぼけて裾野が広くなっている側を便宜的にプラス側としている。

図３（Ａ）では、実線のピーク位置に対してマイナス側の入力画像とボケ画像の差分値がプラス側の入力画像とボケ画像の差分値より大きい。そのため、図３（Ｂ）に示されるように、ピーク位置に対してマイナス側の補正成分の極値は、プラス側の補正成分の極値に比べて小さい。すなわち、プラス側の補正成分が小さく、マイナス側の補正成分は大きいため、式（１）を用いてアンシャープマスク処理を行っても非対称なボケを補正できない。図３（Ｃ）は、式（１）の調整係数ｍが１である場合の鮮鋭化後の画像を表す。鮮鋭化後の画像は、図３（Ｃ）に示されるように、図３（Ａ）の実線で示される入力画像に対して鮮鋭化されているが、マイナス側の領域がプラス側の領域に比べて大きく凹んでおり、非対称なボケは補正されていない。また、入力画像のプラス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のマイナス側の領域は補正過剰（アンダーシュート）になる。入力画像のマイナス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のプラス側の領域は補正不足になる。

以上説明したように、非対称にぼけた入力画像に対して回転対称なアンシャープマスクを適用してアンシャープマスク処理を行う場合、入力画像の非対称性を改善して鮮鋭化することは困難である。このような問題は、ガウシアンフィルタ以外の回転対称なフィルタを使用する場合でも発生する。

図４（Ａ）では、実線のピーク位置に対してプラス側の入力画像とボケ画像の差分値がマイナス側の入力画像とボケ画像の差分値より大きい。そのため、図４（Ｂ）に示されるように、ピーク位置に対してプラス側の補正成分の極値は、マイナス側の補正成分の極値に比べて小さい。すなわち、ボケ量が大きいプラス側の補正成分は大きく、ボケ量の少ないマイナス側の補正成分は小さくなっている。したがって、図４（Ａ）の実線で示される入力画像に対してアンシャープマスク処理を行うと、入力画像のボケのバランスと補正成分の補正量のバランスの傾向が一致するため、補正の過不足も起きにくい。図４（Ｃ）は、式（１）の調整係数ｍが１である場合の鮮鋭化後の画像を表す。鮮鋭化後の画像は、図４（Ｃ）に示されるように、図４（Ａ）の実線で示される入力画像に対して鮮鋭化されるとともに、図３（Ｃ）の鮮鋭化後の画像に比べてマイナス側の領域とプラス側の領域の凹みのバランス差が改善されている。また、回転対称なアンシャープマスクを適用する場合と比べて、補正過剰になりにくくなるため、調整係数ｍの値も比較的大きく変化させることできる。そのため、鮮鋭化の画像は、非対称なボケを低減されるとともにより鮮鋭化される。また、補正成分の補正量のバランスは入力画像とボケ画像の差分値となるため、より精度良くアンシャープマスク処理を行うためには、撮影光学系のＰＳＦによって大きくぼけた領域がアンシャープマスクによって他の領域に比べてよりぼかされる必要がある。したがって、アンシャープマスクとして撮影光学系のＰＳＦを利用することで、より精度良くアンシャープマスク処理を行うことができる。

以下、アンシャープマスク処理の周波数特性の制御について説明する。式（１）をフーリエ変換して周波数面での表示形式に変換すると、式（１）は以下の式（５）で表される。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋ｍ×Ｈ（ｕ，ｖ） （５）
Ｈ（ｕ，ｖ）は補正成分ｈ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）およびＦ（ｕ，ｖ）はそれぞれ鮮鋭化後の画像ｇ（ｘ，ｙ）および入力画像ｆ（ｘ，ｙ）のフーリエ変換である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

式（２）をフーリエ変換することで、補正成分ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）は、以下の式（６）で表される。

Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）−Ｆ（ｕ，ｖ）×Ｕ（ｕ，ｖ） （６）
Ｕ（ｕ，ｖ）は、アンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換である。また、式（３）をフーリエ変換することで、補正成分ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）は、以下の式（７）で表される。

Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×（１−Ｕ（ｕ，ｖ）） （７）
鮮鋭化後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、式（５）に式（６）を代入することで以下の式（８）で表される。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋ｍ×｛Ｆ（ｕ，ｖ）−Ｆ（ｕ，ｖ）×Ｕ（ｕ，ｖ）｝ （８）
また、鮮鋭化後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、式（５）に式（７）を代入することで以下の式（９）で表される。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋ｍ×Ｆ（ｕ，ｖ）×｛１−Ｕ（ｕ，ｖ）｝ （９）
式（９）は、以下の式（１０）のように変形される。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×｛１＋ｍ×（１−Ｕ（ｕ，ｖ））｝ （１０）
式（８）から式（１０）は、処理する順序等が異なるものの、数式の変形により導出できるため、いずれも等価な関係にある。式（１０）の括弧｛｝の部分は、アンシャープマスク処理前後の周波数特性の変化に対応する。すなわち、式（１０）の括弧｛｝の絶対値は、アンシャープマスク処理で使用するフィルタのゲイン（鮮鋭化度合い）であり、アンシャープマスク処理の周波数空間における鮮鋭化の効果を表す。

図５は、式（１０）の括弧｛｝の絶対値を示す図であり、横軸が空間周波数、縦軸がゲインである。図５では、点線は調整係数ｍが０．５である場合を表し、高周波側ではゲインＧａが１．５に漸近し、破線は調整係数ｍが１．０である場合を表し、高周波側ではゲインＧａが２．０に漸近する。アンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）の実部をＲｅ（Ｕ（ｕ，ｖ））、虚部をＩｍ（Ｕ（ｕ，ｖ））とすると、アンシャープマスク処理におけるゲインＧａは以下の式（１１）で表される。

仮に、アンシャープマスクＵＳＭ（ｘ，ｙ）が回転対称なガウス分布である場合、関数Ｕ（ｕ，ｖ）もガウス分布となる。そのため、虚部Ｉｍ（Ｕ（ｕ，ｖ））は０、実部Ｒｅ（Ｕ（ｕ，ｖ））は０≦Ｒｅ（Ｕ（ｕ，ｖ））≦１となり、ゲインＧａは１≦Ｇａ≦（１＋ｍ）となる。また、ガウス分布は分布の中心から離れるとゼロに漸近するため、実部Ｒｅ（Ｕ（ｕ，ｖ））もゼロに近づく。そのため、高周波側になるほどゲインＧａは（１＋ｍ）に漸近し、図５の点線や破線で示される曲線となる。

以下、アンシャープマスクＵＳＭ（ｘ，ｙ）として撮影光学系のＰＳＦを利用する場合について説明する。この場合、アンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）となる。ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）という。図６は、アンシャープマスク処理による鮮鋭化前後の振幅成分ＭＴＦの変化を示す図である。図６の一点鎖線は鮮鋭化前の振幅成分ＭＴＦ、点線と破線はそれぞれ図５の点線と破線に対応する鮮鋭化後の振幅成分ＭＴＦを表す。

振幅成分ＭＴＦは、収差による画像劣化の振幅成分の周波数特性であり、図６に示されるように、低周波側が高く、高周波側が低くなる。振幅成分ＭＴＦがゼロに近づくと、ＯＴＦの実部および虚部はゼロに近づき、撮影光学系で解像できる周波数を超えると実部および虚部は０となる。このとき、ゲインＧａは式（１１）より（１＋ｍ）となるため、アンシャープマスクＵＳＭ（ｘ，ｙ）として撮影光学系のＰＳＦを利用した場合でもゲインＧａは図５の点線や破線で示される高周波側で増加する曲線となる。なお、軸外のＰＳＦは回転非対称となるため、ゲインＧａも回転非対称となる。ゲインＧａはＰＳＦが回転対称の場合はどの方向（断面）でも一定となるが、回転非対称な場合は方向によって異なる。また、ＯＴＦの実部および虚部はマイナスとなることもあるため、所定の周波数でゲインＧａはＧａ＞（１＋ｍ）となる場合もある。

以上説明したように、アンシャープマスクＵＳＭ（ｘ，ｙ）としてガウス分布のような回転対称なフィルタを利用する場合であっても、撮影光学系のＰＳＦを利用する場合であっても、ゲインＧａは低周波側から高周波側にかけて増加する曲線となる。図５に示されるように、調整係数ｍが異なる場合、高周波側でゲインＧａに差があるものの、鮮鋭化後の振幅成分ＭＴＦは周波数ｆｒにおいて差が最大となる。これは、図６の一点鎖線で示される鮮鋭化前の振幅成分ＭＴＦに図５に示されるゲインＧａが掛け合わされて鮮鋭化後の振幅成分ＭＴＦとなるためである。鮮鋭化前の振幅成分ＭＴＦが低い場合、ゲインＧａが大きくても鮮鋭化による振幅成分ＭＴＦの変化は小さくなる。

図５の点線と破線を比較すると、破線のほうが点線を上回っているため鮮鋭化の効果は大きいが、アンシャープマスク処理を適用する入力画像にはノイズ成分が含まれているため、実際はノイズ成分の影響を考慮する必要がある。入力画像のノイズ成分を考慮すると、式（１０）は、以下の式（１２）で表される。

Ｇ（ｕ，ｖ）＝（Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ））×｛１＋ｍ×（１−Ｕ（ｕ，ｖ））｝ （１２）
Ｎ（ｕ，ｖ）は、ノイズ成分である。式（１２）よりノイズ成分を含む入力画像に対してアンシャークマスク処理を行うと、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）とノイズ成分Ｎ（ｕ，ｖ）の両方に括弧｛｝の部分がかかる。また、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）は、式（４）をフーリエ変換することで取得され、撮影前の元の画像Ｉ（ｘ，ｙ）のフーリエ変換と撮影光学系のＯＴＦの積である。振幅成分ＭＴＦがゼロに近づく高周波側では、前述したようにＯＴＦの実部および虚部はゼロに近づくため、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）も同様にゼロに近づく。一方、ノイズ成分Ｎ（ｕ，ｖ）は、例えばホワイトノイズのようなノイズ成分であれば、基本的に周波数に依存することなく一様な分布となる。したがって、高周波側では、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）に対するノイズ成分Ｎ（ｕ，ｖ）の割合が大きくなるため、ノイズ成分を含む入力画像に対して、高周波側に大きなゲインをかけると鮮鋭化効果よりノイズ成分が増幅してしまう。そのため、観賞用画像として良好な画像を得るためには、鮮鋭化効果よりもノイズ成分の影響が大きい高周波側でのゲインはできる限り小さくする必要がある。

また、アンシャープマスク処理では、前述したように、調整係数ｍを変化させることでゲインＧａを制御することができる。しかしながら、調整係数ｍによる補正量の調整では、空間周波数に対して一律に補正量を制御することはできるものの、図５の実線のように低周波側の補正量を大きく、高周波側の補正量を小さくすることはできない。

そこで、本実施形態では、観賞用画像として良好な画像を得るために、鮮鋭化効果よりノイズ成分に対する影響が大きい高周波側ではゲインを小さくし、ノイズ成分の影響が小さい低周波側ではゲインを大きくする。このような処理をアンシャープマスク処理で実現するために、式（２）、（３）のデルタ関数δ（ｘ，ｙ）をローパスフィルタＬＰＦ（ｘ，ｙ）に置き換える。このとき、補正成分ｈ（ｘ，ｙ）は以下の式（１３）、（１４）で表される。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ＬＰＦ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） （１３）
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（ＬＰＦ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）） （１４）
本実施形態では、ローパスフィルタＬＰＦ（ｘ，ｙ）とアンシャープマスクＵＳＭ（ｘ，ｙ）を利用することで、アンシャープマスク処理の周波数特性のバランス制御を実現することができる。

ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換をＬ（ｕ，ｖ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、以下の式（１５）で表される。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×｛１＋ｍ×（Ｌ（ｕ，ｖ）−Ｕ（ｕ，ｖ））｝ （１５）
ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換Ｌ（ｕ，ｖ）の実部をＲｅ（Ｌ（ｕ，ｖ））、虚部をＩｍ（Ｌ（ｕ，ｖ））とすると、式（１５）のゲインＧａは、以下の式（１６）で表される。

同様に、デルタ関数δ（ｘ，ｙ）をローパスフィルタＬＰＦ（ｘ，ｙ）に置き換えてフーリエ変換することで、式（８）、（９）から周波数特性のバランス制御に対応する式を導くことができる。

式（１５）に基づくアンシャープマスク処理を実行した後の振幅成分ＭＴＦは図６の実線で表され、式（１６）に基づくゲインＧａは図５の実線で表される。

図７は、ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換Ｌ（ｕ，ｖ）とアンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）の関係図である。図７の破線はローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換Ｌ（ｕ，ｖ）、実線はアンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）を表す。ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換Ｌ（ｕ，ｖ）とアンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）は、図７に示されるように、常にＬ（ｕ，ｖ）＞Ｕ（ｕ，ｖ）という関係になる。このような関係を満足することでアンシャープマスク処理を行った場合に任意の周波数において鮮鋭化の効果を示すことができる。アンシャープマスクＵＳＭ（ｘ，ｙ）やローパスフィルタＬＰＦ（ｘ，ｙ）がガウス分布のように回転対称である場合、ローパスフィルタＬＰＦ（ｘ，ｙ）の分散をアンシャープマスクＵＳＭ（ｘ，ｙ）の分散より小さくすることで上記関係を満足することができる。

式（８）から式（１０）に基づくアンシャープマスク処理では、（１−Ｕ（ｕ，ｖ））は図７に示されるように高周波側で大きくなり、ゲインＧａは図５の破線や点線で示されるように高周波側で（１＋ｍ）に収束する。一方、式（１４）に基づくアンシャープマスク処理では、フーリエ変換の差（Ｌ（ｕ，ｖ）−Ｕ（ｕ，ｖ））は図７に示されるように高周波側で小さくなり、ゲインＧａは図５の実線で示されるように高周波側で抑制される。また、図６の実線は、点線や破線と比べて、低周波側では鮮鋭化の効果が大きく、高周波側では点線に近づき、ゲインが抑制されている。

以上説明したように、ローパスフィルタＬＰＦ（ｘ，ｙ）とアンシャープマスクＵＳＭ（ｘ，ｙ）を利用することで、従来実現できなかった低周波側と高周波側のゲインのバランスを調整することが可能となる。低周波側と高周波側のゲインのバランスを調整することにより、高周波側に大きなゲインがかかることを防ぐことができ、ノイズ低減と画像の鮮鋭化の両立を実現することができる。高周波側に大きなゲインがかかることを防ぐことで、ノイズ成分の影響緩和だけでなく、例えば、輝度飽和部を有する画像を鮮鋭化した際に生じる黒沈み等の鮮鋭化処理に伴う他の弊害の影響も低減することができる。

なお、ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換Ｌ（ｕ，ｖ）とアンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）は、Ｌ（ｕ，ｖ）＞Ｕ（ｕ，ｖ）の関係を必ずしも満足する必要はない。任意の周波数において、Ｌ（ｕ，ｖ）＜Ｕ（ｕ，ｖ）の関係となる場合、その周波数では鮮鋭化ではなく、ぼかし処理となるが、例えば、ＭＴＦ曲線の傾斜を緩やかにする場合や所定のＭＴＦ特性に収束させたい場合は有効である。

次に、各実施例で使用するアンシャープマスク処理の基本式について説明する。実施例３では、式（１）、（１２）により導かれる以下の式（１７）を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）＊ＬＰＦ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝ （１７）
実施例２では、式（１）、（１３）により導かれる以下の式（１８）を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛ＬＰＦ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝ （１８）
実施例１では、式（１８）を変形した以下の式（１９）を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（ＬＰＦ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝ （１９）
なお、ＰＳＦは、光学系を介して形成される像の像高、光学系の焦点距離、Ｆ値、および被写体距離を含む撮影条件ごとに異なる。以下の実施例では撮影条件として像高を例に説明しているが、光学系の焦点距離、Ｆ値、および撮影距離に対して異なる収差情報を取得し、それに基づいてアンシャープマスクを生成してもよい。

図８は、本実施例の撮像装置（光学機器）１００のブロック図である。撮像装置１００は、撮影光学系１０１および撮像装置本体（カメラ本体）を備える。撮影光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体と一体的に構成されている。なお、撮影光学系１０１は、撮像装置本体に対して着脱可能に構成されてもよい。撮影光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ローパスフィルタなどのＰＳＦの特性に影響を与える光学素子を用いる場合、挿入した光学素子の影響を考慮してアンシャープマスクを生成すればより高精度なアンシャープマスク処理が可能である。また、赤外カットフィルタを用いる場合、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）の各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、アンシャープマスクを生成する際に赤外カットフィルタの影響を考慮することが好ましい。

撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの二次元撮像素子である。撮像素子１０２は、撮影光学系１０１を介して得られる被写体像（結像光）を光電変換して撮影画像を生成する。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されるアナログ信号（電気信号）をデジタル信号に変換し、変換したデジタル信号を画像処理部（画像処理装置）１０４に出力する。

画像処理部１０４は、Ａ／Ｄコンバータ１０３から取得したデジタル信号に対して所定の処理を行うとともに、アンシャープマスク処理を行う。画像処理部１０４により実行される画像処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。本実施例では、画像処理部１０４がアンシャープマスク処理を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置としてアンシャープマスク処理を実行してもよい。また、アンシャープマスク処理のプログラムに対応する回路を設け、回路を動作させることでアンシャープマスク処理を実行させてもよい。

画像処理部１０４は、状態検出部１０７から撮像装置１００の撮影条件に関する情報（撮影条件情報）を取得する。撮影条件情報とは、絞り、撮影距離、またはズームレンズの焦点距離などに関する情報である。状態検出部１０７は、撮影条件情報をシステムコントローラ１０６から取得してもよいし、撮影光学系制御部１０５から取得してもよい。

画像処理部１０４は、ＰＳＦ取得部（点像強度分布取得部）２０１、ローパスフィルタ取得部２０２、および鮮鋭化処理部２０３を有する。アンシャープマスク処理を実行する画像処理装置が画像処理部１０４とは別に設けられている場合、システムコントローラ１０６は撮影画像と対応付けて収差情報を記憶してもよい。その場合、画像処理装置は、鮮鋭化処理部２０３だけを有し、ＰＳＦ取得部２０１とローパスフィルタ取得部２０２を有しなくてもよい。

記録部１０８は、ＲＯＭやハードディスクドライブなどから構成され、画像処理部１０４から出力される画像を所定のフォーマットで保存する。また、記録部１０８は、撮影光学系１０１の撮影条件と撮影光学系１０１のＰＳＦとの関係を記憶する。さらに、記録部１０８には、画像処理部１０４により実行される画像処理プログラムがインストールされている。アンシャープマスク処理を実行する画像処理装置が画像処理部１０４とは別に設けられている場合、画像処理プログラムは画像処理装置内にインストールされてもよい。また、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。

画像表示部１１２は、アンシャープマスク処理後に表示用の所定の処理を行うことで得られる画像を表示する。画像表示部１１２には、高速表示のために簡易処理を行って得られる画像を表示してもよい。

システムコントローラ１０６は、マイクロコンピュータやＣＰＵ（プロセッサ）として構成され、前述した撮像装置１００内の一連の処理を制御する。撮影光学系制御部１０５は、システムコントローラ１０６の指示に基づいて撮影光学系１０１の機械的な駆動を行う。

以下、図９を参照して、本実施例の画像処理方法について説明する。図９は、本実施例の画像処理方法を示すフローチャートであり、「Ｓ」は「ステップ（工程）」を表す。図９のフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム（画像処理プログラム）として具現化が可能である。これは他の実施例のフローチャートにおいても同様である。図９の各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４により実行される。

ステップＳ１１では、画像処理部１０４は、撮影画像を入力画像として取得する。入力画像として使用する補正対象としての色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。ただし、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢすべてのチャンネルの画像データ、あるいはデモザイキング前の画像データであってもよい。図１０は、離散的な規則配列であるベイヤー配列の模式図である。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として使用してもよいし、特定のチャンネルのみ入力画像として使用してもよい。また、図１０に示されるように、ＧチャンネルをＧ１、Ｇ２の２つにわけ、４チャンネルとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。

ステップＳ１２では、ＰＳＦ取得部２０１は、入力画像の撮影条件に対応する撮影光学系１０１のＰＳＦを記録部１０８から取得する。ＰＳＦ取得部２０１が取得するＰＳＦは、２次元のタップデータ、ＰＳＦの構成要素となる複数の１次元のタップデータ、または係数であってもよい。２次元のタップデータは、例えば、特異値分解定理などを用いて複数の１次元のタップデータに分解される。記録部１０８は分解されたデータを記録し、ＰＳＦ取得部２０１は撮影条件に応じてＰＳＦの主成分に対応する複数の１次元のタップデータを取得してもよい。本実施例では、ＰＳＦをアンシャープマスクＵＳＭ（ｘ，ｙ）として使用する。

ステップＳ１３では、ローパスフィルタ取得部２０２は、ローパスフィルタＬＰＦ（ｘ，ｙ）を記録部１０８から取得する。ローパスフィルタ取得部２０２が取得するローパスフィルタＬＰＦ（ｘ，ｙ）は、像高に関係なく共通の回転対称な分布を利用し、入力画像に対してアンシャープマスクＵＳＭ（ｘ，ｙ）と同様にコンボリューション処理を行う。ローパスフィルタＬＰＦ（ｘ，ｙ）として、ガウシアンフィルタ等の平滑化フィルタを利用してもよいし、複数の１次元のタップのデータや、構成要素となる係数から２次元のフィルタを再構成して利用してもよい。また、ローパスフィルタＬＰＦ（ｘ，ｙ）は、データ量を削減するために撮像装置１００の撮影条件に対して一定となるように作成されてもよいし、補正の精度を高めるために撮影条件ごとに異なるように作成されてもよい。

以下、図１１を参照して、アンシャープマスクＵＳＭ（ｘ，ｙ）およびローパスフィルタＬＰＦ（ｘ，ｙ）について説明する。アンシャープマスクＵＳＭ（ｘ，ｙ）およびローパスフィルタＬＰＦ（ｘ，ｙ）は、撮影光学系１０１の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図１１（ａ）では、アンシャープマスクＵＳＭ（ｘ，ｙ）およびローパスフィルタＬＰＦ（ｘ，ｙ）の一例として１１×１１タップの２次元のマスクを表している。アンシャープマスクＵＳＭ（ｘ，ｙ）およびローパスフィルタＬＰＦ（ｘ，ｙ）のタップ数は、必ずしも等しくなくてもよい。例えば、ローパスフィルタＬＰＦ（ｘ，ｙ）はアンシャープマスクＵＳＭ（ｘ，ｙ）よりも分布の広がりが小さいため、タップ数を減らすことで処理負荷を低減したり、データ量を削減したりしてもよい。

図１１（ｂ）は、図１１（ａ）のアンシャープマスクＵＳＭ（ｘ，ｙ）およびローパスフィルタＬＰＦ（ｘ，ｙ）の断面図である。横軸はタップ、縦軸はタップの値である。図１１（ｂ）では、実線がアンシャープマスクＵＳＭ（ｘ，ｙ）の断面、点線がローパスフィルタＬＰＦ（ｘ，ｙ）の断面を表す。アンシャープマスクＵＳＭ（ｘ，ｙ）の各タップの値（係数値）の分布は、収差により広がった信号値（撮影光学系のＰＳＦ）の分布が理想的である。また、アンシャープマスク（ｘ，ｙ）はＰＳＦに関する情報を元に生成されてもよいし、ＰＳＦ取得部２０１が取得する２次元のＰＳＦをそのままアンシャープマスクＵＳＭ（ｘ，ｙ）として使用してもよい。

ステップＳ１４では、鮮鋭化処理部２０３は、アンシャープマスクＵＳＭ（ｘ，ｙ）およびローパスフィルタＬＰＦ（ｘ，ｙ）を用いて入力画像に対してアンシャープマスク処理を行う。本実施例では、ローパスフィルタＬＰＦ（ｘ，ｙ）を利用することで周波数特性のバランス制御を行う。

図７に示されるフーリエ変換の差（Ｌ（ｕ，ｖ）−Ｕ（ｕ，ｖ））の絶対値が負となる場合、鮮鋭化後に振幅成分ＭＴＦが低下するため、本実施例ではフーリエ変換の差（Ｌ（ｕ，ｖ）−Ｕ（ｕ，ｖ））が正となるローパスフィルタＬＰＦ（ｘ，ｙ）を利用する。フーリエ変換の差（Ｌ（ｕ，ｖ）−Ｕ（ｕ，ｖ））の絶対値が正となるようにするためには、Ｌ（ｕ，ｖ）＞Ｕ（ｕ，ｖ）であればよい。そこで、ローパスフィルタＬＰＦ（ｘ，ｙ）には、図１１（ｂ）に示されるように、アンシャープマスクＵＳＭ（ｘ，ｙ）よりも分布の広がりが小さい関数、またはフィルタを利用する。ローパスフィルタＬＰＦ（ｘ，ｙ）の分布の広がりを小さくし、デルタ関数δ（ｘ，ｙ）に近づけると、ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換Ｌ（ｕ，ｖ）の値が大きくなり、フーリエ変換の差（Ｌ（ｕ，ｖ）−Ｕ（ｕ，ｖ））の絶対値は負にならない。また、鮮鋭化の効果を出すためにローパスフィルタＬＰＦ（ｘ，ｙ）をデルタ関数δ（ｘ，ｙ）にすると、ローパスフィルタＬＰＦ（ｘ，ｙ）の振幅成分ＭＴＦは図７の点線で示されるように全周波数で１となる。前述したように、振幅成分ＭＴＦが低い高周波側では、鮮鋭化の効果に対するノイズの影響が大きくなる。そのため、本実施例では、高周波側のノイズの影響を落とすために広がりを持ちつつ、フーリエ変換の差（Ｌ（ｕ，ｖ）−Ｕ（ｕ，ｖ））の絶対値が負にならないローパスフィルタＬＰＦ（ｘ，ｙ）を作成して利用する。

また、調整係数ｍも補正量に影響するパラメータであり、調整係数ｍを大きくするとアンシャープマスクのゲインＧａは大きくなり、調整係数ｍを小さくするとアンシャープマスクのゲインＧａは小さくなる。図５の点線や破線で示されるように、調整係数ｍを変更すると周波数に対し全体的に補正量が変化するため、本実施例ではローパスフィルタＬＰＦ（ｘ，ｙ）の広がりで高周波側と低周波側の周波数特性のバランスを調整し、調整係数ｍで全体的な制御を行う。

なお、高周波側でも撮影光学系１０１の振幅成分ＭＴＦが十分に残っている場合は鮮鋭化効果も出てくるため、ローパスフィルタＬＰＦ（ｘ，ｙ）をデルタ関数δ（ｘ，ｙ）としてもよい。また、撮影光学系１０１の振幅成分ＭＴＦに対応する広がりを持つローパスフィルタＬＰＦ（ｘ，ｙ）とデルタ関数δ（ｘ，ｙ）を切り替えて利用してもよい。

また、本実施例では、ローパスフィルタＬＰＦ（ｘ，ｙ）に回転対称な分布を利用しているが、回転非対称な分布を利用してもよい。例えば、アンシャープマスクＵＳＭ（ｘ，ｙ）として使用するＰＳＦを比例縮小させ、ローパスフィルタＬＰＦ（ｘ，ｙ）もＰＳＦに連動して変化させればよい。

以上説明したアンシャープマスクＵＳＭ（ｘ，ｙ）およびローパスフィルタＬＰＦ（ｘ，ｙ）を用いてアンシャープマスク処理を実行することで、適用後に所望の周波数特性となる鮮鋭化処理を実現することができる。

本実施例では、アンシャープマスクＵＳＭ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）を用いて式（１９）を実行することで鮮鋭化を行う。便宜的に式（１９）の中括弧｛｝の部分を鮮鋭化フィルタという。本実施例では、式（１９）に示されるように、ＰＳＦの情報に基づいて生成されるアンシャープマスクＵＳＭ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）の差分値に基づいて入力画像を鮮鋭化する。調整係数ｍは、画像のノイズ、および鮮鋭化の補正過剰や補正不足を考慮して決定される。

鮮鋭化フィルタは、アンシャープマスクＵＳＭ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）により生成されるが、ＰＳＦは像高によって変化するため、補正精度を高めるために像高に応じてアンシャープマスクＵＳＭ（ｘ，ｙ）を変化させることが好ましい。しかしながら、記録部１０８が像高に対し細かい間隔で対応するＰＳＦを記録する場合、データ容量が増えコストアップとなる。そこで、本実施例では、像高によってＰＳＦを変化させるために、入力画像を複数の領域に分割し、領域ごとに少なくとも２点の像高におけるＰＳＦの情報を用いて補間処理を行うことで中間に相当する鮮鋭化フィルタを生成する。

以下、補間方法の詳細について説明する。図１２は入力画像の模式図であり、入力画像の長辺方向をｘ軸、短辺方向をｙ軸とし、画像の中心を座標の原点とする。本実施例では、図１２に示されるように、一例として、入力画像を領域Ａから領域Ｈの８つの領域に分割し、各領域の周辺部、および原点のＰＳＦの情報を取得する。図１３は、図１２の第１象限を拡大した図である。Ｐ０は原点、Ｐ１、Ｐ２、Ｐ３はそれぞれ領域Ａ、領域Ｂ、領域Ｃの周辺像高を表す。Ｐｎは画像内の任意の点（像高）を表し、図１３では、点Ｐｎは原点Ｐ０から距離ｄ０、点Ｐ２から距離ｄ２で領域Ｂ内に位置する。点Ｐ０、Ｐ２に対応する鮮鋭化フィルタをそれぞれＦ０、Ｆ２とすると、任意の点Ｐｎに相当する補間データＦｎは、以下の式（２０）で表される。

Ｆｎ＝Ｆ０×（１−ｄ０）＋Ｆ２×ｄ２ （２０）
このような補間処理を行うことで、各領域内の任意の像高における鮮鋭化フィルタを生成することができる。このように補間しながら鮮鋭化フィルタを生成することで、像高に対して連続的に鮮鋭化フィルタを変化させることができる。

なお、式（２０）は第１象限の領域Ｂに関する計算式となっているが、他の領域や他の象限についても同様の演算を行うことで補間処理後のデータを作成することができる。また、像高の補間に使用する計算式は式（２０）に限定されず、計算式に２次曲線を使用したり、あるいは補間前の各鮮鋭化フィルタに対して所定の定数を掛けることで重み付けしてもよい。

また、２つのデータから任意の補間データを生成する方法について説明したが、補間に利用するデータ数を増やせば補間データの精度を向上させることができる。例えば、原点Ｐ０や点Ｐ１、Ｐ２、Ｐ３に相当する鮮鋭化フィルタを点Ｐｎとの距離に応じて重み付けして加算することにより、任意の点Ｐｎに相当する補間データＦｎを生成してもよい。

また、調整係数ｍを像高に対して変化させる場合、式（２０）の鮮鋭化データＦ０、Ｆ２の部分に像高に対応する調整係数ｍを代入することで補間後の調整係数ｍを生成することができる。このように、補間した調整係数ｍを鮮鋭化フィルタに利用することで、像高に対して連続的に補正量を調整することが可能となる。

以上説明したように、本実施例では、入力画像の周辺部にみられる撮影光学系の非対称なＰＳＦによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。

なお、本実施例では、ＰＳＦの像高方向の変化に対応させるため、鮮鋭化フィルタの補間処理を行う方法について説明したが、鮮鋭化画像ｇ（ｘ，ｙ）の補間処理を行ってもよい。この場合、各像高に対応する鮮鋭化画像ｇ（ｘ，ｙ）を式（２０）のＦ０、Ｆ２の部分に代入することで、ＰＳＦの像高方向の変化を考慮した補間後の鮮鋭化画像を取得することができる。

本実施例の撮像装置は、実施例１の撮像装置と同様の構成を有する。本実施例の画像処理方法は、実施例１の画像処理方法に対して、図９のフローチャートのステップＳ１４のみ異なり、ステップＳ１３までは同様の処理となるため説明は省略する。

本実施例では、アンシャープマスクＵＳＭ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）を用いて式（１８）を実行することで鮮鋭化を行う。実施例１では、鮮鋭化フィルタを生成し入力画像に畳み込むことで鮮鋭化を行う。本実施例では、まず、ＰＳＦの情報に基づいて生成されるアンシャープマスクＵＳＭ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）を用いて式（１８）のｆ（ｘ，ｙ）＊｛ＬＰＦ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝で表される補正成分を生成する。そして、生成された補正成分を調整係数ｍで調整後、入力画像に加算あるいは減算することで鮮鋭化を行う。

なお、像高方向の補間に関しては、実施例１で説明したように、鮮鋭化画像ｇ（ｘ，ｙ）について補間処理を行ってもよいし、補正成分について補間処理を行ってもよい。補正成分に対して像高方向の補間を行う場合、各像高に対応する補正成分を式（２０）のＦ０、Ｆ２の部分に代入することで、補間後の補正成分を生成することができる。そして、補間後の補正成分を調整係数ｍで調整後、入力画像に加算あるいは減算することで鮮鋭化を実行することができる。

本実施例の撮像装置は、実施例１の撮像装置と同様の構成を有する。本実施例の画像処理方法は、実施例１の画像処理方法に対して、図９のフローチャートのステップＳ１４のみ異なり、ステップＳ１３までは同様の処理となるため説明は省略する。

本実施例では、アンシャープマスクＵＳＭ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）を用いて式（１７）を実行することで鮮鋭化を行う。本実施例では、まず、ＰＳＦの情報に基づいて生成されるアンシャープマスクＵＳＭ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）をそれぞれ入力画像に畳み込み差分をとることで補正成分を生成する。補正成分は、式（１７）の｛ｆ（ｘ，ｙ）＊ＬＰＦ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝で表される。そして、生成された補正成分を調整係数ｍで調整後、入力画像に加算あるいは減算することで鮮鋭化を行う。

なお、像高方向の補間に関しては、実施例１および実施例２で説明したように、鮮鋭化画像ｇ（ｘ，ｙ）について補間処理を行ってもよいし、補正成分について補間処理を行ってもよい。また、アンシャープマスクＵＳＭ（ｘ，ｙ）やローパスフィルタＬＰＦ（ｘ，ｙ）について補間処理を行ってもよい。アンシャープマスクＵＳＭ（ｘ，ｙ）に対して像高方向の補間を行う場合、各像高に対応するアンシャープマスクＵＳＭ（ｘ，ｙ）を式（２０）のＦ０、Ｆ２の部分にを代入することで、補間後のアンシャープマスクＵＳＭ（ｘ，ｙ）を生成することができる。そして、補間後のアンシャープマスクＵＳＭ（ｘ，ｙ）を用いて生成された補正成分を調整係数ｍで調整後、入力画像に加算あるいは減算することで鮮鋭化を実行することができる。また、ローパスフィルタＬＰＦ（ｘ，ｙ）を像高に対して変化させる場合は、アンシャープマスクＵＳＭ（ｘ，ｙ）と同様に式（２０）を利用することで、補間後のローパスフィルタＬＰＦを生成することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部（画像処理装置）
２０３ 鮮鋭化処理部（処理部）

Claims (20)

1. 光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタを前記光学系を介した撮像により生成される入力画像に適用した画像とローパスフィルタを前記入力画像に適用した画像との差分に基づいて、前記入力画像を鮮鋭化する処理部を有することを特徴とする画像処理装置。
2. 前記処理部は、前記フィルタを前記入力画像に適用した画像と前記ローパスフィルタを前記入力画像に適用した画像との差分に基づいて補正成分を生成し、前記補正成分を前記入力画像に適用することで前記入力画像を鮮鋭化することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理部は、前記入力画像に対して前記補正成分を加算することで前記入力画像を鮮鋭化することを特徴とする請求項２に記載の画像処理装置。
4. 前記ローパスフィルタは、前記点像強度分布関数に基づいて生成されることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記ローパスフィルタは、回転対称であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記ローパスフィルタは、前記フィルタに比べてタップ数が少ないことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記光学系の撮影条件に基づいて前記点像強度分布関数の情報を取得する取得手段を更に有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記撮影条件は、像高、焦点距離、Ｆ値、および撮影距離のうち少なくとも１つであることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記ローパスフィルタの特性は、前記撮影条件に対して一定であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記ローパスフィルタの特性は、前記撮影条件ごとに異なることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
11. 光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタとローパスフィルタとの差分および理想点像に基づいて鮮鋭化フィルタを生成し、前記鮮鋭化フィルタを前記光学系を介した撮像により生成される入力画像に適用することで前記入力画像を鮮鋭化する処理部を有することを特徴とする画像処理装置。
12. 前記処理部は、前記入力画像に対して前記鮮鋭化フィルタを畳み込み積分することで前記入力画像を鮮鋭化することを特徴とする請求項１１に記載の画像処理装置。
13. 前記処理部は、前記入力画像の位置に対応する調整係数を用いて前記鮮鋭化フィルタを調整することを特徴とする請求項１１または１２に記載の画像処理装置。
14. 光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタとローパスフィルタとの差分を前記光学系を介した撮像により生成される入力画像に畳み込み積分することで補正成分を生成し、前記補正成分を前記入力画像に適用することで前記入力画像を鮮鋭化する処理部を有することを特徴とする画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置を有することを特徴とする光学機器。
16. 光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタを前記光学系を介した撮像により生成される入力画像に適用した画像とローパスフィルタを前記入力画像に適用した画像との差分に基づいて、前記入力画像を鮮鋭化するステップを有することを特徴とする画像処理方法。
17. 光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタとローパスフィルタとの差分および理想点像に基づいて鮮鋭化フィルタを生成し、前記鮮鋭化フィルタを前記光学系を介した撮像により生成される入力画像に適用することで前記入力画像を鮮鋭化するステップを有することを特徴とする画像処理方法。
18. 光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されるフィルタとローパスフィルタとの差分を前記光学系を介した撮像により生成される入力画像に畳み込み積分することで補正成分を生成し、前記補正成分を前記入力画像に適用することで前記入力画像を鮮鋭化するステップを有することを特徴とする画像処理方法。
19. 請求項１６から１８のいずれか１項に記載の画像処理方法のステップをコンピュータに実行させるための画像処理プログラム。
20. 請求項１９に記載の画像処理プログラムを記録するコンピュータで読み取り可能な記録媒体。