JP6071974B2 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、撮像により生成された画像を鮮鋭化する画像処理技術に関する。

画像を鮮鋭化する方法として、原画像にアンシャープマスクを適用してぼかしたアンシャープ画像と原画像との差分を原画像に対して加算または減算することで鮮鋭化した画像を生成するアンシャープマスク処理がある。この処理では、アンシャープ画像と原画像との差分が大きい画像領域ほどより鮮鋭化される。

特許文献１には、像高方向（メリジオナルのアジムス方向）に配列した画素信号列に対して非対称な１次元補正フィルタを適用することで、該画素信号列における光学系の点像強度分布関数（ＰＳＦ：Point Spread Function）の影響を低減する方法が開示されている。

また、特許文献２には、画像回復フィルタを作成する際に利用する光学伝達関数を係数データと撮像素子の情報から再構成する手法が開示されている。

特開２０１０−８１２６３号公報 特開２０１２−０７３６９１号公報

しかしながら、従来のアンシャープマスク処理は、アンシャープマスクとして回転対称なフィルタを利用しており、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。すなわち、収差が大きく発生しているアジムス方向の収差を補正しようとすると、収差の小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差が十分に補正できない。

特許文献１にて開示された方法では、像高方向における非対称性しか考慮しておらず、補正フィルタも１次元フィルタであるため、像高方向以外の方向への非対称性を改善することができない。また、補正フィルタに関してはマイナスタップ係数の個数で該フィルタの非対称性を調整しており、光学系のＰＳＦによるぼけ方に対応していないので、該補正フィルタによって像高方向での補正をしてもＰＳＦにより劣化した画像を十分に鮮鋭化することができない。

また、画像の劣化の補正に回復フィルタを利用する場合、特許文献２にて開示された手法により少ない記憶量で光学伝達関数を再構成することができ、回復フィルタは光学伝達関数から生成することができる。点像強度分布関数は光学伝達関数をフーリエ変換することにより求められるため、特許文献２にて開示された手法で再構成した光学伝達関数を点像強度分布関数に変換することもできる。しかしながら、このように周波数空間から実空間に変換する処理が必要となるため、より処理負荷を低減することが好ましい。

本発明は、撮像光学系のＰＳＦの再構成に必要なデータの記憶量を低減させながらも、良好な鮮鋭化処理を行うことができる画像処理方法、画像処理装置および画像処理プログラムを提供する。

本発明の一側面としての画像処理方法は、撮像光学系を通した撮像により生成された第１の画像に対する画像処理を行う方法であり、撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを用意し、画像処理として、係数データのうち撮像時における光学状態に対応する係数を用いて近似点像強度分布関数を生成し、該近似点像強度分布関数と、撮像に用いられた撮像素子の画素ピッチと、第１の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて上記フィルタを生成し、該フィルタを前記第１の画像に適用することで鮮鋭化画像である第２の画像を生成することを特徴とする。

なお、上記画像処理をコンピュータに行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理装置は、撮像光学系を通した撮像により生成された第１の画像に対する画像処理を行う。該装置は、撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを記憶した記憶手段と、画像処理を行う処理手段とを有する。そして、処理手段は、係数データのうち撮像時における光学状態に対応する係数を用いて近似点像強度分布関数を生成し、該近似点像強度分布関数と、撮像に用いられた撮像素子の画素ピッチと、第１の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて上記フィルタを生成し、該フィルタを第１の画像に適用することで鮮鋭化画像である第２の画像を生成することを特徴とする。

なお、撮像光学系を通して撮像を行う撮像素子と、撮像素子からの出力を用いて生成された第１の画像に対して画像処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

本発明によれば、撮像光学系の点像強度分布関数（近似点像強度分布関数）の生成に必要なデータの記憶量を低減させながらも、良好な鮮鋭化処理を行うことができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における画像処理方法を示すフローチャート。 アンシャープマスク処理による鮮鋭化を示す図。 ｘｙ平面における撮像光学系のＰＳＦを示す図。 回転対称なアンシャープマスクによる鮮鋭化処理を示す図。 非回転対称なアンシャープマスクによる鮮鋭化処理を示す図。 アンシャープマスクを示す図。 アンシャープマスクの断面図。 ベイヤー配列を示す図。 本発明の実施例２における画像処理方法を示すフローチャート。 係数データを説明する図。 点像強度分布関数の等高線図。 係数の算出方法を示すフローチャート。 近似ＰＳＦと設計値の関係を示す図。 アンシャープマスクの補間を示す図。 補正信号の断面図。 調整した補正信号の断面図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、２つの具体的な実施例の説明に先立って、各実施例において行うアンシャープマスク処理（鮮鋭化処理）について説明する。図３（Ａ），（Ｂ）には、アンシャープマスク処理による鮮鋭化の例を示している。図３（Ａ）中の実線は撮像光学系を通した撮像により生成された第１の画像としての入力画像ＣＩを示し、破線は入力画像をアンシャープマスクによりぼかしたアンシャープ画像ＵＳＩを示す。また、点線は鮮鋭化された後の鮮鋭化画像ＳＩを示している。図３（Ｂ）の実線は、入力画像に対する鮮鋭化のために用いられる補正成分ＣＣを示している。

入力画像をｆ（ｘ，ｙ）とし、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化画像ｇ（ｘ，ｙ）は、次式で表すことができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） ・・・（１）
式（１）において、ｍは定数であり、ｍの値を変化させることにより入力画像ｆ（ｘ，ｙ）に対する補正成分ｈ（ｘ，ｙ）の効かせ度合い（ゲイン）、つまりは補正量を調整することができる。

なお、ｍは入力画像の位置によらず一定の定数であってもよいし、入力画像の位置に応じて異ならせた調整係数ｍ（ｘ，ｙ）を用いることにより入力画像の位置に応じて補正量を調整することもできる。また、定数ｍや調整係数ｍ（ｘ，ｙ）は、光学系の焦点距離や絞り値や被写体距離といった撮影条件に応じて異ならせることもできる。定数ｍの代わりに調整係数ｍ（ｘ，ｙ）を用いることができることは、以下の説明においても同じである。

また、補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭとすると、
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） ・・・（２）
と表せる。＊はコンボリューション（畳み込み積分）を示す。また、補正成分ｈ（ｘ，ｙ）は、式（２）の右辺を変形して、次式で表すことができる。
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））・・・（３）
δはデルタ関数（理想点像）である。ここで用いるデルタ関数は、ＵＳＭ（ｘ，ｙ）とタップ数が等しく、中央のタップの値が１で、それ以外のタップの値が全て０のデータである。

式（３）は、式（２）と処理としての演算方法が異なるが、式（２）を変形することで式（３）を表現できるため、式（２）と式（３）は等価な処理であると言える。このため、以下では式（２）を用いて補正成分の生成について説明する。

式（２）は、入力画像ｆ（ｘ，ｙ）と、該入力画像ｆ（ｘ，ｙ）をアンシャープマスクＵＳＭでぼかしたアンシャープ画像との差分をとることで補正成分ｈ（ｘ，ｙ）を生成することを表す。一般的なアンシャープマスク処理では、アンシャープマスクＵＳＭとして、ガウシアンフィルタ、メディアンフィルタおよび移動平均フィルタ等の平滑化フィルタが使用される。例えば、図３（Ａ）中の実線ＣＩで表される入力画像ｆ（ｘ，ｙ）に対して、アンシャープマスクＵＳＭとしてガウシアンフィルタを使用した場合、アンシャープ画像は図３（Ａ）中に破線（ＵＳＩ）で示すようになる。このとき、補正成分ｈ（ｘ，ｙ）は、式（２）に示すように入力画像ｆ（ｘ，ｙ）とアンシャープ画像との差分となる。このため、図３（Ａ）中の実線（ＣＩ）から同図中の破線（ＵＳＩ）を減算することで、図３（Ｂ）の実線で表現される補正成分ＣＣを得ることができる。このように算出された補正成分を用いて式（１）の演算を行うことで、図３（Ａ）の実線（ＣＩ）で示すような入力画像ｆ（ｘ，ｙ）を、同図中の点線（ＳＩ）で示すように鮮鋭化することができる。

次に、撮像光学系により劣化した画像に対してアンシャープマスク処理を行うことで鮮鋭化された画像を得る場合について説明する。

撮像光学系を通した撮像により得られた入力画像ｆ（ｘ，ｙ）は、撮像前の原画像（被写体）をＩ（ｘ，ｙ）とし、撮像光学系のＰＳＦ（点像強度分布関数）をｐｓｆ（ｘ，ｙ）とするとき、
ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） ・・・（４）
と表すことができる。ここで、撮像光学系が回転対称な共軸光学系であれば、入力画像の中心部に対応するＰＳＦは回転対称となる。このため、入力画像の中心部については上記のように回転対称なアンシャープマスクＵＳＭを適用することで、入力画像ｆ（ｘ，ｙ）を原画像Ｉ（ｘ，ｙ）に近づけるような鮮鋭化処理を実現することができる。このとき、鮮鋭化処理における補正量は、入力画像とアンシャープマスクでぼかしたアンシャープ画像との差分値となる。このため、より精度良く補正（鮮鋭化）するためには、アンシャープマスクＵＳＭとして単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のフィルタ、言い換えればＰＳＦに対応するフィルタを使用した方がよい。これは、例えば球面収差の影響で入力画像が劣化していた場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。このため、こうした回転対称にぼける影響を低減する場合であっても、撮像光学系のＰＳＦに対応するフィルタを使用する方が精度良く補正することができる。

そこで、各実施例では、アンシャープマスクＵＳＭとしてＰＳＦに対応するフィルタを用いることを特徴とする。なお、アンシャープマスク処理の説明の際に用いた図３（Ａ）に実線（ＣＩ）で示す入力画像ｆ（ｘ，ｙ）は対称形状を有するが、入力画像が対称形状を有さなくてもよい。原元画像Ｉ（ｘ，ｙ）の形状が非対称であっても、原画像Ｉ（ｘ，ｙ）を劣化させるｐｓｆ（ｘ，ｙ）に相当する劣化関数が回転対称であれば、回転対称なアンシャープマスクＵＳＭを用いて鮮鋭化することができる。

一方、入力画像の中心部以外の部分については、撮像光学系が回転対称な共軸光学系であってもＰＳＦは通常は非対称な形状となる。図４（Ａ），（Ｂ）には、ｘｙ平面における撮像光学系のＰＳＦの例を示しており、図４（Ａ）は軸上のＰＳＦ、図４（Ｂ）は軸外のＰＳＦである。

例えば、原画像（被写体）が理想点像であったとすると、式（４）から入力画像ｆ（ｘ，ｙ）は撮像光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて原画像（被写体）が劣化したとすれば、撮像により得られる入力画像は図４（Ｂ）に示すように非対称にぼけた画像となる。以下では、このように非対称にぼけた画像に対してアンシャープマスク処理による鮮鋭化を行う場合について説明する。

図５（Ａ），（Ｂ），（Ｃ）および図６（Ａ），（Ｂ），（Ｃ）には、非対称に劣化した入力画像に対するアンシャープ処理の例を示している。図５は（Ａ），（Ｂ），（Ｃ）は回転対称なアンシャープマスクを用いて処理を行った場合を、図６（Ａ），（Ｂ），（Ｃ）は回転非対称なアンシャープマスクを用いて処理を行った場合をそれぞれ示している。

図５（Ａ）および図６（Ａ）中の実線は図４（Ｂ）に示した非対称にぼけた入力画像ＣＩのｙ軸方向の断面を示しており、点線はこの入力画像をアンシャープマスクによりぼかしたアンシャープ画像ＵＳＩを示している。図５（Ａ）における回転対称なアンシャープマスクとしてはガウシアンフィルタを用いている。一方、図６（Ａ）における非回転対称なアンシャープマスクには撮像光学系のＰＳＦを用いている。

また、図５（Ｂ）および図６（Ｂ）の実線はそれぞれ、回転対称および回転非対称なアンシャープマスクでぼかしたアンシャープ画像と元の入力画像との差分値、つまりは補正成分ＣＣを示している。ここでは、図５（Ａ）および図６（Ａ）に示した入力画像ＣＩがＰＳＦによってよりぼけて裾野が広くなっている方をｙ軸方向におけるプラス側とする。

図５（Ａ）に示すように回転対称なアンシャープマスクを使用した場合は、同図中の実線（ＣＩ）のピーク位置に対してプラス側ではアンシャープ画像ＵＳＩと元の入力画像ＣＩとの差分値が小さく、マイナス側では該差分値が大きい。このため、図５（Ｂ）に示す補正成分ＣＣは、中心のピーク位置に対してプラス側よりマイナス側の方の極値が小さくなっている。図５（Ａ）と図５（Ｂ）を比較すれば分かるように、入力画像ＣＩのプラス側では補正成分ＣＣによる補正量が小さく、裾野が狭いマイナス側では補正量が大きい。このため、このような補正成分ＣＣでは、式（４）による鮮鋭化を行っても非対称なぼけを補正することができない。

図５（Ｃ）の実線は、ｍ＝１としたときの補正成分ＣＣによる鮮鋭化後の鮮鋭化画像ＳＩを示している。この図から、図５（Ａ）に実線で示す入力画像ＣＩに対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく凹んでおり、非対称なぼけが補正できていないことが分かる。例えば、アンシャープマスクを変えずに補正量を調整する方法として、式（１）の定数ｍを変更する方法が考えられる。しかし、入力画像のプラス側を十分に補正するため、定数ｍの値を大きくすると、入力画像のマイナス側は補正過剰（アンダーシュート）となってしまう。逆に入力画像のマイナス側の補正量を適切にするよう定数ｍの値を設定すると、入力画像のプラス側は十分に補正できず補正不足となる。

このように、非対称にぼけた入力画像に対して回転対称なアンシャープマスクを用いてアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。また、ここでは回転対称なアンシャープマスクとしてガウシアンフィルタを用いた場合について説明したが、他の種類の回転対称なフィルタを用いた場合でも同様であり、非対称にぼけた入力画像を十分に鮮鋭化することはできない。

図６（Ａ）に示すように回転非対称なアンシャープマスクを使用した場合は、同図中の実線（ＣＩ）のピーク位置に対してプラス側ではアンシャープ画像ＵＳＩと元の入力画像ＣＩとの差分値が大きく、マイナス側では該差分値が小さい。つまり、図５（Ａ）とは逆の関係になっている。このため、図６（Ｂ）に示す補正成分ＣＣは、中心のピーク位置に対してマイナス側よりプラス側の方の極値が小さくなっている。図６（Ａ）に示した入力画像ＣＩに対して、このような補正成分ＣＣを適用すれば、ピーク位置に対して、ぼけが大きいプラス側での補正量が大きく、ぼけが小さいマイナス側での補正量が小さくなる。このように、非対称なアンシャープマスクを用いる場合は、入力画像のプラス側とマイナス側でのぼけ方のバランスと補正成分のプラス側とマイナス側での補正量のバランスとが一致する。このため、回転対称なアンシャープマスクを用いる場合に問題となる補正の過不足も起きにくくなる。

図６（Ｃ）は、ｍ＝１としたときの補正成分ＣＣによる鮮鋭化後の鮮鋭化画像ＳＩを示している。この図から、図６（Ａ）の実線（ＣＩ）に対しても鮮鋭化できており、かつ図５（Ｃ）で目立ったマイナス側とプラス側の凹みの差が改善できていることが分かる。さらに、回転対称なアンシャープマスクを用いる場合に比べて補正過剰が生じ難いため、式（１）の定数ｍの値も比較的大きく設定することができ、非対称性を低減しつつより鮮鋭化することができる。また、補正成分の補正量のバランスはアンシャープ画像と元の入力画像の差分に対応するため、より精度良く補正を行うためには、撮像光学系のＰＳＦによってより大きくぼけた部分がアンシャープマスクによって他の部分よりも大きくぼかされる必要がある。このように、高い精度で補正を行うためには、アンシャープマスクとして撮像光学系のＰＳＦに対応するフィルタを用いることが理想的であると言える。

次に、アンシャープマスクＵＳＭの生成、すなわちＰＳＦの生成（再構成）に用いる係数のデータの生成方法について説明する。各実施例では、撮像光学系のＰＳＦをアンシャープマスクとして用いるが、撮像光学系のＰＳＦは、撮像光学系の焦点距離、Ｆ値および撮像距離（合焦する被写体距離）等の状態によって変化する。また、ＰＳＦは、像高によっても異なる。このため、鮮鋭化を行う際には入力画像を生成するための撮像時における撮像光学系の光学状態である撮像条件（焦点距離、Ｆ値および撮影距離等の組み合わせ）に合った、かつ像高によるＰＳＦの変化を反映したアンシャープマスクを用いる必要がある。

撮像条件によって変化するＰＳＦをアンシャープマスクとして用いるために、全ての異なる撮像条件におけるＰＳＦを計算しておき、その中から適したＰＳＦをアンシャープマスクとして選択する方法も考えられる。しかし、この手法では、計算された全てのＰＳＦのデータを保持しておくための記憶容量が膨大となり、好ましくない。

そこで、各実施例では、以下のように、撮像光学系のＰＳＦを近似する関数（以下、近似関数という）に含まれる係数のデータを保持しておき、アンシャープマスクを作成する際に該係数のデータを用いてＰＳＦを再構成する。これにより、保持するデータ量を低減しつつ、良好な鮮鋭化を行えるようにする。

まず、異なる撮像条件ごとにＰＳＦを算出する。ＰＳＦは撮像光学系の設計データから算出してもよいし、チャート等を撮像して得られた入力画像から推定してもよい。次に、算出したＰＳＦを適切な近似関数で近似（フィッティング）して該近似関数に含まれる各係数の値を算出する。ここで、近似関数は、連続関数であって、ガウス分布（正規分布）のような回転対称な関数ではなく、回転非対称な分布を表現できる関数とする。これは、撮像光学系のＰＳＦが回転対称になるとは限らないためである。ＰＳＦの近似を行うための回転非対称な分布を表現できる近似関数としては、例えば以下の式（５）に示すような関数が考えられる。

ここで、ａ，μおよびσがＰＳＦの再構成（近似）に用いる係数である。ａ＝０とすると平均値がμで標準偏差がσの正規分布（対称分布）となり、ａ≠０とすると非対称な分布となる。この近似関数でＰＳＦを近似することで、回転対称および回転非対称なＰＳＦを再現することができる。すなわち、係数ａのような分布形状の対称性を変化させる（言い代えれば、分布形状に非対称性を付与する）ことができる係数を有する近似関数において、その係数ａを変化させることで撮像光学系の非対称収差に対応させることが可能となる。なお、式（５）では１次元で表現しているが、２次元の場合においても同様に成り立つ。２次元の場合であれば、例えば、Ｆ（ｘ）およびＧ（ｘ）をそれぞれ、

と置き換えればよい。μ，σはｘ方向での平均値および標準偏差であり、ηはｙ方向での平均値である。このとき、Ｆ（ｘ，ｙ）のａ，ｂを調整することでＰＳＦの非対称性を表現することができる。

図１２（Ａ）〜（Ｄ）には、式（５），（８）および（９）を用いて再構成したＰＳＦの分布形状（等高線図）を示す。図１２（Ａ）は回転対称な分布形状を表しており、式（８）におけるａ＝０およびｂ＝０となるときに該分布形状を表現することができる。また、図１２（Ｂ）のように回転非対称な形状を得たい場合は、式（８）のａおよびｂをともに０以外の値にすることでその形状を表現することができる。また、図１２（Ｃ），（Ｄ）に示すように、水平方向（ｘ方向）および垂直方向（ｙ方向）で分布の広がりの比率を変化させる場合は、例えば式（９）を以下の式（１０）ように変形すればよい。ξはｙ方向の標準偏差である。

式（１０）において、σ＞ξとすると、Ｙ軸よりもＸ軸方向に広がった図１２（Ｃ）に示すような分布形状が得られる。また、σ＜ξとすると、Ｘ軸よりもＹ軸方向に広がった図１２（Ｄ）に示すような分布形状が得られる。このように、式（５），（８）〜（１０）を用いたフィッティングを行うことにより、図１２（Ａ）〜（Ｄ）に示すような様々な分布形状を近似する近似関数の係数を得ることができる。

また、ＰＳＦを近似する近似関数としては、式（５）のような関数をモデルとして用いるのではなく、直交化された多項式をモデルとしてフィッティングを行うことで算出された係数を利用してもよい。

このようにして、式（６）および（７）を用いる場合は係数ａ，μ，σを、式（８）および（９）を用いる場合はさらにｂ，ηを、式（１０）を用いる場合はさらにξを撮像条件ごとに算出し、算出した係数を算出時の撮像条件と関連付けて記憶させておく。図１１には、式（５），（８）および（９）をＰＳＦを近似する近似関数として用いる場合に、算出されて撮像条件と関連付けて記憶された係数ａ，ｂ，μ，η，σのテーブルを示している。この図では、ある特定の撮像条件（焦点距離、Ｆ値および撮影距離）における像高ごとの各係数を示している。このテーブルと同様のテーブルを、焦点距離ごと、Ｆ値ごとおよび撮影距離ごとに用意し、撮像条件ごとに一意に各係数が定まるようにする。

このように、連続関数である近似関数でＰＳＦを近似し、該近似関数の係数によってＰＳＦを再構成するために、実施例では、係数のデータ（以下、係数データという）を作成して保持しておく。なお、係数データを用いてＰＳＦを再構成する方法については、後述する具体的な実施例において説明する。

次に、各実施例におけるアンシャープマスク処理と、該処理に用いられるＰＳＦに対応するぼかしフィルタとしてのアンシャープマスクおよびＰＳＦに対応する補正フィルタとしての補正信号について説明する。

前述した式（１）および式（２）により、鮮鋭化画像ｇ（ｘ，ｙ）は次式で表すことができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×［ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）］
・・・（１１）
あるいは、式（１）および式（３）により、
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊［δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）］
・・・（１２）
と表すことができる。さらに、式（１２）を変形することで、
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊［δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））］・・・（１３）
と表すこともできる。
また、式（１３）は次式のように変形することもできる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊［（１＋ｍ）×δ（ｘ，ｙ）−ｍ×ＵＳＭ（ｘ，ｙ）］
・・・（１３′）
式（１１），（１２），（１３）および（１３′）は互いに等価な処理を示すため、後述する各実施例では式（１３）によるアンシャープマスク処理（鮮鋭化処理）について説明する。また、各実施例では、式（１３）におけるＵＳＭ（ｘ，ｙ）をアンシャープマスクとし、中括弧［］内の部分を補正信号とする。

図１には、本発明の実施例１である画像処理装置が組み込まれた撮像装置１００の構成を示している。撮像装置１００は、撮影レンズを構成する撮像光学系１０１と、撮像素子１０２と、画像処理装置としての画像処理部１０４と、システムコントローラ１０６とを有する。撮像光学系１０１は、絞り１０１ａと、フォーカスレンズ１０１ｂと、変倍レンズ１０１ｃとを含む。なお、本実施例ではレンズ一体型撮像装置について説明するが、後述するアンシャープマスク処理を、撮影レンズが撮像装置本体に対して交換可能なレンズ交換型撮像装置において行ってもよい。

また、撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよい。ローパスフィルタのようにＰＳＦの特性に影響を与える光学素子を挿入する場合は、アンシャープマスクを作成する時点でこの光学素子の影響を考慮することで、より高精度なアンシャープマスク処理が可能である。赤外カットフィルタは、分光波長のＰＳＦの積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、アンシャープマスクを作成する時点でその赤外カットフィルタの影響を考慮することがより好ましい。

撮像素子１０２は、ＣＣＤセンサまたはＣＭＯＳセンサ等の二次元撮像素子であり、撮像光学系１０１により形成された被写体像を撮像（光電変換）する。撮像素子１０２からの出力信号であるアナログ撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換される。該デジタル撮像信号は画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して所定の画像処理を行うことで入力画像（第１の画像）を生成し、さらに該入力画像に対してアンシャープマスク処理を行うことで鮮鋭化画像（第２の画像）を生成する。入力画像は、撮像光学系１０１を通した撮像により生成された画像である。

まず、画像処理部１０４は、状態検知部１０７から、入力画像を生成するための撮像時における撮像光学系１０１の状態を示す撮像条件の情報を取得する。撮像条件とは、前述したように、撮像時における撮像光学系１０１の光学状態であって、焦点距離、Ｆ値および撮影距離等である。状態検知部１０７は、撮像条件を示す情報をシステムコントローラ１０６から取得してもよいし、後述する光学系制御部１０５から取得してもよい。

記憶部２０９は、画像処理部１０４の内部に設けられ、アンシャープマスクあるいは補正信号の生成に必要な前述した撮像条件ごとの係数データを記憶している。係数データは、画像処理部１０４の内部に設けられた係数算出部２０８によって算出されて記憶部２０９に格納される。記憶部２０９および係数算出部２０８は、画像処理部１０４の外部に設けられてもよい。

次に、画像処理部１０４は、入力画像に対してアンシャープマスク処理を行う。画像処理部１０４は、上述した係数算出部２０８および記憶部２０９に加えて、補正信号生成部２０２、補正信号適用部２０３、係数取得部２０４、再構成処理部２０５、再構成情報取得部２０６および正規化処理部２０７を含む。補正信号生成部２０２〜正規化処理部２０７によって処理手段が構成される。

係数取得部２０４は、入力画像を生成するための撮像時の撮像条件に対応する像高ごとの係数データを記憶部２０９から取得する。再構成処理部２０５、正規化処理部２０７および補正信号生成部２０２は、係数データを用いて補正信号を生成する。補正信号適用部２０３は、入力画像に対して補正信号を適用してアンシャープマスク処理を行い、鮮鋭化画像を生成する。こうして画像処理部１０４で生成された鮮鋭化画像は、撮影画像として又は撮影画像の生成に用いられ、撮影画像は記憶部２０９にて所定のフォーマットで保存される。

画像表示部１１２は、鮮鋭化画像に対して所定の表示用処理を行って得られた表示用画像を表示する。

システムコントローラ１０６は、撮像素子１０２、Ａ／Ｄコンバータ１０３、画像処理部１０４および画像表示部１１２を制御する。また、光学系制御部１０５は、システムコントローラ１０６からの制御信号に応じて、撮像光学系１０１の変倍レンズ１０１ｃ、絞り１０１ａおよびフォーカスレンズ１０１ｂの駆動を制御する。

次に、上述した係数算出部２０８による係数の算出方法について、図１３のフローチャートを用いて説明する。係数算出部２０８を含む画像処理部１０４はＣＰＵ等のコンピュータにより構成され、コンピュータプログラムとしての画像処理プログラムに従って入力画像に対するアンシャープマスク処理を行う。係数算出部２０８はこの画像処理プログラムの一部である係数算出プログラムに従って係数を算出する。

まず、ステップＳ１において、係数算出部２０８は、係数を算出する際に必要となる情報を取得する。具体的には、該情報として、係数を算出する対象となる撮像条件（焦点距離、Ｆ値および撮影距離）と、ＰＳＦに対して近似関数をフィッティングする際に用いる係数の初期値および目標値とを取得する。

続いて、ステップＳ２において、係数算出部２０８は、ステップＳ１で取得した撮像条件に対応する撮像光学系１０１の設計値データ（基準値データ）から撮像条件に対応するＰＳＦを算出する。図１４には、本ステップにて設計データから算出されたＰＳＦ（以下、設計ＰＳＦという）を棒グラフで示している。本ステップで算出される設計ＰＳＦは、図１４に示すように分割数（タップ数）をＮとし、間隔をＤｏとして離散化されている。

設計ＰＳＦのサイズ（カーネルサイズ）は、図から明らかなように間隔Ｄｏとタップ数Ｎとの積で表すことができる。このため、離散化されたＰＳＦは、間隔Ｄｏ、タップ数Ｎおよびカーネルサイズのうちいずれか２つが分かれば残りの１つも一意に決まる。例えば、タップ数Ｎ＝１１、間隔Ｄｏ＝２．０μｍとすると、カーネルサイズはＤｏ・（Ｎ−１）＝２０μｍとなる。Ｄｏ・Ｎをカーネルサイズと呼んでもよく、この場合のカーネルサイズは２２μｍとなる。また、間隔Ｄｏはフィッティングする際のピッチとなるため、実際の撮像素子１０２の画素ピッチよりも小さい方がよく、予め小さいピッチでフィッティングしておくことで様々な画素ピッチの撮像素子に対応することができる。

次に、ステップＳ３において、係数算出部２０８は、ステップＳ１で取得したＰＳＦを近似する際に用いる近似関数の係数の初期値を設定する。ここでは、近似関数が前述した式（５），（８）および（９）で表現される場合について説明する。この近似関数では、初期値が設定される係数はａ，ｂ，μ，η，σであり、これらの係数は図１３の処理中で更新されるため、係数算出部２０８は、このステップＳ３では仮の値を設定する。なお、他の撮像光学系や撮像条件等を計算していて、正確な係数またはそれに近い値が分かっている場合は、この段階でその値を係数として設定してもよい。

次に、ステップＳ４において、係数算出部２０８は、ステップＳ３で設定した係数を式（８），（９）の近似関数に代入する設計ＰＳＦに対する近似関数のフィッティングを行い、近似されたＰＳＦ（近似点像強度分布関数：以下、近似ＰＳＦという）を作成する。ただし、本処理では設計データに対してフィッティングを行うことで最適な係数を導出するため、近似ＰＳＦを離散化する。図１４には、本ステップで生成する近似ＰＳＦの断面を示している。近似ＰＳＦの分割数や間隔は、ステップＳ２で算出した設計ＰＳＦに合わせる。

次に、ステップＳ５において、係数算出部２０８は、ステップＳ２で設計データから算出した設計ＰＳＦとステップＳ４で作成した近似ＰＳＦとのずれを評価する。ここで設計ＰＳＦと近似ＰＳＦのずれを評価する際の指標としては、例えば、設計ＰＳＦと近似ＰＳＦとの差分の二乗平均平方根を計算して、これを評価値Ｅとして用いる。

続いて、ステップＳ６において、係数算出部２０８は、ステップＳ５にて算出した評価値Ｅと、ステップＳ１で取得した係数の目標値とを用いて係数の判定を行う。評価値Ｅには、設計ＰＳＦと近似ＰＳＦのずれに関する情報だけでなく、近似ＰＳＦの係数に関する情報を含めてもよい。例えば、各係数が取り得る範囲が決まっている場合は、係数がそれ以外の値になった場合に評価値Ｅが大きくなるよう重みを付けることでフィッティングを効率化したり、近似ＰＳＦの形状を制御したりすることができる。ここでは、係数算出部２０８は、評価値Ｅと予め決めておいた係数の目標値とを比較し、評価値Ｅが目標値以下であればフィッティングを完了し、最後に近似ＰＳＦを生成した際の係数を示す係数データを出力する。逆に、評価値Ｅが目標値を上回っていた場合は、十分にフィッティングができていないものとして、係数算出部２０８はステップＳ７に移行する。

次に、ステップＳ７では、係数算出部２０８は、近似ＰＳＦの生成に用いる係数を変更する。本ステップで変更する係数は１つのみでもよいし複数でもよい。係数を更新した後、係数算出部２０８はステップＳ４に戻り、再度、近似ＰＳＦを算出する。このようにして、係数算出部２０８は、ステップＳ５およびＳ６において評価値Ｅが目標値以下に収束するまでステップＳ４からステップＳ７の処理を繰り返す。変更前の評価値Ｅを一時的に保持しておき、係数の変更前後の評価値Ｅを比較して、変更後の評価値Ｅが目標値に近づいていなければ変更前に戻って処理をやり直してもよい。また、係数の変更と評価値Ｅの算出を繰り返し行う中で、評価値Ｅが局所的最小値に陥ることなく大域的最小値に到達できるようにするためにステップＳ３まで戻り、再度、初期値を設定してもよい。

係数算出部２０８は以上の処理によって種々の撮像光学系の様々な撮像条件でのＰＳＦを近似する近似関数の係数を予め算出しておき、その係数データを記憶部２０９に格納する。このように事前に近似ＰＳＦの係数データを算出しておくことで、アンシャープマスク処理の段階では算出された係数データを取得すれば足り、撮像光学系や撮像条件等の情報に応じて容易に近似ＰＳＦを再構成することができる。

次に、図２のフローチャートを用いて、本実施例におけるアンシャープマスク処理の方法（画像処理方法）について説明する。画像処理部１０４は、システムコントローラ１０６から指示に基づいて、上述した画像処理プログラムに従って本処理を実行する。

まず、ステップＳ１１において、画像処理部１０４は、撮像が行われることに応じて入力画像（第１の画像）を生成する。ここでは、入力画像として、デジタル撮像信号から得られるＲＡＷ画像をデモザイキングした後のＧチャンネルの画像を用いる。ただし、ＲチャンネルやＢチャンネルを入力画像として取り扱ってもよいし、ＲＧＢすべてのチャンネルをそれぞれ入力画像として用いてもよい。また、デモザイキング前のＲＡＷ画像を用いてもよい。

また、図９に示すベイヤー配列のように、ＧチャンネルをＧ１とＧ２の２つに分け、Ｇ１チャンネルの画像とＧ２チャンネルの画像をそれぞれ入力画像として取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２およびＢのそれぞれを抜き出した画像の解像度を等しくすることができ、処理やデータ加工がしやすくなる。

次に、ステップＳ１２において、画像処理部１０４（再構成情報取得部２０６）は、ＰＳＦ（前述した近似ＰＳＦ）を再構成する際に用いる情報を取得する。具体的には、撮像条件（焦点距離、Ｆ値および撮影距離等）と、撮像素子１０２の画素ピッチと、アンシャープマスク（フィルタ）のタップ数である。レンズ交換型である場合は、撮像光学系を特定するための交換レンズの識別番号（レンズＩＤ）も取得する。ここで取得する撮像条件（およびレンズＩＤ）は、後述するステップＳ１３で係数データを取得する際に使用される。また、画素ピッチやフィルタのタップ数は、ステップＳ１４において再構成したＰＳＦを離散化してアンシャープマスクを生成する際に使用される。

続いてステップＳ１３において、画像処理部１０４（係数取得部２０４）は、ステップＳ１２で取得した撮像条件（およびレンズＩＤ）に対応した撮像光学系１０１のＰＳＦを再構成するのに必要な係数データを記憶部２０９から取得する。ここで取得する係数データはＰＳＦの分散や対称性に関する係数のデータであり、係数取得部２０４は撮像条件に応じてそれぞれの係数のデータを取得する。

前述した式（５），（６）および（７）に示す近似関数でＰＳＦを近似する場合は、式（６）中の係数ａが分布の対称性に影響する。撮像光学系が回転対称な共軸光学系であれば、入力画像の中心部に対応するＰＳＦは回転対称となるため、入力画像の中心部に対応する係数ａはゼロまたはゼロに近い値となる。一方、入力画像の周辺部においてはコマ収差等の非対称収差の影響によってＰＳＦが非対称となることがあり、ＰＳＦの非対称性が大きいほど係数ａの絶対値が大きくなる。また、式（７）において、係数σは分布の分散に影響する係数であり、一般に撮像光学系の性能が良い入力画像の中心部に近いほど係数σの値は小さくなる。逆に入力画像の周辺部は一般に中心部と比べると撮像光学系の性能が低くなり、ＰＳＦの分散値も大きくなる傾向にあるため、中心部に比べると周辺部の係数σの方が大きくなる。

ここでは式（５）の近似関数でＰＳＦを近似する場合の係数データについて述べたが、この式以外の近似関数を用いてＰＳＦを近似してその近似関数の係数データを取得してもよい。この場合でも、式（５）の分布の分散に影響する係数σや非対称性に影響する係数ａに対応する係数を取得できればよい。また、間接的に分布の分散や非対称性に影響を与える係数を用いてもよい。例えば、式（５）の近似関数の代わりに、エルミート多項式やルジャンドル多項式等を用いて、前述した係数データの算出方法と同様の方法によりＰＳＦを近似し、ある次数までの係数を係数データとして用いてもよい。

本実施例では係数データを取得し、係数データからＰＳＦを再構成するため、撮像光学系のＰＳＦに対応するデータを直接保持する場合と比べて、補正精度を維持したまま記憶部２０９に必要な記憶容量を大幅に削減することができる。例えば、図７に示すように、アンシャープマスクが１１ｘ１１タップであれば、１２１個のデータを持つ必要があり、ＲＧＢを別々に保持する場合はその３倍になるので、３６３個のデータを保持しなければならない。一方、係数を保持する場合は、式（５），（８）および（９）を用いると、係数は５個にすぎず、ＲＧＢを別々に保持しても１５個にすぎない。このように、係数を保持することで、アンシャープマスクの個々のタップの値をそのまま保持する場合に比べて記憶すべきデータ量を大幅に低減することができる。

次に、ステップＳ１４において、画像処理部１０４（再構成処理部２０５）はステップＳ１３で取得した撮像条件に応じた係数データを、ＰＳＦの近似に用いる近似関数に代入することでＰＳＦを生成、すなわち再構成する。本実施例では再構成したＰＳＦをアンシャープマスクとして用いる。

ここで、図７および図８を用いてアンシャープマスクについて説明する。ステップＳ１２において説明したように、アンシャープマスクのタップ数の情報はこのステップで取得される。図７には、例として１１×１１タップの２次元アンシャープマスクを示している。各タップの値（フィルタ係数）の図示は省略している。また、図８には、再構成されたＰＳＦとアンシャープマスクのタップ値を示している。横軸はタップ、縦軸はタップ値を示している。また、破線Ｐは係数データを近似関数に代入することで再構成されたＰＳＦを示している。×印は再構成されたＰＳＦに基づいて設定されたアンシャープマスクのタップ値を示している。再構成されたＰＳＦに対して離散化および量子化処理を行うことで、アンシャープマスクが生成される。

離散化する際の間隔Ｄは、画素ピッチから求められる。ステップＳ１３において取得した係数データが図１４に示すように間隔Ｄｏでフィッティングされた場合、画素ピッチをＰとすると、間隔Ｄは、
Ｄ＝Ｐ／Ｄｏ ・・・（１４）
となる。

再構成したＰＳＦを間隔Ｄで離散化することで、撮像素子１０２の画素ピッチに合った適切なアンシャープマスクを生成することができる。

ここでは、撮像素子の画素ピッチとアンシャープマスクのタップ数を用いてＰＳＦの再構成およびアンシャープマスクの生成を行う場合について説明した。しかし、これらはフィルタとしてのアンシャープマスクの大きさ（カーネルサイズ）と、画素ピッチおよびタップ数のうちいずれか一方との２つを用いて生成することもできる。これは、前述したように、画素ピッチから算出する間隔Ｄとタップ数との積がフィルタの大きさとなるためであり、上記２つの情報をステップＳ１２において取得すれば、適切なアンシャープマスクの生成が可能となる。

次に、ステップＳ１５において、画像処理部１０４（正規化処理部２０７）は、アンシャープマスクの正規化処理を行う。本実施例では図８に示すようにＰＳＦを間隔Ｄで離散化しているが、間隔Ｄは画素ピッチに依存しているため、タップ数が一定であっても撮像素子１０２の違い（つまりは撮像装置の違い）によってアンシャープマスクの形状が変化する。

通常、アンシャープマスクとして用いるぼかしフィルタは、ぼかす前後の画像の輝度値の総和が保存されるように設計され、本実施例においてもこの条件を満足する必要がある。例えば、同じ係数データから再構成されたＰＳＦから生成されたタップ数が等しく画素ピッチが２倍異なる２つのアンシャープマスクでは、タップ値の総和が約４倍異なる。このようにアンシャープマスクのタップ値の総和が異なると、式（１３）に示すようなアンシャープマスク処理による鮮鋭化を行った場合に、タップ値の総和に応じて処理の前後で画像の輝度値の総和が変化するという問題が生じる。この問題に対する対策として、画素ピッチが変化しても適切にアンシャープマスク処理が行えるように、アンシャープマスクのタップ値の総和が常に所定値になるように本ステップにて調整を行う。

本実施例における正規化処理として、まず正規化処理部２０７は、アンシャープマスクのタップ値の総和を算出し、次にアンシャープマスクの各タップ値をタップ値の総和で除算する。この除算によってアンシャープマスクのタップ値の総和が常に１（所定値）となり、このアンシャープマスクを正規化後のアンシャープマスクとして用いる。このとき、除算の代わりに総和の逆数を積算してもよい。

なお、各タップ値の小数点精度の影響でタップ値の総和が厳密には１にならない場合もあるが、多少のずれは許容できるため、本実施例ではタップ値の総和が１に近い値（所定値）になるよう調整すればよい。

また、ここでは除算による正規化を行っているが、除算以外の方法を用いて正規化を行ってもよい。例えば、タップ値の総和を算出した後、該総和と１との差分を特定のタップ値（最大のタップ値や中央のタップのタップ値等）に加算することでも正規化を行うことができる。

さらに、正規化処理においてタップ値の総和が１に近い値にならないような場合は、その過不足分をアンシャープマスクの最大値の位置で調整したり、過不足が低減するようにアンシャープマスクを定数倍したりしてもよい。

続いて、ステップＳ１６において、画像処理部１０４（補正信号生成部２０２）は、ステップＳ１５で生成されたアンシャープマスクを用いて補正信号を生成する。式（１３）を用いてアンシャープマスク処理を行う場合は、前述したように該式中の中括弧の部分である［δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））］が補正信号となる。ここで、前述したようにデルタ関数δ（ｘ，ｙ）は中央のタップのみ値を有しており、アンシャープマスクと同じ１１×１１タップである場合は、δ（６，６）＝１となる。

本ステップにおける補正信号の生成においては、一度（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））を計算し、これに定数ｍを積算してから最後にδ（ｘ，ｙ）を加算してもよいし、δ（ｘ，ｙ）についてはその中央のタップ値に対する計算を別途行うようにしてもよい。この場合は、アンシャープマスクＵＳＭ（ｘ，ｙ）に定数ｍを積算して符号を反転した後、中央のタップ値に対して（１＋ｍ）を足せば等価な計算となる。なお、ここではδ（ｘ，ｙ）を中央のタップのみ値を有する場合について説明しているが、中央のタップではなく、例えばＵＳＭ（ｘ，ｙ）における最大のタップ値を有するタップに対応するタップのように、所定のタップに値を有するデータであればよい。

また、定数ｍは、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して決定される。この定数ｍは、前述したように、補正量を変化させる調整値であり、定数ｍの値を大きくすることでより強く補正を効かせることができ、逆に値を小さくすることにより補正をより弱めることができる。

最後にステップＳ１７において、画像処理部１０４（補正信号適用部２０３）は、ステップＳ１６で生成された補正信号（補正フィルタ）を入力画像に適用する。すなわち、入力画像に対するアンシャープマスク処理を行う。式（１３）に示すアンシャープマスク処理を行う場合は、ステップＳ１６で生成された補正信号を入力画像に対して畳み込むことで、鮮鋭化画像を生成することができる。

画像処理部１０４は、以上の処理を行うことで、様々な撮像光学系や撮像素子の組み合わせに対応でき、かつ処理に用いるために記憶する必要のあるデータ量を低減してアンシャープマスク処理を行うことができる。

なお、本実施例では、撮影光学系のＰＳＦに基づいてアンシャープマスクを生成する場合について説明したが、前述したようにＰＳＦは像高によって変化するため、補正精度を高めるには、像高に応じてアンシャープマスクを変化させることが好ましい。図１５（Ａ）には、ステップＳ１４において生成するアンシャープマスクの位置と入力画像との関係を示している。図中の白丸は生成するアンシャープマスクの位置を示しており、入力画像を９×９個に分割して分割ラインの交点である８１個の位置におけるアンシャープマスクが生成される。そして、これらのアンシャープマスクに対して線形補間等を行うことにより、入力画像における任意の位置のアンシャープマスクを生成することができ、ＰＳＦの像高による変化に対応することができる。入力画像の分割数については、９×９より少なくしてアンシャープマスクのデータ量を低減しもよいし、９×９より多くしてより精度を高めてもよい。

また、図１５（Ａ）中の白丸で示す各位置に対して直接、ＰＳＦを再構成してアンシャープマスクを生成することもできるが、各位置のアンシャープマスクも補間により生成してもよい。図１５（Ｂ）はその例を示しており、黒点はステップＳ１４にて生成するアンシャープマスクの位置を示している。一般に撮像光学系のＰＳＦは光軸に対して回転対称となるため、ＰＳＦをベースとして作成するアンシャープマスクも同様に回転対称になる。この特性を利用して、図１５（Ｂ）の例では、画像の中心から下方向に１０位置分のアンシャープマスクを生成しておき、これらを画像の中心に対して回転させながら各白丸に対応する位置のアンシャープマスクを補間により生成する。これにより、各位置におけるアンシャープマスクを１つ１つ生成する必要がなくなるため、処理負荷を低減することができる。

なお、上述したアンシャープマスクの補間処理以外の方法として、ＰＳＦの再構成に用いる係数データや再構成されるＰＳＦについても同様に補間処理を行うことでＰＳＦの像高による変化に対応することができる。

また、本実施例では、ステップＳ１１において、デモザイキングされた後の画像を入力画像とした場合について説明したが、前述したように、ＲＡＷ画像からチャンネルごとに抜き出した画像を入力画像として取り扱うこともできる。この場合、基本的な処理の流れは図２のフローチャートに示した流れと同じであるが、ステップＳ１４における再構成処理が異なる。

デモザイキング後の画像を入力画像とする場合は、ステップＳ１４においてＰＳＦを再構成した後、アンシャープマスクを生成する際にはＰＳＦを間隔Ｄで離散化する。間隔Ｄは式（１４）で表せるが、ＲＡＷ画像からチャンネルごとに抜き出した画像を入力画像とした場合は、この間隔Ｄが変化する。入力画像が図９に示されるような画素配列を有し、デモザイキング後の画像の画素ピッチをＰとしたとき、隣り合う同色チャンネルの画素間のピッチは倍の２Ｐとなる。このため、アンシャープマスクを生成する際の間隔Ｄは、
Ｄ＝２Ｐ／Ｄｏ ・・・（１５）
となる。この式（１５）で得られる間隔Ｄで再構成したＰＳＦを離散化することで、ＲＡＷ画像からからチャンネルごとに抜き出した画像を入力画像とした場合においても適切なアンシャープマスクを生成することができる。これ以外のステップはデモザイキング後の画像を入力画像とする場合と同様であるため説明は省略する。このように、デモザイキング後の画像であってもチャンネルごとに抜き出した画像であっても間隔Ｄの変更のみで対応できるため、入力画像に応じてステップＳ１４の処理を切り替えることも可能となる。

次に、本発明の実施例２である画像処理装置（画像処理部１０４）が組み込まれた撮像装置について説明する。本実施例の撮像装置の構成は、実施例１の撮像装置と同様である。本実施例では、実施例２は、実施例１において図２のフローチャートで示したアンシャープマスク処理に代えて、図１０のフローチャートで示す鮮鋭化処理を行う。実施例１では係数データからＰＳＦを再構成し、該ＰＳＦからアンシャープマスクを生成してアンシャープマスクを正規化した後に補正信号を生成した。これに対して、本実施例では、係数データからＰＳＦを再構成する部分については同じであるが、該ＰＳＦから直接、補正信号を生成し、該補正信号を正規化する。つまり本実施例は、係数データから補正信号を生成する部分と補正信号に対して正規化を行う部分で実施例１と異なる。以下では、これらの相違点について説明する。なお、本実施例の鮮鋭化処理ではアンシャープマスクを直接用いないが、原理的にはアンシャープマスク処理と同じ処理を行うので、本実施例の鮮鋭化処理もアンシャープマスク処理という。

図１０において、ステップＳ２１およびＳ２２はそれぞれ、実施例１（図２）のステップＳ１１およびＳ１２と同じであるため説明は省略する。

ステップＳ２３では、画像処理部１０４（係数取得部２０４）は、実施例１のステップＳ１３と同様に、ステップＳ２３で取得した撮像条件（およびレンズＩＤ）に対応した撮像光学系１０１のＰＳＦを再構成するのに必要な係数データを記憶部２０９から取得する。また、係数取得部２０４は、本実施例では定数ｍも係数として取得する。

次に、ステップＳ２４において、画像処理部１０４（再構成処理部２０５および補正信号生成部２０２）はステップＳ２３で取得した係数データからＰＳＦを再構成し、該ＰＳＦから補正信号を生成する。実施例１では、係数データからＰＳＦを再構成してアンシャープマスクを作成した後、アンシャープマスクから補正信号を生成した。ステップＳ１６で説明したように、式（１３）で表されるアンシャープマスク処理では、デルタ関数δ（ｘ，ｙ）が中央のタップのみ値を有する場合、係数ｍによる調整と中央に位置するタップ（所定のタップ）に対する値の変更といった操作で実現することができる。このため、この所定のタップの値を１つの係数として取り扱うことにより、その係数を含む係数データから補正信号を直接生成することができる。

具体的には、再構成処理部２０５は、実施例１のステップＳ１４と同様に、ステップＳ２３で取得した係数データからＰＳＦを再構成する。実施例１のステップＳ１４では再構成したＰＳＦを間隔Ｄで離散化してアンシャープマスクを生成したが、本実施例のステップＳ２４では、補正信号生成部２０２がＰＳＦから離散化された補正信号を直接生成する。

図１６には、本実施例において再構成されたＰＳＦと該ＰＳＦから生成された補正信号を示している。図１６において、横軸は離散化された補正信号である補正フィルタのタップ、縦軸はタップの値を示す。破線Ｐは係数データから再構成されたＰＳＦを示しており、×印は補正信号のうち各タップに対応する値を示している。式（１３）で表されるアンシャープマスク処理を行う場合、補正信号の生成においては、まずＰＳＦの符号を反転し、取得した係数ｍを用いてＰＳＦをｍ倍した後、離散化および量子化処理を行う。図１６は、ｍ＝１の場合を示している。

所定のタップについては、さらに（１＋ｍ）を加算することで、図１６中に×印で示された補正信号が生成される。このように、本実施例では、所定のタップについては追加の計算が行われるため、事前にこの所定のタップの値を計算しておき、これを係数の１つとしてステップＳ２３で取得してもよい。

また、図１７（Ａ）中の破線Ｐは再構成されたＰＳＦであって、図１６に示したカーネルサイズよりもサイズが大きいＰＳＦを示している。このように、カーネルサイズより再構成されたＰＳＦのサイズが大きく、その周辺部でも０に近づいていない場合には、そのまま離散化して補正フィルタ（補正信号）を生成すると、該補正フィルタによる鮮鋭化の効果が低下する。

より具体的には、入力画像において特にコントラストの差の大きい領域でフィルタ係数の不連続性の影響が顕著に現れ、正しく鮮鋭化されない。これは撮像光学系のＰＳＦに対してフィルタのタップ数が少なく、周辺部の情報が欠落しているときに起きるため、タップ数を増やすことで解決することができる。ただし、タップ数が固定されている場合、つまり仕様として決まっている場合は、別の方法で対処する必要がある。

別の対処方法として、図１７（Ｂ）に破線で示すように中央部ではほぼ１で、周辺部に向かって連続的に０に減少する分布を再構成されたＰＳＦに掛け合わせることで、図１７（Ａ）の点線Ｐで示される分布となるようにＰＳＦを調整する。そして、図１７（Ａ）の点線Ｐで示される調整後のＰＳＦから補正信号を生成することで、先に述べた影響を低減することができる。

なお、図１７（Ｂ）に破線で示される分布を離散データとして持っておき、離散化されたＰＳＦに掛け合わせてもよい。

続いて、ステップＳ２５において、画像処理部１０４（正規化処理部２０７）は、補正信号の正規化処理を行う。式（１３）で示されるアンシャープマスク処理における補正信号は、式（１３）の中括弧の内側の部分で表されるため、補正信号のタップ値の総和も１に合わせておく必要がある。補正信号の正規化方法としては、実施例１のステップＳ１５で説明した各方法を用いることができ、また精度についても同様にある程度許容できる。さらに、タップ値の総和が１に近い値にならない場合も、実施例１と同様に補正信号を調整等することができる。

また、本実施例では、補正信号に対して正規化を行うが、再構成したＰＳＦから式（１３）中の（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））の値を求め、この値を正規化した後に補正信号を生成してもよい。この場合、正規化においては、タップの値の総和は１ではなく０（所定値）になるように調整する。

最後にステップＳ２６において、画像処理部１０４（補正信号適用部２０３）は、ステップＳ２５で生成した補正信号（補正フィルタ）を入力画像に適用する。すなわち、入力画像に対するアンシャープマスク処理を行う。

画像処理部１０４は、以上の処理を行うことで、様々な撮像光学系や撮像素子の組み合わせに対応でき、かつ処理に用いるために記憶する必要のあるデータ量を低減してアンシャープマスク処理を行うことができる。

なお、上記各実施例では、画像処理装置に相当する画像処理部１０４が撮像装置に組み込まれている場合について説明したが、画像処理装置は、パーソナルコンピュータ等、撮像装置とは別の装置であってもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０４ 画像処理部
２０８ 記憶部

Claims (11)

1. 撮像光学系を通した撮像により生成された第１の画像に対する画像処理を行う画像処理方法であって、
   前記撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、前記撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを用意し、
   前記画像処理として、
   前記係数データのうち前記撮像時における前記光学状態に対応する前記係数を用いて近似点像強度分布関数を生成し、
   該近似点像強度分布関数と、前記撮像に用いられた撮像素子の画素ピッチと、前記第１の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて前記フィルタを生成し、
   前記フィルタを前記第１の画像に適用することで鮮鋭化画像である第２の画像を生成することを特徴とする画像処理方法。
2. 前記撮像光学系の基準値データを用いて算出された前記点像強度分布関数に対して前記近似関数をフィッティングすることで前記係数データを生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記係数データは、前記近似点像強度分布関数に非対称性を付与する係数を含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記係数データは、前記フィルタのゲインを調整するための係数を含むことを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
5. 前記近似点像強度分布関数を用いてアンシャープマスクを生成し、該アンシャープマスクを用いて前記フィルタを生成することを特徴する請求項１から４のいずれか１項に記載の画像処理方法。
6. 前記近似点像強度分布関数から、前記アンシャープマスクを生成することなく、前記フィルタを生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理方法。
7. 前記フィルタのタップ値の総和を所定値にする正規化処理を行い、
   該正規化処理が行われた前記フィルタを前記第１の画像に適用することを特徴とする請求項１から６のいずれか１項に記載の画像処理方法。
8. 前記近似点像強度分布関数が、その中央部から周辺部に向かって連続的に０に減少する分布となるように調整を行い、
   該調整後の近似点像強度分布関数を用いて前記フィルタを生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理方法。
9. コンピュータに、撮像光学系を通した撮像により生成された第１の画像に対する画像処理を行わせるコンピュータプログラムであって、
   前記コンピュータに、
   前記撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、前記撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを用意させ、
   前記画像処理として、
   前記係数データのうち前記撮像時における前記光学状態に対応する前記係数を用いて近似点像強度分布関数を生成させ、
   該近似点像強度分布関数と、前記撮像に用いられた撮像素子の画素ピッチと、前記第１の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて前記フィルタを生成させ、
   前記フィルタを前記第１の画像に適用することで鮮鋭化画像である第２の画像を生成させることを特徴とする画像処理プログラム。
10. 撮像光学系を通した撮像により生成された第１の画像に対する画像処理を行う画像処理装置であって、
    前記撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、前記撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを記憶した記憶手段と、
    前記画像処理を行う処理手段とを有し、
    前記処理手段は、
    前記係数データのうち前記撮像時における前記光学状態に対応する前記係数を用いて近似点像強度分布関数を生成し、
    該近似点像強度分布関数と、前記撮像に用いられた撮像素子の画素ピッチと、前記第１の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて前記フィルタを生成し、
    前記フィルタを前記第１の画像に適用することで鮮鋭化画像である第２の画像を生成することを特徴とする画像処理装置。
11. 撮像光学系を通して撮像を行う撮像素子と、
    前記撮像素子からの出力を用いて生成された第１の画像に対して画像処理を行う請求項１０に記載の画像処理装置とを有することを特徴とする撮像装置。