JP6448526B2 - 画像処理装置、撮像装置、画像処理プログラム - Google Patents

Description

本発明は、撮像により生成された画像を鮮鋭化する技術に関する。

光学系を通した撮像においては、該光学系の点像強度分布関数（ＰＳＦ：point spread function）の影響で点像に拡がり（ぼけ）が生じて劣化した撮像画像が得られる。

一方、撮像画像としての入力画像に対してアンシャープマスクを適用してぼかした画像を生成し、該ぼかし画像と入力画像との差分を入力画像に対して加算または減算して得られた補正成分を用いて入力画像を鮮鋭化するアンシャープマスク処理が知られている。入力画像のうちぼかし画像との差分が大きい領域ほどより鮮鋭化される。

ただし、従来のアンシャープマスク処理ではアンシャープマスクとして回転対称なフィルタを用いており、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。すなわち、収差が大きく発生しているアジムス方向の収差を補正しようとすると、収差が小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差が十分に補正できない。

特許文献１には、像高方向（メリジオナルのアジムス方向）に配列した画素信号列に対して非対称な１次元のフィルタを適用することで、ＰＳＦの影響を低減する方法が開示されている。

また、天文物理学の分野では、測光した天体をフィッティングする際にMoffat関数が利用される。非特許文献１には、このMoffat関数を楕円化したElliptical Moffat関数を用いてＰＳＦをモデル化する方法が開示されている。このような関数を用いて光学系のＰＳＦをフィッティングすることで、ＰＳＦを近似して係数化することができる。

特開２０１０−０８１２６３号公報

Sebastian Berisha, James Nagy, Robert J.Plemmons "Estimation of Atmospheric PSF Parameters for Hyperspectral Imaging"

しかしながら、特許文献１にて開示された方法では、像高方向での非対称性しか考慮しておらず、１次元の補正フィルタを用いるため、像高方向以外の方向への非対称性を改善することができない。さらに、その補正フィルタについてもマイナスタップ係数の個数で該フィルタの非対称性を調整しているため、像高方向での非対称性が光学系のＰＳＦによるぼけ方に対応しておらず、十分な鮮鋭化を行うことができない。

また、非特許文献１にて開示された方法において用いられるElliptical Moffat関数では、光学系の非対称収差やサジタルハロのような複雑な形状を再現することができない。

本発明は、光学系の複雑なＰＳＦの形状を良好に再現することができ、かつそれに必要なデータ量を低減させることも可能な画像処理装置等を提供する。

本発明の一側面としての画像処理装置および画像処理プログラムにより画像処理を実行するコンピュータは、光学系を用いた撮像に関する条件に対応する点像強度分布関数を近似するためのデータを用いて、第１の分布を生成し、第１の分布の一部を、光学系のメリジオナル方向に対応する軸に関して鏡映することにより第２の分布を生成し、第２の分布を用いて鮮鋭化処理に用いる第１のフィルタを生成し、第１のフィルタを用いて入力画像に対する鮮鋭化処理を行って鮮鋭化画像を生成することを特徴とする。なお、上記画像処理装置を含む撮像装置も、本発明の他の一側面を構成する。

本発明によれば、第１の分布を鏡映することで生成された第２の分布から得られる第１のフィルタを用いて鮮鋭化処理を行うことにより、光学系の複雑な形状のＰＳＦにより劣化した入力画像を良好な鮮鋭化することができる。しかも、複雑な形状のＰＳＦを直接近似する場合に比べて、必要なデータ量を低減させることができる。

本発明の実施例１〜３における画像処理（鮮鋭化処理）を示すフローチャート。 各実施例の撮像装置の構成を示すブロック図。 各実施例におけるアンシャープマスク処理による鮮鋭化を示す模式図。 各実施例における撮像光学系のＰＳＦを示す模式図。 回転対称なアンシャープマスクによる鮮鋭化処理を示す模式図。 各実施例における非回転対称なアンシャープマスクによる鮮鋭化処理を示す模式図。 各実施例におけるアンシャープマスクの模式図と断面図。 ベイヤー配列の模式図。 各実施例における近似ＰＳＦの等高線図。 各実施例における係数の算出方法を示すフローチャートである。 各実施例における近似ＰＳＦと設計値との関係を示す図。 各実施例における楕円分布の鏡映処理を示す図。 各実施例におけるアンシャープマスクの補間を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例１〜３の説明に先立って、各実施例に共通する事項について説明する。図３（Ａ），（Ｂ）には、各実施例におけるアンシャープマスク処理としての鮮鋭化処理を模式的に示している。これらの図において、横軸は座標を、縦軸は画素値または輝度値を示す。図３（Ａ）中の実線は撮像光学系を通した撮像により生成された入力画像（撮像画像）を示し、破線は入力画像をアンシャープマスクでぼかした画像（ぼかし画像）を示している。また、点線は鮮鋭化後の画像（鮮鋭化画像）を示している。図３（Ｂ）中の実線は、入力画像とぼかし画像との差分である補正成分を示している。これらの図は、後述する図４におけるｘ方向での断面に相当する。

入力画像をｆ（ｘ，ｙ）とし、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化画像ｇ（ｘ，ｙ）は次式（１）で表すことができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） （１）
式（１）において、ｍは補正の強さを変化させるための調整係数であり、調整係数ｍの値を変化させることにより、補正量を調整することができる。調整係数ｍは入力画像中の位置によらず一定の値であってもよいし、入力画像中の位置に応じて異なる値ｍ（ｘ，ｙ）としてもよい。入力画像中の位置に応じて異なる値とすることにより、該位置に応じて補正量を調整することができる。また、調整係数ｍは、撮像光学系の焦点距離や絞り値および撮像距離（又は被写体距離）等の撮像時の撮像条件に応じて異ならせることもできる。

補正成分ｈ（ｘ，ｙ）はアンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、次式のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば座標（ｘ，ｙ）におけるタップ値である。ここで、＊はコンボリューション（畳み込み積分、積和）を示す。
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） （２）
式（２）の右辺を変形すると、次式（３）のようになる。
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）） （３）
δはデルタ関数を示す。デルタ関数は、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心のタップ値が１で、それ以外のタップ値が０であるフィルタであり、理想点像に基づいて生成されたフィルタ（第２のフィルタ）である。

式（２）の変形により式（３）を表現できるため、式（２）と式（３）は等価である。このため、以下では、式（２）を用いて補正成分の生成について説明する。

式（２）では、入力画像ｆ（ｘ，ｙ）と該入力画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかしたぼかし画像との差分をとり、その差分に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。

例えば、図３（Ａ）において実線で示す入力画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、入力画像ｆ（ｘ，ｙ）をぼかしたぼかし画像は図３（Ａ）において破線で示すようになる。補正成分ｈ（ｘ，ｙ）は、式（２）に示すように、入力画像ｆ（ｘ，ｙ）とぼかし画像との差分に相当するため、図３（Ａ）中の実線から破線を減算することで図３（Ｂ）の実線で表現される成分となる。

このように算出された補正成分を用いて、式（１）の演算を行うことにより、図３（Ａ）において実線で示す入力画像ｆ（ｘ，ｙ）を点線で示すように鮮鋭化することができる。

次に、撮像光学系により劣化した撮像画像を、アンシャープマスク処理により鮮鋭化する場合について説明する。撮像光学系を介して得られる撮像画像（入力画像）ｆ（ｘ，ｙ）は、撮像される元画像（被写体）をＩ（ｘ，ｙ）とし、撮像光学系の点光源に対する応答を表す関数である点像強度分布関数ＰＳＦをｐｓｆ（ｘ，ｙ）とすると、次式（４）のように表すことができる。
ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） （４）
撮像光学系が回転対称な共軸光学系であれば、撮像画像の中心部に対応するＰＳＦは回転対称な形状を有する。このため、撮像画像の中心部に回転対称なＵＳＭを適用することで撮像画像ｆ（ｘ，ｙ）を元画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。このときの補正量は、撮影画像とアンシャープマスクでぼかした撮影画像の差分値となる。このため、精度良く鮮鋭化（補正）するためには、アンシャープマスクは単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用した方がよい。例えば、球面収差の影響によって撮像画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。このため、回転対称にぼける影響を低減する場合であっても、撮像光学系のＰＳＦを使用する方が精度良く補正することができる。

各実施例ではアンシャープマスクＵＳＭ（ｘ，ｙ）の生成にＰＳＦを用いる。図３（Ａ）に示す撮像画像ｆ（ｘ，ｙ）は簡略化のため対称（回転対称）な形状となっているが、形状は対称でなくてもよい。元画像Ｉ（ｘ，ｙ）の形状が非対称（非回転対称）であってもｐｓｆ（ｘ，ｙ）に相当する元画像Ｉ（ｘ，ｙ）に作用する劣化を示す関数（劣化関数）が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。

一方、撮像画像の中心部以外の周辺部については撮像光学系が回転対称な共軸光学系であってもＰＳＦは非回転対称な形状となる。図４（Ａ），（Ｂ）は、ｘｙ平面における撮像光学系のＰＳＦを模式的に示している。図４（Ａ）は軸上（中心部）のＰＳＦを、図４（Ｂ）は軸外（周辺部）のＰＳＦを示している。

例えば、元画像（被写体）が理想点像であったとすると、式（４）から撮像画像ｆ（ｘ，ｙ）は撮像光学系のＰＳＦに相当する。図４（Ｂ）に対応する周辺部の画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元画像が劣化したとすれば、撮像画像は図４（Ｂ）に示すように非回転対称にぼけた画像となる。このように非回転対称にぼけた画像に対してアンシャープマスク処理による鮮鋭化を行う場合について説明する。

図５（Ａ）〜（Ｃ）および図６（Ａ）〜（Ｃ）には、非対称に劣化した撮像画像に対するアンシャープマスク処理を模式的に示している。図５（Ａ）〜（Ｃ）は回転対称なアンシャープマスクを用いて処理を行った場合を、図６（Ａ）〜（Ｃ）は非回転対称なアンシャープマスクを用いて処理を行った場合をそれぞれ示している。縦軸と横軸は図３と同様である。

図５（Ａ）および図６（Ａ）中の実線は非対称に劣化した撮像画像の図４（Ｂ）におけるｙ方向での断面を示しており、点線はアンシャープマスクでぼかしたぼかし画像の同断面を示している。ここでは、撮像画像が撮像光学系のＰＳＦによってよりぼけて裾が広くなっている方をｙ方向でのプラス側とする。図５（Ａ）では回転対称なアンシャープマスクとしてガウシアンフィルタを用い、図６（Ａ）では非回転対称なアンシャープマスクとして撮像装置のＰＳＦを用いている。

図５（Ｂ）および図６（Ｂ）はそれぞれ、アンシャープマスクでぼかしたぼかし画像と撮像画像との差分である補正成分を示している。図５（Ａ）では、実線のピーク位置に対してプラス側においてぼかし画像と撮像画像との差分が小さく、マイナス側において差分が大きくなっている。このため、図５（Ｂ）に示した補正成分も、中心のピーク位置に対して右側（プラス側）より左側（マイナス側）の方が極値が小さくなっている。

図５（Ａ）と図５（Ｂ）との比較から分かるように、プラス側では補正成分の大きさである補正量が小さく、裾が広がっていないマイナス側では補正量が大きい。このため、式（４）による鮮鋭化を行っても非対称（非回転対称）なぼけを補正することはできない。図５（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示している。図５（Ａ）中の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく凹んでおり、非対称なぼけが補正できていない。

ここで、アンシャープマスクを変えずに式（１）の調整係数ｍを変更することで補正量を調整する場合を考える。撮像画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、撮像画像のマイナス側は補正過剰（アンダーシュート）になり、マイナス側の補正量を適切になるように調整係数ｍの値を設定するとプラス側は補正不足となる。このように、非回転対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図６（Ａ）では、ぼかし画像と撮像画像との差分値が実線のピーク位置に対してプラス側で大きく、マイナス側で差分値が小さくなっており、これは図５（Ａ）と逆になっている。このため、図６（Ｂ）に示した補正成分も、中心のピーク位置に対して左側（マイナス側）より右側（プラス側）の方が極値が小さくなっている。

図６（Ａ）において実線で示された撮像画像に対してこの補正成分を適用すれば、ピーク位置に対してプラス側のぼけが大きい方では補正量が大きく、そしてマイナス側のぼけが小さい方では補正量が小さくなる。

こうした非回転対称なアンシャープマスクを用いる場合は、撮像画像（入力画像）のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。

図６（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示している。図６（Ａ）中の実線に対して鮮鋭化できており、かつ図５（Ｃ）で目立ったマイナス側のプラス側に対する凹みが改善できている。さらに、回転対称なアンシャープマスクを用いる場合と比べて、補正過剰になりにくくなるため、式（１）の調整係数ｍの値も比較的大きくとることができる。この結果、非対称性を低減しつつ、より鮮鋭化することができる。また、補正成分の補正量はぼかし画像と撮像画像との差分であるため、より精度良く補正を行うためには、撮像光学系のＰＳＦによって他の部分より大きくぼけた部分がアンシャープマスクによって該他の部分に比べてよりぼかされる必要がある。このように、さらに精度良く補正するには、アンシャープマスクとして撮像光学系のＰＳＦを利用することが理想的である。

次に、アンシャープマスクＵＳＭの生成に用いる係数について説明する。上述したように各実施例では撮像光学系のＰＳＦをアンシャープマスクとして用いる。このとき、撮像光学系のＰＳＦは像高、焦点距離、Ｆ値および撮像距離等の撮像条件によって変化するため、鮮鋭化を行う際には撮像条件に応じたアンシャープマスクを生成する必要がある。撮像条件によって変化するＰＳＦに応じてアンシャープマスクを変形させるために、すべての組み合わせを計算しておき、撮像条件に対応するＰＳＦを選択する方法も考えられる。しかし、このような手法はアンシャープマスクを適用する際の処理速度やデータを保持しておくための記録容量の観点からも好ましくない。

このため各実施例では、撮像光学系のＰＳＦを近似するための係数のデータを保持しておき、アンシャープマスクを作成する際に該係数のデータを用いてＰＳＦを再構成（近似）する。これにより、保持すべきデータ量を低減しつつ、鮮鋭化の効果を最大限とすることを可能としている。各実施例では、ＰＳＦを近似してアンシャープマスクを作成する方法として、以下に説明するように、連続関数とその係数のデータを用いる。

まず、撮像光学系のＰＳＦの近似に用いる連続関数について説明する。先に説明したように、天文物理学の分野において測光した天体をフィッティングする際には、Moffat関数と呼ばれる次式（５）に示す関数Ｐ（ｘ，ｙ）がよく利用される。

ここで、式（５）のα，βは係数であり、特にβ＝１のときをローレンツ関数と呼ぶ。例えば式（５）を用いてＰＳＦをモデル化する場合、計測あるいは計算により算出したＰＳＦの分布に対して式（５）でフィッティングすることで、これらの係数α，βを求める。そして、算出した係数α，βと式（５）を用いることでＰＳＦをモデル化することができる。このように、式（５）でも近似的なＰＳＦを作成することはできるものの、式（５）は座標ｘ，ｙに対して回転対称な分布のみを表現可能な関数であるため、式（５）を用いて非回転対称な分布を作成することはできない。

式（５）を変形した関数として、非回転対称な楕円形状を表現できるElliptical Moffat関数と呼ばれる式（６）（および（６ａ））で示す関数がある。

式（６）中のα，β，γは係数である。式（６ａ）は角度θの回転行列である。式（６）と式（６ａ）とをまとめると、次式（７）のように表現することができる。

式（７）において、ａ，ｂ，ｃ，σ，βは係数である。なお、式（７）を用いる場合において楕円形状を保つためには、係数ａ，ｂ，ｃに関して、ｂ^２−ａｃ＜０の関係を満たす必要がある。

これら式（７）（または式（６））を用いることで式（５）の関数では表現できない楕円形状の分布も再現することができるため、式（５）の関数を用いる場合に比べて補正の精度は向上する。しかし、撮像光学系のＰＳＦに対するフィッティングに式（７）の関数を用いても、非対称収差やサジタルハロのような複雑な形状を再現することができない。

そこで、各実施例では、撮像光学系の非対称収差やサジタルハロのような複雑な形状のＰＳＦを再現可能な関数として次式（８）（（８ａ）〜（８ｃ））に示す関数を用いる。
ｘ≧０かつｙ≧０において、

ｘ≧０かつｙ＜０において、

ｘ＜０において、

式（８）において、ａ，ｂ，ｃ，ｄ，ｅ，σ，βは係数である。なお、式（８）についても、式（７）の場合と同様に、係数ａ，ｂ，ｃに関して、ｂ^２−ａｃ＜０の関係を満たす必要がある。

図９（Ａ）〜（Ｆ）には、式（８）をベースとした関数で表現できる分布形状の例を示している。図９（Ａ）はＸＹ座標において回転対称な分布を示しており、式（５）〜式（８）のいずれの関数でも表現できる。撮像光学系が共軸系であり、像点が光軸上であればＰＳＦも回転対称となるため、式（５）〜式（８）のいずれの関数を用いても図９（Ａ）の分布形状を表現することができる。

図９（Ｂ），（Ｃ）には、Ｘ軸とＹ軸に楕円の長軸と短軸が重なる楕円形状の分布（以下、楕円分布という）を示している。これらの楕円分布は、式（５）の関数では表現できず、式（６）〜（８）の関数のいずれかを用いることで近似精度は向上する。図９（Ｄ）には、Ｘ軸とＹ軸に楕円の長軸と短軸が重ならない場合の楕円分布を示しており、式（５）や式（６）の関数ではこの楕円分布を表現することはできない。この楕円分布は、式（７），（８）の関数いずれか用いることで良好な精度で近似することができる。

図９（Ｅ），（Ｆ）には、Ｙ軸に関して（つまりはＸ方向において）対称で、Ｘ軸に関して（つまりはＹ方向において）非対称な分布形状を示している。図９（Ｅ）の分布形状は、図９（Ｄ）に示す楕円分布のうちＹ軸より＋Ｘ側の部分をＹ軸に関して−Ｘ側に鏡映した分布に相当する。また、図９（Ｆ）の分布形状は、長軸がＹ軸に重なり、短軸がＸ軸に重ならない楕円分布のうちＸ軸よりも上側の部分をＹ軸に関して鏡映し、かつＸ軸より下側の部分を同心半円形状とした分布に相当する。式（５）〜（７）の関数では図９（Ｅ），（Ｆ）のように線対称な分布形状を表現することはできない。一方、本実施例で用いる式（８）の関数であれば、図９（Ｅ），（Ｆ）に示す分布形状も精度良く近似することができる。

前述したように、撮像光学系の光軸上の像点におけるＰＳＦは回転対称な分布形状となるが、光軸に直交する平面（像面）内における光軸上以外の像点ではＰＳＦは回転対称な分布形状になるとは限らない。しかし、撮像光学系が共軸光学系である場合は、光軸上以外の像点であっても、像面内で像点と光軸とを結ぶ直線が伸びる方向（メリジオナル方向）に対して直交する方向（サジタル方向）においてはその像点上のＰＳＦは対称な分布形状を持つ。このように撮像光学系のＰＳＦは回転対称な分布形状を有するとは限らないもののサジタル方向においては対称性を有する。このため、式（８）のｘ方向（図９（Ｅ），（Ｆ）中のＸ方向）をサジタル方向とし、ｙ方向（図９（Ｅ），（Ｆ）中のＹ方向）をメリジオナル方向に一致させることで複雑な非対称収差に対応することができる。

次に、式（８）における各係数について詳細に説明する。式（８）の係数のうち、係数ａ，ｂ，ｃは、図９（Ｄ）に示すようにＸ軸とＹ軸に長軸と短軸が重ならない楕円分布を生成するための係数である。そして、これらの係数ａ，ｂ，ｃを制御することにより、楕円分布のＸ方向とＹ方向での非対称性を制御することができる。さらに、図９（Ｅ），（Ｆ）に示したように、Ｘ軸とＹ軸以外に長軸および短軸のうち少なくとも一方を設定した楕円分布をＹ軸に関してのみ対称化したサジタルハロのような他の関数では表現が困難な収差も表現することができる。

係数ｄは、Ｙ方向（特定方向）において楕円分布を非対称化するための係数であり、この係数ｄを制御することでメリジオナル方向において非対称な形状となる収差に対応することができる。例えばコマ収差はこの係数ｄを制御することで、より近似精度を向上させることができる。

係数ｅ，σ，βは、楕円分布の拡がりを制御するための係数である。近似する楕円分布の拡がりが大きい場合は係数σを大きくし、近似する楕円分布の形状がピーク付近で急激に変化する場合は係数βを大きくすることで、近似精度を向上させることができる。係数ｅは、楕円分布の拡がりを制限するための係数である。係数ｅ＝０の場合は式（８）より楕円分布は周辺側でＰ（ｘ，ｙ）＝０に漸近する。このため、楕円分布の拡がりが小さい場合は係数ｅをｅ＞０とすることで近似精度を向上させることができる。

なお、撮像光学系のＰＳＦを近似するために、楕円分布はＰ（ｘ，ｙ）≧０とする必要がある。このため、ｅ＞０とした場合は、周辺部ではＰ（ｘ，ｙ）＜０となるが、その場合はクリップしてＰ（ｘ，ｙ）＝０とすればよい。

続いて、各実施例におけるアンシャープマスク処理の基本式について説明する。実施例３では、式（１），（２）により導かれる以下の式（１１）を用いて鮮鋭化を行う。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝
（１１）
実施例２では、式（１），（３）により導かれる以下の式（１２）を用いて鮮鋭化を行う。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝
（１２）
実施例１では、式（１２）をさらに変形した以下の式（１３）を用いて鮮鋭化を行う。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝
（１３）
なお、ＰＳＦは、撮像光学系により形成される被写体像の像高、撮像光学系の焦点距離およびＦ値、さらに撮像距離を含む撮像条件ごとに異なる。以下に説明する実施例では、撮像条件として像高を例とするが、焦点距離、Ｆ値および撮像距離に対して異なる収差情報を取得し、それに基づいてアンシャープマスクを生成してもよい。

図２には、実施例１の撮像装置１００の構成を示す。撮像装置１００において、記憶部１２０には、入力画像である撮像画像に対する鮮鋭化処理（アンシャープマスク処理）を含む画像処理を行うためのコンピュータプログラムである画像処理プログラムがインストールされている。画像処理コンピュータにより構成される画像処理部（画像処理装置）１０４は、該画像処理プログラムに従って鮮鋭化処理を実行する。なお、画像処理部１０４内に記憶部を設け、そこに画像処理プログラムをインストールしてもよいし、画像処理プログラムに対応する回路を設計しておき、その回路を動作させることで鮮鋭化処理を実行してもよい。

記憶部１２０は、ＲＯＭやハードディスクドライブ等により構成される。記憶部１２０は、後述する記録部１０８を兼ねてもよい。

撮像装置１００は、撮像光学系１０１および不図示の撮像装置本体（カメラ本体）を有する。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含み、カメラ本体と一体的に又は交換可能に構成されている。

撮像素子１０２は、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の二次元光電変換素子である。撮像素子１０２は、撮像光学系１０１により形成された被写体像（結像光）を撮像（光電変換）してアナログ撮像信号を出力する。アナログ撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、該デジタル撮像信号は画像処理部１０４に入力される。

画像処理部１０４は、デジタル撮像信号に対して所定の画像処理を行って撮像画像を生成するとともに、該撮像画像に対して鮮鋭化処理を行う。本実施例では、撮像装置１００に内蔵された画像処理部１０４が鮮鋭化処理を行うが、パーソナルコンピュータ（ＰＣ）等の撮像装置とは別の画像処理装置が鮮鋭化処理を行ってもよい。

画像処理部１０４は、状態検知部１０７から撮像条件の情報を取得する。撮像条件とは、前述したように、撮像光学系１０１の焦点距離、絞り値および撮像距離（または被写体距離）等である。状態検知部１０７は、システムコントローラ１０６から直接、撮像条件の情報を取得することができ、撮像光学系１０１に関する撮像条件の情報は光学系制御部１０５から取得することもできる。

画像処理部１０４は、楕円分布生成部（第１の分布生成手段）２０１、鏡映化処理部（第２の分布生成手段）２０２および鮮鋭化処理部（フィルタ生成手段および処理手段）２０３を有する。これら各部が行う処理については後述する。画像処理部１０４での鮮鋭化処理により生成された出力画像としての鮮鋭化画像は、記録部１０８に所定のフォーマットで保存される。

記憶部１２０には、上述した画像処理プログラムに加えて、撮像光学系１０１の撮像条件と撮像光学系１０１のＰＳＦとの関係を示す情報を記憶（保持）する記憶手段として機能する。鮮鋭化処理においてＰＳＦのフィッティング（近似）に用いられる式（８）中の係数ａ，ｂ，ｃ，ｄ，ｅ，σ，βのデータ（以下、係数データともいう）は、予め後述する係数算出装置によって算出されて記憶部１２０に保持されている。

画像表示部１１２は、撮像画像や鮮鋭化画像を表示することができる。

以上の各部の動作は、システムコントローラ１０６によって制御される。システムコントローラ１０６は、ＣＰＵ（プロセッサ）やメモリ等を含むマイクロコンピュータにより構成される。撮像光学系１０１の機械的な駆動は、システムコントローラ１０６の指示に基づいて光学系制御部１０５が制御する。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を設けてもよい。ローパスフィルタ等、ＰＳＦに影響を与える光学素子を用いる場合は、アンシャープマスクを作成する時点でこの光学素子の影響を考慮すれば、より高精度な鮮鋭化処理が可能である。赤外カットフィルタを設ける場合も、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）のそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響を与えるため、アンシャープマスクを作成する時点でその影響を考慮することが好ましい。

次に、係数算出装置における係数の算出処理について、図１０のフローチャートを用いて説明する。図１０において、Ｓはステップを示す。このことは、後述する他のフローチャートについても同じである。本実施例の係数算出装置では、撮像光学系１０１の設計値を用いて、アンシャープマスクの生成に用いる係数を算出する。

まずステップＳ１において、係数算出装置は、係数を算出するために必要となる情報を取得する。具体的には、係数を算出する対象となる撮像画像を生成するための撮像時の撮像条件およびＰＳＦの近似における係数の目標値を取得する。

次にステップＳ２において、係数算出装置は、ステップＳ１で取得した撮像条件に対応する撮像光学系１０１の設計値のデータから撮像光学系１０１のＰＳＦ（以下、設計ＰＳＦという）を算出する。図１１には、ステップＳ２で算出される設計ＰＳＦと後述するステップＳ４で生成される近似ＰＳＦの断面を示す。図１１に示すように、ステップＳ２で算出される設計ＰＳＦは分割数（タップ数）がＮ、間隔Ｄｏで離散化されている。設計ＰＳＦのサイズ（カーネルサイズ）は、図１１から明らかなように間隔Ｄｏとタップ数Ｎの積で表すことができる。つまり、離散化された設計ＰＳＦは、間隔Ｄｏ、タップ数Ｎおよびカーネルサイズのうちいずれか２つが分かれば残りの１つも一意に決まる。例えば、間隔Ｄｏ＝２．０μｍでタップ数Ｎ＝１１とすると、カーネルサイズはＤｏｘ（Ｎ−１）＝２０μｍとなる。また、ＤｏｘＮをカーネルサイズと呼んでもよく、この場合は２２μｍとなる。また、間隔Ｄｏはフィッティングする際のピッチとなるため、実在する撮像素子の画素ピッチよりも小さい方がよい。予め小さい画素ピッチでフィッティングしておくことで、様々な画素ピッチの撮像素子に対しても対応することができる。

本実施例では、フィッティングに撮像光学系１０１の設計値のデータを用いているが、チャート等を撮像して撮像画像から撮像光学系１０１のＰＳＦを推定したデータを用いてもよい。

次にステップＳ３では、係数算出装置は、ＰＳＦを近似する際に用いる係数ａ，ｂ，ｃ，ｄ，ｅ，σ，βの初期値を設定する。各係数はこの後の処理で更新されるため、このステップＳ３では初期値として仮の値を設定する。

次にステップＳ４では、係数算出装置は、係数を式（８）に代入してＰＳＦを近似することで、近似ＰＳＦを作成する。本処理では設計値に対してフィッティングを行うことで最適な係数を導出するため、近似ＰＳＦを離散化する。離散化における分割数や間隔はステップＳ２で算出した設計ＰＳＦに合わせる。

次にステップＳ５では、係数算出装置は、ステップＳ２で算出した設計ＰＳＦとステップＳ４で作成した近似ＰＳＦとのずれを評価する。設計ＰＳＦと近似ＰＳＦのずれを評価する際の指標としては、例えば、設計ＰＳＦと近似ＰＳＦとの差分の二乗平均平方根を計算してこれを評価値Ｅとして用いる。評価値Ｅが小さいほど近似ＰＳＦが設計ＰＳＦに近いことを意味する。

続いてステップＳ６では、係数算出装置は、ステップＳ５で算出した評価値ＥとステップＳ１で取得した目標値とを用いて判定を行う。評価値Ｅには、設計ＰＳＦと近似ＰＳＦとのずれに関する情報だけでなく、近似ＰＳＦの係数に関する情報を含ませてもよい。本実施例ではＰＳＦを近似するための関数（モデル）として式（８）を用いるが、前述したように係数ａ，ｂ，ｃはｂ^２−ａｃ＜０の関係を満たす必要がある。このため、係数ａ，ｂ，ｃがこの関係を満たさず、ｂ^２−ａｃ≧０となった場合は、望ましい結果が得られないため、評価値Ｅが大きくなるよう重みを付けることでより効率的にフィッティングを行うことができる。他にも各係数の取り得る範囲の制約がある場合には、同様に評価値Ｅを変化させることで、フィッティングの効率化や精度向上を図ることができる。

本ステップでは、このように算出した評価値Ｅと予め設定された目標値とを比較し、評価値Ｅが目標値以下となればフィッティング、つまりは近似ＰＳＦの生成を完了し、該近似ＰＳＦを得た係数のデータを出力する。評価値Ｅが目標値を超えている場合はまだ十分にフィッティングができていないため、ステップＳ７に進む。

ステップＳ７は、係数算出装置は、係数を変更（更新）する。このとき、更新する係数は１つのみでもよいし複数であってもよい。係数を更新した後、係数算出装置はステップＳ４に戻り、再度近似ＰＳＦを算出し、さらにステップＳ５で評価値Ｅを算出する。そして、ステップＳ６において評価値Ｅが目標値以下に収束するまでステップＳ４からステップＳ７の処理を繰り返す。

なお、係数の更新前の評価値Ｅに対して更新後の評価値Ｅが小さくならなければ更新前の係数に戻ってステップＳ４からの処理をやり直してもよいし、また局所解から抜け出すためにステップＳ３まで戻り、再度初期値を設定してもよい。

以上の係数算出処理により、種々の撮像光学系（交換可能な場合）１０１に対する、かつ様々な撮像条件に対するＰＳＦを予め係数化し、そのデータを記憶部１２０に格納しておくことができる。このように事前に近似ＰＳＦの係数を算出しておくことで、鮮鋭化処理の段階では算出された係数のデータを取得するだけで撮像光学系１０１や撮像条件に応じた近似ＰＳＦを再構成（再現）することができる。

次に、図１のフローチャートを用いて、画像処理部１０４が行う鮮鋭化処理について説明する。このフローチャートで示す鮮鋭化処理には、前処理（ステップＳ１１〜１３）と本処理（ステップＳ１４〜１６）を含み、本処理においてアンシャープマスク処理としての実際の鮮鋭化処理を行う。

まずステップＳ１１において、画像処理部１０４は、撮像画像を入力画像として取得する。ここでは、入力画像としては、例えばデモザイキング後のＧチャンネルの画像データを用いる。ただし、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢすべてのチャンネルの画像データ、またはデモザイキング前の画像データを用いてもよい。

図８には、ＲＧＢすべてのチャンネルを含む画像データを示す。この画像データでは、Ｒ，Ｇ１，Ｇ２およびＢチャンネルのデータがベイヤー配列で配列されている。この画像データから、例えば単純にＧ１チャンネルまたはＧ２チャンネルのデータを抜き出してＧチャンネルの画像データを生成することができる。ＧチャンネルがＧ１とＧ２の２つに分けられていることで、Ｒ，Ｇ１，Ｇ２，Ｂのいずれを抜き出した場合でも画像データの解像度を等しくすることができ、処理やデータ加工がしやすくなる。

次にステップＳ１２において、画像処理部１０４は、鮮鋭化処理（本処理）を行う際に用いる情報を取得する。具体的には、撮像光学系１０１を特定するＩＤ番号（レンズＩＤ）、撮像条件（焦点距離、絞り値、撮像距離等）および撮像素子１０２の画素ピッチ、アンシャープフィルタのタップ数である。ここで取得するレンズＩＤや撮像条件は係数データを取得する際に用い、画素ピッチやアンシャープフィルタのタップ数は生成した近似ＰＳＦを離散化してアンシャープマスクを生成する際に用いる。

図７を用いてアンシャープマスクＵＳＭについて説明する。アンシャープマスクＵＳＭのタップ数は、撮像光学系１０１の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７（ａ）には、例として、１１×１１タップの２次元のアンシャープマスクＵＳＭを示す。また、図７（ａ）では、各タップの値（タップ値）を省略しているが、このアンシャープマスクＵＳＭの一断面を図７（ｂ）に示す。図７（ｂ）において、横軸はタップを示し、縦軸はタップ値を示す。アンシャープマスクＵＳＭの各タップ値の分布は、収差により拡がった信号値（つまりは撮像光学系のＰＳＦ）の分布が理想的である。

続いてステップＳ１３において、画像処理部１０４は、ステップＳ１２で取得したレンズＩＤと撮像条件に対応した撮像光学系１０１のＰＳＦの再構成に用いる式（８）の関数の係数ａ，ｂ，ｃ，ｄ，ｅ，σ，βのデータを取得する。なお、ある像点に対応する近似ＰＳＦを生成するためには、必ずしもこれら全ての係数のデータを取得する必要はない。例えば光軸上のＰＳＦであれば、前述した回転対称な形状となるため、ａ＝ｃ、ｂ＝０、ｄ＝１となる。

また、係数βはべき乗の項であるため、係数βをＰＳＦに応じて変化できるようにすると処理負荷が増大するため、β＝１と固定してもよい。このように、係数βを固定すると、係数βを有する場合に比べて表現できる形状が減るものの、記憶部１２０に保持する係数データ量の削減や処理負荷の低減を図ることができる。

さらに、近似精度を向上させるため、係数を追加してもよい。例えば分布の拡がりが小さく、ピークが高くなるようなＰＳＦに対しては、連続関数で高精度にフィッティングするのは難しいため、ＰＳＦのピークあるいはピーク付近の値を直接、係数として設定してもよい。このように、分布が急激に変化する領域を直接、係数として設定することにより、関数で再現する領域をそれ以外の領域とすることができ、近似精度を向上させることができる。また、ステップＳ１３では、係数データだけでなく、鮮鋭化処理を実行する際に用いる調整係数ｍを取得してもよい。

本実施例では、このようにして係数データを取得し、該係数データを用いて近似ＰＳＦを生成し、該近似ＰＳＦに対応するアンシャープマスクＵＳＭを生成する。このため、撮像光学系１０１のＰＳＦに対応するデータを直接保持する場合と比べて、補正精度を維持したまま保持すべきデータ量を大幅に削減することができる。例えば、図７に示すように、１１ｘ１１タップのアンシャープマスクＵＳＭであれば１２１個のタップ値のデータを持つ必要がある。ＲＧＢに対するデータを別々に保持する場合は、その３倍になるので３６３個のタップ値のデータを保持しなければならない。一方、係数を保持する場合は、式（８）の係数は７個であり、ＲＧＢに対する係数を別々に保持する場合であっても２１個となる。このように、係数のデータを保持することで保持データ量を削減することができる。

次に、ステップＳ１４において、画像処理部１０４（楕円分布生成部２０１）は、ステップＳ１３で取得した係数データと式（８）の関数とを用いて非回転対称な第１の分布である楕円分布を生成する。

図１２（Ａ）には、楕円分布生成部２０１で生成される楕円分布の例を示している。図１２（Ａ）における点Ｃは式（８）の関数を用いて生成された楕円分布の中心であり、処理対象画素上に位置する。本実施例では、処理対象画素としてのある像点上の近似ＰＳＦを再構成する場合に、撮像光学系１０１に対してＸ軸がサジタル方向になり、Ｙ軸がメリジオナル方向になるように楕円分布を生成する。Ｙ軸は、入力画像の中心と該入力画像における処理対象画素とを結ぶ直線に相当する。

Ｘ軸およびＹ軸をそれぞれサジタル方向およびメリジオナル方向に一致させるためには、式（６ａ）の回転行列を用いればよい。ステップＳ１４で生成した楕円分布または次のステップＳ１５で再構成した後の近似ＰＳＦに対して回転処理を行うことで、任意の像点に対して適切な形状の楕円分布を生成することができる。

また、式（８）の関数を用いる場合は、係数ｄにより楕円分布はＹ≧０とＹ＜０とで異なる形状の分布となる。先に説明したように、この係数ｄによってメリジオナル方向に非対称性を有する収差に対応することができる。なお、図１２（Ａ）では楕円分布のｘ＜０の領域まで図示しているが、次のステップＳ１５でＸ＜０の領域の分布はＸ≧０の領域の分布から生成するため、楕円分布生成部２０１ではＸ≧０の領域のみ楕円分布を生成してもよい。

次にステップＳ１５において、画像処理部１０４（鏡映化処理部２０２）は、ステップＳ１４で生成した楕円分布に対してＹ軸に関して対称となるように鏡映（対称化）することで第２の分布を生成する。図１２（Ｄ）には、図１２（Ａ）の楕円分布のうちＸ≧０の領域の分布をＹ軸（を通る平面）に関してＸ方向であるサジタル方向に鏡映することで生成された分布を示す。この鏡映により生成されるＸ＜０の領域の分布は、式（８ｃ）に相当する。

式（８）の関数は図１２（Ａ）に示すように楕円分布の中心がＸ軸とＹ軸の交点となる関数であるが、必ずしも楕円分布の中心がＸ軸とＹ軸の交点とならなくてもよい。図１２（Ｂ）には、楕円分布の中心がＸ軸とＹ軸の交点にない場合の楕円分布を示しており、図１２（Ａ）の楕円分布をｘｙ面内で平行移動させることでこのような分布を生成することができる。そして、図１２（Ｅ）には、図１２（Ｂ）の楕円分布のうちＸ≧０の領域の分布をＹ軸に関してサジタル方向に鏡映することで生成された分布を示す。

図１２（Ｃ）にも、図１２（Ｂ）の楕円分布と同様に中心がＸ軸とＹ軸の交点にない楕円分布を示している。ただし、このような楕円分布をＹ軸に関してサジタル方向に鏡映すると、図１２（Ｆ）に示すように２つに分離した分布が生成される。このように鏡映化によって分布が２つに分離する場合は撮像光学系のＰＳＦを正常に近似している可能性が低い。このため、この分布を用いて鮮鋭化処理を行うと、良好な鮮鋭化画像が得られない可能性が高くなる。

したがって、本実施例では、中心がＸ軸とＹ軸の交点にない楕円分布を用いる場合は、図１２（Ｅ）に示すように少なくとも２つの楕円分布が重なるような分布を生成する。言い換えれば、第１の分布としての楕円分布を入力画像の中心と該入力画像における処理対象画素とを結ぶ直線（Ｙ軸）に重なるように生成し、該楕円分布の一部（Ｘ≧０の領域の分布）を該直線を含む平面に対して鏡映することにより第２の分布を生成する。２つの楕円分布の重なりの判定としては、例えば鏡映後の分布のＹ軸上の値を評価することで判断することができる。

画像処理部１０４（鮮鋭化処理部２０３）は、上記のよう鏡映化処理部２０２で楕円分布の一部の鏡映化により生成された分布を近似ＰＳＦとし、この近似ＰＳＦを用いて、近似ＰＳＦに対応する第１のフィルタとしてのアンシャープマスクＵＳＭを生成する。アンシャープマスクＵＳＭのタップ数は、ステップＳ１２で取得したタップ数を用いる。

次にステップＳ１６において、鮮鋭化処理部２０３は、生成したアンシャープマスクＵＳＭを用いて、式（１３）に従って入力画像に対する鮮鋭化処理を行う。調整係数ｍについては、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して値を決定する。ここで、便宜的に、式（１３）における｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝の部分を鮮鋭化フィルタと呼ぶ。鮮鋭化フィルタは、アンシャープマスクＵＳＭを用いて生成されるが、アンシャープマスクＵＳＭの生成に用いられたＰＳＦは像高によって変化するため、補正精度を高めるために、像高に応じてアンシャープマスクＵＳＭを変化させることが好ましい。
また、数式（１３）は次式のように変形することもできる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛（１＋ｍ）×δ（ｘ，ｙ）−ｍ×ＵＳＭ（ｘ，ｙ）｝
（１４）
前述したように、δ（ｘ，ｙ）は中心のタップのみ作用するため、鮮鋭化フィルタの中心以外のタップについてはｍ×ＵＳＭ（ｘ，ｙ）によって決まる。さらに、鮮鋭化フィルタは補正前後で明るさを保つため、タップ値の合計を１にしておく必要がある。このため、鮮鋭化フィルタはｍ×ＵＳＭ（ｘ，ｙ）が定まれば残りの中心のタップも決まることになる。このように、δ（ｘ，ｙ）を１つのフィルタとして取り扱わなくても、中心のタップと中心以外のタップに分けて処理することにより鮮鋭化フィルタを生成してもよい。生成される鮮鋭化フィルタは式（１３）を利用しても、式（１４）を利用しても同様であるため、これらは等価な処理となる。

図１３（Ａ）には、生成するアンシャープマスクの位置と入力画像との関係を示している。白丸は入力画像のうちアンシャープマスクを生成する位置を示す。図１３（Ａ）では、入力画像において離散した８１位置に対してアンシャープマスクを生成する。そして、これらのアンシャープマスクに対して線形補間等を行うことにより、入力画像における任意の位置のアンシャープマスクを生成することができ、これによりどの像高の位置に対しても適切なアンシャープマスクを適用することができる。

なお、図１３（Ａ）ではアンシャープマスクを生成する位置を９×９＝８１個としているが、処理を軽量化するために位置を減らしてもよいし、より補正精度を高めるために位置を増やしてもよい。

また、図１３（Ａ）の白丸の各点について直接ＰＳＦを再構成し、アンシャープマスクを生成することもできるが、これらのアンシャープマスクも補間により生成してもよい。図１３（Ｂ）にはその例を示しており、各位置におけるアンシャープマスクを補間により生成する場合を示している。図１３（Ｂ）の黒点は、ステップＳ１４においてアンシャープマスクを生成する位置を示している。一般に撮影光学系のＰＳＦは光軸に対して回転対称となるため、アンシャープマスクも同様に回転対称になる。この特徴を利用して、図１３（Ｂ）の例では入力画像の中心から下方向に１０点分のアンシャープマスクを生成し、これらを入力画像の中心に対して回転しながら各白丸に対応する位置のアンシャープマスクを補間により生成する。これにより、各位置に対してアンシャープマスクを生成する必要がなくなり、処理負荷を低減することができる。

本実施例では、ステップＳ１５において楕円分布を鏡映することで生成した近似ＰＳＦをアンシャープマスクの生成に用いるため、アンシャープマスクの補間処理を行う場合には図１３（Ｂ）の黒点に対応する位置で近似ＰＳＦを生成すればよい。

また、調整係数ｍを像高に対して変化させる場合には、アンシャープマスクと同様に位置に応じて線形補間を行うことで各位置に対応した調整係数ｍを生成することができる。このように、補間した調整係数ｍを用いることで、像高に対して連続的に補正量を調整することが可能となる。

また、式（１）は第１項と第２項を加算する形で表現されているが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は減算になる。このように、調整係数ｍの符号の違いによるもので本質的には同じことを意味するため、調整係数ｍの符号によって変えれば演算はどちらであっても構わない。

本実施例では、撮像光学系のＰＳＦに対応する式（８）およびその係数から生成した近似ＰＳＦをアンシャープマスクＵＳＭに用いている。このため、入力画像の周辺部にみられるような撮像光学系の非対称なＰＳＦによる劣化に対しても精度良く鮮鋭化することができる。

次に、実施例２の撮像装置について説明する。本実施例の撮像装置は、実施例１の撮像装置と同様の構成を有する。また、本実施例における鮮鋭化処理については、図１に示したステップＳ１１〜Ｓ１５と同じ処理を行い、ステップＳ１６で実施例１とは異なる処理を行う。

本実施例では、ステップＳ１６において、鮮鋭化処理部２０３は、生成したアンシャープマスクＵＳＭを用いて、式（１２）に従って入力画像に対する鮮鋭化処理を行う。実施例１では鮮鋭化フィルタを生成して入力画像に畳み込むことで鮮鋭化を行ったが、実施例２ではアンシャープマスクＵＳＭより補正成分を生成し、これを調整係数ｍで調整した後、入力画像に対して加算あるいは減算することで鮮鋭化を行う。

本実施例において、ＰＳＦの情報に基づいて生成された鮮鋭化フィルタはアンシャープマスクＵＳＭであり、式（１２）のｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝の部分が補正成分（補正データ）となる。なお、本実施例では、補正成分を生成した後に調整係数ｍで調整を行うが、先に調整係数ｍをアンシャープマスクＵＳＭあるいは理想点像に対して適用してもよい。

本実施例では、式（１３）の処理とは異なる処理を行うが、実施例１と同様に、撮像光学系の非対称なＰＳＦにより劣化した入力画像を精度良く鮮鋭化することができる。

次に、実施例３の撮像装置について説明する。本実施例の撮像装置は、実施例１の撮像装置と同様の構成を有する。また、本実施例における鮮鋭化処理については、図１に示したステップＳ１１〜Ｓ１５と同じ処理を行い、ステップＳ１６で実施例１とは異なる処理を行う。

本実施例では、ステップＳ１６において、鮮鋭化処理部２０３は、生成したアンシャープマスクＵＳＭを用いて、式（１１）に従って入力画像に対する鮮鋭化処理を行う。本実施例では、実施例２と同様にアンシャープマスクＵＳＭより補正成分を生成してこれを調整係数ｍで調整した後、入力画像に対して加算あるいは減算することで鮮鋭化を行う。ただし、本実施例では、実施例２に対して、補正成分が異なる。すなわち、入力画像とアンシャープマスクＵＳＭを入力画像に畳み込んで生成した画像との差分をとることで補正成分を生成し、その補正成分を用いて鮮鋭化を行う。本実施例において、ＰＳＦの情報に基づいて生成された鮮鋭化フィルタはアンシャープマスクＵＳＭであり、式（１１）における｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝の部分が補正成分（補正データ）となる。

本実施例でも、補正成分を生成した後に調整係数ｍで調整しているが、先に調整係数ｍを入力画像とアンシャープマスクＵＳＭを入力画像に畳み込んで生成した画像に対して適用してもよい。

本実施例では、式（１２），（１３）の処理とは異なる処理を行うが、実施例１，２と同様に、撮像光学系の非対称なＰＳＦにより劣化した入力画像を精度良く鮮鋭化することができる。

なお、上記各実施例では、非回転対称な分布の例として楕円分布について説明したが、本発明における非回転対称な分布には、楕円分布以外の分布であって、関数により近似できる分布を含む。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０４ 画像処理部
２０１ 楕円分布生成部
２０２ 鏡映化処理部
２０３ 鮮鋭化処理部

Claims (11)

1. 光学系を用いた撮像により生成された入力画像に対して画像処理を行う画像処理装置であって、
   前記撮像に関する撮像条件に対応する点像強度分布関数を近似するためのデータを用いて、第１の分布を生成する第１の分布生成手段と、
   前記第１の分布の一部を、前記光学系のメリジオナル方向に対応する軸に関して鏡映することにより、前記第１の分布の一部を含む第２の分布を生成する第２の分布生成手段と、
   前記第２の分布を用いて、鮮鋭化処理に用いる第１のフィルタを生成するフィルタ生成手段と、
   前記第１のフィルタを用いて前記入力画像に対する前記鮮鋭化処理を行って鮮鋭化画像を生成する処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の分布は、楕円分布であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の分布生成手段は、前記第１の分布を、前記入力画像の中心と該入力画像における処理対象画素とを結ぶ直線に重なるように生成し、
   前記第２の分布生成手段は、前記第１の分布の一部を前記直線を含む平面に関して鏡映することにより前記第２の分布を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理手段は、前記入力画像と該入力画像に前記第１のフィルタを適用して得られた画像との差分をとることで補正データを生成し、該補正データと前記入力画像とから前記鮮鋭化画像を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記処理手段は、前記第１のフィルタと理想点像に基づいて生成された第２のフィルタとを前記入力画像に適用することで補正データを生成し、該補正データと前記入力画像とを用いて前記鮮鋭化画像を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
6. 前記処理手段は、前記第１のフィルタと理想点像に基づいて鮮鋭化フィルタを生成し、該鮮鋭化フィルタを前記入力画像に適用することで前記鮮鋭化画像を生成することを特徴とする請求項１からの３いずれか一項に記載の画像処理装置。
7. 前記データは、前記点像強度分布関数を近似するための関数に含まれる係数のデータであり、
   前記係数は、前記第１の分布の非対称性を制御するための係数と、特定方向において前記第１の分布を非対称化するための係数と、前記第１の分布の拡がりを制御するための係数とを含むことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記係数は、前記第１の分布の拡がりを制御するための係数として、前記第１の分布の拡がりを制限する係数を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像条件は、焦点距離、絞り値、撮像距離および像高のうち少なくとも１つを含むことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 入力画像を生成するための撮像を行う撮像素子と、
    請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
11. コンピュータに、光学系を用いた撮像により生成された入力画像に対して画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、
    前記撮像に関する撮像条件に対応する点像強度分布関数を近似するためのデータを用いて、非回転対称な第１の分布を生成する処理と、
    前記第１の分布の一部を、前記光学系のメリジオナル方向に対応する軸に関して鏡映することにより、前記第１の分布の一部を含む第２の分布を生成する処理と、
    前記第２の分布を用いて、鮮鋭化処理に用いる第１のフィルタを生成する処理と、
    前記第１のフィルタを用いて前記入力画像に対する前記鮮鋭化処理を行って鮮鋭化画像を生成する処理と、
    を含むことを特徴とする画像処理プログラム。