JP6071966B2 - 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム - Google Patents

Description

本発明は、画像の鮮鋭化処理に関する。

元画像にアンシャープマスクを適用してぼかした画像と元画像との差分を、元画像に加算あるいは減算することで画像を鮮鋭化するアンシャープマスク処理は知られている。ぼかした画像と入力画像の差分が大きいところほど画像はより鮮鋭化される。また、特許文献１は、像高方向に配列する画素信号列に対して非対称な１次元のフィルタを適用することで光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の影響を低減する方法を提案している。

特開２０１０−８１２６３号公報

アンシャープマスクに回転対称なフィルタを利用した場合、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。即ち、収差が大きく発生しているアジムス方向の収差を補正しようとすると収差の小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差が十分に補正できない。

また、特許文献１の方法は、像高方向への非対称性しか考慮されておらず、補正フィルタも１次元となっているため、像高方向以外の方向への非対称性を改善することができない。像高方向とはメリジオナルのアジムス方向である。さらに、フィルタに関しても、マイナスタップ係数の個数でフィルタの非対称性を調整しており、像高方向の補正についても光学系のＰＳＦのぼけ方とは異なるため、従来手法では十分に鮮鋭化することができない。

本発明は、補正信号の生成に必要となるデータの記録量を低減させつつ鮮鋭化効果に優れた画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することを例示的な目的とする。

本発明の画像処理方法は、光学系を介した撮像により生成された入力画像を取得する取得ステップと、前記光学系の撮影条件に対応する点像強度分布関数の近似に使用され、回転非対称な分布を形成し得る関数の係数データを用いて前記点像強度分布関数を再構成する再構成ステップと、前記再構成ステップにおいて再構成された点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記入力画像に対するアンシャープマスク処理を行う処理ステップと、を有し、前記フィルタは２次元のタップのデータを持つことを特徴とする。

本発明によれば、回転非対称な分布を形成し得る関数の係数データを用いて再構成した点像強度分布関数の情報に基づいて生成されたフィルタを用いて入力画像に対するアンシャープマスク処理を行うので、保持するデータの記録量を低減させつつ非対称なぼけに対する優れた鮮鋭化効果を得ることができる。

本発明の撮像装置のブロック図である。（実施例１、２、３） 本発明の画像処理方法を示すフローチャートである。（実施例１、２、３） アンシャープマスク処理による鮮鋭化の模式図である。 ｘｙ平面における撮像光学系のＰＳＦの模式図である。 回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 非回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 アンシャープマスクの模式図と概略断面図である。 本発明の画像処理方法を示すフローチャートである。（実施例１） ベイヤー配列の模式図である。 入力画像の分割方法を説明するための図である。 入力画像の像高方向の補間方法を説明するための図である。 本発明の画像処理方法を示すフローチャートである。（実施例２） 本発明の画像処理方法を示すフローチャートである。（実施例３） 係数データを説明するための図である。 点像強度分布関数の等高線図である 再構成された点像強度分布関数の断面図である。

図３は、本実施形態のアンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図であり、図３（Ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像を表し、図３（Ｂ）の実線は補正成分を表している。図３の横軸は座標であり、縦軸は画素値または輝度値である。図３は、後述する図４の所定の方向（例えば、Ｘ方向）における断面に相当する。

元画像（撮影画像）をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は次式で表すことができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ）・・・（１）
数式（１）では、補正信号ｈ（ｘ，ｙ）は定数倍されて入力画像であるｆ（ｘ，ｙ）に加算されている。数式（１）において、ｍは定数であり、ｍの値を変化させることにより、補正量を調整することができる。なお、ｍは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせた調整係数ｍ（ｘ，ｙ）を用いることにより入力画像の位置に応じて補正量を調整することもできる。また、定数ｍや調整係数ｍ（ｘ，ｙ）は光学系の焦点距離や絞り値や被写体距離といった撮影条件に応じて異ならせることもできる。定数ｍの代わりに調整係数ｍ（ｘ，ｙ）を用いることができることは以下の説明においても同様である。

補正成分ｈ（ｘ，ｙ）はアンシャープマスクをＵＳＭとすると、次式のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、ＵＳＭのある座標（ｘ，ｙ）におけるタップ値である。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）・・・（２）
あるいは、数式（２）の右辺を変形して次式で表すことができる。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））・・・（３）
ここで、＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。「デルタ関数」とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。

数式（３）は数式（２）と演算方法が異なるが、数式（２）を変形することで数式（３）を表現できるため、数式（２）と数式（３）は等価であるといえる。よって、以下、数式（２）を用いて補正成分の生成について説明する。

数式（２）では、撮影画像ｆ（ｘ，ｙ）と撮影画像ｆ（ｘ，ｙ）をアンシャープマスクＵＳＭでぼかした画像の差分をとることによって補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクＵＳＭにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。

例えば、図３（Ａ）の実線で示す撮影画像ｆ（ｘ，ｙ）に対して、アンシャープマスクＵＳＭとしてガウシアンフィルタを使用した場合、撮影画像ｆ（ｘ，ｙ）をぼかした画像は図３（Ａ）の破線で示すようになる。補正成分ｈ（ｘ，ｙ）は、数式（２）に示すように、撮影画像ｆ（ｘ，ｙ）とぼかした画像の差分となるため、図３（Ａ）の実線から図３（Ａ）の破線を減算することで図３（Ｂ）の実線で表現される補正成分を得ることができる。このように算出された補正成分を用いて、数式（１）の演算を行うことによって、図３（Ａ）の実線に示す撮影画像ｆ（ｘ，ｙ）を図３（Ａ）の点線のように鮮鋭化することができる。

次に、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。撮像光学系を介して得られた撮影画像ｆ（ｘ，ｙ）は撮影前の画像（被写体の像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数（点像強度分布関数）であるＰＳＦをｐｓｆ（ｘ，ｙ）とすると、次式のように、表すことができる。

ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ）・・・（４）
ここで、撮像光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なＵＳＭを適用することで撮影画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は撮影画像とアンシャープマスクでぼかした撮影画像の差分値となるため、精度良く補正するためにはアンシャープマスクＵＳＭは単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用した方がよい。例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、回転対称にぼける影響を低減する場合であっても、撮像光学系のＰＳＦを使用する方が精度良く補正することができる。

本実施形態はＵＳＭにＰＳＦを用いる。図３（Ａ）に示す撮影画像ｆ（ｘ，ｙ）は簡略化のため対称な形状となっているが、画像の形状が対称でなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）にかかる劣化関数が回転対称であれば、回転対称なＵＳＭを用いて鮮鋭化することができる。

一方、画像の中心部以外の位置については撮像光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図４は、ｘｙ平面における撮像光学系のＰＳＦの模式図であり、図４（Ａ）は軸上のＰＳＦ、図４（Ｂ）は軸外のＰＳＦを表している。

例えば、元の画像（被写体）が理想点像であったとすると、数式（４）から撮影画像ｆ（ｘ，ｙ）は撮像光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像（被写体）が劣化したとすれば、入力画像として得られる画像は図４（Ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図５、図６は非対称に劣化した画像に対するアンシャープマスク処理の模式図であり、図５は回転対称なアンシャープマスクを用いた場合、図６は回転非対称なアンシャープマスクを用いて処理を行った場合を示している。縦軸と横軸は図３と同様である。

図５（Ａ）、図６（Ａ）の実線は図４（Ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした撮影画像を表している。図５の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図６の非回転対称なアンシャープマスクには撮像装置のＰＳＦを適用している。

図５（Ｂ）、図６（Ｂ）は、それぞれ各アンシャープマスクでぼかした撮影画像と元の撮影画像の差分値をプロットしたものであり、補正成分を表している。便宜的に、図５（Ａ）、図６（Ａ）においては、撮影画像がＰＳＦによって、よりぼけて裾野が広くなっている方をＹ軸のプラス側とする。

図５（Ａ）では、実線のピーク位置に対してプラス側のぼけた画像と元の画像の差分値が小さく、マイナス側のぼけた画像と元の画像の差分値が大きくなっている。そのため、図５（Ｂ）の補正成分も中心のピーク位置対して右側（プラス側）より左側（マイナス側）の方が極値は小さくなってしまっている。

図５（Ａ）と図５（Ｂ）の曲線を比較すればわかるように、撮影画像のプラス側は補正成分の補正量が小さく、裾野が狭いマイナス側は補正量が大きいため、数式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。例えば、アンシャープマスクを変えずに数式（４）の定数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために定数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になり、画像のマイナス側の補正量を適切になるように定数ｍの値を設定すると、画像のプラス側は補正不足となる。

このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図６（Ａ）では、実線のピーク位置に対してプラス側がぼけた画像と元画像の差分値が大きく、マイナス側がぼけた画像と元の画像の差分値が大きくなっており、この傾向は図５（Ａ）と逆になっている。そのため、図６（Ｂ）の補正成分も中心のピーク位置対して左側（マイナス側）より右側（プラス側）の方が極値は小さくなっている。

図６（Ａ）の実線で表された撮影画像に対して、こうした補正成分を適用すれば、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、そしてマイナス側のぼけが小さい方には補正量が小さくなる。

こうした非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、数式（４）の定数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。また、より精度良く補正を行うためには、補正成分の補正量のバランスはぼけた画像と元の画像の差分となるため、撮像光学系のＰＳＦによってより大きくぼけた部分が、アンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。このように、さらに精度によく補正するには、アンシャープマスクとして撮像光学系のＰＳＦを利用することが理想的である。

撮像光学系のＰＳＦをアンシャープマスクとして利用する場合、撮像光学系のＰＳＦは像高、焦点距離、Ｆ値、被写体距離等の撮影条件によって変化するため、鮮鋭化のためには撮影条件に合わせてアンシャープマスクを生成する必要がある。撮影条件によって変化するＰＳＦに合わせてアンシャープマスクを変形させるために、全ての組み合わせを計算しておいて適したＰＳＦを選択する方法も考えられるが記録容量の観点からも好ましくない。

そこで、本実施形態は、撮像光学系のＰＳＦを近似して係数として保持し、アンシャープマスクを作成する際にＰＳＦを再構成することによって、保持するデータ量を低減しつつ、鮮鋭化の効果を最大限に引き出すようにしている。ＰＳＦを近似し、アンシャープマスクを作成する際に、ＰＳＦを、（１）連続関数とその係数で近似および再構成する方法、または、（２）基準となる分布（基準分布）と分布形状を変化させるフィルタで近似および再構成する方法を適用することができる。

第１の方法では、まず、各撮影条件におけるＰＳＦを算出する。ＰＳＦは撮像光学系の設計データから算出してもよいし、チャート等を撮影して撮影画像から光学系のＰＳＦを推定したものを利用してもよい。次に、算出したＰＳＦを適切な関数で近似し各係数を算出する。近似に利用する関数は、ガウス分布（正規分布）のような回転対称な関数ではなく、回転非対称な分布を形成できるような関数である。これは、撮像光学系のＰＳＦが回転対称になるとは限らないからであり、回転非対称な分布の形状も表現できるような関数をベースに係数化する必要がある。近似を行うための非対称な関数としては、例えば、数式（５）がある。なお、数式（５）においてＦ（ｘ）とＧ（ｘ）はそれぞれ数式（６）と（７）で表される。

ａ、μ、σはＰＳＦを再構成する際に利用する係数データである。ａ＝０とすると平均値μ、標準偏差σの正規分布、ａが非ゼロで非対称な分布となり、この式で近似することで、回転対称、および回転非対称な分布を再現することができる。係数ａのような分布形状の対称性を変化させることのできる係数を有し、その係数を変化させることで撮像光学系の非対称収差に対応させることが可能となる。なお、数式（５）では簡略化のために１次元で表現しているが、２次元の場合においても同様に成り立つ。２次元の場合であれば、例えば、Ｆ（ｘ）、Ｇ（ｘ）をそれぞれ以下のようにすればよい。

Ｆ（ｘ，ｙ）のａ、ｂを調整することでＰＳＦの非対称性を制御することができる。図１５は、式（８）、（９）を用いて再構成した、ＰＳＦの分布形状（等高線図）の模式図である。図１５（Ａ）は回転対称な分布形状を表し、数式（８）でａ＝０、ｂ＝０の場合にこの形状を再構成することができる。図１５（Ｂ）に示す、非対称な分布形状は、数式（８）のａ、ｂの値を非ゼロに設定することによって得ることができる。また、図１５（Ｃ）、（Ｄ）に示すように、水平方向（Ｘ軸方向）、垂直方向（Ｙ軸方向）で分布の広がりの比率を変化させる場合は、数式（９）を以下のように変形することで実現することができる。

数式（１０）において、σ＞ξとするとＹ軸よりもＸ軸方向に分布が広がった図１５（Ｃ）に示す形状となり、σ＜ξとするとＸ軸よりもＹ軸方向に分布が広がった図１５（Ｄ）に示す形状となる。数式（５）、（８）、（１０）を利用してフィッティングすることにより、図１５に示すような様々な形状分布を係数データとして算出することができる。

また、数式（５）のような関数をモデルとして利用するのではなく、直交化された多項式をモデルとして、フィッティングを行い算出された係数を利用してもよい。最後に、これら係数ａ、ｂ、μ、η、σを撮影条件ごとに算出し、算出時の各撮影条件と算出した各係数値を関連付けておく。

図１４は、生成した係数群の模式図である。ある焦点距離、Ｆ値、被写体距離における像高に対する各係数を表している。図１４は、像高に対する各係数を示しているが、焦点距離、Ｆ値、被写体距離についても同様に表現することができ、撮影条件に対して一意的に各係数が決まるように出力する。

第２の方法では、基準分布に分布形状を変化させるフィルタを適用した際、元のＰＳＦと一致するような基準分布とそれに適用するフィルタを生成する。例えば、ある撮影条件における同一画像内の任意の像高に対応したＰＳＦを再構成する場合、軸上のＰＳＦを所定のタップ数でサンプリングしたデータを基準分布、そのサンプリングされた軸上ＰＳＦに適用するフィルタを像高ごとに保持する。

第１の方法は、図１４に示すように、ａ、ｂ等の分布形状を変化させる係数を複数保持するが、第２の方法は、複数の係数で構成されたフィルタを保持する。例えば、ある対称な分布を持ったデータ（フィルタ）に対して非対称なフィルタを畳み込んだ場合、元の対称な分布を持ったデータは非対称となる。ここで、適用するフィルタを変化させれば生成されるデータの分布を変化させることができ、この構成でもＰＳＦを近似することができる。よって、第２の方法は、基準分布の形状を変化させるフィルタを係数データとして出力する。

なお、基準分布及び基準分布に適用するフィルタは１次元でも２次元のフィルタでもよく、複数のフィルタで構成されていてもよい。例えば、図１５（Ａ）に示す分布のフィルタに対し、［０．２５ ０．５ ０．２５］というＸ軸方向に配列された１次元フィルタ（１ｘ３）を、各行に対しＸ軸方向に畳み込むと、図１５（Ｄ）に示すように、Ｘ軸方向に分布する形状を形成することができる。あるいは、［０．２５ ０．５ ０．２５］がＹ軸方向に配列された１次元フィルタ（３×１）を各列に対しＹ軸方向に畳み込むと、図１５（Ｃ）に示すように、Ｘ軸方向に分布する形状を形成することができる。更に、［０．１ ０．５ ０．４］という非対称なフィルタ（３×１）を各列に対しＹ軸方向から畳み込むと図１５（Ｂ）に示すように、原点（Ｘ，Ｙがゼロ）に対して点対称とならない分布も形成可能となる。

各手法の係数データの生成方法の説明は以上となり、それぞれの係数データからＰＳＦを再構成する方法については実施例で説明する。

続いて、後述の各実施例において利用するフィルタと補正信号、そして各実施例のアンシャープマスク処理について説明する。

実施例１では、数式（１）、（２）により導かれる以下の式を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝・・・（１１）
実施例２では、数式（１）、（３）により導かれる以下の式を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝・・・（１２）
実施例３では、数式（１２）をさらに変形した以下の式を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝・・・（１３）
また、数式（１３）は次式のように変形することもできる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛（１＋ｍ）×δ（ｘ，ｙ）−ｍ×ＵＳＭ（ｘ，ｙ）｝・・・（１４）
実施例３では、数式（１３）を用いて鮮鋭化を実行しているが、数式（１４）を用いても同様に鮮鋭化を実行することができる。

図１は、実施例１における撮像装置１００のブロック図である。撮像装置１００には、入力画像の鮮鋭化処理（画像処理方法）を行うプログラムが記憶手段１２０にインストールされており、鮮鋭化処理は撮像装置１００の画像処理部１０４（画像処理装置）により実行される。記憶手段１２０は、ＲＯＭやハードディスクドライブなどから構成されるが、後述する記録部１０８が兼ねてもよい。

撮像装置１００は、撮像光学系１０１（レンズ）および撮像装置本体（カメラ本体）を備える。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮像光学系１０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの二次元撮像素子である。撮像素子１０２は、撮像光学系１０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。被写体像は、撮像素子１０２により光電変換が行われてアナログ信号（電気信号）に変換され、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換され、このデジタル信号は画像処理部１０４に入力される。

画像処理部１０４は、このデジタル信号に対して所定の処理を行うとともに所定のアンシャープマスク処理を行う画像処理手段である。なお、本実施例では、撮像装置の画像処理部が鮮鋭化処理を行っているが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。

画像処理部１０４は、状態検知部１０７から撮像装置１００の撮影条件情報を取得する。撮影条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部１０７は、システムコントローラ１０６から直接に撮影条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系１０１に関する撮影条件情報は、撮像光学系制御部１０５から取得することもできる。

続いて、画像処理部１０４は入力画像に対して鮮鋭化処理を行う。画像処理部１０４は、補正信号生成部２０２（補正信号生成手段）、補正信号適用部２０３（補正信号適用手段）、係数情報取得部２０４（係数情報取得手段）、ＰＳＦ再構成部２０５（ＰＳＦ再構成手段）を有する。なお、画像処理部１０４が画像処理装置として構成される場合、撮像装置１００のシステムコントローラ１０６は、撮影画像と対応付けて収差情報を記憶してもよい。

画像処理部１０４で処理された出力画像を、記録部１０８に所定のフォーマットで保存する。記録部１０８は、撮像光学系１０１の撮影条件と撮像光学系のＰＳＦを再構成するのに必要な係数データを記憶する記憶手段としても機能する。

画像表示部１１２は、鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。画像表示部１１２には、高速表示のために簡易処理を行って得られた画像を表示してもよい。

以上の一連の処理は、システムコントローラ１０６によって制御される。システムコントローラ１０６は、マイクロコンピュータ、ＣＰＵ（プロセッサ）などとして構成される。また、撮像光学系１０１の機械的な駆動は、システムコントローラ１０６の指示に基づいて、撮像光学系制御部１０５により行われる。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ローパスフィルタなどのＰＳＦの特性に影響を与える光学素子を用いる場合、アンシャープマスクを作成する時点でこの素子の影響を考慮すれば、より高精度な画像鮮鋭化処理が可能である。赤外カットフィルタにおいても、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）の各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、アンシャープマスクを作成する時点でその素子の影響を考慮することがより好ましい。

次に、図２を参照して、本実施例における画像処理方法について説明する。図２は、本実施例の全体的な流れを示したフローチャートであり、「Ｓ」は「ステップ（工程）」を表す。図２に示すフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム（画像処理プログラム）として具現化が可能である。これは他のフローチャートにおいても同様である。図２の各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４により行われる。

まず、撮影画像を入力画像として取得し（Ｓ１１）、続いて、係数情報取得部２０４は入力画像の撮影条件に対応した撮像光学系のＰＳＦを再構成するのに必要な係数データを記録部１０８より取得する（取得ステップＳ１２）。次に、ＰＳＦ再構成部２０５は係数データに基づいてＰＳＦを再構成し（再構成ステップＳ１３）、補正信号生成部２０２において再構成されたＰＳＦをアンシャープマスクとして補正信号を生成する（生成ステップＳ１４）。次に、補正信号適用部２０３は、Ｓ１４で生成された補正信号を用いて入力画像に対して鮮鋭化処理を実行する（Ｓ１５）。Ｓ１５における処理内容については後述する。

図８は、実施例１の詳細な画像処理方法のフローチャートである。図８の各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４により行われる。

図８（ａ）において、まず、画像処理部１０４は、撮影画像を入力画像として取得する（Ｓ１１１）。入力画像として使用する色成分データは、例えば、デモザイキング後のＧチャンネルの画像データデータである。但し、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢすべてのチャンネルの画像データ、あるいはデモザイキング前の画像データであってもよい。

図９は、一般的なベイヤー配列の模式図である。入力画像は、色成分ごとに離散的に規則配列された画像データである。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として処理してもよいし、ある特定のチャンネルのみ入力画像として使用してもよい。あるいは図９に示すように、ＧチャンネルをＧ１、Ｇ２の２つにわけ、４チャンネルとして取り扱ってもよい。このようにＧチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。補正対象の色成分について補間した画像に対して鮮鋭化が行われてもよい。

Ｓ１１２の係数データの取得、およびＳ１１３のＰＳＦの再構成には、前述したように、２通りの手法がある。

連続関数とその係数で近似および再構成する第１の方法では、Ｓ１１２において、係数情報取得部２０４は、入力画像に対応した撮影画像のＰＳＦを再構成するのに必要な係数データを記録部１０８より取得する。係数データはＰＳＦの分散や対称性に関し、撮影条件に応じて各係数を取得する。

数式（５）で元のＰＳＦから係数データを生成する場合、数式（６）の係数ａが分布の対称性に影響する。撮像光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となるため、画像の中心部に対応する係数ａはゼロまたはゼロに近い値となる。一方、画像の周辺部においてはコマ収差等の非対称収差の影響で非対称なＰＳＦとなることがあり、元のＰＳＦが非対称な程、対応する係数ａの絶対値が大きくなる。

また、数式（７）において、係数σは分布の分散に影響し、一般的に撮像光学系の性能が良い画像の中心付近ほど係数σは値も小さくなる。逆に画像の周辺部は一般的に画像の中心部と比べると性能が落ちることが多く、その場合、元のＰＳＦの分散値も大きくなる傾向にあるため、画像の中心部に比べると画像の周辺部の係数σの方が大きな値をとることが多い。

本実施例では、数式（５）で係数データを生成することを前提に説明しているが、この数式以外の関数を利用して係数データを生成してもよく、数式（５）の分布の分散に影響する係数σや、非対称性に影響する係数ａに対応する係数を生成できればよい。

間接的に分布の分散や非対称性に影響を与える係数を本発明に適用してもよい。例えば、式（５）の関数の代わりにエルミート多項式やルジャンドル多項式等を利用して、係数データの算出方法と同様の方法により元のＰＳＦを近似し、ある次数までの係数を本発明の係数データとして利用してもよい。

次に、ＰＳＦ再構成部２０５は、Ｓ１１２で取得した係数データに基づいてＰＳＦを再構成する（Ｓ１１３）。ＰＳＦは、係数データと係数データを算出する際に利用した関数に基づいて再構成され、本実施形態は再構成したＰＳＦをアンシャープマスクして利用する。

次に、図７を参照して、アンシャープマスクについて説明する。アンシャープマスクは撮像光学系の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７（ａ）のアンシャープマスクは、一例として、１１×１１タップの２次元のマスクである。図７（ａ）では、各タップ内の値（フィルタ係数）を省略しているが、このアンシャープマスクの一断面を図７（ｂ）に示す。図７（ｂ）において、横軸はタップ、縦軸はタップの値（フィルタ係数値）であり、点線は係数データから再構成されたアンシャープマスクの分布である。

図７（ｂ）の×印は再構成したＰＳＦの各タップに対応する値を示しており、Ｓ１１３で生成されたアンシャープマスクはデジタルデータとして取り扱うため、離散化および量子化処理を行う。本処理では、アンシャープマスクを生成する際に、係数から連続関数を作ることができるため、タップ数やピッチを可変にすることができる。また、図１６は、ＰＳＦの断面図を示したもので、アンシャープマスクとして図の領域Ａの部分を再現させたいとき、少し広めの領域Ｂでフィッティングし、係数を生成してもよい。こうすることで、例えば交換レンズ等で、あとからタップ数やピッチを変更したときに、領域を増やす方向にも変更することが可能となる。

あるいは、タップ数やピッチ、再構成の精度等があらかじめ決まっている場合は、その光学系やセンサーに応じた領域で生成してもよい。基本的に、生成されるアンシャープマスクの１つのタップの大きさは、画像を取得した際の撮像素子の１画素の大きさに一致させる必要があるため、一意的に決まる場合はセンサーの画素サイズに合うよう生成する。本処理のように、係数からアンシャープフィルタを再構成する場合、係数を増やせばその分鮮鋭化の際の補正精度も向上するため、要求精度に合わせて係数の生成、及び再構成を行うとよい。

次に、Ｓ１１２、およびＳ１１３を、基準分布と分布形状を変化させるフィルタで近似および再構成する第２の方法においても基本的な流れは第１の方法と同様であるため、異なる部分のみ説明する。第２の方法のＳ１１２の係数データの取得では、基準分布の形状を変化させるフィルタを係数データとして取得する。このとき、取得してきた係数データ（フィルタ）を適用する基準分布を一緒に記録部１０８より取得してもよい。あるいは、基準分布については予め保持しておいてもよい。また、基準分布は撮影条件ごとに変化させることなく共通化してもよく、ある一部の撮影条件、たとえば同じ焦点距離、Ｆ値、被写体距離であれば共通化するということもできる。

次に、Ｓ１１３において係数データと基準分布からＰＳＦの再構成を行う。第２の方法では、基準に対して係数データを畳み込むことで、元のＰＳＦを再構成し、再構成したＰＳＦをアンシャープマスクとして利用する。尚、係数データの畳み込みは１回でなくてもよく、基準分布に対して複数の係数データを畳み込んだり、基準分布にそれぞれ畳み込んで加算することでＰＳＦを再構成してもよい。

Ｓ１１２、およびＳ１１３は、第１の方法と第２の方法のいずれの手法を用いてもよい。どちらの手法を用いても係数データを取得し、係数データから撮像光学系の元のＰＳＦを再構成するため、撮像光学系のＰＳＦに対応するデータを直接保持する場合と比べて、補正精度を維持したまま記録容量を大幅に削減することができる。

例えば、図７（ａ）に示すように、１１×１１タップであれば、１２１個のデータを持つ必要があり、ＲＧＢを別々に保持する場合は３倍になるので３６３個のデータを保持しなければならない。一方、係数で持つ場合、数式（８）、（９）で保持すると係数は５個、ＲＧＢを別々に保持する場合であっても１５個となる。このように、図７（ａ）に示すようにそれぞれのタップの値をそのまま保持する場合に対し、係数を保持することで飛躍的な軽量化を実現することができる。

ＰＳＦは像高によって変化するため、補正精度を高めるためには、像高に応じてアンシャープマスクを変化させることが好ましいが、記録部１０８に記録するデータ容量はコストアップをもたらす。そこで、本実施例は、アンシャープマスクを像高ごとに変化させるために、入力画像を複数の領域に分割し、領域ごとに少なくとも２点の像高におけるＰＳＦの情報を用いて補間処理を行うことで中間に相当するアンシャープマスクを生成している。補間方法の詳細については後述のＳ１１５において説明する。

次に、入力画像の領域の分割について説明する。図１０は入力画像の模式図であり、便宜上入力画像の長辺方向をｘ軸、短辺方向をｙ軸とし、画像の中心を座標の原点とする。本実施例は、図１０に示すように、一例として、入力画像を領域Ａから領域Ｈの８つの領域に分割し、各領域の周辺部、および原点のＰＳＦの情報を取得する。なお、領域の分割数は撮影条件や撮像光学系の光学特性、あるいは記録部のデータ容量等を考慮し決定すればよく、領域の分割数は限定されない。

次に、補正信号生成部２０２はＳ１１３で再構成したＰＳＦを用いてフィルタリング処理を行う（Ｓ１１４）。本実施例は、ＰＳＦをアンシャープマスクとして使用し、入力画像にアンシャープマスクをコンボリューション処理（畳み込み積分、積和）する。Ｓ１１３で再構成したＰＳＦは周辺８つ中心１つの計９つあるため、それぞれに対応したアンシャープマスクによりぼけた入力画像、つまりアンシャープマスクをフィルタリングした画像データは９つできることになる。

次に、補正信号生成部２０２はＳ１１４で生成した、アンシャープマスクをフィルタリングした複数の画像データを用いて像高方向の補間処理を行い、１つのアンシャープマスクでフィルタリングされた画像データを生成する（補間ステップＳ１１５）。

図１１を参照し、像高方向の補間処理について説明する。図１０において、原点に対して領域Ｃがある方向をｘ軸の正の方向、領域Ａがある方向をｙ軸の正の方向とすると、図１１はｘ軸ｙ軸がともに正となる入力画像の第１象限の領域を示している。ここでＰ０は原点、Ｐ１、Ｐ２、Ｐ３はそれぞれ領域Ａ、領域Ｂ、領域Ｃの周辺像高とし、ステップＳ１１３においてＰＳＦ再構成部２０５が各像高Ｐ０、Ｐ１、Ｐ２、Ｐ３に対応するＰＳＦを再構成したとする。

図１１において、白丸で表された点Ｐｎは画像内の任意の点（像高）を表しており、領域Ｂ内の点Ｐｎは点Ｐ０と点Ｐ２のＰＳＦの情報を用いて、Ｓ１１４で作成したアンシャープマスクを入力画像にフィルタリング処理したデータを使用する。同様に、領域Ａ及び領域Ｃ内の点Ｐｎはそれぞれ点Ｐ０と点Ｐ１、点Ｐ０と点Ｐ３の像高に対応するアンシャープマスクを、Ｓ１１４において入力画像にフィルタリング処理したデータを使用する。

領域内の２つの像高から任意の点Ｐｎにおけるフィルタリング処理したデータに相当する補間データの生成について説明する。図１１に示すように、領域Ｂ内の点Ｐｎがあり、原点Ｐ０からの距離がｄ０、点Ｐ２からの距離がｄ２であるとする。また、Ｓ１１４において、点Ｐ０、Ｐ２に対応するＰＳＦを用いてフィルタリングした入力画像をそれぞれＦ０、Ｆ２とすると、任意の点Ｐｎに相当する補間データＦｎは、次式のようになる。

Ｆｎ＝Ｆ０×（１−ｄ０）＋Ｆ２×ｄ２・・・（１５）
このような補間処理を行うことで、各領域内の任意の像高における補間データを生成することができ、Ｓ１１４において生成された、入力画像に対しアンシャープマスクをフィルタリング処理した複数の画像データから１つの画像データが生成される。このようにして生成された画像データは、像高に応じて異なるＰＳＦを用いて入力画像に対しアンシャープマスクをフィルタリング処理したデータに相当する画像データよりもデータ量を少なくすることができるので、処理速度を改善することができる。また、像高や画像の位置ごとに細かく分割してＰＳＦを予め用意しておきアンシャープマスクをフィルタリングする場合に比べて精度は若干落ちるものの、補間処理によりデータ量や処理速度を大幅に改善することができる。

なお、数式（１５）は第１象限の領域Ｂに関する計算式となっているが、他の領域、他の象限についても同様な演算を行うことにより補間処理後のデータを作成することができる。また、像高の補間に使用する計算式は数式（１５）に限らず、計算式に２次曲線を使用したり、あるいは各フィルタリングした入力画像に対してある定数を掛けることで重み付けしてしてもよい。

次に、補正信号生成部２０２はＳ１１５で生成した補間データを用いて補正信号を生成する（Ｓ１１６）。本実施例において、補正成分は数式（２）で示されるものであり、入力画像とＳ１１５で生成した補間データの差分をとることで生成される。

次に、補正信号適用部２０３は、Ｓ１１６で生成した補正信号を入力画像に適用することによって画像を鮮鋭化する（Ｓ１１７）。本実施例において、補正信号の適用処理は数式（１）に対応し、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して定数ｍの値を決定する。このようにして決定した定数ｍ、Ｓ１１６で生成した補正信号、そして入力画像を使用し、鮮鋭化処理を行う。

数式（１）は第１項と第２項を加算する形で表現されているが、これは定数ｍが正の場合であり、定数ｍが負の場合は減算になる。このように、本実施例の鮮鋭化処理では補正信号を入力画像に適用する際、加算あるいは減算となるが、定数ｍの符号の違いによるもので本質的には同じことを意味するため、定数ｍの符号によって変えれば演算はどちらであっても構わない。本実施例では、再構成した撮像光学系のＰＳＦをアンシャープマスクに用いているため、入力画像の周辺部にみられるような撮像光学系の非対称なＰＳＦによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。

本実施例では、像高方向の補間をフィルタリング後に行ったが、補正信号に対して行ってもよいし（図８（ｂ））、鮮鋭化後の画像に対して行ってもよい（図８（ｃ））。

図８（ｂ）では、補正信号を生成した後に像高方向の補間処理を行う。補正信号生成部２０２はＳ１２４で入力画像にアンシャープマスクをフィルタリングしたデータから補正信号を生成する（Ｓ１２５）。補正信号は入力画像とフィルタリングしたデータを用いて、数式（２）に基づき、入力画像とフィルタリングしたデータの差分をとることで生成される。補正信号はＳ１２４で生成した、アンシャープマスクをフィルタリングしたデータ分だけ生成される。

次に、補正信号生成部２０２は、Ｓ１２５で生成した複数の補正信号を用いて像高方向の補間処理を実行する（Ｓ１２６）。補間処理は補間する対象が変わるものの、基本的な処理の流れはＳ１１５における補間処理と同様である。Ｓ１１５では、Ｓ１１３で再構成したＰＳＦをアンシャープマスクとして利用し、そのアンシャープマスクを入力画像に畳み込んだデータを像高方向に補間する。一方、Ｓ１２６では、入力画像とアンシャープマスクを入力画像に畳み込んだデータの差分を補正信号とし、その補正信号を像高方向に補間する。数式（２）におけるｆ（ｘ，ｙ）＊ＵＳＭを像高方向に補間するのがＳ１１５、ｈ（ｘ，ｙ）を像高方向に補間するのがＳ１２６である。

Ｓ１１５におけるｆ（ｘ，ｙ）＊ＵＳＭのデータをｈ（ｘ，ｙ）に置き換えることでＳ１２６の処理を実現することができる。補正信号を補間処理した後の補正信号のデータを用いて、補正信号適用部２０３は入力画像に対して補正信号を適用する（Ｓ１２７）。Ｓ１２７における補正信号の適用処理についてはＳ１１７と同様である。

図８（ｃ）では、補正信号を適用した後の入力画像に対して像高方向の補間を行う。補正信号適用部２０３はＳ１３５で生成した補正信号を用いて、入力画像に対して鮮鋭化処理を行う（Ｓ１３６）。Ｓ１３５で生成した補正信号は、Ｓ１３３で再構成したＰＳＦを用いて作成された複数のアンシャープマスクの分だけ生成される。Ｓ１３６では、数式（１）に基づき、Ｓ１３５で生成された複数の補正信号をそれぞれ入力画像に適用することで、鮮鋭化処理を行う。

次に、Ｓ１３６で入力画像に対し補正信号を適用することで生成した複数の鮮鋭化画像を像高方向に補間処理を実施する（Ｓ１３７）。補間処理は補間する対象が変わるものの、基本的な処理の流れはＳ１１５やＳ１２６と同様である。Ｓ１２６とＳ１３７を比較すると、数式（１）におけるｈ（ｘ，ｙ）を像高方向に補間するのがＳ１２６であり、ｇ（ｘ，ｙ）を像高方向に補間するのがＳ１３７となる。よって、Ｓ１２６におけるｈ（ｘ，ｙ）のデータをｇ（ｘ，ｙ）に置き換えることでＳ１３７の処理を実現することができる。

実施例２の撮像装置は、実施例１の撮像装置と同様の構成を有する。実施例２は、図８に示す画像処理方法の代わりに図１２に示す画像処理方法を使用する点で実施例１と相違する。図１２は、実施例２の画像処理方法を示すフローチャートであり、各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４より行われる。

本実施例は、補正信号の生成方法が実施例１と異なる。Ｓ２１１、Ｓ２１２、Ｓ２１３はＳ１１１、Ｓ１１２、Ｓ１１３と同様である。実施例１は、数式（２）に基づいて補正信号を生成するのに対し、本実施例は、数式（３）に基づいて補正信号を生成する。本実施例の補正信号生成部２０２で補正信号を生成する際に、まず理想点像とＰＳＦ再構成部２０５が再構成したＰＳＦの差分をとり、この差分情報に基づいてフィルタを生成する（Ｓ２１４）。次に、補正信号生成部２０２は、生成したフィルタを入力画像に対して入力画像を畳み込むことで補正信号を生成する（Ｓ２１５）。Ｓ２１６、Ｓ２１７、Ｓ２１８はＳ１１５、Ｓ１１６、Ｓ１１７と同様である。これにより、数式（１２）に基づく鮮鋭化処理を実行することができる。

なお、像高方向の補間に関しては、実施例１で説明したように、補正信号の段階で実行してもよいし、補正信号を入力画像に適用して鮮鋭化した段階で像高方向の補間を実行してもよい。

実施例３の撮像装置は、実施例１の撮像装置と同様の構成を有する。実施例３は、図８に示す画像処理方法の代わりに図１３に示す画像処理方法を使用する点で実施例１と相違する。図１３は、実施例３の画像処理方法を示すフローチャートであり、各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４より行われる。

本実施例は、補正信号の生成方法や補正信号の適用方法が実施例１、２と異なり、本実施例は、数式（１３）に基づいて補正信号を生成し、入力画像に対して生成した補正信号を適用する。よって、図１３のフローチャートの中で処理の内容が実施例１、２と異なるところはＳ３１４の補正信号の生成、Ｓ３１５の補正信号の適用になる。Ｓ３１１、Ｓ３１２、Ｓ３１３はＳ１１１、Ｓ１１２、Ｓ１１３と同様である。

本実施例では、Ｓ３１３で再構成したＰＳＦをアンシャープマスクとして利用し、数式（１３）の中括弧の部分に相当する補正信号を生成する（Ｓ３１４）。なお、本実施例では、補正信号生成部２０２が生成する補正信号はフィルタと等価となる。次に、補正信号適用部２０３は、Ｓ３１４において生成した補正信号を入力画像に畳み込みを行い、鮮鋭化する（Ｓ３１５）。本実施例の鮮鋭化処理では、予め撮像光学系のＰＳＦをアンシャープマスクとして生成したフィルタ（補正信号）を、撮影画像に対して一度の畳み込みで鮮鋭化することができる。

以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。

本発明の画像処理方法は、撮像装置や専用の画像処理装置に適用することができる。

１０４…画像処理部、２０２…補正信号生成部（生成手段）、２０３…補正信号適用部（鮮鋭化手段）、２０４…係数情報取得部、２０５…ＰＳＦ再構成部

Claims (20)

1. 光学系を介した撮像により生成された入力画像を取得する取得ステップと、
   前記光学系の撮影条件に対応する点像強度分布関数の近似に使用され、回転非対称な分布を形成し得る関数の係数データを用いて前記点像強度分布関数を再構成する再構成ステップと、
   前記再構成ステップにおいて再構成された点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記入力画像に対するアンシャープマスク処理を行う処理ステップと、
   を有し、
   前記フィルタは２次元のタップのデータを持つことを特徴とする画像処理方法。
2. 前記アンシャープマスク処理を行う処理ステップは、
   前記再構成ステップにおいて再構成された前記点像強度分布関数の情報に基づいて生成されたフィルタを、前記光学系を介した撮像により生成された入力画像に適用した画像と、前記入力画像との差分をとることによって補正信号を生成する生成ステップと、
   前記生成ステップにおいて生成された前記補正信号を定数倍して前記入力画像に加算することにより、または、前記生成ステップにおいて生成された前記補正信号を前記入力画像の位置に応じた調整係数を用いて調整して前記入力画像に加算することによって前記入力画像を鮮鋭化する鮮鋭化ステップと、
   を有し、
   前記フィルタはアンシャープマスクであることを特徴とする請求項１に記載の画像処理方法。
3. 前記アンシャープマスク処理を行う処理ステップは、
   前記再構成ステップにおいて再構成された前記点像強度分布関数と理想点像との差分情報に基づいて前記フィルタを生成するステップと、
   前記フィルタを、前記光学系を介した撮像により生成された入力画像に畳み込み積分することによって補正信号を生成する生成ステップと、
   前記生成ステップにおいて生成された前記補正信号を定数倍して前記入力画像に加算することにより、または、前記生成ステップにおいて生成された前記補正信号を前記入力画像の位置に応じた調整係数を用いて調整して前記入力画像に加算することによって前記入力画像を鮮鋭化する鮮鋭化ステップと、
   を有することを特徴とする請求項１に記載の画像処理方法。
4. 前記アンシャープマスク処理を行う処理ステップは、
   前記再構成ステップにおいて再構成された前記点像強度分布関数と理想点像との差分情報を定数倍して前記理想点像に加算することにより、または、前記再構成ステップにおいて再構成された前記点像強度分布関数と理想点像との差分情報を前記入力画像の位置に応じた調整係数を用いて調整して、前記理想点像に加算することによって前記フィルタを生成する生成ステップと、
   前記生成ステップが生成した前記フィルタを前記入力画像に畳み込み積分することによって前記入力画像を鮮鋭化する鮮鋭化ステップと、
   を有することを特徴とする請求項１に記載の画像処理方法。
5. 前記アンシャープマスク処理を行う処理ステップは、
   １と定数の和と理想点像の積と、前記再構成ステップにおいて再構成された前記点像強度分布関数と前記定数の積との差分情報に基づいて、または、前記入力画像の位置に応じた調整係数を用いて調整された理想点像と、前記調整係数を用いて調整された前記点像強度分布関数との差分情報に基づいて前記フィルタを生成する生成ステップと、
   前記生成ステップによって生成された前記フィルタを前記入力画像に畳み込み積分することによって前記入力画像を鮮鋭化する鮮鋭化ステップと、
   を有することを特徴とする請求項１に記載の画像処理方法。
6. 前記撮影条件は、像高、焦点距離、Ｆ値、および被写体距離のうち少なくとも一つを含むことを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理方法。
7. 前記係数データは前記点像強度分布関数の対称性を変化させる係数を含むことを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理方法。
8. 前記再構成ステップは、複数の撮影条件で利用する基準分布と分布形状を変化させるフィルタの畳み込みによって前記点像強度分布関数を再構成することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理方法。
9. 前記鮮鋭化ステップは、前記入力画像を構成する複数の色成分のうちの各色成分または特定の色成分に対して鮮鋭化を行うことを特徴とする請求項２乃至５のうちいずれか１項に記載の画像処理方法。
10. 前記入力画像は、色成分ごとに離散的に規則配列された画像データであり、前記再構成ステップおよび前記鮮鋭化ステップは、補正対象の色成分について補間した画像に対して行うことを特徴とする請求項２乃至５のうちいずれか１項に記載の画像処理方法。
11. 前記再構成ステップは、前記入力画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における前記点像強度分布関数を再構成し、
    前記画像処理方法は、前記入力画像の前記複数の領域と対応する再構成された前記点像強度分布関数から得られる複数の画像データを用いて像高方向に補間処理を行って１つの画像データを生成する補間ステップを更に有し、
    前記生成ステップは、前記補間ステップによって生成された前記１つの画像データを用いて前記補正信号を生成することを特徴とする請求項２乃至５のうちいずれか１項に記載の画像処理方法。
12. 前記再構成ステップは、前記入力画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における前記点像強度分布関数を再構成し、前記生成ステップは、再構成された複数の点像強度分布関数に基づいて複数の補正信号を生成し、
    前記画像処理方法は、前記複数の補正信号を像高方向に補間処理を行って１つの補正信号を生成する補間ステップを更に有し、
    前記鮮鋭化ステップは、前記１つの補正信号を、前記入力画像に適用することによって前記入力画像を鮮鋭化することを特徴とする請求項２乃至５のうちいずれか１項に記載の画像処理方法。
13. 前記再構成ステップは、前記入力画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における前記点像強度分布関数を再構成し、前記生成ステップは、再構成された複数の点像強度分布関数に基づいて複数の補正信号を生成し、前記鮮鋭化ステップは、前記複数の補正信号をそれぞれ前記入力画像に適用することによって複数の鮮鋭化後の画像を取得し、
    前記画像処理方法は、前記複数の鮮鋭化後の画像を像高方向に補間処理を行って１つの鮮鋭化後の画像を生成する補間ステップを更に有することを特徴とする請求項２乃至５のうちいずれか１項に記載の画像処理方法。
14. コンピュータに、請求項１乃至１３のうちいずれか１項に記載の画像処理方法を実行させるための画像処理プログラム。
15. 光学系を介した撮像により生成された入力画像を取得する取得手段と、
    前記光学系の撮影条件に対応する点像強度分布関数の近似に使用され、回転非対称な分布を形成し得る関数の係数データを用いて前記点像強度分布関数を再構成する再構成手段と、
    前記再構成手段によって再構成された点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記入力画像に対するアンシャープマスク処理を行う処理手段と、
    を有し、
    前記フィルタは２次元のタップのデータを持つことを特徴とする画像処理装置。
16. 前記アンシャープマスク処理を行う処理手段は、
    前記再構成手段によって再構成された前記点像強度分布関数の情報に基づいて生成されたフィルタを、前記入力画像に適用した画像と、前記入力画像との差分をとることによって補正信号を生成する生成手段と、
    前記生成手段により生成された前記補正信号を定数倍して前記入力画像に加算することにより、または、前記生成手段により生成された前記補正信号を前記入力画像の位置に応じた調整係数を用いて調整して前記入力画像に加算することによって前記入力画像を鮮鋭化する鮮鋭化手段と、
    を有し、
    前記フィルタはアンシャープマスクであることを特徴とする請求項１５に記載の画像処理装置。
17. 前記アンシャープマスク処理を行う処理手段は、
    前記再構成手段によって再構成された前記点像強度分布関数と理想点像との差分情報に基づいて前記フィルタを生成し、前記フィルタを前記入力画像に畳み込み積分することによって補正信号を生成する生成手段と、
    前記生成手段により生成された前記補正信号を定数倍して前記入力画像に加算することにより、または、前記生成手段により生成された前記補正信号を前記入力画像の位置に応じた調整係数を用いて調整して前記入力画像に加算することによって前記入力画像を鮮鋭化する鮮鋭化手段と、
    を有することを特徴とする請求項１５に記載の画像処理装置。
18. 前記アンシャープマスク処理を行う処理手段は、
    前記再構成手段によって再構成された前記点像強度分布関数と理想点像との差分情報を定数倍して前記理想点像に加算することにより、または、前記再構成手段によって再構成された前記点像強度分布関数と理想点像との差分情報を、前記入力画像の位置に応じた調整係数を用いて調整して、前記理想点像に加算することによって前記フィルタを生成する生成手段と、
    前記生成手段が生成した前記フィルタを前記入力画像に畳み込み積分することによって前記入力画像を鮮鋭化する鮮鋭化手段と、
    を有することを特徴とする請求項１５に記載の画像処理装置。
19. 前記アンシャープマスク処理を行う処理手段は、
    １と定数の和と理想点像の積と、前記再構成手段によって再構成された前記点像強度分布関数と前記定数の積との差分情報に基づいて、または、前記入力画像の位置に応じた調整係数を用いて調整された理想点像と、前記調整係数を用いて調整された前記点像強度分布関数との差分情報に基づいて前記フィルタを生成する生成手段と、
    前記生成手段によって生成された前記フィルタを前記入力画像に畳み込み積分することによって前記入力画像を鮮鋭化する鮮鋭化手段と、
    を有することを特徴とする請求項１５に記載の画像処理装置。
20. 請求項１５乃至１９のうちいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。