JP6071860B2 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置を用いた撮像により得られた画像に対して鮮鋭化処理を行う画像処理技術に関する。

上記のような撮像装置によって得られた画像の鮮鋭度を向上させるための画像処理手法として、アンシャープマスク処理が知られている。この処理は、入力画像に対してアンシャープマスクを適用することでぼかした画像と元の入力画像との差分をとり、その差分データを元の入力画像に対して加算または減算することで画像の鮮鋭化を実現する。アンシャープマスクには平滑化フィルタ等の画像をぼかすためのフィルタが使用されており、ぼかした画像と入力画像との差分が大きいほど画像はより鮮鋭化される。

また、特許文献１には、像高方向に位置する画素信号列に対して非対称な１次元の補正フィルタを適用することで、光学系の点像強度分布関数（ＰＳＦ：Point Spread Function）の影響を低減する手法が開示されている。

特開２０１０−８１２６３号公報

しかしながら、従来のアンシャープマスク処理では、アンシャープマスクとして回転対称なフィルタを用いている。このため、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像に対しては正しく鮮鋭化できない。すなわち、収差が大きく発生しているアジムス方向の収差を補正しようとすると、収差の小さなアジムス方向ではアンダーシュートが発生する。逆にアンダーシュートを抑制すると、収差を十分に補正することができない。特許文献１にて開示された手法では、ＰＳＦの非対称性や像高方向での変動を考慮して、補正フィルタとしては１次元フィルタを用いている。このため、像高方向以外の方向での非対称性については改善することができない。像高方向とはメリジオナルのアジムス方向である。さらに、補正フィルタに関してもマイナスの係数を持たせたタップ数の個数によってフィルタの非対称性を調整しているに留まり、メリジオナルに限定しても実際の光学系のＰＳＦの形状とは異なる。

このように、従来の手法では、複雑な形状を有する実際の収差を十分に補正して画像を鮮鋭化することができない。

なお、入力画像の鮮鋭化処理を行うにあたり、入力画像の撮像条件や像高に応じた点像強度分布関数に関するデータを用いる必要がある。しかし、様々な撮像条件や像高に応じた大量のデータを予め保持することはメモリ容量が膨大となり、現実的ではない。

本発明は、保有するデータ量を抑制しつつ、アンシャープマスク処理によって良好な鮮鋭化処理を行うことができるようにした画像処理方法および画像処理装置等を提供する。

本発明の一側面としての画像処理方法は、光学系を通した撮像により生成された入力画像を取得し、入力画像の撮像条件および基準位置からの像高に応じて異なる複数の光学伝達関数を特定の像高方向において選択し、複数の光学伝達関数を基準位置の回りで回転させるとともに画素配列に応じた補間を行うことにより、入力画像に対して２次元に光学伝達関数を配置し、該２次元配置した光学伝達関数を用いて、入力画像内の位置ごとに点像強度分布関数を生成し、該点像強度分布関数を用いて、フィルタ面内で回転非対称な係数を有するフィルタを生成し、該フィルタを入力画像に適用して補正信号を生成し、該補正信号と入力画像とを用いて入力画像に対する鮮鋭化処理を行うことを特徴とする。

また、本発明の他の一側面としての画像処理装置は、光学系を通した撮像により生成された入力画像に対して画像処理を行う。該装置は、画像処理として、入力画像の撮像条件および基準位置からの像高に応じて異なる複数の光学伝達関数を特定の像高方向において選択し、複数の光学伝達関数を基準位置の回りで回転させるとともに画素配列に応じた補間を行うことにより、入力画像に対して２次元に光学伝達関数を配置し、該２次元配置した光学伝達関数を用いて、入力画像内の位置ごとに点像強度分布関数を生成し、該点像強度分布関数を用いて、フィルタ面内で回転非対称な係数を有するフィルタを生成し、該フィルタを入力画像に適用して補正信号を生成し、該補正信号と入力画像とを用いて入力画像に対する鮮鋭化処理を行う処理手段を含むことを特徴とする。

なお、光学系を通した撮像により画像を生成する撮像系と、該画像を入力画像として取得して画像処理を行う上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、光学系を通した撮像により生成された入力画像に対する画像処理を実行させるコンピュータプログラムである。画像処理は、入力画像の撮像条件および基準位置からの像高に応じて異なる複数の光学伝達関数を特定の像高方向において選択し、複数の光学伝達関数を基準位置の回りで回転させるとともに画素配列に応じた補間を行うことにより、入力画像に対して２次元に光学伝達関数を配置し、該２次元配置した光学伝達関数を用いて、入力画像内の位置ごとに点像強度分布関数を生成し、該点像強度分布関数を用いて、フィルタ面内で回転非対称な係数を有するフィルタを生成し、該フィルタを入力画像に適用して補正信号を生成し、該補正信号と入力画像とを用いて入力画像に対する鮮鋭化処理を行うことを特徴とする。

本発明によれば、撮像条件および像高に応じた点像強度分布関数をアンシャープマスクに用いることで、入力画像に対する良好な（高精度な）鮮鋭化処理を行うことができる。さらに、本発明によれば、光学伝達関数を入力画像に対して２次元配置してから実空間の点像強度分布関数に変換するため、画素ピッチが異なる複数の撮像装置間において２次元配置する前の光学伝達関数を共用することができる。このため、予め保持する必要のある光学伝達関数のデータ量を抑制することができる。

本発明の実施例１である画像処理方法の流れを示すフローチャート。 実施例１におけるアンシャープマスク処理による画像の鮮鋭化を説明する図。 実施例１での画像処理における点像強度分布の説明図。 実施例１でのアンシャープマスク処理による画像の鮮鋭化を説明する図。 実施例１でのアンシャープマスク処理による画像の鮮鋭化の別の例を説明する図。 実施例１の画像処理の対象である画像の画素配列を説明する図。 実施例１におけるＯＴＦとＰＳＦの配置を説明する図。 実施例１におけるアンシャープマスクを説明する図。 実施例１の画像処理装置を含む画像処理システムを示す図。 実施例１における係数データを説明する図。 実施例１における係数データをさらに詳細に説明する図。 実施例１におけるタップ数と周波数ピッチを説明する図。 実施例１における別のタップ数と周波数ピッチを説明する図。 実施例１におけるＯＴＦの再構成を説明する図。 実施例１におけるＯＴＦの再構成をさらに詳しく説明する図。 実施例１における画像処理の変形例を示すフローチャート。 本発明の実施例２である撮像装置の構成を示す図。 実施例２の撮像装置内に設けられた画像処理部を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

具体的な実施例の説明に先立って、それら実施例で用いる用語の定義と画像処理について説明する。
［入力画像］
入力画像は、撮像装置において撮像光学系（以下、単に光学系という）により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。撮像素子は、ＣＭＯＳやＣＣＤ等の光電変換素子により構成される。撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。また、光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、光学系、撮像素子および該撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。

入力画像や出力画像には、入力画像を生成（撮像）した際の撮像装置における光学系の焦点距離、絞り値、撮像距離等の撮像条件に関する情報（以下、撮像条件情報という）を付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮像条件情報や補正情報を付帯することが好ましい。撮像条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
［アンシャープマスク処理（鮮鋭化処理）］
図２には、アンシャープマスク処理による画像の鮮鋭化を模式的に示している。図２（ａ）中の実線は処理対象となる入力画像を示し、長点線（破線）は入力画像をアンシャープマスクによってぼかした画像を示す。短点線は鮮鋭化後の画像を示している。また、図２（ｂ）中の実線は鮮鋭化に用いる補正成分（補正信号）を示している。

ここで、入力画像をｆ（ｘ，ｙ）とし、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は次式（１）で表すことができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） …（１）
式（１）において、ｍは定数であり、ｍの値を変化させることにより補正量を調整することができる。

また、補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭとすると、
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）…（２）
となる。あるいは、式（２）の右辺を変形して次式（３）で表すことができる。
ｈ（ｘ，ｙ）
＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））…（３）
ここで、＊はコンボリューション（畳み込み積分、積和）を示し、δは積分値が１のデルタ関数（理想点像）を示す。ここにいうデルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく、中心の値が１で、それ以外が０で埋まっているデータある。

式（３）は、式（２）に対して処理としての演算方法は異なるが、式（２）を変形することで式（３）を表現できるため、式（２）と式（３）は等価な処理であると言える。このため、ここでは式（２）を用いて補正成分の生成について説明する。

式（２）では、入力画像ｆ（ｘ，ｙ）とこの入力画像ｆ（ｘ，ｙ）をアンシャープマスクＵＳＭでぼかした画像との差分をとることで補正成分ｈ（ｘ，ｙ）を生成する。一般的なアンシャープマスク処理では、アンシャープマスクＵＳＭとして、ガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。例えば、図２（ａ）の実線で示す入力画像ｆ（ｘ，ｙ）に対して、アンシャープマスクＵＳＭとしてガウシアンフィルタを適用した場合、入力画像ｆ（ｘ，ｙ）をぼかした画像は図２（ａ）中の長点線で示すようになる。このとき、補正成分ｈ（ｘ，ｙ）は式（２）に示すように、入力画像ｆ（ｘ，ｙ）とぼかした画像との差分となる。このため、図２（ａ）の実線で示す入力画像の信号値から長点線で示すぼかし画像の信号値を減算することで、図２（ｂ）の実線で示される補正成分を得ることができる。このように算出された補正成分を用いて、式（１）の演算を行うことで、図２（ａ）の実線で示すような入力画像ｆ（ｘ，ｙ）を短点線で示す画像のように鮮鋭化することができる。

次に、光学系により劣化した画像に対して、アンシャープマスク処理を行うことで画像を鮮鋭化する場合について説明する。光学系を通した撮像によって得られた入力画像ｆ（ｘ，ｙ）は、撮像前の原画像（被写体像）をｉ（ｘ，ｙ）とし、光学系のＰＳＦをｐｓｆ（ｘ，ｙ）とするとき、
ｆ（ｘ，ｙ）＝ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） …（４）
と表すことができる。

ここで、光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。このため、画像の中心部については上記のように回転対称なＵＳＭを適用することで、入力画像ｆ（ｘ，ｙ）を元の画像ｉ（ｘ，ｙ）に近づけるような鮮鋭化処理を実現することができる。このとき、より精度良く補正するためには、アンシャープマスクとして単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用した方がよい。これは以下の理由による。例えば、球面収差の影響で入力画像が劣化していた場合、球面収差は回転対称であるものの、前述したガウシアンフィルタのような平滑化フィルタとは分布の形状が異なる。このため、こうした回転対称にぼける影響を低減する場合であっても、光学系のＰＳＦを使用する方が精度良く補正することができる。

そこで、本発明の実施例では、ＵＳＭとしてＰＳＦを用いる。なお、アンシャープマスク処理の説明の際に用いた図２（ａ）の入力画像ｆ（ｘ，ｙ）は説明を簡単にするために対称形状を有するものとして示したが、入力画像の形状は対称でなくても構わない。原画像ｉ（ｘ，ｙ）の形状が非対称であっても、ｐｓｆ（ｘ，ｙ）に相当する劣化関数が回転対称であれば、回転対称なＵＳＭを用いて鮮鋭化することができる。

一方、画像の中心部以外の位置については光学系が回転対称な共軸光学系であっても、ＰＳＦは通常は非対称な形状となる。図３には、ｘｙ平面における光学系のＰＳＦを模式的に示しており、図３（ａ）は軸上のＰＳＦを、図３（ｂ）は軸外のＰＳＦをそれぞれ示している。

例えば、原画像（被写体像）が理想点像であったとすると、式（４）から入力画像ｆ（ｘ，ｙ）は光学系のＰＳＦになる。図３（ｂ）に対応する画角に理想点像があり、光学系のＰＳＦの影響を受けて劣化したとすれば、入力画像として得られる画像は図３（ｂ）にその形状を示すようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図４および図５には、非対称に劣化した画像に対するアンシャープ処理を模式的に示している。図４は回転対称なアンシャープマスクを用いて処理を行った場合を示し、図５は回転非対称なアンシャープマスクを用いて処理を行った場合を示している。図４（ａ）および図５（ａ）中の実線は、図３（ｂ）におけるｙ軸方向の断面を示しており、点線は入力画像をそれぞれのアンシャープマスクでぼかした画像を示している。図４におけるアンシャープマスク、つまり回転対称なアンシャープマスクとしてはガウシアンフィルタを使用している。一方、図５におけるアンシャープマスク、つまり回転非対称なアンシャープマスクとしては光学系のＰＳＦを使用している。

また、図４（ｂ）および図５（ｂ）はそれぞれ、図４（ａ）および図５（ａ）に点線で示したぼかし画像と元の入力画像との差分としての補正成分を表している。ここでは、便宜的に、図４（ａ）および図５（ａ）において入力画像がＰＳＦによってよりぼけて裾野が広くなっている方をＹ軸方向におけるプラス側とする。まず、図４に示した回転対称なアンシャープマスクを使用した場合について、ぼかし画像と元の入力画像との差分値は、図４（ａ）の実線のピーク位置に対してプラス側が小さく、マイナス側が大きくなっている。このため、図４（ｂ）に示した補正成分も、中心のピーク位置に対してプラス側（右側）の極値（ここでは０に対する負の値）よりマイナス側（左側）の極値が小さくなっている。

図４（ａ），（ｂ）のように、裾野が広いプラス側は補正成分の量（補正量）が小さく、裾野が狭いマイナス側は補正量が大きい関係にある補正成分では、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。

例えば、アンシャープマスクを変えずに補正量を調整する方法として、式（４）の定数ｍを変更することで補正量を調整する方法が考えられる。しかしながら、入力画像のプラス側を十分に補正するため、定数ｍの値を大きくとろうとすると、入力画像のマイナス側は補正過剰（アンダーシュート）となる。逆に入力画像のマイナス側の補正量が適切になるよう定数ｍの値を設定すると、入力画像のプラス側では補正不足となる。このように、非対称にぼけた入力画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。また、ここでは回転対称なアンシャープマスクとしてガウシアンフィルタを用いて説明したが、他の種類の回転対称なフィルタを用いた場合でも同様であり、非対称にぼけた入力画像を十分に鮮鋭化することはできない。

次に、図５に示した回転非対称なアンシャープマスクを使用する場合について説明する。この場合、図５（ａ）中の実線のピーク位置に対してプラス側がぼけた画像と元の入力画像との差分値が大きく、マイナス側がぼけた画像と元の入力画像の差分値が大きくなっており、この関係は図４（ａ）とは逆になっている。このため、図５（ｂ）に示す補正成分も、中心のピーク位置に対してマイナス側（左側）の極値よりもプラス側（右側）の極値が小さくなっている。図５（ａ）中に実線で示された入力画像に対して、こうした補正成分を適用すれば、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、マイナス側のぼけが小さい方には補正量が小さくなる。このため、非対称なアンシャープマスクを用いる場合は、入力画像のぼけ方のバランスと補正成分の量とのバランスの傾向が一致するため、回転対称なアンシャープマスクを使用する場合に問題となる補正の過不足も起きにくくなる。さらに、回転対称なアンシャープマスクを用いる場合と比べて、補正過剰になりにくくなるため、式（４）の定数ｍの値も比較的大きくとることができ、非対称性を低減しつつ、より鮮鋭化することができる。

また、より精度良く補正を行うためには、光学系のＰＳＦによってより大きくぼけた部分がアンシャープマスクによって他の部分に比べてより大きくぼかされる必要がある。このように、さらに精度に良く補正するには、アンシャープマスクとして光学系のＰＳＦを利用することが理想的であると言える。なお、ここでは一次元の断面において説明したが、２次元においても同様である。

次に、後述する実施例１，２において用いるフィルタと補正信号、さらにこれらによるアンシャープマスク処理について説明する。

まず、実施例１では、前述した式（１），式（２）により導かれる以下の式（５）を用いて鮮鋭化を行う。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝ …（５）
ここで、ＵＳＭ（ｘ，ｙ）はアンシャープマスクであり、中括弧｛｝内の部分が補正信号となる。

また、前述した式（１），式（３）により導かれる以下の式（６）や式（６）をさらに変形した式（７）を用いて鮮鋭化を行うことは、式（５）を用いて鮮鋭化を行うことと本質的に等価である。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝ …（６）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝
…（７）
［保持データ］
上記のようにアンシャープマスクに光学系のＰＳＦを用いるためには、ＰＳＦを撮像装置や画像処理装置内に保持しておく必要がある。ＰＳＦをこれらの装置内に保持する場合、鮮鋭化処理ではＰＳＦをＵＳＭとして直接用いることができる。しかし、ＰＳＦは入力画像を撮像したときの条件（撮像条件）および像高によって異なるため、高精度な補正処理を行うには、ＰＳＦの変動に応じたデータを保持する必要がある。ＰＳＦは２次元データであり、カラー画像においてはＲＧＢ等の色成分ごとのデータも必要となるため、そのデータ量が膨大となる。

そこで、実施例では、ＰＳＦを装置内に保持するのではなく、ＯＴＦを保持する。ＯＴＦからＰＳＦに変換するためには、フーリエ変換が必要となるが、近年の演算処理装置の処理速度の向上によって大きな負荷ではなくなったと考えられる。

しかしながら、１つの像高に対応するＯＴＦデータは、縦方向のタップ数×横方向のタップ数×２（実部および虚部）×３（ＲＧＢ）となる。さらに、これらを、像高、Ｆナンバー（絞り値）、ズーム位置（焦点距離）および撮像距離（被写体距離）等の全ての撮像条件について装置内に保持しようとすると、結局データ量が増大してしまう。このように、一般には高精度な処理とデータ量の増大とは相反する関係にあるが、実施例では少量のデータで高精度に補正された画像を得られるようにする。ＯＴＦは、後の実施例で述べるようにその周波数特性が比較的ブロードであるため、多項式等の関数での高精度なフィッティングが可能である。このため、保持するデータとしてはフィッティング係数を保持すればよく、本来のＯＴＦとしての２次元データを保持する場合に比べて、大幅に保持すべきデータ量を抑制することができる。

また、レンズ交換式の撮像装置においては、撮像装置の機種によって撮像素子の画素ピッチが異なるため、レンズが共通であってもＰＳＦデータは異なる。実施例にて述べるように、ＯＴＦを再現する関数とその係数データを保持することで、生成するＰＳＦの画素ピッチやタップ数を容易に変更することができるという利点がある。

以下、具体的な実施例について説明する。

図１のフローチャートには、本発明の実施例１である画像処理方法の手順を示している。この画像処理方法は、実際には、撮像装置に搭載された又は画像処理装置であるコンピュータ（処理手段）が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１０１では、コンピュータは、撮像装置が光学系を通した撮像を行うことで生成したデジタル画像を入力画像として取得する。コンピュータが撮像装置に搭載されている場合はその撮像系から入力画像を取得する。また、コンピュータが撮像装置とは別の画像処理装置である場合は、撮像装置から有線または無線通信により又は記憶媒体を介して取得する。入力画像として使用するデータとして、例えばデモザイキング後のＧチャンネルの画像データである。ただし、ＲチャンネルやＢチャンネルの画像データを入力画像として用いてもよいし、ＲＧＢすべてのチャンネルの画像データをそれぞれ入力画像として用いてもよい。さらに、デモザイキング前の画像データを入力画像として用いてもよい。

図６には、入力画像の画素配列を示しており、ここでは一般的なベイヤー配列を示している。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として処理してもいいし、ある特定のチャンネルのデータのみを入力画像として使用してもよい。さらに、図６に示すように、ＧチャンネルをＧ１とＧ２の２つに分け、４チャンネルのデータとして取り扱ってもよい。このようにＧチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データの解像度が等しくなるため、処理やデータ加工がしやすくなる。

次に、ステップＳ１０２では、コンピュータは、撮像条件情報を取得する。撮像条件は、前述したように焦点距離、絞り値、撮像距離等である。また、レンズが交換可能な撮像装置において入力画像が生成された場合は、撮像条件に該レンズや撮像装置に固有のレンズＩＤやカメラＩＤを含む。撮像条件情報は撮像装置から直接取得してもよいし、入力画像に付帯された情報として取得することもできる。

次に、ステップＳ１０３では、コンピュータは、撮像条件に適した係数データを取得する。係数データはＯＴＦを再構成するためのデータであり、撮像条件に応じて予めメモリやサーバー内またはネットワーク上に保持されたデータを選択して取得することができる。また、絞りや撮像距離やズームレンズにおける焦点距離について予め係数データが保持された撮像条件の間の撮像条件に対応する係数データを、保持された係数データを用いた補間処理により生成してもよい。これにより、予め保持する係数データ量を削減することができる。補間処理の方法としては、例えばバイリニア補間（線形補間）やバイキュービック補間が知られているが、これらに限るものではない。

次に、ステップＳ１０４では、コンピュータは、撮像条件に適した係数データを用いて、入力画像の中心または光学系の光軸位置としての基準位置からの像高に応じて異なる複数の光学伝達関数を特定の像高方向において再構成（生成）する。なお、選択された係数データを用いて光学伝達関数を再構成することは、光学伝達関数を選択することに等しい。本ステップの処理の詳細については後述する。本実施例では、ステップＳ１０２〜Ｓ１０４を、光学伝達関数選択工程と称する。

次に、ステップＳ１０５では、コンピュータは、再構成された光学伝達関数を入力画像の中心または光学系の光軸である基準位置の回りに回転させる。さらに、コンピュータは、入力画像（又はこれを取得した撮像装置の撮像素子）の画素配列に対応して光学伝達関数を補間する。これにより、入力画像内にて２次元に離散した複数の特定位置のそれぞれに対応する光学伝達関数を求め、入力画像に対して２次元に光学伝達関数を配置する。これら２次元配置された光学伝達関数を、以下、再配置された光学伝達関数という。本実施例では、ステップＳ１０５を、光学伝達関数再配置工程と称する。

次に、ステップＳ１０６では、コンピュータは、再配置された光学伝達関数を点像強度分布関数に変換する。光学伝達関数から点像強度分布関数への変換は、逆フーリエ変換により行うことができる。本実施例では、ステップＳ１０６を、点像強度分布関数生成工程と称する。

ここで、ステップＳ１０４〜Ｓ１０６での処理について、図７を用いてより詳細に説明する。図７（ａ）には、ステップＳ１０４にて再構成された光学伝達関数（以下、ＯＴＦと記す）を○で示している。再構成されたＯＴＦは、入力画像の外接円の領域（撮像領域）内において、基準位置からの特定の像高方向（図７（ａ）では縦方向）での複数の像高にそれぞれ対応する複数のＯＴＦである。ステップＳ１０５では、コンピュータは、該特定の像高方向の複数のＯＴＦを、基準位置の回りで回転させるとともに、入力画像の画素配列に応じた補間を行って、図７（ｂ）に示すように、入力画像に対して２次元（縦方向および横方向）に配置する。ここでの補間は、放射方向の補間と回転に伴う補間であり、これらの補間によって任意の画素位置にＯＴＦを配置することができる。

次に、ステップＳ１０６において、コンピュータは、入力画像内の各位置（各画素）のＯＴＦに対して逆フーリエ変換を行い、図７（ｃ）に□で示すように、各位置の点像強度分布関数（以下、ＰＳＦと記す）を生成する。入力画像の取得に用いられた光学系は光軸回りにて回転対称な光学系である。このため、その回転対称性を利用して、図７（ｄ）のようにある象限（１／４領域）にて生成されたＰＳＦを、基準位置回りで他の象限に回転移動させることで、入力画像の全域のＰＳＦを生成することができる。このような手法によれば、逆フーリエ変換の処理を行う回数が最終的にＰＳＦを配置する位置の数のおよそ１／４で済むという利点がある。さらに、図７（ｂ）に示したＯＴＦおよび図７（ｃ）に示したＰＳＦを、図７（ｅ）に示すように回転および補間によって再配置し、回転対称性を利用して図７（ｄ）に示すように入力画像の全域に展開すれば、さらに逆フーリエ変換の処理回数を低減することができる。

なお、図７に示したＯＴＦやＰＳＦの配置（縦横の数や間隔）は例に過ぎず、光学系のＯＴＦの変動に応じて配置を任意に設定することができる。

図１に戻って、ステップＳ１０７では、コンピュータは、入力画像の全域の位置（画素）ごとに生成されたＰＳＦを用いてアンシャープマスクを生成する。アンシャープマスクの生成については、後により具体的に説明する。そして、次のステップＳ１０８では、コンピュータは、上述した補正信号を生成する。補正信号の生成についても、後により具体的に説明する。本実施例において、ステップＳ１０７およびＳ１０８を、補正信号生成工程と称する。

次に、ステップＳ１０９では、コンピュータは、入力画像に補正信号を加算することで入力画像の鮮鋭化処理を行い、その結果画像である補正画像をステップＳ１１０にて取得する。鮮鋭化処理についても、後により具体的に説明する。本実施例において、ステップＳ１０９は信号加算工程と称する。

ステップＳ１０７にて生成されるアンシャープマスクについて図８を用いて説明する。アンシャープマスクは、光学系の収差の特性や要求される画像の鮮鋭化精度に応じてそのタップ数が決定される。図８（ａ）には、アンシャープマスクの例として、１１×１１タップの２次元マスクを示している。図８（ａ）では、各タップ内の値（係数）を省略しているが、このアンシャープマスクの一断面を図８（ｂ）に示す。この図から分かるように、アンシャープマスクは、そのフィルタ面内で回転非対称な係数を有するフィルタである。なお、アンシャープマスクの各タップ値（係数値）の分布は、収差により広がった信号値（光学系のＰＳＦ）の形状に近い分布が好ましい。

そして、コンピュータは、このアンシャープマスクを用いてステップＳ１０８にて補正信号を生成する際に、まず入力画像の各位置に対して、位置ごとに対応して生成されたアンシャープマスクをコンボリューションする。アンシャープマスクは、図７（ｄ）に示すようにＰＳＦが生成された位置ごとに生成されるので、これらの位置の間の位置については補間によってアンシャープマスクを生成する。このときの補間方法としては、アンシャープマスクを生成する位置の画素を注目画素とするとき、該注目画素の近傍の複数のアンシャープマスクを注目画素からの距離に応じた重み付けをして合成する方法を用いることができる。これにより、入力画像の位置に対して連続的に変化するアンシャープマスクを生成することができる。このようにして入力画像の位置ごとにＯＴＦからの変換またはＰＳＦの補間によって生成されたアンシャープマスクを入力画像に適用する。

また、別の方法として、例えば注目画素の近傍の３点のアンシャープマスクに囲まれた三角形の領域に対して、この３点のアンシャープマスクをそれぞれ適用することで３つの画像を生成する。そして、注目画素の位置からの距離に応じた重み付けをして３つの画像を合成することで、入力画像の位置に対して連続的にアンシャープマスクを変化させたものと同等の合成画像を得ることができる。補間領域は、上述した近傍３点に限らず４点等としてもよい。

さらに、入力画像を複数の領域に分割し、同一の領域内では共通のアンシャープマスクを適用して補間を行わずに処理するようにしてもよい。また、後述するステップＳ１０９で生成する補正信号を入力画像に適用した後の鮮鋭化された画像に対して補間を行ってもよい。

次に、ステップＳ１０８での補正信号の生成について説明する。本実施例では、補正信号として式（２）で示される信号を用いている。具体的には、入力画像と、ステップＳ１０８にて該入力画像に対してアンシャープマスクを適用した結果の画像との差分をとることで補正信号が生成される。

次に、ステップＳ１０９での鮮鋭化処理について説明する。本実施例における鮮鋭化処理は、式（１）を用いて入力画像に対して補正信号を定数倍（ｍ倍）したものを加算することで行われる。この際、画像のノイズや鮮鋭化の過不足を考慮して定数ｍの値を決定する。ここで、式（１）は第１項と第２項を加算する形で表現されているが、これは定数ｍが負の場合であり、定数ｍが正の場合は減算になる。このように、本実施例の鮮鋭化処理にいう補正信号を定数倍したものの「加算」は、定数ｍの符号に応じて加算と減算の両方を意味する。

このように、本実施例では、点像強度分布関数をアンシャープマスクとして用いた鮮鋭化処理を行う。これにより、画像周辺部に現れ易い光学系の非対称なＰＳＦによる劣化を含む入力画像であっても、精度良く補正（鮮鋭化）することができる。

次に、上述した画像処理方法を実施するために構成される画像処理システムの例を、図９を用いて説明する。画像処理システムは、係数算出装置１００と、カメラ（撮像装置）１１０と、画像処理装置１２０とを含む。

係数算出装置１００は、ＯＴＦを再構成するための係数を、光学系の設計値または測定値から算出する処理を行う。また、係数算出装置１００は、ＯＴＦを係数に変換する処理を行うとともに、その必要精度に応じて後にＯＴＦの再構成に用いる係数の次数を決定する処理も行う。さらに、係数算出装置１００は、ＰＳＦの空間的な分布の大きさから後にＯＴＦを再構成する際に必要な像高ごとのタップ数を決定する処理を行う。係数算出装置１００は、カメラ１１０を構成する様々な光学系（交換型の撮像レンズ１１２）と撮像素子１１１との組み合わせについて、必要次数までの係数とタップ数とを算出し、これらのデータを出力する。

カメラ１１０は、撮像レンズ１１２により形成された被写体像を撮像素子１１１により光電変換し、撮像素子１１１からの電気信号から撮影画像を生成する。そして、カメラ１１０は、撮影画像に、レンズＩＤと、撮像条件情報（絞り値、ズームレンズの焦点距離および撮像距離等）と、カメラＩＤとを付加して該撮影画像を出力する。カメラＩＤは、撮像素子１１１が表現可能な空間周波数のナイキスト周波数の判別に用いられる。

画像処理装置１２０は、係数算出装置１００からの係数データおよびタップ数データ、さらにカメラ１１０から出力された撮影画像としての入力画像（撮像条件情報を含む）を保持する。そして、撮像レンズ１１２により劣化を受けた入力画像に対して、上記データおよび情報を用いてこれを補正（鮮鋭化）する処理を行う。

画像処理装置１２０内において、補正情報保持部１２１は、係数算出装置１００によって算出された様々な撮像レンズ１１２と撮像素子１１１との組み合わせについての情報を保持する。ここで保持する情報とは、係数データ、タップ数データ、レンズＩＤ、撮像条件情報、カメラＩＤから得られる撮像素子１１１のナイキスト周波数等である。

ＯＴＦ再構成部１２２は、カメラ１１０の撮像素子１１１のナイキスト周波数と、入力画像と、撮像条件情報、レンズＩＤとを取得する。そして、ユーザ（撮影者）が入力画像を生成するための撮像において用いた撮像レンズ１１２のレンズＩＤと撮像条件とから、補正情報保持部１２１内に保存されている係数とタップ数をサーチする。さらに、ＯＴＦ再構成部１２２は、上記ナイキスト周波数までの空間周波数域において、サーチした情報を用いてフィルタ処理部１２３で用いるＯＴＦを再構成する。以下の説明において、ＯＴＦ再構成部１２２で再構成したＯＴＦを、再構成ＯＴＦという。

フィルタ処理部１２３はＯＴＦ再構成部１２２から得た再構成ＯＴＦを用いてアンシャープマスクを作成し、該アンシャープマスクを用いて画像の補正（鮮鋭化）を行う。ここで、係数算出装置１００で予め算出された係数やタップ数を補正情報保持部１２１に保持しておけば、係数算出装置１００をユーザに提供する必要はない。また、ユーザは、ネットワークや各種の記憶媒体を通して係数データ等の画像処理に必要な情報をダウンロードして用いることもできる。

次に、係数算出処理装置１００での係数の算出方法について詳しく説明する。係数算出処理装置１００は、光学系（撮像レンズ１１２）のＯＴＦを、関数へのフィッティングによって近似することで係数を作成する。ここではフィッティングに用いる関数としてLegendre多項式を用いるが、特に限定されるものではなく、例えばChebushev多項式を用いてもよい。Legendre多項式は、式（８）で与えられる。

ただし、［ｘ］はｘを超えない最大の整数である。

ＯＴＦはｚ＝ｆ（ｘ，ｙ）の形で表されるため、式（９）の係数ａ_ｉｊを算出する。

式（９）は直交関数であり、ａ_ｉｊの値はフィッティング時の次数によらずに決定される。この直交関数の性質を利用することにより、ＯＴＦのフィッティングを、低い次数でも十分に高精度に行うことが可能な場合は、その低い次数で打ち切ることができる。これにより、係数算出処理装置１００内に保持すべき係数のデータ量を最小量に抑えることが可能となる。

図１０には、式（８）および式（９）を用いてＯＴＦをフィッティングする具体的な方法を示している。図１０に示すｆｕｍ，ｆｖｍはそれぞれ、ＯＴＦのmeridional方向およびsagittal方向のナイキスト周波数である。また、Ｎｘ，Ｎｙはそれぞれ、ＯＴＦのmeridional方向およびsagittal方向での奇数のタップ数である。係数算出装置１００では、ＯＴＦの実部と虚部のそれぞれに対して、上記フィッティングにより係数を算出する処理を行う。

ＯＴＦの実部はmeridional方向とsagittal方向においてそれぞれ対称であるという特徴を有する。また、ＯＴＦの虚部は、meridional方向においては正負が逆になるが対称であり、sagittal方向には対称である。

このような対称性からフィッティング対象であるＯＴＦのデータとして、定義域全体の１／４の領域の情報があれば必要かつ十分である。上記理由により、本実施例ではＯＴＦを高精度にフィッティングするために、ＯＴＦから実部と虚部ともに定義域全体の１／４の領域をＤＣ成分が含まれるように切り出してフィッティングを行う。

本実施例では、ＯＴＦデータがＮｘ（行）×Ｎｙ（列）タップである場合の例を示し、該ＯＴＦデータから、１〜［Ｎｘ／２］＋１行，１〜［Ｎｙ／２］＋１列のデータを切り出す。ただし、これに限定されるものではない。

上記方法で算出された係数を図１１に示す。図１１では、像高（１〜１０）ごとにＯＴＦの実部と虚部の係数をｘｙともに１０次まで算出した例を示している。像高ごとの係数をひとまとめにし、さらにレンズＩＤ、絞り、焦点距離（ズーム位置）および撮像距離（被写体距離）の情報を付加することで、１まとまりの係数データが完成する。本実施例では、例として、レンズＩＤがＮｏ．１２３で、絞り値がＦ２．８で、ズーム位置がＷＩＤＥ（広角端）であり、被写体距離が至近という撮像条件における１０像高分の係数を示している。この１０像高分の係数は、図７（ａ）の１０箇所のＯＴＦを再構成するために用いられる。また、作成した係数を次数別に像高間でさらに関数化してもよい。

係数算出処理装置１００では、このような係数データを全てのレンズＩＤ、絞り、焦点距離および撮像距離の組み合わせに対して作成して出力する。

次に、再構成ＯＴＦのタップ数の決定方法について詳しく説明する。画像に対してフィルタ処理を行う際、処理時間はそのフィルタ処理にて使用するフィルタのタップ数に大きく依存する。このため、フィルタ処理を行う際に所望の補正効果が得られ、アンダーシュート等の弊害が生じなければ、フィルタのタップ数は小さい方が好ましい。

画像処理装置のフィルタ処理部１２３で用いるアンシャープマスクは、実空間のフィルタである。したがって、実空間でフィルタに必要なタップ数を決定すればよい。本実施例のアンシャープマスクはＰＳＦによる画像の劣化を補正するためのフィルタである。このため、ＰＳＦが実空間上で分布している領域と同程度の領域を確保できればよい。すなわち、必要なタップ数は当該領域のタップ数である。実空間と周波数空間は互いに逆数の関係にあるため、実空間で決定したタップ数を周波数空間で用いることができる。

図１２には、タップ数をＰＳＦの空間分布に比べて十分に大きい領域でとった（多くの数にした）場合を示している。また、図１３には、図１２と同じＰＳＦに対して、タップ数をＰＳＦの空間分布とほぼ同等の領域でとった（図１２の場合よりも少ない数にした）場合を示している。図１２に示すように、実空間でのタップ数は周波数空間での最小周波数ピッチに対応している。このため、図１３に示すように実空間のタップ数を少なくすることは、周波数空間を粗くサンプリングすることを意味し、最小周波数ピッチが大きくなることを示している。このとき、周波数空間でのナイキスト周波数の値は変化しない。

次に、図１に示したステップＳ１０４での処理に相当する処理を行うＯＴＦ再構成部１２２について詳しく説明する。ＯＴＦ再構成部１２２は、カメラ１１０から撮像時のレンズＩＤ、撮像条件情報および撮像素子１１１のナイキスト周波数の情報を取得する。次に、ＯＴＦ再構成部１２２は、補正情報保持部１２１から上述したタップ数、レンズＩＤ、撮像条件および撮像素子１１１のナイキスト周波数の情報を読み出し、該情報を用いて再構成ＯＴＦを作成する。

図１４を用いて、再構成ＯＴＦの作成方法について詳しく説明する。再構成ＯＴＦの作成に必要なmeridional方向とsagittal方向のナイキスト周波数をそれぞれｆｕｃ_ｒｍ，ｆｖｃ_ｉｍとし、またmeridional方向とsagittal方向のタップ数をＭｘ，Ｍｙとする。ただし、meridional方向およびsagittal方向のナイキスト周波数ｆｕｍ，ｆｖｍに対して、
０＜ｆｕｍ_ｎ≦ｆｕｍ
０＜ｆｖｍ_ｎ≦ｆｖｍ
０＜Ｍｘ≦Ｎｘ
０＜Ｍｙ≦Ｎｙ
であり、Ｍｘ，Ｍｙは奇数である。
式（８）および式（９）のｘ，ｙをｕ，ｍに置き換え、さらに、
−ｆｕｍ_ｎ／ｆｕｍ≦ｕ≦１
−ｆｖｍ_ｎ／ｆｖｍ≦ｖ≦１
の定義域をそれぞれ、［Ｍｘ／２］＋１および［Ｍｙ／２］＋１タップでサンプリングする。ＯＴＦ再構成部１２２は、上述した係数を式（９）に代入することで、再構成ＯＴＦの１／４の領域を作成する。このような手順を、図１４に示す再構成ＯＴＦの実部（１２２−１−１）と虚部（１２２−２−１）について同様に行う。

次に、作成された実部と虚部がともに１／４の領域の再構成ＯＴＦから、定義域が、
−ｆｕｍ_ｎ／ｆｕｍ≦ｕ≦ｆｕｍ_ｎ／ｆｕｍ
−ｆｖｍ_ｎ／ｆｖｍ≦ｖ≦ ｆｖｍ_ｎ／ｆｖｍ
であり、タップ数がＭｘ，Ｍｙである再構成ＯＴＦを作成する方法を説明する。

まず、再構成ＯＴＦの実部の作成方法について説明する。ＯＴＦ再構成部１２２は、再構成ＯＴＦの実部を先に作成された実部（１２２−１−１）を用いて以下の領域に分割する。
１〜［Ｍｘ／２］＋１行，１〜［Ｍｙ／２］列の領域
１〜［Ｍｘ／２］＋１行，［Ｍｙ／２］＋１列の領域
次に、ＯＴＦ再構成部１２２は、実部（１２２−１−２）に示すように、１〜［Ｍｘ／２］＋１行，１〜［Ｍｙ／２］列の領域の数値データを、１〜［Ｍｘ／２］＋１行，［Ｍｙ／２］＋２〜Ｍｙ列の領域に代入する。このとき、１〜［Ｍｘ／２］＋１行，［Ｍｙ／２］＋１列の領域に対して線対称になるように代入する。

さらに、実部（１２２−１−３）に示すように、実部（１２２−１−２）で作成した１／２領域の再構成ＯＴＦを、１〜［Ｍｘ／２］行，１〜Ｍｙ列の領域と、［Ｍｘ／２］＋１行，１〜Ｍｙ列の領域に分離する。そして、１〜［Ｍｘ／２］行，１〜Ｍｙ列の領域の数値データを、［Ｍｘ／２］＋１行，１〜Ｍｙ列の領域に対して線対称になるように［Ｍｘ／２］＋２行，１〜Ｍｙ列の領域に代入する。

次に、再構成ＯＴＦの虚部の作成方法について説明する。実部と同様の方法で虚部も作成することはできるが、虚部（１２２−２−３）において、正負を入れ替えて代入する必要がある。このような作成方法を採用することが可能なのは、前述したＯＴＦの実部と虚部の特徴によるものである。

図１５には、再構成ＯＴＦのナイキスト周波数とタップ数との関係をより詳しく説明するために、再構成ＯＴＦの断面を示している。前述したように、ナイキスト周波数は撮像素子１１１の空間分解能から決定されるパラメータであり、タップ数は撮像レンズ１１２のＰＳＦ依存のパラメータである。これら２つのパラメータと上記係数とから所望の再構成ＯＴＦを作成することができる。

図１５において、ナイキスト周波数はｆ_ｎｙｑ１＞ｆ_ｎｙｑ２、タップ数はＮ＞Ｍ１＞Ｍ２であり、図示するようにナイキスト周波数とタップ数を所望の値に制御することが可能である。

以上により、撮像素子１１１と撮像レンズ１１２との組合せと撮像条件とに応じたＯＴＦを係数データ化し、画像処理装置１２０に記憶させておくことで、撮像時の撮像条件に応じた画像処理が可能になる。

また、図７に示したように、少量の係数データから画像全域を適切なタップ数で補正することができるため、保持データ量を抑制することができる。

次に、図１６に、本実施例の変形例を示す。図１６のステップＳ２０１〜Ｓ２０５は、図１のステップＳ１０１〜Ｓ１０５と同じであり、その説明は省略する。ステップ２０５までの処理により、例えば図７（ｂ）に示すようにＯＴＦが入力画像の１／４の領域に２次元配置されている。

この変形例では、光学ローパスフィルタや画素開口形状に関する伝達関数のように、撮像光学系とは異なり、回転対称性を持っていない伝達関数（以下、回転非対称伝達関数という）を考慮する場合の例である。

ステップＳ２０６では、コンピュータは、図７（ｂ）に示す状態において、各ＯＴＦに回転非対称伝達関数を付加する。その後、コンピュータは、ステップＳ２０７〜Ｓ２１１において、図１のステップＳ１０６〜Ｓ１１と同じ処理を行い、入力画像に対して鮮鋭化された補正画像を取得する。

なお、図７（ｂ）では、ＯＴＦを画像の１／４の領域に２次元配置しているが、伝達関数の対称性に応じて、例えばＯＴＦを画像全域に展開してから回転非対称伝達関数を付加してもよい。

図１７には、本発明の実施例２である撮像装置の構成を示している。撮像装置には、入力画像としての撮影画像を鮮鋭化するための画像処理を行う画像処理プログラムがインストールされている。この画像処理は、撮像装置内に設けられた画像処理部（画像処理装置）２０４に含まれるコンピュータ（処理手段）によって該画像処理プログラムに従って実行される。

撮像光学系２０１は、不図示の被写体からの光を撮像素子２０２上に結像させる。撮像光学系２０１内の絞り２０１ａは、絞り値を可変とするよう開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によってその位置が変更される。撮像光学系２０１にローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよい。ただし、ローパスフィルタ等の撮像光学系２０１のＯＴＦの特性に影響を与える素子を用いる場合には、点像強度分布関数を作成する時点での考慮が必要になる場合がある。回転非対称な伝達関数を用いる場合は、図１６で説明したように、ＯＴＦを再配置した後に回転非対称な伝達関数を付加する。回転非対称な伝達関数としては、例えば光学ローパスフィルタや画素の開口形状を示す関数である。

撮像素子２０２は、被写体像を光電変換してアナログ電気信号を出力する。このアナログ電気信号は、Ａ／Ｄコンバータ２０３によってデジタル信号に変換され、該デジタル信号は画像処理部２０４に入力される。

画像処理部２０４は、デジタル信号に対して所定の処理と行うことで撮影画像を生成し、この撮影画像を入力画像として鮮鋭化処理を行う。具体的には、画像処理部２０４は、状態検知部２０７から撮像時における撮像条件情報（絞り値、撮像距離、ズームレンズの焦点距離等）を取得する。状態検知部２０７は、システムコントローラ２１０から直接、撮像条件情報を得てもよいし、例えば撮像光学系２０１に関する撮像条件情報は撮像光学系制御部２０６から得ることもできる。

そして、画像処理部２０４は、図１または図１６のフローチャートによって説明した画像処理によって入力画像を鮮鋭化する。つまり、画像処理部２０４は、図１８に示すように、光学伝達関数選択部２０４１、光学伝達関数再配置部２０４２、点像強度分布関数生成部２０４３、補正信号生成部２０４４および信号加算部２０４５を有する。これら各部は、図１および図１６にいう光学伝達関数選択工程、光学伝達関数再配置工程、点像強度分布関数生成工程、補正信号生成工程および信号加算工程を行う。

また、図１７に示すように、撮像装置には、再構成ＯＴＦを生成するための係数データを記憶する記憶部２０８が設けられている。

画像処理部２０４で生成された補正画像（出力画像）は、画像記録媒体２０９に所定のフォーマットで保存される。また、補正画像は、表示部２０５にて表示される。

一連の処理の制御はシステムコントローラ２１０で行われ、撮像光学系２０１の機械的な駆動は、システムコントローラ２１０からの指示を受けた撮像光学系制御部２０６が行う。

なお、本実施例では、撮像光学系２０１が撮像装置の一部として構成されているが、撮像光学系は、撮像素子等を含む撮像装置（レンズ交換型カメラ本体）に対して着脱可能なものであってもよい。レンズ交換式カメラの場合、係数データはレンズ側の記憶部からカメラ本体に通信して保持してもよい。この係数データは、前述した通り、カメラ本体側の撮像素子の様々なナイキスト周波数や、光学ローパスフィルタの特性に対して共通して使用することができるため、扱う係数データ量を抑制することができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

入力画像に対して良好に鮮鋭化された画像を生成可能な画像処理技術を提供できる。

１１０ 撮像装置
１１２ 撮像レンズ
１２０ 画像処理装置
２０４ 画像処理部

Claims (13)

1. 光学系を通した撮像により生成された入力画像を取得し、
   前記入力画像の撮像条件および基準位置からの像高に応じて異なる複数の光学伝達関数を特定の像高方向において選択し、
   前記複数の光学伝達関数を前記基準位置の回りで回転させるとともに画素配列に応じた補間を行うことにより、前記入力画像に対して２次元に光学伝達関数を配置し、
   該２次元配置した光学伝達関数を用いて、前記入力画像内の位置ごとに点像強度分布関数を生成し、
   該点像強度分布関数を用いて、フィルタ面内で回転非対称な係数を有するフィルタを生成し、
   該フィルタを前記入力画像に適用して補正信号を生成し、
   該補正信号と前記入力画像とを用いて前記入力画像に対する鮮鋭化処理を行うことを特徴とする画像処理方法。
2. 前記２次元配置した光学伝達関数をフーリエ変換して前記点像強度分布関数を生成することを特徴とする請求項１の画像処理方法。
3. 前記点像強度分布関数を前記フィルタとして用い、該フィルタを前記入力画像に対してコンボリューションすることで得られた信号と前記入力画像との差分を用いて前記補正信号を生成することを特徴とする請求項１または２に記載の画像処理方法。
4. 前記鮮鋭化処理として、前記補正信号を定数倍したものを前記入力画像に対して加算または減算することを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記特定の像高方向における前記複数の光学伝達関数の前記回転および前記補間によって前記入力画像内において離散した複数の特定位置のそれぞれに対応する光学伝達関数を前記２次元配置する光学伝達関数として求め、
   該２次元配置した光学伝達関数を用いて前記複数の特定位置のそれぞれに対応する点像強度分布関数を生成するとともに、該点像強度分布関数を用いた補間によって前記特定位置とは異なる複数の位置のそれぞれに対応する点像強度分布関数を求めることにより、前記入力画像の全域において位置ごとの前記点像強度分布関数を生成し、
   該点像強度分布関数を用いて前記入力画像に鮮鋭化処理を行うことを特徴とする請求項１に記載の画像処理方法。
6. 前記２次元配置した光学伝達関数に対して、前記基準位置に対して回転非対称な伝達関数を付加することを特徴とする請求項１に記載の画像処理方法。
7. 前記回転非対称な伝達関数は、光学ローパスフィルタに相当する伝達関数または画素の開口形状に対応する伝達関数であることを特徴とする請求項６に記載の画像処理方法。
8. 前記特定の像高方向における光学伝達関数の選択は、該光学伝達関数を構成する係数を前記撮像条件および前記像高に応じて選択することにより行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理方法。
9. 前記光学伝達関数は実部と虚部を有し、
   前記係数は該実部と虚部のそれぞれの係数であることを特徴とする請求項８に記載の画像処理方法。
10. 前記撮像条件および前記像高に応じて選択される前記係数は前記光学伝達関数の定義域の一部における係数であり、
    該選択された係数を前記定義域に対称に配置することで該定義域の全体の前記係数を求めることを特徴とする請求項８に記載の画像処理方法。
11. 光学系を通した撮像により生成された入力画像に対して画像処理を行う画像処理装置であって、
    前記画像処理として、
    前記入力画像の撮像条件および基準位置からの像高に応じて異なる複数の光学伝達関数を特定の像高方向において選択し、
    前記複数の光学伝達関数を前記基準位置の回りで回転させるとともに画素配列に応じた補間を行うことにより、前記入力画像に対して２次元に光学伝達関数を配置し、
    該２次元配置した光学伝達関数を用いて、前記入力画像内の位置ごとに点像強度分布関数を生成し、
    該点像強度分布関数を用いて、フィルタ面内で回転非対称な係数を有するフィルタを生成し、
    該フィルタを前記入力画像に適用して補正信号を生成し、
    該補正信号と前記入力画像とを用いて前記入力画像に対する鮮鋭化処理を行う処理手段を有することを特徴とする画像処理装置。
12. 光学系を通した撮像により画像を生成する撮像系と、
    前記画像を入力画像として取得して画像処理を行う請求項１１に記載の画像処理装置とを有することを特徴とする撮像装置。
13. コンピュータに、光学系を通した撮像により生成された入力画像に対する画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、
    前記入力画像の撮像条件および基準位置からの像高に応じて異なる複数の光学伝達関数を特定の像高方向において選択し、
    前記複数の光学伝達関数を前記基準位置の回りで回転させるとともに画素配列に応じた補間を行うことにより、前記入力画像に対して２次元に光学伝達関数を配置し、
    該２次元配置した光学伝達関数を用いて、前記入力画像内の位置ごとに点像強度分布関数を生成し、
    該点像強度分布関数を用いて、フィルタ面内で回転非対称な係数を有するフィルタを生成し、
    該フィルタを前記入力画像に適用して補正信号を生成し、
    該補正信号と前記入力画像とを用いて前記入力画像に対する鮮鋭化処理を行うことを特徴とする画像処理プログラム。