JP7301601B2 - 画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラム - Google Patents

Description

本発明は、画像の鮮鋭化処理を行う画像処理装置に関する。

光学系を用いた撮像において、被写体の１点から発生した光は光学系で生じる回折や収差等の影響を受けて、微小な広がりを持って像面に到達する。したがって撮影画像には光学系の回折や収差によるぼけが生じる。このような画像のぼけは、点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）等を用いた画像処理によって補正できることが知られている。
特許文献１には、撮影条件に応じた係数データから再構成した光学伝達関数を用いた画像回復フィルタによって画像を鮮鋭化する方法が開示されている。特許文献２には、点像強度分布関数の情報に基づいて生成されたフィルタを用いたアンシャープマスク処理によって画像を鮮鋭化する方法が開示されている。

特許第５４１４７５２号公報 特許第６１２４８４９号公報

歪曲収差は画像処理で補正できるため、撮像光学系の歪曲収差を意図的に残すように設計することで撮像光学系を小型化することができる。しかし、歪曲収差（たる型の歪曲収差）が大きい場合、撮像光学系のイメージサークルが撮像素子の全体を包含しない場合がある。イメージサークルより外側では被写体からの光が撮像面に到達しないため、点像強度分布関数または光学伝達関数等の光学情報が存在しない。したがって特許文献１や特許文献２に開示された方法では、撮像光学系のイメージサークルが撮像素子全体を包含しない場合、光学情報に基づいて画像の鮮鋭化処理を行うことができない。

そこで本発明は、撮像光学系のイメージサークルが撮像素子全体を包含しない場合でも、光学情報に基づいて画像の鮮鋭化処理が可能な画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、光学系のイメージサークル外の光学情報として第１光学情報を取得する情報取得部と、前記光学系を用いた撮像により生成された入力画像に対して、前記第１光学情報に基づいて鮮鋭化処理を行う処理部とを有し、前記第１光学情報は、前記光学系のイメージサークル内の第２光学情報に基づいて生成された光学情報である。

本発明の他の側面としての撮像装置は、撮像を行う撮像素子と前記画像処理装置とを有する。

本発明の他の側面としてのレンズ装置は、撮像装置に着脱可能なレンズ装置であって、光学系と、前記光学系のイメージサークル外の第１光学情報を記憶する記憶部と、前記撮像装置に前記第１光学情報を送信する通信部とを有し、前記第１光学情報は、前記光学系のイメージサークル内の第２光学情報に基づいて生成され、前記光学系を用いた撮像により生成された入力画像に対する鮮鋭化処理に用いられる。

本発明の他の側面としての画像処理システムは、光学系と、撮像を行う撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、光学系のイメージサークル外の第１光学情報を取得する情報取得ステップと、前記光学系を用いた撮像により生成された入力画像に対して、前記第１光学情報に基づいて鮮鋭化処理を行う処理ステップとを有し、前記第１光学情報は、前記光学系のイメージサークル内の第２光学情報に基づいて生成された光学情報である。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、撮像光学系のイメージサークルが撮像素子全体を包含しない場合でも、光学情報に基づいて画像の鮮鋭化処理が可能な画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラムを提供することができる。

各実施例におけるアンシャープマスク処理による鮮鋭化の説明図である。 各実施例における光学系のＰＳＦを示す模式図である。 各実施例における回転対称なアンシャープマスクを用いた鮮鋭化処理の説明図である。 各実施例における回転非対称なアンシャープマスクを用いた鮮鋭化処理の説明図である。 各実施例における鮮鋭化フィルタを生成する画面位置とイメージサークルとの関係の説明図である。 各実施例における撮像装置のブロック図である。 実施例１における画像処理のフローチャートである。 各実施例における鮮鋭化フィルタの生成の説明図である。 実施例２における画像処理のフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本実施形態の画像処理部は、光学系を用いた撮影により生成された入力画像に対して、光学系の光学特性に基づく鮮鋭化フィルタを用いた鮮鋭化処理としてアンシャープマスク処理を行う。まず、本実施形態の撮像装置の構成に関する説明を行う前に、本実施形態の鮮鋭化処理について説明する。ここで説明する鮮鋭化処理は、後述の各実施例において適宜用いられる。

図１は、アンシャープマスク処理による鮮鋭化の模式図である。図１（ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像をそれぞれ示す。図１（ｂ）の実線は、補正成分を示す。図１（ａ）、（ｂ）において、横軸は座標であり、縦軸は画素値（輝度値）である。図１（ａ）、（ｂ）は、後述する図２の所定の方向（例えば、ｘ方向）における断面に相当する。

入力画像をｆ（ｘ，ｙ）、補正成分をｕ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は、以下の式（１）で表すことができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｕ（ｘ，ｙ） … （１）
式（１）において、ｍは補正の強さを変化させるための調整係数であり、調整係数ｍの値を変化させることにより、補正量を調整することができる。なお、ｍは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整することもできる。また、調整係数ｍ（ｘ，ｙ）は、光学系の焦点距離や絞り値や被写体距離等の撮影条件に応じて異ならせることもできる。

アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、補正成分ｕ（ｘ，ｙ）は、以下の式（２）のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。

ｕ（ｘ，ｙ）＝ｆ（ｘ，ｙ）－ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） … （２）
式（２）の右辺を変形すると、以下の式（３）のように表すことができる。

ｕ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ）） … （３）
ここで、「＊」はコンボリューション（畳み込み積分、積和）、「δ（ｘ，ｙ）」はデルタ関数である。デルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。

式（２）を変形することで式（３）を表現できるため、式（２）と式（３）は等価である。よって、以下では、式（２）を用いて補正成分の生成について説明する。

式（２）では、入力画像ｆ（ｘ，ｙ）と入力画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかした画像の差分をとり、この差分情報に基づいて補正成分ｕ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。

例えば、図１（ａ）の実線で示す入力画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、入力画像ｆ（ｘ，ｙ）をぼかした画像は図１（ａ）の破線で示すようになる。補正成分ｕ（ｘ，ｙ）は図１（ａ）の実線から図１（ａ）の破線を減算すること得られる図１（ｂ）の実線で示される成分となる。このように算出された補正成分を用いて、式（１）の演算を行うことによって、図１（ａ）の実線に示す入力画像ｆ（ｘ，ｙ）を図１（ａ）の点線のように鮮鋭化することができる。

次に、光学系で生じた回折や収差等の影響により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。光学系を用いた撮影により生成された入力画像ｆ（ｘ，ｙ）は、光学系による劣化が無い場合の画像（元の画像）をＩ（ｘ，ｙ）、光学系のＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式（４）のように表すことができる。

ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） … （４）
まず、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転対称にぼけている場合について述べる。光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なＵＳＭを適用することで入力画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は入力画像をアンシャープマスクでぼかした画像と入力画像の差分値となるため、精度良く補正するためには、アンシャープマスクとして単純な平滑化フィルタではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用することが好ましい。

例えば、球面収差の影響で入力画像が劣化している場合を考える。球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、回転対称にぼける影響を低減する場合、光学系のＰＳＦを使用する方が精度良く補正することができる。

このため、本実施形態ではアンシャープマスクＵＳＭ（ｘ，ｙ）にＰＳＦを用いている。図１（ａ）に示す入力画像ｆ（ｘ，ｙ）は簡略化のために対称な形状となっているが、画像の形状が対称でなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であっても、元の画像Ｉ（ｘ，ｙ）に畳み込まれる劣化関数（ｐｓｆ（ｘ，ｙ）に相当する）が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。

次に、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転非対称にぼけている場合について述べる。撮像光学系が回転対称な共軸光学系であっても、画像の中心部以外の位置におけるＰＳＦは通常非対称な形状となる。図２は、ｘｙ平面における撮像光学系のＰＳＦの模式図であり、図２（ａ）は軸上のＰＳＦ、図２（ｂ）は軸外のＰＳＦを表している。

例えば、元の画像が理想点像であったとすると、式（４）から、入力画像ｆ（ｘ，ｙ）は光学系のＰＳＦになる。図２（ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像が劣化したとすれば、入力画像は図２（ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図３および図４は非対称に劣化した画像に対するアンシャープ処理の模式図であり、図３は回転対称なアンシャープマスクを用いた場合、図４は回転非対称なアンシャープマスクを用いて処理を行った場合をそれぞれ示している。図３および図４において、縦軸と横軸は図１と同様である。

図３（ａ）および図４（ａ）の実線は図２（ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした入力画像を表している。図３の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図４の回転非対称なアンシャープマスクには光学系のＰＳＦを適用している。

図３（ｂ）および図４（ｂ）は、それぞれ各アンシャープマスクでぼかされた入力画像と入力画像の差分値をプロットしたものであり、補正成分を表している。図３（ａ）および図４（ａ）において、入力画像の裾野が広くなっている方をＹ軸のプラス側とする。

図３（ａ）では、実線のピーク位置に対してプラス側において入力画像と元の画像の差分値が小さく、マイナス側において入力画像と元の画像の差分値が大きくなっている。そのため、図３（ｂ）の補正成分も中心のピーク位置に対してプラス側よりマイナス側の方が極値は小さくなってしまっている。

図３（ａ）と図３（ｂ）の曲線を比較すればわかるように、プラス側の補正量が小さく、マイナス側の補正量は大きくなっている。このため、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。図３（ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図３（ａ）の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく沈んでおり、非対称なぼけは補正できていないことがわかる。

ここで、アンシャープマスクを変えずに式（１）の調整係数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になり、画像のマイナス側の補正量を適切になるように調整係数ｍの値を設定すると、画像のプラス側は補正不足となる。

このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称に劣化した入力画像を鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図４（ａ）では、実線のピーク位置に対してプラス側において入力画像と元の画像の差分値が大きく、マイナス側において入力画像と元の画像の差分値が小さくなっている。すなわち、図３（ａ）と反対の傾向が現れている。そのため、図４（ｂ）の補正成分も中心のピーク位置に対してマイナス側よりプラス側の方が極値は小さくなっている。

図４（ａ）の実線で表された入力画像に対して、図４（ｂ）に示す補正成分を適用することで、ピーク位置に対してプラス側（ぼけが大きい方に）は補正量を大きく、マイナス側（ぼけが小さい方）は補正量を小さくすることができる。

こうした非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。図４（ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図４（ａ）の実線に対しても鮮鋭化できており、また、図３（ｃ）で生じていたマイナス側の沈みが改善されている。さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。

また、より補正精度を向上させるためには、撮像光学系のＰＳＦによってより大きくぼける部分が、アンシャープマスクによっても大きくぼかされる必要がある。それゆえ、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転非対称にぼけている場合、アンシャープマスクとして光学系のＰＳＦを利用することが好ましい。この場合、鮮鋭化フィルタ（鮮鋭化処理において入力画像に対して畳み込み演算される係数行列）は、成分が回転非対称に分布した２次元フィルタとなる。なお、鮮鋭化フィルタとは鮮鋭化処理において入力画像に対して畳み込み演算される係数行列であり、鮮鋭化フィルタの成分とは行列の成分（タップ値）である。

なお、光学系のＰＳＦは、光学系の焦点距離、光学系のＦ値、および被写体距離を含む撮影条件ごとに異なる。また、ＰＳＦは入力画像内での位置に依っても異なる。それゆえ、鮮鋭化フィルタは、入力画像における各位置に対して撮影条件ごとに変化させることが好ましい。

なお、式（１）、（３）より、鮮鋭化処理後の画像ｇ（ｘ，ｙ）は、以下の式（５）のように表現することができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ）｝ … （５）
式（５）の右辺を入力画像ｆ（ｘ，ｙ）についてまとめると、以下の式（６）のようになる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ））｝ … （６）
式（６）において、右辺の中括弧内の項が鮮鋭化フィルタに相当する。

［画像回復処理］
次に、異なる鮮鋭化処理である画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（７）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （７）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（７）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（８）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （８）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇから元の画像ｆを得るには、以下の式（９）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （９）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^－１を逆フーリエ変換したものをＲとすると、以下の式（１０）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （１０）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタなどとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（１１－１）、（１１－２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （１１－１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （１１－２）
ここで、Ｎはノイズ成分である。ノイズ成分が含まれる画像に関しては、例えば以下の式（１２）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例の鮮鋭化フィルタとして用いることのできる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（１２）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。

次に、イメージサークルが撮像素子全体を包含しない場合の鮮鋭化処理について述べる。イメージサークルとは、被写体面からの光が撮像光学系を通って撮像面に結像する範囲であり、光軸について回転対称な光学系では円形である。イメージサークルの大きさは、半径で表すことができる。例えば、周辺光量比が所定の値以上となる範囲や結像性能が所定の値以上となる範囲をイメージサークルとして定義すればよい。通常、イメージサークル径（イメージサークルの半径）が撮像素子の全面をカバーするように撮像光学系は設計される。つまり、矩形の撮像素子であれば、撮像素子の対角線長よりもイメージサークル径が大きくなるように撮像光学系は設計される。

しかし、前述のように、デジタルカメラでは画像処理で歪曲収差を補正できることから、撮像光学系のイメージサークルが撮像素子全体を包含しないように設計されることが可能である。歪曲収差を補正しないと撮像画像上にイメージサークル外の領域があるため、低輝度で結像しない領域があり好ましくない。そこで、撮像画像上におけるイメージサークル内の領域のみを含むように歪曲収差補正をした画像を出力することが好ましい。

一方、歪曲収差補正処理によって撮像画像のぼけが変わるため、光学情報を用いた鮮鋭化処理は歪曲収差補正の前に行うことが好ましい。ここで、鮮鋭化処理を行う際に、イメージサークル外の領域が撮像画像に含まれることを考える。イメージサークル外では光が結像していないため、点像強度分布関数や光学伝達関数が定義されない。一方、光学情報のデータ量や鮮鋭化フィルタの計算負荷を考慮すると、撮像面上では離散的な画面位置で光学情報や光学情報に基づく鮮鋭化フィルタを取得することが好ましい。

図５は、鮮鋭化フィルタを生成する画面位置とイメージサークルとの関係の説明図である。図５において、撮像画像（撮像領域）に対して鮮鋭化フィルタを取得する画面位置を丸で示し、イメージサークルを破線で示す。白丸の画面位置では、イメージサークルの内側であるため光学情報を取得できるが、黒丸の画面位置ではイメージサークルの外側であるため光学情報が定義できない。しかし、光学情報を定義しない場合、光学情報があることを前提とした画像処理装置とはデータの保存方法を変えなければならず、鮮鋭化処理を実行することもできない。また、イメージサークル外では鮮鋭化処理を実行しない場合はイメージサークル径をズーム、絞り値、フォーカス位置等の撮影条件ごとに取得する必要がある。

このとき、イメージサークルの端で処理が切り替わるため、精度よくイメージサークル径を取得し、結像している全領域で鮮鋭化処理を行うことができないと、鮮鋭化画像が不自然になる。しかし、撮像条件や製造誤差で変化するイメージサークル径を精度よく取得することは難しい。また、白丸や黒丸がない画面位置では光学情報や鋭化フィルタ、鮮鋭化画像のうち少なくとも１つを補間して取得する必要がある。しかし、黒丸の画面位置で光学情報が定義されていないことで、イメージサークル内であっても黒丸の画面位置との補間が必要な画面位置で鮮鋭化処理が実行できない。同様に撮像条件に対しても離散的なデータを保持して補間する場合、鮮鋭化処理を行う画面位置がイメージサークル外となる撮像条件との補間ができない。画面位置や撮像条件に対する補間が必要な画面位置がイメージサークル内にあることから、補間後の鮮鋭化効果も考慮する必要がある。

次に、本実施形態の撮像装置の構成について述べる。図６を参照して、本実施形態の撮像装置１００について説明する。図６は、撮像装置１００の構成を示すブロック図である。撮像装置１００には、本実施形態の鮮鋭化処理を行うための画像処理プログラムがインストールされている。本実施形態の鮮鋭化処理は、撮像装置１００の内部の画像処理部（画像処理装置）１０４により実行される。

撮像装置１００は、光学系（撮像光学系）１０１と撮像装置本体（カメラ本体）とを備えて構成される。光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを有し、カメラ本体と一体的に構成されている。ただし、本発明はこれに限定されるものではなく、光学系１０１がカメラ本体に対して着脱可能に装着される撮像装置にも適用可能である。また光学系１０１は、レンズ等の屈折面を有する光学素子に加えて、回折面を有する光学素子や反射面を有する光学素子等を含んで構成されていてもよい。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサを有し、光学系１０１を介して形成された被写体像（光学系１０１により結像された光学像）を光電変換して撮影画像（画像データ）を生成（出力）する。すなわち被写体像は、撮像素子１０２による光電変換でアナログ信号（電気信号）に変換される。Ａ／Ｄコンバータ１０３は、撮像素子１０２から入力されたアナログ信号をデジタル信号に変換し、画像処理部１０４へ出力する。

画像処理部１０４は、デジタル信号に対して所定の処理を行うとともに、本実施形態の鮮鋭化処理を行う。画像処理部１０４は、撮影条件取得部１０４ａ、情報取得部１０４ｂ、処理部１０４ｃ、および、補正部１０４ｄを有する。撮影条件取得部１０４ａは、状態検出部１０７から撮像装置１００の撮影条件を取得する。撮影条件とは、絞り値、撮影距離（フォーカス位置）、または、ズームレンズの焦点距離等である。状態検出部１０７は、システムコントローラ１１０から直接撮影条件を取得してもよいし光学系制御部１０６から取得してもよい。

点像強度分布（ＰＳＦ）、またはＰＳＦの生成に必要なデータは、記憶部（記憶手段）１０８に保持されている。記憶部１０８は、例えばＲＯＭで構成される。画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。液晶モニタや有機ＥＬディスプレイで構成された表示部１０５には、鮮鋭化処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし、表示部１０５に表示する画像はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部１０５に表示するようにしてもよい。

システムコントローラ１１０は撮像装置１００の制御を行う。光学系１０１の機械的な駆動はシステムコントローラ１１０の指示に基づいて光学系制御部１０６により行われる。光学系制御部１０６は、所定のＦナンバーとなるように絞り１０１ａの開口径を制御する。また、光学系制御部１０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ１０１ｂの位置を制御する。なお、絞り１０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置１００の仕様に応じて実行しなくてもよい。

なお、ローパスフィルタや赤外線カットフィルタ等の光学素子を光学系１０１と撮像素子１０２の間に配置してもよいが、ローパスフィルタ等の光学特性に影響を与える素子を用いる場合、鮮鋭化フィルタを作成する時点での考慮が必要になる場合がある。赤外線カットフィルタに関しても、分光波長の点像強度分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、鮮鋭化フィルタを作成する時点での考慮が必要になる場合がある。したがって、ローパスフィルタや赤外線カットフィルタの有無に応じて鮮鋭化フィルタを変更しても良い。

なお、画像処理部１０４はＡＳＩＣで構成され、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０はそれぞれＣＰＵまたはＭＰＵによって構成されている。また、これら画像処理部１０４、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０のうちの１つ以上を、同じＣＰＵあるいはＭＰＵで兼用して構成するようにしてもよい。

以下、画像処理部１０４において行われる鮮鋭化処理について、各実施例において具体的に説明する。

［実施例１］
まず、実施例１における鮮鋭化処理について説明する。図７は、本実施例における鮮鋭化処理のフローチャートである。本実施例の鮮鋭化処理は、主に、システムコントローラ１１０の指示に基づいて画像処理部１０４の各部により実行される。図７のフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラムとして具現化可能である。この点は、以下のフローチャートでも同様である。本実施例では、光学系（撮像光学系）１０１のイメージサークルが撮像素子１０２の一部を包含していない。このため、入力画像にイメージサークル外の領域が存在する。

本実施例におけるフローチャートを説明する前に、図８を参照して、本実施例における鮮鋭化フィルタの生成（取得）について説明する。図８は、鮮鋭化フィルタの生成の説明図である。図８（ａ）は、鮮鋭化フィルタが生成される入力画像上の位置を示す。図８（ａ）における白丸と黒丸は、鮮鋭化フィルタが生成される入力画像上の位置を表している。本実施例では、入力画像上に離散的に配置された８１か所の位置に対して光学系１０１の光学特性に基づいて鮮鋭化フィルタを生成する。これらの生成された鮮鋭化フィルタに対して線形補間等を行うことにより、入力画像上の任意の位置の鮮鋭化フィルタを生成することができる。これにより、鮮鋭化フィルタを生成する処理負荷を低減させつつ、入力画像上の任意の位置に対して適切な鮮鋭化フィルタを適用することが可能となる。

なお図８（ａ）では、鮮鋭化フィルタを生成する位置を９×９＝８１か所としているが、処理負荷をより軽減するためにさらに位置を減らしてもよいし、より補正精度を高めるために位置を増やしてもよい。また、図８（ａ）の白丸の各点について直接光学特性を取得し、鮮鋭化フィルタを生成することもできるが、これらの光学特性や鮮鋭化フィルタも補間により生成してもよい。図８（ｂ）にはその例を示しており、各位置における光学特性を補間により生成する場合を示している。

まず、図８（ｂ）の黒丸と灰丸の位置における光学特性を取得する。破線が撮像光学系のイメージサークルであり、灰丸が第２光学情報を取得する位置、黒丸が第１光学情報を取得する位置である。一般に、光学系のＰＳＦは光軸に対して回転対称となるため、光学特性も同様に光軸に対して回転対称となる。この特徴を利用して、図８（ｂ）では入力画像の中心から像高の異なる複数の位置（黒丸と灰丸で示した１０か所）における光学特性を取得し、これらを入力画像の中心に対して回転させながら各白丸に対応する位置の光学特性を補間により生成する。そして各位置での光学特性に基づいて各位置での鮮鋭化フィルタを取得する。これにより、各位置に対して光学特性を取得する必要がなくなるため処理負荷やデータ量を低減することができる。なお、ここでは１０点分の光学特性から８１点分の光学特性を補間により取得したが、１０点分の光学特性から先に鮮鋭化フィルタを取得して鮮鋭化フィルタを補間することで８１点分の鮮鋭化フィルタを取得してもよい。

まず、図７のステップＳ１０１において、画像処理部１０４は、撮像装置１００の撮像素子１０２により撮像された画像を入力画像として取得する。入力画像は、記憶部１０８に保存される。また画像処理部１０４は、入力画像として、画像記録媒体１０９に保存されている画像を取得してもよい。

続いてステップＳ１０２において、撮影条件取得部１０４ａは、入力画像の撮影時の撮影条件を取得する。撮影条件とは、光学系１０１の焦点距離、絞り値、および、撮影距離等である。光学系１０１がカメラ本体に交換可能に装着される撮像装置の場合、撮影条件はさらにレンズＩＤやカメラＩＤを含む。撮影条件取得部１０４ａは、撮影条件を、撮像装置１００から直接取得してもよいし、入力画像に付帯された情報（例えばＥＸＩＦ情報）から取得してもよい。

続いてステップＳ１０３において、情報取得部１０４ｂは、記憶部１０８から光学系１０１の光学特性（光学情報）を取得する。本実施例において、光学特性は、図８（ｂ）の黒丸と灰丸の位置における点像強度分布関数（ＰＳＦ）である。ただし、光学特性として光学伝達関数（ＯＴＦ）のようにＰＳＦに相当するものや、ＰＳＦやＯＴＦを近似的に表した関数の係数データなどを取得してもよい。光学特性（光学情報）は、イメージサークル内の光学情報（第２光学情報）に加えて、擬似的に生成されたイメージサークル外の光学情報（第１光学情報、疑似的な光学情報）を含む。

ここで「擬似的」とは、光学系（撮像光学系）１０１や撮像装置１００の光学特性に基づいて定まる画面位置の光学情報ではなく、以降の処理に用いるための形式的な情報であることを指す。実際には、イメージサークル外には光学情報が定義されないため、光学情報を定義しようとすると擬似的な光学情報になる。擬似的な光学情報を含むことで、イメージサークルが撮像素子１０２の全域を包含する場合と同じ処理フローで以降の処理を実行することができる。

本実施例において、擬似的な光学情報は、図８（ｂ）中の灰丸で示される第２光学情報のうち最も高像高の光学特性を複製することで生成されることが好ましい。イメージサークルよりも外側は、被写体が結像しないため鮮鋭化処理をかける効果はない。一方、第２光学情報は、離散的な像高でしか保持していないため、イメージサークルより内側かつ第２光学情報のうち最大像高の位置よりもさらに高像高側が存在する。この場合、被写体が結像している位置に擬似的な光学情報（第１光学情報）と第２光学情報との補間に基づく鮮鋭化処理を適用することができる。擬似的な光学情報を第２光学情報のうち最大像高の光学特性の複製とすることで、光学特性を補間した影響によるアンダーシュート等の弊害を低減した鮮鋭化処理を実行できる。

ここで、例えばイメージサークル外では鮮鋭化処理が不要であるため、擬似的な光学情報を無収差の情報にすると、光学特性が補間される画面位置で実際とは大きく異なる光学特性となる。その結果、アンダーシュート等の弊害が生じ、または、鮮鋭化の効果が不十分となる。イメージサークル外では、鮮鋭化処理が不要であることに加えて、第２光学情報に基づいて鮮鋭化効果のあるフィルタを適用するとノイズが増幅する。しかし、イメージサークル外に第２光学情報に基づく擬似的な光学情報を用いることで、第１光学情報と第２光学情報との補間が必要な領域で弊害を抑えつつ鮮鋭化の効果を向上させることができる。

ここでは、擬似的な光学情報を第２光学情報から複製によって生成されたものとしたが、例えば、第２光学情報のうち高像高側の複数からの外挿によって生成されたものでもよい。また、最も高像高の光学特性に対してぼかし処理等の結像性能を低くする処理を行うことで生成されたものでもよい。一般的に、高像高側で結像性能が低下することが多いため、第１光学情報として第２光学情報よりも結像性能の低い光学特性を用いることで、補間位置においてより実際の光学特性に近くなるような擬似的光学情報が得られる場合がある。

本実施例では、第１光学情報を予め保持された第２光学情報に基づいて生成するが、第１光学情報の生成に用いられる第２光学情報が撮像装置１００やレンズ装置（光学系１０１）に記憶される場合に限定されるものではない。すなわち、イメージサークル内の光学特性（第２光学情報）を記憶部１０８等の記憶装置に保存する画面位置よりも多くの画面位置に対して取得し、そのうちの一部から前述のように第１光学情報を生成してもよい。これにより、よりイメージサークルの境界に近い位置における第２光学情報に基づいて、第１光学情報を生成することができる。

続いてステップＳ１０４において、処理部１０４ｃは、ステップＳ１０３にて取得された光学特性を入力画像の中心に対して回転させながら、図８（ａ）の各白丸に対応する位置の光学特性を補間により生成する。続いてステップＳ１０５において、処理部１０４ｃは、ステップＳ１０４にて取得した各白丸に対応する位置の光学特性から、式（６）に基づいて鮮鋭化フィルタを取得する。入力画像の各位置における光学特性（ＰＳＦ）はそれぞれ異なるため、入力画像の各位置に対して適用される各鮮鋭化フィルタはそれぞれ異なる。

続いてステップＳ１０６において、処理部１０４ｃは、ステップＳ１０５にて取得した鮮鋭化フィルタに基づいて、入力画像の鮮鋭化処理を実行する。すなわち処理部１０４ｃは、入力画像に鮮鋭化フィルタを畳み込むことで、入力画像を鮮鋭化する。続いてステップＳ１０７において、補正部１０４ｄは、ステップＳ１０６にて鮮鋭化処理をかけた後の入力画像に対して、歪曲収差補正を実行する。続いてステップＳ１０８において、画像処理部１０４は、歪曲収差補正後の入力画像を出力画像として生成し、画像記録媒体１０９に保存する。これにより、本実施例における画像処理全体の処理が完了する。

なお本実施例において、情報取得部１０４ｂは、光学特性を撮像装置１００の記憶部１０８から取得するが、これに限定されるものではない。例えば、光学系１０１がカメラ本体に対して着脱可能に装着される撮像装置の場合、情報取得部１０４ｂは、光学系１０１を含むレンズ装置内の記憶部に記憶された光学特性を、撮像装置に通信により取得してもよい。この場合、レンズ装置（光学系１０１）は、図６に示されるように、光学系１０１のイメージサークル内の第２光学情報に基づいて生成された第１光学情報を記憶する記憶部１２１、および、カメラ本体に第１光学情報を送信する通信部１２２を有する。

第１光学情報は、製造時に設計値または個体ごとの測定情報に基づいて生成され、撮像装置内またはレンズ装置内に予め保持しておくことが好ましい。これにより、撮像の際に第１光学情報を生成する必要がなく、計算負荷を低減することができる。また、イメージサークルが撮像素子１０２の全域を包含する場合に第２光学情報を持つ形式と同じ形式で第１光学情報を保持しておくことが好ましい。これにより処理部１０４ｃは、入力画像の撮影条件において光学系１０１のイメージサークルが撮像素子１０２の全域を包含するか否かによらずに処理を実行することができる。また、光学系１０１がカメラ本体に対して着脱可能に装着される撮像装置の場合、装着される光学系１０１によるイメージサークルの違いに依存せず処理を実行することができる。このため、イメージサークルが撮像素子１０２の全域を包含しない光学系に対応するために処理部１０４ｃの構成を変更する必要がない。

光学情報は、撮像装置内またはレンズ装置内の記憶部に記憶する以外に、サーバー上に予め保持されていてもよい。この場合、必要に応じて撮像装置やレンズ装置に通信によって光学情報をダウンロードしてくることが可能である。この場合も、予め生成された光学情報を取得することで、撮像装置内で光学情報を生成する必要がなく、計算負荷を低減することができる。

第１光学情報は、その生成の際に、イメージサークル外か否かを判定して生成されることが好ましい。光学情報は、設計時または製造時にシミュレーションまたは測定によって取得された光学特性に基づいて生成される。例えばシミュレーションでは、像面に到達する光量が非常に小さい場合や結像していない場合にも光学特性が出力される可能性がある。測定においても像面に到達する光量が小さい場合は精度よく光学特性を取得することができない。したがって、イメージサークルを定める所定の規則に基づいてイメージサークル外か否かを判定し、イメージサークル内と判定された場合のみシミュレーションまたは測定によって第２光学情報として生成すればよい。イメージサークル外と判定された結像位置においては、第２光学情報を生成した後に第２光学情報に基づいて第１光学情報を生成すればよい。

第１光学情報は、所定の向きで生成され、入力画像の位置に応じた回転処理を行い、回転処理後の第１光学情報に基づいて鮮鋭化処理を行うことが好ましい。また、第１光学情報は、同一の向きの第２光学情報から生成されることが好ましい。向きとは所定の回転方向、すなわちメリジオナル方向が所定の向きを向いていることを指す。同一の向きとは、メリジオナル方向が同一の向きを向いていることを指す。本実施例では、図８（ｂ）中の灰丸で示される位置の第２光学情報から黒丸で示した位置の第１光学情報を生成することで、同一の向きの第２光学情報に基づいて第１光学情報を生成する。入力画像の位置に応じた回転処理を行う前の第２光学情報と第１光学情報を生成して保持することで、第１光学情報を第２光学情報から容易に生成できる。例えば、図８（ａ）の白丸の位置で生成した第２光学情報から図８（ａ）の黒丸の位置に対応する第１光学情報を生成しようとすると、向きが異なるために複製や外挿によって生成することが難しい。一方、光学系１０１の回転対称性を利用して第２光学情報から同一の向きを向いた第１光学情報を生成することで、一意に第１光学情報を生成することができる。

第１光学情報を生成または保持する画面位置や像高は、光学系１０１の異なる撮影条件においては、イメージサークル内であることが好ましい。光学情報を所定のデータ量で精度よく保持するには、不要な画面位置の情報は少ないことが好ましい。一方、撮影条件ごとに異なる画面位置や像高で光学情報を保持することは、画面位置や像高自体の情報を別途保持する必要があり、データ量の増加だけでなく処理が複雑になる。そこで、ある撮影条件（第１撮像条件）においてイメージサークル内であるが、異なる撮影条件（第２撮像条件）においてイメージサークル外となる画面位置や像高において第１光学情報を生成または保持することで、処理を複雑化させずにデータ量も低減できる。すなわち、第１光学情報に対する入力画像の位置は、撮像光学系のズーム位置、絞り値、および、フォーカス位置の少なくとも一つが異なる状態においてイメージサークル内にある（レンズ状態によってはイメージサークル内にある）。

入力画像の一部の領域であり、第１光学情報と第２光学情報とに基づいて鮮鋭化処理を行った領域は、補正部１０４ｄが歪曲収差補正を行った出力画像に含まれることが好ましい。本実施例において、第２光学情報および第１光学情報の双方を用いて鮮鋭化を行う領域は、イメージサークルの境界に近い領域である。この領域を出力画像に含むことで、イメージサークルの有効領域を活用した画角での撮像が可能となる。

また、第１光学情報に基づく鮮鋭化処理では、擬似的な光学情報を利用するため、アンダーシュート等の弊害が生じやすい。また、イメージサークル外では被写体像が結像していないため、鮮鋭化が不要にも関わらず、鮮鋭化処理のゲインに応じてノイズが増幅される。そこで第１光学情報に基づく鮮鋭化処理においては、ゲインを小さくすることが好ましい。すなわち処理部１０４ｃは、第１光学情報に基づく第１鮮鋭化処理と第２光学情報のみに基づく第２鮮鋭化処理とを行い、第１鮮鋭化処理における第１ゲインは、第２鮮鋭化処理における第２ゲインよりも小さい。

例えば、鮮鋭化処理における加重加算率（出力画像における入力画像の割合）を大きくすることでゲインを小さくすることができる。加重加算率を８０％とする場合、入力画像が８割、補正後の画像が２割の割合で加重平均された画像が出力画像となる。これは、補正後の画像と補正前の画像との差分のうち２割を補正前の画像に加えることと等価であり、そのように演算してもよい。すなわち、式（６）における調整係数ｍの値を調節してもよい。このように、加重加算率を決定して鮮鋭化処理を行うことで、鮮鋭化処理による鮮鋭化度合い（ゲイン）を弱めることができる。なお本実施例では、加重加算率（または調整係数ｍ）によってゲインを調整する例を挙げたが、本発明はこれに限定されるものではなく、ゲインを調整する処理であれば他の方法を用いてもよい。

情報取得部１０４ｂは、イメージサークル径等のイメージサークルに関する情報を取得してもよい。イメージサークル径を取得することで、画像上のイメージサークルの境界位置に応じて前述のようにゲインを調整することができる。また情報取得部１０４ｂは、第１光学情報と第２光学情報を判別する判別情報を取得してもよい。光学情報とともに第１光学情報と第２光学情報の判別情報を取得することで、前述のようにゲインを調整することができる。

本実施例では、ステップＳ１０３にて光学特性を取得し、ステップＳ１０４にて光学特性を回転した後に、ステップＳ１０５にて鮮鋭化フィルタを取得するが、ステップＳ１０６にて光学特性に基づく鮮鋭化処理を実行可能であれば、これに限定されるものではない。例えば、ステップＳ１０４とステップＳ１０５とを入れ替えて光学特性から鮮鋭化フィルタを取得した後に回転して、白丸の位置での鮮鋭化フィルタを求めてもよい。また、例えば光学特性から鮮鋭化フィルタを取得するための中間データを取得して、中間データを回転した後にステップＳ１０５にて中間データから鮮鋭化フィルタを取得してもよい。また本実施例において、第１光学情報は回転非対称であるが、これに限定されるものではない。

なお、本実施例では光学系１０１のイメージサークルが撮像素子１０２の一部を包含していないとしたが、撮影条件に依っては光学系１０１のイメージサークルが撮像素子１０２の全域を包含するような場合も考えられる。この場合、Ｓ１０２で取得された撮影条件を基に光学系１０１のイメージサークルが撮像素子１０２の全域を包含するか否か判定するようにしても良い。光学系１０１のイメージサークルが撮像素子１０２の全域を包含すると判定された場合には第２光学情報のみを用いた鮮鋭化処理が行えるため、Ｓ１０３で第２光学情報のみが取得されるようにすれば良い。

［実施例２］
次に、実施例２における鮮鋭化処理について説明する。図９は、本実施例における鮮鋭化処理のフローチャートである。本実施例の鮮鋭化処理は、主に、システムコントローラ１１０の指示に基づいて画像処理部１０４の各部により実行される。本実施例において、光学系（撮像光学系）１０１のイメージサークルは、撮像素子１０２の一部を包含しない。このため、入力画像にはイメージサークル外の領域が存在する。本実施例は、第１光学情報を画像処理部（画像処理装置）１０４で生成する点で、記憶部１０８等の記憶装置に予め記憶された第１光学情報を取得する実施例１と異なる。なお、図９のステップＳ２０１～Ｓ２０２、Ｓ２０５～Ｓ２０９は、図７のステップＳ１０１～Ｓ１０２、Ｓ１０４～Ｓ１０８とそれぞれ同様のため、それらの説明を割愛する。

ステップＳ２０３において、情報取得部１０４ｂは、記憶部１０８から光学系１０１の光学特性（光学情報）を取得する。本実施例は、実施例１とは異なり、光学特性（光学情報）はイメージサークル内の光学情報（第２光学情報）のみからなり、擬似的に生成されたイメージサークル外の光学情報（第１光学情報）を含まない。本実施例の光学系１０１は、イメージサークルが撮像素子１０２の全域を包含しないため、イメージサークルが撮像素子１０２の全域を包含する光学系では光学情報を取得する画面位置の少なくとも一つに対して光学情報を取得しない。

続いてステップＳ２０４において、処理部１０４ｃは、ステップＳ２０３にて取得された第２光学情報に基づいて、第１光学情報を生成する。具体的には、処理部１０４は、光学情報を取得しなかった画面位置に対してイメージサークル外であると判定し、最も近い位置の第２光学情報から複製することで第１光学情報を生成する。続くステップＳ２０５以降において、画像処理部１０４は、実施例１と同様に出力画像を生成して画像処理を完了する。本実施例によれば、第１光学情報を予め保持せず、撮像装置内で生成することで光学情報のデータ量を低減することができる。

なお各実施例では、鮮鋭化処理としてＰＳＦを用いたアンシャープマスク処理を行うことについて述べたが、本発明はこれに限定されるものではない。鮮鋭化処理は、光学系１０１の光学特性に基づく鮮鋭化フィルタを用いた処理であれば、ＰＳＦを用いないアンシャープマスク処理やエッジ強調処理等の他の処理であってもよい。また鮮鋭化処理は、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理であってもよい。

また、撮像装置から、撮像装置とは別に設けられた画像処理装置に入力画像を出力し、この画像処理装置が画像処理を行うように構成してもよい。この場合、入力画像に撮影条件情報に加えて、光学情報を含む補正に必要な情報も付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

このように各実施例において、情報取得部１０４ｂは、撮像光学系のイメージサークル外の第１光学情報を取得する。処理部１０４ｃは、撮像光学系を用いた撮影により生成された入力画像に対して、第１光学情報に基づいて鮮鋭化処理を行う。第１光学情報は、撮像光学系のイメージサークル内の第２光学情報に基づいて生成された光学情報（疑似的な光学情報）である。各実施例によれば、撮像光学系のイメージサークルが撮像素子全体を包含しない場合でも、光学情報に基づいて画像の鮮鋭化処理が可能な画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部（画像処理装置）
１０４ｂ 情報取得部
１０４ｃ 処理部

Claims (21)

1. 光学系のイメージサークル外の光学情報として第１光学情報を取得する情報取得部と、
   前記光学系を用いた撮像により生成された入力画像に対して、前記第１光学情報に基づいて鮮鋭化処理を行う処理部とを有し、
   前記第１光学情報は、前記光学系のイメージサークル内の第２光学情報に基づいて生成された光学情報であることを特徴とする画像処理装置。
2. 前記第１光学情報を記憶する記憶部を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１光学情報は、該第１光学情報に対応する位置がイメージサークル外であると判定された場合に、前記第２光学情報に基づいて生成された光学情報であることを特徴とする請求項１に記載の画像処理装置。
4. 前記処理部は、前記第１光学情報に対して前記入力画像の位置に応じた回転処理を行い、回転処理後の前記第１光学情報に基づいて前記鮮鋭化処理を行うことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第１光学情報および前記第２光学情報のメリジオナル方向は互いに同じであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記入力画像における前記第１光学情報に対応する位置は、第１撮像条件においてはイメージサークル外であり、該第１撮像条件とは異なる第２撮像条件においてはイメージサークル内であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記鮮鋭化処理が行われた前記入力画像に対して歪曲収差補正を行う補正部を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第１光学情報は、前記第２光学情報のうち最大像高における光学情報と同一であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記第１光学情報は、前記第２光学情報を外挿することで生成されることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
10. 前記処理部は、前記入力画像の少なくとも一部の領域に対して、前記第１光学情報と前記第２光学情報とに基づいて前記鮮鋭化処理を行い、前記入力画像の該領域以外の領域に対して、前記第１光学情報に基づいて前記鮮鋭化処理を行うことを特徴とする請求項７に記載の画像処理装置。
11. 前記入力画像の少なくとも一部の領域は、前記補正部が前記入力画像に対して前記歪曲収差補正を行うことで生成される出力画像に含まれることを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１光学情報は、前記光学系の光学伝達関数であることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記第１光学情報は、前記光学系の点像強度分布関数であることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
14. 前記鮮鋭化処理における第１ゲインは、前記第２光学情報のみに基づく鮮鋭化処理における第２ゲインよりも小さいことを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 前記情報取得部は、前記イメージサークルの径の情報を取得することを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 前記情報取得部は、前記第１光学情報および前記第２光学情報を判別する判別情報を取得することを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。
17. 前記撮像を行う撮像素子と、
    請求項１乃至１６のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。
18. 撮像装置に着脱可能なレンズ装置であって、
    光学系と、
    前記光学系のイメージサークル外の第１光学情報を記憶する記憶部と、
    前記撮像装置に前記第１光学情報を送信する通信部とを有し、
    前記第１光学情報は、前記光学系のイメージサークル内の第２光学情報に基づいて生成され、前記光学系を用いた撮像により生成された入力画像に対する鮮鋭化処理に用いられることを特徴とするレンズ装置。
19. 前記光学系と、
    前記撮像を行う撮像素子と、
    請求項１乃至１６のいずれか一項に記載の画像処理装置とを有することを特徴とする画像処理システム。
20. 光学系のイメージサークル外の第１光学情報を取得する情報取得ステップと、
    前記光学系を用いた撮像により生成された入力画像に対して、前記第１光学情報に基づいて鮮鋭化処理を行う処理ステップとを有し、
    前記第１光学情報は、前記光学系のイメージサークル内の第２光学情報に基づいて生成された光学情報であることを特徴とする画像処理方法。
21. 請求項２０に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images