JP6594101B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、撮像により生成された画像に対して画像処理を行う画像処理技術に関する。

デジタルカメラ等の撮像装置によって得られた画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差を良好に補正した場合であっても、絞り（特に小絞り開口）により発生する回折によって劣化する（ぼける）場合がある。図２には、回折限界曲線を示している。図２において、横軸は空間周波数を、縦軸はＭＴＦをそれぞれ示す。図２に示すように、絞り値が大きくなる（絞り開口の径が小さくなる）ほど遮断周波数が低周波側にシフトする。例えば、画素サイズが４μｍの撮像素子のナイキスト周波数は１２５本／ｍｍである。このため、Ｆ２．８等の小さい絞り値では回折の影響は小さい。しかし、Ｆ１６やＦ３２等の大きい絞り値では回折の影響が大きくなる。

回折によるぼけ成分は、収差によるぼけ成分と同様に、被写体の一点から出た光束が無収差で回折の影響もない場合に撮像面上で再度一点に集まるべきものが広がりをもって像を結ぶことで発生し、点像分布関数（Point Spread Function：ＰＳＦ）によって表せる。点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、撮像光学系（以下、単に光学系という）の光学伝達関数は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

劣化画像における振幅成分（ＭＴＦ）の劣化と位相成分（ＰＴＦ）の劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この撮像光学系の光学伝達関数の情報を用いて劣化画像を補正（低減）する処理を画像回復処理と称する。そして、詳細は後述するが、画像回復処理の方法の１つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復処理を効果的に行うためには、撮像光学系のより正確なＯＴＦを得る必要がある。ＯＴＦを得る方法は、例えば、撮像光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮像し、その強度分布にフーリエ変換を施すことでも求めることが可能である。さらに、回折に関するＯＴＦは、理論的に導かれた計算式から求めることもできる。

ただし、ＯＴＦは撮像条件、すなわち撮像光学系の絞り値や焦点距離（ズーム状態）等に応じて変化し、さらに撮像面上での像高によっても変化する。このため、撮像条件や像高ごとにＯＴＦのデータを保持すると、保持すべきデータ量が膨大となる。特許文献１には、撮像条件や像高に応じたＯＴＦを再構成するための係数データを保持することで、保持すべきデータ量を削減する方法が開示されている。ただし、このような係数データを用いて１つの画像に対して像高ごとにＯＴＦを再構成すると、演算量が大きくなる。

一方、特許文献２には、回折のみを対象とした画像回復処理において、絞り値が所定値以上である場合に該絞り値に応じた１つの画像回復フィルタのみを用いるようにすることで、保持すべき画像回復フィルタのデータ量と演算量を削減する方法が開示されている。

特開２０１２−７３６９１号公報 特開２０１４−１５０４２３号公報

しかしながら、特許文献２にて開示された方法のように絞り値に応じた画像回復フィルタを選択するためには、撮像光学系において設定可能な絞り値のうち所定値以上の絞り値ごとに画像回復フィルタのデータを記憶しておく必要がある。したがって、保持すべきデータ量の十分な削減が難しい。

本発明は、保持すべきデータ量を削減しつつ、絞りによる回折等の影響が良好に低減された画像を生成することが可能な画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、撮像光学系を介した撮像により生成された画像に対して補正処理を行う画像処理装置であって、前記撮像光学系の互いに異なる複数の絞り値に対応する複数のフィルタを記憶する記憶手段と、前記記憶手段に記憶された前記複数のフィルタのうち、前記画像を撮像した際の絞り値に応じたフィルタを用いて、前記画像に対して回折補正を行う画像処理手段を有し、前記記憶手段に記憶された前記複数のフィルタに対応する前記複数の絞り値は、前記画像を撮像する際に設定可能な絞り値のうちの、所定の範囲に含まれる絞り値であり、前記画像処理手段は、前記画像を撮像した際の絞り値が前記所定の範囲に含まれている場合には、前記複数のフィルタのうち、前記画像を撮像した際の絞り値に近い絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行い、前記画像を撮像した際の絞り値が前記所定の範囲に含まれていない場合には、前記絞り値の値に係わらず、前記複数のフィルタのうちの予め定められたフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする。

また、本発明の他の一側面としての画像処理方法は、撮像光学系を介した撮像により生成された画像に対して補正処理を行う画像処理方法であって、記憶手段に記憶された、前記撮像光学系の互いに異なる複数の絞り値に対応する複数のフィルタのうち、前記画像を撮像した際の絞り値に応じたフィルタを用いて、前記画像に対して回折補正を行う画像処理工程を有し、前記記憶手段に記憶された前記複数のフィルタに対応する前記複数の絞り値は、前記画像を撮像する際に設定可能な絞り値のうちの、所定の範囲に含まれる絞り値であり、前記画像処理工程において、前記画像を撮像した際の絞り値が前記所定の範囲に含まれている場合には、前記複数のフィルタのうち、前記画像を撮像した際の絞り値に近い絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行い、前記画像を撮像した際の絞り値が前記所定の範囲に含まれていない場合には、前記絞り値の値に係わらず、前記複数のフィルタのうちの予め定められたフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする。

また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮像光学系を介した撮像により生成された画像に対して補正処理を実行させるコンピュータプログラムであって、前記補正処理は、記憶手段に記憶された、前記撮像光学系の互いに異なる複数の絞り値に対応する複数のフィルタのうち、前記画像を撮像した際の絞り値に応じたフィルタを用いて、前記画像に対して回折補正を行う画像処理工程を有し、前記記憶手段に記憶された前記複数のフィルタに対応する前記複数の絞り値は、前記画像を撮像する際に設定可能な絞り値のうちの、所定の範囲に含まれる絞り値であり、前記画像処理工程において、前記画像を撮像した際の絞り値が前記所定の範囲に含まれている場合には、前記複数のフィルタのうち、前記画像を撮像した際の絞り値に近い絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行い、前記画像を撮像した際の絞り値が前記所定の範囲に含まれていない場合には、前記絞り値の値に係わらず、前記複数のフィルタのうちの予め定められたフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする。

本発明によれば、保持すべきデータ量を削減しつつ、絞りにより発生する回折等の影響が十分に低減された良好な画像を生成することができる。

本発明の実施例１における画像回復フィルタ決定処理を示すフローチャート。 回折限界曲線を示す図。 実施例１における画像回復フィルタのフィルタ係数を示す図。 点像分布関数（ＰＳＦ）を説明する図。 光学伝達関数（ＯＴＦ）の振幅成分（ＭＴＦ）と位相成分（ＰＴＦ）を説明する図。 ＯＴＦの逆フィルタのゲイン特性と画像回復フィルタのゲイン特性との関係を示す図。 実施例１の撮像装置の構成を示すブロック図。 実施例１おける画像回復フィルタを示す図。 実施例１における画像回復フィルタの補間割合を示す図。 実施例１で生成される画像回復フィルタのゲイン特性を示す図。 実施例１における画像回復処理を示す図。 本発明の実施例２における画像回復処理を示す図。 実施例２における補間割合算出処理を示すフローチャート。 実施例２で生成される画像回復フィルタのゲイン特性を示す図。 実施例２における補間割合を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像（第１の画像）は、撮像装置において撮像光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像であり、例えばＲＧＢ色成分の情報を有するＲＡＷ画像である。入力画像は、レンズや光学フィルタ等の光学素子を含む撮像光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。

撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。また、撮像光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いて入力画像を生成する信号処理回路により撮像系が構成される。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される。

入力画像や出力画像には、撮像光学系の焦点距離および絞り値や被写体距離（または撮像距離）等の撮像条件や、入力画像を補正するための各種補正情報が付帯されていてもよい。
［画像回復処理］
撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式（１）が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（１）
この式（１）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換して得られた光学伝達関数（ＯＴＦ）である。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（２）
劣化画像から元の画像を得るためには、以下の式（３）ように、上記式（２）の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（４）
式（４）中のＲ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元画像であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、ＰＳＦの広がり幅等に応じて実現可能なタップ数が設定される。

画像回復フィルタは、少なくとも回折の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮像光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮像光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。したがって、ノイズ成分がある入力画像からは鑑賞用画像として良好な回復画像が得られない。このことは、以下の式（５ａ），（５ｂ）で表される。Ｎはノイズ成分を表す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） …（５ａ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） …（５ｂ）
ノイズ成分が含まれる画像を画像回復する方法としては、例えば式（６）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。各実施例では、式（６）のＭ（ｕ，ｖ）が画像回復フィルタの周波数特性を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。

式（６）のＳＮＲ項によって画像回復フィルタのゲイン特性が変化するため、ＳＮＲ項を単純に回復ゲイン（回復度合）を制御するためのパラメータＣとして以下の式（７）のように用いる。

式（７）において、Ｃ＝０の場合には画像回復フィルタはＯＴＦの逆フィルタ（ＭＴＦの逆数）と一致し、Ｃを大きくするに従って画像回復フィルタのゲインが下がる。さらに、
Ｃ＞｜Ｈ（ｕ，ｖ）｜−｜Ｈ（ｕ，ｖ）｜^２
になると画像回復フィルタのゲインが１倍以下となる。

このことを図６（ａ）〜（ｃ）を用いて説明する。図６（ａ）〜（ｃ）は、ＯＴＦの逆フィルタと画像回復フィルタのゲイン特性との関係を示している。横軸は空間周波数を、縦軸はゲインを示している。点線がＯＴＦの逆フィルタのゲイン特性を、実線が画像回復フィルタのゲイン特性をそれぞれ示している。

図６（ａ）に示すように、絞り値Ｆｎが第１の所定絞り値Ｔｈ１より小さい（絞り開口径が所定の絞り開口径より大きい）場合は画像回復フィルタのゲインが所定の最大ゲインよりも大きくならないためにＣ＝０とすることができる。この結果、ＭＴＦの逆数と画像回復フィルタのゲインとが一致する。また、図６（ｂ）に示すように、絞り値Ｆｎが第１の所定絞り値Ｔｈ１以上で第２の所定絞り値Ｔｈ２より小さい場合は、逆フィルタの高周波側のゲインが所定の最大ゲインよりも大きくなる。このため、Ｃを大きくして画像回復フィルタの高周波側のゲインを抑制する。さらに、図６（ｃ）に示すように、絞り値Ｆｎが第２の所定絞り値Ｔｈ２以上になり、
Ｃ＞｜Ｈ（ｕ，ｖ）｜−｜Ｈ（ｕ，ｖ）｜^２
になると、画像回復フィルタのゲインが１倍以下となる。第１および第２の所定絞り値Ｔｈ１，Ｔｈ２は、撮像素子の画素ピッチ、撮像素子の前面に配置される光学ローパスフィルタの特性、画像回復フィルタの回復ゲイン（回復度合）の最大値および回復ゲインを制御するためのパラメータＣ等によって決定される。

図８には、各実施例で用いられる画像回復フィルタのゲイン特性を示している。ここでは、画像回復フィルタの最大ゲインを１．５とし、撮像素子の画素ピッチを６μｍとしている。Ｆ２２以下の絞り値では、画像回復フィルタのゲインは単調に増加する。Ｆ３２では１．５に設定した最大ゲインによって高周波側のゲインが抑制される。Ｆ９１では低周波側のゲインは１倍以上であって画像回復の効果は得られるものの、高周波側では１倍以下になる。Ｆ１２８では、全周波数領域に対してゲインが１倍以下になり、画像回復の効果は得られないため、この画像回復フィルタをそのまま使用することはできない。

このように、画像回復フィルタのゲイン特性は絞り値によって大きく変わる。このゲイン特性の変化を加味して、撮像装置にて保持する画像回復フィルタを後述する方法で決定することで、保持すべき画像回復フィルタのデータ量を削減することが可能である。

次に、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差や回折によるＰＳＦの広がりや要求される画像回復精度に応じてそのタップ数が決められる。各実施例の画像回復フィルタは、例として、１１×１１タップの２次元フィルタとする。ただし、ＰＳＦの広がり幅と画素ピッチとの関係から、より大きなタップ数を用いてもよい。

画像回復フィルタの各タップの値（フィルタ係数）の分布は、収差や回折により空間的に広がった信号値又は画素値を、理想的には元の１点に戻す機能を有する。ここで、回転対称と近似できる絞りによる回折を対象とする場合には、回折によるＰＳＦが回転対称となるため、画像回復フィルタのタップの値の分布も図３に示すように対称となる。なお、図３の横軸はタップの位置を示し、縦軸はタップの値を示す。

画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションでは、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値との積をとり、その総和を中心画素の信号値として置き換える。

画像回復処理の実空間と周波数空間での特性を図４および図５を用いて説明する。図４（ａ）は画像回復前のＰＳＦを示し、図４（ｂ）は画像回復後のＰＳＦを示している。これらの図において、横方向は画素の位置を、縦方向は画素の信号値を示している。また、図５（ａ）中のＧ（破線）は画像回復前のＭＴＦを示し、Ｅ（一点鎖線）は画像回復後のＭＴＦを示している。さらに、図５（ｂ）中のＧ（破線）は画像回復前のＰＴＦを示し、Ｅ（一点鎖線）は画像回復後のＰＴＦを示している。これらの図の横軸は空間周波数を示し、縦軸はＭＴＦ（０〜１）またはＰＴＦ（−π〜π）を示している。画像回復前のＰＳＦは収差や回折の影響によって非対称な広がりを有しており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持つ。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復後のＰＳＦは対称で、かつ先鋭な形状になる。

回転対称と近似できる絞りによる回折を対象とする場合には、回折によるＰＳＦが回転対称となる。このため、図５（ｂ）に示す画像回復後のＰＴＦであるＥは零となる。言い換えると、各実施例で扱う回折には位相ずれが無い。また、位相ずれの有無に関わらず、上記の画像回復の原理は機能するため、回折を補正対象とする各実施例においても画像回復は有効である。

このような画像回復フィルタは、撮像光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。画像回復フィルタとして上述したウィナーフィルタを用いる場合には、式（６）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。なお、各実施例で用いられる画像回復フィルタは適宜変更することが可能である。

また、光学伝達関数（ＯＴＦ）は、同じ撮像条件であっても撮像光学系の像高（撮像画像内での位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。一方、絞り値が大きくなるに従って回折の影響が支配的になる光学伝達関数（ＯＴＦ）については、光学系のビネッティング（けられ）の影響が小さい場合には、像高に対して一律（単一）の光学伝達関数（ＯＴＦ）として扱うことができる。

各実施例では、回折による劣化成分（回折ぼけ）を補正（低減）の対象とする。このため、画像回復フィルタは、絞り値と光の波長のみに依存し、像高には依存しない。このため、同じ入力画像に対して一律の画像回復フィルタを用いることができる。すなわち、各実施例で用いられる画像回復フィルタは、絞り値に応じて発生する回折ぼけによる光学伝達関数に基づいて生成される。波長については、複数の波長での光学伝達関数を計算し、想定する光源の分光や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。また、色成分ごとに予め決めた代表波長で計算を行ってもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。

したがって、回折のみを補正対象とする各実施例では、絞り値に依存する画像回復フィルタを予め複数保持しておき、撮像条件に応じて同じ入力画像を一律の画像回復フィルタを用いて処理する。

図７には、本発明の実施例１である画像処理装置を搭載した撮像装置１００の構成を示している。撮像装置１００において、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む撮像光学系１０１は、不図示の被写体から光束を結像させ、撮像素子１０２上に被写体像を形成する。撮像光学系１０１の絞り値は、絞り１０１ａによって設定される。絞り１０１ａが形成する絞り開口径を増減させることで、所定の複数の絞り値を設定可能である。

撮像素子１０２は、撮像光学系１０１により形成された被写体像を光電変換してアナログ撮像信号を出力する。撮像素子１０２から出力されたアナログ撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、該デジタル撮像信号は画像処理部１０４に入力される。

画像処理部１０４は、デジタル撮像信号に対して各種画像処理を行うことで、ＲＡＷ画像としての撮像画像を生成する。そして、画像処理装置としての画像処理部１０４は、生成した撮像画像を、前述した画像回復処理および後述する補間処理を含む補正処理用の入力画像（第１の画像）として取得する。すなわち、画像処理部１０４は、撮像画像を取得する画像取得手段を含む。

また、画像処理部１０４は、状態検知部１０７から撮像装置１００の撮像条件の情報を取得する。撮像条件は、撮像に際しての撮像光学系１０１の絞り値（以下、撮像絞り値という）と、撮像光学系１０１がズームレンズである場合のその焦点距離と、フォーカスレンズ１０１ｂの位置に対応する被写体距離（または撮影距離）等を含む。

状態検知部１０７は、システムコントローラ１１０から直接に撮像条件の情報を取得することが可能であり、撮像光学系１０１に関する撮像条件の情報は撮像光学系１０１の動作を制御する光学系制御部１０６から取得することもできる。

記憶部１０８は、像高（撮像画像内での位置）にかかわらず一律であり、かつ絞り値に応じて異なる複数の画像回復フィルタに関するデータを記憶（保持）している。像高にかかわらず一律の画像回復フィルタとは、互いに像高が異なる画素に対して適用（コンボリューション）される同一の画像回復フィルタ、つまりはタップ数およびタップ値（フィルタ係数）の２次元分布が同一の画像回復フィルタを意味する。画像回復フィルタに関するデータは、画像回復フィルタそのもののデータであってもよいし、画像回復フィルタを生成するためのデータ（例えば、ＯＴＦのデータ）であってもよい。本実施例では、画像回復フィルタそのものが記憶部１０８に記憶される場合について説明する。

また、記憶部１０８は、撮像光学系１０１にて設定可能な複数の絞り値のうち所定絞り値（第１の絞り値）より小さい複数の絞り値（第２の絞り値：以下、開放側絞り値という）について、該開放側絞り値ごとに補間割合に関する補間用データを記憶（保持）している。補間用データは、補間処理において用いられる補間割合を取得するためのデータであり、補間割合そのもののデータであってもよいし、開放側絞り値に対応する補間割合を算出するための計算式（関数）のデータであってもよい。本実施例では、補間割合そのものが記憶部１０８に記憶される場合について説明する。記憶部１０８は、フィルタ記憶手段および補間用データ記憶手段に相当する。

さらに、画像処理部１０４は、データ選択部１０４ａと補正処理部１０４ｂとを含む。データ選択部１０４ａは、記憶部１０８に記憶された画像回復フィルタに関するデータを用いて、撮像絞り値に応じた画像回復フィルタを取得する。また、データ選択部１０４ａは、撮像絞り値が開放側絞り値である場合に、記憶部１０８に記憶された補間用データを用いて、該開放側絞り値に応じた補間割合を取得する。補正処理部１０４ｂは、撮像絞り値が開放側絞り値でない場合は、データ選択部１０４ａにより取得された画像回復フィルタを用いて撮像画像に対して画像回復処理を行うことで回復画像（第３の画像）を生成する。また、補正処理部１０４ｂは、撮像絞り値が開放側絞り値である場合は、データ選択部１０４ａにより取得された画像回復フィルタと補間割合とを用いて、撮像画像に対して、画像回復処理と補間処理とを含む補正処理を行うことで回復画像（第２の画像）を生成する。データ選択部１０４ａと補正処理部１０４ｂは画像生成手段に相当する。

画像処理部１０４で生成された出力画像（回復画像）は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５は、出力画像に対して所定の表示処理を行い、該表示処理後の表示用画像を表示する。

以上のように構成される撮像装置１００における全ての動作や処理は、システムコントローラ１１０により制御される。また、撮像光学系１０１の絞り１０１ａおよびフォーカスレンズ１０１ｂの駆動は、システムコントローラ１１０からの指示に基づいて撮像光学系制御部１０６が制御する。

撮像光学系１０１は、光学ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含んでもよい。光学ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える光学フィルタを用いる場合には、その影響に対応する画像回復フィルタを生成することが好ましい。赤外カットフィルタを用いる場合においても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルのそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる。また、撮像素子１０２の画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮して画像回復フィルタを生成することが好ましい。

なお、撮像光学系１０１は、撮像装置１００に対して一体に固定されていてもよいし、交換可能に装着されていてもよい。

次に、本実施例において画像処理部１０４が行う記憶部１０８に記憶させる画像回復フィルタを決定する処理（フィルタ決定処理）について、図１のフローチャートを用いて説明する。画像処理コンピュータである画像処理部１０４は、コンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。

ステップＳ１００において本処理を開始した画像処理部１０４は、ステップＳ１０１において絞り１０１ａで設定可能な複数の全ての絞り値ｉ（ｉ＝１〜Ｎ）に対応する画像回復フィルタＦ（ｉ）を生成する。

次にステップＳ１０２では、画像処理部１０４は、全絞り値のうち最も小さい絞り値（ｉ＝１）に対応する画像回復フィルタＦ（１）を記憶部１０８に記憶する代表画像回復フィルタＦＴ（１）として決定する。

次にステップＳ１０３およびＳ１０４において、画像処理部１０４は、変数ｉ，ｋ，ｊを初期化する。ここでは、変数ｉ，ｋ，ｊはそれぞれ自然数であり、初期値はｉ＝１，ｋ＝２，ｊ＝２とする。

次にステップＳ１０５において、画像処理部１０４は、ｉ＋ｊ＜Ｎか否かを判定し、そうでない（ｉ＋ｊ≧Ｎ）場合はステップＳ１０６に進む。ステップＳ１０６では、画像処理部１０４は、Ｆ（Ｎ）を代表画像回復フィルタＦＴ（ｋ）として設定し、ｋ＝Ｍ番目の画像回復フィルタを記憶部１０８に記憶し、ステップＳ１１２にて本処理を終了する。

一方、ステップＳ１０５においてｉ＋ｊ＜Ｎである場合は、画像処理部１０４は、ステップＳ１０７に進む。ステップＳ１０７では、画像処理部１０４は、画像回復フィルタＦ（ｉ）とＦ（ｉ＋ｊ）（例えば、Ｆ（１）とＦ（３））とを用いてＴｅｍｐフィルタを生成する。具体的には、Ｆ（ｉ）とＦ（ｉ＋ｊ）とを用いた線形補間を行ってＴｅｍｐフィルタ（例えばＦ（２））を生成する。ここでの線形補間については、後に詳しく説明する。Ｔｅｍｐフィルタを生成した画像処理部１０４は、ステップＳ１０８に進む。

ステップＳ１０８では、画像処理部１０４は、ステップＳ１０１で生成した画像回復フィルタＦ（ｉ＋ｊ−１）とステップＳ１０７で生成した画像回復フィルタＴｅｍｐとの類似度｜Ｆ（ｉ＋ｊ−１）−Ｔｅｍｐ｜が閾値Ｔｈより小さいか否かを判定する。つまり、例えば、テップＳ１０１で生成したＦ（２）と上記補間により生成したＴｅｍｐフィルタとしてのＦ（２）との類似度が閾値Ｔｈより小さいか否かを判定する。類似度が閾値Ｔｈより小さい場合は、画像回復フィルタＦ（ｉ＋ｊ−１）は、Ｆ（ｉ）とＦ（ｉ＋ｊ）とから補間によって求められるとみなせるため、記憶部１０８に記憶させる必要はない。この場合は、画像処理部１０４はステップＳ１０９に進む。

ステップＳ１０９では、画像処理部１０４は、ｊ＝ｊ＋１として、ステップＳ１０５に戻り、次の画像回復フィルタに対する処理に移行する。

一方、ステップＳ１０８において、画像回復フィルタＦ（ｉ＋ｊ−１）と画像回復フィルタＴｅｍｐとの類似度が閾値Ｔｈ以上であると判定した場合は、画像処理部１０４はステップＳ１１０に進む。ステップＳ１１０では、画像回復フィルタＦ（ｉ＋ｊ−１）はＦ（ｉ）とＦ（ｉ＋ｊ）とを用いた補間によっては求められないとみなし、画像回復フィルタＦ（ｉ＋ｊ−１）を代表画像回復フィルタＦＴ（ｋ）として決定する。そして、ステップＳ１１１に進む。

ステップＳ１１１では、画像処理部１０４は、処理の対象を次の画像回復フィルタにするために、変数ｉ，ｊを更新して（ｉ＝ｉ＋ｊ−１，ｋ＝ｋ＋１）としてステップＳ１０４に戻る。

以上のフィルタ決定処理によって決定された代表画像回復フィルタＦＴ（ｉ）を図９に示す。図９の横軸は、代表画像回復フィルタＦＴ（ｉ）とこれに対応する絞り値とを示している。ここでは代表画像回復フィルタＦＴ（ｉ）として、Ｆ２．８に対応するＦＴ（１）から、Ｆ２２，Ｆ２５，Ｆ２９，Ｆ３２，Ｆ６４，Ｆ９１およびＦ１２８のそれぞれに対応するＦＴ（２）〜ＦＴ（８）までが生成された場合を示している。

図８に示したように、Ｆ２．８からＦ２２（所定絞り値：第１の絞り値）までの絞り値に対応する画像回復フィルタのゲインは単調に増加する。このため、撮像絞り値がＦ２．８からＦ２２までである場合は、図６（ａ）に示すように絞り値Ｆｎが第１の所定絞り値Ｔｈ１より小さい開放側絞り値（第２の絞り値）である場合に相当する。図９では、複数の開放側絞り値の例として、Ｆ２．８，Ｆ５．６，Ｆ８，Ｆ１１，Ｆ１６を示している。この場合は、Ｆ２．８およびＦ２２のそれぞれに対応する代表画像回復フィルタと図９の縦軸に示す撮像絞り値（開放側絞り値）に対応する補間割合α（=０〜１）とを用いて補正処理（画像回復処理および補間処理）を行うことで、良好な回復画像を得ることができる。この補正処理については後述する。

また、図８に示したように、Ｆ２２より大きくＦ３２以下の絞り値に対応する画像回復フィルタのゲインは低周波側では増加するのに対し、高周波側では絞り値の増加に応じて単純に増加しなくなる。つまり、撮像絞り値がＦ２２より大きくＦ３２以下である場合は、図６（ａ）に示す場合と図６（ｂ）に示す絞り値Ｆｎが第１の所定絞り値Ｔｈ１以上で第２の所定絞り値Ｔｈ２より小さい場合との中間的な場合に相当する。この場合は、撮像絞り値に対して離れた絞り値に対応する代表画像回復フィルタを用いて補正処理を行っても、良好な回復画像を得ることができない。このため、この場合は、Ｆ２２から１／３段の絞り値（Ｆ２５，Ｆ２９，Ｆ３２）ごとに代表画像回復フィルタを記憶部１０８に記憶（保持）させる。

また、撮像絞り値がＦ３２より大きくＦ９１以下である場合は、図８にＦ４５に対応する画像回復フィルタのゲインを示したように、図６（ｂ）に示す場合に相当する。このため、この場合は、Ｆ３２から１段の絞り値（Ｆ６４，Ｆ９１）ごとに代表画像回復フィルタを記憶部１０８に記憶（保持）させる。

さらに、絞り値がＦ９１より大きくＦ１２８以下である場合は、図８にも示したように画像回復フィルタのゲインが１倍以下になる図６（ｃ）の場合（絞り値Ｆｎが第２の所定絞り値Ｔｈ２以上の場合）に相当する。この場合は、補間割合αを１として、Ｆ１２８の画像回復フィルタは実質的に補間に使用されないようにする。

図１０には、Ｆ２．８とＦ２２との間の絞り値に対応する画像回復フィルタを上述した補間処理によって生成した場合の該画像回復フィルタのゲイン特性を示している。横軸は空間周波数を、縦軸はゲインを示している。Ｆ２．８に対応する画像回復フィルタとＦ２２に対応する画像回復フィルタとを用いた補間処理によって生成されたＦ８に対応する画像回復フィルタのゲイン特性を破線で示している。一方、補間処理によらずに（ステップＳ１０１にて）生成されたＦ８の画像回復フィルタのゲイン特性を点線で示している。破線で示したゲイン特性は、点線で示したゲイン特性とほぼ一致している。このことから、補間処理により生成された画像回復フィルタを用いても、良好な回復画像が得られることが分かる。したがって、Ｆ２．８とＦ２２との間の各絞り値に対応する画像回復フィルタを記憶部１０８に記憶させる場合に比べて、記憶（保持）すべきデータ量を削減することができる。

次に、図１１を用いて画像処理部１０４で行われる補正処理について説明する。画像処理部１０４（データ選択部１０４ａ）は、状態検知部１０７を通じて取得した撮像絞り値に応じて、該撮像絞り値に近い２つの絞り値であって記憶部１０８に代表画像回復フィルタが記憶されている絞り値を選択する。そして、画像処理部１０４は、それら２つの絞り値に対応する代表画像回復フィルタＦＴ（ｉ）およびＦＴ（ｉ＋１）を記憶部１０８から読み出す。また、画像処理部１０４（データ選択部１０４ａ）は、撮像絞り値（開放側絞り値）に対応する補間割合αを記憶部１０８から読み出す。

次に、画像処理部１０４は、撮像画像（入力画像）に対して２つの代表画像回復フィルタＦＴ（ｉ）およびＦＴ（ｉ＋１）のそれぞれを用いた画像回復処理を行うことで、回復画像１および回復画像２を生成する。さらに、画像処理部１０４は、これら回復画像１，２に対して、撮像絞り値に対応する補間割合αを用いた補間処理（加重加算）を行うことで、出力画像としての回復画像３を生成する。すなわち、
回復画像３＝回復画像１×α＋回復画像２×（１−α）
によって回復画像３を生成する。

このように、本実施例では、撮像絞り値に近い２つの絞り値に対応する２つの代表画像回復フィルタを用いた画像回復処理により得られた２つの回復画像と撮像絞り値に対応する補間割合とを用いた補間処理によって、出力画像を得る回復画像補間方式を採用する。この方式では、上記２つの代表画像回復フィルタと撮像絞り値に対応する補間割合とを用いた補間処理により生成した画像回復フィルタを用いて入力画像に対して画像回復処理を行って回復画像を得るフィルタ補間方式と等価な回復画像が得られる。このため、画像処理部１０４は、回復画像補間方式に代えて、フィルタ補間方式にて出力画像としての回復画像を生成してもよい。

本実施例によれば、撮像画像の画像回復処理に関して撮像装置内にて保持するデータ量を削減しつつ、良好な回復画像を得る（良好な補正処理を行う）ことができる。

次に、本発明の実施例２について説明する。本実施例における撮像装置の構成は、実施例１の撮像装置１００と同じであり、実施例１と共通する構成要素には実施例１と同符号を付す。

実施例１では、撮像絞り値がＦ２．８とＦ２２との間の絞り値（例えばＦ８）である場合に、Ｆ２．８とＦ２２のそれぞれに対応する代表画像回復フィルタを用いた補正処理によって出力画像としての回復画像を生成する場合について説明した。これに対して、本実施例では、撮像絞り値がＦ２．８とＦ２２との間の所定絞り値（第１の絞り値：例えばＦ１６）より小さい複数の開放側絞り値（第２の絞り値）のいずれかである場合に、実施例１とは異なる補正処理を行う。具体的には、所定絞り値に対応する画像回復フィルタと、記憶部１０８に開放側絞り値ごとに記憶された補間割合βとを用いた補正処理を行う。本実施例では、補間割合βは、複数の開放側絞り値に対して非線形に変化する。このため、実施例１のように、撮像絞り値がＦ２．８とＦ２２との間の絞り値である場合に一律の線形補間を行う場合に比べて、より良好な補正処理を行うことができる。なお、Ｆ２．８とＦ２２との間の撮像絞り値が所定絞り値以上である場合は、実施例１にて説明した補正処理と同じ補正処理が行われる。

ここで、補間割合βを算出する処理（補間割合算出処理）について、図１３に示すフローチャートを用いて説明する。画像処理部１０４は、コンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。

ステップＳ２００において本処理を開始した画像処理部１０４は、ステップＳ２０１において絞り１０１ａで設定可能な複数の全ての絞り値ｉ（ｉ＝１〜Ｎ）に対応する画像回復フィルタＦ（ｉ）を生成する。

次にステップＳ２０２において、画像処理部１０４は、全絞り値のうち所定絞り値（ｉ＝ｔ）を、記憶部１０８に代表画像回復フィルタを記憶させる最も小さい絞り値として決定する。所定絞り値は、撮像素子１０２の画素ピッチ、撮像素子１０２の前面に配置される光学ローパスフィルタの特性、画像回復フィルタの回復ゲイン（回復度合）の最大値、回復ゲインを制御するためのパラメータ（式（７）中のＣ）等によって決定される。本実施例では、最も小さい絞り値（所定絞り値）を、Ｆ１６とする。

次に、ステップＳ２０３において、画像処理部１０４は、所定絞り値に対応する画像回復フィルタＦ（ｔ）を代表画像回復フィルタＦＴ（１）として決定する。

次に、ステップＳ２０４では、画像処理部１０４は、実施例１における図１のステップＳ１０３〜Ｓ１１１にて説明した処理によって、記憶部１０８に記憶させる代表画像回復フィルタＦＴ（ｊ）（ｊ＝２〜Ｍ）を決定する。そして、画像処理部１０４は、ステップＳ２０３およびＳ２０４にて決定した代表画像回復フィルタを記憶部１０８に記憶させる。

続いてステップＳ２０５以降の処理において、画像処理部１０４は、Ｆ１６より小さな複数の開放側絞り値のそれぞれに対応する補間割合βの演算を行う。

まず、ステップＳ２０５では、画像処理部１０４は、補間割合βを算出する開放側絞り値を決定する。そして、ステップＳ２０６において、画像処理部１０４は、全ての開放側絞り値に対応した補間割合βを算出したか否かを判定する。全ての開放側絞り値に対応した補間割合βを算出した場合はステップＳ２１０に進み、本処理を終了する。

一方、ステップＳ２０６においてまだ全ての開放側絞り値に対応した補間割合βが算出されていない場合は、画像処理部１０４はステップＳ２０７に進む。ステップＳ２０７では、画像処理部１０４は、
｜Ｆ（ｋ）−［γＦＴ（１）＋（１−γ）Ｔ］｜
を最小とする、すなわちステップＳ２０１で算出した画像回復フィルタＦ（ｋ）との差が最小となる［γＦＴ（１）＋（１−γ）Ｔ］が得られるγを算出する。ここで、Ｔは入力画像と出力画像とが一致するようなスルーフィルタを示す。

次に、ステップＳ２０８では、画像処理部１０４は、算出したγを、開放側絞り値（ｉ＝ｋ）に対応した補間割合β（ｋ）として記憶部１０８に記憶させる。

さらに、ステップＳ２０９では、画像処理部１０４は、ｋ＝ｋ−１としてステップＳ２０６に戻る。ステップＳ２０６にてまだ全ての開放側絞り値に対応した補間割合βが算出されていない場合は、ステップＳ２０７，Ｓ２０８の処理を繰り返して次の開放側絞り値に対応する補間割合βの算出および記憶部１０８への記憶を行う。

所定絞り値（Ｆ１６）に対応する代表画像回復フィルタＦＴ（１）とステップＳ２０７にて算出されたγ（＝β）とによって決定される画像回復フィルタのゲイン特性の例を図１４に示す。図１４において、横軸は空間周波数を示し、縦軸はゲインを示す。実線はＦ１６より小さい２つの開放側絞り値（Ｆ１１およびＦ５．６）に対応してステップＳ２０１にて算出される画像回復フィルタのゲイン特性を示している。破線はＦＴ（１）とγ（＝β）とによって決定された上記２つの開放側絞り値に対応する画像回復フィルタのゲイン特性を示している。

ステップＳ２０１にて算出される画像回復フィルタのゲイン特性と、ＦＴ（１）およびγ（＝β）を用いて算出される画像回復フィルタのゲイン特性とはほぼ一致する。このため、撮像絞り値が各開放側絞り値である場合にＦＴ（１）およびγ（＝β）を用いて算出される画像回復フィルタを用いても、良好な回復画像が得られることが分かる。したがって、各開放側絞り値に対応する画像回復フィルタを記憶部１０８に記憶させる場合に比べて、記憶（保持）すべきデータ量を削減することができる。

図１５には、上述した補間割合算出処理によって算出された開放側絞り値（Ｆ１１，Ｆ８，Ｆ５．６，Ｆ４，Ｆ２．８）ごとの補間割合βを示している。前述したように、補間割合βは、開放側絞り値の変化に対して非線形に変化する。

次に、図１２を用いて画像処理部１０４で行われる補正処理について説明する。画像処理部１０４（データ選択部１０４ａ）は、状態検知部１０７から取得した撮像絞り値が所定絞り値（Ｆ１６）より小さい開放側絞り値である場合は、Ｆ１６に対応する代表画像回復フィルタＦＴ（１）と該開放側絞り値に対応する補間割合βを記憶部１０８から読み出す。

次に、画像処理部１０４は、撮像画像（入力画像）に対してＦ１６に対応する代表画像回復フィルタＦＴ（１）を用いた画像回復処理を行うことで、回復画像１を生成する。さらに、画像処理部１０４は、この回復画像１と入力画像に対して補間割合βを用いた補間処理（加重加算）を行うことで、出力画像としての回復画像２を生成する。すなわち、
回復画像２＝回復画像１×β＋入力画像×（１−α）
によって回復画像２を生成する。

このように、本実施例では、所定絞り値に対応する代表画像回復フィルタを用いた画像回復処理により得られた回復画像と入力画像と撮像絞り値に対応する補間割合とを用いた補間処理によって、出力画像としての回復画像を得る回復画像補間方式を採用する。この方式では、所定絞り値に対応する代表画像回復フィルタと撮像絞り値に対応する補間割合とを用いた補間処理により生成した画像回復フィルタを用いて入力画像に画像回復処理を行って回復画像を得るフィルタ補間方式と等価な回復画像が得られる。このため、画像処理部１０４は、回復画像補間方式に代えて、フィルタ補間方式にて出力画像としての回復画像を生成してもよい。

本実施例によれば、撮像画像の画像回復処理に関して撮像装置内にて保持するデータ量を削減しつつ、良好な回復画像を得る（良好な補正処理を行う）ことができる。

なお、実施例１，２では、画像処理装置としての画像処理部１０４が撮像装置１００に搭載されている場合について説明したが、パーソナルコンピュータによって画像処理装置を撮像装置とは別に構成することも可能である。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０２ 撮像素子
１０８ 記憶部
１０４ 画像処理部

Claims (9)

1. 撮像光学系を介した撮像により生成された画像に対して補正処理を行う画像処理装置であって、
   前記撮像光学系の互いに異なる複数の絞り値に対応する複数のフィルタを記憶する記憶手段と、
   前記記憶手段に記憶された前記複数のフィルタのうち、前記画像を撮像した際の絞り値に応じたフィルタを用いて、前記画像に対して回折補正を行う画像処理手段を有し、
   前記記憶手段に記憶された前記複数のフィルタに対応する前記複数の絞り値は、前記画像を撮像する際に設定可能な絞り値のうちの、所定の範囲に含まれる絞り値であり、
   前記画像処理手段は、
   前記画像を撮像した際の絞り値が前記所定の範囲に含まれている場合には、前記複数のフィルタのうち、前記画像を撮像した際の絞り値に近い絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行い、
   前記画像を撮像した際の絞り値が前記所定の範囲に含まれていない場合には、前記絞り値の値に係わらず、前記複数のフィルタのうちの予め定められたフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする画像処理装置。
2. 前記所定の範囲は、第１の絞り値以上の複数の絞り値であり、
   前記画像処理手段は、前記画像を撮像した際の絞り値が前記第１の絞り値よりも小さい場合には、前記第１の絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の範囲は、第２の絞り値以下の複数の絞り値であり、
   前記画像処理手段は、前記画像を撮像した際の絞り値が前記第２の絞り値よりも大きい場合には、前記第２の絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理手段は、前記画像を撮像した際の絞り値が前記第１の絞り値よりも小さい場合に、前記第１の絞り値に対応するフィルタを用いて前記画像に対して回折補正を行った後の画像と、該回折補正を行う前の前記画像を、加重加算することを特徴とする請求項２に記載の画像処理装置。
5. 前記加重加算の割合は、前記画像を撮像した際の絞り値に応じて設定されることを特徴とする請求項４に記載の画像処理装置。
6. 前記加重加算の割合は、前記画像を撮像した際の絞り値に応じて非線形に変化することを特徴とする請求項５に記載の画像処理装置。
7. 前記複数のフィルタのそれぞれは、前記撮像光学系の光学伝達関数に基づいて生成されたものであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 撮像光学系を介した撮像により生成された画像に対して補正処理を行う画像処理方法であって、
   記憶手段に記憶された、前記撮像光学系の互いに異なる複数の絞り値に対応する複数のフィルタのうち、前記画像を撮像した際の絞り値に応じたフィルタを用いて、前記画像に対して回折補正を行う画像処理工程を有し、
   前記記憶手段に記憶された前記複数のフィルタに対応する前記複数の絞り値は、前記画像を撮像する際に設定可能な絞り値のうちの、所定の範囲に含まれる絞り値であり、
   前記画像処理工程において、
   前記画像を撮像した際の絞り値が前記所定の範囲に含まれている場合には、前記複数のフィルタのうち、前記画像を撮像した際の絞り値に近い絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行い、
   前記画像を撮像した際の絞り値が前記所定の範囲に含まれていない場合には、前記絞り値の値に係わらず、前記複数のフィルタのうちの予め定められたフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする画像処理方法。
9. コンピュータに、撮像光学系を介した撮像により生成された画像に対して補正処理を実行させるコンピュータプログラムであって、
   前記補正処理は、記憶手段に記憶された、前記撮像光学系の互いに異なる複数の絞り値に対応する複数のフィルタのうち、前記画像を撮像した際の絞り値に応じたフィルタを用いて、前記画像に対して回折補正を行う画像処理工程を有し、
   前記記憶手段に記憶された前記複数のフィルタに対応する前記複数の絞り値は、前記画像を撮像する際に設定可能な絞り値のうちの、所定の範囲に含まれる絞り値であり、
   前記画像処理工程において、
   前記画像を撮像した際の絞り値が前記所定の範囲に含まれている場合には、前記複数のフィルタのうち、前記画像を撮像した際の絞り値に近い絞り値に対応するフィルタを用いて、前記画像に対して回折補正を行い、
   前記画像を撮像した際の絞り値が前記所定の範囲に含まれていない場合には、前記絞り値の値に係わらず、前記複数のフィルタのうちの予め定められたフィルタを用いて、前記画像に対して回折補正を行うことを特徴とする画像処理プログラム。