JP6929141B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、光学部材の特性による画質変化を補正する画像処理装置に関する。

撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差を高精度に補正した場合でも、絞り値（Ｆナンバー）に依存した回折現象により劣化する。

図２は、回折限界曲線であり、横軸は空間周波数、縦軸はＭＴＦをそれぞれ示している。図２に示されるように、絞り値（Ｆ値）が大きくなるほど遮断周波数が低周波側にシフトする。例えば、画素サイズが４μｍの撮像素子のナイキスト周波数は１２５本／ｍｍである。このため、Ｆ２．８など明るい場合、その影響は小さい。しかし、Ｆ１１やＦ２２など暗い場合、その影響は大きくなる。回折現象も収差と同様に点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）やＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で記述できる。このため、上記の画像回復処理により回折によるぼけを補正することができる。

収差や回折による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味し、点像分布関数ＰＳＦで表される。点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦは、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正する方法が知られている。以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。また、画像回復の方法の一つとして、光学伝達関数（ＯＴＦ）の逆特性を有する関数（画像回復フィルタ）を入力画像に対して畳み込む（コンボリューション）方法が知られている。画像回復処理を効果的に行うには、撮像光学系のより正確なＯＴＦ情報を得る必要がある。ＯＴＦを得る方法は、例えば撮像光学系の設計値情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことでも求めることが可能である。更に、回折においては理論的に導かれた計算式から求めることもできる。

次に、撮像光学系に光学部材（アポダイジングフィルタ）を設けた場合の回折について説明する。透明部材を基板とし中心部に向かって透過率が連続的に変化する透過率を有する光学部材が撮像光学系の光路内に配されている場合を考える。このとき、光学部材が配されていない撮像光学系の回折による画像のぼけ成分と光学部材が配されている撮像光学系の回折による画像のぼけ成分は、互いに異なる。このため、光学部材が配されている撮像光学系の収差や回折による画像のぼけ成分を正しく補正するには、例えば光学部材と撮像光学系の設計値情報があれば、その情報から計算によってＯＴＦを求める必要がある。

特許文献１には、画像回復に用いるＯＴＦを係数化して保持し、撮像装置の種々の撮影条件に対応して収差や回折による劣化画像に対して画像回復処理を行う方法が開示されている。しかしながら、特許文献１には、光学部材が撮像光学系に配された場合のＯＴＦについては、具体的に説明されていない。絞り開口径や撮影距離やズームレンズにおける焦点距離が同じでも、光学部材が撮像光学系の光路内に配された場合と、光学部材が撮像光学系の光路内に配されていない場合とでは、ＯＴＦは互いに異なる。また画面内の像高が同じでも光学部材が撮像光学系の光路内に配された場合と、光学部材が撮像光学系の光路内に配されていない場合とでは、ＯＴＦは互いに異なる。このため、高精度なＯＴＦデータを保持する場合、光学部材が撮像光学系の光路内に配された場合と、光学部材が撮像光学系の光路内に配されていない場合との２つの条件について保持する必要があり、非常に大きなデータ量となる。また、１つの画像について画像回復処理を行う場合にも、像高に応じてＯＴＦを変更して用いるため、演算量は大きくなる。

特許文献２には、光学素子のアポダイゼーション効果を可変にする方法が開示されている。

特開２０１２−７３６９１号公報 特開２００１−２２８３０７号公報

しかし、特許文献２には、アポダイゼーション効果による回折に対する画像回復処理を高精度に行う方法が開示されていない。

そこで本発明は、データ量を削減しつつ高精度な画像回復処理が可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、絞り値に応じた複数の画像回復フィルタを記憶する記憶手段と、前記複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得する取得手段と、前記複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、領域によって透過率が変化する光学部材を含む撮像光学系を介して得られた画像の回復処理を行う画像回復手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成される光学像を光電変換して画像データを出力する撮像素子と、絞り値に応じた複数の画像回復フィルタを記憶する記憶手段と、前記複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得する取得手段と、前記複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、領域によって透過率が変化する光学部材を含む撮像光学系を介して得られた前記画像データに対応する撮影画像の回復処理を行う画像回復手段とを有する。

本発明の他の側面としての画像処理方法は、絞り値に応じた複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得するステップと、前記複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、領域によって透過率が変化する光学部材を含む撮像光学系を介して得られた画像の回復処理を行うステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、データ量を削減しつつ高精度な画像回復処理が可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

実施例１における画像回復処理のフローチャートである。 回折限界曲線の説明図である。 各実施例における画像回復フィルタの説明図である。 各実施例における点像分布関数ＰＳＦの説明図である。 各実施例における光学伝達関数の振幅成分と位相成分の説明図である。 各実施例におけるＯＴＦの逆フィルタのゲイン特性と画像回復フィルタのゲイン特性の関係図である。 各実施例における撮像装置の構成図である。 各実施例における画像回復フィルタのゲイン特性である。 実施例１におけるアポダイジングフィルタのＯＴＦの模式図である。 実施例１における画像回復フィルタのゲイン特性の模式図である。 実施例２における画像回復処理のフローチャートである。 各実施例において、軸上光線が絞り値に応じて光線高さを変える様子を示す模式図である。 各実施例におけるアポダイジングフィルタの濃度を量子化する模式図である。 各実施例における軸外光束を示す模式図である。 実施例１における結像光学系の説明図である。 実施例１における計算アルゴリズムの説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。まず、本実施形態で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。

［入力画像］
入力画像は、撮像光学系と光学部材とを介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦと、光学部材の回折によるＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。入力画像は、例えばＲＧＢ色成分の情報を有するＲＡＷ画像であるが、これに限定されるものではない。入力画像や出力画像には、光学部材の有無、レンズの焦点距離、絞り値、および、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。

［画像回復処理］
続いて、画像回復処理の概要について説明する。劣化画像（撮影画像）をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）とするとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
式（１）において、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
式（２）において、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ、Ｆはそれぞれ劣化画像をｇ、元の画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇから元の画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、元の画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有し、２次元のフィルタ値の分布を有する。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、ＰＳＦの広がり幅、収差の特性などに応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差や回折の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦな逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）が１に正規化されているとすると、ＭＴＦを全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （５−２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

式（６）において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。本実施形態において、Ｍ（ｕ，ｖ）は、画像回復フィルタの周波数特性に相当する。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

このことを模式的に表したのが図６である。式（６）のＳＮＲ項により、画像回復フィルタのゲイン特性は変化する。このため、ＳＮＲ項を単純に回復ゲイン（回復度合）を制御するためのパラメータＣとして、以下の式（７）を用いる。

式（７）において、Ｃ＝０の場合にはＭ（ｕ，ｖ）はＯＴＦの逆フィルタ（ＭＴＦの逆数）と一致し、Ｃを大きくするに従って画像回復フィルタのゲインが低下する。また、Ｃ＞｜Ｈ（ｕ，ｖ）｜−｜Ｈ（ｕ，ｖ）｜^２になると、画像回復フィルタのゲインが１倍以下となる。このことを模式的に表したのが図６である。

図６は、ＯＴＦの逆フィルタのゲイン特性と画像回復フィルタのゲイン特性との関係図である。図６（ａ）〜（ｃ）において、縦軸はゲイン、横軸は空間周波数をそれぞれ示している。また図６（ａ）〜（ｃ）において、点線はＯＴＦの逆フィルタのゲイン特性、実線は画像回復フィルタのゲイン特性をそれぞれ示している。絞り値Ｆｎが所定値Ｔｈ１未満である場合（Ｆｎ＜Ｔｈ１）、画像回復フィルタのゲインは所定の最大ゲインよりも大きくならないため、Ｃ＝０とすることができる。このため、ＭＴＦの逆数（ＯＴＦの逆フィルタのゲイン）と画像回復フィルタのゲインとが互いに一致する（図６（ａ））。絞り値Ｆｎが所定値Ｔｈ１以上かつ所定値Ｔｈ２未満である場合（Ｔｈ１≦Ｆｎ＜Ｔｈ２）、逆フィルタの高周波側のゲインが所定の最大ゲインよりも大きくなる。このため、Ｃを大きくして画像回復フィルタの高周波側のゲインを抑制する（図６（ｂ））。絞り値ＦｎがＴｈ２以上になり（Ｔｈ２≦Ｆｎ）、Ｃ＞｜Ｈ（ｕ，ｖ）｜−｜Ｈ（ｕ，ｖ）｜^２になると、画像回復フィルタのゲインが１倍以下となる（図６（ｃ））。所定値Ｔｈ１、Ｔｈ２（絞り値）は、撮像素子の画素ピッチ、撮像素子の前面に配置される光学ローパスフィルタの特性、画像回復フィルタの回復ゲイン（回復度合）の最大値、回復ゲイン（回復度合）を制御するためのパラメータＣなどに応じて決定される。

図８は、本実施形態における画像回復フィルタのゲイン特性である。図８において、縦軸はゲイン、横軸は空間周波数をそれぞれ示している。ここでは、画像回復フィルタの最大ゲインを１．５、撮像素子の画素ピッチを６μｍとしている。Ｆ２２までは、画像回復フィルタのゲインは単調に増加する。Ｆ３２では、１．５に設定した最大ゲインによって高周波側のゲインが抑制される。Ｆ９１では、低周波側のゲインは１倍以上で、画像回復の効果はあるものの、高周波側は１倍以下になる。Ｆ１２８では、全周波数領域に対してゲインが１倍以下になり画像回復の効果が得られないため、このフィルタをそのまま使用することはできない。

以上のように、絞り値に応じて画像回復フィルタのゲイン特性（の傾向）は大きく変化する。この傾向を加味した上で、撮像装置で保持する画像回復フィルタを後述する方法で決定することにより、画像回復フィルタのデータ量を削減することが可能である。

続いて、図３を参照して、画像回復フィルタについて説明する。図３は、画像回復フィルタの一断面である。画像回復フィルタは、撮像光学系の収差や回折によるＰＳＦの広がりや要求される回復精度に応じてそのタップ数が決定される。本実施形態において、画像回復フィルタは、１１×１１タップの２次元フィルタである。ただし、これに限定されるものではなく、ＰＳＦの広がり幅と画素ピッチとの関係から、更に大きなタップ数を用いてもよい。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値または画素値を、理想的には元の１点に戻す機能を有する。ここで、回転対称と近似できる絞りによる回折を対象とする場合、回折によるＰＳＦが回転対称となる。このため画像回復フィルタの断面形状も、図３に示されるように対称となる。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの各タップの値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は、点像分布関数ＰＳＦの説明図であり、図４（ａ）は画像回復前の点像分布関数ＰＳＦ、図４（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図５は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図５（ａ））と位相成分ＰＴＦ（図５（ｂ））の説明図である。図５（ａ）中の破線（Ｇ）は画像回復前のＭＴＦ、一点鎖線（ＥＢ）は画像回復後のＭＴＦを示す。また図５（ｂ）中の破線（Ｇ）は画像回復前のＰＴＦ、一点鎖線（Ｅ）は画像回復後のＰＴＦを示す。図４（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、収差の影響により非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

回転対称であると近似できる絞りによる回折を対象とする場合、回折によるＰＳＦは回転対称となる。このため、図５（ｂ）の破線Ｅは０となる。換言すると、本実施形態で扱う回折には位相ずれがない。また、位相ずれの有無に関わらず、前述の画像回復の原理は機能するため、回折を補正対象とする本実施形態においても、画像回復は有効である。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施形態で用いられる画像回復フィルタは適宜変更可能であり、例えば前述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することにより、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。

また、光学伝達関数ＯＴＦは、１つの撮影状態（撮影条件）においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。一方、絞り値が大きくなるに従って回折の影響が支配的になる光学伝達関数（ＯＴＦ）に対しては、光学系のビネッティング（けられ）の影響が小さい場合、像高に対して一律な（一定の）光学伝達関数ＯＴＦとして扱うことができる。

本実施形態は、回折（回折ぼけ）を対象とする。また本実施形態において、撮像光学系には光学部材（アポダイジングフィルタ）が設けられている。このため画像回復フィルタは、絞り値が小さい場合には、絞り値、光の波長、および、像高（画像の位置）に依存する。このため、一つの画像内について一律の（一定の）画像回復フィルタを用いることができない。すなわち本実施形態の画像回復フィルタは、絞り値に応じて発生する回折ぼけによる光学伝達関数（第１の光学伝達関数）を使用し、演算により生成される。画像回復フィルタの演算方法については後述する。波長については、複数の波長での光学伝達関数を算出し、想定する光源の分光特性や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、予め決めた色成分ごとの代表波長を用いて算出してもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。

次に、画像回復フィルタの演算方法について説明する。透明部材を基板とし中心部に向かって濃度が連続的に変化する透過率を有する光学部材（アポダイジングフィルタ）の中心は、撮像光学系の光軸中心に重なる位置に配置される。光学部材は、撮像光学系の絞りの近傍に配置することが理想的であるが、それ以外の位置に配置してもよい。例えば、撮像光学系の開放絞り値が５．６である場合を考える。光学部材を設けた位置により、絞り値により軸上に点像を結ぶ光線の光線高さが決定する。このとき、例えば最小絞り値が２２であるとすると、軸上光線の光線高さは、絞り値５．６から２２へ変化する過程で低下する。この絞り値の変化を、例えば絞り値（Ｆ値）５．６、８、１１、１６、２２のように、複数の段階へ分ける。図１２は、軸上光線が絞り値に応じて光線高さを変える様子を示す模式図である。

次に、光線高さを光学部材（アポダイジングフィルタ）の濃度変化（透過率分布）に対応させる。すなわち、光線高さにおける濃度（透過率）を、それぞれの光線高さについて量子化する。図１３は、光学部材の濃度を量子化する模式図である。光学部材は、透明部材を基板とし中心部に向かって濃度が連続的に変化する透過率を有する。このため、その連続性を量子化し、そのステップは各絞り値に合わせた光線高さにする。

ここで、各絞り値に対する画像回復フィルタについて説明する。絞り値５．６の光線は、絞り値５．６、８、１１、１６、２２の中で最も光線高さが高い。しかし、回折は、絞りの直径に依存して発生する現象であるため、絞り値５．６のときの画像回復フィルタが、他の絞り値の画像回復フィルタを含むものではない。光学部材の濃度を量子化したステップとして、全てのステップを含む画像回復フィルタをするには、量子化した全ての絞り値の画像回復フィルタを考慮する必要がある。本実施形態では、絞り値５．６、８、１１、１６、２２の全ての絞り値を含む画像回復フィルタが光学部材を含む撮像光学系で撮影した画像の画像回復フィルタとなる。このため、それぞれの絞り値に対する画像回復フィルタを例えば合算し、平均したレスポンスを持つ画像回復フィルタが光学部材を光路に配置した場合の回折を補正する画像回復フィルタとなる。

ここで、合算と平均についてさらに説明する。軸上光束における理想的な回折に対する補正であれば、理想的な補正値の単純な合算と平均で画像回復フィルタを作成することができる。それ以外の実情に鑑みて画像回復フィルタを作成する場合、例えば高周波の補正過剰を抑制するために画像回復フィルタの高い空間周波数成分を意図的に減少して合算することもできる。また平均についても、単純平均ではなく、例えばより効果のある絞り値の画像回復フィルタを強く効かせるため、平均する画像回復フィルタに重み付けを行うこともできる。

したがって、回折のみを対象とする本実施形態では、絞り値に依存する複数の画像回復フィルタを予め保持し、撮影条件に応じて複数の画像回復フィルタを演算する。そして、光学部材を撮像光学系に設けた場合の回折による画像の劣化を演算により求めた画像回復フィルタを用いて、回折による画像の劣化を低減するように画像処理を行うことができる。また、軸外光束については、光学部材が撮像光学系に設けられていない場合、軸外光束の直径や光束の断面形状や大きさによって回折の影響を求め、その影響に対応した画像回復フィルタを作成し補正することが好ましい。ただし、実害がなければ、軸上光束の画像回復フィルタを軸外光束の画像回復フィルタとして使用してもよい。

続いて、軸外光束についてさらに説明する。光学部材が撮像光学系に設けられている場合、以下のようになる。軸上光束は、光学部材の濃度が影響する光線高さを有する場合、軸上光束について前述の絞り値に依存する複数の画像回復フィルタを予め保持し、撮影条件に応じて複数の画像回復フィルタを演算する。そして、光学部材を撮像光学系に設けた場合の回折による画像の劣化を演算により求めた画像回復フィルタを用いて処理を行う。すなわち、軸外光束においても軸上光束と同様の考え方で画像回復フィルタを作成することができる。

次に、軸外光束が光線高さを決定する事由について個別に説明する。軸外光束が絞り以外の部分で光線高さが決定している場合、光学部材における軸外光束が透過する領域に応じた濃度の量子化を行い、複数の画像回復フィルタを演算する。そして、光学部材を撮像光学系に設けた場合の回折による画像の劣化を演算により求めた画像回復フィルタを用いて処理を行う。軸外光束が絞りで光線高さが決定している場合、軸上光束の処理方法と同じ処理で画像回復を行うことができる。

図１４は、軸外光束を示す模式図である。この例では、軸上光束の光線トレースが図１２のような模式図で示されると、撮像光学系を通る光線高さは略同等である。このとき、アポダイジングフィルタを通る光線高さも略同等であるとすると、アポダイジングフィルタを透過する際の濃度の影響も略同等である。このため、これを補正するための画像回復フィルタは、軸上光束を補正する場合と同等である。

次に、図７を参照して、本実施形態における撮像装置について説明する。図７は、本実施形態における撮像装置１００の構成図である。撮像装置１００は、後述する画像処理方法（画像回復フィルタを用いた画像回復処理）を行うことにより、撮影画像（入力画像）から回復画像（出力画像）を生成可能である。

撮像装置１００において、被写体像は、撮像光学系１０１を介して撮像素子１０２に結像する。撮像光学系１０１は、絞り１０１ａ、フォーカスレンズ１０１ｂ、および、アポダイジングフィルタ１１１を含む。絞り１０１ａは、その開口径を変化させて絞り値（Ｆ値）を制御することにより、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構により光軸方向におけるその位置が制御される。

アポダイジングフィルタ１１１（光学部材）は、被写体のボケ像の光量分布を変化させるように（すなわち、ボケ像を制御可能なように）所定の透過率分布を有する透過率分布フィルタ（グラデーション型ＮＤフィルタ）である。すなわち、アポダイジングフィルタ１１１は、光学面の中心から径方向（光軸に直交する方向）に距離ｒ１、ｒ２（ｒ１＜ｒ２）における透過率をＴ（ｒ１）、Ｔ（ｒ２）とするとき、条件式Ｔ（ｒ１）≧Ｔ（ｒ２）を満たす。すなわちアポダイジングフィルタ１１１は、光軸から離れるに従って透過率が（連続的に）低くなるような透過率分布を有する。ただし、アポダイジングフィルタ１１１は、その一部の領域において、前記条件式を満たさないような透過率分布を有していてもよく、全体として実質的に前記条件式を満たすと評価される透過率分布を有していればよい。撮像光学系１０１にアポダイジングフィルタ１１１を設けることにより、アポダイゼーション効果により品位の高いボケ像を得ることができる。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサなどを有し、撮像光学系１０１を介して形成された被写体像（光学像）を光電変換して画像データ（アナログ画像信号）を出力する。撮像素子１０２上に結像した被写体像は、電気信号に変換され、Ａ／Ｄコンバータ１０３に出力される。Ａ／Ｄコンバータ１０３は、入力された電気信号（アナログ画像信号）をデジタル画像信号に変換し、デジタル画像信号を画像処理部１０４に出力する。以上の処理により、撮影画像が取得される。

画像処理部１０４は、所定の処理と併せて画像回復処理を行う。まず画像処理部１０４は、状態検知部１０７から撮像装置１００の撮影条件（撮影条件情報）を取得する。撮像条件情報は、撮影の際における絞り値、撮影距離、ズームレンズにおける焦点距離などを含む。状態検知部１０７は、システムコントローラ１１０から直接に撮像条件情報を取得可能であり、また、例えば撮像光学系１０１に関する撮像条件情報を撮像光学系制御部１０６から取得することもできる。記憶部１０８は、アポダイジングフィルタ１１１（光学部材）を含まない光学系における回折補正用の画像回復フィルタを記憶している。好ましくは、記憶部１０８は、アポダイジングフィルタ１１１の濃度変化（透過率分布）を量子化した値に対応する絞り値に応じて（絞り値ごとに）複数の画像回復フィルタを記憶している。

画像処理部１０４は、記憶部１０８から、撮像光学系１０１の光線高さとアポダイジングフィルタ１１１の撮像光学系１０１における位置とに基づいて、最小絞り値から撮影条件の絞り値までの画像回復フィルタを読み出す。演算部１１２は、最小絞り値から撮影条件の絞り値までの画像回復フィルタを演算し、アポダイジングフィルタ１１１が撮像光学系１０１に設けられた場合の画像回復フィルタを作成する。作成した画像回復フィルタは、記憶部１０８に記憶される。また記憶部１０８は、撮像光学系１０１の軸上光束および軸外光束のそれぞれがアポダイジングフィルタ１１１を通過する光線高さを記憶している。

画像処理部１０４は、データ選択手段１０４ａ（取得手段）および画像処理手段１０４ｂ（画像回復手段）を有する。データ選択手段１０４ａは、撮像光学系１０１にアポダイジングフィルタ１１１が設けられている場合、撮影時の絞り値に応じて演算部１１２（画像回復手段）により演算された画像回復フィルタを軸上光束用と軸外光束用でそれぞれ１つ以上選択する。またデータ選択手段１０４ａは、絞り値に応じて量子化したアポダイジングフィルタ１１１の画像回復フィルタの演算時の合算割合や平均化の重み付け割合を選択する。画像処理手段１０４ｂは、データ選択手段１０４ａにより選択された画像回復フィルタを用いて演算部１１２により演算された画像回復フィルタを用いて、撮影画像から回復画像を生成する。

画像処理部１０４で処理された出力画像（回復画像）は、画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５には、本実施形態における画像処理後の画像に表示用の所定の処理を行った画像が表示される。または、高速表示のために簡易的な処理を行った画像を表示してもよい。撮像装置１００における一連の制御は、システムコントローラ１１０により行われる。また、撮像光学系１０１の機械的な駆動は、システムコントローラ１１０の指示に基づいて撮像光学系制御部１０６により行われる。

撮像光学系１０１は、光学ローパスフィルタや赤外線カットフィルタなどの光学素子を含んでもよい。光学ローパスフィルタなどの光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを生成する際にその影響を考慮することが好ましい。この場合、画像回復フィルタは、更に、光学ローパスフィルタによる光学伝達関数（第２の光学伝達関数）に基づいて生成される。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため画像回復フィルタを生成する際にその影響を考慮することが好ましい。また、画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮することがより好ましい。この場合、画像回復フィルタは、更に、画素開口による光学伝達関数に基づいて生成される。

なお本実施形態の撮像装置１００において、撮像光学系１０１は、撮像素子１０２を有する撮像装置本体と一体的に構成されているが、これに限定されるものではない。一眼レフカメラなどの撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ、レンズ装置）とを備えて構成される撮像装置に関しても、本実施形態は適用可能である。

次に、図１を参照して、本発明の実施例１における画像回復処理（画像処理方法）について説明する。図１は、本実施例における画像回復処理のフローチャートであり、アポダイジングフィルタ１１１（Ａｐｏｄｉｚｉｎｇ−Ｆｉｌｔｅｒ、以後「ＡＰＦ」という）を撮像光学系１０１に設けた場合の回折による画像劣化を回復するための処理を示している。図１の各ステップは、主に、システムコントローラ１１０の指令に基づいて、画像処理部１０４または演算部１１２により実行される。

まずステップＳ１０１において、システムコントローラ１１０は、撮像光学系１０１（撮影レンズ）にＡＰＦ１１１が設けられているか否かを判定する。この判定は、機械的または電気的のいずれの手段によっても行うことができる。または、システムコントローラ１１０は、撮影者の入力に応じてこの判定を行ってもよい。続いてステップＳ１０２において、画像処理部１０４は、撮影時の情報、すなわち撮影条件情報（撮影条件）を取得する。撮影条件情報は、撮影の際における、撮像光学系１０１の種別、焦点距離、絞り値（Ｆ値）、および、物体距離を含むが、これらに限定されるものではない。

続いてステップＳ１０３において、画像処理部１０４（データ選択手段１０４ａ）は、ステップＳ１０２にて取得した撮影時の絞り値（撮影時Ｆナンバー）などの撮影条件情報に基づいて、補正データ（回折補正データ）を選択する。すなわちデータ選択手段は、記憶部１０８に記憶されている複数の画像回復フィルタから複数の画像回復フィルタ（第１画像回復フィルタ）を補正データとして選択（取得）する。このときデータ選択手段１０４ａにより選択される画像回復フィルタは、ＡＰＦ１１１を含まない撮像光学系１０１に関する画像回復フィルタ（ＡＰＦ１１１の影響を考慮していない第１画像回復フィルタ）である。この画像回復フィルタ（第１画像回復フィルタ）は、ＡＰＦ１１１を含む撮像光学系１０１に関する画像回復フィルタ（ＡＰＦ１１１の影響を考慮した第２画像回復フィルタ）を生成するのに必要な補正データである。続いてステップＳ１０４において、画像処理部１０４（画像処理手段１０４ｂ）は、記憶部１０８から選択された複数の画像回復フィルタ（補正データ）を取得する。

続いてステップＳ１０５において、演算部１１２は、ステップＳ１０４にて取得された複数の画像回復フィルタ（補正データ）に対して所定の演算処理を行う。そして画像処理部１０４（画像処理手段１０４ｂ）は、演算部１１２による演算処理結果に基づいて、ＡＰＦ１１１を含む撮像光学系１０１に関する画像回復フィルタ（第２画像回復フィルタ）を取得する。このとき取得される画像回復フィルタ（第２画像回復フィルタ）は、ＡＰＦ１１１による回折の影響を考慮した補正データ（ＡＰＦ用補正データ）である。続いてステップＳ１０６において、画像処理部１０４（画像処理手段１０４ｂ）は、ステップＳ１０５にて取得した画像回復フィルタ（ＡＰＦ用補正データ）を用いて、撮影画像に対する回復処理（回折補正処理）を行う。続いてステップＳ１０７において、画像処理部１０４（画像処理手段１０４ｂ）は、回復処理後の画像データ（回復画像、すなわち回折補正した画像）を出力する。

ここで、ステップＳ１０５における所定の演算処理について説明する。図１３で説明した各絞り値の透過率の規格化値を、各スポットダイヤグラムに対して畳み込む。このとき、量子化した絞り値の段数分だけ、各絞り値の透過率の比率に基づいてスポットダイヤグラムを規格化するとともに、合成したスポットダイヤグラムが規格化値を超えないようにする必要がある。

次に、スポットダイヤグラムから波動関数である波面収差を求める方法を説明する。瞳関数と点像振幅分布はフーリエ変換で結ばれている。互いにフーリエ変換の関係にある２つの関数の強度分布から、各位相分布を求めるＧｅｒｃｈｂｅｒｇとＳａｘｔｏｎの位相回復アルゴリズムを波面収差の回復計算に適応する。

図１５のような結像光学系を考え、物体面、像面、および瞳面の換算座標をそれぞれ（ｘｏ，ｙｏ）、（ｘ，ｙ）及び（ξ，η）とする。ただし物体面、像面の実座標をそれぞれ（Ｘｏ、Ｙｏ）および（Ｘ、Ｙ）とするとき、以下の式（８）が成り立つ。

式（８）において、ｎo、ｎiは物体側、像側のそれぞれにおける媒質の屈折率、αo、αiは物体側、像側のそれぞれにおける開口角、k＝２π/λ、λは波長である。

また、瞳面の実座標を（ａ、ｂ）、瞳の半径をＲとするとき、以下の式（９）の関係が成り立つ。

ξ＝ａ／Ｒ、 η＝ｂ／Ｒ … （９）
瞳関数は式（１０）で定義される。

ｆ（ξ，η）＝｜ｆ（ξ，η）｜ｅｘｐ〔ｉｋＷ（ξ，η）〕 … （１０）
式（１０）において、｜ｆ（ξ，η）｜は瞳の振幅透過率、Ｗ（ξ，η）は波面収差である。物点および像点の広がりが物体距離Ｚｏ、像距離Ｚｉに比べ十分小さく、また開口も小さいとき、点像振幅分布ｈａ（ｘ，ｙ）を求め、次いで点像強度分布｜ｈａ（ｘ，ｙ）｜２を算出することは従来からよく行われている。しかし逆に、点像強度分布が与えられたとき、これから瞳関数を求めることは容易ではない。ここから、瞳の振幅透過率｜ｆ（ξ，η）｜と点像強度分布｜ｈａ（ｘ，ｙ）｜２ が既知であるときに、瞳関数の位相部分に相当する波面収差 Ｗ（ξ，η）を計算する方法を説明する。以下、図１６に示される計算アルゴリズムに従って説明する。

まず、ステップＳ１において、初期位相 ｋＷ０（ξ，η）として、−πからπの範囲に分布する乱数を仮定し、以下の式（１１）で表されるように、既知の振幅透過率にこの位相項を付加した瞳面での複素振幅分布を作る。

ｆ１（ξ，η）＝｜ｆ（ξ，η）｜ｅｘｐ〔ｉｋＷ０（ξ，η）〕 … （１１）
続いてステップＳ２において、式（１１）をフーリエ変換する。この結果得られた関数をＦ１（ｘ，ｙ）とし、その位相部分をφ（ｘ，ｙ）とすると、以下の式（１２）のように表すことができる。

Ｆ１（ｘ，ｙ）＝｜Ｆ１（ｘ，ｙ）｜ｅｘｐ〔ｉφ（ｘ，ｙ）〕 … （１２）
続いてステップＳ３において、式（１２）において位相項はそのままにして絶対値部分を既知の点像強度分布から算出された｜ｈａ（ｘ，ｙ）｜で置き換える。このようにして、以下の式（１３）で表されるように、像面でＦ１´（ｘ，ｙ）を得る。

Ｆ１´（ｘ，ｙ）＝｜ｈａ（ｘ，ｙ）｜ｅｘｐ〔ｉφ（ｘ，ｙ）〕 … （１３）
続いてステップＳ４において、式（１３）を逆フーリエ変換する。得られた関数ｆ１´（ξ，η）は、その位相をｋＷ１（ξ，η）とすると、以下の式（１４）で表すことができる。

ｆ１´（ξ，η）＝｜ｆ１´（ξ，η）｜ｅｘｐ〔ｉｋＷ１（ξ，η）〕 … （１４）
続いてステップＳ５において、式（１４）の位相項を保持したまま、絶対値部分を既知の｜ｆ（ξ，η）｜で置き換え、以下の式（１５）を得る。

ｆ２（ξ，η）＝｜ｆ（ξ，η）｜ｅｘｐ〔ｉｋＷ１（ξ，η）〕 … （１５）
以上が１回のループであり、同様の演算により、以下の式（１６）で表されるような瞳面での自乗誤差が得られる。

ε＝∫∫｜｜ｆ（ξ，η）｜−｜ｆ１´（ξ，η）｜｜２ｄξｄη …（１６）
そして、式（１６）の値が所定値以下に収束するまでステップＳ２乃至ステップＳ５を繰り返す。このようにω回のループ演算を繰り返した後、回復された波面収差Ｗω（ξ,η）を得ることができる。波面収差は波動関数であり、これをＰＳＦへ変換する。

本実施例において、撮像装置１００の絞り１０１ａは、Ｆ２．８からＦ１２８まで変更可能である。一般的に、絞り値がＦ２．８からＦ２２までは画像回復フィルタのゲインが単調に増加する図６（ａ）の領域に相当する。絞り値がＦ２２からＦ３２の場合、画像回復フィルタのゲイン特性が低周波側では増加するのに対し、高周波側では絞り値に応じて単純に増加しなくなる。図６においては、図６（ａ）から図６（ｂ）の領域に移行する状態にあるため、離れた絞り値の補間により生成された画像回復フィルタでは、高精度に画像回復処理を行うことができない。絞り値がＦ３２からＦ９１の場合、図６（ｂ）の状態に相当するため、１段ごとに画像回復フィルタを保持しても精度を保つことができる。絞り値がＦ９１からＦ１２８の場合、図６（ｃ）の状態に相当し、Ｆ１２８の画像回復フィルタのゲインが１倍以下になるため、補間割合を１倍として、Ｆ１２８の画像回復フィルタは実質的に使用されないようにする。

図９は、本実施例におけるＡＰＦ１１１のＯＴＦ（ＡＰＦ１１１を有する理想レンズのＯＴＦ）の模式図である。図９において、縦軸はゲイン（レスポンス）、横軸は空間周波数をそれぞれ示している。図９に示されるＯＴＦを理想的に補正するように画像回復処理を行うことにより、高精度に画像回復処理を行うことができる。

図１０は、本実施例における画像回復フィルタのゲイン特性の模式図である。Ｆ５．６、Ｆ８、Ｆ１１、Ｆ１６、Ｆ２２のそれぞれに関する複数の画像回復フィルタの演算により生成された画像回復フィルタのゲイン特性（実線）と、Ｆ１１に関する画像回復フィルタのゲイン特性（細かい点線）とが互いに近いことが分かる。ＡＰＦ１１１を含む撮像光学系１０１により撮影した画像の補正ゲインは、図１０中のＡＰＦに関する実線に重なっており、本例の場合には補間精度が高いことが分かる。また、ＡＰＦ１１１に対応する画像回復フィルタ（第２画像回復フィルタ）を保持することなく複数の画像回復フィルタ（第１画像回復フィルタ）の演算により求めることにより、データ量が削減されている。

本実施例によれば、画像回復処理の精度を劣化させることなく撮像装置に保持される画像回復フィルタのデータ量を削減することができる。

次に、図１１を参照して、本発明の実施例２における画像回復処理について説明する。図１１は、本実施例における画像回復処理のフローチャートであり、アポダイジングフィルタ（Ａｐｏｄｉｚｉｎｇ−Ｆｉｌｔｅｒ、以後「ＡＰＦ」という）を撮像光学系１０１に設けた場合の回折による画像劣化を回復するための処理を示している。図１１の各ステップは、主に、システムコントローラ１１０の指令に基づいて、画像処理部１０４または演算部１１２により実行される。なお、図１１のステップＳ２０１〜Ｓ２０４、Ｓ２０８は、実施例１にて説明した図１のステップＳ１０１〜Ｓ１０４、Ｓ１０７とそれぞれ同様であるため、それらの説明については省略する。

ステップＳ２０５において、画像処理部１０４（画像処理手段１０４ｂ）は、ステップＳ２０４にて取得した複数の画像回復フィルタ（第１画像回復フィルタ）を用いて、撮影画像に対する回復処理（回折補正処理）を行い、回復画像（補正画像）を生成する。このとき画像処理手段１０４ｂは、絞り値に応じた画像回復フィルタを用いて、ＡＰＦ１１１の濃度（透過率）を量子化した段数だけ撮影画像に対する回復処理（回折補正処理）を行い、複数の補正画像（中間画像）を生成する。

続いてステップＳ２０６において、画像処理部１０４（画像処理手段１０４ｂ）は、ＡＰＦ１１１の濃度を量子化した段数だけ回折補正処理を行って生成された複数の中間画像のそれぞれを複数の領域に分割する。また画像処理手段１０４ｂは、複数の分割領域から所望の領域を抽出する。そして画像処理手段１０４ｂは、領域ごとのＡＰＦ１１１の効き量を重み付けとして算出する。この領域分割は、画素単位で行うことが好ましいが、実害が無ければある程度の画素数で構成される領域としてもよい。各領域の重み付けは、各領域を代表する座標における光線トレースにより、ＡＰＦ１１１の透過領域を求め、透過領域の濃度が量子化された段数に関する領域に応じて行われる。

続いてステップＳ２０７において、画像処理部１０４（画像処理手段１０４ｂ）は、複数の画像（中間画像）のそれぞれの対応領域（分割領域）を重み付けに従って重ね合わせる。複数の画像とは、絞り値によって変化する撮影画像を意味する。絞り値が異なる各画像は、各種収差と回折の影響を受けて、それぞれ異なる解像感で撮影されている。これらの画像のそれぞれに対して回折補正処理を行い、量子化した段数分の枚数を計算する。分割領域とは、理想的には各画素単位で分割される領域であるが、影響が小さい場合には複数の画素による領域として合成する。重み付けとは、ＡＰＦで量子化した段数分の分割数であり、各絞り値による透過率の割合を示す。このように画像処理手段１０４ｂは、透過率の比率で各絞り値の画像を合成してＡＰＦの効果を反映した画像を作成する。そして画像処理手段１０４ｂは、重ね合わせた分割領域（複数の領域）を互いに結合し、回折補正処理が全面に適用された画像（回復画像）を生成する。続いてステップＳ２０８において、画像処理部１０４（画像処理手段１０４ｂ）は、回復処理後の画像データ（回復画像）を出力する。

本実施例の画像回復処理では、画像回復フィルタのＰＳＦをＦＦＴする工程が無く、純粋な画素の重ね合わせで回復画像を生成することにより計算負荷をより低減することができる。本実施例によれば、画像回復処理の精度を劣化させることなく撮像装置に保持される画像回復フィルタのデータ量を削減することができる。

このように各実施例において、画像処理装置は、記憶手段（記憶部１０８）、取得手段（データ選択手段１０４ａ）、および、画像回復手段（画像処理手段１０４ｂおよび演算部１１２）を有する。記憶手段は、絞り値に応じた複数の画像回復フィルタを記憶する。取得手段は、複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得する。画像回復手段は、複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、透過率が変化する光学部材を含む撮像光学系を介して得られた画像の回復処理を行う。

好ましくは、複数の第１画像回復フィルタは、光学部材を含まない撮像光学系に関する画像回復フィルタである。また好ましくは、光学部材は、透明部材を基板として、光学面の中心から径方向に沿って透過率が連続的に変化するアポダイジングフィルタである。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ａ データ選択手段（取得手段）
１０４ｂ 画像処理手段（画像回復手段）
１０８ 記憶部（記憶手段）
１１２ 演算部（画像回復手段）

Claims (13)

1. 絞り値に応じた複数の画像回復フィルタを記憶する記憶手段と、
   前記複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得する取得手段と、
   前記複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、領域によって透過率が変化する光学部材を含む撮像光学系を介して得られた画像の回復処理を行う画像回復手段と、を有することを特徴とする画像処理装置。
2. 前記複数の第１画像回復フィルタは、前記光学部材を含まない撮像光学系に関する画像回復フィルタであることを特徴とする請求項１に記載の画像処理装置。
3. 前記光学部材は、透明部材を基板として、光学面の中心から径方向に沿って前記透過率が連続的に変化するアポダイジングフィルタであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像回復手段は、
   前記複数の第１画像回復フィルタに基づいて前記所定の演算処理を行うことにより、前記光学部材を含む前記撮像光学系に関する第２画像回復フィルタを生成し、
   前記第２画像回復フィルタを用いて前記画像の回復処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像回復手段は、
   前記複数の第１画像回復フィルタに基づいて複数の中間画像をそれぞれ生成し、
   前記複数の中間画像のそれぞれを複数の領域に分割し、
   分割された前記複数の領域に対して重み付けを行い、
   重み付け後の前記複数の領域を結合することにより前記画像の回復処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記記憶手段は、前記光学部材の前記透過率を量子化して得られた透過率に対応する前記絞り値ごとに、前記複数の画像回復フィルタを記憶していることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像回復手段は、前記画像を撮影した際の絞り値に応じて選択された前記複数の第１画像回復フィルタに基づいて、前記画像の回復処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像回復手段は、回折による前記画像の劣化を低減するように前記回復処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記撮影条件は、撮影の際における絞り値、撮影距離、および、焦点距離を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 撮像光学系を介して形成される光学像を光電変換して画像データを出力する撮像素子と、
    絞り値に応じた複数の画像回復フィルタを記憶する記憶手段と、
    前記複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得する取得手段と、
    前記複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、領域によって透過率が変化する光学部材を含む撮像光学系を介して得られた前記画像データに対応する撮影画像の回復処理を行う画像回復手段と、を有することを特徴とする撮像装置。
11. 絞り値に応じた複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得するステップと、
    前記複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、領域によって透過率が変化する光学部材を含む撮像光学系を介して得られた画像の回復処理を行うステップと、を有することを特徴とする画像処理方法。
12. 絞り値に応じた複数の画像回復フィルタから撮影条件に応じた複数の第１画像回復フィルタを取得するステップと、
    前記複数の第１画像回復フィルタに基づいて所定の演算処理を行うことにより、領域によって透過率が変化する光学部材を含む撮像光学系を介して得られた画像の回復処理を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶していることを特徴とする記憶媒体。

Images