JP6821526B2 - 画像処理方法、画像処理装置、撮像装置、および、プログラム - Google Patents

Description

本発明は、撮影画像の画像回復処理を行う画像処理方法に関する。

特許文献１には、撮影画像の撮影条件に応じた係数データから撮影画像内の位置（画面中心または撮像光学系の光軸から一方向における各位置）に応じた撮像光学系の光学伝達関数を再構成し、画像回復処理を行う方法が開示されている。撮影画像内の各位置における光学伝達関数を撮像光学系の光軸の周りに回転させて光学伝達関数を展開して用いることにより、情報量を低減しつつ撮像面の中心（画面中心）または光軸に関して回転対称な画像回復処理を行うことが可能である。

ところで、従来、ティルト機構を有する撮像光学系を用いてティルト撮像（いわゆるアオリ撮像）を行う撮像装置が知られている。ティルト撮像では、ピントが合う被写体面を制御し、パースペクティブによって生じる歪みを補正することができる。ティルト撮像は、撮像光学系を撮像面に対して傾けて（ティルトして）行う撮像であり、被写界深度を深くしなくても奥行きのある被写体面の全体にピントを合わせることや、ピントの合う範囲を狭めることができる。

ただし、ティルト機構を有する撮像光学系では、一般的な光軸回りに回転対称な光学系とは異なり、必ずしも撮像面の中心または光軸に関して回転対称な結像性能が得られるわけではない。すなわち、撮像面の中心または光軸から像高方向において非回転対称な偏心収差が発生し、ティルトしていない基準状態に比べて、結像性能が劣化する。

特許第５４１４７５２号公報

特許文献１の方法において、撮像面の中心または光軸に関して回転対称な画像回復処理を、ティルト撮像で得られた非回転対称な収差による劣化画像に対して行うと、補正対象の収差が異なるため、補正不足や過補正、黒沈み、リンギング等の弊害が発生する。しかしながら、特許文献１には、ティルト撮像における非回転対称な収差による劣化が生じた場合の弊害に対する対策については開示されていない。また、非回転対称な収差に対する画像回復処理を行うために、画面内の全ての位置に対応する光学伝達関数を用いることは可能ではあるが、情報量が増大する。

そこで本発明は、ティルト撮像により得られた画像に対して、情報量を低減しつつ、弊害を抑制した画像回復処理を行うことが可能な画像処理方法、画像処理装置、撮像装置、および、プログラムを提供することを目的とする。

本発明の一側面としての画像処理方法は、撮像面に対して主平面が傾斜している撮像光学系を介した撮像により生成された撮影画像を取得するステップと、前記撮像光学系の傾斜情報を取得するステップと、前記撮像光学系の収差情報を取得するステップと、前記傾斜情報に応じて前記撮影画像の回復ゲインを設定し、前記回復ゲインおよび前記収差情報に基づいて前記撮影画像に対する画像回復処理を行うステップとを有し、前記収差情報は、前記主平面が前記撮像面に対して傾斜していない状態での前記撮像光学系の収差情報であり、前記傾斜情報は前記撮像面に対する前記撮像光学系の主平面の傾斜角に関する情報を含み、前記傾斜情報の示す前記傾斜角が第１の傾斜角の場合、前記回復ゲインは第１の回復ゲインに設定され、前記傾斜情報の示す前記傾斜角が前記第１の傾斜角よりも大きい第２の傾斜角の場合、前記回復ゲインは、前記第１の回復ゲインよりも小さい第２の回復ゲインに設定される。

本発明の他の側面としての画像処理装置は、撮像面に対して主平面が傾斜している撮像光学系を介した撮像により生成された撮影画像を取得する画像取得部と、前記撮像光学系の収差情報を取得する収差情報取得部と、前記撮像光学系の傾斜情報を取得し、前記傾斜情報に応じて前記撮影画像の回復ゲインを設定し、前記回復ゲインおよび前記収差情報に基づいて前記撮影画像に対する画像回復処理を行う画像回復処理部とを有し、前記収差情報は、前記主平面が前記撮像面に対して傾斜していない状態での前記撮像光学系の収差情報であり、前記傾斜情報は前記撮像面に対する前記撮像光学系の主平面の傾斜角に関する情報を含み、前記傾斜情報の示す前記傾斜角が第１の傾斜角の場合、前記回復ゲインは第１の回復ゲインに設定され、前記傾斜情報の示す前記傾斜角が前記第１の傾斜角よりも大きい第２の傾斜角の場合、前記回復ゲインは、前記第１の回復ゲインよりも小さい第２の回復ゲインに設定される。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、ティルト撮像により得られた画像に対して、情報量を低減しつつ、弊害を抑制した画像回復処理を行うことが可能な画像処理方法、画像処理装置、撮像装置、および、プログラムを提供することができる。

各実施例における画像回復フィルタの説明図である。 各実施例における画像回復フィルタの説明図である。 各実施例における点像分布関数ＰＳＦの説明図である。 各実施例における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。 本実施例におけるシャインプルーフの法則に従うティルト撮像の説明図である。 実施例１における画像処理方法のフローチャートである。 実施例１における画像回復フィルタの生成方法の説明図である。 実施例２における画像処理システムの説明図である。 実施例３における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響によりぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で表される。

点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。

ＰＴＦ＝ａｔａｎ（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれ、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。

振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系における収差情報（光学伝達関数ＯＴＦまたは点像分布関数ＰＳＦ、およびそれらに関する情報）を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の収差情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数ＯＴＦの逆特性を有する画像回復フィルタを撮影画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復を効果的に用いるためには、撮像光学系のより正確な光学伝達関数ＯＴＦの情報を得る必要がある。一般的な撮像光学系の光学伝達関数ＯＴＦは、像高（画像の位置）によって大きく変動する。また光学伝達関数ＯＴＦは２次元データであり、複素数であるため実部と虚部を有する。また、ＲＧＢの３つの色成分を有するカラー画像を対象とした画像回復処理を行う場合、一つの像高の光学伝達関数ＯＴＦは、縦方向のタップ数×横方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となる。ここで、タップ数とは光学伝達関数ＯＴＦの縦横のサイズである。これらを、像高、Ｆナンバー（絞り値）、ズーム（焦点距離）、撮影距離など全ての撮影条件について保持すると、膨大なデータ量となる。そこで本実施例では、データ量（情報量）を低減するための方法および構成について説明する。

まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。

［撮影画像］
撮影画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

撮影画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

撮影画像（入力画像）や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。

［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇから元の画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタなどとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （
５−２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図１および図２を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図１の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図１では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図２に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図３および図４を参照して、画像回復の実空間と周波数空間での特性について説明する。図３は、点像分布関数ＰＳＦの説明図であり、図３（ａ）は画像回復前の点像分布関数ＰＳＦ、図３（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図４は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図４（Ｍ））と位相成分ＰＴＦ（図４（Ｐ））の説明図である。図４（Ｍ）中の破線（ａ）は画像回復前のＭＴＦ、一点鎖線（ｂ）は画像回復後のＭＴＦを示す。また図４（Ｐ）中の破線（ａ）は画像回復前のＰＴＦ、一点鎖線（ｂ）は画像回復後のＰＴＦを示す。図３（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。

次に、図５を参照して、本実施例におけるティルト撮像について説明する。図５は、シャインプルーフの法則に従うティルト撮像の説明図である。ティルト撮像では、撮像光学系を撮像面に対して傾ける（ティルトさせる）ことにより、撮像光学系の主平面ＬＰＰが撮像面ＩＰに対して傾いて配置される。すなわち、本実施例の撮影画像は、撮像光学系の主平面ＬＰＰが撮像素子の撮像面ＩＰに対して傾斜した状態で取得された画像である。

このとき、撮像光学系のピントが合う被写体面ＯＰと、撮像光学系の主平面ＬＰＰと、撮像面ＩＰとは、同一直線Ｐ上で互いに交わる。このようなティルト撮像では、ピントが合う被写体面ＯＰが撮像面ＩＰに対して傾くため、撮像光学系の絞り値（Ｆ値）によらずピントが合う範囲を制御することができる。例えば、絞り値を絞って被写界深度を深くすることなく奥行きのある被写体面ＯＰの全体にピントを合わせることができる。また、逆にピントの合う範囲を極端に狭めて、ジオラマ風の撮像表現等も可能となる。

ティルト撮像は、撮像光学系にティルト機構を設けることにより実現することが可能となる。また、撮像光学系は、ティルト方向を可変にするレボルビング機構を有していてもよい。ティルト撮像では、被写体面ＯＰと撮像光学系の主平面ＬＰＰと撮像面ＩＰとが互いに平行でないため、偏心収差が発生する。偏心収差とは、偏心コマ、偏心歪曲、偏心により生じる色ずれ等を意味する。このようなティルトにおける偏心収差は、撮像面ＩＰの中心または撮像光学系の光軸ＯＡに関して非回転対称な収差として発生する。

次に、図６を参照して、本発明の実施例１における画像処理方法について説明する。図６は、本実施例における画像処理方法（画像処理プログラム）のフローチャートである。本実施例での画像処理方法は、画像処理装置としてのＣＰＵ等により構成されるコンピュータが、コンピュータプログラムとしての画像処理プログラムに従って実行する。このことは、後述する他の実施例でも同じである。

まず、ステップＳ１１では、画像処理装置は、撮像装置が撮像によって生成した撮影画像を取得する。撮像装置からの撮影画像の取得は、撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。続いてステップＳ１２において、画像処理装置は、撮像装置が撮像によって撮影画像を生成した際の撮影条件（撮影条件情報）を取得する。撮影条件は、前述したように、撮像光学系の焦点距離、絞り値（Ｆ値）、および、撮影距離のほか、撮像装置の識別情報（カメラＩＤ）等を含む。また、撮像光学系の交換が可能な撮像装置においては、撮影条件に、撮像光学系（交換レンズ）の識別情報（レンズＩＤ）を含めてもよい。撮影条件情報は、前述したように撮影画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。

続いてステップＳ１３において、画像処理装置は、撮像装置が撮像によって撮影画像を生成した際のティルト撮像の状態を示す情報（すなわち、撮像光学系のティルトの状態を示す情報）を取得する。ティルト撮像の状態を示す情報の取得に際して、画像処理装置は、まず撮像装置がティルト撮像を行ったか否か、すなわち撮像光学系が撮像面に対してティルトしていたか否かを判定する。ティルト撮像であると判定した場合、画像処理装置は、ティルト撮像の状態である撮像光学系の撮像面に対するティルト方向（傾斜方向）およびティルト角（傾斜角）に関する情報を取得する。ティルト方向およびティルト角はそれぞれ、図５中に矢印とθで示される。以下、ティルト撮像の状態を示す情報を、ティルト情報という。ティルト情報は、前述の撮影条件情報と同様に撮影画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。

続いてステップＳ１４において、画像処理装置は、撮影条件に適した収差情報を取得する。本実施例において、収差情報は光学伝達関数ＯＴＦである。画像処理装置は、予め保持された複数の光学伝達関数ＯＴＦから、撮影条件に応じて適切な光学伝達関数ＯＴＦを選択して取得する。また、絞り値、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、その撮影条件に対応する光学伝達関数ＯＴＦを、予め保持されている他の撮影条件の光学伝達関数ＯＴＦから補間処理により生成することもできる。この場合、保持する光学伝達関数ＯＴＦのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間（線形補間）やバイキュービック補間等が用いられるが、これに限定されるものではない。

本実施例において、画像処理装置は、収差情報として光学伝達関数ＯＴＦを取得するが、これに限定されるものではない。光学伝達関数ＯＴＦに代えて、点像分布関数ＰＳＦ等の収差情報を取得してもよい。また本実施例において、画像処理装置は、収差情報を所定の関数へのフィッティングによって近似した係数データを取得し、係数データから光学伝達関数ＯＴＦや点像分布関数ＰＳＦを再構成してもよい。例えば、光学伝達関数ＯＴＦはＬｅｇｅｎｄｒｅ多項式を用いてフィッティングを行えばよい。また、Ｃｈｅｂｕｓｈｅｖ多項式など他の関数を用いてフィッティングすることもできる。

ステップＳ１４では、画像処理装置（ＯＴＦ取得部）は、画面中心（撮影画像の中心）または撮像光学系の光軸ＯＡを通りかつ光軸ＯＡに垂直な一方向における複数の光学伝達関数ＯＴＦを生成する。なお、撮像光学系は、撮像素子や光学ローパスフィルタなどを含んでもよい。

続いてステップＳ１５において、画像処理装置（ＯＴＦ展開部）は、光学伝達関数ＯＴＦを画面中心（撮影画像の中心）または撮像光学系の光軸ＯＡの周りに回転させて光学伝達関数ＯＴＦを展開する。具体的には、画像処理装置は、画素配列に対応して光学伝達関数ＯＴＦを補間することにより、光学伝達関数ＯＴＦを撮影画像内の複数の位置に離散的に配置する。

続いてステップＳ１６において、画像処理装置（画像回復フィルタ生成手段）は、光学伝達関数ＯＴＦを画像回復フィルタ（フィルタ）に変換する、すなわち展開された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成する。画像回復フィルタは、光学伝達関数ＯＴＦに基づいて周波数空間での回復フィルタ特性を作成し、逆フーリエ変換により実空間のフィルタ（画像回復フィルタ）に変換することにより生成される。

ここで図７（ａ）〜（ｅ）を参照して、ステップＳ１５、Ｓ１６について詳述する。図７（ａ）〜（ｅ）は、画像回復フィルタの生成方法の説明図である。図７（ａ）に示されるように、光学伝達関数ＯＴＦは、画面中心（撮影画像の中心）または撮像光学系の光軸ＯＡを通りかつ光軸ＯＡに垂直な一方向（垂直方向）に、画像の外接円の領域（撮像領域）に配置されている。

本実施例では、図６のステップＳ１４において、図７（ａ）に示されるように直線上に光学伝達関数を展開したが、これに限定されるものではない。例えば、撮影画像面内において、撮影画像の中心または撮像光学系の光軸ＯＡを通り互いに直交する直線を第１の直線（図７（ａ）のｙ）と第２の直線（図７（ａ）のｘ）とする。このとき、ステップＳ１４にて取得した光学伝達関数のうち少なくとも２つの光学伝達関数が、第１の直線の直線上の位置（像高）に対応する光学伝達関数であればよい。すなわち、光学伝達関数ＯＴＦは、画面中心または撮像光学系の光軸ＯＡから所定の方向に互いに異なる距離で配列された複数の位置（撮影画像内の複数の位置）に配置されていれば、一方向に直線的に配列されていなくてもよい。撮影画像の中心または撮像光学系の光軸ＯＡを含む画素がない、すなわち画素と画素の間に撮影画像の中心または撮像光学系の光軸がある場合、ステップＳ１４で取得した光学伝達関数は第１の直線を挟む画素の位置（像高）に対応する光学伝達関数であればよい。

また、光学伝達関数ＯＴＦを一方向に配列する場合、垂直方向に限定されるものではなく水平方向など他の方向に配列してもよい。光学伝達関数ＯＴＦを垂直方向または水平方向のいずれかに直線的に配列すると、本実施例の画像処理がより容易に行えるため、より好ましい。

続いて、光学伝達関数ＯＴＦを回転させ、必要に応じて補間処理（回転後の画素配列に応じた各種処理）を行い、図７（ｂ）に示されるように光学伝達関数ＯＴＦを再配置する。補間処理は、放射方向の補間処理と回転に伴う補間処理を含み、光学伝達関数ＯＴＦを任意の位置に再配置することができる。次に、各位置の光学伝達関数ＯＴＦについて、例えば式（６）のように画像回復フィルタの周波数特性を計算して逆フーリエ変換を行うことで、図７（ｃ）に示されるように実空間の画像回復フィルタへの変換を行う。

すなわち、撮影画像において、撮影画像の中心または撮像光学系の光軸ＯＡを通り互いに直交する直線を第１の直線（図７（ａ）中のｙ）と第２の直線（図７（ａ）中のｘ）とする。撮影画像の中心または撮像光学系の光軸ＯＡに対して、撮影画像の第１領域（図７（ｃ）中の７３）と点対称な領域を第２領域（図７（ｃ）中の７１）とする。また、第１領域と第１の直線に対して線対称な領域を第３領域（図７（ｃ）の７２）、第１領域と第２の直線に対して線対称な領域を第４領域（図７（ｃ）の７４）とする。このとき、第１領域の光学伝達関数を用いて、第２領域または第３領域、第４領域の光学伝達関数を生成する。これにより、フーリエ変換処理が最終的に再配置する位置の略１／４に低減される。また、図７（ｂ）の光学伝達関数ＯＴＦおよび図７（ｃ）の画像回復フィルタを図７（ｅ）に示されるように回転および補間処理により再配置し、その対称性を用いて図７（ｄ）に示されるように展開すれば、さらにフーリエ変換処理を低減することができる。なお、図７（ａ）〜（ｅ）に示される配置（回復フィルタの配置密度）は一例であり、撮像光学系の光学伝達関数ＯＴＦの変動に応じて配置間隔を任意に設定することができる。

本実施例では、光学伝達関数ＯＴＦが撮像面の中心（画面中心）または撮像光学系の光軸ＯＡに関して回転対称である前提で、前述したような画面中心または撮像光学系の光軸ＯＡを通る一方向に配置した光学伝達関数ＯＴＦを回転および展開を行う。これにより、少ないデータ量で画像回復処理を行うことができる。なお画像処理装置は、光学伝達関数ＯＴＦとして、撮像光学系がティルトしていない状態における、画面中心（撮影画像の中心）または撮像光学系の光軸ＯＡを通る一方向のＯＴＦを予め保持している。

ただし、ティルト撮像における偏心収差は、撮像面の中心（画面中心）または撮像光学系の光軸ＯＡに関して非回転対称な収差として発生する。ティルト撮像における非回転対称な収差によって劣化した撮影画像に対して、本実施例の回転対称な収差を前提とした画像回復処理を行うと、補正対象とする収差が異なるため、補正不足や過補正、黒沈み、リンギング等の弊害が発生する。

したがって、本実施例の画像処理装置は、ティルト情報に基づいて画像回復フィルタの回復ゲインを決定する。具体的には、ティルト角θが大きくなるほど偏心収差が大きくなり、ティルトがない状態の回転対称な収差との差が大きくなるため、ティルト角θが大きいほど回復ゲインを小さく設定する。すなわち画像処理装置は、ティルト角θが第１の傾斜角の場合、補正量（回復ゲイン）を第１の補正量（第１の回復ゲイン）に設定する。また画像処理装置は、ティルト角θが第１の傾斜角θ１よりも大きい第２の傾斜角θ２の場合、補正量（回復ゲイン）を、第１の補正量よりも小さい第２の補正量（第２の回復ゲイン）に設定する。例えば、ティルト角θに対して、回復ゲインＡ＝２ｃｏｓθを設定する。回復ゲインＡは、周波数空間における画像回復フィルタの最大値としてもよいし、平均値や特定の周波数における値としてもよい。ただし、本実施例はこれに限定されるものではない。

また、撮像時のティルト角θが設定したしきい値以上である場合、設定したしきい値よりも小さいティルト角θに対応する回復ゲインと比較して、設定する回復ゲインを小さくしてもよい。すなわち画像処理装置は、ティルト角θが所定のしきい値よりも小さい場合、補正量（回復ゲイン）を第３の補正量（第３の回復ゲイン）に設定する。また画像処理装置は、ティルト角θが所定のしきい値以上である場合、補正量（回復ゲイン）を第３の補正量よりも小さい第４の補正量（第４の回復ゲイン）に設定する。

好ましくは、本実施例の画像処理装置は、絞り値（Ｆ値）に基づいて回復ゲインを決定する。絞り値が大きくなると、ティルト撮像時の非回転対称な収差よりも回転対称な回折現象が支配的になる。したがって、絞り値が小さいほど回復ゲインを小さくする。すなわち画像処理装置は、絞り値が第１の絞り値の場合、補正量（回復ゲイン）を第５の補正量（第５の回復ゲイン）に設定する。また画像処理装置は、絞り値が第１の絞り値よりも小さい第２の絞り値の場合、補正量（回復ゲイン）を、第５の補正量よりも小さい第６の補正量（第６の回復ゲイン）に設定する。

または、撮像光学系の最小絞り値に対して撮像時の絞り値が大きい場合、最小絞り値における回復ゲインよりも設定する回復ゲインを大きくしてもよい。すなわち画像処理装置は、絞り値が撮像光学系の最小絞り値である場合、補正量（回復ゲイン）を第７の補正量（第７の回復ゲイン）に設定する。また画像処理装置は、絞り値が撮像光学系の最小絞り値よりも大きい場合、補正量（回復ゲイン）を、第７の補正量よりも大きい第８の補正量（第８の回復ゲイン）に設定する。

また、撮像時の絞り値が設定したしきい値以下である場合、設定したしきい値よりも大きい絞り値に対応する回復ゲインと比較して、設定する回復ゲインを小さくしてもよい。すなわち画像処理装置は、絞り値が所定のしきい値よりも大きい場合、補正量（回復ゲイン）を第９の補正量（第９の回復ゲイン）に設定する。また画像処理装置は、絞り値が所定のしきい値よりも以下である場合、補正量（回復ゲイン）を第９の補正量よりも小さい第１０の補正量（第１０の回復ゲイン）に設定する。

続いて、図６のステップＳ１７において、画像処理装置（画像回復手段）は、ステップＳ１６にて生成された画像回復フィルタを用いて撮影画像の画像回復処理を行う。すなわち画像処理装置は、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することにより、撮影画像の画像回復処理を行う。そしてステップＳ１８において、画像処理装置は、ステップＳ１７の画像回復処理の結果に基づいて、回復画像を取得する。

なお本実施例において、ステップＳ１６にて、画像回復フィルタの回復ゲインをティルト情報に基づいて決定したが、画像回復処理における回復ゲインをティルト情報に基づいて決定してもよい。画像回復処理における回復ゲインは、例えば、画像回復処理前後の画像の差分を画像回復処理前の画像に足し合わせて回復画像を取得する際の割合を変えることで調整することができる。すなわち、ティルト角θが大きいほど、画像回復処理前の画像に足し合わせる画像回復処理前後の画像の差分の割合を小さくして画像回復処理における回復ゲインを小さくする。また、前述のように、絞り値に基づいて画像回復処理における回復ゲインを決定してもよい。

なお、画像回復フィルタのコンボリューションの際に、図７（ｄ）に示される画像回復フィルタが配置されている位置以外の画素は、近傍に配置された複数のフィルタを用いて補間生成することもできる。このとき、画像回復フィルタは、撮影画像の第１の位置における第１の画像回復フィルタ、および、撮影画像の第２の位置における第２の画像回復フィルタを有する。第１の画像回復フィルタは、展開された光学伝達関数を用いて生成される。第２の画像回復フィルタは、第１の画像回復フィルタを用いて補間することにより生成される。このような補間処理を行うことにより、例えば１画素ごとに画像回復フィルタを変更することができる。

本実施例では、画像の劣化を補正するための画像回復処理として光学伝達関数ＯＴＦの逆関数に基づく処理を行う場合について説明したが、収差情報を用いたアンシャープマスク処理についても同様に適用することができる。

アンシャープマスク処理では、原画像にアンシャープマスクを適用してぼかしたアンシャープ画像と原画像との差分を原画像に対して加算または減算することにより、鮮鋭化した画像を生成する。その際、アンシャープマスクとして撮像光学系の点像分布関数ＰＳＦを用いることにより、撮像時の撮像光学系の収差による劣化を補正した画像を取得することができる。

撮影画像をｇ（ｘ，ｙ）、補正成分をｕ（ｘ，ｙ）とすると、補正画像ｆ（ｘ，ｙ）は、以下の式（７）のように表すことができる。

ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＋ｍ×ｕ（ｘ，ｙ） … （７）
式（７）において、ｍの値を変化させることにより撮影画像ｇ（ｘ，ｙ）に対する補正成分ｕ（ｘ，ｙ）の回復度合い（回復ゲイン）、すなわち補正量を調整することができる。なお、ｍの値は撮像光学系の像高（画像の位置）に応じて変化させてもよいし、または一定の値であってもよい。

また、補正成分ｕ（ｘ，ｙ）は、以下の式（８）のように表される。

ｕ（ｘ，ｙ）＝ｇ（ｘ，ｙ）−ｇ（ｘ，ｙ）＊ＰＳＦ（ｘ，ｙ） …（８）
また、補正成分ｕ（ｘ，ｙ）は、式（８）の右辺を変形して、以下の式（９）のように表すことができる。

ｕ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ）） … （９）
式（９）において、δはデルタ関数（理想点像）である。ここで用いるデルタ関数は、ＰＳＦ（ｘ，ｙ）とタップ数が等しく、中央のタップの値が１で、それ以外のタップの値が全て０のデータである。

式（７）〜（９）より、補正画像ｆ（ｘ，ｙ）は、以下の式（１０）のように表すことができる。

ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊［δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））］ … （１０）
すなわち、式（１０）における中括弧［］内の部分をフィルタ（画像回復フィルタ）として撮影画像ｇ（ｘ，ｙ）に畳み込むことにより、アンシャープマスク処理が可能である。

点像分布関数ＰＳＦは、１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、アンシャープマスク処理のフィルタも像高に応じて変更して用いられる。アンシャープマスク処理の回復ゲインについても、前述のようにティルト情報や絞り値に基づいて決定すればよい。また、収差情報を用いた超解像処理等、種々の高解像度化処理についても同様に適用することができる。

次に、図８を参照して、前述の画像処理方法を行う画像処理装置を備えた画像処理システムについて説明する。図８は、本実施例における画像処理システム１００の説明図である。画像処理システム１００は、収差情報算出装置１０１、カメラ１１０（撮像装置）、および、画像処理装置１２０を備えて構成される。

収差情報算出装置１０１は、撮影画像の撮影条件に応じて、撮像光学系の設計値または測定値から光学伝達関数ＯＴＦを算出する処理を行う。ここで算出する光学伝達関数ＯＴＦは撮像光学系がティルトしていない状態でのＯＴＦである。カメラ１１０は、撮像素子１１１および撮像レンズ１１２を有する。カメラ１１０は、撮像レンズ１１２で撮像された画像に、撮像レンズ１１２のレンズＩＤと撮影条件情報（絞り値、ズーム、撮影距離等）、撮像素子１１１のナイキスト周波数、および、ティルト情報を付加して出力する。例えば、ティルト撮像が行われる（撮像光学系がティルト機構を有する）場合、エンコーダ等の角度検出器によりティルト角θを検出してティルト情報に反映させればよい。このときティルト角θは、撮像面に対する撮像光学系の相対的な角度として検出すればよい。また、ティルト方向を検出してもよい。

画像処理装置１２０は、画像回復情報保持部１２１、収差情報取得部１２２、および、フィルタ処理部（画像取得部および画像回復処理部）１２３を備えて構成される。画像処理装置１２０は、収差情報算出装置１０１およびカメラ１１０から出力された情報を保持し、これらの情報を用いて撮像レンズ１１２で撮影された劣化画像を補正する（撮影画像の画像回復処理を行う）。

画像回復情報保持部１２１は、収差情報算出装置１０１により算出された種々の撮像レンズ１１２と撮像素子１１１の組み合わせのそれぞれについて、光学伝達関数ＯＴＦ、タップ数、レンズＩＤ、撮影条件、および撮像素子のナイキスト周波数の各情報を記憶する。このように画像回復情報保持部１２１は、撮影画像の撮影条件に応じた光学伝達関数ＯＴＦを記憶する記憶手段である。また画像回復情報保持部１２１は、ティルト情報に基づく回復ゲイン情報を記憶する。また画像回復情報保持部１２１は、絞り値に基づく回復ゲイン情報を記憶してもよい。例えば、画像回復情報保持部１２１は、ティルト角θや絞り値に応じた回復ゲイン値のテーブルを予め作成して記憶する。または、画像回復情報保持部１２１は、ティルト角θや絞り値に応じた回復ゲインを関数化した情報を記憶してもよい。

収差情報取得部１２２は、カメラ１１０から、撮像素子１１１の撮像素子のナイキスト周波数情報と撮影画像とを取得し、撮像レンズ１１２のレンズＩＤと撮影条件情報を取得する。収差情報取得部１２２は、撮影者が撮影した際に用いたカメラ１１０のレンズＩＤと撮影条件とに基づいて、画像回復情報保持部１２１内に保存されている光学伝達関数ＯＴＦをサーチ（探索）する。そして収差情報取得部１２２は、対応する光学伝達関数ＯＴＦ（撮影時のレンズＩＤと撮影条件に適切な光学伝達関数ＯＴＦ）を取得する。収差情報取得部１２２は、カメラ１１０の撮像素子のナイキスト周波数までの空間周波数領域において、フィルタ処理部１２３により用いられる光学伝達関数ＯＴＦを取得する。すなわち収差情報取得部１２２は、取得した光学伝達関数ＯＴＦを用いて、撮影画像の位置に応じた撮像光学系（撮像レンズ１１２）の光学伝達関数ＯＴＦを取得する。このように収差情報取得部１２２は、撮影画像の位置に応じた撮像光学系の光学伝達関数ＯＴＦを取得するＯＴＦ取得部である。また収差情報取得部１２２は、光学伝達関数ＯＴＦを撮影画像の中心または撮像光学系の光軸ＯＡの周りに回転させて光学伝達関数ＯＴＦを展開するＯＴＦ展開部である。

フィルタ処理部１２３は、カメラ１１０から撮影画像を取得する。すなわちフィルタ処理部１２３は、画像取得部に相当する。フィルタ処理部１２３は、収差情報取得部１２２により取得された光学伝達関数ＯＴＦを用いて、撮影画像の劣化を補正する画像回復フィルタを作成し、画像の劣化を補正する。すなわちフィルタ処理部１２３は、展開された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成するフィルタ生成部である。またフィルタ処理部１２３は、画像回復フィルタを用いて撮影画像に対する画像回復処理を行う画像回復処理部に相当する。なおフィルタ処理部１２３は、ティルト情報および画像回復情報保持部１２１内に保存されているティルト角θや絞り値に応じた回復ゲイン情報を取得し、ティルト情報に基づいて回復ゲインを決定する。またフィルタ処理部１２３は、絞り値に基づいて回復ゲインを決定してもよい。回復ゲイン情報として、ティルト角θや絞り値に応じた回復ゲイン値のテーブルを用いる場合、テーブルを補間することでティルト情報や絞り値に応じた回復ゲインを決定してもよい。

なお、収差情報算出装置１０１により予め算出した光学伝達関数ＯＴＦを画像回復情報保持部１２１に保持しておけば、収差情報算出装置１０１をユーザ（撮影者）に提供する必要はない。またユーザは、ネットワークや各種の記憶媒体を通して係数データなどの画像回復処理に必要な情報をダウンロードして用いることもできる。

次に、図９を参照して、本発明の実施例３における撮像装置について説明する。図９は、本実施例における撮像装置２００のブロック図である。撮像装置２００には、撮影画像の画像回復処理（実施例１と同様の画像処理方法）を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置２００の内部の画像処理部２０４（画像処理装置）により実行される。

撮像装置２００は、撮像光学系２０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系２０１は、ティルト機構を有するとともに、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子２０２は、撮像光学系２０１を介して形成された被写体像（光学像、結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子２０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。

画像処理部２０４（画像処理装置）は、このデジタル信号に対して所定の処理を行うとともに、上述の画像回復処理を行う。画像処理部２０４は、画像取得部２０４ａ、収差情報取得部２０４ｂ、および、画像回復処理部２０４ｃを有する。画像取得部２０４ａおよび画像回復処理部２０４ｃは、実施例２のフィルタ処理部１２３の機能を有する。収差情報取得部２０４ｂは、実施例２の収差情報取得部１２２の機能を有する。

まず画像処理部２０４は、状態検知部２０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り値（Ｆ値）、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部２０７は、システムコントローラ２１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系２０１に関する撮像条件情報は、撮像光学系制御部２０６から取得することもできる。また、状態検知部２０７は、撮像時のティルト情報を取得する。本実施例の画像回復処理の処理フロー（画像処理方法）は、図６を参照して説明した実施例１と同様であるため、その説明は省略する。

光学伝達関数ＯＴＦは、記憶部２０８に保持されている。画像処理部２０４で処理した出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。表示部２０５には、本実施例の画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するように構成してもよい。

本実施例における一連の制御はシステムコントローラ２１０により行われ、撮像光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて撮像光学系制御部２０６により行われる。撮像光学系制御部２０６は、絞り値（Ｆ値）の撮影状態設定として、絞り２０１ａの開口径を制御する。また撮像光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。

撮像光学系２０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数ＯＴＦの特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタに関しても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。この場合、実施例１で説明したように、光学伝達関数ＯＴＦを再配置した後に非回転対称な伝達関数を付加する。

本実施例においては、撮像装置の記憶部２０８に記憶された光学伝達関数ＯＴＦを用いたが、変形例として、例えばメモリーカード等の記憶媒体に記憶された光学伝達関数ＯＴＦを、撮像装置が取得するように構成してもよい。

このように各実施例において、画像処理装置１２０（画像処理部２０４）は、フィルタ処理部１２３（画像取得部２０４ａ、画像回復処理部２０４ｃ）、および、収差情報取得部１２２（２０４ｂ）を有する。フィルタ処理部１２３（画像取得部２０４ａ）は、撮像面ＩＰに対して傾斜（ティルト）した撮像光学系を介した撮像により生成された撮影画像を取得する。収差情報取得部１２２、２０４ｂは、撮像光学系の収差情報（回復ゲイン）を取得する。フィルタ処理部１２３（画像回復処理部２０４ｃ）は、撮像光学系の傾斜情報（ティルト情報）を取得し、収差情報に基づいて撮影画像に対する画像回復処理を行う。またフィルタ処理部１２３（画像回復処理部２０４ｃ）は、傾斜情報に応じて撮影画像の補正量（回復ゲイン、回復量）を設定する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、ティルト撮像により得られた画像に対して、情報量を低減しつつ、弊害を抑制した画像回復処理を行うことが可能な画像処理方法、画像処理装置、撮像装置、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２０ 画像処理装置
１２２ 収差情報取得部
１２３ フィルタ処理部

Claims (13)

1. 撮像面に対して主平面が傾斜している撮像光学系を介した撮像により生成された撮影画像を取得するステップと、
   前記撮像光学系の傾斜情報を取得するステップと、
   前記撮像光学系の収差情報を取得するステップと、
   前記傾斜情報に応じて前記撮影画像の回復ゲインを設定し、前記回復ゲインおよび前記収差情報に基づいて前記撮影画像に対する画像回復処理を行うステップと、を有し、
   前記収差情報は、前記主平面が前記撮像面に対して傾斜していない状態での前記撮像光学系の収差情報であり、
   前記傾斜情報は前記撮像面に対する前記撮像光学系の主平面の傾斜角に関する情報を含み、
   前記傾斜情報の示す前記傾斜角が第１の傾斜角の場合、前記回復ゲインは第１の回復ゲインに設定され、
   前記傾斜情報の示す前記傾斜角が前記第１の傾斜角よりも大きい第２の傾斜角の場合、前記回復ゲインは、前記第１の回復ゲインよりも小さい第２の回復ゲインに設定されることを特徴とする画像処理方法。
2. 前記撮影が行われた際の撮影条件を取得するステップを更に有し、
   前記収差情報は、前記撮影条件に対応する収差情報であることを特徴とする請求項１に記載の画像処理方法。
3. 前記収差情報を取得するステップは、前記撮影画像の中心または前記撮像光学系の光軸を通りかつ該光軸に垂直な一方向に関する収差情報を、前記撮影画像の中心または前記撮像光学系の前記光軸の周りに回転させて展開するステップを含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記収差情報に基づいてフィルタを作成するステップを更に有し、
   前記画像回復処理を行うステップは、前記フィルタを用いた画像回復処理を行うステップを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記画像回復処理を行うステップは、前記傾斜情報および撮影時の絞り値に応じて前記回復ゲインを決定するステップを含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記画像回復処理を行うステップにおいて、
   前記絞り値が第１の絞り値の場合、前記回復ゲインを第５の回復ゲインに設定し、
   前記絞り値が前記第１の絞り値よりも小さい第２の絞り値の場合、前記回復ゲインを、前記第５の回復ゲインよりも小さい第６の回復ゲインに設定することを特徴とする請求項５に記載の画像処理方法。
7. 前記画像回復処理を行うステップにおいて、
   前記絞り値が前記撮像光学系の最小絞り値である場合、前記回復ゲインを第７の回復ゲインに設定し、
   前記絞り値が前記撮像光学系の最小絞り値よりも大きい場合、前記回復ゲインを、前記第７の回復ゲインよりも大きい第８の回復ゲインに設定することを特徴とする請求項５に記載の画像処理方法。
8. 前記画像回復処理を行うステップにおいて、
   前記絞り値が所定のしきい値よりも大きい場合、前記回復ゲインを第９の回復ゲインに設定し、前記絞り値が前記所定のしきい値以下である場合、前記回復ゲインを前記第９の回復ゲインよりも小さい第１０の回復ゲインに設定することを特徴とする請求項５に記載の画像処理方法。
9. 前記収差情報は、前記撮像光学系の光学伝達関数であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
10. 前記収差情報は、前記撮像光学系の点像分布関数であり、
    前記画像回復処理を行うステップは、前記点像分布関数を用いて前記撮影画像に対するアンシャープマスク処理を行うステップを含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
11. 撮像面に対して主平面が傾斜している撮像光学系を介した撮像により生成された撮影画像を取得する画像取得部と、
    前記撮像光学系の収差情報を取得する収差情報取得部と、
    前記撮像光学系の傾斜情報を取得し、前記傾斜情報に応じて前記撮影画像の回復ゲインを設定し、前記回復ゲインおよび前記収差情報に基づいて前記撮影画像に対する画像回復処理を行う画像回復処理部と、を有し、
    前記収差情報は、前記主平面が前記撮像面に対して傾斜していない状態での前記撮像光学系の収差情報であり、
    前記傾斜情報は前記撮像面に対する前記撮像光学系の主平面の傾斜角に関する情報を含み、
    前記傾斜情報の示す前記傾斜角が第１の傾斜角の場合、前記回復ゲインは第１の回復ゲインに設定され、
    前記傾斜情報の示す前記傾斜角が前記第１の傾斜角よりも大きい第２の傾斜角の場合、前記回復ゲインは、前記第１の回復ゲインよりも小さい第２の回復ゲインに設定されることを特徴とする画像処理装置。
12. 撮像光学系を介して形成された光学像を光電変換する撮像素子と、
    請求項１１に記載の画像処理装置と、を有することを特徴とする撮像装置。
13. 撮像面に対して主平面が傾斜している撮像光学系を介した撮像により生成された撮影画像を取得するステップと、
    前記撮像光学系の傾斜情報を取得するステップと、
    前記撮像光学系の収差情報を取得するステップと、
    前記傾斜情報に応じて前記撮影画像の回復ゲインを設定し、前記回復ゲインおよび前記収差情報に基づいて前記撮影画像に対する画像回復処理を行うステップと、をコンピュータに実行させるプログラムであって、
    前記収差情報は、前記主平面が前記撮像面に対して傾斜していない状態での前記撮像光学系の収差情報であり、
    前記傾斜情報は前記撮像面に対する前記撮像光学系の主平面の傾斜角に関する情報を含み、
    前記傾斜情報の示す前記傾斜角が第１の傾斜角の場合、前記回復ゲインは第１の回復ゲインに設定され、
    前記傾斜情報の示す前記傾斜角が前記第１の傾斜角よりも大きい第２の傾斜角の場合、前記回復ゲインは、前記第１の回復ゲインよりも小さい第２の回復ゲインに設定されることを特徴とするプログラム。