JP6537228B2

JP6537228B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Info

Publication number: JP6537228B2
Application number: JP2014138487A
Authority: JP
Inventors: 武史渡邉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-07-04
Filing date: 2014-07-04
Publication date: 2019-07-03
Anticipated expiration: 2034-07-04
Also published as: WO2016002126A1; CN106464808A; EP3164988A1; US20160275656A1; US10026157B2; JP2016019017A; CN106464808B; EP3164988A4

Description

本発明は、撮影画像に対して画像回復処理を行う画像処理装置に関する。

撮影光学系により撮影された被写体は、撮影光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布関数）と呼ぶ。このような撮影光学系の影響により、撮影画像にはＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。

近年、撮影画像を電子データとして保持することが一般的になり、画像処理を利用して撮影光学系による画像劣化を補正する技術が提案されている。撮影光学系による画像劣化を補正するには、撮影光学系の正確なＯＴＦ情報を得る必要がある。ところが、撮像装置で実際に撮影される被写体は、一般的に奥行き方向がある立体的な物体であり、平面物体ではない。特許文献１には、撮影光学系に光学変調部を設け、焦点深度を拡大して画像処理を行う方法が開示されている。特許文献２には、撮影画像の距離マップを取得し、距離に応じた画像処理を行う方法が開示されている。

特開２００８−２６８８６９号公報特開２００９−１５８２８号公報

しかしながら、特許文献１の画像処理方法では、深度拡大を行うために、デフォーカス別の補正データは不必要となるが、前景も背景も同程度に鮮鋭化してしまう。また、特許文献２の画像処理方法では、距離に応じたボケを付加する方法が記載されているが、距離に応じたボケ補正については記載されていない。このため、撮影時における被写体の奥行き方向に由来するピント位置の微小変位を含む高精度な画像回復処理を行うことはできない。

そこで本発明は、少ないデータ量で、撮影画像を高精度に補正可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、第１の光学特性データに関する情報を保持するデータ保持手段と、撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するデータ生成手段と、前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行う回復処理手段とを有し、前記データ生成手段は、前記第１の光学特性データに前記デフォーカス特性データを付加して前記第２の光学特性データを生成し、前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データである。

本発明の他の側面としての撮像装置は、撮影光学系を介して形成された光学像を光電変換して撮影画像を出力する撮像手段と、第１の光学特性データに関する情報を保持するデータ保持手段と、前記撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するデータ生成手段と、前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行う回復処理手段とを有し、前記データ生成手段は、前記第１の光学特性データに前記デフォーカス特性データを付加して前記第２の光学特性データを生成し、前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データである。

本発明の他の側面としての画像処理方法は、データ保持手段に保持された第１の光学特性データに関する情報に基づいて、撮影画像に関する該第１の光学特性データを生成するステップと、前記撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するステップと、前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行うステップとを有し、前記第２の光学特性データは、前記第１の光学特性データに前記デフォーカス特性データを付加することで生成され、前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データである。

本発明の他の側面としての画像処理プログラムは、データ保持手段に保持された第１の光学特性データに関する情報に基づいて、撮影画像に関する該第１の光学特性データを生成するステップと、前記撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するステップと、前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行うステップと、をコンピュータに実行させ、前記第２の光学特性データは、前記第１の光学特性データに前記デフォーカス特性データを付加することで生成され、前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データであるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、少ないデータ量で、撮影画像を高精度に補正可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理装置のブロック図である。実施例１における画像処理方法のフローチャートである。実施例１において、第１の光学特性データ、デフォーカス特性データ、第２の光学特性データ、および、ＰＳＦの一例を示す図である。実施例１における撮影画像データの模式図である。実施例１における第１の光学特性データに関する情報の一例を示す図である。実施例１における画像回復処理のフローチャートである。実施例２における撮像装置のブロック図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、本実施形態における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。

ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。

Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。

しかしながら、実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じたノイズが増幅してしまい、良好な画像を得ることは困難である。

そこで、ノイズ増幅を抑制するための画像回復方法として、以下の式（４）で表されるウィナーフィルタＷ（ｕ，ｖ）を用いることが知られている。

Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）^２＋Γ） … （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ：ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）であり、Γはノイズの増幅量を低減するための定数である。

式（４）を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差により発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。式（４）を効果的に用いるには、撮影光学系の正確なＯＴＦ情報を得る必要がある。ＯＴＦ情報は、例えば、撮影光学系の設計値情報を有する場合にはその情報から算出することができる。またＯＴＦ情報は、点光源を撮影し、その強度分布にフーリエ変換を施すことにより算出することも可能である。

一般的に、撮像装置で実際に撮影される被写体は、奥行き方向を有する立体的な物体であり、平面物体ではない。このような被写体に関しては、ピントが合っている位置と合っていない位置が混在している。式（４）に示されるＯＴＦを使用して撮影画像を補正する画像回復処理を行うには、ＯＴＦ情報が既知である必要がある。このため、ＯＴＦ情報は、予め、画像処理装置の内部に保持しておくことになる。このとき、例えばズームレンズの場合、焦点距離、Ｆ値、撮影距離、および、像高の全ての組み合わせに関するＯＴＦ情報が必要となる。ここで撮影距離とは、撮像素子からピントを合わせた被写体点までの距離である。このように、全てのデータ（ＯＴＦ情報）を撮像装置の内部に保持することは、膨大な記憶容量を必要とし、現実的ではない。そこで本実施形態は、このような問題を解決するため、以下の各実施例のような画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。

まず、図１Ａおよび図１Ｂを参照して、本発明の実施例１における画像処理装置および画像処理方法について説明する。図１Ａは、本実施例における画像処理装置１００のブロック図である。図１Ｂは、本実施例における画像処理方法（画像回復処理）のフローチャートである。

図１Ａに示されるように、本実施例の画像処理装置１００は、データ保持手段１０１、データ生成手段１０２、フィルタ生成手段１０３、回復処理手段１０４、および、デフォーカス決定手段１０５を有する。画像処理装置１００は、カメラなどの撮像装置により撮影された被写体像（撮影画像）を入力するように構成されている。ここで撮影画像（画像データ）は、撮影光学系により劣化した画像である。このため、まず図１ＢのステップＳ１０１において、画像処理装置１００は、撮影画像に対して画像回復処理を開始する。

続いてステップＳ１０２において、データ生成手段１０２は、撮影データに関する光学特性データ（第１の光学特性データ）を生成する。撮影画像データには、撮影時のパラメータである焦点距離、Ｆ値（絞り値）、撮影距離、および像高などの撮影条件（撮影条件情報）が付加されている。また本実施例において、データ保持手段１０１（光学特性データ記憶部）は、撮影光学系に固有の光学特性データ（第１の光学特性データ）に関する情報を保持している。このためデータ生成手段１０２は、撮影画像データ、および、データ保持手段１０１に保持された光学特性データに関する情報に基づいて、撮影条件（焦点距離、Ｆ値、撮影距離、および、像高など）に対応する光学特性データ（第１の光学特性データ）を生成する。ここで、撮影画像の撮影条件に一致する光学特性データに関する情報が存在しない場合、データ生成手段１０２は、撮影条件に近い条件の光学特性データに関する情報に基づいて、画像回復処理に用いるための光学特性データ（第１の光学特性データ）を生成する。本実施例において、ステップＳ１０２にて生成される光学特性データ（第１の光学特性データ）は、撮影光学系および撮影条件に応じて決定される収差データ（波面収差）である。また好ましくは、第１の光学特性データは、ピント面（合焦面）における収差データである。

続いてステップＳ１０３において、データ生成手段１０２は、撮影画像に関する第１の光学特性データ（ステップＳ１０２にて生成された光学特性データ）およびデフォーカス特性データに基づいて、第２の光学特性データを生成する。より具体的には、データ生成手段１０２は、第１の光学特性データにデフォーカス特性データを付加して第２の光学特性データ（デフォーカス特性付加済み光学特性データ）を生成する。デフォーカス特性データは、デフォーカス量に応じて決定される収差データ（波面収差）である。

デフォーカス決定手段１０５は、デフォーカス特性データを決定する。好ましくは、デフォーカス決定手段１０５は、撮影画像のデフォーカス量に基づいてデフォーカス特性データを決定する。より好ましくは、デフォーカス決定手段１０５は、撮影画像の距離マップ（距離情報）に基づいて決定されたデフォーカス量に基づいて、デフォーカス特性データを決定する。また本実施例において、デフォーカス特性データ（デフォーカス特性の量）は、ユーザにより調整するようにしてもよい。この場合、デフォーカス決定手段１０５は、ユーザの指示に基づいてデフォーカス特性データを決定（変更）する。

続いてステップＳ１０４において、フィルタ生成手段１０３は、ステップＳ１０３にて生成された第２の光学特性データ（デフォーカス特性付加済み光学特性データ）を用いて、画像回復フィルタを生成する。好ましくは、フィルタ生成手段１０３は、第２の光学特性データを用いて、撮影画像に適用する画像回復フィルタを撮影画像における像高ごとに生成する。

続いてステップＳ１０５において、回復処理手段１０４は、ステップＳ１０４にて生成された画像回復フィルタを用いて、撮影画像の回復処理を行う。すなわち回復処理手段１０４は、ステップＳ１０３にて生成された第２の光学特性データ（デフォーカス特性付加済み光学特性データ）に基づいて、撮影画像の回復処理を行う。本実施例の画像回復処理においては、例えばウィナーフィルタが用いられるが、これに限定されるものではない。そしてステップＳ１０６において、画像処理装置１００は、回復処理後の画像（補正画像）を出力する。

次に、図２を参照して、本実施例における撮影光学系の光学特性データ（第１の光学特性データ）、デフォーカス特性データ、デフォーカス特性付加済み光学特性データ（第２の光学特性データ）、および、ＰＳＦについて説明する。図２（ａ）は、第１の光学特性データ、デフォーカス特性データ、第２の光学特性データ、および、ＰＳＦの一例を示す図である。図２（ｂ）は、撮影光学系のピント面の説明図である。

画像処理装置１００の内部に設けられたデータ保持手段１０１（光学特性データ記憶部）は、撮影光学系の様々な撮影条件における各像高位置に対応する波面収差情報（第１の光学特性データに関する情報）を保持している。波面収差（収差データ）は、算出する際の参照球面中心位置でそのプロファイルが異なる。このため本実施例では、像高ごとの参照球面中心位置を、図２（ｂ）中の（２）として示される撮影光学系のピント面上の点として算出する。図２（ｂ）において、２０１は撮影光学系、２０２は撮像面（撮像素子）である。

第１の光学特性データ（または、第１の光学特性データに関する情報）は、前述の方法により算出された波面収差である。本実施例では、第１の光学特性データに対して、例えば画像処理装置１００のユーザがデフォーカス量を任意に決定して付加し、デフォーカス特性付加済み光学特性データ（第２の光学特性データ）を生成する。なお、本実施例におけるデフォーカス特性データは波面収差（収差データ）である。

次に、図３を参照して、本実施例におけるデフォーカス特性（デフォーカス特性データ）について詳述する。図３は、撮影画像データの模式図である。図３（ａ）は、撮影画像の全体（全画素）に一律の量のデフォーカス特性を付加する際の処理を示す図である。図３中の各格子３０１は、撮影画像データの各画素を示している。各画素に与えるデフォーカス特性の量は、例えば、画像処理装置１００のユーザが任意に決定することが可能である。

図３（ｂ）は、撮影画像の一部に一律の量のデフォーカス特性を付加する際の処理を示す図である。図３（ｂ）の格子３０１において、太線で示される格子３０２は、デフォーカス特性を付加する領域（画素）を示している。デフォーカス特性の量は、例えば画像処理装置１００のユーザが任意に決定することが可能である。

図３（ｃ）は、画像処理装置１００のデフォーカス決定手段１０５が撮影画像の距離情報を取得している場合の処理を示している。このときデフォーカス決定手段１０５は、撮影画像の距離情報に応じたデフォーカス量（デフォーカス特性）を自動的に決定する。そして画像処理装置１００のデータ生成手段１０２は、デフォーカス決定手段１０５により決定されたデフォーカス特性（デフォーカス特性データ）を生成し、それを光学特性データ（第１の光学特性データ）に付加する。図３（ｃ）において、格子３０１の内部の数字（−５〜＋５）は、ピント位置を基準とした場合の距離情報を示している。デフォーカス決定手段１０５は、各距離情報に基づいてデフォーカス量を算出することにより、距離情報に応じたデフォーカス特性を生成することが可能である。

本実施例の画像回復処理では、対象となる被写体の劣化が大きく光学伝達関数（ＯＴＦ）の情報の大部分が失われてしまうと、撮影画像の劣化を補正して得られる効果よりも、ノイズ増幅やリンギングが発生するなどの弊害による画像劣化が大きくなる。このため、光学特性データにデフォーカス特性を付加したデフォーカス特性付加済み光学特性データは、波面収差ＲＭＳが０．５λ以下の範囲内となるように設定されることが好ましい。

また、本実施例の画像回復処理では、撮像素子のナイキスト周波数の２分の１以上にＯＴＦの周波数応答がある場合、補正効果が顕著に現れる。このため、より好ましくは、デフォーカス特性付加済み光学特性データは、波面収差ＲＭＳが０．３λ以下の範囲内となるように設定される。すなわち、第１の光学特性データとデフォーカス特性データとの和（第２の光学特性データ）の波面収差ＲＭＳが０．５λ以下または０．３λ以下の範囲内の領域において、デフォーカス特性を付加することが好ましい。光学特性が良好で収差が小さい場合、付加可能なデフォーカス特性の量は大きくなる。

次に、図４を参照して、画像処理装置１００のデータ保持手段１０１に保持されている光学特性データ（第１の光学特性データ）に関する情報について説明する。図４は、光学特性データに関する情報の一例を示す図である。

光学特性データは、撮影光学系の焦点距離、Ｆ値（絞り値）、および、撮影距離の組み合わせに関し、撮影画像データの像高ごとに互いに異なる特性を有する。このため図４（ａ）に示されるように、データ保持手段１０１において、焦点距離、Ｆ値、および、撮影距離の組み合わせに関し、撮影画像データの内部を複数の格子４０１で分割し、光学特性データに関する情報を離散的に保持する方法がある。

また、他の方法として、図４（ｂ）に示されるように、撮影画像データの中心に位置する撮影光学系の光軸上から最軸外点までの情報を分割して保持する方法がある。この場合、残りの処理に必要なイメージサークル内の座標点上の光学特性データを補間生成する。本実施例では、ＰＣのスペックや撮像装置のメモリ量などを考慮して、より適切な方法を用いることが好ましい。また本実施例では、図４に示される方法以外の方法を用いてもよい。

本実施例の画像処理装置１００は、撮影画像データに対して、デフォーカス特性付加済み光学特性データを用いて画像回復処理を施す。これにより、撮影画像データを高精度に補正（画像回復）することができる。本実施例によれば、光学特性データをデフォーカス位置ごとに予め保持しておく必要がなく、必要な記憶容量を数メガ〜数十メガバイト程度のデータ量に低減することが可能となる。

次に、図５を参照して、本実施例における画像回復処理の具体的手順について説明する。図５は、画像回復処理のフローチャートである。図５は、デフォーカス特性付加済み光学特性データを生成した後から画像回復処理によって撮影画像が補正されて出力されるまでの手順を示し、図１のステップＳ１０３〜Ｓ１０６に相当する。

まずステップＳ５０１において、データ生成手段１０２は、デフォーカス特性付加済み光学特性データ（第２の光学特性データＷ（ξ，η））を生成する。続いてステップＳ５０２において、データ生成手段１０２は、第２の光学特性データＷ（ξ，η）に関し、瞳関数Ｇ（ξ，η）＝ｅｘｐ｛ｉ＊Ｗ（ξ，η）｝を取得する。そして画像処理装置１００（データ生成手段１０２またはフィルタ生成手段１０３）は、ξ，ηの積分範囲をξ^２＋η^２≦ＮＡ^２としてＧ（ξ，η）の自己相関を計算し、πＮＡ^２で規格化することにより、光学伝達関数（ＯＴＦ）を算出する。ここで、ξ，ηは光学系（撮影光学系）の光線の方向余弦で表した場合の射出瞳座標、ＮＡは光学系の開口数である。また、ＯＴＦを算出するための他の方法として、瞳関数Ｇ（ξ，η）からＰＳＦを経てＯＴＦを算出してもよい。この場合、瞳関数Ｇ（ξ，η）をフーリエ変換して点像振幅分布を計算し、点像振幅分布の絶対値の２乗を計算してＰＳＦを算出し、さらにＰＳＦをフーリエ変換することでＯＴＦが算出される。

ステップＳ５０２にて得られたＯＴＦは、所謂、光学空中像のＰＳＦの周波数応答であり、光学的な遮断周波数λ／（２ＮＡ）までの周波数帯域での周波数応答である。このため画像回復処理において、ＯＴＦをデジタル撮影画像に適用するには、撮像素子の大きさ（センササイズ）による周波数帯域にサンプリングする（撮像素子のナイキスト周波数までの帯域変換を行う）ことが必要である。また、実際の撮像素子の各画素は、入力された光強度分布に対して、その平均的な値しか返さないため、撮像素子の画素の特性をＯＴＦに加味することが好ましい。また、撮像素子の前に光学ローパスフィルタなどが挿入されている場合、その特性をＯＴＦに加味することが好ましい。

続いてステップＳ５０３において、フィルタ生成手段１０３は、種々の条件（撮影条件）により得られたＯＴＦを用いて、撮影画像の劣化を補正するための画像回復フィルタ（周波数空間画像回復フィルタ）を設計する。画像回復フィルタとしては、ウィナーフィルタやそれを変形したものを用いることができる。このように本実施例において、好ましくは、フィルタ生成手段１０３は、第２の光学特性データに基づいて光学伝達関数（ＯＴＦ）を算出し、算出された光学伝達関数に対して、撮像素子のナイキスト周波数までの帯域変換を行う。そしてフィルタ生成手段１０３は、帯域変換後の光学伝達関数に基づいて画像回復フィルタを生成する。一般的な撮影光学系は、光学特性が位置に関して不変であるシフトインバリアントな領域が狭く、式（１）はこの狭い領域においてのみ成立する。そこで、撮影画像データの像高位置に応じて異なる画像回復フィルタを適用する必要がある。

このためステップＳ５０４において、フィルタ生成手段１０３は、ステップＳ５０３にて決定された周波数空間画像回復フィルタを、実空間画像回復フィルタに周波数変換する。続いてステップＳ５０５において、フィルタ生成手段１０３は、撮影画像（画像回復処理対象画像）に対して、ステップＳ５０４にて決定された実空間画像回復フィルタの畳み込み処理を行う。本実施例では、計算時間上、撮影画像の像高位置に応じて実空間画像回復フィルタを切り替えて処理することが好ましい。このため、フィルタ生成手段１０３は、ＯＴＦに基づいて、周波数空間上で設計した周波数空間画像回復フィルタを、実空間画像回復フィルタに周波数変換して用いる。そしてステップＳ５０６において、画像処理装置１００は、画像回復処理により補正された画像回復処理済みの画像（補正画像）を出力する。

次に、図６を参照して、本発明の実施例２における撮像装置について説明する。図６は、本実施例における撮像装置６００のブロック図である。撮像装置６００は、図１を参照して説明した実施例１の画像処理方法を実行可能な画像処理部６０４（画像処理装置）を備えている。

撮像装置６００において、被写体（不図示）は、絞り６０１ａ（または遮光部材）およびフォーカスレンズ６０１ｂを含む撮影光学系６０１を介して撮像素子６０２に結像する。絞り値（Ｆ値）は、絞り６０１ａまたは遮光部材により決定される。撮像素子６０２は、撮影光学系６０１を介して形成された被写体像（光学像）を光電変換して画像（撮影画像）を出力する。撮像素子６０２から出力された電気信号は、Ａ／Ｄ変換器６０３に出力される。Ａ／Ｄ変換器６０３は、撮像素子６０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像データ）を画像処理部６０４に出力する。なお、撮像素子６０２およびＡ／Ｄ変換器６０３により撮像手段が構成される。

画像処理部６０４は、実施例１の画像処理装置１００に相当し、撮影画像の画像回復処理を行い、補正画像（回復画像）を出力する。記憶部６０８（データ保持手段）は、撮影光学系６０１の光学特性データ（第１の光学特性データに関する情報）を、焦点距離、Ｆ値、撮影距離、および、像高の組み合わせごとに保持している。ただし、実施例１と同様に、データ保持手段を画像処理部６０４の内部に設けてもよい。

撮像手段（撮像素子６０２、Ａ／Ｄ変換器６０３）は、撮影光学系６０１を介して形成された光学像を電気信号に変換して、撮影画像を出力する。このとき、撮影光学系制御部６０６および状態検知部６０７は、撮影時における焦点距離、Ｆ値、および、撮影距離などの撮影条件を取得する。画像処理部６０４は、取得した撮影条件に対応する光学特性データ（第１の光学特性データ）を生成し、第１の光学特性データにデフォーカス特性を付加した光学特性データ（第２の光学特性データ）を生成する。そして画像処理部６０４は、第２の光学特性データに基づいて生成された画像回復フィルタを用いて、撮影画像に画像回復処理を施し、回復画像（補正画像）を出力する。

画像処理部６０４で処理された出力画像（回復画像）は、画像記録媒体６０９に所定のフォーマットで記録される。表示部６０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。また表示部６０５は、高速表示のために簡易的な処理を行った画像を表示してもよい。また表示部６０５は、ユーザが画像回復モードまたは通常撮影モードを選択するためのＧＵＩを表示する。表示部６０５のＧＵＩを介して、ユーザにより画像回復モードが選択されると、システムコントローラ６１０は、図１を参照して説明した画像処理方法を実行するように画像処理部６０４を制御する。システムコントローラ６１０は、ＣＰＵやＭＰＵなどにより構成され、撮像装置全体の制御を司る。

なお本実施例において、撮影光学系６０１（レンズ装置）は、撮像装置６００（撮像装置本体）と一体的に構成されているが、これに限定されるものではない。撮影光学系６０１は、一眼レフカメラなどの撮像装置本体に対して着脱可能に構成された交換レンズであってもよい。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能な画像処理プログラムおよびそのプログラムを記憶した記憶媒体（図６の記憶媒体６１１）は本発明を構成する。

各実施例の画像処理装置によれば、デフォーカス毎の補正に用いる光学特性データを保持することなく、光学特性データを演算により生成することが可能となる。このため各実施例によれば、少ないデータ量で、撮影画像のピント位置の微小変位を含む劣化画像（撮影画像）を高精度に補正可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００画像処理装置
１０１データ保持手段
１０２データ生成手段
１０４回復処理手段

Claims

第１の光学特性データに関する情報を保持するデータ保持手段と、
撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するデータ生成手段と、
前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行う回復処理手段と、を有し、
前記データ生成手段は、前記第１の光学特性データに前記デフォーカス特性データを付加して前記第２の光学特性データを生成し、
前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、
前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データであることを特徴とする画像処理装置。
前記第１の光学特性データは、ピント面における収差データであることを特徴とする請求項１に記載の画像処理装置。
前記デフォーカス特性データを決定するデフォーカス決定手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
前記デフォーカス決定手段は、前記撮影画像のデフォーカス量に基づいて前記デフォーカス特性データを決定することを特徴とする請求項３に記載の画像処理装置。
前記デフォーカス決定手段は、前記撮影画像の距離情報により決定された前記デフォーカス量に基づいて、前記デフォーカス特性データを決定することを特徴とする請求項４に記載の画像処理装置。
前記デフォーカス決定手段は、ユーザの指示に基づいて前記デフォーカス特性データを決定することを特徴とする請求項３に記載の画像処理装置。
前記第２の光学特性データを用いて画像回復フィルタを生成するフィルタ生成手段を更に有し、
前記回復処理手段は、前記画像回復フィルタを用いて前記撮影画像の前記回復処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記フィルタ生成手段は、
前記第２の光学特性データに基づいて光学伝達関数を算出し、
算出された前記光学伝達関数に対して、撮像素子のナイキスト周波数までの帯域変換を行い、
帯域変換後の光学伝達関数に基づいて、前記画像回復フィルタを生成する、ことを特徴とする請求項７に記載の画像処理装置。
撮影光学系を介して形成された光学像を光電変換して撮影画像を出力する撮像手段と、第１の光学特性データに関する情報を保持するデータ保持手段と、
前記撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するデータ生成手段と、
前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行う回復処理手段と、を有し、
前記データ生成手段は、前記第１の光学特性データに前記デフォーカス特性データを付加して前記第２の光学特性データを生成し、
前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、
前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データであることを特徴とする撮像装置。
データ保持手段に保持された第１の光学特性データに関する情報に基づいて、撮影画像に関する該第１の光学特性データを生成するステップと、
前記撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するステップと、
前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行うステップと、を有し、
前記第２の光学特性データは、前記第１の光学特性データに前記デフォーカス特性データを付加することで生成され、
前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、
前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データであることを特徴とする画像処理方法。
データ保持手段に保持された第１の光学特性データに関する情報に基づいて、撮影画像に関する該第１の光学特性データを生成するステップと、
前記撮影画像に関する前記第１の光学特性データおよびデフォーカス特性データに基づいて、予め記憶されたデータではない第２の光学特性データを生成するステップと、
前記第２の光学特性データに基づいて、前記撮影画像の回復処理を行うステップと、をコンピュータに実行させ、
前記第２の光学特性データは、前記第１の光学特性データに前記デフォーカス特性データを付加することで生成され、
前記第１の光学特性データは、撮影光学系および撮影条件に応じて決定される収差データであり、
前記デフォーカス特性データは、デフォーカス量に応じて決定される収差データであるように構成されていることを特徴とする画像処理プログラム。
請求項１１に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。