JP7337555B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理装置に関する。

撮像装置で被写体を撮像して画像を得る際、撮像光学系の収差などに起因して画像が劣化してぼける。従来、このような劣化画像に対して画像回復フィルタを用いて画質を向上させる方法が知られている。しかし、画像はノイズ成分を含むため、単純に画像回復フィルタを用いるだけでは画像のノイズ成分が増幅され、良好な画像を得ることができない。そこで、ノイズ成分の増幅を抑えるため、例えば、ウィーナフィルタのように画像とノイズ成分との強度比に基づいて画像における高周波成分の回復率を抑制する方法が知られている。

特許文献１には、画像を高周波成分と低周波成分とに周波数帯域分解し、それぞれの周波数帯域に対して異なる回復率の回復フィルタを適用することで、周波数帯域ごとに回復率を制御する方法が開示されている。特許文献２には、画像回復後のＰＳＦに微小な広がりを設定して画像回復処理を行う方法が開示されている。

特開２０１２－１２８５２９号公報 特開２００６－２３８０３２号公報

しかしながら、ＩＳＯ感度によって撮影画像に含まれるノイズの振幅は異なる。このため、等しいゲイン量でもＩＳＯ感度に応じて画像回復処理の際におけるノイズ増幅量は異なる。従って、特許文献１に開示された方法では、ＩＳＯ感度ごとに画像回復フィルタを再設計または保持する必要がある。特許文献２に開示された方法では、周波数帯域ごとに回復ゲインを制御するため、画像回復後のＰＳＦに微小な広がりを持たせる回復フィルタを、回復ゲインを変化させる度に再設計または保持する必要がある。

そこで本発明は、低処理負荷で、ノイズの増加を抑制して良好な画像を得ることが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、撮像光学系の特性に基づいて生成されたフィルタを用いて、前記撮像光学系を介して取得された第１の画像データを補正して第２の画像データを生成する補正手段と、前記第１の画像データおよび前記第２の画像データのそれぞれを第１の周波数成分と第２の周波数成分とに分解する分解手段と、前記第１の画像データの前記第１の周波数成分と前記第２の画像データの前記第１の周波数成分とを合成する合成手段と、前記合成手段により合成された前記第１の周波数成分と、前記第２の画像データの前記第２の周波数成分と、を含む周波数成分に基づいて、第３の画像データを生成する生成手段とを有する。

本発明の別の一側面としての画像処理装置は、撮像光学系の特性に基づいて生成されたフィルタを用いて、前記撮像光学系を介して取得された第１の画像データを補正して第２の画像データを生成する補正手段と、前記第１の画像データおよび前記第２の画像データのそれぞれを複数の周波数成分に分解する分解手段と、それぞれの周波数成分において、前記第１の画像データの周波数成分と前記第２の画像データの周波数成分を合成する合成手段と、前記合成手段により合成された周波数成分に基づいて、第３の画像データを生成する生成手段と、を有し、前記複数の周波数成分は、第１の周波数成分と、前記第１の周波数成分よりも低い周波数成分である第２の周波数成分を含み、前記合成手段は、前記第１の画像データの前記第１の周波数成分に対する前記第２の画像データの前記第１の周波数成分の比率よりも、前記第１の画像データの前記第２の周波数成分に対する前記第２の画像データの前記第２の周波数成分の比率のほうが大きくなるように、前記第１の画像データの周波数成分と前記第２の画像データの周波数成分を合成する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、低処理負荷で、ノイズの増加を抑制して良好な画像を得ることが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置のブロック図である。 第１の実施形態における画像回復処理部のブロック図である。 各実施形態における合成部のブロック図である。 各実施形態における合成部の説明図である。 第１の実施形態における撮像光学系の周波数応答の例である。 第１の実施形態における撮像光学系の周波数応答の例である。 第１の実施形態における係数βの決定方法の説明図である。 第２の実施形態における画像回復処理部のブロック図である。 第２の実施形態における係数αの決定方法の説明図である。 第２の実施形態におけるＩＳＯ感度に応じた係数αの決定方法の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

一般に、デジタルカメラなどの撮像装置で被写体を撮像して画像を得る際、撮像光学系の収差などに起因して画像が少なからず劣化する（つまり、画像が劣化してぼける）。画像に生じるぼけ成分は、一般に撮像光学系の球面収差、コマ収差、像面湾曲、および非点収差などが原因となって発生する。無収差で回折の影響もない状態においては、被写体の一点からの光束が撮像素子の撮像面上で再度一点に集まる。一方、上記の収差が存在すると、撮像面上で再度一点に結像すべき光が広がって結像することになって画像にぼけ成分が発生する。

画像に生じるぼけ成分は、光学的には点像分布関数（ＰＳＦ）によって規定される。なお、例えば、ピントがずれた画像もぼけているが、ここでは、ピントが合っていても撮像光学系の収差に起因する画像のぼけを「ぼけ」というものとする。

ところで、上記のＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分であって、複素数で表される。ＯＴＦの絶対値、つまり、振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。

振幅成分ＭＴＦおよび位相成分ＰＴＦは、それぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。位相成分ＰＴＦは、位相角として、以下の式（１）のように表される。なお式（１）において、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）は、ＯＴＦの実部および虚部をそれぞれ表す。

ＰＴＦ＝ｔａｎ^－１｛Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）｝ ・・・（１）
撮像光学系におけるＯＴＦは、画像の振幅成分および位相成分に劣化を与える。このため劣化画像は、被写体の各点がコマ収差のように非対称にぼけた状態となる。倍率色収差は、光の波長ごとの結像倍率の相違によって結像位置がずれ、分光特性に応じて、例えばＲＧＢの色成分として取得すると倍率色収差が発生する。これにより、ＲＧＢ成分間において結像位置のずれが生じるだけでなく、各色成分においても波長ごとに結像位置がずれる。すなわち、位相ずれによる像の広がりが発生する。正確には倍率色収差は単なる平行シフトの色ズレではないが、特に、記載がない限り色ズレを倍率色収差と同意義なものとして説明する。

振幅成分ＭＴＦの劣化および位相成分ＰＴＦの劣化を補正する方法として、例えば、撮像光学系のＯＴＦを用いて補正を行う方法が知られている。この方法は、画像回復または画像復元と呼ばれている。以下の説明では、撮像光学系のＯＴＦを用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と呼ぶ。

ここで、画像回復処理の概要について説明する。劣化画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換して得られるＰＳＦをｈ（ｘ，ｙ）とする。このとき、以下の式（２）が成り立つ。式（２）において、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（２）
式（２）をフーリエ変換して、周波数における形式に変換すると、以下の式（３）で表されるように周波数ごとの積の形になる。なお式（３）において、ＨはＰＳＦをフーリエ変換したものであり、ＯＴＦである。（ｕ，ｖ）は２次元周波数面における座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（３）
撮影によって得られた劣化画像から元の画像を得るには、以下の式（４）で表されるように両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（４）
式（４）におけるＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻ることにより、元の画像ｆ（ｘ，ｙ）が回復画像として得られる。

ここで、式（４）における１／Ｈを逆フーリエ変換したものをＲとする。このとき以下の式（５）で表されるように、実面において画像についてコンボリューション処理を行うことにより、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（５）
式（５）におけるＲ（ｘ，ｙ）は、画像回復フィルタと呼ばれる。実際の画像はノイズ成分を含む。このため、前述のようにＯＴＦの逆数によって生成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅され、良好な画像は得られない。そこで以下の各実施形態では、低処理負荷で、ノイズの増加を抑制して良好な画像を得るための画像処理装置について説明する。

（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態における撮像装置の構成について説明する。図１は、撮像装置１００のブロック図である。撮像装置１００は、ウェーブレット変換を用いて周波数分解を行う。

撮像光学系（レンズユニット）１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを有する。撮像光学系１０１は、不図示の被写体の像を形成する。撮像素子１０２は、ＣＭＯＳセンサやＣＣＤセンサを有し、撮像光学系１０１を介して形成された被写体の像（光学像）を光電変換して画像データ（電気信号）を出力する。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力された電気信号（アナログ信号）をデジタル信号に変換し、画像処理部（画像処理装置）１０４へ出力する。

画像処理部（画像処理装置）１０４は、画像回復処理部１１１および処理部１１２を有する。画像回復処理部１１１は、画像回復処理を行って回復画像を生成する。処理部１１２は、画像補間処理などの所定の処理を行う。画像回復処理部１１１の出力画像は各画素で全ての色成分が揃っていない所謂歯抜け状態である。このため処理部１１２は、回復画像に対して画素補間処理を行う。

画像処理部１０４は、まず、状態検知部１０７から撮像装置１００の撮像状態（撮像状態情報）を得る。状態検知部１０７は、システムコントローラ１１０から直接、撮像状態情報を得ることができる。または画像処理部１０４は、例えば、撮像光学系１０１に関する撮像状態情報を、撮像光学系制御部１０６から得ることもできる。次に、画像回復処理部１１１は、撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理を行う。記憶部１０８で保持するデータは、画像回復フィルタそのものでなくてもよく、例えば、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報でもよい。この場合、画像回復処理部１１１は、撮像状態に応じた光学伝達関数（ＯＴＦ）に関する情報を記憶部１０８から選択し、撮像状態に応じた画像回復フィルタ（すなわちＯＴＦに基づく画像回復フィルタ）を生成する。そして画像回復処理部１１１は、画像処理部１０４に入力された画像に対して画像回復処理を行う。

画像記録媒体１０９は、画像処理部１０４で処理された出力画像を所定のフォーマットで保存する。表示部１０５は、画像回復処理後の画像に表示用の所定の処理を行った画像を表示してもよく、画像回復処理を行わない、または簡易的な回復処理を行った画像を表示してもよい。システムコントローラ１１０は、一連の制御を行う。撮像光学系制御部１０６は、システムコントローラ１１０の指示に基づいて、撮像光学系１０１の機械的な駆動を行う。

絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系１０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れてもよい。ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため画像回復フィルタを作成する時点での考慮が必要になる場合がある。

なお本実施形態において、撮像光学系１０１は撮像装置１００の一部として、撮像装置本体と一体的に構成されているが、本発明はこれに限定されるものではない。本発明は、一眼レフカメラのように、撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えた撮像システムにも適用可能である。

次に、図２を参照して、本実施形態における画像回復処理部１１１の構成について説明する。図２は、画像回復処理部１１１のブロック図である。画像回復処理部１１１は、回復フィルタ適用部（補正手段）２０１、ウェーブレット変換部（分解手段）２０２ａ、２０２ｂ、合成部（合成手段）２０３、および、ウェーブレット逆変換部（生成手段）２０４を有する。

回復フィルタ適用部２０１は、画像回復処理部１１１への入力画像に対して、画像回復フィルタを適用して回復画像を生成する。すなわち回復フィルタ適用部２０１は、画像回復フィルタを用いて、撮像光学系１０１を介して取得された第１の画像データ（撮影画像、入力画像）を補正して第２の画像データ（回復画像）を生成する。ここで、画像回復フィルタは、撮像光学系１０１の特性に基づいて生成されたフィルタである。

ウェーブレット変換部２０２ａは、入力画像に対してウェーブレット変換を行うことにより、入力画像の周波数分解を行う。ウェーブレット変換部２０２ｂは、入力画像に画像回復フィルタを適用して生成された回復画像に対してウェーブレット変換を行うことにより、回復画像の周波数分解を行う。すなわちウェーブレット変換部２０２ａ、２０２ｂは、第１の画像データおよび第２の画像データのそれぞれを第１の周波数成分（高周波帯域）と第２の周波数成分（低周波帯域）とを含む複数の周波数成分に分解する。ウェーブレット変換部２０２ａ、２０２ｂのそれぞれのウェーブレット変換値（周波数成分）は、合成部２０３へ出力される。

合成部２０３は、ウェーブレット変換部２０２ａから出力された周波数成分とウェーブレット変換部２０２ｂから出力された周波数成分とを合成し、合成ウェーブレット変換値を出力する。すなわち合成部２０３は、第１の画像データの第１の周波数成分と第２の画像データの第１の周波数成分とを合成する。

ウェーブレット逆変換部２０４は、合成ウェーブレット変換値に対してウェーブレット逆変換を行い、出力画像を生成する。すなわちウェーブレット逆変換部２０４は、合成部２０３により合成された第１の周波数成分と、第２の画像データの第２の周波数成分とを含む複数の周波数成分に基づいて、第３の画像データ（出力画像）を生成する。

次に、図３および図４を参照して、本実施形態の合成部２０３による画像合成処理について説明する。図３は、合成部２０３のブロック図である。図４は、合成部２０３の説明図である。図３に示されるように、合成部２０３は、高周波帯域合成部３０１および帯域合成部３０２を有する。高周波帯域合成部３０１は、画像処理部１０４への入力画像（非回復画像）と入力画像に回復フィルタを適用した回復画像とをそれぞれウェーブレット変換により周波数分解して得られた高周波成分（高周波帯域）を入力信号とする。

ウェーブレット変換により得られる高周波成分を、図４に示されるように、入力画像に関してはＨＨｉ、ＨＬｉ、ＬＨｉ、回復画像に関してはＨＨｒ、ＨＬｒ、ＬＨｒ、合成後の出力画像に関してはＨＨｏ、ＨＬｏ、ＬＨｏとする。このとき高周波帯域合成部３０１は、以下の式（６）、（７）、（８）に基づいて、入力画像の高周波成分と回復画像の高周波成分とを合成する。

ＨＨｏ＝ＨＨｉ＋α（ＨＨｒ－ＨＨｉ） ・・・（６）
ＨＬｏ＝ＨＬｉ＋α（ＨＬｒ－ＨＬｉ） ・・・（７）
ＬＨｏ＝ＬＨｉ＋α（ＬＨｒ－ＬＨｉ） ・・・（８）
式（６）の右辺第２項のＨＨｒ－ＨＨｉにより、回復前後の変化量、すなわち回復効果量を算出することができる。また、画像回復処理の際のノイズ増加量を考慮して予め決定した係数αを乗算した後、入力画像（回復前画像）に加算することで、画像回復処理における高周波成分での回復効果量を制御することができる。なお、高周波成分がさらに複数の周波数成分に分解されているのであれば、周波数成分ごとに係数αを設定すればよい。

また、ウェーブレット変換により周波数分解した低周波成分を、図４に示されるように、入力画像に関してはＬＬｉ、回復画像に関してはＬＬｒ、合成後の出力画像に関してはＬＬｏとする。このとき帯域合成部３０２は、合成後の低周波成分ＬＬｏとして、以下の式（９）に基づいて、回復画像の低周波成分ＬＬｒを採用する。

ＬＬｏ＝ＬＬｒ ・・・（９）
合成部２０３の帯域合成部３０２は、前述のように合成された高周波数成分と回復画像の低周波成分との帯域合成を行う。その後、ウェーブレット逆変換部２０４は、帯域合成された画像にウェーブレット逆変換を適用することで、周波数成分を画像に再構成した出力画像を生成する。

このように本実施形態では、回復前後の画像を周波数分解し、帯域ごとに合成比率を変化させて回復前後の画像の周波数成分を合成する。これにより、画像回復フィルタを再設計または保持しておくことなく、回復フィルタ適用部２０１で適用する画像回復フィルタを一つ設計または保持しておくのみで、周波数帯域ごとに回復効果量を制御することができる。また本実施形態によれば、画像の高周波帯域での回復効果量を抑制するために低周波帯域での回復効果量まで抑制されることを回避し、高周波帯域でのノイズ増加を抑制しつつ低周波帯域で回復効果を発揮させることが可能となる。

次に、図５乃至図７を参照して、レンズ（撮像光学系１０１）のＭＴＦが高周波帯域での周波数応答が低い場合について説明する。図５および図６は、撮像光学系１０１の周波数応答の例であり、撮像光学系１０１のＭＴＦが高周波帯域での周波数応答が低い場合を示している。図５および図６において、横軸は空間周波数、縦軸はＭＴＦをそれぞれ示している。図７は、係数βの決定方法の説明図である。図７において、横軸はＭＴＦ評価値（Ｍ）、縦軸は係数βをそれぞれ示している。

図５に示されるように高周波帯域において周波数応答が低い場合、画像回復フィルタを適用しても回復効果が得られず、ノイズ増加による画質劣化が回復効果よりも顕著に表れる現象が起こる。そこで本実施形態において、高周波帯域合成部３０１は、合成比率を入力画像の撮影に使用したレンズ（撮像光学系１０１）のＯＴＦ情報に基づいて、以下の式（１０）、（１１）、（１２）のように決定する。

ＨＨｏ＝ＨＨｉ＋αβ（ＨＨｒ－ＨＨｉ） ・・・（１０）
ＨＬｏ＝ＨＬｉ＋αβ（ＨＬｒ－ＨＬｉ） ・・・（１１）
ＬＨｏ＝ＬＨｉ＋αβ（ＬＨｒ－ＬＨｉ） ・・・（１２）
ここで、図６に示されるように、撮像装置１００で用いられる撮像素子１０２のナイキスト周波数（センサーナイキスト周波数）ｆｎの１／２の周波数（ｆｎ／２）におけるレンズのＭＴＦ評価値Ｍに基づいて係数βを決定する。

図７に示されるように、ＭＴＦ評価値Ｍが所定の値ａよりも大きい場合、高周波帯域で十分な周波数応答性を有するため係数βの値を１とし、回復効果量を抑制しない。一方、ＭＴＦ評価値Ｍが所定の値ａよりも小さい場合、高周波帯域で十分な周波数応答性を有しないため係数βの値を０≦β＜１とすることで、回復効果量を抑制する。このように、回復前後画像の合成比率をレンズのＯＴＦに応じて変化させることで、高周波帯域で周波数特性の低いレンズにおいて、画像回復処理の際に回復効果が得られずノイズ増加による画質劣化が顕著に表れる現象を抑制する。

なお本実施形態では、画像の帯域分解手段としてウェーブレット変換を用いて説明したが、本発明における画像の帯域分解手段はウェーブレット変換に限定されるものではない。本発明は、例えば、各種バンドパスフィルタから構成される帯域分割手段にも適用可能である。

また本実施形態では、高周波成分についてのみ入力画像と回復画像を合成しているが、これに限定されるものではなく、全ての周波数成分において、入力画像の周波数成分と回復画像の周波数成分を合成するようにしてもよい。この場合、低周波成分では、高周波成分に比べて、入力画像に対する回復画像の比率が大きくなるように係数αを設定することで、類似する効果を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、画像回復処理部１１１に代えて、画像回復処理部１１１ａを有する点で、第１の実施形態と異なる。なお、本実施形態における撮像装置の基本構成は、図１を参照して説明した第１の実施形態の撮像装置１００と同様であるため、その説明は省略する。

まず、図８を参照して、本実施形態における画像回復処理部１１１ａの構成について説明する。図８は、画像回復処理部１１１ａのブロック図である。画像回復処理部１１１ａは、合成比率決定部（決定手段）２０５を有する点で、第１の実施形態の画像回復処理部１１１と異なる。合成比率決定部２０５は、入力画像（第１の画像データ）の高周波成分（第１の周波数成分）と回復画像（第２の画像データ）の高周波成分（第１の周波数成分）との合成比率を決定する。なお、画像回復処理部１１１ａの他の構成は第１の実施形態における画像回復処理部１１１と同様であるため、その説明は省略する。

ウェーブレット変換部２０２ａから出力されたウェーブレット変換値（第１の周波数成分、すなわち高周波成分）は、合成部２０３および合成比率決定部２０５へ入力される。図９は、合成比率（係数α）の決定方法の説明図である。図９において、横軸は高周波成分の大きさ｜ｗ｜、縦軸は係数αをそれぞれ示している。

図９に示されるように、合成比率決定部２０５は、入力画像（第１の画像データ）を周波数分解した際に得られる高周波成分の大きさ｜ｗ｜に応じて、合成部（画像合成部）２０３での高周波成分の合成比率（係数α）を決定する。画像を周波数分解した際に高周波成分に含まれる画像の成分は、コントラストの高いエッジ領域やノイズが挙げられる。そのようなエッジやノイズを含む高周波成分のうち、大きさの大きいものは周辺画素との輝度勾配が大きいようなエッジ強度の強いエッジである。一方、画像に含まれるホワイトノイズのようなランダムノイズの大きさは前述したエッジ強度の強いエッジの大きさと比較して小さい値をとる。

したがって、図９に示されるように、画像の高周波成分の大きさ｜ｗ｜に応じて、所定の値ｎよりも大きい値を有する周波数成分はエッジであると判定し、係数αを１とする。また、所定の値ｎよりも小さい値を有する周波数成分はノイズを含んでいると判定し、係数αを０≦α＜１の範囲とすることで、回復効果量を抑制し画像回復処理時の回復フィルタ適用によるノイズ増加を抑制する。

また、一般的に撮影画像に含まれるノイズ振幅は撮影の際のＩＳＯ感度に比例して大きくなる。そこで図１０に示されるように、入力画像の撮影条件としてＩＳＯ感度に応じて周波数成分の振幅に適用するしきい値を変化させる。図１０は、ＩＳＯ感度に応じた合成比率（係数α）の決定方法の説明図である。図１０において、図９において、横軸は高周波成分の大きさ｜ｗ｜、縦軸は係数αをそれぞれ示している。

これにより、ＩＳＯ感度に応じて変化するノイズ振幅に応じて入力画像と回復画像の高周波成分の合成比率（係数α）を変化させることができる。このため、ノイズ以外の高周波成分に対して適用されるゲイン量を抑制せず、ノイズを含む高周波成分に対して適用されるゲイン量を抑制することが可能となる。

このように決定した係数αと入力画像の高周波成分と入力画像に画像回復処理を適用した回復画像の高周波成分とを合成部２０３へ入力する。そして合成部２０３の高周波帯域合成部３０１は、式（６）、（７）、（８）に基づいて合成処理を施す。このため本実施形態によれば、高周波成分のうち、ノイズを含む領域に対しては回復効果量を抑制し、それ以外のエッジ領域に対しては回復効果量を抑制することなく画像回復処理を適用することが可能となる。

次に、帯域合成部３０２は、前述のように入力画像と回復画像を周波数分解して合成した高周波成分と回復画像の低周波成分とを帯域合成する。次に、ウェーブレット逆変換部２０４は、合成部２０３で入力画像と回復画像とを合成した周波数成分に対してウェーブレット逆変換を適用し画像の再構成を行い、出力画像を生成（取得）する。このようにして取得された出力画像は、入力画像のエッジ強度により回復効果量を制御している。このため、高周波帯域の回復効果を発揮しつつノイズ増加を抑制した画像回復処理を施すことができる。その結果、同周波数帯域に対し一律に回復効果量を制御している従来技術と比較して、より良好な回復画像を取得することが可能となる。

なお各実施形態では、画像回復フィルタの適用を画像回復処理として扱っているが、これに限定されるものではない。本発明は、例えば、歪曲補正処理や周辺光量補正処理やノイズ低減処理などの別の処理を本実施形態のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、低処理負荷で、ノイズの増加を抑制して良好な画像を得ることが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部（画像処理装置）
２０１ 回復フィルタ適用部（補正手段）
２０２ａ、２０２ｂ ウェーブレット変換部（分解手段）
２０３ 合成部（合成手段）
２０４ ウェーブレット逆変換部（生成手段）

Claims (17)

1. 撮像光学系の特性に基づいて生成されたフィルタを用いて、前記撮像光学系を介して取得された第１の画像データを補正して第２の画像データを生成する補正手段と、
   前記第１の画像データおよび前記第２の画像データのそれぞれを第１の周波数成分と第２の周波数成分とに分解する分解手段と、
   前記第１の画像データの前記第１の周波数成分と前記第２の画像データの前記第１の周波数成分とを合成する合成手段と、
   前記合成手段により合成された前記第１の周波数成分と、前記第２の画像データの前記第２の周波数成分と、を含む周波数成分に基づいて、第３の画像データを生成する生成手段と、を有することを特徴とする画像処理装置。
2. 前記第１の周波数成分は、前記第２の周波数成分よりも高い周波数成分であることを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタは、前記撮像光学系の特性に基づいて生成された画像回復フィルタであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記分解手段は、前記第１の画像データおよび前記第２の画像データのそれぞれに対してウェーブレット変換を行うことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記生成手段は、前記合成手段により合成された前記第１の周波数成分と、前記第２の画像データの前記第２の周波数成分とを含む前記周波数成分に対してウェーブレット逆変換を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の画像データの前記第１の周波数成分と前記第２の画像データの前記第１の周波数成分との合成比率を決定する決定手段を更に有することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記決定手段は、前記第１の画像データの前記第１の周波数成分に基づいて、前記合成比率を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、ＩＳＯ感度に基づいて、前記合成比率を決定することを特徴とする請求項６または７に記載の画像処理装置。
9. 撮像光学系の特性に基づいて生成されたフィルタを用いて、前記撮像光学系を介して取得された第１の画像データを補正して第２の画像データを生成する補正手段と、
   前記第１の画像データおよび前記第２の画像データのそれぞれを複数の周波数成分に分解する分解手段と、
   それぞれの周波数成分において、前記第１の画像データの周波数成分と前記第２の画像データの周波数成分を合成する合成手段と、
   前記合成手段により合成された周波数成分に基づいて、第３の画像データを生成する生成手段と、を有し、
   前記複数の周波数成分は、第１の周波数成分と、前記第１の周波数成分よりも低い周波数成分である第２の周波数成分を含み、
   前記合成手段は、前記第１の画像データの前記第１の周波数成分に対する前記第２の画像データの前記第１の周波数成分の比率よりも、前記第１の画像データの前記第２の周波数成分に対する前記第２の画像データの前記第２の周波数成分の比率のほうが大きくなるように、前記第１の画像データの周波数成分と前記第２の画像データの周波数成分を合成することを特徴とする画像処理装置。
10. 前記フィルタは、前記撮像光学系の特性に基づいて生成された画像回復フィルタであることを特徴とする請求項９に記載の画像処理装置。
11. 前記分解手段は、前記第１の画像データおよび前記第２の画像データのそれぞれに対してウェーブレット変換を行うことを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記生成手段は、前記合成手段により合成された前記第１の周波数成分と、前記第２の画像データの前記第２の周波数成分とを含む前記周波数成分に対してウェーブレット逆変換を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 撮像素子と、
    請求項１乃至１２のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。
14. 撮像光学系の特性に基づいて生成されたフィルタを用いて、前記撮像光学系を介して取得された第１の画像データを補正して第２の画像データを生成する補正ステップと、
    前記第１の画像データおよび前記第２の画像データのそれぞれを第１の周波数成分と第２の周波数成分とに分解する分解ステップと、
    前記第１の画像データの前記第１の周波数成分と前記第２の画像データの前記第１の周波数成分とを合成する合成ステップと、
    前記合成ステップにおいて合成された前記第１の周波数成分と、前記第２の画像データの前記第２の周波数成分と、を含む周波数成分に基づいて、第３の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法。
15. 撮像光学系の特性に基づいて生成されたフィルタを用いて、前記撮像光学系を介して取得された第１の画像データを補正して第２の画像データを生成する補正ステップと、
    前記第１の画像データおよび前記第２の画像データのそれぞれを複数の周波数成分に分解する分解ステップと、
    それぞれの周波数成分において、前記第１の画像データの周波数成分と前記第２の画像データの周波数成分を合成する合成ステップと、
    前記合成ステップにおいて合成された周波数成分に基づいて、第３の画像データを生成する生成ステップと、を有し、
    前記複数の周波数成分は、第１の周波数成分と、前記第１の周波数成分よりも低い周波数成分である第２の周波数成分を含み、
    前記合成ステップでは、前記第１の画像データの前記第１の周波数成分に対する前記第２の画像データの前記第１の周波数成分の比率よりも、前記第１の画像データの前記第２の周波数成分に対する前記第２の画像データの前記第２の周波数成分の比率のほうが大きくなるように、前記第１の画像データの周波数成分と前記第２の画像データの周波数成分を合成することを特徴とする画像処理方法。
16. 請求項１４または１５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記憶していることを特徴とするコンピュータが読み取り可能な記憶媒体。