JP6605009B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理装置に関する。

光学系を用いた撮像において、被写体の１点から発生した光は光学系で生じる回折や収差等の影響を受けて、微小な広がりを持って像面に到達する。したがって撮影画像には光学系の回折や収差によるぼけが生じる。

このような画像のぼけは、点像強度分布関数（ＰＳＦ，Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や光学伝達関数（ＯＴＦ，Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）等を用いた画像処理によって鮮鋭化できることが知られている。しかしながら、画像の鮮鋭化処理を行なおうとすると、画像のノイズが増幅されてしまうという問題があった。

特許文献１には、画像を鮮鋭化する際のノイズの増幅を低減させるために、ノイズ特性に関する情報（ＩＳＯ感度）を用いて補正効果を調節することが記載されている。

特開２０１７−４１７６３号公報

特許文献１の方法では、２次元の画像回復フィルタのゲイン値を周波数空間において制御することで画像の補正効果を調節している。このため、画像処理に際して２次元の逆フーリエ変換を行う必要がある。したがって特許文献１の方法には、画像処理に要する負荷が増大してしまうという課題があった。

本発明は、処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を低減させることのできる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、光学系を用いた撮影により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、前記鮮鋭化フィルタの成分の二乗和に基づいて前記鮮鋭化フィルタのゲイン情報を取得する第３の取得手段と、を有し、前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて鮮鋭化処理を行うことを特徴とする。

また、本発明の他の画像処理装置は、光学系を用いた撮影により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、前記鮮鋭化フィルタの成分に基づいて、特定の周波数における前記鮮鋭化フィルタのゲイン情報を取得する第３の取得手段と、を有し、前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて鮮鋭化処理を行うことを特徴とする。

本発明によれば、処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を低減させることのできる画像処理装置を実現できる。

アンシャープマスク処理による鮮鋭化を説明する図である。 光学系のＰＳＦを示す模式図である。 回転対称なアンシャープマスクを用いた鮮鋭化処理を説明する図である。 回転非対称なアンシャープマスクを用いた鮮鋭化処理を説明する図である。 鮮鋭化フィルタのゲインを示す模式図である。 鮮鋭化処理の前後におけるＭＴＦの模式図である。 撮像装置のブロック図である。 実施例１における画像処理のフローチャートである。 ゲイン情報と加重加算率の関係を示す図である。 実施例２における鮮鋭化フィルタの生成を説明する図である。 実施例２における画像処理のフローチャートである。

以下、本発明の画像処理装置としての画像処理部を有する撮像装置の実施形態について、添付の図面に基づいて説明する。

本実施形態の画像処理部は、光学系を用いた撮影により生成された入力画像に対して、光学系の光学特性に基づいた鮮鋭化フィルタを用いた鮮鋭化処理としてアンシャープマスク処理を行う。まず、本実施形態の撮像装置の構成に関する説明に先立ち、本実施形態の鮮鋭化処理について述べる。

図１は、アンシャープマスク処理による鮮鋭化の模式図である。図１（ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像を表している。また、図１（ｂ）の実線は補正成分を表している。図１の各図の横軸は座標であり、縦軸は画素値または輝度値である。図１は、後述する図２の所定の方向（例えば、ｘ方向）における断面に相当する。

入力画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は次式で表すことができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） （１）

式（１）において、ｍは補正の強さを変化させるための調整係数であり、調整係数ｍの値を変化させることにより、補正量を調整することができる。なお、ｍは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整することもできる。また、調整係数ｍ（ｘ，ｙ）は光学系の焦点距離や絞り値や被写体距離（撮影距離）といった撮影条件に応じて異ならせることもできる。

アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、補正成分ｈ（ｘ，ｙ）は次式のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） （２）

式（２）の右辺を変形して次式で表すことができる。
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）） （３）

ここで、「＊」はコンボリューション（畳み込み積分、積和）、「δ（ｘ，ｙ）」はデルタ関数である。デルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。

式（２）を変形することで式（３）を表現できるため、式（２）と式（３）は等価である。よって、以下では式（２）を用いて補正成分の生成について説明する。

式（２）では、入力画像ｆ（ｘ，ｙ）と入力画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかした画像の差分をとり、この差分情報に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。

例えば、図１（ａ）の実線で示す入力画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、入力画像ｆ（ｘ，ｙ）をぼかした画像は図１（ａ）の破線で示すようになる。補正成分ｈ（ｘ，ｙ）は図１（ａ）の実線から図１（ａ）の破線を減算すること得られる図１（ｂ）の実線で示される成分となる。このように算出された補正成分を用いて、式（１）の演算を行うことによって、図１（ａ）の実線に示す入力画像ｆ（ｘ，ｙ）を図１（ａ）の点線のように鮮鋭化することができる。

次に、光学系で生じた回折や収差等の影響により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。光学系を用いた撮影により生成された入力画像ｆ（ｘ，ｙ）は、光学系による劣化が生じなかった場合の画像（以下、元の画像と称する）をＩ（ｘ，ｙ）、光学系のＰＳＦをｐｓｆ（ｘ，ｙ）とすると、次式のように、表すことができる。
ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） （４）

まず、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転対称にぼけている場合について述べる。光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なアンシャープマスクを適用することで入力画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正成分は入力画像をアンシャープマスクでぼかした画像と入力画像の差分値となるため、精度良く補正するためには、アンシャープマスクとして単純な平滑化フィルタではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のものを使用することが好ましい。

例えば、球面収差の影響で入力画像が劣化している場合を考える。球面収差であれば画面の中心に対して回転対称に影響を及ぼすものの、ガウシアンフィルタのような平滑化フィルタは球面収差の影響を反映したＰＳＦとは分布の形状が異なる。そのため、アンシャープマスクに光学系のＰＳＦを使用することで入力画像を精度良く補正（鮮鋭化）することができる。

このため、本実施形態ではアンシャープマスクＵＳＭ（ｘ，ｙ）として光学系のＰＳＦを用いている。図１（ａ）に示す入力画像ｆ（ｘ，ｙ）は簡略化のために線対称な形状となっているが、画像は対称軸を有していなくとも良い。元の画像Ｉ（ｘ，ｙ）の形状が非対称であっても、元の画像Ｉ（ｘ，ｙ）に畳み込まれる劣化関数（ｐｓｆ（ｘ，ｙ）に相当する）が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。

次に、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転非対称にぼけている場合について述べる。光学系が回転対称な共軸光学系であっても、画像の中心部以外の位置におけるＰＳＦは通常非対称な形状となる。図２は、ｘｙ平面における光学系のＰＳＦの模式図であり、図２（ａ）は軸上のＰＳＦ、図２（ｂ）は軸外のＰＳＦを表している。

例えば、元の画像が理想点像の集合によって構成されているとすると、式（４）から、入力画像ｆ（ｘ，ｙ）は光学系のＰＳＦになる。図２（ｂ）に対応する画角に理想点像があり、光学系のＰＳＦの影響を受けて元の画像が劣化したとすれば、入力画像は図２（ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図３、図４は非対称にぼけた画像に対してアンシャープマスク処理を行った場合について説明する図である。図３は回転対称なアンシャープマスクを用いて処理を行った場合、図４は回転非対称なアンシャープマスクを用いて処理を行った場合を示している。図３、図４の各図の縦軸は画素値または輝度値である。また、図３、図４の各図の横軸は、図２（ｂ）のｙ方向に相当する。

図３（ａ）、図４（ａ）の実線は図２（ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした入力画像を表している。図３の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図４の回転非対称なアンシャープマスクには光学系のＰＳＦを適用している。

図３（ｂ）、図４（ｂ）は、それぞれ各アンシャープマスクでぼかされた入力画像と入力画像の差分値をプロットしたものであり、補正成分を表している。図３（ａ）、図４（ａ）において、入力画像の裾野が広くなっている方をＹ軸のプラス側とする。

図３（ａ）では、実線のピーク位置に対してプラス側において入力画像と元の画像の差分値が小さく、マイナス側において入力画像と元の画像の差分値が大きくなっている。そのため、図３（ｂ）の補正成分の中心のピーク位置に対してプラス側の極値よりもマイナス側の極値の方が小さくなっている。

図３（ａ）と図３（ｂ）の曲線を比較すればわかるように、プラス側の補正量が小さく、マイナス側の補正量は大きくなっている。このため、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。図３（ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図３（ａ）の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく沈んでおり、非対称なぼけは補正できていないことがわかる。

ここで、アンシャープマスクを変えずに式（４）の調整係数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になり、画像のマイナス側の補正量を適切になるように調整係数ｍの値を設定すると、画像のプラス側は補正不足となる。

このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称に劣化した入力画像を鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図４（ａ）では、実線のピーク位置に対してプラス側において入力画像と元の画像の差分値が大きく、マイナス側において入力画像と元の画像の差分値が小さくなっている。すなわち、図３（ａ）と反対の傾向が現れている。そのため、図４（ｂ）の補正成分も中心のピーク位置に対してマイナス側よりプラス側の方が極値は小さくなっている。

図４（ａ）の実線で表された入力画像に対して、図４（ｂ）に示す補正成分を適用することで、ピーク位置に対してプラス側（ぼけが大きい方に）は補正量を大きく、マイナス側（ぼけが小さい方）は補正量を小さくすることができる。

こうした非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。図４（ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図４（ａ）の実線に対して鮮鋭化できており、尚且つ図３（ｃ）で生じていたマイナス側の沈みが改善されている。

さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。

また、より補正精度を向上させるためには、光学系のＰＳＦによってより大きくぼける部分が、アンシャープマスクによっても大きくぼかされる必要がある。それゆえ、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転非対称にぼけている場合についても、アンシャープマスクとして光学系のＰＳＦを利用することが好ましい。この場合、鮮鋭化フィルタは、成分が回転非対称に分布した２次元フィルタとなる。なお、鮮鋭化フィルタとは鮮鋭化処理において入力画像に対して畳み込み演算される係数行列であり、鮮鋭化フィルタの成分とは係数行列の成分（タップ値）である。

なお、光学系のＰＳＦは、光学系の焦点距離、光学系のＦ値、および被写体距離（撮影距離）を含む撮影条件ごとに異なる。また、ＰＳＦは入力画像内での位置に依っても異なる。それゆえ、鮮鋭化フィルタは、入力画像における各位置に対して撮影条件ごとに変化させることが好ましい。

次に、入力画像に含まれるノイズ成分の増幅について述べる。

通常、光学系を用いた撮像により生成された画像には、光学系のＰＳＦによって劣化した成分の他に、ノイズによって劣化した成分が含まれる。

鮮鋭化処理は光学系の光学伝達関数の振幅成分であるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を１に近づけるような処理であるため、入力画像にノイズ成分が含まれる場合には、ノイズ成分も増幅されてしまうおそれがある。すなわち、入力画像に対して上述したような鮮鋭化処理を行うと、入力画像が鮮鋭化されるとともに入力画像に含まれるノイズ成分が目立ちやすくなってしまう。

このことは、式（１）、（３）を用いて次のように説明できる。

式（１）、（３）より、鮮鋭化処理後の画像ｇ（ｘ，ｙ）は次式のように表現することができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝ （５）

式（５）の右辺を入力画像ｆ（ｘ，ｙ）についてまとめると式（６）のようになる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝ （６）

式（６）において、右辺の中括弧内の項が鮮鋭化フィルタに相当する。式（６）をフーリエ変換すると、以下の式（７）を得ることができる。
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×｛１＋ｍ×（１−Ｕ（ｕ，ｖ））｝ （７）

式（７）におけるＧ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｕ（ｕ，ｖ）はＵＳＭ（ｘ，ｙ）のフーリエ変換である。

図５に、式（７）の括弧｛｝内の絶対値を示す。図５の横軸が空間周波数、縦軸がゲインである。アンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）の実部をＲｅ（Ｕ（ｕ，ｖ））、虚部をＩｍ（Ｕ（ｕ，ｖ））とすると、アンシャープマスク処理におけるゲインＧａは以下の式（８）で表される。

仮に、アンシャープマスクＵＳＭ（ｘ，ｙ）が回転対称なガウス分布である場合、関数Ｕ（ｕ，ｖ）もガウス分布となる。そのため、虚部Ｉｍ（Ｕ（ｕ，ｖ））は０、実部Ｒｅ（Ｕ（ｕ，ｖ））は０≦Ｒｅ（Ｕ（ｕ，ｖ））≦１となり、ゲインＧａは１≦Ｇａ≦（１＋ｍ）となる。また、ガウス分布は分布の中心から離れるとゼロに漸近するため、実部Ｒｅ（Ｕ（ｕ，ｖ））もゼロに近づく。そのため、高周波側になるほどゲインＧａは（１＋ｍ）に漸近し、図５に示されるような曲線となる。なお、図５では、調整係数ｍが１である場合を表しており、高周波側ではゲインＧａが２に漸近している。

アンシャープマスクＵＳＭ（ｘ，ｙ）として光学系のＰＳＦを利用する場合、アンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光学伝達関数（ＯＴＦ）となる。ＯＴＦの絶対値は振幅成分ＭＴＦである。

図６は、アンシャープマスク処理による鮮鋭化前後の振幅成分ＭＴＦの変化を示す図である。図６の実線は鮮鋭化処理前の振幅成分ＭＴＦ、破線は鮮鋭化後の振幅成分ＭＴＦを表す。

図６は、収差等による画像劣化の振幅成分の周波数特性を示している。図６に示されるように、低周波側が高く、高周波側が低くなる。振幅成分ＭＴＦがゼロに近づくと、ＯＴＦの実部および虚部はゼロに近づき、光学系で解像できる周波数を超えるとＯＴＦの実部および虚部はゼロとなる。このとき、ゲインＧａ（ｕ，ｖ）は式（８）より（１＋ｍ）となるため、アンシャープマスクＵＳＭ（ｘ，ｙ）として光学系のＰＳＦを利用した場合でもゲインＧａは図５の点線や破線で示される高周波側で増加する曲線となる。ゲインＧａはＰＳＦが回転対称の場合はどの方向（断面）でも一定となるが、ＰＳＦが回転非対称な場合は方向によって異なる。したがって、ＰＳＦが回転非対称となる軸外では、ゲインＧａも回転非対称となる。また、ＯＴＦの実部および虚部はマイナスとなることもあるため、所定の周波数でゲインＧａはＧａ＞（１＋ｍ）となる場合もある。

以上説明したように、アンシャープマスクＵＳＭ（ｘ，ｙ）としてガウス分布のような回転対称なフィルタを利用する場合であっても、光学系のＰＳＦを利用する場合であっても、ゲインＧａは低周波側から高周波側にかけて増加する曲線となる。

鮮鋭化処理前後の振幅成分ＭＴＦを比較すると、周波数ｆｒにおいて差が最大となる。これは、図６の実線で示される鮮鋭化処理前の振幅成分ＭＴＦに、図５に示されるゲインＧａが掛け合わされて鮮鋭化処理後の振幅成分ＭＴＦとなるためである。鮮鋭化処理前の振幅成分ＭＴＦが低い場合、ゲインＧａが大きくても鮮鋭化による振幅成分ＭＴＦの変化は小さくなる。

ここで、入力画像にノイズ成分が含まれる場合を考える。入力画像に含まれるノイズ成分をｎ（ｘ、ｙ）とすると、式（６）は以下の式（９）のように表すことができる。
ｇ（ｘ，ｙ）＝（ｆ（ｘ，ｙ）＋ｎ（ｘ，ｙ））＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝ （９）

同様に、ｎ（ｘ，ｙ）のフーリエ変換をＮ（ｕ，ｖ）とすると、式（７）は以下の式（１０）のように表すことができる。
Ｇ（ｕ，ｖ）＝（Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ））×｛１＋ｍ×（１−Ｕ（ｕ，ｖ））｝ （１０）

式（１０）よりノイズ成分を含む入力画像に対してアンシャークマスク処理を行うと、入力画像のうちノイズ以外の成分であるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）と、ノイズ成分Ｎ（ｕ，ｖ）の両方に括弧｛｝の部分がかかる。また、Ｆ（ｕ，ｖ）は、式（４）をフーリエ変換することで取得されるため、元の画像Ｉ（ｘ，ｙ）のフーリエ変換と光学系のＯＴＦの積である。振幅成分ＭＴＦがゼロに近づく高周波側では、前述したようにＯＴＦの実部および虚部はゼロに近づくため、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）も図６の実線で示すように同様にゼロに近づく。一方、ノイズ成分Ｎ（ｕ，ｖ）としてホワイトノイズのようなノイズ成分を考えると、周波数に依存することなく一様な分布となる。したがって、高周波側では、Ｆ（ｕ，ｖ）に対するＮ（ｕ，ｖ）の割合が大きくなるため、ノイズ成分を含む入力画像に対して、高周波側に大きなゲインをかけると鮮鋭化効果よりノイズ成分が増幅してしまう。

このため、入力画像を良好に補正するためには、鮮鋭化処理におけるゲインを見積もり、ゲインおよび入力画像のノイズ特性に基づいて鮮鋭化処理による鮮鋭化の度合いを調節する必要がある。

鮮鋭化フィルタのゲインは、式（８）を用いて得ることができるが、実空間の鮮鋭化フィルタを２次元フーリエ変換する必要が生じる。このため、式（８）を用いてゲインを算出する場合、計算量が多くなり、鮮鋭化処理に要する処理負荷が増大してしまう。

一方、予め算出されたゲインを記憶しておく場合、ゲインを得るために必要な計算量は軽減されるものの、ゲインを記憶するために記憶容量を割く必要がある。入力画像を良好に補正するためには撮影条件ごとに鮮鋭化フィルタを変化させる必要があるが、撮影条件ごとに異なる各鮮鋭化フィルタに対してゲインを記憶しようとすると、膨大な記憶容量をゲインの記憶のために割く必要が生じてしまう。

そこで、本実施形態では、後述のように、実空間の鮮鋭化フィルタからゲインを見積もり、ゲインおよび入力画像のノイズ特性に基づいて鮮鋭化処理による鮮鋭化の度合いを調節する。これによって、鮮鋭化処理に要する処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を抑制することができる。

以上、本実施形態の画像処理部において行われる鮮鋭化処理に関して説明した。

次に本実施形態の撮像装置の構成について述べる。

図７を参照して、本実施形態の撮像装置１００について説明する。図７は、撮像装置１００の構成を示すブロック図である。撮像装置１００には、本実施形態の鮮鋭化処理を行うための画像処理プログラムがインストールされており、この鮮鋭化処理は撮像装置１００の内部の画像処理部（画像処理装置）１０４により実行される。

撮像装置１００は、光学系１０１および撮像装置本体（カメラ本体）を備える。

光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、カメラ本体と一体的に構成されている。ただし本発明はこれに限定されるものではなく、光学系１０１がカメラ本体に対して着脱可能に装着される撮像装置にも適用可能である。また、光学系１０１はレンズなどの屈折面を有する光学素子の他、回折面を有する光学素子、反射面を有する光学素子を含んで構成されていても良い。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサで構成され、光学系１０１によって得られた被写体像（光学系１０１によって形成された光学像）を光電変換して撮影画像を生成する。すなわち、被写体像は、撮像素子１０２による光電変換でアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換される。このデジタル信号は画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して所定の処理を行うとともに、本実施形態の鮮鋭化処理を行う。画像処理部１０４は、図７に示されるように、撮影条件取得部（第１の取得手段）１０４ａ、鮮鋭化フィルタ取得部（第２の取得手段）１０４ｂ、ゲイン情報取得部（第３の取得手段）１０４ｃおよび処理部（処理手段）１０４ｄを備える。撮影条件取得部１０４ａは、状態検出部１０７から撮像装置１００の撮影条件を取得する。撮影条件とは、光学系１０１の絞り値、撮影距離、焦点距離を含む。状態検出部１０７は、システムコントローラ１１０から直接撮影条件を取得してもよいし光学系制御部１０６から取得してもよい。

ＰＳＦ、またはＰＳＦの生成に必要なデータは、記憶部（記憶手段）１０８に保持されている。記憶部１０８は、例えばＲＯＭで構成される。画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。液晶モニタや有機ＥＬディスプレイで構成された表示部１０５には、鮮鋭化処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし、表示部１０５に表示する画像はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部１０５に表示するようにしてもよい。

システムコントローラ１１０は撮像装置１００の制御を行う。光学系１０１の機械的な駆動はシステムコントローラ１１０の指示に基づいて光学系制御部１０６により行われる。光学系制御部１０６は、所定のＦナンバーとなるように絞り１０１ａの開口径を制御する。また、光学系制御部１０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ１０１ｂの位置を制御する。なお、絞り１０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置１００の仕様に応じて実行しなくてもよい。

なお、ローパスフィルタや赤外線カットフィルタ等の光学素子を光学系１０１と撮像素子１０２の間に配置してもよいが、ローパスフィルタ等の光学特性に影響を与える素子を用いる場合、鮮鋭化フィルタを作成する時点での考慮が必要になる場合がある。赤外線カットフィルタに関しても、分光波長のＰＳＦの積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、鮮鋭化フィルタを作成する時点での考慮が必要になる場合がある。したがって、ローパスフィルタや赤外線カットフィルタの有無に応じて鮮鋭化フィルタを変更しても良い。

なお、画像処理部１０４はＡＳＩＣで構成され、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０はそれぞれＣＰＵまたはＭＰＵによって構成されている。また、画像処理部１０４、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０のうちの１つ以上を、同じＣＰＵあるいはＭＰＵで兼用するように構成してもよい。

次に、画像処理部１０４において行われる鮮鋭化処理の実施例について説明する。

［実施例１］
図８は、実施例１の鮮鋭化処理のフローチャートである。図８のフローチャートは、画像処理部１０４の指示に基づいて実行される。図８において、「Ｓ」はステップを表す。また、図８のフローチャートは、コンピュータに各ステップを実行させて画像処理部１０４と同様の機能を発揮させるためのプログラムとしても具現化可能である。これらは図１１に示すフローチャートでも同様である。

Ｓ１０１では、画像処理部１０４は、撮像装置１００によって撮影された画像を入力画像として取得する。入力画像は、記憶部１０８に保存される。また、入力画像として、画像記録媒体１０９に保存されている画像を取得してもよい。

Ｓ１０２では、撮影条件取得部１０４ａが入力画像の撮影時の撮影条件を取得する。撮影条件とは、光学系１０１の焦点距離、絞り値、撮影距離等である。光学系１０１がカメラ本体に交換可能に装着される撮像装置の場合、撮影条件はさらにレンズＩＤやカメラＩＤを含む。撮影条件は、撮像装置から直接取得してもよいし、入力画像に付帯された情報（例えばＥＸＩＦ情報）から取得してもよい。

また、Ｓ１０２において撮影条件取得部１０４ａは入力画像のノイズ特性に関するノイズ情報も取得する。ノイズ情報とは、入力画像に含まれるノイズの大きさと対応づけられる情報であれば良い。ノイズ情報としては、例えば、撮像素子１０２の感度、温度がある。また、鮮鋭化処理よりも前に入力画像に対して画像処理が行われていた場合、入力画像のノイズ特性に影響を与え得る。したがって、ノイズ情報は、鮮鋭化処理よりも前に入力画像に対して行われた画像処理に関する情報を含んでいても良い。なお、一般的な撮像装置においては上述した撮影条件と共に撮像素子の感度としてＩＳＯ感度が撮影画像と共に記録されるため、ノイズ情報としてＩＳＯ感度を用いることが好ましい。以下では、ノイズ情報としてＩＳＯ感度を用いる例について述べる。

Ｓ１０３では、鮮鋭化フィルタ取得部１０４ｂが記憶部１０８から光学系１０１の光学特性を取得する。ここでは光学特性としてＰＳＦを取得する。ただし、光学特性としてＯＴＦのようにＰＳＦに相当するものや、ＰＳＦやＯＴＦを近似的に表した関数の係数データなどを取得してもよい。

Ｓ１０４では、鮮鋭化フィルタ取得部１０４ｂが、Ｓ１０２で取得した撮影条件に応じた鮮鋭化フィルタを、Ｓ１０３で取得した光学特性に基づいて取得する。本実施例では、式（６）中の鮮鋭化フィルタにおいて、ＵＳＭ（ｘ、ｙ）にＳ１０３で取得したＰＳＦを用いた鮮鋭化フィルタ取得する。

なお、Ｓ１０３で取得した撮影条件に対応したＰＳＦが保存されていない場合には、記憶部１０８に記憶されているＰＳＦの内、Ｓ１０３で取得した撮影条件に最も近い撮影条件に対応するＰＳＦに基づく鮮鋭化フィルタを取得しても良い。また、Ｓ１０３で取得した撮影条件に近い撮影条件のＰＳＦを補間して得たＰＳＦに基づく鮮鋭化フィルタを取得したり、Ｓ１０３で取得した撮影条件に近い撮影条件のＰＳＦに基づく鮮鋭化フィルタを補間して得た鮮鋭化フィルタを取得したりしても良い。

また、本実施例では光学特性に基づいて鮮鋭化フィルタを取得したが、本発明はこれに限定されない。記憶部１０８に光学系１０１の光学特性に基づいて生成された鮮鋭化フィルタを予め記憶させておき、鮮鋭化フィルタ取得部１０４ｂが記憶部１０８から鮮鋭化フィルタを直接取得しても良い。この場合、Ｓ１０３はスキップされる。

なお、Ｓ１０４において、鮮鋭化フィルタ取得部１０４ｂは入力画像の複数の位置のそれぞれに対して、適用される複数の鮮鋭化フィルタを取得する。入力画像の各位置における光学特性（ＰＳＦ）はそれぞれ異なるため、入力画像の各位置に対して適用される各鮮鋭化フィルタはそれぞれ異なる。

また、Ｓ１０４で取得される鮮鋭化フィルタは、周波数空間ではなく実空間におけるフィルタである。鮮鋭化フィルタとして周波数空間におけるフィルタを取得する場合には入力画像の鮮鋭化に際して逆フーリエ変換を行う必要が生じるが、実空間におけるフィルタを取得していれば画像に直接適用することが可能となる。このため鮮鋭化処理に要する処理負荷を低減させることができる。これによって鮮鋭化処理の演算スピードを向上させることができる。また、鮮鋭化処理に要する処理負荷が軽減されるため、比較的安価なチップで鮮鋭化処理を実現できる。これによって、製品コストの低減が図れる。

Ｓ１０５では、Ｓ１０４で取得した鮮鋭化フィルタのゲイン情報を、ゲイン情報取得部１０４ｃが取得する。ゲイン情報とは、鮮鋭化フィルタのゲインまたはゲインと同等に扱うことのできるデータに関する情報である。ゲイン情報としては、鮮鋭化フィルタの特定の周波数におけるゲインに関する情報であっても良いし、鮮鋭化フィルタのゲインを周波数に対して平均した値に関する情報であっても良い。

前述のように、本実施例では実空間における鮮鋭化フィルタの成分からゲイン情報を取得する。実空間の鮮鋭化フィルタからゲイン情報を取得するための方法として、パーセバルの等式を用いる方法がある。

実空間における鮮鋭化フィルタをｋ（ｘ，ｙ）、ｋ（ｘ，ｙ）のフーリエ変換をＫ（ｆｘ，ｆｙ）、ｋ（ｘ，ｙ）のｘ方向のタップ数をＮｘ、ｙ方向のタップ数をＮｙとすると、以下のパーセバルの等式が成立する。

すなわち、実空間における鮮鋭化フィルタの成分の二乗和を計算することで、フーリエ変換せずにゲインの周波数成分に対する二乗和の平均が算出できる。つまり、鮮鋭化フィルタのゲインの周波数に対する平均値が算出できる。

また、実空間における鮮鋭化フィルタの成分からゲイン情報を取得するための他の方法としては、以下の式（１２）に示すように、実空間の鮮鋭化フィルタの成分と特定の周波数成分の積の和をとる方法がある。この場合、鮮鋭化フィルタの特定の周波数におけるゲインの値のみを算出することができる。

式（１２）で取得できるゲインは、図６に示したゲイン特性における特定の周波数に対するゲインである。特定の周波数に対するゲインのみを算出することで２次元フーリエ変換をするよりも処理負荷を抑えてゲイン情報を取得できる。特定の周波数成分に相当する式（１２）内の「ｅｘｐ」の部分の値は予め記憶部１０８に記憶させておけば良い。

こうすることで、２次元のフーリエ変換を行うことなく周波数空間上のゲインに関する情報を取得できる。なお、式（１１）や式（１２）と同等の結果が得られる他の式を用いた計算によってゲインを取得しても良い。

なお、入力画像の撮影条件におけるゲイン情報として、入力画像の撮影条件とは異なる撮影条件における値を用いたり、入力画像の撮影条件とは異なる撮影条件における値から補間したりすると、十分な精度のゲイン情報が得られない場合がある。一方、本実施例では鮮鋭化フィルタから直接ゲイン情報を取得しているため、ゲイン情報を撮影条件に関して補間する必要がない。したがって、高精度にゲイン情報を取得することができる。

本実施例において、ゲイン情報取得部１０４ｃはＳ１０４で取得した各鮮鋭化フィルタのゲイン情報を、各鮮鋭化フィルタの成分に基づいて取得するが、本発明はこれに限定されない。すなわち、入力画像の各画面位置に対して適用される全ての鮮鋭化フィルタについて、各鮮鋭化フィルタの成分からゲイン情報を取得する必要はない。例えば、特定の位置（第１の位置）に対する鮮鋭化フィルタ（第１の鮮鋭化フィルタ）の成分を用いて取得されたゲイン情報（第１のゲイン情報）を用いて、他の位置（第２の位置）に対する鮮鋭化処理を行っても良い。

具体的には、入力画像の一部の画面位置に適用される鮮鋭化フィルタについてのみ鮮鋭化フィルタの成分に基づいてゲイン情報を取得し、その他の画面位置におけるゲイン情報は、周辺の画面位置におけるゲイン情報から補間することによって取得してもよい。これによりゲイン情報を取得する際の処理負荷を軽減できる。この場合、入力画像内の画面位置に対しての補間は行われるものの撮影条件に対しての補間は行われないため、処理負荷を軽減しつつ十分精度のよいゲイン情報を取得することができる。

Ｓ１０６では、Ｓ１０２で取得したノイズ情報と、Ｓ１０５で取得したゲイン情報から鮮鋭化処理における加重加算率（出力画像における入力画像の割合）を決定する。図９を用いて、加重加算率の決定方法の一例について説明する。

図９は所定のＩＳＯ感度におけるゲイン情報に対する加重加算率を示す図である。図９において、ゲイン情報がａより小さい場合には加重加算率を０％としている。すなわち、ゲイン情報がａより小さい場合、鮮鋭化フィルタを用いた補正後の画像（式（６）におけるｇ（ｘ、ｙ））がそのまま出力画像となる。

また、図９において、ゲイン情報がｂより大きい場合には加重加算率を８０％としている。すなわち、入力画像が８割、補正後の画像が２割の割合で加重平均された画像が出力画像となる。これは補正後の画像と補正前の画像との差分のうち２割を補正前の画像に加えることと等価であり、そのように演算してもよい。すなわち、式（６）における調整係数ｍの値を調節しても良い。

このようにゲイン情報およびノイズ情報に基づいて加重加算率を決定して鮮鋭化処理を行うことで、ゲインが大きくなるような場合には補正前の入力画像の信号を多くすることができる。換言すると、ゲイン情報およびノイズ情報に基づいて、ノイズ増幅の影響が大きくなると考えられる場合には鮮鋭化処理による鮮鋭化度合いを弱めることができる。結果として、鮮鋭化処理によるノイズの増幅を、簡易な処理によって軽減することができる。

なお、図９に示すようなゲイン情報と加重加算率の関係は、ノイズ情報と紐づけて記憶部１０８に記憶させていれば良い。例えば、ノイズ情報がＩＳＯ感度である場合、ＩＳＯ感度として取りうる値毎にゲイン情報と加重加算率の関係をテーブルデータとして記憶させれば良い。また、代表的なＩＳＯ感度の値におけるａの値とａ−ｂ間の傾きを記憶させておき、記憶されていないＩＳＯ感度におけるゲイン情報と加重加算率の関係は記憶された関係から算出するようにしても良い。

Ｓ１０７では、画像処理部１０４が、ステップ１０４で取得された鮮鋭化フィルタを用いて入力画像の鮮鋭化処理を実行する。すなわち、入力画像に鮮鋭化フィルタを畳み込むことで入力画像を鮮鋭化する。

なお、本実施例では、ゲイン情報およびノイズ情報に基づいて加重加算率（または調整係数ｍ）を決定して出力画像を出力しているが、本発明はこれに限定されない。Ｓ１０６、Ｓ１０７における処理は、鮮鋭化処理によるノイズの増幅をゲイン情報およびノイズ情報に基づいて軽減するような処理であれば良い。

［実施例２］
次に、実施例２の鮮鋭化処理について説明する。

実施例１では、取得した鮮鋭化フィルタのゲイン情報を取得して、同じ鮮鋭化フィルタを用いて鮮鋭化処理を実行した。これにより、鮮鋭化処理を行うフィルタに対して正確にゲイン情報を取得できる。一方、本実施例では、特定の位置（第１の位置）に対する鮮鋭化フィルタ（第１の鮮鋭化フィルタ）の成分を用いて取得されたゲイン情報（第１のゲイン情報）を用いて、他の位置（第２の位置）に対する鮮鋭化フィルタ（第２の鮮鋭化フィルタ）を取得する。そして、第２の鮮鋭化フィルタを用いて第２の位置に対する鮮鋭化処理を行う。これによって、より簡易にゲイン情報を見積もることができ、鮮鋭化処理の処理負荷をさらに低減することができる。

本実施例におけるゲイン情報の取得方法の説明に先立ち、本実施例における鮮鋭化フィルタの取得について、図１０を用いて説明する。

図１０（ａ）に、鮮鋭化フィルタが生成される入力画像上の位置を示す。図１０（ａ）における白丸は、鮮鋭化フィルタが生成される入力画像上の位置を表している。本実施例では、入力画像上の離散的な８１か所の位置に対して光学系１０１の光学特性に基づいて鮮鋭化フィルタを生成する。これらの生成された鮮鋭化フィルタに対して線形補間等を行うことにより、入力画像上の任意の位置の鮮鋭化フィルタを生成することができる。これにより、鮮鋭化フィルタを生成する処理負荷を低減させつつ、入力画像上の任意の位置に対して適切な鮮鋭化フィルタを適用することが可能となる。

なお、図１０（ａ）では鮮鋭化フィルタを生成する位置を９×９＝８１か所としているが、処理負荷をより軽減するためにさらに位置を減らしてもよいし、より補正精度を高めるために位置を増やしてもよい。

また、図１０（ａ）の白丸の各点について直接光学特性を取得し、鮮鋭化フィルタを生成することもできるが、これらの光学特性や鮮鋭化フィルタも補間により生成してもよい。図１０（ｂ）にはその例を示しており、各位置における光学特性を補間により生成する場合を示している。

まず、図１０（ｂ）の黒丸の位置における光学特性を取得する。一般に光学系のＰＳＦは光軸に対して回転対称となるため、光学特性も同様に光軸に対して回転対称となる。この特徴を利用して、図１０（ｂ）では像高（入力画像の中心からの距離）が異なる複数の位置（黒丸で示した１０か所）における光学特性を取得し、これらを入力画像の中心に対して回転させながら各白丸に対応する位置の光学特性を補間により生成する。そして各位置での光学特性に基づいて各位置での鮮鋭化フィルタを取得する。これにより、白丸で示す各位置に対して光学特性を取得する必要がなくなるため処理負荷やデータ量を低減することができる。

なお、ここでは１０か所分の光学特性から８１点分の光学特性を補間により取得したが、１０点分の光学特性から先に鮮鋭化フィルタを取得して鮮鋭化フィルタを補間することで８１点分の鮮鋭化フィルタを取得してもよい。

次に、本実施例におけるゲイン情報の取得方法について説明する。図１０（ｂ）において、各位置に対して正確にゲイン情報を取得するには、各位置での鮮鋭化フィルタに基づいてゲイン情報を算出する必要がある。これに対して、図１０（ｂ）の黒丸における光学特性に対応する鮮鋭化フィルタを取得し、その鮮鋭化フィルタからゲイン情報を算出すれば、各像高におけるゲイン情報を取得することができる。すなわち、像高に対するゲイン情報の変化を取得することができる。

このように算出した各情報のゲイン情報を用いることで、図１０（ｂ）における各白丸に対応する位置において生成される鮮鋭化フィルタのゲイン情報を見積もることができる。本実施例では、各像高のゲイン情報を用いて、図１０（ｂ）における各白丸に対応する位置において生成される各鮮鋭化フィルタのゲインを調節することで、入力画像の各位置において適切な度合いで鮮鋭化処理が行われるようにしている。これによって、処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を抑制させている。

すなわち、実施例１では生成された各鮮鋭化フィルタに対してゲイン情報を算出していたが、本実施例では各像高に対するゲイン情報を取得し、各像高のゲイン情報を用いて入力画像の各位置に対する鮮鋭化フィルタを取得している点で実施例１と異なる。

図１０（ｂ）の各白丸に対応する位置において生成された各鮮鋭化フィルタに対してゲイン情報を取得する場合には、８１か所分のゲイン情報を式（１１）や式（１２）等に基づいて算出する必要がある。一方、本実施例によれば図１０（ｂ）の黒丸で示した１０か所のみに対して式（１１）や式（１２）等に基づいてゲイン情報を算出すれば良いので、ゲイン情報を算出するための処理負荷をさらに低減させることができる。

図１１は、実施例２における鮮鋭化処理のフローチャートである。図１１のフローチャートは、画像処理部１０４の指令に基づいて実行される。

Ｓ２０１〜Ｓ２０３はＳ１０１〜Ｓ１０３と同様のため説明を省略する。

Ｓ２０４では、鮮鋭化フィルタ取得部１０４ｂが、図１０（ｂ）に黒丸で示した位置における光学特性（ＰＳＦ）に基づいて、各黒丸の位置における鮮鋭化フィルタ（第１の鮮鋭化フィルタ）を取得する。

Ｓ２０５では、実施例１と同様にして、各第１の鮮鋭化フィルタからゲイン情報を取得することで各像高のゲイン情報を取得する。

Ｓ２０６では、鮮鋭化フィルタ取得部１０４ｂが、各像高のゲイン情報、図１０（ａ）に黒丸で示した位置におけるＰＳＦ、ノイズ情報に基づいて、各白丸の位置における鮮鋭化フィルタ（第２の鮮鋭化フィルタ）を取得する。このとき、鮮鋭化フィルタ取得部１０４ｂは、各像高のゲイン情報およびノイズ情報に基づいて、第２の鮮鋭化フィルタのゲインが所望の値になるように第２の鮮鋭化フィルタを生成する。具体的には、式（６）における調整係数ｍを調節することで各第２の鮮鋭化フィルタのゲインを調節する。

なお、Ｓ２０６で取得される第２の鮮鋭化フィルタは、各像高におけるゲイン情報およびノイズ情報に基づいてゲインが調節されていれば良い。このため、第２の鮮鋭化フィルタは種々の方法で取得することができる。例えば、黒丸で示した位置におけるＰＳＦから白丸におけるＰＳＦを取得し、白丸で示した位置におけるＰＳＦと、各像高に対するゲイン情報およびノイズ情報に基づいて第２の鮮鋭化フィルタを生成しても良い。この場合、調整係数ｍは、各白丸の位置に対して生成される第２の鮮鋭化フィルタのそれぞれに対して決定される。

また、黒丸で示した位置におけるＰＳＦと、各像高に対するゲイン情報およびノイズ情報に基づいて、黒丸で示した各位置に対して調整係数ｍを決定し、黒丸で示した各位置に対してゲインが調節された鮮鋭化フィルタを生成する。このゲインが調節された鮮鋭化フィルタを入力画像の中心に対して回転させ、補間することで各白丸の位置における第２の鮮鋭化フィルタを生成しても良い。この場合、各黒丸の位置に対して調整係数ｍを決定するのみで良い。

また、黒丸で示した位置におけるＰＳＦと、各像高におけるゲイン情報およびノイズ情報に基づいて、黒丸で示した各位置に対して調整係数ｍを決定する。このようにして決定された各像高のｍおよび黒丸で示した各位置におけるＰＳＦを用いて、各黒丸で示した位置におけるｍとＰＳＦ（式（６）のＵＳＭ（ｘ，ｙ）に相当する）の積を取得する。各黒丸で示した位置におけるｍとＰＳＦの積を入力画像の中心に対して回転させ、補間することで各白丸の位置におけるｍとＰＳＦを取得する。このように取得されたｍとＰＳＦの積を用いて第２の鮮鋭化フィルタを生成しても良い。この場合も、調整係数ｍは各黒丸の位置に対して決定するのみで良い。Ｓ２０７では、処理部１０４ｄが鮮鋭化処理を実行する。Ｓ２０７における鮮鋭化処理は、Ｓ２０６で取得された第２のフィルタを入力画像に対して畳み込むことで行われる。

以上により、実施例１と比較してより簡易な処理によって、十分精度の良いゲイン情報を取得することができる。これによって、処理負荷をより低減させつつ鮮鋭化に伴うノイズの増幅を抑制させることができる。

なお、以上の各実施例では、鮮鋭化処理としてＰＳＦを用いたアンシャープマスク処理を行うことについて述べたが、本発明はこれに限定されない。本実施形態における鮮鋭化処理は、光学系１０１の光学特性に基づいた鮮鋭化フィルタを用いた処理であれば良い。例えばＰＳＦを用いないアンシャープマスク処理やエッジ強調処理であってもよい。また、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理であっても良い。

なお、各実施例における鮮鋭化処理における各処理は単一の画像処理装置で行われる必要はない。例えば、各実施例における処理の一部または全部を実現するためのプログラムを、ネットワークまたは記録媒体を介して１または複数の装置からなるシステムに供給し、そのシステムあるいは装置にプログラムを実行させても良い。

以上、本発明の好ましい実施形態及び実施例について説明したが、本発明はこれらの実施形態及び実施例に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。

１０４ 画像処理部（画像処理装置）
１０４ａ 撮影条件取得部（第１の取得手段）
１０４ｂ 鮮鋭化フィルタ取得部（第２の取得手段）
１０４ｃ ゲイン情報取得部（第３の取得手段）

Claims (19)

1. 光学系を用いた撮影により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、
   前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、
   前記鮮鋭化フィルタの成分の二乗和に基づいて前記鮮鋭化フィルタのゲインに関するゲイン情報を取得する第３の取得手段と、を有し、
   前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて鮮鋭化処理を行うことを特徴とする画像処理装置。
2. 光学系を用いた撮影により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、
   前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、
   前記鮮鋭化フィルタの成分に基づいて、特定の周波数における前記鮮鋭化フィルタのゲインに関するゲイン情報を取得する第３の取得手段と、を有し、
   前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて鮮鋭化処理を行うことを特徴とする画像処理装置。
3. 前記光学特性は、前記入力画像の撮影時の撮影条件における光学特性であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記光学特性は前記光学系の点像強度分布であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記ノイズ情報は、ＩＳＯ感度であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記鮮鋭化処理はアンシャープマスク処理であることを特徴とすることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記鮮鋭化フィルタは２次元フィルタであり、
   前記鮮鋭化フィルタの成分は回転非対称に分布していることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第２の取得手段は、前記入力画像における複数の位置のそれぞれに対して、それぞれ異なる鮮鋭化フィルタを取得することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記第３の取得手段は、前記第２の取得手段によって取得された各鮮鋭化フィルタのそれぞれに対して、それぞれの鮮鋭化フィルタの成分に基づいてゲイン情報を取得することを特徴とする請求項８に記載の画像処理装置。
10. 前記鮮鋭化処理は、前記入力画像と、前記鮮鋭化フィルタを用いて前記入力画像を補正した画像を、前記ノイズ情報と前記ゲイン情報に基づいて定められる割合で足し合わせることによって行われることを特徴とする請求項９に記載の画像処理装置。
11. 前記第３の取得手段は、前記入力画像における第１の位置に対する鮮鋭化フィルタの成分を用いて第１のゲイン情報を取得し、
    前記第１のゲイン情報および前記ノイズ情報を用いて、前記第１の位置とは異なる第２の位置に対する鮮鋭化処理を行うことを特徴とする請求項８に記載の画像処理装置。
12. 前記第２の取得手段は、前記第１のゲイン情報および前記ノイズ特性に基づいて前記第２の位置に対する鮮鋭化フィルタを取得し、
    前記第２の位置に対する鮮鋭化処理は、前記第２の位置に対する鮮鋭化フィルタを用いて行われることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第３の取得手段は、前記入力画像内の像高の異なる複数の位置のそれぞれに対する第１の鮮鋭化フィルタの成分を用いて、前記入力画像の各像高におけるゲイン情報を取得し、
    前記入力画像に対して、前記各像高におけるゲイン情報および前記ノイズ情報を用いて鮮鋭化処理を行うことを特徴とする請求項８に記載の画像処理装置。
14. 前記第２の取得手段は、前記各像高におけるゲイン情報および前記ノイズ特性に基づいて前記入力画像における複数の位置のそれぞれに対する第２の鮮鋭化フィルタを取得し、
    前記鮮鋭化処理は、前記第２の鮮鋭化フィルタを用いて行われることを特徴とする請求項１３に記載の画像処理装置。
15. 光学系によって形成された像を光電変換する撮像素子と、請求項１乃至１４のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
16. 光学系を用いた撮影により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１のステップと、
    前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２のステップと、
    前記鮮鋭化フィルタの成分の二乗和に基づいて前記鮮鋭化フィルタのゲイン情報を取得する第３のステップと、
    前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて鮮鋭化処理を行う第４のステップと、
    を含むことを特徴とする画像処理方法。
17. 光学系を用いた撮影により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１のステップと、
    前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２のステップと、
    前記鮮鋭化フィルタの成分に基づいて、特定の周波数における前記鮮鋭化フィルタのゲイン情報を取得する第３のステップと、
    前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて鮮鋭化処理を行う第４のステップと、
    を含むことを特徴とする画像処理方法。
18. 請求項１６または１７に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
19. コンピュータで読み取り可能であって、請求項１８に記載の画像処理プログラムが記録された記録媒体。