JP7005162B2 - 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、画像の鮮鋭化処理を行う画像処理方法に関する。

従来から、元画像（入力画像）にアンシャープマスクを適用したぼかした画像と元画像との差分を元画像に加算または減算することにより、画像を鮮鋭化するアンシャープマスク処理が知られている。ぼかした画像と入力画像との差分が大きいほど画像はより鮮鋭化される。

特許文献１には、像高方向に配列する画素信号列に対して非対称な一次元のフィルタを適用することにより、光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の影響を低減する方法が開示されている。

特開２０１０－８１２６３号公報

撮影画像は撮像光学系のＰＳＦによる劣化だけでなく、光学ローパスフィルタの周波数特性分だけ更に劣化している。そのため、より高精度に鮮鋭化処理を行うには、光学ローパスフィルタの周波数特性を考慮した鮮鋭化処理を行う必要がある。

そこで本発明は、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理方法は、光学系を介して生成された撮影画像を取得するステップと、所定の関数の係数データを取得するステップと、前記係数データを用いて、前記第１のデータを再構成するステップと、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップとを有する。

本発明の他の側面としての画像処理装置は、光学系を介して生成された撮影画像を取得し、所定の関数の係数データを取得する取得部と、前記係数データを用いて、前記第１のデータを再構成する再構成処理部と、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部とを有する。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
本発明の一側面としての画像処理方法は、光学系を介して生成された撮影画像を取得するステップと、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップとを有する。前記鮮鋭化処理を行うステップは、前記第２のデータに対して窓関数を適用するステップを有する。
本発明の他の側面としての画像処理装置は、光学系を介して生成された撮影画像を取得する取得部と、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部とを有する。前記鮮鋭化処理部は、前記第２のデータに対して窓関数を適用する。
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
本発明の一側面としての画像処理方法は、光学系を介して生成された撮影画像を取得するステップと、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップとを有する。前記鮮鋭化処理を行うステップは、前記第２のデータに基づいて鮮鋭化フィルタを生成するステップと、前記鮮鋭化フィルタを前記撮影画像に対して畳み込み積分を行うことにより該撮影画像を鮮鋭化するステップと、を有する。前記鮮鋭化フィルタは、前記撮影画像の位置に応じた調整係数により調整される。
本発明の他の側面としての画像処理装置は、光学系を介して生成された撮影画像を取得する取得部と、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部とを有する。前記鮮鋭化処理部は、前記第２のデータに基づいて鮮鋭化フィルタを生成し、前記鮮鋭化フィルタを前記撮影画像に対して畳み込み積分を行うことにより該撮影画像を鮮鋭化する。前記鮮鋭化フィルタは、前記撮影画像の位置に応じた調整係数により調整される。
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
本発明の一側面としての画像処理方法は、光学系を介して生成された撮影画像を取得するステップと、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップとを有する。前記鮮鋭化処理を行うステップは、前記第２のデータと前記撮影画像とに基づいて補正成分を生成するステップと、前記補正成分を前記撮影画像に対して加算または減算することにより該撮影画像を鮮鋭化するステップと、を有する。
本発明の他の側面としての画像処理装置は、光学系を介して生成された撮影画像を取得する取得部と、前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部とを有する。前記鮮鋭化処理部は、前記第２のデータと前記撮影画像とに基づいて補正成分を生成し、前記補正成分を前記撮影画像に対して加算または減算することにより該撮影画像を鮮鋭化する。
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

実施例１、３における画像処理方法を示すフローチャートである。 実施例１、２における撮像装置のブロック図である。 各実施例におけるアンシャープマスク処理による鮮鋭化の模式図である。 各実施例におけるｘｙ平面上の撮像光学系のＰＳＦの模式図である。 各実施例における回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 各実施例における非回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 各実施例におけるアンシャープマスクの模式図および概略断面図である。 各実施例におけるベイヤー配列の模式図である。 実施例１における画像処理部のブロック図である。 実施例２、３における画像処理部のブロック図である。 実施例２における画像処理方法を示すフローチャートである。 各実施例における点像強度分布関数の等高線図である。 各実施例における点像強度分布関数の回転処理の説明図である。 実施例２における再構成された点像強度分布関数の断面図である。 実施例３における撮像装置のブロック図である。 実施例２における調整した鮮鋭化フィルタの断面図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

［入力画像］
入力画像は、撮像装置において撮像光学系（以下、単に光学系という）を介して形成された被写体像（光学像）を光電変換した撮像素子から出力された画像データを用いて生成されたデジタル画像（撮影画像）である。このデジタル画像は、レンズや光学フィルタなどの光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサなどの光電変換素子により構成される。撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。また、光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、光学系、撮像素子および撮像素子から出力される画像データを用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号など、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。

入力画像や出力画像には、入力画像を生成（撮像）した際の撮像装置における光学系の焦点距離、絞り値（Ｆ値）、撮影距離、像高などの撮影条件に関する情報（以下、撮影条件情報という）を付帯させることができる。また入力画像や出力画像には、入力画像を補正するための各種の補正情報を付帯させることもできる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、この画像処理装置にて画像処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯させることが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。

［画像鮮鋭化処理］
図３は、本実施形態のアンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図である。図３（Ａ）において、実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像をそれぞれ示している。図３（Ｂ）の実線は、補正成分を示している。図３（Ａ）、（Ｂ）のそれぞれにおいて、横軸は座標、縦軸は画素値または輝度値である。図３は、後述する図４の所定の方向（例えば、Ｘ方向）における断面に相当する。

元画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は、以下の式（１）で表すことができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） … （１）
式（１）において、ｍは補正の強さを変化させるための調整係数であり、調整係数ｍの値を変化させることにより、補正量を調整することができる。なお、調整係数ｍは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整することもできる。また、調整係数ｍ（ｘ，ｙ）は、光学系の焦点距離、絞り値、または、撮影距離などの撮影条件に応じて異ならせることもできる。

補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、以下の式（２）のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）－ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） …（２）
式（２）の右辺を変形することにより、以下の式（３）が得られる。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ）） … （３）
式（３）において、＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。「デルタ関数」とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。式（２）を変形することにより式（３）を表現することができるため、式（２）と式（３）とは互いに等価である。よって、以下、式（２）を用いて補正成分の生成について説明する。

式（２）では、撮影画像ｆ（ｘ，ｙ）と撮影画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかした画像との差分をとり、この差分情報に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタなどの平滑化フィルタが使用される。

例えば、図３（Ａ）の実線で示される撮影画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、撮影画像ｆ（ｘ，ｙ）をぼかした画像は、図３（Ａ）の破線で示されるようになる。補正成分ｈ（ｘ，ｙ）は、式（２）で表されるように、撮影画像ｆ（ｘ，ｙ）とぼかした画像との差分であるため、図３（Ａ）の実線から図３（Ａ）の破線を減算することにより、図３（Ｂ）の実線で表現される成分となる。このように算出された補正成分を用いて、式（１）の演算を行うことにより、図３（Ａ）の実線に示される撮影画像ｆ（ｘ，ｙ）を図３（Ａ）の点線のように鮮鋭化することができる。

次に、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。撮像光学系を介して得られた撮影画像ｆ（ｘ，ｙ）は撮影前の画像（被写体の像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数である点像強度分布関数ＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式（４）のように表すことができる。

ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） … （４）
ここで、撮像光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なＵＳＭを適用することで撮影画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は撮影画像とアンシャープマスクでぼかした撮影画像との差分値となるため、精度良く補正するには、アンシャープマスクとして単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用することが好ましい。例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、回転対称にぼける影響を低減する場合であっても、撮像光学系のＰＳＦを使用する方が精度良く補正することができる。

本実施形態では、アンシャープマスクＵＳＭ（ｘ，ｙ）にＰＳＦを用いる。図３（Ａ）に示される撮影画像ｆ（ｘ，ｙ）は、簡略化のため対称な形状となっているが、画像の形状が対称でなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）にかかる劣化関数が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。

一方、画像の中心部以外の位置については、撮像光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図４は、ｘｙ平面における撮像光学系のＰＳＦの模式図であり、図４（Ａ）は軸上のＰＳＦ、図４（Ｂ）は軸外のＰＳＦをそれぞれ示している。例えば、元の画像（被写体）が理想点像であるとすると、式（４）から、撮影画像ｆ（ｘ，ｙ）は撮像光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像（被写体）が劣化したとすると、入力画像として得られる画像は、図４（Ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図５および図６は非対称に劣化した画像に対するアンシャープ処理の模式図であり、図５は回転対称なアンシャープマスクを用いた場合、図６は回転非対称なアンシャープマスクを用いて処理を行った場合をそれぞれ示している。図５および図６において、縦軸と横軸はそれぞれ図３と同様である。

図５（Ａ）および図６（Ａ）の実線は、図４（Ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした撮影画像を表している。図５の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図６の非回転対称なアンシャープマスクには撮像装置のＰＳＦを適用している。図５（Ｂ）および図６（Ｂ）はそれぞれ、各アンシャープマスクでぼかした撮影画像と元の撮影画像との差分値をプロットしたものであり、補正成分を表している。便宜的に、図５（Ａ）および図６（Ａ）においては、撮影画像がＰＳＦによって、よりぼけて裾野が広くなっている方をＹ軸のプラス側とする。図５（Ａ）では、実線のピーク位置に対してプラス側のぼけた画像と元の画像の差分値が小さく、マイナス側のぼけた画像と元の画像の差分値が大きくなっている。そのため、図５（Ｂ）の補正成分も中心のピーク位置に対して右側（プラス側）より左側（マイナス側）の方が極値は小さくなっている。図５（Ａ）と図５（Ｂ）の曲線を比較すればわかるように、撮影画像のプラス側は補正成分の補正量が小さく、裾野が狭いマイナス側は補正量が大きいため、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。

図５（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示したものであり、図５（Ａ）の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく凹んでおり、非対称なぼけは補正できていないことがわかる。例えば、アンシャープマスクを変えずに式（４）の調整係数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になる。一方、画像のマイナス側の補正量を適切になるように調整係数ｍの値を設定すると、画像のプラス側は補正不足となる。このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図６（Ａ）では、実線のピーク位置に対してプラス側がぼけた画像と元画像の差分値が大きく、マイナス側がぼけた画像と元の画像の差分値が大きくなっており、この傾向は図５（Ａ）と逆になっている。そのため、図６（Ｂ）の補正成分も中心のピーク位置に対して左側（マイナス側）より右側（プラス側）の方が極値は小さくなっている。図６（Ａ）の実線で表された撮影画像に対して、このような補正成分を適用すると、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、そしてマイナス側のぼけが小さい方には補正量が小さくなる。このような非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。

図６（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示したものであり、図６（Ａ）の実線に対しても鮮鋭化できており、かつ図５（Ｃ）で目立ったマイナス側とプラス側の凹みのバランスの差が改善している。さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。また、より精度良く補正を行うには、補正成分の補正量のバランスはぼけた画像と元の画像との差分となるため、撮像光学系のＰＳＦによってより大きくぼけた部分が、アンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。このように、さらに精度によく補正するには、アンシャープマスクとして撮像光学系のＰＳＦを利用することが理想的である。

以上、画像鮮鋭化処理としてＰＳＦを用いたアンシャープマスクの例を示したが、ＰＳＦは、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理に用いてもよい。また、近年研究が進んでいるＤＬ（ディープラーニング）の学習画像の生成に用いることもできる。

［光学ローパスフィルタ］
光学ローパスフィルタとは、空間周波数的に高周波の光学信号を除去する光学部材であり、水晶の光束分離作用を利用した光学ローパスフィルタが知られている。水晶を用いた光学ローパスフィルタでは、光学的な異方性媒質の光束分離作用を用いてローパス効果を得ている。

一般的に一軸性結晶の平行平板をその入射面の法線と光学軸のなす角をθとなるように作成したとき、円偏光の光がその平行平板に垂直に入射するときの分離幅Δは、以下の式（５）で表される。

式（５）において、ｎ_Ｏは常光線の屈折率、ｎ_ｅは異常光線の屈折率、ｔは光学素子の厚さである。光学軸の角度θ＝４５°の場合、式（５）は以下の式（５ａ）のようになる。

式（５）および式（５ａ）より、分離幅Δは用いる材料の異方性が強いほど、そして厚みｔが厚いほど大きくなるといえる。また、分離幅Δの光学ローパスフィルタを挿入した場合、光学ローパスフィルタの周波数特性Ｈ_Ｌ（ｕ）は、以下の式（６）のようになる。

式（６）より、Ｈ_Ｌ＝１／（２Δ）で周波数特性Ｍ_Ｌ＝０となる。このように、撮影画像は撮像光学系のＰＳＦによる劣化だけでなく、式（６）に示すような分離幅Δによって決まる光学ローパスフィルタの周波数特性分だけ更に劣化している。そのため、より高精度に撮影画像を補正するには、光学ローパスフィルタの周波数特性を考慮した補正を行う必要がある。

以上、一方向に分離する場合の光学ローパスフィルタの特性について述べたが、複数方向に光線を分離する場合は多層にすることで実現することができる。例えば、光線を水平および垂直方向に分離しようとする場合、光学軸の向きが異なる二つの光学ローパスフィルタを用いて波長板を間に挟んで重ね合わせることにより実現することができる。以下、具体的な実施例について説明する。

まず、図２を参照して、本発明の実施例１における撮像装置について説明する。図２は、本実施例における撮像装置１００のブロック図である。撮像装置１００には、入力画像（撮影画像）の鮮鋭化処理（画像処理方法）を行うプログラムがＲＯＭ（メモリ）やハードディスクドライブなどの記憶部１０９にインストールされており、鮮鋭化処理は画像処理部１０５（画像処理装置）により実行される。また、記憶部１０９ではなく画像処理部１０５の内部に記憶部を設け、その記憶部に本実施例の画像処理方法のプログラムをインストールしておくこともできる。また、プログラムに対応する回路を設計しておき、その回路を動作させることで鮮鋭化処理を実行させてもよい。

撮像装置１００は、撮像光学系１０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体と一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮像光学系１０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子である。撮像素子１０３は、撮像光学系１０１および光学ローパスフィルタ１０２を介して得られた被写体像（光学像、結像光）を光電変換して撮影画像を生成する。被写体像は、撮像素子１０３により光電変換が行われてアナログ信号（電気信号）に変換され、このアナログ信号はＡ／Ｄコンバータ１０４によりデジタル信号に変換され、このデジタル信号は画像処理部１０５に入力される。

画像処理部１０５は、このデジタル信号に対して所定の処理を行うとともに所定のアンシャープマスク処理を行う画像処理手段である。なお、本実施例では、撮像装置の画像処理部が鮮鋭化処理を行っているが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。

画像処理部１０５は、状態検知部１０８から撮像装置１００の撮影条件（撮像条件情報）を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部１０８は、システムコントローラ１１１から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば、撮像光学系１０１に関する撮像条件情報は、光学系制御部１０７から取得することもできる。

図９は、本実施例における画像処理部１０５のブロック図である。図９に示されるように、画像処理部１０５は、取得部１０５１、回転処理部１０５２、補正部１０５３、および、鮮鋭化処理部１０５４を有し、入力画像に対して画像鮮鋭化処理を行う。取得部１０５１は、光学系を介して生成された撮影画像（入力画像）を取得する。回転処理部１０５２は、光学系の撮影条件に対応する光学系の点像強度分布関数ＰＳＦの情報に基づいて生成（近似）された第１のデータに対して、撮影画像の位置に応じた回転処理を行う。補正部１０５３は、回転処理後の第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタ（ぼかしフィルタ）を畳み込むことにより第２のデータを生成する。鮮鋭化処理部１０５４は、第２のデータを用いて撮影画像の鮮鋭化処理を行う。本実施例において、第１のデータおよび第２のデータはそれぞれ回転非対称な分布を有する。

画像処理部１０５で処理された出力画像は、記憶部１０９に所定のフォーマットで保存される。記憶部１０９は、撮像光学系１０１の撮影条件と撮像光学系のＰＳＦとの関係を記憶する記憶手段としても機能する。アンシャープマスク処理を実行する画像処理装置が画像処理部１０５とは別に設けられている場合、システムコントローラ１１１は撮影画像と対応付けて収差情報を記憶してもよい。表示部１０６は、鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。表示部１０６には、高速表示のために簡易処理を行って得られた画像を表示してもよい。画像記録媒体１１０は、鮮鋭化処理後の画像を記録することができる。

以上の一連の処理は、システムコントローラ１１１により制御される。システムコントローラ１１１は、マイクロコンピュータやＣＰＵ（プロセッサ）として構成される。また、撮像光学系１０１の機械的な駆動は、システムコントローラ１１１の指示に基づいて、光学系制御部１０７により行われる。

撮像光学系１０１には、赤外カットフィルタなどの光学素子を挿入してもよい。赤外カットフィルタは、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）の各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、アンシャープマスクを作成する時点でその素子の影響を考慮することがより好ましい。

次に、図１を参照して、本実施例の画像処理方法について説明する。図１は、本実施例の画像処理方法を示すフローチャートである。図１のフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム（画像処理プログラム）として具現化することが可能である。これは他の実施例のフローチャートにおいても同様である。図１の各ステップは、システムコントローラ１１１の指示に基づいて、画像処理部１０５により実行される。

まずステップＳ１１において、画像処理部１０５（取得部１０５１）は、光学系を介して生成された撮影画像を入力画像として取得する。入力画像として使用する補正対象としての色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。ただし、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢの全てのチャンネルの画像データ、またはデモザイキング前の画像データであってもよい。

図８は、離散的な規則配列であるベイヤー配列の模式図である。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として使用してもよく、または、特定のチャンネルのみ入力画像として使用してもよい。また、図８に示されるように、ＧチャンネルをＧ１、Ｇ２の２つに分け、４チャンネルとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。

続いて、図１のステップＳ１２において、画像処理部１０５（取得部１０５１）は、入力画像の撮影条件に対応する撮像光学系１０１の点像強度分布関数ＰＳＦを記憶部１０９から取得する。取得するＰＳＦは、二次元のタップデータ、ＰＳＦの構成要素となる複数の一次元のタップデータ、または係数であってもよい。二次元のタップデータは、例えば、特異値分解定理などを用いて複数の一次元のタップデータに分解される。記憶部１０９は分解されたデータを記録し、撮影条件に応じてＰＳＦの主成分に対応する複数の一次元のタップデータを取得してもよい。本実施例では、ＰＳＦをアンシャープマスクＵＳＭとして使用し、ステップＳ１２におけるアンシャープマスクＵＳＭは本実施例における第１のデータに相当する。すなわち本実施例において、ステップＳ１２におけるアンシャープマスクＵＳＭは、光学系の撮影条件に対応する光学系の点像強度分布関数ＰＳＦの情報に基づいて生成された（ＰＳＦの情報に基づいて近似された）第１のデータである。

次に、図７を参照して、アンシャープマスクＵＳＭについて説明する。図７（Ａ）はアンシャープマスクの模式図、図７（Ｂ）はアンシャープマスクの概略断面図である。アンシャープマスクＵＳＭは、撮像光学系の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７（Ａ）に示されるアンシャープマスクＵＳＭは、一例として、１１×１１タップの二次元のマスクである。また、図７（Ａ）では、各タップ内の値（係数）を省略しているが、アンシャープマスクＵＳＭの一断面を図７（Ｂ）に示す。図７（Ｂ）において、実線がアンシャープマスクＵＳＭの断面であり、横軸はタップ、縦軸はタップの値である。アンシャープマスクＵＳＭの各タップの値（係数値）の分布は、収差により広がった信号値（撮像光学系のＰＳＦ）の分布が理想的である。

続いて、図１のステップＳ１３において、画像処理部１０５（回転処理部１０５２）は、ステップＳ１２にて取得したアンシャープマスクＵＳＭ（点像強度分布関数ＰＳＦ）に対して、入力画像の位置（像高）に応じたアンシャープマスクＵＳＭを生成する。すなわち回転処理部１０５２は、第１のデータに対して、撮影画像の位置に応じた回転処理を行う。

図１３（Ａ）は、生成したアンシャープマスクの位置と入力画像との関係を示している。白丸は作成するアンシャープマスクの位置を示しており、図１３（Ａ）のように入力画像を分割して８１点分のアンシャープマスクを生成する。そして、これらのアンシャープマスクに対して線形補間などを行うことにより、入力画像における任意の位置のアンシャープマスクを生成することができ、ＰＳＦの像高変化への対応が可能となる。ここで、分割数については、図１３（Ａ）では９×９としているが、軽量化のため減らしてもよいし、より精度を重視して増やしてもよい。また、図１３（Ａ）の白丸の各点について直接ＰＳＦを取得するのではなく、補間により生成してもよい。

図１３（Ｂ）はその一例を示しており、各位置におけるアンシャープマスクを補間により生成する場合を表している。図１３（Ｂ）の黒点は、ステップＳ１４にて作成するアンシャープマスクの位置を示している。一般的に撮像光学系のＰＳＦは光軸に対して回転対称となるため、アンシャープマスクも同様に回転対称になる。この特徴を利用して、図１３（Ｂ）の例では、画像の中心から下方向に１０点分のアンシャープマスクを生成しておき、これらを画像の中心に対して回転しながら各白丸に対応する位置のアンシャープマスクを補間により生成する。これにより、入力画像の各位置におけるアンシャープマスクを一つ一つ作成する必要がなくなるため、処理負荷を低減することができる。像高に対する対応については以上となる。

続いて、ステップＳ１４において、画像処理部１０５（補正部１０５３）は、ステップＳ１３にて生成したアンシャープマスクＵＳＭに対して光学ローパスフィルタ１０２による劣化を補正する。前述のように、撮像光学系のＰＳＦは光学ローパスフィルタ１０２によりさらに劣化しているため、より高精度にアンシャープマスク処理を実行するには、アンシャープマスクもその劣化を考慮する必要がある。ステップＳ１４では、ステップＳ１３にて生成したアンシャープマスクに対して光学ローパスフィルタ１０２の劣化に応じたぼかしフィルタを適用する。これにより、画像処理部１０５（補正部１０５３）は、光学ローパスフィルタ１０２の劣化を反映したアンシャープマスク（第２のデータ）を生成することができる。このように本実施例において、補正部１０５３は、回転処理後の第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタ（ぼかしフィルタ）を畳み込むことにより第２のデータを生成する。本実施例において、光学ローパスフィルタ１０２は撮影画像の位置に関して一律に劣化するため、光学ローパスフィルタの情報に基づいて生成されたフィルタは、撮影画像の位置に関して一律である。

ステップＳ１４にて適用するぼかしフィルタは、式（６）を逆フーリエ変換することにより求められる。このぼかしフィルタは、光学ローパスフィルタ１０２の分離幅Δに応じて決定され、像高や画像の位置には依存しないため、ステップＳ１３にて作成した入力画像の各位置に応じたアンシャープマスクに対して共通のフィルタを適用することができる。ステップＳ１４にて用いられるぼかしフィルタは撮像装置１００内で計算してもよいが、撮影条件によって変化がなく共通のフィルタを利用できるため、事前に計算しておき予め記憶部１０９に格納しておくことで計算負荷を低減することができる。また、色成分に関しては波長板や分離幅Δが波長の影響を受けるため、色成分ごとにフィルタを用意してもよい。または、データ量を削減するため、複数の色成分に関して共通のフィルタを用いてもよい。

続いて、ステップＳ１５において、画像処理部１０５（鮮鋭化処理部１０５４）は、ステップＳ１４にて生成したアンシャープマスクＵＳＭ（第２のデータ）を用いて、撮影画像の鮮鋭化処理を実行する。本実施例では、アンシャープマスクＵＳＭに撮像光学系のＰＳＦを用いているため、入力画像の周辺部に見られるような撮像光学系の非対称なＰＳＦによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。

鮮鋭化処理後の画像ｇ（ｘ，ｙ）は、式（１）、（３）より、以下の式（７）、（８）、（９）のように表現することができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）－ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝ … （７）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ）｝ … （８）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ））｝ … （９）
ここで、便宜的に式（９）の中括弧｛｝の部分を鮮鋭化フィルタと呼ぶことにする。鮮鋭化フィルタは、アンシャープマスクＵＳＭおよび調整係数ｍを用いて生成することができる。調整係数ｍは、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して値を決定される。ステップＳ１５において、鮮鋭化処理部１０５４は、ステップＳ１４にて生成したアンシャープマスクＵＳＭを用いて、式（９）に基づき入力画像に対して鮮鋭化処理を実行する。

本実施例において、アンシャープマスクＵＳＭは、入力画像に関して図１３（Ａ）に示されるように離散的に保持されている。このため、図１３（Ａ）の白丸以外の位置で鮮鋭化処理を行うには、対応するアンシャープマスクＵＳＭあるいは鮮鋭化フィルタが必要になる。本実施例では、離散的に生成したアンシャープＵＳＭを線形補間することにより、任意の位置で鮮鋭化処理を行うことが可能である。具体的には、ある位置に対応したアンシャープマスクＵＳＭをその位置近傍４点の白丸に対応したアンシャープマスクを線形補間することで生成し、式（９）に基づいて鮮鋭化処理を実施する。これにより、画像内の任意の位置での鮮鋭化処理が可能となり、画像内の鮮鋭化効果も連続的に変化するため、より自然な鮮鋭化画像が生成することができる。また、線形補間はアンシャープマスクＵＳＭではなく、鮮鋭化フィルタで行ってもよい。

なお本実施例では、式（９）に基づく鮮鋭化処理について説明したが、式（７）または式（８）を用いて鮮鋭化処理を実行してもよく、いずれの場合も同様の効果を得ることができる。式（７）または式（８）は、入力画像に補正成分を加算する形で表現されているが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は減算になる。このように、調整係数ｍの符号の違いによるもので本質的には同じことを意味するため、調整係数ｍの符号によって変えれば演算はどちらであっても構わない。

本実施例では、画像の中心に対して回転対称となる撮像光学系のＰＳＦと画像の位置に対して一律に劣化する光学ローパスフィルタの劣化分を分離し、両方の劣化を考慮したアンシャープマスクＵＳＭを生成している。一方、分離せずに両方の劣化を考慮したＰＳＦを計算しアンシャープマスクＵＳＭを生成する場合、入力画像の位置に応じてＰＳＦおよびアンシャープマスクＵＳＭが変化する。このため、図１３（Ａ）の白丸に対応するアンシャープマスクを生成する場合、一画像当たり８１点分のＰＳＦデータが必要となる。一方、本実施例では、図１３（Ｂ）の黒丸１０点分のＰＳＦデータと光学ローパスフィルタとに対応した１つのぼかしフィルタを用いることにより、図１３（Ａ）の白丸に対応するアンシャープマスクＵＳＭを生成することができる。また、色成分による撮像光学系のＰＳＦの違いを考慮すると、データ量が３倍になるためデータ量の削減効果も大きくなる。

このように、本実施例では撮像光学系のＰＳＦを回転させて入力画像の位置（像高）に応じたアンシャープマスクＵＳＭを生成する。そして、そのアンシャープマスクＵＳＭに対し、光学ローパスフィルタの劣化分に対応したぼかしフィルタで補正を行う。このぼかしフィルタで補正したアンシャープマスクＵＳＭから鮮鋭化フィルタを生成して入力画像に適用することで、補正処理に必要な保持データの記憶量を低減させつつ入力画像を精度良く鮮鋭化することができる。

なお本実施例では、画像鮮鋭化処理としてアンシャープ処理を用いているが、その他の鮮鋭化手法を用いてもよい。その場合、ステップＳ１４にて作成した入力画像の位置ごとのアンシャープマスクＵＳＭをＰＳＦとして用いる。ステップＳ１４にて作成したアンシャープマスクＵＳＭは撮像光学系のＰＳＦと光学ローパスフィルタ１０２による劣化とを考慮しているため、本実施例で説明したアンシャープマスク処理と同様に、より高精度に補正処理を実施することができる。

次に、本発明の実施例２における撮像装置について説明する。本実施例の撮像装置は、画像処理部１０５に代えて画像処理部２０５を有する点でのみ実施例１と異なり、その他の構成は実施例１の撮像装置と共通である。

図１０は、画像処理部２０５（画像処理装置）のブロック図である。図１０に示されるように、画像処理部２０５は、取得部２０５１、再構成処理部２０５２、回転処理部２０５３、補正部２０５４、鮮鋭化処理部２０５５を有する。

図１１は、本実施例における画像処理方法を示すフローチャートである。図１１のフローチャートは、本実施例におけるアンシャープマスク処理の流れを示している。本実施例でも、システムコントローラ１１１の指示を受けた画像処理部２０５が画像処理プログラムに従って本処理を行う。本実施例は、画像処理部２０５が撮像光学系のＰＳＦの係数データを取得し、係数データから撮像光学系のＰＳＦを再構成する点で、実施例１と異なる。それ以外の処理、すなわち図１１のステップＳ２１、Ｓ２４～Ｓ２６は、図１のステップＳ１１、Ｓ１３～Ｓ１５とそれぞれ同様であるため、それらの説明は省略する。
各ステップにおける具体的な処理について説明する前に、本実施例で用いる撮像光学系のＰＳＦの近似関数および係数データについて説明する。まず、撮像光学系のＰＳＦの近似に利用する関数について説明する。天文物理学などの分野において、測光した天体をフィッティングする際には、Ｍｏｆｆａｔ関数と呼ばれる以下の関数Ｐ（ｘ，ｙ）がよく利用される。

ここで、式（１０）のα、βは係数データであり、特にβ＝１のときをローレンツ関数と呼ぶ。例えば、式（１０）を用いてＰＳＦをモデル化する場合、計測または計算により算出したＰＳＦの分布に対し式（１０）でフィッティングすることで、これらの係数を求める。そして、算出した係数α、βおよび式（１０）を用いることにより、ＰＳＦをモデル化することができる。

ところで、式（１０）を用いて近似的なＰＳＦを作成することはできるものの、式（１０）は座標ｘ、ｙに対して回転対称な分布のみ表現可能な関数であり、回転非対称な分布を作成することはできない。撮像光学系のＰＳＦの場合、回転対称な分布になるとは限らないため、回転非対称な分布の形状も表現できるような関数をベースに利用する必要がある。

また、式（１０）を変形した関数として、Ｅｌｌｉｐｔｉｃａｌ Ｍｏｆｆａｔ関数と呼ばれる、以下の式（１１）で表される関数がある。

式（１１）のα、β、γは係数データ、式（１２）は角度θで回転行列である。式（１１）および式（１２）をまとめると、以下の式（１３）のように表現することができる。

式（１３）において、ａ、ｂ、ｃ、σ、βは係数データである。なお、式（１３）を利用する場合、楕円形状を保つには、係数ａ、ｂ、ｃに関して、（ｂ^２－ａｃ＜０）の関係を満たす必要がある。このように、式（１３）または式（１１）を用いることにより、式（１０）では表現できない楕円形状の分布も再現することができる。しかしながら、撮像光学系のＰＳＦのフィッティングに式（１３）を利用する場合、式（１０）に比べると楕円形状も近似できるためその分精度は向上するものの、非対称収差やサジタルハロのような複雑な形状を再現することができない。

そこで本実施例では、撮像光学系の非対称収差やサジタルハロのような複雑な形状のＰＳＦを再現可能な関数として、以下の式（１４）で表される関数を用いる。

式（１４）において、ａ，ｂ，ｃ，ｄ，ｅ，σ，βは係数である。なお、尚、式（１４）についても式（１３）の場合と同様に、係数ａ，ｂ，ｃに関してはｂ^２－ａｃ＜０の関係を満たす必要がある。

図１２（Ａ）はｘｙ座標に対して回転対称な分布を示しており、式（１０）、式（１１）および式（１２）、式（１３）、式（１４）のいずれの関数であっても表現できる。撮像光学系が共軸系であり、像点が光軸上であればＰＳＦも回転対称となるため、いずれの関数を用いてもこうした分布の形状を表現することができる。図１２（Ｂ）、（Ｃ）は、ｘ軸、ｙ軸に楕円の長軸または短軸が重なる楕円形状の分布を示しており、このような分布形状は式（１０）では回転対称系の分布形状しか表現できない。このような分布形状は式（１１）、および、式（１２）、式（１３）、式（１４）のいずれかを用いることで近似精度は向上する。図１２（Ｄ）は、ｘ軸、ｙ軸に楕円の長軸あるいは短軸が重ならない場合の楕円形状の分布を示しており、式（１０）または式（１１）のみではこのような分布形状を表現することができない。このような分布形状の場合は、式（１１）、および、式（１２）、式（１３）、式（１４）のいずれか用いることで近似精度は向上する。

図１２（Ｅ）、（Ｆ）は、ｘ軸に対して対称な分布形状を示しており、式（１０）、式（１１）および式（１２）、式（１３）の関数では、このような線対称な分布形状を表現することはできない。一方、本実施例で利用する式（１４）であれば、ｙ軸に対して対称化されるため、図１２（Ｅ）、（Ｆ）に示される分布形状であっても精度良く近似することができる。前述のように撮像光学系の光軸上の像点におけるＰＳＦは回転対称な形状となるが、光軸に対して垂直な平面（像面）内における光軸上以外の像点では、ＰＳＦは回転対称な分布となるとは限らない。しかしながら光軸上以外の像点であっても、像面内で像点と光軸直線方向（メリジオナル方向）に対し垂直な方向（サジタル方向）に対しては、共軸光学系の場合、その像点上のＰＳＦは対称な分布となる。このように撮像光学系のＰＳＦは回転対称な分布になるとは限らないものの、サジタル方向に対し対称性を有するため、式（１４）のｘ軸をサジタル方向、ｙ軸をメリジオナル方向に一致させることで複雑な非対称収差に対応することができる。

次に、式（１４）における各係数について詳細に説明する。式（１４）の係数のうち、係数ａ、ｂ、ｃは、図１２（Ｄ）に示されるようにＸ軸とＹ軸に長軸と短軸が重ならない楕円分布を生成するための係数である。そして、これらの係数ａ、ｂ、ｃを制御することにより、楕円分布のＸ方向とＹ方向での非対称性を制御することができる。さらに、図１２（Ｅ）、（Ｆ）に示されるように、サジタルハロのような他の関数では表現が困難な収差も表現することができる。

係数ｄは、Ｙ方向（特定方向）において楕円分布を非対称化するための係数であり、この係数ｄを制御することでメリジオナル方向において非対称な形状となる収差に対応することができる。例えば、コマ収差はこの係数ｄを制御することで、より近似精度を向上させることができる。

係数ｅ、σ、βは、楕円分布の拡がりを制御するための係数である。近似する楕円分布の拡がりが大きい場合は係数σを大きくし、近似する楕円分布の形状がピーク付近で急激に変化する場合は係数βを大きくすることで、近似精度を向上させることができる。係数ｅは、楕円分布の拡がりを制限するための係数である。係数ｅ＝０の場合は式（１４）より楕円分布は周辺側でＰ（ｘ，ｙ）＝０に漸近する。このため、楕円分布の拡がりが小さい場合は係数ｅをｅ＞０とすることで近似精度を向上させることができる。なお、撮像光学系のＰＳＦを近似するために、楕円分布はＰ（ｘ，ｙ）≧０とする必要がある。このため、ｅ＞０とした場合は、周辺部ではＰ（ｘ，ｙ）＜０となるが、その場合はクリップしてＰ（ｘ，ｙ）＝０とすればよい。

次に、図１１のステップＳ２２およびステップＳ２３の処理について説明する。ステップＳ２２において、画像処理部２０５（取得部２０５１）は、撮像条件に応じた撮像光学系１０１のＰＳＦの再構成に用いる式（１４）の関数（所定の関数）の係数ａ、ｂ、ｃ、ｄ、ｅ、σ、βのデータを取得する。なお、ある像点に対応する近似ＰＳＦを生成するには、必ずしもこれら全ての係数のデータを取得する必要はない。例えば光軸上のＰＳＦであれば、前述した回転対称な形状となるため、ａ＝ｃ、ｂ＝０、ｄ＝１となる。

また、係数βはべき乗の項であるため、係数βをＰＳＦに応じて変化できるようにすると処理負荷が増大する。このため、β＝１と固定してもよい。このように係数βを固定すると、係数βを有する場合に比べて表現できる形状が減るものの、記憶部１０９に保持する係数データ量の削減や処理負荷の低減を図ることができる。

また、近似精度を向上させるため、係数を追加してもよい。例えば分布の拡がりが小さく、ピークが高くなるようなＰＳＦに対しては、連続関数で高精度にフィッティングするのは難しいため、ＰＳＦのピークあるいはピーク付近の値を直接、係数として設定してもよい。このように、分布が急激に変化する領域を直接、係数として設定することにより、関数で再現する領域をそれ以外の領域とすることができ、近似精度を向上させることが可能となる。また、ステップＳ２２において、画像処理部２０５（取得部２０５１）は、係数データだけでなく、鮮鋭化処理を実行する際に用いる調整係数ｍを取得してもよい。

本実施例において、画像処理部２０５は、このようにして係数データを取得し、係数データを用いて近似ＰＳＦを生成し、近似ＰＳＦに対応するアンシャープマスクＵＳＭを生成する。このため、撮像光学系のＰＳＦに対応するデータを直接保持する場合と比べて、補正精度を維持したまま保持すべきデータ量を大幅に削減することができる。例えば、図７に示されるように、１１×１１タップのアンシャープマスクＵＳＭであれば、１２１個のタップ値のデータを持つ必要がある。ＲＧＢに対するデータを別々に保持する場合にはその３倍になるため、３６３個のタップ値のデータを保持しなければならない。一方、係数を保持する場合、式（１４）の係数は７個であり、ＲＧＢに対する係数を別々に保持する場合であっても２１個となる。このように、係数のデータを保持することで保持データ量を削減することができる。

続いて、ステップＳ２３において、画像処理部２０５（再構成処理部２０５２）は、ステップＳ２２にて取得した係数データを用いてＰＳＦを再構成する（再構成処理）。ＰＳＦは、係数データと係数データを算出する際に利用した関数である式（１４）に基づいて再構成され、本実施例は再構成したＰＳＦをアンシャープマスクして利用する。

図１４は、再構成された点像強度分布関数ＰＳＦの断面図であり、アンシャープマスクとして図の領域Ａの部分を再現させようとする場合には、少し広めの領域Ｂでフィッティングし、係数を生成してもよい。これにより、交換レンズなどにより、後からタップ数やピッチを変更した場合に、領域を増やす方向にも変更することが可能となる。

または、タップ数やピッチ、再構成の精度などが予め決定されている場合、その光学系やセンサに応じた領域で生成してもよい。基本的に、生成されるアンシャープマスクの１つのタップの大きさは、画像を取得した際の撮像素子の一画素の大きさに一致させる必要があるため、一意的に決定される場合にはセンサの画素サイズに合うように生成する。本処理のように、係数からアンシャープマスクを再構成する場合、係数を増やせばその分鮮鋭化の際の補正精度も向上するため、要求精度に合わせて係数の生成および再構成を行うことが好ましい。

図１６は、調整した鮮鋭化フィルタの断面図である。再構成したＰＳＦあるいは鮮鋭化フィルタに対して鮮鋭化効果を向上させるため、図１６（Ｂ）に示されるような、窓関数を適用してもよい。図１６（Ａ）中の破線Ｐ１は再構成されたＰＳＦであって、フィルタサイズよりもサイズが大きいＰＳＦを示している。このように、フィルタサイズより再構成されたＰＳＦのサイズが大きく、その周辺部でも０に近づいていない場合には、そのまま離散化して鮮鋭化フィルタを生成すると、鮮鋭化フィルタによる鮮鋭化の効果が低下する。より具体的には、入力画像において特にコントラストの差の大きい領域でフィルタ係数の不連続性の影響が顕著に現れ、正しく鮮鋭化されない。これは撮像光学系のＰＳＦに対してフィルタのタップ数が少なく、周辺部の情報が欠落しているときに起きるため、タップ数を増やすことで解決することができる。ただし、タップ数が固定されている場合、すなわち仕様として決まっている場合には、別の方法で対処する必要がある。

別の対処方法として、図１６（Ｂ）中の破線で示されるように中央部ではほぼ１で、周辺部に向かって連続的に０に減少する分布を再構成されたＰＳＦに掛け合わせることで、図１６（Ａ）の点線Ｐ２で示される分布となるようにＰＳＦを調整する。そして、図１６（Ａ）の点線Ｐ２で示される調整後のＰＳＦから鮮鋭化フィルタを生成することにより、前述の影響を低減することができる。なお、図１６（Ｂ）に破線で示される分布を離散データとして保持しておき、離散化されたＰＳＦに掛け合わせてもよい。

本実施例の構成、すなわち撮像光学系のＰＳＦを近似して係数として保持し、アンシャープマスクを作成する際にＰＳＦを再構成することにより、さらに保持するデータ量を低減することが可能となる。実施例１で得られる鮮鋭化画像と同様に実施例２の場合についても、撮像光学系の非対称なＰＳＦおよび光学ローパスフィルタによって劣化した入力画像を精度良く補正し鮮鋭化された画像を得ることができる。

次に、本発明の実施例３における撮像装置について説明する。本実施例は、実施例１または実施例２に対して撮像装置の構成が異なり、画像処理方法は図１１を参照して説明した実施例２のフローチャートと同様であるため、ここでは撮像装置の構成についてのみ説明する。

図１５は、本実施例における撮像装置（交換レンズ１とカメラ本体２）のブロック図であり、交換レンズ１およびカメラ本体２の構成を模式的に示している。交換レンズ１（レンズ装置）は、交換式オートフォーカスレンズであり、フォーカスユニット３、モータ４、移動量検出ユニット５、不揮発性ＲＯＭ６、レンズマイコン７、接点ユニット８、および、フォーカスレンズ９を備える。

フォーカスユニット３は、フォーカスレンズ９を光軸ＯＡに沿った方向（光軸方向）に移動可能に保持し、被写体にピントを合わせるための保持機構である。モータ４は、フォーカスユニット３を駆動させるアクチュエータである。移動量検出ユニット５は、モータ４の回転量および回転速度を検出する検出手段であり、フォーカスユニット３の移動量を計測することができる。ＲＯＭ７は、書き換え可能な不揮発性メモリ（記憶手段）である。不揮発性ＲＯＭ６に記憶されるデータは、主に交換レンズ１特有の光学的な特性を示す情報で、カメラ本体２はこの情報を交換レンズ１から取得し、更にこの情報を元に撮影された画像の補正を行っている。

撮像光学系のＰＳＦを再構成するために必要となる係数データや調整係数ｍなどのＰＳＦに関する情報が不揮発性ＲＯＭ６に記憶されており、接点ユニット８を介して、交換レンズ１からカメラ本体２へ通信により送信する。カメラ本体２は、交換レンズ１から送信されたＰＳＦに関する情報からフィルタを生成して補正処理を実行し、鮮鋭化画像を生成する。

レンズマイコン７は、交換レンズ１の内部の各構成要素を制御するレンズ制御手段（制御手段）である。レンズマイコン７は、交換レンズ１とカメラ本体２との間で通信を行うための通信回路（通信手段）、リセット例外処理、Ａ／Ｄ、タイマー、入出力ポート、内蔵ＲＯＭ、および、内蔵ＲＡＭなどの機能を有する。通信回路は、交換レンズ１とカメラ本体２との間で、撮影モード（動画撮影モード、静止画撮影モード）に応じた制御情報を含む通信方式で通信を行う。レンズマイコン７は、通信回路を介して得られた制御情報を用いてレンズや絞りなどの光学素子の駆動制御を行う。接点ユニット８は、交換レンズ１とカメラ本体２との間で通信を行うための複数の金属接点を備え、レンズマイコン７とカメラマイコン１１とを電気的に接続する接続手段である。

カメラ本体２（撮像装置本体）は、測距ユニット１０、カメラマイコン１１、および、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子１２を備える。測距ユニット１０は、被写体までの距離に対するフォーカスユニット３の現在位置のフィルム面でのズレ量を測距する測定手段（焦点検出手段）である。なお、オートフォーカスに関する説明は、本実施例の主旨とは無関係であるため説明は省略する。
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 画像処理部（画像処理装置）
１０５１ 取得部
１０５２ 回転処理部
１０５３ 補正部
１０５４ 鮮鋭化処理部

Claims (25)

1. 光学系を介して生成された撮影画像を取得するステップと、
   所定の関数の係数データを取得するステップと、
   前記係数データを用いて、第１のデータを再構成するステップと、
   前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された前記第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
   回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
   前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、を有することを特徴とする画像処理方法。
2. 前記鮮鋭化処理を行うステップは、前記撮影画像に対して前記第２のデータを用いてアンシャープマスク処理を行うステップを有することを特徴とする請求項１に記載の画像処理方法。
3. 前記第１のデータは、回転非対称な分布を有することを特徴とする請求項１または２に記載の画像処理方法。
4. 前記第２のデータは、回転非対称な分布を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記光学ローパスフィルタの情報に基づいて生成された前記フィルタは、前記撮影画像の位置に関して一律であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記光学ローパスフィルタの情報に基づいて生成された前記フィルタは、複数の色成分に関して共通であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記鮮鋭化処理を行うステップは、前記第２のデータに対して窓関数を適用するステップを有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記鮮鋭化処理を行うステップは、
   前記第２のデータに基づいて鮮鋭化フィルタを生成するステップと、
   前記鮮鋭化フィルタを前記撮影画像に対して畳み込み積分を行うことにより該撮影画像を鮮鋭化するステップと、を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
9. 前記鮮鋭化フィルタは、前記撮影画像の位置に応じた調整係数により調整されることを特徴とする請求項８に記載の画像処理方法。
10. 前記鮮鋭化処理を行うステップは、
    前記第２のデータと前記撮影画像とに基づいて補正成分を生成するステップと、
    前記補正成分を前記撮影画像に対して加算または減算することにより該撮影画像を鮮鋭化するステップと、を有すること特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
11. 前記補正成分は、前記撮影画像の位置に応じた調整係数により調整されることを特徴とする請求項１０に記載の画像処理方法。
12. 前記撮影条件は、像高、焦点距離、Ｆ値、および、撮影距離のうち少なくとも一つを含むことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
13. 光学系を介して生成された撮影画像を取得し、所定の関数の係数データを取得する取得部と、
    前記係数データを用いて、第１のデータを再構成する再構成処理部と、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された前記第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部と、を有することを特徴とする画像処理装置。
14. 光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
    前記画像データに対応する撮影画像を取得し、所定の関数の係数データを取得する取得部と、
    前記係数データを用いて、第１のデータを再構成する再構成処理部と、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された前記第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部と、を有することを特徴とする撮像装置。
15. 光学系を介して生成された撮影画像を取得するステップと、
    所定の関数の係数データを取得するステップと、
    前記係数データを用いて、第１のデータを再構成するステップと、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された前記第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
16. 請求項１５に記載のプログラムを記憶していることを特徴とするコンピュータが読み取り可能な記憶媒体。
17. 光学系を介して生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、を有し、
    前記鮮鋭化処理を行うステップは、前記第２のデータに対して窓関数を適用するステップを有することを特徴とする画像処理方法。
18. 光学系を介して生成された撮影画像を取得する取得部と、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部と、を有し、
    前記鮮鋭化処理部は、前記第２のデータに対して窓関数を適用することを特徴とする画像処理装置。
19. 光学系を介して生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、をコンピュータに実行させるプログラムであって、
    前記鮮鋭化処理を行うステップは、前記第２のデータに対して窓関数を適用するステップを有することを特徴とするプログラム。
20. 光学系を介して生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、を有し、
    前記鮮鋭化処理を行うステップは、
    前記第２のデータに基づいて鮮鋭化フィルタを生成するステップと、
    前記鮮鋭化フィルタを前記撮影画像に対して畳み込み積分を行うことにより該撮影画像を鮮鋭化するステップと、を有し、
    前記鮮鋭化フィルタは、前記撮影画像の位置に応じた調整係数により調整されることを特徴とする画像処理方法。
21. 光学系を介して生成された撮影画像を取得する取得部と、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部と、を有し、
    前記鮮鋭化処理部は、
    前記第２のデータに基づいて鮮鋭化フィルタを生成し、
    前記鮮鋭化フィルタを前記撮影画像に対して畳み込み積分を行うことにより該撮影画像を鮮鋭化し、
    前記鮮鋭化フィルタは、前記撮影画像の位置に応じた調整係数により調整されることを特徴とする画像処理装置。
22. 光学系を介して生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、をコンピュータに実行させるプログラムであって、
    前記鮮鋭化処理を行うステップは、
    前記第２のデータに基づいて鮮鋭化フィルタを生成するステップと、
    前記鮮鋭化フィルタを前記撮影画像に対して畳み込み積分を行うことにより該撮影画像を鮮鋭化するステップと、を有し、
    前記鮮鋭化フィルタは、前記撮影画像の位置に応じた調整係数により調整されることを特徴とするプログラム。
23. 光学系を介して生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、を有し、
    前記鮮鋭化処理を行うステップは、
    前記第２のデータと前記撮影画像とに基づいて補正成分を生成するステップと、
    前記補正成分を前記撮影画像に対して加算または減算することにより該撮影画像を鮮鋭化するステップと、を有することを特徴とする画像処理方法。
24. 光学系を介して生成された撮影画像を取得する取得部と、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成する補正部と、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部と、を有し、
    前記鮮鋭化処理部は、
    前記第２のデータと前記撮影画像とに基づいて補正成分を生成し、
    前記補正成分を前記撮影画像に対して加算または減算することにより該撮影画像を鮮鋭化することを特徴とする画像処理装置。
25. 光学系を介して生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する該光学系の点像強度分布関数の情報に基づいて生成された第１のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    回転処理後の前記第１のデータに対して、光学ローパスフィルタの情報に基づいて生成されたフィルタを畳み込むことにより第２のデータを生成するステップと、
    前記第２のデータを用いて前記撮影画像の鮮鋭化処理を行うステップと、をコンピュータに実行させるプログラムであって、
    前記鮮鋭化処理を行うステップは、
    前記第２のデータと前記撮影画像とに基づいて補正成分を生成するステップと、
    前記補正成分を前記撮影画像に対して加算または減算することにより該撮影画像を鮮鋭化するステップと、を有することを特徴とするプログラム。

Images