JP6124849B2 - 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム - Google Patents

Description

本発明は、画像の鮮鋭化処理に関する。

元画像にアンシャープマスクを適用してぼかした画像と元画像との差分を、元画像に加算あるいは減算することで画像を鮮鋭化するアンシャープマスク処理は知られている。ぼかした画像と入力画像の差分が大きいところほど画像はより鮮鋭化される。また、特許文献１は、像高方向に配列する画素信号列に対して非対称な１次元のフィルタを適用することで光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の影響を低減する方法を提案している。

特開２０１０−８１２６３号公報

しかしながら、従来のアンシャープマスク処理は、アンシャープマスクに回転対称なフィルタを利用しており、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。即ち、収差が大きく発生しているアジムス方向の収差を補正しようとすると収差の小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差が十分に補正できない。

また、特許文献１の方法は、像高方向への非対称性しか考慮しておらず、補正フィルタも１次元となっているため、像高方向以外の方向への非対称性を改善することができない。像高方向とはメリジオナルのアジムス方向である。さらに、フィルタに関しても、マイナスタップ係数の個数でフィルタの非対称性を調整しており、像高方向の補正についても光学系のＰＳＦのぼけ方とは異なるため、従来手法では十分に鮮鋭化することができない。

本発明は、鮮鋭化効果に優れた画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することを例示的な目的とする。

本発明の画像処理装置は、光学系を介した撮像により生成された撮影画像を取得し、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行う処理手段を有し、前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、２次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする。

本発明によれば、鮮鋭化効果に優れた画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することができる。

本発明の撮像装置のブロック図である。（実施例１、２、３） 本発明の画像処理方法を示すフローチャートである。（実施例１、２、３） アンシャープマスク処理による鮮鋭化の模式図である。 ｘｙ平面における撮影光学系のＰＳＦの模式図である。 回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 非回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 アンシャープマスクの模式図と概略断面図である。 本発明の画像処理方法を示すフローチャートである。（実施例１） ベイヤー配列の模式図である。 入力画像の分割方法を説明するための図である。 入力画像の像高方向の補間方法を説明するための図である。 本発明の画像処理方法を示すフローチャートである。（実施例２） 本発明の画像処理方法を示すフローチャートである。（実施例３）

図３は、本実施形態のアンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図であり、図３（Ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像を表し、図３（Ｂ）の実線は補正成分を表している。図３の横軸は座標であり、縦軸は画素値または輝度値である。図３は、後述する図４の所定の方向（例えば、Ｘ方向）における断面に相当する。

元画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は次式で表すことができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ）・・・（１）
数式（１）では、補正信号ｈ（ｘ，ｙ）は定数倍されて入力画像であるｆ（ｘ，ｙ）に加算されている。数式（１）において、ｍは定数であり、ｍの値を変化させることにより、補正量を調整することができる。なお、ｍは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせた調整係数ｍ（ｘ，ｙ）を用いることにより入力画像の位置に応じて補正量を調整することもできる。また、定数ｍや調整係数ｍ（ｘ，ｙ）は光学系の焦点距離や絞り値や被写体距離といった撮影条件に応じて異ならせることもできる。定数ｍの代わりに調整係数ｍ（ｘ，ｙ）を用いることができることは以下の説明においても同様である。

補正成分ｈ（ｘ，ｙ）はアンシャープマスクをＵＳＭとすると、次式のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、ＵＳＭのある座標（ｘ，ｙ）におけるタップ値である。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）・・・（２）
数式（２）の右辺を変形して次式で表すことができる。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））・・・（３）
ここで、＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。「デルタ関数」とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。

数式（２）を変形することで数式（３）を表現できるため、数式（２）と数式（３）は等価である。よって、以下、数式（２）を用いて補正成分の生成について説明する。

数式（２）では、撮影画像ｆ（ｘ，ｙ）と撮影画像ｆ（ｘ，ｙ）をアンシャープマスクＵＳＭでぼかした画像の差分をとり、この差分情報に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクＵＳＭにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。

例えば、図３（Ａ）の実線で示す撮影画像ｆ（ｘ，ｙ）に対して、アンシャープマスクＵＳＭとしてガウシアンフィルタを使用した場合、撮影画像ｆ（ｘ，ｙ）をぼかした画像は図３（Ａ）の破線で示すようになる。補正成分ｈ（ｘ，ｙ）は、数式（２）に示すように、撮影画像ｆ（ｘ，ｙ）とぼかした画像の差分となるため、図３（Ａ）の実線から図３（Ａ）の破線を減算することで図３（Ｂ）の実線で表現される成分となる。このように算出された補正成分を用いて、数式（１）の演算を行うことによって、図３（Ａ）の実線に示す撮影画像ｆ（ｘ，ｙ）を図３（Ａ）の点線のように鮮鋭化することができる。

次に、被写体の光学像を形成する撮影光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。撮影光学系を介して得られた撮影画像ｆ（ｘ，ｙ）は撮影前の画像（被写体の像）をＩ（ｘ，ｙ）、撮影光学系の点光源に対する応答を表す関数であるＰＳＦをｐｓｆ（ｘ，ｙ）とすると、次式のように、表すことができる。

ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ）・・・（４）
ここで、撮影光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なＵＳＭを適用することで撮影画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は撮影画像とアンシャープマスクでぼかした撮影画像の差分値となるため、精度良く補正するためにはアンシャープマスクＵＳＭは単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用した方がよい。例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、回転対称にぼける影響を低減する場合であっても、撮影光学系のＰＳＦを使用する方が精度良く補正することができる。

本実施形態はＵＳＭにＰＳＦを用いる。図３（Ａ）に示す撮影画像ｆ（ｘ，ｙ）は簡略化のため対称な形状となっているが、画像の形状が対称でなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）にかかる劣化関数が回転対称であれば、回転対称なＵＳＭを用いて鮮鋭化することができる。

一方、画像の中心部以外の位置については撮影光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図４は、ｘｙ平面における撮影光学系のＰＳＦの模式図であり、図４（Ａ）は軸上のＰＳＦ、図４（Ｂ）は軸外のＰＳＦを表している。

例えば、元の画像（被写体）が理想点像であったとすると、数式（４）から撮影画像ｆ（ｘ，ｙ）は撮影光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、撮影光学系のＰＳＦの影響を受けて元の画像（被写体）が劣化したとすれば、入力画像として得られる画像は図４（Ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図５、図６は非対称に劣化した画像に対するアンシャープ処理の模式図であり、図５は回転対称なアンシャープマスクを用いた場合、図６は回転非対称なアンシャープマスクを用いて処理を行った場合を示している。縦軸と横軸は図３と同様である。

図５（Ａ）、図６（Ａ）の実線は図４（Ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした撮影画像を表している。図５の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図６の非回転対称なアンシャープマスクには撮像装置のＰＳＦを適用している。

図５（Ｂ）、図６（Ｂ）は、それぞれ各アンシャープマスクでぼかした撮影画像と元の撮影画像の差分値をプロットしたものであり、補正成分を表している。便宜的に、図５（Ａ）、図６（Ａ）においては、撮影画像がＰＳＦによって、よりぼけて裾野が広くなっている方をＹ軸のプラス側とする。

図５（Ａ）では、実線のピーク位置に対してプラス側のぼけた画像と元の画像の差分値が小さく、マイナス側のぼけた画像と元の画像の差分値が大きくなっている。そのため、図５（Ｂ）の補正成分も中心のピーク位置対して右側（プラス側）より左側（マイナス側）の方が極値は小さくなってしまっている。

図５（Ａ）と図５（Ｂ）の曲線を比較すればわかるように、撮影画像のプラス側は補正成分の補正量が小さく、裾野が狭いマイナス側は補正量が大きいため、数式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。例えば、アンシャープマスクを変えずに数式（４）の定数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために定数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になり、画像のマイナス側の補正量を適切になるように定数ｍの値を設定すると、画像のプラス側は補正不足となる。

このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図６（Ａ）では、実線のピーク位置に対してプラス側がぼけた画像と元画像の差分値が大きく、マイナス側がぼけた画像と元の画像の差分値が大きくなっており、この傾向は図５（Ａ）と逆になっている。そのため、図６（Ｂ）の補正成分も中心のピーク位置対して左側（マイナス側）より右側（プラス側）の方が極値は小さくなっている。

図６（Ａ）の実線で表された撮影画像に対して、こうした補正成分を適用すれば、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、そしてマイナス側のぼけが小さい方には補正量が小さくなる。

こうした非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、数式（４）の定数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。また、より精度良く補正を行うためには、補正成分の補正量のバランスはぼけた画像と元の画像の差分となるため、撮影光学系のＰＳＦによってより大きくぼけた部分が、アンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。このように、さらに精度によく補正するには、アンシャープマスクとして撮影光学系のＰＳＦを利用することが理想的である。

続いて、後述の各実施例において利用するフィルタと補正信号、そして各実施例のアンシャープマスク処理について説明する。

実施例１では、数式（１）、（２）により導かれる以下の式を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝・・・（５）
実施例２では、数式（１）、（３）により導かれる以下の式を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝・・・（６）
実施例３では、数式（６）をさらに変形した以下の式を用いて鮮鋭化を実行する。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝・・・（７）
また、数式（７）は次式のように変形することもできる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛（１＋ｍ）×δ（ｘ，ｙ）−ｍ×ＵＳＭ（ｘ，ｙ）｝・・・（８）
実施例３では、数式（７）を用いて鮮鋭化を実行しているが、数式（８）を用いても同様に鮮鋭化を実行することができる。

なお、ＰＳＦは、光学系を介して形成される像の像高、光学系の焦点距離、Ｆ値、および被写体距離を含む撮影条件ごとに異なる。以下の実施例では撮影条件として像高を例に説明しているが、光学系の焦点距離、Ｆ値、および被写体距離に対して異なる収差情報を取得し、それに基づいてアンシャープマスクを生成してもよい。

図１は、実施例１の撮像装置１００のブロック図である。撮像装置１００には、入力画像の鮮鋭化処理（画像処理方法）を行うプログラムが記憶手段１２０にインストールされており、鮮鋭化処理は撮像装置１００の画像処理部１０４（画像処理装置）により実行される。記憶手段１２０は、ＲＯＭやハードディスクドライブなどから構成されるが、後述する記録部１０８が兼ねてもよい。

撮像装置１００は、撮影光学系１０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮影光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体と一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮影光学系１０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの二次元撮像素子である。撮像素子１０２は、撮影光学系１０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。被写体像は、撮像素子１０２により光電変換が行われてアナログ信号（電気信号）に変換され、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換され、このデジタル信号は画像処理部１０４に入力される。

画像処理部１０４は、このデジタル信号に対して所定の処理を行うとともに所定のアンシャープマスク処理を行う画像処理手段である。なお、本実施例では、撮像装置の画像処理部が鮮鋭化処理を行っているが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。

画像処理部１０４は、状態検知部１０７から撮像装置１００の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部１０７は、システムコントローラ１０６から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば、撮影光学系１０１に関する撮像条件情報は、撮影光学系制御部１０５から取得することもできる。

続いて、画像処理部１０４では入力画像に対して画像鮮鋭化処理を行う。画像処理部１０４は、点像強度分布選択部（ＰＳＦ選択部）２０１、補正信号生成部２０２、補正信号適用部２０３を有する。但し、画像処理部１０４が画像処理装置として構成される場合、撮像装置１００のシステムコントローラ１０６は、撮影画像と対応付けて収差情報を記憶してもよい。そして、その場合は、画像処理装置は、補正信号生成部２０２と補正信号適用部２０３を有して、ＰＳＦ選択部２０１を有しなくてもよい。

画像処理部１０４で処理された出力画像を、記録部１０８に所定のフォーマットで保存する。また、記録部１０８は、撮影光学系１０１の撮影条件と撮影光学系のＰＳＦとの関係を記憶する記憶手段としても機能する。
画像表示部１１２は、画像鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。画像表示部１１２には、高速表示のために簡易処理を行って得られた画像を表示してもよい。

以上の一連の処理は、システムコントローラ１０６によって制御される。システムコントローラ１０６は、マイクロコンピュータ、ＣＰＵ（プロセッサ）として構成される。また、撮影光学系１０１の機械的な駆動は、システムコントローラ１０６の指示に基づいて、撮影光学系制御部１０５により行われる。

撮影光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ローパスフィルタなどのＰＳＦの特性に影響を与える光学素子を用いる場合、アンシャープマスクを作成する時点でこの素子の影響を考慮すれば、より高精度な画像鮮鋭化処理が可能である。赤外カットフィルタにおいても、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）の各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、アンシャープマスクを作成する時点でその素子の影響を考慮することがより好ましい。

次に、図２を参照して、本実施例における画像処理方法について説明する。図２は、本実施例の全体的な流れを示すフローチャートであり、「Ｓ」は「ステップ（工程）」を表す。図２に示すフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム（画像処理プログラム）として具現化が可能である。これは他のフローチャートにおいても同様である。図２の各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４により行われる。

まず、撮影画像を入力画像として取得し（Ｓ１１）、続いて、ＰＳＦ選択部２０１は入力画像の撮影条件に対応した撮影光学系のＰＳＦを記録部１０８より取得する（取得ステップＳ１２）。ＰＳＦ選択部２０１が取得するＰＳＦの情報は、２次元のタップのデータや、ＰＳＦの構成要素となる複数の１次元のタップのデータや、係数であってもよい。

次に、補正信号生成部２０２は、Ｓ１２で取得したＰＳＦの情報を用いてアンシャープマスク及び補正信号を生成する（生成ステップＳ１３）。

ここで、図７を参照して、アンシャープマスクについて説明する。アンシャープマスクは撮影光学系の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７（ａ）のアンシャープマスクは、一例として、１１×１１タップの２次元のマスクである。また、図７（ａ）では、各タップ内の値（係数）を省略しているが、このアンシャープマスクの一断面を図７（ｂ）に示す。図７（ｂ）において、横軸はタップ、縦軸はタップの値である。

アンシャープマスクの各タップの値（係数値）の分布は、収差により広がった信号値（撮影光学系のＰＳＦ）の分布が理想的である。このようにＰＳＦの情報を用いてアンシャープマスクを生成してもよいし、ＰＳＦ選択部２０１が取得したＰＳＦをそのままアンシャープマスクとして使用してもよい。補正信号生成部２０２におけるアンシャープマスクを用いて補正信号を生成する場合、補正信号生成の処理については後述する。

次に、補正信号適用部２０３は、Ｓ１３で生成された補正信号を用いて入力画像に対して鮮鋭化処理を実行する（鮮鋭化ステップＳ１４）。Ｓ１４における詳細な処理の内容についても後述する。

図８（ａ）は、本実施例の詳細な処理の流れをフローチャートである。図８（ａ）の各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４により行われる。

まず、撮影画像を入力画像として取得する（Ｓ１１１）。ここでは、入力画像として使用する補正対象としての色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。但し、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢすべてのチャンネルの画像データ、あるいはデモザイキング前の画像データであってもよい。

図９は、離散的な規則配列であるベイヤー配列の模式図である。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として処理してもよいし、ある特定のチャンネルのみ入力画像として使用してもよい。あるいは図９に示すように、ＧチャンネルをＧ１、Ｇ２の２つにわけ、４チャンネルとして取り扱ってもよい。このようにＧチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。

次に、ＰＳＦ選択部２０１は入力画像に対応した撮影光学系のＰＳＦの情報を記録部１０８より取得する（Ｓ１１２）。ＰＳＦ選択部２０１が取得するＰＳＦの情報は、２次元のタップのデータや、ＰＳＦの構成要素となる複数の１次元のタップのデータや、係数であってもよい。２次元のデータを複数の１次元のデータで分解する方法としては、例えば、特異値分解定理などがある。こうした定理を用いて分解された主成分を記録部１０８に記録しておき、撮影条件に応じてＰＳＦの主成分に対応するこれら複数の１次元のタップデータを取得してきてもよい。

ＰＳＦは像高によって変化するため、補正精度を高めるためには、像高に応じてアンシャープマスクを変化させることが好ましいが、記録部１０８に記録するデータ容量はコストアップをもたらす。そこで、本実施例は、アンシャープマスクを像高ごとに変化させるために、入力画像を複数の領域に分割し、領域ごとに少なくとも２点の像高におけるＰＳＦの情報を用いて補間処理を行うことで中間に相当するアンシャープマスクを生成している。補間方法の詳細については後述のＳ１１４において説明する。

次に、入力画像の領域の分割について説明する。図１０は入力画像の模式図であり、便宜上入力画像の長辺方向をｘ軸、短辺方向をｙ軸とし、画像の中心を座標の原点とする。本実施例は、図１０に示すように、一例として、入力画像を領域Ａから領域Ｇの８つの領域に分割し、各領域の周辺部、および原点の点像強度分布関数の情報を取得する。

次に、補正信号生成部２０２はＳ１１２で取得したＰＳＦを用いてフィルタリング処理を行う（Ｓ１１３）。本実施例は、ＰＳＦをアンシャープマスクとして使用し、入力画像にアンシャープマスクをコンボリューション処理（畳み込み積分、積和）する。Ｓ１１２で取得したＰＳＦは周辺８つ中心１つの計９つあるため、それぞれに対応したアンシャープマスクによりぼけた入力画像、つまりアンシャープマスクをフィルタリングした画像データは９つできることになる。

次に、補正信号生成部２０２はＳ１１３で生成した、アンシャープマスクをフィルタリングした複数の画像データ用いて像高方向の補間処理を行い、１つのアンシャープマスクでフィルタリングされた画像データを生成する（補間ステップＳ１１４）。

図１１を参照し、像高方向の補間処理について説明する。図１１において、原点に対して領域Ｃがある方向をｘ軸の正の方向、領域Ａがある方向をｙ軸の正の方向とすると、図１１は、ｘ軸ｙ軸がともに正となる入力画像の第１象限の領域を示している。ここで、Ｐ０は原点、Ｐ１、Ｐ２、Ｐ３はそれぞれ領域Ａ、領域Ｂ、領域Ｃの周辺像高とし、Ｓ１１２においてＰＳＦ選択部２０１が各像高Ｐ０、Ｐ１、Ｐ２、Ｐ３のＰＳＦを取得したとする。

図１１において、白丸で表された点Ｐｎは画像内の任意の点（像高）を表しており、領域Ｂ内の点Ｐｎは点Ｐ０と点Ｐ２のＰＳＦの情報を用いて、Ｓ１１３で作成したアンシャープマスクを入力画像にフィルタリング処理したデータを使用する。同様に、領域Ａ及び領域Ｃ内の点Ｐｎはそれぞれ点Ｐ０と点Ｐ１、点Ｐ０と点Ｐ３の像高に対応するアンシャープマスクを、Ｓ１１３において入力画像にフィルタリング処理したデータを使用する。

続いて、領域内の２つの像高から任意の点Ｐｎにおけるフィルタリング処理したデータに相当する補間データの生成について説明する。図１１に示すように、領域Ｂ内に点Ｐｎがあり、原点Ｐ０からの距離がｄ０、点Ｐ２からの距離がｄ２であるとする。また、Ｓ１１３において、点Ｐ０、Ｐ２に対応するＰＳＦを用いてフィルタリングした入力画像をそれぞれＦ０、Ｆ２とすると、任意の点Ｐｎに相当する補間データＦｎは、次式のようになる。

Ｆｎ＝Ｆ０×（１−ｄ０）＋Ｆ２×ｄ２・・・（９）
このような補間処理を行うことで、各領域内の任意の像高における補間データを生成することができ、Ｓ１１３おいて生成された複数の画像データから１つの画像データが生成される。このようにして生成された画像データは、像高に応じて異なるＰＳＦを用いて入力画像をフィルタリング処理する場合よりもデータ量を少なくすることができるので、処理速度を改善することができる。

なお、数式（９）は第１象限の領域Ｂに関する計算式となっているが、他の領域、他の象限についても同様な演算を行うことにより補間処理後のデータを作成することができる。また、像高の補間に使用する計算式は数式（９）に限らず、計算式に２次曲線を使用したり、あるいは各フィルタリングした入力画像に対してある定数を掛けることで重み付けしてもよい。

次に、補正信号生成部２０２は、Ｓ１１４で生成した補間データを用いて補正信号を生成する（Ｓ１１５）。本実施例において、補正成分は数式（２）で示されるものであり、入力画像とＳ１１４で生成した補間データの差分をとることで生成される。

次に、補正信号適用部２０３は、Ｓ１１５で生成した補正信号を入力画像に適用することによって画像を鮮鋭化する（Ｓ１１６）。本実施例において、補正信号の適用処理は数式（１）に対応し、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して定数ｍの値を決定する。このようにして決定した定数ｍ、Ｓ１１５で生成した補正信号、そして入力画像を使用し、鮮鋭化処理を行う。

数式（１）は第１項と第２項を加算する形で表現されているが、これは定数ｍが正の場合であり、定数ｍが負の場合は減算になる。このように、本実施例の鮮鋭化処理では補正信号を入力画像に適用する際、適用処理が加算あるいは減算となるが、定数ｍの符号の違いによるもので本質的には同じことを意味するため、定数ｍの符号によって変えれば演算はどちらであっても構わない。本実施例では、撮影光学系のＰＳＦをアンシャープマスクに用いているため、入力画像の周辺部にみられるような撮影光学系の非対称なＰＳＦによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。

本実施例では、像高方向の補間をフィルタリング後に行ったが、補正信号に対して行ってもよいし（図８（ｂ））、鮮鋭化後の画像に対して行ってもよい（図８（ｃ））。

図８（ｂ）においては、入力画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数の補正信号を生成する。そして、複数の補正信号を像高方向に補間処理を行って１つの補正信号を生成し、この１つの補正信号を、前記入力画像に適用することによって入力画像を鮮鋭化する。図８（ｃ）においては、入力画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数の補正信号を生成する。そして、複数の補正信号をそれぞれ前記入力画像に適用することによって複数の鮮鋭化後の画像を取得し、複数の鮮鋭化後の画像を像高方向に補間処理を行って１つの鮮鋭化後の画像を生成する。

図８（ｂ）は、補正信号を生成した後に像高方向の補間処理を行う場合の詳細な処理の流れを示したフローチャートである。Ｓ１２１、Ｓ１２２、Ｓ１２３はＳ１１１、Ｓ１１２、Ｓ１１３にそれぞれ対応する。図８（ａ）に対して、Ｓ１１４、Ｓ１１５の処理が異なるため、図８（ｂ）においてそれらの処理に対応するＳ１２４、及びＳ１２５について説明する。

Ｓ１２４において、補正信号生成部２０２はＳ１２３で入力画像に対してアンシャープマスクをフィルタリングしたデータから補正信号を生成する。補正信号は入力画像とフィルタリングしたデータを用いて、数式（２）に基づいて、入力画像とフィルタリングしたデータの差分をとることで生成される。このような処理により生成された補正信号はＳ１２３で生成したデータ分だけ生成される。

次に、Ｓ１２５において、補正信号生成部２０２はＳ１２４で生成した複数の補正信号を用いて像高方向の補間処理を実行する。Ｓ１２５で実行される補間処理は補間する対象が変わるものの、基本的な処理の流れはＳ１１４における補間処理と同様である。Ｓ１１４では、Ｓ１１２で取得したＰＳＦをアンシャープマスクとして入力画像に畳み込んだデータを像高方向に補間している。

一方、Ｓ１２５では入力画像とアンシャープマスクを入力画像に畳み込んだデータの差分を補正信号とし、その補正信号を像高方向に補間処理を行う。数式（２）におけるｆ（ｘ，ｙ）＊ＵＳＭを像高方向に補間するのがＳ１１４であり、ｈ（ｘ，ｙ）を像高方向に補間するのがＳ１２５となる。

よって、Ｓ１１４におけるｆ（ｘ，ｙ）＊ＵＳＭのデータをｈ（ｘ，ｙ）に置き換えることでＳ１２５の処理、つまり補正信号を像高方向に補間処理を実現することができる。このようにして補正信号を補間処理した後の補正信号のデータを用いて、Ｓ１２６において補正信号適用部２０３は入力画像に対して補正信号を適用する。Ｓ１２６における補正信号の適用処理についてはＳ１１６と同様な処理になるため、詳細な説明は割愛する。

次に、図８（ｃ）を参照して、補正信号を適用した後の入力画像に対して像高方向の補間を行う場合の処理の流れを説明する。Ｓ１３１、Ｓ１３２、Ｓ１３３、Ｓ１３４はＳ１２１、Ｓ１２２、Ｓ１２３、Ｓ１２４にそれぞれ対応する。

図８（ｂ）に対してＳ１２５、及びＳ１２６の処理が異なるため、それらの処理に対応するＳ１３５、及びＳ１３６について説明する。Ｓ１３５において、補正信号適用部２０３はＳ１３４で生成した補正信号を用いて、入力画像に対して鮮鋭化処理を行う。Ｓ１３４で生成した補正信号はＳ１３２で選択されたＰＳＦを用いて作成された複数のアンシャープマスクの分だけ生成される。よって、Ｓ１３５では数式（１）に基づいてＳ１３４で生成された複数の補正信号をそれぞれ入力画像に適用することで、鮮鋭化処理を行う。

次に、Ｓ１３６において、Ｓ１３５で生成した複数の鮮鋭化画像を像高方向に補間処理する。Ｓ１３６で実行される補間処理は補間する対象が変わるものの、基本的な処理の流れはＳ１１４、あるいはＳ１２５における補間処理と同様である。Ｓ１２５とＳ１３６を比較すると、数式（１）におけるｈ（ｘ，ｙ）を像高方向に補間するのがＳ１２５であり、ｇ（ｘ，ｙ）を像高方向に補間するのがＳ１３６となる。よって、Ｓ１２５におけるｈ（ｘ，ｙ）のデータをｇ（ｘ，ｙ）に置き換えることでＳ１３６の処理、つまり鮮鋭化後の画像を像高方向に補間処理を実現することができる。

実施例２の撮像装置は、実施例１の撮像装置と同様の構成を有する。実施例２は、図８に示す画像処理方法の代わりに図１２に示す画像処理方法を使用する点で実施例１と相違する。図１２は、実施例２の画像処理方法を示すフローチャートであり、各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４より行われる。

本実施例は、補正信号の生成方法が実施例１と異なる。Ｓ２１１、Ｓ２１２はＳ１１１、Ｓ１１２と同様である。実施例１は、数式（２）に基づいて補正信号を生成するのに対し、本実施例は、数式（３）に基づいて補正信号を生成する。本実施例の補正信号生成部２０２で補正信号を生成する際に、まず理想点像とＰＳＦ選択部２０１が選択してきたＰＳＦの差分をとり、フィルタを生成する（Ｓ２１３）。次に、補正信号生成部２０２は、生成したフィルタを入力画像に対して入力画像を畳み込むことで補正信号を生成する（Ｓ２１４）。Ｓ２１５、Ｓ２１６、Ｓ２１７はＳ１１４、Ｓ１１５、Ｓ１１６と同様であるため、説明を割愛する。これにより、数式（６）に基づく鮮鋭化処理を実行することができる。

なお、像高方向の補間に関しては、実施例１で示すように、補正信号の段階で実行してもよいし、補正信号を入力画像に適用して鮮鋭化した段階で像高方向の補間を実行してもよい。

実施例３の撮像装置は、実施例１の撮像装置と同様の構成を有する。実施例３は、図８に示す画像処理方法の代わりに図１３に示す画像処理方法を使用する点で実施例１と相違する。図１３は、実施例３の画像処理方法を示すフローチャートであり、各ステップは、システムコントローラ１０６の指示に基づいて、画像処理部１０４より行われる。

本実施例は、補正信号の生成方法や補正信号の適用方法が実施例１、２と異なり、本実施例は、数式（７）に基づいてフィルタを生成し、入力画像に対して生成したフィルタを適用する。よって、図１３のフローチャートの中で処理の内容が実施例１、２と異なるところはＳ３１３のフィルタの生成、Ｓ３１４のフィルタの適用になる。Ｓ３１１、Ｓ３１２はＳ１１１、Ｓ１１２と同様である。

本実施例では、Ｓ３１２で選択したＰＳＦをアンシャープマスクとして利用し、数式（７）の中括弧の部分に相当するフィルタを生成する（Ｓ３１２）。なお、本実施例では、補正信号生成部２０２が生成する補正信号はフィルタである。次に、補正信号適用部２０３は、Ｓ３１３において生成したフィルタを入力画像に畳み込みを行い、鮮鋭化する（Ｓ３１４）。本実施例の鮮鋭化処理では、予め撮影光学系のＰＳＦをアンシャープマスクとして生成したフィルタ（補正信号）を、撮影画像に対して一度の畳み込みで鮮鋭化することができる。

以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。

本発明の画像処理方法は、撮像装置や専用の画像処理装置に適用することができる。

１０４…画像処理部、２０１…点像強度分布関数選択部（取得手段）、２０２…補正信号生成部（生成手段）、２０３…補正信号適用部（鮮鋭化手段）

Claims (18)

1. 光学系を介した撮像により生成された撮影画像を取得し、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行う処理手段を有し、
   前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、２次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする画像処理装置。
2. 前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、前記２次元のタップのデータが、像高方向および像高方向以外の方向において非対称に分布しているフィルタを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、
   前記フィルタを前記撮影画像に適用した画像と、前記撮影画像との差分をとることによって補正信号を生成する生成手段と、
   前記生成手段が生成した前記補正信号を定数倍して前記撮影画像に加算することによって、または、前記生成手段が生成した前記補正信号を前記撮影画像の位置に応じた調整係数を用いて調整して前記撮影画像に加算することによって、前記撮影画像を鮮鋭化する鮮鋭化手段と、
   を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理手段は、
   前記点像強度分布関数と理想点像との差分情報に基づいて生成されたフィルタを、前記撮影画像に畳み込み積分することによって補正信号を生成する生成手段と、
   前記生成手段が生成した前記補正信号を定数倍して前記撮影画像に加算することによって、または、前記生成手段が生成した前記補正信号を前記撮影画像の位置に応じた調整係数を用いて調整して前記撮影画像に加算することによって、前記撮影画像を鮮鋭化する鮮鋭化手段と、
   を有することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記処理手段は、
   前記点像強度分布関数と理想点像との差分情報を定数倍して前記理想点像に加算することによって、または、前記差分情報を前記撮影画像の位置に応じた調整係数を用いて調整して前記理想点像に加算することによって、フィルタを生成する生成手段と、
   前記生成手段が生成した前記フィルタを、前記光学系を介した撮像により生成された撮影画像に畳み込み積分することによって前記撮影画像を鮮鋭化する鮮鋭化手段と、
   を有することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記処理手段は、
   １と定数の和と理想点像の積と、前記点像強度分布関数と前記定数の積との差分情報に基づいて、または、前記撮影画像の位置に応じた調整係数と１の和と理想点像の積と、前記点像強度分布関数と前記調整係数の積との差分情報に基づいて、フィルタを生成する生成手段と、
   前記生成手段が生成した前記フィルタを、前記撮影画像に畳み込み積分することによって前記撮影画像を鮮鋭化する鮮鋭化手段と、
   を有することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記撮影条件は、像高、焦点距離、Ｆ値、および被写体距離のうち少なくとも一つを含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記処理手段は、前記撮影画像を構成する複数の色成分のうちの各色成分または特定の色成分に対してアンシャープマスク処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記撮影画像は、色成分ごとに離散的に規則配列された画像データであり、
   前記処理手段は、補正対象の色成分について補間した画像に対してアンシャープマスク処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有し、該取得手段は前記撮影画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における点像強度分布関数を取得し、
    前記処理手段は、前記撮影画像の複数の領域と対応する点像強度分布関数から得られる複数の画像データを用いて像高方向に補間処理を行って１つの画像データを生成し、該１つの画像データを用いて前記補正信号を生成することを特徴とする請求項３または４に記載の画像処理装置。
12. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有し、該取得手段は前記撮影画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における点像強度分布関数を取得し、
    前記処理手段は、複数の点像強度分布関数に基づいて複数の補正信号を生成し、該複数の補正信号を像高方向に補間処理を行って１つの補正信号を生成し、前記１つの補正信号を、前記撮影画像に適用することを特徴とする請求項３または４に記載の画像処理装置。
13. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有し、該取得手段は前記撮影画像に設定された複数の領域のそれぞれについて少なくとも２点の像高における点像強度分布関数を取得し、
    前記処理手段は、複数の点像強度分布関数に基づいて複数の補正信号を生成し、前記複数の補正信号をそれぞれ前記撮影画像に適用することによって複数の鮮鋭化後の画像を取得し、前記複数の鮮鋭化後の画像を像高方向に補間処理を行って１つの鮮鋭化後の画像を生成することを特徴とする請求項３または４に記載の画像処理装置。
14. 光学系が形成した被写体の光学像を光電変換する撮像素子と、
    前記撮像素子から得られる撮影画像を処理する画像処理部と、を有し、
    前記画像処理部は、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行い、
    前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、２次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする撮像装置。
15. 前記光学系の撮影条件と前記光学系の点像強度分布関数との関係を記憶する記憶手段を有することを特徴とする請求項１４に記載の撮像装置。
16. 前記光学系を有することを特徴とする請求項１４または１５に記載の撮像装置。
17. 光学系を介した撮像により生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、
    を有し、
    前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、２次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする画像処理方法。
18. コンピュータに、
    光学系を介した撮像により生成された撮影画像を取得するステップと、
    前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、
    を含む処理を実行させるための画像処理プログラムであって、
    前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、２次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする画像処理プログラム。