JP6255892B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラなどによる撮影画像では、解像度の劣化が生じていることが多い。このような劣化は、レンズ光学系の収差や開口サイズの画角依存性のため、光軸中心部に対して周辺部に生ずる傾向があり、安価なレンズ光学系では顕著である。そこで、撮影画像において、このような光学系による周辺部の画像劣化を画像処理により回復させることが試みられている。

例えば、第１マークと第２マークを有するキャリブレーション用チャートを少なくとも２方向から撮影してマークの位置を特定するなどの処理を行うことにより、画像データの劣化を回復させることを目指した例がある。画像データの回復項目に対応する画像領域を画像データから抽出し、回復項目の調整操作に応じて回復フィルタを調整し、回復フィルタによって画像領域の回復処理を行う画像処理装置も知られている。また、複数の指標が含まれるパターン画像から検出された指標の第１の位置と、撮像装置に係るパラメータを用いて計算された指標の第２の位置との差に基づいて補正を行う方法も知られている（例えば、特許文献１〜３参照）。

また、上記のように、画像において検出された指標の位置などに基づき補正を行う方法では、有限個の指標を用いるため、補間処理が必要になる。このため、補間処理を行う方法も知られている（例えば、特許文献４参照）。

特開２００３−３０７４６６号公報 特開２０１１−１９３２７７号公報 特開２００７−３４９８５号公報 特開２００４−４８１１２号公報

しかしながら、上記のように、画像において検出された指標の位置などに基づき補正を行う方法において補間処理を用いても、例えば、解像度の劣化に異方性がある等の理由により、適切に補正が行えない場合がある。

ひとつの側面によれば、本発明の目的は、画像において、解像度の劣化を精度よく補正するフィルタを生成することができるようにすることである。

ひとつの態様である画像処理装置は、解像度算出部、補間部、及びフィルタ算出部を有している。解像度算出部は、画像上の少なくとも二点に対応する解像度の状況を示す解像度情報を、画像に基づきそれぞれ算出する。補間部は、少なくとも二点以外の画像上の一点に対応する解像度情報を、少なくとも二点のそれぞれに対応する解像度情報と、少なくとも二点および一点の画像上の位置とに基づき算出する。フィルタ算出部は、一点に対応する解像度情報に応じて、画像の前記一点を含む領域を補正するためのフィルタを算出する。この画像処理装置において、解像度情報は、画像の各点に対応する解像度に応じた解像度値、当該解像度の異方性を示す異方性度、および当該解像度の異方性に対応する角度を有し、当該解像度値、当該異方性度、及び当該角度は、少なくとも二点のそれぞれに対して、少なくとも２つの方向のそれぞれにおいて間隔及び幅の異なる線を順次等距離の位置に備えた模様を含む被写体を撮影した画像における、当該模様に対応する輝度値の振幅が同一の点の分布が形成する楕円の大きさ、楕円率、画像における当該楕円の角度に対応する。

実施形態の画像処理装置、画像処理方法及びプログラムによれば、画像において、解像度の劣化を精度よく補正するフィルタを生成することができる。

第１の実施の形態による画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。 第１の実施の形態による係数分析部の構成の一例を示すブロック図である。 第１の実施の形態による補間部の構成の一例を示すブロック図である。 第１の実施の形態による光学系の一例を示す図である。 第１の実施の形態による画像位置に応じた開口の例を示す図である。 第１の実施の形態による画像位置に応じたボケの方向の一例を示す図である。 第１の実施の形態によるチャートを用いる場合の解像度を説明するための図である。 第１の実施の形態によるチャートで解像度を計測した結果を示す図である。 第１の実施の形態による撮影画像位置による解像度劣化の相違の一例を示す図である。 第１の実施の形態によるチャートにおける解像度の異方性を示す図である。 第１の実施の形態によるチャートの解像度分析結果を示す図である。 第１の実施の形態による撮影画像中央部のチャートの解像度分析結果を示す図である。 第１の実施の形態によるＰＳＦの算出方法を説明する図である。 第１の実施の形態によるＰＳＦをフーリエ変換したときの特性例を示す図である。 第１の実施の形態による楕円のＰＳＦの一例を示す図である。 第１の実施の形態による楕円のＰＳＦをフーリエ変換した図である。 第１の実施の形態によるＫ（ω，θ）の逆数を示す図である。 第１の実施の形態による一定値を分母に足した場合のフィルタの一例を示す図である。 第１の実施の形態による高周波ほどゲインを落とす場合のフィルタの一例を示す図である。 第１の実施の形態によるチャートに基づきフィルタを算出した例を示す図である。 第１の実施の形態による９個のチャートから９個のフィルタを算出した例を示す図である。 第１の実施の形態によるフィルタの算出位置の配置例を示す図である。 フィルタの補間処理の比較例を示す図である。 フィルタを補間により算出する比較例を示す図である。 フィルタを補間により算出する比較例を示す図である。 要素同士の補間によるフィルタ算出の比較例をまとめた図である。 回転によりフィルタの補間を行う比較例を示す図である。 第１の実施の形態における補間を説明する図である。 第１の実施の形態によるフィルタの補間を説明する図である。 第１の実施の形態によるフィルタテーブルの一例を示す図である。 第１の実施の形態による解像度テーブルの一例を示す図である。 フィルタ算出例の比較の一例を示す図である。 第１の実施の形態による撮像装置の全体的な処理を示すフローチャートである。 第１の実施の形態による補間処理を示すフローチャートである。 変形例による補間部の構成の一例を示すブロック図である。 変形例による角度算出方法を説明する図である。 変形例による角度算出方法を説明する図である。 第２の実施の形態による撮像装置の概略構成の一例を示すブロック図である。 第３の実施の形態による係数分析部の構成の一例を示すブロック図である。 第３の実施の形態による重み係数の決定処理の一例を説明する図である。 第３の実施の形態による重み係数の決定処理の一例を説明する図である。 第３の実施の形態による画像補正後の解像度の分析結果を示す図である。 第３の実施の形態による画像補正後の解像度の分析結果を示す図である。 第３の実施の形態によるフィルタ算出の処理を示すフローチャートである。 第３の実施の形態によるフィルタ算出の処理を示すフローチャートである。 第４の実施の形態によるボケが画像の中心に対して非対称の場合を示す図である。 第４の実施の形態によるボケが非対称な場合の角度算出方法の一例を示す図である。 第４の実施の形態による解像度情報の算出方法の効果を示す図である。 第５の実施の形態による画像のボケを表すＰＳＦと、要素数が５×５のフィルタとの大きさの関係の一例を示す図である。 第５の実施の形態による複数段のフィルタの構成例を示す図である。 第５の実施の形態による複数段のフィルタの構成例を示す図である。 第５の実施の形態によるフィルタ制御部及びフィルタ処理部の構成の一例を示すブロック図である。 第５の実施の形態におけるフィルタ制御部及びフィルタ処理部の構成の一例を示すブロック図である。 第５の実施の形態によるフィルタの分割の一例を示す図である。 第５の実施の形態によるフィルタの分割の一例を示す図である。 補正用被写体におけるチャートの配置の一例を示す図である。 補正用被写体におけるチャートの配置の一例を示す図である。 補正用被写体におけるチャートの配置の一例を示す図である。 補正用被写体におけるチャートの配置の一例を示す図である。 標準的なコンピュータのハードウエア構成を示す図である。

（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による画像処理装置について説明する。図１は、第１の実施の形態による画像処理装置を含む撮像装置１００の概略構成の一例を示すブロック図である。図１に示す撮像装置１００は、被写体として補正用被写体２０を撮影し、画像を補正するフィルタを算出するための装置である。図１に示すように、撮像装置１００は、光学系１、撮像素子２、Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ（ＡＦＥ）３、画像処理部４、後処理部５、駆動制御装置６、制御装置７、画像メモリ８、表示部９、係数分析部１０、及び補間部１３を備える。

図１の例では、補正用被写体２０には、チャート２５が、中心と四隅に配置されている。チャート２５は、楔形を放射状に配置した模様であり、シーメンスターと呼ばれる。例えば、光学系１は、レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２を含む。レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２は、補正用被写体２０などの被写体からの光を撮像素子２の撮像面に集光させて被写体の像を結像する。駆動制御装置６は、レンズ１１ａ、１１ｂ、１１ｃの位置や絞り１２の絞り度合い等を制御する装置である。なお、光学系１は一例であり、その構成は特定のものに限定されない。

撮像素子２は、光学系１によって集光された被写体からの光を電子信号（アナログ信号）に変換する。撮像素子２は、例えば、Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）／Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）等の二次元撮像素子を含む。撮像素子２は、被写体の像を電子信号（画像信号）に変換してＡＦＥ３へ出力する。

ＡＦＥ３は、撮像画像のアナログ信号をデジタル信号に変換する。ＡＦＥ３は、例えばＡｎａｌｏｇ／Ｄｉｇｉｔａｌ（Ａ／Ｄ）コンバータ３１及びタイミングジェネレータ３２を含む。タイミングジェネレータ３２は、制御装置７からの制御信号に基づいて、撮像素子２の駆動に用いられるタイミングパルスを生成し、撮像素子２及びＡ／Ｄコンバータ３１へ出力する。Ａ／Ｄコンバータ３１は、タイミングパルスに応じて、アナログ信号をデジタル信号に変換する。

画像処理部４は、ＡＦＥ３からのデジタル信号の画像を保存して画像処理を行う。画像処理部４は、ＲＡＷメモリ４１を含む。ＲＡＷメモリ４１は、例えばＡ／Ｄコンバータ３１でデジタル信号に変換された画像（ＲＡＷ画像）を記録する。画像処理部４は、ＲＡＷ画像に対して、例えば圧縮処理等、所定の処理を施してもよい。所定の処理が施された画像は画像メモリ８に記録される。

後処理部５は、所定の処理を経た画像に対して更に、例えば色調を変化させるなど必要な処理を施して表示画像を生成する。後処理部５は、例えば、所定の処理が施された画像を画像メモリ８から読み出して、表示するための画像を生成する処理を行い、表示部９へ出力する。

画像メモリ８は、所定の処理後の画像を記憶する。表示部９は、例えば、画像を記録するＶｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＶＲＡＭ）、及びＶＲＡＭの画像を出力するディスプレイを含むことができる。なお、撮像装置１００は、表示機能を必ずしも備えなくてもよく、表示部９の替わりに、表示用の画像を記録する記録部（例えば、ＶＲＡＭ等）が設けられてもよい。駆動制御装置６は、光学系１を制御する。制御装置７は、ＡＦＥ３、及び後処理部５を制御する。

係数分析部１０は、チャートが撮影された画像から、各画像位置での解像度を分析し、解像度の異方性を改善するための適切なフィルタデータを決定する。係数分析部１０の詳細は後述する。補間部１３は、係数分析部１０で解析された結果に基づき、補正用被写体２０による画像から算出されなかった画像上の点（例えば画素位置）に対応して、補間によりフィルタを算出する。補間により対応するフィルタが算出される点を補間位置ともいう。

フィルタデータは、例えば、デコンボリューションカーネルのように、画像補正のためのフィルタリングに必要なパラメータの集合とすることができる。デコンボリューションカーネルは、具体的には、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ（ＰＳＦ）に応じた円形又は楕円形の被写体の像の分布する領域と、領域における各画素の重みを表すデータで表すことができる。このようなデータをデコンボリューション分布と称する。

図２は、係数分析部１０の構成の一例を示すブロック図である。図２に示すように、係数分析部１０は、解像度算出部１０１、フィルタ算出部１０２、及びフィルタメモリ１０３を有している。解像度算出部１０１は、画像の位置に応じて、補正用被写体２０におけるチャート２５の解像度劣化を少なくとも撮像素子２方向で分析する。

例えば、解像度算出部１０１は、横軸に１ピクセルあたりのライン数、縦軸に振幅強度をとった場合の両者の関係により解像度の分析を行うようにしてもよい。解像度算出部１０１は、後述する解像度情報の角度、異方性度、解像度値を算出する。すなわち解像度算出部１０１は、補正用被写体２０の各チャート２５に対応する画像における輝度の振幅値について、ある一定閾値（最大振幅の半分程度）で等高線を作って楕円を求める。求められた楕円が解像度情報に対応している。以下、解像度情報に対応する楕円を、解像度情報の楕円ともいう。解像度情報において、角度は、求められた楕円の画像における向きを示す角度である。異方性度は、求められた楕円の楕円率である。解像度値は、楕円の大きさ（短軸または長軸の長さ）である。

なお、求められた解像度情報は、例えば解像度情報の楕円の中心の点に対応する解像度情報、などという。また、解像度情報の楕円の中心点に対応する例えば画素の位置を、解像度情報の算出位置ともいう。

解像度算出部１０１は、求めた楕円の長軸と短軸の比率として楕円率を算出できる。解像度算出部１０１は、画像におけるチャート２５の位置に基づいて、例えば幾何学的に解像度情報の角度θ１を算出する。例えば、角度θ１は、画像の光軸中心に対応する画像上の点から解像度情報の算出位置の方向として角度θ１を算出する。また、解像度算出部１０１は、解像度情報の楕円の長軸、短軸から角度θ１を算出することもできる。長軸、短軸から角度θ１を算出した方が、実際のボケ具合に合わせて角度を算出することができる。

解像度算出部１０１は、解像度情報の角度として、例えば画像の縦方向と、楕円の半径方向との角度を算出すればよい。ここで角度の基準は、画像の縦方向に限定されない。光軸中心は、基本的には画像中心だが、レンズの位置ずれにより中心がずれる場合もある。解像度情報の角度、異方性度、楕円の大きさは、相対的な値でもよい。解像度算出部１０１は、算出された解像度情報を、算出位置と対応付けて、後述する解像度情報テーブルとして、例えばフィルタメモリ１０３に記憶させる。

フィルタ算出部１０２は、この算出された解像度情報からＰＳＦを決定する。このときのＰＳＦの楕円は、解像度情報の楕円とは９０度回転した形状となる。フィルタ算出部１０２は、画像のＰＳＦに応じたフィルタを算出する。フィルタ算出部１０２が算出するフィルタは、画像を補正するための逆フィルタであるが、以下、単にフィルタという。フィルタ算出部１０２は、算出されたフィルタを、算出された画像上の位置と関連付け、後述するフィルタテーブルとして例えばフィルタメモリ１０３に記憶させる。

図３は、補間部１３の構成の一例を示すブロック図である。図３に示すように、補間部１３は、補間位置特定部３５、補間元特定部３６、解像度情報補間部３７を有している。補間位置特定部３５は、解像度算出部１０１で解像度情報が算出された位置以外の画像上の位置を、補間によるフィルタ算出対象の算出位置（補間位置ともいう）として特定する。補間元特定部３６は、補間位置特定部３５で決定された補間位置におけるフィルタ算出を行うために利用する複数の補間元位置を特定する。このとき補間元位置は、解像度算出部１０１で解像度情報を求めたいずれかの算出位置とする。なお、補間位置特定部３５、補間元特定部３６は、それぞれの位置を特定するためにフィルタメモリ１０３に記憶された解像度情報を参照することが好ましい。

解像度情報補間部３７は、解像度情報の角度、解像度値、異方性度を、補間により算出する。補間の方法には、例えば特許文献４に記載のような、ニアレストネイバ法、バイリニア法、バイキュービック法などの方法を用いることができる。このとき、角度は、画像の縦方向または横方向に対する角度とすることができる。補間部１３は、補間された解像度情報を係数分析部１０に出力する。係数分析部１０は、補間された解像度情報から、上述した方法でフィルタ算出部１０２によりフィルタを算出し、フィルタメモリ１０３に記憶させる。

以上のようにして、撮像装置１００により、画像上の複数の点におけるそれぞれのフィルタが算出される。算出されたフィルタは、算出位置、または補間位置と対応付けて、例えば係数分析部１０に設けられたフィルタメモリ１０３のフィルタテーブルに保存されるようにしてもよい。

次に、上記のような撮像装置１００における解像度劣化の一つの要因について、図４〜６を用いて説明する。図４は、光学系の一例を示す図である。図５は、画像位置に応じた開口の例を示す図である。図４に示す光学系を用いる場合、図５に示すように、光軸中心での開口は円形である。しかし、画角が大きい場合の開口はけられが生じ、画像位置によって楕円となる。開口が狭くなると解像度は劣化するため、開口の形状と、本実施の形態における解像度情報の楕円の形状とは対応している。

図６は、画像位置に応じたボケの方向の一例を示す図である。図４に示す光学系を用いる場合、図６に示すように、開口が狭くなると解像度が劣化するので、ボケは半径方向により劣化する傾向がある。半径方向とは、ここでは光軸中心から画像の端部に向かう方向である。図６において、楕円の中心からの距離の大きさがボケの大きさを示し、楕円の中心から楕円上の点への方向がボケの方向を示している。図６に示したように、光軸中心を中心とする同心円を描いたときに、半径方向のボケが大きい。なお、半径方向に直交する方向を円周方向という。ボケが大きいとは、解像度が相対的に低いことをいう。

次に、本実施の形態における解像度情報に関係する解像度の分析について説明する。上記のように、放射状にエッジが分布するチャート２５のような模様の撮影により、解像度の劣化の傾向が詳細に分析できる。

図７は、チャートを用いる場合の解像度を説明するための図である。図７に示す例では、矢印２６方向に解像度を計測するために、この方向と垂直な方向に複数データを取得する。図７に示すチャートを用いる場合、チャート２５の端部から中心部に向かうほど、ライン幅が狭くなり、単位ピクセル当りのライン数は多くなる。チャート２５の中心部は、高周波成分を表す。また、端部から中心部に向かうほど、輝度値の振幅（Ｉｎｔｅｎｓｉｔｙ）は減少する。

図７に示すチャート２５のように、放射状に広がる、例えば楔形形状の被写体を用いることで、方向による解像度（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＭＴＦ）を分析することが可能になる。なお、チャートはシーメンスターに限定されず、空間周波数に対する解像度の変化が計測可能であればよい。

図８は、チャート２５で解像度を計測した結果を示す図である。図８は、図７の矢印２６に示す方向で解像度を計測したグラフを示す。図８に示す縦軸は輝度値の振幅を示し、横軸は１ピクセル当りのライン数（Ｌｉｎｅ Ｐａｉｒ：ＬＰ）を示す。この分析では、振幅が中心部へ向かうほど小さくなり、高周波成分（横軸右方向）になるほど劣化していく様子（ＭＴＦ）を分析できる。

図９は、撮影画像位置による解像度劣化の相違の一例を示す図である。図９に示す例では、チャートを複数枚並べて撮影すると、中央部に対する端部での解像度の劣化を分析できる。図９に示す例では、Ｄｘ方向は円周方向、Ｄｙ方向は半径方向を示す。Ｄｘ方向とＤｙ方向の定義は、以降の図においても同様である。

図１０は、チャート２５における解像度の異方性を示す図である。図１０に示すように、画像端部を含む周辺部では、単に解像度が劣化しているだけでなく、解像度に異方性があることがわかる。すなわち、チャート２５では、半径方向のほうが、円周方向よりもボケが大きく、解像度が劣っている。

図１１は、図１０に示したチャートの解像度分析結果を示す図である。図１１に示すように、半径方向の解像度が円周方向の解像度よりも劣化している。これにより、画像端部では、解像度に異方性があることが分かり、その解像度を定量的に測定することが可能である。

図１２は、撮影画像中央部のチャートの解像度分析結果を示す図である。ここでのチャートは、例えば図９におけるチャート２７である。図１２に示すように、半径方向の解像度と、円周方向の解像度とは、それほどの違いはない。よって、画像中央部では、解像度の異方性は見られない。このように、チャート２５、２７の解像度を比較すると、中央部では、解像度の異方性が少ないが、端部では、異方性がより大きい。

上記のような解像度劣化を含むボケを補正するには、点広がり関数（ＰＳＦ）を用いて補正する手法がある。ＰＳＦは、例えばボケの度合いを表す関数ともいえる。本実施の形態において、ＰＳＦは、解像度情報の楕円を９０度回転させた楕円として表される。

図１３は、ＰＳＦの算出方法を説明する図である。図１３に示すように、チャート２５において、図７に示した輝度値の振幅が同一の値を有する点を結ぶことにより、解像度情報の楕円５１が得られる。この楕円５１を９０度回転させることにより、ＰＳＦ５３が得られる。

ここで、元画像をｘ、ＰＳＦをｋとすると、ボケ画像ｙは、ｘとｋを畳み込みした画像となり、下記の式１で表される。

実際にはノイズｎが含まれるが、ここでは説明を簡単にするため省略する。
式１は、フーリエ変換されると、式２になる。
Ｙ（ω）＝Ｋ（ω）Ｘ（ω）・・・（式２）
ここで、ωは、空間周波数である。

次に、フィルタＫｉｎｖは、単純に求めようとすると、Ｋの逆数で求められる。
Ｋｉｎｖ（ω）＝１／Ｋ（ω）・・・（式３）
これより、元画像のフーリエ変換Ｘ（ω）は、式４で求められ、これを逆フーリエ変換することにより元画像が算出される。
Ｘ（ω）＝Ｋｉｎｖ（ω）Ｙ（ω）・・・（式４）

このようにＰＳＦをフーリエ変換し、逆数によるフィルタ関数（逆フィルタ）を算出する際に、空間周波数での割り算を行うため、高周波領域でゼロ割が生じてしまう場合がある。ゼロ割とは、“０”又は“０”に近い値で割り算することである。高周波でＫ（ω）が“０”に近いと逆数が大きくなりすぎ、高周波のノイズが強調されてしまう。

図１４は、ＰＳＦをフーリエ変換したときの特性例を示す図である。図１４において、横軸は周波数ωであり、縦軸はＫ（ω）を示している。図１４に示すように、Ｋ（ω）は、高周波では“０”に近くなる。このように、Ｋ（ω）が“０”に近くなると、Ｋｉｎｖ（ω）では、高周波でのノイズが拡大されてしまう。そこで、この高周波でのノイズを低減するために、式５のように、分母に補正項を挿入して高周波での強調を防ぐ。
Ｋｉｎｖ（ω）＝１／（Ｋ（ω）＋λ）・・・（式５）
フィルタは、複素数なので、共役複素数を用いて表す。

ここで、ＰＳＦが楕円の場合について考える。図１５は、楕円のＰＳＦの一例を示す図である。図１５に示す例では、Ｄｘ方向よりもＤｙ方向の方が、解像度が悪いことを示す。つまり、Ｄｙ方向の方が、Ｄｘ方向よりも解像度が劣化している。

楕円のＰＳＦを、ｋ（ｒ，θ）で表す。ここで、ｒは半径を表し、θは方向を表す。このように、楕円のＰＳＦは、半径ｒと方向θの関数として表される。楕円のＰＳＦをフーリエ変換すると、Ｋ（ω，θ）＝ｆｋ（ｒ，θ）となる。ｆは、フーリエ変換を表す。例えば、フーリエ変換後のＫ（ω，θ）は、空間周波数ωと方向θの関数である。

図１６は、楕円のＰＳＦをフーリエ変換した図である。図１６において、横軸は周波数ωであり、縦軸はＫ（ω，θ）を示している。図１６に示すように、Ｄｘ方向と、Ｄｙ方向とでは、解像度の特性が異なることが分かる。

図１７は、Ｋ（ω，θ）の逆数を示す図である。図１７において、横軸は周波数ωであり、縦軸はＫｉｎｖ（ω，θ）を示している。Ｋｉｎｖ（ω，θ）は、下記の式７で表される。Ｋｉｎｖ（ω，θ）では、例えば高周波では分母が“０”に近いので高周波でのノイズが拡大されてしまう。
Ｋｉｎｖ（ω，θ）＝１／Ｋ（ω，θ）・・・（式７）

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。式８は、高周波のノイズを低減するフィルタを表す。

図１８は、式８で表されるような、一定値を分母に足した場合のフィルタの一例を示す図である。図１９は、高周波ほどゲインを落とす場合のフィルタの一例を示す図である。本実施の形態では、図１８や図１９に示すように、周波数成分ごとに重みを加えてノイズを低減することが好ましい。

以上のように、例えば、撮像装置１００は、補正用被写体２０を撮影することにより、５つのチャート２５、２７等の中心の位置におけるフィルタを求める。図２０は、チャートに基づきフィルタを算出した例を示す図である。図２０に示すように、チャート２５、２８に対応してそれぞれフィルタ５２、５４が算出されている。

フィルタ５２、５４では、フィルタの強度を白黒で表しており、白いほうが強度が強く、黒いほうが強度が小さい。フィルタ５２、５４は、それぞれ半径方向と円周方向に関して異方性を有していることが、図の濃淡で示されている。すなわち、フィルタ５２、５４は、半径方向の強度差が大きくなっており、解像度劣化が大きい半径方向の解像度を改善するようなフィルタとなっている。また、フィルタ５２、５４は、楕円形状に相当した強度の形状となっている。すなわち、フィルタにはチャート測定により得られた解像度情報が反映されている。

図２１は、９個のチャートから９個のフィルタを算出した例を示す図である。図２１に示すように、補正用画像５５は、９個のチャートを有している。上述したように、それぞれのチャートについてＭＴＦを求めることにより、解像度情報が得られる。解像度情報例５７は、解像度情報の楕円をチャートの位置に応じて示した例である。解像度情報例５７は、それぞれのチャートに対応する解像度情報の楕円６１、６４、６５などを示している。

フィルタ７０は、解像度情報例５７の楕円６１、６４などを９０度回転させたＰＳＦに基づき算出されたフィルタを示している。フィルタ７０は、９個のチャートに対応する９個のフィルタ７１−７９を有している。

図２１のフィルタ７０においては、強度を白黒で表しており、白に近い方がフィルタ強度は強く、黒に近い方が強度は小さい。また、一つのフィルタでは、強度差が大きいほうが、大きな解像度劣化を改善するフィルタとなっている。また、フィルタの強度分布と解像度情報の楕円の形状とは互いに対応している。

フィルタ７１−７９は、それぞれの解像度が悪い方向を改善する方向に設計されている。一般的には半径方向の解像度劣化が大きいので、半径方向の解像度を改善するようなフィルタ特性となる。また、補正用画像５５の周辺にいくほど振幅強度が強い傾向のフィルタとなっている。解像度情報の楕円が大きいほど、フィルタ強度は強い傾向である。

しかしながら、上記の方法では一つのチャートから算出されるフィルタは一つであるから、チャート数が少ない場合は、情報量が少ない。そこで、例えば、チャートから算出されたフィルタに基づき補間によりフィルタを算出する処理を行い、より多くのフィルタによって画像を補正する方法が考えられる。

図２２は、フィルタの算出位置の配置例を示す図である。図２２に示すように、フィルタ算出位置配置例５９では、９個のフィルタ算出位置６７、６８などが示されている。フィルタ算出位置配置例８０では、１０８個のフィルタ算出位置８１、８３等が示されている。このように、フィルタの算出位置を増加させる。

図２３は、フィルタの補間処理の比較例を示す図である。フィルタ７０は９個のフィルタの算出位置に対して算出されたフィルタ７１−７９を示している。フィルタ算出例８５は、補間処理により、１０８個のフィルタの算出位置に対して算出されたフィルタを示している。なお、フィルタ７１−７９は、それぞれ有限個の要素から構成されている。フィルタ算出例８５は、比較のため、フィルタ７１とフィルタ７４との有限個の要素同士を補間することにより算出した１０８個のフィルタの例を示している。

図２４は、図２３に示したフィルタ７１とフィルタ７４との間の位置のフィルタを補間により算出する比較例を示している。図２４に示すように、フィルタ７１とフィルタ７４から、フィルタ８６が生成される。フィルタ８６は、フィルタ７１とフィルタ７４との有限個の要素同士を補間することにより算出されているとする。このとき、算出されたフィルタ８６の算出位置に基づく半径方向は、矢印８７の方向である。すなわち、フィルタ８６に対応する算出位置では、矢印８７の方向が、解像度の異方性を示す方向である。しかし、要素同士の補間により算出されたフィルタ８６の異方性を示す方向は、矢印８８の方向となっており、実際の異方性を示す方向とずれてしまっている。このように、フィルタ７１がフィルタ７４に比べて強度が大きいので、フィルタ７４の解像度情報が欠落し、フィルタ７１の解像度情報が優先して残ってしまう。

図２５は、フィルタ７１と、フィルタ７５との間の位置のフィルタを補間により算出する比較例を示している。図２５は、異方性の方向は同じだが、強度差が大きいフィルタ７１とフィルタ７５とを補間する例である。図２５では、フィルタの形状として、それぞれフィルタに対応する解像度情報の楕円を表している。図２５に示すように、異方性の方向が同じフィルタを用いて補間を行う場合、解像度情報の楕円の形状は、強度の大きいフィルタ７１が優先されてしまい、フィルタ７５の情報が欠落した形になってしまう。上記比較例の、フィルタの要素同士を補間する例のように補間の際にデータが欠落してしまうと、解像度の悪い方向を改善するという効果が低下してしまう。

図２６は、要素同士の補間によるフィルタ算出の比較例をまとめた図である。図２６に示すように、解像度情報の楕円６１、６４からそれぞれフィルタ７１、７４を算出し、要素同士を補間すると、フィルタ７１の影響を強く受けたフィルタ８６が算出されてしまう。

図２７は、算出されたフィルタ８６を回転することにより、フィルタの補間を行う比較例を示す図である。図２７に示すように、フィルタ８６は有限要素のフィルタであるため、情報の欠落が生ずると共に、解像度情報の楕円の異方性度を算出できない。

図２８は、本実施の形態における補間を説明する図である。図２８に示すように、本実施の形態においては、補間部１３は、解像度情報の楕円６１、楕円６４の形状に基づき、異方性度、解像度値、角度を補間する。これにより、補間位置における解像度情報の楕円６８が算出される。係数分析部１０は、算出された解像度情報に基づきＰＳＦを算出し、例えば、フィルタ９１を求める。

このとき、解像度情報の楕円６１、楕円６４から楕円６８を補間により算出する際には、例えば、解像度情報補間部３７は、楕円６１の長軸９１、楕円６４の長軸９３の例えば、画像の水平方向に対する角度を算出する。そして解像度情報補間部３７は、算出された角度と、それぞれの算出位置、及び楕円６８の算出位置に基づき、楕円６８の角度を補間するようにしてもよい。

図２９は、本実施の形態によるフィルタの補間を説明する図である。図２９に示すように、解像度情報例５７は、補正用画像５５に基づき算出された各位置での解像度情報の楕円６１、６２、６４、６５等を示している。

解像度情報補間例９９は、解像度情報例５７に基づき補間された、例えば楕円６８で表されるような補間された解像度情報を示している。解像度情報補間例９９には、一部分の楕円のみ表示しているが、全面に亘り同様に補間を行って楕円が算出される。フィルタ算出例１０９は、解像度情報補間例９９における解像度情報に基づき算出されたフィルタの例を示している。ここでは、フィルタの値の大小は輝度で表されている。図２９の例では、９個の解像度情報から、１０８個のフィルタが算出されている。

図３０は、フィルタテーブルの一例を示す図である。図３０に示すように、フィルタテーブル１２５は、フィルタ算出位置と、フィルタとが対応付けられたテーブルである。フィルタテーブル１２５には、補正用画像５５に基づき算出されたフィルタを記憶させる。さらに、補正用画像５５に基づき算出された解像度情報に基づき補間された解像度情報から算出されたフィルタを記憶させるようにしてもよい。なお、算出されたフィルタは、例えば、算出位置を含む領域の画像を補正するために用いる。算出位置を含む領域は、例えば、算出位置を中央部に含む長方形の領域などとすることができる。

図３１は、解像度テーブルの一例を示す図である。解像度テーブル１２７は、解像度情報算出位置と、算出された解像度情報の解像度値η、異方性μ、角度θとを関連付けられたテーブルである。

図３２は、フィルタ算出例の比較の一例を示す図である。図３２において、フィルタ算出例８５は、上述の図２３〜図２７のように、フィルタの要素同士を補間することにより算出した、本実施の形態の算出方法とは異なる比較例である。それに対して、フィルタ算出例１０９は、解像度情報を補間して、補間された解像度情報に基づきフィルタを算出した本実施の形態による算出例である。

図３２に示すように、元の９個だけのフィルタからフィルタの要素の補間で算出したフィルタ算出例８５では、元の９個だけのサンプリング位置での角度情報が残ってしまっており、精度が悪い。しかし、フィルタ算出例１０９のように、それぞれのフィルタの算出位置で解像度情報の角度を算出してフィルタ係数を算出することで、精度よく異方性の解像度劣化を補正できる。

このように、フィルタ算出例８５では、それぞれのフィルタ算出位置での解像度情報に基づいていないので、精度よく解像度の劣化を補正できない。それに対して、フィルタ算出例１０９では、それぞれの算出位置において解像度情報を算出しているので、精度よく解像度の異方性を改善することができる。

以下、フローチャートを参照しながら、本実施の形態による画像処理方法についてさらに説明する。図３３は、撮像装置１００の全体的な処理を示すフローチャートである。以下の処理は、図１から図３８に示した各機能が行うこととして説明する。

図３３に示すように、係数分析部１０の解像度算出部１０１は、後処理部５から例えば、補正用被写体２０を撮影した画像を読み込む（Ｓ１３１）。解像度算出部１０１は、補正用画像５５等から、例えばチャート２５等のチャート部分を取り出す（Ｓ１３２）。解像度算出部１０１は、取り出したチャート部分の画像に基づき、解像度情報を算出し、例えばフィルタメモリ１０３の解像度テーブル１２７に記憶させる（Ｓ１３３）。

補間部１３は、解像度算出部１０１で算出された解像度情報を解像度情報テーブル１２７から読み出し、補間処理を行う（Ｓ１３４）。補間処理の詳細については後述する。さらに、補間部１３は、補間処理を行った解像度情報を係数分析部１０に出力する。係数分析部１０では、補間された解像度情報を解像度情報テーブル１２７に記憶させるようにしてもよい。係数分析部１０では、フィルタ算出部１０２が、解像度情報テーブル１２７に記憶された解像度情報に基づきＰＳＦを算出し、フィルタのフィルタデータを求める（Ｓ１３５）。

図３４は、補間部１３における補間処理を示すフローチャートである。図３４に示すように、補間部１３において補間位置特定部３５は、補間によりフィルタデータを算出する補間位置となるフィルタ算出位置を特定する（Ｓ１４１）。補間元特定部３６は、特定された補間位置に基づき、既に算出された解像度情報に対応する算出位置から補間に用いる解像度情報に対応する補間元位置を特定する（Ｓ１４２）。このとき補間元特定部３６は、解像度情報テーブル１２７から、特定したい値に対応する解像度情報を読み出す。

解像度情報補間部３７は、所定の方法により読み出した解像度情報に基づき特定された位置の解像度を算出する補間処理を行う（Ｓ１４３）。解像度情報補間部３７は、算出された解像度情報を係数分析部１０に出力する。

以上説明したように、第１の実施の形態による撮像装置１００によれば、ある数のチャートを有する補正用被写体２０を撮影した画像に基づき、ある数より多くの画像補正用のフィルタが補間により算出される。補間する場合には、実際に撮像装置１００で撮影された画像のチャートの位置に対応する算出位置におけるボケの程度を表す解像度情報が用いられる。撮像装置１００は、補間された解像度情報に基づき、補間による算出位置のフィルタを算出する。

以上のように第１の実施の形態による撮像装置１００は、補正用被写体２０におけるチャートの位置以外の算出位置におけるボケの度合いを示す解像度情報を、補間により算出する。これにより、元のチャートの数よりも多くの算出位置におけるフィルタデータが算出される。このとき、算出されるフィルタデータには、解像度の異方性を示す情報が反映される。本実施の形態においては、それぞれの算出位置において解像度情報を算出しているので、精度よく解像度の異方性を改善するフィルタが生成できる。よって、撮像装置１００によれば、撮影画像において、精度よく異方性のある解像度劣化を補正できるフィルタを算出することができる。

このとき、解像度情報は、補正用被写体２０を撮影した画像から算出されるので、例えば、画像の周縁部などの劣化を、光学系のレンズ面形状、厚さ、硝材などのデータを所定の形式で記述したレンズデータを基に算出する必要がない。さらに、実際の画像に基づいて補正用のフィルタを算出するので、レンズの製造誤差、撮影条件によって、実際に得られる周縁部の劣化がレンズデータから得られる結果とは異なる様な場合にも、精度よく補正を行うフィルタとすることができる。

本実施の形態では、撮像装置１００で解像度を測定するために十分な大きさのチャートを撮影し、撮影された画像に基づき、元のチャート数より多くの算出位置でのフィルタを算出する。そのため、多くの位置でのフィルタを得るために多くのチャートを並べる必要がなく、画像から解像度を算出する際に、チャートが小さすぎて算出が困難という事態が回避される。また、大きなチャートを動かしながら撮影するなど、撮像装置以外の駆動機構などは必要としない。

補間によりフィルタ算出を行う際には、解像度情報を補間しているため、例えばブロック毎に同一のフィルタを用いる例などのように、ブロックの境界で段差が生じることはない。また、フィルタの要素同士を補間する場合に生じるような、より強度の強いほうのフィルタに影響され、解像度劣化の角度情報が適正に補間されないフィルタが算出されてしまうという問題も回避される。

このように、チャートを撮影した画像に基づきボケの状態を算出し、ボケの状態を示す解像度情報を補間した結果に基づき画像補正用のフィルタを算出するので、半径方向の解像度劣化が大きいという解像度の異方性を、精度よく改善することが可能になる。

（第１の実施の形態の変形例）
以下、第１の実施の形態による撮像装置１００の変形例について説明する。本変形例において、第１の実施の形態と同様の構成及び動作には同一符号を付し、重複説明を省略する。

本変形例は、解像度情報の補間処理における変形例である。本変形例における撮像装置は、撮像装置１００において、補間部１３に変えて補間部１４を有する。図３５は、本変形例による補間部１４の構成の一例を示すブロック図である。補間部１４は、補間部１３の解像度情報補間部３７に代えて、楕円形状補間部３８、角度算出部３９を有している。楕円形状補間部３８は、解像度情報のうちの、解像度値及び異方性度を補間する。角度算出部３９が、解像度情報の楕円の角度を、補間ではなく幾何学的に求める点で、本変形例は、第１の実施の形態とは相違している。

図３６、図３７は、本変形例による角度算出方法を説明する図である。図３６に示すように、画像９６は、９つのチャートを有する画像である。画像９６において、光軸の中心は、点９８と対応しているとする。このとき、算出位置９７における解像度情報の角度を算出する場合について説明する。算出位置９７は、画像９６の左上のチャートに対応する位置である。距離ｒは、点９８と、算出位置９７との距離を表している。また、画像９６において、点９８を原点とする算出位置９７の座標（水平方向及び垂直方向の距離）を（ｄｘ、ｄｙ）と表している。このとき、算出位置９７に対応する半径方向の角度θは、下記の式９で表される。
θ＝ｔａｎ^−１（ｄｘ／ｄｙ）・・・（式９）

図３７に示すように、例えば算出位置を全部で１０８個にする場合にも、例えば、算出位置１１１における解像度情報の角度θ１、算出位置１１３における角度θ２は、中心１１７について同心円を描いたときの半径方向に対応する角度とすることができる。よって、それぞれの算出点の座標を特定することにより、式９を用いて解像度情報の角度を幾何学的に算出することができる。

以上の処理により解像度情報の角度が算出される。係数分析部１０は、上記のように算出された角度と第１の実施の形態において説明した補間により算出された解像度値と異方性度とを含む解像度情報に基づきＰＳＦを算出し、ＰＳＦに基づきフィルタデータを算出する。

以上説明したように、第１の実施の形態の変形例によれば、解像度情報を補間により求める際に、算出された解像度情報における楕円の角度と算出位置の位置関係とから角度を補間するのではなく、画像における補間位置の座標から求めることができる。なお、解像度値は補間で求めてもよいし、中心からの距離に応じて求めてもよい。また、中心付近はフィルタの強度“０”（補正を行わない）としてもよい。

なお、上記第１の実施の形態及び変形例において、２個の解像度情報に基づき補間を行う例について説明したが、例えば４個など他の数の解像度情報を用いることもできる。また、後述するように、補正用のフィルタの算出を、撮像装置１００とは別の、例えば標準的なコンピュータで実行することも可能である。

（第２の実施の形態）
次に、第２の実施の形態による撮像装置について説明する。本実施の形態において、第１の実施の形態またはその変形例と同様の構成及び動作には同一符号を付し、重複説明を省略する。第２の実施の形態は、例えば、第１の実施の形態またはその変形例により算出されるフィルタにより画像補正を行う場合の実施の形態である。

図３８は、例えば、第１の実施の形態による撮像装置１００を用いて生成されたフィルタを用いて画像を補正する撮像装置２００の概略構成の一例を示すブロック図である。図３８において、図１の撮像装置１００と同様の構成は、同一符号を付し、重複説明を省略する。撮像装置２００は、撮像装置１００の画像処理部４に代えて画像処理部１５を有している。

画像処理部１５は、ＲＡＷメモリ４１、フィルタ制御部４３、及びフィルタ処理部４５を備えている。フィルタ制御部４３は、例えば、撮像装置１００で作成されたフィルタテーブル１２５を保持する。フィルタ制御部４３は、フィルタテーブル１２５を参照して、処理対象画像の位置に対応するフィルタを特定し、そのフィルタをフィルタ処理部４５に出力する。つまり、フィルタ制御部４３は、処理対象画像の各位置に対応する各フィルタをフィルタ処理部４５に出力する。フィルタ処理部４５は、フィルタ制御部４３から取得したフィルタを用いて、対応する画像位置でフィルタリングを実行する。なお、算出されたフィルタは、例えば、算出位置を含む領域の画像を補正するために用いる。よって、対応する画像位置は、算出位置を含む領域における各画素位置となる。このように、撮像装置２００は、例えば、撮像装置１００で算出されたそれぞれの算出位置に応じて算出されたフィルタにより、算出位置を含む各領域を補正することにより、全体の画像を復元する。

上記のような構成により撮像装置２００は、第１の実施の形態またはその変形例により生成されたフィルタにより画像を補正して出力することができる。これにより、画像の各位置で異なる解像度の異方性を改善しつつ画質を向上させることができる。よって、撮像装置２００によれば、撮影画像において、精度よく異方性のある解像度劣化を補正することができる。

なお、撮像装置１００は、例えば撮像装置２００の較正を行なう際の機能とすることができる。また、撮像装置２００において、例えば、フィルタ制御部４３に、第１の実施の形態による係数分析部１０及び補間部１３の機能を持たせ、フィルタテーブル１２５を生成するような形態も可能である。

（第３の実施の形態）
次に、第３の実施の形態による撮像装置について説明する。本実施の形態において、第１の実施の形態と同様の構成及び動作には同一符号を付し、重複説明を省略する。第３の実施の形態は、第１の実施の形態及びその変形例の係数分析に関する別の形態である。

図３９は、第３の実施の形態による係数分析部１１の構成の一例を示すブロック図である。第３の実施の形態による撮像装置は、撮像装置１００の係数分析部１０に代えてこの係数分析部１１を備えている。係数分析部１１は、解像度算出部１０１、フィルタメモリ１０３、フィルタ算出部１０４を備えている。フィルタ算出部１０４は、調整部１２１、画像補正部１２２、係数決定部１２３を備えている。

解像度算出部１０１は、例えば、放射状の模様を有する被写体（補正用被写体２０等）が撮像された画像の解像度劣化を少なくとも２方向で分析する。このとき解像度算出部１０１は、上述のように解像度情報を算出する。これにより、少なくとも撮像素子２方向の解像度異方性が分析される。フィルタ算出部１０４は、解像度算出部１０１で解析された解像度情報に基づき、フィルタデータを算出する。調整部１２１は、方向に依存しない重み係数εと、方向に依存する重み係数γを調整し、画像補正部１２２に出力する。画像補正部１２２は、調整部１２１で算出されたフィルタデータにより画像を補正する。画像補正部１２２は、補正後の画像を解像度算出部１０１に出力し、解像度算出部１０１では、補正後の画像について上述の処理を行う。

係数決定部１２３は、補正後の画像に対する解像度分析結果に基づいて、２つの方向の解像度劣化の差が小さくなるように重み係数を決定する。係数決定部１２３は、様々な重み係数により補正された画像の分析結果を保持し、例えば、所定の振幅強度において、空間周波数の値の差分が最小となるように、重み係数ε、γを決定する。

以下、係数分析部１１で算出されるフィルタについて説明する。フィルタ算出部１０４では、解像度の異方性を改善するフィルタを算出する。以下、解像度の異方性を改善する、例えば、解像度の悪い方向の調整を行うフィルタの算出手順について説明する。

式１で示したように、元画像ｘとＰＳＦ：ｋ、ボケ画像ｙを考える。この元画像ｘを求めるときに、逆問題として式１０が最小となれば、元画像に近い画像が得られる。
通常は、逆問題を解くときに何らかの正則化項が施される。よって、正則化項を加算し、式１１から逆問題を解く。

今回の問題では、方向性を必要とするから、画像の横（水平）方向（ｘ方向）および縦（垂直）方向（ｙ方向）の微分項を正則化項として追加する。
ε：重み係数
ｄｍ，ｄｎ：行列方向の微分フィルタ

式１２が最小となるには、式１２をｘで偏微分した結果を“０”とすればよく、フーリエ変換して、Ｘ（ω）について解くと以下の式１３が得られる。
Ｘ（ω）＝Ｋ（ω）Ｙ（ω）／（Ｋ（ω）^２＋ε｛Ｄｍ（ω）^２＋Ｄｎ（ω）^２｝）
・・・（式１３）
Ｘ（ω）、Ｙ（ω）、Ｋ（ω）、Ｄｍ（ω）、Ｄｎ（ω）は、それぞれｘ、ｙ、ｋ、ｄｍ、ｄｎのフーリエ変換を表す。

周波数領域でのフィルタＫｉｎｖ（ω）は、式１４を満たす。
Ｘ（ω）＝Ｋｉｎｖ（ω）Ｙ（ω）・・・（式１４）

よって、フィルタＫｉｎｖ（ω）は、次の式１５を満たす。
Ｋｉｎｖ（ω）＝Ｋ（ω）／（Ｋ（ω）^２＋ε｛Ｄｍ（ω）^２＋Ｄｎ（ω）^２｝）
・・・（式１５）
式１５は、共役複素数を用いると式１６となる。

本実施の形態においては、解像度の悪い方向を調整するため、回転行列を用いて角度θ方向に微分係数の軸を回転させる。
Ｄｘ（ω、θ）＝Ｄｍ（ω）ｃｏｓθ―Ｄｎ（ω）ｓｉｎθ・・・（式１７）
Ｄｙ（ω、θ）＝Ｄｍ（ω）ｓｉｎθ―Ｄｎ（ω）ｃｏｓθ・・・（式１８）
上記のように、回転行列を用いることで、方向性を持たせることができる。式１７、式１８によれば、Ｄｎ方向はθ回転されてＤｙ方向となり、Ｄｍ方向は、θ回転されてＤｘ方向となる。

ここで、楕円ＰＳＦをｋ（ｒ，θ）、フーリエ変換後の楕円ＰＳＦをＫ（ω，θ）＝ｆｋ（ｒ，θ）とする。式１６に、式１７、式１８及びＫ（ω，θ）を代入するとともに、方向による重みγを設定すると、式１９が成り立つ。
γ：フィルタの方向による重み係数
ε：全体の重み係数

この式１９により、各実施例で用いるフィルタの方向性の重み調整を施すことが可能となる。例えば、係数分析部１１は、解像度の悪い方向（Ｄｙ方向）の重み係数γを調整する。例えば、重み係数γを小さくすることで、解像度の悪い半径方向の解像度を改善することができる。このように、解像度の異方性を、重み係数の調整により改善することができる。

以下、係数決定部１２３による処理についてさらに説明する。図４０、図４１は、重み係数の決定処理の一例を説明する図である。図４０、図４１において、横軸は解像度、縦軸は振幅強度を示す。図４０に示すように、係数決定部１２３は、所定振幅強度（閾値１）において、空間周波数の差が小さくなるよう重み係数を決定する（決定処理１）。係数決定部１２３は、図４１に示すように、所定の空間周波数において、振幅強度の差が最小となるように、重み係数εとγを決定してもよい（決定処理２）。

なお、閾値１、閾値２は、複数設定してもよく、係数決定部１２３は、各閾値での差分の二乗和が最小となるように重み係数を決定してもよい。なお、係数決定部１２３は、所定の差分が予め設定された閾値以下となるように重み係数を決定してもよい。この閾値は、事前の実験等により設定されればよい。

また、係数決定部１２３は、画像中心部での２方向の解像度の差分二乗和と、画像中心部とは異なる画像周辺部での２方向の解像度の差分二乗和との差が所定値以下となるように重み係数を決定してもよい。また、係数決定部１２３は、画像中心部と画像周辺部との解像度の差分二乗和が最小となるように重み係数を決定してもよい。これにより、解像度の異方性を低減する際、画像中央部の解像度と画像周辺部の解像度を同様にすることで、画像全体の解像度が同様になり、画質の向上が図れる。係数決定部１２３による最小化の判断は、最小化関数を用いて算出してもよい。最小化関数としては、例えば、シンプレックスサーチ法や、最急降下法、共役勾配法などがある。

上記のように、フィルタ算出部１０４は、重み係数を変更して調整し、調整後の重み係数で逆フィルタを求め、求めた逆フィルタで画像を補正し、補正後の画像の解像度分析結果に基づいて、最適な重み係数を決定する。最適な重み係数が決定されるまで、重み係数の調整、逆フィルタの算出、フィルタリングによる補正、解像度分析の処理が繰り返される。

図４２、図４３は、第３の実施の形態による画像補正後の解像度の分析結果を示す図である。図４２、図４３において、横軸は解像度、縦軸は振幅強度を示している。図４２に示す例では、γ＝１／３００である。図４２に示すように、Ｄｘ、Ｄｙ方向共に解像度が改善し、さらに、各方向の差が小さくなっている。よって、解像度の異方性を改善することができている。

図４３は、γ＝１とした場合の画像補正後の解像度の分析結果を示している。図４３に示す分析結果は、重み係数により解像度の異方性を補正していないフィルタを用いた場合の結果である。図４３に示すように、各方向で解像度は改善しているが、その差が大きくなっており、解像度の異方性は、図４２の例ほど改善されていない。

以下、第３の実施の形態による撮像装置の動作について、フローチャートを参照しながら説明する。第３の実施の形態による撮像装置の全体的な動作は、図３３を参照しながら説明した動作と同様である。

図４４、図４５は、第３の実施の形態によるフィルタ算出の処理を示すフローチャートである。以下の処理は、図３９に示した各機能が行うこととして説明する。なお、フィルタ算出処理は、図１のＳ１３５の処理に相当する。

図４４に示すように、フィルタ算出部１０４は、まず、重み係数ε、γの初期値を設定する（Ｓ１５１）。調整部１２１、画像補正部１２２は、フィルタデータの最適化を行う（Ｓ１５２）。係数決定部１２３は、フィルタデータを決定する（Ｓ１５３）。なお、決定されたフィルタデータは、フィルタメモリ１０３に記憶されることが好ましい。この処理は、上述のように、最適な重み係数が決定されるまで繰り返されることが好ましい。

図４５に示すように、画像補正部１２２は、まず算出されたフィルタを調整部１２１から取得する（Ｓ１６１）。画像補正部１２２は、取得したフィルタにより画像を補正する（Ｓ１６２）。解像度算出部１０１は、補正された画像において、解像度情報を算出する（Ｓ１６３）。調整部１２１は、算出された解像度を、閾値と比較する（Ｓ１６４）。調整部１２１は、解像度が収束しているか否か判断する（Ｓ１６５）。

解像度が収束していると判断される場合には（Ｓ１６５：ＹＥＳ）、図４４のＳ１５２に戻って処理を進める。収束していると判断されない場合には（Ｓ１６５：ＮＯ）、Ｓ１６１に戻って処理を繰り返す。なお、上記の処理は、１つの算出位置に関するフィルタ算出を説明したものであり、上記処理を全ての算出位置について繰り返すことにより、画像全体の複数のフィルタが算出される。

第３の実施の形態においては、上記のようにしてフィルタが算出されるが、解像度算出部１０１による解像度情報の算出は、第１の実施の形態及び変形例と同様に、解像度情報を補間する方法により行われる。角度の算出方法については、第１の実施の形態または変形例のいずれの方法も適用が可能である。

第３の実施の形態においては、フィルタ算出の際、それぞれの位置での角度以外の情報、例えば、解像度値、異方性度、重み係数等は、解像度情報を補間することで算出する。補間により差出された各値は、例えば幾何学的に算出された角度とともに、それぞれの位置でのフィルタ算出に用いられる。算出された全ての算出位置でのフィルタにより、画像の補正を行う。

以上説明したように、第３の実施の形態によれば、第１の実施の形態による画像処理による効果に加え、フィルタ算出のための重み係数を導入することにより、解像度の異方性をより改善することが可能となる。

（第４の実施の形態）
次に、第４の実施の形態による撮像装置について説明する。本実施の形態において、第１の実施の形態から第３の実施の形態と同様の構成及び動作には同一符号を付し、重複説明を省略する。第４の実施の形態は、第１から第３の実施の形態及び変形例の解像度情報算出に関する別の形態である。

第１から第３の実施の形態及び変形例の解像度情報算出においては、画像の中心と、解像度の異方性が最も少ない点とが一致している例について説明した。本実施の形態は、ボケの状態が画像の中心に対して非対称の場合の例である。

図４６は、ボケが画像の中心に対して非対称の場合を示す図である。図４６に示すように、画像１７０では、解像度情報を示す図形１７３、１７４、１７７、１７９は、画像の中心の図形１７５に対して対称ではない。ここでは、最もボケが小さい、ボケの中心座標となる点は、点１７２となっている。また、図４６の左側の図形１７４、１７７の方が、右側の図形１７３、１７９よりも大きい。これは、画像１７０では、図の左側のほうがボケが大きいことを示している。このように、ボケの度合いが左右非対称な場合には、解像度情報における解像度値の逆比で中心を設定することもできる。

図４７は、ボケが非対称な場合の角度算出方法の一例を示す図である。図４７に示すように、ボケの中心座標が点１７２の場合、点１７２から解像度情報の算出位置に向かう方向を、解像度の悪い半径方向とする。図４７の例では、点１７２と点１８１とを結ぶ方向が、点１８１で解像度が悪い方向となる。同様に、点１７２と点１８３とを結ぶ方向が、点１８３で解像度が悪い方向となる。これら解像度の悪い方向に基づき、解像度情報の角度θ１、θ２を算出する。

図４８は、本実施の形態による解像度情報の算出方法の効果を示す図である。図４８において、フィルタ算出例１９１は、補正用被写体２０を撮影した画像に基づき算出されたフィルタである。フィルタ算出例１９３は、フィルタ算出例１９１に基づき、本実施の形態による解像度情報算出方法を用いて算出したフィルタである。

フィルタ算出例１９３のように、中心座標をずらして解像度情報の角度を算出することで、全体的に図の左側が強い強度のフィルタが算出される。なお、この場合、解像度情報の異方性度、解像度値は、補間により求めてもよいし、中心からの距離に応じて求めてもよい。

以上説明したように、ボケの度合いが非対称な撮像装置の場合にも、ボケの中心を解像度情報の角度を求める際の中心座標としてフィルタ算出をすることで、精度よく画像を補正することが可能となる。このとき、解像度情報の楕円の大きさの逆比で、中心座標を算出して設定するようにしてもよい。このように、中心座標をずらして角度を算出することにより、ボケの度合いが大きい側が強い強度のフィルタを算出できる。

さらに、レンズの製造誤差、撮影条件によって、実際に得られる周縁部の劣化の対称性がレンズデータから得られる結果とは異なり、レンズデータに基づく周縁部劣化の中心が撮影画像中心とは異なる場合でも、精度よく補正を行うことが可能である。

（第５の実施の形態）
次に、第５の実施の形態による撮像装置について説明する。本実施の形態において、第１から第４の実施の形態と同様の構成及び動作には同一符号を付し、重複説明を省略する。第５の実施の形態は、第１から第４実施の形態及び変形例の画像処理部１５の構成の別の形態である。

第１から第４の実施の形態による画像処理装置において算出されるフィルタを実装する場合、メモリ及び計算量の観点から所定の要素数以下のフィルタを用いたいという要求がある。現状では、例えば５×５以下のフィルタを用いることが考えられている。しかしながら、フィルタの要素数を小さくすると、ボケを表すＰＳＦの大きさが要素数よりも大きくなり、情報量が欠落して、画質が劣化する場合がある。

図４９は、画像のボケを表すＰＳＦと、要素数が５×５のフィルタ２１５との大きさの関係の一例を示す図である。図４９に示すように、５×５のフィルタ２１５の大きさよりもＰＳＦが大きいとする。なお、フィルタ１つの要素は、画像の１画素に相当している。図４９に示す例では、ＰＳＦの大きさよりもフィルタ２１５の要素数の方が小さい。このため、このようなフィルタ２１５により画像補正をすると、ＰＳＦの情報が欠落するため、モアレの発生など、画像補正の品質低下の問題が生ずる。以下、このように要素数が小さい場合にも情報の欠落による画像補正の品質を低下させない方法について説明する。

下記の式２０は、元画像ｙに対し、算出されたフィルタＦを畳み込んで、元画像との差分処理が行われて補正画像ｘが生成される場合を示している。

別の例として、下記式２１〜２４は、元画像ｙに対し、算出されたフィルタＦ'を畳み込むことで、補正画像ｘが生成されることを示している。

まず、モアレの発生を防ぐ概要について説明する。上述したように、解像度に異方性を有するフィルタを有限化することにより、高周波情報の消失が方向によって異なるため、モアレが発生する。つまり、方向によって周波数の劣化の補正度合いが異なるため、モアレが発生する。

そこで、有限のハイパスフィルタを通すことで、急激に輝度が変化する部分を低減し、方向によって異なる高周波情報の補正度合いの違いを低減する。これにより、方向によって異なる周波数情報の劣化を原因とするモアレの発生を防ぐことができる。

なお、有限のハイパスフィルタは、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタであればよい。以下では、有限フィルタとして、有限のハイパスフィルタを用いて説明する。また、算出されたフィルタを分割し、所定の要素数以下となる複数段のフィルタを生成することで、実装上の課題もクリアできる。

図５１、図５２は、複数段のフィルタの構成例を示す図である。図５１に示すように、画像処理部２１０は、式２０と対応している。画像処理部２１０は、元画像２１３をフィルタセット２１１により補正して、補正画像２１９を出力する。フィルタセット２１１は、式２０のフィルタＦを、複数段のフィルタ（５×５）２１５、２１７に分割した構成である。

図５２に示すように、画像処理部２２０は、式２１〜２４と対応している。画像処理部２２０は、元画像２１３をフィルタセット２１１により補正して、補正画像２２７を出力する。フィルタセット２２１は、式２４のフィルタＦ’を、複数段のフィルタ（５×５）２２３、２２５に分割した構成である。第５の実施の形態においては、フィルタの要素数よりも大きいＰＳＦに対し、異方性のあるフィルタを複数で構成し、複数のフィルタを組み合わせることで異方性を改善する。

次に、本実施の形態による画像処理装置を含む撮像装置について説明する。ここでは、図５２、図５３を参照しながら、フィルタ制御部２５０、２８０、フィルタ処理部２７０、２９０について説明する。

図５２は、フィルタ制御部２５０及びフィルタ処理部２７０の構成の一例を示すブロック図である。フィルタ制御部２５０、フィルタ処理部２７０は、図５０の画像処理部２２０に対応する構成である。フィルタ制御部２５０は、フィルタ記憶部２５１、フィルタ取得部２５２、フィルタ算出部２５３、及びフィルタ生成部２５４を有する。

フィルタ記憶部２５１は、第１フィルタ２６１と、第２フィルタ２６２と、複数段フィルタ２６３とを少なくとも記憶する。各フィルタは、それぞれ異なる記憶領域に記憶されればよい。

第１フィルタ２６１は、例えば、異方性のある解像度情報に基づき算出された異方性を有するフィルタである。第１フィルタ２６１は、例えば、図３０に示したフィルタテーブル１２５の各フィルタである。フィルタテーブル１２５のフィルタには、上述したように、補正用被写体２０に基づき生成されたフィルタから補間により生成されたフィルタも含むことが好ましい。

第２フィルタ２６２は、フィルタ算出部２５３により算出されるフィルタである。第２フィルタは、例えば、第１フィルタ２６１にハイパスフィルタが畳み込まれたフィルタである。ハイパスフィルタについては後述する。複数段フィルタ２６３は、フィルタ生成部２５４により生成されるフィルタ群である。

フィルタ取得部２５２は、異方性のある解像度情報に基づき算出された、異方性を有する有限のフィルタを取得する。フィルタ取得部２５２は、例えば、フィルタ記憶部２５１から第１フィルタ２１１を取得する。フィルタ取得部２５２は、取得した第１フィルタ２６１をフィルタ算出部２５３に出力する。

フィルタ算出部２５３は、フィルタ取得部２５２から取得した第１フィルタ２６１に対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２フィルタを算出する。

このとき、フィルタ算出部２５３は、ボケの大きさ（ＰＳＦの楕円の大きさ）よりも大きい要素数を有する第２フィルタを算出する。フィルタ算出部２５３は、判定部２６５を有し、判定部２６５は、例えばフィルタ記憶部２５１に記憶されたＰＳＦ（または解像度情報の楕円）の大きさからボケの大きさを判定する。なお、レンズ設計値からシミュレーションでＰＳＦを取得できる場合は、取得したＰＳＦからボケの大きさを判定してもよい。フィルタ算出部２５３は、例えば、画像のＰＳＦよりも大きい要素数を有する第１フィルタに有限のハイパスフィルタを畳み込んで第２フィルタを算出する。

なお、フィルタ算出部２５３は、有限のハイパスフィルタを予め保持していることが好ましい。有限なハイパスフィルタは、例えば３×３のフィルタとすると、次の式２５又は式２６を用いればよい。

本実施の形態で扱う異方性は、任意の方向の角度に応じたフィルタであるため、式（２６）に示すように、全ての要素に非０の係数がある方が好ましい。

フィルタ算出部２５３は、ハイパスフィルタを３×３とすると、フィルタＫｉｎｖを７×７とすることで、その二つのフィルタを畳み込みして９×９のフィルタを算出する。このように、フィルタ算出部２５３は、ハイパスフィルタとフィルタを畳み込みして、所望の要素数になるように算出する。

ここで、７×７のフィルタをＦ７と表記し、ハイパスフィルタをＬａｐと表記すると、フィルタ算出部２５３で算出された９×９のフィルタＦ９は、以下の式２７で表される。

フィルタ算出部２５３は、上述した式２７により算出した第２フィルタＦ９をフィルタ記憶部２５１に記憶する。なお、フィルタ算出部２５３は、別の装置に設けられ、フィルタ制御部２５０では、別の装置で求められた第２フィルタ２６２を記憶するようにしてもよい。

フィルタ生成部２５４は、フィルタ記憶部２５１から第２フィルタ２６２を取得し、この第２フィルタ２６２から、所定の要素数以下となる複数段のフィルタを生成する。複数段のフィルタの生成については後述する。フィルタ生成部２５４は、生成した複数段フィルタ２６３をフィルタ記憶部２５１に記憶する。

次に、フィルタ処理部２７０について説明する。フィルタ処理部２７０は、畳み込み演算部２７１と、減算部２７２とを有する。畳み込み演算部２７１は、例えば図３８に示したＲＡＷメモリ４１から画像を取得し、その画像に対して複数段フィルタ２６３で畳み込むフィルタ処理を行う。

畳み込み演算部２７１は、複数段フィルタ２６３が、１つの畳み込み回路に対して複数回処理を行うことでフィルタ処理を行ってもよいし、複数の畳み込み回路を用意してフィルタ処理を行ってもよい。畳み込み演算部２７１は、フィルタ処理後の画像を減算部２７２に出力する。

減算部２７２は、ＲＡＷメモリ４１から取得した画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。補正画像は、後処理部５や画像メモリ８に出力される。

次に、式２１〜式２４に対応するフィルタ制御部２８０、フィルタ処理部２９０について説明する。図５３は、第５の実施の形態におけるフィルタ制御部２８０及びフィルタ処理部２９０の概略構成の一例を示すブロック図である。まず、フィルタ制御部２８０について説明する。フィルタ制御部２８０は、フィルタ記憶部２８４、フィルタ取得部２０２、フィルタ算出部２８２、及びフィルタ生成部２８３を有する。

フィルタ制御部２８０の構成で、図５２に示す構成と同様のものは同じ符号を付す。フィルタ記憶部２８４は、フィルタ算出部２８２により算出された第３フィルタ２８５と、フィルタ生成部２８３により算出された複数段フィルタ２８６を記憶する。

フィルタ算出部２８２は、前述した画像同士の減算処理を不要にする第３フィルタ２８５を算出する。フィルタ算出部２８２は、式２１〜式２４を用いて式変形を行うことで、減算処理を不要とすることができる。この例では、９×９の第３フィルタ（Ｆ９'）が生成されるとする。これにより、前述した処理と同じ結果が得られて、画像同士の減算処理を不要とする一つの有限フィルタ（Ｆ９'）を生成することができる。フィルタ算出部２８２は、算出したフィルタＦ９'をフィルタ記憶部２８４に記憶させる。

フィルタ生成部２８３は、フィルタ記憶部２８４から第３フィルタ２８５を取得し、この第３フィルタ２８５から、所定の要素数以下となる複数段のフィルタを生成する。複数段のフィルタの生成については後述する。フィルタ生成部２８３は、生成した複数段フィルタ２８６をフィルタ記憶部２８４に記憶する。フィルタ処理部２９０は、畳み込み演算部２９１を有する。畳み込み演算部２９１は、複数段フィルタ２８６を畳み込む処理を行い、補正後の画像ｘを生成する。

次に、複数段のフィルタの生成について説明する。以下では、図５３に示すフィルタ生成部２８３が、複数段のフィルタを生成する例について説明するが、図５２に示すフィルタ生成部２５４でも同様にして生成することができる。また、この処理は、図２の係数分析部１０で行うこともできる。

まず、フィルタ生成部２８３は、ＰＳＦよりも大きい要素数のフィルタから、所定の要素数以下のフィルタ群に分けるとき、１個のフィルタを仮定して、その仮定したフィルタに基づいて他のフィルタを最適化で求める。

例えば、第３フィルタＦ９'に対し、２つの５×５のフィルタ２２３（Ｆ５Ａ’）、フィルタ２２５（Ｆ５Ｂ’）に分けるとする。このとき、フィルタ生成部２８３は、以下の式２８を定義することができる。
ｅは、差分エラーである。以下、複数段のフィルタへの分割方法の一例について説明する。

フィルタの分割方法の一例として、フィルタ２２３を、第３フィルタＦ９'の中心部分の５×５の要素数を抽出したフィルタとする。この分割方法では、フィルタ生成部２８３は、フィルタ２２３を決定し、下記の式２９で表される評価関数を最小化することで、フィルタ２２５を求めることができる。

ここで求められたフィルタを用いて、さらに以下の式３０に基づき補正画像ｘが生成される。

このとき、差分エラーｅは“０”とならない。そこで、複数段のフィルタに対してそれぞれゲインを設定することで、精度の向上を図ることができる。このとき、ゲインをＧ１、Ｇ２を用いて、補正画像ｘは、以下の式３１で表される。

なお、ゲインＧ１、Ｇ２の決定は、以下のように行うことができる。例えば、まず、画像処理部１５は、ゲインＧ１、Ｇ２の初期値を設定する。このゲインを用いて式３１により画像補正を行い、解像度情報を取得する。これに基づき上記のようにフィルタを算出し、式２９の値を算出する。上記を繰り返し、式２９の値が最小となるゲインＧ１、Ｇ２を決定する。

図５４、図５５は、フィルタの分割の一例を示す図である。図５４、図５５では、フィルタの大きさが輝度値で表されている。図５４は、フィルタ例２３１が、フィルタ例２３３とフィルタ例２３５に分割されることを示している。ここで、フィルタ例２３１は、９個の９×９のフィルタを有する。フィルタ例２３３、フィルタ例２３５は、それぞれ、９個の５×５フィルタを有している。

図５５は、フィルタ例２４１が、フィルタ例２４３とフィルタ例２４５に分割されることを示している。ここで、フィルタ例２４１は、１０８個の９×９のフィルタを有する。フィルタ例２４３、フィルタ例２４５は、それぞれ、１０８個の５×５フィルタを有している。

以上説明したように、第５の実施の形態による画像処理方法によれば、フィルタを要素数の少ない複数のフィルタに分割することができる。よって、計算量の制限から要素数の少ないフィルタを用いる場合にも、フィルタの要素数がＰＳＦの大きさより小さい場合に生ずる補正品質の低下を防止することが可能になる。さらに、分割したフィルタのそれぞれに対応するゲインを設定する。これにより、さらに精度の高い画像補正用フィルタを算出することができる。

このように、フィルタを複数段に分割する場合も、補正用被写体２０を撮影した画像においてそれぞれのチャートに対応する算出位置でボケの度合いを表す解像度情報を算出し、フィルタを算出後、複数段のフィルタに分割する。

なお、フィルタを分割する方法については上記に限定されず、他の方法でもよい。分割後のフィルタの要素数や、係数、ゲインの求め方についても、上記の例は一例であり、記載例に限定されるものではない。

（チャート数の変形例）
以下、補正用被写体２０におけるチャート数について説明する。図５６から図５９は、補正用被写体２０におけるチャートの配置の一例を示す図である。上記第１から第５の実施の形態及び変形例において、チャート撮影には、解像度劣化の少ない基準となる中心付近のチャートと、劣化の大きい周辺部のチャートが必要となる。

図５６に示すように、チャート配置例３５１では、中心と、四隅にチャートが配置されている。上記画像処理を行うには、このチャート配置例３５１のように配置された、少なくとも計５個のチャートがあることが好ましい。例えば、画像が点対称である場合には、中心と、四隅のうちの一つがあれば、チャート配置例３５１と実質的に同様な配置となる。

図５７に示すように、チャート配置例３５３は、１２個のチャートが縦横３×４に配置されている。チャート配置例３５３の場合は、基準となる中心に配置されたチャートはないが、中心付近の1個もしくは中心付近の複数個を基準とする。

図５８に示すように、チャート配置例３５５は、５×５＝２５個のチャートを配置されている。チャート配置例としては、図５８のような例でもよい。

図５９は、１２×９＝１０８個のチャートを有するチャート配置例３５７を示している。例えば、第１の実施の形態では、図２９を参照しながら、９つのチャートに基づき、全体として１０８個のフィルタを算出する例を説明した。チャート配置例３５７では、チャート自体が１０８個配置されているため、補間を使わずに１０８個のフィルタが得られる配置になっている。しかし、このように多い数だと、撮像装置の性能によっては解像度が計測できなくなり、限られた個数で測定せざるをえないことがある。

このように、補正用被写体２０に配置するチャートの数は、様々な数が適用可能であるが、撮像装置の性質や性能に基づき決定されることが好ましい。

なお、上記第１から第５の実施の形態及び変形例におけるフィルタ算出は、標準的なコンピュータなど個別の情報処理装置で計算してもよい。また、補正用被写体２０の撮影画像を、端末や撮像装置が通信ネットワークを介してサーバに転送し、サーバ内でフィルタ計算し、フィルタ計算結果を端末や撮像装置へ転送して画像補正処理を行うようにしてもよい。端末や撮像装置が、チャート撮影画像から算出した撮影個数のフィルタ情報をサーバに転送し、撮影個数よりも多いフィルタをサーバ内で算出してもよい。

ここで、上記第１から第５の実施の形態、及び各変形例による画像処理方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図６０は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図６０に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬記録媒体３１６に記録されている所定の制御プログラムを、媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記第１から第５の実施の形態による画像処理方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に画像処理の動作を行なわせる。このとき、まず、画像処理の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
画像上の少なくとも二点に対応する解像度の状況を示す解像度情報を、前記画像に基づきそれぞれ算出する解像度算出部と、
前記少なくとも二点以外の前記画像上の一点に対応する解像度情報を、前記少なくとも二点のそれぞれに対応する前記解像度情報と、前記少なくとも二点および前記一点の前記画像上の位置とに基づき算出する補間部と、
前記一点に対応する前記解像度情報に応じて、画像の前記一点を含む領域を補正するためのフィルタを算出するフィルタ算出部と、
を有することを特徴とする画像処理装置。
（付記２）
前記解像度情報は、前記画像の各点に対応する解像度に応じた解像度値、前記解像度の異方性を示す異方性度、および前記解像度の異方性に対応する角度を有し、
前記解像度値、前記異方性度、及び前記角度は、前記少なくとも２点のそれぞれに対して、少なくとも２つの方向のそれぞれにおいて間隔及び幅の異なる線を順次等距離の位置に備えた模様を含む被写体を撮影した画像における、前記模様に対応する輝度値の振幅が同一の点の分布が形成する楕円の大きさ、楕円率、前記画像における前記楕円の角度に対応することを特徴とする付記１に記載の画像処理装置。
（付記３）
前記補間部は、前記一点に対応する前記角度を、前記一点の画像上の位置に基づき幾何学的に算出することを特徴とする付記２に記載の画像処理装置。
（付記４）
前記角度は、前記画像上の前記異方性度が最も等方的になる点と、前記フィルタの算出位置とを結ぶ方向であることを特徴とする付記２または付記３のいずれかに記載の画像処理装置。
（付記５）
前記フィルタ算出部は、前記角度に応じた重み係数を決定することを特徴とする付記２から付記４のいずれかに記載の画像処理装置。
（付記６）
前記重み係数は、前記角度の方向と前記角度の方向に直交する方向との前記解像度の差が最小となるように決定されることを特徴とする付記３に記載の画像処理装置。
（付記７）
前記フィルタが、第１の有限個の要素を有し、前記楕円よりも前記要素の数に対応する範囲が大きい場合に、前記フィルタを、前記第１の有限個より少ない第２の有限個の要素を有する複数のフィルタに分割して画像に畳み込むことで補正を行うことを特徴とする付記２から付記６のいずれかに記載の画像処理装置。
（付記８）
画像上の少なくとも二点に対応する解像度の状況を示す解像度情報を、前記画像に基づきそれぞれ算出し、
前記少なくとも二点以外の前記画像上の一点に対応する解像度情報を、前記少なくとも二点のそれぞれに対応する前記解像度情報と、前記少なくとも二点および前記一点の前記画像上の位置とに基づき算出し、
前記解像度情報に応じて、画像の前記一点を含む領域を補正するためのフィルタを算出する、
ことを特徴とする画像処理方法。
（付記９）
前記解像度情報は、前記画像の各点における解像度に応じた解像度値、前記解像度の異方性を示す異方性度、および前記解像度の異方性に対応する角度を有し、
前記画像に基づき算出される前記解像度値、前記異方性度、及び前記角度は、前記少なくとも２点のそれぞれに対して、少なくとも２つの方向のそれぞれにおいて間隔及び幅の異なる線を順次等距離の位置に備えた模様を含む被写体を撮影した画像における、前記模様に対応する輝度値の振幅が同一の点の分布が形成する楕円の大きさ、楕円率、前記画像における前記楕円の角度に対応することを特徴とする付記８に記載の画像処理方法。
（付記１０）
前記一点に対応する前記角度は、前記一点の画像上の位置に基づき幾何学的に算出されることを特徴とする付記９に記載の画像処理方法。
（付記１１）
前記角度は、前記画像上の前記異方性度が最も等方的になる点と、前記フィルタの算出位置とを結ぶ方向であることを特徴とする付記９または付記１０のいずれかに記載の画像処理方法。
（付記１２）
前記フィルタは、前記角度に応じた重み係数を決定することにより算出されることを特徴とする付記９から付記１１のいずれかに記載の画像処理方法。
（付記１３）
前記重み係数は、前記角度の方向と前記角度の方向に直交する方向との前記解像度の差が最小となるように決定されることを特徴とする付記１２に記載の画像処理方法。
（付記１４）
前記フィルタが、第１の有限個の要素を有し、前記楕円よりも前記要素の数に対応する範囲が大きい場合に、前記フィルタを、前記第１の有限個より少ない第２の有限個の要素を有する複数のフィルタに分割して画像に畳み込むことで補正を行うことを特徴とする付記９から付記１４のいずれかに記載の画像処理方法。
（付記１５）
画像上の少なくとも二点に対応する解像度の状況を示す解像度情報を、前記画像に基づきそれぞれ算出し、
前記少なくとも二点以外の前記画像上の一点に対応する解像度情報を、前記少なくとも二点のそれぞれに対応する前記解像度情報と、前記少なくとも二点および前記一点の前記画像上の位置とに基づき算出し、
前記解像度情報に応じて、画像の前記一点を含む領域を補正するためのフィルタを算出する、
処理をコンピュータに実行させるプログラム。

１ 光学系
２ 撮像素子
３ ＡＦＥ
４ 画像処理部
５ 後処理部
６ 駆動制御装置
７ 制御装置
８ 画像メモリ
９ 表示部
１０ 係数分析部
１１ レンズ
１１ａ レンズ
１１ｂ レンズ
１１ｃ レンズ
１２ 絞り
１３ 補間部
１５ 画像処理部
２０ 補正用被写体
２５ チャート
３１ Ａ／Ｄコンバータ
３２ タイミングジェネレータ
３５ 補間位置特定部
３６ 補間元特定部
３７ 解像度情報補間部
４１ ＲＡＷメモリ
４３ フィルタ制御部
４５ フィルタ処理部
５１ 楕円
５３ ＰＳＦ
５５ 補正用画像
５７ 解像度情報例
５９ フィルタ算出位置配置例
１００ 撮像装置
１０１ 解像度算出部
１０２ フィルタ算出部
１０３ フィルタメモリ
１０９ フィルタ算出例
１２１ 調整部
１２２ 画像補正部
１２３ 係数決定部
１２５ フィルタテーブル
１２７ 解像度情報テーブル

Claims (8)

1. 画像上の少なくとも二点に対応する解像度の状況を示す解像度情報を、前記画像に基づきそれぞれ算出する解像度算出部と、
   前記少なくとも二点以外の前記画像上の一点に対応する解像度情報を、前記少なくとも二点のそれぞれに対応する前記解像度情報と、前記少なくとも二点および前記一点の前記画像上の位置とに基づき算出する補間部と、
   前記一点に対応する前記解像度情報に応じて、画像の前記一点を含む領域を補正するためのフィルタを算出するフィルタ算出部と、
   を有し、
   前記解像度情報は、前記画像の各点に対応する解像度に応じた解像度値、前記解像度の異方性を示す異方性度、および前記解像度の異方性に対応する角度を有し、
   前記解像度値、前記異方性度、及び前記角度は、前記少なくとも二点のそれぞれに対して、少なくとも２つの方向のそれぞれにおいて間隔及び幅の異なる線を順次等距離の位置に備えた模様を含む被写体を撮影した画像における、前記模様に対応する輝度値の振幅が同一の点の分布が形成する楕円の大きさ、楕円率、前記画像における前記楕円の角度に対応する、
   ことを特徴とする画像処理装置。
2. 前記補間部は、前記一点に対応する前記角度を、前記一点の画像上の位置に基づき幾何学的に算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記角度は、前記画像上の前記異方性度が最も等方的になる点と、前記フィルタの算出位置とを結ぶ方向であることを特徴とする請求項１または請求項２のいずれかに記載の画像処理装置。
4. 前記フィルタ算出部は、前記角度に応じた重み係数を決定することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記重み係数は、前記角度の方向と前記角度の方向に直交する方向との前記解像度の差が最小となるように決定されることを特徴とする請求項４に記載の画像処理装置。
6. 前記フィルタが、第１の有限個の要素を有し、前記楕円よりも前記要素の数に対応する範囲が大きい場合に、前記フィルタを、前記第１の有限個より少ない第２の有限個の要素を有する複数のフィルタに分割して画像に畳み込むことで補正を行うことを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 画像上の少なくとも二点に対応する解像度の状況を示す解像度情報を、前記画像に基づきそれぞれ算出し、
   前記少なくとも二点以外の前記画像上の一点に対応する解像度情報を、前記少なくとも二点のそれぞれに対応する前記解像度情報と、前記少なくとも二点および前記一点の前記画像上の位置とに基づき算出し、
   前記解像度情報に応じて、画像の前記一点を含む領域を補正するためのフィルタを算出し、
   前記解像度情報は、前記画像の各点に対応する解像度に応じた解像度値、前記解像度の異方性を示す異方性度、および前記解像度の異方性に対応する角度を有し、
   前記解像度値、前記異方性度、及び前記角度は、前記少なくとも二点のそれぞれに対して、少なくとも２つの方向のそれぞれにおいて間隔及び幅の異なる線を順次等距離の位置に備えた模様を含む被写体を撮影した画像における、前記模様に対応する輝度値の振幅が同一の点の分布が形成する楕円の大きさ、楕円率、前記画像における前記楕円の角度に対応する、
   ことを特徴とする画像処理方法。
8. 画像上の少なくとも二点に対応する解像度の状況を示す解像度情報を、前記画像に基づきそれぞれ算出し、
   前記少なくとも二点以外の前記画像上の一点に対応する解像度情報を、前記少なくとも二点のそれぞれに対応する前記解像度情報と、前記少なくとも二点および前記一点の前記画像上の位置とに基づき算出し、
   前記解像度情報に応じて、画像の前記一点を含む領域を補正するためのフィルタを算出する、
   処理をコンピュータに実行させ、
   前記解像度情報は、前記画像の各点に対応する解像度に応じた解像度値、前記解像度の異方性を示す異方性度、および前記解像度の異方性に対応する角度を有し、
   前記解像度値、前記異方性度、及び前記角度は、前記少なくとも二点のそれぞれに対して、少なくとも２つの方向のそれぞれにおいて間隔及び幅の異なる線を順次等距離の位置に備えた模様を含む被写体を撮影した画像における、前記模様に対応する輝度値の振幅が同一の点の分布が形成する楕円の大きさ、楕円率、前記画像における前記楕円の角度に対応する、
   ことを特徴とするプログラム。