JP6104010B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画像回復処理を行う撮像装置に関する。

近年、表示装置の高精細化に伴い、撮影画像の高画質化が望まれている。しかし、光学系による収差や回折の影響により、撮影画像の画質は劣化する。一方、ウィナーフィルタなどの劣化に対する逆フィルタを撮影画像へ作用させて撮影画像の画質を向上させる方法（画像補正方法）が提案されている。しかし、逆フィルタを用いた画像補正方法では、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が小さい周波数成分を回復することはできない。

特許文献１には、光学系に位相変調素子を挿入することにより、深度方向に対するＭＴＦの低下を軽減する方法が開示されている。また特許文献２には、学習を用いた超解像によって失われた周波数成分を回復させ、画像から動きブレやピントずれによるボケを除去する方法が開示されている。

ＷＯ２００７／０７４６４９ 特許第４８７２８６２号

しかしながら、特許文献１に開示された方法は、ピントのずれた領域におけるＭＴＦの低下を軽減する方法であり、ピント位置においてその効果を得ることはできない。すなわち、特許文献１は被写界深度の拡大を目的としているに過ぎず、収差や回折の影響によりＭＴＦが小さい周波数成分を回復することはできない。また、撮影時に位相変調素子を挿入して構成された特殊な光学系が必要となるため、既に撮影された画像を補正することはできない。また、特許文献２に開示された方法は、動きブレやピントずれによるボケの除去が目的であるため、同様に収差や回折の影響によりＭＴＦが小さい周波数成分を回復することはできない。

そこで本発明は、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像装置、画像処理システム、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理装置であって、前記画像処理装置は、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、前記指示が実行されると、前記画像処理装置に、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

本発明の他の側面としての撮像装置は、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する撮像装置であって、前記撮像装置は、前記撮像光学系を介して前記第１画像を取得するよう構成された撮像素子と、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、前記指示が実行されると、前記撮像装置に、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

本発明の他の側面としての画像処理方法は、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理方法であって、前記画像処理方法は、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

本発明の他の側面としての画像処理プログラムは、コンピュータに、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する処理を実行させる画像処理プログラムであって、前記処理は、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像装置、画像処理システム、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における撮像装置のブロック図である。 実施例１における撮像装置の外観図である。 実施例１乃至３における劣化関数の効果の説明図である。 実施例１乃至３における画像処理方法（補正情報算出方法）のフローチャートである。 実施例１乃至３における劣化関数の変数空間の説明図である。 実施例１乃至３における歪曲収差の影響の説明図である。 実施例１乃至３におけるクラスタリング（補正情報のテーブル）の説明図である。 実施例１乃至３における画像処理方法（画像補正方法）のフローチャートである。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例３における撮像システムのブロック図である。 実施例３における撮像システムの外観図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１および図２を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００のブロック図である。図２は、撮像装置１００の外観図である。撮像装置１００は、撮像光学系を介して得られた第１画像（撮影画像）から第２画像（回復画像）を生成するように構成されている。

本実施例の撮像装置１００は、収差や回折で失われた周波数成分の回復（復元）に用いられる補正情報を取得する工程（第１の工程）、および、この補正情報を用いて画像回復処理を行う工程（第２の工程）を含む画像処理方法を実行することができる。本実施例において、第１の工程は、撮影前に（撮影画像の取得前に）、画像処理部１０３の補正情報算出部１０４により実行される。第２の工程は、撮影画像（第１画像）に対して、画像処理部１０３の画像補正部１０５により実行される。

補正情報算出部１０４は、記憶部１０６に保存された参照画像、および、画像取得部１０１の光学特性に応じた劣化関数に基づいて、撮影前に補正情報を算出する。ここで参照画像とは、収差や回折の影響が小さく、種々の周波数成分を含む画像である。なお、補正情報算出部１０４による補正情報の詳細な算出方法に関しては後述する。

補正情報算出部１０４により算出された補正情報は、記憶部１０６に記憶される。ただし、参照画像や劣化関数の読み込み、または、補正情報の保存の際に、半導体メモリなどで構成された画像記録媒体１０８を用いてもよい。また、補正情報算出部１０４による処理を撮像装置１００とは別の装置（外部装置）で実行し、その装置により算出された補正情報を記憶部１０６または画像記録媒体１０８に記憶するように構成してもよい。また、補正情報算出部１０４による補正情報の算出は、一度だけ実行すればよい。ただし本実施例はこれに限定されるものではなく、補正情報の算出を、参照画像や劣化関数を変更して定期的に行うようにすることもできる。

本実施例において、画像取得部１０１は、結像光学系（撮像光学系）および撮像素子を有する。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどを備えて構成される。このような構成により、画像取得部１０１は、撮像光学系を介して第１画像（撮影画像）を取得する。また、画像取得部１０１は、結像光学系の他に、撮像素子の画素に配置されたマイクロレンズなどを含んでもよい。また劣化関数とは、例えば、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）などである。

撮影の際に、画像取得部１０１に入射した光は、結像光学系により集光され、撮像素子によりアナログ電気信号に変換される。Ａ／Ｄコンバータ１０２は、撮像素子により光電変換されて生成されたアナログ電気信号をデジタル信号に変換し、このデジタル信号を画像処理部１０３に出力する。画像処理部１０３は、Ａ／Ｄコンバータ１０２から入力されたデジタル信号（像信号）に対して所定の画像処理を行う。

画像処理部１０３の画像補正部１０５は、補正情報を用いた周波数成分の回復（画像回復処理）を行う。画像補正部１０５は、画像回復処理を行う際に、状態検知部１１１により取得された画像取得部１０１の撮影条件情報を用いる。撮影条件情報とは、撮影時における撮像装置１００の状態であり、例えば、絞りの状態、フォーカス位置、または、ズームレンズにおける焦点距離である。状態検知部１１１は、撮影条件情報をシステムコントローラ１０９または駆動制御部１１０から取得するように構成される。

画像処理部１０３（画像補正部１０５）で処理（補正）された画像は、画像記録媒体１０８に所定のフォーマットで保存される。この際、同時に、画像記録媒体１０８に撮影条件情報を保存してもよい。画像記録媒体１０８に保存された画像を鑑賞する際には、この画像が液晶ディスプレイなどの表示部１０７に出力される。

以上に述べた一連の制御は、システムコントローラ１０９により行われる。また、画像取得部１０１の機械的な駆動は、システムコントローラ１０９の指令に基づいて駆動制御部１１０により行われる。

続いて、画像処理部１０３の補正情報算出部１０４および画像補正部１０５により行われる画像処理方法について詳述する。最初に、補正情報の算出方法およびその算出方法を用いた周波数成分の回復（復元）の概略について説明し、その後に具体的な画像処理方法について説明する。

まず、参照画像の画素信号値を劣化画像の画素信号値の線型結合で表すことを考える。ここで劣化画像とは、劣化関数の作用により参照画像が劣化した画像（劣化画像）である。本実施例において、線型結合に用いられる劣化画像の画素は、劣化関数に基づいて決定される。

図３は、本実施例における劣化関数の効果の説明図である。本実施例において、例えば図３（Ａ）に示される参照画像の注目画素（斜線部）に関して考える。この注目画素に対して、図３（Ａ）中の破線で示される円の拡がりを有する劣化関数（本実施例では、ＰＳＦ）を作用させると、注目画素の信号値は図３（Ｂ）中の斜線領域に分散される。すなわち、図３（Ｂ）中の斜線領域には、図３（Ａ）に示される注目画素に関する情報が含まれている。

このため本実施例では、図３（Ｂ）の斜線領域に含まれる画素信号値の線型結合により、注目画素の信号値を表す。ここで、図３（Ｂ）中の斜線領域を劣化画像の部分領域という。ただし、劣化画像の部分領域の大きさおよび形状は、これに限定されるものではない。例えば、ＰＳＦの周辺部で強度が極端に小さい場合、ＰＳＦの周辺部は劣化画像の部分領域から除いてもよい。

参照画像の注目画素の信号値ｙは、劣化画像の部分領域における画素信号値を用いて、以下の式（１）のように表される。

式（１）において、ｘ_ｊは劣化画像の部分領域に含まれる各画素の信号値、ｗ_ｊは各画素に対する係数である。

次に、同一の参照画像において注目画素を変更し、同様に劣化画像の部分領域を抽出する。それらの注目画素の１つ１つに対して、式（１）で表される関係式を個別に立てていく。このとき、係数ｗ_ｊは各関係式によって異なる値となる。しかし、劣化画像の部分領域に類似性のあるもの同士は、係数ｗ_ｊが近い値を有する。そこで、劣化画像の部分領域の類似性が高いものを集めて、クラスタ（データの集合体）を生成する。類似性の判定方法に関しては、後述する。これにより、類似性の高いデータが集合した複数のクラスタが生成される。同一のクラスタ内では、係数ｗ_ｊが近い値を有するため、これらを共通化して連立方程式にすると、以下の式（２）のように表される。

式（２）において、ｉｍａｘはあるクラスタに含まれるデータ数、ｊｍａｘは部分領域内の画素数、ｅ_ｉは係数を共通化したことによりｉ番目のデータに生じた誤差である。

また、式（２）は、以下の式（３）のように表すこともできる。

式（３）において、Ｙは参照画像の注目画素における信号値を表す列ベクトル、Ｘは劣化画像の部分領域における各信号値を表す行列、Ｗは係数を表す列ベクトル、Ｅは誤差を表す列ベクトルである。

各クラスタにおいて、式（３）の誤差Ｅが最小となるように係数Ｗを決定することにより、各クラスタにおける補正情報を取得することができる。係数Ｗの決定方法の一例として、本実施例では最小二乗法による決定方法を用いるが、係数Ｗの決定方法はこれに限定されるものではない。最小二乗法では、ｅ_１ ^２＋ｅ_２ ^２＋…＋ｅ_ｉｍａｘ ^２が最小となるように係数Ｗを選択する。このため、以下の式（４）が成り立つ。

また、式（３）より、以下の式（５）が成り立つ。

このため、式（４）および式（５）より、以下の式（６）が導かれる。

続いて、式（３）を以下の式（７）のように書き換える。

式（７）において、ｋは１からｊｍａｘのいずれかの値である。式（７）は、式（６）を用いることにより、以下の式（８）のように変形される。

式（８）は正規方程式であり、ｊｍａｘ元連立１次方程式となる。式（８）を解くことにより、係数Ｗの最確値を取得することができる。そして、この値をクラスタに対する補正情報として保存する。

式（８）は、以下の式（９）のように書き換えることもできる。

式（８）において、行列Ｍの階数がｊｍａｘ未満の場合、係数Ｗが正しく算出できないため、注意を要する。Ｍの階数が確保されるには、各クラスタ内にある程度のデータ数を格納する必要がある。

本実施例では、１つの劣化関数に関して係数Ｗを算出することについて説明したが、実際は様々な撮影条件ごとに係数Ｗを算出する。これは、劣化関数が、撮像装置１００のズームや絞りの状態、画角、波長などに応じて変化するためである。各劣化関数に対してクラスタを生成し、同様の計算を行うことにより、補正情報を取得することができる。

次に、補正情報を用いて収差や回折により失われた周波数成分を回復（復元）する方法について説明する。本実施例において、画像取得部１０１で取得された画像（撮影画像）を第１画像とする。第１画像は、画像取得部１０１の収差や回折により劣化した画像である。

図３を参照して説明すると、第１画像は、本来図３（Ａ）中の斜線の画素（注目画素）で取得される情報が、収差や回折によって図３（Ｂ）中の斜線領域（劣化画像の部分領域）へ分散している状態にある。このとき、図３（Ａ）中の破線で示される円が、画像取得部１０１の収差や回折に相当する。そこで、第１画像（撮影画像）を図３（Ａ）の状態になるように回復（復元）することを考える。

前述と同様に、第１画像（撮影画像）内で部分領域を抽出する。そして、抽出した部分領域が補正情報算出時に生成した複数のクラスタのうちいずれのクラスタに属するかを探索し、その補正情報と部分領域の信号値を式（１）に代入する。これにより、収差や回折が補正された画素を生成することができる。クラスタの探索方法に関しては、後述する。これにより、ＭＴＦが非常に小さい周波数帯域の情報も回復することができる。これは、参照画像に基づいて、失われた周波数帯域の情報を含む係数Ｗ（補正情報）を算出することができるためである。

次に、図４を参照して、本実施例における画像処理部１０３（補正情報算出部１０４）により実行される画像処理方法（補正情報算出方法）について詳述する。図４は、本実施例における画像処理方法（補正情報算出方法）のフローチャートである。

まず、ステップＳ１０１において、画像処理部１０３（補正情報算出部１０４）は、参照画像を取得する。参照画像は、実写画像またはＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のいずれを用いてもよい。ただし、参照画像には、種々のコントラストや周波数成分が含まれていることが望ましい。これは、補正情報が参照画像に基づいて算出されるためである。すなわち、画像補正部１０５の効果（補正効果）は、参照画像に含まれる情報に従って決定される。例えば、参照画像に高周波成分が含まれていない場合、補正により高周波成分を回復することはできない。

続いてステップＳ１０２において、補正情報算出部１０４は、参照画像に作用させる劣化関数を取得する。本実施例において、劣化関数としては、画像取得部１０１の光学系（撮像光学系）に応じた劣化関数が用いられる。このため、光学系のズームや絞りの状態、像高、波長などの撮影条件情報に応じて複数の劣化関数が予め用意される。ただし本実施例はこれに限定されるものではなく、撮影条件情報以外の要素に基づく複数の劣化関数を予め用意しておいてもよい。また本実施例において、参照画像に作用される複数の劣化関数は、点像分布関数（ＰＳＦ）または光学伝達関数（ＯＴＦ）である。ただし、複数の劣化関数として、ＰＳＦやＯＴＦ以外の関数を用いてもよい。

図５は、本実施例における劣化関数の変数空間の説明図である。図５中の３軸は、光学系におけるズームの状態（ズームＺ）、絞りの状態（Ｆ値Ｆ）、および、像高Ｈをそれぞれ示している。図５に示されるように、本実施例の補正情報算出部１０４は、３次元空間の離散的な複数の点に対する劣化関数を有する。ただし、劣化関数は、図５に示される構成とは異なる構成で保持するようにしてもよい。また、３次元空間よりも低次元または多次元の空間に対して劣化関数を保持するようにしてもよい。

本実施例において、劣化関数を決定する波長は、第１画像（撮影画像）の色成分に応じて決定することが好ましい。本実施例では、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３色に基づいて画像が表されるため、それぞれの色成分に対応した波長の劣化関数が用意されている。ただし、光学系の色収差を無視しても問題ない場合、複数の波長に応じた劣化関数を保持する必要はない。

また、図４のステップＳ１０２で取得される劣化関数は、画像取得部１０１の光学系とは関係なく独立して取得してもよい。この場合、複数の劣化関数に対して補正情報を算出し、画像補正時に画像取得部１０１の光学系（撮像光学系）の劣化関数と類似する劣化関数を探索して、その算出結果を用いる。撮像光学系の劣化関数と類似する劣化関数の探索方法としては、劣化関数を画像に見立てて、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）やＳＳＩＭ（Ｓｔｒａｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）などの評価関数を使用する方法がある。

続いてステップＳ１０３において、補正情報算出部１０４は、劣化関数を用いて参照画像を劣化させることにより、劣化画像を生成する。例えば、劣化関数がＰＳＦの場合、参照画像に対してコンボリューションを行うことにより、劣化画像を生成する。また、劣化関数がＯＴＦの場合、参照画像のフーリエ変換との積をとった後に、逆変換を行って劣化画像を生成すればよい。

続いてステップＳ１０４において、補正情報算出部１０４は、ステップＳ１０３にて生成された劣化画像に対して、歪曲収差補正（電子歪曲収差補正）を行う。前述のとおり、補正情報は、参照画像と劣化画像とを比較して算出される。すなわち、同一の被写体に対して収差や回折の有無などが異なる２つの画像を比較することにより、補正情報が算出される。しかし、劣化画像の歪曲収差が大きい場合、２つの画像間で被写体空間の対応位置が互いにずれてしまい、正しく補正情報を算出できない可能性がある。

図６は、歪曲収差の影響の説明図である。図６中の一点鎖線は参照画像を示し、破線は負の歪曲収差が存在する劣化画像を示している。図６中の黒塗りの正方形は、参照画像の注目画素である。また、注目画素を中心とした実線の正方形は、参照画像の部分領域である。このとき、参照画像において実線の正方形内に存在する被写体空間の情報は、歪曲収差の影響により、劣化画像では、斜線部で表される領域（部分領域）に存在する。この対応位置関係は、歪曲収差が像高に応じて変化するため、画像内の各領域で変化する。したがって、簡易計算にて注目画素と部分領域との対応位置関係を不変とするには、電子歪曲収差補正を行うことが好ましい。

また、これに代えて、劣化関数から歪曲収差成分を予め差し引いておいてもよい。または、歪曲収差の影響を加味して劣化画像の部分領域を斜線部のように変形して抽出することもできる。ただしこの場合、像高に応じて注目画素と部分領域との対応位置関係を変化させる必要があるため、演算が複雑になる。劣化関数から歪曲収差成分を差し引くか、または、部分領域を変形させる方法を用いる場合、図４のステップＳ１０４は不要である。また、劣化関数の歪曲収差成分が小さい場合も、ステップＳ１０４は行わなくてよい。

続いて、図４のステップＳ１０５において、補正情報算出部１０４は、劣化関数に基づいて部分領域のタップを決定する。図３（Ａ）に示される斜線部の画素（注目画素）の情報が、劣化関数により図３（Ｂ）中の斜線領域（劣化画像の部分領域）へ拡がったとする。このとき、図３（Ｂ）中の斜線領域には、図３（Ａ）中の斜線部の画素の情報が散らばっていることになる。このため本実施例では、図３（Ｂ）中の斜線領域が含まれるように、部分領域のタップを決定することが好ましい。

部分領域のタップは、劣化関数の拡がりに応じて決定すればよい。例えば、ある閾値Ｔを設定し、劣化関数の積分値が閾値Ｔ以上になること、または、強度がＴ以上であることなどに応じて、部分領域のタップが決定される。本実施例において、ステップＳ１０５は、ステップＳ１０２よりも後であって、かつステップＳ１０６よりも前であれば、どのタイミングで実行してもよい。また、劣化関数の拡がりを用いずに、予め決定されたタップ数を常に用いるようにしてもよい。このとき、ステップＳ１０５は不要となる。

続いてステップＳ１０６において、補正情報算出部１０４は、劣化画像から部分領域を抽出する。本実施例において、劣化画像の情報は、劣化画像の複数の部分領域のそれぞれに関する情報である。そしてステップＳ１０７において、補正情報算出部１０４は、部分領域内の信号を規格化する。信号の規格化は、部分領域内の平均信号値で各信号値を除することにより行われる。この際、加重平均を用いてもよい。ステップＳ１０７は、被写体空間の構造と撮像装置１００の露出に相関性がないことから行われる。第１画像の明るさは、撮影時の露出が支配的に効いている。しかし、被写体空間が有する周波数成分は、撮影時の露出に依らず一定である。回復対象は周波数に関する情報であるため、部分領域の明るさ成分は除去しても問題ない。また、これにより、クラスタ数を削減することができる。ただし、ステップＳ１０８のクラスタリングで用いられる評価関数に明るさを除去する効果が含まれている場合、ステップＳ１０７は不要である。

続いてステップＳ１０８において、補正情報算出部１０４は、部分領域の情報分布と劣化関数とに基づいてクラスタを生成する（クラスタリングを行う）。すなわち補正情報算出部１０４は、劣化画像の情報と複数の劣化関数とに基づいてクラスタリング（グループ分け）を行う（複数のグループに分類する）。クラスタリングの方法（グループ分けの方法）として、例えば、以下の方法が実行される。

まず、劣化関数から第１階層を生成し、さらに第１階層の中において部分領域の情報分布に応じて第２階層を生成する。図７は、クラスタリング（補正情報のテーブル）の説明図である。第１階層は、光学系のズーム、絞りの状態、像高、波長などを離散変数としたＰＳＦにより生成される。この際、変数としてフォーカス位置や被写体距離などを用いてもよい。また、第１階層はＯＴＦなどで生成してもよい。第２階層は、部分領域内の各信号値を二値化して画素の数だけ配列し、値が同じになるものを同一のクラスタと定義する。ただし二値化でなく、あるビット数で再量子化を行ってもよい。

本実施例では、他の方法を用いてクラスタリングを行うこともできる。例えば、第２階層において、ＳＳＩＭなど、画像の相関に関する評価関数を用いてもよい。２つの部分領域の評価値が所定の条件を満たしている場合、同一のクラスタとなる。ＳＳＩＭは画像の明るさ、コントラスト、構造についてそれぞれ類似性を判定する評価手法である。この際、明るさ成分を除去することにより、ステップＳ１０７の規格化と同等の効果を得ることもできる。または、Ｋ平均法などを用いてクラスタリングを行ってもよい。また、クラスタの階層数や、クラスタの構造が階層型であるか否かについても、本実施例に限定されるものではない。

続いてステップＳ１０９において、補正情報算出部１０４は、劣化画像の全画素に対して上記処理（ステップＳ１０６〜Ｓ１０８の処理）が完了したか否かを判定する。劣化画像の全画素に対する上記処理が完了している場合、ステップＳ１１０に進む。一方、上記処理が未完了の場合、抽出する部分領域を変更してステップＳ１０６へ戻り、ステップＳ１０６〜Ｓ１０８を実行する。ただし、係数Ｗの算出に十分なデータ数がクラスタに存在する場合、未処理の画素があってもステップＳ１１０に進んでもよい。

そしてステップＳ１１０において、補正情報算出部１０４は、予め用意された全劣化関数に関して、上記処理が完了したか否かを判定する。全劣化関数に関して上記処理が完了している場合、ステップＳ１１１に進む。一方、上記処理が未完了の場合、劣化関数を変更してステップＳ１０２に戻り、ステップＳ１０２〜Ｓ１０９を実行する。ただし、後の画像補正処理で必要な情報が揃っている場合、全劣化関数に対する上記処理が完了していなくてもステップＳ１１１に進んでもよい。

続いてステップＳ１１１において、補正情報算出部１０４は、参照画像と劣化画像とを対応させて、複数のクラスタ（複数のグループ）のそれぞれに対する複数の補正係数（補正情報）を算出（取得）する。本実施例において、補正情報算出部１０４は、式（９）を用いて係数Ｗ（補正情報）を算出する。ただし、前述の方法以外の方法を用いて補正情報を算出してもよい。例えば、線形計画法などを用いて補正情報を算出することができる。また、クラスタが階層構造を有する場合、ステップＳ１１１は、補正情報算出処理の途中で適宜行っても構わない。例えば、図７中の第１階層において、ＰＳＦ−１に関するデータが揃い、ＰＳＦ−ｍに関するデータの取得途中である場合でも、ＰＳＦ−１における各クラスタの係数を算出することができる。算出された複数の補正情報は、例えば記憶部１０６に記憶され、後述の画像補正方法において用いられる。

次に、図８を参照して、本実施例における画像処理部１０３（画像補正部１０５）により実行される画像処理方法（画像補正方法）について詳述する。図８は、本実施例における画像処理方法（画像補正方法）のフローチャートである。

まずステップＳ２０１において、画像補正部１０５は、画像取得部１０１によって取得された第１画像（撮影画像）を取得する。第１画像は、画像取得部１０１の光学系（撮像光学系）による収差や回折の影響を受けているため、被写体空間に対する周波数情報が減少している。

続いてステップＳ２０２において、画像補正部１０５は、第１画像に対して歪曲収差補正（電子歪曲収差補正）を行う。その理由や詳細に関しては、ステップＳ１０４と同様である。本実施例において、撮影条件情報に基づく劣化関数は、歪曲収差成分を含む。このため画像補正部１０５は、第１画像に対して電子歪曲収差補正を行ってから、後述のように補正情報を選択する。

続いてステップＳ２０３において、画像補正部１０５は、第１画像のなかから注目画素を選択する。そしてステップＳ２０４において、画像補正部１０５は、注目画素に対応する劣化関数（劣化関数の情報）を取得する。このとき、取得される劣化関数は、第１画像の撮影条件情報を用いて決定される。図５に示されるように劣化関数が離散的に用意されている場合、例えば注目画素の座標を図５の空間上へプロットし、最も近い点の劣化関数を取得することが好ましい。また、劣化関数そのものを取得する構成に限定されるものではなく、関数の拡がりとクラスタ（グループ）の第１階層の番号だけを取得するように構成してもよい。本実施例において、劣化関数（撮影条件情報に基づく劣化関数）は、撮像光学系の種類、撮影時における撮像光学系の状態、画像の色成分、第１画像における位置（像高）のうち少なくとも１つに基づいて決定される。

続いてステップＳ２０５において、画像補正部１０５は、ステップＳ２０４にて取得した劣化関数の情報に基づいて、部分領域のタップを決定する。すなわち、第１画像の複数の部分領域は、複数の劣化関数の大きさおよび形状に基づいて決定される。ただし、これに代えて、予め決定されたタップを用いてもよい。この場合、ステップＳ２０５は不要である。また、ステップＳ２０３において、注目画素を選択する代わりに、直接、部分領域を選択してもよい。

続いてステップＳ２０６において、画像補正部１０５は、第１画像（撮影画像）のなかから部分領域を抽出する。そしてステップＳ２０７において、画像補正部１０５は、部分領域内の信号を規格化する。信号の規格化については、ステップＳ１０７と同様である。

続いてステップＳ２０８において、画像補正部１０５は、部分領域の情報分布と劣化関数に対応するクラスタ（グループ）の補正情報（各クラスタの補正係数）を読み出す。

本実施例において、複数の補正情報は、図４に示されるように、参照画像に複数の劣化関数のそれぞれを作用させて生成された劣化画像の情報と複数の劣化関数とに基づいて分けられたクラスタ（グループ）ごとに算出されている。算出された複数の補正情報は、記憶部１０６に記憶されている。本実施例において、複数の補正情報は、図４に示されるように予め算出されて記憶部１０６に記憶されている。ただし、本実施例はこれに限定されるものではない。例えば、ユーザーが撮像装置１００を使用しているときに、必要に応じて複数の補正情報を算出（更新）するように構成することもできる。

補正情報算出部１０４にて用いられた劣化関数とステップＳ２０４にて取得された劣化関数とが互いに異なる場合、類似性の高い劣化関数を探索して、対応するクラスタを見つけることができる。その探索方法として、２つの劣化関数を画像に見立てて前述のＳＳＩＭを用いる方法などがある。

続いてステップＳ２０９において、画像補正部１０５は、部分領域および補正情報を用いて補正画素を生成する。本実施例において、画像補正部１０５は、式（１）を用いて補正画素（補正画素の信号値）を生成する。

続いてステップＳ２１０において、画像補正部１０５は、第１画像（撮影画像）の全画素に対する処理を完了したか否かを判定する。全画素に対する処理が完了している場合、ステップＳ２１１に進む。一方、全画素に対する処理が未完了の場合、ステップＳ２０３に戻り、ステップＳ２０３〜Ｓ２１０を実行する。ただし本実施例において、画像補正の対象領域は、第１画像の全体である必要はなく、第１画像の部分領域でもよい。例えば、画像周辺部などの高周波に関する情報が特に失われている領域のみに画像補正を行うように構成してもよい。この場合、指定された領域（所定の部分領域）の処理が完了している場合、ステップＳ２１１に進む。

そしてステップＳ２１１において、画像補正部１０５は、補正画素を統合して第２画像を生成する。第２画像は、画像取得部１０１の光学系（撮像光学系）の収差や回折により失われた周波数成分が回復された画像（回復画像）である。このとき、必要に応じて、アンシャープマスクなどの画像処理を併用してもよい。

本実施例では、被写体空間の距離情報（レンズのピント位置から各被写体までの距離）を劣化関数の変数として用いていない。すなわち、劣化関数において、デフォーカスによるボケは加味されていない。これにより、被写界深度をそのままに擬似的な光学性能の向上が図られており、ユーザーの意図する被写界深度の撮影が行いやすい。ただし、劣化関数に被写体空間の距離情報を組み込むことにより、デフォーカスによるボケも補正し、収差と回折の補正に加えて被写界深度の拡大を図ってもよい。被写体空間の距離情報は、ピント位置を変更して複数回撮影することにより求めてもよいし、または、視差画像から算出してもよい。また、撮像装置１００が測距部を有していてもよい。視差画像は、光学系を複数個並べて撮影するか、撮影位置をシフトさせて複数回撮影することにより得られる。測距部は、例えば、赤外光を照射し、その反射光を検知する構造を有する。

本実施例の構成によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像装置および画像処理方法を提供することができる。

次に、図９および図１０を参照して、本発明の実施例２について説明する。本実施例は、実施例１の画像処理方法を画像処理システムに適用したものである。図９は、本実施例における画像処理システム２００のブロック図である。図１０は、画像処理システム２００の外観図である。

図９および図１０において、画像処理装置２０２および補正情報算出装置２０６は、本実施例の画像処理方法を実行するコンピュータ機器である。画像処理装置２０２は、通信部２０３を有する。通信部２０３は、撮像装置２０１から第１画像（撮影画像）を受信する。また通信部２０３は、ネットワーク２０７を介して補正情報算出装置２０６と接続されている。この接続は、有線または無線のいずれの接続方法を用いてもよい。

補正情報算出装置２０６で算出された補正情報は、画像処理装置２０２の記憶部２０４に保存される。画像補正部２０５は、撮像装置２０１で取得された第１画像に対して、撮影条件情報を用いて補正処理を行う。画像補正部２０５により第１画像を補正して得られた第２画像は、表示装置２０８、記憶媒体２０９、出力装置２１０のいずれか、または複数に出力される。表示装置２０８は、例えば液晶ディスプレイやプロジェクタなどである。ユーザーは、表示装置２０８を介して、画像処理途中の画像を確認しながら作業を行うことができる。記憶媒体２０９は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力装置２１０は、プリンタなどである。画像処理装置２０２は、必要に応じて現像処理やその他の画像処理を行う機能を有する。

本実施例の画像処理方法を実現するため、ソフトウェア（画像処理プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの記憶媒体（記憶媒体２１１、２１２）を介して画像処理装置２０２および補正情報算出装置２０６（情報処理装置）に供給することもできる。このとき画像処理プログラムは、その情報処理装置のコンピュータ（またはＣＰＵやＭＰＵなど）により読み出されて、画像補正部２０５および補正情報算出装置２０６の機能を実行する。

本実施例における補正情報算出装置２０６および画像補正部２０５による画像処理方法（補正情報算出方法および画像補正方法）のフローチャートは、それぞれ、図４および図８に示されるとおりである。以下の説明において、実施例１と同様の部分については省略する。

図４中のステップＳ１０２において、補正情報算出装置２０６は、劣化関数を取得する。本実施例の補正情報算出装置２０６には、複数種類の撮像装置が接続可能である。このため、劣化関数が撮像装置２０１の光学系（撮像光学系）に基づく関数である場合、接続された撮像装置２０１の種類も、劣化関数を決定する変数となる。なお本実施例において、図４中のステップＳ１１１にて補正情報算出装置２０６により算出された複数の補正情報は、無線または有線のネットワーク２０７を介して画像処理装置２０２（通信部２０３）に送信される。

図８中のステップＳ２０４において、画像処理装置２０２の画像補正部２０５は、注目画素に対応する劣化関数の情報を取得する。このとき、画像補正部２０５は、第１画像（撮影画像）の撮影条件情報を用いる。撮影条件情報には、撮像装置２０１（撮像光学系）の種類、撮影時における絞り、フォーカス位置、焦点距離などが含まれる。本実施例においては、撮影条件情報としてこれらの少なくとも一つを含んでいればよい。撮影条件情報は、第１画像と同一のファイル内に保存される。また画像処理装置２０２（画像補正部２０５）は、撮影条件情報を撮像装置２０１から読み取るように構成してもよい。

本実施例の構成によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な画像処理システムを提供することができる。

次に、図１１および図１２を参照して、本発明の実施例３について説明する。本実施例は、実施例１の画像処理方法を撮像システムに適用したものである。図１１は、本実施例における撮像システム３００のブロック図である。図１２は、撮像システム３００の外観図である。

図１１および図１２において、サーバー３０３は通信部３０４を有し、ネットワーク３０２を介して撮像装置３０１と接続されている。この接続は、有線または無線のいずれの接続方法を用いてもよい。通信部３０４は、撮像装置３０１から第１画像（撮影画像）を受信するように構成されている。撮像装置３０１により撮影が行われると、第１画像（撮影画像）は自動的または手動でサーバー３０３に入力され、記憶部３０５および画像処理部３０６に送られる。記憶部３０５は、第１画像および撮影条件情報（第１画像を撮影したときの撮影条件に関する情報）を記憶する。

画像処理部３０６の補正情報算出部３０７および画像補正部３０８は、本実施例の画像処理方法を実行する。補正情報算出部３０７は、予め補正情報を算出する。記憶部３０５は、補正情報算出部３０７により算出された補正情報（算出結果）を記憶する。画像補正部３０８は、補正情報および第１画像（撮影画像）を用いて、収差や回折の影響が低減された第２画像を生成する。画像補正部３０８により生成された第２画像は、撮像装置３０１へ出力されるか、または、記憶部３０５に記憶される。

本実施例の画像処理方法を実現するため、ソフトウェア（画像処理プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの記憶媒体（記憶媒体３０９）を介してサーバー３０３（情報処理装置）に供給することもできる。このとき画像処理プログラムは、その情報処理装置のコンピュータ（またはＣＰＵやＭＰＵなど）により読み出されて、サーバー３０３の機能を実行する。

本実施例における補正情報算出部３０７および画像補正部３０８による画像処理方法（補正情報算出方法および画像補正方法）のフローチャートは、それぞれ、図４および図８に示されるとおりである。また、本実施例の補正情報算出方法および画像補正方法は、実施例１、２と同様であるため、これらの説明は省略する。本実施例において、撮像装置３０１により得られた第１画像（撮影画像）は、無線または有線のネットワーク３０２を介してサーバー３０３（通信部３０４）に送信される。

本実施例の構成によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像システムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０１ 画像取得部
１０５ 画像補正部
１０６ 記憶部

Claims (11)

1. 撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理装置であって、
   前記画像処理装置は、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、
   前記指示が実行されると、前記画像処理装置に、
   参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、
   前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、
   前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、
   前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、
   前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、
   前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理装置。
2. 前記補正情報は、前記参照画像の画素信号値を前記劣化画像の複数の画素信号値による線型結合で表した際、誤差が最小となるような係数であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１画像の部分領域は、前記撮像光学系の収差、又は回折に基づく劣化関数の大きさ、及び形状に基づいて決定されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記劣化関数は、歪曲収差成分を含み、
   前記画像処理装置は、前記劣化画像に対して電子歪曲収差補正を行ってから前記部分領域を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する撮像装置であって、
   前記撮像装置は、前記撮像光学系を介して前記第１画像を取得するよう構成された撮像素子と、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、
   前記指示が実行されると、前記撮像装置に、
   参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、
   前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、
   前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、
   前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、
   前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、
   前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする撮像装置。
6. 前記補正情報は、前記参照画像の画素信号値を前記劣化画像の複数の画素信号値による線型結合で表した際、誤差が最小となるような係数であることを特徴とする請求項５に記載の撮像装置。
7. 前記第１画像の部分領域は、前記撮像光学系の収差、又は回折に基づく劣化関数の大きさ、及び形状に基づいて決定されることを特徴とする請求項５または６に記載の撮像装置。
8. 前記劣化関数は、歪曲収差成分を含み、
   前記撮像装置は、前記劣化画像に対して電子歪曲収差補正を行ってから前記部分領域を抽出することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理方法であって、
   前記画像処理方法は、
   参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、
   前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、
   前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、
   前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、
   前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、
   前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理方法。
10. コンピュータに、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する処理を実行させる画像処理プログラムであって、
    前記処理は、
    参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、
    前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、
    前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、
    前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、
    前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、
    前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。