JP5851650B2 - 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 - Google Patents

Description

本発明は復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体に係り、特に光学系の点像分布関数（ＰＳＦ：Point Spread Function）、又は光学伝達関数（ＯＴＦ：Optical Transfer Function）に基づいて前記光学系を介して撮像された画像の復元処理を行うための復元フィルタを生成する技術に関する。

撮像された画像の復元処理は、予め光学系（撮影レンズ）の収差等による劣化（ＰＳＦ／ＯＴＦ）の特性を求めておき、撮像された画像（劣化している画像）を、ＰＳＦ／ＯＴＦに基づいて生成した復元フィルタを使用して復元処理することにより解像度の高い画像に復元する処理である。

ＰＳＦとＯＴＦとはフーリエ変換の関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。これらと等価な情報を持つものとして、変調伝達関数又は振幅伝達関数（ＭＴＦ：Modulation Transfer Function）と位相伝達関数（ＰＴＦ：Phase Transfer Function）があり、それぞれＯＴＦの振幅成分と位相成分を示す。ＭＴＦとＰＴＦとを合わせてＯＴＦやＰＳＦと等価な情報量を持つ。

ＰＳＦ／ＯＴＦに基づいて生成した復元フィルタを使用する復元処理は、「周波数復元」と「位相復元」とに大別することができる。「周波数復元」は、光学系によって劣化したＭＴＦ特性を等化するものであり、「位相復元」は、非対称なＰＳＦ形状をなるべく点に戻すように、周波数依存で像を移動させるものである。

光学系の収差は波長によって異なるため、理想的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色画像ごとに異なる復元フィルタを適用するのが望ましい。しかしながら、色別の処理は演算負荷が大きいため、視覚的な効果が大きい、輝度成分に対してのみ復元処理を行うことが考えられている。

輝度に対するＰＳＦ形状は定義できないため、何らかの基準を考えて、復元性能に悪影響が出ないように妥協点を見つける必要がある。

この問題に対する解決策として、特許文献１には、輝度に対する変換式をそのまま利用してＲＧＢの色毎のＰＳＦを混合し、輝度成分画像に対するＰＳＦを求める方法が示されている。

輝度において復元処理を行う場合、倍率色収差補正に相当する補正を行うことができないため、別途、倍率色収差補正を行う必要がある。

特許文献２には、復元処理と倍率色収差補正とを分離して行う技術が記載されている。

特許文献２に記載の画像処理方法は、点像分布関数の色成分間の差異を相対的な平行移動によって低減した点像分布関数に基づいて復元フィルタを生成し、又は倍率色収差に対応した直線成分を除去した光学伝達関数から復元フィルタを生成する。即ち、「周波数復元」のみを行い、「位相復元」を行わない復元フィルタを生成する。そして、入力画像に対して、前記生成した復元フィルタにより復元処理を行った後、復元処理後の画像の倍率色収差に対応した色ずれを検出し、検出した色ずれを低減する補正（倍率色収差補正）を行うようにしている。

また、他の実施形態として、光学系の設計上の倍率色収差に応じた色ずれ補正量により入力画像の倍率色収差補正を行い、続いて「周波数復元」のみを行う復元フィルタにより復元処理を行う。しかし、上記の倍率色収差補正及び復元フィルタによる復元処理をしても、光学系の製造バラツキや光源分光の変動といった画質劣化要因によって色ずれが残留する可能性があるため、復元処理後の画像の色ずれを検出し、検出した色ずれを低減する倍率色収差補正を行うようにしている。

特開２０１０−１４０４４２号公報 特開２０１２−１２９９３２号公報

特許文献１に記載の発明は、輝度成分画像に対するＰＳＦを求め、求めたＰＳＦに基づいて生成した復元フィルタにより輝度成分画像のみに復元処理を実施しており、この復元処理では倍率色収差補正に相当する補正を行うことができないという問題がある。

一方、特許文献２に記載の発明は、「周波数復元」のみを行う復元フィルタにより復元処理を行うことにより、色成分ごとに鮮鋭となった復元画像を取得し、その後、色成分ごとの復元画像の倍率色収差に対応する色ずれを検出し、検出した色ずれを低減する倍率色収差補正を行う。このため、復元フィルタによる復元処理は、色成分ごとに行う必要があり、演算負荷が大きくなるという問題がある。また、特許文献２に記載の発明は、復元処理により位相復元を行わないが、復元処理によりエッジ部の鮮鋭度が色成分ごとに変化することで色ずれ量が変動することを考慮し、最初に復元処理を行い、その後、復元画像の色ずれを検出して、その検出した色ずれを低減する倍率色収差補正を行うことを特徴とする。従って、検出した色ずれを低減する倍率色収差補正は、復元処理後に行う必要がある。更に、復元画像から色ずれを検出する検出処理も行う必要がある。

本発明はこのような事情に鑑みてなされたもので、倍率色収差が補正された画像に対する復元処理の演算負荷を軽減することができ、特に倍率色収差補正による補正残り量にかかわらず、適切な復元処理を行うことができる復元フィルタを生成することができる復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る復元フィルタ生成装置は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、光学系の点像分布に関する第１の伝達関数を、複数色の色毎に取得する第１の伝達関数取得手段と、光学系により生じる倍率色収差を複数色の色毎の画像データの拡大又は縮小により補正した場合の、倍率色収差の補正量又は補正残り量を示す補正情報を、複数色の色毎に取得する補正情報取得手段と、補正情報取得手段により取得した補正情報に基づいて、補正残り量を相殺すべく複数色の色毎の第１の伝達関数を平行移動させた、第２の伝達関数を取得する第２の伝達関数取得手段と、第２の伝達関数取得手段により取得した複数色の色毎の第２の伝達関数に基づいて、輝度系画像データに対する第３の伝達関数を算出する第３の伝達関数算出手段と、第３の伝達関数算出手段により算出された第３の伝達関数に基づいて、復元処理を行うための復元フィルタを生成する復元フィルタ生成手段と、を備えている。

本発明の一の態様によれば、倍率色収差補正された複数色の色毎の画像データに基づいて生成された輝度系画像データに対して、復元処理を行うための復元フィルタを生成するようにしたため、色毎の画像データを復元処理する場合に比べて復元処理の演算負荷を低減することができ、かつ生成する復元フィルタの数を少なくすることができる。また、倍率色収差補正は、実装上の制限によって任意の座標変換を行う拡大／縮小を行うことができないため、色収差を補正しきれない場合がある。そこで、輝度系画像データに対する復元フィルタの生成に当たり、倍率色収差補正の補正残り量を考慮して、補正残り量を相殺すべく複数色の色毎の第１の伝達関数を平行移動させ、複数色の色毎の第２の伝達関数を求めるようにしている。そして、色毎の第２の伝達関数に基づいて輝度系画像データに対する第３の伝達関数を算出し、第３の伝達関数に基づいて復元フィルタを生成するようにしたため（即ち、補正残り量に基づく輝度のタンジェンシャル方向のＭＴＦの変化を考慮して復元フィルタを生成するようにしたため）、輝度系画像データに対する適正な復元フィルタを生成することができる。このようにして生成した復元フィルタによれば、倍率色収差補正の補正残り量を有する色毎の画像データから生成した輝度系画像データに対して良好な復元処理を行うことができる。

本発明の他の態様に係る復元フィルタ生成装置において、第３の伝達関数算出手段は、複数色の色毎の第２の伝達関数を混合して輝度系画像データに対する第３の伝達関数を算出することが好ましい。

本発明の更に他の態様に係る復元フィルタ生成装置において、第３の伝達関数算出手段は、複数色の色毎の第２の伝達関数に色毎の重み付け係数を乗算した値の線形和を、輝度系画像データに対する第３の伝達関数として算出することが好ましい。第３の伝達関数を算出する際の重み付け線形和としては、輝度変換と同様の重み付け係数を使用した線形和にすることが好ましい。

本発明の更に他の態様に係る復元フィルタ生成装置は、倍率色収差の補正精度が閾値以下か評価する補正精度評価手段を備え、復元フィルタ生成手段は、補正精度評価手段が倍率色収差の補正精度が閾値以下と評価した場合は、第３の伝達関数算出手段により算出された第３の伝達関数から位相情報を除去し、位相情報を除去した第３の伝達関数に基づいて、周波数復元のみを行う復元フィルタを生成するようにしてもよい。特に、倍率色収差補正による補正残り量が正確に分からない場合や補正精度が低い場合（倍率色収差の補正精度が閾値以下と評価された場合）には、第３の伝達関数に含まれる位相情報は正確でない。そこで、第３の伝達関数から位相情報を除去し、位相情報を除去した第３の伝達関数に基づいて周波数復元のみを行う復元フィルタを生成することが好ましい。

本発明の更に他の態様に係る復元フィルタ生成装置は、第１の伝達関数取得手段により取得した複数色の色毎の第１の伝達関数からそれぞれ位相情報を除去し、位相情報を除去した複数色の色毎の第１の伝達関数を混合して輝度系画像データに対する第４の伝達関数を算出する第４の伝達関数算出手段と、倍率色収差の補正精度が閾値以下か評価する補正精度評価手段と、を備え、復元フィルタ生成手段は、補正精度評価手段が倍率色収差の補正精度が閾値以下と評価した場合は、第４の伝達関数算出手段により算出された第４の伝達関数に基づいて、輝度系画像データに対する周波数復元のみを行う復元フィルタを生成するようにしてもよい。上記のように倍率色収差補正による補正残り量が正確に分からない場合や補正精度が低い場合には、第３の伝達関数に含まれる位相情報は正確でない。そこで、複数色の色毎の第１の伝達関数からそれぞれ位相情報を除去し、位相情報を除去した複数色の色毎の第１の伝達関数を混合して第４の伝達関数を算出し、算出した第４の伝達関数に基づいて輝度系画像データに対する周波数復元のみを行う復元フィルタを生成するようにしている。尚、第３の伝達関数から位相情報を除去し、位相情報を除去した第３の伝達関数に基づいて生成した復元フィルタは、複数色の色毎の第１の伝達関数からそれぞれ位相情報を除去し、位相情報を除去した複数色の色毎の第１の伝達関数を混合してなる第４の伝達関数に基づいて生成した復元フィルタよりも好ましい。前者の復元フィルタは、色間の位置ずれ相関が第３の伝達関数の算出の際に考慮されているからである。

本発明の更に他の態様に係る復元フィルタ生成装置において、第４の伝達関数算出手段は、位相情報を除去した複数色の色毎の第１の伝達関数に色毎の重み付け係数を乗算した値の自乗和の平方根を、輝度系画像データに対する第４の伝達関数として算出するようにしている。

本発明の更に他の態様に係る復元フィルタ生成装置において、第４の伝達関数算出手段は、位相情報を除去した複数色の色毎の第１の伝達関数に色毎の重み付け係数を乗算した値の線形和を、輝度系画像データに対する第４の伝達関数として算出するようにしている。

本発明の更に他の態様に係る復元フィルタ生成装置において、第１の伝達関数取得手段は、位相を変調させて被写界深度を拡大させるレンズ部を有する光学系の複数色の色毎の第１の伝達関数を取得することができる。光学系として、位相を変調させて被写界深度を拡大させるレンズ部（被写界(焦点）深度拡大光学系（ＥＤｏＦ（Extended Depth of Field (Focus)）レンズ）を有するものである場合にも本発明は適用できる。

本発明の更に他の態様に係る復元フィルタ生成装置は、倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、切替手段により倍率色収差補正を実施しない場合に切り替えられると、複数色の色毎の第１の伝達関数を混合し、輝度系画像データに対する第５の伝達関数を算出する第５の伝達関数算出手段と、を備え、復元フィルタ生成手段は、切替手段により倍率色収差補正を実施しない場合に切り替えられると、第５の伝達関数算出手段により算出された第５の伝達関数に基づいて、輝度系画像データに対する復元フィルタを生成する。

倍率色収差補正を意図的に行わない場合、倍率色収差補正を考慮しない色毎の第１の伝達関数（位相情報を含む第１の伝達関数）を混合して、輝度系画像データに対する第５の伝達関数を算出し、この第５の伝達関数に基づいて輝度系画像データに対する復元フィルタを生成する。これにより、倍率色収差補正を行わないことに起因する輝度系画像データのＭＴＦ劣化を、輝度系画像データの復元処理によって補正可能な復元フィルタを生成することができる。この生成した復元フィルタによれば、輝度系画像データに対して周波数復元及び位相復元が可能であるが、倍率色収差補正に相当する補正は行われない。

本発明の更に他の態様に係る復元フィルタ生成装置は、倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段を備え、複数色の画像データには、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の画像データが含まれており、復元フィルタ生成手段は、切替手段により倍率色収差補正を実施しない場合に切り替えられると、第１の伝達関数取得手段により取得した複数色の色毎の第１の伝達関数のうちのＧ色に対応する第１の伝達関数に基づいて、輝度系画像データに対する復元フィルタを生成することが好ましい。

倍率色収差補正を意図的に行わない場合、タンジェンシャル方向のＭＴＦ劣化の程度が少なく、劣化したＭＴＦ値がＳＮ比（信号対雑音比）から規定される閾値より大きい場合には、タンジェンシャル方向に周波数が強調され、色収差が目立って見えてしまう場合がある。そのような場合には、輝度系画像データの生成に最も寄与する、単色のＧ色の画像データに対応する第１の伝達関数に基づいて、輝度系画像データに対する復元フィルタを生成することが好ましい。

本発明の更に他の態様に係る画像処理装置は、光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、光学系により生じる色毎の倍率色収差を、画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、上記のいずれかの復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、画像データ生成手段で生成された輝度系画像データに対して、復元フィルタ格納手段に格納されている復元フィルタを用いて復元処理を施す復元処理手段と、を備えている。画像データ生成手段で生成された輝度系画像データに対して、復元フィルタ格納手段に格納されている復元フィルタを用いて復元処理を施すため、色毎の画像データを個別に復元する場合に比べて復元処理の演算負荷を軽減することができ、また、倍率色収差補正手段による補正残り量を考慮して生成された復元フィルタを使用して復元処理を行うため、補正残り量に起因するタンジェンシャル方向の周波数強調を低減することができる。

本発明の更に他の態様に係る画像処理装置は、光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、切替手段により倍率色収差補正を実施する場合に切り替えられると、光学系により生じる色毎の倍率色収差を、画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、切替手段により倍率色収差補正を実施する場合に切り替えられると、倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成し、切替手段により倍率色収差補正を実施しない場合に切り替えられると、画像データ取得手段により取得した複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、上記のいずれかの復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、画像データ生成手段で生成された輝度系画像データに対して、復元フィルタ格納手段に格納されている復元フィルタを用いて復元処理を施す復元処理手段と、を備えている。これにより、倍率色収差補正された複数色の色毎の画像データに基づいて生成された輝度系画像データ、又は倍率色収差補正されていない複数色の色毎の画像データに基づいて生成された輝度系画像データに対して、倍率色収差補正を行う場合、又は倍率色収差補正を行わない場合に応じて生成された復元フィルタを用いて復元処理を施すことができる。

本発明の更に他の態様に係る画像処理装置は、光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、光学系により生じる色毎の倍率色収差を、画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、上記のいずれかの復元フィルタ生成装置と、画像データ生成手段で生成された輝度系画像データに対して、復元フィルタ生成装置により生成された復元フィルタを用いて復元処理を施す復元処理手段と、を備えている。この画像処理装置は、復元フィルタ生成装置を備えている点で、復元フィルタ格納手段を備えている上記の画像処理装置と相違する。

本発明の更に他の態様に係る画像処理装置は、光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、切替手段により倍率色収差補正を実施する場合に切り替えられると、光学系により生じる色毎の倍率色収差を、画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、切替手段により倍率色収差補正を実施する場合に切り替えられると、倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成し、切替手段により倍率色収差補正を実施しない場合に切り替えられると、画像データ取得手段により取得した複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、上記のいずれかの復元フィルタ生成装置と、画像データ生成手段で生成された輝度系画像データに対して、復元フィルタ生成装置により生成された復元フィルタを用いて復元処理を施す復元処理手段と、を備えている。

本発明の更に他の態様に係る撮像装置は、光学系を有しており、かつ複数色の色毎の画像データを出力する撮像手段と、上記の画像処理装置と、を備えている。

本発明の更に他の態様に係る復元フィルタ生成方法は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、光学系の点像分布に関する第１の伝達関数を、複数色の色毎に取得する第１の伝達関数取得工程と、光学系により生じる倍率色収差を複数色の色毎の画像データの拡大又は縮小により補正した場合の、倍率色収差の補正量又は補正残り量を示す補正情報を、複数色の色毎に取得する補正情報取得工程と、補正情報取得工程により取得した補正情報に基づいて、補正残り量を相殺すべく複数色の色毎の第１の伝達関数を平行移動させた、第２の伝達関数を取得する第２の伝達関数取得工程と、第２の伝達関数取得工程により取得した複数色の色毎の第２の伝達関数に基づいて、輝度系画像データに対する第３の伝達関数を算出する第３の伝達関数算出工程と、第３の伝達関数算出工程により算出された第３の伝達関数に基づいて、復元処理を行うための復元フィルタを生成する復元フィルタ生成工程と、を含んでいる。

本発明の更に他の態様に係るプログラムは、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成するプログラムであって、光学系の点像分布に関する第１の伝達関数を、複数色の色毎に取得する第１の伝達関数取得機能と、光学系により生じる倍率色収差を複数色の色毎の画像データの拡大又は縮小により補正した場合の、倍率色収差の補正量又は補正残り量を示す補正情報を、複数色の色毎に取得する補正情報取得機能と、補正情報取得機能により取得した補正情報に基づいて、補正残り量を相殺すべく複数色の色毎の第１の伝達関数を平行移動させた、第２の伝達関数を取得する第２の伝達関数取得機能と、第２の伝達関数取得機能により取得した複数色の色毎の第２の伝達関数に基づいて、輝度系画像データに対する第３の伝達関数を算出する第３の伝達関数算出機能と、第３の伝達関数算出機能により算出された第３の伝達関数に基づいて、復元処理を行うための復元フィルタを生成する復元フィルタ生成機能と、をコンピュータに実現させる。

本発明によれば、倍率色収差が補正された画像データであって、視覚的な効果が大きい輝度系画像データのみを復元処理するための復元フィルタを生成するようにしたため、復元処理の演算負荷を軽減することができる。特に倍率色収差補正による補正残り量を考慮して、輝度系画像データに対する復元フィルタを生成するようにしたため、輝度系画像データに対して適切な復元処理を行うことができる。

図１は、復元フィルタ生成装置と該復元フィルタ生成装置から復元フィルタを取得して復元処理を行うデジタルカメラの図である。 図２は、デジタルカメラの背面斜視図である。 図３は、デジタルカメラ及び復元フィルタ生成装置の電気的構成を示すブロック図である。 図４は、デジタルカメラの画像処理回路の実施形態を示すブロック図である。 図５は、復元処理を説明するために用いた図である。 図６Ａは、ストレージに格納されるＲＧＢの各色のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂを説明するために用いた概念図である。 図６Ｂは、ストレージに格納されるＲＧＢの各色のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂを説明するために用いた概念図である。 図７は、復元フィルタ生成装置の第１の実施形態を示すブロック図である。 図８は、復元フィルタ生成装置の第２の実施形態を示すブロック図である。 図９は、復元フィルタ生成装置の第３の実施形態を示すブロック図である。 図１０は、復元フィルタ生成装置の第４の実施形態を示すブロック図である。 図１１は、復元フィルタ生成装置の第５の実施形態を示すブロック図である。 図１２は、ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂが、タンジェンシャル方向に位相ずれが生じている場合を示す図である。 図１３は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 図１４は、ＥＤｏＦ光学系の一例を示す図である。 図１５は、撮像モジュールを構成する復元処理部による復元処理の流れを示したフローチャートである。 図１６は、スマートフォンの外観を示す斜視図である。 図１７は、スマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体の好ましい実施の形態について説明する。

［第１実施形態］
＜デジタルカメラの構成＞
図１及び図２において、デジタルカメラ２は、本発明の撮像装置に相当するものである。このデジタルカメラ２のカメラ本体３の前面には、光学系などを含むレンズ鏡筒４、ストロボ発光部５などが設けられている。カメラ本体３の上面には、シャッタボタン６、電源スイッチ７などが設けられている。

カメラ本体３の背面には、表示部８及び操作部９などが設けられている。表示部８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時にはメモリカード１０に記録されている画像データに基づき、表示部８に画像が再生表示される。

操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ２の動作モードを切り替える際に操作される。デジタルカメラ２は、被写体を撮像して撮影画像データを得る撮影モード、撮影画像データに基づき再生表示を行う再生モードなどを有する。

十字キーや実行キーは、表示部８に各種のメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする際などに操作される。

カメラ本体３の底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。メモリカード１０には、被写体を撮像して得られた撮影画像データが各種のファイル形式の画像ファイルとして記録される。

上記構成のデジタルカメラ２は、光学系の種々の収差に由来する画像劣化を低減するために、復元フィルタ生成装置１１から取得した復元フィルタ１２を用いて復元処理を行う。尚、デジタルカメラ２による復元フィルタ１２の取得は、カメラ製造メーカにて行われる。

図３はデジタルカメラ２及び復元フィルタ生成装置１１の電気的構成を示すブロック図である。図３に示すように、デジタルカメラ２のカメラＣＰＵ（中央処理装置）１３は、操作部９からの制御信号に基づき、メモリ１４から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ２の各部を統括的に制御する。

本発明の復元フィルタ格納手段に相当するメモリ１４のＲＯＭ（Read Only Memory）領域には、上述の各種プログラムに加えて、復元フィルタ生成装置１１から取得した復元フィルタ１２が格納される。また、メモリ１４のＲＡＭ（Random Access Memory）領域は、カメラＣＰＵ１３が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

レンズ鏡筒４には、ズームレンズ１５及びフォーカスレンズ１６などで構成される光学系１７が組み込まれている。ズームレンズ１５及びフォーカスレンズ１６は、それぞれズーム機構１９、フォーカス機構２０により駆動され、光学系１７の光軸ＯＡに沿って前後移動される。

メカシャッタ１８は、カラー撮像素子２３への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１８は、可動部を各位置に移動させることによって、光学系１７からカラー撮像素子２３へと至る光路を開放／遮断する。また、メカシャッタ１８には、カラー撮像素子２３に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１８、ズーム機構１９、及びフォーカス機構２０は、レンズドライバ２４を介してカメラＣＰＵ１３によって動作制御される。

光学系１７の背後には、単板式のカラー撮像素子２３が配置されている。カラー撮像素子２３の撮像面には、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置された複数画素が形成されている。各画素はマイクロレンズ、カラーフィルタ（本例ではＲ（赤）Ｇ（緑）Ｂ（青）カラーフィルタ）及びフォトダイオードを含んで構成される。カラー撮像素子２３は、光学系１７とともに本発明の撮像手段を構成するものであり、光学系１７により撮像面に結像された被写体像を電気的な出力信号に変換して出力する。尚、カラー撮像素子２３として、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子が用いられる。撮像素子ドライバ２５は、カメラＣＰＵ１３の制御の下でカラー撮像素子２３の駆動を制御する。

信号調整回路２８は、カラー撮像素子２３から出力される出力信号に各種の信号調整処理を施して、カラー撮像素子２３のカラーフィルタ配列に伴うＲＧＢのモザイク画像データＲ１，Ｇ１，Ｂ１（図４）を生成する。尚、信号調整回路２８は、カラー撮像素子２３がＣＣＤ型の場合には、例えばＣＤＳ／ＡＧＣ（Correlated Double Sampling/Automatic Gain Control）回路やＡ／Ｄ変換回路などで構成され、ＣＭＯＳ型の場合には、例えばアンプなどで構成される。

＜画像処理回路の構成＞
画像処理回路２９は、本発明の画像処理装置に相当する。この画像処理回路２９は、信号調整回路２８から入力されるモザイク画像データＲ１，Ｇ１，Ｂ１に対して黒レベル調整処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイク処理、倍率色収差補正、ＹＣ変換処理、点像復元処理等を施して、輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒを生成する（図４参照）。輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは、メモリ１４のＶＲＡＭ（Video RAM）領域（ＶＲＡＭを別途設けても可）に一時的に格納される。

ＶＲＡＭ領域は、連続した２フィールド画像分を格納するライブビュー画像用のメモリエリアを有している。ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは逐次に表示部８へ出力される。これにより、表示部８にライブビュー画像が表示される。

圧縮伸長処理回路３１は、撮影モード中にシャッタボタン６が押下されたときに、ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒに対して圧縮処理を施す。また、圧縮伸長処理回路３１は、メディア・インターフェース（Ｉ／Ｆ）３２を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３２は、メモリカード１０に対する圧縮画像データの記録及び読み出しなどを行う。

図４はデジタルカメラ２の画像処理回路２９の実施形態を示すブロック図である。

図４に示すように、画像処理回路２９は、主として入力部３５、デモザイク処理部３６、倍率色収差補正部（倍率色収差補正手段）３７、ＲＧＢ／ＹＣ変換部（画像データ生成手段）３８、復元処理部（復元処理手段）３９を有している。尚、画像処理回路２９は、ホワイトバランス補正処理やガンマ補正処理などを行う補正処理部も有しているが、これらの補正処理部についての図示や説明は省略する。

入力部（画像データ取得手段）３５は、信号調整回路２８から入力されたＲＧＢの各色のモザイク画像データＲ１，Ｇ１，Ｂ１をデモザイク処理部３６へ出力する。即ち、入力部３５は、カラー撮像素子２３の撮像により得られた各色の画像データが入力される入力Ｉ／Ｆとして機能する。

デモザイク処理部３６は、各色のモザイク画像データＲ１，Ｇ１，Ｂ１に基づき、画素毎にＲＧＢの全ての色情報を算出（同時式に変換）するデモザイク処理（同時化処理ともいう）を行って、ＲＧＢの３面の色データで構成されるＲＧＢ画像データＲ２，Ｇ２，Ｂ２を生成する。倍率色収差補正部３７は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２を、色毎に拡大又は縮小することにより光学系１７の有する倍率色収差を補正する。尚、倍率色収差の補正量は、光学系１７の設計上の倍率色収差に応じて予め作成され、メモリ１４のＲＯＭ領域に記憶されており、倍率色収差補正部３７は、撮像条件（ズーム倍率、絞り値等）に対応して読み出した補正量を使用して倍率色収差を補正する。

倍率色収差補正部３７は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２を倍率色収差補正した、ＲＧＢ画像データＲ３，Ｇ３，Ｂ３をＲＧＢ／ＹＣ変換部３８へ出力する。尚、倍率色収差補正部３７は、操作部４１（切替手段）におけるユーザ指示による倍率色収差補正ＯＮ／ＯＦＦの情報に応じて、その倍率色収差補正の機能が選択できるようになっている。即ち、倍率色収差補正ＯＮの場合には、倍率色収差補正したＲＧＢ画像データＲ３，Ｇ３，Ｂ３をＲＧＢ／ＹＣ変換部３８に出力し、倍率色収差補正ＯＦＦの場合には、倍率色収差補正を行わずに、入力するＲＧＢ画像データＲ２，Ｇ２，Ｂ２をそのままＲＧＢ／ＹＣ変換部３８へ出力する。

ＲＧＢ／ＹＣ変換部３８は、ＲＧＢ画像データＲ３，Ｇ３，Ｂ３（倍率色収差補正ＯＦＦの場合には、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２）にＹＣ変換処理を施して、輝度系画像データＹと、色差系画像データＣｂ，Ｃｒとを生成する。輝度系画像データＹは、例えば、式［Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ］に従って生成される。この式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。従って、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

ここで、本実施形態では輝度系画像データＹとして「Ｙ、Ｃｂ、Ｃｒ」で表される色空間の輝度信号の値を例に挙げて説明しているが、画像の輝度に寄与するデータであれば特に限定されるものではない。輝度系画像データＹは、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、ＣＩＥＬＡＢ（Commission internationale de l'eclairage）色空間における明度Ｌを表すデータ、輝度信号を得るための寄与率が最も高いデータや、輝度に最も寄与する色のカラーフィルタに対応するデータなどが挙げられる。

復元処理部３９は、メモリ１４に格納されている復元フィルタ１２を読み出して、この復元フィルタ１２を用いて輝度系画像データＹに対して復元処理を行う。この復元処理は、演算処理の負荷を減らすために視覚的な効果が大きくなる輝度系画像データＹに対してのみ行う。復元処理を行うことにより、図５に示すように画像のボケが修正される。

図５の（Ａ）に示すように、光学系１７を透過した点像（光学像）は大きな点像（ボケた画像）としてカラー撮像素子２３の撮像面に結像されるが、復元処理により、図５の（Ｂ）に示すような小さな点像（高解像度の画像）に復元される。

＜復元フィルタ生成装置の構成＞
図３に戻って、復元フィルタ生成装置１１は、デジタルカメラ２の復元処理に用いられる復元フィルタ１２を生成する。この復元フィルタ生成装置１１は、装置ＣＰＵ４０と、操作部４１と、ストレージ４３と、通信Ｉ／Ｆ４４とを備えている。

装置ＣＰＵ４０は、操作部４１に入力された操作指示に基づき、ストレージ４３から各種のプログラムを適宜に読み出して実行することにより、装置全体を統括制御する。また、操作部４１は、例えばキーボードやマウスである。

ストレージ４３には、本発明に係る復元フィルタ生成プログラム４６や、光学系１７のＲＧＢの各色の点像分布に関する第１の伝達関数に相当する点像分布関数（ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂ）、光学系１７の倍率色収差に関する補正情報などが格納されている。

通信Ｉ／Ｆ４４は、光学系１７のＰＳＦを測定するＰＳＦ測定装置４９に接続している。ここで、ＰＳＦ測定装置４９によるＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの測定方法については公知技術であるので具体的な説明は省略する。通信Ｉ／Ｆ４４は、装置ＣＰＵ４０の制御の下、ＰＳＦ測定装置４９から光学系１７に対応するＲＧＢ各色の点像分布関数（ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂ）を取得して、ストレージ４３内に格納させる。

また、通信Ｉ／Ｆ４４は、各種の通信ケーブルや通信回線（無線を含む）を介してデジタルカメラ２の通信Ｉ／Ｆ（図示は省略）に接続可能であり、装置ＣＰＵ４０にて生成された復元フィルタ１２をデジタルカメラ２に送る。これにより、デジタルカメラ２のメモリ１４内に復元フィルタ１２が格納される。

＜復元フィルタの生成処理＞
装置ＣＰＵ４０は、操作部４１にて復元フィルタ生成操作がなされた場合に、ストレージ４３から復元フィルタ生成プログラム４６を読み出して実行することで、後述する第１、第２の伝達関数取得部５１、５２（第１、第２の伝達関数取得手段）、第３〜第５の伝達関数算出部５３〜５５（第３〜第５の伝達関数算出手段）、補正情報取得部５６（補正情報取得手段）、及び復元フィルタ生成部５７（復元フィルタ生成手段）として機能し、輝度系画像データＹに対応する復元フィルタ１２を生成する。尚、装置ＣＰＵ４０の動作の詳細については後述する。

ＰＳＦは、撮影倍率、絞り値等の撮影条件や像面内の位置により、様々な大きさ、形状、強度分布をもち、また、光学系の収差は波長によって異なるため、ＲＧＢの色毎に異なる。

図６Ａは、ストレージ４３に格納されている、物面上のある点光源に対応する像面上のＲＧＢの各色のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの概念図である。

図６Ａに示すＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂのデータ形式は、ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂのそれぞれの重心位置を一致させたＰＳＦデータ（ＰＳＦ重心が中心（座標x=0,y=0）となるように配置されているデータ）と、それぞれの重心位置を示すデータα_Ｒ(r), α_Ｇ(r), α_Ｂ(r)とから構成されているものとする。

また、説明の簡単のために重心位置α_Ｒ(r), α_Ｇ(r), α_Ｂ(r)は、図６Ｂに示すように、ある点光源が結像されるべき像高位置ｒに対応する位置とする。倍率色収差によりＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの重心位置α_Ｒ(r), α_Ｇ(r), α_Ｂ(r)は、図６Ｂに示すようにタンジェンシャル方向にずれている。

倍率色収差補正は、Ｇプレーンを基準に倍率色収差補正する場合、像高位置ｒにおけるＲＧＢの色毎のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの重心位置α_Ｒ(r), α_Ｇ(r), α_Ｂ(r)に基づいて、Ｒプレーンに対しては、α_Ｒ(r)−α_Ｇ(r)だけ、Ｂプレーンに対しては、α_Ｂ(r)−α_Ｇ(r)だけ、位置ずれが小さくなるようにＲプレーン、Ｂプレーンの色画像を拡大又は縮小することにより行うことになる。

しかしながら、一般に実装上の都合によって、任意の座標変換が実現できるというわけではなく、特定のパラメトリックなモデルに従う範囲でしか倍率色収差補正を行うことができない。即ち、図４に示した倍率色収差補正部３７は、光学系１７の設計上の倍率色収差に応じて、予め作成された倍率色収差の補正量にしたがってＲ，Ｂ画像データを、適宜拡大又は縮小することにより光学系１７の有する倍率色収差を補正する。

したがって、倍率色収差補正部３７による倍率色収差補正では、ＲＧＢの色毎のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの重心位置α_Ｒ(r), α_Ｇ(r), α_Ｂ(r)を完全に一致させるように補正することはできず、補正残りが発生する。

いま、倍率色収差補正における補正量を、β_Ｒ(r), β_Ｂ(r)と表記すると、倍率色収差補正後の補正残り量γ_Ｒ(r), γ_Ｂ(r)は、次式、

と表現できる。

復元処理部３９は、図４に示したように倍率色収差補正後のＲＧＢ画像データＲ３，Ｇ３，Ｂ３から生成された輝度系画像データＹに対して復元フィルタ１２を使用して復元処理を行う。このため、復元フィルタ１２の生成に当たり、倍率色収差補正に補正残りが存在すると、ＲＧＢの色毎のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂ（図６Ａ及び図６Ｂ）の重心位置が、タンジェンシャル方向に位置ずれして、輝度におけるタンジェンシャル方向におけるＭＴＦが劣化する。

そこで、本発明は、輝度用復元処理において、上記ＭＴＦ劣化を考慮した復元フィルタを、以下に述べる手順によって生成する。

まず、［数１］式に示した補正残り量γ_Ｒ(r)、γ_Ｂ(r)に基づいて、ＰＳＦ重心が中心（座標x=0,y=0）に配置されているＰＳＦ_Ｒ(x,y)、ＰＳＦ_Ｂ(x,y)を、補正残り量γ_Ｒ(r)、γ_Ｂ(r)だけ平行移動させる。

具体的には、ＰＳＦ_Ｒ(x,y)、ＰＳＦ_Ｂ(x,y)を、次式に示すように平行移動させる。

ここで、θは、図６Ｂに示すように、その画面内位置におけるタンジェンシャル方向を示す角度である。

続いて、ＰＳＦ_Ｒ(x,y)と、それぞれ補正残り量γ_Ｒ(r)、γ_Ｂ(r)に応じて平行移動させたＰＳＦ_Ｒ(x+γ_Ｒ(r)cosθ, y+γ_Ｒ(r)sinθ)、ＰＳＦ_Ｂ(x+γ_Ｂ(r)cosθ, y+γ_Ｂ(r)sinθ)と、重み付け係数ｃ_Ｒ, ｃ_Ｇ, ｃ_Ｂとに基づいて、次式に示すように重み付き線形和により、輝度系画像データＹに対するＰＳＦ_Ｙ(x,y)を算出する。

尚、重み付け係数ｃ_Ｒ, ｃ_Ｇ, ｃ_Ｂとしては、ＲＧＢ画像データから輝度系画像データＹを生成する際の係数と同じ係数を使用することができるが、本発明はこれに限定されるものではない。

このようにして算出したＰＳＦ_Ｙ(x,y)を利用して、輝度系画像データＹに対する復元フィルタを生成する。この方法では、後述するＭＴＦを使用する場合と比較して、位相情報が残るため位相補正が可能であるという特徴がある。

［第１の実施形態］
図７は復元フィルタ生成装置１１の第１の実施形態を示すブロック図であり、主として図３に示した装置ＣＰＵ４０の機能を示す機能ブロック図である。

装置ＣＰＵ４０は、第１、第２の伝達関数取得部５１、５２（第１、第２の伝達関数取得手段）、第３の伝達関数算出部５３（第３の伝達関数算出手段）、補正情報取得部５６（補正情報取得手段）、及び復元フィルタ生成部５７（復元フィルタ生成手段）を備えている。

第１の伝達関数取得部５１は、ストレージ４３から光学系１７の点像分布に関する第１の伝達関数（ＲＧＢの各色のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂ）を取得し、ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂ、及びＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの重心位置α_Ｒ(r), α_Ｇ(r), α_Ｂ(r)を第２の伝達関数取得部５２に出力する。尚、ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂは、図６Ａで説明したように各ＰＳＦの重心が中心（座標x=0,y=0）となるように配置されたものである。

補正情報取得部５６は、ストレージ４３から光学系１７の倍率色収差を補正する補正量β_Ｒ(r), β_Ｂ(r)であって、図４に示した倍率色収差補正部３７により補正される、像高位置ｒにおける補正量β_Ｒ(r), β_Ｂ(r)（図６Ｂに示すタンジェンシャル方向の、Ｇ画素を基準にしたＲ，Ｂ画素の補正量）を取得し、取得した補正量β_Ｒ(r), β_Ｂ(r)を第２の伝達関数取得部５２に出力する。尚、補正量β_Ｒ(r), β_Ｂ(r)は、取得したＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの像高位置に応じて異なることは言うまでもない。

第２の伝達関数取得部５２は、第１の伝達関数取得部５１から入力したＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの重心位置α_Ｒ(r), α_Ｇ(r), α_Ｂ(r)と、補正情報取得部５６から入力した倍率色収差の補正量β_Ｒ(r), β_Ｂ(r)とに基づいて、倍率色収差補正後の補正残り量γ_Ｒ(r), γ_Ｂ(r)を、前述した［数１］式により算出する。そして、算出した補正残り量γ_Ｒ(r), γ_Ｂ(r)と、画面内位置におけるタンジェンシャル方向を示す角度θとに基づいて、補正残り量γ_Ｒ(r), γ_Ｂ(r)を相殺すべく、前述した［数２］式に示したようにＰＳＦ_Ｒ，ＰＳＦ_Ｂを平行移動させる。

第２の伝達関数取得部５２は、第１の伝達関数取得部５１から取得したＰＳＦ_Ｇと、補正残り量γ_Ｒ(r), γ_Ｂ(r)に応じて平行移動させたＰＳＦ_Ｒ，ＰＳＦ_Ｂとを、第２の伝達関数として第３の伝達関数算出部５３に出力する。

第３の伝達関数算出部５３は、入力するＲＧＢの色毎の第２の伝達関数の重み付き線形和を、前述した［数３］式により算出し、その算出結果を輝度系画像データＹに対するＰＳＦ_Ｙ(x,y)（第３の伝達関数）として復元フィルタ生成部５７に出力する。

復元フィルタ生成部５７は、入力するＰＳＦ_Ｙ(x,y)を利用して、輝度系画像データＹに対する復元フィルタを生成する。

一般に、ＰＳＦによるボケの復元には、コンボリュージョン型のWienerフィルタを利用することができる。ＰＳＦ_Ｙ(x,y)をフーリエ変換したＯＴＦとＳＮ比の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

ここでＨ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）はＳＮ比を表す。

復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のWiener周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

この復元フィルタ設計は、評価汎関数Ｊp［ｘ］を最小化する

を求める問題となる。汎関数Ｊp［ｘ］は、復元フィルタの理想的な周波数特性ｄ（ω_ｘ，ω_ｙ）と、フィルタ係数ｘによって実現された実際のフィルタの周波数特性との近さを、任意の公知の評価手法によって定義したものである。フィルタが実現できる周波数特性の範囲はフィルタフォーマットに依存するため、評価汎関数は識別子ｐによって異なった定義となる。

求めるべきフィルタ係数ｘ_０は、次のように表現できる。

装置ＣＰＵ４０は、上記のようにして画面内位置、撮像条件（ズーム倍率、絞り値等）毎の第１の伝達関数及び倍率色収差の補正情報に基づいて、それぞれ復元フィルタ（復元フィルタのフィルタ係数）を算出する。

［第２の実施形態］
図８は復元フィルタ生成装置１１の第２の実施形態を示すブロック図であり、主として図３に示した装置ＣＰＵ４０の機能を示す機能ブロック図である。尚、図７に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図８において、補正情報取得部５６ａ（補正精度評価手段）は、ストレージ４３から光学系１７の倍率色収差を補正する補正量β_Ｒ(r), β_Ｂ(r)とともに、補正量β_Ｒ(r), β_Ｂ(r)による倍率色収差補正の信頼度を示す情報（倍率色収差の補正量β_Ｒ(r), β_Ｂ(r)又は補正残り量γ_Ｒ(r), γ_Ｂ(r)の信頼度を示す情報）を取得する。

即ち、レンズの個体バラツキが大きかったり、手振れ制御のためにレンズの特性が変化するため、倍率色収差の補正量が正確に分からない（倍率色収差の補正精度が低い）、または変動するという状況では、倍率色収差の補正量β_Ｒ(r), β_Ｂ(r)又は補正残り量γ_Ｒ(r), γ_Ｂ(r)の信頼度は低いものとなる。

ストレージ４３には、上記のような倍率色収差補正の信頼度を示す情報が格納されている。補正情報取得部５６ａは、ストレージ４３から倍率色収差補正の信頼度を示す情報を取得し、倍率色収差補正の信頼度が基準値よりも低いか否かを示す情報（倍率色収差の補正精度が閾値以下か否かを示す評価情報）を第３の伝達関数算出部５３ａに出力する。ここで、倍率色収差補正の信頼度が低いか否かを判断するための基準値としては、倍率色収差補正による補正残り量が正確に分からないために、第１の実施形態のＰＳＦ_Ｙ(x,y)から生成した復元フィルタにより復元処理を行うと、却って色ずれが大きくなるおそれがあるか否かを基準にする。

第３の伝達関数算出部５３ａは、第２の伝達関数取得部５２から入力するＰＳＦ_Ｇと、補正残り量γ_Ｒ(r), γ_Ｂ(r)に応じて平行移動させたＰＳＦ_Ｒ，ＰＳＦ_Ｂとを混合して輝度系画像データＹに対するＰＳＦ_Ｙ(x,y)（第３の伝達関数）を作成するが、補正情報取得部５６ａから倍率色収差補正の信頼度が低いことを示す情報を入力する場合には、ＰＳＦ_Ｙ(x,y)から位相情報を消去する。具体的には、ＰＳＦ_Ｙ(x,y)をフーリエ変換してＯＴＦ_Ｙ(ω_x,ω_y)を算出し、その振幅（絶対値）をとってＭＴＦ_Ｙ(ω_x，ω_y)を算出する。そして、第３の伝達関数算出部５３は、倍率色収差補正の信頼度が高い場合には、ＰＳＦ_Ｙ(x,y)を第３の伝達関数として復元フィルタ生成部５７ａに出力する。一方、第３の伝達関数算出部５３は、倍率色収差補正の信頼度が低い場合には、位相情報を除去したＯＴＦ_Ｙ(ω_x，ω_y)、即ち、ＭＴＦ_Ｙ(ω_x，ω_y)を第３の伝達関数として復元フィルタ生成部５７ａに出力する。

復元フィルタ生成部５７ａは、倍率色収差補正の信頼度が高いか否かに応じて、第３の伝達関数算出部５３ａから入力するＰＳＦ_Ｙ(x,y)、又はＭＴＦ_Ｙ(ω_x，ω_y)を使用して輝度系画像データＹを復元処理するための復元フィルタを生成する。これにより、倍率色収差補正の信頼度が低い場合には、復元処理時に位相補正を行わない復元フィルタを生成することができ、倍率色収差による補正残り量が不明である場合にも最適な復元処理が可能な復元フィルタを生成することができる。尚、ＭＴＦ算出の際に、色間の位置ずれ相関（補正残り量）が考慮されているため、後述する単純なＭＴＦ混合等に比べてタンジェンシャル方向のＭＴＦ劣化を低減することができる。

［第３の実施形態］
図９は復元フィルタ生成装置１１の第３の実施形態を示すブロック図であり、主として図３に示した装置ＣＰＵ４０の機能を示す機能ブロック図である。尚、図７及び図８に示した第１、２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第３の実施形態は、第２の実施形態と同様に、倍率色収差補正の信頼度が低いか否かに応じて、復元フィルタの生成方法を切り替える実施形態である。

図９において、第４の伝達関数算出部５４（第４の伝達関数算出手段）は、第１の伝達関数取得部５１からＲＧＢの色毎のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂを入力し、ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂからそれぞれ位相情報を除去したＭＴＦ_Ｒ(ω_x，ω_y)、ＭＴＦ_Ｇ(ω_x，ω_y)、ＭＴＦ_Ｂ(ω_x，ω_y)を算出する。これらのＭＴＦ_Ｒ(ω_x，ω_y)、ＭＴＦ_Ｇ(ω_x，ω_y)、ＭＴＦ_Ｂ(ω_x，ω_y)は、ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂをそれぞれフーリエ変換してＯＴＦ_Ｒ(ω_x，ω_y)、ＯＴＦ_Ｇ(ω_x，ω_y)、ＯＴＦ_Ｂ(ω_x，ω_y)を算出し、その絶対値をとることにより算出することができる。そして、算出したＭＴＦ_Ｒ(ω_x，ω_y)、ＭＴＦ_Ｇ(ω_x，ω_y)、ＭＴＦ_Ｂ(ω_x，ω_y)を混合し、輝度系画像データＹに対するＭＴＦ_Ｙ(ω_x，ω_y)（第４の伝達関数）を算出する。

第４の伝達関数算出部５４によるＭＴＦ_Ｙ(ω_x，ω_y)の算出は、ＭＴＦ_Ｒ(ω_x，ω_y)、ＭＴＦ_Ｇ(ω_x，ω_y)、ＭＴＦ_Ｂ(ω_x，ω_y)、及び重み付け係数ｃ_Ｒ, ｃ_Ｇ, ｃ_Ｂに基づいて、次式により算出することができる。

即ち、第４の伝達関数算出部５４は、ＭＴＦ_Ｒ(ω_x，ω_y)、ＭＴＦ_Ｇ(ω_x，ω_y)、ＭＴＦ_Ｂ(ω_x，ω_y)にそれぞれ重み付け係数ｃ_Ｒ, ｃ_Ｇ, ｃ_Ｂを乗算した値の自乗和の平方根を算出することにより、輝度系画像データＹに対するＭＴＦ_Ｙ(ω_x，ω_y)を算出する。

また、ＭＴＦ_Ｒ(ω_x，ω_y)、ＭＴＦ_Ｇ(ω_x，ω_y)、ＭＴＦ_Ｂ(ω_x，ω_y)を混合し、輝度系画像データＹに対するＭＴＦ_Ｙ(ω_x，ω_y)を算出する他のＭＴＦ混合方法としては、重み付け係数ｃ_Ｒ, ｃ_Ｇ, ｃ_Ｂに基づいて、次式に基づいて行ってもよい。

即ち、第４の伝達関数算出部５４は、ＭＴＦ_Ｒ(ω_x，ω_y)、ＭＴＦ_Ｇ(ω_x，ω_y)、ＭＴＦ_Ｂ(ω_x，ω_y)と重み付け係数ｃ_Ｒ, ｃ_Ｇ, ｃ_Ｂとにより、重み付き線形和を算出することによりＭＴＦ_Ｙ(ω_x，ω_y)を求めるようにしてもよい。

第４の伝達関数算出部５４により算出された輝度系画像データＹに対するＭＴＦ_Ｙ(ω_x，ω_y)は、第４の伝達関数として復元フィルタ生成部５７ｂに出力される。

復元フィルタ生成部５７ｂは、補正情報取得部５６ａから入力する倍率色収差補正の信頼度が高いか否かを示す情報に応じて、第３の伝達関数算出部５３から入力する第３の伝達関数（ＰＳＦ_Ｙ(x,y)）、又は第４の伝達関数算出部５４から入力する第４の伝達関数（ＭＴＦ_Ｙ(ω_x，ω_y)）を使用して輝度系画像データＹを復元処理するための復元フィルタを生成する。即ち、倍率色収差補正の信頼度が低い場合には、ＭＴＦ_Ｙ(ω_x，ω_y)を使用して復元処理時に位相補正を行わない復元フィルタを生成することができる。

これにより、バラツキなどによって倍率色収差による補正残り量が不明である場合にも、適切な復元処理が可能な復元フィルタを生成することができる。

［第４の実施形態］
図１０は復元フィルタ生成装置１１の第４の実施形態を示すブロック図であり、主として図３に示した装置ＣＰＵ４０の機能を示す機能ブロック図である。尚、図７に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第４の実施形態は、倍率色収差補正を行う場合（倍率色収差補正ＯＮ）又は倍率色収差補正を行わない場合（倍率色収差補正ＯＦＦ）に応じて、復元フィルタの生成方法を切り替える実施形態である。

図１０において、第５の伝達関数算出部５５（第５の伝達関数算出手段）は、第１の伝達関数取得部５１からＲＧＢの各色のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂ、及びＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂの重心位置α_Ｒ(r), α_Ｇ(r), α_Ｂ(r)を入力し、前述した［数１］式により補正残り量γ_Ｒ(r), γ_Ｂ(r)を算出する。ここで、倍率色収差補正ＯＦＦの場合の補正残り量γ_Ｒ(r), γ_Ｂ(r)は、［数１］式において、倍率色収差補正における補正量β_Ｒ(r), β_Ｂ(r)を、それぞれ０にすることにより算出することができる。

このようにして算出した補正残り量γ_Ｒ(r), γ_Ｂ(r)に基づいて、前述した［数２］により、補正残り量γ_Ｒ(r), γ_Ｂ(r)に応じて平行移動させた、ＰＳＦ_Ｒ(x,y)、ＰＳＦ_Ｂ(x,y)を算出する。第５の伝達関数算出部５５は、第１の伝達関数取得部５１から入力したＰＳＦ_Ｇと、平行移動させたＰＳＦ_Ｒ，ＰＳＦ_Ｂとを混合し、輝度系画像データＹに対するＰＳＦ_Ｙ(x,y)を算出し、このＰＳＦ_Ｙ(x,y)を第５の伝達関数として復元フィルタ生成部５７ｃに出力する。尚、ＲＧＢのＰＳＦ混合は、［数３］式により行うことができる。

復元フィルタ生成部５７ｃは、図３に示した操作部４１（切替手段）におけるユーザ指示による倍率色収差補正ＯＮ／ＯＦＦの情報、又はストレージ４３（切替手段）に設定された倍率色収差補正ＯＮ／ＯＦＦの情報を入力し、倍率色収差補正ＯＮ／ＯＦＦの情報に応じて、第３の伝達関数算出部５３から入力する第３の伝達関数（ＰＳＦ_Ｙ(x,y)）、又は第５の伝達関数算出部５５から入力する第５の伝達関数（ＰＳＦ_Ｙ(x,y)）を使用して輝度系画像データＹを復元処理するための復元フィルタを生成する。

即ち、復元フィルタ生成部５７ｃは、倍率色収差補正ＯＦＦの場合（倍率色収差補正が行われないように切り替えられた場合）、第５の伝達関数算出部５５から入力する第５の伝達関数を使用して復元フィルタを生成するため、倍率色収差補正を行わないことに起因する輝度系画像データのＭＴＦ劣化を、輝度系画像データの復元処理によって補正可能な復元フィルタを生成することができる。

［第５の実施形態］
図１１は復元フィルタ生成装置１１の第５の実施形態を示すブロック図であり、主として図３に示した装置ＣＰＵ４０の機能を示す機能ブロック図である。尚、図１０に示した第４の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第５の実施形態は、倍率色収差補正ＯＮ／ＯＦＦに応じて、復元フィルタの生成方法を切り替える他の実施形態である。

図１１において、復元フィルタ生成部５７ｄには、第３の伝達関数算出部５３から第３の伝達関数（ＰＳＦ_Ｙ(x,y)）と、第１の伝達関数取得部５１からＧのＰＳＦ_Ｇ(x,y)とが加えられている。復元フィルタ生成部５７ｄは、倍率色収差補正ＯＮ／ＯＦＦの情報に応じて、第３の伝達関数算出部５３から入力するＰＳＦ_Ｙ(x,y)、又は第１の伝達関数取得部５１から入力するＧのＰＳＦ_Ｇ(x,y)を使用して輝度系画像データＹを復元処理するための復元フィルタを生成する。

ここで、復元フィルタ生成部５７ｄは、倍率色収差補正ＯＦＦの場合（倍率色収差補正が行われないように切り替えられた場合）、単色（Ｇ）のＰＳＦ_Ｇ(x,y)を使用して復元フィルタを生成する。このため、ＲＧＢの各色のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂを混合したＰＳＦ_Ｙを使用して生成される復元フィルタに比べて、復元処理時にタンジェンシャル方向の周波数強調が起こらない復元フィルタを生成することができる。

図１２に示すようにＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂが、タンジェンシャル方向に位相ずれが生じている場合、ＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂを混合して生成されるＰＳＦ_Ｙは、タンジェンシャル方向にＭＴＦ劣化が生じる。このため、このＰＳＦ_Ｙから生成される復元フィルタは、劣化方向への復元を強調するものとなる。

即ち、タンジェンシャル方向のＭＴＦ劣化の程度が少なく、劣化したＭＴＦ値がＳＮ比から規定される閾値より大きい場合には、タンジェンシャル方向に周波数が強調され、色収差が目立って見えてしまう場合（エッジ部分の色収差が強調される場合）がある。そのような場合には、単色のＧのＰＳＦ_Ｇ(x,y)を使用し、タンジェンシャル方向の周波数強調が起こらないように復元フィルタを生成することが好ましい。

具体的に、タンジェンシャル方向のＭＴＦ劣化の程度が少ないとは、以下の［数９］式に示す条件を満たす場合である。

タンジェンシャル方向のＭＴＦ劣化の程度が少ないとは、別の言葉でいうと、ＰＳＦ又はＭＴＦを混合することによって、タンジェンシャル方向の低・中周波におけるWienerフィルタによる周波数強調の大きさが、1.0を超える場合である。

ここで、(ω_x，ω_y)は、視覚的に重要である0.25Fs（Fs：サンプリング周波数）以下程度であるとする。このように、倍率色収差補正ＯＦＦとされた色収差が目立つ状態において、単色のＧのＰＳＦ_Ｇ(x,y)を使用して復元フィルタを生成する。これにより、ＲＧＢの各色のＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂを混合したＰＳＦ_Ｙを使用して生成される復元フィルタによって、逆に色収差が目立つ方向の周波数が強調されてしまうのを防ぐことができる。また、ＧのＰＳＦ_Ｇ(x,y)を使用するのは、ＲＧＢのうちでＧの画像データが、輝度系画像データの生成に最も寄与するからである。

尚、この実施形態では、図６Ａに示すようにＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂのデータ形式として、ＰＳＦ重心が中心（座標x=0,y=0）となるように配置されているデータと、それぞれの重心位置を示すデータα_Ｒ(r), α_Ｇ(r), α_Ｂ(r)とから構成されているものを使用したが、本発明はこれに限定されない。例えば、絶対位置を有するＰＳＦ_Ｒ，ＰＳＦ_Ｇ，ＰＳＦ_Ｂを使用しても同様に各種の伝達関数を算出することができる。また、ＰＳＦとＯＴＦとはフーリエ変換の関係にあるため、上記実施形態におけるＰＳＦの代わりにＯＴＦを使用してもよく、また、ＯＴＦは、ＭＴＦとＰＴＦとを合わせた情報量をもつため、ＭＴＦとＰＴＦを使用してもよい。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Extended Depth of Field (Focus)）を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。

図１３は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部）１２０とを含む。

図１４は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）を構成（ＥＤｏＦ化）する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

尚、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよく、各種の光波面変調素子が採用されてもよい。

即ち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１４に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１３に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣ変換部１２６と、復元処理部（Ｙ信号復元処理部）１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ（Optical Black）光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。即ち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂを出力する。

復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。尚、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えば復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック１２０による復元処理について説明する。図１５は、図１３に示す復元処理ブロック１２０における復元処理の一例を示すフローチャートである。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられている。黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（ステップＳ１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ２及びＳ３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣ変換部１２６において輝度信号Ｙと色差信号（クロマ信号）Ｃｒ、Ｃｂに変換される（ステップＳ４）。

復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５）。即ち、復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。

ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、復元処理部１２７でのデコンボリューション処理により、小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。尚、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧ（Joint Photographic Experts Group）のような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の第１から第５の実施形態に係る復元フィルタを生成することが可能である。

また、本発明を適用可能な態様は、デジタルカメラ２、復元フィルタ生成装置１１に限定されず、撮像を主たる機能とするカメラ類以外にも、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１６は、デジタルカメラ２の他の実施形態であるスマートフォン５００の外観を示す斜視図である。図１６に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、筐体５０２が、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１７は、図１６に示すスマートフォン５００の構成を示すブロック図である。図１７に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルである。表示入力部５２０は、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１６に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１６に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載される。操作部５４０は、例えば、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る復元フィルタ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に、前述したデジタルカメラ２を適用することができる。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばＪＰＥＧ（Joint Photographic Coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１６に示すスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限定されない。カメラ部５４１は、例えば、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［その他］
この実施形態のデジタルカメラ２は、復元フィルタ生成装置１１により生成された復元フィルタを、復元フィルタ生成装置１１の通信Ｉ／Ｆ４４を介してカメラ内のメモリ１４に格納するようにしたが、デジタルカメラ２と復元フィルタ生成装置１１とが一体化されたものでもよい。この場合、デジタルカメラが復元フィルタも生成し、かつ生成した復元フィルタを使用して復元処理を実施することになる。また、デジタルカメラとしては、レンズ交換式のものでもよく、装着される交換レンズのＰＳＦ等を交換レンズとの通信により取得し、取得したＰＳＦ等に基づいて復元フィルタを生成するようにしてもよい。

また、本発明は、汎用のパーソナルコンピュータにインストールされることにより該パーソナルコンピュータを復元フィルタ生成装置として機能させる復元フィルタ生成プログラム、及びこの復元フィルタ生成プログラムが記録された（非一時的（non-transitory）かつコンピュータ読取可能な）記録媒体を含む。復元フィルタ生成プログラムは、少なくとも復元フィルタ生成装置の第１の伝達関数取得手段、補正情報取得手段、第２の伝達関数取得手段、第３の伝達関数算出手段、及び復元フィルタ生成手段に対応する各機能を、コンピュータに実現させるものである。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

２…デジタルカメラ、１１…復元フィルタ生成装置、１２…復元フィルタ、１４…メモリ、１３…カメラＣＰＵ、１７…光学系、２９…画像処理回路、３６，１２５…デモザイク処理部、３７…倍率色収差補正部、３８、１２６…ＲＧＢ／ＹＣ変換部、３９…復元処理部、４０…装置ＣＰＵ、４１…操作部、４３…ストレージ、４６…復元フィルタ生成プログラム、５１…第１の伝達関数取得部、５２…第２の伝達関数取得部、５３、５３ａ…第３の伝達関数算出部、５４…第４の伝達関数算出部、５５…第５の伝達関数算出部、５６、５６ａ…補正情報取得部、５７、５７ａ，５７ｂ，５７ｃ、５７ｄ…復元フィルタ生成部、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１２０…復元処理ブロック、２００…主制御部、２０１…スマートフォン

Claims (18)

1. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
   前記光学系の点像分布に関する第１の伝達関数を、前記複数色の色毎に取得する第１の伝達関数取得手段と、
   前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得手段と、
   前記補正情報取得手段により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第１の伝達関数を平行移動させた、第２の伝達関数を取得する第２の伝達関数取得手段と、
   前記第２の伝達関数取得手段により取得した前記複数色の色毎の第２の伝達関数に基づいて、前記輝度系画像データに対する第３の伝達関数を算出する第３の伝達関数算出手段と、
   前記第３の伝達関数算出手段により算出された第３の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成手段と、
   を備えた復元フィルタ生成装置。
2. 前記第３の伝達関数算出手段は、前記複数色の色毎の第２の伝達関数を混合して前記輝度系画像データに対する第３の伝達関数を算出する請求項１に記載の復元フィルタ生成装置。
3. 前記第３の伝達関数算出手段は、前記複数色の色毎の第２の伝達関数に色毎の重み付け係数を乗算した値の線形和を、前記輝度系画像データに対する第３の伝達関数として算出する請求項２に記載の復元フィルタ生成装置。
4. 倍率色収差の補正精度が閾値以下か評価する補正精度評価手段を備え、
   前記復元フィルタ生成手段は、前記補正精度評価手段が前記倍率色収差の補正精度が閾値以下と評価した場合は、前記第３の伝達関数算出手段により算出された第３の伝達関数から位相情報を除去し、位相情報を除去した第３の伝達関数に基づいて、周波数復元のみを行う復元フィルタを生成する請求項１から３のいずれか１項に記載の復元フィルタ生成装置。
5. 前記第１の伝達関数取得手段により取得した前記複数色の色毎の第１の伝達関数からそれぞれ位相情報を除去し、位相情報を除去した複数色の色毎の第１の伝達関数を混合して前記輝度系画像データに対する第４の伝達関数を算出する第４の伝達関数算出手段と、
   倍率色収差の補正精度が閾値以下か評価する補正精度評価手段と、を備え、
   前記復元フィルタ生成手段は、前記補正精度評価手段が前記倍率色収差の補正精度が閾値以下と評価した場合は、前記第４の伝達関数算出手段により算出された第４の伝達関数に基づいて、前記輝度系画像データに対する周波数復元のみを行う復元フィルタを生成する請求項１から３のいずれか１項に記載の復元フィルタ生成装置。
6. 前記第４の伝達関数算出手段は、前記位相情報を除去した複数色の色毎の第１の伝達関数に色毎の重み付け係数を乗算した値の自乗和の平方根を、前記輝度系画像データに対する第４の伝達関数として算出する請求項５に記載の復元フィルタ生成装置。
7. 前記第４の伝達関数算出手段は、前記位相情報を除去した複数色の色毎の第１の伝達関数に色毎の重み付け係数を乗算した値の線形和を、前記輝度系画像データに対する第４の伝達関数として算出する請求項５に記載の復元フィルタ生成装置。
8. 前記第１の伝達関数取得手段は、位相を変調させて被写界深度を拡大させるレンズ部を有する前記光学系の複数色の色毎の第１の伝達関数を取得する請求項１から７のいずれか１項記載の復元フィルタ生成装置。
9. 倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、
   前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記複数色の色毎の第１の伝達関数を混合し、前記輝度系画像データに対する第５の伝達関数を算出する第５の伝達関数算出手段と、を備え、
   前記復元フィルタ生成手段は、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記第５の伝達関数算出手段により算出された第５の伝達関数に基づいて、前記輝度系画像データに対する復元フィルタを生成する請求項１から８のいずれか１項に記載の復元フィルタ生成装置。
10. 倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段を備え、
    前記複数色の画像データには、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の画像データが含まれており、
    前記復元フィルタ生成手段は、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記第１の伝達関数取得手段により取得した前記複数色の色毎の第１の伝達関数のうちのＧ色に対応する第１の伝達関数に基づいて、前記輝度系画像データに対する復元フィルタを生成する請求項１から８のいずれか１項に記載の復元フィルタ生成装置。
11. 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
    前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
    前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
    請求項１から８のいずれか１項に記載の復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、
    前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ格納手段に格納されている前記復元フィルタを用いて復元処理を施す復元処理手段と、
    を備えた画像処理装置。
12. 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
    倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、
    前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
    前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成し、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記画像データ取得手段により取得した複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
    請求項９又は１０に記載の復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、
    前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ格納手段に格納されている前記復元フィルタを用いて復元処理を施す復元処理手段と、
    を備えた画像処理装置。
13. 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
    前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
    前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
    請求項１から８のいずれか１項に記載の復元フィルタ生成装置と、
    前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ生成装置により生成された前記復元フィルタを用いて復元処理を施す復元処理手段と、
    を備えた画像処理装置。
14. 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
    倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、
    前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
    前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成し、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記画像データ取得手段により取得した複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
    請求項９又は１０に記載の復元フィルタ生成装置と、
    前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ生成装置により生成された前記復元フィルタを用いて復元処理を施す復元処理手段と、
    を備えた画像処理装置。
15. 光学系を有しており、かつ複数色の色毎の画像データを出力する撮像手段と、
    請求項１１から１４のいずれか１項に記載の画像処理装置と、
    を備えた撮像装置。
16. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
    前記光学系の点像分布に関する第１の伝達関数を、前記複数色の色毎に取得する第１の伝達関数取得工程と、
    前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得工程と、
    前記補正情報取得工程により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第１の伝達関数を平行移動させた、第２の伝達関数を取得する第２の伝達関数取得工程と、
    前記第２の伝達関数取得工程により取得した前記複数色の色毎の第２の伝達関数に基づいて、前記輝度系画像データに対する第３の伝達関数を算出する第３の伝達関数算出工程と、
    前記第３の伝達関数算出工程により算出された第３の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成工程と、
    を含む復元フィルタ生成方法。
17. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成するプログラムであって、
    前記光学系の点像分布に関する第１の伝達関数を、前記複数色の色毎に取得する第１の伝達関数取得機能と、
    前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得機能と、
    前記補正情報取得機能により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第１の伝達関数を平行移動させた、第２の伝達関数を取得する第２の伝達関数取得機能と、
    前記第２の伝達関数取得機能により取得した前記複数色の色毎の第２の伝達関数に基づいて、前記輝度系画像データに対する第３の伝達関数を算出する第３の伝達関数算出機能と、
    前記第３の伝達関数算出機能により算出された第３の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成機能と、
    をコンピュータに実現させるための復元フィルタ生成プログラム。
18. コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
    前記光学系の点像分布に関する第１の伝達関数を、前記複数色の色毎に取得する第１の伝達関数取得工程と、
    前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得工程と、
    前記補正情報取得工程により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第１の伝達関数を平行移動させた、第２の伝達関数を取得する第２の伝達関数取得工程と、
    前記第２の伝達関数取得工程により取得した前記複数色の色毎の第２の伝達関数に基づいて、前記輝度系画像データに対する第３の伝達関数を算出する第３の伝達関数算出工程と、
    前記第３の伝達関数算出工程により算出された第３の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成工程と、
    を含む復元フィルタ生成方法を実行する、記録媒体。

Images