WO2014148074A1

WO2014148074A1 - 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体

Info

Publication number: WO2014148074A1
Application number: PCT/JP2014/050557
Authority: WO
Inventors: 洋介成瀬; 林　健吉; 杉本　雅彦
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2013-03-18
Filing date: 2014-01-15
Publication date: 2014-09-25
Anticipated expiration: 2015-09-18
Also published as: JPWO2014148074A1; JP5844940B2; CN105075239A; US9865039B2; US20160027157A1; CN105075239B

Abstract

　本発明は復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体に関する。本発明の一の態様に係る復元フィルタ生成装置では、光学系（１４）の光学伝達関数の色によるばらつきを示す情報を取得する情報取得部（８２）と、情報取得部（８２）によって取得された情報に基づいて、光学伝達関数の色によるばらつきに応じて復元強度を弱くする復元フィルタを生成する復元フィルタ生成部（８４）であって、光学伝達関数の色によるばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、復元フィルタの復元強度を弱くする復元フィルタ生成部（８４）と、を備える。これにより、過補正が低減される。

Description

復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体

　本発明は、複数色の色毎の画像データに基づいて生成された輝度系画像データに対する復元処理を行うための復元フィルタを生成する復元フィルタ生成装置及び方法、この復元フィルタを用いて復元処理を行う画像処理装置及び方法、この画像処理装置を備える撮像装置、復元フィルタを生成するためのプログラム、並びに記録媒体に関する。

　デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、光学系（撮影レンズ等）の種々の収差に由来する画像劣化が生じる場合がある。この収差による画像劣化は、点像分布関数（ＰＳＦ：Point Spread Function）等により表現可能である。従って、ＰＳＦ等の光学系の劣化特性に基づき復元フィルタを生成し、この復元フィルタを用いて画像データに対して点像復元処理（復元処理）を施すことにより、画像劣化を低減させることができる。

　特許文献１（特に段落［００４３］－［００４８］を参照）は、撮像デバイスから入力した画像データから輝度成分Ｙを分離し、その輝度成分Ｙ（＝Ｗｒ×Ｒ＋Ｗｇ×Ｇ＋Ｗｂ×Ｂ）におけるＲ，Ｇ，Ｂの係数（Ｗｒ，Ｗｇ，Ｗｂ）を用いて、Ｒ，Ｇ，Ｂ各色の点像分布関数（ＰＳＦｒ,ＰＳＦｇ,ＰＳＦｂ）を合成することで、輝度成分の点像分布関数ＰＳＦｙ（＝Ｗｒ×ＰＳＦｒ＋Ｗｇ×ＰＳＦｇ＋Ｗｂ×ＰＳＦｂ）を取得し、この輝度成分の点像分布関数ＰＳＦｙに基づいて輝度成分Ｙに対する補正係数を算出する発明を、開示している。

　特許文献２は、復元フィルタの調整パラメータとして振幅特性が選択された場合には、ユーザが調整バーで調整した量に応じて、復元フィルタのゲイン（振幅特性）を変更し、調整パラメータとして位相特性が選択された場合には、ユーザが調整バーで調整した量に応じて、復元フィルタの位相角（位相特性）を変更する発明を、開示している。

　特許文献３は、点像分布関数の色成分間の差異（色収差）を相対的な平行移動によって低減し、その点像分布関数に基づいて復元フィルタを生成する発明を開示している。

特開２０１０－１４０４４２号公報特開２０１１－１９３２７７号公報特開２０１２－１２９９３２号公報

　特許文献１に記載の発明は、補正対象の画像データの輝度成分のみを補正するので、Ｒ，Ｇ，Ｂの位相ずれ量を全ての色で平均的に戻すことは可能であるが、特定の波長の色において、位相ずれの戻し過ぎ（過補正）が発生してしまう問題がある。特に、輝度系画像データに対して位相補正を行う場合には、複数色（Ｒ，Ｇ，Ｂ）の各色の画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に対して個別に位相補正を行う場合とは異なり、位相の過補正が生じ易い。位相が過補正になると、アーティファクトが生じ、却って画質が劣化することもある。

　特許文献２に記載の発明は、ユーザ入力により復元フィルタの振幅特性（変調特性）と位相特性とを個別に調整可能であるが、Ｒ,Ｇ,Ｂ各色ごとの画像データに対して復元処理を行うものであり、輝度成分のみを補正する場合に生じる特定の色における過補正の問題については触れられておらず、そのまま輝度成分のみの補正に適用すると過補正が発生してしまう。

　特許文献３に記載の発明は、色収差補正後の画像データに対する復元フィルタを生成することが可能であるが、同じくＲ，Ｇ，Ｂ各色ごとの画像データに対して復元処理を行うものであり、輝度成分のみを補正する場合に生じる特定の色における過補正の問題については触れられていない。

　本発明の目的は、輝度系画像データに対して復元処理を行う場合に、光学伝達関数のばらつきに応じて過補正を低減することができる復元ファイル生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体を提供することにある。

　上記の目的を達成するために、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得部と、復元フィルタを生成する復元フィルタ生成部と、を備え、復元フィルタ生成部は、情報取得部によって取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置を提供する。

　ここで、「光学伝達関数」として、例えば、ＰＳＦ（Point Spread Function：「点像分布関数」あるいは「点拡がり関数」ともいう）、ＰＳＦをフーリエ変換して得られるＯＴＦ（Optical Transfer Function）、ＰＴＦ（Phase Transfer Function：「位相伝達関数」ともいう）、ＭＴＦ（Modulation Transfer Function：「変調伝達関数」あるいは「振幅伝達関数」ともいう）が、挙げられる。また、「光学伝達関数」は、直接的に、「振幅」及び「位相」のうち少なくとも一方を示す情報に限定されない。「光学伝達関数」に対して特定の演算処理を行うことで、「振幅」及び「位相」の少なくとも一方を算出してもよい。即ち、「光学伝達関数」は、間接的に、「振幅」及び「位相」のうち少なくとも一方を示す情報を含む。

　また、「光学系の光学伝達関数の色によるばらつき」とは、光学系における各色の光学伝達関数間のばらつきである。

　本発明によれば、復元フィルタを生成する復元フィルタ生成部を備え、復元フィルタ生成部は、取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成するので、輝度系画像データに対して復元処理を行うための復元フィルタを生成する場合に、光学伝達関数の色によるばらつきによる過補正を低減したタフネス性の高い復元フィルタを生成することができる。

　本発明の一実施形態において、光学伝達関数の色によるばらつきを示す情報（光学伝達関数のばらつき情報）は、光学伝達関数の色に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散である。これにより、輝度系画像データ上の特定の色のみに対し偏った復元強度を有する復元フィルタを生成することが防止される。

　本発明の一実施形態において、情報取得部は、色別の光学伝達関数を取得し、色別の光学伝達関数に基づいて光学伝達関数の色に依存するばらつきを算出する。これにより、光学伝達関数の色によるばらつきを示す情報を特別に用意しておかなくても、色別の光学伝達関数のみを用意しておけば、輝度系画像データを形成するあらゆる色による光学伝達関数ばらつきに対して偏りのない的確な復元強度を有する復元フィルタを生成可能になる。

　本発明の一実施形態において、情報取得部は、光学伝達関数の色に依存するばらつきが正規分布に従うとして光学伝達関数の平均及び分散を算出し、復元フィルタ生成部は、光学伝達関数の平均及び分散に基づいて、復元フィルタを生成する。これにより、輝度系画像データ上の特定の色のみに対し偏った復元強度を有する復元フィルタを生成することが防止される。

　本発明の一実施形態において、復元フィルタ生成部は、平均及び分散の項が分母に設けられた数式に基づいて、復元フィルタを生成する。また、本発明の一実施形態において、復元フィルタ生成部は、平均及び分散を空間周波数毎に算出し、空間周波数毎の平均及び分散に基づいて、復元フィルタを生成する。これにより、輝度系画像データを形成するあらゆる色における光学伝達関数のばらつきの中心である「平均」と、輝度系画像データを形成するあらゆる色における光学伝達関数ばらつきを示す「分散」とに基づいて、光学伝達関数の色によるばらつき（分散）が大きいほど復元強度を弱くする復元フィルタが生成されることになる。

　本発明の一実施形態において、復元フィルタ生成部は、光学伝達関数の色に依存するばらつきが大きい空間周波数ほど復元強度を弱くする。これにより、光学伝達関数のばらつきが大きい空間周波数ほど復元強度が理想フィルタと比較して弱くなるので、光学伝達関数のばらつきが小さい空間周波数では理想フィルタに近い復元強度で復元しつつ、光学伝達関数のばらつきが大きい空間周波数では過補正を抑えることができる。

　本発明の一実施形態において、情報取得部は、撮像装置で得られる輝度系画像データにおける色の確率分布と、色別の光学伝達関数とを取得し、取得された輝度系画像データにおける色の確率分布と色別の光学伝達関数とに基づいて、光学伝達関数の色に依存するばらつきが正規分布に従うとして当該光学伝達関数の色によるばらつきを示す情報（ばらつき情報）を算出する。これにより、輝度系画像データにおける色の確率分布と色別の光学伝達関数とを用意しておけば、輝度系画像データを形成するあらゆる色による光学伝達関数ばらつきに対して偏りのない的確な復元強度を有する復元フィルタを、生成することが可能になる。

　本発明の一実施形態において、ばらつき情報は、光学系の光学伝達関数の、少なくとも光学系の製造に起因するばらつきを含み、復元フィルタ生成部は、光学系の製造によるばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、復元フィルタの復元強度を弱くする復元フィルタを生成する。これにより、光学伝達関数の製造によるばらつきにも応じて、過補正を低減することができる。

　本発明の一実施形態において、ばらつき情報は、光学伝達関数の撮影条件に依存するばらつきを含み、復元フィルタ生成部は、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、復元フィルタの復元強度を弱くする。これにより、光学伝達関数の撮影条件によるばらつきにも応じて、過補正を低減することができる。

　本発明の一実施形態において、復元フィルタ生成部は、少なくとも位相復元を伴う復元処理を行う復元フィルタを生成する。これにより、特に位相復元を伴う復元処理において色によるばらつきに対してタフネス性の高い復元フィルタを生成可能になる。

　本発明の一実施形態において、復元フィルタ生成部は、位相復元を伴わない復元処理を行う復元フィルタを生成する。これにより、位相復元を伴わない復元処理において色によるばらつきに対してタフネス性の高い復元フィルタを生成可能になる。

　本発明の一実施形態において、復元フィルタ生成部は、復元フィルタとしてＷｉｅｎｅｒフィルタを生成する。

　本発明の一実施形態において、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。

　また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、光学系の光学伝達関数の、光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得部と、復元フィルタを生成する復元フィルタ生成部と、を備え、ばらつき情報は製造に起因するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成部は、取得されたばらつき情報に基づいて、光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置を提供する。これにより、光学伝達関数の、光学系の製造に起因するばらつきに対して過補正を低減したタフネス性の高い復元フィルタを生成することができる。また、光学系の特定の個体のみに偏った復元強度を有する復元フィルタを生成することがなく、光学系のあらゆる個体に対して偏りのない的確な復元強度を有する復元フィルタを生成することが可能になる。

　また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得部と、復元フィルタを生成する復元フィルタ生成部と、を備え、ばらつき情報は撮影条件に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成部は、取得されたばらつき情報に基づいて、撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置を提供する。光学伝達関数の撮影条件に依存するばらつきに対して過補正を低減したタフネス性の高い復元フィルタを生成することができる。また、特定の撮影条件のみに偏った復元強度を有する復元フィルタを生成することがなく、光学伝達関数の撮影条件に依存するばらつきに対して偏りなく的確な復元強度を有する復元フィルタを、生成することが可能になる。

　また、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された輝度に関する画像データである輝度系画像データを取得する画像データ取得部と、復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納部と、画像データ取得部で取得された輝度系画像データに対して、復元フィルタ格納部に格納されている復元フィルタを用いて復元処理を施す復元処理部と、を備える画像処理装置を提供する。

　また、本発明は、光学系を有する撮像装置で得られる画像データを取得する画像データ取得部と、復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納部と、画像データ取得部で取得された画像データに対して、復元フィルタ格納部に格納されている復元フィルタを用いて復元処理を施す復元処理部と、を備える画像処理装置を提供する。

　また、本発明は、復元フィルタ生成装置を含む画像処理装置を提供する。

　また、本発明は、光学系と、複数色の色毎の画像データを出力する撮像素子と、画像処理装置と、を備える撮像装置を提供する。

　また、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法を提供する。

　また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、光学系の光学伝達関数の、光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、ばらつき情報は光学系の製造に起因するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、光学伝達関数の光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法を提供する。

　また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、情報取得ステップで取得されるばらつき情報は、撮影条件に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法を提供する。

　また、本発明は、光学系を有する撮像装置により得られた色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データを取得する画像データ取得ステップと、復元フィルタ生成方法により生成された復元フィルタを用いて、画像データ取得ステップで取得された輝度系画像データに対して復元処理を施す復元処理ステップと、を有する画像処理方法を提供する。

　また、本発明は、光学系を有する撮像装置により得られた画像データを取得する画像データ取得ステップと、復元フィルタ生成方法により生成された復元フィルタを用いて、画像データ取得ステップで取得された画像データに対して復元処理を施す復元処理ステップと、を有する画像処理方法を提供する。

　また、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラムを提供する。

　また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、光学系の光学伝達関数の、光学系の製造に起因するばらつきを示すばらつき情報として、光学系の製造に起因するばらつきが正規分布に従うとして算出された光学伝達関数の分散を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラムを提供する。

　また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報として、撮影条件に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラムを提供する。

　また本発明は、上記態様のいずれか一に係るプログラムが記録された、コンピュータ読み取り可能な記録媒体を提供する。

　本発明によれば、光学伝達関数のばらつきに応じて過補正を低減することができる。

図１は、本発明を適用した復元フィルタ生成装置と画像処理装置の一例であるデジタルカメラとを含むシステム構成例を示すブロック図である。図２は、点像復元処理の原理を説明するための説明図である。図３は、振幅補正と位相補正の違いを説明するための説明図である。図４は、色に依存して光学伝達関数にばらつきが生じることを説明するための説明図である。図５は、色に依存したＯＴＦばらつきと製造によるＯＴＦばらつきとを同様な確率論を用いて扱うことを説明するための説明図である。図６は、復元フィルタ生成処理の一例の概略を示すフローチャートである。図７は、点像復元処理の一例の概略を示すブロック図である。図８は、位相補正実施有無の切替処理の概略を示すフローチャートである。図９は、復元フィルタ生成処理を説明するための復元処理モデルを示す図である。図１０は、第1実施形態における復元フィルタ生成処理例の流れを示すフローチャートである。図１１は、光学伝達関数の正規分布における空間周波数ωに対する平均μ、平均μ＋標準偏差σ、平均μ－標準偏差σの例を示す。図１２は、デジタルカメラのハードウェア構成例を示すブロック図である。図１３は、図１２の画像処理回路の構成例と示すブロック図である。図１４は、復元フィルタ生成装置のハードウェア構成例を示すブロック図である。図１５は、復元フィルタ生成装置及び画像処理装置を包むデジタルカメラのブロック図である。図１６は、復元フィルタ生成装置及び画像処理装置を包むコンピュータ装置のブロック図である。図１７は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。図１８は、ＥＤｏＦ光学系の一例を示す図である。図１９は、ＥＤｏＦ光学系を備えるデジタルカメラの復元処理部における復元処理の一例を示すフローチャートである。図２０は、スマートフォンの外観図である。図２１は、図２０に示すスマートフォンの構成を示すブロック図である。

　添付図面を参照して本発明の実施形態について説明する。

　＜システム構成例＞
　図１は、本発明を適用した復元フィルタ生成装置と画像処理装置の一例であるデジタルカメラとを含むシステム構成例を示すブロック図である。

　デジタルカメラ１０（撮像装置）は、光学系１４及び撮像素子１６を有する撮像部１８と、撮像部１８により得られる複数色（本例ではＲ，Ｇ，Ｂ）の色別の画像データに基づいて、輝度に関する画像データである輝度系画像データを生成する輝度系画像データ生成部２２と、輝度系画像データ（又は色別の画像データ）に対して復元処理を行うための復元フィルタＦを格納する復元フィルタ格納部２４と、復元フィルタ格納部２４に格納されている復元フィルタＦを用いて輝度系画像データ（又は色別の画像データ）に対して点像復元処理を施す復元処理部２６と、を含んで構成される。

　復元フィルタ生成装置８０は、デジタルカメラ１０の光学系１４における点像分布に対応する光学伝達関数と、光学伝達関数のばらつきを示すばらつき情報（以下では「ＯＴＦばらつき」ともいう）とを取得する情報取得部８２と、情報取得部８２によって取得された情報に基づいて復元フィルタＦを生成する復元フィルタ生成部８４と、復元フィルタＦに輝度系画像データ（又は色別の画像データ）の位相補正を行わせるか否かを切り替える切替部８６と、含んで構成される。

　情報取得部８２によって取得される「光学伝達関数」としては、例えば、ＰＳＦ（Point Spread Function：以下では「点像分布関数」あるいは「点拡がり関数」ともいう）、ＰＳＦをフーリエ変換して得られる所謂ＯＴＦ（Optical Transfer Function：以下では「複素ＯＴＦ」あるいは「複素光学伝達関数」ともいう）が挙げられる。複素ＯＴＦは、ＭＴＦ（Modulation Transfer Function：以下では「変調伝達関数」あるいは「振幅伝達関数」ともいう）、及びＰＴＦ（Phase Transfer Function：以下では「位相伝達関数」ともいう）によって構成されている。ＭＴＦのみ又はＰＴＦのみを「光学伝達関数」として取得する場合も含まれる。また、「光学伝達関数」が変調成分（以下では「振幅成分」ともいう）及び位相成分のうち少なくとも一方を含み、光学伝達関数からＭＴＦ及びＰＴＦのうち少なくとも一方を算出する場合でよい。即ち、「光学伝達関数」は、間接的に、ＭＴＦ及びＰＴＦのうち少なくとも一方を示す情報を含む。

　情報取得部８２によって取得される光学伝達関数のばらつき情報（「ＯＴＦばらつき」ともいう）としては、例えば、輝度系画像データ（又は色別の画像データ）に表れる色（ある表色系の色空間上の色）によるＯＴＦばらつき、光学系１４の製造による個体ばらつき、及び、デジタルカメラ１０（撮像装置）での撮影時の撮影条件によるＯＴＦばらつき、が挙げられる。ここで、「光学系の光学伝達関数の色によるばらつき」とは、光学系における各色の光学伝達関数間のばらつきである。

　本例の情報取得部８２は、色別の光学伝達関数を取得し、その色別の光学伝達関数に基づいて、光学伝達関数の色によるばらつきを算出するようにしてもよい。

　復元フィルタ生成部８４は、情報取得部８２によって取得された情報（光学伝達関数及びばらつき情報）に基づいて、光学伝達関数のばらつきに応じて復元強度を弱くする復元フィルタを生成する。具体的には、復元フィルタ生成部８４は、空間周波数毎に、光学伝達関数のばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、生成する復元フィルタの復元強度を弱くする。

　＜復元処理＞
　図２は、点像復元処理の原理を説明するための説明図である。図２では、理解を容易にするため、被写体像として点像を撮像した場合を示している。被写体像は、レンズ１１及び絞り１２を含む光学系１４を介して、撮像素子１６の撮像面に結像され、その撮像素子１６により撮像される。その撮像素子１６からは、光学系１４の収差に起因して被写体像が劣化した画像データである劣化画像データが出力される。そこで、光学系１４における劣化の特性を、撮影条件（例えば、絞り値、焦点距離、被写体距離、レンズ種類、など）に応じた光学伝達関数として、予め求めておく。また、図１の復元フィルタ生成部８４によって、光学伝達関数及びばらつき情報に基づいて、点像復元処理用の復元フィルタＦを生成する。図１の復元処理部２６によって、復元フィルタＦを用い、劣化画像データの劣化をキャンセルする点像復元処理（復元処理）を行う。そうすると、劣化がキャンセルされた復元画像データを得ることができる。

　図３に示すように、点像復元処理は、「位相補正」（「位相復元」ともいう）と、「振幅補正」（「振幅復元」ともいう）とに、大別することができる。「位相補正」は、光学系において劣化した位相特性（ＰＴＦ）を復元する画像処理である。位相補正により、非対称な点広がり形状を点対称な点広がり形状に補正することができる。「振幅補正」は、光学系において劣化した振幅特性（ＭＴＦ）を復元する画像処理である。振幅補正により、点広がり形状を点（デルタ関数）に補正することができる。ただし、ボケが酷かったりＳＮ比が悪かったりすると、完全には点形状に戻らないことがある。

　また、光学系の収差は、波長によって異なるため、理想的には色（例えばＲ，Ｇ，Ｂ）毎に異なる復元フィルタを用いて点像復元処理を行うことが、好ましい。しかしながら、複数色（例えばＲ，Ｇ，Ｂ）の色毎の画像データに対して、それぞれ点像復元処理を行うと演算処理の負荷が大きい。そのため、図１の復元処理部２６によって、視覚的な効果が大きい輝度系画像データに対して点像復元処理を行う場合がある。その場合、図１の復元フィルタ生成部８４は、輝度系画像データ用の復元フィルタＦを生成する。

　＜光学伝達関数ばらつきに応じた復元処理＞
　図４は、色に依存して光学伝達関数にばらつきが生じることを説明するための説明図である。尚、図中、「白色点」のＰＳＦ形状は、白色点を撮像した際にＲ，Ｇ，Ｂ画像データを合成した合成画像における点広がりの形状を示している。また、図中の「Ｒ」，「Ｇ」，「Ｂ」のＰＳＦ形状は、それぞれＲ，Ｇ，Ｂ画像データにおける点広がりの形状を示している。尚、図示の都合上、「白色点」のＰＳＦ形状では白いほど光の強度が大きく、「Ｒ」，「Ｇ」，「Ｂ」のＰＳＦ形状では黒いほど光の強度が大きい。図４に示すように、Ｒ（赤）のＰＳＦ形状と、Ｇ（緑）のＰＳＦ形状と、Ｂ（青）のＰＳＦ形状とで、ばらつきが生じる。このようなＰＳＦ形状のばらつきは、ＭＴＦ（変調伝達関数）及びＰＴＦ（位相伝達関数）からなる複素ＯＴＦのばらつきに対応している。

　輝度系画像データに対して点像復元処理を実行する場合には、Ｒ，Ｇ，Ｂの色別の画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に対してそれぞれ個別の点像復元処理を実行する場合とは異なり、全色にわたり同一の補正しか実行できない。そのため、色によっては、過補正により却って画質が劣化するという、弊害の問題が生じる。

　本発明では、色に依存して「ＰＳＦ形状が確率的にばらついている」と捉える。つまり、色による光学伝達関数のばらつきを、確率分布として扱う。

　図５は、色に依存したＯＴＦばらつきと、製造によるＯＴＦばらつきとを、同様な確率論を用いて扱うことを説明するための説明図である。

　図５において、「レンズ＃１」及び「レンズ＃２」は、同一の設計仕様で製造された異なる個体の光学系１４を表している。「レンズ＃１」と「レンズ＃２」とでは、Ｒ（赤）のＰＳＦ形状と、Ｇ（緑）のＰＳＦ形状と、Ｂ（青）のＰＳＦ形状が、異なっている。このように、ＰＳＦ形状は、色によってばらつきが生じるだけでなく、光学系１４の製造に依存してばらつき（個体ばらつき）が生じる。

　ＰＳＦ形状のばらつきを「確率分布」として定義すれば、色によるＰＳＦ形状のばらつきと製造によるＰＳＦ形状のばらつきとを、同様な確率論を用いて扱うことができる。具体的には、輝度系画像データにおける複素ＯＴＦをｈ_ｙとし、空間周波数を（ω_ｘ，ω_ｙ）としたとき、色による複素ＯＴＦのばらつき及び製造による複素ＯＴＦのばらつきを、確率分布Ｐ_ｙ（ｈ_ｙ｜ω_ｘ，ω_ｙ）と定義する。つまり、色によるＯＴＦばらつき及び製造によるＯＴＦばらつきを、正規分布における確率分布Ｐ_ｙの分散として求める。

　図６は、復元フィルタ生成部８４による復元フィルタ生成処理の一例の概略を示すフローチャートである。

　ステップＳ１において、情報取得部８２により、光学系１４における光学伝達関数を、複数色（例えばＲ，Ｇ，Ｂの３色）の色別に取得する。

　ステップＳ２において、情報取得部８２により、ステップＳ１によって取得された色別の光学伝達関数に基づいて、正規分布における光学伝達関数の平均及び分散を、空間周波数（ω_ｘ，ω_ｙ）毎に算出する。即ち、ある表色系の色空間において光学伝達関数のばらつきが正規分布に従うものして、復元強度を算出するためのパラメータとして、正規分布における光学伝達関数の平均μ（ω_ｘ，ω_ｙ）及び分散σ^２（ω_ｘ，ω_ｙ）を算出する。ここで、分散σ^２（ω_ｘ，ω_ｙ）が情報取得部８２により取得（算出）される「ばらつき情報」であり、平均μ（ω_ｘ，ω_ｙ）は光学伝達関数のばらつきの中心を示す光学伝達関数の代表といえる。

　ステップＳ３において、復元フィルタ生成部８４により、ステップＳ２によって算出された平均μ（ω_ｘ，ω_ｙ）及び分散σ^２（ω_ｘ，ω_ｙ）に基づいて、復元フィルタの復元強度を算出する。

　ステップＳ４において、復元フィルタ生成部８４により、ステップＳ３によって算出された復元強度を有する復元フィルタを生成する。

　尚、本発明は、位相補正機能及び振幅補正機能の両方を有する復元フィルタを生成する場合に限定されず、位相補正機能及び振幅補正機能の少なくとも一方を有する復元フィルタを生成するようにしてもよい。

　図７は、点像復元処理の一例の概略を示すブロック図である。

　点像復元処理は、復元フィルタＦを用いて劣化画像データから復元画像データを作成する処理である。点像復元処理は、例えばＮ×Ｍ（Ｎ、Ｍは２以上の整数）のタップによって構成される実空間上の復元フィルタを用いて行われる。これにより、各タップに割り当てられるフィルタ係数と対応の画像データ（劣化画像データの処理対象画素データ及び隣接画素データ）とを畳み込み演算することで、点像復元処理後の画素データ（復元画像データ）を算出することができる。この復元フィルタＦを用いた畳み込み演算を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

　なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間（「空間周波数領域」ともいう）上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタのタップ数を指定することによって、適宜算出可能である。

　＜復元フィルタ生成の切替処理＞
　図８は、図１の復元フィルタ生成装置８０の切替部８６による位相補正実施有無の切替処理の概略を示すフローチャートである。

　図８において、切替部８６は、復元フィルタＦに、輝度系画像データに対する点像復元処理にて位相補正（位相復元）を行わせるか否かを判定する（ステップＳ１１）。

　復元フィルタＦに位相補正を行わせる場合（ステップＳ１１でＹｅｓの場合）、復元フィルタ生成部８４は、輝度系画像データに対する点像復元処理にて位相補正を行う機能を有する復元フィルタであって、輝度系画像データの位相の過補正を低減した復元フィルタを生成する（ステップＳ１２）。

　復元フィルタＦに位相補正を行わせない場合（ステップＳ１１でＮｏの場合）、復元フィルタ生成部８４は、複数色（Ｒ，Ｇ，Ｂ）の色毎の伝達関数情報（ＰＳＦ又はＭＴＦ）を複数色間で混合し、当該複数色間で混合された伝達関数情報（ＰＳＦ又はＭＴＦ）に基づき、輝度系画像データに対し位相成分を変化させずかつ振幅成分のみを変化させる点像復元処理を行う復元フィルタを生成する。つまり、復元フィルタ生成部８４は、輝度系画像データに対する点像復元処理にて位相補正を行わず振幅補正のみを行う機能を有する復元フィルタを生成する。

　尚、輝度系画像データに対する振幅補正では、複数色（Ｒ，Ｇ，Ｂ）の色毎に振幅補正するわけではないため、複数色（Ｒ，Ｇ，Ｂ）のうちのいずれか一又は複数の色で、補正不足（ＭＴＦが１．０を下回る）や過補正（ＭＴＦが１．０を上回る）が発生する可能性がある。しかし、復元フィルタ生成部８４により、複数色（Ｒ，Ｇ，Ｂ）間で伝達関数情報（ＰＳＦ又はＭＴＦ）を混合し、その混合した伝達関数情報（ＰＳＦ又はＭＴＦ）に基づいて、変調伝達関数ＭＴＦを平均的に「１」に近づける振幅補正を行う復元フィルタを生成することにより、補正不足及び過補正を抑えた良好な復元フィルタを生成することが可能になる。

　次に、情報取得部８２によって取得される光学伝達関数がＭＴＦ及びＰＴＦからなる複素ＯＴＦであり、また、情報取得部８２によって取得される光学伝達関数のばらつき情報が複素ＯＴＦのばらつきを示すものとして、復元フィルタ生成処理を実施形態に分けて具体的に説明する。尚、以下の実施形態では、「光学伝達関数のばらつき情報」を、簡略に「ＯＴＦばらつき」と称する。

　＜第１実施形態＞
　第１実施形態では、輝度系画像データに対する点像復元処理用の復元フィルタの生成処理において、色によるＯＴＦばらつきに応じた復元強度を有する復元フィルタを生成することにより、タフネス性の高い復元フィルタを生成する。

　図９は、第１実施形態における復元フィルタ生成処理を説明するための復元処理モデルを示す。ただし、図９に示した復元処理モデルはあくまでも例であり、他の復元処理モデルに適用してもよい。

　図９において、変換Ｍに入力される色別の画像データの入力画素値（Ｒ´，Ｇ´，Ｂ´）と、変換Ｍから出力される輝度系画像データの出力画素値（Ｙ´，Ｃｂ，Ｃｒ）との対応関係は、次式で表現される。

　ここで、変換Ｍは、ＲＧＢ色空間から輝度系空間（ＹＣｂＣｒ色空間）への写像である。この変換Ｍは、「どのように加工された信号に対して復元フィルタをかけるのか」という、画像処理装置における信号処理システムの定義にのみ依存する。一般に、ＲＧＢ空間から輝度系空間への変換は、ガンマ補正を含むため、非線形の変換が必要とされるが、輝度系復元処理の実装形態によってはリニア変換となる場合もある。

　図１０は、第1実施形態における復元フィルタ生成処理例の流れを示すフローチャートである。

　まず、情報取得部８２により、Ｙ´，Ｃｂ，Ｃｒの確率分布Ｐ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）を取得する（ステップＳ２１）。

　ここで、Ｙ´は、図９の復元フィルタＦに入力される輝度信号の値（入力画素値）である。

　Ｐ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）は、デジタルカメラ１０で得られる輝度系画像データにおける色の確率分布である。言い換えると、Ｐ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）は、ある表色系の色空間上の入力色ばらつきである。このＰ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）は、例えば光学系１４の設計時に事前に求められる。平均的な色を白色と仮定する場合には、Ｃｂ＝０，Ｃｒ＝０とする。

　次に、情報取得部８２により、Ｐ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）から、赤（Ｒ），緑（Ｇ），青（Ｂ）の色別の複素ＯＴＦ（ＯＴＦ_Ｒ，ＯＴＦ_Ｇ，ＯＴＦ_Ｂ）を取得する（ステップＳ２２）。

　次に、情報取得部８２により、赤（Ｒ），緑（Ｇ），青（Ｂ）の色別の複素ＯＴＦの同時分布Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）を算出する（ステップＳ２３）。

　ここで、同時分布Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）は、Ｒ、Ｇ、Ｂの色別の複素ＯＴＦの確率変数がｈ_Ｒ，ｈ_Ｇ及びｈ_Ｂという値になる確率を、空間周波数（ω_ｘ，ω_ｙ）毎に示す。同時分布Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）は、次式のように計算される。

　上式において、δ（）はクロネッカーのデルタ関数である。ＯＴＦ_Ｒ（ω_ｘ，ω_ｙ），ＯＴＦ_Ｇ（ω_ｘ，ω_ｙ），およびＯＴＦ_Ｂ（ω_ｘ，ω_ｙ）は、一意に決まる設計値としての複素ＯＴＦである。これに対してｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂは、入力色ばらつきが存在した場合における複素ＯＴＦの確率変数である。また、Ｉ_Ｒ，Ｉ_Ｇ，Ｉ_Ｂは、次式のように定義されている。

　数２は、ｈ_Ｒ／Ｉ_Ｒ＝ＯＴＦ_Ｒ（ω_ｘ，ω_ｙ）、ｈ_Ｇ／Ｉ_Ｇ＝ＯＴＦ_Ｇ（ω_ｘ，ω_ｙ）、及びｈ_Ｂ／Ｉ_Ｂ＝ＯＴＦ_Ｂ（ω_ｘ，ω_ｙ）を満たす場合のみＰ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）をＹ´，Ｃｂ，Ｃｒについて積分し、その積分の結果を同時分布Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）とすることを示す。つまり、数２は、数３を考慮すると、複素ＯＴＦの確率変数がｈ_Ｒ，ｈ_Ｇ及びｈ_Ｂである場合に、ｈ_Ｒ／Ｉ_Ｒ＝ＯＴＦ_Ｒ（ω_ｘ，ω_ｙ）、ｈ_Ｇ／Ｉ_Ｇ＝ＯＴＦ_Ｇ（ω_ｘ，ω_ｙ）、及びｈ_Ｂ／Ｉ_Ｂ＝ＯＴＦ_Ｂ（ω_ｘ，ω_ｙ）を満たす色の組み合わせ｛Ｉ_Ｒ，Ｉ_Ｇ，Ｉ_Ｂ｝の全てについて、これらの組み合わせの起こる可能性（確率）を全ての組み合わせで加算したもの（積分値）により、同時分布Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）が表されることを、意味する。

　以上によって、赤（Ｒ），緑（Ｇ），青（Ｂ）の色別の複素ＯＴＦの同時分布Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）を得ることができる。

　次に、情報取得部８２により、特定の表色系での複素ＯＴＦの母集団における複素ＯＴＦの平均μ及び分散σ^２を、空間周波数（ω_ｘ，ω_ｙ）毎に、算出する（ステップＳ２４）。ここで、母集団は、設計時に予め決められた色ばらつきの範囲内にある複素ＯＴＦの集合である。

　本例では、母集団におけるＯＴＦばらつきが複素正規分布(Circular symmetric complex normal distribution)に従うものとし、その正規分布に従った同時分布Ｐｙは、平均μ（ω_ｘ，ω_ｙ）及び分散σ^２（ω_ｘ，ω_ｙ）をパラメータとして、次式で表される。

　上式におけるパラメータである平均μ（ω_ｘ，ω_ｙ）及び分散σ^２（ω_ｘ，ω_ｙ）は、情報取得部８２により、次式のように最尤推定によって算出される。

　以上のステップＳ２１～Ｓ２２により、輝度系画像データにおける色の確率分布Ｐ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）と、色別の光学伝達関数ＯＴＦ_Ｒ（ω_ｘ，ω_ｙ），ＯＴＦ_Ｇ（ω_ｘ，ω_ｙ），およびＯＴＦ_Ｂ（ω_ｘ，ω_ｙ）とに基づいて、光学伝達関数の色によるばらつきが正規分布に従うとして平均μ（ω_ｘ，ω_ｙ）及び分散σ^２（ω_ｘ，ω_ｙ）が算出される。

　次に、復元フィルタ生成部８４により、平均μ（ω_ｘ，ω_ｙ）及び分散σ^２（ω_ｘ，ω_ｙ）に基づいて、復元フィルタの復元強度を算出する（ステップＳ２５）。

　ここで、復元強度を算出するための数式は、次のようにして得られる。まず、特定の表色系での母集団におけるＯＴＦばらつきを反映した輝度ＯＴＦ（輝度信号のＯＴＦ）は、次式のように表される。

　上式で、△μ（ω_ｘ，ω_ｙ）は平均０、分散σ^２（ω_ｘ，ω_ｙ）の複素正規分布に従う確率変数を表す。

　点像復元処理においてデコンボリューションに用いられるＷｉｅｎｅｒフィルタにおける誤差基準は、元画像（光学系による劣化前画像）と復元画像との二乗誤差を、入力画像（劣化画像）及びノイズについて平均（又は積分）をとったものとして定義されている。このような公知のＷｉｅｎｅｒフィルタの誤差基準において光学伝達関数は固定値として定義されているため、公知の導出式をそのまま使用したのでは、色によるＯＴＦばらつきや輝度系補正に起因する過補正に対して、色タフネス性が発揮されないことになる。

　そこで、色によるＯＴＦばらつきや輝度系補正に起因する過補正を考慮し、公知のＷｉｅｎｅｒフィルタの導出式をそのままを利用するのではなくて、色によるＯＴＦばらつきも適用したＷｉｅｎｅｒフィルタ導出用の誤差基準を導入する。復元フィルタの周波数特性をｆ（ω_ｘ，ω_ｙ）としたとき、信号、ノイズ、ＯＴＦばらつきに対しての平均をとった誤差基準Ｊ［ｆ］は、次式のように表される。

　ここで、Ｓ_Ｙ（ω_ｘ，ω_ｙ）、Ｎ_Ｙ（ω_ｘ，ω_ｙ）はそれぞれ、輝度Ｙの信号電力、ノイズ電力である。求めるべきＷｉｅｎｅｒフィルタの周波数特性ｆは、上式のＪを最小化するものである。上式を展開してΔμについて積分を実行すると、次式のようになる。

　なお、「＊」は複素共役を示す。この式（数８）をｆ^＊（ω_ｘ，ω_ｙ）で偏微分して０とおくと、求めるべきＷｉｅｎｅｒフィルタの複素周波数特性ｆ（ω_ｘ，ω_ｙ）は、次式のようになる。

　ここで、複素周波数特性ｆ（ω_ｘ，ω_ｙ）は、復元フィルタの復元強度を示しているといえる。

　上式に示すように、分散σ^２（ω_ｘ，ω_ｙ）によって示されるばらつきが大きな空間周波数では、復元強度を弱くする（上式の右辺の分母を大きくする）ことにより、色によるばらつきに対してタフネスな特性を有する復元フィルタを生成できる。本例の復元フィルタ生成部８４は、色によるＯＴＦばらつきが大きい空間周波数ほど、復元強度を弱くする。

　次に、復元フィルタ生成部８４により、ステップＳ２５で算出された復元強度を有する復元フィルタを生成する(ステップＳ２６)。

　ステップＳ２１～Ｓ２５までの手順によって求められた複素周波数特性ｆ（ω_ｘ，ω_ｙ）に対して、与えられたタップ数内で、現実の復元フィルタの複素周波数特性を近似させるように、復元フィルタのフィルタ係数を算出する。

　図１１は、理解を容易にするため複素ＯＴＦの実部（ＭＴＦ）のみについて、正規分布における平均μ（ω）、μ（ω）＋σ（ω）、μ（ω）－σ（ω）を示す。もしも、ＯＴＦばらつきを考慮しないで、平均μ（ω）に基づいて復元フィルタの復元強度を算出した場合には、σが大きな空間周波数において過補正になる可能性がある。そこで、本発明では、σが大きな空間周波数において、μ（ω）＋σ（ω）となるように（あるいはμ（ω）＋σ（ω）に近づけるように）、復元フィルタの復元強度を算出する。

　以上説明したように、本実施形態によれば、輝度系画像データの点像復元処理において、入力色によって光学伝達関数が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができる。

　尚、位相補正を実施しない場合には、求めた復元フィルタの周波数特性のうち位相特性を捨てて振幅特性のみに近似して、復元フィルタのフィルタ係数を算出することにより、復元フィルタ生成を行う。

　＜第２実施形態＞
　復元フィルタ生成処理で考慮すべきＯＴＦばらつきの要因としては、第1実施形態において考慮した色のほかに、光学系１４の製造ばらつきや、撮像装置における撮影時の撮影条件のばらつき（例えば被写体距離の測定誤差）が挙げられる。以下では、例として、光学系１４の製造によるＯＴＦばらつきを考慮した、タフネス性の高い復元フィルタ生成処理例を説明する。また、製造によるＯＴＦばらつきや、撮影条件によるＯＴＦばらつきは、輝度系画像データに限らず、色別の画像データでも、生じる現象である。そこで、以下では、Ｒ，Ｇ，Ｂの色別の画像データに対する点像復元用の復元フィルタを生成する場合を例として、説明する。

　光学系１４の製造によるＯＴＦばらつきに応じた復元強度を算出するため、製造によるＯＴＦばらつきに対応した確率分布を用いる。

　まず、情報取得部８２により、製造による光学系１４のＯＴＦばらつきの分布を示す同時分布Ｐ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）を取得する。

　Ｐ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）は、光学系１４の製造におけるばらつき発生のメカニズム解析や量産サンプル測定によって得られる固有の情報である。空間周波数ω_ｘ、ω_ｙにおけるＲ,Ｇ,Ｂそれぞれの複素ＯＴＦをｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂとすると、ＯＴＦばらつきは同時分布Ｐ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ、ω_ｙ）に従う。尚、本例では、Ｐ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）が予め構築（算出）されているものとする。

　Ｐ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）を構築する際の注意点として、次のような問題点が挙げられる。複素ＯＴＦによってＰＳＦ形状の平行移動も表現することができるが、もしも、平行移動ばらつき(ＰＳＦ結像位置ばらつき)を含めてＯＴＦばらつきとしてモデル化し、そのＯＴＦばらつきにおけるＯＴＦの平均を採用した場合に、現実の平均的収差が適切に表現されずＭＴＦが過度に劣化してしまう問題が起こり得る。その問題点に対する対策として、基準色（例えば緑）のＰＳＦの重心位置を中心として予め位置合わせしておいたＰＳＦサンプル（又はＯＴＦサンプル）に基づいて、Ｐ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ，ω_ｙ）を構築する方法がある。この方法において、基準色のＰＳＦの位置は規格化されているが、色間の相対的なＰＳＦ重心座標のばらつき情報は保持され、個体バラツキが復元フィルタの復元強度に反映される。

　次に、情報取得部８２により、正規分布におけるＯＴＦの平均μ及び分散σ^２を空間周波数（ω_ｘ，ω_ｙ）毎に算出する。

　本例では、復元フィルタＦに入力されるＲ，Ｇ，Ｂ画像データ（色別の画像データ）の空間周波数ω_ｘ，ω_ｙ毎のＯＴＦばらつきを、次式のように複素正規分布(Circular symmetric complex normal distribution)としてモデル化する。本例では、Ｒ，Ｇ，Ｂの色別に補正できる信号処理系であるため、ＯＴＦばらつきも色ごとに求める。色を示すインデックスＫをＫ∈｛Ｒ，Ｇ，Ｂ｝とすると、色別のＯＴＦばらつきを示す同時分布Ｐ_Ｋは、次式のように表現される。

　ここで、上式におけるパラメータである平均μ_Ｋ（ω_ｘ，ω_ｙ）と分散σ_Ｋ ^２（ω_ｘ，ω_ｙ）は、次式のように最尤推定によって求められる。

　以上によって得られた色別のＯＴＦばらつき情報を利用して、第１実形態と同様に復元フィルタの周波数特性を求め、その周波数特性に対応する復元強度を有する復元フィルタを生成する。

　本実施形態によれば、ＲＧＢ系画像データ又は輝度系画像データの点像復元処理において、光学系の製造ばらつき（又は撮影条件ばらつき）に起因して光学伝達関数が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができる。また、光学系１４別の個体差情報は必要とされず、ＯＴＦばらつきの確率論的な統計情報のみから復元フィルタを生成することができる。

　＜第３実施形態＞
　第３実施形態では、輝度系画像データに対する点像復元処理用の復元フィルタの生成処理において、色によるＯＴＦばらつきだけでなく、光学系の製造によるＯＴＦばらつきにも応じて、タフネス性の高い復元フィルタを生成する。尚、本実施形態では、光学系の製造ばらつきを例に挙げるが、被写体距離等の撮影条件のばらつきに関しても、本実施形態と同様に論じることができる。即ち、撮影条件のばらつきに応じた復元強度を有する復元フィルタを生成すればよい。

　以下では、第１実施形態と異なる事項を説明し、第１実施形態又は第２実施形態と同様の事項については、詳細な説明を省略する。

　まず、情報取得部８２により、第１実施形態で定義したＰ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）と、及び第２実施形態で定義したＰ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ、ω_ｙ）とを、取得する（ステップＳ４１）。Ｐ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）は輝度系画像データにおける色のばらつきを示す確率分布である。また、Ｐ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ、ω_ｙ）は製造による光学系１４のＯＴＦばらつきを示す同時分布である。

　次に、情報取得部８２により、次式に示すように、Ｐ_{ＣＯＬＯＲ}（Ｙ´，Ｃｂ，Ｃｒ）及びＰ_ＯＴＦ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ、ω_ｙ）の両者を混合する演算を行うことにより、Ｒ，Ｇ，Ｂの色毎のＯＴＦばらつき関数Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ、ω_ｙ）を算出（取得）する（ステップＳ４２）。このＰ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ、ω_ｙ）は、Ｒ，Ｇ，Ｂの色毎のＯＴＦばらつきを示す同時分布である。

　上式において、Ｉ_Ｒ，Ｉ_Ｇ，Ｉ_Ｂは、次式のように定義されている。

　以上説明したように、Ｒ，Ｇ，Ｂの色毎のＯＴＦばらつき関数Ｐ_ＲＧＢ（ｈ_Ｒ，ｈ_Ｇ，ｈ_Ｂ｜ω_ｘ、ω_ｙ）を取得した後、第１実施形態と同様に、ＯＴＦばらつきが正規分布するものとして分散σ^２（又は標準偏差σ）を算出し、次に、その分散σ^２（又は標準偏差σ）をパラメータとして復元フィルタＦの周波数特性を算出し、次に、算出された復元フィルタＦの周波数特性を有する復元フィルタＦを生成する。

　本実施形態によれば、輝度系画像データの点像復元処理において、入力色によって光学伝達関数が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができると共に、光学系の製造ばらつきに起因して光学伝達関数（ＰＳＦ形状）が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができる。また、光学系１４毎の個体差情報は必要とされず、ＯＴＦのばらつき量の確率論的な統計情報のみから復元フィルタを生成することができる。

　＜デジタルカメラの構成例＞
　図１２は、デジタルカメラ１０のハードウェア構成例を示すブロック図である。

　図１２において、ＣＰＵ３３は、操作部９に入力された指示に基づき、メモリ３４から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。

　図１の復元フィルタ格納部２４に相当するメモリ３４は、上述の各種プログラムの他に、復元フィルタＦが格納される。また、メモリ３４は、ＣＰＵ３３が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

　光学系１４の背後には、単板式のカラーの撮像素子１６が配置されている。撮像素子１６の撮像面には、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ－Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素が形成されている。各画素はマイクロレンズ、カラーフィルタ（本例ではＲ（赤）Ｇ（緑）Ｂ（青）のカラーフィルタ）及びフォトダイオードを含んで構成される。撮像素子１６は、光学系１４とともに本発明における撮像装置（撮像手段）を構成するものであり、光学系１４により撮像面に結像された被写体像を電気的な出力信号に変換して出力する。なお、撮像素子１６として、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子が用いられる。撮像素子ドライバ４５は、ＣＰＵ３３の制御の下で撮像素子１６の駆動を制御する。

　信号調整回路４８は、撮像素子１６から出力される出力信号に各種の信号調整処理を施して、撮像素子１６のカラーフィルタ配列に伴うＲＧＢのモザイク画像データＲ１，Ｇ１，Ｂ１を生成する。なお、信号調整回路４８は、撮像素子１６がＣＣＤ型の場合には例えばＣＤＳ／ＡＧＣ回路やＡ／Ｄ変換回路などで構成され、ＣＭＯＳ型の場合には例えばアンプなどで構成される。

　画像処理回路４９は、本発明の画像処理装置を構成するものである。この画像処理回路４９は、信号調整回路４８から入力される複数色Ｒ，Ｇ，Ｂの各色のモザイク画像データに対して黒レベル調整処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイク処理、ＹＣ変換処理、点像復元処理等を施して、輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒを生成する。輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは、メモリ３４のＶＲＡＭ領域（ＶＲＡＭを別途設けても可）に一時的に格納される。

　ＶＲＡＭ領域は、連続した２フィールド画像分を格納するライブビュー画像用のメモリエリアを有している。ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは逐次に表示部８へ出力される。これにより、表示部８にライブビュー画像が表示される。

　圧縮伸長処理回路５１は、撮影モード中に操作部９のシャッタボタンが押下されたときに、ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒに対して圧縮処理を施す。また、圧縮伸長処理回路５１は、メディアＩ／Ｆ５２を介してメモリカード３０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ５２は、メモリカード３０に対する圧縮画像データの記録及び読み出しなどを行う。

　図１３に示すように、画像処理回路４９は、主として入力部４９ａ、デモザイク処理部４９ｂ、変換部４９ｃ（図１の輝度系画像データ生成部２２に相当）、復元処理部４９ｄ（図１の２６）を有している。なお、画像処理回路４９は、ホワイトバランス補正処理やガンマ補正処理などを行う補正処理部も有しているが、説明の煩雑化を防止するためにこれらの補正処理部についての図示や説明は省略する。

　入力部４９ａは、信号調整回路４８から入力されたＲＧＢの各色のモザイク画像データＲ１，Ｇ１，Ｂ１をデモザイク処理部４９ｂへ出力する。すなわち、入力部４９ａは、撮像素子１６の撮像により得られた各色の画像データが入力される入力Ｉ／Ｆとして機能する。

　デモザイク処理部４９ｂは、各色のモザイク画像データＲ１，Ｇ１，Ｂ１に基づき、画素毎にＲＧＢの全ての色情報を算出（同時式に変換）するデモザイク処理（同時化処理ともいう）を行って、ＲＧＢの３面の色データで構成されるＲＧＢ画像データＲ２，Ｇ２，Ｂ２を生成する。デモザイク処理部４９ｂは、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２を変換部４９ｃへ出力する。

　変換部４９ｃ（輝度系画像データ生成部２２）は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２にＹＣ変換処理を施して、輝度系画像データＹと、色差系画像データＣｂ，Ｃｒとを生成する。輝度系画像データＹは、例えば、式［Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ］に従って生成される。この式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。従って、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

　ここで、本実施形態では輝度系画像データＹとして「Ｙ、Ｃｂ、Ｃｒ」で表される色空間の輝度信号の値を例に挙げて説明しているが、画像の輝度に寄与するデータであれば特に限定されるものではなく、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、輝度信号を得るための寄与率が最も高いデータや、輝度に最も寄与する色のカラーフィルタに対応するデータなどが挙げられる。

　復元処理部４９ｄ（図１の２６）は、メモリ３４に格納されている復元フィルタＦを読み出して、この復元フィルタＦを用いて輝度系画像データＹに対して復元処理を行う。この復元処理は、演算処理の負荷を減らすために視覚的な効果が大きくなる輝度系画像データＹに対してのみ行う。点像復元処理を行うことにより、光学系１４の収差に起因した画像の劣化（ボケ等）が修正される。

　光学系１４を透過した点像（光学像）は図２に「劣化画像データ」として示すように大きな点像（ボケた画像）として撮像素子１６の撮像面に結像されるが、点像復元処理により、図２に「復元画像データ」として示すように小さな点像（高解像度の画像）に復元される。

　＜復元フィルタ生成装置の構成例＞
　図１４は、復元フィルタ生成装置８０として用いられるコンピュータ装置１８０のハードウェア構成例を示すブロック図である。

　図１４において、ＣＰＵ１８１は、コンピュータ装置１８０の各部を制御する。記憶部１８２は、復元フィルタ生成処理プログラム、光学伝達関数及び光学伝達関数のばらつき情報を記憶する。この記憶部１８２としては、ＲＯＭやＥＥＰＲＯＭの他、ハードディスクドライブやコンパクト・ディスク、ＤＶＤ等の各種光磁気記録媒体、ＳＳＤ（Solid State Drive）等の半導体メモリ等、各種の非一時的記録媒体を用いることができる。通信部１８３は、サーバ装置（図示を省略）とネットワークを介して通信し、ネットワークを介してサーバ装置から光学伝達関数及び光学伝達関数のばらつき情報を取得する。操作部１８４は、操作者からの指示入力を受け付ける。表示部１８５は各種情報を表示する。

　図１４のコンピュータ装置１８０では、通信部１８３によって図１の情報取得部８２が構成される。ＣＰＵ１８１によって図１の情報取得部８２を構成してもよい。この場合、ＣＰＵ１８１によって光学伝達関数から光学伝達関数のばらつき情報を算出する。また、ＣＰＵ１８１（又は操作部１８４）によって図１の切替部８６が構成される。また、ＣＰＵ１８１によって図１の復元フィルタ生成部８４が構成される。

　＜システムのバリエーション＞
　前述の実施形態では、図１に示すように復元フィルタ生成装置８０と、画像処理装置としてのデジタルカメラ１０とが個別に構成される場合を例に説明したが、本発明はこのような場合に限定されない。

　図１５に示すように、デジタルカメラ１０が復元フィルタ生成装置及び画像処理装置を包含している場合であってもよい。図１５のデジタルカメラ１０は、図１の復元フィルタ生成装置８０を構成した情報取得部８２、復元フィルタ生成部８４及び切替部８６を含む。

　また、図１６に示すように、コンピュータ装置１８０（例えば図１４のハードウェア構成）が復元フィルタ生成装置及び画像処理装置を包含している場合であってもよい。図１６のコンピュータ装置１８０は、図１のデジタルカメラ１０を構成した復元フィルタ格納部２４及び復元処理部２６と、輝度系画像データを取得する輝度系画像データ取得部９２とを含む。輝度系画像データ取得部９２は、例えば図１４の通信部１８３によって構成される。

　尚、システム構成は、図１、図１５及び図１６に記載した場合には限定されず、他の構成としてもよい。サーバ装置等の他の装置に復元フィルタ生成部８４や復元処理部２６が設けられてもよい。例えば、サーバ装置が復元処理部２６を備える場合には、例えば、デジタルカメラ１０やコンピュータ装置１８０からサーバ装置に画像データが送信され、サーバ装置の復元処理部２６においてこの画像データに対して復元処理が行われ、復元処理後の画像データ（復元画像データ）が、復元処理前の画像データの送信元に、送信・提供されるようにしてもよい。

　また、本発明を適用可能な態様はデジタルカメラ、コンピュータ装置及びサーバ装置には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。本発明を適用可能なスマートフォンの一例については後述する。

　＜ＥＤｏＦシステムへの適用例＞
　上述の実施形態における点像復元処理（復元処理）は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて、光学系の収差に因る画像の劣化を補正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（レンズ、絞り、等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の伝達関数情報（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

　以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度系画像データに対して復元処理を行う例について説明する。

　図１７は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系１１０（光学系）と、撮像素子１１２と、ＡＤ変換部１１４と、画像処理部１２０（復元処理ブロック）を含む。

　図１８は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（図１の光学系１４）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

　なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよく、各種の光波面変調素子が採用されてもよい。

　すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

　本例のＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

　ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１７に示す撮像素子１１２の撮像面に結像され、ここで電気信号に変換される。

　撮像素子１１２は、上記各実施形態の撮像素子（図１、図１２及び図１５の１６）と基本的には同じ構成である。撮像素子１１２は、ＥＤｏＦ光学系１１０により撮像面に結像された被写体光をその入射光量に応じた信号に変換して、アナログのＲＧＢ画像信号を出力する。

　ＡＤ変換部１１４は、撮像素子１１２から出力されるアナログのＲＧＢ画像信号をデジタルのＲ，Ｇ，Ｂの各色のモザイク画像データに変化する。各色のモザイク画像データは、画像処理部１２０に入力される。

　画像処理部１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７（復元処理部）とを含む。

　黒レベル調整部１２２は、ＡＤ変換部１１４から出力された各色のモザイク画像データに黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

　ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたモザイク画像データに含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

　ガンマ処理部１２４は、ホワイトバランス調整された各色のモザイク画像データが好ましいガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

　デモザイク処理部１２５は、ガンマ補正後の各色のモザイク画像データにデモザイク処理を施して、Ｒ，Ｇ，Ｂの３面の色データで構成されるＲＧＢ画像データを出力する。

　ＲＧＢ／ＹＣｒＣｂ変換部１２６は、上記各実施形態の輝度系画像データ生成部（図１及び図１５の２２）と基本的に同じものであり、デモザイク処理部１２５から出力されたＲ，Ｇ，Ｂの３面の色データにＹＣ変換処理を施して、輝度系画像データＹと色差系画像データＣｒ、Ｃｂとを生成及び出力する。

　Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度系画像データＹに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（例えばＭ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリに記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

　次に、図１９に示すフローチャートを用いて画像処理部１２０（復元処理ブロック）による復元処理について説明する。

　黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４から各色のモザイク画像データが入力され、他の入力には黒レベルデータが入力される。黒レベル調整部１２２は、各色のモザイク画像データから黒レベルデータを減算し、この減算処理後の各色のモザイク画像データをホワイトバランスゲイン部１２３に出力する（ステップＳ５１）。これにより、各色のモザイク画像データには黒レベル成分が含まれなくなる。

　黒レベル調整後の各色のモザイク画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ５２およびＳ５３）。

　ガンマ補正された各色のモザイク画像データは、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度系画像データＹと色差系画像データＣｒ、Ｃｂに変換される（ステップＳ５４）。

　Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

　ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、小さな点像（高解像度の画像）に復元される。

　上述のようにデモザイク処理後の輝度系画像データに復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ，Ｇ，Ｂの画素に対応するＲ，Ｇ，Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差系画像データＣｒ，Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差系画像データＣｒ，Ｃｂは輝度系画像データＹよりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。

　以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。この場合に、上記各実施形態の復元フィルタ生成装置は、ＥＤｏＦ光学系の伝達関数情報に基づき、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを生成する。

　＜スマートフォンの構成＞
　上記各実施形態では本発明の画像処理装置及び撮像装置としてデジタルカメラ、コンピュータ装置を例に挙げて説明を行ったが、例えば、撮影機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、タブレット端末、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　図２０は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２０に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図２１は、図２０に示すスマートフォン２０１の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

　表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

　図２０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２０に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

　操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体（コンピュータ読み取り可能な非一時的記録媒体）を用いて実現される。

　外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２６０は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータが外部機器に伝送されるようにすることができる。

　ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。斯かる検出結果は、主制御部２００に出力されるものである。

　電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

　更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図２０に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、あるいは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合には、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２４１を同時に使用して撮影することもできる。

　また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

　上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

　本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

　１０…デジタルカメラ、１４…光学系、１６…撮像素子、１８…撮像部、２２…輝度系画像データ生成部、２４…復元フィルタ格納部、２６…復元処理部、８０…復元フィルタ生成装置、８２…情報取得部、８４…復元フィルタ生成部、８６…切替部

Claims

　光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
　前記光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得部と、
　前記復元フィルタを生成する復元フィルタ生成部と、を備え、
　前記復元フィルタ生成部は、前記情報取得部によって取得された前記ばらつき情報に基づいて、前記色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置。
　前記ばらつき情報は、前記色に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散である、請求項１に記載の復元フィルタ生成装置。
　前記情報取得部は、色別の光学伝達関数を取得し、前記色別の光学伝達関数に基づいて前記色に依存するばらつきを算出する、請求項１又は２に記載の復元フィルタ生成装置。
　前記情報取得部は、前記色に依存するばらつきが正規分布に従うとして前記光学伝達関数の平均及び分散を算出し、
　前記復元フィルタ生成部は、前記光学伝達関数の平均及び分散に基づいて前記復元フィルタを生成する、請求項３に記載の復元フィルタ生成装置。
　前記復元フィルタ生成部は、前記平均及び前記分散の項が分母に設けられた数式に基づいて前記復元フィルタを生成する、請求項４に記載の復元フィルタ生成装置。
　前記復元フィルタ生成部は、前記平均及び前記分散を空間周波数毎に算出し、当該空間周波数毎の前記平均及び前記分散に基づいて前記復元フィルタを生成する、請求項４又は５に記載の復元フィルタ生成装置。
　前記復元フィルタ生成部は、前記色に依存するばらつきが大きい空間周波数ほど前記復元強度を弱くする復元フィルタを生成する、請求項１から６のうちいずれか１項に記載の復元フィルタ生成装置。
　前記情報取得部は、前記撮像装置で得られる前記輝度系画像データにおける色の確率分布と、色別の前記光学伝達関数とを取得し、取得された前記輝度系画像データにおける色の確率分布と前記色別の光学伝達関数とに基づいて、前記色に依存するばらつきが正規分布に従うとして前記ばらつき情報を算出する、請求項１から７のうちいずれか１項に記載の復元フィルタ生成装置。
　前記ばらつき情報は、前記光学伝達関数の少なくとも前記光学系の製造に起因するばらつきを含み、
　前記復元フィルタ生成部は、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、前記復元フィルタの復元強度を弱くする復元フィルタを生成する、請求項１から８のうちいずれか１項に記載の復元フィルタ生成装置。
　前記ばらつき情報は、前記光学伝達関数の撮影条件に依存するばらつきを含み、
　前記復元フィルタ生成部は、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも前記復元フィルタの復元強度を弱くする、請求項１から９のうちいずれか１項に記載の復元フィルタ生成装置。
　前記復元フィルタ生成部は、少なくとも位相復元を伴う復元処理を行う前記復元フィルタを生成する、請求項１から１０のうちいずれか１項に記載の復元フィルタ生成装置。
　前記復元フィルタ生成部は、位相復元を伴わない復元処理を行う前記復元フィルタを生成する、請求項１から１０のうちいずれか１項に記載の復元フィルタ生成装置。
　前記復元フィルタ生成部は、前記復元フィルタとしてＷｉｅｎｅｒフィルタを生成する、請求項１から１２のうちいずれか１項に記載の復元フィルタ生成装置。
　前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する、請求項１から１０のうちいずれか１項に記載の復元フィルタ生成装置。
　光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
　前記光学系の光学伝達関数の、前記光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得部と、
　前記復元フィルタを生成する復元フィルタ生成部と、を備え、
　前記ばらつき情報は前記光学系の製造に起因するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
　前記復元フィルタ生成部は、前記情報取得部によって取得された前記ばらつき情報に基づいて、前記光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置。
　光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
　前記光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得部と、
　前記復元フィルタを生成する復元フィルタ生成部と、を備え、
　前記ばらつき情報は前記撮影条件に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
　前記復元フィルタ生成部は、前記情報取得部によって取得された前記ばらつき情報に基づいて、前記撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置。
　光学系を有する撮像装置で得られる色別の画像データに基づいて生成された輝度に関する画像データである輝度系画像データを取得する画像データ取得部と、
　請求項１から１４のうちいずれか１項に記載の復元フィルタ生成装置により生成された前記復元フィルタを、格納する復元フィルタ格納部と、
　前記画像データ取得部で取得された前記輝度系画像データに対して、前記復元フィルタ格納部に格納されている前記復元フィルタを用いて復元処理を施す復元処理部と、
　を備える画像処理装置。
　光学系を有する撮像装置で得られる画像データを取得する画像データ取得部と、
　請求項１５又は１６に記載の復元フィルタ生成装置により生成された前記復元フィルタを、格納する復元フィルタ格納部と、
　前記画像データ取得部で取得された前記画像データに対して、前記復元フィルタ格納部に格納されている前記復元フィルタを用いて復元処理を施す復元処理部と、
　を備える画像処理装置。
　請求項１から１４のうちいずれか１項に記載の復元フィルタ生成装置を含む、請求項１７に記載の画像処理装置。
　請求項１５又は１６に記載の復元フィルタ生成装置を含む、請求項１８に記載の画像処理装置。
　光学系と、複数色の色毎の画像データを出力する撮像素子と、
　請求項１９又は２０に記載の画像処理装置と、
　を備える撮像装置。
　光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
　前記光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、
　前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
　前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法。
　光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
　前記光学系の光学伝達関数の、前記光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得ステップと、
　前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
　前記ばらつき情報は前記光学系の製造に起因するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
　前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記光学伝達関数の前記光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法。
　光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
　前記光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、
　前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
　前記情報取得ステップで取得される前記ばらつき情報は、前記撮影条件に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
　前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法。
　光学系を有する撮像装置により得られた色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データを取得する画像データ取得ステップと、
　請求項２２に記載の復元フィルタ生成方法により生成された前記復元フィルタを用いて、前記画像データ取得ステップで取得された前記輝度系画像データに対して復元処理を施す復元処理ステップと、
　を有する画像処理方法。
　光学系を有する撮像装置により得られた画像データを取得する画像データ取得ステップと、
　請求項２３又は２４に記載の復元フィルタ生成方法により生成された前記復元フィルタを用いて、前記画像データ取得ステップで取得された前記画像データに対して復元処理を施す復元処理ステップと、
　を有する画像処理方法。
　光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、
　前記光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、
　前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
　前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラム。
　光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、
　前記光学系の光学伝達関数の、前記光学系の製造に起因するばらつきを示すばらつき情報として、前記光学系の製造に起因するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散を取得する情報取得ステップと、
　前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
　前記復元フィルタ生成ステップでは、前記取得されたばらつき情報に基づいて、前記光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラム。
　光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、
　前記光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報として、前記撮影条件に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散を取得する情報取得ステップと、
　前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
　前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラム。
　請求項２７から２９のいずれか１項に記載のプログラムが記録された記録媒体。