JP5864813B2 - 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 - Google Patents

Description

本発明は、複数色の色毎の画像データに基づいて生成された輝度系画像データに対する復元処理を行うための復元フィルタを生成する復元フィルタ生成装置及び方法、この復元フィルタを用いて復元処理を行う画像処理装置及び方法、この画像処理装置を備える撮像装置、並びに復元フィルタを生成するためのプログラム及び記録媒体に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、光学系（撮影レンズ等）の種々の収差に由来する画像劣化が生じる場合がある。この収差による画像劣化は、点像分布関数（ＰＳＦ：Point Spread Function）等により表現可能である。従って、ＰＳＦ等の光学系の劣化特性に基づき復元フィルタを生成し、この復元フィルタを用いて画像データに対して点像復元処理（復元処理）を施すことにより、画像劣化を低減させることができる。

特許文献１（特に段落００４３−００４８を参照）は、撮像デバイスから入力した画像データから輝度成分Ｙを分離し、その輝度成分Ｙ（＝Ｗｒ×Ｒ＋Ｗｇ×Ｇ＋Ｗｂ×Ｂ）におけるＲ，Ｇ，Ｂの係数（Ｗｒ，Ｗｇ，Ｗｂ）を用いて、Ｒ，Ｇ，Ｂ各色の点像分布関数（ＰＳＦｒ，ＰＳＦｇ，ＰＳＦｂ）を合成することで、輝度成分の点像分布関数ＰＳＦｙ（＝Ｗｒ×ＰＳＦｒ＋Ｗｇ×ＰＳＦｇ＋Ｗｂ×ＰＳＦｂ）を取得し、この輝度成分の点像分布関数ＰＳＦｙに基づいて輝度成分Ｙに対する補正係数を算出する発明を、開示している。

特許文献２は、復元フィルタの調整パラメータとして振幅特性が選択された場合には、ユーザが調整バーで調整した量に応じて、復元フィルタのゲイン（振幅特性）を変更し、調整パラメータとして位相特性が選択された場合には、ユーザが調整バーで調整した量に応じて、復元フィルタの位相角（位相特性）を変更する発明を、開示している。

特許文献３は、点像分布関数の色成分間の差異（色収差）を相対的な平行移動によって低減し、その点像分布関数に基づいて復元フィルタを生成する発明を開示している。

特開２０１０−１４０４４２号公報 特開２０１１−１９３２７７号公報 特開２０１２−１２９９３２号公報

特許文献１に記載の発明は、補正対象の画像データの輝度成分のみを補正するので、Ｒ，Ｇ，Ｂの位相ずれ量を全ての色で平均的に戻すことは可能であるが、特定の波長の色において、位相ずれの戻し過ぎ（過補正）が発生してしまう問題がある。特に、輝度系画像データに対して位相補正を行う場合には、複数色（Ｒ，Ｇ，Ｂ）の各色の画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に対して個別に位相補正を行う場合とは異なり、位相の過補正が生じ易い。位相が過補正になると、アーティファクトが生じ、却って画質が劣化することもある。

特許文献２に記載の発明は、ユーザ入力により復元フィルタの振幅特性（変調特性）と位相特性とを個別に調整可能であるが、過補正が発生してしまう問題がある。

特許文献３に記載の発明は、色収差補正後の画像データに対する復元フィルタを生成することが可能であるが、過補正が発生してしまう問題がある。

本発明の目的は、輝度系画像データに対して復元処理を行う場合に、位相ずれの戻し過ぎである過補正を防止することができる復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、並びにプログラム及び記録媒体を提供することにある。

上記の目的を達成するために、本発明の一態様は、光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置において、光学系における点像分布に対応する伝達関数情報を、複数色の色別に取得する情報取得手段と、情報取得手段によって取得された伝達関数情報に基づいて復元フィルタを生成する復元フィルタ生成手段であって、複数色のうち単色の伝達関数情報に応じて、輝度系画像データの位相補正を行う復元フィルタを生成する復元フィルタ生成手段と、を備える復元フィルタ生成装置を提供する。

情報取得手段によって取得される「伝達関数情報」として、例えば、ＰＳＦ（Point Spread Function：「点像分布関数」あるいは「点拡がり関数」ともいう）、ＰＳＦをフーリエ変換して得られるＯＴＦ（Optical Transfer Function：「光学伝達関数」ともいう）、ＰＴＦ（Phase Transfer Function：「位相伝達関数」ともいう）、ＭＴＦ（Modulation Transfer Function）が挙げられる。また、「伝達関数情報」は、直接的に「位相ずれ量」を示す情報に限定されない。「伝達関数情報」に対して特定の演算処理を行うことで、「位相ずれ量」を算出してもよい。即ち、「伝達関数情報」は、間接的に「位相ずれ量」を示す情報を含む。

復元フィルタ生成手段における「複数色のうち単色の伝達関数情報に応じて、輝度系画像データの位相補正を行う復元フィルタを生成する」という復元フィルタ生成処理には、第１に、１枚の輝度系画像データの全体（１画像面の全体）において、複数色のうち単色のみの伝達関数情報を用いる場合と、第２に、１枚の輝度系画像データ（１画像面の全体）の位置毎に、複数色の色別の伝達関数情報から単色の伝達関数情報を選択する場合とが含まれる。

本発明の一態様によれば、複数色のうち単色の伝達関数情報に応じて、輝度系画像データの位相補正を行う復元フィルタが生成されるので、複数色の色毎の画像データに対して個別に位相補正を行う場合よりも演算負荷が軽減し、かつ、位相ずれの戻し過ぎである過補正を防止することができる。

本発明の一態様において、復元フィルタ生成手段は、複数色の色別の伝達関数情報からそれぞれ得られる複数色の色別の位相ずれ量の中から、絶対値が最小である単色の位相ずれ量を選択し、選択された単色の位相ずれ量に対応する位相補正量で輝度系画像データの位相ずれを補正する復元フィルタを生成する。これにより、位相ずれ量の絶対値が最小になる色が光学系毎に異なる場合でも、復元フィルタにより過補正を的確に防止することが可能になる。

本発明の一態様において、復元フィルタ生成手段は、画像面内の位置毎に、単色の位相ずれ量を選択し、単色の位相ずれ量に応じて輝度系画像データの位相ずれを補正する復元フィルタを生成する。これにより、位相ずれ量の絶対値が最小になる色が、輝度系画像データにおける位置毎に異なる場合でも、過補正を的確に防止することが可能になる。また、ＰＳＦ（Point Spread Function）を伝達関数情報として用いる場合でも、過補正を的確に防止することが可能になる。

本発明の一態様において、復元フィルタ生成手段は、空間周波数毎に、単色の位相ずれ量を選択し、単色の位相ずれ量に応じて輝度系画像データの位相ずれを補正する復元フィルタを生成する。これにより、位相ずれ量の絶対値が最小になる色が、空間周波数毎に異なる場合でも、過補正を的確に防止することが可能になる。また、周波数依存で定義されたＰＴＦ（Phase Transfer Function）を伝達関数情報として用いる場合でも、過補正を的確に防止することが可能になる。

本発明の一態様において、復元フィルタ生成手段は、複数色の中で位相ずれ量の符号が異なる場合には、輝度系画像データに対する位相補正量をゼロに設定し、複数色の全てで位相ずれ量の符号が同じである場合には、絶対値が最小である単色の位相ずれ量を選択して単色の位相ずれ量に対応する位相補正量を採用し、復元フィルタを生成する。これにより、複数色の中で位相ずれ量の符号が異なる場合でも、過補正を的確に防止することが可能になる。

本発明の一態様において、復元フィルタ生成手段は、復元フィルタのタップ数を入力パラメータとし、かつ、空間周波数毎に、復元フィルタの位相補正量の絶対値を光学系における位相ずれ量の絶対値以下として復元フィルタのフィルタ係数を演算する演算部を備える。これにより、復元フィルタのフィルタ係数を、「復元フィルタのタップ数を入力パラメータとし」、かつ、「復元フィルタの位相補正量の絶対値を光学系における位相ずれ量の絶対値以下とする」演算で求めるので、タップ数制限が存在することに起因した過補正を確実に防止することが可能な復元フィルタを生成することが可能になる。

本発明の一態様において、複数色のうち一色は緑色（Ｇ）であり、情報取得手段は、複数色のうち少なくとも緑色（Ｇ）の伝達関数情報を取得し、復元フィルタ生成手段は、緑色（Ｇ）の伝達関数情報に応じた位相補正量で輝度系画像データの位相ずれを補正する復元フィルタを生成する。これにより、緑色（Ｇ）の伝達関数情報のみに基づいて復元フィルタを生成するので、緑色において確実に過補正を防止可能な復元フィルタを生成することができるとともに、他の色においても過補正の発生確率が少ない復元フィルタを生成することができる。一般に輝度系画像データに最も寄与する色は緑色（Ｇ）であることから、その緑色（Ｇ）が最もボケないように光学系を設計することが一般的である。そのような場合、緑色（Ｇ）単色の伝達関数情報に応じた位相補正を行う復元フィルタを生成することにより、赤色（Ｒ）及び青色（Ｂ）についても位相補正の過補正を防ぐことが可能になる。つまり、複数色のいずれの色においても過補正が少ない復元フィルタを、とても容易に生成することができる。

本発明の一態様において、復元フィルタに輝度系画像データに対する位相補正を行わせるか否かを切り替える切替手段を備え、復元フィルタ生成手段は、復元フィルタに位相補正を行わせない場合、伝達関数情報を複数色間で混合し、複数色間で混合された伝達関数情報に基づき、輝度系画像データに対して位相成分を変化させないで点像復元処理を行う復元フィルタを生成する。これにより、復元フィルタに輝度系画像データに対する位相補正を行わせるか否かを切り替えることが可能となり、位相補正を行わない場合は位相補正による過補正への対応が不要になる。このため、複数色間で混合された伝達関数情報に基づき、輝度系画像データに対して位相成分を変化させないで点像復元処理を行う復元フィルタを生成することにより、良好な画質を与える復元フィルタを生成することが可能になる。

また、本発明の別の態様は、光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置において、光学系における点像分布に対応する伝達関数情報を、複数色の色別に取得する情報取得手段と、情報取得手段によって取得された伝達関数情報に基づいて復元フィルタを生成する復元フィルタ生成手段と、を備え、復元フィルタ生成手段は、伝達関数情報を複数色間で混合し、当該複数色間で混合された伝達関数情報に基づき、輝度系画像データに対し位相成分を変化させないで復元処理を行うための復元フィルタを生成する復元フィルタ生成装置を提供する。本態様によれば、位相補正による過補正への対応が不要になるため、複数色間で混合された伝達関数情報に基づき、輝度系画像データに対して位相成分を変化させないで点像復元処理を行う復元フィルタを生成することにより、良好な画質を与える復元フィルタを生成することが可能になる。

本発明の一態様において、情報取得手段は、光学系における複数色の色毎の点像分布関数をそれぞれフーリエ変換することで、光学系における複数色の色毎の光学伝達関数を取得し、復元フィルタ生成手段は、復元フィルタに位相補正を行わせない場合、各色の光学伝達関数の振幅成分である各色の変調伝達関数を複数色の間で混合し、複数色の間で混合された変調伝達関数に基づき、輝度系画像データに対して位相成分を変化させないで復元処理を行う復元フィルタを生成する。

本発明の一態様において、情報取得手段は、輝度系画像データの生成前に複数色の色毎の画像データに対して倍率色収差補正を実施するか否かを示す倍率色収差補正情報を取得し、復元フィルタ生成手段は、倍率色収差補正情報に基づいて倍率色収差補正が実施されることを検知した場合、情報取得手段によって取得された各色の伝達関数情報に対し、倍率色収差補正における補正量分の座標移動処理を行い、座標移動処理を行った後の各色の伝達関数情報を複数色間で混合する。これにより、複数色の色間の位置ずれ（倍率色収差）を補正する場合にも、過補正を確実に防止することが可能な復元フィルタを生成することが可能になる。

本発明の一態様において、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。

また、本発明の別の態様は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データを取得する画像データ取得手段と、上記の復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、画像データ取得手段で取得された輝度系画像データに対して、復元フィルタ格納手段に格納されている復元フィルタを用いて復元処理を施す復元処理手段と、を備える画像処理装置を提供する。

また、本発明の別の態様は、復元フィルタ生成装置を含む画像処理装置を提供する。

また、本発明の別の態様は、光学系を有しており、かつ複数色の色毎の画像データを出力する撮像手段と、画像処理装置と、を備える撮像装置を提供する。

また、本発明の別の態様は、光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法において、光学系における点像分布に対応する伝達関数情報を、複数色の色別に取得する情報取得ステップと、情報取得ステップによって取得された伝達関数情報に基づいて復元フィルタを生成する復元フィルタ生成ステップであって、複数色のうち単色の伝達関数情報に応じて、輝度系画像データの位相補正を行う復元フィルタを生成する復元フィルタ生成ステップと、を備える復元フィルタ生成方法を提供する。

また、本発明の別の態様は、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データを取得する画像データ取得ステップと、生成された復元フィルタを用いて、画像データ取得ステップで取得された輝度系画像データに対して復元処理を施す復元処理ステップと、を有する画像処理方法を提供する。

また、本発明の別の態様は、光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成するためのプログラムであって、光学系における点像分布に対応する伝達関数情報を複数色の色別に取得する情報取得ステップと、情報取得ステップによって取得された伝達関数情報に基づいて復元フィルタを生成する復元フィルタ生成ステップであって、複数色のうち単色の伝達関数情報に応じて、輝度系画像データの位相補正を行う復元フィルタを生成する復元フィルタ生成ステップと、をコンピュータに実行させるためのプログラムを提供する。

本発明によれば、輝度系画像データの位相補正を行うことで色別の位相補正を行うよりも演算負荷を軽減する場合に、位相ずれの戻し過ぎである過補正を防止することができる。

図１は、本発明を適用した復元フィルタ生成装置と画像処理装置の一例としてのデジタルカメラを含むシステム構成例を示すブロック図である。 図２は、点像復元処理の原理を説明するための説明図である。 図３は、復元フィルタ生成処理の一例の概略を示すフローチャートである。 図４は、復元処理の一例の概略を示すブロック図である。 図５は、複数色の位置ずれ方向が同一の場合における位相ずれ量と過補正にならない位相補正量との関係を説明するための説明図である。 図６は、複数色の位置ずれ方向が異なる場合における位相ずれ量と過補正にならない位相補正量との関係を説明するための説明図である。 図７は、位相補正実施有無の切替処理の概略を示すフローチャートである。 図８は、第１実施形態における復元フィルタ生成処理例のフローチャートである。 図９は、デジタルカメラのハードウェア構成例を示すブロック図である。 図１０は、図９の画像処理回路の構成例を示すブロック図である。 図１１は、復元フィルタ生成装置のハードウェア構成例を示すブロック図である。 図１２は、復元フィルタ生成装置及び画像処理装置を含むデジタルカメラのブロック図である。 図１３は、復元フィルタ生成装置及び画像処理装置を含むコンピュータ装置のブロック図である。 図１４は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 図１５は、ＥＤｏＦ光学系の一例を示す図である。 図１６は、ＥＤｏＦ光学系を備えるデジタルカメラの復元処理部における復元処理の一例を示すフローチャートである。 図１７は、スマートフォンの外観図である。 図１８は、図１７に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。

＜システム構成例＞
図１は、本発明を適用した復元フィルタ生成装置と画像処理装置の一例としてのデジタルカメラとを含むシステム構成例を示すブロック図である。

デジタルカメラ１０（撮像装置）は、光学系１４及び撮像素子１６を有する撮像部１８（撮像手段）と、撮像部１８により得られる複数色（本例ではＲ，Ｇ，Ｂ）の色毎の画像データに基づいて、輝度に関する画像データである輝度系画像データを生成する輝度系画像データ生成部２２（輝度系画像データ生成手段）と、輝度系画像データに対して復元処理を行うための復元フィルタＦを格納する復元フィルタ格納部２４（復元フィルタ格納手段）と、復元フィルタ格納部２４に格納されている復元フィルタＦを用いて輝度系画像データに対して点像復元処理を施す復元処理部２６（復元処理手段）と、を含んで構成される。

復元フィルタ生成装置８０は、デジタルカメラ１０の光学系１４における点像分布に対応する伝達関数情報を複数色の色別に取得する情報取得部８２（情報取得手段）と、情報取得部８２によって取得された伝達関数情報に基づいて復元フィルタＦを生成する復元フィルタ生成部８４（復元フィルタ生成手段）と、復元フィルタＦに輝度系画像データの位相補正を行わせるか否かを切り替える切替部８６（切替手段）と、を含んで構成される。

情報取得部８２によって取得される「伝達関数情報」としては、例えば、ＰＳＦ（Point Spread Function：「点像分布関数」あるいは「点拡がり関数」ともいう）、ＰＳＦをフーリエ変換して得られるＯＴＦ（Optical Transfer Function：「光学伝達関数」ともいう）が、挙げられる。ＯＴＦは、ＭＴＦ（Modulation Transfer Function：「変調伝達関数」ともいう）及びＰＴＦ（Phase Transfer Function：「位相伝達関数」ともいう）によって構成されている。ＭＴＦのみ又はＰＴＦのみを「伝達関数情報」として取得する場合も含まれる。また、「伝達関数情報」から「位相ずれ量」を算出する場合でもよい。即ち、「伝達関数情報」は、間接的に「位相ずれ量」を示す情報を含む場合でもよい。

復元フィルタ生成部８４は、複数色のうち単色の伝達関数情報に応じて輝度系画像データの位相補正を行う復元フィルタを生成する。

ここで、「単色の伝達関数情報に応じて輝度系画像データの位相補正を行う」というのは、次のように大別される。第１に、複数色の色別に伝達関数情報を取得して、実空間における画像面の位置毎に、複数色の色別の位相ずれ量の中から単色の位相ずれ量を選択する態様がある。ここで、「画像面の位置」とは、図２に示した撮像素子１６の撮像面上の２次元位置に対応した、劣化画像データ（例えば輝度系画像データ）の画像面上の２次元位置に相当する。また、「画像面の位置毎」に位相ずれ量を選択するとは、画像面上の点毎に位相ずれ量を選択する場合に限定されることはなく、画像面上の部分領域毎に位相ずれ量を選択する場合でよい。第２に、複数色の色別に伝達関数情報を取得して、周波数空間における空間周波数毎に、複数色の色別の位相ずれ量の中から単色の位相ずれ量を選択する態様がある。尚、第２の態様には、実空間における画像面の位置毎かつ周波数空間における空間周波数毎に、位相ずれ量を選択する場合が含まれる。また、「空間周波数毎」に位相ずれ量を選択するとは、周波数の単位ごとに位相ずれ量を選択する場合に限定されることはなく、周波数帯域毎に位相ずれ量を選択する場合でよい。上記の第１の態様及び第２の態様では、選択された単色の位相ずれ量に対応する位相補正量で位相ずれを補正するように、復元フィルタのフィルタ係数を算出する。第３に、単色の伝達関数情報を取得し、その単色の位相ずれ量に対応する位相補正量で位相ずれを補正するように、復元フィルタのフィルタ係数を算出する態様がある。

デジタルカメラ１０の輝度系画像データ生成部２２は、ＲＧＢ画像データＲ、Ｇ、ＢにＹＣ変換処理を施して、輝度系画像データＹと、色差系画像データＣｂ，Ｃｒとを生成する。輝度系画像データＹは、例えば、式［Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ］に従って生成される。この式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。従って、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

本実施形態では「輝度系画像データ」として「Ｙ、Ｃｂ、Ｃｒ」で表される色空間の輝度信号の値を例に挙げて説明しているが、「輝度系画像データ」は、画像の輝度に寄与するデータであれば特に限定されるものではなく、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、ＣＩＥＬＡＢ色空間（Commission internationale de l'eclairage）における明度Ｌを表すデータ、輝度信号を得るための寄与率が最も高いデータや、輝度に最も寄与する色のカラーフィルタに対応するデータなどが挙げられる。

＜点像復元の原理＞
図２は、点像復元処理の原理を説明するための説明図である。図２では、理解を容易にするため、被写体像として点像を撮像した場合を示している。被写体像は、レンズ１１及び絞り１２を含む光学系１４を介して、撮像素子１６の撮像面に結像され、その撮像素子１６により撮像される。その撮像素子１６からは、光学系１４の収差に起因して被写体像が劣化した画像データである劣化画像データが出力される。そこで、光学系１４における劣化の特性を、撮影条件（例えば、絞り値、焦点距離、被写体距離、レンズ種類、など）に応じた伝達関数情報として、予め求めておく。また、図１の復元フィルタ生成部８４によって、求めておいた伝達関数情報に基づいて、点像復元処理用の復元フィルタＦを生成する。図１の復元処理部２６によって、復元フィルタＦを用い、劣化画像データの劣化をキャンセルする点像復元処理を行う。そうすると、劣化がキャンセルされた復元画像データを得ることができる。

点像復元処理は、「位相補正」（以下「位相復元」ともいう）と、「振幅補正」（以下「振幅復元」、「周波数補正」、「周波数復元」ともいう）とに、大別することができる。「位相補正」は、光学系において劣化した位相特性（ＰＴＦ）を復元する画像処理である。位相補正により、非対称な点広がり形状を点対称な点広がり形状に補正することができる。「振幅補正」は、光学系において劣化した振幅特性（ＭＴＦ）を復元する画像処理である。振幅補正により、点広がり形状を点（デルタ関数）に補正することができる。ただし、ボケが酷かったりＳＮが悪かったりすると、完全には点形状に戻らないことがある。

また、光学系１４の収差は、波長によって異なるため、理想的には色（例えばＲ，Ｇ，Ｂ）毎に異なる復元フィルタを用いて点像復元処理を行うことが、好ましい。しかしながら、複数色（例えばＲ，Ｇ，Ｂ）の色毎の画像データに対して、それぞれ点像復元処理を行うと演算処理の負荷が大きい。そのため、図１の復元処理部２６によって、視覚的な効果が大きい輝度系画像データに対して点像復元処理が行われる。図１の復元フィルタ生成部８４は、輝度系画像データ用の復元フィルタＦを生成する。

図３は、復元フィルタ生成部８４による復元フィルタ生成処理の一例の概略を示すフローチャートである。

ステップＳ１において、情報取得部８２により、光学系１４における点像分布に対応する伝達関数情報を、複数色の色別に取得する。

ステップＳ２において、復元フィルタ生成部８４により、ステップＳ１によって取得された伝達関数情報に基づいて、複数色のうち単色の位相ずれ量を代表位相ずれ量と決定する。

ステップＳ３において、復元フィルタ生成部８４により、ステップＳ２によって決定された代表位相ずれ量に基づいて、輝度系画像データの位相補正を行う復元フィルタを生成する。

尚、図３では、本発明の理解を容易にするため、位相補正機能に関する部分のみを説明したが、後述のように振幅補正（周波数補正）機能を有する復元フィルタを生成するようにしてもよい。

図４は、復元処理の一例の概略を示すブロック図である。

復元処理は、主として、復元フィルタＦを用いて劣化画像データから復元画像データを作成する点像復元処理である。点像復元処理は、例えばＮ×Ｍ（Ｎ、Ｍは２以上の整数）のタップによって構成される実空間上の復元フィルタＦを用いて行われる。これにより、各タップに割り当てられるフィルタ係数と、対応の画像データ（劣化画像データの処理対象画素データ及び隣接画素データ）とを、畳み込み演算することで、点像復元処理後の画素データ（復元画像データ）を算出することができる。この復元フィルタＦを用いた畳み込み演算を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタ（実空間フィルタ）は、周波数空間（「空間周波数領域」ともいう）上の復元フィルタ（周波数空間フィルタ）を逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタのタップ数を指定することによって、適宜算出可能である。

＜過補正にならない位相補正の原理＞
輝度系画像データに対して位相補正を行う場合には、複数色（Ｒ，Ｇ，Ｂ）の各色の画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に対して個別に位相補正を行う場合とは異なり、位相の過補正が生じ易い。位相が過補正になると、アーティファクトが生じ、却って画質が劣化することがある。

そこで、復元フィルタ生成部８４は、複数色の各色において位相補正が過補正にならないように、複数色（Ｒ，Ｇ，Ｂ）の色別の伝達関数情報のうち単色の伝達関数情報を選択し、その選択された伝達関数情報に基づいて位相補正量を算出し、その算出された位相補正量で位相補正を行う機能を有する復元フィルタを生成する。

図５及び図６を用いて、特定の空間周波数における複数色（Ｒ，Ｇ，Ｂ）の色別の位相ずれ量（θ_Ｒ，θ_Ｇ，θ_Ｂ）と過補正にならない位相補正量φとの関係を説明する。

図５及び図６において、左右方向が画像データのｘ軸方向における位相ずれ量θｘを示し、上下方向が画像データのｙ軸方向における位相ずれ量θｙを示す。つまり、図５及び図６において、中心点Ｏからの距離｛±（θｘ^２＋θｙ^２）^1/2｝が、実空間での画像面における位置ずれ量に対応する。

ここで、画像面とは、図２において、ｘ方向及びｙ方向の２方向の２次元の画像（劣化画像データ及び復元画像データ）に相当する平面であって、撮像素子１６の撮像面に対応した平面である。

図５は、ある特定の空間周波数（ω_x，ω_y）において、複数色（Ｒ，Ｇ，Ｂ）の全てで、位置ずれ方向が同一である場合（即ち位相ずれ量の符号が同一である場合）を示す。

図５に示すように複数色の全てで位相ずれ量の符号が同じである場合には、絶対値が最小である緑（Ｇ）の位相ずれ量θ_Ｇの複素共役を、復元フィルタによる位相補正量φとする。輝度系画像データでは色別の補正を行うことができないので、他の色（Ｒ，Ｂ）の位相ずれ量θ_Ｒ，θ_Ｂに対しても、同一の位相補正量φで位相補正を行うことになる。しかし、θ_Ｒ，θ_Ｇ，θ_Ｂうちで最小の位相ずれ量θ_Ｇの複素共役を位相補正量φとしているので、位相補正前後で位置ずれの方向が異なることを防止することができる。

図６は、ある特定の空間周波数（ω_x，ω_y）において、複数色（Ｒ，Ｇ，Ｂ）の中で位置ずれ方向が異なる場合（即ち位相ずれ量の符号が異なる場合）を示す。

図６に示すように複数色の中で位相ずれ量の符号が異なる場合には、位相補正を行わない（位相補正量φ＝０とする）。輝度系画像データでは色別の補正を行うことができないので、過補正になると判定された場合には、補正を行わない。これにより、過補正になるよりも画質の良い画像データを得られることになる。

尚、空間周波数領域において空間周波数毎に位相補正量を決定する場合を例に説明したが、実空間領域において画像面内の位置毎に位相補正量を決定してもよい。

また、輝度系画像データ毎に、位相補正を行うか否かを切り替えるようにしてもよい。

＜復元フィルタ生成の切替処理＞
図７は、図１の復元フィルタ生成装置８０の切替部８６による位相補正実施有無の切替処理の概略を示すフローチャートである。

図７において、切替部８６は、復元フィルタＦに、輝度系画像データに対する点像復元処理にて位相補正（位相復元）を行わせるか否かを判定する（ステップＳ１１）。

復元フィルタＦに位相補正を行わせる場合（ステップＳ１１でＹｅｓの場合）、復元フィルタ生成部８４は、輝度系画像データに対する点像復元処理にて位相補正を行う機能を有する復元フィルタであって、輝度系画像データの位相の過補正を防止した復元フィルタを生成する（ステップＳ１２）。

復元フィルタＦに位相補正を行わせない場合（ステップＳ１１でＮｏの場合）、復元フィルタ生成部８４は、複数色（Ｒ，Ｇ，Ｂ）の色毎の伝達関数情報（ＰＳＦ又はＭＴＦ）を複数色間で混合し、当該複数色間で混合された伝達関数情報（ＰＳＦ又はＭＴＦ）に基づき、輝度系画像データに対し位相成分を変化させずかつ振幅成分のみを変化させる点像復元処理を行う復元フィルタを生成する（ステップＳ１３）。つまり、復元フィルタ生成部８４は、輝度系画像データに対する点像復元処理にて位相補正を行わず振幅補正（周波数補正）のみを行う機能を有する復元フィルタを生成する。

尚、輝度系画像データに対する周波数補正では、複数色（Ｒ，Ｇ，Ｂ）の色毎に周波数を補正するわけではないため、複数色（Ｒ，Ｇ，Ｂ）のうちのいずれか一又は複数の色で、補正不足（ＭＴＦが１．０を下回る）や過補正（ＭＴＦが１．０を上回る）が発生する可能性がある。しかし、復元フィルタ生成部８４により、複数色（Ｒ，Ｇ，Ｂ）間で伝達関数情報（ＰＳＦ又はＭＴＦ）を混合し、その混合した伝達関数情報（ＰＳＦ又はＭＴＦ）に基づいて、変調伝達関数ＭＴＦを平均的に「１」に近づける周波数補正を行う復元フィルタを生成する。これにより、補正不足及び過補正を抑えた良好な復元フィルタを生成することが可能になる。すなわち、位相補正を行わない場合は位相補正による過補正への対応が不要になるため、複数色間で混合された伝達関数情報に基づき、輝度系画像データに対して位相成分を変化させないで振幅成分を変化させる点像復元処理を行う復元フィルタを生成する。これにより、良好な復元フィルタを生成することが可能になる。

＜第１実施形態＞
第１実施形態における復元フィルタ生成部８４は、光学系１４の色別の伝達関数情報によって示された複数色の色別の位相ずれ量の中から、絶対値が最小である単色の位相ずれ量を選択し、当該選択された単色の位相ずれ量に対応する位相補正量で輝度系画像データの位相ずれを補正する復元フィルタを生成する。これにより、輝度系画像データに対する位相補正が複数色の各色において「過補正にならない」ように位相ずれの補正量を抑制する。

ここで、「過補正にならない」とは、「位相ずれの戻し量である位相補正量の絶対値が、位相ずれ量の絶対値を超えない」という意味である。空間周波数領域では、「複数色の各色、かつ各空間周波数」において、過補正にしないことが、好ましい。また、実空間では、「複数色の各色、かつ輝度系画像データの各領域（画像面内の各位置）」において、過補正にしないことが、好ましい。

以下では、位相伝達関数（ＰＴＦ）に基づいて位相補正量を求める場合の復元フィルタ生成処理例を、具体的に説明する。本例では、空間周波数（ω_x，ω_y）毎に、複数色の色別の位相ずれ量の中から、単色の位相ずれ量を選択する。

図８は、第１実施形態における復元フィルタ生成処理例の流れを示すフローチャートである。

まず、情報取得部８２により、光学系１４における点像分布に対応する伝達関数情報を、複数色（Ｒ，Ｇ，Ｂ）の色別に取得する（ステップＳ２１）。本例では、変調伝達関数ＭＴＦと位相伝達関数ＰＴＦとを含む光学伝達関数ＯＴＦを、取得するものとする。

説明を簡略に行うため、複数色（Ｒ，Ｇ，Ｂ）の各色の位相伝達関数ＰＴＦ_Ｒ（ω_ｘ，ω_ｙ）、ＰＴＦ_Ｇ（ω_ｘ，ω_ｙ）、ＰＴＦ_Ｂ（ω_ｘ，ω_ｙ）を、ＰＴＦ_Ｋ（ω_x，ω_y）、但しＫ∈｛Ｒ，Ｇ，Ｂ｝と定義する。そうすると、各色の位相伝達関数ＰＴＦ_Ｋ（ω_ｘ，ω_ｙ）は、次式で表される。

ここで、θ_Ｋ（ω_ｘ，ω_ｙ）は、複数色（Ｒ，Ｇ，Ｂ）の各色の位相ずれ量を示す。各色のＰＴＦ_Ｋ（ω_ｘ，ω_ｙ）は、絶対値が「１」の複素数である。各色の位相伝達関数ＰＴＦ_Ｋ（ω_ｘ，ω_ｙ）と各色の変調伝達関数ＭＴＦ_Ｋ（ω_ｘ，ω_ｙ）との積が、各色の点像分布関数ＰＳＦ_K（ｘ，ｙ）をフーリエ変換した各色の光学伝達関数ＯＴＦ_K（ω_x，ω_y）である。

復元フィルタ生成部８４は、空間周波数（ω_x，ω_y）毎に、複数色（Ｒ，Ｇ，Ｂ）の全てで、各色の位相ずれ量θ_Ｋ（ω_ｘ，ω_ｙ）の符号（＋／−）が同じであるか否かを、判定する（ステップＳ２２）。

復元フィルタ生成部８４は、複数色（Ｒ，Ｇ，Ｂ）の全てで各色の位相ずれ量θ_Ｋ（ω_ｘ，ω_ｙ）の符号が同じである場合（ステップＳ２２でＹｅｓの場合）、次式で表されるように、単色の位相ずれ量θ_Ｓ（ω_ｘ，ω_ｙ）を選択する（ステップＳ２３）。

ここで、signは符号関数であり、sign(x)={1:x>0, 0:x=0, -1:x<0}である。また、minは、最小値を求める関数である。

つまり、復元フィルタ生成部８４は、空間周波数（ω_x，ω_y）毎に、複数色（Ｒ，Ｇ，Ｂ）の色別の位相ずれ量θ_Ｋ（ω_ｘ，ω_ｙ）＝｛θ_Ｒ（ω_ｘ，ω_ｙ），θ_Ｇ（ω_ｘ，ω_ｙ），θ_Ｂ（ω_ｘ，ω_ｙ）｝の中から、絶対値が最小である単色の位相ずれ量を、θ_Ｓ（ω_ｘ，ω_ｙ）として選択する。

また、復元フィルタ生成部８４は、複数色（Ｒ，Ｇ，Ｂ）の中で位相ずれ量θ_Ｋ（ω_ｘ，ω_ｙ）の符号が異なる場合（ステップＳ２２でＮｏの場合）、次式で表されるように、位相ずれ量θ_Ｓ（ω_ｘ，ω_ｙ）としてゼロを採用することにより、位相補正量をゼロに設定する（ステップＳ２４）。

復元フィルタ生成部８４は、対象範囲の全ての空間周波数（ω_ｘ，ω_ｙ）で、ステップＳ２２〜Ｓ２４の選択処理を行ったか否かを判定する（ステップＳ２５）。

上記の数２及び数３に従って求められた位相ずれ量θ_Ｓ（ω_ｘ，ω_ｙ）（以下「代表位相ずれ量」という）により、次式の位相伝達関数ＰＴＦ_Ｓ（ω_ｘ，ω_ｙ）（以下「代表位相伝達関数」という）が表される。

復元フィルタ生成部８４は、上記の代表位相ずれ量θ_Ｓ（ω_ｘ，ω_ｙ）に対応する位相補正量で輝度系画像データの位相ずれを補正するようにフィルタ係数を算出することで、復元フィルタを生成する（ステップＳ２６）。言い換えると、復元フィルタ生成部８４は、代表位相伝達関数ＰＴＦ_Ｓ（ω_x，ω_y）に基づいて、復元フィルタの位相特性を算出し、その特性情報に対応する復元フィルタを生成する、といえる。

復元フィルタがＷｉｅｎｅｒフィルタである場合、そのＷｉｅｎｅｒフィルタの位相特性（「位相補正量」を示す）は、代表位相伝達関数ＰＴＦ_Ｓ（ω_x，ω_y）の複素共役となる。

本実施形態における復元フィルタ生成部８４によれば、複数色の色別の位相伝達関数ＰＴＦ_Ｒ（ω_x，ω_y）、ＰＴＦ_Ｇ（ω_x，ω_y）、ＰＴＦ_Ｂ（ω_x，ω_y）によって示された複数色の色別の位相ずれ量θ_Ｒ（ω_x，ω_y），θ_Ｇ（ω_x，ω_y），θ_Ｂ（ω_x，ω_y）の中から、絶対値が最小である単色の位相ずれ量が選択され、当該選択された単色の位相ずれ量に対応する位相補正量で輝度系画像データの位相ずれを補正する機能を有する復元フィルタが生成される。よって、複数色のいずれの色においても過補正にならない復元フィルタを容易に生成することができる。

また、同一の空間周波数において色毎に位相ずれ量の符号が異なっている場合（つまり実空間において色毎に位置ずれの方向が異なっている場合）には、位相補正が行われないようにすることが可能になる。これは、輝度系画像データでは色毎に異なる方向に移動させることができないからである。なお、この場合、複数色間で混合された伝達関数情報に基づき、輝度系画像データに対して位相成分を変化させないで振幅成分を変化させる点像復元処理を行う復元フィルタを生成するようにしても良い。

＜第２実施形態＞
第２実施形態における復元フィルタ生成部８４は、復元フィルタのタップ数を入力パラメータとし、かつ、空間周波数毎に、復元フィルタの位相補正量の絶対値を光学系における位相ずれ量の絶対値以下として復元フィルタのフィルタ係数を算出する演算部を備える。これにより、タップ数が限定されている場合でも、確実に過補正にならないようにする。

以下では、光学系１４における位相伝達関数（ＰＴＦ）に基づいて、復元フィルタとしてＷｉｅｎｅｒフィルタのフィルタ係数を演算する場合における復元フィルタ生成処理例を、具体的に説明する。

復元フィルタのタップ数をＮ×Ｎとしたとき、復元フィルタのフィルタ係数は、ｃ_ｕｖをＮ行Ｎ列の要素とする行列Ｃで表される。また、復元フィルタの複素周波数特性f(ω_ｘ,ω_ｙ|Ｃ)は、次式で表される。

ここで、Ｎは奇数であり、Ｍ＝（Ｎ−１）／２であるものとする。ｕ、ｖはそれぞれ、行、列のインデックスである。

復元フィルタの一例としてのＷｉｅｎｅｒフィルタは、次式に示すように、汎関数Ｊ［Ｃ］をs.t.(such that)以下の条件付きで最小化する行列Ｃを求めることにより、生成される。

ここで、θ_Ｋ（ω_ｘ，ω_ｙ）は、各色の位相伝達関数ＰＴＦ_Ｋによって示された各色の位相ずれ量である。また、φ（ω_ｘ，ω_ｙ）は、生成しようとする復元フィルタの輝度系画像データに対する位相補正量である。

s.t.以下は、復元フィルタによる輝度系画像データに対する位相補正が過補正にならない条件を示す条件式である。

上記の条件式のうち前半の｛φ（ω_ｘ，ω_ｙ）θ_Ｋ（ω_ｘ，ω_ｙ）≦0｝は、復元フィルタの輝度系画像データに対する位相補正量φ（ω_ｘ，ω_ｙ）が、光学系における複数色（Ｒ，Ｇ，Ｂ）の色別の位相ずれ量θ_Ｋ（ω_ｘ，ω_ｙ）とは、符号が正負逆になるように、フィルタ係数の行列Ｃを算出するという条件である。つまり、複数色の各色において、位相ずれとは逆の方向に位相補正を行うようにする。ただし、複数色（Ｒ，Ｇ，Ｂ）の中で位相ずれ量θ_Ｋ（ω_x，ω_y）の符号が異なる場合、位相補正量φ（ω_ｘ，ω_ｙ）をゼロに設定する。

また、条件式のうち後半の｛|φ（ω_ｘ，ω_ｙ）|≦|θ_Ｋ（ω_ｘ，ω_ｙ）|｝は、復元フィルタの位相補正量の絶対値|φ（ω_ｘ，ω_ｙ）|が、光学系における複数色（Ｒ，Ｇ，Ｂ）の色別の位相ずれ量の絶対値|θ_Ｋ（ω_ｘ，ω_ｙ）|を超えないように、フィルタ係数の行列Ｃを算出するという条件である。

尚、復元フィルタの複素周波数特性f(ω_ｘ,ω_ｙ|Ｃ)と位相補正量φ（ω_ｘ，ω_ｙ）との関係は、次式で表される。

ここで、Ａ(ω_ｘ,ω_ｙ)は、生成しようとする復元フィルタの振幅補正量である。

また、汎関数Ｊ［Ｃ］は、例えば次式で表される。

ここで、Ａ（ω_ｘ，ω_ｙ）は、生成しようとする復元フィルタの振幅補正量であり、本発明ではこれに対する拘束条件は述べない。また、汎関数Ｊ［Ｃ］は、例えば次式で表されるようなＷｉｅｎｅｒフィルタの最小化基準を利用する。

ここで、ＯＴＦ_Ｙ（ω_x，ω_y）、Ｓ_Ｙ（ω_x，ω_y）、Ｎ_Ｙ（ω_x，ω_y）はそれぞれ、輝度系画像データに対応する、光学伝達関数、信号電力、ノイズ電力である。ＯＴＦ_Ｙは、輝度系画像データに対応する変調伝達関数ＭＴＦ_Ｙと、輝度系画像データに対応する位相伝達関数ＰＴＦ_Ｙとの積である。ＭＴＦ_Ｙは、複数色の色毎の変調伝達関数ＭＴＦ_Ｒ，ＭＴＦ_Ｇ，ＭＴＦ_Ｂに基づいて算出される。Ｓ_Ｙは、複数色の色毎の信号電力Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂに基づいて算出される。Ｎ_Ｙは、複数色の色毎のノイズ電力Ｎ_Ｒ，Ｎ_Ｇ，Ｎ_Ｂに基づいて算出される。

本実施形態における復元フィルタ生成部８４は、復元フィルタのフィルタ係数を、「復元フィルタのタップ数を入力パラメータとし」、かつ、空間周波数毎に、「復元フィルタの位相補正量の絶対値を光学系における位相ずれ量の絶対値以下とする」演算部を有するので、タップ数制限が存在することに起因した過補正を確実に防止することが可能になる。もしも、位相ずれ量が過補正にならないように複数色の色毎の位相ずれ量からひとつを選択するというだけでは、実際には、タップ数制限に起因して過補正となるフィルタ係数が算出されてしまうという問題が発生する場合がある。しかし、位相補正が過補正にならない条件付きで、復元フィルタのフィルタ係数を演算することにより、位相の過補正を生じさせないことが保証されることになる。尚、フィルタ生成時に非線形最適化の処理を行うことになるので演算量が増大するが、演算部の処理能力が高い場合には、過補正防止の観点から本実施形態が好ましい。

＜第３実施形態＞
第３実施形態における復元フィルタ生成部８４は、緑色（Ｇ）の伝達関数情報に応じた位相補正量で輝度系画像データの位相ずれを補正する復元フィルタを生成する。情報取得部８２は、複数色のうち少なくとも緑色（Ｇ）の伝達関数情報を取得する。情報取得部８２が緑色（Ｇ）の伝達関数情報のみを取得するようにしてもよい。

一般に撮像装置の光学系は、複数色（Ｒ，Ｇ，Ｂ）のうちで、最も視覚特性に影響する緑（Ｇ）を重視して設計されている。また、視覚的に重要である低空間周波数に限れば、緑（Ｇ）の位相ずれ量が最も小さくなる傾向にある。よって、緑（Ｇ）の伝達関数情報によって示される位相ずれ量のみに基づいて、緑（Ｇ）の位相ずれ量を的確に補正するように復元フィルタを生成すれば、緑（Ｇ）以外の色（Ｒ，Ｂ）の位相ずれについても、およそ過補正を防止できることになる。

特に、光学系１４において、緑色（Ｇ）の位相ずれ量が他の色の位相ずれ量より小さい場合、緑色（Ｇ）の伝達関数情報に応じた位相補正量で輝度系画像データの位相ずれを補正することが、好ましい。即ち、光学系１４において、緑色（Ｇ）の位相ずれ量が他の色の位相ずれ量より小さい場合には、緑（Ｇ）の位相ずれ量を的確に補正するように復元フィルタを生成すれば、緑（Ｇ）以外の色（Ｒ，Ｂ）の位相ずれについても、過補正を防止することができる。

尚、緑（Ｇ）のみの伝達関数情報に基づいて復元フィルタの位相補正機能を設計することになるため、過補正を完璧に防止することができないが、演算量を小さくすることができるので、演算部の処理能力が低い場合には、本実施形態が好ましい。

＜第４実施形態＞
本実施形態における情報取得部８２は、Ｒ，Ｇ，Ｂの色別の点像分布関数｛PSF_R(x,y)，PSF_G(x,y)，PSF_B(x,y)｝をそれぞれフーリエ変換することで、Ｒ，Ｇ，Ｂの色別の光学伝達関数｛OTF_R(x,y)，OTF_G(x,y)，OTF_B(x,y)｝を算出する。光学伝達関数｛OTF_R(x,y)，OTF_G(x,y)，OTF_B(x,y)｝には、Ｒ，Ｇ，Ｂの色ごとの振幅伝達関数｛MTF_R(ω_X,ω_Y)，MTF_G(ω_X,ω_Y)，MTF_B(ω_X,ω_Y)｝と、Ｒ，Ｇ，Ｂの色ごとの位相伝達関数｛PTF_R(ω_X,ω_Y)，PTF_G(ω_X,ω_Y)，PTF_B(ω_X,ω_Y)｝とが含まれる。

また、本実施形態における復元フィルタ生成部８４は、復元フィルタに位相補正を行わせない場合、撮像部１８（撮像手段）により被写体を撮像して得られた複数の色ごとの画像（Ｒ画像、Ｇ画像、Ｂ画像）のそれぞれの振幅伝達関数｛MTF_R(ω_X,ω_Y)，MTF_G(ω_X,ω_Y)，MTF_B(ω_X,ω_Y)｝を混合することで、輝度系画像データに対応する振幅伝達関数MTF_Y(ω_X,ω_Y)を算出し、この振幅伝達関数MTF_Y(ω_X,ω_Y)に基づいて、フィルタの係数（行列ｘ）を算出する。

具体的には、まず、次式に示すように、Ｒ，Ｇ，Ｂの色ごとの振幅伝達関数｛MTF_R(ω_X,ω_Y)，MTF_G(ω_X,ω_Y)，MTF_B(ω_X,ω_Y)｝を、Ｒ，Ｇ，Ｂの色ごとの画像から輝度系画像データを生成する際のＲ，Ｇ，Ｂの色ごとの重みを用いて、線形和により混合することで、輝度系画像データに対応する振幅伝達関数MTF_Yを算出する。

尚、Ｒ，Ｇ，Ｂの色ごとの位相伝達関数｛PTF_R(ω_X,ω_Y)，PTF_G(ω_X,ω_Y)，PTF_B(ω_X,ω_Y)｝は、本実施形態では、フィルタの係数の算出に用いないので、消去する。

次に、振幅伝達関数MTF_Y(ω_X,ω_Y)に基づいて、輝度系画像データの振幅特性を補正させるフィルタの係数（行列C）を算出する。

第４実施形態では、Ｒ，Ｇ，Ｂの色別の位相伝達関数を用いないで、輝度系画像を生成する際のＲ，Ｇ，Ｂの色別の画像データに対する重みと、Ｒ，Ｇ，Ｂの色別の振幅伝達関数とを用いて、フィルタ係数を算出するので、Ｒ，Ｇ，Ｂの色間の位相のずれの情報（位相の相関情報）を除外してフィルタの係数を算出することになる。

＜倍率色収差補正対応処理＞
復元処理部２６が倍率色収差補正を行う場合には、第１実施形態から第４実施形態において説明した復元フィルタ生成装置８０において、次のような倍率色収差補正対応処理を行うことが好ましい。

情報取得部８２は、輝度系画像データの生成前に複数色の色毎の画像データに対して倍率色収差補正を実施するか否かを示す倍率色収差補正情報を取得する。

復元フィルタ生成部８４は、倍率色収差補正情報に基づいて倍率色収差補正が復元処理で実施されることを検知した場合、情報取得部８２によって取得された各色の伝達関数情報に対し、倍率色収差補正における補正量分の座標移動処理を行い、当該座標移動処理を行った後の各色の伝達関数情報を、第３実施形態において説明したように、色間で混合する。

＜デジタルカメラの構成例＞
図９は、デジタルカメラ１０のハードウェア構成例を示すブロック図である。

図９において、カメラＣＰＵ（ＣＰＵ：Central Processing Unit）３３は、操作部９に入力された指示に基づき、メモリ３４から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。

図１の復元フィルタ格納部２４に相当するメモリ３４は、上述の各種プログラムに加えての他に、復元フィルタＦを格納する。また、メモリ３４は、ＣＰＵ３３が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

光学系１４の背後には、単板式のカラーの撮像素子１６が配置されている。撮像素子１６の撮像面には、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列、等）でマトリクス状に配置された複数画素が形成されている。各画素はマイクロレンズ、カラーフィルタ（本例ではＲ（赤）Ｇ（緑）Ｂ（青）のカラーフィルタ）及びフォトダイオードを含んで構成される。撮像素子１６は、光学系１４とともに本発明における撮像手段を構成するものであり、光学系１４により撮像面に結像された被写体像を電気的な出力信号に変換して出力する。なお、撮像素子１６として、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子が用いられる。撮像素子ドライバ４５は、ＣＰＵ３３の制御の下で撮像素子１６の駆動を制御する。

信号調整回路４８は、撮像素子１６から出力される出力信号に各種の信号調整処理を施して、撮像素子１６のカラーフィルタ配列に伴うＲＧＢのモザイク画像データＲ１，Ｇ１，Ｂ１を生成する。なお、信号調整回路４８は、撮像素子１６がＣＣＤ型の場合には例えばＣＤＳ／ＡＧＣ（Correlated Double Sampling/Automatic Gain Control）回路やＡ／Ｄ変換回路などで構成され、ＣＭＯＳ型の場合には例えばアンプなどで構成される。

画像処理回路４９は、本発明の画像処理装置に相当する。この画像処理回路４９は、信号調整回路４８から入力される複数色Ｒ，Ｇ，Ｂの各色のモザイク画像データに対して黒レベル調整処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイク処理、ＹＣ変換処理、点像復元処理等を施して、輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒを生成する。輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは、メモリ３４のＶＲＡＭ（Video Random Access Memory）領域（ＶＲＡＭを別途設けても可）に一時的に格納される。

ＶＲＡＭ領域は、連続した２フィールド画像分を格納するライブビュー画像用のメモリエリアを有している。ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは逐次に表示部８へ出力される。これにより、表示部８にライブビュー画像が表示される。

圧縮伸長処理回路５１は、撮影モード中にシャッタボタン６が押下されたときに、ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒに対して圧縮処理を施す。また、圧縮伸長処理回路５１は、メディアＩ／Ｆ５２を介してメモリカード３０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ５２は、メモリカード３０に対する圧縮画像データの記録及び読み出しなどを行う。

図１０に示すように、画像処理回路４９は、主として入力部４９ａ、デモザイク処理部４９ｂ、変換部４９ｃ（図１の輝度系画像データ生成部２２に相当）、復元処理部４９ｄ（図１の２６）を有している。なお、画像処理回路４９は、ホワイトバランス補正処理やガンマ補正処理などを行う補正処理部も有しているが、説明の煩雑化を防止するためにこれらの補正処理部についての図示や説明は省略する。

入力部４９ａは、信号調整回路４８から入力されたＲＧＢの各色のモザイク画像データＲ１，Ｇ１，Ｂ１をデモザイク処理部４９ｂへ出力する。すなわち、入力部４９ａは、撮像素子１６の撮像により得られた各色の画像データが入力される入力Ｉ／Ｆとして機能する。

デモザイク処理部４９ｂは、各色のモザイク画像データＲ１，Ｇ１，Ｂ１に基づき、画素毎にＲＧＢの全ての色情報を算出（同時式に変換）するデモザイク処理（同時化処理ともいう）を行って、ＲＧＢの３面の色データで構成されるＲＧＢ画像データＲ２，Ｇ２，Ｂ２を生成する。デモザイク処理部４９ｂは、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２を変換部４９ｃへ出力する。

変換部４９ｃ（輝度系画像データ生成部２２）は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２にＹＣ変換処理を施して、輝度系画像データＹと、色差系画像データＣｂ，Ｃｒとを生成する。輝度系画像データＹは、例えば、式［Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ］に従って生成される。この式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。従って、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

ここで、本実施形態では輝度系画像データＹとして「Ｙ、Ｃｂ、Ｃｒ」で表される色空間の輝度信号の値を例に挙げて説明しているが、画像の輝度に寄与するデータであれば特に限定されるものではない。輝度系画像データＹは、撮像した画像の輝度に関する情報を有する種々のデータを意味する。輝度系画像データＹとしては、例えば、輝度信号を得るための寄与率が最も高いデータや、輝度に最も寄与する色のカラーフィルタに対応するデータなどが挙げられる。

復元処理部４９ｄ（図１の２６）は、メモリ３４に格納されている復元フィルタＦを読み出して、この復元フィルタＦを用いて輝度系画像データＹに対して復元処理を行う。この復元処理は、演算処理の負荷を減らすために視覚的な効果が大きくなる輝度系画像データＹに対してのみ行う。点像復元処理を行うことにより、光学系１４の収差に起因した画像の劣化（ボケ等）が修正される。

光学系１４を透過した点像（光学像）は図１に「劣化画像データ」として示すように大きな点像（ボケた画像）として撮像素子１６の撮像面に結像されるが、点像復元処理により、図２に「復元画像データ」として示すように小さな点像（高解像度の画像）に復元される。

＜復元フィルタ生成装置の構成例＞
図１１は、復元フィルタ生成装置８０として用いられるコンピュータ装置１８０のハードウェア構成例を示すブロック図である。

図１１において、ＣＰＵ（Central Processing Unit）１８１は、コンピュータ装置１８０の各部を制御する。記憶部１８２は、復元フィルタ生成処理プログラム及び伝達関数情報を記憶する。通信部１８３は、サーバ装置（図示を省略）とネットワークを介して通信し、ネットワークを介してサーバ装置から伝達関数情報を取得する。操作部１８４は、操作者からの指示入力を受け付ける。表示部１８５は各種情報を表示する。

図１１のコンピュータ装置１８０では、通信部１８３によって図１の情報取得部８２が構成される。また、ＣＰＵ１８１（又は操作部１８４）によって図１の切替部８６が構成される。また、ＣＰＵ１８１によって図１の復元フィルタ生成部８４が構成される。

＜システムのバリエーション＞
前述の実施形態では、図１に示すように復元フィルタ生成装置８０と、画像処理装置としてのデジタルカメラ１０とが個別に構成される場合を例に説明したが、本発明はこのような場合に限定されない。

図１２に示すように、デジタルカメラ１０が復元フィルタ生成装置及び画像処理装置を包含している場合であってもよい。図１２のデジタルカメラ１０は、図１の復元フィルタ生成装置８０を構成した情報取得部８２、復元フィルタ生成部８４及び切替部８６を含む。

また、図１３に示すように、コンピュータ装置１８０（例えば図１１のハードウェア構成）が復元フィルタ生成装置及び画像処理装置を包含している場合であってもよい。図１３のコンピュータ装置１８０は、図１のデジタルカメラ１０を構成した復元フィルタ格納部２４及び復元処理部２６と、輝度系画像データを取得する輝度系画像データ取得部９２とを含む。輝度系画像データ取得部９２は、例えば図１１の通信部１８３によって構成される。

尚、システム構成は、図１、図１２及び図１３に記載した場合には限定されず、他の構成としてもよい。サーバ装置等の他の装置に復元フィルタ生成部８４や復元処理部２６が設けられてもよい。例えば、サーバ装置が復元処理部２６を備える場合には、例えば、デジタルカメラ１０やコンピュータ装置１８０からサーバ装置に画像データが送信され、サーバ装置の復元処理部２６においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。

また、本発明を適用可能な態様はデジタルカメラ、コンピュータ及びサーバには限定されない。例えば、撮像を主たる機能とするカメラ類以外にも、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。本発明を適用可能なスマートフォンの一例については後述する。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理（復元処理）は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて、光学系の収差に因る画像の劣化を補正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（レンズ、絞り、等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の伝達関数情報（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度系画像データに対して復元処理を行う例について説明する。

図１４は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系１１０（光学系）と、撮像素子１１２と、ＡＤ変換部１１４と、画像処理部１２０を含む。

図１５は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（図１の光学系１４）を構成（ＥＤｏＦ化）する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

本例のＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１４に示す撮像素子１１２の撮像面に結像され、ここで電気信号に変換される。

撮像素子１１２は、上記各実施形態の撮像素子１６と基本的には同じ構成である。撮像素子１１２は、ＥＤｏＦ光学系１１０により撮像面に結像された被写体光をその入射光量に応じた信号に変換して、アナログのＲＧＢ画像信号を出力する。

ＡＤ変換部１１４は、撮像素子１１２から出力されるアナログのＲＧＢ画像信号をデジタルのＲ，Ｇ，Ｂの各色のモザイク画像データに変化する。各色のモザイク画像データは、画像処理部１２０に入力される。

画像処理部１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７（復元処理部）とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力された各色のモザイク画像データに黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算する。これにより、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたモザイク画像データに含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整された各色のモザイク画像データが好ましいガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後の各色のモザイク画像データにデモザイク処理を施して、Ｒ，Ｇ，Ｂの３面の色データで構成されるＲＧＢ画像データを出力する。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、上記各実施形態の輝度系画像データ生成部２２と基本的に同じものであり、デモザイク処理部１２５から出力されたＲ，Ｇ，Ｂの３面の色データにＹＣ変換処理を施して、輝度系画像データＹと色差系画像データＣｒ，Ｃｂとを生成及び出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度系画像データＹに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（例えばＭ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリに記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、図１６に示すフローチャートを用いて画像処理部１２０による復元処理について説明する。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４から各色のモザイク画像データが入力され、他の入力には黒レベルデータが入力される。黒レベル調整部１２２は、各色のモザイク画像データから黒レベルデータを減算し、この減算処理後の各色のモザイク画像データをホワイトバランスゲイン部１２３に出力する（ステップＳ５１）。これにより、各色のモザイク画像データには黒レベル成分が含まれなくなる。

黒レベル調整後の各色のモザイク画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ５２およびＳ５３）。

ガンマ補正された各色のモザイク画像データは、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度系画像データＹと色差系画像データＣｒ、Ｃｂに変換される（ステップＳ５４）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度系画像データに復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ，Ｇ，Ｂの画素に対応するＲ，Ｇ，Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差系画像データＣｒ，Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧ（Joint Photographic Experts Group）のような圧縮形式で画像を記録する場合、色差系画像データＣｒ，Ｃｂは輝度系画像データＹよりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。この場合に、上記各実施形態の復元フィルタ生成装置は、ＥＤｏＦ光学系の伝達関数情報に基づき、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを生成する。

＜スマートフォンの構成＞
上記各実施形態では本発明の画像処理装置及び撮像装置としてデジタルカメラ、コンピュータ装置を例に挙げて説明を行ったが、例えば、撮影機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、タブレット端末、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１７は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図１７に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、筐体２０２が折り畳み構造やスライド機構を有する構成を採用することもできる。

図１８は、図１７に示すスマートフォン２０１の構成を示すブロック図である。図１８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図１７に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図１７に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載することができる。また、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１７に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載される。操作部２４０は、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２６０は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。かかる検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、入出力部２６０や無線通信部２１０を通じて出力することができる。図１７に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限定されない。カメラ部２４１は、例えば、表示入力部２２０の背面に搭載されてもよいし、あるいは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合には、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

本発明は、デバイス（例えば、デジタルカメラ、カメラ付き携帯電話、スマートフォン）に上記の処理を行わせるためのコンピュータ読取可能なプログラムコード、該プログラムコードが格納される非一時的（non-transitory）かつコンピュータ読取可能な記録媒体（例えば、光ディスク（例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc））、磁気ディスク（例えば、ハードディスク、光磁気ディスク）、ＵＳＢ（Universal Serial Bus）メモリ）、および該方法のための実行可能なコードを格納するコンピュータ・プログラム・プロダクトとして提供することができる。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

デジタルカメラ１０、光学系１４、撮像素子１６、撮像部１８、輝度系画像データ生成部２２（輝度系画像データ生成手段）、復元フィルタ格納部２４（復元フィルタ格納手段）、復元処理部２６（復元処理手段）、復元フィルタ生成装置８０、情報取得部８２（情報取得手段）、復元フィルタ生成部８４（復元フィルタ生成手段）、切替部８６（切替手段）

Claims (19)

1. 光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置において、
   前記光学系における点像分布に対応する伝達関数情報を、前記複数色の色別に取得する情報取得手段と、
   前記情報取得手段によって取得された前記伝達関数情報に基づいて前記復元フィルタを生成する復元フィルタ生成手段であって、前記複数色のうち単色の前記伝達関数情報に応じて、前記輝度系画像データの位相補正を行う前記復元フィルタを生成する復元フィルタ生成手段と、
   を備える復元フィルタ生成装置。
2. 前記復元フィルタ生成手段は、前記複数色の色別の前記伝達関数情報からそれぞれ得られる前記複数色の色別の位相ずれ量の中から、絶対値が最小である単色の位相ずれ量を選択し、当該選択された単色の位相ずれ量に対応する位相補正量で前記輝度系画像データの位相ずれを補正する前記復元フィルタを生成する請求項１に記載の復元フィルタ生成装置。
3. 前記復元フィルタ生成手段は、画像面内の位置毎に、前記単色の位相ずれ量を選択し、当該単色の位相ずれ量に応じて前記輝度系画像データの位相ずれを補正する前記復元フィルタを生成する請求項２に記載の復元フィルタ生成装置。
4. 前記復元フィルタ生成手段は、空間周波数毎に、前記単色の位相ずれ量を選択し、当該単色の位相ずれ量に応じて前記輝度系画像データの位相ずれを補正する前記復元フィルタを生成する請求項２に記載の復元フィルタ生成装置。
5. 前記復元フィルタ生成手段は、前記複数色の中で前記位相ずれ量の符号が異なる場合には、前記輝度系画像データに対する位相補正量をゼロに設定し、前記複数色の全てで前記位相ずれ量の符号が同じである場合には、前記絶対値が最小である単色の位相ずれ量を選択して当該単色の位相ずれ量に対応する位相補正量を採用し、前記復元フィルタを生成する請求項３又は４に記載の復元フィルタ生成装置。
6. 前記復元フィルタ生成手段は、前記復元フィルタのタップ数を入力パラメータとし、かつ、空間周波数毎に、前記復元フィルタの位相補正量の絶対値を前記光学系における位相ずれ量の絶対値以下として前記復元フィルタのフィルタ係数を演算する演算部を備える請求項１から５のいずれかに記載の復元フィルタ生成装置。
7. 前記複数色のうち一色は緑色（Ｇ）であり、
   前記情報取得手段は、前記複数色のうち少なくとも緑色（Ｇ）の伝達関数情報を取得し、
   前記復元フィルタ生成手段は、前記緑色（Ｇ）の伝達関数情報に応じた位相補正量で前記輝度系画像データの位相ずれを補正する前記復元フィルタを生成する請求項１に記載の復元フィルタ生成装置。
8. 前記復元フィルタに前記輝度系画像データに対する前記位相補正を行わせるか否かを切り替える切替手段を備え、
   前記復元フィルタ生成手段は、前記復元フィルタに前記位相補正を行わせない場合、前記伝達関数情報を複数色間で混合し、当該複数色間で混合された伝達関数情報に基づき、前記輝度系画像データに対して位相成分を変化させないで復元処理を行う前記復元フィルタを生成する請求項１から７のうちいずれか１項に記載の復元フィルタ生成装置。
9. 光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置において、
   前記光学系における点像分布に対応する伝達関数情報を、前記複数色の色別に取得する情報取得手段と、
   前記情報取得手段によって取得された前記伝達関数情報に基づいて前記復元フィルタを生成する復元フィルタ生成手段と、
   を備え、
   前記復元フィルタ生成手段は、前記伝達関数情報を複数色間で混合し、当該複数色間で混合された伝達関数情報に基づき、前記輝度系画像データに対し位相成分を変化させないで復元処理を行うための復元フィルタを生成する復元フィルタ生成装置。
10. 前記情報取得手段は、前記光学系における複数色の色別の点像分布関数をそれぞれフーリエ変換することで、前記光学系における複数色の色別の光学伝達関数を取得し、
    前記復元フィルタ生成手段は、前記復元フィルタに位相補正を行わせない場合、各色の前記光学伝達関数の振幅成分である各色の変調伝達関数を前記複数色の間で混合し、当該複数色の間で混合された変調伝達関数に基づき、前記輝度系画像データに対して位相成分を変化させないで復元処理を行う前記復元フィルタを生成する請求項８又は９に記載の復元フィルタ生成装置。
11. 前記情報取得手段は、前記輝度系画像データの生成前に前記複数色の色毎の画像データに対して倍率色収差補正を実施するか否かを示す倍率色収差補正情報を取得し、
    前記復元フィルタ生成手段は、前記倍率色収差補正情報に基づいて前記倍率色収差補正が実施されることを検知した場合、前記情報取得手段によって取得された各色の前記伝達関数情報に対し、前記倍率色収差補正における補正量分の座標移動処理を行い、当該座標移動処理を行った後の各色の前記伝達関数情報を複数色間で混合する請求項１から１０のうちいずれか１項に記載の復元フィルタ生成装置。
12. 前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する請求項１から１１のうちいずれか１項に記載の復元フィルタ生成装置。
13. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データを取得する画像データ取得手段と、
    請求項１から１２のうちいずれか１項に記載の復元フィルタ生成装置により生成された前記復元フィルタを格納する復元フィルタ格納手段と、
    前記画像データ取得手段で取得された前記輝度系画像データに対して、前記復元フィルタ格納手段に格納されている前記復元フィルタを用いて復元処理を施す復元処理手段と、
    を備える画像処理装置。
14. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データを取得する画像データ取得手段と、
    請求項１から１２のうちいずれか１項に記載の復元フィルタ生成装置と、
    前記復元フィルタ生成装置により生成された前記復元フィルタを格納する復元フィルタ格納手段と、
    前記画像データ取得手段で取得された前記輝度系画像データに対して、前記復元フィルタ格納手段に格納されている前記復元フィルタを用いて復元処理を施す復元処理手段と、
    を備える画像処理装置。
15. 光学系を有しており、かつ複数色の色毎の画像データを出力する撮像手段と、
    請求項１３または１４に記載の画像処理装置と、
    を備える撮像装置。
16. 光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法において、
    前記光学系における点像分布に対応する伝達関数情報を、前記複数色の色別に取得する情報取得ステップと、
    前記情報取得ステップによって取得された前記伝達関数情報に基づいて前記復元フィルタを生成する復元フィルタ生成ステップであって、前記複数色のうち単色の前記伝達関数情報に応じて、前記輝度系画像データの位相補正を行う前記復元フィルタを生成する復元フィルタ生成ステップと、
    を備える復元フィルタ生成方法。
17. 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データを取得する画像データ取得ステップと、
    請求項１６に記載の復元フィルタ生成方法により生成された前記復元フィルタを用いて、前記画像データ取得ステップで取得された前記輝度系画像データに対して復元処理を施す復元処理ステップと、
    を備える画像処理方法。
18. 光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成するためのプログラムであって、
    前記光学系における点像分布に対応する伝達関数情報を前記複数色の色別に取得する情報取得ステップと、
    前記情報取得ステップによって取得された前記伝達関数情報に基づいて前記復元フィルタを生成する復元フィルタ生成ステップであって、前記複数色のうち単色の前記伝達関数情報に応じて、前記輝度系画像データの位相補正を行う前記復元フィルタを生成する復元フィルタ生成ステップと、
    をコンピュータに実行させるためのプログラム。
19. コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、光学系を有する撮像手段により得られる複数色の色毎の画像データに基づいて生成された輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
    前記光学系における点像分布に対応する伝達関数情報を、前記複数色の色別に取得する情報取得ステップと、
    前記情報取得ステップによって取得された前記伝達関数情報に基づいて前記復元フィルタを生成する復元フィルタ生成ステップであって、前記複数色のうち単色の前記伝達関数情報に応じて、前記輝度系画像データの位相補正を行う前記復元フィルタを生成する復元フィルタ生成ステップと、
    を含む方法を実行する、記録媒体。