JP6467823B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する

従来から、画像から色成分ごとに検出された被写体のエッジの色成分量の差に基づいて被写体のエッジの合焦状態を検出し、その検出結果に基づいて焦点調節を行う焦点調節装置が知られている（例えば、特許文献１参照）。

特開２０１１−１８６４５２号公報

しかしながら、従来の焦点調節装置では、画像から検出された被写体のエッジのデフォーカス量が僅少である場合、各色のエッジの色成分量の差が小さくなり、被写体のエッジの合焦状態を正確に検出することができないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、被写体のエッジの合焦状態を正確に検出することができる撮像装置を提供することにある。

上記課題を解決する撮像装置は、レンズからの光が入射され、被写体を撮像する撮像素子と、前記撮像素子で撮像された前記被写体のエッジを色成分ごとに検出するエッジ検出部と、前記エッジ検出部が検出した前記エッジにおける色成分同士の色成分量の差又は比に基づいて、前記被写体のエッジの合焦状態を検出する合焦検出部とを備え、前記撮像素子は、相対的に長波長側の色成分の光が入射される第１光電変換部と、相対的に短波長側の色成分の光が入射される第２光電変換部と、を有し、前記第１光電変換部は、前記撮像素子において前記第２光電変換部よりも前記レンズ側に配置されることを特徴とする。

また、上記撮像装置において、前記第１光電変換部は、前記撮像素子において前記レンズ側に突出して配置され、前記第２光電変換部は、前記撮像素子において前記レンズとは反対側に窪んで配置されることが好ましい。

また、上記撮像装置において、前記第１光電変換部及び前記第２光電変換部のうち少なくとも一方の光電変換部の電荷に基づく画像データを用いて画像を生成する画像生成部を更に備えたことが好ましい。

また、上記撮像装置は、前記画像生成部は、前記第２光電変換部の電荷に基づく画像データに対し、前記第１光電変換部の電荷に基づく画像データとは異なるシェーディング係数を用いたシェーディング補正処理を行うことが好ましい。

また、上記撮像装置において、前記画像生成部は、前記画像データに対して倍率補正処理を行うことが好ましい。

また、上記撮像装置は、前記画像データの画像を表示部に表示させる表示制御部を更に備えたことが好ましい。

また、上記撮像装置において、前記画像はスルー画又は動画であることが好ましい。

また、上記撮像装置において、前記第１光電変換部及び前記第２光電変換部のうち少なくとも一方の光電変換部は、前記撮像素子において不規則に配置されていることが好ましい。

また、上記撮像装置は、前記撮像素子は、前記レンズからの光が入射される第１集光レンズ及び第２集光レンズを有し、前記第１光電変換部は、前記第１集光レンズからの光を電荷に変換し、前記第２光電変換部は、前記第２集光レンズからの光を電荷に変換することが好ましい。

本発明によれば、被写体のエッジの合焦状態を正確に検出することができる。

第１の実施形態のデジタルカメラのブロック図。 同実施形態の撮像素子における撮像画素の配列を示す模式図。 （ａ）、（ｂ）は、同実施形態の撮像素子を光軸方向に切断した断面構造を示す模式図。 撮像素子の撮像面のうち、凸画素及び凹画素を含む画素群が配置されるエリアを示す模式図。 （ａ）は、撮像素子に撮像された画像が被写体の位置よりも近点側で合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図、（ｂ）は、撮像素子に撮像された画像が被写体の位置よりも遠点側で合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図。 フォーカスレンズに入射された入射光の色成分ごとの焦点の光軸方向における位置関係を示す模式図。 被写体からフォーカスレンズを通じて入射される入射光の色成分ごとの光電変換面の位置関係を示す模式図であって、（ａ）は、撮像素子に撮像された画像が被写体に対して前ピン状態にある場合の模式図、（ｂ）は、撮像素子に撮像された画像が被写体に対して後ピン状態にある場合の模式図。 撮像素子に撮像された画像の一例を示す模式図。 撮像素子に撮像された画像が被写体のエッジに対して前ピン状態にある場合の、エッジの近傍における色成分ごとの色成分量の正規化出力を示すグラフであって、（ａ）は、比較例の撮像素子の場合のグラフ、（ｂ）は第１の実施形態の撮像素子の場合のグラフ。 撮像素子に撮像された画像が被写体のエッジに対して後ピン状態にある場合の、エッジの近傍における色成分ごとの色成分量の正規化出力を示すグラフであって、（ａ）は、比較例の撮像素子の場合のグラフ、（ｂ）は第１の実施形態の撮像素子の場合のグラフ。 エッジの近傍における色成分ごとの色成分量の正規化出力を示すグラフであって、（ａ）は、第１の実施形態の撮像素子に撮像された画像が被写体のエッジに対して前ピン状態又は後ピン状態にある場合の赤の光と緑の光の色成分量の正規化出力を示すグラフ、（ｂ）は、第１の実施形態の撮像素子に撮像された画像が被写体のエッジに対して前ピン状態又は後ピン状態にある場合の青の光と緑の光の色成分量の正規化出力を示すグラフ。 エッジの近傍における赤の光と緑の光の色成分量の差を示すグラフであって、（ａ）は、比較例の撮像素子の場合のグラフ、（ｂ）は、第１の実施形態の撮像素子の場合のグラフ。 （ａ）は、合焦状態のエッジにおけるＬＳＦを示すグラフ、（ｂ）は、非合焦状態のエッジにおけるＬＳＦを示すグラフ、（ｃ）は、図１３（ｂ）に示す状態よりもデフォーカス量が大きいエッジにおけるＬＳＦを示すグラフ。 （ａ）は、合焦状態のエッジにおける色成分ごとのＬＳＦを示すグラフ、（ｂ）は、前ピン状態のエッジにおける色成分ごとのＬＳＦを示すグラフ、（ｃ）は、後ピン状態のエッジにおける色成分ごとのＬＳＦを示すグラフ。 エッジにおける色成分ごとのＬＳＦの標準偏差の差と被写体距離との相関関係を示すグラフ。 第１の実施形態の画像処理エンジンが実行する画像生成処理ルーチンのフローチャート。 （ａ）、（ｂ）は、スルー画におけるフレーム画像の構成態様の一例を示す模式図。 凹画素が撮像した被写体の画素信号を撮影画像に用いるか否かの判定基準となる、凹画素におけるシェーディング係数と絞り値との相関関係を示すグラフ。 （ａ）、（ｂ）は、第２の実施形態の撮像素子を光軸方向に切断した断面構造を示す模式図。 同実施形態の撮像素子において、被写体からマイクロレンズを通じて光電変換部に入射される入射光の色成分ごとの位置関係を示す模式図であって、（ａ）は、撮像素子に撮像された画像が被写体に対して前ピン状態にある場合の模式図、（ｂ）は、撮像素子に撮像された画像が被写体に対して後ピン状態にある場合の模式図。 第３の実施形態の撮像素子において、被写体からフォーカスレンズを通じて入射される入射光の色成分ごとの撮像位置の位置関係を示す模式図であって、（ａ）は、撮像素子に撮像された画像が被写体に対して前ピン状態にある場合の模式図、（ｂ）は、撮像素子に撮像された画像が被写体に対して後ピン状態にある場合の模式図。 （ａ）〜（ｃ）は、白画素を光軸方向に切断した断面構造を示す模式図であって、（ａ）は、比較例の撮像素子を示す模式図、（ｂ）は、第４の実施形態の撮像素子の一例を示す模式図、（ｃ）は、第４の実施形態の撮像素子の他の一例を示す模式図。 撮像素子に撮像された画像が被写体に対して前ピン状態にある場合の、被写体からマイクロレンズを通じて入射される入射光の色成分ごとの光電変換面の位置関係を示す模式図であって、（ａ）は、図２２（ａ）に示す比較例の撮像素子の場合の模式図、（ｂ）は、図２２（ｂ）に示す第４の実施形態の撮像素子の一例の場合の模式図、（ｃ）は、図２２（ｃ）に示す第４の実施形態の撮像素子の他の一例の場合の模式図。 撮像素子に撮像された画像が被写体に対して後ピン状態にある場合の、被写体からマイクロレンズを通じて入射される入射光の色成分ごとの光電変換面の位置関係を示す模式図であって、（ａ）は、図２２（ａ）に示す比較例の撮像素子の場合の模式図、（ｂ）は、図２２（ｂ）に示す第４の実施形態の撮像素子の一例の場合の模式図、（ｃ）は、図２２（ｃ）に示す第４の実施形態の撮像素子の他の一例の場合の模式図。 （ａ）は、別の実施形態の撮像素子の撮像面のうち、凸画素及び凹画素を含む画素群が配置されるエリアを示す模式図、（ｂ）は、別の実施形態の撮像素子における撮像画素の配列を示す模式図。

（第１の実施形態）
以下、本発明を具体化した第１の実施形態を図面に従って説明する。
図１に示すように、撮像装置の一種であるデジタルカメラ（以下、「カメラ１０」という）は、焦点調節のためのフォーカスレンズ１１などの複数のレンズからなるレンズ部１２（図１ではフォーカスレンズ１１のみ図示）と、レンズ部１２を通過した光をレンズ部１２の像空間側において結像させて撮像する撮像素子１３とを備えている。なお、撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型、又は、ＣＣＤ（Charge Coupled Device）型のイメージセンサからなる。

撮像素子１３の出力側には、画像処理エンジン１４がＡ／Ｄ変換回路１５を介して接続されている。そして、撮像素子１３からアナログ信号として出力される画素信号は、Ａ／Ｄ変換回路１５においてデジタル信号に変換された後に画像処理エンジン１４に入力される。

画像処理エンジン１４は、カメラ１０の各種の動作を統括的に制御するＭＰＵ１６（Micro Processing Unit）を備えている。そして、ＭＰＵ１６は、撮像素子１３から読み出した画素信号に対し、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を施すことにより所定の画像を生成する。

画像処理エンジン１４には、データバス１７を介して不揮発性メモリ１８、バッファメモリ１９、インターフェース部（以下、「Ｉ／Ｆ部２０」という）、及び、表示部の一例としてのモニタ２１が接続されている。

不揮発性メモリ１８は、画像処理エンジン１４を動作させるためにＭＰＵ１６が実行するプログラムを格納している。なお、本実施形態では、不揮発性メモリ１８は、図１６にフローチャートで示す画像生成処理プログラムなどを格納している。そして、ＭＰＵ１６は、不揮発性メモリ１８に格納された画像生成処理プログラムを実行することにより、エッジ検出部２２、合焦検出部２３、画像生成部２４及び表示制御部２５として機能する。

バッファメモリ１９は、例えば、撮影画像、画像処理過程の画像、画像処理後の画像及び画像圧縮後の画像などを一時的に格納している。
Ｉ／Ｆ部２０は、メモリカード３０が着脱自在に装着されるカードスロット（図示略）を有している。そして、Ｉ／Ｆ部２０は、画像処理エンジン１４によって生成された画像をＩ／Ｆ部２０に装着されたメモリカード３０に出力したり、メモリカード３０に格納されている画像を画像処理エンジン１４に出力したりする機能を有している。

モニタ２１には、バッファメモリ１９に一時的に格納されている画像や、Ｉ／Ｆ部２０に装着されたメモリカード３０に格納されている画像が画像処理エンジン１４によって出力されて表示される。

また、画像処理エンジン１４には、レリーズボタン３１及び操作部３２が接続されている。レリーズボタン３１は、半押し操作又は全押し操作がなされた際に操作信号を画像処理エンジン１４に入力する。操作部３２は、メニューボタン、セレクトボタン、決定ボタン及び電源ボタン等により構成されており、押圧操作がなされた際に操作信号を画像処理エンジン１４に入力する。

次に、撮像素子１３の構成について説明する。
図２及び図３（ａ）（ｂ）に示すように、撮像素子１３は、撮像面上に二次元的に配列された撮像画素４０を有している。撮像画素４０は、集光レンズの一例としてのマイクロレンズ４１、カラーフィルタ４２及び光電変換部４３によって構成されている。また、撮像画素４０は、赤画素４０Ｒ（Ｒ）、緑画素４０Ｇ（Ｇ）及び青画素４０Ｂ（Ｂ）を含んでいる。

図３（ａ）に示すように、赤画素４０Ｒは、赤色の波長領域の光を選択的に透過するカラーフィルタ４２Ｒを有している。そして、撮像素子１３に入射する入射光のうち、カラーフィルタ４２Ｒを透過した赤色の色成分の光がマイクロレンズ４１Ｒによって光電変換部４３Ｒに集光され、光電変換部４３Ｒにおいて電荷に変換される。なお、撮像画素４０を構成する赤画素４０Ｒの一部は、他の赤画素４０Ｒと比較して、光電変換部４３Ｒが入射光の光軸方向における入射側（フォーカスレンズ１１側）に突出した凸画素４０ＲＡとなっている。

また、図３（ａ）及び図３（ｂ）に示すように、緑画素４０Ｇは、緑色の波長領域の光を選択的に透過するカラーフィルタ４２Ｇを有している。そして、撮像素子１３に入射する入射光のうち、カラーフィルタ４２Ｇを通過した緑色の色成分の光がマイクロレンズ４１Ｇによって光電変換部４３Ｇに集光され、光電変換部４３Ｇにおいて電荷に変換される。

また、図３（ｂ）に示すように、青画素４０Ｂは、青色の波長領域の光を選択的に透過するカラーフィルタ４２Ｂを有している。そして、撮像素子１３に入射する入射光のうち、カラーフィルタ４２Ｂを透過した青色の色成分の光がマイクロレンズ４１Ｂによって光電変換部４３Ｂに集光され、光電変換部４３Ｂにおいて電荷に変換される。なお、撮像画素４０を構成する青画素４０Ｂの一部は、他の青画素４０Ｂと比較して、光電変換部４３Ｂが入射光の光軸方向における射出側（フォーカスレンズ１１とは反対側）に窪んだ凹画素４０ＢＡとなっている。

そして、凸画素４０ＲＡにおける光電変換部４３Ｒの光電変換面は、平坦画素における光電変換部４３の光電変換面よりも入射光の光軸方向における入射側（フォーカスレンズ１１側）に配置されている。また、凹画素４０ＢＡにおける光電変換部４３Ｂの光電変換面は、平坦画素における光電変換部４３の光電変換面よりも入射光の光軸方向における射出側（フォーカスレンズ１１とは反対側）に配置されている。この場合、平坦画素は、凸画素４０ＲＡでない赤画素４０Ｒ、緑画素４０Ｇ、及び、凹画素４０ＢＡでない青画素４０Ｂを意味している。

なお、本実施形態では、赤画素４０Ｒ、緑画素４０Ｇ及び青画素４０Ｂは、マイクロレンズ４１のレンズ面の曲率が互いに等しい。そのため、撮像素子１３に入射する入射光のうち、各色の色成分の光に対応するマイクロレンズ４１の焦点距離は互いに等しい。

そして、図２に示すように、撮像素子１３には、赤画素４０Ｒ、緑画素４０Ｇ及び青画素４０Ｂがベイヤー配列（Bayer Arrangement）の配列パターンによって配列されている。すなわち、隣接する正方格子状の四つの画素からなる画素群において一方の対角線上に二つの緑画素４０Ｇが配列され、他方の対角線上に赤画素４０Ｒ及び青画素４０Ｂが一つずつ配列されている。そして、正方格子状の画素群を基本単位として、該画素群が二次元上に繰り返し配列されることで撮像素子１３が構成されている。なお、本実施形態では、撮像素子１３を構成する画素群のうち一部の画素群については、凸画素４０ＲＡである赤画素４０Ｒ、及び、凹画素４０ＢＡである青画素４０Ｂを含んでいる。具体的には、撮像素子１３の撮像面の縦方向において二つの画素群おきに、撮像素子１３の撮像面の横方向において一つの画素群おきに、凸画素４０ＲＡである赤画素４０Ｒ、及び、凹画素４０ＢＡである青画素４０Ｂを含む画素群が配置されている。

この場合、図４に示すように、本実施形態では、凸画素４０ＲＡである赤画素４０Ｒ、及び、凹画素４０ＢＡである青画素４０Ｂは、撮像素子１３の撮像画素４０のうち、撮像面上における縦方向に間隔を隔てた６つのエリアＲ１〜Ｒ６に位置する画素群に含まれている。また、これらのエリアＲ１〜Ｒ６は、撮像素子１３の撮像面上における横方向の全域に亘って延びている。

次に、画像処理エンジン１４が画像から検出された被写体のエッジにおける軸上色収差の色ずれを解析することにより、被写体のエッジの合焦状態を検出する原理の概要を説明する。

図５（ａ）には、撮像素子１３に撮像された画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、撮像素子１３に撮像された画像が被写体Ｓの位置よりも近点側で合焦している状態（以下、「前ピン状態」という）が一点鎖線で示されている。図５（ａ）に示すように、前ピン状態においては、被写体から射出される光がフォーカスレンズ１１を通過して合焦する位置が撮像素子１３よりも撮影者側（図５（ａ）では右側）に位置する。

一方、図５（ｂ）には、撮像素子１３に撮像された画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、撮像素子１３に撮像された画像が被写体Ｓの位置よりも遠点側で合焦している状態（以下、「後ピン状態」という）が一点鎖線で示されている。図５（ｂ）に示すように、後ピン状態においては、被写体から射出される光がフォーカスレンズ１１を通過して合焦する位置が撮像素子１３よりもフォーカスレンズ１１側（図５（ｂ）では左側）に位置する。

図６には、被写体から射出された光がフォーカスレンズ１１を通過する際に生じる軸上色収差の様子が示されている。図６に示すように、フォーカスレンズ１１を通過した光には波長の違いによって軸上色収差が生じるため、光の色成分ごとに焦点位置がずれる。具体的には、フォーカスレンズ１１は、光の波長が短いほど光の屈折率が大きいため、青（B）の光、緑（B）の光、赤（R）の光の順に、フォーカスレンズ１１を通過する際の屈折率が次第に小さくなり、フォーカスレンズ１１を通過して合焦する焦点位置がフォーカスレンズ１１から次第に遠くなる。そして、このような軸上色収差による色ずれを解析することにより、被写体のデフォーカス特徴量が被写体の合焦状態として算出（検出）される。

ここで、デフォーカス特徴量は、方向指標と、デフォーカス量を含んで構成されている。方向指標とは、撮像素子１３に撮像された画像が被写体に対して前ピン状態又は後ピン状態にあることを示す指標である。そして、方向指標及びデフォーカス量を算出するための評価値の一例としては、Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ（以下、「Ｅｄ」という）、デフォーカス量参照値（Width of Subtraction）（以下、「Ｗｄ」という）、線広がり関数（Line Spread Function）（以下、「ＬＳＦ」という）が挙げられる。

まず、被写体における方向指標及びデフォーカス量をＥｄを用いて算出する原理の概要を説明する。
図７（ａ）に示すように、撮像素子１３に撮像された画像が被写体に対して前ピン状態である場合には、被写体から射出された光は、フォーカスレンズ１１を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１３に導かれる。この場合、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなる。

特に、本実施形態では、凸画素４０ＲＡである赤画素４０Ｒの光電変換面は、緑画素４０Ｇの光電変換面よりも光軸方向におけるフォーカスレンズ１１との距離が近い位置に配置されている。そのため、赤（Ｒ）の光が凸画素４０ＲＡである赤画素４０Ｒの光電変換面に撮像する被写体のデフォーカス量は、赤（Ｒ）の光が平坦画素である赤画素４０Ｒの光電変換面に撮像する被写体のデフォーカス量よりも大きくなる。その結果、赤（Ｒ）の光が凸画素４０ＲＡである赤画素４０Ｒの光電変換面に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換面に撮像する被写体のデフォーカス量との差分は、赤画素４０Ｒが平坦画素である場合と比較して大きくなる。

また同様に、本実施形態では、凹画素４０ＢＡである青画素４０Ｂの光電変換面は、緑画素４０Ｇの光電変換面よりも光軸方向におけるフォーカスレンズ１１との距離が遠い位置に配置される。そのため、青（Ｂ）の光が凹画素４０ＢＡである青画素４０Ｂの光電変換面に撮像する被写体のデフォーカス量は、青（Ｂ）の光が平坦画素である青画素４０Ｂの光電変換面に撮像する被写体のデフォーカス量よりも小さくなる。その結果、青（Ｂ）の光が凹画素４０ＢＡである青画素４０Ｂの光電変換面に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換面に撮像する被写体のデフォーカス量との差分は、青画素４０Ｂが平坦画素である場合と比較して大きくなる。

一方、図７（ｂ）に示すように、撮像素子１３に撮像された画像が被写体に対して後ピン状態である場合には、被写体から射出された光は、フォーカスレンズ１１を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１３に導かれる。この場合、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなる。

特に、本実施形態では、凸画素４０ＲＡである赤画素４０Ｒの光電変換面は、緑画素４０Ｇの光電変換面よりも光軸方向におけるフォーカスレンズ１１との距離が近い位置に配置されている。そのため、赤（Ｒ）の光が凸画素４０ＲＡである赤画素４０Ｒの光電変換面に撮像する被写体のデフォーカス量は、赤（Ｒ）の光が平坦画素である赤画素４０Ｒの光電変換面に撮像する被写体のデフォーカス量よりも小さくなる。その結果、赤（Ｒ）の光が凸画素４０ＲＡである赤画素４０Ｒの光電変換面に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換面に撮像する被写体のデフォーカス量との差分は、赤画素４０Ｒが平坦画素である場合と比較して大きくなる。

また同様に、本実施形態では、凹画素４０ＢＡである青画素４０Ｂの光電変換面は、緑画素４０Ｇの光電変換面よりも光軸方向におけるフォーカスレンズ１１との距離が遠い位置に配置される。そのため、青（Ｂ）の光が凹画素４０ＢＡである青画素４０Ｂの光電変換面に撮像する被写体のデフォーカス量は、青（Ｂ）の光が平坦画素である青画素４０Ｂの光電変換面に撮像する被写体のデフォーカス量よりも大きくなる。その結果、青（Ｂ）の光が凹画素４０ＢＡである青画素４０Ｂの光電変換面に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換面に撮像する被写体のデフォーカス量との差分は、青画素４０Ｂが平坦画素である場合と比較して大きくなる。

すなわち、撮像素子１３に撮像された画像が被写体に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量の大小関係は異なるものとなる。

また、赤画素４０Ｒが凸画素４０ＲＡである場合、及び、青画素４０Ｂが凹画素４０ＢＡである場合には、撮像素子１３に撮像された画像が被写体に対して前ピン状態及び後ピン状態のうち何れの状態であったとしても、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量の差分は大きくなる。

図８には、撮像素子１３に撮像される画像における被写体の一例として白黒チャートＳ１が示されている。また、図８では、横方向にＸ座標、縦方向にＹ座標が設定されており、Ｘ＝ｑの位置に位置する白黒チャートＳ１のエッジＥ１がデフォーカス特徴量の算出対象として設定されている。

この場合、まず、エッジＥ１を横切る方向（図８ではＸ方向）においてＲＧＢごとの画素値が取得される。このとき、１ピクセル行だけの画素値が取得されると、その１ピクセル行がノイズを含んでいる場合に誤った画素値が取得される虞がある。そのため、本実施形態では、以下の式（１）〜（３）に示すように、１ピクセル行の画素値がＹ方向にｎピクセル幅に亘ってｎ本積算され、その積算値がｎで除算された平均値が、ｘ＝ｑに位置するエッジＥ１が横切るＲＧＢごとの画素値として取得される。

ここで、ｒ（ｘ，ｋ）、ｇ（ｘ，ｋ）、ｂ（ｘ，ｋ）は、ｙ方向のｎピクセル幅におけるｎ本（ｋ＝１，２，…，ｎ）の１ピクセル行のＲ画素値、Ｇ画素値、Ｂ画素値をそれぞれ示している。ただし、ｘは、図８に示す例ではＸ＝ｑを含む所定範囲（例えば、ｑ−Ｑ／２≦ｘ≦ｑ＋Ｑ／２）を変域とする値を示している。

続いて、以下の式（４）〜（６）に示すように、ｒ＿ａｖｅ（ｘ）、ｇ＿ａｖｅ（ｘ）、ｂ＿ａｖｅ（ｘ）について、各々の最大値及び最小値を用いて正規化することにより、各々の正規化出力が算出される。

ここで、ｘｍｉｎは、エッジＥ１の検出対象領域ＥＡ内で画素値が最小（図８に示す例では黒領域）となるＸ座標値を示し、ｘｍａｘは、エッジＥ１の検出対象領域ＥＡ内で画素値が最大（図８に示す例では白領域）となるＸ座標値を示している。

図９（ａ）には、撮像画素４０が凸画素４０ＲＡ及び凹画素４０ＢＡを含まずに平坦画素のみによって構成される比較例の撮像素子１３において、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図９（ａ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の順に、白黒チャートＳ１のエッジＥ１における色成分量の勾配が次第に緩やかとなる。これは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなるためである。なお、図９（ａ）には、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態が示されており、白黒チャートＳ１のエッジＥ１における各色成分の色成分量の勾配がほとんど相違していない。

一方、図９（ｂ）には、撮像画素４０が凸画素４０ＲＡ及び凹画素４０ＢＡを含んだ本実施形態の撮像素子１３において、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図９（ｂ）に示すように、本実施形態の撮像素子１３においては、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量の差分が大きくなる。そのため、図９（ａ）に示す比較例の撮像素子１３を用いた場合と比較して、白黒チャートＳ１のエッジＥ１における各色成分の色成分量の勾配が大きく相違することとなる。

また、図１０（ａ）には、比較例の撮像素子１３において、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図１０（ａ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の順に、白黒チャートＳ１のエッジＥ１における色成分量の勾配が次第に緩やかとなる。これは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなるためである。なお、図１０（ａ）には、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態が示されており、白黒チャートＳ１のエッジＥ１における各色成分の色成分量の勾配がほとんど相違していない。

一方、図１０（ｂ）には、本実施形態の撮像素子１３において、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図１０（ｂ）に示すように、本実施形態の撮像素子１３においては、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量の差分が大きくなる。そのため、図１０（ａ）に示す比較例の撮像素子１３を用いた場合と比較して、白黒チャートＳ１のエッジＥ１における各色成分の色成分量の勾配が大きく相違することとなる。

すなわち、図１１（ａ）に示すように、本実施形態では、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である場合の白黒チャートＳ１のエッジＥ１の近傍における各色成分量の勾配は、以下のようになる。撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。これに対し、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。そのため、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態にあるかに応じて、白黒チャートＳ１のエッジＥ１における赤（Ｒ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＲＧ」という）を閾値と比較することにより、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（７）、（８）に基づいて判定される。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ１に亘って加算した総和を示している。そして、その総和を区間Δ１の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ１は、図１１（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（７）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。一方、式（８）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（９）、（１０）に基づいて判定されてもよい。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ２に亘って加算した総和を示している。そして、その総和を区間Δ２の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ２は、図１１（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（９）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。一方、式（１０）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、上記の式（７）〜（１０）では、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との比を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との差を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

また同様に、図１１（ｂ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。これに対し、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。そのため、撮像素子１３に撮像された画像が前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、白黒チャートＳ１のエッジＥ１における青（Ｂ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、青（Ｂ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＢＧ」という）を閾値と比較することにより、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１１）、（１２）に基づいて判定される。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ３に亘って加算した総和を示している。そして、その総和を区間Δ３の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ３は、図１１（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１１）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。一方、式（１２）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１３）、（１４）に基づいて判定されてもよい。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ４に亘って加算した総和を示している。そして、その総和を区間Δ４の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ４は、図１１（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１３）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。一方、式（１４）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、上記の式（１１）〜（１４）では、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との比を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との差を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

次に、被写体における方向指標及びデフォーカス量をＷｄを用いて算出する原理の概要を説明する。
図１２（ａ）及び図１２（ｂ）は、白黒チャートＳ１のエッジＥ１の近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の差と、エッジＥ１の検出対象領域ＥＡ内におけるＸ軸方向での位置との関係を示すグラフである。

図１２（ａ）には、比較例の撮像素子１３を用いた場合において、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態が示されている。また、図１２（ａ）には、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合のグラフが実線で示されるとともに、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合のグラフが破線で示されている。図１２（ａ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、赤（Ｒ）及び緑（Ｇ）の色成分量の差についての波形の極性（正負）が逆転する。ただし、図１２（ａ）に示す状態では、白黒チャートＳ１のエッジＥ１の近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の差が小さい。そのため、赤（Ｒ）及び緑（Ｇ）の色成分量の差についての波形は、赤（Ｒ）及び緑（Ｇ）の色成分量を検出する際に生じる誤差の影響を受けやすい。したがって、赤（Ｒ）及び緑（Ｇ）の色成分量の差についての波形の極性（正負）に基づいて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかを正確に判定することは困難となる。

一方、図１２（ｂ）には、本実施形態の撮像素子１３を用いた場合において、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態が示されている。図１２（ｂ）には、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合のグラフが実線で示されるとともに、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合のグラフが破線で示されている。なお、図１２（ｂ）に示す状態では、図１２（ａ）に示す比較例の撮像素子１３を用いた場合と比較して、白黒チャートＳ１のエッジＥ１の近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の差が大きくなっている。そのため、赤（Ｒ）及び緑（Ｇ）の色成分量の差についての波形の極性（正負）に基づいて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかを判定することが可能となる。

また、図１２（ｂ）に示すように、Ｗｄは、赤（Ｒ）及び緑（Ｇ）の色成分量の差の波形のピーク間距離として規定されており，以下に示す式（１５）で表される。

ここで、Ｘ１は、図１２（ｂ）に実線で示すグラフにおいて、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最小となる位置である。一方、Ｘ２は、図１２（ｂ）に実線で示すグラフにおいて、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最大となる位置である。そして、Ｗｄの値は、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、赤（Ｒ）及び緑（Ｇ）の色成分量の比を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定したり、白黒チャートＳ１のエッジＥ１のデフォーカス量を算出したりしてもよい。また、比較対象となる色成分の組み合わせは、赤（Ｒ）及び緑（Ｇ）の組み合わせに限定されず、赤（Ｒ）及び青（Ｂ）の組み合わせや、緑（Ｇ）及び青（Ｂ）の組み合わせであってもよい。

次に、被写体における方向指標及びデフォーカス量をＬＳＦを用いて算出する原理の概要を説明する。
ＬＳＦは、画像における色成分量の広がりを表す関数の一種である。そして、図１３（ａ）には、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１において合焦状態にあるＬＳＦが示されている。また、図１３（ｂ）には、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１において非合焦状態にあるＬＳＦが示されている。また、図１３（ｃ）には、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が図１３（ｂ）に示す状態よりも大きい状態のＬＳＦが示されている。

図１３（ａ）〜（ｃ）に示すように、白黒チャートＳ１のエッジＥ１でのＬＳＦの標準偏差σは、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が大きくなるに連れて次第に大きくなる。

図１４（ａ）は、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１において合焦状態にある場合のＬＳＦを色成分ごとに示している。図１４（ａ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１において合焦した状態では、全ての色成分におけるＬＳＦはシャープな波形となる。そして、これらの色成分におけるＬＳＦの標準偏差σＲ，σＧ，σＢは互いにほぼ等しい。

図１４（ｂ）は、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合のＬＳＦを色成分ごとに示している。図１４（ｂ）には、比較例の撮像素子１３を用いた場合において、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態のＬＳＦが破線で示されている。図１４（ｂ）に破線で示す状態では、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量の差分が小さいため、全ての色成分におけるＬＳＦはほぼ同一の波形となっている。そのため、これらの色成分におけるＬＳＦの標準偏差σＲ，σＧ，σＢは互いにほぼ等しい。

また、図１４（ｂ）には、本実施形態の撮像素子１３を用いた場合において、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態のＬＳＦが実線で示されている。図１４（ｂ）に実線で示す状態では、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量の差分が図１４（ｂ）に破線で示す状態よりも大きくなる。そのため、各色成分のＬＳＦの標準偏差σＲ，σＧ，σＢは互いに異なるものとなり、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の順に次第に大きくなる。これは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなるためである。

図１４（ｃ）は、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合のＬＳＦを色成分ごとに示している。図１４（ｃ）には、比較例の撮像素子１３を用いた場合において、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態のＬＳＦが破線で示されている。図１４（ｃ）に破線で示す状態では、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量の差分が小さいため、全ての色成分におけるＬＳＦはほぼ同一の波形となっている。そのため、これらの色成分におけるＬＳＦの標準偏差σＲ，σＧ，σＢは互いにほぼ等しい。

また、図１４（ｃ）には、本実施形態の撮像素子１３を用いた場合において、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少である状態のＬＳＦが実線で示されている。図１４（ｃ）に実線で示す状態では、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量の差分が図１４（ｃ）に破線で示す状態よりも大きくなる。そのため、各色成分のＬＳＦの標準偏差σＲ，σＧ，σＢは互いに異なるものとなり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の順に次第に大きくなる。これは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなるためである。

すなわち、図１４（ｂ）及び図１４（ｃ）に実線で示す状態では、図１４（ｂ）及び図１４（ｃ）に破線で示す状態と比較して、各色成分のＬＳＦの標準偏差σＲ，σＧ，σＢの差分が大きくなっている。そして、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、白黒チャートＳ１のエッジＥ１における各色成分のＬＳＦの標準偏差の大小関係は互いに異なるものとなる。

図１５は、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１の距離と、該エッジＥ１における各色のＬＳＦの標準偏差の差との関係を示すグラフである。図１５には、比較例の撮像素子１３を用いた場合のグラフが破線で示されるとともに、本実施形態の撮像素子１３を用いた場合のグラフが実線で示されている。

ここで、Ｆ１は、青（Ｂ）のＬＳＦの標準偏差σＢと、緑（Ｇ）のＬＳＦの標準偏差σＧとの差を表す関数である。そして、Ｆ１は、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には正の値となる。一方、Ｆ１は、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には負の値となる。また、Ｆ１の絶対値は、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１の距離が合焦位置に対応する距離から離れるに連れて次第に大きくなる。そのため、Ｆ１の絶対値は、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、本実施形態の撮像素子１３を用いた場合には、比較例の撮像素子１３を用いた場合と比較して、各色成分のＬＳＦの標準偏差σＲ，σＧ，σＢの差分が大きくなる。そのため、図１５において実線で示すＦ１の関数のグラフは、図１５において破線で示すＦ１の関数のグラフよりもＦ１の絶対値が大きくなるため、青（Ｂ）及び緑（Ｇ）のＬＳＦの標準偏差を算出する際に生じる誤差の影響を受けにくい。したがって、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、図１５において実線で示すＦ１の関数のグラフに基づいて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかを正確に判定することが可能となる。また、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、図１５において実線で示すＦ１の関数のグラフに基づいて、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を正確に算出することが可能となる。

また同様に、Ｆ２は、赤（Ｒ）のＬＳＦの標準偏差σＲと、緑（Ｇ）のＬＳＦの標準偏差σＧとの差を表す関数である。そして、Ｆ２は、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には負の値となる。一方、Ｆ２は、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には正の値となる。また、Ｆ２の絶対値は、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１の距離が合焦位置に対応する距離から離れるに連れて次第に大きくなる。そのため、Ｆ１の絶対値は、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、本実施形態の撮像素子１３を用いた場合には、比較例の撮像素子１３を用いた場合と比較して、各色成分のＬＳＦの標準偏差σＲ，σＧ，σＢの差分が大きくなる。そのため、図１５において実線で示すＦ２の関数のグラフは、図１５において破線で示すＦ２の関数のグラフよりもＦ１の絶対値が大きくなるため、赤（Ｒ）及び緑（Ｇ）のＬＳＦの標準偏差を算出する際に生じる誤差の影響を受けにくい。したがって、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、図１５において実線で示すＦ２の関数のグラフに基づいて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかを正確に判定することが可能となる。また、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が僅少であったとしても、図１５において実線で示すＦ２の関数のグラフに基づいて、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を正確に算出することが可能となる。

以上のように、エッジＥ１における赤（Ｒ）及び緑（Ｇ）、又は、青（Ｂ）及び緑（Ｇ）の色成分量のＬＳＦの標準偏差の差の極性に基づいて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、エッジＥ１における赤（Ｒ）及び青（Ｂ）のＬＳＦの標準偏差の差の極性に基づいて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。また、エッジＥ１における各色のＬＳＦの標準偏差の比を閾値（＝「１」）と比較することにより、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

また、ＬＳＦは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうち、一つの色成分のみについて算出されてもよい。この場合、一例として、まず、エッジＥ１におけるＬＳＦの値とエッジＥ１のデフォーカス量とを対応付けたエッジのプロファイルをデータベースに予め記憶させる。そして、撮像素子１３に撮像された白黒チャートＳ１のエッジＥ１におけるＬＳＦの値をデータベースに記憶されたエッジのプロファイルと照合することにより、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が算出される。

また、被写体における方向指標及びデフォーカス量を算出する際に、ＬＳＦの標準偏差に代えて、ＬＳＦの半値幅、又は、ＬＳＦのピーク値を用いてもよい。
次に、本実施形態の画像処理エンジン１４のＭＰＵ１６が実行する画像生成処理ルーチンの概要を図１６のフローチャートを参照しながら説明する。

さて、ＭＰＵ１６は、カメラ１０が電源ＯＮ状態となると、図１６に示す画像生成処理ルーチンを開始する。そして、ステップＳ１０において、ＭＰＵ１６は、撮像素子１３から画像信号を読み出してスルー画を生成する。

具体的には、図１７（ａ）に示すように、ＭＰＵ１６は、撮像素子１３の全ての撮像画素となる平坦画素、凸画素４０ＲＡ及び凹画素４０ＢＡから読み出した画素信号に基づいてフレーム画像Ｆを生成し、生成したフレーム画像Ｆを時系列順につなぎ合わせてスルー画を生成する。そして、ＭＰＵ１６の表示制御部２５は、生成したスルー画を撮像素子１３に撮像された画像としてモニタ２１に表示させる。

なお、図１７（ａ）に示す例では、フレーム画像Ｆのフレームレートが「３０」に設定されている。ここで、フレームレートとは、スルー画において単位時間当たりに含まれるフレーム画像の枚数を意味している。すなわち、フレームレートは、スルー画におけるフレーム画像Ｆごとの時間の長さを示す指標でもあり、フレームレートが大きくなるに連れてスルー画におけるフレーム画像Ｆごとの時間の長さが短くなる。

また、図１７（ｂ）に示すように、ＭＰＵ１６は、撮像素子１３の平坦画素から読み出した画素信号に基づいて生成される第１フレーム画像Ｆ１と、撮像素子１３の平坦画素、凸画素４０ＲＡ及び凹画素４０ＢＡから読み出した画素信号に基づいて生成される第２フレーム画像Ｆ２とを時系列的につなぎ合わせてスルー画を生成してもよい。この場合、ＭＰＵ１６は、撮像素子１３の全ての撮像画素４０のうち、間引き読み出し処理によって平坦画素から選択的に画素信号を読み出すことにより第１フレーム画像Ｆ１を生成してもよい。また、ＭＰＵ１６は、撮像素子１３の全ての撮像画素４０から画素信号を読み出すものの、読み出した画素信号のうち平坦画素から読み出した画素信号のみを用いて第１フレーム画像Ｆ１を生成してもよい。なお、図１７（ｂ）に示す例では、第１フレーム画像Ｆ１及び第２フレーム画像Ｆ２の双方のフレームレートが「６０」に設定されている。

そして次に、ステップＳ１１において、ＭＰＵ１６のエッジ検出部２２は、先のステップＳ１０において生成したスルー画を微分フィルタによってスキャン（例えば、ラスタースキャン）する。その結果、スルー画における明度、彩度及び色相等の特徴量が算出される。そして、ＭＰＵ１６のエッジ検出部２２は、算出された特徴量が大きい部分を軸上色収差の評価に適したエッジとして検出する。

続いて、ステップＳ１２において、ＭＰＵ１６の合焦検出部２３は、先のステップＳ１１において検出されたエッジにおける軸上色収差の評価値を算出するとともに、算出した評価値に基づいてエッジのデフォーカス特徴量を算出する。

より具体的には、上記のステップＳ１１及びステップＳ１２において、ＭＰＵ１６は、以下のような処理を行う。
すなわち、スルー画が図１７（ａ）に示す例の場合には、ＭＰＵ１６のエッジ検出部２２は、撮像素子１３の平坦画素、凸画素４０ＲＡ及び凹画素４０ＢＡから読み出した画素信号に基づいて生成したフレーム画像Ｆを微分フィルタによってスキャンすることによりエッジを検出する。そして次に、ＭＰＵ１６は、一例として、フレーム画像Ｆから検出したエッジのうち、凸画素４０ＲＡである赤画素４０Ｒが撮像した画像部分の赤（Ｒ）の色成分量と、平坦画素である緑画素４０Ｇが撮像した画像部分の緑（Ｇ）の色成分量とに基づいて、エッジの近傍における色成分量の正規化出力を算出する。

また、ＭＰＵ１６は、フレーム画像Ｆから検出したエッジのうち、凹画素４０ＢＡである青画素４０Ｂが撮像した画像部分の青（Ｂ）の色成分量と、平坦画素である緑画素４０Ｇが撮像した画像部分の緑（Ｇ）の色成分量とに基づいて、エッジの近傍における色成分量の正規化出力を算出してもよい。

また、スルー画が図１７（ｂ）に示す例の場合には、ＭＰＵ１６のエッジ検出部２２は、撮像素子１３の平坦画素、凸画素４０ＲＡ及び凹画素４０ＢＡから読み出した画素信号に基づいて生成した第２フレーム画像Ｆ２を微分フィルタによってスキャンすることによりエッジを検出する。そして次に、ＭＰＵ１６は、一例として、第２フレーム画像Ｆ２から検出したエッジのうち、凸画素４０ＲＡである赤画素４０Ｒが撮像した画像部分の赤（Ｒ）の色成分量と、平坦画素である緑画素４０Ｇが撮像した画像部分の緑（Ｇ）の色成分量とに基づいて、エッジの近傍における色成分量の正規化出力を算出する。

また、ＭＰＵ１６は、第２フレーム画像Ｆ２から検出したエッジのうち、凹画素４０ＢＡである青画素４０Ｂが撮像した画像部分の青（Ｂ）の色成分量と、平坦画素である緑画素４０Ｇが撮像した画像部分の緑（Ｇ）の色成分量とに基づいて、エッジの近傍における色成分量の正規化出力を算出してもよい。

そして次に、ステップＳ１３において、ＭＰＵ１６は、先のステップＳ１２において算出されたエッジのデフォーカス特徴量に基づいて、フォーカスレンズ１１の駆動条件を設定する。すなわち、ＭＰＵ１６は、エッジのデフォーカス特徴量の方向指標に基づいてフォーカスレンズ１１の駆動方向を設定するとともに、エッジのデフォーカス特徴量のデフォーカス量に基づいてフォーカスレンズ１１の駆動量を設定する。

具体的には、ＭＰＵ１６は、エッジのデフォーカス特徴量の方向指標が前ピン状態を示している場合、フォーカスレンズ１１を光軸方向において撮像素子１３から遠ざける方向にフォーカスレンズ１１の駆動方向を設定する。すなわち、ＭＰＵ１６は、スルー画がエッジよりも近点側に合焦していると判断した場合には、スルー画の合焦位置をスルー画の奥行方向における無限遠側に移動させてエッジの位置に合致させるように、フォーカスレンズ１１の駆動方向を設定する。

一方、ＭＰＵ１６は、エッジのデフォーカス特徴量の方向指標が後ピン状態を示している場合、フォーカスレンズ１１を光軸方向において撮像素子１３に近づける方向にフォーカスレンズ１１の駆動方向を設定する。すなわち、ＭＰＵ１６は、スルー画がエッジよりも遠点側に合焦していると判断した場合には、スルー画の合焦位置をスルー画の奥行方向における至近側に移動させてエッジの位置に合致させるように、フォーカスレンズ１１の駆動方向を設定する。

また、ＭＰＵ１６は、エッジのデフォーカス特徴量のデフォーカス量に基づいて、フォーカスレンズ１１の合焦位置を推定する。そして、ＭＰＵ１６は、現在のレンズ位置から推定された合焦位置に至るようにフォーカスレンズ１１の駆動量を設定する。

続いて、ステップＳ１４において、ＭＰＵ１６は、先のステップＳ１３において設定された駆動条件でフォーカスレンズ１１を駆動させる。その結果、フォーカスレンズ１１のレンズ位置が合焦位置に移動することにより、スルー画がエッジの位置において合焦された状態となる。

そして次に、ステップＳ１５において、ＭＰＵ１６は、撮影指示信号が入力されたか否かを判定する。この撮影指示信号は、レリーズボタン３１の全押し操作がなされた際に画像処理エンジン１４に操作信号として入力される。なお、モニタ２１がタッチパネルである場合には、モニタ２１が画像の撮影のためにタッチ操作がなされた際に撮影指示信号が操作信号として画像処理エンジン１４に入力される。そして、ＭＰＵ１６は、撮影指示信号が入力されていない（ステップＳ１５＝ＮＯ）と判定した場合、その処理をステップＳ１０に戻し、撮影指示信号が入力されるまでステップＳ１０〜ステップＳ１５の処理を繰り返す。一方、ＭＰＵ１６は、撮影指示信号が入力された（ステップＳ１５＝ＹＥＳ）と判定した場合、その処理をステップＳ１６に移行する。

そして、ステップＳ１６において、ＭＰＵ１６は、凹画素４０ＢＡが撮像した被写体の画素信号を撮影画像に用いるか否かの判定基準となる、凹画素４０ＢＡにおけるシェーディング係数と絞り値との相関関係を示すグラフＧＲ（図１８参照）を不揮発性メモリ１８から読み出す。

なお、凹画素４０ＢＡにおけるシェーディング係数は、フォーカスレンズ１１のシェーディング係数と、凹画素４０ＢＡの画素感度と、凹画素４０ＢＡの凹み係数とが積算されることにより算出される。この場合、凹画素４０ＢＡの凹み係数は、凹画素４０ＢＡの凹み度合が大きくなるに連れて大きくなる。そのため、凹画素４０ＢＡにおけるシェーディング係数は、凹画素４０ＢＡの凹み度合が大きくなるに連れて大きくなる。すなわち、凹画素４０ＢＡにおけるシェーディング係数は、凹画素４０ＢＡの凹み度合を示す指標となっている。

そして、上記のグラフＧＲにおいては、凹画素４０ＢＡにおけるシェーディング係数が大きくなるに連れて、凹画素４０ＢＡが撮像した被写体の画像信号を撮影画像に用いるか否かの判定基準となる絞り値の大きさが次第に大きくなっている。これは、フォーカスレンズ１１を通過した光のうち凹画素４０ＢＡに到達する光の比率を十分に確保するためには、凹画素４０ＢＡの凹み度合が大きくなるに連れて、絞りの開口面積を狭めることにより光の入射角度を制限する必要があるためである。

続いて、ステップＳ１７において、ＭＰＵ１６は、その時点でカメラ１０に設定されている凹画素４０ＢＡにおけるシェーディング係数の設定値を算出する。
具体的には、カメラ１０がレンズ一体型である場合には、カメラ１０に装着されているフォーカスレンズ１１のシェーディング係数が固定の値となっている。そのため、固定の値であるフォーカスレンズ１１のシェーディング係数に対し、凹画素４０ＢＡの画素感度と、凹画素４０ＢＡの凹み係数とが積算されることにより、凹画素４０ＢＡにおけるシェーディング係数の設定値が算出される。

また、カメラ１０がレンズ交換型である場合には、カメラ１０に装着されるフォーカスレンズの種類によってフォーカスレンズ１１のシェーディング係数が異なる値となる。そのため、その時点でカメラ１０に装着されているフォーカスレンズ１１の種類に応じたフォーカスレンズ１１のシェーディング係数が不揮発性メモリ１８から読み出される。そして、読み出されたフォーカスレンズ１１のシェーディング係数に対し、凹画素４０ＢＡの画素感度と、凹画素４０ＢＡの凹み係数とが積算されることにより、凹画素４０ＢＡにおけるシェーディング係数の設定値が算出される。

そして次に、ステップＳ１８において、ＭＰＵ１６は、先のステップＳ１７において算出されたシェーディング係数の設定値を、先のステップＳ１６において読み出したグラフＧＲに算入することにより、絞り値の閾値Ｎを算出する。閾値Ｎは、凹画素４０ＢＡが撮像した被写体の画像信号を撮影画像に用いるか否かを判定する際の絞り値の基準値となっている。なお、図１８には、シェーディング係数の設定値がＴ１である場合に算出される絞り値の閾値Ｎが示されている。

続いて、ステップＳ１９において、ＭＰＵ１６は、その時点でカメラ１０に設定されている絞り値の設定値が先のステップＳ１８において算出された絞り値の閾値Ｎ以上であるか否かを判定する。なお、図１８に示す例では、ＭＰＵ１６は、絞り値の設定値がＮ１である場合には、絞り値の設定値が閾値Ｎ未満（ステップＳ１９＝ＮＯ）であると判定する一方で、絞り値の設定値がＮ２である場合には、絞り値の設定値が閾値Ｎ以上である（ステップＳ１９＝ＹＥＳ）と判定する。そして、ＭＰＵ１６は、絞り値の設定値が閾値Ｎ以上である（ステップＳ１９＝ＹＥＳ）と判定した場合には、凹画素４０ＢＡが撮像した被写体の画像信号を撮影画像に用いるのは適切であると判断した上で、その処理をステップＳ２０に移行する。

そして、ステップＳ２０において、ＭＰＵ１６の画像生成部２４は、凹画素４０ＢＡを含む全ての撮像画素４０（すなわち、平坦画素、凸画素４０ＲＡ及び凹画素４０ＢＡ）から被写体の画素信号を読み出す。

そして次に、ステップＳ２１において、ＭＰＵ１６の画像生成部２４は、先のステップＳ２０において凹画素４０ＢＡ以外の撮像画素４０（即ち、平坦画素及び凸画素４０ＲＡ）から読み出した被写体の画素信号に対し、通常のシェーディング係数を用いたシェーディング補正処理を実行する。

続いて、ステップＳ２２において、ＭＰＵ１６の画像生成部２４は、先のステップＳ２０において凹画素４０ＢＡから読み出した被写体の画素信号に対し、先のステップＳ１７において算出された凹画素４０ＢＡにおけるシェーディング係数の設定値を用いたシェーディング補正処理を実行する。この場合、凹画素４０ＢＡにおけるシェーディング係数の設定値は、先のステップＳ２１において用いられる通常のシェーディング係数よりも大きな値となっている。これは、フォーカスレンズ１１を通過した光のうち撮像素子１３に対して斜めに入射する光は、平坦画素と比較して凹画素４０ＢＡには到達しにくく、凹画素４０ＢＡから読み出した被写体の画素信号に対してシェーディング補正処理の強度を高める必要があるためである。

そして次に、ステップＳ２３において、ＭＰＵ１６の画像生成部２４は、先のステップＳ２０において凸画素４０ＲＡ又は凹画素４０ＢＡから読み出した被写体の画素信号に対して倍率補正処理を実行した上で、その処理をステップＳ２８に移行する。

具体的には、ＭＰＵ１６の画像生成部２４は、凸画素４０ＲＡから読み出した被写体の画素信号に対して拡大処理を実行する。これは、凸画素４０ＲＡは、平坦画素と比較して、入射光の光軸方向における光電変換部４３ＲＡとフォーカスレンズ１１との距離が小さいため、凸画素４０ＲＡに撮像される被写体の大きさが平坦画素に撮像される同一の被写体の大きさよりも小さくなるためである。

また、ＭＰＵ１６の画像生成部２４は、凹画素４０ＢＡから読み出した被写体の画素信号に対して縮小処理を実行する。これは、凹画素４０ＢＡは、平坦画素と比較して、入射光の光軸方向における光電変換部４３ＢＡとフォーカスレンズ１１との距離が大きいため、凹画素４０ＢＡに撮像される被写体の大きさが平坦画素に撮像される同一の被写体の大きさよりも大きくなるためである。

一方、ＭＰＵ１６は、絞り値の設定値が閾値Ｎ未満である（ステップＳ１９＝ＮＯ）と判定した場合には、凹画素４０ＢＡが撮像した被写体の画像データを撮影画像に用いるのは適切ではないと判断した上で、その処理をステップＳ２４に移行する。

そして、ステップＳ２４において、ＭＰＵ１６の画像生成部２４は、間引き読み出し処理によって凹画素４０ＢＡ以外の撮像画素４０（すなわち、平坦画素及び凸画素４０ＲＡ）から選択的に被写体の画素信号を読み出す。

なお、ＭＰＵ１６の画像生成部２４は、凹画素４０ＢＡを含む全ての撮像画素４０から被写体の画素信号を読み出すものの、凹画素４０ＢＡから読み出した被写体の画素信号については撮影画像に用いない構成としてもよい。

そして次に、ステップＳ２５において、ＭＰＵ１６の画像生成部２４は、先のステップＳ２４において平坦画素及び凸画素４０ＲＡから読み出した被写体の画素信号に対し、通常のシェーディング係数を用いたシェーディング補正処理を実行する。

続いて、ステップＳ２６において、ＭＰＵ１６の画像生成部２４は、先のステップＳ２４において凸画素４０ＲＡから読み出した被写体の画素信号に対して倍率補正処理として拡大処理を実行する。

そして次に、ステップＳ２７において、ＭＰＵ１６の画像生成部２４は、先のステップＳ２４において平坦画素及び凸画素４０ＲＡから読み出した被写体の画素信号に対して補間処理を行うことにより、凹画素４０ＢＡに対応する撮像画素分の画素信号を補った上で、その処理をステップＳ２８に移行する。

そして、ステップＳ２８において、ＭＰＵ１６の画像生成部２４は、先のステップＳ２３において倍率補正処理が行われた画素信号、又は、先のステップＳ２７において補間処理が行われた画素信号に基づいて静止画を生成し、生成した静止画を撮影画像として不揮発性メモリ１８に格納する。

次に、上記のように構成されたカメラ１０の作用について、特に、ＭＰＵ１６の合焦検出部２３がスルー画におけるエッジのデフォーカス特徴量を算出する際の作用に着目して以下説明する。

さて、スルー画に含まれるエッジを、凸画素４０ＲＡである赤画素４０Ｒ、及び、平坦画素である緑画素４０Ｇが撮像したとする。この場合、凸画素４０ＲＡである赤画素４０Ｒが撮像したエッジの近傍における赤（Ｒ）の色成分量の正規化出力と、平坦画素である緑画素４０Ｇが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、赤画素４０Ｒが平坦画素である場合と比較して大きくなる。すなわち、凸画素４０ＲＡである赤画素４０Ｒと平坦画素である緑画素４０Ｇとの組み合わせにより、エッジの近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の正規化出力の差分が拡大される。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。そして、拡大された正規化出力の差分に基づいてエッジにおける軸上色収差の評価値が算出されるとともに、算出された評価値に基づいてエッジのデフォーカス特徴量が算出される。したがって、スルー画におけるエッジのデフォーカス特徴量の算出結果に応じてフォーカスレンズ１１の駆動条件が設定されることにより、スルー画がエッジの部分において正確に合焦される。

また同様に、スルー画に含まれるエッジを、凹画素４０ＢＡである青画素４０Ｂ、及び、平坦画素である緑画素４０Ｇが撮像したとする。この場合、凹画素４０ＢＡである青画素４０Ｂが撮像したエッジの近傍における青（Ｂ）の色成分量の正規化出力と、平坦画素である緑画素４０Ｇが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、青画素４０Ｂが平坦画素である場合と比較して大きくなる。すなわち、青画素４０Ｂである青画素４０Ｂと平坦画素である緑画素４０Ｇとの組み合わせにより、エッジの近傍における青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が拡大される。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。そして、拡大された正規化出力の差分に基づいてエッジにおける軸上色収差の評価値が算出されるとともに、算出された評価値に基づいてエッジのデフォーカス特徴量が算出される。したがって、スルー画におけるエッジのデフォーカス特徴量の算出結果に応じてフォーカスレンズ１１の駆動条件が設定されることにより、スルー画がエッジの部分において正確に合焦される。

特に、本実施形態では、スルー画に含まれるフレーム画像のうち少なくとも一部のフレーム画像は、凸画素４０ＲＡである赤画素４０Ｒ又は凹画素４０ＢＡである青画素４０Ｂが撮像した画像部分と、平坦画素である緑画素４０Ｇが撮像した画像部分とを含んでいる。そのため、かかるフレーム画像から検出されたエッジの近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の正規化出力の差分、又は、青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が拡大された状態で、スルー画におけるエッジの軸上色収差の評価値が随時算出される。したがって、この評価値に基づいてスルー画におけるエッジのデフォーカス特徴量を随時算出し、このデフォーカス特徴量の算出結果に応じてフォーカスレンズ１１の駆動条件を更新することにより、スルー画をエッジの部分において継続して正確に合焦させることが可能となる。

上記第１の実施形態によれば、以下に示す効果を得ることができる。
（１）デフォーカス量が僅少であって合焦状態の検出に適さないエッジであったとしても、このようなエッジにおける色成分同士の色成分量の差が拡大されることにより、エッジの色成分同士の色成分量の差又は比の大きさが十分に確保される。そして、このようなエッジの色成分同士の色成分量の差又は比に基づいて、エッジの合焦状態を正確に検出することができる。

（２）相対的に長波長側の色成分の入射光が入射される撮像画素の光電変換面と、相対的に短波長側の色成分の入射光が入射される撮像画素の光電変換面との入射光の光軸方向における位置を異ならせることにより、合焦状態を検出する際の比較対象となるエッジの色成分同士の色成分量の差を拡大させる構成を容易に実現することができる。

（３）撮像素子１３の撮像画素４０は、相対的に長波長側の色成分となる赤（Ｒ）の入射光が入射される赤画素４０Ｒのうち他の赤画素４０Ｒと比較して入射光の光軸方向においてフォーカスレンズ１１側に突出して配置される凸画素４０ＲＡを含んでいる。また、撮像素子１３の撮像画素４０は、相対的に短波長側の色成分となる青（Ｂ）の入射光が入射される青画素４０Ｂのうち他の青画素４０Ｂと比較して入射光の光軸方向においてフォーカスレンズ１１とは反対側に窪んで配置される凹画素４０ＢＡを含んでいる。そのため、相対的に長波長側の色成分の入射光が入射される撮像画素の光電変換面が、相対的に短波長側の色成分の入射光が入射される撮像画素の光電変換面よりも入射光の光軸方向におけるフォーカスレンズ１１側に配置される構成を容易に実現することができる。

（４）凸画素４０ＲＡ及び凹画素４０ＢＡのうち少なくとも一方が撮像した画素信号を適宜用いて撮影画像が生成される。そのため、凸画素４０ＲＡ及び凹画素４０ＢＡが撮像した画素信号を用いることなく撮影画像を生成する場合と比較して、撮影画像の画素数を多く確保することができる。

（５）凸画素４０ＲＡ及び凹画素４０ＢＡのうち少なくとも一方が撮像した画素信号に対し、撮像素子１３における他の撮像画素が撮像した画素信号とは異なる画像処理が行われた上で撮影画像が生成される。そのため、凸画素４０ＲＡ及び凹画素４０ＢＡが撮像素子における他の撮像画素と比較して入射光の光軸方向における光電変換面の位置が異なることに起因して、凸画素４０ＲＡ及び凹画素４０ＢＡが撮像した画素信号に誤差が生じたとしても、このような誤差を軽減する画像処理が凸画素４０ＲＡ及び凹画素４０ＢＡが撮像した画素信号に対して行われる。そのため、凸画素４０ＲＡ及び凹画素４０ＢＡの少なくとも一方が撮像した画素信号を用いて撮影画像を生成したとしても、撮影画像の画質が低下することを抑制できる。

（６）凹画素４０ＢＡが撮像素子１３における他の撮像画素と比較して入射光の光軸方向において窪んで配置されることに起因して、凹画素４０ＢＡに入射する入射光の光量が低下することがあり得る。この点、上記実施形態では、このような光量の低下を軽減する画像処理として通常とは異なるシェーディング係数を用いたシェーディング補正処理が凹画素４０ＢＡによって撮像された画素信号に対して行われる。そのため、凹画素４０ＢＡによって撮像された画素信号を用いて撮影画像を生成したとしても、撮影画像の画質が低下することを抑制できる。

（７）凸画素４０ＲＡ及び凹画素４０ＢＡが撮像素子１３における他の撮像画素と比較して入射光の光軸方向における光電変換面の位置が異なることに起因して、凸画素４０ＲＡ及び凹画素４０ＢＡが撮像した画像の倍率に変化が生じることがあり得る。この点、上記実施形態では、このような倍率の変化を軽減する画像処理として倍率補正処理が凸画素４０ＲＡ及び凹画素４０ＢＡによって撮像された画素信号に対して行われる。そのため、凸画素４０ＲＡ及び凹画素４０ＢＡのうち少なくとも一方によって撮像された画素信号を用いて撮影画像を生成したとしても、撮影画像の画質が低下することを抑制できる。

（８）凸画素４０ＲＡ及び凹画素４０ＢＡのうち少なくとも一方を含む撮像画素が撮像した画像がスルー画としてモニタ２１に表示される。そのため、凸画素４０ＲＡ及び凹画素４０ＢＡのうち少なくとも一方が撮像したエッジの色成分量に基づいてエッジの合焦状態が算出されたスルー画の画像内容を、モニタ２１を通じて視認することができる。

（９）スルー画に被写体として移動体が含まれる場合に、凸画素４０ＲＡ及び凹画素４０ＢＡのうち少なくとも一方が撮像した移動体のエッジの色成分量に基づいて、移動体の合焦状態を移動体の移動に追随させつつリアルタイムに正確に算出することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。なお、第２の実施形態は、撮像素子１３に入射する入射光のうち、各色の色成分の光に対応するマイクロレンズ４１の焦点距離が互いに異なる点が第１の実施形態と異なる。したがって、以下の説明においては、第１の実施形態と相違する構成について主に説明し、第１の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

図１９（ａ）に示すように、本実施形態では、撮像素子１３は、撮像画素４０を構成する赤画素４０Ｒの一部のマイクロレンズ４１ＲＡが、他の赤画素４０Ｒのマイクロレンズ４１Ｒと比較して、レンズ面の曲率が小さく、赤（Ｒ）の入射光に対する焦点距離が長くなっている。

また、図１９（ｂ）に示すように、撮像素子１３は、撮像画素４０を構成する青画素４０Ｂの一部のマイクロレンズ４１ＢＡが、他の青画素４０Ｂのマイクロレンズ４１Ｂと比較して、レンズ面の曲率が大きく、青（Ｂ）の入射光に対する焦点距離が短くなっている。

なお、撮像素子１３は、撮像画素４０を構成する赤画素４０Ｒとして凸画素４０ＲＡを含んでおらず、全ての赤画素４０Ｒの光電変換部４３Ｒの光電変換面は、入射光の光軸方向における同一の位置に配置されている。また、撮像素子１３は、撮像画素４０を構成する青画素４０Ｂとして凹画素４０ＢＡを含んでおらず、全ての青画素４０Ｂの光電変換部４３Ｂの光電変換面は、入射光の光軸方向における同一の位置に配置されている。すなわち、撮像素子１３は、全ての撮像画素４０の光電変換部４３の光電変換面が入射光の光軸方向における同一の位置に配置されている。

図２０（ａ）には、撮像素子１３に撮像された画像が被写体に対して前ピン状態である場合に、マイクロレンズ４１を通過した各色の色成分の入射光が光電変換部４３に入射して被写体を撮像する状態が示されている。図２０（ａ）に示すように、撮像素子１３に撮像された画像が被写体に対して前ピン状態である場合には、マイクロレンズ４１を通過した光が色成分ごとに光電変換部４３に撮像する被写体のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなる。

特に、本実施形態では、赤画素４０Ｒの一部におけるマイクロレンズ４１ＲＡの曲率が、他の赤画素４０Ｒにおけるマイクロレンズ４１Ｒの曲率よりも小さい。そのため、赤（Ｒ）の入射光は、相対的に曲率の小さいマイクロレンズ４１ＲＡを通過する場合には、相対的に曲率の大きいマイクロレンズ４１Ｒを通過する場合と比較して、赤画素４０Ｒの光電変換部４３Ｒに撮像する被写体のデフォーカス量が大きくなる。その結果、赤（Ｒ）の入射光が赤画素４０Ｒの光電変換部４３Ｒに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換部４３Ｇに撮像する被写体のデフォーカス量との差分は、赤（Ｒ）の入射光が相対的に曲率の大きいマイクロレンズ４１Ｒを通過する場合と比較して大きくなる。この場合、相対的に曲率の小さいマイクロレンズ４１ＲＡを有する赤画素４０Ｒが撮像したエッジの近傍における赤（Ｒ）の色成分量の正規化出力と、緑画素４０Ｇが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、赤画素４０Ｒが相対的に曲率の大きいマイクロレンズ４１Ｒを有する場合と比較して大きくなる。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

また、青画素４０Ｂの一部のマイクロレンズ４１ＢＡが、他の青画素４０Ｂのマイクロレンズ４１Ｂよりもレンズ面の曲率が大きい。そのため、青（Ｂ）の入射光は、相対的に曲率の大きいマイクロレンズ４１ＢＡを通過する場合には、相対的に曲率の小さいマイクロレンズ４１Ｂを通過する場合と比較して、青画素４０Ｂの光電変換部４３Ｂに撮像する被写体のデフォーカス量が小さくなる。その結果、青（Ｂ）の入射光が青画素４０Ｂの光電変換部４３Ｂに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換部４３Ｇに撮像する被写体のデフォーカス量との差分は、青（Ｂ）の入射光が相対的に曲率の小さいマイクロレンズ４１Ｂを通過する場合と比較して大きくなる。この場合、相対的に曲率の大きいマイクロレンズ４１ＢＡを有する青画素４０Ｂが撮像したエッジの近傍における青（Ｂ）の色成分量の正規化出力と、緑画素４０Ｇが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、青画素４０Ｂが相対的に曲率の小さいマイクロレンズ４１Ｂを有する場合と比較して大きくなる。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

また、図２０（ｂ）には、撮像素子１３に撮像された画像が被写体に対して後ピン状態である場合に、マイクロレンズ４１を通過した各色の色成分の入射光が光電変換部４３に入射して被写体を撮像する状態が示されている。図２０（ｂ）に示すように、撮像素子１３に撮像された画像が被写体に対して後ピン状態である場合には、マイクロレンズ４１を通過した光が色成分ごとに光電変換部４３に撮像する被写体のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなる。

特に、本実施形態では、赤画素４０Ｒの一部のマイクロレンズ４１ＲＡが、他の赤画素４０Ｒのマイクロレンズ４１Ｒよりもレンズ面の曲率が小さい。そのため、赤（Ｒ）の入射光は、相対的に曲率の小さいマイクロレンズ４１ＲＡを通過する場合には、相対的に曲率の大きいマイクロレンズ４１Ｒを通過する場合と比較して、赤画素４０Ｒの光電変換部４３に撮像する被写体のデフォーカス量が小さくなる。その結果、赤（Ｒ）の入射光が赤画素４０Ｒの光電変換部４３Ｒに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換部４３Ｇに撮像する被写体のデフォーカス量との差分は、赤（Ｒ）の入射光が相対的に曲率の大きいマイクロレンズ４１Ｒを通過する場合と比較して大きくなる。

また、青画素４０Ｂの一部のマイクロレンズ４１ＢＡが、他の青画素４０Ｂのマイクロレンズ４１Ｂと比較してレンズ面の曲率が大きい。そのため、青（Ｂ）の入射光は、相対的に曲率の大きいマイクロレンズ４１ＢＡを通過する場合には、相対的に曲率の小さいマイクロレンズ４１Ｂを通過する場合と比較して、青画素４０Ｂの光電変換部４３Ｂに撮像する被写体のデフォーカス量が大きくなる。その結果、青（Ｂ）の入射光が青画素４０Ｂの光電変換部４３Ｂに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が緑画素４０Ｇの光電変換部４３Ｇに撮像する被写体のデフォーカス量との差分は、青（Ｂ）の入射光が相対的に曲率の小さいマイクロレンズ４１Ｂを通過する場合と比較して大きくなる。

したがって、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における赤（Ｒ）及び緑（Ｇ）、又は、青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

上記第２の実施形態によれば、上記第１の実施形態の効果（１）に加え、以下に示す効果（１０）を得ることができる。
（１０）相対的に長波長側の色成分の入射光に対応するマイクロレンズ４１の焦点距離と、相対的に短波長側の色成分の入射光に対応するマイクロレンズ４１の焦点距離とを互いに異ならせることにより、合焦状態を検出する際の比較対象となるエッジの色成分同士の色成分量の差を拡大させる構成を容易に実現することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。なお、第３の実施形態は、撮像素子１３を入射光の光軸方向に駆動する素子駆動部の一例としてのモータＭを備えた点が第１の実施形態と異なる。したがって、以下の説明においては、第１の実施形態と相違する構成について主に説明し、第１の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

さて、本実施形態では、撮像素子１３は、撮像画素４０を構成する赤画素４０Ｒとして凸画素４０ＲＡを含んでおらず、全ての赤画素４０Ｒの光電変換部４３Ｒの光電変換面は、入射光の光軸方向における同一の位置に配置されている。また、撮像素子１３は、撮像画素４０を構成する青画素４０Ｂとして凹画素４０ＢＡを含んでおらず、全ての青画素４０Ｂの光電変換部４３Ｂの光電変換面は、入射光の光軸方向における同一の位置に配置されている。すなわち、撮像素子１３は、全ての撮像画素４０の光電変換部４３の光電変換面が入射光の光軸方向における同一の位置に配置されている。

ここで、図２１（ａ）には、上記のように構成された撮像素子１３に撮像された画像が被写体に対して前ピン状態である場合に、フォーカスレンズ１１を通過した入射光が被写体を撮像する際の撮像素子１３の位置を入射光の色成分ごとに異ならせている状態を示している。図２１（ａ）に示すように、撮像素子１３に撮像された画像が被写体に対して前ピン状態である場合には、フォーカスレンズ１１を通過した入射光が撮像素子１３に撮像する被写体のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなる。

なお、本実施形態では、フォーカスレンズ１１を通過した入射光が被写体を撮像する際には、撮像素子１３がモータＭから伝達される駆動力に基づいて入射光の光軸方向に駆動される。そして、ＭＰＵ１６の合焦検出部２３は、撮像素子１３が入射光の光軸方向においてフォーカスレンズ１１に接近する方向に駆動されて第２位置（図２１（ａ）では左側の位置）に配置された状態で、フォーカスレンズ１１を通過した各色の入射光が撮像した被写体の画素信号のうち、赤色の画素信号を選択的に読み出す。そして、ＭＰＵ１６の合焦検出部２３は、読み出した赤色の画素信号を被写体のデフォーカス特徴量の算出に用いる。

この場合、赤（Ｒ）の光が撮像素子１３に撮像する被写体のデフォーカス量は、撮像素子１３を入射光の光軸方向に駆動させない場合よりも大きくなる。その結果、赤（Ｒ）の光が撮像素子１３に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が撮像素子１３に撮像する被写体のデフォーカス量との差分は、撮像素子１３を入射光の光軸方向に駆動させない場合と比較して大きくなる。

また、ＭＰＵ１６の合焦検出部２３は、撮像素子１３が入射光の光軸方向においてフォーカスレンズ１１から離間する方向に駆動されて第１位置（図２１（ａ）では右側）に配置された状態で、フォーカスレンズ１１を通過した各色の入射光が撮像した被写体の画素信号のうち、青色の画素信号を選択的に読み出す。そして、ＭＰＵ１６の合焦検出部２３は、読み出した青色の画素信号を被写体のデフォーカス特徴量の算出に用いる。

この場合、青（Ｂ）の光が撮像素子１３に撮像する被写体のデフォーカス量は、撮像素子１３を入射光の光軸方向に駆動させない場合よりも小さくなる。その結果、青（Ｂ）の光が撮像素子１３に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が撮像素子１３に撮像する被写体のデフォーカス量との差分は、撮像素子１３を入射光の光軸方向に駆動させない場合と比較して大きくなる。

図２１（ｂ）には、撮像素子１３に撮像された画像が被写体に対して後ピン状態である場合に、フォーカスレンズ１１を通過した入射光が被写体を撮像する際の撮像素子１３の位置を入射光の色成分ごとに異ならせている状態を示している。図２１（ｂ）に示すように、撮像素子１３に撮像された画像が被写体に対して後ピン状態である場合には、フォーカスレンズ１１を通過した入射光が撮像素子１３に撮像する被写体のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなる。

なお、本実施形態では、フォーカスレンズ１１を通過した入射光が被写体を撮像する際には、撮像素子１３がモータＭから伝達される駆動力に基づいて入射光の光軸方向に駆動される。そして、ＭＰＵ１６の合焦検出部２３は、撮像素子１３が入射光の光軸方向においてフォーカスレンズ１１に接近する方向に駆動されて第２位置（図２１（ｂ）では左側）に配置された状態で、フォーカスレンズ１１を通過した各色の入射光が撮像した被写体の画素信号のうち、赤色の画素信号を選択的に読み出す。そして、ＭＰＵ１６の合焦検出部２３は、読み出した赤色の画素信号を被写体のデフォーカス特徴量の算出に用いる。

この場合、赤（Ｒ）の光が撮像素子１３に撮像する被写体のデフォーカス量は、撮像素子１３を入射光の光軸方向に駆動させない場合よりも小さくなる。その結果、赤（Ｒ）の光が撮像素子１３に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が撮像素子１３に撮像する被写体のデフォーカス量との差分は、撮像素子１３を入射光の光軸方向に駆動させない場合と比較して大きくなる。

また、ＭＰＵ１６の合焦検出部２３は、撮像素子１３が入射光の光軸方向においてフォーカスレンズ１１から離間する方向に駆動されて第１位置（図２１（ｂ）では右側）に配置された状態で、フォーカスレンズ１１を通過した各色の入射光が撮像した被写体の画素信号のうち、青色の画素信号を選択的に読み出す。そして、ＭＰＵ１６の合焦検出部２３は、読み出した青色の画素信号を被写体のデフォーカス特徴量の算出に用いる。

この場合、青（Ｂ）の光が撮像素子１３に撮像する被写体のデフォーカス量は、撮像素子１３を入射光の光軸方向に駆動させない場合よりも大きくなる。その結果、青（Ｂ）の光が撮像素子１３に撮像する被写体のデフォーカス量と、緑（Ｇ）の光が撮像素子１３に撮像する被写体のデフォーカス量との差分は、撮像素子１３を入射光の光軸方向に駆動させない場合と比較して大きくなる。

したがって、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における赤（Ｒ）及び緑（Ｇ）、又は、青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

上記第３の実施形態によれば、上記第１の実施形態の効果（１）に加え、以下に示す効果（１１）を得ることができる。
（１１）相対的に長波長側の色成分の入射光が合焦状態の検出のために被写体のエッジを撮像する撮像素子１３の位置と、相対的に短波長側の色成分の入射光が合焦状態の検出のために被写体のエッジを撮像する撮像素子１３の位置とを互いに異ならせている。そのため、合焦状態を検出する際の比較対象となるエッジの色成分同士の色成分量の差を拡大させる構成を容易に実現することができる。

（第４の実施形態）
次に、第４の実施形態について説明する。なお、第４の実施形態は、撮像素子１３が複数の色成分の入射光を共通の撮像画素で電荷に変換する点が第１の実施形態と異なる。したがって、以下の説明においては、第１の実施形態と相違する構成について主に説明し、第１の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

図２２（ａ）〜（ｃ）には、複数の色成分の入射光を電荷に変換する白画素４０Ｗを撮像画素４０として備えた撮像素子１３の一例が示されている。
図２２（ａ）に示すように、比較例の撮像素子１３Ｒは、白画素４０Ｗが可視光の波長領域の光を選択的に透過するカラーフィルタ４２Ｗを有している。また、白画素４０Ｗは、光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲが三層に積層されている。そして、撮像素子１３に入射する入射光のうち、可視光の波長領域の光がマイクロレンズ４１Ｗによって光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲに集光される。すなわち、光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲに集光される光には、赤色、緑色、青色の色成分の光が含まれている。そして、各色の入射光は、各々が対応する層の光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲにおいて電荷に変換される。具体的には、青色の色成分の光が最上層の光電変換部４３ＷＢにおいて電荷に変換されるとともに、緑色の色成分の光が中間層の光電変換部４３ＷＧにおいて電荷に変換され、更には、赤色の色成分の光が最下層の光電変換部４３ＷＲにおいて電荷に変換される。

これに対し、本実施形態では、図２２（ｂ）に示す例の撮像素子１３Ａは、比較例の撮像素子１３と同様にして、白画素４０Ｗが可視光の波長領域の光を選択的に透過するカラーフィルタ４２Ｗを有するとともに、光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲが三層に積層されている。そして、各色の色成分の光は、各々が対応する層の光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲにおいて電荷に変換される。ただし、最上層の光電変換部４３ＷＢの厚みが、比較例の撮像素子１３Ｒの場合と比較して薄くなっている。

また、本実施形態では、図２２（ｃ）に示す例の撮像素子１３Ｂは、比較例の撮像素子１３Ｒと同様にして、白画素４０Ｗが可視光の波長領域の光を選択的に透過するカラーフィルタ４２Ｗを有するとともに、光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲが三層に積層されている。そして、各色の色成分の光は、各々が対応する層の光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲにおいて電荷に変換される。ただし、中間層の光電変換部４３ＷＧの厚みが、比較例の撮像素子１３Ｒの場合と比較して薄くなっている。

そして、図２３（ａ）には、比較例の撮像素子１３Ｒに撮像された画像が被写体に対して前ピン状態である場合に、マイクロレンズ４１Ｗを通過した各色の色成分の入射光が光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲに入射して被写体を撮像する状態が示されている。図２３（ａ）に示すように、比較例の撮像素子１３Ｒに撮像された画像が被写体に対して前ピン状態である場合には、マイクロレンズ４１Ｗを通過した光が色成分ごとに光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲに撮像する被写体のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなる。

これに対し、図２３（ｂ）に示すように、本実施形態では、図２２（ｂ）に示す例の撮像素子１３Ａは、青色の色成分の光が電荷に変換される最上層の光電変換部４３ＷＢの光電変換面が、比較例の撮像素子１３Ｒの場合と比較して、入射光の光軸方向における射出側（マイクロレンズ４１Ｗとは反対側）に位置している。そのため、青色の色成分の光が最上層の光電変換部４３ＷＢに撮像する被写体のデフォーカス量は、比較例の撮像素子１３Ｒの場合と比較して小さくなる。その結果、青（Ｂ）の光が最上層の光電変換部４３ＷＢに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が中間層の光電変換部４３ＷＧに撮像する被写体のデフォーカス量との差分は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。この場合、最上層の光電変換部４３ＷＢが撮像したエッジの近傍における青（Ｂ）の色成分量の正規化出力と、中間層の光電変換部４３ＷＧが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

また、図２３（ｃ）に示すように、本実施形態では、図２２（ｃ）に示す例の撮像素子１３Ｂは、赤色の色成分の光が電荷に変換される最下層の光電変換部４３ＷＲの光電変換面が、比較例の撮像素子１３Ｒの場合と比較して、入射光の光軸方向における入射側（マイクロレンズ４１Ｗ側）に位置している。そのため、赤色の色成分の光が最下層の光電変換部４３ＷＲに撮像する被写体のデフォーカス量は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。その結果、赤（Ｒ）の光が最下層の光電変換部４３ＷＲに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が中間層の光電変換部４３ＷＧに撮像する被写体のデフォーカス量との差分は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。この場合、最下層の光電変換部４３ＷＲが撮像したエッジの近傍における赤（Ｒ）の色成分量の正規化出力と、中間層の光電変換部４３ＷＧが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

図２４（ａ）には、比較例の撮像素子１３Ｒに撮像された画像が被写体に対して後ピン状態である場合に、マイクロレンズ４１Ｗを通過した各色の色成分の入射光が光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲに入射して被写体を撮像する状態が示されている。図２４（ａ）に示すように、比較例の撮像素子１３Ｒに撮像された画像が被写体に対して後ピン状態である場合には、マイクロレンズ４１Ｗを通過した光が色成分ごとに光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲに撮像する被写体のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなる。

これに対し、図２４（ｂ）に示すように、本実施形態では、図２２（ｂ）に示す例の撮像素子１３Ａは、青色の色成分の光が電荷に変換される最上層の光電変換部４３ＷＢの光電変換面が、比較例の撮像素子１３Ｒの場合と比較して、入射光の光軸方向における射出側（マイクロレンズ４１Ｗとは反対側）に位置している。そのため、青色の色成分の光が最上層の光電変換部４３ＷＢに撮像する被写体のデフォーカス量は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。その結果、青（Ｂ）の光が最上層の光電変換部４３ＷＢに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が中間層の光電変換部４３ＷＧに撮像する被写体のデフォーカス量との差分は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。この場合、最上層の光電変換部４３ＷＢが撮像したエッジの近傍における青（Ｂ）の色成分量の正規化出力と、中間層の光電変換部４３ＷＧが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

また、図２４（ｃ）に示すように、本実施形態では、図２２（ｃ）に示す例の撮像素子１３Ｂは、赤色の色成分の光が電荷に変換される最下層の光電変換部４３ＷＲの光電変換面が、比較例の撮像素子１３Ｒの場合と比較して、入射光の光軸方向における入射側（マイクロレンズ４１Ｗ側）に位置している。そのため、赤色の色成分の光が最下層の光電変換部４３ＷＲに撮像する被写体のデフォーカス量は、比較例の撮像素子１３Ｒの場合と比較して小さくなる。その結果、赤（Ｒ）の光が最下層の光電変換部４３ＷＲに撮像する被写体のデフォーカス量と、緑（Ｇ）の光が中間層の光電変換部４３ＷＧに撮像する被写体のデフォーカス量との差分は、比較例の撮像素子１３Ｒの場合と比較して大きくなる。この場合、最下層の光電変換部４３ＷＲが撮像したエッジの近傍における赤（Ｒ）の色成分量の正規化出力と、中間層の光電変換部４３ＷＧが撮像したエッジの近傍における緑（Ｇ）の色成分量の正規化出力との差分は、比較例の撮像素子１３の場合と比較して大きくなる。そのため、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

したがって、スルー画に含まれるエッジのデフォーカス量が僅少な場合であっても、かかるエッジの近傍における赤（Ｒ）及び緑（Ｇ）、又は、青（Ｂ）及び緑（Ｇ）の色成分量の正規化出力の差分が十分に確保される。

上記第４の実施形態によれば、上記第１の実施形態の効果（１）に加え、以下に示す効果（１２）を得ることができる。
（１２）相対的に長波長側の色成分の入射光が電荷に変換される光電変換面が、従来よりも入射光の光軸方向における入射側に位置している。また、相対的に短波長側の色成分の入射光が電荷に変換される光電変換面が、従来よりも入射光の光軸方向における射出側に位置している。そのため、合焦状態を検出する際の比較対象となるエッジの色成分同士の色成分量の差を拡大させる構成を容易に実現することができる。

なお、上記各実施形態は、以下のような別の実施形態に変更してもよい。
・上記第１の実施形態において、図２５（ａ）に示すように、凸画素４０ＲＡ及び凹画素４０ＢＡは、撮像素子１３の撮像画素４０のうち、中央及び上下左右の５つのエリアＲ１１〜Ｒ１５に位置する画素群に含まれてもよい。

・上記第１の実施形態において、図２５（ｂ）に示すように、凸画素４０ＲＡ及び凹画素４０ＢＡは、撮像素子１３の撮像面上に不規則に配置されてもよい。
この構成では、凸画素４０ＲＡ及び凹画素４０ＢＡによって撮像された画素信号を用いて撮影画像を生成したとしても、生成された撮影画像にモアレが生じることを抑制できる。

・上記第２の実施形態において、マイクロレンズ４１ＲＡを含む赤画素４０Ｒ、及び、マイクロレンズ４１ＢＡを含む青画素４０Ｂが、図２５（ａ）に示すエリアＲ１１〜Ｒ１５に位置する画素群に含まれてもよい。また、マイクロレンズ４１ＲＡを含む赤画素４０Ｒ、及び、マイクロレンズ４１ＢＡを含む青画素４０Ｂが、撮像素子１３の撮像面上に不規則に配置されてもよい。

・上記第４の実施形態において、撮像素子１３は、図２２（ａ）に示す白画素４０Ｗ、図２２（ｂ）に示す白画素４０Ｗ、及び、図２２（ｃ）に示す白画素４０Ｗの少なくとも一部の組み合わせを撮像画素４０として含む構成でもよい。この場合、図２２（ｂ）及び図２２（ｃ）に示す白画素４０Ｗは、一例として、図４に示すエリアＲ１〜Ｒ６に位置する画素群に含まれてもよいし、図２５（ａ）に示すエリアＲ１１〜Ｒ１５に位置する画素群に含まれてもよい。また、図２２（ｂ）及び図２２（ｃ）に示す白画素４０Ｗは、撮像素子１３の撮像面上に不規則に配置されてもよい。

・上記第１の実施形態において、撮像素子１３は、凹画素４０ＢＡの凹み量が必ずしも一律である必要はなく、相対的に凹み量が小さい凹画素４０ＢＡと、相対的に凹み量が大きい凹画素４０ＢＡとを含んで構成されてもよい。また同様に、撮像素子１３は、凸画素４０ＲＡの突出量が必ずしも一律である必要はなく、相対的に突出量が小さい凸画素４０ＲＡと、相対的に突出量が大きい凸画素４０ＲＡとを含んで構成されてもよい。

・上記第１の実施形態において、ＭＰＵ１６の画像生成部２４は、撮像素子１３に撮像されている被写体の輝度が所定の閾値以上である場合に、凹画素４０ＢＡが撮像した被写体の画素信号を用いることなく撮影画像を生成してもよい、これは、被写体の輝度が高いと、光強度の大きい入射光が入射してフレアやゴーストを発生した場合に、入射光が意図しない角度から撮像素子１３に入射することにより、凹画素４０ＢＡには凸画素４０ＲＡや平坦画素と比較して入射光が入射し難くなるためである。

・上記第１の実施形態において、ＭＰＵ１６の画像生成部２４は、凹画素４０ＢＡが撮像した被写体の画素信号を撮影画像に用いるか否かについて、判定処理を伴うことなく初期設定で予め設定してもよい。

・上記第１の実施形態において、ＭＰＵ１６の画像生成部２４は、凸画素４０ＲＡ又は凹画素４０ＢＡから読み出した画素信号に対して倍率補正処理を行うことなく、凸画素４０ＲＡ又は凹画素４０ＢＡから読み出した画素信号を用いて撮影画像を生成してもよい。

・上記第１の実施形態において、ＭＰＵ１６の画像生成部２４は、平坦画素から読み出した画素信号、及び、凸画素４０ＲＡ又は凹画素４０ＢＡから読み出した画素信号に対し、共通のシェーディング係数を用いてシェーディング補正処理を行ってもよい。

・上記第１の実施形態において、ＭＰＵ１６の画像生成部２４は、凸画素４０ＲＡ又は凹画素４０ＢＡから画素信号を読み出すことなく、平坦画素から読み出した画素信号に基づいて生成されたフレーム画像によりスルー画を構成してもよい。そして、ＭＰＵ１６の表示制御部２５は、凸画素４０ＲＡ又は凹画素４０ＢＡから読み出した画素信号を用いて生成されるフレーム画像を含まないスルー画をモニタ２１に表示させてもよい。

この場合、ＭＰＵ１６の画像生成部２４は、まず、モニタ２１に表示されるスルー画とは別に、凸画素４０ＲＡ又は凹画素４０ＢＡを含む撮像画素４０から読み出した画素信号に基づいて評価用画像を生成する。続いて、ＭＰＵ１６の合焦検出部２３は、評価用画像から検出したエッジにおける軸上色収差の評価値を算出する。その結果、ＭＰＵ１６の合焦検出部２３は、算出された評価値に基づいて、評価用画像におけるエッジのデフォーカス特徴量をスルー画におけるエッジのデフォーカス特徴量として算出することができる。

・上記第１の実施形態において、撮像素子１３は、凸画素４０ＲＡ及び凹画素４０ＢＡの一方のみを撮像画素４０として有する構成であってもよい。
・上記第２の実施形態において、撮像素子１３は、撮像画素４０を構成する赤画素４０Ｒとして凸画素４０ＲＡを含むとともに、撮像画素４０を構成する青画素４０Ｂとして凹画素４０ＢＡを含んだ構成であってもよい。そして、凸画素４０ＲＡのマイクロレンズ４１Ｒが、他の赤画素４０Ｒのマイクロレンズ４１Ｒよりもレンズ面の曲率が小さい構成であってもよい。また、凹画素４０ＢＡのマイクロレンズ４１Ｂが、他の青画素４０Ｂのマイクロレンズ４１Ｂよりもレンズ面の曲率が大きい構成であってもよい。

・上記第３の実施形態において、撮像素子１３は、撮像画素４０を構成する赤画素４０Ｒとして凸画素４０ＲＡを含むとともに、撮像画素４０を構成する青画素４０Ｂとして凹画素４０ＢＡを含んだ構成であってもよい。

・上記第３の実施形態において、撮像素子１３は、入射光の光軸方向において互いに異なる複数の位置で、フォーカスレンズ１１を通過した全ての色成分（赤、緑、青）の入射光が撮像した被写体の画素信号が読み出される構成であってもよい。

この場合、撮像素子１３が入射光の光軸方向におけるフォーカスレンズ１１側となる第２位置に配置されたときには、撮像素子１３から読み出された被写体の画素信号のうち、赤の画素信号が被写体のデフォーカス特徴量の算出に用いられる。また、撮像素子１３が第２位置を起点として入射光の光軸方向においてフォーカスレンズ１１とは反対側に駆動されたときには、撮像素子１３から読み出された被写体の画素信号のうち、緑の画素信号が被写体のデフォーカス特徴量の算出に用いられる。また、撮像素子１３が入射光の光軸方向においてフォーカスレンズ１１とは反対側に更に駆動されたときには、撮像素子１３から読み出された被写体の画素信号のうち、青の画素信号が被写体のデフォーカス特徴量の算出に用いられる。

・上記第１〜第３の実施形態において、撮像素子１３は、緑色（Ｇ）、黄色（Ｙ）、マゼンダ色（Ｍ）及びシアン色（Ｃ）の色成分の光をそれぞれ選択的に透過させる補色フィルタを備えた構成であってもよい。また、撮像素子１３は、赤外線領域の波長領域の光を選択的に透過させるフィルタを備えた構成であってもよい。

・上記第４の実施形態において、撮像素子１３Ａ，１３Ｂは、カラーフィルタ４２Ｗを含むことなくマイクロレンズ４１Ｗと三層に積層された光電変換部４３ＷＢ，４３ＷＧ，４３ＷＲとによって構成される黒画素を、白画素４０Ｗに代えて有する構成であってもよい。

・上記各実施形態において、画像の撮像のために設けられる撮像素子１３，１３Ａ，１３Ｂとは別に、ＡＦ用のセンサとして、各実施形態の撮像素子１３，１３Ａ，１３Ｂを新たに設けてもよい。

・上記各実施形態において、ＭＰＵ１６の合焦検出部２３は、動画の撮影時において、動画から検出されたエッジのデフォーカス特徴量を算出してもよい。
・上記各実施形態において、撮像装置は、デジタルカメラに限定されず、例えば、ビデオカメラ、パーソナルコンピュータ、携帯電話機、携帯ゲーム機等のように、画像の撮影機能を搭載した他の撮像装置であってもよい。

１０…撮像装置の一例としてのデジタルカメラ、１１…レンズの一例としてのフォーカスレンズ、１３，１３Ａ，１３Ｂ…撮像素子、２１…表示部の一例としてのモニタ、２２…エッジ検出部、２３…合焦検出部、２４…画像生成部、２５…表示制御部、４０…撮像画素、４０ＲＡ…第１撮像画素の一例としての凸画素、４０ＢＡ…第２撮像画素の一例としての凹画素、４１…集光レンズの一例としてのマイクロレンズ、４３…光電変換部、Ｆ，Ｆ１，Ｆ２…フレーム画像、Ｍ…素子駆動部の一例としてのモータ。

Claims (9)

1. レンズからの光が入射され、被写体を撮像する撮像素子と、
   前記撮像素子で撮像された前記被写体のエッジを色成分ごとに検出するエッジ検出部と、
   前記エッジ検出部が検出した前記エッジにおける色成分同士の色成分量の差又は比に基づいて、前記被写体のエッジの合焦状態を検出する合焦検出部と
   を備え、
   前記撮像素子は、相対的に長波長側の色成分の光が入射される第１光電変換部と、相対的に短波長側の色成分の光が入射される第２光電変換部と、を有し、
   前記第１光電変換部は、前記撮像素子において前記第２光電変換部よりも前記レンズ側に配置されることを特徴とする撮像装置。
2. 前記第１光電変換部は、前記撮像素子において前記レンズ側に突出して配置され、
   前記第２光電変換部は、前記撮像素子において前記レンズとは反対側に窪んで配置される請求項１に記載の撮像装置。
3. 前記第１光電変換部及び前記第２光電変換部のうち少なくとも一方の光電変換部の電荷に基づく画像データを用いて画像を生成する画像生成部を更に備えたことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記画像生成部は、前記第２光電変換部の電荷に基づく画像データに対し、前記第１光電変換部の電荷に基づく画像データとは異なるシェーディング係数を用いたシェーディング補正処理を行うことを特徴とする請求項３に記載の撮像装置。
5. 前記画像生成部は、前記画像データに対して倍率補正処理を行うことを特徴とする請求項３又は請求項４に記載の撮像装置。
6. 前記画像データの画像を表示部に表示させる表示制御部を更に備えたことを特徴とする請求項３〜請求項５のうち何れか一項に記載の撮像装置。
7. 前記画像はスルー画又は動画であることを特徴とする請求項６に記載の撮像装置。
8. 前記第１光電変換部及び前記第２光電変換部のうち少なくとも一方の光電変換部は、前記撮像素子において不規則に配置されていることを特徴とする請求項１〜請求項７のうち何れか一項に記載の撮像装置。
9. 前記撮像素子は、前記レンズからの光が入射される第１集光レンズ及び第２集光レンズを有し、
   前記第１光電変換部は、前記第１集光レンズからの光を電荷に変換し、
   前記第２光電変換部は、前記第２集光レンズからの光を電荷に変換することを特徴とする請求項１〜請求項８のうち何れか一項に記載の撮像装置。

Images