JP6467824B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来から、画像から色成分ごとに検出された被写体のエッジの色成分量に基づいて被写体のエッジの合焦状態を検出し、その検出結果に基づいて焦点調節を行う焦点調節装置が知られている（例えば、特許文献１参照）。

特開２０１１−１８６４５２号公報

しかしながら、従来の焦点調節装置では、撮像素子が撮像した画像に対して色補間処理が行われることにより、被写体のエッジにおける各色成分の色成分量に誤差が生じる。そのため、このような色成分量に基づいてエッジの合焦状態を正確に検出することができないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、被写体のエッジの合焦状態を正確に検出することができる撮像装置を提供することにある。

上記課題を解決する撮像装置は、レンズを通じて入射される複数の色成分の入射光が共通で電荷に変換される共通画素を有する撮像素子と、前記入射光によって前記撮像素子の前記共通画素に撮像される被写体のエッジを色成分ごとに検出するエッジ検出部と、前記エッジ検出部が検出した前記エッジの色成分量に基づいて、前記被写体の前記エッジの合焦状態を検出する合焦検出部と、を備え、前記共通画素は、赤色の色成分の光を電荷に変換する第１光電変換部と、緑色の色成分の光を電荷に変換する第２光電変換部と、青色の色成分の光を電荷に変換する第３光電変換部と、を有し、前記第１光電変換部、前記第２光電変換部及び前記第３光電変換部は、前記レンズの光軸方向において積層されていることを特徴とする。

また、上記撮像装置は、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像データを用いて撮影画像を生成する画像生成部を更に備えることが好ましい。
また、上記撮像装置において、前記画像生成部は、前記共通画素で撮像された画像データの色成分量と、前記撮像素子における前記共通画素の周辺のカラー画素で撮像された画像データの色成分量との差が閾値未満である場合に、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像データを用いて前記撮影画像を生成することが好ましい。

また、上記撮像装置において、前記画像生成部は、前記共通画素で撮像された画像データの輝度が閾値未満である場合に、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像データを用いて前記撮影画像を生成することが好ましい。

また、上記撮像装置において、前記画像生成部は、前記共通画素が撮像した画像データに対し、前記撮像素子における他の撮像画素が撮像した画像データとは異なる画像処理を行った上で前記撮影画像を生成することが好ましい。

また、上記撮像装置において、前記画像生成部は、前記共通画素で撮像された画像データの色成分量に対し、前記撮像素子における他の撮像画素が撮像した画像データの色成分量とは異なる変換係数を用いた色座標変換処理を行った上で前記撮影画像を生成することが好ましい。

また、上記撮像装置において、前記共通画素は、二次元的に配置された前記撮像素子の撮像面上に不規則に配置されていることが好ましい。
また、上記撮像装置は、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像を表示画像として表示部に表示させる表示制御部を更に備えることが好ましい。

また、上記撮像装置において、前記表示画像はスルー画又は動画であって、前記表示制御部は、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像を時系列的に連続したフレーム画像として含む前記表示画像を前記表示部に表示させることが好ましい。

また、上記撮像装置において、前記表示制御部は、前記撮像素子における前記共通画素及び他の撮像画素の双方が撮像した画像を前記フレーム画像として含む前記表示画像を前記表示部に表示させることが好ましい。

また、上記撮像装置において、前記合焦検出部は、前記共通画素で撮像されたエッジの色成分量と、前記撮像素子における他の撮像画素で撮像された同エッジの色成分量とに基づいて、前記被写体の前記エッジの合焦状態を検出することが好ましい。

本発明によれば、被写体のエッジの合焦状態を正確に検出することができる。

一実施形態のデジタルカメラのブロック図。 （ａ）は、撮像素子における撮像画素の配列を示す模式図、（ｂ）は、撮像素子を光軸方向に切断した断面構造を示す模式図、（ｃ）は、撮像素子の撮像面のうち、白画素を含む画素群が配置されるエリアを示す模式図。 （ａ）は、撮像素子に撮像された画像が被写体の位置よりも近点側で合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図、（ｂ）は、撮像素子に撮像された画像が被写体の位置よりも遠点側で合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図。 フォーカスレンズに入射された入射光の色成分ごとの焦点の光軸方向における位置関係を示す模式図。 被写体からフォーカスレンズを通じて撮像素子に入射される入射光の色成分ごとの位置関係を示す模式図であって、（ａ）は、撮像素子に撮像された画像が被写体に対して前ピン状態にある場合の模式図、（ｂ）は、撮像素子に撮像された画像が被写体に対して後ピン状態にある場合の模式図。 撮像素子に撮像された画像の一例を示す模式図。 エッジの近傍における色成分ごとの色成分量の正規化出力を示すグラフであって、（ａ）は、撮像素子に撮像された画像が被写体のエッジに対して前ピン状態にある場合のグラフ、（ｂ）は、撮像素子に撮像された画像が被写体のエッジに対して後ピン状態にある場合のグラフ。 エッジの近傍における色成分ごとの色成分量の正規化出力を示すグラフであって、（ａ）は、撮像素子に撮像された画像が被写体のエッジに対して前ピン状態又は後ピン状態にある場合の赤の光と緑の光の色成分量の正規化出力を示すグラフ、（ｂ）は、撮像素子に撮像された画像が被写体のエッジに対して前ピン状態又は後ピン状態にある場合の青の光と緑の光の色成分量の正規化出力を示すグラフ。 画像処理エンジンが実行する画像生成処理ルーチンのフローチャート。 （ａ）〜（ｃ）は、スルー画におけるフレーム画像の構成態様の一例を示す模式図。 （ａ）は、エッジのうちカラー画素又は白画素が撮像した画像部分の色成分量に基づいてそれぞれ算出されるエッジの近傍における緑の色成分量の正規化出力を示すグラフ、（ｂ）は、位相合わせが行われることにより算出されるエッジの近傍における緑の色成分量の正規化出力を示すグラフ。 （ａ）、（ｂ）は、別の実施形態における撮像素子の撮像面のうち、白画素を含む画素群が配置されるエリアを示す模式図。

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、撮像装置の一種であるデジタルカメラ（以下、「カメラ１０」という）は、焦点調節のためのフォーカスレンズ１１などの複数のレンズからなるレンズ部１２（図１ではフォーカスレンズ１１のみ図示）と、レンズ部１２を通過した光をレンズ部１２の像空間側において結像させて撮像する撮像素子１３とを備えている。なお、撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型、又は、ＣＣＤ（Charge Coupled Device）型のイメージセンサからなる。

撮像素子１３の出力側には、画像処理エンジン１４がＡ／Ｄ変換回路１５を介して接続されている。そして、撮像素子１３からアナログ信号として出力される画素信号は、Ａ／Ｄ変換回路１５においてデジタル信号に変換された後に画像処理エンジン１４に入力される。

画像処理エンジン１４は、カメラ１０の各種の動作を統括的に制御するＭＰＵ１６（Micro Processing Unit）を備えている。そして、ＭＰＵ１６は、撮像素子１３から読み出した画素信号に対し、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を施すことにより所定の画像を生成する。

画像処理エンジン１４には、データバス１７を介して不揮発性メモリ１８、バッファメモリ１９、インターフェース部（以下、「Ｉ／Ｆ部２０」という）、及び、表示部の一例としてのモニタ２１が接続されている。

不揮発性メモリ１８は、画像処理エンジン１４を動作させるためにＭＰＵ１６が実行するプログラムを格納している。なお、本実施形態では、不揮発性メモリ１８は、図９にフローチャートで示す画像生成処理プログラムなどを格納している。そして、ＭＰＵ１６は、不揮発性メモリ１８に格納された画像生成処理プログラムを実行することにより、エッジ検出部２４、合焦検出部２５、画像生成部２６及び表示制御部２７として機能する。

バッファメモリ１９は、例えば、撮影画像、画像処理過程の画像、画像処理後の画像及び画像圧縮後の画像などを一時的に格納している。
Ｉ／Ｆ部２０は、メモリカード３０が着脱自在に装着されるカードスロット（図示略）を有している。そして、Ｉ／Ｆ部２０は、画像処理エンジン１４によって生成された画像をＩ／Ｆ部２０に装着されたメモリカード３０に出力したり、メモリカード３０に格納されている画像を画像処理エンジン１４に出力したりする機能を有している。

モニタ２１には、バッファメモリ１９に一時的に格納されている画像や、Ｉ／Ｆ部２０に装着されたメモリカード３０に格納されている画像が画像処理エンジン１４によって出力されて表示される。

また、画像処理エンジン１４には、レリーズボタン３１及び操作部３２が接続されている。レリーズボタン３１は、半押し操作又は全押し操作がなされた際に操作信号を画像処理エンジン１４に入力する。操作部３２は、メニューボタン、セレクトボタン、決定ボタン及び電源ボタン等により構成されており、押圧操作がなされた際に操作信号を画像処理エンジン１４に入力する。

次に、撮像素子１３の構成について詳細に説明する。
図２（ａ）及び図２（ｂ）に示すように、撮像素子１３は、撮像面上に二次元的に配列された撮像画素４０を有している。撮像画素４０は、マイクロレンズ４１、カラーフィルタ４２及び光電変換部４３によって構成されている。また、撮像画素４０は、赤画素４０Ｒ（Ｒ）、緑画素４０Ｇ（Ｇ）、青画素４０Ｂ（Ｂ）及び白画素４０Ｗ（Ｗ）を含んでいる。

赤画素４０Ｒは、赤色の波長領域の光を選択的に透過するカラーフィルタ（図示略）を有している。そして、撮像素子１３に入射する入射光Ｌ１のうち、カラーフィルタを透過した赤色の色成分の光がマイクロレンズ（図示略）によって光電変換部（図示略）に集光され、光電変換部において電荷に変換される。

緑画素４０Ｇは、緑色の波長領域の光を選択的に透過するカラーフィルタ４２Ｇを有している。そして、撮像素子１３に入射する入射光Ｌ１のうち、カラーフィルタ４２Ｇを透過した緑色の色成分の光がマイクロレンズ４１Ｇによって光電変換部４３Ｇに集光され、光電変換部４３Ｇにおいて電荷に変換される。

青画素４０Ｂは、青色の波長領域の光を選択的に透過するカラーフィルタ４２Ｂを有している。そして、撮像素子１３に入射する入射光Ｌ１のうち、カラーフィルタ４２Ｂを透過した青色の色成分の光がマイクロレンズ４１Ｂによって光電変換部４３Ｂに集光され、光電変換部４３Ｂにおいて電荷に変換される。

白画素４０Ｗは、可視光の波長領域の光を選択的に透過するカラーフィルタ４２Ｗを有している。また、白画素４０Ｗは、光電変換部４３Ｗが三層に積層されている。そして、撮像素子１３に入射する入射光Ｌ１のうち、可視光の波長領域の光がマイクロレンズ４１Ｗによって光電変換部４３Ｗに集光される。すなわち、光電変換部４３Ｗに集光される光には、赤色、緑色、青色の色成分の光が含まれている。そして、各色の色成分の光は、各々が対応する層の光電変換部４３Ｗにおいて電荷に変換される。そのため、白画素４０Ｗは、複数の色成分の光が共通で電荷に変換される共通画素として機能する。

なお、図２（ｂ）に示すように、本実施形態では、青色の色成分の光が最上層の光電変換部４３ＷＢにおいて電荷に変換されるとともに、緑色の色成分の光が中間層の光電変換部４３ＷＧにおいて電荷に変換され、更には、赤色の色成分の光が最下層の光電変換部４３ＷＲにおいて電荷に変換される。

そして、撮像素子１３には、全体として、赤画素４０Ｒ、緑画素４０Ｇ及び青画素４０Ｂからなるカラー画素４０Ｒ，４０Ｇ，４０Ｂがベイヤー配列（Bayer Arrangement）の配列パターンによって配列されている。すなわち、隣接する正方格子状の四つの画素群において一方の対角線上に二つの緑画素４０Ｇが配列され、他方の対角線上に赤画素４０Ｒ及び青画素４０Ｂが一つずつ配列されている。そして、正方格子状の画素群を基本単位として、該画素群が二次元上に繰り返し配列されることで撮像素子１３が構成されている。なお、本実施形態では、撮像素子１３を構成する画素群のうち一部の画素群については、１つの緑画素４０Ｇに代えて白画素４０Ｗが配列されている。具体的には、撮像素子１３の撮像面の縦方向及び横方向においてそれぞれ二つの画素群おきに、一つの緑画素４０Ｇに代えて白画素４０Ｗが配列されている。

この場合、図２（ｃ）に示すように、本実施形態では、白画素４０Ｗは、撮像素子１３の撮像画素４０のうち、撮像面上における縦方向に間隔を隔てた６つのエリアＲ１〜Ｒ６に位置する画素群に含まれている。また、これらのエリアＲ１〜Ｒ６は、撮像素子１３の撮像面上における横方向の略全域に亘って直線的に延びている。

なお、撮像素子１３は、上記のカラー画素４０Ｒ，４０Ｇ，４０Ｂがベイヤー配列以外の他の任意の配列パターンで配列された構成であってもよい。また、撮像素子１３は、緑色（Ｇ）、黄色（Ｙ）、マゼンダ色（Ｍ）及びシアン色（Ｃ）の色成分の光をそれぞれ選択的に透過させる補色フィルタを備えた構成であってもよい。

次に、画像処理エンジン１４が画像から検出された被写体のエッジにおける軸上色収差の色ずれを解析することにより、被写体のエッジの合焦状態を検出する原理の概要を説明する。

図３（ａ）には、撮像素子１３に撮像された画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、撮像素子１３に撮像された画像が被写体Ｓの位置よりも近点側で合焦している状態（以下、「前ピン状態」という）が一点鎖線で示されている。図３（ａ）に示すように、前ピン状態においては、被写体から射出される光がフォーカスレンズ１１を通過して合焦する位置が撮像素子１３よりも撮影者側（図３（ａ）では右側）に位置する。

一方、図３（ｂ）には、撮像素子１３に撮像された画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、撮像素子１３に撮像された画像が被写体Ｓの位置よりも遠点側で合焦している状態（以下、「後ピン状態」という）が一点鎖線で示されている。図３（ｂ）に示すように、後ピン状態においては、被写体から射出される光がフォーカスレンズ１１を通過して合焦する位置が撮像素子１３よりもフォーカスレンズ１１側（図３（ｂ）では左側）に位置する。

図４には、被写体から射出された光がフォーカスレンズ１１を通過する際に生じる軸上色収差の様子が示されている。図４に示すように、フォーカスレンズ１１を通過した光には波長の違いによって軸上色収差が生じるため、光の色成分ごとに焦点位置がずれる。具体的には、フォーカスレンズ１１は、光の波長が短いほど光の屈折率が大きいため、青（B）の光、緑（B）の光、赤（R）の光の順に、フォーカスレンズ１１を通過する際の屈折率が次第に小さくなり、フォーカスレンズ１１を通過して合焦する焦点位置がフォーカスレンズ１１から次第に遠くなる。そして、このような軸上色収差による色ずれを解析することにより、被写体のデフォーカス特徴量が被写体の合焦状態として算出（検出）される。

ここで、デフォーカス特徴量は、方向指標と、デフォーカス量を含んで構成されている。方向指標とは、撮像素子１３に撮像された画像が被写体に対して前ピン状態又は後ピン状態にあることを示す指標である。そして、方向指標及びデフォーカス量を算出するための評価値の一例としては、Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ（以下、「Ｅｄ」という）が挙げられる。

次に、被写体における方向指標及びデフォーカス量をＥｄを用いて算出する原理の概要を説明する。
図５（ａ）に示すように、撮像素子１３に撮像された画像が被写体に対して前ピン状態にある場合には、被写体から射出された光は、フォーカスレンズ１１を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１３に導かれる。この場合、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなる。

一方、図５（ｂ）に示すように、撮像素子１３に撮像された画像が被写体に対して後ピン状態にある場合には、被写体から射出された光は、フォーカスレンズ１１を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１３に導かれる。この場合、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなる。

すなわち、撮像素子１３に撮像された画像が被写体に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量の大小関係は異なるものとなる。

図６には、撮像素子１３に撮像される画像における被写体の一例として白黒チャートＳ１が示されている。また、図６では、横方向にＸ座標、縦方向にＹ座標が設定されており、Ｘ＝ｑの位置に位置する白黒チャートＳ１のエッジＥがデフォーカス特徴量の算出対象として設定されている。

この場合、まず、エッジＥを横切る方向（図６ではＸ方向）においてＲＧＢごとの画素値が取得される。このとき、１ピクセル行だけの画素値が取得されると、その１ピクセル行がノイズを含んでいる場合に誤った画素値が取得される虞がある。そのため、本実施形態では、以下の式（１）〜（３）に示すように、１ピクセル行の画素値がＹ方向にｎピクセル幅に亘ってｎ本積算され、その積算値がｎで除算された平均値が、ｘ＝ｑに位置するエッジＥが横切るＲＧＢごとの画素値として取得される。

ここで、ｒ（ｘ，ｋ）、ｇ（ｘ，ｋ）、ｂ（ｘ，ｋ）は、ｙ方向のｎピクセル幅におけるｎ本（ｋ＝１，２，…，ｎ）の１ピクセル行のＲ画素値、Ｇ画素値、Ｂ画素値をそれぞれ示している。ただし、ｘは、図６に示す例ではＸ＝ｑを含む所定範囲（例えば、ｑ−Ｑ／２≦ｘ≦ｑ＋Ｑ／２）を変域とする値を示している。

続いて、以下の式（４）〜（６）に示すように、ｒ＿ａｖｅ（ｘ）、ｇ＿ａｖｅ（ｘ）、ｂ＿ａｖｅ（ｘ）について、各々の最大値及び最小値を用いて正規化することにより、各々の正規化出力が算出される。

ここで、ｘｍｉｎは、エッジＥの検出対象領域ＥＡ内で画素値が最小（図６に示す例では黒領域）となるＸ座標値を示し、ｘｍａｘは、エッジＥの検出対象領域ＥＡ内で画素値が最大（図６に示す例では白領域）となるＸ座標値を示している。

図７（ａ）には、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態である場合の、白黒チャートＳ１のエッジＥの近傍における各色成分の色成分量の正規化出力が示されている。図７（ａ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態である場合には、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の順に、白黒チャートＳ１のエッジＥにおける色成分量の勾配が次第に緩やかとなる。これは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥのデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなるためである。

一方、図７（ｂ）には、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態である場合の、白黒チャートＳ１のエッジＥの近傍における各色成分の色成分量の正規化出力が示されている。図７（ｂ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態である場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の順に、白黒チャートＳ１のエッジＥにおける色成分量の勾配が次第に緩やかとなる。これは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥのデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなるためである。

すなわち、図８（ａ）に示すように、白黒チャートＳ１のエッジＥの近傍における各色成分量の勾配は、以下のようになる。撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。これに対し、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。そのため、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、白黒チャートＳ１のエッジＥにおける赤（Ｒ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＲＧ」という）を閾値と比較することにより、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（７）、（８）に基づいて判定される。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ１に亘って加算した総和を示している。そして、その総和を区間Δ１の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ１は、図８（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（７）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態であることを示している。一方、式（８）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥのデフォーカス量を示している。

なお、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（９）、（１０）に基づいて判定されてもよい。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ２に亘って加算した総和を示している。そして、その総和を区間Δ２の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ２は、図８（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（９）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態であることを示している。一方、式（１０）が成立する場合には、ＥｄＲＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥのデフォーカス量を示している。

以上のように、上記の式（７）〜（１０）では、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との比を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との差を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

また同様に、図８（ｂ）に示すように、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。これに対し、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。そのため、撮像素子１３に撮像された画像が前ピン状態及び後ピン状態のうち何れの状態にあるかに応じて、白黒チャートＳ１のエッジＥにおける青（Ｂ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、青（Ｂ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＢＧ」という）を閾値と比較することにより、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１１）、（１２）に基づいて判定される。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ３に亘って加算した総和を示している。そして、その総和を区間Δ３の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ３は、図８（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１１）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態であることを示している。一方、式（１２）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥのデフォーカス量を示している。

なお、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１３）、（１４）に基づいて判定されてもよい。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ４に亘って加算した総和を示している。そして、その総和を区間Δ４の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ４は、図８（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１３）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して後ピン状態であることを示している。一方、式（１４）が成立する場合には、ＥｄＢＧは、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、撮像素子１３に撮像された画像における白黒チャートＳ１のエッジＥのデフォーカス量を示している。

以上のように、上記の式（１１）〜（１４）では、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との比を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との差を用いて、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

なお、撮像素子１３に撮像された画像が白黒チャートＳ１のエッジＥに対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定するための評価値としては、Ｅｄに代えて、デフォーカス量参照値（Width of Subtraction）や線広がり関数（Line Spread Function）を採用してもよい。

次に、本実施形態の画像処理エンジン１４のＭＰＵ１６が実行する画像生成処理ルーチンの概要を図９のフローチャートを参照しながら説明する。
さて、ＭＰＵ１６は、カメラ１０が電源ＯＮ状態となると、図９に示す画像生成処理ルーチンを開始する。そして、ステップＳ１０において、ＭＰＵ１６は、撮像素子１３から画素信号を読み出してスルー画を生成する。

具体的には、図１０（ａ）に示すように、ＭＰＵ１６は、撮像素子１３の全ての画素となるカラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗから読み出した画素信号に基づいてフレーム画像Ｆを生成し、生成したフレーム画像Ｆを時系列順につなぎ合わせてスルー画を生成する。そして、ＭＰＵ１６の表示制御部２７は、生成したスルー画を撮像素子１３に撮像された画像としてモニタ２１に表示させる。

この場合、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂは、赤、緑、青のうち何れ一つの色成分の色成分量しか検出することができない。具体的には、赤画素４０Ｒ、緑画素４０Ｇ及び青画素４０Ｂは、赤、緑及び青の色成分量しかそれぞれ検出することができない。そのため、ＭＰＵ１６は、カラー画素４０Ｒ，４０Ｇ，４０Ｂから画素信号を読み出す際には、各々のカラー画素４０Ｒ，４０Ｇ，４０Ｂにおいて検出されない他の色成分の色成分量を、その周辺のカラー画素４０Ｒ，４０Ｇ，４０Ｂにおいて検出された他の色成分の色成分量から推定して読み出す色補間処理を行う。

一方、撮像素子１３の白画素４０Ｗは、赤、緑、青の全ての色成分の色成分量を検出することができる。そのため、ＭＰＵ１６は、白画素４０Ｗから画素信号を読み出す際には、上記の色補間処理を行うことがないため、各々の色成分の色成分量に誤差を生じることが抑制される。

なお、図１０（ａ）に示す例では、フレーム画像Ｆのフレームレートｆが「３０」に設定されている。ここで、フレームレートとは、スルー画において単位時間当たりに含まれるフレーム画像Ｆの枚数を意味している。すなわち、フレームレートは、スルー画における一つのフレーム画像Ｆごとの時間の長さを示す指標でもあり、フレームレートが大きくなるに連れてスルー画におけるフレーム画像Ｆごとの時間の長さが短くなる。

また、図１０（ｂ）に示すように、ＭＰＵ１６は、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に基づいて生成される第１フレーム画像Ｆ１と、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗから読み出した画素信号に基づいて生成される第２フレーム画像Ｆ２とを時系列的に交互につなぎ合わせてスルー画を生成してもよい。この場合、ＭＰＵ１６は、撮像素子１３の全ての画素のうち、間引き読み出し処理によってカラー画素４０Ｒ，４０Ｇ，４０Ｂから選択的に画素信号を読み出すことにより第１フレーム画像Ｆ１を生成してもよい。なお、図１０（ｂ）に示す例では、第１フレーム画像Ｆ１及び第２フレーム画像Ｆ２の双方のフレームレートｆが「６０」に設定されている。また、ＭＰＵ１６は、撮像素子１３の全ての撮像画素から画素信号を読み出すものの、読み出した画素信号のうちカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号のみを用いて第１フレーム画像Ｆ１を生成してもよい。

また、図１０（ｃ）に示すように、ＭＰＵ１６は、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に基づいて生成される第３フレーム画像Ｆ３と、撮像素子１３の白画素４０Ｗから読み出した画素信号に基づいて生成される第４フレーム画像Ｆ４とを時系列的に交互につなぎ合わせてスルー画を生成してもよい。この場合、ＭＰＵ１６は、撮像素子１３の全ての画素のうち、間引き読み出し処理によってカラー画素４０Ｒ，４０Ｇ，４０Ｂから選択的に画素信号を読み出すことにより第３フレーム画像Ｆ３を生成してもよい。また同様に、ＭＰＵ１６は、撮像素子１３の全ての画素のうち、間引き読み出し処理によって白画素４０Ｗから選択的に画素信号を読み出すことにより第４フレーム画像Ｆ４を生成してもよい。

なお、図１０（ｃ）に示す例では、第３フレーム画像Ｆ３のフレームレートが「３０」に設定される一方で、第４フレーム画像Ｆ４のフレームレートが「１２０」に設定されている。ここで、第４フレーム画像Ｆ４のフレームレートが第３フレーム画像Ｆ３のフレームレートよりも高く設定されているのは以下のような理由による。すなわち、第４フレーム画像Ｆ４が生成される際には、撮像素子１３の全ての撮像画素４０のうち白画素４０Ｗから選択的に画素信号が読み出される。そのため、撮像素子１３の全ての撮像画素から画素信号が読み出される場合や、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂから選択的に画素信号が読み出される場合と比較して、画素信号が読み出される対象となる画素数が相対的に少なくなる。その結果、撮像素子１３の白画素４０Ｗから迅速に画素信号を読み出すことが可能となるため、第４フレーム画像Ｆ４のフレームレートを第３フレーム画像Ｆ３のフレームレートよりも相対的に高く設定することが可能となっている。

なお、ＭＰＵ１６は、撮像素子１３の全ての画素から画素信号を読み出すものの、読み出した画素信号のうちカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号のみを用いて第３フレーム画像Ｆ３を生成してもよい。また同様に、ＭＰＵ１６は、撮像素子１３の全ての撮像画素から画素信号を読み出すものの、読み出した画素信号のうち白画素４０Ｗから読み出した画素信号のみを用いて第４フレーム画像Ｆ４を生成してもよい。

そして次に、ステップＳ１１において、ＭＰＵ１６のエッジ検出部２４は、先のステップＳ１０において生成したスルー画を微分フィルタによってスキャン（例えば、ラスタースキャン）する。その結果、スルー画における明度、彩度及び色相等の特徴量が算出される。そして、ＭＰＵ１６のエッジ検出部２４は、算出された特徴量が大きい部分を軸上色収差の評価に適したエッジとして検出する。

続いて、ステップＳ１２において、ＭＰＵ１６は、先のステップＳ１１において検出されたエッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ１を算出する。なお、図１１（ａ）に示す例では、エッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分の色成分量に基づいて、エッジの近傍における緑（Ｇ）の色成分量の正規化出力Ｅ１が算出されている。

また、ステップＳ１３において、ＭＰＵ１６は、先のステップＳ１１において検出されたエッジのうち白画素４０Ｗが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ２を算出する。なお、図１１（ａ）に示す例では、エッジのうち白画素４０Ｗが撮像した画像部分の色成分量に基づいて、エッジの近傍における緑（Ｇ）の色成分量の正規化出力Ｅ２が算出されている。

より具体的には、上記のステップＳ１２及びステップＳ１３において、ＭＰＵ１６は、以下のような処理を行う。
すなわち、スルー画が図１０（ａ）に示す例の場合には、ＭＰＵ１６のエッジ検出部２４は、まず、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗから読み出した画素信号に基づいて生成したフレーム画像Ｆを微分フィルタによってスキャンすることによりエッジを検出する。そして、ＭＰＵ１６は、フレーム画像Ｆから検出したエッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ１を算出する。また、ＭＰＵ１６は、フレーム画像Ｆから検出したエッジのうち白画素４０Ｗが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ２を算出する。

また、スルー画が図１０（ｂ）に示す例の場合には、ＭＰＵ１６のエッジ検出部２４は、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗから読み出した画素信号に基づいて生成した第２フレーム画像Ｆ２を微分フィルタによってスキャンすることによりエッジを検出する。そして、ＭＰＵ１６は、第２フレーム画像Ｆ２から検出したエッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ１を算出する。また、ＭＰＵ１６は、第２フレーム画像Ｆ２から検出したエッジのうち白画素４０Ｗが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ２を算出する。

なお、スルー画が図１０（ｂ）に示す例の場合には、ＭＰＵ１６のエッジ検出部２４は、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に基づいて生成した第１フレーム画像Ｆ１を第２フレーム画像Ｆ２と併せて微分フィルタによってスキャンすることによりエッジを検出してもよい。この場合、ＭＰＵ１６は、第１フレーム画像Ｆ１から検出したエッジの色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ１を算出するとともに、第２フレーム画像Ｆ２から検出したエッジのうち白画素４０Ｗが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ２を算出してもよい。

また、スルー画が図１０（ｃ）に示す例の場合には、ＭＰＵ１６のエッジ検出部２４は、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に基づいて生成した第３フレーム画像Ｆ３、及び、撮像素子１３の白画素４０Ｗから読み出した画素信号に基づいて生成した第４フレーム画像Ｆ４の双方を微分フィルタによってスキャンすることによりエッジを検出する。そして、ＭＰＵ１６は、第３フレーム画像Ｆ３から検出したエッジの色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ１を算出するとともに、第４フレーム画像Ｆ４から検出したエッジの色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ２を算出する。

ここで、エッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分には色補間処理が行われているため、エッジの近傍における色成分量の正規化出力Ｅ１には誤差が生じる。一方、撮像画素４０の全体に占める白画素４０Ｗの比率が低いため、エッジの近傍における色成分量の正規化出力Ｅ２はＳＮ比が小さくなることにより誤差が生じる。その結果、エッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂ又は白画素４０Ｗが撮像した画像部分の色成分量に基づいてそれぞれ算出される正規化出力Ｅ１及び正規化出力Ｅ２は互いに異なるものとなる。

そのため、ステップＳ１４において、ＭＰＵ１６は、先のステップＳ１２において算出された正規化出力Ｅ１と、先のステップＳ１３において算出された正規化出力Ｅ２との位相合わせを行う。その結果、エッジのうち色補間処理が行われていない白画素４０Ｗが撮像した画像部分の色成分量に対し、同エッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分の色成分量が組み合わされる。そのため、色補間処理に起因した色成分量の誤差が抑えられつつ、ＳＮ比が十分に確保された正規化出力Ｅ３が算出される（図１１（ｂ）参照）。

そして次に、ステップＳ１５において、ＭＰＵ１６の合焦検出部２５は、先のステップＳ１４において算出された正規化出力Ｅ３に基づいて、先のステップＳ１１においてスルー画から検出されたエッジにおける軸上色収差の評価値を算出する。

続いて、ステップＳ１６において、ＭＰＵ１６の合焦検出部２５は、算出した評価値に基づいてエッジのデフォーカス特徴量を算出する。
そして次に、ステップＳ１７において、ＭＰＵ１６は、先のステップＳ１６において算出されたエッジのデフォーカス特徴量に基づいて、フォーカスレンズ１１の駆動条件を設定する。すなわち、ＭＰＵ１６は、エッジのデフォーカス特徴量の方向指標に基づいてフォーカスレンズ１１の駆動方向を設定するとともに、エッジのデフォーカス特徴量のデフォーカス量に基づいてフォーカスレンズ１１の駆動量を設定する。

具体的には、ＭＰＵ１６は、エッジのデフォーカス特徴量の方向指標が前ピン状態を示している場合、フォーカスレンズ１１を光軸方向において撮像素子１３から遠ざける方向にフォーカスレンズ１１の駆動方向を設定する。すなわち、ＭＰＵ１６は、スルー画がエッジよりも近点側に合焦していると判断した場合には、スルー画の合焦位置をスルー画の奥行方向における無限遠側に移動させてエッジの位置に合致させるように、フォーカスレンズ１１の駆動方向を設定する。

一方、ＭＰＵ１６は、エッジのデフォーカス特徴量の方向指標が後ピン状態を示している場合、フォーカスレンズ１１を光軸方向において撮像素子１３に近づける方向にフォーカスレンズ１１の駆動方向を設定する。すなわち、ＭＰＵ１６は、スルー画がエッジよりも遠点側に合焦していると判断した場合には、スルー画の合焦位置をスルー画の奥行方向における至近側に移動させてエッジの位置に合致させるように、フォーカスレンズ１１の駆動方向を設定する。

また、ＭＰＵ１６は、エッジのデフォーカス特徴量のデフォーカス量に基づいて、フォーカスレンズ１１の合焦位置を推定する。そして、ＭＰＵ１６は、現在のレンズ位置から推定された合焦位置に至るようにフォーカスレンズ１１の駆動量を設定する。

続いて、ステップＳ１８において、ＭＰＵ１６は、先のステップＳ１７において設定された駆動条件でフォーカスレンズ１１を駆動させる。その結果、フォーカスレンズ１１のレンズ位置が合焦位置に移動することにより、スルー画がエッジの位置において合焦された状態となる。

そして次に、ステップＳ１９において、撮影指示信号が入力されたか否かを判定する。この撮影指示信号は、レリーズボタン３１の全押し操作がなされた際に画像処理エンジン１４に操作信号として入力される。なお、モニタ２１がタッチパネルである場合には、モニタ２１が画像の撮影のためにタッチ操作がなされた際に撮影指示信号が操作信号として画像処理エンジン１４に入力される。そして、ＭＰＵ１６は、撮影指示信号が入力されていない（ステップＳ１９＝ＮＯ）と判定した場合、その処理をステップＳ１０に戻し、撮影指示信号が入力されるまでステップＳ１０〜ステップＳ１９の処理を繰り返す。一方、ＭＰＵ１６は、撮影指示信号が入力された（ステップＳ１９＝ＹＥＳ）と判定した場合、その処理をステップＳ２０に移行する。

そして、ステップＳ２０において、ＭＰＵ１６の画像生成部２６は、スルー画のうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分のＲＧＢ画素値を、変換係数Ｍ１を用いてＹＵＶ画素値に変換する色座標変換を行う。

また、ステップＳ２１において、ＭＰＵ１６の画像生成部２６は、スルー画のうち白画素４０Ｗが撮像した画像部分のＲＧＢ画素値を、先のステップＳ２０において用いられた変換係数Ｍ１とは異なる変換係数Ｍ２を用いてＹＵＶ画素値に変換する色座標変換を行う。これは、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗは、赤、緑、青の各色の光を光電変換部４３Ｇ，４３Ｂ及び光電変換部４３Ｗにおいてそれぞれ電荷に変換する際の感度の特性が互いに異なるためである。

そして次に、ステップＳ２２において、ＭＰＵ１６の画像生成部２６は、スルー画のうち白画素４０Ｗが撮像した画像部分のＹＵＶ画素値の輝度が閾値Ｔ１以下であるか否かを判定する。なお、閾値Ｔ１は、白画素４０Ｗがカラー画素４０Ｒ，４０Ｇ，４０Ｂよりも赤、緑、青の各色の光を光電変換部４３Ｗにおいて電荷に変換する際の感度の大きさが大きいことにより、白画素４０Ｗが撮像した画像部分の輝度が飽和している否かを判定する際の基準値となっている。そして、ＭＰＵ１６の画像生成部２６は、白画素４０Ｗが撮像した画像部分のＹＵＶ画素値の輝度が閾値Ｔ１以下ではない（ステップＳ２２＝ＮＯ）と判定した場合には、白画素４０Ｗが撮像した画像部分の輝度が飽和していると判定し、白画素４０Ｗが撮像した画像データを撮影画像に利用するのは適切ではないと判断した上で、その処理をステップＳ２３に移行する。一方、ＭＰＵ１６の画像生成部２６は、白画素４０Ｗが撮像した画像部分のＹＵＶ画素値の輝度が閾値Ｔ１以下である（ステップＳ２２＝ＹＥＳ）と判定した場合には、白画素４０Ｗが撮像した画像部分の輝度が飽和していないと判定し、その処理をステップＳ２４に移行する。

そして、ステップＳ２４において、ＭＰＵ１６の画像生成部２６は、スルー画のうち、白画素４０Ｗが撮像した画像部分のＹＵＶ画素値の色差と、該白画素４０Ｗの周辺のカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分のＹＵＶ画素値の色差との差分の大きさが閾値Ｔ２以下であるか否かを判定する。なお、閾値Ｔ２は、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗが、赤、緑、青の各色の光を光電変換部４３Ｇ，４３Ｂ及び光電変換部４３Ｗにおいて電荷に変換する際の感度の特性が互いに異なることに起因して、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗが撮像した画像部分の色相が大きく異なるか否かを判定する際の基準値となっている。そして、ＭＰＵ１６の画像生成部２６は、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗが撮像した画像部分のＹＵＶ画素値の色差の差分の大きさが閾値Ｔ２以下である（ステップＳ２４＝ＹＥＳ）と判定した場合、白画素４０Ｗが撮像した画像データを撮影画像に利用するのは適切であると判断した上で、その処理をステップＳ２５に移行する。

そして、ステップＳ２５において、ＭＰＵ１６の画像生成部２６は、撮像素子１３のカラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗの双方から画素信号を読み出した上で、その処理をステップＳ２７に移行する。

一方、ＭＰＵ１６の画像生成部２６は、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗが画像部分のＹＵＶ画素値の色差との差分の大きさが閾値Ｔ２以下ではない（ステップＳ２４＝ＮＯ）と判定した場合、白画素４０Ｗが撮像した画像データを撮影画像に利用するのは適切ではないと判断した上で、その処理をステップＳ２３に移行する。

そして、ステップＳ２３において、ＭＰＵ１６の画像生成部２６は、間引き読み出し処理によってカラー画素４０Ｒ，４０Ｇ，４０Ｂから選択的に画素信号を読み出す。
そして次に、ステップＳ２６において、ＭＰＵ１６の画像生成部２６は、先のステップＳ２３においてカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に対して補間処理を行うことにより、白画素４０Ｗに対応する画素部分の画素信号を補った上で、その処理をステップＳ２７に移行する。

なお、ＭＰＵ１６の画像生成部２６は、先のステップＳ２３において、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗの双方から画素信号を読み出すものの、白画素４０Ｗから読み出した画素信号については撮影画像に用いない構成としてもよい。この場合、ＭＰＵ１６の画像生成部２６は、カラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に対して補間処理を行うことにより、撮影画像に用いられない白画素４０Ｗに対応する画素部分の画素信号を補った上で、その処理をステップＳ２７に移行する。

そして、ステップＳ２７において、ＭＰＵ１６の画像生成部２６は、先のステップＳ２３において読み出した画素信号、又は、先のステップＳ２５において補間処理が行われた画素信号に基づいて静止画を生成し、生成した静止画を撮影画像として不揮発性メモリ１８に格納する。

次に、上記のように構成されたカメラ１０の作用について、特に、ＭＰＵ１６の合焦検出部２５がスルー画におけるエッジのデフォーカス特徴量を算出する際の作用に着目して以下説明する。

さて、スルー画に含まれるエッジをカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した場合、そのエッジの画像を生成する際には色補間処理が行われる。そのため、このエッジの画像の色成分量を解析することによりエッジの近傍における色成分量の正規化出力Ｅ１を算出する場合、算出される正規化出力Ｅ１には誤差が生じる。そして、誤差が生じた正規化出力Ｅ１に基づいてエッジの軸上色収差の評価値を算出した場合、算出される評価値にも誤差が含まれる。その結果、誤差を含む評価値に基づいてスルー画におけるエッジのデフォーカス特徴量を正確に算出することは困難となる。

この点、本実施形態では、スルー画に含まれるエッジを白画素４０Ｗが撮像した場合、そのエッジの画像は色補間処理を行うことなく生成される。そのため、このエッジの画像の色成分量を解析することによりエッジの近傍における色成分量の正規化出力Ｅ２を算出する場合、算出される正規化出力Ｅ２には色補間処理に起因した誤差が生じない。その一方で、本実施形態では、撮像画素４０の全体に占める白画素４０Ｗの比率が低いため、エッジの近傍における色成分量の正規化出力Ｅ２はＳＮ比が小さくなることにより誤差が生じる。

そこで、本実施形態では、スルー画に含まれるエッジのうち色補間処理が行われていない白画素４０Ｗが撮像した画像部分の色成分量の正規化出力Ｅ２に対し、同エッジのうちカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像部分の色成分量の正規化出力Ｅ１が組み合わされる。そのため、色補間処理に起因した色成分量の誤差が抑えられつつ、ＳＮ比が十分に確保された正規化出力Ｅ３が算出される。そして、正規化出力Ｅ３の算出結果に基づいてエッジの軸上色収差の評価値が正確に算出される。そのため、この評価値に基づいてスルー画におけるエッジのデフォーカス特徴量が正確に算出される。そして、スルー画におけるエッジのデフォーカス特徴量の算出結果に応じてフォーカスレンズ１１の駆動条件が設定されることにより、スルー画がエッジの部分において正確に合焦される。

また、本実施形態では、スルー画におけるエッジのデフォーカス特徴量が正確に算出されるため、スルー画におけるエッジのデフォーカス量が微小な場合であっても、かかる微小なデフォーカス量を算出することが可能となる。

特に、本実施形態では、スルー画に含まれるフレーム画像のうち少なくとも一部のフレーム画像は、白画素４０Ｗが撮像した画像部分を含んでいる。そのため、かかるフレーム画像から検出されたエッジのうち白画素４０Ｗが撮像した画像部分の色成分量に基づいて、スルー画におけるエッジの近傍の色成分量の正規化出力Ｅ２が随時算出される。そのため、正規化出力Ｅ２に対して正規化出力Ｅ１を組み合わせて正規化出力Ｅ３を算出することにより、スルー画におけるエッジの軸上色収差の評価値が随時算出される。そのため、この評価値に基づいてスルー画におけるエッジのデフォーカス特徴量を随時算出し、このデフォーカス特徴量の算出結果に応じてフォーカスレンズ１１の駆動条件を更新することにより、スルー画をエッジの部分において継続して正確に合焦させることが可能となる。

上記実施形態によれば、以下に示す効果を得ることができる。
（１）複数の色成分の入射光を白画素４０Ｗが共通で電荷に変換するため、色補間処理を行うことなくエッジにおける各色の色成分量が取得される。その結果、色補間処理を行う場合と比較して、エッジにおける各色の色成分量に誤差が生じにくい。そして、このように取得されたエッジにおける各色の色成分量に基づいてエッジの合焦状態を正確に検出することができる。

（２）撮像素子１３における白画素４０Ｗを含む撮像画素４０が撮像した画像データを適宜用いて撮影画像が生成される。白画素４０Ｗが撮像した画像データを用いずに撮影画像を生成する場合と比較して、生成される撮影画像の画素数を多くすることができる。

（３）白画素４０Ｗが撮像した画像データの色成分量と白画素４０Ｗの周辺のカラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像データの色成分量とが大きく異なる場合、白画素４０Ｗが撮像した画像データを用いることなく撮影画像が生成される。そのため、生成される撮影画像の画質が低下することを抑制できる。

（４）白画素４０Ｗが撮像した画像データの輝度が閾値以上である場合には白画素４０Ｗが撮像した画像データを用いることなく撮影画像が生成される。そのため、生成される撮影画像の画質が低下することを抑制できる。

（５）白画素４０Ｗが撮像した画像データの色成分量に対し、カラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像した画像データとは異なる変換係数Ｍ２を用いた色座標変換処理が行われた上で撮影画像が生成される。そのため、白画素４０Ｗが撮像した画像データを用いて撮影画像を生成したとしても、生成される撮影画像の画質が低下することを抑制できる。

（６）撮像素子１３における白画素４０Ｗを含む撮像画素４０が撮像した画像部分を含むスルー画がモニタ２１に表示される。そのため、白画素４０Ｗが撮像したエッジの色成分量に基づいてエッジの合焦状態が算出されたスルー画の画像内容を、モニタ２１を通じて視認することができる。

（７）スルー画に被写体として移動体が含まれる場合に、白画素４０Ｗが撮像した移動体のエッジの色成分量に基づいて、移動体のエッジの合焦状態を移動体の移動に追随させつつリアルタイムに正確に算出することができる。

（８）撮像素子１３における白画素４０Ｗ及びカラー画素４０Ｒ，４０Ｇ，４０Ｂの双方が撮像した画像部分を含むスルー画がモニタ２１に表示される場合には、白画素４０Ｗ及びカラー画素４０Ｒ，４０Ｇ，４０Ｂの何れか一方が撮像した画像データを用いてスルー画を生成する場合と比較して、スルー画の画素数を多く確保することができる。

（９）カラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像したエッジの色成分量から算出される正規化出力Ｅ１と、白画素４０Ｗが撮像した同エッジの色成分量から算出される正規化出力Ｅ２との位相合わせが行われることにより正規化出力Ｅ３が算出され、算出された正規化出力Ｅ３に基づいてエッジの合焦状態が算出される。白画素４０Ｗ及びカラー画素４０Ｒ，４０Ｇ，４０Ｂの何れか一方が撮像したエッジの色成分量から算出される正規化出力を用いる場合と比較して、エッジの色成分量の正規化出力のＳＮ比が増大するため、エッジの合焦状態を更に正確に検出することができる。

なお、上記実施形態は、以下のような別の実施形態に変更してもよい。
・上記実施形態において、図１２（ａ）に示すように、白画素４０Ｗは、撮像素子１３の撮像画素４０のうち、中央及び上下左右の５つのエリアＲ１１〜Ｒ１５に位置する画素群に含まれてもよい。

・上記実施形態において、図１２（ｂ）に示すように、白画素４０Ｗは、撮像素子１３の撮像面上に不規則に配置されてもよい。
この構成では、白画素４０Ｗが撮像した画像データを用いて撮影画像を生成したとしても、生成される撮影画像にモアレが生じることを抑制できる。

・上記実施形態において、ＭＰＵ１６は、正規化出力Ｅ１と正規化出力Ｅ２との位相合わせを行うことなく、スルー画から検出されたエッジにおける軸上色収差の評価値を正規化出力Ｅ２に基づいて算出してもよい。

この構成では、白画素４０Ｗが撮像した画像部分には色補間処理が行われないため、白画素４０Ｗが撮像したエッジの近傍における色成分量の正規化出力Ｅ１には、色補間処理に起因した誤差が生じることはない。そのため、カラー画素４０Ｒ，４０Ｇ，４０Ｂが撮像したエッジの近傍における色成分量の正規化出力Ｅ１に基づいてエッジの軸上色収差の評価値を算出する場合と比較して、算出される評価値に誤差が生じることを低減できる。

・上記実施形態において、ＭＰＵ１６の画像生成部２６は、白画素４０Ｗから画素信号を読み出すことなく、カラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に基づいて生成されたフレーム画像によりスルー画を構成してもよい。そして、ＭＰＵ１６の表示制御部２７は、白画素４０Ｗから読み出した画素信号を用いて生成されるフレーム画像を含まないスルー画をモニタ２１に表示させてもよい。

この場合、ＭＰＵ１６の画像生成部２６は、まず、モニタ２１に表示されるスルー画とは別に、白画素４０Ｗを含む撮像画素から読み出した画素信号に基づいて評価用画像を生成する。続いて、ＭＰＵ１６の合焦検出部２５は、評価用画像から検出したエッジのうち白画素４０Ｗが撮像した画像部分の色成分量に基づいて、エッジの近傍の色成分量の正規化出力Ｅ２を算出する。そして、ＭＰＵ１６の合焦検出部２５は、算出された正規化出力Ｅ２に基づいてエッジにおける軸上色収差の評価値を算出する。その結果、ＭＰＵ１６の合焦検出部２５は、算出された評価値に基づいて、評価用画像におけるエッジのデフォーカス特徴量をスルー画におけるエッジのデフォーカス特徴量として算出することができる。

・上記実施形態において、ＭＰＵ１６の画像生成部２６は、スルー画のうちカラー画素４０Ｒ，４０Ｇ，４０Ｂ又は白画素４０Ｗが撮像した画像部分のＲＧＢ画素値を、共通の変換係数を用いてＹＵＶ画素値に色座標変換してもよい。

・上記実施形態において、ＭＰＵ１６の画像生成部２６は、スルー画のうち白画素４０Ｗが撮像した画像部分のＹＵＶ画素値の輝度が閾値Ｔ１以下であるか否かを判定することなく、白画素４０Ｗが撮像した画像データを撮影画像に利用してもよい。

・上記実施形態において、ＭＰＵ１６の画像生成部２６は、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗが撮像した画像部分のＹＵＶ画素値の色差の差分の大きさが閾値Ｔ２以下であるか否かを判定することなく、白画素４０Ｗが撮像した画像データを撮影画像に利用してもよい。

・上記実施形態において、ＭＰＵ１６の合焦検出部２５が白画素４０Ｗから読み出した画素信号に基づいて生成されるスルー画の画像内容を解析することによりスルー画の合焦状態を検出する一方で、ＭＰＵ１６の画像生成部２６が白画素４０Ｗが撮像した画素信号を用いることなく撮影画像を生成する構成としてもよい。

・上記実施形態において、ＭＰＵ１６は、白画素４０Ｗが撮像した画像データを用いることなくスルー画の合焦状態を制御する第１の合焦制御モードと、白画素４０Ｗが撮像した画像データを用いてスルー画の合焦状態を制御する第２の合焦制御モードとを切り替え可能であってもよい。この場合、第１の合焦制御モードから第２の合焦制御モードへの切り替えは、例えば、操作部３２を構成するメニューボタンの押圧操作によって行ってもよいし、レリーズボタン３１の半押し操作によって行ってもよい。そして、ＭＰＵ１６の画像生成部２６は、第１の合焦制御モードでは、撮像素子１３の撮像画素４０のうちカラー画素４０Ｒ，４０Ｇ，４０Ｂから読み出した画素信号に基づいてスルー画を生成する。一方、ＭＰＵ１６の画像生成部２６は、第２の合焦制御モードでは、一例として、撮像素子１３のうちカラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗの双方から読み出した画素信号に基づいてスルー画を生成する。

・上記実施形態において、画像の撮像のために設けられる撮像素子１３とは別に、ＡＦ用のセンサとして、白画素４０Ｗを含む撮像画素４０を有する撮像素子１３を新たに設けてもよい。この場合、ＡＦ用のセンサとして設けられる撮像素子１３は、カラー画素４０Ｒ，４０Ｇ，４０Ｂ及び白画素４０Ｗの双方を撮像画素４０として有する構成であってもよいし、白画素４０Ｗのみを撮像画素４０として有する構成であってもよい。

・上記実施形態において、ＭＰＵ１６の合焦検出部２５は、動画の撮影時において、白画素４０Ｗが撮像したエッジの近傍における色成分量の正規化出力Ｅ２を算出し、算出された正規化出力Ｅ２に基づいて動画におけるエッジのデフォーカス特徴量を算出してもよい。

・上記実施形態において、撮像素子１３は、カラーフィルタ４２を含むことなくマイクロレンズ４１と三層に積層された光電変換部４３とによって構成される黒画素を、白画素４０Ｗに代えて有する構成であってもよい。

・上記実施形態において、撮像装置は、デジタルカメラに限定されず、例えば、ビデオカメラ、パーソナルコンピュータ、携帯電話機、携帯ゲーム機等のように、画像の撮影機能を搭載した他の撮像装置であってもよい。

１０…撮像装置の一例としての電子カメラ、１１…レンズの一例としてのフォーカスレンズ、１３…撮像素子、２１…表示部の一例としてのモニタ、２４…エッジ検出部、２５…合焦検出部、２６…画像生成部、２７…表示制御部、４０…撮像画素、４０Ｗ…共通画素の一例としての白画素、Ｅ…エッジ、Ｆ，Ｆ１，Ｆ２，Ｆ３，Ｆ４…フレーム画像、Ｌ１…入射光、Ｍ１，Ｍ２…変換係数。

Claims (10)

1. レンズを通じて入射される複数の色成分の入射光が共通で電荷に変換される共通画素を有する撮像素子と、
   前記入射光によって前記撮像素子の前記共通画素に撮像される被写体のエッジを色成分ごとに検出するエッジ検出部と、
   前記エッジ検出部が検出した前記エッジの色成分量に基づいて、前記被写体の前記エッジの合焦状態を検出する合焦検出部と、を備え、
   前記共通画素は、赤色の色成分の光を電荷に変換する第１光電変換部と、緑色の色成分の光を電荷に変換する第２光電変換部と、青色の色成分の光を電荷に変換する第３光電変換部と、を有し、
   前記第１光電変換部、前記第２光電変換部及び前記第３光電変換部は、前記レンズの光軸方向において積層されていることを特徴とする撮像装置。
2. 前記撮像素子における前記共通画素を含む撮像画素が撮像した画像データを用いて撮影画像を生成する画像生成部を更に備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記画像生成部は、前記共通画素で撮像された画像データの色成分量と、前記撮像素子における前記共通画素の周辺のカラー画素で撮像された画像データの色成分量との差が閾値未満である場合に、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像データを用いて前記撮影画像を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記画像生成部は、前記共通画素で撮像された画像データの輝度が閾値未満である場合に、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像データを用いて前記撮影画像を生成することを特徴とする請求項２に記載の撮像装置。
5. 前記画像生成部は、前記共通画素で撮像された画像データの色成分量に対し、前記撮像素子における他の撮像画素が撮像した画像データの色成分量とは異なる変換係数を用いた色座標変換処理を行った上で前記撮影画像を生成することを特徴とする請求項２に記載の撮像装置。
6. 前記共通画素は、二次元的に配置された前記撮像素子の撮像面上に不規則に配置されていることを特徴とする請求項１〜請求項５のうち何れか一項に記載の撮像装置。
7. 前記撮像素子における前記共通画素を含む撮像画素が撮像した画像を表示画像として表示部に表示させる表示制御部を更に備えたことを特徴とする請求項１〜請求項６のうち何れか一項に記載の撮像装置。
8. 前記表示画像はスルー画又は動画であって、
   前記表示制御部は、前記撮像素子における前記共通画素を含む撮像画素が撮像した画像を時系列的に連続したフレーム画像として含む前記表示画像を前記表示部に表示させることを特徴とする請求項７に記載の撮像装置。
9. 前記表示制御部は、前記撮像素子における前記共通画素及び他の撮像画素の双方が撮像した画像を前記フレーム画像として含む前記表示画像を前記表示部に表示させることを特徴とする請求項８に記載の撮像装置。
10. 前記合焦検出部は、前記共通画素で撮像されたエッジの色成分量と、前記撮像素子における他の撮像画素で撮像された同エッジの色成分量とに基づいて、前記被写体の前記エッジの合焦状態を検出することを特徴とする請求項１〜請求項９のうち何れか一項に記載の撮像装置。

Images