JP5655543B2 - 画像処理装置、画像処理方法およびプログラム。 - Google Patents

Description

本発明は、画像処理装置に関し、特に色情報を補間する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物等の被写体を撮像素子を用いて撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。この撮像素子として、受光面に配置される画素にカラーフィルタをベイヤー配列で配置したものが普及している。

また、近年では、撮像装置の多機能化や高画質化に伴い、撮像素子に配置される画素に画像生成用の画素以外の画素を配置する撮像素子や、ベイヤー配列に用いるカラーフィルタ（Ｒ、Ｇ、Ｂ）以外のカラーフィルタを備える画素を配置する撮像素子が検討されている。例えば、画像生成用の従来画素（画像生成画素）と、多機能化のための新たな画素とが同一の撮像素子に配置される撮像素子が検討されている。

例えば、このような撮像素子を備える撮像装置として、例えば、撮像レンズを通過した光を瞳分割する画素（位相差検出画素）が撮像素子に配置される撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、受光素子が受光する被写体光の半分を遮光することにより瞳分割を行う位相差検出画素を撮像素子に設けることにより一対の像を形成し、その形成された像の間隔を計測することによってフォーカスのズレの量を算出する。そして、この撮像装置は、算出したフォーカスのズレの量に基づいて撮像レンズの移動量を算出し、算出した移動量に基づいて撮像レンズの位置を調整することによってフォーカス制御を行う。

特開２００９−１４５４０１号公報

上述の従来技術では、位相差検出画素と画像生成画素との両方の画素を１つの撮像素子に備えるため、焦点検出用の撮像素子と撮像画像用の撮像素子との２つの撮像素子を撮像装置に別々に設ける必要がない。

また、上述の従来技術では、撮像素子により生成される画像データについて補間処理を行う場合には、画像生成画素の画素値を用いて、位相差検出画素および画像生成画素の各色情報を補間（デモザイク処理）する。このため、位相差検出画素を備えず、画像生成画素のみを備える撮像素子により生成される画像データについて補間処理を行う場合と比較すると、補間処理に用いられる画素値の割合が低下する。そこで、位相差検出画素と画像生成画素との両方の画素を備える撮像素子により生成される画像データについて補間処理を行う場合には、補間処理に用いられる画素値の割合の低下により画像データの画質が低下することを防止することが重要である。

本発明はこのような状況に鑑みてなされたものであり、画像データの画質を向上させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、合焦判定を行うための判定画素値を生成する位相差検出画素と画像を生成するための画像生成画素値を生成する画像生成画素とを備える撮像素子により生成される画像データであって上記判定画素値と上記画像生成画素値とを含む画像データにおける上記判定画素値に基づいて、上記撮像素子における上記位相差検出画素の位置に対応する上記画像生成画素値を推定する推定部と、上記推定された画像生成画素値および上記画像生成画素により生成された画像生成画素値に基づいて、上記画像データを構成する各画素の画像生成画素値を補間する補間部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、位相差検出画素が生成する判定画素値を用いて画像生成画素値の補間処理を行わせるという作用をもたらす。

また、この第１の側面において、上記判定画素値に基づいて算出されるデフォーカス量に基づく距離情報を上記位相差検出画素ごとに生成する距離情報生成部をさらに具備し、上記補間部は、上記推定された画像生成画素値と上記距離情報と上記画像生成画素が生成した画像生成画素値とに基づいて、上記画像データを構成する各画素の画像生成画素値を補間するようにしてもよい。これにより、距離情報生成部が生成した距離情報を用いて画像生成画素値の補間処理を行わせるという作用をもたらす。また、この場合において、上記補間部は、補間対象となる画素を基準画素として上記基準画素の補間対象となる色を対象色とし、上記距離情報を用いて上記基準画素の画像生成画素値を補間する場合には、上記位相差検出画素の距離情報に基づいて上記画像生成画素の距離情報を算出し、上記基準画素から一定範囲内に位置する画素のうち上記対象色に係る画像生成画素値を保持する画素を対象画素として、上記対象画素の距離情報により特定される距離が上記基準画素から所定範囲内にある上記対象画素を上記距離情報に基づいて検出し、当該検出された対象画素の上記対象色に係る画像生成画素値の平均値を上記補間対象画素の上記対象色に係る画像生成画素値とすることにより画像生成画素値を補間するようにしてもよい。これにより、対象画素の距離情報により特定される距離が基準画素と近い対象画素を距離情報に基づいて検出し、この検出された対象画素の対象色に係る画像生成画素値の平均値を補間対象画素の対象色に係る画像生成画素値とすることにより画像生成画素値を補間させるという作用をもたらす。また、この場合において、上記補間部は、上記対象画素の距離情報により特定される距離に対する画素の度数分布を作成し、当該度数分布における度数が最大の階級に属する距離を基準として、当該基準から所定範囲内の距離に対応する上記対象画素を検出し、当該検出した上記対象画素の上記対象色に係る画像生成画素値の平均値を上記補間対象画素の上記対象色に係る画像生成画素値とするようにしてもよい。これにより、度数分布（ヒストグラム）により対象画素を検出させるという作用をもたらす。

また、この第１の側面において、上記位相差検出画素は、被写体光を集光するマイクロレンズと、当該被写体光を受光することにより画像生成画素値を生成する受光素子と、上記マイクロレンズと上記受光素子との間に配置されて被写体光の一部を遮光する遮光部とを備え、上記推定部は、推定対象の上記位相差検出画素により生成された上記判定画素値と上記推定対象となる上記位相差検出画素に近接する位相差検出画素により生成された上記判定画素値とに基づいて、上記推定対象の上記位相差検出画素における上記遮光部により遮光された光に係る画素値を算出し、当該算出した画素値と上記推定対象の上記位相差検出画素の上記判定画素値とに基づいて、上記位相差検出画素の位置における上記画像生成画素値を推定するようにしてもよい。これにより、位相差検出画素遮光部により遮光された光に係る画素値を算出し、この算出した画素値と推定対象の位相差検出画素の判定画素値とに基づいて、位相差検出画素の位置における画像生成画素値を推定させるという作用をもたらす。また、この場合において、上記画像生成画素は、赤を示す波長領域以外の光を遮光する赤フィルタによって覆われている赤画素と、青を示す波長領域以外の光を遮光する青フィルタによって覆われている青画素と、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている緑画素とにより構成され、上記位相差検出画素は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われ、上記推定部は、白色に係る画像生成画素値を上記位相差検出画素の位置における上記画像生成画素値として推定するようにしてもよい。これにより、白色に係る画像生成画素値を位相差検出画素の位置における画像生成画素値として推定させるという作用をもたらす。

また、この第１の側面において、上記補間部は、補間対象となる画素を基準画素として上記基準画素の補間対象となる色を対象色とし、上記画像データを構成する各画素の画像生成画素値における白色に係る画像生成画素値を補間した後に、上記基準画素から一定範囲内に位置する画素における上記対象色に係る画像生成画素値と、上記基準画素から一定範囲内に位置する画素であって上記補間対象画素と同じフィルタによって覆われている画素における白に係る画像生成画素値と、上記基準画素の上記白色に係る画像生成画素値とに基づいて、上記基準画素の上記対象色に係る画像生成画素値を補間するようにしてもよい。これにより、基準画素から一定範囲内に位置する画素における対象色に係る画像生成画素値と、基準画素から一定範囲内に位置する画素であって補間対象画素と同じフィルタによって覆われている画素における白に係る画像生成画素値と、基準画素の白色に係る画像生成画素値とに基づいて、基準画素の上記対象色に係る画像生成画素値を補間させるという作用をもたらす。

また、この第１の側面において、上記補間部は、上記基準画素から一定範囲内に位置する画素における白に係る画像生成画素値に基づいて算出した上記白に係る画像生成画素値の低周波成分と、上記基準画素から一定範囲内に位置する上記対象色のフィルタによって覆われている画素における上記対象色に係る画像生成画素値に基づいて算出した上記対象色に係る画像生成画素値の低周波成分と、上記基準画素における上記白に係る画像生成画素値とに基づいて上記基準画素における上記対象色に係る画像生成画素値を補間するようにしてもよい。これにより、対象色に係る画像生成画素値の低周波成分と、基準画素における白に係る画像生成画素値とに基づいて基準画素における対象色に係る画像生成画素値を補間させるという作用をもたらす。

また、この第１の側面において、上記撮像素子は、上記画像生成画素が特定方向に並べて構成される第１ラインと、上記位相差検出画素が上記特定方向に並べて構成される第２ラインとが上記特定方向とは直交する直交方向に交互に配置され、上記補間部は、上記基準画素の直交方向における一定範囲内に位置する上記位相差検出画素における白に係る画像生成画素値から算出した上記白に係る画像生成画素値の低周波成分と、上記一定範囲内に位置する緑画素における緑に係る画像生成画素値から算出した上記白に係る画像生成画素値の低周波成分と、上記基準画素における緑に係る画像生成画素値とに基づいて、上記緑画素における白に係る画像生成画素値を補間するようにしてもよい。これにより、画像生成画素が特定方向に並べて構成される第１ラインと、位相差検出画素が特定方向に並べて構成される第２ラインとが特定方向とは直交する直交方向に交互に配置されている撮像素子が生成する画像データの画像生成画素値を補間させるという作用をもたらす。

また、本発明の第２の側面は、合焦判定を行うための判定画素値を生成する位相差検出画素と画像を生成するための画像生成画素値を生成する画像生成画素とを備える撮像素子により生成される画像データであって上記判定画素値と上記画像生成画素値とを含む画像データにおける上記判定画素値に基づいて算出されるデフォーカス量に基づく距離情報を上記位相差検出画素ごとに生成する距離情報生成部と、上記生成された距離情報と上記画像生成画素が生成した画像生成画素値とに基づいて、上記画像データを構成する各画素のうちの補間対象となる補間対象画素の画像生成画素値を補間する補間部とを具備する画像処理装置である。これにより、距離情報生成部が生成した距離情報を用いて画像生成画素値の補間処理を行わせるという作用をもたらす。

本発明によれば、画像データの画質を向上させることができるという優れた効果を奏し得る。

本発明の第１の実施の形態における撮像システム１０の内部構成の一例を示す模式図である。 本発明の第１の実施の形態における撮像システム１０の撮像装置１００に関する機能構成の一例を示すブロック図である。 本発明の第１の実施の形態におけるデモザイク部３００の機能構成の一例を示すブロック図である。 本発明の第１の実施の形態における撮像素子２１０に備えられる画素の配置の一例を示す模式図である。 本発明の第１の実施の形態における画像生成画素の一例と、位相差検出画素の一例とを模式的に示す断面図である。 本発明の第１の実施の形態における位相差検出画素Ｗ値算出部３１０による位相差検出画素Ｗ値の算出の一例を模式的に示す図である。 本発明の第１の実施の形態におけるＲ、Ｂ画素Ｗ算出部３３０によるＲ画素およびＢ画素のＷ値の算出の一例を模式的に示す図である。 本発明の第１の実施の形態におけるＲ、Ｂ画素Ｇ算出部３４１によるＲ画素およびＢ画素のＷ値の算出の一例を模式的に示す図である。 本発明の第１の実施の形態の撮像装置１００におけるデモザイク部３００によるＷ値を用いるデモザイク処理の一例と、従来の撮像装置におけるデモザイク処理の一例とを示す模式図である。 本発明の第１の実施の形態の撮像装置１００におけるデモザイク部３００による距離情報を用いるデモザイク処理の一例と、従来の撮像装置におけるデモザイク処理の一例とを示す模式図である。 本発明の第１の実施の形態における撮像装置１００による撮像処理手順例を示すフローチャートである。 本発明の第１の実施の形態の撮像処理動作におけるデモザイク処理（ステップＳ９３０）の処理手順例を示すフローチャートである。 本発明の第１の実施の形態の位相差検出画素Ｗ値算出部３１０による位相差検出画素Ｗ値算出処理（ステップＳ９４０）の処理手順例を示すフローチャートである。 本発明の第１の実施の形態のＲ、Ｂ画素Ｗ値算出部３３０による画像生成画素Ｗ値算出処理（ステップＳ９５０）の処理手順例を示すフローチャートである。 本発明の第１の実施の形態のＲ、Ｂ画素Ｇ値算出部３４１および位相差検出画素Ｇ値算出部３４２によるＧ値算出処理（ステップＳ９６０）の処理手順例を示すフローチャートである。 本発明の第１の実施の形態のＲ値算出部３６０によるＲ値算出処理（ステップＳ９７０）の処理手順例を示すフローチャートである。 本発明の第１の実施の形態のＢ値算出部３７０によるＢ値算出処理（ステップＳ９８０）の処理手順例を示すフローチャートである。 本発明の第２の実施の形態におけるデモザイク部８００の機能構成の一例を示すブロック図である。 本発明の第２の実施の形態におけるＧ画素Ｗ値算出部８２０によるＧ画素のＷ値の算出の一例を模式的に示す図である。 本発明の第２の実施の形態のＧ画素Ｗ値算出部８２０およびＲ、Ｂ画素Ｗ値算出部３３０による画像生成画素Ｗ値算出処理（ステップＳ９９１）の処理手順例を示すフローチャートである。 本発明の第２の実施の形態のＲ、Ｂ画素Ｇ値算出部３４１および位相差検出画素Ｇ値算出部８４２によるＧ値算出処理（ステップＳ９９５）の処理手順例を示すフローチャートである。 本発明の第１の実施の形態の変形例として、２列に配置された画像生成画素と、２列に配置された位相差検出画素とが交互に配置される撮像素子の画素配置の一例を示す模式図である。 本発明の第１の実施の形態の変形例として、Ｇフィルタが備えられた位相差検出画素が配置される撮像素子の画素配置の一例を示す模式図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：位相差検出画素の輝度値を用いたデモザイク処理の一例）
２．第２の実施の形態（撮像制御：Ｇ値とＷ値との間の相関からＧ画素のＷ値を算出する例）
３．変形例

＜１．第１の実施の形態＞
［撮像システムの内部構成例］
図１は、本発明の第１の実施の形態における撮像システム１０の内部構成の一例を示す模式図である。この撮像システム１０は、撮像装置１００および交換レンズ１７０を備える。

なお、この本発明の第１の実施の形態では、撮像システム１０は、レンズが交換可能であって、画像を撮像することができる一眼レフカメラを想定する。なお、図１では、説明の便宜上、画像を撮像する際にはあまり使用しない内部構成（例えば、フラッシュに関する構成）については省略する。

また、図１では、説明の便宜上、レンズの駆動に関してはフォーカスレンズの駆動に関する構成のみを示し、ズームレンズの駆動に関する構成については省略する。

撮像装置１００は、被写体を撮像して画像データ（デジタルデータ）を生成し、この生成した画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録するものである。なお、以下では、画像コンテンツ（画像ファイル）として静止画コンテンツ（静止画ファイル）を記録する例を主に示す。この撮像装置１００は、シャッターユニット１１２と、撮像素子１１３と、ＡＦＥ（Analog Front End）１１４と、補正回路１１５と、位相差演算回路１５０と、ＷＢ（White Balance）回路１１６と、γ補正回路１１７とを備える。また、撮像装置１００は、デモザイク部１４０と、画像メモリ１１９と、電池１２１と、電源回路１２２、通信用Ｉ／Ｆ（InterFace）１２３と、カードＩ／Ｆ１２４と、メモリカード１２５とを備える。さらに、撮像装置１００は、ＶＲＡＭ（Video Random Access Memory）１２６と、ＬＣＤ（Liquid Crystal Display）１２７と、操作部１２８と、シャッタ駆動制御部１３１と、シャッタ駆動モータ（Ｍ１）１３２とを備える。また、撮像装置１００は、絞り駆動制御部１３３と、フォーカス駆動制御部１３４と、メイン制御部１３６と、接続端子１６１乃至１６３とを備える。

シャッターユニット１１２は、上下方向に移動する幕体により、撮像素子１１３に入射する被写体からの入射光の光路の開口および遮断を行うものであり、シャッタ駆動モータ（Ｍ１）１３２により駆動される。また、シャッターユニット１１２は、光路が開口している場合には、被写体からの入射光を撮像素子１１３に供給する。

撮像素子１１３は、被写体からの入射光を電気信号に光電変換するものであり、被写体からの入射光を受光して、アナログの電気信号を生成する。また、撮像素子１１３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサおよびＣＣＤ（Charge Coupled Device）センサにより実現される。撮像素子１１３には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素（画像生成画素）と、位相差検出を行うための信号を生成する画素（位相差検出画素）とが配置される。

また、撮像素子１１３には、画像生成画素として、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）と、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）とが配置される。また、撮像素子１１３には、Ｒ画素およびＧ画素の他に、画像生成画素として、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）が配置される。なお、撮像素子１１３については、図４を参照して説明する。撮像素子１１３は、その光電変換により生成した電気信号（アナログの画像信号）を、ＡＦＥ１１４に供給する。

ＡＦＥ１１４は、撮像素子１１３から供給されるアナログの画像信号に所定の信号処理を施すものであり、例えば、アナログの画像信号にノイズの除去および信号の増幅などの信号処理を行う。そして、ＡＦＥ１１４は、信号処理を施した画像信号をデジタル信号に変換して、デジタルの画像信号を生成する。また、ＡＦＥ１１４は、メイン制御部１３６から供給される基準クロックに基づいて、撮像素子１１３の撮像動作に関するタイミングパルスを生成し、その生成したタイミングパルスを撮像素子１１３に供給する。このＡＦＥ１１４は、生成したデジタルの画像信号（画素値）を補正回路１１５に供給する。

補正回路１１５は、ＡＦＥ１１４から供給された画像信号に所定の信号処理を施して画像信号を補正するものである。この補正回路１１５は、例えば、黒レベル補正、欠陥補正、シェーディング補正、混色補正等を行う。ここで、黒レベル補正とは、常に遮光されている領域の画素において生成される画素値を各画素値から減算することにより、受光量が「０」なら画素値の値は「０」となるよう黒レベルを合わせる補正をする処理である。また、欠陥補正とは、撮像素子１１３において正常に機能しない画素（欠陥画素）の画素値を、欠陥画素の周囲の画素における画素値から推定して補正する処理である。また、シェーディング補正とは、画素の位置が撮像素子１１３の中心から周辺部にずれるに従って生じる輝度の低下（シェーディング）を、画像全体の画素値に対して像高に応じたゲインをそれぞれかけることにより補正する処理である。また、混色補正とは、隣接する画素から漏れ込んだ光による画素値の増加（混色）を、この混色による増加量を推定して減算することにより補正する処理である。補正回路１１５は、これらの補正処理を施した画像信号のうち位相差検出画素により生成された画像信号を、位相差演算回路１５０に供給する。また、補正回路１１５は、これらの補正処理を施した画像信号（位相差検出画素および画像生成画素により生成された画像信号）を、ＷＢ回路１１６に供給する。

ＷＢ回路１１６は、白色である予め定められた基準の色に基づいて撮像画像における色バランスを補正する処理（いわゆる、ホワイトバランス補正）を行うものである。このＷＢ回路１１６は、ホワイトバランス補正を行った画像信号を、γ補正回路１１７に供給する。

γ補正回路１１７は、ホワイトバランス補正された画像データの階調特性を補正するものである。具体的には、γ補正回路１１７は、各画素が生成した画素値の値を予め設定されたガンマ補正用テーブルを用いて非線形変換（いわゆる、γ補正）する。γ補正回路１１７は、γ補正を行った画像信号を、デモザイク部１４０に供給する。

位相差演算回路１５０は、補正回路１１５から供給される位相差検出画素により生成された画像信号に基づいて、位相差検出方式でフォーカスのズレを検出するものである。この位相差演算回路１５０は、オートフォーカス（ＡＦ）するために、合焦対象物に対するフォーカスのズレを検出するための演算を行い、検出したフォーカスに関する情報をメイン制御部１３６に供給する。また、位相差演算回路１５０は、一対の位相差検出画素ごとに、その一対の位相差検出画素におけるフォーカスのズレを検出し、検出したフォーカスに関する情報をデモザイク部１４０に供給する。

デモザイク部１４０は、各画素位置にＲ、Ｇ、Ｂの全てのチャネルが揃うようにデモザイク処理（補間処理）を行うものである。このデモザイク部１４０は、位相差検出画素により生成された画像信号と、画像生成画素（Ｒ画素、Ｇ画素、Ｂ画素）より生成された画像信号と、フォーカスに関する情報とに基づいて、デモザイク処理を行う。デモザイク部１４０は、デモザイク処理を行った画像信号を画像メモリ１１９に供給する。

画像メモリ１１９は、デモザイク部１４０から供給される画像信号を一時的に保持するものである。また、この画像メモリ１１９は、メイン制御部１３６からの制御信号に従って、画像信号に所定の処理を行うための作業領域として用いられる。なお、この画像メモリ１１９は、メモリカード１２５から読み出した画像信号を一時的に保持する。

電池１２１は、撮像システム１０が動作するための電力を供給するものであり、例えば、ニッケル水素充電池等の二次電池により構成される。また、電池１２１は、電力を電源回路１２２に供給する。

電源回路１２２は、電池１２１から供給された電力を撮像システム１０における各部が動作するための電圧に変換するものである。例えば、この電源回路１２２は、メイン制御部１３６が５Ｖの電圧で動作する場合には、５Ｖの電圧を生成して、その生成した電圧をメイン制御部１３６に供給する。また、電源回路１２２は、生成した電圧を撮像システム１０における各部に供給する。なお、図１では、電源回路１２２から各部への電源供給線の一部を省略して示す。

通信用Ｉ／Ｆ１２３は、外部機器とメイン制御部１３６との間のデータ転送を可能とするためのインターフェイスである。

カードＩ／Ｆ１２４は、メモリカード１２５とメイン制御部１３６との間のデータ転送を可能とするためのインターフェイスである。

メモリカード１２５は、画像信号を保持するための記憶媒体であり、カードＩ／Ｆ１２４を介して供給されたデータを保持する。

ＶＲＡＭ１２６は、ＬＣＤ１２７に表示する画像を一時的に保持するバッファメモリであり、その保持した画像をＬＣＤ１２７に供給する。

ＬＣＤ１２７は、メイン制御部１３６の制御に基づいて、画像を表示するものであり、例えば、このＬＣＤ１２７は、カラー液晶パネルにより構成される。このＬＣＤ１２７は、撮像された画像、記録済みの画像およびモードの設定画面などを表示する。

操作部１２８は、ユーザの操作を受け付けるものであり、例えば、シャッターボタン（図示せず）が押下された場合には、その押下を知らせる信号をメイン制御部１３６に供給する。また、操作部１２８は、ユーザの操作に関する信号をメイン制御部１３６に供給する。

シャッタ駆動制御部１３１は、メイン制御部１３６から供給されるシャッタの制御信号に基づいて、シャッタ駆動モータ（Ｍ１）１３２を駆動するための駆動信号を生成するものであり、その生成した駆動信号をシャッタ駆動モータ（Ｍ１）１３２に供給する。

シャッタ駆動モータ（Ｍ１）１３２は、シャッタ駆動制御部１３１から供給される駆動信号に基づいて、シャッターユニット１１２を駆動するモータである。

絞り駆動制御部１３３は、メイン制御部１３６から供給される絞りに関する情報に基づいて、絞りの駆動を制御する信号（絞り駆動制御信号）を生成するものであり、その生成した絞り駆動信号を、接続端子１６１を介して交換レンズ１７０に供給する。

メイン制御部１３６は、撮像装置１００の各部の動作を制御するものであり、例えば、制御プログラムを記憶するＲＯＭを備えるマクロコンピュータにより構成される。

フォーカス駆動制御部１３４は、メイン制御部１３６から供給されるフォーカスに関する情報に基づいて、レンズの駆動量を示す駆動量信号を生成するものである。このフォーカス駆動制御部１３４は、その生成した駆動量信号を、接続端子１６３を介して交換レンズ１７０に供給する。

交換レンズ１７０は、複数のレンズを備えており、撮像装置１００が撮像する像の光を集光し、その集光した光を撮像面に結像させるものである。この交換レンズ１７０は、絞り駆動機構１８１と、絞り駆動モータ（Ｍ３）１８２と、レンズ位置検出部１８３と、レンズ駆動機構１８４と、レンズ駆動モータ（Ｍ４）１８５と、鏡胴１９０とを備える。また、鏡胴１９０は、絞り１９１およびレンズ群１９４を備える。なお、レンズ群１９４には、説明の便宜上、ズームレンズ１９２およびフォーカスレンズ１９３のみが示されている。

絞り駆動機構１８１は、接続端子１６１を介して供給される絞り駆動制御信号に基づいて、絞り駆動モータ（Ｍ３）１８２を駆動するための駆動信号を生成するものである。この絞り駆動機構１８１は、その生成した駆動信号を、絞り駆動モータ（Ｍ３）１８２に供給する。

絞り駆動モータ（Ｍ３）１８２は、絞り駆動機構１８１から供給される駆動信号に基づいて、絞り１９１を駆動するモータである。この絞り駆動モータ（Ｍ３）１８２は、絞り１９１を駆動することにより、絞り１９１の絞り径を変更する。

レンズ位置検出部１８３は、レンズ群１９４のズームレンズ１９２およびフォーカスレンズ１９３の位置を検出するものである。このレンズ位置検出部１８３は、その検出した位置に関する情報（レンズ位置情報）を、接続端子１６２を介して撮像装置１００に供給する。

レンズ駆動機構１８４は、接続端子１６３を介して供給される駆動量信号とに基づいて、レンズ駆動モータ（Ｍ４）１８５を駆動するための駆動信号を生成するものである。このレンズ駆動機構１８４は、その生成した駆動信号を、レンズ駆動モータ（Ｍ４）１８５に供給する。

レンズ駆動モータ（Ｍ４）１８５は、レンズ駆動機構１８４から供給される駆動信号に基づいて、フォーカスレンズ１９３を駆動するモータである。このレンズ駆動モータ（Ｍ４）１８５は、フォーカスレンズ１９３を駆動することにより、フォーカスを調整する。

鏡胴１９０は、交換レンズ１７０においてレンズ群１９４を構成するレンズが備え付けられている部位である。

絞り１９１は、撮像装置１００に入射する被写体からの入射光の光量を調整するための遮蔽物である。

ズームレンズ１９２は、鏡胴１９０の中を光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。

フォーカスレンズ１９３は、鏡胴１９０の中を光軸方向に移動することによりフォーカスを調整するものである。

［撮像システムの機能構成例］
図２は、本発明の第１の実施の形態における撮像システム１０の撮像装置１００に関する機能構成の一例を示すブロック図である。

同図では、撮像素子が画像信号を生成してから現像された画像が生成されるまでに係る各構成について説明する。

撮像装置１００は、撮像素子２１０と、アナログ信号処理部２２０と、Ａ／Ｄ変換部２３０と、黒レベル処理部２４０と、画像補正部２５０と、距離情報算出部２６０とを備える。また、撮像装置１００は、ＷＢ処理部２７０と、γ補正部２７５と、デモザイク部３００と、画像処理部２８０と、表示部２８１と、記録部２８２とを備える。

撮像素子２１０は、被写体からの入射光を電気信号に光電変換して画像信号を生成するものである。この撮像素子２１０は、撮像素子２１０において配置される画像生成画素および位相差検出画素により生成されたアナログの画像信号をアナログ信号処理部２２０に供給する。なお、撮像素子２１０は、図１において示した撮像素子１１３に対応する。

アナログ信号処理部２２０は、撮像素子２１０から供給されるアナログの画像信号（アナログ画像信号）に所定のアナログ信号処理を施すものである。このアナログ信号処理部２２０は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）、オートゲインコントロール回路（ＡＧＣ：Automatic Gain Control）、および、クランプ回路等により実現される。すなわち、アナログ信号処理部２２０は、アナログ画像信号におけるノイズの除去や、信号の増幅等を行う。このアナログ信号処理部２２０は、信号処理を施したアナログ画像信号を、Ａ／Ｄ変換部２３０に供給する。なお、アナログ信号処理部２２０は、図１において示したＡＦＥ１１４に対応する。

Ａ／Ｄ変換部２３０は、アナログ信号処理部２２０から供給されるアナログ画像信号をデジタルの画像信号（画素値）に変換するものである。すなわち、Ａ／Ｄ変換部２３０は、各画素の連続した量の信号を数値で示す信号に変化する。このＡ／Ｄ変換部２３０は、変換したデジタルの画像信号を黒レベル処理部２４０に供給する。なお、Ａ／Ｄ変換部２３０は、図１において示したＡＦＥ１１４に対応する。

黒レベル処理部２４０は、Ａ／Ｄ変換部２３０から供給される画素値に黒レベル補正を施すものである。この黒レベル処理部２４０は、黒レベル補正を施した画像信号を、画像補正部２５０に供給する。なお、黒レベル処理部２４０は、図１において示した補正回路１１５に対応する。

画像補正部２５０は、黒レベル処理部２４０から供給される画像信号に、欠陥補正、シェーディング補正、および混色補正等の補正を施すものである。この画像補正部２５０は、補正を施した画像信号のうち位相差検出画素により生成された画像信号を、距離情報算出部２６０に供給する。また、画像補正部２５０は、補正を施した画像信号（両方の画素の信号（画像生成画素および位相差検出画素）の画像信号）を、ＷＢ処理部２７０に供給する。なお、画像補正部２５０は、図１において示した補正回路１１５に対応する。

距離情報算出部２６０は、画像補正部２５０から供給される位相差検出画素の画像信号に基づいて、位相差検出画素の配置箇所におけるフォーカスのズレに関する情報である距離情報を算出するものである。この距離情報算出部２６０は、一対の位相差検出画素ごとに、その一対の位相差検出画素の配置箇所におけるフォーカスのズレ（デフォーカス量）を検出する。そして、距離情報算出部２６０は、この検出したフォーカスのズレに関する情報（例えば、一対の像のズレ量を画素数で示した値）を、距離情報として、信号線２６１を介してデモザイク部３００に供給する。また、距離情報算出部２６０は、合焦対象物に対するフォーカスのズレを検出し、この検出したフォーカスのズレを信号線２６２を介してメイン制御部１３６に供給する。なお、距離情報算出部２６０は、図１において示した位相差演算回路１５０に対応する。また、距離情報算出部２６０は、特許請求の範囲に記載の距離情報生成部に対応する。

ＷＢ処理部２７０は、画像補正部２５０から供給される画像信号に対してホワイトバランス補正を行うものである。このＷＢ処理部２７０は、例えば、画像生成画素（Ｒ画素、Ｇ画素、Ｂ画素）の画像信号から本来白色であると推定される部分を特定して補正ゲインを算出し、位相差検出画素、Ｒ画素、Ｇ画素、Ｂ画素の画像信号におけるレベルバランスを調整（補正）する。ＷＢ処理部２７０は、補正後の画像信号を、γ補正部２７５に供給する。なお、ＷＢ処理部２７０は、図１において示したＷＢ回路１１６に対応する。

γ補正部２７５は、ＷＢ処理部２７０から供給される画像信号に対してγ補正を行うものである。このγ補正部２７５は、位相差検出画素、Ｒ画素、Ｇ画素、Ｂ画素の画像信号に対してγ補正を行い、ガンマ補正後の画像信号（画像データ）を、信号線２９０を介してデモザイク部３００に供給する。なお、γ補正部２７５は、図１において示したγ補正回路１１７に対応する。

デモザイク部３００は、γ補正部２７５から供給される画像信号（画像データ）と、距離情報算出部２６０から供給される距離情報とに基づいて、各画素位置にＲ、Ｇ、Ｂの全てのチャネルが揃うようにデモザイク処理（補間処理）を行うものである。すなわち、このデモザイク部３００によるデモザイク処理により、それぞれの画素の位置における全ての色（Ｒ、Ｇ、Ｂ）が揃い、画像が現像される。このデモザイク部３００は、デモザイク処理が施された画像データ（ＲＧＢ画像）を、信号線３０１を介して画像処理部２８０に供給する。なお、デモザイク部３００は、図３を参照して詳細に説明する。

画像処理部２８０は、デモザイク部３００から供給されるＲＧＢ画像に基づいて、ユーザに視聴させる表示画像データおよび記録媒体に記録させる記録画像データを生成するものである。この画像処理部２８０は、表示部２８１における解像度に応じてＲＧＢ画像を縮小して表示画像データを生成し、その生成した表示画像データを表示部２８１に供給する。また、画像処理部２８０は、記録部２８２に記録される記録方式に従ってＲＧＢ画像を圧縮して記録画像データを生成し、その生成した記録画像データを記録部２８２に供給する。なお、画像処理部２８０は、図１においして示したメイン制御部１３６に対応する。

表示部２８１は、画像処理部２８０から供給される表示画像データに基づいて、画像を表示するものである。この表示部２８１は、例えば、カラー液晶パネルにより実現される。なお、表示部２８１は、図１において示したＬＣＤ１２７に対応する。

記録部２８２は、画像処理部２８０から供給される記録画像データを画像コンテンツ（画像ファイル）として記録するものである。例えば、この記録部２８２として、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。なお、記録部２８２は、図１においして示したメモリカード１２５に対応する。

［デモザイク部の機能構成例］
図３は、本発明の第１の実施の形態におけるデモザイク部３００の機能構成の一例を示すブロック図である。

デモザイク部３００は、位相差検出画素Ｗ値算出部３１０と、Ｒ、Ｂ画素Ｗ値算出部３３０と、Ｇ値算出部３４０と、Ｒ値算出部３６０と、Ｂ値算出部３７０と、画像合成部３８０とを備える。

位相差検出画素Ｗ値算出部３１０は、画像データにおける位相差検出画素それぞれの画像信号（判定画素値）に基づいて、それぞれの位相差検出画素におけるホワイト（Ｗ）色の画素値（Ｗ値）を算出するものである。ここで、Ｗ値とは、可視光の波長領域の光を全て透過するフィルタが備えられた画像生成画素（ホワイト（Ｗ）画素と称する）により生成される画素値を示す。このようなフィルタを備えるＷ画素とは、例えば、フィルタを備えていない（フィルタ層の代わりに透明層を備える）画像生成画素や、可視光領域の光は透過するがそれ以外の波長の光は吸収するフィルタ（白フィルタ）が備えられている画像生成画素などである。

すなわち、位相差検出画素Ｗ値算出部３１０は、Ｗ画素（可視光の波長領域の光を全て受光する画像生成画素）が位相差検出画素の位置に配置されていると仮定した場合のその仮定した位置の画素値（Ｗ値）を、位相差検出画素の画素値から推定する。これにより、それぞれの位相差検出画素の位置に位相差検出画素と同色のフィルタを備える画像生成画素が配置されていると仮定した場合の画像生成画素が生成する画素値（画像生成画素値）が生成される。位相差検出画素Ｗ値算出部３１０は、算出した位相差検出画素のＷ値（以降は、位相差検出画素Ｗ値と称する）を、Ｒ、Ｂ画素Ｗ値算出部３３０に供給する。なお、位相差検出画素Ｗ値算出部３１０による位相差検出画素Ｗ値の算出については、図６を参照して説明する。また、位相差検出画素Ｗ値算出部３１０は、特許請求の範囲に記載の推定部の一例である。

Ｒ、Ｂ画素Ｗ値算出部３３０は、位相差検出画素Ｗ値算出部３１０から供給される位相差検出画素Ｗ値と、距離情報算出部２６０から信号線２６１を介して供給される距離情報とに基づいて、画像生成画素のＲ画素およびＢ画素におけるＷ値を算出するものである。すなわち、Ｒ、Ｂ画素Ｗ値算出部３３０は、Ｒ画素およびＢ画素の位置にＷ画素が配置されていると仮定した場合における画素値（Ｗ値）を、位相差検出画素Ｗ値および距離情報から推定する。Ｒ、Ｂ画素Ｗ値算出部３３０は、例えば、算出対象の画素（基準画素）を中心とした所定の範囲内の位相差検出画素（対象画素）において距離情報により特定される距離が基準画素と近い対象画素を検出する。そして、Ｒ、Ｂ画素Ｗ値算出部３３０は、その検出された画素のＷ値（対象色に係る画素値）の平均値を、基準画素のＷ値とする。なお、基準画素と近い対象画素をヒストグラム（度数分布）により検出する場合には、度数が最大の階級に属する距離を基準として、この基準から所定範囲以内（所定閾値以内）の距離に対応する対象画素を検出する。Ｒ、Ｂ画素Ｗ値算出部３３０は、算出したＲ画素のＷ値（Ｒ画素Ｗ値）およびＢ画素のＷ値（Ｂ画素Ｗ値）を、Ｇ値算出部３４０におけるＲ、Ｂ画素Ｇ値算出部３４１に供給する。なお、Ｒ、Ｂ画素Ｗ値算出部３３０によるＲ画素Ｗ値およびＢ画素Ｗ値の算出については、図７を参照して説明する。

Ｇ値算出部３４０は、Ｇ画素以外の画素におけるＧ色に係る画素値（Ｇ値）を算出（補間）するものである。ここで、Ｇ値とは、ＲＧＢによる色空間表現におけるＧの階調を示す値であり、また、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）により生成される画素値である。すなわち、Ｇ値算出部３４０は、位相差検出画素、Ｒ画素、および、Ｂ画素の位置にＧ画素が配置されていると仮定した場合におけるその位置のＧ値を推定する。Ｇ値算出部３４０は、Ｒ、Ｂ画素Ｇ値算出部３４１と、位相差検出画素Ｇ値算出部３４２とを備える。

Ｒ、Ｂ画素Ｇ値算出部３４１は、信号線２９０におけるＧ線２９４を介して供給されるＧ画素のＧ値（Ｇ画素Ｇ値）と、Ｒ、Ｂ画素Ｗ値算出部３３０から供給されるＲ画素Ｗ値、Ｂ画素Ｗ値とに基づいて、Ｒ画素のＧ値と、Ｂ画素のＧ値とを算出するものである。このＲ、Ｂ画素Ｇ値算出部３４１は、Ｗ値とＧ値との間の相関および算出対象の画素のＷ値に基づいて、Ｒ画素のＧ値（Ｒ画素Ｇ値）と、Ｂ画素のＧ値（Ｂ画素Ｇ値）とを算出する。すなわち、Ｒ、Ｂ画素Ｇ値算出部３４１において、Ｗ値は、画像を構成する画素値（画像生成画素値）を生成するための画素値として用いられる。Ｒ、Ｂ画素Ｇ値算出部３４１は、算出したＲ画素Ｇ値およびＢ画素Ｇ値を、画像合成部３８０に供給する。なお、Ｒ、Ｂ画素Ｇ値算出部３４１によるＲ画素Ｇ値およびＢ画素Ｇ値の算出については、図８を参照して説明する。

位相差検出画素Ｇ値算出部３４２は、信号線２９０におけるＧ線２９４を介して供給されるＧ画素のＧ値（Ｇ画素Ｇ値）と、信号線２６１を介して供給される距離情報とに基づいて、位相差検出画素のＧ値（位相差検出画素Ｇ値）を算出するものである。この位相差検出画素Ｇ値算出部３４２は、算出対象の画素を中心とした所定の範囲内における頻度が高い距離位置のＧ画素をヒストグラムから検出し、該当するＧ画素のＧ値（Ｇ画素Ｇ値）の平均値を、算出対象の位相差検出画素のＧ値とする。すなわち、位相差検出画素Ｇ値算出部３４２は、Ｒ、Ｂ画素Ｗ値算出部３３０と同様に、ヒストグラムを用いる算出方法により、位相差検出画素Ｇ値を算出する。位相差検出画素Ｇ値算出部３４２は、算出した位相差検出画素Ｇ値を、画像合成部３８０に供給する。

Ｒ値算出部３６０は、Ｒ画素以外の画素におけるＲ色に係る画素値（Ｒ値）を算出（補間）するものである。ここで、Ｒ値とは、ＲＧＢによる色空間表現におけるＲの階調を示す値であり、また、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）により生成される画素値である。このＲ値算出部３６０は、信号線２９０におけるＲ線２９３を介して供給されるＲ画素のＲ値（Ｒ画素Ｒ値）と、信号線２６１を介して供給される距離情報とに基づいて、位相差検出画素のＲ値と、Ｇ画素のＲ値と、Ｂ画素のＲ値とを推定する。Ｒ値算出部３６０は、Ｒ、Ｂ画素Ｗ値算出部３３０と同様に、ヒストグラムを用いる算出方法により、各画素のＲ値を算出する。Ｒ値算出部３６０は、算出したＲ値（位相差検出画素Ｒ値、Ｇ画素Ｒ値、Ｂ画素Ｒ値）を、画像合成部３８０に供給する。

Ｂ値算出部３７０は、Ｂ画素以外の画素におけるＢ色に係る画素値（Ｂ値）を算出（補間）するものである。ここで、Ｂ値とは、ＲＧＢによる色空間表現におけるＢの階調を示す値であり、また、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）により生成される画素値である。このＢ値算出部３７０は、信号線２９０におけるＢ線２９２を介して供給されるＢ画素のＢ値（Ｂ画素Ｂ値）と、信号線２６１を介して供給される距離情報とに基づいて、位相差検出画素のＢ値と、Ｒ画素のＢ値と、Ｇ画素のＢ値とを推定する。Ｂ値算出部３７０は、Ｒ、Ｂ画素Ｗ値算出部３３０と同様に、ヒストグラムを用いる算出方法により、各画素のＢ値を算出する。Ｂ値算出部３７０は、算出したＢ値（位相差検出画素Ｂ値、Ｒ画素Ｂ値、Ｇ画素Ｂ値）を、画像合成部３８０に供給する。なお、Ｒ、Ｂ画素Ｗ値算出部３３０、Ｒ、Ｂ画素Ｇ値算出部３４１、位相差検出画素Ｇ値算出部３４２、Ｒ値算出部３６０、および、Ｂ値算出部３７０は、特許請求の範囲に記載の補間部の一例である。

画像合成部３８０は、ＲＧＢ画像を合成するものである。この画像合成部３８０は、Ｒ線２９３からのＲ画素Ｒ値と、Ｒ値算出部３６０からのＲ値（位相差検出画素Ｒ値、Ｇ画素Ｒ値、Ｂ画素Ｒ値）とに基づいて、ＲＧＢ画像におけるＲ成分に関する画像データを合成する。また、画像合成部３８０は、Ｇ線２９４からのＧ画素Ｇ値と、Ｒ、Ｂ画素Ｇ値算出部３４１および位相差検出画素Ｇ値算出部３４２からのＧ値（Ｒ画素Ｇ値、Ｂ画素Ｇ値、位相差検出画素Ｇ値）とに基づいてＲＧＢ画像におけるＧ成分に関する画像データを合成する。さらに、画像合成部３８０は、Ｂ線２９２からのＢ画素Ｂ値と、Ｂ値算出部３７０からのＢ値（位相差検出画素Ｂ値、Ｒ画素Ｂ値、Ｇ画素Ｂ値）に基づいて、ＲＧＢ画像におけるＢ成分に関する画像データを合成する。画像合成部３８０は、ＲＧＢが揃った画像データを、信号線３０１を介して供給する。

［撮像素子における画素の配置例］
図４は、本発明の第１の実施の形態における撮像素子２１０に備えられる画素の配置の一例を示す模式図である。

同図では、上下方向をＹ軸とし、左右方向をＸ軸とするＸＹ軸を想定して説明する。また、同図において、左下隅をＸＹ軸における原点とし、下から上へ向かう方向をＹ軸の＋側とし、左から右へ向かう方向をＸ軸の＋側とする。なお、同図では、撮像素子２１０における特定方向（撮像画像の水平方向（左右方向）に対応する方向）をＸ軸方向とし、特定方向と直交する直交方向（撮像画像の垂直方向（上下方向）に対応する方向）をＹ軸方向とする。また、この撮像素子２１０における信号の読み出し方向は、Ｘ軸方向（行単位で読み出される）であるものとする。

同図では、説明の便宜上、撮像素子２１０を構成する各画素のうちの一部の画素（１６行×１６列の画素）の領域（領域４１０）を用いて説明する。なお、撮像素子２１０における画素の配置は、領域４１０において示す画素配置を１つの単位として、この単位に対応する画素配置（領域４１０に対応する画素配置）が、Ｘ軸方向およびＹ軸方向に繰り返される配置である。

同図では、１つの画素を１つの正方形で示す。画像生成画素については、備えられるカラーフィルタを表す符号（Ｒ、Ｇ、Ｂ）を内に示した正方形により示す。すなわち、画像生成画素のＲ画素は同図におけるＲ画素４１１として示され、画像生成画素のＢ画素は、同図におけるＢ画素４１４として示されている。また、Ｇ画素については、Ｒ画素（Ｒ画素４１１）を含む行（ライン）におけるＧ画素がＧｒ画素（Ｇｒ画素４１２）として示され、Ｂ画素（Ｂ画素４１４）を含む行（ライン）におけるＧ画素がＧｂ画素（Ｇｂ画素４１３）として示されている。

また、位相差検出画素については、白色の楕円が付加された灰色の正方形により示す。なお、位相差検出画素における白色の楕円については、入射光が遮光層に遮光されないで受光素子により受光される側（遮光層に開口部分がある側）を示す。ここで、同図において示す位相差検出画素（位相差検出画素４１５乃至４１８）について説明する。

位相差検出画素４１５は、位相差検出画素４１５のマイクロレンズに入射する被写体光のうち射出瞳の右半分を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この位相差検出画素４１５は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの右半分の光を遮光し、左半分の瞳分割された光を受光する。

位相差検出画素４１６は、位相差検出画素４１６のマイクロレンズに入射する被写体光のうち射出瞳の左半分を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この位相差検出画素４１６は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの左半分の光を遮光し、右半分の瞳分割された光を受光する。また、位相差検出画素４１６は、位相差検出画素４１５と対に用いられることで、一対の像を形成する。

位相差検出画素４１７は、位相差検出画素４１７のマイクロレンズに入射する被写体光のうち射出瞳の上半分を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この位相差検出画素４１７は、射出瞳の上下（Ｙ軸方向の＋−側）に瞳分割された光のうちの上半分の光を遮光し、下半分の瞳分割された光を受光する。

位相差検出画素４１８は、位相差検出画素４１８のマイクロレンズに入射する被写体光のうち射出瞳の下半分を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この位相差検出画素４１８は、射出瞳の上下（Ｙ軸方向の＋−側）に瞳分割された光のうちの下半分の光を遮光し、上半分の瞳分割された光を受光する。また、位相差検出画素４１８は、位相差検出画素４１７と対に用いられることで、一対の像を形成する。

ここで、撮像素子２１０における画素の配置について説明する。

撮像素子２１０では、画像生成画素が配置される行（ライン）と位相差検出画素が配置される行（ライン）とが交互に配置される。すなわち、図３に示すように、ｙ軸方向に、画像生成画素、位相差検出画素、画像生成画素、位相差検出画素…と交互に配置される。また、撮像素子２１０では、位相差検出画素が配置される行を除外して画像生成画素のみで配置をみると、Ｂ画素およびＧ画素が配置される行と、Ｒ画素およびＧ画素が配置される行とが交互になり、ベイヤー配列となる。

また、撮像素子２１０では、位相差検出画素４１５および位相差検出画素４１６が配置されるラインと、位相差検出画素４１７および位相差検出画素４１８が配置されるラインとが、画像生成画素の行を挟んで交互になるように配置される。すなわち、位相差検出画素は、同一方向（読み出し方向（左右）または読み出し方向に直交する方向（上下））に瞳分割を行う位相差検出画素が行単位で配置される。

次に、本発明の第１の実施の形態における画像生成画素の断面構成と、位相差検出画素の断面構成とについて、図５を参照して説明する。

［画像生成画素および位相差検出画素の構成例］
図５は、本発明の第１の実施の形態における画像生成画素の一例と、位相差検出画素の一例とを模式的に示す断面図である。

同図（ａ）には、本発明の第１の実施の形態における画像生成画素のうちのＲ画素（Ｒ画素４１１）の断面構成が模式的に示されている。なお、本発明の第１の実施の形態における３色の画像生成画素（Ｒ画素、Ｇ画素、Ｂ画素）における違いは、カラーフィルタの違いのみであるため、同図（ａ）では、Ｒ画素（Ｒ画素４１１）の断面構成のみについて説明する。なお、同図では、左右方向をＸ軸方向とし、下上方向をＺ軸方向とする断面構成を示す。

同図（ａ）では、Ｒ画素４１１の断面構成として、マイクロレンズ４２１と、Ｒフィルタ４２２と、配線４２３と、配線４２４と、受光素子４２５とが示されている。

マイクロレンズ４２１は、被写体光を受光素子４２５に集光するためのレンズである。

配線４２３および配線４２４は、Ｒ画素４１１における各回路を接続するための配線である。同図（ａ）において、配線４２３および配線４２４は、３本の配線が光軸に対して層状に配置されていることを示している。なお、配線４２３および配線４２４は、受光素子４２５に入射する光を妨げないように配置される。

受光素子４２５は、受けた光を電気信号に変換（光電変換）することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子４２５は、例えば、フォトダイオード（ＰＤ：Photo Diode）により構成される。

同図（ｂ）には、本発明の第１の実施の形態における位相差検出画素のうちの位相差検出画素４１６の断面構成が模式的に示されている。なお、位相差検出画素４１６乃至４１８における断面構成の違いは、遮光層となる配線の配置方向の違いのみであるため、同図（ｂ）では、位相差検出画素４１６の断面構成について説明する。

同図（ｂ）では、位相差検出画素４１６の断面構成として、マイクロレンズ４２１と、受光素子４２５と、配線４２６と、配線４２７とが示されている。なお、マイクロレンズ４２１および受光素子４２５は、同図（ａ）において示したものと同様であるため、ここでの説明を省略する。

配線４２６および配線４２７は、位相差検出画素４１６における各回路を接続するための配線である。同図（ｂ）において、配線４２６および配線４２７は、同図（ａ）の配線４２３および配線４２４と同様に、３本の配線が光軸に対して層状に配置されていることを示している。

なお、配線４２７には、受光素子４２５の中心付近まで突出する配線が一本備えられている。この突出は、受光素子４２５とマイクロレンズ４２１との間において、受光素子４２５の右半分を覆うように突出し、射出瞳の左半分を通過した被写体光を遮光する。一方、配線４２６はマイクロレンズ４２１から受光素子４２５への被写体光の光路上には配置されずにこの光路の周辺に配置される。

このように、位相差検出画素４１６では、受光素子４２５の半分が、配線４２７により覆われている。これにより、位相差検出画素４１６では、マイクロレンズ４２１を通過する光の半分が遮光される。

［位相差検出画素Ｗ値算出部による位相差検出画素Ｗ値の算出例］
図６は、本発明の第１の実施の形態における位相差検出画素Ｗ値算出部３１０による位相差検出画素Ｗ値の算出の一例を模式的に示す図である。

同図（ａ）には、射出瞳の左右に瞳分割された光のうちの左半分の光を遮光し右半分の瞳分割された光を受光する位相差検出画素（位相差検出画素４３１）のＷ値の算出の一例が模式的に示されている。

位相差検出画素４３１のＷ値の算出において、位相差検出画素Ｗ値算出部３１０は、まず、位相差検出画素４３１における遮光層が遮光した領域に入射する光（遮光層により遮光され、受光素子に受光されない光）に係る画素値（遮光領域画素値）を算出する。

そして、位相差検出画素Ｗ値算出部３１０は、位相差検出画素４３１の画素値と、算出した位相差検出画素４３１の遮光領域画素値とを合算して位相差検出画素４３１のＷ値を算出する。

位相差検出画素４３１の遮光領域画素値（Ｓ_Ｄ４３１）の算出は、例えば、次の式１を用いて算出される。また、位相差検出画素４３１のＷ値（Ｗ_Ｄ４３１）は、例えば、次の式２を用いて算出される。
Ｓ_Ｄ４３１＝（Ｉ_Ｄ４３１×２＋Ｉ_Ｄ４３２×１）／３ ・・・式１
Ｗ_Ｄ４３１＝（Ｉ_Ｄ４３１＋Ｓ_Ｄ４３１）／２ ・・・式２
ここで、Ｉ_Ｄ４３１は、Ｗ値の算出対象である位相差検出画素４３１の画素値である。また、Ｉ_Ｄ４３２は、位相差検出画素４３１の遮光領域に最も近接している位相差検出画素４３２の画素値である。

なお、同図（ａ）では、遮光領域画素値（Ｓ_Ｄ４３１）は、領域４３３が受光した光に係る画素値に対応する。また、位相差検出画素４３１のＷ値（Ｗ_Ｄ４３１）は、位相差検出画素４３１をＷ画素として模式的に示すＷ画素４３４に係る画素値に対応する。

式１に示すように、遮光領域画素値（Ｓ_Ｄ４３１）は、算出対象の遮光領域を備える位相差検出画素の画素値（Ｉ_Ｄ４３１）と、算出対象の遮光領域に近接する位相差検出画素の画素値（Ｉ_Ｄ４３２）とに基づいて算出される。また、式１に示すように、画素値（Ｉ_Ｄ４３１）および画素値（Ｉ_Ｄ４３２）には、算出対象の遮光領域と各位相差検出画素の受光位置（白色の楕円の位置）との間のの距離に応じて重みを付ける重み係数（式１における数値「２」、「１」）を乗じている。このように重み係数を用いて計算をすることにより、算出精度を向上させることができる。

また、式２に示すように、位相差検出画素のＷ値は、算出対象の遮光領域を備える位相差検出画素の画素値（Ｉ_Ｄ４３１）と、算出対象の遮光領域に入射する光に係る画素値（Ｓ_Ｄ４３１）との合算により算出される。なお、Ｗ値は、可視光領域の光を全て受光する画像生成画素の画素値を想定した値なため、Ｇ値、Ｒ値、Ｂ値よりも高い値になってしまう。そこで、式２に示すように、位相差検出画素の画素値（Ｉ_Ｄ４３１）と遮光領域画素値（Ｓ_Ｄ４３１）とを合算した値から「２」を除算することにより、Ｗ値の階調のレンジをＧ値の階調のレンジに近くしている。

図６（ｂ）には、射出瞳の左右に瞳分割された光のうちの右半分の光を遮光し左半分の瞳分割された光を受光する位相差検出画素（位相差検出画素４３２）のＷ値の算出の一例が模式的に示されている。すなわち、同図（ｂ）では、同図（ａ）において算出方法を示した位相差検出画素と対に配置される位相差検出画素におけるＷ値の算出を示す。

位相差検出画素４３２の遮光領域画素値（Ｓ_Ｄ４３２）の算出は、位相差検出画素４３１の遮光領域画素値（Ｓ_Ｄ４３１）と同様にして、例えば、次の式３を用いて算出される。また、位相差検出画素４３２のＷ値（Ｗ_Ｄ４３２）の算出も、位相差検出画素４３１のＷ値（Ｗ_Ｄ４３１）と同様にして、例えば、次の式４を用いて算出される。
Ｓ_Ｄ４３２＝（Ｉ_Ｄ４３２×２＋Ｉ_Ｄ４３１×１）／３ ・・・式３
Ｗ_Ｄ４３２＝（Ｉ_Ｄ４３２＋Ｓ_Ｄ４３２）／２ ・・・式４

同図（ｂ）において、遮光領域画素値（Ｓ_Ｄ４３２）は、領域４３７が受光した光に係る画素値に対応する。また、位相差検出画素４３２のＷ値（Ｗ_Ｄ４３２）は、位相差検出画素４３２をＷ画素として模式的に示すＷ画素４３８に係る画素値に対応する。

図６（ｃ）には、射出瞳の上下に瞳分割された光のうちの上半分の光を遮光し、下半分の瞳分割された光を受光する位相差検出画素（位相差検出画素４４１）のＷ値の算出の一例が模式的に示されている。

位相差検出画素４４１のＷ値の算出は、同図（ａ）および（ｂ）において示した位相差検出画素４３１および４３２のＷ値の算出と同様に、まず、位相差検出画素４４１の遮光領域画素値を算出する。そして、位相差検出画素４４１の画素値と、算出した遮光領域画素値とを合算して位相差検出画素４４１のＷ値を算出する。

位相差検出画素４４１の遮光領域画素値（Ｓ_Ｄ４４１）の算出は、例えば、次の式５を用いて算出される。また、位相差検出画素４４１のＷ値（Ｗ_Ｄ４４１）は、例えば、次の式６を用いて算出される。
Ｓ_Ｄ４４１＝（Ｉ_Ｄ４４１×１＋Ｉ_Ｄ４４２×１）／２ ・・・式５
Ｗ_Ｄ４４１＝（Ｉ_Ｄ４４１＋Ｓ_Ｄ４４１）／２ ・・・式６
ここで、Ｉ_Ｄ４４１は、Ｗ値の算出対象である位相差検出画素４４１の画素値である。また、Ｉ_Ｄ４４２は、位相差検出画素４４１の遮光領域に最も近接している位相差検出画素（左右の２つ）のうち位相差検出画素４４１と対として用いられる位相差検出画素４４２の画素値である。

同図（ｃ）において、遮光領域画素値（Ｓ_Ｄ４４１）は、領域４４３が受光した光に係る画素値に対応する。また、位相差検出画素４４１のＷ値（Ｗ_Ｄ４４１）は、位相差検出画素４４１をＷ画素として模式的に示すＷ画素４４４に係る画素値に対応する。

式５に示すように、遮光領域の画素値（Ｓ_Ｄ４３２）は、同図（ａ）の式１と同様に、算出対象の遮光領域を備える位相差検出画素の画素値と、算出対象の遮光領域に近接する位相差検出画素（一対となる位相差検出画素）の画素値とに基づいて算出される。なお式５においては、位相差検出画素４４１および４４２における受光位置は、算出対象の遮光領域に対して同じ距離にあるため、等しい値の重み係数（「１」）が用いられている。

また、式６は、同図（ａ）において示した式２と同様であるため、ここでの説明を省略する。

図６（ｄ）には、射出瞳の上下に瞳分割された光のうちの下半分の光を遮光し、上半分の瞳分割された光を受光する位相差検出画素（位相差検出画素４４２）のＷ値の算出の一例が模式的に示されている。すなわち、同図（ｄ）では、同図（ｃ）において算出方法を示した位相差検出画素と対に配置される位相差検出画素におけるＷ値の算出を示す。

位相差検出画素４４２の遮光領域画素値（Ｓ_Ｄ４４２）およびＷ値（Ｗ_Ｄ４４２）の算出方法は、同図（ｃ）において示した位相差検出画素４４１の算出方法と同様である。位相差検出画素４４２の遮光領域画素値（Ｓ_Ｄ４４２）は、例えば、次の式７を用いて算出される。また、位相差検出画素４４２のＷ値（Ｗ_Ｄ４４２）は、例えば、次の式８を用いて算出される。
Ｓ_Ｄ４４２＝（Ｉ_Ｄ４４２×１＋Ｉ_Ｄ４４１×１）／２ ・・・式７
Ｗ_Ｄ４４２＝（Ｉ_Ｄ４４２＋Ｓ_Ｄ４４２）／２ ・・・式８

同図（ｄ）において、遮光領域画素値（Ｓ_Ｄ４４２）は、領域４４７が受光した光に係る画素値に対応する。また、位相差検出画素４４２のＷ値（Ｗ_Ｄ４４２）は、位相差検出画素４４２をＷ画素として模式的に示すＷ画素４４８に係る画素値に対応する。

このように、位相差検出画素のＷ値は、遮光層により遮光された光に係る画素値を算出し、その算出した画素値と、算出対象の位相差検出画素の画素値（判定画素値）とを合算することにより算出される。

図６（ｅ）には、射出瞳を左右に瞳分割する位相差検出画素が配置される行（行４５１）において、この行に配置される位相差検出画素の画素値に基づいて各位相差検出画素のＷ値が算出されることが模式的に示されている。

また、図６（ｆ）には、射出瞳を左右に瞳分割する位相差検出画素が配置される行（行４６１）において、この行に配置される位相差検出画素の画素値に基づいて各位相差検出画素のＷ値が算出されることが模式的に示されている。

同図（ｅ）および同図（ｆ）に示すように、位相差検出画素は行単位で配置されるため、位相差検出画素Ｗ値算出部３１０は、位相差検出画素のＷ値を行単位で算出する。

［Ｒ、Ｂ画素Ｗ算出部によるＲ画素およびＢ画素のＷ値の算出例］
図７は、本発明の第１の実施の形態におけるＲ、Ｂ画素Ｗ算出部３３０によるＲ画素およびＢ画素のＷ値の算出の一例を模式的に示す図である。

なお、Ｒ画素のＷ値の算出方法と、Ｂ画素のＷ値の算出方法とは同様であるため、ここでは、Ｒ画素の例について説明する。

同図（ａ）には、Ｗ値の算出対象のＲ画素を中心とした９×９画素が示されている。なお、同図（ａ）において、位相差検出画素については、位相差検出画素Ｗ値算出部３１０によりＷ値が算出されているため、Ｗの符号を付した正方形（以降は、Ｗ画素と称する）により示す。また、同図（ａ）では、Ｗ値の算出対象のＲ画素が、灰色のＲ画素（Ｒ画素４７１）として示されている。さらに、同図（ａ）では、Ｗ画素が太線で囲まれている。

同図（ｂ）には、Ｒ、Ｂ画素Ｗ算出部３３０がＲ画素のＷ値を算出する際に、Ｗ値の算出対象のＲ画素を中心とした９×９画素内の位相差検出画素の距離情報により特定される距離に基づいて作成されるヒストグラムが示されている。なお、同図（ｂ）では、距離情報が示す値を１５階級に分類して集計した一例を示す。

すなわち、同図（ｂ）では、横軸を１５階級に分類した距離を示す軸とし、縦軸を度数（頻度）を示す軸として、Ｗ値の算出対象のＲ画素を中心とした９×９画素内の位相差検出画素の距離情報が１５階級に分類されたヒストグラムが示されている。また、同図（ｂ）では、最も度数が高い階級（階級４７３）と、この階級の距離を基準とした所定の閾値（閾値４７２）とが示されている。

同図（ｃ）には、Ｒ、Ｂ画素Ｗ算出部３３０により算出されたＲ画素４７１のＷ値が模式的に示されている。この同図（ｃ）では、Ｒ、Ｂ画素Ｗ算出部３３０により算出されたＲ画素４７１のＷ値が点を付した領域（Ｗ値４７６）に示されている。また、撮像素子２１０により生成されたＲ画素４７１のＲ値（Ｒ値４７５）が示されている。

ここで、Ｒ、Ｂ画素Ｗ算出部３３０によるＲ画素のＷ値の算出の流れについて説明する。まず、Ｒ、Ｂ画素Ｗ算出部３３０は、Ｒ画素４７１のＷ値を算出するために、位相差検出画素の選択を行う。この選択は、Ｗ値の算出対象のＲ画素を中心とした所定範囲内（同図では、９×９画素の例を示す）に配置されている位相差検出画素の距離情報に基づいて作成されたヒストグラムを用いて行われる。なお、同図（ａ）において、９×９画素内に配置されている位相差検出画素が太線が付されたＷ画素として示されている。また、同図（ｂ）において、位相差検出画素の距離情報に作成されるヒストグラムが示されている。

そして、Ｒ、Ｂ画素Ｗ算出部３３０は、最も頻度が高い階級（階級４７３）と、この階級の距離を基準とした所定の閾値（閾値４７２）以内の距離に属する階級とを決定する。同図（ｂ）では、最も度数が高い階級（階級４７３）と、この階級の距離を基準とした所定の閾値（閾値４７２）以内の距離の階級とが、灰色の階級として示されている。

続いて、Ｒ、Ｂ画素Ｗ算出部３３０は、決定された階級（同図（ｂ）の灰色の階級）に属する位相差検出画素のＷ値の平均値を算出し、この平均値をＲ画素４７１のＷ値とする。同図（ｃ）では、算出されたＲ画素４７１のＷ値が、Ｗ値４７６として示されている。

このように、Ｒ、Ｂ画素Ｗ算出部３３０では、算出対象のＲ画素を中心とした所定範囲内に配置されている位相差検出画素の距離情報に基づいて、距離（撮像装置に対する撮像された物の距離）が算出対象のＲ画素と近い位相差検出画素が検出される。そして、その検出された位相差検出画素のＷ値の平均値が、算出対象のＲ画素のＷ値とされる。すなわち、距離情報を用いて撮像された物を識別することにより、Ｒ、Ｂ画素Ｗ算出部３３０は、算出対象のＲ画素のＷ値の補間の精度を向上させている。

なお、閾値４７２は、位相差検出画素に関する距離情報の値の最大値と、最小値との間の差により決定される。例えば、この差が大きい場合には閾値は大きくなり、一方、この差が小さい場合には閾値は小さくなる。また、ヒストグラムを作成する際の階級の数および階級の距離間隔も同じようにして決定される。なお、閾値、階級の数、階級の距離間隔は、Ｗ値の算出対象の画素を中心とした所定範囲内の画素に関する距離情報から決定する場合も考えられる。

また、ヒストグラムは、算出対象のＲ画素と距離情報により特定される距離が近い位相差検出画素を検出する手法の一例であり、これに限定されるものではない。例えば、算出対象のＲ画素の距離情報を、このＲ画素に近接する位相差検出画素の距離情報から算出し、この算出した距離情報に近い距離情報を備える位相差検出画素を、検出する場合も考えられる。

［Ｒ、Ｂ画素Ｇ算出部によるＲ画素およびＢ画素のＧ値の算出例］
図８は、本発明の第１の実施の形態におけるＲ、Ｂ画素Ｇ算出部３４１によるＲ画素およびＢ画素のＷ値の算出の一例を模式的に示す図である。

なお、Ｒ画素のＧ値の算出方法と、Ｂ画素のＧ値の算出方法とは同様であるため、ここでは、Ｂ画素の例について説明する。

同図（ａ）には、Ｂ画素およびＧ画素が配置される行における９つの画素が模式的に示されている。同図（ａ）では、Ｇ値の算出対象のＢ画素（Ｂ画素６５０）を中心として、行方向に近接する９つの画素を示す。この９つの画素（Ｂ画素６１０、６３０、６５０、６７０、６９０および位相差検出画素６２０、６４０、６６０、６８０）は、Ｂ画素６５０のＷ値を算出する際に用いられる画素値を保持する画素である。

同図（ｂ）には、Ｒ、Ｂ画素Ｇ算出部３４１によるＢ画素６５０のＧ値の算出の一例が、同図（ａ）において示した９つの画素の画素値とともに示されている。

同図（ｂ）の１行に配置されている９つの画素の内部に示すように、Ｒ、Ｂ画素Ｇ算出部３４１がＧ値を算出する際において、Ｂ画素の画素値は、撮像素子２１０により生成されたＢ値と、Ｒ、Ｂ画素Ｗ値算出部３３０により算出されたＷ値とにより構成される。また、Ｇ（Ｇｂ）画素の画素値は、撮像素子２１０により生成されたＧ値と、Ｒ、Ｂ画素Ｗ値算出部３３０により算出されたＷ値とにより構成される。

同図（ｂ）では、各Ｂ画素（６１０、６３０、６５０、６７０、６９０）のＢ値が、Ｂ値６１３、６３３、６５３、６７３、６９３により示され、各Ｂ画素のＷ値が、Ｗ値６１４、６３４、６５４、６７４、６９４により示されている。

また、同図（ｂ）では、各Ｇｂ画素（６２０、６４０、６６０、６８０）のＧ値が、Ｇ値６２１、６４１、６６１、６８１により示され、各Ｇｂ画素のＷ値が、Ｗ値６２４、６４４、６６４、６８４により示されている。

ここで、Ｒ、Ｂ画素Ｇ算出部３４１によるＢ画素６５０のＧ値の算出について説明する。Ｂ画素６５０のＧ値の算出において、Ｒ、Ｂ画素Ｇ算出部３４１は、Ｇ値とＷ値との間の高い相関と、Ｂ画素６５０のＷ値とに基づいてＧ値を算出する。

Ｂ画素６５０のＧ値（Ｇ_Ｂ６５０）は、例えば、次の式９乃至１１を用いて算出される。
Ｇ_Ｂ６５０＝（Ｇ_ｍ／Ｗ_ｍ）×Ｗ_Ｂ６５０ ・・・式９
Ｇ_ｍ＝ａ×Ｇ_Ｇ６２０＋ｂ×Ｇ_Ｇ６４０＋ｃ×Ｇ_Ｇ６６０＋ｄ×Ｇ_Ｇ６８０ ・・・式１０
Ｗ_ｍ＝ｅ×Ｗ_Ｂ６１０＋ｆ×Ｗ_Ｂ６５０＋ｇ×Ｗ_Ｂ６９０ ・・・式１１
ここで、Ｇ_Ｇ６２０は、Ｇ画素６２０のＧ値である。また、Ｇ_Ｇ６４０はＧ画素６４０のＧ値であり、Ｇ_Ｇ６６０はＧ画素６６０のＧ値であり、Ｇ_Ｇ６８０はＧ画素６８０のＧ値である。また、Ｗ_Ｂ６１０はＢ画素６１０のＷ値であり、Ｗ_Ｂ６５０はＢ画素６５０のＷ値であり、Ｗ_Ｂ６９０はＢ画素６９０のＷ値である。

また、ａ乃至ｇは、重み係数である。この重み係数ａ乃至ｇは、例えば、次の式１２乃至１４の関係を満たすように設定される。
ａ＋ｂ＋ｃ＋ｄ＝ｅ＋ｆ＋ｇ ・・・式１２
ａ＝ｄ＜ｂ＝ｃ ・・・式１３
ｅ＝ｇ＜ｆ ・・・式１４
重み係数ａ乃至ｇは、例えば、Ｇ値の算出対象の画素の位置と、各画素値を保持する画素の位置との間の関係に応じて設定される。すなわち、Ｇ_ｍは、Ｂ画素６５０の位置を基準として、低域通過フィルタをかけて算出されたＧ値の低周波成分である。また、Ｗ_ｍは、Ｂ画素６５０の位置を基準として、低域通過フィルタをかけて算出されたＷ値の低周波成分である。

ここでは、重み係数ａおよびｄの値が「１」であり、重み係数ｂおよびｃの値が「３」であり、重み係数ｅおよびｇの値が「１」であり、重み係数ｆの値が「６」であることを想定する。なお、この場合において、式１０および式１１は、次の式１５および式１６となる。
Ｇ_ｍ＝１×Ｇ_Ｇ６２０＋３×Ｇ_Ｇ６４０＋３×Ｇ_Ｇ６６０＋１×Ｇ_Ｇ６８０ ・・・式１５
Ｗ_ｍ＝１×Ｗ_Ｂ６１０＋６×Ｗ_Ｂ６５０＋１×Ｗ_Ｂ６９０ ・・・式１６

上記の式９の右辺におけるＧ_ｍ／Ｗ_ｍは、Ｂ画素６５０の位置を基準としたＧ値の低周波成分と、Ｂ画素６５０の位置を基準としたＷ値の低周波成分との間の相関を示す。すなわち、上記の式９に示すように、Ｂ画素６５０のＧ値は、この低周波成分の相関関係と、Ｂ画素６５０のＷ値に基づいて算出される。

なお、同図（ｂ）において、Ｂ画素６５０のＧ値（Ｇ_Ｂ６５０）は、矢印の下に示してあるＢ画素６５０に示すＧ値６５１（点を付した領域）に対応する。また、Ｇ値（Ｇ_Ｂ６５０）の算出の際に用いられる各画素値は、１行に配置されている９つの画素における太線が付与された画素値（Ｗ値６１４、６５４、６９４およびＧ値６２１、６４１、６６１、６８１）に対応する。

なお、Ｇ_ｍおよびＷ_ｍの算出は、一例であり、他にも様々な重み係数の設定の仕方（低域通過フィルタのかけかた）が考えられる。

また、Ｒ画素およびＢ画素のＷ値の算出の方法は、これに限定されるものではなく、例えば、図７において示したように、ヒストグラムを用いて算出する方法なども考えられる。

ここで、位相差検出画素Ｇ値算出部３４２、Ｒ値算出部３６０、および、Ｂ値算出部３７０における各補間について簡単に説明する。

位相差検出画素Ｇ値算出部３４２、Ｒ値算出部３６０、および、Ｂ値算出部３７０においては、図７において示したＲ、Ｂ画素Ｗ算出部３３０によるＲ画素およびＢ画素のＷ値の算出と同様にして各補間が行われる。

すなわち、画像生成画素の距離情報を、画像生成画素に近接する位相差検出画素の距離情報から算出する。そして、この算出した距離情報に基づいてヒストグラムが作成され、このヒストグラムから画素値を参照する画素が決定され、参照する画素の補間の対象色の画素値の平均値が算出されることにより補間が行われる。

［Ｗ値を用いるデモザイク処理例］
図９は、本発明の第１の実施の形態の撮像装置１００におけるデモザイク部３００によるＷ値を用いるデモザイク処理の一例と、従来の撮像装置におけるデモザイク処理の一例とを示す模式図である。なお、同図では、説明の便宜上、６行×６列の画素の領域を示して説明する。

同図（ａ）には、従来の撮像装置におけるデモザイク処理の一例が示されている。なお、同図（ａ）では、説明の便宜上、撮像素子における画素の配置は、本発明の実施の形態と同様の配置であることを想定する。同図（ａ）では、撮像素子における画素配置を示す領域（領域７１７）と、デモザイク処理に用いられる画素値を示す領域（領域７１８）と、デモザイク処理の結果を示す領域（領域７１９）とが示されている。

本発明の実施の形態と同様の画素配置の撮像素子（同図（ａ）の領域７１７）を備える従来の撮像装置においては、画像生成画素が生成する画素値のみを用いてデモザイク処理が行われる。位相差検出画素が生成する画素値については、位相差の検出にのみ用いられる。

すなわち、領域７１８に示すように、デモザイク処理においては、画像生成画素が生成した画素値（領域７１８における太線で囲んだ１８個の画素の画素値）に基づいて、画像生成画素および位相差検出画素の位置の色情報が補間（デモザイク処理）される。領域７１９に示すように、画像生成画素が生成する画素値のみを用いてデモザイク処理をしても、全ての画素の色情報（Ｒ値、Ｇ値、Ｂ値）は補間される。

しかしながら、領域７１８に示すように画像生成画素が生成する画素値のみを用いているため、補間に用いられる情報（画素値）の数が、位相差検出画素の分だけ少ない。このため、位相差検出画素の数と画像生成画素の数が等しくなる本発明の実施の形態の撮像素子（撮像素子２１０）の画像データをデモザイク処理する場合には、補間に用いられる情報の数が少なくなり、デモザイク処理の精度の劣化が起こる。

同図（ｂ）には、本発明の第１の実施の撮像装置１００におけるデモザイク処理の一例が示されている。同図（ｂ）では、撮像素子２１０における画素配置を示す領域（領域７１１）と、デモザイク処理に用いられる画素値を示す領域（領域７１２）と、デモザイク処理の結果を示す領域（領域７１３）とが示されている。なお、領域７１２において、位相差検出画素の画素値は、位相差検出画素Ｗ値算出部３１０により算出されたＷ値として示す。

本発明の第１の実施の撮像装置１００においては、位相差検出画素の画素値から位相差検出画素のＷ値を算出し、この算出した位相差検出画素のＷ値と、画像生成画素が生成する画素値とを用いてデモザイク処理が行われる。すなわち、領域７１２に示すように、デモザイク処理において、領域７１２における太線で囲んだ３６個の画素の画素値に基づいて、画像生成画素および位相差検出画素の位置の色情報が補間される。領域７１３には、全ての画素の色情報（Ｒ値、Ｇ値、Ｂ値）が補間されることが示されている。

このように、本発明の第１の実施の形態の撮像装置１００では、位相差検出画素の画素値から位相差検出画素のＷ値を算出し、このＷ値をデモザイク処理に用いる。このため、補間に用いられる情報の数が多くなり、デモザイク処理の精度を向上させることができる。

［距離情報を用いるデモザイク処理例］
図１０は、本発明の第１の実施の形態の撮像装置１００におけるデモザイク部３００による距離情報を用いるデモザイク処理の一例と、従来の撮像装置におけるデモザイク処理の一例とを示す模式図である。なお、従来の撮像装置については、図９（ａ）において示したものとどうようのものを想定して説明する。

同図（ａ）には、従来の撮像装置によるデモザイク処理の後の撮像画像（撮像画像７２９）が示されている。この撮像画像７２９には、撮像装置からの距離が異なる２つのビルが、一部が重なるように撮像されていることが示されている。なお、この２つのビルは、外壁の色が類似しているビルを想定する。また、撮像画像７２９では、２つのビル間におけるエッジが潰れてしまっていることが、２つのビル間におけるエッジを点線（点線７２８）により示すことで表現されている。

従来の撮像装置におけるデモザイク処理では、所定の範囲内に配置されている画素の画素値に基づいて色情報が補間される。すなわち、画素値を参照する画素が、補間対象の画素が撮像した物体と異なる物体を撮像した画素であるか否かは判断されない。このため、撮像装置からの距離が異なる同じ色の物体が隣接している箇所付近の画素（撮像画像７２９の２つのビル間におけるエッジ付近の画素）においては、隣接している物体を同一の物体と判別するような相関の判定ミスが発生する。

これにより、従来の撮像装置におけるデモザイク処理では、補間の精度が悪くなる問題が発生する。

同図（ｂ）には、本発明の第１の実施の撮像装置１００によるデモザイク処理の後の撮像画像（撮像画像７２１）が示されている。なお、同図（ｂ）における被写体は、同図（ａ）における被写体と同一のもの（２つのビル）であることとして説明する。撮像画像７２１では、２つのビル間におけるエッジがシャープになっていることが、２つのビル間におけるエッジを実線（線７２２）により示すことで表現されている。

本発明の第１の実施におけるデモザイク処理では、距離情報を用いて画素値を参照する画素を選択する。すなわち、画素値を参照する画素が、補間対象の画素が撮像した物体と同じ物体を撮像した画素であるか否かが判断される。そして、同じ物体を撮像した画素の画素値を参照して、補間対象の画素の画素値が補間される。

すなわち、撮像装置からの距離が異なる同じ色の物体が隣接している箇所付近の画素（撮像画像７２１の２つのビル間におけるエッジ付近の画素）においては、距離情報を用いて画素が撮像した物体が識別される。そして、補間対象の画素と同じ物体を撮像した画素の画素値を参照して画素値の補間が行われる。これにより、同じ色の物体が隣接している箇所のエッジ（線７２２）がシャープになる（補間の精度が向上する）。

このように、本発明の第１の実施の形態の撮像装置１００では、デモザイク処理において、距離情報を用いて画素値を参照する画素を選択することにより、デモザイク処理の精度を向上させることができる。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１１は、本発明の第１の実施の形態における撮像装置１００による撮像処理手順例を示すフローチャートである。同図では、撮像素子２１０が被写体を撮像し、この撮像による撮像画像が記録部２８２に保持されるまでの流れを示す。

まず、撮像素子２１０により、被写体が撮像される撮像処理が行われる（ステップＳ９１１）。そして、アナログ信号処理部２２０により、撮像素子２１０が撮像により生成したアナログの画像信号（アナログ画像信号）に所定のアナログ信号処理を施すアナログ信号処理が行われる（ステップＳ９１２）。

その後、Ａ／Ｄ変換部２３０により、アナログ信号処理部２２０におけるアナログ信号処理後のアナログ画像信号が、デジタルの画像信号に変換されるＡ／Ｄ変換処理が行われる（ステップＳ９１３）。続いて、黒レベル処理部２４０により、Ａ／Ｄ変換部２３０においてデジタル化された画像信号の黒レベルを補正する黒レベル補正処理が施される（ステップＳ９１４）。

そして、画像補正部２５０により、黒レベル補正後の画像信号に、欠陥補正、シェーディング補正、および混色補正等の補正を施す画像補正処理が行われる（ステップＳ９１５）。その後、距離情報算出部２６０により、画像補正部２５０から供給される位相差検出画素の画像信号に基づいて、位相差検出画素の配置箇所における距離情報が算出される距離情報算出処理が行われる（ステップＳ９１６）。

続いて、ＷＢ処理部２７０により、画像補正部２５０から供給される画像信号におけるホワイトバランス（ＷＢ）を補正するＷＢ処理が行われる（ステップＳ９１７）。そして、γ補正部２７５により、ＷＢ処理後の画像信号に対してγ補正処理が行われる（ステップＳ９１８）。その後、デモザイク部３００により、γ補正後の画像信号（画像データ）と、距離情報とに基づいて、各画素位置にＲ、Ｇ、Ｂの全てのチャネルが揃うようにデモザイク処理が行われる（ステップＳ９３０）。なお、デモザイク処理（ステップＳ９３０）については、図１２を参照して説明する。

そして、表示部２８１により、デモザイク処理後の撮像画像が表示される（ステップＳ９１９）。また、記録部２８２により、デモザイク処理後の撮像画像が記録される（ステップＳ９２１）。そして、撮像処理手順は終了する。

図１２は、本発明の第１の実施の形態の撮像処理動作におけるデモザイク処理（ステップＳ９３０）の処理手順例を示すフローチャートである。

まず、位相差検出画素Ｗ値算出部３１０により、位相差検出画素におけるＷ値（位相差検出画素Ｗ値）が算出される位相差検出画素Ｗ値算出処理が行われる（ステップＳ９４０）。なお、位相差検出画素Ｗ値算出処理（ステップＳ９４０）については、図１３を参照して説明する。なお、ステップＳ９４０は、特許請求の範囲に記載の推定手順の一例である。

続いて、Ｒ、Ｂ画素Ｗ値算出部３３０により、位相差検出画素Ｗ値と、距離情報算出部２６０から供給される距離情報とに基づいて、画像生成画素のうちのＲ画素およびＢ画素におけるＷ値が算出される画像生成画素Ｗ値算出処理が行われる（ステップＳ９５０）。なお、画像生成画素Ｗ値算出処理（ステップＳ９５０）については、図１４を参照して説明する。

そして、Ｒ、Ｂ画素Ｇ値算出部３４１および位相差検出画素Ｇ値算出部３４２により、位相差検出画素、Ｒ画素、および、Ｂ画素のＧ値が算出されるＧ値算出処理が行われる（ステップＳ９６０）。なお、Ｇ値算出処理（ステップＳ９６０）については、図１５を参照して説明する。

その後、Ｒ値算出部３６０により、位相差検出画素、Ｇ画素、および、Ｂ画素のＲ値が算出されるＲ値算出処理が行われる（ステップＳ９７０）。なお、Ｒ値算出処理（ステップＳ９７０）については、図１６を参照して説明する。

続いて、Ｂ値算出部３７０により、位相差検出画素、Ｒ画素、および、Ｇ画素のＢ値が算出されるＢ値算出処理が行われる（ステップＳ９８０）。なお、Ｂ値算出処理（ステップＳ９８０）については、図１７を参照して説明する。なお、ステップＳ９５０、Ｓ９６０、Ｓ９７０、および、Ｓ９８０は、特許請求の範囲に記載の補間手順の一例である。

そして、画像合成部３８０により、ＲＧＢ画像が合成され、合成されたＲＧＢ画像が出力されて（ステップＳ９３１）、デモザイク処理手順は終了する。

図１３は、本発明の第１の実施の形態の位相差検出画素Ｗ値算出部３１０による位相差検出画素Ｗ値算出処理（ステップＳ９４０）の処理手順例を示すフローチャートである。

まず、Ｗ値を算出するか否か判定する対象の画素（判定対象画素）の位置が、判定を開始する行（開始行）の開始する列（開始列）の位置に設定される（ステップＳ９４１）。続いて、判定対象画素が配置されている行（判定対象の行）が位相差検出画素が配置される行であるか否かが判断される（ステップＳ９４２）。

そして、判定対象の行は位相差検出画素が配置される行であると判断された場合には（ステップＳ９４２）、判定対象画素が位相差検出画素であるか否かが判断される（ステップＳ９４３）。そして、判定対象画素が位相差検出画素でないと判断された場合には（ステップＳ９４３）、ステップＳ９４６に進む。

一方、判定対象画素が位相差検出画素であると判断された場合には（ステップＳ９４３）、その位相差検出画素に備えられている遮光領域に関する画素値（遮光領域画素値）が算出される（ステップＳ９４４）。なお、遮光領域画素値は、例えば、図６において示した式１、３、５、７を用いて算出される。続いて、その位相差検出画素のＷ値が算出される（ステップＳ９４５）。なお、位相差検出画素のＷ値は、例えば、図６において示した式２、４、６、８を用いて算出される。

その後、判定対象画素の位置が判定をする最後の列（最終列）であるか否かが判断される（ステップＳ９４６）。そして、判定対象画素の位置は最終列であると判断された場合には（ステップＳ９４６）、ステップＳ９４８に進む。

一方、判定対象画素の位置は最終列でないと判断された場合には（ステップＳ９４６）、判定対象画素の位置が１列シフトされた後に（ステップＳ９４７）、ステップＳ９４３に戻る。

また、判定対象の行は位相差検出画素が配置される行でない（画像生成画素の行である）と判断された場合には（ステップＳ９４２）、その判定対象の行が、判定をする最後の行（最終行）であるか否かが判断される（ステップＳ９４８）。そして、判定対象の行は最終行でないと判断された場合には（ステップＳ９４８）、判定対象画素の位置が、判定対象の行を１行シフトした後の行における開始列の位置に設定された後に（ステップＳ９４９）、ステップＳ９４２に戻り、判定が継続される。

一方、判定対象の行は最終行であると判断された場合には（ステップＳ９４８）、位相差検出画素Ｗ値算出処理手順は終了する。

図１４は、本発明の第１の実施の形態のＲ、Ｂ画素Ｗ値算出部３３０による画像生成画素Ｗ値算出処理（ステップＳ９５０）の処理手順例を示すフローチャートである。

まず、Ｗ値を算出するか否か判定する対象の画素（判定対象画素）の位置が、判定を開始する列（開始列）の開始する行（開始行）の位置に設定される（ステップＳ９５１）。次に、判定対象画素が位相差検出画素であるか否かが判断される（ステップＳ９５２）。そして、判定対象画素が位相差検出画素であると判断された場合には（ステップＳ９５２）、ステップＳ９５６に進む。

一方、判定対象画素が位相差検出画素でない（画像生成画素である）と判断された場合には（ステップＳ９５２）、判定対象画素がＧ画素であるか否かが判断される（ステップＳ９５３）。そして、判定対象画素がＧ画素であると判断された場合には（ステップＳ９５３）、ステップＳ９５６に進む。

一方、判定対象画素がＧ画素でない（Ｒ画素またはＢ画素である）と判断された場合には（ステップＳ９５３）、距離情報を用いたヒストグラムに基づいて、判定対象画素（Ｒ画素またはＢ画素）のＷ値が算出される（ステップＳ９５５）。なお、Ｒ画素またはＢ画素のＷ値の算出は、例えば、図７において説明したように算出される。

続いて、判定対象画素の位置が判定をする最後の行（最終行）であるか否かが判断される（ステップＳ９５６）。そして、判定対象画素の位置は最終行でないと判断された場合には（ステップＳ９５６）、判定対象画素の位置が１行シフトされた後に（ステップＳ９５７）、ステップＳ９５２に戻る。

一方、判定対象画素の位置は最終行であると判断された場合には（ステップＳ９５６）、その判定対象画素が配置される列（判定対象の列）が、判定をする最後の列（最終列）であるか否かが判断される（ステップＳ９５８）。そして、判定対象の列は最終列でないと判断された場合には（ステップＳ９５８）、判定対象画素の位置が、判定対象の列を１列シフトした後の列における開始行の位置に設定された後に（ステップＳ９５９）、ステップＳ９５２に戻り、判定が継続される。

また、判定対象の列は最終列であると判断された場合には（ステップＳ９５８）、画像生成画素Ｗ値算出処理手順は終了する。

図１５は、本発明の第１の実施の形態のＲ、Ｂ画素Ｇ値算出部３４１および位相差検出画素Ｇ値算出部３４２によるＧ値算出処理（ステップＳ９６０）の処理手順例を示すフローチャートである。

まず、Ｇ値を算出するか否か判定する対象の画素（判定対象画素）の位置が、判定を開始する行（開始行）の開始する列（開始列）の位置に設定される（ステップＳ９６１）。次に、判定対象画素がＧ画素であるか否かが判断される（ステップＳ９６２）。そして、判定対象画素がＧ画素であると判断された場合には（ステップＳ９６２）、ステップＳ９６６に進む。

一方、判定対象画素がＧ画素でないと判断された場合には（ステップＳ９６２）、判定対象画素が位相差検出画素であるか否かが判断される（ステップＳ９６３）。そして、判定対象画素が位相差検出画素であると判断された場合には（ステップＳ９６３）、画像生成画素の距離情報が設定された後に、距離情報を用いたヒストグラムを用いて、判定対象画素のＧ値が算出される（ステップＳ９６４）。そして、Ｇ値が算出された後に（ステップＳ９６４）、ステップＳ９６６に進む。

また、判定対象画素が位相差検出画素でない（Ｒ画素またはＢ画素である）と判断された場合には（ステップＳ９６３）、Ｗ値とＧ値との間の相関を用いてＧ値が算出される（ステップＳ９６５）。なお、Ｒ画素またはＢ画素のＧ値は、例えば、図８において示した式９乃至式１４を用いて算出される。

続いて、判定対象画素の位置が判定をする最後の列（最終列）であるか否かが判断される（ステップＳ９６６）。そして、判定対象画素の位置は最終列でないと判断された場合には（ステップＳ９６６）、判定対象画素の位置が１列シフトされた後に（ステップＳ９６７）、ステップＳ９６２に戻る。

一方、判定対象画素の位置は最終列であると判断された場合には（ステップＳ９６６）、その判定対象画素が配置される行（判定対象の行）が、判定をする最後の行（最終行）であるか否かが判断される（ステップＳ９６８）。そして、判定対象の行は最終行でないと判断された場合には（ステップＳ９６８）、判定対象画素の位置が、判定対象の行を１行シフトした後の行における開始列の位置に設定された後に（ステップＳ９６９）、ステップＳ９６２に戻って判定が継続される。

また、判定対象の行は最終行であると判断された場合には（ステップＳ９６８）、Ｇ値算出処理手順は終了する。

図１６は、本発明の第１の実施の形態のＲ値算出部３６０によるＲ値算出処理（ステップＳ９７０）の処理手順例を示すフローチャートである。

この処理手順におけるステップＳ９７１、ステップＳ９７６乃至ステップＳ９７９は、図１５において示したステップＳ９６１、ステップＳ９６６乃至ステップＳ９６９にそれぞれ対応するため、ここでの説明を省略する。

Ｒ値の判定対象画素の位置が、開始行の開始列の位置に設定されると（ステップＳ９７１）、判定対象画素がＲ画素であるか否かが判断される（ステップＳ９７２）。そして、判定対象画素がＲ画素であると判断された場合には（ステップＳ９７２）、ステップＳ９７６に進む。

一方、判定対象画素がＲ画素でないと判断された場合には（ステップＳ９７２）、画像生成画素の距離情報が設定された後に、距離情報を用いたヒストグラムを用いて、判定対象画素（位相差検出画素、Ｇ画素またはＢ画素）のＲ値が算出される（ステップＳ９７３）。そして、Ｒ値が算出された後に（ステップＳ９７３）、ステップＳ９７６に進む。なお、このＲ値の算出は、例えば、図７において説明したように算出される。

図１７は、本発明の第１の実施の形態のＢ値算出部３７０によるＢ値算出処理（ステップＳ９８０）の処理手順例を示すフローチャートである。

この処理手順におけるステップＳ９８１、ステップＳ９８６乃至ステップＳ９８９は、図１５において示したステップＳ９６１、ステップＳ９６６乃至ステップＳ９６９にそれぞれ対応するため、ここでの説明を省略する。

Ｂ値の判定対象画素の位置が、開始行の開始列の位置に設定されると（ステップＳ９８１）、判定対象画素がＢ画素であるか否かが判断される（ステップＳ９８２）。そして、判定対象画素がＢ画素であると判断された場合には（ステップＳ９８２）、ステップＳ９８６に進む。

一方、判定対象画素がＢ画素でないと判断された場合には（ステップＳ９８２）、画像生成画素の距離情報が設定された後に、距離情報を用いたヒストグラムを用いて、判定対象画素（位相差検出画素、Ｒ画素またはＧ画素）のＢ値が算出される（ステップＳ９８３）。そして、Ｂ値が算出された後に（ステップＳ９８３）、ステップＳ９８６に進む。なお、このＢ値の算出は、例えば、図７において説明したように算出される。

このように、本発明の第１の実施によれば、位相差検出画素の画素値と、位相差検出画素の画素値から生成された距離情報とをデモザイク処理に用いることにより、画像データの画質を向上させることができる。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、距離に関するヒストグラムを用いて位相差検出画素のＧ値を算出する例について説明した。しかしながら、これに限定されるものではなく、Ｗ値とＧ値の相関に基づいて算出してもよい。また、Ｒ値とＢ値についても、Ｗ値とＧ値との間の相関より精度が低くなる（Ｗ値とＧ値との間の相関が最も高い）ものの、Ｗ値とＲ値との間の相関や、Ｗ値とＢ値との間の相関に基づいて算出してもよい。

そこで、本発明の第２の実施の形態では、Ｇ画素のＷ値を算出し、その算出したＧ画素のＷ値を用いて位相差検出画素のＧ値を算出する例について、図１８乃至図２１を参照して説明する。

［デモザイク部の機能構成例］
図１８は、本発明の第２の実施の形態におけるデモザイク部８００の機能構成の一例を示すブロック図である。

なお、本発明の第２の実施の形態における撮像装置の各構成は、図２において示した本発明の第１の実施の撮像装置１００におけるデモザイク部３００の代わりにデモザイク部８００を設けたこと以外は撮像装置１００と同様である。このため、本発明の第２の実施の形態における撮像装置の各構成については、ここでの説明を省略する。

デモザイク部８００は、位相差検出画素Ｗ値算出部３１０と、Ｇ画素Ｗ値算出部８２０と、Ｒ、Ｂ画素Ｗ値算出部３３０と、Ｒ、Ｂ画素Ｇ値算出部３４１と、位相差検出画素Ｇ値算出部８４２とを備える。さらに、デモザイク部３００は、Ｒ値算出部３６０と、Ｂ値算出部３７０と、画像合成部３８０とを備える。なお、デモザイク部８００の各構成は、図３において示したデモザイク部３００の位相差検出画素Ｇ値算出部３４２に代えて位相差検出画素Ｇ値算出部８４２を備え、また、新たにＧ画素Ｗ値算出部８２０を備えること以外は、デモザイク部３００と同様である。そこで、ここでは、Ｇ画素Ｗ値算出部８２０および位相差検出画素Ｇ値算出部８４２についてのみ説明する。

Ｇ画素Ｗ値算出部８２０は、位相差検出画素Ｗ値算出部３１０から供給される位相差検出画素Ｗ値と、信号線２９０におけるＧ線２９４を介して供給されるＧ画素のＧ値（Ｇ画素Ｇ値）とに基づいて、Ｇ画素におけるＷ値（Ｇ画素Ｗ値）を算出するものである。このＧ画素Ｗ値算出部８２０は、算出したＧ画素Ｗ値を、位相差検出画素Ｇ値算出部８４２に供給する。なお、Ｇ画素Ｗ値算出部８２０によるＧ画素Ｗ値の算出については、図１９を参照して説明する。

位相差検出画素Ｇ値算出部８４２は、信号線２９０におけるＧ線２９４を介して供給されるＧ画素のＧ値（Ｇ画素Ｇ値）と、Ｇ画素Ｗ値算出部８２０から供給されるＧ画素Ｗ値とに基づいて、位相差検出画素Ｇ値を算出するものである。この位相差検出画素Ｇ値算出部８４２は、Ｗ値とＧ値との間の相関に基づいて位相差検出画素Ｇ値を算出する。位相差検出画素Ｇ値算出部８４２は、算出した位相差検出画素Ｇ値を、画像合成部３８０に供給する。

［Ｇ画素Ｗ値算出部８２０によるＧ画素のＷ値の算出例］
図１９は、本発明の第２の実施の形態におけるＧ画素Ｗ値算出部８２０によるＧ画素のＷ値の算出の一例を模式的に示す図である。

同図（ａ）には、Ｂ画素、Ｇｒ画素（同図では、Ｇ画素と称する）、および、位相差検出画素が配置される列における９つの画素が模式的に示されている。同図（ａ）では、Ｗ値の算出対象のＧ画素（Ｇ画素５５０）を中心として、列方向に近接する９つの画素を示す。なお、この９つの画素（Ｇ画素５１０、５５０、５９０、Ｂ画素５３０、５７０、および位相差検出画素５２０、５４０、５６０、５８０）は、Ｇ画素５５０のＷ値を算出する際に用いられる画素値を保持する画素である。

同図（ｂ）には、Ｇ画素Ｗ値算出部８２０によるＧ画素のＷ値の算出の一例が、同図（ａ）において示した９つの画素の画素値とともに示されている。

同図（ｂ）の１列に配置されている９つの画素の内部に示すように、Ｇ画素Ｗ値算出部８２０がＷ値を算出する際において、Ｇ画素の画素値はＧ値により構成され、Ｂ画素の画素値はＢ値により構成される。また、位相差検出画素の画素値は、位相差検出画素Ｗ値算出部３１０において算出されたＷ値により構成される。同図（ｂ）では、各Ｇ画素（Ｇ画素５１０、５５０、５９０）のＧ値が、Ｇ値５１１、５５１、５９１により示され、各Ｂ画素（Ｂ画素５３０、５７０）のＢ値が、Ｂ値５３３、５７３により示されている。また、位相差検出画素（位相差検出画素５２０、５４０、５６０、５８０）のＷ値が、Ｗ値５２４、５４４、５６４、５８４により示されている。

ここで、Ｇ画素Ｗ値算出部８２０によるＧ画素５５０のＷ値の算出について説明する。Ｇ画素５５０のＷ値の算出において、Ｇ画素Ｗ値算出部８２０は、Ｇ値とＷ値との間の相関関係と、Ｇ画素５５０のＧ値とに基づいてＷ値を算出する。

Ｇ画素５５０のＷ値（Ｗ_Ｇ５５０）は、例えば、次の式１７乃至１９を用いて算出される。
Ｗ_Ｇ５５０＝（Ｗ_ｍ／Ｇ_ｍ）×Ｇ_Ｇ５５０ ・・・式１７
Ｗ_ｍ＝ａ×Ｗ_Ｗ５２０＋ｂ×Ｗ_Ｗ５４０＋ｃ×Ｗ_Ｗ５６０＋ｄ×Ｗ_Ｗ５８０ ・・・式１８
Ｇ_ｍ＝ｅ×Ｇ_Ｇ５１０＋ｆ×Ｇ_Ｇ５５０＋ｇ×Ｇ_Ｇ５９０ ・・・式１９
ここで、Ｇ_Ｇ５５０は、Ｇ画素５５０のＧ値である。また、Ｇ_Ｇ５１０はＧ画素５１０のＧ値であり、Ｇ_Ｇ５９０はＧ画素５９０のＧ値である。また、Ｗ_Ｗ５２０は位相差検出画素（Ｗ画素と称する）５２０のＷ値であり、Ｗ_Ｗ５４０はＷ画素５４０のＷ値であり、Ｗ_Ｗ５６０はＷ画素５６０のＷ値であり、Ｗ_Ｗ５８０はＷ画素５８０のＷ値である。

また、ａ乃至ｇは、重み係数であり、図８において示したものと同様であるため、ここでの説明を省略する。

また、Ｗ_ｍは、Ｇ画素５５０の位置を基準として、低域通過フィルタをかけて算出されたＷ値の低周波成分であり、同様に、Ｇ_ｍは、Ｇ画素５５０の位置を基準として、低域通過フィルタをかけて算出されたＧ値の低周波成分である。

すなわち、式１７乃至式１９は、図８において示した式９乃至式１１のように、Ｇ値の低周波成分とＷ値の低周波成分との間の相関を用いてＷ値を算出する式である。上記の式１７に示すように、Ｇ画素５５０のＷ値は、Ｇ値およびＷ値における低周波成分の相関関係と、Ｇ画素５５０のＧ値に基づいて算出される。

なお、同図（ｂ）において、Ｇ画素５５０のＷ値（Ｗ_Ｇ５５０）は、矢印の右に示してあるＧ画素５５０に示すＷ値５５４（点を付した領域）に対応する。また、Ｗ値（Ｗ_Ｇ５５０）の算出の際に用いられる各画素値は、１列に配置されている９つの画素における太線が付与された画素値（Ｇ値５１１、５５１、５９１およびＷ値５２４、５４４、５６４、５８４）に対応する。

このように、Ｇ画素Ｗ値算出部８２０では、Ｇ値およびＷ値における低周波成分の相関関係と、Ｇ画素５５０のＧ値とに基づいてＧ画素Ｗ値が算出される。

なお、位相差検出画素Ｇ値算出部８４２も、図１９において示したように、Ｇ値およびＷ値における低周波成分の相関関係と、位相差検出画素のＷ値とに基づいて位相差検出画素Ｇ値が算出される。この位相差検出画素Ｇ値算出部８４２においては、算出対象の位相差検出画素に対して列方向に隣接する画素の配置に対応する低域通過フィルタが用いられる。

［撮像装置の動作例］
次に、本発明の第２の実施の形態におけるデモザイク部８００の動作について図面を参照して説明する。

図２０は、本発明の第２の実施の形態のＧ画素Ｗ値算出部８２０およびＲ、Ｂ画素Ｗ値算出部３３０による画像生成画素Ｗ値算出処理（ステップＳ９９１）の処理手順例を示すフローチャートである。

なお、この処理手順は、図１４の変形例であり、Ｇ画素Ｗ値算出部８２０によりＧ画素のＷ値が算出される点が異なる。また、この点以外については、図１４と同一であるため、図１４と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。

判定対象画素がＧ画素であると判断されると（ステップＳ９５３）、Ｇ画素Ｗ値算出部８２０により、Ｗ値とＧ値との間の相関を用いてＧ画素のＷ値が算出され（ステップＳ９９２）、その後に、ステップＳ９５６に進む。

図２１は、本発明の第２の実施の形態のＲ、Ｂ画素Ｇ値算出部３４１および位相差検出画素Ｇ値算出部８４２によるＧ値算出処理（ステップＳ９９５）の処理手順例を示すフローチャートである。なお、この処理手順は、図１５の変形例であり、位相差検出画素のＧ値が位相差検出画素Ｇ値算出部８４２により算出される点が異なる。また、この点以外については、図１５と同一であるため、図１５と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。

判定対象画素がＧ画素でないと判断されると（ステップＳ９６２）、Ｗ値とＧ値との間の相関を用いてＧ値が算出され（ステップＳ９９２）、その後、ステップＳ９６６に進む。なお、Ｒ画素またはＢ画素のＧ値は、例えば、図８において示した式９乃至式１４を用いて算出される。また、位相差検出画素のＧ値は、例えば、図１９における式１７乃至式１９のように、Ｇ値の算出対象の位相差検出画素に対して列方向に近接する画像生成画素のＧ値およびＷ値を用いて算出される。

このように、本発明の第２の実施の形態によれば、Ｇ値およびＷ値における低周波成分の相関関係と、Ｇ画素５５０のＧ値とに基づいてＧ画素Ｗ値を算出しても、本発明の第１の実施の形態と同様に、画像データの画質を向上させることができる。

＜３．変形例＞
本発明の第１および第２の実施の形態では、撮像素子における画素配置は、図４に示すように、画像生成画素が配置される行と位相差検出画素が配置される行とが交互に配置されるものを想定した。しかしながら、これに限定されるものではなく、他の画素配置の撮像素子を用いる場合においても、本発明の第１および第２の実施の形態と同様に実施することができる。また、位相差検出画素にカラーフィルタ画素が備えられる場合においても、本発明の第１および第２の実施の形態と同様に実施することができる。

そこで、図２２では、２列に配置された画像生成画素と、２列に配置された位相差検出画素とが交互に配置される撮像素子の例について説明する。また、図２３では、緑色（Ｇ）の光を透過するカラーフィルタ（Ｇフィルタ）が備えられる位相差検出画素が配置される撮像素子の例について説明する。

［撮像素子における画素の配置例］
図２２は、本発明の第１の実施の形態の変形例として、２列に配置された画像生成画素と、２列に配置された位相差検出画素とが交互に配置される撮像素子の画素配置の一例を示す模式図である。

同図は、本発明の第１の実施の形態における撮像素子２１０の画素配置を示した図４に対応する。すなわち図２２では、本発明の第３の実施の形態における撮像素子を構成する各画素のうちの一部の画素（１６行×１６列の画素）の領域（領域８６０）が示されている。領域８６０に示すように、本発明の第１の実施の形態の変形例では、画像生成画素が配置される２列と、位相差検出画素が配置される２列とが交互に配置される。すなわち、図２２に示すように、ｘ軸方向に、画像生成画素、画像生成画素、位相差検出画素、位相差検出画素、画像生成画素、画像生成画素、位相差検出画素、位相差検出画素…と交互に配置される。

このような画素配置の場合においては、Ｒ、Ｂ画素Ｇ値算出部３４１は、Ｇ値の算出対象の画素に対して列方向に近接する画素のＷ値およびＧ値を用いてＧ値を算出する（例えば、図１９において示したように算出）。これにより、本発明の第１の実施の形態と同様にデモザイク処理を実施することができる。

図２３は、本発明の第１の実施の形態の変形例として、Ｇフィルタが備えられた位相差検出画素が配置される撮像素子の画素配置の一例を示す模式図である。

同図は、図２２と同様に、本発明の第１の実施の形態における撮像素子２１０の画素配置を示した図４に対応する。

図２３において示す領域８７０には、Ｇフィルタが備えられた位相差検出画素（位相差検出画素８７５乃至８７８）が示されている。

このような画素配置の場合においては、位相差検出画素のＧ値は、図６において示した式１乃至式８のように、遮光領域に対応する画素値を算出し、その算出した画素値と、位相差検出画素の画素値とを合算することにより算出する。なお、Ｗ値ではなくＧ値が算出されるため、式２、４、６、８における「２」の除算は不要となる。

また、Ｒ画素およびＢ画素のＧ値は、距離情報に基づくヒストグラムから算出する。Ｒ値およびＢ値については、本発明の第１の実施の形態と同様に、距離情報に基づくヒストグラムから算出する。これにより、本発明の第１の実施の形態と同様にデモザイク処理を実施することができる。

このように、本発明の実施の形態では、位相差検出画素の画素値を用いてデモザイク処理をすることにより、画像データの画質を向上させることができる。すなわち、本発明の実施の形態では、位相差検出画素の画素値からＷ値を算出し、このＷ値を用いてデモザイク処理を行うことにより、デモザイク処理の際に参照することができる画素値の数が増え、解像度の向上や補間の精度が向上する。また、位相差検出画素の画素値から距離情報を算出し、この距離情報を用いてデモザイク処理を行うことにより、距離の異なる同色の物体を識別して補間することにより、補間の精度が向上する。

また、一般的に、Ｗフィルタを備えた画像生成画素（Ｗ画素）は飽和しやすい。このため、Ｗ画素を備える撮像装置では、Ｗ画素用の露光制御回路を備える。本発明の実施の形態では、瞳分割された光の一方が遮光される位相差検出画素の画素値からＷ値を推定することにより、露光制御回路を備えなくとも飽和しにくくなる（受光素子の受光面の飽和量の２倍まで蓄積できる）。そして、位相差検出画素の画素値からＷ値を推定し、このＷ値をデモザイク処理に用いることにより、Ｓ／Ｎ比（Signal/Noise ratio）を改善することができる。

また、本発明の実施の形態では、画像生成画素に備えられるカラーフィルタが３原色（ＲＧＢ）のカラーフィルタであることを想定して説明したが、これに限定されるものではない。例えば、画像生成画素に補色のカラーフィルタが備えられる場合においても、同様に適用できる。

また、本発明の実施の形態では、位相差検出画素は、２つに瞳分割された光の一方を受光することを想定して説明したが、これに限定されるものではない。例えば、２つの受光素子を備え、瞳分割された光をそれぞれの受光素子で受光することができる位相差検出画素を配置する場合においても、本発明の実施の形態を適用することにより、画像データの画質を向上させることができる。

また、本発明の実施の形態では、撮像装置を例にして説明したが、これに限定されるものではない。例えば、記録されたＲＡＷデータに基づいて、本発明の第１の実施において示した処理を撮像装置の外部の装置（例えば、パーソナルコンピュータ）において行ってもよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

２１０ 撮像素子
２２０ アナログ信号処理部
２３０ Ａ／Ｄ変換部
２４０ 黒レベル処理部
２５０ 画像補正部
２６０ 距離情報算出部
２７０ ＷＢ処理部
２７５ γ補正部
２８０ 画像処理部
２８１ 表示部
２８２ 記録部
３００ デモザイク部
３１０ 位相差検出画素Ｗ値算出部
３３０ Ｒ、Ｂ画素Ｗ値算出部
３４０ Ｇ値算出部
３４１ Ｒ、Ｂ画素Ｇ値算出部
３４２ 位相差検出画素Ｇ値算出部
３６０ Ｒ値算出部
３７０ Ｂ値算出部
３８０ 画像合成部
８００ デモザイク部
８２０ Ｇ画素Ｗ値算出部
８４２ 位相差検出画素Ｇ値算出部

Claims (11)

1. 合焦判定を行うための判定画素値を生成する位相差検出画素と画像を生成するための画像生成画素値を生成する画像生成画素とを備える撮像素子により生成される画像データであって前記判定画素値と前記画像生成画素値とを含む画像データにおける前記判定画素値に基づいて、前記撮像素子における前記位相差検出画素の位置に対応する前記画像生成画素値を推定する推定部と、
   前記判定画素値に基づいて算出されるデフォーカス量に基づく距離情報を前記位相差検出画素ごとに生成する距離情報生成部と、
   前記推定された画像生成画素値と前記距離情報と前記画像生成画素により生成された画像生成画素値とに基づいて、前記画像データを構成する各画素の画像生成画素値を補間する補間部と
   を具備する画像処理装置。
2. 前記補間部は、補間対象となる画素を基準画素として前記基準画素の補間対象となる色を対象色とし、前記距離情報を用いて前記基準画素の画像生成画素値を補間する場合には、前記位相差検出画素の距離情報に基づいて前記画像生成画素の距離情報を算出し、前記基準画素から一定範囲内に位置する画素のうち前記対象色に係る画像生成画素値を保持する画素を対象画素として、前記対象画素の距離情報により特定される距離が前記基準画素から所定範囲内にある前記対象画素を前記距離情報に基づいて検出し、当該検出された対象画素の前記対象色に係る画像生成画素値の平均値を前記基準画素の前記対象色に係る画像生成画素値とすることにより画像生成画素値を補間する
   請求項１記載の画像処理装置。
3. 前記補間部は、前記対象画素の距離情報により特定される距離に対する画素の度数分布を作成し、当該度数分布における度数が最大の階級に属する距離を基準として、当該基準から所定範囲内の距離に対応する前記対象画素を検出し、当該検出した前記対象画素の前記対象色に係る画像生成画素値の平均値を前記基準画素の前記対象色に係る画像生成画素値とする
   請求項２記載の画像処理装置。
4. 前記位相差検出画素は、被写体光を集光するマイクロレンズと、当該被写体光を受光することにより画像生成画素値を生成する受光素子と、前記マイクロレンズと前記受光素子との間に配置されて被写体光の一部を遮光する遮光部とを備え、
   前記推定部は、推定対象の前記位相差検出画素により生成された前記判定画素値と前記推定対象となる前記位相差検出画素に近接する位相差検出画素により生成された前記判定画素値とに基づいて、前記推定対象の前記位相差検出画素における前記遮光部により遮光された光に係る画素値を算出し、当該算出した画素値と前記推定対象の前記位相差検出画素の前記判定画素値とに基づいて、前記位相差検出画素の位置における前記画像生成画素値を推定する
   請求項１記載の画像処理装置。
5. 前記画像生成画素は、赤を示す波長領域以外の光を遮光する赤フィルタによって覆われている赤画素と、青を示す波長領域以外の光を遮光する青フィルタによって覆われている青画素と、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている緑画素とにより構成され、
   前記位相差検出画素は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われ、
   前記推定部は、白に係る画像生成画素値を前記位相差検出画素の位置における前記画像生成画素値として推定する
   請求項４記載の画像処理装置。
6. 前記補間部は、補間対象となる画素を基準画素として前記基準画素の補間対象となる色を対象色とし、前記画像データを構成する各画素の画像生成画素値における白に係る画像生成画素値を補間した後に、前記基準画素から一定範囲内に位置する画素における前記対象色に係る画像生成画素値と、前記基準画素から一定範囲内に位置する画素であって前記基準画素と同じフィルタによって覆われている画素における白に係る画像生成画素値と、前記基準画素の前記白に係る画像生成画素値とに基づいて、前記基準画素の前記対象色に係る画像生成画素値を補間する
   請求項５記載の画像処理装置。
7. 前記補間部は、前記基準画素から一定範囲内に位置する画素における白に係る画像生成画素値に基づいて算出した前記白に係る画像生成画素値の低周波成分と、前記基準画素から一定範囲内に位置する前記対象色のフィルタによって覆われている画素における前記対象色に係る画像生成画素値に基づいて算出した前記対象色に係る画像生成画素値の低周波成分と、前記基準画素における前記白に係る画像生成画素値とに基づいて前記基準画素における前記対象色に係る画像生成画素値を補間する
   請求項６記載の画像処理装置。
8. 前記撮像素子は、前記画像生成画素が特定方向に並べて構成される第１ラインと、前記位相差検出画素が前記特定方向に並べて構成される第２ラインとが前記特定方向とは直交する直交方向に交互に配置され、
   前記補間部は、前記基準画素の直交方向における一定範囲内に位置する前記位相差検出画素における白に係る画像生成画素値から算出した前記白に係る画像生成画素値の低周波成分と、前記一定範囲内に位置する緑画素における緑に係る画像生成画素値から算出した前記緑に係る画像生成画素値の低周波成分と、前記基準画素における緑に係る画像生成画素値とに基づいて、前記緑画素における白に係る画像生成画素値を補間する
   請求項６記載の画像処理装置。
9. 合焦判定を行うための判定画素値を生成する位相差検出画素と画像を生成するための画像生成画素値を生成する画像生成画素とを備える撮像素子により生成される画像データであって前記判定画素値と前記画像生成画素値とを含む画像データにおける前記判定画素値に基づいて算出されるデフォーカス量に基づく距離情報を前記位相差検出画素ごとに生成する距離情報生成部と、
   前記生成された距離情報と前記画像生成画素が生成した画像生成画素値とに基づいて、前記画像データを構成する各画素のうちの補間対象となる基準画素の画像生成画素値を補間する補間部と
   を具備する画像処理装置。
10. 合焦判定を行うための判定画素値を生成する位相差検出画素と画像を生成するための画像生成画素値を生成する画像生成画素とを備える撮像素子により生成される画像データであって前記判定画素値と前記画像生成画素値とを含む画像データにおける前記判定画素値に基づいて、前記撮像素子における前記位相差検出画素の位置に対応する前記画像生成画素値を推定する推定手順と、
    前記判定画素値に基づいて算出されるデフォーカス量に基づく距離情報を前記位相差検出画素ごとに生成する距離情報生成手順と、
    前記推定された画像生成画素値と前記距離情報と前記画像生成画素により生成された画像生成画素値とに基づいて、前記画像データを構成する各画素の画像生成画素値を補間する補間手順と
    を具備する画像処理方法。
11. 合焦判定を行うための判定画素値を生成する位相差検出画素と画像を生成するための画像生成画素値を生成する画像生成画素とを備える撮像素子により生成される画像データであって前記判定画素値と前記画像生成画素値とを含む画像データにおける前記判定画素値に基づいて、前記撮像素子における前記位相差検出画素の位置に対応する前記画像生成画素値を推定する推定手順と、
    前記判定画素値に基づいて算出されるデフォーカス量に基づく距離情報を前記位相差検出画素ごとに生成する距離情報生成手順と、
    前記推定された画像生成画素値と前記距離情報と前記画像生成画素により生成された画像生成画素値とに基づいて、前記画像データを構成する各画素の画像生成画素値を補間する補間手順と
    をコンピュータに実行させるプログラム。

Images