WO2014046036A1 - 撮像装置及びその制御方法 - Google Patents

Abstract

　本発明は、マニュアルフォーカス時に人の顔等にピントを容易に合わせられるようにする。本発明は、カラー撮像素子２３の撮像面に、ＲＧＢ画素３５～３７及び第１及び第２の位相差画素３６ａ，３６ｂを２次元配列する。ＲＧＢ画素３５～３７の画素値に基づいて被写体像データ５５を生成する。被写体像データ５５に対して顔検出処理を行う。顔像が検出された場合に、被写体像データ５５内の顔領域６２を上下に分割した上下画像のうちの上画像に対応する第１の画像データ６１Ｌを第１の位相差画素３６ａの画素値に基づき生成する。上下画像のうちの下画像に対応する第２の画像データ６１Ｒを第２の位相差画素３６ｂの画素値に基づき生成する。被写体像データ５５内の顔領域６２に対応する位置に第１及び第２の画像データ６１Ｌ，６１Ｒ（特殊スプリットイメージデータ６６）を合成した後に表示部８に出力して、ライブビュー表示を行う。

Description

撮像装置及びその制御方法

　本発明は、合焦確認用の画像の生成及び表示を行う撮像装置及びその制御方法に関する。

　デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、撮影者が手動でピント調整（フォーカス調整ともいう）を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが良く知られている。

　マニュアルフォーカスモードを有するデジタルカメラとしては、撮影した被写体を確認しながらピント調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法や、目視によるコントラストの確認を行う方法を採用しているものが良く知られている。

　ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ等の表示装置の解像度以上のコントラス表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

　そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、合焦確認に使用するスプリットイメージ（第２の表示用画像）をライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、瞳分割された被写体光をそれぞれ撮像して得られた画像を分割表示したものであり、各画像の位相差を表すものである。上下に分割されたスプリットイメージはピントがずれているとスプリットイメージの上下画像が左右にずれ、ピントが合った状態だと上下画像の左右のずれがなくなる。撮影者は、スプリットイメージの上下画像のずれがなくなるように、マニュアルフォーカスリングを操作してピントを合わせる。

　特許文献１に記載のデジタルカメラでは、絞りを光軸と垂直方向に移動させることで２つの測距位置でそれぞれ被写体画像の撮影を行い、これら２つの被写体画像を用いてスプリットイメージをライブビュー画像内に表示している。

　特許文献２に記載のデジタルカメラでは、被写体像の像面と撮像素子の受光面との間の距離に相当する値をずれ量として求め、このずれ量に応じて左右相反する方向にずらしたスプリットイメージをライブビュー画像内に表示している。

　特許文献３及び４に記載のデジタルカメラは、撮影用の通常画素と、瞳分割された被写体光を受光する焦点検出用の２種類の位相差画素とが撮像面上に複数配列されてなる撮像素子を備えている。このデジタルカメラでは、通常画素からの出力信号に基づき撮影画像を生成してライブビュー画像表示を行うとともに、２種類の位相差画素のそれぞれからの出力に基づきスプリットイメージを生成してライブビュー画像内に表示している。

特開２００４－４０７４０号公報 特開２００１－３０９２１０号公報 特開２００９－１４７６６５号公報 特開２００９－１６３２２０号公報

　ところで、スプリットイメージは、ライブビュー画像内の特定の領域、例えば中央領域などに表示されるのが通常である。このため、上記特許文献１から４に記載のデジタルカメラでは、マニュアルフォーカス操作で人の顔などの主要被写体にピントを合わせたい場合に、この主要被写体がスプリットイメージの上下画像の境界を跨ぐ位置にないとピント調整が難しいという問題がある（図１４参照）。

　また、近年では、ライブビュー画像内のスプリットイメージの表示位置を変更可能にしているデジタルカメラも知られている。しかしながら、このようなデジタルカメラでは、ユーザが主要被写体の位置に合わせてスプリットイメージを移動させる操作を行う必要があるので、この移動操作に手間が掛かる。

　本発明の目的は、スプリットイメージ等の合焦確認用の画像を用いたマニュアルフォーカスを行う際に、顔などの主要被写体にピントを容易に合わせることが可能な撮像装置及びその制御方法を提供することにある。

　本発明の目的を達成するための撮像装置は、撮影レンズと、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、第１及び第２の画素群から出力された第１及び第２の画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成手段と、第１及び第２の表示用画像の少なくともいずれか一方を表示する表示手段と、第１の表示用画像から特定の主要被写体像を検出する検出手段と、検出手段で主要被写体像が検出された場合に、生成手段を制御して第１及び第２の画像から主要被写体像を複数分割した分割像を生成させ、分割像に基づいて第２の表示用画像を生成させる生成制御手段と、表示手段に対して生成手段により生成された第１の表示用画像を表示させ、かつ第１の表示用画像の表示領域内に生成手段により生成された第２の表示用画像を表示させる制御を行う表示制御手段であって、検出手段で主要被写体像が検出された場合に、第１の表示用画像内の主要被写体像に対応する位置に第２の表示用画像を表示させる表示制御手段と、を備える。

　本発明によれば、第１の表示用画像の表示領域内に、主要被写体像の位置・大きさに合わせた第２の表示用画像を表示させることができる。

　撮像素子は、第１及び第２の画素群と、第１及び第２の領域を通過した被写体像が瞳分割されずにそれぞれ入射する第３の画素群とを含み、生成手段は、第３の画素群の出力から第１の表示用画像を生成することが好ましい。これにより、第３の画素群の出力により構成される被写体像を見ながら手動でピント調整を行うことができる。

　検出手段は、主要被写体像内の目の位置を検出可能であり、生成制御手段は、検出手段により目の位置が検出された場合に、生成手段を制御して、目の位置を境界として主要被写体像を分割した分割像を第１及び第２の画像から生成させることが好ましい。これにより、主要被写体の目の位置にピントを合わせることができる。

　表示制御手段は、検出手段の検出結果に基づき、表示領域内に第２の表示用画像を囲む第１の被写体識別枠を表示させることが好ましい。これにより、第２の表示用画像内の主要被写体像の位置や第２の表示用画像の境界が把握し易くなる。

　表示制御手段は、検出手段の検出結果に基づき、第２の表示用画像内に主要被写体像を囲む半透明の第２の被写体識別枠を表示させることが好ましい。これにより、第２の表示用画像内の主要被写体像の位置や第２の表示用画像の境界が把握し易くなる。

　表示制御手段は、検出手段の検出結果に基づき、第２の表示用画像内に主要被写体像を囲み、かつ第１及び第２の画像の境界を跨ぐ部分が透明な第３の被写体識別枠を表示させることが好ましい。これにより、第２の表示用画像内の主要被写体像の位置や第２の表示用画像の境界が把握し易くなる。

　検出手段は、第１及び第２の画像のそれぞれから主要被写体像を検出し、表示制御手段は、検出手段による第１及び第２の画像からの主要被写体像の検出結果に基づき、第１の表示用画像内における、第１の画像内の主要被写体像に対応する領域と第２の画像内の主要被写体像に対応する領域との両方を囲む第４の被写体識別枠を、第２の表示用画像内に表示させることが好ましい。これにより、第２の表示用画像の表示領域内で被写体識別枠が主要被写体像上に表示されることが防止されるので、この表示領域内での主要被写体像の境界が把握し易くなる。

　第２の表示用画像は、表示領域内の特定の領域内に表示されるものであり、表示制御手段は、検出手段の検出結果に基づき、主要被写体像が特定の領域外に位置する場合には、主要被写体像を表示手段に拡大表示させることが好ましい。これにより、主要被写体像が特定の領域外で検出された場合でも主要被写体にピントを合わせることができる。

　表示制御手段は、検出手段により主要被写体像が検出されなかった場合には、表示領域内の特定の領域に第２の表示用画像を表示させることが好ましい。

　特定の領域は、表示領域の中央領域であることが好ましい。

　検出手段は、主要被写体像として人の顔を検出することが好ましい。

　撮影レンズには、フォーカスレンズが含まれており、フォーカス操作を受けてフォーカスレンズを撮影レンズの光軸方向に移動させるレンズ移動機構を備え、フォーカス操作には手動操作が含まれることが好ましい。

　また、本発明の撮像装置の制御方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、第１及び第２の画素群から出力された第１及び第２の画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成ステップと、第１の表示用画像から特定の主要被写体像を検出する検出ステップと、検出ステップで主要被写体像が検出された場合に、生成ステップにて第１及び第２の画像から主要被写体像を複数分割した分割像を生成させ、分割像に基づいて第２の表示用画像を生成させる生成制御ステップと、表示部に対して生成ステップで生成された第１の表示用画像を表示させ、かつ第１の表示用画像の表示領域内に生成ステップで生成された第２の表示用画像を表示させる制御を行う表示制御ステップであって、検出ステップで主要被写体像が検出された場合に、第１の表示用画像内の主要被写体像に対応する位置に第２の表示用画像を表示させる表示制御ステップと、を有する。

　本発明の撮像装置及びその制御方法は、特定の主要被写体像が検出された場合に、第１及び第２の画像から主要被写体を複数分割した分割像を生成して、この分割像に基づき生成した第２の表示用画像を第１の表示用画像内の主要被写体像に対応する位置に表示させるので、手動のピント調整で主要被写体にピントを合わせる際に、撮影者が従来よりも簡単に主要被写体にピントを合わせることができる。

図１はデジタルカメラの正面斜視図である。 図２はデジタルカメラの背面斜視図である。 図３はデジタルカメラの電気的構成を示すブロック図である。 図４はカラー撮像素子の撮像面の概略図である。 図５は第１及び第２の位相差画素の断面図である。 図６はカラー撮像素子に入射する被写体光を説明するための説明図である。 図７は第１実施形態の画像処理回路の機能ブロック図である。 図８は通常生成モードの合焦時におけるスプリットイメージデータを説明するための説明図である。 図９は通常生成モードの非合焦時におけるスプリットイメージデータを説明するための説明図である。 図１０は特殊ＳＩデータの生成処理を説明するための説明図である。 図１１は特殊生成モードの合焦時におけるスプリットイメージデータを説明するための説明図である。 図１２は特殊生成モードの非合焦時におけるスプリットイメージデータを説明するための説明図である。 図１３は第１実施形態のデジタルカメラの撮影処理の流れを示したフローチャートである。 図１４は比較例のスプリットイメージデータを説明するための説明図である。 図１５は第２実施形態のデジタルカメラの電気的構成を示すブロック図である。 図１６は第２実施形態の顔枠表示を説明するための説明図である。 図１７は比較例の顔枠表示を説明するための説明図である。 図１８は第３実施形態のデジタルカメラの電気的構成を示すブロック図である。 図１９は第３実施形態のデジタルカメラの撮影処理の流れを示したフローチャートである。 図２０は第３実施形態のスプリットイメージデータを説明するための説明図である。 図２１は第４実施形態の顔枠表示を説明するための説明図である。 図２２は第５実施形態の顔枠表示を説明するための説明図である。 図２３は第６実施形態のデジタルカメラの電気的構成を示すブロック図である。 図２４は第６実施形態の顔領域の拡大表示処理を説明するための説明図である。 図２５は第７実施形態のデジタルカメラの電気的構成を示すブロック図である。 図２６は第７実施形態の顔枠表示を説明するための説明図である。 図２７は第７実施形態のデジタルカメラの撮影処理の流れを示したフローチャートである。 図２８は図２７中のライブビュー表示の流れを示したフローチャートである。 図２９は他実施形態のカラー撮像素子の撮像面の概略図である。 図３０はスマートフォンの斜視図である。 図３１はスマートフォンの電気的構成を示すブロック図である。

　［第１実施形態のデジタルカメラ］
　図１に示すように、デジタルカメラ２は本発明の撮像装置に相当するものである。このデジタルカメラ２のカメラ本体２ａの前面には、レンズ鏡筒３、ストロボ発光部５などが設けられている。カメラ本体２ａの上面には、シャッタボタン６、電源スイッチ７などが設けられている。レンズ鏡筒３の外周面には、本発明の手動操作に相当するマニュアルフォーカス（以下、単にＭＦという）操作に用いられるフォーカスリング（レンズ移動機構）３ａが回転自在に取り付けられている。

　図２に示すように、カメラ本体２ａの背面には表示部（表示手段）８、操作部９が設けられている。表示部８は、撮影待機状態時には電子ビューファインダとして機能することで、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時の表示部８には、メモリカード１０に記録されている画像データに基づき画像が再生表示される。

　操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ２の動作モードを切り替える際に操作される。デジタルカメラ２は、被写体を撮像して撮影画像を得る撮影モード、撮影画像を再生表示する再生モードなどを有する。また、撮影モードには、オートフォーカス（以下、単にＡＦという）を行うＡＦモード、及びＭＦ操作を行うＭＦモードがある。

　十字キーや実行キーは、表示部８にメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする際などに操作される。

　カメラ本体２ａの底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

　図３に示すように、デジタルカメラ２のＣＰＵ１１（生成制御手段）は、操作部９からの制御信号に基づき、メモリ１３から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ２の各部を統括的に制御する。なお、メモリ１３のＲＡＭ領域は、ＣＰＵ１１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

　レンズ鏡筒３には、ズームレンズ１５及びフォーカスレンズ１６を含む撮影レンズ１７、メカシャッタ１８などが組み込まれている。ズームレンズ１５及びフォーカスレンズ１６は、それぞれズーム機構１９、フォーカス機構２０により駆動され、撮影レンズ１７の光軸Ｏに沿って前後移動される。ズーム機構１９及びフォーカス機構２０は、ギアやモータなどで構成されている。また、フォーカス機構２０は、図示しないギアを介してフォーカスリング３ａと接続している。このため、フォーカス機構２０は、ＭＦモード時にフォーカスリング３ａが回転操作（フォーカス操作）されることに伴い、フォーカスレンズ１６を光軸Ｏの方向（以下、光軸方向という）に沿って移動させる。

　メカシャッタ１８は、カラー撮像素子２３への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１８は、可動部を各位置に移動させることにより、撮影レンズ１７からカラー撮像素子２３へと至る光路を開放／遮断する。また、メカシャッタ１８には、カラー撮像素子２３に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１８、ズーム機構１９、及びフォーカス機構２０は、レンズドライバ２５を介してＣＰＵ１１によって動作制御される。

　メカシャッタ１８の背後には、カラー撮像素子２３が配置されている。カラー撮像素子２３は、撮影レンズ１７等を通過した被写体光を電気的な出力信号に変換して出力する。なお、カラー撮像素子２３としては、ＣＣＤ（Charge Coupled Device）型撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子などの各種類の撮像素子を用いることができる。撮像素子ドライバ２７は、ＣＰＵ１１の制御の下でカラー撮像素子２３の駆動を制御する。

　画像処理回路（生成手段）２９は、カラー撮像素子２３からの出力信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して被写体像データ（撮影画像データともいう）を生成する。また、画像処理回路２９は、ＭＦモード時には、被写体像データの他にＭＦ操作用のスプリットイメージデータを生成する。被写体像データやスプリットイメージデータは、メモリ１３のＶＲＡＭ領域（ＶＲＡＭを別途設けても可）に一時的に格納される。ＶＲＡＭ領域は、連続した２フィールド画分を記憶するライブビュー画像用のメモリエリアを有しており、各データを逐次上書き格納する。

　圧縮伸長処理回路３１は、シャッタボタン６が押下操作されたときに、ＶＲＡＭ領域に格納された被写体像データに対して圧縮処理を施す。また、圧縮伸長処理回路３１は、メディアＩ／Ｆ３２を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３２は、メモリカード１０に対する被写体像データの記録及び読み出しなどを行う。

　表示制御部３３は、撮影モード時にはＶＲＡＭ領域に格納された被写体像データやスプリットイメージデータを読み出して表示部８へ出力する。また、表示制御部３３は、再生モード時には圧縮伸長処理回路３１で伸長された撮影画像データを表示部８へ出力する。

　＜カラー撮像素子の構成＞
　図４に示すように、カラー撮像素子２３の撮像面上には、赤（Ｒ）色のＲ画素３５と、緑（Ｇ）色のＧ画素３６と、青（Ｂ）色のＢ画素３７とが２次元配列されている。ＲＧＢ画素３５～３７は、本発明の第３の画素群に相当するものであり、光電変換素子３９（図５参照）と、光電変換素子３９の上方に配置された３原色のいずれかのカラーフィルタ４０（図５参照）とを有している。ＲＧＢ画素３５～３７の各光電変換素子３９上には、それぞれＲ色，Ｇ色，Ｂ色のカラーフィルタ４０が設けられる。ここで「～上」、「上方」とは、図５中の半導体基板４５からマイクロレンズ４９に向かう方向（図中上方向）を指す。

　カラー撮像素子２３のカラーフィルタ配列（画素配列）は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。

　〔特徴（１）〕
　カラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰを含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。このようにＲＧＢのカラーフィルタ４０が所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、カラー撮像素子２３から読み出されるＲ、Ｇ、Ｂ信号の画素補間処理（同時化処理またはデモザイク処理ともいう）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合に、間引き処理後のカラーフィルタ配列を間引き処理前の配列と同じにすることで、共通の処理回路を用いることができる。

　〔特徴（２）〕
　カラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向（斜め右上及び斜め左下方向、斜め右下及び斜め左上方向）の各フィルタライン内に１つ以上配置されている。これにより、高周波領域での画素補間処理の再現精度を向上させることができる。

　〔特徴（３）〕
　基本配列パターンＰは、Ｇ画素３６の画素数の比率が他の色のＲ画素３５、Ｂ画素３７の各々の画素数の比率よりも大きくなる。これにより、画素補間処理時におけるエリアシングが抑制されるとともに、高周波再現性が向上する。

　〔特徴（４）〕
　カラーフィルタ配列は、Ｇ色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲ色及びＢ色のカラーフィルタ４０が、基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内にそれぞれ１つ以上配置されている。これにより、偽色（色モワレ）の発生を低減することができる。その結果、偽色の発生を抑制するための光学ローパスフィルタを撮影レンズ１７の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができる。このため、解像度を損なわないようにすることができる。

　〔特徴（５）〕
　カラーフィルタ配列は、Ｇ色のカラーフィルタ４０が設けられた２×２のＧ画素３６に対応する正方配列４１を含んでいる。このような２×２のＧ画素３６を取り出し、水平方向のＧ画素３６の画素値の差分絶対値、垂直方向のＧ画素３６の画素値の差分絶対値、斜め方向のＧ画素３６の画素値の差分絶対値を求めることで、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。すなわち、このカラーフィルタ配列によれば、正方配列４１内の最小画素間隔のＧ画素３６の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、画素補間処理に使用することができる。

　〔特徴（６）〕
　基本配列パターンＰは、その中心に対して点対称になっている。また、基本配列パターンＰ内の４つの３×３のサブ配列も、それぞれ中心のＧ色のカラーフィルタ４０に対して点対称になっている。このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

　〔位相差画素〕
　カラー撮像素子２３の撮像面の一部の領域（例えば中央領域）上には、一部のＧ画素３６の代わりに、第１の位相差画素３６ａ（図中「Ｇ１」で表示）、第２の位相差画素３６ｂ（図中「Ｇ２」で表示）が設けられている。第１及び第２の位相差画素３６ａ，３６ｂは、本発明の第１の画素群、第２の画素群に相当するものである。

　カラー撮像素子２３の撮像面には、第１及び第２の位相差画素３６ａ，３６ｂで構成される第１の配列パターン４２と第２の配列パターン４３とが垂直方向（第２の方向）に所定の画素間隔（本実施例では１２画素間隔）で繰り返し配置されている。第１の配列パターン４２には、第１の位相差画素３６ａ及び第２の位相差画素３６ｂが水平方向（第１の方向）に所定の画素間隔（本実施例では３画素間隔）で交互に配列されている。第２の配列パターン４３は、第１の配列パターン４２を水平方向に上記所定の画素間隔分ずらしたものである。

　第１及び第２の位相差画素３６ａ，３６ｂの断面を示す図５の（Ａ）部分，図５の（Ｂ）部分において、カラー撮像素子２３の半導体基板４５の表層には光電変換素子３９がマトリックス状に形成されている。なお、半導体基板４５には、図示は省略するが、各画素の駆動や信号出力に用いられる各種回路が設けられている。

　各光電変換素子３９上には遮光膜４７が設けられている。遮光膜４７は、第１の位相差画素３６ａの光電変換素子３９の図中左半分の領域（以下、単に左領域という）を覆い、かつ第２の位相差画素３６ｂの図中右半分の領域（以下、単に左領域という）を覆うように設けられている。これにより、第１の位相差画素３６ａの光電変換素子３９の右領域のみが露呈し、かつ第２の位相差画素３６ｂの光電変換素子３９の左領域のみが露呈する。なお、図示は省略するが、ＲＧＢ画素３５～３７の光電変換素子３９上には遮光膜４７が設けられてはいない。

　遮光膜４７上には、図示しない平坦化層などを介してカラーフィルタ４０が設けられている。第１及び第２の位相差画素３６ａ，３６ｂに対応する位置にはＧ色のカラーフィルタ４０が設けられている。また、図示は省略するが、Ｒ、Ｇ、Ｂの各色の画素３５～３７にそれぞれ対応する位置にＲ、Ｇ、Ｂの各色のカラーフィルタ４０が設けられている。

　各色のカラーフィルタ４０上には、それぞれマイクロレンズ４９が設けられている。なお、カラーフィルタ４０とマイクロレンズ４９との間にも透光性の平坦層などの各種層が設けられていてもよい。

　第１の位相差画素３６ａ上のマイクロレンズ４９に、図中左斜め方向から入射した被写体光５０Ｌ（図中、実線で表示、本発明の被写体像）は、マイクロレンズ４９により光電変換素子３９の右領域に集光（結像）される。逆にマイクロレンズ４９に図中右斜め方向に入射した被写体光５０Ｒ（図中、点線で表示、本発明の被写体像）は、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。

　また、第２の位相差画素３６ｂ上のマイクロレンズ４９に入射した被写体光５０Ｒは、マイクロレンズ４９により光電変換素子３９の左領域に集光（結像）される。逆にマイクロレンズ４９に入射した被写体光５０Ｌは、遮光膜４７により遮光されるので光電変換素子３９の右領域には集光されない。

　図６に示すように、被写体光５０Ｌ，５０Ｒは、撮影レンズ１７（ズームレンズ１５及びフォーカスレンズ１６）の左領域１７Ｌ、右領域１７Ｒをそれぞれ通過している。なお、図面の煩雑化を防止するため両レンズ１５，１６は一体化して図示している。

　図５に戻って、カラー撮像素子２３に入射した被写体光が遮光膜４７により瞳分割されることで、第１の位相差画素３６ａは被写体光５０Ｌに対して感度が高くなり、逆に第２の位相差画素３６ｂは被写体光５０Ｒに対して感度が高くなる。なお、本実施形態では、遮光膜４７が瞳分割を行う瞳分割部として機能しているが、例えば、マイクロレンズ４９の位置を偏心させてもよい。

　また、図示は省略するが、ＲＧＢ画素３５～３７上のマイクロレンズ４９に入射した被写体光５０Ｒは光電変換素子３９の左領域に集光され、被写体光５０Ｌは光電変換素子３９の右領域に集光される。このため、ＲＧＢ画素３５～３７は、被写体光５０Ｌ及び被写体光５０Ｒの両方に対して感度が高くなる。

　＜画像処理回路の構成＞
　図７に示すように、画像処理回路（生成手段）２９は、画素補間処理部５１と、被写体像生成部（被写体像生成手段）５２と、顔検出部（検出手段）５３と、スプリットイメージ生成部５４と、を備えている。

　画素補間処理部５１は、第１及び第２の位相差画素３６ａ，３６ｂの周囲に位置するＧ画素３６の画素値に基づき、両位相差画素３６ａ，３６ｂの位置における補間画素の画素値を求める。このＧ画素３６の補間画素の画素値は被写体像生成部５２へ出力される。

　また、画素補間処理部５１は、第２の位相差画素３６ｂの周囲に位置する第１の位相差画素３６ａの画素値に基づき、この第２の位相差画素３６ｂの位置における補間画素の画素値を求める。さらに、画素補間処理部５１は、第１の位相差画素３６ａの周囲に位置する第２の位相差画素３６ｂの画素値に基づき、この第１の位相差画素３６ａの位置における補間画素の画素値を求める。これら両位相差画素３６ａ，３６ｂの補間画素の画素値は、スプリットイメージ生成部５４へ出力される。

　被写体像生成部５２は、撮影モード時にＲＧＢ画素３５～３７の画素値（画像信号）、及びＧ画素３６の補間画素の画素値に基づき、本発明の第１の表示用画像に相当するフルカラーの被写体像データ５５を生成する。この被写体像データ５５は、メモリ１３のＶＲＡＭ領域に一時的に格納される。なお、被写体像生成部５２には、ＲＧＢ信号の被写体像データ５５を輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂに変換するＹＣ変換処理回路（図示は省略）が設けられている。

　顔検出部５３は、メモリ１３のＶＲＡＭ領域から読み出した被写体像データ５５を解析して、被写体像データ５５から主要被写体である人Ｈ（図１０参照）の顔を検出する顔検出処理を行うことで、この被写体像データ５５内の顔像の位置、大きさを検出する。この際には、例えば被写体像データ５５内で人Ｈの両目が存在する領域が特定される。この特定には、Ｈａａｒ－ｌｉｋｅ特徴などを用いた公知の目検出方法が用いられる。そして、人Ｈの両目が存在する領域が特定されると、人Ｈの肌や髪の色とこれらの位置関係から顔の輪郭が特定される。これにより、顔像の位置が求められるとともに、肌色の領域の面積から顔像の大きさが求められる。また、顔像の大きさを求める際には、目の間隔を測定し、測定された両眼の間隔から顔の大きさを決定することもできる。

　ここで、被写体像データ５５内の顔像の位置や大きさを検出する方法として、上述の方法以外にも各種の方法が公知であり、公知の各種方法を用いて顔像の位置や大きさを検出してもよい。顔検出部５３は、顔像の位置及び大きさの検出結果を「顔検出情報６０」としてスプリットイメージ生成部５４へ出力する。なお、顔像が検出されなかった場合には、顔検出情報６０の出力は行われない。

　スプリットイメージ生成部５４は、両位相差画素３６ａ，３６ｂの画素値（画像信号）と、両位相差画素３６ａ，３６ｂの補間画素の画素値と、顔検出部５３から入力される顔検出情報とに基づいて、合焦確認に使用する白黒のスプリットイメージデータ（第２の表示用画像）を生成する。

　＜通常生成モード＞
　図８及び図９に示すように、スプリットイメージ生成部５４は、ＣＰＵ１１の制御の下、顔検出部５３から顔検出情報６０が入力されない場合に通常生成モードで動作する。この場合のスプリットイメージ生成部５４は、各第１の位相差画素３６ａ及びその補間画素の画素値の輝度成分に基づき、被写体像の中央領域の図中上半分の領域をＬ視点側から見たときの白黒の第１の画像データ６１Ｌを生成する。

　また、スプリットイメージ生成部５４は、各第２の位相差画素３６ｂ及びその補間画素の画素値の輝度成分に基づき、被写体像の中央領域の図中下半分の領域をＲ視点側から見たときの白黒の第２の画像データ６１Ｒを生成する。これにより、第１の画像データ６１Ｌと第２の画像データ６１Ｒとを含む白黒の通常スプリットイメージデータ（以下、通常ＳＩデータと略す）６１が得られる。なお、図中では通常ＳＩデータ６１のイメージを容易に把握できるように、通常ＳＩデータ６１を被写体像データ５５に合成しているが、この合成は表示制御部３３にて行われる。通常ＳＩデータ６１は、メモリ１３のＶＲＡＭ領域に一時的に格納される。

　通常ＳＩデータ６１の上下画像を構成する第１の画像データ６１Ｌと第２の画像データ６１Ｒとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向にシフトする。両画像データ６１Ｌ，６１Ｒ間のずれ量はフォーカスレンズ１６の焦点のずれ量に対応しており、フォーカスレンズ１６が合焦しているときには両画像データ６１Ｌ，６１Ｒのずれ量がゼロ（ほぼゼロを含む）となる（図８参照）。また、フォーカスレンズ１６の焦点がずれるほど、両画像データ６１Ｌ，６１Ｒのずれ量が大きくなる（図９参照）。

　＜特殊生成モード＞
　図１０に示すように、スプリットイメージ生成部５４は、ＣＰＵ１１の制御の下、顔検出部５３から顔検出情報６０が入力された場合に特殊生成モードで動作する。特殊生成モード時のスプリットイメージ生成部５４は、顔検出情報６０に基づき、被写体像データ５５内の顔像の領域（以下、単に顔領域という）６２の位置及び大きさを判別する（図１０の（Ａ）部分，図１０の（Ｂ）部分参照）。この顔領域６２は、本発明の主要被写体像に相当するものであり、顔検出結果に応じて位置や大きさが変化する領域である。一方、図中の符号６４は被写体像データ５５（ライブビュー画像）の表示領域の中央領域（本発明の特定の領域）であり、この中央領域６４には前述の通常ＳＩデータ６１が表示される。この中央領域６４は、カラー撮像素子２３の撮像面内での両位相差画素３６ａ，３６ｂの配置領域に対応した固定の領域である。

　次いで、スプリットイメージ生成部５４は、各第１の位相差画素３６ａ及びその補間画素の中から、顔領域６２を上下に分割してなる上下画像（分割像）のうちの上画像を構成する画素を選択して、これら各画素の画素値の輝度成分に基づき第１の画像データ６６Ｌを生成する。また、スプリットイメージ生成部５４は、各第２の位相差画素３６ｂ及びその補間画素の中から、上述の上下画像のうちの下画像を構成する画素を選択して、これら各画素の画素値の輝度成分に基づき第２の画像データ６６Ｒを生成する。これにより、第１の画像データ６６Ｌと第２の画像データ６６Ｒとを含む白黒の特殊スプリットイメージデータ（以下、特殊ＳＩデータと略す）６６が得られる。

　スプリットイメージ生成部５４が生成した特殊ＳＩデータ６６は、メモリ１３のＶＲＡＭ領域に一時的に格納される。この際に、特殊ＳＩデータ６６のヘッダ等には、スプリットイメージ生成部５４が判別した顔領域６２の位置を示す顔領域位置情報が格納される。

　なお、図示は省略するが、スプリットイメージ生成部５４には、オフセット減算やゲイン調整を行う各種調整回路が設けられている。

　図３に戻って、表示制御部（表示制御手段）３３は、通常生成モード時にはメモリ１３のＶＲＡＭ領域から被写体像データ５５及び通常ＳＩデータ６１を読み出して、被写体像データ５５の中央領域６４に通常ＳＩデータ６１を合成した後に表示部８へ出力する。これにより、図８及び図９に示したように、被写体像データ５５に基づくフルカラー画像の中央領域に、通常ＳＩデータ６１に基づく白黒のスプリットイメージが合成されたライブビュー画像が表示部８に表示される。

　一方、表示制御部３３は、特殊生成モード時にはメモリ１３のＶＲＡＭ領域から被写体像データ５５及び特殊ＳＩデータ６６を読み出した後、特殊ＳＩデータ６６のヘッダ等に格納されている顔領域位置情報を参照する。これにより、被写体像データ５５内の顔領域６２の位置が判別される。

　次いで、図１１及び図１２に示すように、表示制御部３３は、被写体像データ５５の顔領域６２に特殊ＳＩデータ６６を合成した後に表示部８へ出力する。これにより、被写体像データ５５に基づくフルカラー画像内に、特殊ＳＩデータ６６に基づく白黒のスプリットイメージが合成されたライブビュー画像が表示部８に表示される。通常生成モード時と同様に、合焦時にはスプリットイメージの上下画像（両画像データ６６Ｌ，６６Ｒ）のずれ量がゼロ（ほぼゼロを含む）となる（図１１参照）。また、フォーカスレンズ１６の焦点がずれるほど上下画像のずれ量も大きくなる（図１２参照）。

　＜その他の構成＞
　なお、図示は省略するが、デジタルカメラ２にはＡＦ用のＡＦ検出回路が設けられている。ＡＦ検出回路は、第１の位相差画素３６ａの出力により構成される画像と、第２の位相差画素３６ｂの出力により構成される画像とを解析して、両画像のずれ方向及び両画像間のずれ量を検出することでフォーカス調整量（デフォーカス量ともいう）を求める。このフォーカス調整量に基づき、ＣＰＵ１１はレンズドライバ２５及びフォーカス機構２０によりフォーカスレンズ１６を駆動して焦点調節を行う。このような位相差方式のＡＦ処理については公知であるので、ここでは具体的な説明は省略する。

　＜第１実施形態のデジタルカメラの作用＞
　次に、図１３を用いて上記構成のデジタルカメラ２の作用について説明を行う。ＭＦ操作を行う場合には、操作部９にてデジタルカメラ２がＭＦモードに設定される（ステップＳ１）。ＭＦモードに設定されると、ＣＰＵ１１はレンズドライバ２５を介してメカシャッタ１８の動作を制御するとともに、撮像素子ドライバ２７を介してカラー撮像素子２３を駆動する（ステップＳ２）。なお、ＡＦモードが設定された場合のデジタルカメラ２の動作は公知であるのでここでは具体的な説明は省略する。

　カラー撮像素子２３のＲＧＢ画素３５～３７の画素値（出力）は、画像処理回路２９へ出力された後、画素補間処理部５１にて補間処理されたＧ画素３６の補間画素の画素値と共に被写体像生成部５２に入力される。また、第１及び第２の位相差画素３６ａ，３６ｂの画素値も同様に画像処理回路２９へ出力された後、画素補間処理部５１にて補間処理された両位相差画素３６ａ，３６ｂの補間画素の画素値と共にスプリットイメージ生成部５４に入力される（ステップＳ３）。

　被写体像生成部５２は、ＲＧＢ画素３５～３７及び補間画素の画素値に基づき、被写体像データ５５を生成して、メモリ１３のＶＲＡＭ領域に格納する（ステップＳ４）。

　顔検出部５３は、メモリ１３のＶＲＡＭ領域に新たな被写体像データ５５が格納される毎に、この被写体像データ５５をＶＲＡＭ領域から読み出して顔検出処理を行う（ステップＳ５）。そして、顔検出部５３は、被写体像データ５５内に顔像が含まれている場合には、その位置及び大きさを検出する。この顔検出部５３による検出結果は、顔検出情報６０としてスプリットイメージ生成部５４へ出力される。

　＜通常生成モード時のライブビュー表示＞
　スプリットイメージ生成部５４は、ＣＰＵ１１の制御の下、顔検出部５３からの顔検出情報６０の入力がない場合には通常生成モードで動作する（ステップＳ６でＮＯ、ステップＳ７）。スプリットイメージ生成部５４は、各第１の位相差画素３６ａ及びその補間画素の画素値の輝度成分に基づき第１の画像データ６１Ｌを生成するとともに、各第２の位相差画素３６ｂ及びその補間画素の画素値の輝度成分に基づき第２の画像データ６１Ｒを生成する。これにより、第１の画像データ６１Ｌと第２の画像データ６１Ｒとを含む通常ＳＩデータ６１が生成される（ステップＳ８）。この通常ＳＩデータ６１はメモリ１３のＶＲＡＭ領域に格納される。

　表示制御部３３は、メモリ１３から被写体像データ５５及び通常ＳＩデータ６１を読み出して、被写体像データ５５内の中央領域６４に通常ＳＩデータ６１を合成した後に表示部８へ出力する。これにより、図８及び図９に示したように、フルカラー画像の中央領域６４に白黒のスプリットイメージが合成されたライブビュー画像が表示部８に表示される（ステップＳ９）。

　＜特殊生成モード時のライブビュー表示＞
　スプリットイメージ生成部５４は、ＣＰＵ１１の制御の下、顔検出部５３から顔検出情報６０が入力された場合には特殊生成モードで動作する（ステップＳ６でＹＥＳ、ステップＳ１０）。最初に、スプリットイメージ生成部５４は、図１０の（Ａ）部分、図１０の（Ｂ）部分に示したように、顔検出情報６０に基づき被写体像データ５５内の顔領域６２の位置及び大きさを判別する。

　次いで、スプリットイメージ生成部５４は、各第１の位相差画素３６ａ及びその補間画素の中から、顔領域６２を上下に分割したうちの上画像（分割像）を構成する画素を選択して、これら各画素の画素値の輝度成分に基づき第１の画像データ６６Ｌを生成する。また、スプリットイメージ生成部５４は、各第２の位相差画素３６ｂ及びその補間画素の中から、顔領域６２の下画像（分割像）を構成する画素を選択して、これら各画素の画素値の輝度成分に基づき第２の画像データ６６Ｒを生成する。これにより、第１の画像データ６６Ｌと第２の画像データ６６Ｒとを含む白黒の特殊ＳＩデータ６６が得られる（ステップＳ１１）。この特殊ＳＩデータ６６はメモリ１３のＶＲＡＭ領域に格納される。また、特殊ＳＩデータ６６のヘッダ等には顔領域位置情報が格納される。

　表示制御部３３は、メモリ１３のＶＲＡＭ領域から被写体像データ５５及び特殊ＳＩデータ６６を読み出した後、特殊ＳＩデータ６６のヘッダ等に格納されている顔領域位置情報を参照する。この参照結果に基づき、表示制御部３３は、被写体像データ５５の顔領域６２に特殊ＳＩデータ６６を合成した後に表示部８へ出力する。これにより、フルカラー画像の顔領域６２に白黒のスプリットイメージが合成されたライブビュー画像が表示部８に表示される。

　図１２に示したように、両画像データ６６Ｌ，６６Ｒは、フォーカスレンズ１６の合焦状態に応じて図中左右方向にシフトする。このため、ユーザは、フォーカスリング３ａを回転操作してフォーカスレンズ１６を光軸方向に沿って移動させる。フォーカスレンズ１６が被写体に合焦する合焦位置に近づくのに伴って、両画像データ６６Ｌ，６６Ｒのずれ量が次第に小さくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。

　フォーカスレンズ１６が合焦位置にセットされると、両画像データ６６Ｌ，６６Ｒのずれ量がゼロとなる。これにより、フォーカスレンズ１６が被写体に合焦して、フォーカス調整が完了する（ステップＳ１３）。以下、シャッタボタン６が押下操作されるまで、上述の処理が繰り返し実行される（ステップＳ１４でＮＯ）。

　シャッタボタン６が押下されると（ステップＳ１４でＹＥＳ）、被写体像生成部５２にて１フレーム分の被写体像データ５５が生成されてメモリ１３のＶＲＡＭ領域に一時的に格納される。この被写体像データ５５は、圧縮伸長処理回路３１にて圧縮された後、メディアＩ／Ｆ３２を介してメモリカード１０に記録される（ステップＳ１５）。以下、ＭＦモードが終了するまで上述の処理が繰り返し実行される（ステップＳ１６）。

　＜第１実施形態のデジタルカメラの作用効果＞
　このように本発明では、被写体像データ５５内の顔領域６２に、その位置・大きさに対応した特殊ＳＩデータ６６を合成してライブビュー表示を行っている。これにより、中央領域６４内での人Ｈの顔像の位置に関係なく、人Ｈの顔にピントが合っていない場合には顔像（スプリットイメージ）を分割した両画像データ６６Ｌ，６６Ｒが左右にずれた状態でライブビュー表示される（図１２参照）。

　一方、比較例を示す図１４において、従来のスプリットイメージ表示では、顔像が中央領域６４内の上側あるいは下側の領域にあると、この顔像がスプリットイメージの上下画像の境界よりも上側あるいは下側に位置してしまう。その結果、顔像にピントを合わせることが困難であった。

　これに対して本発明では、顔検出により検出された顔領域の位置・大きさに合わせたスプリットイメージが表示されるので、顔像がライブビュー画像の中央領域６４に位置するようにフレーミングを調整したり、顔像の位置に合わせて手動でスプリットイメージの位置を移動させたりする必要がなくなる。その結果、従来よりも簡単に顔にピントを合わせることができる。

　［第２実施形態のデジタルカメラ］
　次に、図１５を用いて本発明の第２実施形態のデジタルカメラ７０について説明を行う。上記第１実施形態では顔検出部５３により検出された顔像の識別表示を行っていないが、デジタルカメラ７０では顔検出部５３により検出された顔像の識別表示を行う。

　デジタルカメラ７０は、表示制御部３３に顔枠表示部７２が設けられており、かつ顔検出部５３が顔検出情報６０にも顔枠表示部７２へ出力する点を除けば、第１実施形態のデジタルカメラ２と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

　図１６に示すように、顔枠表示部７２は、顔検出部５３から取得した顔検出情報６０に基づき顔領域６２を判別することにより、被写体像データ５５の表示領域内に特殊ＳＩデータ６６（顔領域６２）を囲む顔枠（第１の被写体識別枠）７３を重畳表示させる。このような顔枠７３を表示するのは以下の理由による。

　比較例を示す図１７において、顔枠７４を特殊ＳＩデータ６６（顔領域６２）内に表示した場合には、特殊ＳＩデータ６６内の顔の位置が把握し難くなる。また、両画像データ６６Ｌ，６６Ｒの境界の一部に顔枠７４が重なることで、この境界における両画像データ６６Ｌ，６６Ｒのずれ量が把握し難くなる。その結果、両画像データ６６Ｌ，６６Ｒのずれがゼロとなるようにピント調整を行うことが難しくなる。

　これに対して本発明のデジタルカメラ７０では、特殊ＳＩデータ６６（顔領域６２）を囲むように顔枠７３を表示することにより、特殊ＳＩデータ６６内の顔の位置が把握し易くなる。また、両画像データ６６Ｌ，６６Ｒの境界も把握し易くなる。その結果、顔枠７３を表示した場合でも、ピント調整を行い易くすることができる。

　［第３実施形態のデジタルカメラ］
　次に、図１８を用いて本発明の第３実施形態のデジタルカメラ７８について説明を行う。上記第１及び第２実施形態のデジタルカメラ２，７０では、特殊ＳＩデータ６６を構成する両画像データ６６Ｌ，６６Ｒの境界の位置を特に定めてはいないが、デジタルカメラ７８では目の位置を両画像データ６６Ｌ，６６Ｒの境界の位置として設定する。

　なお、デジタルカメラ７８は、第１実施形態の顔検出部５３及びスプリットイメージ生成部５４の代わりに顔検出部５３ａ及びスプリットイメージ生成部５４ａが設けられている点を除けば、上記第１実施形態と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては同一符号を付してその説明は省略する。

　顔検出部５３ａは、基本的には上述の顔検出部５３と基本的に同じものであるが、顔検出の際に行う目検出により人Ｈの目が検出された場合には、この目の位置に関する情報を「目検出情報６０ａ」としてスプリットイメージ生成部５４ａへ出力する。また、顔検出部５３ａは、目が検出されない場合には目検出法以外の公知の顔検出法を用いて顔検出処理を行う。この場合には、顔検出情報６０のみがスプリットイメージ生成部５４ａへ出力される。

　スプリットイメージ生成部５４ａは、基本的には上述のスプリットイメージ生成部５４と同じものであり、顔検出情報６０に基づき特殊ＳＩデータ６６を生成する。ただし、スプリットイメージ生成部５４ａは、顔検出部５３ａから目検出情報６０ａが入力された場合には、この目検出情報６０ａに基づく目の位置を、顔領域６２を上下に分割したときの上下画像の境界として決定する。そして、スプリットイメージ生成部５４ａは、目の位置を境界とする上下画像にそれぞれ対応する両位相差画素３６ａ，３６ｂ及びその補間画素を選択し、これら各画素の輝度成分に基づき第１及び第２の画像データ６６Ｌａ，６６Ｒａ（図２０参照）を生成する。これにより、目の位置を境界とする白黒の特殊ＳＩデータ６６ａが得られる。

　ＣＰＵ１１（生成制御手段）は、顔検出部５３ａで目が検出された場合には、スプリットイメージ生成部５４ａを制御して特殊ＳＩデータ６６ａの生成を実行させる。

　＜第３実施形態のデジタルカメラの作用＞
　図１９を用いて、上記構成のデジタルカメラ７８の作用について説明を行う。なお、ステップＳ１からステップＳ１０までの処理の流れは図１３に示した第１実施形態と同じであるので、ここでは具体的な説明は省略する。

　なお、前述のステップＳ５，Ｓ６において、顔検出部５３ａは、顔検出処理の際に目が検出された場合に、この目の位置を示す目検出情報６０ａを顔検出情報６０と共にスプリットイメージ生成部５４ａへ出力する。また、顔検出部５３ａは、目が検出されなかった場合には目検出法以外の顔検出法を用いて顔検出処理を行い、顔検出情報６０のみをスプリットイメージ生成部５４ａへ出力する。

　＜特殊生成モード：目の非検出時＞
　ＣＰＵ１１は、顔検出部５３ａで目が検出されなかった場合（ステップＳ１０－１でＮＯ）には、スプリットイメージ生成部５４ａを制御して第１実施形態と同様に特殊ＳＩデータ６６を生成させる（ステップＳ１１）。以下、第１実施形態と同様のライブビュー表示が実行される（ステップＳ１２）。

　＜特殊生成モード：目の検出時＞
　逆に、ＣＰＵ１１は、顔検出部５３ａで目が検出された場合（ステップＳ１０－１でＹＥＳ）に、スプリットイメージ生成部５４ａを制御して、目検出情報６０ａに基づく目の位置を境界として分割された顔領域６２の上下画像にそれぞれ対応する両画像データ６６Ｌａ，６６Ｒａを生成させる（ステップＳ１１－１）。これにより、目の位置を境界とする白黒の特殊ＳＩデータ６６ａが得られる。この特殊ＳＩデータ６６ａは、第１実施形態と同様にヘッダ等に顔領域６２の位置情報を格納した状態で、メモリ１３のＶＲＡＭ領域に一時的に格納される。

　図２０に示すように、被写体像データ５５の顔領域６２に特殊ＳＩデータ６６ａを合成した後に表示部８へ出力する。これにより、フルカラー画像内に、目の位置を境界とした白黒のスプリットイメージが合成されたライブビュー画像が表示部８に表示される（ステップＳ１２）。なお、これ以降の処理は、第１実施形態と基本的に同じであるので、ここでは説明を省略する（図１３参照）。

　このように本発明の第３実施形態のデジタルカメラ７８では、顔の目の位置を境界として分割されたスプリットイメージを表示することができるので、人Ｈの目にピントを合わせることが容易となる。

　［第４実施形態のデジタルカメラ］
　次に、図２１を用いて本発明の第４実施形態のデジタルカメラについて説明を行う。上記第２実施形態では、被写体像データ５５の表示領域内に特殊ＳＩデータ６６を囲む顔枠７３を重畳表示させている。これに対して第４実施形態では、特殊ＳＩデータ６６の表示領域内に顔像を囲む半透明の顔枠（第２の被写体識別枠）７６を重畳表示する。

　第４実施形態のデジタルカメラは、図１５に示した上記第２実施形態のデジタルカメラ７０と基本的に同じ構成である。このため、上記第２実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。ただし、第４実施形態の顔枠表示部７２は、顔検出情報６０から特殊ＳＩデータ６６の表示領域内での顔像の位置、大きさを判別して、この判別結果に基づいて顔枠７６を特殊ＳＩデータ６６の表示領域内に重畳表示させる。

　顔枠７６は半透明であるので、この顔枠７６を特殊ＳＩデータ６６の表示領域内に表示しても、特殊ＳＩデータ６６内の顔の位置を容易に把握可能である。また、両画像データ６６Ｌ，６６Ｒの境界におけるずれ量も容易に把握可能である。その結果、第２実施形態と同様に、顔枠７６を表示した場合でもピント調整は行い易くなる。

　［第５実施形態のデジタルカメラ］
　次に、図２２を用いて本発明の第５実施形態のデジタルカメラについて説明を行う。上記第４実施形態のデジタルカメラでは、特殊ＳＩデータ６６の表示領域内に顔枠７６を半透明表示させている。これに対して、第５実施形態のデジタルカメラでは、特殊ＳＩデータ６６の表示領域内に顔枠７６とは異なる顔枠を重畳表示させている。

　第５実施形態のデジタルカメラも、上記第４実施形態のデジタルカメラと同様に、図１５に示した上記第２実施形態のデジタルカメラ７０と基本的には同じ構成であるので、上記第２実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。ただし、第５実施形態の顔枠表示部７２は、顔検出情報６０に基づいて、特殊ＳＩデータ６６の表示領域内に顔像を囲む顔枠（第３の被写体識別枠）７７を表示させている。この顔枠７７は、両画像データ６６Ｌ，６６Ｒに基づく上下画像の境界を跨ぐ部分（以下、単に境界跨ぎ部分という）７７ａが透明に表示されている。すなわち、顔枠７７は、上下画像の境界で分割されているともいえる。

　このように顔枠７７の境界跨ぎ部分７７ａを透明表示することで、両画像データ６６Ｌ，６６Ｒの境界におけるずれ量を容易に把握することができる。その結果、第２及び第４の実施形態と同様に、顔枠７７を表示した場合でもピント調整は行い易くなる。

　［第６実施形態のデジタルカメラ］
　次に、図２３を用いて本発明の第６実施形態のデジタルカメラ８０について説明を行う。上記各実施形態のデジタルカメラでは、顔検出処理により顔像が中央領域６４内で検出される場合について説明したが、デジタルカメラ８０では顔像が中央領域６４外で検出された場合でも容易に顔にピントが合わせられる。

　デジタルカメラ８０は、表示制御部３３内に顔枠表示部７２の代わりに拡大表示部８１を備えている点を除けば、上記第２実施形態のデジタルカメラ７０と基本的に同じ構成であり、上記第１及び第２実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

　図２４の（Ａ）部分に示すように、拡大表示部８１は、顔検出部５３から取得した顔検出情報６０に基づき顔領域６２が中央領域６４外に位置するか否かを判別し、この顔領域６２が中央領域６４外に位置する場合には、この顔領域６２を拡大した拡大画像データ８３を生成して表示部８へ出力する。これにより、図２４の（Ｂ）部分に示すように、拡大画像データ８３に基づき顔領域６２の拡大画像が表示部８にライブビュー表示される。なお、この場合には、スプリットイメージ生成部５４による通常・特殊ＳＩデータ６１，６６の生成は行われない。

　このように第５実施形態のデジタルカメラ８０では、顔領域６２が中央領域６４外に位置する場合には、この顔領域６２を拡大表示するので、顔領域６２の拡大画像を見ながら顔にピントを合わせることができる。その結果、特殊ＳＩデータ６６の表示ができない場合でも合焦精度を改善することができる。

　［第７実施形態のデジタルカメラ］
　次に、図２５を用いて本発明の第７実施形態のデジタルカメラ８５について説明を行う。上記第２、第４、及び第５の各実施形態では、被写体像データ５５に対して顔検出処理を行った結果（顔検出情報６０）に基づいて、顔枠７３，７６，７７をライブビュー画像に重畳表示させている。これに対して、デジタルカメラ８５では、両位相差画素３６ａ，３６ｂの出力からそれぞれ生成される２視点の画像データに対して顔検出処理を行った結果に基づいて、顔枠をライブビュー画像に重畳表示させる。

　デジタルカメラ８５は、第２実施形態の顔検出部５３及び顔枠表示部７２の代わりに、位相差画像生成部８６、顔検出部８７、及び顔枠表示部８９が設けられている点を除けば、第２実施形態のデジタルカメラ７０と基本的に同じ構成である。このため、上記第２実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

　位相差画像生成部８６は、第１の位相差画素３６ａ及びその補間画素の画素値に基づき、前述の中央領域６４をＬ視点側から見たときの第１の位相差画像データ９１Ｌを生成する。また、位相差画像生成部８６は、第２の位相差画素３６ｂ及びその補間画素の画素値に基づき、中央領域６４をＲ視点側から見たときの第２の位相差画像データ９１Ｒを生成する。第１及び第２の位相差画像データ９１Ｌ，９１Ｒは、両位相差画素３６ａ，３６ｂの出力から生成される本発明の第１の画像、第２の画像に相当するものである。これら両位相差画像データ９１Ｌ，９１Ｒは顔検出部８７へ出力される。

　顔検出部８７は、両位相差画像データ９１Ｌ，９１Ｒのそれぞれに対して顔検出処理を行い、両位相差画像データ９１Ｌ，９１Ｒのそれぞれにおける顔像の位置、大きさを検出する。なお、具体的な顔検出処理方法は、上記第１実施形態の顔検出部５３による顔検出処理方法と同じであるので具体的な説明は省略する。顔検出部８７は、両位相差画像データ９１Ｌ，９１Ｒの両方で顔像が検出された場合には、両位相差画像データ９１Ｌ，９１Ｒの両方における顔像の位置及び大きさの検出結果を「左右顔検出情報９２」として顔枠表示部８９へ出力する。この左右顔検出情報９２は、スプリットイメージ生成部５４に対しても出力される。スプリットイメージ生成部５４は、左右顔検出情報９２に基づき顔領域６２の位置及び大きさを判別して特殊ＳＩデータ６６を生成する。

　また、顔検出部８７は、両位相差画像データ９１Ｌ，９１Ｒの少なくともいずれか一方で顔像が検出されなかった場合には、第１実施形態の顔検出部５３と同様に、メモリ１３のＶＲＡＭ領域から読み出した被写体像データ５５に対して顔検出処理を行う。そして、顔検出部８７は、被写体像データ５５から顔像が検出された場合には、顔検出情報６０を顔枠表示部８９へ出力する。

　なお、顔検出部８７は、両位相差画像データ９１Ｌ，９１Ｒの両方で顔像が検出された場合においても被写体像データ５５に対して顔検出処理を行って、顔検出情報６０をスプリットイメージ生成部５４へ出力する。これにより、上記各実施形態と同様にスプリットイメージ生成部５４にて特殊ＳＩデータ６６を生成することができる。

　図２６の（Ａ）部分，図２６の（Ｂ）部分に示すように、顔枠表示部８９は、顔検出部８７から左右顔検出情報９２が入力された場合に、左右顔検出情報に基づき第１及び第２の位相差画像データ９１Ｌ，９１Ｒ内でそれぞれ顔像を囲む第１の顔領域９４Ｌ、第２の顔領域９４Ｒをそれぞれ判別する。

　次いで、図２６の（Ｃ）部分に示すように、顔枠表示部８９は、特殊ＳＩデータ６６の表示領域内に、各顔領域９４Ｌ、９４Ｒの両方を囲む顔枠（第４の被写体識別枠）９５を重畳表示させる。この顔枠９５を決定する方法は特に限定はされないが、例えば、各顔領域９４Ｌ、９４Ｒをそれぞれ囲む枠の各点の座標を求めて、全ての座標を含む枠を顔枠９５として決定してもよい。

　なお、顔枠表示部８９は、顔検出部８７から顔検出情報６０が入力された場合には、この顔検出情報６０に基づいて、上記第２、第４、第５の各実施形態のいずれかの顔枠７３，７６，７７をライブビュー画像内に重畳表示させる。

　＜第７実施形態のデジタルカメラの作用＞
　図２７を用いて、上記構成のデジタルカメラ８５の作用について説明を行う。なお、ステップＳ３までは図１３に示した上記第１実施形態と同じであるので、ここでは具体的な説明は省略する。

　ステップＳ３の終了後、被写体像生成部５２は、ＲＧＢ画素３５～３７及び補間画素の画素値に基づき被写体像データ５５を生成してメモリ１３のＶＲＡＭ領域に格納する。また、位相差画像生成部８６は、両位相差画素３６ａ，３６ｂ及びその補間画素の画素値に基づき両位相差画像データ９１Ｌ，９１Ｒをそれぞれ生成して顔検出部８７へ出力する（ステップＳ４－１）。

　顔検出部８７は、位相差画像生成部８６から新たな両位相差画像データ９１Ｌ，９１Ｒが入力される毎に、これら両位相差画像データ９１Ｌ，９１Ｒに対して顔検出処理を行う（ステップＳ５－１）。

　＜両位相差画像の少なくとも一方で顔像が非検出＞
　顔検出部８７は、両位相差画像データ９１Ｌ，９１Ｒの少なくともいずれか一方で顔像が検出されなかった場合（ステップＳ５－１でＮＯ）には、メモリ１３のＶＲＡＭ領域から読み出した被写体像データ５５に対して顔検出処理を行う（ステップＳ６）。なお、被写体像データ５５で顔像が検出されなかった場合（ステップＳ６でＮＯ）には、図１３に示したステップＳ７からステップＳ９までの各処理が実行される。

　また、被写体像データ５５で顔像が検出された場合（ステップＳ６でＹＥＳ）には、この顔像の位置及び大きさを示す顔検出情報６０がスプリットイメージ生成部５４と顔枠表示部８９とにそれぞれ出力される（ステップＳ６－１）。

　＜両位相差画像の両方で顔像が検出＞
　一方、顔検出部８７は、両位相差画像データ９１Ｌ，９１Ｒの両方で顔像が検出された場合（ステップＳ５－１でＹＥＳ）には、それぞれの顔像の位置及び大きさを示す左右顔検出情報９２をスプリットイメージ生成部５４及び顔枠表示部８９へ出力する（ステップＳ６－２）。

　＜特殊生成モード＞
　少なくとも被写体像データ５５で顔像が検出された場合（ステップＳ５－１またはステップＳ６でＹＥＳ）には、スプリットイメージ生成部５４は特殊生成モードで動作する（ステップＳ１０）。スプリットイメージ生成部５４は、顔検出情報６０または左右顔検出情報９２に基づき、第１の画像データ６６Ｌと第２の画像データ６６Ｒとを含む特殊ＳＩデータ６６を生成してメモリ１３のＶＲＡＭ領域に格納する（ステップＳ１１）。

　＜ライブビュー画像表示（ステップＳ１２’）＞
　図２８に示すように、表示制御部３３は、メモリ１３のＶＲＡＭ領域から被写体像データ５５及び特殊ＳＩデータ６６を読み出して、被写体像データ５５の顔領域６２に特殊ＳＩデータ６６を合成した後に表示部８へ出力する（ステップＳ２０）。これにより、フルカラー画像内に、その顔領域６２の位置及び大きさに対応した白黒のスプリットイメージを合成したライブビュー画像が表示部８に表示される。

　この際に顔枠表示部８９は、顔検出部８７から顔検出情報６０が入力された場合、すなわち、両位相差画像データ９１Ｌ，９１Ｒの両方で顔像が検出されなかった場合（ステップＳ２１でＮＯ）には、この顔検出情報６０に基づいて上記第２、第４、第５の各実施形態の顔枠７３，７６，７７のいずれかをライブビュー画像内に重畳表示させる（ステップＳ２２）。

　逆に顔枠表示部８９は、顔検出部８７から左右顔検出情報９２が入力された場合、すなわち、両位相差画像データ９１Ｌ，９１Ｒの両方で顔像が検出された場合（ステップＳ２１でＹＥＳ）には、この左右顔検出情報９２に基づき両位相差画像データ９１Ｌ，９１Ｒ内における第１及び第２の顔領域９４Ｌ，９４Ｒをそれぞれ判別する。次いで、顔枠表示部８９は、図２６に示したように、特殊ＳＩデータ６６の表示領域内に各顔領域９４Ｌ、９４Ｒの両方を囲む顔枠９５を重畳表示させる（ステップＳ２３）。

　図２７に戻って、これ以降の処理の流れは、図１３に示した第１実施形態と同じであるのでここでは説明を省略する。なお、フォーカスレンズ１６が合焦位置に近づくに従って、両位相差画像データ９１Ｌ，９１Ｒの位相差が次第に小さくなり、これに伴い顔枠９５も次第に小さくなる。

　このように第７実施形態のデジタルカメラ８５では、両位相差画像データ９１Ｒ，９１Ｌで検出された顔像がそれぞれ含まれる領域の両方を囲む顔枠９５を特殊ＳＩデータ６６の表示領域内に重畳表示させているので、特殊ＳＩデータ６６の表示領域内で顔枠９５が顔像上に表示されることが防止される（図２６の（Ｃ）部分参照）。

　一方、比較例を示す前述の図１７において、被写体像データ５５から検出した顔像を囲む顔枠７４を特殊ＳＩデータ６６の表示領域内に重畳表示させた場合には、この顔枠７４が顔像上に表示されるおそれがある。このように顔枠７４が顔像上に表示されると、第１の画像データ６６Ｌ内の顔像と第２の画像データ６６Ｒ内の顔像との境界（以下、単に顔像境界という）の一部が顔枠７４で覆われてしまうので、この顔像境界でのずれ量が把握し難くなるおそれがある。

　これに対して本発明では、顔枠９５が顔像上に表示されないので、顔像境界を容易に把握することができる。その結果、顔枠９５の表示を行った場合でもピント調整が行い易くなる。

　［その他］
　上記各実施形態のうちの少なくとも２つを適宜組わせてもよい。また、上記各実施形態では、カラー撮像素子２３の撮像面にＲＧＢ画素３５～３７と両位相差画素３６ａ，３６ｂが２次元配列されているが、例えば、図２９に示すように、カラー撮像素子２３’の撮像面に両位相差画素３６ａ，３６ｂのみが２次元配列されている場合にも本発明を適用することができる。この場合には、被写体像生成部５２が、例えば互いに隣り合う両位相差画素３６ａ，３６ｂの画素値（出力）を加算した加算画素値を求めて、各加算画素値に基づいて被写体像データ５５の生成を行う。なお、通常及び特殊ＳＩデータ６１，６６の生成方法は、第１実施形態と基本的に同じであるので説明は省略する。

　また、図２９に示したようにカラー撮像素子２３の撮像面に両位相差画素３６ａ，３６ｂのみが２次元配列されている場合、あるいは撮像面に一定の割合で両位相差画素３６ａ，３６ｂが設けられている場合には、表示部８に通常／特殊スプリットイメージデータに基づくスプリットイメージのみの表示を行わせてもよい。

　上記各実施形態では、カラー撮像素子２３の撮像面にＲＧＢ画素３５～３７と両位相差画素３６ａ，３６ｂが上述の図４に示した配列パターンで配列されている場合について説明を行ったが、これら各画素の配列パターンは適宜変更してもよい。

　上記各実施形態では、通常及び特殊ＳＩデータ６１，６６として垂直方向（上下）に２分割されているものを例に挙げて説明を行ったが、本発明のスプリットイメージデータには、２つの位相差画像（第１の画像、第２の画像）を重畳して合成表示したときに、ピントがずれている場合には２重像として表示され、ピントが合った状態ではクリアに表示されるものが含まれる。

　例えば、通常及び特殊ＳＩデータ６１，６６が水平方向に２分割、水平及び垂直方向に対して傾いた斜め方向に２分割されていてもよい。また、各ＳＩデータ６１，６６を垂直方向または水平方向に短冊状に分割して、第１の画像データと第２の画像データとを交互に表示させるようにしてもよい。さらに、各ＳＩデータ６１，６６を格子状に分割して、第１の画像データと第２の画像データとをそれぞれ市松模様（チェッカーパターン）状に並べて表示させてもよい。

　上記各実施形態では、通常画素として３色のＲＧＢ画素について説明したが、例えばＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色の画素であっても良く、画素の種類は特に限定されない。また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の画素にも適用できる。

　上記各実施形態では、被写体像データ５５の表示領域内の中央領域６４を、通常ＳＩデータ６１を表示する本発明の特定の領域として設定しているが、この中央領域６４以外の領域を特定の領域として設定してもよい。この場合には、上記第６実施形態のデジタルカメラ８０では、特定の領域以外で顔像が検出されたときに顔像の拡大表示を行う。

　上記各実施形態では、本発明の特定の主要被写体として人Ｈの顔を例に挙げて説明を行ったが、例えば、犬、猫、自動車、飛行機等の各種の被写体を特定の主要被写体としている場合にも本発明を適用することができる。また、上記各実施形態では、主要被写体が顔であるので顔枠７３，７６，７７，９５（第１～第４の被写体識別枠）を表示しているが、主要被写体の種類に応じて第１～第４の被写体識別枠の形状等を適宜変更してもよい。

　上記各実施形態では本発明の撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば、撮影機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、タブレット型コンピュータ、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　＜スマートフォンの構成＞
　図３０は、スマートフォン５００の外観を示すものである。スマートフォン５００は、平板状の筐体５０１を有している。筐体５０１の一方の面には、表示入力部５０２と、スピーカ５０３と、マイクロホン５０４、操作部５０５と、カメラ部５０６とを備えている。なお、筐体５０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成、折り畳み構造やスライド機構を有する構成を採用することもできる。

　表示入力部５０２は、ＣＰＵ５０７からの指令を受けた表示処理部５０８の制御により、画像（静止画像及び動画像）や文字情報などを表示する。また、表示入力部５０２は、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネル構造を有している。この表示入力部５０２は、表示パネル５１０と、操作パネル５１２とで構成されている。

　表示パネル５１０は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５１２は、光透過性を有しており、表示パネル５１０の表示面上に載置されている。この操作パネル５１２は、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号をスマートフォン５００のＣＰＵに出力する。ＣＰＵは、受信した検出信号に基づいて、表示パネル５１０上の操作位置（座標）を検出する。このような操作パネル５１２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられる。

　図３１に示すように、スマートフォン５００は、表示入力部５０２、スピーカ５０３、マイクロホン５０４、操作部５０５、カメラ部５０６、ＣＰＵ５０７、表示処理部５０８の他に、無線通信部５１５と、通話部５１６と、記憶部５１７と、外部入出力部５１８と、ＧＰＳ（Global Positioning System）受信部５１９と、モーションセンサ部５２０と、電源部５２１とを備える。

　無線通信部５１５は、ＣＰＵ５０７の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　通話部５１６は、スピーカ５０３やマイクロホン５０４を備え、マイクロホン５０４を通じて入力されたユーザの音声を音声データに変換してＣＰＵ５０７に出力したり、無線通信部５１５等で受信された音声データを復号してスピーカ５０３から出力する。

　操作部５０５は、例えば押しボタン式のスイッチや十字キーなどを用いたハードウェアキーであり、ユーザからの指示を受け付ける。この操作部５０５は、例えば筐体５０１の表示部の下部や筐体５０１の側面に搭載される。

　記憶部５１７は、ＣＰＵ５０７の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータなどを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５１７は、スマートフォン内蔵の内部記憶部５１７ａと着脱自在な外部メモリスロットを有する外部記憶部５１７ｂにより構成される。なお、内部記憶部５１７ａと外部記憶部５１７ｂとしては、フラッシュメモリタイプ、ハードディスクタイプなどの公知の各種記憶媒体が用いられる。

　外部入出力部５１８は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等により直接的または間接的に接続するためのものである。

　ＧＰＳ受信部５１９は、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。この検出結果はＣＰＵ５０７に出力される。

　モーションセンサ部５２０は、例えば、３軸の加速度センサなどを備えており、スマートフォン５００の物理的な動きを検出する。これにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果はＣＰＵ５０７に出力される。また、電源部５２１は、図示しないバッテリに蓄えられた電力をスマートフォン５００の各部に供給する。

　ＣＰＵ５０７は、記憶部５１７から読み出した制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御する。また、ＣＰＵ５０７は、表示パネル５１０に対する表示制御、操作部５０５や操作パネル５１２を通じたユーザ操作を検出する操作検出制御などを実行する。

　表示制御の実行により、ＣＰＵ５０７は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５１０の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、ＣＰＵ５０７は、操作部５０５を通じたユーザ操作を検出したり、操作パネル５１２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行によりＣＰＵ５０７は、操作パネル５１２に対する操作位置が、表示パネル５１０に重なる重畳部分（表示領域）か、それ以外の表示パネル５１０に重ならない外縁部分（非表示領域）かを判定し、操作パネル５１２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。また、ＣＰＵ５０７は、操作パネル５１２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することができる。

　カメラ部５０６は、上記各実施形態のデジタルカメラと基本的に同じ構成であるので、上記各実施形態と同様の効果が得られる。なお、ＭＦ操作は、例えば表示入力部５０２や操作部５０５にて行えばよい。

　２，７０…デジタルカメラ，８…表示部，２３…カラー撮像素子，２９…画像処理回路，３３…表示制御部，３５…Ｒ画素，３６…Ｇ画素，３７…Ｂ画素，３６ａ…第１の位相差画素，３６ｂ…第２の位相差画素，５２…被写体像生成部，５３，５３ａ…顔検出部，５４，５４ａ…スプリットイメージ生成部，６１…通常スプリットイメージデータ，６６，６６ａ…特殊スプリットイメージデータ，７２，８９…顔枠表示部，７３，７６，７７，９５…顔枠，８１…拡大表示部，８３…拡大画像データ

Claims (13)

1. 　撮影レンズと、
   　撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、前記第１及び第２の画素群から出力された第１及び第２の画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成手段と、
   　前記第１及び第２の表示用画像の少なくともいずれか一方を表示する表示手段と、
   　第１の表示用画像から特定の主要被写体像を検出する検出手段と、
   　前記検出手段で前記主要被写体像が検出された場合に、前記生成手段を制御して前記第１及び第２の画像から当該主要被写体像を複数分割した分割像を生成させ、前記分割像に基づいて前記第２の表示用画像を生成させる生成制御手段と、
   　前記表示手段に対して前記生成手段により生成された前記第１の表示用画像を表示させ、かつ該第１の表示用画像の表示領域内に前記生成手段により生成された前記第２の表示用画像を表示させる制御を行う表示制御手段であって、前記検出手段で前記主要被写体像が検出された場合に、第１の表示用画像内の前記主要被写体像に対応する位置に前記第２の表示用画像を表示させる表示制御手段と、
   　を備える撮像装置。
2. 　前記撮像素子は、前記第１及び第２の画素群と、前記第１及び第２の領域を通過した被写体像が瞳分割されずにそれぞれ入射する第３の画素群とを含み、
   　前記生成手段は、前記第３の画素群の出力から前記第１の表示用画像を生成する請求項１記載の撮像装置。
3. 　前記検出手段は、前記主要被写体像内の目の位置を検出可能であり、
   　前記生成制御手段は、前記検出手段により前記目の位置が検出された場合に、前記生成手段を制御して、前記目の位置を境界として前記主要被写体像を分割した分割像を前記第１及び第２の画像から生成させる請求項１または２記載の撮像装置。
4. 　前記表示制御手段は、前記検出手段の検出結果に基づき、前記表示領域内に前記第２の表示用画像を囲む第１の被写体識別枠を表示させる請求項１から３のいずれか１項記載の撮像装置。
5. 　前記表示制御手段は、前記検出手段の検出結果に基づき、前記第２の表示用画像内に前記主要被写体像を囲む半透明の第２の被写体識別枠を表示させる請求項１から３のいずれか１項記載の撮像装置。
6. 　前記表示制御手段は、前記検出手段の検出結果に基づき、前記第２の表示用画像内に前記主要被写体像を囲み、かつ前記第１及び第２の画像の境界を跨ぐ部分が透明な第３の被写体識別枠を表示させる請求項１から３のいずれか１項記載の撮像装置。
7. 　前記検出手段は、前記第１及び第２の画像のそれぞれから前記主要被写体像を検出し、
   　前記表示制御手段は、前記検出手段による前記第１及び第２の画像からの前記主要被写体像の検出結果に基づき、第１の表示用画像内における、前記第１の画像内の前記主要被写体像に対応する領域と前記第２の画像内の前記主要被写体像に対応する領域との両方を囲む第４の被写体識別枠を、前記第２の表示用画像内に表示させる請求項１から３のいずれか１項記載の撮像装置。
8. 　前記第２の表示用画像は、前記表示領域内の特定の領域内に表示されるものであり、
   　前記表示制御手段は、前記検出手段の検出結果に基づき、前記主要被写体像が前記特定の領域外に位置する場合には、当該主要被写体像を前記表示手段に拡大表示させる請求項１から７のいずれか１項記載の撮像装置。
9. 　前記表示制御手段は、前記検出手段により前記主要被写体像が検出されなかった場合には、前記表示領域内の特定の領域に前記第２の表示用画像を表示させる請求項１から８のいずれか１項記載の撮像装置。
10. 　前記特定の領域は、前記表示領域の中央領域である請求項８または９記載の撮像装置。
11. 　前記検出手段は、前記主要被写体像として人の顔を検出する請求項１から１０のいずれか１項記載の撮像装置。
12. 　前記撮影レンズには、フォーカスレンズが含まれており、
    　フォーカス操作を受けて前記フォーカスレンズを前記撮影レンズの光軸方向に移動させるレンズ移動機構を備え、
    　前記フォーカス操作には手動操作が含まれる請求項１から１１のいずれか１項記載の撮像装置。
13. 　撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、前記第１及び第２の画素群から出力された第１及び第２の画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成ステップと、
    　第１の表示用画像から特定の主要被写体像を検出する検出ステップと、
    　前記検出ステップで前記主要被写体像が検出された場合に、前記生成ステップにて前記第１及び第２の画像から当該主要被写体像を複数分割した分割像を生成させ、前記分割像に基づいて前記第２の表示用画像を生成させる生成制御ステップと、
    　表示部に対して前記生成ステップで生成された前記第１の表示用画像を表示させ、かつ該第１の表示用画像の表示領域内に前記生成ステップで生成された前記第２の表示用画像を表示させる制御を行う表示制御ステップであって、前記検出ステップで前記主要被写体像が検出された場合に、第１の表示用画像内の前記主要被写体像に対応する位置に前記第２の表示用画像を表示させる表示制御ステップと、
    　を有する撮像装置の制御方法。

Images