JP5955417B2 - 画像処理装置、撮像装置、プログラム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、プログラム及び画像処理方法に係り、特に、被写体像の合焦状態を確認するための画像を生成して表示する画像処理装置、撮像装置、プログラム、及び画像処理方法に関する。

従来、デジタルカメラやカメラ付きの携帯電話機等の撮像装置において、手動で焦点調整を行う作業を容易にするために、スプリットイメージをライブビュー画像（所謂スルー画像）内に表示する技術が用いられるようになってきた。なお、スプリットイメージとは、被写体像における所定領域に対応する左目画像の一部と右目画像の一部とを合成した画像である。このスプリットイメージにおいては、合焦状態に応じて、左目画像と右目画像との間で視差発生方向に対するずれが発生する。この技術を利用し、ユーザは、スプリットイメージにおける左目画像と右目画像とのずれを視認することで合焦状態を確認する。

この技術を用いた撮像装置として、特開２００９−２３７２１４号公報（以下、「特許文献１」という）には、スプリットイメージとライブビュー画像の一部に対応する部分画像を拡大した画像とを組み合わせて表示することができる撮像装置が開示されている。この撮像装置は、マニュアルフォーカス時において、表示手段にスプリットイメージと、被写体像の一部に対応する部分画像とを切り換えて表示させる手段を備えている。

一方、特開２００５−２２２０３６号公報（以下、「特許文献２」という）には、手動による焦点調整を行う際に、自動合焦の制御を行うことにより上記焦点調整を補助する撮像装置が開示されている。この撮像装置は、手動合焦用の第１のフォーカスレンズの位置を維持しつつ操作手段の操作によって自動合焦用の第２のフォーカスレンズを移動させることで、上記第１のフォーカスレンズによる手動合焦での合焦状態を調整可能としている。

従来、ユーザがスプリットイメージを確認しながら手動で焦点調整を行う際、自動合焦の制御を行うことにより焦点調整を更に補助することができる撮像装置の開発が要望されていた。

ここで、特許文献１に開示されている技術に、特許文献２に開示されている技術を組み合わせることにより、上記撮像装置を実現することが考えられる。ユーザがスプリットイメージを用いて手動で焦点調整を行う場合には、スプリットイメージの状態を確認しながら焦点調整を行う。そのため、スプリットイメージを用いた手動での焦点調整の際に更に自動合焦の制御を行う場合には、手動での焦点調整を行う際に対象とする画像領域と自動での合焦制御を行う際に対象とする画像領域とが整合している必要がある。

しかしながら、特許文献２に開示されている技術では、自動での合焦制御を行う際に対象とする画像領域の適用範囲を制限していない。そのため、手動での焦点調整を行う際に対象とする画像領域と、自動での合焦制御を行う際に対象とする画像領域とが必ずしも整合しているとは限らず、必ずしも手動での焦点調整を違和感なく行うことができるとは限らない、という問題点があった。

本発明は上記問題点に鑑みてなされたものであり、手動での焦点調整を違和感なく行うことができる画像処理装置、撮像装置、プログラム及び画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部と、上記表示部に対して上記生成部により生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成部により生成された上記第２の表示用画像を表示する制御を行う表示制御部と、予め定められた指示が入力された場合、上記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複した合焦領域で自動合焦を行う自動合焦部と、を備えている。

本発明に係る画像処理装置によれば、生成部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像が生成される。

また、本発明では、生成部により、上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像が生成される。

更に、本発明では、表示制御部により、画像を表示する表示部に対して上記生成部により生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成部により生成された上記第２の表示用画像を表示する制御が行われる。

ここで、本発明では、自動合焦部により、予め定められた指示が入力された場合、上記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複した合焦領域で自動合焦が行われる。

このように、本発明に係る画像処理装置によれば、自動合焦を行う際に対象とする画像領域である合焦領域の少なくとも一部を、第２の表示用画像（スプリットイメージ）の画像領域の少なくとも一部に重複させているので、手動での焦点調整を違和感なく行うことができる。

また、上記目的を達成するために、本発明に係る画像処理装置は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部と、生成部により生成された第１の表示用画像の表示部による表示を抑止し、かつ、表示部に対して、生成部により生成された第２の表示用画像を表示させる制御を行う表示制御部と、予め定められた指示が入力された場合、第２の表示用画像の表示領域の少なくとも一部と少なくとも一部に重複した合焦領域で自動合焦を行う自動合焦部と、を備えている。

本発明に係る画像処理装置によれば、生成部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像が生成される。

また、本発明では、生成部により、上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像が生成される。

更に、本発明では、表示制御部により、生成部により生成された第１の表示用画像の表示部による表示を抑止し、かつ、表示部に対して、生成部により生成された第２の表示用画像を表示させる制御が行われる。

ここで、本発明では、自動合焦部により、予め定められた指示が入力された場合、上記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複した合焦領域で自動合焦が行われる。

このように、本発明に係る画像処理装置によれば、自動合焦を行う際に対象とする画像領域である合焦領域の少なくとも一部を、第２の表示用画像の画像領域の少なくとも一部に重複させているので、手動での焦点調整を違和感なく行うことができる。

なお、本発明に係る画像処理装置において、上記自動合焦部は、上記第２の表示用画像の表示領域に対して予め定められた第１閾値以上の面積の割合で重複した合焦領域で自動合焦を行うようにしても良い。これにより、第２の表示用画像と合焦画像との重複の度合いを設定することができる。

また、本発明に係る画像処理装置において、上記表示制御部は、上記表示部に対して上記合焦領域の範囲を示す情報を更に表示する制御を行うようにしても良い。これにより、ユーザが、合焦領域を視認することができるため、利便性を高めることができる。

また、本発明に係る画像処理装置において、上記第２の表示用画像内の主要被写体に対応する領域の少なくとも一部を被写体領域として抽出する抽出部を更に備え、上記自動合焦部は、上記抽出部により抽出された上記被写体領域を上記合焦領域として自動合焦を行うようにしても良い。これにより、第２の表示用画像内における主要被写体に合焦させることができる。

また、本発明に係る画像処理装置において、上記抽出部は、人の顔に対応する領域の少なくとも一部を上記被写体領域として抽出するようにしても良い。これにより、第２の表示用画像内における人の顔に合焦させることができる。

また、本発明に係る画像処理装置において、上記自動合焦部は、上記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複し、かつ上記第１の表示用画像の表示領域内における中央部を含む予め定められた領域を上記合焦領域として自動合焦を行うようにしても良い。これにより、主要被写体が存在する可能性が高い画像領域を自動合焦の対象とすることができる。

また、本発明に係る画像処理装置において、合焦領域の位置を示す位置情報の入力を受け付ける受付部を更に備え、自動合焦部は、受付部により受け付けられた位置情報に基づいて合焦領域の位置を移動して自動合焦を行うようにしても良い。これにより、ユーザにとって所望の領域を合焦領域として自動合焦を行うことができる。

また、本発明に係る画像処理装置において、自動合焦部は、位置情報に基づいて移動させた後の合焦領域の少なくとも一部が、第２の表示用画像の表示領域の少なくとも一部に重複する場合のみ、当該移動を行って自動合焦を行うようにしても良い。これにより、より確実に違和感なく手動での焦点調整を行うことができる。

また、本発明に係る画像処理装置において、表示制御部は、位置情報に基づいて移動させた後の合焦領域が、第２の表示用画像の表示領域外となる場合、第２の表示用画像の表示を停止する制御を行うようにしても良い。これにより、違和感のある焦点調整を回避することができる。

また、本発明に係る画像処理装置において、受付部は、表示制御部により第２の表示用画像の表示を停止する制御を行った後に位置情報の入力を再度受け付け、表示制御部は、受付部により位置情報が再度受け付けられた場合、当該位置情報に基づいて移動させた後の合焦領域の少なくとも一部が、第２の表示用画像の表示領域の少なくとも一部に重複した場合、第２の表示用画像の表示を再開する制御を行うようにしても良い。これにより、ユーザによる合焦領域の移動先の指定が誤った場合でも、違和感のない焦点調整を行うことができる。

また、本発明に係る画像処理装置において、上記第１の表示用画像内の主要被写体に対応する領域の少なくとも一部を第２被写体領域として抽出する第２抽出部を更に備え、上記自動合焦部は、上記第２抽出部により抽出された上記第２被写体領域が、上記第２の表示用画像の表示領域外となる場合、上記表示領域内で上記第２被写体領域からの距離が最短となる予め定められた大きさの領域を上記合焦領域として自動合焦を行うようにしても良い。これにより、主要被写体が第２の表示用画像の表示領域外に存在する場合であっても、より違和感なく焦点調整を行うことができる。

また、本発明に係る画像処理装置において、上記第２の表示用画像の拡大を指示する拡大指示情報の入力を受け付ける第２受付部を更に備え、上記表示制御部は、上記第２受付部により上記拡大指示情報の入力が受け付けられた場合、上記第２の表示用画像を拡大させて表示させる制御を行い、上記自動合焦部は、上記表示制御部により上記第２の表示用画像を拡大して表示させる制御が行われた場合、上記第２の表示用画像の拡大率以下の拡大率で上記合焦領域を拡大して自動合焦を行うようにしても良い。これにより、第２の表示用画像及び合焦領域を拡大することに伴う合焦領域の第２の表示用画像に対するはみ出しの増加を防止することができる。

また、本発明に係る画像処理装置において、上記自動合焦部は、上記拡大させた後の上記合焦領域の大きさが予め定められた第２閾値より大きくなる場合、上記合焦領域を上記第２閾値の大きさとして自動合焦を行うようにしても良い。これにより、合焦領域に主要被写体以外の画像が含まれることを抑制することができ、自動合焦の精度を高めることができる。

一方、上記目的を達成するために、本発明に記載の撮像装置は、本発明に係る画像処理装置と、上記撮像レンズと、上記撮像素子と、を備えている。

従って、本発明に係る撮像装置によれば、本発明に係る画像処理装置と同様に作用するので、本発明に係る画像処理装置と同様に、手動での焦点調整を違和感なく行うことができる。

また、上記目的を達成するために、本発明に係るプログラムは、コンピュータを、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部に対して上記生成部により生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成部により生成された上記第２の表示用画像を表示する制御を行う表示制御部と、予め定められた指示が入力された場合、上記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複した合焦領域で自動合焦を行う自動合焦部と、として機能させる。

従って、本発明に係るプログラムによれば、コンピュータを本発明に係る画像処理装置と同様に作用させるので、本発明に係る画像処理装置と同様に、手動での焦点調整を違和感なく行うことができる。

更に、上記目的を達成するために、本発明に係る画像処理方法は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成ステップと、画像を表示する表示部に対して上記生成ステップにより生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成ステップにより生成された上記第２の表示用画像を表示する制御を行う表示制御ステップと、予め定められた指示が入力された場合、上記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複した合焦領域で自動合焦を行う自動合焦ステップと、を備えている。

従って、本発明に係る画像処理方法によれば、本発明に係る画像処理装置と同様に作用するので、本発明に係る画像処理装置と同様に、手動での焦点調整を違和感なく行うことができる。

本発明によれば、手動での焦点調整を違和感なく行うことができる、という効果を奏する。

第１乃至第５実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１乃至第５実施形態に係る撮像装置の背面側を示す背面図である。 第１乃至第５実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタ及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子の位相差画素（第１の画素及び第２の画素）の構成の一例を示す概略構成図である。 実施形態に係る撮像装置の要部機能の一例を示すブロック図である。 実施形態に係る通常画像及びスプリットイメージの表示態様の一例を示す正面図である。 実施形態に係る通常画像及びスプリットイメージの表示態様の一例を示す正面図である。 第１実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 第１実施形態に係るスプリットイメージの領域の一例を示す正面図である。 第１実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第１実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第１実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第１実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第１実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第２実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 第２実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第２実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第２実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第３実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 第３実施形態に係る自動合焦の制御時の合焦領域の一例を示す正面図である。 第３実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第４実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 第４実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第４実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第４実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第５実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 第５実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 第５実施形態に係るスプリットイメージ及び自動合焦の制御時の合焦領域の一例を示す正面図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 第６実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第６実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。

以下、添付図面に従って本発明に係る撮像装置の実施の形態の一例について説明する。

［第１実施形態］
本実施形態に係る撮像装置１００は、レンズ交換式カメラである。また、撮像装置１００は、図１に示すように、カメラ本体２００と、カメラ本体２００に交換可能に装着される交換レンズ２５８（撮影レンズ、フォーカスリング２６０）と、を含み、レフレックスミラーが省略されたデジタルカメラである。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。

カメラ本体２００と交換レンズ２５８とは、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ２５８側のマウント３４６（図３参照）とが結合されることにより交換可能に装着される。また、交換レンズ２５８の鏡筒にはフォーカスリング２６０が設けられ、フォーカスリング２６０の回転操作に伴ってフォーカスレンズを光軸方向に移動させ、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光を結像させることができる。

カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ２５８の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズスイッチ２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。

レリーズスイッチ２１１は、待機位置から中間位置（半押し位置）まで押下される状態と、中間位置を超えた最終押下位置（全押し位置）まで押下される状態と、の２段階の押圧操作が検出可能に構成されている。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。本第１実施形態に係る撮像装置１００では、レリーズスイッチ２１１を半押し状態にすることにより後述する撮影制御処理が実行され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

図２に示すように、カメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５が設けられている。

十字キー２２２は、メニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、表示部２１３の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消、あるいは１つ前の操作状態に戻すときなどに使用される。

表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、表示部２１３は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。

撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、図３に示されるＣＰＵ（Central Processing Unit：中央処理装置）１２によって統括制御されている。同図に示すように、撮像装置１００は、ＣＰＵ１２の他に、操作部１４、インタフェース部２４、メモリ２６及びエンコーダ３４を含む。また、撮像装置１００は、本発明に係る表示制御手段の一例である表示制御部３６、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９を含む。また、撮像装置１００は、本発明に係る生成手段及び視差算出手段の一例である画像処理部２８を含む。

ＣＰＵ１２、操作部１４、インタフェース部２４、メモリ２６、画像処理部２８、エンコーダ３４、表示制御部３６、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９は、バス４０を介して相互に接続されている。なお、メモリ２６は、パラメータやプログラムなどが記憶された不揮発性の記憶領域（一例としてＥＥＰＲＯＭなど）と画像などの各種情報が一時的に記憶される揮発性の記憶領域（一例としてＳＤＲＡＭなど）とを有する。

なお、本第１実施形態に係る撮像装置１００では、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるように焦点調整モータを駆動制御することによって合焦制御を行う。また、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズスイッチ２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタースピード及びＦ値を導出する。そして、導出したシャッタースピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

操作部１４は、撮像装置１００に対して各種指示を与える際に操作者によって操作されるユーザインタフェースである。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。

操作部１４は、レリーズスイッチ２１１、ダイヤル２１２、表示部２１３、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。

ダイヤル２１２により撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズを含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。

撮像素子２０には一例として図４に示すようなカラーフィルタ２１が設けられている。一例として図４に示すように、カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ、Ｒ（赤）に対応する第２のフィルタＲ及びＢ（青）に対応する第３のフィルタＢを含む。

また、本実施形態に係る撮像装置１００は、位相差ＡＦ機能を有する。更に、本実施形態に係る撮像素子２０は、位相差ＡＦ機能を働かせた場合に用いられる複数の位相差検出用の画素を含む。この複数の位相差検出用の画素は予め定めたパターンで配置されている。

位相差検出用の画素は、水平方向の左半分が遮光された第１の画素Ｌ及び水平方向の右半分が遮光された第２の画素Ｒの何れかである。なお、以下では、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「位相差画素」と称する。

一例として図５に示すように、第１の画素Ｌは遮光部材２０Ａを有し、第２の画素Ｒは遮光部材２０Ｂを有する。遮光部材２０Ａは、フォトダイオードＰＤの前面側（マイクロレンズＭ側）に設けられており、受光面の左半分を遮光する。一方、遮光部材２０Ｂは、フォトダイオードＰＤの前面側に設けられており、受光面の右半分を遮光する。

マイクロレンズＭ及び遮光部材２０Ａ，２０Ｂは瞳分割部として機能し、第１の画素Ｌは、撮影レンズ１６の射出瞳を通過する光束の光軸の左側のみを受光し、第２の画素Ｒは、撮影レンズ１６の射出瞳を通過する光束の光軸の右側のみを受光する。このように、射出瞳を通過する光束は、瞳分割部であるマイクロレンズＭ及び遮光部材２０Ａ，２０Ｂにより左右に分割され、それぞれ第１の画素Ｌおよび第２の画素Ｒに入射する。

また、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、焦点が合っている（合焦状態である）部分は、撮像素子２０上の同じ位置に結像する。これに対し、被写体より前に焦点が合っている前ピン又は被写体より後ろに焦点が合っている後ピンの部分は、それぞれ撮像素子２０上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目画像、右目画像）として取得することができる。

本実施形態に係る撮像装置１００は、第１の画素Ｌの画素値と第２の画素Ｒの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量を提示することによって、ユーザ操作による撮影レンズ１６の焦点位置の調整を補助する。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。

本実施形態に係る撮像素子２０は、第１の画素群、第２の画素群及び第３の画素群に分類される。第１の画素群とは、例えば複数の第１の画素Ｌを指す。第２の画素群とは、例えば複数の第２の画素Ｒを指す。第３の画素群とは、例えば複数の通常画素を指す。ここで言う「通常画素」とは、例えば位相差画素以外の画素（例えば遮光部材２０Ａ，２０Ｂを有しない画素）を指す。なお、以下では、第１の画素群から出力される画像信号により示されるＲＡＷ画像を「第１の画像」と称する。また、第２の画素群から出力される画像信号により示されるＲＡＷ画像を「第２の画像」と称する。更に、第３の画素群から出力される画像信号により示されるＲＡＷ画像を「第３の画像」と称する。

第１の画素群及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で水平方向についての位置が１画素内で揃う位置に配置されている。また、第１の画素群及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で垂直方向についての位置も１画素内で揃う位置に配置されている。図４に示す例では、水平方向及び垂直方向の各々について直線状に第１の画素Ｌと第２の画素Ｒとが複数画素分（本実施形態では、２画素分）の間隔を空けて交互に配置されている。

また、図４に示す例では、第１及び第２の画素群に含まれる各画素の位置を水平方向及び垂直方向の各々について１画素内で揃う位置としているが、水平方向及び垂直方向の少なくとも一方について所定画素数内（例えば２画素以内）に収まる位置としてもよい。なお、ピントずれ以外の要因で画像ずれが発生するのを最大限に抑制するためには、一例として図４に示すように、第１及び第２の画素群に含まれる各画素の位置を水平方向及び垂直方向の各々について１画素内で揃う位置とすることが好ましい。

位相差画素は、一例として図４に示すように、２×２画素（例えば、図４の正面視左上から３行３列目、３行４列目、４行３列目、及び４行４列目の画素）に対応する正方配列のＧフィルタの画素に対して設けられている。本実施形態では、２×２画素のＧフィルタのうちの図４の正面視右下角の画素が位相差画素に対して割り当てられている。

このように、カラーフィルタ２１では、２×２画素のＧフィルタの右下角部の画素に対して遮光部材が設けられており、垂直方向及び水平方向ともに複数画素分の間隔を空けて位相差画素が規則的に配置されている。このため、位相差画素の周囲に通常画素が比較的多く配置されるので、通常画素の画素値から位相差画素の画素値を補間する場合における補間精度を向上させることができる。しかも、位相差画素間で補間に利用する通常画素が重複しないように第１乃至第３の画素群に含まれる各画素が配置されているので、補間精度のより一層の向上が期待できる。

図３に戻って、撮像素子２０は、第１の画素群から第１の画像を示す画像信号（各第１の画素の画素値を示すデジタル信号）を出力し、第２の画素群から第２の画像を示す画像信号（各第２の画素の画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から第３の画像を示す画像信号（各通常画素の画素値を示すデジタル信号）を出力する。なお、上記第３の画像は有彩色の画像であり、例えば通常画素の配列と同じカラー配列のカラー画像である。また、上記第１の画像、上記第２の画像及び上記第３の画像を示す画像データは、インタフェース部２４を介してメモリ２６における揮発性の記憶領域に一時記憶される。

また、画像処理部２８は、通常処理部３０を有する。通常処理部３０は、第３の画素群に対応するＲ，Ｇ，Ｂ信号を処理することで第１の表示用画像の一例である有彩色の通常画像を生成する。また、画像処理部２８は、スプリットイメージ処理部３２を有する。スプリットイメージ処理部３２は、第１の画素群及び第２の画素群に対応するＧ信号を処理することで第２の表示用画像の一例である無彩色のスプリットイメージを生成する。なお、本実施形態に係る画像処理部２８は、一例として、画像処理に係る複数の機能を実現する回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。ここで、ＣＰＵ１２は、後述する撮影制御処理プログラムを実行し、スプリットイメージ処理部３２にスプリットイメージを生成させ、生成されたスプリットイメージを表示部２１３に表示させる制御を行う。しかし、画像処理部２８のハードウェア構成はＡＳＩＣに限定されるものではなく、例えばプログラマブルロジックデバイスやＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であっても良い。

一方、エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。また、ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。ＬＣＤ２４７における所定方向の画素数（一例として視差発生方向である水平方向の画素数）は、表示部２１３における同方向の画素数よりも少ない。表示制御部３６は表示部２１３及びＬＣＤ２４７に各々接続されており、ＬＣＤ２４７及び表示部２１３が選択的に制御されることによりＬＣＤ２４７又は表示部２１３により画像が表示される。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。

なお、本実施形態に係る撮像装置１００は、ダイヤル２１２によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいて撮影レンズ１６のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してレンズ駆動部（図示省略）を制御し、撮影レンズ１６を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。

また、接眼検出部３７は、ユーザがファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。

更に、外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。

図６に示すように、通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、メモリ２６に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタ２１の配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。

通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第３の画素群のＲ，Ｇ，Ｂ画素における位相差画像で遮光されている画素に対して、第１の画素群及び第２の画素群のうちの同色の周辺画素（例えば隣接するＧ画素）で補間する。そして、通常処理部３０は、上記補間により得られる画像を、表示用の通常画像及び記録用の通常画像としても良い。

また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４２（図６参照）に記録される。また、通常処理部３０は、生成した表示用の通常画像の画像データを表示制御部３６に出力する。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。

撮像素子２０は、第１の画素群及び第２の画素群の各々の露出条件（一例として電子シャッタによるシャッタ速度）を変えることができ、これにより露出条件の異なる画像を同時に取得することができる。従って、画像処理部２８は、露出条件の異なる画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で複数の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。

一方、スプリットイメージ処理部３２は、メモリ２６に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＧ信号を抽出し、第１の画素群及び第２の画素群のＧ信号に基づいて無彩色のスプリットイメージを生成する。ＲＡＷ画像から抽出される第１の画素群及び第２の画素群の各々は、上述したようにＧフィルタの画素による画素群である。そのため、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群のＧ信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左目画像」と称し、上記の「無彩色の右の視差画像」を「右目画像」と称する。

スプリットイメージ処理部３２は、第１の画素群から出力された第１の画像に基づく左目画像と、第２の画素群から出力された第２の画像に基づく右目画像とを合成することによりスプリットイメージを生成する。生成したスプリットイメージの画像データは表示制御部３６に出力される。

表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データと、スプリットイメージ処理部３２から入力された第１、第２の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部３２から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示装置に出力する。

スプリットイメージ処理部３２により生成されるスプリットイメージは、左目画像の一部と右目画像の一部とを合成した複数分割の画像である。ここで言う「複数分割の画像」としては、例えば図７Ａ及び図７Ｂに示すスプリットイメージ３００が挙げられる。スプリットイメージ３００は、左目画像３００Ａを図７Ａ及び図７Ｂの正面視上下方向に２つに分割した分割画像のうちの上半分の分割画像と、右目画像３００Ｂを同様に分割した分割画像のうちの下半分の分割画像とを合成した画像である。スプリットイメージ３００は、左目画像３００Ａ及び右目画像３００Ｂの各分割画像間が合焦状態に応じた量だけ予め定められた方向（本実施形態では、図７Ａ及び図７Ｂの正面視左右方向）にずれた画像である。

本実施形態では、通常画像３０１にスプリットイメージ３００を合成する際、通常画像の一部の画像に代えてスプリットイメージ３００を嵌め込むことで合成するが、合成方法はこれに限定されない。例えば、通常画像３０１の上にスプリットイメージ３００を重畳させる合成方法であってもよい。また、スプリットイメージ３００を重畳する際に、スプリットイメージ３００が重畳される領域に対応する通常画像３０１の一部の画像とスプリットイメージ３００との透過率を適宜調整して重畳させる合成方法であってもよい。あるいは、通常画像３０１及びスプリットイメージ３００を各々異なるレイヤで表示させても良い。これにより、ライブビュー画像における通常画像の表示領域内に、スプリットイメージ３００を表示させることができる。なお、ライブビュー画像とは、連続的に撮影している被写体像を表示装置の画面上に連続的に表示させる際の、被写体像を示す画像である。

また、図６に示すように、ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、ＬＣＤ２４７、プリズム２４５及び接眼レンズ２４６を有する。

また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。

プリズム２４５は、ＬＣＤ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導くと共に、光学像とＬＣＤ２４７に表示される情報（電子像、各種の情報）とを合成する。

ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、ファインダー接眼部２４２から光学像が視認できるようにする。また、ＬＣＤ２４７には、スプリットイメージ３００のみを表示させる。これにより、光学像の一部にスプリットイメージ３００が重畳されたファインダー像を表示させることができる。

一方、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、ファインダー接眼部２４２からＬＣＤ２４７に表示される電子像のみが視認できるようにする。なお、ＬＣＤ２４７には、表示部２１３に出力されるスプリットイメージ３００が合成された画像データと同等の画像データが入力される。これにより、表示部２１３と同様に通常画像３０１の一部にスプリットイメージ３００が合成された電子像を表示させることができる。

表示装置に通常画像３０１及びスプリットイメージ３００の各々を示す画像信号が入力されたとする。この場合、表示装置は、一例として図７Ａ及び図７Ｂに示すように、入力された画像信号によって示されるスプリットイメージ３００を画面中央部の矩形状とされたスプリットイメージ３００の表示領域３０２に表示する。また、表示装置は、入力された画像信号が示す通常画像３０１をスプリットイメージ３００の外周領域に表示する。また、表示装置は、スプリットイメージ３００を示す画像信号が入力されずに通常画像３０１を示す画像信号のみが入力された場合、入力された画像信号によって示される通常画像３０１を表示装置の表示領域の全域に表示する。また、表示装置は、通常画像３０１を示す画像信号が入力されずにスプリットイメージ３００を示す画像信号が入力された場合、入力された画像信号によって示されるスプリットイメージ３００を表示領域３０２に表示し、外周領域を空白領域とする。

ところで、本実施形態に係る撮像装置１００は、マニュアルフォーカスモードに設定されている状態において予め定められた操作がされた場合、自動合焦制御を行う機能を備えている。そして、本実施形態に係る撮像装置１００は、スプリットイメージ３００を表示装置に表示すると共に、上記操作がされた場合に自動合焦制御を行い、また、撮影を指示する操作がされた場合に撮影を行う撮影制御処理を行う。

次に、図８を参照して、本実施形態に係る撮像装置１００の作用を説明する。なお、図８は、撮像装置１００がマニュアルフォーカスモードに設定されていて、かつダイヤル２１２により撮影モードに設定された際にＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、メモリ２６の所定の記憶領域に予め記憶されている。

なお、ここでは、レリーズスイッチ２１１が半押し状態にされた場合の処理についての記載を省略する。

まず、ステップＳ４０１では、第１の画素群から出力された画像信号に基づく左目画像３００Ａを示す画像データ、及び第２の画素群から出力された画像信号に基づく右目画像３００Ｂを示す画像データを、インタフェース部２４を介して取得する。なお、取得した各画像データはＣＰＵ１２により所定の記憶領域（例えばメモリ２６）に記憶される。

次のステップＳ４０３では、第３の画素群から出力された画像信号に基づく通常画像３０１を示す画像データを、インタフェース部２４を介して取得する。この際、ＣＰＵ１２は、第３の画素群から出力された画像信号に基づく通常画像３０１を示す画像データを取得するが、通常画像３０１を示す画像データの取得方法はこれに限定されない。すなわち、取得した左目画像３００Ａ及び右目画像３００Ｂの各々を示す画像データに基づいて通常画像３０１を示す画像データを生成しても良い。

通常画像３０１を示す画像データを生成する方法としては、例えば、左目画像３００Ａまたは右目画像３００Ｂをそのまま通常画像３０１とする方法が例示される。また、左目画像３００Ａまたは右目画像３００Ｂにおいて隣接する各画素の間に補完画素を配置させ、当該補完画素を囲む画素の画素値の平均値を当該補完画素の画素値として通常画像３０１を示す画像データを生成する方法であっても良い。更に、通常画像３０１を生成する方法は、左目画像３００Ａ及び右目画像３００Ｂを合成することにより通常画像３０１を生成する方法であっても良い。

次のステップＳ４０５では、通常画像３０１を表示部２１３に表示させる制御を行う。なお、本実施形態では、通常画像３０１を表示部２１３に表示させるが、これに限定されず、ＬＣＤ２４７に表示させても良い。また、接眼検出部３７によってユーザがファインダー接眼部２４２を覗き込んだことを検出した場合には、通常画像３０１をＬＣＤ２４７に表示させ、それ以外の場合には、通常画像３０１を表示部２１３に表示させても良い。

次のステップＳ４０７では、スプリットイメージ処理部３２に対してスプリットイメージを生成させる制御を行う。まず、スプリットイメージ処理部３２は、表示部２１３におけるスプリットイメージ３００の表示領域を示す情報（以下、「表示領域情報」といい、本実施形態では、表示領域における中央部に位置し、かつ形状及び大きさが予め定められた領域である。）をメモリ２６から読み出す。本実施形態では、メモリ２６に、上記表示領域情報として、各表示装置の表示領域内における予め定められた座標系によって示される、表示領域３０２の範囲を示す情報が予め記憶されている。また、スプリットイメージ処理部３２は、左目画像３００Ａ及び右目画像３００Ｂの各々の分割方向を決定する。本実施形態では、上記分割方向を示す情報（以下、「分割方向情報」という。）がメモリ２６に予め記憶されており、当該分割方向情報を読み出すことにより、上記分割方向を決定する。更に、スプリットイメージ処理部３２は、左目画像３００Ａ及び右目画像３００Ｂの各々の分割数を示す情報（以下、「分割数情報」という。）をメモリ２６から読み出す。本実施形態では、メモリ２６に、当該分割数情報が予め記憶されている。スプリットイメージ処理部３２は、以上の処理によって得られた表示領域、分割方向、及び分割数の各々を示す情報に基づいてスプリットイメージ３００を生成する。

次のステップＳ４０９では、スプリットイメージ処理部３２によって生成されたスプリットイメージ３００を表示部２１３の表示領域に表示させる制御を行う。一例として図９Ａに示すように、ＣＰＵ１２は、表示部２１３の表示領域の全体に通常画像３０１を表示させると共に、スプリットイメージ３００を通常画像３０１の中央部に重畳させて表示させる制御を行う。

次のステップＳ４１１では、操作部１４を介した操作入力が行われたか否かを判定することにより、ユーザによる操作入力がされたか否かを判定する。ステップＳ４１１で肯定判定となった場合はステップＳ４１３に移行し、否定判定となった場合は後述するステップＳ４３５に移行する。

次のステップＳ４１３では、操作部１４を介した操作入力が自動合焦制御の指示であるか否かを判定する。この際、ＣＰＵ１２は、操作部１４により自動合焦制御の指示を入力するための予め定められた操作がされた場合に、操作部１４を介した操作入力が自動合焦制御の指示であると判定する。ステップＳ４１３で肯定判定となった場合はステップＳ４１５に移行する一方、否定判定となった場合は後述するステップＳ４２５に移行する。

次のステップＳ４１５では、スプリットイメージ３００の表示領域内に存在する主要被写体を認識する。本実施形態に係る撮像装置１００では、ＣＰＵ１２は、スプリットイメージ３００から主要被写体を認識し、主要被写体の重心を中心とし、かつ形状及び大きさが予め定められた領域を抽出し、抽出した領域を被写体領域３０４とする。本実施形態に係る被写体領域３０４は、一例として図９Ｂに示すように、形状や大きさが予め定められた矩形状の領域とする。しかし、被写体領域３０４の決定方法はこれに限定されず、通常画像３０１の表示領域を予め定められた分割数（例えば、７×７）で格子状に分割して得られる複数の領域のうち、上記主要被写体の重心が含まれる領域を被写体領域３４０としても良い。また、本実施形態に係る撮像装置１００に顔認識機能を付加させ、主要被写体として、人の顔を認識しても良い。

なお、本実施形態に係る撮像装置１００では、ＣＰＵ１２は、ステップＳ４１５の処理において主要被写体が認識されなかった場合、スプリットイメージ３００において撮像装置１００に最も近い位置にある物体を主要被写体とする。しかし、主要被写体が認識されなかった場合の主要被写体の認識方法はこれに限定されず、スプリットイメージ３００の中央部を中心とし、かつ予め定められた形状及び大きさの領域としても良い。

次のステップＳ４１７では、自動合焦制御を行うための領域である合焦領域の位置を調整する。本実施形態に係る撮像装置１００では、主要被写体に対応する領域、すなわち抽出した被写体領域３０４を合焦領域３０６とする。この際、図９Ｂに示すように、被写体領域３０４はスプリットイメージ３００の内部で抽出された領域であるため、合焦領域は、スプリットイメージ３００の表示領域と重複する。しかし、合焦領域３０６の位置を、スプリットイメージ３００の表示領域の少なくとも一部に少なくとも一部（例えば重複する面積の割合が予め定められた閾値以上）を重複するように調整しても良い。なお、本実施形態では、当該閾値を５割とする。すなわち、合焦領域３０６の全体の面積のうち半分以上の面積がスプリットイメージ３００と重複するように調整しても良い。

次のステップＳ４２１では、通常画像３０１及びスプリットイメージ３００に重畳させて、合焦領域の範囲を示す情報を表示部２１３に表示させる制御を行う。本実施形態では、図９Ｃに示すように、ＣＰＵ１２は、合焦領域３０６の外枠を示す外枠画像３０８を表示させる。なお、既にステップＳ４１３乃至Ｓ４２３の処理を行い、合焦領域３０６を表示している場合には、合焦領域３０６を上記ステップＳ４１７で調整した位置に再表示する。なお、合焦領域３０６の範囲を示す情報として、合焦領域３０６内の表示色を予め定められた色合いとしたり、合焦領域３０６内に網目やメッシュ等を表示したりしても良い。

次のステップＳ４２３では、調整した合焦領域で自動合焦制御を行う。この際、ＣＰＵ１２は、上述したように、位相差検出部及び自動焦点調整部として動作し、撮影レンズ１６による焦点位置を合焦位置に移動させることで、合焦領域３０６内の被写体像を用いて自動合焦制御を行う。

ステップＳ４２５では、操作部１４を介した操作入力が合焦領域３０６を移動させるための指示を示す移動指示情報であるか否かを判定する。当該移動指示情報は、合焦領域３０６の移動先を示す情報を含んだ情報であり、例えば、移動方向と移動量を示す情報である。本実施形態に係る移動指示情報において、移動方向は例えば十字キー２２２により入力され、移動量は例えば十字キー２２２の操作回数により入力される。

ステップＳ４２５で否定判定となった場合はステップＳ４２７に移行し、操作入力に応じた処理を行った後、ステップＳ４３５に移行する。

ステップＳ４２５で否定判定となった場合は後述するステップＳ４３５に移行する一方、肯定判定となった場合はステップＳ４２７に移行する。一方、ステップＳ４２５で肯定判定となった場合はステップＳ４２９に移行する。

ステップＳ４２９では、上記移動指示情報により指定された合焦領域３０６の移動先が、合焦領域３０６の設定が許可された許可範囲内であるか否かを判定する。なお、本実施形態に係る許可範囲は、スプリットイメージ３００の表示領域とされる。これは、ユーザがスプリットイメージ３００を用いて焦点調整を行っていることを考慮したものであり、自動合焦制御を行う合焦領域３０６をスプリットイメージ３００の表示領域内とすることで、ユーザによる焦点調整を効果的に補助することができるからである。

ステップＳ４２９で否定判定となった場合はステップＳ４２１に移行し、移動先が許可範囲外であることを示す警告をユーザに報知し、上記ステップＳ４１３に移行する。本実施形態に係る撮像装置１００では、一例として図９Ｄに示すように、表示部２１３に当該警告を示す情報３１０を表示させることにより警告をユーザに報知するが、報知する方法はこれに限定されず、例えば当該警告を音声で出力させても良い。

一方、ステップＳ４２９で肯定判定となった場合はステップＳ４３３に移行し、合焦領域３０６を移動させて再表示を行う。一例として図９Ｅに示すように、ＣＰＵ１２は、合焦領域３０６をユーザにより指定された位置に移動すると共に、図９Ｆに示すように、移動させた合焦領域３０６の外枠を示す外枠画像３０８を再表示する。

次のステップＳ４３５では、撮影指示が入力されたか否かを判定する。この際、ＣＰＵ１２は、レリーズスイッチ２１１に対する全押し操作が検出された場合に、撮影指示が入力されたと判定する。ステップＳ４２９で否定判定となった場合は上述したステップＳ４０１に戻る一方、肯定判定となった場合はステップＳ４３７に移行する。

ステップＳ４３７では、通常画像３０１を示す画像データをメモリ２６に記録する撮影処理を行い、本撮影制御処理プログラムを終了する。なお、上記撮影処理は一般的に行われている処理であるため、ここでの説明を省略する。

なお、本実施形態に係る撮像装置１００では、移動指示情報は、移動方向と移動量を示す情報を含んだ情報であるが、移動指示情報に含まれている情報はこれに限定されない。例えば、移動指示情報は、移動方向と移動量を示す情報を含んだ情報の代わりに、移動先とする、通常画像３０１上（表示領域上の位置）の位置を示す情報を含んだであっても良い。この場合、上記ステップＳ４２９では、上記移動指示情報により指定された位置に合焦領域３０６を移動させた場合の当該合焦領域３０６の位置が、合焦領域３０６の設定が許可された許可範囲内であるか否かを判定する。

また、スプリットイメージ３００を用いたマニュアルフォーカスモードにおいて、複数の合焦領域３０６で自動合焦制御を行う場合がある（所謂多点オートフォーカス制御）。この場合には、スプリットイメージ３００の表示領域と重複する合焦領域３０６のみを有効な合焦領域３０６とし、有効な合焦領域３０６のみで自動合焦制御を行う。この場合、スプリットイメージ３００と重複している領域の面積が、全体の面積の半分以下となる合焦領域３０６を、無効な合焦領域３０６としても良い。

［第２実施形態］
以下、第２実施形態に係る撮像装置１００について添付図面を用いて詳細に説明する。

上記第１実施形態では、被写体領域３０４を合焦領域３０６とする一方、第２実施形態では、予め定められた領域を合焦領域３０６とする。

なお、第２実施形態に係る撮像装置１００の構成は、第１実施形態に係る撮像装置１００と同様であるので、ここでは説明は省略する。ただし、本実施形態に係るメモリ２６には、合焦領域３０６の表示位置を示す情報が予め記憶されている。本実施形態では、合焦領域３０６の表示位置を示す情報は、表示装置の表示領域の中央部とする。

次に、図１０を参照して、本実施形態に係る撮影制御処理を実行する際の撮影装置１００の作用を説明する。なお、図１０は、この際に撮影装置１００のＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、メモリ２６の所定領域に予め記憶されている。

また、第１実施形態の撮影制御処理と同一のステップには同一のステップ番号を付し、重複する説明を省略する。

本実施形態では、ステップＳ４１３で否定判定となった場合はステップＳ４２６に移行し、操作入力に応じた処理を行った後に、ステップＳ４３５に移行する。

また、ステップＳ４１３の処理を行った後、ステップＳ４１６に移行する。

ステップＳ４１６では、上記合焦領域３０６の表示位置を示す位置情報をメモリ２６から読み出すことにより、合焦領域３０６の表示位置を示す情報を取得する。

次のステップＳ４１７では、上記位置情報に基づいて、自動合焦制御を行うための領域である合焦領域の位置を調整する。本実施形態に係る撮像装置１００では、一例として図１１Ａに示すように、上記位置情報によって示される位置（表示装置の表示領域の中央部）を中心とし、かつ形状及び大きさが予め定められた矩形状の領域を合焦領域３０６とする。この際、スプリットイメージ３００の表示位置が表示装置の表示領域の中央部からずれていた場合には、一例として図１１Ｂに示すように、スプリットイメージ３００内において表示装置の表示領域の中央部に最も近い位置に合焦領域３０６を設定すると良い。また、上記位置情報によって示される位置はこれに限定されず、一例として図１１Ｃに示すように、スプリットイメージ３００内の中央部を合焦領域３０６の中心としても良い。

［第３実施形態］
以下、第３実施形態に係る撮像装置１００について添付図面を用いて詳細に説明する。

上記第１実施形態では、主要被写体をスプリットイメージ３００内で認識する一方、第３実施形態では、主要被写体を通常画像３０１内で認識する。

なお、第３実施形態に係る撮像装置１００の構成は、第１実施形態及び第２実施形態に係る撮像装置１００と同様であるので、ここでは説明は省略する。

次に、図１２を参照して、本実施形態に係る撮影制御処理を実行する際の撮影装置１００の作用を説明する。なお、図１２は、この際に撮影装置１００のＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、メモリ２６の所定領域に予め記憶されている。

また、第１実施形態及び第２実施形態の撮影制御処理と同一のステップには同一のステップ番号を付し、重複する説明を省略する。

本実施形態では、ステップＳ４１３で肯定判定となった場合はステップＳ４１６１に移行する。

ステップＳ４１６１では、通常画像３０１の表示領域内に存在する主要被写体を認識する。主要被写体を認識する方法は、上記第１実施形態のステップＳ４１５と同様であるため、ここでは説明を省略する。

次のステップＳ４１６２では、主要被写体に対応する被写体領域３０４がスプリットイメージ３００の外部に位置するか否かを判定する。なお、本実施形態では、ＣＰＵ１２は、被写体領域３０４のうちスプリットイメージ３００の表示領域と重複している領域の面積の割合が予め定められた第３閾値より小さい場合に、スプリットイメージ３００の外部に位置すると判定する。

ステップＳ４１６１で肯定判定となった場合はステップＳ１１６３に移行する一方、否定判定となった場合はステップＳ４１７に移行する。

ステップＳ４１６３では、スプリットイメージ３００内において被写体領域３０４からの距離が最短となり、かつ形状及び大きさが予め定められた矩形状の領域を導出し、ステップＳ４１７に移行する。

ステップＳ４１７では、合焦領域３０６の位置を調整する。本実施形態に係る撮像装置１００では、一例として図１３Ａに示すように、被写体領域３０４がスプリットイメージ３００の外部に位置したとする。この場合、一例として図１３Ｂに示すように、上記ステップＳ４１６３の処理により導出した、スプリットイメージ３００内において被写体領域３０４からの距離が最短となる領域を合焦領域３０６とする。一方、本実施形態に係る撮像装置１００では、被写体領域３０４がスプリットイメージ３００の内部に位置する場合、抽出した被写体領域３０４を合焦領域４０６とする。

［第４実施形態］
以下、第４実施形態に係る撮像装置１００について添付図面を用いて詳細に説明する。

上記第３実施形態では、被写体領域３０４がスプリットイメージ３００外に位置した場合、スプリットイメージ３００内に合焦領域３０６を設定する。一方、第４実施形態では、被写体領域３０４がスプリットイメージ３００外に位置した場合、被写体領域３０４を合焦領域３０６とすると共に、スプリットイメージ３００の表示を停止する。

なお、第４実施形態に係る撮像装置１００の構成は、第１実施形態乃至第３実施形態に係る撮像装置１００と同様であるので、ここでは説明は省略する。

次に、図１４を参照して、本実施形態に係る撮影制御処理を実行する際の撮影装置１００の作用を説明する。なお、図１４は、この際に撮影装置１００のＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、メモリ２６の所定領域に予め記憶されている。

また、第１実施形態乃至第３実施形態の撮影制御処理と同一のステップには同一のステップ番号を付し、重複する説明を省略する。

本実施形態では、ステップＳ４１６２で肯定判定となった場合はステップＳ４１６４に移行する一方、否定判定となった場合にはステップＳ４１６５に移行する。

ステップＳ４１６４では、通常画像３０１に重畳させてスプリットイメージ３００を表示部２１３に表示させる制御を行い、ステップＳ４１７に移行する。なお、この時点でスプリットイメージ３００を表示している場合には、ＣＰＵ１２は、スプリットイメージ３００の表示を継続する。

ステップＳ４１６５では、スプリットイメージ３００の表示を表示部２１３に停止させる制御を行い、ステップＳ４１７に移行する。なお、この時点でスプリットイメージ３００の表示を停止している場合には、ＣＰＵ１２は、スプリットイメージ３００の表示の停止を継続する。

ステップＳ４１７では、合焦領域３０６の位置を調整する。本実施形態に係る撮像装置１００では、被写体領域３０４がスプリットイメージ３００の内部に位置した場合、ＣＰＵ１２は、一例として図１５Ａに示すように、スプリットイメージ３００を表示する。一方、被写体領域３０４がスプリットイメージ３００の外部に位置した場合には、ＣＰＵ１２は、一例として図１５Ｂに示すように、スプリットイメージ３００の表示を停止する。

また、ステップＳ４３３の処理を行った後、ステップＳ４３３１に移行し、ステップＳ４３３１乃至Ｓ４３３３では、上記ステップＳ４１６２、Ｓ４１６４及びＳ４１６５と同様の処理を行い、ステップＳ４３５に移行する。なお、一例として図１５Ｂに示すように、スプリットイメージ３００の表示を停止した状態で被写体領域３０４がスプリットイメージ３００の内部に移動したとする。この場合、ＣＰＵ１２は、一例として１５Ｃに示すように、スプリットイメージ３００を再び表示する。

［第５実施形態］
以下、第５実施形態に係る撮像装置１００について添付図面を用いて詳細に説明する。

上記第１実施形態では、ユーザによる操作入力に基づいて合焦領域３０６を移動させる制御を行う一方、第５実施形態では、ユーザによる操作入力に基づいてスプリットイメージ３００を拡大させる制御を行う。

なお、第５実施形態に係る撮像装置１００の構成は、第１実施形態乃至第４実施形態に係る撮像装置１００と同様であるので、ここでは説明は省略する。ただし、本実施形態に係るメモリ２６は、合焦領域３０６の大きさの上限値を示す上限情報を予め記憶している。

次に、図１６を参照して、本実施形態に係る撮影制御処理を実行する際の撮影装置１００の作用を説明する。なお、図１６は、この際に撮影装置１００のＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、メモリ２６の所定領域に予め記憶されている。

また、第１実施形態乃至第４実施形態の撮影制御処理と同一のステップには同一のステップ番号を付し、重複する説明を省略する。

本実施形態では、ステップＳ４１３で肯定判定となった場合はステップＳ４１６１に移行する一方、否定判定となった場合はステップＳ４２６に移行する。

ステップＳ４２６では、操作部１４を介した操作入力がスプリットイメージ３００を拡大する指示であるか否かを判定する。本実施形態では、操作部１４を介して拡大率を示す情報を含む拡大情報が入力された場合に、操作部１４を介した操作入力がスプリットイメージ３００を拡大する指示であると判定する。ステップＳ４２６で否定判定となった場合はステップＳ４２７に移行する一方、肯定判定となった場合ステップＳ４３０に移行する。

ステップＳ４３０では、上記指示情報に基づいてスプリットイメージ３００を拡大させた際に当該拡大に伴って拡大させた合焦領域３０６の大きさが予め定められた範囲内であるか否かを判定する。なお、本実施形態では、当該予め定められた範囲は、合焦領域３０６の大きさが上記上限情報により示される上限値以下となる範囲である。

ステップＳ４３０で肯定判定となった場合はステップＳ４３２に移行する一方、否定判定となった場合は後述するステップＳ４３４に移行する。

ステップＳ４３２では、合焦領域３０６を拡大させる際の拡大率を制限した後、ステップＳ４３４に移行する。本実施形態に係る撮像装置１００では、ＣＰＵ１２は、合焦領域３０６を拡大させる際の拡大率を、拡大後の合焦領域３０６の大きさが上記上限値となる拡大率とする。

ステップＳ４３４では、表示部２１３に対してスプリットイメージ３００及び合焦領域３０６を拡大させて表示させる制御を行う。この際、ＣＰＵ１２は、一例として図１７Ａに示すように、拡大させた合焦領域３０６の大きさが予め定められた範囲内である場合、スプリットイメージ３００の拡大率に応じた拡大率で合焦領域３０６を拡大させる。一方、一例として図１７Ｂに示すように、拡大させた合焦領域３０６の大きさが予め定められた範囲外である場合、制限された拡大率で合焦領域３０６を拡大させる。

なお、上記第１実施形態乃至第５実施形態では、２×２画素のＧフィルタに対して単一の位相差画素を配置する形態例を挙げて説明したが、これに限らず、例えば２×２画素のＧフィルタに対して一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。例えば図１８に示すように、２×２画素のＧフィルタに対して行方向に隣接した一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。また、例えば図１９に示すように、２×２画素のＧフィルタに対して列方向に隣接した一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。いずれの場合も上記第１実施形態で説明したように、第１画素Ｌ及び第２画素Ｒの位置を、第１の画素群と第２の画素群との間で列方向及び行方向の少なくとも一方について所定画素数内で揃えることが好ましい。なお、図１８及び図１９には、第１画素Ｌと第２画素Ｒとを、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置した例が示されている。

また、上記第１実施形態乃至第５実施形態では、基本配列パターンＣを有するカラーフィルタ２１を例示したが、本発明はこれに限定されるものではない。例えば図２０〜２２に示すようにカラーフィルタの原色（Ｒフィルタ，Ｇフィルタ，Ｂフィルタ）の配列をベイヤ配列としてもよい。図２０〜図２２に示す例では、Ｇフィルタに対して位相差画素が配置されている。

一例として図２０に示すカラーフィルタ２１Ａは、３×３画素の正方行列の四隅及び中央がＧフィルタとされた配列パターンＧ１の中央に位相差画素が配置されている。また、第１の画素Ｌと第２の画素Ｒとが行方向及び列方向の各々について１画素分のＧフィルタを飛ばして（１画素分のＧフィルタを間に置いて）交互に配置されている。また、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置されている。これにより、配列パターンＧ１の中央の位相差画素に基づく画像は配列パターンＧ１の四隅の通常画素に基づく画像を利用して補間可能となるため、本構成を有しない場合に比べ、補間精度を向上させることができる。

しかも、配列パターンＧ１の各々は互いに位置が重複していない。つまり、第１の画素Ｌ及び第２の画素Ｒは、第１及び第２の画素群に含まれる各画素に隣接する第３の画素群に含まれる画素による第３の画像で補間する第１及び第２の画像に含まれる画素が画素単位で重複しない位置に配置されている。そのため、位相差画素に基づく画像が他の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。

一例として図２１に示すカラーフィルタ２１Ｂは、配列パターンＧ１の中央及び図中正面視右下角に位相差画素が配置されている。また、第１の画素Ｌと第２の画素Ｒとが行方向及び列方向の各々について２画素分のＧフィルタを飛ばして（２画素分のＧフィルタを間に置いて）交互に配置されている。これにより、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置され、第１の画素Ｌ及び第２の画素Ｒを隣接させることができる。よって、ピントずれ以外の要因で画像ずれが発生するのを抑制することができる。

しかも、各位相差画素には同色のフィルタ（Ｇフィルタ）が設けられた通常画素が隣接するので、補間精度を向上させることができる。その上、配列パターンＧ１の各々は互いに位置が重複していない。つまり、第１の画素Ｌ及び第２の画素Ｒは、第１及び第２の画素群に含まれる各画素に隣接する第３の画素群に含まれる画素による第３の画像で補間する第１及び第２の画像に含まれる画素が一対の画素単位で重複しない位置に配置されている。ここで言う「一対の画素」とは、例えば各配列パターンＧ１に含まれる第１の画素Ｌ及び第２の画素Ｒ（一対の位相差画素）を指す。そのため、一対の位相差画素に基づく画像が他の一対の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。

一例として図２２に示すカラーフィルタ２１Ｃは、配列パターンＧ１の中央に第１の画素Ｌが、図中正面視右下角に第２の画素Ｒが配置されている。また、第１の画素Ｌは行方向及び列方向の各々について２画素分のＧフィルタを飛ばして配置されており、第２の画素Ｒも行方向及び列方向の各々について２画素分のＧフィルタを飛ばして配置されている。これにより、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を２画素内で揃えた位置に配置され、第１の画素Ｌ及び第２の画素Ｒを隣接させることができる。よって、ピントずれ以外の要因で画像ずれが発生するのを抑制することができる。

しかも、図２２に示す例においても図２１に示す例と同様に配列パターンＧ１の各々は互いに位置が重複していない。そのため、位相差画素に基づく画像が他の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。

また、カラーフィルタの他の構成例としては、例えば図２３に示すカラーフィルタ２１Ｄが挙げられる。図２３には撮像素子２０に設けられているカラーフィルタ２１Ｄの原色（Ｒフィルタ，Ｇフィルタ，Ｂフィルタ）の配列及び遮光部材の配置の一例が模式的に示されている。図２３に示すカラーフィルタ２１Ｄでは、第１〜第４の行配列が列方向について繰り返し配置されている。第１の行配列とは、行方向に沿ってＢフィルタ及びＧフィルタが交互に配置された配列を指す。第２の行配列とは、第１の行配列を行方向に半ピッチ（半画素分）ずらした配列を指す。第３の行配列とは、行方向に沿ってＧフィルタ及びＲフィルタが交互に配置された配列を指す。第４の行配列とは、第３の行配列を行方向に半ピッチずらした配列を指す。

第１の行配列及び第２の行配列は列方向について半ピッチずれて隣接している。第２の行配列及び第３の行配列も列方向について半ピッチずれて隣接している。第３の行配列及び第４の行配列も列方向について半ピッチずれて隣接している。第４の行配列及び第１の行配列も列方向について半ピッチずれて隣接している。従って、第１〜４の行配列の各々は、列方向について２画素毎に繰り返し現れる。

第１の画素Ｌ及び第２の画素Ｒは、一例として図２３に示すように、第３及び第４の行配列に対して割り当てられている。すなわち、第１の画素Ｌは、第３の行配列に対して割り当てられており、第２の画素Ｒは、第４の行配列に対して割り当てられている。また、第１の画素Ｌ及び第２の画素Ｒは、互いに隣接して（最小ピッチ）で対になって配置されている。また、図２３に示す例では、第１の画素Ｌは、行方向及び列方向の各々について６画素毎に割り当てられており、第２の画素Ｒも、行方向及び列方向の各々について６画素毎に割り当てられている。これにより、第１の画素群と第２の画素群との位相差は、本構成を有しない場合と比較して、高精度に算出される。

また、図２３に示す例では、第１の画素Ｌ及び第２の画素ＲにはＧフィルタが割り当てられている。Ｇフィルタが設けられた画素は他色のフィルタが設けられた画素に比べ感度が良いため、補間精度を高めることができる。しかも、Ｇフィルタは、他色のフィルタに比べ、連続性があるため、Ｇフィルタが割り当てられた画素は他色のフィルタが割り当てられた画素に比べ補間がし易くなる。

また、上記第１実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。

例えば、図２４に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。

また、図２５に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。

また、図２６Ａ及び図２６Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃが市松模様（チェッカーパターン）状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃが市松模様状に並べられて表示される。

更に、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。

なお、上記第１実施形態乃至第５実施形態で説明した撮影制御処理の流れはあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態乃至第５実施形態で説明した画像生成出力処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、その他のハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。

上記第１実施形態乃至第５実施形態で説明した撮影制御処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えばメモリ２６）に予め記憶しておけばよい。なお、必ずしも最初からメモリ２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の「可搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。

［第６実施形態］
上記第１実施形態乃至第５実施形態では、撮像装置１００を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機などが挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２７は、スマートフォン５００の外観の一例を示す斜視図である。図２７に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用することもできる。

図２８は、図２７に示すスマートフォン５００の構成の一例を示すブロック図である。図２８に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２７に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通話部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２７に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２７に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）などが挙げられる。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。

外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１乃至ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズ１６のピント合わせを行うことができる。そして、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図６に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２７に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。

なお、上記各実施形態では、第１乃至第５の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。

上記各実施形態では、通常画像３０１の表示領域内にスプリットイメージ３００が表示される例を挙げて説明したが、本発明はこれに限定されるものではなく、表示装置に対して通常画像３０１を表示させずにスプリットイメージ３００を表示させても良い。また、上記各実施形態では、表示装置の表示領域の一部にスプリットイメージ３００を表示させるが、これに限定されず、表示装置の表示領域の全体にスプリットイメージ３００を表示させても良い。このように、本発明は、通常画像３０１とスプリットイメージ３００との双方を表示装置の同一画面に同時に表示する態様に限定されるものではない。例えば、本発明は、スプリットイメージ３００の表示が指示されている状態で通常画像３０１の表示指示が解除された場合は表示制御部３６が表示装置に対して通常画像３０１を表示させずにスプリットイメージ３００を表示させる制御を行うようにしても良い。

１２ ＣＰＵ
２０ 撮像素子
２６ メモリ
２８ 画像処理部
３０ 通常処理部
３２ スプリットイメージ処理部
３６ 表示制御部
１００ 撮像装置
２１３ 表示部
２４１ ＬＣＤ

Claims (16)

1. 撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成部と、
   画像を表示する表示部と、
   前記表示部に対して前記生成部により生成された前記第１の表示用画像を表示し、かつ該第１の表示用画像の表示領域内に前記生成部により生成された前記第２の表示用画像を表示する制御を行う表示制御部と、
   前記第２の表示用画像内の主要被写体に対応する領域の少なくとも一部を被写体領域として抽出する抽出部と、
   予め定められた指示が入力された場合、前記第２の表示用画像の表示領域の少なくとも一部と少なくとも一部に重複した合焦領域で自動合焦を行う自動合焦部であって、前記抽出部により抽出された前記被写体領域を前記合焦領域として自動合焦を行う自動合焦部と、
   を備えた画像処理装置。
2. 撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成部と、
   画像を表示する表示部と、
   前記表示部に対して、前記生成部により生成された前記第１の表示用画像を表示させず、かつ、前記表示部に対して、前記生成部により生成された前記第２の表示用画像を表示させる制御を行う表示制御部と、
   前記第２の表示用画像内の主要被写体に対応する領域の少なくとも一部を被写体領域として抽出する抽出部と、
   予め定められた指示が入力された場合、前記第２の表示用画像の表示領域の少なくとも一部と少なくとも一部に重複した合焦領域で自動合焦を行う自動合焦部であって、前記抽出部により抽出された前記被写体領域を前記合焦領域として自動合焦を行う自動合焦部と、
   を備えた画像処理装置。
3. 前記自動合焦部は、前記第２の表示用画像の表示領域に対して予め定められた第１閾値以上の面積の割合で重複した合焦領域で自動合焦を行う
   請求項１または２記載の画像処理装置。
4. 前記表示制御部は、前記表示部に対して前記合焦領域の範囲を示す情報を更に表示する制御を行う
   請求項１乃至３の何れか１項記載の画像処理装置。
5. 前記抽出部は、人の顔に対応する領域の少なくとも一部を前記被写体領域として抽出する
   請求項１から請求項４の何れか１項に記載の画像処理装置。
6. 前記自動合焦部は、前記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複し、かつ前記第１の表示用画像の表示領域内における中央部を含む予め定められた領域を前記合焦領域として自動合焦を行う
   請求項１乃至４の何れか１項記載の画像処理装置。
7. 前記合焦領域の位置を示す位置情報の入力を受け付ける受付部を更に備え、
   前記自動合焦部は、前記受付部により受け付けられた前記位置情報に基づいて前記合焦領域の位置を移動して自動合焦を行う
   請求項１乃至６の何れか１項記載の画像処理装置。
8. 前記自動合焦部は、前記位置情報に基づいて移動させた後の前記合焦領域の少なくとも一部が、前記第２の表示用画像の表示領域の少なくとも一部に重複する場合のみ、当該移動を行って自動合焦を行う
   請求項７記載の画像処理装置。
9. 前記表示制御部は、前記位置情報に基づいて移動させた後の前記合焦領域が、前記第２の表示用画像の表示領域外となる場合、前記第２の表示用画像の表示を停止する制御を行う
   請求項７記載の画像処理装置。
10. 前記受付部は、前記表示制御部により前記第２の表示用画像の表示を停止する制御を行った後に前記位置情報の入力を再度受け付け、
    前記表示制御部は、前記受付部により前記位置情報が再度受け付けられた場合、当該位置情報に基づいて移動させた後の前記合焦領域の少なくとも一部が、前記第２の表示用画像の表示領域の少なくとも一部に重複した場合、前記第２の表示用画像の表示を再開する制御を行う
    請求項９記載の画像処理装置。
11. 前記第１の表示用画像内の主要被写体に対応する領域の少なくとも一部を第２被写体領域として抽出する第２抽出部を更に備え、
    前記自動合焦部は、前記第２抽出部により抽出された前記第２被写体領域が、前記第２の表示用画像の表示領域外となる場合、当該表示領域内で前記第２被写体領域からの距離が最短となる予め定められた大きさの領域を前記合焦領域として自動合焦を行う
    請求項１乃至４の何れか１項記載の画像処理装置。
12. 前記第２の表示用画像の拡大を指示する拡大指示情報の入力を受け付ける第２受付部を更に備え、
    前記表示制御部は、前記第２受付部により前記拡大指示情報の入力が受け付けられた場合、前記第２の表示用画像を拡大させて表示させる制御を行い、
    前記自動合焦部は、前記表示制御部により前記第２の表示用画像を拡大して表示させる制御が行われた場合、前記第２の表示用画像の拡大率以下の拡大率で前記合焦領域を拡大して自動合焦を行う
    請求項１乃至１１の何れか１項記載の画像処理装置。
13. 前記自動合焦部は、前記拡大させた後の前記合焦領域の大きさが予め定められた第２閾値より大きくなる場合、前記合焦領域を当該第２閾値の大きさとして自動合焦を行う
    請求項１２記載の画像処理装置。
14. 請求項１乃至１３の何れか１項記載の画像処理装置と、
    前記撮像レンズと、
    前記撮像素子と、
    を備えた撮像装置。
15. コンピュータを、
    撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成部、
    画像を表示する表示部に対して前記生成部により生成された前記第１の表示用画像を表示し、かつ該第１の表示用画像の表示領域内に前記生成部により生成された前記第２の表示用画像を表示する制御を行う表示制御部、
    前記第２の表示用画像内の主要被写体に対応する領域の少なくとも一部を被写体領域として抽出する抽出部、並びに、
    予め定められた指示が入力された場合、前記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複した合焦領域で自動合焦を行う自動合焦部であって、前記抽出部により抽出された前記被写体領域を前記合焦領域として自動合焦を行う自動合焦部として機能させるためのプログラム。
16. 撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像から合焦確認に使用する第２の表示用画像を生成する生成ステップと、
    画像を表示する表示部に対して前記生成ステップにより生成された前記第１の表示用画像を表示し、かつ該第１の表示用画像の表示領域内に前記生成ステップにより生成された前記第２の表示用画像を表示する制御を行う表示制御ステップと、
    前記第２の表示用画像内の主要被写体に対応する領域の少なくとも一部を被写体領域として抽出する抽出ステップと、
    予め定められた指示が入力された場合、前記第２の表示用画像の表示領域の少なくとも一部に少なくとも一部が重複した合焦領域で自動合焦を行う自動合焦ステップであって、前記抽出ステップにより抽出された前記被写体領域を前記合焦領域として自動合焦を行う自動合焦ステップと、
    を備えた画像処理方法。