JPWO2014155813A1 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

合焦状態にあるか否かを視覚的に認識し易くすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。生成部２８Ｂは、撮像素子から出力された画像信号に基づく第１の表示用画像と第１及び第２の画像信号に基づく第２の表示用画像とを生成する。特定部２８Ｃは、生成部２８Ｂにより生成された第２の表示用画像のうち、第１条件及び第２条件の双方の条件を満足する画像領域を特定する。そして、第２の表示用画像のうち、特定部２８Ｃにより特定された画像領域が、他の領域と区別可能に表示される。ここで、第１条件とは、コントラストの大きさが第１所定値の一例以上であるとの条件を指し、第２条件とは、第１の画像と第２の画像との一致度が第２所定値以上であるとの条件を指す。

Description

本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時にユーザ（例えば撮影者）が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。ユーザは、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリング（以下、「フォーカスリング」という）を操作してピントを合わせる。

ここで、特開２００９−１４７６６５号公報に記載の撮像装置を用い、スプリットイメージの原理を説明する。撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換した第１の画像及び第２の画像を生成する。そして、これらの第１及び第２の画像を用いてスプリットイメージを生成し、かつ、瞳分割部によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する。そして、第３の画像を表示部に表示し、かつ、第３の画像内に、生成したスプリットイメージを表示することで、画像を構成している。また、第３の画像から抽出した色情報をスプリットイメージに付加することができる。このように第３の画像から抽出した色情報をスプリットイメージに付加することにより、スプリットイメージの視認性を良化することができる。

加えて、合焦状態に達したことの判断を補助する技術としては、コントラストの大きさが所定値以上の領域を強調して表示するフォーカス・ピーキングが知られている（例えば特開２００１−３０９２１０号公報参照）。

しかし、スプリットイメージを利用した合焦判断方法では、像ずれがなくなったか否かを目視で判断するが、連続的に動く像ずれを視認しながら行う必要があり、ピント合わせに時間を要する。これに対し、フォーカス・ピーキングを利用した合焦判断方法では、高コントラスト領域か否か（所定コントラスト以上の領域であるか否か）の判断は、スプリットイメージを利用した合焦判断方法と比べ、短時間で行うことができる。しかし、高コントラスト領域がすべて強調表示されるため、ユーザは合焦状態にない高コントラスト領域を合焦状態にあると誤判断してしまう虞がある。

本発明は、このような実情を鑑みて提案されたものであり、合焦状態にあるか否かを視覚的に認識し易くすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様に係る画像処理装置は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づく第１の表示用画像と第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成する生成部と、第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び第１の画像信号と第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定する特定部と、画像を表示する表示部と、表示部に対して、第１の表示用画像を表示させ、且つ、第１の表示用画像の表示領域内に第２の表示用画像を表示させ、且つ、第２の表示用画像のうち、特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行う表示制御部と、を含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

本発明の第２の態様に係る画像処理装置は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づく第１の表示用画像と第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成する生成部と、第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び第１の画像信号と第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定する特定部と、画像を表示する表示部と、表示部に対して、第２の表示用画像を表示させ、且つ、第２の表示用画像のうち、特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行う表示制御部と、を含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

本発明の第３の態様は、本発明の第１の態様又は第２の態様において、撮像素子が、撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を更に有し、生成部が、第３の画像信号に基づいて第１の表示用画像を生成するものとしてもよい。これにより、本構成を有しない場合と比べ、簡素な構成で、第１の表示用画像の画質を向上させることができる。

本発明の第４の態様は、本発明の第３の態様において、コントラストの大きさが、第３の画像信号に基づいて定まるものとしてもよい。これにより、本構成を有しない場合と比べ、第１条件を満足する画素間を高精度に特定することができる。

本発明の第５の態様は、本発明の第４の態様において、第１の画素群が、瞳分割方向と瞳分割方向に対する交差方向とに配置された複数の第１の画素を有し、第２の画素群が、瞳分割方向及び交差方向のうち少なくとも瞳分割方向で複数の第１の画素の各々と交互に各々配置された複数の第２の画素を有し、第３の画素群が、瞳分割方向及び交差方向のうち少なくとも瞳分割方向で第１の画素と第２の画素との間に配置された第３の画素を有し、コントラストの大きさが、第３の画素の信号レベルに基づいて定まるものとしてもよい。これにより、本構成を有しない場合と比べ、第１の画素と第２の画素との間における第１条件を満足する画素間を高精度に特定することができる。

本発明の第６の態様は、本発明の第５の態様において、コントラストの大きさが、第３の画素の交差方向の所定画素分の平均信号レベルに基づいて定まるものとしてもよい。これにより、第１の画素と第２の画素との間における第１条件を満足する画素間をより一層高精度に特定することができる。

本発明の第７の態様は、本発明の第４の態様において、第１の画素群が、瞳分割方向と瞳分割方向に対する交差方向とに配置された複数の第１の画素を有し、第２の画素群が、瞳分割方向及び交差方向のうち少なくとも瞳分割方向で複数の第１の画素の各々と交互に各々配置された複数の第２の画素を有し、第３の画素群が、瞳分割方向及び交差方向のうち少なくとも瞳分割方向で第１の画素と第２の画素との間に配置された複数の第３の画素を有し、コントラストの大きさが、瞳分割方向で第１の画素と第２の画素との間に配置された複数の第３の画素の信号レベルの変化率に基づいて定まるものとしてもよい。これにより、本構成を有しない場合と比べ、第１の画素と第２の画素との間における第１条件を満足する画素間を高精度に特定することができる。

本発明の第８の態様は、本発明の第７の態様において、コントラストの大きさが、複数の第３の画素の各々における交差方向の所定画素分の平均信号レベルの変化率に基づいて定まるものとしてもよい。これにより、第１の画素と第２の画素との間における第１条件を満足する画素間をより一層高精度に特定することができる。

本発明の第９の態様は、本発明の第４の態様から第８の態様の何れか１つにおいて、コントラストの大きさが、第３の画像信号のうち、第３の画素群における信号レベルが非飽和状態の画素による第３の画像信号に基づいて定まるものとしてもよい。これにより、本構成を有しない場合と比べ、第３の画素群に信号レベルが飽和状態の画素が含まれる場合に起こり得る画像領域の誤特定を抑制することができる。

本発明の第１０の態様は、本発明の第１の態様から第４の態様の何れか１つにおいて、第１の画素群が、瞳分割方向と瞳分割方向に対する交差方向とに配置された複数の第１の画素を有し、第２の画素群が、瞳分割方向及び交差方向のうち少なくとも瞳分割方向で複数の第１の画素の各々と交互に隣接して各々配置された複数の第２の画素を有するものとしてもよい。これにより、本構成を有しない場合と比べ、第１及び第２条件の双方の条件を満足する画素間に対応する画像領域として、より高い空間周波数の画像領域を特定することができる。

本発明の第１１の態様は、本発明の第１の態様から第１０の態様の何れか１つにおいて、第１の画素群における瞳分割方向の画素の第１の領域を介して入射される光及び第２の画素群における瞳分割方向の画素の第２の領域を介して入射される光に基づく減光特性に応じた補正係数を求め、求めた補正係数に基づいて第１及び第２の画像信号を補正する補正部を更に含み、第２条件が、補正部により各々補正された第１の画像信号と第２の画像信号との一致度が第２所定値以上であるとの条件であるものとしてもよい。これにより、本構成を有しない場合と比べ、第１及び第２の画素群の各々における瞳分割方向の画素の第１及び第２の領域を介して入射される光に基づく減光特性に起因する画像領域の誤特定を抑制することができる。

本発明の第１２の態様は、本発明の第１の態様から第１１の態様の何れか１つにおいて、特定部が、第１及び第２の画像信号の各々により特定される瞳分割方向で信号レベルが極大値を持つ画素間の距離に基づいて、第２条件を満足する画像領域を特定するものとしてもよい。これにより、本構成を有しない場合と比べ、第２条件を満足する画像領域を高精度に特定することができる。

本発明の第１３の態様は、本発明の第１２の態様において、特定部が、第１及び第２の画像信号の各々の微分値に基づいて距離を推定し、推定した距離に基づいて、第２条件を満足する画像領域を特定するものとしてもよい。これにより、第２条件を満足する画像領域をより一層高精度に特定することができる。

本発明の第１４の態様は、本発明の第１の態様から第１３の態様の何れか１つにおいて、第１所定値及び第２所定値の少なくとも一方が、絞り値に基づいて定まるものとしてもよい。これにより、本構成を有しない場合と比べ、第１所定値及び第２所定値の少なくとも一方を高精度に求めることができる。

上記目的を達成するために、本発明の第１５の態様に係る撮像装置は、本発明の第１の態様から第１４の態様の何れか１つの画像処理装置と、第１及び第２の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、を含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

上記目的を達成するために、本発明の第１６の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された画像信号に基づく第１の表示用画像と第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成し、第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び第１の画像信号と第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定し、画像を表示する表示部に対して、第１の表示用画像を表示させ、且つ、第１の表示用画像の表示領域内に第２の表示用画像を表示させ、且つ、第２の表示用画像のうち、特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行うことを含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

上記目的を達成するために、本発明の第１７の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された画像信号に基づく第１の表示用画像と第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成し、第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び第１の画像信号と第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定し、画像を表示する表示部に対して、第２の表示用画像を表示させ、且つ、第２の表示用画像のうち、特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行うことを含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

上記目的を達成するために、本発明の第１８の態様に係る画像処理プログラムは、本発明の第１の態様から第１４の態様の何れか１つの画像処理装置における生成部、特定部及び表示制御部としてコンピュータを機能させるためのものである。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

本発明によれば、合焦状態にあるか否かを視覚的に認識し易くすることができる、という効果が得られる。

第１〜第３実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 図１に示す撮像装置の背面側を示す背面図である。 図１に示す撮像装置の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの配置及びカラーフィルタに対する位相差画素の配置の一例を示す概略配置図である。 第１実施形態に係る撮像素子に含まれる第１の画素、第２の画素及び通常画素の配置の一例を示す概略配置図である。 図５に示す撮像素子に含まれる第１の画素及び第２の画素の各々の構成の一例を示す模式図である。 図１に示す撮像装置に含まれる撮影レンズを通過した光の経路、平面視の結像イメージ及び結像領域における左領域通過光及び右領域通過光による光強度分布の一例を示す模式図である。 図１に示す撮像装置に含まれる画像処理部の要部構成の一例を示す機能ブロック図である。 合焦状態（ジャスピン）時の被写体と撮影レンズと撮像素子との位置関係の一例を示す模式図である。 非合焦状態時の被写体と撮影レンズと撮像素子との位置関係の一例を示す模式図である。 図８に示す画像処理部に含まれる特定部によって用いられる閾値導出テーブルの構成の一例を示す模式図である。 図８に示す画像処理部に含まれる生成部の要部構成の一例を示す機能ブロック図である。 図１に示す撮像装置の要部構成の一例を示す機能ブロック図である。 図１に示す撮像装置に含まれる表示装置におけるスプリットイメージの表示領域及び通常画像の表示領域の一例を示す模式図である。 図１に示す撮像装置に含まれる表示装置に表示された通常画像及びスプリットイメージを含むライブビュー画像（合焦状態時）の一例を示す画面図である。 図１に示す撮像装置に含まれる表示装置に表示された通常画像及びスプリットイメージを含むライブビュー画像（非合焦状態時）の一例を示す画面図である。 第１実施形態に係る画像出力処理の流れの一例を示すフローチャートである。 第１実施形態に係る画像領域特定処理の流れの一例を示すフローチャートである。 図１７に示すフローチャートの続きである。 左領域通過光及び右領域通過光による減光特性の原理（第１及び第２の画素の各々に入射する光束の経路の一例）の説明に供する説明図である。 瞳分割方向の線形的な減光特性が左眼画像及び右眼画像の各々における瞳分割方向に相当する方向の各画素の出力に与える影響の一例を示すグラフである。 補正前後の左眼画像及び右眼画像が受ける減光特性の影響の一例を示す概念図である。 第１実施形態に係る画像出力処理によって生成された処理対象画像に含まれる画素（第１の画素、第２の画素及び通常画素）の配置の一例を示す概略配置図である。 第１実施形態に係る画像領域特定処理によって設定された注目画素群の構成の一例を示す模式図である。 第１実施形態に係る画像領域特定処理によって生成された第１及び第２画素値分布（非合焦状態時）の一例を示すグラフである。 第１実施形態に係る画像領域特定処理によって生成された第１及び第２画素値分布（合焦状態時）の一例を示すグラフである。 第１実施形態に係る画像出力処理によって出力された処理対象画像が表示装置により表示された場合の画面例を示す画面図である。 第１実施形態に係る画像出力処理によって出力された処理対象画像のうちのスプリットイメージが表示装置により表示された場合の画面例を示す画面図である。 第１実施形態に係る画像領域特定処理の流れの変形例を示すフローチャートである。 第１実施形態に係る画像領域特定処理によって設定される注目画素群の第１変形例を示す模式図である。 第１実施形態に係る画像領域特定処理によって設定される注目画素群の第２変形例を示す模式図である。 第１実施形態に係る画像領域特定処理によって設定される注目画素群の第３変形例を示す模式図である。 第２実施形態に係る画像領域特定処理の流れの一例を示すフローチャートである。 第２実施形態に係る画像領域特定処理によって設定される注目画素群の構成の一例を示す模式図である。 第３実施形態に係る撮像装置に含まれる撮像素子及び処理対象画像の画素配置の一例を示す模式図である。 第３実施形態に係る画像領域特定処理の流れの一例を示すフローチャートである。 第３実施形態に係る撮像素子及び画像領域特定処理によって設定される注目画素群の第１変形例を示す模式図である。 第３実施形態に係る撮像素子及び画像領域特定処理によって設定される注目画素群の第２変形例を示す模式図である。 第３実施形態に係る撮像素子及び画像領域特定処理によって設定される注目画素群の第３変形例を示す模式図である。 第３実施形態に係る撮像素子及び画像領域特定処理によって設定される注目画素群の第４変形例を示す模式図である。 第４実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第４実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。 第１〜第４実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。 第１〜第４実施形態に係るスプリットイメージの変形例であって、行方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である 第１〜第４実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。 第１〜第４実施形態に係るスプリットイメージの変形例であって、市松模様に形成されたスプリットイメージの一例を示す模式図である。

以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。

［第１実施形態］
図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。

撮像装置１００は、レンズ交換式カメラである。撮影装置１００は、カメラ本体２００と、カメラ本体２００に交換可能に装着される交換レンズ３００と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ３００は、手動操作により光軸方向に移動可能なフォーカスレンズ３０２を有する撮影レンズ１６（図３参照）を含む。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。

交換レンズ３００は、カメラ本体２００に対して交換可能に装着される。また、交換レンズ３００の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング３０１が設けられている。フォーカスリング３０１の手動による回転操作に伴ってフォーカスレンズ３０２は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズボタン２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。

撮影準備指示部及び撮影指示部としてのレリーズボタン２１１は、撮影準備指示状態と撮影指示状態との２段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本第１実施形態に係る撮像装置１００では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２１１を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光（撮影）が行われる。つまり、レリーズボタン２１１を半押し状態にすることによりＡＥ（Automatic Exposure）機能が働いて露出状態が設定された後、ＡＦ（Auto-Focus）機能が働いて合焦制御され、レリーズボタン２１１を全押し状態にすると撮影が行われる。

図２に示すカメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５が設けられている。

十字キー２２２は、１つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、表示部２１３の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。

表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、表示部２１３は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。

図３は第１実施形態に係る撮像装置１００の電気系の構成（内部構成）の一例を示すブロック図である。

撮像装置１００は、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６と、を含む。交換レンズ３００は、マウント２５６にマウント３４６が結合されることによりカメラ本体２００に交換可能に装着される。

交換レンズ３００は、スライド機構３０３及びモータ３０４を含む。スライド機構３０３は、フォーカスリング３０１の操作が行われることでフォーカスレンズ３０２を光軸Ｌ１方向に移動させる。スライド機構３０３には光軸Ｌ１方向に対してスライド可能にフォーカスレンズ３０２が取り付けられている。また、スライド機構３０３にはモータ３０４が接続されており、スライド機構３０３は、モータ３０４の動力を受けてフォーカスレンズ３０２を光軸Ｌ１方向に沿ってスライドさせる。

モータ３０４は、マウント２５６，３４６を介してカメラ本体２００に接続されており、カメラ本体２００からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ３０４の一例として、ステッピングモータを適用している。従って、モータ３０４は、カメラ本体２００からの命令によりパルス電力に同期して動作する。

撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって制御されている。撮像装置１００は、操作部１４、インタフェース部２４、メモリ２６及びエンコーダ３４を含む。また、撮像部１００は、本発明に係る表示制御部の一例である表示制御部３６Ａ，３６Ｂを含む。また、撮像部１００は、接眼検出部３７を含む。また、撮像装置１００は、本発明に係る補正部、生成部及び特定部の一例である画像処理部２８を含む。なお、以下では、表示制御部３６Ａ，３６Ｂを区別して説明する必要がない場合は「表示制御部３６」と称する。また、本第１実施形態では、画像処理部２８とは別のハードウェア構成で表示制御部３６を設けているが、これに限らず、画像処理部２８が表示制御部３６と同様の機能を有するものとしてもよく、この場合、表示制御部３６は不要となる。

ＣＰＵ１２、操作部１４、インタフェース部２４、記憶部の一例であるメモリ２６、画像処理部２８、エンコーダ３４、表示制御部３６Ａ，３６Ｂ、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９は、バス４０を介して相互に接続されている。なお、メモリ２６は、パラメータやプログラムなどが記憶された不揮発性の記憶領域（一例としてＥＥＰＲＯＭなど）と画像などの各種情報が一時的に記憶される揮発性の記憶領域（一例としてＳＤＲＡＭなど）とを有する。

なお、本第１実施形態に係る撮像装置１００では、オートフォーカスモード時に、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ３０４を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズボタン２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタースピード及びＦ値を導出する。そして、導出したシャッタースピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

操作部１４は、撮像装置１００に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。

操作部１４は、レリーズボタン２１１、撮影モード等を選択するフォーカスモード切替え部２１２、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。また、操作部１４は、各種情報を受け付けるタッチパネルも含む。このタッチパネルは、例えば表示部２１３の表示画面に重ねられている。

カメラ本体２００は、位置検出部２３を含む。位置検出部２３は、ＣＰＵ１２に接続されている。位置検出部２３は、マウント２５６，３４６を介してフォーカスリング３０１に接続されており、フォーカスリング３０１の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ１２に出力する。ＣＰＵ１２は、位置検出部２３から入力された回転角度情報に応じた処理を実行する。

撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ３０２を含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。

撮像素子２０は、一例として図４に示すカラーフィルタ２１を備えている。カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタＧ、Ｒ（赤）に対応するＲフィルタＲ及びＢ（青）に対応するＢフィルタを含む。図４に示す例では、撮像素子２０の画素数の一例として“４８９６×３２６５”画素を採用しており、これらの画素に対してＧフィルタ、Ｒフィルタ及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に所定の周期性で配置されている。そのため、撮像装置１００は、Ｒ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

撮像素子２０は、第１の画素Ｌ、第２の画素Ｒ及び通常画素Ｎ（第３の画素の一例）（後述）を含む。撮像装置１００は、位相差ＡＦ機能を働かせることにより、第１の画素Ｌの画素からの信号出力値（以下、画素値）と第２の画素Ｒの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。

一例として図５に示すように、撮像素子２０は、第１の画素行１５０、第２の画素行１５２及び第３の画素行１５４を含む。第１の画素行１５０は、同一行内に第１の画素組を含み、第１の画素組は、行方向に複数の通常画素Ｎ（図５に示す例では、４つの通常画素Ｎ）を介在させて周期的に配置されている。第１の画素組とは、行方向に第１の並び方（図中正面視左側に第１の画素Ｌが位置し、図中正面視右側に第２の画素Ｒが位置する並び方）で隣接する一対の第１の画素Ｌ及び第２の画素Ｒを指す。

第２の画素行１５２は、同一行内に第２の画素組を含み、第２の画素組は、行方向に複数の通常画素Ｎ（図５に示す例では、４つの通常画素Ｎ）を介在させて周期的に配置されている。第２の画素組とは、行方向に第２の並び方（第１の並び方と逆の並び方）で隣接する一対の第１の画素Ｌ及び第２の画素Ｒを指す。第３の画素行１５４は、同一行内に複数の通常画素Ｎが隣接して配置されている。

第１の画素行１５０及び第２の画素行１５２は、列方向に複数行の第３の画素行１５４（本第１実施形態では、列方向に所定周期で行数が異なる第３の画素行１５４）を介在させて交互に配置されている。

第１の画素Ｌは、一例として図６に示すように、遮光部材２０Ａによって受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））が遮光された画素である。第２の画素Ｒは、一例として図６に示すように、遮光部材２０Ｂによって受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））が遮光された画素である。なお、以下では、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「位相差画素」と称する。

一例として図７に示すように、撮影レンズ１６の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの右半分の光束を指す。左領域通過光及び右領域通過光のうちのピントが合っている（合焦状態である）部分は、撮像素子２０上の同じ位置に結像する。これに対し、左領域通過光及び右領域通過光のうちの前ピン又は後ピンの部分は、それぞれ撮像素子２０上の異なる位置に入射する（位相がずれる）。そのため、受光面における左領域通過光による光強度分布と右領域通過光による光強度分布とが行方向で分離して像がぼける。また、受光面における左領域通過光による光強度分布及び右領域通過光による光強度分布の各々の分布位置は、前ピンの場合と後ピンの場合とで逆転する。

一例として図６に示すように、マイクロレンズ１９及び遮光部材２０Ａ，２０Ｂは瞳分割部として機能する。すなわち、撮影レンズ１６の射出瞳を通過する光束は、マイクロレンズ１９及び遮光部材２０Ａ，２０Ｂにより左右に分割され、第１の画素Ｌが左領域通過光を受光し、第２の画素Ｒが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像（後述する左眼画像及び右眼画像）として取得される。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。

撮像素子２０は、第１の画素群、第２の画素群及び第３の画素群に分類される。第１の画素群とは、一例として図５に示すように、行列状に配置された複数の第１の画素Ｌを指す。第２の画素群とは、一例として図５に示すように、行列状に配置された複数の第２の画素Ｒを指す。第３の画素群とは、一例として図５に示す複数の通常画素Ｎを指す。ここで、通常画素Ｎとは、位相差画素以外の画素（例えば遮光部材２０Ａ，２０Ｂが設けられていない画素）を指す。なお、以下では、第１の画素群から出力されるＲＡＷ画像を「第１の画像」と称し、第２の画素群から出力されるＲＡＷ画像を「第２の画像」と称し、第３の画素群から出力されるＲＡＷ画像を「第３の画像」と称する。

図３に戻って、撮像素子２０は、第１の画素群から第１の画像（各第１の画素Ｌの画素値を示すデジタル信号）を出力し、第２の画素群から第２の画像（各第２の画素Ｒの画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から第３の画像（各通常画素の画素値を示すデジタル信号）を出力する。なお、第３の画素群から出力される第３の画像は有彩色の画像であり、例えば通常画素Ｎの配列と同じカラー配列のカラー画像である。撮像素子２０から出力された第１の画像、第２の画像及び第３の画像は、インタフェース部２４を介してメモリ２６における揮発性の記憶領域に一時記憶される。

画像処理部２８は、メモリ２６に記憶されている第１〜第３の画像に対して各種の画像処理を施す。画像処理部２８は、一例として図８に示すように、補正部２８Ａ、生成部２８Ｂ及び特定部２８Ｃを含む。画像処理部２８は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であってもよい。

補正部２８Ａは、左領域通過光及び右領域通過光に基づく減光特性に応じた補正係数を求め、求めた補正係数に基づいて第１の画像及び第２の画像を補正する。

生成部２８Ｂは、撮像素子２０から出力された画像信号に基づいて表示用画像を生成する。表示用画像は、例えば、撮像素子２０から出力された第３の画像に基づいて生成される第１の表示用画像と、補正部２８Ａにより補正された第１の画像及び第２の画像に基づいて生成される合焦確認に使用する第２の表示用画像と、を有する。

特定部２８Ｃは、生成部２８Ｂにより生成された第２の表示用画像のうち、第１条件及び第２条件の双方の条件を満足する画像領域を特定する。ここで、第１条件とは、コントラストの大きさが第１所定値以上であるとの条件を指し、第２条件とは、第１の画像と第２の画像との一致度が第２所定値以上であるとの条件を指す。また、ここで、「画像領域」とは、例えば、第２の表示用画像のうち、第１条件及び第２条件の双方の条件を満足する第１の画素Ｌ及び第２の画素Ｒに対応する画像領域（例えば第１の画素Ｌ及び第２の画素Ｒの位置に対応する位置に存在する画像領域）を指す。

ところで、撮像素子２０の受光面に形成される像のぼけ量に相当する像ずれ量（左領域通過光による光強度分布と右領域通過光による光強度分布とのずれ量）は、下記の数式（１）に示すように、撮影レンズ１６のＦ値に依存することが知られている。数式（１）は、一例として図９Ａに示す合焦（ジャスピン）時の被写体、撮影レンズ１６及び撮像素子２０の位置関係及び図９Ｂに示す非合焦時の被写体、撮影レンズ１６及び撮像素子２０の位置関係から導出される。すなわち、像ずれ量Δは、下記の数式（２）で表され、数式（２）に示す“ｚ”は、下記の数式（３）で表される。なお、数式（３）に示す“ｙ”は、下記の数式（４）で表される。

数式（１）に示すように、像ずれ量ΔはＦ値の減少に従って大きくなる。従って、特定部２８Ｃで用いる第１及び第２所定値の最適値もＦ値に従って変化する。そこで、特定部２８Ｃは、一例として図１０に示す閾値導出テーブル２６０を用いて第１所定値の一例である閾値ε１及び第２所定値の一例である閾値ε２を導出する。図１０に示す閾値導出テーブル２６０は、複数のＦ値の各々に対して閾値ε１，ε２の最適値として予め定められた値が対応付けられている。従って、特定部２８Ｃは、閾値導出テーブル２６０から、現在設定されているＦ値に対応する閾値ε１，ε２として的確な値を導出することができる。

なお、数式（１）に示す像ずれ量Δは長さの単位であり、この長さが撮像素子２０の単一画素の直径よりも大きくなるとピントがずれている（非合焦状態である）と判定される。従って、閾値ε１，ε２を撮像素子２０の単一画素の大きさに応じて定めるようにしてもよい。また、数式（１）によれば、像ずれ量Δは、撮影レンズ１６と被写体との距離にも依存するので、閾値ε１，ε２を撮影レンズ１６と被写体との距離に応じて定めるようにしてもよい。また、Ｆ値、撮像素子２０の単一画素の大きさ、及び撮影レンズ１６と被写体との距離のうちの少なくとも２つの組み合わせに応じて閾値ε１，ε２を定めてもよく、この場合もテーブルを用いて閾値ε１，ε２を導出すればよい。

生成部２８Ｂは、一例として図１１に示すように、通常処理部３０及びスプリットイメージ処理部３２を含む。通常処理部３０は、第３の画素群に対応するＲ，Ｇ，Ｂ信号を処理することで第１の表示用画像の一例である有彩色の通常画像を生成する。また、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群に対応するＧ信号を処理することで第２の表示用画像の一例である無彩色のスプリットイメージを生成する。

図３に戻って、エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。ＬＣＤ２４７における所定方向の画素数（一例として視差発生方向である行方向の画素数）は、表示部２１３における同方向の画素数よりも少ない。表示制御部３６Ａは表示部２１３に、表示制御分３６ＢはＬＣＤ２４７に各々接続されており、ＬＣＤ２４７及び表示部２１３が選択的に制御されることによりＬＣＤ２４７又は表示部２１３により画像が表示される。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。

なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ３０２のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してモータ３０４を制御し、フォーカスレンズ３０２を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。

接眼検出部３７は、ユーザ（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。

外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。

図１２は第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図３に示すブロック図と共通する部分には同一の符号が付されている。

通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、メモリ２６に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。

通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第３の画素群のＲ，Ｇ，Ｂ画素を、第１の画素群及び第２の画素群のうちの同色の周辺画素（例えば隣接するＧ画素）により補間することで、記録用の通常画像を生成する。

また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４０に記録される。また、通常処理部３０により処理された第３の画像に基づく画像である表示用の通常画像は、表示制御部３６に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。

撮像素子２０は、第１の画素群及び第２の画素群の各々の露出条件（一例として電子シャッタによるシャッタ速度）を変えることができ、これにより露出条件の異なる画像を同時に取得することができる。従って、画像処理部２８は、露出条件の異なる画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で複数の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。

一方、スプリットイメージ処理部３２は、メモリ２６に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＧ信号を抽出し、第１の画素群及び第２の画素群のＧ信号に基づいて無彩色のスプリットイメージを生成する。ＲＡＷ画像から抽出される第１の画素群及び第２の画素群の各々に相当する画素群は、上述したようにＧフィルタの画素による画素群である。そのため、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群の各々に相当する画素群のＧ信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左眼画像」と称し、上記の「無彩色の右の視差画像」を「右眼画像」と称する。

スプリットイメージ処理部３２は、スプリットイメージを生成する。スプリットイメージは、第１の画素群から出力された第１の画像に基づく左眼画像と、第２の画素群から出力された第２の画像に基づく右眼画像とを所定方向（例えば視差発生方向と交差する方向）に交互に組み合わせることによって生成される。生成されたスプリットイメージの画像データは表示制御部３６に出力される。

表示制御部３６は、通常処理部３０から入力された表示用の通常画像の画像データと、スプリットイメージ処理部３２から入力された第１、第２の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部３２から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示装置に出力する。すなわち、表示制御部３６Ａは、画像データを表示部２１３に出力し、表示制御部３６Ｂは画像データをＬＣＤ２４７に出力する。これにより、表示装置は、通常画像を動画像として連続して表示し、かつ、通常画像の表示領域内に、スプリットイメージを動画像として連続して表示する。

スプリットイメージは、一例として図１３に示すように、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。なお、図１３に示す矩形枠を表す縁の線は実際には表示されないが、図１３では説明の便宜上示されている。

なお、本第１実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。

ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、ＬＣＤ２４７、プリズム２４５及び接眼レンズ２４６を有する。

また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。

プリズム２４５は、ＬＣＤ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導き、かつ、光学像とＬＣＤ２４７に表示される情報（電子像、各種の情報）とを合成する。

ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

表示制御部３６Ｂは、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、ＬＣＤ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。

また、表示制御部３６Ｂは、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部からＬＣＤ２４７に表示される電子像のみが視認できるようにする。なお、ＬＣＤ２４７には、表示部２１３に出力されるスプリットイメージが合成された画像データと同等の画像データが入力され、これにより、表示部２１３と同様に通常画像の一部にスプリットイメージが合成された電子像を表示させることができる。

ところで、一般的なスプリットイメージは、一例として図１４及び図１５に示すように、左眼画像と右眼画像とを視差発生方向と交差する方向（図１４及び図１５に示す例では図中正面視上下方向）に交互に組み合わせた複数分割（図１４及び図１５に示す例では４分割）の画像である。スプリットイメージに含まれる左眼画像及び右眼画像は、合焦状態に応じて所定方向（図１４及び図１５に示す例では視差発生方向（図中正面視左右方向））にずれる。なお、図１４に示す例では、人物に対してピントが合っていて人物の周辺領域（例えば木）に対してピントがあっていない状態が示されており、図１５に示す例では、木に対してピントが合っていて木の周辺領域（例えば人物）に対してピントがあっていない状態が示されている。

しかし、スプリットイメージを利用した合焦判断方法では、像ずれがなくなったか否かを目視で判断するが、連続的に動く像ずれを視認しながら行う必要があり、ピント合わせに時間を要する。スプリットイメージを利用した合焦判断方法以外の合焦判断方法としては、フォーカス・ピーキングを利用した合焦判断方法が知られている。フォーカス・ピーキングを利用した合焦判断方法では、高コントラスト領域か否か（所定コントラスト以上の領域であるか否か）の判断は、スプリットイメージを利用した合焦判断方法と比べ、短時間で行うことができる。しかし、高コントラスト領域がすべて強調表示されるため、ユーザは合焦状態にない高コントラスト領域を合焦状態にあると誤判断してしまう虞がある。

そこで、本第１実施形態に係る撮像装置１００では、マニュアルフォーカスモード時に、画像処理部２８が、一例として図１６に示す画像出力処理を行う。以下では、マニュアルフォーカスモードにおいて画像処理部２８によって行われる画像出力処理について、図１６を参照して説明する。なお、以下では、画像処理部２８が画像出力処理を行う場合を例示するが、本発明はこれに限定されるものではなく、例えばＣＰＵ１２が画像出力処理プログラムを実行することにより撮像装置１００で画像出力処理が行われるようにしてもよい。

図１６に示す画像出力処理では、先ず、ステップ４００において、生成部２８Ｂにより、第１〜第３の画像が入力されたか否かが判定される。ステップ４００において、第１〜第３の画像が入力されていない場合は、判定が否定されてステップ４００の判定を再び行う。ステップ４００において、第１〜第３の画像が入力された場合は、判定が肯定されてステップ４０２へ移行する。

ステップ４０２では、生成部２８Ｂにより、ステップ４００で入力された第３の画像に基づいて通常画像が生成される。また、ステップ４０２では、生成部２８Ｂにより、ステップ４００で入力された第１及び第２の画像に基づく左眼画像及び右眼画像が生成され、生成された左眼画像及び右眼画像に基づいてスプリットイメージが生成される。

次のステップ４０４では、補正部２８Ａ及び特定部２８Ｃにより、一例として図１７及び図１８に示す画像領域特定処理（第１条件及び第２条件の双方の条件を満足する画素間に対応する画像領域を特定する処理）が行われ、その後、ステップ４０６へ移行する。

ところで、撮像装置１００では、一例として図１９に示すように、被写体が撮像される場合に撮影レンズ１６を通過した左領域通過光は、第１の画素Ｌに対応するマイクロレンズ１９を通過し、第１の画素Ｌに入射する。しかし、左領域通過光は、第２の画素Ｒに対応するマイクロレンズ１９を通過しても遮光部材２０Ｂによって遮光されるので、第２の画素Ｒに入射しない。一方、撮影レンズ１６を通過した右領域通過光は、第２の画素Ｒに対応するマイクロレンズ１９を通過し、第２の画素Ｒに入射する。しかし、右領域通過光は、第１の画素Ｌに対応するマイクロレンズ１９を通過しても遮光部材２０Ａによって遮光されるので、第１の画素Ｌに入射しない。このように画素の半分に対して遮光部材が配置されている上、左領域通過光及び右領域通過光の各々の中心が、撮影レンズ１６の光軸から偏倚しているため、第１の画素群及び第２の画素群の各々では、瞳分割方向の画素位置に応じて減光特性が線形的に変化する。減光特性の変化は、左眼画像及び右眼画像における出力の変化となって現れる。すなわち、仮に撮影レンズ１６に対して正面から光量が均一な光が入射された場合に得られる左眼画像及び右眼画像の左右方向（瞳分割方向に相当する方向）の出力は画素位置に応じて略線形的に変化することとなる。例えば、図２０に示すように、左眼画像は、右方向の画素位置ほど出力が小さくなり、右眼画像は、左方向の画素位置ほど出力が小さくなる。左眼画像及び右眼画像の各出力の左右の相反する方向への略線形的な変化は、スプリットイメージの画質に対しても影響を及ぼす。

そこで、図１７に示す画像領域特定処理では、先ず、ステップ５００において、補正部２８Ａにより、ステップ４００で入力された第１の画像及び第２の画像の出力を補正する補正係数として、減光特性に応じた補正係数が導出される。ここで、補正係数は、例えば補正用直線に基づいて導出される。補正用直線は、例えば特定の一行に含まれる複数の画素の出力についての回帰直線と目標感度比（例えば１．０）との距離の２乗和が最小になる一次関数を指し、補正用直線の従属変数が補正係数として用いられる。なお、補正係数は、これに限定されるものではなく、実機による実験やシミュレーション等によって予め得られたデフォルト値（事前に予想した減光特性をキャンセルする補正係数）であってもよい。また、ここでは、第１の画像及び第２の画像の出力を補正する場合を例示しているが、これに限らず、第１の画素Ｌ及び第２の画素Ｒの感度を補正するようにしてもよい。

次のステップ５０２では、補正部２８Ａにより、ステップ５００で導出された補正係数に基づいて第１の画像及び第２の画像の出力が補正される。これにより、一例として図２１に示すように、第１及び第２の画素群の各々の瞳分割方向の画素の線形的な感度変化に起因する第１の画像及び第２の画像の線形的な出力変化は、補正係数に基づいて補正されない場合と比べ、軽減される。

次のステップ５０４では、特定部２８Ｃにより、ステップ４００で入力された第１〜第３の画像に含まれる全画素のうち、一例として図２２に示すように、処理対象とする画素群（注目画素群）２６２が設定される。

以下では、説明の便宜上、ステップ４００で入力された第１〜第３の画像を区別して説明する必要がない場合は、第１〜第３の画像を「処理対象画像」と総称する。また、以下では、説明の便宜上、処理対象画像に含まれる画素のうち、撮像素子２０における第１の画素Ｌの位置に対応する位置の画素を第１の画素Ｌ１と称する。また、処理対象画像に含まれる画素のうち、撮像素子２０における第２の画素Ｒの位置に対応する位置の画素を第２の画素Ｒ２と称する。また、処理対象画像に含まれる画素のうち、撮像素子２０における通常画素Ｎの位置に対応する位置の画素を通常画素Ｎ１と称する。なお、本第１実施形態では、ステップ４００で入力された第１〜第３の画像を処理対象画像としているが、これに限らず、ステップ４００で入力された第１〜第３の画像のうちの部分的な画像を処理対象画像としてもよい。例えば、ステップ４００で入力された第１〜第３の画像のうちのスプリットイメージの表示領域の位置に対応する位置の画像を処理対象画像としてもよいし、ステップ４００で入力された第１〜第３の画像のうちのスプリットイメージの表示領域の一部領域の位置に対応する位置の画像を処理対象画像としてもよい。この場合、全画面分の画像を処理する場合と比較して、処理に要する時間を短くすることができる。

注目画素群２６２とは、例えば処理対象画像に含まれる全画素のうち、未だに後述するステップ５０６〜ステップ５３４の処理対象とされていない画素群を指す。例えば、本第１実施形態では、注目画素群２６２が、一例として図２２に示す注目画素群規定枠２６３によって定められる。図２２に示す注目画素群規定枠２６３は、４×６の分割領域（単一の画素の大きさに対応する大きさの分割領域）で区切られた矩形枠である。図２２に示す例では、図中正面視右上角の分割領域に、第１の画素行１５０に含まれる第１の画素Ｌ（隣接する一対の第１の画素組のうちの一方の組に含まれる第１の画素Ｌ）に対応する第１の画素Ｌ１が位置している。また、図中正面視左上角の分割領域に、第１の画素行１５０に含まれる第２の画素Ｒ（隣接する一対の第１の画素組のうちの他方の組に含まれる第２の画素Ｒ）に対応する第２の画素Ｒ１が位置している。また、注目画素群規定枠２６３の残りの分割領域の各々に、第１の画素行１５０及び第３の画素行１５４に含まれる通常画素Ｎに対応する通常画素Ｎ１が位置している。

次のステップ５０６では、特定部２８Ｃにより、一例として図２３に示すように、ステップ５０４で設定された注目画素群２６２の注目行に含まれる隣接する通常画素Ｎ１（以下、「注目通常画素組」という）が設定される。ここで、注目画素群２６２の注目行とは、例えば、ステップ５０４で設定された注目画素群２６２に含まれる位相差画素が属する一行を指す。また、ここで、注目通常画素組とは、未だに後述するステップ５０８〜５１８の処理対象とされていない通常画素Ｎ１を含み、且つ、注目行に含まれる第１の画素Ｌ１と第２の画素Ｒ１との間に配置された隣接する２つの通常画素Ｎ１を指す。

次のステップ５０８では、特定部２８Ｃにより、ステップ５０６で設定された注目通常画素組に含まれる通常画素Ｎ１の何れかの出力が飽和状態（例えば出力が上限値に到達している状態）か否かが判定される。ステップ５０８において、ステップ５０６で設定された注目通常画素組に含まれる通常画素Ｎ１の何れかの出力が飽和状態の場合は、判定が肯定されてステップ５１０へ移行する。ステップ５０８において、ステップ５０６で設定された注目通常画素組に含まれる通常画素Ｎ１の何れの出力も飽和状態にない場合は、判定が否定されてステップ５１２へ移行する。

ステップ５１０では、特定部２８Ｃにより、ステップ５０４で設定された注目画素群２６２の注目行に含まれる全ての通常画素Ｎ１が注目通常画素組として設定されたか否かが判定される。ステップ５１０において、ステップ５０４で設定された注目画素群２６２の注目行に含まれる全ての通常画素Ｎ１が注目通常画素組として設定された場合は、判定が肯定されてステップ５３６へ移行する。ステップ５１０において、ステップ５０４で設定された注目画素群２６２の注目行に含まれる全ての通常画素Ｎ１が注目通常画素組として設定されていない場合は、判定が否定されてステップ５０６へ移行する。

ステップ５１２では、特定部２８Ｃにより、ステップ５０６で設定された注目通常画素組に含まれる通常画素Ｎ１毎の列方向の画素値の平均値（以下、「平均画素値」という）が算出される。図２３に示す例では、注目通常画素組に含まれる隣接する通常画素Ｎ１の一方はＡ列に属し、他方はＢ列に属しているので、注目画素群２６２におけるＡ列に属する通常画素Ｎ１の平均画素値とＢ列に属する通常画素Ｎ１の平均画素値とが算出される。

次のステップ５１４では、特定部２８Ｃにより、ステップ５０６で設定された注目通常画素組に含まれる通常画素Ｎ１間の平均画素値（ステップ５１２で算出された平均画素値）の差分（例えば差の絶対値）ｄ１が算出され、その後、ステップ５１６へ移行する。

ステップ５１６では、特定部２８Ｃにより、一例として図１０に示す閾値導出テーブル２６０を用いて、現在設定されているＦ値に対応する閾値ε１が導出され、その後、ステップ５１８へ移行する。

ステップ５１８では、特定部２８Ｃにより、ステップ５１４で算出された差分ｄ１がステップ５１６で導出された閾値ε１以上であるか否かが判定される。ステップ５１８において、ステップ５１４で算出された差分ｄ１がステップ５１６で導出された閾値ε１未満の場合は、判定が否定されてステップ５１０へ移行する。ステップ５１８において、ステップ５１４で算出された差分ｄ１がステップ５１６で導出された閾値ε１以上の場合は、判定が肯定されてステップ５２０へ移行する。

ステップ５２０では、特定部２８Ｃにより、一例として図２３に示すように、ステップ５０４で設定された注目画素群２６２の注目行に含まれる一対の注目位相差画素が設定される。ここで、注目位相差画素とは、注目画素群２６２の注目行に含まれる両端に位置する第１の画素Ｌ１及び第２の画素Ｒ１の各々を指す。なお、以下では、第１の画素Ｌ１と第２の画素Ｒ１とを区別して説明する必要がない場合は「注目位相差画素」と称する。

ステップ５２２では、特定部２８Ｃにより、ステップ５２０で設定された一対の注目位相差画素間の画素値（ステップ５０２で出力が補正された左眼画像及び右眼画像における位相差画素間の画素値）の差分Ｄが算出され、その後、ステップ５２４へ移行する。

次のステップ５２４では、特定部２８Ｃにより、一例として図１０に示す閾値導出テーブル２６０を用いて、現在設定されているＦ値に対応する閾値ε２が導出され、その後、ステップ５２６へ移行する。

ステップ５２６では、特定部２８Ｃにより、ステップ５２２で算出された差分Ｄがステップ５２４で導出された閾値ε２以下であるか否かが判定される。ステップ５２６において、ステップ５２２で算出された差分Ｄがステップ５２４で導出された閾値ε２を超える場合は判定が否定されてステップ５３６へ移行する。ステップ５２６において、ステップ５２２で算出された差分Ｄがステップ５２４で導出された閾値ε２以下の場合は判定が肯定されてステップ５２８へ移行する。

ステップ５２８では、特定部２８Ｃにより、一例として図２４に示す第１画素値分布及び第２画素値分布が生成される。第１画素値分布とは、一例として図２２に示す注目行が属する一行（例えば第１の画素行１５０に対応する一行）に含まれる全ての第１の画素Ｌ１による画素値の分布を指す。第２画素値分布とは、注目行が属する一行に含まれる全ての第２の画素Ｒ１による画素値の分布を指す。

次のステップ５３０では、特定部２８Ｃにより、一例として図２４に示すように、ステップ５２８で生成された第１画素値分布と第２画素値分布とのピーク間の距離（ピーク間距離）αが算出され、その後、ステップ５３２へ移行する。ピーク間距離αとは、例えば、瞳分割方向（視差発生方向）で信号レベルが極大値を持つ画素間の距離を指し、いわゆる位相差（又は位相差に相当する物理量）を意味する。

ステップ５３２では、特定部２８Ｃにより、ステップ５３０で算出されたピーク間距離αが閾値ε３以下であるか否かが判定される。ここでは、閾値ε３として、図２３に示す注目画素群２６２の注目行に含まれる位相差画素間の距離×２の値に相当する値を採用しているが、これ以外の値を採用してもよいことは言うまでもなく、また、ユーザによって指定された値を採用してもよい。

ステップ５３２において、ステップ５３０で算出されたピーク間距離αが閾値ε３を超える場合（例えば第１画素値分布及び第２画素値分布が図２４に示す状態の場合）、判定が否定されてステップ５３６へ移行する。ステップ５３２において、ステップ５３０で算出されたピーク間距離αが閾値ε３以下の場合（例えば第１画素値分布及び第２画素値分布が図２５に示す状態の場合）、判定が肯定されてステップ５３４へ移行する。

ステップ５３４では、特定部２８Ｃにより、ステップ５０４で設定された注目画素群２６２の位置を示す位置情報（例えば処理対象画像内の位置を特定可能な二次元座標）が所定の記憶領域（例えばメモリ２６）に記憶される。

次のステップ５３６では、特定部２８Ｃにより、処理対象画像に含まれる全画素のうち、注目画素群２６２として未だに設定されていない画素群が存在していないか否かが判定される。ステップ５３６において、処理対象画像に含まれる全画素のうち、注目画素群２６２として未だに設定されていない画素群が存在している場合は、判定が否定されてステップ５０４へ移行する。ステップ５３６において、処理対象画像に含まれる全画素のうち、注目画素群２６２として未だに設定されていない画素群が存在していない場合は、判定が肯定されて本画像領域特定処理を終了する。

図１６に戻って、ステップ４０６では、特定部２８Ｃにより、所定の記憶領域に位置情報が記憶されているか否か（ステップ５３４で所定の記憶領域に位置情報が記憶されたか否か）が判定される。ステップ４０６において、所定の記憶領域に位置情報が記憶されていない場合は、判定が否定されてステップ４１０へ移行する。ステップ４０６において、所定の記憶領域に位置情報が記憶されている場合は、判定が肯定されてステップ４０８へ移行する。

ステップ４０８では、特定部２８Ｃにより、ステップ４０２で生成されたスプリットイメージのうち、特定画像領域（本発明に係る画像領域の一例）の明るさ及び色（又は、明るさ若しくは色）が、他の領域と区別可能に調整される。ここで、特定画像領域とは、例えば所定の記憶領域に記憶されている位置情報（ステップ５３４で所定の記憶領域に記憶された位置情報）により示される画像領域（注目画素群２６２に相当する領域）のうち、スプリットイメージに含まれる領域を指す。

次のステップ４１０では、特定部２８Ｃにより、ステップ４０２で生成された通常画像及びスプリットイメージ、又は、ステップ４０８で特定画像領域の明るさ及び色が調整されたスプリットイメージとステップ４０２で生成された通常画像とが表示制御部３６に出力される。これにより、表示制御部３６は、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内のスプリットイメージを動画像として連続して表示させる制御を行う。これに応じて、表示装置は、ライブビュー画像を表示する。

また、表示制御部３６は、ステップ４０８で特定画像領域の明るさ及び色が調整されたスプリットイメージとステップ４０２で生成された通常画像とが入力されると、表示装置に対して、特定画像領域を他の領域と区別可能に表示させるように制御を行う。これにより、表示装置は、一例として図２６に示すように、ライブビュー画像のうち、特定画像領域を他の領域と区別可能に表示（強調表示（ピーキング））する。特定画像領域を他の領域と区別可能に表示する方法としては、例えば、特定画像領域の出力を上限値まで引き上げる方法や、特定画像領域を予め定められた特殊色で表示する方法が挙げられる。なお、図２６に示す例では、スプリットイメージにおける太線領域が特定画像領域に相当する。また、図２６に示すように特定画像領域の輪郭によって規定された枠内の面領域（図２６に示す例では特定画像領域の輪郭とスプリットイメージの外枠とで囲まれた領域）に対して、枠外の領域と区別可能なパッチパターンを表示するようにしてもよい。

以上説明したように、本第１実施形態に係る撮像装置１００では、特定部２８Ｃにより、差分ｄ１がε１以上であるとの第１条件、及び差分Ｄが閾値ε２以下であるとの第２条件の双方の条件を満足する画像領域（特定画像領域）が特定される。また、表示装置により、通常画像及びスプリットイメージが表示され、且つ、スプリットイメージ内における特定画像領域が他の領域と区別可能に表示される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

また、本第１実施形態に係る撮像装置１００では、差分ｄ１が通常画素Ｎ１の画素値に基づいて定められる。従って、本第１実施形態に係る撮像装置１００は、通常画素Ｎ１の画素値を用いずに差分ｄ１を定める場合と比べ、第１条件（差分ｄ１≧閾値ε１）を満足する画像領域を高精度に特定することができる。

また、本第１実施形態に係る撮像装置１００では、第１の画素Ｌ１と第２の画素Ｒ１との間に配置された通常画素Ｎ１の画素値に基づいて差分ｄ１が定められる。従って、本第１実施形態に係る撮像装置１００は、第１の画素Ｌ１と第２の画素Ｒ１との間に配置された通常画素Ｎ１の画素値を用いずに差分ｄ１を定める場合と比べ、第１条件を満足する画像領域を高精度に特定することができる。

また、本第１実施形態に係る撮像装置１００では、通常画素Ｎ１の列方向の所定画素（図２２に示す例では４画素）分の平均画素値に基づいて差分ｄ１が定められる。従って、本第１実施形態に係る撮像装置１００は、平均画素値に基づいて差分ｄ１を定める構成を有しない場合と比べ、第１条件を満足する画像領域を高精度に特定することができる。

また、本第１実施形態に係る撮像装置１００では、コントラストの大きさが、非飽和状態の通常画素Ｎ１に基づいて定められる。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合と比べ、非飽和状態の画素が含まれる場合に起こり得る画像領域の誤特定を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、減光特性に応じて補正係数が導出され、導出された補正係数で補正された左眼画像及び右眼画像に基づいて差分Ｄが算出される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合と比べ、減光特性に起因する特定画像領域の誤特定を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、ピーク間距離αに基づいて第２条件（差分Ｄ≦閾値ε２）を満足する画像領域（例えば第２条件を満足する第１の画素Ｌ及び第２の画素Ｒに対応する領域）が特定される。従って、本第１実施形態に係る撮像装置１００は、ピーク間距離αに基づいて第２条件を満足する画像領域を特定する構成を有しない場合と比べ、第２条件を満足する画像領域を高精度に特定することができる。

なお、上記第１実施形態では、撮像素子２０の中央部に複数の位相差画素が予め定められた配置パターンで配置されているため、表示装置の画面中央部にスプリットイメージを表示する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、撮像素子２０の全領域を対象にして複数の位相差画素を予め定められた配置パターンで配置した場合、一例として図２７に示すように、表示装置の全画面に対してスプリットイメージを表示するようにしてもよい。この場合、通常画像及びスプリットイメージの双方を表示する構成と比べ、合焦状態にあるか否かを視覚的に容易に認識することを簡易な構成で実現することができる。

また、上記第１実施形態では、図１８に示す画像領域特定処理において、第１画素値分布と第２画素値分布とのピーク間距離αが算出される場合を例示したが、本発明はこれに限定されるものではない。例えば、図２８に示すように、図１８に示す画像領域特定処理のステップ５２８，５３０，５３２に代えて、ステップ５５８，５６０，５６２が特定部２８Ｃによって行われるようにしてもよい。

図２８に示す画像領域特定処理では、ステップ５５８において、特定部２８Ｃにより、注目行が属する一行に含まれる第１の画素Ｌ及び第２の画素Ｒの各々の画素値が位置で微分される。次のステップ５６０では、特定部２８Ｃにより、ステップ５５８で微分されて得られた第１の画素Ｌについての微分ピーク値と第２の画素Ｒについての微分ピーク値との距離（微分ピーク間距離）βが算出される。次のステップ５６２では、特定部２８Ｃにより、微分ピーク間距離βが閾値ε４（閾値ε２に相当する値）以下か否かが判定される。ステップ５６２において、微分ピーク間距離βが閾値ε４を超える場合は判定が否定されてステップ５３６へ移行する。ステップ５６２において、微分ピーク間距離βが閾値ε４以下の場合は判定が肯定されてステップ５３４へ移行する。

微分ピーク間距離βは、ピーク間距離αに含まれるノイズが軽減された値に相当するので、微分ピーク間距離βを用いることで、第２条件を満足する画像領域（例えば第２条件を満足する第１の画素Ｌ及び第２の画素Ｒに対応する領域）を高精度に特定することができる。

また、上記第１実施形態では、ステップ５２８，５３０，５３２が組み込まれた画像領域特定処理を例示したが、本発明はこれに限定されるものではなく、図１８に示す画像領域特定処理からステップ５２８，５３０，５３２を除いてもよい。この場合、画像出力処理の高速化が期待できる。また、図１８に示す画像領域特定処理からステップ５２２，５２４，５２６を除いてもよい。この場合も、画像出力処理の高速化が期待できる。

また、上記第１実施形態では、通常画素Ｎ間の平均画素値の差分ｄ１を算出する場合を例示したが、本発明はこれに限定されるものではなく、例えば、注目通常画素組に含まれる一対の通常画素Ｎ１間の差分を算出するようにしてもよい。この場合、画素値の平均を求める必要がなくなるので、画像出力処理の高速化が期待できる。

また、上記第１実施形態では、図１７に示す画像領域特定処理で注目画素群２６２を設定する場合を例示したが、これに限らず、図２９に示す注目画素群２６２Ａ、図３０に示す注目画素群２６２Ｂ又は図３１に示す注目画素群２６２Ｃを設定してもよい。

図２９に示す注目画素群２６２Ａは、注目画素群規定枠２６３Ａによって規定されている。注目画素群規定枠２６３Ａは、４×８の分割領域で区切られた矩形枠であり、図中正面視右上角及び左上角の分割領域に第１の画素組に相当する第１の画素Ｌ１及び第２の画素Ｒ１が位置し、残りの分割領域に通常画素Ｎ１が位置する。画像領域特定処理において図２９に示す注目画素群２６２Ａを設定した場合、注目位相差画素として、例えば注目画素群２６２Ａの図中正面視左上角の第１の画素Ｌ１と図中正面視右上角の第２の画素Ｒ１を採用する。また、注目画素群２６２Ａの図中正面視左上角の第１の画素Ｌ１に隣接する第２の画素Ｒ１と図中正面視左上角の第２の画素Ｒ１に隣接する第１の画素Ｌ１を注目位相差画素として採用してもよい。

なお、図２９に示す例において、注目位相差画素は、注目画素群２６２Ａの図中正面視左上角の第１の画素Ｌ１と図中正面視右上角の第２の画素Ｒ１に限定されるものではなく、一対の第１の画素Ｌ１及び第２の画素Ｒ１であれば、如何なる組み合わせでもよい。

図３０に示す注目画素群２６２Ｂは、注目画素群規定枠２６３Ｂによって規定されている。注目画素群規定枠２６３Ｂは、５×５の分割領域で区切られた矩形枠であり、図中正面視左下角の分割領域に第１の画素Ｌ１が位置し、図中正面視左上角の分割領域に第２の画素Ｒ１が位置し、残りの分割領域に通常画素Ｎ１が位置する。画像領域特定処理において図３０に示す注目画素群２６２Ｂを設定した場合、注目位相差画素として、例えば注目画素群２６２Ｂの図中正面視左上角の第２の画素Ｒ１と図中正面視左下角の第１の画素Ｌ１を採用する。また、注目通常画素組として、例えば注目画素群２６２Ｂにおける第２の画素Ｒ１が属する行に含まれるに隣接する一対の通常画素Ｎ１又は注目画素群２６２Ｂにおける第１の画素Ｌ１が属する行に含まれる隣接する一対の通常画素Ｎ１を採用する。

図３１に示す注目画素群２６２Ｃは、注目画素群規定枠２６３Ｃによって規定されている。注目画素群規定枠２６３Ｃは、４×２の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第１の画素Ｌ１が位置し、図中正面視右上角の分割領域に第２の画素Ｒ１が位置し、残りの分割領域に通常画素Ｎ１が位置する。画像領域特定処理において図３１に示す注目画素群２６２Ｃを設定した場合、注目位相差画素として、例えば注目画素群２６２Ｃの図中正面視左上角の第１の画素Ｌ１と図中正面視右上角の第２の画素Ｒ１を採用する。また、注目通常画素組として、例えば注目画素群２６２Ｃにおいて第１の画素Ｌ１及び第２の画素Ｒ１に各々隣接する一対の通常画素Ｎ１を採用する。

また、上記第１実施形態では、第１〜第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この場合、通常画像の生成は、第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を通常画像として採用してもよい。また、差分ｄ１の算出は、通常画素Ｎ１の画素値に代えて、例えば第１の画素Ｌ１の画素値と第２の画素Ｒ１の画素値とを足し合わせた画素値を用いることにより実現される。この場合、通常画素Ｎ１を用いる場合と比べ、高い空間周波数領域の検出が可能となる。また、第１の画素Ｌ１の画素値と第２の画素Ｒ１の画素値とを足し合わせた画素値に代えて、第１の画素Ｌ１の画素値又は第２の画素Ｒ１の画素値を用いてもよい。この場合、より高い空間周波数領域の検出が可能となる。

また、上記第１実施形態では、閾値導出テーブル２６０を用いて閾値ε１，ε２を導出しているが、これに限らず、演算式を用いて閾値ε１，ε２を導出してもよい。

また、上記第１実施形態では、差分ｄ１，Ｄを算出する例を挙げて説明したが、差分に代えて、画素値の比を算出してもよい。

［第２実施形態］
上記第１実施形態では、通常画素Ｎ１間の平均画素値の差分ｄ１を用いて画像領域を特定する例を挙げて説明したが、本第２実施形態では、複数の通常画素Ｎ１による画素値の変化率を用いて画像領域を特定する場合について説明する。なお、以下では、上記第１実施形態と同一の構成については、同一の符号を付し、説明を省略する。

図１〜図３に示す本第２実施形態に係る撮像装置１００Ａは、上記第１実施形態で説明した撮像装置１００と比べ、画像処理部２８が図１７に示す画像領域特定処理に代えて図３２に示す画像領域特定処理を行う点が異なる。図３２に示す画像領域特定処理は、図１７に示す画像領域特定処理と比べ、ステップ５０６〜５１８に代えて、ステップ６００〜ステップ６１０を有する点が異なる。

図３２に示す画像領域特定処理では、ステップ６００において、特定部２８Ｃにより、一例として図３３に示すように、ステップ５０４で設定された注目画素群２６２の注目行に含まれる注目通常画素組が設定される。本第２実施形態に係る注目通常画素組とは、未だに後述するステップ６００〜６１０の処理対象とされていない通常画素Ｎ１を含み、且つ、ステップ５０４で設定された注目画素群２６２の注目行に含まれる全ての通常画素Ｎ１を指す。

次のステップ６０２では、特定部２８Ｃにより、ステップ６００で設定された注目通常画素組に含まれる通常画素Ｎ１の何れかの出力が飽和状態か否かが判定される。ステップ６０２において、ステップ６００で設定された注目通常画素組に含まれる通常画素Ｎ１の何れかの出力が飽和状態の場合は、判定が肯定されてステップ５３６へ移行する。ステップ６０２において、ステップ６００で設定された注目通常画素組に含まれる通常画素Ｎ１の何れの出力も飽和状態にない場合は、判定が否定されてステップ６０４へ移行する。

ステップ６０４では、特定部２８Ｃにより、ステップ６００で設定された注目通常画素組に含まれる通常画素Ｎ１毎の列方向の平均画素値が算出される。図３３に示す例では、注目通常画素組に含まれる４つの通常画素Ｎ１の各々は、Ａ列、Ｂ列、Ｃ列及びＤ列の各列に属しているので、これらの各列について平均画素値が算出される。すなわち、注目画素群２６２におけるＡ列に属する通常画素Ｎ１の平均画素値、Ｂ列に属する通常画素Ｎ１の平均画素値、Ｃ列に属する通常画素Ｎ１の平均画素値、及びＤ列に属する通常画素Ｎ１の平均画素値が算出される。

次のステップ６０６では、特定部２８Ｃにより、ステップ６００で設定された注目通常画素組に含まれる通常画素Ｎ１毎の平均画素値（ステップ６０４で算出された平均画素値）の回帰直線が生成され、その後、ステップ６０８へ移行する。

ステップ６０８では、特定部２８Ｃにより、現在設定されているＦ値に対応する閾値ε５が導出され、その後、ステップ６１０へ移行する。なお、閾値ε５は、上記第１実施形態で説明した閾値ε１と同様にＦ値毎に予め定められており、Ｆ値との対応関係がテーブル化されている。

ステップ６１０では、特定部２８Ｃにより、ステップ６０６で生成された回帰直線の傾きｓがステップ６０８で導出された閾値ε５以上であるか否かが判定される。ステップ６１０において、傾きｓがステップ６０８で導出された閾値ε５未満の場合は、判定が否定されてステップ５３６へ移行する。ステップ６１０において、傾きｓがステップ６０８で導出された閾値ε１以上の場合は、判定が肯定されてステップ５２０へ移行する。

以上説明したように、本第２実施形態に係る撮像装置１００Ａでは、コントラストの大きさが、第１の画素Ｌ１と第２の画素Ｒ１との間に配置された複数の通常画素Ｎ１の画素値の変化率に基づいて定められる。従って、本第２実施形態に係る撮像装置１００Ａは、本構成を有しない場合と比べ、第１条件を満足する画像領域を高精度に特定することができる。

また、本第２実施形態に係る撮像装置１００Ａでは、コントラストの大きさが、複数の通常画素Ｎ１の各々における列方向の所定画素（図３３に示す例では４画素）分の平均画素値の変化率に基づいて定められる。従って、本第２実施形態に係る撮像装置１００Ａは、第１条件を満足する画像領域をより一層高精度に特定することができる。

［第３実施形態］
上記第１及び第２実施形態では、図２２及び図３３に示す画素の配置パターンを用いた場合の画像領域特定処理の一例を説明したが、本第３実施形態では、一例として図３４に示す画素の配置パターンを用いた場合の画像領域特定処理の一例について説明する。なお、以下では、上記第１及び第２実施形態と同一の構成については、同一の符号を付し、説明を省略する。

図１〜図３に示す本第３実施形態に係る撮像装置１００Ｂは、上記第１実施形態で説明した撮像装置１００と比べ、撮像素子２０に代えて撮像素子２０Ａを有する点が異なる。撮像素子２０Ａは、一例として図３４に示すように、位相差画素行２７０及び通常画素行２７２を有する。位相差画素行２７０は、通常画素Ｎを含まずに第１の画素Ｌ及び第２の画素Ｒを含み、通常画素行２７２は、位相差画素を含まずに通常画素Ｎを含む。位相差画素行２７０及び通常画素行２７２は、列方向に交互に配置されている。位相差画素行２７０は、同一行内に第１の画素Ｌ及び第２の画素Ｒが交互に配置されている。

図１〜図３に示す本第３実施形態に係る撮像装置１００Ｂは、上記第１実施形態で説明した撮像装置１００と比べ、画像処理部２８が図１７に示す画像領域特定処理に代えて図３５に示す画像領域特定処理を行う点が異なる。図３５に示す画像領域特定処理は、図１７に示す画像領域特定処理と比べ、ステップ５０４〜５１８に代えて、ステップ７００〜ステップ７１０を有する点が異なる。

図３５に示す画像領域特定処理では、ステップ７００において、特定部２８Ｃにより、処理対象画像に含まれる全画素のうち、一例として図３４に示す注目画素群２６２Ｄが設定され、その後、ステップ７０２へ移行する。なお、注目画素群２６２Ｄとは、例えば処理対象画像に含まれる全画素のうち、未だに以降の処理の対象とされていない画素群を指す。例えば、本第３実施形態では、注目画素群２６２Ｄが、一例として図３４に示す注目画素群規定枠２６３Ｄによって定められる。図３４に示す注目画素群規定枠２６３Ｄは、２×２の分割領域で区切られた矩形枠であり、図中正面視右上角及び左上角の分割領域に異なる位相差画素が位置し、残りの分割領域に通常画素Ｎが位置する。図３４に示す例では、図中正面視右上角の分割領域に第１の画素Ｌ１が位置し、図中正面視左上角の分割領域に第２の画素Ｒ１が位置している。

ステップ７０２では、特定部２８Ｃにより、一例として図３４に示すように、ステップ７００で設定された注目画素群２６２Ｄの注目行に含まれる注目通常画素組（図３４に示す例では、注目画素群２６２Ｄに含まれる一対の通常画素Ｎ１）が設定される。ここで、注目通常画素組とは、未だに以降の処理の対象とされていない一対の通常画素Ｎ１を指す。

次のステップ７０４では、特定部２８Ｃにより、ステップ７０２で設定された注目通常画素組に含まれる通常画素Ｎ１の何れかの出力が飽和状態か否かが判定される。ステップ７０４において、ステップ７０２で設定された注目通常画素組に含まれる通常画素Ｎ１の何れかの出力が飽和状態の場合は、判定が肯定されて図１８に示すステップ５３６へ移行する。ステップ７０４において、ステップ７０２で設定された注目通常画素組に含まれる通常画素Ｎ１の何れの出力も飽和状態にない場合は、判定が否定されてステップ７０６へ移行する。

ステップ７０６では、特定部２８Ｃにより、ステップ７０２で設定された注目通常画素組に含まれる一対の通常画素Ｎ１の画素値の差分（例えば差の絶対値）ｄ２が算出され、その後、ステップ７０８へ移行する。

ステップ７０８では、特定部２８Ｃにより、一例として図１０に示す閾値導出テーブル２６０を用いて、現在設定されているＦ値に対応する閾値ε１が導出され、その後、ステップ７１０へ移行する。

ステップ７１０では、特定部２８Ｃにより、ステップ７０６で算出された差分ｄ２がステップ７０８で導出された閾値ε１以上であるか否かが判定される。ステップ７１０において、ステップ７０６で算出された差分ｄ２がステップ７０８で導出された閾値ε１未満の場合は、判定が否定されて図１８に示すステップ５３６へ移行する。ステップ７１０において、ステップ７０６で算出された差分ｄ２がステップ７０８で導出された閾値ε１以上の場合は、判定が肯定されて図１８に示すステップ５２０へ移行する。

以上説明したように、本第３実施形態に係る撮像装置１００Ｂでは、行方向で第１の画素Ｌ１と第２の画素Ｒ１とが交互に隣接して配置されている。従って、本第３実施形態に係る撮像装置１００Ｂは、本構成を有しない場合と比べ、特定画像領域として、より一層高い空間周波数の画像領域を特定することができる。

なお、上記第３実施形態では、位相差画素行２７０及び通常画素行２７２を含む撮像素子２０Ａを例示したが、本発明はこれに限定されるものではなく、例えば図３６及び図３７に示す撮像素子２０Ｂ又は図３８及び図３９に示す撮像素子２０Ｃを用いてもよい。

一例として図３６及び図３７に示す撮像素子２０Ｂは、第１の画素行２７４、第２の画素行２７６及び第３の画素行２７８を含む。第１の画素行２７４及び第２の画素行２７６は、列方向で隣接しており、列方向に複数行（図３６及び図３７に示す例では２行）の第３の画素行２７８を介在させて周期的に配置されている。第１の画素行２７４は、同一行内に第１の画素Ｌと第２の画素Ｒとが交互に配置されており、第１の画素Ｌと第２の画素Ｒとの間に複数の通常画素Ｎ（図３６及び図３７に示す例では２つの通常画素Ｎ）が配置されている。第２の画素行２７６は、同一行内に第１の画素Ｌと第２の画素Ｒとが第１の画素行２７４とは逆の並び方で交互に配置されており、第１の画素Ｌと第２の画素Ｒとの間に複数の通常画素Ｎ（図３６及び図３７に示す例では２つの通常画素Ｎ）が配置されている。また、第１の画素行２７４に含まれる第１の画素Ｌ及び第２の画素行２７６に含まれる第２の画素Ｒは同一列内に配置されており、第１の画素行２７４に含まれる第２の画素Ｒ及び第２の画素行２７６に含まれる第１の画素Ｌは同一列内に配置されている。第３の画素行２７８は、同一行内に複数の通常画素Ｎが隣接して配置されている。

撮像素子２０Ｂを用いる場合、上記第３実施形態に係る画像領域特定処理のステップ７００において、一例として図３６に示す注目画素群２６２Ｅ又は一例として図３７に示す注目画素群２６２Ｆが設定される。図３６に示す注目画素群２６２Ｅは、注目画素群規定枠２６３Ｅによって規定されている。注目画素群規定枠２６３Ｅは、２×４の分割領域で区切られた矩形枠であり、図中正面視左上角及び右下角の各分割領域に第１の画素Ｌ１が位置し、図中正面視右上角及び左下角の各分割領域に第２の画素Ｒ１が位置し、残りの分割領域に通常画素Ｎ１が位置する。この場合、注目通常画素組として、例えば注目画素群２６２Ｅの図中正面視左上角の第１の画素Ｌ１と図中正面視右上角の第２の画素Ｒ１との間で隣接している一対の通常画素Ｎ１を採用すればよい。また、注目位相差画素として、例えば注目画素群２６２Ｅの図中正面視左上角の第１の画素Ｌ１と図中正面視左下角の第２の画素Ｒ１を採用すればよい。また、これに限らず、注目画素群２６２Ｅの図中正面視右上角の第２の画素Ｒ１と図中正面視右下角の第１の画素Ｌ１を注目位相差画素として採用してもよい。

図３７に示す注目画素群２６２Ｆは、注目画素群規定枠２６３Ｆによって規定されている。注目画素群規定枠２６３Ｆは、２×３の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第１の画素Ｌ１が位置し、図中正面視左下角の分割領域に第２の画素Ｒ１が位置し、残りの分割領域に通常画素Ｎ１が位置する。この場合、注目通常画素組として、例えば注目画素群２６２Ｆに含まれる第１の画素Ｌ１と行方向で隣接する一対の通常画素Ｎ１を採用すればよい。また、注目位相差画素として、例えば注目画素群２６２Ｆに含まれる第１の画素Ｌ１及び第２の画素Ｒ１を採用すればよい。

図３６及び図３７に示す構成によれば、行方向に隣接して配置された第１の画素Ｌ１及び第２の画素Ｒ１を注目位相差画素として採用する場合と比べ、より一層高い空間周波数の画像領域を特定することができる。

一例として図３８及び図３９に示す撮像素子２０Ｃは、第１の画素行２８０、第２の画素行２８２及び第３の画素行２８４を含む。第１の画素行２８０及び第２の画素行２８２は、列方向で隣接しており、列方向に複数行（図３８及び図３９に示す例では２行）の第３の画素行２８４を介在させて周期的に配置されている。第１の画素行２８０は、同一行内に第１の画素Ｌと第２の画素Ｒとが交互に配置されており、第１の画素Ｌと第２の画素Ｒとの間に複数の通常画素Ｎ（図３８及び図３９に示す例では２つの通常画素Ｎ）が配置されている。第２の画素行２８２は、同一行内に第１の画素Ｌと第２の画素Ｒとが第１の画素行２８０とは逆の並び方で交互に配置されており、第１の画素Ｌと第２の画素Ｒとの間に複数の通常画素Ｎ（図３８及び図３９に示す例では２つの通常画素Ｎ）が配置されている。また、第１の画素行２８０に含まれる第１の画素Ｌ及び第２の画素行２８２に含まれる第２の画素Ｒは行方向に１画素分ずれた位置に配置されている。また、第１の画素行２８０に含まれる第２の画素Ｒ及び第２の画素行２８２に含まれる第１の画素Ｌは行方向に１画素分ずれた位置に配置されている。第３の画素行２８４は、同一行内に複数の通常画素Ｎが隣接して配置されている。

撮像素子２０Ｃを用いる場合、上記第３実施形態に係る画像領域特定処理のステップ７００において、一例として図３８に示す注目画素群２６２Ｇ又は一例として図３９に示す注目画素群２６２Ｈが設定される。図３８に示す注目画素群２６２Ｇは、注目画素群規定枠２６３Ｇによって規定されている。注目画素群規定枠２６３Ｇは、２×５の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第１の画素行２８０の第１の画素Ｌ１が位置し、図中正面視右下角の分割領域に第２の画素行２８０の第１の画素Ｌ１が位置する。この場合、注目通常画素組として、例えば注目画素群２６２Ｇの図中正面視左上角の第１の画素Ｌ１とこの第１の画素Ｌ１と共に注目画素群２６２Ｇの同一行内に存在する第２の画素Ｒ１との間で隣接している一対の通常画素Ｎ１を採用すればよい。また、注目位相差画素として、例えば注目画素群２６２Ｇの図中正面視左上角の第１の画素Ｌ１とこの第１の画素Ｌ１に斜め方向で隣接する第２の画素Ｒ１（注目画素群２６２Ｇに含まれる第２の画素行２８２の第２の画素Ｒ１）を採用すればよい。また、これに限らず、注目画素群２６２Ｇの図中正面視右下角の第１の画素Ｌ１とこの第１の画素Ｌ１に斜め方向で隣接する第２の画素Ｒ１（注目画素群２６２Ｇに含まれる第１の画素行２８０の第２の画素Ｒ１）を位相差画素として採用してもよい。

図３９に示す注目画素群２６２Ｈは、注目画素群規定枠２６３Ｈによって規定されている。注目画素群規定枠２６３Ｈは、４×２の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第１の画素行２８０の第１の画素Ｌ１が位置する。この場合、注目通常画素組として、例えば注目画素群２６２Ｈに含まれる２行の第３の画素行２８４のうちの一方の行に含まれる一対の通常画素Ｎに対応する一対の通常画素Ｎ１を採用すればよい。また、注目位相差画素として、例えば注目画素群２６２Ｇの図中正面視左上角の第１の画素Ｌ１とこの画素に斜め方向で隣接する第２の画素Ｒ１（注目画素群２６２Ｈに含まれる第２の画素行２８２の第２の画素Ｒに対応する第２の画素Ｒ１）を採用すればよい。

図３８及び図３９に示す構成によれば、行方向に複数画素分だけ離れて配置された第１の画素Ｌ１及び第２の画素Ｒ１を注目位相差画素として採用する場合と比べ、高い空間周波数の画像領域を特定することができる。

なお、図３６に示す注目画素群２６２Ｅ及び図３８に示す注目画素群２６２Ｇの各々は、複数の第１の画素Ｌ１及び複数の第２の画素Ｒ１を有する。この場合、注目位相差画素として採用する第１の画素Ｌ１と第２の画素Ｒ１との組み合わせは如何なる組み合わせであってもよい。

［第４実施形態］
上記各実施形態では、撮像装置１００（１００Ａ，１００Ｂ）を例示したが、撮像装置１００（１００Ａ，１００Ｂ）の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、ＰＤＡ（Personal Digital Assistants）や携帯型ゲーム機などが挙げられる。本第３実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図４０は、スマートフォン５００の外観の一例を示す斜視図である。図４０に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。

図４１は、図４０に示すスマートフォン５００の構成の一例を示すブロック図である。図４０に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通信部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図４０に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通信部５３０は、スピーカ５３１やマイクロホン５３２を備える。通信部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通信部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図４１に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図４０に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。

外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示省略）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図１２に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図４０に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。

また、上記各実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。

例えば、図４２に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。

また、図４３に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。

また、図４４Ａ及び図４４Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃが市松模様（チェッカーパターン）状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃが市松模様状に並べられて表示される。

また、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。

また、上記各実施形態では、第１〜第３の画素群を有する撮像素子２０（２０Ａ）を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。

また、上記各実施形態では、第１〜第３の画像が画像処理部２８に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部３６が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図１３に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、ここで言う「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合が例示できる。

また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１が半押し状態にされた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１に対して押圧操作が行われていない場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部３６が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部３６は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。

また、上記各実施形態で説明した撮像装置１００（１００Ａ，１００Ｂ）は、被写界深度を確認する機能（被写界深度確認機能）を有していてもよい。この場合、例えば撮像装置１００は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ（非保持型スイッチ）を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置１００における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間（所定位置に押し込まれている間）、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをＣＰＵ１２が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ（保持型スイッチ）を適用してもよい。

また、上記各実施形態で説明した画像出力処理の流れ（図１６参照）及び画像領域特定処理（図１７、図１８、図３２及び図３５参照）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記各実施形態で説明した画像出力処理及び画像領域特定処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、その他のハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。

上記各実施形態で説明した画像出力処理及び画像領域特定処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えばメモリ２６）に予め記憶しておけばよい。なお、必ずしも最初からメモリ２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の「可搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。

１６ 撮影レンズ
２０，２０Ａ，２０Ｂ，２０Ｃ 撮像素子
２６ メモリ
２８Ａ 補正部
２８Ｂ 生成部
２８Ｃ 特定部
３６Ａ，３６Ｂ 表示制御部
１００，１００Ａ，１００Ｂ 撮像装置
２１３ 表示部
２４７ ＬＣＤ

上記目的を達成するために、本発明の第１６の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された画像信号に基づく第１の表示用画像と第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成し、第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び第１の画像信号と第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定し、画像を表示する表示部に対して、第１の表示用画像を表示させ、且つ、第１の表示用画像の表示領域内に第２の表示用画像を表示させ、且つ、第２の表示用画像のうち、特定した画像領域を、他の領域と区別可能に表示させる制御を行うことを含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

上記目的を達成するために、本発明の第１７の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された画像信号に基づく第１の表示用画像と第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成し、第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び第１の画像信号と第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定し、画像を表示する表示部に対して、第２の表示用画像を表示させ、且つ、第２の表示用画像のうち、特定した画像領域を、他の領域と区別可能に表示させる制御を行うことを含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

Claims (18)

1. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子と、
   前記撮像素子から出力された画像信号に基づく第１の表示用画像と前記第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成する生成部と、
   前記第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び前記第１の画像信号と前記第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定する特定部と、
   画像を表示する表示部と、
   前記表示部に対して、前記第１の表示用画像を表示させ、且つ、前記第１の表示用画像の表示領域内に前記第２の表示用画像を表示させ、且つ、前記第２の表示用画像のうち、前記特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行う表示制御部と、
   を含む画像処理装置。
2. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子と、
   前記撮像素子から出力された画像信号に基づく第１の表示用画像と前記第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成する生成部と、
   前記第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び前記第１の画像信号と前記第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定する特定部と、
   画像を表示する表示部と、
   前記表示部に対して、前記第２の表示用画像を表示させ、且つ、前記第２の表示用画像のうち、前記特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行う表示制御部と、
   を含む画像処理装置。
3. 前記撮像素子は、前記撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を更に有し、
   前記生成部は、前記第３の画像信号に基づいて前記第１の表示用画像を生成する請求項１又は請求項２に記載の画像処理装置。
4. 前記コントラストの大きさは、前記第３の画像信号に基づいて定まる請求項３に記載の画像処理装置。
5. 前記第１の画素群は、瞳分割方向と前記瞳分割方向に対する交差方向とに配置された複数の第１の画素を有し、
   前記第２の画素群は、前記瞳分割方向及び前記交差方向のうち少なくとも前記瞳分割方向で前記複数の第１の画素の各々と交互に各々配置された複数の第２の画素を有し、
   前記第３の画素群は、前記瞳分割方向及び前記交差方向のうち少なくとも前記瞳分割方向で前記第１の画素と前記第２の画素との間に配置された第３の画素を有し、
   前記コントラストの大きさは、前記第３の画素の信号レベルに基づいて定まる請求項４に記載の画像処理装置。
6. 前記コントラストの大きさは、前記第３の画素の前記交差方向の所定画素分の平均信号レベルに基づいて定まる請求項５に記載の画像処理装置。
7. 前記第１の画素群は、瞳分割方向と前記瞳分割方向に対する交差方向とに配置された複数の第１の画素を有し、
   前記第２の画素群は、前記瞳分割方向及び前記交差方向のうち少なくとも前記瞳分割方向で前記複数の第１の画素の各々と交互に各々配置された複数の第２の画素を有し、
   前記第３の画素群は、前記瞳分割方向及び前記交差方向のうち少なくとも前記瞳分割方向で前記第１の画素と前記第２の画素との間に配置された複数の第３の画素を有し、
   前記コントラストの大きさは、前記瞳分割方向で前記第１の画素と前記第２の画素との間に配置された前記複数の第３の画素の信号レベルの変化率に基づいて定まる請求項４に記載の画像処理装置。
8. 前記コントラストの大きさは、前記複数の第３の画素の各々における前記交差方向の所定画素分の平均信号レベルの変化率に基づいて定まる請求項７に記載の画像処理装置。
9. 前記コントラストの大きさは、前記第３の画像信号のうち、前記第３の画素群における信号レベルが非飽和状態の画素による第３の画像信号に基づいて定まる請求項４から請求項８の何れか１項に記載の画像処理装置。
10. 前記第１の画素群は、瞳分割方向と前記瞳分割方向に対する交差方向とに配置された複数の第１の画素を有し、
    前記第２の画素群は、前記瞳分割方向及び前記交差方向のうち少なくとも前記瞳分割方向で前記複数の第１の画素の各々と交互に隣接して各々配置された複数の第２の画素を有する請求項１から請求項４の何れか１項に記載の画像処理装置。
11. 前記第１の画素群における瞳分割方向の画素の前記第１の領域を介して入射される光及び前記第２の画素群における瞳分割方向の画素の前記第２の領域を介して入射される光に基づく減光特性に応じた補正係数を求め、求めた補正係数に基づいて前記第１及び前記第２の画像信号を補正する補正部を更に含み、
    前記第２条件は、前記補正部により各々補正された前記第１の画像信号と前記第２の画像信号との一致度が前記第２所定値以上であるとの条件である請求項１から請求項１０の何れか１項に記載の画像処理装置。
12. 前記特定部は、前記第１及び第２の画像信号の各々により特定される前記瞳分割方向で信号レベルが極大値を持つ画素間の距離に基づいて、前記第２条件を満足する前記画像領域を特定する請求項１から請求項１１の何れか１項に記載の画像処理装置。
13. 前記特定部は、前記第１及び第２の画像信号の各々の微分値に基づいて前記距離を推定し、推定した前記距離に基づいて、前記第２条件を満足する前記画像領域を特定する請求項１２に記載の画像処理装置。
14. 前記第１所定値及び前記第２所定値の少なくとも一方は、絞り値に基づいて定まる請求項１から請求項１３の何れか１項に記載の画像処理装置。
15. 請求項１から請求項１４の何れか１項に記載の画像処理装置と、
    前記第１及び第２の画素群を有する撮像素子と、
    前記撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、
    を含む撮像装置。
16. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された画像信号に基づく第１の表示用画像と前記第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成し、
    前記第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び前記第１の画像信号と前記第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定し、
    画像を表示する表示部に対して、前記第１の表示用画像を表示させ、且つ、前記第１の表示用画像の表示領域内に前記第２の表示用画像を表示させ、且つ、前記第２の表示用画像のうち、前記特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行う
    ことを含む画像処理方法。
17. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された画像信号に基づく第１の表示用画像と前記第１及び第２の画像信号に基づく合焦確認に使用する第２の表示用画像とを生成し、
    前記第２の表示用画像のうち、コントラストの大きさが第１所定値以上であるとの第１条件、及び前記第１の画像信号と前記第２の画像信号との一致度が第２所定値以上であるとの第２条件の双方の条件を満足する画像領域を特定し、
    画像を表示する表示部に対して、前記第２の表示用画像を表示させ、且つ、前記第２の表示用画像のうち、前記特定部により特定された画像領域を、他の領域と区別可能に表示させる制御を行う
    ことを含む画像処理方法。
18. コンピュータを、
    請求項１から請求項１４の何れか１項に記載の画像処理装置における前記生成部、前記特定部及び前記表示制御部として機能させるための画像処理プログラム。