JP6158340B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため、位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時にユーザ（例えば撮影者）が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。ユーザは、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリング（以下、「フォーカスリング」という）を操作してピントを合わせる。

ここで、特許文献１に記載の撮像装置を参照して、スプリットイメージの原理を説明する。特許文献１に記載の撮像装置は、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる所謂右眼画像及び左眼画像を生成する。そして、右眼画像及び左眼画像を用いてスプリットイメージを生成し、かつ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる通常画像を生成する。そして、表示部に通常画像を表示し、且つ、通常画像内にスプリットイメージを表示する。

ところで、右眼画像の生成には、撮影レンズの射出瞳を通過した右領域通過光を受光する位相差画素から出力された画像信号が用いられる。また、左眼画像の生成には、撮影レンズの射出瞳を通過した左領域通過光を受光する位相差画素から出力された画像信号が用いられる。特許文献２には、全画素を複数の光電変換領域を備えた位相差画素として、各光電変換領域から独立して画像信号を読み出し、また、各光電変換領域の画像信号を加算して読み出す撮像装置が記載されている。

特開２００９−１４７６６５号公報 特開２０１３−１１０６０７号公報

しかしながら特許文献２に記載の技術では、全画素を複数の光電変換領域を備えた位相差画素として、各光電変換領域から独立して画像信号を読み出すため、撮像素子、特に画素の構造が複雑化する懸念がある。

本発明は、このような実情を鑑みて提案されたものであり、全画素が位相差画素であっても、スプリットイメージを簡易な構成で確保することができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様に係る画像処理装置は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する二次元状に配列された複数の画素のうち、第１画素群として行単位で選択した画素から第１画像信号を読み出し、複数の画素のうち第２画素群として行単位で選択した画素から第２画像信号を読み出し、複数の画素のうち第３画素群として行単位で選択した画素から第３画像信号を読み出す制御部を含む。

本発明の第２の態様に係る画像処理装置では、本発明の第１の態様において、第１画像信号に基づく第１画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第１分割画像と、第２画像信号に基づく第２画像を分割方向に分割することにより得た複数の分割画像から第１分割画像に対応する分割領域と隣接する分割領域に対応する第２分割画像とを分割方向に隣接させて配置した合焦確認に使用する第１表示用画像を生成する生成部を更に含む。

本発明の第３の態様に係る画像処理装置では、本発明の第２の態様において、生成部は、第３画像信号に基づいて、撮像範囲の確認に使用する第２表示用画像を更に生成する。

本発明の第４の態様に係る画像処理装置では、本発明の第１の態様から第３の態様のいずれかにおいて、複数の画素には、三原色のカラーフィルタがベイヤ配列されており、制御部は、３ｎ−２（ｎ＝１以上の自然数）行目の画素、３ｎ−１行目の画素、及び３ｎ行目の画素、のいずれかをそれぞれ第１、第２、及び第３画素群として選択する。

本発明の第５の態様に係る画像処理装置では、本発明の第４の態様において、制御部は、３ｎ−２（ｎ＝１以上の自然数）行目の画素を第１及び第２画素群のいずれか一方として選択し、３ｎ−１行目の画素を第３画素群として選択し、３ｎ行目の画素を第１及び第２画素群の他方として選択する。

本発明の第６の態様に係る画像処理装置では、本発明の第１の態様から第５の態様のいずれかにおいて、制御部は、さらに、３ｍ−２（ｍ＝１以上の自然数）列目の画素を第１、第２、及び第３画素群として選択する。

本発明の第７の態様に係る画像処理装置では、本発明の第１の態様から第５の態様のいずれかにおいて、制御部は、３ｍ−２（ｍ＝１以上の自然数）及び３ｍ列目の同一行の画素を１画素単位とした画素単位で第１、第２、及び第３画素群として選択する。

本発明の第８の態様に係る画像処理装置では、本発明の第１の態様から第７の態様のいずれかにおいて、制御部は、第１及び第２画素群の画素の露光時間を第３画素群の画素の露光時間よりも長くする。

本発明の第９の態様に係る画像処理装置では、本発明の第１の態様から第８の態様のいずれかにおいて、制御部は、第１及び第２画素群の画素の露光時間を第３画素群の画素の露光時間の倍にする。

本発明の第１０の態様に係る画像処理装置では、本発明の第１の態様から第９の態様のいずれかにおいて、制御部は、ｋ（ｋ＝１以上の自然数）フレーム目で第１画素群として選択した画素をｋ＋１フレーム目では、第２画素群として選択し、ｋフレーム目で第２画素群として選択した画素をｋ＋１フレーム目では、第１画素群として選択し、ｋフレーム目で第３画素群として選択した画素をｋ＋１フレーム目では、第３画素群として選択する。

本発明の第１１の態様に係る画像処理装置では、本発明の第１０の態様において、制御部は、第１及び第２画素群がｋフレームからｋ＋１フレームにわたって露光されるように制御する。

本発明の第１２の態様に係る画像処理装置では、本発明の第１の態様から第１１の態様のいずれかにおいて、第３画素群の画素の画素値と画素に隣接する第１画素群の画素の画素値とを比較した比較結果に基づいて第１画像信号に基づく第１画像に対する減光特性を補正し、第３画素群の画素の画素値と画素に隣接する第２画素群の画素の画素値とを比較した比較結果に基づいて第２画像信号に基づく第２画像に対する減光特性を補正する補正部を更に含む。

本発明の第１３の態様に係る撮像装置は、本発明の第１の態様から第１２の態様の何れか１態様である画像処理装置と、複数の画素を有する撮像素子と、撮像素子から出力された信号に基づいて生成された画像を記憶する記憶部と、を含む。

本発明の第１４の態様に係る画像処理方法は、制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する二次元状に配列された複数の画素のうち、第１画素群として行単位で選択した画素から第１画像信号を読み出し、複数の画素のうち第２画素群として行単位で選択した画素から第２画像信号を読み出し、複数の画素のうち第３画素群として行単位で選択した画素から第３画像信号を読み出すことを含む。

本発明の第１５の態様に係る画像処理プログラムは、制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する二次元状に配列された複数の画素のうち、第１画素群として行単位で選択した画素から第１画像信号を読み出し、複数の画素のうち第２画素群として行単位で選択した画素から第２画像信号を読み出し、複数の画素のうち第３画素群として行単位で選択した画素から第３画像信号を読み出すことを含む処理をコンピュータに実行させるためのものである。

本発明によれば、全画素が位相差画素であっても、スプリットイメージを簡易な構成で確保することができる、という効果が得られる。

第１〜第６実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１〜第６実施形態に係る撮像装置の背面側を示す背面図である。 第１〜第６実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１〜第６実施形態に係る撮像素子の構成の一例を示す概略図である。 第１〜第６実施形態に係る画素アレイにおける画素の配列の一例を示す概略図である。 第１〜第６実施形態に係る１つの画素の構成の一例を示した概略図である。 第１〜第６実施形態に係る撮像装置に含まれる撮像素子における画素の構成の一例を示す模式図である。 第１〜第６実施形態に係る１つの画素の電気的構成の一例を示した概略図である。 第１〜第６実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの構成の一例を示す概略構成図である。 第１〜第６実施形態に係る撮像装置の要部機能の一例を示すブロック図である。 第１〜第６実施形態に係る撮像装置に含まれる画像処理部によって生成されるスプリットイメージの生成方法の説明に供する模式図である。 第１〜第６実施形態に係る撮像装置に含まれる第１ディスプレイに表示されたスプリットイメージ及び通常画像を含むライブビュー画像の一例を示す画面図である。 第１実施形態に係る画像処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる撮像素子における位相差画素及び通常画素として機能させる画素の配置、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第１実施形態に係る撮像装置に含まれる撮像素子における第１の画素群として選択された画素、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第１実施形態に係る撮像装置に含まれる撮像素子における第２の画素群として選択された画素、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第１実施形態に係る撮像装置に含まれる撮像素子における第３の画素群として選択された画素、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第２実施形態に係る撮像装置に含まれる撮像素子における位相差画素及び通常画素として機能させる画素の配置、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第３実施形態に係る撮像装置に含まれる撮像素子における位相差画素及び通常画素として機能させる画素の配置、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第４実施形態に係る撮像装置の撮像素子における画素の露光時間の一例を示すタイムチャートである。 第４実施形態に係る撮像装置の撮像素子における画素の露光時間のその他の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子における３ｎ−２行目の画素行について抽出した露光時間の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子におけ３ｎ−１行目の画素行について抽出した露光時間の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子におけ３ｎ行目の画素行について抽出した露光時間の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 左領域通過光及び右領域通過光による減光特性の原理（フォトダイオードＰＤＬ，ＰＤＲの各々に入射する光束の経路の一例）の説明に供する説明図である。 瞳分割方向の線形的な減光特性が左眼画像及び右眼画像の各々における瞳分割方向に相当する方向の各画素の出力に与える影響の一例を示すグラフである。 第６実施形態に係る撮像装置の本発明に係る要部機能の一例を示すブロック図である。 第６実施形態に係る画像処理の流れの一例を示すフローチャートである。 第６実施形態に係る画像処理における補正処理の流れの一例を示すフローチャートである。 補正前後の表示用左眼画像及び表示用右眼画像が受ける減光特性の影響の一例を示す概念図である。 第７実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第７実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。 第１〜第７実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。 第１〜第７実施形態に係るスプリットイメージの変形例であって、行方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である 第１〜第７実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。 第１〜第７実施形態に係るスプリットイメージの変形例であって、チェッカーパターン状に形成されたスプリットイメージの一例を示す模式図である。

以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。

［第１実施形態］
図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。

撮像装置１００は、レンズ交換式カメラである。撮像装置１００は、撮像装置本体２００と、撮像装置本体２００に交換可能に装着される交換レンズ３００と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ３００は、手動操作により光軸方向に移動可能なフォーカスレンズ３０２を有する撮影レンズ１６（図３参照）を含む。また、撮像装置本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。

交換レンズ３００は、撮像装置本体２００に対して交換可能に装着される。また、交換レンズ３００の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング３０１が設けられている。フォーカスリング３０１の手動による回転操作に伴ってフォーカスレンズ３０２は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

撮像装置本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、撮像装置本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、撮像装置本体２００の上面には、主としてレリーズボタン２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。

撮影準備指示部及び撮影指示部としてのレリーズボタン２１１は、撮影準備指示状態と撮影指示状態との２段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本第１実施形態に係る撮像装置１００では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２１１を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光（撮影）が行われる。つまり、レリーズボタン２１１を半押し状態にすることによりＡＥ（Automatic Exposure）機能が働いて露出状態が設定された後、ＡＦ（Auto-Focus）機能が働いて合焦制御され、レリーズボタン２１１を全押し状態にすると撮影が行われる。

図２に示す撮像装置本体２００の背面には、タッチパネル・ディスプレイ２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５、及びＯＶＦのファインダー接眼部２４２が設けられている。

タッチパネル・ディスプレイ２１３は、液晶ディスプレイ（以下、「第１ディスプレイ」という）２１５及びタッチパネル２１６を備えている。

第１ディスプレイ２１５は、画像及び文字情報等を表示する。第１ディスプレイ２１５は、撮影モード時に連続フレームで撮影されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ２１５は、静止画撮影の指示が与えられた場合に単一フレームで撮影されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ２１５は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。

タッチパネル２１６は、透過型のタッチパネルであり、第１ディスプレイ２１５の表示領域の表面に重ねられている。タッチパネル２１６は、指示体（例えば、指又はスタイラスペン）による接触を検知する。タッチパネル２１６は、検知結果（タッチパネル２１６に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で所定の出力先（例えば、後述のＣＰＵ１２（図３参照））に出力する。検知結果情報は、タッチパネル２１６が指示体による接触を検知した場合、タッチパネル２１６上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル２１６が指示体による接触を検知していない場合、座標を含まない。

十字キー２２２は、１つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、第１ディスプレイ２１５の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。

図３は、第１実施形態に係る撮像装置１００のハードウェア構成の一例を示す電気系ブロック図である。

撮像装置１００は、撮像装置本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６と、を含む。交換レンズ３００は、マウント２５６にマウント３４６が結合されることにより撮像装置本体２００に交換可能に装着される。

交換レンズ３００は、スライド機構３０３及びモータ３０４を含む。スライド機構３０３は、フォーカスリング３０１の操作が行われることでフォーカスレンズ３０２を光軸Ｌ１に沿って移動させる。スライド機構３０３には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ３０２が取り付けられている。また、スライド機構３０３にはモータ３０４が接続されており、スライド機構３０３は、モータ３０４の動力を受けてフォーカスレンズ３０２を光軸Ｌ１に沿ってスライドさせる。

モータ３０４は、マウント２５６，３４６を介して撮像装置本体２００に接続されており、撮像装置本体２００からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ３０４の一例として、ステッピングモータを適用している。従って、モータ３０４は、撮像装置本体２００からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ３０４が交換レンズ３００に設けられている例が示されているが、これに限らず、モータ３０４は撮像装置本体２００に設けられていてもよい。

撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって制御されている。撮像装置１００は、操作部１４、インタフェース部２４、一次記憶部２５、二次記憶部２６、スピーカ３５、接眼検出部３７、及び外部インタフェース（Ｉ／Ｆ）３９を含む。また、撮像装置１００は、本発明に係る生成部の一例である画像処理部２８を含む。

ＣＰＵ１２、操作部１４、インタフェース部２４、一次記憶部２５、二次記憶部２６、画像処理部２８、スピーカ３５、表示制御部３６、接眼検出部３７、外部Ｉ／Ｆ３９、及びタッチパネル２１６は、バス４０を介して相互に接続されている。

一次記憶部２５とは、揮発性のメモリを意味し、例えばＲＡＭ（Random Access Memory）を指す。二次記憶部２６とは、不揮発性のメモリを意味し、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）を指す。

なお、本第１実施形態に係る撮像装置１００では、オートフォーカスモード時に、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ３０４を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズボタン２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

操作部１４は、撮像装置１００に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部１４は、レリーズボタン２１１、撮影モード等を選択するダイヤル２１２、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。

撮像装置本体２００は、位置検出部２３を含む。位置検出部２３は、ＣＰＵ１２に接続されている。位置検出部２３は、マウント２５６，３４６を介してフォーカスリング３０１に接続されており、フォーカスリング３０１の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ１２に出力する。ＣＰＵ１２は、位置検出部２３から入力された回転角度情報に応じた処理を実行する。

撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ３０２を含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２の制御に基づいて信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、デバイス制御部２２の制御に基づいたタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。

本第１実施形態に係る撮像素子２０について更に詳細に説明する。図４は、本第１実施形態に係る撮像素子２０の構成の一例を示す概略図である。本第１実施形態の撮像素子２０は、一例として図４に示すように、制御部５０と、画素アレイ５２と、走査回路５４と、信号処理部５６と、を備えている。また、撮像素子２０は、マイクロレンズ１９（図６参照）及びカラーフィルタ２１（図９参照）を備えている。

図５は、本第１実施形態に係る画素アレイ５２における画素１０の配列の一例を示す概略図である。図５に示した一例のように、画素アレイ５２は、画素１０が二次元状に配列されている。なお、図５に示す例では、撮像素子２０の画素数の一例として“４８９６×３２６５”画素を採用している。

画素アレイ５２を構成する画素１０について詳細に説明する。図６は、１つの画素１０の構成の一例を示した概略図である。図６に示すように、画素１０は、フォトセンサの一例であるフォトダイオードＰＤＲ及びフォトダイオードＰＤＬを備えている。また、画素１０には、マイクロレンズ１９が設けられており、マイクロレンズ１９を透過した光は、
フォトダイオードＰＤＬ，ＰＤＲにより光電変換される。フォトダイオードＰＤＬは、図７に一例として示すように、受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））に設けられている。また、フォトダイオードＰＤＬは、図７に一例として示すように、受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））に設けられている。

撮影レンズ１６の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの右半分の光束を指す。撮影レンズ１６の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９により左右に分割され、フォトダイオードＰＤＬが左領域通過光を受光し、フォトダイオードＰＤＲが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像（後述する左眼画像及び右眼画像）として取得される。

また、図８は、１つの画素１０の電気的構成の一例を示した概略図である。図８に一例として示したように、画素１０は、読み出し電極７０Ｌ，７０Ｒ、フローティングディフュージョン（ＦＤ）７２、及び読み出しスイッチ７４を備える。

読み出し電極７０Ｌは、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに接続されており、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌを流れる左選択信号に基づいて、フォトダイオードＰＤＬで発生した信号電荷を収集して読み出すゲート電極として機能を有する。

また、読み出し電極７０Ｒは、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに接続されており、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒを流れる右選択信号に基づいて、フォトダイオードＰＤＲで発生した信号電荷を収集して読み出すゲート電極として機能を有する。

ＦＤ７２には、読み出し電極７０Ｌ，７０Ｒにより読み出された信号電荷が転送され、転送された信号電荷を一時的に蓄積する機能を有する。読み出しスイッチ７４は、読み出し行選択線Ｒｅａｄに接続されており、読み出し行選択線Ｒｅａｄを流れる読み出し信号に基づいて、オン／オフが制御される。また、読み出しスイッチ７４は、ＦＤ７２に接続されており、オン状態になると、ＦＤ７２に蓄積された信号電荷を読み出して当該信号電荷に応じたデジタル信号である電気信号（画像信号）を、読み出し信号線５８に出力する。読み出し電極７０Ｌ、７０Ｒ、ＦＤ７２、及び読み出しスイッチ７４が本発明の出力部として機能する。

また、ＦＤ７２は、リセット行選択線Ｒｅｓｅｔに接続されており、リセット行選択線Ｒｅｓｅｔを流れるリセット信号に基づいて、ＦＤ７２に残存する信号電荷が排出（リセット）される。本第１実施形態では、ＦＤ７２の信号電荷のリセット先の一例として、グランドや、所定の排出先（例えば、所定の信号線等）等が挙げられる。

左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、リセット行選択線Ｒｅｓｅｔ、及び読み出し行選択線Ｒｅａｄは、画素アレイ５２の画素１０の行毎に行方向に沿って設けられている。本第１実施形態では、図４に示したように走査回路５４が、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、リセット行選択線Ｒｅｓｅｔ、及び読み出し行選択線Ｒｅａｄを介して各画素
１０に接続されている。走査回路５４は、制御部５０の制御に応じたレベルの、左選択信号、右選択信号、読み出し信号、及びリセット信号をそれぞれ左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、リセット行選択線Ｒｅｓｅｔ、及び読み出し行選択線Ｒｅａｄに印加することにより、画素１０からの電気信号の読み出しを制御する。

一方、読み出し信号線５８は、画素アレイ５２の画素１０の列毎に列方向に沿って設けられている。本第１実施形態では、図５に示したように、信号処理部５６が読み出し信号線５８を介して各画素１０に接続されている。読み出し信号線５８を介して各画素１０から信号処理部５６に出力された電気信号は、フレーム毎に、インタフェース部２４を介して一次記憶部２５に一時記憶（上書き保存）される。

制御部５０は、デバイス制御部２２の制御に基づいて撮像素子２０全体を制御する機能を有している。すなわち、制御部５０は、走査回路５４及び信号処理部５６を制御することにより、画素１０からの信号電荷の読み出しを制御する機能を有している。デバイス制御部２２及び制御部５０が、本発明の制御部として機能する。

本第１実施形態の撮像素子２０において、画素１０から信号電荷を読み出す方法は、以下に説明する３通りの読み出し方法が挙げられる。

第１の読み出し方法は、フォトダイオードＰＤＬで発生した信号電荷を読み出す方法である。左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌにオンに対応するレベルの左選択信号を印加し、また、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒにオフに対応するレベルの右選択信号を印加して、読み出し電極７０Ｌから信号電荷をＦＤ７２へ転送する。また、読み出し行選択線Ｒｅａｄにオン信号である読み出し信号を印加して、読み出しスイッチ７４をオン状態にしてＦＤ７２から読み出し信号線５８へ電気信号を出力する。このようにしてフォトダイオードＰＤＬで発生した信号電荷に応じた電気信号が読み出し信号線５８に出力される。以下ではフォトダイオードＰＤＬで発生した信号電荷に応じて出力された電気信号に基づくＲＡＷ画像を「左眼画像」と称する。なお、本第１実施形態の撮像素子２０ではこのように読み出す際は、フォトダイオードＰＤＲで発生した信号電荷は、読み出し信号線５８に出力されず、リセット行選択線Ｒｅｓｅｔを流れるリセット信号に応じた所定のタイミングで、ＦＤ７２を介してリセットされる。従って、第１の読み出し方法によれば、画素１０は、左眼画像を生成するための位相差画素（以下、「左位相差画素」という）として機能する。

なお、以下では、左選択信号、右選択信号、読み出し信号、及びリセット信号のオンに対応するレベルの信号を「オン信号」と称する。また、左選択信号、右選択信号、読み出し信号、及びリセット信号のオフに対応するレベルの信号を「オフ信号」と称する。

第２の読み出し方法は、フォトダイオードＰＤＲで発生した信号電荷を読み出す方法である。右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒにオン信号を印加し、また、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌにオフ信号を印加して、読み出し電極７０Ｒから信号電荷をＦＤ７２へ転送する。また、読み出し行選択線Ｒｅａｄにオン信号を印加して、読み出しスイッチ７４をオン状態にしてＦＤ７２から読み出し信号線５８へ電気信号を出力する。このようにしてフォトダイオードＰＤＲで発生した信号電荷に応じた電気信号が読み出し信号線５８に出力される。以下ではフォトダイオードＰＤＲで発生した信号電荷に応じて出力された電気信号に基づくＲＡＷ画像を「右眼画像」と称する。なお、本第１実施形態の撮像素子２０ではこのように読み出す際は、フォトダイオードＰＤＬで発生した信号電荷は、読み出し信号線５８に出力されず、リセット行選択線Ｒｅｓｅｔを流れるリセット信号に応じた所定のタイミングで、ＦＤ７２を介してリセットされる。従って、第２の読み出し方法によれば、画素１０は、右眼画像を生成するための位相差画素（以下、「右位相差画素」という）として機能する。フォトダイオードＰＤＬ及びＰＤＲの各々で発生した信号電荷に応じた電気信号は、本発明に係る第１画像信号及び第２画像信号の一例である。

第３の読み出し方法は、フォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷を読み出す方法である。左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒにオン信号を印加して、読み出し電極７０Ｌ，７０Ｒ各々から信号電荷をＦＤ７２へ転送する。ＦＤ７２には、読み出し電極７０Ｌ，７０Ｒから転送された信号電荷が加算された状態で蓄積される。また、読み出し行選択線Ｒｅａｄにオン信号を印加して、読み出しスイッチ７４をオン状態にしてＦＤ７２から読み出し信号線５８へ電気信号を出力する。このようにしてフォトダイオードＰＤＬ，ＰＤＲの各々で発生した信号電荷が加算された信号電荷に応じた電気信号が読み出し信号線５８に出力される。以下ではフォトダイオードＰＤＬ，ＰＤＲの各々で発生した信号電荷が加算された信号電荷に応じて出力された電気信号に基づくＲＡＷ画像を「通常画像」と称する。従って、第３の読み出し方法によれば、画素１０は、位相差画素以外の画素（以下、「通常画素」という）として機能する。フォトダイオードＰＤＬ，ＰＤＲの各々で発生した信号電荷が加算された信号電荷に応じて出力された電気信号は、本発明に係る第３画像信号の一例である。

なお、以下では、同一の撮影タイミングで得られた左眼画像、右眼画像、及び通常画像を区別して説明する必要がない場合、「フレーム」と称する。また、右位相差画素と左位相差画素とを区別して説明する必要がない場合は「位相差画素」と称する。同様に、以下では、左眼画像及び右眼画像を区別して説明する必要がない場合、「位相差画像」と称する。

撮像素子２０は、一例として図９に示すカラーフィルタ２１を備えている。カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタＧ、Ｒ（赤）に対応するＲフィルタＲ及びＢ（青）に対応するＢフィルタを含む。撮像素子２０の各画素１０には、カラーフィルタ２１に含まれる“Ｒ”、“Ｇ”及び“Ｂ”の何れかのフィルタが割り当てられている。

カラーフィルタ２１は、図５に示した画素アレイ５２の各画素１０に対してＧフィルタ、Ｒフィルタ及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に所定の周期性で配置されている。具体的には、カラーフィルタ２１は、ＧフィルタがＲフィルタやＢフィルタの２倍使われているベイヤ配列と呼ばれる色と配置になっている。そのため、撮像装置１００は、Ｒ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

図３に戻って、撮像素子２０は、左位相差画素から左眼画像（画素値を示すデジタル信号）を出力し、右位相差画素から右眼画像（画素値を示すデジタル信号）を出力する。また、撮像素子２０は、通常画素から通常画像（画素値を示すデジタル信号）を出力する。なお、通常画素から出力される通常画像は有彩色画像であり、例えば、通常画素の配列と同じカラー配列のカラー画像である。撮像素子２０から出力されたフレームは、インタフェース部２４を介して一次記憶部２５のＲＡＷ画像記憶領域（図示省略）に一時記憶（上書き保存）される。

画像処理部２８は、一次記憶部２５に記憶されているフレームに対して各種の画像処理を施す。画像処理部２８は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であってもよい。

エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示する液晶ディスプレイ（以下、「第２ディスプレイ」という）２４７を有する。

表示制御部３６は、第１ディスプレイ２１５及び第２ディスプレイ２４７に接続されている。表示制御部３６は、ＣＰＵ１２からの指示に従って、第１ディスプレイ２１５及び第２ディスプレイ２４７を選択的に制御することで第１ディスプレイ２１５及び第２ディスプレイ２４７に対して画像を選択的に表示させる。なお、以下では、第１ディスプレイ２１５及び第２ディスプレイ２４７を区別して説明する必要がない場合は「表示装置」と称する。

なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ３０２のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してモータ３０４を制御し、フォーカスレンズ３０２を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。

接眼検出部３７は、ユーザ（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。

外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。

図１０は、第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図３に示すブロック図と共通する部分には同一の符号が付されている。

通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、一次記憶部２５に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。

通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、ライブビュー画像を表示させる場合、通常画素として機能する画素１０を、位相差画素として機能する画素１０のうちの同色の周辺画素（例えば隣接するＧ画素）により補間することで、有彩色の通常画像を生成する。

また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４１に記録される。また、通常処理部３０により処理された表示用の通常画像は、表示制御部３６に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。表示用の通常画像は、本発明に係る第２表示用画像の一例である。

一方、スプリットイメージ処理部３２は、一次記憶部２５に一旦記憶されたＲＡＷ画像から位相差画素として機能する画素１０の位相差画像を抽出し、有彩色のスプリットイメージを生成する。

スプリットイメージは、一例として図１１に示すように、表示用左眼画像と表示用右眼画像とを所定方向（ここでは一例として視差発生方向と直交する方向）に隣接させて配置した画像である。表示用左眼画像とは、左眼画像を所定方向に４分割して得た４つの分割画像のうちの一部の分割画像（図１１に示す例では、正面視上から１番目及び３番目の分割画像）を指す。表示用右眼画像とは、右眼画像を所定方向に４分割して得た４つの分割画像から表示用左眼画像に対応する分割領域と隣接する分割領域について抽出した分割画像（図１１に示す例では、正面視上から２番目及び４番目の分割画像）を指す。スプリットイメージは、本発明に係る第１表示用画像の一例である。

一例として図１２に示すように、スプリットイメージは、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。図１２に示す例では、表示用右眼画像と表示用左眼画像とが所定方向に交互に２つずつ配置されたスプリットイメージが示されている。スプリットイメージに含まれる表示用左眼画像及び表示用右眼画像は、合焦状態に応じて視差発生方向にずれる。また、図１１に示す例では、人物の周辺領域（例えば、木）に対してピントが合っていて人物に対してピントがあっていない状態が示されている。なお、以下では、説明の便宜上、表示用左眼画像及び表示用右眼画像を区別して説明する必要がない場合、「表示用視差画像」と称する。

なお、本第１実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。

一例として図１０に示すように、ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、第２ディスプレイ２４７、プリズム２４５及び接眼レンズ２４６を有する。

また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。

プリズム２４５は、第２ディスプレイ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導き、かつ、光学像と第２ディスプレイ２４７に表示される情報（電子像、各種の情報）とを合成する。

ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２ディスプレイ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。

また、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部から第２ディスプレイ２４７に表示される電子像のみが視認できるようにする。なお、第２ディスプレイ２４７には、第１ディスプレイ２１５に出力されるスプリットイメージが合成された画像データと同等の画像データが入力される。これにより、第２ディスプレイ２４７は、第１ディスプレイ２１５と同様に通常画像の一部にスプリットイメージが合成された電子像を表示することができる。

次に、本第１実施形態に係る撮像装置１００の作用について説明する。図１３を参照して、撮像装置１００で実行される画像処理について説明する。なお、図１３に示す画像処理は、撮像素子２０の各画素から信号電荷（電気信号）を読み出す信号読出処理と、読み出された電気信号に基づいて通常画像及びスプリットイメージを生成する画像生成処理とを含む。図１３に示す画像処理は、マニュアルフォーカスモード時に行われ、信号読出処理は、デバイス制御部２２及びデバイス制御部２２の制御に基づいて制御部５０によって行われる。画像生成処理は、画像処理部２８によって行われる。

図１３に示す画像処理では、まず、ステップ４００で、デバイス制御部２２は、ライブビュー画像を表示するか否か判定する。本第１実施形態では、一例としてフォーカス調節後の撮影処理、及びユーザによりライブビュー画像の非表示の指示または設定が成されている場合は、否定されてステップ４０２へ移行する。

ステップ４０２では、全画素１０を通常画素として画像信号を読み出す。本ステップにおいてデバイス制御部２２は、全画素１０を通常画素として画像信号を読み出すための制御信号を制御部５０に出力する。制御部５０は、全画素１０の読み出し電極７０Ｌ，７０Ｒをオンにするよう左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、走査回路５４を介して順次、左選択信号、及び右選択信号を出力する。また、制御部５０は、全画素１０の読み出しスイッチ７４をオン状態にするよう読み出し行選択線Ｒｅａｄに、走査回路５４を介して順次、読み出し信号を出力する。当該左選択信号、右選択信号、及び読み出し信号により、画素行毎に順次、各画素１０のフォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷がＦＤ７２に転送され、ＦＤ７２から読み出し信号線５８に出力される。

次のステップ４０４では、画像処理部２８は、通常処理部３０により読み出した信号電荷に基づいて通常画像を生成して表示制御部３６及びエンコーダ３４のうち予め定められた少なくとも一方に出力した後、本画像処理を終了する。

一方、ステップ４００で、ライブビュー画像の表示の指示または設定が成されている場合は、肯定されてステップ４０６へ移行する。また、デバイス制御部２２は、ライブビュー画像の表示に用いる、スプリットイメージ及び通常画像を生成するための画像信号を読み出すための制御信号を制御部５０に出力する。

ステップ４０６では、制御部５０は、３ｎ−２（ｎは１以上の自然数）行目の画素１０による第１の画素群のフォトダイオードＰＤＬで発生した信号電荷に応じた電気信号（画像信号）を読み出す。また、制御部５０は、３ｎ行目の画素１０による第２の画素群のフォトダイオードＰＤＲで発生した信号電荷に応じた電気信号（画像信号）を読み出す。また、制御部５０は、３ｎ−１行目の画素１０による第３の画素群のフォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷に応じた電気信号（画像信号）を読み出す。

本第１実施形態の撮像素子２０では、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、読み出し行選択線Ｒｅａｄ、及びリセット行選択線Ｒｅｓｅｔが画素１０の行毎に設けられているため、制御部５０は、画素行単位で第１の画素群、第２の画素群、及び第３の画素群のいずれかを選択する。

本第１実施形態では、制御部５０は、一例として左位相差画素として機能させる画素１０を第１の画素群として選択する。図１４には、本第１実施形態に係る撮像装置１００に含まれる撮像素子２０における位相差画素及び通常画素として機能させる画素１０の配置、及び各画素１０に割り当てられたカラーフィルタの配置例を示す模式図を示す。本第１実施形態では、一例として、図１４に示すように３ｎ−２（１，４，７，１０・・・）行目の画素１０を第１の画素群として選択する。なお、図１４、及び以下の説明に用いられる図１５〜１７では、説明の便宜上、各画素１０のフォトダイオードＰＤＬ，ＰＤＲに各画素１０に対応するカラーフィルタ２１の色を表すハッチングを施して図示している。また、左位相差画素として機能する画素１０は、フォトダイオードＰＤＬのみにカラーフィルタ２１の色を表すハッチングを施し、右位相差画素として機能する画素１０は、フォトダイオードＰＤＲのみにカラーフィルタ２１の色を表すハッチングを施して図示している。

具体的に制御部５０は、３ｎ−２（１，４，７，１０・・・）行目の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに走査回路５４を介して順次、オン信号を出力してフォトダイオードＰＤＬで発生した信号電荷を読み出し電極７０ＬからＦＤ７２に転送する。この際、制御部５０は、３ｎ−２行目の右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに走査回路５４を介して順次、オフ信号を出力するため、フォトダイオードＰＤＲで発生した信号電荷は読み出されない。また、制御部５０は、３ｎ−２行目の読み出し行選択線Ｒｅａｄに走査回路５４を介して順次、オン信号を出力して読み出しスイッチ７４をオン状態にするため、ＦＤ７２から読み出された信号電荷に応じた電気信号が読み出し信号線５８に出力される。図１５は、制御部５０により第１の画素群として選択された画素１０を抽出して図示している。図１５に示すように第１の画素群として選択された画素１０に対応するカラーフィルタは、カラーフィルタ２１と同様に、ベイヤ配列となっている。

また、制御部５０は、右位相差画素として機能させる画素１０を第２の画素群として選択する。本第１実施形態では、一例として、図１４に示すように３ｎ（３，６，９，１２・・・）行目の画素１０を第２の画素群として選択する。

具体的に制御部５０は、３ｎ（３，６，９，１２・・・）行目の右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに走査回路５４を介して順次、オン信号を出力してフォトダイオードＰＤＲで発生した信号電荷を読み出し電極７０ＲからＦＤ７２に転送する。この際、制御部５０は、３ｎ行目の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに走査回路５４を介して順次、オフ信号を出力するため、フォトダイオードＰＤＬで発生した信号電荷は読み出されない。また、制御部５０は、３ｎ行目の読み出し行選択線Ｒｅａｄに走査回路５４を介して順次、オン信号を出力して読み出しスイッチ７４をオン状態にするため、ＦＤ７２から読み出された信号電荷に応じた電気信号が読み出し信号線５８に出力される。図１６は、制御部５０により第２の画素群として選択された画素１０を抽出して図示している。図１６に示すように第１の画素群として選択された画素１０に対応するカラーフィルタは、カラーフィルタ２１と同様に、ベイヤ配列となっている。

また、制御部５０は、通常画素として機能させる複数の画素１０を第３の画素群として選択する。本第１実施形態では、一例として、図１４に示すように３ｎ−１（２，５，８，１１・・・）行目の画素１０を第３の画素群として選択する。

具体的に制御部５０は、３ｎ−１（２，５，８，１１・・・）行目の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに走査回路５４を介して順次、オン信号を出力してフォトダイオードＰＤＬ、ＰＤＲで発生した信号電荷を読み出し電極７０Ｌ，７０ＲからＦＤ７２に転送する。また、制御部５０は、３ｎ−１行目の読み出し行選択線Ｒｅａｄに走査回路５４を介して順次、オン信号を出力して読み出しスイッチ７４をオン状態にするため、ＦＤ７２から読み出された信号電荷に応じた電気信号が読み出し信号線５８に出力される。図１７は、制御部５０により第３の画素群として選択された画素１０を抽出して図示している。図１７に示すように第１の画素群として選択された画素１０に対応するカラーフィルタは、カラーフィルタ２１と同様に、ベイヤ配列となっている。

次のステップ４０８では、画像処理部２８は、第１の画素群及び第２の画素群から読み出した画像信号に基づいて左眼画像及び右眼画像を生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）する。

次のステップ４１０では、画像処理部２８は、スプリットイメージ処理部３２により左眼画像及び右眼画像に基づいてスプリットイメージを生成する。また、画像処理部２８は、通常処理部３０により第３の画素群から読み出した画像信号に基づいて通常画像を生成する。そして、生成したスプリットイメージ及び通常画像を表示制御部３６に出力した後、本画像処理を終了する。表示制御部３６は、スプリットイメージ及び通常画像が入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じた、表示装置は、一例として、図１２に示すように、ライブビュー画像を表示する。

以上説明したように、本第１実施形態の撮像装置１００では、撮像素子２０の各画素１０は、フォトダイオードＰＤＬ、ＰＤＲを備えている。また、撮像素子２０は、ベイヤ配列されたカラーフィルタ２１を備えている。制御部５０は、３ｎ−２（ｎ＝１以上の自然数）行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ−１行目の画素１０を第３の画素群として選択する。第１の画素群の画素１０は、左位相差画素として機能し、デバイス制御部２２及び制御部５０の制御に基づいて、フォトダイオードＰＤＬで発生した信号電荷が、読み出し電極７０Ｌ、ＦＤ７２、及び読み出しスイッチ７４を介して読み出し信号線５８に電気信号（画像信号）として読み出される。第２の画素群の画素１０は、右位相差画素として機能し、デバイス制御部２
２及び制御部５０の制御に基づいて、フォトダイオードＰＤＲで発生した信号電荷が、読み出し電極７０Ｒ、ＦＤ７２、及び読み出しスイッチ７４を介して読み出し信号線５８に電気信号（画像信号）として読み出される。第３の画素群の画素１０は、通常画素として機能し、デバイス制御部２２及び制御部５０の制御に基づいて、フォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷が加算されて、読み出し電極７０Ｌ，７０Ｒ、ＦＤ７２、及び読み出しスイッチ７４を介して読み出し信号線５８に電気信号（画像信号）として読み出される。画像処理部２８は、第１の画素群及び第２の画素群から読み出した画像信号に基づいて左眼画像及び右眼画像を生成し、さらに左眼画像及び右眼画像に基づいてスプリットイメージを生成する。これにより、本第１実施形態の撮像装置１００は、撮像素子２０をフォトダイオードＰＤＬ，ＰＤＲの両方から独立して同時に信号電荷を読み出せるよう構成した場合に比べ、全画素が位相差画素であっても、スプリットイメージを簡易な構成で確保することができる。

また、撮像装置１００では、ベイヤ配列されたカラーフィルタ２１を備えているため、位相差画素及び通常画素のそれぞれに対応するカラーフィルタをベイヤ配列とすることができる。さらに本第１実施形態では、制御部５０が、１行単位で画素１０を選択しており、３ｎ−２（ｎ＝１以上の自然数）行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ−１行目の画素１０を第３の画素群として選択するため、簡易な構成で、位相差画素に対応するカラーフィルタ及び通常画素に対応するカラーフィルタをベイヤ配列とすることができる。

なお、上記第１実施形態では、制御部５０が、３ｎ−２行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ−１行目の画素１０を第３の画素群として選択しているがこれに限定されるものではない。例えば、制御部５０は、３ｎ行目の画素１０を第１の画素群として選択し、３ｎ−２行目の画素１０を第２の画素群として選択し、３ｎ−１行目の画素１０を第３の画素群として選択してもよい。画素群毎に画素１０を抽出した場合に、対応するカラーフィルタの配列がベイヤ配列となれば特に限定されるものではない。

また、上記第１実施形態で説明した画像処理の流れ（図１３参照）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態で説明した画像処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。また、上記第１実施形態で説明した画像出力処理に含まれる各処理は、ＡＳＩＣやプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。

また、上記第１実施形態で説明した画像処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えば二次記憶部２６）に予め記憶しておけばよい。なお、必ずしも最初から二次記憶部２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などにプログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。

また、上記第１実施形態で説明した画像処理に含まれる各処理をソフトウェア構成により実現するには、例えば、ＣＰＵ１２が画像出力処理プログラムを実行することにより撮像装置１００で画像処理が行われるようにすればよい。ここで、画像処理プログラムとは、例えば、図１３に示した画像処理の各ステップを有するプログラムを指す。画像処理プログラムは二次記憶部２６に記憶されていればよく、ＣＰＵ１２は、二次記憶部２６から画像処理プログラムを読み出して一次記憶部２５に展開し、図１３に示した画像処理の各ステップの処理を順に実行すればよい。この場合、ＣＰＵ１２は、本発明の制御部の一例として機能する。

また、上記第１実施形態で説明した撮像装置１００は、被写界深度を確認する機能（被写界深度確認機能）を有していてもよい。この場合、例えば撮像装置１００は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ（非保持型スイッチ）を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置１００における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間（所定位置に押し込まれている間）、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをＣＰＵ１２が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ（保持型スイッチ）を適用してもよい。

［第２実施形態］
上記第１実施形態では、全画素列の画素１０から信号電荷を読み出す場合を例示したが、本第２実施形態では、所定の画素列の画素１０から信号電荷を読み出す場合について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。

本第２実施形態に係る撮像装置１００Ａは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０により第１、第２、及び第３の画素群として選択される画素１０が異なる。図１８には、本第２実施形態において撮像装置１００Ａに含まれる撮像素子２０における位相差画素及び通常画素として機能させる画素１０の配置、及び各画素１０に割り当てられたカラーフィルタ２１の配置例を示す模式図を示す。

図１８に示したように、本第２実施形態では、上記第１実施形態と同様に、制御部５０は、３ｎ−２行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ−１行目の画素１０を第３の画素群として選択する。さらに本第２実施形態における制御部５０は、３ｍ−２（ｍ＝１以上の自然数）列目の画素列の画素１０を第１、第２、及び第３の画素群の画素１０として選択する。

すなわち、制御部５０は、３ｎ−２行目かつ３ｍ−２列目の画素１０を左眼位相差画素として機能する第１の画素群として選択し、３ｎ行目かつ３ｍ−２列目の画素１０を右眼位相差画素として機能する第２の画素群として選択し、３ｎ−１行目かつ３ｍ−２列目の画素１０を通常画素として機能する第３の画素群として選択する。

制御部５０により、画素列単位で間引いて選択された第１、第２、及び第３の画素群の各画素１０から信号電荷を読み出す際は、間引いた画素列をとばし読みするようにするとよい。この場合、第１、第２、及び第３の画素群のいずれにも選択されなかった画素１０に蓄積された信号電荷は、一括リセットするようにすればよい。なお、間引いた画素列をとばし読みせずに、画素列毎に順次、信号電荷を読み出し、信号処理部５６で、第１、第２、及び第３の画素群のいずれにも選択されなかった画素列に対応する読み出し信号線５８の電気信号を読み捨てるようにしてもよい。しかしながら、間引いた画素列をとばし読みすることにより、信号電荷を読み出す画素列を１／３にすることができるため、読み出し速度を向上させることができ、また、消費電力を抑制することができるため好ましい。以上説明したように、本第２実施形態の制御部５０は、画素１０を画素列単位で１／３に間引いて選択する。 このように第１、第２、及び第３の画素群を選択することにより、水平方向（行方向）と垂直方向（列方向）との画素密度（各画素群として選択された画素１０の密度）を等しくすることができる。そのため、スプリットイメージ及び通常画像の画質を向上させることができる。

なお、上記第２実施形態では、制御部５０が、３ｍ−２列目の画素列の画素１０を第１、第２、及び第３の画素群の画素１０として選択しているがこれに限定されるものではない。例えば、制御部５０は、３ｍ列目や３ｍ−１列目の画素１０を第１、第２、及び第３の画素群の画素１０として選択してもよい。

［第３実施形態］
上記第１実施形態では、全画素列の画素１０から信号電荷を読み出す場合を例示したが、本第３実施形態では、所定の画素列の画素１０から信号電荷を読み出す場合について説明する。なお、本第３実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。

本第３実施形態に係る撮像装置１００Ｂは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０により第１、第２、及び第３の画素群として選択される画素１０が異なる。図１９には、本第３実施形態において撮像装置１００Ｂに含まれる撮像素子２０における位相差画素及び通常画素として機能させる画素１０の配置、及び各画素１０に割り当てられたカラーフィルタ２１の配置例を示す模式図を示す。

図１９に示したように、本第３実施形態では、上記第１実施形態と同様に、制御部５０は、３ｎ−２行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ−１行目の画素１０を第３の画素群として選択する。さらに本第３実施形態における制御部５０は、３ｍ−２（ｍ＝１以上の自然数）列目及び３ｍ列目の画素列の画素１０を第１、第２、及び第３の画素群の画素１０として選択する。また、制御部５０は、同じ行の３ｍ−２列目の画素１０と３ｍ列目の画素１０とを１単位とした画素単位で信号電荷をまとめて読み出す。図１９に示した例では、１列目及び３列目の画素１０、４列目及び６列目の画素１０、７列目及び９列目の画素１０、１０列目及び１２列目の画素１０、１３列目及び１５列目の画素１０、及び１６列目及び１８列目の画素１０から信号電荷をまとめて読み出す。まとめて読み出された信号電荷は、単位毎に、信号処理部５６で加算される。このように本第３実施形態では、異なる画素列の画素１０から信号電荷をまとめて読み出すが、まとめられる画素１０同士は、対応するカラーフィルタ２１の色が同一であるため、問題は生じない。

なお、このように２画素分の信号電荷をまとめて読み出して、加算しているため、画素単位毎の画素値は、加算値となる。右眼画像、左眼画像、及び通常画像の生成には、加算値である画素値をそのまま用いてもよいし、平均値を用いてもよい。

このように本第３実施形態の制御部５０は、３ｎ−２行目の３ｍ−２列目及び３ｍ列目の画素１０を１単位として左眼位相差画素として機能する第１の画素群として選択し、３ｎ行目の３ｍ−２列目及び３ｍ列目の画素１０を１単位として右眼位相差画素として機能する第２の画素群として選択し、３ｎ−１行目の３ｍ−２列目及び３ｍ列目の画素１０を１単位として通常画素として機能する第３の画素群として選択する。

制御部５０により、画素列単位で間引いて選択された第１、第２、及び第３の画素群の各画素１０から信号電荷を読み出す際は、間引いた画素列をとばし読みするようにするとよい。この場合、第１、第２、及び第３の画素群のいずれにも選択されなかった画素１０に蓄積された信号電荷は、一括リセットするようにすればよい。なお、間引いた画素列をとばし読みせずに、画素列毎に順次、信号電荷を読み出し、信号処理部５６で、第１、第２、及び第３の画素群のいずれにも選択されなかった画素列に対応する読み出し信号線５８の電気信号を読み捨てるようにしてもよい。また、３ｍ−２列目及び３ｍ列目の画素１０から同じタイミングで信号電荷を読み出すことが好ましいが、画素列毎に順次、読み出すようにしてもよい。なお、間引いた画素列をとばし読みし、また、３ｍ−２列目及び３ｍ列目の画素１０から同じタイミングで信号電荷を読み出すことにより、信号電荷を読み出す画素列を１／３にすることができるため、読み出し速度を向上させることができ、また、消費電力を抑制することができるため好ましい。

以上説明したように、本第３実施形態の制御部５０は、画素１０を画素列単位で２／３に間引いて選択する。このように第１、第２、及び第３の画素群を選択することにより、水平方向（行方向）と垂直方向（列方向）との画素密度（各画素群として選択された画素１０の密度）を等しくすることができる。そのため、スプリットイメージ及び通常画像の画質を向上させることができる。

さらに、本第３実施形態では、単位毎の信号電荷量が多くなるため、ＳＮ比を向上させることができる。

なお、上記第３実施形態では、制御部５０が、３ｍ−２列目及び３ｍ列目の画素１０を１単位として選択しているがこれに限定されるものではない。例えば、制御部５０は、３ｍ−１列目及び３ｍ＋１列目の画素１０を１単位として選択するようにしてもよい。１単位としてまとめる画素１０に対応するカラーフィルタ２１の色が同一であればよい。

［第４実施形態］
上記第１実施形態では、全画素１０の露光時間を同じとした場合を例示したが、本第４実施形態では、位相差画素と通常画素とで露光時間が異なる場合について説明する。なお、本第４実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。

本第４実施形態に係る撮像装置１００Ｃは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０による画素１０の露光時間の制御が異なっている。本第４実施形態では、制御部５０の制御により、位相差画素の露光時間が通常画素の露光時間よりも長い。

撮像素子２０は、垂直同期信号（図２０参照）及び水平同期信号（図示省略）に基づいて電荷蓄積時間（シャッタスピード）を制御する。制御部５０は、走査回路５４に垂直同期信号を出力する。また、制御部５０は、信号処理部５６に水平同期信号を出力する。

図２０には、本第４実施形態における画素１０の露光時間の一例を示すタイムチャートを示す。なお、本第４実施形態では、露光時間の一例として画素１０に信号電荷が蓄積される電荷蓄積時間を用いているが、これに限定されるものではない。例えば、画素１０に光が照射される時間（画像光が受光面に結像される時間）を露光時間としてもよい。

図２０に示した例では、図の上側が画素アレイ５２における画素列の１行目に対応している。撮像素子２０では、１行目の画素列から順次、信号電荷の読み出しが行われる。また、図２０に示した例では、タイミングｔ０〜ｔ３までの期間が、１フレーム（１フレーム目）に対応する。

タイミングｔ１では、制御部５０により位相差画素（第１及び第２の画素群の画素）の信号電荷がリセットされ、位相差画素のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷が放出される。より具体的には、信号電荷の放出に時間を要するため、制御部５０は、位相差画素に接続されたリセット行選択線Ｒｅｓｅｔ、位相差画素の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ１まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、読み出し行選択線Ｒｅａｄにオフ信号を出力し、読み出しスイッチ７４をオフ状態にする。

制御部５０は、タイミングｔ１でリセットを完了して、位相差画素に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オフ信号を出力する。当該動作により、位相差画素では、タイミングｔ１からフォトダイオードＰＤＬ，ＰＤＲで信号電荷の蓄積が開始される。

タイミングｔ１の後のタイミングｔ２では、制御部５０により通常画素（第３の画素群の画素）の信号電荷がリセットされ、通常画素のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷が放出される。より具体的には、信号電荷の放出に時間を要するため、制御部５０は、通常画素に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ２まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、通常画素に接続された読み出し行選択線Ｒｅａｄにオフ信号を出力し、読み出しスイッチ７４をオフ状態にする。

制御部５０は、タイミングｔ２でリセットを完了して、通常画素に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オフ信号を出力する。当該動作により、通常差画素では、タイミングｔ２からフォトダイオードＰＤＬ，ＰＤＲで信号電荷の蓄積が開始される。

タイミングｔ３では、制御部５０は、信号電荷の蓄積を終了し、位相差画素及び通常画素から信号電荷を読み出す。すなわち、制御部５０は、タイミングｔ３で全画素１０から信号電荷を読み出す。より具体的には、制御部５０は、左位相差画素の画素行に対して、読み出し行選択線Ｒｅａｄ及び左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オン信号を出力する。また、制御部５０は、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オフ信号を出力する。当該動作により、左位相差画素（第１の画素群の画素）のフォトダイオードＰＤＬに蓄積された信号電荷が読み出される。

また、制御部５０は、右位相差画素の画素行に対して、読み出し行選択線Ｒｅａｄ及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オフ信号を出力する。当該動作により、右位相差画素（第２の画素群の画素）のフォトダイオードＰＤＲに蓄積された信号電荷が読み出される。

また、制御部５０は、通常画素の画素行に対して、読み出し行選択線Ｒｅａｄ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。当該動作により、通常画素（第３の画素群の画素）のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷が読み出される。

図２０に示したように、位相差画素の露光時間Ｔ_ＬＲは、タイミングｔ１〜ｔ３となり、通常画素の露光時間Ｔ_Ｎは、タイミングｔ２〜ｔ３となる。従って、位相差画素露光時間Ｔ_ＬＲは、通常画素の露光時間Ｔ_Ｎよりも長くなる。

以上説明したように、本第４実施形態では、制御部５０は、位相差画素の露光時間Ｔ_ＬＲを通常画素の露光時間Ｔ_Ｎよりも長くする。位相差画素では、フォトダイオードＰＤＬ，ＰＤＲのいずれか一方の信号電荷が読み出され、通常画素では、フォトダイオードＰＤＬ，ＰＤＲ両方の信号電荷が読み出される。位相差画素の方が通常画素よりもフォトダイオードの面積が小さいため、信号電荷の量が少なくなり、感度が低くなる。しかしながら、本第４実施形態の制御部５０は、位相差画素の露光時間Ｔ_ＬＲを通常画素の露光時間Ｔ_Ｎよりも長くするため、位相差画素の露光時間Ｔ_ＬＲを長くして露出状態を長期間とすることができ、位相差画素の画素値の輝度を向上させることができる。

なお、どの程度、位相差画の素露光時間Ｔ_ＬＲを通常画素の露光時間Ｔ_Ｎよりも長くするかは、フォトダイオードＰＤＬ，ＰＤＲの面積や感度等の特性に応じて定めることが好ましい。例えば、上記各実施形態において例示（図５、６等参照）したように、フォトダイオードＰＤＬ，ＰＤＲの面積や感度等が等しい場合は、位相差画素では、通常画素に比べて感度が約半分になる。従って、このような場合は、図２１のタイミングチャートに例示したように、位相差画素の露光時間Ｔ_ＬＲを、通常画素の露光時間Ｔ_Ｎの倍とすることが好ましい。位相差画素の露光時間ＴＬＲを、通常画素の露光時間ＴＮの倍とすることにより、位相画素の画素値の輝度と、通常画素の画素値の輝度とを等しくすることができる。

［第５実施形態］
上記第１実施形態では、全画素１０の露光時間を同じとした場合を例示したが、本第５実施形態では、位相差画素と通常画素とで露光時間が異なる場合について説明する。また、上記第１実施形態では、制御部５０が第１、第２、及び第３の画素群として選択する画素行が固定されている場合を例示したが、本第５実施形態では、制御部５０が第１及び第２の画素群として選択する画素行がフレーム毎に入れ替わる場合について説明する。なお、本第５実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。

本第５実施形態に係る撮像装置１００Ｄは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０による画素１０の露光時間の制御が異なっている。本第５実施形態では、制御部５０の制御により、位相差画素の露光時間が通常画素の露光時間よりも長い。なお、本第５実施形態の撮像装置１００Ｄの撮像素子２０（画素１０）における露光時間及び電荷蓄積時間を制御する基本動作は、上記第４実施形態と同様の動作を含むため、同様の動作については、詳細な説明を省略する。

図２２〜２４には、本第５実施形態における画素１０の露光時間の一例を示すタイムチャートを示す。図２２は、３ｎ−２行目の画素行について抽出した露光時間の一例を示すタイムチャートである。図２３は、３ｎ−１行目の画素行について抽出した露光時間の一例を示すタイムチャートである。図２４は、３ｎ行目の画素行について抽出した露光時間の一例を示すタイムチャートである。

また、図２５〜２８には、本第５実施形態における画素１０から信号電荷を読み出す読み出し動作を説明するための模式図を示す。本第５実施形態の撮像素子２０では、各画素１０のＦＤ７２から電気信号が出力される読み出し信号線を画素列毎に、２本（読み出し信号線５８Ａ，５８Ｂ）備えている。図２５〜２８に例示したように、電気信号は、画素列毎に交互に、読み出し信号線５８Ａ，５８Ｂに出力される。また、電気信号は、画素行毎に交互に、読み出し信号線５８Ａ，５８Ｂに出力される。なお、図２５〜２８では、ハッチングが施されているフォトダイオードＰＤＬ，ＰＤＲは信号電荷が蓄積されている状態を示しており、ハッチングが施されていないフォトダイオードＰＤＬ，ＰＤＲは信号電荷が蓄積されていない（リセットまたは読み出された）状態を示している。

１フレーム目では、制御部５０は、第１の画素群として３ｎ−２行目の画素１０を選択し、第２の画素群として３ｎ行目の画素１０を選択し、第３の画素群として３ｎ−１行目の画素１０を選択する。また、次のフレームでは、第１の画素群として３ｎ行目の画素１０を選択し、第２の画素群として３ｎ−２行目の画素１０を選択し、第３の画素群として３ｎ−１行目の画素１０を選択する。さらに次のフレームでは、第１の画素群として３ｎ−２行目の画素１０を選択し、第２の画素群として３ｎ行目の画素１０を選択し、第３の画素群として３ｎ−１行目の画素１０を選択する。このように制御部５０は、第１の画素群及び第２の画素群として３ｎ−２行目の画素と３ｎ行目の画素とをフレーム毎に交互に選択する。

まず、１フレーム目の動作について説明する。１フレーム目の動作は、タイミングｔ０、ｔ２、ｔ４で行われる。本第５実施形態の撮像素子２０の制御部５０は、タイミングｔ０から１フレーム目における制御を行う。撮像素子２０の１フレーム目に対応する期間は、タイミングｔ１〜ｔ４である。従って、本第５実施形態の撮像素子２０では、前フレームから電荷蓄積動作を開始する。

タイミングｔ０で制御部５０は、３ｎ−２行目の画素１０を左位相差画素として機能する第１の画素群として選択し、第１の画素群として選択した左位相差画素のフォトダイオードＰＤＬに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ−２行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、タイミングｔ０まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ−２行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ−２行目の画素１０では、図２５に示したように、フォトダイオードＰＤＬの信号電荷は、リセットされ、フォトダイオードＰＤＲの信号電荷は蓄積された状態となる。

また、制御部５０は、３ｎ行目の画素１０を右位相差画素として機能する第２の画素群として選択し、第２の画素群として選択した右位相差画素のフォトダイオードＰＤＲに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ０まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２５に示したように、フォトダイオードＰＤＲの信号電荷は、リセットされ、フォトダイオードＰＤＬの信号電荷は蓄積された状態となる。また、タイミングｔ０で位相差画素のリセットが完了すると、左位相差画素のフォトダイオードＰＤＬ、及び右位相差画素のフォトダイオードＰＤＲで信号電荷の蓄積が開始される。

次に、タイミングｔ２では、制御部５０は、３ｎ−２行目及び３ｎ−１行目の画素１０に対しては制御を行わない。

制御部５０は、３ｎ−１行目の画素１０を通常画素として機能する第３の画素群として選択し、第３の画素群として選択した通常画素のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ−１行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ０まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ行目の画素１０に接続された読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ−１行目の画素１０では、図２５に示したように、フォトダイオードＰＤＬ，ＰＤＲの信号電荷がリセットされた状態となる。また、タイミングｔ２で通常画素のリセットが完了すると、通常画素のフォトダイオードＰＤＬ，ＰＤＲで信号電荷の蓄積が開始される。

次に、タイミングｔ４では、位相差画素及び通常画素の信号電荷を画素１０から読み出す。図２７に例示したように制御部５０は、３ｎ−２行目の画素１０のフォトダイオードＰＤＬ、３ｎ−１行目の画素１０のフォトダイオードＰＤＬ，ＰＤＲ、及び３ｎ行目の画素１０のフォトダイオードＰＤＲから信号電荷を読み出す。より具体的には、制御部５０は、３ｎ−２行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オン信号を出力する。また、制御部５０は、３ｎ−２行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ−２行目の画素１０では、図２７に示したように、フォトダイオードＰＤＬの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＲの信号電荷は蓄積されたままの状態となる。

また、制御部５０は、３ｎ行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び右相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２７に示したように、フォトダイオードＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＬの信号電荷は蓄積されたままの状態となる。

また、制御部５０は、３ｎ−１行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ−１行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ−１行目の画素１０では、図２７に示したように、フォトダイオードＰＤＬ，ＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力される。

図２２〜２４に示したように、左位相差画素の露光時間Ｔ_Ｌ及び右位相差画素の露光時間Ｔ_Ｒは、タイミングｔ０〜ｔ４となり、２つのフレームにわたって（またがって）露光が行われる、本第５実施形態の撮像素子２０では、左位相差画素の露光時間Ｔ_Ｌ及び右位相差画素の露光時間Ｔ_Ｒは、１フレームに対応する期間よりも長くなる。一方、通常画素の露光時間Ｔ_Ｎは、タイミングｔ２〜ｔ４となる。従って、位相差画素の露光時間Ｔ_Ｌ及び右位相差画素の露光時間Ｔ_Ｒは、通常画素の露光時間Ｔ_Ｎよりも長くなる。

次に、次フレーム目（２フレーム目）の動作について説明する。２フレーム目の動作は、タイミングｔ３、ｔ５、ｔ７で行われる。本第５実施形態の撮像素子２０の制御部５０は、タイミングｔ３から２フレーム目における制御を行う。撮像素子２０の２フレーム目に対応する期間は、タイミングｔ４〜ｔ７である。従って、本第５実施形態の撮像素子２０では、前フレームから電荷蓄積動作を開始する。

タイミングｔ３で制御部５０は、３ｎ−２行目１０の画素１０を右位相差画素として機能する第２の画素群として選択する。制御部５０は、第２の画素群として選択した右位相差画素のフォトダイオードＰＤＲに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ−２行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ３まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ−２行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ−２行目の画素１０では、図２６に示したように、フォトダイオードＰＤＲの信号電荷は、リセットされ、フォトダイオードＰＤＬの信号電荷は蓄積された状態となる。

また、制御部５０は、３ｎ行目の画素１０を左位相差画素として機能する第１の画素群として選択する。制御部５０は、第１の画素群として選択した左位相差画素のフォトダイオードＰＤＬに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、タイミングｔ３まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２６に示したように、フォトダイオードＰＤＬの信号電荷は、リセットされ、フォトダイオードＰＤＲの信号電荷は蓄積された状態となる。

本第５実施形態の撮像素子２０では、図２２〜２４に例示したように、タイミングｔ３〜ｔ４の期間は、全画素１０のフォトダイオードＰＤＬ，ＰＤＲに電荷が蓄積された状態になる。

次に、タイミングｔ５では、制御部５０は、タイミングｔ２と同様の動作を行い、３ｎ−１行目の通常画素のリセットを行う。

次に、タイミングｔ７では、位相差画素及び通常画素の信号電荷を画素１０から読み出す。図２８に例示したように制御部５０は、３ｎ−２行目の画素のフォトダイオードＰＤＲ、３ｎ−１行目の画素１０のフォトダイオードＰＤＬ，ＰＤＲ、及び３ｎ行目の画素１０のフォトダイオードＰＤＬから信号電荷を読み出す。より具体的には、制御部５０は、３ｎ行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オン信号を出力する。また、制御部５０は、３ｎ行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２８に示したように、フォトダイオードＰＤＬの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＲの信号電荷は蓄積されたままの状態となる。

また、制御部５０は、３ｎ−２行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び右相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ−２行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ−２行目の画素１０では、図２８に示したように、フォトダイオードＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＬの信号電荷は蓄積されたままの状態となる。

また、制御部５０は、３ｎ−１行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ−１行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ−１行目の画素１０では、図２８に示したように、フォトダイオードＰＤＬ，ＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力される。

図２２〜２４に示したように、２フレーム目における左位相差画素の露光時間Ｔ_Ｌ及び右位相差画素の露光時間Ｔ_Ｒは、タイミングｔ３〜ｔ７となり、２つのフレームにわたって（またがって）露光が行われる、本第５実施形態の撮像素子２０では、左位相差画素の露光時間Ｔ_Ｌ及び右位相差画素の露光時間Ｔ_Ｒは、１フレームに対応する期間よりも長くなる。一方、通常画素の露光時間Ｔ_Ｎは、タイミングｔ５〜ｔ７となる。従って、位相差画素の露光時間Ｔ_Ｌ及び右位相差画素の露光時間Ｔ_Ｒは、通常画素の露光時間Ｔ_Ｎよりも長くなる。

以上説明したように、本第５実施形態の撮像装置１００では、制御部５０は、第１及び第３の画素群として３ｎ−２行目の画素１０と３ｎ行目の画素１０とをフレーム毎に交互に、選択する。同一行の画素１０をフレーム毎に、左位相差画素及び右位相差画素として交互に機能させることができるため、位相差画素では、２つのフレームにわたって（またがって）露光させることができる。従って、位相差画素の露光時間をより長くすることができるため、位相差画素の画素値の輝度をより向上させることができる。

［第６実施形態］
本第６実施形態では、減光特性の補正を行う撮像装置について説明する。なお、本第５実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。

撮像装置１００Ｅでは、一例として図２９に示すように、被写体が撮影される場合に撮影レンズ１６を通過した左領域通過光は、マイクロレンズ１９を通過し、画素１０のフォトダイオードＰＤＬに入射する。しかし、左領域通過光は、画素１０のフォトダイオードＰＤＲに入射しない。一方、撮影レンズ１６を通過した右領域通過光は、マイクロレンズ１９を通過し、画素１０のフォトダイオードＰＤＲに入射する。しかし、右領域通過光は、画素１０のフォトダイオードＰＤＬに入射しない。このように画素１０のフォトダイオードが左右別個に設けられている上、左領域通過光及び右領域通過光の各々の中心が、撮影レンズ１６の光軸から偏倚しているため、各画素１０では、瞳分割方向の画素位置に応じて減光特性が線形的に変化する。減光特性の変化は、左眼画像及び右眼画像における出力の変化となって現れる。すなわち、仮に撮影レンズ１６に対して正面から光量が均一な光が入射された場合に得られる左眼画像及び右眼画像の左右方向（瞳分割方向に相当する方向）の出力は画素位置に応じて略線形的に変化することとなる。例えば、図３０に示すように、左眼画像は、右方向の画素位置ほど出力が小さくなり、右眼画像は、左方向の画素位置ほど出力が小さくなる。左眼画像及び右眼画像の各出力の左右の相反する方向への略線形的な変化は、スプリットイメージの画質に対しても影響を及ぼす。

そこで、本第６実施形態に係る撮像装置１００Ｅでは、画像処理部２８が、一例として図３１に示すように、補正部２８Ａを含み、位相差画像の減光特性を補正する。補正部２８Ａは、フレームを取得し、位相差画像の位相差画素の画素値と通常画像の通常画素の画素値とを比較した比較結果に基づいて、位相差画素の減光特性を補正する。補正部２８Ａによって導出される比較結果は、演算式を用いて導出してもよいし、テーブルを用いて導出してもよい。なお、本第６実施形態の補正部２８Ａは、一例として、通常画素の画素値に対する左位相差画素の画素値の比率を、通常画素と左位相差画素との比として算出し、算出した比を左位相差画素のゲインとして用いることにより減光特性を補正する。また、本第６実施形態の補正部２８Ａは、一例として、通常画素の画素値に対する右位相差画素の画素値の比率を、通常画素と右位相差画素との比として算出し、算出した比を右位相差画素のゲインとして用いることにより減光特性を補正する。

本第６実施形態において、減光特性とは、例えば、撮影レンズ１６における一対の領域を通過する光束の中心が、レンズ光軸から偏倚していることにより、右眼画像及び左眼画像に現れる瞳分割方向における各方向に線形的な減光特性を指す。また、減光特性の補正とは、一例として図３４に示すように、表示用左眼画像及び表示用右眼画像に現れる減光特性を補正するための補正を指す。

以下、本第６実施形態に係る撮像装置１００Ｅの作用として、画像処理部２８によって行われる画像処理について説明する。上記のように、本第６実施形態に係る撮像装置１００Ｅは、上記第１実施形態に係る撮像装置１００と比べ、実行される画像処理が異なっている。本第６実施形態に係る撮像装置１００Ｅで実行される画像処理は、減光特性を補正する補正処理を含んでいる。

図３２には、本第６実施形態に係る画像処理の流れの一例であるフローチャートを示す。ステップ４００〜４０８の各処理は、上記第１実施形態における画像処理と同様の処理であるため、詳細な説明は省略する。

本第６実施形態に係る画像処理では、ライブビュー画像を表示する場合は、ステップ４０６の処理により、制御部５０は、３ｎ−２（ｎは１以上の自然数）行目の画素１０による第１の画素群のフォトダイオードＰＤＬで発生した信号電荷に応じた電気信号を読み出す。また、制御部５０は、３ｎ行目の画素１０による第２の画素群のフォトダイオードＰＤＲで発生した信号電荷に応じた電気信号を読み出す。また、制御部５０は、３ｎ−１行目の画素１０による第３の画素群のフォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷に応じた電気信号を読み出す。

また、次のステップ４０８の処理により、画像処理部２８は、第１の画素群及び第２の画素群から読み出した画像信号に基づいて左眼画像及び右眼画像を生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）する。本第６実施形態の画像処理では、ステップ４０８の後、ステップ４１２へ移行する。

ステップ４１２で、画像処理部２８は、第３の画素群から読み出した画像信号に基づいて通常画像を生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）する。

次のステップ４１４で、画像処理部２８の補正部２８Ａは、補正処理を実行する。図３３には、補正部２８Ａにより実行される補正処理の流れの一例であるフローチャートを示す。

ステップ４５０で、補正部２８Ａは、一次記憶部２５の視差画像記憶領域からフレームを取得する。

次のステップ４５２で、補正部２８Ａは、注目領域を設定する。本第６実施形態の補正部２８Ａでは、位相差画像及び通常画像を複数の注目領域に分割し、分割した注目領域毎に、減光特性の補正を行う。本ステップ４５２では、分割された複数の注目領域の中から減光特性の補正を行う一つの注目領域を設定する。注目領域の大きさ及び数等は、撮像装置１００Ｅの処理速度や特性等に応じて予め定めておけばよい。

次のステップ４５４で、補正部２８Ａは、通常画素と左位相差画素との比を算出する。本第６実施形態の補正部２８Ａは、左位相差画素に隣接する通常画素を用いて減光特性を補正する。本ステップ４５４で、補正部２８Ａは、注目領域から選択した１つの左位相差画素と行方向に隣接する通常画素を用いて減光特性を補正する。例えば、図１４に示した一例では、５行３列目の通常画素と４行３列目の左位相差画素との比を算出する。なお、制御部５０は、画素行毎に第１，第２，及び第３の画素群を選択するため、左位相差画素と隣接する通常画素は、列方向に隣接する。

次のステップ４５６で、補正部２８Ａは、注目領域内の全左位相差画素について比を算出したか否か判定する。未だ上記ステップ４５４により比を算出していない左位相差画素が注目領域内に残っている場合は、否定判定となりステップ４５８へ移行する。ステップ４５８では、次の左位相差画素を選択した後、ステップ４５４に戻り、ステップ４５４及びステップ４５６の処理を繰り返す。

一方、ステップ４５６において、注目領域内の全左位相差画素について上記ステップ４５４により比を算出した場合は、肯定判定となりステップ４６０へ移行する。

ステップ４６０で、補正部２８Ａは、算出した比を平均化して、平均値を算出する。次のステップ４６２で、補正部２８Ａは、上記ステップ４６０で算出した平均値に基づいて、注目領域内の左位相差画素の画素値を補正する。本第６実施形態の補正部２８Ａでは、注目領域内の各左位相差画素の画素値に上記ステップ４６０で算出した平均値をゲインとして掛けることにより補正を行う。当該補正により、注目領域内の左位相差画素の減光特性が補正される（所謂シェーディング補正が行われる）。減光特性が補正された左位相差画素の画素値は、一次記憶部２５の視差画像記憶領域（図示省略）に一時記憶（上書き保存）される。

ステップ４５４〜４６２の各処理により、注目領域内の左位相差画素に対して減光特性の補正が行われると、次に、注目領域内の右相差画素に対して減光特性の補正を同様に行う。

次のステップ４６４でで、補正部２８Ａは、通常画素と右位相差画素との比を算出する。本第６実施形態の補正部２８Ａは、右位相差画素に隣接する通常画素を用いて減光特性を補正する。本ステップ４６４で、補正部２８Ａは、注目領域から選択した１つの右位相差画素と行方向に隣接する通常画素を用いて減光特性を補正する。例えば、図１４に示した一例では、２行３列目の通常画素と３行３列目の右位相差画素との比を算出する。なお、制御部５０は、画素行毎に第１，第２，及び第３の画素群を選択するため、右位相差画素と隣接する通常画素は、列方向に隣接する。

次のステップ４６６で、補正部２８Ａは、注目領域内の全右位相差画素について比を算出したか否か判定する。未だ上記ステップ４６４により比を算出していない右位相差画素
が注目領域内に残っている場合は、否定判定となりステップ４６８へ移行する。ステップ４６８では、次の右位相差画素を選択した後、ステップ４６４に戻り、ステップ４６４及びステップ４６６の処理を繰り返す。

一方、ステップ４６６において、注目領域内の全左位相差画素について上記ステップ４６４により比を算出した場合は、肯定判定となりステップ４７０へ移行する。

ステップ４７０で、補正部２８Ａは、算出した比を平均化して、平均値を算出する。次のステップ４７２で、補正部２８Ａは、上記ステップ４７０で算出した平均値に基づいて、注目領域内の右位相差画素の画素値を補正する。本第６実施形態の補正部２８Ａでは、注目領域内の各右位相差画素の画素値に上記ステップ４６０で算出した平均値をゲインとして掛けることにより補正を行う。当該補正により、注目領域内の右位相差画素の減光特性が補正される（所謂シェーディング補正が行われる）。減光特性が補正された右位相差画素の画素値は、一次記憶部２５の視差画像記憶領域（図示省略）に一時記憶（上書き保存）される。

次のステップ４７４で、補正部２８Ａは、全注目領域について上記ステップ４５２〜４７２の各処理を終了したか否か判定する。未だ上記ステップ４５２〜４７２の各処理を終了していない注目領域が残っている場合は、ステップ４５２に戻り、ステップ４５２〜４７２の各処理を繰り返す。一方、全注目領域についてステップ４５２〜４７２の各処理を終了している場合は、全位相差画素について減光特性の補正が終了したため、本補正処理を終了して、画像処理のステップ４１６へ移行する。

ステップ４１６で、画像処理部２８は、スプリットイメージ処理部３２により左眼画像及び右眼画像に基づいてスプリットイメージを生成する。上記補正処理により、一次記憶部２５の視差画像記憶領域に減光特性が補正された状態の右眼画像及び左眼画像が記憶されているため、スプリットイメージ処理部３２は、一次記憶部２５の視差画像記憶領域に記憶されている右眼画像及び左眼画像に基づいてスプリットイメージを生成する。

次のステップ４１８で、画像処理部２８は、上記ステップ４１６で生成したスプリットイメージと、上記ステップ４１２において生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）しておいた通常画像と、を表示制御部３６に出力した後、本画像処理を終了する。表示制御部３６は、スプリットイメージ及び通常画像が入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じた、表示装置は、一例として、図１２に示すように、ライブビュー画像を表示する。

このように、撮影者は、表示装置に表示されるスプリットイメージにより合焦状態を確認することができる。また、マニュアルフォーカスモード時には、フォーカスリング３０１を操作することによりピントのずれ量（デフォーカス量）をゼロにすることができる。

また、補正部２８Ａによりスプリットイメージの減光特性が補正された場合、一例として図３４に示すように、位相差画素の各々の瞳分割方向の画素の線形的な感度変化に起因する表示用視差画像の線形的な輝度変化が軽減される。

以上説明したように、撮像装置１００Ｅでは、画像処理部２８が補正部２８Ａを含んでいる。補正部２８Ａが通常画素の画素値と位相差画素の画素値との比を算出し、算出した比をゲインとして用いて各位相差画素値の画素値を補正するため、減光特性が補正されたスプリットイメージを含むライブビュー画像を表示装置に表示させることができる。

また、本第６実施形態の補正部２８Ａは、位相差画素に隣接する通常画素を用いて減光特性の補正を行うため、離れて位置する通常画素を用いる場合に比べて、補正の精度を向上させることができる。

なお、本第６実施形態の補正部２８Ａでは、通常画素の画素値に対する位相差画素の画素値の比率を用いて位相差画素の減光特性の補正を行っていたが、これに限定されるものではない。例えば、補正部２８Ａは、通常画素の画素値と位相差画素の画素値との差を用いて位相差画素の減光特性の補正を行ってもよい。なお、本第６実施形態のように、通常画素の画素値に対する位相差画素の画素値の比率を用いる方が、差を用いる場合に比べて、減光特性の補正を適切に行うことができるため、好ましい。

［第７実施形態］
上記各実施形態では、撮像装置１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅを例示したが、撮像装置１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅの変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、ＰＤＡ（Personal Digital Assistants）や携帯型ゲーム機などが挙げられる。本第７実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図３５は、スマートフォン５００の外観の一例を示す斜視図である。図３５に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。

図３６は、図３５に示すスマートフォン５００の構成の一例を示すブロック図である。図３６に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通信部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図３６に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通信部５３０は、スピーカ５３１やマイクロホン５３２を備える。通信部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通信部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図３６に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の正面下部に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３５に示すように、操作部５４０は、スマートフォン５００の筐体５０２の正面下部に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。

外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示省略）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮影するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図１０に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。

また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図３６に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。

なお、上記各実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。

例えば、図３７に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。

また、図３８に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。

また、図３９Ａ及び図３９Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃがチェッカーパターン状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃがチェッカーパターン状に並べられて表示される。

また、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。

また、上記各実施形態では、第１〜第３の画像が画像処理部２８に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部３６が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図１２に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画素群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合が例示できる。

また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１が半押し状態にされた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１に対して押圧操作が行われていない場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部３６が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部３６は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。

１６ 撮影レンズ
２０ 撮像素子
２２ デバイス制御部
２８ 画像処理部
５０ 制御部
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅ 撮像装置

Claims (15)

1. 撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び前記第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する二次元状に配列された複数の画素のうち、第１画素群として行単位で選択した画素から第１画像信号を読み出し、前記複数の画素のうち第２画素群として行単位で選択した画素から第２画像信号を読み出し、前記複数の画素のうち第３画素群として行単位で選択した画素から第３画像信号を読み出す制御部
   を含む画像処理装置。
2. 前記第１画像信号に基づく第１画像を予め定められた分割方向に分割して得た複数の分割画像の一部の第１分割画像と、前記第２画像信号に基づく第２画像を前記分割方向に分割して得た複数の分割画像から前記第１分割画像に対応する分割領域と隣接する分割領域に対応する第２分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成する生成部を更に含む請求項１に記載の画像処理装置。
3. 前記生成部は、前記第３画像信号に基づいて、撮像範囲の確認に使用する第２表示用画像を更に生成する請求項２に記載の画像処理装置。
4. 前記複数の画素には、三原色のカラーフィルタがベイヤ配列されており、
   前記制御部は、３ｎ−２（ｎ＝１以上の自然数）行目の画素、３ｎ−１行目の画素、及び３ｎ行目の画素、のいずれかをそれぞれ前記第１、第２、及び第３画素群として選択する請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記制御部は、３ｎ−２（ｎ＝１以上の自然数）行目の画素を前記第１及び第２画素群のいずれか一方として選択し、３ｎ−１行目の画素を前記第３画素群として選択し、３ｎ行目の画素を前記第１及び第２画素群の他方として選択する請求項４に記載の画像処理装置。
6. 前記制御部は、さらに、３ｍ−２（ｍ＝１以上の自然数）列目の画素を前記第１、第２、及び第３画素群として選択する請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記制御部は、３ｍ−２（ｍ＝１以上の自然数）及び３ｍ列目の同一行の画素を１画素単位とした画素単位で前記第１、第２、及び第３画素群として選択する請求項１から請求項５のいずれか１項に記載の画像処理装置。
8. 前記制御部は、前記第１及び第２画素群の画素の露光時間を前記第３画素群の画素の露光時間よりも長くする請求項１から請求項７のいずれか１項に記載の画像処理装置。
9. 前記制御部は、前記第１及び第２画素群の画素の露光時間を前記第３画素群の画素の露光時間の倍にする請求項１から請求項８のいずれか１項に記載の画像処理装置。
10. 前記制御部は、ｋ（ｋ＝１以上の自然数）フレーム目で第１画素群として選択した画素をｋ＋１フレーム目では、第２画素群として選択し、ｋフレーム目で第２画素群として選択した画素をｋ＋１フレーム目では、第１画素群として選択し、ｋフレーム目で第３画素群として選択した画素をｋ＋１フレーム目では、第３画素群として選択する請求項１から請求項９のいずれか１項に記載の画像処理装置。
11. 前記制御部は、第１及び第２画素群がｋフレームからｋ＋１フレームにわたって露光されるように制御する請求項１０に記載の画像処理装置。
12. 前記第３画素群の画素の画素値と前記画素に隣接する前記第１画素群の画素の画素値とを比較した比較結果に基づいて前記第１画像信号に基づく第１画像に対する減光特性を補正し、前記第３画素群の画素の画素値と前記画素に隣接する前記第２画素群の画素の画素値とを比較した比較結果に基づいて前記第２画像信号に基づく第２画像に対する減光特性を補正する補正部を更に含む請求項１から請求項１１のいずれか１項に記載の画像処理装置。
13. 請求項１から請求項１２の何れか１項に記載の画像処理装置と、
    前記複数の画素を有する撮像素子と、
    前記撮像素子から出力された信号に基づいて生成された画像を記憶する記憶部と、
    を含む撮像装置。
14. 制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び前記第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する二次元状に配列された複数の画素のうち、第１画素群として行単位で選択した画素から第１画像信号を読み出し、前記複数の画素のうち第２画素群として行単位で選択した画素から第２画像信号を読み出し、前記複数の画素のうち第３画素群として行単位で選択した画素から第３画像信号を読み出す
    ことを含む画像処理方法。
15. 制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び前記第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する二次元状に配列された複数の画素のうち、第１画素群として行単位で選択した画素から第１画像信号を読み出し、前記複数の画素のうち第２画素群として行単位で選択した画素から第２画像信号を読み出し、前記複数の画素のうち第３画素群として行単位で選択した画素から第３画像信号を読み出す
    ことを含む処理をコンピュータに実行させるための画像処理プログラム。
    

Images