JP6800618B2 - 撮像素子、撮像装置、および撮像信号処理方法 - Google Patents

Description

本発明は、各画素部が複数の光電変換部を有する撮像素子と、該撮像素子を備える撮像装置および撮像信号処理方法に関するものである。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置は、撮像素子を用いて取得した撮像画像をデジタルデータとして保存する。撮像素子には、ＸＹアドレス方式で各画素信号を読み出すＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ（以下、「ＣＭＯＳセンサ」という）がある。撮像素子の光電変換部は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。また、撮像素子の電子シャッタ機能では、光電変換部のリセットにより露光が開始し、光電変換部に蓄積した電荷を読み出すことにより露光が終了する。撮像素子の機能だけで露光の開始と終了を制御することにより、低速シャッタから高速シャッタまで、正確な露光時間の制御を実現可能である。

ところで、ＣＭＯＳセンサ等の撮像素子を用いた撮像装置では、明るい部分と暗い部分が混在する被写体の撮像を行う場合に、ダイナミックレンジの確保が問題となる。例えば、被写体の明るい部分に合わせて露光時間を短く制御すると、暗い部分で十分な露光時間がとれない。このため、黒つぶれやＳ／Ｎ比（信号対ノイズ比）の低下による画質低下が発生する。逆に、被写体の暗い部分に合わせて露光時間を長く制御すると、光電変換素子の蓄積電荷量が飽和レベルに達してしまう。この場合、一定以上の明るさの被写体領域が飽和した輝度レベルに設定される白とびが発生する。

被写体の明るい部分と暗い部分の階調を正確に再現する方法として、ダイナミックレンジ拡大処理（ＨＤＲ処理）がある。ＨＤＲ処理では、撮像素子上での入射光量が少ない画素では露光時間が長い信号を用いることにより高いＳ／Ｎ比が実現され、入射光量の多い画素では露光時間が短い信号を用いることにより画素飽和が回避される。特許文献１には、複数の光電変換素子を含む画素において、１画素内で感度の異なる光電変換素子の信号を用いて画像を撮像して合成する方式が開示されている。また特許文献２には、水平方向に画素内瞳分割機能を有する２つの光電変換素子を含む画素を備えた撮像素子を用いて、像面位相差方式の焦点検出を行う方法が開示されている。

特開２０１０−０２８４２３号公報 特開２０１２−１５５０９５号公報

特許文献１や特許文献２に記載された方法においてＨＤＲ処理では、１画素内で感度の異なる光電変換部の信号を用いるが、像面位相差方式の焦点検出では、２つの光電変換部の信号を同じ感度にする必要がある。このため、１回の撮影でＨＤＲ処理と像面位相差方式の焦点検出を同時に実現するのが難しい。

本発明は、複数の光電変換部を有する画素部の信号を取得して焦点検出処理と画像生成処理を行うことが可能な撮像素子および撮像装置の提供を目的とする。

本発明の一実施形態の撮像素子は、複数の画素部から信号を取得して、信号処理手段により複数の信号処理を行うことが可能な撮像素子であって、第１の方向に配列された第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有し、前記第１および第２の光電変換部は画素部内で前記第１の方向とは異なる第２の方向に配列されており、前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する前記第１の光電変換部の信号を加算した第１の信号、および前記第１および第２の画素部がそれぞれ有する前記第２の光電変換部の信号を加算した第２の信号を用いて信号処理を行う。

本発明によれば、複数の光電変換部を有する画素部の信号を取得して焦点検出処理と画像生成処理を行うことが可能な撮像素子および撮像装置を提供することができる。

第１の実施例に係る撮像装置の構成を示す図である。 第１の実施例に係る撮像素子の構成を示す図である。 第１の実施例に係る画素部の回路構成を示す図である。 第１の実施例に係る画素部の概略構成を示す図である。 第１の実施例に係る列信号処理部の回路構成を示す図である。 第１の実施例に係る画素部の露光状態を示す図である。 第１の実施例に係る信号処理動作を示す図である。 第１の実施例の変形例に係る信号処理動作を示す図である。 第１の実施例の他の変形例に係る信号処理動作を示す図である。 第１の実施例のさらに他の変形例に係る画素部の露光状態を示す図である。 第２の実施例に係る画素部の回路構成を示す図である。 第２の実施例に係る画素部の概略構成を示す図である。 第２の実施例に係る列信号処理部の回路構成を示す図である。 第２の実施例に係る画素部の露光状態を示す図である。 第２の実施例に係る画素部の信号処理動作を示す図である。 第２の実施例の変形例に係る画素部の露光状態を示す図である。 第２の実施例の変形例に係る信号処理動作を示す図である。

以下に、添付図面を参照して本発明の実施例について詳細に説明する。なお、以下に説明する実施例は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施例に限定されるものではない。

（実施形態の概要）
まず、本発明の実施形態に係る撮像素子および撮像装置、撮像信号処理方法の概要を説明してから、各実施例を詳細に説明する。
本発明は、画素部が複数の光電変換部を有する撮像素子と、該撮像素子を備える撮像装置に適用可能である。第１および第２の画素部は、画素信号の出力条件の設定が異なる第１の光電変換部および第２の光電変換部を有する。画素信号の出力条件とは、例えば画素のＩＳＯ感度、露光時間、光学絞り、ゲインアンプの増幅度等の各条件や、複数の条件を組合せた条件であり、露出設定値については任意に変更可能である。撮像素子内または撮像装置の信号処理部は、以下に示す第１および第２の信号処理を行う。

第１の信号処理では、第１および第２の画素部がそれぞれ有する第１および第２の光電変換部から画素信号の出力条件を合わせた複数の信号が生成される。画素信号の出力条件を合わせる処理には、信号同士の加算や減算、乗算、平均値演算、加重加算演算等によって露出状態を揃える処理がある。以下の実施形態では、具体例として撮像光学系の焦点検出処理を説明する。第１の信号処理によって焦点検出用信号が生成され、焦点調節制御が可能となる。

第２の信号処理では、第１および第２の画素部がそれぞれ有する第１および第２の光電変換部のうち、画素信号の出力条件の設定が同じである光電変換部から複数の信号をそれぞれ取得して画像生成処理が行われる。以下の実施形態では、画像生成処理の具体例として画像信号のダイナミックレンジ拡大処理（ＨＤＲ処理）を説明する。第２の信号処理によって、例えば、露出条件の異なる複数の信号を合成して広ダイナミックレンジな画像信号を生成することができる。

第１および第２の信号処理は、撮影された１つのフレーム画像の画素信号に基づいて並列に実行される。つまり、それぞれの処理が複数のフレームに跨って実行される場合に問題となる、動き量の大きい被写体の画像ブレの発生を防止し、または画像ブレを低減することができる。

また、撮像素子の制御モードについては、焦点検出演算のみを行う第１の制御モードと、焦点検出演算およびＨＤＲ処理を行う第２の制御モードがある。制御部は制御モードの切り替えによって、撮像部から取得される信号に対する信号処理の内容を変更する。例えば、第１の制御モードで位相差検出方式の焦点検出演算が行われる場合、画素部内の複数の光電変換部がそれぞれ出力する視差を有する画像（視差画像）から位相差が検出される。第１の光電変換部の出力からＡ像信号が取得され、第２の光電変換部の出力からＢ像信号が取得される場合、Ａ像信号およびＢ像信号に対する相関演算が行われ、演算結果から焦点ずれ量が算出される。また第２の制御モードでは、１回の撮像動作で取得される画像、つまり１フレームの画像信号に対する位相差検出方式の演算およびＨＤＲ処理が実行される。なお、本発明の実施形態としては位相差検出方式に限定されない。シフト加算によるリフォーカス処理に基づく焦点検出処理やコントラスト検出処理、あるいは複数の検出方式を組合せた併用方式への適用が可能である。

画素部の構成に関して、第１の実施例では瞳分割方向である水平方向に２分割された光電変換部を例示し、第２の実施例では水平方向および垂直方向にそれぞれ２分割された光電変換部を例示して説明する。本発明の実施形態としては、さらに分割数を増やして６、９等とする実施例がある。また光電変換部の形状が矩形に限定されることはなく、六角形等の多角形に設計する実施例にも適用可能である。

（第１の実施例）
図１から図１０を参照して、本発明の第１の実施例について説明する。第１の実施例では、２つの光電変換部を含む画素部を備えた撮像素子を用いて、１回の撮影でＨＤＲ処理と像面位相差方式の焦点検出を同時に可能にした撮像装置の動作について説明する。

図１は、本実施例に係る撮像装置の構成例を示す図である。本実施例の撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等に適用可能である。撮像装置は、撮像光学系１１、撮像素子１２、信号処理部１３、圧縮伸長部１４、同期制御部１５、操作部１６、画像表示部１７および画像記録部１８を備える。

撮像光学系１１は、被写体を結像させるためのレンズ、ズームや合焦を行うためのレンズ駆動機構、メカニカルシャッタ機構、絞り機構等を備える。各部を構成する可動部材は、同期制御部１５からの制御信号に基づいて駆動される。撮像素子１２は、ＸＹアドレス方式のＣＭＯＳセンサであり、撮像光学系１１を通過した光束を光電変換する。同期制御部１５からの制御信号に応じて、撮像素子１２の露光や信号読み出し、リセット等の撮像動作が実施される。撮像素子１２のアナログデジタル変換回路（以下、「ＡＤ変換回路」という）は、撮像信号のアナログデジタル変換（ＡＤ変換）を行い、デジタル化された画像信号を信号処理部１３に出力する。

信号処理部１３は、同期制御部１５の制御下で、撮像素子１２から入力されるデジタル化された画像信号に対して各種の処理を実行する。各種の処理とは、撮像素子１２に起因する画素の欠陥や信号のばらつき等を補正する補正処理、ホワイトバランス調整、色補正、ガンマ補正等の信号処理である。また、各種の処理とは、ＡＦ（Auto Focus）や、撮像素子１２の露出制御のために各領域の明るさを検出し、適正な露出を算出するＡＥ（自動露出）処理である。本実施例では、信号処理部１３が像面位相差方式の焦点検出およびＨＤＲ処理を行う。像面位相差方式の焦点検出方法としては、画素内瞳分割機能を有する撮像素子を用いて複数の視差画像を取得し、相関演算により焦点検出信号を取得する方法がある。例えば、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備える撮像素子において、第１の光電変換部の出力信号と第２の光電変換部の出力信号との波形のずれ（位相差）が検出される。検出された位相差に基づいて、被写体までの距離やデフォーカス量が算出され、撮像光学系１１が備える焦点調節用レンズの駆動量が決定される。つまり、焦点調節用レンズの駆動制御により、目的とする被写体に合焦させる焦点調節動作が実施される。すなわち、信号処理部１３は、Ａ像信号、Ｂ像信号を用いて、２像を相対的にシフトしながら相関演算を行い、相関演算結果から像ずれ量を検出し、デフォーカス量に換算する公知の位相差検出を行う。位相差検出により得られる位相差情報（デフォーカス量、フォーカス位置情報）は、記憶手段に記憶される。

また、ＨＤＲ処理の方法としては、例えば、感度比を補償するゲイン値と明るさに応じた重み付け係数を用いて、露光時間の異なる複数の光電変換素子の信号を合成する方法がある。以下では、露光時間が相対的に長い光電変換素子を「長時間露光素子」といい、露光時間が相対的に短い光電変換素子を「短時間露光素子」という。別の方法としては、明るさに応じて、長時間露光素子の信号と短時間露光素子の信号のうち、一方を選択する方法がある。

圧縮伸長部１４は、同期制御部１５の制御下にて、信号処理部１３が信号処理した画像信号に圧縮符号化処理を施す。また圧縮伸長部１４は、同期制御部１５から供給された静止画像の符号化データを伸長復号化処理する。圧縮伸長部１４は、動画像の圧縮符号化および伸長復号化処理を実行してもよい。

同期制御部１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラである。同期制御部１５は、ＲＯＭ等に記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。操作部１６は、各種の操作部材やタッチパネル等の操作用デバイスを備える。各種の操作部材とは、例えばシャッタレリーズボタン等の操作キーやレバー、ダイヤル等である。操作部１６は、ユーザによる入力操作に応じた制御指示信号を同期制御部１５に出力する。

画像表示部１７は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスや、これに対するインタフェース回路等を備える。画像表示部１７は同期制御部１５から供給された画像信号にしたがって表示用の画像信号を生成し、表示デバイスの画面に画像を表示させる。画像記録部１８は、例えば、可搬型の半導体メモリ等からなる記録媒体を備える。画像記録部１８は、圧縮伸長部１４により圧縮符号化された画像データファイルを同期制御部１５から取得して記録媒体に記録する処理を行う。また画像記録部１８は同期制御部１５からの制御信号に基づいて指定されたデータを記録媒体から読み出して同期制御部１５に出力する。

次に、図１の撮像装置の基本的な動作について説明する。静止画像の撮像前には、撮像素子１２の出力する画像信号が信号処理部１３に順次供給される。信号処理部１３は、撮像素子１２からの画像信号に対して信号処理を施し、カメラスルー画像の信号として、同期制御部１５を介して画像表示部１７に出力する。これにより、ユーザは画像表示部１７の画面に表示されたカメラスルー画像を見ながら画角合わせを行える。この状態で、ユーザが操作部１６に含まれるシャッタレリーズボタンを押下すると、同期制御部１５は操作信号を受け付け、撮像素子１２からの１フレーム分の画像信号が信号処理部１３に取り込まれる。

信号処理部１３は、取り込んだ１フレーム分の画像信号に信号処理を施す。処理後の画像信号は同期制御部１５を介して圧縮伸長部１４に供給される。圧縮伸長部１４は、入力された画像信号を圧縮符号化する。生成された符号化データは同期制御部１５を介して画像記録部１８に供給され、画像記録部１８は撮像された静止画像のデータファイルを記録媒体に記録する。一方、画像記録部１８に記録された静止画像のデータファイルを再生する場合に同期制御部１５は、操作部１６からの操作入力にしたがって、選択されたデータファイルを記録媒体から読み出す制御指示を画像記録部１８に出力する。記録媒体から読み出されたデータに対し、圧縮伸長部１４は伸長復号化処理を施す。復号化された画像信号は同期制御部１５を介して画像表示部１７に供給される。これにより、静止画像が再生表示される。

また、動画像を記録する場合に同期制御部１５は、操作部１６からの操作入力にしたがって、信号処理部１３で順次処理された画像信号の圧縮符号化処理を圧縮伸長部１４に指示する。圧縮伸長部１４が圧縮符号化処理を施した動画像の符号化データは順次、画像記録部１８に転送されて記録媒体への記録処理が行われる。また、動画像の再生を行う場合、同期制御部１５は、操作部１６からの操作入力にしたがって、動画像のデータファイルを記録媒体から読み出す指示を画像記録部１８に出力する。記録媒体から読み出されたデータは圧縮伸長部１４に供給され、伸長復号化処理が施された後、画像表示部１７に供給されて動画像が再生表示される。

図２は、本実施例に係る撮像素子１２の構成を示すブロック図である。撮像素子１２としてＣＭＯＳセンサを例示する。複数の画素部２００からなる画素アレイ部２０１には、Ｐ１１〜Ｐ８６で示すように各画素部２００が、水平方向および垂直方向にマトリクス状に配列されている。図２では、上下方向を行方向とし、左右方向を列方向と定義する。ｎ行目（ｎ＝１〜８）の画素部２００をＰｎ１〜Ｐｎ６で表している。また、画素部２００にはそれぞれ、奇数行がＲ（赤）フィルタとＧ（緑）フィルタの繰り返しであって、偶数行がＧ（緑）フィルタとＢ（青）フィルタの繰り返しである２×２配列の色フィルタが配置されているものとする。図２では便宜上、画素配列として６×８配列（８行６列）を例示して説明する。

複数の画素部２００に対して、垂直走査部２０２、第１列信号処理部２０３ａおよび第２列信号処理部２０３ｂが電気的に接続される。垂直走査部２０２は、配列された画素部２００を１行ずつ選択し、選択した行のリセット動作や読み出し動作の駆動制御を行う。複数の画素制御線２２１は画素行ごとに共通に接続され、垂直走査部２０２による行単位の駆動制御信号を伝達する。複数の垂直信号線２３１は画素列ごとに共通に接続され、画素制御線２２１により選択された行の画素信号が、それぞれ対応する垂直信号線２３１に読み出される。複数の第１列信号処理部２０３ａおよび第２列信号処理部２０３ｂは、それぞれ対応する垂直信号線２３１ごとに設けられている。第１列信号処理部２０３ａおよび第２列信号処理部２０３ｂは垂直信号線２３１を通して送られてくる行単位の画素の信号それぞれに対して、後述する列信号処理を実施する。

第１水平走査部２０４ａは複数の第１列信号処理部２０３ａと接続される。第１水平走査部２０４ａは、複数の第１列選択線２４１ａをそれぞれ介して、対応する第１列信号処理部２０３ａを列ごとに選択する。第１水平走査部２０４ａは、選択した第１列信号処理部２０３ａに応じてそれぞれが記憶しているデジタル化された画素信号に対し、第１出力線２５１ａを介して第１出力部２０５ａに転送する制御を行う。第２水平走査部２０４ｂは複数の第２列信号処理部２０３ｂと接続される。第２水平走査部２０４ｂは、複数の第２列選択線２４１ｂをそれぞれ介して、対応する第２列信号処理部２０３ｂを列ごとに選択する。第２水平走査部２０４ｂは、選択した第２列信号処理部２０３ｂに応じてそれぞれが記憶しているデジタル化された画素信号に対し、第２出力線２５１ｂを介して第２出力部２０５ｂに転送する制御を行う。第１出力線２５１ａと電気的に接続された第１出力部２０５ａ、および第２出力線２５１ｂと電気的に接続された第２出力部２０５ｂはそれぞれ、デジタル化された行単位の画素信号を信号処理部１３へ出力する。

タイミング制御部２０６は、同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号等を出力する。タイミング制御部２０６の制御線２６１、２７１ａ、２７１ｂ、２８１ａ、２８１ｂは、垂直走査部２０２、第１列信号処理部２０３ａ、第２列信号処理部２０３ｂ、第１水平走査部２０４ａ、第２水平走査部２０４ｂにそれぞれ接続されている。これらの制御線は、対応する各部に対してタイミング制御部２０６からクロック信号や制御信号等を送る制御線である。

図３を参照して、光電変換部の構成を説明する。図３は撮像素子１２の画素部２００の回路構成例を示す。点線枠で囲んで示す画素部２００は、画素アレイ部２０１を構成する画素部の１つを代表して示している。画素部２００は、画素制御線２２１および垂直信号線２３１により他の回路と接続される。

垂直信号線２３１は、負荷回路、第１列信号処理部２０３ａおよび第２列信号処理部２０３ｂに接続されると共に、垂直１列の列画素に共通して接続され、画素の信号を出力する。画素制御線２２１は、垂直走査部２０２に接続されると共に、水平１行の画素に共通して接続され、水平１行の画素を同時に制御することで、リセットや信号読み出しが可能になっている。画素制御線２２１は、リセット制御線ｐＲ、転送制御線ｐＴａ、ｐＴｂ、垂直選択線ｐＳＥＬを含む。

光電変換素子Ｄ１ａ、Ｄ１ｂは露光素子とも表現され、光を電荷に変換して蓄積するフォトダイオードである。各素子はＰＮ接合のＰ側が接地され、Ｎ側がそれぞれ転送トランジスタＴ１ａ、Ｔ１ｂのソースに接続されている。転送トランジスタＴ１ａ、Ｔ１ｂは転送スイッチ素子であり、ゲートがそれぞれ転送制御線ｐＴａ、ｐＴｂに接続され、ドレインがＦＤ容量Ｃｆｄに接続される。転送トランジスタＴ１ａ、Ｔ１ｂは、光電変換素子Ｄ１ａ、Ｄ１ｂからＦＤ容量Ｃｆｄへの電荷の転送を制御する際に使用される。ＦＤ容量Ｃｆｄは、その一端部が接地され、光電変換素子Ｄ１ａ、Ｄ１ｂから転送された電荷を電圧に変換する際に電荷を蓄積する。以下、転送トランジスタＴ１ａ、Ｔ１ｂの各ドレインとＦＤ容量Ｃｆｄとの接続点をＦＤノード３０１と呼ぶことにする。

リセットトランジスタＴ２はリセットスイッチ素子であり、そのゲートがリセット制御線ｐＲに接続され、ドレインが電源電圧Ｖｄｄの端子に接続される。リセットトランジスタＴ２は、そのソースがＦＤ容量Ｃｆｄに接続され、ＦＤノード３０１の電位を電源電圧Ｖｄｄにリセットする。

駆動トランジスタＴｄｒｖは増幅部を構成する。画素内アンプを構成する駆動トランジスタＴｄｒｖは、ゲートがＦＤ容量Ｃｆｄに接続され、ドレインが電源電圧Ｖｄｄの端子に接続され、ソースが選択トランジスタＴ３のドレインに接続される。駆動トランジスタＴｄｒｖはＦＤ容量Ｃｆｄの電圧に応じた電圧を出力する。選択トランジスタＴ３は選択スイッチ素子であり、ゲートが垂直選択線ｐＳＥＬに接続され、ソースが垂直信号線２３１に接続される。選択トランジスタＴ３は、駆動トランジスタＴｄｒｖの出力を画素部２００の出力信号として、垂直信号線２３１に出力する。負荷トランジスタＴｌｏｄは、垂直信号線２３１ごとに設けられている負荷回路を構成する。負荷トランジスタＴｌｏｄはソースとゲートが接地され、ドレインが垂直信号線２３１に接続されている。そして、垂直信号線２３１で接続している列の画素部２００の駆動トランジスタＴｄｒｖとともに画素内アンプとなるソースフォロア回路が構成されている。通常、画素部２００の信号を出力するときには、負荷トランジスタＴｌｏｄがゲート接地の定電流源として動作する。

本実施例では、駆動トランジスタＴｄｒｖおよび負荷トランジスタＴｌｏｄ以外のトランジスタはスイッチ素子として動作する。つまり各トランジスタは、ゲートに接続されている制御線の信号レベルがＨｉｇｈの時に導通し（ＯＮ）、Ｌｏｗの時に遮断する（ＯＦＦ）ものとする。ここで、光電変換素子Ｄ１ａの露光制御について説明する。撮像素子１２に被写体光が入射している状態とする。

まず、露光開始のタイミングで、リセットトランジスタＴ２はオンし、ＦＤ容量ＣｆｄのＦＤノード３０１側をリセットする。同時に、転送トランジスタＴ１ａがオンして、光電変換素子Ｄ１ａの電荷をリセットする。そして、転送トランジスタＴ１ａ、リセットトランジスタＴ２の順番にオフすることで、光電変換素子Ｄ１ａの露光が開始される。

次に、所定の露光時間の経過後に、リセットトランジスタＴ２がオンし、ＦＤ容量ＣｆｄのＦＤノード３０１側をリセットし、リセットトランジスタＴ２がオフする。その後、転送トランジスタＴ１ａがオンして、露光によって光電変換素子Ｄ１ａで光電変換された信号電荷をＦＤノード３０１に転送する。そして、転送トランジスタＴ１ａがオフする。ここまでで、光電変換素子Ｄ１ａの露光が終了する。この時、ＦＤ容量ＣｆｄのＦＤノード３０１には、信号電荷に対応する信号電圧が発生する。そして、選択トランジスタＴ３がオンすることで、駆動トランジスタＴｄｒｖと負荷トランジスタＴｌｏｄからなるソースフォロア回路が形成される。ＦＤノード３０１の信号電圧に対応する信号は、光電変換素子Ｄ１ａの信号として、垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ａの信号は、第１列信号処理部２０３ａに入力され、後述する列信号処理が実施される。同様に、光電変換素子Ｄ１ｂの露光についても制御されるが、転送トランジスタＴ１ａおよびＴ１ｂは、異なる転送制御線ｐＴａおよびｐＴｂにより制御される。つまり、露光開始のリセットタイミングおよび露光終了の転送タイミングを別々に設定可能となっている。これにより、通常の撮影として複数の光電変換素子に対する露光時間を同一にする設定することと、ＨＤＲを実施するために光電変換素子ごとに異なる露光時間に設定することが可能である。垂直信号線２３１に出力された光電変換素子Ｄ１ｂの出力信号は、第２列信号処理部２０３ｂに入力され、後述する列信号処理が実施される。

本実施例においては、１画素あたり２つの光電変換素子の信号に対してそれぞれ読み出しが可能であり、読み出し時間差を利用した共通の垂直信号線と異なる列信号処理部を用いて同時並列的に信号出力が可能となる。よって、撮像装置における高速な読み出し動作を実現できる。

図４は、本実施例に係る撮像素子１２の画素部２００の概略構成を示す図である。図４（Ａ）は、画素部２００を２行２列に配列した平面図である。図４（Ｂ）は、図４（Ａ）のｘ−ｘ’線に沿う断面図である。素子部４０１ａ、４０１ｂはそれぞれ、光電変換素子Ｄ１ａ、Ｄ１ｂのＰＮ接合のＮ側に対応し、基板がＰ側に対応する。回路部４０２は、画素部２００内での光電変換素子以外の回路部分を示す。なお、画素制御線２２１および垂直信号線２３１については、図示を省略する。

図４（Ａ）に円形枠で示すマイクロレンズ４０３は画素ごとに設けられている。本実施例の場合、マイクロレンズ４０３は、光電変換素子Ｄ１ａ、Ｄ１ｂの両方を均等に覆うように図４の下方にずれて配置されている。図４（Ｂ）の色フィルタ４０４は画素ごとに設けられ、光電変換素子Ｄ１ａ、Ｄ１ｂの両方を均等に覆っている。画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）の各色フィルタが配置されている。

本実施例では、１つのマイクロレンズ４０３を、光電変換素子Ｄ１ａおよびＤ１ｂが共有する構成であるので、光電変換素子Ｄ１ａから得られる第１の像信号と、光電変換素子Ｄ１ｂから得られる第２の像信号に基づいて、位相差による焦点検出が可能である。また、１つの色フィルタ４０４を２つの光電変換素子Ｄ１ａおよびＤ１ｂが共有する構成であるので、異なる露光状態の光電変換素子から得られる複数の画像信号に基づくＨＤＲ処理が可能である。

図５は、撮像素子１２の列信号処理部２０３の回路構成例を示す図である。本実施例において、第１列信号処理部２０３ａおよび第２列信号処理部２０３ｂは、同じ回路構成と動作となっている。よって、両者を区別せずに列信号処理部２０３として説明する。水平走査部２０４、出力部２０５、列選択線２４１、出力線２５１、制御線２７１、２８１についても同様の表現で記載する。

図５に示す列信号処理部２０３は、サンプルホールド（以下、「Ｓ／Ｈ」と略記する）回路５１１、比較器５２１、カウンタ回路５３１、ラッチ回路５４１、およびメモリ回路５５１を備える。Ｓ／Ｈ回路５１１は信号選択制御線ｐＳ１に接続され、信号選択制御線ｐＳ１を介したタイミング制御部２０６からの制御により、垂直信号線２３１から受け取った画素信号を保持して出力する。比較器５２１は、その一方の入力端子がＳ／Ｈ回路５１１の出力端子に接続され、他方の入力端子がランプ（ｒａｍｐ）波信号線Ｖｒｍｐ１に接続される。比較器５２１は、２つの入力信号の比較結果を出力する。例えば比較器５２１は、２つの入力信号の大小関係が逆転した時に、ＨｉｇｈからＬｏｗに出力信号が変化することで、比較結果を出力する。なお、ランプ波信号線Ｖｒｍｐ１からの入力信号は、タイミング制御部２０６が出力するランプ波形の信号、つまり基準電圧から徐々に変化する三角波の波形信号である。ランプ波形の信号振幅は、比較器５２１に入力される画素信号の飽和振幅に対して十分な余裕をもつ。時間経過に伴って徐々に変化するランプ波の信号レベルが、画素信号（Ｓ／Ｈ回路５１１の出力）のレベルと交差した時点で、比較器５２１が比較結果を出力する。

カウンタ回路５３１は、カウンタ制御線ｐＣＮＴ１に接続され、カウンタ制御線ｐＣＮＴ１から供給されるクロック信号に基づいてカウント動作を行う。カウンタ回路５３１は、ランプ波の開始に合わせてカウント動作を開始し、比較器５２１からの比較結果の信号を受けて、その時のカウント値をラッチ回路５４１へ出力する。このカウント値は、垂直信号線２３１を介して受け取った画素信号をデジタル化した信号となる。

ラッチ回路５４１は、ラッチ制御線ｐＬＴＣ１に接続され、カウンタ回路５３１が出力するカウント値を一時的に保持する。ラッチ回路５４１はラッチ制御線ｐＬＴＣ１を介した制御により、保持しているカウント値をメモリ回路５５１へ出力する。メモリ回路５５１は、メモリ制御線ｐＭＥＭ１に接続され、メモリ制御線ｐＭＥＭ１を介した制御によりラッチ回路５４１が出力するカウント値を画素のデジタル信号として記憶する。また、メモリ回路５５１は、対応するメモリ選択線ｐＨ１（符号２４１参照）を介した制御により、記憶している画素のデジタル信号を、デジタル出力線ＤＳｉｇ１（符号２５１参照）に出力する。

このように、図５に示す列信号処理部２０３では、比較器５２１、カウンタ回路５３１、ラッチ回路５４１、およびランプ波信号線Ｖｒｍｐ１を用いてＡＤ変換回路が構成されている。タイミング制御部２０６からの制御線２７１は、信号選択制御線ｐＳ１、ランプ波信号線Ｖｒｍｐ１、カウンタ制御線ｐＣＮＴ１、ラッチ制御線ｐＬＴＣ１、およびメモリ制御線ｐＭＥＭ１を含む。水平走査部２０４からの列選択線２４１は、メモリ選択線ｐＨ１に相当し、出力部２０５に接続される出力線２５１は、デジタル出力線ＤＳｉｇ１に相当する。

次に、各画素における光電変換素子Ｄ１ａ，Ｄ１ｂから読み出した信号に対する列信号処理について説明する。垂直信号線２３１に出力された光電変換素子Ｄ１ａの信号は、第１列信号処理部２０３ａに入力され、第１列信号処理部２０３ａの信号選択制御線ｐＳ１の制御により、第１列信号処理部２０３ａのＳ／Ｈ回路５１１に保持される。Ｓ／Ｈ回路５１１の出力信号は、第１列信号処理部２０３ａのＡＤ変換回路によりデジタル信号に変換され、第１列信号処理部２０３ａのメモリ回路５５１に記憶される。

光電変換素子Ｄ１ａの信号がＳ／Ｈ回路５１１に保持されることで、垂直信号線２３１が開放されるので、続けて、光電変換素子Ｄ１ｂの信号を垂直信号線２３１に出力可能となる。垂直信号線２３１に出力された光電変換素子Ｄ１ｂの信号は、第２列信号処理部２０３ｂに入力され、第２列信号処理部２０３ｂの信号選択制御線ｐＳ１の制御により、第２列信号処理部２０３ｂのＳ／Ｈ回路５１１に保持される。Ｓ／Ｈ回路５１１の出力信号は、第２列信号処理部２０３ｂのＡＤ変換回路によりデジタル信号に変換され、第２列信号処理部２０３ｂのメモリ回路５５１に記憶される。

各メモリ回路に記憶された光電変換素子のデジタル信号は、第１列信号処理部に対するメモリ選択線ｐＨ１、および、第２列信号処理部に対するメモリ選択線ｐＨ１により対応するメモリ回路からそれぞれ読み出される。読み出された信号は光電変換素子のデジタル信号として、それぞれ対応するデジタル出力線ＤＳｉｇ１に出力される。

本実施例においては、各画素部における２つの光電変換素子の信号に関し、読み出し時間差を利用した共通の垂直信号線と２種類の列信号処理部を用いて同時並列的に出力可能である。よって、撮像装置における高速な読み出し動作を実現できる。すなわち、２つの光電変換素子の信号を順番に１行ずつ読み出す動作に比べて、本実施例では読み出し速度が２倍になる。

図６は、本実施例に係る画素部の露光状態を示す図である。図６の左右方向を列方向とし、上下方向を行方向と定義する。図６は、第ｋ行〜第ｋ＋４行までの範囲で、かつ、第１列〜第４列までの範囲に亘って各部の露光状態を表している。Ｒ、Ｇ、Ｂは対応する色フィルタの相違を表す。Ｒ、Ｇｒ、Ｂ、Ｇｂはそれぞれ、赤の色フィルタ、赤フィルタ行の緑の色フィルタ、青の色フィルタ、青フィルタ行の緑の色フィルタの画素部であることを示す。以下では、第ｋ行第ｍ列の画素部の露出状態を、「Ｓｋ,ｍ（Ｐ，Ｑ）」と表記する。Ｐは光電変換素子Ｄ１ａの露光状態を表し、Ｑは光電変換素子Ｄ１ｂの露光状態を表す。例えば、ｋ行１列目の画素部については、光電変換素子Ｄ１ａの露光状態を１Ｒと表記し、光電変換素子Ｄ１ｂの露光状態を２Ｒと表記する。つまり、ｋ行１列目の画素部の露光状態はＳｋ,１（１Ｒ，２Ｒ）と表現される。ｋ行２列目の画素部については、光電変換素子Ｄ１ａの露光状態を１Ｇｒと表記し、光電変換素子Ｄ１ｂの露光状態を２Ｇｒと表記する。つまり、ｋ行２列目の画素部の露光状態はＳｋ,２（１Ｇｒ，２Ｇｒ）と表記される。同様にして、ｋ＋１行では、Ｓｋ＋１，１（１Ｇｂ，２Ｇｂ）と、Ｓｋ＋１，２（１Ｂ，２Ｂ）と表記される。

ｋ＋２行１列目の画素部は、ｋ行１列目と露光状態の位相関係が異なり、ｋ行１列目の画素部に対して反転した関係である。つまり、Ｓｋ＋２，１（２Ｒ，１Ｒ）と表記される。ｋ＋２行２列目の画素部は、ｋ行２列目と露光状態の位相関係が異なり、ｋ行２列目の画素部に対して反転した関係である。つまり、Ｓｋ＋２，２（２Ｇｒ，１Ｇｒ）と表記される。ｋ＋３行１列目の画素部は、ｋ＋１行１列目と露光状態の位相関係が異なり、ｋ＋１行１列目の画素部に対して反転した関係である。つまり、Ｓｋ＋３，１（２Ｇｂ，１Ｇｂ）と表記される。ｋ＋３行２列目の画素部は、ｋ＋１行２列目と露光状態の位相関係が異なり、ｋ＋１行２列目の画素部に対して反転した関係である。つまり、Ｓｋ＋３，２（２Ｂ，１Ｂ）と表記される。

各行にて３列目、４列目の画素部はそれぞれ、１列目、２列目の画素部と同じであり、同一行にて以降、同じ画素パターンが周期的に繰り返される。さらに、ｋ＋４行目の画素部については光電変換部が、ｋ行目の画素部の光電変換部の露光状態と同じとなっているものとする。第ｋ行から第ｋ＋３行において、第ｋ＋２行および第ｋ＋３行での露光状態は、第ｋ行および第ｋ＋１行での露光状態に対して位相をそれぞれ反転させた関係となっている。そして、ｋ＋４行目以降は、第ｋ行から第ｋ＋３行までの画素パターンが周期的に繰り返されるものとする。

図６では、各色フィルタに対応するＲ、Ｇｒ、Ｂ、Ｇｂの前にそれぞれ「１」を付すことで、相対的に短時間の露光状態を表している。すなわち、１Ｒ、１Ｇｒ、１Ｂ、１Ｇｂは、ＨＤＲ処理のために、対応する光電変換部の露光時間を短く設定した信号であることを表す。また、各色フィルタに対応するＲ、Ｇｒ、Ｂ、Ｇｂの前にそれぞれ「２」を付すことで、相対的に長時間の露光状態を表している。すなわち、２Ｒ、２Ｇｒ、２Ｂ、２Ｇｂは、対応する光電変換部の露光時間を長く設定した信号であることを表す。以下では説明の便宜上、例えば１Ｒと２Ｒの露光時間の比（露光比）を、数字の示すとおりに「１：２」であるとして説明する。また、１Ｒと２Ｒなどの記号は露光状態を表すとともに、それらに対応する出力信号を表すものとする。例えば、信号１Ｒは、画素部内で露光状態が１Ｒに設定される光電変換素子の出力信号を表しており、１単位の露光設定値で赤色フィルタに対応する信号である。

以上の画素配列に設定される撮像素子１２において、ｋ行目の各画素部の光電変換素子Ｄ１ａから信号を読み出し、その後、ｋ行目の各画素部の光電変換素子Ｄ１ｂから信号を読み出す処理が行われる。読み出された信号はそれぞれ第１列信号処理部２０３ａ、第２列信号処理部２０３ｂを経て信号処理部１３へ出力される。このときの光電変換素子の読み出しと、その後の列信号処理については、図３で説明した光電変換素子の露光制御、および、図５で説明した同時並列的な列信号処理として実施される。続いて、ｋ＋１行、ｋ＋２行、ｋ＋３行、ｋ＋４行の順番で同様に信号の読み出しと、その後の列信号処理が同様に実行される。各行の画素部にて光電変換素子Ｄ１ａの読み出しと、その後の光電変換素子Ｄ１ｂの読み出しが行われ、読み出された信号はそれぞれ第１列信号処理部２０３ａ、第２列信号処理部２０３ｂを経て信号処理部１３へ出力される。

露光制御では、露光状態が１Ｒ、１Ｇｒ、１Ｂ、１Ｇｂの光電変換素子に対して、１単位時間、つまり１Ｒ、１Ｇｒ、１Ｂ、１Ｇｂに対応する露光時間前に各画素部の光電変換素子のリセット動作が行われ、露光を開始する。また、露光状態が２Ｒ、２Ｇｒ、２Ｂ、２Ｇｂの光電変換素子に対しては、２単位時間、つまり２Ｒ、２Ｇｒ、２Ｂ、２Ｇｂに対応する露光時間前に各画素部の光電変換素子のリセット動作が行われ、露光を開始する。

本実施形態では、光電変換素子Ｄ１ａの読み出し後に光電変換素子Ｄ１ｂの読み出しが行われる場合を説明したが、このような方法に限定されない。例えば、ｋ＋２行目およびｋ＋３行目では、光電変換素子Ｄ１ｂから信号を先に読み出し、その後に光電変換素子Ｄ１ａから信号を読み出してもよい。この場合、いずれの行でも画素部における露光状態が１Ｒ、１Ｇｒ、１Ｂ、１Ｇｂとなる光電変換素子Ｄ１ｂの信号が先に読み出され、その後で露光状態が２Ｒ、２Ｇｒ、２Ｂ、２Ｇｂとなる光電変換素子Ｄ１ａの信号が読み出される。これにより、第ｋ行〜第ｋ＋３行において、長時間露光である２Ｒ、２Ｇｒ、２Ｂ、２Ｇｂに対応する期間内に、短時間露光である１Ｒ、１Ｇｒ、１Ｂ、１Ｇｂに対応する期間が設定されるので、露光重心が大きく外れることを回避できる。また、各行の読み出しの順番を変更することも可能である。具体的には、露光制御と読み出しを、ｋ行、ｋ＋２行、ｋ＋１行、ｋ＋３行目の順番で実施することで、後述する信号処理に対して、同色行の露光時間のずれを低減させることができる。

図７を参照して、本実施例に係る信号処理動作を説明する。図７は、図６の一部である第ｋ行の１列目および３列目、第ｋ＋２行の１列目および３列目のみを取り出して示す図である。各画素部の光電変換素子の対応関係、および露光状態の表記については、図６と同じである。図７では、Ｒ（赤）フィルタの信号を用いる場合の信号処理動作を例示しているが、Ｇｒ、Ｇｂの緑色フィルタとＢの青色フィルタの各信号処理動作についても同様であるので、それらの説明を省略する。

図７（Ａ）を参照して、Ｒフィルタの信号を用いた像面位相差方式の焦点検出処理について説明する。図７では、各光電変換素子から読み出された信号のうち、信号処理動作に使用される信号を点線枠で囲んで示している。両向きの矢印は、対応する１Ｒまたは２Ｒの信号が信号処理部１３にて、適宜加算される信号であることを示している。

ＨＤＲ処理では、感度の異なる光電変換素子の信号を用いるのに対して、像面位相差方式の焦点検出では、同じ感度である２つの光電変換素子の信号を必要とする。例えば、ｋ行１列目の画素信号においては、露光状態がＳｋ，１（１Ｒ，２Ｒ）である。この場合、左右の露光比が１：２となっているので、ＨＤＲ処理は可能であるが、像面位相差方式の焦点検出は困難である。そこで、本実施例において、ｋ行１列目の画素信号に加えて、ｋ＋２行１列目の画素信号である光電変換素子Ｄ１ａの２Ｒおよび光電変換素子Ｄ１ｂの１Ｒを同時に使用して、加算処理が行われる。

例えばｋ行１列目とｋ＋２行１列目の各画素部において、露光状態がそれぞれＳｋ，１（１Ｒ，２Ｒ）とＳｋ＋２，１（２Ｒ，１Ｒ）であることに着目する。光電変換素子Ｄ１ａの信号同士を加算すると、（１Ｒ＋２Ｒ）＝３Ｒとなる。また光電変換素子Ｄ１ｂの信号同士を加算すると、（２Ｒ＋１Ｒ）＝３Ｒとなる。したがって、加算結果として、見かけ上の感度が同一の信号になる。ｋ行３列目とｋ＋２行３列目でも同様に信号同士の加算処理が行われる。このように、ｋ行目の画素部とｋ＋２行目の画素部において同じ位置の光電変換素子の信号同士をそれぞれ加算することで、視差を有する複数の画像を取得できる。例えば、光電変換素子Ｄ１ａから得られるＡ像の信号と、光電変換素子Ｄ１ｂから得られるＢ像の信号に基づいて相関演算を行い、位相差方式の焦点検出が行われる。

次に、図７（Ｂ）を参照して、Ｒフィルタの信号を用いたＨＤＲ処理について説明する。図７（Ｂ）では、ｋ行１列目の画素部とｋ＋２行１列目の画素部において、異なる位置の光電変換素子の信号の加算処理が行われる。異なる位置とは行方向にて、斜向かい同士の関係となる位置である。露光状態Ｓｋ，１（１Ｒ，２Ｒ）とＳｋ＋２，１（２Ｒ，１Ｒ）で示すように、ｋ行目とｋ＋２行目とでは、露光状態の位相関係が反転しているので、同じ露光状態である光電変換素子の信号同士が加算されることになる。具体的には、ｋ行１列目の画素部の光電変換素子Ｄ１ａの信号と、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ｂの信号を加算すると、短時間露光の信号（１Ｒ＋１Ｒ）＝２Ｒとなる。また、ｋ行１列目の画素部の光電変換素子Ｄ１ｂの信号と、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ａの信号を加算すると、長時間露光の信号（２Ｒ＋２Ｒ）＝４Ｒとなる。よって、露光量の比として１：２の信号が取得される。ｋ行３列目とｋ＋２行３列目でも同様に、異なる位置で信号同士の加算処理が行われる。このように、ｋ行目の画素部とｋ＋２行目の画素部の異なる位置の光電変換素子の信号同士を加算することで、露光量の比が１：２の信号を用いたＨＤＲ処理が行われる。図７（Ｂ）に示す矢印を見ればわかるように、加算する信号の重心が一致するため、ＨＤＲ処理された画像の品位が向上するという効果を奏する。信号の重心とは、露光比に対応する重み値によって加重平均処理で算出される位置（内分点の位置）に相当する。具体的には、図７（Ｂ）にて仮にｋ行１列目の１Ｒと、ｋ＋２行１列目の２Ｒとの信号加算処理を想定する。この場合、１Ｒの信号と、２Ｒの信号は露光比が１：２であるので、信号の重心は２Ｒ側にずれた位置となる。これに対して、ｋ行目の画素部とｋ＋２行目の画素部の異なる位置の光電変換素子の信号同士を加算する場合、１Ｒの信号と１Ｒの信号とが加算され、また２Ｒの信号と２Ｒの信号とが加算される。いずれも露光量の比は１：１であり、それぞれ信号の重心が一致する。よって、垂直方向の位置ずれがないので精度が高い。

［変形例］
次に本実施例に係る各変形例を詳細に説明する。本実施例においては、垂直方向（行方向）に２行離れた同色の画素を用いて像面位相差方式の焦点検出およびＨＤＲ処理を実施する例を説明した。同色の画素同士であれば、さらに離れた画素を用いてもよい。例えば、ｋ行目とｋ＋４行目であれば、同色の画素部同士で加算が可能となる。また、垂直方向の偶数行の同色画素であれば、さらに多くの信号を加算することができる。ただし、像面位相差方式の焦点検出用信号については、垂直方向に同じ位置の光電変換素子の信号同士を加算する必要がある。またＨＤＲ処理用信号については、同じ露光状態の光電変換素子の信号同士を加算する必要がある。例えば、ｋ行目とｋ＋２行目とｋ＋４行目の各画素部を選択して、同色での加算が可能となる。

本実施例においては、光電変換素子Ｄ１ａと光電変換素子Ｄ１ｂとの露光比を１：２とした例を説明したが、さらに露光比を１：２より大きくとることで、より効果的なＨＤＲ処理画像を生成できる。ＨＤＲ処理用信号は、同色画素同士の信号を加算する必要があるが、像面位相差方式の焦点検出用信号については他色画素の信号の加算でもよい。そこで、加算する他方の行については、同じ位置の光電変換素子の信号であれば、ＨＤＲ処理とは異なる行を選択してもよい。例えば、以下の形態がある。
・ｋ行目とｋ＋２行目の各画素部を用いてＨＤＲ処理を実施し、ｋ行目とは他色画素となるｋ＋１行目の画素部を用いて焦点検出を実施する形態。
・ｋ行目とｋ＋２行目の各画素部を用いてＨＤＲ処理を実施し、ｋ＋４行目と不図示のｋ＋６行目の各画素部を用いて焦点検出を実施する形態。
・ｋ行目とｋ＋２行目の各画素部を用いてＨＤＲ処理を実施し、他色画素となるｋ＋１行目と他色画素となるｋ＋３行目の各画素部を用いて焦点検出を実施する形態。

ところで、図７（Ｂ）のＨＤＲ処理の説明では上下の画素部（同列の画素部）を用いた信号加算が実行される。これは、撮像画像内で焦点が合った領域に対して最適なＨＤＲ処理である。本実施例で用いられる像面位相差方式の焦点検出方法は、光電変換素子Ｄ１ａから得られる撮影画像と、光電変換素子Ｄ１ｂから得られる撮影画像との信号の位相差に基づく方法である。このため、焦点がずれた状態では、上下の画素部の光電変換素子Ｄ１ａから得られる信号と、光電変換素子Ｄ１ｂから得られる信号とでは位相差に相当する画像の差が発生している。換言すれば、画像の差からシフト演算および相関演算を行って位相差に対応するデフォーカス量を検出することができる。

そこで、図７（Ａ）を用いた像面位相差方式の焦点検出結果を用いて、位相ずれ補正を行うことができる。すなわち、ＨＤＲ処理を行う際に用いる光電変換素子Ｄ１ａと光電変換素子Ｄ１ｂの組合せを焦点検出結果から決定し、位相ずれ補正を実施することで、画像としての位相差の影響を避けることができる。この位相ずれ補正は、焦点検出結果を用いるため、信号処理部１３が実施する。具体例として、焦点検出結果により、１列目の位置での位相のずれが２画素であった場合を説明する。位相差を画素数に換算して２とするとき、各画素部の露光状態の組合せは以下の通りである。括弧内のφは該当位置での信号を使用しないことを意味する。
・Ｓｋ，１（１Ｒ，φ）およびＳｋ＋２，３（φ，１Ｒ）
・Ｓｋ，３（φ，２Ｒ）およびＳｋ＋２，１（２Ｒ，φ）

ｋ行１列目の光電変換素子Ｄ１ａの信号１Ｒと、ｋ＋２行３列目の光電変換素子Ｄ１ｂの信号１Ｒを加算すると、短時間露光の信号２Ｒとなる。同様に、ｋ行３列目の光電変換素子Ｄ１ｂの信号２Ｒと、ｋ＋２行１列目の光電変換素子Ｄ１ａの信号２Ｒを加算すると、長時間露光の信号４Ｒとなる。各加算信号を用いて露光量の比が１：２のＨＤＲ処理が実行される。

また、焦点検出結果による位相のずれが１画素であった場合、各画素部の露光状態の組合せは以下の通りである。
・Ｓｋ，１（１Ｒ，φ）およびＳｋ＋２，１（φ，１Ｒ）およびＳｋ＋２，３（φ，１Ｒ）
・Ｓｋ，１（φ，２Ｒ）およびＳｋ，３（φ，２Ｒ）およびＳｋ＋２，１（２Ｒ，φ）
ｋ行１列目の光電変換素子Ｄ１ａの信号１Ｒに対し、ｋ＋２行１列目およびｋ＋２行３列目の各光電変換素子Ｄ１ｂの信号の平均値１Ｒを加算すると、短時間露光の信号２Ｒとなる。同様に、ｋ行１列目およびｋ行３列目の各光電変換素子Ｄ１ｂの信号の平均値２Ｒと、ｋ＋２行１列目の光電変換素子Ｄ１ａの信号２Ｒを加算すると、長時間露光の信号４Ｒとなる。各加算信号を用いて露光量の比が１：２のＨＤＲ処理が実行される。焦点検出結果に応じて、ＨＤＲ処理に使用する異なる露出設定の光電変換素子を決定することで、位相差の影響を低減させたＨＤＲ処理を実行できる。

次に、図８を参照して本実施例の信号処理動作に係る変形例について説明する。図８では、図７で使用した表記にしたがって説明する。図８（Ａ）については、図７（Ａ）で説明したＲフィルタの信号を用いた像面位相差方式の焦点検出方法と同様であるので、説明は省略する。

図８（Ｂ）は、ｋ行目のみを用いたＲフィルタの信号のＨＤＲ処理について説明する図である。Ｓｋ，１（１Ｒ，２Ｒ）とＳｋ，３（１Ｒ，２Ｒ）に着目する。ｋ行１列目の画素部内で、光電変換素子Ｄ１ａの信号１Ｒと光電変換素子Ｄ１ｂの信号２Ｒを用いて露光量の比が１：２となるＨＤＲ処理を実施可能である。同様に、ｋ行３列目の画素部内で、光電変換素子Ｄ１ａの信号１Ｒと光電変換素子Ｄ１ｂの信号２Ｒを用いて露光量の比が１：２となるＨＤＲ処理を実施可能である。

図８（Ｃ）では、Ｓｋ＋２，１（２Ｒ，１Ｒ）とＳｋ＋２，３（２Ｒ，１Ｒ）に着目する。ｋ＋２行１列目の画素部内で、光電変換素子Ｄ１ｂの信号１Ｒと光電変換素子Ｄ１ａの信号２Ｒを用いて露光量の比が１：２となるＨＤＲ処理を実施可能である。同様に、ｋ＋２行３列目の画素部内で、光電変換素子Ｄ１ｂの信号１Ｒと光電変換素子Ｄ１ａの信号２Ｒを用いて露光量の比が１：２となるＨＤＲ処理を実施可能である。つまり、ｋ＋２行目のみを用いたＲフィルタの信号のＨＤＲ処理を実行できる。

ここで、図７（Ｂ）のＨＤＲ処理と比較して、図８の処理の利点を説明する。図７（Ａ）においては、ｋ行目の画素部とｋ＋２行目の画素部との間で、互いに異なる位置で光電変換素子の信号同士が加算される。このため行数が半減してしまうが、本変形例にて図８（Ｂ）および図８（Ｃ）で説明した処理を同時に実施することで、すべての行を用いた垂直解像度の高いＨＤＲ処理が可能となる。

さらに、図８（Ｂ）および図８（Ｃ）にて、ｋ行１列目の光電変換素子Ｄ１ｂの信号２Ｒと、ｋ＋２行１列目の光電変換素子Ｄ１ａの信号２Ｒを加算すると、（２Ｒ＋２Ｒ）＝４Ｒとなる。ｋ行１列目の光電変換素子Ｄ１ａの信号１Ｒ、あるいはｋ＋２行１列目の光電変換素子Ｄ１ｂの信号１Ｒに対して、それぞれ露光量の比が１：４となるＨＤＲ処理を実施可能となる。

次に図９を参照して、信号処理動作の他の変形例について説明する。なお、図９において、図７と同じ表記法を用いて説明する。図９（Ａ）については、図７（Ｂ）で説明したＲフィルタの信号を用いたＨＤＲ処理と同様の動作であるので、その説明は省略する。図９（Ｂ）において、Ｓｋ，１（１Ｒ，φ）とＳｋ＋２，１（φ，１Ｒ）に着目する。同じ露光設定条件であるｋ行１列目の光電変換素子Ｄ１ａの信号１Ｒと、ｋ＋２行１列目の光電変換素子Ｄ１ｂの信号１Ｒを用いて、像面位相差方式の焦点検出が実施可能である。また、図９（Ｃ）において、Ｓｋ，１（φ，２Ｒ）とＳｋ＋２，１（２Ｒ，φ）に着目する。同じ露光設定条件であるｋ行１列目の光電変換素子Ｄ１ｂの信号２Ｒと、ｋ＋２行１列目の光電変換素子Ｄ１ａの信号２Ｒを用いて、像面位相差方式の焦点検出が実施可能である。

図７（Ａ）で説明した像面位相差方式の焦点検出処理と比較して、図９の処理の利点を説明する。図７（Ａ）では、ｋ行目の画素部とｋ＋２行目の画素部との間で同じ位置の光電変換素子の信号同士を加算して、同じ露光量となる信号が生成されるが、どちらか最適な露光量の光電変換素子の信号を用いた方がよい場合もある。つまり、被写体の露光量や画像の明るさ等の各種条件に応じて、図９（Ｂ）または図９（Ｃ）に示す検出方法を選択することによって、より自由度の高い焦点検出を実現できる。本変形例では、例えば、被写体の露光量に応じて計算されたＡＥ情報に基づいて、図９（Ｂ）および図９（Ｃ）にそれぞれ示す各検出方法の一方が選択され、像面位相差方式の焦点検出が実施される。あるいは、図９（Ｂ）および図９（Ｃ）にそれぞれ示す検出方法を用いて計算した焦点検出結果が、被写体位置のＡＥ情報に基づいて選択される。または２つの焦点検出結果に対して所定の割合で重み付け加算（加重加算演算）を行ってもよい。

次に図１０を参照し、信号処理動作に関するさらに他の変形例について説明する。なお、図１０では、図６で説明した表記法で説明する。ｋ行目およびｋ＋２行目については、図６と同じ露光状態を表しているので説明を省略し、第ｍ行および第ｍ＋２行を説明する。ｍ行目およびｍ＋２行目の画素部は、画素アレイ部２０１のｋ行目およびｋ＋２行目とはそれぞれ異なる行の画素部である。ｍ行目にてＳｍ，１（２Ｒ，１Ｒ）、Ｓｍ，２（２Ｇｒ，１Ｇｒ）とする。ｍ＋２行にてＳｍ＋２，１（１Ｒ，２Ｒ）、Ｓｍ＋２，２（１Ｇｒ，２Ｇｒ）とする。すなわち、ｍ行目およびｍ＋２行目の露光状態は、それぞれｋ行目およびｋ＋２行目の露光状態に対して位相関係が反転している。垂直方向において、ｋ行目とｋ＋２行目およびｍ行目とｍ＋２行目の関係を保った状態で画素パターンが繰り返されるものとする。

本変形例では、まずｋ行目およびｋ＋２行目の画素に対して、本実施例の図７で説明したＨＤＲ処理および像面位相差方式の焦点検出処理が同時に実施される。次に、ｍ行目の画素部とｍ＋２行目の画素部との間で同じ位置の光電変換素子の信号同士が加算される。露光量を揃えて該当の光電変換素子Ｄ１ａとＤ１ｂから得られる信号から、位相差検出方式の焦点検出処理が行われる。このとき、図７（Ａ）の場合と同様、異なる行同士の光電変換素子Ｄ１ａから得られる加算信号と、異なる行同士の光電変換素子Ｄ１ｂから得られる加算信号は、見かけ上感度が同一の信号になる。同時に、ｍ行目の画素部とｍ＋２行目の画素部との間で異なる位置、つまり斜向かいの位置関係となる光電変換素子の信号同士を加算することで、露光量の比が１：２である信号を用いたＨＤＲ処理が実行される。以下、行間に跨る信号加算において、信号の重心を説明する。
・ｋ行１列目およびｋ＋２行１列目の光電変換素子Ｄ１ａの信号同士を加算した場合
信号１Ｒと信号２Ｒとの加算により、その信号の重心は信号２Ｒの側（下側）にずれて光電変換素子Ｄ１ａ間の下から１／３の位置となる。
・ｋ行１列目およびｋ＋２行１列目の光電変換素子Ｄ１ｂの信号同士を加算した場合
信号２Ｒと信号１Ｒとの加算により、その信号の重心は信号２Ｒの側（上側）にずれて光電変換素子Ｄ１ｂ間の下から２／３の位置となる。
こうして求められた位相差を持つ２つの画像信号に基づいて焦点検出演算が行われた場合、水平方向ではなく若干右上方向に対する焦点検出結果が得られる。

これに対して、ｍ行目およびｍ＋２行目では垂直方向にて、１Ｒと２Ｒとの関係が、ｋ行目およびｋ＋２行目とは逆転している。
・ｍ行１列目およびｍ＋２行１列目の光電変換素子Ｄ１ａ同士を加算した場合
信号２Ｒと信号１Ｒとの加算により、その信号の重心は信号２Ｒの側（上側）にずれて光電変換素子Ｄ１ａ間の下から２／３の位置となる。
・ｍ行１列目およびｍ＋２行１列目の光電変換素子Ｄ１ｂ同士を加算した場合
信号１Ｒと信号２Ｒとの加算により、その信号の重心は信号２Ｒの側（下側）にずれて光電変換素子Ｄ１ｂ間の下から１／３の位置となる。
こうして求められた位相差を持つ２つの画像信号に基づいて焦点検出演算が行われた場合、水平方向ではなく若干右下方向に対する焦点検出結果が得られる。

そこで、以上の焦点検出を組合せることで、水平方向の焦点検出を等価的に実施することが可能になる。具体的には、信号処理部はｋ行目およびｋ＋２行目を用いた第１の焦点検出演算と、ｍ行目およびｍ＋２行目を用いた第２の焦点検出演算を交互に実施する。第１および第２の焦点検出結果を用いて撮像装置の制御部はＡＦ制御を行う。これにより、垂直方向のずれの影響を低減させて、水平方向の焦点検出を等価的に実施可能となる。あるいは信号処理部は、第１の焦点検出演算による演算結果と、第２の焦点検出演算による演算結果とを加算平均し、制御部は加算平均結果に基づいてＡＦ制御を行う。これにより、垂直方向のずれの影響を緩和した水平方向の焦点検出を実施可能である。

また、ＨＤＲ処理において、ｋ行１列目の光電変換素子Ｄ１ｂの信号２Ｒと、ｋ＋２行１列目の光電変換素子Ｄ１ａの信号２Ｒを加算した場合、露光時間の長い信号同士の加算となる。このため、右斜め上につながる被写体の模様の比重（被写体像の占める割合）が大きくなる。すべてのＨＤＲ処理において、ｋ行目およびｋ＋２行目の信号を用いて実施すると、処理結果は特定方向（右斜め上方向）の模様に依存した画像となってしまう。

これに対して、ｍ行１列目の光電変換素子Ｄ１ａの信号２Ｒと、ｍ＋２行１列目の光電変換素子Ｄ１ｂの信号２Ｒを加算した場合、露光時間の長い信号同士の加算となるため、右斜め下につながる被写体の模様の比重が大きくなる。この場合の処理結果は右斜め下方向の模様に依存した画像となる。

そこで、信号処理部はｋ行目とｋ＋２行目を用いた第１のＨＤＲ処理と、ｍ行目とｍ＋２行目を用いた第２のＨＤＲ処理を交互に実施し、ＨＤＲ処理画像を生成する。これにより、特定方向の模様の比重が大きくなるという弊害を回避可能になる。２つの信号処理動作を交互に実施することで、水平方向の焦点検出の実施と模様依存が改善されたＨＤＲ処理の実施が可能となる。
また、各変形例においても、図７と同様の位相ずれ補正を実施可能である。

本実施例では、所定方向に画素内瞳分割機能を有する複数の光電変換部を含む画素部を備えた撮像素子において、１回の撮像動作で像面位相差方式の焦点検出と画像生成処理を同時に実現することができる。所定方向とは瞳分割方向に対応する、水平方向や垂直方向である。例えば、１つの画素部が水平方向に分割された２つの光電変換部を有する構成にて、それぞれの光電変換部に対して異なる信号出力条件を設定した場合、垂直方向の異なる行の画素部同士で同じ位置の光電変換部の信号を加算する処理が実行される。加算された２つの信号をそれぞれ用いて、像面位相差方式の焦点検出を実施することができる。すなわち異なる画素部の間で、画素信号の出力条件が異なる設定である光電変換部の信号同士を加算し、信号の出力条件を合わせた複数の信号を取得することで、ＡＦ精度の向上と感度アップを実現できる。同時に、垂直方向の異なる行の画素部同士で異なる位置の光電変換部の信号を加算する処理が実行される。加算された２つの信号を用いてＨＤＲ処理を実施できる。異なる画素部の間で、画素信号の出力条件が同じ設定である光電変換部の信号同士を加算し、信号の出力条件の異なる複数の信号を取得することで、動きのある被写体の画像ブレの低減と感度アップを実現できる。また、加算する信号の重心が一致するため、ＨＤＲ処理された画像の品位を向上させる効果がある。さらには、焦点検出結果に応じた前記位相ずれ補正を実施することで、ＨＤＲ処理された画像の品位をさらに向上させることができる。

（第２の実施例）
次に、図１、図２、図１１〜図１７を参照して、本発明の第２の実施例について説明する。本実施例では、１画素あたり４つの光電変換部を含む撮像素子を例示し、１回の撮影でＨＤＲ処理と像面位相差方式の焦点検出を同時に可能な撮像装置について説明する。なお、本実施例にて、撮像装置の基本的な構成および動作、撮像素子の基本的な構成および動作は第１の実施例の場合と同様である。よって、各構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。また第１の実施例と同じ表記法を踏襲する。

図１１は、本実施例に係る撮像素子１２の画素部２００の回路構成を示す図である。点線枠内に示す画素部２００は、画素アレイ部２０１を構成する画素部の１つを代表して示す。また、画素部２００は、画素制御線２２１および垂直信号線２３１により他の回路と接続される。図３に示す構成と相違点は、２つの光電変換素子Ｄ１ｃ、Ｄ１ｄおよびそれぞれの転送トランジスタＴ１ｃ、Ｔ１ｄが追加されていることである。画素制御線２２１は、リセット制御線ｐＲ、転送制御線ｐＴａ、ｐＴｂ、ｐＴｃ、ｐＴｄ、垂直選択線ｐＳＥＬを含む。

光電変換素子Ｄ１ｃ、Ｄ１ｄはＤ１ａ、Ｄ１ｂと同様のフォトダイオードであり、ＰＮ接合のＰ側が接地され、Ｎ側がそれぞれ転送トランジスタＴ１ｃ、Ｔ１ｄのソースに接続されている。転送トランジスタＴ１ｃ、Ｔ１ｄは、各ゲートがそれぞれ転送制御線ｐＴｃ、ｐＴｄに接続され、各ドレインがＦＤ容量Ｃｆｄに接続されており、光電変換素子Ｄ１ｃ、Ｄ１ｄからＦＤ容量Ｃｆｄへの電荷の転送を制御する。

光電変換素子Ｄ１ａおよびＤ１ｂの露光制御と読み出しは、図３と同様であるので説明を省略し、光電変換素子Ｄ１ｃおよびＤ１ｄの露光制御と信号の読み出しのみを説明する。転送トランジスタＴ１ｃ、Ｔ１ｄは、異なる転送制御線ｐＴｃ、ｐＴｄにより制御されるので、各光電変換素子に対する露光開始のリセットタイミングおよび露光終了の転送タイミングを別々に設定可能である。これにより、通常の撮影として露光時間を同一にすることと、ＨＤＲ処理を実施するために異なる露光時間に設定することが可能である。

光電変換素子Ｄ１ｂの信号の次に垂直信号線２３１に出力された光電変換素子Ｄ１ｃの信号は、第１列信号処理部２０３ａに入力され、列信号処理が行われる。続いて、垂直信号線２３１に出力された光電変換素子Ｄ１ｄの信号は、第２列信号処理部２０３ｂに入力され、列信号処理が行われる。本実施例においては、１つの画素部内における４つの光電変換素子の信号に対して読み出し時間差を利用した共通の垂直信号線と異なる列信号処理部を用いて同時並列的に信号の出力が可能となる。よって、撮像装置における高速読み出し動作を実現できる。

図１２は、本実施例に係る撮像素子１２の画素部２００の概略構成を示す図である。図１２（Ａ）は、画素部２００を２行×２列に配列した平面図を示し、図１２（Ｂ）は、図１２（Ａ）のｘ−ｘ’線に沿う断面図を示す。画素部２００内に配置された矩形状の部分４０１ａ、４０１ｂ、４０１ｃ、４０１ｄは、それぞれ光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄのＰＮ接合のＮ側に対応し、基板がＰ側に対応する。画素部２００内の中心部は、ＦＤノード３０１を含む画素部２００のＦＤ容量Ｃｆｄの部分４０２を示す。分割方向は水平および垂直方向である。４つの光電変換素子は水平方向および垂直方向に配置されるため、画素部２００内のＦＤ容量Ｃｆｄの部分４０２は、それらの中心に配置されている。なお、この部分４０２には、ＦＤ容量Ｃｆｄ以外の回路部分を設けてもよい。画素制御線２２１および垂直信号線２３１については、図示を省略する。

マイクロレンズ４０３と色フィルタ４０４は画素部２００ごとに設けられている。色フィルタ４０４は４つの光電変換素子を均等に覆っており、画素部ごとに、Ｒ、Ｇ、Ｂの１つが配置されている。１つのマイクロレンズ７０３を４つの光電変換素子が共有する構成となっているので、異なる位置の光電変換素子から得られる複数の画像信号、つまり視差を有する複数の視差画像に基づく焦点検出が可能である。また１つの色フィルタ４０４を４つの光電変換素子が共有する構成となっているので、異なる露光状態の光電変換素子から得られる複数の画像信号に基づくＨＤＲ処理が可能である。本実施例では４分割の構成を説明するが、分割数や分割された領域の形状については仕様に応じて適宜に設計可能である。

図１３を参照して、本実施例に係る撮像素子１２の列信号処理部２０３の回路構成を説明する。第１列信号処理部２０３ａおよび第２列信号処理部２０３ｂは、同じ回路構成と動作となっているので、列信号処理部２０３として説明する。以下、図５との相違点である、追加された回路部（符号５１２、５２２、５３２、５４２、５５２）を主に説明する。これらの回路部は、光電変換素子の数が２倍になっていることに伴い、新たに追加されたものであり、同様に制御線の数も２倍である。２系統の列信号処理回路が設けられているが、基本的な動作は図５の場合と同様である。

Ｓ／Ｈ回路５１２は信号選択制御線ｐＳ２に接続され、タイミング制御部２０６の制御により、垂直信号線２３１から受け取った画素信号を保持して出力する。比較器５２２は、Ｓ／Ｈ回路５１２の出力とランプ波信号線Ｖｒｍｐ２からの出力とを比較し、比較結果を出力する。カウンタ回路５３２は、カウンタ制御線ｐＣＮＴ２から供給されるクロック信号に基づいて計数動作を行い、比較器５２２からの比較結果の信号を受けて、その時のカウント値を出力する。このカウント値は、垂直信号線２３１を介して受け取った画素信号をデジタル化した信号となる。ランプ波を用いた比較器５２２とカウンタ回路５３２の動作については、図５の場合と同様であるので、詳細な説明を省略する。

ラッチ回路５４２は、ラッチ制御線ｐＬＴＣ２に接続され、カウンタ回路５３２が出力するカウント値を一時的に保持するとともに、ラッチ制御線ｐＬＴＣ２を介した制御により保持しているカウント値を出力する。メモリ回路５５２は、メモリ制御線ｐＭＥＭ２を介した制御により、ラッチ回路５４２が出力するカウント値をデジタル信号として記憶する。メモリ回路５５２は、メモリ選択線ｐＨ２を介した制御により、記憶しているデジタル信号をデジタル出力線ＤＳｉｇ２に出力する。

このように、図１３に示す列信号処理部２０３においては、第１および第２のＡＤ変換回路の２系統で構成されており、各ＡＤ変換回路は比較器、カウンタ回路、ラッチ回路、ランプ波信号線を用いて構成される。タイミング制御部２０６からの制御線２７１は、以下の配線を含む。
・信号選択制御線ｐＳ１、ｐＳ２
・ランプ波信号線Ｖｒｍｐ１、Ｖｒｍｐ２
・カウンタ制御線ｐＣＮＴ１、ｐＣＮＴ２
・ラッチ制御線ｐＬＴＣ１、ｐＬＴＣ２
・メモリ制御線ｐＭＥＭ１、ｐＭＥＭ２。
また、水平走査部２０４からの列選択線２４１については、メモリ選択線ｐＨ１、ｐＨ２をまとめて示す。出力部２０５に接続する出力線２５１については、デジタル出力線ＤＳｉｇ１、ＤＳｉｇ２をまとめて示す。

次に、本実施例に係る画素部内の４つの光電変換素子からそれぞれ読み出した信号の列信号処理について説明する。垂直信号線２３１に出力された光電変換素子Ｄ１ａの信号は、第１列信号処理部２０３ａに入力される。第１列信号処理部２０３ａの信号選択制御線ｐＳ１の制御により、信号はＳ／Ｈ回路５１１に保持される。そして、第１のＡＤ変換回路（５２１から５４１参照）により、デジタル信号への変換処理が行われ、変換後の信号は第１列信号処理部２０３ａのメモリ回路５５１に記憶される。

光電変換素子Ｄ１ａの信号がＳ／Ｈ回路５１１に保持されることで、垂直信号線２３１が開放されるので、続けて、光電変換素子Ｄ１ｂの信号が垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ｂの信号は、第２列信号処理部２０３ｂに入力される。第２列信号処理部２０３ｂの信号選択制御線ｐＳ１の制御により、信号は第２列信号処理部のＳ／Ｈ回路５１１に保持される。第１のＡＤ変換回路により、デジタル信号への変換処理が行われ、変換後の信号は第２列信号処理部２０３ｂのメモリ回路５５１に記憶される。

光電変換素子Ｄ１ｂの信号がＳ／Ｈ回路５１１に保持されることで、垂直信号線２３１が開放されるので、続けて、光電変換素子Ｄ１ｃの信号が垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ｃの信号は、第１列信号処理部２０３ａに入力される。第１列信号処理部２０３ａの信号選択制御線ｐＳ２の制御により、信号はＳ／Ｈ回路５１２に保持される。第２のＡＤ変換回路（５２２から５４２参照）により、デジタル信号への変換処理が行われ、変換後の信号は第１列信号処理部２０３ａのメモリ回路５５２に記憶される。

光電変換素子Ｄ１ｃの信号がＳ／Ｈ回路５１１に保持されることで、垂直信号線２３１が開放されるので、続けて、光電変換素子Ｄ１ｄの信号が垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ｄの信号は、第２列信号処理部２０３ｂに入力される。第２列信号処理部２０３ｂの信号選択制御線ｐＳ２の制御により、信号はＳ／Ｈ回路５１２に保持される。第２のＡＤ変換回路により、デジタル信号への変換処理が行われ、信号はメモリ回路５５２に記憶される。

このように各光電変換素子から読み出される信号は第１列信号処理部２０３ａと第２列信号処理部２０３ｂによって交互に処理されてそれぞれのメモリ回路５５１、５５２に記憶される。４つの光電変換素子のデジタル信号は、第１列信号処理部２０３ａに対するメモリ選択線ｐＨ１、ｐＨ２、および第２列信号処理部２０３ｂに対するメモリ選択線ｐＨ１、ｐＨ２により対応するメモリ回路から読み出される。つまり各画素信号はデジタル信号として、それぞれ対応するデジタル出力線ＤＳｉｇ１、ＤＳｉｇ２へ出力される。

本実施例では、１つの画素部内に設けた４つの光電変換素子の信号に対して読み出し時間差を利用した共通の垂直信号線と異なる列信号処理部を用いて同時並列的に出力することが可能となる。４つの光電変換素子の信号を順番に１行ずつ読み出す動作に比べて、読み出し速度が４倍になるので、撮像装置における高速な読み出し動作を実現できる。

図１４を参照して、本実施例に係る画素部の露光状態について説明する。図１４は、ｋ行目〜ｋ＋３行目まで、かつ、１列目〜４列目までの各画素部の露光状態を表している。第ｋ行第ｍ列の画素部の露光状態を、Ｓｋ，ｍ（Ｐ，Ｑ／Ｕ，Ｖ）の形式で表記する。ただし、記号ＰとＱは光電変換素子Ｄ１ａ、Ｄ１ｂの露光状態をそれぞれ表わし、記号ＵとＶは光電変換素子Ｄ１ｃ、Ｄ１ｄの露光状態をそれぞれ表わすものとする。１つの画素部内では、光電変換素子Ｄ１ａが左上に位置し、光電変換素子Ｄ１ｂが右上に位置し、光電変換素子Ｄ１ｃが左下に位置し、光電変換素子Ｄ１ｃが右下に位置している。つまり、ＰとＱは画素部内の上半部に、ＵとＶは下半部に、ＰとＵが左半部に、ＱとＶが右半部にそれぞれ相当する。
・ｋ行目
Ｓｋ，１（１Ｒ，２Ｒ／２Ｒ，１Ｒ）
Ｓｋ，２（１Ｇｒ，２Ｇｒ／２Ｇｒ，１Ｇｒ）
Ｓｋ，３（１Ｒ，２Ｒ／２Ｒ，１Ｒ）
Ｓｋ，４（１Ｇｒ，２Ｇｒ／２Ｇｒ，１Ｇｒ）
・ｋ＋１行目
Ｓｋ＋１，１（１Ｇｂ，２Ｇｂ／２Ｇｂ，１Ｇｂ）
Ｓｋ＋１，２（１Ｂ，２Ｂ／２Ｂ，１Ｂ）
Ｓｋ＋１，３（１Ｇｂ，２Ｇｂ／２Ｇｂ，１Ｇｂ）
Ｓｋ＋１，４（１Ｂ，２Ｂ／２Ｂ，１Ｂ）
さらに、ｋ＋２行目の画素部の光電変換素子については、それぞれｋ行目の画素部の光電変換素子の露光状態と同じとし、ｋ＋３行目の画素部の光電変換素子については、それぞれｋ＋１行目の画素部の光電変換素子の露光状態と同じとする。

各行の画素部において、光電変換素子Ｄ１ｃの露光状態は、光電変換素子Ｄ１ａの露光状態と異なり、光電変換素子Ｄ１ｄの露光状態は、光電変換素子Ｄ１ｂの露光状態と異なる。すなわち、画素部内の上半部と下半部とでは、位相関係を反転させた状態となっていることがわかる。なお、３列目と４列目はそれぞれ、１列目と２列目と同じ露光状態であり、周期的に画素パターンが繰り返される。また不図示のｋ＋４行目以降は、ｋ行目〜ｋ＋３行目までの画素パターンが周期的に繰り返されるものとする。

撮像素子１２において、ｋ行目の各画素部の光電変換素子Ｄ１ａから信号を読み出され、その後、ｋ行目の各画素部の光電変換素子Ｄ１ｂから信号が読み出される。読み出された信号はそれぞれ第１列信号処理部２０３ａ、第２列信号処理部２０３ｂを経て、信号処理部１３へ出力される。さらに、ｋ行目の各画素部の光電変換素子Ｄ１ｃから信号が読み出され、その後、ｋ行目の各画素部の光電変換素子Ｄ１ｄから信号が読み出される。読み出され信号はそれぞれ第１列信号処理部２０３ａ、第２列信号処理部２０３ｂを経て、信号処理部１３へ出力される。この時、図１１にて説明した光電変換素子の露光制御、および、図１３にて説明した同時並列的な列信号処理が実施されるものとする。

続けて、ｋ＋１行、ｋ＋２行、ｋ＋３行の順番で、それぞれの行の画素部の光電変換素子Ｄ１ａ、Ｄ１ｂ、Ｄ１ｃ、Ｄ１ｄの信号の読み出し処理が行われて、信号処理部１３へ出力される。

露光制御については、各光電変換素子の露光状態に対応する露光時間の設定値にしたがって光電変換素子のリセットが行われ、露光を開始する。この時、各画素部にて、露光状態が１Ｒ、１Ｇｒ、１Ｂ、１Ｇｂである光電変換素子Ｄ１ａ、Ｄ１ｄから先に信号を読み出し、その後、露光状態が２Ｒ、２Ｇｒ、２Ｂ、２Ｇｂである光電変換素子Ｄ１ｂ、Ｄ１ｃから信号を読み出してもよい。これにより、長時間露光状態２Ｒ、２Ｇｒ、２Ｂ、２Ｇｂに相当する期間内に、短時間露光状態１Ｒ、１Ｇｒ、１Ｂ、１Ｇｂに相当する期間が設定されるので、露光重心が大きく外れることを回避できる。また露光制御と読み出しをｋ行、ｋ＋２行、ｋ＋１行、ｋ＋３行目の順番に実施することで、後述する信号処理に対して、同色行の露光時間のずれを低減させることが可能となる。

図１５は、本実施例に係る信号処理動作を示す図である。画素部とその光電変換素子および露光状態については、図１４と同じ表現を用いる。図１５では、Ｒフィルタの信号を用いた信号処理動作のみを代表して説明する。

図１５（Ａ）を参照して、Ｒフィルタの信号を用いた像面位相差方式の焦点検出方法について説明する。点線枠で示す光電変換素子の信号は、信号処理動作に使われる信号を示すとともに、信号処理部１３が適宜加算することを示す。また、両向き矢印は、２つの点線枠で囲んで示す光電変換素子の信号同士もまた、加算されることを示している。ＨＤＲ処理では、感度の異なる光電変換素子の信号を用いるが、像面位相差方式の焦点検出では、２つの光電変換素子の信号が同じ感度である必要がある。

図１５（Ａ）は、図１４のｋ行目の第１列および第３列と、ｋ＋２行目の第１列および第３列を例示する。本実施例にて、ｋ行１列目の画素の光電変換素子の信号と、ｋ＋２行１列目の画素の光電変換素子の信号を同時に用いる。図１２で説明したように、画素部内の光電変換素子は、Ｄ１ａとＤ１ｃが左側に配置され、Ｄ１ｂとＤ１ｄが右側に配置されている。よって、水平方向の焦点検出には、左側の光電変換素子と右側の光電変換素子を別々に加算して用いればよいことになる。

ｋ行１列目の画素部とｋ＋２行１列目の画素部との信号加算を説明する。Ｓｋ，１（１Ｒ，２Ｒ／２Ｒ，１Ｒ）とＳｋ＋２，１（１Ｒ，２Ｒ／２Ｒ，１Ｒ）に着目する。光電変換素子Ｄ１ａと光電変換素子Ｄ１ｃの信号同士を加算すると、（１Ｒ＋２Ｒ＋１Ｒ＋２Ｒ）＝６Ｒとなる。光電変換素子Ｄ１ｂと光電変換素子Ｄ１ｄの信号同士を加算すると、（２Ｒ＋１Ｒ＋２Ｒ＋１Ｒ）＝６Ｒとなる。よって、２つの加算信号は、見かけ上の感度が同一の信号になる。ｋ行３列目の画素部とｋ＋２行３列目の画素部との信号加算も同様に行われる。

このようにｋ行目の画素部とｋ＋２行目の画素部の光電変換素子を左右のグループに分けて、それぞれ左側４つと右側４つの光電変換素子の信号同士を加算する処理が実行される。これにより、光電変換素子Ｄ１ａおよびＤ１ｃから得られる画像信号と、光電変換素子Ｄ１ｂおよびＤ１ｄから得られる画像信号に基づく焦点検出が可能となる。本実施例では、ｋ行目の画素部とｋ＋２行目の画素部の光電変換素子を左右に分けて、それぞれ左側４つと右側４つの光電変換素子の信号同士を加算する例を説明したが、見かけ上感度が同一になればよいので、加算数は４つ以下でも構わない。

次に、図１５（Ｂ）を参照して、Ｒフィルタの信号を用いたＨＤＲ処理について説明する。図１５（Ｂ）は、図１４のｋ行目の第１列および第３列と、ｋ＋２行目の第１列および第３列を例示する。ｋ行１列目の画素部とｋ＋２行１列目の画素部において、異なる位置の光電変換素子の信号を組合せた加算処理が実行される。Ｓｋ，１（１Ｒ，２Ｒ／２Ｒ，１Ｒ）とＳｋ＋２，１（１Ｒ，２Ｒ／２Ｒ，１Ｒ）に着目する。ｋ行１列目の光電変換素子Ｄ１ａおよびＤ１ｄの信号と、ｋ＋２行１列目の光電変換素子Ｄ１ａおよびＤ１ｄの信号を加算すると、短時間露光の信号（１Ｒ＋１Ｒ＋１Ｒ＋１Ｒ）＝４Ｒとなる。また、ｋ行１列目の光電変換素子Ｄ１ｂおよびＤ１ｃの信号と、ｋ＋２行１列目の光電変換素子Ｄ１ｂおよびＤ１ｃの信号を加算すると、長時間露光の信号（２Ｒ＋２Ｒ＋２Ｒ＋２Ｒ）＝８Ｒとなる。よって、露光量の比が１：２の信号が得られる。つまり、各行の画素部にて斜め方向の光電変換素子同士は同じ露光状態であるため、両向き矢印で示すように襷がけの方向でそれぞれの光電変換素子の信号を組合せて加算する処理が行われる。これにより、露光量の比が１：２である信号を用いたＨＤＲ処理が可能となる。図１５（Ｂ）において、加算される４つの光電変換素子の配置を見ればわかるように、加算した信号の重心が一致するため、ＨＤＲ処理された画像の品位が向上するという効果を奏する。

また、本実施例においては、４つの光電変換素子の信号を選択して加算し、それぞれ短時間露光の信号と長時間露光の信号を生成する処理を説明した。これに限らず、短時間露光の信号として１Ｒから４Ｒまでの組合せから選択し、長時間露光の信号として２Ｒから８Ｒまでの組合せから選択することもできる。例えば、短時間露光の信号として２Ｒが選択され、長時間露光の信号として８Ｒが選択された場合、露光量の比が１：４である信号を用いたＨＤＲ処理が可能となる。このように、露光量の比が１：２から１：８まで設定可能なＨＤＲ処理を実現できる。

本実施例においては、垂直方向に２行離れた同色の画素を用いて像面位相差方式の焦点検出およびＨＤＲ処理を実施する例を説明したが、同色の画素であれば、さらに離れた画素を用いてもよい。また、垂直方向の同色画素であれば、さらに多くの信号を加算してもよい。ただし、像面位相差ＡＦによる水平方向の焦点検出に用いる信号については、垂直方向に同じ位置の光電変換素子の信号同士を加算する必要がある。一方、ＨＤＲ処理に用いる信号については、同じ露光量の光電変換素子の信号同士を加算する必要がある。また、光電変換素子Ｄ１ａと光電変換素子Ｄ１ｂとの露光比、および光電変換素子Ｄ１ｃと光電変換素子Ｄ１ｄとの露光比を１：２より大きくとることで、より効果的なＨＤＲ処理画像を生成してもよい。

次に、図１５（Ａ）で説明した像面位相差方式の焦点検出結果を用いた位相ずれ補正について説明する。位相ずれ補正では、ＨＤＲ処理を行うｋ行目の画素部の光電変換素子Ｄ１ａおよびＤ１ｄと、ｋ＋２行目の画素の光電変換素子Ｄ１ａおよびＤ１ｄとの組合せを求める処理が行われる。

本実施例で用いられる像面位相差方式の焦点検出方法は、光電変換素子Ｄ１ａおよびＤ１ｃから得られる画像信号と、光電変換素子Ｄ１ｂおよびＤ１ｄから得られる画像信号との位相差に基づく方法である。このため、焦点がずれた状態では、上下方向（垂直方向）に配列される、光電変換素子Ｄ１ａおよびＤ１ｃから得られる信号と光電変換素子Ｄ１ｂおよびＤ１ｄから得られる信号では、位相差に相当する画像の差が発生している。ＨＤＲ処理を行うｋ行目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｃと、ｋ＋２行目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｃの組合せを求める位相ずれ補正を実施することで、画像としての位相差の影響を回避できる。位相ずれ補正は、焦点検出結果を用いるため、信号処理部１３が実行する。

具体例として、焦点検出の結果、１列目の位置での位相のずれが画素数に換算して２画素であった場合を説明する。各画素部の露光状態の組合せは、例えば以下の通りである。
・Ｓｋ，１（１Ｒ，φ／φ，１Ｒ）およびＳｋ＋２，３（１Ｒ，φ／φ，１Ｒ）
・Ｓｋ，３（φ，２Ｒ／２Ｒ，φ）およびＳｋ＋２，１（φ，２Ｒ／２Ｒ，φ）

ｋ行１列目の画素の光電変換素子Ｄ１ａの信号１ＲとＤ１ｄの信号１Ｒ、および、ｋ＋２行３列目の画素の光電変換素子Ｄ１ａの信号１ＲとＤ１ｄの信号１Ｒを加算すると、短時間露光の信号４Ｒとなる。同様に、ｋ行３列目の画素の光電変換素子Ｄ１ｂの信号２ＲとＤ１ｃの信号２Ｒ、および、ｋ＋２行１列目の画素の光電変換素子Ｄ１ｂの信号２ＲとＤ１ｃの信号２Ｒを加算すると、長時間露光の信号８Ｒとなる。それぞれの加算信号を用いて露光量の比が１：２のＨＤＲ処理が実行される。

しかし、この組合せの場合、露光状態が１Ｒの光電変換素子Ｄ１ａおよびＤ１ｄが右斜め下方向に強い相関を持ち、露光状態が２Ｒの光電変換素子Ｄ１ｂおよびＤ１ｃが右斜め上方向に強い相関を持つ。このため、右斜め上につながる被写体の模様の比重が大きくなってしまうことになる。そこで、１列目の位置での位相のずれが２画素であった場合には、各画素部の露光状態の組合せを、以下のように設定する。
・Ｓｋ，３（１Ｒ，φ／φ，１Ｒ）およびＳｋ＋２，１（１Ｒ，φ／φ，１Ｒ）
・Ｓｋ，１（φ，２Ｒ／２Ｒ，φ）およびＳｋ＋２，３（φ，２Ｒ／２Ｒ，φ）

ｋ行３列目の画素部の光電変換素子Ｄ１ａの信号１ＲとＤ１ｄの信号１Ｒ、および、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ａの信号１ＲとＤ１ｄの信号１Ｒを加算すると、短時間露光の信号４Ｒとなる。同様に、ｋ行１列目の画素の光電変換素子Ｄ１ｂの信号２ＲとＤ１ｃの信号２Ｒ、および、ｋ＋２行３列目の画素部の光電変換素子Ｄ１ｂの信号２ＲとＤ１ｃの信号２Ｒを加算すると、長時間露光の信号８Ｒとなる。それぞれの加算信号を用いた露光量の比が１：２のＨＤＲ処理を実施することで、斜め方向の比重が大きくなるという弊害を緩和できる。

また、焦点検出結果による位相のずれが画素数に換算して１画素であった場合、各画素部の露光状態の組合せは、以下の通りである。
・Ｓｋ＋２，１（１Ｒ，φ／φ，１Ｒ）およびＳｋ＋２，３（１Ｒ，φ／φ，１Ｒ）および
Ｓｋ，１（１Ｒ，φ／φ，１Ｒ）
・Ｓｋ＋２，１（φ，２Ｒ／２Ｒ，φ）およびＳｋ＋２，３（φ，２Ｒ／２Ｒ，φ）および
Ｓｋ，１（φ，２Ｒ／２Ｒ，φ）

ｋ＋２行１列目の画素部の光電変換素子Ｄ１ａの信号１Ｒと、ｋ＋２行３列目の画素部の光電変換素子Ｄ１ａの信号１Ｒとの平均値は１Ｒである。また、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ｄの信号１Ｒとｋ＋２行３列目の画素部の光電変換素子Ｄ１ｄの信号１Ｒの平均値は１Ｒである。求めた２つの平均値１Ｒを、ｋ行１列目の画素部の光電変換素子Ｄ１ａの信号１ＲおよびＤ１ｄの信号１Ｒとともに加算すると、短時間露光の信号４Ｒとなる。同様に、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ｂの信号２Ｒとｋ＋２行３列目の画素部の光電変換素子Ｄ１ｂの信号２Ｒの平均値は２Ｒである。ｋ＋２行１列目の画素部の光電変換素子Ｄ１ｃの信号２Ｒと、ｋ＋２行３列目の画素部の光電変換素子Ｄ１ｃの信号２Ｒとの平均値は２Ｒである。求めた２つの平均値２Ｒを、ｋ行１列目の画素部の光電変換素子Ｄ１ｂの信号２ＲおよびＤ１ｃの信号２Ｒとともに加算すると、長時間露光の信号８Ｒとなる。それぞれの加算信号を用いて露光量の比が１：２のＨＤＲ処理が実行される。

さらに、４つの光電変換素子を含む画素部に対して、水平方向と垂直方向の信号処理での加算方向を入れ替えることで、垂直方向の焦点検出を実施することが可能となる。そこで、領域を分けて、水平方向の焦点検出と垂直方向の焦点検出を実施することも可能である。

以上のように、本実施例では、撮像素子の画素部が水平および垂直方向に画素内瞳分割機能をもつ４つの光電変換素子を有する。１つの画素部内の４つの光電変換素子に対して異なる露光条件を設定した場合、垂直方向の異なる行にて各画素部の同じ位置にある光電変換素子の信号を加算する処理が行われる。出力条件を揃えた加算信号を用いて、像面位相差方式の焦点検出を実施できる。同時に、垂直方向の異なる行にて各画素部の異なる位置にある光電変換素子の信号を組合せて加算する処理が行われる。出力条件の異なる加算信号を用いて、ＨＤＲ処理を実施できる。このように、１回の撮影で像面位相差方式の焦点検出とＨＤＲ処理を同時に実現することが可能となる。

また、ＨＤＲ処理において、加算する信号の重心が一致するため、ＨＤＲ処理された画像の品位が向上するという効果が得られる。焦点検出結果に応じた位相ずれ補正を実施することで、ＨＤＲ処理された画像の品位をさらに向上させることができる。

［変形例］
次に図１６、図１７を参照して、本実施例の信号処理動作の変形例について説明する。図１６は、本変形例に係る画素の露光状態を示す図である。ｋ行目については、図１４と同じ露光状態を表しており、以下の通りである。
・Ｓｋ，１または３（１Ｒ，２Ｒ／２Ｒ，１Ｒ）
・Ｓｋ，２または４（１Ｇｒ，２Ｇｒ／２Ｇｒ，１Ｇｒ）

ｋ＋２行の１列目から４列目の各画素部の露光状態は、以下の通りである。
・Ｓｋ＋２，１または３（２Ｒ，１Ｒ／１Ｒ，２Ｒ）
・Ｓｋ＋２，２または４（２Ｇｒ，１Ｇｒ／１Ｇｒ，２Ｇｒ）
すなわち、ｋ＋２行目の画素部の露光状態は、ｋ行目の画素部の露光状態に対して位相関係を反転させたものとなっている。垂直方向において、ｋ行目およびｋ＋２行目の関係を保った状態で画素パターンが周期的に繰り返されるものとする。

図１７は、本変形例に係る信号処理動作を示す図である。図１７（Ａ）を参照して、Ｒフィルタの信号を用いた像面位相差方式の焦点検出方法について説明する。ｋ行１列目の画素部とｋ＋２行１列目の画素部において、光電変換素子Ｄ１ａと光電変換素子Ｄ１ｃの信号同士を加算すると、（１Ｒ＋２Ｒ＋２Ｒ＋１Ｒ）＝６Ｒとなる。また、光電変換素子Ｄ１ｂと光電変換素子Ｄ１ｄの信号同士を加算すると、（２Ｒ＋１Ｒ＋１Ｒ＋２Ｒ）＝６Ｒとなる。よって、これらの加算信号は見かけ上の感度が同一の信号になる。ｋ行目の画素部とｋ＋２行目の画素部の光電変換素子を左右のグループに分けて、それぞれ左側４つと右側４つの光電変換素子の信号同士を加算する処理が行われる。光電変換素子Ｄ１ａおよびＤ１ｃから得られる画像信号と、光電変換素子Ｄ１ｂおよびＤ１ｄから得られる画像信号に基づく焦点検出が可能となる。

次に、図１５（Ａ）と図１７（Ａ）を参照して、加算信号の重心について説明する。図１５（Ａ）において、ｋ行１列目の画素部の光電変換素子Ｄ１ａおよびＤ１ｃを加算する場合には、信号１Ｒと信号２Ｒの加算となる。加算信号の重心は信号２Ｒの側（下側）にずれて光電変換素子Ｄ１ａとＤ１ｃ間の下から１／３の位置となる。同様に、ｋ行１列目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｄを加算する場合には、信号２Ｒと信号１Ｒの加算となる。加算信号の重心は、光電変換素子Ｄ１ｂとＤ１ｄ間の下から２／３の位置となる。よって、ｋ行目の画素部の画素信号に基づいて焦点検出を実施した場合、その焦点検出結果は、水平方向ではなく若干右上方向に対する焦点検出となる。このことは、ｋ＋２行目の画素部の露光状態についても同様となる。

図１５（Ａ）では、ｋ行目の画素部とｋ＋２行目の画素部の光電変換素子を左右のグループに分けて、それぞれ左側４つと右側４つの光電変換素子の信号同士を加算する処理が実行される。加算信号から求めた位相差を持つ２つの画像に基づいて焦点検出を実施した場合、その焦点検出結果は、水平方向ではなく若干右上方向に対する焦点検出となる。

一方、図１７（Ａ）においては、ｋ行目の画素部の露光状態が図１５（Ａ）と同様であるのに対して、ｋ＋２行目の画素部の露光状態は、ｋ行目の画素部の露光状態に対して位相関係を反転したものとなっている。すなわち、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ａおよびＤ１ｃを加算する場合には、信号２Ｒと信号１Ｒの加算となる。加算信号の重心は、信号２Ｒの側（上側）ずれて光電変換素子Ｄ１ａとＤ１ｃ間の下から２／３の位置となる。ｋ＋２行１列目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｄを加算する場合には、信号１Ｒと信号２Ｒの加算となる。加算信号の重心は、信号２Ｒの側（下側）にずれて光電変換素子Ｄ１ｂとＤ１ｄ間の下から１／３の位置となる。よって、ｋ＋２行目の画素部の画素信号に基づいて焦点検出を実施した場合、その焦点検出結果は、水平方向ではなく若干右下方向に対する焦点検出となる。

そこで、本変形例では、ｋ行目の画素部とｋ＋２行目の画素部の光電変換素子を左右のグループに分けて、それぞれ左側４つと右側４つの光電変換素子の信号同士を加算する処理が実行される。加算信号から求めた位相差を持つ２つの画像を用いて焦点検出を実施した場合、等価的に水平方向の焦点検出が実施されたことになる。

本変形例では、ｋ行目の画素部とｋ＋２行目の画素部の光電変換素子を左右に分けて、それぞれ左側４つと右側４つの光電変換素子の信号同士を加算したが、見かけ上感度が同一になればよいので、加算数は４以下でも構わない。

次に、図１７（Ｂ）を参照して、Ｒフィルタの信号を用いたＨＤＲ処理について説明する。図１７（Ｂ）では、ｋ行１列目の画素部とｋ＋２行１列目の画素部において、異なる位置の光電変換素子の信号を組合せた加算処理が実施される。着目する信号の組合せは以下の通りである。
・Ｓｋ，１（１Ｒ，φ／φ，１Ｒ）およびＳｋ＋２，１（φ，１Ｒ／１Ｒ，φ）
・Ｓｋ，１（φ，２Ｒ／２Ｒ，φ）およびＳｋ＋２，１（２Ｒ，φ／φ，２Ｒ）

ｋ行１列目の画素部の光電変換素子Ｄ１ａおよびＤ１ｄの信号と、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｃの信号を加算すると、短時間露光の信号（１Ｒ＋１Ｒ＋１Ｒ＋１Ｒ）＝４Ｒとなる。また、ｋ行１列目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｃの信号とｋ＋２行１列目の画素部の光電変換素子Ｄ１ａおよびＤ１ｄの信号を加算すると長時間露光の信号（２Ｒ＋２Ｒ＋２Ｒ＋２Ｒ）＝８Ｒとなる。よって、露光量の比が１：２の信号が得られる。つまり、ｋ行目の画素部とｋ＋２行目の画素部の異なる位置の光電変換素子の信号を組合せて加算することで、露光量の比が１：２の信号を用いたＨＤＲ処理が可能となる。図１７（Ｂ）において、加算される４つの光電変換素子の配置を見ればわかるように、加算した信号の重心が一致するため、ＨＤＲ処理された画像の品位が向上するという効果を奏する。

図１５（Ｂ）と比較した場合、本変形例の利点は、特定方向の模様に依存する度合いを抑制したＨＤＲ処理を実現できることである。図１５（Ｂ）において、ｋ行１列目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｃを加算した場合、あるいは、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ｂおよびＤ１ｃを加算した場合、露光時間の長い信号同士の加算となる。このため、右斜め上につながる被写体の模様の比重が大きくなる。よって、図１５（Ｂ）のように、異なる位置の光電変換素子の信号を組合せた加算を実施した場合には、右斜め上につながる被写体の模様の比重が大きくなるのは明らかである。すべてのＨＤＲ処理を図１５（Ｂ）のように、ｋ行目の信号とｋ＋２行目の信号を用いた状態で実施すると、特定方向の模様に依存した画像となってしまう。

これに対して、図１７（Ｂ）においては、ｋ行目の画素部の露光状態が、図１５（Ａ）と同様であるのに対して、ｋ＋２行目の画素部の露光状態は、ｋ行目の画素部の露光状態とは位相関係が反転している。すなわち、ｋ＋２行１列目の画素部の光電変換素子Ｄ１ａおよびＤ１ｄを加算した場合には、露光時間の長い信号同士の加算となるため、右斜め下につながる被写体の模様の比重が大きくなる。図１７（Ｂ）では、異なる位置の光電変換素子の信号を組合せた加算を実施した場合、特定方向の模様に依存することがなくなる。図１７（Ｂ）のように信号を読み出してＨＤＲ処理画像を生成することで、特定方向の模様の比重が大きくなるという弊害を回避できる。

また、本変形例において、短時間露光の信号として１Ｒから４Ｒまでの組合せから選択し、長時間露光の信号として２Ｒから８Ｒまでの組合せから選択することで、露光量の比が１：２から１：８まで設定可能なＨＤＲ処理を実現できる。本変形例では、垂直方向に２行離れた同色の画素部を用いて像面位相差方式の焦点検出およびＨＤＲ処理を実施したが、同色の画素であれば、さらに離れた画素を用いてもよい。また、垂直方向の同色画素であれば、さらに多くの信号を加算してもよい。ただし、像面位相差ＡＦによる水平方向の焦点検出に用いる信号は、垂直方向に同じ位置の光電変換素子の信号同士を加算する必要があり、ＨＤＲ処理に用いる信号は、同じ露光量の光電変換素子の信号同士を加算する必要がある。さらに、画素部内の各光電変換素子の露光量の比を１：２より大きくとることで、より効果的なＨＤＲ処理画像を生成することも可能である。本変形例においても、図７と同様の位相ずれ補正を実施可能である。

本変形例によれば、異なる行間に跨る信号処理動作を実施することで、所定方向（例えば水平方向）の焦点検出を実行しつつ、模様依存が改善されたＨＤＲ処理を実行することができる。

第１および第２の実施例では、撮像素子１２に対して信号処理部１３が撮像装置内に設けられた構成例を説明したが、信号処理部１３の機能の少なくとも一部を撮像素子内に設けた構成でもよい。この場合、例えば、撮像素子には多数の画素部を行列状に配列した画素アレイ部（撮像部）と、各画素部の信号を処理する信号処理部１３が集積回路チップ上に実装される。例えば、積層型撮像素子の場合、撮像素子は信号処理部１３を構成する第１の集積回路チップ上に撮像部を構成する第２の集積回路チップが積層された構成である。このとき、第１の集積回路チップ上に構成される信号処理部として、焦点検出用には２像の相関演算を行う相関演算部と相関演算結果から像ずれ量を算出する算出部を備えるとよい。これにより、撮像素子１２からの出力としては像ずれ量（あるいはデフォーカス量）やその分布を出力すればよいので、センサの製造コストを下げたり、後段の画像処理部の帯域を確保することができる。またこのとき、ＨＤＲ処理用には撮像素子１２に起因する画素の欠陥や信号のばらつき等を補正する補正処理部とＨＤＲ合成を行う合成処理部を備えるとよい。これにより、撮像素子１２からの出力としては合成後の１フレーム分の画像信号が出力されるので、上記と同様の効果がある上に、画質を決める重要な処理を、より高精度な解析や処理が可能であろう後段の画像処理部に任せることができる。もちろん上記に限らず、焦点検出用、ＨＤＲ処理用に他の処理の一部あるいは全部を撮像素子１２内の信号処理部に設けてもよい。また、信号処理部の具体的な構成例としては、ＨＤＲ処理にてビットレンジ伸長処理を行う第１の信号処理と、位相差検出を行う第２の信号処理を並列に実行する１つの信号処理部を設けてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２ 撮像素子
１３ 信号処理部
１５ 同期制御部
２００ 画素部
２０２ 垂直走査部
２０３ａ 第１列信号処理部
２０３ｂ 第２列信号処理部
２０６ タイミング制御部
２２１ 画素制御線
２３１ 垂直信号線

Claims (32)

1. 複数の画素部から信号を取得して、信号処理手段により複数の信号処理を行うことが可能な撮像素子であって、
   第１の方向に配列された第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有し、前記第１および第２の光電変換部は画素部内で前記第１の方向とは異なる第２の方向に配列されており、
   前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する前記第１の光電変換部の信号を加算した第１の信号、および前記第１および第２の画素部がそれぞれ有する前記第２の光電変換部の信号を加算した第２の信号を用いて信号処理を行うことを特徴とする撮像素子。
2. 前記信号処理手段はさらに、前記第１の画素部が有する前記第１の光電変換部の信号と前記第２の画素部が有する前記第２の光電変換部の信号とを加算した第３の信号、および前記第１の画素部が有する前記第２の光電変換部の信号と前記第２の画素部が有する前記第１の光電変換部の信号とを加算した第４の信号を用いて信号処理を行うことを特徴とする請求項１に記載の撮像素子。
3. 前記信号処理手段は、前記第１および第２の信号を用いて焦点検出の信号処理を行い、前記第３および第４の信号を用いて画像信号のダイナミックレンジ拡大の信号処理を行うことを特徴とする請求項２に記載の撮像素子。
4. 複数の画素部から信号を取得して、信号処理手段により複数の信号処理を行うことが可能な撮像素子であって、
   第１の方向に配列された第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有し、前記第１および第２の光電変換部は画素部内で前記第１の方向とは異なる第２の方向に配列されており、
   前記信号処理手段は、前記第１の画素部が有する前記第１の光電変換部の信号と前記第２の画素部が有する前記第２の光電変換部の信号とを加算した第１の信号、および前記第１の画素部が有する前記第２の光電変換部の信号と前記第２の画素部が有する前記第１の光電変換部の信号とを加算した第２の信号を用いて信号処理を行うことを特徴とする撮像素子。
5. 前記信号処理手段はさらに、前記第１および第２の画素部がそれぞれ有する第１の光電変換部の信号を加算した第３の信号と、前記第１および第２の画素部がそれぞれ有する第２の光電変換部の信号を加算した第４の信号を用いて信号処理を行うことを特徴とする請求項４に記載の撮像素子。
6. 前記信号処理手段は、前記第１および第２の信号を用いて画像信号のダイナミックレンジ拡大の信号処理を行い、前記第３および第４の信号を用いて焦点検出の信号処理を行うことを特徴とする請求項５に記載の撮像素子。
7. 複数の画素部から信号を取得して、信号処理手段により複数の信号処理を行うことが可能な撮像素子であって、
   第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有しており、
   前記信号処理手段は、
   前記第１および第２の画素部がそれぞれ有する第１の光電変換部の信号から算出した第１の信号と、前記第１および第２の画素部がそれぞれ有する第２の光電変換部の信号から算出した第２の信号を用いる第１の信号処理としての焦点検出処理と、
   前記第１の画素部が有する前記第１の光電変換部の信号と前記第２の画素部が有する前記第２の光電変換部の信号から算出した第３の信号と、前記第１の画素部が有する前記第２の光電変換部の信号と前記第２の画素部が有する前記第１の光電変換部の信号から算出した第４の信号を用いる第２の信号処理としてのダイナミックレンジ拡大処理を行い、
   前記信号処理手段は前記焦点検出処理にて、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が異なる光電変換部の信号同士を加算した信号を用いることを特徴とする撮像素子。
8. 前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が同じ光電変換部の信号同士を加算した信号を用いて、前記第２の信号処理を行うことを特徴とする請求項７に記載の撮像素子。
9. 第１の方向に配列された前記第１および第２の画素部は、前記第１の方向とは異なる第２の方向に配列された前記第１および第２の光電変換部を有しており、
   前記信号処理手段は、前記第２の方向にて同じ位置の前記光電変換部の信号同士を加算した信号を用いて前記第１の信号処理を行い、前記第２の方向にて異なる位置の前記光電変換部の信号同士を加算した信号を用いて前記第２の信号処理を行うことを特徴とする請求項７または請求項８に記載の撮像素子。
10. 第１の方向に配列された前記第１および第２の画素部はさらに、第３および第４の光電変換部を有し、
    前記第１の方向とは異なる第２の方向に配列された前記第１および第２の光電変換部が異なる出力条件に設定され、前記第１の方向に配列された前記第１および第３の光電変換部または前記第２および第４の光電変換部が異なる出力条件に設定されることを特徴とする請求項１乃至９のいずれか１項に記載の撮像素子。
11. 前記第１および第４の光電変換部が同じ出力条件に設定され、前記第２および第３の光電変換部が同じ出力条件に設定されることを特徴とする請求項１０に記載の撮像素子。
12. 前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する前記第１および第３の光電変換部の信号を加算した信号と、前記第１および第２の画素部がそれぞれ有する前記第２および第４の光電変換部の信号を加算した信号を用いて信号処理を行うことを特徴とする請求項１０または請求項１１に記載の撮像素子。
13. 前記信号処理手段は、前記第１の画素部が有する前記第１および第４の光電変換部の信号と、前記第２の画素部が有する前記第１および第４の光電変換部の信号または前記第２および第３の光電変換部の信号とを加算した信号、および前記第１の画素部が有する前記第２および第３の光電変換部の信号と、前記第２の画素部が有する前記第２および第３の光電変換部の信号または前記第１および第４の光電変換部の信号とを加算した信号を用いて信号処理を行うことを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像素子。
14. 複数の画素部から信号を取得して、信号処理手段により複数の信号処理を行うことが可能な撮像素子であって、
    第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有し、
    前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する前記第１および第２の光電変換部から画素信号の出力条件を合わせた複数の信号を取得して焦点検出処理を行い、前記光電変換部から出力条件が異なる複数の信号の組合せにより画像信号のダイナミックレンジ拡大処理を行う際、前記焦点検出処理の検出結果に対応する位相ずれ補正を行い、
    前記信号処理手段は前記ダイナミックレンジ拡大処理にて、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が同じ光電変換部の信号同士を加算した信号を用いることを特徴とする撮像素子。
15. 前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が異なる光電変換部の信号同士を加算した信号を用いて前記焦点検出処理を行うことを特徴とする請求項１４に記載の撮像素子。
16. 前記信号処理手段は、前記焦点検出処理により検出された位相差に対して、加算を行う前記第１および第２の光電変換部の信号を変更して前記位相ずれ補正を行うことを特徴とする請求項１５に記載の撮像素子。
17. 前記第１および第２の画素部は、マイクロレンズと、該マイクロレンズに対応する前記第１および第２の光電変換部をそれぞれ有することを特徴とする請求項１乃至１６のいずれか１項に記載の撮像素子。
18. 前記第１の画素部は第１の行の画素部であって、前記第１の光電変換部が第１の出力条件に設定され、前記第２の光電変換部が第２の出力条件に設定され、
    前記第２の画素部は第２の行の画素部であって、前記第１の光電変換部が前記第２の出力条件に設定され、前記第２の光電変換部が前記第１の出力条件に設定されることを特徴とする請求項１７に記載の撮像素子。
19. 前記信号処理手段は、前記第１の画素部が有する第１の光電変換部の信号と前記第２の画素部が有する第１の光電変換部の信号とを加算した信号、および前記第１の画素部が有する第２の光電変換部の信号と前記第２の画素部が有する第２の光電変換部の信号とを加算した信号を用いて焦点検出の信号処理を行い、前記第１の画素部が有する第１および第２の光電変換部の信号、または前記第２の画素部が有する第１および第２の光電変換部の信号を用いて画像信号のダイナミックレンジ拡大処理を行うことを特徴とする請求項１８に記載の撮像素子。
20. 前記信号処理手段は、前記第１の画素部が有する第１の光電変換部の信号と前記第２の画素部が有する第２の光電変換部の信号、または前記第１の画素部が有する第２の光電変換部の信号と前記第２の画素部が有する第１の光電変換部の信号を用いて焦点検出の信号処理を行い、前記第１の画素部が有する第１の光電変換部の信号と前記第２の画素部が有する第２の光電変換部の信号とを加算した信号、および前記第１の画素部が有する第２の光電変換部の信号と前記第２の画素部が有する第１の光電変換部の信号とを加算した信号を用いて画像信号のダイナミックレンジ拡大処理を行うことを特徴とする請求項１８に記載の撮像素子。
21. 前記第１および第２の画素部は、マイクロレンズと、該マイクロレンズに対応する前記第１および第２の光電変換部と、さらに第３および第４の光電変換部を有し、
    前記第１の画素部は第１の行の画素部であって、前記第１および第４の光電変換部が第１の出力条件に設定され、前記第２および第３の光電変換部が第２の出力条件に設定され、
    前記第２の画素部は第２の行の画素部であって、前記第１および第４の光電変換部が前記第２の出力条件に設定され、前記第２および第３の光電変換部が前記第１の出力条件に設定されることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像素子。
22. 前記信号処理手段は、前記第１の画素部が有する前記第１および第３の光電変換部の信号と前記第２の画素部が有する前記第１および第３の光電変換部の信号とを加算した信号、および前記第１の画素部が有する前記第２および第４の光電変換部の信号と前記第２の画素部が有する前記第２および第４の光電変換部の信号とを加算した信号を用いて焦点検出の信号処理を行うことを特徴とする請求項２１に記載の撮像素子。
23. 前記信号処理手段は、前記第１の画素部が有する前記第１および第４の光電変換部の信号と、前記第２の画素部が有する前記第１および第４の光電変換部の信号または前記第２および第３の光電変換部の信号とを加算した信号、および前記第１の画素部が有する前記第２および第３の光電変換部の信号と、前記第２の画素部が有する前記第２および第３の光電変換部の信号または前記第１および第４の光電変換部の信号とを加算した信号を用いて画像信号のダイナミックレンジ拡大処理を行うことを特徴とする請求項２１または請求項２２に記載の撮像素子。
24. 複数の画素部を有する撮像素子と、前記画素部の信号を取得して焦点検出および画像生成の信号処理を行う信号処理手段とを備える撮像装置であって、
    第１の方向に配列された第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有し、前記第１および第２の光電変換部は画素部内で前記第１の方向とは異なる第２の方向に配列されており、
    前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する前記第１の光電変換部の信号を加算した第１の信号、および前記第１および第２の画素部がそれぞれ有する前記第２の光電変換部の信号を加算した第２の信号を用いて前記焦点検出の信号処理を行うことを特徴とする撮像装置。
25. 複数の画素部を有する撮像素子と、前記画素部の信号を取得して焦点検出および画像生成の信号処理を行う信号処理手段とを備える撮像装置であって、
    第１の方向に配列された第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有し、前記第１および第２の光電変換部は画素部内で前記第１の方向とは異なる第２の方向に配列されており、
    前記信号処理手段は、前記第１の画素部が有する前記第１の光電変換部の信号と前記第２の画素部が有する前記第２の光電変換部の信号とを加算した第１の信号、および前記第１の画素部が有する前記第２の光電変換部の信号と前記第２の画素部が有する前記第１の光電変換部の信号とを加算した第２の信号を用いて前記画像生成の信号処理を行うことを特徴とする撮像装置。
26. 複数の画素部を有する撮像素子と、前記画素部の信号を取得して複数の信号処理を行う信号処理手段とを備える撮像装置であって、
    第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有しており、
    前記信号処理手段は、
    前記第１および第２の画素部がそれぞれ有する第１の光電変換部の信号から算出した第１の信号と、前記第１および第２の画素部がそれぞれ有する第２の光電変換部の信号から算出した第２の信号を用いる第１の信号処理としての焦点検出処理と、
    前記第１の画素部が有する前記第１の光電変換部の信号と前記第２の画素部が有する前記第２の光電変換部の信号から算出した第３の信号と、前記第１の画素部が有する前記第２の光電変換部の信号と前記第２の画素部が有する前記第１の光電変換部の信号から算出した第４の信号を用いる第２の信号処理としてのダイナミックレンジ拡大処理を行い、
    前記信号処理手段は前記焦点検出処理にて、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が異なる光電変換部の信号同士を加算した信号を用いることを特徴とする撮像装置。
27. 複数の画素部を有する撮像素子と、前記画素部の信号を取得して複数の信号処理を行う信号処理手段とを備える撮像装置であって、
    第１および第２の画素部は、画素信号の出力条件の設定が異なる第１および第２の光電変換部を有し、
    前記信号処理手段は、前記第１および第２の画素部がそれぞれ有する前記第１および第２の光電変換部から画素信号の出力条件を合わせた複数の信号を取得して焦点検出処理を行い、前記光電変換部から出力条件が異なる複数の信号の組合せにより画像信号のダイナミックレンジ拡大処理を行う際、前記焦点検出処理の検出結果に対応する位相ずれ補正を行い、
    前記信号処理手段は前記ダイナミックレンジ拡大処理にて、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が同じ光電変換部の信号同士を加算した信号を用いることを特徴とする撮像装置。
28. 前記第１および第２の画素部は、マイクロレンズと、該マイクロレンズに対応する前記第１および第２の光電変換部をそれぞれ有することを特徴とする請求項２４乃至２７のいずれか１項に記載の撮像装置。
29. 撮像素子を構成する複数の画素部の信号を取得して、信号処理手段により複数の信号処理を行う撮像信号処理方法であって、
    第１の方向に配列された第１および第２の画素部はそれぞれ第１および第２の光電変換部を有し、前記第１および第２の光電変換部は画素部内で前記第１の方向とは異なる第２の方向に配列されており、
    前記撮像信号処理方法は、
    前記第１および第２の画素部にて、前記第１および第２の光電変換部に対する画素信号の出力条件を異なる設定にする工程と、
    前記信号処理手段が、前記第１および第２の画素部がそれぞれ有する前記第１の光電変換部の信号を加算した第１の信号、および前記第１および第２の画素部がそれぞれ有する前記第２の光電変換部の信号を加算した第２の信号を用いて信号処理を行う工程と、を有することを特徴とする撮像信号処理方法。
30. 撮像素子を構成する複数の画素部の信号を取得して、信号処理手段により複数の信号処理を行う撮像信号処理方法であって、
    第１の方向に配列された第１および第２の画素部はそれぞれ第１および第２の光電変換部を有し、前記第１および第２の光電変換部は画素部内で前記第１の方向とは異なる第２の方向に配列されており、
    前記撮像信号処理方法は、
    前記第１および第２の画素部にて、前記第１および第２の光電変換部に対する画素信号の出力条件を異なる設定にする工程と、
    前記第１の画素部が有する前記第１の光電変換部の信号と前記第２の画素部が有する前記第２の光電変換部の信号とを加算した第１の信号、および前記第１の画素部が有する前記第２の光電変換部の信号と前記第２の画素部が有する前記第１の光電変換部の信号とを加算した第２の信号を用いて前記信号処理手段が信号処理を行う工程と、を有することを特徴とする撮像信号処理方法。
31. 撮像素子を構成する複数の画素部の信号を取得して、信号処理手段により複数の信号処理を行う撮像信号処理方法であって、
    第１および第２の画素部はそれぞれ、第１および第２の光電変換部を有しており、
    前記撮像信号処理方法は、
    前記第１および第２の画素部にて、前記第１および第２の光電変換部に対する画素信号の出力条件を異なる設定にする工程と、
    前記信号処理手段によって、
    前記第１および第２の画素部がそれぞれ有する第１の光電変換部の信号から算出した第１の信号と、前記第１および第２の画素部がそれぞれ有する第２の光電変換部の信号から算出した第２の信号を用いる第１の信号処理としての焦点検出処理を行う工程と、
    前記第１の画素部が有する前記第１の光電変換部の信号と前記第２の画素部が有する前記第２の光電変換部の信号から算出した第３の信号と、前記第１の画素部が有する前記第２の光電変換部の信号と前記第２の画素部が有する前記第１の光電変換部の信号から算出した第４の信号を用いる第２の信号処理としてのダイナミックレンジ拡大処理を行う工程と、を有し、
    前記信号処理手段は前記焦点検出処理にて、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が異なる光電変換部の信号同士を加算した信号を用いることを特徴とする撮像信号処理方法。
32. 撮像素子を構成する複数の画素部の信号を取得して、信号処理手段により複数の信号処理を行う撮像信号処理方法であって、
    第１および第２の画素部はそれぞれ、第１および第２の光電変換部を有しており、
    前記撮像信号処理方法は、
    前記第１および第２の画素部にて、前記第１および第２の光電変換部に対する画素信号の出力条件を異なる設定にする工程と、
    前記信号処理手段により、前記第１および第２の画素部がそれぞれ有する前記第１および第２の光電変換部から画素信号の出力条件を合わせた複数の信号を取得して焦点検出処理を行い、前記光電変換部から出力条件が異なる複数の信号の組合せにより画像信号のダイナミックレンジ拡大処理を行う際、前記焦点検出処理の検出結果に対応する位相ずれ補正を行う工程と、を有し、
    前記信号処理手段は前記ダイナミックレンジ拡大処理にて、前記第１および第２の画素部がそれぞれ有する、画素信号の出力条件の設定が同じ光電変換部の信号同士を加算した信号を用いることを特徴とする撮像信号処理方法。
    

Images