WO2021192176A1

WO2021192176A1 - 撮像装置

Info

Publication number: WO2021192176A1
Application number: PCT/JP2020/013789
Authority: WO
Inventors: 義尚島田
Original assignee: オリンパス株式会社
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2021-09-30
Also published as: US20230012537A1; JPWO2021192176A1; JP7329136B2

Abstract

撮像装置は、各画素がｎ分割された複数の画素を有するイメージセンサ（２）と、イメージセンサ（２）から出力される撮像信号を画像処理する画像処理回路（３）と、を備える。イメージセンサ（２）は、ｎ個の分割画素信号から画素信号を生成して１行で読み出す第１の読出モード、またはｎ個の分割画素信号からｎ個の信号を生成してｎ行で読み出す第２の読出モードで、各画素行を読み出し可能である。画像処理回路（３）は、第１の読出モードで読み出される画素信号と、第２の読出モードで読み出されるｎ個の信号とを処理して、画素行毎に画素データが所定の順序で配列された画像データを生成する。

Description

撮像装置

　本発明は、画素が複数に分割されたイメージセンサを備える撮像装置に関する。

　近年、像面位相差イメージセンサを搭載して、像面位相差ＡＦを行うデジタルカメラ等の撮像装置が普及してきている。フォーカス位置を変更しながら取得した画像のコントラスト値のピークを探索する従来のコントラストＡＦ方式に比べて、像面位相差ＡＦはコントラスト値のピークを探索することなく、現在のフォーカス位置からフォーカスを合わせるためのフォーカスレンズの駆動方向と必要駆動量を取得することができるため、高速にフォーカスを合わせることができるという特徴がある。

　像面位相差イメージセンサは、瞳分割された光線を光電変換素子（光電変換素子の一例としてはフォトダイオード（ＰＤ）が挙げられ、以下では簡単のためにＰＤという）により光電変換して、位相差検知を可能とするものである。この像面位相差イメージセンサには、代表的な２つの方式があり、１つの方式は遮光式像面位相差イメージセンサ、他の１つの方式はＰＤ分割方式像面位相差イメージセンサである。

　遮光式像面位相差イメージセンサは、画素内のマイクロレンズ下に配置されたＰＤへ入射する光線の一部を遮る遮光構造を備え、遮光構造の配置に応じて撮影レンズから入射する光線を瞳分割する方式のものである。

　一方、ＰＤ分割方式像面位相差イメージセンサは、遮光構造を備える代わりに、画素内におけるＰＤを分割することで、撮影レンズから入射する光線を瞳分割する方式のものである。ＰＤ分割方式における瞳分割の仕方は、ＰＤの分割の仕方を変えることでなされる。

　例えば、日本国特開２０１６－１０５１８７号公報には、９分割されたＰＤの信号の、一部を加算平均することにより左瞳分割用の画素データを生成し、他の一部を加算平均することにより右瞳分割用の画素データを生成し、全てを加算平均することにより静止画用ＲＡＷデータの画素データを生成する技術が記載されている。

　ＰＤ分割方式像面位相差イメージセンサでは、位相差検知するペア（例えば左右ペア、上下ペアなど）を１画素内で構成できるのに対して、遮光式像面位相差イメージセンサでは１画素内で構成できず複数画素を要するために、前者は後者よりもフォーカス検知精度を大幅に向上することができる。

　その一方で、非像面位相差のイメージセンサと比べて、遮光式像面位相差イメージセンサはＰＤの数が変わらないが、ＰＤ分割方式像面位相差イメージセンサは画素の分割数ｎに応じてＰＤの数がｎ倍になる。その結果、ＰＤ分割方式像面位相差イメージセンサは、遮光式像面位相差イメージセンサ（および非像面位相差のイメージセンサ）に対して、信号読出時間がｎ倍となって、撮像レートおよび位相差情報の取得レートが１／ｎになってしまう。

　本発明は上記事情に鑑みてなされたものであり、撮像レートの低下を抑制しながら位相差情報も取得することができる、画素が複数に分割されたイメージセンサを備える撮像装置を提供することを目的としている。

　本発明の一態様による撮像装置は、複数の画素が行方向および前記行方向に交差する方向に配列され、ｎを２以上の整数とすると、前記複数の画素は、それぞれ、１個のマイクロレンズと、ｎ個の光電変換素子と、を備え、前記マイクロレンズからの光を前記ｎ個の光電変換素子により光電変換して生成されるｎ個の分割画素信号、に係る撮像信号を出力するイメージセンサと、前記イメージセンサから出力される前記撮像信号を画像処理する画像処理回路と、を具備し、前記イメージセンサは、前記行方向に配列された複数の画素でなる画素行毎に、前記ｎ個の分割画素信号に係る前記撮像信号を、第１の読出モードまたは第２の読出モードで読み出し可能であり、前記第１の読出モードは、前記ｎ個の分割画素信号を加算して１個の画素信号を生成し、１画素行を１行で読み出すモードであり、前記第２の読出モードは、前記ｎ個の分割画素信号からｎ個の信号を生成し、１画素行をｎ行で読み出すモードであり、前記画像処理回路は、前記第１の読出モードで読み出される画素行の画素信号と、前記第２の読出モードで読み出される画素行の前記ｎ個の信号と、を処理して、画素行毎に画素データが所定の順序で配列された画像データを生成する。

本発明の一実施形態における撮像装置の構成を示すブロック図。上記実施形態における画像処理回路の構成を示すブロック図。上記実施形態のイメージセンサにおける、２分割および４分割の画素分割構成と読出回路との例を示す図表。上記実施形態のイメージセンサから通常読み出し方式で読み出され並替回路により並び替えられた画像データの一部を例示する図。上記実施形態のイメージセンサから加算読み出し方式で読み出され並替回路により並び替えられた画像データの一部を例示する図。上記実施形態のイメージセンサから読み出され並替回路により並び替えられた画像データの構成を示す図。上記実施形態のイメージセンサにおける１ＰＤ領域の読出回路の作用を示すタイミングチャート。上記実施形態のイメージセンサにおける２ＰＤ領域の読出回路の、通常読み出し方式における作用を示すタイミングチャート。上記実施形態のイメージセンサにおける２ＰＤ領域の読出回路の、加算読み出し方式における作用を示すタイミングチャート。上記実施形態において、イメージセンサが通常読み出し方式で動作し、イメージセンサのＯＢクランプ回路が１つであるときの、２ＰＤ領域から読み出された分割画素信号と、１ＰＤ領域から読み出された画素信号とのＯＢレベルの例を示す図。上記実施形態において、イメージセンサが通常読み出し方式で動作し、イメージセンサのＯＢクランプ回路が２つであるときの、２ＰＤ領域から読み出された分割画素信号と、１ＰＤ領域から読み出された画素信号とのＯＢレベルの例を示す図。上記実施形態において、加算読み出し方式で動作するイメージセンサの、２ＰＤ領域から読み出された画素信号（Ｌ＋Ｒ）と、１ＰＤ領域から読み出された画素信号ＡＬＬとを、１つのＯＢクランプ回路でＯＢクランプしたときの、ＯＢレベルの例を示す図。上記実施形態において、加算読み出し方式で動作するイメージセンサの、２ＰＤ領域から読み出された画素信号（Ｌ＋Ｒ）と、１ＰＤ領域から読み出された画素信号ＡＬＬとに、ＣＤＳ期間の差に起因するＯＢレベルの相違が発生する例を示す図。上記実施形態において、通常露光画像と、高速映像位相差読出露光画像と、補正用遮光画像と、における暗時シェーディングの例を示す図。上記実施形態において、高速映像位相差読出露光画像の暗時シェーディング補正方法を、通常露光画像の暗時シェーディング補正方法と対比して説明するための図。

　以下、図面を参照して本発明の実施の形態を説明する。

　図１から図１５は本発明の一実施形態を示したものであり、図１は撮像装置の構成を示すブロック図である。

　なお、図１には撮像装置が例えばデジタルカメラとして構成されている例を示すが、撮像装置はデジタルカメラに限定されるものではなく、デジタルビデオカメラ、撮影機能付き電話装置、電子内視鏡、撮影機能付き顕微鏡、撮影機能付き望遠鏡など、撮影機能を有する各種の装置の何れであっても構わない。

　この撮像装置は、図１に示すように、レンズ１と、イメージセンサ２と、画像処理回路３と、ディスプレイ４と、手振センサ６と、手振補正機構７と、フォーカス制御機構８と、カメラ操作デバイス９と、カメラコントローラ１０と、を備えている。なお、図１には記録用メモリ５も記載されているが、この記録用メモリ５は撮像装置に対して着脱可能に構成されていても構わないために、撮像装置に固有の構成でなくてもよい。

　レンズ１は、被写体の光学像をイメージセンサ２に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズを含む１枚以上のレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。

　なお、図示はしないが、例えばレンズ１とイメージセンサ２との間に、露光時間を制御するためのメカニカルシャッタをさらに備えているものとする。

　イメージセンサ２は、レンズ１の撮影光軸の光路上に配置されていて、レンズ１により結像された被写体の光学像を光電変換して電気信号である撮像信号として出力する。

　イメージセンサ２は、複数の画素が行方向および行方向に交差する方向に配列されている。行方向に交差する方向は、一例としては行方向に直交する方向（列方向）が挙げられるが、これに限定されるものではなく、行方向に斜交する方向（例えば、いわゆるハニカム構造の配置）などであっても構わない。

　ｎを２以上の整数とすると、イメージセンサ２に設けられた複数の画素は、それぞれ、１個のマイクロレンズＭＬ（図３参照）と、ｎ個の光電変換素子ＰＤ（図３参照）と、を備えている。なお、一般的な光学レンズは、光軸方向に沿って複数枚で構成されていることが通常である。従って、光軸方向に沿って複数枚で構成したマイクロレンズＭＬの場合にも、１個のマイクロレンズＭＬと数えることにする。

　そして、イメージセンサ２は、マイクロレンズＭＬからの光をｎ個の光電変換素子ＰＤにより光電変換して生成されるｎ個の分割画素信号、に係る撮像信号を出力する。

　ここに、ｎ個の分割画素信号に係る撮像信号は、１画素がＬ（左）とＲ（右）に２分割されている場合を例に挙げれば、ｎ個の分割画素信号自体（分割画素信号Ｌおよび分割画素信号Ｒ）、ｎ個の分割画素信号を構成可能な信号（画素信号（Ｌ＋Ｒ）および分割画素信号Ｌ）（または、画素信号（Ｌ＋Ｒ）および分割画素信号Ｒ）ｎ個の分割画素信号を加算して得られる画素信号（２ＰＤ領域からの画素信号（Ｌ＋Ｒ）、１ＰＤ領域からの画素信号ＡＬＬ）などである。

　イメージセンサ２は、１個のマイクロレンズＭＬに１つのフィルタ色が対応するように、複数のフィルタ色のカラーフィルタが所定の基本配列の繰り返しとして配置されたカラーイメージセンサとなっている。ただし、イメージセンサ２はカラーイメージセンサに限定されるものではなく、モノクロイメージセンサであっても構わない。

　イメージセンサ２の所定の基本配列は、例えば２×２画素のベイヤー配列（原色ベイヤー配列、補色ベイヤー配列など）が挙げられるが、これに限らず、６×６画素の基本配列などであっても構わない。本実施形態では、所定の基本配列が原色ベイヤー配列である場合を説明する。

　こうして、イメージセンサ２は、画素が複数の分割画素に分割された、いわゆるＰＤ分割方式像面位相差イメージセンサとなっている。

　ここで、図３は、イメージセンサ２における、２分割および４分割の画素分割構成と読出回路との例を示す図表である。

　原色ベイヤー配列は、縦２×横２画素を基本配列として、基本配列を行方向および列方向に周期的に繰り返したものとなっている。原色ベイヤー配列の基本配列は、対角位置に緑色フィルタＧｒ，Ｇｂを配置し、緑色フィルタＧｒと同一行に赤色フィルタＲｒを、緑色フィルタＧｂと同一行に青色フィルタＢｂを、それぞれ配置したものである。

　ここに、緑色フィルタＧｒと緑色フィルタＧｂは分光特性が同一であるが、赤色フィルタＲｒと青色フィルタＢｂとの何れと同一行であるかに応じて区別している。なお、左（Ｌ）右（Ｒ）のＲと区別するために、フィルタ色の赤はＲｒと記載しており、青も同様にＢｂと記載している。

　そして、１個の画素には、４つのフィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの内の何れか１つのフィルタ色のカラーフィルタと、１個のマイクロレンズＭＬと、が含まれている。ここに、非像面位相差のイメージセンサ（または、遮光式像面位相差イメージセンサ）の場合には、１個の画素に１個の光電変換素子ＰＤが対応する構成となるが、本実施形態の、ＰＤ分割方式像面位相差イメージセンサであるイメージセンサ２は、画素の分割数ｎに応じたｎ個の光電変換素子ＰＤが１個の画素に含まれる構成となっている。

　また、イメージセンサ２に設けられている複数の画素は、遮光膜等が形成されておらず遮光されていない通常画素と、画素の受光部上の全面に遮光膜等が形成されていて遮光された画素であるＯＢ（オプティカルブラック（Optical Black）：光学黒）画素と、を含む。通常画素およびＯＢ画素の配置例については、後で図６を参照して説明する。

　図３の第１欄は１個の画素が右（Ｒ）左（Ｌ）に２分割された例を示している。なお、図３において、表の横並びを上から下に向かって順に第１欄～第３欄と呼んでいる。

　ここに、１個のマイクロレンズＭＬに対するｎ個の光電変換素子ＰＤの配置を、分割配置と呼ぶことにする。このとき、第１欄に示す分割配置は、左（Ｌ）および右（Ｒ）の２種類（ｎ＝２）である。このＲＬ分割配置は、横方向の位相差検知（いわゆる縦線検知）に適している。

　そして、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素に対して、２つの分割配置の光電変換素子ＰＤ、すなわち、左側の光電変換素子ＰＤＬ，右側の光電変換素子ＰＤＲがそれぞれ設けられている。各光電変換素子ＰＤＬ，ＰＤＲは、例えばフォトダイオードとして構成され、入射光を光電変換して電荷を発生させる。

　各光電変換素子ＰＤＬ，ＰＤＲは、読出スイッチとして機能するトランジスタＴｒＬ，ＴｒＲをそれぞれ経由して、フローティングディフュージョンＦＤに接続されている。

　このような構成において、トランジスタＴｒＬ，ＴｒＲの１つ以上をオンすれば、オンにされたトランジスタＴｒに接続されている光電変換素子ＰＤの電荷がフローティングディフュージョンＦＤへ転送される。

　従って、トランジスタＴｒＬ，ＴｒＲの何れか１つだけをオンすれば、光電変換素子ＰＤＬ，ＰＤＲの内の何れか１つだけの電荷がフローティングディフュージョンＦＤへ転送され、後述するように、分割画素信号Ｌまたは分割画素信号Ｒを読み出すことができる。

　また、トランジスタＴｒＬ，ＴｒＲの２つをオンすれば、光電変換素子ＰＤＬ，ＰＤＲの電荷がフローティングディフュージョンＦＤへ転送され、つまり、２個の光電変換素子ＰＤＬ，ＰＤＲの電荷が加算されて、通常（Ｌ＋Ｒ）の画素信号を読み出すことができる。

　フローティングディフュージョンＦＤおよびトランジスタＴｒＬ，ＴｒＲは、リセットスイッチとして機能するトランジスタＴｒＲＥＳを経由して、電源電圧ＶＤＤに接続されている。トランジスタＴｒＲＥＳをオンすることで、フローティングディフュージョンＦＤがリセットされる。このときさらに、トランジスタＴｒＬ，ＴｒＲを同時にオンすれば、各光電変換素子ＰＤＬ，ＰＤＲもリセットされる。

　フローティングディフュージョンＦＤは、トランジスタＴｒＡＭＰとトランジスタＴｒＳＥＬとを経由して、垂直信号線ＶＳＬに接続されている。ここに、トランジスタＴｒＡＭＰは、電源電圧ＶＤＤに接続されトランジスタＴｒＳＥＬを経由し図示していない定電流回路と接続されて増幅回路として機能し、トランジスタＴｒＳＥＬは、選択スイッチとして機能する。

　そして、トランジスタＴｒＳＥＬをオンすることで、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒＡＭＰにより増幅されて、垂直信号線ＶＳＬから読み出されるようになっている。

　次に、図３の第２欄は１個の画素が上（Ｕ）下（Ｄ）に２分割された例を示している。

　すなわち、第２欄に示す分割配置は、上（Ｕ）および下（Ｄ）の２種類（ｎ＝２）である。このＵＤ分割配置は、縦方向の位相差検知（いわゆる横線検知）に適している。

　そして、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素に対して、２つの分割配置の光電変換素子ＰＤ、すなわち、上側の光電変換素子ＰＤＵ，下側の光電変換素子ＰＤＤがそれぞれ設けられている。各光電変換素子ＰＤＵ，ＰＤＤは、例えばフォトダイオードとして構成され、入射光を光電変換して電荷を発生させる。

　なお、読出回路は、ＬＲがＵＤになった点を除いて、ＲＬ２分割の場合と同様である。

　そして、トランジスタＴｒＵ，ＴｒＤの何れか１つだけをオンすれば、Ｕ分割画素信号またはＤ分割画素信号を読み出すことができる。

　一方、トランジスタＴｒＵ，ＴｒＤの２つをオンすれば、２個の光電変換素子ＰＤＵ，ＰＤＤの電荷が加算されて、通常（Ｕ＋Ｄ）の画素信号を読み出すことができる。

　続いて、図３の第３欄は１個の画素が右（Ｒ）左（Ｌ）上（Ｕ）下（Ｄ）に４分割された例を示している。

　第３欄に示す分割配置は、左上（ＬＵ），右上（ＲＵ），左下（ＬＤ），右下（ＲＤ）の４種類（ｎ＝４）である。この４分割配置は、横方向の位相差検知（いわゆる縦線検知）と、縦方向の位相差検知（いわゆる横線検知）と、の何れにも適している。

　そして、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素に対して、４つの分割配置の光電変換素子ＰＤ、すなわち、左上側の光電変換素子ＰＤＬＵ，右上側の光電変換素子ＰＤＲＵ，左下側の光電変換素子ＰＤＬＤ，右下側の光電変換素子ＰＤＲＤがそれぞれ設けられている。各光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤは、例えばフォトダイオードとして構成され、入射光を光電変換して電荷を発生させる。

　各光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤは、読出スイッチとして機能するトランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤをそれぞれ経由して、フローティングディフュージョンＦＤに接続されている。

　このような構成において、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの１つ以上をオンすれば、オンにされたトランジスタＴｒに接続されている光電変換素子ＰＤの電荷がフローティングディフュージョンＦＤへ転送される。

　従って、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの内の１つだけをオンすれば、光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤの内の１つだけの電荷がフローティングディフュージョンＦＤへ転送され、ＬＵ分割画素信号、ＲＵ分割画素信号、ＬＤ分割画素信号、またはＲＤ分割画素信号として読み出すことができる。

　また、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの内の２つ以上をオンすれば、光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤの内の２つ以上の電荷がフローティングディフュージョンＦＤへ転送され、つまり、２個以上の光電変換素子ＰＤの電荷が加算されて読み出すことができる。

　従って、例えばＵＤ加算を行うことで、Ｌ（ＬＵ＋ＬＤ）分割画素信号、Ｒ（ＲＵ＋ＲＤ）分割画素信号を読み出すことができる。この読み出し方法を採用する場合には、１個の画素がＲＬに２分割されている（ｎ＝２である）ものとして取り扱うことができる。

　また例えばＲＬ加算を行うことで、Ｕ（ＬＵ＋ＲＵ）分割画素信号、Ｄ（ＬＤ＋ＲＤ）分割画素信号を読み出すことができる。この読み出し方法を採用する場合には、１個の画素がＵＤに２分割されている（ｎ＝２である）ものとして取り扱うことができる。

　さらに例えばＲＬＵＤ加算を行うことで、通常（ＬＵ＋ＲＵ＋ＬＤ＋ＲＤ）の画素信号を読み出すことができる。

　加えて、ＲＬＵＤ４分割の画素の内の３つを加算（具体的に、ＬＵ＋ＲＵ＋ＬＤ、ＬＵ＋ＲＵ＋ＲＤ、ＬＵ＋ＬＤ＋ＲＤ、ＲＵ＋ＬＤ＋ＲＤ）した分割画素信号を読み出すことも可能となっている。

　フローティングディフュージョンＦＤおよびトランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤは、リセットスイッチとして機能するトランジスタＴｒＲＥＳを経由して、電源電圧ＶＤＤに接続されている。トランジスタＴｒＲＥＳをオンすることで、フローティングディフュージョンＦＤがリセットされる。このときさらに、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤを同時にオンすれば、各光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤもリセットされる。

　フローティングディフュージョンＦＤは、電源電圧ＶＤＤに接続されトランジスタＴｒＳＥＬを経由し図示していない定電流回路と接続されて増幅回路として機能するトランジスタＴｒＡＭＰと、選択スイッチとして機能するトランジスタＴｒＳＥＬと、を経由して垂直信号線ＶＳＬに接続されている。

　このようなＰＤ分割方式像面位相差イメージセンサから、画素内の全ての分割画素を加算して画素信号を生成し読み出す（適宜、映像読出モードという）と、画素分割されていない通常のイメージセンサから画素信号を読み出す場合と同様の読出時間で読み出すことができるが、位相差情報を得ることができない。

　一方、ＰＤ分割方式像面位相差イメージセンサから全ての分割画素を読み出す（適宜、全位相差読出モードという）と、分割画素を加算して画素信号を生成し読み出す場合に比べて、２分割の場合には約２倍の読出時間が、４分割の場合には約４倍の読出時間がかかるために、撮像レートが低下してしまう。

　そこで、本実施形態のイメージセンサ２は、行方向に配列された複数の画素でなる画素行毎に、ｎ個の分割画素信号に係る撮像信号を、第１の読出モードまたは第２の読出モードで読み出す（ある画素行を第１の読出モードで読み出し、他の画素行を第２の読出モードで読み出す）ことが可能となっている。このような読出モードを、適宜、高速映像位相差読出モードと呼ぶことにする。

　この高速映像位相差読出モードにおいて、イメージセンサ２は、通常画素の撮像信号を、第１の読出モードおよび第２の読出モードで読み出す（ある通常画素行を第１の読出モードで読み出し、他の通常画素行を第２の読出モードで読み出す）とともに、ＯＢ画素の撮像信号を、第１の読出モードおよび第２の読出モードで読み出す（あるＯＢ画素行を第１の読出モードで読み出し、他のＯＢ画素行を第２の読出モードで読み出す）。

　ここに、第１の読出モードは、ｎ個の分割画素信号を加算して１個の画素信号を生成し、１画素行を１行で読み出すモードである。第１の読出モードでは、１個の画素が１個の光電変換素子ＰＤのみで構成されている（つまり分割されていない）状態と同等の画素信号が出力されることから、適宜、「１ＰＤ」と記載する。

　また、第２の読出モードは、ｎ個の分割画素信号からｎ個の信号を生成し、１画素行をｎ行、または、それより少ない自然数（１以上の整数）行で読み出すモードである。この第２の読出モードには、後述するように、通常読み出し方式と加算読み出し方式の２つがあるが、何れの方式で読み出したとしても、ｎ個、または、それより少ない自然数（１以上の整数）の信号を出力することから、適宜、その読み出し行数を用いた「ｋＰＤ」ここで、ｋは自然数（１以上の整数）でｎ以下の値（２分割の場合でｋ＝ｎの場合には「２ＰＤ」）と記載する。

　このように第１の読出モードで読み出す画素行と第２の読出モードで読み出す画素行との両方を設けることより、撮像レートの低下を抑制しながら、位相差情報も取得することが可能となる。

　なお、本実施形態のイメージセンサ２は、上述した映像読出モードおよび全位相差読出モードでも動作可能であるが、以下では、高速映像位相差読出モードで動作する場合について説明する。

　読出回路から読み出された撮像信号は、イメージセンサ２内に設けられた図示しない列並列型Ａ／Ｄ変換器（いわゆるカラムＡＤＣ）によりデジタル信号に変換され、イメージセンサ２内に設けられたＯＢクランプ回路２ａによりＯＢレベルを所定の目標レベル（ＯＢクランプレベル）（固定値）に設定される。ここに、カラムＡＤＣおよびＯＢクランプ回路２ａは、１つずつ設けられているに限らず、読出速度を向上するため等により複数設けられていることもある。

　画像処理回路３は、イメージセンサ２から出力される撮像信号（ｎ個の光電変換素子ＰＤにより生成されたｎ個の分割画素信号に係る、撮像信号）を入力して、入力した信号に各種の画像処理を行い、表示用もしくは記録用の画像信号を生成するものである。

　ディスプレイ４は、画像処理回路３により表示用に画像処理された信号に基づき、画像を表示する表示デバイスである。このディスプレイ４は、ライブビュー表示、撮影後の静止画像のレックビュー表示、記録済みの静止画像の再生表示、動画録画中表示、記録済みの動画像の再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。

　記録用メモリ５は、画像処理回路３により記録用に画像処理された信号（静止画像信号、動画像信号など）を保存するためのものであり、例えば撮像装置に着脱可能なメモリカード、もしくは撮像装置の内部に設けられている不揮発性メモリ等により構成されている。

　手振センサ６は、加速度センサや角速度センサ等を有して構成され、撮像装置の手振れを検出してカメラコントローラ１０へ出力するセンシングデバイスである。

　手振補正機構７は、カメラコントローラ１０の制御に基づいて、手振センサ６により検出された手振れを相殺するようにレンズ１とイメージセンサ２との少なくとも一方をアクチュエータ等により移動し、イメージセンサ２に結像される光学的な被写体像に手振れの影響が生じるのを軽減するメカニカル機構である。

　フォーカス制御機構８は、カメラコントローラ１０の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、イメージセンサ２に結像される被写体像が合焦に至るようにするメカニカル機構である。また、フォーカス制御機構８は、レンズ位置などのレンズ駆動情報をカメラコントローラ１０へ出力するようになっている。

　カメラ操作デバイス９は、撮像装置に対する各種の操作を行うための入力デバイスである。カメラ操作デバイス９には、例えば、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影または動画撮影などを指示入力するためのレリーズボタン、静止画撮影モード、動画撮影モード、ライブビューモード、静止画／動画再生モードなどを設定するためのモードボタン、記録するファイルの種類（ＪＰＥＧ画像ファイル、ＲＡＷ画像ファイル、もしくはこれらの組み合わせ等）を設定するための操作ボタン、などの操作部材が含まれている。

　カメラコントローラ１０は、画像処理回路３からの情報（後述するように、露光レベル、コントラスト、位相差などの情報を含む）、手振センサ６からの手振情報、フォーカス制御機構８からのレンズ駆動情報、カメラ操作デバイス９からの入力などに基づいて、レンズ１、イメージセンサ２、画像処理回路３、記録用メモリ５、手振補正機構７、フォーカス制御機構８等を含むこの撮像装置全体を制御するものである。

　例えば、カメラコントローラ１０は、イメージセンサ２を駆動制御して撮像を行わせる。また、カメラコントローラ１０は、露光レベルの情報に基づいて、レンズ１の絞りを制御するようになっている。

　さらに、カメラコントローラ１０は、コントラストまたは位相差の情報に基づいてフォーカス制御機構８を制御し、レンズ１のフォーカスレンズを駆動させて、コントラストＡＦまたは位相差ＡＦによるオートフォーカスを行わせる。

　次に、図２は、画像処理回路３の構成を示すブロック図である。

　画像処理回路３は、画像データ生成回路１１と、第１画像処理回路１２と、メモリ１３と、第２画像処理回路１４と、を備えている。

　画像データ生成回路１１は、イメージセンサ２から出力される撮像信号に、イメージセンサの特性に応じた補正処理等を行って、画像データを生成する。

　第１画像処理回路１２は、画像データ生成回路１１から出力される信号に基づき、リサイズ、ＡＥ（自動露出）、ＡＦ（オートフォーカス）に係る処理を行う。

　メモリ１３は、画像データ生成回路１１、第１画像処理回路１２、および第２画像処理回路１４により処理された、もしくは処理途中の画像データを記憶するフレームメモリであり、例えばＲＡＭ（Random Access Memory）等の揮発性記憶部分と、ＦＲＯＭ（Flash ROM：フラッシュメモリ（登録商標）（flash memory））等の不揮発性記憶部分と、を備えて構成されている。ここで、一般的に不揮発性記憶部分に記憶された各種データは揮発性記憶部分へ転送された後、各種処理に使用されるような使われ方をする。また、揮発性記憶部分のデータを比較的長い時間あるいは電源オフ時でも保持するために不揮発性記憶部分へ移す使われ方も考えられる。これは一般に、揮発記憶部分は、高速で動作でき、かつ低価格で大容量に構成し易いためである。

　メモリ１３には、カメラコントローラ１０もアクセス可能となっており、メモリ１３に記憶されている情報がカメラコントローラ１０により読み出され、もしくはカメラコントローラ１０が情報をメモリ１３に記憶させるようになっている。

　具体例として、メモリ１３は、画像データ生成回路１１により生成された画像データを一時的に記憶する。

　さらに、メモリ１３は、画像データ生成回路１１の後述するＰＤミックス処理対応暗時シェーディング補正回路２３が暗時シェーディング補正を行う際に参照するための、補正用遮光画像を一時的に、または不揮発に記憶する。

　加えて、メモリ１３は、画像データ生成回路１１の後述するレンズシェーディング補正回路２８がレンズシェーディング補正を行う際に参照するための、レンズシェーディングデータを一時的に、または不揮発に記憶する。

　第２画像処理回路１４は、画像データ生成回路１１により生成された画像データを画像処理する。

　画像データ生成回路１１は、並替回路２１と、ＰＤミックス回路２２と、ＰＤミックス処理対応暗時シェーディング補正回路２３と、ＯＢ減算回路２４と、横筋補正回路２５と、感度補正回路２６と、リニアリティ補正回路２７と、レンズシェーディング補正回路２８と、欠陥補正回路２９と、を備えている。

　並替回路２１は、第１の読出モードで読み出される画素行の画素信号と、第２の読出モードで読み出される画素行のｎ個の信号と、を処理して、画素行毎に画素データが所定の順序で配列された画像データを生成する。

　イメージセンサ２からの撮像信号の出力順序は、イメージセンサ２上の画素配列に従ったライン（行）順になるとは限らない。例えば、イメージセンサ２にカラムＡＤＣが複数設けられている場合には、同時並列的に複数のラインが読み出されることになる。そこで、並替回路２１は、イメージセンサ２から順次出力される撮像信号を、画像データ生成回路１１内の後段の各回路が処理を行うのに適する順序に並び替える。

　ＰＤミックス回路２２は、第１の読出モードで読み出される画素行の画素信号から画像データにおける第１の画素データ配列を生成し、第２の読出モードで読み出される画素行のｎ個の信号から１個の画素信号を生成または抽出して画像データにおける第２の画素データ配列を生成する第１の回路である。ここに、第１の画素データ配列と第２の画素データ配列は、画素データの配列順序が同一である。

　具体的に、ＰＤミックス回路２２は、並替回路２１により並び替えられた撮像信号に含まれる分割画素信号から、画素信号を生成または抽出して出力する（ＰＤミックス処理）。従って、画像データ生成回路１１内におけるＰＤミックス回路２２の後段に配置された各回路は、画素信号のみで構成される（つまり、分割画素信号を含まない）画像データ（いわゆるＲＡＷ画像データ）を処理することになる。これにより、後述するＰＤミックス処理対応暗時シェーディング補正回路２３を除いて一般的な処理回路を用いることが可能となり、コストダウンを図ることができる。

　ＰＤミックス処理対応暗時シェーディング補正回路２３は、画像データに暗時シェーディング補正を行う第２の回路である。

　ＰＤミックス処理対応暗時シェーディング補正回路２３は、メモリ１３から補正用遮光画像を読み出して、補正用遮光画像からＯＢクランプレベルを減算して暗時シェーディングデータを生成する。そして、ＰＤミックス処理対応暗時シェーディング補正回路２３は、画素信号から、画素位置に応じた暗時シェーディングデータを減算することにより、暗時シェーディング補正を行う。

　より正確には、後で図１４および図１５を参照して説明するように、ＰＤミックス処理対応暗時シェーディング補正回路２３は、ＰＤミックス回路２２により生成される第１の画素データ配列の各画素データから、画素位置に応じた暗時シェーディングデータを減算し、ＰＤミックス回路２２により生成される第２の画素データ配列の各画素データから、画素位置に応じた暗時シェーディングデータをｎ倍したデータを減算するようになっている。

　なお、ＰＤミックス処理対応暗時シェーディング補正回路２３による暗時シェーディング補正は、フィルタ色を区別して行われる。

　ＯＢ減算回路２４は、ＰＤミックス処理対応暗時シェーディング補正回路２３から出力された画像データに対して、フィルタ色を区別してＯＢレベルの減算処理を行う。

　横筋補正回路２５は、読出回路が動作する単位（例えば１行単位）で画像上にランダムに発生する筋（ランダム筋）を補正する。

　感度補正回路２６は、画像データの各画素信号にフィルタ色を区別して感度補正を行う。

　リニアリティ補正回路２７は、画像データの各画素信号に、フィルタ色を区別してリニアリティ補正を行う。

　レンズシェーディング補正回路２８は、画素の位置に応じたレンズシェーディングデータに基づいて、画像データの各画素信号に、フィルタ色を区別してレンズシェーディング補正を行う。

　欠陥補正回路２９は、画像データに含まれる欠陥画素信号を、欠陥画素信号の周囲の正常画素信号に基づいて補正する。ここに、欠陥補正回路２９による欠陥画素補正は、フィルタ色を区別して行われる。欠陥補正回路２９により生成される画像データは、メモリ１３に格納される。

　第１画像処理回路１２は、位相差検出回路３１と、リサイズ回路３２と、露光レベル検出回路３３と、コントラスト検出回路３４と、を備えている。

　位相差検出回路３１は、並替回路２１により並び替えられた撮像信号に含まれる分割画素信号から、位相差情報を検出する。そして、位相差検出回路３１は、検出した位相差情報をメモリ１３に記憶させる。ここで検出された位相差情報は、カメラコントローラ１０によりメモリ１３から読み出されて、像面位相差ＡＦ用の情報として用いられる。すなわち、カメラコントローラ１０は、像面位相差ＡＦ情報に基づいて、フォーカスレンズの駆動方向およびその必要駆動量を決定し、フォーカス制御機構８によりレンズ１のフォーカスレンズを駆動する。

　なお、第２の読出モードにおけるイメージセンサ２からの分割画素信号の読み出し方式には、図８および図９を参照して後述するように、例えば、通常読み出し方式と加算読み出し方式の２つがある。

　１個の画素がＬ分割画素とＲ分割画素との２つに分割されている場合を例に挙げると、通常読み出し方式は、Ｌ分割画素により生成された分割画素信号Ｌと、Ｒ分割画素により生成された分割画素信号Ｒと、をそれぞれ読み出す方式である。ｎ分割の場合、イメージセンサ２は、第２の読出モードでは、ｎ個の分割画素信号をｎ行で読み出す。また、イメージセンサ２は、図４を参照して後述するように、第２の読出モードの通常読み出し方式において、ｎ個の分割画素信号からｍ（ｍ＜ｎ）個の信号を生成し、ｍ行で読み出すことも可能である。具体的に４分割の場合、信号（ＬＵ＋ＬＤ）と信号（ＲＵ＋ＲＤ）を２行で読み出す例が挙げられる。この場合、信号（ＬＵ＋ＬＤ）と信号（ＲＵ＋ＲＤ）を加算することにより画素信号（ＬＵ＋ＬＤ＋ＲＵ＋ＲＤ）を生成することができる。また、位相差検出回路３１は、信号（ＬＵ＋ＬＤ）と信号（ＲＵ＋ＲＤ）を使用してＬ、Ｒの分割方向に対応する位相差検出を行うことが可能である。

　一方、加算読み出し方式は、ｎ個の分割画素信号を加算した１個の画素信号と、１個の画素信号と組み合わせることによりｎ個の分割画素信号を生成可能な（ｎ－１）個の信号とを、ｎ行で読み出す方式である。また、イメージセンサ２は、図５を参照して後述するように、第２読出モードの加算読み出し方式において、ｎ個の分割画素信号からｍ（ｍ＜ｎ）個の信号を生成してｍ行で読み出すことも可能である。ｎ個の分割画素信号を加算した１個の画素信号と、この１個の画素信号と組み合わせて演算することによりｍ個の信号を生成可能な（ｍ－１）個の信号とをｍ行で読み出すという読み出し方も可能である。ここでｍとは、ｎより少なく１以上の整数である。

　具体的に２分割の場合、加算読み出し方式は、１つの分割画素信号と、２つの分割画素信号を加算した信号と、を２行で読み出す方式となる。例えば左右２分割の場合、分割画素信号Ｌと画素信号（Ｌ＋Ｒ）とを２行で読み出すか、または、分割画素信号Ｒと画素信号（Ｌ＋Ｒ）と２行で読み出すかを行う。この場合、画素信号（Ｌ＋Ｒ）から分割画素信号Ｌ（またはＲ）を減算することにより、分割画素信号Ｒ（またはＬ）を生成することができる。

　また、４分割で加算読み出し方式の場合としては、分割画素信号ＬＵと、信号（ＬＵ＋ＲＵ）と、信号（ＬＵ＋ＲＵ＋ＬＤ）と、画素信号（ＬＵ＋ＲＵ＋ＬＤ＋ＲＤ）と、を４行で読み出す例が挙げられる。この場合、画素信号（ＬＵ＋ＲＵ＋ＬＤ＋ＲＤ）から信号（ＬＵ＋ＲＵ＋ＬＤ）を減算することにより分割画素信号ＲＤを生成することができ、信号（ＬＵ＋ＲＵ＋ＬＤ）から信号（ＬＵ＋ＲＵ）を減算することにより分割画素信号ＬＤを生成することができ、信号（ＬＵ＋ＲＵ）から分割画素信号ＬＵを減算することにより分割画素信号ＲＵを生成することができる。また、４分割で加算読み出し方式の場合、信号（ＬＵ＋ＬＤ）と画素信号（ＬＵ＋ＬＤ＋ＲＵ＋ＲＤ）を２行で読み出す例も挙げられる。この場合、画素信号（ＬＵ＋ＬＤ＋ＲＵ＋ＲＤ）から信号（ＬＵ＋ＬＤ）を減算することにより信号（ＲＵ＋ＲＤ）を生成することができる。位相差検出回路３１は、信号（ＬＵ＋ＬＤ）と信号（ＲＵ＋ＲＤ）を使用してＬ、Ｒの分割方向に対応する位相差検出を行うことが可能である。ただし、分割数が大きくなると、加算読み出し方式として様々な方法を採用することができるために、ここでは一例のみを挙げた。

　従って、位相差検出回路３１は、加算読み出し方式の場合には、位相差検出に必要な分割画素信号の復元を行ってから、位相差を検出するようになっている。

　リサイズ回路３２は、ベイヤー形式の画像データ（ＲＡＷ画像データ）のリサイズ処理を行う。ここでリサイズ処理された画像データは、例えば、静止画像生成時のレックビューまたはサムネイルに用いられ、もしくは、動画像生成時やライブビュー画像生成時に、イメージセンサ２からの画像のアスペクトや画像サイズを変更する際などに用いられる。これにより後段の当該処理を行う際にシステムの処理帯域を最適化できる。

　露光レベル検出回路３３は、ＲＡＷ画像データに基づき、イメージセンサ２の露光を制御するための露光レベルを検出する。そして、露光レベル検出回路３３は、検出した露光レベルをメモリ１３に記憶させる。ここで検出された露光レベルは、カメラコントローラ１０によりメモリ１３から読み出されて、自動露光制御（ＡＥ）用の情報として用いられる。そして、カメラコントローラ１０は、露光レベルに基づきＡＥ演算を行い、その演算結果に基づいて、レンズ１の絞りを駆動し、イメージセンサ２（または画像処理回路３）の信号増幅率（いわゆるＩＳＯ感度）を調整し、イメージセンサ２の電子シャッタ（または、図示しないメカニカルシャッタ）による露光時間の制御を行う。

　コントラスト検出回路３４は、ＲＡＷ画像データのコントラストを検出する。そして、コントラスト検出回路３４は、検出したコントラストをメモリ１３に記憶させる。ここで検出されたコントラストは、カメラコントローラ１０によりメモリ１３から読み出されて、コントラストＡＦ用の情報として用いられる。すなわち、カメラコントローラ１０は、コントラストＡＦ用情報に基づいて、フォーカスレンズの駆動方向と駆動量を決定し、フォーカス制御機構８によりレンズ１のフォーカスレンズを駆動する。

　なお、像面位相差ＡＦとコントラストＡＦとは、何れか一方のみを行ってもよいし、両方を補完的に用いても構わない。例えば両方を用いる場合には、像面位相差ＡＦを先に行って概略の合焦位置にフォーカスレンズを移動した後に、コントラストＡＦを行って精密に合焦位置へフォーカスレンズを移動する、等の使用法がある。

　第２画像処理回路１４は、合成回路４１と、暗時画像補正回路４２と、画像基礎処理回路４３と、ＲＡＷ圧縮伸張ファイル化回路４６と、記録読出回路４７と、を備えている。

　なお、ここでは、第２画像処理回路１４が、合成回路４１、暗時画像補正回路４２、画像基礎処理回路４３、ＲＡＷ圧縮伸張ファイル化回路４６、記録読出回路４７を備える例を説明するが、システムとして必要な構成要件が変化すれば、これら全てを備えている必要はない。また、各回路内の各処理機能を全て備える必要もない。

　合成回路４１は、複数枚の画像を合成して１枚の合成画像を生成する。一例を挙げれば、複数枚の画像を用いて多重露光画像を生成する、等である。

　暗時画像補正回路４２は、露光して得られたＲＡＷ画像データから、イメージセンサ２を遮光した状態で得られたＲＡＷ画像データを減算して、暗時補正を行う。また、暗時画像補正回路４２は、リサイズ回路３２によりリサイズ処理されたＲＡＷ画像データに対して、同様に暗時補正を行ってもよい。

　画像基礎処理回路４３は、必要に応じて暗時画像補正回路４２により暗時補正されたＲＡＷ画像データ、または合成回路４１により生成されたＲＡＷ画像データに、デモザイク処理、ノイズキャンセル処理、ガンマ変換処理、ホワイトバランス処理、色マトリックス処理、およびエッジ処理等の基礎的な画像処理を行う。ここで、基礎的な画像処理と称したのは、この画像基礎処理回路４３が静止画像や動画像やライブビュー画像を生成する際に共通して実行する処理を行っているためである。

　画像基礎処理回路４３は、さらに、静止画処理回路４４と、動画処理回路４５と、を含んでいる。

　静止画処理回路４４は、基礎的な画像処理が行われた静止画像に、静止画特有の処理を行ってから、例えばＪＰＥＧ圧縮（ただし、圧縮方式はＪＰＥＧに限定されるものではない）してＪＰＥＧファイルを生成する。

　動画処理回路４５は、基礎的な画像処理が行われた動画フレームに、動画特有の処理を行ってから、例えばＭＰＥＧ圧縮（ただし、圧縮方式はＭＰＥＧに限定されるものではない）してＭＰＥＧファイルを生成する。ここに、動画処理回路４５が用いる映像コーデック技術や音声コーデック技術は、適宜のものを採用して構わない。

　ＲＡＷ圧縮伸張ファイル化回路４６は、ＲＡＷ画像データを圧縮するＲＡＷ圧縮回路と、ＲＡＷ画像データをファイル化してＲＡＷ画像ファイルを生成するファイル化回路と、圧縮されたＲＡＷ画像データを伸張するＲＡＷ伸張回路と、を兼ねている。

　記録読出回路４７は、ＲＡＷ圧縮伸張ファイル化回路４６により生成されたＲＡＷ画像ファイル、静止画処理回路４４により生成されたＪＰＥＧファイル、動画処理回路４５により生成されたＭＰＥＧファイルを記録用メモリ５に記録するファイル記録回路と、記録用メモリ５に記録されたＲＡＷ画像ファイル、ＪＰＥＧファイル、ＭＰＥＧファイルを読み出すファイル読出回路と、を兼ねている。

　図４は、イメージセンサ２から第２読出モードの部分が通常読み出し方式で読み出され並替回路２１により並び替えられた画像データの一部を例示する図である。

　図４に示す例では、１～２行および（ｐ＋２）～（ｐ＋３）行が１ＰＤ（第１読出モード）で読み出され、ｐ～（ｐ＋１）行および（最終－１）～最終行が２ＰＤ（第２読出モード）で読み出されている。ここに、通常読み出し方式で動作する２ＰＤの場合には、１つの画素行に関して、１行のＬ分割画素行および１行のＲ分割画素行が読み出される。従って、２個の分割画素信号に係る撮像信号は、分割画素信号Ｌおよび分割画素信号Ｒとなる。

　２ＰＤ領域から読み出された分割画素信号Ｌと分割画素信号Ｒは、並替回路２１の後段のＰＤミックス回路２２が加算して画素信号を生成する。また、図４には、４ＰＤの場合の通常読み出し方式で動作する一例も示している。ｐ～（ｐ＋１）行および（最終－１）～最終行が、４ＰＤの分割画素信号より生成される信号（ＬＵ＋ＬＤ）と（ＲＵ＋ＲＤ）で読み出される場合を示す。

　また、図５は、イメージセンサ２から第２読出モード部分が加算読み出し方式で読み出され並替回路２１により並び替えられた画像データの一部を例示する図である。

　図５に示す例では、１～２行および（ｐ＋２）～（ｐ＋３）行が１ＰＤ（第１読出モード）で読み出され、ｐ～（ｐ＋１）行および（最終－１）～最終行が２ＰＤ（第２読出モード）で読み出されている。ここに、加算読み出し方式で動作する２ＰＤの場合には、１つの画素行に関して、１行のＬ分割画素行および１行の（Ｌ＋Ｒ）画素行が読み出される。従って、２個の分割画素信号に係る撮像信号は、分割画素信号Ｌおよび画素信号（Ｌ＋Ｒ）となる。なお、上述したように、分割画素信号Ｌに代えて、分割画素信号Ｒを出力するようにしても構わない。

　この加算読み出し方式の場合は、イメージセンサ２内で分割画素信号Ｌと分割画素信号Ｒとの加算が行われるために、画像処理回路３のＰＤミックス回路２２は加算を行う必要がなく、２ＰＤ領域から読み出された分割画素信号Ｌと画素信号（Ｌ＋Ｒ）の内の、画素信号（Ｌ＋Ｒ）を抽出するだけでよい。また、図５において、４ＰＤの場合の加算読み出し方式で動作する場合の一例を示している。ｐ～（ｐ＋１）行および（最終－１）～最終行が、４ＰＤの分割画素信号より生成される信号（ＬＵ＋ＬＤ）と画素信号（ＬＵ＋ＬＤ＋ＲＵ＋ＲＤ）で読み出される場合を示す。

　図６は、イメージセンサ２から読み出され並替回路２１により並び替えられた画像データの構成を示す図である。図６において、水平方向が行方向、垂直方向が列方向である。この図６に示す画像データの配置は、イメージセンサ２上の通常画素およびＯＢ画素などの物理配置に対して、高速映像位相差読出モードにおいて、第１の読出モードあるいは第２の読出モードにより読み出したある例を示したものとなっている。

　画像データは、上から下に向かって順に、センサクランプ領域ＳＶＯＢと、遮光されたＯＢ画素が配置された垂直ＯＢ領域（第１垂直ＯＢ領域ＶＯＢ１および第２垂直ＯＢ領域ＶＯＢ２）と、遮光されていない通常画素が配置された有効領域ＶＲｅｆｆと、ダミー領域ＶＤＭと、を備えている。

　また、画像データは、左から右に向かって順に、第１水平ダミー領域ＨＤＭ１と、遮光されたＯＢ画素が配置された水平ＯＢ領域ＨＯＢと、第２水平ダミー領域ＨＤＭ２と、遮光されていない通常画素が配置された有効領域／実行領域ＨＲｅｆｆと、を備えている。

　そして、イメージセンサ２が高速映像位相差読出モードで動作する場合には、垂直ＯＢ領域の一部、例えば第１垂直ＯＢ領域ＶＯＢ１で２ＰＤ読出が行われ、垂直ＯＢ領域の他の一部、例えば第２垂直ＯＢ領域ＶＯＢ２で１ＰＤ読出が行われる。ここに、垂直ＯＢ領域内における、第１垂直ＯＢ領域ＶＯＢ１の開始行および終了行と、第２垂直ＯＢ領域ＶＯＢ２の開始行および終了行と、は所望に設定することができる。

　また、ＯＢレベルの検出は、第１垂直ＯＢ領域ＶＯＢ１の全部を用いる必要はなく、第２垂直ＯＢ領域ＶＯＢ２の全部を用いる必要もない。例えば、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域内のデータ、および第２垂直ＯＢ領域ＶＯＢ２内に設定した四角領域内のデータを用いてＯＢレベルを検出するようにしてもよい。

　さらに、イメージセンサ２が高速映像位相差読出モードで動作する場合には、有効領域ＶＲｅｆｆ内に、位相差検知領域ＶＲＰが設定される。ここに、有効領域ＶＲｅｆｆ内における、位相差検知領域ＶＲＰの開始行および終了行は、所望に設定することができる。また、有効領域ＶＲｅｆｆ内に、複数の位相差検知領域ＶＲＰを設定するようにしても構わない。従って、被写体に応じて設定されたＡＦエリアに対して、適切な位相差検知領域ＶＲＰを設定することで、フレーム画像の読み出し時間を有効に短縮することができる。

　そして、有効領域ＶＲｅｆｆ内における位相差検知領域ＶＲＰ以外の領域では１ＰＤ読出が行われ、位相差検知領域ＶＲＰ内では画素行毎に１ＰＤ読出または２ＰＤ読出が行われる。従って、位相差検知領域ＶＲＰ内では、２の倍数行連続する２ＰＤ読出の分割画素行と、１行以上連続する１ＰＤ読出の画素行と、が交互に生じている。以上、２ＰＤの場合について説明したが、４ＰＤ等の場合も同様である。

　図７は、イメージセンサ２における１ＰＤ領域の読出回路の作用を示すタイミングチャートである。

　垂直同期信号ＨＤに従った所定のタイミングで、トランジスタＴｒＲＥＳをオンする（リセット信号Ｒｓｔにおけるハイレベル）ことでフローティングディフュージョンＦＤがリセットされる。リセット後にトランジスタＴｒＳＥＬをオンすることで、リセット電圧値がリセット信号として読み出される。読み出されたリセット信号は、カラムＡＤＣによりアナログデジタル変換（ＡＤＣ）される。

　続いて、トランジスタＴｒＬおよびトランジスタＴｒＲをオンする（ＴｒＬおよびＴｒＲに印加される信号におけるハイレベル）ことで、光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの電荷がフローティングディフュージョンＦＤに転送される。転送後にトランジスタＴｒＳＥＬをオンすることで、フローティングディフュージョンＦＤに蓄積された電荷の電圧値が画素信号（１つの画素内に設けられた全ての光電変換素子ＰＤＬ，ＰＤＲで発生した電荷の画素信号であるために、ＡＬＬと記している）として読み出される。読み出された画素信号ＡＬＬは、カラムＡＤＣによりアナログデジタル変換（ＡＤＣ）される。

　その後も、垂直同期信号ＨＤに同期して、リセット信号と画素信号とが同様に読み出される。画素信号からリセット信号を減算することにより、相関二重サンプリング（ＣＤＳ）が行われ、リセットノイズ等が低減される。このときのリセット信号と画素信号との取得時間差は、図７に示すＣＤＳ期間Ｔ１となる。

　図８は、イメージセンサ２における２ＰＤ領域の読出回路の、通常読み出し方式における作用を示すタイミングチャートである。

　上述と同様に、まずフローティングディフュージョンＦＤをリセットしてリセット信号を読み出しＡＤＣを行う。

　続いて、トランジスタＴｒＬをオンすることで、光電変換素子ＰＤＬの電荷がフローティングディフュージョンＦＤに転送される。転送後にトランジスタＴｒＳＥＬをオンすることで、フローティングディフュージョンＦＤに蓄積された電荷の電圧値が分割画素信号Ｌとして読み出される。読み出された分割画素信号Ｌは、カラムＡＤＣによりアナログデジタル変換（ＡＤＣ）される。

　分割画素信号Ｌからリセット信号を減算することにより、相関二重サンプリング（ＣＤＳ）が行われ、リセットノイズ等が低減される。このときのリセット信号と分割画素信号Ｌとの取得時間差は、図８に示すＣＤＳ期間Ｔ１となる。

　その後、垂直同期信号ＨＤに従った所定のタイミングで、フローティングディフュージョンＦＤをリセットしてリセット信号を読み出しＡＤＣを行う。

　続いて、トランジスタＴｒＲをオンすることで、光電変換素子ＰＤＲの電荷がフローティングディフュージョンＦＤに転送される。転送後にトランジスタＴｒＳＥＬをオンすることで、フローティングディフュージョンＦＤに蓄積された電荷の電圧値が分割画素信号Ｒとして読み出される。読み出された分割画素信号Ｒは、カラムＡＤＣによりアナログデジタル変換（ＡＤＣ）される。

　分割画素信号Ｒからリセット信号を減算することにより、相関二重サンプリング（ＣＤＳ）が行われ、リセットノイズ等が低減される。このときのリセット信号と分割画素信号Ｒとの取得時間差は、分割画素信号Ｌの場合と同様に、図８に示すＣＤＳ期間Ｔ１となる。

　図９は、イメージセンサ２における２ＰＤ領域の読出回路の、加算読み出し方式における作用を示すタイミングチャートである。

　続いて、上述と同様に、光電変換素子ＰＤＬの電荷をフローティングディフュージョンＦＤに転送して、分割画素信号Ｌを読み出しＡＤＣを行う。

　分割画素信号Ｌからリセット信号を減算することにより、相関二重サンプリング（ＣＤＳ）が行われ、リセットノイズ等が低減される。このときのリセット信号と分割画素信号Ｌとの取得時間差は、図９に示すＣＤＳ期間Ｔ１となる。

　続いて、フローティングディフュージョンＦＤをリセットすることなくトランジスタＴｒＲをオンすることで、光電変換素子ＰＤＲの電荷がフローティングディフュージョンＦＤにさらに転送される。これにより、フローティングディフュージョンＦＤには、光電変換素子ＰＤＬの電荷および光電変換素子ＰＤＲの電荷が蓄積される。

　転送後にトランジスタＴｒＳＥＬをオンすることで、フローティングディフュージョンＦＤに蓄積された電荷の電圧値が画素信号（Ｌ＋Ｒ）として読み出される。読み出された画素信号（Ｌ＋Ｒ）は、カラムＡＤＣによりアナログデジタル変換（ＡＤＣ）される。

　画素信号（Ｌ＋Ｒ）からリセット信号を減算することにより、相関二重サンプリング（ＣＤＳ）が行われ、リセットノイズ等が低減される。このときのリセット信号と画素信号（Ｌ＋Ｒ）との取得時間差は、図９に示すＣＤＳ期間Ｔ２となる。ここに、Ｔ２＞Ｔ１である。

　なお、１ＰＤ領域から読み出された画素信号はＡＬＬと記載するが、２ＰＤ領域から読み出された画素信号は（Ｌ＋Ｒ）と記載する。これは後で述べるように、ＣＤＳ期間が異なるために、画素信号ＡＬＬと画素信号（Ｌ＋Ｒ）とが同一になるとは限らないからである。以上、２ＰＤの場合について説明したが、４ＰＤ等の場合も同様である。

　図１０は、イメージセンサ２が通常読み出し方式で動作し、イメージセンサ２のＯＢクランプ回路２ａが１つであるときの、２ＰＤ領域から読み出された分割画素信号Ｌ，Ｒと、１ＰＤ領域から読み出された画素信号ＡＬＬとのＯＢレベルの例を示す図である。

　マイクロレンズＭＬを通過する光線に偏りがない場合、光電変換素子ＰＤＬで発生する分割画素信号Ｌ、および光電変換素子ＰＤＲで発生する分割画素信号Ｒは、通常、光電変換素子ＰＤＬおよび光電変換素子ＰＤＲで発生する合計の画素信号ＡＬＬの約半分になる。

　そして、イメージセンサ２は、一般に、撮像信号のＯＢレベルを所定の目標レベル（ＯＢクランプレベル）（固定値）に設定し、その上に入射光量に比例した画素信号を加算した値を出力する。

　イメージセンサ２は、遮光された領域であるセンサクランプ領域ＳＶＯＢで検出した遮光画素の信号レベルが、デジタル値として固定の値（１２ビットＡＤＣの場合、例えば２５６ＬＳＢ等に設定されることが多い）になるように、ＯＢレベルの処理（ＯＢクランプ処理）を行う。

　ここで、センサクランプ領域ＳＶＯＢにおいて発生する暗電流に起因するＯＢレベルについて、光電変換素子ＰＤＬにおいて発生する暗電流、および光電変換素子ＰＤＲにおいて発生する暗電流は、光電変換素子ＰＤＬおよび光電変換素子ＰＤＲにおいて発生した合計の暗電流の約半分になる（ＯＢレベルに関して、分割画素信号のレベルが画素信号のレベルの約半分になるのは、光電変換により発生する信号の場合と同様である）。

　イメージセンサ２のＯＢクランプ回路２ａが１つであって、センサクランプ領域ＳＶＯＢにおいて１ＰＤ領域と通常読み出し方式で動作する（つまり、ＬとＲを別々に読み出す）２ＰＤ領域とを区別することなくＯＢレベルを検知する場合、ＯＢクランプ処理の時定数設定や１ＰＤ領域と２ＰＤ領域のパターンに応じて変わり得るものの、例えば１ＰＤ領域と２ＰＤ領域の暗電流の平均値がＯＢレベルとして検知され、検知されたＯＢレベルでＯＢクランプが行われる。

　従って、図１０に示すように、１ＰＤ領域と２ＰＤ領域の暗電流の平均値がＯＢクランプレベルＯＢＣに処理されることによって、ＯＢクランプ処理後において、光電変換素子ＰＤＬのＯＢレベルＯＢ＿Ｌおよび光電変換素子ＰＤＲのＯＢレベルＯＢ＿Ｒは、固定値であるＯＢクランプレベルＯＢＣよりも低くなり、光電変換素子ＰＤＬおよび光電変換素子ＰＤＲにおいて発生した合計の暗電流に起因するＯＢレベルＯＢ＿ＡＬＬは固定値であるＯＢクランプレベルＯＢＣよりも高くなる。

　ＯＢレベルＯＢ＿Ｌ（またはＯＢレベルＯＢ＿Ｒ）とＯＢレベルＯＢ＿ＡＬＬとの差は、光電変換素子ＰＤＬ（または光電変換素子ＰＤＲ）で発生する暗電流量と、光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの両方で発生する暗電流量と、の差に相当する。

　こうして、イメージセンサ２の有効領域ＶＲｅｆｆから出力される信号は、ＯＢレベルＯＢ＿Ｌの上に光電変換素子ＰＤＬによる光電変換量のレベル（Ｌ－ＯＢ＿Ｌ）が加算された信号レベルＬ、ＯＢレベルＯＢ＿Ｒの上に光電変換素子ＰＤＲによる光電変換量のレベル（Ｒ－ＯＢ＿Ｒ）が加算された信号レベルＲ、ＯＢレベルＯＢ＿ＡＬＬの上に光電変換素子ＰＤＬおよび光電変換素子ＰＤＲによる光電変換量のレベル（ＡＬＬ－ＯＢ＿ＡＬＬ）が加算された信号レベルＡＬＬとなる。

　このようなことから、光電変換素子ＰＤＬで発生する分割画素信号Ｌと、光電変換素子ＰＤＲで発生する分割画素信号Ｒとを加算して生成した画素信号に含まれるＯＢレベル（ＯＢ＿Ｌ＋ＯＢ＿Ｒ）は、一般に、ＯＢレベルＯＢ＿ＡＬＬと一致しないために、１ＰＤ領域と２ＰＤ領域とでは画素信号にずれが生じてしまう。このような信号値のずれは、光電変換量が小さい領域（つまり、暗い領域）で目立つことになってしまう。

　そこで、ＰＤミックス回路２２が、通常読み出し方式で２ＰＤ領域から読み出された分割画素信号Ｒ，Ｌを、１ＰＤ領域とのＯＢレベルの相違を低減しながら加算して、画素信号を生成する処理（１）～（３）について説明する。

（１）　垂直ＯＢ領域の信号からのＯＢレベルの算出処理
　ＰＤミックス回路２２は、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域内（２ＰＤ領域）の光電変換素子ＰＤＬから読み出された信号に基づいてＯＢレベルＯＢ＿Ｌを算出し、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域内の光電変換素子ＰＤＲから読み出された信号に基づいてＯＢレベルＯＢ＿Ｒを算出する。さらに、ＰＤミックス回路２２は、第２垂直ＯＢ領域ＶＯＢ２内に設定した四角領域内（１ＰＤ領域）の光電変換素子ＰＤＬおよび光電変換素子ＰＤＲから読み出された信号に基づいて、ＯＢレベルＯＢ＿ＡＬＬを算出する。

（２）　垂直ＯＢ領域の左右分割画素信号の加算処理
　ＰＤミックス回路２２は、垂直ＯＢ領域においても、有効領域ＶＲｅｆｆと同様の動作を行い、左右の分割画素信号を加算する。従って、次の加算値ＳｕｍＯＢが算出される。
　ＳｕｍＯＢ＝ＯＢ＿Ｌ＋ＯＢ＿Ｒ
この処理は必ずしもこのようにしなくても構わない。以降の処理で明らかなように、有効領域ＶＲｅｆｆに対して施したＰＤミックス回路２２による処理により、画像はＯＢ＿ＡＬＬのレベルでクランプされた画像となる。そうして、画像のＯＢレベルの検出は、ＯＢ＿ＡＬＬを検出できる第２垂直ＯＢ領域ＶＯＢ２で行うことになる。

（３）　有効領域ＶＲｅｆｆの左右分割画素信号の加算処理
　ＰＤミックス回路２２は、有効領域ＶＲｅｆｆに設定された位相差検知領域ＶＲＰ内の２ＰＤ領域に対して以下の演算を行い、演算結果Ｓｕｍを得る。
　Ｓｕｍ＝（Ｌ－ＯＢ＿Ｌ）＋（Ｒ－ＯＢ＿Ｒ）＋ＯＢ＿ＡＬＬ

　この処理は、第２の読出モードで通常画素から読み出されるｎ個（この例では２個、以下同様）の分割画素信号Ｌ，Ｒを加算して加算通常画素信号（Ｌ＋Ｒ）を生成し、第２の読出モードでＯＢ画素から読み出されるｎ個の分割画素信号ＯＢ＿Ｌ，ＯＢ＿Ｒを加算して加算ＯＢ画素信号（ＯＢ＿Ｌ＋ＯＢ＿Ｒ）を生成し、加算通常画素信号（Ｌ＋Ｒ）から加算ＯＢ画素信号（ＯＢ＿Ｌ＋ＯＢ＿Ｒ）を減算して、暫定ＯＢ減算画素信号｛（Ｌ－ＯＢ＿Ｌ）＋（Ｒ－ＯＢ＿Ｒ）｝を生成し、第１の読出モードでＯＢ画素から読み出されるＯＢ画素信号ＯＢ＿ＡＬＬを、暫定ＯＢ減算画素信号｛（Ｌ－ＯＢ＿Ｌ）＋（Ｒ－ＯＢ＿Ｒ）｝に加算して画素データとしての演算結果Ｓｕｍを生成する処理となっている。その後、ＰＤミックス回路２２は、生成した画素データを配列して第２の画素データ配列を生成する。

　なお、ここでの処理は、画素信号を得るための加算処理（Ｌ＋Ｒ）を行うとともに、分割画素信号Ｌに含まれているＯＢレベルＯＢ＿Ｌを取り除き（Ｌ－ＯＢ＿Ｌ）、分割画素信号Ｒに含まれているＯＢレベルＯＢ＿Ｒを取り除いて（Ｒ－ＯＢ＿Ｒ）、１ＰＤ領域の画素信号に含まれているＯＢレベルＯＢ＿ＡＬＬを加算する処理と言い換えることもできる。

　これらの画素信号生成処理（１）～（３）を行うことにより、２ＰＤ領域から読み出され加算して得られた画素信号のＯＢレベルを、１ＰＤ領域から読み出された画素信号のＯＢレベルに正確に合わせることができる。また、上記までの説明と同様の処理によって、１ＰＤ領域から読み出され加算して得られた画素信号のＯＢレベルを、２ＰＤ領域から読み出された画素信号のＯＢレベルに正確に合わせる処理とすることも、達成することができる。以上は、２ＰＤの場合について説明したが、４ＰＤ等の場合も同様である。

　こうして、ＰＤミックス回路２２は、第２の読出モードでＯＢ画素から読み出されるｎ個の信号から生成または抽出されるＯＢ画素信号と、第１の読出モードでＯＢ画素から読み出されるＯＢ画素信号と、を用いて、第２の読出モードで通常画素から読み出されるｎ個の信号から生成または抽出される通常画素信号に、ＯＢレベルの補正処理を行う。

　なお、ＯＢレベルは、一般に、ベイヤーの色毎（Ｒｒ、Ｇｒ、Ｇｂ、Ｂｂ）に、値が僅かに異なる。ベイヤーの色はカラーフィルタにより生じるために、色が異なっても実際の画素回路自体に相違はない。しかし、色が異なると画素回路が配置されている場所が異なり、画素回路までの配線ルート（配線場所や配線長など）も異なるために、これらの相違に起因して、ＯＢレベルの相違が生じるのである。

　このために、ＰＤミックス回路２２は、上述したようなＯＢレベルを整合させる補正処理を、フィルタ色を区別して、画素のフィルタ色毎に別個に行うようにしている（ただし、フィルタ色によるＯＢレベルの相違を無視してもよい場合には、この限りでない）。

　図１１は、イメージセンサ２が通常読み出し方式で動作し、イメージセンサ２のＯＢクランプ回路２ａが２つであるときの、２ＰＤ領域から読み出された分割画素信号Ｌ，Ｒと、１ＰＤ領域から読み出された画素信号ＡＬＬとのＯＢレベルの例を示す図である。

　ここに、２つのＯＢクランプ回路２ａの内の、第１のＯＢクランプ回路２ａは１ＰＤ領域のＯＢレベルＯＢ＿ＡＬＬを検出して第１の読出モードで読み出される画素信号のＯＢクランプを行うために設けられ、第２のＯＢクランプ回路２ａは分割画素信号ＬのＯＢレベルＯＢ＿Ｌおよび分割画素信号ＲのＯＢレベルＯＢ＿Ｒを検出して、第２の読出モードで読み出されるｎ個の分割画素信号のＯＢクランプを行うために設けられている。

　このような構成の場合に、２つのＯＢクランプ回路２ａが全く同じ動作を行うと、２ＰＤ領域の分割画素信号Ｌ，ＲのＯＢクランプレベルＯＢＣ２と、１ＰＤ領域の画素信号のＯＢクランプレベルＯＢＣ１とが同じレベルになるはずである。そして、図１１の左のＯＢレベル比較図に示すように、２ＰＤ領域のＯＢレベルＯＢ＿Ｌ，ＯＢ＿Ｒと、１ＰＤ領域のＯＢレベルＯＢ＿ＡＬＬとの差が吸収されると期待される。

　しかし、２つのＯＢクランプ回路２ａが同一の構成の回路であっても、回路構成要素のばらつき、回路が実際に配置されている場所の相違、回路に関連する配線のルートの相違（配線場所や配線長など）によって、全く同じには動作しない。こうした相違に起因して、図１１の右の拡大図に示すように、ＯＢクランプレベルＯＢＣ１とＯＢクランプレベルＯＢＣ２とに僅かな差ＣＥが生じる場合がある。

　例えば、比較的低照度の撮影環境において取得した、イメージセンサ２の光電変換量が小さい画像は、ゲインを上げて光電変換量を例えば十倍～数百倍に増幅する。この場合に、ＯＢクランプレベルの僅かな差ＣＥも増幅されて、画質を低下する要因になってしまう。

　そこで、ＰＤミックス回路２２は、２つのＯＢクランプ回路２ａのＯＢクランプレベルの差ＣＥを低減する処理を、分割画素信号Ｒ，Ｌを加算して画素信号を生成する際に行う。ここで行う画素信号生成処理は、上述した（１）～（３）と同じであり、複数のＯＢクランプ回路２ａによるＯＢクランプレベルの差ＣＥに対しても有効な処理となる。

　また、ＰＤミックス回路２２が、ＯＢレベルを整合させる補正処理を、フィルタ色を区別して、画素のフィルタ色毎に別個に行うことが好ましいのは、上述と同様である。

　次に、図１２は、加算読み出し方式で動作するイメージセンサ２の、２ＰＤ領域から読み出された画素信号（Ｌ＋Ｒ）と、１ＰＤ領域から読み出された画素信号ＡＬＬとを、１つのＯＢクランプ回路２ａでＯＢクランプしたときの、ＯＢレベルの例を示す図である。ここで、２ＰＤ領域から読み出された画素信号（Ｌ＋Ｒ）以外の画素信号についてはやはり第２のＯＢクランプ回路２ａで行っている。

　２ＰＤ領域から第２の読出モードの加算読み出し方式で読み出された画素信号（Ｌ＋Ｒ）と、１ＰＤ領域から第１の読出モードで読み出された画素信号ＡＬＬと、の両方を、１つのＯＢクランプ回路２ａで共通にクランプすると、ＯＢレベルは基本的に同一となる。

　この場合の画素信号生成処理（１）～（３）は、次のようになる。

（１）　垂直ＯＢ領域の信号からのＯＢレベルの算出処理
　ＰＤミックス回路２２によるこの処理は、不要となる。

（２）　垂直ＯＢ領域の左右分割画素信号の加算処理
　加算処理はイメージセンサ２内で行われているために、ＰＤミックス回路２２は加算処理を行う必要がなく、垂直ＯＢ領域の２ＰＤ領域から出力される左右加算されたＯＢレベルＯＢ＿（Ｌ＋Ｒ）を選択すればよい。

（３）　有効領域ＶＲｅｆｆの左右分割画素信号の加算処理
　同様に、加算処理はイメージセンサ２内で行われているために、ＰＤミックス回路２２は加算処理を行う必要がなく、有効領域ＶＲｅｆｆに設定された位相差検知領域ＶＲＰ内の２ＰＤ領域から出力される左右加算された画素信号（Ｌ＋Ｒ）を選択すればよい。

　ただし、図７に示した１ＰＤ読出のタイミングチャートと、図９に示した加算読み出し方式における２ＰＤ読出のタイミングチャートと、を比べれば分かるように、フローティングディフュージョンＦＤをリセットしてから画素信号ＡＬＬを読み出すまでの時間間隔（ＣＤＳ期間Ｔ１）と、フローティングディフュージョンＦＤをリセットしてから画素信号（Ｌ＋Ｒ）を読み出すまでの時間間隔（ＣＤＳ期間Ｔ２）とは、時間長さが異なる。

　このＣＤＳ期間Ｔ１とＣＤＳ期間Ｔ２との差に起因して、２ＰＤ領域から読み出した画素信号（Ｌ＋Ｒ）のＯＢレベルＯＢ＿（Ｌ＋Ｒ）と、１ＰＤ領域から読み出した画素信号ＡＬＬのＯＢレベルＯＢ＿ＡＬＬと、に僅かな差が生じることがある。このような差が生じる場合の処理について、図１３を参照して説明する。

　図１３は、加算読み出し方式で動作するイメージセンサ２の、２ＰＤ領域から読み出された画素信号（Ｌ＋Ｒ）と、１ＰＤ領域から読み出された画素信号ＡＬＬとに、ＣＤＳ期間の差に起因するＯＢレベルの相違が発生する例を示す図である。

　ＣＤＳ期間Ｔ１とＣＤＳ期間Ｔ２とが異なるとフローティングディフュージョンＦＤ内で発生する暗電流の量が異なる、等が生じるために、図１３の拡大図に示すように、画素信号（Ｌ＋Ｒ）のＯＢレベルＯＢ＿（Ｌ＋Ｒ）と、画素信号ＡＬＬのＯＢレベルＯＢ＿ＡＬＬとは、厳密には一致せず、僅かな差ＴＥだけ異なっている。

　このような場合の画素信号生成処理（１）～（３）について説明する。

（１）　垂直ＯＢ領域の信号からのＯＢレベルの算出処理
　ＰＤミックス回路２２は、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域内（２ＰＤ領域）の光電変換素子ＰＤＬから読み出された信号に基づいてＯＢレベルＯＢ＿Ｌを算出し、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域内の光電変換素子ＰＤＬおよび光電変換素子ＰＤＲから読み出された信号に基づいてＯＢレベルＯＢ＿（Ｌ＋Ｒ）を算出する。さらに、ＰＤミックス回路２２は、第２垂直ＯＢ領域ＶＯＢ２内に設定した四角領域内（１ＰＤ領域）の光電変換素子ＰＤＬおよび光電変換素子ＰＤＲから読み出された信号に基づいて、ＯＢレベルＯＢ＿ＡＬＬを算出する。
　すなわち、２ＰＤ領域からのＯＢ＿（Ｌ＋Ｒ）と、１ＰＤ領域からのＯＢ＿ＡＬＬとは、区別されている。

（３）　有効領域ＶＲｅｆｆの左右分割画素信号の加算処理
　ＰＤミックス回路２２は、有効領域ＶＲｅｆｆに設定された位相差検知領域ＶＲＰ内の２ＰＤ領域に対して以下の演算を行い、演算結果Ｓｕｍを得る。
　Ｓｕｍ＝｛（Ｌ＋Ｒ）－ＯＢ＿（Ｌ＋Ｒ）｝＋ＯＢ＿ＡＬＬ

　この処理は、第２の読出モードで通常画素から読み出される通常画素信号（Ｌ＋Ｒ）を抽出し、第２の読出モードでＯＢ画素から読み出されるＯＢ画素信号ＯＢ＿（Ｌ＋Ｒ）を抽出し、通常画素信号（Ｌ＋Ｒ）からＯＢ画素信号ＯＢ＿（Ｌ＋Ｒ）を減算して、暫定ＯＢ減算画素信号｛（Ｌ＋Ｒ）－ＯＢ＿（Ｌ＋Ｒ）｝を生成し、第１の読出モードでＯＢ画素から読み出されるＯＢ画素信号ＯＢ＿ＡＬＬを、暫定ＯＢ減算画素信号｛（Ｌ＋Ｒ）－ＯＢ＿（Ｌ＋Ｒ）｝に加算して画素データとしての演算結果Ｓｕｍを生成する処理となっている。その後、ＰＤミックス回路２２は、生成した画素データを配列して第２の画素データ配列を生成する。また、上記までの説明と同様の処理によって、第２の読出モードで通常画素から読み出されるＯＢ画素信号ＯＢ＿（Ｌ＋Ｒ）に正確に合わせる処理とすることも、達成することができる。

　こうして、ＣＤＳ期間の相違に起因するＯＢレベルの相違に対しても、２ＰＤ領域のＯＢレベルを減算して１ＰＤ領域のＯＢレベルを加算する処理は有効となっている。

　なお、イメージセンサ２が第１のＯＢクランプ回路２ａおよび第２のＯＢクランプ回路２ａを備える場合には、第１の読出モードで読み出される画素信号のＯＢクランプと、第２の読出モードで読み出される１個の画素信号のＯＢクランプとを、例えば第１のＯＢクランプ回路２ａが行うようにすればよい。このときには、第２のＯＢクランプ回路２ａが、第２の読出モードで読み出される（ｎ－１）個の信号のＯＢクランプを行えばよい。以上は、２ＰＤの場合について説明したが、４ＰＤ等の場合も同様の処理を行えばよい。

　次に、ＰＤミックス処理対応暗時シェーディング補正回路２３の処理について説明する。

　ＰＤミックス回路２２は、上述したような画素信号生成処理を行って、画素信号のみで構成される（つまり、分割画素信号を含まない）画像データ（ＲＡＷ画像データ）を出力する。

　ＰＤミックス処理対応暗時シェーディング補正回路２３は、ＰＤミックス回路２２から入力されたＲＡＷ画像データに対して、暗時シェーディング補正を行う。

　暗時シェーディング補正は、暗時（入射光を遮断した時）にイメージセンサ２の面内で発生する画素毎のレベルの変動を、均一に揃えるための処理である。

　暗時シェーディング補正には、回路規模や処理効率（補正のために必要な処理時間や扱うデータサイズ等）と、達成される精度と、を考慮した様々な方法があるが、画像全体に現れる、規則性が比較的低いレベル変動のパターンに対しては、暗時画像を撮像して明時画像から減算する２枚減算補正方式の処理が例えば採用される。

　すなわち、２枚減算補正方式は、明時画像から暗時画像を減算するために、補正を行った画像では、補正前の明時画像よりも（または暗時画像よりも）ランダムノイズが増加してしまう。

　そこで、暗時画像におけるランダムノイズの影響を低減するために、複数枚の暗時画像を取得し、複数枚の暗時画像を平均化処理して補正用遮光画像を生成し、生成した補正用遮光画像をメモリ１３の不揮発性記憶部分に予め保持しておく。そして、イメージセンサ２から入力される画像に対して、メモリ１３に予め保持されている暗時画像を減算することにより、ランダムノイズの影響を低減する。

　なお、補正用遮光画像は、メモリ１３に不揮発に保持しておくに限るものではなく、動的に生成して用いるようにしてもよい。例えば、明時画像を取得する前に複数枚の暗時画像を取得して平均化することで補正用遮光画像を生成し、画像処理回路３内のメモリ１３の揮発性記憶部分などに一旦保持しておく。そして、その後に取得する明時画像から、画像処理回路３内に一旦保持しておいた補正用遮光画像を減算しても構わない。

　ところで、ＰＤミックス処理対応暗時シェーディング補正回路２３の前段において、ＰＤミックス回路２２によりＰＤミックス処理を行っている。

　回路起因の固定パターンノイズを想定した場合、通常読み出し方式で２ＰＤ領域から読み出した分割画素信号Ｒ，Ｌと、１ＰＤ領域から読み出した画素信号ＡＬＬとに、暗時シェーディングの影響の相違はおおよそないとみなせる。しかし、分割画素信号Ｒ，ＬをＰＤミックス回路２２で加算処理して得られる画素信号（Ｌ＋Ｒ）は、暗時シェーディング（より広くは、固定パターンノイズ）が加算されて２倍（より一般に、画素がｎ分割されている場合で、ｋ行で読み出す場合には、ｋ倍）となる（図１４の高速映像位相差読出露光画像の信号レベル参照）。ここで、ｋは自然数（１以上の整数）でｎ以下の値である。

　ここで、図１４は、通常露光画像と、高速映像位相差読出露光画像（高速映像位相差読出モードで取得された露光画像）と、補正用遮光画像と、における暗時シェーディングの例を示す図である。

　従って、ＰＤミックス処理対応暗時シェーディング補正回路２３が受信する画像データは、１ＰＤ領域に対応する画像部分と、２ＰＤ領域に対応する画像部分とで、暗時シェーディングの量が異なる。

　そこで、ＰＤミックス処理対応暗時シェーディング補正回路２３は、図１５に示すような方法で補正を行うようになっている。図１５は、高速映像位相差読出露光画像の暗時シェーディング補正方法を、通常露光画像の暗時シェーディング補正方法と対比して説明するための図である。

　まず、通常露光画像の場合、図１４の通常露光画像縦方向欄と、図１４の補正用遮光画像縦方向欄とに示すように、ＯＢクランプの目標レベル（固定値）であるＯＢクランプレベルＯＢＣに対する変動分となる暗時シェーディングが、通常露光画像と補正用遮光画像とで同様に含まれている。なお、図示はしないが、画像の横方向においても、ＯＢクランプレベルＯＢＣに対して変動する暗時シェーディングが含まれている。

　そこで、図１５の通常露光画像欄に示すように、補正用遮光画像の各画素からＯＢクランプレベルＯＢＣを減算して暗時シェーディングデータを生成し、通常露光画像の各画素データから画素位置に応じた暗時シェーディングデータを減算することで、暗時シェーディング補正された通常露光画像を得るようになっている。

　一方、高速映像位相差読出露光画像の場合には、図１５の高速映像位相差読出露光画像欄に示すような処理により、暗時シェーディング補正を行う。

　すなわち、ＰＤミックス処理対応暗時シェーディング補正回路２３は、高速映像位相差読出露光画像を、１ＰＤ領域に対応する画像部分（ＰＤミックス回路２２により生成される第１の画素データ配列の各画素データ）と、２ＰＤ領域に対応する画像部分（ＰＤミックス回路２２により生成される第２の画素データ配列の各画素データ）とに分ける。

　また、ＰＤミックス処理対応暗時シェーディング補正回路２３は、メモリ１３から補正用遮光画像を読み出す。

　そして、ＰＤミックス処理対応暗時シェーディング補正回路２３は、１ＰＤ領域に対応する画像部分について、通常露光画像と同様に、補正用遮光画像の各画素からＯＢクランプレベルＯＢＣを減算して暗時シェーディングデータを生成し、１ＰＤ領域に対応する画像部分の各画素データから画素位置に応じた暗時シェーディングデータを減算することで、暗時シェーディング補正を行う。

　また、ＰＤミックス処理対応暗時シェーディング補正回路２３は、２ＰＤ領域に対応する画像部分について、補正用遮光画像の各画素からＯＢクランプレベルＯＢＣを減算して暗時シェーディングデータを生成し、２ＰＤ領域に対応する画像部分の各画素データから画素位置に応じた暗時シェーディングデータをｋ倍（２分割の場合はｎ＝ｋとなり２倍）したデータの減算することで、暗時シェーディング補正を行う。

　このような処理を行うことにより、高速映像位相差読出露光画像の暗時シェーディング補正を高精度に行うことができる。

　なお、ここでは主に暗時シェーディング補正について述べたが、より一般に固定パターンノイズ（ＦＰＮ）（一例を挙げれば、縦筋の固定パターンノイズ）に対して、図１５に示す補正方法を適用することができる。このとき、補正しようとする固定パターンをメモリ１３等に予め記憶しておいて、補正時にメモリ１３等から読み出し、１ＰＤ領域に対応する画像部分についてはそのまま減算し、ｋＰＤ領域に対応する画像部分についてｋ倍して減算することは、上述と同様である。

　このような実施形態によれば、イメージセンサ２が、画素行毎に、ｎ個の分割画素信号に係る撮像信号を第１の読出モードまたは第２の読出モードで読み出し可能であるために、撮像レートの低下を抑制しながら位相差情報も取得することができる、画素が複数に分割されたイメージセンサを備える撮像装置を得ることができる。

　また、ＰＤミックス回路２２が、画素データの配列順序が同一である第１の画素データ配列と第２の画素データ配列とを生成するために、ＰＤミックス回路２２の後段に配置する従来回路（前述の一般的な処理回路）を大きく変更することなく、場合によっては従来回路をそのまま用いることが可能となり、大幅なコストダウンを図ることが可能となる。

　さらに、通常画素およびＯＢ画素の撮像信号を第１の読出モードおよび第２の読出モードで読み出して、ＰＤミックス回路２２が、第２の読出モードでＯＢ画素から読み出されるｎ個の信号から生成または抽出されるＯＢ画素信号と、第１の読出モードでＯＢ画素から読み出されるＯＢ画素信号と、を用いて、第２の読出モードで通常画素から読み出されるｎ個の信号から生成または抽出される通常画素信号にＯＢレベルの補正処理を行うようにしたために、ＯＢレベルを精度良く補正することができる。

　通常読み出し方式で第２の読出モードの読み出しを行う場合に、ｎ個の分割画素信号を加算した加算通常画素信号から、ｎ個の分割画素信号を加算した加算ＯＢ画素信号を減算して、暫定ＯＢ減算画素信号を生成し、第１の読出モードでＯＢ画素から読み出されるＯＢ画素信号を、暫定ＯＢ減算画素信号に加算して画素データを生成するようにしたために、第２の読出モードで読み出されたｎ個の信号から生成される通常画素信号のＯＢレベルを、第１の読出モードで通常画素から読み出される通常画素信号のＯＢレベルに、高精度に整合することができる。

　また、イメージセンサ２が複数のＯＢクランプ回路２ａを備え、第１のＯＢクランプ回路２ａが第１の読出モードで読み出される画素信号のＯＢクランプを行い、第２のＯＢクランプ回路２ａが第２の読出モードで読み出されるｎ個の分割画素信号のＯＢクランプを行う場合にも、同様の方法を適用することで、ＯＢレベルの補正を高精度に行うことができる。

　一方、加算読み出し方式で第２の読出モードの読み出しを行う場合に、第２の読出モードで通常画素から読み出される通常画素信号を抽出し、第２の読出モードでＯＢ画素から読み出されるＯＢ画素信号を抽出し、通常画素信号からＯＢ画素信号を減算して暫定ＯＢ減算画素信号を生成し、第１の読出モードでＯＢ画素から読み出されるＯＢ画素信号を暫定ＯＢ減算画素信号に加算して画素データを生成することで、第２の読出モードで読み出されたｎ個の信号から抽出される通常画素信号のＯＢレベルを、第１の読出モードで通常画素から読み出される通常画素信号のＯＢレベルに、高精度に整合することができる。

　このとき、イメージセンサ２が複数のＯＢクランプ回路２ａを備える場合に、第１のＯＢクランプ回路２ａが、第１の読出モードで読み出される画素信号のＯＢクランプと、第２の読出モードで読み出される１個の画素信号のＯＢクランプと、を行い、第２のＯＢクランプ回路２ａが、第２の読出モードで読み出される（ｎ－１）個の信号のＯＢクランプを行うようにすることで、ＯＢクランプ処理を高速に行いながら、ＲＡＷ画像を構成する画素信号のＯＢレベルを揃えることができる。

　さらに、ＰＤミックス回路２２が、ＯＢレベルの補正処理を、フィルタ色を区別してフィルタ色毎に行うようにすることで、フィルタ色に応じてＯＢレベルが異なる場合でも、より高精度のＯＢレベル補正を行うことが可能となる。

　そして、ベイヤー配列を基本配列とするイメージセンサ２から出力される撮像信号に対して、適切なＯＢレベル補正を実施することができる。

　また、ＰＤミックス処理対応暗時シェーディング補正回路２３が、ＰＤミックス回路２２により生成される第１の画素データ配列の各画素データから画素位置に応じた暗時シェーディングデータを減算し、ＰＤミックス回路２２により生成される第２の画素データ配列の各画素データから、画素位置に応じた暗時シェーディングデータをｎ倍したデータを減算することで、高速映像位相差読出モードにおける暗時シェーディング補正を適切に行うことが可能となる。また、この補正方法を固定パターンノイズに適用すれば、固定パターンノイズ補正も適切に行うことができる。

　そして、メモリ１３が補正用遮光画像を記憶するように構成することで、撮影毎に補正用遮光画像を取得する必要がなくなり、撮影時間を短縮することが可能となる。

　なお、上述した各回路は、ハードウェアとして構成された電子回路であることに限定されるものではなく、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路（ハードウェア）を有するプロセッサにおける各回路部であってもよいし、ＣＰＵ等のハードウェアを有するプロセッサにソフトウェアを実行させることにより各回路の機能を果たすように構成されていても構わない。

　また、上述では主として撮像装置について説明したが、本発明は撮像装置に限定されるものではなく、撮像方法であってもよいし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

　さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

Claims

　複数の画素が行方向および前記行方向に交差する方向に配列され、ｎを２以上の整数とすると、前記複数の画素は、それぞれ、１個のマイクロレンズと、ｎ個の光電変換素子と、を備え、前記マイクロレンズからの光を前記ｎ個の光電変換素子により光電変換して生成されるｎ個の分割画素信号、に係る撮像信号を出力するイメージセンサと、
　前記イメージセンサから出力される前記撮像信号を画像処理する画像処理回路と、
　を具備し、
　前記イメージセンサは、
　　前記行方向に配列された複数の画素でなる画素行毎に、前記ｎ個の分割画素信号に係る前記撮像信号を、第１の読出モードまたは第２の読出モードで読み出し可能であり、
　　前記第１の読出モードは、前記ｎ個の分割画素信号を加算して１個の画素信号を生成し、１画素行を１行で読み出すモードであり、
　　前記第２の読出モードは、前記ｎ個の分割画素信号からｎ個の信号を生成し、１画素行をｎ行で読み出すモードであり、
　前記画像処理回路は、前記第１の読出モードで読み出される画素行の画素信号と、前記第２の読出モードで読み出される画素行の前記ｎ個の信号と、を処理して、画素行毎に画素データが所定の順序で配列された画像データを生成することを特徴とする撮像装置。
　前記画像処理回路は、前記第１の読出モードで読み出される画素行の画素信号から前記画像データにおける第１の画素データ配列を生成し、前記第２の読出モードで読み出される画素行の前記ｎ個の信号から１個の画素信号を生成または抽出して前記画像データにおける第２の画素データ配列を生成する第１の回路を有し、
　前記第１の画素データ配列と前記第２の画素データ配列は、画素データの配列順序が同一であることを特徴とする請求項１に記載の撮像装置。
　前記イメージセンサの前記複数の画素は、遮光されていない通常画素と、遮光されたオプティカルブラック画素であるＯＢ画素と、を含み、
　前記イメージセンサは、前記通常画素の前記撮像信号を、前記第１の読出モードおよび前記第２の読出モードで読み出すとともに、前記ＯＢ画素の前記撮像信号を、前記第１の読出モードおよび前記第２の読出モードで読み出し、
　前記第１の回路は、前記第２の読出モードで前記ＯＢ画素から読み出される前記ｎ個の信号から生成または抽出されるＯＢ画素信号と、前記第１の読出モードで前記ＯＢ画素から読み出されるＯＢ画素信号と、を用いて、前記第２の読出モードで前記通常画素から読み出される前記ｎ個の信号から生成または抽出される通常画素信号に、ＯＢレベルの補正処理を行うことを特徴とする請求項２に記載の撮像装置。
　前記イメージセンサは、前記第２の読出モードでは、前記ｎ個の分割画素信号をｎ行で読み出し、
　前記第１の回路は、
　　前記第２の読出モードで前記通常画素から読み出される前記ｎ個の分割画素信号を加算して加算通常画素信号を生成し、
　　前記第２の読出モードで前記ＯＢ画素から読み出される前記ｎ個の分割画素信号を加算して加算ＯＢ画素信号を生成し、
　　前記加算通常画素信号から前記加算ＯＢ画素信号を減算し、前記第１の読出モードで前記ＯＢ画素から読み出されるＯＢ画素信号を加算して前記画素データを生成し、生成した前記画素データを配列して前記第２の画素データ配列を生成することを特徴とする請求項３に記載の撮像装置。
　前記イメージセンサは、第１のＯＢクランプ回路および第２のＯＢクランプ回路を備え、
　前記第１のＯＢクランプ回路は、前記第１の読出モードで読み出される前記画素信号のＯＢクランプを行い、
　前記第２のＯＢクランプ回路は、前記第２の読出モードで読み出される前記ｎ個の分割画素信号のＯＢクランプを行うことを特徴とする請求項４に記載の撮像装置。
　前記イメージセンサは、前記第２の読出モードでは、前記ｎ個の分割画素信号を加算した１個の画素信号と、前記１個の画素信号と組み合わせることにより前記ｎ個の分割画素信号を生成可能な（ｎ－１）個の信号とを、ｎ行で読み出し、
　前記第１の回路は、
　　前記第２の読出モードで前記通常画素から読み出される前記通常画素信号を抽出し、
　　前記第２の読出モードで前記ＯＢ画素から読み出される前記ＯＢ画素信号を抽出し、
　　前記通常画素信号から前記ＯＢ画素信号を減算し、前記第１の読出モードで前記ＯＢ画素から読み出されるＯＢ画素信号を加算して前記画素データを生成し、生成した前記画素データを配列して前記第２の画素データ配列を生成することを特徴とする請求項３に記載の撮像装置。
　前記イメージセンサは、第１のＯＢクランプ回路および第２のＯＢクランプ回路を備え、
　前記第１のＯＢクランプ回路は、前記第１の読出モードで読み出される前記画素信号のＯＢクランプと、前記第２の読出モードで読み出される前記１個の画素信号のＯＢクランプと、を行い、
　前記第２のＯＢクランプ回路は、前記第２の読出モードで読み出される前記（ｎ－１）個の信号のＯＢクランプを行うことを特徴とする請求項６に記載の撮像装置。
　前記イメージセンサは、１個のマイクロレンズに１つのフィルタ色が対応するように、複数のフィルタ色のカラーフィルタが所定の基本配列の繰り返しとして配置されたカラーイメージセンサであり、
　前記第１の回路は、前記ＯＢレベルの補正処理を、フィルタ色を区別して、フィルタ色毎に行うことを特徴とする請求項３に記載の撮像装置。
　前記イメージセンサの前記所定の基本配列は、ベイヤー配列であることを特徴とする請求項８に記載の撮像装置。
　前記画像処理回路は、前記画像データに暗時シェーディング補正を行う第２の回路を備え、
　前記第２の回路は、
　　前記第１の回路により生成される前記第１の画素データ配列の各画素データから、画素位置に応じた暗時シェーディングデータを減算し、
　　前記第１の回路により生成される前記第２の画素データ配列の各画素データから、画素位置に応じた前記暗時シェーディングデータをｎ倍したデータを減算することを特徴とする請求項２に記載の撮像装置。
　前記イメージセンサは、前記撮像信号のＯＢレベルをＯＢクランプレベルに設定するＯＢクランプ回路を備え、
　前記画像処理回路は、補正用遮光画像を記憶するメモリを備え、
　前記第２の回路は、前記メモリから前記補正用遮光画像を読み出して、前記補正用遮光画像から前記ＯＢクランプレベルを減算して前記暗時シェーディングデータを生成することを特徴とする請求項１０に記載の撮像装置。
　複数の画素が行方向および前記行方向に交差する方向に配列され、ｎを４以上の整数とすると、前記複数の画素は、それぞれ、１個のマイクロレンズと、ｎ個の光電変換素子と、を備え、前記マイクロレンズからの光を前記ｎ個の光電変換素子により光電変換して生成されるｎ個の分割画素信号、に係る撮像信号を出力するイメージセンサと、
　前記イメージセンサから出力される前記撮像信号を画像処理する画像処理回路と、
　を具備し、
　前記イメージセンサは、
　　前記行方向に配列された複数の画素でなる画素行毎に、前記ｎ個の分割画素信号に係る前記撮像信号を、第１の読出モードまたは第２の読出モードで読み出し可能であり、
　　前記第１の読出モードは、前記ｎ個の分割画素信号を加算して１個の画素信号を生成し、１画素行を１行で読み出すモードであり、
　　前記第２の読出モードは、前記ｎ個の分割画素信号からｍ（２≦ｍ＜ｎ）個の信号を生成し、１画素行をｍ行で読み出すモードであり、
　前記画像処理回路は、前記第１の読出モードで読み出される画素行の画素信号と、前記第２の読出モードで読み出される画素行の前記ｍ個の信号と、を処理して、画素行毎に画素データが所定の順序で配列された画像データを生成することを特徴とする撮像装置。
　前記画像処理回路は、前記第１の読出モードで読み出される画素行の画素信号から前記画像データにおける第１の画素データ配列を生成し、前記第２の読出モードで読み出される画素行の前記ｍ個の信号から１個の画素信号を生成または抽出して前記画像データにおける第２の画素データ配列を生成する第１の回路を有し、
　前記第１の画素データ配列と前記第２の画素データ配列は、画素データの配列順序が同一であることを特徴とする請求項１２に記載の撮像装置。
　前記イメージセンサの前記複数の画素は、遮光されていない通常画素と、遮光されたオプティカルブラック画素であるＯＢ画素と、を含み、
　前記イメージセンサは、前記通常画素の前記撮像信号を、前記第１の読出モードおよび前記第２の読出モードで読み出すとともに、前記ＯＢ画素の前記撮像信号を、前記第１の読出モードおよび前記第２の読出モードで読み出し、
　前記第１の回路は、前記第２の読出モードで前記ＯＢ画素から読み出される前記ｍ個の信号から生成または抽出されるＯＢ画素信号と、前記第１の読出モードで前記ＯＢ画素から読み出されるＯＢ画素信号と、を用いて、前記第２の読出モードで前記通常画素から読み出される前記ｍ個の信号から生成または抽出される通常画素信号に、ＯＢレベルの補正処理を行うことを特徴とする請求項１３に記載の撮像装置。
　前記イメージセンサは、前記第２の読出モードでは、前記ｎ個の分割画素信号から生成される前記ｍ個の信号をｍ行で読み出し、
　前記第１の回路は、
　　前記第２の読出モードで前記通常画素から読み出される前記ｍ個の信号から生成または抽出される加算通常画素信号を生成し、
　　前記第２の読出モードで前記ＯＢ画素から読み出される前記ｍ個の信号から生成または抽出される加算ＯＢ画素信号を生成し、
　　前記加算通常画素信号から前記加算ＯＢ画素信号を減算し、前記第１の読出モードで前記ＯＢ画素から読み出されるＯＢ画素信号を加算して前記画素データを生成し、生成した前記画素データを配列して前記第２の画素データ配列を生成することを特徴とする請求項１４に記載の撮像装置。
　前記イメージセンサは、第１のＯＢクランプ回路および第２のＯＢクランプ回路を備え、
　前記第１のＯＢクランプ回路は、前記第１の読出モードで読み出される前記画素信号のＯＢクランプを行い、
　前記第２のＯＢクランプ回路は、前記第２の読出モードで読み出される前記ｍ個の信号のＯＢクランプを行うことを特徴とする請求項１５に記載の撮像装置。
　前記イメージセンサは、前記第２の読出モードでは、前記ｎ個の分割画素信号を加算した１個の画素信号と、前記１個の画素信号と組み合わせることにより前記ｍ個の信号を生成可能な（ｍ－１）個の信号とを、ｍ行で読み出し、
　前記第１の回路は、
　　前記第２の読出モードで前記通常画素から読み出される前記通常画素信号を抽出し、
　　前記第２の読出モードで前記ＯＢ画素から読み出される前記ＯＢ画素信号を抽出し、
　　前記通常画素信号から前記ＯＢ画素信号を減算し、前記第１の読出モードで前記ＯＢ画素から読み出されるＯＢ画素信号を加算して前記画素データを生成し、生成した前記画素データを配列して前記第２の画素データ配列を生成することを特徴とする請求項１４に記載の撮像装置。
　前記イメージセンサは、第１のＯＢクランプ回路および第２のＯＢクランプ回路を備え、
　前記第１のＯＢクランプ回路は、前記第１の読出モードで読み出される前記画素信号のＯＢクランプと、前記第２の読出モードで読み出される前記１個の画素信号のＯＢクランプと、を行い、
　前記第２のＯＢクランプ回路は、前記第２の読出モードで読み出される前記（ｍ－１）個の信号のＯＢクランプを行うことを特徴とする請求項１７に記載の撮像装置。
　前記イメージセンサは、１個のマイクロレンズに１つのフィルタ色が対応するように、複数のフィルタ色のカラーフィルタが所定の基本配列の繰り返しとして配置されたカラーイメージセンサであり、
　前記第１の回路は、前記ＯＢレベルの補正処理を、フィルタ色を区別して、フィルタ色毎に行うことを特徴とする請求項１４に記載の撮像装置。
　前記イメージセンサの前記所定の基本配列は、ベイヤー配列であることを特徴とする請求項１９に記載の撮像装置。
　前記画像処理回路は、前記画像データに暗時シェーディング補正を行う第２の回路を備え、
　前記第２の回路は、
　　前記第１の回路により生成される前記第１の画素データ配列の各画素データから、画素位置に応じた暗時シェーディングデータを減算し、
　　前記第１の回路により生成される前記第２の画素データ配列の各画素データから、画素位置に応じた前記暗時シェーディングデータをｍ倍したデータを減算することを特徴とする請求項１５に記載の撮像装置。
　前記イメージセンサは、前記撮像信号のＯＢレベルをＯＢクランプレベルに設定するＯＢクランプ回路を備え、
　前記画像処理回路は、補正用遮光画像を記憶するメモリを備え、
　前記第２の回路は、前記メモリから前記補正用遮光画像を読み出して、前記補正用遮光画像から前記ＯＢクランプレベルを減算して前記暗時シェーディングデータを生成することを特徴とする請求項２１に記載の撮像装置。