JP6157291B2 - 撮像装置およびその制御方法、撮像システム、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置に関し、特に、動画撮影の際に撮像素子から取得したデータに基づいて生成した補正データによって画像データを補正する撮像装置に関する。

一般に、デジタルカメラ又はデジタルビデオカメラなどの撮像装置においては、撮像素子の出力を補正する補正データを予め保持して、当該補正データを用いて画像データを補正し良好な画像を得るようにしている。ところが、例えば、環境温度の上昇に伴い、撮像素子の温度が上昇して撮像素子の特性が変化すると、予め保持された補正データでは良好な補正を行うことができなくなる問題がある。

上記のような問題を解決するため、特許文献１では、温度など撮影の際の条件が変化すると、補正データを再生成する撮像装置を開示している。

特開２００６−１２１３５８号公報

ところが、特許文献１に記載の撮像装置においては次のような問題点がある。

例えば、焦点検出画素データと撮像画素データ等、複数種類のデータを出力する撮像素子で動画像のように連続して画像データを取得する場合、焦点検出画素での撮影条件が変更された際には画像データの取得を一旦中断する必要がある。このため、補正データの再生成の際に画像が途切れてしまうといった問題点がある。

本発明は、画像データの取得を中断せずに補正データを再生成することのできる撮像装置およびその制御方法、撮像システム、プログラム、記憶媒体を提供する。

本発明の一側面としての撮像装置は、第１の光電変換部と第２の光電変換部とを備えた単位画素を有する撮像素子と、前記第１の光電変換部または前記第２の光電変換部からなる焦点検出画素から焦点検出信号を補正するための第１の補正信号を読み出し、前記第１の光電変換部および前記第２の光電変換部からなる撮像画素から前記第１の光電変換部と前記第２の光電変換部の信号を加算した画像信号を補正するための第２の補正信号を読み出す第１の読み出しモードと、前記焦点検出画素から前記焦点検出信号を読み出し、前記撮像画素から前記画像信号を読み出す第２の読み出しモードと、前記焦点検出画素から前記第１の補正信号を読み出し、前記撮像画素から前記画像信号を読み出す第３の読み出しモードと、を切り替え制御する制御手段と、を有し、前記第３の読み出しモードは、前記焦点検出画素の読み出し条件が変更されたときに設定されることを特徴とする。

本発明によれば、画像データの取得を中断せずに補正データを再生成することができる。

本発明の第１、２の実施形態に係る撮像装置の構成を示す図である。 本発明の第１の実施形態に係る撮像素子の構成を示す図である。 本発明の第１、２の実施形態に係る画像補正部の構成を示す図である。 本発明の第１、２の焦点検出方法を示す図である。 本発明の第１の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第１、２の実施形態に係る撮像装置の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像素子の構成を示す図である。 本発明の第２の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の第１の実施形態による撮像装置の構成を示すブロック図である。図１では、撮像装置本体（カメラ本体）と撮像レンズ（撮像光学系）とが一体となった撮像装置を示しているが、本発明は、これに限定されるものではなく、撮像レンズが撮像装置本体に対して交換可能に装着される撮像システムにも適用可能である。

図１を参照して、本発明の撮像装置は、撮像素子１００を備えており、動画像または静止画像を撮影する機能を有している。この撮像素子１００は、被写体側に配置された撮像光学系により形成される光学像を電気信号（アナログ信号、つまり、画像信号）に変換する。撮像素子１００から出力されたアナログ信号は、アナログフロントエンド（ＡＦＥ）１０２でゲインが調整されるとともに、所定の量子化ビットに応じてデジタル信号（画像データ）に変換される。なお、撮像素子１００およびＡＦＥ１０２はタイミングジェネレータ（ＴＧ）１０１によって駆動タイミングが制御される。なお、ここでは撮像素子１００から出力されるアナログ信号をＡＦＥ１０２にてデジタル信号に変換する構成だが、この限りではない。撮像素子１００からデジタル信号が出力される構成でもよい。また、ここでは撮像素子１００外部にあるＴＧ１０１が撮像素子１００に対して駆動タイミングを制御する構成だが、撮像素子１００内部のＴＧが駆動タイミングを制御する構成でもよい。

ＲＡＭ１０７は、ＡＦＥ１０２から出力される画像データおよび後述する画像処理部１０８で処理された画像データを記憶するためのメモリ（画像メモリ）であり、さらに、ＲＡＭ１０７は後述するＣＰＵ１０３によってワークメモリとしても用いられる。なお、ここでは、画像メモリおよびワークメモリとしてＲＡＭ１０７を用いているが、アクセス速度が問題ないレベルのメモリであれば、他のメモリを用いるようにしてもよい。

ＲＯＭ１０５には、ＣＰＵ１０３上で動作するプログラムが格納される。図示の例では、ＲＯＭ１０５としてフラッシュＲＯＭが用いられるが、アクセス速度が問題ないレベルのメモリであれば、フラッシュＲＯＭ以外の他のメモリを用いるようにしてもよい。

ＣＰＵ１０３は、撮像装置を統括的に制御する制御手段としての機能を有する。画像処理部１０８は撮影の結果得られた画像データの補正や圧縮等の処理を行う。また、画像処理部１０８は、後述する画像補正部３００を含む。

記録部１０９は、例えば、不揮発性メモリ又はハードディスクである。記録部１０９には、例えば、静止画像データおよび動画像データが記録される。

図１では、記録部１０９が撮像装置に含まれているように記載しているが、記録部１０９は、コネクタを介して着脱可能な不揮発性メモリ又はハードディスク等の記録媒体でもよい。

操作部１０４は撮影命令および撮像条件等の設定をＣＰＵ１０３に対して行う際に用いられる。表示部１０６はＣＰＵ１０３の制御下で撮影の結果得られた静止画像、動画像、およびメニュー等の表示を行う。

１１０はＡＦ演算部であり、ＡＦＥ１０２から出力される画像データに基づいて、後述する処理で焦点検出を行う。

１１９は撮像光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１１８は絞りで、その開口径を調節することで撮影時の光量調節を行う。１１７は第２レンズ群である。絞り１１８及び第２レンズ群１１７は、本実施例では一体となって光軸方向に進退し、第１レンズ群１１９の進退動作との連動により、変倍作用（ズーム機能）をなす。

１１６は第３レンズ群（フォーカスレンズ）で、光軸方向の進退により、焦点調節を行う。

１１１は静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。本実施例ではフォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、この限りではない。撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成でもよい。

１１２はフォーカス駆動回路で、ＡＦ演算部１１０の焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１１６を光軸方向に進退駆動して焦点調節を行なう。１１３は絞り駆動回路で、絞りアクチュエータ１１５を駆動制御して絞り１１８の開口を制御する。

つぎに、図１に示す撮像素子１００の構成を図２（ａ）および図２（ｂ）を用いて詳細に説明する。

図２（ａ）は、本発明における撮像素子１００の単位画素２００を示す回路図である。図２（ａ）に示すように、単位画素２００は、第１のフォトダイオード（光電変換部）２０１ａ、第２のフォトダイオード（光電変換部）２０１ｂ、第１の転送スイッチ２０２ａ、第２の転送スイッチ２０２ｂを有する。さらに単位画素２００は、フローティングディフュージョン２０３、増幅部２０４、リセットスイッチ２０５、選択スイッチ２０６を含んで構成される。

このように、本発明における撮像素子１００は、第１の光電変換部と第２の光電変換部とを有する単位画素を有する。ただし、各単位画素に設けられる光電変換部の数は図２に示される２つに限定されず、２以上（例えば、４つ）設けられてもよい。本発明において第１の光電変換部または第２の光電変換部は、後述するように、焦点検出画素として機能する。また、第１の光電変換部および第２の光電変換部は、後述するように、撮像画素として機能する。

フォトダイオード２０１ａ、２０１ｂは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。

転送スイッチ２０２ａ、２０２ｂは、それぞれフォトダイオード２０１ａ、２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する。転送スイッチ２０２ａ、２０２ｂは、それぞれ転送パルス信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。

フローティングディフュージョン２０３は、フォトダイオード２０１ａおよび２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。

増幅部２０４は、ソースフォロワＭＯＳトランジスタであり、フローティングディフュージョン２０３に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。

リセットスイッチ２０５は、リセットパルス信号ＲＥＳによって制御され、フローティングディフュージョン２０３の電位を基準電位ＶＤＤにリセットする。

選択スイッチ２０６は、垂直選択パルス信号ＳＥＬによって制御され、増幅部２０４で増幅された画素信号を垂直出力線２０７に出力する。

２０８は基準電位ＶＤＤを供給する共通電源である。

図２（ｂ）は、本発明による撮像素子１００の読み出し回路について説明する図である。

２３４は画素領域であり、複数の単位画素２００が行列状に配置されている。本実施例では説明を簡略化するために、水平方向にｎ＋１画素、垂直方向に４画素並ぶ構成で示してあるが、実際の垂直方向の画素数はさらに多数である。また、単位画素２００には複数色（本実施例では、赤色、緑色、青色の３色）のカラーフィルタのうちいずれか１つが設けられている。図２（ｂ）では、赤色カラーフィルタが設けられ、赤色光を撮像する画素をＲ画素、緑色カラーフィルタが設けられ、緑色光を撮像する画素をＧ画素、青色カラーフィルタが設けられ、青色光を撮像する画素をＢ画素として表記する。３色のカラーフィルタをそれぞれ有する各画素はベイヤー配列に従って配置される。

２０９は垂直シフトレジスタであり、各行の画素毎に共通の駆動信号線２１０を通して、駆動パルスが送出される。なお、駆動信号線２１０は、簡略化のため、各行毎に１本ずつ図示してあるが、実際には各行毎に複数の駆動信号線が接続される。

同じ列の単位画素２００は共通の垂直出力線２０７に接続されており、各画素からの信号は、この垂直出力線２０７を介して共通の読み出し回路２１２に入力される。そして、読み出し回路２１２で処理された信号は水平シフトレジスタ２３２により順次出力アンプ２３３に出力される。２１１は垂直出力線２０７に接続される電流源負荷である。

つぎに、読み出し回路２１２の具体的な回路構成を説明する。

２１３はクランプ容量Ｃ０、２１４はフィードバック容量Ｃｆ、２１５はオペアンプ、２１６は基準電圧Ｖｒｅｆを供給する基準電圧源、２２９はフィードバック容量Ｃｆの両端をショートさせるためのスイッチである。スイッチ２２９はＲＥＳ＿Ｃ信号で制御される。２１７、２１９は信号電圧（Ｓ信号）を保持するための容量であり、２１８、２２０はノイズ（Ｎ信号）を保持するための容量である。２１７を容量Ｓ信号保持容量ＡＢ、２１９を容量Ｓ信号保持容量Ａ、２１８および２２０を容量Ｎ信号保持容量と表記する。

２２１、２２２、２２３、２２４は容量への書き込みを制御するスイッチである。スイッチ２２１はＴＳ＿ＡＢ信号で制御され、スイッチ２２３は、ＴＳ＿Ａ信号で制御される。スイッチ２２２、２２４はＴＮ信号で制御される。２２５、２２６、２２７、２２８は水平シフトレジスタ２３２からの信号を受けて出力アンプ２３３に信号を出力するためのスイッチである。スイッチ２２５、２２６は水平シフトレジスタ２３２のＨＡＢ（ｍ）信号で制御され、スイッチ２２７、２２８はＨＡ（ｍ）信号で制御される。ここで、ｍは制御信号線が接続されている読み出し回路の列番号を表す。容量Ｓ信号保持容量ＡＢ２１７、容量Ｓ信号保持容量Ａ２１９に書き込まれた信号は共通出力線２３０を介して、容量Ｎ信号保持容量２１８、２２０に書き込まれた信号は共通出力線２３１を介して、出力アンプ２３３に出力される。

次に撮像素子１００が出力する画像データについて説明する。

図４（ａ）と図４（ｂ）は、撮像素子１００におけるピント状態と位相差との関係を示す。

４０４は画素アレイの断面を示す。４００は各単位画素に一つ設けられたマイクロレンズである。前述した様に、フォトダイオード２０１ａ、２０１ｂは、同一のマイクロレンズを通過した光を受光する構成となっている。フォトダイオード２０１ａとフォトダイオード２０１ｂは後述する構成により位相差を持った別の像が入射されるため、ここではフォトダイオード２０１ａをＡ像用画素、フォトダイオード２０１ｂをＢ像用画素とする。図中においては、Ａ像用画素をＡ、Ｂ像用画素をＢと表記している。なお、本実施例ではマイクロレンズ１つに対してフォトダイオードが２つ配置される構成であるがこの限りではない。マイクロレンズ１つに対してフォトダイオードが上下または左右に複数配置される構成であれば適用することができる。

４０１は、図１に示す第１レンズ群１１９、第２レンズ群１１７、第３レンズ群１１６を合わせて１つのレンズとして考えた撮影レンズを表す。

被写体４０２から発せられた光は、光軸４０３を中心として、撮影レンズ４０１の各領域を通過し、撮像素子に結像される。ここでは射出瞳と撮影レンズの中心は同一としている。

この様な構成によれば、撮像光学系をＡ像用画素から見た場合とＢ像用画素から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。言い換えれば、撮像光学系からの光束が２つの光束にいわゆる瞳分割され、それぞれの分割光束（第１の光束及び第２の光束）がＡ像用画素及びＢ像用画素に入射する。このように、Ａ像用画素とＢ像用画素のそれぞれは、撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光を受光（光電変換）することから、後述するように焦点検出画素として機能することができる。また、Ａ像用画素およびＢ像用画素は、互いの信号を加算することで撮像光学系からの光束により形成された像を光電変換できることから、後述するように撮像画素として機能することができる。

被写体４０２上の特定点からの光束は、Ａ像用画素Ａに対応する分割瞳を通って該Ａ像用画素Ａに入射する光束ΦＬａと、Ｂ像用画素Ｂに対応する分割瞳を通って該Ｂ像用画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体４０２上の同一点から入射しているため、撮像光学系のピントが合った状態では、図４（ａ）に示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、Ａ像用画素ＡとＢ像用画素Ｂからそれぞれ得られる像信号は互いに一致する。

しかし、図４（ｂ）に示すように、光軸方向にＹだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、Ａ像用画素ＡとＢ像用画素Ｂからそれぞれ得られる像信号には位相差が生じる。

Ａ像用画素ＡとＢ像用画素Ｂのそれぞれ（すなわち、焦点検出画素）は、位相差を持った２つの被写体像（Ａ像及びＢ像）を光電変換し、該光電変換により得られた信号は、撮像素子１００外部へ出力され、後述するＡＦ動作に使用される。

撮像素子１００の読出しは、後述する動作によりＡ像用画素Ａの信号（以下、焦点検出信号ともいう）のみを読み出す第１の読出しと、Ａ像用画素ＡとＢ像用画素Ｂの信号を加算した信号（以下、画像信号ともいう）を読み出す第２の読出しとを行う。以降、Ａ像用画素Ａの信号をＡＦＥ１０２にてデジタル信号に変換したものをＡ像、Ａ像用画素ＡとＢ像用画素Ｂの信号を加算した信号をＡＦＥ１０２にてデジタル信号に変換したものをＡＢ像とする。

Ａ像とＡＢ像は、画像処理部１０８に含まれる画像補正部３００にて後述する補正を適用された後にＡＦ演算部１１０に入力される。ＡＦ演算部１１０ではＡＢ像からＡ像を減算し、Ｂ像用画素Ｂのみで光電変換された画像データである、Ｂ像を生成する。

次にＡＦ演算部１１０において行われる焦点検出動作について説明する。図４（ｃ）はピントがあった図４（ａ）の場合におけるＡ像と、Ｂ像である。横軸は、画素位置を表し、縦軸は出力を表す。ピントがあっている場合はＡ像とＢ像は一致する。図４（ｄ）はピントがあっていない図４（ｂ）の場合のＡ像とＢ像である。このときは、Ａ像とＢ像は前述した状態によって位相差を持ち、画素位置がずれ量Ｘでずれている。ＡＦ演算部１１０では、フレーム毎のずれ量Ｘを算出することによりピントのずれ量、即ち図４（ｂ）におけるＹ値を算出する。ＡＦ演算部１１０は算出したＹ値をフォーカス駆動回路１１２に転送する。

フォーカス駆動回路１１２はＡＦ演算部１１０から取得したＹ値に基づき第３レンズ群１１６を動かす量を算出し、フォーカスアクチュエータ１１４に駆動命令を出力する。第３レンズ群１１６はフォーカスアクチュエータ１１４によりピントが合う位置まで移動され、撮像素子１００にてピントが合った状態となる。

図３は、図１に示す画像処理部１０８に含まれる画像補正部３００の構成の一例を示すブロック図である。

画像位置情報生成回路３０４は入力されたデータ数をカウントし、ＣＰＵ１０３により設定された画像サイズ（列数・行数）に基づいて、入力データが画像のどの位置のデータであるかを示す画像位置情報を算出する。同時に、ＣＰＵ１０３により設定されるＡ像領域と上記画像位置情報とに基づき、入力データがＡ像であることを示すＡ像領域情報を出力する。また、ＣＰＵ１０３により設定されるＡＢ像領域と上記画像位置情報とに基づき、入力データがＡＢ像であることを示すＡＢ像領域情報を出力する。

補正データ生成回路３０１は上記画像位置情報とＣＰＵ１０３により設定された演算領域を参照し、演算領域内の画像データを使用して列毎の補正データを生成する生成手段として機能する。本実施例では、列毎に、所定の画素数分の画像データの平均値を算出したものを補正データとする。また、所定画素数分の画像データが平均されるまでの計算過程のデータは列毎にメモリ３０５に格納され、補正データ生成に使用される。最終的に算出されたＡ像またはＡＢ像の列毎の補正データはメモリ（記憶手段）３０５に格納される。

メモリ制御部３０３は画像位置情報生成回路３０４から出力されるＡ像領域情報・ＡＢ像領域情報に基づき、Ａ像とＡＢ像のそれぞれの、各列の補正データを格納するアドレスを算出し、メモリ３０５に対してアドレスを出力する。また、補正データ生成時は計算過程データや生成した補正データをメモリ３０５に格納するための書き込み信号を出力する。

メモリ３０５からは入力されるアドレスに格納される補正データが出力され、補正回路（補正手段）３０２に入力される。補正回路３０２では補正データを用いて入力データ（例えば、焦点検出信号に対応するＡ像の画像データと画像信号に対応するＡＢ像の画像データ）を補正してデータを出力する。本実施例での補正は、上述した列毎の補正データを、各々画像データから減算することにより、列毎のオフセット補正をする。

なお、本実施例では画像データの列毎の平均値を算出し、それを画像データの対応する列から減算することにより画像データを補正するとしたが、この限りではない。

次に、図５に示すフローチャートを用いて本実施例における撮像装置の動作を説明する。
操作部１０４に含まれる動画撮影スイッチが押下されると、動画の撮影が開始される。ステップＳ１００にて、ＣＰＵ１０３はＡ像を読み出す水平位置を撮像素子１００に対して設定する。Ａ像読み出し位置は、予め設定されている焦点検出領域を含む領域に設定される。ここでは、Ａ像の読み出し位置、すなわち第１の焦点検出領域は第ｈ〜ｉ列とする。

次にステップＳ１０１にて、ＣＰＵ１０３はＴＧ１０１に対して、Ａ像とＡＢ像の読み出しモードを補正データ生成用信号出力モード（第１の読み出しモード）に設定する。この設定により、読出し時にＡ像とＡＢ像はそれぞれ補正データ生成用信号が出力され、ＡＦＥ１０２にてデジタル信号に変換された補正データ生成用データとして画像補正部３００に入力される。

次にステップＳ１０２にて、ＣＰＵ１０３は画像補正部３００に対してＡ像とＡＢ像の補正データを生成する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像とＡＢ像の補正データ生成用データから各々の補正データを生成する。

その後ステップＳ１０３にてＡ像とＡＢ像の補正データ生成用信号の読み出しが行われる。以下に図７Ａを用いてＡ像とＡＢ像の補正データ生成用信号の読み出しについて説明する。図７ＡはＡ像とＡＢ像の補正データ生成用信号の１行の読み出しタイミングを示した図である。時刻ａ１で転送スイッチ２０２ａおよび２０２ｂの制御信号であるＴＸ＿ＡおよびＴＸ＿ＢをＨにする。ＴＸ＿ＡおよびＴＸ＿ＢがＨになると、フォトダイオード２０１ａ，２０１ｂに蓄積された電荷は、第１の転送スイッチ２０２ａ、第２の転送スイッチ２０２ｂを介して増幅部２０４のゲートに転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。時刻ａ２でＴＸ＿ＡおよびＴＸ＿ＢをＬとし、フォトダイオード２０１ａ、２０１ｂに光電荷を蓄積開始する。

必要時間蓄積を行った後に時刻ａ３で選択スイッチ２０６の制御信号であるＳＥＬをＨにして、増幅部２０４をＯＮする。時刻ａ４でリセットスイッチ２０５の制御信号であるＲＥＳをＬとすることでフローティングディフュージョン領域２０３のリセットを解除する。このときのフローティングディフュージョン領域２０３の電位を垂直出力線２０７に増幅部２０４を介してリセット信号レベルとして読み出し、読み出し回路２１２に入力する。

その後、時刻ａ５でＲＥＳ_ＣをＬとすると、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆの差分がオペアンプ２１５から出力される。時刻ａ６でＴＮをＨとして、スイッチ２２２、２２４をＯＮし、時刻ａ７でＴＮをＬとして、スイッチ２２２、２２４をＯＦＦすることにより、オペアンプ２１５の出力を容量Ｎ信号保持容量２１８、２２０へ書き込む。

つぎに、時刻ａ８ではこのときのオペアンプ２１５の出力を容量Ｓ信号保持容量Ａ２１９へ書き込むためにＴＳ＿ＡをＨとして、スイッチ２２３をＯＮし、時刻ａ９でＴＳ＿ＡをＬとして、スイッチ２２３をＯＦＦして書き込みを終了する。

続いて時刻ａ１０ではこのときのオペアンプ２１５の出力を容量Ｓ信号保持容量ＡＢ２１７へ書き込むためにＴＳ＿ＡＢをＨとして、スイッチ２２１をＯＮし、時刻ａ１１でＴＳ＿ＡＢをＬとして、スイッチ２２１をＯＦＦして書き込みを終了する。

本動作により、容量Ｓ信号保持容量ＡＢ２１７と容量Ｎ信号保持容量２１８の差電圧をとることで、読出し回路２１２のノイズ成分を得ることができる。すなわち、この画素のリセット電位の読み出し信号はＡＢ像の補正データ生成用信号（第２の補正信号）となる。また、容量Ｓ信号保持容量Ａ２１９と容量Ｎ信号保持容量２２０の差電圧をとることにより、読出し回路２１２のノイズ成分を得ることができる。すなわち、この画素のリセット電位の読み出し信号はＡ像の補正データ生成用信号（第１の補正信号）となる。

つぎに時刻ａ１２でＲＥＳをＨとして、フローティングディフュージョン領域２０３をリセット状態にする。

その後、時刻ａ１３〜ａ１４の間に、水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量Ａ２１９、容量Ｎ信号保持容量２２０に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の補正データ生成用信号となる。

ここで、ステップＳ１００における設定に従い、水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図７Ａの駆動タイミングに示すように第ｈ〜ｉ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像の補正データ生成用信号が読み出される画素列は第ｈ〜ｉ列目となる。

次に、時刻ａ１４〜ａ１５の間に、水平シフトレジスタ２３２の駆動パルスＨＡＢ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量ＡＢ２１７、容量Ｎ信号保持容量２１８に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡＢ像の補正データ生成用信号となる。ここで、駆動パルスＨＡＢ（ｍ）は図７Ａの駆動タイミングに示すように第０〜ｎ列のすべての列で順次Ｌ→Ｈ→Ｌとなる。したがって、ＡＢ像の補正データ生成用信号はすべての列から読み出される。

以上の動作が各行毎に順次行われ、Ａ像とＡＢ像の補正データ生成用信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ａ）の起動時に記載の様にＡ像とＡＢ像の補正データ生成用データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、入力されたデータを列毎に平均し、上述した処理によりＡ像の第ｈ〜ｉ列の列毎の第１の補正データと、ＡＢ像の第０〜ｎ列の列毎の第２の補正データを生成し、それぞれ図６（ａ）の起動時に記載の様に格納する。

次にステップＳ１０４にてＣＰＵ１０３はＡ像とＡＢ像の補正データの生成が終了したかを判断する。本実施例では１フレーム分の補正データ生成用データで補正データの生成が終了するのでステップＳ１０５に進む。複数フレーム分の補正データ生成用データが必要な場合は、ステップＳ１０３に戻って読み出しを繰り返し、補正データの生成が終了するまで続ける。

ステップＳ１０５ではＣＰＵ１０３はＴＧ１０１に対して、Ａ像とＡＢ像の読み出しモードを画像信号出力モード（第２の読み出しモード）に設定する。この設定により、読出し時にＡ像とＡＢ像はフォトダイオード２０１ａ、２０１ｂにて光電変換された光成分の信号が出力され、ＡＦＥ１０２にてデジタル信号に変換された画像データとして画像補正部３００に入力される。

次にステップＳ１０６にて、ＣＰＵ１０３は画像補正部３００に対してＡ像とＡＢ像を補正する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像とＡＢ像の画像データをそれぞれ補正する。

その後ステップＳ１０７にてＡ像とＡＢ像の画像信号の読み出しが行われる。以下に図７Ｂを用いてＡ像とＡＢ像の画像信号の読み出しについて説明する。

図７ＢはＡ像とＡＢ像の画像信号の１行の読み出しタイミングを示した図である。時刻ｂ１で転送スイッチ２０２ａおよび２０２ｂの制御信号であるＴＸ＿ＡおよびＴＸ＿ＢをＨにする。ＴＸ＿ＡおよびＴＸ＿ＢがＨになると、フォトダイオード２０１ａ，２０１ｂに蓄積された電荷は、第１の転送スイッチ２０２ａ、第２の転送スイッチ２０２ｂを介して増幅部２０４のゲートに転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。時刻ｂ２でＴＸ＿ＡおよびＴＸ＿ＢをＬとし、フォトダイオード２０１ａ、２０１ｂに光電荷を蓄積開始する。

必要時間蓄積を行った後に時刻ｂ３で選択スイッチ２０６の制御信号であるＳＥＬをＨにして、増幅部２０４をＯＮする。時刻ｂ４でリセットスイッチ２０５の制御信号であるＲＥＳをＬとすることでフローティングディフュージョン領域２０３のリセットを解除する。このときのフローティングディフュージョン領域２０３の電位を垂直出力線２０７に増幅部２０４を介してリセット信号レベルとして読み出し、読み出し回路２１２に入力する。

その後、時刻ｂ５でＲＥＳ_ＣをＬとすると、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆの差分がオペアンプ２１５から出力される。時刻ｂ６でＴＮをＨとして、スイッチ２２２、２２４をＯＮし、時刻ｂ７でＴＮをＬとして、スイッチ２２２、２２４をＯＦＦすることにより、オペアンプ２１５の出力を容量Ｎ信号保持容量２１８、２２０へ書き込む。

つぎに、時刻ｂ８でＴＸ＿ＡをＨとして、フォトダイオード２０１ａの光電荷をフローティングディフュージョン領域２０３へ転送し、時刻ｂ９でＴＸ＿ＡをＬとする。この動作によりフォトダイオード２０１ａに蓄積された電荷がフローティングディフュージョン領域２０３へ読み出される。そして、その変化に応じた出力が増幅部２０４および垂直出力線２０７を介して読み出し回路２１２へ供給される。

読み出し回路２１２では２１３のクランプ容量Ｃ０と２１４のフィードバック容量Ｃｆ、の比率で電圧変化に対し反転ゲインがかかり出力される。

この電圧を容量Ｓ信号保持容量Ａ２１９へ書き込むために、時刻ｂ１０でＴＳ＿ＡをＬ→Ｈへ切り替え、スイッチ２２３をＯＮし、時刻ｂ１１でＴＳ＿ＡをＨ→Ｌと切り替え、スイッチ２２３をＯＦＦし書き込みを終了する。

つぎに、時刻ｂ１２で再びＴＸ＿ＡをＨとすると同時にＴＸ＿ＢもＨとする。この動作によりフォトダイオード２０１ａと２０１ｂの双方の光電荷を同時にフローティングディフュージョン領域２０３へ読み出すことができる。読み出された電荷はフォトダイオード２０１ａのみを読みだした際と同様に読み出し回路２１２へ供給され、オペアンプ２１５を介して出力される。

この電圧を容量Ｓ信号保持容量ＡＢ２１７へ書き込むために、時刻ｂ１４でＴＳ＿ＡＢをＬ→Ｈへ切り替え、スイッチ２２１をＯＮし、時刻ｂ１５でＴＳ＿ＡＢをＨ→Ｌと切り替え、スイッチ２２１をＯＦＦし書き込みを終了する。

本動作により、容量Ｓ信号保持容量ＡＢ２１７と容量Ｎ信号保持容量２１８の差電圧をとることで、フォトダイオード２０１ａおよび２０１ｂからの出力信号の和であるＡＢ像の画像信号が得られる。このＡＢ像信号は撮影画像となる。また、容量Ｓ信号保持容量Ａ２１９と容量Ｎ信号保持容量２２０の差電圧をとることにより、フォトダイオード２０１ａからの出力信号であるＡ像の画像信号（焦点検出信号）が得られる。

つぎに時刻ｂ１６でＲＥＳをＨとして、フローティングディフュージョン領域２０３をリセット状態にする。

その後、時刻ｂ１７〜ｂ１８の間に、水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量Ａ２１９、容量Ｎ信号保持容量２２０に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の画像信号となる。

ここで、ステップＳ１００における設定に従い、駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図７Ｂの駆動タイミングに示すように第ｈ〜ｉ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像信号が読み出される画素列は第ｈ〜ｉ列目となる。

つぎに、時刻ｂ１８〜ｂ１９の間に、水平シフトレジスタ２３２の駆動パルスＨＡＢ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量ＡＢ２１７、容量Ｎ信号保持容量２１８に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡＢ像の画像信号となる。ここで、駆動パルスＨＡＢ（ｍ）は図７Ｂの駆動タイミングに示すように第０〜ｎ列のすべての列で順次Ｌ→Ｈ→Ｌとなる。したがって、ＡＢ像の画像信号はすべての列から読み出される。

以上の動作が各行毎に順次行われ、Ａ像、ＡＢ像の画像信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ａ）の１フレーム目に記載の様にＡ像とＡＢ像の画像データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、メモリ３０５に格納されるＡ像の第ｈ〜ｉ列と、ＡＢ像の第０〜ｎ列の列毎の補正データを入力データの列対応に合わせてメモリ３０５から出力させ、各列毎のオフセット補正を行う。

補正されたＡ像、ＡＢ像はＡＦ演算部１１０に入力され、上述した処理によりＡＦ動作を行う。また、ＡＢ像の画像データはＲＡＭ１０７に格納される。ＣＰＵ１０３はＲＡＭ１０７に格納されるＡＢ像の画像データを画像処理部１０８に転送し、画像処理部１０８では画像データの圧縮等が行われる。その後動画データとして記録部１０９に記録される。

次にステップＳ１０８にて、ＣＰＵ１０３は、操作部１０４の動画撮影スイッチが再び押下されて撮影が終了するかを判断する。撮影終了である場合には、そのまま撮影動作を終了する。撮影終了でない場合にはステップＳ１０９に進む。

ステップＳ１０９では、ＣＰＵ１０３が、焦点検出領域の位置（すなわち、焦点検出画素の読み出し位置）が変更されたかを判断する。焦点検出領域の位置が変更されていない場合には、ステップＳ１０７に戻り、上述したステップＳ１０７からステップＳ１０８の動作を繰り返す（図６（ａ））。

焦点検出領域の位置が変更されている場合（もしくは、撮像素子の焦点検出画素の読み出し条件が変更されている場合）は、ステップＳ１１０へと進む。ステップＳ１１０では、ＣＰＵ１０３は変更後の焦点検出領域の位置に合わせてＡ像を読み出す水平位置を撮像素子１００に対して設定する。ここではＡ像の読み出し位置、すなわち第２の焦点検出領域は第ｊ〜ｋ列とする。ここで、焦点検出領域が変更される前の焦点検出領域を第１の焦点検出領域、焦点検出領域が変更された後の焦点検出領域を第２の焦点検出領域、とする。

次にステップＳ１１１にて、ＣＰＵ１０３はＴＧ１０１に対して、Ａ像の読み出しモードを補正データ生成用信号出力モードに、ＡＢ像の読み出しモードを画像信号出力モード（第３の読み出しモード）に設定する。この設定により、読出し時にＡ像は補正データ生成用信号が出力され、ＡＢ像は画像信号が出力される。

次にステップＳ１１２にて、ＣＰＵ１０３は画像補正部３００に対してＡ像の補正データを生成する設定と、ＡＢ像を補正する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像の補正データ生成用データからＡ像の補正データを生成するとともに、ＡＢ像の画像データを補正する。

その後ステップＳ１１３にてＡ像の補正データ生成用信号と、ＡＢ像の画像信号の読み出しが行われる。以下に図７Ｃを用いてＡ像の補正データ生成用信号と、ＡＢ像の画像信号の読み出しについて説明する。

図７ＣはＡ像の補正データ生成用信号と、ＡＢ像の画像信号の１行の読み出しタイミングを示した図である。時刻ｃ１で転送スイッチ２０２ａおよび２０２ｂの制御信号であるＴＸ＿ＡおよびＴＸ＿ＢをＨにする。ＴＸ＿ＡおよびＴＸ＿ＢがＨになると、フォトダイオード２０１ａ，２０１ｂに蓄積された電荷は、第１の転送スイッチ２０２ａ、第２の転送スイッチ２０２ｂを介して増幅部２０４のゲートに転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。時刻ｃ２でＴＸ＿ＡおよびＴＸ＿ＢをＬとし、フォトダイオード２０１ａ、２０１ｂに光電荷を蓄積開始する。

必要時間蓄積を行った後に時刻ｃ３で選択スイッチ２０６の制御信号であるＳＥＬをＨにして、増幅部２０４をＯＮする。時刻ｃ４でリセットスイッチ２０５の制御信号であるＲＥＳをＬとすることでフローティングディフュージョン領域２０３のリセットを解除する。このときのフローティングディフュージョン領域２０３の電位を垂直出力線２０７に増幅部２０４を介してリセット信号レベルとして読み出し、読み出し回路２１２に入力する。

その後、時刻ｃ５でＲＥＳ_ＣをＬとすると、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆの差分がオペアンプ２１５から出力される。時刻ｃ６でＴＮをＨとして、スイッチ２２２、２２４をＯＮし、時刻ｃ７でＴＮをＬとして、スイッチ２２２、２２４をＯＦＦすることにより、オペアンプ２１５の出力を容量Ｎ信号保持容量２１８、２２０へ書き込む。

つぎに、時刻ｃ８ではこのときのオペアンプ２１５の出力を容量Ｓ信号保持容量Ａ２１９へ書き込むためにＴＳ＿ＡをＨとして、スイッチ２２３をＯＮし、時刻ｃ９でＴＳ＿ＡをＬとして、スイッチ２２３をＯＦＦして書き込みを終了する。

つぎに、時刻ｃ１０で再びＴＸ＿ＡをＨとすると同時にＴＸ＿ＢもＨとする。この動作によりフォトダイオード２０１ａと２０１ｂの双方の光電荷を同時にフローティングディフュージョン領域２０３へ読み出すことができる。読み出された電荷は読み出し回路２１２へ供給され、オペアンプ２１５を介して出力される。

この電圧を容量Ｓ信号保持容量ＡＢ２１７へ書き込むために、時刻ｃ１２でＴＳ＿ＡＢをＬ→Ｈへ切り替え、スイッチ２２１をＯＮし、時刻ｃ１３でＴＳ＿ＡＢをＨ→Ｌと切り替え、スイッチ２２１をＯＦＦし書き込みを終了する。

本動作により、容量Ｓ信号保持容量ＡＢ２１７と容量Ｎ信号保持容量２１８の差電圧をとることで、フォトダイオード２０１ａおよび２０１ｂからの出力信号の和であるＡＢ像の画像信号が得られる。このＡＢ像信号は撮影画像となる。また、容量Ｓ信号保持容量Ａ２１９と容量Ｎ信号保持容量２２０の差電圧をとることにより、読出し回路２１２のノイズ成分を得ることができる。この信号はＡ像の補正データ生成用信号（第１の補正信号）となる。

つぎに時刻ｃ１４でＲＥＳをＨとして、フローティングディフュージョン領域２０３をリセット状態にする。

その後、時刻ｃ１５〜ｃ１６の間に、水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量Ａ２１９、容量Ｎ信号保持容量２２０に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の補正データ生成用信号となる。

ここで、ステップＳ１１０における設定に従い、駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図７Ｃの駆動タイミングに示すように第ｊ〜ｋ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像信号が読み出される画素列は第ｊ〜ｋ列目となる。

次に、時刻ｃ１６〜ｃ１７の間に、水平シフトレジスタ２３２の駆動パルスＨＡＢ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量ＡＢ２１７、容量Ｎ信号保持容量２１８に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡＢ像の画像信号となる。ここで、駆動パルスＨＡＢ（ｍ）は図７Ｃの駆動タイミングに示すように第０〜ｎ列のすべての列で順次Ｌ→Ｈ→Ｌとなる。したがって、ＡＢ像の画像信号はすべての列から読み出される。

以上の動作が各行毎に順次行われ、Ａ像の補正データ生成用信号、およびＡＢ像の画像信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ｂ）のｐフレーム目に記載の様にＡ像の補正データ生成用データとＡＢ像の画像データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、入力されたデータを列毎に平均し、上述した処理によりＡ像の第ｊ〜ｋ列の列毎の補正データを生成し、図６（ｂ）のｐフレーム目に記載の様に格納する。ここで、メモリ３０５は、焦点検出領域が変更される前の補正データを、焦点検出領域が変更された後の補正データに、更新する。つまり、焦点検出領域が変更される前は第１の焦点検出領域に対応する第１の補正データを記憶し、焦点検出領域が変更された後は第２の焦点検出領域に対応する第２の補正データを記憶している。したがって、メモリ３０５は、該第１の補正データと該第２の補正データのいずれか一方を保持するだけで足り、全ての焦点検出領域に対応する補正データを保持する必要がないことから、必要なメモリの容量を少なくできる。これにより、撮像装置を小型化することができる。また、ＡＢ像の第０〜ｎ列の列毎の補正データを入力データの列対応に合わせてメモリ３０５から出力させ、各列毎のオフセット補正を行う。

補正されたＡＢ像の画像データはＲＡＭ１０７に格納される。ＣＰＵ１０３はＲＡＭ１０７に格納されるＡＢ像の画像データを画像処理部１０８に転送し、画像処理部１０８では画像データの圧縮等が行われる。その後動画データとして記録部１０９に記録される。

次にステップＳ１１４にてＣＰＵ１０３はＡ像の補正データの生成が終了したかを判断する。本実施例では１フレーム分の補正データ生成用データで補正データの生成が終了するのでステップＳ１０５に進む。複数フレーム分の補正データ生成用データが必要な場合は、ステップＳ１１３に戻って読み出しを繰り返し、補正データの生成が終了するまで続ける。

続くステップＳ１０５ではＣＰＵ１０３はＴＧ１０１に対して、Ａ像とＡＢ像の読み出しモードを画像信号出力モード（第２の読み出しモード）に設定する。この設定により、読出し時にＡ像とＡＢ像はフォトダイオード２０１ａ、２０１ｂにて光電変換された光成分の信号が出力され、ＡＦＥ１０２にてデジタル信号に変換された画像データとして画像補正部３００に入力される。

次にステップＳ１０６にて、ＣＰＵ１０３は画像補正部３００に対してＡ像とＡＢ像を補正する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像とＡＢ像の画像データをそれぞれ補正する。

その後ステップＳ１０７にてＡ像とＡＢ像の画像信号の読み出しが行われる。以下に図７Ｄを用いてＡ像とＡＢ像の画像信号の読み出しについて説明する。

図７ＤはＡ像とＡＢ像の画像信号の１行の読み出しタイミングを示した図である。時刻ｄ１〜ｄ１６までの動作は図７Ｂに示す時刻ｂ１〜ｂ１６までの動作と同様なので説明を省略する。時刻ｄ１７〜ｄ１８の間に、水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２７、２２８がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量Ａ２１９、容量Ｎ信号保持容量２２０に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の画像信号（焦点検出信号）となる。

ここで、ステップＳ１１０における設定に従い、駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図７Ｄの駆動タイミングに示すように第ｊ〜ｋ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像信号が読み出される画素列は第ｊ〜ｋ列目となる。

つぎに、時刻ｄ１８〜ｄ１９の間に、水平シフトレジスタ２３２の駆動パルスＨＡＢ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ２２５、２２６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量ＡＢ２１７、容量Ｎ信号保持容量２１８に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡＢ像の画像信号となる。ここで、駆動パルスＨＡＢ（ｍ）は図７Ｄの駆動タイミングに示すように第０〜ｎ列のすべての列で順次Ｌ→Ｈ→Ｌとなる。したがって、ＡＢ像の画像信号はすべての列から読み出される。

以上の動作が各行毎に順次行われ、Ａ像、ＡＢ像の画像信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ｂ）のｐ＋１フレーム目に記載の様にＡ像とＡＢ像の画像データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、メモリ３０５に格納されるＡ像の第ｊ〜ｋ列と、ＡＢ像の第０〜ｎ列の列毎の補正データを入力データの列対応に合わせてメモリ３０５から出力させ、各列毎のオフセット補正を行う。

補正されたＡ像、ＡＢ像はＡＦ演算部１１０に入力され、上述した処理によりＡＦ動作を行う。また、ＡＢ像の画像データはＲＡＭ１０７に格納される。ＣＰＵ１０３はＲＡＭ１０７に格納されるＡＢ像の画像データを画像処理部１０８に転送し、画像処理部１０８では画像データの圧縮等が行われる。その後動画データとして記録部１０９に記録される。

その後ステップＳ１０８以降の動作は上述した動作と同様に行われ、ＡＦ動作と動画記録が続けられる。

上述した様に、動画撮影において焦点検出に使用するデータ（Ａ像）の読み出し位置が変更した場合でも、Ａ像の補正データを再生成することによりＡ像の列毎のオフセット補正を適用することができる。また、Ａ像の補正データ再生成時にＡ像は補正データ生成用データを出力し、ＡＢ像は画像データを出力することができるので、動画のフレームデータが抜けることなくフレームレートを保ったまま、焦点検出位置を変更することができる。したがって、本発明によれば、画像データの取得を中断せずに新しい位置の焦点検出画素の補正データを再生成することができる。

また、本実施例では画像信号を出力する画素と同一の画素を使用して補正データ生成用信号を出力することができるため、撮像素子内に特別な画素を別途設ける必要はない。

なお、本実施例では焦点検出位置を変更した場合に補正データを再生成する構成としたが、この限りではない。画像の撮像以外に使用される、例えばＡ像（焦点検出画素）の撮影条件（撮影感度等）や画素加算周期（加算率）、画素間引き周期（読み出し間引き率）等が変更になった場合にも適用することができる。

また、本実施例では補正データ生成回路３０１が補正データを生成する構成としたが、この限りではない。画像データ読出し時に画像データの上部に補正データ更新用データを読み出し、補正データ更新用データを使用してメモリ内部の補正データを更新する構成も適用することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明の第２の実施形態による撮像装置の構成は、実施例１にて述べた図１に示す構成と同様なため、説明を省略する。

本実施例では撮像素子１００の読み出し回路の構成が実施例１と異なる。図８（ａ）は、本実施例における撮像素子の読み出し回路５００を示した図である。図２（ｂ）と同じ符号が付してあるものについては図２（ｂ）と同じ機能のため、説明を省略する。

以下に本実施例の読み出し回路５００の具体的な回路構成を説明する。

５０１はクランプ容量Ｃ０、５０２はフィードバック容量Ｃｆ、５０３はオペアンプ、５０４は基準電圧Ｖｒｅｆを供給する基準電圧源、５１７はフィードバック容量Ｃｆの両端をショートさせるためのスイッチである。スイッチ５１７はＲＥＳ＿Ｃ信号で制御される。５０５、５０６、５０７、５０８は信号電圧を保持するための第１の容量であり、５０５を容量Ｓ信号保持容量１ＡＢ、５０７を容量Ｓ信号保持容量１Ａ、５０６を容量Ｎ信号保持容量１ＡＢ，５０８を容量Ｎ信号保持容量１Ａと表記する。

５０９、５１０、５１１、５１２は第１の容量への書き込みを制御するスイッチである。スイッチ５０９はＴＳ１＿ＡＢ信号で制御され、スイッチ５１１は、ＴＳ１＿Ａ信号で制御される。また、スイッチ５１０はＴＮ＿ＡＢ信号で制御され、スイッチ５１２はＴＮ＿Ａ信号で制御される。

５２６、５２７、５２８、５２９は信号電圧を保持するための第２の容量であり、５２６を容量Ｓ信号保持容量２ＡＢ、５２８を容量Ｓ信号保持容量２Ａ、５２７を容量Ｎ信号保持容量２ＡＢ，５２９を容量Ｎ信号保持容量２Ａと表記する。５２２、５２３、５２４、５２５は第２の容量への書き込みを制御するスイッチである。スイッチ５２２、５２３はＴＳ２＿ＡＢ信号で制御され、スイッチ５２４、５２５は、ＴＳ２＿Ａ信号で制御される。５１８、５１９、５２０、５２１は第２の容量へ書き込むためのバッファであり、５１３、５１４、５１５、５１６は水平シフトレジスタ２３２からの信号を受けて出力アンプ２３３に信号を出力するためのスイッチである。スイッチ５１３、５１４は水平シフトレジスタ２３２のＨＡＢ（ｍ）信号で制御され、スイッチ５１５、５１６はＨＡ（ｍ）信号で制御される。ここで、ｍは制御信号線が接続されている読み出し回路の列番号を表す。容量Ｓ信号保持容量２ＡＢ５２６、容量Ｓ信号保持容量２Ａ５２８に書き込まれた信号は共通出力線２３０を介して、出力アンプ２３３に出力される。容量Ｎ信号保持容量２ＡＢ５２７、容量Ｎ信号保持容量２Ａ５２９に書き込まれた信号は共通出力線２３１を介して、出力アンプ２３３に出力される。

また、本実施例における撮像素子１００は、図８（ｂ）に示す様にフォトダイオードの上部が遮光された、遮光領域（ＯＢ）を持つ。本実施例ではこのＯＢ領域の出力データを使用して補正データの生成を行う。なお、本実施例ではＯＢを使用する構成としたが、この限りではない。画素にフォトダイオードを持たないダミー画素を使用する構成でも可能である。

次に、図９に示すフローチャートを用いて本実施例における撮像装置の動作を説明する。

操作部１０４に含まれる動画撮影スイッチが押下されると、動画の撮影が開始される。ステップＳ２００にて、ＣＰＵ１０３はＡ像を読み出す水平位置を撮像素子１００に対して設定する。Ａ像読み出し位置は、予め設定されている焦点検出領域を含む領域に設定される。ここでは、Ａ像の読み出し位置は第ｈ〜ｉ列とする。

次にステップＳ２０１にて、ＣＰＵ１０３はＴＧ１０１に対して、Ａ像とＡＢ像の読み出しモードを補正データ生成用信号出力モード（第１の読み出しモード）に設定する。この設定により、読出し時にＡ像とＡＢ像はそれぞれ補正データ生成用信号が出力され、ＡＦＥ１０２にてデジタル信号に変換された補正データ生成用データとして画像補正部３００に入力される。

次にステップＳ２０２にて、ＣＰＵ１０３は画像補正部３００に対してＡ像とＡＢ像の補正データを生成する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像とＡＢ像の補正データ生成用データから各々の補正データを生成する。

その後ステップＳ２０３にてＡ像とＡＢ像の補正データ生成用信号の読み出しが行われる。以下に図１０Ａを用いてＡ像とＡＢ像の補正データ生成用信号の読み出しについて説明する。

図１０ＡはＡ像とＡＢ像の補正データ生成用信号の１行目の読み出しタイミングを示した図である。１行目は図８（ｂ）に示す様にＯＢ領域であり、遮光されたフォトダイオードの信号を読み出す。

時刻ｅ１で転送スイッチ２０２ａおよび２０２ｂの制御信号であるＴＸ＿ＡおよびＴＸ＿ＢをＨにする。ＴＸ＿ＡおよびＴＸ＿ＢがＨになると、フォトダイオード２０１ａ，２０１ｂに蓄積された電荷は、第１の転送スイッチ２０２ａ、第２の転送スイッチ２０２ｂを介して増幅部２０４のゲートに転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。時刻ｅ２でＴＸ＿ＡおよびＴＸ＿ＢをＬとし、フォトダイオード２０１ａ、２０１ｂに光電荷を蓄積開始する。

必要時間蓄積を行った後に時刻ｅ３で選択スイッチ２０６の制御信号であるＳＥＬをＨにして、増幅部２０４をＯＮする。時刻ｅ４でリセットスイッチ２０５の制御信号であるＲＥＳをＬとすることでフローティングディフュージョン領域２０３のリセットを解除する。このときのフローティングディフュージョン領域２０３の電位を垂直出力線２０７に増幅部２０４を介してリセット信号レベルとして読み出し、読み出し回路５００に入力する。

その後、時刻ｅ５でＲＥＳ_ＣをＬとすると、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆの差分がオペアンプ５０３から出力される。時刻ｅ６でＴＮ＿ＡＢ、ＴＮ＿ＡをＨとしてスイッチ５１０、５１２をＯＮし、時刻ｅ７でＴＮ＿ＡＢ、ＴＮ＿ＡをＬとしてスイッチ５１０、５１２をＯＦＦすることにより、オペアンプ５０３の出力を容量Ｎ信号保持容量１ＡＢ５０６、１Ａ５０８へ書き込む。

つぎに、時刻ｅ８でＴＸ＿ＡをＨとして、フォトダイオード２０１ａの光電荷をフローティングディフュージョン領域２０３へ転送し、時刻ｅ９でＴＸ＿ＡをＬとする。この動作によりフォトダイオード２０１ａに蓄積された電荷がフローティングディフュージョン領域２０３へ読み出される。そして、その変化に応じた出力が増幅部２０４および垂直出力線２０７を介して読み出し回路５００へ供給される。

読み出し回路５００では５０１のクランプ容量Ｃ０と５０２のフィードバック容量Ｃｆ、の比率で電圧変化に対し反転ゲインがかかり出力される。

この電圧を容量Ｓ信号保持容量１Ａ５０７へ書き込むために、時刻ｅ１０でＴＳ１＿ＡをＬ→Ｈへ切り替え、スイッチ５１１をＯＮし、時刻ｅ１１でＴＳ１＿ＡをＨ→Ｌと切り替え、スイッチ５１１をＯＦＦし書き込みを終了する。

続いて、容量Ｓ信号保持容量１Ａ５０７と容量Ｎ信号保持容量１Ａ５０８に書き込まれた信号を容量Ｓ信号保持容量２Ａ５２８と容量Ｎ信号保持容量２Ａ５２９に書き込むために、時刻ｅ１２においてＴＳ２＿ＡをＬ→Ｈへ切り替える。ＴＳ２＿ＡをＬ→Ｈへ切り替えることで、スイッチ５２４、５２５をＯＮし、時刻ｅ１３でＴＳ２＿ＡをＨ→Ｌと切り替え、スイッチ５２４、５２５をＯＦＦし書き込みを終了する。

本動作により、容量Ｓ信号保持容量２Ａ５２８と容量Ｎ信号保持容量２Ａ５２９の差電圧をとることにより、遮光されたフォトダイオード２０１ａからの出力信号であるＡ像の補正データ生成用信号が得られる。

その後、容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は時刻ｅ１４に出力が開始される。水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の補正データ生成用信号となる。

ここで、ステップＳ２００における設定に従い、駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図１０Ａの駆動タイミングに示すように第ｈ〜ｉ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像の補正データ生成用信号が読み出される画素列は第ｈ〜ｉ列目となる。

つぎに、時刻ｅ１５で再びＴＸ＿ＡをＨとすると同時にＴＸ＿ＢもＨとする。この動作によりフォトダイオード２０１ａと２０１ｂの双方の光電荷を同時にフローティングディフュージョン領域２０３へ読み出すことができる。読み出された電荷はフォトダイオード２０１ａのみを読みだした際と同様に読み出し回路５００へ供給され、オペアンプ５０３を介して出力される。

この電圧を容量Ｓ信号保持容量１ＡＢ５０５へ書き込むために、時刻ｅ１７でＴＳ１＿ＡＢをＬ→Ｈへ切り替え、スイッチ５０９をＯＮし、時刻ｅ１８でＴＳ１＿ＡＢをＨ→Ｌと切り替え、スイッチ５０９をＯＦＦし書き込みを終了する。

つぎに時刻ｅ１９でＲＥＳをＨとして、フローティングディフュージョン領域２０３をリセット状態にする。

続いて、容量Ｓ信号保持容量１ＡＢ５０５と容量Ｎ信号保持容量１ＡＢ５０６に書き込まれた信号を容量Ｓ信号保持容量２ＡＢ５２６と容量Ｎ信号保持容量２ＡＢ５２７に書き込むために、時刻ｅ２０においてＴＳ２＿ＡＢをＬ→Ｈへ切り替える。ＴＳ２＿ＡＢをＬ→Ｈへ切り替えることで、スイッチ５２２、５２３をＯＮし、時刻ｅ２１でＴＳ２＿ＡＢをＨ→Ｌと切り替え、スイッチ５２２、５２３をＯＦＦし書き込みを終了する。

本動作により、容量Ｓ信号保持容量２ＡＢ５２６と容量Ｎ信号保持容量２ＡＢ５２７の差電圧をとることで、遮光されたフォトダイオード２０１ａおよび２０１ｂからの出力信号の和であるＡＢ像の補正データ生成用信号が得られる。

つぎに、時刻ｅ２２〜ｅ２３の間に、水平シフトレジスタ２３２の駆動パルスＨＡＢ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ５１３、５１４がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ５１３、５１４がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量２ＡＢ５２６、容量Ｎ信号保持容量２ＡＢ５２７に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡＢ像の補正データ生成用信号となる。ここで、駆動パルスＨＡＢ（ｍ）は図１０Ａの駆動タイミングに示すように第０〜ｎ列のすべての列で順次Ｌ→Ｈ→Ｌとなる。したがって、ＡＢ像の補正データ生成用信号はすべての列から読み出される。

次に、Ａ像とＡＢ像の補正データ生成用信号の読み出しにおける、２行目以降の読み出しタイミングを説明する。

図１０ＢはＡ像とＡＢ像の補正データ生成用信号の２行目の読み出しタイミングを示した図である。

時刻ｆ１で転送スイッチ２０２ａおよび２０２ｂの制御信号であるＴＸ＿ＡおよびＴＸ＿ＢをＨにする。ＴＸ＿ＡおよびＴＸ＿ＢがＨになると、フォトダイオード２０１ａ，２０１ｂに蓄積された電荷は、第１の転送スイッチ２０２ａ、第２の転送スイッチ２０２ｂを介して増幅部２０４のゲートに転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。時刻ｆ２でＴＸ＿ＡおよびＴＸ＿ＢをＬとし、フォトダイオード２０１ａ、２０１ｂに光電荷を蓄積開始する。

必要時間蓄積を行った後に時刻ｆ３で選択スイッチ２０６の制御信号であるＳＥＬをＨにして、増幅部２０４をＯＮする。時刻ｆ４でリセットスイッチ２０５の制御信号であるＲＥＳをＬとすることでフローティングディフュージョン領域２０３のリセットを解除する。このときのフローティングディフュージョン領域２０３の電位を垂直出力線２０７に増幅部２０４を介してリセット信号レベルとして読み出し、読み出し回路５００に入力する。

その後、時刻ｆ５でＲＥＳ＿ＣをＬとする。

続いて、容量Ｓ信号保持容量１Ａ５０７と容量Ｎ信号保持容量１Ａ５０８に書き込まれた信号を容量Ｓ信号保持容量２Ａ５２８と容量Ｎ信号保持容量２Ａ５２９に書き込むために、時刻ｆ６においてＴＳ２＿ＡをＬ→Ｈへ切り替える。ＴＳ２＿ＡをＬ→Ｈへ切り替えことで、スイッチ５２４、５２５をＯＮし、時刻ｆ７でＴＳ２＿ＡをＨ→Ｌと切り替え、スイッチ５２４、５２５をＯＦＦし書き込みを終了する。

そして、本動作により、容量Ｓ信号保持容量２Ａ５２８と容量Ｎ信号保持容量２Ａ５２９の差電圧をとる。これにより、１行目の読み出しにて容量Ｓ信号保持容量１Ａ５０７と容量Ｎ信号保持容量１Ａ５０８に格納された遮光されたフォトダイオード２０１ａからの出力信号を再度読み出すことになり、Ａ像の補正データ生成用信号が得られる。

その後、容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は時刻ｆ８に出力が開始される。水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の補正データ生成用信号となる。

ここで、ステップＳ２００における設定に従い、駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図１０Ｂの駆動タイミングに示すように第ｈ〜ｉ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像の補正データ生成用信号が読み出される画素列は第ｈ〜ｉ列目となる。

つぎに時刻ｆ９でＲＥＳをＨとして、フローティングディフュージョン領域２０３をリセット状態にする。

続いて、１行目の読み出しにて容量Ｓ信号保持容量１ＡＢ５０５と容量Ｎ信号保持容量１ＡＢ５０６に書き込まれた信号を容量Ｓ信号保持容量２ＡＢ５２６と容量Ｎ信号保持容量２ＡＢ５２７に書き込む。時刻ｆ１０においてＴＳ２＿ＡＢをＬ→Ｈへ切り替えることで、スイッチ５２２、５２３をＯＮし、時刻ｆ１１でＴＳ２＿ＡＢをＨ→Ｌと切り替えることで、スイッチ５２２、５２３をＯＦＦし書き込みを終了する。

そして、容量Ｓ信号保持容量２ＡＢ５２６と容量Ｎ信号保持容量２ＡＢ５２７の差電圧をとる。本動作により、１行目の読み出しにて容量Ｓ信号保持容量１ＡＢ５０５と容量Ｎ信号保持容量１ＡＢ５０６に格納された遮光されたフォトダイオード２０１ａおよび２０１ｂからの出力信号の和であるＡＢ像の補正データ生成用信号が得られる。

つぎに、時刻ｆ１２〜ｆ１３の間に、水平シフトレジスタ２３２の駆動パルスＨＡＢ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ５１３、５１４がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ５１３、５１４がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量２ＡＢ５２６、容量Ｎ信号保持容量２ＡＢ５２７に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡＢ像の補正データ生成用信号となる。ここで、駆動パルスＨＡＢ（ｍ）は図１０Ｂの駆動タイミングに示すように第０〜ｎ列のすべての列で順次Ｌ→Ｈ→Ｌとなる。したがって、ＡＢ像の補正データ生成用信号はすべての列から読み出される。

以上の動作が各行毎に順次行われ、Ａ像とＡＢ像の補正データ生成用信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ａ）の起動時に記載の様にＡ像とＡＢ像の補正データ生成用データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、入力されたデータを列毎に平均し、上述した処理によりＡ像の第ｈ〜ｉ列と、ＡＢ像の第０〜ｎ列の列毎の補正データを生成し、それぞれ図６（ａ）の起動時に記載の様に格納する。

次にステップＳ２０４にてＣＰＵ１０３はＡ像とＡＢ像の補正データの生成が終了したかを判断する。本実施例では１フレーム分の補正データ生成用データで補正データの生成が終了するのでステップＳ２０５に進む。複数フレーム分の補正データ生成用データが必要な場合は、ステップＳ２０３に戻って読み出しを繰り返し、補正データ生成が終了するまで続ける。

ステップＳ２０５ではＣＰＵ１０３はＴＧ１０１に対して、Ａ像とＡＢ像の読み出しモードを画像信号出力モード（第２の読み出しモード）に設定する。この設定により、読出し時にＡ像とＡＢ像はフォトダイオード２０１ａ、２０１ｂにて光電変換された光成分の信号が出力され、ＡＦＥ１０２にてデジタル信号に変換された画像データとして画像補正部３００に入力される。

次にステップＳ２０６にて、ＣＰＵ１０３は画像補正部３００に対してＡ像とＡＢ像を補正する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像とＡＢ像の画像データをそれぞれ補正する。

その後ステップＳ２０７にてＡ像とＡＢ像の画像信号の読み出しが行われる。画像信号の１行の読み出しは上述した図１０Ａと同様の読み出しタイミングで行われる。図１０Ａに記載の読み出し動作が各行毎に順次行われ、Ａ像、ＡＢ像の画像信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ａ）の１フレーム目に記載の様にＡ像とＡＢ像の画像データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、メモリ３０５に格納されるＡ像の第ｈ〜ｉ列と、ＡＢ像の第０〜ｎ列の列毎の補正データを入力データの列対応に合わせてメモリ３０５から出力させ、各列毎のオフセット補正を行う。

補正されたＡ像、ＡＢ像はＡＦ演算部１１０に入力され、上述した処理によりＡＦ動作を行う。また、ＡＢ像の画像データはＲＡＭ１０７に格納される。ＣＰＵ１０３はＲＡＭ１０７に格納されるＡＢ像の画像データを画像処理部１０８に転送し、画像処理部１０８では画像データの圧縮等が行われる。その後動画データとして記録部１０９に記録される。

次にステップＳ２０８にて、ＣＰＵ１０３は、操作部１０４の動画撮影スイッチが再び押下されて撮影が終了するかを判断する。撮影終了である場合には、そのまま撮影動作を終了する。撮影終了でない場合にはステップＳ２０９に進む。

ステップＳ２０９では、ＣＰＵ１０３が、焦点検出領域の位置が変更されたかを判断する。焦点検出領域の位置が変更されていない場合には、ステップＳ２０７に戻り、上述したステップＳ２０７からステップＳ２０８の動作を繰り返す（図６（ａ））。

焦点検出領域の位置が変更されている場合には、ステップＳ２１０へと進む。ステップＳ２１０では、ＣＰＵ１０３は変更後の焦点検出領域の位置に合わせてＡ像を読み出す水平位置を撮像素子１００に対して設定する。ここではＡ像の読み出し位置は第ｊ〜ｋ列とする。

次にステップＳ２１１にて、ＣＰＵ１０３はＴＧ１０１に対して、Ａ像の読み出しモードを補正データ生成用信号出力モードに、ＡＢ像の読み出しモードを画像信号出力モード（第３の読み出しモード）に設定する。この設定により、読出し時にＡ像は補正データ生成用信号が出力され、ＡＢ像は画像信号が出力される。

次にステップＳ２１２にて、ＣＰＵ１０３は画像補正部３００に対してＡ像の補正データを生成する設定と、ＡＢ像を補正する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像の補正データ生成用データからＡ像の補正データを生成するとともに、ＡＢ像の画像データを補正する。

その後ステップＳ２１３にてＡ像の補正データ生成用信号と、ＡＢ像の画像信号の読み出しが行われる。以下に図１０Ｃを用いてＡ像の補正データ生成用信号と、ＡＢ像の画像信号の読み出しについて説明する。

図１０ＣはＡ像の補正データ生成用信号と、ＡＢ像の画像信号の１行目の読み出しタイミングを示した図である。１行目は図８（ｂ）に示す様にＯＢ領域であり、遮光されたフォトダイオードの信号を読み出す。時刻ｇ１３までの動作は上述した図１０Ａの時刻ｅ１３までの動作と同様の動作のため、説明を省略する。

容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は時刻ｇ１４に出力が開始される。水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の補正データ生成用信号となる。

ここで、ステップＳ２１０における設定に従い、駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図１０Ｃの駆動タイミングに示すように第ｊ〜ｋ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像信号が読み出される画素列は第ｊ〜ｋ列目となる。

その後時刻ｇ１５以降の動作は上述した図１０Ａの時刻ｅ１５以降の動作と同様の動作のため、説明を省略する。

次に、Ａ像の補正データ生成用信号と、ＡＢ像の画像信号の読み出しにおける、２行目以降の読み出しタイミングを説明する。

図１０ＤはＡ像の補正データ生成用信号とＡＢ像の画像信号の２行目の読み出しタイミングを示した図である。

時刻ｈ５までの動作は、上述した図１０Ｂの時刻ｆ５までの動作と同様のため、説明を省略する。

時刻ｈ６ではオペアンプ５０３の出力を容量Ｎ信号保持容量１ＡＢ５０６へ書き込むためにＴＮ＿ＡＢをＨとして、スイッチ５１０をＯＮし、時刻ｈ７でＴＮ＿ＡＢをＬとして、スイッチ５１０をＯＦＦして書き込みを終了する。

続いて、容量Ｓ信号保持容量１Ａ５０７と容量Ｎ信号保持容量１Ａ５０８に書き込まれた信号を容量Ｓ信号保持容量２Ａ５２８と容量Ｎ信号保持容量２Ａ５２９に書き込むために、時刻ｈ８においてＴＳ２＿ＡをＬ→Ｈへ切り替える。ＴＳ２＿ＡをＬ→Ｈへ切り替えることで、スイッチ５２４、５２５をＯＮし、時刻ｈ９でＴＳ２＿ＡをＨ→Ｌと切り替え、スイッチ５２４、５２５をＯＦＦし書き込みを終了する。

そして、容量Ｓ信号保持容量２Ａ５２８と容量Ｎ信号保持容量２Ａ５２９の差電圧をとる。本動作により、１行目の読み出しにて容量Ｓ信号保持容量１Ａ５０７と容量Ｎ信号保持容量１Ａ５０８に格納された遮光されたフォトダイオード２０１ａからの出力信号を再度読み出すことになり、Ａ像の補正データ生成用信号が得られる。

その後、容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は時刻ｈ１０に出力が開始される。水平シフトレジスタ２３２の駆動パルスＨＡ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ５１５、５１６がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量２Ａ５２８、容量Ｎ信号保持容量２Ａ５２９に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡ像の補正データ生成用信号となる。

ここで、ステップＳ２１０における設定に従い、駆動パルスＨＡ（ｍ）がＬ→Ｈ→Ｌとなる画素列は図１０Ｄの駆動タイミングに示すように第ｊ〜ｋ列目であり、それ以外は常にＬレベルのままである。したがって、Ａ像信号が読み出される画素列は第ｊ〜ｋ列目となる。

つぎに、時刻ｈ１１で再びＴＸ＿ＡをＨとすると同時にＴＸ＿ＢもＨとする。この動作によりフォトダイオード２０１ａと２０１ｂの双方の光電荷を同時にフローティングディフュージョン領域２０３へ読み出すことができる。読み出された電荷はフォトダイオード２０１ａのみを読みだした際と同様に読み出し回路５００へ供給され、オペアンプ５０３を介して出力される。

この電圧を容量Ｓ信号保持容量１ＡＢ５０５へ書き込むために、時刻ｈ１３でＴＳ１＿ＡＢをＬ→Ｈへ切り替え、スイッチ５０９をＯＮし、時刻ｈ１４でＴＳ１＿ＡＢをＨ→Ｌと切り替え、スイッチ５０９をＯＦＦし書き込みを終了する。

つぎに時刻ｈ１５でＲＥＳをＨとして、フローティングディフュージョン領域２０３をリセット状態にする。

続いて、容量Ｓ信号保持容量１ＡＢ５０５と容量Ｎ信号保持容量１ＡＢ５０６に書き込まれた信号を容量Ｓ信号保持容量２ＡＢ５２６と容量Ｎ信号保持容量２ＡＢ５２７に書き込むために、時刻ｈ１６においてＴＳ２＿ＡＢをＬ→Ｈへ切り替える。ＴＳ２＿ＡＢをＬ→Ｈへ切り替え、スイッチ５２２、５２３をＯＮし、時刻ｈ１７でＴＳ２＿ＡＢをＨ→Ｌと切り替え、スイッチ５２２、５２３をＯＦＦし書き込みを終了する。

本動作により、容量Ｓ信号保持容量２ＡＢ５２６と容量Ｎ信号保持容量２ＡＢ５２７の差電圧をとることで、フォトダイオード２０１ａおよび２０１ｂからの出力信号の和であるＡＢ像の画像信号が得られる。

つぎに、時刻ｈ１８〜ｈ１９の間に、水平シフトレジスタ２３２の駆動パルスＨＡＢ（ｍ）が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ５１３、５１４がＯＦＦ→ＯＮ→ＯＦＦとなる。スイッチ５１３、５１４がＯＦＦ→ＯＮ→ＯＦＦとなった列の容量Ｓ信号保持容量２ＡＢ５２６、容量Ｎ信号保持容量２ＡＢ５２７に保持された信号は共通出力線２３０、２３１へそれぞれ読み出され、出力アンプ２３３で差電圧として出力される。この差電圧がＡＢ像の画像信号となる。ここで、駆動パルスＨＡＢ（ｍ）は図１０Ｄの駆動タイミングに示すように第０〜ｎ列のすべての列で順次Ｌ→Ｈ→Ｌとなる。したがって、ＡＢ像の画像信号はすべての列から読み出される。

以上の動作が各行毎に順次行われ、Ａ像の補正データ生成用信号、およびＡＢ像の画像信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ｂ）のｐフレーム目に記載の様にＡ像の補正データ生成用データとＡＢ像の画像データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、入力されたデータを平均し、上述した処理によりＡ像の第ｊ〜ｋ列の列毎の補正データを、図６（ｂ）のｐフレーム目に記載の様に格納する。また、ＡＢ像の第０〜ｎ列の列毎の補正データを入力データの列対応に合わせてメモリ３０５から出力させ、各列毎のオフセット補正を行う。

補正されたＡＢ像の画像データはＲＡＭ１０７に格納される。ＣＰＵ１０３はＲＡＭ１０７に格納されるＡＢ像の画像データを画像処理部１０８に転送し、画像処理部１０８では画像データの圧縮等が行われる。その後動画データとして記録部１０９に記録される。

次にステップＳ２１４にてＣＰＵ１０３はＡ像の補正データの生成が終了したかを判断する。本実施例では１フレーム分の補正データ生成用データで補正データの生成が終了するのでステップＳ２０５に進む。複数フレーム分の補正データ生成用データが必要な場合は、ステップＳ２１３に戻って読み出しを繰り返し、補正データ生成が終了するまで続ける。

続くステップＳ２０５ではＣＰＵ１０３はＴＧ１０１に対して、Ａ像とＡＢ像の読み出しモードを画像信号出力モード（第２の読み出しモード）に設定する。この設定により、読出し時にＡ像とＡＢ像はフォトダイオード２０１ａ、２０１ｂにて光電変換された光成分の信号が出力され、ＡＦＥ１０２にてデジタル信号に変換された画像データとして画像補正部３００に入力される。

次にステップＳ２０６にて、ＣＰＵ１０３は画像補正部３００に対してＡ像とＡＢ像を補正する設定を行う。画像補正部３００では、ここでの設定に従ってＡ像とＡＢ像の画像データをそれぞれ補正する。

その後ステップＳ２０７にてＡ像とＡＢ像の画像信号の読み出しが行われる。Ａ像とＡＢ像の画像信号の読み出しは上述した図１０Ｃの読み出し動作と同様なので、説明を省略する。図１０Ｃの読み出し動作が各行毎に順次行われ、Ａ像、ＡＢ像の画像信号の読み出しが完了する。出力された信号はＡＦＥ１０２にてデジタル信号に変換される。

この様にして図６（ｂ）のｐ＋１フレーム目に記載の様にＡ像とＡＢ像の画像データが得られる。このデータは画像補正部３００に入力される。画像補正部３００では、メモリ３０５に格納されるＡ像の第ｊ〜ｋ列と、ＡＢ像の第０〜ｎ列の列毎の補正データを入力データの列対応に合わせてメモリ３０５から出力させ、各列毎のオフセット補正を行う。

補正されたＡ像、ＡＢ像はＡＦ演算部１１０に入力され、上述した処理によりＡＦ動作を行う。また、ＡＢ像の画像データはＲＡＭ１０７に格納される。ＣＰＵ１０３はＲＡＭ１０７に格納されるＡＢ像の画像データを画像処理部１０８に転送し、画像処理部１０８では画像データの圧縮等が行われる。その後動画データとして記録部１０９に記録される。

その後ステップＳ２０８以降の動作は上述した動作と同様に行われ、ＡＦ動作と動画記録が続けられる。

上述した様に、動画撮影において焦点検出に使用するデータ（Ａ像）の読み出し位置が変更した場合でも、Ａ像の補正データを再生成することによりＡ像の列毎の補正を適用することができる。また、Ａ像の補正データ再生成時にＡ像は補正データ生成用データを出力し、ＡＢ像は画像データを出力することができるので、動画のフレームデータが抜けることなくフレームレートを保ったまま、焦点検出位置を変更することができる。したがって、本発明によれば、画像データの取得を中断せずに新しい位置の焦点検出画素の補正データを再生成することができる。

また、本実施例では画素の信号を繰り返して読み出した信号を補正データ生成用信号としているので、画素部の持つ列毎の固定パターンノイズも含めて補正することができる。

なお、本実施例では焦点検出位置を変更した場合に補正データを再生成する構成としたが、この限りではない。画像の撮像以外に使用される、例えばＡ像（焦点検出画素）の撮影条件（撮影感度等）や画素加算周期（加算率）、画素間引き周期（読み出し間引き率）等が変更になった場合にも適用することができる。

また、本実施例では補正データ生成回路３０１が補正データを生成する構成としたが、この限りではない。画像データ読出し時に画像データの上部に補正データ更新用データを読み出し、補正データ更新用データを使用してメモリ内部の補正データを更新する構成も適用することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、装置（例えば、撮像装置）に供給する。そしてその装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどのカメラシステムに好適に利用できる。

１００ 撮像素子
１０３ ＣＰＵ（制御手段）

Claims (15)

1. 第１の光電変換部と第２の光電変換部とを備えた単位画素を有する撮像素子と、
   前記第１の光電変換部または前記第２の光電変換部からなる焦点検出画素から焦点検出信号を補正するための第１の補正信号を読み出し、前記第１の光電変換部および前記第２の光電変換部からなる撮像画素から前記第１の光電変換部と前記第２の光電変換部の信号を加算した画像信号を補正するための第２の補正信号を読み出す第１の読み出しモードと、
   前記焦点検出画素から前記焦点検出信号を読み出し、前記撮像画素から前記画像信号を読み出す第２の読み出しモードと、
   前記焦点検出画素から前記第１の補正信号を読み出し、前記撮像画素から前記画像信号を読み出す第３の読み出しモードと、を切り替え制御する制御手段と、
   を有し、
   前記第３の読み出しモードは、前記焦点検出画素の読み出し条件が変更されたときに設定されることを特徴とする撮像装置。
2. 前記読み出し条件が変更されたときは、前記撮像素子の焦点検出領域が変更されたときであることを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し条件が変更されたときは、前記焦点検出信号の撮影感度が変更されたときであることを特徴とする請求項１に記載の撮像装置。
4. 前記読み出し条件が変更されたときは、前記焦点検出信号の読み出し間引き率が変更されたときであることを特徴とする請求項１に記載の撮像装置。
5. 前記読み出し条件が変更されたときは、前記焦点検出信号の加算率が変更されたときであることを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、撮影が開始されたときに前記第１の読み出しモードに設定し、その後、前記第２の読み出しモードに切り替え、前記読み出し条件が変更されたときに前記第３の読み出しモードに切り替え、その後、前記第２の読み出しモードに切り替えることを特徴とする請求項１ないし５のいずれか一項に記載の撮像装置。
7. 前記第１の補正信号から前記焦点検出信号を補正する補正データを生成する生成手段と、
   前記補正データを記憶する記憶手段と、を有し、
   前記記憶手段は、前記読み出し条件が変更される前の補正データを、前記読み出し条件が変更された後の補正データに、更新することを特徴とする請求項１ないし６のいずれか一項に記載の撮像装置。
8. 前記第１の補正信号から前記焦点検出信号を補正する第１の補正データを生成し、前記第２の補正信号から前記画像信号を補正する第２の補正データを生成する生成手段と、
   前記第１の補正データに基づいて前記焦点検出信号を補正し、前記第２の補正データに基づいて前記画像信号を補正する補正手段と、を有し、
   前記制御手段は、前記読み出し条件が変更されたときは、前記生成手段に前記第３の読み出しモードで読みだされた前記第１の補正信号から前記第１の補正データを生成させ、前記補正手段に前記第３の読み出しモードで読みだされた前記画像信号を前記第２の補正データに基づいて補正させることを特徴とする請求項１ないし７のいずれか一項に記載の撮像装置。
9. 前記第１の補正信号または前記第２の補正信号は、画素のリセット電位の読み出し信号であることを特徴とする請求項１ないし８のいずれか一項に記載の撮像装置。
10. 前記第１の補正信号または前記第２の補正信号は、前記光電変換部を持たないダミー画素からの信号であることを特徴とする請求項１ないし８のいずれか一項に記載の撮像装置。
11. 前記第１の補正信号または前記第２の補正信号は、遮光領域に設けられた画素からの信号であることを特徴とする請求項１ないし８のいずれか一項に記載の撮像装置。
12. 請求項１ないし１１のいずれか一項に記載の撮像装置と、
    前記撮像装置に着脱可能な撮像レンズと、を有することを特徴とする撮像システム。
13. 第１の光電変換部と第２の光電変換部とを備えた単位画素を有する撮像素子を備えた撮像装置の制御方法であって、
    前記第１の光電変換部または前記第２の光電変換部からなる焦点検出画素から焦点検出信号を補正するための第１の補正信号を読み出し、前記第１の光電変換部および前記第２の光電変換部からなる撮像画素から前記第１の光電変換部と前記第２の光電変換部の信号を加算した画像信号を補正するための第２の補正信号を読み出す第１の読み出しモードを実行するステップと、
    前記焦点検出画素から前記焦点検出信号を読み出し、前記撮像画素から前記画像信号を読み出す第２の読み出しモードを実行するステップと、
    前記焦点検出画素の読み出し条件が変更されたときに、前記焦点検出画素から前記第１の補正信号を読み出し、前記撮像画素から前記画像信号を読み出す第３の読み出しモードを実行するステップと、
    を有することを特徴とする撮像装置の制御方法。
14. 請求項１３に記載の撮像装置の制御方法の手順が記述された、コンピュータで実行可能なプログラム。
15. コンピュータに、請求項１３に記載の撮像装置の制御方法のステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。