JP7163135B2 - 撮像装置 - Google Patents

Description

本発明は撮像素子を有する撮像装置及び画像処理方法に関する。

撮像装置に使用されるＣＭＯＳセンサー等の撮像素子では、画素の不均一性等による垂直方向、水平方向のシェーディングが存在する。特に、水平方向においては、列毎の読み出し回路、メモリの不均一性あるいはメモリから出力線を介して信号が出力されるまでの距離等に応じて水平方向のシェーディングが存在する。例えば、下記特許文献１では、撮像素子が出力する信号を撮像装置が有する補正処理によって補正することで均一にする撮像装置が開示されている。

特開２０１０－２６３５５３号公報

しかしながら、上述の特許文献に開示された従来技術では、ゲイン制御などの撮像素子の駆動条件が変わった場合や、静止画や動画などの駆動モードの違いに対応するために列毎の補正値を駆動条件毎に予め記憶する必要がある。この場合、記憶するためのＲＯＭなどのメモリの容量を圧迫するなどのシステム負荷が生じる。また、撮影条件が変化したときに補正値を生成する場合には、補正値を生成するために画像撮影を中断する必要があり、動画などはフレームが表示できなくなるという問題もある。そこで本発明の目的は、静止画を撮影する場合などに補正値を容易に生成することができる撮像装置を提供することにある。

上記目的を達成するために、本発明の撮像装置は、
光電変換素子を含む複数の画素及び複数の列回路を有する撮像素子と、
前記複数の列回路を使用して前記複数の画素のデータを読み出す読出し手段と、
前記読出し手段による読出しに使用する列回路を変更する列回路接続変更手段と、を有し、
前記列回路接続変更手段により接続される列回路をフレーム単位で変更しながら、複数フレーム期間かけて各列回路の特性を示すデータを読出して前記複数の列回路の補正データを取得する補正データ生成手段と、を有することを特徴とする。

本発明によれば例えば静止画を撮影する場合などに補正値を容易に生成することができる。

本発明の実施例１に係る撮像装置の構成を示すブロック図。 実施例１に係る撮像素子の一部の構成を示す図。 実施例１に係る撮像素子の一部の構成を示す図。 実施例１に係る撮像素子の一部の構成を示す図。 実施例１に係る撮像素子の一部の構成を示す図。 実施例１に係る撮像素子の画素構成を示す図。 実施例１に係る撮像素子のＡＤ変換器の構成を示す図。 実施例１に係る撮像素子の全体の画素構成について説明する図。 実施例１に係る撮像素子のデータ振り分け部の構成を示す図。 実施例１に係る垂直走査回路の構成を示す図。 実施例１に係るＤＦＥの構成を示す図。 実施例１に係る撮像装置の動作フローチャートの一部を示す図。 実施例１に係る撮像装置の動作フローチャートの他の部分を示す図。 実施例１に係る撮像装置の動作フローにおける各構成要素の状態を示す概念図。 実施例１に係る撮像装置の動作フローにおける各構成要素の状態を示す概念図。 実施例１に係る補正値生成用データ読み出し時の撮像素子の動作タイミングチャート。 実施例１に係る補正値生成用データ読み出し時の撮像素子の動作タイミングチャート。 実施例１に係るＬＶ画像データ読み出し時の撮像素子の動作タイミングチャート。 実施例１に係る画像データ読み出し時の撮像素子の動作タイミングチャート。 実施例１に係る静止画画像データ読み出し時の撮像素子の動作タイミングチャート。 実施例１に係る撮像素子の全体の画素構成と読出しについて説明する図。 実施例１に係る撮像素子の各動作における接続関係を示す図。 実施例１に係る撮像素子の各動作における接続関係を示す図。 実施例１に係る撮像素子の各動作における接続関係を示す図。 実施例１に係る撮像素子の各動作における接続関係を示す図。 実施例１に係る撮像素子の各動作における接続関係を示す図。 実施例１に係るＤＦＥの動作を説明する図。 実施例１に係るＤＦＥの動作を説明する図。 実施例２に係る撮像装置のブロック図。 実施例２に係る撮像素子の一部構成を示す図。 実施例２に係る撮像素子の一部構成を示す図。 実施例２に係る撮像素子の一部構成を示す図。 実施例２に係る撮像素子の一部構成を示す図。 実施例２に係る撮像素子の一部構成を示す図。

以下、本発明の実施形態を図面に基づいて説明する。

図１を参照して本発明の実施例１に係る撮像装置について説明する。
図１は本発明の実施例１に係る撮像装置の構成例を示すブロック図である。本実施例による撮像装置１０００は、例えばデジタルカメラであり、静止画像撮影機能及び動画像撮影機能を有している。撮像装置１０００は、撮像装置１０００を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２、及び撮影レンズ１０９を通過した被写体の光学像が結像する撮像素子１００を有する。撮像素子１００は、これに結像された光学像を電気信号（アナログ画素信号）に変換後、所定の量子化ビット数に応じてデジタル画像データに変換して出力する。ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１０１は、撮像素子１００からデジタルデータを受けとり、後述する画像のための基本的な補正処理を行い、ＣＰＵ１０２へデータを送信する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５は、撮像素子１００から出力される画像データ及び画像処理部１０７で処理された画像データを記憶するための画像メモリである。ＲＡＭ１０５は、ＣＰＵ１０２のワークメモリとしても用いられる。本例では、画像メモリ及びワークメモリとしてＲＡＭ１０５を用いるが、アクセス速度に問題ないものであれば、他のメモリを用いてもよい。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０６には、コンピュータとしてのＣＰＵ１０２で動作するコンピュータプログラムが記憶されている。本例では、ＲＯＭ１０６としてフラッシュＲＯＭが用いられるが、アクセス速度に問題がないものであれば、他のメモリを用いてもよい。

画像処理部１０７は、本実施例に係る静止画像及び動画像の補正処理や、画像の圧縮処理等を行う。操作部１０３は、撮像装置１０００を起動するメインスイッチや、ユーザーが撮像装置１０００に静止画や動画の撮影命令を行う撮影スイッチ等を含み、撮像条件等を設定する際にも用いられる。表示部１０４は、ＣＰＵ１０２の制御下で、画像データに応じた静止画像又は動画像の表示を行うとともに、メニュー等の表示を行う。
記録部１０８は、例えば不揮発性メモリ又はハードディスク等であり、画像データ等が記録される。本実施例において記録部１０８は、内蔵する形で記載されているが、コネクタ等を介して着脱可能なメモリーカードなどの外部記録媒体でもよい。
ＲＡＭ１１０は画像補正処理を行う際に用いるバッファ用のメモリである。

図２～図５は、撮像素子１００の回路構成の一例を分割して示す図である。なお、図２～図５はそれぞれ撮像素子の回路構成の左上、左下、右上、右下の分割部分を示している。図２～図５において、複数の画素２００が画素Ｒ０＿０～Ｂｍ－１＿ｎ－１（ｍ、ｎは任意の整数）のように行列状に配置されている。画素２００に示すＲは赤色、Ｇは緑色、Ｂは青色のカラーフィルタが画素上に配置されることを意味する。また、Ｒｐ＿ｑは、画素２００の中の第ｐ行第ｑ列のＲの画素であることを示す。Ｇｐ＿ｑは、第ｐ行第ｑ列のＧの画素であることを示す。Ｂｐ＿ｑは第ｐ行第ｑ列のＢの画素であることを示す。

ここで、画素２００の１画素毎の構成について図６を用いて説明する。フォトダイオード（ＰＤ）２０１は、入射した光信号を光電変換し、露光量に応じた電荷を蓄積する光電変換素子として機能する。制御信号ｔｘをハイレベルにすることで転送ゲート２０２がオン（導通状態）になり、ＰＤ２０１に蓄積されている電荷がフローティングディフュージョン部（ＦＤ部）２０３に転送される。ＦＤ部２０３は、増幅ＭＯＳトランジスタ２０４のゲートに接続されている。増幅ＭＯＳトランジスタ２０４は、ＰＤ２０１からＦＤ部２０３に転送されてきた電荷量に応じた電圧信号を出力する。

リセットスイッチ２０５は、ＦＤ部２０３やＰＤ２０１の電荷をリセットするためのスイッチである。制御信号ｒｅｓをハイレベルにすることでリセットスイッチ２０５がオン（導通状態）になり、ＦＤ部２０３がリセットされる。また、ＰＤ２０１の電荷をリセットする場合には、制御信号ｔｘ及び制御信号ｒｅｓを同時にハイレベルにすることで、転送ゲート２０２及びリセットスイッチ２０５を両方オンし、ＦＤ部２０３経由でＰＤ２０１をリセットする。画素選択スイッチ２０６ａ～２０６ｃは、それぞれ制御信号ｓｅｌ０～ｓｅｌ２をハイレベルとすることでオン（導通状態）になり、増幅ＭＯＳトランジスタ２０４と画素２００の出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）とを選択的に接続する。これにより、増幅ＭＯＳトランジスタ２０４で電圧に変換された画素信号が画素２００の出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）に選択的に出力される。

本実施例の撮像素子では後述する制御により、駆動条件によって行毎にｓｅｌ０～ｓｅｌ２のいずれかがオンになり、出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）のいずれかから画素信号が出力される。

図２～図５に戻り、垂直走査回路３０３は、前記駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等を各画素２００に供給する。これらの駆動信号は、それぞれ各画素２００の端子ｒｅｓ、ｔｘ、ｓｅｌ０～２に供給される。各画素の出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）は、１２本の垂直出力線３００ａ～３００ｌのいずれかひとつにそれぞれ接続される。画素Ｒ０＿０が配置される列（０列目）を例に説明すると、図２～図５に示す撮像素子の０列０行の画素Ｒ０＿０から０列１１行の画素Ｇ１１＿０までの画素と列出力線３００ａ～３００ｌとの接続パターンが、０列１２行以降も繰り返されている。この接続パターンは、各列同様である。

垂直出力線３００ａ～３００ｌは、それぞれＡＤ変換器（ＡＤＣ）３０１ａ～３０１ｌの入力へ接続される。ＡＤ変換器３０１ａ～３０１ｌは、画素２００から出力される光信号とノイズ信号をアナログ－デジタル変換する。垂直出力線３００ａ～３００ｌには、それぞれ電流源３０２ａ～３０２ｌが接続されている。電流源３０２ａ～３０２ｌと垂直出力線３００ａ～３００ｌに接続された画素部２００の増幅ＭＯＳトランジスタ２０４によってソースフォロア回路が構成される。

ＡＤ変換器３０１ａを例として、ＡＤ変換器の構成を図７に示す。ＡＤ変換器３０１ａは、比較器３２７、Ｌａｔｃｈ＿Ｎ３２８、Ｌａｔｃｈ＿Ｓ３２９、スイッチ３３０、３３１を有する。垂直出力線３００ａに出力される信号は比較器３２７に入力される。ランプ信号発生器３０６ａからは、ランプ信号Ａ３２１ａと補正値生成用ランプ信号Ｂ３２２ａが出力され、セレクタ３２６でセレクトされたランプ信号が比較器３２７に入力される。後述する被写体画像データの読み出し制御、または補正値生成用データの読み出し制御に従い、セレクタ３２６が図２に示すＴＧ（タイミングジェネレーター）３０７ａから出力される制御信号により制御される。ＡＤ変換器毎にどちらのランプ信号が使用されるかが選択され、該当するＡＤ変換器が被写体画像データの読み出しに使用される場合にはランプ信号Ａ３２１が選択され、補正値生成用データの読み出しに使用される場合にはランプ信号Ｂ３２２が選択される。

Ｌａｔｃｈ＿Ｎ３２８はノイズ信号（Ｎ信号）を保持するための記憶素子（ラッチ回路）であり、Ｌａｔｃｈ＿Ｓ３２９は光信号（Ｓ信号）を保持するための記憶素子（ラッチ回路）である。カウンタ３０５ａからはカウンタ値Ａ３２３ａとカウンタ値Ｂ３４６ａがセレクタ３４７に入力される。比較器３２７の出力端子、セレクタ３４７の出力がＬａｔｃｈ＿Ｎ３２８とＬａｔｃｈ＿Ｓ３２９にそれぞれ入力される。Ｌａｔｃｈ＿Ｎ、Ｌａｔｃｈ＿Ｓの出力端子はスイッチ３３０、３３１を介してそれぞれ共通出力線３２４ａ、３２５ａに接続される。共通出力線３２４ａ、３２５ａは図４に示すＳ－Ｎ演算部３０８ａに接続される。

スイッチ３３０、３３１は図２、図４、図７に示される水平走査回路３０４ａからの制御信号で制御される。Ｌａｔｃｈ＿Ｎ３２８、Ｌａｔｃｈ＿Ｓ３２９に保持された信号は共通出力線３２４ａ、３２５ａを介して出力され、Ｓ－Ｎ演算部３０８ａへ出力される。このＳ－Ｎ演算部３０８ａ（または３０８ｂ）への信号の出力はＡＤ変換器毎に順次行われ、水平転送動作が行われることになる。

Ｓ－Ｎ演算部３０８ａ、３０８ｂでは、入力されたＳ信号からＮ信号を減算する。この動作により画素部で発生するノイズ成分をキャンセルした被写体画像データまたは補正値生成用データが生成される。Ｓ－Ｎ演算部３０８ａ、３０８ｂから出力されたデータは、データ振り分け部３０９ａ、３０９ｂに入力される。データ振り分け部３０９ａ、３０９ｂではデータの振り分け、並び替え等を行い、データをデータ出力部Ａ３１０ａ、３１０ｂまたはデータ出力部Ｂ３１１ａ、３１１ｂへ出力する。

図９にデータ振り分け部３０９ａ（３０９ｂ）の構成を示す。入力されたデータは、メモリ制御部３２０から出力される書き込み制御信号に従い、ＡＤ変換器毎にメモリ０（３１２）～メモリ５（３１７）に書き込まれる。Ｒ０＿０が配置される０列を例にすると、ＡＤ変換器３０１ａ～３０１ｆにてデジタル変換された０列のＲデータは、データ振り分け部３０９ａに含まれるメモリ０（３１２）～メモリ５（３１７）にそれぞれ書き込まれる。また、ＡＤ変換器３０１ｇ～３０１ｌにてデジタル変換された０列のＧデータは、データ振り分け部３０９ｂに含まれるメモリ０（３１２）～メモリ５（３１７）にそれぞれ書き込まれる。

メモリ制御部３２０はセレクタ３１８、３１９とメモリ０（３１２）～メモリ５（３１７）の読み出しを制御し、データ出力部Ａ３１０ａ、３１０ｂまたはデータ出力部Ｂ３１１ａ、３１１ｂへ、メモリ毎にデータを順次出力する。本実施例はこのように被写体画像データを読み出すためのデータ出力部Ａと被写体画像データまたは補正値生成用データを読み出すためのデータ出力部Ｂとを設けている点にも特徴を有する。
データ出力部Ａ３１０ａ、３１０ｂまたはデータ出力部Ｂ３１１ａ、３１１ｂはＳＬＶＳ（Ｓｃａｌａｂｌｅ Ｌｏｗ Ｖｏｌｔａｇｅ Ｓｉｇｎａｌｉｎｇ）等の伝送方式により、撮像素子１００の外部へデータを出力する。

ここで、撮像素子１００の全体の画素構成について説明する。図８に全体の画素構成を示す。図８に示すように複数の画素は遮光されたＶＯＢ＿０、ＶＯＢ＿１、ＨＯＢと、被写体を撮影する有効画素領域に分けられる。水平方向にはｎ列の画素が並び、垂直方向にはｍ行の画素が並ぶ。また、垂直方向にはＶＯＢ＿０は１２ｈ（ｈは０より大きい整数）行、ＶＯＢ＿１は１２ｉ（ｉは０より大きい整数）行、有効画素領域は１２ｊ（ｊは０より大きい整数）行並ぶ。垂直方向については、図２に示す０行目から１１行目の画素―垂直出力線接続パターンが繰り返し続くため、各領域が１２の倍数となっている。

また、ＶＯＢ＿０は後述する補正値生成用データを読み出す際に使用され、ＶＯＢ＿１とＨＯＢ、有効画像領域は被写体画像データを読み出す際に使用される。ＶＯＢ＿０とＶＯＢ＿１とＨＯＢ、有効画像領域については、読み出すための垂直走査信号や画素―垂直出力線の電気的な接続を決定する駆動信号ｓｅｌ０～２が独立に垂直走査回路３０３から順次出力される。

図１０は、垂直走査回路３０３の構成を示す図である。垂直走査回路３０３は読出しに使用する列回路群を変更するための列回路接続変更機能を有する。なお、ここで列回路とは各画素列に対して複数設けられている垂直出力線、ＡＤ変換器等を含む列読み出し回路のことを指す。ＴＧ＿Ａ３４０からは、図８のＶＯＢ＿０を制御するための信号である、ｒｅｓ＿ａ、ｔｘ＿ａ、ｓｅｌ０＿ａ、ｓｅｌ１＿ａ、ｓｅｌ２＿ａが出力される。これらの制御信号はＣＰＵ１０２からの設定に従って動作する。垂直走査回路３４１は、ＶＯＢ＿０を選択するための行選択信号が出力される。図１０に示すように、各制御信号と行選択信号がＡＮＤゲート３４５に入力され、ｒｅｓ＿０、ｔｘ＿０、ｓｅｌ０＿０、ｓｅｌ１＿０、ｓｅｌ２＿０．．．が生成される。

また、ＴＧ＿Ｂ３４２からは、ＶＯＢ＿１、ＨＯＢまたは有効画素領域を制御するための信号である、ｒｅｓ＿ｂ、ｔｘ＿ｂ、ｓｅｌ０＿ｂ、ｓｅｌ１＿ｂ、ｓｅｌ２＿ｂが出力される。これらの制御信号はＣＰＵ１０２からの設定に従って動作し、ｒｅｓ＿ａ、ｔｘ＿ａ、ｓｅｌ０＿ａ、ｓｅｌ１＿ａ、ｓｅｌ２＿ａと異なったタイミングまたは同じタイミングで動作する。垂直走査回路３４３は、ＶＯＢ＿１、ＨＯＢまたは有効画素領域を選択するための行選択信号が出力される。図１０に示すように、各制御信号と行選択信号がＡＮＤゲート３４５に入力され、ｒｅｓ＿１２ｋ＋０、ｔｘ＿１２ｋ＋０、ｓｅｌ０＿１２ｋ＋０、ｓｅｌ１＿１２ｋ＋０、ｓｅｌ２＿１２ｋ＋０．．．が生成される。

なお、本実施例においてはＴＧ＿Ａ３４０とＴＧ＿Ｂ３４２を有し、ＶＯＢ＿０とＶＯＢ＿１／有効画素領域を制御する制御信号を異なるタイミングで設定できる構成としたが、その限りではない。
ＴＧ＿Ａ３４０かＴＧ＿Ｂ３４２のいずれかを有し、同一のタイミングで動作する構成も適用可能である。
次に、図１１を用いてＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１０１の構成について説明する。

図１１に撮像素子１００、ＣＰＵ１０２との接続を含めたＤＦＥ１０１の構成を示す。データ出力部Ａ３１０ａ、３１０ｂのみから出力される被写体画像データは、セレクタ４０２に入力される。また、データ出力部Ａ３１０ａ、３１０ｂから出力される被写体画像データと、データ出力部Ｂ３１１ａ、３１１ｂから出力される被写体画像データは１フレームの画像データとしてまとめられ、セレクタ４０２へ入力される。セレクタ４０２は撮影モード毎にＣＰＵ１０２から設定される設定に基づき制御される。セレクタ４０２の出力は補正回路４０１へ入力される。
一方、データ出力部Ｂ３１１ａ、３１１ｂから出力される補正値生成用データは補正値生成回路４００に入力される。補正値生成回路４００はデータ出力部Ｂ３１１ａ、３１１ｂから出力される補正値生成用データから垂直出力線、ＡＤ変換器等を含む列読み出し回路（列回路）毎の補正値を生成し、ＲＡＭ４０３へ格納する。即ち補正データ生成機能を有する。ここで列読み出し回路（列回路）毎の補正値は各列回路の特性を示すデータといえる。ＲＡＭ４０３は、ＲＡＭ０（４０３ａ）、ＲＡＭ１（４０３ｂ）、ＲＡＭ２（４０３ｃ）を有する。各ＲＡＭには読み出しを行う画像の補正値が格納される。なお、使用しないＲＡＭをパワーダウンされるように制御してもよい。

ＲＡＭ制御部４０４はＲＡＭ１１０へのデータ書き込みや読み出しを制御する。ＣＰＵ１０２からの設定に従い、セレクタ４０２から出力される被写体画像データをＲＡＭ１１０に書き込む。また、ＲＡＭ１１０に格納される被写体画像データを読み出し、補正回路４０１へ入力する。
補正回路４０１は、ＲＡＭ４０３から出力される列読み出し回路（列回路）の各々に対応した補正値を、セレクタ４０２またはＲＡＭ制御部４０４から出力される被写体画像データから減算し、オフセット補正を行う。その後ＣＰＵ１０２に対してデータを出力する。

次に、実施例１による撮像装置の動作について説明する。図１２、図１３は、実施例１による撮像装置１００の撮影動作を説明するためのフローチャートである。なお、以下の説明では例としてＲ画素のみについて説明を行う。Ｇ画素、Ｂ画素の動作についてはＲ画素と同様であるため、説明を省略する。

ユーザーが図１に示した操作部１０３のメインスイッチを押下するとライブビュー（ＬＶ）撮影が開始され、メインスイッチが再度押下されるとＬＶ撮影が終了する。このようにメインスイッチはトグル動作を行うように構成されている。ＬＶ撮影が開始されると、ステップＳ１００にて、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データ（被写体画像データ）を補正するための補正値生成用データを撮像素子から読み出すための設定を行う。即ち、ＣＰＵ１０２は図１０のＴＧ＿Ａ３４０に対して、図８のＶＯＢ＿０領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、図７のランプ信号発生器３０６ａに対して補正値生成用データを読み出す際のゲインとしてランプ信号Ｂ３２２ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ２００で撮影するための傾きを設定する。また図２のＴＧ３０７ａに対して、ＡＤ変換器３０１ｄ、３０１ｂをオン状態、その他のＡＤ変換器（３０１ａ、３０１ｃ、３０１ｅ、３０１ｆ）はオフ状態にする設定を行う。また、図７のＡＤ変換器３０１ｄ、３０１ｂのセレクタ３２６にランプ信号Ｂ３２２ａを入力する設定を行う。また、図１１のデータ出力部Ａ３１０ａをオフにし、データ出力部Ｂ３１１ａをオンにする設定を行う。本実施例ではオフにした回路は消費電力がオン時より低くなるか給電がオフとなる構成としているので、消費電力を削減することができる。さらに、図２のＡＤ変換器３０１ｄ、３０１ｂの図７のセレクタ３４７に対して、カウンタ値Ｂ３４６ａを選択する設定を行う。

次にステップＳ１０１にて図１１の補正値生成回路４００により補正値を生成する設定を行う。また、ＲＡＭ４０３に対して、補正値生成のためにＲＡＭ０（４０３ａ）を使用する設定を行う。
次にステップＳ１０２にて、補正値生成用データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図１４のフレームＮｏ．ＬＶ＿０に示す。
補正値生成用データを読み出す場合の撮像素子１００の動作タイミングチャートを図１６に示す。時刻ｔａ０において、駆動信号ｔｘ＿０、２、４、６、８、１０がＨになり、図６の転送スイッチ２０２がオンになる。このとき、ｒｅｓ＿０、２、４、６、８、１０はＨになっているので、ＰＤ２０１に蓄積された電荷は、転送スイッチ２０２、リセットスイッチ２０５を介して電源２０８に転送され、ＰＤ２０１はリセットされる。時刻ｔａ１において、制御信号ｔｘ＿０、２、４、６、８、１０をＬとし、ＰＤ２０１への電荷の蓄積が開始される。ただしＶＯＢ＿０領域の画素は遮光されているので、ＰＤ２０１では暗電流が蓄積されることになる。

一方、所定の時間だけ電荷の蓄積を行った後の時刻ｔａ２において、選択スイッチ２０６の駆動信号ｓｅｌ１＿０、２、４、６、８、１０がＨになり、増幅ＭＯＳトランジスタ２０４のソースが垂直出力線に接続される。時刻ｔａ３において、リセットスイッチ２０５の駆動信号ｒｅｓ＿０、２、４、６、８、１０をＬとすることでＦＤ部２０３のリセットを解除する。このリセット解除時におけるＦＤ部２０３の信号電位であるノイズ信号が増幅ＭＯＳトランジスタ２０４を介して垂直出力線３００ｂ、３００ｄに読み出され、ＡＤ変換器３０１ｂ、３０１ｄに入力される。このときの、画素と垂直出力線の接続関係を示す概念図を図２２に示す。図２２におけるフレームＮｏ．ＬＶ＿０に示すように、０、２、４行目の画素が垂直出力線３０１ｄ（垂直出力線３）に接続され、６、８、１０行目の画素が垂直出力線３０１ｂ（垂直出力線１）に接続されることになる。同一垂直出力線に接続された画素の信号は混合された状態でＡＤ変換器にてＡＤ変換されることとなる。なお、図２２において画素からの垂直線出力線への接続線が破線で記載されているものは、駆動信号ｓｅｌがＬとなっており、垂直出力線へ接続されていないものとする。また、以下の説明において、垂直出力線３０１ａ～ｆをそれぞれ垂直出力線０～５と便宜的に呼ぶこととする。

各画素２００の出力端子ｖｏｕｔ１にはノイズ信号が出力され、垂直出力線３００ｂには６、８、１０行目の画素のノイズ信号の混合信号が出力され、垂直出力線３００ｄには０、２、４行目の画素のノイズ信号の混合信号が出力される。

次に、時刻ｔａ４にて、図２のＴＧ３０７ａはＡＤ変換器３０１ｂ、３０１ｄを駆動し、ＡＤ変換を開始する。ここで各垂直出力線に出力されるノイズ信号の混合信号がＡＤ変換される。ＡＤ変換開始時に図７のカウンタ３０５ａがカウント値のインクリメント動作を開始する。一方、垂直出力線３０１ｂ、３０１ｄのノイズ信号レベルとセレクタ３２６から出力されるランプ信号レベルを比較器３２７で比較し、一致した時点のカウンタ値をＬａｔｃｈ＿Ｎ３２８に格納することでＡＤ変換が行われる。（時刻ｔａ５）
時刻ｔａ５にて、ＡＤ変換が終了すると、ＡＤ変換器３０１ｂ、３０１ｄはそれぞれＡＤ変換されたノイズ信号をＬａｔｃｈ＿Ｎ３２８保持する。

次に、時刻ｔａ６にて、図２のＴＧ３０７ａは再びＡＤ変換器３０１ｂ、３０１ｄを駆動し、ＡＤ変換を開始する。ここでＡＤ変換されるのはＰＤ２０１にて光電変換された信号ではなく、再度取得されたノイズ信号である。そして各垂直出力線に出力されるノイズ信号の混合信号がＡＤ変換される。時刻ｔａ７にて、ＡＤ変換が終了されると、ＡＤ変換器３０１ｂ、３０１ｄは、それぞれＡＤ変換されたノイズ信号をＬａｔｃｈ＿Ｓ３２９に保持する。ここで２回取得されたノイズ信号は、ｒｅｓ＿０、２、４、６、８、１０をｔａ３でＬにしてリセット解除した状態からの経過時間（タイミング）が異なる。本実施例では、上記リセット解除直後（ｔａ４）のＦＤ部のノイズ信号とリセット解除から所定時間経過後（ｔａ６）のＦＤ部のノイズ信号とに基づいて垂直出力線、ＡＤ変換器等を含む列読み出し回路（列回路）毎の固有の列オフセットノイズを補正する。

その後時刻ｔａ８にてｒｅｓ＿０、２、４、６、８、１０をＨとし、再びＦＤ部２０３をリセット状態とする。一方、撮像素子１００の外部への補正値生成用データの出力を開始する。水平走査回路３０４は水平走査を開始し、各列のＡＤ変換器３０１ｂ、３０１ｄのＬａｔｃｈ＿Ｎ３２８に保持された１回目のＮ信号とＬａｔｃｈ＿Ｓ３２９に保持された２回目のＮ信号を図４、図９のＳ－Ｎ演算部３０８ａへ順次転送する。Ｓ－Ｎ演算部３０８ａで列毎に２回目のＮ信号から１回目のＮ信号を減算し、データ振り分け部３０９ａを経由してデータ出力部Ｂ３１１ａから補正値生成用データとして出力する。一方、時刻ｔａ９にてｓｅｌ＿０、２、４、６、８、１０がＬになり、その後時刻ｔａ１０にて全列の２回分の補正値生成用データの出力が終了する。

本実施例では、図２１（Ａ）のＶＯＢ＿０領域に対して図１６のタイミングチャートに示す１２行分の読出し動作を繰り返し行うことにより補正値生成用データを出力する。
次に、ステップＳ１０２における図１１のＤＦＥ１０１の動作（図１４ ＬＶ＿０フレーム）について説明する。

撮像素子１００のデータ出力部Ｂ３１１ａからは補正値生成用データが出力され、補正値生成回路４００に入力される。補正値生成回路４００には、図２７に示されるように垂直出力線１、３をそれぞれ経由した補正値生成用データが順次入力される。補正値生成回路４００は各垂直出力線の列毎に、ＲＡＭ０（４０３ａ）へ補正値生成用データを一時格納しながら加算する。加算後に平均し、補正値（列ごとの前記オフセット値）としてＲＡＭ０（４０３ａ）へ格納する。
ＤＦＥ１０１で補正値の生成が終了すると、図１２のステップＳ１０３へ進む。

ステップＳ１０３にて、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データ（被写体画像データ）を読み出す設定を行う。ＣＰＵ１０２は図１０のＴＧ＿Ｂ３４２に対して、図８のＶＯＢ＿１領域、ＨＯＢ領域と有効画素領域の画素信号を読み出すための駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対してＬＶ画像データを読み出す時のゲインとしてランプ信号Ａ３２１ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ２００で撮影するための傾きを設定する。また図２のＴＧ３０７ａに対して、ＡＤ変換器３０１ｄ、３０１ｂをオン状態、その他のＡＤ変換器（３０１ａ、３０１ｃ、３０１ｅ、３０１ｆ）はオフ状態にする設定を行う。また、ＡＤ変換器３０１ｄ、３０１ｂの図７のセレクタ３２６にランプ信号Ａ３２１ａを入力する設定を行う。さらに、ＡＤ変換器３０１ｄ、３０１ｂの図７のセレクタ３４７に対して、カウンタ値Ａ３２３ａを選択する設定を行う。また、図４、図９、図１１のデータ出力部Ｂ３１１ａをオフにし、データ出力部Ａ３１０ａをオンにする設定を行う。

次にステップＳ１０４にて図１１の補正回路４０１によりＬＶ画像データを補正するための設定を行う。図１１のセレクタ４０２をａに設定し、データ出力部Ａ３１０ａからのデータのみを選択する。また、ＲＡＭ４０３に対して、補正のためにＲＡＭ０（４０３ａ）を使用する設定を行う。
次にステップＳ１０５にて、ＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図１４のフレームＮｏ．ＬＶ＿１に示す。

ＬＶ画像データを読み出す場合の撮像素子１００の動作について、図１８のタイミングチャートを用いて説明する。時刻ｔｃ０において、駆動信号ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０（ｋは図８のｈより大きい整数）がＨになり、図６の転送スイッチ２０２がオンになる。このとき、ｒｅｓ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０はＨになっており、ＰＤ２０１に蓄積された電荷は、転送スイッチ２０２、リセットスイッチ２０５を介して電源２０８に転送され、ＰＤ２０１はリセットされる。時刻ｔｃ１において、制御信号ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＬとし、ＰＤ２０１への光電荷の蓄積が開始される。ただし図８のＶＯＢ＿１領域やＨＯＢ領域の画素については遮光されているので、ＰＤ２０１では暗電流が蓄積される。

所定の時間だけ光電荷の蓄積を行った後の時刻ｔｃ２において、選択スイッチ２０６の駆動信号ｓｅｌ１＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０がＨになり、増幅ＭＯＳトランジスタ２０４のソースが垂直出力線に接続される。また、時刻ｔｃ３において、リセットスイッチ２０５の駆動信号ｒｅｓ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＬとすることでＦＤ部２０３のリセットを解除する。このリセット解除時におけるＦＤ部２０３の信号電位であるノイズ信号が増幅ＭＯＳトランジスタ２０４を介して垂直出力線３００ｂ、３００ｄに読み出され、ＡＤ変換器３０１ｂ、３０１ｄに入力される。このときの、画素と垂直出力線の接続関係を示す概念図を図２２のフレームＮｏ．ＬＶ＿１に示す。即ち、１２ｋ＋０、１２ｋ＋２、１２ｋ＋４行目の画素が垂直出力線３０１ｄ（垂直出力線３）に接続され、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素が垂直出力線３０１ｂ（垂直出力線１）に接続されることになる。そして同一垂直出力線に接続された画素の信号は混合された状態でＡＤ変換器にてＡＤ変換されることとなる。

このとき、各画素２００の出力端子ｖｏｕｔ１にはノイズ信号（ＦＤ部のリセット解除時の電位）が出力され、垂直出力線３００ｂ、には６、８、１０行目の画素のノイズ信号の混合信号が出力される。そいて垂直出力線３００ｄには０、２、４行目の画素のノイズ信号の混合信号が出力される。

次に、時刻ｔｃ４にて、図２のＴＧ３０７ａはＡＤ変換器３０１ｂ、３０１ｄを駆動し、ＡＤ変換を開始する。ここで各垂直出力線に出力されるノイズ信号の混合信号がＡＤ変換される。ＡＤ変換開始に伴って図７のカウンタ３０５ａがカウント値のインクリメント動作を開始する。垂直出力線３０１ｂ、３０１ｄのノイズ信号レベルとセレクタ３２６から出力されるランプ信号レベルを比較器３２７で比較し、一致した時点のカウンタ値をＬａｔｃｈ＿Ｎ３２８に格納することでノイズレベルのＡＤ変換が行われる。
時刻ｔｃ５にて、ＡＤ変換が終了すると、ＡＤ変換器３０１ｂ、３０１ｄはそれぞれＡＤ変換されたノイズ信号をＬａｔｃｈ＿Ｎ３２８に保持する。

時刻ｔｃ６にて、垂直走査回路３０３は、駆動信号ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＨとし、１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素２００の図６の転送ゲート２０２をオンする。そして、各画素のＰＤ２０１に蓄積されている信号電荷が増幅ＭＯＳトランジスタ２０４で構成されるソースフォロアのゲートに転送される。ソースフォロアは転送された信号電荷に見合う分だけリセットレベルから電位が変動して光信号レベルが確定する。このとき、各画素２００の出力端子ｖｏｕｔ１にはＰＤ２０１の光信号が出力され、垂直出力線３００ｄには１２ｋ＋０、１２ｋ＋２、１２ｋ＋４行目の画素の光信号の混合信号が出力される。また、垂直出力線３００ｂには１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素の光信号の混合信号が出力される。
その後、時刻ｔｃ７にて、ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＬにし、ＰＤ２０１からの転送を完了する。

次に、時刻ｔｃ８にて、ＴＧ３０７ａはＡＤ変換器３０１ｂ、３０１ｄを駆動し、ＡＤ変換を開始する。ここで各垂直出力線に出力される光信号の混合信号がＡＤ変換される。時刻ｔｃ９にて、ＡＤ変換が終了されると、ＡＤ変換器３０１ｂ、３０１ｄは、それぞれＡＤ変換された光信号をＬａｔｃｈ＿Ｓ３２９に保持する。

その後時刻ｔｃ１０にてｒｅｓ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＨとし、再びＦＤ部２０３をリセット状態とする。一方、撮像素子１００の外部への被写体画像データの出力を開始する。即ち、水平走査回路３０４は水平走査を開始し、各列のＡＤ変換器３０１ｂ、３０１ｄのＮ信号とＳ信号をそれぞれＳ－Ｎ演算部３０８ａへ順次転送する。Ｓ－Ｎ演算部で列毎にＳ信号からＮ信号を減算し、データ振り分け部３０９ａを経由してデータ出力部Ａ３１０ａから被写体画像データとして出力する。時刻ｔｃ１１にてｓｅｌ１＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０がＬになり、その後時刻ｔｃ１２にて全列の被写体画像データの出力（１２行分の水平走査）が終了する。ただしここでは偶数行のＲについてのみ示しているので６行だけが示されている。

本実施例では、図２１（Ｂ）のＶＯＢ＿１領域、ＨＯＢ領域、有効画素領域に対して図１８のタイミングチャートに示す１２行ずつの転送単位動作を行い、順次垂直方向に３画素の信号が混合された状態で一度だけ読み出す。そして、その動作を、ｋをインクリメントしながら図２１（Ｂ）における下方に向けて繰り返し、有効画素領域の最後の画素まで順次読出したデータをＬＶ画像データ（被写体画像データ）とする。
次に、ステップＳ１０５におけるＤＦＥ１０１の動作（図１４ ＬＶ＿１フレーム）について説明する。

撮像素子１００のデータ出力部Ａ３１０ａからはＬＶ画像データが出力され、補正回路４０１へ入力される。図２８に示すように補正回路４０１には、垂直出力線１、３をそれぞれ経由した被写体画像データが順次入力される。補正回路４０１はＲＡＭ０に格納されている各列のオフセット補正値を、入力される被写体画像データの列のタイミングに同期して読出し、各垂直出力線の列毎に被写体画像データから補正値を減算する補正を行う。その後、ＣＰＵ１０２に対して補正後のＬＶ画像データを出力する。ＣＰＵ１０２は入力されたＬＶ画像データを画像処理部１０７へ転送し、画像処理部１０７内で不図示の現像回路での現像を行い、表示部１０４へライブビュー画像として供給する。なお、上記の補正動作の際に、図８のＶＯＢ領域とＨＯＢ領域のオプティカルブラック信号を用いて公知の方法で黒レベル補正も行うが、ここでは黒レベル補正の動作については説明を省略する。
以上のようにして列ごとのオフセットノイズを除去したＬＶ画像をモニターすることができる。

更に、本実施例の撮像装置ではＬＶ画像のモニター中に静止画撮影ができるように静止画撮影スイッチを有する。そしてＬＶ画像のモニター中に静止画撮影がされた場合や、ＬＶ画像のモニター中にＩＳＯ感度などが変更された場合にも、ＬＶ画像に悪影響を与えることなく補正動作を行えるようにした点にも特徴がある。即ち、ＬＶ画像をモニター中に、ステップＳ１０６にて、ＣＰＵ１０２が、操作部１０３の静止画撮影スイッチが押下されたかを判断する。静止画撮影スイッチが押下されていない場合には（ステップＳ１０６のＮＯ）、図１３のステップＳ１１６へ進み撮影感度等が変更されていないかチェックするプロセスに進む。
ステップＳ１１６では、ＣＰＵ１０２は、メインスイッチが押下されているかを判断し、メインスイッチが押下されている場合には（ステップＳ１１６のＹＥＳ）、ＬＶ画像の撮影を終了する。メインスイッチが押下されていない場合には（ステップＳ１１６のＮＯ）、ＬＶ画像の撮影を継続し、ステップＳ１１７に進む。

ステップＳ１１７では、ＣＰＵ１０２はＩＳＯ感度の変更がされたかを判断する。本実施例ではユーザーにより操作される操作部１０３の状態をＣＰＵ１０２がスキャンすることによって各種操作状態を検出し、ＩＳＯ感度の変更がなされたか否かを判断する。変更されない場合（ステップＳ１１７のＮＯ）は図１２のステップＳ１０３に戻りＬＶ画像の撮影を継続する。ＩＳＯ感度が変更された場合（ステップＳ１１７のＹＥＳ）はステップＳ１１８へ進む。なお、本実施例ではＩＳＯ感度をユーザーが決定する構成としたが、その限りでない。撮影したＬＶ画像から明るさを検知し、例えば明るさが所定輝度値未満であると判断した場合にはＩＳＯ感度を上げ、所定輝度値以上であると判断した場合などにはＩＳＯ感度を下げるようにしてもよい。このように、所定の判断に基づきＣＰＵ１０２が自動でＩＳＯ感度を変更する構成でもよい。

ＩＳＯ感度が変更された場合にはステップＳ１１８にて、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データの列ごとのオフセットを補正するためのデータを再度読み出すための設定を行う。即ち、ＣＰＵ１０２は図１０のＴＧ＿Ａ３４０に対して、ＶＯＢ＿０領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、図７のランプ信号発生器３０６ａに対して補正値生成用データを読み出す時のゲインとしてランプ信号Ｂ３２２ａの傾きを設定する。ここでは例として、ＩＳＯ感度（撮影感度）が変更された結果ＩＳＯ１６００となったものとする。その場合、撮影感度ＩＳＯ１６００で撮影するための傾きを設定する。

また、ＣＰＵ１０２は図１０のＴＧ＿Ｂ３４２に対して、ＶＯＢ＿１領域と有効画素領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対してＬＶ画像データを読み出す時のゲインとしてランプ信号Ａ３２１ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ２００で撮影するための傾きを設定する。なお、この時点ではまだ撮影感度が１６００に切り替わっていないものとする。

また図２のＴＧ３０７ａに対して、ＡＤ変換器３０１ｂ、３０１ｃ、３０１ｄ、３０１ｅをオン状態、その他のＡＤ変換器（３０１ａ、３０１ｆ）はオフ状態にする設定を行う。ここで垂直出力線２、４及びそれにそれぞれつながっているＡＤ変換器３０１ｃ、３０１ｅを用いる理由は現在モニター中のＬＶ画像が乱れないようにするためである。また、ＡＤ変換器３０１ｂ、３０１ｄには図７のセレクタ３２６にランプ信号Ａ３２１ａを入力する設定を行う。ＡＤ変換器３０１ｃ、３０１ｅにはセレクタ３２６にランプ信号Ｂ３２２ａを入力する設定を行う。さらに、ＡＤ変換器３０１ｂ、３０１ｄにはセレクタ３４７にカウンタ値Ａ３２３ａを選択する設定を行う。ＡＤ変換器３０１ｃ、３０１ｅにはセレクタ３４７にカウンタ値Ｂ３４６ａを選択する設定を行う。また、データ出力部Ａ３１０ａ、データ出力部Ｂ３１１ａをオンにする設定を行う。

ここでは、補正値生成はＬＶ画像の補正値を生成するために行われる。従って駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定や、カウンタ値Ａ３２３ａとカウンタ値Ｂ３４６ａの動作タイミングは、ＶＯＢ＿０と、ＶＯＢ＿１やＨＯＢや有効画素領域で同一となるように設定される。
次にステップＳ１１９にて図１１の補正値生成回路４００により補正値を生成する設定を行う。また、ＲＡＭ４０３に対して、補正値生成のためにＲＡＭ１（４０３ｂ）を使用する設定を行う。また、ＬＶ画像データを補正するための設定も行う。セレクタ４０２をａに設定し、データ出力部Ａ３１０ａからのデータのみを選択する。また、ＲＡＭ４０３に対して、補正のためにＲＡＭ０（４０３ａ）を使用する設定を行う。
次にステップＳ１２０にて、補正値生成用データの読み出しとＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図１４のフレームＮｏ．ＬＶ＿３に示す。このフレーム期間では補正値生成用データの読み出しとＬＶ画像データ（被写体画像データ）の読み出しを行う同じフレーム期間に重複して行う。

このときの補正値生成用データ読み出しのための撮像素子１００の動作タイミングチャートを図１７に示す。前述した図１６の補正値生成用データ読み出し時の動作と異なるのは、駆動信号ｓｅｌ２＿０、２、４、６、８、１０をＨにすることによって読出しのための垂直線をずらしている点であり、他は図１６と同様であるため説明を省略する。
このときの、画素と垂直出力線の接続関係の概念図を図２３のフレームＮｏ．ＬＶ＿３に示す。図のように、０、２、４行目の画素が垂直出力線３０１ｅ（垂直出力線４）に接続され、６、８、１０行目の画素が垂直出力線３０１ｃ（垂直出力線２）に接続されることになる。同一垂直出力線に接続された画素の信号は混合された状態でＡＤ変換器にてＡＤ変換されることとなる。
また、同時にＬＶ画像データの読み出しを行う。このときのＬＶ画像データの読み出しは前述した図１８と同様に垂直出力線３と垂直出力線１を使用して行われるものであり、説明は省略する。なお、前述のように補正値生成用データの読み出しに垂直出力線４、２を用い、ＬＶ画像データの読み出しには垂直出力線３、１を用いるのは現在モニター中のＬＶ画像が乱れないようにするためである。
次に、ステップＳ１２０におけるＤＦＥ１０１の動作（図１４ ＬＶ＿３フレーム）について説明する。

撮像素子１００のデータ出力部Ｂ３１１ａからは補正値生成用データが出力され、補正値生成回路４００に入力される。補正値生成回路４００には、垂直出力線２、４をそれぞれ経由した補正値生成用データが順次入力される。補正値生成回路４００は各垂直出力線の列毎に、ＲＡＭ１（４０３ｂ）へ補正値生成用データを一時格納しながら加算する。加算後に平均し、補正値としてＲＡＭ１（４０３ｂ）へ格納する。また、ＬＶ画像の補正については、前述したステップＳ１０５の動作と同様のため、詳細な説明は省略するが、ＬＶ＿３の画像の補正はＲＡＭ０（４０３ａ）に記憶された補正信号との減算により行う。ステップＳ１２１で補正値の生成とＬＶ画像の補正が終了すると、ステップＳ１２１へ進む。
ステップＳ１２１では、ＣＰＵ１０２は、メインスイッチが押下されているかを判断し、メインスイッチが押下されている場合には（ステップＳ１２１のＹＥＳ）、ＬＶ撮影を終了する。メインスイッチが押下されていない場合には（ステップＳ１２１のＮＯ）、ステップＳ１１７に戻る。
ステップＳ１１７にて、さらにＩＳＯ感度が変更されないと判断された場合には、ステップＳ１０３へ戻る。

ステップＳ１０３にて、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データを読み出す設定を行う。ＣＰＵ１０２は図１０のＴＧ＿Ｂ３４２に対して、図８のＶＯＢ＿１領域と有効画素領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対してＬＶ画像データを読み出す時のゲインとしてランプ信号Ａ３２１ａの傾きを設定する。ここでは前記Ｓ１１７において撮影感度を一旦ＩＳＯ１６００に切り替えており、Ｓ１１９で補正データとして撮影感度ＩＳＯ１６００用の補正データを記憶している。従ってランプ信号Ａ３２１ａの傾きを設定する際に撮影感度ＩＳＯ１６００で撮影するための傾きを設定する。またＴＧ３０７ａに対して、ＡＤ変換器３０１ｅ、３０１ｃをオン状態、その他のＡＤ変換器（３０１ａ、３０１ｂ、３０１ｄ、３０１ｆ）はオフ状態にする設定を行う。また、ＡＤ変換器３０１ｅ、３０１ｃのセレクタ３２６にランプ信号Ａ３２１ａを選択する設定を行う。これはステップＳ１１８で補正値生成用のデータ読出しをした際に使ったのと同じ垂直出力線２、４を使ってＬＶ画像を読み出すことによって列ごとのオフセット補正をするためである。さらに、ＡＤ変換器３０１ｅ、３０１ｃのセレクタ３４７に対して、カウンタ値Ａ３２３ａを選択する設定を行う。また、図４、図９、図１１のデータ出力部Ｂ３１１ａをオフにし、データ出力部Ａ３１０ａをオンにする設定を行う。

次にステップＳ１０４にてＤＦＥの設定を行う。ここでは、ＬＶ画像データを補正するための設定を行う。セレクタ４０２をａに設定し、データ出力部Ａ３１０ａからのデータのみを選択する。また、補正のためにＲＡＭ１（４０３ａ）を使用する設定を行う。これによってステップＳ１２０で記憶された撮影感度ＩＳＯ１６００用の補正データを読み出すことになる。
次にステップＳ１０５にて、ＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図１４のフレームＮｏ．ＬＶ＿４に示す。
このときの画像データ読み出し時の撮像素子１００の動作タイミングチャートを図１９に示す。前述した図１８の被写体画像データ読み出し時の動作と異なるのは、駆動信号ｓｅｌ２＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＨにする点であり、他は図１８と同様であるため説明を省略する。
このときの、画素と垂直出力線の接続を示す概念図を図２３に示す。フレームＮｏ．ＬＶ＿４に示すように、１２ｋ＋０、１２ｋ＋２、１２ｋ＋４行目の画素が垂直出力線３０１ｅ（垂直出力線４）に接続され、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素が垂直出力線３０１ｃ（垂直出力線２）に接続されることになる。また、同一垂直出力線に接続された画素信号は混合された状態でＡＤ変換器にてＡＤ変換される。

次に、ステップＳ１０５におけるＤＦＥ１０１の動作（図１４ ＬＶ＿４フレーム）について説明する。
撮像素子１００のデータ出力部Ａ３１０ａからはＬＶ画像データが出力され、補正回路４０１へ入力される。図１１に示すように補正回路４０１には、垂直出力線２、４をそれぞれ経由した被写体画像データが順次入力される。補正回路４０１はＲＡＭ１から格納されている補正値を、入力される被写体画像データの対応した列と同期したタイミングで読出し、各垂直出力線の列毎に被写体画像データから補正値を減算して補正を行う。その後、ＣＰＵ１０２に対して被写体画像データを出力する。ＣＰＵ１０２は入力されたＬＶ画像データを画像処理部１０７へ転送し、画像処理部１０７内で不図示の現像回路での現像を行い、表示部１０４へライブビュー画像として表示を開始する。その後ステップＳ１０６へ進む。

ステップＳ１０６にて静止画撮影スイッチが押下されていた場合（ステップＳ１０６
のＹＥＳ）には、ステップＳ１０７へ進む。
ステップＳ１０７にて、ＣＰＵ１０２は撮像素子１００に対して静止画画像データを読み出す設定を行う。ＣＰＵ１０２は図１０のＴＧ＿Ｂ３４２に対して、ＶＯＢ＿１領域とＨＯＢ領域と有効画素領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対して静止画データを読み出す時のゲインとしてランプ信号Ａ３２１ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ１６００で撮影するための傾きを設定する。また図２のＴＧ３０７ａに対して、ＡＤ変換器３０１ａ～ｆをオン状態にする設定を行う。また、ＡＤ変換器３０１ａ～ｆのセレクタ３２６にランプ信号Ａ３２１ａを供給する設定を行う。さらに、ＡＤ変換器３０１ａ～ｆのセレクタ３４７に対して、カウンタ値Ａ３２３ａを選択する設定を行う。また、データ出力部Ａ３１０ａ、データ出力部Ｂ３１１ａをオンにする設定を行う。
ここでは、全てのＡＤ変換器は静止画の読み出しを行うため、カウンタ値Ａ３２３ａとカウンタ値Ｂ３４６ａの動作タイミングは同一となる設定を行う。このように本実施例では静止画画像データを読み出すときには全垂直出力線を用いるようにしているので高速読出しが可能となる。

次にステップＳ１０８にてＤＦＥ１０１の設定を行う。ここでは、補正と補正生成をともにＯＦＦにし、ＲＡＭ１１０へ静止画を格納する設定を行う。そのために、セレクタ４０２をｂに設定し、データ出力部Ａ３１０ａとデータ出力部Ｂ３１１ａからのデータを両方選択する。また、ＲＡＭ１（４０３ｂ）に格納されたＬＶ用の補正値は保持しておくように設定する。さらにＲＡＭ制御部４０４に、静止画データが入力された場合、ＲＡＭ１１０へ格納する設定を行う。
次にステップＳ１０９にて、静止画画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図１５のフレームＮｏ．静止画に示す。

静止画画像データ読み出し時の撮像素子１００の動作について、図２０のタイミングチャートを用いて説明する。基本的には図１８、１７と同様の動作であり、異なるのは、駆動信号ｓｅｌ０＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＨにする点だけであるが一通り説明する。
時刻ｔｅ０において、駆動信号ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０がＨになり、転送スイッチ２０２がオンになる。このとき、ｒｅｓ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０はＨになっており、ＰＤ２０１に蓄積された電荷は、転送スイッチ２０２、リセットスイッチ２０５を介して電源２０８に転送され、ＰＤ２０１はリセットされる。時刻ｔｅ１において、制御信号ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＬとし、ＰＤ２０１への光電荷の蓄積が開始される。

所定の時間だけ光電荷の蓄積を行った後の時刻ｔｅ２において、選択スイッチ２０６の駆動信号ｓｅｌ０＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０がＨになる。そして増幅ＭＯＳトランジスタ２０４のソースが垂直出力線に接続される。時刻ｔｅ３において、リセットスイッチ２０５の駆動信号ｒｅｓ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＬとすることでＦＤ部２０３のリセットを解除する。このリセット解除時におけるＦＤ部２０３の電位であるノイズ信号が増幅ＭＯＳトランジスタ２０４を介して垂直出力線３００ａ～ｆに読み出され、ＡＤ変換器３０１ａ～ｆに入力される。このときの、画素と垂直出力線の接続を示す概念図を図２４に示す。フレームＮｏ．静止画に示すように、１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素がそれぞれ垂直出力線３０１ａ～ｆ（垂直出力線０～５）に接続されることになる。

各画素２００の出力端子ｖｏｕｔ０にはノイズ信号が出力され、垂直出力線３００ａ～ｆには１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素のノイズ信号が出力される。
次に、時刻ｔｅ４にて、図２のＴＧ３０７ａはＡＤ変換器３０１ａ～ｆを駆動し、ＡＤ変換を開始する。ここで各垂直出力線に出力されるノイズ信号がＡＤ変換される。ＡＤ変換開始にカウンタ３０５ａがカウント値のインクリメント動作を開始する。垂直出力線３０１ａ～ｆの信号レベルとセレクタ３２６から出力されるランプ信号レベルを比較器３２７で比較し、一致した時点のカウンタ値をＬａｔｃｈ＿Ｎ３２８に格納することでＡＤ変換が行われる。
時刻ｔｅ５にて、ＡＤ変換が終了されると、ＡＤ変換器３０１ａ～ｆはそれぞれＡＤ変換されたノイズレベルを保持する。

時刻ｔｅ６にて、垂直走査回路３０３は、駆動信号ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＨとにし、１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素２００の転送ゲート２０２をオンする。そして、各画素のＰＤ２０１に蓄積されている信号電荷が増幅ＭＯＳトランジスタ２０４で構成されるソースフォロアのゲートに転送される。ソースフォロアは転送された信号電荷に応じた分だけリセットレベルから電位が変動して光信号レベルが確定する。このとき、各画素２００の出力端子ｖｏｕｔ０には光信号が出力され、垂直出力線３００ａ～ｆには１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０行目の画素の光信号が出力される。
その後、時刻ｔｅ７にて、ｔｘ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＬにし、ＰＤ２０１からの転送を完了する。

次に、時刻ｔｅ８にて、図２のＴＧ３０７ａはＡＤ変換器３０１ａ～ｆを駆動し、ＡＤ変換を開始する。ここで各垂直出力線に出力される光信号がＡＤ変換される。時刻ｔｅ９にて、ＡＤ変換が終了されると、ＡＤ変換器３０１ａ～ｆは、それぞれＡＤ変換された光信号を保持する。

その後時刻ｔｅ１０にてｒｅｓ＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０をＨとし、再びＦＤ部２０３をリセット状態とする。また、撮像素子１００の外部への被写体画像データの出力を開始する。水平走査回路３０４は水平走査を開始し、各列のＡＤ変換器３０１ａ～ｆのＮ信号とＳ信号をＳ－Ｎ演算部３０８ａへ順次転送する。Ｓ－Ｎ演算部で列毎にＳ信号からＮ信号が減算され、データ振り分け部３０９ａを経由して、データ出力部Ｂ３１１ａから被写体画像データを出力する。時刻ｔｅ１１にてｓｅｌ０＿１２ｋ＋０、１２ｋ＋２、１２ｋ＋４、１２ｋ＋６、１２ｋ＋８、１２ｋ＋１０がＬになり、その後時刻ｔｅ１２にて全列の被写体画像データの出力が終了する。
本実施例では、図２１（Ｂ）のＶＯＢ＿１領域、ＨＯＢ領域、有効画素領域に対して図２１（Ｂ）の上から順に、図２０に示す転送単位（１２行）ずつ水平転送動作を行い、各画素一度だけ読み出したデータを静止画画像データとして出力する。

次に、ステップＳ１０９時のＤＦＥ１０１の動作（図１５ 静止画フレーム）について説明する。
撮像素子１００のデータ出力部Ａ３１０ａ、データ出力Ｂ３１１ａからは静止画画像データが出力され、ＲＡＭ制御部４０４へ入力される。ＲＡＭ制御部４０４は入力された静止画画像データをＲＡＭ１１０へ順次格納する。
静止画撮影が終了すると、ステップＳ１１０に進む。
ステップＳ１１０にて、ＣＰＵ１０２は撮像素子１００に対して静止画画像データを補正するためのデータを読み出す設定を行う。ＣＰＵ１０２は図１０のＴＧ＿Ａ３４０に対して、ＶＯＢ＿０領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対して補正値生成用データを読み出す時のゲインとしてランプ信号Ｂ３２２ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ１６００で撮影するための傾きを設定する。

また、ＣＰＵ１０２は図１０のＴＧ＿Ｂ３４２に対して、ＶＯＢ＿１領域とＨＯＢ領域と有効画素領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対してＬＶ画像データを読み出す時のゲインとしてランプ信号Ａ３２１ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ１６００で撮影するための傾きを設定する。
また図２のＴＧ３０７ａに対して、ＡＤ変換器３０１ｂ、３０１ｃ、３０１ｄ、３０１ｅをオン状態、その他のＡＤ変換器（３０１ａ、３０１ｆ）はオフ状態にする設定を行う。また、ＡＤ変換器３０１ｂ、３０１ｄにはセレクタ３２６にランプ信号Ｂ３２２ａを供給する設定を行う。ＡＤ変換器３０１ｃ、３０１ｅにはセレクタ３２６にランプ信号Ａ３２１ａを供給する設定を行う。さらに、ＡＤ変換器３０１ｂ、３０１ｄにはセレクタ３４７にカウンタ値Ｂ３４６ａを選択する設定を行う。ＡＤ変換器３０１ｃ、３０１ｅにはセレクタ３４７にカウンタ値Ａ３２３ａを選択する設定を行う。また、データ出力部Ａ３１０ａ、データ出力部Ｂ３１１ａをオンにする設定を行う。

ここでは、補正値生成は静止画の補正値を生成するために行われる。従って駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定や、カウンタ値Ａ３２３ａとカウンタ値Ｂ３４６ａの動作タイミングは、ＶＯＢ＿０と（ＶＯＢ＿１、ＨＯＢ、有効画素領域）とで異なる設定を行う。なお、この限りではなく、動作タイミングが同一の設定とする構成も適用することができる。

次にステップＳ１１１にてＤＦＥの設定を行う。ここでは、静止画用補正値を生成するための設定を行う。補正値生成回路４００に補正値を生成する設定を行う。また、静止画用補正値生成のために使用するＲＡＭをＲＡＭ２（４０３ｃ）にする設定を行う。また、ＬＶ画像データを補正するための設定を行う。セレクタ４０２をａに設定し、データ出力部Ａ３１０ａからのデータのみを選択する。また、ＬＶ画像データの補正のためにＲＡＭ１（４０３ｂ）を使用する設定を行う。
次にステップＳ１１２にて、静止画用補正値生成用データの読み出しとＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図１５のフレームＮｏ．ＬＶ＿６に示す。
このときの静止画用補正値生成用データ読み出し時の撮像素子１００の動作タイミングチャートを、図１７に示す。前述した図１６の補正値生成用データ読み出し時の動作と異なるのは、駆動信号ｓｅｌ２＿０、２、４、６、８、１０をＨにする点であり、他は図１６と同様であるため説明を省略する。

このときの、画素と垂直出力線の接続を示す概念図を図２４に示す。フレームＮｏ．ＬＶ＿６に示すように、０行目の画素が垂直出力線３０１ｄ（垂直出力線３）に接続され、６行目の画素が垂直出力線３０１ｂ（垂直出力線１）に接続されることになる。それぞれ垂直出力線に出力された画素信号はＡＤ変換器にてＡＤ変換されることとなる。そしてＤＦＥ１０１で静止画用補正データが生成されてＲＡＭ２に記憶される。
また、同時にＬＶ画像データの読み出しを行う。このときのＬＶ画像データの読み出しは前述した図２３のＬＶ＿４と同様であり、図２４のＬＶ＿６のように垂直出力線２と４に出力されるため、説明を省略する。ここで読み出されたＬＶ画像データはＲＡＭ１に記憶されていた補正データにより補正される。
その後ステップＳ１１３へ進む。

ステップＳ１１３では静止画用補正値が全て生成されたか否かを判断する。ここでは、図１５ フレームＮｏ．ＬＶ６のＲＡＭ２状態に示すように、垂直出力線１と３の補正値のみ生成が完了し記憶されているので、ステップＳ１１０へ戻る（ステップＳ１１３のＮＯ）。
ステップＳ１１０にて、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データを読み出すとともにＬＶ画像を補正するためのデータを読み出す設定を行う。ＣＰＵ１０２はＴＧ＿Ａ３４０に対して、ＶＯＢ＿０領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対してＬＶ画像の補正値生成用データを読み出す時のゲインとしてランプ信号Ｂ３２２ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ１６００で撮影するための傾きを設定する。

また、ＣＰＵ１０２はＴＧ＿Ｂ３４２に対して、ＶＯＢ＿１領域とＨＯＢ領域と有効画素領域の駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定を行う。また、ランプ信号発生器３０６ａに対してＬＶ画像データを読み出す時のゲインとしてランプ信号Ａ３２ａの傾きを設定する。ここでは例として、撮影感度ＩＳＯ１６００で撮影するための傾きを設定する。
また図２のＴＧ３０７ａに対して、ＡＤ変換器３０１ｂ、３０１ｃ、３０１ｄ、３０１ｅをオン状態、その他のＡＤ変換器（３０１ａ、３０１ｆ）はオフ状態にする設定を行う。また、ＡＤ変換器３０１ｃ、３０１ｅにはセレクタ３２６にランプ信号Ａ３２１ａを供給する設定を行う。ＡＤ変換器３０１ｂ、３０１ｄにはセレクタ３２６にランプ信号Ｂ３２２ａを供給する設定を行う。さらに、ＡＤ変換器３０１ｃ、３０１ｅにはセレクタ３４７にカウンタ値Ａ３２３ａを選択する設定を行う。ＡＤ変換器３０１ｂ、３０１ｄにはセレクタ３４７にカウンタ値Ｂ３４６ａを選択する設定を行う。また、データ出力部Ａ３１０ａ、データ出力部Ｂ３１１ａをオンにする設定を行う。

ここでは、補正値生成はＬＶ画像の補正値を生成するために行われる。従って駆動信号ｒｅｓ、ｔｘ、ｓｅｌ０～２等のパルス設定や、カウンタ値Ａ３２３ａとカウンタ値Ｂ３４６ａの動作タイミングは、ＶＯＢ＿０と（ＶＯＢ＿１、ＨＯＢ、有効画素領域）とで同一となる設定を行う。
次にステップＳ１１１にてＤＦＥ１０１の設定を行う。ここでは、ＬＶ用の補正値を生成するための設定を行う。補正値生成回路４００に補正値を生成する設定を行う。また、補正値生成のためにＲＡＭ０（４０３ａ）を使用する設定を行う。また、ＬＶ画像データを補正するための設定を行う。セレクタ４０２をａに設定し、データ出力部Ａ３１０ａからのデータのみを選択する。また、補正のためにＲＡＭ１（４０３ｂ）を使用する設定を行う。また、ＲＡＭ２に格納されている静止画用の補正値（垂直出力線１、３の補正値）は保持する設定を行う。

次にステップＳ１１２にて、ＬＶ用補正値生成用データの読み出しとＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図１５のフレームＮｏ．ＬＶ＿７に示す。
このときのＬＶ用の補正値生成用データ読み出し時の撮像素子１００の動作タイミングチャートを図１７に示す。前述した図１６の補正値生成用データ読み出し時の動作と異なるのは、駆動信号ｓｅｌ２＿０、２、４、６、８、１０をＨにする点であり、他は図１６と同様であるため説明を省略する。

このときの、画素と垂直出力線の接続を示す概念図を図２５に示す。フレームＮｏ．ＬＶ＿７に示すように、０、２、４行目の画素が垂直出力線３０１ｄ（垂直出力線３）に接続され、６、８、１０行目の画素が垂直出力線３０１ｂ（垂直出力線１）に接続されることになる。同一垂直出力線に接続された画素信号は混合された状態でＡＤ変換器にてＬＶ用の補正値生成用データとしてＡＤ変換されることとなる。
また、同時にＬＶ画像データの読み出しを行う。このときのＬＶ画像データの読み出しは前述した図２２のフレームＮｏ．ＬＶ＿１と同様であり図２５のフレームＮｏ．ＬＶ＿７のように垂直出力線２、４に出力されるため、説明を省略する。
次に、ステップＳ１１２時のＤＦＥ１０１の動作（図１５ ＬＶ＿７フレーム）について説明する。

撮像素子１００のデータ出力部Ｂ３１１ａからは補正値生成用データが出力され、補正値生成回路４００に入力される。補正値生成回路４００には、垂直出力線１、３をそれぞれ経由したデータが順次入力される。補正値生成回路４００は各垂直出力線の列毎に、ＲＡＭ０（４０３ａ）へデータを一時格納しながら加算する。加算後に平均し、補正値としてＲＡＭ１（４０３ｂ）へ格納する。また、ＬＶ画像の補正については、前述したステップＳ１０５の動作と同様のため、説明を省略する。ＤＦＥ１０１で補正値の生成とＬＶ画像の補正が終了すると、ステップＳ１１３へ進む。
今回のステップＳ１１０からステップＳ１１２の動作（図１５ ＬＶ＿７フレーム）により、次のフレームでＬＶ画像を垂直出力線１、３から読み出して補正できる状態となり、垂直出力線２、４が空く。そこで次にこの垂直出力線２、４から静止画の補正値生成用データが読み出せることとなる。
その後ステップＳ１１３へ進む。
ステップＳ１１３では静止画の補正値が全て生成されたか否かを判断する。ここでは、図１５ フレームＮｏ．ＬＶ６のＲＡＭ２状態に示すように、垂直出力線１と３の補正値のみ生成が完了しているので、ステップＳ１１０へ戻る（ステップＳ１１３のＮＯ）。

この後ステップＳ１１０からステップＳ１１２の動作を繰り返し、前述した図１５ ＬＶ＿６と同様の動作により、垂直出力線２、４と垂直出力線０、５の静止画用の補正値を生成する。（図１５、図２５、図２６ ＬＶ＿８、９フレーム）
このように、被写体画像データとしての静止画像は１フレーム期間で読み出されるが、静止画用の補正値は列回路をフレーム単位で変更しながら複数フレーム期間かけて取得するようにした点に大きな特徴がある。
ステップＳ１１３では静止画の補正値が全て生成されたか否かを判断する。ここでは、図１５ フレームＮｏ．ＬＶ＿９のＲＡＭ２状態に示すように、全ての垂直出力線の補正値生成が完了しているので、ステップＳ１１４へ進む（ステップＳ１１３のＹＥＳ）。

次にステップＳ１１４にてＤＦＥの設定を行う。ここでは、静止画画像データを補正するための設定を行う。ＲＡＭ制御部４０４に、ＲＡＭ１１０から格納されている静止画データを出力する設定を行う。また、ＲＡＭ４０３に対して、補正のためにＲＡＭ２（４０３ｃ）を使用する設定を行う。
このときのＤＦＥ１０１の動作（図１５ ＬＶ＿１０フレーム）について説明する。
ＲＡＭ１１０からは静止画画像データが出力され、補正回路４０１に入力される。補正回路４０１には、垂直出力線０～５をそれぞれ経由した被写体画像データが順次入力される。補正回路４０１はＲＡＭ２（４０３ｃ）に格納されている補正値を、入力される被写体画像データの列対応が合う同期したタイミングで読出し、各垂直出力線の列毎に被写体画像データから補正値を減算して補正を行う。その後、ＣＰＵ１０２に対して被写体画像データを出力する。ＣＰＵ１０２は入力された静止画画像データを画像処理部１０７へ転送し、画像処理部１０７内で不図示の現像回路での現像を行い、記録部１０８へ静止画として記録する。
静止画補正が終了すると、ステップＳ１０３に進む。

上記動作により、動画撮影中に静止画撮影がなされた場合でも、動画撮影を中断せずに静止画用の補正値を生成し、静止画に補正を適用することができる。また動画データ、静止画データともに撮影前後に補正値を生成するため、必要な撮影条件毎、モード毎の補正値を記憶する必要がない。
なお、本実施例ではＩＳＯ感度に関連してＡＤ変換器のゲインを変更した時に、補正値を取得する構成としたが、この限りではない。内蔵アンプのゲインなどが変更された場合にも適用できる。また、ＡＤ変換のｂｉｔ数、垂直方向／水平方向の画素加算数など撮影モードが切り替わった場合なども適用することができる。即ち、静止画データを読み出す場合と動画データを読み出す場合とでＡＤ変換する際のｂｉｔ数を異ならせたり、水平方向または垂直方向の画素加算数を異ならせたりしてもよい。
また、本実施例ではオフセット補正を行う構成としたが、ゲイン補正など読み出し回路に起因する補正であれば適用可能である。
さらに、本実施例では静止画を撮影したのちに、静止画の補正値を、静止画データを取得した後に複数フレーム期間かけて取得する構成としたが、静止画データを取得する前に静止画用の補正値を生成し、静止画データの読み出し時に補正を適用する構成でもよい。

以下、図２９を参照して本発明の実施例２による撮像装置について説明する。
図２９は本発明の実施例２による撮像装置１００１の構成例を示すブロック図である。本実施例における撮像装置１００１は、撮像素子１００とは異なる構成の撮像素子５００を有する。また、実施例１で述べた撮像装置１０００と比較してＤＦＥ１０１を有せず撮像素子５００から直接ＣＰＵ１０２にデータが送信される構成である。それ以外は撮像装置１０００と同様であるため、説明を省略する。
図３０～図３３は撮像素子５００の構成を分割して示した図であり、図３０～図３３はそれぞれ撮像素子５００の回路構成の左上、左下、右上、右下の分割部分を示している。また図３０、図３１は図２、図３とそれぞれ同じ構成であり、図３２、図３３の出力部分の構成が図４、図５とは異なる。

図３２、図３３において、画像補正回路５０１ａ、５０１ｂは、Ｓ－Ｎ演算部３０８ａ、３０８ｂから出力される補正値生成用データをもとに補正値を生成し、被写体画像データを補正する。データ出力部５０２ａ、５０２ｂはＳＬＶＳ（Ｓｃａｌａｂｌｅ Ｌｏｗ Ｖｏｌｔａｇｅ Ｓｉｇｎａｌｉｎｇ）等の伝送方式であり、画像補正回路５０１ａ、５０１ｂから出力された被写体画像データは、データ出力部５０２ａ、５０２ｂから撮像素子５００の外部へ出力される。画像補正回路５０１ａ、５０１ｂ、データ出力部５０２ａ、５０２ｂ以外の構成は撮像素子１００と同様であるため、説明を省略する。
次に、図３４を用いて画像補正回路５０１の構成について説明する。

図３４にＣＰＵ１０２との接続を含めた画像補正回路５０１ａ（５０１ｂ）の構成を示す。画像補正回路５０１ａ（５０１ｂ）は撮像素子と一体に形成されており、撮像素子の光電変換用の複数画素が配置された半導体基板とは異なる層の半導体基板上に配置されている。Ｓ－Ｎ演算部３０８ａ（３０８ｂ）から入力されたデータは、補正値生成回路５０３、補正回路５０４へ入力される。ＳＳＧ（同期信号発生回路）５０５は図３０、図３１のＴＧ３０７ａ（３０７ｂ）からの不図示の制御信号をもとにして、入力データの種別とデータ数をカウントし、補正値生成回路５０３と補正回路５０４に対して、補正値生成と補正のタイミング制御を行う。
補正値生成回路５０３はＳＳＧ５０５のタイミング制御信号に基づき、入力されるデータが補正値生成用データである時に、列読み出し回路（垂直出力線、ＡＤ変換器、等）毎の補正値を生成し、ＲＡＭ５０６へ格納する。ＲＡＭ５０６は、ＲＡＭ０（５０６ａ）とＲＡＭ１（５０６ｂ）、ＲＡＭ２（５０６ｃ）を有する。ＲＡＭ０からＲＡＭ２において、各ＲＡＭに読み出しを行う画像の補正値を格納し、補正に使用する。補正に使用していないＲＡＭでは補正値生成や保持やパワーダウンがなされる。

ＲＡＭ制御部５０７は、撮像素子１００１内にあるＲＡＭ５０８へのデータ書き込みや読み出しを制御する。ＲＡＭ５０８も撮像素子と一体に形成されており、撮像素子の光電変換用の複数画素が配置された半導体基板や画像補正回路５０１ａ（５０１ｂ）の配置された半導体基板とは異なる層の半導体基板に配置されている。ＣＰＵ１０２からの設定に従い、Ｓ－Ｎ演算部３０８ａから出力される被写体画像データをＲＡＭ１１０に書き込んだり、ＲＡＭ１１０に格納される画像を読み出し、補正回路４０１へ入力したりする。
補正回路５０４は、ＳＳＧ５０５のタイミング制御信号に基づき、入力されるデータが被写体画像データである時に、列読み出し回路毎にＲＡＭ５０６から出力される補正値を被写体画像データから減算し、オフセット補正を行う。その後ＣＰＵ１０２に対してデータを出力する。

本実施例の画像補正回路５０１ａ（５０１ｂ）は、補正値生成回路５０３と補正回路５０４がＳＳＧ５０５でタイミング制御されて処理を実行する以外、実施例１で述べたＤＦＥ１０１で述べた機能と同様である。ＤＦＥ１０１では被写体画像データと補正値生成用データが撮像素子１００から分かれて入力されているが、画像補正回路５０１ａ（５０１ｂ）ではＳＳＧ５０５でデータの判別とデータ数カウントを実施している。画像補正回路５０１ａ（５０１ｂ）、補正回路５０４、ＲＡＭ５０６の動作内容は、ＤＦＥ１０１の補正値生成回路４００、補正回路４０１、ＲＡＭ４０３と同様である。

実施例２の撮像装置１００１の動作は、図１２、図１３のフローチャートの動作に対して、ＤＦＥ１０１の設定をしているステップが画像補正回路５０１ａ（５０１ｂ）の設定に変更されるのみであるため、説明を省略する。
本実施例２においても、動画撮影中に静止画撮影がなされた場合でも、動画撮影を中断せずに静止画用の補正値を生成しつつ、静止画に補正を適用することができる。
更に、実施例２では、撮像素子外に補正値を生成するためのデータを出力する必要がないため、撮像素子のデータ出力インターフェース（Ｉ／Ｆ）に関して被写体画像データ出力レートを圧迫することがない。また、撮像素子外へ出力する場合と比べて出力Ｉ／Ｆをパワーダウンできるので、消費電力を低減することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明における制御の一部または全部を、上述した実施例の機能を実現するプログラム（ソフトウェア）としてネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１０００、１００１ 撮像装置
１０１ ＤＦＥ
２０６ａ～ｃ 画素選択スイッチ
３００ａ～ｇ 垂直出力線
３０１ａ～ｇ ＡＤ変換器

Claims (20)

1. 光電変換素子を含む複数の画素及び複数の列回路を有する撮像素子と、
   前記複数の列回路を使用して前記複数の画素のデータを読み出す読出し手段と、
   前記読出し手段による読出しに使用する列回路を変更する列回路接続変更手段と、を有し、
   前記列回路接続変更手段により接続される列回路をフレーム単位で変更しながら、複数フレーム期間かけて各列回路の特性を示すデータを読出して前記複数の列回路の補正データを取得する補正データ生成手段と、を有することを特徴とする撮像装置。
2. 前記読出し手段は前記複数の列回路を使用して被写体画像データを１フレーム期間に読み出すとともに、前記補正データ生成手段によって複数フレーム期間かけて取得された補正データを用いて前記被写体画像データを補正する補正手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記読出し手段によって読出された被写体画像データをメモリに一旦記憶し、
   前記補正データ生成手段によって複数フレーム期間かけて取得された前記補正データを用いて前記被写体画像データを補正することを特徴とする請求項２に記載の撮像装置。
4. 前記補正データ生成手段は、前記被写体画像データ読み出しより後に前記補正データを生成することを特徴とする請求項２または３に記載の撮像装置。
5. 前記補正データ生成手段は、前記被写体画像データ読み出しより前に前記補正データを生成することを特徴とする請求項２または３に記載の撮像装置。
6. 前記読出し手段は、動画データを読み出す場合と静止画データを読み出す場合とで、画像データをＡＤ変換する際のｂｉｔ数を異ならせることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記読出し手段は、動画データを読み出す場合と静止画データを読み出す場合とで、垂直方向の画素加算数を異ならせることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記読出し手段は、動画データを読み出す場合と静止画データを読み出す場合とで、水平方向の画素加算数を異ならせることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
9. 前記読出し手段は、被写体画像データを読み出す動作と列回路の特性を示すデータを読み出す動作を、異なる列回路を用いて行うモードを有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記読出し手段は、被写体画像データを読み出す動作と列回路の特性を示すデータを読み出す動作を、同一の動作タイミングで制御することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
11. 前記読出し手段は、被写体画像データを読み出す動作と列回路の特性を示すデータを読み出す動作を、異なる動作タイミングで制御することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
12. 前記読出し手段は、被写体画像データを読み出す動作と列回路の特性を示すデータを読み出す動作を、重複した期間に行うよう制御することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
13. 前記読出し手段は、被写体画像データを読み出す動作と列回路の特性を示すデータを読み出す動作の少なくともいずれかにおいて、読み出しに使用していない列回路のための一部の回路への給電をオフすることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記読出し手段は、被写体画像データを読み出す場合と列回路の特性を示すデータを読み出す場合とで、異なるデータ出力手段から出力することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記読出し手段は、前記静止画データを読み出す場合に、前記動画データを読み出す場合に使用する列回路よりも多い数の列回路を使用して画像データを読み出すことを特徴とする請求項７に記載の撮像装置。
16. 前記補正データ生成手段は、前記撮像素子と一体に構成されることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 前記列回路の特性を示すデータを読み出す場合に、遮光された画素からの信号を読み出すことを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
18. 前記列回路接続変更手段は各画素の出力を複数の垂直出力線のいずれかに選択的に接続する選択スイッチを含むことを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
19. 請求項１から１８のうちいずれか一項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
20. 請求項１９に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
    
    

Images