JP5127510B2 - 撮像装置、及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置、及び撮像装置の制御方法に関する。

近年、ＣＣＤやＣＭＯＳセンサー等の撮像装置を使用したデジタルカメラやビデオカメラ等の撮像システムが普及している。撮像システムは、複数の画素が行方向及び列方向に配列された画素配列と、画素配列の各列の画素に接続された複数の出力線とを有している。画素配列の各画素は、受けた光に応じて信号を蓄積する。各画素で蓄積された信号は、出力線を介して読み出される。ここで、各画素で蓄積された信号には、出力線の抵抗成分や容量成分などにより、出力線（垂直出力線、水平出力線）を介して読み出される過程でシェーディングが発生する。このシェーディングは、信号が読み出される経路の長さに依存する。

特許文献１に示された画像処理装置では、予め撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行った後に読み出したダーク画像のデータを記憶しておく。そして、撮像素子を露光した状態で電荷蓄積を行った後に読み出した本撮影画像から記憶しておいたダーク画像のデータを除去する。これにより、シェーディングやノイズを補正した場合でも、シャッタレリーズタイムラグを軽減できるとされている。（特許文献１の段落［０００４］、［０００５］など参照）。また、温度特性に応じてシェーディングやノイズの成分も変化してしまうことも記載されている。そして、この課題を解決するために、画像を得る際に一部の画素からダーク画像を出力して、このダーク画像を用いて予め記憶されたデータを補正して、シェーディングやノイズを補正することが記載されている。（特許文献１の段落［００６９］〜［００７２］、図７など参照）。

また、特許文献２に示された撮像装置では、撮影時のＩＳＯ感度やシャッター秒時等の撮影条件、周囲温度等の環境条件に応じて、補正を切り替える。具体的には、ダーク画像の取り込みを行ってこれを基に撮影画像のシェーディング成分を補正するか、予め記憶された１次元補正データにより撮影画像のシェーディング成分を補正するかを切り替える。これにより、シェーディングを補正した場合でも、シャッタレリーズタイムラグが大きくなることを極力減らすことが記載されている。（特許文献２の段落［００７２］〜［００９４］、図４、図５など参照）。
特開２００３−２６４７３６号公報 特開２００３−３３３４３４号公報

撮像装置は、撮像した動画を連続的に表示するＥＶＦモードや、撮像した動画を記録する動画撮影モードなどのように、動画を撮像する動作を伴う動作モードで使用されることがある。撮像装置では、動画を撮像する動作を伴う動作モードで使用される際に、フレーム期間を所定の長さ以下に抑えることにより、所定のフレームレートを実現することが要求される。撮像システムでは、フレーム期間を所定の長さ以下に抑えると、シェーディングが時間的に変動する場合に、シェーディングの補正の精度が低下する可能性がある。

特許文献１に示された画像処理装置は、予め記憶されたダーク画像のデータを用いて補正を行うので、本撮影の際の環境温度にあわせて記憶されたダーク画像のデータを変更して補正を行ったとしても、精度の高い補正結果が得られるとは限らなかった。

また、特許文献２に示された撮像装置は、撮影条件や環境条件が変化した際には、毎回ダーク画像の取り込みをすることになるので、シャッタレリーズタイムラグの原因となってしまうことがあった。また、撮影条件や環境条件が変化しなかった際には、予め記憶された１次元補正データを用いた画像の補正を行うため精度の高い補正結果が得られるとは限らなかった。

本発明の目的は、操作感を損なうことなく、画質の向上も図ることにある。

このような課題を解決するために、本発明の技術的特徴として、光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列と、各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出し手段と、前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出し手段と、前記第２の読み出し手段により読み出した信号を補間することにより、１フレーム分の第２の画像信号を生成する生成手段と、前記第１の読み出し手段により読み出した第１の画像信号を前記生成手段により生成された前記１フレーム分の第２の画像信号を用いて補正する補正手段とを備え、前記第１の読み出し手段が、複数のフレームにおいて前記第１の画像信号を読み出して動画を得た後に前記第１の画像信号を読み出して静止画を得、前記第２の読み出し手段は、各フレームにおいて異なる部分領域から信号を間引いて読み出し、前記補正手段は、前記第１の読み出し手段により得られた前記静止画を前記１フレーム分の第２の画像信号を用いて補正することを特徴とする。

また、他の技術的特徴として、光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列を有する撮像装置の制御方法が、各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出しステップと、前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出しステップと、前記第２の読み出しステップで読み出した信号を補間することにより、１フレーム分の第２の画像信号を生成する生成ステップと、前記第１の読み出しステップで読み出した前記第１の画像信号を前記生成ステップで生成された前記１フレーム分の第２の画像信号を用いて補正する補正ステップとを備え、前記第１の読み出しステップでは、複数のフレームにおいて前記第１の画像信号を読み出して動画を得た後に前記第１の画像信号を読み出して静止画を得、前記第２の読み出しステップでは、各フレームにおいて異なる部分領域から信号を間引いて読み出し、前記補正ステップでは、前記第１の読み出しステップで得られた前記静止画を前記１フレーム分の第２の画像信号を用いて補正することを特徴とする。

本発明によれば、操作感を損なうことなく、画質の向上も図ることができる。

以下、図面を参照しながら本発明の一実施形態を説明する。
（第１の実施形態）
図１は本発明における撮像装置１００の全体構成を示すブロック図である。図において、１１０は撮影レンズである。撮影レンズには不図示のモーターと、後述する測距部１４２の処理結果に応じて、モーターを駆動し焦点を合わせる機構が備えられている。

１１１は撮影レンズ１１０からの情報をシステム制御部１５０に伝達するとともに、撮影レンズ１１０を駆動させるレンズ駆動部である。レンズ駆動部１１１は制御信号発生部を含んでおり、撮影レンズ１１０の焦点調整動作等のモーター駆動は、制御信号発生部で得られるパルス信号によって行なわれる。

１１４は光学像を電気信号に変換するＣＭＯＳ撮像素子などの撮像素子である。本実施の形態では撮像素子として、ＣＭＯＳ撮像素子を用いることとする。撮像素子１１４の内部構成は図２にて後述する。また、１１２は撮像素子１１４の露光量を制御するシャッターである。シャッター１１２は、メカニカルなシャッターでも、電気的に遮光することの出来る液晶シャッター等でも問題はない。

１１５は撮影レンズ１１０を透過してきた光の余分な波長（色再現に影響する不要となる波長）をカットするためのローパスフィルタＬＰＦであり、撮影レンズ１１０と撮像素子１１４との間に配設されている。

１１６は撮像素子１１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器や、クランプ部（オフセット調整部）、Ｄ／Ａ変換器を含んだアナログ・フロント・エンド部（以後、ＡＦＥと称する）である。１１７は各画素からＡＦＥ１１６を介したデジタル出力を受けて補正や並び替え等のデジタル処理を行うデジタル・フロント・エンド部（以後、ＤＦＥと称する）である。

１１８は撮像素子１１４、ＡＦＥ１１６、ＤＦＥ１１７にクロック信号や制御信号を供給するタイミング生成部（以後、ＴＧと称する）であり、システム制御部１５０によって制御される。ＴＧ１１８は、細かくは、複数系統の制御信号ＴＧｓｉｇ１やＴＧｓｉｇ２を発生するＴＧ１ １１８−１およびＴＧ２ １１８−２を備えている。このＴＧ１１８は、ＥＶＦ表示時には、撮像素子１１４の表示行と観測行に対して、信号（ＴＧｓｉｇ１とＴＧｓｉｇ２と）を送ることができるものである。（ＴＧｓｉｇ１とＴＧｓｉｇ２とは非同期でも同期でもよい。）
１２０は画像処理部であり、ＤＦＥ１１７からのデータあるいはメモリ制御部１２２からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理部１２０は必要に応じて撮像した画像データを用いて所定の演算処理を行う。

１２２はメモリ制御部であり、ＡＦＥ１１６、ＤＦＥ１１７、タイミング生成部１１８、画像処理部１２０、画像表示メモリ１２４、メモリ１３０を制御する。ＤＦＥ１１７からのデータは、画像処理部１２０およびメモリ制御部１２２を介して、あるいは直接、メモリ制御部１２２を介して画像表示メモリ１２４あるいはメモリ１３０に書き込まれる。画像処理部１２０において、撮像素子１１４から出力される電荷信号に対し、後述するメモリ１５２に格納された補正データ等を元に補正をかけて、各出力信号をカラー変換等の現像処理を行って画像化するものである。

また、本発明の実施の形態における画像処理部１２０には、データ演算ブロック１２０−１を備え、画像から、焦点検出・明るさ検出を行うことができる。さらに、データ演算ブロック１２０−１で検出したデータから、システム制御部１５０を介して、レンズ駆動部１１１への制御情報を送り、撮影レンズ１１０の焦点調節動作を行うことができる。

１２４は画像表示メモリである。１２８はＴＦＴ方式のＬＣＤからなる画像表示部である。ＥＶＦ動作時は、画像表示部１２８上に連続的に画像が表示（動画像が表示）され、被写体の動きを確認することができる。

１３０は撮影された静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。

１４０はシャッター１１２を制御するシャッター制御部である。１４２はＡＦ（オートフォーカス）処理を行うための測距部、１４４は撮影環境における周囲温度やカメラ内部（撮像素子周辺等）の温度を検知するための温度計、１４６はＡＥ（自動露出）処理を行うための測光部である。

測光部１４６はフラッシュ部１４８と連携することにより、フラッシュ撮影機能も有する。また、１４８は暗時の撮影に使用するフラッシュ部（以後、ストロボと称する）であり、ＡＦ補助光の投光機能等も兼ねている。

１５０は撮像装置全体を制御するシステム制御部であり、ＣＰＵなどを内蔵する。１５２はシステム制御部１５０の動作用の定数、変数、プログラムなどを記憶するメモリであり、予め設定されているシェーディング補正データ等はメモリ１５２に格納されている。後述する連続撮像（動画）動作時のデータ取得領域からのデータもメモリ１５２に順次保存する。

１５６は後述するプログラムなどが格納された電気的に消去・記録可能なＥＥＰＲＯＭ等の不揮発性メモリである。

１６０はシステム制御部１５０の各種動作指示を入力するためのメインスイッチ（起動スイッチ）、シャッタースイッチ、撮影モード等の切り替えを行う為のモード設定ダイアル等を含んだ操作部である。これら操作部には、押し込むことで２つのスイッチ（ＳＷ１、ＳＷ２）が段階的にＯＮするシャッタースイッチも含まれる。シャッタースイッチの第一段階（ＳＷ１ ＯＮ）ではＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理などの動作が行われる。第二段階（ＳＷ２ ＯＮ）では、露光処理や画像処理部１２０やメモリ制御部１２２での演算による現像処理をし、メモリ１３０から画像データを読み出し、圧縮を行い、記録媒体１２００に画像データを書き込む記録処理をする一連の処理の動作開始を行わせる。なお、ここでいう露光処理とは、撮像素子１１４から読み出した信号をＡＦＥ１１６、メモリ制御部１２２を介してメモリ１３０に画像データを書き込む処理である。

また、操作部１６０には、画像表示部１２８に被写体を連続的に表示するＥＶＦ動作スイッチが含まれる。また、各種撮影モード（自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、夜景撮影モード、天体撮影モード、ポートレート撮影モード等）の切り替えを行うモード設定ダイアルが含まれる。また、単写／連写を切り替える単写／連写スイッチが含まれる。また、連続的にＡＦ処理・レンズの焦点合わせ動作を繰り返す連続測距動作設定スイッチ（通常は１回だけの測距動作）、撮影感度（ＩＳＯ感度）を設定するＩＳＯ感度設定スイッチ、各種システムに電源供給するための電源スイッチ等が含まれている。

１８２は電池検出部やＤＣ−ＤＣコンバータ等から構成されている電源制御部、１８６はアルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、ＡＣアダプタなどからなる電源部である。

１２００はメモリカードやハードディスクなどの着脱可能な記録媒体である。

次に、撮像素子１１４について、図２を用いて説明する。図２は、撮像素子１１４の構成図である。

撮像素子１１４は、画素配列ＰＡ、画素を選択するための垂直走査回路７７ａ、７７ｂ、水平走査回路７６ａ、７６ｂ、第１の読み出し部７１、及び第２の読み出し部７２を備える。

画素配列ＰＡは、マトリックス上に配置〔画素６０（１−１）乃至６０（ｎ−ｍ）〕された複数の単位画素（１画素）６０を含む。各単位画素６０は、後述の光電変換部を含む。すなわち、画素配列ＰＡは、複数の画素が行方向及び列方向に配列されている。各画素の電荷蓄積動作は、垂直走査回路７７ａ乃至７７ｂからの信号により制御される。

垂直走査回路７７ａ及び７７ｂは、タイミング生成部１１８より、それぞれ、第１の駆動信号ＴＧｓｉｇ１及び第２の駆動信号ＴＧｓｉｇ２を受け取る。

垂直走査回路７７ａは、第１の駆動信号ＴＧｓｉｇ１に基づいて、画素配列ＰＡの各行の画素に転送信号φＴＸ及びリセット信号φＲＥＳを供給する。これにより、垂直走査回路７７ａは、画素配列ＰＡの各画素の電荷蓄積時間を制御する。垂直走査回路７７ａは、第１の駆動信号ＴＧｓｉｇ１に基づいて、画素配列ＰＡの各行の画素に選択信号φＳＥＬを供給する。これにより、垂直走査回路７７ａは、画素配列ＰＡにおいて第１の読み出し部７１が読み出すべき領域を選択する。

垂直走査回路７７ｂは、第２の駆動信号ＴＧｓｉｇ２に基づいて、画素配列ＰＡの各行の画素に転送信号φＴＸ及びリセット信号φＲＥＳを供給する。これにより、垂直走査回路７７ｂは、画素配列ＰＡの各画素の電荷蓄積時間を制御する。垂直走査回路７７ｂは、第２の駆動信号ＴＧｓｉｇ２に基づいて、画素配列ＰＡの各行の画素に選択信号φＳＥＬを供給する。これにより、垂直走査回路７７ｂは、画素配列ＰＡにおいて第２の読み出し部７２が読み出すべき部分領域（画素配列の一部）を選択する。

各水平信号線に垂直走査回路７７ａもしくは７７ｂのいずれの信号を制御信号として使用するかを設定するのが、スイッチ群ＳＷｔ＿ｘ＿１、ＳＷｒ＿ｘ＿１、ＳＷｓ＿ｘ＿１もしくはＳＷｔ＿ｘ＿２、ＳＷｒ＿ｘ＿２、ＳＷｓ＿ｘ＿２である。

すなわち、スイッチ群ＳＷｔ＿ｘ＿１、ＳＷｒ＿ｘ＿１、ＳＷｓ＿ｘ＿１がＯＮしている場合はＳＷｔ＿ｘ＿２、ＳＷｒ＿ｘ＿２、ＳＷｓ＿ｘ＿２がＯＦＦ状態となる。これにより、垂直走査回路７７ａは、第１の駆動信号ＴＧｓｉｇ１に基づいて、φＴＸ、φＲＥＳ、φＳＥＬなどの信号を各水平信号線経由で各行の画素に供給する。

また、スイッチ群ＳＷｔ＿ｘ＿２、ＳＷｒ＿ｘ＿２、ＳＷｓ＿ｘ＿がＯＮしている場合は２ＳＷｔ＿ｘ＿１、ＳＷｒ＿ｘ＿１、ＳＷｓ＿ｘ＿１がＯＦＦ状態となる。これにより、垂直走査回路７７ｂは、第２の駆動信号ＴＧｓｉｇ２に基づいて、φＴＸ、φＲＥＳ、φＳＥＬなどの信号を各水平信号線経由で各行の画素に供給する。

なお、このスイッチ群ＳＷｔ＿ｘ＿１、ＳＷｒ＿ｘ＿１、ＳＷｓ＿ｘ＿１もしくはＳＷｔ＿ｘ＿２、ＳＷｒ＿ｘ＿２、ＳＷｓ＿ｘ＿２は、（不図示であるが、）このシステム制御部１５０からの通信によってＯＮ／ＯＦＦ設定される。ＳＷｔ＿ｘ＿１、ＳＷｒ＿ｘ＿１、ＳＷｓ＿ｘ＿１及びＳＷｔ＿ｘ＿２、ＳＷｒ＿ｘ＿２、ＳＷｓ＿ｘ＿２は、いずれか一方しかＯＮしない構成となっている。

ここで、垂直走査回路７７ｂは、それぞれ、シフトレジスタを含む。垂直走査回路７７ｂは、第１の読み出し部７１が読み出すべき領域と第２の読み出し部７２が読み出すべき部分領域とを連続して選択するとともに、それぞれを行単位で順次に選択するように、協働して動作する。

水平走査回路７６ａ及び７６ｂは、いずれも、タイミング生成部１１８より第１の駆動信号ＴＧｓｉｇ１及び第２の駆動信号ＴＧｓｉｇ２を受け取る。水平走査回路７６ａ、６７ｂは、第１の駆動信号ＴＧｓｉｇ１に基づいて、画素配列ＰＡの各列の画素から後述する第１の垂直出力線６７（ｉ＿ａ）（ｉは自然数）へ出力された信号を、後述する第１の読み出し部７１へ読み出す。また、水平走査回路７６ａ、６７ｂは、第２の駆動信号ＴＧｓｉｇ２に基づいて、画素配列ＰＡの各列の画素から後述する第２の垂直出力線６７（ｉ＿ｂ）（ｉは自然数）へ出力された信号を、後述する第２の読み出し部７２へ読み出す。

ここで、垂直出力線６７は、第１の垂直出力線６７（ｉ＿ａ）（ｉは自然数）及び第２の垂直出力線６７（ｉ＿ｂ）（ｉは自然数）を含む。第１の垂直出力線６７（ｉ＿ａ）は、第２の垂直出力線６７（ｉ＿ｂ）と並行して延びており、長さがほぼ等しい。

第１の読み出し部７１は、水平走査回路７６ａ、７６ｂを介して第１の駆動信号ＴＧｓｉｇ１により駆動され、各フレーム期間に、画素配列ＰＡから第１の画像信号を読み出す（第１の読み出しステップ）。具体的には、第１の読み出し部７１は、Ｓ−Ｎ回路７５（ｉ＿１）（ｉは自然数）と出力アンプ７４−１、７４−２とを含む。Ｓ−Ｎ回路７５（ｉ＿１）は、水平走査回路７６ａ、７６ｂにより第１の駆動信号ＴＧｓｉｇ１に基づいて駆動されて、所定の画素から第１の垂直出力線６７（ｉ＿ａ）へ異なるタイミングでＮ信号とＳ信号とを読み出す。Ｓ−Ｎ回路７５（ｉ＿１）は、Ｎ信号とＳ信号との差分を演算して第１の画像信号を求め、求めた第１の画像信号を出力アンプ７４−１、７４−２へ供給する。出力アンプ７４−１、７４−２は、Ｓ−Ｎ回路７５（ｉ＿１）から供給された第１の画像信号を増幅して後段へ出力する。

第２の読み出し部７２は、水平走査回路７６ａ、７６ｂを介して第２の駆動信号ＴＧｓｉｇ２により駆動される。第２の読み出し部７２は、各画素からノイズ信号が読み出される状態において、画素配列ＰＡがＮ（Ｎは自然数）個に分割されたＮ個の部分領域のうちフレーム期間単位で順次に選択された部分領域から第２の画像信号を読み出す（第２の読み出しステップ）。具体的には、第２の読み出し部７２は、Ｓ−Ｎ回路７５（ｉ＿２）（ｉは自然数）と出力アンプ７４−３、７４−４とを含む。Ｓ−Ｎ回路７５（ｉ＿２）は、水平走査回路７６ａ、７６ｂにより第２の駆動信号ＴＧｓｉｇ２に基づいて駆動されて、所定の画素から第２の垂直出力線６７（ｉ＿ｂ）へ異なるタイミングでＮ信号とＳ信号とを読み出す。Ｓ−Ｎ回路７５（ｉ＿２）は、Ｎ信号とＳ信号との差分を演算して第２の画像信号を求め、求めた第２の画像信号を出力アンプ７４−３、７４−４へ供給する。出力アンプ７４−３、７４−４は、Ｓ−Ｎ回路７５（ｉ＿２）から供給された第２の画像信号を増幅して後段へ出力する。

なお、Ｓ−Ｎ回路７５（ｋ＿１）及びＳ−Ｎ回路７５（ｋ＿２）（ｋは奇数）は、Ｓ−Ｎ回路ブロック７５ａを構成する。Ｓ−Ｎ回路７５（ｈ＿１）及びＳ−Ｎ回路７５（ｈ＿２）（ｈは偶数）は、Ｓ−Ｎ回路ブロック７５ｂを構成する。

次に、画素配列ＰＡにおける単位画素６０について、図３を用いて説明する。図３は、画素配列ＰＡにおける単位画素６０の回路構成図である。

６１は、光電変換部である。光電変換部６１は、光電変換を行って、被写体の光学像に応じた電荷（画像信号）を蓄積する電荷蓄積動作を行う。光電変換部６１は、例えば、フォトダイオード（ＰＤ）である。

６２は、転送スイッチ（ＴＸ）である。転送スイッチ６２は、例えば、トランジスタであり、そのゲートに供給されるφＴＸがアクティブになったタイミングでＯＮして光電変換部６１が蓄積した電荷（画像信号）を後述のＦＤ６４に転送する。

６４は、フローティングディフージョン（以下ＦＤと称する）である。ＦＤ６４は、等価的にコンデンサとして機能する。ＦＤ６４は、ＰＤ６１で蓄積され転送スイッチ６２経由で転送された電荷を保持するとともに、その電荷の電荷量に応じた電圧（信号）を発生させる。

６５は、アンプである。アンプ６５は、例えば、ソースフォロワとして動作し、ＦＤ６４が保持する電荷に応じた電圧を増幅して後述する垂直出力線６７へ出力する。ＦＤ６４は、アンプ６５の入力部として機能している。

６６は、行選択スイッチである。行選択スイッチ６６は、例えば、トランジスタであり、そのゲートに供給されるφＳＥＬがアクティブになったタイミングでＯＮしてアンプ６５が増幅した電圧（信号）を後述の垂直出力線６７に出力させる。

６７は、上述した垂直出力線である。垂直出力線６７は、アンプ６５から出力された信号（電圧）を第１の読み出し部７１又は第２の読み出し部７２へ供給する。

６３は、リセットスイッチである。リセットスイッチ６３は、ＦＤ６４をリセットする。リセットスイッチ６３は、例えば、トランジスタであり、そのゲートに供給されるφＲＥＳがアクティブになったタイミングでＯＮしてＦＤ６４の電位をリセットレベルの電位にする。

図４は、図２の撮像素子の電子ビューファインダー等の動画（連続撮像）動作時の動きであるローリング蓄積動作の基本動作タイミングである。（ａ）は第１の読み出し部７１による第１の画像信号の出力動作、（ｂ）は第２の読み出し部７２によるデータ取得時の出力動作である（第２の画像信号の出力）。

まず、（ａ）の動作から説明する。最初に、Ｔ０のタイミングで画素部のリセットを開始する。Ｔ０でΦＲＥＳａ（ｎ）乃至ΦＴＸａ（ｎ）をアクティブにする。この状態は、ＰＤ６１およびＦＤ６４をリセットした状態とする。続いて、Ｔ１でΦＴＸａ（ｎ）およびΦＲＥＳａ（ｎ）をオフする。この段階でＰＤ６１への電荷蓄積動作が開始される。次に、読み出し直前のＴ２でΦＲＥＳａ（ｎ）をアクティブにし、Ｔ３でΦＲＥＳａ（ｎ）をオフする。すなわち、Ｔ２−Ｔ３間で、蓄積動作中にＦＤ６４にたまった暗電流電荷をリセットした状態とする。

続いて、Ｔ４でΦＳＥＬａ（ｎ）をアクティブにして、ＦＤ６４の出力を垂直出力線６７へ転送しはじめる。

次に、Ｔ５−Ｔ６間でΦＰＴＮ（ｎ）をアクティブにし、ＦＤ６４の電位をＳ−Ｎ回路７５へノイズ成分を読み出す。すなわち、光信号のないリセット状態での読み込みとなる。

次に、Ｔ７−Ｔ８間でΦＴＸａ（ｎ）をアクティブにし、フォトダイオード６１に蓄積された電荷をＦＤ６４へ転送を行う。すなわち、Ｔ１−Ｔ８間が撮像装置としての露光期間（電荷蓄積期間）となる。

続いて、Ｔ８−Ｔ９間でΦＰＴＳ（ｎ）をアクティブにし、ＦＤ６４の電位をＳ−Ｎ回路７５へ信号成分を読み出す。すなわち、フォトダイオード６１で蓄積され、ＦＤ６４へ転送された光信号の読み込みとなる。

Ｔ１０でΦＳＥＬａ（ｎ）をオフすると同時に、水平走査回路７６から、Ｓ−Ｎ回路７５に対しての制御信号が送られる。そして、Ｓ−Ｎ回路７５で光の蓄積電荷からＦＤ６４リセット状態のノイズ分出力を差分した信号を、出力アンプ７４へ向けて読み出す動作を順次開始する。

以上が第１の出力に対する水平方向一列分の蓄積−読み出し動作の一例であり、同様に、次の対象行がΦＲＥＳａ（ｎ＋１）、ΦＴＸａ（ｎ＋１）、ΦＳＥＬａ（ｎ＋１）、ΦＰＴＮ（ｎ＋１）、ΦＰＴＳ（ｎ＋１）のように行なわれる。

続いて、（ｂ）の動作を説明する。基本的にΦＴＸｂ（ｎ）の動作以外は（ａ）と同様の動き（ΦＲＥＳａ（ｎ）＝ΦＲＥＳｂ（ｎ）、ΦＳＥＬａ（ｎ）＝ΦＳＥＬｂ（ｎ））となる。異なる部分は、Ｔ７−Ｔ８間でΦＴＸｂ（ｎ）をアクティブにしない点で、フォトダイオード６１に蓄積された電荷はＦＤ６４へ転送されない。

その為、Ｔ８−Ｔ９間でΦＰＴＳ（ｎ）をアクティブにし、ＦＤ６４の電位をＳ−Ｎ回路７５へ読み出す信号は、光信号（フォトダイオード６１に蓄積された電荷）ではなく、リセット電位にあるＦＤ６４の電荷となる。

すなわち、（ｂ）の動作ではフォトダイオード６１の光出力は出されていない、回路系のノイズ成分のみの出力となる光出力のない出力モードである。

以上が第２の出力に対する水平方向一列分の読み出し動作の一例であり、同様に、次の対象行がΦＲＥＳｂ（ｎ＋１）、ΦＴＸｂ（ｎ＋１）、ΦＳＥＬｂ（ｎ＋１）のように行なわれる。

なお、本動作はＴＧｓｉｇ１もしくはＴＧｓｉｇ２の各々を基準にした個別の動作を同時に行うことも可能である。

図５（ａ）は、１画面を４分割して、４つのデータ読み出しエリアを設けた際の画面内の分割状態を示している。また、図５（ｂ）は、図４で詳細に説明したＣＭＯＳ撮像素子の動作を簡略化したタイミングチャートである。

１行毎の第１の出力（画像出力）を得るためのリセット−蓄積−転送−読み出しを行い垂直走査回路７７ａ・Ｓ−Ｎ回路７５・水平走査回路７６を用いて出力し、１フレーム分の読み出しを行う。その後、次フレームの第１の出力（画像出力）取得開始までの時間として、撮像装置のシステムとして安定した連続動作をするために事前に定められたフレームレート（例えば３０ｆｐｓ等）で動作するための調整時間がある。フレームレート調整時間（フレームレート調整用の期間）を用いて、第２の出力（データ出力）を得る。第２の出力は、図４（ｂ）で説明したように、光出力のない（ノイズレベルの）出力となる。

フレームレート調整時間内では、１フレーム分のデータを得ることはできない。しかし、予め、フレームレート調整時間内で取得できるデータ数（例えば、図５（ａ）のように画面を４分割したデータ読出しエリア）を設定しておく。そして、垂直走査回路７７ｂに備えるシフトレジスタで順次出力していき、１フレームでの所定領域（例えば、図５（ａ）のデータ読出しエリア１）の出力をした後、出力完了したポイント（領域）をラッチする。次フレームでのフレームレート調整時間では、前フレームで出力したポイント（領域）〔＝ラッチポイント〕から続きの領域を走査（例えば、図５（ａ）のデータ読出しエリア２）して第２の出力を得る。

以上の動きにより、第１の出力（画像出力）が数フレームを出力する間に、第２の出力（データ出力）が１フレーム分のデータを出力し、メモリ１５２に記憶される。

すなわち、本実施形態では、第１の出力の所定条件（第１の出力が１フレーム出力毎）毎に第２の出力を行っているものである。

図６はメモリ１５２に記憶された１フレーム分のデータ出力の処理に関する概略説明図であり、（ａ）はメモリ１５２に記憶された１フレーム分のデータであり、第１の出力の数フレームにまたがり取得した出力である。データは、１フレーム内でもサンプリングタイミングが同じではない為、外来ノイズ・ランダムノイズ等の影響の受け方が異なる。その為、単純にデータ合成を１フレーム分の補正データとしても、適正な補正とするのは難しい。

そこで、メモリ１５２に記憶されデータ合成した１フレーム分のデータに対して平坦化処理を行って、（ｂ）のような補正用のデータを作成する。平坦化処理とは、例えば、周辺画素との移動平均でも、ローパスフィルタ処理でも、メディアンフィルタ処理であっても何ら問題ない。また、平坦化処理については、電気回路によるハード処理でも、プログラムによるソフト処理でも何ら問題はない。平坦化には分割データ間で発生しているオフセット量も演算で除去する。

なお、図６（ｂ）の補正データは、第１の撮影モードである動画動作時に取得され、第１の動作モードでの画像サイズで補正用データを作成している。このため、その補正データは、第１の撮影モードでの撮影で、次フレームからの第１の出力（画像出力）に対しての補正データとして使用できる。

また、図６（ｂ）は、第１の撮影モードである動画（連続撮影）動作に用いる補正用データについて説明した。しかし、本動作では動画であるために速度重視となり、通常、画素の間引きや加算が行なわれているため、第２の撮影モードである静止画等の通常動作との画像とはデータが不足しており、サイズが異なってしまう。

その為、第２の撮影モード用には、図６（ｃ）のように図６（ｂ）の補正データに対してデータ不足領域（例えば、間引き領域）の補間処理を行い、第２の撮影モードの画像サイズに併せたサイズに補正データに変換する。

第２の撮影モード補正用データは、次の第２の撮影モードでの補正データとして使用してよい。

なお、ここで説明した補正用データは予め記憶された補正データを使用しなくてもよいが、予め記憶された補正データによる補正をしたうえで補正ずれ分をリアルタイムで取得して補正する方法でも何ら問題ない。

また、補正用データの使用については必ずしも使用を限定されるものではない。例えば、第２の撮影モードでは使用しない、第１の撮影モードでも、外部の温度検知手段の検知結果によって、リアルタイムで取得した補正用データを使用しない（温度検知結果によって補正用データの使用を切り替える）等でも何ら問題ない。

さらに、補正の手法としては、周知の本画像と黒画像の差分をとる方式でよい。（周知の手法であるため、詳細説明は割愛する。）
加えて、第２の出力から補正用データを作成するタイミングについては、常にデータを取得して、最新補正データにて補正していってもよい。所定のタイミング（例えば、ＥＶＦ動作開始時）や所定の間隔（例えば１ｍｉｎ毎）でのサンプリングで更新しても何ら問題はない。
（第２の実施形態）
次に、第２の実施形態に係る画素配列の各行の画素の動作タイミングを概念的に示す図である。以下では、第１の実施形態と異なる部分を中心に説明し、同様の部分の説明を省略する。

第２の実施形態では、撮像素子１１４の動作が、図７に示すように、第１の実施形態と異なる。図７では、第１の画像信号に対する読み出し行のタイミング動作と、第２の画像信号に対する読み出し行のタイミング動作とが両方とも図示されている。

垂直走査回路７７ｂは、フレーム期間ＦＴ１において、選択信号φＳＥＬをアクティブにすることにより、ｎ個の部分領域のうちの１つの部分領域を選択する。部分領域は、画素配列ＰＡから複数の読み出し領域（読み出し行）を除いた第１の画像信号に対する複数の非読み出し領域（第１の画像信号に対する非読み出し行）がｎ個に分割された領域である。垂直走査回路７７ｂは、選択した部分領域ＲＲ１を、第２の読み出し部７２が読み出すべき部分領域とする。これに応じて、部分領域ＲＲ１おける第１の画像信号に対する非読み出し行の画素は、ノイズ信号のみが読み出される状態において、第２の読み出し動作を順次に行う。第２の読み出し部７２は、フレーム期間ＦＴ１において、部分領域における第１の画像信号に対する非読み出し行から複数の出力線経由で第２の画像信号を順次に読み出す。垂直走査回路７７ｂは、部分領域のうち最後に選択した画素位置（第１の画像信号に対する非読み出し行の位置）を記憶（ラッチ）する。

垂直走査回路７７ｂは、フレーム期間ＦＴ２、ＦＴ３において、フレーム期間ＦＴ１と基本的に同様の動作を行うが、次の点で異なる動作を行う。

すなわち、垂直走査回路７７ｂは、図７に示されるように、部分領域のうち選択すべき部分領域をフレーム期間単位で順次に選択する。垂直走査回路７７ｂは、フレーム期間（第１のフレーム期間）ＦＴ１に続くフレーム期間（第２のフレーム期間）ＦＴ２において、フレーム期間ＦＴ１に記憶した画素位置に応じて、部分領域のうち次に選択すべき部分領域を選択する。垂直走査回路７７ｂは、フレーム期間ＦＴ１に記憶した第１の画像信号に対する非読み出し行（図７に示す部分領域における一番下の読み出し行）の次の読み出し行（図７に示す部分領域における一番上の読み出し行）を選択する。垂直走査回路７７ｂは、フレーム期間ＦＴ２において、選択した部分領域ＲＲ２を、第２の読み出し部７２が読み出すべき部分領域とする。

垂直走査回路７７ｂは、フレーム期間ＦＴ１２に続くフレーム期間ＦＴ３において、フレーム期間ＦＴ２に記憶した画素位置に応じて、領域のうち次に選択すべき部分領域を選択する。垂直走査回路７７ｂは、フレーム期間ＦＴ２に記憶した第１の画像信号に対する非読み出し行（図７に示す部分領域における一番下の非読み出し行）の次の非読み出し行（図７に示す部分領域における一番上の読み出し行）を選択する。垂直走査回路７７ｂは、フレーム期間において、選択した部分領域ＲＲ３を、第２の読み出し部７２が読み出すべき部分領域とする。
（第３の実施形態）
次に、第３の実施形態に係る撮像素子３１４について、図８を用いて説明する。以下では、第１の実施形態と異なる部分を中心に説明し、同様の部分の説明を省略する。

撮像素子３１４は、垂直走査回路７７ａ、７７ｂ及び水平走査回路７６ａ、７６ｂに代えて、デコード信号生成部３９１、垂直選択回路３９２、水平選択回路３９５、及びカラムＡＤ回路ブロック９８を備える。

デコード信号生成部３９１は、タイミング生成部１１８（図１参照）から所定の信号を受けて、画素配列ＰＡにおける所定の画素６０をランダムアクセスするためのデコード信号（行デコード信号、列デコード信号）を生成する。デコード信号生成部３９１は、行デコード信号を垂直選択回路３９２へ供給し、列デコード信号を水平選択回路３９５へ供給する。

垂直選択回路３９２は、垂直デコーダ３９３及び垂直駆動回路３９４を含む。垂直デコーダ３９３は、行デコード信号をデコード信号生成部３９１から受け取り、行デコード信号を解読する。垂直デコーダ３９３は、解読した結果を垂直駆動回路３９４へ供給する。垂直駆動回路３９４は、その解読した結果に応じて、画素配列ＰＡにおける所定の行の各画素へアクティブな転送信号φＴＸ、リセット信号φＲＥＳ、選択信号φＳＥＬを供給する。

水平選択回路３９５は、水平デコーダ３９６及び水平駆動回路３９７を含む。水平デコーダ３９６は、列デコード信号をデコード信号生成部３９１から受け取り、列デコード信号を解読する。水平デコーダ３９６は、解読した結果を水平駆動回路３９７へ供給する。水平駆動回路３９７は、その解読した結果に応じて、画素配列ＰＡにおける所定の列の各画素に接続されたカラムＡＤ回路９８（ｊ）（ｊは自然数）へアクティブな制御信号を供給する。

カラムＡＤ回路ブロック９８において、選択されたカラムＡＤ回路９８（ｊ）は、画素から受け取った画像信号をＡ／Ｄ変換することにより画像データを生成し、その画像データを出力回路９９へ供給する。

このようにして、画素配列ＰＡにおける任意の画素６０を選択することができる。

なお、第３の実施形態においては、垂直も水平も任意選択可能な撮像素子を例にあげたが、本発明はそれに限ったものではなく、例えば、垂直方向のみ任意選択が可能な構成であっても何ら問題はない。

また、第３の実施形態においては、出力にカラムＡＤ回路を使用している例をあげたが、これに関しても、本発明を限定するものではないことを明示しておく。

本発明の実施形態に係る撮像装置の構成図。 撮像素子１１４の構成図（第１の実施形態）。 画素配列ＰＡにおける単位画素６０の回路構成図。 第１の読み出し部が読み出すべき領域の画素の動作を示すタイミングチャート。 第２の読み出し部が読み出すべき領域の画素の動作を示すタイミングチャート。 第１の実施形態に係る画素配列における領域を示す図。 第１の実施形態に係る画素配列における各行の画素の動作のタイミングを概念的に示す図。 １フレーム分のシェーディング成分のデータを生成する過程を示す図。 １フレーム分のシェーディング成分のデータを生成する過程を示す図。 １フレーム分のシェーディング成分のデータを生成する過程を示す図。 第２の実施形態における画素配列の各行の画素の動作タイミングを概念的に示す図。 撮像素子３１４の構成図（第３の実施形態）。

符号の説明

１００ 撮像装置
１１４ 撮像素子
６０ 単位画素

Claims (10)

1. 光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列と、
   各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出し手段と、
   前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出し手段と、
   前記第２の読み出し手段により読み出した信号を補間することにより、１フレーム分の第２の画像信号を生成する生成手段と、
   前記第１の読み出し手段により読み出した第１の画像信号を前記生成手段により生成された前記１フレーム分の第２の画像信号を用いて補正する補正手段とを備え、
   前記第１の読み出し手段が、複数のフレームにおいて前記第１の画像信号を読み出して動画を得た後に前記第１の画像信号を読み出して静止画を得、
   前記第２の読み出し手段は、各フレームにおいて異なる部分領域から信号を間引いて読み出し、
   前記補正手段は、前記第１の読み出し手段により得られた前記静止画を前記１フレーム分の第２の画像信号を用いて補正する
   ことを特徴とする撮像装置。
2. 光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列と、
   各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出し手段と、
   前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出し手段と、
   前記第２の読み出し手段により読み出した信号を合成することにより、１フレーム分の第２の画像信号を生成する生成手段と、
   前記第１の読み出し手段により読み出した第１の画像信号を前記生成手段により生成された前記１フレーム分の第２の画像信号を用いて補正する補正手段とを備え、
   前記第１の読み出し手段が複数のフレームにおいて前記第１の画像信号を間引いて取得することにより動画を得た後に前記第１の読み出し手段が前記第１の画像信号を間引かずに取得することにより静止画を得、
   前記第２の読み出し手段は、各フレームにおいて異なる部分領域から信号を間引かずに読み出し、
   前記補正手段は、前記第１の読み出し手段により得られた前記静止画を前記１フレーム分の第２の画像信号を用いて補正する
   ことを特徴とする撮像装置。
3. 前記各フレーム期間において、前記画素配列のうち前記第１の読み出し手段が読み出すべき領域と前記第２の読み出し手段が読み出すべき部分領域とを、予め決められた領域単位で連続して選択する選択手段を備え、
   前記選択手段は、前記第２の読み出し手段が読み出すべき前記部分領域をフレーム期間単位で順次に選択する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列と、
   各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出し手段と、
   前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出し手段と、
   前記第２の読み出し手段により読み出した信号を合成することにより、１フレーム分の第２の画像信号を生成する生成手段と、
   前記第１の読み出し手段により読み出した第１の画像信号を前記生成手段により生成された前記１フレーム分の第２の画像信号を用いて補正する補正手段と、
   前記各フレーム期間において、前記画素配列のうち前記第１の読み出し手段が読み出すべき領域と前記第２の読み出し手段が読み出すべき部分領域とを、予め決められた領域単位で連続して選択する選択手段とを備え、
   前記選択手段は、前記各フレーム期間において、前記第１の読み出し手段が読み出すべき領域と前記第２の読み出し手段が読み出すべき部分領域とをそれぞれ行単位で順次に選択し、第１のフレーム期間において、前記第２の読み出し手段が読み出すべき部分領域のうち最後に選択した画素位置を記憶し、前記第１のフレーム期間に続く第２のフレーム期間において、前記第１のフレーム期間において記憶した画素位置に応じて、前記次に選択すべき部分領域を選択し、選択した領域を、前記第２の読み出し手段が読み出すべき部分領域として選択し、
   前記第２の読み出し手段は、各フレームにおいて前記選択手段により選択された異なる部分領域の信号を読み出す
   ことを特徴とする撮像装置。
5. 前記第２の読み出し手段は、前記各フレーム期間に含まれるフレームレート調整用の期間において、前記信号を読み出すことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列を有する撮像装置の制御方法であって、
   各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出しステップと、
   前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出しステップと、
   前記第２の読み出しステップで読み出した信号を補間することにより、１フレーム分の第２の画像信号を生成する生成ステップと、
   前記第１の読み出しステップで読み出した前記第１の画像信号を前記生成ステップで生成された前記１フレーム分の第２の画像信号を用いて補正する補正ステップとを備え、
   前記第１の読み出しステップでは、複数のフレームにおいて前記第１の画像信号を読み出して動画を得た後に前記第１の画像信号を読み出して静止画を得、
   前記第２の読み出しステップでは、各フレームにおいて異なる部分領域から信号を間引いて読み出し、
   前記補正ステップでは、前記第１の読み出しステップで得られた前記静止画を前記１フレーム分の第２の画像信号を用いて補正する
   ことを特徴とする撮像装置の制御方法。
7. 光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列を有する撮像装置の制御方法であって、
   各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出しステップと、
   前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出しステップと、
   前記第２の読み出しステップで読み出した信号を合成することにより、１フレーム分の第２の画像信号を生成する生成ステップと、
   前記第１の読み出しステップで読み出した前記第１の画像信号を前記生成ステップで生成された前記１フレーム分の第２の画像信号を用いて補正する補正ステップとを備え、
   前記第１の読み出しステップでは、複数のフレームにおいて前記第１の画像信号を間引いて取得することにより動画を得た後に前記第１の画像信号を間引かずに取得することにより静止画を得、
   前記第２の読み出しステップでは、各フレームにおいて異なる部分領域から信号を間引かずに読み出し、
   前記補正ステップでは、前記第１の読み出しステップで得られた前記静止画を前記１フレーム分の第２の画像信号を用いて補正する
   ことを特徴とする撮像装置の制御方法。
8. 前記各フレーム期間において、前記画素配列のうち前記第１の読み出しステップで読み出すべき領域と前記第２の読み出しステップで読み出すべき部分領域とを、予め決められた領域単位で連続して選択する選択ステップを備え、
   前記選択ステップでは、前記第２の読み出しステップで読み出すべき前記部分領域をフレーム期間単位で順次に選択する
   ことを特徴とする請求項６または請求項７に記載の撮像装置の制御方法。
9. 光電変換手段をそれぞれ含む複数の画素が行方向及び列方向に配列された画素配列を有する撮像装置の制御方法であって、
   各フレーム期間に前記画素配列から第１の画像信号を読み出す第１の読み出しステップと、
   前記各フレーム期間に光信号が前記光電変換手段から出力されない状態で前記画素配列の一部から信号を読み出す第２の読み出しステップと、
   前記第２の読み出しステップで読み出した信号を合成することにより、１フレーム分の第２の画像信号を生成する生成ステップと、
   前記第１の読み出しステップで読み出した前記第１の画像信号を前記生成ステップで生成された前記１フレーム分の第２の画像信号を用いて補正する補正ステップと、
   前記各フレーム期間において、前記画素配列のうち前記第１の読み出しステップで読み出すべき領域と前記第２の読み出しステップで読み出すべき部分領域とを、予め決められた領域単位で連続して選択する選択ステップとを備え、
   前記選択ステップでは、前記各フレーム期間において、前記第１の読み出しステップで読み出すべき領域と前記第２の読み出しステップで読み出すべき部分領域とをそれぞれ行単位で順次に選択し、第１のフレーム期間において、前記第２の読み出しステップで読み出すべき部分領域のうち最後に選択した画素位置を記憶し、前記第１のフレーム期間に続く第２のフレーム期間において、前記第１のフレーム期間において記憶した画素位置に応じて、前記次に選択すべき部分領域を選択し、選択した領域を、前記第２の読み出しステップで読み出すべき部分領域として選択し
   前記第２の読み出しステップでは、各フレームにおいて前記選択ステップで選択された異なる部分領域の信号を読み出す
   ことを特徴とする撮像装置の制御方法。
10. 前記第２の読み出しステップでは、前記各フレーム期間に含まれるフレームレート調整用の期間において、前記信号を読み出すことを特徴とする請求項６乃至請求項９のいずれか１項に記載の撮像装置の制御方法。

Images