JP4789767B2

JP4789767B2 - 撮像装置及びその制御方法

Info

Publication number: JP4789767B2
Application number: JP2006265424A
Authority: JP
Inventors: 幸助信岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-28
Filing date: 2006-09-28
Publication date: 2011-10-12
Anticipated expiration: 2026-09-28
Also published as: CN101155269A; JP2008085859A; US7978226B2; CN101155269B; US20080079814A1

Description

本発明は、光電変換素子を有する撮像装置及びその制御方法に関し、特に、ローリングシャッターを用いた撮像装置及びその制御方法に関する。

電子カメラ、ビデオカメラなどの撮像装置では、装置の小型化や光学倍率などの光学設計技術の向上に伴い、いわゆる手ブレを補正する技術（以下「手ブレ補正技術」という。）が一般的に搭載される。手ブレ補正技術は、光学式手ブレ補正技術と電子式手ブレ補正技術とに大別される。光学式手ブレ補正技術では、手ブレによる撮像装置の動きに応じて、結像光学系中に配置されたシフトレンズ等の光路変更手段を制御する。電子式手ブレ補正技術では、撮像装置の加速度情報に応じて、撮影画像の一部を切り出して表示することにより、表示画像上でブレを相殺する。電子式手ブレ補正技術には、メモリ式手ブレ補正の方式と、切り出し式手ブレ補正の方式とがある。メモリ式手ブレ補正の方式では、撮像素子から読み出された画像をメモリに記録し、メモリから読み出すときの読み出し範囲を変更する。切り出し式手ブレ補正の方式では、撮像素子から読み出すときの読み出し範囲を変更する。

これらの手ブレ補正技術の特徴は、以下の通りである。

光学式手ブレ補正技術は、光路変更手段を撮像装置に搭載するため、コストアップするとともに、結像光学系のサイズが大きくなり撮像装置の大型化を招くという欠点がある。しかしながら、画像サイズが変化しないため、撮影画像の画質が良いという利点がある。これに対し、メモリ式手ブレ補正方式は、撮像装置の小型化が可能であり、撮影画像からの加速度情報に基づいたフィードフォワード制御が可能であるため、電子手ブレ補正システムが構成しやすいという利点がある。しかしながら、表示画素よりも多くの画素を常時読み出さなければならず、撮像素子駆動を高速にする必要があるという欠点がある。また、切り出し式手ブレ補正方式も撮像装置の小型化に有利であり、表示画素数のみを読み出せばよいので、メモリ式手ブレ補正方式ほど撮像素子駆動を高速にしなくてよいという利点がある。しかしながら、撮影画像からの加速度情報に基づいたフィードフォワード制御ができないため、制御が難しいフィードバック制御を採用して、電子手ブレ補正システムを構成するか、または、ジャイロなどの加速度センサを別途用いる必要があるという欠点がある。

このように、各手ブレ補正の方式には、それぞれ一長一短があり、撮像装置の価格や市場ターゲットに応じて、いずれかが採用されている。コストをかけた高級機種などでは、複数の方式を組み合わせて、より高性能な手ブレ補正システムを構成する場合もある。

近年、ディジタルカメラ、ビデオカメラなどの撮像装置において、ＣＣＤイメージセンサに代えてＣＭＯＳイメージセンサを搭載する撮像装置が増えてきている。ＣＭＯＳイメージセンサは、フォトダイオードで生成された信号電荷を、フローティングディフュージョンアンプにより電圧信号に変換する。そして、この電圧信号を垂直走査回路からの行選択信号により水平行単位で列信号線に読み出し、水平走査回路からの水平駆動信号により外部に順次読み出す。

上述したＣＭＯＳイメージセンサは、水平行単位で電圧変換して読み出すため、必然的に、画素の電荷の蓄積の開始と終了の時刻が水平行単位で順次ずれてゆくローリングシャッター方式となる。ただし、各水平行の蓄積電荷の読み出しと撮像素子駆動の垂直同期信号とのタイミングが一致するように制御されることにより、読み出された撮像画像が垂直同期信号に同期して表示されるようになっている。こうしたローリングシャッター方式のＣＭＯＳイメージセンサにおいて、上記説明した切り出し方式手ブレ補正システムを構成する際には、以下のような課題がある。

ＣＭＯＳイメージセンサの切り出し方式手ブレ補正システムでは、加速度情報に応じて読み出し開始行を変更する。しかしながら、変更された読み出し開始行の読み出しタイミングを垂直同期信号の例えば先頭位置となるように変更しなければならない。また、画素の蓄積時間を一定に保つために、読み出し開始行の読み出しタイミングから遡った所定のタイミングに、読み出し開始行の電荷リセットを設定し直す必要もある。これらを行わなければ、表示画像の垂直位置のずれと、蓄積時間のずれとが生じる。そのため、ＣＭＯＳイメージセンサを用いた撮像装置では、切り出し式手ブレ補正システムは採用されなかった。

これに対し、特許文献１は、読み出し開始行の設定に応じて、読み出し開始行の電荷リセットと読み出しのタイミングを所定の位置に調整する技術を開示している。
特開２０００−３５０１０１号公報

ビデオカメラにおいては、ＮＴＳＣなどの画像フォーマットに基づいた撮像素子駆動が行われる。例えば、ＮＴＳＣではフィールド周期が１／６０ｓｅｃ＝１６．７ｍｓｅｃであるため、通常の撮影条件（十分な照明下での撮影）においては、撮像素子の蓄積時間を１６．７ｍｓｅｃと設定する。そして、撮像素子から読み出した信号が最終表示画像として十分な品質となるように、光学系、撮像素子、信号処理系が設計される。従って、所定行の光電変換素子からの電荷読み出しが完了すると、直ぐにその行の光電変換素子の電荷をリセットし、次のフィールドでの読み出しに備えて電荷の蓄積が開始される。

これを前提として、図９（ａ）に示すように、読み出し開始行をフィールド毎に変更する場合を考える。特許文献１に開示された技術に従い、読み出し開始行の読み出しタイミングを垂直同期信号のタイミングに調整し、かつ、１６．７ｍｓｅｃの電荷蓄積期間を確保するために読み出し開始行の電荷リセットタイミングを変更する。すると、図９（ｂ）に示すように、前フィールドにおける読み出し開始行の蓄積中に、次フィールドにおける電荷リセットをかけなければならない。

このように、切り出し方式の手ブレ補正システムでは、単位フィールド（又は単位フレーム）の更新周期と電荷蓄積期間を略等しく設定するため、手ブレ情報に合わせて単位フィールド（又は単位フレーム）毎に読み出し開始行を変更することはできなかった。

本発明は、上記の問題点に鑑みてなされたものであり、読み出し開始行の変更時にリセットタイミングが電荷蓄積期間にかからないようにすることを目的とする。

本発明の第１の側面は、本発明の撮像装置は、光電変換手段と、前記光電変換手段をリセットするリセット手段とを含む、複数画素を備えたＣＭＯＳイメージセンサと、予め決められたフィールド期間の間に、前記リセット手段により前記光電変換手段を行毎に順次リセットし、前記光電変換手段で発生した電荷信号を行毎に順次読み出すように前記ＣＭＯＳイメージセンサを駆動する駆動手段と、各フィールドの読み出し開始行が常に一定になるように前記ＣＭＯＳイメージセンサを駆動する第１のモードと、各フィールドの読み出し開始行を前記フィールド毎に変更可能に前記ＣＭＯＳイメージセンサを駆動する第２のモードとのいずれかにより前記駆動手段を制御する制御手段とを有し、前記制御手段は、前記第１のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が第１の電荷蓄積期間となるように前記駆動手段を制御し、前記第２のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が前記第１の電荷蓄積期間よりも短い第２の電荷蓄積期間となるように前記駆動手段を制御すると共に、連続する２フィールド間での前記読み出し開始行の変更行数が、前記第１の電荷蓄積期間から前記第２の電荷蓄積期間を引いた差を前記ＣＭＯＳイメージセンサの１行あたりの読み出しにかかる時間で除した商以下となるように、前記読み出し開始行の変更行数を制御することを特徴とする。

本発明の第３の側面は、光電変換手段と、前記光電変換手段をリセットするリセット手段とを含む、複数画素を備えたＣＭＯＳイメージセンサと、予め決められたフィールド期間の間に、前記リセット手段により前記光電変換手段を行毎に順次リセットし、前記光電変換手段で発生した電荷信号を行毎に順次読み出すように前記ＣＭＯＳイメージセンサを駆動する駆動手段とを有する撮像装置の制御方法であって、各フィールドの読み出し開始行が常に一定になるように前記ＣＭＯＳイメージセンサを駆動する第１のモードと、各フィールドの読み出し開始行を前記フィールド毎に変更可能に前記ＣＭＯＳイメージセンサを駆動する第２のモードとのいずれかにより前記駆動手段を制御する制御工程を有し、前記制御工程では、前記第１のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が第１の電荷蓄積期間となるように前記駆動手段を制御し、前記第２のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が前記第１の電荷蓄積期間よりも短い第２の電荷蓄積期間となるように前記駆動手段を制御すると共に、連続する２フィールド間での前記読み出し開始行の変更行数が、前記第１の電荷蓄積期間から前記第２の電荷蓄積期間を引いた差を前記ＣＭＯＳイメージセンサの１行あたりの読み出しにかかる時間で除した商以下となるように、制御することを特徴とする。

本発明によれば、読み出し開始行の変更時にリセットタイミングが電荷蓄積期間にかからないようにすることができる。

（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る撮像システムの構成を概略的に示す図である。図１において、１０１は光学系としての結像レンズ、１０２はＣＭＯＳイメージセンサ、１０３はアナログ・ディジタルコンバータ（以下「ＡＤＣ」という。）、１０４は駆動手段としての同期信号生成回路（以下「ＳＳＧ」という。）、１０５は制御手段としてのＣＰＵである。１０６はジャイロセンサ、１０７は２ポートＳＲＡＭで構成されるＦＩＦＯ、１０８はカメラ信号処理回路、１０９は記録用信号処理回路、１１０は液晶パネルなどの表示装置、１１１はＤＶＤディスクなどの記録メディアである。

図２は、本発明の好適な第１の実施形態に係るＣＭＯＳイメージセンサの内部構造を概略的に示す回路図である。

図２において、２０１は後述する図３の１画素、２０２はフローティングディフュージョンアンプ（以下「ＦＤアンプ」という。）である。２０３は行読み出し制御線（図２では、２０行目〜２３行目を２０３−２０〜２０３−２３と表記）である。２０４は行リセット制御線（図２では、２０行目〜２３行目を２０４−２０〜２０４−２３と表記）である。２０５は行選択線（図２では、２０行目〜２３行目を２０５−２０〜２０５−２３と表記）である。２０６は列信号線、２０７は列アンプ、２０８は垂直走査回路、２０９は水平走査回路、２１０は列信号バッファ容量、２１１は列選択線、２１２は列選択スイッチ、２１３は水平信号線、２１４は出力バッファアンプ、２１５は映像出力端子である。２１６は垂直同期信号入力端子、２１７は読み出し開始行設定入力端子、２１８は水平同期信号入力端子である。

図３は、図２の１画素２０１の構成例を示す回路図である。図３において、３０１は光電変換手段としてのフォトダイオード（以下「ＰＤ」という。）、３０２は行読み出し制御入力線（図２の２０３に接続）、３０３は行読み出しトランジスタ、３０４は蓄積手段としてのフローティングディフュージョン（以下「ＦＤ」という。）である。３０５は行リセット制御入力線（図２の２０４に接続）、３０６はリセット手段としての行リセットトランジスタ、３０７はリセットレベル入力線、３０８は行選択制御入力線（図２の２０５に接続）、３０９は行選択トランジスタ、３１０は画素出力端子である。

次に、本発明の好適な第１の実施形態に係る撮像システムの動作を説明する。結像レンズ１０１を介してＣＭＯＳイメージセンサ１０２の受光面に光学像が結像されると、ＣＭＯＳイメージセンサ１０２のＰＤには、各画素の入射光量に応じて信号電荷が発生する。各画素で生じた信号電荷は、ＳＳＧ１０４により生成された同期信号とＣＰＵ１０５により設定された読み出し開始行の設定に従って、ＣＭＯＳイメージセンサ１０２の内部駆動回路が駆動される。これにより、出力端子から所定の順序で出力映像電圧信号として出力される。出力映像電圧信号は、ＡＤＣ１０３でディジタル信号に変換され、ＦＩＦＯ１０７に入力される。ＦＩＦＯ１０７のアドレス制御は、ＳＳＧ１０４によって行われるが、ＣＰＵ１０５により設定されたＦＩＦＯ読み出し開始画素の設定に従って動作する。読み出し開始行とＦＩＦＯ読み出し開始画素は、ジャイロセンサ１０６で検出された図１の撮像装置に生じた加速度情報に基づいて、ＣＰＵ１０５により設定される。ジャイロセンサ１０６からの垂直方向の加速度情報は、読み出し開始行に反映され、その水平方向の加速度情報は、ＦＩＦＯ読み出し開始画素の設定に反映される。以下、本実施形態の動作説明は、読み出し開始行の制御に関するため、ジャイロセンサ１０６からの加速度情報は、垂直方向の加速度情報であることを前提とする。

次に、図２及び図３を用いて、図１のＣＭＯＳイメージセンサ１０２の動作について説明する。図３のＦＤ３０４は、キャパシタンスで構成され、このキャパシタンスに蓄積された信号電荷に応じた電圧を発生する。まず、行リセット制御入力線３０５のレベルがハイとなり、行リセットトランジスタ３０６がＯＮされる。すると、リセットレベル入力線３０７に接続された電源Ｖ_ＤＤにより、ＦＤ３０４がリセットレベル（例えば、電源電圧Ｖ_ＤＤ）にリセットされる。ＰＤ３０１には、各画素の入射光量に応じた信号電荷が蓄積されている。行読み出し制御入力線３０２のレベルがハイとなり、行読み出しトランジスタ３０３がＯＮされると、ＰＤ３０１に蓄積された信号電荷がＦＤ３０４に転送される。このとき、ＦＤ３０４では、ＰＤ３０１から転送された信号電荷分の電圧レベルが上記リセットレベルに加算される。これが読み出し画素の信号レベルとなる。次に、行選択制御入力３０８のレベルがハイとなり、行選択トランジスタ３０９がＯＮされると、ＦＤ３０４の信号レベルがＦＤアンプ２０２で画素電圧信号に変換され、列信号線２０６を経由して列アンプ２０７で増幅される。そして、列アンプ２０７で増幅された信号は、列信号バッファ容量２１０に蓄積される。その結果、１行分のＦＤ３０４の出力信号を増幅した電圧信号が列信号バッファ容量２１０に蓄積される。列信号バッファ容量２１０に蓄積された１行分の信号は、水平走査回路２０９から列信号選択線２１１に、所定のタイミングと順序に従って制御信号を印加することによって、列選択スイッチ２１２が順次開閉動作する。これにより、列信号バッファ容量２１０に蓄積された１行分の信号は、水平信号線２１３と出力バッファ２１４を通じて映像出力端子２１５から順次出力される。

以上説明した１行分の読み出し動作を、図４（ａ）〜（ｃ）（手ブレ補正無しモード）または、図５（ａ）〜（ｂ）（手ブレ補正有りモード）のように制御することによって、全画面分の読み出し動作を行う。

まず、図４（ａ）〜（ｃ）を参照して手ブレ補正無しモード時の読み出し動作について説明する。ここで、撮像素子の垂直方向の行数が２００行であるとする。読み出しのフィールド周期は、１／６０ｓｅｃ（１６．７ｍｓｅｃ）とし、１行分の画素信号の出力に要する時間を０．１ｍｓｅｃ、読み出し行数を１００行とし、残る１００行を手ブレ補正の可動範囲とする。従って、１００行分の読み出しに１０ｍｓｅｃ要し、フィールド周期１６．７ｍｓｅｃから読み出しの１０ｍｓｅｃを差し引いた６．７ｍｓｅｃが垂直ブランキング期間となる。なお、これらの値は、例示的なものであり、本発明はこれに限定されない。

手ブレ補正無しモードでは、図４（ａ）に示すように、１行目〜２００行目までの全行数のうち、中央の１００行（５１行目〜１５０行目）を読み出すものとする。図４（ｂ）は、各行読み出し制御信号、行リセット制御信号、行選択制御信号、映像出力信号の動作と水平同期信号との関係を示す。

第５１行目の読み出し駆動は、水平同期信号入力端子２１８に入力された水平同期信号の立ち上がり時刻ｔ０から開始する。

時刻ｔ０〜ｔ１では、行読み出し５１が行われ、第５１行目の読み出しが実行される。具体的には、図２の行読み出し制御線２０３のレベルがハイとなり、図３の行読み出しトランジスタ３０３がＯＮされ、ＰＤ３０１に蓄積された信号電荷がＦＤ３０４に転送される。

時刻ｔ１〜ｔ２では、行選択５１が行われ、第５１行目の画素電圧信号が列アンプ２０７で増幅され、列信号バッファ容量２１０に蓄積される。具体的には、図２の行選択線２０５のレベルがハイとなり、図３の行選択トランジスタ３０９がＯＮされ、ＦＤ３０４の信号レベルが図２のＦＤアンプ２０２で画素電圧信号に変換され、列信号線２０６を経由して列アンプ２０７で増幅される。そして、列アンプ２０７で増幅された信号が列信号バッファ容量２１０に蓄積される。

時刻ｔ２〜ｔ３では、行リセット５１が行われ、第５１行目のＰＤ３０１とＦＤ３０４の電位が同時にリセットレベル（例えば、電源電圧Ｖ_ＤＤ）にリセットされる。そして、次フィールドまたは次フレームにおいて、第５１行目の読み出しが行われるまでの間、ＰＤ３０１で信号電荷の蓄積が行われる。具体的には、図２の行読み出し制御線２０３及び行リセット制御線２０４のレベルがハイとなり、図３の行読み出しトランジスタ３０３及び行リセットトランジスタ３０６がＯＮされる。そして、リセットレベル入力線３０７に接続された電源Ｖ_ＤＤにより、ＰＤ３０１及びＦＤ３０４が同時にリセットレベルにリセットされる。

時刻ｔ３〜ｔ４は、水平走査回路２０９による水平読み出し期間となる。

以上のｔ０〜ｔ４の期間が上述の０．１ｍｓｅｃに対応する。同様に、第５２行目〜第５４行目の行読み出し、行選択、行リセットが順次実行される。また、以上説明した各行の読み出し駆動は、図４（ｃ）に示すように、第１５０行目まで順次実行され、読み出し開始行である第５１行目の行読み出し時刻ｔ２から、第１５０行目の行読み出しが終了するまでに、１０ｍｓｅｃ経過する。同様に、第５１行目の行リセット時刻ｔ４から、第１５０行目の行リセットが終了までに、１０ｍｓｅｃ経過する。その後、垂直ブランキング期間６．７ｍｓｅｃを経て、次のフィールドとなり、再び、読み出し開始行である第５１行目の行読み出しが開始される。各行の画素での電荷蓄積は、垂直ブランキング中も継続されるため、ほぼ１６．７ｍｓｅｃとなる（ただし、時刻ｔ２〜ｔ４の期間分だけ数マイクロ秒短縮される。）となる。

次に、図５を参照して手ブレ補正有りモード時の読み出し動作について説明する。図５は、手ブレ補正有りモード時の読み出し動作のフローチャートである。図５に示す処理は、図１のＣＰＵ１０５が所定の記憶媒体に格納されたプログラムコードを読出すことにより実行される。

ステップＳ５０１では、ＣＰＵ１０５は、図１のジャイロセンサ１０６からジャイロセンサ情報Ｄｊを取得する。ここで、ジャイロセンサ情報Ｄｊは、ジャイロなどの加速度センサからの加速度情報である。

ステップＳ５０２では、ＣＰＵ１０５は、垂直走査回路２０８から手ブレ補正残り行数Ｄｒを取得する。ここで、手ブレ補正残り行数Ｄｒは、図１のジャイロセンサ１０６からの切り出し位置指定（例えば、図６に示す＋９０、＋１０、−１００など）と設定された次フィールドの読み出し開始行との差に相当する。

ステップＳ５０３では、ＣＰＵ１０５は、Ｄｊ＋Ｄｒが０以上であるか否かを判定する。Ｄｊ＋Ｄｒが０以上であれば（ステップＳ５０３で「Ｙｅｓ」）、ステップＳ５０４に進む。Ｄｊ＋Ｄｒが０未満であれば（ステップＳ５０３で「Ｎｏ」）、ステップＳ５０８に進む。

ステップＳ５０４では、ＣＰＵ１０５は、手ブレ補正を行わないモードにおける電荷蓄積期間Ｔ２から手ブレ補正を行うモードにおける電荷蓄積期間Ｔ１を引いたＴ３（＝Ｔ２−Ｔ１）を算出する。そして、ＣＰＵ１０５は、Ｔ３を１行分の画素信号の出力に要する時間Ｔｏｕｔで除算し、Ｄｊ＋Ｄｒが除算値Ｔ３／Ｔｏｕｔ以下であるか否かを判定する。Ｄｊ＋ＤｒがＴ３／Ｔｏｕｔ以下であれば（ステップＳ５０４で「Ｙｅｓ」）、ステップＳ５０５に進む。Ｄｊ＋ＤｒがＴ３／Ｔｏｕｔ未満であれば（ステップＳ５０４で「Ｎｏ」）、ステップＳ５０７に進む。

ステップＳ５０５では、ＣＰＵ１０５は、手ブレ補正残り行数Ｄｒを０に設定し、ΔＤをＤｊ＋Ｄｒに設定する。

ステップＳ５０６では、ＣＰＵ１０５は、読み出し開始行の初期値Ｖｓ０（通常は１）にステップＳ５０５で設定したΔＤを加算し、読み出し開始行Ｖｓｔに設定する。

ステップＳ５０７では、ＣＰＵ１０５は、手ブレ補正残り行数ＤｒをＤｊ＋Ｄｒ−Ｔ３／Ｔｏｕｔに設定し、ΔＤをＴ３／Ｔｏｕｔに設定する。

ステップＳ５０８では、ＣＰＵ１０５は、Ｄｊ＋Ｄｒの絶対値がＴ３／Ｔｏｕｔ以下であるか否かを判定する。Ｄｊ＋Ｄｒの絶対値がＴ３／Ｔｏｕｔ以下であれば（ステップＳ５０８で「Ｙｅｓ」）、ステップＳ５０９に進む。Ｄｊ＋Ｄｒの絶対値がＴ３／Ｔｏｕｔ未満であれば（ステップＳ５０８で「Ｎｏ」）、ステップＳ５１０に進む。

ステップＳ５０９では、ＣＰＵ１０５は、手ブレ補正残り行数Ｄｒを０に設定し、ΔＤをＤｊ＋Ｄｒに設定する。

ステップＳ５１０では、ＣＰＵ１０５は、手ブレ補正残り行数ＤｒをＤｊ＋Ｄｒ＋Ｔ３／Ｔｏｕｔに設定し、ΔＤを−（Ｔ３／Ｔｏｕｔ）に設定する。

次に、図６（ａ）〜（ｃ）を参照して手ブレ補正有りモード時の読み出し動作について説明する。手ブレ補正有りモードでは、読み出し開始行を変更した手ブレ補正動作に対応するために、各行の画素での電荷蓄積期間を１／１００ｓｅｃに設定する。上述したように、本実施形態の１行分の画素信号の出力に要する時間は０．１ｍｓｅｃ、手ブレ補正無しモードでの電荷蓄積期間は１６．７ｍｓｅｃである。従って、読み出し開始行の変更幅Ｄｍａｘは、以下の数式１で表される。読み出し開始行の変更幅Ｄｍａｘは、上記の数値を用いて、例えば６７行以内に制限される。
Ｄｍａｘ≦（Ｔ２‐Ｔ１）／Ｔｏｕｔ＝（１６．７ｍｓｅｃ‐１０ｍｓｅｃ）／０．１ｍｓｅｃ＝６７ … （数式１）

図６（ｂ）の時刻ｔ１６で始まる第１フィールドでは、第１行目から読み出しを開始するものとする。１行分の読み出しに０．１ｍｓｅｃかかるため、第６８行目の読み出し完了時点で、６．７ｍｓｅｃ経過する。各行での電荷蓄積期間を１０ｍｓｅｃに設定し、１フィールドを１６．７ｍｓｅｃと設定している。そのため、第６８行目の読み出しの完了後、時刻ｔ１７で第２フィールドの読み出し開始行をリセットし蓄積を開始しないと、第２フィールドでの読み出しにおいて、蓄積時間１０ｍｓｅｃを確保できない。第２フィールドの読み出し開始行は、時刻ｔ１６で得られた第１行目＋９０行である第９１行目である。しかしながら、時刻ｔ１７では第１フィールドにおける蓄積中（読み出し前）であるため、第２フィールドの読み出し開始行に設定できない（図５のステップＳ５０４で「Ｎｏ」）。そこで、第２フィールドでの読み出し開始行を時刻ｔ１６で得られた第１行目＋６７の第６８行目とし（図５のステップＳ５０７に対応）、時刻ｔ１７で第６８行目のリセットと蓄積を開始する。すると、第２フィールドでの手ブレ補正残りが発生し＋２３行となる。

図６（ｂ）の時刻ｔ１８では、第２フィールドの＋６７行の読み出し開始行変更に伴い、第６８行目からの読み出しが開始される。第１フィールドと同様に、１行分の読み出しは０．１ｍｓｅｃ、電荷蓄積時間は１０ｍｓｅｃであるため、第６８行目＋６７行である第１３５行目の読み出し完了後、時刻ｔ１９で第３フィールドのでの読み出し開始行をリセットし、蓄積を開始する必要がある。第３フィールドの読み出し開始行は、時刻ｔ１８で得られた＋１０行と第２フィールドでの手振れ補正残り＋２３行とを加算した＋３３行を、第２フィールドの読み出し開始行の第６８行に加算して第１０１行目となる。時刻ｔ１９では、第２フィールドの第１０１行目の読み出しが完了しているため、第３フィールドの読み出し開始行を第１０１行目とする設定が可能である。さらに、第３フィールドでは手ブレ補正残りが解消される。

図６（ｂ）の時刻ｔ２０では、第３フィールドにおいて上記の読み出し開始行変更に伴って、第１０１行目から読み出しが開始される。第１０１行目＋６７行目である第１６８行目の読み出し完了後の時刻ｔ２１では、第４フィールドでの読み出し開始行をリセットし、蓄積を開始する。第４フィールドの読み出し開始行は、時刻ｔ２０で得られた−１００行（第５のステップＳ５０１に対応）と第３フィールドでの手ブレ補正残り０行（図５のステップＳ５０２に対応）とを加算する。その加算結果−１００行を、第３フィールドでの読み出し開始行の第１０１行目に加算し、読み出し開始行が第１行目となる。時刻ｔ２１では、第３フィールドでの第１行目の読み出しは行われていないため、第４フィールドの読み出し開始行を第１行目とする設定が可能である。ただし、上記第２フィールドでの読み出し開始行の変更時に、＋６７行という制限を設けているため、手ブレ補正効果の方向の対称性を保つために、ここでは−６７行に制限する（図５のステップＳ５０８で「Ｎｏ」）。そして、第４フィールドでの読み出し開始行を第１０１行目―６７行として第３４行目とする（図５のステップＳ５１０に対応）。時刻ｔ２１における第３４行目は第３フィールドで読み出されていないため、第４フィールドでの読み出し開始行の設定が可能である。ただし、第４フィールドでの補正残りが−３３行となる。

このように、ジャイロセンサ情報Ｄｊに基づく読み出し開始行の設定を進めることにより、連続したフィールドにおいて、垂直方向の手ブレの補正が可能となる。さらに、蓄積時間１／１００ｓｅｃ＝１０ｍｓｅｃで蓄積された画像信号を、各読み出し行にわたって提供することが可能となる。なお、手ブレ補正有りモードでの蓄積時間を本実施形態で示したフィールド周期よりも短く設定し、数式１に従って読み出し開始行の変更幅を制限することにより、任意のフィールド又はフレーム周期、任意の蓄積時間に適用することができる。水平方向の手ブレ補正については、上述のように、ＦＩＦＯ１０７の読み出し開始画素をジャイロセンサ１０６からの水平方向の加速度情報に従って制御することにより実施することができる。以上により、手ブレ補正が実施された後、カメラ信号処理回路１０８によりカメラ信号処理が行われて、表示装置１１０に画像が表示され、信号処理回路１０９を経て、記録メディア１１１に撮像画像が記録される。

以上説明したように、本実施形態によれば、読み出し開始行の変更時にリセットタイミングが電荷蓄積期間にかからないようにすることができる。その結果、従来はローリングシャッター方式であるＣＭＯＳイメージセンサを用いた撮像装置には採用できなかった、切り出し方式の手ブレ補正システム等を採用することができる。

（第２の実施形態）
図７は、本発明の好適な第２の実施形態に係る撮像システムの構成を概略的に示す図である。図７において、７０１は光学系としての結像レンズ、７０２はＣＭＯＳイメージセンサ、７０３はＡＤＣ、７０４はＳＳＧ、７０５はＣＰＵである。７０６はズーム操作レバー、７０７はカメラ信号処理回路、７０８は２ポートＳＲＡＭで構成されるＦＩＦＯ、７０９は画像拡大処理回路、７１０は記録用信号処理回路、７１１は液晶パネルなどの表示装置、７１２はＤＶＤディスクなどの記録メディアである。ＣＭＯＳイメージセンサ７０２の内部構成は、図２及び図３と同様であるため、その説明を省略する。

次に、本発明の好適な第２の実施形態に係る撮像システムの動作を説明する。結像レンズ７０１、ＣＭＯＳイメージセンサ７０２、ＡＤＣ７０３、ＳＳＧ７０４、ＣＰＵ７０５の動作は、第１の実施形態と同様であるため、その説明を省略する。本実施形態の撮像システムのユーザーにより、ズーム操作レバー７０６が操作されると、ＣＰＵ７０５において、ズームレバーの設定位置に応じた単位フィールド毎の電子ズーム情報が計算される。この電子ズーム情報には、水平方向の電子ズーム倍率と垂直方向の電子ズーム倍率とが含まれる。垂直方向の電子ズーム倍率からは、ＣＭＯＳイメージセンサ７０２の読み出し開始行と読み出し終了行とが算出される。水平方向の電子ズーム倍率からは、ＦＩＦＯ７０８の読み出し開始画素位置と読み出し終了画素位置とが算出される。読み出し開始行は、ＣＭＯＳイメージセンサ７０２の蓄積時間の設定に依存して制限を受ける。そのため、読み出し開始行が確定した後、改めて電子ズーム倍率が再計算され、ＦＩＦＯ７０８の読み出し開始画素と終了画素、及び、拡大処理回路７０９への設定が算出される。

ＦＩＦＯ７０８の読み出し開始画素位置と読み出し終了画素位置は、ＣＰＵ７０５によりＳＳＧ７０４と拡大処理回路７０９に設定され、ＣＭＯＳイメージセンサ７０２の読み出し開始行と読み出し終了行は、ＳＳＧ７０４に設定される。ＣＭＯＳイメージセンサ７０２の読み出し動作については、設定された開始行と終了行に従って、上記の第１の実施形態の動作と同様に実施される。

本実施形態に係る撮像システムは、電子ズームを実施するモードと電子ズームを実施しないモードとを有する。電子ズームを実施しないモードでは、ＣＭＯＳイメージセンサ７０２から、フィールド毎に第１行目から第１００行目までの１００行が読み出されるものとする。上記の第１の実施形態の動作と同様に、ＣＭＯＳイメージセンサ７０２の１行あたりの読み出し時間を０．１ｍｓｅｃとすると、１００行分の読み出しに１０ｍｓｅｃかかる。６．７ｍｓｅｃの垂直ブランキング期間を設けると、１フィールドを１６．７ｍｓｅｃで駆動することになる。電子ズームを実施しないモードにおける第２の蓄積時間も、第１実施形態と同様に１６．７ｍｓｅｃに設定する。

電子ズームを実施するモードにおいては、第１の蓄積時間１５ｍｓｅｃに設定する。図８に示すように、第１フィールドにおいて、時刻ｔ１で第１行目の読み出しを開始し、第１００行目まで読み出す。第２フィールドでの電子ズーム倍率が２倍に設定されたとすると、第２フィールドでの読み出し開始行は、第２５行目となる。第２の蓄積時間と第１の蓄積時間との差は、１．７ｍｓｅｃであるため、時刻ｔ１から１．７ｍｓｅｃ経過した時刻ｔ２では、第２５行目のリセットを行うことが必要である。しかしながら、時刻ｔ２では、第２５行目は、第１フィールドの蓄積中であり、時刻ｔ２で読み出しが完了している行は１．７ｍｓｅｃ／０．１ｍｓｅｃ＝第１７行目までである。従って、第１７行目を第２フィールドの読み出し開始行に設定する。その結果、第２フィールドでの電子ズーム倍率は２倍ではなく、１００行／（１００行−１７行ｘ２）＝１００／６６＝１．５倍となる。ＦＩＦＯ７０８の読み出し開始画素及び終了画素の算出と、拡大処理回路７０９の設定には、１．５倍の電子ズーム倍率を用いる。

第２フィールドでは、時刻ｔ３において第１７行目からの読み出しが開始され、１００行−１７行＝第８３行目まで読み出される。第３フィールドでの電子ズーム倍率が２倍のままであるとすると、第３フィールドの読み出し開始行は、同じく第２５行目であり、時刻ｔ３から１．７ｍｓｅｃ経過した時刻ｔ４において、第２５行目をリセットする必要がある。時刻ｔ４では、第２フィールドの読み出し開始行の第１７行目から１．７ｍｓｅｃ／０．１ｍｓｅｃ＝１７行読み出した第３４行目までは、読み出しが完了しているため、第２５行目のリセットは可能である。従って、第３フィールドでの電子ズーム倍率は２倍となり、ＦＩＦＯ７０８の読み出し開始画素及び終了画素の算出と、拡大処理回路７０９の設定には、２倍の電子ズーム倍率を用いる。

第３フィールドでは、時刻ｔ５において第２５行目からの読み出しが開始され、１００行−２５行＝第７５行目まで読み出される。第４フィールドでの電子ズーム倍率が１倍に設定されるとすると、第４フィールドの読み出し開始行は第１行目となる。時刻ｔ５から１．７ｍｓｅｃ経過した時刻ｔ６において、第１行目のリセットが必要であるが、第３フィールドでは第１行目は読み出されないため、第１行目のリセットは可能である。従って、第４フィールドでの電子ズーム倍率は１倍となり、ＦＩＦＯ７０８の読み出し開始画素及び終了画素の算出と、拡大処理回路７０９の設定には、１倍の電子ズーム倍率を用いる。

第４フィールドでは、時刻ｔ７において、第１行目から読み出しが開始され、第１００行目まで読み出しが行われる。

以上のように、電子ズームを実施するモードにおいて、１．７ｍｓｅｃ蓄積時間を短縮することにより、１７行までの読み出し開始行の変更が可能となる。なお、本実施形態における蓄積時間の各設定は、電子ズームを実施するモードでの蓄積時間を電子ズームを実施しないモードでの蓄積時間以下とすれば、任意の蓄積時間に設定することができる。

また、上記の各フィールド毎に読み出し開始行と電子ズーム倍率を再計算し、ＦＩＦＯ７０８での出力画像を各フィールドで所望の画素サイズにすることができる。拡大処理回路７０９においては、上記の各フィールド毎に読み出し開始行と電子ズーム倍率を再計算し、所望の拡大処理が行われ、拡大処理された画像を出力することができる。この拡大処理された画像は、第１の実施形態と同様に、記録用信号処理回路７１０、表示装置７１１、記録メディア７１２に提供される。

本発明の好適な第１の実施形態に係る撮像システムの構成を概略的に示す図である。本発明の好適な第１の実施形態に係るＣＭＯＳイメージセンサの内部構造を概略的に示す回路図である。図２の１画素の構成例を示す回路図である。手ブレ補正無しモードでの動作タイミングを説明する図である。手ブレ補正有りモード時の読み出し動作のフローを説明する図である。手ブレ補正有りモードでの動作タイミングを説明する図である。本発明の第２の実施形態に係る撮像システムの構成を概略的に示す図である。電子ズームを実施するモードでの動作タイミングを説明する図である。従来技術による課題を説明する図である。

符号の説明

１０５ＣＰＵ
２０１画素
２０６列信号線
３０１ＰＤ（フォトダイオード）
３０４ＦＤ（フローティングディフュージョン）

Claims

光電変換手段と、前記光電変換手段をリセットするリセット手段とを含む、複数画素を備えたＣＭＯＳイメージセンサと、
予め決められたフィールド期間の間に、前記リセット手段により前記光電変換手段を行毎に順次リセットし、前記光電変換手段で発生した電荷信号を行毎に順次読み出すように前記ＣＭＯＳイメージセンサを駆動する駆動手段と、
各フィールドの読み出し開始行が常に一定になるように前記ＣＭＯＳイメージセンサを駆動する第１のモードと、各フィールドの読み出し開始行を前記フィールド毎に変更可能に前記ＣＭＯＳイメージセンサを駆動する第２のモードとのいずれかにより前記駆動手段を制御する制御手段とを有し、
前記制御手段は、前記第１のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が第１の電荷蓄積期間となるように前記駆動手段を制御し、前記第２のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が前記第１の電荷蓄積期間よりも短い第２の電荷蓄積期間となるように前記駆動手段を制御すると共に、連続する２フィールド間での前記読み出し開始行の変更行数が、前記第１の電荷蓄積期間から前記第２の電荷蓄積期間を引いた差を前記ＣＭＯＳイメージセンサの１行あたりの読み出しにかかる時間で除した商以下となるように、前記読み出し開始行の変更行数を制御することを特徴とする撮像装置。
前記制御手段は、手ブレ補正無しの場合に前記第１のモードで制御し、手振れ補正ありの場合に前記第２のモードで制御することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、電子ズームを実施しない場合に前記第１のモードで制御し、電子ズームを実施する場合に前記第２のモードで制御することを特徴とする請求項１に記載の撮像装置。
光電変換手段と、前記光電変換手段をリセットするリセット手段とを含む、複数画素を備えたＣＭＯＳイメージセンサと、予め決められたフィールド期間の間に、前記リセット手段により前記光電変換手段を行毎に順次リセットし、前記光電変換手段で発生した電荷信号を行毎に順次読み出すように前記ＣＭＯＳイメージセンサを駆動する駆動手段とを有する撮像装置の制御方法であって、
各フィールドの読み出し開始行が常に一定になるように前記ＣＭＯＳイメージセンサを駆動する第１のモードと、各フィールドの読み出し開始行を前記フィールド毎に変更可能に前記ＣＭＯＳイメージセンサを駆動する第２のモードとのいずれかにより前記駆動手段を制御する制御工程を有し、
前記制御工程では、前記第１のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が第１の電荷蓄積期間となるように前記駆動手段を制御し、前記第２のモードにおいて、前記フィールド期間に占める前記光電変換手段の電荷蓄積期間が前記第１の電荷蓄積期間よりも短い第２の電荷蓄積期間となるように前記駆動手段を制御すると共に、連続する２フィールド間での前記読み出し開始行の変更行数が、前記第１の電荷蓄積期間から前記第２の電荷蓄積期間を引いた差を前記ＣＭＯＳイメージセンサの１行あたりの読み出しにかかる時間で除した商以下となるように、制御することを特徴とする撮像装置の制御方法。