JP5794176B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法及びそのプログラムに関するものである。

近年、ＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像装置（以下、ＣＭＯＳイメージセンサという）を用いたデジタルカメラやビデオカメラが一般に普及している。ＣＭＯＳイメージセンサは、垂直方向と水平方向とに二次元配列された画素群の中からＸ走査（垂直走査）、Ｙ走査（水平走査）によって各画素の信号を出力させる構造である。

ＣＭＯＳイメージセンサの駆動方法としては、例えば下記特許文献１に記載されているローリングシャッタ方式が一般的である。ローリングシャッタ方式は、垂直方向と水平方向とに二次元配列された画素群を１フレーム期間にライン毎に順に走査し、各画素の信号を順に読み出すものである。

図６は、従来のローリングシャッタ方式によるＣＭＯＳイメージセンサの動作タイミングを示すタイミングチャートである。図において、１，・・・ｎ−１，ｎ，ｎ＋１，・・・Ｎはライン番号である。通常、ＣＭＯＳイメージセンサは、リセットパルス（Vr）、転送パルス（Vrd）、選択パルス（Vsel）からなる駆動信号によって駆動される。すなわち各ラインの画素は、リセットパルス（Vr）、転送パルス（Vrd）の入力タイミングで露光開始となり、その後、リセットパルス（Vr）、転送パルス（Vrd）、選択パルス（Vsel）の入力タイミングで露光終了となり、その直後の一定の読み出し期間１Ｈに１ライン分の画素信号が読み出される。

この読み出し期間１Ｈは、具体的には「１ライン分の画素信号の読み出し期間＋水平ブランキング期間」である。そして、読み出し期間１Ｈ×ライン数に相当する期間が、動画撮影を行う場合における最短の１フレーム期間となる。したがって、動画撮影に際しては、例えば画素信号を読み出すラインを一定のライン間隔で間引く間引読み出しを行うことにより、より高速なフレームレートでの撮影が可能となる。

特開２００８−２８８９０４号公報

しかしながら、ＣＭＯＳイメージセンサをローリングシャッタ方式で駆動して動画撮影を行う場合、設定可能な最長の露光時間（シャッタースピード）は１フレーム期間とほぼ等しい時間となる。そのため、フレームレートが高速になればなるほど露出の追従範囲が狭くなる。したがって、被写体の明るさによっては適切な露出時間が確保できず、その結果撮影される動画像が暗くなる場合があるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、高速動画撮影を行う場合における露出の追従範囲を拡げることが可能な撮像装置、撮像方法及びそのプログラムを提供することを目的とする。

前記課題を解決するため、本発明においては、垂直方向と水平方向とに二次元配列された画素群を有し、フレーム画像の生成に係る画素信号をローリングシャッタ方式によりライン単位で読み出す撮像部と、１フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをグループ分けするグループ化手段と、動画撮影において、前記撮像部から所定のフレーム周期で連続して複数のフレーム画像を読み出す場合に、各々のフレーム画像で読み出し対象とする複数ラインを含むグループを、前記グループ化手段によりグループ分けされた複数のグループの中から、グループ数に対応する周期で切り替える駆動手段とを備え、前記グループ化手段は、前記グループ分けのグループ数を、解像度を優先することが選択された場合には、ユーザが所望するフレーム画像の解像度を満たすライン数と撮像部全体のライン数とに基づいて決定し、フレームレートを優先することが選択された場合には、ユーザが所望するフレームレートを満たすフレーム時間と、被写体の明るさに応じて各グループの画素群に確保すべき露光時間とに基づいて決定するように、要求されるフレームレート、各グループの画素群に確保すべき露光時間、フレーム画像の解像度を含む条件に応じて変化させることを特徴とする。

本発明によれば、高速動画撮影を行う場合における露出の追従範囲を拡げることが可能となる。

本発明を適用したＣＭＯＳイメージセンサ、及び撮像部の構成例を示す図である。 垂直シフトレジスタの回路構成図である。 撮像部における画素群を複数ラインでグループ分けしたときの各グループを示す模式図である。 本発明の撮像方法で動画撮影を行うときのタイミングチャートである。 グループ分割数の決定手順の例を示すフローチャートである。 従来の撮像方法で動画撮影を行うときのタイミングチャートである。

以下、本発明の実施形態について説明する。図１は、本発明に係るＣＭＯＳイメージセンサ１を示す概略構成図である。

ＣＭＯＳイメージセンサ１は、多数の画素２が垂直方向と水平方向とに二次元配列された撮像部３と、駆動手段である垂直シフトレジスタ４、列ＣＤＳ（Correlated Double Sampling）回路５、水平シフトレジスタ６、ＴＧ（Timing Generator）７等を有する構成である。撮像部３には、各画素２に対し、列毎に垂直信号線８が配線され、行毎に転送信号線９、リセット信号線１０、選択信号線１１が配線されている。

また、図１に示したように、各画素２は、フォトダイオードＰＤ、転送トランジスタＲＧＴ、増幅トランジスタＡｍｐ、画素選択トランジスタＳｅｌ、リセットトランジスタＲＧ、フローティングディフュージョンＦＤから構成される。

フォトダイオードＰＤは、入射光に応じた信号電荷を生成し蓄積する光電変換部である。転送トランジスタＲＧＴは、転送信号線９からゲートに印加される転送パルス（Vrd-n）が高レベルの期間にオンし、フォトダイオードＰＤに蓄積されている信号電荷をフローティングディフュージョンＦＤに転送する。

増幅トランジスタＡｍｐは、フローティングディフュージョンＦＤに転送された信号電荷に応じた電圧がゲートに入力されることにより、フローティングディフュージョンＦＤに転送された信号電荷に応じた信号を生成する。

画素選択トランジスタＳｅｌは、選択信号線１１からゲートに印加される選択パルス（Vsel-n）が高レベルの期間にオンし、ソースに接続された垂直信号線８と増幅トランジスタＡｍｐのソースとの間を導通させる。これにより、特定の画素２の信号が垂直信号線８に出力される。

リセットトランジスタＲＧは、リセット信号線１０からゲートに印加されるリセットパルス（Vr-n）が高レベルの期間にオンし、フローティングディフュージョンＦＤの電荷をリセットする。

一方、垂直シフトレジスタ４は、前述した転送パルス（Vrd-n）、選択パルス（Vsel-n）、リセットパルス（Vr-n）からなる駆動信号を適宜発生し、撮像部３の画素群をライン（行）単位で垂直方向（上下方向）に走査しつつ、各ラインの画素２に対してフォトダイオードＰＤにおける信号電荷の掃き捨て、及び新たな信号電荷の蓄積を開始するためのシャッタ走査、及び各ラインの画素２に対して信号読み出しを行うための読み出し走査を行う。シャッタ走査によってフォトダイオードＰＤの不要な電荷がリセットされたタイミングから、読み出し走査により信号の読み出しが開始されるタイミングまでの期間が露光期間である。なお、垂直シフトレジスタ４の詳細については後述する。

列ＣＤＳ回路５は、撮像部３の各列に配置され、垂直シフトレジスタ４によって選択された読み出し行の各画素２から垂直信号線８に出力される信号に対し、ＣＤＳ処理によるリセットノイズや各画素２に固有の固定パターンノイズの除去を行い、処理後の画素信号を一時的に保持する。

水平シフトレジスタ６は、列ＣＤＳ回路５の出力端に接続された図示しない水平選択スイッチによって水平走査を行い、列ＣＤＳ回路５に一時的に保持されている１ライン分の画素信号を水平信号線１２に順に出力する。

ＴＧ７は、垂直シフトレジスタ４、列ＣＤＳ回路５、水平シフトレジスタ６の動作の基準となる垂直同期信号、水平同期信号を含むタイミング信号を生成し、垂直シフトレジスタ４、水平シフトレジスタ６に供給する。

また、垂直シフトレジスタ４、及びＴＧ７の動作はＣＰＵ１３により制御される。ＣＰＵ１３は、ＣＭＯＳイメージセンサ１を備えた動画撮影機能を有するデジタルカメラやビデオカメラ等を制御するものである。

次に、本実施形態における垂直シフトレジスタ４の詳細について説明する。図２は、垂直シフトレジスタ４の回路構成を示すブロック図である。

図２に示したように、垂直シフトレジスタ４には、全ライン数設定レジスタ４１、グループ分割レジスタ４２、露光時間設定レジスタ４３の３種類のレジスタが設けられている。３種類のレジスタ４１，４２，４３は、ＣＭＯＳイメージセンサ１の駆動時にＣＰＵ１３により適宜設定される任意のパラメータ等を保持するものである。

すなわち全ライン数設定レジスタ４１は、フレーム画像の生成に使用する画素のライン数を全ライン数（Lall）として保持する。グループ分割レジスタ４２は、撮像部３の画素群を複数ラインからなる複数グループに分割する際のグループ分割数（N）を保持する。露光時間設定レジスタ４３は、撮像部３においてフレーム画像の生成に使用する各画素２の露光時間（Exp-time）を保持する。なお、露光時間設定レジスタ４３には、ＣＰＵ１３により設定された露光時間が、ＴＧ７から垂直シフトレジスタ４へ供給される水平同期信号（H-sync）のパルス数に換算した値として保持される。

また、垂直シフトレジスタ４には、グループ内ライン数算出回路４４、露光開始タイミング発生回路４５、露光終了タイミング発生回路４６、露光開始タイミングカウンタ４７、露光終了タイミングカウンタ４８、露光開始ライン番号生成回路４９、露光終了ライン番号生成回路５０、駆動信号出力回路５１が設けられている。

グループ内ライン数算出回路４４は、前記グループ分割数（N）と前記全ライン数（Lall）とから、各グループにおけるライン数（Lgrp）を下記式（１）により算出して保持する。
Lgrp ＝ Lall ／ N ・・・（式１）

露光開始タイミング発生回路４５は、ＴＧ７から垂直同期信号（V-sync）が入力する毎に、グループ内ライン数（Lgrp）分の露光開始タイミング信号（Timing-s）を順次水平同期信号（H-sync）に同期させながら出力する。

露光開始タイミングカウンタ４７は、露光開始タイミング信号（Timing-s）が入力する毎に、カウント値（Count-s）をインクリメントしながら出力し、カウント値（Count-s）が全ライン数（Lall）に達する毎に０に初期化する。

露光開始ライン番号生成回路４９は、露光開始タイミングカウンタ４７のカウント値（Count-s）と、グループ内ライン数（Lgrp）と、グループ分割数（N）とから露光開始ライン番号（Line-s）を下記式（２）により算出し、駆動信号出力回路５１に出力する。
Line-s ＝ int｛ Count-s ／ Lgrp ｝＋｛ Count-s mod Lgrp ｝× N
・・・（式２）
（但し、int は、商（整数部）を求める関数、mod は、割り算の余りを求める関数。）

露光終了タイミング発生回路４６は、順次入力される露光開始タイミング信号（Timing-s）を露光時間（Exp-time）だけ遅延させた露光終了タイミング信号（Timing-e）を順次出力する。

露光終了タイミングカウンタ４８は、露光終了タイミング信号（Timing-e）が入力される毎に、カウント値（Count-e）をインクリメントしながら出力し、カウント値（Count-e）が全ライン数（Lall）に達する毎に０に初期化する。

露光終了ライン番号生成回路５０は、露光終了タイミングカウンタ４８のカウント値（Count-e）と、グループ内ライン数（Lgrp）と、グループ分割数（N）とから露光終了ライン番号（Line-e）を下記式（３）により算出し、駆動信号出力回路５１に出力する。
Line-e ＝ int｛ Count-e ／ Lgrp ｝＋｛ Count-e mod Lgrp ｝× N
・・・（式３）
（但し、int は、商（整数部）を求める関数、mod は、割り算の余りを求める関数。）

駆動信号出力回路５１は、露光開始タイミング信号（Timing-s）が入力する毎に、露光開始ライン番号（Line-s）で選択されるラインに対応する駆動信号、すなわちリセットパルス（Vr-n）、転送パルス（Vrd-n）を、露光開始を示す状態で順に出力する。また、駆動信号出力回路５１は、露光終了タイミング信号（Timing-e）が入力する毎に、露光終了ライン番号（Line-e）で選択されるラインに対応する駆動信号、すなわちリセットパルス（Vr-n）、転送パルス（Vrd-n）、選択パルス（Vsel-n）を露光終了を示す状態で順に出力する。

そして、ＣＭＯＳイメージセンサ１においては、動画撮影時に垂直シフトレジスタ４が後述する動作によって、撮像部３をローリングシャッタ方式で駆動し、各画素２から動画像を構成するフレーム画像の生成に係る画素の信号をライン単位で順に読み出す。その際、垂直シフトレジスタ４は、従来とは異なり、フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをフレーム単位で周期的に変化させることにより、フレーム周期よりも長い周期で各ラインの画素から画素信号を出力させる。

すなわち本実施形態において垂直シフトレジスタ４は、フレーム画像の生成に係る画素群を、各々が所定のライン間隔で配置された複数ラインからなる複数グループに分割し、画素信号の読み出し対象となるグループをフレーム毎に切り替えるとともに、各グループの画素群から１フレーム画像の生成に係る画素信号をグループ数に対応する周期で順に出力させる。

以下、垂直シフトレジスタ４の動作を図に従い具体的に説明する。ここでは便宜上、撮像部３における画素群の総ライン数が図３に示すように”１５”であるものとする。また、ＣＰＵ１３によって、全ライン数設定レジスタ４１にはフレーム画像の生成に使用する画素のライン数である全ライン数（Lall）として”１５”が設定され、グループ分割レジスタ４２にはグループ分割数（N）として”３”が設定されたものとする。

つまり、垂直シフトレジスタ４が、撮像部３の全画素を、図３に示すように各々が３ライン間隔で配置された５ラインからなる第１のグループ、第２のグループ、第３のグループに分割して駆動する場合について説明する。図４は、その場合の駆動タイミングを示すタイミングチャートである。

係る駆動時においては、グループ内ライン数算出回路４４において算出される各グループにおけるライン数（Lgrp）が”５”であり、露光開始タイミング発生回路４５は、垂直同期信号（V-sync）が入力する毎に、水平同期信号（H-sync）に同期して５ライン分の露光開始タイミング信号（Timing-s）を順に出力する。その間、露光開始タイミング信号（Timing-s）が入力する毎に、露光開始タイミングカウンタ４７のカウント値（Count-s）が”０”〜”１４”に繰り返し変化する。

そして、駆動開始当初の垂直同期信号（V-sync）の入力直後において露光開始タイミングカウンタ４７のカウント値（Count-s）が”０”〜”４”に変化する間には、露光開始ライン番号生成回路４９において、露光開始ライン番号（Line-s）として”０，３，６，９，１２”が順に生成される。これに伴い、駆動信号出力回路５１から、ライン番号が”０”のラインを含む図３に示した第１のグループに属する各ラインの画素群に対し、リセットパルス（Vr-n）、転送パルス（Vrd-n）が順に出力される。つまり第１のグループに属する各ラインがシャッタ走査され、各ラインの画素群が順に露光を開始する。

また、次の垂直同期信号（V-sync）の入力直後において露光開始タイミングカウンタ４７のカウント値（Count-s）が”５”〜”９”に変化する間には、露光開始ライン番号生成回路４９において、露光開始ライン番号（Line-s）として”１，４，７，１０，１３”が順に生成される。これに伴い、駆動信号出力回路５１から、ライン番号が”１”のラインを含む図３に示した第２のグループに属する各ラインの画素群に、リセットパルス（Vr-n）、転送パルス（Vrd-n）が順に出力される。つまり第２のグループに属する各ラインがシャッタ走査され、各ラインの画素群が順に露光を開始する。

さらに、次の垂直同期信号（V-sync）の入力直後において露光開始タイミングカウンタ４７のカウント値（Count-s）が”１０”〜”１４”に変化する間には、露光開始ライン番号生成回路４９において、露光開始ライン番号（Line-s）として”２，５，８，１１，１４”が順に生成される。これに伴い、駆動信号出力回路５１から、ライン番号が”２”のラインを含む図３に示した第３のグループに属する各ラインの画素群に、リセットパルス（Vr-n）、転送パルス（Vrd-n）が順に出力される。つまり第３のグループに属する各ラインがシャッタ走査され、各ラインの画素群が順に露光を開始する。

また、垂直シフトレジスタ４においては、上記の動作と並行して露光終了タイミング発生回路４６が、順次入力される露光開始タイミング信号（Timing-s）の入力タイミングから、露光時間設定レジスタ４３に設定された露光時間（Exp-time）だけ遅延させたタイミング、つまり露光時間（Exp-time）に対応する平同期信号（H-sync）のパルス数分だけ遅延させたタイミングで露光終了タイミング信号（Timing-e）を順に出力する。

その間、露光終了タイミング信号（Timing-e）が入力する毎に、露光終了タイミングカウンタ４８のカウント値（Count-ｅ）が”０”〜”１４”に繰り返し変化する。

そして、駆動開始当初の垂直同期信号（V-sync）の入力タイミングから露光時間（Exp-time）だけ遅延した後のタイミングで露光終了タイミングカウンタ４８のカウント値（Count-ｅ）が”０”〜”４”に変化する間、露光終了ライン番号生成回路５０において、露光終了ライン番号（Line-ｅ）として”０，３，６，９，１２”が順に生成される。

これに伴い、駆動信号出力回路５１から第１のグループに属する各ラインの画素群に対して、リセットパルス（Vr-n）、転送パルス（Vrd-n）、選択パルス（Vsel-n）がライン毎に順に出力される。つまり第１のグループに属する各ラインに対し読み出し走査が行われ、各ラインの画素信号が１番目のフレーム画像の生成に係る画素信号として順に読み出される。

また、次の垂直同期信号（V-sync）の入力タイミングから露光時間（Exp-time）だけ遅延した後のタイミングで、露光終了タイミングカウンタ４８のカウント値（Count-ｅ）が”５”〜”９”に変化する間には、露光終了ライン番号生成回路５０において、露光終了ライン番号（Line-ｅ）として”１，４，７，１０，１３”が順に生成される。

これに伴い、駆動信号出力回路５１から第２のグループに属する各ラインの画素群に対して、リセットパルス（Vr-n）、転送パルス（Vrd-n）、選択パルス（Vsel-n）がライン毎に順に出力される。つまり第２のグループに属する各ラインに対し読み出し走査が行われ、各ラインの画素信号が２番目のフレーム画像の生成に係る画素信号として順に読み出される。

さらに、次の垂直同期信号（V-sync）の入力タイミングから露光時間（Exp-time）だけ遅延した後のタイミングで、露光終了タイミングカウンタ４８のカウント値（Count-ｅ）が”１０”〜”１４”に変化する間には、露光終了ライン番号生成回路５０において、露光終了ライン番号（Line-ｅ）として”２，５，８，１１，１４”が順に生成される。

これに伴い、駆動信号出力回路５１から第３のグループに属する各ラインの画素群に対して、リセットパルス（Vr-n）、転送パルス（Vrd-n）、選択パルス（Vsel-n）がライン毎に順に出力される。つまり第３のグループに属する各ラインに対し読み出し走査が行われ、各ラインの画素信号が３番目のフレーム画像の生成に係る画素信号として順に読み出される。

以後、上記と同様の動作が繰り返されることにより、垂直同期信号（V-sync）が入力する毎（フレーム毎）に、各グループに属する複数のラインの画素群の信号がフレーム周期よりも長い３フレーム周期で順に読み出される。すなわち、各フレーム画像の生成に係る画素信号として３分の１に間引かれたライン数の画素信号が順に読み出されるとともに、間引かれるラインがフレーム毎に順に切り替わる。

これにより、画素信号の間引読み出しを行うことによって高速フレームレートでの動画撮影ができる。同時にフレームレートが設定可能な最大のフレームレート、つまり１フレーム期間が最短である場合においても、設定可能な最大の露光時間（Exp-time（Max））として、画素信号の間引読み出しを行わない場合と同様の時間が確保される。

したがって、高速フレームレートでの動画撮影時においても露出の追従範囲が拡く、従来であれば適切な露出時間が確保できないような暗い被写体を撮影する場合であっても適切な露出時間を確保することができ、撮影結果として最適な明るさの動画像を得ることができる。

ところで、動画撮影時における露出の追従範囲は、同一グループの複数ラインの画素から画素信号を読み出す周期が長いほど広くなるが、グループ分割数が多くなるほど画質が低下する。そのため、グループ分割数は、フレームレート、及び／又は適切な露出を得るために確保すべき露光時間や、動画像に要求される解像度に応じた範囲内で可能な限り少なくすることが望ましい。これに関し、本実施形態においては、グループ分割数がグループ分割レジスタ４２に適宜設定することができる構成であり、グループ分割数が制御可能であることから、上記の要求にも対応可能である。

グループ分割レジスタ４２に設定するグループ分割数の決定する方法については任意であるが、例えばＣＰＵ１３に図５に示した処理によってグループ分割数を決定させれば、グループ分割数をより適切なものとすることができる。

図５は、ＣＭＯＳイメージセンサ１を備えた動画撮影機能を有するデジタルカメラやビデオカメラ等において、動画撮影に際してＣＰＵ１３が、例えばユーザの要求に応じて解像度とフレームレートとのいずれかを一方を優先してグループ分割数を決定する場合の処理を示すフローチャートである。

以下、処理内容を説明すると、ＣＰＵ１３は、解像度を優先する場合においては（ステップＳ１：ＹＥＳ）、ユーザが所望する解像度を満たす出力ライン数Ｌを算出する（ステップＳ２）。次に、ＣＰＵ１３は、ＣＭＯＳイメージセンサ１の画素の全体のライン数をＬallとした時に、下記式（４）を満たすＮ（整数）の最大値を求める（ステップＳ３）。
Ｎ ＜（Ｌall÷Ｌ） ・・・（式４）

そして、ＣＰＵ１３は、求めたＮをグループ分割数として決定し、それをグループ分割レジスタ４２に設定する（ステップＳ４）。これにより要求される解像度に対応したより適切なグループ分割数を決定することができる。

一方、ＣＰＵ１３は、フレームレートを優先する場合においては（ステップＳ１：ＮＯ）、ユーザが所望するフレームレートを満たすフレーム時間Ｔframeを算出する（ステップＳ５）。次に、ＣＰＵ１３は、ＡＥ（Auto Exposure）処理により被写体の明るさに応じた適切なシャッタースピードＴshutを算出した後（ステップＳ６）、下記式（５）を満たすＮ（整数）の最小値を求める（ステップＳ７）。
Ｎ ＞（Ｔshut÷Ｔframe） ・・・（式５）

そして、ＣＰＵ１３は、求めたＮをグループ分割数として決定し、それをグループ分割レジスタ４２に設定する（ステップＳ４）。これにより要求されるフレームレートに対応したより適切なグループ分割数を決定することができる。その結果、撮影結果として、画質の低下を必要かつ最小限に抑えつつ、最適な明るさの動画像を得ることができる。

なお、ここでは、フレームレートを優先する場合、グループ分割数としてシャッタースピードを勘案したグループ分割数、つまり最適な明るさの動画像を得ることができるグループ分割数を決定する場合について説明した。しかし、グループ分割数は、シャッタースピードを勘案することなく、単純にフレームレートのみに対応したものとしてもよい。また、フレームレートが固定である場合においては、グループ分割数は、シャッタースピードのみに基づき、適切な露出が得られる露光時間の確保が可能となる最小値としてもよい。

また、本実施形態においては、便宜上、ＣＭＯＳイメージセンサ１によりフレーム画像としてモノクロ画像を撮像することを前提とした説明を行ったが、言うまでもなく本発明はフレーム画像としてカラー画像を撮像する場合においても有効である。

その場合、例えばＣＭＯＳイメージセンサ１がベイヤ配列のフィルタアレイを備えた構成であれば、撮像部３には、ＧとＢの画素が交互に並んだＧＢ行と、ＧとＲの画素が交互に並んだＧＲ行とがＶ方向に交互に配列されている。したがって、互いに隣接するＧＢ行とＧＲ行とからなる一組のラインを、本実施形態で説明した各グループにおける１ライン分として、各グループからフレーム画像の生成に係る画素の信号をライン単位で順に読み出すようにすれば、フレーム画像としてカラー画像を撮像することができる。

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。

以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
垂直方向と水平方向とに二次元配列された画素群を有し、ローリングシャッタ方式により各画素の信号をライン単位で読み出す撮像装置において、フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをフレーム単位で周期的に切り替えることにより、フレーム周期よりも長い周期で各ラインの画素から画素信号を出力させる駆動手段を備えたことを特徴とする撮像装置。
［請求項２］
前記駆動手段は、各ラインに対して、露光を開始させるタイミングと画素信号を出力させるタイミングを繰り返し指示し、露光を開始させてから画素信号を出力させるまでの期間である露光時間の最大長を、前記フレーム周期よりも長く設定可能にしたことを特徴とする請求項１記載の撮像装置。
［請求項３］
前記駆動手段は、１フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをグループ分けするとともに、グループ数に対応する周期で各ラインの画素から画素信号を出力させることを特徴とする請求項１または２に記載の撮像装置。
［請求項４］
前記駆動手段は、前記画素群からなる全ラインを前記グループ数に対応するライン間隔で異なるグループに順に割り当てることを特徴とする請求項３記載の撮像装置。
［請求項５
前記駆動手段は、同一グループ内の全ラインの画素の露光を、同一のフレーム期間に順次開始、又は終了させることを特徴とする請求項３記載の撮像装置。
［請求項６］
前記グループ数を制御する駆動制御手段を備えたことを特徴とする請求項１乃至５いずれか記載の撮像装置。
［請求項７］
前記駆動制御手段は、前記グループ数を、要求されるフレームレートに応じて制御することを特徴とする請求項６記載の撮像装置。
［請求項８］
前記駆動制御手段は、前記グループ数を各グループの画素群に確保すべき露光時間に応じて制御することを特徴とする請求項６記載の撮像装置。
［請求項９］
前記駆動制御手段は、前記グループ数を、要求されるフレームレートと、各グループの画素群に確保すべき露光時間とに応じて制御することを特徴とする請求項６記載の撮像装置。
［請求項１０］
前記駆動制御手段は、前記グループ数を、フレーム画像の解像度に応じて制御することを特徴とする請求項６記載の撮像装置。
［請求項１１］
前記各ラインの画素から画素信号を出力させる周期を超えない範囲で、前記露光時間を任意に設定する露光制御手段を更に備え、前記駆動制御手段は、前記グループ数を、前記露光制御手段により設定可能な最大露光時間に応じて設定することを特徴とする請求項６記載の撮像装置。
［請求項１２］
垂直方向と水平方向とに二次元配列された画素群を有し、ローリングシャッタ方式により各画素の信号をライン単位で読み出すとともに、１フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをフレーム単位で周期的に切り替えることにより、フレーム周期よりも長い周期で各ラインの画素から画素信号を出力させることを特徴とする撮像方法。

１ ＣＭＯＳイメージセンサ
２ 画素
３ 撮像部
４ 垂直シフトレジスタ
５ 列ＣＤＳ回路
６ 水平シフトレジスタ
７ ＴＧ
８ 垂直信号線
９ 転送信号線
１０ リセット信号線
１１ 選択信号線
１２ 水平信号線
１３ ＣＰＵ
４１ レジスタ
４１ 全ライン数設定レジスタ
４２ グループ分割レジスタ
４３ 露光時間設定レジスタ
４４ グループ内ライン数算出回路
４５ 露光開始タイミング発生回路
４６ 露光終了タイミング発生回路
４７ 露光開始タイミングカウンタ
４８ 露光終了タイミングカウンタ
４９ 露光開始ライン番号生成回路
５０ 露光終了ライン番号生成回路
５１ 駆動信号出力回路
Ａｍｐ 増幅トランジスタ
ＦＤ フローティングディフュージョン
ＰＤ フォトダイオード
ＲＧ リセットトランジスタ
ＲＧＴ 転送トランジスタ
Ｓｅｌ 画素選択トランジスタ

Claims (10)

1. 垂直方向と水平方向とに二次元配列された画素群を有し、フレーム画像の生成に係る画素信号をローリングシャッタ方式によりライン単位で読み出す撮像部と、
   １フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをグループ分けするグループ化手段と、
   動画撮影において、前記撮像部から所定のフレーム周期で連続して複数のフレーム画像を読み出す場合に、各々のフレーム画像で読み出し対象とする複数ラインを含むグループを、前記グループ化手段によりグループ分けされた複数のグループの中から、グループ数に対応する周期で切り替える駆動手段と
   を備え、
   前記グループ化手段は、前記グループ分けのグループ数を、解像度を優先することが選択された場合には、ユーザが所望するフレーム画像の解像度を満たすライン数と撮像部全体のライン数とに基づいて決定し、フレームレートを優先することが選択された場合には、ユーザが所望するフレームレートを満たすフレーム時間と、被写体の明るさに応じて各グループの画素群に確保すべき露光時間とに基づいて決定するように、要求されるフレームレート、各グループの画素群に確保すべき露光時間、フレーム画像の解像度を含む条件に応じて変化させる
   ことを特徴とする撮像装置。
2. 前記各ラインの画素から画素信号を出力させる周期を超えない範囲で、前記露光時間を任意に設定する露光制御手段を更に備え、
   前記グループ化手段は、前記グループ数を、前記露光制御手段により設定可能な最大露光時間に応じて変化させることを特徴とする請求項１記載の撮像装置。
3. 前記動画撮影におけるフレーム周期を任意に設定するフレーム周期設定手段を更に備え、
   前記グループ化手段は、前記グループ数を、前記フレーム周期設定手段により設定されたフレーム周期と、各グループの画素群に確保すべき露光時間の両方を含む条件に応じて変化させることを特徴とする請求項１または２に記載の撮像装置。
4. 前記駆動手段は、前記フレームレート設定手段により設定されたフレームレートよりも長い周期で各ラインの画素から画素信号を出力させることを特徴とする請求項３記載の撮像装置。
5. 前記グループ化手段は、前記グループ数を、フレーム画像の解像度を含む条件に応じて変化させることを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記駆動手段は、前記画素群からなる全ラインを前記グループ数に対応するライン間隔で異なるグループに順に割り当てることを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記駆動手段は、各ラインに対して、露光を開始させるタイミングと画素信号を出力させるタイミングを繰り返し指示し、露光を開始させてから画素信号を出力させるまでの期間である露光時間の最大長を、動画撮影における前記所定のフレーム周期よりも長く設定可能にしたことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
8. 前記駆動手段は、同一グループ内の全ラインの画素の露光を、同一のフレーム期間に順次開始、又は終了させることを特徴とする請求項７記載の撮像装置。
9. 垂直方向と水平方向とに二次元配列された画素群を有する撮像部から、フレーム画像の生成に係る画素信号をローリングシャッタ方式によりライン単位で読み出す処理と、１フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをグループ分けする処理と、動画撮影において、前記撮像部から所定のフレーム周期で連続して複数のフレーム画像を読み出す場合に、各々のフレーム画像で読み出し対象とする複数ラインを含むグループを、前記複数のグループの中から、グループ数に対応する周期で切り替える処理とを含み、前記グループ分けのグループ数を、解像度を優先することが選択された場合には、ユーザが所望するフレーム画像の解像度を満たすライン数と撮像部全体のライン数とに基づいて決定し、フレームレートを優先することが選択された場合には、ユーザが所望するフレームレートを満たすフレーム時間と、被写体の明るさに応じたシャッタースピードとに基づいて決定するように、要求されるフレームレート、各グループの画素群に確保すべき露光時間、フレーム画像の解像度を含む条件に応じて変化させることを特徴とする撮像方法。
10. コンピュータに、
    垂直方向と水平方向とに二次元配列された画素群を有する撮像部から、フレーム画像の生成に係る画素信号をローリングシャッタ方式によりライン単位で読み出す処理と、１フレーム画像の生成に係る画素信号の読み出し対象とする複数ラインをグループ分けする処理と、動画撮影において、前記撮像部から所定のフレーム周期で連続して複数のフレーム画像を読み出す場合に、各々のフレーム画像で読み出し対象とする複数ラインを含むグループを、前記複数のグループの中から、グループ数に対応する周期で切り替える処理とを実行させ、前記グループ分けのグループ数を、解像度を優先することが選択された場合には、ユーザが所望するフレーム画像の解像度を満たすライン数と撮像部全体のライン数とに基づいて決定し、フレームレートを優先することが選択された場合には、ユーザが所望するフレームレートを満たすフレーム時間と、被写体の明るさに応じたシャッタースピードとに基づいて決定するように、要求されるフレームレート、各グループの画素群に確保すべき露光時間、フレーム画像の解像度を含む条件に応じて変化させることを特徴とするプログラム。

Images