JP7252730B2 - 撮像制御装置及び撮像素子の駆動方法 - Google Patents

Description

本発明は、撮像装置及び撮像素子の駆動方法に関する。

デジタルカメラなどの撮像装置において、非常に明るい環境下での撮影のために、入射光の照度を下げて撮影する技法が知られている。この技法は、例えば、明るい環境下において、絞りを開いた被写界深度の浅い表現をする際や、長秒露光により動く被写体の軌跡を飽和することなく表現する際などに用いられ、従来はＮＤフィルタ等の光学フィルタを用いて行われていた。

一方、特許文献１には、暗電流の生成を抑制し、混色や感度不均一性を低減するために、光電変換部に蓄積しておく電荷量を低くしておく固体撮像素子の駆動方法が開示されている。この駆動方法によれば、光電変換部により変換された電荷を蓄積部に複数回転送し、複数回転送された電荷を蓄積部で蓄積して、まとめて出力する。

特開２０１０－１５７８９３号公報

特許文献１で提案されている技術では、被写体輝度によっては、１フレーム期間に行われる複数回の電荷蓄積における一回当たりの蓄積時間が短くなる場合がある。そのような場合、撮像装置で制御可能な最短の露光時間の分解能との乖離が生じ、微細な光量調整ができない。

しかしながら、特許文献１の撮像装置では、高輝度環境下で光量を大きく減衰させたい場合の撮影において、１フレーム期間に行われる複数回の露光の一回当たりの時間がごく短いものとなってしまう。このとき、カメラの露光制御部が制御可能な最小単位の露光時間に対し、誤差が出るほど露光時間が短い場合、意図した露光量から誤差が生じ、微細な光量調整ができない問題がある。

本発明は上記問題点を鑑みてなされたものであり、応答性良く、被写体の輝度に応じた電荷蓄積時間の微細な調整を行うことを目的とする。

上記目的を達成するために、本発明の撮像制御装置は、撮像素子と、被写体の輝度を測定する測定手段と、前記輝度に基づいて、各フレーム期間における電荷の蓄積時間を決定する決定手段と、前記測定手段により測定した輝度に基づいて、前記撮像素子が電荷蓄積を行う動作パターンを、予め決められた複数の動作パターンから選択する選択手段と、前記選択手段により選択された動作パターンで前記撮像素子を駆動した場合の各フレーム期間における合計の蓄積時間が、前記決定手段により決定された蓄積時間に最も近づくように、１回あたりの蓄積時間を設定する設定手段と、を有し、前記複数の動作パターンは、各フレーム期間における電荷蓄積の回数が互いに異なり、前記選択手段は、前記輝度が第１の値よりも低い第２の値であるとき、前記第１の値であるときに比べて、前記電荷蓄積の回数が多い動作パターンを選択することを特徴とする。
また、本発明の別の一側面によれば、本発明の撮像制御装置は、撮像素子と、被写体の輝度を測定する測定手段と、前記輝度に基づいて、各フレーム期間における電荷の蓄積時間を決定する決定手段と、前記測定手段により測定した輝度に基づいて、前記撮像素子が電荷蓄積を行う動作パターンを、予め決められた複数の動作パターンから選択する選択手段と、前記選択手段により選択された動作パターンで前記撮像素子を駆動した場合の各フレーム期間における合計の蓄積時間が、前記決定手段により決定された蓄積時間に最も近づくように、１回あたりの蓄積時間を設定する設定手段と、を有し、前記複数の動作パターンは、前記決定手段により決定された蓄積時間の電荷蓄積を、各フレーム期間に第１の回数に分けて行うように前記撮像素子を駆動する第１の動作パターンと、各フレーム期間に前記第１の回数より少ない第２の回数に分けて行うように前記撮像素子を駆動する第２の動作パターンとを含み、前記選択手段は、前記輝度が予め決められた第１の値よりも低いとき、前記第１の動作パターンを選択することを特徴とする。

本発明によれば、応答性良く、被写体の輝度に応じた電荷蓄積時間の微細な調整を行うことができる。

本発明の第１の実施形態における撮像装置の外観図。 第１の実施形態に係る撮像装置の概略機能構成を示すブロック図。 第１の実施形態における撮像素子の一部構成を示す回路図。 第１の実施形態における撮像素子の駆動シーケンスを示すタイミングチャート。 第１の実施形態における電荷蓄積回数を変えた場合の撮像結果の説明図。 第１の実施形態における撮像動作のフローチャート。 第２の実施形態における撮像素子の駆動シーケンスを示すタイミングチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
本発明の第１の実施形態について説明する。図１は、第１の実施形態における撮像装置１００の外観図であり、図１（ａ）は撮像装置１００の正面図、図１（ｂ）は撮像装置１００の背面図を示している。撮像装置１００は、内部に撮像素子やシャッター装置を収納した撮像装置本体１５１と、内部に絞りを有した撮影光学系１５２を有する。また、その背面及び上面には、撮影情報や映像を表示するため表示部１５３や、各種スイッチが配置されている。

スイッチとしては、主に静止画の撮影を行うために使用するスイッチ１５４、動画撮影を開始／停止するための釦であるスイッチ１５５、撮影モードを選択するための撮影モード選択レバー１５６を有する。更に、撮像装置１００の機能設定を行う機能設定モードへ移行するためのメニューボタン１５７、各種の設定値を変更するためのアップスイッチ１５８とダウンスイッチ１５９、各種の設定値を変更するためのダイアル１６０を有する。また、撮像装置本体１５１内に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するための再生ボタン１６１を有する。

図２は、図１に示す撮像装置１００の概略機能構成を示すブロック図である。撮影光学系１５２は、レンズ１８０及び光量を調節するための絞り１８１を有する。なお、レンズ１８０は、図２では１枚のレンズとして表しているが、通常、フォーカスレンズやズームレンズなどの複数のレンズにより構成されている。光学フィルタ１８３は、絞り１８１と撮像素子１８４との間に設置され、撮像素子１８４に入射する光の波長、及び、撮像素子１８４に伝達する空間周波数を制限する。絞り１８１は、撮像素子１８４から得られる画像信号に対してシステム制御ＣＰＵ１７８が所定の演算を行って画像の明るさを求め、求めた明るさに基づいて求められた露出値に基づいて、絞り制御部１８２によりその開口が制御される。

撮影光学系１５２により結像された被写体の光学像は、光学フィルタ１８３を通過して撮像素子１８４に入射し、電気的な画像信号に変換される。撮像素子１８４は、例えば、Ultra High Definition Televisionの規格を満たすのに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有する。また、本第１の実施形態の撮像素子１８４は、画像信号をデジタル画像データに変換して出力するものとするが、デジタル画像データへの変換は、撮像素子１８４の外部で行っても構わない。

デジタル信号処理部１８７は、撮像素子１８４から出力されたデジタル画像データに各種の補正を行った後、画像データを圧縮する。タイミング発生部１８９は、撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力する。ＣＰＵ１７８は、各種演算を行い、撮像装置１００全体を制御する。

メモリ部１９０は、デジタル信号処理部１８７からＣＰＵ１７８を介して出力されたデジタル画像データや、後述する撮像素子１８４を駆動するための動作パターン等を一時的に記憶するために用いられる。表示部１５３は、表示インターフェース（Ｉ／Ｆ）部１９１を介して撮影された画像を表示する。記録媒体１９３は、着脱可能な半導体メモリ等から構成され、画像データや付加データ等を記録するために用いられ、記録インターフェース（Ｉ／Ｆ）部１９２を介して、記録または読み出しが行われる。外部インターフェース部１９６は、外部コンピュータ１９７等と通信するために用いられる。また、プリンタ１９５は小型インクジェットプリンタ等のプリンタであって、プリントインターフェース（Ｉ／Ｆ）部１９４を介して、撮影された画像がプリンタ１９５に出力される。更に、撮像装置１００は、無線インターフェース部１９８を介して、インターネットなどのコンピュータネットワーク１９９と通信することができる。スイッチ入力部１７９は、スイッチ１５４、スイッチ１５５、及び各種モードの切り替えを行う複数のスイッチを含む。

●画素部の構成
図３は、撮像素子１８４の一部を示す回路図である。図３では、撮像素子１８４の多数の画素のうち、１行１列目（１，１）の画素１３０と任意のｍ行１列目（ｍ，１）の画素１３１を示している。なお、画素１３０と画素１３１の構成は同様であるため、同じ構成要素には同じ参照番号を付している。

画素１３０，１３１は、それぞれ、フォトダイオード（ＰＤ）５００（光電変換部）、第１の転送トランジスタ５０１Ａ、信号保持部５０７Ａ（蓄積部）、第２の転送トランジスタ５０２Ａ、第３の転送トランジスタ５０３を有する。更に、フローティングディフュージョン（ＦＤ）領域５０８、リセットトランジスタ５０４、増幅トランジスタ５０５、選択トランジスタ５０６を有する。

第１の転送トランジスタ５０１Ａは転送パルスφＴＸ１Ａにより制御され、第２の転送トランジスタ５０２Ａは転送パルスφＴＸ２Ａにより制御される。また、リセットトランジスタ５０４はリセットパルスφＲＥＳにより制御され、選択トランジスタ５０６は選択パルスφＳＥＬにより制御される。さらに第３の転送トランジスタ５０３は転送パルスφＴＸ３により制御される。各制御パルスは、不図示の垂直走査回路から送出される。５２０，５２１は電源線、５２３は画素１３０，１３１からの信号を出力する信号出力線である。

●イメージャＮＤ機能
本実施形態においては、撮像素子１８４の電荷蓄積のタイミングを制御することにより、入射した光の減光量を制御する。以下、撮像素子１８４の電荷蓄積のタイミングを制御することにより減光する機能を、「イメージャＮＤ機能」と呼ぶ。このイメージャＮＤ機能は、指定された電荷の蓄積時間を複数回に分けて所定の間隔で間欠的に電荷蓄積を行い、複数回の蓄積時間に得られた電荷を一括して読み出すことで実現する。

図４（ａ）は、撮像素子１８４のイメージャＮＤ機能を実現するように電荷蓄積及び転送を制御する際の動作を説明するためのタイミングチャートであり、転送トランジスタやリセットトランジスタの制御信号等を示している。ここでは、一例として、３０ｆｐｓで動画撮影を行い、１フレーム期間である１／３０秒の間に、１／４８０秒の電荷蓄積を４回行って加算することにより、画像信号を得る場合について説明する。なお、該タイミングチャートに示される電荷蓄積及び転送等のタイミング情報を示す動作パターンは、メモリ部１９０に記憶されている。そして、撮影を行う際にＣＰＵ１７８が、メモリ部１９０から読み出した動作パターンに基づいてタイミング発生部１８９を制御することで、撮像素子１８４の動作を制御する。

なお、撮像素子１８４は、垂直方向に多数行の画素列があり、図４（ａ）では第１行目のタイミングを示しており、各信号の後に付した添え字の（１）は１行目を表している。そして、この１行目の制御を水平同期信号により順次タイミングをずらしながら垂直方向に順に実行することで、所謂、ローリングシャッター駆動による撮像素子１８４の全画素の電荷蓄積及び読み出し動作が行われる。

図４（ａ）において、垂直同期信号φＶの立ち上がり時刻ｔ１及びｔ６は、１フレーム期間が始まることを示す垂直同期信号で、ｔ１からｔ６までの時間が１フレーム期間（１／３０秒）に対応している。また、撮影条件としては、１／３０秒の間に１／４８０秒の蓄積を４回加算することにより、１／１２０秒の露光１回分と等価な露光量を得る場合を示している。

まず、時刻ｔ１において、タイミング発生部１８９にて垂直同期信号φＶがハイレベルになると同時に、水平同期信号φＨがハイレベルになる。垂直同期信号φＶ及び水平同期信号φＨがハイレベルになる時刻ｔ１に同期して、第１行目のリセットパルスφＲＥＳ（１）がローレベルとなると、第１行目のリセットトランジスタ５０４がオフとなる。これにより、ＦＤ領域５０８のリセット状態が解除される。同時に、第１行目の選択パルスφＳＥＬ（１）がハイレベルとなると第１行目の選択トランジスタ５０６がオンとなって、第１行目の画像信号の読み出しが開始される。

そして、時刻ｔ２において、第１行目の転送パルスφＴＸ２（１）がハイレベルとなると、第１行目の第２の転送トランジスタ５０２Ａがオンとなり、信号保持部５０７Ａに保持されていた電荷がＦＤ領域５０８に転送される。これにより、ＦＤ領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、不図示の読み出し回路に供給されて、前フレームで蓄積された第１行目の画像信号（動画）として外部に出力される。

その後、選択パルスφＳＥＬ（１）をローレベルにして選択トランジスタ５０６をオフとし、第１行目の画像信号の読み出しを終了する。また、リセットパルスφＲＥＳ（１）をハイレベルにして、リセットトランジスタ５０４をオンとし、ＦＤ領域５０８をリセットする。この状態において、後述するように転送パルスφＴＸ１（１）をオンにする前に、転送パルスφＴＸ２（１）を再びハイレベルとして、第２の転送トランジスタ５０２Ａをオンとすることで、第１行目の第１の信号保持部５０７Ａを電源電圧にリセットする。

次に、時刻ｔ３において、第１行目の転送パルスφＴＸ３（１）がローレベルとなると、第３の転送トランジスタ５０３がオフとなり、第１行目のＰＤ５００のリセットが解除され、ＰＤ５００での動画用としての信号電荷の蓄積が開始される。なお、第３の転送トランジスタ５０３がオンの間は、ＰＤ５００に蓄積された電荷は、電源線５２１を介して排出される（電荷排出領域）。

時刻ｔ４において、第１行目の転送パルスφＴＸ１（１）がハイレベルとなると、第１の転送トランジスタ５０１Ａがオンとなり、ＰＤ５００に蓄積された電荷は、信号保持部５０７Ａに転送される。

時刻ｔ５において、第１行目の転送パルスφＴＸ１（１）がローレベルになると、第１の転送トランジスタ５０１Ａがオフとなり、ＰＤ５００に蓄積された電荷の信号保持部５０７Ａへの転送が終了する。

ここで、時刻ｔ３から時刻ｔ５が、１フレーム期間における動画の１回の蓄積時間１／４８０秒に相当し、斜線部領域の蓄積時間６０２－１として示している。このような蓄積動作を離散的に４回行い、斜線部領域の蓄積時間６０２－１，６０２－２，６０２－３，６０２－４として示している。そして、これら４回の蓄積時間に得られた電荷を信号保持部５０７Ａに転送して加算することで、合計の蓄積時間（１／４８０秒×４回＝１／１２０秒）に得られた電荷を得る。なお、蓄積時間６０２－２，６０２－３，６０２－４における制御動作は、蓄積時間６０２－１と同様であるため、説明を省略する。

次に、時刻ｔ６において、タイミング発生部１８９の制御により、垂直同期信号φＶがハイレベルになると同時に、水平同期信号φＨがハイレベルになり、次の撮影周期が開始される。そして、時刻ｔ１からｔ６の間の、蓄積時間６０２－１，６０２－２，６０２－３，６０２－４に得られた電荷を加算した第Ｎフレームの第１行目の画像信号が、時刻ｔ６以降に画像信号（動画）としてデジタル信号処理部１８７に出力される。

なお、第２行目以降の制御は、時刻ｔ１直後の水平同期振動φＨに同期して実行される。すなわち時刻ｔ１から時刻ｔ６の間に、順次、各行における電荷の蓄積及び読み出しが開始される。

以上のようなタイミングチャートに示す駆動により、１／３０秒の１フレーム期間中に１／４８０秒の蓄積を４回加算することにより１／１２０秒の露光一回分と等価な露光量とすることができる。この露光量は、１フレーム期間である１／３０秒間フルに電荷蓄積した場合と比べて、１／４の露光量となる。従って、ＮＤフィルタの減光量に換算すると、総露光量が１／４となる、ＮＤ２段分の減光効果が発揮されることになる。

なお、図４（ａ）に示すタイミングチャートによる駆動はＮＤ２段分の減光効果を発揮する例であるが、一回あたりの蓄積時間を適宜設定することによって、総露光量を制御し、減光効果を任意に調整することができる。

例えば、１／３０秒の１フレーム期間中に４回、電荷蓄積及び転送動作を繰り返す場合、１回あたりの設定可能な蓄積時間は、最大で１フレーム期間である１／３０秒の１／４にあたる１／１２０秒となる。この１／１２０秒露光を４回繰り返した場合、４倍すると１／３０秒となり、１フレーム期間である１／３０秒に等しくなる。これが減光効果が無い状態に相当する。

また１／３０秒の１フレーム期間中に４回、電荷蓄積及び転送動作を繰り返し、１回あたりの蓄積時間を図４（ａ）に示す例の半分の１／２４０秒とした場合、蓄積時間の合計は１／２４０秒を４倍した１／６０秒となる。これは１フレーム期間である１／３０秒の１／２なので、１／３０秒間フルに電荷蓄積した場合と比べて、１／２の露光量となる。つまり、光量を１／２にする、ＮＤ１段分の減光効果となる。

同様に、１回あたりの蓄積時間を１／９６０秒とした場合、露光量が１／８となるＮＤ３段分の減光効果、さらには１回当たりの蓄積時間を１／１９２０秒とした場合、露光量が１／１６となるＮＤ４段分の減光効果が発揮される。このように、１回あたりの蓄積時間を調整することで、減光量を調整することができる。

上記制御では、１／３０秒のフレーム期間中に略等間隔で設定された複数回の短い蓄積時間で得られた電荷を加算することによって１つの画像信号を得ているため、コマ送り的なパラパラ感の少ない、高品位な動画を得ることができる。

なお、図４（ａ）に示す例では、説明を分かり易くするために、電荷蓄積回数が４回であるものとして説明したが、例えば８回、１６回、３２回、６４回等の場合でも良く、本願発明は電荷蓄積回数により制限されるものでは無い。ただし、コマ送り的なパラパラ感がより少ない高品位な動画は、電荷蓄積回数をより多くすることで得ることができる。

●高照度下撮影時のイメージャＮＤ機能の問題点
上述したイメージャＮＤ機能を利用して動画撮影を行う際に、被写体の照度が高く、光量適正化のために減光量を大きくする必要がある環境下では、１回当たりの蓄積時間がごく短時間となることがある。この時、パルス信号を用いて撮像素子１８４の駆動制御を行う撮像装置１００において、パルス信号の１パルスの時間単位で１回当たりの蓄積時間を制御できないほど蓄積時間が短くなっている場合、総蓄積時間の誤差が大きくなるという問題がある。

例えば、３０ｆｐｓの動画を撮影する場合、１フレーム期間は１／３０秒である。この時、被写体の照度が高く、ＮＤ６段分の減光効果を発揮させると適正露光量になる場合、適正な１フレーム期間あたりの蓄積時間は、１／３０秒を６４（２の６乗）で割った、１／１９２０秒となる。ここで、高品位な動画を得るために、１フレーム期間中に６４回に分けて電荷蓄積を行うとすると、６４回の適正な１回あたりの蓄積時間（以下、「分割蓄積時間」と呼ぶ。）は、１／１９２０秒を電荷蓄積回数の６４回で割った、１／１２２８８０秒となる。

図４（ａ）のタイミングチャートを用いて前述したように、分割電荷蓄積の開始及び終了のタイミングはパルス信号が発せれるタイミングで行われるため、分割蓄積時間は、開始から終了まで何パルス分か、により制御される。例えば、パルス信号が３００ｋＨｚで発せられている場合、１パルス当たりの時間は１／３０万秒となり、分割蓄積時間は１パルスの時間である１／３０万秒を最小単位として、その整数倍でしか制御できない。

被写体の照度がそれほど高くなく、ＮＤ２段分の減光効果（１／４）でよい場合には、適正な１フレーム期間あたりの蓄積時間は、１／３０秒を４で割った１／１２０秒である。そのため、この適正な蓄積時間１／１２０秒を６４回に分割した場合、分割蓄積時間は１／７６８０秒となり、１／３０万秒の３９．０６倍となる。この時、１／３０万秒の整数倍の中で、これに最も近い時間となるのは３９パルス分の３９／３０万秒であるので、１回あたりこの時間での電荷蓄積を行うことが考えられる。この場合、適正な分割蓄積時間１／７６８０秒に対し、設定可能な分割蓄積時間３９／３０万秒は、約０．１６％程度短くなるだけである。

これに対し、被写体の照度が高く、１フレーム期間１／３０秒、ＮＤ６段分の減光効果で６４回に分割した蓄積時間で制御する場合、適正な分割蓄積時間１／１２２８８０秒は、およそ１／３０万秒の２．４４倍となる。この時、１／３０万秒の整数倍の中で、これに最も近い時間となるのは２パルス分の２／３０万秒であるので、１回あたりこの時間で電荷蓄積を行うことが考えられる。しかし、適正な分割蓄積時間１／１２２８８０秒に対し、設定可能な分割蓄積時間２／３０万秒は、約１８％程度、短く（暗く）なり、蓄積時間に大きな誤差が生じてしまう。

●被写体輝度の測定結果に応じた電荷蓄積回数の制御
そこで、本実施形態では、被写体の照度が高く、大きな減光効果が必要である場合、電荷蓄積回数を減らすように制御する。以下、当該制御について説明する。

上述したように、１フレーム期間１／３０秒で、ＮＤ６段分の減光効果で６４回に分割した分割蓄積時間で撮像素子１８４を制御すると、蓄積時間に大きな誤差が生じる。このような場合に、６４回の電荷蓄積回数を減らす。ここでは、電荷蓄積回数を１／４倍の１６回に減らす場合について説明する。

上述したように、１フレーム期間１／３０秒、ＮＤ６段分の減光効果では、適正な１フレーム期間あたりの蓄積時間は、１／３０秒を６４（２の６乗）で割った１／１９２０秒である。ここで、電荷蓄積回数を１／４倍に減らし、１６回に分けて電荷蓄積を行う場合、適正な分割蓄積時間は、１フレーム期間あたりの蓄積時間１／１９２０秒を電荷蓄積回数の１６回で割った、１／３０７２０秒となる。この分割蓄積時間１／３０７２０秒は、６４回に分割した場合の分割蓄積時間１／１２２８８０秒の４倍である。

この時、１６分割した場合の適正な分割蓄積時間１／３０７２０秒（１／３０万秒の９．７６倍）に対して、設定可能な１パルス１／３０万秒の整数倍の時間の中で、これに最も近い時間となるのは、１０パルス分の１０／３０万秒である。この１０／３０万秒は、適正な分割蓄積時間１／３０７２０秒（１／３０万秒の９．７６倍）に対して、２．４％程度、蓄積時間が長く（明るく）なっている。このように、６４回に分割した場合の分割蓄積時間の誤差１８％に比して、１６分割時の誤差は２．４％であり、大幅に誤差の程度を減少させることができる。

上述したように、分割蓄積時間の制御の最小時間単位が１パルス分の時間であるため、分割蓄積時間の誤差は、最大で０．５パルス分の時間が生じ得る。そのため、適正な分割蓄積時間に対する設定可能な分割蓄積時間の誤差の割合Δｔｒは、最大でΔｔｒ＝（０．５パルス分の時間）／（適正な分割蓄積時間）となる。この時、例えば、電荷蓄積回数を６４回から１６回に１／４倍に減らして、分母である適正な分割蓄積時間の値を４倍に増やすことで、誤差の割合Δｔｒの値を１／４に下げることができる。このように、電荷蓄積回数を減らすことで、設定可能な分割蓄積時間の誤差は、適正な分割蓄積時間の増加割合の逆数倍以下（上記例では１／４倍以下）の値まで減少させることができる。

上記のように電荷蓄積回数を変えた場合に、図４（ａ）に一例として挙げたタイミングチャートに示される撮像素子１８４の動作パターンも変化する。例えば図４（ａ）の例では、１フレーム期間中に１／４８０秒の電荷蓄積を４回行い、１フレーム期間当たり蓄積時間１／１２０秒（＝１／４８０秒×４回）の撮影を想定していた。この時、４回行われていた電荷蓄積を、蓄積時間の誤差を低減するために２回に減少させた場合の例を図４（ｂ）に示す。

図４（ａ）における蓄積時間６０２－１～６０２－４で表されていた１／４８０秒ずつの４回の電荷蓄積が、図４（ｂ）においては蓄積時間７０２－１，７０２－２で表される１／２４０秒ずつの２回に変更されている。この時、電荷蓄積回数を４回から２回に１／２倍に減じただけでなく、各々１回ごとの蓄積時間も１／４８０秒から１／２４０秒に２倍に増加している。これにより、１フレーム期間あたりの蓄積時間は変化しない。

上述した、電荷蓄積回数を減らさないデフォルトの動作パターン情報と、電荷蓄積回数を減らした動作パターン情報を、メモリ部１９０に保存しておき、必要に応じてそれぞれ読みだして使い分け、撮像素子１８４を制御する。なお、電荷蓄積回数の減少割合は一通りで無くともよい。例えば、被写体輝度が高く、発揮させたい減光効果が高い程、電荷蓄積回数を大きく減少させるようにしてもよい。その場合、被写体輝度に応じた複数通りの動作パターンを用意しておけば良い。

しかしながら、電荷蓄積回数を減らすことによる弊害もある。これについて、図５を用いて説明する。

図５（ａ）に示すように、一例として、紙面左方向に移動する新幹線の被写体Ｓを撮影する場合を考える。この時、被写体Ｓは、１フレーム期間中に移動量ΔＬだけ移動するものとする。

図５（ｂ）は、電荷蓄積を４回行って減光する撮影を行って、被写体Ｓを撮影した場合の撮像結果の例を示す模式図である。１フレーム期間中に均等な時間間隔で４回の電荷蓄積を行う場合、その４回の間に被写体が移動する。そのため、撮像結果には図示のように被写体Ｓの１フレーム期間の移動量ΔＬに対し、その１／４の量（ΔＬ／４）だけ被写体進行方向にずれながら、４重の輪郭が重なって表れる。同様に、図５（ｃ）は、電荷蓄積回数を１６回に変えて撮影を行った際の撮像結果の例を示す模式図である。図５（ｃ）の１６回の電荷蓄積の場合は、ΔＬ／１６ずつ被写体進行方向にずれながら、１６重の輪郭が重なって表れる。この時、電荷蓄積回数の多い（１６回）図５（ｃ）に比して、電荷蓄積回数の少ない（４回）図５（ｂ）は、多重に表れた輪郭同士の間隔が広い。そのため、電荷蓄積回数の多い（１６回）の画像は１６個の輪郭がほぼ連なって一塊の画像として見える。これに対し、電荷蓄積回数の少ない（４回）の画像では、明瞭に４個の輪郭が分かれて、４つの画像が重なっていることが、画像を見るユーザに分かり易くなってしまっている。

動画の１コマとして上記のように撮影された画像を鑑賞した際に、電荷蓄積回数が多く、多重の輪郭がほぼ一塊の画像として見える場合には、動画のパラパラ感が抑制された高品質な画像となる。これに対し、電荷蓄積回数が少なく、多重の輪郭が明瞭に分かれて見え、画像が多重に重なっていることがわかりやすい場合には、鑑賞しているユーザにコマ送り的なパラパラ感を与えやすくなり、動画の品位を下げてしまうこととなる。

このように、動画としての品位を保つためには、電荷蓄積回数が多い方が望ましい。ここで、分割蓄積時間の誤差が大きくなり、電荷蓄積回数を少なくする必要がある状況とは、上述したように、主に、被写体輝度が高く、適正露光量にするために減光効果を大きく効かせる場合である。

前述の例では、３０ｆｐｓの動画撮影で、被写体輝度が高く、ＮＤ６段分の減光効果を発揮させると適正露光量になる場合を想定していた。上述したように、適正な１フレーム期間あたりの蓄積時間は、１／３０秒を６４（２の６乗）で割った１／１９２０秒となり、６４回に分けて撮影する場合、適正な分割蓄積時間は、１／１９２０秒の１／６４である１／１２２８８０秒と、ごく短時間になる。そのため、前述の計算により、適正な分割蓄積時間と設置可能な分割蓄積時間との間で、１８％と大きい誤差が生じていた。

これに対し、被写体輝度がそれより低く、ＮＤ４段分の減光効果を発揮させると適正露光量になる場合、適正な１フレーム期間あたりの蓄積時間は、１／３０秒をＮＤ４段分の１６（２の４乗）で割った１／４８０秒となる。これを６４回に分けて撮影する場合、適正な分割蓄積時間は、１／４８０秒の１／６４である１／３０７２０秒となる。このＮＤ４段分の減光効果を効かせた場合の適正な分割蓄積時間１／３０７２０秒は、ＮＤ６段分の減光効果を効かせた場合の適正な分割蓄積時間１／１２２８８０秒の４倍の長さになっている。

この時、適正な分割蓄積時間１／３０７２０秒（１／３０万秒の９．７６倍）に対して、設定可能な１パルス１／３０万秒の整数倍の蓄積時間の中で、これに最も近い時間となるのは、１０パルス分の１０／３０万秒である。この１０／３０万秒は、適正な分割蓄積時間１／３０７２０秒に対して、２．４４％程度、蓄積時間が長く（明るく）なっている。このように、ＮＤ６段分の減光効果を発揮させた場合の分割露光時間の誤差１８％に比して、ＮＤ４段分の減光効果を発揮させた場合の誤差は２．４４％であり、大幅に誤差の程度が少ないことが分かる。

そのため、本実施形態では、被写体輝度を測定し、それが所定以上になる限られた環境下の場合にのみ電荷蓄積回数を少なくし、それ以外の場合は電荷蓄積回数を維持する制御を行う。これにより、動画の品位を可能な限り維持しつつ、微細な露光量調整を行うことが可能となる。

図６は、本第１の実施形態における露光制御を示すフローチャートである。本第１の実施形態では、電荷蓄積を複数回繰り返すことで減光効果を効かせた動画の撮影を、被写体輝度に応じて電荷蓄積回数の制御を行うことで、蓄積時間の誤差を低減しつつ行う。

カメラ電源がＯＮされて処理が開始されると、Ｓ１００において、撮像素子１８４がスルー画像の取得を開始し、画像信号をデジタル信号処理部１８７を介してＣＰＵ１７８に送信する。ＣＰＵ１７８は、取得したスルー画像を表示部１５３に表示する。ユーザは、表示部１５３に表示されたスルー画像を見ることで、被写体の視認を行うことができる。

次に、Ｓ１０１において、電源がＯＦＦされたか否かを判定し、ＯＦＦされていれば処理を終了し、ＯＦＦされていなければ、Ｓ１０２に進む。

Ｓ１０２においては、動画の撮影が開始されたか否かを判定し、開始されていればＳ１０３に進み、開始されていなければＳ１００に戻る。なお、動画の撮影は、装置電源がＯＮになっている状態で、スイッチ１５５を押すことによって開始される。

そして、Ｓ１０３において、被写体輝度の測定が行われる。被写体輝度の測定は、本実施形態においては、撮像素子１８４から得られる画像信号の輝度データを用いて、被写体の輝度を算出する。動画撮影が開始された直後であれば、直前に得られたスルー画像から輝度を算出し、その後は動画の前のフレームで撮影された画像から輝度を算出する。しかしながら、本発明はこれに限定されるものではなく、撮像素子１８４とは異なる被写体輝度測定用のセンサを用いてもよい。

次に、Ｓ１０４において、ＣＰＵ１７８は、測定された被写体輝度が予め決められた許容輝度以上（閾値以上）であるかどうかを判定する。例えば、ＮＤ４段未満までは蓄積時間の誤差が許容範囲に収まり、ＮＤ４段以上で許容範囲を超える場合、適正露光量にするためにＮＤ４段以上の減光効果を必要とする被写体輝度であるか否かを判定する。被写体輝度が許容輝度未満（閾値未満）であった場合はＳ１０５に進み、被写体輝度が許容輝度以上であれば、Ｓ１０６に進む。なお、上記誤差が許容範囲を超えるＮＤ段数は一例であって、装置によって異なるパルス制御における１パルスの時間と、電荷蓄積回数、及び、前述のようにして算出される蓄積時間の誤差割合を何％まで許容するかによって変わる。

Ｓ１０５においては、被写体輝度が許容輝度未満で、蓄積時間の誤差が許容範囲に収まる場合となるため、電荷蓄積回数へ変更の必要が無い。よって、ＣＰＵ１７８は、電荷蓄積回数を変更しないデフォルトの動作パターンを選択してメモリ部１９０から読み出し、Ｓ１０７に進む。

一方、Ｓ１０６では、被写体輝度が許容輝度以上で、蓄積時間の誤差が許容範囲を超える場合であるため、電荷蓄積回数を少なくして、蓄積時間の誤差割合を減じる必要が生じる。そのため、ＣＰＵ１７８は、前述のように被写体輝度に応じてデフォルトの電荷蓄積回数から電荷蓄積回数を減らし、またそれに応じて複数回の内の１回当たりの蓄積時間を増加させた動作パターンをメモリ部１９０から読み出し、Ｓ１０７に進む。

Ｓ１０７では、ＣＰＵ１７８は、Ｓ１０３で測定した被写体輝度に基づいて次のフレームにおける蓄積時間を決定し、Ｓ１０５またはＳ１０６で選択された動作パターンによる分割蓄積時間を、上述した方法により算出する。そしてＳ１０８において、Ｓ１０５またはＳ１０６で選択された動作パターンと、Ｓ１０７で求めた分割蓄積時間とに基づき、タイミング発生部１８９を介して撮像素子１８４を駆動する。これによりイメージャＮＤ機能を利用した撮像を行う。また、その撮像結果をメモリ部１９０に記憶した後、Ｓ１０９に進む。

Ｓ１０９においては、ユーザにより動画撮影を終了する指示が出たか否かを判定する。終了指示は、スイッチ１５５を再び押す事によって行われる。動画撮影を終了する指示が出ていればＳ１００に戻ってスルー画像の取得・表示を行い、終了する指示が出ていなければＳ１０３に戻り、動画の次のコマの撮影のために被写体輝度の測定を始める。

上記の通り本第１の実施形態によれば、動画の品位を可能な限り保ちつつ、輝度に応じた光量の微細な調整を行うことが可能になる。

なお、上述した第１の実施形態では、被写体輝度が閾値未満か閾値以上かに応じて、電荷蓄積回数が異なる２種類の駆動パターンのいずれかを選択する場合について説明したが、本発明はこれに限られるものでは無い。例えば、電荷蓄積回数が互いに異なる３種類以上の動作パターンを用いてもよく、その場合、被写体輝度を複数の閾値と比較し、被写体輝度が高いほど、電荷蓄積回数が少ない動作パターンを選択するようにしてもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態では、被写体輝度が許容輝度以上の場合に電荷蓄積回数を減らすことで、蓄積時間の誤差を低減している。この時、図４（ａ）に示す動作パターン例では、各分割蓄積時間を一律に１／４８０秒としているが、分割蓄積時間を等しくする必要はなく、それぞれの分割蓄積時間が異なっていてもよい。

図７は、撮像素子１８４の駆動シーケンスを示すタイミングチャートで、ここでは、一例として、３０ｆｐｓで動画撮影を行い、１フレーム期間である１／３０秒の間に、４回の電荷蓄積を行って得た電荷を加算して画像信号を得る場合を示している。図４（ａ）と異なるのは、４回の蓄積時間が均一ではなく、１／３０秒の間に、図７で示すように蓄積時間R１秒で２回、蓄積時間R２秒で２回と、異なる蓄積時間で蓄積を交互に行い、加算していることにある。上記制御について下記に説明する。

撮影環境として、図４（ａ）の場合は１フレーム期間に１／４８０秒の電荷蓄積を４回行い、総計で１／１２０秒の蓄積時間としていた。図７においては、それより被写体輝度が高く、減光効果を大きく効かせた電荷蓄積を行う場合を想定し、１フレーム期間中に４回行われる蓄積時間の合計が１／２００秒である場合を考える。

この時、４回の蓄積時間が均一である場合は、４回の総計が１／２００秒であるので、適正な分割蓄積時間は１／８００秒となる。ここで、パルス制御における最少時間単位である１パルスの時間を１／２０００秒とすると、設定可能な蓄積時間は、１パルスの時間である１／２０００秒の整数倍となる。この場合に設定可能な蓄積時間のうち、適正な分割蓄積時間１／８００秒（２．５／２００００秒）に近接するのは、２パルス分の２／２０００秒か、３パルス分の３／２０００秒となる。２パルス分の２／２０００秒で設定を行った場合、適正蓄積時間１／８００秒に比べて０．５／２０００秒だけ蓄積時間が短く（暗く）なる。これは適正蓄積時間１／８００秒（２．５／２０００秒）の２０％ほどに相当する大きな割合の蓄積時間の誤差である。

これに対し、第２の実施形態では、図７で示すように、４回行われる電荷蓄積に対し、その蓄積時間として蓄積時間Ｒ１秒と蓄積時間Ｒ２秒の異なる２種を用いることで、蓄積時間の誤差の低減を行っている。この時、Ｒ１を２パルス分の２／２０００秒、Ｒ２を３パルス分の３／２０００秒として、２種の蓄積時間で交互に露光を行い、それぞれ２回ずつ行う。その結果、１フレーム期間中に２／２０００秒が２回、３／２０００秒が２回の、合計１０／２０００秒＝１／２００秒の時間の露光が行われることとなり、目標としていた１フレーム期間あたりの総計時間である１／２００秒を誤差なく達成している。

上記の様に、デフォルトの動作パターンを変更する際に、繰り返し回数の減少に加え、１フレーム期間中に複数回行われる電荷蓄積において、それぞれの分割蓄積時間を２種以上の異なる時間を用いて調整する。これにより、複数回の電荷蓄積において分割蓄積時間を均一にする場合に比して、蓄積時間の誤算をより低減させることができる。

上記の通り本第２の実施形態によれば、動画の品位を可能な限り保ちつつ、輝度に応じた光量の微細な調整を行うことが可能になる。

なお、図７に示す例では、電荷蓄積回数を変更せずに、２種類の分割蓄積時間を用いる場合について説明したが、第１の実施形態で説明したように、電荷蓄積回数を合わせて変更しても良い。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１５１：撮像装置本体、１５２：撮影光学系、１７８：システム制御ＣＰＵ、１８０：レンズ、１８１：絞り、１８４：撮像素子、１９０：メモリ部、５００：フォトダイオード、５０１Ａ：第１の転送トランジスタ、５０２Ａ：第２の転送トランジスタ、５０３：第３の転送トランジスタ、５０４：リセットトランジスタ、５０５：増幅トランジスタ、５０６：選択トランジスタ、５０７Ａ：信号保持部、５０８：フローティングディフュージョン領域

Claims (12)

1. 撮像素子と、
   被写体の輝度を測定する測定手段と、
   前記輝度に基づいて、各フレーム期間における電荷の蓄積時間を決定する決定手段と、
   前記測定手段により測定した輝度に基づいて、前記撮像素子が電荷蓄積を行う動作パターンを、予め決められた複数の動作パターンから選択する選択手段と、
   前記選択手段により選択された動作パターンで前記撮像素子を駆動した場合の各フレーム期間における合計の蓄積時間が、前記決定手段により決定された蓄積時間に最も近づくように、１回あたりの蓄積時間を設定する設定手段と、を有し、
   前記複数の動作パターンは、各フレーム期間における電荷蓄積の回数が互いに異なり、前記選択手段は、前記輝度が第１の値よりも低い第２の値であるとき、前記第１の値であるときに比べて、前記電荷蓄積の回数が多い動作パターンを選択することを特徴とする撮像制御装置。
2. 前記選択手段は、前記輝度が第１の閾値未満の場合、前記輝度が前記第１の閾値以上であって、且つ、前記第１の閾値よりも大きい第２の閾値未満の場合よりも、前記電荷蓄積の回数が多い動作パターンを選択することを特徴とする請求項１に記載の撮像制御装置。
3. 撮像素子と、
   被写体の輝度を測定する測定手段と、
   前記輝度に基づいて、各フレーム期間における電荷の蓄積時間を決定する決定手段と、
   前記測定手段により測定した輝度に基づいて、前記撮像素子が電荷蓄積を行う動作パターンを、予め決められた複数の動作パターンから選択する選択手段と、
   前記選択手段により選択された動作パターンで前記撮像素子を駆動した場合の各フレーム期間における合計の蓄積時間が、前記決定手段により決定された蓄積時間に最も近づくように、１回あたりの蓄積時間を設定する設定手段と、を有し、
   前記複数の動作パターンは、前記決定手段により決定された蓄積時間の電荷蓄積を、各フレーム期間に第１の回数に分けて行うように前記撮像素子を駆動する第１の動作パターンと、各フレーム期間に前記第１の回数より少ない第２の回数に分けて行うように前記撮像素子を駆動する第２の動作パターンとを含み、
   前記選択手段は、前記輝度が予め決められた第１の値よりも低いとき、前記第１の動作パターンを選択することを特徴とする撮像制御装置。
4. 前記選択手段は、前記輝度が予め決められた閾値未満の場合に、前記第１の動作パターンを選択し、前記輝度が前記閾値以上の場合に、前記第２の動作パターンを選択することを特徴とする請求項３に記載の撮像制御装置。
5. 前記複数の動作パターンは、前記決定手段により決定された蓄積時間を均等に分割する第３の動作パターンと、前記決定手段により決定された蓄積時間を複数の異なる蓄積時間に分割する第４の動作パターンとを含み、
   前記選択手段は、前記輝度が予め決められた第３の閾値未満の場合に、前記第３の動作パターンを選択し、前記輝度が前記第３の閾値以上の場合に、前記第４の動作パターンを選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。
6. 前記複数の動作パターンを記憶した記憶手段を更に有し、
   前記設定手段は、前記記憶手段から前記選択された動作パターンを取得することを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
7. 前記選択手段により選択された動作パターンと、前記設定手段により設定された前記１回あたりの蓄積時間により前記撮像素子を駆動する駆動手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像制御装置。
8. 撮像素子を駆動する駆動方法であって、
   測定手段が、被写体の輝度を測定する測定工程と、
   決定手段が、前記輝度に基づいて、各フレーム期間における電荷の蓄積時間を決定する決定工程と、
   選択手段が、前記測定工程で測定した輝度に基づいて、前記撮像素子が電荷蓄積を行う動作パターンを、予め決められた複数の動作パターンから選択する選択工程と、
   設定手段が、前記選択工程で選択した動作パターンで前記撮像素子を駆動した場合の各フレーム期間における合計の蓄積時間が、前記決定工程で決定した蓄積時間に最も近づくように、１回あたりの蓄積時間を設定する設定工程と、を有し、
   前記複数の動作パターンは、各フレーム期間における電荷蓄積の回数が互いに異なり、前記選択工程は、前記輝度が第１の値よりも低い第２の値であるとき、前記第１の値であるときに比べて、前記電荷蓄積の回数が多い動作パターンを選択することを特徴とする駆動方法。
9. 撮像素子を駆動する駆動方法であって、
   測定手段が、被写体の輝度を測定する測定工程と、
   決定手段が、前記輝度に基づいて、各フレーム期間における電荷の蓄積時間を決定する決定工程と、
   選択手段が、前記測定工程で測定した輝度に基づいて、前記撮像素子が電荷蓄積を行う動作パターンを、予め決められた複数の動作パターンから選択する選択工程と、
   設定手段が、前記選択工程で選択した動作パターンで前記撮像素子を駆動した場合の各フレーム期間における合計の蓄積時間が、前記決定工程で決定した蓄積時間に最も近づくように、１回あたりの蓄積時間を設定する設定工程と、を有し、
   前記複数の動作パターンは、前記決定工程で決定された蓄積時間の電荷蓄積を、各フレーム期間に第１の回数に分けて行うように前記撮像素子を駆動する第１の動作パターンと、各フレーム期間に前記第１の回数より少ない第２の回数に分けて行うように前記撮像素子を駆動する第２の動作パターンと、を含み
   前記選択工程では、前記輝度が予め決められた第１の値よりも低いとき、前記第１の動作パターンを選択することを特徴とする駆動方法。
10. コンピュータを、前記撮像素子を除く、請求項１乃至７のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。
11. コンピュータに、請求項８または９に記載の駆動方法の各工程を実行させるためのプログラム。
12. 請求項１０または１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images