JP4408940B2

JP4408940B2 - 撮像装置及びその制御方法

Info

Publication number: JP4408940B2
Application number: JP2008182529A
Authority: JP
Inventors: 聡史鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-23
Filing date: 2008-07-14
Publication date: 2010-02-03
Anticipated expiration: 2028-07-14
Also published as: JP2009049981A

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、動画像の撮影時の撮像装置の感度制御に関する。

従来、メモリ素子を有するメモリカードの記録媒体に、CCD、CMOS等の撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置が市販されている。

これらの電子カメラの中には、撮影シーンの輝度に応じて自動的に感度を変える撮影モードを有するものが多くあり、この撮影モードで撮影することで、適切な撮影条件での撮影を可能としている。特に電子ビデオカメラのような、動画を撮影し記録する撮像装置においては、撮影シーンの輝度変化に応じて撮影者が手動で感度を調整することはほどんどなく、自動的に感度制御が行われている。

ところで、電子カメラにおける露出制御としては、まずは、絞りなどによる撮像素子への光学的な入射光量の制御、及び、メカニカルシャッタや電子シャッタによる時間的な入射光量の制御が行われる。しかしながら、被写体の輝度が低く、光学的、時間的な露出制御のみでは十分な信号量が得られない場合など、高感度設定が必要となる場合には、撮像素子の光電変換部で生成された電気信号を増幅する電気的な制御が行われている。

電子カメラにおける電気信号を増幅するにはいくつかの手段がある。図７は、従来の電子カメラ等の撮像装置における電気信号の流れ及び増幅器の一例を説明するブロック図である。

撮像素子２０１には、各々が光電変換部を含む複数の画素２０２が配置されている。光電変換部において生成された電気信号は、垂直出力線を通り、複数の画素２０２の各列に備えられた列アンプ２０３にそれぞれ入力される。列アンプ２０３のゲインは変更することができる。ただし、撮像素子２０１内のレイアウト上の制約や、撮像素子２０１への制御信号線の本数の制約などから、ゲインは、１倍，２倍，４倍，８倍…などの離散的な設定値を持つことが多い。

列アンプ２０３により増幅された電気信号は、水平シフトレジスタを通り、出力アンプ２０４に入力される。出力アンプ２０４のゲインも変更することができる。ただし、列アンプ２０３と同様に、撮像素子２０１内のレイアウト上の制約などから、離散的な設定値を持つことが多い。しかしながら、列の数だけ備える必要がある列アンプ２０３に比べると、出力アンプ２０４は出力端子の数だけ備えればよいため、そのゲインの選択の自由度は高い。

出力アンプ２０４により増幅された電気信号は、撮像素子２０１から出力され、アナログ信号処理回路（Analog Front End: ＡＦＥ）２０５に入力される。アナログ信号処理回路２０５に入力された電気信号は、相関２重サンプリング回路（ＣＤＳ）２０６等で、いくつかのアナログ信号処理を施された後、アナログ信号アンプ（ＰＧＡ）２０７に入力される。アナログ信号アンプ２０７のゲインも可変であるが、撮像素子２０１の内部に配置された列アンプ２０３や出力アンプ２０４と比べて、より連続的なゲインを設定することが可能である。

アナログ信号アンプ２０７により増幅された電気信号は、Ａ／Ｄ変換部２０８においてアナログ信号からデジタル信号へと変換された後、アナログ信号処理回路２０５から出力される。そして、デジタル信号処理回路（Digital Front End: ＤＦＥ／映像エンジン）２０９に入力される。

デジタル信号処理回路２０９において、各種補正処理や現像処理とともに、デジタル増幅処理が行われる。このデジタル増幅処理も、ゲインが可変であって、そのゲインの設定は、アナログ信号アンプ２０７におけるゲイン設定よりも、更に細かく連続的にすることが可能である。

デジタル信号処理回路２０９から出力された電気信号は、メモリに格納され、表示装置への表示や記録媒体への記録に用いられる。

ところで、得られる画像の画質について考えると、最終的なノイズの量は、どの増幅処理でゲインがかけられたかによって異なる。即ち、列アンプ２０３でゲインをかけた場合には、増幅されるノイズは、列アンプ２０３に入力される前の画素及び垂直出力線で発生しているノイズのみである。そのため、撮像素子２０１内の水平シフトレジスタ以降の、アナログ信号処理回路２０５、デジタル信号処理回路２０９及びそれらを接続する配線において発生したノイズは、増幅されない。

一方、デジタル信号処理回路２０９でゲインをかけた場合には、デジタル信号処理回路２０９に入力される前の経路で発生したノイズが、信号のゲインと同じだけ増幅される。そのため、デジタル信号処理回路２０９でゲインをかけた場合には、列アンプ２０３でゲインをかけた場合と比べて、最終的なノイズの量が大きくなる。

このように、より前段の増幅器でゲインをかけた方が、よりノイズの少ない高画質の画像を得ることができる。

次に、動画撮影時に入射光量の変化が起こった際のゲインの調整について考える。デジタル信号処理回路２０９でゲインをかけた場合には、感度、画像のノイズ感、シェーディング等の画像特性などが、信号にかけるゲインに従って変化する。ただし、ゲイン設定も細かく連続的であるため、ゲインが調整されたことが分かりにくい。

一方、列アンプ２０３を用いてゲインをかけた場合には、シェーディング、感度等が撮像素子の性能によっては必ずしもゲインに比例しないことがある。また、ゲイン設定が粗く離散的であるため、ノイズ感など画像特性の変化も大きくなり、ゲインが調整されたことがユーザに分かってしまう可能性がある。その結果、頻繁に被写体輝度が変わり、ゲインの調整が頻繁に起こる状況下では、画像がちらついて、目障りに感じられる恐れがある。

このように、入射光量に応じた細かく滑らかな感度設定を行うためには、より連続的なゲイン設定が可能なデジタル信号処理回路２０９でゲインをかける必要がある。

以上のように、電子カメラにおける感度設定は、どの段階でゲインが変更されるかによって上述のような特徴がある。そのため、画質が重視される静止画撮影が用途の中心となるスチルカメラでは、撮像素子の内部に配置された増幅器を用いてより前段でゲインをかける処理が適している。一方、フレームごとのつながりが重要である動画撮影を中心となるビデオカメラでは、アナログ信号処理ＩＣや映像エンジンにおける増幅器を用いた連続的なゲインをかける処理が適している。

特開２００５−２１７７７１号公報

より具体的には、例えば、監視カメラなどは、低照度環境下でも人物の顔などを認識できる性能が必要とされる。そのため、高感度で高画質な動画像を得ることができ、かつ、撮影環境の変化に敏感に対応して感度を調整することができる性能が必要とされる。しかしながら、上述したようにアナログ信号処理ＩＣや映像エンジンにおける増幅器ゲインをかけると、それまでに発生したノイズも増幅されてしまうため、画質が劣る。一方、撮像素子の内部に配置された増幅器によりゲインをかけると、設定可能なゲイン値が離散的であるために、動画像として見たときに、画像がちらついてしまい、結果として画質が落ちてしまうことがあった。

具体的な例を挙げると、明るい環境下で人や物がカメラの前を横切った場合は、撮像装置への入射光量が一旦急激に減少し、すぐに元の光量に戻る。このように短時間の急激な輝度の変化に応じた感度調整を、撮像素子の内部に配置された増幅器を用いて離散的なゲインにより行うと、画像の連続性が悪くなり、目障りなちらつきを感じる恐れがあった。

本発明は上記問題点を鑑みてなされたものであり、動画像撮影時に、被写体の輝度変化に敏感に対応したゲイン設定を行うと共に、Ｓ／Ｎ比を向上させることを目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体の光学像を電気信号へ変換する撮像素子と、前記電気信号を第１のゲインで増幅する第１の増幅手段と、前記第１の増幅手段で増幅された電気信号を、前記第１のゲインよりも細かい刻み幅で変更可能な第２のゲインで増幅する第２の増幅手段と、前記被写体の輝度に応じて第３のゲインを設定し、前記第１のゲインと前記第２のゲインの合計が前記第３のゲインとなるように、前記第１のゲイン及び前記第２のゲインを調整すると共に、前記第２のゲインの内、前記第１のゲインで調整しきれないゲイン分を前記第２のゲインにより調整する制御手段とを有し、前記制御手段は、予め決められた輝度差の範囲を超えて前記被写体の輝度が変化せず、かつ、直近の輝度が変化したと判断されたときから予め設定された時間が経過している場合に前記第１のゲインと前記第２のゲインの配分を調整し、それ以外の場合に前記第１のゲインを調整せずに前記第２のゲインを調整する。

また、被写体像を電気信号に変換する撮像素子と、前記電気信号を第１のゲインで増幅する第１の増幅手段と、前記第１の増幅手段で増幅された電気信号を、前記第１のゲインよりも細かい刻み幅で変更可能な第２のゲインで増幅する第２の増幅手段とを備える撮像装置の本発明の制御方法は、前記被写体の輝度に応じて第３のゲインを設定する工程と、前記第１のゲインと前記第２のゲインの合計が前記第３のゲインとなるように、前記第１のゲイン及び前記第２のゲインを調整すると共に、前記第２のゲインの内、前記第１のゲインで調整しきれないゲイン分を前記第２のゲインにより調整する制御工程とを有し、前記制御工程では、予め決められた輝度差の範囲を超えて前記被写体の輝度が変化せず、かつ、直近の輝度が変化したと判断されたときから予め設定された時間が経過している場合に前記第１のゲインと前記第２のゲインの配分を調整し、それ以外の場合に前記第１のゲインを調整せずに前記第２のゲインを調整する。

本発明によれば、動画像撮影時に、被写体の輝度変化に敏感に対応したゲイン設定を行うと共に、Ｓ／Ｎ比を向上させることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の好適な実施の形態に係る撮像装置の構成を示すブロック図である。

１０１はレンズ及び絞りを含む光学系、１０２はメカニカルシャッタ、１０３は被写体の光学像を電気信号に変換して出力する撮像素子である。１０４は撮像素子１０３の内部において入射光を電気信号（画像データ）に変換する光電変換部、１０５は撮像素子１０３の内部において、光電変換部１０４により光電変換された電気信号を増幅する信号増幅回路である。撮像素子１０３は信号増幅回路１０５により増幅された電気信号を出力する。１０６は撮像素子１０３から出力された電気信号に対してアナログ信号処理を行うアナログ信号処理回路である。１０７は撮像素子１０３から出力された電気信号に相関二重サンプリングを行うＣＤＳ回路である。１０８はアナログ信号処理回路１０６の内部においてアナログ信号であるＣＤＳ回路１０７から出力された電気信号を増幅させる、アナログアンプであるプログラマブルゲインアンプ（ＰＧＡ）である。１０９はアナログ信号処理回路１０６の内部において増幅されたアナログ信号である電気信号をデジタル信号に変換するＡ／Ｄ変換器である。

１１０は撮像素子１０３及びアナログ信号処理回路１０６を動作させる信号を発生するタイミング信号発生回路、１１１は光学系１０１及びメカニカルシャッタ１０２の駆動回路である。１１２は撮影した画像データに必要なデジタル信号処理を行うデジタル信号処理回路であり、デジタルアンプ１２１と、画像処理回路１２２とを含む。

１１３は信号処理された画像データを記憶する画像メモリ、１１４は撮像装置から取り外し可能な記録媒体、１１５は信号処理された画像データを記録媒体１１４に記録する記録回路である。１１６は信号処理された画像データを表示する画像表示装置、１１７は画像表示装置１１６に画像を表示する表示回路、１１８は撮像装置全体を制御するシステム制御部である。１１９はシステム制御部１１８で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ及びキズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１２０は不揮発性メモリ１１９に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１１８が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。

以下、上述のように構成された撮像装置における撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１１８の動作開始時において、不揮発性メモリ１１９から必要なプログラム、制御データ及び補正データを揮発性メモリ１２０に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１１８が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１１９から揮発性メモリ１２０に転送する。或いは、システム制御部１１８が直接不揮発性メモリ１１９内のデータを読み出して使用するものとする。

まず、駆動回路１１１は、システム制御部１１８からの制御信号により、光学系１０１の絞りとレンズを駆動して、被写体像を複数の画素が配置された撮像素子１０３上に結像させる。メカニカルシャッタ１０２は、静止画像撮影時に、システム制御部１１８からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動する。このとき、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。また、メカニカルシャッタ１０２は、動画像撮影時においては、システム制御部１１８からの制御信号により、撮影中は常に撮像素子１０３が露光されているように、開放状態に維持される。

撮像素子１０３は、システム制御部１１８により制御されるタイミング信号発生回路１１０が発生する動作パルスをもとにした駆動パルスにより駆動され、光電変換部１０４において被写体像を光電変換により電気信号に変換する。信号増幅回路１０５（第１の増幅手段）は、第１のゲインを電気信号にかけ、アナログの画像データとして出力する。撮像素子１０３から出力された画像データは、システム制御部１１８により制御されるタイミング信号発生回路１１０が発生する動作パルスにより、ＣＤＳ回路１０７において処理され、クロック同期性ノイズが除去される。そして、プログラマブルゲインアンプ１０８において、入射光量（被写体輝度）に応じて設定されたゲインをかけられ、Ａ／Ｄ変換器１０９でデジタルの画像データに変換される。

次に、システム制御部１１８により制御されるデジタル信号処理回路１１２のデジタルアンプ１２１（第２の増幅手段）において、入射光量に応じて設定された第２のゲインがデジタルの画像データにかけられる。また、画像処理回路１２２は、デジタルの画像データに対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ１１３は、信号処理中のデジタルの画像データを一時的に記憶したり、信号処理されたデジタルの画像データを記憶したりするために用いられる。

デジタル信号処理回路１１２で信号処理された画像データや画像メモリ１１３に記憶されている画像データは、記録回路１１５において記録媒体１１４に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換され、記録媒体１１４に記録される。或いは、デジタル信号処理回路１１２で解像度の変換処理が実施された後、表示回路１１７において画像表示装置１１６に適した信号（例えば、ＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１１６に表示される。

なお、デジタル信号処理回路１１２においては、システム制御部１１８からの制御信号により、信号処理を行わずに、そのまま画像データとして、画像メモリ１１３や記録回路１１５に出力してもよい。また、デジタル信号処理回路１１２は、システム制御部１１８から要求があった場合、信号処理の過程で生じた画像データの情報をシステム制御部１１８に出力する。このような情報には、例えば、画像の空間周波数、指定領域の画像データの平均値（輝度情報等）、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がある。さらに、記録回路１１５は、システム制御部１１８から要求があった場合、記録媒体１１４の種類や空き容量等の情報をシステム制御部１１８に出力する。システム制御部１１８はまた、入射光量に応じて第３のゲインを設定し、第１のゲインと第２のゲインの合計が第３のゲインとなるように、第１のゲイン及び前記第２のゲインを調整する機能を備える。なお、入射光量は、例えば、デジタル信号処理回路１１２から得られる輝度情報に基づいて求めることができる。また、撮像素子１０３内でかけられた第１のゲイン及びプログラマブルゲインアンプ１０８によりかけられたゲイン及びデジタルアンプ１２１によりかけられた第２のゲインも考慮され、次のフレームの第３のゲインが決定される。

次に、記録媒体１１４に画像データが記録されている場合の再生動作について説明する。記録回路１１５は、システム制御部１１８からの制御信号により、記録媒体１１４から画像データを読み出す。そして、デジタル信号処理回路１１２は、システム制御部１１８からの制御信号により、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１１３に記憶する。画像メモリ１１３に記憶された画像データは、デジタル信号処理回路１１２で解像度の変換処理が実施された後、表示回路１１７において画像表示装置１１６に適した信号に変換されて画像表示装置１１６に表示される。

次に、図２を用いて、入射光量に応じたゲイン設定の一例を説明する。

図２のグラフにおいて、横軸は入射光量を表す。図２のグラフでは、右側ほど低照度であり、そのため高いゲインをかけるような設定となっている。また、図２のグラフにおいて、縦軸は各アンプのゲインのデシベル値（ｄＢ）を表す。図２では、撮像素子１０３の信号増幅回路１０５において、例えば６ｄＢ単位で変更可能な第１のゲインをかける。次いで、より細かい刻み幅で変更可能な第２のゲインをデジタル信号処理回路１１２のデジタルアンプ１２１でかけるようにゲインが設定されている。また、第１のゲイン及び第２のゲインの合計は、被写体像の輝度の変化に応じて設定される第３のゲインとなるように調整される。このように、第３のゲインの内、第１のゲインで調整しきれないゲイン分を第２のゲインにより調整する。

例えば、被写体像の輝度の変化に応じて第３のゲインを９ｄＢに設定する場合、第１のゲインを６ｄＢに設定し、第２のゲインを３ｄＢに設定する。ただし、後述するように、被写体の輝度が低下してから予め設定された時間の間は、第１のゲインを変えずに、第２のゲインのみにより輝度変化に対応したゲイン調整を行う。そして、被写体の輝度が変化してから、変化した輝度レベルのまま予め設定された時間が経過した後は、第１のゲインも変化させて、図２にグラフに示すように第１のゲインと第２のゲインとを設定して第３のゲインとなるようにする。

具体的には、例えば、被写体の輝度が低下した直後は、第２のゲインを例えば９ｄＢに設定し、被写体の輝度が安定した後に、例えば、第１のゲインを６ｄＢ、第２のゲインを３ｄＢに設定する。また、図２に示すように、例えば６ｄＢのゲインをかける場合には、被写体の輝度変化があった直後に、第２のゲインを６ｄＢに設定し、被写体の輝度が安定した後に、第１のゲインを６ｄＢに設定する。このような構成により、低照度時で高感度設定が必要な撮影環境下において、信号増幅回路１０５における増幅を使用することによって、ノイズの少ない高画質の画像が得られる。一方、微小な入射光量変化に伴うゲインの変更は、デジタル信号アンプによる増幅を使用することによって、動画像撮影時に、ゲイン変更によるちらつきを抑えることができる。

図４は、本発明の第１の実施形態に係る撮像装置の制御方法に関するフローチャートの一例である。本フローチャートの各工程は、特に明示されていない限り、図１のシステム制御部１１８により実行される。

図４において、撮影が開始されると、まず、被写体の輝度を測定する（ステップＳ１０１）。次いで、その輝度が前回の測定時の値と比較して変化しているか否かを判定する（ステップＳ１０２）。なお、輝度が変化しているか否かの判断は、前回の測定時の輝度と、今回測定した輝度との差が予め決められた輝度差の範囲内にあるか否かで判断する。予め決められた範囲は、例えば、直近の「輝度が変化した」と判断された時に設定された第３のゲインをｘｎ（ｘは基準となるｄＢの値）とした場合に、ｘ（ｎ−１）からｘ（ｎ＋１）の間のゲインに変更する必要があるような輝度の変化の範囲とする。ステップＳ１０２では、この範囲を超える場合には被写体の輝度が変化していると判断し、この範囲内の場合には被写体輝度が変化していないものと判断する。

そして、被写体輝度が変化している場合には（ステップＳ１０２で「Ｙｅｓ」）、その輝度の変化量に応じて、デジタルアンプ１２１の第２のゲインを変更し（ステップＳ１０３）、ステップＳ１０７へ進む。なお、ステップＳ１０３では、図２で説明したような信号増幅回路１０５を用いたゲインの調整は行わず、デジタルアンプ１２１の第２のゲインによってのみ調整する。

一方、被写体輝度が変化していない場合には（ステップＳ１０２で「Ｎｏ」）、直近の「輝度が変化した」と判断された時から所定時間が経過したか否かを判定する（ステップＳ１０４）。なお、所定時間は、例えば、撮影の目的や撮像装置の特性、使用者の好みなどに応じて、例えば撮影モードごと、撮像装置ごとなどに、適宜設定すればよい。

所定時間が経過していた場合には（ステップＳ１０４で「Ｙｅｓ」）、図２において上述したような予め定められた所望の設定になるように、信号増幅回路１０５とデジタルアンプ１２１の第１及び第２のゲインの配分を調整（ステップＳ１０５）する。そして、ステップＳ１０７へ進む。

ステップＳ１０４における時間判定において、所定時間が経過していない（即ち、輝度の変化が所定時間以上継続していない）と判定された場合（ステップＳ１０４で「Ｎｏ」）、ステップＳ１０６に進む。そして、測定された被写体の輝度に基づいて、必要に応じてデジタルアンプ１２１の第２のゲインを調整し、ステップＳ１０７に進む。

ステップＳ１０７では、本撮影を終了させるか否かを判定する。撮影を終了しない場合には（ステップＳ１０７で「Ｎｏ」）、ステップＳ１０１に戻って被写体輝度を再度測定して、上記処理を繰り返す。撮影を終了する場合には（ステップＳ１０７で「Ｙｅｓ」）、そのまま撮影を終了させる。以上により、ゲイン制御がなされる。

次に、図５及び図６を用いて、図４で説明したゲイン制御を用いた場合の効果を説明する。

図５は、被写体の輝度が明るい状態から暗い状態へと低下した場合のゲイン制御の経過を説明する図である。なお、図５を用いて説明する撮像装置は、図２を用いて説明したような、撮像素子１０３の信号増幅回路１０５及びデジタルアンプ１２１の２つのアンプのゲインを用いて感度調整する撮像装置とする。

図５（ａ）は、太陽光が差し込む明るい室内を撮影している状態を表す。この場合におけるゲインは、信号増幅回路１０５の第１のゲイン、デジタルアンプ１２１の第２のゲインともに「０ｄＢ」に設定するものとする。

図５（ｂ）は、図５（ａ）の状態から日が陰り、撮影環境が暗くなって間もない状態を表す。この場合、出力が適正となるように感度調整が行われ、第２のゲインが例えば「７ｄＢ」に設定される。

図５（ｃ）は、図５（ｂ）の明るさの状態が維持されたまま所定時間経過した状態を表す。この場合、図２で示したゲイン配分となるように、第１のゲインを「６ｄＢ」に、第２のゲインを「１ｄＢ」にそれぞれ調整する。

図５の一連の輝度変化のように、ある安定した輝度状態から別の安定した輝度状態に推移するような撮影環境に対しては、本撮像装置は、最終的には第１のゲインを主に用いて感度調整を行う。そのため、高感度設定が必要な状況下においてもノイズの少ない高画質な画像を得ることが可能となる。

図６は、ある程度明るい撮影環境下において、本撮像装置の前を人が横切った場合のゲイン制御の経過を説明する図である。なお、図６を用いて説明する撮像装置も、図５の撮像装置と同様に、撮像素子１０３の信号増幅回路１０５及びデジタルアンプ１２１の２つのアンプのゲインを用いて感度調整する撮像装置とする。

図６（ａ）は、図５（ａ）と同様に明るい室内を撮影している状態を表す。この場合におけるゲインは、第１のゲイン、第２のゲインともに「０ｄＢ」に設定するものとする。

図６（ｂ）は、図６（ａ）の撮影環境時に人が横切って一時的に入射光量が少なくなり、図５（ｂ）と同様に、感度調整が必要となっている状態を表す。この場合も出力が適正となるように感度調整が行われ、第２のゲインが例えば「７ｄＢ」に設定される。

図６（ｃ）は図６（ｂ）に示す人が通り過ぎ、図６（ａ）の状態に戻った状態を表す。再度、撮影環境は明るくなったため、第２のゲインは「０ｄＢ」に戻される。

以上説明したように、図６の一連の輝度変化のように、一時的に輝度が変化するような撮影環境に対しては、本撮像装置は第２のゲインのみで感度調整を行う。そのため、ゲイン変更時のちらつきなどが気にならない、滑らかな動画像を得ることができる。

以上、図５及び図６を用いて説明したように、本発明の好適な実施の形態に係る撮像装置は、高感度時のＳ／Ｎ劣化を抑え、かつ、被写体の周辺環境の変化に敏感に対応し、適切な自動感度設定を行うことが可能となる。

以上、図１、図２、図４〜図６を用いて本発明の好適な実施の形態に係る撮像装置について説明したが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、図５を用いて説明した輝度変化に対するゲイン配分の調整については、上記の説明では第１のゲインを「０ｄＢ」から「６ｄＢ」へ変更し、第２のゲインを「７ｄＢ」から「１ｄＢ」へ変更するように説明した。しかしながら、例えば、第２のゲインを「０ｄＢ」から「３ｄＢ」を介して「６ｄＢ」に変更するなど、段階的に変更してもよい。同様に、第１のゲイン等の他のゲインについても段階的に変更することができる。

また、上記第１の実施形態では、信号増幅回路１０５で用いるゲインを第１のゲイン、デジタルアンプ１２１で用いるゲインを第２のゲインとしたが、ゲイン調節を行うアンプはこれらに限られるものではない。例えば、プログラマブルゲインアンプ１０８のゲインを変更することも可能であり、その場合、プログラマブルゲインアンプ１０８のゲインを第２のゲインとしてもよい。また、プログラマブルゲインアンプ１０８のゲインを第１のゲインとすることも可能である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態では、図５及び図６を用いて説明したように、輝度変化に対するゲイン配分の調整については、図２を用いて説明したような第１のゲインと第２のゲインの２種類を併用する形態を説明した。本第２の実施形態では、図３で示すようにアナログ信号処理回路１０６のプログラマブルゲインアンプ１０８や、その他備えられたアンプがあればそれを加えて、３つ以上のアンプを併用してもよい。

図３を用いて、入射光量に応じたゲイン設定の別の一例を説明する。なお、本第２の実施形態においては、撮像素子１０３内に構成される信号増幅回路１０５として、図７に示す撮像素子２０１と同様に、列アンプ（第１の増幅手段）と、列アンプの後段に配置された出力アンプ（第２の増幅手段）とを含むものとする。なお、本第２の実施形態においては、列アンプ及び出力アンプは、それぞれ図７と同じ参照番号により参照する。

図３では、列アンプ２０３における１２ｄＢ単位のゲイン設定（第１のゲイン）、出力アンプ２０４における３ｄＢ単位のゲイン設定（第２のゲイン）を使用する。また、アナログ信号処理回路１０６の内部のプログラマブルゲインアンプ１０８（第３の増幅手段）における１ｄＢ単位のゲイン設定（第３のゲイン）を使用する。更に、デジタル信号処理回路１１２の内部のデジタルアンプ１２１（第４の増幅手段）における更に細かい０．２ｄＢのゲイン設定（第４のゲイン）も使用する。

例えば、１６．２ｄＢのゲインをかける場合には、第１のゲインを１２ｄＢ、第２のゲインを３ｄＢ、第３のゲインを１ｄＢ、第４のゲインを０．２ｄＢにそれぞれ設定する。ここでも、上述した第１の実施形態と図２の場合と同様に、被写体の輝度変化があった直後は、第４のゲインを例えば１６．２ｄＢに設定し、被写体の輝度が安定した後に、上記の配分で各アンプのゲインを調整する。このような構成により、図２を用いて説明したゲイン設定と同様に、高画質でちらつきのない画像が得られることに加え、列アンプ２０３のゲイン段数が少なくなることなどから、撮像素子１０３の回路規模を小さくすることが可能である。また、プログラマブルゲインアンプ１０８を用いることにより、デジタルアンプ１２１のゲインの最大値を低く抑え、細かいゲイン設定時のノイズの量を減らすことができる。

上記第１及び第２の実施形態においては、図２及び図３を用いて入射光量に応じたゲイン設定の２つの例を説明したが、本発明はこれらのみに限定されない。撮像素子１０３の列アンプ２０３、出力アンプ２０４、アナログ信号処理回路１０６のプログラマブルゲインアンプ１０８、デジタル信号処理回路１１２のデジタルアンプ１２１のそれぞれのゲインを、搭載する撮像装置の特徴に合わせて設定可能である。また、図２及び図３に示したゲイン値は例示的なものであり、本発明はこれらに限定されず、各ゲイン値は適宜変更されうる。

本発明の好適な実施形態に係る撮像装置の構成を示すブロック図である。本発明の第１の実施形態における入射光量に応じたゲイン設定の一例を説明する図である。本発明の第２の実施形態における入射光量に応じたゲイン設定の一例を説明する図である。本発明の第１の実施形態に係る撮像装置の制御方法に関するフローチャートである。本発明の第１の実施形態に係る撮像装置の動作例を説明する図である。本発明の第１の実施形態に係る撮像装置の別の動作例を説明する図である。従来の撮像装置における電気信号の制御の流れ及び増幅器の一例を説明するブロック図である。

符号の説明

１０３撮像素子
１０４光電変換部
１０５信号増幅回路
１０６アナログ信号処理回路
１０７ＣＤＳ回路
１０８プログラマブルゲインアンプ（ＰＧＡ）
１０９Ａ／Ｄ変換器
１１２デジタル信号処理回路
１１８システム制御部
１２１デジタルアンプ
１２２画像処理回路
２０３列アンプ
２０４出力アンプ

Claims

被写体の光学像を電気信号へ変換する撮像素子と、
前記電気信号を第１のゲインで増幅する第１の増幅手段と、
前記第１の増幅手段で増幅された電気信号を、前記第１のゲインよりも細かい刻み幅で変更可能な第２のゲインで増幅する第２の増幅手段と、
前記被写体の輝度に応じて第３のゲインを設定し、前記第１のゲインと前記第２のゲインの合計が前記第３のゲインとなるように、前記第１のゲイン及び前記第２のゲインを調整すると共に、前記第２のゲインの内、前記第１のゲインで調整しきれないゲイン分を前記第２のゲインにより調整する制御手段とを有し、
前記制御手段は、予め決められた輝度差の範囲を超えて前記被写体の輝度が変化せず、かつ、直近の輝度が変化したと判断されたときから予め設定された時間が経過している場合に前記第１のゲインと前記第２のゲインの配分を調整し、それ以外の場合に前記第１のゲインを調整せずに前記第２のゲインを調整することを特徴とする撮像装置。
前記撮像素子は、複数の画素を有し、
前記第１の増幅手段は、前記複数の画素の各列にそれぞれ配置された列アンプを含むことを特徴とする請求項１に記載の撮像装置。
前記第１の増幅手段は、前記撮像素子の内部に配置された出力アンプを含むことを特徴とする請求項１に記載の撮像装置。
前記第１の増幅手段は、前記撮像素子の後段に配置されたアナログアンプを含むことを特徴とする請求項１に記載の撮像装置。
前記第２の増幅手段は、前記撮像素子の後段に配置されたアナログアンプを含むことを特徴とする請求項１に記載の撮像装置。
前記第２の増幅手段は、前記撮像素子の後段に配置されたデジタルアンプを含むことを特徴とする請求項１に記載の撮像装置。
被写体像を電気信号に変換する撮像素子と、前記電気信号を第１のゲインで増幅する第１の増幅手段と、前記第１の増幅手段で増幅された電気信号を、前記第１のゲインよりも細かい刻み幅で変更可能な第２のゲインで増幅する第２の増幅手段とを備える撮像装置の制御方法であって、
前記被写体の輝度に応じて第３のゲインを設定する工程と、
前記第１のゲインと前記第２のゲインの合計が前記第３のゲインとなるように、前記第１のゲイン及び前記第２のゲインを調整すると共に、前記第２のゲインの内、前記第１のゲインで調整しきれないゲイン分を前記第２のゲインにより調整する制御工程とを有し、
前記制御工程では、予め決められた輝度差の範囲を超えて前記被写体の輝度が変化せず、かつ、直近の輝度が変化したと判断されたときから予め設定された時間が経過している場合に前記第１のゲインと前記第２のゲインの配分を調整し、それ以外の場合に前記第１のゲインを調整せずに前記第２のゲインを調整することを特徴とする撮像装置の制御方法。