JP6041593B2 - 固体撮像装置 - Google Patents

Description

本発明は、電子カメラなどの固体撮像装置に関する。

ＸＹアドレス走査型の撮像素子を備える撮像装置では、アドレス指定によりライン毎に光電変換素子の電荷蓄積時間を制御するローリングシャッタ方式が使用されている。このローリングシャッタ方式を用いて蛍光灯下で動画撮影が行われた場合、蛍光灯の光源の明滅周波数（例えば、５０Ｈｚ又は６０Ｈｚの商用電源周波数）による周期的な輝度変化の影響により、画像に横縞状のむら（以下、フリッカ）が生じる場合がある。そこで、撮影した画像から光源の明滅周波数を算出し、その明滅周波数に基づいてフリッカを抑制する撮像装置が提案されている（例えば、特許文献１参照）。

特開２０１１−１７６６２２号公報

特許文献１の撮像装置では、光源の明滅周期より１画面の読み出し時間が短くなるフレームレートの高い動画の場合（例えば１０００ｆｐｓの動画の場合）、電荷蓄積時間を明滅周波数の半周期の整数倍とすることができない場合がある。その場合には、フリッカを抑制することはできない。

本発明の目的は、フレームレートが高い動画の場合にもフリッカを低減することができる固体撮像装置を提供することである。

本発明の固体撮像装置は、光電変換により複数のフレームの撮像を行う画素部と、光源のフリッカ周期内で撮像された複数のフレームを１つの単位として露光量を演算する露光量演算部と、演算された前記露光量を基に、演算に用いられた前記複数フレームの後に撮像される複数のフレームに対して、互いに異なる２つを少なくとも含む複数の電荷蓄積期間、及び／又は、互いに異なる２つを少なくとも含む複数の増幅ゲインを設定することにより、前記画素部により撮像される各フレームの露光量を制御する制御部とを有することを特徴とする。

フレームレートが高い動画の場合にも自動露光制御が可能となり、フリッカを低減することができる。

固体撮像装置の構成例を示すブロック図である。 第１の実施形態の固体撮像装置の動作例を示すフローチャートである。 第１の実施形態のフリッカ周波数取得について説明する図である。 露光量差分取得の一例について説明する図である。 各フレームのゲイン演算とゲイン設定選択の一例を説明する図である。 露光量制御の一例について説明する図である。 第２の実施形態の固体撮像装置の構成例を示すブロック図である。 第２の実施形態の固体撮像装置の動作例を示すフローチャートである。 各行ゲイン補正値取得及び露光量制御の一例について説明する図である。 第３の実施形態の固体撮像装置の動作例を示すフローチャートである。 露光量制御の一例について説明する図である。

（第１の実施形態）
本発明の第１の実施形態は、フリッカ周期内の複数のフレームを露光量演算と露光量補正の１単位とする。露光量演算の１単位中の各フレームの露光量から、次に撮像する１単位中の各フレームの蓄積時間又はゲインを演算する。そして、その演算結果を用いて撮像し、ゲイン補正を行い、フレーム間のフリッカの影響を低減する。露光量は、外光強度（又は輝度）と画素の蓄積時間とゲインとで決定され、外光強度×蓄積時間×ゲインで表現できる。露光量演算の一側面は、撮像した画像データから、撮像時の露光時間とゲインを用いて外光強度を演算することである。また、露光量調整方法の一例として、本実施形態では、一フレーム内全画素データの平均値を一フレーム平均露光量とし、一フレーム平均露光量が一定の露光量（すなわち適正な露光量）となるように蓄積時間を固定とし、ゲインを調整する方法を示す。フレームレートが高速な場合、良好な画像を得るためには、蓄積時間をそのフレームレートで可能な最大蓄積時間とすることが望ましいため、蓄積時間は固定としたが、露光量の微調整の手段として蓄積時間を調整してもよい。

図１は、本発明の第１の実施形態に係る固体撮像装置の構成の一例を示すブロック図である。画素部１は、各々が光電変換素子を含む複数の画素が行列状に配列され、光電変換により複数のフレームの撮像を行う。行走査部２は、画素部１に隣接して配置されており、画素部１の画素の行の走査を行う。行走査では、画素部１の画素に蓄積された電荷の読み出しと、画素部１での電荷蓄積時間制御を行う電子シャッタ動作を行う。ＣＤＳ部３は、画素部１からの画素出力信号に対し、相関二重サンプリング（以下、ＣＤＳ）を行い、画素出力信号に重畳される画素リセットノイズを減算する。ゲイン調整部４は、ＣＤＳ後のアナログ信号に対し、ゲイン調整を行う。ゲイン調整部４は、ＣＤＳ部３にゲイン調整機能を持たせてもよい。また、後述のＡＤ変換部５にゲイン調整機能を持たせてよい。ＡＤ変換部５は、ＣＤＳ後のアナログ信号をデジタル信号に変換する。水平走査部６は、各列のデジタル信号を画像処理部１１及び露光量演算部９へ順次転送する。タイミング生成部７は、行走査部２、ＣＤＳ部３、ＡＤ変換部５、水平走査部６を制御するタイミング信号を生成する。また、タイミング生成部７は、行走査部２の電子シャッタ走査開始と、読み出し走査開始の時間間隔を制御することによって、画素の蓄積時間の制御機能を有する。設定部８は、タイミング生成部７のタイミング設定とゲイン調整部４のゲイン設定を保持する。露光量演算部９は、水平走査部６から出力された露光量演算の１単位となる複数のフレームの画像データを基に複数のフレームの露光量を演算する。フレーム露光量演算部１０は、露光量演算部９で取得した露光情報を基に、次に撮像する露光量演算の１単位となる複数フレームの中の各フレームの蓄積時間とゲインの演算を行う。画像処理部１１は、各種の画像処理（階調変換処理、輪郭強調処理など）を行う。制御部１２は、設定部８、露光量演算部９、フレーム露光量演算部１０、画像処理部１１の制御を行う。

次に、図２のフローチャートと図３〜図６とを用いて、本実施形態に係る固体撮像装置の動作の一例について説明する。まず、始めに、フリッカ周波数取得のための動作について、説明する。図２は、固体撮像装置の駆動方法を示すフローチャートである。

ステップｓｔ１００で撮影を開始すると、固体撮像装置は、ステップｓｔ１０１では、固体フリッカの有無を判定するための画像取得を行い、ステップｓｔ１０２で、フリッカ周波数の取得を行う。図３を用いて、ステップｓｔ１０１及びｓｔ１０２の動作の一例について、より詳しく説明する。図３（ａ）は光源の輝度変化を示し、図３（ｂ）はタイミング生成部７に入力する垂直同期信号を示し、図３（ｃ）は水平走査部６から出力される画像を表す。また、図３（ｄ）は、出力画像の各行の平均輝度を表し、図３（ｅ）は、図３（ｄ）から算出した出力画像の各行の露光量を表す。

ステップｓｔ１０１において、制御部１２は、予め想定される光源の輝度変化の周波数Ｆｆ（Ｈｚ）に対し、３×Ｆｆ（ｆｐｓ）以上のフレームレートで、４周期以上の撮影を行う。図３（ａ）〜（ｅ）では、光源の輝度変化の周波数Ｆｆ（Ｈｚ）に対し、５×Ｆｆ（ｆｐｓ）のフレームレートで、フリッカ４周期において撮影を行っている。このフレームレートの決定は、フリッカの有無を判定するため、３フレーム以上が望ましい。フリッカの有無を判定するために用いるフレーム数は、固体撮像装置の画素数及び駆動周波数に応じて決定されるものであって、フレーム数が増えるほど、各撮像画面内において露光補正の精度が向上する。

次に、ステップｓｔ１０２において、露光量演算部９は、水平走査部６から出力された画像データの、各行の平均輝度を求め、さらに各行の平均輝度からフレーム単位の各行の平均輝度の空間周波数成分を減算し、各行の露光量を求める。露光量しきい値を設け、各行の露光量が露光量しきい値を下回る時刻が３回以上あり、その間隔が一定である場合、その間隔をフリッカ周期とする。図３（ｄ）は出力画像の各行の平均輝度を表しているが、１フレーム内の輝度変化には、撮影物の輝度に依存した被写体空間周波数成分が含まれている。フレーム平均輝度が高いフレームｆｒ１０３は、光源の輝度変化の影響は少なく、そのフレーム内の輝度変化は、ほぼ被写体空間周波数成分である。すなわち、フレーム平均輝度が高いフレームｆｒ１０３の相対的輝度変化を、各フレームの輝度変化から減算すると、図３（ｅ）に示す各フレームの被写体空間周波数成分を除去した露光量の変化成分を得る。各フレームの露光量に対し、露光量しきい値ｅ１００を設けたとき、図３（ｅ）では、時刻ｔ１０１、ｔ１０２、ｔ１０３で、フレームの露光量が露光量しきい値ｅ１００を下回っている。時刻ｔ１０１とｔ１０２の間隔ｐ１０１と、時刻ｔ１０２とｔ１０３の間隔ｐ１０２とが等しい場合、光源の周期的な輝度変化があると判定し、時間的間隔ｐ１０１を基にフリッカの周波数を得る。

ステップｓｔ１０２の後、ステップｓｔ１０３では、露光量演算部９は、フリッカの有無を判定する。すなわち、露光量演算部９は、複数のフレームの露光量を基に光源の周期的な輝度変化（フリッカ）の有無を判定する。制御部１２は、フリッカ無しの場合は、ステップｓｔ１１２で、本撮像を開始し、フリッカ有の場合は、ステップｓｔ１０４で、露光量演算部９にて露光量演算処理を行うフレーム数の決定を行う。

ステップｓｔ１０４において、露光量演算部９は、Ｎを３以上の整数とすると、フリッカの周波数Ｆｆ（Ｈｚ）に対して、フレームレートはＮ×Ｆｆ（ｆｐｓ）とし、露光量演算処理はＮフレームに一回行うことと決定する。

続いて、本撮像に先立って行う露光量演算用撮像と、露光量演算の動作について説明する。ステップｓｔ１０５では、制御部１２は、露光量演算用撮像を行う。次に、ステップｓｔ１０６では、制御部１２は、Ｎフレームの撮像が完了したか否かを判定し、完了していなければ、ステップｓｔ１０５に戻る。Ｎフレームの撮像が完了した後、ステップｓｔ１０７では、露光量演算部９は、露光量ピークフレームを決定する。次に、ステップｓｔ１０８では、露光量演算部９は、各フレームの露光量とピークフレームの露光量との差分を演算する。次に、ステップｓｔ１０９では、露光量演算部９は、露光量ピークフレームの絶定的露光量を取得する。図４を用いて、ステップｓｔ１０５、ｓｔ１０６、ｓｔ１０７、ｓｔ１０８、ｓｔ１０９の動作の一例を、より詳しく説明する。

図４（ａ）は光源の輝度変化を示し、図４（ｂ）はタイミング生成部７に入力する垂直同期信号を示し、図４（ｃ）は水平走査部６から出力される画像を表す。また、図４（ｄ）は、出力画像の各行の平均輝度を表し、図４（ｅ）は、図４（ｄ）から算出した出力画像の各行の露光量を表す。

ステップｓｔ１０５及びｓｔ１０６において、制御部１２は、ステップｓｔ１０４で決定したフレームレートで撮像を開始する。図４（ａ）〜（ｅ）では、フリッカ周波数Ｆｆ（Ｈｚ）に対し、５×Ｆｆ（ｆｐｓ）のフレームレートで撮像を行っている。光源のフリッカ周期内の５フレームすなわち露光演算フレーム数の撮像が完了した後、ステップｓｔ１０７において、露光量演算部９は、露光量ピークフレームを決定する。露光量演算部９は、図４（ｄ）に示す水平走査部６から出力された画像データの各行の平均輝度を求め、各行の平均輝度からフレーム単位の各行の平均輝度の空間周波数成分を減算し、図４（ｅ）に示す各行の露光量を求める。そして、露光量演算部９は、各行の露光量から、各フレームの平均露光量を求め、平均露光量が最も高いフレームを露光量ピークフレームと決定する。図４（ｅ）では、フレームｆｒ２０３の一フレーム平均露光量がピークであり、露光量ピークフレームはフレームｆｒ２０３と決定する。

次に、ステップｓｔ１０８において、露光量演算部９は、光源のフリッカ周期内の各フレームについて、各フレームのピークフレームとの露光量の差分を演算する。図４（ｅ）では、フレームｆｒ２０１の露光量ピークフレームｆｒ２０３に対する露光量差分は、ｅｒ２０１となる。同様に、露光量演算部９は、他のフレームの露光量差分を演算し、記憶する。

また、ステップｓｔ１０９において、露光量演算部９は、露光量ピークフレームの露光量を取得する。図４（ｅ）では、フレームｆｒ２０３の露光量ｅａ２００が、露光量ピークフレームの露光量となる。

続いて、前述した露光量ピークフレームの露光量と、露光量演算フレーム数中の各フレームの露光量差分を用いた、本撮像における露光量演算フレーム数中の各フレーム露光量演算と、本撮像の動作について説明する。

ステップｓｔ１１０では、フレーム露光量演算部１０は、露光量演算処理単位の各フレームの蓄積時間及びゲインの演算を行う。そして、制御部１２は、ステップｓｔ１１１では、ステップｓｔ１１０で演算された各フレームの蓄積時間及びゲイン設定を選択し、ステップｓｔ１１２では、本撮像を行う。図５を用いて、ステップｓｔ１１０、ｓｔ１１１、ｓｔ１１２の動作の一例を、より詳しく説明する。

図５（ａ）は光源の輝度変化を示し、図５（ｂ）はタイミング生成部７に入力する垂直同期信号を示し、図５（ｃ）はフレーム露光量演算部１０で演算した各フレームのゲイン値を示す。図５（ｄ）は図５（ｃ）に示すゲインで撮像された水平走査部６から出力される画像を表し、図５（ｅ）は、出力画像の各行の平均輝度を表す。

ステップｓｔ１１０において、フレーム露光量演算部１０は、露光量演算部９にて演算した露光量ピークフレームに対する露光量差分ｅｒ２０１〜ｅｒ２０５（図４（ｅ））から、図５（ｃ）に示す相対ゲインｇｒ３０１〜ｇｒ３０５を算出する。次に、フレーム露光量演算部１０は、露光量演算部９にて演算した露光量ピークフレームの露光量ｅａ２００から、図５（ｃ）に示す絶対ゲインｇａ３００を算出する。そして、フレーム露光量演算部１０は、相対ゲインｇｒ３０１〜ｇｒ３０５と、絶対ゲインｇａ３００とを加算し、各フレームのゲインとする。

そして、制御部１２は、図５（ｄ）のフレームｆｒ３０１を撮像する前に、ステップｓｔ１１１では、ゲイン設定としてｇｒ３０１＋ｇａ３００を選択し、ステップｓｔ１１２では、そのゲイン設定で撮像を行う。同様に、制御部１２は、フレームｆｒ３０２〜ｆｒ３０５の撮像前に、図５（ｃ）に示すゲイン設定を選択し、撮像を行う。

最後に、露光量演算フレーム数毎の自動露光制御の動作について説明する。ステップｓｔ１１３において、露光演算フレーム数の撮像が完了すると、ステップｓｔ１１４では、露光量演算部９は、撮像が完了した画像データから露光量ピークフレームの露光量を取得する。そして、ステップｓｔ１１０では、フレーム露光量演算部１０は、露光量演算処理単位の各フレームの蓄積時間及びゲインの演算を行う。そして、制御部１２は、ステップｓｔ１１１では、ステップｓｔ１１０で演算された各フレームの蓄積時間及びゲイン設定を選択し、ステップｓｔ１１２では、本撮像を行う。図６を用いて、ステップｓｔ１１３、ｓｔ１１４、ｓｔ１１０、ｓｔ１１１、ｓｔ１１２の動作の一例を、より詳しく説明する。

図６（ａ）は光源の輝度変化を示し、図６（ｂ）はタイミング生成部７に入力する垂直同期信号を示し、図６（ｃ）はフレーム露光量演算部１０で演算した各フレームのゲイン値を示す。図６（ｄ）は図６（ｃ）に示すゲインで撮像された水平走査部６から出力される画像を表し、図６（ｅ）は出力画像の各行の平均輝度を表し、図６（ｆ）は出力画像の各行の露光量を表す。

図６（ａ）〜（ｆ）では、露光演算フレーム数は５である。ステップｓｔ１１３で制御部１２が図６（ｄ）のフレームｆｒ３０６〜ｆｒ３１０の撮像が完了すると、ステップｓｔ１１４では、露光量演算部９は、露光量ピークフレーム露光量取得を行う。図６（ａ）〜（ｆ）では、露光量ピークフレームはフレームｆｒ３０８であり、露光量演算部９は、その露光量として、図６（ｆ）の露光量ｅａ３０１を取得する。このとき、適正露光量がｅ３００とすると、露光量ｅａ３０１は露光量が多すぎる。そこで、ステップｓｔ１１０において、フレーム露光量演算部１０は、フレームｆｒ３１１の撮像前に、絶対ゲイン設定をｇａ３０１からｇａ３０２にゲインを低下させる。そして、ステップｓｔ１１１及びｓｔ１１２では、制御部１２は、相対ゲインｇｒ３０１と絶対ゲインｇａ３０２を加算したゲインを用いてフレームｆｒ３１１の撮像を行う。その後、同様に、制御部１２は、ステップｓｔ１１１及びｓｔ１１２において、フレームｆｒ３１２〜ｆｒ３１５の撮像をそれぞれのゲイン設定で行う。そして、制御部１２がフレームｆｒ３１５まで撮像を完了すると、再度、ステップｓｔ１１４において、露光量演算部９は、露光量ピークフレーム露光量取得を行う。露光量演算部９は、フレームｆｒ３１３の露光量ｅａ３０２を取得する。適正露光量ｅ３００に対し、露光量ｅａ３０２は露光量が多すぎるため、フレーム露光量演算部１０は、ステップｓｔ１１０において、絶対ゲイン設定をｇａ３０２からｇａ３０３にゲインを低下させる。そして、制御部１２は、ステップｓｔ１１１及びｓｔ１１２において、フレーム露光量演算部１０で演算した各フレームのゲイン設定を選択しつつ、フレームｆｒ３１６〜ｆｒ３２０の撮像を行う。そして、ステップｓｔ１１５において、画像処理部１１は、本撮像した画像に対し、各種の画像処理（階調変換処理、輪郭強調処理など）を行う。

なお、露光調整をゲイン制御のみで行う一例を用いて動作の説明を行ったが、露光調整手段は、露光時間（電荷蓄積時間）の制御のみで行ってもよいし、ゲイン制御と露光時間制御を併用してもよい。

以上説明したように、本実施形態に係る固体撮像装置は、光源の周期的な輝度変化（フリッカ）に対し、周期的な露光調整手段を有するとともに、その周期単位での自動露光手段を有する。露光量演算部９は、光源のフリッカ周期内で撮像された複数のフレームの露光量を演算する。制御部１２は、演算された複数のフレームの露光量を基に、画素部１により撮像される各フレームの露光量（光電変換の電荷蓄積時間及び／又はフレームの増幅ゲイン）を制御する。これにより、フリッカ周期内に複数枚の画像を読み出す高フレームレートな動画撮像においても、フリッカの影響を抑制することが容易となる。また、露光調整を複数枚単位で行うため、自動露光のための露光量演算の演算量が少なくなり、固体撮像装置の消費電力も抑制できる。

（第２の実施形態）
本発明の第２の実施形態に係る固体撮像装置は、第１の実施形態に対し、さらに画像処理前に各行のゲイン調整を行い、フレーム面内のフリッカ影響をより軽減する。

図７は、本発明の第２の実施形態に係る固体撮像装置の構成の一例を示すブロック図である。以下では、本実施形態と第１の実施形態との相違点を中心に説明する。第１の実施形態では、露光量演算部９は、水平走査部６から出力された複数の撮像フレーム分の画像データから一フレーム露光量演算を行い、その露光情報から、フレーム露光量演算部１０は複数フレーム中の各フレームの蓄積時間とゲインの演算を行う。また、画像処理部１１は、水平走査部６から出力された画像データを入力として、各種の画像処理を行う。これに対し、図７に示す本実施形態に係る固体撮像装置では、水平走査部６が出力した画像データを、行単位ゲイン補正部２１が行単位のゲイン補正を行い、さらに画像処理部１１が各種画像処理を行う。行単位ゲイン補正部２１は、露光量演算部９が算出した露光情報を基に、各行のゲイン補正値の演算を行う。

次に、図８のフローチャートと図９とを用いて、本実施形態に係る固体撮像装置の動作の一例について、本実施形態と第１の実施形態との相違点を中心に説明する。第１の実施形態と同様に、ステップｓｔ１０２では、露光量演算部９は、フリッカ周波数を取得する。次に、ステップｓｔ１０５では、制御部１２は、露光量演算用撮像を行う。次に、ステップｓｔ１０７では、露光量演算部９は、露光量ピークフレームを決定する。次に、ステップｓｔ１０８では、露光量演算部９は、各フレーム露光量差分を取得する。次に、ステップｓｔ１０９では、露光量演算部９は、ピークフレーム絶対露光量を取得する。そして、ステップｓｔ１１０では、フレーム露光量演算部１０は、露光量演算処理単位の各撮像フレーム蓄積時間及びゲイン演算を行う。

第２の実施形態においては、さらに行単位のゲイン補正を行う。以下、本撮像に先立って行う、各行のゲイン補正値取得用撮像とそれを用いた行単位ゲイン補正値の演算について説明する。第２の実施形態では、ステップｓｔ１１０の後、各行ゲイン補正値取得のため、制御部１２は、ステップｓｔ２０１で、ステップｓｔ１１０で演算された各フレームの蓄積時間及びゲイン設定を選択し、ステップｓｔ２０２で、各行ゲイン補正値取得用撮像を行う。そして、ステップｓｔ２０３において、撮像フレーム数が露光演算フレーム数に達すると、露光量演算部９は、ステップｓｔ２０４で、各行露光量差分を取得し、ステップｓｔ２０５で、ピークフレーム露光量を取得する。ステップｓｔ２０６では、行単位ゲイン補正部２１は、ステップｓｔ２０４で取得した各行の露光量差分から、各フレームにおける各行のゲイン補正値を演算する。図９を用いて、ステップｓｔ１１０、ｓｔ２０１〜ｓｔ２０６の動作の一例を、より詳しく説明する。

図９（ａ）は光源の輝度変化を示し、図９（ｂ）はタイミング生成部７に入力する垂直同期信号を示し、図９（ｃ）はフレーム露光量演算部１０で演算した各フレームのゲイン値を示す。図９（ｄ）は図９（ｃ）に示すゲインで撮像された水平走査部６から出力される画像を表し、図９（ｅ）は出力画像の各行の平均輝度を表し、図９（ｆ）は出力画像の各行の露光量を表す。そして、図９（ｇ）は、行単位ゲイン補正部２１で演算される各行のゲイン補正値を表す。

ステップｓｔ１１０において、フレーム露光量演算部１０は、露光量演算部９にて演算した露光量ピークフレームに対する露光量差分から、図９（ｃ）に示す相対ゲインｇｒ４０１〜ｇｒ４０５を算出する。次に、フレーム露光量演算部１０は、露光量演算部９にて演算した露光量ピークフレームの露光量から、図９（ｃ）に示す絶対ゲインｇａ４０１を算出する。そして、フレーム露光量演算部１０は、相対ゲインｇｒ４０１〜ｇｒ４０５と、絶対ゲインｇａ４０１とを加算し、各フレームのゲインとする。

そして、制御部１２は、図９（ｄ）のフレームｆｒ４０１を撮像する前に、ステップｓｔ２０１で、ゲイン設定としてｇｒ４０１＋ｇａ４０１を選択し、ステップｓｔ２０２で、そのゲイン設定で撮像を行う。その後、同様に、制御部１２は、ステップｓｔ２０１及び２０２において、フレームｆｒ４０２〜ｆｒ４０５の撮像前に、図９（ｃ）に示すゲイン設定を選択し、各行ゲイン補正値取得用撮像を行う。図９（ａ）〜（ｊ）では露光演算フレーム数は５であり、ステップｓｔ２０３において、制御部１２が図９（ｄ）のフレームｆｒ４０１〜ｆｒ４０５の撮像が完了すると、ステップｓｔ２０４において、露光量演算部９は、各行露光量差分取得を行う。具体的には、露光量演算部９は、図９（ｅ）に示す各行の平均輝度から、フレーム単位の各行の平均輝度の空間周波数成分を減算し、図９（ｆ）に示す各行の露光量の差分を求める。続いて、ステップｓｔ２０５では、露光量演算部９は、露光量ピークフレームｆｒ４０３の露光量として図９（ｆ）に示す露光量ｅａ４０１を取得する。そして、ステップｓｔ２０６では、行単位ゲイン補正部２１は、ステップｓｔ２０４にて取得した各行露光量の差分から図９（ｇ）に示す各フレームにおける各行のゲイン補正値を演算する。ピークフレームｆｒ４０３の露光量ｅａ４０１は、ゲインが１に相当する。

続いて、本撮像の動作と、各行のゲイン補正値を用いた本撮像後の行単位ゲイン補正動作について説明する。ステップｓｔ２０７では、フレーム露光量演算部１０は、ステップｓｔ１０８で取得した各フレーム露光量差分と、ステップｓｔ２０５で取得したピークフレームの露光量から、露光量演算処理単位の各撮像フレームの蓄積時間及びゲインを演算する。そして、制御部１２は、ステップｓｔ２０８で、ステップｓｔ２０７で演算された各フレームの蓄積時間及びゲイン設定を選択し、ステップｓｔ２０９で、本撮像を行う。

水平走査部６は、本撮像された画像データを行単位ゲイン補正部２１に転送する。ステップｓｔ２１０では、行単位ゲイン補正部２１は、ステップｓｔ２０６にて演算した各フレームにおける各行のゲイン補正値をもって行単位でゲイン補正を行う。そして、ステップｓｔ２１１において、画像処理部１１は、行単位のゲイン補正を行った画像に対し、各種の画像処理を行う。

図９を用いて、ステップｓｔ２０７〜ｓｔ２１１の動作の一例を、より詳しく説明する。図９（ｈ）は図９（ｇ）のゲイン補正値を用いて、行単位ゲイン補正を行った結果の画像を表し、図９（ｉ）は行単位ゲイン補正後の各行の平均輝度を表し、図９（ｊ）は図９（ｉ）から空間周波数成分を減算した行単位ゲイン補正後の各行の露光量を表す。

ステップｓｔ２０７では、ステップｓｔ１１０と同様に、フレーム露光量演算部１０は、露光量ピークフレームの露光量から、図９（ｃ）に示す絶対ゲインｇａ４０２を算出する。そして、フレーム露光量演算部１０は、相対ゲインｇｒ４０１〜ｇｒ４０５と、絶対ゲインｇａ４０２とを加算し、各フレームのゲインとする。

そして、制御部１２は、図９（ｄ）のフレームｆｒ４０６を撮像する前に、ステップｓｔ２０８で、ゲイン設定としてｇｒ４０１＋ｇａ４０２を選択し、ステップｓｔ２０９で、そのゲイン設定で撮像を行う。水平走査部６は、フレームｆｒ４０６の画像データを行単位ゲイン補正部２１に転送する。ステップｓｔ２１０では、行単位ゲイン補正部２１は、図９（ｇ）に示すフレームｆｒ４０１〜ｆｒ４０５の露光データを基に演算した各フレームにおける各行のゲイン補正値をもって行単位でゲイン補正を行う。その後、同様に、制御部１２は、フレームｆｒ４０７〜ｆｒ４１０の撮像を行い、図９（ｈ）に示す行単位のゲイン補正後の画像のフレームｆｒ４０６’〜ｆｒ４１０’を得る。このフレームｆｒ４０６’〜ｆｒ４１０’は、図９（ｉ）及び（ｊ）に示す通り、各フレーム及び各行の露光量が一定となる。

最後に、露光量演算フレーム数毎の自動露光制御の動作について説明する。ステップｓｔ２１２において、露光量演算フレーム数の撮像が完了すると、ステップｓｔ２１３では、露光量演算部９は、撮像が完了した画像データから露光量ピークフレームの露光量を取得する。そして、ステップｓｔ２０７では、フレーム露光量演算部１０は、露光量演算処理単位の各フレームの蓄積時間及びゲインの演算を行う。そして、制御部１２は、ステップｓｔ２０８で、ステップｓｔ１１０で演算された各フレームの蓄積時間及びゲイン設定を選択し、ステップｓｔ２０９で、本撮像を行う。そして、ステップｓｔ２１０において、行単位ゲイン補正部２１は、各フレームにおける各行のゲイン補正を行う。そして、ステップｓｔ２１１において、画像処理部１１は、各種の画像処理を行う。図９を用いて、より詳しく説明する。

ステップｓｔ２１２において、図９（ｄ）で示すフレームｆｒ４０６〜ｆｒ４１０の露光量演算フレーム数である５フレームの撮像を完了すると、ステップｓｔ２１３では、露光量演算部９は、光量ピークフレームｆｒ４０８の露光量ｅａ４０２を取得する。そして、ステップｓｔ２０７では、フレーム露光量演算部１０は、各フレームの蓄積時間及びゲインの演算を行い、図９（ｃ）に示す絶対的ゲインｇａ４０３を得る。そして、制御部１２は、ステップｓｔ２０８及び２０９において、相対的ゲインｇｒ４０１〜ｇｒ４０５を加算したゲイン設定にて、フレームｆｒ４１１〜ｆｒ４１５を撮像する。そして、ステップｓｔ２１０では、行単位ゲイン補正部２１は、前述した行単位のゲイン補正を行って、フレームｆｒ４１１’〜ｆｒ４１５’を得る。

以上説明したように、本発明の第２の実施形態に係る固体撮像装置は、光源の周期的な輝度変化（フリッカ）に対し、周期的な（露光）ゲイン調整手段を有するとともに、その周期単位での自動露光手段を有する。さらに、固体撮像装置は、行単位の露光調整手段を有する。これにより、フリッカ周期内に複数枚の画像を読み出す高フレームレートな動画撮像においても、フレーム面内でのフリッカの影響を抑制することが容易となる。

（第３の実施形態）
本発明の第３の実施形態に係る固体撮像装置は、第１の実施形態に対し、非周期性の光源の輝度変化に対し、段階的な露光調整を行い、フレーム間の露光量の変化を少なくする。図面を参照しながら、本発明の第３の実施形態について、第１の実施形態との相違点を中心に説明する。

本発明の第３の実施形態に係る固体撮像装置の構成は、図１に示す第１の実施形態の固体撮像装置の構成と同様である。本実施形態は、第１の実施形態とは、動作が異なり、その一例を図１０のフローチャートと図１１を用いて説明する。

第１の実施形態と同様に、ステップｓｔ１０１では、制御部１２は、フリッカ有無判定用画像を取得する。次に、ステップｓｔ１０２では、露光量演算部９は、フリッカ周波数を取得する。次に、ステップｓｔ１０３では、露光量演算部９は、フリッカ有無の判定を行う。フリッカ有りの場合は、ステップｓｔ１０４以降の動作を行う。ステップｓｔ１０４〜ｓｔ１１５は、第１の実施形態と同様なので、説明を省略する。

フリッカ無しの場合は、第１の実施形態とは動作が異なる。まず始めに、ステップｓｔ３０１では、露光量演算部９は、露光量演算処理を行うフレーム数の決定を行う。露光量演算処理を行うフレーム数は、後述する自動露光制御におけるタイムラグを小さくするため、露光量演算部９が処理可能な最少の時間すなわち最少のフレーム数とすることが好ましい。

続いて、本撮像に先立って行う初期露光量演算のための撮像と、露光量の取得及び露光補正量の演算について、説明する。ステップｓｔ３０２及びｓｔ３０３では、制御部１２は、初期露光量演算ための撮像を繰り返し、ステップｓｔ３０１で決定したフレーム数の撮像を行う。そして、ステップｓｔ３０４では、露光量演算部９は、ステップｓｔ３０２で取得した画像のうち、一部の撮像フレームの露光量を取得する。ステップｓｔ３０５では、露光量演算部９は、露光量と、目標露光量との差異から露光補正量を演算する。図１１を用いて、ステップｓｔ３０１〜ｓｔ３０５の動作の一例をより詳しく説明する。

図１１（ａ）は光源の輝度変化を示し、図１１（ｂ）はタイミング生成部７に入力する垂直同期信号を示し、図１１（ｃ）は撮像時に用いるゲインを表し、図１１（ｄ）は水平走査部６から出力される画像を表す。また、図１１（ｅ）は、出力画像の面平均露光量を表す。

まず、ステップｓｔ３０１において、露光量演算部９は、露光演算に要する時間とフレームレートから露光量演算処理のフレーム数を決定する。図１１では、４フレームを露光量演算処理のフレーム数としている。次に、ステップｓｔ３０２において、制御部１２は、初期露光量演算のための撮像を行う。図１１で図示していない蓄積時間は、撮像フレームレートでの最大値とし、ゲインは図９（ｃ）に示すゲインｇａ５０１で撮像を行う。そして、制御部１２は、この蓄積時間とゲインは固定のまま、フレームｆｒ５０１〜ｆｒ５０４の４フレームの撮像を行う。

その後、ステップｓｔ３０４において、露光演算部９は、露光量演算処理の単位である４フレームの最終フレームｆｒ５０４の絶対的な面平均露光量を取得する。ステップｓｔ３０５では、図１１（ｅ）において、露光演算部９は、目標露光量をｅ５００とすると不足している露光量すなわち露光補正量ｅｃ５０４を求める。

後述する露光制御のタイムラグを少なくするために、露光演算に用いるフレームは、露光演算処理の単位である複数フレームのうち、最終フレーム又は最終フレームに時間的に近いフレームであることが望ましい。

続いて、本撮像に適用する露光量演算フレーム数中の各フレームの露光量演算と、本撮像の動作について説明する。ステップｓｔ３０６では、フレーム露光量演算部１０は、露光補正量と、それを取得したときの蓄積時間及びゲインから、次に撮像する露光量演算フレーム数における各フレームの蓄積時間及びゲインの演算を行う。そして、制御部１２は、ステップｓｔ３０７で、ステップｓｔ３０６で演算された各フレームの蓄積時間及びゲイン設定を選択し、ステップｓｔ３０８で、本撮像を行う。図１１を用いて、ステップｓｔ３０６〜ｓｔ３０８の動作の一例をより詳しく説明する。

ステップｓｔ３０６において、フレーム露光量演算部１０は、露光補正量ｅｃ５０４とそれを取得したときのゲインｇａ５０４から演算を行い、フレームｆｒ５０８における目標ゲインｇｔ５０８を得る。さらに、フレーム露光量演算部１０は、ゲインｇａ５０４及びｇｔ５０８からフレームｆｒ５０５〜ｆｒ５０８のゲインを線形補完にて求め、ゲインｇａ５０５〜ｇａ５０８を得る。そして、制御部１２は、ステップｓｔ３０７で、ゲインｇａ５０５を選択し、ステップｓｔ３０８で、フレームｆｒ５０５の撮像を行う。以降、同様に、制御部１２は、ゲインｇａ５０６〜ｇａ５０８を選択し、フレームｆｒ５０６〜ｆｒ５０８の撮像を行う。

最後に、露光量演算フレーム数毎の自動露光制御の動作について説明する。ステップｓｔ３０９において、露光演算フレーム数の撮像が完了すると、ステップｓｔ３０４では、露光量演算部９は、撮像完了した画像の一部の撮像フレームから露光量を取得する。さらに、ステップｓｔ３０５では、露光量演算部９は、露光補正量を演算し、ステップｓｔ３０６では、露光補正量から各フレームの蓄積時間及びゲインの演算を行う。そして、制御部１２は、ステップｓｔ３０７で、各フレームの蓄積時間及びゲイン設定を選択し、ステップｓｔ３０８で、本撮像を行う。これらを露光量演算フレーム数毎に繰り返すことによって、自動露光制御を行う。図１１を用いて、自動露光制御の動作の一例を説明する。

ステップｓｔ３０９において、制御部１２が露光量演算フレーム数である４フレームの撮像を完了したと判定すると、ステップｓｔ３０４では、露光量演算部９は、４フレーム中の最終フレームｆｒ５０８の面平均露光量を取得する。光源の輝度が一定であればフレームｆｒ５０４の露光量からゲイン補正がなされ、目標露光量と一致するが、図１１（ａ）に示す通り、フレームｆｒ５０７の撮像中に光源の輝度が大きく増加している。その結果、図１１（ｅ）に示す通り、フレームｆｒ５０８の露光量は目標露光量ｅ５００を大きく上回り、出力画像も露光過多の画像となる。そこで、ステップｓｔ３０５では、露光量演算部９は、露光量を目標露光量ｅ５００とするための露光補正量ｅｃ５０８を演算する。そして、ステップｓｔ３０６では、フレーム露光量演算部１０は、次に撮像するフレームｆｒ５０９〜ｆｒ５１２のゲインを演算する。フレームｆｒ５１２の光源の輝度がフレームｆｒ５０８と同じであった場合、ステップｓｔ３０７では、制御部１２は、フレームｆｒ５１２が目標露光量に到達するよう、フレームｆｒ５０９〜ｆｒ５１２で段階的に、ゲインｇａ５０９〜ｇａ５１２を低下させる。そして、ステップｓｔ３０８では、制御部１２は、ゲインｇａ５０９〜ｇａ５１２で、フレームｆｒ５０９〜ｆｒ５１２の撮像を行う。

しかし、図１１（ａ）に示すように、フレームｆｒ５０９〜ｆｒ５１２の撮像の間にも、光源の輝度は増加し続けている。その結果、ステップｓｔ３０４で取得するフレームｆｒ５１２の面平均露光量は、まだ目標露光量ｅ５００を上回る。そこで、露光演算部９及びフレーム露光量演算部１０は、ステップｓｔ３０５及びｓｔ３０６で、次に撮像するフレームｆｒ５１３〜ｆｒ５１６のゲインをさらに低下させる。

図１１（ａ）に示すように、光源の輝度は、フレームｆｒ５１２以降、ほぼ一定となり、その結果、ステップｓｔ３０７及びｓｔ３０８で撮像したフレームｆｒ５１３〜ｆｒ５１６の画像の面平均露光量は目標露光量ｅ５００に収束する。

上記説明においては、説明を簡略にするためゲイン制御のみでの露光量制御を行う一例を示したが、露光量制御は、蓄積時間制御のみで行ってもよい。また、蓄積時間制御とゲイン制御の両方を用いて行ってもよい。

以上説明したように、本発明の第３の実施形態に係る固体撮像装置は、非周期性の光源の輝度変化に対し、段階的な露光調整手段を有するとともに、複数フレーム単位での自動露光手段を有する。これにより、露光演算処理の能力に依存せず、高フレームレート撮影での自動露光制御が可能となる。また、高フレームレートで撮影した映像をスロー再生しても、フレーム間の露光量の変化が少ないため、良好な映像となる。

第１〜第３の実施形態の固体撮像装置は、ビデオカメラ、携帯端末用カメラ、車載カメラ、防犯用カメラ、工業用カメラなど、多岐にわたる応用が可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 画素部、９ 露光量演算部、１０ フレーム露光量演算部、１２ 制御部

Claims (9)

1. 光電変換により複数のフレームの撮像を行う画素部と、
   光源のフリッカ周期内で撮像された複数のフレームを１つの単位として露光量を演算する露光量演算部と、
   演算された前記露光量を基に、演算に用いられた前記複数フレームの後に撮像される複数のフレームに対して、互いに異なる２つを少なくとも含む複数の電荷蓄積期間、及び／又は、互いに異なる２つを少なくとも含む複数の増幅ゲインを設定することにより、前記画素部により撮像される各フレームの露光量を制御する制御部と
   を有することを特徴とする固体撮像装置。
2. 前記露光量演算部は、前記複数のフレームの中から露光量がピークとなるフレームの露光量を取得し、前記複数のフレームの露光量と前記露光量がピークとなるフレームの露光量との差分を演算することを特徴とする請求項１記載の固体撮像装置。
3. さらに、前記露光量がピークとなるフレームの露光量と、前記複数のフレームの露光量の差分を基に、前記画素部により撮像される各フレームの露光量を演算するフレーム露光量演算部を有することを特徴とする請求項２記載の固体撮像装置。
4. 前記露光量演算部は、前記複数のフレームの各行の露光量を演算し、
   前記制御部は、各フレームの各行の露光量を制御することを特徴とする請求項１〜３のいずれか１項に記載の固体撮像装置。
5. 前記露光量演算部は、前記複数のフレームの露光量を基に光源の周期的な輝度変化の有無を判定し、
   前記制御部は、前記光源の周期的な輝度変化が無い場合に、適正露光量に対する前記複数のフレームの露光量を基に、前記画素部により撮像される各フレームの露光量を制御することを特徴とする請求項１〜４のいずれか１項に記載の固体撮像装置。
6. 前記露光量演算部による前記露光量の演算は、前記画素部により撮像された複数のフレームのデータから、撮像時に用いた露光時間と増幅ゲインとを用いた光源の光の強度の演算を含むことを特徴とする請求項１〜５のいずれか１項に記載の固体撮像装置。
7. 前記制御部は、１フレームの複数の画素データの平均値が所定の範囲に含まれるように前記光電変換の電荷蓄積時間及び／又は前記フレームの増幅ゲインを制御することにより前記露光量の制御を行うことを特徴とする請求項１記載の固体撮像装置。
8. 光電変換により複数のフレームの撮像を行う画素部と、
   光源のフリッカ周期内で撮像された複数のフレームを１つの単位として露光量を演算する露光量演算部と、
   演算された前記露光量を基に、演算に用いられた前記複数フレームの後に撮像される複数のフレームに対して、互いに異なる２つを少なくとも含む複数の電荷蓄積期間を設定する制御部と
   を有することを特徴とする固体撮像装置。
9. 光電変換により複数のフレームの撮像を行う画素部と、
   光源のフリッカ周期内で撮像された複数のフレームを１つの単位として露光量を演算する露光量演算部と、
   演算された前記露光量を基に、演算に用いられた前記複数フレームの後に撮像される複数のフレームに対して、互いに異なる２つを少なくとも含む複数の増幅ゲインを設定する制御部と
   を有することを特徴とする固体撮像装置。

Images