JP4864411B2

JP4864411B2 - 撮像装置

Info

Publication number: JP4864411B2
Application number: JP2005296652A
Authority: JP
Inventors: 秀忠長岡; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-10-11
Filing date: 2005-10-11
Publication date: 2012-02-01
Anticipated expiration: 2025-10-11
Also published as: JP2007108232A

Description

この発明は、ストロボ等の補助照明装置を使用して被写体を撮像する撮像装置に関するものである。

従来の撮像装置には、ストロボやＬＥＤフラッシュなどの補助照明装置を使用するとき、撮像を行う本発光の前に予備発光を行って適正な露光となるように制御するものがある。
上記のような予備発光を行う撮像装置として、例えば、撮像レンズを通過した被写体光を受光して焦点調節用の信号を出力するＡＦセンサを備え、予備発光を行う際にＡＦセンサを作動させて当該予備発光による反射光を受光／評価し、その評価結果に応じて本発光時の光量を決定して撮像を行うものがある（例えば、特許文献１参照）。
また、ファインダー光学系に導かれた被写体光の一部を検出する蓄積型測光センサを備え、このセンサを使用して予備発光時の被写体光を検出し、当該検出結果に基づいて本発光撮像時の補助照明装置の発光条件を設定するものがある（例えば、特許文献２参照）。

特開２０００−２６７１５１号公報（第５，７，８頁、図３，７）特開２００３−１１４４６５号公報（第３頁、図３，４）

従来の撮像装置は以上のように構成されているので、予備発光時の被写体光の検出／評価を行うＡＦセンサや蓄積型測光センサ等と共に、これらのセンサの出力結果に応じて本発光撮像時の露光を適正に制御する構成要素が必須になり、補助照明装置の発光量や発光条件を制御する専用の回路等を設ける必要があるという課題があった。
特に、携帯電話機に備える撮像装置では、部品を実装するスペースが制限され、さらに大きな光量を発生するＬＥＤが補助照明装置として同一筐体に備えられ、上記のようなセンサや制御手段を備えることは非常に困難であった。

この発明は上記のような課題を解決するためになされたもので、補助照明装置を使用して撮像を行うとき、露光を簡易な構成で精度良く制御する撮像装置を得ることを目的とする。

この発明に係る撮像装置は、撮像素子から出力された画像信号を画像データへ変換するＡ／Ｄ変換手段を備え、撮像素子による撮像が周期的に自動で行われる撮像装置において、Ａ／Ｄ変換手段から出力された画像データの被写体照度を表す画像統計情報を求める信号処理手段と、撮像素子から出力された画像信号を増幅する増幅手段と、補助照明装置を制御して予備発光させたときの画像統計情報及び当該予備発光の開始タイミングに基づいて補助照明装置を本発光させるときの撮像素子の露光時間及び増幅手段の動作を制御する制御手段とを備え、制御手段は、シャッターボタンの押下操作に応じた補助照明装置の予備発光開始タイミングが撮像素子の露光開始タイミングよりも遅い場合には、露光開始から予備発光開始までの時間を用いて信号処理手段が求めた予備発光時の画像統計情報を補正して本発光させるときの露光時間及び増幅手段の増幅度を演算により求めるようにしたものである。

この発明によれば、画像データの被写体照度を表す画像統計情報を信号処理手段によって求め、制御手段は、シャッターボタンの押下操作に応じた補助照明装置の予備発光開始タイミングが撮像素子の露光開始タイミングよりも遅い場合には、露光開始から予備発光開始までの時間を用いて信号処理手段が求めた予備発光時の画像統計情報を補正して本発光させるときの露光時間及び増幅手段の増幅度を演算により求めるようにしたので、簡易な構成で撮像するときの露光制御を精度良く行うことができるという効果がある。

以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１による撮像装置の構成を示すブロック図である。図示した撮像装置は、レンズ１を介して撮像対象の反射光を入射して光電変換を行い、画像信号を生成する例えばＣＣＤなどの固体撮像素子２を備えている。この固体撮像素子２は、外部から入力したタイミング信号等に基づいて露光を行う電子シャッター機能を有するものである。撮像装置に備えられている相関二重サンプリング（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）部（以下、ＣＤＳ部と記載する）３は、固体撮像素子２から出力された画像信号を入力し、画像信号を増幅部４へ出力するように接続されている。増幅部４は、増幅した画像信号を画像信号をＡ／Ｄ変換部５へ出力するように接続されている。Ａ／Ｄ変換部５は、入力した画像信号をＡ／Ｄ変換した画像データを信号処理部６へ出力するように接続されている。

ＣＰＵ７は、図示されない例えば自らの内部メモリに予め格納されているプログラムコードを逐次実行し、各演算処理や該撮像装置全体の動作を制御するプロセッサ等である。このＣＰＵ７は、信号処理部６から出力された画像統計情報を入力するように、さらにスイッチ操作部８になされた操作に応じて当該スイッチ操作部８からの信号等を入力するように接続され、またさらに増幅部４、タイミングジェネレータ９、及び、補助照明装置１０の動作を制御するように接続されている。
スイッチ操作部８は、ユーザの操作によって各設定の入力が行われるスイッチ等やシャッターボタンなどからなる。タイミングジェネレータ９は、上記のようにＣＰＵ７に接続されていると共に、固体撮像素子２の露光時間やフレームレートなどの撮像動作を制御するように接続されている。また、補助照明装置１０は、上記のようにＣＰＵ７に接続されており、ストロボあるいは高輝度ＬＥＤなどを光源として備えているものである。

次に動作について説明する。
実施の形態１による撮像装置は、スイッチ操作部８のスイッチ等が操作されたときに該スイッチ操作部８から出力された信号や、信号処理部６によって求められた画像統計情報をＣＰＵ７へ入力し、これらの信号ならびに情報に基づいて被写体が暗い状態であると判断した場合に補助照明装置１０を動作させて撮像を行う。
図１に示したレンズ１を介して撮像装置の内部へ入射した光画像は、固体撮像素子２によって電気信号即ち画像信号に変換される。ＣＤＳ部３は、固体撮像素子２から出力された画像信号に含まれている、例えばＣＣＤ等の固体撮像素子２が撮像動作を行うときに生じるアンプノイズやリセットノイズなどを除去する。増幅部４は、ＣＤＳ部３から出力された画像信号をＣＰＵ７の利得制御に基づいて増幅する。Ａ／Ｄ変換部５は、この増幅された画像信号をデジタル信号に変換し、これを画像データとして出力する。

信号処理部６は、Ａ／Ｄ変換部５から入力した画像データに例えばホワイトバランス補正、ＲＧＢ補正など各種の信号補正処理や色信号処理を施してＣＰＵ７あるいは図示されない例えばエンコーダ、メモリ、ディスプレイ装置などへ出力し、画像表示あるいは該画像データの記憶を行わせる。また、該画像データの１フレーム毎に、例えば画面全体あるいは画面の一部の領域の画像データを積算し、算出した値を画像統計情報としてＣＰＵ７へ出力する。この画像統計情報は、被写体照度を表すものである。
ＣＰＵ７は、次のフレームを撮像するときの露光時間及び増幅部４の利得設定を、信号処理部６から入力した画像統計情報に基づく演算処理によって求め、タイミングジェネレータ９及び増幅部４を制御して画像信号のレベルを調整し、例えばＡ／Ｄ変換部５へ入力されている画像信号を一定のレベルもしくはレベル範囲となるように調整する。このように固体撮像素子２の露光時間と増幅部４の増幅度とを関連させて設定する。
タイミングジェネレータ９は、固体撮像素子２を駆動する各タイミング信号をＣＰＵ７からの指示に基づいて生成する。また、生成したタイミング信号のうち、固体撮像素子２から入力している画像信号の１フレーム期間を示す垂直同期信号ＶＤをＣＰＵ７へ出力する。

図２は、実施の形態１による撮像装置の動作を示すフローチャートである。この図は、ＣＰＵ７による制御処理の過程を示したもので、スイッチ操作部８のシャッターボタンが押下されたときに、ＣＰＵ７は図示したステップＳＴ１０１の過程から順に処理を開始する。上記のように撮像装置のシャッターボタンが押下されたとき、ＣＰＵ７はスイッチ操作部８から入力した該シャッターボタンの押下を示す信号と、タイミングジェネレータ９から入力している垂直同期信号ＶＤとを用いて、該シャッターボタンがフレーム期間内のどのタイミングで押下されたかを判断し、また補助照明装置１０を制御して予備発光を行わせる（ステップＳＴ１０１）。予備発光は、シャッターボタンになされた押下操作に応じて開始する。

図３は、実施の形態１による撮像装置の動作を示す説明図である。この図は、最上段にタイミングジェネレータ９から出力されている垂直同期信号ＶＤを示し、その下段に固体撮像素子２から順次出力されている各フレーム＃１〜＃５の期間及び各フレーム期間内の露光時間Ｅｔを示し、その下段に露光開始よりも早いタイミングでシャッターボタンが押下された「シャッターＡ」の場合の補助照明装置１０の発光動作を示し、その下段即ち再下段に露光開始よりも遅いタイミングでシャッターボタンが押下された「シャッターＢ」の場合の補助照明装置１０の発光動作を示したタイミングチャートである。なお、図３では５つのフレーム＃１〜＃５を例示しているが該撮像装置の動作処理は、このフレーム数に限定されるものではない。
垂直同期信号ＶＤは、図示したように各フレーム＃１〜＃５の先頭において有意を示すパルス状の信号である。ＣＰＵ７は、このような垂直同期信号ＶＤを用いて例えば自ら内蔵しているタイマを起動させておき、フレーム＃１の期間内においてシャッターボタンの押下されたタイミングを検知する。

図３に例示したようにフレーム＃１の期間内において予備発光を開始させたＣＰＵ７は、次のフレーム＃２の垂直同期信号ＶＤが発生したタイミングで、補助照明装置１０の発光を停止させる（ステップＳＴ１０２）。このようにタイミングジェネレータ９からフレーム＃２の先頭を表す垂直動機信号ＶＤを入力した時点で予備発光を停止させ、フレーム＃１の期間内においてシャッターボタンが押されたタイミングが、露光開始タイミングより早いか、あるいは遅いかを判断する（ステップＳＴ１０３）。
ＣＰＵ７は、信号処理部６から入力した画像統計情報を用いた演算によって露光時間Ｅｔを設定しており、また、図３に示したように各フレーム期間の終了時点から、どのくらい前に露光を開始するかを設定して当該露光時間Ｅｔの長短を制御している。このようにＣＰＵ７は、露光開始のタイミングを自ら設定していることから、シャッターボタンの押下を示す信号をスイッチ操作部８から入力して、当該シャッターボタンの押下タイミングが露光開始より早い、あるいは遅いことを判断する。
なお、ＣＰＵ７は、画像統計情報から分かる被写体照度が明るいときには固体撮像素子２の露光時間Ｅｔを短くするように、被写体照度が暗いときには露光時間Ｅｔを長くするようにタイミングジェネレータ９を制御する。

ステップＳＴ１０３の過程において、シャッターボタンの押下されたタイミングが、露光開始より早いと判断した場合、即ち図３に示した「シャッターＡ」の場合には、フレーム＃２の期間内に信号処理部６から入力した画像統計情報に基づいて、次のフレーム＃３の期間において撮像するときの露光時間Ｅｔの長さと増幅度とを演算処理よって求める（ステップＳＴ１０４）。
予備発光を行ってフレーム＃１期間内の露光により撮像した画像は、フレーム＃２の期間内においてＣＳＤ部３、増幅部４、Ａ／Ｄ変換部５に処理されて画像データとなる。また、信号処理部６は、当該画像データから求めた画像統計情報をＣＰＵ７へ出力する。ＣＰＵ７は、フレーム＃３の撮像において用いる露光時間Ｅｔの長さと増幅度とを求める演算処理に、フレーム＃２期間内に入力した画像統計情報を用いる。即ち、フレーム＃１期間内の補助照明装置１０の予備発光による被写体照度に応じて、本発光による撮像を行うフレーム＃３の露光時間Ｅｔの長さと増幅度とを求める。

ステップＳＴ１０３の過程において、シャッターボタンの押下されたタイミングが露光開始より遅かったと判断した場合、即ち「シャッターＢ」の場合には、露光が開始されてからシャッターボタンが押されるまでの時間ａ及び露光時間ｂに基づいて画像統計情報を補正する（ステップＳＴ１０５）。なお、上記の露光時間ｂは、フレーム＃１の露光時間Ｅｔの長さで、時間ａは露光が開始されてから予備発光が開始されるまでの時間である。
上記のように露光開始よりもシャッターボタンが遅く押下された場合には、図３に示した「シャッターＢ」の場合のように露光時間Ｅｔの途中で予備発光が開始されることから、フレーム＃２の期間で得られる画像統計情報は、被写体照度を正確に表しているものとは限らず、実際よりも暗い被写体照度を表すものとなる。したがって、シャッターボタンの押されたタイミングが露光開始タイミングよりも早い場合と同様にフレーム＃３の露光時間Ｅｔの長さと増幅度とを求めると、補助照明装置１０が本発光したとき適切な露光時間よりも長い露光によって撮像が行われる。すると露光オーバーとなって撮像した画像は全体的に白っぽくなり、いわゆる被写体がとんだ画像になってしまう。

前述のようにＣＰＵ７は露光時間の長短を制御していることから、露光開始のタイミングとシャッターボタンの押下タイミングとを認識している。そこで、図３の上から２段目に示したフレーム＃１の露光開始からシャッターＢのタイミングでシャッターボタンが押下されるまでの時間ａと、このときの固体撮像素子２の露光時間ｂとを用いて信号処理部６から入力した画像統計情報を補正し、当該補正した画像統計情報を用いて次フレーム＃３の露光時間Ｅｔの長さと増幅度とを求める（ステップＳＴ１０６）。なお、この補正は、露光時間ｂに対して時間ａの占める割合が大きくなるほど当該画像統計情報の示す被写体照度は実際よりも暗いものになるので、例えば露光時間ｂと時間ａとの比率に応じて被写体照度を増すように画像統計情報の値を補正する。

上記のステップＳＴ１０４の過程、あるいはステップＳＴ１０６の過程で求めた露光時間Ｅｔの長さをタイミングジェネレータ９に、また増幅度を増幅部４に設定する（ステップＳＴ１０７）。
なお、撮像するとき補助照明装置１０を使用しない場合には予備発光などに関連した動作が行われないので、ＣＰＵ７はステップＳＴ１０４の過程とステップＳＴ１０７の過程とを上記の説明と同様に各フレームに対応させて処理し、補助照明装置１０の発光を使用しないときの露光時間Ｅｔと増幅度とを求めて各部の動作を制御する。

ステップＳＴ１０７の過程において露光時間Ｅｔの長さ及び増幅度を設定したＣＰＵ７は、次の垂直同期信号ＶＤが発生したタイミング即ちフレーム＃３の先頭で補助照明装置１０を本発光させる（ステップＳＴ１０８）。ＣＰＵ７は、補助照明装置１０を本発光させると共にタイミングジェネレータを制御して、ステップＳＴ１０７の過程で設定された露光時間Ｅｔの間、固体撮像素子２を露光させて被写体の撮像を行わせる。このとき固体撮像素子２から出力されたフレーム＃３の画像信号は、ＣＤＳ部３によってノイズ除去などの処理が施され、その後増幅部４へ入力される。増幅部４は、前述のステップＳＴ１０７の過程でＣＰＵ７によって設定された増幅度を用いて画像信号を増幅する。増幅された画像信号は、Ａ／Ｄ変換部５によって画像データに変換され、当該画像データは例えば前述のように図示されないメモリなどへ出力され、スチル画像のデータとして記憶保存される。なお、上記の説明ではフレーム＃３の露光によって撮像された画像データをスチル画像として記憶しているが、その他のフレーム＃１，２，４，５の露光によって撮像された画像データは、例えば撮像装置のモニタ表示手段等へ出力してプレビュー画像として表示させる。
ここで説明した撮像装置は、補助照明装置１０に同じ光強度の予備発光及び本発光を行わせて撮像を行うものである。また、前述の説明では予備発光を行ったときフレーム＃２で該予備発光を停止させているが、予備発光と本発光とを連続させた状態で前述の説明と同様に露光時間Ｅｔ及び増幅度を求めて各部を制御してもよい。

以上のように実施の形態１によれば、固体撮像素子２の露光を制御するタイミングジェネレータ９と、画像データから被写体照度を表す画像統計情報を求める信号処理部６とを備え、ＣＰＵ７がシャッターボタンの押下タイミングと露光開始タイミングとを比較し、その結果露光開始タイミングが予備発光の開始タイミングより遅いことを示した場合には信号処理部６が求めた画像統計情報を補正し、該補正後の画像統計情報に基づいて本発光時の固体撮像素子２の露光時間Ｅｔ及び増幅部４の増幅度を求め、タイミングジェネレータ９及び増幅部４を制御するようにしたので、上記の露光時間Ｅｔ及び増幅度の制御は全てＣＰＵ７によるプログラム実行によって処理され、簡易な構成で撮像するときの露光時間Ｅｔ及び増幅度を精度良く制御することができるという効果がある。

実施の形態２．
実施の形態２による撮像装置は、図１に示した固体撮像素子２としてＣＭＯＳ型の撮像素子を用いた他は、実施の形態１で説明したものと同様に構成されている。ここでは実施の形態１による撮像装置と同様に構成された各部の重複説明を省略し、以下、図１に示したものと同一あるいは相当する部分に同じ符号を用いて説明する。

次に動作について説明する。
ＣＭＯＳ型撮像素子は、全ての画素を同時に露光するＣＣＤ型撮像素子と異なり、画素毎に順次露光を開始することから各画素の露光タイミングが異なる。このようなＣＭＯＳ型撮像素子を使用したときの特徴となる動作を説明し、実施の形態１による撮像装置と同様な動作について重複説明を省略する。
図４は、実施の形態２による撮像装置の固体撮像素子の撮像領域を示す説明図である。この図は、説明を簡単にするため８×６＝４８画素を配列した撮像領域の構成を示したもので、実際の撮像素子では数百万画素が配列されている。
また、実施の形態２による撮像装置の信号処理部６は、４画素毎に画像総計情報を算出する。図４に例示したものは、４画素を１つのウインドウとして表し、１２個のウインドウＷ１〜Ｗ１２によって撮像領域の全体を表している、実施の形態２による信号処理部６は、このように定めたウインドウＷ１〜Ｗ１２毎に画像統計情報を求める。

ウインドウＷ１の画像統計情報は、図４に示した画素ａ１，ａ２，ｂ１，ｂ２の画像データを積算した結果である。また、ここで説明するＣＭＯＳ型の固体撮像素子２は画素ａ１を起点とし、画素ａ１，ａ２，…ａ８，ｂ１…ｆ８の順で露光を開始する。シャッターボタンの押下タイミングが画素ａ１の露光開始前であれば、１２個全てのウインドウＷ１〜Ｗ１２の画像統計情報は、補助照明装置１０を予備発光させたときの被写体照度を正確に表しており、ウインドウＷ１〜Ｗ１２全ての画像統計情報を用いて補助照明装置１０に本発光を行わせるときの正確な露光時間Ｅｔ及び増幅度を求めることができる。

これに対してシャッターボタンの押下タイミングが画素ａ１の露光開始後の場合には、補助照明装置１０を予備発光させたときの被写体照度を正確に表しているウインドウの画像統計情報と、上記の被写体照度を正確に表していないウインドウの画像統計情報が混在することになる。このようなタイミングでシャッターボタンが押下されたときＣＰＵ７は、予備発光を行ったフレーム期間内のシャッターボタンの押下されたタイミングと露光時間Ｅｔ、また各画素の露光開始の時間差を用いてウインドウＷ１〜Ｗ１２の各画像統計情報が正確であるか否かを後述するように判定する。判別した被写体照度を正確に表しているウインドウの画像統計情報を使用して、本発光により撮像を行うときの露光時間Ｅｔ及び増幅度を求め、タイミングジェネレータ９及び増幅部４の動作を制御する。

図５は、実施の形態２による撮像装置の動作を示すフローチャートである。この図は、実施の形態２による撮像装置のＣＰＵ７の制御動作を示したものである。
実施の形態１で説明したものと同様に、スイッチ操作部８のシャッターボタンが押下されたときに、実施の形態２による撮像装置のＣＰＵ７は図示したステップＳＴ２０１の過程から順に処理を開始する。上記のように撮像装置のシャッターボタンが押下されたとき、ＣＰＵ７はスイッチ操作部８から入力したシャッターボタンの押下を示す信号と、タイミングジェネレータ９から入力している垂直同期信号ＶＤとを用いて、シャッターボタンがフレーム期間内のどのタイミングで押下されたかを判断し、また補助照明装置１０を制御して予備発光を行わせる（ステップＳＴ２０１）。

例えば、実施の形態１で図３を用いて説明したように、フレーム＃１の期間内において予備発光を開始させたＣＰＵ７は、次のフレーム＃２の垂直同期信号ＶＤが発生したタイミングで、補助照明装置１０の発光を停止させる（ステップＳＴ２０２）。
このようにタイミングジェネレータ９からフレーム＃２の先頭を表す垂直同期信号ＶＤを入力した時点で予備発光を停止させ、フレーム＃１の期間内においてシャッターボタンが押されたタイミングが、画素ａ１の露光開始タイミングより早いか、あるいは遅いかを判断する（ステップＳＴ２０３）。ＣＰＵ７は、実施の形態１の説明と同様に固体撮像素子２の露光開始タイミングを自ら設定していることから、シャッターボタンの押下を示す信号をスイッチ操作部８から入力して、当該シャッターボタンの押下タイミングが画素ａ１の露光開始より早い、あるいは遅いことを判断する。

シャッターボタンの押下されたタイミングが、画素ａ１の露光開始タイミングより早いと判断した場合には、フレーム＃２の期間内に信号処理部６から入力したウインドウＷ１〜Ｗ１２の画像統計情報に基づいて、次のフレーム＃３の期間において補助照明装置１０を本発光させて撮像するときの露光時間Ｅｔの長さと増幅度とを演算処理よって求める（ステップＳＴ２０４）。このように露光開始前にシャッターボタンが押下された場合には、全ての画素ａ１〜ｆ８において補助照明装置１０の発光による被写体照度を正確に表した画像信号が固体撮像素子２から出力されている。
補助照明装置１０に予備発光を行わせて、フレーム＃１期間内に固体撮像素子２を露光させたとき、当該固体撮像素子２から出力されるウインドウＷ１〜Ｗ１２の画像信号は、フレーム＃２の期間内においてＣＳＤ部３へ入力されてウインドウＷ１〜Ｗ１２毎に処理が行われ、さらに増幅部４、Ａ／Ｄ変換部５により処理されて画像データとなる。また、信号処理部６は、Ａ／Ｄ変換部５から入力した各ウインドウＷ１〜Ｗ１２の画像データからウインドウ毎に画像統計情報を求めてＣＰＵ７へ出力する。ＣＰＵ７は、上記のフレーム＃２期間内に信号処理部６から入力したウインドウＷ１〜Ｗ１２の各画像統計情報を全て使用して演算処理を行い、フレーム＃３の撮像に用いる露光時間Ｅｔの長さと増幅度とを求める。

ステップＳＴ２０３の過程で、シャッターボタンが押されたタイミングが画素ａ１の露光開始タイミングよりも遅かったと判断した場合には、シャッターボタンの押下前に露光を開始した画素が含まれていないウインドウの画像統計情報のみに基づいて、次のフレーム＃３の露光時間Ｅｔと増幅度とを求める（ステップＳＴ２０５）。前述のようにシャッターボタンの押下タイミング即ち予備発光の開始タイミングが、固体撮像素子２の露光開始タイミングよりも遅かった場合には、被写体照度を正確に表しているウインドウの画像統計情報と正確ではないウインドウの画像統計情報が混在することになり、ＣＰＵ７は、信号処理部６から入力した各ウインドウの画像統計情報の中からシャッターボタン押下前に露光を開始した画素が含まれていないウインドウを選別し、このウインドウの画像統計情報のみを用いて本発光を行う次のフレーム＃３期間中に用いる固体撮像素子２の露光時間Ｅｔと増幅部４の増幅度とを演算によって求める。例えば、画素ａ６が露光を開始したときにシャッターボタンが押下された場合には、ウインドウＷ４〜Ｗ１２の画像統計情報を用いて露光時間Ｅｔ及び増幅度を求める。

上記のステップＳＴ２０４の過程、あるいはステップＳＴ２０５の過程で露光時間Ｅｔ及び増幅度を求めた後、ＣＰＵ７はフレーム＃２期間内において、上記の露光時間Ｅｔをタイミングジェネレータ９に設定し、また増幅度を増幅器４に設定する（ステップＳＴ２０６）。
ＣＰＵ７は、フレーム＃３の先頭を表す垂直同期信号ＶＤが発生したタイミングで補助照明装置１０を制御して本発光させ（ステップＳＴ２０７）、被写体の撮像を行う。この撮像により生成した画像データは、前述のように例えばメモリ等に静止画像データとして保存させる。

また、例えばフレーム＃１の終期に近いタイミングでシャッターボタンが押下された場合には、予備発光を開始した時点で露光を開始していない画素が残り少なくなり、ＣＰＵ７が撮像時の露光時間Ｅｔ及び増幅度を求めるときに使用可能な画像統計情報の個数も少なくなる。本発光時の露光時間Ｅｔ及び増幅度を数少ないウインドウの画像統計情報に基づいて算出すると、これらの値は適確なものとならず、本発光時の露光の制御精度が悪化する。
このような露光制御の精度悪化を避けるため、予備発光を行うフレーム＃１よりも前のフレーム期間内に求めた画像統計情報を、例えばＣＰＵ７の内部メモリや外部メモリ等に記憶保存しておき、予備発光開始時点で既に露光を開始している画素を含むウインドウの画像統計情報を、上記のメモリ等に保存されている画像統計情報を用いて補正する。
例えば、画素ａ６が既に露光を開始してからシャッターボタンが押下され、予備発光を開始した場合には、予備発光を行ったフレーム＃１期間内のウインドウＷ１〜Ｗ３の画像統計情報は正確な被写体照度を表していないので、その前のフレームのウインドウＷ１，Ｗ４の各画像統計情報と当該フレーム＃１のウインドウＷ１，Ｗ４の画像統計情報とを比較し、各々のウインドウの差異を比率などの数値によって表し、このような差異を表す値を用いてフレーム＃１のウインドウＷ１〜Ｗ３の画像統計情報を補正する。

なお、ここで説明した撮像装置は、実施の形態１で説明したもののように、補助照明装置１０に同様な光強度の予備発光及び本発光を行わせて撮像を行うものである。また、予備発光と本発光とを連続させた状態で前述の説明と同様に露光時間Ｅｔ及び増幅度を求めて各部を制御してもよい。

以上のように実施の形態２によれば、固体撮像素子２としてＣＭＯＳ型撮像素子を用いたとき、ＣＰＵ７は、シャッターボタンの押下タイミングが固体撮像素子２の先頭画素ａ１の露光開始よりも遅い場合には、被写体照度を正確に表しているウインドウの画像統計情報のみに基づいて本発光時の固体撮像素子２の露光時間Ｅｔ及び増幅部４の増幅度とを求め、タイミングジェネレータ９及び増幅部４を制御するようにしたので、上記の露光時間Ｅｔ及び増幅度の制御は全てＣＰＵ７によるプログラム実行によって処理され、簡易な構成により本発光撮像時の露光時間Ｅｔ及び増幅度を精度良く制御することができるという効果がある。

また、ＣＰＵ７は、シャッターボタンの押下タイミングが固体撮像装置２の先頭画素ａ１の露光開始よりも遅い場合に、被写体照度を正確に表しているウインドウの画像統計情報と、予備発光を行っているフレーム＃１よりも前のフレーム期間内に求めた画像統計情報を用いて被写体照度を正確に表していないウインドウの画像統計情報を補正した画像統計情報とを用いて本発光時の露光時間Ｅｔ及び増幅度を求めるようにしたので、本発光撮像時の露光時間Ｅｔ及び増幅度を更に精度良く制御することができるという効果がある。

実施の形態３．
実施の形態１，２による撮像装置は、同様な光強度の予備発光と本発光とを使用して撮像を行っている。また、ＣＰＵ７の制御によってフレーム期間の終末で予備発光ならびに露光を停止させている。予備発光を行うフレーム期間内において、当該予備発光はシャッターボタンの押下に応じて発光を開始するように制御しているため発光期間が様々な長さに変化する。そのため露光時間Ｅｔに対して予備発光の光量が過多となって、固体撮像素子２が飽和してしまうことがある。このような事態が生じると、正確な画像統計情報を得ることができなくなる。
実施の形態３による撮像装置は、このような固体撮像素子２の飽和を防ぐため予備発光時には固体撮像素子２へ入射する光量を本発光時より所定の比率で減少させ、また減少させた光量を考慮して本発光時の固体撮像素子２の露光時間Ｅｔ及び増幅部４の増幅度を求めて制御している。なお、予備発光時に固体撮像素子２へ入射する光を抑制する構成要素を備えた他は、実施の形態１あるいは実施の形態２で説明したものと同様に構成されている。

図６は、この発明の実施の形態３による撮像装置の構成を示すブロック図である。図１に示したものと同一あるいは相当する部分に同じ符号を使用し、その説明を省略する。ＮｅｕｔｒａｌＤｅｎｓｉｔｙ（以下、ＮＤと記載する）フィルタ１１は、レンズ１へ入射する光量を減少させるように該ＮＤフィルタ１１の保持部材等によってレンズ１の前方に設置されている。またＮＤフィルタ１１は、被写体とレンズ１との間において該ＮＤフィルタ１１を成す光学フィルタ部分を挿抜移動させる機構を備えており、この機構を駆動するＮＤフィルタ駆動部１２に接続されている。ＮＤフィルタ駆動部１２は、ＮＤフィルタ１１の光学フィルタ部分の挿抜移動をＣＰＵ７の制御に応じて行うように該ＣＰＵ７へ接続されている。

次に動作について説明する。
実施の形態１あるいは実施の形態２による撮像装置と同様な動作の重複説明を省略し、実施の形態３による撮像装置の特徴となる動作を説明する。
実施の形態３による撮像装置のＣＰＵ７は、補助照明装置１０を制御して予備発光の光強度を適当に調整して発光させ、また、ＮＤフィルタ駆動部１２を制御して予備発光を行うときＮＤフィルタ１１の光学フィルタ部分をレンズ１の前方に移動させ、レンズ１を介して固体撮像素子２へ入射する光量を減少させる。なお、上記の予備発光の光強度の制御とＮＤフィルタ１１を作用させる制御は、予備発光による被写体照度が適当な明るさとなるようにいずれか一方の制御あるいは両方の制御を行う。
予備発光を行ったときに固体撮像素子２から出力された画像信号は、実施の形態１で説明したものと同様に増幅部４、Ａ／Ｄ変換部５、及び、信号処理部６において処理され、Ａ／Ｄ変換部５から画像データが、また信号処理部６から画像統計情報が出力される。

予め分かっているＮＤフィルタ１１の減光量を、例えば減光比率などによって表現したデータとし、ＣＰＵ７の内部メモリあるいは外部メモリ等に記憶保存しておき、ＣＰＵ７が本発光時の露光時間Ｅｔ及び増幅部４の増幅度を求めるとき上記のＮＤフィルタ１１の減光量を示すデータを用いて演算を行う。補助照明装置１０を本発光させるときにはＮＤフィルタ１１を作用させないで撮像を行うので、ＣＰＵ７は例えば、信号処理部６が求めた予備発光時の画像統計情報に対して、ＮＤフィルタ１１の減光によって暗くなった被写体照度を元来の明るさを表すように補正を加え、この補正を行った画像統計情報に基づいて本発光時の露光時間Ｅｔ及び増幅度を求める。このようにして求めた露光時間Ｅｔをタイミングジェネレータ９に、増幅度を増幅部４に設定し、ＮＤフィルタ駆動部１２を制御してＮＤフィルタ１１の光学フィルタ部をレンズ１の前方から移動させ、補助照明装置１０を制御して本発光を行わせる。この後、固体撮像素子２から画像信号が出力され、前述の説明と同様に各部が動作処理を行って画像データを出力する。

図７は、実施の形態３による撮像装置の他の構成を示すブロック図である。図１，６に示したものと同一あるいは相当する部分に同じ符号を使用し、その説明を省略する。図示したものは図６のＮＤフィルタ１１及びＮＤフィルタ駆動部１２に替えて、絞り機構部１３及び絞り駆動部１４を備えたものである。絞り機構部１３は、一般的な撮像装置と同様にレンズ１と固体撮像素子２の間に設置され、絞り駆動部１４によって絞り動作を行うように接続されている。絞り駆動部１４は、絞り機構部１３を駆動する動作の制御信号をＣＰＵ７から入力するように接続されている。他の部分は図１もしくは図６に示したものと同様に構成されている。
図６に示した撮像装置と同様に、予備発光を行うときに限り固体撮像素子２へ入射する光量を抑制するように絞り機構部１３を動作させる。絞り機構部１３によって減少する光量を予めデータとしてメモリ等に記憶保存しておき、予備発光時の画像統計情報から本発光時の露光時間Ｅｔ及び増幅度を求めるとき、このデータを用いて本発光時の露光時間Ｅｔ及び増幅度を求める。なお、この本発光時の撮像も前述の説明のように固体撮像素子２へ入射する光量を減少させずに行うので、上記の本発光時の露光時間Ｅｔ及び増幅度を求めるときには、絞り機構部１３による減光がない状態で最適な値となるように演算が行われる。

以上のように実施の形態３によれば、予備発光を行うとき固体撮像素子２へ入射する光量を抑えるＮＤフィルタ１１あるいは絞り機構部１３を備えたので、固体撮像素子２の飽和を防いで本発光時の露光時間Ｅｔ及び増幅度を正確に求めることができ、露光制御が正確に行えなくなることを回避することができるという効果がある。

この発明の実施の形態１による撮像装置の構成を示すブロック図である。実施の形態１による撮像装置の動作を示すフローチャートである。実施の形態１による撮像装置の動作を示す説明図である。実施の形態２による撮像装置の固体撮像素子の撮像領域を示す説明図である。実施の形態２による撮像装置の動作を示すフローチャートである。この発明の実施の形態３による撮像装置の構成を示すブロック図である。実施の形態３による撮像装置の他の構成を示すブロック図である。

符号の説明

１レンズ、２固体撮像素子、３ＣＤＳ部、４増幅部、５Ａ／Ｄ変換部、６信号処理部、７ＣＰＵ、８スイッチ操作部、９タイミングジェネレータ、１０補助照明装置、１１ＮＤフィルタ、１２ＮＤフィルタ駆動部、１３絞り機構部、１４絞り駆動部。

Claims

撮像素子から出力された画像信号を画像データへ変換するＡ／Ｄ変換手段を備え、前記撮像素子による撮像が周期的に自動で行われる撮像装置において、
前記Ａ／Ｄ変換手段から出力された画像データの被写体照度を表す画像統計情報を求める信号処理手段と、
前記撮像素子から出力された画像信号を増幅する増幅手段と、
補助照明装置を制御して予備発光させたときの画像統計情報及び当該予備発光の開始タイミングに基づいて前記補助照明装置を本発光させるときの撮像素子の露光時間及び前記増幅手段の動作を制御する制御手段とを備え、
前記制御手段は、シャッターボタンの押下操作に応じた補助照明装置の予備発光開始タイミングが撮像素子の露光開始タイミングよりも遅い場合には、当該露光開始から予備発光開始までの時間を用いて信号処理手段が求めた予備発光時の画像統計情報を補正して本発光させるときの露光時間及び増幅手段の増幅度を演算により求めることを特徴とする撮像装置。
画素毎に異なるタイミングで画像信号を出力する撮像素子と該撮像素子からの画像信号を増幅する増幅手段と該増幅手段からの画像信号を画像データへ変換するＡ／Ｄ変換手段とを備え、前記撮像素子による撮像が周期的に自動で行われる撮像装置において、
前記Ａ／Ｄ変換手段から出力された画像データの被写体照度を表す画像統計情報を求める信号処理手段と、
前記撮像素子から一定期間内に出力される画像信号からなるフレームに対応させて補助照明装置の発光動作を制御すると共に該撮像素子の露光を制御する制御手段とを備え、
前記制御手段は、シャッターボタンの押下操作に応じた補助照明装置の予備発光前のフレームおよび予備発光開始フレームにおいて、前記補助照明装置の予備発光タイミングが前記撮像素子の露光開始タイミングよりも遅い場合には、当該露光開始より後に露光を開始した画素に対応する画像統計情報を用いて本発光させるときの撮像素子の露光時間及び増幅手段の増幅度を求めることを特徴とする撮像装置。
制御手段は、予備発光の発光強度を本発光の発光強度よりも減少するように補助照明装置を制御することを特徴とする請求項１または請求項２記載の撮像装置。
入射光を減光するＮＤフィルタと該ＮＤフィルタを撮像素子の前方に配置させるＮＤフィルタ駆動手段とを備え、
制御手段は、補助照明装置に予備発光を行わせるとき前記ＮＤフィルタ駆動手段を制御して被写体と前記撮像素子との間にＮＤフィルタを配置させることを特徴とする請求項１または請求項２記載の撮像装置。
入射光量を調整する絞り手段と該絞り手段を駆動する絞り駆動手段とを備え、
制御手段は、補助照明装置に予備発光を行わせるとき前記絞り駆動手段を制御して撮像素子への入射光量を調整することを特徴とする請求項１または請求項２記載の撮像装置。