以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明の実施形態にかかわる撮像装置100の全体構成を示した図である。
第1レンズ群101は結像光学系の先端に配置されたレンズ群で、光軸方向に進退可能に保持される。絞り102は、その開口径を調節することで撮影時の光量調節を行う。第2レンズ群103は、第1レンズ群101の進退動作との連動により変倍作用(ズーム機能)をなすレンズ群である。第3レンズ群104は、光軸方向の進退により焦点調節を行うレンズ群である。なお、第1、第2、第3のレンズ群は結像光学系の一例であって、レンズ群の数は3つの限定されるものではない。また、各レンズ群は、レンズが1つであって構わない。
メカニカルシャッター105は、後述する電子先幕動作と連動して撮像素子107へ導かれる光量を調節する。
光学的ローパスフィルタ106は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、前述のレンズ群により結像された被写体像を光電変換する。ここでは、撮像素子107にはベイヤー配列のCMOSイメージセンサが使用されるものとする。
AFE108は、撮像素子107から出力されるアナログ画像信号をデジタル信号に変換する。DSP(Digital Signal Processer)109は、AFE108から出力されるデジタル画像信号に対する画像補正を含む各種画像処理を行う。
記録媒体110は、DSPにより画像処理が施された画像データを記録する記録媒体である。表示部111は、撮像画像や各種メニュー画面などを表示するための表示部であり、液晶ディスプレイ(LCD)などが使用される。後述するライブビュー動作時には、連続して撮像を行い取得した画像データに基づく画像が表示部111に逐次表示される。
RAM112は、画像データなどを一時記憶するRAMであり、DSP109と接続されている。タイミングジェネレータ(TG)113は、撮像素子107に駆動信号を供給する。
CPU114は、AFE108、DSP109、TG113、絞り駆動回路116、フォーカス駆動回路118など各部の制御を行う。シャッタースイッチ(SW)115は、撮影者の操作によりONされると、撮影指示をCPU114に伝達する。
絞り駆動回路116は、絞りアクチュエータ117を駆動制御することにより絞り102を駆動する。フォーカス駆動回路118は、フォーカスアクチュエータ119を駆動制御することにより第3レンズ群104を光軸方向に進退させることにより焦点調節を行う。
シャッター駆動回路120は、CPU114の制御に従ってメカニカルシャッター105を駆動する。発光部121は、キセノンランプやLEDなどが光源に用いられ、CPU114からの制御に従って発光する。
図2は、DSP109の内部の主なブロック構成を示す図である。撮像素子の各画素の「黒」のレベルは、撮像素子の特性や配線などの影響から画素ごとにレベルが均一ではなく、シェーディングが起こることがある。これをダークシェーディングと呼ぶ。ダークシェーディング補正値生成部901は、後述する基準画像データに基づいてダークシェーディング補正値を算出する。ダークシェーディング補正部902は、水平方向の1次元データである補正値を対象画像データから減算することにより水平方向のダークシェーディングを補正する。
光学シェーディング補正部903は、画像データに対して、対応する撮影画面上の水平方向或いは垂直方向の位置(座標)に応じたゲイン補正を行うことにより、光学的なシェーディングを補正する。
WB(ホワイトバランス)処理部904は、ベイヤー配列のR、G、Bの画素それぞれにゲインを乗じることでホワイトバランス処理を行う。現像処理部905は、画像データに対し色マトリクス処理やガンマ処理などの現像処理を行う。
メモリ制御部906は、画像データや各補正ブロックで使用する補正値をRAM112に対し読み書きする制御を行う。記録部907は、現像処理後の画像データを記録媒体110へ書き込む処理を行う。
図3は撮像素子107の全体構成を示す図である。画素領域PAには、画素200がp11〜pknのように行列上に配置されている。
ここで、画素200の1画素毎の構成を図4を用いて説明する。フォトダイオード(以下PDと表す)301は、入射した光信号を光電変換し、入射光量に応じた電荷を蓄積する。
転送ゲート302は、信号txをHighレベルとすることでPD301に蓄積されている電荷をFD(フローティングディフュージョン)部303に転送させる。
FD部303は、フローティングディフュージョンアンプ304(以下FDアンプと表す)のゲートに接続されており、このFDアンプ304でPD301から転送されてきた電荷量が電圧値に変換される。
FDリセットスイッチ305は、FD部303をリセットするためのスイッチであり、信号resをHighレベルとすることでFD部303をリセットさせる。また、信号txと信号resを同時にHighレベルにして転送ゲート302及びFDリセットスイッチ305の両方をONすることで、FD部303経由でPD301のリセットが行われる。
画素選択スイッチ306は、信号selをHighレベルとすることで、FDアンプ304で電圧に変換された画素信号を画素200の出力voutに出力させる。
図3に戻り、垂直走査回路201は、res_1、tx_1、sel_1等の駆動信号を各画素200に供給する。これらの駆動信号は、それぞれ各画素200のFDリセットスイッチ305(res)、転送ゲート302(tx)、画素選択スイッチ306(sel)に接続される。
各画素200の出力voutは、列毎に垂直出力線202を介して列共通読出し回路203に接続されている。
ここで、列共通読出し回路203の構成を図5を用いて説明する。
垂直出力線202は、列毎に設けられ、1列分の画素200の出力voutが接続されている。垂直出力線202には電流源204が接続されており、この電流源204と、垂直出力線202に接続された画素200のFDアンプ304によってソースフォロワ回路が構成される。
401はクランプ容量C1、402はフィードバック容量C2であり、演算増幅器403は、非反転入力端子には基準電圧Vrefが接続されている。スイッチ404は、フィードバック容量C2の両端をショートさせるためのスイッチであり、信号cfsで制御される。
S信号転送スイッチ405は、画素200から読み出される画素信号SをS信号保持容量407に転送するためのスイッチである。信号tsをHighレベルにすることにより、演算増幅器403で増幅された画素信号SがS信号転送スイッチ405を介してS信号保持容量407に記憶される。
N信号転送スイッチ406は、画素200から読み出されるノイズ信号NをN信号保持容量408に転送するためのスイッチである。信号tnをHighレベルにすることにより、演算増幅器403で増幅された画素信号NがN信号転送スイッチ406を介してN信号保持容量408に記憶される。
S信号保持容量407、N信号保持容量408はそれぞれ列共通読出し回路203の出力vs、vnに接続されている。
S信号加算スイッチ409、N信号加算スイッチ410は、それぞれ対応する列のS信号、N信号を加算平均するためのスイッチである。S信号加算スイッチ409の一端は、図中のノードAに接続され、他端は加算対象となる別列の同じノードAに接続される。また、N信号加算スイッチ410は、図中のノードBに接続され、他端はやはり加算対象となる別列のノードBに接続される。つまり、信号addをHighレベルにすることにより、加算対象の列のS信号保持容量407どうし、N信号保持容量どうしが接続される。信号addを一度Highレベルにした後、Lowレベルにすることで加算対象の列どうしの信号が加算平均されることになる。加算する列の組合せについては後述する。cfs、ts、tn、add等の駆動信号は、CPU114の制御に従ってTG113により供給される。
図3に戻り、列共通読出し回路203の出力vs、vnには、それぞれ水平転送スイッチ205、206が接続されている。
水平転送スイッチ205、206は水平走査回路207の出力信号hsr*(*は列番号)によって制御され、信号hsr*をHighレベルとすることで、S信号保持容量407、N信号保持容量408の信号をそれぞれ水平出力線208、209へ転送させる。
水平出力線208、209は差動増幅器210の入力に接続されており、差動増幅器210ではS信号とN信号の差分をとると同時に所定のゲインをかけ、最終的な画像信号を出力端子211へ出力する。
水平出力線リセットスイッチ212、213は、信号chresをHighとすることによってONされ、各水平出力線208、209をリセット電圧Vchresにリセットさせる。
(第1の実施形態)
次に、図6〜図9のフローチャートを用いて、本発明の第1の実施形態による撮像装置100の撮像動作フローについて説明する。図10に示す撮像動作のシーケンス図と併せて参照されたい。
まず図6のステップS501でCPU114は、ライブビュー撮影を開始させる。ライブビュー撮影においては、後述する撮像素子107のライブビュー撮影動作によって連続して取得される画像データに基づく画像を表示部111に逐次表示させる。
その後、CPU114は、ステップS502においてシャッタースイッチ(SW)115が撮影者によって押下されてONされるまで、ライブビュー撮影を継続させる。
撮影者にシャッタースイッチ115が押下(撮影指示)されると(図10時刻Ta)、ステップS503でCPU114は撮像素子107のライブビュー撮影動作を終了し、調光用基準画像データ(第1の基準画像データ)の取得動作を行う(図10時刻Tb)。基準画像データ取得動作の詳細については後述する。
続くステップS504でダークシェーディング補正値生成部901は、ステップS505、S506で取得される調光画像データ1、2を補正するためのダークシェーディング補正値(第1の補正値)をステップS503で得た基準画像データに基づいて生成する。補正値の生成では、基準画像データの各画素列の平均値を補正値として算出するものとする。生成された調光用補正値はダークシェーディング補正部902に設定され、ステップS505、S506で取得される調光画像データ1、2から減算することでそれぞれの画像データのダークシェーディングが補正される。
ステップS505において、CPU114は、調光画像データ1を取得する(図10時刻Tc)。調光画像データ1を短時間で取得するために、水平方向は同色の3画素毎に加算平均し、垂直方向は9行に1行ずつの周期で間引いて読出す。調光画像データ1の取得において発光部121の発光は行わない。
次に、ステップS506においてCPU114は、調光画像データ2を取得する(図10時刻Td)。調光画像データ2においても調光画像データ1と同様に、水平方向は同色の3画素毎に加算平均し、垂直方向は9行に1行ずつの周期で間引して読出す。調光画像データ2の取得においては、CPU114は所定の光量でプリ発光するよう発光部121を制御する。
図10に示すように、調光画像データ1の取得のための読出し走査と調光画像データ2の取得のためのリセット走査を並行して行うことで、実際には調光画像データ1の取得動作と調光画像データ2の取得動作の一部を重複させて行うことも可能である。
ステップS507では、CPU114は静止画撮影時の発光部121の発光量(以下本発光量と表す)を算出する調光演算を行い、算出された発光量を本発光量として決定する。
この調光演算では、ステップS504で生成されたダークシェーディング補正値を用いてダークシェーディング補正部902により補正された補正後調光画像データ1と補正後調光画像データ2とを比較して、プリ発光の反射光成分を抽出する。そして、抽出したプリ発光の反射光成分に基づいて本発光量を算出する。
ステップS508では、CPU114は、静止画撮影に備えて静止画用基準画像データ(第2の基準画像データ)を取得する(図10時刻Te)。続くステップS509において、ダークシェーディング補正値生成部901は、ステップS508で取得された基準画像データに基づいて静止画用のダークシェーディング補正値(第2の補正値)を生成する。このときもS504と同様に、基準画像データの各画素列の平均値を補正値として算出する。生成された静止画用補正値はダークシェーディング補正部902に設定され、続くステップS510で取得される静止画像データからこの補正値を減算することで静止画像データのダークシェーディングを補正する。
ステップS510で、CPU114は、発光部121を本発光させて静止画像データを取得する(図10時刻Tf)。そして、ステップS508で生成されたダークシェーディング補正値を用いてダークシェーディング補正部902により静止画像データの補正を行って一連の撮像動作を終了する。
ここで、ステップS505の調光画像データ1の取得動作について図7を用いて説明する。
まずCPU114は、ステップS601で撮像素子107の各画素行を順次リセットしていくリセット走査を開始させる。各画素のリセットは、図4における垂直走査回路201を介して信号res及び信号txを共にHighレベルにすることにより行われる。
ステップS602で最後の画素行のリセット走査を終了した後、CPU114は所定の蓄積時間が経過するまで待つ(ステップS603)。所定の蓄積時間が経過すると、CPU114は、ステップS604で撮像素子107の読出し走査を開始させる。ステップS605で読出し走査を終了すると、調光画像データ1の取得が完了する。
なお、所定の蓄積時間が短い場合、最後の画素行のリセット走査が終了する前に最初の画素行の蓄積時間が経過することも考えられる。その場合、最後の画素行のリセット走査が終了する前であっても、所定の蓄積時間が経過した画素行から順に読出し走査を開始しても構わない。
次に、ステップS506の調光画像データ2の取得動作について図8を用いて説明する。調光画像データ2の取得動作は、調光画像データ1の取得動作とはプリ発光を行う点だけが異なる。
ステップS602でリセット走査を終了させた後に、ステップS701でCPU114はプリ発光用の発光パルスを発光部121に出力して発光部121を発光させる。発光後、ステップS604で読出し走査を開始させる。
本実施形態においては、リセット走査終了後にプリ発光用発光パルスが出力される構成としている。しかしながら、発光パルス出力から実際の発光部121の発光までの時間がかかるような場合には、そのタイムラグを見込んで、リセット走査完了前に発光パルスを出力し、実際のプリ発光がリセット走査完了直後になるようにしてもよい。その際には、ステップS601のリセット走査開始から所定時間経過した時点で発光パルスを出力するように構成すればよい。
また、調光画像データ1の取得動作と同様に、全ての画素のリセット走査が終了する前であっても、所定の蓄積時間が経過した画素から順に読出し走査を開始しても構わない。この場合、最初にリセット走査される画素のリセット走査開始前から、最後にリセット走査される画素の読出し走査が完了するまでプリ発光を継続して行うことが好ましい。
次にステップS509の静止画像データの取得動作について図9を用いて説明する。
まずCPU114は、ステップS801で静止画用のリセット走査を開始させる(図10時刻Tf)。これにより、撮像素子107の各画素の電荷は画素行毎に順次クリアされる。静止画用のリセット走査は、ステップS804における撮像素子107を遮光するためのメカニカルシャッター走行と同様のカーブを描くように行われる。
実際の構成についてはこれに限られるものでなく、全画素行の電荷を同時にクリアするようにしても構わない。ただし、その場合、電荷クリアからメカニカルシャッターで遮光されるまでの時間が画素行に異なるため、露光量が行により異なる動作となる。
ステップS802で静止画用のリセット走査を終了した後、ステップS803でCPU114は、静止画撮影用の発光(以下、本発光と表す)を促す本発光用発光パルスを出力し、発光部121を本発光させる。
続くステップS804でCPU114は、設定されたシャッタースピードに相当する蓄積時間が経過するのを待ち、ステップS805でCPU114は、シャッター駆動回路120を介してメカニカルシャッター105を走行させ撮像素子107を遮光させる。その後、ステップS806では撮像素子107の読出し走査を開始させ(図10時刻Th)、ステップS807で読出し走査を終了すると、静止画像データの取得動作は終了となる。
次に、モードに応じた撮像素子107の画素の読出し方法について図11を用いて説明する。図11は、静止画撮影時、ライブビュー撮影時、調光画像データ取得時のそれぞれの動作モードにおける撮像素子107の画素の読出し方法を示す図である。
図11(a)は静止画撮影時の読出し方法である。撮像素子107は、ベイヤー配列のCMOSセンサであって、斜線部は補正値取得用の基準画素であり、白抜き部は通常の開口画素である。本実施形態における基準画素は、フォトダイオード301を設けない画素とする。ただし、基準画素の構成はこれに限るものでなく遮光されたオプティカルブラック画素を基準画素としても構わない。静止画においては、撮像素子107の全画素をそれぞれ独立に読み出す。
図11(b)はライブビュー撮影時の読出し方法であり、フレームレートを確保するために画素信号の加算や間引き読出しを行うことによって読出し画素数を制限している。ここでは、水平方向は同色の3画素毎に加算平均し、垂直方向は3行に1行ずつの周期で間引き読出しをするものとする。図11(b)の上部に水平方向の加算の組合せを示す。また、黒塗りした画素は、間引きなどにより読み出されない画素を示す。
図11(c)は調光画像データ1及び調光画像データ2の読出し方法を示す。調光制御においては、レリーズタイムラグを極力短縮するために撮像素子107の信号を高速に読み出すことが望ましく、本実施形態では、ライブビュー撮影時よりもさらに読出し画素数を制限する。ここでは、水平方向についてはライブビューと同様に同色の3画素毎に加算平均し、垂直方向については9行に1行ずつの周期で間引き読出しをすることにより、高速化を図るものとする。
図11(d)は静止画用基準画像データ取得時の読出し方法を示す。水平方向については加算することなく全画素読み出す点で図11(a)の静止画撮影時と同じである。垂直方向については、基準画素のみを読み出すため、基準画素領域(図では1〜4行目)を繰り返し読み出す。
図11(e)は調光用基準画像データ取得時の読出し方法である。ここでも図11(d)と同じく基準画素の行を繰返し読み出すが、水平方向については図11(c)の調光画像データ1、2と同じになるよう、同色の3画素毎に加算平均して読み出す。すなわち、調光用基準画像データ取得時の読出し方法は、調光画像データ1及び調光画像データ2に関する読出し方法に対応している。また、調光用基準画像データ取得時の読出し方法は静止画用基準画像データ取得時の読出し方法と異なっている。
このように、基準画像データ取得時の読み出し方法を、補正対象となる画像データ取得時の読み出し方法と対応させることで、適切なダークシェーディング補正値を生成することができる。
なお、静止画用基準画像データ取得と調光用基準画像データ取得では、読み出す行数、すなわち基準画素を繰返し読み出す繰返し数を異なる数にしても構わない。調光画像データの補正精度が静止画像データに比べて粗くてよい場合には、調光用基準画像データの読出し行数を静止画用基準画像データよりも少なくすることで、レリーズタイムラグ(時刻Taから時刻Tfまでの時間)をより短縮することが可能である。
次に、図12、図13を用いて撮像素子107の読出し動作について説明する。
図12は静止画像データ取得における撮像素子107の各行の読出し動作を示すタイミングチャートである。ここではi行目の信号を読み出すものとして説明する。
まず、CPU114は、TG113を介して信号cfsをHighレベルにしてスイッチ404をONさせて、フィードバック容量C2(402)の両端をショートさせる。次にCPU114は、TG113を介して信号sel_iをHighレベルにしてi行目の画素の画素選択スイッチ306をONさせた後に、信号res_iをLowレベルにしてFDリセットスイッチ305をOFFさせてFD部303のリセットを開放させる。その後、CPU114は、TG113を介して信号cfsをLowレベルにしてスイッチ404をOFFさせることで、FD部303のリセット解放後の垂直出力線202の電圧をクランプ容量C1にクランプさせる。
次に、CPU114は、TG113を介して信号tnをHighレベルにして、N信号保持容量408にN信号を記憶させる。続いてCPU114は、TG113を介して信号tnをLowにし、N信号転送スイッチ406をOFFさせた後、信号tsをHighレベルにしてS信号転送スイッチ405をONさせ、信号tx_iをHighレベルにして転送ゲート302をONさせる。
この動作により、選択されているi行目のPD301に蓄積されていた信号がFDアンプ304、画素選択スイッチ306を介して垂直出力線202へ出力され、さらに、S信号転送スイッチ405を介してS信号保持容量407へ記憶される。
次にCPU114は、TG113を介して信号tx_i、tsをLowレベルにして転送ゲート302、S信号転送スイッチ405をOFFさせた後、信号res_iをHighレベルにしてFDリセットスイッチ305をONさせてFD部303をリセットさせる。
ここまでの動作によって、i行目のS信号及びN信号を、それぞれS信号保持容量407、N信号保持容量408へ記憶させる動作を終了する。
続いて、S信号保持容量407、N信号保持容量408に蓄えられたS信号、N信号を撮像素子107から出力する動作が行われる。
まず、CPU114が水平走査回路207の出力hsr1をHighレベルにさせることにより、水平転送スイッチ205、206がONされる。そして、S信号保持容量407、N信号保持容量408の信号が水平出力線208、209と差動増幅器210を介して出力端子211に出力される。
CPU114が水平走査回路207の各列の選択信号hsr1、hsr2・・・、hsrkを順次Highにさせることにより、i行目の全信号が出力される。なお、信号hsr1〜hsrkによって各列の信号が読み出される合間に、信号chresをHighレベルにすることで水平出力線リセットスイッチ212、213をONし、水平出力線208、209のレベルをリセット電圧Vchresにリセットさせる。
以上で1行の読出し動作が終了する。この動作を読出し対象の各行で順次行うことで、撮像素子107の信号読出し動作が行われることになる。
図13はライブビュー撮影及び調光画像データ1、2取得時の撮像素子107の読出し動作を示すタイミングチャートである。図12との違いに着目して説明する。
S信号保持容量407にS信号が記憶された後、水平走査回路207の動作が始まる前に、CPU114がTG113を介して信号addを一旦Highレベルにすることで、S信号加算スイッチ409及びN信号加算スイッチ410がONされる。その後、CPU114がTG113を介して信号addをLowレベルに戻すことでS信号加算スイッチ409及びN信号加算スイッチ410がOFFされる。この動作によって、各列のS信号保持容量407及びN信号保持容量408の信号はそれぞれ加算対象の列の信号と加算平均される。
その後、水平走査回路207を駆動させるが、この際、例えば、hsr1、hsr4、hsr7・・・と選択信号を3列に1列の周期でONさせていくことで、水平方向の画素数を制限して読み出していく。
以上のように、調光用画像データを取得する前に調光用画像データを補正するのに用いる調光用基準画像データを取得して、調光用画像データの固定パターンノイズ(ダークシェーディング)を適切に補正することで、精度よく本発光量を決定することができる。
(第2の実施形態)
第1の実施形態では、プリ発光を伴う調光画像データ2の取得動作の後に静止画用基準画像データを取得してから静止画撮影に進む。このため、調光画像データ2の取得タイミングと静止画撮影の間の時間差が大きくなり、被写体が動いている場合などは調光精度が低下するという問題がある。また、プリ発光から静止画撮影までの時間差によって、被写体である人物がプリ発光の影響で静止画撮影時には目を閉じてしまう、所謂目瞑りという現象が発生し易くなる。
そこで、第2の実施形態では、プリ発光を伴う調光画像データ2の取得動作から静止画撮影までの時間を短縮する構成について説明する。
図14は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図15に示す撮像動作のシーケンス図と併せて参照されたい。
図14は図6のフローチャートと処理順序が異なるだけであり、処理内容が同じステップについては、図6と図14とで同じステップ番号を付している。まず、ステップS501のライブビュー撮影開始からステップS504の調光用補正値生成までは図6のフローチャートと全く同じである。
本実施形態では、ステップS504の後、ステップS508の静止画用基準画像データ取得を行う(図15時刻T’c)。続いて、ステップS509で静止画用補正値生成を行う。この際、ステップS504で生成した調光用補正値も保持しておく必要があるため、補正値格納用のメモリは第1の実施形態よりも多く必要になる。
次にステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図15時刻T’d、T’e)。そして、取得した調光画像データ1と調光画像データ2とを補正し、補正後調光画像データ1及び補正後調光画像データ2に基づいてステップS507で調光演算を行って本発光量を算出する。
その後、ステップS510で発光部121を本発光させて静止画像データを取得し、(図15時刻T’f)静止画像データの補正を行う。
以上のように、本実施形態では、調光用画像データを取得する前に静止画像データを補正するのに用いる静止画用基準画像データを取得するので、調光画像データ2の取得タイミングと静止画撮影の間の時間差の増加を抑制することができる。そのため、静止画像データの固定パターンノイズ(ダークシェーディング)を適切に補正しながら動く被写体に対しても精度よく本発光量を決定することができるとともに、目瞑り現象も発生し難くすることができる。
(第3の実施形態)
上記の2つの実施形態では、静止画用基準画像データと調光用基準画像データとをそれぞれ調光画像データの取得前に取得しているが、基準データを2回取得するためレリーズタイムラグが長くなってしまう、という問題がある。
そこで、第3の実施形態では、調光用基準画像データを前もって取得することによって、撮影者によってシャッタースイッチ115が押下されてから静止画撮影までの時間を短縮する構成について説明する。
図16は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図17に示す撮像動作のシーケンス図と併せて参照されたい。
図16において、図6と処理内容が同じステップについては、図6と図16とで同じステップ番号を付している。
本実施形態ではまず、ステップS901においてCPU114はライブビュー画像を補正するためのライブビュー用基準画像データを取得する。ライブビュー画像は図11(b)に示す通り、水平方向は加算で読出すため、ステップS901においても図11(e)と同様に水平方向に加算して読出す。すなわち、ライブビュー用基準画像データの読出し方法はライブビュー画像の読出し方法に対応している。次にステップS902においてダークシェーディング補正値生成部901は、ステップS501によって連続的に取得される画像データを補正するためのダークシェーディング補正値を、ステップS901で得たライブビュー用基準画像データに基づいて生成する。このとき、図6のステップS504と同様に、基準画像データの各画素列の平均値を補正値として算出する。生成されたライブビュー用補正値(第3の補正値)はダークシェーディング補正部902に設定される。そして、続くステップS501で取得されるライブビュー画像データからこの補正値を減算することでライブビュー画像データ(動画像データ)のダークシェーディングを補正する。
ステップS902の処理が終わると、ステップS501でライブビュー撮影が開始される。このとき、ステップS501において、CPU114はステップS902で生成したダークシェーディング補正値によって、ライブビュー画像の各フレームを補正してライブビュー画像を生成し、表示部111に逐次表示させる。
ステップS502でシャッタースイッチが押下されると(図17時刻T3a)、ステップS903においてダークシェーディング補正値生成部901は、調光画像データ1、2を補正するための補正値をライブビュー用基準画像データに基づいて生成する。このとき、本実施形態において、調光画像データ1、2は、読出し時間を短縮するために、画素領域PA上のまとまった一部領域を部分的に切出して読み出し、なおかつ、水平方向は加算で読出す(図18(b))。一方、ライブビュー用基準画像データはと同様に水平方向に加算して全ての画素領域を読出す図18(a)。すなわち、ライブビュー用基準画像データの読出し方法は調光画像データ1、2の読出し方法に対して、水平方向には加算して読み出す点で対応しているが、読み出す画素領域PAが異なる。したがって、ステップS903において、CPU114はライブビュー用補正値を、調光用画像1,2の読み出す画素領域PAの一部領域に対応するように切り出すことによって、ライブビュー用基準画像データから調光用補正値生成を行う。
その後、ステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図17時刻T3b、T3c)。そして、取得した調光画像データ1と調光画像データ2とを補正し、補正後調光画像データ1及び補正後調光画像データ2に基づいてステップS507で調光演算を行って本発光量を算出する。
その後、ステップS508の静止画用基準画像データ取得を行う(図17時刻T3d)。続いて、ステップS509で静止画用補正値生成を行う。ステップS510で発光部121を本発光させて静止画像データを取得し、(図17時刻T3f)静止画像データの補正を行う。
なお、本実施形態では、ライブビュー撮影を例にして説明を行ったが、ライブビュー撮影ではなく動画撮影を行う場合であっても構わない。
また、ライブビュー用補正値から調光用補正値を生成したが、ライブビュー用基準画像データから調光用基準画像データを生成し、生成された調光用画像データから調光用補正値を生成しても構わない。この場合、調光用画像データを格納するためのメモリが余計に必要となる。
以上のように、本実施形態では、調光用基準画像データを取得せずに、ライブビュー用補正値を演算処理することによって調光用補正値を生成し、調光画像データを補正する。このため、シャッタースイッチが押下されてから静止画像データ取得の時間差の増加を抑制することができる。
(第4の実施形態)
上記の3つの実施形態では、静止画用基準画像データと調光用基準画像データとをそれぞれ取得しているが、本実施形態では、いずれか一方の基準画像データのみを取得して、取得した基準画像データに基づいて他方の基準画像データを生成する構成を説明する。本実施形態では、取得した基準画像データを調光画像データに対する補正に用いるために、調光画像データを取得する前に基準画像データを取得しておく。このような構成によれば、基準画像データの取得回数を少なくすることができ、レリーズタイムラグをより短縮することができる。
以下では、調光用基準画像データを取得することなく、撮影者にシャッタースイッチ115が押下されてから静止画撮影までの時間を短縮する構成について説明する。
図19は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図20に示す撮像動作のシーケンス図と併せて参照されたい。
図19において、図6と処理内容が同じステップについては図6と図19とで同じステップ番号を付している。
まず、ステップS501のライブビュー撮影開始からステップS502でシャッタースイッチ(SW)115が撮影者によって押下されてONされるまでは図6のフローチャートと全く同じである。
本実施形態では、ステップS502でシャッタースイッチが押下された後(図20時刻T4a)、ステップS508においてCPU114は静止画用基準画像データ取得を行う(図20時刻T4b)。ステップS509で静止画像用補正値を生成する。この際、ステップS509で生成した静止画像用補正値を保持しておく必要があるため、補正値格納用のメモリは第1の実施形態よりも多く必要になる。
ステップS1001において、CPU114はダークシェーディング補正値生成部901によってステップS505、S506で取得される調光画像データ1、2を補正するための補正値を、ステップS509で得た静止画像用補正値に基づいて生成する。このとき、静止画用基準画像データの読出し方法と調光用画像データの読出し方法は異なるため、CPU114はステップS509で生成した静止画用補正値、水平方向に所定の画素数加算することによって、調光用補正値を生成する。生成された調光用補正値はダークシェーディング補正部902に設定され、ステップS505、S506で取得される調光画像データ1、2から減算することでそれぞれの画像データのダークシェーディングが補正される。
ステップS1001で調光用補正値生成を行ったのち、ステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図20時刻T4c、T4d)。そして、取得した調光画像データ1と調光画像データ2とを補正し、補正後調光画像データ1及び補正後調光画像データ2に基づいてステップS507で調光演算を行って本発光量を算出する。
その後、ステップS510で発光部121を本発光させて静止画像データを取得し(図20時刻T4f)、静止画像データの補正を行う。
なお、本実施形態において、静止画用補正値を所定の画素数水平方向に加算することによって調光用補正値を生成したが、調光用補正値の生成方法はこの限りではない。調光用画像データ1、2を水平方向に間引いて読み出す場合には、ステップS1001において静止画用補正値を水平方向に間引くことによって、調光画像データ1、2の補正値を生成しても構わない。あるいは、静止画用補正値をデジタル演算処理することによって調光用補正値を生成しても構わない。
また、本実施形態において、静止画用補正値から調光用補正値を生成したが、調光用補正値を生成してから静止画用補正値を生成してもよい。その場合、ステップS1001とステップS509の順序が逆になり、先にステップS1001において調光用補正値を生成し、その後ステップS509において静止画用補正値を生成することになる。
以上のように、本実施形態では、調光用基準画像データを取得することなく、静止画像データを補正するのに用いる静止画用基準画像データを演算処理することによって調光用基準画像データを生成する。このため、調光用基準画像データの取得によるレリーズタイムラグの増加を抑制することができる。
(第5の実施形態)
第4の実施形態では、調光画像データを取得する前に基準画像データを取得しているが、第1の実施形態と比べて基準画像データの取得タイミングと静止画像撮影の間の時間差が大きくなり、静止画像データの補正精度が低下するという問題がある。
そこで第5の実施形態では、撮影者によってシャッタースイッチ115が押下されてから静止画撮影までの時間を短縮しながら、静止画像データの補正精度を維持する構成について説明する。
図21は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図22に示す撮像動作のシーケンス図と併せて参照されたい。
図21は図19のフローチャートと処理順序が異なるだけであり、処理内容が同じステップについては、図19と図21とで同じステップ番号を付している。
まず、ステップS501のライブビュー撮影開始からステップS502でシャッタースイッチ(SW)115が撮影者によって押下されてONされるまでは図19のフローチャートと全く同じである。
本実施形態では、ステップS502でシャッタースイッチが押下された後(図22時刻T5a)、ステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図22時刻T5b、T5c)。続いて、ステップS508の静止画用基準画像データ取得を行う(図22時刻T5d)。
次にステップS1001で調光用補正値生成を行ったのち、ステップS505、S506により取得した調光画像データ1及び調光画像データ2を補正する。その後、ステップS509で静止画用補正値を生成する。
次にステップS507において、補正後調光画像データ1及び補正後調光画像データ2に基づいて調光演算を行って本発光量を算出する。
その後、ステップS510で発光部121を本発光させて静止画像データを取得し(図22時刻T5f)、静止画像データの補正を行う。
以上のように、本実施形態では、静止画用基準画像データを静止画像取得の前に取得するので、基準画像データの取得タイミングと静止画像撮影の間の時間差がなくなり、静止画像データの補正精度を維持できる。かつ、調光用基準画像データの取得によるレリーズタイムラグの増加を抑制することができる。
(第6の実施形態)
第4の実施形態および第5の実施形態では、レリーズタイムラグを短縮するために、静止画像用基準画像データを演算処理することによって調光用基準画像データを生成している。ここで、静止画像用基準画像データの取得タイミングを前倒しすることによって、さらにレリーズタイムラグを短縮することができる。
第6の実施形態では、撮影者によってシャッタースイッチ115が押下されてから静止画撮影までの時間をさらに短縮する構成について説明する。
図23は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図24に示す撮像動作のシーケンス図と併せて参照されたい。
図23において、図19のフローチャートと処理内容が同じステップについては、図19と図23とで同じステップ番号を付している。また、本実施形態ではシャッタースイッチ115を、シャッタースイッチ1(SW1)とシャッタースイッチ2(SW2)とで、押下状態および機能を分けて説明する。シャッタースイッチ115を押下して、CPU114が測光処理、測距処理等の撮影準備動作を開始する部分をシャッタースイッチSW1とする。すなわち、シャッタースイッチ115は、撮影準備動作の開始指示及び撮影動作の開始指示をそれぞれ異なる操作がなされることで行う。シャッタースイッチ115を押下して、CPU114がメカニカルシャッター105を駆動し、撮像素子107から読み出した信号をAFE108、DSP109を介して記録媒体110に書き込む一連の撮像動作を開始する部分をシャッタースイッチSW2とする。
本実施形態では、ステップS501のライブビュー撮影開始からステップS1101でシャッタースイッチ1(SW1)が撮影者によって押下されてONされるまでCPU114はライブビュー撮影を継続させる。シャッタースイッチ1が撮影者によって押下された後、CPU114はステップS508において静止画用基準画像データ取得を行う。
次に、ステップS1102においてCPU114はシャッタースイッチ1がOFFされると再びライブビュー撮影を開始する。シャッタースイッチ1がOFFされずに、ステップS1103においてシャッタースイッチ2(SW2)が押下されると(図24時刻T6a)、ステップS509において静止画用補正値を生成する。その後、ステップS1001において調光用補正値生成を行う。
その後、ステップS505、S506により調光画像データ1及び調光画像データ2を取得し(図24時刻T6b、T6c)、ステップS1001において生成した調光用補正値を用いて調光画像データ1及び調光画像データ2を補正する。
ステップS507において、補正後調光画像データ1及び補正後調光画像データ2に基づいて調光演算を行って本発光量を算出した後、ステップS510で発光部121を本発光させて静止画像データを取得し(図24時刻T6e)、静止画像データの補正を行う。
以上のように、本実施形態では、静止画用基準画像データをSW1押下の後に取得するので、SW2押下のタイミングと静止画像撮影の間の時間差が短くなり、レリーズタイムラグを短縮することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
上記の6つの実施形態では、固定パターンノイズとして1次元のダークシェーディングを補正する前提で説明したが、これに限られるものではなく2次元のダークシェーディングの補正を行うようにしてもよく、またゲイン補正を行うように構成しても構わない。
また、基準画像データとしてフォトダイオードのない基準画素の出力を取得する構成で説明したが、これに限られるものではない。例えば、オプティカルブラック画素の信号を基準画像データとする構成や、開口画素の転送ゲート302を開けずに読出し、回路ノイズだけを読出した信号を基準画像データとする構成も考えられる。垂直出力線202や列読出し回路203のいずれかの箇所に基準電圧を入力して読み出した信号を基準画像データとする構成も考えられる。
さらに、演算増幅器403のゲインは調光画像データ取得時も静止画像データ取得時も同じである前提で説明したが、これに限られるものではない。フィードバック容量C2(402)の容量値を複数種類から選択できるように構成し、調光画像データと静止画像データとで異なるように構成しても構わない。さらに、例えば、調光画像データ1フレームの中で行毎にフィードバック容量C2(402)の容量値を切り換え、複数種類のゲインの信号を同一フレームで取得するように構成しても構わない。この場合、ダークシェーディング補正値生成部901ではそれぞれのゲイン毎に補正値を生成し、ダークシェーディング補正部902もゲインに応じた補正値を用いてダークシェーディングの補正を行うように構成するのがより好ましい。
また、調光画像データやライブビュー画像データは、水平方向においては加算平均、垂直方向においては間引いて読み出すことによって読出す画素数を制限するように記載したが、勿論、読出し画素数を制限する手段は間引き/加算のいずれの組合せでも構わない。例えば、調光画像データを図25のように水平方向には3画素ずつ間引き、垂直方向には9画素ずつ間引いてで読出しても構わない。また、画素領域PA上のまとまった一部領域を部分的に切出して読み出す方法でも構わない。なお、調光画像データやライブビュー画像データを短時間で取得する必要が無い場合には、読み出し画素数を制限せずに全画素を読み出しても構わない。
また、上記の6つの実施形態では、調光画像データ1と調光画像データ2とを取得しているが、外光の影響が小さい場合などには、調光画像データ1を取得せずにプリ発光を行った調光画像データ2のみに基づいて本発光量を決定してもよい。
また、上記の6つの実施形態では、内蔵された発光部でプリ発光を行う撮像装置の例を説明したが、撮像装置に着脱可能な発光装置を装着し、装着された発光装置でプリ発光を行う撮像装置に適用してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。