JP6226531B2 - Imaging apparatus and control method - Google Patents
Imaging apparatus and control method Download PDFInfo
- Publication number
- JP6226531B2 JP6226531B2 JP2013032105A JP2013032105A JP6226531B2 JP 6226531 B2 JP6226531 B2 JP 6226531B2 JP 2013032105 A JP2013032105 A JP 2013032105A JP 2013032105 A JP2013032105 A JP 2013032105A JP 6226531 B2 JP6226531 B2 JP 6226531B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- correction value
- dimming
- light emitting
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 72
- 238000000034 method Methods 0.000 title claims description 36
- 238000012937 correction Methods 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 20
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000003705 background correction Methods 0.000 description 28
- 239000003990 capacitor Substances 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 238000012546 transfer Methods 0.000 description 18
- 238000003702 image correction Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 13
- 238000009825 accumulation Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 101100293186 Arabidopsis thaliana MYB30 gene Proteins 0.000 description 4
- 101100071652 Schizosaccharomyces pombe (strain 972 / ATCC 24843) hsr1 gene Proteins 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置に関し、特に発光部を本発光させる前にプリ発光を行い本発光量を決定する撮像装置に関するものである。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus that performs pre-emission before main emission of a light emitting unit to determine the main emission amount.
従来、デジタルカメラやビデオカメラ等、撮像素子を用いた撮像装置においては、撮像素子の読出し回路ノイズや暗電流ノイズに起因する固定パターンノイズによって画質が低下することがよく知られている。 2. Description of the Related Art Conventionally, in an imaging apparatus using an imaging device such as a digital camera or a video camera, it is well known that image quality is deteriorated by fixed pattern noise caused by readout circuit noise or dark current noise of the imaging device.
この固定パターンノイズを除去するために、撮像素子を露光して得る撮像画像とは別の基準画像を取得し、得られた基準画像に基づいて撮像画像を補正する手法が一般的に用いられている。特許文献1では、撮像素子を露光して得た撮像画像とは別に撮像素子を遮光して取得したダーク画像に基づいて撮像画像を補正する技術が開示されている。
In order to remove this fixed pattern noise, a technique is generally used in which a reference image different from the captured image obtained by exposing the image sensor is obtained and the captured image is corrected based on the obtained reference image. Yes.
また、暗いシーンを撮影する際にフラッシュ発光する機能を有する撮像装置において、特許文献2のように、撮影直前にプリ発光を行うことによって撮影時のフラッシュ発光量を決定する調光制御を行う構成が知られている。
In addition, in an imaging apparatus having a function of flash emission when shooting a dark scene, as in
しかしながら、特許文献1に開示された技術では、撮影時の画像に対しては基準画像による固定パターンノイズの補正が行われるため良好な画質が得られるが、その他の画像についてはなんら考慮されていない。例えば、特許文献2に記載された構成の場合、調光のためのプリ発光画像に対して適切な補正が行われないため固定パターンノイズの影響が大きい場合には精度よい調光制御を行うことができない可能性がある。
However, in the technique disclosed in
そこで、本発明の目的は、発光部を本発光させる前にプリ発光を行い本発光量を決定する構成において、精度よく本発光量を決定することを可能にした撮像装置を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide an imaging apparatus capable of accurately determining the main light emission amount in a configuration in which the pre-light emission is performed before the light emitting unit performs the main light emission and the main light emission amount is determined. .
上記目的を達成するために、本発明に係る撮像装置は、発光手段を本発光させる前にプリ発光させる撮像装置であって、撮像素子と、前記撮像素子から読み出される第1の基準画像データに基づいて第1の補正値を生成する生成手段と、前記生成手段により生成される前記第1の補正値を用いて、前記発光手段をプリ発光させたときに前記撮像素子により蓄積される電荷に基づく第1の画像データ及び前記発光手段をプリ発光及び本発光させていないときに前記撮像素子により蓄積される電荷に基づく第2の画像データを補正する補正手段と、前記補正手段により補正された前記第1の画像データ及び前記第2の画像データに基づいて、前記発光手段の本発光量を決定する決定手段と、を有することを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention is an imaging apparatus that pre-emits light before emitting light from a light emitting unit, and includes an imaging element and first reference image data read from the imaging element. Based on the generation means for generating the first correction value based on the first correction value generated by the generation means, the charge accumulated by the imaging element when the light emitting means is pre-flashed. The first image data based on the first image data and the correction means for correcting the second image data based on the charge accumulated by the imaging device when the light emitting means is not pre-lighted and main light emitted, and corrected by the correcting means And determining means for determining a main light emission amount of the light emitting means based on the first image data and the second image data .
本発明によれば、発光部を本発光させる前にプリ発光を行い本発光量を決定する構成において、精度よく本発光量を決定することができる。 According to the present invention, the main light emission amount can be accurately determined in the configuration in which the pre-light emission is performed and the main light emission amount is determined before the light emitting unit performs the main light emission.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明の実施形態にかかわる撮像装置100の全体構成を示した図である。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a diagram illustrating an overall configuration of an
第1レンズ群101は結像光学系の先端に配置されたレンズ群で、光軸方向に進退可能に保持される。絞り102は、その開口径を調節することで撮影時の光量調節を行う。第2レンズ群103は、第1レンズ群101の進退動作との連動により変倍作用(ズーム機能)をなすレンズ群である。第3レンズ群104は、光軸方向の進退により焦点調節を行うレンズ群である。なお、第1、第2、第3のレンズ群は結像光学系の一例であって、レンズ群の数は3つの限定されるものではない。また、各レンズ群は、レンズが1つであって構わない。
The
メカニカルシャッター105は、後述する電子先幕動作と連動して撮像素子107へ導かれる光量を調節する。
The
光学的ローパスフィルタ106は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、前述のレンズ群により結像された被写体像を光電変換する。ここでは、撮像素子107にはベイヤー配列のCMOSイメージセンサが使用されるものとする。
The optical low-
AFE108は、撮像素子107から出力されるアナログ画像信号をデジタル信号に変換する。DSP(Digital Signal Processer)109は、AFE108から出力されるデジタル画像信号に対する画像補正を含む各種画像処理を行う。
The AFE 108 converts an analog image signal output from the
記録媒体110は、DSPにより画像処理が施された画像データを記録する記録媒体である。表示部111は、撮像画像や各種メニュー画面などを表示するための表示部であり、液晶ディスプレイ(LCD)などが使用される。後述するライブビュー動作時には、連続して撮像を行い取得した画像データに基づく画像が表示部111に逐次表示される。
The
RAM112は、画像データなどを一時記憶するRAMであり、DSP109と接続されている。タイミングジェネレータ(TG)113は、撮像素子107に駆動信号を供給する。
The
CPU114は、AFE108、DSP109、TG113、絞り駆動回路116、フォーカス駆動回路118など各部の制御を行う。シャッタースイッチ(SW)115は、撮影者の操作によりONされると、撮影指示をCPU114に伝達する。
The
絞り駆動回路116は、絞りアクチュエータ117を駆動制御することにより絞り102を駆動する。フォーカス駆動回路118は、フォーカスアクチュエータ119を駆動制御することにより第3レンズ群104を光軸方向に進退させることにより焦点調節を行う。
The
シャッター駆動回路120は、CPU114の制御に従ってメカニカルシャッター105を駆動する。発光部121は、キセノンランプやLEDなどが光源に用いられ、CPU114からの制御に従って発光する。
The
図2は、DSP109の内部の主なブロック構成を示す図である。撮像素子の各画素の「黒」のレベルは、撮像素子の特性や配線などの影響から画素ごとにレベルが均一ではなく、シェーディングが起こることがある。これをダークシェーディングと呼ぶ。ダークシェーディング補正値生成部901は、後述する基準画像データに基づいてダークシェーディング補正値を算出する。ダークシェーディング補正部902は、水平方向の1次元データである補正値を対象画像データから減算することにより水平方向のダークシェーディングを補正する。
FIG. 2 is a diagram showing a main block configuration inside the
光学シェーディング補正部903は、画像データに対して、対応する撮影画面上の水平方向或いは垂直方向の位置(座標)に応じたゲイン補正を行うことにより、光学的なシェーディングを補正する。
The optical
WB(ホワイトバランス)処理部904は、ベイヤー配列のR、G、Bの画素それぞれにゲインを乗じることでホワイトバランス処理を行う。現像処理部905は、画像データに対し色マトリクス処理やガンマ処理などの現像処理を行う。
A WB (white balance)
メモリ制御部906は、画像データや各補正ブロックで使用する補正値をRAM112に対し読み書きする制御を行う。記録部907は、現像処理後の画像データを記録媒体110へ書き込む処理を行う。
The
図3は撮像素子107の全体構成を示す図である。画素領域PAには、画素200がp11〜pknのように行列上に配置されている。
FIG. 3 is a diagram illustrating the overall configuration of the
ここで、画素200の1画素毎の構成を図4を用いて説明する。フォトダイオード(以下PDと表す)301は、入射した光信号を光電変換し、入射光量に応じた電荷を蓄積する。
Here, the configuration of each pixel of the
転送ゲート302は、信号txをHighレベルとすることでPD301に蓄積されている電荷をFD(フローティングディフュージョン)部303に転送させる。
The
FD部303は、フローティングディフュージョンアンプ304(以下FDアンプと表す)のゲートに接続されており、このFDアンプ304でPD301から転送されてきた電荷量が電圧値に変換される。
The
FDリセットスイッチ305は、FD部303をリセットするためのスイッチであり、信号resをHighレベルとすることでFD部303をリセットさせる。また、信号txと信号resを同時にHighレベルにして転送ゲート302及びFDリセットスイッチ305の両方をONすることで、FD部303経由でPD301のリセットが行われる。
The FD reset
画素選択スイッチ306は、信号selをHighレベルとすることで、FDアンプ304で電圧に変換された画素信号を画素200の出力voutに出力させる。
The
図3に戻り、垂直走査回路201は、res_1、tx_1、sel_1等の駆動信号を各画素200に供給する。これらの駆動信号は、それぞれ各画素200のFDリセットスイッチ305(res)、転送ゲート302(tx)、画素選択スイッチ306(sel)に接続される。
Returning to FIG. 3, the
各画素200の出力voutは、列毎に垂直出力線202を介して列共通読出し回路203に接続されている。
The output vout of each
ここで、列共通読出し回路203の構成を図5を用いて説明する。
Here, the configuration of the column
垂直出力線202は、列毎に設けられ、1列分の画素200の出力voutが接続されている。垂直出力線202には電流源204が接続されており、この電流源204と、垂直出力線202に接続された画素200のFDアンプ304によってソースフォロワ回路が構成される。
The
401はクランプ容量C1、402はフィードバック容量C2であり、演算増幅器403は、非反転入力端子には基準電圧Vrefが接続されている。スイッチ404は、フィードバック容量C2の両端をショートさせるためのスイッチであり、信号cfsで制御される。
401 is a clamp capacitor C1, 402 is a feedback capacitor C2, and the
S信号転送スイッチ405は、画素200から読み出される画素信号SをS信号保持容量407に転送するためのスイッチである。信号tsをHighレベルにすることにより、演算増幅器403で増幅された画素信号SがS信号転送スイッチ405を介してS信号保持容量407に記憶される。
The S
N信号転送スイッチ406は、画素200から読み出されるノイズ信号NをN信号保持容量408に転送するためのスイッチである。信号tnをHighレベルにすることにより、演算増幅器403で増幅された画素信号NがN信号転送スイッチ406を介してN信号保持容量408に記憶される。
The N
S信号保持容量407、N信号保持容量408はそれぞれ列共通読出し回路203の出力vs、vnに接続されている。
The S
S信号加算スイッチ409、N信号加算スイッチ410は、それぞれ対応する列のS信号、N信号を加算平均するためのスイッチである。S信号加算スイッチ409の一端は、図中のノードAに接続され、他端は加算対象となる別列の同じノードAに接続される。また、N信号加算スイッチ410は、図中のノードBに接続され、他端はやはり加算対象となる別列のノードBに接続される。つまり、信号addをHighレベルにすることにより、加算対象の列のS信号保持容量407どうし、N信号保持容量どうしが接続される。信号addを一度Highレベルにした後、Lowレベルにすることで加算対象の列どうしの信号が加算平均されることになる。加算する列の組合せについては後述する。cfs、ts、tn、add等の駆動信号は、CPU114の制御に従ってTG113により供給される。
The S
図3に戻り、列共通読出し回路203の出力vs、vnには、それぞれ水平転送スイッチ205、206が接続されている。
Returning to FIG. 3, horizontal transfer switches 205 and 206 are connected to the outputs vs and vn of the column
水平転送スイッチ205、206は水平走査回路207の出力信号hsr*(*は列番号)によって制御され、信号hsr*をHighレベルとすることで、S信号保持容量407、N信号保持容量408の信号をそれぞれ水平出力線208、209へ転送させる。
The horizontal transfer switches 205 and 206 are controlled by the output signal hsr * (* is a column number) of the
水平出力線208、209は差動増幅器210の入力に接続されており、差動増幅器210ではS信号とN信号の差分をとると同時に所定のゲインをかけ、最終的な画像信号を出力端子211へ出力する。
The
水平出力線リセットスイッチ212、213は、信号chresをHighとすることによってONされ、各水平出力線208、209をリセット電圧Vchresにリセットさせる。
The horizontal output line reset switches 212 and 213 are turned on by setting the signal chres to High, and reset the
(第1の実施形態)
次に、図6〜図9のフローチャートを用いて、本発明の第1の実施形態による撮像装置100の撮像動作フローについて説明する。図10に示す撮像動作のシーケンス図と併せて参照されたい。
(First embodiment)
Next, an imaging operation flow of the
まず図6のステップS501でCPU114は、ライブビュー撮影を開始させる。ライブビュー撮影においては、後述する撮像素子107のライブビュー撮影動作によって連続して取得される画像データに基づく画像を表示部111に逐次表示させる。
First, in step S501 of FIG. 6, the
その後、CPU114は、ステップS502においてシャッタースイッチ(SW)115が撮影者によって押下されてONされるまで、ライブビュー撮影を継続させる。
Thereafter, the
撮影者にシャッタースイッチ115が押下(撮影指示)されると(図10時刻Ta)、ステップS503でCPU114は撮像素子107のライブビュー撮影動作を終了し、調光用基準画像データ(第1の基準画像データ)の取得動作を行う(図10時刻Tb)。基準画像データ取得動作の詳細については後述する。
When the
続くステップS504でダークシェーディング補正値生成部901は、ステップS505、S506で取得される調光画像データ1、2を補正するためのダークシェーディング補正値(第1の補正値)をステップS503で得た基準画像データに基づいて生成する。補正値の生成では、基準画像データの各画素列の平均値を補正値として算出するものとする。生成された調光用補正値はダークシェーディング補正部902に設定され、ステップS505、S506で取得される調光画像データ1、2から減算することでそれぞれの画像データのダークシェーディングが補正される。
In subsequent step S504, the dark shading correction
ステップS505において、CPU114は、調光画像データ1を取得する(図10時刻Tc)。調光画像データ1を短時間で取得するために、水平方向は同色の3画素毎に加算平均し、垂直方向は9行に1行ずつの周期で間引いて読出す。調光画像データ1の取得において発光部121の発光は行わない。
In step S505, the
次に、ステップS506においてCPU114は、調光画像データ2を取得する(図10時刻Td)。調光画像データ2においても調光画像データ1と同様に、水平方向は同色の3画素毎に加算平均し、垂直方向は9行に1行ずつの周期で間引して読出す。調光画像データ2の取得においては、CPU114は所定の光量でプリ発光するよう発光部121を制御する。
Next, in step S506, the
図10に示すように、調光画像データ1の取得のための読出し走査と調光画像データ2の取得のためのリセット走査を並行して行うことで、実際には調光画像データ1の取得動作と調光画像データ2の取得動作の一部を重複させて行うことも可能である。
As shown in FIG. 10, the reading scan for acquiring the dimming
ステップS507では、CPU114は静止画撮影時の発光部121の発光量(以下本発光量と表す)を算出する調光演算を行い、算出された発光量を本発光量として決定する。
In step S <b> 507, the
この調光演算では、ステップS504で生成されたダークシェーディング補正値を用いてダークシェーディング補正部902により補正された補正後調光画像データ1と補正後調光画像データ2とを比較して、プリ発光の反射光成分を抽出する。そして、抽出したプリ発光の反射光成分に基づいて本発光量を算出する。
In this dimming calculation, the corrected dimming
ステップS508では、CPU114は、静止画撮影に備えて静止画用基準画像データ(第2の基準画像データ)を取得する(図10時刻Te)。続くステップS509において、ダークシェーディング補正値生成部901は、ステップS508で取得された基準画像データに基づいて静止画用のダークシェーディング補正値(第2の補正値)を生成する。このときもS504と同様に、基準画像データの各画素列の平均値を補正値として算出する。生成された静止画用補正値はダークシェーディング補正部902に設定され、続くステップS510で取得される静止画像データからこの補正値を減算することで静止画像データのダークシェーディングを補正する。
In step S508, the
ステップS510で、CPU114は、発光部121を本発光させて静止画像データを取得する(図10時刻Tf)。そして、ステップS508で生成されたダークシェーディング補正値を用いてダークシェーディング補正部902により静止画像データの補正を行って一連の撮像動作を終了する。
In step S510, the
ここで、ステップS505の調光画像データ1の取得動作について図7を用いて説明する。
Here, the operation of acquiring the light
まずCPU114は、ステップS601で撮像素子107の各画素行を順次リセットしていくリセット走査を開始させる。各画素のリセットは、図4における垂直走査回路201を介して信号res及び信号txを共にHighレベルにすることにより行われる。
First, the
ステップS602で最後の画素行のリセット走査を終了した後、CPU114は所定の蓄積時間が経過するまで待つ(ステップS603)。所定の蓄積時間が経過すると、CPU114は、ステップS604で撮像素子107の読出し走査を開始させる。ステップS605で読出し走査を終了すると、調光画像データ1の取得が完了する。
After completing the reset scanning of the last pixel row in step S602, the
なお、所定の蓄積時間が短い場合、最後の画素行のリセット走査が終了する前に最初の画素行の蓄積時間が経過することも考えられる。その場合、最後の画素行のリセット走査が終了する前であっても、所定の蓄積時間が経過した画素行から順に読出し走査を開始しても構わない。 When the predetermined accumulation time is short, it is also conceivable that the accumulation time of the first pixel row elapses before the reset scanning of the last pixel row is completed. In that case, even before the reset scanning of the last pixel row is completed, the readout scanning may be started in order from the pixel row for which a predetermined accumulation time has elapsed.
次に、ステップS506の調光画像データ2の取得動作について図8を用いて説明する。調光画像データ2の取得動作は、調光画像データ1の取得動作とはプリ発光を行う点だけが異なる。
Next, the operation of acquiring the light
ステップS602でリセット走査を終了させた後に、ステップS701でCPU114はプリ発光用の発光パルスを発光部121に出力して発光部121を発光させる。発光後、ステップS604で読出し走査を開始させる。
After completing the reset scanning in step S602, in step S701, the
本実施形態においては、リセット走査終了後にプリ発光用発光パルスが出力される構成としている。しかしながら、発光パルス出力から実際の発光部121の発光までの時間がかかるような場合には、そのタイムラグを見込んで、リセット走査完了前に発光パルスを出力し、実際のプリ発光がリセット走査完了直後になるようにしてもよい。その際には、ステップS601のリセット走査開始から所定時間経過した時点で発光パルスを出力するように構成すればよい。
In the present embodiment, a pre-emission light emission pulse is output after the end of reset scanning. However, when it takes time from the light emission pulse output to the actual light emission of the
また、調光画像データ1の取得動作と同様に、全ての画素のリセット走査が終了する前であっても、所定の蓄積時間が経過した画素から順に読出し走査を開始しても構わない。この場合、最初にリセット走査される画素のリセット走査開始前から、最後にリセット走査される画素の読出し走査が完了するまでプリ発光を継続して行うことが好ましい。
Similarly to the operation of acquiring the dimming
次にステップS509の静止画像データの取得動作について図9を用いて説明する。 Next, the still image data acquisition operation in step S509 will be described with reference to FIG.
まずCPU114は、ステップS801で静止画用のリセット走査を開始させる(図10時刻Tf)。これにより、撮像素子107の各画素の電荷は画素行毎に順次クリアされる。静止画用のリセット走査は、ステップS804における撮像素子107を遮光するためのメカニカルシャッター走行と同様のカーブを描くように行われる。
First, in step S801, the
実際の構成についてはこれに限られるものでなく、全画素行の電荷を同時にクリアするようにしても構わない。ただし、その場合、電荷クリアからメカニカルシャッターで遮光されるまでの時間が画素行に異なるため、露光量が行により異なる動作となる。 The actual configuration is not limited to this, and the charges in all the pixel rows may be cleared simultaneously. However, in this case, since the time from clearing the charge to being shielded by the mechanical shutter is different for each pixel row, the exposure amount varies depending on the row.
ステップS802で静止画用のリセット走査を終了した後、ステップS803でCPU114は、静止画撮影用の発光(以下、本発光と表す)を促す本発光用発光パルスを出力し、発光部121を本発光させる。
After completing the reset scan for still images in step S802, in step S803, the
続くステップS804でCPU114は、設定されたシャッタースピードに相当する蓄積時間が経過するのを待ち、ステップS805でCPU114は、シャッター駆動回路120を介してメカニカルシャッター105を走行させ撮像素子107を遮光させる。その後、ステップS806では撮像素子107の読出し走査を開始させ(図10時刻Th)、ステップS807で読出し走査を終了すると、静止画像データの取得動作は終了となる。
In step S804, the
次に、モードに応じた撮像素子107の画素の読出し方法について図11を用いて説明する。図11は、静止画撮影時、ライブビュー撮影時、調光画像データ取得時のそれぞれの動作モードにおける撮像素子107の画素の読出し方法を示す図である。
Next, a method for reading out pixels of the
図11(a)は静止画撮影時の読出し方法である。撮像素子107は、ベイヤー配列のCMOSセンサであって、斜線部は補正値取得用の基準画素であり、白抜き部は通常の開口画素である。本実施形態における基準画素は、フォトダイオード301を設けない画素とする。ただし、基準画素の構成はこれに限るものでなく遮光されたオプティカルブラック画素を基準画素としても構わない。静止画においては、撮像素子107の全画素をそれぞれ独立に読み出す。
FIG. 11A shows a reading method at the time of still image shooting. The
図11(b)はライブビュー撮影時の読出し方法であり、フレームレートを確保するために画素信号の加算や間引き読出しを行うことによって読出し画素数を制限している。ここでは、水平方向は同色の3画素毎に加算平均し、垂直方向は3行に1行ずつの周期で間引き読出しをするものとする。図11(b)の上部に水平方向の加算の組合せを示す。また、黒塗りした画素は、間引きなどにより読み出されない画素を示す。 FIG. 11B shows a reading method at the time of live view shooting. In order to secure a frame rate, the number of read pixels is limited by performing pixel signal addition or thinning-out reading. Here, the averaging is performed for every three pixels of the same color in the horizontal direction, and thinning-out reading is performed at a cycle of one row for every three rows in the vertical direction. The combination of horizontal addition is shown in the upper part of FIG. Also, black pixels indicate pixels that are not read out due to thinning or the like.
図11(c)は調光画像データ1及び調光画像データ2の読出し方法を示す。調光制御においては、レリーズタイムラグを極力短縮するために撮像素子107の信号を高速に読み出すことが望ましく、本実施形態では、ライブビュー撮影時よりもさらに読出し画素数を制限する。ここでは、水平方向についてはライブビューと同様に同色の3画素毎に加算平均し、垂直方向については9行に1行ずつの周期で間引き読出しをすることにより、高速化を図るものとする。
FIG. 11C shows a method of reading out the dimming
図11(d)は静止画用基準画像データ取得時の読出し方法を示す。水平方向については加算することなく全画素読み出す点で図11(a)の静止画撮影時と同じである。垂直方向については、基準画素のみを読み出すため、基準画素領域(図では1〜4行目)を繰り返し読み出す。 FIG. 11D shows a reading method when acquiring the still image reference image data. The horizontal direction is the same as that in the still image shooting of FIG. 11A in that all pixels are read out without adding. In the vertical direction, since only the reference pixel is read out, the reference pixel region (1st to 4th rows in the figure) is repeatedly read out.
図11(e)は調光用基準画像データ取得時の読出し方法である。ここでも図11(d)と同じく基準画素の行を繰返し読み出すが、水平方向については図11(c)の調光画像データ1、2と同じになるよう、同色の3画素毎に加算平均して読み出す。すなわち、調光用基準画像データ取得時の読出し方法は、調光画像データ1及び調光画像データ2に関する読出し方法に対応している。また、調光用基準画像データ取得時の読出し方法は静止画用基準画像データ取得時の読出し方法と異なっている。
FIG. 11E shows a reading method when acquiring the dimming reference image data. Here again, the row of reference pixels is repeatedly read as in FIG. 11 (d), but the horizontal direction is the same as the dimming
このように、基準画像データ取得時の読み出し方法を、補正対象となる画像データ取得時の読み出し方法と対応させることで、適切なダークシェーディング補正値を生成することができる。 In this way, an appropriate dark shading correction value can be generated by associating the reading method at the time of acquiring reference image data with the reading method at the time of acquiring image data to be corrected.
なお、静止画用基準画像データ取得と調光用基準画像データ取得では、読み出す行数、すなわち基準画素を繰返し読み出す繰返し数を異なる数にしても構わない。調光画像データの補正精度が静止画像データに比べて粗くてよい場合には、調光用基準画像データの読出し行数を静止画用基準画像データよりも少なくすることで、レリーズタイムラグ(時刻Taから時刻Tfまでの時間)をより短縮することが可能である。 Note that in the acquisition of the still image reference image data and the dimming reference image data acquisition, the number of rows to be read, that is, the number of repetitions of repeatedly reading the reference pixels, may be different. When the correction accuracy of the light control image data may be coarser than that of the still image data, the release time lag (time Ta To the time Tf) can be further shortened.
次に、図12、図13を用いて撮像素子107の読出し動作について説明する。
Next, the reading operation of the
図12は静止画像データ取得における撮像素子107の各行の読出し動作を示すタイミングチャートである。ここではi行目の信号を読み出すものとして説明する。
FIG. 12 is a timing chart showing the read operation of each row of the
まず、CPU114は、TG113を介して信号cfsをHighレベルにしてスイッチ404をONさせて、フィードバック容量C2(402)の両端をショートさせる。次にCPU114は、TG113を介して信号sel_iをHighレベルにしてi行目の画素の画素選択スイッチ306をONさせた後に、信号res_iをLowレベルにしてFDリセットスイッチ305をOFFさせてFD部303のリセットを開放させる。その後、CPU114は、TG113を介して信号cfsをLowレベルにしてスイッチ404をOFFさせることで、FD部303のリセット解放後の垂直出力線202の電圧をクランプ容量C1にクランプさせる。
First, the
次に、CPU114は、TG113を介して信号tnをHighレベルにして、N信号保持容量408にN信号を記憶させる。続いてCPU114は、TG113を介して信号tnをLowにし、N信号転送スイッチ406をOFFさせた後、信号tsをHighレベルにしてS信号転送スイッチ405をONさせ、信号tx_iをHighレベルにして転送ゲート302をONさせる。
Next, the
この動作により、選択されているi行目のPD301に蓄積されていた信号がFDアンプ304、画素選択スイッチ306を介して垂直出力線202へ出力され、さらに、S信号転送スイッチ405を介してS信号保持容量407へ記憶される。
By this operation, the signal accumulated in the
次にCPU114は、TG113を介して信号tx_i、tsをLowレベルにして転送ゲート302、S信号転送スイッチ405をOFFさせた後、信号res_iをHighレベルにしてFDリセットスイッチ305をONさせてFD部303をリセットさせる。
Next, the
ここまでの動作によって、i行目のS信号及びN信号を、それぞれS信号保持容量407、N信号保持容量408へ記憶させる動作を終了する。
With the operations so far, the operation of storing the S signal and N signal in the i-th row in the S
続いて、S信号保持容量407、N信号保持容量408に蓄えられたS信号、N信号を撮像素子107から出力する動作が行われる。
Subsequently, an operation of outputting the S signal and the N signal stored in the S
まず、CPU114が水平走査回路207の出力hsr1をHighレベルにさせることにより、水平転送スイッチ205、206がONされる。そして、S信号保持容量407、N信号保持容量408の信号が水平出力線208、209と差動増幅器210を介して出力端子211に出力される。
First, when the
CPU114が水平走査回路207の各列の選択信号hsr1、hsr2・・・、hsrkを順次Highにさせることにより、i行目の全信号が出力される。なお、信号hsr1〜hsrkによって各列の信号が読み出される合間に、信号chresをHighレベルにすることで水平出力線リセットスイッチ212、213をONし、水平出力線208、209のレベルをリセット電圧Vchresにリセットさせる。
The
以上で1行の読出し動作が終了する。この動作を読出し対象の各行で順次行うことで、撮像素子107の信号読出し動作が行われることになる。
This completes the reading operation for one row. By sequentially performing this operation in each row to be read, the signal reading operation of the
図13はライブビュー撮影及び調光画像データ1、2取得時の撮像素子107の読出し動作を示すタイミングチャートである。図12との違いに着目して説明する。
FIG. 13 is a timing chart showing the reading operation of the
S信号保持容量407にS信号が記憶された後、水平走査回路207の動作が始まる前に、CPU114がTG113を介して信号addを一旦Highレベルにすることで、S信号加算スイッチ409及びN信号加算スイッチ410がONされる。その後、CPU114がTG113を介して信号addをLowレベルに戻すことでS信号加算スイッチ409及びN信号加算スイッチ410がOFFされる。この動作によって、各列のS信号保持容量407及びN信号保持容量408の信号はそれぞれ加算対象の列の信号と加算平均される。
After the S signal is stored in the S
その後、水平走査回路207を駆動させるが、この際、例えば、hsr1、hsr4、hsr7・・・と選択信号を3列に1列の周期でONさせていくことで、水平方向の画素数を制限して読み出していく。
Thereafter, the
以上のように、調光用画像データを取得する前に調光用画像データを補正するのに用いる調光用基準画像データを取得して、調光用画像データの固定パターンノイズ(ダークシェーディング)を適切に補正することで、精度よく本発光量を決定することができる。 As described above, the dimming reference image data used for correcting the dimming image data is obtained before obtaining the dimming image data, and the fixed pattern noise (dark shading) of the dimming image data is obtained. It is possible to determine the main light emission amount with high accuracy by appropriately correcting.
(第2の実施形態)
第1の実施形態では、プリ発光を伴う調光画像データ2の取得動作の後に静止画用基準画像データを取得してから静止画撮影に進む。このため、調光画像データ2の取得タイミングと静止画撮影の間の時間差が大きくなり、被写体が動いている場合などは調光精度が低下するという問題がある。また、プリ発光から静止画撮影までの時間差によって、被写体である人物がプリ発光の影響で静止画撮影時には目を閉じてしまう、所謂目瞑りという現象が発生し易くなる。
(Second Embodiment)
In the first embodiment, after the acquisition operation of the dimming
そこで、第2の実施形態では、プリ発光を伴う調光画像データ2の取得動作から静止画撮影までの時間を短縮する構成について説明する。
Therefore, in the second embodiment, a configuration for shortening the time from the operation of acquiring the light
図14は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図15に示す撮像動作のシーケンス図と併せて参照されたい。
FIG. 14 is a flowchart illustrating an imaging operation of the
図14は図6のフローチャートと処理順序が異なるだけであり、処理内容が同じステップについては、図6と図14とで同じステップ番号を付している。まず、ステップS501のライブビュー撮影開始からステップS504の調光用補正値生成までは図6のフローチャートと全く同じである。 FIG. 14 differs from the flowchart of FIG. 6 only in the processing order, and steps having the same processing contents are given the same step numbers in FIGS. 6 and 14. First, the process from the start of live view shooting in step S501 to the generation of the light adjustment correction value in step S504 is exactly the same as the flowchart in FIG.
本実施形態では、ステップS504の後、ステップS508の静止画用基準画像データ取得を行う(図15時刻T’c)。続いて、ステップS509で静止画用補正値生成を行う。この際、ステップS504で生成した調光用補正値も保持しておく必要があるため、補正値格納用のメモリは第1の実施形態よりも多く必要になる。 In the present embodiment, after step S504, the still image reference image data is acquired in step S508 (time T'c in FIG. 15). In step S509, a still image correction value is generated. At this time, since it is necessary to hold the correction value for dimming generated in step S504, more memory for storing correction values is required than in the first embodiment.
次にステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図15時刻T’d、T’e)。そして、取得した調光画像データ1と調光画像データ2とを補正し、補正後調光画像データ1及び補正後調光画像データ2に基づいてステップS507で調光演算を行って本発光量を算出する。
Next, dimming
その後、ステップS510で発光部121を本発光させて静止画像データを取得し、(図15時刻T’f)静止画像データの補正を行う。
Thereafter, in step S510, the
以上のように、本実施形態では、調光用画像データを取得する前に静止画像データを補正するのに用いる静止画用基準画像データを取得するので、調光画像データ2の取得タイミングと静止画撮影の間の時間差の増加を抑制することができる。そのため、静止画像データの固定パターンノイズ(ダークシェーディング)を適切に補正しながら動く被写体に対しても精度よく本発光量を決定することができるとともに、目瞑り現象も発生し難くすることができる。 As described above, in the present embodiment, the still image reference image data used for correcting the still image data is acquired before the dimming image data is acquired. It is possible to suppress an increase in the time difference between image shootings. Therefore, it is possible to accurately determine the main light emission amount even for a moving subject while appropriately correcting the fixed pattern noise (dark shading) of the still image data, and it is possible to prevent the eye-meditation phenomenon from occurring.
(第3の実施形態)
上記の2つの実施形態では、静止画用基準画像データと調光用基準画像データとをそれぞれ調光画像データの取得前に取得しているが、基準データを2回取得するためレリーズタイムラグが長くなってしまう、という問題がある。
(Third embodiment)
In the above two embodiments, the still image reference image data and the dimming reference image data are acquired before acquiring the dimming image data, but the release time lag is long because the reference data is acquired twice. There is a problem of becoming.
そこで、第3の実施形態では、調光用基準画像データを前もって取得することによって、撮影者によってシャッタースイッチ115が押下されてから静止画撮影までの時間を短縮する構成について説明する。
Therefore, in the third embodiment, a description will be given of a configuration in which the time from when the
図16は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図17に示す撮像動作のシーケンス図と併せて参照されたい。
FIG. 16 is a flowchart illustrating an imaging operation of the
図16において、図6と処理内容が同じステップについては、図6と図16とで同じステップ番号を付している。 In FIG. 16, steps having the same processing contents as those in FIG. 6 are given the same step numbers in FIG. 6 and FIG.
本実施形態ではまず、ステップS901においてCPU114はライブビュー画像を補正するためのライブビュー用基準画像データを取得する。ライブビュー画像は図11(b)に示す通り、水平方向は加算で読出すため、ステップS901においても図11(e)と同様に水平方向に加算して読出す。すなわち、ライブビュー用基準画像データの読出し方法はライブビュー画像の読出し方法に対応している。次にステップS902においてダークシェーディング補正値生成部901は、ステップS501によって連続的に取得される画像データを補正するためのダークシェーディング補正値を、ステップS901で得たライブビュー用基準画像データに基づいて生成する。このとき、図6のステップS504と同様に、基準画像データの各画素列の平均値を補正値として算出する。生成されたライブビュー用補正値(第3の補正値)はダークシェーディング補正部902に設定される。そして、続くステップS501で取得されるライブビュー画像データからこの補正値を減算することでライブビュー画像データ(動画像データ)のダークシェーディングを補正する。
In this embodiment, first, in step S901, the
ステップS902の処理が終わると、ステップS501でライブビュー撮影が開始される。このとき、ステップS501において、CPU114はステップS902で生成したダークシェーディング補正値によって、ライブビュー画像の各フレームを補正してライブビュー画像を生成し、表示部111に逐次表示させる。
When the process of step S902 is completed, live view shooting is started in step S501. At this time, in step S501, the
ステップS502でシャッタースイッチが押下されると(図17時刻T3a)、ステップS903においてダークシェーディング補正値生成部901は、調光画像データ1、2を補正するための補正値をライブビュー用基準画像データに基づいて生成する。このとき、本実施形態において、調光画像データ1、2は、読出し時間を短縮するために、画素領域PA上のまとまった一部領域を部分的に切出して読み出し、なおかつ、水平方向は加算で読出す(図18(b))。一方、ライブビュー用基準画像データはと同様に水平方向に加算して全ての画素領域を読出す図18(a)。すなわち、ライブビュー用基準画像データの読出し方法は調光画像データ1、2の読出し方法に対して、水平方向には加算して読み出す点で対応しているが、読み出す画素領域PAが異なる。したがって、ステップS903において、CPU114はライブビュー用補正値を、調光用画像1,2の読み出す画素領域PAの一部領域に対応するように切り出すことによって、ライブビュー用基準画像データから調光用補正値生成を行う。
When the shutter switch is pressed in step S502 (time T3a in FIG. 17), in step S903, the dark shading correction
その後、ステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図17時刻T3b、T3c)。そして、取得した調光画像データ1と調光画像データ2とを補正し、補正後調光画像データ1及び補正後調光画像データ2に基づいてステップS507で調光演算を行って本発光量を算出する。
Then, the light
その後、ステップS508の静止画用基準画像データ取得を行う(図17時刻T3d)。続いて、ステップS509で静止画用補正値生成を行う。ステップS510で発光部121を本発光させて静止画像データを取得し、(図17時刻T3f)静止画像データの補正を行う。
Thereafter, reference image data for still images is acquired in step S508 (time T3d in FIG. 17). In step S509, a still image correction value is generated. In step S510, the
なお、本実施形態では、ライブビュー撮影を例にして説明を行ったが、ライブビュー撮影ではなく動画撮影を行う場合であっても構わない。 In the present embodiment, live view shooting has been described as an example, but moving image shooting may be performed instead of live view shooting.
また、ライブビュー用補正値から調光用補正値を生成したが、ライブビュー用基準画像データから調光用基準画像データを生成し、生成された調光用画像データから調光用補正値を生成しても構わない。この場合、調光用画像データを格納するためのメモリが余計に必要となる。 In addition, although the dimming correction value is generated from the live view correction value, the dimming reference image data is generated from the live view reference image data, and the dimming correction value is generated from the generated dimming image data. It may be generated. In this case, an extra memory for storing the dimming image data is required.
以上のように、本実施形態では、調光用基準画像データを取得せずに、ライブビュー用補正値を演算処理することによって調光用補正値を生成し、調光画像データを補正する。このため、シャッタースイッチが押下されてから静止画像データ取得の時間差の増加を抑制することができる。 As described above, in the present embodiment, the light adjustment value is generated by calculating the live view correction value without acquiring the light adjustment reference image data, and the light adjustment image data is corrected. For this reason, it is possible to suppress an increase in the time difference of the still image data acquisition after the shutter switch is pressed.
(第4の実施形態)
上記の3つの実施形態では、静止画用基準画像データと調光用基準画像データとをそれぞれ取得しているが、本実施形態では、いずれか一方の基準画像データのみを取得して、取得した基準画像データに基づいて他方の基準画像データを生成する構成を説明する。本実施形態では、取得した基準画像データを調光画像データに対する補正に用いるために、調光画像データを取得する前に基準画像データを取得しておく。このような構成によれば、基準画像データの取得回数を少なくすることができ、レリーズタイムラグをより短縮することができる。
(Fourth embodiment)
In the above three embodiments, still image reference image data and dimming reference image data are acquired, but in this embodiment, only one of the reference image data is acquired and acquired. A configuration for generating the other reference image data based on the reference image data will be described. In this embodiment, in order to use the acquired reference image data for correction of the light control image data, the reference image data is acquired before the light control image data is acquired. According to such a configuration, the number of acquisitions of the reference image data can be reduced, and the release time lag can be further shortened.
以下では、調光用基準画像データを取得することなく、撮影者にシャッタースイッチ115が押下されてから静止画撮影までの時間を短縮する構成について説明する。
In the following, a description will be given of a configuration that shortens the time from when the
図19は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図20に示す撮像動作のシーケンス図と併せて参照されたい。
FIG. 19 is a flowchart illustrating an imaging operation of the
図19において、図6と処理内容が同じステップについては図6と図19とで同じステップ番号を付している。 19, steps having the same processing contents as those in FIG. 6 are denoted by the same step numbers in FIG. 6 and FIG.
まず、ステップS501のライブビュー撮影開始からステップS502でシャッタースイッチ(SW)115が撮影者によって押下されてONされるまでは図6のフローチャートと全く同じである。 First, from the start of live view shooting in step S501 until the shutter switch (SW) 115 is pressed and turned on by the photographer in step S502, it is exactly the same as the flowchart in FIG.
本実施形態では、ステップS502でシャッタースイッチが押下された後(図20時刻T4a)、ステップS508においてCPU114は静止画用基準画像データ取得を行う(図20時刻T4b)。ステップS509で静止画像用補正値を生成する。この際、ステップS509で生成した静止画像用補正値を保持しておく必要があるため、補正値格納用のメモリは第1の実施形態よりも多く必要になる。
In this embodiment, after the shutter switch is pressed in step S502 (FIG. 20, time T4a), in step S508, the
ステップS1001において、CPU114はダークシェーディング補正値生成部901によってステップS505、S506で取得される調光画像データ1、2を補正するための補正値を、ステップS509で得た静止画像用補正値に基づいて生成する。このとき、静止画用基準画像データの読出し方法と調光用画像データの読出し方法は異なるため、CPU114はステップS509で生成した静止画用補正値、水平方向に所定の画素数加算することによって、調光用補正値を生成する。生成された調光用補正値はダークシェーディング補正部902に設定され、ステップS505、S506で取得される調光画像データ1、2から減算することでそれぞれの画像データのダークシェーディングが補正される。
In step S1001, the
ステップS1001で調光用補正値生成を行ったのち、ステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図20時刻T4c、T4d)。そして、取得した調光画像データ1と調光画像データ2とを補正し、補正後調光画像データ1及び補正後調光画像データ2に基づいてステップS507で調光演算を行って本発光量を算出する。
After generating the light adjustment correction value in step S1001, the light
その後、ステップS510で発光部121を本発光させて静止画像データを取得し(図20時刻T4f)、静止画像データの補正を行う。
Thereafter, in step S510, the
なお、本実施形態において、静止画用補正値を所定の画素数水平方向に加算することによって調光用補正値を生成したが、調光用補正値の生成方法はこの限りではない。調光用画像データ1、2を水平方向に間引いて読み出す場合には、ステップS1001において静止画用補正値を水平方向に間引くことによって、調光画像データ1、2の補正値を生成しても構わない。あるいは、静止画用補正値をデジタル演算処理することによって調光用補正値を生成しても構わない。
In this embodiment, the dimming correction value is generated by adding the still image correction value in the horizontal direction by a predetermined number of pixels. However, the method of generating the dimming correction value is not limited to this. When the dimming
また、本実施形態において、静止画用補正値から調光用補正値を生成したが、調光用補正値を生成してから静止画用補正値を生成してもよい。その場合、ステップS1001とステップS509の順序が逆になり、先にステップS1001において調光用補正値を生成し、その後ステップS509において静止画用補正値を生成することになる。 In the present embodiment, the light adjustment correction value is generated from the still image correction value. However, the still image correction value may be generated after the light adjustment correction value is generated. In this case, the order of step S1001 and step S509 is reversed, and a light adjustment correction value is generated first in step S1001, and then a still image correction value is generated in step S509.
以上のように、本実施形態では、調光用基準画像データを取得することなく、静止画像データを補正するのに用いる静止画用基準画像データを演算処理することによって調光用基準画像データを生成する。このため、調光用基準画像データの取得によるレリーズタイムラグの増加を抑制することができる。 As described above, in this embodiment, the reference image data for dimming is obtained by calculating the reference image data for still image used for correcting the still image data without acquiring the reference image data for dimming. Generate. For this reason, an increase in the release time lag due to the acquisition of the dimming reference image data can be suppressed.
(第5の実施形態)
第4の実施形態では、調光画像データを取得する前に基準画像データを取得しているが、第1の実施形態と比べて基準画像データの取得タイミングと静止画像撮影の間の時間差が大きくなり、静止画像データの補正精度が低下するという問題がある。
(Fifth embodiment)
In the fourth embodiment, the reference image data is acquired before acquiring the dimming image data. However, the time difference between the acquisition timing of the reference image data and the still image shooting is larger than that in the first embodiment. Thus, there is a problem that the correction accuracy of still image data is lowered.
そこで第5の実施形態では、撮影者によってシャッタースイッチ115が押下されてから静止画撮影までの時間を短縮しながら、静止画像データの補正精度を維持する構成について説明する。
Therefore, in the fifth embodiment, a configuration will be described in which the correction accuracy of still image data is maintained while shortening the time from when the
図21は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図22に示す撮像動作のシーケンス図と併せて参照されたい。
FIG. 21 is a flowchart illustrating the imaging operation of the
図21は図19のフローチャートと処理順序が異なるだけであり、処理内容が同じステップについては、図19と図21とで同じステップ番号を付している。 FIG. 21 differs from the flowchart of FIG. 19 only in the processing order, and steps having the same processing contents are denoted by the same step numbers in FIG. 19 and FIG.
まず、ステップS501のライブビュー撮影開始からステップS502でシャッタースイッチ(SW)115が撮影者によって押下されてONされるまでは図19のフローチャートと全く同じである。 First, from the start of live view shooting in step S501 until the shutter switch (SW) 115 is pressed and turned on by the photographer in step S502, it is exactly the same as the flowchart of FIG.
本実施形態では、ステップS502でシャッタースイッチが押下された後(図22時刻T5a)、ステップS505、S506により調光画像データ1及び調光画像データ2を取得する(図22時刻T5b、T5c)。続いて、ステップS508の静止画用基準画像データ取得を行う(図22時刻T5d)。
In the present embodiment, after the shutter switch is pressed in step S502 (FIG. 22, time T5a), dimming
次にステップS1001で調光用補正値生成を行ったのち、ステップS505、S506により取得した調光画像データ1及び調光画像データ2を補正する。その後、ステップS509で静止画用補正値を生成する。
Next, after the light adjustment correction value is generated in step S1001, the light
次にステップS507において、補正後調光画像データ1及び補正後調光画像データ2に基づいて調光演算を行って本発光量を算出する。
In step S507, the light emission calculation is performed based on the corrected light
その後、ステップS510で発光部121を本発光させて静止画像データを取得し(図22時刻T5f)、静止画像データの補正を行う。
Thereafter, in step S510, the
以上のように、本実施形態では、静止画用基準画像データを静止画像取得の前に取得するので、基準画像データの取得タイミングと静止画像撮影の間の時間差がなくなり、静止画像データの補正精度を維持できる。かつ、調光用基準画像データの取得によるレリーズタイムラグの増加を抑制することができる。 As described above, in the present embodiment, since the still image reference image data is acquired before the still image acquisition, there is no time difference between the acquisition timing of the reference image data and the still image shooting, and the correction accuracy of the still image data is eliminated. Can be maintained. In addition, an increase in the release time lag due to the acquisition of the dimming reference image data can be suppressed.
(第6の実施形態)
第4の実施形態および第5の実施形態では、レリーズタイムラグを短縮するために、静止画像用基準画像データを演算処理することによって調光用基準画像データを生成している。ここで、静止画像用基準画像データの取得タイミングを前倒しすることによって、さらにレリーズタイムラグを短縮することができる。
(Sixth embodiment)
In the fourth and fifth embodiments, in order to shorten the release time lag, the reference image data for dimming is generated by calculating the reference image data for still image. Here, the release time lag can be further shortened by moving the acquisition timing of the still image reference image data forward.
第6の実施形態では、撮影者によってシャッタースイッチ115が押下されてから静止画撮影までの時間をさらに短縮する構成について説明する。
In the sixth embodiment, a configuration will be described in which the time from when the
図23は、本実施形態における撮像装置100の撮像動作を示すフローチャートである。図24に示す撮像動作のシーケンス図と併せて参照されたい。
FIG. 23 is a flowchart illustrating the imaging operation of the
図23において、図19のフローチャートと処理内容が同じステップについては、図19と図23とで同じステップ番号を付している。また、本実施形態ではシャッタースイッチ115を、シャッタースイッチ1(SW1)とシャッタースイッチ2(SW2)とで、押下状態および機能を分けて説明する。シャッタースイッチ115を押下して、CPU114が測光処理、測距処理等の撮影準備動作を開始する部分をシャッタースイッチSW1とする。すなわち、シャッタースイッチ115は、撮影準備動作の開始指示及び撮影動作の開始指示をそれぞれ異なる操作がなされることで行う。シャッタースイッチ115を押下して、CPU114がメカニカルシャッター105を駆動し、撮像素子107から読み出した信号をAFE108、DSP109を介して記録媒体110に書き込む一連の撮像動作を開始する部分をシャッタースイッチSW2とする。
In FIG. 23, steps having the same processing contents as those in the flowchart of FIG. 19 are given the same step numbers in FIG. 19 and FIG. In the present embodiment, the
本実施形態では、ステップS501のライブビュー撮影開始からステップS1101でシャッタースイッチ1(SW1)が撮影者によって押下されてONされるまでCPU114はライブビュー撮影を継続させる。シャッタースイッチ1が撮影者によって押下された後、CPU114はステップS508において静止画用基準画像データ取得を行う。
In the present embodiment, the
次に、ステップS1102においてCPU114はシャッタースイッチ1がOFFされると再びライブビュー撮影を開始する。シャッタースイッチ1がOFFされずに、ステップS1103においてシャッタースイッチ2(SW2)が押下されると(図24時刻T6a)、ステップS509において静止画用補正値を生成する。その後、ステップS1001において調光用補正値生成を行う。
Next, in step S1102, when the
その後、ステップS505、S506により調光画像データ1及び調光画像データ2を取得し(図24時刻T6b、T6c)、ステップS1001において生成した調光用補正値を用いて調光画像データ1及び調光画像データ2を補正する。
Thereafter, the dimming
ステップS507において、補正後調光画像データ1及び補正後調光画像データ2に基づいて調光演算を行って本発光量を算出した後、ステップS510で発光部121を本発光させて静止画像データを取得し(図24時刻T6e)、静止画像データの補正を行う。
In step S507, after the light emission calculation is performed based on the corrected light
以上のように、本実施形態では、静止画用基準画像データをSW1押下の後に取得するので、SW2押下のタイミングと静止画像撮影の間の時間差が短くなり、レリーズタイムラグを短縮することができる。 As described above, in the present embodiment, since the still image reference image data is acquired after the SW1 is pressed, the time difference between the SW2 pressing timing and the still image shooting is shortened, and the release time lag can be shortened.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
上記の6つの実施形態では、固定パターンノイズとして1次元のダークシェーディングを補正する前提で説明したが、これに限られるものではなく2次元のダークシェーディングの補正を行うようにしてもよく、またゲイン補正を行うように構成しても構わない。 The above six embodiments have been described on the assumption that one-dimensional dark shading is corrected as fixed pattern noise. However, the present invention is not limited to this, and two-dimensional dark shading correction may be performed. You may comprise so that correction | amendment may be performed.
また、基準画像データとしてフォトダイオードのない基準画素の出力を取得する構成で説明したが、これに限られるものではない。例えば、オプティカルブラック画素の信号を基準画像データとする構成や、開口画素の転送ゲート302を開けずに読出し、回路ノイズだけを読出した信号を基準画像データとする構成も考えられる。垂直出力線202や列読出し回路203のいずれかの箇所に基準電圧を入力して読み出した信号を基準画像データとする構成も考えられる。
Further, although the configuration has been described in which the output of a reference pixel without a photodiode is acquired as reference image data, the present invention is not limited to this. For example, a configuration in which the signal of the optical black pixel is used as the reference image data, or a configuration in which only the circuit noise is read out without opening the
さらに、演算増幅器403のゲインは調光画像データ取得時も静止画像データ取得時も同じである前提で説明したが、これに限られるものではない。フィードバック容量C2(402)の容量値を複数種類から選択できるように構成し、調光画像データと静止画像データとで異なるように構成しても構わない。さらに、例えば、調光画像データ1フレームの中で行毎にフィードバック容量C2(402)の容量値を切り換え、複数種類のゲインの信号を同一フレームで取得するように構成しても構わない。この場合、ダークシェーディング補正値生成部901ではそれぞれのゲイン毎に補正値を生成し、ダークシェーディング補正部902もゲインに応じた補正値を用いてダークシェーディングの補正を行うように構成するのがより好ましい。
Furthermore, although it has been described on the assumption that the gain of the
また、調光画像データやライブビュー画像データは、水平方向においては加算平均、垂直方向においては間引いて読み出すことによって読出す画素数を制限するように記載したが、勿論、読出し画素数を制限する手段は間引き/加算のいずれの組合せでも構わない。例えば、調光画像データを図25のように水平方向には3画素ずつ間引き、垂直方向には9画素ずつ間引いてで読出しても構わない。また、画素領域PA上のまとまった一部領域を部分的に切出して読み出す方法でも構わない。なお、調光画像データやライブビュー画像データを短時間で取得する必要が無い場合には、読み出し画素数を制限せずに全画素を読み出しても構わない。 In addition, the dimming image data and the live view image data are described so as to limit the number of pixels to be read by adding and averaging in the horizontal direction and by thinning out in the vertical direction. The means may be any combination of decimation / addition. For example, the dimming image data may be read out by thinning out three pixels in the horizontal direction and thinning out nine pixels in the vertical direction as shown in FIG. Further, a method of partially cutting out and reading out a partial area on the pixel area PA may be used. If it is not necessary to acquire the light control image data or the live view image data in a short time, all the pixels may be read out without limiting the number of read pixels.
また、上記の6つの実施形態では、調光画像データ1と調光画像データ2とを取得しているが、外光の影響が小さい場合などには、調光画像データ1を取得せずにプリ発光を行った調光画像データ2のみに基づいて本発光量を決定してもよい。
In the above six embodiments, the dimming
また、上記の6つの実施形態では、内蔵された発光部でプリ発光を行う撮像装置の例を説明したが、撮像装置に着脱可能な発光装置を装着し、装着された発光装置でプリ発光を行う撮像装置に適用してもよい。 In the above six embodiments, an example of an imaging device that performs pre-light emission with a built-in light emitting unit has been described. However, a removable light-emitting device is attached to the imaging device, and pre-light emission is performed with the attached light-emitting device. You may apply to the imaging device to perform.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
100 撮像装置
107 撮像素子
109 DSP
114 CPU
121 発光部
901 ダークシェーディング補正値生成部
902 ダークシェーディング補正部
DESCRIPTION OF
114 CPU
121
Claims (12)
撮像素子と、
前記撮像素子から読み出される第1の基準画像データに基づいて第1の補正値を生成する生成手段と、
前記生成手段により生成される前記第1の補正値を用いて、前記発光手段をプリ発光させたときに前記撮像素子により蓄積される電荷に基づく第1の画像データ及び前記発光手段をプリ発光及び本発光させていないときに前記撮像素子により蓄積される電荷に基づく第2の画像データを補正する補正手段と、
前記補正手段により補正された前記第1の画像データ及び前記第2の画像データに基づいて、前記発光手段の本発光量を決定する決定手段と、を有することを特徴とする撮像装置。 An imaging device that pre-emits light before the main light emitting means emits light,
An image sensor;
Generating means for generating a first correction value based on first reference image data read from the image sensor;
Using the first correction value generated by the generating unit, the first image data based on the electric charge accumulated by the imaging device when the light emitting unit is pre-flashed, and the light emitting unit is pre-flashed. Correction means for correcting the second image data based on the charge accumulated by the imaging device when the main light is not emitted ;
An imaging apparatus comprising: a determining unit that determines a main light emission amount of the light emitting unit based on the first image data and the second image data corrected by the correcting unit.
前記補正手段は、前記第2の補正値を用いて、前記発光手段を本発光させたときに前記撮像素子により蓄積される電荷に基づく第3の画像データを補正することを特徴とする請求項1に記載の撮像装置。 The generating unit generates a second correction value based on second reference image data read from the imaging element before the light emitting unit performs main light emission,
The correction means corrects third image data based on charges accumulated by the imaging device when the light emission means is caused to emit main light by using the second correction value. The imaging apparatus according to 1.
前記補正手段は、前記第3の補正値を用いて、前記撮像素子により蓄積される電荷に基づく動画像データを補正することを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。 The generating means generates a third correction value based on the first reference image data,
5. The imaging according to claim 1, wherein the correction unit corrects moving image data based on electric charges accumulated by the imaging device using the third correction value. 6. apparatus.
前記撮像素子から読み出される第1の基準画像データに基づいて第1の補正値を生成する生成ステップと、
前記生成ステップで生成される前記第1の補正値を用いて、前記発光手段をプリ発光させたときに前記撮像素子により蓄積される電荷に基づく第1の画像データ及び前記発光手段をプリ発光及び本発光させていないときに前記撮像素子により蓄積される電荷に基づく第2の画像データを補正する補正ステップと、
前記補正ステップで補正された前記第1の画像データ及び前記第2の画像データに基づいて、前記発光手段の本発光量を決定する決定ステップと、を有することを特徴とする制御方法。 A method of controlling an imaging apparatus having an imaging device and pre-light-emitting before the main light emission of the light emitting means,
Generating a first correction value based on first reference image data read from the image sensor;
Using the first correction value generated in the generating step, the first image data based on the charge accumulated by the imaging device when the light emitting unit is pre-flashed, and the light emitting unit is pre-flashed. A correction step for correcting the second image data based on the electric charge accumulated by the image sensor when the main light is not emitted ;
And a determination step of determining a main light emission amount of the light emitting means based on the first image data and the second image data corrected in the correction step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013032105A JP6226531B2 (en) | 2012-09-24 | 2013-02-21 | Imaging apparatus and control method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012209526 | 2012-09-24 | ||
JP2012209526 | 2012-09-24 | ||
JP2013032105A JP6226531B2 (en) | 2012-09-24 | 2013-02-21 | Imaging apparatus and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014078925A JP2014078925A (en) | 2014-05-01 |
JP6226531B2 true JP6226531B2 (en) | 2017-11-08 |
Family
ID=50783878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013032105A Expired - Fee Related JP6226531B2 (en) | 2012-09-24 | 2013-02-21 | Imaging apparatus and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6226531B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0622228A (en) * | 1992-06-30 | 1994-01-28 | Canon Inc | Image pickup device |
JPH10301173A (en) * | 1997-04-28 | 1998-11-13 | Canon Inc | Image pickup device |
JP3680827B2 (en) * | 2002-08-27 | 2005-08-10 | コニカミノルタフォトイメージング株式会社 | Digital camera |
JP2006109273A (en) * | 2004-10-07 | 2006-04-20 | Canon Inc | Imaging apparatus, control method thereof, and computer program |
JP4761066B2 (en) * | 2006-09-22 | 2011-08-31 | 富士フイルム株式会社 | White balance correction method and imaging apparatus |
JP2008219334A (en) * | 2007-03-02 | 2008-09-18 | Nikon Corp | Electronic camera |
JP2009296134A (en) * | 2008-06-03 | 2009-12-17 | Olympus Imaging Corp | Imaging device |
-
2013
- 2013-02-21 JP JP2013032105A patent/JP6226531B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014078925A (en) | 2014-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6253272B2 (en) | Imaging apparatus, imaging system, signal processing method, program, and storage medium | |
JP5746521B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2014057141A (en) | Image processing device, method and program, and imaging apparatus including image processing device | |
JP5013811B2 (en) | Imaging apparatus and correction method | |
JP2010062638A (en) | Image capturing apparatus | |
JP5484617B2 (en) | Imaging device | |
US20170257591A1 (en) | Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method | |
JP2007214892A (en) | Imaging apparatus | |
JP7309420B2 (en) | Imaging device | |
JP2010068049A (en) | Image device | |
JP7282489B2 (en) | Imaging device and its control method | |
JP2011151549A (en) | Signal processing apparatus, imaging device, and signal processing method | |
JP6393091B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP6226531B2 (en) | Imaging apparatus and control method | |
JP7234015B2 (en) | Imaging device and its control method | |
JP2011182321A (en) | Solid-state imaging apparatus, driving method and imaging apparatus | |
JP2009027241A (en) | Imaging apparatus | |
JP2008177963A (en) | Imaging apparatus and control method thereof | |
JP2016029756A (en) | Imaging device | |
JP6157291B2 (en) | IMAGING DEVICE AND ITS CONTROL METHOD, IMAGING SYSTEM, PROGRAM, AND STORAGE MEDIUM | |
JP6704725B2 (en) | Imaging device, control method, and program thereof | |
JP2020057882A (en) | Imaging apparatus | |
JP6883082B2 (en) | Imaging device and its control method | |
JP2019041168A (en) | Imaging apparatus and control method of the same | |
JP2010166479A (en) | Imaging device and method of correcting imaged image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171010 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6226531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |