JP5875499B2 - 撮像装置、撮像システム、および、撮像装置の制御方法 - Google Patents

Description

本発明は、動画撮影機能を備えた撮像装置に関する。

撮像装置はＣＭＯＳセンサなどの固体撮像素子を備え、固体撮像素子は、光信号を電気信号に変換する光電変換を行う。この光電変換において、画像信号の画質劣化の原因となるノイズが発生することが知られている。代表的なノイズとして、画素ごとの製造ばらつきに起因して発生する画素欠陥や読み出し回路を構成するアンプなどの部品の製造ばらつきに起因する固定パターンノイズがある。

固定パターンノイズは、信号値の読み出し（Ｓ読み）とノイズ成分の読み出し（Ｎ読み）を行ってそれらの差分を取る（ＣＤＳ動作を用いる）ことにより、撮像素子の内部において除去することができる。このようなＣＤＳ動作により、画素や読み出し回路ごとに異なるノイズを、撮像動作ごとに適切に除去し、良好な画質の画像信号を得ることが可能である。

しかしながら、電源変動などにより、Ｓ読みとＮ読みのそれぞれにおいて得られる信号値のオフセットが異なる場合、差分検出でノイズを取り除くことができない。これにより残存するノイズが画素領域内で異なることで、黒レベルの面内ばらつきとして現れる。以下、この現象を「ダークシェーディング」という。ダークシェーディングは、撮像素子を遮光しても生じる。

特許文献１には、本撮影後に、固体撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行ってから読み出したダーク画像データを用いて演算処理を行うことにより、ノイズを除去する方法が開示されている。また特許文献２には、電源投入直後に固体撮像素子を露光しない状態で電荷蓄積を行った後に読み出したダーク画像データを保存し、ダーク画像データと本撮影時の撮影条件とを用いて演算処理を行うことにより、ノイズを除去する方法が開示されている。

特開２００１−２２３９５０号公報 特開２００１−０２８７１３号公報

しかしながら、特許文献１の方法では、本撮影画像とダーク画像を毎回同じ撮影条件で撮影するため、通常の撮影の２倍の時間が必要となる。このため、動画撮影で同じ処理を行う場合にはフレームレートが低下する。特に、複数の動画像を用いてダイナミックレンジ拡大を行う撮影手法（以下、「動画ＨＤＲ」という。）においては、フレームレートの低下が顕著となる。

また特許文献２の方法では、電源投入時に発生していないノイズが温度変化で発生し、また、撮影条件によりダークシェーディングの形状が異なるなど、電源投入時のダーク画像データを用いて常に適切なダークシェーディング補正処理を行うことは困難である。

そこで本発明は、画像出力フレームレートを低下させることなく、撮影画像に対して適切なダークシェーディング補正が可能な撮像装置、撮像システム、および、撮像装置の制御方法を提供する。

本発明の一側面としての撮像装置は、一つの画像出力期間に第１の画像および第２の画像を取得可能な撮像素子と、撮影条件に応じてダークシェーディング補正用画像を取得するか否かを判定する画像判定手段と、前記画像判定手段が前記ダークシェーディング補正用画像を取得すると判定した場合、前記第２の画像の代わりに該ダークシェーディング補正用画像を取得する画像取得手段と、前記ダークシェーディング補正用画像を用いて前記第１の画像および前記第２の画像を補正する画像補正手段とを有する。

本発明の他の側面としての撮像システムは、レンズユニットと、前記レンズユニットを介して被写体像を取得する前記撮像装置とを有する。

本発明の他の側面としての撮像装置の制御方法は、一つの画像出力期間に第１の画像および第２の画像を取得可能な撮像装置の制御方法であって、撮影条件に応じてダークシェーディング補正用画像を取得するか否かを判定するステップと、前記ダークシェーディング補正用画像を取得すると判定した場合、前記第２の画像の代わりに該ダークシェーディング補正用画像を取得するステップと、前記ダークシェーディング補正用画像を用いて前記第１の画像および前記第２の画像を補正するステップとを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画像出力フレームレートを低下させることなく、撮影画像に対して適切なダークシェーディング補正が可能な撮像装置、撮像システム、および、撮像装置の制御方法を提供することができる。

本実施例における撮像装置の概略構成を示すブロック図である。 本実施例における撮像素子の回路構成を示す図である。 本実施例における読み出し回路の回路構成を示す図である。 本実施例の撮像装置において、１水平ラインの画素信号読み出し時の駆動タイミングチャートである。 本実施例の撮像装置において、画素領域内の３点の位置におけるウエル電位と時間との関係図である。 本実施例の撮像装置において、補正用画像取得時の駆動タイミングチャートである。 本実施例の撮像装置において、補正用画像取得の判定基準と判定結果の一例を示す表である。 実施例１における画像の撮影シーケンスを示すフローチャートである。 実施例１における複数画像取得方法を示す撮像素子駆動タイミングチャートである。 実施例２における画像の撮影シーケンスを示すフローチャートである。 実施例２における複数画像取得方法を示す撮像素子駆動タイミングチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本実施例における撮像装置の構成について説明する。図１は、撮像装置１００の概略構成を示すブロック図である。図１において、１０１は撮影レンズ（レンズユニット）である。撮像装置１００は、撮影レンズ１０１を介して被写体像を取得する。なお、本実施例の撮像装置１００は、撮影レンズ１０１を一体的に設けて構成されているが、これに限定されるものではない。本実施例は、撮像装置（撮像装置本体）と、これに着脱可能なレンズ装置（撮影レンズ１０１）とを組み合わせた撮像システムにも適用可能である。

図１において、撮影レンズ１０１（レンズユニット）は、１つのレンズとして表されているが、実際にはフォーカスレンズやズームレンズなどの複数のレンズを備えて構成されている。また、撮影レンズ１０１には絞り機構（絞り）も含まれる。１０２はレンズ駆動部である。レンズ駆動部１０２は、全体制御回路１１２からの指令に基づいて、撮影レンズ１０１のフォーカスやズーム、または、絞りを制御する。メカニカルシャッタ１０３は、撮影レンズ１０１を介して得られた被写体光を撮像素子１０５に露光または遮光するように動作する。シャッタ駆動部１０４は、撮影時にメカニカルシャッタ１０３を駆動して、被写体光を一定期間だけ撮像素子１０５に露光させる。

撮像素子１０５は、光信号を電気信号に変換する（光電変換を行う）固体撮像素子である。本実施例において、撮像素子１０５はベイヤー配列を有するＣＭＯＳセンサであるものとして説明するが、これに限定されるものではない。撮像素子１０５は、例えばＣＣＤセンサなど他の構成を用いてもよい。また撮像素子１０５は、後述のように、一つの画像出力フレームレート（一つの画像出力期間）において、第１の撮影画像および第２の撮影画像（複数の撮影画像）を取得可能である。第１の撮影画像および第２の撮影画像は、それぞれ、例えば高露出画像および低露出画像であるが、互いに逆の画像であってもよい。また、第１の撮影画像および第２の撮影画像は、一つの画像出力フレームレートで取得される複数の撮影画像であれば、これらの画像に限定されるものではない。

温度検知部１０６（温度検知手段）は、例えばサーミスタなどで構成され、撮像素子１０５の周囲の温度を検知する。タイミング発生部１０７は、全体制御回路１１２の指令に基づいて撮像素子１０５を駆動する。タイミング発生部１０７は、全体制御回路１１２の指令に基づいて、撮像素子１０５の撮影時露光時間などを変更することができる。

撮像素子１０５から出力された信号（画像信号）は、画像処理回路１０８に入力される。画像処理回路１０８には、ダイナミックレンジ拡大回路１０９が設けられている。ダイナミックレンジ拡大回路１０９は、予めメモリ１１１に保存された高露出画像（第１の撮影画像）および低露出画像（第２の撮影画像）を用いてダイナミックレンジ拡大画像を生成する機能を有する。また画像処理回路１０８には、露出条件算出回路１１０が設けられている。露出条件算出回路１１０は、画像処理回路１０８に入力された信号（画像信号）から適正露出を算出し、その結果を全体制御回路１１２に伝達する。露出条件算出回路１１０にて算出された露出条件は、全体制御回路１１２に伝達された後、メモリ１１１に記憶される。ここで、既にメモリ１１１に露出条件が記憶されている場合には、露出条件を更新して記憶する。

画像処理回路１０８は、画像信号のゲインを変更する。また画像処理回路１０８は、画像信号（アナログ信号）をデジタル信号に変換する（Ａ／Ｄ変換を行う）とともに、ガンマ処理やホワイトバランス処理などの各種信号処理を行う。画像処理回路１０８は、信号処理の際に、画像信号をメモリ１１１との間で書き込み／読み出し処理を行う。また、画像処理回路１０８の出力は、ＬＣＤ１１３（表示部）にて表示することも可能である。

画像処理回路１０８で所定の画像処理が施されて得られた画像データは、画像変換回路１１４を介して圧縮され、メモリカード１１５に書き込まれて記憶される。画像変換回路１１４は、画像処理回路１０８からの画像データを圧縮してメモリカード１１５へ出力する機能、および、メモリカード１１５から読み出された画像データを伸長して画像処理回路１０８へ出力する機能を有する。

全体制御回路１１２は、画像処理回路１０８で処理された信号（画像データ）を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理などの各種処理を行う。また全体制御回路１１２は、撮影時の露出条件について、露出条件算出回路１１０の算出結果やダイナミックレンジ拡大に必要な条件などに基づいて、任意の条件をレンズ駆動部１０２やタイミング発生部１０７に指令することができる。

全体制御回路１１２には、補正用画像取得判定回路１１６が設けられている。補正用画像取得判定回路１１６は、温度検知部１０６で検知された温度、露出条件算出回路１１０で算出された露出条件、および、メモリ１１１に記憶されている露出条件を用いて、補正用画像を取得するか否かの判定（補正用画像取得判定）を行う。補正用画像取得判定回路１１６の動作の詳細については後述する。

操作部１１７は、レリーズ釦やモード切り換えダイヤルなど、撮影者が撮像装置に指示を入力するための操作部である。操作部１１７に入力された内容は、全体制御回路１１２に通知される。外部Ｉ／Ｆ部１１８（外部インターフェース部）は、外部ＰＣなどの外部装置と通信を行うためのインターフェースである。

次に、図２を参照して、本実施例における撮像素子１０５の構成について説明する。図２は、撮像素子１０５の回路構成を示す図である。図２において、２０１は単位画素、２０２はフォトダイオード（ＰＤ）、２０３は転送スイッチ、２０４はフローティングデフュージョン（ＦＤ）、２０５はソースフォロアとして機能する増幅ＭＯＳアンプである。また、２０６は選択スイッチ、２０７はリセットスイッチ、２０８は信号線、２０９は増幅ＭＯＳアンプ２０５の負荷となる定電流源、２１０は通信線、２１１は出力アンプ、２１２は垂直走査回路、２１３は読み出し回路、２１４は水平走査回路である。

単位画素２０１は、ＰＤ２０２、転送スイッチ２０３、ＦＤ２０４、増幅ＭＯＳアンプ２０５（増幅用トランジスタ）、選択スイッチ２０６、および、リセットスイッチ２０７により構成される。また、ＦＤ２０４、増幅ＭＯＳアンプ２０５、および、定電流源２０９により、フローティングディフュージョンアンプが構成される。なお、図２では簡略化のために、４行×４列の単位画素２０１のみが示されているが、実際には多数の単位画素２０１が２次元状に配列されている。

続いて図３を参照して、撮像素子１０５の読み出し回路２１３の構成について説明する。図３は、読出し回路２１３の回路構成を示す図である。読み出し回路２１３は、そこで発生するノイズを含むノイズ信号（以下、「Ｎ信号」という。）読み出し系、および、光信号とＮ信号とが加算された信号（以下、「Ｓ信号」という）の読み出し系の２系統に分かれている。Ｎ信号読み出し系は、Ｎ信号転送スイッチ３０１、Ｎ信号蓄積容量３０３、および、列選択信号転送スイッチ３０５により構成されている。また、Ｓ信号読み出し系は、Ｓ信号転送スイッチ３０２、Ｓ信号蓄積容量３０４、および、列選択信号転送スイッチ３０６により構成されている。更に、Ｎ信号読み出し系およびＳ信号読み出し系は、それぞれ、差動増幅器３０７に接続されている。

次に、図４を参照して、図２および図３に示される撮像素子１０５において、ある１水平ラインの画素信号の読み出し動作について説明する。図４は、撮像素子１０５において、１水平ラインの画素信号読み出し時の駆動タイミングチャートである。

まず、垂直走査回路２１２は、選択された１水平ライン上の画素（単位画素２０１）のリセットスイッチ２０７をオンするため、ラインφＲＥＳにハイレベルのリセット制御パルスを与える。続いて、垂直走査回路２１２は、リセットスイッチ２０７をオフし、選択スイッチ２０６をオンするため、ラインφＳＥＬにハイレベルの選択制御パルスを与える。選択スイッチ２０６がオンされることにより、垂直出力線２０８に出力されたＮ信号は、図３の端子ＩＮへ入力される。Ｎ信号をＮ信号蓄積容量３０３に蓄積するため、端子φＴＮに、Ｎ信号転送スイッチ３０１をオンするためのハイレベルのＮ信号転送パルスが与えられる。

次に、垂直走査回路２１２は、選択された行の画素の転送スイッチ２０３をオンするため、ラインφＴＸにハイレベルの転送制御パルスを与える。これにより、フォトダイオード２０２に蓄積された光信号が増幅ＭＯＳアンプ２０５のゲートに入力されると、増幅ＭＯＳアンプ２０５のソースから、光信号に応じた出力信号が得られる。このとき、ラインφＴＸをローレベルにして転送スイッチ２０３をオフにした場合でも、増幅ＭＯＳアンプ２０５のゲート電位は光信号に基づいた値に保持される。この状態で、垂直出力線２０８に出力されたＳ信号をＳ信号蓄積容量３０４に蓄積するため、端子φＴＳに、Ｓ信号転送スイッチ３０２をオンするためのハイレベルのＳ信号転送パルスが与えられる。そして、選択スイッチ２０６をオフして、選択された行の各画素からの信号の読み出しが終了する。

なお、Ｎ信号蓄積容量３０３に保持されるＮ信号には、リセット時のｋＴＣノイズ、各ＭＯＳトランジスタの閾値バラツキによる固定パターンノイズが含まれている。また、Ｓ信号蓄積容量３０４に保持されるＳ信号には、前述のノイズを含むリセット信号に光電荷による信号が加算されている。

このように、図４に示される各タイミングにより各スイッチが制御され、１水平ライン上の画素の信号は、それぞれの列における２つの蓄積容量（Ｎ信号蓄積容量３０３、Ｓ信号蓄積容量３０４）に保持される。そして、水平走査回路２１４により、列選択信号転送スイッチ３０５、３０６がオンされることにより、Ｎ信号およびＳ信号が差動増幅器３０７のそれぞれの入力線に読み出される。このとき、差動増幅器３０７は、それぞれの信号に含まれるノイズが除去されて光電荷による信号のみに応じた信号を端子ＯＵＴに出力する。端子ＯＵＴの信号は、出力アンプ２１１を経て、センサ出力として出力される。ノイズを含むＳ信号、Ｎ信号、および、差動増幅器３０７からノイズが除去された信号のみを出力する動作を、総称して「ＣＤＳ動作」という。

次に、図５および図６を参照して、本実施例における補正用画像の取得方法について説明する。まず、図５を参照して、ダークシェーディングの発生メカニズムについて説明する。図５（ａ）は、撮像素子１０５の画素領域内の３点（Ａ、Ｂ、Ｃ）の位置におけるウエル電位と時間との関係図である。図５（ｂ）は、３点（Ａ、Ｂ、Ｃ）の位置の平面図である。図５（ａ）において、縦軸はウエル電位、横軸は時間である。図５（ａ）は、選択スイッチをオンしたときにウエル電位が立ち上がり、ピークを示した後に収束する様子を示している。

図５（ａ）に示されるように、ウエル電位は時間に応じて変化する。Ｎ信号転送スイッチ３０１をオンすると、Ｎ信号蓄積容量３０３に、その時間におけるウエル電位に応じた信号が保持される。また、その後の時間において、Ｓ信号転送スイッチ３０２をオンすると、その時間におけるウエル電位に応じた信号がＳ信号蓄積容量３０４に保持される。このように、Ｎ信号転送スイッチ３０１をオンした場合と、Ｓ信号転送スイッチ３０２をオンした場合との間において、ウエル電位に差が生じる。このウエル電位の差により、ＣＤＳ動作後にオフセット成分が残留してしまう。

また図５に示されるように、撮像素子１０５の画素位置に応じてウエル電位の時間経過による変化量が異なるため、ＣＤＳ動作後に残留するオフセット成分は画素位置に応じてばらつきを有する。このような画素位置ごとのオフセット成分のばらつきは、ダークシェーディングとして画像に現れる。

本実施例における補正用画像取得の駆動タイミングは、例えば、ＣＤＳ動作の駆動タイミングと同様のタイミングである。すなわち、画素の転送スイッチ２０３をオフした状態（ラインφＴＸをローレベルにした状態）で、他のスイッチ（選択スイッチ、Ｎ信号転送スイッチ、Ｓ信号転送スイッチ）を動作させる。これにより、ＣＤＳ動作後に残存するダークシェーディング成分のみを出力したデータを取得することができる。

続いて図６を参照して、本実施例における補正用画像取得時の動作について説明する。図６は、補正用画像取得時の駆動タイミングチャートである。まず、垂直走査回路２１２は、選択された１水平ライン上の画素のリセットスイッチ２０７をオンするため、ラインφＲＥＳにハイレベルのリセット制御パルスを与える。続いてリセットスイッチ２０７をオフし、選択スイッチ２０６をオンするため、ラインφＳＥＬにハイレベルの選択制御パルスを与える。選択スイッチ２０６をオンすることで、垂直出力線２０８に出力されたＮ信号は、図３の端子ＩＮへ入力される。そして、Ｎ信号をＮ信号蓄積容量３０３に蓄積するため、端子φＴＮに、Ｎ信号転送スイッチ３０１をオンするためのハイレベルのＮ信号転送パルスが与えられる。

ここで、ラインφＴＸに、転送スイッチ２０３をオンするためのハイレベルの転送制御パルスを与えず、フォトダイオード２０２に蓄積された光信号を増幅ＭＯＳアンプ２０５のゲートに入力させない。この状態で、端子φＴＳに、Ｓ信号転送スイッチ３０２をオンするためのハイレベルのＳ信号転送パルスを与える。

Ｎ信号蓄積容量３０３に保持されるＮ信号には、リセット時のｋＴＣノイズ、各ＭＯＳトランジスタの閾値ばらつきに応じた固定パターンノイズが含まれている。また、Ｓ信号蓄積容量３０４に保持されるＳ信号において、光電荷による信号は含まれず、前述のノイズにウエル電位の変化によるシェーディング成分が加算されている。

そして、水平走査回路２１４により、列選択信号転送スイッチ３０５、３０６をオンすることで、Ｎ信号およびＳ信号を差動増幅器３０７のそれぞれの入力線に読み出す。差動増幅器３０７は、それぞれの信号に含まれる固定パターンノイズが除去されてウエル電位の変化によるダークシェーディング成分のみの信号を端子ＯＵＴに出力する。端子ＯＵＴの信号は、出力アンプ２１１を経てセンサ出力として出力され、画像処理回路１０８により所定の画像処理が施された後、メモリ１１１に記憶される。

本実施例では、Ｎ信号と画素信号を転送しないＳ信号とを読み出し、Ｎ信号とＳ信号の２つの信号の差分を取ることで補正用画像（ダークシェーディング補正用画像）を生成しているが、これに限定されるものではない。例えば、補正対象とするノイズによって、Ｎ信号のみを読み出して補正用画像としてもよいし、ＰＤ２０２を有しない画素を含む固体撮像素子の場合には、ＰＤ２０２を有しない画素からの信号を読み出すことで、画像処理回路１０８が補正用画像を取得してもよい。また、撮像装置１００は、撮像素子１０５から第１の撮影画像および第２の撮影画像を出力するか否かを切り替える切替手段を更に有していてもよい。この場合、画像処理回路１０８は、第１の撮影画像および第２の撮影画像を出力しないように切替手段をオフにした状態で補正用画像を取得することができる。また、メカニカルシャッタ１０３により撮像素子１０５への光を遮光した状態で、画像処理回路１０８が補正用画像を取得するように構成してもよい。

次に、図７を参照して、補正用画像取得判定回路１１６の動作（補正用画像取得判定）について説明する。図７は、本実施例における補正用画像取得の判定基準と判定結果の一例を示す表である。前述のように、ウエル電位の変化によって生じるダークシェーディングは、ゲインに応じて異なる形状となる。また、ダークシェーディングは、高温になるほどより顕著に画像に現れる。このため、高温時には補正用画像の取得が必要となるが、低温時には問題にならない場合も多い。すなわち、動画においてダークシェーディング成分検出時のフレームからゲインが大きく変化し、かつ、温度が高い場合には、ダークシェーディング成分の再検出が必要となる。そこで本実施例では、ゲイン変化量が大きくかつ温度が高い場合に、補正用画像を取得する。

まず、補正用画像取得判定回路１１６は、メモリ１１１に記憶されている露出条件、露出条件算出回路１１０で算出された露出条件、および、温度検知部１０６で検知された温度Ｔ（撮影時の温度）を取得する。そして補正用画像取得判定回路１１６は、メモリ１１１に記憶されている露出条件のうちのゲイン（Ｇ１）と、露出条件算出回路１１０で算出された露出条件のうちのゲイン（Ｇ２）との差分ΔＧ（ゲイン変化量）を以下の式（１）に表されるように算出する。

ΔＧ＝Ｇ２−Ｇ１ … （１）
続いて、補正用画像取得判定回路１１６は、式（１）で算出された差分ΔＧ、温度Ｔ、および、図７に示される判定基準に基づいて、補正用画像（ダークシェーディング補正用画像）を取得するか否かを判定する。すなわち、差分ΔＧが−２Ｂよりも小さくかつ温度Ｔが３０℃よりも高い場合、または、差分ΔＧが２ｄＢよりも大きくかつ温度Ｔが３０℃よりも大きい場合に、補正用画像を取得すると判定する。一方、それ以外の場合には、補正用画像を取得しないと判定する。全体制御回路１１２は、補正用画像取得判定回路１１６による判定の結果、補正用画像を取得しない場合には被写体画像取得駆動タイミングをタイミング発生部１０７に指示する。一方、この判定の結果、補正用画像を取得する場合には補正用画像取得駆動タイミングをタイミング発生部１０７に指示する。

このように本実施例では、撮影条件として、撮影時の温度Ｔ、および、２つの画像出力期間にて取得された第１の撮影画像または第２の撮影画像のゲイン変化量（差分ΔＧ）を用いる。そして、補正用画像取得判定回路１１６は、温度Ｔが所定の温度（例えば３０℃）よりも高く、かつ、ゲイン変化量（差分ΔＧ）の絶対値が所定の変化量（例えば２ｄＢ）よりも大きい場合、ダークシェーディング補正用画像を取得すると判定する。ただし本実施例はこれに限定されるものではなく、撮影時の温度Ｔのみを撮影条件として用いてもよい。この場合、補正用画像取得判定回路１１６は、温度Ｔが所定の温度よりも高い場合、ダークシェーディング補正用画像を取得すると判定する。また、他の撮影条件を用いて、または、他の撮影条件と温度Ｔやゲイン変化量を併用して判定を行うこともできる。

続いて、図８および図９を参照して、本発明の実施例１における被写体画像および補正用画像の撮影手順について説明する。図８は、本実施例における画像の撮影シーケンスを示すフローチャートである。図８の各ステップは、主に全体制御回路１１２の指令に基づいて行われる。また図９は、本実施例における複数の画像の取得方法を示す撮像素子１０５の駆動タイミングチャートである。なお本実施例において、複数の画像は２つの画像であるとして説明するが、これに限定されるものではなく、本実施例は３つの画像以上の場合にも適用可能である。

図９において、出力同期信号は、複数の画像の合成画像を出力するタイミングを表す同期信号である。出力同期信号の周期は、画像出力フレームレート（画像出力期間）に対応している。また、撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号である。撮影同期信号の周期は、画像撮影フレームレート（画像撮影期間）に対応している。本実施例において、撮影同期信号は出力同期信号の２倍の周期となっているが、これに限定されるものではない。

本実施例において、ダイナミックレンジ拡大画像を生成するために撮影する２枚の画像のうち、１枚目を１ｓｔフレーム、２枚目を２ｎｄフレームという。また、補正用画像を取得するフレームを補正用画像取得フレームという。図９において、撮影画像および合成画像は、撮影および生成（合成）タイミングの概念図として表され、高露出画像をＨｉｇｈ、低露出画像をＬｏｗ、補正用画像をＤａｒｋとして示している。また、ダークシェーディング成分除去後（ノイズ除去後）の高露出画像をＨｉｇｈ（Ｄｓｕｂ）、ダークシェーディング成分除去後（ノイズ除去後）の低露出画像をＬｏｗ（Ｄｓｕｂ）、合成後のダイナミックレンジ拡大画像（合成画像）をＨＤＲとして示している。

また、各撮影画像は、撮影開始からの１ｓｔフレームの数ｍ、２ｎｄフレームの数ｎを引数とした１ｓｔフレームをＦｒ１（ｍ）、２ｎｄフレームをＦｒ２（ｎ）として示している。また、補正用画像取得フレームをＫ、補正後の１ｓｔフレームをＦｒ１＿ｓｕｂ、補正後の２ｎｄフレームをＦｒ２＿ｓｕｂとして示している。

図９の時刻Ｔ１にて動画撮影が開始されると、まず図８のステップＳ８０１において、露出条件算出回路１１０は適正露出条件を算出する。続いてステップＳ８０２において、補正用画像取得判定回路１１６は、例えば図７に示される判定基準に基づいて、補正用画像の取得が必要か否かを判定する（補正用画像取得判定）。ステップＳ８０２において補正用画像の取得が不要であると判定されると、ステップＳ８０３に進む。

ステップＳ８０３において、ステップＳ８０１にて算出された適正露出条件に基づいて露光時間Ｔｖをプラス１段とする高露出条件を算出し、その露出条件をレンズ駆動部１０２に設定する。本実施例では、露光時間Ｔｖを変更して高露出条件と低露出条件を設定する。前述のように、ダークシェーディング成分はゲインが変化すると異なる形状となる。このため、ゲインを高露出条件と低露出条件とで互いに異なるように設定とすると、ダークシェーディングの形状が異なってしまう。そこで、露光時間Ｔｖのみを変更して露出条件を設定することで、高露出条件と低露出条件との間でゲインが変化せず、同じ補正用画像を高露出画像と低露出画像の両方に用いることができる。

続いてステップＳ８０４において、全体制御回路１１２は、被写体画像撮影駆動タイミングをタイミング発生部１０７に設定する。そしてステップＳ８０５において、前述の高露出条件により１ｓｔフレームＦｒ１（ｍ）の撮影を行う。またステップＳ８０６において、１ｓｔフレームＦｒ１（ｍ）の高露出画像Ｈｉｇｈからメモリ１１１に記憶された補正用画像Ｄａｒｋを減算することで、ダークシェーディング成分除去後の高露出画像Ｈｉｇｈ（Ｄｓｕｂ）が生成される。続いてステップＳ８０７において、生成画像をメモリ１１１に保存する。このとき、既にメモリ１１１に保存されている高露出画像Ｈｉｇｈ（Ｄｓｕｂ）が更新される。

次に、図９の時刻Ｔ２において、図８のステップＳ８０８では、適正露出条件から露光時間Ｔｖをマイナス１段とすることによって低露出条件を算出し、その低露出条件をレンズ駆動部１０２に設定する。続いてステップＳ８０９において、全体制御回路１１２は、被写体画像撮影駆動タイミングをタイミング発生部１０７に指示する。そしてステップＳ８１０において、低露出条件により２ｎｄフレームＦｒ２（ｎ）の撮影を行う。

続いてステップＳ８１１において、２ｎｄフレームＦｒ２（ｎ）の低露出画像Ｌｏｗからメモリ１１１上の補正用画像Ｄａｒｋを減算することで、ダークシェーディング成分除去後の低露出画像Ｌｏｗ（Ｄｓｕｂ）が生成される。そしてステップＳ８１２において、生成画像をメモリ１１１に保存する。このとき、既にメモリ１１１に保存されている低露出画像Ｌｏｗ（Ｄｓｕｂ）が更新される。

続いてステップＳ８１３において、画像処理回路１０８は、１フレームのダイナミックレンジ拡大画像ＨＤＲを生成する。ダイナミックレンズ拡大画像ＨＤＲは、時刻Ｔ１で撮影されたメモリ１１１上の高露出画像Ｈｉｇｈ（Ｄｓｕｂ）および時刻Ｔ２で撮影されたメモリ１１１上の低露出画像Ｌｏｗ（Ｄｓｕｂ）を用い、ダイナミックレンジ拡大回路１０９による合成処理で生成される。なお、高露出画像および低露出画像を利用するダイナミックレンジ合成処理手法は、一般的であるため詳細については省略する。そしてステップＳ８１４において、画像処理回路１０８は、ステップＳ８１３にて生成されたダイナミックレンジ拡大画像ＨＤＲに対して各種画像処理を施し、出力画像としてメモリカード１１５に保存するとともにＬＣＤ１１３に表示する。

次に、図９の時刻Ｔ３において、全体制御回路１１２は図８のステップＳ８１５で撮影終了の指示があるか否かを判定する。撮影終了の指示がある場合には本フローを終了する。一方、撮影終了の指示がない場合には、ステップＳ８０１に戻る。

続いてステップＳ８０２において、補正用画像取得判定回路１１６は、例えば図７に示される判定基準に基づいて、補正用画像の取得が必要か否かを判定する（補正用画像取得判定）。ここで、補正用画像の取得が必要であると判定された場合には、ステップＳ８１６に進む。

ステップＳ８１６において、適正露出条件をレンズ駆動部１０２に設定する。続いてステップＳ８１７において、全体制御回路１１２は、補正用画像を撮影するための駆動タイミングをタイミング発生部１０７に設定する。そしてステップＳ８１８において、適正露出条件により補正用画像取得フレームＫ（補正用画像Ｄａｒｋ）の撮影を行う。

続いてステップＳ８１９において、撮影画像を補正用画像Ｄａｒｋ（補正用画像取得フレームＫ）としてメモリ１１１に保存する。このとき、既にメモリ１１１に保存されている補正用画像Ｄａｒｋを更新する。このように、本実施例の撮像装置１００はダークシェーディング補正用画像を記憶するメモリ１１１（記憶手段）を有する。そして、画像処理回路１０８（画像取得手段）が新たなダークシェーディング補正用画像を取得した場合、メモリ１１１に既に記憶されているダークシェーディング補正用画像は新たなダークシェーディング補正用画像に更新される。全体制御回路１１２（画像補正手段）は、メモリ１１１に記憶されたダークシェーディング補正用画像を用いて第１の撮影画像および第２の撮影画像を補正することになる。以降、時刻Ｔ４においてのステップＳ８０８からステップＳ８１４までの動作は既述のため省略する。

このように本実施例において、補正用画像取得判定回路１１６（画像判定手段）は、撮影条件（撮影時の温度やゲイン変化量など）に応じて、ダークシェーディング補正用画像を取得するか否かを判定する。そして、補正用画像取得判定回路１１６がダークシェーディング補正用画像を取得すると判定した場合、画像処理回路１０８（画像取得手段）は、第２の撮影画像（または第１の撮影画像）の代わりにダークシェーディング補正用画像を取得する。また全体制御回路１１２（画像補正手段）は、ダークシェーディング補正用画像を用いて第１の撮影画像および第２の撮影画像を補正する。

また本実施例では、第１の撮影画像および第２の撮影画像を合成して出力画像を生成する画像生成手段を有する。画像生成手段は、第１の画像出力期間において画像処理回路１０８がダークシェーディング補正用画像を取得した場合、他の画像出力期間における撮影画像を利用して出力画像を生成する。例えば、第１の画像出力期間において取得した第１の撮影画像、および、第１の画像出力期間の直前の第２の画像出力期間において取得した第２の撮影画像を合成して、第１の画像出力期間における出力画像を生成する。特に本実施例において、第１の撮影画像および第２の撮影画像は露出条件が互いに異なる画像であり、画像生成手段はダイナミックレンジ拡大回路１０９である。そしてダイナミックレンジ拡大回路１０９は、第１の撮影画像および第２の撮影画像を合成することにより、出力画像としてダイナミックレンジ拡大画像を生成する。

本実施例では、補正用画像（ダークシェーディング補正用画像）を高露出画像および低露出画像に対して共通に用いているため、高露出条件および低露出条件を露光時間Ｔｖによって変更している。ただし本実施例は、これに限定されるものではなく、補正対象とするノイズによっては、高露出条件および低露出条件をゲインや他の条件によって変更してもよい。また、撮影途中に補正用画像を取得するまで、事前に取得した補正用画像を用いて補正を行ってもよい。また本実施例では、補正用画像取得後に低露出画像の取得を行っているが、補正用画像取得後に高露出画像を取得してもよい。本実施例では、以上の撮影シーケンスをフレーム毎に行うことによって、動画像の撮影および記録を行う。

本実施例によれば、画像出力フレームレートを低下させることなく、撮影画像に対して適切なダークシェーディング補正が可能な撮像装置および撮像装置の制御方法を提供することができる。特に、一つのフレームレートにおいて露出条件が異なる複数の撮影画像を取得して一つの合成画像を生成する場合に効果的である。

次に、図１０および図１１を参照して、本発明の実施例２における被写体画像および補正用画像の撮影手順について説明する。図１０は、本実施例における画像の撮影シーケンスを示すフローチャートである。図１０の各ステップは、主に全体制御回路１１２の指令に基づいて行われる。また図１１は、本実施例における複数の画像の取得方法を示す撮像素子１０５の駆動タイミングチャートである。なお本実施例において、複数の画像は２つの画像であるとして説明するが、これに限定されるものではなく、本実施例は３つの画像以上の場合にも適用可能である。また本実施例において、実施例１と同様の説明は省略する。

本実施例では、高露出画像および低露出画像のそれぞれに対応する補正用画像（第１のダークシェーディング補正用画像、第２のダークシェーディング補正用画像）を取得する。前述のように、ウエル電位の変化によるダークシェーディングは、ゲインに応じて異なる形状となる。このため、高露出条件と低露出条件の間でゲインが異なる場合には、それぞれの条件に対応する補正用画像を取得することが好ましい。図１１において、高露出補正用画像をＨＤａｒｋ、低露出補正用画像をＬＤａｒｋとして示している。また、高露出補正用画像取得フレームをＨＫ、低露出補正用画像取得フレームをＬＫとして示している。本実施例において、実施例１と重複する部分については同様の符号を用いて、その説明を省略する。

図１１の時刻Ｔ１にて動画撮影が開始されると、まず図１０のステップＳ１００１において、露出条件算出回路１１０は適正露出条件を算出する。続いてステップＳ１００２において、補正用画像取得判定回路１１６は、例えば図７に示される判定基準に基づいて、高露出補正用画像の取得が必要か否かを判定する。高露出補正用画像の取得が必要であると判定された場合、ステップＳ１００３に進む。

ステップＳ１００３において、全体制御回路１１２は、ステップＳ１００１で算出された適正露出条件より、プラス１段となる高露出条件を算出してレンズ駆動部１０２に設定する。続いてステップＳ１００４において、全体制御回路１１２は、被写体画像を撮影するための駆動タイミングをタイミング発生部１０７に指示する。そしてステップＳ１００５において、高露出条件により１ｓｔフレームＦｒ１（ｍ）の撮影を行う。

続いてステップＳ１００６において、１ｓｔフレームＦｒ１（ｍ）の高露出画像Ｈｉｇｈからメモリ１１１上の高露出補正用画像ＨＤａｒｋを減算することにより、ダークシェーディング成分除去後の高露出画像Ｈｉｇｈ（Ｄｓｕｂ）を生成する。そしてステップＳ１００７において、生成画像をメモリ１１１に保存する。このとき、既にメモリ１１１に保存されている高露出画像Ｈｉｇｈ（Ｄｓｕｂ）が更新される。

次に、図１１の時刻Ｔ２において、図１０のステップＳ１００８では、露出条件算出回路１１０は適正露出条件を算出する。続いてステップＳ１００９において、補正用画像取得判定回路１１６は、低露出補正用画像の取得が必要か否かを判定する。ステップＳ１００９において低露出補正用画像の取得が不要であると判定された場合には、ステップＳ１０１０に進む。

ステップＳ１０１０において、全体制御回路１１２は、ステップＳ１００１にて算出された適正露出条件よりマイナス１段となる低露出条件を算出し、レンズ駆動部１０２に設定する。続いてステップＳ１０１１において、全体制御回路１１２は、被写体画像を撮影するための駆動タイミングをタイミング発生部１０７に設定する。そしてステップＳ１０１２において、低露出条件により２ｎｄフレームＦｒ２（ｎ）の撮影を行う。

続いてステップＳ１０１３において、２ｎｄフレームＦｒ２（ｎ）の低露出画像Ｌｏｗからメモリ１１１上の補正用画像ＬＤａｒｋを減算することにより、ダークシェーディング成分除去後の低露出画像Ｌｏｗ（Ｄｓｕｂ）を生成する。そしてステップＳ１０１４において、生成画像をメモリ１１１に保存する。このとき、既にメモリ１１１に保存されている低露出画像Ｌｏｗ（Ｄｓｕｂ）が更新される。

続いてステップＳ１０１５において、画像処理回路１０８は、１フレームのダイナミックレンジ拡大画像ＨＤＲを生成する。ダイナミックレンズ拡大画像ＨＤＲは、時刻Ｔ１で撮影されたメモリ１１１上の高露出画像Ｈｉｇｈ（Ｄｓｕｂ）および時刻Ｔ２で撮影されたメモリ１１１上の低露出画像Ｌｏｗ（Ｄｓｕｂ）を用い、ダイナミックレンジ拡大回路１０９による合成処理で生成される。そしてステップＳ１０１６において、画像処理回路１０８は、ステップＳ１０１５にて生成されたダイナミックレンジ拡大画像ＨＤＲに対して各種画像処理を施し、出力画像としてメモリカード１１５に保存するとともにＬＣＤ１１３に表示する。

次に、図１１の時刻Ｔ３において、全体制御回路１１２は図１０のステップＳ１０１７で撮影終了の指示があるか否かを判定する。撮影終了の指示がある場合には本フローを終了する。一方、撮影終了の指示がない場合には、ステップＳ１００１に戻る。

続いてステップＳ１００２において、補正用画像取得判定回路１１６は、例えば図７に示される判定基準に基づいて、高露出補正用画像の取得が必要か否かを判定する。高露出補正用画像の取得が必要であると判定された場合、ステップＳ１０１８に進む。

ステップＳ１０１８において、全体制御回路１１２は、高露出条件をレンズ駆動部１０２に設定する。続いてステップＳ１０１９において、全体制御回路１１２は、高露出補正用画像を撮影するための駆動タイミングをタイミング発生部１０７に設定する。そしてステップＳ１０２０において、高露出条件により高露出補正用画像取得フレームＨＫの撮影を行う。またステップＳ１０２１において、撮影画像を補正用画像ＨＤａｒｋとしてメモリ１１１に保存する。このとき、既にメモリ１１１に保存されている補正用画像ＨＤａｒｋが更新される。

図１１の時刻Ｔ４においては、図１０のステップＳ１００８で、露出条件算出回路１１０は再度、適正露出条件を算出する。続いてステップＳ１００９において、補正用画像取得判定回路１１６は、例えば図７に示される判定基準に基づいて、低露出補正用画像の取得が必要か否かを判定する。ステップＳ１００９にて低露出補正用画像の取得が必要であると判定された場合、ステップＳ１０２３に進む。

ステップＳ１０２３において、全体制御回路１１２は、低露出条件をレンズ駆動部１０２に設定する。続いてステップＳ１０２４において、全体制御回路１１２は、低露出補正用画像を撮影するための駆動タイミングをタイミング発生部１０７に設定する。そしてステップＳ１０２５において、低露出条件により低露出補正用画像取得フレームＬＫの撮影を行う。またステップＳ１０２６において、撮影画像を補正用画像ＬＤａｒｋとしてメモリ１１１に保存する。このとき、既にメモリ１１１に保存されている補正用画像ＬＤａｒｋが更新される。続くステップＳ１０１５およびステップＳ１０１６の動作については既述のため省略する。以上のような撮影シーケンスをフレーム毎に行うことにより、動画像の撮影および記録を行う。

このように本実施例において、補正用画像取得判定回路１１６（画像判定手段）は、第１の撮影画像（高露出画像）の第１の撮影条件に応じて第１のダークシェーディング補正用画像を取得するか否かを判定する。また補正用画像取得判定回路１１６は、第２の撮影画像（低露出画像）の第２の撮影条件に応じて第２のダークシェーディング補正用画像を取得するか否かを判定する。画像処理回路１０８（画像取得手段）は、補正用画像取得判定回路１１６が第１のダークシェーディング補正用画像を取得すると判定した場合、第１の撮影画像の代わりに第１のダークシェーディング補正用画像を取得する。また、補正用画像取得判定回路１１６が第２のダークシェーディング補正用画像を取得すると判定した場合、第２の撮影画像の代わりに第２のダークシェーディング補正用画像を取得する。そして、全体制御回路１１２（画像補正手段）は、第１のダークシェーディング補正用画像を用いて第１の撮影画像を補正し、第２のダークシェーディング補正用画像を用いて第２の撮影画像を補正する。

本実施例によれば、フレームレートを低下させることなく、撮影画像に対して適切なダークシェーディング補正が可能な撮像装置および撮像装置の制御方法を提供することができる。特に、一つのフレームレートにおいて露出条件が異なる複数の撮影画像を取得して一つの合成画像を生成する場合に効果的である。また本実施例によれば、露出条件が異なる複数の撮影画像のそれぞれに対して適切な補正用画像を取得することにより、より適切な補正が可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０５ 撮像素子
１０８ 画像処理回路
１１２ 全体制御回路
１１６ 補正用画像取得判定回路

Claims (18)

1. 一つの画像出力期間に第１の画像および第２の画像を取得可能な撮像素子と、
   撮影条件に応じてダークシェーディング補正用画像を取得するか否かを判定する画像判定手段と、
   前記画像判定手段が前記ダークシェーディング補正用画像を取得すると判定した場合、前記第２の画像の代わりに該ダークシェーディング補正用画像を取得する画像取得手段と、
   前記ダークシェーディング補正用画像を用いて前記第１の画像および前記第２の画像を補正する画像補正手段と、を有することを特徴とする撮像装置。
2. 前記撮影条件は、撮影時の温度であり、
   前記画像判定手段は、前記温度が所定の温度よりも高い場合、前記ダークシェーディング補正用画像を取得すると判定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影条件は、更に、２つの画像出力期間にて取得された前記第１の画像または前記第２の画像のゲイン変化量を含み、
   前記画像判定手段は、前記温度が前記所定の温度よりも高く、かつ、前記ゲイン変化量の絶対値が所定の変化量よりも大きい場合、前記ダークシェーディング補正用画像を取得すると判定することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の画像および前記第２の画像を合成して出力画像を生成する画像生成手段を更に有し、
   前記画像生成手段は、第１の画像出力期間において前記画像取得手段が前記ダークシェーディング補正用画像を取得した場合、該第１の画像出力期間において取得した前記第１の画像、および、該第１の画像出力期間の直前の第２の画像出力期間において取得した第２の画像を合成して、該第１の画像出力期間における前記出力画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の画像および前記第２の画像は、露出条件が互いに異なり、
   前記画像生成手段は、前記第１の画像および前記第２の画像を合成することにより、出力画像としてダイナミックレンジ拡大画像を生成することを特徴とする請求項４に記載の撮像装置。
6. 前記ダークシェーディング補正用画像を記憶する記憶手段を更に有し、
   前記画像補正手段は、前記記憶手段に記憶された前記ダークシェーディング補正用画像を用いて前記第１の画像および前記第２の画像を補正し、
   前記画像取得手段が新たなダークシェーディング補正用画像を取得した場合、前記記憶手段に既に記憶されているダークシェーディング補正用画像は該新たなダークシェーディング補正用画像に更新されることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像素子への光を遮光するメカニカルシャッタを更に有し、
   前記画像取得手段は、前記メカニカルシャッタにより前記撮像素子への光を遮光した状態で、前記ダークシェーディング補正用画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像素子は、フォトダイオードを有しない画素を含み、
   前記画像取得手段は、前記フォトダイオードを有しない画素からの信号を読み出すことで、前記ダークシェーディング補正用画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. 前記画像取得手段は、前記撮像素子から前記第１の画像および前記第２の画像を出力するか否かを切り替える切替手段を更に有し、
   前記画像取得手段は、前記第１の画像および前記第２の画像を出力しないように前記切替手段をオフにした状態で、前記ダークシェーディング補正用画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
10. 一つの画像出力期間に第１の画像および第２の画像を取得可能な撮像素子と、
    前記第１の画像の第１の撮影条件に応じて第１のダークシェーディング補正用画像を取得するか否かを判定し、前記第２の画像の第２の撮影条件に応じて第２のダークシェーディング補正用画像を取得するか否かを判定する画像判定手段と、
    該画像判定手段が前記第１のダークシェーディング補正用画像を取得すると判定した場合、前記第１の画像の代わりに該第１のダークシェーディング補正用画像を取得し、該画像判定手段が前記第２のダークシェーディング補正用画像を取得すると判定した場合、前記第２の画像の代わりに該第２のダークシェーディング補正用画像を取得する画像取得手段と、
    前記第１のダークシェーディング補正用画像を用いて前記第１の画像を補正し、前記第２のダークシェーディング補正用画像を用いて前記第２の画像を補正する画像補正手段と、を有することを特徴とする撮像装置。
11. レンズユニットと、
    前記レンズユニットを介して被写体像を取得する請求項１乃至１０のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
12. 一つの画像出力期間に第１の画像および第２の画像を取得可能な撮像装置の制御方法であって、
    撮影条件に応じてダークシェーディング補正用画像を取得するか否かを判定するステップと、
    前記ダークシェーディング補正用画像を取得すると判定した場合、前記第２の画像の代わりに該ダークシェーディング補正用画像を取得するステップと、
    前記ダークシェーディング補正用画像を用いて前記第１の画像および前記第２の画像を補正するステップと、を有することを特徴とする撮像装置の制御方法。
13. 一つの画像出力期間に互いに露出の異なる第１の画像および第２の画像を撮像手段に撮像させる撮像制御手段と、
    前記撮像手段により出力される前記第１の画像及び前記第２の画像を合成して順次合成画像を出力する合成手段と、を有し、
    前記合成手段は、撮影条件に応じて、異なる画像出力期間で得られた前記第１の画像及び前記第２の画像を合成して前記合成画像を生成することを特徴とする画像処理装置。
14. 前記撮影条件は、撮影時の温度であり、前記合成手段は、前記温度が所定の温度よりも高い場合、異なる画像出力期間で得られた前記第１の画像及び前記第２の画像を合成して前記合成画像を生成することを特徴とする請求項１３に記載の画像処理装置。
15. 前記撮影条件は、前記撮像手段から出力される画像にかけるゲインであることを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記合成手段は、前記ゲインの設定が所定の変化量より大きく変化した場合に、異なる画像出力期間で得られた前記第１の画像及び前記第２の画像を合成して前記合成画像を生成することを特徴とする請求項１５に記載の画像処理装置。
17. 前記合成手段は、前記撮像手段が前記一つの画像出力期間に前記第１の画像あるいは第２の画像の代わりに第３の画像を取得する場合、前記一つの画像出力期間の直前の画像出力期間の前記第１の画像あるいは第２の画像を用いて前記合成画像を生成することを特徴とする請求項１３乃至１６のいずれか１項に記載の画像処理装置。
18. 一つの画像出力期間に互いに露出の異なる第１の画像および第２の画像を撮像手段に撮像させるステップと、
    前記撮像手段により出力される前記第１の画像及び前記第２の画像を合成して順次合成画像を出力するステップと、を有し、
    前記合成画像を出力するステップでは、撮影条件に応じて、異なる画像出力期間で得られた前記第１の画像及び前記第２の画像を合成して前記合成画像を生成することを特徴とする画像処理装置の制御方法。