JP6214229B2 - 撮像装置、撮像装置の制御方法、画像処理装置および画像処理方法 - Google Patents

Description

本発明は撮影対象を照明するストロボを有し、連続的に撮影した画像を合成して１枚の画像を生成する撮像装置に関する。

従来、デジタルカメラで夜間人物撮影を行う際には、ストロボを発光させることで被写体輝度を適正にすることが可能であるが、フルオートモードでは、自動的に手ブレを防ぐシャッター速度に設定されるため、背景は暗くなってしまうケースが多い。

このような問題を解決するために、ストロボ発光と時分割露光・画像合成を組み合わせた撮像装置が提案されている。

特許文献１の撮像装置では、時分割露光して撮影された複数の画像を位置合わせしながら加算合成することで、電子手ブレ補正を行うことが可能である。

特開２００７−２８１５４７号公報

しかしながら、時分割露光された画像もトータルの露光時間としては長秒になるため、露光中に被写体が動いた場合には、得られる画像にも影響が出てくる。例えば先幕シンクロでストロボ発光した分割画像はほぼ被写体ブレのない画像であるが、その後の分割露光中に人物が動いた場合には、人物の後ろに隠れていた背景が露光されることになる。その結果最終的な合成画像の人物部分に背景の一部が混ざりこんだ画像になってしまうケースがあった。

本発明は上記問題に鑑みてなされたものであり、露光時間によるブレの影響を抑えつつ、主被写体と背景を適切な輝度バランスで撮影することのできる撮像装置及び撮像装置の制御方法を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、撮像手段と、発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成手段と、前記第１の合成画像信号の明るさを補正する補正手段と、前記第１の画像信号と前記補正手段より出力される合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成手段と、を有し、前記補正手段は、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする。

また、本発明の撮像装置の制御方法は、撮像手段と、発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、を有する撮像装置の制御方法であって、前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成ステップと、前記第１の合成画像信号の明るさを補正する補正ステップと、前記第１の画像信号と前記補正ステップで明るさが補正された前記第１の合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成ステップと、を有し、前記補正ステップでは、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする。

本発明によれば、光時間によるブレの影響を抑えつつ、主被写体と背景を適切な輝度バランスで撮影することができる。

本発明の実施形態に係るデジタルカメラのシステム全体の構成を示すブロック図 第１の実施形態におけるモード別撮影処理フローチャート 第１の実施形態における画像レベル補正処理フローチャート 第１の実施形態における分割露光合成タイミングを示す図 本発明の実施形態における撮影例 第２の実施形態におけるモード別撮影処理フローチャート 第２の実施形態における画像レベル補正処理フローチャート

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１の実施形態）
図１は、第１の実施形態における撮像装置の一例であるデジタルカメラ１００の構成を示すブロック図である。

レンズ１０１は被写体像を結像させるためのレンズであり、ここでは光量を調整するための絞りも含むものとする。

メカニカルシャッタ１０２はレンズの光路上に配置されているメカニカルシャッタである。

撮像部１０３はレンズ１０１で結像した映像を電気的な情報に変換して画像信号として出力するためのセンサである。本発明では、撮像部に含まれる撮像素子としてＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサが使用される。また、撮像部１０３には撮像素子のほかにＣＤＳ回路（相関二重サンプリング回路）やＡＧＣ回路（オートゲインコントロール回路）を含むものとして扱う。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４はカメラ全体を制御するための演算回路であり、デジタルカメラ１００内の各部に指示信号を送信し、各部を制御する。ＣＰＵ１０４は、レンズ１０１、メカニカルシャッタ１０２、撮像部１０３、ストロボ制御回路１１０等を制御して露出制御を含めた撮像制御を行う。

画像処理回路１０５は撮像部１０３から出力される画像信号と、バッファメモリ１０６に記録されている画像信号を基に様々な画像処理を行う。本実施形態では、特に撮像部１０３から出力される画像信号とバッファメモリ１０６に記録されている画像信号とを加算して、あるいは小さくない値を選択して合成して合成画像信号を生成する処理も行う（第１の合成手段、第２の合成手段）。

バッファメモリ１０６は撮像部１０３からの画像データ、あるいは画像処理回路１０５により処理が施された画像データを一時的に格納するメモリである。

外部メモリ１０７はバッファメモリ１０６に蓄えられた画像を保存するためのＳＤカード等のメモリである。

表示部１０８は撮影条件や、スルー画など、カメラの各種情報を表示するための表示部である。

操作部１０９は電源オン・オフの切替えを行う電源ボタン、撮影のトリガとなるレリーズスイッチや、撮影の中断を行う撮影中断ボタン、撮影モードを決定するモードダイヤルなどを含む。操作部１０９からのユーザ入力を検出し、ＣＰＵ１０４の判定、指示で各種動作を行う。

また、操作部１０９は、使用者の意図する操作が可能であれば、その形状はボタンに限定されず、リング、面圧力センサなどでもよい。

その他カメラに備えられる一般的な部材については、本件とは直接関係しないため省略する。

ストロボ制御回路１１０はＣＰＵ１０４により制御され、ストロボ発光部１１１（発光手段）に対して、ストロボ発光の有無、発光タイミング、発光用コンデンサへの充電などを制御する。

図２は本デジタルカメラの第１の実施形態における撮影時のモード別撮影処理を示すフローチャートである。本デジタルカメラにおける撮影モード別の動作について、実施例として最も特徴的な夜景ポートレートモードを挙げて説明する。それ以外のモードについての詳細な説明は省略する。なお、図２のフローチャートにおいては、ストロボ発光タイミングを露光開始タイミングに合わせた、先幕シンクロのような画像を取得することを想定している。

まず操作部１０９内のモードダイヤルで設定されている撮影モードが夜景ポートレートモードであるか否かを判定し（Ｓ２０１）、夜景ポートレート以外のモードであれば、各撮影モードに応じた処理を施し（Ｓ２１７）、処理を終了する。

Ｓ２０１において、モードダイヤルが夜景ポートレートモードに設定されていた場合には、Ｓ２０２に進む。Ｓ２０２では、撮像素子を通して得られる画像信号に対して適切な輝度レベルになるように、電子シャッター速度やゲインなどの露光条件を調節することで、測光・露出制御を行う。

もちろん、この場合夜景ポートレートモードに設定されているため、モード特有の露出制御を行う。このようなシーンでは通常の被写体を撮影する（汎用的な）通常撮影モードにおける露出よりもアンダー露出となるように露出制御されるのが一般的である。またＳ２０２では、レンズ１０１を動かしながら、画像のコントラスト情報をもとにＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）制御も並行して行っている。

次に操作部１０９内のレリーズスイッチの状態を調べ（Ｓ２０３）、レリーズスイッチが押下されていなければＳ２０２へ戻る。押下されていた場合は、Ｓ２０４に進む。ここで、レリーズスイッチはＳ２０２のような測光、露出、ＡＦなどの撮影条件を決定するための撮影準備指示、実際に撮影を行うタイミングを制御するための撮影実行指示の２段階に分かれていてもよい。

Ｓ２０４では、調光制御を行う。調光制御方法については種々の方式が提案されている。例えばプリ発光方式であれば、撮影用の本発光の前に、ストロボ制御回路１１０に対して所定の光量に設定した上で、ストロボをプリ発光させ、得られた画像情報をもとに本発光時の発光レベル（発光量）を演算する。このとき、ストロボを発光している状態で撮影して取得する撮影画像の露光時間ｔ_０も演算する。すなわち、ストロボの発光状態で撮像したときに被写体が適切な明るさとなるようにストロボ発光画像（第１の画像信号）の露光条件を設定する。

次に、最新の測光結果に応じて、ストロボを発光していない非発光の状態で、時系列で連続的に撮影して取得する撮影画像のトータル露光時間Ｔを決定する（Ｓ２０５）。すなわちストロボを発光していない非発光の状態で撮影する複数の画像信号を合成したときに被写体が適切な明るさとなるように複数の画像信号の露光条件を設定する。次にトータル露光時間Ｔと、他の撮影条件から、分割露光時間ｔ及び分割露光回数Ｎを算出する（Ｓ２０６）。次に現在の分割露光回数をカウントする変数ｉをゼロに初期化するとともにバッファメモリ１０６内の領域Ｂｕｆｆｅｒ１もゼロに初期化しておく（Ｓ２０７）。そして現在の分割露光回数ｉがＮ回であるか判定し（Ｓ２０８）、Ｎ回未満であった場合には、最初の露光、すなわち分割露光回数ｉ＝０であるかを判定する（Ｓ２０９）。ｉ＝０であったなら、Ｓ２０４で演算した発光レベルとなるようにストロボ発光させながら露光時間ｔにて露光、画像の撮像読出し制御を行い、画像データをバッファメモリ１０６内の領域Ｂｕｆｆｅｒ０に格納する（Ｓ２１０）。

そして、分割露光回数ｉを１増加させ（Ｓ２１２）、Ｓ２０８へ処理を移す。Ｓ２０９において、現在の分割露光回数ｉがゼロでなかった場合は、ｉ回目の分割露光・撮像読出し制御を行う。そして読み出した画像データをＢｕｆｆｅｒ１の画像データに加算しながら格納し（Ｓ２１１）、Ｓ２１２へ処理を移す。

Ｓ２０８において、現在の分割露光回数がＮ回に達した場合は、Ｂｕｆｆｅｒ０内のストロボの発光状態で撮影された画像を解析し、その結果からＢｕｆｆｅｒ１のストロボの非発光状態で撮影された画像の画像レベルを補正する（Ｓ２１３）。この処理の詳細については後述する。次に、Ｂｕｆｆｅｒ０及びＢｕｆｆｅｒ１に格納された画像データを合成する（Ｓ２１４）。この時点で、Ｂｕｆｆｅｒ０内にはストロボ発光時の分割露光画像（第１の画像信号）、Ｂｕｆｆｅｒ１内にはストロボ非発光状態での（Ｎ−１）枚分の分割露光画像が加算された合成画像信号（第１の合成画像信号）が格納されている。Ｂｕｆｆｅｒ０とＢｕｆｆｅｒ１の画像合成の際、双方の画像の同一画素アドレスの最大値を選択する、所謂ピークホールド加算を行う。具体的には以下のようになる。
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ）） （１）

ここで、合成前の画像のそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。本実施形態では、撮影される画像を順次ピークホールド加算により合成していくので、
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）），
（２）
となる。合成処理の手法としてはこれに限らず、前述した式（１）のように、Ｎ枚をメモリに記憶しておき、一度に合成するなどしてもよい。

その後、画像処理回路１０５にて、上記合成の行われた合成画像について記録用の現像処理、ＪＰＥＧ等の所定の形式への符号化・圧縮処理を経て（Ｓ２１５）、外部メモリ１０７に記録して（Ｓ２１６）処理を終了する。

図３は図２のＳ２１３で行われる画像解析処理および画像レベル補正処理の詳細を表したフローチャートである。

ここでは、主として人物にストロボ発光させた画像Ｐ０と、背景を露光し合成した画像Ｐ１〜Ｐ３の合成画像の輝度バランスをとることを目的としている。

まず、画像Ｐ０のストロボによる光が届いているとみなされる領域、ストロボ照明領域の抽出を行う（Ｓ３０１）。抽出の方法としては、画像から輝度ヒストグラム分布を求めて所定の範囲の輝度値に収まる画素からなる領域を対象とすることでもよいし、他の方法でもよい。他にも、ストロボが非発光の状態で撮影された画像との輝度差に基づいて、輝度差の大きいところをストロボ照明領域と対応づけるなどしてストロボ照明領域を抽出しても良い。次に抽出されたストロボ照明領域にあたる画素に対して、最小輝度値Ｙｌｏｗを検出する（Ｓ３０２）。最後に、画像Ｐ４のストロボ照明領域に対応する領域の画素に対して領域内の最大輝度値がＹｌｏｗを超えないようにレベル補正を行う。

分割露光・合成の様子を時系列的に表した例が図４である。

図４では、撮像素子としてトータル露光時間Ｔ＝３７．５（ｍｓ）、ｔ０＝１２．５（ｍｓ）、ｔ＝１２．５（ｍｓ）、Ｎ＝４（回）の場合を想定している。

レリーズＳＷ押下後、４枚の分割露光画像のうち、先頭の画像Ｐ０の露光中にストロボ発光するように、ＣＰＵ１０４がストロボ制御回路１１０を制御する。そして残り３枚（画像Ｐ１、Ｐ２、Ｐ３）の分割露光画像については、手ブレ軽減のため、画像の特徴点をもとに公知の位置合わせ処理を行った上で加算合成を行うことで、長秒露光相当の画像を作成する。加算合成後の画像をＰ４とする。最後に、この画像Ｐ４と画像Ｐ０とを位置合わせ処理を行った上で、ピークホールド加算で合成することで最終画像Ｐ５を作成する。

画像Ｐ０と画像Ｐ４の合成時にピークホールド合成を行うのは、主被写体となる人物が撮影中に動いた場合でも、人物の後ろに隠れていた背景が人物に写り込むことを防止するためである。図３で述べた処理も、この目的のために行っている。

図５（ａ）は、夜景ポートレートモードでの撮影例を示したもので、手前に人物、背景としてライトが点灯したクリスマスツリーが写っている。人物にのみストロボ光が届いているものとする。この画像を分割露光画像Ｐ０と仮定する。実際には背景となるクリスマスツリーはもっと暗くなるが、見やすくするために便宜上明るく表示している。連続して露光されるＰ１〜Ｐ３の間で、図５（ｂ）のように、人物が少し左に動いたとすると、図５（ａ）では人物に隠れて見えなかったクリスマスツリーのライトの一部が見えていることがわかる。このため、画像Ｐ０と画像Ｐ４を単純に加算合成すると、図５（ｃ）のように人物の体のなかにクリスマスツリーのライトが写り込んでしまうことになる。

図３で述べたレベル補正を施した後、画像Ｐ０と画像Ｐ４をピークホールド合成することにより、図５（ａ）のように背景の写り込みがなく、人物と背景の輝度バランスのとれた画像を作成することができる。

上述した実施形態では、非発光画像のトータル露光時間Ｔや分割露光回数Ｎは最新の測光結果から演算して求めた。しかし、Ｓ３０２で求めた最小輝度値ＹｌｏｗをＳ２１０のタイミングで求めておき、このＹｌｏｗを元に分割露光回数を可変させるような仕組みにしてもよい。このようにすれば、背景が人物の輝度レベルに近づいたところで露光を完了させることが可能であり、時間的に無駄がなくなる。

以上のように、本実施形態では、ストロボ撮影画像と明るさ補正がなされた分割露光画像をピークホールド加算することで、露光時間によるブレの影響を抑えつつ、主被写体と背景を適切な輝度バランスで写した撮影画像を得ることが出来る。

（第２の実施形態）
本実施形態においては、露光完了直前にストロボの発光を行う、後幕シンクロ撮影時の処理手順を示す。

図６は本デジタルカメラの第２の実施形態における撮影時のモード別撮影処理を示すフローチャートである。図２と同様の部分については同一のステップ番号を付し説明は省略する。

まず現在の分割露光回数をカウントする変数ｉを１に初期化する（Ｓ６０１）。そして現在の分割露光回数ｉと分割露光回数Ｎの大小を判定をおこなう（Ｓ２０８）。現在の分割露光回数ｉがＮ回未満であった場合には、ストロボ非発光として露光時間ｔにて露光、画像の撮像読出し制御を行い、画像データをバッファメモリ１０６内の領域Ｂｕｆｆｅｒ（ｉ）に格納する（Ｓ２１１）。

そして、分割露光回数ｉを１増加させ（Ｓ２１２）、Ｓ２０８へ処理を移す。Ｓ２０８において、現在の分割露光回数ｉが分割露光回数Ｎと等しい場合は、最後の分割露光となるため、Ｓ２０４で演算した発光レベルとなるようにストロボ発光させながら分割露光・撮像読出し制御を行い、Ｂｕｆｆｅｒ０に格納する（Ｓ６０２）。次にＢｕｆｆｅｒ０に保存したストロボ発光画像Ｐ０のストロボ照明領域の抽出、ストロボ発光なしの分割露光画像の補正を行う（Ｓ２１３）。ここでストロボ発光画像Ｐ０から抽出されたストロボ照明領域にあたる画素に対して、第１の実施形態と同様に最小輝度値Ｙｌｏｗを検出する。そしてＰ４のストロボ照明領域に対応する領域の最大輝度値と比較、ストロボ非発光で撮影された画像の合成画像Ｐ４のストロボ照明領域の画素を最小輝度値Ｙｌｏｗの値を超えないように輝度レベルを下げる補正をする。

次に、Ｂｕｆｆｅｒ０及びＢｕｆｆｅｒ１に格納された画像データを合成する（Ｓ２１４）。以降の処理は図２と同様である。

図７は図６のＳ６０３における処理の詳細を示したフローチャートである。

まず、ストロボ非発光画像の加算数をカウントする変数ｊをＮ−２に初期化する（Ｓ７０１）。次にＢｕｆｆｅｒ１内の画像の最大輝度値を調べ、ストロボ発光状態の最小輝度値Ｙｌｏｗと比較する（Ｓ７０２）。Ｙｌｏｗが大きければ、変数ｊと１を比較する（Ｓ７０３）。変数ｊが１より大きい場合は、Ｂｕｆｆｅｒ１内の画像とＢｕｆｆｅｒ（ｊ）内の画像を加算合成しながらＢｕｆｆｅｒ１に格納する（Ｓ７０４）。次に変数ｊを１減少させ（Ｓ７０５）、Ｓ７０２へ戻る。Ｓ７０２においてＢｕｆｆｅｒ１内の画像の最大輝度値がＹｌｏｗ以上の値になった場合には、Ｂｕｆｆｅｒ１内の画像からＢｕｆｆｅｒ（ｊ＋１）内の画像を減算しＢｕｆｆｅｒ１に格納し（Ｓ７０６）、終了する。また、Ｓ７０３において、変数ｊが１以下であれば、処理を終了する。

この結果、Ｂｕｆｆｅｒ１には、ストロボ照明部の最小輝度値Ｙｌｏｗを上回らない範囲で、ストロボ非発光画像を加算合成したものが格納される。このときの加算順序としては、最後にストロボ発光される画像に近い順に加算されるため、時間的に連続した自然な画像が保存される。

以上のように、本実施形態では、ストロボ撮影画像と明るさ補正がなされた分割露光画像をピークホールド加算することで、露光時間によるブレの影響を抑えつつ、主被写体と背景を適切な輝度バランスで写した撮影画像を得ることが出来る。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１０１ レンズ
１０２ メカニカルシャッタ
１０３ 撮像部
１０４ ＣＰＵ
１０５ 画像処理回路
１０６ バッファメモリ
１０７ 外部メモリ
１０８ 表示部
１０９ 操作部
１１０ ストロボ制御回路
１１１ ストロボ発光部

Claims (8)

1. 撮像手段と、
   発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、
   前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成手段と、
   前記第１の合成画像信号の明るさを補正する補正手段と、
   前記第１の画像信号と前記補正手段より出力される合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成手段と、を有し、
   前記補正手段は、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする撮像装置。
2. 前記第１の画像信号から、前記発光手段による発光が届いている照明領域の抽出を行う抽出手段を有し、
   前記補正手段は、前記第１の合成画像信号において前記照明領域に対応する領域の最大輝度値が、前記第１の画像信号における前記照明領域の最小輝度値を超えないように前記第１の合成画像信号を補正することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段による撮像の露出を制御する露出制御手段を有し、
   前記露出制御手段は、
   前記発光手段による発光状態で撮像したときに被写体が適切な明るさとなるように前記第１の画像信号を出力するための露光条件を設定し、前記複数の画像信号を合成したときに被写体が適切な明るさとなるように前記複数の画像信号を出力するための露光条件を設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、前記第１の合成手段により合成される前記第１の合成画像信号に用いる画像信号の数を制御することで、前記第１の合成画像信号の明るさを補正することを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 前記複数の画像信号を加算合成する際、時系列で後から撮像された画像信号から順に加算合成を行うことを特徴とする請求項４に記載の撮像装置。
6. 撮像手段と、発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、を有する撮像装置の制御方法であって、
   前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成ステップと、
   前記第１の合成画像信号の明るさを補正する補正ステップと、
   前記第１の画像信号と前記補正ステップで明るさが補正された前記第１の合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成ステップと、を有し、
   前記補正ステップでは、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする撮像装置の制御方法。
7. 発光手段が発光している状態で撮像された第１の画像信号と、発光手段が非発光の状態で連続的に撮像された複数の画像信号を用いて画像処理を行う画像処理装置であって、
   前記複数の画像信号を加算合成して第１の合成画像信号を生成する第１の合成手段と、
   前記第１の合成画像信号の明るさを補正する補正手段と、
   前記第１の画像信号と前記補正手段より出力された合成画像信号とから、値の大きい方を選択して第２の合成画像信号を生成する第２の合成手段と、を有し、
   前記補正手段は、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする画像処理装置。
8. 発光手段が発光している状態で撮像された第１の画像信号と、発光手段が非発光の状態で連続的に撮像された複数の画像信号を用いて画像処理を行う画像処理方法であって、
   前記複数の画像信号を加算合成して第１の合成画像信号を生成する第１の合成ステップと、
   前記第１の合成画像信号の明るさを補正する補正ステップと、
   前記第１の画像信号と前記補正ステップで明るさが補正された前記第１の合成画像信号とから、値の大きい方を選択して第２の合成画像信号を生成する第２の合成ステップと、を有し、
   前記補正ステップでは、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする画像処理方法。

Images