JP6075829B2 - 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は標準露出撮影から画像を出力するモード（通常撮影モード）と、短時間露光撮影と長時間露光撮影から合成処理して合成画像を出力するモード（階調表現レンジ拡張撮影モード）の切り替え時の合成画像の階調制御に関する。

特許文献１には、標準露出で撮像された画像を取得する通常撮影モードと、異なる露出で撮像された画像を合成してダイナミックレンジの広い階調表現レンジ拡張画像を生成する階調表現レンジ拡張撮影モードとを切り替える技術について開示されている。

特開２００２−２１８３２６号公報

しかしながら、特許文献１では、動画撮影中に通常撮影モードから階調表現レンジ拡張撮影モードに切り替える場合に、特別な処理をしていないので、連続したフレームの間で急激に階調表現のレンジが拡張され、時系列的な画質変化に違和感を持つ場合がある。

この場合について図２を用いて説明する。図２（ａ）は、通常撮影モードで撮影され、暗い部分まで階調表現を行うことができていないため、人物が黒つぶれしている状態を表している。図２（ｂ）は、階調表現レンジ拡張撮影モードで撮影され、暗い部分にまで階調表現レンジが拡大して、図２（ａ）では黒つぶれしていた人物部分の階調表現を再現できている状態を表している。

動画撮影中に、図２（ａ）の通常撮影モードから図２（ｂ）の階調表現レンジ拡張撮影モードに撮影モードを切り替えると、急激に人物の階調表現が変化し、撮影者は時系列的に見て違和感を持つこととなる。逆に、図２（ｂ）の階調表現レンジ拡張撮影モードから図２（ａ）の通常撮影モードに撮影モードが切り替わる場合にも同様の問題が発生する。

本発明は、通常撮影モードと階調表現レンジ拡張撮影モードの切り替え時において、画質変化の不自然さを低減することを目的とする。

本発明の一側面としての撮像装置は、撮影光学系を介した被写体光を光電変換して画像信号を生成する撮像手段と、前記撮像手段の露出値を制御する露出制御手段と、前記露出制御手段によって制御される異なる複数の露出値で前記撮像手段により撮像された複数の画像信号を合成して階調表現レンジの拡張された合成画像信号を生成する画像合成手段と、通常撮影モードと、前記合成画像信号を生成する階調表現レンジ拡張撮影モードとを切り替える撮影モード切り替え手段と、を有し、前記画像合成手段は、動画撮影中に前記撮影モード切り替え手段によって撮影モードが切り替えられるときに、前記画像合成手段による合成に用いられる複数の画像信号のうち最小の露出値で撮像された画像信号の階調表現幅を変更することによって、前記合成画像信号の階調表現幅を段階的に変更することを特徴とする。

通常撮影モードと階調表現レンジ拡張撮影モードの切り替え時において、画質変化の不自然さを低減させることができる。

本発明における実施例１の撮像装置の構成例を示すブロック図である。 通常撮影モードから階調表現レンジ拡張撮影モードに切り替わる場合に生じる画質変化を説明するための図である。 撮像部１０１の構成例を示すブロック図である。 信号合成部１０４の構成例を示すブロック図である。 合成レンジ制御部１０５の説明を示す図である。 合成比率制御部１０６の説明を示す図である。 露出値の説明を示す図である。 本発明における実施例１のダイナミックレンジ拡大制御のフローチャートを示す図である。 本発明における実施例２の撮像装置の構成例を示すブロック図である。 本発明における実施例２のダイナミックレンジ拡大制御のフローチャートを示す図である。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１は、本発明における実施例１の撮像装置の構成例を示すブロック図である。本実施例では、静止画撮影および動画撮影可能な撮像装置（ビデオカメラやデジタルカメラ）を使用している。さらに、本実施例の撮像装置は、異なる露光量で撮像された画像を合成してダイナミックレンジの広い階調表現レンジ拡張撮影を実現することができる。以下、本実施例１の撮像装置の構成例について図１を参照して説明する。なお、本実施例では、レンズ一体型のビデオカメラについて説明するが、本発明は、レンズ交換型の一眼レフカメラ（カメラシステム）にも適用することが可能である。

図１において１０１は、後述の露出制御部１０９から渡される露出制御値（以下、露出値ともいう）に基づいて被写体光を撮像し、撮像画像信号を出力する撮像部（撮像手段）である。撮像部１０１には、後述するように、絞りやメカニカルシャッターを含むレンズ等の撮影光学系（図３の撮像光学部３０１）、被写体光を光電変換する撮像素子（図３の撮像素子部３０３）等が含まれる。

１０２は、撮像部１０１から出力される撮像画像信号にホワイトバランス処理、補間処理、シェーディング補正処理、色空間変換処理、ガンマ変換処理等の所定の画像処理を施し、出力映像信号に変換する映像信号処理部である。本実施例では、映像信号処理部１０２はスイッチ１１１及び信号合成部１０４の後段に位置し、上述した各処理を行っているが、これらの処理の一部は撮像部１０１の後段であり、スイッチ１１１の前段で行われてもよい。

１０３は、撮像部１０１で撮影される通常の動画撮影を行う通常撮影モードと階調表現レンジ拡張撮影モードの切り替え処理を行う撮影モード切り替え部（撮影モード切り替え手段）である。通常撮影モードは、撮像装置の標準露出によって撮像された画像を取得するモードである。階調表現レンジ拡張撮影モードは、被写体のうち暗い部分の階調表現の再現性が高い長時間露光（ＥＨ）画像を得るとともに、被写体のうち明るい部分の階調表現の再現性が高い低時間露光（ＥＬ）画像を取得するモードである。さらに階調表現レンジ拡張撮影モードでは、後述するようにＥＨ画像とＥＬ画像を合成することにより階調表現レンジ拡張画像が生成され、階調表現の再現性の高い画像を取得することができる。撮影モード切り替え部１０３によって選択されたモードに応じて、撮像部１０１はそれぞれのモードに対応した撮像画像信号を出力する。階調表現レンジ拡張撮影モード時では、露出制御部１０９より少なくとも２つの露出値が撮像部１０１に渡され、通常撮影モード時では、露出制御部１０９から１つの露出値が渡される。

１０４は、後述のスイッチ１１１の切り替え処理によって入力された複数の撮像画像信号を合成し、合成画像信号を生成する信号合成部（画像合成手段）である。

１０５は、後述の露出制御部１０９から出力される露出値と後述の露出変動検出部１１０より検出された露出値の変動値から、階調レンジ拡張幅とゲイン値を算出する合成レンジ制御部である。合成レンジ制御部１０５は、算出した階調レンジ拡張幅とゲイン値を信号合成部１０４に制御量として出力し、合成画像信号の階調表現幅を制御する。

１０６は、後述の露出変動検出部１１０より検出された露出値の変動値に応じた合成比率を算出し、信号合成部１０４に合成比率の制御量を渡すことにより、合成画像信号の合成比率を制御する合成比率制御部である。

１０７は、映像信号処理部１０２から出力された出力映像信号を記録する出力映像信号記録部である。

１０８は、映像信号処理部１０２から出力された出力映像信号を撮像装置に表示する出力画像表示部である。

１０９は、撮像画像信号の明るさが適切になるように、撮像画像信号に基づいてシャッタースピード制御値や、絞り制御値を算出する露出制御部（露出制御手段）である。露出制御部１０９は、算出したシャッタースピード制御値を、撮像部１０１の後述するタイミング制御部３０６へ送り、算出した絞り制御値を、撮像部１０１の後述する光学系駆動部３０５へ送る。このように、露出制御部１０９は、撮像部１０１の露出値を制御することができる。

１１０は、通常撮影モード時と階調表現レンジ拡張撮影モードの切り替え時において、露出制御部１０９によって制御された露出値の変動量の大きさを検出する露出変動検出部（露出変動検出手段）である。

１１１は、撮影モード切り替え部１０３によって選択された撮影モードに応じて、撮像部１０１から出力される撮像画像信号を信号合成部１０４に送るか、映像信号処理部１０２に送るかを切り替えるスイッチである。

以下に、露出変動検出部１１０の露出値の変動量を検出する方法について説明する。

露出変動検出部１１０では、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時において、露出値の変動量の大きさを検出する。例えば、露出値を表す数値としてＥＶ値が使用される。ＥＶ値は、図７に示すように、絞り値を光量比率に換算したＡｖ値と、シャッタースピード制御値を光量に換算したＴｖ値の和で表現される。露出変動検出部１１０では、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時に、露出制御部１０９から通常撮影モード時の撮像画像信号の露出値（ＥＶｎ）が渡される。また、露出制御部１０９から階調表現レンジ拡張撮影モード時の短時間露光撮像画像信号の露出値（ＥＶ１）と長時間露光撮像画像信号の露出値（ＥＶ２）が渡される。露出変動検出部１１０では、通常撮影モード時の撮像画像信号の露出値（ＥＶｎ）と、階調表現レンジ拡張モード時の短時間露光撮像画像信号の露出値（ＥＶ１）と、長時間露光撮像画像信号の露出値（ＥＶ２）との差を露出値の変動量の大きさとして検出する。ＥＶｎとＥＶ１、あるいはＥＶｎとＥＶ２の差が所定値よりも大きければ、上記２つのモード時の階調表現の幅の変化が大きいと分かる。

以下、撮像部１０１、信号合成部１０４、露出変動検出部１１０、合成レンジ制御部１０５、合成比率制御部１０６、について詳しく説明する。

図３を参照して、撮像部１０１の構成例について詳しく説明する。撮像部１０１は、撮像光学部３０１、絞り３０２、撮像素子部３０３、Ａ／Ｄ変換部３０４、光学系駆動部３０５、タイミング制御部３０６から構成される。撮像光学部３０１は、被写体からの被写体光を後段の撮像素子部３０３へと導く。光学系駆動部３０５は、露出制御部１０９から送られてくる絞り制御値に基づいて、絞り３０２の開口面積を制御する。撮像素子部３０３は、撮像光学部３０１を通過した被写体光を光電変換し、電気信号に変換する。撮像素子部３０３は、ＣＣＤやＣＭＯＳなどから構成される。タイミング制御部３０６は、露出制御部１０９から送られてくるシャッタースピード制御値に基づいて、被写体光の露光時間（撮像素子部３０３の蓄積時間）を制御する。Ａ／Ｄ変換部３０４は、アナログ信号をディジタル信号に変換する。

図４を参照して、信号合成部１０４の構成例について詳しく説明する。信号合成部１０４は、階調表現レンジ拡張撮影モード処理の時に動作するブロックである。階調表現レンジ拡張撮影モード時では、撮像部１０１（図１参照）から露光量の異なった、短時間露光撮像画像信号と長時間露光撮像画像信号が連続して入力される。信号合成部１０４は、スイッチ４０１、４０４、合成レンジ補正部４０２、合成処理部４０３、画像記憶部４０５から構成されている。

スイッチ４０１は、スイッチ１１１（図１参照）から入力された撮像画像信号を、後述の合成レンジ補正部４０２と後述の合成処理部４０３のどちらに出力するかを切り替えるスイッチである。

合成レンジ補正部４０２は、スイッチ４０１から入力された撮像画像信号を合成レンジ制御部１０５から出力される制御量に応じて、撮像画像信号を補正する補正部である。

合成処理部４０３は、スイッチ４０１から直接もしくは、合成レンジ補正部４０２で補正された撮像画像信号と、後述の画像記憶部４０５からの撮像画像信号を、合成比率制御部１０６で算出された合成比率に応じて合成する処理部である。合成処理部４０３では、複数の撮像画像信号を合成し、一つの合成画像信号を出力する。但し、例外として後述の画像記憶部４０５にデータが入っていない場合、合成処理部４０３は入力される撮像画像信号が１つしかないため、合成画像信号を生成する処理は行われず、入力された撮像画像信号をそのまま出力する。

スイッチ４０４は、合成処理部４０３から出力された合成画像信号あるいは、合成処理部４０３に入力されて出力された撮像画像信号の出力先を、映像信号処理部１０２もしくは、後述の画像記憶部４０５に切り替えるスイッチである。

画像記憶部４０５は、スイッチ４０４から渡された、合成処理部４０３から出力された撮像画像信号もしくは、合成画像信号を記憶する記憶部である。

次に、信号合成部１０４を用いて撮像する露光時間が異なった２つの撮像画像信号、つまり短時間露光撮像画像信号と長時間露光撮影画像信号を合成する処理について説明する。

階調表現レンジ拡張撮影モード時には、図１の撮像部１０１は２つの異なる露出値で交互に連続して撮像し、２つの異なる撮像画像信号を出力する。より詳細には、例えば、図１の撮像部１０１では、短時間露光撮像画像信号が撮像される。短時間露光撮像画像信号はスイッチ４０１の切り替えにより、合成レンジ補正部４０２に入力される。合成レンジ補正部４０２によって補正された短時間露光撮像画像信号は、合成処理部４０３に入力される。この時点では、合成処理部４０３では、画像記憶部４０５に撮像画像信号のデータが記録されていないので合成処理を行わず、合成処理部４０３からは短時間露光撮像画像信号が出力される。この出力に対して、スイッチ４０４は画像記憶部４０５に接続を切り替え、短時間露光撮像画像信号は、画像記憶部４０５に記憶される。続いて、図１の撮像部１０１では、長時間露光撮像画像信号が撮像される。長時間露光撮像画像信号は、スイッチ４０１の切り替えにより、合成処理部４０３に入力される。このとき、画像記憶部４０５に記憶されている短時間露光撮像画像信号も合成処理部４０３に入力される。合成処理部４０３では、入力された２つの撮像画像信号を合成比率制御部１０６で演算される合成比率を基に合成する。最後に合成処理部４０３からの合成画像信号をスイッチ４０４の切り替えによって映像信号処理部１０２に出力する。

以上では、露光時間が異なった２つの撮像画像信号を合成する処理について説明した。しかし、信号合成部１０４では、３つ以上の露出の異なる撮像画像信号の合成処理も可能である。以下に、３つ以上の露出の異なる撮像画像信号の合成処理をする場合について説明する。まず、２つの撮像画像信号を合成した合成画像信号が、合成処理部４０３より出力されたとする。２つの撮像画像信号を合成する画像合成処理の方法は上述したとおりである。合成処理部４０３から出力された合成画像信号をスイッチ４０４において出力先を切り替えて、画像記憶部４０５に入力させる。最後に図１の撮像部１０１より撮像された３つ目の撮像画像信号と画像記憶部４０５からの合成画像信号を合成処理部４０３で合成し、新しく合成画像信号を出力する。このように３つ以上の撮像画像信号を合成する場合でも２つの撮像画像信号を合成する処理を順次繰り返すことにより実現可能である。

合成レンジ補正部４０２について詳しく説明する。合成レンジ補正部４０２では、合成処理部４０３で露光時間の異なった複数の撮像画像信号を合成処理するための前処理を行う。具体的には露光時間の異なった複数の撮像画像信号の信号レベル合わせと、階調表現幅の制御を行う。

図５（ａ）において、合成レンジ補正部４０２で行う露光時間の異なった複数の撮像画像信号の信号レベル合わせ方法について説明する。図５（ａ）の縦軸は撮像画像信号の信号強度、横軸は撮像される被写体の明るさを表す。また、実線は長時間露光撮像画像信号、点線は短時間露光撮像画像信号を表す。図５（ａ）の長時間露光撮像画像信号の場合は、被写体の明るさ０からＬｘ１までの間（すなわち所定値以下の第１領域）では被写体の明るさに応じて信号強度が変化しているため階調表現ができている。しかし、被写体の明るさＬｘ１からＬｘ４の間（すなわち所定値より大きい第２領域）で信号強度が変化せず一定になっており、撮像画像信号が表現できる信号強度が飽和してＬｘ１以降の階調表現ができていない。一方、短時間露光撮像画像信号の場合は、Ｌｘ１以降のＬｘ１〜Ｌｘ４までの間（すなわち所定値より大きい第２領域）でも被写体の明るさに応じて信号強度が変化しているため階調表現ができている。つまり、長時間露光撮像画像信号の飽和している領域Ｌｘ１以降に短時間露光撮像画像信号を適用することで、Ｌｘ１以降の階調表現幅の拡張した撮像画像信号を得ることができる。但し、長時間露光撮像画像信号と短時間露光撮像画像信号の露出値の差に応じたゲインを算出し、短時間露光撮像画像信号にゲインを掛け合わせる処理は必要となり、これを信号レベル合わせという。また逆に、高露光（長時間露光）の撮像画像信号にゲインを掛けて低露光（短時間露光）の撮像画像信号のレベルに合わせても良い。この処理によって、露光時間の異なった２つの撮像画像信号を合成することができる。

図５（ｂ）において、合成レンジ補正部４０２で行う階調表現幅の制御について詳しく説明する。横棒は図５（ａ）の被写体の明るさに対応した階調表現幅を表している。また、横棒の濃淡は長時間露光撮像画像信号と短時間露光撮像画像信号で表現できる階調表現幅を表している。

合成レンジ補正部４０２で行う階調表現幅の制御は、長時間露光撮像画像信号で飽和しているＬｘ１以降の信号強度を短時間露光撮像画像信号で置き換えて表現する信号強度の最大値を制限することで実現する。つまり、階調表現幅をあまり拡大したくない場合では、図５（ｂ）の（ｂ１）のように短時間露光撮像画像信号で表現する信号強度の最大値を小さく制限することで実現できる。

逆に、階調表現幅を大きく拡大したい場合では、図５（ｂ）の（ｂ３）のように短時間露光撮像画像信号の信号強度の最大値を短時間露光撮像画像信号の取りうる最大の信号強度とし、制限しないことで実現できる。

階調表現幅の制限方法についてはこの限りではなく、例えば短時間露光撮像画像信号の信号強度を表現する最大のビット幅を減少させて階調表現幅を制御することを行っても良い。

図６において、図１の合成比率制御部１０６での合成比率の制御を詳しく説明する。

図６の縦軸は、長時間露光撮像画像信号の合成比率を表しており、横軸は、被写体の明るさを表しており、図５（ａ）の横軸における被写体の明るさ０からＬｘ１の区間（すなわち所定値以下の第１領域）に対応する。

図１の合成比率制御部１０６では、撮像画像信号の画像内の被写体の明るさに応じて長時間露光撮像画像信号の合成比率を算出している。本実施例では、撮像画像信号の画像内の被写体の明るさは、撮像部１０１から出力される撮像画像信号の各画素における輝度値を算出し、各領域の被写体の明るさとしている。一方、短時間露光撮像画像信号の合成比率は、長時間露光撮像画像信号の合成比率との和が１になるように決定される。図４の合成処理部４０３では、２つの合成比率を基に信号が合成される。図６には（ｃ１）、（ｃ２）、（ｃ３）と３つの被写体の明るさに対応した合成比率が示されており、０からＬｘ１の区間内での長時間露光撮像画像信号の合成される割合が異なっていることを示す。長時間露光撮像画像信号は、短時間露光撮像画像信号に比べてＳＮが良い。長時間露光撮像画像信号の割合が多いほど０からＬｘ１の区間内のＳＮは良いといえるので、合成比率（ｃ１）、（ｃ２）、（ｃ３）において（ｃ１）が最もＳＮが高く、（ｃ３）が最もＳＮが低いといえる。従って、合成比率（ｃ１）、（ｃ２）、（ｃ３）を変更することによって図４の合成処理部４０３では０からＬｘ１の区間内のＳＮを変えた合成画像信号を生成することができる。また、図１の合成比率制御部１０６で算出する合成比率は、長時間露光撮像画像信号の合成比率を算出することに限ったものではなく、短時間露光撮像画像信号の合成比率を算出してもよく、また２つの撮像画像信号の合成比率を独立して求めてもよい。

以上で、合成レンジ補正部４０２で行う階調表現幅の制御と図１の合成比率制御部１０６での合成比率の制御を説明した。撮像画像信号の暗部（図５あるいは、図６の０〜Ｌｘ１区間内）では合成比率の制御、撮像画像信号の明部（図５のＬｘ１〜Ｌｘ４区間内）では階調表現幅の制御を行うことが望ましい。

信号強度が低い撮像画像信号の暗部では、短時間露光撮像画像信号は長時間露光撮像画像信号に比べると、信号強度とノイズのレベルが近いため、ＳＮが低い画質となる。そのため、撮像画像信号の暗部は、合成比率を変更し長時間露光撮像画像信号の合成割合を変えることでＳＮを調整することができる。

一方、信号強度が高い長時間露光撮像画像信号では、撮像画像信号の信号強度が飽和しやすく、明部の階調表現幅が潰れやすい。そのため撮像画像信号の明部は、階調表現幅を調整した短時間露光画像信号（３つ以上の露出の異なる撮像画像信号を合成する場合は、最小の露光量の撮像画像信号）に置き換えることによって明部の階調表現幅を表現することができる。

以上で、階調表現幅と合成比率の制御と短時間露光撮像画像信号と長時間露光撮像画像信号の合成処理について説明した。

次に、本発明の特徴的な動作である、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時において階調表現幅の制御方法について、全体の処理を図８のフローチャートを用いて説明する。なお、本実施例では、動画撮影時に通常撮影モードから階調表現レンジ拡張撮影モードに切り替わる際に行われる制御を例にして説明する。

前提として、図１の撮像部１０１は、適正の露光時間で撮像された適正時間露光撮像画像信号を取得しており、通常撮影モードで撮像されているものとする。

ステップ（以下、ステップをＳで表現する）８０１では、図１の撮影モード切り替え部１０３において、通常撮影モードと階調表現レンジ拡張撮影モードの切り替えを検出する。撮影モードが切り替えられたことが検出された場合、Ｓ８０２の処理に移る。

Ｓ８０２では、通常撮影モードから階調表現レンジ拡張撮影モードに切り替えられた後の露出値の変動量を、図１の露出変動検出部１１０で検出する。このとき、露出値差が１ＥＶ以上あるかどうかを判定し、１ＥＶ以上（所定値以上）あった場合はＳ８０３の処理に移る。１ＥＶ以上なかった（所定値より小さい）場合には、制御を行わずフローチャートを終了する。

Ｓ８０３では、図１の合成レンジ制御部１０５において、図５（ａ）で示される短時間露光撮像画像信号と長時間露光撮像画像信号の信号レベル合わせのゲインが算出され、Ｓ８０４の処理に移る。

Ｓ８０４では、図５（ｂ）で示される階調表現幅を図１の合成レンジ制御部１０５で算出する。図１の合成レンジ制御部１０５では、階調表現レンジ拡張撮影モードの前フレームで決定された階調表現幅に応じて階調表現幅を決定し、Ｓ８０５の処理に移る。例えば前フレームで図５（ｂ）の（ｂ１）の階調表現幅が選択されていない場合は、図５（ｂ）の（ｂ１）の階調表現幅が選択される。すなわち、通常撮影モードから階調表現レンジ拡張撮影モードに切り替えられた直後で、階調表現レンジ拡張撮影モードの前フレームが生成されてない場合は、図５（ｂ）の（ｂ１）の階調表現幅（最小の階調表現幅）が選択される。階調表現レンジ拡張撮影モードの前フレームが図５（ｂ）の（ｂ１）の階調表現幅が選択されていた場合には、図５（ｂ）の（ｂ２）の階調表現幅が選択される。階調表現レンジ拡張撮影モードの前フレームが図５（ｂ）の（ｂ２）の階調表現幅が選択されていた場合には、図５（ｂ）の（ｂ３）の階調表現幅（最大の階調表現幅）が選択される。この処理を繰り返して、階調表現レンジ拡張撮影モードの前フレームで選択された階調表現幅に応じて図５（ｂ）の（ｂ１）〜（ｂ３）へ選択される合成比率が変更される。本実施例においては、通常撮影モードから階調表現レンジ拡張撮影モードに切り替えられた場合は、時間の経過とともに図５（ｂ）の階調表現幅を（ｂ１）、（ｂ２）、（ｂ３）の順で徐々に（段階的に）大きく変化させている。ここでは、階調表現幅を前フレームで決定された階調表現幅に応じて（すなわち、１フレームごとに）変更する例を説明した。しかし、時系列的に階調表現幅が急激に変化して見えるような場合は、数フレーム待ったのち階調表現幅を変更するようにしてもよい。例えば、不図示のカウンタにより、フレーム数を例えば１０フレームカウントしたところで次の階調表現幅に変更するようにしてもよい。こうすることで、通常撮影モードと階調表現レンジ拡張撮影モードの切り替え時において、階調表現幅を徐々に変化させることにより、より画質変化の不自然さを低減させることができ、撮影者が違和感を持つことをなくすことができる。また、階調表現幅（ｂ１）、（ｂ２）、（ｂ３）は、露出値の変動量に応じてその大きさが変更される。例えば、露出値の変動量が異なる２つの場合を例として説明すると、露出値の変動量が大きい場合では露出値の変動量が小さい場合よりも合成レンジ制御部１０５が行う制御量は大きくなる。すなわち、合成レンジ制御部１０５は、露出値の変動量が大きい場合、露出値の変動量が小さい場合よりも階調表現幅の制御量（例えば（ｂ３）−（ｂ１）の幅）を大きくするように制御する。また、露出値の変動量が小さい場合、露出値の変動量が大きい場合よりも階調表現幅の制御量（例えば（ｂ３）−（ｂ１）の幅）を小さくするように制御する。

Ｓ８０５では、図６で示される合成比率を図１の合成比率制御部１０６で決定する。図１の合成比率制御部１０６では、階調表現レンジ拡張撮影モードの前フレームで決定された合成比率に応じて、合成比率を決定しＳ８０６の処理に移る。例えば前フレームで図６の（ｃ３）の合成比率が選択されていない場合は、図６の（ｃ３）の合成比率が選択される。すなわち、通常撮影モードから階調表現レンジ拡張撮影モードに切り替えられた直後で、階調表現レンジ拡張撮影モードの前フレームが生成されてない場合は、図６の（ｃ３）の合成比率（最小の合成比率）が選択される。階調表現レンジ拡張撮影モードの前フレームが図６の（ｃ３）の合成比率が選択されていた場合には、図６の（ｃ２）の合成比率が選択される。階調表現レンジ拡張撮影モードの前フレームが図６の（ｃ２）の合成比率が選択されていた場合には、図６の（ｃ１）の合成比率（最大の合成比率）が選択される。これの処理を繰り返して、階調表現レンジ拡張モードの前フレームで選択された合成比率に応じて（ｃ３）〜（ｃ１）へ選択される合成比率が変更される。本実施例においては、通常撮影モードから階調表現レンジ拡張撮影モードに切り替えられた場合は、時間の経過とともに図６の合成比率を（ｃ３）、（ｃ２）、（ｃ１）の順で徐々に（段階的に）大きく変化させている。ここでは、合成比率を前フレームで決定された合成比率に応じて（すなわち、１フレームごとに）変更する例を説明した。しかし、時系列的に階調表現幅が急激に変化して見えるような場合は、数フレーム待ったのち合成比率を変更するようにしてもよい。例えば、不図示のカウンタにより、フレーム数を例えば１０フレームカウントしたところで次の合成比率に変更するようにしてもよい。こうすることで、通常撮影モードと階調表現レンジ拡張撮影モードの切り替え時において、合成比率を徐々に変化させることにより、より画質変化の不自然さを低減させることができ、撮影者が違和感を持つことをなくすことができる。また、合成比率（ｃ１）、（ｃ２）、（ｃ３）は、露出値の変動量に応じてその比率が変更される。例えば、露出値の変動量が異なる２つの場合を例として説明すると、露出値の変動量が大きい場合では露出値の変動量が小さい場合よりも合成比率制御部１０６が行う制御量は大きくなる。すなわち、合成比率制御部１０６は、露出値の変動量が大きい場合、露出値の変動量が小さい場合よりも合成比率の制御量を大きく（例えば（ｃ３）の値を小さく）するように制御する。また、露出値の変動量が小さい場合、露出値の変動量が大きい場合よりも合成比率の制御量を小さく（例えば（ｃ３）の値を大きく）するように制御する。

Ｓ８０６では、Ｓ８０３〜Ｓ８０５で算出された階調表現幅と合成比率に応じて、短時間露光撮像画像信号と長時間露光撮像画像信号を図１の信号合成部１０４で合成し、合成画像信号を生成し、Ｓ８０７の処理に移る。

Ｓ８０７では、次の合成画像信号を生成するために、図１の撮像部１０１において低時間露光撮像画像信号と長時間露光撮像画像信号を撮像しＳ８０２の処理に移る。

Ｓ８０２〜Ｓ８０６のステップを繰り返し行い、Ｓ８０２のステップで露出差が１ＥＶ以下になった場合にフローチャートを終了する。

ここでは、Ｓ８０２で露出値差が所定の値、すなわち１ＥＶ以上あるかどうかで、フローチャートの処理を終了するとしたが、Ｓ８０２での処理終了条件として露出値差の所定の値を変更してもよい。

また、図８を用いて説明したフロー処理は、通常撮影モードからダイナミックレンジ拡大モードに移行したときに実行される処理について説明した。しかし、逆にダイナミックレンジ拡大モードから通常撮影モードに移行した場合に関しても階調表現幅が急激に変更しないように制御することも可能である。このとき、図８において変更される処理について説明する。

Ｓ８０４では、図１の合成レンジ制御部１０５の階調表現幅の決定に対して、図５（ｂ）の階調表現の幅が短くなるように選択を行うため、図５（ｂ）の階調表現幅に対して、（ｂ３）、（ｂ２）、（ｂ１）の順に決定されるように階調表現幅を決定する。

Ｓ８０５では、図１の合成比率制御部１０６の合成比率の決定に対して、ＳＮが低くなるように選択を行うため、図６の合成比率に対して、（ｃ１）、（ｃ２）、（ｃ３）の順に決定されるように合成比率を決定する。

本実施例では、説明の簡略化のため３段階での切り替えで説明したが、３つ以上の多段階で切り替えることにより、より滑らかに階調表現を切り替えることが可能となる。

実施例１では、通常撮影モードと階調表現レンジ拡張撮影モードの切り替え時において、階調表現幅の拡張又は縮小によって画質変化に違和感なく記録できる撮像装置について説明を行った。

しかしながら、通常撮影モードと階調表現レンジ拡張モードの切り替え時において、階調表現幅の拡張又は縮小による画質変化が大きく現れるほうが望ましい場合もある。

例えば、通常撮影モードと階調表現レンジ拡張撮影モードで撮影できる階調表現幅の違いを比較したい場合、つまり画像を記録せず図１の画像表示部１０８で確認するときにおける場合が考えられる（すなわちライブビュー表示確認）。

この場合には、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時では、時系列的な階調表現幅の変化は大きい方が好まれる。

また、通常撮影モードで動画を撮影している場合に、階調レンジ拡張撮影モードで静止画撮影を行う場合（動画記録時静止画記録撮影）も、撮影モードの切り替わり直後に、階調レンジ拡張撮影モードの撮りうる最大の階調表現幅で記録できることが好まれる。

そこで実施例２では、通常撮影モードと階調表現レンジ拡張撮影モードの変更時に、撮影方法と露出変動量に応じて、時系列的な階調表現幅の拡大変化を実施例１より大きくするように変更する。換言すれば、本実施例では、実施例１よりも、異なる露出値で撮影された複数の撮像画像信号を合成して合成画像信号を生成する画像合成手段の階調制御の時定数を小さくする。

図９は、本発明における実施例２の撮像装置の構成例を示すブロック図である。以下、実施例２の構成例について図９を参照して説明する。尚、実施例１の構成例図１と同じ符号のものについては本発明実施例１と同様の操作、処理を行い説明は省略する。

９０１は、本撮像装置を用いた撮影方法を切り替える処理を行う撮影方法切り替え部である。

ここでいう撮影方法の１つとしては、例えば、映像信号処理部１０２で処理された出力映像信号を出力画像表示部１０８によって、リアルタイムで表示するライブビュー表示撮影方法がある。また、動画記録撮影方法時に静止画として出力映像信号記録部１０７に記録する動画記録時静止画記録撮影方法もある。このように本撮像装置を用いた撮影方法には様々な撮影方法がある。

９０２は、露出制御部１０９から出力された露出値と露出変動検出部１１０から出力された露出変動値と、撮影方法切り替え部９０１から出力される現在の撮影方法情報に基づいて、信号レベル合わせと階調拡大幅を決定する合成レンジ制御部である。

以下に、通常撮影モードから階調表現レンジ拡張撮影モードの切り替わりにおいての階調拡大幅を決定する方法について説明する。

合成レンジ制御部９０２で決定される階調表現幅の制御は、図５（ｂ）で示される図５（ｂ）の（ｂ１）、（ｂ２）、（ｂ３）である。但し、実施例１とは、図５（ｂ）の（ｂ１）および（ｂ２）の階調表現幅の最大値がそれぞれ異なっている。つまり、本実施例（例えばライブビュー表示撮影方法）においては、図５（ｂ）の（ｂ１）および（ｂ２）の階調表現幅の最大値は、実施例１（例えば動画記録撮影方法）における（ｂ１）および（ｂ２）の階調表現幅の最大値よりも大きく設定される。

ただし、露出変動検出部１１０から出力された露出変動値の大きさによって図５（ｂ）の各（ｂ１）、（ｂ２）、（ｂ３）それぞれの階調表現幅の最大値は制限される。

例えば、本実施例の（ｂ１）の階調表現幅の最大値は、実施例１の（ｂ２）を超えないように制限され、また、本実施例の（ｂ２）の階調表現幅の最大値は、実施例１の（ｂ３）を超えないように制限される。

また、通常撮影モードから階調レンジ拡張撮影モードの切り替え時には、階調表現幅は広がるので、階調表現幅の最大値の制限値を、露出変動値が大きい程、大きくするように制限してもよい。具体的には、実施例１の図５（ｂ）の（ｂ１）、（ｂ２）、（ｂ３）の選択方法を変更することで実現する。

例１として、ライブビュー表示確認方法の場合には、実施例１における図５（ｂ）の（ｂ１）を選択せずに、（ｂ２）と（ｂ３）の２段階の階調表現幅の変更を行うようにする。このように変更することで、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時の時系列的な階調拡大幅の変化が大きくなるように制御する。

但し、２段階に限ったわけではなく、１段階の階調表現幅の変更を行うように制御しても良い。

例２として、動画記録時静止画記録撮影方法の場合には、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時の時系列的な階調表現幅の変化を行わないように制御する。つまり、実施例１における図５（ｂ）の（ｂ１）、（ｂ２）の階調表現幅の制御を行わず、階調表現幅は（ｂ３）を選択するように制御する。つまり、階調表現レンジ拡張撮影モードで表現できる最大の階調表現幅で記録できるように制御する。

次に、９０３は、露出変動検出部１１０からの出力された露出変動値と、撮影方法切り替え部９０１から出力される現在の撮影方法情報に基づいて、撮像画像信号の合成比率を算出する合成比率制御部である。

以下に、通常撮影モードから階調表現レンジ拡張撮影モードの切り替わりにおいての階調拡大幅を決定する方法について説明する。

合成比率制御部９０３で決定される撮像画像信号の合成比率は、図６の（ｃ１）、（ｃ２）、（ｃ３）である。但し、実施例１とは、図６の（ｃ３）および（ｃ２）の合成比率の最大値がそれぞれ異なっている。つまり、本実施例（例えばライブビュー表示撮影方法）においては、図６の（ｃ３）および（ｃ２）の合成比率の最大値は、実施例１（例えば動画記録撮影方法）における（ｃ３）および（ｃ２）の合成比率の最大値よりも大きく設定される。

ただし、露出変動検出部１１０から出力された露出変動値の大きさによって図６の各（ｃ１）、（ｃ２）、（ｃ３）それぞれで合成比率の最大値は制限される。

例えば、本実施例の（ｃ３）の合成比率の最大値は、実施例１の（ｃ２）を超えないように制限され、また、本実施例の（ｃ２）の合成比率の最大値は、実施例１の（ｃ１）を超えないように制限する。

また、通常撮影モードから階調表現レンジ拡張撮影モードへの切り替わりでは、撮像画像信号の階調表現幅は広がる方向に変化するので、合成比率の最大値の制限値を、露出変動値が多くするようにしてもよい。具体的には、実施例１の図６の（ｃ１）、（ｃ２）、（ｃ３）の選択方法を変更することで実現する。

例１として、ライブビュー表示確認方法の場合には、実施例１における図６の（ｃ３）を選択せずに、（ｃ２）と（ｃ１）の２段階の合成比率の変更を行うようにする。このように変更することで、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時の時系列的な階調拡大幅の変化が大きくなるように制御する。

但し、２段階に限ったわけではなく、１段階の合成比率の変更を行うように制御しても良い。

例２として、動画記録時静止画記録撮影方法の場合には、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時の時系列的な合成比率の変化を行わないように制御する。具体的には、実施例１における図６の（ｃ２）、（ｃ３）による合成比率の制御を行わず、合成比率は（ｃ１）を選択するように制御する。つまり、階調表現レンジ拡張撮影モードで表現できる最大の合成比率で記録できるように制御する。

以上で、撮影方法情報と、露出変動値に応じた階調表現幅の制御と合成比率の制御について説明した。

以下は実施例２の撮像装置に関して、通常撮影モードと階調表現レンジ拡張撮影モードの切り替わり時において、撮影方法と露出変動値に応じて時系列的な階調表現幅の拡大変化を変更する処理について説明する。

全体の処理を図１０のフローチャートを用いて説明する。前処理として、図９の撮像部１０１は、適正時間露光撮像画像信号を取得しており、通常撮影モードで撮像されているとする。尚、本発明実施例１の構成例と同じ符号のものについては実施例１と同様の操作、処理を行い説明は省略する。

まず、Ｓ８０１とＳ８０２では、図８のＳ８０１とＳ８０２と同じ処理を行い、Ｓ１００１の処理に移る。

次に、Ｓ１００１では、図９の撮影方法切り替え部９０１は、通常撮影モードから階調表現レンジ拡張撮影モードに切り替わった時、現在の撮影方法を検出し、Ｓ８０３の処理に移る。

Ｓ８０３では、図８のＳ８０３と同じ処理を行い、Ｓ１００２の処理に移る。

Ｓ１００２では、図９の合成レンジ制御部９０２で、上述した露出変動値と現在の撮影方法に応じて階調表現幅の拡張を決定し、図９の信号合成部１０４のＳ１００３の処理に移る。

Ｓ１００３では、図９の合成比率制御部９０３で、上述した露出変動値と撮影方法に応じて合成比率を算出し、図９の信号合成部１０４に渡してＳ８０６の処理に移る。

以下Ｓ８０６以降の処理は、図８のＳ８０６以降の処理と同様の処理を行う。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、動画撮影中にＨＤＲ画像を生成可能なデジタルカメラあるいはビデオカメラなどの撮像装置に好適に利用できる。また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含する。

１０１ 撮像部
１０３ 撮影モード切り替え部
１０４ 信号合成部
１０５ 合成レンジ制御部
１０６ 合成比率制御部
１０９ 露出制御部

Claims (13)

1. 撮影光学系を介した被写体光を光電変換して画像信号を生成する撮像手段と、
   前記撮像手段の露出値を制御する露出制御手段と、
   前記露出制御手段によって制御される異なる複数の露出値で前記撮像手段により撮像された複数の画像信号を合成して階調表現レンジの拡張された合成画像信号を生成する画像合成手段と、
   通常撮影モードと、前記合成画像信号を生成する階調表現レンジ拡張撮影モードとを切り替える撮影モード切り替え手段と、を有し、
   前記画像合成手段は、動画撮影中に前記撮影モード切り替え手段によって撮影モードが切り替えられるときに、前記画像合成手段による合成に用いられる複数の画像信号のうち最小の露出値で撮像された画像信号の階調表現幅を変更することによって、前記合成画像信号の階調表現幅を段階的に変更することを特徴とする撮像装置。
2. 前記画像合成手段は、前記通常撮影モードから前記階調表現レンジ拡張撮影モードに切り替えられたときに、前記合成画像信号の階調表現幅を段階的に大きくするように変更し、前記階調表現レンジ拡張撮影モードから前記通常撮影モードに切り替えられたときに、前記合成画像信号の階調表現幅を段階的に小さくするように変更することを特徴とする請求項１に記載の撮像装置。
3. 前記画像合成手段は、前記合成画像信号の生成に用いる前記画像信号の画像内の被写体の明るさが所定値より小さい第１領域においては、前記複数の画像信号の合成比率を変更し、前記被写体の明るさが所定値より大きい第２領域においては、前記複数の画像信号のうち最小の露出量で撮像された画像信号の階調表現幅を変更することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮影モード切り替え時に前記露出制御手段の露出値の変動を検出する露出変動検出手段をさらに有し、
   前記画像合成手段は、前記露出変動検出手段が検出する前記露出値の変動量に応じて、前記合成画像信号の階調表現幅を段階的に変更することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記画像合成手段は、前記露出値の変動量が所定値以上のとき、前記合成画像信号の階調表現幅を段階的に変更することを特徴とする請求項４に記載の撮像装置。
6. 前記画像合成手段は、前記露出値の変動量が所定値より小さいとき、前記合成画像信号の階調表現幅を変更しないことを特徴とする請求項４に記載の撮像装置。
7. 前記画像合成手段は、前記撮影モード切り替え時に、現在の撮影方法に応じて前記画像合成手段の階調制御の時定数を変更することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記現在の撮影方法がライブビュー表示撮影方法であるときに、前記現在の撮影方法が動画記録撮影方法である場合よりも、前記画像合成手段の階調制御の時定数を小さくすることを特徴とする請求項７に記載の撮像装置。
9. 前記現在の撮影方法が動画記録撮影方法時における静止画記録撮影方法であるときに、前記画像合成手段の階調制御の時定数を最小にすることを特徴とする請求項７に記載の撮像装置。
10. 撮影光学系と、
    請求項１から９のいずれか１項に記載の撮像装置と、を有することを特徴とするカメラシステム。
11. 撮影光学系を介した被写体光を光電変換して画像信号を生成する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段の露出値を制御する露出制御ステップと、
    前記露出制御ステップにて制御される異なる複数の露出値で前記撮像手段により撮像された複数の画像信号を合成して階調表現レンジの拡張された合成画像信号を生成する画像合成ステップと、
    通常撮影モードと、前記合成画像信号を生成する階調表現レンジ拡張撮影モードとを切り替える撮影モード切り替えステップと、を有し、
    前記画像合成ステップでは、動画撮影中に前記撮影モード切り替えステップによって撮影モードが切り替えられるときに、前記画像合成ステップによる合成に用いられる複数の画像信号のうち最小の露出値で撮像された画像信号の階調表現幅を変更することによって、前記合成画像信号の階調表現幅を段階的に変更することを特徴とする撮像装置の制御方法。
12. 請求項１１に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
13. コンピュータに、請求項１１に記載の撮像装置の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。