JP6223028B2 - 撮像装置、制御方法及びそのプログラム - Google Patents

Description

本発明は、露出の異なる複数の画像を合成することでダイナミックレンジの拡大処理をおこなう撮像装置とその制御方法およびプログラムに関し、特に、ダイナミックレンジ拡大処理を適用した動画の取得に関する。

従来、撮像装置において、ダイナミックレンジを拡大する技術として、同一シーンで露出量が異なる複数の画像を取得し、該複数の画像を合成するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成という技術が一般的に知られている。

このＨＤＲ合成のための処理（以下、ＨＤＲ合成処理と称す）としては、まず、被写体の測光結果に応じた露出（適正露出）条件の画像を取得する。そして、該適正露出の露出量より相対的に露出量の少ない露出（アンダー露出）条件、及び相対的に露出量の多い露出（オーバー露出）条件で撮影した画像の一方、若しくはその双方を取得する。その後、取得した露出量の異なる画像同士を合成することで広いダイナミックレンジを有する画像を取得することが出来る。

以上の構成を動画に適用した、いわゆる動画ＨＤＲの技術として、特許文献１には露出量の異なる画像を周期的に取得し、各画像を撮像装置内部で合成し連続的に出力することが可能な撮像装置について提案されている。

特公平０７−０９７８４１号公報

しかしながら、特許文献１には、被写体の輝度が変化した場合に、該輝度の変化に追従するための露出制御（以下、被写体の輝度変化に応じた露出制御と称す）については記載されていない。

更に、動画ＨＤＲでは、露出量の異なる複数の画像（以下、被合成画像と称す）同士を合成するために、被合成画像間に露出差を生じさせる制御（以下、露出差制御と称する）をおこなう。

以上説明した、被写体の輝度変化に応じた露出制御と露出差制御は、絞り値、蓄積時間、ＩＳＯ感度のパラメータの内の何れかを変化させることでおこなわれる。

この際、撮影後の動画に求める品質によって、それぞれの露出制御に使用するパラメータの使用頻度は異なる。例えば、被写界深度が頻繁に変わることを抑制したい場合、絞り値を変化させることによる露出制御の頻度を減らすことが望ましい。

即ち、撮影したい動画の品質によって、動画撮影中に変化させたくないパラメータは異なる。

ここで、動画ＨＤＲにおいて、絞りと蓄積時間を極力変化させずに、ＩＳＯ感度によって露出差制御をおこなう場合を考える。

この場合、露出差制御に使用したＩＳＯ感度の分だけ、ＩＳＯ感度によって被写体の輝度変化に応じた露出制御が可能な範囲（以下、露出制御範囲と称す）は減少してしまう。

そして、ＩＳＯ感度による露出制御範囲が減少した分、輝度変化に応じた露出制御において絞りや蓄積時間を変化させて露出制御をおこなう頻度が増加する可能性がある。

即ち、被合成画像間の露出差制御に使用しないパラメータによって輝度変化に応じた露出制御をおこなう頻度が動画ＨＤＲ時には増加してしまうため、意図した品質の動画が取得できない可能性がある。

本発明の目的は、ダイナミックレンジ拡大処理を適用する動画の撮影中に、被合成画像間の露出差制御に使用しないパラメータによって、輝度変化に応じた露出制御をおこなう頻度が増加することを抑制することが可能な撮像装置を提供するものである。

上記目的を達成するための本発明としての撮像装置は、被写体を撮像して画像を出力する撮像手段を備えた撮像装置であって、前記撮像手段によって、合成に用いる露出量の異なる複数の画像を周期的に連続して出力させる第１のモードと、前記第１のモードとは異なる第２のモードとを切り替え可能な制御手段と、被写体の輝度変化に追従した露出量の変更をおこなわない不感帯を決定する不感帯決定手段と、を有し、前記不感帯決定手段は、前記第１のモードにおける前記不感帯の幅を前記第２のモードにおける前記不感帯の幅よりも広い幅に決定することを特徴とする。

本発明によれば、ダイナミックレンジ拡大処理を適用した動画撮影中に、被合成画像間の露出差のための露出制御に使用しないパラメータによって、被写の輝度変化に応じた露出制御をおこなう頻度が増加することを抑制することができる。

本発明の第１実施形態に係る撮像装置の構成例を示す図である。 本発明の第１実施形態に係る映像信号処理部の構成例を示す図である。 本発明の第１実施形態に係る撮像装置の撮影処理の例を説明するフローチャートである。 本発明の第１実施形態に係る撮像装置の露出制御に関するプログラムを例示的に説明するプログラム線図である。 本発明の第１実施形態に係る撮像装置の露出差制御によって出力される画像を例示的に説明する図である。 本発明の第１実施形態に係る撮像装置の露出制御における輝度不感帯を例示的に説明する図である。 本発明の第２実施形態に係る撮像装置の通常動画モード時での、所定の時刻における被写体輝度と露出量の変化を例示的に説明した図である。 本発明の第２実施形態に係る撮像装置の動画ＨＤＲモードでの、所定の時刻における被写体輝度と露出量の変化を例示的に説明した図である。 本発明の第２実施形態に係る撮像装置の撮影処理の例を説明するフローチャートである。

（第１実施形態）
以下、本発明の実施形態について図１、図２を参照して説明する。図１は本実施形態に係る撮像装置であるカメラ１００の構成例を示したブロック図である。

本実施形態においてカメラ１００は、被写体の光学像をカメラ１００内の各部へと導くレンズと、該レンズを取り外し可能に設けられたカメラ本体とからなる撮像装置である。尚、カメラ１００は上述のものに限定されるものではなく、例えば、レンズとカメラ本体とが一体構造となっているような撮像装置であってもよい。

レンズ１０１は、フォーカスレンズやズームレンズなどを含む複数のレンズからなるレンズ群であり、入射した被写体の光学像を撮像素子１０５へと導く。

絞り１０２はレンズ１０１を介して入射する光量を調節する光量調節部材である。

レンズ制御部１４１は、レンズ１０１、絞り１０２の駆動を制御することにより、ズーム、フォーカス、絞りなどの制御を実行する。また、レンズ１０１は、レンズマウント１０３を介してレンズとカメラ本体とがそれぞれ取り外し可能に設けられている。

シャッタ１０４は、撮像素子１０５の状態を露光状態と遮光状態とに適宜切換え可能なシャッタである。

シャッタ制御部１４２は、シャッタ１０４の駆動を制御することにより、撮像素子１０５を前述した露光状態と遮光状態とに切り替える制御をおこなう。

撮像素子１０５は、ＣＣＤやＣＭＯＳなどの電荷蓄積型のイメージセンサである。ここで、撮像素子１０５は、レンズ１０１によって導かれた被写体の光学像に応じて、アナログ画像データを出力する。更に、撮像素子１０５は、蓄積した電荷のリセットタイミングを変更することによって、蓄積時間を調整できる。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６では、撮像素子１０５から出力されたアナログ画像データに対して、ゲイン調整、サンプリング、Ａ／Ｄ変換等を行い、デジタル画像データとして画像データを映像信号処理部１２１へと出力する。尚、撮像素子１０５やＡＦＥ１０６などが本実施形態における撮像手段である。そして、後述する露出制御のうち、絞り値と蓄積時間の変更は撮像素子１０５による電荷蓄積前に行われ、ＩＳＯ感度の変更は撮像素子１０５での電荷蓄積後にＡＦＥ１０６によってゲイン調整がされることで行われる。

次に、図２を参照して本実施形態に係る映像信号処理部１２１を説明する。同図は映像信号処理部１２１の構成例を示したブロック図である。映像信号処理部１２１は、ＡＦＥ１０６から出力されたデジタル画像データに対して種々の画像処理を実行する。以下、映像信号処理部１２１の内部の構成と各部の動作について説明する。

映像信号処理部１２１の内部には、測光演算部２０１、露出制御部２０２、現像処理部２０３、メモリインターフェイス２０４、合成部２０５、動画エンコード処理部２０６が備えられている。

測光演算部２０１は、ＡＦＥ１０６から出力されたデジタル画像データに基づいて被写体の明るさを測光し、被写体の輝度（被写体輝度）を算出する。

露出制御部２０２では、測光演算部２０１で求めた被写体輝度に応じて露出条件（露出量）を算出する。尚、露出条件の算出は後述の図４のプログラム線図に基づいておこなわれる。算出した露出条件は、メモリインターフェイス２０４とバス１５０を介してカメラ１００内の各部に伝達される。そして、伝達された露出条件に応じてカメラ１００内の各部を駆動し、被写体輝度に対する露出制御をおこなうことが可能である。

尚、露出制御部２０２は、本実施形態における、動画ＨＤＲモードで露出差制御をおこない被合成画像間の露出量の差（露出差）の設定をおこなう露出差設定手段でもある。更に、露出制御部２０２は、本実施形態における、動画ＨＤＲモードで被写体の輝度変化に追従して露出条件（露出量）を変化させない範囲である不感帯の幅を決定する不感帯決定手段でもある。以上の点については図３を参照して後述する。

現像処理部２０３は、ＡＦＥ１０６によってデジタル変換された画像データに対して、ホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換等の処理を実行する。そして、上述の処理の結果をメモリインターフェイス２０４とバス１５０を介して映像信号処理部１２１の外部に接続されたメモリ１３２へと出力する。

尚、本実施形態では後述するＨＤＲ合成処理のために、撮像素子１０５によって被合成画像それぞれの画像データを取得する。そして、現像処理部２０３において被合成画像それぞれに対して上述した各種の処理をおこないメモリ１３２へと結果が出力される。被合成画像の取得方法については図３を参照して後述する。

メモリインターフェイス２０４は、バス１５０を介してメモリ１３２と接続されており、メモリ１３２に記憶された映像信号処理部１２１の内部で使用するデータの取得、および出力を行う。

メモリ１３２は本実施形態において使用される種々のデータの記憶と、図３などで後述するカメラ１００の撮影処理に応じて出力されるデータの保存をおこなうための記憶部である。例えば、タイミング発生部１４３における各部の駆動タイミングや種々の露出条件、カメラ１００内の処理で使用する算出式、図３に示すフローと同様の動作を指示するためのプログラムなどのデータがメモリ１３２に記憶されている。

合成部２０５は、本実施形態におけるダイナミックレンジ拡大手段であって、現像処理部２０３が出力した露出量の異なる複数の画像データをメモリ１３２から読出し、ＨＤＲ合成処理を行った後にメモリ１３２に合成データを出力する。

動画エンコード処理部２０６は、合成部２０５が出力した合成データをメモリ１３２から読出し、エンコード処理をおこない動画像データを生成し、メモリ１３２へと結果を出力する。即ち、映像信号処理部１２１から入力されるデータ、及び出力されるデータは、メモリインターフェイス２０４を介してメモリ１３２の内部に記憶される。以上が本実施形態における映像信号処理部１２１の構成である。

図１に戻り、タイミング発生部１４３は、撮像素子１０５、ＡＦＥ１０６、映像信号処理部１２１それぞれについて、動作のタイミングを制御する。

バス１５０には前述した構成部以外にレンズ制御部１４１、シャッタ制御部１４２、電源１１０、メモリ１３２、表示制御部１５１、カード入出力部１７１、そして、各種のスイッチ類が接続される。

尚、上述の各種のスイッチ類とは、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、ライブビュー開始／終了ボタン１６４、動画記録開始／終了ボタン１６５、上下左右選択ボタン１６６、決定ボタン１６７である。

電源１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。

表示制御部１５１は、バス１５０を介してタイミング発生部１４３からの信号に応じて、メモリ１３２に保存された表示用画像データをＤ／Ａ変換部１５２においてデジタル画像データから表示用のアナログ画像データへと変換する。変換されたアナログ画像データは、液晶表示素子からなるＴＦＴなどの表示部１５３、若しくはＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５などのケーブルを介して外部に設けられた外部表示部（不図示）へと表示用のアナログ画像データを出力する。

尚、デジタル画像データが記憶されているメモリ１３２内部の領域をＶＲＡＭと呼ぶ。表示制御部１５１が、メモリ１３２のＶＲＡＭを読み出し前述の処理をおこなうことで、表示部１５３に表示用のアナログ画像データが更新される。そして、上述の動作を連続的におこない表示部１５３に表示画像が更新され続けることによって動画の表示が可能となる。

カードスロット１７２は、例えばＳＤカード等の着脱可能な記録媒体１７３を差し込み可能である。そして、記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。この状態で、メモリ１３２に記録されている画像データを記録媒体１７３へと記録することが可能である。また、記録媒体１７３の内部に記録されたデータをカメラ１００で読み出すことも可能である。

ＣＰＵ１３１は、バス１５０を介して上述したようなカメラ１００内の各部へと接続されており、カメラ１００内の各部を統括的に制御する制御部である。本実施形態では、ＣＰＵ１３１は、レンズ制御部１４１、シャッタ制御部１４２、タイミング発生部１４３、映像信号処理部１２１、表示制御部１５１に対して、カメラ１００内の各部の制御を指示する。尚、上述したような制御部や処理部を設けずに、ＣＰＵ１３１がカメラ１００内の各部の駆動を制御するような構成であっても良い。また、ＣＰＵ１３１を設けずに上述した制御部や処理部がそれぞれ連動して制御（処理）をおこなうことでカメラ１００内の各部の駆動を制御するような構成であってもよい。

（装置の基本動作）
以下、本実施形態に係る撮像装置であるカメラ１００の基本動作について図１を参照して説明する。まず、ユーザによりメインスイッチ１６１がオンされることで、電源１１０はカメラ１００を構成する各部へと電源を供給する。

次に、カメラ１００を構成する各部へと電源の供給がなされると、シャッタ制御部１４２を駆動することでシャッタ１０４を開き、撮像素子１０５に、レンズ１０１によって導かれた被写体の光学像を結像される。また、表示部１５３に各種のパラメータを設定するためのグラフィカルインターフェース（以下、ＧＵＩと称する）が表示する。

次に、第１レリーズスイッチ１６２はレリーズボタン（不図示）の第１ストローク（半押し状態）でオンとなり、被写体の撮影準備を開始する。ここで、撮影準備の詳細としては、レンズ制御部１４１によるレンズ１０１と絞り１０２の駆動制御によって前述したフォーカス、ズーム、絞りなどの制御を必要に応じて実行する。

次に、第２レリーズスイッチ１６３は、レリーズボタン（不図示）の第２ストローク（全押し状態）でオンとなる。この状態で、シャッタ制御部１４２とタイミング発生部１４３によって、メモリ１３２の内部に記憶されている蓄積の開始タイミングに基づいてシャッタ１０４の駆動（開閉）を制御する。そして、シャッタ１０４の駆動（開閉）によって、被写体の像が撮像素子１０５上に所定の蓄積時間で撮像される。

次に、上下左右選択ボタン１６６、決定ボタン１６７をユーザが操作することによって、ＧＵＩに表示された各種のパラメータの選択と設定を行うことが可能である。また、ＨＤＲ合成処理をおこなわない動画撮影モード（通常動画モード）とＨＤＲ合成処理をおこなう動画撮影モード（動画ＨＤＲモード）のいずれかに切替え設定することができる。

尚、本実施形態において通常動画モード（第２のモード）と、動画ＨＤＲモード（第１のモード）との切替えは、上述したスイッチ類の操作に応じて、ＣＰＵ１３１が、カメラ１００内の各部の設定変更を指示することで実現される。

次に、ユーザによりライブビュー開始／終了ボタン１６４が押されると、撮像素子１０５から定期的（例えば１秒に６０回）に画像データが取り込まれ、各種処理を実行した後にメモリ１３２のＶＲＡＭへ配置する。これにより、撮像素子１０５から取り込んだ画像を表示部１５３に逐次表示（ライブビュー）することができる。尚、ライブビューは釦等により指示するのではなく、メインスイッチ１６１のオンと同時に開始されるような構成であっても良い。

次に、ライブビュー中にユーザが動画記録開始／終了ボタン１６５を押すと、動画の記録が開始または終了される。尚、本実施形態では、ライブビュー中に動画記録開始／終了ボタン１６５を押すことで動画記録の開始または終了をおこなうが、これに限定されるものではない。例えば、ライブビューされていない状態で、動画記録開始／終了ボタン１６５を押すことにより、表示部１５３へのライブビューを開始するとともに動画記録の開始をおこなうような構成でも良い。以上が本実施形態におけるカメラ１００の基本動作である。

（撮影処理）
以下、本実施形態に係る撮影処理を図３に示すフローを参照して説明する。尚、以下のフローにおける各処理の結果は、メモリ１３２に一時的に保存され、必要な際にはメモリ１３２から適宜出力されるものとする。

ステップＳ１００で撮影処理が開始され、ステップＳ１０１でＣＰＵ１３１は、ユーザによって選択されたモードが動画ＨＤＲモード（第１のモード）であるか否かを判定する。動画ＨＤＲモードでないと判定された場合、通常動画モード（第２のモード）であるとＣＰＵ１３１が判定しステップＳ１０２へと進む。また、動画ＨＤＲモードであると判定された場合、ステップＳ１１２へと進む。

（通常動画モードの撮影処理）
以下、通常動画モード（第２のモード）の撮影処理を説明する。ステップＳ１０２で露出制御部２０２は、メモリ１３２から図４（Ａ）に示す通常動画用のプログラム線図を読み出し、通常動画モードの撮影処理を開始する。

尚、図４（Ａ）は通常動画撮影モード用のプログラム線図の例を示しており、絞り、蓄積時間、ＩＳＯ感度による露出制御と被写体輝度との関係を示したプログラム線図である。ここで、上側の横軸と左側の縦軸は被写体輝度、下側の横軸は蓄積時間およびゲイン（ＩＳＯ感度）、右側の縦軸は絞り値を示している。尚、本実施形態において露出制御は前述したように、被写体の輝度変化に応じて絞り値、蓄積時間、ＩＳＯ感度の３つのパラメータを変化させることでおこなわれる。

一般的に動画では、動画の品質を維持するために絞り駆動の回数を少なくし、高速秒時を避けた蓄積時間と、高いＩＳＯ感度の使用を避けることが望ましい。そこで、本実施形態では図４（Ａ）のプログラム線図を用いて、露出量を多く（大きく）する場合は、実線に沿って露出制御し、露出量を少なく（小さく）する場合は、破線に沿って露出制御をおこなう。

図３のフローに戻り、ステップＳ１０３で撮像素子１０５は、メモリ１３２から予め決められた露出量（露出条件）で予備画像の撮像をおこなう。尚、予備画像の露出条件は一般的なものであればどのようなものであってもよい。また、本実施形態において、予備画像は後述する測光演算に使用するだけなので保存はしないが、メモリ１３２へ保存をするような構成であっても良い。

次に、ステップＳ１０４で測光演算部２０１は、先に取得した予備画像の測光演算をおこなう。そして、露出制御部２０２は、該測光演算により算出した被写体輝度に対応する露出量である目標露出を算出する。尚、算出した被写体輝度はメモリ１３２に保存され、該被写体輝度とメモリ１３２の内部に記憶された露出条件とを比較することで目標露出を算出するような構成であってもよい。
ここで、本実施形態において目標露出とは、測光演算の結果から算出される被写体の平均的な明るさに対する露出量である。本実施形態では、先に説明したように図４（Ａ）に示すプログラム線図に基づいて目標露出の算出をおこなう。

次に、ステップＳ１０５で露出制御部２０２は、露出量の輝度変化に対する不感帯（輝度不感帯）を決定する。一般的に動画では、目標露出に実際の撮影に用いる露出量である撮影露出を追従させて露出制御をおこなう。しかしながら、目標露出に対する撮影露出の追従を過度におこなうことで露出量が頻繁に変化してしまう。従って、撮影される動画は不自然なものとなり、品位も低下してしまう。

そこで、本実施形態では上述の問題を防止するために撮影露出を基準とした所定範囲を、被写体の輝度変化に追従した露出量の変更をおこなわない輝度の範囲として輝度不感帯を設ける。そして、輝度不感帯（の幅）に目標露出に対応する輝度が含まれるか否かを判定し、判定の結果によって被写体の輝度変化に応じた露出制御を行い撮影露出を変更するか否かを決定する。

詳細としては、撮影露出に対応する輝度を基準とした所定範囲が輝度不感帯であるが、本実施形態では便宜的に撮影露出を基準とした所定範囲を輝度不感帯と称する。尚、本実施形態における輝度不感帯としては、被写体の輝度変化に応じて露出量を変化させない輝度の範囲に対応する露出量の範囲であっても良い。その場合の輝度不感帯の中心位置は撮影露出となり、撮影露出を基準とした輝度不感帯の幅に目標露出が含まれるか否かで撮影露出の変更をおこなう。

また、本実施形態において、輝度不感帯の幅は撮像素子１０５のダイナミックレンジや測光演算部２０１が出力する演算精度、現像処理部２０３のγ変換パラメータ等から決定するがこれに限定されるものではない。例えば、露出量が過度に変化しないような幅であれば輝度不感帯の幅はどのように決定してもよい。

更に、本実施形態では、撮影露出に対する輝度の位置を輝度不感帯の中心位置とする構成であるがこれに限定されるものではなく、輝度不感帯の中心位置を撮影露出とは異なる位置に決定するような構成であってもよい。例えば、被写体の輝度変化の指向が高輝度側なのか低輝度側なのかを判定し、該判定の結果に応じて輝度不感帯の中心位置を決定（変更）するような構成であってもよい。

図３のフローに戻り、ステップＳ１０６で露出制御部２０２は、先に算出した目標露出が輝度不感帯に含まれる否かを判定する。そして、目標露出が輝度不感帯内である場合はステップＳ１０８へと進む。目標露出が決定した輝度不感帯内でない場合、ステップＳ１０７でＣＰＵ１３１は、カメラ１００内の各部の駆動を指示し、撮影露出を変更する。この際、撮影露出の変更は、本実施形態における露出変更手段である絞り１０２やシャッタ１０４の駆動とＡＦＥ１０６内部における処理を制御し、絞り値、蓄積時間、ＩＳＯ感度を変更することでおこなう。

次に、ステップＳ１０８で撮像素子１０５は、設定された撮影露出で被写体の撮像をおこない画像データを出力する。

次に、ステップＳ１０９で表示部１５３は、出力した画像データを表示画像として表示することでライブビューの更新をおこなう。尚、撮影処理の開始後、初めての処理である場合はライブビューを開始する。

次に、ステップＳ１１０でＣＰＵ１３１は、撮影処理を終了するか否かの判定をおこない、終了する場合はＳ１１１へと進み撮影処理を終了し、ライブビューも終了する。撮影処理を終了しない場合は、ステップＳ１０４へと戻り次の画像の撮影動作を開始する。

そして、本実施形態における通常動画モードでは、撮像素子１０５によって、撮像した画像データを周期的に連続させて出力することで動画の撮影をおこなう。以上が通常動画モードの撮影処理についてのフローである。

（動画ＨＤＲモードの撮影処理）
以下、本実施形態に動画ＨＤＲモード（第１のモード）での撮影処理について説明する。本実施形態では、前述したように露出量の異なる複数の被合成画像を合成することでダイナミックレンジ拡大処理をおこなう。

ここで、被合成画像としては、被写体の明るさに対する平均的な露出量である適正露出で撮影した適正露出画像（第１の画像）と、適正露出よりも相対的に露出量の少ないアンダー露出で撮影したアンダー露出画像（第２の画像）を用いる。そして、適正露出画像とアンダー露出画像とを合成することで、適正露出画像のみを出力する場合（通常時）に比べてダイナミックレンジが拡大された画像を取得することが出来る。

尚、撮像素子１０５によって、合成に用いる適正露出画像とアンダー露出画像とは図５に示すように周期的に連続して出力される。図５は本実施形態の動画ＨＤＲモードにおける露出差制御によって、周期的に連続して出力される画像について例示的に説明した図である。

図５に示すように、動画ＨＤＲモードではアンダー露出画像と適正露出画像とが単位フレームごとに所定のタイミング（例えば、画像の読み出しタイミング）において交互に出力される。そして、適正露出画像が出力された後のフレームで、２つの画像を合成した画像（以下、合成画像と称する）を表示画像として表示する。

以下、本実施形態における動画ＨＤＲモードの撮影処理に関するフローについて図３を参照して説明する。尚、以下のフローにおける各処理の結果は、メモリ１３２に一時的に保存され、必要な際にはメモリ１３２から適宜出力されるものとする。

ステップＳ１０１で、ＣＰＵ１３１の判定によって動画ＨＤＲモードが選択されていると判定した場合は、ステップＳ１１２へと進み、動画ＨＤＲモードの撮影処理を開始する。そして、ステップＳ１１２で露出制御部２０２は、メモリ１３２から図４（Ｂ）に示す動画ＨＤＲ用のプログラム線図を読み出し、動画ＨＤＲモードの撮影処理を開始する。尚、図４（Ｂ）は動画ＨＤＲモード用のプログラム線図を示している。

次に、ステップＳ１１３で撮像素子１０５は、予備画像の撮像をおこなう。尚、予備画像の撮影については前述の通常動画モードと同様なので説明は省略する。

次に、ステップＳ１１４で測光演算部２０１は、先に取得した予備画像の測光演算をおこなう。そして、露出制御部２０２は、該測光演算により算出した被写体輝度に対する露出条件（露出量）である目標露出を算出する。ここで、動画ＨＤＲモードにおける目標露出とは、適正露出画像を取得するための目標となる露出量である。

本実施形態の動画ＨＤＲモードにおいて、アンダー露出画像は、図４（Ｂ）で示すプログラム線図から所定の露出差の分だけ露出量を減らして取得する。即ち、動画ＨＤＲモードでは、被合成画像間に露出差を生じさせるための露出差制御をおこなう必要がある。尚、本実施形態で該露出差制御は蓄積時間とＩＳＯ感度を変化させることでおこなう。そして、被合成画像間の露出差は２段とし、アンダー露出画像を、適正露出画像より露出量が２段分少なくなるように取得する。

ここで、本実施形態において、上述した露出量の段数はＡＰＥＸ単位におけるＥｖ値で２段分である。即ち、図４（Ｂ）のプログラム線図からＡＰＥＸ単位で２Ｅｖ（以下、単に２Ｅｖと称す）少ない露出量となるようにアンダー露出を決定する。従って、動画ＨＤＲモードでは、アンダー露出の為の露出量を確保するために、図４（Ｂ）のプログラム線図において、蓄積時間とＩＳＯ感度によって露出制御が可能な領域を２Ｅｖ分確保する必要がある。

詳細としては、図４（Ｂ）に示す動画ＨＤＲモード用のプログラム線図の、同一の絞り値において、蓄積時間とＩＳＯ感度により露出制御が可能な領域を、通常動画モード時（図４（Ａ））よりも２Ｅｖ少なくなるように設定する。上述の構成により、適正露出画像とアンダー露出画像とで２Ｅｖ分の露出差を確保することが可能となる。

しかしながら、露出差制御のために確保した分だけ、プログラム線図において、同一の絞り値で設定可能な蓄積時間とＩＳＯ感度による露出量は減少してしまう。即ち、蓄積時間とＩＳＯ感度によって被写体の輝度変化に応じた露出制御が可能な範囲である露出制御範囲は減少してしまう。この場合、蓄積時間とＩＳＯ感度による露出制御範囲が減少した分だけ、絞り値を変化させて露出制御をおこなう頻度が増加する可能性がある。即ち、動画ＨＤＲモード時は、露出差制御に用いないパラメータによって露出制御をおこなう頻度が増加してしまう可能性がある。

一般的に、動画撮影時に絞り値を変化させることで露出制御をおこなう頻度が増加すると、動画の単位フレーム（単位画像）間の被写界深度が頻繁に変化するため、撮影される動画は不自然なものとなってしまう。

また、絞り１０２は機械的な変化によって駆動するため、露出差制御中に絞り１０２を駆動することで、露出差制御によって設定した被合成画像間の露出差が意図したしたものと異なってしまう可能性がある。即ち、被合成画像間で、露出差制御のために確保した２Ｅｖ分の露出差を維持することが出来ない可能性がある。

この場合、絞り１０２を駆動中に撮影される動画の明るさは単位フレーム間で不均一となり、動画として不自然なものとなってしまう。

尚、絞り値を変化させることで露出差制御をおこなう場合は、蓄積時間とＩＳＯ感度によって被写体の輝度変化に応じた露出制御をおこなう頻度が増加する。例えば、ＩＳＯ感度を変化させる頻度が増えれば、単位フレーム間のノイズの量が変化してしまい、撮影後の動画は不自然なものとなってしまう。また、蓄積時間を変化させる頻度が増える場合は、単位フレーム間ごとに蓄積時間が異なることで画像の連続性が失われて、撮影後の動画は不自然なものとなってしまう。

ここで、通常の動画撮影では、ユーザが求める動画の品質によって、露出制御に使用するパラメータは異なる。例えば、上述したように単位フレーム間の被写界深度が異なることを避けたければ、絞り値を変化させることによる露出制御は極力おこなわないようにする。しかしながら、動画ＨＤＲモードでは、上述したように、露出差制御で使用しないパラメータであっても、該パラメータによって露出制御をおこなう頻度は増加してしまう可能性がある。即ち、撮影後の動画の品質はユーザが意図したものとは異なってしまう可能性がある。この問題を解決するために、動画ＨＤＲモードにおいて、露出差制御に用いないパラメータによる露出制御の頻度が増加を極力抑制することが求められる。

そこで、本実施形態における動画ＨＤＲモードでは、輝度不感帯の幅を前述した通常動画モードよりも広い（大きい）幅に決定することで上述の問題に対応する。この点について図６を参照して後述する。

図３のフローに戻る。ステップＳ１１５で露出制御部２０２は、測光演算の結果から、適正露出とアンダー露出との露出差を決定する。尚、本実施形態において、被合成画像間の露出差は２Ｅｖ以外にしてもよい。また、予め所定の算出式をメモリ１３２に記憶させておき、該算出式に従って露出差を算出するような構成でも良い。

次に、ステップＳ１１６で露出制御部２０２は、動画ＨＤＲ用の輝度不感帯を決定する。

以下に、動画ＨＤＲモードにおける輝度不感帯について、図６を参照して説明する。尚、図６は、本実施形態における通常動画モードと動画ＨＤＲモードにおけるそれぞれのダイナミックレンジと輝度不感帯の幅を説明した図の例である。図６で示すように、本実施形態では、通常動画撮影モードの輝度不感帯の幅よりも動画ＨＤＲモードにおける輝度不感帯の幅の方が広くなるように決定する。この構成によって、例えば通常動画モード時に目標露出が輝度不感帯に収まらない（含まれない）場合でも、動画ＨＤＲモード時には目標露出を輝度不感帯に収める（含む）ことができる。

前述したように、本実施形態では、輝度不感帯に目標露出が含まれるか否かを判定して、撮影露出を変更するか否かを決定する。従って、ＨＤＲ動画モード時の輝度不感帯の幅を、通常動画モード時よりも広くすることで、絞り値を変化させることのよる露出制御の頻度が増加することを抑制することが出来る。即ち、動画ＨＤＲモード時に、露出差制御に用いないパラメータにより露出制御をおこなう頻度が増加することを抑制することが出来る。

ここで、輝度不感帯の幅を広げることで、被写体の輝度変化に応じた目標露出に対する撮影露出の追従性が通常動画モード時よりも低下し、撮影される適正露出画像のダイナミックレンジは被写体の輝度に対してずれが生じる可能性がある。例えば、ダイナミックレンジが高輝度側へずれた場合は、適正露出画像に黒つぶれが生じ、ダイナミックレンジが低輝度側へずれた場合は、適正露出画像に白とびが生じてしまう。即ち、ダイナミックレンジがずれることで、動画ＨＤＲモード時の適正露出画像は、被写体の輝度変化が同様である場合の通常動画モード時の単位フレームの画像と比較して表現できない明るさの領域が生じてしまう。

しかしながら、動画ＨＤＲモードでは適正露出画像とアンダー露出画像とを合成することで合成画像のダイナミックレンジは拡大される。従って、合成画像では、適正露出画像で表現できなかった明るさを表現することができる。即ち、合成画像の明るさが不自然になることは極力抑制され、ＨＤＲ合成処理後の動画が不自然になることは抑制される。

尚、輝度不感帯の幅（範囲）は、適正露出画像とアンダー露出画像の露出差に連動させて変更することが望ましい。例えば、適正露出画像とアンダー露出画像との露出差が大きくなった場合、被写体の輝度変化に応じて露出制御をおこなう頻度は更に増加してしまう可能性がある。その場合、被合成画像間の露出差が大きくなった分だけ輝度不感帯の幅を広げる。この構成によって、露出差制御に用いないパラメータによって被写体の輝度変化に応じた露出制御をおこなう頻度を更に抑制することができる。

更に、前述した通常動画モードと動画ＨＤＲモードとで不感帯の中心位置を変更するような構成であってもよい。例えば、動画ＨＤＲモードでは、輝度不感帯の幅を広くするだけでなく、輝度不感帯の中心位置を高輝度側（例えば、図６の上方向）へ変更させる。この場合、輝度不感帯の中心位置はダイナミックレンジが拡大される指向に沿って変更されるため、合成画像が不自然な明るさになることを抑制することができる。

図３のフローに戻る。ステップＳ１１７で露出制御部２０２は、先に算出した目標露出が輝度不感帯内であるか否かを判定する。目標露出が輝度不感帯内である場合は、ステップＳ１１９へと進む。目標露出が決定した輝度不感帯内でない場合、ステップＳ１１８でＣＰＵ１３１は、カメラ１００内の各部の駆動を指示し、撮影露出を変更する。尚、本実施形態では、輝度不感帯内であっても露出差制御はおこなわれる。

次に、ステップＳ１１９で撮像素子１０５は、設定された撮影露出に基づいてアンダー露出で被写体の撮像をおこないアンダー露出画像の画像データを出力する。

次に、ステップＳ１２０で撮像素子１０５は、設定された撮影露出に基づいて適正露出で被写体の撮像をおこない適正露出画像の画像データを出力する。尚、本実施形態では図５に示したように、先にアンダー露出画像を撮影した後に適正露出画像の撮影をおこなう。これは、撮像素子１０５からの電荷の読み出しタイミングは周期的で、蓄積の開始タイミングは読み出しタイミングから逆算して設定されることに起因する。例えば適正画像から撮影を行った場合、アンダー露出画像の方が適正露出画像より蓄積時間が短いため、適正露出画像とアンダー露出画像との間で電荷の蓄積をおこなわない間隔が長くなってしまう。従って、ＨＤＲ合成処理をおこなう場合に適正露出画像とアンダー露出画像とで被写体のずれ量が大きくなってしまい、合成後の画像にブレが生じてしまう可能性がある。

以上より、本実施形態ではアンダー露出画像、適正露出画像の順で撮影をおこなうが、例えば、適正露出画像、アンダー露出画像の順に撮影をおこなうような構成でも良い。特に、被写体に所定以上の動きが生じないような場合は撮影の順序を限定する必要はない。

次に、ステップＳ１２１で合成部２０５は、アンダー露出画像と適正露出画像とを合成してＨＤＲ合成処理（ダイナミックレンジ拡大処理）をおこなう。合成処理の詳細としては、まず、被合成画像毎に画像を複数のブロックに分割し、該ブロック内部の所定の画素について、適正露出画像とアンダー露出画像とを比較することで被合成画像同士の位置合わせをおこなう。

次に、被合成画像の所定の画素毎に輝度値を積算し平均輝度値を算出する。そして、積算した平均輝度値が所定の閾値を超えるか否かで画像中の黒つぶれ輝度領域、および白とび輝度領域を検出する。そして検出された黒つぶれ領域と白とび領域を合成の対象から画素から除外する（除外処理）。以上の動作を被合成画像である適正露出画像とアンダー露出画像の双方でおこなう。

最後に、適正露出画像の輝度レベルを基準として被合成画像の輝度レベルを合わせ、所定の合成比率に応じての適正露出画像とアンダー露出画像の合成が実行され合成画像が出力される。尚、本実施形態に係る撮像装置において、合成処理は前述の動作をおこなうものに限定されるものではなく、例えば、被合成画像同士の加算平均をおこなうだけでも良い。

次に、ステップＳ１２２で表示部１５３は、出力した合成画像の画像データを表示してライブビューの更新をおこなう。尚、撮影処理の開始後、初めての処理である場合はライブビューを開始する。

次に、ステップＳ１２３でＣＰＵ１３１は、撮影処理を終了するか否かの判定をおこない、終了する場合はＳ１２４へと進み撮影処理を終了し、ライブビューも終了する。撮影処理を終了しない場合は、ステップＳ１１４へと戻り次の画像の撮影動作を開始する。以上が動画ＨＤＲモードの撮影処理を示すフローである。

以上の説明より、動画ＨＤＲモード時に、被合成画像間の露出差制御に使用しないパラメータによって、被写体の輝度変化に応じた露出制御をおこなう頻度が増加することを抑制することができる。即ち、ダイナミックレンジ拡大処理を適用した動画撮影中に、被合成画像間の露出差のための露出制御に使用しないパラメータによって、輝度変化に応じた露出制御をおこなう頻度が増加することを抑制することが可能な撮像装置を提供することができる。

尚、本実施形態では、適正露出画像とアンダー露出画像とを合成することでＨＤＲ合成処理をおこなうがこれに限定されるものではない。例えば適正露出よりも相対的に露出量の多いオーバー露出画像を撮影し、適正露出画像とアンダー露出画像に該オーバー露出画像を加えてＨＤＲ合成処理をおこなうような構成であってもよい。その場合、適正露出画像とアンダー露出画像とでＨＤＲ合成処理をおこなう場合よりも更にダイナミックレンジを拡大することが可能である。

また、この場合の被合成画像間の露出差は、測光演算部２０１における測光結果（被写体輝度）に応じて、本実施形態の露出差決定手段である露出制御部２０２によって自動的に決定される。若しくは、ユーザが前述のスイッチ類を手動操作することによって決定するような構成であってもよい。

更に、この場合、ＨＤＲ合成処理をおこなう被合成画像の組み合わせを被写体の輝度に応じて決定するような構成であってもよい。例えば、適正露出画像とアンダー露出画像とで合成をおこなう場合、被写体の明るい部分は暗い部分よりも被写体輝度に対する合成画像の明るさの表現性（以下、単に表現性と称する）が低くなってしまう。即ち、被合成画像の組み合わせによって、表現性は変化してしまう。

そこで、被写体の輝度が全体的に暗い場合は、適正露出画像とオーバー露出画像とを合成する。反対に、被写体の輝度が全体的に明るい場合は適正露出画像とアンダー露出画像とを合成する。

更に、上述した場合において、被合成画像の組み合わせに応じて、輝度不感帯の中心位置を撮影露出よりも高輝度側か低輝度側へと変更するような構成であってもよい。例えば、被合成画像の組み合わせを適正露出画像とアンダー露出画像とした場合の合成画像は、通常動画モードの表示画像と比較して、高輝度側の表現性は高くなるが低輝度側の表現性は変わらない。

そこで、不感帯の中心位置を表現性の高い高輝度側（領域）に変更する。この構成によって、被写体輝度が低輝度側（領域）へと変化した場合であっても、低輝度側における不感帯の幅は通常動画モードと変わらないので、被写体輝度の変化に応じた露出制御の追従性が低下することを抑制することができる。尚、被合成画像の組み合わせが適正露出画像とオーバー露出画像である場合は、不感帯の中心位置を低輝度側へと変更することで、被写体輝度の変化に応じた露出制御の追従性が低下することを抑制することができる。

上述の構成によって、被合成画像の組み合わせに応じて輝度不感帯の中心位置を、表現性の高い領域へと移動させることが出来る。従って、ＨＤＲ合成処理によって、表現性が変化しない領域に対しては被写体の輝度変化に追従させて露出制御をおこないつつ、表現性が高くなる領域は露出制御の頻度が増加することを抑制することが出来る。

即ち、輝度不感帯の中心位置を撮影露出の位置とする場合よりも、被写体の輝度に対して、合成後に拡大されるダイナミックレンジの範囲に応じた露出制御が可能となるため、合成画像の明るさが不自然になることを抑制することが出来る。

（第２実施形態）
前述した第１実施形態では、動画ＨＤＲモード時の輝度不感帯の幅を、通常動画モードより広げることで、露出差制御に用いないパラメータによって露出制御をおこなう頻度が増加することを抑制する構成について説明した。即ち、前述した第１実施形態では、露出量の輝度変化に対する不感帯の幅を変化させることで、露出差制御に用いないパラメータによって露出制御をおこなう頻度が増加することを抑制していた。

本実施形態では、同様の課題を解決するために、被写体の輝度変化に対する露出量の時間変化に対する不感帯（時間不感帯）の幅を変化させる構成について説明する。以下、本実施形態に係る撮像装置の構成について説明する。尚、本実施形態に係る撮像装置であるカメラ１００は前述の第１実施形態と同様であるので説明は省略する。

一般的に、動画撮影時は図７（Ａ）に示すように、被写体の輝度変化に応じて、露出制御の開始前に露出制御おこなわない範囲（ｔ１〜ｔ２の時間）の無効領域（時間不感帯）Ｘを設けている。即ち、被写体の輝度変化に追従した露出量の変更をおこなわない時間の範囲として無効領域（時間不感帯）Ｘを設ける。これは、例えば外部に設けられたフラッシュ装置の点灯などによって、被写体輝度が一時的に（輝度Ｃから輝度Ｄへと）変化するような場合に、露出制御をおこなう頻度が増加することを極力抑制するためである。

尚、図７は本実施形態の通常動画モード時での、所定の時刻ｔにおける被写体輝度と露出量の変化を例示的に説明した図であり、縦軸は被写体輝度と露出量を表し、横軸は所定の時刻ｔを表している。図７（Ａ）は被写体の輝度変化が一時的なものである場合の図の一例であり、後述の図７（Ｂ）は、被写体の輝度変化が一時的なものでない場合の図の一例である。

ここで、図７（Ｂ）を参照して、被写体の輝度変化が一時的なものではない場合について説明する。まず、測光により検出された当初の被写体の輝度Ｄに対する露出である露出量Ａで被写体の撮影処理をおこなう。

その後、被写体輝度は時刻ｔ１で輝度Ｄから輝度Ｅに変化するが、無効領域Ｘ１の範囲内では露出条件の変更はおこなわないので、撮影露出の変更はしない。尚、前述の第１実施形態と同様に目標露出が輝度不感帯に含まれるか否かの判定は被写体の輝度変化毎におこなっている。

次に、無効領域Ｘ１の範囲を超えた後（時刻ｔ２以降）で、撮影露出を被写輝度Ｅに対応する露出量Ｂへと変更する。

次に、撮影露出を変更した直後の時刻ｔ３で、被写体輝度が輝度Ｅから輝度Ｆへと変化する。

そして、無効領域Ｘ２の範囲内では撮影露出の変更はしないが、無効領域Ｘ２を超えた後（時刻ｔ４以降）で、撮影露出を輝度Ｅに対応する露出量Ｃへと変更する。即ち、例え無効領域Ｘを設けていたとしても、短い期間内で被写体輝度が複数回変化する場合は、該被写体輝度の変化に伴って撮影露出を変更する必要がある。

上述の状況を、動画ＨＤＲモードに適用した場合、前述した第１実施形態と同様に、被写体の輝度変化に応じて、露出差制御に用いないパラメータによって露出制御をおこなう頻度は増加してしまう可能性がある。この問題を解決するために、本実施形態では図８に示すように、被写体輝度の変化に対して露出制御をおこなわない無効領域Ｘの範囲を通常動画モードよりも広くする。即ち、本実施形態では、時間不感帯である無効領域Ｘの幅を、通常動画モード時より動画ＨＤＲモード時の方が広く（広い幅に）なるように決定する。

図８は、本実施形態の動画ＨＤＲモードでの、所定の時刻ｔにおける被写体輝度と露出量の変化を例示的に説明した図である。ここで、図８と前述した図７（Ａ）とを比較すると、動画ＨＤＲモードの無効領域Ｘの幅（時間）が通常動画モードの無効領域Ｘの幅（時間）よりも広い（長い）ことがわかる。この場合、短い期間に何度も被写体輝度が変化する場合であっても、露出制御をおこなう頻度を減らすことが出来る。従って、無効領域Ｘの幅（時間）が広く（長く）なった分だけ、無効領域Ｘの範囲内で露出差制御に使用しないパラメータによって、被写体の輝度変化に応じた露出制御をおこなう頻度が増加をすることを抑制することができる。

以下より、前述した構成により実現される、本実施形態に係る撮影処理を図９に示すフローを参照して説明する。尚、以下のフローにおける各処理の結果は、メモリ１３２に一時的に保存され、必要な際にはメモリ１３２から適宜出力されるものとする。

まず通常動画モードの撮影処理について説明する。尚、ステップＳ２００からステップＳ２０４までは前述の第１実施形態と同様なので、説明は省略する。

ステップＳ２０５で露出制御部２０２は、無効領域Ｘを通常動画モード用（通常動画用）のものに決定する。

次に、ステップＳ２０６で露出制御部２０２は、先に算出した目標露出が輝度不感帯内か否かを判定し、目標露出が輝度不感帯内でない場合はステップＳ２０７へと進み、範囲内の場合はステップＳ２０９へと進む。ここで、本実施形態では前述の第１実施形態とは異なり、通常動画モードと動画ＨＤＲモードとで輝度不感帯の幅は変更しない。従って、本実施形態では通常動画モードと動画ＨＤＲモードとで、輝度不感帯は同様のものを用いる。

ステップＳ２０７で測光演算部２０１は、被写体の輝度変化が無効領域Ｘの範囲外で行われているか否かを判定する。詳細としては、図７（Ｂ）に示す被写体の輝度変化が開始した時刻ｔ１から所定の時間が経過した時刻ｔ２までの期間（範囲）を無効領域Ｘとする。ここで、時刻ｔ１の検出は、露出制御部２０２に、測光演算部２０１から被写体輝度の変化を検出したタイミングが伝えられることによっておこなわれる。尚、無効領域Ｘの期間（範囲）は一般的なものであればどのようなものでもよい。

ステップＳ２０７で、被写体の輝度変化が無効領域Ｘの範囲内で行われていると判定された場合、撮影露出は変更せずにステップＳ２０９と進む。そして、被写体の輝度変化が無効領域Ｘの範囲外でおこなわれていると判定された場合、ステップＳ２０８で露出制御部２０２は、カメラ１００内の各部の駆動を指示し、先に求めた目標露出に対して撮影露出を変更する。以降の処理は、前述の第１実施形態と同様なので説明は省略する。以下、動画ＨＤＲモードにおける撮影処理について説明する。尚、ステップＳ２１６までは前述の第１実施形態と同様の処理をおこなうので説明は省略する。

ステップＳ２１７で露出制御部２０２は、動画ＨＤＲモード用（動画ＨＤＲ用）の無効領域Ｘの決定をおこなう。詳細としては、図８に示すような、被写体の輝度変化が開始した時刻ｔ１から所定の時間が経過した時刻ｔ２までの期間（範囲）を無効領域Ｘとする。即ち、図７（Ｂ）に示す通常動画用の無効領域Ｘの幅より、動画ＨＤＲ用の無効領域Ｘの幅を広くする。

尚、本実施形態において、動画ＨＤＲ用の無効領域Ｘの幅は、通常動画用の無効領域の幅よりも広いものであって、撮影した動画が不自然なものにならないようなものであればどのように決定しても良い。例えば、ユーザが任意に決定できるようなものであっても良いし、被合成画像の組み合わせに応じて決定できるような構成であってもよい。

次に、ステップＳ２１８で露出制御部２０２は、先に算出した目標露出が輝度不感帯内か否かを判定する。目標露出が輝度不感帯内にあると判定した場合はステップＳ２２０へと進む。尚、前述したように、輝度不感帯は通常動画モードと同様とする。

次に、ステップＳ２１８で露出制御部２０２が、目標露出が輝度不感帯内ではないと判定した場合、ステップＳ２１９で測光演算部２０１は、被写体輝度の変化が無効領域Ｘに含まれるか否かを判定する。ステップＳ２１９で、被写体の輝度変化が無効領域Ｘの範囲内で行われていると判定された場合、撮影露出は変更せずにステップＳ２２１と進む。そして、被写体の輝度変化が無効領域Ｘの範囲外でおこなわれていると判定された場合、ステップＳ２２０でＣＰＵ１３１は、カメラ１００内の各部の駆動を指示し、先に算出した目標露出に対して撮影露出を変更する。尚、本実施形態において、輝度不感帯内であっても露出差制御は通常通りおこなわれる。そして、これは無効領域（時間不感帯）Ｘ内であっても同様である。

また、本実施形態では、被写体輝度の測光は無効領域Ｘ内においてもおこなわれ、無効領域Ｘを超えた際に、無効領域Ｘ内での測光結果から撮影露出を変更するような構成であるが、これに限定されるものではない。例えば、無効領域Ｘ内では被写体輝度の測光をおこなわないような構成であっても良い。以降の処理は、前述した第１実施形態と同様なので説明は省略する。

以上説明したように、本実施形態における動画ＨＤＲモードでは、無効領域Ｘの幅を通常動画モードにおける無効領域Ｘの幅よりも広くするので、被写体輝度の変化に応じて露出制御をおこなう頻度を抑制することができる。従って、動画ＨＤＲモード時に、被合成画像間の露出差制御に使用しないパラメータによって、輝度変化に応じた露出制御をおこなう頻度が増加することを抑制することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、前述した実施形態では、蓄積時間とＩＳＯ感度を変化させることで露出差制御をおこなうような構成であったが、絞り値を変更することで露出差制御をおこなうような構成であってもよい。

この場合、被写体の輝度変化に応じて露出制御をする場合に、蓄積時間とＩＳＯ感度によって露出制御をする頻度が増加することを抑制することが出来る。従って、動画の単位フレーム間でのノイズの増加や減少などの弊害や、動画の連続性が失われることを抑制することが出来るため、動画の品位を向上させることが可能である。

また、上述した実施形態ではカメラ１００の内部で被合成画像同士の合成処理をおこなうような構成であるがこれに限定されるものではない。例えば、カメラ１００側で合成処理に用いる被合成画像を連続して出力し、カメラ１００に接続された不図示の外部装置で該被合成画像同士の合成処理を行うような構成であってもよい。

また、動画ＨＤＲモードにおいて、前述した第１実施形態と第２実施形態で説明した、輝度不感帯と時間不感帯（無効領域Ｘ）の双方の幅を、通常動画モードよりも広げるような構成であってもよい。この場合、露出差制御に用いないパラメータにより露出制御をおこなう頻度が増加することを更に抑制することが可能である。

更に、本発明においてカメラ１００内の各部の駆動は、レンズ制御部１４１、シャッタ制御部１４２、タイミング発生部１４３、映像信号処理部１２１、表示制御部１５１などによって制御されるがこれに限定されるものではない。例えば、前述した図３や図９のフローに従ったプログラムをメモリ１３２に記憶させておき、ＣＰＵ１３１が該プログラムを実行することでカメラ１００内の各部の駆動を制御するような構成であってもよい。この場合、輝度不感帯や時間不感帯（無効領域Ｘ）の決定や、動画ＨＤＲモードにおける露出差制御はＣＰＵ１３１によっておこなわれる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ カメラ（撮像装置）
１０５ 撮像素子
１０６ ＡＦＥ
１２１ 映像信号処理部
１３１ ＣＰＵ
１３２ メモリ
２０２ 露出制御部

Claims (12)

1. 被写体を撮像して画像を出力する撮像手段を備えた撮像装置であって、
   前記撮像手段によって、合成に用いる露出量の異なる複数の画像を周期的に連続して出力させる第１のモードと、前記第１のモードとは異なる第２のモードとを切り替え可能な制御手段と、
   被写体の輝度変化に追従した露出量の変更をおこなわない不感帯を決定する不感帯決定手段と、
   を有し、
   前記不感帯決定手段は、前記第１のモードにおける前記不感帯の幅を前記第２のモードにおける前記不感帯の幅よりも広い幅に決定することを特徴とする撮像装置。
2. 前記不感帯決定手段は、前記第１のモードにおける前記不感帯の幅を、合成に用いる露出量の異なる複数の画像の露出差に応じて決定することを特徴とする請求項１に記載の撮像装置。
3. 前記第１のモードで、合成に用いる露出量の異なる複数の画像間の露出差を設定するための露出差設定手段と、
   前記露出差設定手段によって設定された露出差に基づいて露出量を変更する露出変更手段と、
   を有し、
   前記露出変更手段は、前記不感帯の幅の内部であっても、露出量の異なる複数の画像間の露出差を前記露出差設定手段で設定した露出差に変更することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記不感帯は、被写体の輝度変化に追従した露出量の変更をおこなわない輝度の範囲であって、
   前記不感帯決定手段は、前記不感帯の中心位置を、前記撮像手段を用いて撮影をおこなうための露出である撮影露出に対応する輝度とは異なる位置に決定することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 前記不感帯は、被写体の輝度変化に追従した露出量の変化をおこなわない露出量の範囲であって、
   前記不感帯決定手段は、前記撮像手段を用いて撮影をおこなうための露出量である撮影露出の位置とは異なる位置に前記不感帯の中心位置を決定することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
6. 前記第１のモードは、合成に用いる第１の画像と、前記第１の画像より相対的に露出量の少ない第２の画像とを周期的に連続して出力させるモードであって、
   前記不感帯決定手段は、前記第１の画像と前記第２の画像とを合成する場合に、前記不感帯の中心位置を前記撮影露出よりも高輝度側に決定することを特徴とする請求項４、又は請求項５に記載の撮像装置。
7. 前記不感帯決定手段は、前記第１の画像と前記第１の画像よりも相対的に露出量の多い第３の画像とを連続して出力する場合の前記不感帯の中心位置とは異なる位置に、前記第１の画像と前記第２の画像とを周期的に連続して出力する場合の前記不感帯の中心位置を決定することを特徴とする請求項６に記載の撮像装置。
8. 前記不感帯決定手段は、前記第１の画像と前記第３の画像とを周期的に連続して出力する場合の前記不感帯の中心位置を前記撮影露出よりも低輝度側に決定することを特徴とする請求項７に記載の撮像装置。
9. 前記不感帯は、被写体の輝度変化に追従した露出量の変更をおこなわない時間であって、
   前記不感帯決定手段は、前記不感帯を被写体の輝度変化が開始した後の所定の時間に決定し、前記第１のモードにおける前記不感帯を、前記第２のモードにおける不感帯よりも長い時間に決定することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
10. 前記第２のモードは、前記撮像手段によって、合成のために露出量を異ならせずに撮像した画像を周期的に連続して出力し、被写体の輝度変化に追従して露出量を変化させることを特徴とする請求項１乃至請求項９の何れか一項に記載の撮像装置。
11. 被写体を撮像して画像を出力する撮像工程を備えた撮像装置であって、
    前記撮像工程によって、合成に用いる露出量の異なる複数の画像を周期的に連続して出力させる第１のモードと、前記第１のモードとは異なる第２のモードとを切り替え可能な制御工程と、
    被写体の輝度変化に追従した露出量の変更をおこなわない不感帯を決定する不感帯決定工程と、
    を有し、
    前記不感帯決定工程は、前記第１のモードにおける前記不感帯の幅を前記第２のモードにおける前記不感帯の幅よりも広い幅に決定することを特徴とする撮像装置の制御方法。
12. 請求項１１に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラム。

Images