JP6214206B2 - 撮像装置、制御方法及びプログラム - Google Patents

Description

本発明は、露出の異なる複数の画像を合成することでダイナミックレンジの拡大処理をおこなう撮像装置とその制御方法およびプログラムに関し、特に、動画像の取得に関する。

従来、撮像装置において、ダイナミックレンジを拡大する技術として、同一シーンで露出量が異なる複数の画像を取得し、該複数の画像を合成するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成という技術が一般的に知られている。

このＨＤＲ合成のための処理（以下、ＨＤＲ合成処理と称す）の一例としては、まず、被写体の測光結果に応じた露出（適正露出）条件の画像を取得する。そして、該適正露出の蓄積時間より相対的に短い蓄積時間（露出アンダー）、及び相対的に長い蓄積時間（露出オーバー）の露出条件で撮影した画像の一方、若しくはその双方を取得する。その後、取得した露出量の異なる画像同士を合成することで広いダイナミックレンジを有する画像を取得することが出来る。

以上の構成を動画に適用した、いわゆる動画ＨＤＲの技術として、特許文献１には露出の異なる画像を周期的に取得し、各画像を撮像装置内部で合成し連続的に出力することが可能な撮像装置について提案されている。

特公平０７−０９７８４１号公報

しかしながら、特許文献１には、例えば被写体の輝度が変化した場合に、該輝度の変化に追従するための露出制御については記載されていない。従って、撮影中に被写体の輝度変化に追従して絞り等の光量を調節する機構により露出量を変化させると、合成に用いる被合成画像間の露出量の差が変化し、適正にダイナミックレンジの拡大が行われない可能性があった。

本発明の目的は、被写体の輝度変化に応じて、ダイナミックレンジの拡大処理に用いる画像間の露出が不自然に変化することを抑制することである。

上記目的を達成するための本発明の一側面としての撮像装置は、被写体を撮像して画像を出力する撮像手段と、光量調節部材を駆動させて前記撮像手段に入射する光量を調節する光量調節手段と、合成に用いる画像として、前記撮像手段が第１の画像を出力した後に前記第１の画像とは露出が異なる第２の画像を出力するように、前記撮像手段を制御する制御手段と、前記第１の画像と前記第２の画像の露出の差を設定する設定手段と、を有し、前記設定手段は、前記光量調節部材を動作しているときに撮像される前記第１の画像と前記第２の画像との露出の大小関係が、前記光量調節部材を動作していないときに撮像される前記第１の画像と前記第２の画像との露出の大小関係と同じになるように、前記露出の差を設定することを特徴とする。

また、上記目的を達成する為の本発明の別の側面としての撮像装置は、被写体を撮像することで画像を出力する撮像手段と、を備え、前記撮像手段に入射する光量を調節する光量調節部材を駆動させて露出を制御できる撮像装置であって、合成に用いる画像の露出を設定する設定手段を有し、前記設定手段は、合成に用いる画像を連続して出力させている際は、前記光量調節部材を変化させていないときの合成の１組となる画像間の露出の大小関係が維持されるように、前記光量調節部材を変化させているときの合成の１組となる画像間の露出を設定し、合成に用いない画像を連続して出力させている際の前記光量調節部材の動作よりも、合成に用いる露出の異なる画像を連続して出力さている際の前記光量調節部材の動作がゆるやかとなることを特徴とする。

本発明によれば、被写体の輝度変化に応じて、ダイナミックレンジの拡大処理に用いる画像間の露出が不自然に変化することを抑制することができる。

本発明の第１実施形態に係る撮像装置の構成例を示す図である。 本発明の第１実施形態に係る映像信号処理部の構成例を示す図である。 本発明の第１実施形態に係る撮像装置の露出制御のタイミングを例示的に示すタイミングチャートである。 本発明の第１実施形態に係る撮像装置の動作処理の例を説明するフローチャートである。 本発明の第１実施形態に係る撮像装置の露出制御に関するプログラムを例示的に説明するプログラム線図である。 本発明の第１実施形態に係る撮影装置の絞り駆動パラメータを決定する処理の例を示すフローチャートである。 本発明の第２実施形態に係る撮像装置の露出制御のタイミングを例示的に示すタイミングチャートである。 本発明の第２実施形態に係る撮像装置の動作処理の例を説明するフローチャートである。 本発明の第２実施形態に係る撮影装置の露出補正量を決定する処理の例を示すフローチャートである。 本発明の第３実施形態に係る撮像装置の動作処理の例を説明するフローチャートである。 本発明の第３実施形態に係る撮像装置の露出制御のタイミングを例示的に示すタイミングチャートである。 本発明のその他の実施形態に係る撮像装置の露出制御タイミングを例示的に示すタイミングチャートである。 その他の実施形態に係る撮像装置で表現できる階調範囲を例示的に示す図である。

（第１実施形態）
（装置の基本構成）
以下、本発明の実施形態について図１、図２を参照して説明する。図１は本実施形態に係る撮像装置であるカメラ１００の構成例を示したブロック図である。本実施形態においてカメラ１００は被写体の光学像を導くレンズと、該レンズを着脱可能に設けられたカメラ本体とからなるカメラである。尚、これに限定されるものではなく、例えばレンズとカメラ本体が一体構造となっているカメラなどでもよい。

レンズ１０１は、フォーカスレンズやズームレンズなどを含む複数のレンズからなるレンズ群であり、入射した被写体の光学像を撮像素子１０５へと導く。

絞り１０２はレンズ１０１を介して入射する光量を調節する光量調節部材である。

レンズ駆動部１４１は、レンズ１０１、絞り１０２の駆動を制御してズーム、フォーカス、絞りなどの制御をそれぞれ実行する。

また、レンズ１０１は、レンズマウント１０３を介してレンズとカメラ本体とがそれぞれ着脱可能に設けられている。

シャッタ１０４は、シャッタ駆動部１４２によって駆動され、撮像素子１０５の状態を露光状態と遮光状態とに適宜切換え可能である。

撮像素子１０５は、ＣＣＤやＣＭＯＳなどの電荷蓄積型のイメージセンサであり、レンズ１０１によって導かれた被写体の光学像に応じたアナログ画像データを出力するものである。さらに撮像素子１０５は、蓄積した電荷のリセットタイミングを変更することによって、蓄積時間を調整できる。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６では、撮像素子１０５から出力されたアナログ画像データに対して、ゲイン調整、サンプリング、Ａ／Ｄ変換等を行い、デジタル画像データとして画像データを映像信号処理部１２１へと出力する。

次に、図２を参照して本実施形態に係る映像信号処理部１２１を説明する。同図は映像信号処理部１２１の構成例を示したブロック図である。映像信号処理部１２１は、ＡＦＥ１０６から出力されたデジタル画像データに対して種々の画像処理を実行する。以下、映像信号処理部１２１の内部の構成と各部の動作について説明する。

映像信号処理部１２１の内部には、測光演算部２０１、現像処理部２０２、メモリインターフェイス２０３、合成部２０４、動画エンコード処理部２０５が備えられている。

測光演算部２０１は、ＡＦＥ１０６から出力されたデジタル画像データに基づいて被写体を測光し、被写体の明るさを求める。

現像処理部２０２は、ＡＦＥ１０６によってデジタル変換された画像データに対して、ホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換等の処理を実行する。そして、上述の処理の結果をメモリインターフェイス２０３とバス１５０を介して映像信号処理部１２１の外部に接続されたメモリ１３２へと出力する。

尚、本実施形態では後述するＨＤＲ合成処理のために、撮像素子１０５によって露出量の異なる複数の画像データを取得する。そして、現像処理部２０２において露出量の異なる複数の画像それぞれに対して上述した各種の処理をおこないメモリ１３２へと結果が出力される。露出量の異なる画像を取得する方法については後述する。

メモリインターフェイス２０３は、バス１５０を介してメモリ１３２と接続されており、映像信号処理部１２１の内部で使用するデータの取得、および出力を行う。

合成部２０４は、現像処理部２０２が出力した露出量の異なる複数の画像データをメモリ１３２から読出し、ＨＤＲ合成処理を行った後にメモリ１３２に合成データを出力する。

動画エンコード処理部２０５は、合成部２０４が出力した合成データをメモリ１３２から読出し、エンコード処理をおこない動画像データを生成し、メモリ１３２に結果を出力する。以上が本実施形態における映像信号処理部１２１の構成である。

次に、図１においてメモリ１３２は、前述したように映像信号処理部１２１が出力する画像データを記憶する。また、メモリ１３２は、ＣＰＵ１３１がおこなう処理のデータを一時的に記憶する。尚、ＣＰＵ１３１がおこなう処理については後述する。

タイミング発生部１４３はバス１５０を介して接続されたＣＰＵ１３１によって制御されて、撮像素子１０５、ＡＦＥ１０６、映像信号処理部１２１それぞれについて、動作のタイミングを制御する。

また、バス１５０には前述した構成部以外にレンズ駆動部１４１、シャッタ駆動部１４２、電源１１０、メモリ１３２、表示制御部１５１、カード入出力部１７１、そして、各種のスイッチ類が接続される。

尚、上述の各種のスイッチ類とは、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、ライブビュー開始／終了ボタン１６４、動画記録開始／終了ボタン１６５、上下左右選択ボタン１６６、決定ボタン１６７である。

電源１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。

ＣＰＵ１３１は、カメラ１００の制御をおこなう。例えば、ＣＰＵ１３１は、撮像素子１０５で撮像した画像データの読み出し処理や映像信号処理部１２１の内部での動作制御、メモリ１３２の動作タイミングの制御、レンズ駆動部１４１及びシャッタ駆動部１４２の駆動制御などをおこなう。

尚、ＣＰＵ１３１は上述した動作以外にもカメラ１００の内部でおこなわれる動作に関して統括的な制御をおこなう。また、ＣＰＵ１３１はメモリ１３２に記憶された所定のプログラムを読み出し実行することで前述の制御を実行する。

表示制御部１５１は、バス１５０を介してＣＰＵ１３１により制御されている。表示制御部１５１はＣＰＵ１３１からの指示に従い、メモリ１３２に記憶されている表示用画像データをＤ／Ａ変換部１５２においてデジタル画像データから表示用のアナログ画像データへと変換する。そして、変化されたアナログ画像データは液晶表示素子からなるＴＦＴなどの表示部１５３、若しくはＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５はケーブル等を介して外部に設けられた外部表示部（不図示）へと表示用のアナログ画像データを出力する。

尚、デジタル画像データが記憶されているメモリ１３２内部の領域をＶＲＡＭと呼ぶ。そして、表示制御部１５１が、ＣＰＵ１３１からの指示によってメモリ１３２のＶＲＡＭを読み出し前述の処理をおこなうことで、表示部１５３に表示用のアナログ画像データが更新される。そして、上述の動作を連続的におこない表示部１５３に表示画像が更新され続けることによって動画像の表示が可能となる。

カードスロット１７２は、例えばＳＤカード等の着脱可能な記録媒体１７３を差し込み可能である。そして、記録媒体１７３をカードスロット１７２に差し込んだ状態で、記録媒体１７３は、カード入出力部１７１と電気的に接続される。

そして、メモリ１３２に記録されている画像データを記録媒体１７３へと記録することが可能である。また、記録媒体１７３の内部に記録されたデータをカメラ１００で読み出すことも可能である。

（装置の基本動作）
以下より、本実施形態に係る撮影に関する動作について図１を参照して説明する。ユーザによりメインスイッチ１６１がオンされると、ＣＰＵ１３１がメモリ１３２に記憶された所定のプログラムを実行し、カメラ１００を構成する各部へと電源を供給する。

カメラ１００を構成する各部へと電源の供給がされると、例えば、ＣＰＵ１３１からの指示がシャッタ駆動部１４２へと伝えられシャッタ１０４が開き、撮像素子１０５に、レンズ１０１によって導かれた被写体の光学像が結像される。また、表示部１５３に各種のパラメータを設定するためのグラフィカルインターフェース（以下、ＧＵＩと称する）が表示される。

第１レリーズスイッチ１６２は、レリーズボタン（不図示）の第１ストローク（半押し状態）でオンとなる。本実施形態においては、まずユーザがレリーズボタン（不図示）の第１レリーズスイッチ１６２をオンすると被写体の撮影準備を開始する。

詳細としては、バス１５０を介してレンズ駆動部１４１によって、レンズ１０１と絞り１０２は前述したフォーカス、ズーム、絞りなどの制御を必要に応じて実行する。

第２レリーズスイッチ１６３は、レリーズボタン（不図示）の第２ストローク（全押し状態）でオンとなる。そして、第２レリーズスイッチがオンの状態でＣＰＵ１３１は、タイミング発生部１４３により予め決められた蓄積の開始タイミングに基づいてシャッタ駆動部１４２の駆動を制御する。そして、シャッタ駆動部１４２によりシャッタ１０４の開閉をおこなうことによって被写体の撮影をおこなう。

次に、上下左右選択ボタン１６６、決定ボタン１６７をユーザが操作することによって、ＧＵＩに表示された各種のパラメータの選択と設定を行うことが可能である。また、ＨＤＲ合成処理をおこなわない動画撮影モード（通常動画モード）とＨＤＲ合成処理をおこなう動画撮影モード（動画ＨＤＲモード）のいずれかに切り替え設定することができる。

ユーザがライブビュー開始／終了ボタン１６４を押すと、ＣＰＵ１３１が、定期的（例えば１秒に６０回）に撮像素子１０５から画像データを取り込み、各種処理を実行してメモリ１３２のＶＲＡＭへ配置する。

これにより、撮像素子１０５から取り込んだ画像を表示部１５３に逐次表示（ライブビュー）することができる。尚、ライブビューは釦等により指示するのではなく、メインスイッチ１６１のオンと同時に開始されるような構成であっても良い。

ライブビュー中にユーザが動画記録開始／終了ボタン１６５を押すと、動画記録を開始または終了する。

尚、本実施形態では、ライブビュー中に動画記録開始／終了ボタン１６５を押すことで動画記録の開始または終了をおこなうが、これに限定されるものではない。例えば、ライブビューが動作していない状態で動画記録開始／終了ボタン１６５を押すことによって表示部１５３へのライブビューを開始するとともに動画記録の開始をおこなうような構成でも良い。

（ＨＤＲ合成動作）
以下より、本実施形態におけるＨＤＲ合成処理について説明する。

一般的に、動画撮影中は被写体の輝度変化に追従して露出も変化させる。この際、撮像装置の内部では被写体の輝度変化に対応するために絞り値、ＩＳＯ感度、蓄積時間などの露出条件を変更して対応する。即ち、被写体の輝度変化に追従して露出制御をおこなう。この露出制御を例示的に動画撮影のための露出制御とする。

また、ＨＤＲ合成処理をおこなう場合は、被写体の平均的な明るさに対する露出量である適正露出と、適正露出よりも相対的に露出量の少ないアンダー露出を露出制御により設定して被合成画像を撮影する。この露出制御を例示的にＨＤＲのための露出制御とする。

尚、ＨＤＲ合成処理に用いられる画像を被合成画像とする。例えば、本実施形態では適正露出で撮影した適正露出画像（第２の画像）とアンダー露出で撮影したアンダー露出画像（第１の画像）とが被合成画像となる。また、撮像素子１０５で撮影されＣＰＵ１３１が周期的に連続して出力したアンダー露出画像と適正露出画像を合成に用いられる１組とする。

そして、適正露出画像とアンダー露出画像とを合成することで、適正露出画像のみを出力する場合（通常時）に比べてダイナミックレンジが拡大された画像を取得することが出来る。

ここで、動画撮影中にＨＤＲ合成処理をおこなう場合、即ち動画ＨＤＲモードでは上述したような動画撮影のための露出制御とＨＤＲのための露出制御とを同時に行わなくてはならない。

従って、動画ＨＤＲモードではＨＤＲ合成処理をおこないつつ、被写体の輝度に変化が生じた場合はその輝度変化に追従して露出制御をおこなう必要がある。

本実施形態では、動画撮影のための露出制御を、特に、絞り１０２を変化（駆動）させることによっておこなう場合について説明する。

例えば、被写体の輝度が暗い状態から明るい状態へと変化した場合、絞り１０２をいわゆる開放側から絞り込側へと変化させる。そのような場合、絞り１０２の変化（駆動）中に、連続して出力されたアンダー露出画像と適正露出画像とで、露出量の大小関係が維持できなくなってしてしまう。

即ち、被合成画像同士の露出量の大小（多い少ない）が入れ替わってしまうという問題が生じる。以下、図３を参照して上述の問題について説明する。

図３は本実施形態における種々の露出制御タイミングと露出量の変化を連続的に図示したタイミングチャートである。図３において、〈１〉は動画撮影のための露出制御による露出量の変化を表している。〈２〉はＨＤＲのための露出制御による露出量の変化を表している。そして、〈３〉は動画ＨＤＲモードにおける撮像装置全体での露出量の変化を表している。

また、図３（Ａ）は、上述したような露出量の大小が入れ替わってしまっている場合のタイミングチャートである。更に、図３（Ｂ）と（Ｃ）はそれぞれ後述する条件に応じたタイミングチャートである。

ここで、図３（Ａ）に注目すると、絞り駆動中におけるアンダー露出画像の平均の露出量を表す点Ａの露出量よりも絞り駆動中における適正露出画像の平均の露出量を表す点Ｂの露出量が小さい（少ない）ということがわかる。即ち、当初意図していた被合成画像間の露出量の大小が入れ替わってしまう。

被合成画像取得後に施すガンマ補正やサンプリング等はそれぞれの被合成画像に応じておこなわれる為、この状態ではＨＤＲ合成処理が適正に行われないという問題が生じる。

そこで、本実施形態では、絞りを微小駆動することによって上述の問題を解決する。尚、絞りの微小駆動は、ステッピングモータのコイルに流れる電流を段階的に制御し、絞り径の微細な制御が可能なレンズであるマイクロステップ絞り駆動が可能なレンズを用いて、絞りの駆動を制御することで実現する。

詳細としては、合成の１組となるアンダー露出画像用の露出量（以下、アンダー露出と称す）と適正露出画像用の露出量（以下、適正露出と称す）の大小の関係が適正なものとなるように、被合成画像間での露出が変化した量を表す露出の変化量を決定する。

そして、露出の変化量を決定するための手段として絞りの駆動（により変化する露出量）を制御することで上述の問題に対応する。

以下より上述した本実施形態に係る撮像装置の動作を図４に示すフローを参照して説明する。尚、この図４に示すフローにおける各ステップの動作は、カメラ１００の内部に設けられたＣＰＵ１３１がメモリ１３２の内部に記憶されたプログラムを実行することで実現される。

まず、撮影処理を始める前に、前述したカメラ１００を構成する各部の操作をおこなうことで被写体に焦点を合わせる等の撮影に関する事前準備を完了する。

図４のフローについて説明する。まず、ステップＳ１００でＣＰＵ１３１は、ライブビュー開始／終了ボタン１６４が押されたことを検知して、撮影処理を開始する。

次に、ステップＳ１０１で、ＣＰＵ１３１は、ユーザによって選択された動画モードが動画ＨＤＲモードか否かを判定する。動画ＨＤＲモードではない場合は、通常動画モードであると判定しステップＳ１０２へと進み、動画ＨＤＲモードの場合はステップＳ１１１へと進む。

以下より通常動画モードの動作に関するフローについて説明する。ステップＳ１０２でＣＰＵ１３１は、撮像素子１０５、表示制御部１５１に動作開始を指示し通常動画モード用の制御を開始する。

次に、ステップＳ１０３でＣＰＵ１３１は、メモリ１３２の内部に記憶されている、予め決められた露出条件での予備画像の撮像をおこなう。尚、予備撮影の露出条件は一般的なものであればどのようなものであってもよい。また、本実施形態において、予備画像は後述する測光演算に使用するだけなので、メモリ１３２等に記録は行わないが、記録をおこなうような構成であっても良い。

次に、ステップＳ１０４でＣＰＵ１３１は測光演算部２０１に、先に取得した予備画像の測光演算をおこなわせ、その結果から目標露出を算出する。

本実施形態において目標露出とは、測光演算の結果から算出される被写体の明るさに対して適正な露出である。本実施形態では、図５に示すプログラム線図に基づいて目標露出の算出をおこなう。

ここで、図５のプログラム線図は本実施形態に係る動画撮影時の絞り、蓄積時間、ＩＳＯ感度の関係を示したプログラム線図の例である。上側の横軸と左側の縦軸は撮影露出、下側の横軸は蓄積時間およびＩＳＯ感度、右側の縦軸は絞り値を示す。

尚、この目標露出はユーザの設定により適宜設定するような構成であっても良い。その場合は、ステップＳ１０３及びステップＳ１０４の工程をおこなわずに任意の露出を決定するような構成でも良い。

次に、ステップＳ１０５でＣＰＵ１３１は、先に算出した目標露出が、後述する所定範囲内に収まっているか否かを判定する。目標露出が所定範囲内である場合はステップＳ１０７へと進む。目標露出が所定範囲外の場合はステップＳ１０６へと進む。

一般的に動画では、目標露出に実際の撮影に用いる露出（撮影露出）を追従させて露出制御をおこなう。しかしながら、目標露出に対する撮影露出の追従を過度におこなうことで頻繁に露出が変更されてしまう。この状態では撮影露出が定まりにくいという弊害がある。

そこで、本実施形態では上述の弊害を防止するために撮影露出を基準とした所定範囲（不感帯）を設ける。そして、撮影露出を基準とした所定範囲内に目標露出が設定されるか否かで露出条件の変更をおこなうか否かを決定する。

尚、本実施形態において、所定範囲は撮像素子１０５のダイナミックレンジや測光演算部２０１が出力する演算精度、現像処理部２０２のγ変換パラメータ等から決定するがこれに限定されるものではない。

目標露出が設定した所定範囲外である場合、ステップＳ１０６でＣＰＵ１３１は、撮影露出を変更し、露出の変更が完了したらステップＳ１０７へと進む。尚、本実施形態において撮影露出の変更は、図５に示すプログラム線図に基づいて絞り、蓄積時間、ＩＳＯ感度を適宜変更することで実現する。

次に、ステップＳ１０７では表示部１５３に表示する画像（表示画像）の撮影をおこない、表示画像の撮影が完了したらステップＳ１０８で撮影した表示画像のライブビューの更新をおこなう。尚、撮影処理を開始した後の初めての処理である場合は、ライブビューを開始する。

次に、ステップＳ１０９でＣＰＵ１３１は、撮影処理を終了するか否かの判定をおこない、終了する場合はＳ１１０へと進み撮影処理を終了し、ライブビューも終了する。

撮影処理を終了しない場合は、ステップＳ１０４へと戻り次の画像の撮影動作を開始する。以上が通常動画モードの動作についてのフローである。

以下より、動画ＨＤＲモードの動作に関するフローについて説明する。ステップＳ１０１において、ユーザによって選択された動画モードが動画ＨＤＲモードであると判定された場合、ステップＳ１１１へと進みＣＰＵ１３１は、撮像素子１０５、表示制御部１５１に動作の開始を指示し動画ＨＤＲモード用の制御を開始する。

次に、ステップＳ１１２でＣＰＵ１３１は、メモリ１３２の内部に記憶されている、予め決められた露出条件での予備画像の撮像をおこなう。尚、予備画像の撮影については前述の通常動画モードと同様なので説明は省略する。

次に、ステップＳ１１３でＣＰＵ１３１は測光演算部２０１に、先に取得した予備画像の測光演算をおこなわせ、その結果から目標露出を算出する。

尚、動画ＨＤＲモードでも通常動画モードと同様に図５に示すプログラム線図に従って目標露出を決定する。ここで、動画ＨＤＲモードにおける目標露出とは、後述する適正露出である。従って、後述するアンダー露出画像は、図５に示すプログラム線図を基に、適正露出から所定の露出差を設定することで取得される。

次に、ステップＳ１１４でＣＰＵ１３１は、測光演算の結果から、適正露出とアンダー露出との露出差を決定する。本実施形態においてアンダー露出は適正露出よりも露出量（ＥＶ）が２段分（２Ｅｖ）小さくなるように設定されるが、これに限定されるものではない。

例えば、適正露出とアンダー露出の露出差を２Ｅｖ以外にしても良いし、所定の算出式に従って露出差を算出するような構成でも良い。

尚、本実施形態において、適正露出とアンダー露出との露出差は、ＩＳＯ感度及び蓄積時間の一方か、若しくは双方を撮影毎に変更することで実現する。即ち、図３の〈２〉に示す露出制御は、絞りを変化させることなくＩＳＯ感度と蓄積時間を制御することによって実現される。

次に、ステップＳ１１５でＣＰＵ１３１は、先に算出した目標露出が所定範囲内であるか否かを判定する。目標露出が所定範囲内である場合は、ステップＳ１１９へと進む。

ステップＳ１１５で目標露出が所定範囲外であると判定した場合は、Ｓ１１６へと進みＣＰＵ１３１は、絞り駆動による露出制御を開始する。尚、動画ＨＤＲモードも所定範囲は通常動画モードと同様である。

次に、ステップＳ１１７でＣＰＵ１３１は絞り駆動パラメータを決定する。この絞り駆動パラメータの決定するための動作である絞り駆動処理に関しては後述する。

尚、本実施形態において、絞り駆動パラメータとは、レンズ１０１がレンズ駆動部１４１によってマイクロステップ絞り駆動をおこなう際の、単位画像あたりの露出量の変化量を決定する為のパラメータである。

次に、ステップＳ１１８でＣＰＵ１３１は、ステップＳ１１７で決定した絞り駆動パラメータを基に絞りの駆動を開始した後、ステップＳ１１９へと進む。

次に、ステップＳ１１９でＣＰＵ１３１は、ステップＳ１１４で求めたアンダー露出と適正露出との露出差を基に露出制御をおこない、まず、アンダー露出に設定する。そして、その後アンダー露出画像の撮影をおこなう。

次に、ステップＳ１２０でＣＰＵ１３１は、アンダー露出画像を撮影した際と同様に適正露出画像の撮影をおこなう。

尚、本実施形態では、先にアンダー露出画像を撮影した後に適正露出画像の撮影をおこなう。これは、撮像素子１０５からの電荷の読み出しタイミングは周期的で、蓄積の開始タイミングは読み出しタイミングから逆算して設定されることに起因する。

例えば適正画像から撮影を行った場合、アンダー露出画像の方が適正露出画像より蓄積時間が短いため、適正露出画像とアンダー露出画像との間で電荷の蓄積をおこなわない間隔が大きくなってしまう。従って、ＨＤＲ合成処理をおこなう場合に適正露出画像とアンダー露出画像とで被写体のずれ量が大きくなってしまい、合成後の画像にブレが生じてしまう可能性がある。

以上より、本実施形態ではアンダー露出画像、適正露出画像の順で撮影をおこなうが、例えば、適正露出画像、アンダー露出画像の順に撮影をおこなうような構成でも良い。特に、被写体に所定以上の動きが生じないような場合は撮影の順序を限定する必要はない。

次に、ステップＳ１２１でＣＰＵ１３１は、合成部２０４においてアンダー露出画像と適正露出画像とを合成してＨＤＲ合成処理をおこなう。

合成の詳細としては、まず、被合成画像毎に画像を複数のブロックに分割し、該ブロック内部の所定の画素について、適正露出画像とアンダー露出画像とを比較することで被合成画像同士の位置合わせをおこなう。

次に、被合成画像の所定の画素毎に輝度値を積算し平均輝度値を算出する。そして、積算した平均輝度値が所定の閾値を超えるか否かで画像中の黒つぶれ輝度領域、および白とび輝度領域を検出する。そして検出された黒つぶれ領域と白とび領域を合成の対象から画素から除外する（除外処理）。以上の動作を被合成画像である適正露出画像とアンダー露出画像の双方でおこなう。

最後に、適正露出画像の輝度レベルを基準として被合成画像の輝度レベルを合わせ、所定の合成比率に応じての適正露出画像とアンダー露出画像の合成が実行される。

以上の動作は、合成部２０４の内部で、ＣＰＵ１３１がメモリ１３２の内部の所定のプログラムを実行し、その際にメモリ１３２の内部に記憶された所定のデータを用いることで実行される。

尚、本実施形態に係る撮像装置において、合成処理は前述の動作をおこなうものに限定されるものではなく、例えば、被合成画像同士の加算平均をおこなうだけでも良い。

ステップＳ１２２でＣＰＵ１３１は、合成によって取得した合成画像のライブビューをおこなう。

次に、ステップＳ１２３で撮影処理を終了するか否かの判定をする。撮影処理を終了する場合はステップＳ１２４へと進み撮影処理を終了しライブビューも終了する。また、撮影処理を終了しない場合は、ステップＳ１１３へと戻り、次のフレームの撮影処理動作をおこなう。以上が、動画ＨＤＲモードの動作を示すフローである。

（絞り駆動パラメータの決定手順）
以下、前述したステップＳ１１５においてＣＰＵ１３１が、目標露出が所定範囲（不感帯）外であると判定した場合におこなう、絞り駆動処理について前述の図３、及び図６を参照して説明する。

図６は被写体の輝度変化に応じて絞り駆動するにあたり、絞り駆動パラメータを決定するためのフローを示した図である。この図６に示すフローにおける各ステップの動作は、カメラ１００の内部に設けられたＣＰＵ１３１がメモリ１３２の内部に記憶されたプログラムを実行することで実現される。

尚、本実施形態において絞り駆動パラメータは、絞り変化露出量ΔＦ、単位露出上限量ΔＦｍａｘ、絞り駆動画像数、絞り駆動中の被合成画像間の露出差ΔＧ１、単位絞り変化露出量ΔＦ１、絞り駆動開始タイミングを指す。これらの各パラメータの詳細については後述する。

ここで、絞り変化露出量ΔＦとは、絞り駆動中の絞り駆動により変化する露出量である。単位露出上限量ΔＦｍａｘとは、単位画像あたりの絞り駆動によって変化する露出量の上限である。単位絞り変化露出量ΔＦ１とは、単位画像当たりの絞りの駆動により変化する露出量である。

図６において、まずステップＳ２００で絞り駆動パラメータの決定処理を開始し、その後、ステップＳ２０１でＣＰＵ１３１は、目標露出と現在の撮影露出の差分から、必要な絞り駆動量ΔＦを決定する。

次に、ステップＳ２０２でＣＰＵ１３１は、単位露出上限量ΔＦｍａｘを、被合成画像の露出である適正露出とアンダー露出の露出差ΔＥ１に基づいて決定する。

詳細としては、単位露出上限量ΔＦｍａｘをΔＥ１未満として設定する（ΔＦｍａｘ＜ΔＥ１）。

尚、本実施形態において、露出差ΔＥ１は合成に用いられる組として連続して周期的に出力されるアンダー露出と適正露出の露出量の差分の絶対値である。

本実施形態において、絞りの駆動に上限（単位露出上限量）を設けるのは、絞り駆動中にアンダー露出と適正露出の露出量の大小関係が逆転することを防ぐためである。

即ち、絞り駆動中であっても、絞りを駆動してないときの被合成画像間の露出量の大小関係を保つように絞りの駆動を設定する。

従って、絞りを駆動することによる単位画像当たりの露出の変化量は、通常動画モード時と比較して動画ＨＤＲモードの方が少なくなる。即ち、前述したように露出上限量ΔＦｍａｘをΔＥ１よりも小さくし、動画ＨＤＲモードでの絞りの駆動を通常動画モードでの絞りの駆動よりもゆるやかに変化するように制御される。

以上の動作によって、図３（Ｂ）のように絞りを駆動している際の被合成画像同士の露出量の大小関係（点Ｅと点Ｆの大小の関係）は、絞り駆動をしていないときの被合成画像同士の露出量の大小関係（点Ｃと点Ｄの大小関係）が維持される。即ち、被合成画像同士の露出量の大小関係が入れ替わることはない。

尚、図３（Ｂ）は本実施形態に係る撮像装置における、絞りの駆動を制御された場合の露出制御タイミングと露出量の変化を連続的に図示したタイミングチャートである。そして、点Ｃ〜点Ｆはそれぞれ、位置する被合成画像における平均の露出量を表している。

また、前述の露出量の大小関係とは、露出量が多いか少ないか（大きいか小さいか）という関係を示すものであって、絞りを駆動している際にも絞りを駆動していない際の露出差を常に維持するということではない。

例えば、本実施形態においては図３（Ｂ）の点Ｃと点Ｄの間の露出差と点Ｅと点Ｆの間の露出差がまったく同一であり、大小関係も同じである必要は無い。

更に、本実施形態において露出量の大小関係とは、アンダー露出画像と適正露出画像とを合成に用いられる１つの組として、周期的に連続して出力されるものを比較した際の関係である。即ち、図３（Ｂ）の点Ｃと点Ｄのような被合成画像同士の組で露出量を比較した場合の被合成画像間の露出量の大小関係である。

図６に戻り、ステップＳ２０３でＣＰＵ１３１は、絞り駆動をおこなう被合成画像の数（絞り駆動画像数）をΔＦ／ΔＦｍａｘとして算出する。

次に、ステップＳ２０４でＣＰＵ１３１は、絞り駆動中の被合成画像間の露出差ΔＧ１を決定する。本実施形態において、被合成画像間に露出差を設けるのは、絞り駆動中であってもＨＤＲ合成処理の効果を一定以上保持する為である。

例えば、通常であれば２Ｅｖほどの露出差を有する被合成画像間の露出差が、絞りの駆動により小さくなってしまうと、被合成画像同士の露出量にはほとんど違いがなくなってしまう。この状態の被合成画像同士でＨＤＲ合成処理をおこなったとしてもダイナミックレンジの拡大効果は希薄になってしまう。

そこで、本実施形態では前述したように被合成画像間で一定値以上の露出差を有するような露出制御をおこなう。詳細としては、絞り駆動中であっても被合成画像間の露出差ΔＧ１が通常時と比較して略半分以上の露出差を有するように絞りの駆動を制御する（ΔＧ１＝ΔＥ１／２）。

この構成によって、絞り駆動中であっても常にＨＤＲ合成処理の効果を一定以上保持して合成画像を取得することが出来る。

図６のフローに戻り、ステップＳ２０５でＣＰＵ１３１は、ステップＳ２０３で算出した絞り駆動画像数が偶数であるか否かを判定する。

ステップＳ２０５の判定において、ステップＳ２０３で算出した絞り駆動画像数が偶数でない場合、ステップＳ２０６でＣＰＵ１３１は、算出した絞り駆動画像数に絞り駆動をおこなう画像を追加する。

即ち、絞り駆動画像数が奇数の場合は、絞り駆動をおこなう画像を１枚追加することで絞り駆動画像数が偶数となるように補正をおこなう。

これは、絞り駆動画像数を偶数とすることで、アンダー露出画像と適正露出画像の組み合わせの内どちらか一方だけが絞り駆動が行われ、ＨＤＲ合成処理が適正におこなわれなくなることを防ぐためである。即ち、絞り駆動画像数は常に被合成画像の数の倍数となるように設定される。

次に、ステップＳ２０７でＣＰＵ１３１は、先に決定した絞り変化露出量ΔＦと絞り駆動画像数から、被合成画像間において実際に単位画像あたりの絞り駆動によって変化する露出量である単位絞り変化露出量を決定する。

次に、ステップＳ２０８でＣＰＵ１３１は、絞り駆動が、合成に用いられる被合成画像同士の組のアンダー露出画像から開始されるように、絞り駆動を開始するタイミングである絞り駆動開始タイミングを設定する。

例えば、本実施形態では、図３（Ｂ）に示すようにアンダー露出画像、適正露出画像の順で合成が行われるので、図３（Ｂ）中の点Ｙに示す位置が絞り駆動開始タイミングである。

尚、前述したように、ステップＳ２０５、ステップＳ２０６において、絞り駆動画像数が偶数となるように設定しているため、絞り駆動が終了するタイミング（絞り駆動終了タイミング）は図３（Ｂ）中の点Ｚの位置である。

図３（Ｃ）は絞り駆動開始タイミングが被合成画像として撮影される画像に合わせない場合の露出制御タイミングと露出量の変化を連続的に図示したタイミングチャートである。

図３（Ｃ）において、点Ｇ及び点Ｈはそれぞれの被合成画像における平均の露出量を表している。ここで、アンダー露出画像ではあるが絞り駆動をしていない場合の点Ｇと、適正露出画像であるが絞り駆動中の点Ｈの画像同士が合成されることでＨＤＲ合成が適切に行われない可能性がある。

例えば、一方が絞り駆動中の画像を合成に使用すると、被合成画像間で露出量が一定の量で変化をしないため、被合成画像同士の位置合わせや輝度レベルの調整などが適正に行われないなどの問題が生じてしまう。

従って、本実施形態では、前述したように、被合成画像の組に合わせて絞り駆動をおこなう絞り駆動タイミングを決定する。即ち、先に取得するアンダー露出画像の取得開始と同時に絞りの駆動を開始し、後に取得する適正露出画像の取得完了と同時に絞りの駆動を終了する。

ステップＳ２０８で絞り駆動タイミングを決定したらステップＳ２０９でＣＰＵ１３１は絞り駆動パラメータの決定処理を終了する。以上が絞り駆動パラメータを設定するためのフローである。

絞り駆動パラメータが決定したら、図４のステップＳ１１８において決定した絞り駆動パラメータに従って絞り駆動を開始する。従って、以降のステップでは、動画撮影中にもＨＤＲ合成処理を適正に行うことが出来るような条件で被合成画像を順次取得することが出来る。

以上説明したように、本実施形態に係る撮像装置によれば、動画ＨＤＲモードで動画撮影中にＨＤＲ合成処理をおこなう場合であっても、被写体の輝度変化に追従して露出制御をおこないつつ、ＨＤＲ合成処理を適正におこなうことができる。

尚、本実施形態において絞り駆動の制御は、算出した絞り駆動量と絞り駆動画像数に基づいて単位絞り駆動量を算出するため、１つの絞り駆動中における単位絞り駆動量は常に一定である。しかし、本実施形態はこれに限定されるものではなく、絞り駆動中に測光演算をおこない、その結果を絞り駆動の制御に逐次反映させるような構成でも良い。

また、本実施形態では被合成画像間の露出差ΔＧ１を設定するような構成であるが、これに限定されるものではない。例えば、図６のステップＳ２０４の処理をおこなわないような構成であっても良い。

更に、本実施形態は合成部２０４で前述した露出の異なる画像同士を合成するような構成であるがこれに限定されるものではない。例えば、カメラ１００の外部にもうけられた外部装置（不図示）で合成をおこなうような構成であっても良い。

（第２実施形態）
前述した第１実施形態では、絞りの駆動を制御することで、被写体の輝度変化に追従して露出制御をおこないつつ、ＨＤＲ合成処理を適正におこなう構成について説明した。

本実施形態では、絞りの駆動を制御する代わりに蓄積時間とＩＳＯ感度を制御する場合について図７参照して説明する。

図７は絞り駆動中に蓄積時間とＩＳＯ感度を制御する場合の露出制御タイミングと露出量の変化を連続的に図示したタイミングチャートである。尚、図７の点Ｉと点Ｊはそれぞれ対応するアンダー露出画像と適正露出画像の平均の露出量を表している。

本実施形態では、絞り駆動中も、絞りを駆動してないときの被合成画像同士の露出量の大小関係を維持する為に、絞り駆動していないときの蓄積時間とＩＳＯ感度をＣＰＵ１３１（蓄積時間制御手段、並びにＩＳＯ感度制御手段）によって制御する。

詳細としては、蓄積時間とＩＳＯ感度を制御することによる露出量を、絞りを駆動していないときと比較して絞り駆動中のアンダー露出では小さく（少なく）、適正露出では大きく（多く）することで対応する。

即ち、図７において絞り駆動中である点Ｉの露出量を絞り駆動していない場合より少なくし、点Ｊの露出量を絞り駆動していない場合より多くする。

この構成によって点Ｉと点Ｊ間の露出量は、絞り駆動をしていない場合の被合成画像間の露出量の大小関係を維持することができる。以下より、この構成に係る動作について、図８のフローを参照して説明する。

尚、図８は本実施形態に係る撮像装置の動作を示すフローである。また、図８に示すフローにおける各ステップの動作は、カメラ１００の内部に設けられたＣＰＵ１３１がメモリ１３２の内部に記憶されたプログラムを実行することで実現される。

図８において、まず撮影処理を始める前に、カメラ１００を構成する各部の操作をおこなうことで撮影に関する事前準備を完了し、ステップＳ３００でＣＰＵ１３１は、ライブビュー開始／終了ボタン１６４が押されたことを検知して、撮影処理を開始する。

次に、ステップＳ３０１でＣＰＵ１３１は、ユーザにより設定されたのが動画ＨＤＲモードであるか否かを判定する。ここで、動画ＨＤＲモードではないと判定された場合は、前述の第１実施形態と同様に通常動画モードが選択される。尚、本実施形態の通常動画モードは前述した第１実施形態と同様の動作をおこなうので説明は省略する。

ステップＳ３０１で動画ＨＤＲモードが設定されていると判定した場合は、ステップＳ３１１へ進みＣＰＵ１３１はＨＤＲ動画撮影モードに関する処理を開始する。以下、ステップＳ３１５まで動作は、前述の第１実施形態と同様であるので説明は省略する。

ステップ３１５でＣＰＵ１３１が、目標露出が所定範囲外であると判定した場合、ステップＳ３１６でＣＰＵ１３１は、目標露出が所定範囲内となるように蓄積時間とＩＳＯ感度を変化させて補正する露出量である露出補正量を決定する為の処理をおこなう。

尚、本実施形態では、通常動画モードと同様に、被写体の輝度変化に追従した露出制御をおこなう。

この際、第１実施形態とは異なり、輝度変化に追従して絞りを駆動する場合に、絞りの駆動により変化する単位画像当たりの露出量に上限（ΔＦｍａｘ）は設けない。従って、動画ＨＤＲモードでは通常動画モードと同じように絞りを駆動させる。

本実施形態では、絞りの駆動により変化する露出量を制御する代わりに、蓄積時間とＩＳＯ感度により変化する露出量を制御する。

即ち、蓄積時間とＩＳＯ感度を制御することで、被合成画像間の露出差を適正に保ち、被合成画像同士で露出量の大小関係が入れ替わることを抑制する。

尚、本実施形態では、ＨＤＲのための露出制御以外で、上述したような被合成画像間の露出差を適正に保つために蓄積時間とＩＳＯ感度の制御をおこなうことを例示的に露出補正処理とする。

ステップＳ３１６でＣＰＵ１３１は、露出補正制御処理における露出補正量を決定する。この露出補正量の決定処理について図９を参照して説明する。図９は、本実施形態に係る露出補正量の決定処理の動作を示すフローである。

尚、図９に示すフローにおける各ステップの動作は、カメラ１００の内部に設けられたＣＰＵ１３１がメモリ１３２の内部に記憶されたプログラムを実行することで実現される。

図９のステップＳ４００でＣＰＵ１３１は露出補正量の決定処理を開始し、ステップＳ４０１でＣＰＵ１３１は被写体輝度の変化に追従する為に必要な絞り変化露出量ΔＦを決定する。

次に、ステップＳ４０２でＣＰＵ１３１は、単位絞り変化露出量ΔＦ１を算出する。尚、このΔＦ１の算出方法は、前述した第１実施形態のように単位露出上限量ΔＦｍａｘを算出し、単位絞り変化露出量ΔＦ１をその範囲内に収めるような構成ではない。

次に、ステップＳ４０３でＣＰＵ１３１は、先に算出した絞り変化露出量ΔＦと単位絞り変化露出量ΔＦ１から絞り駆動画像数を算出する。詳細としては、絞り駆動画像数＝ΔＦ／ΔＦ１として算出する。

ステップＳ４０３で絞り駆動画像数を算出したら、ステップＳ４０４においてＣＰＵ１３１は、該絞り駆動画像数が偶数か否かを判定する。絞り駆動画像数が偶数の場合はステップＳ４０６へと進み、絞り駆動画像数が偶数でない場合はステップＳ４０５へと進む。

ステップＳ４０４でＣＰＵ１３１が、絞り駆動画像数が偶数でないと判定した場合、ステップＳ４０５でＣＰＵ１３１は、絞り駆動画像数が偶数となるように補正処理をおこなう。

ステップＳ４０５で絞り駆動画像数の補正の完了、又はステップＳ４０４で絞り駆動画像数が偶数であると判定されたら、ステップＳ４０６へと進みＣＰＵ１３１は絞り駆動中の被合成画像間の露出量を決定する。

ここで、本実施形態では、絞り駆動をおこなっていないときのアンダー露出と適正露出の露出差は２Ｅｖに固定されている。そこで、絞りの駆動中は被合成画像間の露出差ΔＧが１Ｅｖ以上２Ｅｖ未満となるように、蓄積時間とＩＳＯ感度を変化させることで露出量を補正するための露出補正量を決定する。

ステップＳ４０６で絞り駆動中の露出補正量が決定したら、ステップＳ４０７でＣＰＵ１３１は、先に決定した露出補正量に基づいてＩＳＯ感度を変更することによる露出補正量を決定する。

この際、ＩＳＯ感度の単位画像あたりの変更条件としては、カメラ１００で設定可能なＩＳＯ感度の段数の内、元々設定されているＩＳＯ感度の上下２段の段差以内の変更までを許容範囲とする。これは、ＩＳＯ感度の変化によるノイズの影響を最小限とする為である。尚、ＩＳＯ感度の変更可能な段数の許容範囲はこれに限定されるものではなく、ユーザが任意に決めるような構成でも良い。

次にステップＳ４０８でＣＰＵ１３１は、蓄積時間を変更する必要があるか否かを判定する。前述したように、本実施形態ではＩＳＯ感度の変更が可能な段数は予め決められている。そこで、ＩＳＯ感度の変更が可能な段数の許容範囲を超えて露出補正制御処理が必要な場合は、ＩＳＯ感度に加えて蓄積時間を変更することで露出補正制御処理をおこなう。

ステップＳ４０８で、ＣＰＵ１３１が蓄積時間の変更が必要ないと判定した場合はステップＳ４１０へと進む。

ステップＳ４０８で、蓄積時間の変更が必要であると判定した場合は、ステップＳ４０９へ進みＣＰＵ１３１は、先に決定した露出補正量に基づき蓄積時間を変更することによる露出補正量を決定する。

即ち、ＩＳＯ感度の変更可能な許容範囲内で露出補正処理が完了しないと判定した場合、蓄積時間も変更する。

詳細としては、ステップＳ４０６で決定した露出補正量から、ステップＳ４０７でＩＳＯ感度を変更したことによる露出量を差し引いた分を、蓄積時間を変更することによる露出量補正量とする。蓄積時間による露出補正量が決定したら、ステップＳ４１０へと進む。

次に、ステップＳ４１０でＣＰＵ１３１は、絞り駆動開始タイミングを決定する。絞り駆動タイミングの決定方法については前述の第１実施形態と同様なので説明は省略する。

次に、ステップＳ４１１でＣＰＵ１３１は、露出補正量の決定処理を終了する。以上が、本実施形態における露出補正量の決定動作を示すフローである。

図８に戻り、ステップＳ３１７でＣＰＵ１３１は、ステップＳ３１６で決定した露出補正量で露出補正制御処理を実行する。即ち、先に撮影がおこなわれるアンダー露出画像における露出補正量に合わせてＩＳＯ感度と蓄積時間による露出補正量を設定する。

次に、ステップＳ３１８でＣＰＵ１３１は、先に決められた絞り駆動開始タイミングに合わせてアンダー露出画像の撮影をおこなう。

次に、ステップＳ３１９でＣＰＵ１３１は、先に決定された露出補正量に基づいて適正露出画像における露出補正量を設定し、適正露出画像の撮影をおこなう。

以降のステップＳ３２０以降の動作は前述の第１実施形態と同様の動作をおこなう。即ち、撮影されたアンダー露出画像と適正露出画像とを合成し、該合成された画像をライブビューに用いる表示画像として更新する。

そして、撮影処理動作を続けて行う場合はステップＳ３１３に戻り撮影処理動作を繰り返しおこなう。撮影処理動作を終了する場合はライブビューを終了し、撮影処理に関する全ての動作を終了する。以上が本実施形態に係る撮像装置の動作である。

以上の説明より、本実施形態に係る撮像装置は動画ＨＤＲモードで動画撮影中にＨＤＲ合成処理をおこなう場合であっても、被写体の輝度変化に追従して露出制御をおこないつつ、ＨＤＲ合成処理を適正におこなうことができる。

そして、ＨＤＲ合成処理を適正におこなうための処理としては、絞りの駆動中に蓄積時間とＩＳＯ感度をもちいて露出量を補正するような露出制御をおこなうことで対応する。

以上の構成によって、絞り駆動中も絞り駆動をしていないときの被合成画像の大小関係を維持することが出来る。また、絞り駆動中も常に一定以上に被合成画像間の露出差が保持されるので、合成後の画像もＨＤＲ合成処理の効果を得ることが出来る。

そして、本実施形態では絞りの駆動を制御するのではなく、ＩＳＯ感度と蓄積時間を変更することにより絞り駆動中の露出制御をおこなうので、絞り駆動をおこなう期間を第１実施形態よりも短くすることが出来る。

尚、本実施形態は、露出補正制御処理としてＩＳＯ感度による露出補正量から決定するような構成であるがこれに限定されるものではない。例えば、蓄積時間による露出補正量を先に決定するような構成でも良い。

更に、ＩＳＯ感度と蓄積時間の内、どちらか一方のみを変更することで露出補正制御処理をおこなうような構成であっても良い。
また、本実施形態においては、絞り駆動画像数を算出することに限定されるものではなく、露出の変化量が過度なものとならなければ絞り駆動数はユーザが任意に決めるような構成であってもよい。

そして、本実施形態で被合成画像間の露出差ΔＧ１は１Ｅｖ〜２Ｅｖとなうように決定するが、これに限定されるものではない。例えば１Ｅｖ〜３Ｅｖのような、他の露出差を基準とするような構成でもあっても良い。

（第３実施形態）
前述した第１実施形態、第２実施形態ではＨＤＲ合成処理に用いる被合成画像は、アンダー露出画像と適正露出画像の２種類であった。例えば、被写体の最大輝度と最小輝度の差が大きい場合は、２種類の被合成画像同士をＨＤＲ合成処理するだけでは、ユーザが意図した明るさの画像が取得できない場合が考えられる。

そこで、本実施形態では動画ＨＤＲモードにおいて、ＨＤＲ合成処理に用いる被合成画像を３種類とすることで、前述の第１、第２実施形態よりも更にダイナミックレンジの拡大が可能なカメラについて説明する。

詳細としては、前述した実施形態で使用したアンダー露出画像と適正露出画像に加えて、適正露出画像よりも相対的に露出量の多いオーバー露出画像（第３の画像）を加えた場合の撮像装置の構成と動作について、図１０、図１１を参照して説明する。

尚、本実施形態に係る撮像装置の基本構成は、図１及び図２で示した第１実施形態と同様であるので説明は省略する。

図１０は本実施形態に係る撮像装置の動作を示すフローである。図１０に示すフローにおける各ステップの動作は、カメラ１００の内部に設けられたＣＰＵ１３１がメモリ１３２の内部に記憶されたプログラムを実行することで実現される。

図１１は絞り駆動中の露出制御タイミングと露出量の変化を連続的に図示したタイミングチャートである。

ここで、図１１（Ａ）は第１実施形態と同様に、マイクロステップ絞り駆動可能なレンズを用いて絞りの駆動を制御する場合タイミングチャートである。

また、図１１（Ｂ）は第２実施形態と同様に、絞り駆動中に蓄積時間とＩＳＯ感度を制御する場合タイミングチャートである。

以下、本実施形態におけるカメラ１００の動作について、図１０のフローを参照して説明する。尚、図１０のフローは、図１１（Ａ）に示す構成を有する撮像装置に係る動作を説明するものである。

図１０において、まず撮影処理を始める前に、カメラ１００を構成する各部の操作をおこなうことで撮影に関する事前準備を完了し、ステップＳ５００でＣＰＵ１３１は、ライブビュー開始／終了ボタン１６４が押されたことを検知して、撮影処理を開始する。

次に、ステップＳ５０１でＣＰＵ１３１は、ユーザによって設定されたのが動画ＨＤＲモードであるか否かを判定する。ここで、動画ＨＤＲモードでないと判定された場合は、通常動画モードが選択される。尚、通常動画モードの動作は前述の第１実施形態と同様なので説明は省略する。

ステップＳ５０１での判定において、動画ＨＤＲモードが設定されていると判定した場合はステップＳ５１１へ進み動画ＨＤＲモードに関する処理を開始する。ステップＳ５１２、ステップＳ５１３の動作は前述の第１実施形と同様の動作をおこなうので説明は省略する。

ステップＳ５１４でＣＰＵ１３１は、ステップ５１３での測光演算の結果に基づいて、ＨＤＲ合成処理に使用するアンダー露出、適正露出、オーバー露出画像の露出量（以下、オーバー露出と称す）の間の露出差を決定する。

尚、本実施形態においては、各被合成画像間の露出差は適正露出を基準にして、アンダー露出であれば露出量を２段分減らし（−２Ｅｖ）、オーバー露出であれば露出量を２段分増やす（＋２Ｅｖ）。

また、上述した露出差以外の露出差をユーザが任意に決定するような構成であっても良い。

次に、ステップＳ５１５でＣＰＵ１３１は、ステップＳ５１３で算出した目標露出が所定範囲（不感帯）内であるかを判定する。目標露出が所定範囲内の場合はステップＳ５１９へと進み、目標露出が所定範囲外である場合はステップＳ５１６へ進む。尚、本実施形態の所定範囲（不感帯）は前述の第１実施形態とのものと同様である。

次に、ステップＳ５１５で目標露出が所定範囲外であると判定した場合、ステップＳ５１６でＣＰＵ１３１は、絞り駆動処理を開始する。

次に、ステップＳ５１７でＣＰＵ１３１は、絞り駆動パラメータを設定する。尚、本実施形態における絞り駆動パラメータの決定方法はオーバー露出画像について考慮すること以外は前述の第１実施形態と同様である。

以下、ステップＳ５１８〜ステップＳ５１８の動作は、前述の第１実施形態と同様である。

以上の説明より、本実施形態でも図１１（Ａ）に示す様に、絞りを駆動しているときとの３つの被合成画像間の露出量が、絞りを駆動していないときの３つの被合成画像間の露出量の大小関係を維持するような露出制御をおこなう。

即ち、図１１（Ａ）の点Ｋよりも点Ｌの露出量の方が多く、点Ｌよりも点Ｍの露出量が多くなるように絞りの駆動を制御することで露出制御をおこなう。

尚、点Ｋは本実施形態における、絞り駆動中のアンダー露出での平均の露出量を表している。以下同様に、点Ｌは適正露出、点Ｍはオーバー露出での平均の露出量を示している。

図１１（Ａ）より、本実施形態においても前述の第１実施形態と同様に、単位絞り変化露出量ΔＦ１が、単位露出上限量ΔＦｍａｘを超えないように絞り駆動をおこなう。

即ち、絞り駆動中の露出の変化量が、絞りを駆動していない際の被合成画像間の露出差を超えないように絞りの駆動を制御するので、被写体の輝度変化に追従しつつＨＤＲ合成処理を適正におこなうことができる。

尚、本実施形態においてＨＤＲ合成処理に用いる被合成画像を取得する順序は、アンダー露出画像、適正露出画像、オーバー露出画像の順である。これは、前述したように撮像素子１０５からの電荷の読み出しタイミングは周期的で、蓄積の開始タイミングは読み出しタイミングから逆算して設定されるからである。

また、本実施形態でも前述の第１実施形態と同様に、被合成画像間の露出差ΔＧ１を設けることで、絞り駆動中もＨＤＲ合成処理の効果を一定以上保持することが出来る。

以上、説明した構成を踏まえ、絞り駆動パラメータの設定が終了しステップＳ５１８で先に取得するアンダー露出画像のためにアンダー露出を設定する。そして、ステップＳ５１９に進み、ＣＰＵ１３１はアンダー露出画像の取得と同時に絞り１０２の駆動を開始する。

その後、ステップＳ５２０でＣＰＵ１３１は、先に求めた絞り駆動パラメータに従って絞り１０２の駆動を続行しつつ適正露出画像を取得する。

同様に、ステップＳ５２１でＣＰＵ１３１は、先に求めた絞り駆動パラメータに従って絞り１０２の駆動を続行しつつオーバー露出画像を取得する。

ステップＳ５２２以降のステップについては前述の第１実施形態と同様であるので説明は省略する。

以上が、被合成画像がアンダー露出画像、適正露出画像、オーバー露出画像の３つであるときに絞りの駆動を制御する場合の動作である。

次に、絞りの駆動を制御する以外の場合について、前述の第２実施形態と同様にＩＳＯ感度と蓄積時間を制御する場合について、図１１（Ｂ）のタイミングチャートを参照して説明する。

図１１（Ｂ）の点Ｎは図中の対応する位置におけるアンダー露出の平均的な露出量である。以下点Ｏ、点Ｐも同様に、図中の対応する位置における適正露出、オーバー露出の平均的な露出量である。

図１１（Ｂ）からわかるように、点Ｎのより点Ｏの露出量の方が多く、点Ｏより点Ｐの露出量の方が多くなるようにＩＳＯ感度と蓄積時間を変更することで調整されている。

即ち、絞り駆動中の合成の１組として用いられる被合成画像同士の露出量は、絞り駆動していないときの被合成画像間の露出量の大小関係を維持すように蓄積時間とＩＳＯ感度による露出制御をおこなう。

尚、図１１（Ｂ）に示す動作をおこなう撮像装置の構成と動作については、前述した第２実施形態と略同一であるので説明は省略する。

本実施形態と第２実施形態との違いは、被合成画像がアンダー露出画像と適正露出画像の２つに加えて、オーバー露出画像を被合成画像としたことである。

従って、本実施形態では、アンダー露出画像と適正露出画像間の単位絞り変化露出量ΔＦ１と同様に、適正露出画像とオーバー露出画像間の単位絞り変化露出量もΔＦ１とする。

また、第２実施形態では、絞り駆動中の被合成画像間の露出差ΔＧ１が１Ｅｖ以上２Ｅｖ未満とのなるように、ＩＳＯ感度と蓄積時間による露出補正量を求めていた。そして、該露出補正量に応じて、２つの被合成画像の取得をおこなっていた。

しかしながら、本実施形態では被合成画像が３つなので、図１１（Ｂ）に示すように、絞り駆動中は先に決定した露出補正量に基づいてアンダー露出とオーバー露出の露出量のみ補正する。即ち、適正露出画像の露出量は補正しない。

この構成によって、アンダー露出画像とオーバー露出画像の取得時にのみ露出補正制御処理を施すだけで、被合成画像同士の露出量はＨＤＲ合成処理に適正なものにすることにできる。その他の構成については前述した通り第２実施形態と同様である。

以上、説明したように、本実施形態の構成に係る撮像装置では、被合成画像が３つの場合も被写体輝度に追従して露出制御をおこないつつ、ＨＤＲ合成処理を適正におこなうことができる。

更に、被合成画像としてアンダー露出画像、適正露出画像、オーバー露出画像を用いることで、前述した第１実施形態と第２実施形態よりも更にダイナミックレンジが拡大された画像を取得することができる。

尚、本実施形態では被合成画像が３つの場合について説明したが、本実施形態はこれに限定されるものではない。例えば、被合成画像の数を更に増やすような構成でもよい。また、測光結果に応じて、被合成画像の数を逐次変更するような構成でもよい。

その場合の構成は、ユーザが任意に設定することで実現しても良いし、測光結果に基づいてＣＰＵ１３１がメモリ１３２に記憶された所定のプログラムを実行するような構成でも良い。

尚、本実施形態では、アンダー露出と適正露出の露出差と、適正露出とオーバー露出の露出差が同一（本実施形態では例示的に±２Ｅｖ）である場合について説明したがこれに限定されるものではない。

例えば、アンダー露出と適正露出の露出差と、適正露出とオーバー露出の露出差が異なるような構成でも良い。その場合の単位絞り変化露出量ΔＦ１は露出差がより小さい方に合わせて決定されるような構成が望ましい。

（その他の実施形態）
前述した第１、第２、第３実施形態においては、絞りの駆動が、いわゆる開放側から絞り込側へと駆動する場合について説明した。

本実施形態では、被合成画像の取得順序は前述した第１、第２、第３実施形態とは変えずに、絞りを絞り込側から開放側へと駆動した場合の撮像装置について図１２を参照して説明する。

尚、本実施形態に係る撮像装置の基本的な構成と動作は前述した第１実施形態と同様であるので説明は省略する。また、本実施形態では例示的にアンダー露出画像と適正露出画像の２つを被合成画像としてＨＤＲ合成処理に用いる場合について言及する。

図１２（Ａ）は本実施形態に係る、前述した第１実施形態と同様の方法で絞りの駆動を制御したときの、露出制御タイミングと露出量の変化を連続的に図示したタイミングチャートである。尚、点Ｑ、点Ｒはそれぞれ対応する被合成画像における平均の露出量を表している。

図１２（Ｂ）は、前述の第１実施形態に係る撮像装置よりも絞り１０２の駆動量が多く、更に絞り込側から開放側へと絞りを駆動させたときの露出制御タイミングと露出量の変化を連続的に図示したタイミングチャートである。尚、点Ｓ、点Ｔはそれぞれ対応する被合成画像における平均の露出量を表している。

図１２（Ｂ）より、絞りを絞り込側から開放側へと駆動させた場合は、絞りの駆動量を多くしても、絞り駆動中の被合成画像同士の露出量の関係は、絞りを駆動していないときの被合成画像間の露出の大小関係を維持している。
しかし、絞りの駆動量が多くなることで、絞り駆動中のアンダー露出と適正露出との露出差は大きくなってしまう。

一般的に、ＨＤＲ合成処理をおこなう場合、被合成画像同士の露出差が大きくなり過ぎると、合成された画像はユーザが意図しない不自然なものとなってしまう。以下、この場合について図１３を参照して説明する。

図１３（Ａ）は例示的に、アンダー露出と適正露出の露出差が２Ｅｖに設定された撮像装置について、ＨＤＲ合成処理によって取得される合成後の画像のダイナミックレンジを表している。尚、点Ｑ、点Ｒは図１２（Ａ）の点Ｑ、点Ｒにそれぞれ対応している。

ここで、絞りを駆動していない、即ち被写体の輝度変化がない場合は、被合成画像間の露出制御（ＨＤＲのための露出制御）のみがおこなわれるので、被合成画像間の露出差は２Ｅｖに維持される。即ち、点Ｑと点Ｒの間の露出差は２Ｅｖである。

図１３（Ｂ）は図１３（Ａ）と同様の条件の撮像装置について、絞りを駆動しているときのＨＤＲ合成処理によって取得される合成後の画像のダイナミックレンジを表している。尚、点Ｓ、点Ｔは図１２（Ｂ）の点Ｓ、点Ｔにそれぞれ対応している。

ここで、図１３（Ｂ）では例示的に、絞りの駆動によってアンダー露出と適正露出の露出差が５Ｅｖとなってしまった場合を示している。即ち、点Ｓと点Ｔの間の露出量は５Ｅｖである。

図１３（Ｂ）より、絞りを駆動することによって、被合成画像間の露出差が変化しまうことがわかる。従って、絞りを駆動しているときは、図１３（Ｂ）では斜線部において適正な露出で画像を取得することが出来なくなってしまう可能性がある。

そこで、本実施形態に係る撮像装置でも前述の第１実施形態と同様の構成と動作をおこなうことで、被合成画像間の露出差が過度に大きくなりすぎることを防止する。

また、本実施形態では、前述の実施形態で説明した絞り駆動中の被合成画像間の露出差ΔＧ１は設けない。これは、絞り込側から開放側へと絞りを駆動する場合には絞り駆動中の露出差はＨＤＲ合成処理の効果を得るために十分な露出差となっているためである。

そして、図１２（Ａ）より、本実施形態においても前述の第１実施形態と同様に、絞り駆動を制御する。即ち、単位露出上限量ΔＦｍａｘを、絞り駆動していないときの被合成画像間の露出差ΔＥ１に設定する。

尚、本実施形態の撮像装置に係る各動作については、上述した点以外は前述の第１実施形態と同様であるので説明は省略する。

従って、実際に単位画像当たりに変化する露出の量はΔＥ１よりも大きくなることはないため、絞り駆動中であっても被合成画像間の露出差が過度に大きくなりすぎてしまうことはない。

以上より、本実施形態の撮像装置は、絞り込側から開放側へと絞りを駆動したときも、絞り駆動中の被合成画像間の露出差が過度に大きくなることを抑制することができる。

即ち、本実施形態に係る撮像装置は、被写体の輝度変化に追従して露出制御をおこないつつ、ダイナミックレンジ拡大処理を適正におこなうことができる。

尚、本実施形態では絞り駆動中の被合成画像間の露出差ΔＧ１は設けていないが、ΔＧ１を設けるような構成でも良い。その場合は、絞り駆動中の過度に露出差が大きくなることを防止する為に、ΔＧ１は絞り駆動をしていないときの被合成画像間の露出差ΔＥ１（２Ｅｖ）未満となるように設定することが望ましい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

尚、前述の実施形態において、被写体の輝度変化に追従しておこなわれる露出制御は、絞りを駆動することで実現していたがこれに限定されるものではない。

例えば、前述の各実施形態に係る撮像装置にＮＤフィルターを新たに設け、絞りを駆動する代わりに被写体の輝度変化に応じてＮＤフィルターの透過光量を段階的に変えるような構成でもよい。

更に、絞りの駆動とＮＤフィルターなど光量を調整する為の部材（光量調節部材）を複数同時に駆動させ、該光量調節部材の駆動を制御するような構成であっても良い。

また、上述した各実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し処理をおこなうような構成でも良い。

その場合、該システム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理をおこない、該プログラム、及び該プログラムを記憶した記憶媒体が本発明を構成することになる。

１００ 撮像装置
１０２ 絞り（光量調節部材）
１０５ 撮像素子（撮像手段）
１３１ ＣＰＵ（制御手段、決定手段）

Claims (16)

1. 被写体を撮像して画像を出力する撮像手段と、
   光量調節部材を駆動させて前記撮像手段に入射する光量を調節する光量調節手段と、
   合成に用いる画像として、前記撮像手段が第１の画像を出力した後に前記第１の画像とは露出が異なる第２の画像を出力するように、前記撮像手段を制御する制御手段と、
   前記第１の画像と前記第２の画像の露出の差を設定する設定手段と、を有し、
   前記設定手段は、前記光量調節部材を動作しているときに撮像される前記第１の画像と前記第２の画像との露出の大小関係が、前記光量調節部材を動作していないときに撮像される前記第１の画像と前記第２の画像との露出の大小関係と同じになるように、前記露出の差を設定することを特徴とする撮像装置。
2. 前記設定手段は、前記光量調節部材を動作していないときに撮像される前記第１の画像と前記第２の画像との露出の差の絶対値の範囲内で、前記光量調節部材を動作しているときに撮像される前記第１の画像と前記第２の画像との前記露出の差を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記光量調節手段は、前記第１の画像と前記第２の画像の露出量の差に応じて前記光量調節部材を駆動させることを特徴とする請求項１又は請求項２のいずれか一項に記載の撮像装置。
4. 蓄積時間またはＩＳＯ感度を制御する露出制御手段を有し、
   前記露出制御手段は、前記設定手段が設定した前記露出の差に応じて前記光量調節部材を動作しているときの蓄積時間とＩＳＯ感度の少なくとも一方を制御することを特徴とする請求項１又は請求項２のいずれか一項に記載の撮像装置。
5. 前記光量調節部材は、絞りまたはＮＤフィルタであることを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
6. 前記撮像手段を用いて、合成用に前記第１の画像と前記第２の画像とを周期的に連続して出力する第１のモードと、前記撮像手段を用いて、非合成用の画像を連続して出力する第２のモードのうち、設定されているモードを判定する判定手段を有し、
   前記設定手段は、前記判定手段が前記第１のモードが設定されていると判定した場合に、前記光量調節部材を動作しているときに撮像される前記第１の画像と前記第２の画像との露出の大小関係が、前記光量調節部材を動作していないときに撮像される前記第１の画像と前記第２の画像との露出の大小関係と同じになるように、前記露出の差を設定することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。
7. 前記設定手段は、前記光量調節部材を動作している間に、前記制御手段により制御されて前記撮像手段から出力される画像の数が、合成に用いられる画像の数の倍数となるように、前記露出量の差を設定することを特徴とする請求項１乃至６の何れか一項に記載の撮像装置。
8. 前記光量調節手段は、前記第２の画像に対応する撮像を終了するタイミングに合わせて前記光量調節部材の駆動が終了するように、前記光量調節部材の駆動を制御することを特徴とする請求項７に記載の撮像装置。
9. 前記光量調節手段は、前記第１の画像に対応する撮像を開始するタイミングに合わせて前記光量調節部材の駆動が開始するように、前記光量調節部材の駆動を制御することを特徴とする請求項７又は請求項８に記載の撮像装置。
10. 前記第２の画像は、前記第１の画像よりも相対的に露出が大きい画像であって、前記制御手段は、前記第１の画像を出力した後に前記第２の画像を出力し、前記第１の画像と前記第２の画像とを合成に用いられる１組として周期的に連続して前記撮像手段から出力させることを特徴とする請求項１乃至９の何れか一項に記載の撮像装置。
11. 前記第１の画像と前記第２の画像を合成して合成画像を生成する合成手段を有し、
    前記合成画像は、前記第１の画像および前記第２の画像よりも明るさに関するダイナミックレンジが広い画像であることを特徴とする請求項１乃至１０の何れか一項に記載の撮像装置。
12. 被写体を撮像することで画像を出力する撮像手段と、を備え、前記撮像手段に入射する光量を調節する光量調節部材を駆動させて露出を制御できる撮像装置であって、
    合成に用いる画像の露出を設定する設定手段を有し、
    前記設定手段は、合成に用いる画像を連続して出力させている際は、前記光量調節部材を変化させていないときの合成の１組となる画像間の露出の大小関係が維持されるように、前記光量調節部材を変化させているときの合成の１組となる画像間の露出を設定し、
    合成に用いない画像を連続して出力させている際の前記光量調節部材の動作よりも、合成に用いる露出の異なる画像を連続して出力さている際の前記光量調節部材の動作がゆるやかとなることを特徴とする撮像装置。
13. 合成に用いない画像を連続して出力させている際の単位画像当たりの光量調節部材の駆動による露出の変化よりも、合成に用いる画像を連続して出力させている際の単位画像あたりの光量調節部材の駆動による露出の変化が小さいことを特徴とする請求項１２に記載の撮像装置。
14. 合成に用いる画像として、撮像手段から、第１の画像を出力させた後に前記第１の画像とは露出が異なる第２の画像を出力させる制御工程と
    光量調節部材を駆動させて前記撮像手段に入射する光量を調整する光量調節工程と、
    前記第１の画像と前記第２の画像の露出の差を設定する設定工程を有し、
    前記設定工程は、前記光量調節部材を動作させているときに撮像される前記第１の画像と前記第２の画像との露出の大小関係が、前記光量調節部材を動作させていないときに撮像される前記第１の画像と前記第２の画像との露出の大小関係と同じになるように前記露出の差を設定することを特徴とする撮像装置の制御方法。
15. 撮像手段を備え、当該撮像手段に入射する光量を調節する光量調節部材を駆動させて露出を制御できる撮像装置の制御方法であって、
    動静に用いる画像の露出を設定する設定工程を有し、
    前記設定工程では、合成に用いる画像を連続して出力させている際は、前記光量調節部材を変化させていないときの合成の１組となる画像間の露出の大小関係が維持されるように、前記光量調節部材を変化させているときの合成の１組となる画像間の露出を設定し、
    合成に用いない画像を連続して出力させている際の前記光量調節部材の動作よりも、合成に用いる露出の異なる画像を連続して出力させている際の前記光量調節部材の動作がゆるやかであることを特徴とする撮像装置の制御方法。
16. 請求項１４又は請求項１５に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラムコードを有するプログラム。

Images