JP6120500B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関し、特にはハイダイナミックレンジ画像を生成するための撮影（ハイダイナミックレンジ撮影）が可能な撮像装置およびその制御方法に関する。

異なる露光量（適正露出、アンダー露出、オーバー露出）で撮影した複数枚の画像を合成し、画像のダイナミックレンジを拡大するハイダイナミックレンジ（ＨＤＲ）合成が知られている。各画像における適正露出部分を合成することで、白とびや黒つぶれを抑制し、暗部から明部まで良好な階調性を有する画像を得ることができる。

ＨＤＲ合成によって実現できるダイナミックレンジは、複数枚の画像の露出条件に依存する。例えば、晴れた日の青空と建物の影などを含む広いダイナミックレンジを持つシーンに対しては、アンダー露出の露光量とオーバー露出の露光量との差を大きくして撮影しないと、シーンのダイナミックレンジを十分に再現した画像を得ることができない。一方、屋外でも曇天のようなシーンでは、アンダー露出の露光量とオーバー露出の露光量との差はそれほど大きくしなくてもよい。むしろ、露光量を大きくしすぎると、例えば適正露出で少しだけ白とびした領域を、必要以上に白とびしていない（かなり暗い）アンダー露出の画像信号で補うため、Ｓ／Ｎ悪化などの画質劣化を招く場合がある。

このように、シーンのダイナミックレンジに応じて、アンダー露出の露光量とオーバー露出の露光量との差を決定することが望ましい。従来、ＨＤＲ合成用の撮影におけるこの露光量の差は、ユーザーが手動で、±１ＥＶ、±２ＥＶ、±３ＥＶから選択する方法や、カメラが自動で判断して設定する方法がある。後者の方法としては、広い測光範囲を持つＡＥセンサで取得したシーンのダイナミックレンジ情報をもとに判断する方法が一般的である。

しかしながら、いわゆるコンパクトカメラや携帯機器に内蔵されたカメラのような軽量・小型なカメラシステム等では、必ずしもＡＥセンサが搭載されているとは限らないため、別の方法でシーンのダイナミックレンジ情報を取得する必要がある。

特許文献１では、適正露出で撮影した画像の白とび量に基づいて、白とび量を低減させるようにダイナミックレンジ拡大量を決定することが記載されている。

また、特許文献２では、適正露出で撮影した画像の輝度ヒストグラムから、暗部の黒つぶれ具合と明部の白とび具合を解析する。そして、黒つぶれと白とびが許容レベルになるまで露出条件を変えながら撮影動作を繰り返し、シーンのダイナミックレンジに対応した露出条件を決定する方法が開示されている。

特開２０１０−１８３４６１号公報 特許第４５５４０９４号公報

特許文献１の方法は、画像の白とび量は推定値であるため、実測する方法と比較すると精度が低下する。また特許文献２の方法は、実際に撮影した画像に基づいて露出条件を決定するため、精度はよいが、露出条件の決定に複数回の撮影と画像解析が必要なため、本撮影までのレリーズタイムラグが長くなってしまうという問題があった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、その目的は、ハイダイナミックレンジ合成に用いる複数の画像の露出条件を、撮影画像に基づいて短時間で精度良く決定することが可能な撮像装置およびその制御方法を提供することにある。

上述の目的は、ハイダイナミックレンジ画像を生成するための複数の画像の撮影を行うハイダイナミックレンジ撮影が可能な撮像装置であって、撮像手段と、前記撮像手段で得られる画像の被写体輝度に応じた適正露出をオーバー露出側に補正してハイダイナミックレンジ撮影用の適正露出を算出する適正露出算出手段と、前記ハイダイナミックレンジ撮影用の適正露出でハイダイナミックレンジ撮影の開始指示前に撮影した画像から得られる輝度情報と、前記ハイダイナミックレンジ撮影用の適正露出に対するアンダー露出でハイダイナミックレンジ撮影の開始指示後に撮影した画像から得られる輝度情報とから、シーンのダイナミックレンジを算出するダイナミックレンジ算出手段と、前記ダイナミックレンジ算出手段により算出される前記シーンのダイナミックレンジに基づいて、ハイダイナミックレンジ画像を生成するための複数の画像の撮影露出幅を決定する決定手段と、を有することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、ハイダイナミックレンジ合成に用いる複数の画像の露出条件を、撮影画像に基づいて短時間で精度良く決定することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラの断面図 測光時の領域分割の例を示す図 図１のカメラ本体１とその交換レンズ２の電気回路の構成例を示すブロック図 本発明の第１の実施形態に係るカメラの動作を説明するためのフローチャート 図４のＳ３５で行う適正露出算出処理を説明するためのフローチャート 測光領域の重み付け係数の例を示す図 （ａ）は本発明の実施形態における通常撮影用の適正露出とＨＤＲ撮影用の適正露出の例を示す図、（ｂ）は本発明の実施形態におけるシーンのダイナミックレンジの算出原理を模式的に示した図 従来技術と本発明の実施形態とのレリーズタイムラグの差を示した図 ＨＤＲ撮影用の撮影露出幅の決定方法を説明するための図 図４のＳ４３で行う本撮影処理を説明するためのフローチャート 図４のＳ４４で行う現像およびＨＤＲ合成処理を説明するためのフローチャート 本発明の第２の実施形態に係るカメラの動作を説明するためのフローチャート 図１２のＳ５１で行うシーン解析処理を説明するためのフローチャート 本発明の第２の実施形態において、輝度ヒストグラムから優先する輝度域を判定する方法の例を説明するための図 本発明の第２の実施形態において、優先する輝度域に応じてＨＤＲ撮影用の適正露出を補正する処理を模式的に示した図

（第１の実施形態）
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。なお、以下の実施形態においては、本発明に係る撮像装置の一例としてのデジタルカメラについて説明する。なお、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

図１は本発明の実施形態に係るカメラの、主として光学部材やセンサ等の配置を示す断面図である。本実施形態におけるカメラはレンズ交換可能ないわゆるデジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。

カメラ本体１において撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。撮像素子１０の前方近傍に設けられたメカニカルシャッター１１は、撮像素子１０の露光タイミングおよび露光時間を制御する。半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、焦点検出用センサ９に入射させる。焦点検出用センサ９は例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。第１の反射ミラー７、第２の反射ミラー８および焦点検出用センサ９は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。

測光用センサ（ＡＥセンサ）６、ペンタプリズム４および第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６も焦点検出用センサ９と同様、画素数が撮像素子１０よりも少ない撮像素子であってよい。ＡＥセンサ６は、図２（ａ）に例示するように受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。なお、図２（ａ）の例では横９×縦７の６３領域に分割された場合を示しているが、分割数に制限は無い。なお、撮像素子においては、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。

ペンタプリズム４によってファインダー光学系が構成される。図１には示していないが、ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には主ミラー３によって反射されてピント板１２によって拡散された光線のうち光軸外の一部が入射する。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と情報通信を行う。

図３は、図１に示したカメラ本体１とその交換レンズ２の電気回路の構成例を示すブロック図である。カメラ本体１において制御部２１は例えば内部にＡＬＵ(Arithmetic and Logic Unit)、ＲＯＭ、ＲＡＭやＡ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムを実行することにより、カメラ本体１および交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。

焦点検出用センサ９及びＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する信号にＡ／Ｄ変換および信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワーク用メモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。表示器２７は液晶ディスプレイパネル等で構成され、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７は制御部２１からの指示により制御される。記憶部２６は例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理回路２５から入力される。

モーター２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンやメカニカルシャッター１１のチャージを行う。操作部２３はユーザーがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備開始指示や撮影開始指示を入力するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９は交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッター駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、交換レンズ２の状態などの情報を、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。

交換レンズ２がカメラ本体１に装着されると接点部２９，５０を介してレンズ制御部５１とカメラ本体の制御部２１とがデータ通信可能となる。また、接点部２９，５０を通じて交換レンズ２内のモータやアクチュエータを駆動するための電力も供給される。カメラ本体の制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等がレンズからカメラ本体の制御部２１へとデータ通信によって出力される。また、カメラ本体の制御部２１が焦点検出や露出演算を行った結果求められた焦点調節情報や絞り情報はカメラ本体の制御部２１からレンズへとデータ通信によって出力されて、レンズは焦点調節情報に従って絞りを制御する。

なお、本実施形態では、ＡＥセンサ６を用いず、撮像素子１０を用いて露出演算を行う。従って、図１および図３におけるＡＥセンサ６は必須ではない。撮像素子１０（の出力信号）を用いて露出演算を行う場合、撮像素子１０の出力する信号に対して信号処理回路２５で所定の信号処理を適用して得られる画像信号を測光結果として制御部２１へ入力し、制御部２１で露出演算を行う。

図４は、本実施形態におけるカメラ本体１の制御部２１の具体的な動作を説明するためのフローチャートである。たとえば操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が動作可能になると、図４の処理を実行する。

まず制御部２１は交換レンズ２のレンズ制御部５１と通信を行ない、焦点検出や測光に必要な各種レンズの情報を得る（Ｓ３１）。

次に制御部２１は、優先すべき輝度域を、例えば撮影モードに応じて判定する（Ｓ３２）。具体的には、例えば撮影モードが「逆光シーンモード」であれば、暗部の黒つぶれを抑制するために低輝度域を、撮影モードが「スポットライトシーンモード」であれば明部の白とびを抑制するために高輝度域を、それぞれ優先する輝度域として判定する。あるいは、暗部の黒つぶれを抑制すべきか、明部の白とびを抑制すべきかの判定と言い換えることもできる。なお、設定されている撮影モードと優先すべき輝度域とを予め関連付けておくことで、優先すべき輝度域の判定を容易に行うことができるが、他の方法を用いて判定することもできる。例えば、第２の実施形態で説明するように、撮像画像にシーン判定技術を用いることで、逆光シーンやスポットライトシーンに相当するシーンを検出してもよい。また、逆光シーン、スポットライトシーンに限らず、黒つぶれや白とびの生じやすいシーンを検出することができる。

Ｓ３３で制御部２１は、一般にライブビュー画像（またはスルー画像）と呼ばれる、表示器２７を電子ビューファインダとして機能させるために行う動画撮影を開始する。この撮影は、主ミラー３および第１の反射ミラー７をはね上げ、メカニカルシャッター１１を解放し、撮像素子１０が露光される状態として、いわゆる電子シャッタによる撮影を連続的に実行することで実施することができる。なお、この状態では、ミラーアップしているためＡＥセンサ６で測光することはできない。

Ｓ３３でのライブビュー画像の撮影開始後、制御部２１は定期的にＳ３４で、撮像素子１０による測光用の信号取得を実行する。実際には、ライブビュー画像の１フレームを測光用の画像信号として取得すればよい。制御部２１は、取得した画像信号を撮像素子１０から読み出し、Ａ／Ｄ変換を行ってＲＡＭに格納する。

次に、適正露出算出手段としての制御部２１は、適正露出を算出する（Ｓ３５）。この適正露出の算出動作の具体例を、図５のフローチャートに従って説明する。制御部２１は、撮像素子１０で測光用の信号取得に用いた画素領域を、図２（ａ）に示したように９×７個にブロック分割し、各ブロックに含まれる画素で得られた信号に基づき、ブロック毎の輝度情報を取得する（Ｓ４１１）。ブロックの輝度情報は、例えばブロック内の全画素の輝度を平均することにより求めることができる。なお、輝度の演算はＡＰＥＸ（Additive System of Photographic Exposure ）のＢv値に換算して行うことができる。

ここで、各ブロック１１〜７９の輝度情報をＥＤ１１〜ＥＤ７９で表すと、制御部２１はＥＤ１１〜ＥＤ７９に基づいて行方向（Y１〜Y７）及び列方向（Ｘ１〜X９）の射影データを算出する。一般的にはｍ行×ｎ列といった２次元配列のデータから行方向や列方向に加算或いは算術平均した１次元配列のデータに変換する手法のことを２次元から１次元への投影又は射影という。また、列方向や行方向に加算（あるいは平均）した結果得られた１次元配列のデータのことを射影像或いは射影データと呼ぶ。本実施形態においては、輝度情報ＥＤ１１〜ＥＤ７９より射影データY１〜Y７及びＸ１〜X９を算術平均として以下のように算出する（Ｓ４１２）。
Ｘ１＝Σ（ＥＤｘ１）÷７ 但し、ｘ＝１〜７
Ｘ２＝Σ（ＥＤｘ２）÷７ 但し、ｘ＝１〜７
Ｘ３＝Σ（ＥＤｘ３）÷７ 但し、ｘ＝１〜７
Ｘ４＝Σ（ＥＤｘ４）÷７ 但し、ｘ＝１〜７
Ｘ５＝Σ（ＥＤｘ５）÷７ 但し、ｘ＝１〜７
Ｘ６＝Σ（ＥＤｘ６）÷７ 但し、ｘ＝１〜７
Ｘ７＝Σ（ＥＤｘ７）÷７ 但し、ｘ＝１〜７
Ｘ８＝Σ（ＥＤｘ８）÷７ 但し、ｘ＝１〜７
Ｘ９＝Σ（ＥＤｘ９）÷７ 但し、ｘ＝１〜７
Ｙ１＝Σ（ＥＤ１ｙ）÷９ 但し、ｙ＝１〜９
Ｙ２＝Σ（ＥＤ２ｙ）÷９ 但し、ｙ＝１〜９
Ｙ３＝Σ（ＥＤ３ｙ）÷９ 但し、ｙ＝１〜９
Ｙ４＝Σ（ＥＤ４ｙ）÷９ 但し、ｙ＝１〜９
Ｙ５＝Σ（ＥＤ５ｙ）÷９ 但し、ｙ＝１〜９
Ｙ６＝Σ（ＥＤ６ｙ）÷９ 但し、ｙ＝１〜９
Ｙ７＝Σ（ＥＤ７ｙ）÷９ 但し、ｙ＝１〜９

次に制御部２１は、Ｓ３２において低輝度域を優先すると判定されていればＳ４１３に、高輝度域を優先すると判定されていればＳ４２３に、それぞれ処理を移行させる。

Ｓ４１３で制御部２１は、射影データY１〜Y７及びＸ１〜X９の最大値Ｅｍａｘを検出する。

次にＳ４１４で制御部２１は、各ブロックの輝度情報ＥＤ１１〜ＥＤ７９に所定の重み付け演算を適用し、被写体輝度値Ｅａを算出する。図６に、各ブロックに対応した所定の重み付け値ｗ_ｘｙの例を示す。ここで、ｘ＝１〜７、ｙ＝１〜９である。
Ｅａ＝Σ｛ｗ_ｘｙ×ＥＤｘｙ｝÷Σｗ_ｘｙ
尚、図６に示した各エリア毎の所定の重み付け値ｗ_ｘｙは画面中央部が高く、周辺部が低い中央重点測光用の重みの一例であり、他の重みを用いてもよい。

Ｓ４１５で制御部２１は、Ｓ４１２で算出された射影データＹ１〜Ｙ７及びＸ１〜Ｘ９の最小値Ｅｍｉｎを検出する。そして、Ｓ４１６で制御部２１は、射影データの最小値Ｅｍｉｎと被写体輝度値Ｅａとから、例えば以下の式によって低輝度域優先時の露出補正値αを算出する。
α＝（Ｅｍｉｎ−Ｅａ）×０．５

この露出補正値αは「逆光シーンモード」のような低輝度域が優先されるシーンでは、画面内の低輝度部分に主被写体が存在する可能性が高いという経験則に従い露出補正を行うためのものである。係数０．５というのはあくまで例であって、逆光時の低輝度被写体をどの程度明るく写るようにするかで最適値を決めれば良い。

Ｓ４１７で制御部２１は、低輝度域優先時に適した最終的な被写体輝度値Ｅｅを下記の式に従って算出する。
Ｅｅ＝Ｅａ＋α
ここでαは負の値となる。

例として、Ｅａ＝7.625[Bv]、Ｅｍｉｎ＝5.25[Bv]だとすると、
Ｅｅ＝Ｅａ＋α
＝7.625 + (5.25 - 7.625)*0.5
＝6.4375
となる。つまり、被写体輝度は7.625→6.4375（Ｅａ→Ｅｅ）となり、適正露出となるＢｖ値が下がることで通常よりも明るく撮影される（適正露出がオーバー露出側に補正される）ことになる。

Ｓ４１８で制御部２１は、算出された被写体輝度値Ｅｅに基づいて、ハイダイナミックレンジ撮影用の適正露出となるシャッター速度、絞り値、撮影感度を決定する。

一方、Ｓ３２で高輝度域を優先すると判定されている場合、Ｓ４２３で制御部２１は、射影データの最小値Ｅｍｉnを検出する。そして、Ｓ４２４で制御部２１は、Ｓ４１４と同様にして被写体輝度値Ｅａを算出する。Ｓ４２５で制御部２１は、射影データの最大値Ｅｍａxを検出し、Ｓ４２６で以下の式に従って露出補正値αを算出する。
α＝（Ｅｍａｘ−Ｅａ）×０．５

この露出補正値αは、「スポットライトモード」のような高輝度域が優先されるシーンでは、画面内の高輝度部分に主被写体が存在する可能性が高いという経験則に従い露出補正を行うためのものである。係数０．５というのはあくまで例であって、高輝度被写体をどの程度暗く写るようにするかで最適値を決めれば良い。

Ｓ４２７で制御部２１は、最終被写体輝度値Ｅｅを以下の式で算出する。
Ｅｅ＝Ｅａ＋α
ここでαは正の値となる。
例として、Ｅａ＝7.625[Bv]、Ｅｍａｘ＝9[Bv]だとすると、
Ｅｅ＝Ｅａ＋α
＝7.625 + (9 - 7.625)*0.5
＝8.3125
となる。これにより、被写体輝度は7.625→8.3125（Ｅａ→Ｅｅ）となり、適正露出となるＢｖ値が上がることで通常よりも暗く撮影される（適正露出がアンダー露出側に補正される）ことになる。

図４に戻って、Ｓ３６で制御部２１は、撮像素子１０で焦点検出用の信号蓄積を行う。なお、焦点検出用センサ９を用いた焦点検出を行わないのは、ライブビュー表示を行うために、ミラーアップして連続的な撮影を行っているためである。従って、撮像素子１０で得られる画像信号から、コントラスト検出方式の焦点検出を行う。蓄積が終了すると蓄積された信号を読み出しながらＡ／Ｄ変換を行い、焦点検出用の画像信号としてＲＡＭに格納する。

Ｓ３７で制御部２１は、Ｓ３１で得ているレンズ情報と焦点検出用の画像信号とから、撮影画面各部の焦点状態を演算し、合焦させる焦点検出領域を決定する。なお、焦点検出領域の位置の決定は他の方法によってもよく、例えば予め操作部２３を通じてユーザから指定されている焦点検出領域に決定してもよいし、顔検出などの画像認識技術を用いて人物の顔に焦点検出領域を設定してもよい。制御部２１は、決定した焦点検出領域における焦点状態とレンズ情報とに従って、焦点検出領域に合焦させるためのレンズ移動量を算出し、レンズ制御部５１を通じてフォーカスレンズ駆動部５２を制御し、フォーカスレンズを合焦位置に移動させる。これにより、交換レンズ２は焦点検出領域内の被写体に対して合焦状態となる。フォーカスレンズを駆動すると距離エンコーダの情報が変化するので、制御部２１は交換レンズ２内の各種レンズ情報の更新も行う。

Ｓ３８で制御部２１は、後述するハイダイナミックレンジ撮影における複数回の撮影に用いる露出条件を演算するため、通常の適正露出よりも低輝度を優先した、ＨＤＲ撮影用の適正露出の状態で測光を行っておく。この測光はＳ３４と同様の方法で行う。

以上の制御により、カメラは被写体に対して適正露出で撮影できる準備が整っている状態にある。シャッターボタンが押下され、撮影開始が指示されると、制御部２１は本撮影を開始する（Ｓ３９）。ハイダイナミックレンジ撮影では、適正露出に続きアンダー露出とオーバー露出の撮影をする。ユーザーの意図で露出補正がなされている時は、必ずしも中間露出が適正露出であるとは限らないが、ここでは便宜上、中間露出を適正露出とする。また、撮影順番は適正露出、アンダー露出、オーバー露出の順である必要は無く、任意に設定可能である。

アンダー露出撮影用とオーバー露出撮影用の露出値を厳密に決定するには、適正露出に対してアンダー露出およびオーバー露出で測光を行い、シーンのダイナミックレンジを測定する必要がある。しかし、アンダー露出での測光とオーバー露出での測光を行うと、撮影開始指示が入力されてから実際に撮影が開始されるまでのレリーズタイムラグが非常に長くなってしまう。

そこで本実施形態では、撮影指示後に行う測光処理を、優先すべき輝度域に応じてアンダー露出もしくはオーバー露出の一方でのみ行う（Ｓ４０）ことにより、レリーズタイムラグを短縮する。以下、本実施形態の原理について説明する。

図７（ａ）にダイナミックレンジの広い（輝度分布範囲が広い）シーンの輝度ヒストグラムの例を示す。輝度の単位はＥＶである。通常測光により演算される適正露出値で撮影した場合、撮像素子のダイナミックレンジ外の低輝度域ａは黒つぶれして階調性が失われる。しかし、図５で説明した、低輝度域優先時の露出演算処理に基づく適正露出で測光した場合には低輝度域の階調が失われずにすむ。

ダイナミックレンジ算出手段としての制御部２１は、ハイダイナミックレンジ撮影用の適正露出における測光結果（ＨＤＲＢｖ）と、アンダー露出における測光結果からシーンのダイナミックレンジを算出する（Ｓ４１）。例えば図７（ａ）に示したシーンでは、図７（ｂ）に示すように、ハイダイナミックレンジ撮影用の適正露出での測光結果ＨＤＲＢｖと、アンダー露出での測光で得られた最大輝度値ＭａｘＢｖとから、以下の式でシーンのダイナミックレンジＤｓを算出する。
Ｄｓ＝ＭａｘＢｖ−ＨＤＲＢｖ

このように本実施形態では、図８（ａ）に示すような、例えば適正露出での測光に加え、シャッターボタンの押下後にアンダー露出とオーバー露出での測光を行わない。本実施形態では図８（ｂ）に示すように、ＨＤＲ撮影用の適正露出での測光に加え、アンダー露出もしくはオーバー露出での測光の計２回の測光を行う。そのため、シャッターボタンの押下から実際に撮影が開始されるまでのレリーズタイムラグを短縮することができる。このように、本実施形態では、シーンのダイナミックレンジを測定する際、低輝度域と高輝度域のうち、階調性を優先しない領域についての階調性が低下する可能性を受け入れることで、測光回数を削減し、レリーズタイムラグを短縮する。

Ｓ４２で制御部２１は、シーンのダイナミックレンジＤｓに基づいて、シーンに最適なＨＤＲ撮影時の露出幅を決定する。ここでは、適正露出を±０ＥＶとした場合、＋方向および−方向の両方で等しい露出幅の撮影を行うものとする。そして、撮影露出幅の選択肢として、±１ＥＶ、±２ＥＶ、±３ＥＶから自動で選択するものとする。また、撮像素子のダイナミックレンジを６ＥＶ（すなわち、適正露出に対して高輝度側および低輝度側のそれぞれのダイナミックレンジが３ＥＶ）とする。

この場合、ＨＤＲ撮影用の適正露出ＨＤＲＢｖに対し、アンダー露出で撮影できる（白とびしない）最大の輝度値までのダイナミックレンジＤｈは図９に示すように、
Ｄｈ＝４ＥＶ（アンダー露出が適正露出に対して−１ＥVのとき）
Ｄｈ＝５ＥＶ（アンダー露出が適正露出に対して−２ＥVのとき）
Ｄｈ＝６ＥＶ（アンダー露出が適正露出に対して−３ＥVのとき）
となる。

そして、制御部２１は、シーンのＨＤＲ撮影に最適な露出幅を、ＤｈがＤｓを以上となるように、具体的には、Ｄｈ≧Ｄｓとなる最小のＤｈに対応する露出幅を決定する。すなわち、
３ＥＶ＜Ｄｓ≦４ＥＶ → ±１ＥＶ
４ＥＶ＜Ｄｓ≦５ＥＶ → ±２ＥＶ
５ＥＶ＜Ｄｓ≦６ＥＶ → ±３ＥＶ
６ＥＶ＜Ｄｓ → ±３ＥＶ
のように決定する。図９のシーン１のようなケースでは、Ｄｓが６ＥＶよりも大きいため±３ＥＶで撮影することが望ましい。シーン２のようなケースでは、５ＥＶ＜Ｄｓ≦６ＥＶであるため±３ＥＶで撮影することが望ましい。シーン３のようなケースでは、３ＥＶ＜Ｄｓ≦４ＥＶであるため±１ＥＶで撮影することが望ましい。

なお、Ｄｓ≦３ＥＶとなるようなケースでは、シーンのダイナミックレンジが狭いためハイダイナミックレンジ撮影する必要がない。

一方、高輝度域を優先する場合も基本的には低輝度域を優先する場合と同様に撮影露出幅を決定すればよい。高輝度域を優先する場合には、ＨＤＲ撮影用の適正露出による測光でシーンの高輝度域がカバーされるので、Ｓ４０では低輝度域を測光するため、オーバー露出での測光を行う。そして、Ｓ４１で制御部２１は、ＨＤＲ撮影用の適正露出での測光結果ＨＤＲＢｖとオーバー露出での測光で得られた最小輝度値ＭｉｎＢｖとから、シーンのダイナミックレンジＤｓを以下の式に従って算出する。
Ｄｓ＝ＭｉｎＢｖ−ＨＤＲＢｖ
シーンのダイナミックレンジＤｓから露出幅を決定する方法は、低輝度域優先時と同一でよい。

Ｓ４０〜Ｓ４２までの処理を、撮影開始指示（シャッターボタン押下）に応答して行うことで、ハイダイナミックレンジ撮影で行う複数回の撮影の撮影露出を決定する。Ｓ４０〜Ｓ４２の処理に要する時間が、レリーズタイムラグとなる。

Ｓ４３で制御部２１は、Ｓ３５で決定した撮影露出と、Ｓ４２で決定した露出幅に基づき本撮影（適正露出、アンダー露出、オーバー露出での撮影）を行う。
Ｓ４３における本撮影処理の詳細を、図１０のフローチャートを用いて説明する。まず、制御部２１は、Ｓ３５で決定した、適正露出に対応するシャッター速度、絞り値、撮影感度で撮影を行う（Ｓ５１１）。そして、制御部２１は、撮像素子１０に蓄積された信号を読み出しながらＡ／Ｄ変換し、適正露出の画像信号としてＲＡＭに格納する（Ｓ５１２）。また、制御部２１は、次のアンダー露出での撮影においてＳ４２で決定した露出幅を実現するため、シャッター速度の設定を露出幅に応じて高速にする。

Ｓ５１３で制御部２１は、アンダー露出での撮影を行う。ここで制御部２１は、絞り値、撮影感度はＳ３５で決定した値とし、シャッター速度をＳ４２で決定した露出幅に応じて高速にして撮影する。
そして、制御部２１は、撮像素子１０に蓄積された信号を読み出しながらＡ／Ｄ変換し、アンダー露出の画像信号としてＲＡＭに格納する（Ｓ５１４）。また、制御部２１は、次のオーバー露出での撮影においてＳ４２で決定した露出幅を実現するため、Ｓ３５で決定したシャッター速度の設定を、露出幅に応じて低速にする。

Ｓ５１５で制御部２１は、オーバー露出での撮影を行う。ここで制御部２１は、絞り値、撮影感度はＳ３５で決定した値とし、シャッター速度をＳ４２で決定した露出幅に応じて低速にして撮影する。
そして、制御部２１は、撮像素子１０に蓄積された信号を読み出しながらＡ／Ｄ変換し、オーバー露出の画像信号としてＲＡＭに格納する（Ｓ５１６）。なお、制御部２１はシャッター速度の設定を、Ｓ３５で設定した値に戻してもよい。

なお、本実施形態では、露出幅を実現するため、適正露出の条件からシャッター速度を変更する場合を例示したが、撮影感度を変えて実現しても構わない。ただし、撮影後の合成処理では、各画像の露出をデジタルゲインで揃える処理を行うため、高速撮影したアンダー画像はゲインの適用によりノイズが増幅されるため、アンダー露出での撮影では撮影感度を低下させ、ゲイン適用前の画像のノイズを低減してもよい。なお、絞りを変化させることも可能であるが、被写界深度が変化しない範囲で変更可能な場合にのみ絞りを変更するようにする。

図４に戻り、Ｓ４４で制御部２１は、信号処理回路２５を用いて、本撮影された露出が適正、アンダー、オーバーの３枚の画像を現像し、ハイダイナミックレンジ合成を行う（Ｓ４４）。ハイダイナミックレンジ合成の方法としては、適正、アンダー、オーバーの画像を現像後の露出が合うように各々異なるガンマでガンマ変換を行い現像した後でアンダーの高輝度部、適正の中間調部、オーバーの低輝度部を用いて合成する方法が考えられる。他にも、Ｂａｙｅｒの段階で合成しダイナミックレンジの広い画像を生成した後で、トーンマッピングを行い所望の出力のダイナミックレンジに圧縮してから現像する方法も考えられるがいずれの方法を用いても構わない。Ｓ４４の処理の詳細を、図１１に示すフローチャートを用いて簡単に説明する。

交換レンズ２が結像する被写体像は、撮像素子１０で電気信号に変換される。本実施形態において撮像素子１０は、一般的な原色カラーフィルタを備える単板カラー撮像素子であるものとする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各色フィルタを透過した光束から、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーン画像が得られる。単板カラー撮像素子では、３色の色フィルタが特定の並びで配列され、各画素では単一の色プレーンの輝度しか得ることができない。このため撮像素子からは色モザイク画像が出力される。

Ｓ５２１で信号処理回路２５はホワイトバランス処理を行う。具体的には、画像中の白色領域のＲ，Ｇ，Ｂが同値となるようなホワイトバランスゲインを算出し、画像に適用する。Ｓ５２２で信号処理回路２５は、色モザイク画像を補間して、全ての画素がＲ，Ｇ，Ｂの色情報を有するカラー画像を生成する。さらに信号処理回路２５は、生成したカラー画像に対し、マトリクス変換（Ｓ５２３）およびガンマ変換（Ｓ５２４）処理をそれぞれ適用する。その後、信号処理回路２５は画像の見栄えを改善するための処理（色調整処理）をカラー画像に対して適用する。色調整処理の例は、彩度強調、色相補正、エッジ強調といった画像補正である。

異なる露出で撮影した画像を合成して１枚のハイダイナミックレンジ画像（ＨＤＲ画像）を生成する際には、各画像の適正露出付近の信号を使用して画質のよいＨＤＲ画像を得るため、画像にゲインを適用し、輝度レベルを画像間で揃えておく必要がある。ゲインは白とびや黒つぶれをしないように設定する必要がある。

なお、Ｓ５２４で行うガンマ変換で用いるガンマカーブ（入出力特性）は、露光量比から算出されるゲインを適用した際に、入出力特性が同じになるように設計する。適正露出画像に適用するゲインを１倍とした場合、露出幅が±３ＥＶの場合にはアンダー露出の画像に対して８倍のゲイン、オーバー露出の画像に対して１／８のゲインが適用される。このようなゲインが適用された後のガンマカーブができるだけ等しくなるように設計する。こうすることで、後に、輝度域に応じて合成元の画像を切り換えた際に、境界を滑らかにすることができる。

制御部２１は、以上の現像処理が適用された各画像を合成するために、画像間の位置合わせを行う（Ｓ５２６）。位置合わせの方法に制限はないが、例えば、以下の方法を用いることができる。位置の基準とする画像（例えば最初に撮影した画像）の画素値（輝度）と、他の画像の画素値（輝度）の差の絶対値の総和（ＳＡＤ：Sum of Absolute Difference）が最も小さくなるような移動量と移動方向を求める。そして、この移動量と移動方向に応じたアフィン変換を他の画像に適用する。制御部２１は、位置の基準とする画像がアンダー露出画像の場合、位置合わせ済みの適正露出画像およびオーバー露出画像を用いて輝度別合成処理を行い、ＨＤＲ画像を生成する（Ｓ５２７）。本発明において、異なる露出で撮影された画像を合成して１枚のＨＤＲ画像を生成する方法に特に制限は無く、公知の任意の方法を採用することが可能であるため、その詳細についての説明は省略する。制御部２１は、生成したＨＤＲ画像を必要に応じて信号処理回路２５でＪＰＥＧ方式等によって圧縮（Ｓ５２８）し、記憶部２６に記録する（Ｓ５２９）。

以上説明したように、本実施形態では、ハイダイナミックレンジ（ＨＤＲ）撮影時に、高輝度域と低輝度域のどちらの階調性を優先すべきかを決定する。そして、高輝度域を優先すべきであれば、通常の適正露出よりもアンダー露出側に、低輝度域を優先すべきであれば、通常の適正露出よりもオーバー露出側に補正したＨＤＲ撮影用の適正露出を算出する。さらに、本撮影時の露出幅を決定するための測光（シーンのダイナミックレンジ測定するための測光）を、ＨＤＲ撮影用の適正露出に加え、高輝度域を優先すべきであればオーバー露出で、低輝度域を優先すべきであればアンダー露出で行う。そのため、測光回数を従来よりも１回減らすことができ、レリーズタイムラグを短縮することが可能となる。さらに、実際の測光結果を用いて露出幅を決定するため、優先すべき輝度域における階調性を確保するための露出幅を精度良く決定することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では優先すべき輝度域を、設定されている撮影モードに応じて決定していた。また、優先すべき輝度域は、低輝度か高輝度かの二者択一だった。これに対して、以下で説明する第２の実施形態では、シーン解析を行い、逆光状態とスポットライト状態を判定すること、優先すべき輝度域を、低輝度、低中輝度、高中輝度、高輝度の４つとすることが第１の実施形態と異なる。

図１２は、本実施形態に係る画像処理装置の一例としてのレンズ交換式デジタルカメラの動作を説明するためのフローチャートである。なお、本実施形態に係るカメラは、第１の実施形態で説明したカメラと同一構成を有するものとする。また、図１２において、第１の実施形態で説明したものと同一の処理については、第１の実施形態で説明したフローチャートと同じ参照符号を付し、重複する説明は省略する。

Ｓ３１，Ｓ３３，Ｓ３４の処理は第１の実施形態で説明したとおりである。Ｓ５０で制御部２１は、優先する輝度域を設けない通常の適正露出演算を行う。適正露出演算を行うために、被写体輝度値Ｅｅを第１の実施形態で先述した以下の式で求める。
Ｅｅ＝Σ｛ｗ_ｘｙ×ＥＤｘｙ｝÷Σｗ_ｘｙ

そして、制御部２１は、被写体輝度値Ｅｅに基づいてＨＤＲ撮影用の適正露出に対応するシャッター速度、絞り値、撮影感度を決定し露出を制御する。Ｓ３６，Ｓ３７の処理は第１の実施形態で説明したとおりである。

次にＳ５１で制御部２１は、Ｓ３４で読み出した測光用の画像信号について、シーン解析を適用する。このシーン解析処理について、図１３のフローチャートを用いて説明する。ここでは、シーン解析処理によって、逆光シーンやスポットライトシーンのような、画面の中央部と周辺部との輝度の差が大きなシーンを判別するものとする。

このようなシーンを判別するため、制御部２１は、Ｓ３４で読出した測光用の画像信号に対し、図２（ｂ）のように画角（撮影視野）の中心領域（図中、グレーのブロックから構成される領域）と周辺領域（図中の白いブロックで構成される領域）に二分割する。そして制御部２１は、中心領域と周辺領域とでそれぞれ輝度ヒストグラムを算出する（Ｓ５４１，Ｓ５４２）。

図１４に中心領域と周辺領域の輝度ヒストグラムの例を示す。実線が中央領域、点線が周辺領域の輝度ヒストグラムである。制御部２１はさらに、算出した輝度ヒストグラムから中心領域の重心輝度AveY_Center、周辺領域の重心輝度AveY_Aroundをそれぞれ算出する（Ｓ５４３、Ｓ５４４）。そして、制御部２１は、上述した低輝度、低中輝度、高中輝度、高輝度の領域の閾値（Th1〜４）と、中心領域の重心輝度AveY_Center、周辺領域の重心輝度AveY_Aroundとの大小関係によって優先すべき輝度域を決定する。

なお、輝度範囲において優先すべき輝度域を規定するための閾値Th1〜Th4は、予め、例えば統計的に定めておくことができる。図１４に、閾値Th1〜Th4、中心領域の重心輝度AveY_Center、および周辺領域の重心輝度AveY_Aroundの例と、これらの大小関係の例を示す。
本実施形態において、制御部２１は以下のように優先すべき輝度域を決定する。
AveY_Center＜Th1 かつ Th４＜AveY_Around → 低輝度域優先
Th1＜AveY_Center＜Th２ かつ Th３＜AveY_Around＜Th4 → 低中輝度域優先
Th1＜AveY_Around＜Th２ かつ Th３＜AveY_Center＜Th4 → 高中輝度域優先
AveY_Around＜Th1 かつ Th４＜AveY_Center → 高輝度域優先

このように、逆光シーンやスポットライトシーンのような、画面の中央部と周辺部との輝度の差が大きなシーンを判別するためのシーン解析は、シーンのコントラスト状態の解析である。逆光シーンやスポットライトシーンに代表される、ダイナミックレンジの広いシーンは、明暗差が大きく、高コントラストシーンである。図１４に示した４つのケースのうち、ケース１やケース４はコントラストがかなり高いシーンに該当し、典型的な逆光シーンとスポットライトシーンはケース１とケース４に該当するあろう。ケース２やケース３はケース１やケース４ほどではないが、比較的コントラストが高いシーンである。

Ｓ５１におけるシーン解析処理の結果、低輝度域または低中輝度を優先すると決定した場合にはＳ５２へ、高輝度域または高中輝度を優先すると決定した場合にはＳ６２へ、制御部２１は処理を移行させる。

Ｓ５２で制御部２１は、図４におけるＳ４１１〜Ｓ４１８と同様にして、低輝度域優先時のＨＤＲ撮影用の適正露出を決定する。また、Ｓ６２で制御部２１は、図４におけるＳ４１１、Ｓ４１２、Ｓ４２３〜Ｓ４２７およびＳ４１８の手順により、第１の実施形態と同様に高輝度域優先時のＨＤＲ撮影用の適正露出を決定する。
その後の、Ｓ５３〜Ｓ５７の処理およびＳ６３〜Ｓ６７の処理は、アンダー露出とオーバー露出とが固定されていることを除き、図４におけるＳ３８〜Ｓ４２と同様である。

そして、制御部２１は、Ｓ５８およびＳ６８で、優先すべき輝度域に応じて処理を分岐させる。具体的には、制御部２１は、低輝度域および高輝度域を優先する場合には、第１の実施形態と同様の処理Ｓ４３へ直ちに移行させ、以後は第１の実施形態と同様に処理を行う。また、低中輝度域を優先する場合はＳ５９に、高中輝度域を優先する場合にはＳ６９に移行させる。

Ｓ５９において制御部２１は、低輝度域優先時のＨＤＲ撮影用適正露出条件を、低中輝度域用に補正する。この補正は、例えば図１５に示すように、低輝度域優先時のＨＤＲ撮影用適正露出値（ＨＤＲＢｖ）を、高輝度側に所定量シフトすることであってよい。シフト量は、低輝度域と低中輝度域との範囲に応じて予め定めておくことができる。

このように、低輝度域と低中輝度域との際に応じて低輝度域優先時のＨＤＲ撮影用適正露出値（ＨＤＲＢｖ）を補正して用いることで、低中輝度域の階調性を優先したＨＤＲ撮影およびＨＤＲ画像の生成を実現できる。また低輝度域優先用の適正露出よりも現像の段階でγ処理のＳ／Ｎ悪化の要因となるデジタルゲインの増大量が少ないため、画質劣化が少ないという利点もある。

Ｓ６９において制御部２１は、高輝度域優先時のＨＤＲ撮影用適正露出条件を、高中輝度域用に補正する。補正方法はＳ５９と同様の考え方でよく、高輝度域優先時のＨＤＲ撮影用適正露出値（ＨＤＲＢｖ）を、低輝度側に所定量シフトすることであってよい。

Ｓ５９およびＳ６９で低中輝度域優先時および高中輝度域優先時のＨＤＲ撮影用適正露出値を決定すると、制御部２１は処理をＳ４３に移行し、以後は第１の実施形態と同様に処理を行う。

以上説明したように、本実施形態では、第１の実施形態の効果に加え、優先する輝度域をシーン解析により判定することにより、シーンに応じて自動的かつ最適なハイダイナミックレンジ撮影用の露出条件を設定することが可能となる。また、優先する輝度域の数を第１の実施形態よりも多くしたことにより、ハイダイナミックレンジ撮影用の露出条件をシーンに一層適した値に設定できる。なお、本実施形態では４つの輝度域としたが、数に制限は無く、５以上としても、３つとしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (16)

1. ハイダイナミックレンジ画像を生成するための複数の画像の撮影を行うハイダイナミックレンジ撮影が可能な撮像装置であって、
   撮像手段と、
   前記撮像手段で得られる画像の被写体輝度に応じた適正露出をオーバー露出側に補正してハイダイナミックレンジ撮影用の適正露出を算出する適正露出算出手段と、
   前記ハイダイナミックレンジ撮影用の適正露出でハイダイナミックレンジ撮影の開始指示前に撮影した画像から得られる輝度情報と、前記ハイダイナミックレンジ撮影用の適正露出に対するアンダー露出でハイダイナミックレンジ撮影の開始指示後に撮影した画像から得られる輝度情報とから、シーンのダイナミックレンジを算出するダイナミックレンジ算出手段と、
   前記ダイナミックレンジ算出手段により算出される前記シーンのダイナミックレンジに基づいて、ハイダイナミックレンジ画像を生成するための複数の画像の撮影露出幅を決定する決定手段と、
   を有することを特徴とする撮像装置。
2. 前記ハイダイナミックレンジ撮影において優先する輝度域を判定する判定手段を有し、前記適正露出算出手段は、前記優先する輝度域が低輝度域であれば、前記被写体輝度に応じた適正露出をオーバー露出側に補正してハイダイナミックレンジ撮影用の適正露出を算出し、前記優先する輝度域が高輝度域であれば、前記被写体輝度に応じた適正露出をアンダー露出側に補正してハイダイナミックレンジ撮影用の適正露出を算出し、
   前記ダイナミックレンジ算出手段は、前記優先する輝度域が低輝度域であれば、前記ハイダイナミックレンジ撮影用の適正露出で撮影した画像から得られる輝度情報と、前記ハイダイナミックレンジ撮影用の適正露出に対してアンダー露出で撮影した画像から得られる輝度情報とから、シーンのダイナミックレンジを算出し、前記優先する輝度域が高輝度域であれば、前記ハイダイナミックレンジ撮影用の適正露出で撮影した画像から得られる輝度情報と、前記ハイダイナミックレンジ撮影用の適正露出に対してオーバー露出で撮影した画像から得られる輝度情報とから、シーンのダイナミックレンジを算出することを特徴とする請求項１記載の撮像装置。
3. 前記判定手段が、前記撮像装置に設定されているシーンモードに応じて前記優先する輝度域を判定することを特徴とする請求項２記載の撮像装置。
4. 前記判定手段が、撮影で得られた画像の輝度情報に基づくシーン解析により前記優先する輝度域を判定することを特徴とする請求項２記載の撮像装置。
5. 前記判定手段が、前記画像の中心領域と周辺領域との輝度の差に基づいて前記シーン解析を行うことを特徴とする請求項４記載の撮像装置。
6. 請求項１から請求項５のいずれか１項に記載の撮像装置を内蔵もしくは接続した電子機器。
7. ハイダイナミックレンジ合成により合成画像を生成するための露出の異なる複数の画像を取得する撮像装置であって、
   被写体を撮像することで画像を取得可能な撮像手段と、
   前記撮像手段で得られる画像の被写体輝度に基づく第１の露出を算出する露出算出手段と、
   前記第１の露出で取得された画像から得られる第１の輝度情報と、前記第１の露出とは異なる露出で取得された画像から得られる第２の輝度情報とから、シーンの輝度分布情報を算出する輝度分布情報算出手段と、
   前記輝度分布情報算出手段により算出される前記シーンの輝度分布情報に基づいて、前記合成画像を生成するための露出の異なる複数の画像の撮影露出幅を決定する決定手段と、
   を有し、
   前記第１の輝度情報は、被写体の撮影開始が指示される前に取得され、
   前記第２の輝度情報は、被写体の撮影開始が指示された後に取得されることを特徴とする撮像装置。
8. ユーザの操作に応じて、被写体の撮影を指示する指示手段を有し、
   前記第１の輝度情報は、前記指示手段により撮影開始が指示される前に取得され、
   前記第２の輝度情報は、前記指示手段により撮影開始が指示された後に取得されることを特徴とする請求項７に記載の撮像装置。
9. 前記合成画像を生成するための露出の異なる複数の画像を取得する際に優先する輝度域を判定する判定手段を有し、
   前記露出算出手段は、前記優先する輝度域に基づいて前記第１の露出を算出することを特徴とする請求項７または８に記載の撮像装置。
10. 前記判定手段が、前記撮像装置に設定されているシーンモードに応じて前記優先する輝度域を判定することを特徴とする請求項９記載の撮像装置。
11. 前記判定手段が、撮影で得られた画像の輝度情報に基づくシーン解析により前記優先する輝度域を判定することを特徴とする請求項９記載の撮像装置。
12. 前記判定手段が、画像の中心領域と周辺領域との輝度の差に基づいて前記シーン解析を行うことを特徴とする請求項１１記載の撮像装置。
13. 請求項７から請求項１２のいずれか１項に記載の撮像装置を内蔵もしくは接続した電子機器。
14. ハイダイナミックレンジ画像を生成するための複数の画像の撮影を行うハイダイナミックレンジ撮影が可能な撮像手段を有する撮像装置の制御方法であって、前記撮像手段で得られる画像の被写体輝度に応じた適正露出をオーバー露出に補正してハイダイナミックレンジ撮影用の適正露出を算出する適正露出算出工程と、
    前記ハイダイナミックレンジ撮影用の適正露出でハイダイナミックレンジ撮影の開始指示前に撮影した画像から得られる輝度情報と、前記ハイダイナミックレンジ撮影用の適正露出に対するアンダー露出でハイダイナミックレンジ撮影の開始指示後に撮影した画像から得られる輝度情報とから、シーンのダイナミックレンジを算出するダイナミックレンジ算出工程と、
    前記シーンのダイナミックレンジに基づいて、ハイダイナミックレンジ画像を生成するための複数の画像の撮影露出幅を決定する決定工程と、
    を有することを特徴とする撮像装置の制御方法。
15. 撮像手段を備え、ハイダイナミックレンジ合成により合成画像を生成するための露出の異なる複数の画像を取得する撮像装置の制御方法であって、
    前記撮像手段で得られる画像の被写体輝度に基づく第１の露出を算出する露出算出工程と、
    前記第１の露出で取得された画像から得られる第１の輝度情報と、前記第１の露出とは異なる露出で取得された画像から得られる第２の輝度情報とから、シーンの輝度分布情報を算出する輝度分布情報算出工程と、
    前記輝度分布情報算出工程で算出される前記シーンの輝度分布情報に基づいて、前記合成画像を生成するための露出の異なる複数の画像の撮影露出幅を決定する決定工程と、
    を有し、
    前記第１の輝度情報は、被写体の撮影開始が指示される前に取得され、
    前記第２の輝度情報は、被写体の撮影開始が指示された後に取得されることを特徴とする撮像装置の制御方法。
16. 撮像装置が有するコンピュータに、請求項１４または１５記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images