JP5921080B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置に関し、特に複数の撮影画像を多重合成可能な撮像装置に関するものである。

従来、複数のデジタル画像信号を加算処理することにより、多重露出撮影を行う技術がある。特許文献１には、複数回の露光を行い１枚の画像を作成するいわゆる多重露出機能を用いた撮影において、画像メモリに保持された各コマの画像データを加算平均化処理により合成し、その結果を画像メモリに格納することが開示されている。特許文献２には、撮影済み画像とスルー画像とを重ね合わせた画像を表示し、被写体が合成される位置を確認したうえで多重露光撮影をできるようにすることが開示されている。

特開２００３−６９８８８号公報 特開２００３−１２５２６６号公報

特許文献２のように、多重露出撮影においてスルー画像と撮影済み画像とを合成した画像を表示すると、ユーザーはその表示を参考にして次の撮影のための被写体の位置決めや撮影条件の設定といった作業を行うことができる。この際、ユーザーが作業を行いやすい表示となるスルー画像と撮影済み画像との合成比率は、多重露出撮影の結果として記録媒体に記録する多重合成画像を生成する際の合成比率と必ずしも同じではない。しかしながら、上記特許文献１及び２では、スルー画像と撮影済み画像との合成比率を、ユーザーがその表示を見る際の作業目的に合わせた好適なものとすることについて考慮されていなかった。

本発明は上記課題に鑑み、多重露出撮影において、より好適な合成比率でスルー画像を多重合成したライブビュー表示が可能な撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像手段と、前記撮像手段で撮像されたスルー画像と、少なくとも１枚の撮影済み画像とを多重合成して多重合成画像を生成する第１の生成手段と、前記第１の生成手段で生成された多重合成画像を逐次更新されるライブビューとして表示手段に表示するように制御する表示制御手段と、前記第１の生成手段による前記スルー画像と前記少なくとも１枚の撮影済み画像との多重合成における合成比率を、少なくとも第１の合成比率と、該第１の合成比率とは異なる第２の合成比率とのいずれかに切り換えるように制御する制御手段と、を有し、前記表示制御手段は、前記制御手段によって前記第２の合成比率に切り換えられると、設定されている撮影条件を示す情報を前記表示手段に表示するように制御することを特徴とする。
また、上記目的を達成するために、本発明の撮像装置は、撮像手段と、前記撮像手段で撮像されたスルー画像と、少なくとも１枚の撮影済み画像とを多重合成して多重合成画像を生成する第１の生成手段と、前記第１の生成手段で生成された多重合成画像を逐次更新されるライブビューとして表示手段に表示するように制御する表示制御手段と、前記第１の生成手段による前記スルー画像と前記少なくとも１枚の撮影済み画像との多重合成における合成比率を、少なくとも第１の合成比率と、該第１の合成比率とは異なる第２の合成比率とのいずれかに切り換えるように制御する制御手段と、撮影条件を設定する撮影条件設定手段と、前記撮影条件設定手段により設定された撮影条件に応じて、前記撮像手段に到達する光量を調整する絞り手段と、を有し、前記制御手段は、前記撮影条件設定手段で設定された絞り値とは異なる絞り値から、前記撮影条件設定手段で設定された絞り値へと変更する指示に応じて、前記第１の合成比率から前記第２の合成比率に切り換えることを特徴とする。

本発明によれば、多重露出撮影において、作業目的に合わせてより好適な合成比率でスルー画像を多重合成したライブビュー表示をすることが可能となる。

デジタルカメラ１００の構成ブロック図である。 デジタルカメラ１００の外観図である。 多重露出撮影に関する事前設定のメニュー画面の表示例である。 多重露出撮影の際にバッファメモリ１２２に格納される画像データを説明する図である。 多重露出撮影モード処理のフローチャートである。 多重露出撮影処理のフローチャートである。 多重露出撮影におけるクイックレビュー・再生処理の表示例である。 多重露出撮影モード処理（ＬＶ）のフローチャートである。 多重ライブビュー表示処理のフローチャートである。 （ａ）自動露出調整モードにおける多重ライブビュー用合成比率の例である。（ｂ）自動露出調整モードにおけるシミュレーションライブビュー用の合成比率の例である。 多重ライブビュー表示処理での表示例である。 フォーカス制御処理のフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜図１：構成ブロック図＞
図１に、本発明を適用可能な撮像装置の一実施の形態としてのデジタルカメラ１００の構成を示すブロック図を示す。
図１において、撮影レンズ１０１は、ズームレンズやフォーカスレンズなどからなる脱着可能な交換レンズである。

ＡＦ（オートフォーカス）駆動回路１０２は、例えばＤＣモータやステッピングモータを含み、マイクロコンピュータ１２３の制御によって撮影レンズ１０１に含まれるフォーカスレンズの位置を変化させることによりピントを合わせる。

絞り駆動回路１０４は、撮像素子１１２に到達する光量を調整する絞り１０３を駆動する。駆動されるべき量はマイクロコンピュータ１２３によって算出され、光学的な絞り値を変化させる。

主ミラー１０５は撮影レンズ１０１から入射した光束をファインダ側と撮像素子１１２側とに切替えるためのミラーである。主ミラー１０５は通常時はファインダ部へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像素子１１２へと光束を導くように上方に跳ね上がり光束中から待避する（ミラーアップ）。また主ミラー１０５はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うためのセンサに入射するように透過させる。

サブミラー１０６は主ミラー１０５から透過してきた光束を反射させ焦点検出を行うためのセンサ（焦点検出回路１０９内に配置されている）に導くためのミラーである。

ミラー駆動回路１０７は、マイクロコンピュータ１２３の制御によって主ミラー１０５を駆動する。

ペンタプリズム１０８はファインダを構成する。ファインダは他にピント板、アイピースレンズ（不図示）などによって構成される。

焦点検出回路１０９は焦点検出を行うためのブロックである。主ミラー１０５の中央部を透過し、サブミラー１０６で反射された光束は、焦点検出回路１０９の内部に配置された光電変換を行うためのセンサに至る。フォーカス演算に用いるデフォーカス量は、センサの出力を演算することによって求められる。マイクロコンピュータ１２３は演算結果を評価してＡＦ駆動回路１０２に指示し、フォーカスレンズを駆動させる。

シャッタ駆動回路１１１は、フォーカルプレーンシャッタ１１０を駆動する。シャッタの開口時間はマイクロコンピュータ１２３によって、制御される。

撮像素子１１２には、ＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ１０１によって結像された被写体像を電気信号に変換する。

ＡＤ変換器１１５は撮像素子１１２から出力されたアナログ出力信号をデジタル信号に変換する。

映像信号処理回路１１６は、ゲートアレイなどのロジックデバイスにより実現され、各種映像信号処理を行う。

表示駆動回路１１７は表示部材１１８に表示を行わせる駆動回路である。
表示部材１１８は、ＴＦＴ液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイであり、本実施の形態ではデジタルカメラ１００の背面モニタである。

メモリコントローラ１１９は、映像信号処理回路１１６から入力された未処理のデジタル画像データをバッファメモリ１２２に格納し、処理済みのデジタル画像データを記録媒体１２０に格納する。また、逆にバッファメモリ１２２や記録媒体１２０から画像データを映像信号処理回路１１６に出力する。さらに、メモリコントローラ１１９は、コンピュータ等と接続可能な外部インターフェース１２１を介して記録媒体１２０に記憶されている画像を出力可能である。

記録媒体１２０はメモリーカードなどの着脱可能な記録媒体である。なお、デジタルカメラの内臓記録媒体としてもよいし、複数の記録媒体があってもよい。

外部インターフェースは１２１は、有線、あるいは無線通信によりコンピュータ等の外部機器と接続するためのインターフェイスである。

バッファメモリ１２２は、画像データを一時的に保持するためのメモリであり、多重露出撮影の途中で使用する各種画像もここに格納される。

映像信号処理回路１１６は、デジタル化された画像信号に、フィルター処理、色変換処理、ガンマ処理を行い、現像データを作成すると共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ１１９に出力する。

映像信号処理回路１１６は、バッファメモリ１２２上の２つ以上の現像データの加算や、現像データから階調を高ビット化した高精度データの生成や、またその両方の処理を同時に実施し、結果をバッファメモリ１２２に書き戻すことが可能である。さらに、映像信号処理回路１１６は、撮像素子１１２からの映像信号や、メモリコントローラ１１９から逆に入力される画像信号を、表示駆動回路１１７を通して表示部材１１８に出力することも可能である。これらの機能切り替えはマイクロコンピュータ１２３の指示により行われる。映像信号処理回路１１６は、必要に応じて撮像素子１１２の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ１２３に出力することが可能である。それらの情報を基にマイクロコンピュータ１２３はホワイトバランスやゲイン調整の指示を行う。連続撮影（連写）動作の場合においては、一旦、未処理画像のままバッファメモリ１２２に撮影データを格納し、メモリコントローラ１１９を通して未処理の画像データを読み出し、映像信号処理回路１１６にて画像処理や圧縮処理を行い、連続撮影を行う。連続撮影枚数は、バッファメモリ１２２の容量に左右される。

マイクロコンピュータ１２３はデジタルカメラ１００の全体を制御する主制御部であり、システムメモリ１３２をワークメモリとして、不揮発性メモリ１３０に記録された各種プログラムを実行する。

操作検出部１２４は、操作部材が操作されたことを検出し、操作部材が操作されるとマイクロコンピュータ１２３にその状態を伝える。マイクロコンピュータ１２３はその操作部材の変化に応じて各部をコントロールする。なお、操作検出部１２４は記録媒体１２０を格納するスロットの蓋２８（以下、カード蓋２８）、電池蓋２９の開閉状態も検知できるものとする。

スイッチ１（１２５）（以後ＳＷ１）は、操作部材の一つであるレリーズボタン１０の半押し操作によってオンとなるスイッチであり、オンとなるとマイクロコンピュータ１２３は、オートフォーカス（ＡＦ）動作や測光動作などの撮影準備処理を行う。

スイッチ２（１２６）（以後ＳＷ２）は、操作部材の一つであるレリーズボタン１０の全押し操作によってオンとなるスイッチである。ＳＷ２がオンとなるとマイクロコンピュータ１２３は、撮像を行い、撮像された画像を画像ファイルとして記録媒体１２０に記録する本撮影処理を行う。

またＳＷ１、ＳＷ２がオンし続けている間は、連続撮影動作が行われる。
液晶駆動回路１２７は、マイクロコンピュータ１２３の表示内容命令に従って、文字、画像を用いて動作状態やメッセージ等を表示する外部液晶表示部材１２８やファインダ内液晶表示部材１２９を駆動する。また、ファインダ内液晶表示部材１２９には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路１２７で駆動される。

マイクロコンピュータ１２３は撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ１１９を通して、記録媒体１２０の残容量を確認した上で撮影可能残数を演算することができる。撮影可能残数は必要に応じて表示部材１１８、外部液晶表示部材１２８、ファインダ内液晶表示部材１２９にも表示することができる。

不揮発性メモリ１３０はＥＥＰＲＯＭやフラッシュメモリなどよりなり、カメラに電源が入れられていない状態でも、データを保存することができる。電源部１３１は、各ブロックや駆動系に必要な電源を供給する。

＜図２：外観図＞
図２に、デジタルカメラ１００の外観図を示す。図２（ａ）はデジタルカメラ１００の正面斜視図であり、図２（ｂ）はデジタルカメラ１００の背面斜視図である。なお、正面斜視図においては、交換レンズである撮影レンズ１０１を取り外した状態を図示している。

図２（ａ）に図示したとおり、デジタルカメラ１００は操作部材としてのレリーズボタン１０、メイン電子ダイヤル１１、ＩＳＯ設定ボタン１２、露出補正ボタン１３、撮影モードダイヤル１４、絞り込みボタン１５を備える。絞り込みボタン１５は絞り１０４を設定された絞り（Ｆ値）に絞り込ませるためのボタンであり、撮影モードにおけるライブビュー表示中に押下することにより、設定された絞りでの撮像画像の明るさを確認することができる。

ライブビュー表示とは、主ミラー１０５を退避させた状態で、撮像素子１１２で撮像している画像（スルー画像）を略リアルタイムで連続的に表示部材１１８に表示させることで電子ビューファインダーとして機能させる表示である。ライブビュー表示では、撮像素子１１２に結像された画像を、ＡＤ変換器１１５でデジタル信号へと変換し、映像信号処理回路１１６で現像を行ってスルー画像を生成する。そして、スルー画像、あるいはスルー画像と撮影済みの画像を合成した多重合成画像を表示部材１１８に表示させる。表示された画像は逐次更新され、動画として視認される。例えばこの処理を１秒間に３０回繰り返すことで３０ｆｐｓのライブビュー表示が可能となる。

メイン電子ダイヤル１１は回転操作部材であり、撮影条件などの各種設定値を増減する際や、各種項目を選択する際に選択している項目を変更する操作、再生モードにおいて画像を組単位で切り替える操作等に用いられる。

図２（ｂ）に図示したとおり、デジタルカメラ１００は操作部材としての情報表示ボタン１６、メニューボタン１７、再生ボタン１８、消去ボタン１９、メインＳｗ２０、セットボタン２１を備える。また、サブ電子ダイヤル２２、拡大ボタン２３、縮小ボタン２４、マルチコントローラー２５を備える。メインＳｗ２０はデジタルカメラ１００の電源のＯＮとＯＦＦを切り替えるための操作部材である。サブ電子ダイヤル２２は回転操作部材であり、各種項目を選択する際に選択している項目を変更する操作、再生モードにおいて表示している画像を切り替える画像送り操作などに用いられる。ファインダ接眼部２６は、ユーザーがファインダを覗き込んで光学像を見る際の接眼部である。ライブビューボタン２７は、ライブビュー表示を開始する指示を受け付けるボタンであり、押下することでライブビュー表示のＯＮとＯＦＦを切り換えられる。カード蓋２８は記録媒体１２０を格納する格納部の蓋であり、電池蓋２９は電源部１３１としての電池を格納する格納部の蓋である。

＜多重露出撮影＞
デジタルカメラ１００では、複数のデジタル画像信号を加算処理することにより、多重露出撮影を行ことができる。多重露出撮影は、図３で後述するメニュー画面より、多重露出撮影「する」が選択されて多重露出撮影モードに設定されると開始される。多重露出撮影モードに設定してから撮影した複数の画像を加算処理（以下、多重、あるいは多重合成とも称する）して多重合成画像を生成して、画像ファイルとして記録媒体１２０に記録する。記録媒体１２０に記録する多重合成画像を生成する際の加算処理の方式として、「加算モード」と「自動露出調整モード」の２つの方式のうち任意の方式が利用できる。

加算モードでは、式（１）のように、加算する複数の画像のそれぞれの輝度を単純に加算した合成比率で加算処理を行う。式（１）のように加算した結果、記録できる最大の輝度を超える場合も、記録できる最大の輝度を上限とする（飽和した状態）。自動露出調整モードでは、式（２）のような、多重合成画像の輝度が、加算される各々の画像の輝度の平均となる合成比率で加算処理を行う。
Ｙｎ＝ｙ１＋ｙ２＋・・・＋ｙｎ−１＋ｙｎ …（１）
Ｙｎ＝（ｙ１＋ｙ２＋・・・＋ｙｎ−１＋ｙｎ）／ｎ …（２）
Ｙｎ ：ｎ枚の画像を多重合成して生成される多重合成画像の輝度
ｙ１ ：１枚目の画像の輝度
ｙ２ ：２枚目の画像の輝度
ｙｎ−１ ：ｎ−１枚目の画像の輝度
ｙｎ ：ｎ枚目の画像の輝度
ｎ ：加算する画像の枚数

式（１）と式（２）をそれぞれ変換して、同義である式（３）、式（４）に基づき、１枚前までで既に多重合成した画像を用いて多重合成を行っても良い。すなわち、自動露出調整機能の設定が「しない」（加算モード）である場合は、前述の式（１）の合成比率となるように、以下の式（３）のように加算処理を行い多重合成する。自動露出調整機能の設定が「する」（自動露出調整モード）である場合は、前述の式（２）の合成比率となるように以下の式（４）のように加算処理を行い多重合成する。
Ｙｎ＝Ｙｎ−１＋ｙｎ …（３）
Ｙｎ＝｛Ｙｎ−１×（ｎ−１）／ｎ｝＋｛ｙｎ×１／ｎ｝ …（４）
Ｙｎ ：ｎ枚の画像を多重合成して生成される多重合成画像の輝度
Ｙｎ−１ ：ｎ−１枚の画像を多重合成して生成される多重合成画像の輝度
ｙｎ ：ｎ枚目の画像の輝度
ｎ ：加算する画像の枚数

多重露出撮影モードでライブビュー表示を開始すると、ベース画像と（ベース画像の設定が有の場合）、多重露出撮影モードにしてから既に撮影した撮影済画像と、スルー画像とを多重合成した画像を表示する。なお、ベース画像とは、これから行う多重露出撮影で撮影される画像に合成する画像として、多重露出撮影モードに設定する前に記録媒体１２０に記録されていた画像から選ばれた画像のことである。これにより、ユーザーは、次に撮影する画像がどのような構図で多重合成されるかを確認しながら撮影することができる。ただし、ライブビュー表示において、前述した式（１）や式（２）のような、記録媒体１２０に記録する多重合成画像を生成する場合と同じ合成比率で加算処理を行ってしまうと、ユーザーにとってスルー画像が見えにくくなる場合がある（はっきり見えなくなる場合がある）。そうすると、ユーザーはスルー画像を見て次に撮影する画像をどのような構図で撮影するかの構図調整をやり難くなる。例えば、加算モードでは、明るい部分の輝度が加算されると、輝度が飽和してしまう（最大輝度になる）場合があり、構図確認あるいはフォーカスの確認がしにくい場合がある。自動露出調整モードでは、撮影枚数分の輝度が平均されてしまうため、例えば多重露出撮影モードにしてから既に撮影した画像の枚数が多くなってくると、１枚あたりの輝度が低くなり、スルー画像の輝度も低くなるため、構図やフォーカスを確認しにくくなる。そのため本発明では、多重露出撮影モードでのライブビュー表示でスルー画像と撮影済みの画像を多重合成して表示する場合、通常、スルー画像の合成比率が、合成される撮影済みの画像の合成比率よりも高くなるようにする。このようにスルー画像の合成比率を高くすることで、スルー画像を撮影済みの画像よりも相対的にはっきり表示し、スルー画像の視認性を高める。さらに、スルー画像の合成比率を、合成する撮影済みの画像の枚数に関わらず一定としておくことで、よりスルー画像の視認性を高める。すなわち、ライブビュー表示において多重合成を行う場合、式（５）のような合成比率とする。
Ｙｌ＝｛Ｙｎ×（１−Ｍ）｝＋｛ｙｔ×Ｍ｝ …（５）
Ｙｌ ：ライブビュー表示で表示する多重合成画像の輝度
ｙｔ ：スルー画像の輝度
Ｙｎ ：その時点で取得済みのｎ枚の画像を多重合成した画像の輝度。すなわち、スルー画像に合成する撮影済みの画像の輝度。
Ｍ ：ライブビュー表示で表示する多重合成画像におけるスルー画像の合成比率。

上述の式（５）において、Ｍは０．５以上１未満とする。すなわち、スルー画像の輝度の合成比率を、合成する撮影済みの画像の輝度の合成比率の合計以上にするものとする。なお、スルー画像の輝度の合成比率を、合成する撮影済み画像個々の合成比率よりも高くするとしてもよい。

なお、ライブビュー表示において多重合成を行わず、スルー画像だけを表示すると設定することも可能である。その場合、式（５）においてＭ＝１として、撮影済みの画像の輝度Ｙｎの合成比率（１−Ｍ）を０とすることでスルー画像だけを表示するアルゴリズムとしても良い。スルー画像だけの表示とすることで、スルー画像に対する現在のフォーカス（ピント）の確認などがより行いやすくなる。

式（５）を用いて生成した、ライブビュー表示において表示する多重合成画像は、スルー画像の視認性は向上する。しかしこの多重合成画像は、実際に本撮影を行った後に式（１）または（３）、あるいは式（２）または（４）を用いて生成され、記録媒体１２０に記録される多重合成画像とは異なる合成比率の画像となる。従って、記録媒体１２０に記録される多重合成画像が実際どのような画像となるのか（特に、どのような輝度バランス、明るさの画像となるのか）を確認することができず、露出などの撮影条件の設定の参考にはならない場合がある。そこで、多重露出撮影モードでのライブビュー表示中に絞り込みボタン１５が押下されると、本撮影を行って生成される多重合成画像がどのようになるのかを模擬的に事前確認できるような表示を行う。この表示をシミュレーションライブビュー表示と称する。シミュレーションライブビュー表示で表示する多重合成画像は、自動露出調整機能の設定に応じて、自動露出調整機能「しない」（加算モード）の際は式（６）、「する」（自動露出調整モード）の際は式（７）のように合成される。
Ｙｓ＝Ｙｎ＋ｙｔ …（６）
Ｙｓ＝｛Ｙｎ×ｎ／（ｎ＋１）｝＋｛ｙｔ×１／（ｎ＋１）｝ …（７）
Ｙｓ ：シミュレーションライブビュー表示で表示する多重合成画像の輝度
ｙｔ ：スルー画像の輝度
Ｙｎ ：その時点で取得済みのｎ枚の画像を多重合成した画像の輝度。すなわち、スルー画像に合成する撮影済みの画像の輝度。
ｎ ：その時点で取得済みの画像の枚数。ベース画像が設定されていない場合は１組の多重露出撮影において現在までに撮影が実行された枚数。ベース画像が設定されている場合は１組の多重露出撮影において現在までに撮影が実行された枚数＋１。

式（６）または式（７）における、撮影済み画像Ｙｎの輝度の合成比率は、もう一枚画像を本撮影した際に行われる、記録媒体に記録するための多重合成画像Ｙｎ＋１における合成比率と同じとなる。

なお、前述の式（１）〜（７）に基づく多重合成は、各色毎に行っても良い。
以上のような合成比率での多重合成を行う多重露出撮影の動作について、以下で詳しく説明する。

＜図３：多重露出撮影に関する事前設定＞
多重露出撮影に関する事前設定項目を設定する方法について説明する。

図３に、多重露出撮影に関するデジタルカメラ１００の設定を行うメニュー画面の表示例を示す。図３（ａ）の多重露出撮影に関するメニュー画面３００は、メニューボタン１７を押下して全体メニューを表示し、全体メニューの中から多重露出撮影に関するメニューを選択して確定すると、表示部材１１８に表示される。

メニュー画面３００には、メニュー項目３０１〜３０４が表示される。ユーザーはサブ電子ダイヤル２２の操作によってメニュー項目３０１〜３０４の中から任意のメニュー項目を選択することができる。いずれかのメニュー項目を選択した状態でセットボタン２１を押下することで、選択したメニュー項目についての設定候補一覧が表示される。そして、表示された設定候補一覧の中から所望の設定候補をサブ電子ダイヤル２２の操作などにより選択し、再度セットボタンを押下することで、選択した設定候補を設定値として確定して設定することができる。

メニュー項目３０１は多重露出撮影を行うか否かを選択するメニュー項目であり、「する」・「しない」の２つの設定候補のうちいずれかを選択して設定可能である。以下、本項目の設定を多重露出撮影要否設定と称する。多重露出撮影要否設定は、システムメモリ１３２あるいは不揮発性メモリ１３０に記録される。ユーザーの操作に応じて多重露出撮影要否設定が「しない」から「する」に設定変更された場合、次回の撮影から多重露出撮影を開始する。多重露出撮影要否設定は、多重露出撮影が予定枚数に達して終了した場合など、後述するいくつかの条件で自動的に「する」から「しない」に変更される。多重露出撮影の途中であっても、ユーザー操作に応じて本項目を「しない」に設定すると、その時点で多重露出撮影を終了する。その際、多重合成画像のファイルが生成可能であればマイクロコンビュータ１２３の制御に基づいて多重合成画像のファイルを生成する。

メニュー項目３０２は１組の多重露出撮影において合成する画像の枚数を選択するメニュー項目であり、２〜９の設定候補のうち何れかの画像枚数を選択して設定可能である。後述のベース画像が選択されていない場合、メニュー項目３０２で設定した画像枚数が、多重露出撮影予定枚数となる。ベース画像を選択した場合は、多重露出撮影予定枚数が、メニュー項目３０２で設定した画像枚数から１減った値となる。多重露出撮影予定枚数はシステムメモリ１３２に記録される。なお本項目は多重露出撮影にて１枚以上の画像を撮影した後、多重露出撮影が完了していない状態（以下、多重露出撮影中状態と称する。後述の多重露出撮影中フラグ＝１である状態である）では、選択して変更することができない。

メニュー項目３０３は多重露出撮影における自動露出調整機能の実行要否を選択するメニュー項目であり、「する」・「しない」の２つの設定候補のうちいずれかを選択して設定可能である。自動露出調整機能を「する」に設定すると、記録媒体１２０に記録される多重合成画像を生成する際、前述の自動露出調整モードでの加算処理が行われるものとして設定される。自動露出調整機能を「しない」に設定すると、記録媒体１２０に記録される多重合成画像を生成する際、前述の加算モードでの加算処理が行われるものとして設定される。本項目は多重露出撮影中状態では、選択して変更することができない。

メニュー項目３０４は多重露出撮影におけるベース画像を選択するメニュー項目であり、記録媒体１２０に記録されている画像（多重露出撮影モードに設定する前に記録されていた画像）から１つの画像を選択してベース画像に設定することが可能である。本項目は多重露出撮影要否設定が「する」に設定されており、かつ、多重露出撮影中状態ではない状態でのみ設定可能である。すなわち、多重露出撮影要否設定を「する」に設定してから１枚目の撮影をする前にのみ、メニュー項目３０４でのベース画像設定が可能である。ベース画像を設定すると、図３（ｂ）のような画面表示となる。画像３０６は記録媒体に記録された画像のうちベース画像として設定された画像である。ベース画像は、多重露出撮影モードで１枚以上の撮影が行われるか、ライブビュー表示を開始した際に、映像信号処理回路１１６によって、記録媒体１２０から読みだされ、バッファメモリ１２２上に現像データとして変換された形で配置される。ベース画像を選択すると、撮影条件としての画像サイズの設定値（以降の多重露出撮影で撮影される画像の画像サイズ）が、ベース画像の画像サイズと同じ値に設定される。このようにベース画像を選択すると、過去に撮影した画像を１枚目撮影の画像として、多重露出撮影を行うことができる。本実施の形態では、ベース画像として選択可能な画像は画像サイズを合わせる必要性のため、過去に本デジタルカメラ１００で撮影された画像のみとする。なお、デジタルカメラ１００で撮影条件として設定可能な画像サイズを有する画像であれば、デジタルカメラ１００で撮影された画像以外の画像をベース画像に設定できるものとしてもよい。また、デジタルカメラ１００で撮影条件として設定可能な画像サイズと異なる画像の場合は、映像信号処理回路１１６でリサイズしてベース画像に設定できるものとしてもよい。ベース画像の設定は多重露出撮影が終了すると解除され、ベース画像が選択されていない状態になる。画像選択解除ボタン３０５は選択したベース画像をキャンセルするためのボタンアイコンであり、選択決定するとベース画像が選択されていない状態になる。

＜図４：バッファメモリ１２２に保持される画像データ＞
図４を用いて多重露出撮影を行った際にバッファメモリ１２２に保持されるデータについて説明する。各撮影によって、バッファメモリ１２２には最大で、現像データ、高精度データ、多重現像データ、表示用多重データ、前回撮影時表示用多重データの５つの画像データが保持される。

現像データは直前の撮像で撮像素子から得られた画像信号に色処理などの現像処理を施したデータである。現像データをＪｐｅｇ形式などで圧縮することで、記録媒体１２０に記録される各元画像の画像ファイルが生成される。

高精度データは、前回の撮影で得られた現像データを、多重合成するために映像信号処理回路１１６を用いて高ビット化（以下、高精度化と称する）し、前回までに生成していた高精度データに加算した画像データである。高精度化することで、多重合成処理に伴って階調が飽和してしまう可能性を低減することができる。高精度化以外にも多重合成しやすくするための他の処理を施したものとしても良い。

多重現像データは、今回生成した高精度データ（前回までに得た画像を多重したもの）に、今回の撮影で得られた現像データを加算したデータである。この多重現像データをＪｐｅｇ形式などで圧縮することで、記録媒体１２０に記録される多重合成画像の画像ファイルが生成される。

表示用多重データは、多重現像データを表示のために縮小・圧縮したデータである。このデータを用いて後述の多重中クイックレビュー（以下、ＱＲとも称する）・再生処理、及び多重中１枚目ＱＲ・再生処理での表示を行う。
前回撮影時表示用多重データは、前回までの撮影で生成された表示用多重データである。

図４（ａ）〜（ｄ）は、多重露出撮影において、ベース画像を無しとした場合に、それぞれの状態においてバッファメモリ１２２に保持されるデータを表している。

図４（ａ）は、１枚目の撮影の後のバッファメモリ１２２の状態である。１枚目の撮影で画像信号Ａが得られると、それを現像した現像データＡをバッファメモリ１２２に保持する。ただし高精度データ、多重現像データ、表示用多重データ、前回撮影時表示用多重データは生成も格納もせず、その分のバッファメモリ１２２の容量を空けてある。高精度データ、多重現像データ、表示用多重データ、前回撮影時表示用多重データの格納に必要な容量を空けてある分だけ、他の処理に容量を割り当てることで他の処理を高速に行うことができる。他の処理とは例えば、ライブビュー撮影を用いた顔検出処理、コントラストＡＦ処理などがある。

図４（ｂ）は、２枚目の撮影の後のバッファメモリ１２２の状態である。２枚目の撮影で画像信号Ｂが得られると、画像信号Ｂを現像した現像データＢを生成してバッファメモリ１２２に保持する。また、１枚目の後に保持していた現像データＡを高精度化して高精度データＡとして保持する（１枚目の後には高精度データは保持していないので加算は行わない）。高精度データＡと現像データＢとを多重合成して多重現像データＡ＋Ｂを生成して保持する。多重現像データＡ＋Ｂを縮小・圧縮して表示用多重データＡ＋Ｂを生成して保持する。また、２枚目の撮影の場合は、１枚目の撮影で表示用多重データを生成していないので、記録媒体１２０に記録された１枚目の画像Ａの画像ファイルから前回撮影時表示用多重データを生成して保持する。

図４（ｃ）は、３枚目の撮影の後のバッファメモリ１２２の状態である。３枚目の撮影で画像信号Ｃが得られると、画像信号Ｃを現像した現像データＣを生成してバッファメモリ１２２に保持する。また、２枚目の後に保持していた現像データＢを高精度化して、２枚目の後に保持していた高精度データＡと加算することにより、高精度データＡ＋Ｂを生成して保持する。高精度データＡ＋Ｂと現像データＣとを多重合成して多重現像データＡ＋Ｂ＋Ｃを生成して保持する。多重現像データＡ＋Ｂ＋Ｃを縮小・圧縮して表示用多重データＡ＋Ｂ＋Ｃを生成して保持する。また、２枚目の撮影のときに生成した表示用多重データＡ＋Ｂを、前回撮影時表示用多重データＡ＋Ｂとして保持する。

図４（ｄ）は、後述する多重中ＱＲ・再生処理によって３枚目の撮影で得た画像を破棄した場合のバッファメモリ１２２の状態である。３枚目の撮影で得た画像を破棄すると、図４（ｃ）の状態から、現像データＣ、多重現像データＡ＋Ｂ＋Ｃ、表示用多重データＡ＋Ｂ＋Ｃをバッファメモリ１２２から破棄する。また、図４（ｃ）で前回撮影時表示用多重データＡ＋Ｂとして保持されていた画像データを、図４（ｄ）で表示用多重データＡ＋Ｂとして保持する。

図４（ｅ）は、３枚目の撮影を破棄した後に、３枚目の撮影をやり直した場合のバッファメモリ１２２の状態である。３枚目のやり直しの撮影（撮り直しの指示を受け付けた後の多重露出撮影モードでの撮影）で画像信号Ｄが得られると、画像信号Ｄを現像した現像データＤを生成してバッファメモリ１２２に保持する。また、３枚目の破棄後に保持していた高精度データＡ＋Ｂはそのまま保持する。高精度データＡ＋Ｂと現像データＤとを多重合成して多重現像データＡ＋Ｂ＋Ｄを生成して保持する。多重現像データＡ＋Ｂ＋Ｄを縮小・圧縮して表示用多重データＡ＋Ｂ＋Ｄを生成して保持する。また、３枚目の破棄後に保持していた表示用多重データＡ＋Ｂを、前回撮影時表示用多重データＡ＋Ｂとして保持する。

＜処理に用いるデータ＞
次に、多重露出撮影の処理において用いるデータについて説明する。多重露出撮影の処理を実行するにあたっては、以下の変数を用いる。
・多重露出撮影要否設定：「する」あるいは「しない」のいずれかが設定可能であり、不揮発性メモリ１３０あるいはシステムメモリ１３２に設定値が記録される。「する」の状態が多重露出撮影モードであることを示す。
・多重露出撮影中フラグ：多重露出撮影の途中であるか否かを示す変数であり、システムメモリ１３２に記録される。多重露出撮影要否設定を「する」にした後、１枚以上の撮影を行うと１（多重露出撮影中状態）になり、多重露出撮影が終了すると０になる。クイックレビューでの処理を通常時の処理とするか多重中の処理とするかなどはこのフラグにより判断する。
・多重露出撮影予定枚数：１つの多重画像を生成するために行う多重露出撮影（以下、１組の多重露出撮影と称する）の回数を示す値であり、システムメモリ１３２に記録される。ベース画像を無しに設定している場合は多重露出撮影予定枚数は図３のメニュー項目３０２での設定枚数である。ベース画像を有りに設定している場合は多重露出撮影予定枚数は図３のメニュー項目３０２での設定枚数マイナス１である。
・多重露出撮影完了枚数：１組の多重露出撮影において現在までに撮影が実行された枚数を示す値であり、システムメモリ１３２に記録される。多重露出撮影完了枚数＝多重露出撮影予定枚数となると、１組の多重露出撮影が終了したこととなり、多重露出撮影処理を完了する。
・拡大モードフラグ：ライブビュー表示で拡大を行う拡大モードであるか否かの状態を管理する変数であり、システムメモリ１３２に記録される。拡大ボタン２３の押下に応じて、拡大モードＯＦＦ（スルー画像の全体を全画面表示）、拡大モード（５倍拡大）、拡大モード（１０倍拡大）が順次切り替わる。

また、多重露出撮影中状態では、１組の多重露出撮影において現在までに撮影された各元画像の記録媒体１２０上での格納場所を示す情報を、書き込み済みファイル情報としてシステムメモリ１３２に記録する。画像を記録する記録媒体が複数ある場合には、格納先の記録媒体を特定する情報も記録される。

＜図５：多重露出撮影モード処理＞
図５に、多重露出撮影モード処理のフローチャートを示す。図５の処理は、不揮発性メモリ１３０に記録されたプログラムを、システムメモリ１３２に展開してマイクロコンピュータ１２３が実行することで実現する。多重露出撮影要否設定が「する」に設定されると、図５の処理を開始する。

Ｓ５００では、ライブビュー表示の開始指示があったか否かを判定する。具体的には、ライブビューボタン２７が押下されたか否かの判定である。ライブビューボタン２７が押下された（ライブビュー表示の指示があった）と判定した場合はＳ５３０に進み、そうでない場合はＳ５０１へ進む。Ｓ５３０では、ライブビュー表示を伴う多重露出撮影モード処理（ＬＶ）を行う。ライブビュー表示を伴う多重露出撮影モード処理（ＬＶ）については、図８を用いて後述する。

Ｓ５０１では、ＳＷ２がＯＮであるか否かを判定し、オンであればＳ５０２へ進み、ＯＮで無ければＳ５０７に進む。

Ｓ５０２では、マイクロコンピュータ１２３は、多重露出撮影処理を行う。多重露出撮影処理の詳細は図６を用いて後述する。

Ｓ５０３では、マイクロコンピュータ１２３は、システムメモリ１３２を参照し、多重露出撮影完了枚数が１であるか否かを判定する。これはすなわち、Ｓ５０２で行われた多重露出撮影処理で１組の多重露出撮影の１枚目の画像が撮影されたか否かの判定である。多重露出撮影完了枚数が１である場合はＳ５０４に進み、システムメモリ１３２の多重露出撮影中フラグを１として保持する。Ｓ５０３で多重露出撮影完了枚数が１でないと判定した場合、及びＳ５０４で多重撮影完了フラグを１にした場合はＳ５０５に進む。

Ｓ５０５では、マイクロコンピュータ１２３は、システムメモリ１３２に保持した多重露出撮影完了枚数と多重露出撮影予定枚数が等しくなったか否かを判定する。等しくなった場合は１組の多重露出撮影が完了したので、Ｓ５０６で「保存して終了処理」を行った後に多重露出撮影モード処理を完了する。

Ｓ５０６の「保存して終了処理」では、マイクロコンピュータ１２３は、この時点で多重露出撮影を終了し、この時点までに取得した画像を用いて多重合成画像を生成して、画像ファイルとして記録媒体１２０に記録する。この際の多重合成画像の生成では、図３のメニュー画面で設定された自動露出調整機能の設定に応じて、自動露出調整機能が「する」に設定されていた場合は前述の式（４）に基づいて多重合成処理を行う。自動露出調整機能が「しない」に設定されていた場合は前述の式（３）に基づいて多重合成処理を行う。また、マイクロコンピュータ１２３は、多重露出撮影の初期化処理を行う。初期化処理では、バッファメモリ１２２に記録された画像データを全て破棄する。システムメモリ１３２に記録した多重露出撮影予定枚数、多重露出撮影完了枚数をリセットする。多重露出撮影要否設定を「しない」に変更する。システムメモリ１３２に保持している多重露出撮影中フラグを０にする。システムメモリ１３２に保持している書き込み済みファイル情報の内容をすべて消去する。

一方Ｓ５０７では、マイクロコンピュータ１２３は、再生ボタン１８が押下されたか否か（再生モードへ移行する指示があったか否か）を判定する。再生ボタン１８が押下された場合はＳ５０８へ進み、再生ボタン１８が押下されていない場合はＳ５１４へ進む。

Ｓ５０８では、マイクロコンピュータ１２３は、システムメモリ１３２を参照して多重露出撮影中フラグが１であるか否か（多重露出撮影中状態であるか否か）を判定する。多重露出撮影中フラグが１であればＳ５１０へ進み、１で無ければＳ５０９へ進む。

Ｓ５０９では、マイクロコンピュータ１２３は、通常再生モード処理を行う。通常再生モード処理では、記録媒体１２０に記録され、デジタルカメラ１００で再生可能な全ての画像を対象として、１枚表示、マルチ表示、画像送り、消去、属性付与などの再生モード処理を行う。

Ｓ５１０では、マイクロコンピュータ１２３は、ベース画像が有に設定されているか否かを判定する。ベース画像が無しに設定されている場合はＳ５１１へ進み、ベース画像が有りに設定されている場合はＳ５１３へ進む。

Ｓ５１１では、マイクロコンピュータ１２３は、システムメモリ１３２に記録された多重露出撮影完了枚数が２以上であるか否かを判定する。２以上であると判定するとＳ５１３へ進み、２未満である場合はＳ５１２に進む。多重露出撮影中フラグ＝１である場合なので、ここで多重露出撮影完了枚数が２未満であるということは、多重露出撮影完了枚数が１ということである。

Ｓ５１２では、マイクロコンピュータ１２３は、多重中１枚目ＱＲ・再生処理を行う。多重中１枚目ＱＲ・再生処理は、多重露出撮影モードに移行してから撮影した１枚目の画像を確認するための表示処理であり、多重露出撮影モードへ移行する前に撮像された画像は表示しない。多重中１枚目ＱＲ・再生処理では、多重露出撮影モードに移行してから撮影した１枚目の画像を表示部材１１８に表示する。

図７（ａ）に、多重露出撮影における、多重中１枚目ＱＲ・再生処理によって表示部材１１８に表示される表示例を示す（表示制御）。図７（ａ）は、前述の図３のメニュー項目３０２で多重露出撮影において画像を重ねる枚数を３枚、メニュー項目３０４でベース画像無しに設定した場合の表示例である。表示アイテム７０１は、多重露出撮影によって得られた画像であることを示すアイコンと、多重露出撮影予定枚数まで残り２枚であることを表している。表示アイテム７０２は、消去ボタン１９を押下することで処理選択ダイアログを表示させることができることを表すガイド表示である。画像７０３はまだ１枚しか撮影されていないために多重合成の行われていない画像である。ユーザーは表示された画像を見て、問題なければ多重露出撮影における次の撮影へ進む。なにか処理を行いたい場合は消去ボタン１９を押下して処理選択ダイアログを表示させる。処理選択ダイアログには、処理の選択肢として少なくとも「１枚戻る」、「保存して終了」、「保存しないで終了」が表示される。「一枚戻る」では、表示された１枚目の画像を消去して、図３のメニュー画面で設定した多重露出撮影にかかる現在の設定を維持して多重露出撮影をやり直すことができる。「保存して終了」では、この時点で多重露出撮影モードを終了させる。また、「保存しないで終了」では、表示した１枚目の画像を記録媒体１２０に記録することなく（あるいは記録媒体１２０から消去して）、この時点で多重露出撮影モードを終了させる。「保存して終了処理」あるいは「保存しないで終了処理」をした場合は、システムメモリ１３２に記録した多重露出撮影中フラグを０にし、多重露出撮影要否設定を「しない」に設定する。

Ｓ５１３では、マイクロコンピュータ１２３は、多重中ＱＲ・再生処理を行う。多重中ＱＲ・再生処理は、多重露出撮影モードに移行してから取得した画像およびそれらの多重合成の具合を確認するための表示処理であり、ベース画像以外の多重露出撮影モードへ移行する前に撮像された画像は表示しない。

図７（ｂ）に、多重露出撮影における、多重中ＱＲ・再生処理によって表示部材１１８に表示される表示例を示す（表示制御）。図７（ｂ）は、図７（ａ）と同様、前述の図３のメニュー項目３０２で多重露出撮影において画像を重ねる枚数を３枚、メニュー項目３０４でベース画像無しに設定した場合の表示例である。さらにこの例は、２枚目の撮影の後の表示例である。表示アイテム７０４が表す意味は図７（ａ）の表示アイテム７０１と同様であるが、多重露出撮影予定枚数が１枚減って残り１枚であることを表している。画像７０５は１枚目の画像と今回の撮影で得た２枚目の画像とを多重合成した画像である。これは、図４（ｂ）における表示用多重データＡ＋Ｂを表示したものである。表示用多重データは、ベース画像が設定されている場合はベース画像と、多重露出撮影モードに移行してから現在までに撮影した画像とをモードに応じて式（３）あるいは式（４）のように多重合成した多重合成画像を縮小したものである。すなわち、この時点で多重露出撮影を終了し、この時点までに取得した画像を用いて、記録媒体１２０に記録するために多重合成画像を生成する処理（保存して終了処理）を行って生成される多重合成画像と同じ合成比率で多重合成された画像である。ユーザーは表示された画像を見て、問題なければ多重露出撮影における次の撮影へ進む。なにか処理を行いたい場合は消去ボタン１９を押下して処理選択ダイアログを表示させる。処理選択ダイアログには、処理の選択肢として少なくとも「１枚戻る」、「保存して終了」、「保存しないで終了」が表示される。「一枚戻る」では、直前に撮影した１枚の画像だけを消去して、多重露出撮影を１枚戻ったところからやり直すことができる。「保存して終了」では、この時点で多重露出撮影を終了し、この時点までに取得した画像を用いて多重合成画像を生成して記録媒体１２０に記録する。「保存しないで終了」では、この時点までに取得した画像を用いた多重合成画像を記録媒体１２０に記録することなく、この時点で多重露出撮影モードを終了する。「保存して終了処理」あるいは「保存しないで終了処理」をした場合は、システムメモリ１３２に記録した多重露出撮影中フラグを０にし、多重露出撮影要否設定を「しない」に設定する。

Ｓ５１４では、マイクロコンピュータ１２３は、システムメモリ１３２を参照して、多重露出撮影中フラグが１であるか否かを判定する。多重露出撮影中フラグが１である場合にはＳ５１５に進み、１でない場合にはＳ５１７へ進む。

Ｓ５１５では、マイクロコンピュータ１２３は、途中終了イベントがあったか否かを判定する。途中終了イベントとは、多重露出撮影モードを途中で終了させるべきイベントであり、例えば以下のようなものがある。
・ユーザの操作により多重露出撮影要否設定を「しない」にするイベント
・ユーザによるメインＳＷ２０の操作、カード蓋２８の開き、電池蓋２９の開き。オートパワーオフ時間の経過などの電源がＯＦＦとなるイベント
・撮影設定の条件により多重露出撮影を継続できないような状態となるイベント
途中終了イベントがあった場合はＳ５１６へ進み、なかった場合はＳ５１７へ進む。

Ｓ５１６では、マイクロコンピュータ１２３は、「保存して終了処理」を行う。この処理は前述したＳ５０６と同様の処理である。

Ｓ５１７では、マイクロコンピュータ１２３は、撮影モードを変更する操作があったか否かを判定する。ここでの判定は、多重露出撮影要否設定を直接変更する操作ではなく、撮影モードダイヤル１４を回転させる操作があったか否かの判定である。撮影モードを変更する操作を受付けたと判定するとＳ５１８に進み、無かったと判定するとＳ５２１に進む。

Ｓ５１８では、マイクロコンピュータ１２３は、撮影モードを変更する操作による変更先の撮影モードが、多重露出撮影モード処理を継続できる撮影モードとして予め定められた撮影モード（第１の撮影モード）であるか否かを判定する。撮影モードダイヤル１４の操作によって遷移できる撮影モードのうち、多重露出撮影モード処理を継続できる撮影モードには、以下の撮影モードがあるものとする。マニュアルモード、シャッター速度優先モード、絞り優先モード、プログラムＡＥモード、バルブモード。逆に、撮影モードダイヤル１４の操作によって遷移できる撮影モードのうち、多重露出撮影モード処理を継続できない撮影モード（第２の撮影モード）としては、以下の撮影モードがあるものとする。全自動モード、ストロボ発行禁止モード、クリエイティブ全自動モード、ポートレートモード、風景モード、クローズアップモード、スポーツモード、夜景ポートレートモード、動画モード。多重露出撮影を継続できる撮影モードであるか否かをこのように分けた理由は後述する。

Ｓ５１８で、変更された撮影モードが、多重露出撮影モード処理を継続できる撮影モードであると判定した場合はＳ５１９に進み、そうでない場合はＳ５２０へ進む。

Ｓ５１９では、マイクロコンピュータ１２３は、撮影モードダイヤル１４の操作に応じた撮影モードに切り替え、多重露出撮影モード処理を継続する。なおこの際、多重露出撮影要否設定、多重露出撮影中フラグ、多重露出撮影予定枚数、多重露出撮影完了枚数、書き込み済みファイル情報、ベース画像（設定されている場合）は変更せず維持する。

Ｓ５２０では、マイクロコンピュータ１２３は、「保存して終了処理」を行う。この処理は前述したＳ５０６と同様の処理である。ただし、この時点で多重合成画像を生成するだけの画像が集まっていない場合には、多重合成画像の生成は行わない。「保存して終了処理」により、その後のＳ５２１でＮｏと判定され、多重露出撮影モード処理が撮影モードダイヤル１４の操作に応じて自動的に終了することになる。この際、多重露出撮影モード処理が自動的に終了したこと（多重露出撮影モードが解除されたこと）を表す表示を表示部材１１８に表示してもよい。多重露出撮影モードを終了すると、撮影モードダイヤル１４の操作に応じた撮影モードに切り替える。

Ｓ５２１では、マイクロコンピュータ１２３は、システムメモリ１３２あるいは不揮発性メモリ１３０の多重露出撮影要否設定を参照し、多重露出撮影が「する」に設定されているか否かを判定する。「する」に設定されている場合はＳ５００に進んで処理を繰り返す。「しない」に設定されている場合は多重露出撮影モード処理を終了する。

多重露出撮影を継続できる撮影モードであるか否かを上述のように分けた理由を説明する。

多重露出撮影で生成される多重合成画像は、複数の画像を加算して合成した画像であるため、現実を忠実に表す映像ではない。すなわち、多重露出撮影は現実を正確に記録するためというよりは、撮影者による表現の手法の一種として利用される撮影方法と言える。そのため、多重露出撮影ではより多くの撮影条件を調整できたほうが、表現の幅を広げられるため好適である。従ってより多くの撮影条件を調整できる撮影モードを、多重露出撮影を継続できる撮影モードとしている。すなわち、多重露出撮影条件を継続できない撮影モードよりも、多重露出撮影を継続できる撮影モードのほうがユーザーが指定した値に設定できる撮影条件の項目数が多い。そして、多重露出撮影の途中であってもこれらのモード間であれば撮影モードの変更を可能としている。従って、互いに異なる撮影モードで撮影された画像を多重合成した画像を作成することができ、表現の幅をより広くすることができる。

また、多重露出撮影においては、加算される各画像の輝度を調整できると特に好ましい。なぜなら、多重露出撮影は複数の画像の輝度を加算して合成していくという特徴があるため、各画像の輝度を調整できないと、加算モードでは意図せずにすぐ輝度が飽和してしまうことがあるためである。また、加算モードでなくとも、合成する他の画像に比べて輝度が高すぎるとその画像だけ目立ちすぎる多重合成画像となってしまう。逆に、合成する他の画像に比べて輝度が低すぎるとその画像だけ目立たな過ぎる多重合成画像となってしまう。このため、各画像の輝度値に影響する露出補正、シャッタースピード、絞り値のうち少なくとも一つの値と、ＩＳＯ感度をユーザーが設定可能である撮影モードを、多重露出撮影モード処理を継続できる撮影モードとしている。

さらに、多重合成する複数の画像間の比較で色味調整ができるように、ホワイトバランスを調整できる撮影モードを、多重露出撮影モード処理を継続できる撮影モードとしている。

多重露出撮影モード処理を継続できる撮影モード（第１の撮影モード）としての上述のような条件に合致するのが、マニュアルモード、シャッター速度優先モード、絞り優先モード、プログラムＡＥモード、バルブモードである。マニュアルモードではシャッター速度、絞り値、ＩＳＯ感度、露出補正、ホワイトバランスをユーザーが決めた値に設定することができる。シャッター速度優先モードではシャッター速度、ＩＳＯ感度、露出補正、ホワイトバランスをユーザーが決めた値に設定することができ、絞り値は、適正露出になるように、ユーザーが設定した撮影条件に合わせてマイクロコンピュータ１２３が自動的に設定する。絞り優先モードでは絞り値、ＩＳＯ感度、露出補正、ホワイトバランスをユーザーが決めた値に設定することができ、シャッター速度は、適正露出になるように、ユーザーが設定した撮影条件に合わせてマイクロコンピュータ１２３が自動的に設定する。プログラムＡＥモードではＩＳＯ感度、露出補正、ホワイトバランスをユーザーが決めた値に設定することができ、シャッター速度と絞り値は、適正露出になるように、ユーザーが設定した撮影条件に合わせてマイクロコンピュータ１２３が自動的に設定する。バルブモードでは絞り値、ＩＳＯ感度、ホワイトバランスなどをユーザーが決めた値に設定することができる。

一方で、多重露出撮影モード処理を継続しない撮影モード（第２の撮影モード）は、ユーザーが指定できる撮影条件が、上述の多重露出撮影モード処理を継続できる撮影モードより少ない撮影モードとしている。特に、各画像の輝度値に影響する露出補正、シャッタースピード、絞り値のうち少なくとも一つの値と、ＩＳＯ感度と、ホワイトバランスを調整できない（自動的に設定される）撮影モードは、多重露出撮影モード処理を継続できる撮影モードとはしていない。これらの撮影モードの例として、全自動モード、ストロボ発行禁止モード、クリエイティブ全自動モード、ポートレートモード、風景モード、クローズアップモード、スポーツモード、夜景ポートレートモード、動画モードがある。これらの撮影モードでは、撮影条件の多くが、マイクロコンピュータ１２３によって自動的に設定され、ユーザーが設定できる撮影条件の項目は少ない。多重露出撮影の途中でこれらの撮影モードに変更する場合に多重露出撮影モード処理を自動的に終了させるため、ユーザが多重露出撮影に適さない撮影モードで多重露出撮影を行ってしまうことを防止することができる。また、これらの撮影モードが多重露出撮影に適さないことを知っている上級の撮影者にとっては、多重露出撮影の途中でこれらの撮影モードに切り換えようとする操作は、多重露出撮影を継続する意思がないことを示す。従って本実施の形態のように多重露出撮影に適さない撮影モードに変更する操作に応じて自動的に多重露出撮影モード処理を終了することで、多重露出撮影モードを終了させるための操作をする手間を減らすことができる。

また、多くの撮影条件が自動的に設定されるこれらの撮影モードは、初心者ユーザーが使用することが多い撮影モードである。多重露出撮影で得られる多重合成画像は、上述したように、現実を忠実に表す映像ではないため、多重露出撮影の仕組みを理解していない初心者は高品位ではない画像が撮影された、あるいは誤動作であると誤解してしまう恐れがある。これに対し、本実施の形態のように、初心者が使用することの多い撮影モードでは多重露出撮影をさせないようにすることで、ユーザーが多重露出撮影で得られた多重合成画像が高品位で無い画像であると誤解したり、誤動作を起こしたと誤解することを抑制できる。

このように、多重露出撮影を継続できる撮影モードであるか否かを上述のように分けることで、より広い幅の表現を可能としながらも、効果的な多重露出撮影を行うことができる。

＜図６：多重露出撮影処理＞
図６に、前述した図５のＳ５０２の多重露出撮影処理のフローチャートを示す。図６の処理は、不揮発性メモリ１３０に記録されたプログラムを、システムメモリ１３２に展開してマイクロコンピュータ１２３が実行することで実現する。図６で行われる撮影を、後述のスルー画像を取得するための撮像と区別するために、本撮影と称する。

Ｓ６０１では、マイクロコンピュータ１２３は、撮像素子１１２、ＡＤ変換器１１５がパワーセーブモードになっている場合は電源を供給する制御を行う。さらに露光の制御を行い、露光が完了するとＳ６０２で撮像素子１１２に蓄積された画像信号の読み出し、ＡＤ変換器１１５でデジタル信号へと変換する制御を行う。

Ｓ６０３では、マイクロコンピュータ１２３は、Ｓ６０２で読み出した画像信号から現像データを生成するように映像信号処理回路１１６に指示する。生成された現像データは、図４で説明したように、バッファメモリ１２２に格納される。

Ｓ６０４では、マイクロコンピュータ１２３は、Ｓ６０３で生成した現像データを映像信号処理回路１１６に圧縮させ、Ｓ６０５で画像ファイルとして記録媒体１２０へ記録する。この画像ファイルは合成されたものではなく、単体の元画像である。続いてＳ６０６で、システムメモリ１３２に保持した書き込み済みファイル情報に、Ｓ６０５で記録した画像ファイルの格納場所を示す情報を記録する。画像ファイルの格納場所を示す情報の代わりに、あるいは加えて、画像ファイルを特定する情報（ファイル名など）を記録してもよい。また、システムメモリ１３２に保持している多重露出撮影完了枚数に１を加算する。

Ｓ６０７では、マイクロコンピュータ１２３は、ベース画像が有に設定されているか否かを判定する。ベース画像が有りである場合はＳ６０８に進む。ベース画像が無しに設定されている場合はＳ６１１に進む。

Ｓ６０８では、マイクロコンピュータ１２３は、システムメモリ１３２を参照し、多重露出撮影完了枚数が２以上であるか否かを判定する。２未満、すなわち今回の撮影分のみの１である場合はＳ６０９へ進む。２以上である場合はＳ６１０へ進む。

Ｓ６０９では、マイクロコンピュータ１２３は、ベース画像を記録媒体１２０から読み出してベース画像の現像データを取得し、ベース画像の現像データを映像信号処理回路１１６を用いて高精度化し、高精度データをバッファメモリ１２２に格納する。この処理はすなわち、ベース画像を図４（ｂ）における１枚目の撮影で得られた画像信号Ａ、今回の撮影によってＳ６０２で取得した画像データを図４（ｂ）における２枚目の撮影で得られた画像信号Ｂとみなした処理である。

Ｓ６１０では、マイクロコンピュータ１２３は、前回の撮影で得られた現像データを映像信号処理回路１１６を用いて高精度化し、前回までに生成していた高精度データに加算した高精度データを生成して、バッファメモリ１２２に格納する。図４の例では、図４（ｃ）の３枚目の撮影の際に、２枚目の撮影で得られた現像データＢを高精度化し、２枚目の撮影の際に生成した高精度データＡに加算して高精度データＡ＋Ｂを生成し、バッファメモリ１２２に格納することに相当する。

一方Ｓ６１１では、マイクロコンピュータ１２３は、システムメモリ１３２を参照して多重露出撮影完了枚数が２以上であるか否かを判定する。２以上であると判定するとＳ６１２に進み、２未満、すなわち今回の撮影分のみの１である場合はＳ６１８に進む。Ｓ６１１で多重露出撮影完了枚数が、今回の撮影分のみの１であると判定された場合のバッファメモリ１２２の状態は、図４（ａ）に示した状態である。

Ｓ６１２では、マイクロコンピュータ１２３は、多重露出撮影完了枚数が２であるか否かを判定する。２でない、すなわち３以上である場合はＳ６１０へ進み、２である場合にはＳ６１３に進む。

Ｓ６１３では、マイクロコンピュータ１２３は、前回の撮影で得られた現像データを映像信号処理回路１１６を用いて高精度化した高精度データを生成して、バッファメモリ１２２に格納する。図４の例では、図４（ｂ）の２枚目の撮影の際に、１枚目の撮影で得られた現像データＡを高精度化し、高精度データＡとしてバッファメモリ１２２に格納することに相当する。

Ｓ６１４では、マイクロコンピュータ１２３は、Ｓ６０９、Ｓ６１０、Ｓ６１３のいずれかで生成した高精度データと、Ｓ６０３で生成した今回の撮影分の現像データとを映像信号処理回路１１６を用いて多重合成する。この時の多重合成では、図３のメニュー画面で設定された自動露出調整機能の設定に応じて、前述の式（３）あるいは式（４）に基づいて多重合成する。なお、Ｙｎ−１はＳ６０９、Ｓ６１０、Ｓ６１３のいずれかで生成した高精度データの輝度となる。また、ｙｎはＳ６０３で生成した今回の撮影分の現像データの輝度となる。多重合成して生成した画像を多重現像データとしてバッファメモリ１２２に格納する。

Ｓ６１５では、マイクロコンピュータ１２３は、Ｓ６１４で生成した多重現像データを映像信号処理回路１１６を用いて縮小・圧縮し、表示用多重データとしてバッファメモリ１２２に格納する。

Ｓ６１６では、クイックレビュー（ＱＲ）を行う設定となっているかを判定する。撮影直後にＱＲを行うか否かは、ユーザーの操作に応じて予め設定しておけるものとする。ＱＲを行うと設定されていた場合はＳ６１７に進み、多重中ＱＲ・再生処理を行う。多重中ＱＲ・再生処理は前述した図５のＳ５１３と同様の処理である。Ｓ６１６でＱＲを行わないと設定されていると判定された場合、及びＳ６１７の処理を終えた場合は多重露出撮影処理を終了し、前述の図５のＳ５０３へ進む。

一方Ｓ６１８では、クイックレビュー（ＱＲ）を行う設定となっているかを判定する。ＱＲを行うと設定されていた場合はＳ６１９に進み、多重中１枚目ＱＲ・再生処理を行う。多重中１枚目ＱＲ・再生処理は前述した図５のＳ５１２と同様の処理である。Ｓ６１８でＱＲを行わないと設定されていると判定された場合、及びＳ６１９の処理を終えた場合は多重露出撮影処理を終了し、前述の図５のＳ５０３へ進む。

＜図８：多重露出撮影モード処理（ＬＶ）＞
図８に、前述した図５のＳ５３０のライブビューでの多重露出撮影モード処理（ＬＶ）のフローチャートを示す。図８の処理は、不揮発性メモリ１３０に記録されたプログラムを、システムメモリ１３２に展開してマイクロコンピュータ１２３が実行することで実現する。

Ｓ８００１では、被写体光の光束を撮像素子１１２へと導くように主ミラー１０５を上方に跳ね上げるミラーアップを行う。またシャッタ駆動回路１１１を制御してシャッタ１１０をあける制御をおこなう。

Ｓ８００２では、バッファメモリ１２２に保持されている多重現像データを取得する。多重現像データは、１組の多重露出撮影で現時点までに得られた画像（ベース画像がある場合はベース画像を含む）を多重合成したものである。

Ｓ８００３では、Ｓ８００７で取得した多重現像データに対し、多重合成のための前処理を施す。前処理としては例えば、前述した高精度化などがある。また、ライブビュー表示での多重表示は表示部材１１８か外部インターフェース１２１を介した外部モニタでの全画面表示（１倍）でしか行わないので、それに必要な画素数に多重現像データをリサイズする。これにより、過大な画素数を処理することによって処理負荷が過大にかかることを防止する。

Ｓ８００４では、撮像素子１１２、ＡＤ変換器１１５がパワーセーブモードになっている場合は電源を供給し、ライブビュー用に初期設定を行う。

Ｓ８００５では、多重ライブビュー表示処理を行う。多重ライブビュー表示処理については図９を用いて後述する。

Ｓ８００６では、ＳＷ１がＯＮであるか否かを判定し、オンであればＳ８００７へ進み、ＯＮで無ければＳ８５０７に進む。
Ｓ８００７では、フォーカス制御処理を行う。フォーカス制御処理については図１２を用いて後述する。

Ｓ８００８では、システムメモリ１３２に保持している拡大モードフラグをＯＦＦに初期化する。これによって、Ｓ８００７での多重露出撮影処理の前に、拡大モードでライブビュー表示を行っていた場合にはスルー画像だけでの拡大表示をやめ、後述する多重ライブビュー表示に切り替わる。

Ｓ８５０３〜Ｓ８５２３は、前述した図５のＳ５０３〜Ｓ５２１と同様の処理なので説明を省略する。

Ｓ８００９では、ライブビュー表示を終了する指示があったか否かを判定する。具体的には、ライブビューボタン２７が押下されたか否かの判定である。ライブビューボタン２７が押下された（ライブビュー表示を終了する指示があった）と判定した場合は、Ｓ８０１０に進み、主ミラー１０５を、光束をファインダ部へと導くよう反射させる通常時の位置に戻し（ミラーダウン）、図５のＳ５００に進む。ライブビューボタン２７が押下されていない場合はＳ８０１１に進む。

Ｓ８０１１では、マニュアルフォーカス（ＭＦ）操作が行われたか否かを判定する。ＭＦ操作とは例えば、撮影レンズ１０１の鏡筒回りに設けられたフォーカスリングを回す操作であり、これによってフォーカスレンズが駆動される（フォーカス調整処理）。なお、マニュアルフォーカスを行う操作であればフォーカスリングの操作に限らず、他の操作でもよい。ＭＦ操作が行われたと判定するとＳ８０１２に進み、ＭＦ操作が行われていないと判定するとＳ８００５に進み処理を繰り返す。

Ｓ８０１２では、前述した図８のＳ８００３で前処理した多重現像データとの合成を行うことなく、スルー画像だけを表示部材１１８または外部モニタに表示するライブビュー表示を行う。ただし、各種情報表示やアイコン表示は重畳して表示する場合がある。なお、スルー画像と撮影済みの多重現像画像との合成比率を１００：０として多重合成した画像を表示するものとしてもよく、実質的に同義である。このときの表示例を、図１１（ｂ）に示す。なお、Ｓ８０１２の前に撮影済みの多重現像データとスルー画像とを多重したライブビュー表示を行っていた場合は、多重現像データの合成比率をだんだんと下げていき、滑らかにスルー画像だけの表示に移行するようにしてもよい。このように多重表示をやめてスルー画像のみの表示とすることで、マニュアルフォーカスをする際にスルー画像が合焦しているか否かを判断しやすくなり、ＭＦが行いやすくなる。

Ｓ８０１３では、ＭＦ操作が終了してから所定時間が経過したか否かを判定する。所定時間は、ユーザーによるＭＦ操作と、それに伴うスルー画像の確認が終了したと想定できる程度の時間であればよく、数秒程度が好ましい。所定時間が経過していないと判定するとＭＦ操作が終了して所定時間が経過するのを待ち、所定時間が経過したと判定するとＳ８０１４へ進む。

Ｓ８０１４では、ライブビューでの合成比率をＳ８０１２の前の状態に戻す。これによって、拡大モードでなければ、Ｓ８００５の多重ライブビュー表示処理において、図９で後述するとおり、Ｓ８００３で前処理した多重現像データとスルー画像との多重合成画像でのライブビュー表示が行われる。Ｓ８０１４の処理を終えるとＳ８００５に進み処理を繰り返す。

＜図９：多重ライブビュー表示処理＞
図９に、前述した図８のＳ８００５の多重ライブビュー表示処理のフローチャートを示す。図９の処理は、不揮発性メモリ１３０に記録されたプログラムを、システムメモリ１３２に展開してマイクロコンピュータ１２３が実行することで実現する。また図１１（ａ）に多重現像データの例を示す。この画像は、現在までに撮影された画像を多重合成した画像であり、Ｓ８００２で取得した多重現像データである。図１１（ｂ）に、スルー画像のみの表示例を示す。多重ライブビュー表示処理では、図１１（ａ）に示した多重現像データと、図１１（ｂ）に示したスルー画像を、シミュレーションライブビューであるか否かに応じて異なる合成比率で多重合成した画像をライブビュー表示として表示する。

Ｓ９０１では、拡大ボタン２３が押下されたか否かを判定する。拡大ボタン２３が押下されたと判定するとＳ９０２に進み、押下されていない場合はＳ９０３に進む。Ｓ９０２では、拡大ボタン２３の押下に応じてモードを変更する。すなわち、Ｓ９０１で拡大ボタン２３が押下されたときに、システムメモリ１３２に保持された拡大モードフラグを参照し、拡大モードオフ（拡大しない）であれば、拡大モード（５倍拡大）に変更する。拡大モード（５倍拡大）であれば拡大モード（１０倍拡大）に変更する。拡大モード（１０倍拡大）であれば拡大モードオフに変更する。拡大モード（５倍拡大）に変更した場合は、ライブビュー表示における多重表示をやめ、スルー画像だけを全画面表示（スルー画像全体が表示領域全体に収まる最大のサイズでの表示）の５倍に拡大して表示する。拡大モード（１０倍拡大）に変更した場合は、スルー画像だけを全画面表示の１０倍に拡大して表示する。拡大モードオフ（拡大しない）に変更した場合は、スルー画像と撮影済みの画像（前述のＳ８００３で前処理を施した多重現像データ）との多重表示を再開する。変更した結果の拡大モードの情報を拡大モードフラグとしてシステムメモリ１３２に記録する、
Ｓ９０３では、システムメモリ１３２に保持された拡大モードフラグを参照し、現在拡大モードである否かを判定する。拡大モード（５倍拡大）または拡大モード（１０倍拡大）である場合は拡大モードであると判定し、Ｓ９２０に進む。拡大モードオフ（拡大しない）である場合は拡大モードではないと判定し、Ｓ９０４に進む。

Ｓ９０４では、現在の表示種別がスルー画像だけでのライブビューであるか否かを判定する。ライブビュー中の表示種別として、情報表示ボタン１６の押下に応じて、多重表示を行うか、多重表示を行わずにスルー画像だけでのライブビュー表示とするかを切り換えることができる（Ｓ９２７，Ｓ９２７で後述する）。スルー画像だけでのライブビューであると判定した場合はＳ９２０に進み、そうでない場合はＳ９０５に進む。

Ｓ９０５では、絞り込みボタン１５が押下されているか否かを判定する。絞り込みボタン１５が押下されている（押下中）であると判定するとＳ９１２に進み、絞り込みボタン１５が押下されていない（すなわち離されている）と判定した場合はＳ９０６に進む。

Ｓ９０６では、撮像素子１１２、絞り駆動回路１０４を制御し、スルー画像取得用の通常露光を行い、スルー画像を取得する。スルー画像取得用の通常露光では、ＳＷ２での本撮影用に設定された絞り値に関わらず、ライブビュー表示でのピントの確認をしやすくするために、絞り１０３を開放（絞り値を最小）にして被写界深度を浅くする。そして、見やすい明るさにするために撮像素子１１２での電荷蓄積時間と感度（ＩＳＯ感度）を調整した露光を行う。

Ｓ９０７では、Ｓ９０６の露光で取得したスルー画像に現像処理を施す。

Ｓ９０８では、Ｓ９０７で現像したスルー画像と、前述した図８のＳ８００３で前処理した多重現像データとを、多重ライブビュー用合成比率で多重合成する。多重ライブビュー用合成比率は、前述した式（５）で示した合成比率である。すなわち、スルー画像の合成比率をＭ（Ｍは０．５以上）、多重現像データの合成比率を１−Ｍとした合成比率である。これにより、スルー画像を撮影済みの画像と多重合成する多重ライブビュー表示において、撮影済みの画像（多重現像データ）よりも、これから撮影するスルー画像を視認しやすくする。

多重ライブビュー用合成比率の例を図１０（ａ）に示す。例えば自動露出調整モードでの多重ライブビュー用合成比率では、スルー画像の合成比率を６０％（Ｍ＝０．６）に固定し、撮影済みの画像である多重現像データの合成比率を４０％（１−Ｍ＝０．４）とする。１組の多重露出撮影において２枚以上の撮影をすでに行っていた場合は（あるいはベース画像が設定されていて１枚以上の撮影を既に行っていた場合は）、多重現像データは既に何枚かの画像が均等に合成された状態である。そのため、多重ライブビュー用合成比率における撮影済みの画像の１枚あたりの合成比率は、多重現像データの合成比率である４０％を均等に配分した比率となる。これによって、多重ライブビュー表示においては、撮影済みの画像は薄く、スルー画像は相対的にはっきりと表示されることになる。従って撮影者は、撮影済みの画像にこれから撮影する画像をどう合わせるかの構図調整が行いやすくなる。なおかつ、これから撮影する画像のピント調整やシャッタータイミングの調整が行いやすくなる。

Ｓ９０９では、Ｓ９０８で合成したスルー画像と撮影済みの画像（多重現像データ）との多重合成画像を、出力先（表示部材１１８または外部モニタ）に合わせてリサイズする。例えば、出力先がカメラ本体の表示部材１１８である場合は横幅７２０画素、縦４８０画素にリサイズする。出力先が外部モニタでハイビジョンモニタである場合は横幅１６２０画素、縦１０８０画素にリサイズする。また、上下をトリミングした後にリサイズして横幅１９２０画素、縦１０８０画素にしてもよい。

Ｓ９１０では、Ｓ９０９でリサイズした多重合成画像を表示部材１１８または外部モニタに表示する（多重ライブビュー表示）。多重ライブビュー表示の表示例を図１１（ｃ）に示す。図１１（ｃ）では、前述のＳ９０８での合成処理によって、撮影済みの画像は薄く、スルー画像は相対的にはっきりと表示されており、ユーザーがスルー画像を特に視認しやすいようになっている。

Ｓ９１１では、Ｓ９０６で取得したスルー画像に基づいて、次フレームでのスルー画像の取得（撮像）に用いる露光量を算出し、絞り値は開放として、撮像素子１１２での電荷蓄積時間と感度を設定する。

一方、Ｓ９０５で絞り込みボタン１５が押下中であると判定した場合は、本撮影によって実際に生成される多重合成画像のシミュレーション表示を行うべく、Ｓ９１２に進む。

Ｓ９１２では、ＳＷ２での本撮影用に設定された撮影条件としての絞り値（ユーザが設定した絞り値あるいは、プログラム線図に基づき自動的に算出された絞り値）で絞り１０３を駆動する。絞りを本撮影用に設定された絞り値に駆動することで、スルー画像の被写界深度を本撮影で撮影される画像の被写界と同じにすることができ、ボケ味の具合などを確認することができる。

Ｓ９１３では、本撮影用に設定された現在の撮影条件での本撮影で得られる画像の明るさに近い明るさになるように、本撮影用に設定された絞り値を固定して、電荷蓄積時間及び感度を調整する（シミュレーション調整）。まず、電荷蓄積時間を、スルー画像取得用の電荷蓄積時間での範囲内で、撮影条件として設定されているシャッター速度に近くなるように設定する。そして電荷蓄積時間の設定だけでは調整できない分を、感度の調整で補う。例えば、スルー画像を１／３０秒毎に更新する場合には、スルー画像取得用の電荷蓄積は１／３０秒より長くは出来ない。そのため、撮影条件としてのシャッター速度の設定が１／３０秒より長かった場合には、スルー画像取得用の電荷蓄積時間は設定可能な最長の時間とし、足りない分を感度の増幅で補う。

Ｓ９１４では、Ｓ９１２、Ｓ９１３で設定した絞り値、電荷蓄積時間、感度での露光を行ってスルー画像を取得する（シミュレーション露光）。

Ｓ９１５では、Ｓ９１４の露光で取得したスルー画像に現像処理を施す。

Ｓ９１６では、Ｓ９１５で現像したスルー画像と、前述した図８のＳ８００３で前処理した多重現像データとを、シミュレーションライブビュー用合成比率で多重合成する。シミュレーションライブビュー用合成比率は、前述した式（６）または（７）で示した合成比率である。シミュレーションライブビュー表示を見ることにより、現在の撮影条件で本撮影を行うとどのような多重合成画像が生成されるのかを本撮影の前に確認することが可能となる。

シミュレーションライブビュー用合成比率の例を図１０（ｂ）に示す。自動露出調整モードでの多重ライブビュー用合成比率では、スルー画像と撮影済みの各画像の合成比率が均等となるように合成比率が決定される。すなわちスルー画像の合成比率は、撮影済みの画像の枚数に応じて変動する。例えば、ベース画像無しに設定されていて、１組の多重露出撮影において現在までに撮影が実行された枚数が３枚である場合、スルー画像の合成比率は１／４（２５％）、多重現像画像の合成比率は３／４（７５％。各画像は２５％ずつ）となる。これによって、撮影者は現在の撮影条件で本撮影を行うとどの様な合成バランス、明るさ、濃度、被写界深度の多重合成画像が生成されるのかを確認することができ、撮影条件を適切に調整することができる。

Ｓ９１７では、Ｓ９１６で合成したスルー画像と撮影済みの画像（多重現像データ）との多重合成画像を、出力先（表示部材１１８または外部モニタ）に合わせてリサイズする。

Ｓ９１８では、Ｓ９１７でリサイズした多重合成画像を表示部材１１８または外部モニタに表示する（シミュレーションライブビュー表示）。シミュレーションライブビューの表示例を図１１（ｄ）に示す。図１１（ｄ）は、撮影条件と自動露出調整機能の設定状態を反映した画像であるため、必ずしもスルー画像の視認性が高いわけではないが、本撮影を行って生成される多重合成画像がどのようになるのかを確認することができる。また、図１１（ｄ）は撮影条件が反映された表示であるため、ダイアログ１１０１を表示し、現在設定されている撮影条件をユーザーに通知する。図１１（ｄ）のダイアログ１１０１には、左から順にシャッター速度（Ｔｖ値）、絞り値（Ａｖ値）、露出補正、残り撮影可能枚数、ＩＳＯ感度、電池残量が表示されている。ユーザーはこのダイアログ１１０１とシミュレーションライブビューの表示を見ることで、撮影条件の効き具合を確認しながら撮影条件を変更することができる。

Ｓ９１９では、Ｓ９１４で取得したスルー画像に基づいて、次フレームでのスルー画像の取得（撮像）に用いる露光量を算出し、絞り値は撮影条件として設定された絞り値とし、撮像素子１１２での電荷蓄積時間と感度を設定する。

一方、拡大モード中またはスルー画像だけでのライブビューモードの場合に行うＳ９２０，Ｓ９２１，Ｓ９２２の処理は、それぞれＳ９０６、Ｓ９０７、Ｓ９０９の処理と同様なので説明を省略する。

Ｓ９２３では、多重合成することなく、Ｓ９２２でリサイズされたスルー画像だけを表示部材１１８または外部モニタに表示する。ただし、各種情報表示やアイコン表示は重畳して表示する場合がある。

このときの表示例を図１１（ｂ）に示す。Ｓ９２４の処理は、Ｓ９１１と処理と同様なので説明を省略する。

このように、拡大モード中またはスルー画像だけでのライブビューモードの場合は、ライブビューにおいては多重合成を行わず、スルー画像だけが表示される。なお、スルー画像と撮影済みの多重現像画像との合成比率を１００：０としてＳ９０６〜Ｓ９１１の処理を行うものとしてもよく、実質的に同義である。

Ｓ９２５では、撮影条件を変更する操作が行われたか否かを判定する。撮影条件を変更する操作が行われた場合はＳ９２６で操作に応じて撮影条件を変更する（撮影条件設定）。ユーザー操作に応じて変更可能な撮影条件には、少なくともシャッター速度（Ｔｖ値）、絞り値（Ａｖ値）、露出補正、ＩＳＯ感度、ホワイトバランスなどがある。なお、これらのうちユーザー操作に応じて変更可能な撮影条件は、前述の通り撮影モードダイヤル１４で設定されている撮影モードに応じて異なる。

Ｓ９２７では、情報表示ボタン１６の押下による表示種別変更操作があったか否かを判定する。情報表示ボタン１６が押下されたと判定するとＳ９２８で表示種別を変更する。現在の表示種別が、多重表示を行うライブビューモードであれば、スルー画像だけでのライブビューモードに変更し、現在の表示種別がスルー画像だけでのライブビューモードであれば多重表示を行うライブビューモードに変更する。スルー画像だけでのライブビューモードでの表示例を図１１（ｂ）に示す。図１１（ｂ）はスルー画像だけを表示したものであり、これを見ることで、フォーカス（ピント）の確認をしたり、シャッタータイミングを計るなどの、スルー画像に特化した操作が行いやすくなる。なお、多重表示を行うライブビューモードとスルー画像だけでのライブビューモードの切り替えの際、一瞬で切り換えるのではなく、徐々に合成比率を変えて滑らかに表示が変化するようにしても良い。
Ｓ９２７で表示種別変更操作が無いと判定するか、Ｓ９２８の処理を終えると、多重ライブビュー表示処理を終了し、図８のＳ８００６に進む。

＜図１２：フォーカス制御処理＞
図１２に、前述した図８のＳ８００７のフォーカス制御処理のフローチャートを示す。図１２の処理は、不揮発性メモリ１３０に記録されたプログラムを、システムメモリ１３２に展開してマイクロコンピュータ１２３が実行することで実現する。

Ｓ１２０１では、前述した図８のＳ８００３で前処理した多重現像データとの合成を行うことなく、スルー画像だけを表示部材１１８または外部モニタに表示するライブビュー表示を行う。ただし、各種情報表示やアイコン表示は重畳して表示する場合がある。なお、スルー画像と撮影済みの多重現像画像との合成比率を１００：０として多重合成した画像を表示するものとしてもよく、実質的に同義である。このときの表示例を、図１１（ｂ）に示す。なお、Ｓ１２０１の前に撮影済みの多重現像データとスルー画像とを多重したライブビュー表示を行っていた場合は、多重現像データの合成比率をだんだんと下げていき、滑らかにスルー画像だけの表示に移行するようにしてもよい。

Ｓ１２０２では、撮影準備処理を開始する。撮影準備処理には、少なくともオートフォーカス処理（フォーカス調整処理）と、測光処理（あるいはＡＥ処理）が含まれる。

Ｓ１２０３では、オートフォーカス（ＡＦ）の動作が終了したか否かを判定する。終了していないと判定するとＳ１２０４に進み、終了したと判定するとＳ１２０５に進む。

Ｓ１２０４では、ＳＷ１がＯＦＦとなったか、すなわちレリーズボタン１０の半押しが解除されたか否かを判定する。ＳＷ１がＯＦＦとなっていなければＳ１２０３に戻り、引き続き撮影準備処理を行う。ＳＷ１がＯＦＦとなった場合はＳ１２０９に進む。

Ｓ１２０５では、ライブビューの合成比率をＳ１２０１の前の状態に戻す。これによって、拡大モードでなければ、Ｓ８００５の多重ライブビュー表示処理において、Ｓ８００３で前処理した多重現像データとスルー画像との多重合成画像でのライブビュー表示が行われる。すなわち、拡大モードでなければ、図９で前述した多重ライブビュー表示あるいはシミュレーションライブビュー表示を行う。

Ｓ１２０６では、ＳＷ２がオンとなったか否かを判定する。ＳＷ２がオンとなっていなければＳ１２０７に進み、ＳＷ２がオンとなっていればＳ１２０８に進む。

Ｓ１２０７では、ＳＷ１がＯＦＦとなったか、すなわちレリーズボタン１０の半押しが解除されたか否かを判定する。ＳＷ１がＯＦＦとなっていなければＳ１２０６に戻り、ＳＷ１がＯＦＦとなった場合はＳ１２０９に進む。

Ｓ１２０８では、多重露出撮影処理を行い。多重露出撮影処理は、前述した図６の処理であるので説明を省略する。Ｓ１２０８の処理を終えるとフォーカス制御処理を終了し、図８のＳ８００８に進む。

一方、Ｓ１２０９では、本撮影を行う前にＳＷ１がオフとなったので、ライブビューの合成比率をＳ１２０１の前の状態に戻し、図８のＳ８５０７に進む。

図１２の処理によれば、ＳＷ１を押下してＡＦ動作が始まると多重したライブビュー表示をやめてスルー画像だけの表示とし、ＡＦ動作が終了すると再び多重したライブビュー表示に戻す。これによって、ＡＦ動作中は、ユーザーはＡＦによるピントの合い具合をスルー画像の目視により確認しやすくなる。また、ＡＦが完了してフォーカスが定まったあとは、多重したライブビュー表示が行われるので、ユーザーはＳＷ２での本撮影に備えて構図を最終調整することが可能となる。なお、ＡＦの完了後にユーザーがより確実にＡＦ結果を確認できるように、ＡＦ完了から所定時間はスルー画像だけでのライブビュー表示とし、ＡＦ完了後から所定時間経過後に多重したライブビュー表示に戻すようにしてもよい。この場合は、Ｓ１２０５の直前で、Ｓ１２０３でＡＦ動作完了と判定されてから所定時間（数秒程度）が経過したか否かの判定ステップを設け、所定時間が経過したと判定するとＳ１２０５に進むようにすればよい。

以上説明したように、本発明によれば、ライブビュー表示でスルー画像と撮影済みの画像を多重合成して表示する場合、スルー画像の合成比率が、合成される撮影済みの画像の合成比率よりも高くなるようにする。こうすることで、スルー画像を相対的にはっきり表示し、スルー画像の視認性を高めることができる。さらに、スルー画像の合成比率を、合成する撮影済みの画像の枚数に関わらず一定としておくことで、よりスルー画像の視認性を高めることができる。一方で、ユーザーの指示に応じて、スルー画像と、合成される撮影済みの画像との合成比率を変え、本撮影を行って生成される記録媒体１２０に記録するための多重合成画像がどのようになるのかを模擬的に事前確認することができる。このように、多重露出撮影において、ユーザーの意図に応じたより好適な合成比率でスルー画像を多重合成したライブビュー表示をすることが可能となる。

また、ＡＦまたはＭＦによるフォーカス調整中は多重ライブビュー表示をやめてスルー画像だけの表示とすることで、調整されたフォーカス（ピント）の合い具合を確認しやすくなる。かつ、フォーカス調整が完了すると多重ライブビュー表示に戻るため、撮影指示（ＳＷ２）の直前にこれから撮影する画像が撮影済みの画像にどのように多重合成されるかの構図の確認と調整を行ったうえで撮影が行える。

なお、上述した実施の形態では、現像データを用いて多重合成を行う例を説明したが、現像する前のＲＡＷ画像データを用いて多重合成を行ってもよい。

また、上述の実施の形態では、多重ライブビュー用の合成比率（第１の合成比率）と、シミュレーションライブビュー用の合成比率（第２の合成比率）とを絞り込みボタン１５が押下されているか否かに応じて切り換えるものとした。しかし、ユーザーの目的に応じて更に異なる合成比率に切り換えることができるようにしてもよい。例えば、夜景撮影モードなど、スルー画像が非常に暗くなる撮影モードである場合や、取得されたスルー画像が暗いことが検出された場合などはスルー画像の合成比率をさらに高くすると言った方法が挙げられる。さらに、上述の実施の形態では、絞り込みボタン１５が押されている間はシミュレーションライブビュー表示を行うものとしたが、ユーザーの操作に応じてシミュレーションライブビュー表示と多重ライブビューを切り換えられればこれに限定されるものではない。

また、マイクロコンピュータ１２３の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

さらに、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、撮像手段を有する撮像装置であれば適用可能である。すなわち、本発明はデジタルカメラ、デジタルビデオカメラ、カメラ付のパーソナルコンピュータやＰＤＡ、カメラ付携帯電話端末やカメラ付の音楽プレーヤー、カメラ付ゲーム機、カメラ付電子ブックリーダーなどに適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (12)

1. 撮像手段と、
   前記撮像手段で撮像されたスルー画像と、少なくとも１枚の撮影済み画像とを多重合成して多重合成画像を生成する第１の生成手段と、
   前記第１の生成手段で生成された多重合成画像を逐次更新されるライブビューとして表示手段に表示するように制御する表示制御手段と、
   前記第１の生成手段による前記スルー画像と前記少なくとも１枚の撮影済み画像との多重合成における合成比率を、少なくとも第１の合成比率と、該第１の合成比率とは異なる第２の合成比率とのいずれかに切り換えるように制御する制御手段と、を有し、
   前記表示制御手段は、前記制御手段によって前記第２の合成比率に切り換えられると、設定されている撮影条件を示す情報を前記表示手段に表示するように制御することを特徴とする撮像装置。
2. 撮像手段と、
   前記撮像手段で撮像されたスルー画像と、少なくとも１枚の撮影済み画像とを多重合成して多重合成画像を生成する第１の生成手段と、
   前記第１の生成手段で生成された多重合成画像を逐次更新されるライブビューとして表示手段に表示するように制御する表示制御手段と、
   前記第１の生成手段による前記スルー画像と前記少なくとも１枚の撮影済み画像との多重合成における合成比率を、少なくとも第１の合成比率と、該第１の合成比率とは異なる第２の合成比率とのいずれかに切り換えるように制御する制御手段と、
   撮影条件を設定する撮影条件設定手段と、
   前記撮影条件設定手段により設定された撮影条件に応じて、前記撮像手段に到達する光量を調整する絞り手段と、を有し、
   前記制御手段は、前記撮影条件設定手段で設定された絞り値とは異なる絞り値から、前記撮影条件設定手段で設定された絞り値へと変更する指示に応じて、前記第１の合成比率から前記第２の合成比率に切り換えることを特徴とする撮像装置。
3. 前記第１の合成比率は、前記少なくとも１枚の撮影済み画像よりも前記スルー画像の合成比率を高くした合成比率であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の合成比率における前記スルー画像の合成比率は、前記少なくとも１枚の撮影済み画像の枚数に関わらず一定であることを特徴とする請求項３に記載の撮像装置。
5. 多重露出撮影モードで撮影された複数の画像を多重合成して、記録媒体に記録するための多重合成画像を生成する第２の生成手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第２の合成比率は、前記第２の生成手段での合成比率を事前に確認するための合成比率であることを特徴とする請求項５に記載の撮像装置。
7. 前記第２の合成比率における撮影済み画像の合成比率は、もう一枚画像を撮影した際に前記第２の生成手段が行う合成における前記撮影済み画像の合成比率と同じであることを特徴とする請求項５または６に記載の撮像装置。
8. 前記制御手段は、ユーザーからの操作に応じて前記第１の合成比率から前記第２の合成比率に切り換えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段で撮像されたスルー画像と、少なくとも１枚の撮影済み画像とを多重合成して多重合成画像を生成する第１の生成ステップと、
   前記第１の生成ステップで生成された多重合成画像を逐次更新されるライブビューとして表示手段に表示するように制御する表示制御ステップと、
   前記第１の生成ステップによる前記スルー画像と前記少なくとも１枚の撮影済み画像との多重合成における合成比率を、少なくとも第１の合成比率と、該第１の合成比率とは異なる第２の合成比率とのいずれかに切り換えるように制御する制御ステップと、
   前記第２の合成比率に切り換えられた場合に、設定されている撮影条件を示す情報を前記表示手段に表示するように制御する撮影条件表示ステップと、を有することを特徴とする撮像装置の制御方法。
10. 撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段で撮像されたスルー画像と、少なくとも１枚の撮影済み画像とを多重合成して多重合成画像を生成する第１の生成ステップと、
    前記第１の生成ステップで生成された多重合成画像を逐次更新されるライブビューとして表示手段に表示するように制御する表示制御ステップと、
    前記第１の生成ステップによる前記スルー画像と前記少なくとも１枚の撮影済み画像との多重合成における合成比率を、少なくとも第１の合成比率と、該第１の合成比率とは異なる第２の合成比率とのいずれかに切り換えるように制御する制御ステップと、撮影条件を設定する撮影条件設定工程と、
    前記撮影条件設定工程で設定された撮影条件に応じて、前記撮像手段に到達する光量を調整する絞り工程と、を有し、
    前記制御ステップでは、前記撮影条件設定工程で設定された絞り値とは異なる絞り値から、前記撮影条件設定工程で設定された絞り値へと変更する指示に応じて、前記第１の合成比率から前記第２の合成比率に切り換えることを特徴とする撮像装置の制御方法。
11. コンピュータを、請求項１乃至８のいずれか１項に記載された撮像装置の各手段として機能させるプログラム。
12. コンピュータを、請求項１乃至８のいずれか１項に記載された撮像装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images