JP7096722B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は撮像装置及びその制御方法に関するものである。

従来より、２枚以上の撮影した画像を合成して１枚の合成画像を生成する多重露出撮影機能を有する撮像装置が知られている。この撮影機能は、基準となる１枚の撮影画像に対して撮影者が撮影した複数の画像を重ね写し込むことで、被写体が重畳した１枚の画像を生成する機能である。多重露出撮影においては合成する複数枚の画像が同じ画像サイズであれば、そのまま合成していけば良い。

しかし、レンズ交換式カメラにおいてはイメージサークルが異なるレンズへの付け替えが可能である。それ故、イメージサークルが異なるレンズを交換した場合には、そのイメージサークルに依存したＲＡＷ画像データが生成される。そのため、イメージサークルの異なるレンズを交換しながら、多重露出撮影を行うことはできなかった。

特許文献１には、多重露出撮影中にユーザがカメラの設定で画像記録サイズを変更した場合に、設定条件に応じて合成を行うことが開示されている。また、特許文献２には、多重露出撮影中にユーザがカメラの設定で画像アスペクト比を変更した場合に、画像サイズの小さいほうに合わせて合成を行うことが開示されている。

特願２００７－２２１２３７号公報 特願２０１２－１９３４３号公報

しかしながら、特許文献１、特許文献２ともに、イメージセンサから取り込んだ光信号からＲＡＷ画像を生成する時点での画像サイズは同じであり、画像処理によって記録サイズまたはアスペクト比を変更するものである。

本発明は、多重露出撮影中にイメージサークルのサイズが異なるレンズで切換えながらも、ユーザの意図した多重合成画像を得ることを可能にする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
第１のイメージセンサを有するレンズ交換可能な撮像装置であって、
前記第１のイメージセンサによる複数回の撮像を行い、得られた複数の画像を合成し合成画像を生成するための多重露出撮影を制御する制御手段を有し、
前記制御手段は、前記多重露出撮影の過程において、第１のイメージセンサよりもサイズの小さな第２のイメージセンサ用のレンズである第２のレンズが装着された状態で第１の撮像を行った後に、前記第１のイメージセンサ用のレンズである第１のレンズに交換された場合、前記交換された前記第１のレンズを介して得られたライブ映像であって、前記第１のイメージセンサに対応した画像の領域のうちの前記第２のイメージセンサのサイズに対応した領域がクロップされたライブ映像を、第２の撮像が行われる前に表示手段に表示するように制御することを特徴とする。

本発明によれば、多重露出撮影の途中でイメージサークルのサイズが異なるレンズに付け替えた場合でも、多重露出撮影を終了することなく、ユーザの意図した多重合成画像を得ることが可能になる。

実施形態における撮像装置のブロック構成図。 イメージサークルと得られる画像のサイズとの関係を示す図。 レンズ付け替え時の処理を示すフローチャート。 多重露光撮影時の処理を示すフローチャート。 画像合成処理の合成のシーケンスの一例を示す図。 画像合成処理の合成のシーケンスの一例を示す図。 画像合成処理の合成のシーケンスの一例を示す図。 画像合成処理の合成のシーケンスの一例を示す図。 多重合成処理のフローチャート。 合成位置指定処理を示すフローチャート。 合成位置指定時のＧＵＩの例を示す図。 多重合成撮影の設定ＧＵＩの例を示す図。 多重合成撮影を説明するための図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は、実施形態におけるレンズ交換可能なデジタルカメラに代表される撮像装置のブロック構成図である。実施形態における撮像装置は、撮像装置本体１００と、撮像装置本体１００に対して脱着可能なレンズユニット１８０で構成される。

撮像装置本体１００において、シャッター１２０は後述する撮像部１２２の露出量を制御する。撮像部１２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）を有する。この撮像素子の表面には、Ｒ，Ｇ，Ｂの各色成分のフィルタがベイヤ配列状に配置されている。それ故、撮像部１２２で得た直後の画像データのベイヤ配列の画素データで構成されることになる。なお、実施形態における撮像素子は、所謂、フルサイズ（３５ｍｍフィルムに相当するサイズ）であるものとする。また撮像部１２２はＡ／Ｄ変換処理機能を備えている。ＡＦ評価値検出部１２３ではデジタル画像信号から得られるコントラスト情報や視差画像から得られる位相差からＡＦ評価値を算出し、得られたＡＦ評価値を撮像部１２２からシステム制御部１５０に出力する。

画像処理部１２４は、撮像部１２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部１２４は被写体と撮像装置との距離情報を取得することができる。具体的には、画像処理装部１２４は、与えられた２つの視差画像から位相差を検出することで被写体までの距離を取得し、撮像装置から被写体までの距離情報を画素ごとに取得する。さらに、画像処理部１２４は、撮像した画像データを用いて所定の演算処理が行い、システム制御部１５０はその演算結果基づき露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部１２４はＡＦ（オートフォーカス）処理が行われるが、このとき撮像部１２２に備えるＡＦ評価値検出部１２３の出力が用いられることもある。画像処理部１２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、画像処理部１２４は、複数枚の画像を合成する処理を行い、多重画像の生成も行う。更に画像処理部１２４は、ベイヤ配列のＲＡＷ画像データをデベイヤ処理して１画素３成分の画像データへの変換、符号化、復号処理も行う。

撮像部１２２の出力データは、画像処理部１２４及びメモリ制御部１１５を介して、或いは、メモリ制御部１１５を介してメモリ１３２に直接書き込まれる。メモリ１３２は、撮像部１２２によって取得およびＡ／Ｄ変換された画像データや、表示部１２８に表示するための画像データを格納する。メモリ１３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ１３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１１３は、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。こうして、メモリ１３２に書き込まれた表示用の画像データはＤ／Ａ変換器１１３を介して表示部１２８により表示される。表示部１２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示を行う。撮像部１２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１１３においてアナログ変換し、表示部１２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。

不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。また、不揮発性メモリ１５６には、撮像装置本体１００に接続可能なレンズユニットのモデル名（識別情報）と、そのレンズユニットの特性情報を対にしたレンズテーブル１５６ａが格納されている。レンズユニットの特性情報にはイメージサークルのサイズが含まれる。

システム制御部１５０は、前述した不揮発性メモリ１５６に記録されたプログラムを実行することで、撮像装置本体１００の各処理部を統括的に制御する。１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等が展開される。

システムタイマー１５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ１６０、シャッターボタン１６１に収容された第１シャッタースイッチ１６２及び第２シャッタースイッチ１６３、操作部１７０はシステム制御部１５０に各種の動作指示を入力するための操作手段として機能する。モード切替スイッチ１６０は、システム制御部１５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード、多重露出撮影モード等がある。モード切り替えスイッチ１６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ１６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ１６２は、撮像装置本体１００に設けられたシャッターボタン１６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなって、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部１５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。

第２シャッタースイッチ１６３は、シャッターボタン１６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなって、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部１２２からの信号読み出しから記録媒体１９０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。ユーザは、表示部１２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。各種の設定可能なメニュー画面としては、多重露出撮影モードを選択した際に、記録媒体１９０に記録されている過去に撮影した画像をベース画像として選択するための画面があり、選択したベース画像に撮影した画像を合成する多重露出撮影も可能である。さらに、撮影する画像の読み出しサイズをＡＰＳ－Ｃセンサーサイズにクロップする（切り取る）かどうかを選択する画面もあり、クロップする設定にした場合、フルサイズセンサー用のレンズを装着している場合にも、ＡＰＳ－Ｃセンサーサイズで撮影できる。

電源制御部１４１は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１４１は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１９０を含む各部へ供給する。

電源部１４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１１８は、メモリカードやハードディスク等の記録媒体１９０とのインターフェースである。記録媒体１９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

コネクタ１７１は、撮像装置本体１００をレンズユニット１８０と電気的に接続する。コネクタ１７１は、撮像装置本体１００とレンズユニット１８０との間で制御信号、状態信号、データ信号などを伝え合うとともに、各種電圧の電流を供給する機能も備えている。また、コネクタ１７１にレンズユニット１８０が装着されているか否かは、レンズ着脱検知部１５４により検知される。

次に、レンズユニット１８０の構成について説明する。撮像レンズ１８１は、光軸方向に移動することでピントの調整を行うフォーカスレンズやズーミングを行うズームレンズを含む複数のレンズにより構成される。また、絞り１８２は撮像装置本体１００の撮像部１２２への光量を調節する。レンズ制御部１８３は撮像装置本体１００のシステム制御回路１５０からの制御信号に応じて、レンズユニット１８０全体を制御し、撮像レンズ１８１のフォーカスレンズやズームレンズおよび絞り１８２の駆動制御も行う。また、レンズ制御部１８３は、動作用の定数や変数およびプログラムなどを記憶するメモリを備える。さらに、レンズ制御部１８３は、レンズユニット１８０固有のモデル名や製造番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離、歪曲収差等の収差量などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。コネクタ１８４は、レンズユニット１８０を撮像装置本体１００と電気的に接続する。コネクタ１８４は、撮像装置本体１００とレンズユニット１８０との間で制御信号、状態信号、データ信号などを伝え合うとともに、各種電圧の電流を供給される機能も備えている。

［第１の実施形態］
図１２、図１３を用いて多重露出撮影の基本的な動作を説明する。図１２は、表示部１２８に表示される、多重露出撮影に関する設定メニュー画面であり、図１３は、多重露出撮影（複数回の撮像画像から１枚の合成画像）を説明するための図である。

ユーザが操作部１７０のメニューボタンを押下すると各種設定に関するメニュー画面が表示される。ユーザは、操作部１７０の上下左右ボタンを操作して、多重露出撮影に関する設定の項目を選択すると、表示部１２８には図１２に示す多重露出撮影のサブメニュー画面１２００が表示され、多重露出撮影に関する設定を変更することができる。

多重露出撮影メニュー画面１２００は、設定項目１２０１～１２０４と、基準画像の選択を行うボタン１２０５を含む。このうち、設定項目１２０１は、多重露出撮影を行うか否かを選択する設定項目であり、「する」・「しない」からいずれかを選択する。「する」を選択した上で、メニューを抜け撮影に復帰すると多重露出撮影モードとなる。

設定項目１２０２は、多重露出撮影時の露出の重ね合わせ方を選択する設定項目であり、ユーザは、「加算」・「加算平均」・「比較（明）」・「比較（暗）」から、いずれか１つを選択できる。「加算」では、合成する複数の画像の輝度を単純に加算する。「加算平均」では、合成する複数の画像の輝度を、後述する重ねる枚数分の平均となるように加算する。「比較（明）」では、合成する画像の輝度を比較して明るい部分を残し、逆に「比較（暗）」では、暗い部分を残すように重ね合わせる。

設定項目１２０３は、多重露出撮影において合成する画像の枚数を選択する設定項目であり、ユーザは重ね合わせる枚数を指定できる。多重露出撮影モードでは、設定した枚数撮影し合成画像が記録されたら多重撮影モードから、通常のスナップモードに復帰する。

設定項目１２０４は、多重露出撮影において記録媒体１９０に記録する画像を選択する設定項目であり、ユーザは「全画像」・「多重画像のみ」のいずれかを選択できる。「全画像」が選択されや場合、重ね合わせる元となった複数の画像と、多重露出合成画像の両方が記録媒体１９０に記録される。「多重画像のみ」が選択された場合、多重露出合成画像のみが記録媒体１９０に記録され、多重画像の元になった個々の撮像画像は記録されない。

ユーザがボタン１２０５を押下した場合、記録媒体１１９０に既に格納された画像ファイルを１つ選択し、多重露出合成画像を生成し、記録することになる。なお、ユーザが、設定項目１２０３に“５”を設定し、ユーザがボタン１２０５を押下して既に記録された１つの画像ファイルを選択した場合、選択した画像ファイルが表す画像を最初の画像（１枚目の画像）とし、残り４枚を、これ以降に撮像される画像として、多重露出画像が生成されることになる。

なお、選択する画像ファイルの個数を２以上できるようにしても構わない。この場合、例えば２つ選択した場合には、その選択した２つのファイルが示す２つの画像と、これから撮像される３枚の画像とから、多重露出画像が生成すれば良い。

図１３（ａ）の参照符号１３０１は多重露出撮影モードでの１枚目の撮影画像、同図（ｂ）の参照符号１３０２は２枚目の撮影画像である。そして、同図（ｃ）の参照符号１３０３が２枚目の撮影が終わった時点での多重露出合成画像である。

図２を参照して、撮像部１２２に搭載されたイメージセンサと、装着されたレンズによるイメージサークルとの関係を説明する。

図２（ａ）に示す如く、イメージサークルがイメージセンサ面よりも大きい場合（フルサイズ用のレンズの場合）、イメージセンサ全体を用いた撮像画像（ベイヤ配列のＲＡＷ画像データ）が得られる。

一方、図２（ｂ）の如く、ＡＰＳ－Ｃ用のレンズユニットの場合、イメージサークルはイメージセンサ面以下となる。それ故、このイメージサークルに内接する矩形範囲２００を撮像範囲としなければならない。つまり、図２（ｂ）のようにイメージサークルがイメージセンサ面以下の場合には、撮像画像のサイズを同図（ａ）の場合の撮像画像のサイズよりも小さくしなければならない。

システム制御部１５０は、レンズ脱着検知部１５４からの信号に基づき、レンズユニット１８０の装着を検出したタイミングや電源投入後の初期化処理するタイミングにて、装着されたレンズユニット１８０から識別情報（モデル名等）を受信する。そして、システム制御部１５０は、受信した識別情報をキーにしてレンズテーブル１５６ａを検索し、装着したレンズユニットのイメージサークルを取得する。そして、システム制御部１５０は、取得したイメージサークルから、図２（ａ）、（ｂ）のいずれの状態であるかを判定する。図２（ａ）の状態の場合、システム制御部１５０は、イメージセンサ全域を用いた撮像画像を取得するように画像処理部１２４に設定する。また、図２（ｂ）の状態である場合、システム制御部１５０は、イメージセンサ内の領域２００内の画像を撮像画像として取得するように画像処理部１２４に設定する。

図３は、レンズ脱着検知部１５４からのレンズ装着の検知信号を受信した場合のシステム制御部１５０の処理を示すフローチャートである。

Ｓ３０１にて、システム制御部１６０は、コネクタ１７１を介して、レンズ制御部３０３と通信を行う。Ｓ３０２にて、システム制御部１６０は、レンズのモデル名等の識別情報を取得する。そして、Ｓ３０３にて、システム制御部１６０は、レンズテーブル１５６ａを参照して、装着されたレンズユニットのイメージサークルを取得し、そのイメージサークルと撮像部１２２が有するイメージセンサとの大小判定を行う。

Ｓ３０３にて、システム制御部１５０はイメージサークルがイメージセンサより大きいと判定した場合、処理をＳ３０４に進める。このＳ３０４にて、システム制御部１５０は、撮影のＲＡＷサイズを「大」と判定する。一方、システム制御部１５０は、イメージサークルがイメージセンサのサイズ以下と判定した場合、処理をＳ３０５に進める。このＳ３０５にて、システム制御部１５０は、撮影のＲＡＷサイズを「小」と判定する。そして、Ｓ３０６にて、システム制御部１５０は、決定したサイズに基づき、画像処理部１２４に対して撮像部１２２から取得する際のベイヤ配列のＲＡＷ画像のサイズ（実施形態ではイメージセンサ全域か、領域２００か）を設定する。

図４は、第１の実施形態の特徴となる画像処理部１２４における多重合成処理の流れを示したフローチャートである。ユーザがモード切替スイッチ１６０で多重露出撮影モードを選択した場合やメニュー設定により多重露出撮影を選択した場合に、システム制御部１５０は多重露出撮影モードに入り、図４に示すフローチャートに従って多重露出撮影処理を行う。なお、図４の各ステップの処理は、システム制御部１５０が、不揮発性メモリ１５６から読み出した所定のプログラムをシステムメモリ１５２上に展開、実行して、撮像装置本体１００を構成する各部の動作や処理を制御することによって実現される。また、なお、多重露出に関する、ユーザによる各種設定（合成する画像の枚数や合成画像ファイルの指定等）は既に行われ、設定された情報がシステムメモリ１５２に格納されているものとする。なお、特に変更しない限り、前回の多重露出撮影時の合成枚数を今回の合成枚数とするようにしても構わない。この場合、合成枚数は不揮発性メモリ１５６に保持するようにすれば良い。

Ｓ４０１にて、システム制御部１５０は、システムメモリ１５２または不揮発性メモリ１５６から、多重露出撮影モードにおける多重合成枚数Ｎを取得する。次に、Ｓ４０２にて、システム制御部１５０は、多重露出撮影の最初のベース画像として、ユーザが記録媒体１９０に記録された画像ファイルを利用することを設定しているか否かを判定する。システム制御部１５０は、ベース画像の選択がなされていない場合と判定した場合（Ｓ４０２でＮｏ）には処理をＳ４０３に進め、ベース画像の選択がされていると判定した場合には処理をＳ４０４に進める。

Ｓ４０３にて、システム制御部１５０は、撮影枚数を表す変数ｎを“０”で初期化し、処理をＳ４０５に進める。また、Ｓ４０４にて、システム制御部１５０は変数ｎを“１”で初期化し、処理をＳ４０５に進める。

Ｓ４０５にて、システム制御部１５０は、レンズ着脱検知部８２により新たにレンズが装着されたか否か（再装着されたか否か）を判定する。レンズユニットの再装着は、例えば装着していたレンズを一度取り外してまた装着する場合や、装着していたレンズとは異なるレンズに交換する場合が含まれる。システム制御部１５０は、新たにレンズが装着されたと判定された場合（Ｓ４０５でＹＥＳ）、処理をＳ４０６へ進め、前回の撮影した際の利用したレンズのままで脱着がなかったと判断した場合（Ｓ４０５でＮＯ）、処理をＳ４０８へ進める。

Ｓ４０６にて、システム制御部１５０は、現在装着されているレンズのイメージサークルが合成元画像データを撮像した際に利用したレンズのイメージサークルと異なるか否かを判定する。

具体的には、システム制御部１５０は、コネクタ１７１を通して、装着中のレンズユニット１８０と通信し、モデル名等の識別情報を取得できる。そして、システム制御部１５０は、取得した識別情報を用いて、不揮発性メモリ１５６内のレンズテーブル１５６ａを検索することで、装着中のレンズユニットのイメージサークルを取得できる。よって、システム制御部１５０は、レンズユニット再装着以前に撮影した際に利用したレンズユニットのイメージサークル（不揮発性メモリ１５６の所定アドレスに格納しているものとする）と、再装着後の点図ユニットのイメージサークルとを比較することで、Ｓ４０６の判定処理を行う。

なお、装着されたレンズに応じて、撮像部１２２から読み出し記録する画像のサイズを切り替える構成の場合には、撮像部１２２から読み出す画像のサイズで判定するようにしてもよい。さらに、撮像部１２２から読み出した画像を画像処理部１２４で画像処理することにより、画像の周辺部のケラレの量を検出し、判定するようにしてもよい。

さて、システム制御部１５０は、現在装着されているレンズのイメージサークルが、合成元画像データを撮像した際に利用したレンズのイメージサークルと異なると判定した場合（Ｓ４０６でＹＥＳ）、処理をＳ４０７に進め、同じであると判定した場合（Ｓ４０６でＮＯ）、処理をＳ４０８に進める。

Ｓ４０７にて、システム制御部１５０は合成位置指定処理を行い（詳細後述）、処理をＳ４０８に進める。

Ｓ４０８にて、システム制御部１５０は、第２シャッタースイッチ１６３がオンしたか否か（第２シャッタースイッチ信号ＳＷ２が発生したか否か）を判定する。システム制御部１５０は、第２シャッタースイッチ１６３がオンしていないと判定した場合（Ｓ４０８でＮＯ）、処理をＳ４０５へ戻し、第２シャッタースイッチ１６３がオンしたと判定した場合（Ｓ４０８でＹＥＳ）、処理をＳ４０９へ進める。

Ｓ４０９にて、システム制御部１５０は、撮像部１２２による静止画フレームのキャプチャを行わせることで画像データを取得し、その画像データをメモリ１３２に記憶する。そして、Ｓ４１０にて、システム制御部１５９は変数ｎの値を“１”増加させる。Ｓ４１１にて、システム制御部１５０は、変数ｎの値が１より大きいか否か。つまり、キャプチャした画像が２枚目以降であって、合成処理の対象画像データが既に存在するか否かを判定する。システム制御部１５０は、変数ｎが“１”以下であると判定した場合（Ｓ４１１でＮＯ）、処理をＳ４０５へ戻し、変数ｎの値が“１”より大きいと判定した場合（Ｓ４１１でＹＥＳ）。処理をＳ４１２に進める。

Ｓ４１２にて、システム制御部１５０は、画像処理部１２４を制御し、Ｓ４０９にて今回キャプチャされメモリ１３２に記憶されている着目画像データと、合成元画像データとを合成し、新たな合成画像データを生成し、メモリ１３２に記憶する。

ここで、変数ｎの値が“２”の場合、直近のＳ４０９で得た着目画像は２枚目であることになる。従って、システム制御部１５０は、その２枚目の着目画像と１枚目の画像と合成して得た合成画像をメモリ１３２に格納する。また、変数ｎの値が“２”より大きい場合、着目画像は３枚目以降の画像であることになる。よって、この場合、システム制御部１５０は、直近のＳ４０９で得た着目画像を、前回の合成画像と合成して、新たな合成画像を生成し、メモリ１３２に格納する。

Ｓ４１３にて、システム制御部１５０は、変数ｎの値が“Ｎ”とを比較する。つまり、システム制御部１５０は、多重露出撮影枚数が設定枚数に到達したか否かを判定する。システム制御部１５０が、変数ｎの値が“Ｎ”未満であると判定した場合（Ｓ４１３でＮＯ）、処理をＳ４０５へ戻す。また、システム制御部１５０は、変数ｎの値が“Ｎ”と同じであると判定した場合（Ｓ４１３でＹＥＳ）、処理をＳ４１４へ進める。

Ｓ４１４にて、システム制御部１５０は、画像処理部１２４を制御して、Ｓ４１２で生成した合成画像データに対して、現像処理、すなわちホワイトバランス調整、画素補間等の処理を施し、ＹＵＶデータに変換し、メモリ１３２に書き込む。そして、Ｓ４１５にて、システム制御部１５０は、画像処理部１２４を制御し、Ｓ４１４で生成した現像後の合成画像データをＪＰＥＧ形式の静止画像データに圧縮符号化し、メモリ１３２に書き込む。そして、Ｓ４１６にて、システム制御部１５０は、Ｓ４１５で圧縮符号化されたＪＰＥＧ形式の静止画像データを、記録媒体Ｉ／Ｆ１１８を介して記録媒体１９０に記録し、一連の多重露出撮影を終了する。

次に図１０を参照し、Ｓ４０７の合成位置指定処理を説明する。

Ｓ１００１にて、システム制御部１５０は、合成処理する２枚の画像の撮影時イメージサークルが同じであるかを判定する。システム制御部１５０は、イメージサークルが同じであると判定した場合、または、合成元画像データと合成画像データが揃っていない（撮影枚数が２未満）場合、合成位置指定処理は実施せず終了する。また、システム制御部１５０は、合成する２枚の画像を撮影時のイメージサークルが同じではないと判定した場合（Ｓ１００１でＮＯ）、処理をＳ１００２に進める。

Ｓ１００２にて、システム制御部１５０は、表示部１２８を制御し、合成位置指定画面を表示させ、操作部１７０を介したユーザからの操作を受け付ける。

説明を単純化するため、合成元画像データ（１枚目の画像データ、もしくは直近のＳ４１２の合成処理で得た合成画像データ）のイメージサークルが、現在装着されているレンズユニットのイメージサークルよりも小さい場合を説明する。

図１１（ａ）は、かかる状態における合成制位置指定画面の初期画面である。システム制御部１５０は、表示部１２８における領域１１０１の全域に、現在装着されているレンズユニットを介して得たライブ映像を表示する。そして、システム制御部１５０は、合成元画像を領域１１０２に、且つ、領域１１０２がユーザの操作に応じて移動可能に表示する。ユーザから見れば、ライブ映像が示す画像内に、直近の合成処理で得た合成画像が移動可能に表示されるように見えることになる。そして、システム制御部１５０は、ユーザによる操作部１７０の操作に応じて、領域１１０２を領域１１０１内で移動する。そして、システム制御部１５０は、ユーザから操作部１７０を介して位置の決定指示を受信すると、領域１１０２の位置を確定する。つまり、システム制御部１５０は、合成元画像と合成画像とを相対位置を決定する。

なお、合成元画像のイメージサークルが、現在装着されているレンズユニットのイメージサークルよりも大きい場合、システム制御部１５０は、合成元画像を領域１１０１の全域に表示し、ライブ映像を領域１１０２内に表示することになる。そして、ユーザは領域１１０２の位置の操作と決定指示を行う点は上記と同じである。ユーザにとって異なると感じるのは、位置決め対象がライブ映像となった点である。

Ｓ１００３にて、システム制御部１５０は、領域１１０１が表すイメージサークルの画像のサイズ（フルサイズ）、又は、領域１１０２が表すイメージサークルが小さい方の画像のサイズのいずれを最終合成サイズとするかの選択をユーザに促す。そして、システム制御部１５０は、操作部１７０を介してユーザからの選択指示を待つ。

Ｓ１００４にて、システム制御部１５０は、ユーザが選択した最終合成サイズがフルサイズであるか否かを判定する。システム制御部１５０は、ユーザが選択した最終合成サイズがフルサイズであると判定した場合（Ｓ１００４がＹＥＳ）、処理をＳ１００６に進める。一方、システム制御部１５０は、ユーザが選択した最終合成サイズが非フルサイズであると判定した場合（Ｓ１００４がＮＯ）、処理をＳ１００５に進める。

Ｓ１００６にて、システム制御部１５０は、これ以降、第２シャッタースイッチ１６３がオンとなるまでの期間、表示部１２８の表示状態を図１１（ａ）の状態を維持する。

Ｓ１００５にて、システム制御部１５０は、これ以降、第２シャッタースイッチ１６３がオンとなるまでの期間、イメージサークルの小さい方の領域のライブの合成画像を表示部１２８の領域１１０１の全域に表示する。つまり、図１１（ｂ）に示すように、現在装着されているレンズユニットがフルサイズのイメージセンサ用のレンズユニットであっても、イメージサークルの小さい場合と同様にクロップして得た合成画像を領域１１０１に表示する。簡単には、図１１（ａ）の領域１１０２内の画像が、拡大されて領域１１０１の全域に拡大されて表示されると考えると分かりやすい。

Ｓ１００７にて、システム制御部１５０は、上記のようにして決定した合成位置を示す情報、及び、最終合成サイズで合成すべく、画像処理部１２４に設定する。この結果、図４に示すフローチャートにおけるＳ４１２にて、システム制御部１５０はかかる設定の下で画像処理部１２４による合成処理を行わせることになる。当然、Ｓ４１２で得られる合成画像は、フルサイズの画像か、ＡＰＳ－Ｃサイズの画像のいずれかとなる。

次に、Ｓ４０７の合成位置指定処理を経た、画像処理部１２４による４枚の画像の合成処理の例を、図５乃至図８を参照して説明する。

図５は、イメージサークルの小さいレンズ（ＡＰＳ用レンズ）を用いて１、２枚目が撮像され、イメージサークルの大きいレンズ（フルサイズ用レンズ）を用いて３、４枚目が撮像され、且つ、ユーザが指定した最終合成画像のサイズがイメージサークルの小さい画像のサイズとした例である。

画像処理部１２４は、１枚目、及び、２枚目の画像を撮像した際、フルサイズの画像からＡＰＳのイメージサークルに対応する領域をクロップすることで画像５０１、５０２を得る。画像５０１と画像５０２は、共にイメージサークルの小さいレンズで撮影された画像（クロップ画像）であるので、ユーザによる合成位置の指定は行われない。画像処理部１２４は単純にこれら２つの画像５０１、５０２を合成し、合成画像５１１（クロップ画像）を生成する。３枚目はイメージサークルが大きいレンズであるが、ユーザは最終合成画像のサイズとしてイメージサイズの小さい方を選択している。故に、画像処理部１２４は、フルサイズの画像からクロップした画像を３枚目の画像５０３として取得することになる。そして、画像処理部１２４は、合成画像５１１と画像５０３を合成し、新たな合成画像５１２（クロップ画像）を生成する。なお、この際の３枚目の撮像で得たフルサイズ画像からクロップする画像５０３の位置は、ユーザが指定することになる。そして、４枚目はイメージサークルが大きいレンズであるが、ユーザは最終合成画像のサイズとしてイメージサイズの小さい方を選択している。故に、画像処理部１２４は、フルサイズの画像からクロップした画像を４枚目の画像５０４として取得する。そして、画像処理部１２４は、合成画像５１２と画像５０４を合成し、最終合成画像５１３（クロップ画像）を生成する。なお、この際の４枚目の撮像で得たフルサイズ画像からクロップする画像５０４の位置もユーザが指定することになる。

図６は、イメージサークルの大きいレンズ（フルサイズ用レンズ）を用いて１、２枚目が撮像され、イメージサークルの小さいレンズ（ＡＰＳ用レンズ）を用いて３、４枚目が撮像され、且つ、ユーザが指定した最終合成画像のサイズがイメージサークルの小さい画像のサイズとした例である。

画像６０１、６０２は共にイメージサークルが大きいレンズを用いて撮像して得られた、フルサイズの画像データであるので、これらを合成する際にユーザによる合成位置の指定は行われない。画像処理部１２４は単純にこれら２つの画像６０１、６０２を合成し、合成画像６１１（フルサイズ画像）を生成する。３枚目はイメージサークルが小さいレンズであるので、画像処理部１２４が撮像部１２２で得たフルサイズの画像からクロップすることで、画像６０３を生成する。ユーザは最終合成画像のサイズとしてイメージサイズの小さい方を選択している。故に、画像処理部１２４は、合成画像６１１（フルサイズ画像）と画像６０３（クロップ画像）とを合成し、合成画像６１２（クロップ画像）を生成する。なお、合成画像６１１に対する画像６０３の合成位置はユーザが指定することになる。そして、４枚目はイメージサークルが小さいレンズであるので、画像処理部１２４は撮像部１２２で得たフルサイズの画像からクロップすることで画像６０４を生成する。ユーザは最終合成画像のサイズとしてイメージサイズの小さい方を選択している。故に、画像処理部１２４は、合成画像６１２（クロップ画像）と、４枚目の画像６０４（クロップ画像）とを合成して、最終的な合成画像６１３（クロップ画像）を生成する。なお、合成画像６１２、画像６０４は共にクロップ画像であるので、ユーザによる位置指定は行われない。

図７は、イメージサークルの小さいレンズ（ＡＰＳ用レンズ）を用いて１、２枚目が撮像され、イメージサークルの大きいレンズ（フルサイズ用レンズ）を用いて３、４枚目が撮像され、且つ、ユーザが指定した最終合成画像のサイズがイメージサークルの大きい画像のサイズとした例である。

画像処理部１２４は、１枚目、及び、２枚目の画像を撮像した際、フルサイズの画像からＡＰＳのイメージサークルに対応する領域をクロップすることで画像７０１、７０２を得る。画像７０１と画像７０２は、共にイメージサークルの小さいレンズで撮影された画像（クロップ画像）であるので、ユーザによる合成位置の指定は行われない。画像処理部１２４は単純にこれら２つの画像７０１、７０２を合成し、合成画像７１１（クロップ画像）を生成する。３枚目はイメージサークルが大きいレンズであるが、ユーザは最終合成画像のサイズとしてイメージサイズの大きい方を選択している。故に、画像処理部１２４は、合成画像７１１（クロップ画像）とフルサイズの画像７０３とを合成し、フルサイズの合成画像７１２を得る。なお、この際の３枚目の撮像で得たフルサイズ画像７０３に対する合成画像７１１の合成位置は、ユーザが指定することになる。そして、４枚目はイメージサークルが大きいレンズであるが、ユーザは最終合成画像のサイズとしてイメージサイズの大きい方を選択している。故に、画像処理部１２４は、フルサイズの合成画像７１２と４枚目のフルサイズの画像７０４とを合成し、最終合成画像７１３（フルサイズ画像）を生成する。なお、合成画像７１２、画像７０４は共にフルサイズ画像であるので、ユーザによる位置指定は行われない。

図８は、イメージサークルの大きいレンズ（フルサイズ用レンズ）を用いて１、２枚目が撮像され、イメージサークルの小さいレンズ（ＡＰＳ用レンズ）を用いて３、４枚目が撮像され、且つ、ユーザが指定した最終合成画像のサイズがイメージサークルの大きい画像のサイズとした例である。

画像８０１、８０２は共にイメージサークルが大きいレンズを用いて撮像して得られた、フルサイズの画像データであるので、これらを合成する際にユーザによる合成位置の指定は行われない。画像処理部１２４は単純にこれら２つの画像８０１、８０２を合成し、合成画像８１１（フルサイズ画像）を生成する。３枚目はイメージサークルが小さいレンズであるので、画像処理部１２４が撮像部１２２で得たフルサイズの画像からクロップすることで、画像８０３を生成する。ユーザは最終合成画像のサイズとしてイメージサイズの大きい方を選択している。故に、画像処理部１２４は、合成画像８１１（フルサイズ画像）と画像８０３（クロップ画像）とを合成し、合成画像８１２（フルサイズ画像）を生成する。なお、合成画像８１１に対する画像８０３の合成位置はユーザが指定することになる。そして、４枚目はイメージサークルが小さいレンズであるので、画像処理部１２４は撮像部１２２で得たフルサイズの画像からクロップすることで画像８０４を生成する。ユーザは最終合成画像のサイズとしてイメージサイズの大きい方を選択している。故に、画像処理部１２４は、合成画像８１２（フルサイズ画像）と、４枚目の画像８０４（クロップ画像）とを合成して、最終的な合成画像８１３（フルサイズ画像）を生成する。なお、合成画像８１２に対する画像８０４の合成する位置はユーザが位置することになる。

次に実施形態における画像処理部１２４の多重合成処理を図９を参照して説明する。この多重化処理は、図４のＳ４１２における処理である。

Ｓ９０１にて、画像処理部１２４は、合成元画像と、Ｓ４０９で得た撮影画像のＲＡＷのサイズが一致しているかを判定する。画像処理部１２４は、一致していると判定した場合（Ｓ９０１でＹＥＳ）、処理をＳ９０７に進め、不一致であると判定した場合（Ｓ９０１でＮＯ）、処理をＳ９０２に進める。

Ｓ９０２にて、画像処理部１２４は、メニュー設定により、多重露出撮影の合成方式として比較合成が選択されているかを判定する。画像処理部１２４は、多重露出撮影の合成方式として比較合成が選択されていると判定した場合（Ｓ９０２でＹＥＳ）、処理をＳ９０３に進め、比較合成が選択されていないと判定した場合（Ｓ９０２でＮＯ）、処理をＳ９０４に進める。

Ｓ９０３にて、画像処理部１２４はクロップしたＲＡＷ画像データの領域外では、フルサイズの画像の画素値が１００％維持されるものとして設定し、処理をＳ９０７に進める。

Ｓ９０４にて、画像処理部１２４は、メニュー設定により比較合成で明暗のどちらが選択されているかを判定する。画像処理部１２４は、比較明合成が選択されていると判定した場合（Ｓ９０４でＹＥＳ）、処理をＳ９０６に進め、比較明合成が選択されていないと判定した場合（Ｓ９０４でＮＯ）、処理をＳ９０５に進める。

Ｓ９０６にて、画像処理部１２４は、クロップしたＲＡＷ画像の領域外を黒領域（各成分とも最低輝度）とするように設定し、処理をＳ９０７に進める。Ｓ９０５にて、画像処理部１２４は、クロップしたＲＡＷ画像の領域外を白領域（各成分とも最高輝度）とするように設定し、処理をＳ９０７に進める。

Ｓ９０７にて、画像処理部１２４は、Ｓ９０３、Ｓ９０５、Ｓ９０６で設定された条件に従い、並びに、ユーザによる合成位置が指定されている場合にはその指定位置での合成処理を行い、合成後の画像データをメモリ１３２に格納する。

以上説明したように本実施形態によれば、レンズ脱着が可能なカメラで、イメージサークルの大きさが異なるレンズを付け替えられても多重露出撮影を継続することが可能で、さらに、ユーザが望んだ画像位置で合成を行うことが可能となる。

なお、上記実施形態では、多重露出撮影時に、表示部１２８には、少なくともライブ画像を表示するものとしたが、合成処理する際の位置合わせのときのみ２つの画像を合成表示するようにしても良い。また、上記実施形態では、異なるイメージサークルの画像を合成する都度、ユーザが最終合成画像のサイズを選択するものとしたが、例えば、図１２の多重露出撮影のための設定処理項目に最終合成サイズを設け、この設定のタイミングで決定しても良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (9)

1. 第１のイメージセンサを有するレンズ交換可能な撮像装置であって、
   前記第１のイメージセンサによる複数回の撮像を行い、得られた複数の画像を合成し合成画像を生成するための多重露出撮影を制御する制御手段を有し、
   前記制御手段は、前記多重露出撮影の過程において、第１のイメージセンサよりもサイズの小さな第２のイメージセンサ用のレンズである第２のレンズが装着された状態で第１の撮像を行った後に、前記第１のイメージセンサ用のレンズである第１のレンズに交換された場合、前記交換された前記第１のレンズを介して得られたライブ映像であって、前記第１のイメージセンサに対応した画像の領域のうちの前記第２のイメージセンサのサイズに対応した領域がクロップされたライブ映像を、第２の撮像が行われる前に表示手段に表示するように制御することを特徴とする撮像装置。
2. 前記制御手段は、前記ライブ映像を、前記第１の撮像の結果得られた第１の画像と合成して表示するよう制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記ライブ映像の表示中に前記第２の撮像を行うことを可能とし、
   前記第１の撮像の結果得られた第１の画像と、前記第２の撮像の結果得られた第２の画像とに基づき、前記第１のイメージセンサに対応した画像の領域のうち、前記第２のイメージセンサのサイズに対応した領域がクロップされた前記合成画像を生成し、生成した前記合成画像を静止画ファイルとして記録媒体に記録することを特徴とする請求項１に記載の撮像装置。
4. 前記第１のイメージセンサ用のレンズは、前記第２のイメージセンサ用のレンズよりもイメージサークルが大きいことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１のイメージセンサはフルサイズセンサであり、前記第２のイメージセンサはAPS-Cサイズセンサであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記合成される複数の画像は、それぞれユーザによる撮像指示の操作が行われたことに応じて得られることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記ライブ映像において、前記第１のイメージセンサに対応した画像の領域のうち、第２のイメージセンサのサイズに対応した領域としてクロップする位置をユーザ操作に基づき設定可能であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 第１のイメージセンサを有するレンズ交換可能な撮像装置の制御方法であって、
   前記第１のイメージセンサによる複数回の撮像を行い、得られた複数の画像を合成し合成画像を生成するための多重露出撮影を制御する制御工程と、を有し、
   前記制御工程は、前記多重露出撮影の過程において、第１のイメージセンサよりもサイズの小さな第２のイメージセンサ用のレンズである第２のレンズが装着された状態で第１の撮像を行った後に、前記第１のイメージセンサ用のレンズである第１のレンズに交換された場合、前記交換された前記第１のレンズを介して得られたライブ映像であって、前記第１のイメージセンサに対応した画像の領域のうちの前記第２のイメージセンサのサイズに対応した領域がクロップされたライブ映像を、第２の撮像が行われる前に表示手段に表示するように制御することを特徴とする撮像装置の制御方法。
9. 第１のイメージセンサを有するレンズ交換可能な撮像装置を、請求項１乃至７のいずれか１項に記載の撮像装置における制御手段として機能させるためのプログラム。

Images