JP6810298B2 - 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置 - Google Patents

Description

本発明は画像位置合わせ補助装置、方法及びプログラム並びに撮像装置に係り、特に複数枚の画像を位置合わせして合成する場合に適用される技術に関する。

デジタルカメラなどの撮像装置で撮像された、撮像条件が異なる複数枚の画像を合成し、画質を向上させた合成画像を生成する技術が知られている。

例えば、露出の異なる複数枚の画像を合成してダイナミックレンジを広げるハイダイナミックレンジ合成（ＨＤＲ（High-dynamic-range rendering）合成）や、合焦距離の異なる複数枚の画像を合成して画像全体に焦点が合っているような画像にする深度合成などである。

このような合成に使用する撮像条件が異なる複数枚の画像を、三脚等で固定されていない撮像装置により取得しようとすると、複数枚の画像間に位置ずれが発生するため、画像間の位置ずれを補正する必要がある。

画像間の位置ずれを補正（画像位置合わせ）する方法としては、ＫＬＴ（Kanade-Lucas-Tomasi Feature Tracker）法等の、画像の中で特徴点を探索追跡し、そのずれ量を計算することで補正を行う方法がある。

従来、この種の複数枚の画像を位置合わせして合成する技術として、特許文献１、２に記載のものがある。

特許文献１に記載の一の発明は、複数の画像を１枚の画像に重ね合わせ合成する場合に、各画像間の相対的な変位を求め、求めた変位の信頼性に基づいて重ね合わせ合成に用いる複数の画像を選択し、選択した複数の画像を画像間の相対的な変位により位置合わせして合成する。

特許文献１に記載の他の発明は、重ね合わせ合成に用いる複数の画像を、変位の信頼性に基づいて選択する代わりに、画像間の相対的な変位の検出精度が低い（信頼性が低い）画像間の変位を、その画像間以外の画像間の変位により置き換え、各画像間の相対的な変位及び置き換えられた変位に基づいて、被写体が合致するように複数の画像を位置合わせして合成する。

また、特許文献２に記載の発明は、フォーカス位置順に並んだ異なるフォーカス位置で撮像されたＮ（Ｎは３以上の整数）枚の画像を、隣接する２枚の画像のうち少なくとも１枚は特徴点抽出画像となるようＮ／２枚の画像を特徴点抽出画像に設定し、特徴点抽出画像から抽出した特徴点に対応する対応点を他の画像から探索し、特徴点と対応点の位置関係からＮ枚の画像の対応する位置を一致させる補正パラメータを算出し、Ｎ枚の画像のうち最も画角の狭い画像を基準に他の画像を補正する。

特開２００７−２７２４５９号公報 特開２０１５−０９９９７５号公報

特許文献１に記載の一の発明は、各画像間の相対的な変位の信頼性に基づいて重ね合わせ合成に用いる複数の画像を選択するため、選択されない画像（各画像間の相対的な変位の信頼性が低い画像）を重ね合わせ合成に使用することができないという問題がある。

特許文献１には、露光量を変化させた画像を複数取得し、それらの信号を合成することによって、所謂白とびや黒つぶれを回避し、実質的なダイナミックレンジ拡大を行う従来技術が開示されているが、特許文献１の発明の詳細な説明には、複数の画像がどのように撮像された画像であるかが記載されていない。仮に複数の画像が露出を異ならせて撮像された画像の場合、特許文献１に記載の一の発明は、選択されない画像のために所期のダイナミックレンジ拡大を図ることができないという問題が発生する。

また、特許文献１の他の発明では、画像間の相対的な変位の検出精度が低い（信頼性が低い）画像間の変位を、その画像間以外の画像間の変位により置き換えているが、例えば、ある画像間の移動ベクトルの信頼性が低い場合（共通する特徴点の検出間違いまたは誤差に起因する移動ベクトルの同定の精度が低い場合）、他の画像と間で求めた移動ベクトルに置き換えても移動ベクトルの信頼性を高くすることは困難である。なぜならば、ある画像間の移動ベクトルを算出する際に、各画像間で共通する特徴点の検出に誤差があると、同じ特徴点は他の画像の特徴点との間でも誤差があるものとなり、他の画像を経由して求めた移動ベクトルも検出精度が低いものとなるからである。

また、特許文献２に記載の発明は、フォーカス位置順に並んだ異なるフォーカス位置で撮像されたＮ枚の画像のうちの特徴点を抽出する特徴点抽出画像と、特徴点抽出画像から抽出した特徴点に対応する対応点を探索する他の画像との設定方法を特徴の一つとしているが、少なくともフォーカス位置順に並んだ隣接する画像間では、特徴点とそれに対応する対応点とを抽出することができることが前提になっている。

したがって、ある特徴点画像と、それに隣接する対応点を探索する画像との間で、ペアとなる特徴点と対応点とに誤差ある場合、あるいは対応点の探索が困難な場合には、複数の画像の位置合わせの精度が低下するという問題がある。

本発明はこのような事情に鑑みてなされたもので、複数枚の画像を位置合わせして合成する場合に、精度よく位置合わせすることができ、かつ所望の合成画像の生成が可能な複数枚の画像を取得することができる画像位置合わせ補助装置、方法及びプログラム並びに撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像位置合わせ補助装置は、段階的に異なる複数の条件から成る段階的な第１撮像条件によって撮像された複数枚の第１画像を取得する画像取得部と、取得した複数枚の第１画像が合成画像の位置合わせに必要な位置合わせ条件を満たしているか否かを、複数枚の第１画像のうちの段階的な第１撮像条件が隣接する２枚の第１画像の間において判定する判定部と、判定部により２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、２枚の第１画像の第１撮像条件に基づいて２枚の第１画像の２つの第１撮像条件を内分する第２撮像条件を算出する撮像条件算出部と、を備え、画像取得部は、判定部により２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、複数枚の第１画像及び第２撮像条件によって撮像された第２画像を取得する。

本発明の一の態様によれば、複数枚の第１画像が合成画像の位置合わせに必要な位置合わせ条件を満たしているか否かを判定し、位置合わせ条件が満たされていないと判定された２枚の第１画像の間において、２枚の第１画像の第１撮像条件に基づいて２枚の第１画像の２つの第１撮像条件を内分する第２撮像条件を算出し、複数枚の第１画像に加えて、第２撮像条件で撮像された第２画像を取得する。これにより、精度よく位置合わせすることができ、かつ所望の合成画像の生成が可能な複数枚の画像を取得することができる。

本発明の他の態様に係る画像位置合わせ補助装置において、撮像条件算出部は、判定部により２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、２つの第１撮像条件と判定された位置合わせ条件とに基づいて、２つの第１撮像条件を内分する刻み幅を決定し、決定した刻み幅により第２撮像条件を算出することが好ましい。これにより、補正精度を上げるために必要な第２画像の第２撮像条件が分かる。

本発明の更に他の態様に係る画像位置合わせ補助装置において、位置合わせ条件は、２枚の第１画像の間の特徴点であって、相互に対応する特徴点に基づく評価値であることが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助装置において、評価値は、相互に対応する特徴点のペアの個数に対応した値であることが好ましい。相互に対応する特徴点のペアの個数が多い程、これらの画像間の位置合わせ精度を上げることができるからである。

本発明の更に他の態様に係る画像位置合わせ補助装置において、画像取得部は、それぞれ異なる撮像条件によって同一の被写体を連写する撮像部であり、判定部により２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、複数枚の第１画像と第２画像とを連写し、又は第２画像を追加撮像することが好ましい。尚、第２画像を追加撮像する場合には、複数枚の第１画像の撮像から時間を空けずに第２画像を撮像することが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助装置において、予め設定された第１撮像条件を含む第１撮像条件の刻み幅よりも狭い刻み幅によって同位置の被写体が連写された複数の画像を記憶する記憶部を備え、画像取得部は、記憶部から第１撮像条件によって撮像された複数枚の第１画像を取得し、判定部により２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、記憶部から撮像条件算出部により算出された第２撮像条件を有する第２画像を更に取得することが好ましい。これによれば、再度、複数枚の第１画像の撮像と第２画像の撮像とを行う必要がなくなる。

本発明の更に他の態様に係る画像位置合わせ補助装置において、第１撮像条件及び第２撮像条件は、露出条件又は合焦距離に対応する合焦条件であることが好ましい。第１撮像条件及び第２撮像条件が露出条件の場合、複数の第１画像及び第２画像は、ＨＤＲ合成に使用することができ、第１撮像条件及び第２撮像条件が合焦距離の場合、複数の第１画像及び第２画像は、深度合成に使用することができる。

本発明の更に他の態様に係る画像位置合わせ補助装置において、判定部は、画像取得部が複数枚の第１画像及び第２画像を取得した場合、複数枚の第１画像及び第２画像が、位置合わせ条件を満たしているか否かを、段階的な第１撮像条件に第２撮像条件を加えた段階的な撮像条件が隣接する２枚の第１画像と第２画像の間、又は２枚の第２画像の間において判定し、撮像条件算出部は、判定部により２枚の第１画像と第２画像の間、又は２枚の第２画像の間において位置合わせ条件が満たされていないと判定された場合、２枚の第１画像の第１撮像条件及び第２画像の第２撮像条件、又は２枚の第２画像の第２撮像条件に基づいて２枚の第１画像の第１撮像条件及び第２画像の第２撮像条件、又は２枚の第２画像の第２撮像条件を内分する第３撮像条件を算出し、画像取得部は、判定部により２枚の第１画像と第２画像の間、又は第２画像の間において位置合わせ条件が満たされていないと判定された場合、複数枚の第１画像、第２画像及び第３撮像条件によって撮像された第３画像を取得することが好ましい。

複数の第１画像に第２画像を追加しても、これらの画像間で位置合わせ条件を満たさない場合がある。この場合には、位置合わせ条件を満たさない画像間の第３画像（第３撮像条件で撮像された第３画像）を更に取得し、複数の第１画像、第２画像及び第３画像の各画像間で位置合わせ条件を満たすようにする。

本発明の更に他の態様に係る画像位置合わせ補助装置において、判定部により複数枚の第１画像の全てが位置合わせ条件を満たしていると判定された場合、複数枚の第１画像のうちの１枚の第１画像を基準画像とし、基準画像に対して複数枚の第１画像のうちの基準画像以外の第１画像を位置合わせする位置合わせ部を備えることが好ましい。これにより、１枚の基準画像に対して基準画像以外の第１画像を位置合わせすることができる。

本発明の更に他の態様に係る画像位置合わせ補助装置において、位置合わせ部は、判定部により複数枚の第１画像の全てが位置合わせ条件を満たしていないと判定された場合、基準画像に対して複数枚の第１画像のうちの基準画像以外の第１画像、及び第２画像を位置合わせすることが好ましい。これにより、１枚の基準画像に対して基準画像以外の第１画像のみでは第１画像の精度の高い位置合わせができない場合でも、第２画像が位置合わせの補助画像として介在することで、精度の高い位置合わせができるようになる。

本発明の更に他の態様に係る画像位置合わせ補助装置において、位置合わせ部による位置合わせ後の複数枚の第１画像に基づいて合成画像を生成する合成画像生成部を備えることが好ましい。これによれば、複数枚の第１画像のみを使用した合成画像を生成することができる。

本発明の更に他の態様に係る画像位置合わせ補助装置において、位置合わせ部による位置合わせ後の複数枚の第１画像及び第２画像に基づいて合成画像を生成する合成画像生成部を備えることが好ましい。これによれば、複数枚の第１画像及び第２画像を使用した合成画像を生成することができる。特に、複数枚の第１画像のみでは所望の合成画像を合成することができない場合に有効である。

本発明の更に他の態様に係る撮像装置は、上述した画像位置合わせ補助装置を備えることが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助方法は、画像取得部が、段階的に異なる複数の条件から成る段階的な第１撮像条件によって撮像された複数枚の第１画像を取得するステップと、取得された複数枚の第１画像が合成画像の位置合わせに必要な位置合わせ条件を満たしているか否かを、判定部が、複数枚の第１画像のうちの段階的な第１撮像条件が隣接する２枚の第１画像の間において判定するステップと、２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、撮像条件算出部が、２枚の第１画像の第１撮像条件に基づいて２枚の第１画像の２つの第１撮像条件を内分する第２撮像条件を算出するステップと、２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、画像取得部が、複数枚の第１画像及び第２撮像条件によって撮像された第２画像を取得するステップと、を含む。

本発明の更に他の態様に係る画像位置合わせ補助方法において、第２撮像条件を算出するステップは、２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、２つの第１撮像条件と判定された位置合わせ条件とに基づいて、２つの第１撮像条件を内分する刻み幅を決定し、決定した刻み幅により第２撮像条件を算出することが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助方法において、複数枚の第１画像及び第２画像が取得された場合、複数枚の第１画像及び第２画像が位置合わせ条件を満たしているか否かを、判定部が、第１撮像条件に第２撮像条件を加えた段階的な撮像条件が隣接する２枚の第１画像と第２画像の間、又は２枚の第２画像の間において判定し、２枚の第１画像と第２画像の間、又は２枚の第２画像の間において位置合わせ条件が満たされていないと判定された場合、撮像条件算出部が、２枚の第１画像の第１撮像条件及び第２画像の第２撮像条件、又は２枚の第２画像の第２撮像条件に基づいて２枚の第１画像の第１撮像条件及び第２画像の第２撮像条件、又は２枚の第２画像の第２撮像条件を内分する第３撮像条件を算出し、判定部により２枚の第１画像と第２画像の間、又は２枚の第２画像の間において位置合わせ条件が満たされていないと判定された場合、画像取得部が、複数枚の第１画像、第２画像及び第３撮像条件によって撮像された第３画像を取得することが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助方法において、複数枚の第１画像の全てが位置合わせ条件を満たしていると判定された場合、位置合わせ部が、複数枚の第１画像のうちの１枚の第１画像を基準画像とし、基準画像に対して複数枚の第１画像のうちの基準画像以外の第１画像を位置合わせするステップと、を含むことが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助方法において、複数枚の第１画像の全てが位置合わせ条件を満たしていないと判定された場合、位置合わせ部が、基準画像に対して複数枚の第１画像のうちの基準画像以外の第１画像、及び第２画像を位置合わせすることが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助方法において、合成画像生成部が、位置合わせ後の複数枚の第１画像に基づいて合成画像を生成するステップを含むことが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助方法において、合成画像を生成するステップは、位置合わせ後の複数枚の第１画像及び第２画像に基づいて合成画像を生成することが好ましい。

本発明の更に他の態様に係る画像位置合わせ補助プログラムは、画像取得部が、段階的に異なる複数の条件から成る段階的な第１撮像条件によって撮像された複数枚の第１画像を取得する機能と、取得された複数枚の第１画像が合成画像の位置合わせに必要な位置合わせ条件を満たしているか否かを、複数枚の第１画像のうちの段階的な第１撮像条件が隣接する２枚の第１画像の間において判定する機能と、２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、２枚の第１画像の第１撮像条件に基づいて２枚の第１画像の２つの第１撮像条件を内分する第２撮像条件を算出する機能と、２枚の第１画像の間において位置合わせ条件が満たされていないと判定された場合、画像取得部が、複数枚の第１画像及び第２撮像条件によって撮像された第２画像を取得する機能と、をコンピュータに実現させる。

本発明によれば、複数枚の画像を位置合わせして合成する場合に、精度よく位置合わせすることができ、かつ所望の合成画像の生成が可能な複数枚の画像を取得することができる。

図１は本発明に係る撮像装置を斜め前方から見た斜視図である。 図２は撮像装置の背面図である。 図３は撮像装置の内部構成の実施形態を示すブロック図である。 図４はイメージセンサの構成例を示す図である。 図５はイメージセンサの位相差画素行の一部の断面を示す概略図である。 図６は主として合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の第１の実施形態を示す機能ブロック図である。 図７は合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の動作の一実施形態を説明するために用いた図である。 図８は合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の動作の他の実施形態を説明するために用いた図である。 図９は主として合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の第２の実施形態を示す機能ブロック図である。 図１０は主として合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の第３の実施形態を示す機能ブロック図である。 図１１は本発明に係る画像位置合わせ補助方法の実施形態を示すフローチャートである。 図１２は本発明に係る撮像装置の一実施形態であるスマートフォンの外観図である。 図１３はスマートフォンの構成を示すブロック図である。

以下、添付図面にしたがって本発明に係る画像位置合わせ補助装置、方法及びプログラム並びに撮像装置の好ましい実施形態について説明する。

＜撮像装置の外観＞

図１は、本発明に係る画像位置合わせ補助装置を備えた撮像装置を斜め前方から見た斜視図であり、図２は撮像装置の背面図である。

図１に示すように撮像装置１０は、交換レンズ１００と、交換レンズ１００が着脱可能なカメラ本体２００とから構成されたミラーレスのデジタル一眼カメラである。

図１において、カメラ本体２００の前面には、交換レンズ１００が装着される本体マウント２６０と、光学ファインダのファインダ窓２０等が設けられ、カメラ本体２００の上面には、主としてシャッタレリーズスイッチ２２、シャッタスピードダイヤル２３、露出補正ダイヤル２４、電源レバー２５、及び内蔵フラッシュ３０が設けられている。

また、図２に示すようにカメラ本体２００の背面には、主として液晶モニタ２１６、光学ファインダの接眼部２６、ＭＥＮＵ／ＯＫキー２７、十字キー２８、再生ボタン２９等が設けられている。

液晶モニタ２１６は、撮影モード時にライブビュー画像を表示したり、再生モード時に撮像した画像を再生表示する他、各種のメニュー画面を表示する表示部として機能し、またユーザに対して各種の情報を通知する通知部として機能する。ＭＥＮＵ／ＯＫキー２７は、液晶モニタ２１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キー２８は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするマルチファンクションキーとして機能する。また、十字キー２８の上キー及び下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向及び逆方向送り）ボタンとして機能する。また、液晶モニタ２１６に表示された複数の被写体から焦点調節を行う任意の被写体を指定する操作部としても機能する。

また、ＭＥＮＵ／ＯＫキー２７、十字キー２８、及び液晶モニタ２１６に表示されるメニュー画面を使用することで、１枚の静止画を撮像する静止画撮像モードの他に、静止画を連続撮影する連写モード、連写モードの一種であり、ダイナミックレンジを広げるＨＤＲ合成に使用する露出の異なる複数枚の画像を撮像する合成用画像撮像モード、動画を撮像する動画撮像モードを含む各種の撮像モードの設定を行うことができる。

再生ボタン２９は、記録した静止画又は動画を液晶モニタ２１６に表示させる再生モードに切り替えるためのボタンである。

＜撮像装置の内部構成＞

［交換レンズ］

図３は、撮像装置１０の内部構成の実施形態を示すブロック図である。

撮像装置１０を構成する撮像光学系として機能する交換レンズ１００は、カメラ本体２００の通信規格に沿って製造されたものであり、後述するようにカメラ本体２００との間で通信を行うことができる交換レンズである。この交換レンズ１００は、撮像光学系１０２、フォーカスレンズ制御部１１６、絞り制御部１１８、レンズ側ＣＰＵ（Central Processing Unit）１２０、フラッシュＲＯＭ(Read Only Memory)１２６、レンズ側通信部１５０、及びレンズマウント１６０を備える。

交換レンズ１００の撮像光学系１０２は、フォーカスレンズを含むレンズ群１０４及び絞り１０８を含む。

フォーカスレンズ制御部１１６は、レンズ側ＣＰＵ１２０からの指令にしたがってフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。絞り制御部１１８は、レンズ側ＣＰＵ１２０からの指令にしたがって絞り１０８を制御する。

レンズ側ＣＰＵ１２０は、交換レンズ１００を統括制御するもので、ＲＯＭ１２４及びＲＡＭ(Random Access Memory)１２２を内蔵している。

フラッシュＲＯＭ１２６は、カメラ本体２００からダウンロードされたプログラム等を格納する不揮発性のメモリである。

レンズ側ＣＰＵ１２０は、ＲＯＭ１２４又はフラッシュＲＯＭ１２６に格納された制御プログラムに従い、ＲＡＭ１２２を作業領域として、交換レンズ１００の各部を統括制御する。

レンズ側通信部１５０は、レンズマウント１６０がカメラ本体２００の本体マウント２６０に装着されている状態で、レンズマウント１６０に設けられた複数の信号端子（レンズ側信号端子）を介してカメラ本体２００との通信を行う。即ち、レンズ側通信部１５０は、レンズ側ＣＰＵ１２０の指令にしたがって、レンズマウント１６０及び本体マウント２６０を介して接続されたカメラ本体２００の本体側通信部２５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行い、撮像光学系１０２の各光学部材のレンズ情報（フォーカスレンズの位置情報、焦点距離情報及び絞り情報等）を、カメラ本体２００に通知する。

また、交換レンズ１００は、フォーカスレンズの位置情報、及び絞り情報を検出する検出部（図示せず）を備えている。ここで、絞り情報とは、絞り１０８の絞り値（Ｆ値）、絞り１０８の開口径等を示す情報である。

レンズ側ＣＰＵ１２０は、カメラ本体２００からのレンズ情報のリクエストに応えるために、検出されたフォーカスレンズの位置情報及び絞り情報を含む各種のレンズ情報をＲＡＭ１２２に保持することが好ましい。また、レンズ情報は、カメラ本体２００からのレンズ情報の要求があると検出され、又は光学部材が駆動されるときに検出され、又は一定の周期（動画のフレーム周期よりも十分に短い周期）で検出され、検出結果を保持することができる。

［カメラ本体］

図３に示す撮像装置１０を構成するカメラ本体２００は、イメージセンサ２０１、イメージセンサ制御部２０２、アナログ信号処理部２０３、Ａ／Ｄ（Analog/Digital）変換器２０４、画像入力コントローラ２０５、デジタル信号処理部２０６、ＲＡＭ２０７、圧縮伸張処理部２０８、メディア制御部２１０、メモリカード２１２、表示制御部２１４、液晶モニタ２１６、本体側ＣＰＵ２２０、操作部２２２、時計部２２４、フラッシュＲＯＭ２２６、ＲＯＭ２２８、ＡＦ(Autofocus)制御部２３０、ＡＥ（Auto Exposure)制御部２３２、ホワイトバランス補正部２３４、無線通信部２３６、ＧＰＳ(Global Positioning System)受信部２３８、電源制御部２４０、バッテリ２４２、本体側通信部２５０、本体マウント２６０、内蔵フラッシュ３０（図１）を構成するフラッシュ発光部２７０、フラッシュ制御部２７２、フォーカルプレーンシャッタ（ＦＰＳ：focal-plane shutter）２８０、及びＦＰＳ制御部２９６を備える。

＜イメージセンサの構成＞

イメージセンサ２０１は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、イメージセンサ２０１は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

イメージセンサ２０１は、図４に示すようにｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタが、周期的色配列（図４に示す例では、一般的なベイヤ配列）で配設され、各フォトダイオード上にはマイクロレンズが配置されている。

また、イメージセンサ２０１は、位相差画素（第１の位相差画素ＰＡ，第２の位相差画素ＰＢ）と、静止画撮像又は動画撮像用の通常画素（位相差画素以外の画素）が配置されている。

ベイヤ配列を有するイメージセンサ２０１において、通常画素のみが水平方向（行方向）に配置された通常画素行は、Ｒフィルタを有する画素（Ｒ画素）とＧフィルタを有する画素（Ｇ画素）とが行方向に交互に配置されたＲＧ行と、Ｇ画素とＢフィルタを有する画素（Ｂ画素）とが行方向に交互に配置されたＧＢ行とがある。また、ＲＧ行とＧＢ行とは、垂直方向（列方向）に交互に配置されている。

また、イメージセンサ２０１は、第１の位相差画素ＰＡ及び第２の位相差画素ＰＢが設けられた位相差画素行と、通常画素のみが設けられている通常画素行とを有している。

イメージセンサ２０１の位相差画素行は、ベイヤ配列の特定のＧＢ行において、一対の第１の位相差画素ＰＡ及び第２の位相差画素ＰＢと１つの通常画素の３画素を１周期として周期的に行方向に配置されて構成されている。したがって、位相差画素行には、Ｇ画素とＢ画素とが行方向に２画素（一対の第１の位相差画素ＰＡ及び第２の位相差画素ＰＢ）置きに交互に配置されている。尚、本例の位相差画素行は、ベイヤ配列のＧＢ行に設けられているが、これに限らず、ＲＧ行に設けるようにしてもよい。

周期的色配列は、ベイヤ配列に限らず、Ｘ−Ｔｒａｎｓ（登録商標）配列等の他のカラーフィルタ配列でもよい。

図５は、図４に示した位相差画素行において、それぞれ隣接して配設された第１の位相差画素ＰＡ及び第２の位相差画素ＰＢの構成を示す要部拡大図である。

図５に示すように第１の位相差画素ＰＡのフォトダイオードＰＤの前面側（マイクロレンズＭＬ側）には、遮光膜ＭＡが配設され、一方、第２の位相差画素ＰＢのフォトダイオードＰＤの前面側には、遮光膜ＭＢが配設される。マイクロレンズＭＬ及び遮光膜ＭＡ、ＭＢは瞳分割機能を有し、図５上で、遮光膜ＭＡは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差画素ＰＡには、撮像光学系１０２の射出瞳を通過する光束のうちの光軸の左側領域を通過する光束のみが選択的に受光される。また、カラーフィルタＣＦとして、ＧフィルタがマイクロレンズＭＬの下方に配置されている。

一方、遮光膜ＭＢは、第２の位相差画素ＰＢのフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差画素ＰＢには、撮像光学系１０２の射出瞳を通過する光束のうちの光軸の右側領域を通過する光束のみが選択的に受光される。このように、瞳分割機能を有するマイクロレンズＭＬ及び遮光膜ＭＡ、ＭＢにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ＰＡ及び第２の位相差画素ＰＢに入射する。

したがって、本例のイメージセンサ２０１の第１の位相差画素ＰＡ及び第２の位相差画素ＰＢの瞳分割方向は、水平方向（ｘ方向）（図４上の左右方向）である。位相差画素行は、イメージセンサ２０１の撮像領域の全域にわたって配置されていてもよいし、撮像領域の中央の領域のみに配置されていてもよい。

図３に戻って、交換レンズ１００の撮像光学系１０２によってイメージセンサ２０１の受光面に結像された被写体の光学像は、イメージセンサ２０１によって電気信号に変換される。イメージセンサ２０１の各画素には、入射する光量に応じた電荷が蓄積され、イメージセンサ２０１からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。

イメージセンサ制御部２０２は、本体側ＣＰＵ２２０の指令にしたがってイメージセンサ２０１から画像信号の読み出し制御を行う。また、イメージセンサ制御部２０２は、静止画の撮像が行われる場合には、ＦＰＳ２８０の開閉により露光時間が制御された後、ＦＰＳ２８０が閉じた状態でイメージセンサ２０１の全ラインを読み出す。また、本例のイメージセンサ２０１及びイメージセンサ制御部２０２は、少なくとも１つ以上のライン毎や画素毎に順次露光動作を行う（即ち、ライン毎や画素毎に順次リセットを行い、電荷の蓄積を開始し、蓄積した電荷を読み出す方式である）、いわゆるローリングシャッタ方式にて駆動することができ、特にＦＰＳ２８０を開放した状態でローリングシャッタ方式にて動画の撮像、又はライブビュー画像の撮像を行う機能を有する。

アナログ信号処理部２０３は、イメージセンサ２０１で被写体を撮像して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部２０３は、サンプリングホールド回路、色分離回路、ＡＧＣ（Automatic Gain Control）回路等を含んで構成されている。ＡＧＣ回路は、撮像時の感度（ＩＳＯ感度(ＩＳＯ：International Organization for Standardization)）を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換器２０４は、アナログ信号処理部２０３から出力されたアナログの画像信号をデジタルの画像信号に変換する。

静止画又は動画の撮像時にイメージセンサ２０１、アナログ信号処理部２０３、及びＡ／Ｄ変換器２０４を介して出力されるＲＧＢの画素毎の画像データ（モザイク画像データ）は、画像入力コントローラ２０５からＲＡＭ２０７に入力され、一時的に記憶される。尚、イメージセンサ２０１がＣＭＯＳ型イメージセンサである場合、アナログ信号処理部２０３及びＡ／Ｄ変換器２０４は、イメージセンサ２０１内に内蔵されていることが多い。

デジタル信号処理部２０６は、ＲＡＭ２０７に格納されている画像データに対して、各種のデジタル信号処理を施す。デジタル信号処理部２０６は、ＲＡＭ２０７に記憶されている画像データを適宜読み出し、読み出した画像データに対してオフセット処理、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理、同時化処理とも言う）、ＲＧＢ／ＹＣｒＣｂ変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びＲＡＭ２０７に記憶させる。尚、デモザイク処理とは、例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサの場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理であり、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。

ＲＧＢ／ＹＣｒＣｂ変換処理は、同時化されたＲＧＢデータを輝度データ（Ｙ）及び色差データ（Ｃｒ、Ｃｂ）に変換する処理である。

圧縮伸張処理部２０８は、静止画又は動画の記録時に、一旦ＲＡＭ２０７に格納された非圧縮の輝度データＹ及び色差データＣｂ，Ｃｒに対して圧縮処理を施す。静止画の場合には、例えばＪＰＥＧ(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばＨ．２６４形式で圧縮する。圧縮伸張処理部２０８により圧縮された画像データは、メディア制御部２１０を介してメモリカード２１２に記録される。また、圧縮伸張処理部２０８は、再生モード時にメディア制御部２１０を介してメモリカード２１２から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。

メディア制御部２１０は、圧縮伸張処理部２０８で圧縮された画像データを、メモリカード２１２に記録する制御を行う。また、メディア制御部２１０は、メモリカード２１２から、圧縮された画像データを読み出す制御を行う。

表示制御部２１４は、ＲＡＭ２０７に格納されている非圧縮の画像データを、液晶モニタ２１６に表示させる制御を行う。液晶モニタ２１６は、液晶表示デバイスにより構成されているが、液晶モニタ２１６の代わりに有機エレクトロルミネッセンスなどの表示デバイスによって構成してもよい。

液晶モニタ２１６にライブビュー画像を表示させる場合には、デジタル信号処理部２０６で連続的に生成されたデジタルの画像信号が、ＲＡＭ２０７に一時的に記憶される。表示制御部２１４は、このＲＡＭ２０７に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して、液晶モニタ２１６に順次出力する。これにより、液晶モニタ２１６に撮像画像がリアルタイムに表示され、液晶モニタ２１６を電子ビューファインダとして使用することができる。

シャッタレリーズスイッチ２２は、静止画や動画の撮像指示を入力するための撮像指示部であり、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。

静止画撮像モードの場合、シャッタレリーズスイッチ２２が半押しされることによってＳ１オンの信号、半押しから更に押し込む全押しがされることによってＳ２オンの信号が出力され、Ｓ１オン信号が出力されると、本体側ＣＰＵ２２０は、ＡＦ制御（自動焦点調節）及びＡＥ制御（自動露出制御）などの撮影準備処理を実行し、Ｓ２オン信号が出力されると、静止画の撮像処理及び記録処理を実行する。

尚、ＡＦ制御及びＡＥ制御は、それぞれ操作部２２２によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、ＡＦ制御及びＡＥ制御が行われないことは言うまでもない。

また、動画撮像モードの場合、シャッタレリーズスイッチ２２が全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、動画の記録を開始する動画記録モードになり、動画の画像処理及び記録処理を実行し、その後、シャッタレリーズスイッチ２２が再び全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、スタンバイ状態になり、動画の記録処理を一時停止する。

尚、シャッタレリーズスイッチ２２は半押しと全押しとからなる２段ストローク式のスイッチの形態に限られず、1回の操作でＳ１オンの信号、Ｓ２オンの信号を出力しても良く、それぞれ個別のスイッチを設けてＳ１オンの信号、Ｓ２オンの信号を出力しても良い。

また、タッチ式パネル等により操作指示を行う形態では、これら操作手段としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしても良く、撮影準備処理や撮像処理を指示するものであれば操作手段の形態はこれらに限られない。

撮像により取得された静止画又は動画は、圧縮伸張処理部２０８により圧縮され、圧縮された画像データは、撮像日時、ＧＰＳ情報、撮像条件（Ｆ値、シャッタスピード、ＩＳＯ感度等）の所要の付属情報が、ヘッダに付加された画像ファイルとされた後、メディア制御部２１０を介してメモリカード２１２に格納される。

本体側ＣＰＵ２２０は、カメラ本体２００全体の動作及び交換レンズ１００の光学部材の駆動等を統括制御するもので、シャッタレリーズスイッチ２２を含む操作部２２２等からの入力に基づき、カメラ本体２００の各部及び交換レンズ１００を制御する。

時計部２２４は、タイマとして、本体側ＣＰＵ２２０からの指令に基づいて時間を計測する。また、時計部２２４は、カレンダとして、現在の年月日及び時刻を計測する。

フラッシュＲＯＭ２２６は、読み取り及び書き込みが可能な不揮発性メモリであり、設定情報を記憶する。

ＲＯＭ２２８には、本体側ＣＰＵ２２０が実行するカメラ制御プログラム、本発明に係る合成用画像撮像モードでの撮像を実行させる画像位置合わせ補助プログラム、イメージセンサ２０１の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されている。本体側ＣＰＵ２２０は、ＲＯＭ２２８に格納されたカメラ制御プログラム、あるいは画像位置合わせ補助プログラムにしたがい、ＲＡＭ２０７を作業領域としながらカメラ本体２００の各部、及び交換レンズ１００を制御する。

自動焦点調節部として機能するＡＦ制御部２３０は、位相差ＡＦの制御に必要なデフォーカス量を算出し、算出したデフォーカス量に基づいて、フォーカスレンズが移動すべき位置（合焦位置）指令を、本体側ＣＰＵ２２０及び本体側通信部２５０を介して交換レンズ１００に通知する。

ここで、ＡＦ制御部２３０は、位相差検出部とデフォーカス量算出部とを含む。位相差検出部は、イメージセンサ２０１のＡＦ領域（ユーザが指定した主要被写体が存在する領域、顔検出等により自動的に検出される主要被写体の領域、又はデフォルトで設定された領域等）内の第１の位相差画素ＰＡからなる第１の位相差画素群及び第２の位相差画素ＰＢからなる第２の位相差画素群からそれぞれ画素データ（第１の画素値及び第２の画素値）を取得し、これらの第１の画素値及び第２の画素値に基づいて位相差を検出する。この位相差は、第１の位相差画素ＰＡの複数の第１の画素値と第２の位相差画素ＰＢの複数の第２の画素値の相関が最大になるとき（複数の第１の画素値と複数の第２の画素値の差分絶対値の積算値が最小になるとき）の第１の画素値と第２の画素値との間の瞳分割方向のシフト量から算出することができる。

デフォーカス量算出部は、位相差検出部により検出された位相差と、交換レンズ１００の現在のＦ値（光線角度）に対応する係数とを乗算することによりデフォーカス量を算出する。

ＡＦ制御部２３０により算出されたデフォーカス量に対応するフォーカスレンズの位置指令は、交換レンズ１００に通知され、フォーカスレンズの位置指令を受け付けた交換レンズ１００のレンズ側ＣＰＵ１２０は、フォーカスレンズ制御部１１６を介してフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。

ＡＥ制御部２３２は、被写体の明るさ（被写体輝度）を検出する部分であり、被写体輝度に対応するＡＥ制御及びＡＷＢ（Auto White Balance）制御に必要な数値（露出値（ＥＶ値（exposure value）））を算出する。ＡＥ制御部２３２は、イメージセンサ２０１を介して取得した画像の輝度、画像の輝度の取得時のシャッタスピード及びＦ値によりＥＶ値を算出する。

本体側ＣＰＵ２２０は、ＡＥ制御部２３２から得たＥＶ値に基づいて所定のプログラム線図からＦ値、シャッタスピード及びＩＳＯ感度を決定し、ＡＥ制御を行うことができる。

ホワイトバランス補正部２３４は、ＲＧＢデータ（Ｒデータ、Ｇデータ及びＢデータ）の色データ毎のホワイトバランスゲイン（ＷＢ（White Balance）ゲイン)Ｇr,Ｇg,Ｇbを算出し、Ｒデータ、Ｇデータ及びＢデータに、それぞれ算出したＷＢゲインＧr,Ｇg,Ｇbを乗算することによりホワイトバランス補正を行う。ここで、ＷＢゲインＧr,Ｇg,Ｇbの算出方法としては、被写体の明るさ（ＥＶ値）によるシーン認識（屋外、屋内の判定等）及び周囲光の色温度等に基づいて被写体を照明している光源種を特定し、予め光源種毎に適切なＷＢゲインが記憶されている記憶部から特定した光源種に対応するＷＢゲインを読み出す方法が考えられるが、少なくともＥＶ値を使用してＷＢゲインＧr,Ｇg,Ｇbを求める他の公知の方法が考えられる。

無線通信部２３６は、Wi-Fi（Wireless Fidelity）（登録商標）、Bluetooth（登録商標）等の規格の近距離無線通信を行う部分であり、周辺のデジタル機器（スマートフォン、等の携帯端末）との間で必要な情報の送受信を行う。

ＧＰＳ受信部２３８は、本体側ＣＰＵ２２０の指示にしたがって、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、カメラ本体２００の緯度、経度、及び高度からなるＧＰＳ情報を取得する。取得されたＧＰＳ情報は、撮像された画像の撮像位置を示す付属情報として画像ファイルのヘッダに記録することができる。

電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、バッテリ２４２から供給される電源電圧をカメラ本体２００の各部に与える。また、電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して、バッテリ２４２から供給される電源電圧を交換レンズ１００の各部に与える。

レンズ電源スイッチ２４４は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して交換レンズ１００に与える電源電圧のオン及びオフの切り替えとレベルの切り替えを行う。

本体側通信部２５０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して接続された交換レンズ１００のレンズ側通信部１５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行う。尚、本体マウント２６０には、図１に示すように複数の端子２６０Ａが設けられており、交換レンズ１００がカメラ本体２００に装着（レンズマウント１６０と本体マウント２６０とが接続）されると、本体マウント２６０に設けられた複数の端子２６０Ａ（図１）と、レンズマウント１６０に設けられた複数の端子（図示せず）とが電気的に接続され、本体側通信部２５０とレンズ側通信部１５０との間で双方向通信が可能になる。

内蔵フラッシュ３０（図１）は、例えば、ＴＴＬ（Through The Lens)自動調光方式のフラッシュであり、フラッシュ発光部２７０と、フラッシュ制御部２７２とから構成されている。

フラッシュ制御部２７２は、フラッシュ発光部２７０から発光するフラッシュ光の発光量（ガイドナンバー）を調整する機能を有する。即ち、フラッシュ制御部２７２は、本体側ＣＰＵ２２０からのフラッシュ撮像指示に同期してフラッシュ発光部２７０を発光させ、交換レンズ１００の撮像光学系１０２を介して入射する反射光（周囲光を含む）の測光を開始し、測光値が標準露出値に達すると、フラッシュ発光部２７０からのフラッシュ光の発光を停止させる。

ＦＰＳ２８０は、撮像装置１０のメカシャッタを構成し、イメージセンサ２０１の直前に配置される。ＦＰＳ制御部２９６は、本体側ＣＰＵ２２０からの入力情報（Ｓ２オン信号、シャッタスピード等）に基づいてＦＰＳ２８０の先幕、後幕の開閉を制御し、イメージセンサ２０１における露光時間（シャッタスピード）を制御する。

［画像位置合わせ補助装置の制御］

次に、合成用画像撮像モードにより、ダイナミックレンジを広げるＨＤＲ合成に使用する露出の異なる複数枚の画像を撮像する場合の撮像装置１０の制御について説明する。

＜第１の実施形態＞

図６は、主として合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の第１の実施形態を示す機能ブロック図であり、特に合成用画像撮像モードによる撮像の際に機能する部分に関して示している。

本発明に係る合成用画像撮像モードによる撮像は、ダイナミックレンジを広げるＨＤＲ合成に使用する露出の異なる複数枚の画像を撮像するもので、特に複数枚の画像が、合成画像の位置合わせに必要な位置合わせ条件を満たしていない場合には、位置合わせ条件を満たすように補助画像を追加した複数枚の画像（補助画像分だけ増加させた複数枚の画像）を再度撮像するものである。

合成用画像撮像モードによる撮像を行う場合、主として本体側ＣＰＵ２２０が、合成用画像撮像モードによる撮像用の制御を統括制御するとともに、判定部２２０Ａ及び撮像条件算出部２２０Ｂとして機能する。

ユーザは、合成用画像撮像モードによる撮像を行う場合、操作部２２２を操作して合成用画像撮像モードの設定を行う。例えば、操作部２２２を操作し、メニュー画面を液晶モニタ２１６に表示させ、メニュー画面上で「合成用画像撮像モード」を選択することで、合成用画像撮像モードを設定することができる。

また、合成用画像撮像モードが設定されると、ＨＤＲ合成に使用する画像（第１画像）の枚数、及び各第１画像の撮像条件（第１撮像条件）を受け付けるメニュー画面が液晶モニタ２１６に表示される。ユーザは、このメニュー画面及び操作部２２２の十字キー２８を使用し、オンスクリーン対話方式で任意の「枚数」及び「第１撮像条件」を設定することができる。

本例では、ＨＤＲ合成に使用する複数枚の第１画像は、適正露出の第１画像（基準画像）Ｓ_０と、露出アンダーの第１画像Ｓ_−１と、露出オーバーの第１画像Ｓ_＋１の３枚の画像とする。また、第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１の第１撮像条件は、露出条件であり、第１画像Ｓ_０の露出条件は適正露出値であり、露出アンダーの第１画像Ｓ_−１の露出条件は、適正露出値に対して−３ＥＶの露出値であり、露出オーバーの第１画像Ｓ_＋１の露出条件は、適正露出値に対して＋３ＥＶの露出値である。このように、露出条件は、段階的に設定されている。尚、この±３ＥＶ（適正露出値に対する露出補正値）は、一例であり、前述したようにユーザが「段階的な第１撮像条件」として任意に設定することができる。

尚、複数の第１画像の「枚数」及び「第１撮像条件」は、ユーザにより設定される場合に限らず、デフォルトで設定された「枚数」及び／又は「第１撮像条件」でもよい。

本体側ＣＰＵ２２０は、シャッタレリーズスイッチ２２の操作による撮像指示を受け付けると、以下の処理を行う。

まず、本体側ＣＰＵ２２０は、撮像部（画像取得部２２１）として機能する交換レンズ１００、イメージセンサ２０１及びＦＰＳ２８０を、第１撮像条件（露出アンダー、適正露出、及び露出オーバーの露出条件）に基づいて露出制御し、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１を連写させ、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１を取得してＲＡＭ２０７に一時的に記憶させる。

本体側ＣＰＵ２２０の判定部２２０Ａは、ＲＡＭ２０７に一時的に記憶された３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１が、合成画像（ＨＤＲ合成）の位置合わせに必要な位置合わせ条件を満たしているか否かを、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１のうちの第１撮像条件（第１露出条件）が隣接する２枚の第１画像の間（本例では、第１画像Ｓ_−１、Ｓ_０の間、及び第１画像Ｓ_０、Ｓ_＋１の間）で判定する。なお、「隣接する撮像条件」は、段階が一つ異なる２つの撮像条件であることを表し、「隣接する第１撮像条件」は、段階が一つ異なる２つの第１撮像条件であることを表す。

ここで、判定部２２０Ａにより判定される位置合わせ条件は、２枚の第１画像の間の特徴点であって、相互に対応する特徴点に基づく評価値であり、本例では、相互に対応する特徴点に基づく評価値は、相互に対応する特徴点のペアの個数に対応した値とする。

いま、判定部２２０Ａが、露出条件が隣接する２枚の第１画像Ｓ_−１、Ｓ_０の間で、位置合わせ条件を満たしているか否かを判定する場合、２枚の第１画像Ｓ_−１、Ｓ_０から特徴点を抽出する。この特徴点の抽出には、ＳＩＦＴ(Scale-invariant feature transform)やＳＵＲＦ(Speed-Upped Robust Feature)、ＯＲＢ（Oriented FAST and Rotated BRIEF）などの特徴点アルゴリズムを用いることができる。この処理により、２枚の第１画像Ｓ_−１、Ｓ_０に対し、それぞれ複数個の特徴点が検出されたとする。

第１画像Ｓ_０に対する、ある特徴点が与えられたとき、その特徴点が持つ特徴量をもとに、第１画像Ｓ_−１の特徴点とのマッチングを行う。このとき特徴量は特徴点周辺領域の情報をもとに取得された情報がよい。２枚の第１画像Ｓ_−１、Ｓ_０の、ある特徴点がマッチしているか否かは、その特徴点に対応する特徴量の類似度で評価する。例えば、特徴量がＳＩＦＴならそれぞれの実数ベクトルのユークリッド距離がある閾値より小さいときマッチしているとする。

マッチングにより、２枚の第１画像Ｓ_−１、Ｓ_０の間でマッチしている特徴点のペアの個数を、位置合わせ条件の評価値とすると、判定部２２０Ａは、評価値（ペアの個数）が基準値以上の場合、位置合わせ条件を満たしていると判定し、基準値未満の場合、位置合わせ条件を満たしていないと判定する。尚、相互に対応する特徴点のペアの個数に基づいて位置合わせ条件を満たしているか否かを判定する判定方法は一例であり、本発明はこれに限定されない。

本体側ＣＰＵ２２０の撮像条件算出部２２０Ｂは、判定部２２０Ａにより２枚の第１画像の間で位置合わせ条件が満たされていないと判定されると、２枚の第１画像の第１撮像条件（第１露出条件）に基づいて２枚の第１画像の２つの第１露出条件を内分する第２撮像条件（第２露出条件）を算出する。

例えば、２枚の第１画像Ｓ_−１、Ｓ_０の間で、位置合わせ条件が満たされていないと判定されると、第１画像Ｓ_０の第１露出条件である適正露出値と、第１画像Ｓ_−１の第１露出条件である、適正露出値に対して−３ＥＶの露出値との間の、１又は複数の第２撮像条件（第２露出条件）を算出する。

この第２撮像条件（第２露出条件）を算出する場合、２つの第１撮像条件（第１露出条件）と判定された位置合わせ条件とに基づいて、２つの第１撮像条件（第１露出条件）を内分する刻み幅を決定し、決定した刻み幅により第２撮像条件（第２露出条件）を算出することが好ましい。これにより、補正精度を上げるために必要な第２画像の第２撮像条件

（第２露出条件）を適切に求めることができる。

画像取得部２２１は、本体側ＣＰＵ２２０による制御のもとで、判定部２２０Ａにより２枚の第１画像の間で位置合わせ条件が満たされていないと判定されると、第１撮像条件（第１露出条件）で撮像された複数枚の第１画像及び第２撮像条件（第２露出条件）で撮像された第２画像を取得する。

具体的には、本体側ＣＰＵ２２０による制御のもとで、画像取得部２２１として機能する交換レンズ１００、イメージセンサ２０１及びＦＰＳ２８０は、第１撮像条件（第１露出条件）及び第２撮像条件（第２露出条件）に基づいて露出制御し、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、１又は複数の補助画像としての第２画像とを連写により取得する。

尚、画像取得部２２１は、第２撮像条件（第２露出条件）で撮像された補助画像としての第２画像のみを追加して取得してもよい。第２画像のみを追加撮像する場合には、複数枚の第１画像の撮像から可能か限り時間を空けずに第２画像を撮像することが好ましい。第１画像と第２画像との間で時間を空けると、第１画像と第２画像との間で位置ずれが大きくなりやすく、位置ずれが大きくなると、第２画像が位置合わせ用の補助画像として機能しなくなる場合があるからである。

上記のようにして取得した複数枚の画像（第１画像、又は第１画像及び第２画像）は、後述するように位置合わせした後にＨＤＲ合成されるが、ＨＤＲ合成用の複数枚の画像として関連付けてメモリカード２１２に記録してもよい。

＜合成用画像撮像モードでの本体側ＣＰＵ２２０の動作＞

図７は、合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の動作の一実施形態を説明するために用いた図であり、図７の（Ａ）、（Ｂ）、及び（Ｃ）は、それぞれ合成用画像撮像モードによる１回目の撮像、２回目の撮像、及び３回目の撮像時の動作を模式的に示している。

図７の（Ａ）に示すように、本例では、本体側ＣＰＵ２２０は、ＨＤＲ合成用の複数の画像として、第１撮像条件（第１露出条件）が異なる第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１を、撮像部として機能する画像取得部２２１から取得する。図７の（Ａ）には、３つの第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１の第１露出条件（第１画像Ｓ_０の露出値（適正露出値）に対する第１画像Ｓ_−１、Ｓ_＋１の露出補正値）が示されている。

本体側ＣＰＵ２２０の判定部２２０Ａは、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１のうちの第１露出条件が隣接する２枚の第１画像の間（第１画像Ｓ_−１、Ｓ_０の間、及び第１画像Ｓ_０、Ｓ_＋１の間）で、ＨＤＲ合成の位置合わせに必要な位置合わせ条件を満たしているか否かを判定する。

具体的には、判定部２２０Ａは、２枚の第１画像の間の特徴点であって、相互に対応する特徴点のペアの個数が、基準値以上か否かに基づいて位置合わせ条件を満たしているか否かを判定する。本例では、基準値を１００とし、判定部２２０Ａは、特徴点のペアの個数が１００以上の場合、位置合わせ条件を満たしていると判定し、特徴点のペアの個数が１００未満の場合、位置合わせ条件を満たしていないと判定する。尚、基準値としての１００は一例であり、本発明はこの数値に限定されない。

図７の（Ａ）に示す例では、２枚の第１画像Ｓ_０、Ｓ_＋１の間の特徴点のペアの個数は１1０であるため、判定部２２０Ａは、２枚の第１画像Ｓ_０、Ｓ_＋１の間では、位置合わせ条件を満たしている（ＯＫ）と判定する。

一方、２枚の第１画像Ｓ_−１、Ｓ_０の間の特徴点のペアの個数は８０であるため、判定部２２０Ａは、２枚の第１画像Ｓ_−１、Ｓ_０の間では、位置合わせ条件を満たしていない（ＮＧ）と判定する。

本体側ＣＰＵ２２０の撮像条件算出部２２０Ｂは、判定部２２０Ａにより２枚の第１画像の間で位置合わせ条件が満たされていないと判定されると、２枚の第１画像の第１露出条件に基づいて２枚の第１画像の２つの第１露出条件を内分する第２露出条件を算出する。

本例では、撮像条件算出部２２０Ｂは、第１画像Ｓ_０の露出値よりも１ＥＶ小さい露出値と、第１画像Ｓ_−１の露出値よりも１ＥＶ大きい露出値を、それぞれ第２露出条件として算出する。

画像取得部２２１は、撮像条件算出部２２０Ｂにより第２露出条件が算出されると、図７の（Ｂ）に示すように第１露出条件による３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、第２露出条件による２枚の第２画像Ａ_１、Ａ_２とを連写により取得する。

判定部２２０Ａは、新たに取得された３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と２枚の第２画像Ａ_１、Ａ_２（合計５枚の画像）に基づいて露出条件が隣接する２枚の画像の間で、位置合わせ条件が満たされているか否かを再度判定する。

図７の（Ｂ）に示す例では、２枚の第１画像Ｓ_０、第２画像Ａ_１の間の特徴点のペアの個数は１０３であり、また、２枚の第１画像Ｓ_−１、第２画像Ａ_２の間の特徴点のペアの個数は１０５であるため、判定部２２０Ａは、第１画像Ｓ_０、第２画像Ａ_１の間、及び第１画像Ｓ_−１、第２画像Ａ_２の間では、それぞれ位置合わせ条件を満たしていると判定する。

一方、２枚の第２画像Ａ_１、Ａ_２の間の特徴点のペアの個数は９０であるため、判定部２２０Ａは、２枚の第２画像Ａ_１、Ａ_２の間では、位置合わせ条件を満たしていないと判定する。

撮像条件算出部２２０Ｂは、判定部２２０Ａにより２枚の画像間（本例では、２枚の第２画像Ａ_１、Ａ_２）の間で位置合わせ条件が満たされていないと判定されると、２枚の第２画像Ａ_１、Ａ_２の第２露出条件に基づいて第２画像Ａ_１、Ａ_２の２つの第２露出条件を内分する第３露出条件（第３撮像条件）を算出する。

本例では、撮像条件算出部２２０Ｂは、第２画像Ａ_１の露出値よりも１／３ＥＶ小さい露出値と、第２画像Ａ_２の露出値よりも１／３ＥＶ大きい露出値を、それぞれ第３露出条件として算出する。

画像取得部２２１は、撮像条件算出部２２０Ｂにより第３露出条件が算出されると、図７の（Ｃ）に示すように第１露出条件による３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、第２露出条件による２枚の第２画像Ａ_１、Ａ_２と、第３露出条件による２枚の第３画像Ｂ_１、Ｂ_２とを連写により取得する。

判定部２２０Ａは、新たに取得された３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と２枚の第２画像Ａ_１、Ａ_２と２枚の第３画像Ｂ_１、Ｂ_２（合計７枚の画像）に基づいて露出条件が隣接する２枚の画像の間で、位置合わせ条件が満たされているか否かを再度判定する。

図７の（Ｃ）に示す例では、２枚の第２画像Ａ_１、第３画像Ｂ_１の間の特徴点のペアの個数、２枚の第３画像Ｂ_１、Ｂ_２の間の特徴点のペアの個数、及び２枚の第３画像Ｂ_２、第２画像Ａ_２の間の特徴点のペアの個数はそれぞれ１０５であるため、判定部２２０Ａは、これらの画像間では、それぞれ位置合わせ条件を満たしていると判定する。尚、他の画像間も位置合わせ条件を満たしていることは言うまでもない。

本例では、最終的には、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、位置合わせの補助画像としての２枚の第２画像Ａ_１、Ａ_２及び２枚の第３画像Ｂ_１、Ｂ_２とを取得することになる。

図８は、合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の動作の他の実施形態を説明するために用いた図であり、図８の（Ａ）、（Ｂ）、及び（Ｃ）は、それぞれ合成用画像撮像モードによる１回目の撮像、２回目の撮像、及び３回目の撮像時の動作を模式的に示している。

図８に示す本体側ＣＰＵ２２０の動作の他の実施形態は、図７に示した本体側ＣＰＵ２２０の動作の一実施形態とは、主として露出条件が隣接する２枚の画像間で位置合わせ条件が満たしていないと判定された場合の、補助画像を撮像する際の撮像条件（２つの撮像条件を内分する補助画像の撮像条件）が相違する。図８の（Ａ）に示す１回目の撮像時の動作は、図７の（Ａ）に示した１回目の撮像時の動作と同じため、その説明は省略する。

図８の（Ｂ）に示すように、判定部２２０Ａにより２枚の第１画像Ｓ_−１、Ｓ_０の間で位置合わせ条件が満たされていないと判定されると、撮像条件算出部２２０Ｂは、２枚の第１画像Ｓ_−１、Ｓ_０の第１露出条件の平均（中央）の露出条件を、第２露出条件として算出する。

本例では、撮像条件算出部２２０Ｂは、第１画像Ｓ_０の露出値よりも（３／２）ＥＶ小さい露出値（第１画像Ｓ_−１の露出値よりも（３／２）ＥＶ大きい露出値）を、第２露出条件として算出する。

画像取得部２２１は、撮像条件算出部２２０Ｂにより第２露出条件が算出されると、図８の（Ｂ）に示すように第１露出条件による３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、第２露出条件による１枚の第２画像Ａとを連写により取得する。

判定部２２０Ａは、新たに取得された３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と１枚の第２画像Ａ（合計４枚の画像）に基づいて露出条件が隣接する２枚の画像の間で、位置合わせ条件が満たされているか否かを再度判定する。

図８の（Ｂ）に示す例では、２枚の第１画像Ｓ_０、第２画像Ａの間の特徴点のペアの個数は１０３であるため、判定部２２０Ａは、第１画像Ｓ_０、第２画像Ａの間では、位置合わせ条件を満たしていると判定する。

一方、２枚の第１画像Ｓ_−１、第２画像Ａの間の特徴点のペアの個数は９０であるため、判定部２２０Ａは、２枚の第１画像Ｓ_−１、第２画像Ａの間では、位置合わせ条件を満たしていないと判定する。

撮像条件算出部２２０Ｂは、判定部２２０Ａにより２枚の画像間（本例では、２枚の第１画像Ｓ_−１、第２画像Ａ）の間で位置合わせ条件が満たされていないと判定されると、第１画像Ｓ_−１の第１露出条件と第２画像Ａ_２の第２露出条件に基づいて第１画像Ｓ_−１の第１露出条件と第２画像Ａ_２の第２露出条件の平均（中央）の第３露出条件を算出する。

本例では、撮像条件算出部２２０Ｂは、第１画像あＳ_０の露出値よりも（９／４）ＥＶ小さい露出値を、第３露出条件として算出する。

画像取得部２２１は、撮像条件算出部２２０Ｂにより第３露出条件が算出されると、図８の（Ｃ）に示すように第１露出条件による３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、第２露出条件による１枚の第２画像Ａと、第３露出条件による１枚の第３画像Ｂとを連写により取得する。

判定部２２０Ａは、新たに取得された３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と１枚の第２画像Ａと１枚の第３画像Ｂ（合計５枚の画像）に基づいて露出条件が隣接する２枚の画像の間で、位置合わせ条件が満たされているか否かを再度判定する。

図８の（Ｃ）に示す例では、第２画像Ａ、第３画像Ｂの間の特徴点のペアの個数、及び第１画像Ｓ_−１、第３画像Ｂの間の特徴点のペアの個数はそれぞれ１０５であるため、判定部２２０Ａは、これらの画像間では、それぞれ位置合わせ条件を満たしていると判定する。尚、他の画像間も位置合わせ条件を満たしていることは言うまでもない。

＜第２の実施形態＞

図９は、主として合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の第２の実施形態を示す機能ブロック図である。尚、図９において、図６に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図９に示す第２の実施形態では、それぞれ撮像条件が異なる合成画像用の複数枚の画像

を撮像する際に、位置合わせ条件を満たす撮像条件で撮像する。

例えば、ＨＤＲ合成に使用する複数枚の第１画像を、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１とし、第１画像Ｓ_０の撮像条件（露出条件）は適正露出値であり、露出アンダーの第１画像Ｓ_−１の露出条件は、適正露出値に対して−３ＥＶの露出値であり、露出オーバーの第１画像Ｓ_＋１の露出条件は、適正露出値に対して＋３ＥＶの露出値とする。

この場合、±３ＥＶの範囲を、第１撮像条件よりも狭い刻み幅であって、位置合わせ条件を満たす刻み幅（例えば、（１／３)ＥＶ）で、同位置の被写体を連写する。±３ＥＶの範囲を、（１／３)ＥＶの刻み幅の露出条件で連写すると、適正露出の画像を含む１９枚の画像が撮像されることになる。

このようにして撮像された１９枚の画像を、一旦、カメラ本体２００内のＲＡＭ２０７に保存しておく。

図９に示す本体側ＣＰＵ２２０内の画像取得部２２３は、ＲＡＭ２０７から３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１を取得する。尚、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１は、ＲＡＭ２０７に保存された１９枚の画像のうちの、適正露出に対して−３ＥＶ、±０ＥＶ、＋３ＥＶで撮像された画像である。

次に、画像取得部２２３、判定部２２０Ａ、及び撮像条件算出部２２０Ｂの作用について、前述した図７を参照しながら説明する。

判定部２２０Ａは、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１のうちの第１露出条件が隣接する２枚の第１画像の間（第１画像Ｓ_−１、Ｓ_０の間、及び第１画像Ｓ_０、Ｓ_＋１の間）で、ＨＤＲ合成の位置合わせに必要な位置合わせ条件を満たしているか否かを判定する。

２枚の第１画像Ｓ_−１、Ｓ_０の間の特徴点のペアの個数は８０であり、基準値（１００）未満であるため、判定部２２０Ａは、２枚の第１画像Ｓ_−１、Ｓ_０の間では、位置合わせ条件を満たしていない（ＮＧ）と判定する。

撮像条件算出部２２０Ｂは、判定部２２０Ａにより２枚の第１画像Ｓ_−１、Ｓ_０の間で位置合わせ条件が満たされていないと判定されると、２枚の第１画像Ｓ_−１、Ｓ_０の２つの第１露出条件に基づいて２枚の第１画像Ｓ_−１、Ｓ_０の２つの第１露出条件を内分する第２露出条件を算出する。

本例では、撮像条件算出部２２０Ｂは、第１画像Ｓ_０の露出値よりも１ＥＶ小さい露出値と、第１画像Ｓ_−１の露出値よりも１ＥＶ大きい露出値を、それぞれ第２露出条件として算出する。

画像取得部２２３は、撮像条件算出部２２０Ｂにより第２露出条件が算出されると、ＲＡＭ２０７から第２露出条件に対応する２枚の第２画像Ａ_１、Ａ_２を読み出す。

判定部２２０Ａは、新たに取得された３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と２枚の第２画像Ａ_１、Ａ_２（合計５枚の画像）に基づいて露出条件が隣接する２枚の画像の間で、位置合わせ条件が満たされているか否かを再度判定する。

２枚の第２画像Ａ_１、Ａ_２の間の特徴点のペアの個数は９０であり、基準値（１００）未満であるため、判定部２２０Ａは、２枚の第２画像Ａ_１、Ａ_２の間では、位置合わせ条件を満たしていないと判定する。

撮像条件算出部２２０Ｂは、判定部２２０Ａにより２枚の第２画像Ａ_１、Ａ_２の間で位置合わせ条件が満たされていないと判定されると、２枚の第２画像Ａ_１、Ａ_２の２つの第２露出条件に基づいて２枚の第２画像Ａ_１、Ａ_２の２つの第２露出条件を内分する第３露出条件を算出する。

画像取得部２２３は、撮像条件算出部２２０Ｂにより第３露出条件が算出されると、ＲＡＭ２０７から第３露出条件に対応する２枚の第３画像Ｂ_１、Ｂ_２を読み出す。

判定部２２０Ａは、３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と２枚の第２画像Ａ_１、Ａ_２と２枚の第３画像Ｂ_１、Ｂ_２（合計７枚の画像）に基づいて露出条件が隣接する２枚の画像の間で、位置合わせ条件が満たされているか否かを再度判定する。

図７の（Ｃ）に示す例では、２枚の第２画像Ａ_１、第３画像Ｂ_１の間の特徴点のペアの個数、２枚の第３画像Ｂ_１、Ｂ_２の間の特徴点のペアの個数、及び２枚の第３画像Ｂ_２、第２画像Ａ_２の間の特徴点のペアの個数はそれぞれ１０５であるため、判定部２２０Ａは、これらの画像間では、それぞれ位置合わせ条件を満たしていると判定する。尚、他の画像間も位置合わせ条件を満たしていることは言うまでもない。

本例では、最終的には、１９枚の画像が保存されたＲＡＭ２０７から３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１と、位置合わせの補助画像としての２枚の第２画像Ａ_１、Ａ_２及び２枚の第３画像Ｂ_１、Ｂ_２とを取得することになる。

＜第３の実施形態＞

図１０は、主として合成用画像撮像モードによる撮像を実行する本体側ＣＰＵ２２０の第３の実施形態を示す機能ブロック図である。尚、図１０において、図６に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１０に示す第３の実施形態は、位置合わせ部２２０Ｃ、及び合成画像生成部２２０Ｄが追加されている点で、図６に示した第１の実施形態と相違する。

図１０において、位置合わせ部２２０Ｃは、全ての画像間の位置合わせ条件が満たされているとして最終的に取得された複数枚の画像の位置合わせを行う。

まず、ＨＤＲ合成に使用する３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１が、各画像間で位置合わせ条件を満たしている場合について説明する。

この場合、位置合わせ部２２０Ｃは、例えば、適正露出で撮像された第１画像Ｓ_０を位置合わせの基準画像とし、第１画像Ｓ_−１、Ｓ_＋１の特徴点が、基準画像の特徴点と一致するように第１画像Ｓ_−１、Ｓ_＋１をそれぞれ幾何変換する。

この幾何変形は、射影変換パラメータを使用した射影変換、アフィン変換パラメータを使用したアフィン変換、ヘルマート変換パラメータを使用したヘルマート変換等によって行うことができる。

いま、基準画像である第１画像Ｓ_０に対して射影変換により第１画像Ｓ_−１、Ｓ_＋１を位置合わせする場合、第１画像Ｓ_−１、Ｓ_＋１を、第１画像Ｓ_０の座標平面に投影（射影変換）する行列Ｈを求める。

第１画像Ｓ_−１におけるある特徴点Ｐ_２=(x_2,y_2)が、第１画像Ｓ_０におけるある特徴点Ｐ_１=(x_1,y_1)とマッチしているとき、次式、

に示す関係が成り立つ。マッチした対応点の組に対し、［数１］式を適用し、行列Ｈの要素に対する連立方程式を解くことで、行列Ｈが求まる。ここで、行列Ｈ中の係数ｈ_３３は１であるため、８個の係数を求める。４つの特徴点のペア（合計８個）の座標から、８個の連立方程式を解くことで、８個の係数（射影変換パラメータ）を有する行列Ｈを求めることができる。

本例では、２つの画像間の対応する特徴点のペアの個数が１００以上存在するため、１００以上の特徴点のペアのうち信頼性の高い４つの特徴点のペアにて、上記の射影変換パラメータを取得する。

例えば、ＮＳＡＣ(Random Sampling Consensus)法やＭ推定(M-estimation)法により信頼性の高い複数の特徴点のペアを推定し、最適な行列Ｈを求めることが好ましい。特徴点の各ペアの誤対応や位置のずれなどのノイズの影響を排除し、高精度に行列Ｈを計算するためである。

位置合わせ部２２０Ｃは、上記のように第１画像Ｓ_−１、Ｓ_＋１を、変換パラメータを使用して幾何変換し、基準画像である第１画像Ｓ_０に対して位置合わせを行う。

また、位置合わせ部２２０Ｃは、図７に示した例のように第１画像Ｓ_−１、Ｓ_０との間で位置合わせ条件が満たされていない場合には、位置合わせの補助画像として取得した２枚の第２画像Ａ_１、Ａ_２及び２枚の第３画像Ｂ_１、Ｂ_２を使用して位置合わせを行う。

この場合、まず、基準画像である第１画像Ｓ_０に対して、上記と同様にして第２画像Ａ_１の位置合わせを行う。続いて、位置合わせ後の第２画像Ａ_１に対して第３画像Ｂ_１の位置合わせを行う。この場合、位置合わせ後の第２画像Ａ_１と第３画像Ｂ_１との間で共通する特徴点の抽出を行い、抽出した特徴点に基づいて位置合わせを行う。以下、同様にして位置合わせ後の第３画像Ｂ_１に対して第３画像Ｂ_２の位置合わせを行い、位置合わせ後の第３画像Ｂ_２に対して第２画像Ａ_２の位置合わせを行い、最後に位置合わせ後の第２画像Ａ_２に対して第１画像Ｓ_−１の位置合わせを行う。

このようにして位置合わせされた第１画像Ｓ_−１は、最初の第１画像Ｓ_０に対して位置合わせされたものとなる。

合成画像生成部２２０Ｄは、位置合わせ部２２０Ｃによる位置合わせ後の３枚の第１画像Ｓ_−１、Ｓ_０、Ｓ_＋１に基づいてＨＤＲ合成する。例えば、画像のハイライト（明るい部分）の画素には、アンダー露光の第１画像Ｓ_−１の画素を割り当て（又は重み付けを大きくし）、シャドー（暗い部分）の画素には、オーバー露光の第１画像Ｓ_＋１の画素を割り当て（又は重み付けを大きくし）、ハイライトとシャドーの中間部分の画素には、適正露光の第１画像Ｓ_０の画素を割り当て（又は重み付けを大きくし）て合成する。

尚、ＨＤＲ合成する場合の露出条件が異なる画像の枚数、及びＨＤＲ合成の方法は、上記の実施形態に限らない。

＜画像位置合わせ補助方法＞

図１１は、本発明に係る画像位置合わせ補助方法の実施形態を示すフローチャートである。

図１１において、本体側ＣＰＵ２２０は、合成用画像撮像モードが設定され、シャッタレリーズスイッチ２２の操作による撮像指示を受け付けると、撮像部として機能する交換レンズ１００及びイメージセンサ２０１によりＨＤＲ合成用の露出条件が異なる複数枚の撮像を行わせ、複数枚の第１画像（合成用画像）を取得する（ステップＳ１０）。

判定部２２０Ａは、合成用画像以外の補助画像（第２画像、第３画像）が必要か否かを判別する（ステップＳ１２）。この判別は、前述したように露出条件が隣接する２つの第１画像間の対応する特徴点の個数が基準値以上か否かにより行うことができる。

補助画像は不要であると判別されると、ステップＳ１８に遷移する。

補助画像が必要であると判別されると、撮像条件算出部２２０Ｂは、必要な補助画像の撮像条件（第２撮像条件）を算出する（ステップＳ１４）。

続いて、合成用画像及び第２撮像条件に基づいて補助画像を取得する（ステップＳ１６）。

次に、（Ｍ＋Ｎ＋１）枚の画像を用意する（ステップＳ１８）。ここで、Ｍは、基準画像となる適正露光の第１画像Ｓ_０よりも露出値が小さい露出条件で撮像された画像の枚数であり、Ｎは、第１画像Ｓ_０よりも露出値が大きい露出条件で撮像された画像の枚数である。

続いて、（Ｍ＋Ｎ＋１）枚の画像を、露出値の大きさ順に並べ、画像Ｓ_ｎ（０≦ｎ≦Ｍ、Ｎ）とし、画像を特定するパラメータｎを０にセットする（ステップＳ２０）。ここで、ｎ＝０である画像Ｓ_０は、適正露光の第１画像Ｓ_０である。

次に、画像Ｓ_ｎと画像Ｓ_ｎ＋１とを比較し、補正量（位置合わせ用の変換パラメータ）を算出し（ステップＳ２２）、算出した補正量を元に画像Ｓ_ｎ＋１を補正（幾何変換）する（ステップＳ２４）。

同様に、画像Ｓ_−ｎと画像Ｓ_{−（ｎ＋１）}とを比較し、補正量を算出し（ステップＳ２６）、算出した補正量を元に画像Ｓ_{−（ｎ＋１）}を補正する（ステップＳ２８）。

次に、ｎ＜Ｎ、又はｎ＜Ｍの条件を満足しているか否かを判別し（ステップＳ３０）、「Yes」の場合には、パラメータｎを１だけインクリメントし、ステップＳ２２及びＳ２６に遷移させる。

「No」の場合には、（Ｍ＋Ｎ＋１）枚の全ての画像間の位置合わせが終了するため、その後、位置合わせされた（Ｍ＋Ｎ＋１）枚の画像を使用した合成画像の生成を行う（ステップＳ３４）。

本実施形態の撮像装置１０は、ミラーレスのデジタル一眼カメラであるが、これに限らず、一眼レフカメラ、レンズ一体型の撮像装置、デジタルビデオカメラ等でもよく、また、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞

図１２は、本発明の撮像装置の一実施形態であるスマートフォン５００の外観を示すものである。図１２に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、係る筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１３は、図１２に示すスマートフォン５００の構成を示すブロック図である。図１３に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記録部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Ｗｅｂデータ及びストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２

２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。また、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１２に示すように、例えば、スピーカ５３１、マイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記録部５５０は、主制御部５０１の制御プログラム、制御データ、アプリケーションソフトウェア（本発明に係る画像位置合わせ補助プログラムを含む）、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記録部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５６２により構成される。尚、記録部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記録媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、及びＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、又はオーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達し、又はスマートフォン５００の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、及び高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサ及びジャイロセンサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記録部５５０が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。

アプリケーション処理機能は、記録部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る画像位置合わせ補助機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図１に示した撮像装置１０に相当する。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１２に示すようにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、或いは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。さらには、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサ（ジャイロセンサ）と併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

［その他］

本実施形態では、ＨＤＲ合成用の撮像条件（露出条件）の異なる複数枚の画像を取得する場合、及び取得した複数枚の画像の位置合わせ及びＨＤＲ合成する場合について説明したが、本発明は、これに限らず、例えば、合焦距離の異なる複数枚の画像を取得する場合、及び取得した複数枚の画像の位置合わせ及び深度合成する場合にも適用できる。深度合成する場合には、位置合わせ用の補助画像も使用して深度合成することが好ましい。また、深度合成用の撮像条件は、複数の合焦距離（フォーカスレンズの位置）に対応する合焦条件である。

また、本実施形態において、例えば、本体側ＣＰＵ２２０等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

更にまた、本発明は、撮像装置内のコンピュータにインストールされることにより、本発明に係る撮像装置として機能させるプログラム、及びこのプログラムが記録された記録媒体を含む。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置

２０ ファインダ窓

２２ シャッタレリーズスイッチ

２３ シャッタスピードダイヤル

２４ 露出補正ダイヤル

２５ 電源レバー

２６ 接眼部

２７ ＭＥＮＵ／ＯＫキー

２８ 十字キー

２９ 再生ボタン

３０ 内蔵フラッシュ

１００ 交換レンズ

１０２ 撮像光学系

１０４ レンズ群

１０８ 絞り

１１６ フォーカスレンズ制御部

１１８ 絞り制御部

１２０ レンズ側ＣＰＵ

１２２ ＲＡＭ

１２４ ＲＯＭ

１２６ フラッシュＲＯＭ

１５０ レンズ側通信部

１６０ レンズマウント

２００ カメラ本体

２０１ イメージセンサ

２０２ イメージセンサ制御部

２０３ アナログ信号処理部

２０４ Ａ／Ｄ変換器

２０５ 画像入力コントローラ

２０６ デジタル信号処理部

２０７ ＲＡＭ

２０８ 圧縮伸張処理部

２１０ メディア制御部

２１２ メモリカード

２１４ 表示制御部

２１６ 液晶モニタ

２２０ 本体側ＣＰＵ

２２０Ａ 判定部

２２０Ｂ 撮像条件算出部

２２０Ｃ 位置合わせ部

２２０Ｄ 合成画像生成部

２２１、２２３ 画像取得部

２２２ 操作部

２２４ 時計部

２２６ フラッシュＲＯＭ

２２８ ＲＯＭ

２３０ ＡＦ制御部

２３２ ＡＥ制御部

２３４ ホワイトバランス補正部

２３６ 無線通信部

２３８ ＧＰＳ受信部

２４０ 電源制御部

２４２ バッテリ

２４４ レンズ電源スイッチ

２５０ 本体側通信部

２６０ 本体マウント

２６０Ａ 端子

２７０ フラッシュ発光部

２７２ フラッシュ制御部

２９６ ＦＰＳ制御部

５００ スマートフォン

５０１ 主制御部

５０２ 筐体

５１０ 無線通信部

５２０ 表示入力部

５２１ 表示パネル

５２２ 操作パネル

５３０ 通話部

５３１ スピーカ

５３２ マイクロホン

５４０ 操作部

５４１ カメラ部

５５０ 記録部

５５１ 内部記憶部

５５２ 外部記憶部

５６０ 外部入出力部

５６２ 外部記憶部

５７０ 受信部

５７０ ＧＰＳ受信部

５８０ モーションセンサ部

５９０ 電源部

Ｓ１０〜Ｓ３４ ステップ

Claims (21)

1. 
   段階的に異なる複数の条件から成る段階的な第１撮像条件によって撮像された複数枚の第１画像を取得する画像取得部と、
   
   前記取得した前記複数枚の第１画像が合成画像の位置合わせに必要な位置合わせ条件を満たしているか否かを、前記複数枚の第１画像のうちの前記段階的な第１撮像条件が隣接する２枚の第１画像の間において判定する判定部と、
   
   前記判定部により前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記２枚の第１画像の第１撮像条件に基づいて前記２枚の第１画像の２つの第１撮像条件を内分する第２撮像条件を算出する撮像条件算出部と、を備え、
   
   前記画像取得部は、前記判定部により前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記複数枚の第１画像及び前記第２撮像条件によって撮像された第２画像を取得する、画像位置合わせ補助装置。
   
2. 
   前記撮像条件算出部は、前記判定部により前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記２つの第１撮像条件と前記判定された位置合わせ条件とに基づいて、前記２つの第１撮像条件を内分する刻み幅を決定し、前記決定した刻み幅により前記第２撮像条件を算出する、請求項１に記載の画像位置合わせ補助装置。
   
3. 
   前記位置合わせ条件は、前記２枚の第１画像の間の特徴点であって、相互に対応する特徴点に基づく評価値である、請求項１又は２に記載の画像位置合わせ補助装置。
   
4. 
   前記評価値は、前記相互に対応する特徴点のペアの個数に対応した値である、請求項３に記載の画像位置合わせ補助装置。
   
5. 
   前記画像取得部は、それぞれ異なる撮像条件によって同一の被写体を連写する撮像部であり、前記判定部により前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記複数枚の第１画像と前記第２画像とを連写し、又は前記第２画像を追加撮像する、請求項１から４のいずれか１項に記載の画像位置合わせ補助装置。
   
6. 
   予め設定された前記第１撮像条件を含む前記第１撮像条件の刻み幅よりも狭い刻み幅によって同位置の被写体が連写された複数の画像を記憶する記憶部を備え、
   
   前記画像取得部は、前記記憶部から前記第１撮像条件によって撮像された前記複数枚の第１画像を取得し、前記判定部により前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記記憶部から前記撮像条件算出部により算出された前記第２撮像条件を有する前記第２画像を更に取得する請求項１から４のいずれか１項に記載の画像位置合わせ補助装置。
   
7. 
   前記第１撮像条件及び前記第２撮像条件は、露出条件又は合焦距離に対応する合焦条件である、請求項１から６のいずれか１項に記載の画像位置合わせ補助装置。
   
8. 
   前記判定部は、前記画像取得部が前記複数枚の第１画像及び前記第２画像を取得した場合、前記複数枚の第１画像及び前記第２画像が、前記位置合わせ条件を満たしているか否かを、前記段階的な第１撮像条件に前記第２撮像条件を加えた段階的な撮像条件が隣接する２枚の前記第１画像と前記第２画像の間、又は２枚の前記第２画像の間において判定し、
   
   前記撮像条件算出部は、前記判定部により前記２枚の第１画像と第２画像の間、又は前記２枚の第２画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記２枚の前記第１画像の第１撮像条件及び前記第２画像の第２撮像条件、又は前記２枚の前記第２画像の第２撮像条件に基づいて前記２枚の前記第１画像の第１撮像条件及び前記第２画像の第２撮像条件、又は前記２枚の前記第２画像の第２撮像条件を内分する第３撮像条件を算出し、
   
   前記画像取得部は、前記判定部により前記２枚の前記第１画像と前記第２画像の間、又は前記第２画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記複数枚の前記第１画像、前記第２画像及び前記第３撮像条件によって撮像された第３画像を取得する、請求項１から７のいずれか１項に記載の画像位置合わせ補助装置。
   
9. 
   前記判定部により前記複数枚の第１画像の全てが前記位置合わせ条件を満たしていると判定された場合、前記複数枚の第１画像のうちの１枚の第１画像を基準画像とし、前記基準画像に対して前記複数枚の第１画像のうちの前記基準画像以外の前記第１画像を位置合わせする位置合わせ部を備えた、請求項１から８のいずれか１項に記載の画像位置合わせ補助装置。
   
10. 
    前記位置合わせ部は、前記判定部により前記複数枚の第１画像の全てが前記位置合わせ条件を満たしていないと判定された場合、前記基準画像に対して前記複数枚の第１画像のうちの前記基準画像以外の前記第１画像、及び前記第２画像を位置合わせする、請求項９に記載の画像位置合わせ補助装置。
    
11. 
    前記位置合わせ部による位置合わせ後の前記複数枚の第１画像に基づいて前記合成画像を生成する合成画像生成部を備えた、請求項１０に記載の画像位置合わせ補助装置。
    
12. 
    前記位置合わせ部による位置合わせ後の前記複数枚の第１画像及び前記第２画像に基づいて前記合成画像を生成する合成画像生成部を備えた、請求項１０に記載の画像位置合わせ補助装置。
    
13. 
    請求項１から１２のいずれか１項に記載の画像位置合わせ補助装置を備えた、撮像装置。
    
14. 
    画像取得部が、段階的に異なる複数の条件から成る段階的な第１撮像条件によって撮像された複数枚の第１画像を取得するステップと、
    
    取得された前記複数枚の第１画像が合成画像の位置合わせに必要な位置合わせ条件を満たしているか否かを、判定部が、前記複数枚の第１画像のうちの前記段階的な第１撮像条件が隣接する２枚の第１画像の間において判定するステップと、
    
    前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、撮像条件算出部が、前記２枚の第１画像の第１撮像条件に基づいて前記２枚の第１画像の２つの第１撮像条件を内分する第２撮像条件を算出するステップと、
    
    前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記画像取得部が、前記複数枚の第１画像及び前記第２撮像条件によって撮像された第２画像を取得するステップと、
    
    を含む、画像位置合わせ補助方法。
    
15. 
    前記第２撮像条件を算出するステップは、前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記２つの第１撮像条件と前記判定された位置合わせ条件とに基づいて、前記２つの第１撮像条件を内分する刻み幅を決定し、前記決定した刻み幅により前記第２撮像条件を算出する、請求項１４に記載の画像位置合わせ補助方法。
    
16. 
    前記複数枚の第１画像及び前記第２画像が取得された場合、前記複数枚の第１画像及び前記第２画像が前記位置合わせ条件を満たしているか否かを、前記判定部が、前記第１撮像条件に前記第２撮像条件を加えた段階的な撮像条件が隣接する２枚の前記第１画像と前記第２画像の間、又は２枚の前記第２画像の間において判定し、
    
    前記２枚の第１画像と第２画像の間、又は前記２枚の第２画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記撮像条件算出部が、前記２枚の前記第１画像の第１撮像条件及び前記第２画像の第２撮像条件、又は前記２枚の前記第２画像の第２撮像条件に基づいて前記２枚の前記第１画像の第１撮像条件及び前記第２画像の第２撮像条件、又は前記２枚の前記第２画像の第２撮像条件を内分する第３撮像条件を算出し、
    
    前記判定部により前記２枚の前記第１画像と前記第２画像の間、又は前記２枚の前記第２画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記画像取得部が、前記複数枚の前記第１画像、前記第２画像及び前記第３撮像条件によって撮像された第３画像を取得する、請求項１４又は１５に記載の画像位置合わせ補助方法。
    
17. 
    前記複数枚の第１画像の全てが前記位置合わせ条件を満たしていると判定された場合、位置合わせ部が、前記複数枚の第１画像のうちの１枚の第１画像を基準画像とし、前記基準画像に対して前記複数枚の第１画像のうちの前記基準画像以外の前記第１画像を位置合わせするステップと、
    
    を含む、請求項１４から１６のいずれか１項に記載の画像位置合わせ補助方法。
    
18. 
    前記複数枚の第１画像の全てが前記位置合わせ条件を満たしていないと判定された場合、前記位置合わせ部が、前記基準画像に対して前記複数枚の第１画像のうちの前記基準画像以外の前記第１画像、及び前記第２画像を位置合わせする、請求項１７に記載の画像位置合わせ補助方法。
    
19. 
    合成画像生成部が、前記位置合わせ後の前記複数枚の第１画像に基づいて前記合成画像を生成するステップを含む、請求項１８に記載の画像位置合わせ補助方法。
    
20. 
    前記合成画像を生成するステップは、前記位置合わせ後の前記複数枚の第１画像及び前記第２画像に基づいて前記合成画像を生成する、請求項１８に記載の画像位置合わせ補助方法。
    
21. 
    画像取得部が、段階的に異なる複数の条件から成る段階的な第１撮像条件によって撮像された複数枚の第１画像を取得する機能と、
    
    前記取得された前記複数枚の第１画像が合成画像の位置合わせに必要な位置合わせ条件を満たしているか否かを、前記複数枚の第１画像のうちの前記段階的な第１撮像条件が隣接する２枚の前記第１画像の間において判定する機能と、
    
    前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記２枚の第１画像の第１撮像条件に基づいて前記２枚の第１画像の２つの第１撮像条件を内分する第２撮像条件を算出する機能と、
    
    前記２枚の第１画像の間において前記位置合わせ条件が満たされていないと判定された場合、前記画像取得部が、前記複数枚の第１画像及び前記第２撮像条件によって撮像された第２画像を取得する機能と、
    
    をコンピュータに実現させる画像位置合わせ補助プログラム。

Images