WO2019026923A1

WO2019026923A1 - 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

Info

Publication number: WO2019026923A1
Application number: PCT/JP2018/028709
Authority: WO
Inventors: 豊田　哲也; 和彦長; 和男神田; 佳之福谷; 和彦志村; 伸之志摩; 金田一　剛史; 拓也松永; 健人原; 野中　修
Original assignee: オリンパス株式会社
Priority date: 2017-08-03
Filing date: 2018-07-31
Publication date: 2019-02-07

Abstract

画像処理装置は、異なる撮影条件で撮影された複数の撮像画像を取得する画像取得部と、上記複数の撮像画像を用いて合成画像を生成するものであって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを有する合成制御部とを具備する。

Description

画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

　本発明は、画像合成が可能な画像処理装置、画像処理方法、画像処理プログラム及び撮像装置に関する。

　従来、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。撮像装置によって撮像された画像は、鑑賞用途だけでなく、診断、検査、測定、計数、分析、監視等の鑑賞用途以外の各種用途（以下、画像データ用途という）に用いられることがある。一般的には、撮像されて得られた画像は、画像処理装置によって、各用途に適した画像処理が施される。

　この種の撮像装置において使われる画像ファイルは、撮影情報等の規格化された情報、例えば、露出時間、絞り値、露出プログラム、ＩＳＯ感度、撮影日時の情報等を含む。写真用のメタデータを含む画像ファイルフォーマットとしてエクスチェンジャブル・イメージ・ファイル・フォーマット（Ｅｘｉｆ）が使用されている。このＥｘｉｆ情報として、シャッタ速度、絞り値（Ｆ値）、ＩＳＯ感度等の情報が画像データと共に記録される。ユーザは、画像ファイル中のメタデータの内容を参照することで、当該画像の撮影条件等を確認することができ、例えば今後の撮影のパラメータ設定等の示唆を得ることができる。

　ところで、画像処理装置においては、撮影して得た複数枚の画像を合成して合成画像を得る合成処理が可能なものものある。例えば、露出を変化させながら複数枚の写真を撮影して合成することで、ダイナミックレンジを拡大し、白飛びや黒つぶれを抑制するハイダイナミックレンジ（ＨＤＲ）合成処理やピント位置を変化させながら複数回の撮影を行って得た複数の撮像画像を合成（深度合成）することで、ユーザが狙った被写体の全体にピントが合った画像を得る深度合成処理等が可能な画像処理装置も商品化されている。

　また、撮影方向を変化させながら撮影して得た複数枚の撮像画像を合成するパノラマ合成処理や、撮像素子の画素位置をずらしながら撮影して得た複数枚の撮像画像を合成する超解像度合成処理等が可能な画像処理装置もある。

　例えば、日本国特開２０１５－１５６５２３号公報においては、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える装置が開示されている。

　また、日本国特開２００９－３２１８２号公報では、入力された画像データから顔領域を抽出し、抽出した顔領域の全画像領域に占める割合が所定の閾値以上であるかを判定し、所定の閾値以上である場合に顔領域の色情報を算出し、また、顔領域以外の領域（背景領域）においてシーン判定を行って撮影シーンを判定することにより、背景領域の階調も考慮しつつ、顔領域を好ましく露出補正する技術が開示されている。

　ところで、画像合成処理は、合成後の１枚の合成画像が全体的に各用途に適した画像となるように画像処理が施されている。即ち、合成画像の作成には、複数の撮像画像がそのまま用いられておらず、画像の各部分では被写体光学像から得た画像が忠実に再現されていない場合がある。

　本発明は、画像合成によって、鑑賞用途だけでなく画像データそのものとしての記録用途としても有用な合成画像を、いずれの用途用であるかを識別可能にすることができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することを目的とする。

　本発明の一態様による画像処理装置は、異なる撮影条件で撮影された複数の撮像画像を取得する画像取得部と、上記複数の撮像画像を用いて合成画像を生成するものであって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを有する合成制御部とを具備する。

　本発明の一態様による画像処理方法は、異なる撮影条件で撮影された複数の撮像画像を取得する手順と、上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順とを具備する。

　本発明の一態様による画像処理プログラムは、コンピュータに、異なる撮影条件で撮影された複数の撮像画像を取得する手順と、上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順とを実行させる。

　本発明の一態様による撮像装置は、上記画像処理装置と、異なる撮影条件で被写体を撮像して上記複数の撮像画像を得る撮像部とを具備する。

本発明の第１の実施の形態に係る画像処理装置を示すブロック図。鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図。再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図。再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図。ＨＤＲ合成モードにおける撮像タイミングチャート。画像合成モードが指定されている場合のカメラ制御を示すフローチャート。画像ファイルに記録される内容を説明するための説明図。画像ファイルに記録される内容を説明するための説明図。深度合成による部分再現性重視モードの合成画像を示す説明図。本発明の第２の実施の形態において採用される画像合成処理を示すフローチャート。第２の実施の形態において作成される画像ファイルを示す説明図。第２の実施の形態において作成される画像ファイルを示す説明図。本発明の第３の実施の形態に係る画像処理装置を有する撮像装置を示すブロック図。深度合成モードにおける撮影の様子を示す説明図。深度合成モードにおける動作を説明するための説明図。深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。横軸にピント位置をとり縦軸に距離の逆数をとって、所定のレンズについてピント位置と距離との関係を示すグラフ。硬貨の種類と直径との関係を示す図表。キャリブレーション処理のフローを示すフローチャート。キャリブレーション時の撮影の様子を示す説明図。第３の実施の形態の動作を説明するためのフローチャートである。通常撮影時の画像ファイルに記録される内容を説明するための説明図。深度合成モード時の画像ファイルに記録される内容を説明するための説明図。変形例を示す説明図。他の変形例を示す説明図。本発明の第４の実施の形態において採用される深度合成のピント位置シフト制御を示すフローチャート。深度合成による撮像画像のコントラストの変化を示す説明図。本発明の第５の実施の形態を示すフローチャート。第５の実施の形態の深度合成モードにおける撮影の様子を示す説明図。深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。キャリブレーションを説明するための説明図。本発明の第６の実施の形態に係るカメラの主として電気的構成を示すブロック図。本発明の第６の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第６の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第６の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第６の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第６の実施の形態に係るカメラにおけるノイズリダクション（ＮＲ）合成処理を説明する図。本発明の第６の実施の形態に係るカメラにおける電子手振れ防止処理を説明する図。本発明の第６の実施の形態におけるカメラのカメラ制御動作を示すフローチャート。本発明の第６の実施の形態におけるカメラのカメラ制御動作を示すフローチャート。本発明の第６の実施の形態におけるカメラにおいて、メタデータの表示の例を示す図。本発明の第６の実施の形態におけるカメラにおいて、メタデータの表示の例を示す図。本発明の第６の実施の形態におけるカメラにおいて、メタデータの表示の例を示す図。本発明の第７の実施の形態に係るカメラの主として電気的構成を示すブロック図。本発明の第７の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける深度合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける超高解像合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第７の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第７の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第７の実施の形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図。本発明の第７の実施の形態に係るカメラにおけるノイズリダクション（ＮＲ）合成処理を説明する図。本発明の第７の実施の形態に係るカメラにおける電子手振れ防止処理を説明する図。本発明の第７の実施の形態におけるカメラのカメラ制御動作を示すフローチャート。本発明の第７の実施の形態におけるカメラのカメラ制御動作を示すフローチャート。本発明の第７の実施の形態におけるカメラにおいて、メタデータの表示の例を示す図。本発明の第７の実施の形態におけるカメラにおいて、メタデータの表示の例を示す図。本発明の第７の実施の形態におけるカメラにおいて、メタデータの表示の例を示す図。本発明の第７の実施の形態における深度合成の動作を示すフローチャート。本発明の第７の実施の形態において、深度合成を行うために撮影する際の個々の撮影距離を示す図。本発明の第７の実施の形態において、深度合成を行うために撮影する際の個々の光学系の光路を示す図。本発明の第７の実施の形態において、深度合成を行った際の換算距離を算出するための説明図。本発明の第７の実施の形態において、深度合成を行った際の換算距離の別の算出を説明するための図。本発明の第７の実施の形態における深度合成の変形例の動作を示すフローチャート。

　以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
　図１は本発明の第１の実施の形態に係る画像処理装置を示すブロック図である。なお、以下の説明では、画像処理装置１０は、撮像部を有する撮像装置１に内蔵されたものとして説明するが、画像処理装置１０としては、撮像装置に内蔵されたものでなく、外部の撮像部からの撮像画像が与えられて画像処理を行うものであってもよい。

　撮像装置に内蔵された画像処理装置は、撮像部に対してＨＤＲ合成や深度合成等の合成処理のための撮像制御を行う。本実施の形態における画像処理装置は、撮像して得た複数枚の画像合成に際して鑑賞用途用の画像処理及び画像データ用途用の画像処理を行うことが可能である。本実施の形態においては、鑑賞用途用の画像処理では合成画像の全体として鑑賞性に優れた画像を得るための合成画像処理を行い、画像データ用途用の画像処理では、合成画像の各部において、被写体を忠実に再現可能な画像を得るための合成画像処理を行う。

　なお、被写体を忠実に再現可能な画像とは、被写体光学像を忠実に再現する画像であってもよく、例えば、ピント位置及び露出が適正な撮影条件の元に撮影された画像であってもよい。また、被写体を忠実に再現可能な画像としては、撮像部からの画像そのものだけでなく、撮像部からの画像に所定の画像信号処理を施した画像を含む。

　画像データ用途は、主に科学技術分野で利用されることが多いので、科学技術用途と言ってもよく、また、測定機器等の装置によって自動的に利用されることが考えられ、測定用途或いは機械用途と言ってもよい。画像データ用途の画像は、利用される用途に応じて、必要とされる情報が異なることが考えられるが、被写体の画像情報の情報量が大きい画像が好ましく、例えば、画像の部分部分においてピントが合って適正露出の画像であった方が良い場合が多い。なお、画像データ用途の画像を生成するモードを部分再現性重視モードと言い、部分再現性重視モードにおいて得られた画像を部分再現性重視画像ともいう。

　撮像部が被写体光学像から得た画像は、撮像時の撮影条件に応じたものである。例えば、ＨＤＲ合成や深度合成等においては、ピント位置、露出時間、絞り値、ＩＳＯ感度等の各種撮影条件を変化させた複数回の撮像によって合成に用いる複数枚の画像が取得されており、これらの画像は、取得された撮影条件に応じて相互に異なる画像となっている。

　本実施の形態においては、部分再現性重視モードでは、画像を複数の領域（以下、再現性重視領域という）に分け、各再現性重視領域内の画像は同一の撮影条件で撮像されて得られた画像で構成される。従って、部分再現性重視画像は、画像の各再現性重視領域の境界における画像の連続性がない場合があり、１枚の画像全体では画像品位が低いことがある反面、画像の部分部分では、被写体の再現性に優れた画像となっている。

　図１において、撮像装置１には撮像部２０が設けられている。撮像部２０は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない撮影レンズ（光学系）とを備える。撮影レンズとしては、撮像部２０に取り付けられた固定のレンズであってもよく、また、交換式のレンズであってもよい。この撮影レンズは、ズームやフォーカシングのための図示しないレンズ等を備えており、これらのレンズは、撮影条件変更部２１によって駆動制御されるようになっている。撮影条件変更部２１は、後述する信号処理部１２の撮影条件設定部１３ａからの制御信号に基づいて、フォーカシングのためのレンズを駆動してピント位置を変更すると共に、図示しない絞りや撮像素子のシャッタスピード等を制御することができるようになっている。なお、撮像部２０において採用する撮像素子としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素（以下、ＡＦ画素という）を有するものであってもよい。

　画像処理装置１０の制御部１１は、例えば、図示しないメモリに記憶されたプログラムに従ってカメラ制御を行う図示しないＣＰＵ等を用いたプロセッサによって構成することができる。画像処理装置１０には、操作判定部１８が設けられている。操作判定部１８は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む図示しない操作部に対するユーザ操作を判定し、判定結果に基づく操作信号を制御部１１に供給するようになっている。画像処理装置１０には各種のセンサにより構成されるセンサ部１６が設けられている。センサ部１６は、例えば、加速度センサやジャイロセンサ等の各種センサを含んでおり、各種センサの検出結果を制御部１１に与える。制御部１１は操作判定部１８からの操作信号及びセンサ部１６の検出結果に基づいて各部を制御する。

　信号処理部１２は画像取得部１３及び画像処理部１４を備えている。画像取得部１３は、制御部１１に制御されて、撮像画像取得のための処理を実行する。即ち、画像取得部１３中の撮影条件設定部１３ａは、撮像部２０の撮影条件変更部２１に設定信号を出力してシャッタスピード、露光時間、絞り、ＩＳＯ感度等を制御する。また、撮影条件設定部１３ａは、撮影条件変更部２１に設定信号を出力して、ピント位置及びズーム位置を制御すると共に、オートフォーカス制御が可能である。例えば、撮影条件設定部１３ａは、所謂山登りコントラスト法によるオートフォーカス制御や像面位相差法によるオートフォーカス制御を行ってもよい。

　画像取得部１３は、撮像部２０からの撮像画像を読み出して画像処理部１４に与える。画像処理部１４は、制御部１１に制御されて、読み出された撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

　信号処理部１２は、表示に関する各種処理を実行する。信号処理部１２は、画像処理部１４による信号処理後の撮像画像を表示部３０に与えることができる。表示部３０は、ＬＣＤ（液晶パネル）等の表示画面を有しており、信号処理部１２から与えられた画像を表示する。また、信号処理部１２は、各種メニュー表示等を表示部３０の表示画面に表示させることもできるようになっている。

　なお、表示部３０の表示画面上には、図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

　なお、表示部３０の表示画面は撮像装置１の図示しない筐体の背面に沿って設けられており、撮影者は、撮影時に表示部３０の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

　画像処理装置１０には通信部１５が設けられている。信号処理部１２は、通信部１５を制御して、外部機器との間で通信を行うことができる。通信部１５は、信号処理部１２に制御されて、外部機器との間で有線又は無線によるデータの送信及び受信が可能である。例えば、通信部１５としては、ＵＳＢ規格の有線通信やＷｉｆｉ（登録商標）等の無線ＬＡＮやブルートゥース（登録商標）等による無線通信が可能に構成されている。信号処理部１２は、通信部１５を介して、撮像画像、合成画像等の画像ファイルやその他の各種情報を外部機器に送信することができるようになっている。

　信号処理部１２は、各種信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部４０に与えて記録させることができる。記録部４０は、所定の記録媒体を備えており、信号処理部１２によって画像ファイルが記録されるようになっている。例えば、記録制御部としての信号処理部１２は、画像ファイルとして例えばＥｘｉｆ（Exchangeable image file format）などの特定形式の画像ファイルを記録することができる。記録部４０は、画像ファイル中の静止画及び動画の画像データ部分を記録する領域である画像記録部４１及びメタデータ部分を記録する領域である付随情報記録部４２を備えている。また、記録部４０には、所定の対象物の特徴量を記録した対象物分類データベース（ＤＢ）４３が設けられている。

　画像処理部１４は、画像合成処理を行う適応処理部１４ｂを備えている。合成制御部としての適応処理部１４ｂは、通常のＨＤＲ合成や深度合成等の鑑賞性に優れた画像合成を生成するモード（以下、鑑賞性重視モードという）において、複数枚の撮像画像を用いて１枚の合成画像を生成する。この場合には、適応処理部１４ｂは、公知の合成処理を行うことによって、１枚の画像全体で鑑賞性に優れた合成画像を生成する。

　本実施の形態においては、適応処理部１４ｂは、部分再現性重視モードにおいてＨＤＲ合成や深度合成等の画像合成を行う場合には、合成前の１枚の撮像画像を用いて合成画像の１つの領域（再現性重視領域）の画像部分を生成する。即ち、合成画像の１つの再現性重視領域の画像部分は、合成前の１枚の撮像画像のみを用いて生成されるので、当該領域内は同一の撮影条件で撮影が行われて同一の画像処理が施された画像により構成される。従って、この再現性重視領域内は、被写体光学像を忠実に再現したものとなっている。

　画像処理部１４には領域判定部１４ａが設けられており、領域判定部１４ａは、１枚の撮像画像を用いて生成される合成画像の再現性重視領域を判定するようになっている。例えば、領域判定部１４ａは、ＨＤＲ合成時には、輝度分布のレベル範囲に応じて再現性重視領域を判定してもよい。例えば、領域判定部１４ａは輝度レベルを複数段階に分け、各段階の輝度レベル範囲毎に再現性重視領域を設定してもよい。また、領域判定部１４ａは、再現性重視領域の設定に際して、画像中の各対象物毎に再現性重視領域を設定してもよい。

　対象物分類ＤＢ４３は、対象物の特徴量が記憶されており、領域判定部１４ａは、撮像画像に対して画像解析処理を行い、対象物分類ＤＢ４３から読出した特徴量と撮像画像の各画像部分の特徴量との比較によって、画像中から各対象物を抽出して、対象物の形状に沿った領域又は対象物を囲む所定の領域を再現性重視領域に設定するようになっていてもよい。

　また例えば、領域判定部１４ａは、深度合成時には、合焦分布の範囲に応じて再現性重視領域を判定してもよい。例えば、領域判定部１４ａは各撮像画像中で合焦状態が得られている領域を再現性重視領域に設定してもよい。この場合にも、領域判定部１４ａは、再現性重視領域の設定に際して、画像中の各対象物を判定して、対象物の形状に沿った領域又は対象物を囲む所定の領域を再現性重視領域に設定するようになっていてもよい。

　なお、領域判定部１４ａは、ユーザによる領域指定操作によって、再現性重視領域を決定するようになっていてもよい。

　図２Ａ、図２Ｂ及び図３Ａ～図３Ｃは鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図である。ＨＤＲ合成処理では、同一画角の同一被写体についての露出値が異なる複数枚の撮像画像を取得する。図２Ａの画像５１は露出アンダで撮影して得た画像を示している。

　図２Ａの撮像画像５１は、中央に山の画像５１ａと、山の手前の比較的暗い森の画像５１ｂと山の後方の比較的明るい空の画像５１ｃとを含んでいる。画像５１は露出アンダであり、画像５１中の暗い森の画像５１ｂは黒つぶれしていることを示している。

　図３Ａ～図３Ｃは横軸に垂直線Ｙ上の各垂直画素位置ＹＩ０～ＹＩ３をとり縦軸に各画素の画素出力（輝度レベル）をとって、垂直線Ｙ上の輝度分布を示している。図３Ａは図２Ａの垂直線Ｙ上の輝度レベルであって、適正露出で撮影された場合の輝度レベルを示している。垂直画素位置ＹＩ０～ＹＩ１の範囲は、輝度レベルが低く、殆どノイズレベル以下である。垂直画素位置ＹＩ１～ＹＩ２の範囲は、輝度レベルが適正である。垂直画素位置ＹＩ２～ＹＩ３の範囲は、輝度レベルが高く、殆ど飽和レベル以上である。

　鑑賞性重視モードにおける通常のＨＤＲ合成では、露出アンダから露出オーバまで露出を変化させて複数回の撮像を行って合成する。図３Ｂはこの合成画像の輝度レベルを示している。通常のＨＤＲ合成では、画像全体で鑑賞性に優れた画像とするために、各撮像画像の輝度レベルを調整し、図３Ｂに示すように、画像全体の輝度レベルがノイズレベルと飽和レベルとの間の適正レベルに収まるように画像処理を行う。図３Ｂでは、露出が異なる複数枚の撮像画像を単に合成するだけでなく、各画像の輝度レベルを圧縮すると共に、各画像の境界部分のレベルが連続するように輝度調整が行われている。

　図２Ｂはこうして生成されたＨＤＲ合成画像５２を示している。即ち、このＨＤＲ画像５２は、明るい部分の空の画像５２ａは白飛びすることなく色が表現されている。また、画像５２は、暗い森の部分についても色を表現することが可能であり、この部分は比較的明るい森の画像５２ｂ１と比較的暗い森の画像５２ｂ２とが表現されている。

　これに対し、本実施の形態における部分再現性重視モードのＨＤＲ合成では、合成画像を構成する複数の撮像画像がそのまま用いられる。図３Ｃは図３Ｂに対応したものであり、部分再現性重視モードにおけるＨＤＲ合成画像の輝度レベルを示している。図３Ｃは３枚の撮像画像を合成して１枚の合成画像を生成した例を示している。合成に用いられた各撮像画像は、撮影時の撮影条件及び画像処理が相互に異なり、領域判定部１４ａが判定した再現性重視領域内では、同一の撮影条件及び画像処理が適用されている。このため、図３Ｃに示すように、各撮像画像の境界部分が不連続となることがある反面、垂直画素位置ＹＩ０～ＹＩ１，ＹＩ１～ＹＩ２，ＹＩ２～ＹＩ３の各範囲の輝度変化は被写体光学像の輝度変化を忠実に再現しており、再現性重視領域内では、被写体光学像の再現性に優れている。

　また、鑑賞性重視モードにおけるＨＤＲ合成では、画像の全体が適正レベル範囲に入るように輝度レベル分布が圧縮されるのに対し、部分再現性重視モードにおけるＨＤＲ合成では、再現性重視領域が適正レベル範囲に入るように輝度レベル分布が設定されるので、再現性重視領域内の輝度変化が比較的大きく、再現性重視領域毎の画像のダイナミックレンジが大きく、画像解析に有利な画像が得られる。

　従って、本実施の形態の部分再現性重視モードにおけるＨＤＲ合成を採用すると、撮影範囲の暗い部分も明るい部分もそれぞれ適正な明るさで、且つ十分なダイナミックレンジを有し、観察や画像解析に有利な画像が得られる。

　図４Ａ、図４Ｂ及び図５Ａ～図５Ｃは鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図である。深度合成処理では、同一画角の同一被写体についてのピント位置が異なる複数枚の撮像画像を取得する。

　図４Ａの撮像画像６１は、実線によってトンボ６２の前ばね６２ｂにピントが合っており、破線によって頭６２ａ、後ばね６２ｃ及び腹６２ｄにはピントが合っていないことを示している。即ち、画像６１は前ばね６２ｂにピントを合わせて撮影されて得られた画像である。

　図５Ａ～図５Ｃは横軸に垂直線Ｙ上の各垂直画素位置ＹＩ０～ＹＩ３をとり縦軸に被写体までの距離の逆数をとって、垂直線Ｙ上の合焦状態分布を示している。図５Ａは図４Ａの垂直線Ｙ上の合焦状態分布であって、前ばね６２ｂにピントを合わせた状態で撮影された場合の合焦状態分布を示している。垂直画素位置ＹＩ０～ＹＩ１の範囲は、合焦範囲内の遠端と近端との間の被写体の画像部分及び合焦範囲内の遠端と近端との間以外の被写体の画像部分を含む。垂直画素位置ＹＩ１～ＹＩ２の範囲は、合焦範囲内の被写体の画像部分である。垂直画素位置ＹＩ２～ＹＩ３の範囲は、合焦範囲内の遠端よりも遠い被写体の画像部分である。

　鑑賞性重視モードにおける通常の深度合成では、遠端から近端までピント位置を変化させて複数回の撮像を行って合成する。図５Ｂの破線はこの合成画像の合焦状態分布を示している。通常の深度合成では、画像全体で鑑賞性に優れた画像とするために、画像各部においてピントがあった複数枚の撮像画像を取得し、主要被写体については合焦状態分布が合焦状態の遠端と近端との間に入るように画像処理を行う。図５Ｂの例は、実線にて合焦状態を示すピント位置が異なる３枚の撮像画像を単に合成するだけでなく、各画像の境界部分において、連続的な合焦状態（破線）が得られるように画像処理が施されている。

　図４Ｂはこうして生成された深度合成画像６３を示している。即ち、この深度合成画像６３は、トンボ６２の全域に亘ってピントが合っていることを実線にて示してある。

　これに対し、本実施の形態における部分再現性重視モードの深度合成では、合成画像を構成する複数の撮像画像がそのまま用いられる。図５Ｃは図５Ｂに対応したものであり、部分再現性重視モードにおける深度合成画像の合焦状態分布を示している。図５Ｃは３枚の撮像画像を合成して１枚の合成画像を生成した例を示している。合成に用いられた各撮像画像は、撮影時の撮影条件及び画像処理が相互に異なり、領域判定部１４ａが判定した再現性重視領域内では、同一の撮影条件及び画像処理が適用されている。このため、図５Ｃに示すように、各撮像画像の境界部分が不連続となることがある反面、垂直画素位置ＹＩ０～ＹＩ１，ＹＩ１～ＹＩ２，ＹＩ２～ＹＩ３の各範囲の合焦状態分布は被写体光学像の合焦状態分布を忠実に再現しており、再現性重視領域内では、被写体光学像の再現性に優れている。

　従って、本実施の形態の部分再現性重視モードにおける深度合成を採用すると、再現性重視領域内では、観察や画像解析に有利な画像が得られる。

　信号処理部１２は、画像合成が行われた場合には、各合成画像の画像ファイルに、通常の鑑賞性重視モードによって生成された画像であるか部分再現性重視モードによって生成された画像であるかを示すタグを付加するようになっている。なお、信号処理部１２は、画像ファイル中の画像データ部分を記録部４０の画像記録部４１に記録し、タグデータを付随情報記録部４２に記録する。

　更に、本実施の形態においては、信号処理部１２は、画像合成中の各再現性重視領域がいずれの撮像画像を用いたものかについて、その撮像画像の撮影条件及び画像処理の内容と共に、タグデータとして付随情報記録部４２に記録するようになっている。

　ところで、上述したように、再現性重視領域内では同一の撮影条件及び画像処理が設定されるが、再現性重視領域毎に撮影条件及び画像処理を変化させてもよい。これにより、各再現性重視領域において、より画像解析等に有利な画像を得ることができる。

　図６Ａ，６Ｂ及び図７は再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図である。図６Ａ及び図６Ｂはそれぞれ図２Ａ又は図２Ｂに対応しており、画像処理の変化を明瞭に示すために被写体（画像構成物）として「温泉」の看板が撮像されているものとして、撮像画像７１及び合成画像７２にはそれぞれ当該看板の画像７２ａ，７２ｂを含む例を示している。

　図７は各被写体（画像構成物）に対する画像処理の処理内容を示している。領域判定部１４ａは、撮像画像に対する画像解析によって、画像中の各被写体を画像構成物（対象物）として判定する。そして、画像処理部１４ｂは、領域判定部１４ａが判定した画像中の対象物の種類に応じて適切な画像処理を実行する。なお、対象物の種類毎の画像処理の内容については、記録部４０にデータベースとして記録されているものとする。

　例えば、被写体が「空」である場合には、適応処理部１４ｂは、画像のコントラストを低く階調を少なくすると共に、色判定及びノイズ判定処理を高精度に行う。また、例えば、被写体が「山」又は「森」である場合には、適応処理部１４ｂは、コントラストを高くして通常の階調にする。また、例えば、被写体が「文字」である場合には、適応処理部１４ｂは、コントラストを高くして２値化する。この２値化によって、文字部分が明瞭となる。

　図６Ａの看板の画像７１ａは、ハッチングによって文字部分と背景部分とのコントラストが比較的小さく、文字の判別が多少困難であることを示している。これに対し、図６Ｂの看板の画像７２ａは、この画像部分を高コントラスト化して２値化しているので、文字部分が明瞭となっている。

　次に、このように構成された実施の形態の動作について図８から図１１を参照して説明する。図８はＨＤＲ合成モードにおける撮像タイミングチャートを示し、図９は画像合成モードが指定されている場合のカメラ制御を示すフローチャートである。また、図１０Ａ及び図１０Ｂは画像ファイルに記録される内容を説明するための説明図であり、図１０Ａは通常の画像ファイルを示し、図１０Ｂは合成画像の画像ファイルを示している。また、図１１は深度合成による部分再現性重視モードの合成画像を示す説明図である。

　図９のステップＳ１において、制御部１１は、撮影モードが指定されているか否かを判定する。撮影モードが指定されている場合には、制御部１１は、ステップＳ２においてスルー画用の撮像画像を取得する。即ち、制御部１１は、信号処理部１２に指示を与えて、撮像部２０に被写体を撮像させ、画像処理部１４は撮像部２０からの撮像画像に所定の画像処理を施して表示部３０に与える。表示部３０は、スルー画を表示画面上に表示すると共に、オートフォーカス機能及び自動露出機能により、ピント位置及び標準露出の設定を行う（ステップＳ３）。本実施の形態においては、適応処理部１４ｂは、撮像画像に対してＨＤＲ合成処理を行って、ＨＤＲ合成画像をスルー画として表示部３０の表示画面上に表示させることもできる。

　図８はライブビューの撮像タイミング、取得した撮像画像、合成処理、鑑賞用途と画像データ用途用の合成画像を示している。信号処理部１２は、スルー画表示時にＨＤＲ合成画像を表示させるために、撮像毎に露出を変化させている。図８の例では、１画像毎に露出オーバでの撮影と露出アンダでの撮影を交互に行う。そして、適応処理部１４ｂは、露出オーバと露出アンダの２つの撮像画像を合成処理して、スルー画用のＨＤＲ合成画像（ＨＤＲＬＶ）を生成する。こうして、ライブビュー表示において、ＨＤＲ合成された見やすい画像が表示される。

　更に、本実施の形態においては、領域判定部１４ａはスルー画を利用して、画像中の対象物を判定する。なお、領域判定部１４ａは、例えば、対象物の領域を再現性重視領域に設定してもよく、対象物を含む矩形等の再現性重視領域を設定してもよい。

　制御部１１は、ステップＳ４において、モード切換の指示があったか否かを判定する。モード切換の指示が発生した場合には、制御部１１はステップＳ５において、指示されたモードの各種設定を行った後、ステップＳ６に処理を移行する。

　こうして、制御部１１は、所定のモードにおいて、静止画レリーズスイッチ（ＳＷ）が操作されたか否かを判定する（ステップＳ６）。静止画レリーズＳＷが操作されると、制御部１１はステップＳ７において、部分再現性重視モードが指定されているか否かを判定する。

　いま、鑑賞性重視モードでの画像合成が指定されているものとする。この場合には、制御部１１は、処理をステップＳ７からステップＳ８に移行する。適応処理部１４ｂは、ステップＳ８において、画像全体で鑑賞性に優れた画像合成を行う。図８の例では、適応処理部１４ｂは露出オーバ（露出Ａ）で撮影して得た撮像画像と露出アンダ（露出Ｂ）で撮影して得た撮像画像とを用いて、通常のＨＤＲ合成処理を行う。通常のＨＤＲ合成では、上述したように、２つの撮像画像をそのまま用いて合成するだけでなく、各撮像画像の境界領域等における画像処理によって、画像全体として違和感のない陰影が得られるように、画像処理が施される。

　つまり、この場合、合成画像は、全く異なる撮影条件で得られた画像を合成したものであるにも拘わらず、あたかも人間の目が脳での理解や処理を含めて、異なる領域があっても視野内の景色や対象物を一つの一連の情景、一枚の画像として判断するのにふさわしい表現となっている。それゆえに、その境界領域には、部分ごと、領域ごとに徐々に変わるような処理がかかっており、そこでは合成前の元のデータが、場所ごとに微妙な修正がかかり、特に、その境界の連続性を得るための処理がかかった部分は、ひとことでここは、この条件で撮った画像、と言えなくなってしまう。ただし、連続性重視処理が行われていない領域もある場合は、その部分に関してはその限りではない。つまり、その部分は後述のステップＳ１１で得られる画像と変わらない場合もある。よって、このステップＳ１１の画像と同様の部分を指定するような領域情報を持ってもよい。この工夫で、ステップＳ８とステップＳ１１の画像を両方得る必要はなくなる。ただし、連続性処理が行われた境界部の画像データは、比較的に、先に述べたデータ再現性、信頼性に劣ったデータとなってしまう。

　信号処理部１２は、ステップＳ９において、生成した合成画像のサムネイルを作成し、ステップＳ１０において、記録部４０に画像ファイルを記録する。即ち、信号処理部１２は、画像データを画像記録部４１に記録し、メタデータを付随情報記録部４２に記録する。

　図１０Ａは鑑賞性重視モードにおいて作成される静止画ファイルを示している。静止画ファイルは、画像記録部４１に記録される画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。サムネイルは、ステップＳ９において生成されたものである。対応動画、音声情報は、画像データに対応して動画が撮影され音声が取得された場合に記録される動画情報と音声情報である。

　本実施の形態においては、静止画ファイルは、当該静止画ファイルが鑑賞性重視モードにおいて取得されたものであることを示す鑑賞性重視タグを含む。また、撮影時情報Ａ，Ｂは、当該静止画ファイルが２つの撮像画像を合成して作成されたこと、及びこれらの２つの撮像画像の取得時の撮影時の情報（日時、感度、シャッタスピード（ＳＳ）及び絞り）を示している。

　次に、部分再現性重視モードが指定されたものとする。この場合には、制御部１１は、ステップＳ７から処理をステップＳ１１に移行して、部分再現性重視モードにおける画像合成を行う。適応処理部１４ｂは、ステップＳ３において設定された再現性重視領域毎に、合成前の１枚の撮像画像を用いて画像を生成する。再現性重視領域に用いられる各撮像画像は、当該再現性重視領域については、被写体の再現性に優れた画像である。

　つまり、この領域はこうで、この領域はこう、と特定の処理が明確化できる画像であり、その領域と領域の間の徐々に変化するような処理は施されていないので、再現性にすぐれ、各領域の処理の特徴を簡単に表現が可能となる。また、その不連続となる領域の情報を同時に記録してもよい。不連続であるがゆえに、領域の区分は後で確認がしやすいので、あえて領域情報を持たずとも分析がしやすい。例えば、再現性重視領域内では、ピントが合い、適正露出であり、場合によっては、測定等の用途に応じた画像処理が施されている。

　例えば、図６Ａの看板の画像７１ａ部分は、高コントラスト化及び２値化によって、文字認識処理に優れた画像となっている。なお、例えば、看板の文字サイズを判定する用途等では高コントラスト化及び２値化を必要としない場合もあり、この場合には、ピントが合い、適正露出の画像であって、画像処理が施されていない再現性重視領域が採用されることもある。

　ここで、ステップＳ７での分岐は必ずしも必要ではなく、ステップＳ８、ステップＳ１１で得られる画像を選択的にではなく、同時に得られるようなシステムもあり得る。この場合、例えば、連続性がない画像をいきなり人が見ると、何が写っているか分からないことがあるので、まず、観賞性重視画像を見せて確認するようにして、その後、ステップＳ１１の被写体像の再現性に優れた画像を、何かの装置で測定用に用いるといった使われ方が想定できる。

　適応処理部１４ｂは、部分再現性重視モードでは、再現性重視領域毎に使用する１つの撮像画像のみを選択し、他の撮像画像の情報を用いない。従って、部分再現性重視画像は、再現性重視領域の境界部分において画像が不連続になることがある反面、再現性重視領域内では被写体の再現性に優れている。

　図８の例では、部分再現性重視モードを測定用の合成画像の生成に用いた例を示しており、露出Ａの撮像画像と露出Ｂの撮像画像を用いて作成した測定用合成画像を示している。図８の測定用合成画像中のＡ，Ｂはそれぞれ露出Ａの撮像画像を用いた再現性重視領域と露出Ｂの撮像画像を用いた再現性重視領域とを示している。

　また、図１１は被写体としてトンボと花を含む画像を、部分再現性重視モードによって深度合成した例を示している。合成画像８１は、トンボ８２ａの画像を含む再現性重視領域８２と花８３ａの画像を含む再現性重視領域８３とを含む。再現性重視領域８２，８３は、トンボ８２ａ又は花８３ａの被写体距離に適したピント位置でそれぞれ撮影されて取得された各撮像画像によって生成されており、トンボ８２ａ及び花８３ａはピントが合っている。これに対し、再現性重視領域８２，８３以外の部分では、破線にて示すように、ピントが合っておらず、また、花８３ａの茎８４の画像は再現性重視領域８２内においては、ピントがずれている。

　信号処理部１２は、ステップＳ１２において、生成した合成画像のサムネイルを作成する。この場合には、視認性を重視して、通常のＨＤＲ合成処理によって生成した合成画像を元にサムネイルを生成する。即ち、このサムネイルは、ステップＳ９において生成されたサムネイルの画像情報と同様の情報であり、領域間の連続性を犠牲にしない画像合成をサムネイル化して得たものである。もちろん、それに特化した用途の場合などは、連続性を犠牲にした画像を縮小してサムネイル化したものでもよい。

　信号処理部１２は、ステップＳ１３において、記録部４０に画像ファイルを記録する。即ち、信号処理部１２は、画像データを画像記録部４１に記録し、メタデータを付随情報記録部４２に記録する。

　図１０Ｂは部分再現性重視モードにおいて作成される静止画ファイルを示している。この静止画ファイルは、画像記録部４１に記録される画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。部分再現性重視モードにおいても、鑑賞性重視モードと同様に、対応動画の情報及び音声情報を有する。

　部分再現性重視モードにおいては、当該静止画ファイルが部分再現性重視モードにおいて取得されたものであることを示す再現性重視タグを含む。また、撮影時情報Ａ，Ｂは、鑑賞性重視モードと同様に、当該静止画ファイルが２つの撮像画像を合成して作成されたこと、及びこれらの２つの撮像画像の取得時の撮影時の情報（日時、感度、シャッタスピード（ＳＳ）及び絞り）を示している。更に、部分再現性重視モードにおいては、各撮像画像が合成画像中のいずれの再現性重視領域に用いられているかを示す領域情報が記録されている。なお、記録された画像データに対する画像解析によって再現性重視領域が判定可能である場合もある。この場合には、再現性重視領域の情報の記録は省略してもよい。

　このように、各画像ファイルは、タグによって、鑑賞性重視モードにおいて得られた合成画像であるか又は部分再現性重視モードにおいて得られた合成画像であるかが明らかであり、また、部分再現性重視モードにおいて、各撮像画像がいずれの再現性重視領域に用いられているかも明らかである。

　図９のステップＳ１において、撮影モードが指示されていない場合には、制御部１１は、ステップＳ２１に移行して再生モードが指定されているか否かを判定する。制御部１１は、再生モードが指定されていない場合には、指定された他のモードに移行する。

　再生モードが指定されると、制御部１１は、ステップＳ２２において、記録部４０に記録されている画像を選択するためのアイコン一覧表示を行う。制御部１１は、次のステップＳ２３において、画像が選択されたか否かを判定する。ユーザがアイコン一覧表示から所定の画像を選択すると、制御部１１は、ステップＳ２３からステップＳ２５に処理を移行して、選択操作に基づく画像を選択して再生して、表示部３０の表示画面上に表示させる。なお、制御部１１は、画像選択操作がない場合には、次のステップＳ２４において戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１に戻し、無かった場合には処理をステップＳ２２に戻す。

　ステップＳ２５における画像の表示中に、制御部１１は、詳細表示の表示を指示する操作が発生したか否かを判定する（ステップＳ２６）。制御部１１は、詳細表示の表示指示が発生した場合には、処理をステップＳ２７に移行して、付随情報記録部４２から読出したメタデータに基づく表示（メタデータ表示）を表示部３０に表示させる。これにより、例えば、図１０Ａ又は図１０Ｂのメタデータの内容が表示される。この表示によって、ユーザは撮像画像についての撮影情報、合成画像がいずれのモードで得られたものであるか、合成画像の作成に用いた各撮像画像の撮影情報及び各再現性重視領域にいずれの撮像画像が用いられているか、等について認識することができる。

　詳細表示の表示指示がなかった場合又はメタデータ表示の表示中において、制御部１１は、外部送信指示が発生したか否かを判定する（ステップＳ２８）。外部送信指示が発生すると、信号処理部１２は、通信部１５を制御して、選択されている画像の画像ファイルを設定された送信先に送信する。

　なお、制御部１１は、外部送信指示が無い場合又は外部送信の終了後のステップＳ３０において、戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１に戻し、無かった場合には処理をステップＳ２５に戻す。

　このように本実施の形態においては、複数の撮像画像を合成して合成画像を生成する場合において、合成画像全体として鑑賞性に優れた合成画像を得る鑑賞性重視モードと画像の部分部分で被写体の再現性に優れた部分再現性重視モードとを指定して画像合成を行うことができる。部分再現性重視モードにおいては、再現性重視領域内において、被写体の再現性に優れた画像を得ることができ、科学技術用途や測定用途等において、極めて有用な画像を得ることができる。また、合成画像の画像ファイルは、鑑賞性重視モードと部分再現性重視モードのいずれで作成されたものであるかを示すタグデータ、各再現性重視領域がいずれの撮像画像を用いたものであるかを示す情報等を含んでおり、合成画像の利用時の利便性が高い。

（第２の実施の形態）
　図１２は本発明の第２の実施の形態において採用される画像合成処理を示すフローチャートである。また、図１３Ａ及び図１３Ｂは本実施の形態において作成される画像ファイルを示す説明図である。本実施の形態のハードウェア構成は図１と同様である。本実施の形態は動画撮影に適用したものである。

　図１２のステップＳ３１において、制御部１１は、撮影モードが指定されているか否かを判定する。撮影モードが指定されていない場合には、制御部１１は撮影モード以外の指定されたモードを実行する。撮影モードが指定されている場合には、制御部１１は、ステップＳ３２，Ｓ３３においてスルー画用の撮像画像を取得する。即ち、制御部１１は、信号処理部１２に指示を与えて、画像取得条件Ａ，Ｂを用いて撮像部２０に被写体を撮像させ、画像処理部１４は撮像部２０からの撮像画像（動画像）に所定の画像処理を施す。更に、画像処理部１４は、ステップＳ３４において画像取得条件Ａ，Ｂによって取得された２種類の撮像画像（動画像Ａ，Ｂ）に対して、画像全体として鑑賞性を重視した合成処理を行う。この合成動画像が表示部３０に与えられてスルー画として用いられる。

　制御部１１は次のステップＳ３５において、ステップＳ３２，Ｓ３３において取得した画像の被写体変化が小さいか否かを判定する。制御部１１は、被写体変化が比較的大きい場合には、ステップＳ３６において、画像の連続性を重視し、ステップＳ３４で取得した合成画像に代えて、最新画像を必要に応じて補正したスルー画像を表示する。制御部１１は、次のステップＳ５１において、動画撮影が指示されたか否かを判定する。

　一方、被写体変化が小さい場合には、制御部１１は、ステップＳ３７～Ｓ４２において、部分再現性重視モードの再現性重視領域を判定するための処理を行う。即ち、領域判定部１４ａは、ステップＳ３７において、取得した２種類の画像を加算し、所定の領域毎に画像判定を行う（ステップＳ３８）。領域判定部１４ａは、画像判定結果に従って、各再現性重視領域に取得した動画像Ａ，Ｂを割当てる（ステップＳ３９）。例えば、画像取得条件Ａ，ＢがＨＤＲ合成処理のための露出アンダと露出オーバの条件である場合には、合成画像中の比較的暗い領域に露出オーバの条件によって取得された動画像を割当て、比較的明るい領域に露出アンダの条件によって取得された動画像を割当てる。

　制御部１１は、次のステップＳ４０において、部分再現性重視モード（再現性重視）が指定されているか否かを判定し、部分再現性重視モードが指定されている場合には再現性重視フラグを設定し（ステップＳ４１）、そうでない場合にはステップＳ４２において再現性重視フラグを解除した後、ステップＳ５１に移行する。

　制御部１１は、ステップＳ５１において、動画撮影操作が行われたか否かを判定し、動画撮影操作が行われていない場合にはステップＳ６１において静止画撮影操作が行われたか否かを判定する。制御部１１は、ステップＳ６１において、静止画撮影操作が行われたことを検出すると、ステップＳ６２において、部分再現性重視モードが指定されているか否かを判定する。部分再現性重視モードが指定されていない場合には、適応処理部１４ｂは、ステップＳ６３において、領域間の連続性を考慮した画像補正を伴う合成処理を行う。これにより、合成画像中の１枚の画像は、全体として鑑賞性に優れたものとなり、生成される静止画は画像全体として、連続的で見やすい画像となる。

　また、部分再現性重視モードが指定されている場合には、適応処理部１４ｂは、ステップＳ５４において、ステップＳ３９において割当てた再現性重視領域別の画像データを用いて１枚の合成画像を得る。この場合には、画像取得条件Ａ，Ｂで取得された各画像は、それぞれ画像補正されることなく、そのまま各再現性重視領域用として用いられ保存されることになる。制御部１１は、ステップＳ６６において、時刻、撮影情報等と共に取得した静止画像をファイル化して処理をステップＳ３１に戻す。

　図１３Ａはこの場合において記録部４０に記録される静止画ファイルを示している。この静止画ファイルは、画像記録部４１に記録される静止画の画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。

　図１３Ａの例では、鑑賞性重視モードの静止画の場合には、鑑賞性重視タグが“１”で、再現性重視タグが“０”に設定され、部分再現性重視モードの静止画の場合には、鑑賞性重視タグが“０”で、再現性重視タグが“１”に設定される。他のメタデータについては、図１０Ａ又は図１０Ｂと同様である。

　次に、制御部１１がステップＳ５１において、動画撮影操作を検出するものとする。この場合には、制御部１１は、次のステップＳ５２において、部分再現性重視モードが指定されているか否かを判定する。部分再現性重視モードが指定されていない場合には、適応処理部１４ｂは、ステップＳ５３において、領域間の連続性を考慮した画像補正を伴う合成処理を行う。これにより、合成動画像中の各コマの画像は、全体として鑑賞性に優れたものとなり、生成される動画は画像全体として、連続的で見やすい画像となる。

　また、部分再現性重視モードが指定されている場合には、適応処理部１４ｂは、ステップＳ５４において、ステップＳ３９において割当てた再現性重視領域別の画像データを保存する。この場合には、画像取得条件Ａ，Ｂで取得された各動画像は、それぞれ画像補正されることなく、そのまま各再現性重視領域用として用いられて保存されることになる。

　制御部１１は、ステップＳ５５において、動画撮影の終了が指示されたか否かを判定する。動画撮影の終了操作が行われた場合には、制御部１１は、ステップＳ５６において、時刻、撮影情報等と共に取得した動画像をファイル化して処理をステップＳ３１に戻す。なお、制御部１１は、ステップＳ５５において動画撮影の終了が指示されていないと判定した場合には、次のステップＳ５７において静止画記録が指示されたか否かを判定する。制御部１１は、静止画記録が指示された場合には、処理をステップＳ６２に移行して静止画記録のための処理を行い、静止画記録が指示されていない場合には、処理をステップＳ３１に戻す。

　図１３Ａは記録部４０に記録される動画ファイルを示している。この動画ファイルは、画像記録部４１に記録される動画の画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。

　付随情報記録部４２に記録されるサムネイルは視認性を重視して、領域間の連続性を維持しながら合成した画像をサムネイル化したものである。もちろん、視認しない用途や、もとから視認性は重要でない場合は連続性を維持しない画像からサムネイルを作ってもよい。また、動画ファイルに対応する静止画や音声がある場合には、対応静止画の情報や音声情報が記録される。また、メタデータは、撮像画像の取得時の撮影時の情報（日時、感度、シャッタスピード（ＳＳ）及び絞り）を含む。

　また、動画のメタデータには、動画に用いた各コマの情報、再現性重視領域の情報及び各領域についての処理内容の情報を含む。また、動画は、鑑賞性重視期間と再現性重視期間とが混在することを考慮して、メタデータに、これらの期間、即ち、鑑賞性重視タグの設定期間と再現性重視タグの設定期間の情報を含む。これにより、動画の各期間の各再現性重視領域の画像について、メタデータにより各種情報を取得することができる。

　このように本実施の形態においては、第１の実施の形態と同様に、鑑賞用途だけでなく画像データ用途としても有用な合成画像を、いずれの用途用であるかを識別可能に取得（撮像、記録、利用など）することができるという効果を有する。また、本実施の形態は部分再現性重視モードでの動画像の取得及び記録が可能であり、動画の各期間において、いずれのモードによる動画像が取得されたか、また、各領域に用いた動画像がいずれの動画像であるかを認識することができる。

（第３の実施の形態）
　図１４は本発明の第３の実施の形態に係る画像処理装置を有する撮像装置を示すブロック図である。合成画像については、画像ファイルに付加されたメタデータから、十分に分かりやすい情報を得ることは困難である。そこで、本実施の形態は、画像合成によって得た合成画像について、ユーザに分かりやすいメタデータを合成画像の画像ファイルに付与することを可能にするものである。

　本実施の形態においては、撮像装置の画像処理装置は、撮像部に対して深度合成のための撮像制御を行うと共に、深度合成時に用いた各撮像画像の取得時の撮影情報等を撮像画像毎にメタデータとして合成画像の画像ファイルに付与して記録させるようになっている。これにより、合成画像のメタデータの内容を参照するユーザの利便性を向上させる。

　なお、撮影情報としては、露出時間、絞り値、露出プログラム、ＩＳＯ感度、撮影日時の情報等の各種撮影パラメータを含む。更に、本実施の形態においては、撮影情報として被写体までの距離の情報（以下、被写体距離情報という）を含む。なお、本実施の形態においては、被写体距離は、撮影レンズから被写体の各部までの距離であって、合焦状態となる場合の距離をいう。

　また、本実施の形態においては、メタデータとして被写体距離情報を含めるだけでなく、画像処理によるキャリブレーションによって、求める距離の情報の正確性を向上させるようになっている。

　図１４において、撮像装置１０１には撮像部１１０が設けられている。撮像部１１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子１１１と、被写体の光学像を撮像素子の撮像面に導く撮影レンズ（光学系）１１２とを備える。撮影レンズ１１２としては、撮像部１１０に取り付けられた固定のレンズであってもよく、また、交換式のレンズであってもよい。撮影レンズ１１２は、ズームやフォーカシングのための図示しないレンズ等を備えており、これらのレンズは、レンズ駆動部１１３によって駆動制御されるようになっている。レンズ駆動部１１３のピント変更部１１３ａは、後述する制御部１２０のレンズ制御部１２４からの制御信号に基づいて、フォーカシングのためのレンズを駆動して、ピント位置を変更することができるようになっている。なお、撮像部１１０において採用する撮像素子１１１としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素（以下、ＡＦ画素という）を有するものであってもよい。

　また、光学系特性部１１４は、光学系の特性に関する情報を取得して、制御部１２０に出力するようになっている。なお、光学系の特性に関する情報としては、後述する深度合成に必要な情報、例えば、被写界深度情報、ピント合わせ可能範囲の情報やピント合わせ時の距離とピント位置の関係を示す情報等を含む。また、光学系特性部１１４は、光学系の特性に関する情報として、焦点距離及び絞りの状態を反映させた情報を取得することができるようになっている。

　制御部１２０は、例えば、図示しないメモリに記憶されたプログラムに従ってカメラ制御を行う図示しないＣＰＵ等を用いたプロセッサによって構成することができる。制御部１２０は、撮像部１１０に撮像素子１１１の駆動信号を出力してシャッタスピード、露光時間等を制御すると共に、撮像部１１０からの撮像画像を読み出す。制御部１２０の画像処理部１２１は、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

　レンズ制御部１２４は、レンズ駆動部１１３を制御する。レンズ制御部１２４は、オートフォーカス制御が可能である。例えば、レンズ制御部１２４は、レンズ駆動部１１３のピント変更部１１３ａを制御してピント位置を変更しながら画像処理部１２１のコントラスト判定処理結果によって、所謂山登りコントラスト法によるオートフォーカス制御が可能である。また、レンズ制御部１２４は、撮像素子１１１がＡＦ画素を有している場合には、像面位相差法によるオートフォーカス制御を行ってもよい。

　制御部１２０には、操作判定部１２７が設けられている。操作判定部１２７は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部１１５に対するユーザ操作を受け付けるようになっている。制御部１２０は操作判定部１２７の判定結果に基づいて各部を制御する。記録制御部１２５は、各種信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１３０に与えて記録させることができる。

　記録部１３０は、所定の記録媒体を備えており、記録制御部１２５によって画像ファイルが記録されるようになっている。例えば、記録制御部１２５は、画像ファイルとして例えばＥｘｉｆ（Exchangeable image file format）など特定の形式にして画像ファイルを記録することができ、記録部１３０は、画像ファイル中の画像データ部分を記録する領域である画像データ部１３１及びメタデータ部分を記録する領域であるメタデータ部１３２を備えている。また、記録部１３０には、所定の対象物の特徴量を記録した対象物特徴データベース（ＤＢ）１３３が設けられている。

　制御部１２０の表示制御部１２８は、表示に関する各種処理を実行する。表示制御部１２８は、信号処理後の撮像画像を表示部１４１に与えることができる。表示部１４１は、ＬＣＤ（液晶パネル）等の表示画面を有しており、表示制御部１２８から与えられた画像を表示する。また、表示制御部１２８は、各種メニュー表示等を表示部１４１の表示画面に表示させることもできるようになっている。

　なお、表示部１４１の表示画面上には、図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１２０に供給される。これにより、制御部１２０は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

　なお、表示部１４１の表示画面は撮像装置１０１の筐体１０１ａ（図１５参照）の背面に沿って設けられており、撮影者は、撮影時に表示部１４１の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

　通信制御部１２９は、通信部１４５を制御して、外部機器との間で通信を行うことができる。通信部１４５は、通信制御部１２９に制御されて、外部機器との間で有線又は無線によるデータの送信及び受信が可能である。例えば、通信部１４５としては、ＵＳＢ規格の有線通信やＷｉｆｉ（登録商標）等の無線ＬＡＮやブルートゥース（登録商標）等による無線通信が可能に構成されている。通信制御部１２９は、通信部１４５を介して、撮像画像、合成画像等の画像ファイルやその他の各種情報を外部機器に送信することができるようになっている。

　本実施の形態においては、深度合成等の画像合成を行う場合に、合成前の各撮像画像について被写体距離情報を含む撮影情報を取得し、取得した撮影情報をメタデータとして合成画像の画像ファイルに付与することができるようになっている。

　制御部１２０の深度合成制御部１２２は、このような深度合成処理を制御する。即ち、合成制御部である深度合成制御部１２２は、深度合成モードにおいて、撮像素子１１１及びレンズ制御部１２４を制御して深度合成のための複数回の撮影を行わせ、画像処理部１２１を制御して取得された複数の撮像画像による深度合成画像を生成する。更に、本実施の形態においては、深度合成制御部１２２は、メタデータ作成部１２６を制御して、各撮像画像についての被写体距離情報をメタデータとして記録部１３０に記録させるようになっている。

　図１５は深度合成モードにおける撮影の様子を示す説明図である。また、図１６は深度合成モードにおける動作を説明するための説明図である。また、図１７Ａから図１７Ｃは深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図である。

　図１５の例は物品の撮影、所謂物撮りにおける様子を示している。インターネット等を介して物品を販売するネット販売では、販売する商品等の写真をサイト上に掲載することがある。この場合の商品写真については、通常細部まで鮮明な画像であった方がよい。しかしながら、商品が奥行き方向に長い部分を有する商品を撮影する場合には、商品の各部の被写体距離が比較的大きく異なる場合がある。このため、絞りを絞れなかったり、被写体距離が小さすぎたりする場合には、撮影機器の焦点深度が浅くなり、通常撮影モードでは、商品の一部にしかピントが合っていない画像が撮影されてしまうことがある。これに対し、深度合成モードを採用すれば、このようなユースシーンにおいて、細部までピントが合った画像の撮影を容易に行うことができる。

　テーブル１５４上には物品（商品）である瓶１５５が載置されている。ユーザ１５１は、瓶１５５が視野範囲に入るように、右手１５２で撮像装置１０１の各回路を収納した筐体１０１ａを把持して構える。撮影モード時には、この状態で筐体１０１ａの背面に設けた表示部１４１の表示画面１４１ａ上に、スルー画が表示される。ユーザ１５１はこのスルー画を確認しながら、瓶１５５の撮影を行う。

　レンズ制御部１２４は、深度合成制御部１２２に制御されて、撮影範囲中の瓶１５５の所定位置についてオートフォーカス制御を行いながら撮影を行う。いま、ユーザが図１６の撮影タイミングにおいて操作部１１５中の図示しないレリーズボタン操作すると、深度合成制御部１２２は、所定の露出でオートフォーカス制御によるピント位置を変更しながら複数回の撮影を行う。図１６の例では、深度合成制御部１２２は、シャッタ速度が１／１００秒の状態で、１回目の露出時と２回目の露出時とでピント位置を切換えて撮像を行う。

　例えば、１回目の撮影によって得られる画像が図１７Ａに示す撮像画像１５０ａであり、２回目の撮影によって得られる画像が図１７Ｂに示す撮像画像１５０ｂであるものとする。なお、図１７Ａ～図１７Ｃは実線によってピントが合っている状態（合焦状態）を示し、破線によってピントが合っていない状態（非合焦状態）を示している。

　１回目の撮影では、図１７Ａに示すように、瓶１５５の先端にピントが合った撮像画像１５０ａが得られる。なお、撮像画像１５０ａは瓶１５５の先端側１５５ａのピントは合っているが、破線部に示すように、瓶１５５の中央よりも下側１５５ｂではピントは合っていない。

　２回目の撮影では、図１７Ｂに示すように、瓶１５５の中央にピントが合った撮像画像１５０ｂが得られる。なお、撮像画像１５０ｂは瓶１５５の中央から下側１５５ｂのピントは合っているが、破線部に示すように、瓶１５５の中央よりも先端側１５５ａではピントは合っていない。

　図１６の撮像画像の塗り潰し部分はピントが合っている画像部分を示しており、１回目の撮影では瓶１５５の画像位置の画像の上側のみ合焦状態となっている。また、２回目の撮影では瓶１５５の画像位置の画像の下側のみ合焦状態となっている。

　画像処理部１２１は、深度合成制御部１２２に制御されて、深度合成モードにおけるこれらの２回の撮影によって得た２枚の撮像画像を合成して、図１６に示すように、瓶１５５の画像位置の全体について合焦状態となる合成画像１５０ｃを得る。図１７Ｃに示すように、深度合成の結果、合成画像１５０ｃは、瓶１５５の先端側１５５ａから下側１５５ｂまでの全域において合焦状態となっている。

　制御部１２０には、対象物判定部１２３が設けられている。対象物判定部１２３は、深度合成モードにおいてピント位置を変化させる範囲、即ち、合焦範囲を決定するための対象物判定を行うことができるようになっている。対象物判定部１２３が所定の対象物を合焦対象被写体としては判定することで、深度合成モードにおいて、例えば、合焦対象被写体のみを合焦状態とすることが可能である。なお、対象物判定部１２３は、後述するキャリブレーション処理に用いる対象物を判定するためにも用いられる。

　対象物判定部１２３は、撮像部１１０からの撮像画像に対する画像解析を行って、撮像画像中から合焦範囲を決定するための合焦対象被写体を判定する。例えば、対象物判定部１２３は、被写体に対する特徴量を用いて、合焦対象被写体を検出してもよい。例えば、被写体の特徴量の情報を記録部１３０の対象物特徴データベース（ＤＢ）部１３３に記録させてもよい。対象物判定部１２３は、対象物特徴ＤＢ部１３３から特徴量を読出し、特徴量を用いて合焦対象被写体を検出してもよい。更に、対象物判定部１２３は、ユーザによる被写体の指定操作によって、合焦対象被写体を決定するようにしてもよい。

　対象物特徴ＤＢ部１３３には、被写体距離算出時のキャリブレーションに用いるサイズが既知の対象物（以下、補正用既知対象物という）の特徴量の情報も記録されている。対象物判定部１２３は、対象物特徴ＤＢ部１３３の情報を用いて、撮像画像中の補正用既知対象物を検出することもできるようになっている。なお、補正用既知対象物の特徴量としては、形状、模様、サイズ等がある。

　ここに、特定の既知の大きさのコインや切手やメモリの入った定規など、色や大きさや形状やパターンで検出しやすいものを補正用既知対象物としてその画像の特徴情報と、大きさの情報を対応付けて記憶させておけば、適宜、撮影画像から、この特徴を有する部分を見つけ出して、その画像部分の大きさと、本来の大きさを使って、他の画像部分の実際の大きさを判定するのに用いることができる。

　対象物特徴ＤＢ部１３３に記録する補正用既知対象物の情報については、例えば操作部１１５の操作によってユーザが追加更新することができるようになっていてもよい。なお、補正用既知対象物としては、どの方向から撮像した場合でもキャリブレーションのための補正情報を簡単に求めることができるように球状の物体や円形の物体が好ましい。

　なお、対象物判定部１２３は、撮像画像の各部における被写体距離と撮像画像に対する画像解析結果とに基づいて、同一物体又は輪郭が連続する被写体を合焦対象被写体として検出してもよい。また、対象物判定部１２３は、撮像画像中の輪郭線を判定すると共に、輪郭線上の被写体距離の変化に基づいて、合焦対象被写体を判定してもよい。例えば、対象物判定部１２３は、被写体距離の変化が所定の閾値よりも大きい場合には、輪郭が不連続であると判定してもよい。

　制御部１２０にはメタデータ作成部１２６が設けられている。メタデータ作成部１２６は、通常撮影時においては、撮影されて取得された撮像画像について、特定の規格の画像ファイルのメタデータとして、被写体距離情報を含むメタデータを生成することができる。

　更に、本実施の形態においては、メタデータ作成部１２６は、深度合成モードにおいて生成された合成画像について、特定の規格の画像ファイルのメタデータとして、合成に用いた撮像画像毎に被写体距離情報を含むメタデータを生成することができるようになっている。

　メタデータ作成部１２６は、データ換算部１２６ａを有しており、データ換算部１２６ａは、光学系特性部１１４からの情報及びレンズ制御部１２４からのピント位置の情報を用いてピント位置を距離に換算して、被写体距離を得ることができるようになっている。

　図１８は横軸にピント位置をとり縦軸に距離の逆数をとって、所定のレンズについてピント位置と距離との関係を示すグラフである。図１８は所定のレンズについて、無限遠から至近までにおけるピント位置と距離の逆数との関係を３つのズーム位置毎に示している。例えば、ズーム位置がＺ１の場合において、レンズをピント位置ＬＤ１の位置に繰り出した場合の距離の逆数はＬ１であり、ピント位置ＬＤ２の位置に繰り出した場合の距離の逆数はＬ２であることが分かる。図１８の特性はレンズ毎に異なり、制御部１２０は撮像部１１０の光学系特性部１１４から光学系に関する情報を読出すことで、図１８の関係を求めることができる。

　例えば、図１８の各曲線は、下記（１）式によって与えられる。メタデータ作成部１２６のデータ換算部１２６ａは、光学系特性部１１４から読出した図１８の特性情報を図示しないメモリ又は記録部１３０に記録する。データ換算部１２６ａは、レンズ制御部１２４からのピント位置の情報と光学特性情報とに基づいて、撮像画像毎に被写体距離を求めるようになっている。１／Ｌ＝α×ＬＤ＋β　　　…（１）
　なお、上記（１）式において、ＬＤはレンズ繰り出し位置（ピント位置）を示し、α，βは所定の定数である。距離の逆数１／Ｌは、ピント位置ＬＤに略々比例し、βはオフセット値、即ち、無限遠における距離の逆数に相当する。比例係数α及びオフセット値βは、レンズ毎及びズーム位置毎に異なる値となる。撮影レンズ１１２として交換不能なレンズを採用した場合には、オフセット値βとして比較的正確な値を得ることができる。しかし、撮影レンズ１１２として交換可能なレンズを採用した場合には、交換レンズ取付け時の機械精度等により、オフセット値βの精度は比較的低い場合も考えられる。また、撮影レンズ１１２としてズーム可変のレンズを採用した場合には、ズーム位置の検出精度が低いときには、比例係数αの精度も比較的低いこともある。そこで、データ換算部１２６ａは、サイズが既知の補正用既知対象物を用いてキャリブレーションを行うことで、距離算出の精度を向上させるようになっている。

　図１９から図２１はキャリブレーション処理を説明するためのものであり、キャリブレーション用の補正用既知対象物として硬貨を用いる例を示している。図１９は硬貨の種類と直径との関係を示す図表であり、図２０はキャリブレーション処理のフローを示すフローチャートであり、図２１はキャリブレーション時の撮影の様子を示す説明図である。

　図１９に示すように、硬貨はその種類に応じて直径が規定されている。対象物判定部１２３によって撮像画像中に補正用既知対象物が含まれることが検出されると、データ換算部１２６ａは、図２０のステップＳ１４１において、補正用既知対象物である硬貨の直径の情報を対象物特徴ＤＢ部１３３から読出す。データ換算部１２６ａは、撮像画像中における補正用既知対象物について、例えば画素数等によりサイズを求める（ステップＳ１４２）。データ換算部１２６ａは、補正用既知対象物の画像中のサイズと、対象物特徴ＤＢ部１３３から読出したサイズとの比較によって、被写体距離のキャリブレーションを行うための補正情報を算出する（ステップＳ１４３）。データ換算部１２６ａは、算出した補正情報を記録部１３０に記録するか又は図示しないメモリに記憶させる。データ換算部１２６ａは、上記（１）式に従って、レンズ特性及びピント位置ＬＤに基づいて求めた被写体距離を、補正情報を用いて補正する。

　図２１は被写体距離の算出精度を向上させるために、被写体までの距離を変化させて補正情報を算出する例を示している。

　いま、ピント位置及びズーム位置を固定にした状態で補正用既知対象物である硬貨１６０の画像サイズが所定倍となるように、筐体１０１ａを筐体１０１ａ’の位置に変化させて撮像画像距離を変化させるものとする。ピント位置ＬＤがレンズ制御部１２４によって与えられた場合には、上記（１）式において、α，βの値を算出することができ、被写体距離を正確に求めることが可能である。

　データ換算部１２６ａは、補正情報によって補正した被写体距離の情報を、当該撮像画像のメタデータとして生成する。メタデータ作成部１２６は、被写体距離情報を含むメタデータをメタデータ部１３２に記録するようになっている。

　次に、このように構成された実施の形態の動作について図２２～図２４を参照して説明する。図２２は第３の実施の形態の動作を説明するためのフローチャートである。図２３及び図２４は特定の規格の画像ファイルに記録される内容を説明するための説明図である。図２３は通常撮影時の画像ファイルを示し、図２４は深度合成モード時の画像ファイルを示している。

　図２２のステップＳ１０１において、制御部１２０は、撮影モードが指定されているか否かを判定する。撮影モードが指定されている場合には、制御部１２０は、ステップＳ１０２においてスルー画用の撮像画像を取得する。即ち、制御部１２０は、撮像部１１０に被写体を撮像させ、画像処理部１２１は撮像部１１０からの撮像画像に所定の画像処理を施して表示部１４１に与える。表示部１４１は、スルー画を表示画面上に表示すると共に、オートフォーカス機能及び自動露出機能により、ピント位置及び標準露出の設定を行う（ステップＳ１０３）
　制御部１２０は、ステップＳ１０４において、モード切換の指示があったか否かを判定する。モード切換の指示が発生した場合には、制御部１２０はステップＳ１０５において、指示されたモードの各種設定を行う。例えば、深度合成モードが指定された場合には、深度合成モードに必要な各種設定が行われる。

　モード切換の指示が発生していない場合には、制御部１２０は次のステップＳ１０６において、キャリブレーションが指示されたか否かを判定する。キャリブレーションが指示されると、制御部１２０はステップＳ１０７においてキャリブレーションを実行する。例えば、制御部１２０のデータ換算部１２６ａは、図２０のフローに従って、キャリブレーションを実行して補正情報を求める。制御部１２０は、ステップＳ１０７において求めた補正情報を記録部１３０に記録しておく。なお、キャリブレーションの効果を得るためには、ステップＳ１０７の補正情報の算出時からズーム位置を変化させることなく撮影を行った方がよい。

　次に、制御部１２０は、ユーザによる撮影操作の有無を判定し（ステップＳ１０８）、撮影操作が行われない場合には処理をステップＳ１０１に戻す。ユーザがレリーズスイッチにより撮影を指示した場合には、制御部１２０はステップＳ１０９において、現在のモードが撮影条件変更を伴うモード、例えば、深度合成モードであるか否かを判定する。

　例えば、通常撮影モードである場合には、制御部１２０は処理をステップＳ１１０に移行して、取得した撮像画像の画像データとメタデータとを記録部１３０に記録する。なお、画像データ部１３１に記録される画像データとメタデータ部１３２に記録されるメタデータとは相互に関連付けられて、撮像画像毎に画像データとメタデータとからなる画像ファイルが生成される。即ち、メタデータ作成部１２６は、光学系特性部１１４及びレンズ制御部１２４等から撮影情報を取得する。データ換算部１２６ａは、光学系に関する情報及びピント位置の情報に基づいて、被写体距離を算出する。この場合には、データ換算部１２６ａは、記録部１３０から補正情報を読出して、当該補正情報によって被写体距離をキャリブレーションする。データ換算部１２６ａは、被写体距離情報を含むメタデータを記録部１３０に与えて記録する。

　図２３はこの場合の記録部１３０に記録される画像データ及びメタデータの一例を説明するものである。図２３は３つの画像ファイル１６１～１６３の情報を示しており、１つ目の画像ファイル１６１は画像データ１６１ａとメタデータ１６１ｂとを含み、メタデータ１６１ｂは被写体距離が５０ｍであることを示す距離情報を含む。また、２つ目の画像ファイル１６２は画像データ１６２ａとメタデータ１６２ｂとを含み、メタデータ１６２ｂは被写体距離が１５ｍであることを示す距離情報を含む。また、３つ目の画像ファイル１６３は画像データ１６３ａとメタデータ１６３ｂとを含み、メタデータ１６３ｂは被写体距離が１５ｃｍであることを示す距離情報を含む。このメタデータは、特定の規格のデータであり、ユーザは画像ファイルを読出す場合に、これらのメタデータの内容を確認することができる。

　次に、ステップＳ１０５において深度合成モードの各種設定が行われているものとする。この場合には、制御部１２０は、ステップＳ１０９からステップＳ１１１に処理を移行する。制御部１２０の深度合成制御部１２２は、ステップＳ１１１～Ｓ１１５において、深度合成のための複数回の撮影を行う。先ず、深度合成制御部１２２は、ステップＳ１１１において、現在のピント位置及びこのピント位置での撮像画像を記録部１３０に記録する。深度合成モードにおいては、上述したように、ピント位置をずらしながら複数回の撮影を行う。ステップＳ１１３では、深度合成制御部１２２は、レンズ制御部１２４を制御して、ピント変更部１１３ａによりピント位置を例えば所定量シフトさせる。深度合成制御部１２２は、この結果得られたシフト後の撮像画像及びそのピント位置を記録部１３０に記録する（ステップＳ１１４）。

　深度合成制御部１２２は、ステップＳ１１５において、深度合成に必要な複数回の撮影が終了したか否かを判定する。例えば、深度合成制御部１２２は、予め規定されたシフト量及び回数だけピント位置をシフトしながら撮影を行ってもよい。図２２の例では、深度合成制御部１２２は、ステップＳ１１２において、対象物判定部１２３を制御して、合焦状態で撮影を行う対象物である合焦対象被写体を検出し、当該合焦対象被写体の全域において合焦状態が得られるまでピント位置をシフトさせるようになっている。深度合成制御部１２２は、合焦対象被写体の全域において合焦状態が得られたと判定した場合には、ステップＳ１１５からステップＳ１１６に処理を移行し、そうでない場合には処理をステップＳ１１３に戻して、ピント位置のシフト、撮像及び記録を繰り返す。

　深度合成制御部１２２は、ステップＳ１１６において、撮影された複数枚の撮像画像を合成して、合焦状態の合焦対象被写体を含む深度合成画像を生成する。深度合成モードにおいては、メタデータ作成部１２６は、光学系特性部１１４及びレンズ制御部１２４等から撮像画像毎に撮影情報を取得する。データ換算部１２６ａは、光学系に関する情報及びピント位置の情報に基づいて、各撮像毎に被写体距離を算出する（ステップＳ１１７）。データ換算部１２６ａは、記録部１３０から補正情報を読出して、当該補正情報によって被写体距離をキャリブレーションする。深度合成制御部１２２は、記録制御部１２５を制御して合成画像を記録部１３０の画像データ部１３１に与えて記録する。また、メタデータ作成部１２６は、記録制御部１２５を制御して、データ換算部１２６ａによって求めた被写体距離情報を含むメタデータを記録部１３０に与えて記録する。なお、画像データ部１３１に記録される画像データとメタデータ部１３２に記録されるメタデータとは相互に関連付けられて、各合成画像毎に画像データとメタデータとからなる画像ファイルが生成される。

　図２４はこの場合の記録部１３０に記録される画像データ及びメタデータの一例を説明するものである。図２４は１合成画像ファイル１６５の情報を示しており、画像ファイル１６５は画像データ１６５ａとメタデータ１６５ｂ，１６５ｃとを含む。メタデータ１６５ｂは、深度合成画像の生成時の共通の撮影情報を示しており、図２４の例ではシャッタ速度（ＳＳ）が１／１００秒であり、絞りがＦナンバー（ＦＮｏ．）１６であることを示している。

　また、メタデータ１６５ｃは、深度合成画像の合成に用いた撮像画像毎の撮影情報を示しており、図２４の例では、深度合成に２枚の撮像画像が用いられ、各撮像画像取得時の被写体距離が、それぞれ１０ｃｍ，１３ｃｍであることを示している。

　メタデータ１６５ｂ，１６５ｃは、特定の規格のデータであり、ユーザは画像ファイルを読出す場合に、これらのメタデータの内容を確認することができる。即ち、本実施の形態では、ユーザは、深度合成モードにおいて取得された合成画像について、作成に用いられた各撮像画像の撮影情報を個別に認識することが可能である。

　図２２のステップＳ１０１において、撮影モードが指示されていない場合には、制御部１２０は、ステップＳ１２１に移行して再生モードが指定されているか否かを判定する。制御部１２０は、再生モードが指定されていない場合には、指定された他のモードに移行する。

　再生モードが指定されると、制御部１２０は、ステップＳ１２２において、記録部１３０に記録されている画像を選択するためのアイコン一覧表示を行う。ユーザがアイコン一覧表示から所定の画像を選択すると、制御部１２０は、選択操作に基づく画像を選択して再生して、表示部１４１の表示画面上に表示させる（ステップＳ１２５）。なお、制御部１２０は、画像選択操作がない場合には、次のステップＳ１２４において戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１０１に戻し、無かった場合には処理をステップＳ１２２に戻す。

　ステップＳ１２５における画像の表示中に、制御部１２０は、詳細表示の表示を指示する操作が発生したか否かを判定する（ステップＳ１２６）。制御部１２０は、詳細表示の表示指示が発生した場合には、処理をステップＳ１２７に移行して、メタデータ部１３２から読出したメタデータに基づく表示（メタデータ表示）を表示部１４１に表示させる。これにより、例えば、図２３及び図２４のメタデータ１６１ｂ～１６３ｂ，１６５ｂ，１６５ｃの内容が表示される。この表示によって、ユーザは撮像画像についての撮影情報及び合成画像については撮像画像毎の撮影情報を把握することができる。

　詳細表示の表示指示がなかった場合又はメタデータ表示の表示中において、制御部１２０は、外部送信指示が発生したか否かを判定する（ステップＳ１２８）。外部送信指示が発生すると、制御部１２０の通信制御部１２９は、通信部１４５を制御して、選択されている画像の画像ファイルを設定された送信先に送信する。

　なお、制御部１２０は、外部送信指示が無い場合又は外部送信の終了後のステップＳ１３０において、戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１０１に戻し、無かった場合には処理をステップＳ１２５に戻す。

　このように本実施の形態においては、複数の撮像画像を合成して合成画像を生成する場合でも、合成に用いた撮像画像毎に撮影情報等のメタデータを生成することができ、生成したメタデータをユーザが確認可能な例えば特定の規格のデータとして画像ファイルに付与することができる。これにより、合成画像であっても、撮像画像毎に撮影条件等を確認することができ、利便性に優れている。例えば、ユーザは、撮像画像毎の撮影条件等を参考にして深度合成画像生成のための撮影を行うことで、失敗の少ない撮影が可能である。

　また、本実施の形態においては、画像ファイルに付与するメタデータとして被写体距離の情報を生成して記録することができる。この被写体距離情報は、光学系の特性情報及びピント位置に基づいて算出されると共に、補正用既知対象物に基づいて算出した補正情報を用いてキャリブレーションされており、高精度に求められる。これにより、ユーザは、被写体距離を正確に把握することができる。

（変形例１）
　図２５は変形例を示す説明図である。図２５において図２４と同一の構成要素には同一符号を付して説明を省略する。

　図２２のフローでは、ステップＳ１１７等において、各ピント位置で撮影した被写体の各部までの被写体距離を求め、ステップＳ１１８ではメタデータとして撮像画像毎の被写体距離の情報を記録する例を説明した。本変形例は、被写体距離情報だけでなく、被写体距離差、即ち、被写体の各部までの距離の差の情報をメタデータとして記録するものである。この場合には、データ換算部１２６ａは、ステップＳ１１７において、被写体の所定部分までの距離と、この距離からピント位置をシフトさせて求めた他の所定部分までの距離との差である距離差を求める。

　図２５はこの場合において記録部１３０に記録される画像データ及びメタデータの一例を説明するものである。図２５は１合成画像ファイル１６５の情報を示しており、画像ファイル１６５は画像データ１６５ａとメタデータ１６５ｂ，１６５ｄとを含む。

　メタデータ１６５ｄは、深度合成画像の合成に用いた撮像画像毎の撮影情報を示しており、図２５の例では、深度合成に３枚の撮像画像が用いられ、１枚目の撮像画像取得時の被写体距離が１０ｃｍで、２枚目の撮像画像は、１枚目の撮像画像取得時の被写体距離に対して＋１．５ｃｍの距離差を有する位置にピントを合わせて撮像され、３枚目の撮像画像は、１枚目の撮像画像取得時の被写体距離に対して＋３ｃｍの距離差を有する位置にピントを合わせて撮像されたものであることを示している。

　このように本変形例では、深度合成に用いられた複数枚の撮像画像について、合焦状態となった被写体各部までの距離差を簡単に把握することができる。

　なお、この変形例では、被写体距離の情報と、距離差の情報とを求めて記録する例を説明したが、被写体距離の情報を省略して、距離差の情報のみを記録するようになっていてもよい。

（変形例２）
　図２６は他の変形例を示す説明図である。本変形例は、被写体距離情報だけでなく、ピントを合わせた被写体の部位（以下、ピント部位という）の画像中の位置座標（以下、ピント部位座標という）、ピント部位間の距離の情報をメタデータとして記録するものである。例えば、データ換算部１２６ａは、図２２のステップＳ１１７において、これらの情報を求めるようになっていてもよい。深度合成制御部１２２は、所定のピント位置で撮像した場合における画像処理部１２１の画像処理結果に基づいて、当該ピント位置においてピントを合わせたピント部位のピント部位座標を求めてもよい。例えば、ピント部位座標は、画像中のｘ，ｙ座標によって表してもよい。

　なお、データ換算部１２６ａは、ピント部位間の距離を、キャリブレーションに用いた補正情報を用いて算出してもよい。例えば、補正用既知対象物として硬貨を用いた場合には、データ換算部１２６ａは、硬貨の画像水平方向の寸法によって補正情報を求め、この補正情報を利用して画像垂直方向の寸法を算出してもよい。これにより、画像中の各部の距離から被写体の各部位間の距離を算出してもよい。

　図２６はこの変形例において記録部１３０に記録される画像データ及びメタデータの一例を説明するものである。図２６は１合成画像ファイル１７１の情報を示しており、画像ファイル１７１は画像データ１７１ａとメタデータ１７２ａ，１７２ｂからなるメタデータ１７１ｂとを含む。メタデータ１７２ａは、深度合成画像の生成時の共通の撮影情報を示しており、図２６の例ではシャッタ速度（ＳＳ）が１／１００秒であり、絞りがＦナンバー（ＦＮｏ．）１６であることを示している。

　メタデータ１７２ｂは、深度合成画像の合成に用いた撮像画像毎の撮影情報を示しており、図２６の例では、深度合成のために撮像された１枚の撮像画像は、ピント部位Ｐ１にピントが合わされて撮像されたものであり、このピント部位Ｐ１までの被写体距離は１０ｃｍであることを示している。また、メタデータ１1７２ｂは、ピント部位Ｐ１から３ｃｍ離れた部位にピントを合わせた状態で２枚目の撮像画像が撮像されることを示している。

　なお、図２６のメタデータ１７２ｂ中には、ピント部位Ｐ１，Ｐ２に対応するがピント部位座標について示してないが、メタデータ部１３２には各ピント部位のピント部位座標についても記録することができる。例えば、図２２のステップＳ１２７のメタデータの再生時に、制御部１２０は、ピント部位座標の情報を読出して、ピント部位座標及びピント部位間の距離の表示を、画像データに基づく撮像画像の表示上に重ねて表示させてもよい。

　図２６の例はこのような重畳表示を示しており、ピント部位Ｐ１，Ｐ２に対応する画像中のピント部位座標位置Ｐ１，Ｐ２の表示及びピント部位間の距離の表示１７３が表示されている。

　このように本変形例では、深度合成に用いられた複数枚の撮像画像について、合焦状態となった被写体のピント部位の位置及びピント部位間の距離を簡単に把握することができる。

　なお、この変形例では、被写体距離の情報と、ピント部位について座標や部位間の距離の情報等を求めて記録する例を説明したが、被写体距離の情報を省略して、ピント部位について座標や部位間の距離の情報等のみを記録するようになっていてもよい。

（第４の実施の形態）
　図２７は本発明の第４の実施の形態において採用される深度合成のピント位置シフト制御を示すフローチャートである。また、図２８は深度合成による撮像画像のコントラストの変化を示す説明図である。なお、本実施の形態におけるハードウェア構成は第１の実施形態と同様である。

　図２２のフローでは、ステップＳ１１３のピント位置のシフト量は、予め規定された所定量であり、合成に用いる撮像は、予め規定された所定回数又はピント位置を合焦対象被写体の全域に合わせるまで行われた。これに対し、本実施の形態は、合焦対象被写体の合焦状態を判定することで、ピント位置のシフト量及びシフト回数（撮像回数）を決定するものである。

　図２７のステップＳ１５１において、メタデータ作成部１２６は、光学系特性部１１４から光学特性の情報を取得する。深度合成制御部１２２は、現在のピント位置及び光学特性に基づいて現在のピント位置に対応する被写体距離を求める（ステップＳ１５２）。

　また、対象物判定部１２３は、ステップＳ１５３において、現在のピント位置から連続する輪郭、模様、色彩等によって、撮像画像中の合焦対象被写体を検出する。深度合成制御部１２２は、ステップＳ１５４において、合焦対象被写体について、合焦状態を判定する。例えば、深度合成制御部１２２は、撮像画像の画像各部のコントラストによって、合焦対象被写体の合焦状態を判定してもよい。

　いま、図１７Ａ～図１７Ｃの瓶１５５が合焦対象被写体として検出された場合について説明する。図２８の縦軸は瓶１５５の縦方向の画像位置に対応し、横軸は各画像位置におけるコントラストを示しており、左側の曲線は図１７Ａに対応した撮像画像のコントラストを示し、中央の曲線はピント位置を図１７Ｂに示す瓶１５５の中央に変更して得た撮像画像のコントラストを示し、右側の曲線は深度合成画像のコントラストを示している。

　いま、ステップＳ１５２において、瓶１５５の先端位置が合焦状態となるようにピント位置が設定されたものとする。このピント位置の撮像画像によって、深度合成制御部１２２は、光学特性の情報や画像処理部１２１の画像処理等によって、図２８左側のコントラストを取得する。記録部１３０には、合焦状態として許容可能なコントラストの限界値の情報が記録されており、深度合成制御部１２２は、合焦対象被写体の画像部分の全域がこの限界値よりも高いか否か、即ち、合焦対象被写体の全域が合焦状態として許容可能であるか否かを判定する（ステップＳ１５５）。

　なお、この判定は、単一の撮像画像のみについて行うのではなく、それまでに撮像された全ての撮像画像の合焦状態を考慮して行われる。従って、合焦対象被写体の全域が合焦状態として許容可能であると判定された場合には、それまでに撮像された全ての撮像画像を合成して得た深度合成画像は、合焦対象被写体の全域において合焦状態が得られるものとなる。

　深度合成制御部１２２は、合焦対象被写体の全域が合焦状態として許容可能である場合には、ピント位置シフト制御を終了して深度合成のための撮像を終了する。また、深度合成制御部１２２は、合焦対象被写体の全域が合焦状態として許容可能でない場合には、処理をステップＳ１５６に移行して、合焦対象被写体中のコントラストがこの限界値以下となる境界部分を検出する。

　深度合成制御部１２２は、ステップＳ１５７において、検出した境界部分にピントが合うようにピント位置を設定し、当該ピント位置における被写体距離を求めて、処理をステップＳ１５４に戻す。ステップＳ１５６において検出された境界部分が瓶１５５の中央位置である場合には、ステップＳ１５７において図１７Ｂのピント位置で２回目の撮像が行われる。

　この場合において、図２８の中央の曲線から、深度合成制御部１２２は合焦対象被写体の全域において合焦状態が許容可能であるものと判定すると、深度合成のための撮像を停止し、それまでの撮像画像を用いて深度合成画像を生成する。図２８の右側の曲線はこの場合に得られる合成画像の合焦対象被写体部分のコントラストの変化を示しており、合焦対象被写体の全域において合焦状態が得られていることが分かる。

　このように本実施の形態においては、ピント位置をシフトさせながら、合焦対象被写体について合焦状態を判定し、判定結果に基づいてピント位置のシフト量を求めると共に、判定結果に基づいて合成に用いる撮像の停止を決定しており、深度合成に必要な撮像を最小の必要回数だけ行うことを可能にする。これにより、深度合成に必要な撮影が無駄に行われることを防止して処理時間を短縮することができると共に、必要な撮影が行われずに希望する深度合成画像が得られないことを防止することができる。

　なお、本実施の形態においても、上記変形例１，２を適用して、距離差の情報やピント部位について座標や、ピント部位間の距離の情報を記録するようになっていてもよい。

（第５の実施の形態）
　図２９は本発明の第５の実施の形態を示すフローチャートである。図２９において図２２のフローと同一の手順には同一符号を付して説明を省略する。図３０は第５の実施の形態の深度合成モードにおける撮影の様子を示す説明図である。また、図３１Ａから図３１Ｄは深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図である。また、図３２はキャリブレーションを説明するための説明図である。本実施の形態のハードウェア構成は第３の実施の形態と同様である。

　本実施の形態は、撮影時に補正用既知対象物を同時に撮影することによって、キャリブレーションのための撮影を不要にするものである。

　図３０は物撮りにおける撮影の様子を示している。テーブル１５４上には物品（商品）である瓶１５５と補正用既知対象物である硬貨１６０が載置されている。ユーザ１５１は、瓶１５５及び硬貨１６０が視野範囲に入るように、右手１５２で撮像装置１０１の各回路を収納した筐体１０１ａを把持して構える。撮影モード時には、この状態で筐体１０１ａの背面に設けた表示部１４１の表示画面１４１ａ上に、スルー画が表示される。ユーザ１５１はこのスルー画を確認しながら、瓶１５５及び硬貨１６０の撮影を行う。

　図２９のフローは図２２のフローのステップＳ１０６，Ｓ１０７を省略すると共にステップＳ１６１を追加した点が図２２のフローと異なる。深度合成モードにおいては、図２９のステップＳ１１１～Ｓ１１５において、深度合成のために必要な複数回の撮像が行われる。

　本実施の形態においては、深度合成のための複数回の撮像が終了すると、次のステップＳ１６１において、深度合成制御部１２２は、キャリブレーションに用いる補正量情報を算出するために、補正用既知対象物にピントを合わせた撮像を行うようになっている。

　図３１Ａ～図３１Ｄはこれらの撮像によって得られる画像を示しており、例えば、１回目から３回目の撮影によって得られる各撮像画像がそれぞれ図３１Ａ～図３１Ｃに示す撮像画像１５７ａ～１５７ｃであるものとする。なお、図３１Ａ～図３１Ｄは実線によってピントが合っている状態（合焦状態）を示し、破線によってピントが合っていない状態（非合焦状態）を示している。

　１回目の撮影では、図３１Ａに示すように、瓶１５５の先端にピントが合った撮像画像１５７ａが得られる。なお、撮像画像１５７ａは瓶１５５の先端側１５５ａのピントは合っているが、破線部に示すように、瓶１５５の中央よりも下側１５５ｂではピントは合っていない。２回目の撮影では、図３１Ｂに示すように、瓶１５５の中央にピントが合った撮像画像１５７ｂが得られる。なお、撮像画像１５７ｂは瓶１５５の中央から下側１５５ｂのピントは合っているが、破線部に示すように、瓶１５５の中央よりも先端側１５５ａではピントは合っていない。これらの撮像画像１５７ａ，１５７ｂを深度合成することによって、瓶１５５の全域に亘ってピントがあった画像を得ることができる。

　本実施の形態では、距離を算出してキャリブレーションを行うために、３回目の撮影が行われる。３回目の撮影では、補正用既知対象物である硬貨１６０にピントを合わせた撮像を行う。この場合には、図３１Ｃに示すように、硬貨１６０にのみピントが合い、瓶１５５にはピントが合っていない撮像画像１５７ｄが得られる。

　データ換算部１２６ａは、硬貨１６０までの距離と硬貨１６０の画像中におけるサイズとに基づいて、補正情報を算出する。データ換算部１２６ａは、算出した補正情報を記録部１３０に記録する（ステップＳ１６１）。データ換算部１２６ａは、ステップＳ１１７において、撮像画像毎に求めた被写体距離のキャリブレーションを行う。

　図３２は瓶１５５を撮影した深度合成の１回目と２回目の撮影時のピント位置がそれぞれＬＤ１，ＬＤ２であり、硬貨１６０を撮影した３回目の撮影時のピント位置がＬＤ３であることを示している。ピント位置は被写体距離の逆数に比例するので、ピント位置ＬＤ３における硬貨１６０の画像中のサイズと実際のサイズとに基づく補正情報を、ピント位置ＬＤ１，ＬＤ２において求めた被写体距離に適用することによって、１回目と２回目の撮像画像について正確な被写体距離を算出することができる。

　なお、図２９のフローでは、深度合成のための撮影の後、キャリブレーションのための補正用既知対象物の撮影を行う例を説明したが、この順番は特に限定されない。しかし、ピント位置を変更するためのレンズ駆動における精度を考慮すると、レンズを一方方向に移動させながらピント位置を変更させた方がピント位置を高精度に制御することができるので、合焦対象被写体の各部と補正用既知対象物との距離が近い方又は遠い方から順に撮影を行った方がよい。

　他の作用は第３の実施の形態と同様である。

　このように本実施の形態においては、第３の実施の形態と同様の効果が得られると共に、キャリブレーションのための撮影操作が不要であるという利点があり、全体の撮影時間を短縮することができる。

（第６の実施の形態）
　図３３は本発明の第６の実施の形態を示すブロック図である。例えば、合成処理の際に使用される撮影コマの画像データの露出条件は同じ場合もあれば、異なる場合もある。しかし、露出条件等の撮影条件の記録の仕方によっては、不適切な記録となってしまうことが考えられる。本実施の形態は、画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うようにしたものである。

　以下、本実施の形態としてデジタルカメラ（以下、「カメラ」と称す）に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にスルー画表示する。撮影者はスルー画表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

　また、本実施形態に係るカメラは、複数コマの画像データを取得し、この複数コマの画像データを用いて行う合成処理を行うことができる。この場合、複数の異なる露出条件で画像データを得て行う第１の画像合成処理と、同じ露出条件で複数の画像データを得て行う第２の画像合成処理とで、異なる露出条件（撮影条件）を示す単一のメタデータを生成し、画像データに関連付けて記録するようにしている。

　図３３は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、制御部２０１、撮像部２０２、記録部２０５、表示部２０６、操作部２０７、通信部２０８を有する。

　撮像部２０２は、光学系２０２ａ、撮像素子２０２ｂ、ピント変更部２０２ｃ、露出変更部２０２ｄ、および撮像位置変更部２０２ｄを有する。なお、ピント変更部２０２ｃ、露出変更部２０２ｄおよび撮像位置変更部２０２ｄは、設定可能なモードに応じて、適宜、省略してもよい。

　光学系２０２ａは、フォーカスレンズ等の光学レンズを有し、被写体像を形成することができる。光学系２０２ａのピント位置は、後述するピント変更部２０２ｃによって移動制御される。

　撮像素子２０２ｂは、ＣＣＤイメージセンサ、ＣＭＯＳイメーセンサ等のイメージセンサを有する。この撮像素子２０２ｂは、光学系２０２ａによって被写体像が形成される位置付近に配置され、撮像制御部２０３ｂからの制御に従って、被写体像を画像データに変換し出力する。撮像素子２０２ｂは、同一の対象物に対し、撮影条件（第１の撮影条件）を切り換えて複数の撮影画像データを取得可能な画像データ取得部として機能する。

　ピント変更部２０２ｃは、光学系２０２ａの内のフォーカスレンズを光軸方向に移動する駆動機構および駆動回路を有する。ピント変更部２０２ｃは、撮像制御部２０３ｂからのピント合わせ信号に基づいてフォーカスレンズを合焦位置に移動させる。また、ピント変更部２０２ｃは、深度合成モードが設定された場合に、フォーカスレンズを所定の異なるピント位置に順次移動させ、それぞれのピント位置で画像データが取得される。

　露出変更部２０２ｄは、撮影時の露出条件を変更させる。露出変更部２０２ｄは、絞りおよび絞り制御回路、シャッタおよびシャッタ制御回路、ＩＳＯ感度変更回路等の内の少なくとも１つを有する。すなわち、露出変更部２０２ｄは、絞り値、シャッタ速度値、およびＩＳＯ感度の内の少なくとも１つを変更することにより、露出条件を変更する。また、露出変更部２０２ｄは、ハイダイナミックレンジ合成（ＨＤＲ）モードが設定された場合に、所定の異なる露出条件で順次撮影が行われ、それぞれの露出条件で画像データが取得される。

　撮像位置変更部２０２ｅは、撮像素子２０２ｂを光軸と直交する面内で移動させる移動機構および移動回路を有する。撮像位置変更部２０２ｅは、超高解像合成モードが設定された場合に、撮像素子２０２ｂを光軸と直交する面内で所定の異なる撮像位置に撮像素子２０２ｂを順次移動させ、それぞれの撮像位置で画像データが取得される。

　制御部２０１は、ＣＰＵ（Central Processing Unit）とその周辺回路およびメモリ等を有したＡＳＩＣ（Application Specific Integrated Circuit）で構成される。ＣＰＵはメモリに記憶されたプログラムに従って、カメラ２００内の各部を制御することによってカメラの全体を実行する。制御部２０１は、モード制御部２０１ｂ、表示制御部２０１ｃ、通信制御部２０１ｄ、および画像処理部２０３を有する。これらの各部の一部の機能は、ＣＰＵとプログラムによって実現され、また他の一部の機能は周辺回路によって実現される。

　モード制御部２０１ｂは、ユーザによって設定されたモード等に応じて、撮像制御部２０３ｂ、撮影制御変更部２０３ｃ、画像合成部２０３ｄ等による制御を実行させる。

　表示制御部２０１ｃは、表示部２０６における表示の制御を行う。表示としては、撮像素子２０２ｂによって取得された画像データに基づくスルー画表示、記録部２０５に記録された画像の再生画像表示、メニュー画面表示等、種々の表示がある。また、記録部２０５に記録された際の画像表示の際には、画像データに関連して記録されているメタデータの表示を行うようにしてもよい（後述する図４１Ａ～図４１Ｃ参照）。

　通信制御部２０１ｄは、通信部２０８を介して行う外部との無線（赤外線等を含む）通信、または有線通信の制御を行う。本実施形態においては、後述するように、記録部２０５に記録された画像データ等は外部装置に通信可能である（図４０のＳ２４５、Ｓ２４７参照）。

　画像処理部２０３は、撮像制御部２０３ｂ、撮影制御変更部２０３ｃ、画像合成部２０３ｄ、記録制御部２０３ｅ、メタデータ作成部２０４を有する。

　撮像制御部２０３ｂは、撮像素子２０２ｂから画像データの取得の制御を行う。すなわち、撮像制御部２０３ｂは、撮像素子２０２ｂの光電変換時間や画像データの読出しを制御し、読み出した画像データを制御部２０１に出力させる。

　撮影制御変更部２０３ｃは、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード等の設定されたモードに応じて、ピント変更部２０２ｂ、露出変更部２０２ｃ、撮像位置変更部２０２ｄを制御し、設定されたモードに応じた撮影制御を実行する。

　画像合成部２０３ｄは、画像処理回路等を有し、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード、ノイズリダクションモード、電子手振れ防止モード等に応じて、取得した複数コマの画像データに対して、画像処理を施す。深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モードにおける画像処理については、図３４Ａから図３６Ｄを用いて後述する。

　画像合成部２０３ｄは、画像データ取得部によって、異なる露出条件で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部として機能する。画像合成部２０３ｄは、画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部として機能する。

　記録制御部２０３ｅは、画像処理部２０３によって画像処理が施された画像データを、記録部２０５に記録する際の記録制御を行う。後述するように、画像データは、メタデータ作成部２０４によって生成されたメタデータと関連付けられ、記録部２０５に記録される。画像合成モードに応じて、実施データまたは参考データのいずれかが関連付けられる（図３９のＳ２１３、Ｓ２１９、Ｓ２２５参照）。

　メタデータ作成部２０４は、画像データに付随した情報を生成する。本実施形態においては、メタデータ作成部２０４は実施データ作成部２０４ａと参考データ作成部２０４ｂを有する。実施データ作成部２０４ａは、複数コマの画像データを取得した際の実際の露出条件に基づいてメタデータを生成する。参考データ作成部２０４ｂは、複数コマの画像データを取得した際の実際の複数の露出条件から参考となる露出条件を算出し、この露出条件に基づいてメタデータを生成する。

　メタデータ作成部２０４は、第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部として機能する。また、このメタデータ作成部は、第１の画像合成を行う場合と、第２の画像合成を行う場合で、異なる露出条件（撮影条件）を示す単一のメタデータを作成する（例えば、図３４Ｄ、図３５Ｄ、図３６Ｄ、図３９のＳ２１９、Ｓ２２５参照）。

　メタデータ作成部は、第１の画像合成と上記第２の画像合成を区別する情報を作成する（例えば、図４１Ｃ参照）。また、メタデータ作成部は、第１の画像合成を行った場合には画像データ取得部における露出条件に基づいて参考メタデータを作成し（例えば、図３９のＳ２１９参照）、第２の画像合成を行った場合には画像データ取得部における実際の露出条件を実施メタデータとする（例えば、図３９のＳ２２５参照）。

　メタデータ作成部は、第１の画像合成部によって第１の画像合成を行った場合には、第１の画像合成によって生成された合成画像の露出効果に相当するメタデータを作成する（例えば、図３６Ｄ、図３９のＳ２１９参照）。メタデータ作成部は、第２の画像合成部によって第２の画像合成を行った場合には、画像データ取得部で１コマの画像データを取得する際の露出条件に基づいてメタデータを作成する（例えば、図３４Ｄ、図３５Ｄ、図３９のＳ２２５参照）。

　記録部２０５は、電気的に書き換え可能な不揮発性メモリを有する記録媒体である。記録部２０５には、画像データ２０５ｂと、この画像データ２０５ｂに関連付けられたメタデータ２０５ｃが記録可能である。記録部２０５に記録される画像データやメタデータ等は、例えば、Ｅｘｉｆ等の規格に従って記録される。

　表示部２０６は、カメラの背面等に配置された表示ディスプレイを有し、表示ディスプレイには、スルー画表示、再生表示、メニュー画面等、種々の画像が表示される。

　操作部２０７は、電源釦、レリーズ釦、再生釦、ＯＫ釦、タッチパネル等の種々の操作部材を有する。電源釦、レリーズ釦、再生釦、ＯＫ釦等の操作に応じてオンとなるスイッチを有し、操作部２０７は、スイッチの操作状態を検出し、制御部２０１に出力する。

　通信部２０８は、外部機器やインターネット等と通信を行うための通信回路を有する。通信部２０８を介して、撮像素子２０２ｂによって取得され、記録部２０５に記録されたメタデータ付き画像データが外部に送信される。

　次に、図３４Ａ～３４Ｄを用いて、深度合成モードが設定された場合の撮影方法と画像合成方法について説明する。図３４Ａは、ユーザ２１０がカメラ２２０を用いて被写体２３０を、深度合成モードで撮影する様子を示す。被写体２３０の上部２３０ａと下部２３０ｂは、カメラ２２０からの距離が異なるため、上部２３０ａと下部２３０ｂの両方にピントを合わせるのは困難な場合がある。このような状況で、深度合成モードが設定されると、ピントの位置を変えながら複数コマを撮影し、撮影された画像内の部分を比較し、ピントの合った部分を合成してピントの合った画像を作成する。

　図３４Ｂは、撮影タイミングとピントの合っている部分を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１～ｔ２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮影画像の内、黒塗りの部分Ｆ１（上部２３０ａに相当）にピント合っている。撮影が終わると、時刻ｔ２～ｔ３の間に、ピント変更部２０２ｃによって光学系２０２ａのピント位置を移動させる。

　続いて、時刻ｔ４～ｔ４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳも１／１００秒であり、また撮影画像の内、黒塗りの部分Ｆ２（下部２３０ｂに相当）にピント合っている。１回目および２回目に撮影された２つの撮影画像に深度合成処理を施すと、黒塗りの部分Ｆ１およびＦ２（上部２３０ａおよび下部２３０ｂ）にピントが合った画像を得ることができる。

　図３４Ｃにおいて、画像２４１は１枚目の撮影画像を示し、この撮影により被写体２３０の上部２３０ａ（図３４ＢのＦ１参照）にピントを合わせた画像データを取得する。次に、画像２４２は２枚目の撮影画像を示し、この撮影により被写体２３０の下部２３０ｂ（図３４ＢのＦ２参照）にピントを合わせた画像データを取得する。

　画像２４１および画像２４２の画像データを取得すると、次に、画像合成部２０３ｄは、両画像データを深度合成する。この深度合成処理は、画像ごとに、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域の画像データを合成する。これにより、上部２３０ａおよび下部２３０ｂの両方にピントがあった画像２４３の画像データを生成する。深度合成処理は、単写よりも深い被写界深度の画像データを生成することができる。

　また、画像合成部２０３ｄが深度合成処理によって画像データを生成すると、メタデータ生成部２０４は、メタデータも生成する。深度合成を行うための１回目の撮影と、２回目の撮影と、露出は２回行われている。１回目と２回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一であるので、露出データは、実施データとなる。そこで、メタデータ４４としては、図３４Ｄに示すように、この共通の露出条件である実施データを記録し、参考データは記録しない。他のユーザは、この実施データを使用することにより、深度合成画像と同様の明るさの画像を得ることができる。

　次に、図３５Ａ～図３５Ｄを用いて、超解像合成モードが設定された場合の撮影方法と画像合成方法について説明する。図３５Ａは、ユーザ２１０がカメラ２２０を用いて被写体２３１を、超解像合成モードで撮影する様子を示す。被写体２３１は、遠方にあり、通常の焦点距離で撮影しても被写体２３１は小さく写り、拡大表示（拡大プリント）しても十分な解像度の表示とはならない。

　このような図３５Ａに示す状況で、超解像合成モードが設定されると、撮像位置変更部２０２ｅは、撮像素子２０２ｂの位置を変えながら複数コマを撮影する。そして、１回目の撮影で取得した画像における画素と画素の中間位置を、２回目から４回目の撮影において撮像素子２０２ｂの位置を変えて撮影した画像を用いて、補間することにより、解像度の高い画像を合成する。超解像合成で画像２４５が生成されると、図３５Ｂに示すように、拡大画像２４６の解像度は高く、拡大鑑賞が可能となる。

　図３５Ｃは、超解像撮影時のタイミングチャートと撮像素子２０２ｂの移動を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１１～ｔ１２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子２０２ｂは位置Ｐ１にある。時刻ｔ１２において撮影が終わると、撮像位置変更部２０２ｅは、時刻ｔ１３までの間に撮像素子２０２ｂを位置Ｐ２まで移動させる。

　次に、時刻ｔ１３～ｔ１４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子２０２ｂは位置Ｐ２にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子２０２ｂの位置Ｐ２は図３５Ｃに示すように、右下に所定量だけ移動している。この所定量は、画素間隔（画素ピッチ）よりも小さな値（例えば、画素ピッチの１／２）である。時刻ｔ１４において撮影が終わると、撮像位置変更部２０２ｅは、時刻ｔ１５までの間に撮像素子２０２ｂを位置Ｐ３まで移動させる。

　次に、時刻ｔ１５～ｔ１６の間に３回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子２０２ｂは位置Ｐ３にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子２０２ｂの位置Ｐ３は図３５Ｃに示すように、右上に所定量だけ移動している。

　以後、時刻ｔ１７～ｔ１８において４回目の撮影がなされ、時刻ｔ１９～ｔ２０において５回目の撮影がなされる。これらタイミングでもシャッタ速度ＳＳは１／１００秒であり、また撮像素子２０２ｂは位置Ｐ４、Ｐ５と、位置Ｐ１よりも左下、左上に所定量だけ移動している。

　複数の画像データを取得すると、画像合成部２０３ｄは超解像合成処理を施す。すなわち、撮像素子２０２ｂの位置Ｐ１を基準として、画素が所定量移動した際の画像データを用いて、画素間の画素値を補間する。例えば、撮像素子２０２ｂの移動量が画素ピッチの１／２であれば、画素の前後左右１／２ピッチずれた位置の画素値を補間することができ、画素数が４倍相当の高解像の画像データとなる。

　画像合成部２０３ｄが超解像合成処理によって画像データを生成すると、メタデータ生成部２０４は、メタデータも生成する。超解像合成を行うために、露出は５回行われている。１回目から５回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一であるので、露出データは、実施データとなる。そこで、メタデータ２４７としては、図３５Ｄに示すように、この共通の露出条件である実施データを記録し、参考データは記録しない。

　すなわち、複数枚の画像データが生成されると、画像合成部２０３ｄは、超解像合成処理を施し、超解像成画像データを生成する。メタデータ作成部２０４は、実施データ２０４ａとして、図３５Ａ～図３５Ｄに示した例では、１回の撮影の際の露出条件であるシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ．１６を生成する。ここで生成されたメタデータ（実施データ２０４ａ）は、記録部２０５内にメタデータ２０５ｃとして画像データに関連付けて記録される。他のユーザは、この実施データを使用することにより、超解像合成画像と同様の明るさの画像を得ることができる。

　次に、図３６Ａ～図３６Ｄを用いて、ハイダイナミックレンジ合成処理（ＨＤＲ）モードが設定された場合の撮影方法と画像合成方法について説明する。図３６Ａは、ユーザ２１０がカメラ２２０を用いて、被写体である人物２３２および桜の木２３３を撮影する様子を示す。これらの被写体は晴天の下にあり、桜の木２３３は非常に明るく、一方人物は逆光のため非常に暗くなっている。すなわち、撮像素子２０２ｂが明暗を再現できる範囲が非常に広くないと、両方の被写体の明暗を適正に表現することができない。このような場合に、ＨＤＲモードに設定して撮影を行う。

　図３６Ｃは、ＨＤＲモードに設定されたときの撮像のタイミングチャートである。図３６Ａの状態で撮影する際の標準露出（適正露出）、すなわち、被写体２３２、２３３の両方を考慮した標準露出は、シャッタ速度１／１００秒、絞り値ＦＮｏ．１６とする。ＨＤＲモードが設定されると、この標準露出よりオーバ露光となる露出条件で１回目の撮影を行い、続いて、アンダ露光となる露出条件で２回目の撮影を行う。

　本実施形態においては、図３６Ｃに示すように、時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ２１～ｔ２３の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒の２倍の露出時間（ＳＳは２／１００秒）である。続いて、時刻ｔ２４～ｔ２５の間に２回目の撮影がなされる。このときのシャッタ速度ＳＳは１／１００の１／２倍の露出時間（ＳＳは１／２００秒）である。なお、光学系２０２ａのピント位置は１回目と２回目の撮影において同じである。

　１回目の撮影で取得した露出オーバの画像データと、２回目の撮影で取得した露出アンダの画像データを用いて、画像合成部２０３ｄはＨＤＲ合成を行い、暗部から明部までの明暗の再現に優れた画像データを生成する。このＨＤＲ合成にあたっては、それぞれの画像（被写体）で適正露出となっている部分を繋ぎ合わせることによって、画面全体で白飛びや黒つぶれがない画像データを合成する。

　図３６Ｂは、ＨＤＲ合成処理を施さない画像２４８と、ＨＤＲ合成処理を施した画像２４９を示す。ＨＤＲ合成処理を施していない画像２４８は、桜の木２３３は白飛びとなっており、一方人物２３２は黒つぶれとなっている。これに対して、ＨＤＲ合成処理を施した画像２４９は、桜の木２３３および人物２３２は適正に明暗が表現されている。

　ＨＤＲ合成処理を施した画像２４９のメタデータ５０は、図３６Ｂに示すように、シャッタ速度ＳＳ＝１／１００秒、絞りＦＮｏ．＝１６である。前述したように、ＨＤＲ合成モードでは、露出は２回行われているが、各々異なる露出量であることから、実施データ（ＳＳ：１／５０、１／２００）２０４ａを記録せず、参考データ（ＳＳ：１／１００）２０４ｂを記録する（図３６Ｄ参照）。

　すなわち、複数枚の画像データが生成されると、画像合成部２０３ｄは、ＨＤＲ合成処理を施し、ＨＤＲ合成画像データを生成する。メタデータ作成部２０４は、参考データ２０４ｂとして、図３６Ａ～図３６Ｄに示した例では、ＨＤＲ合成によって生成された画像の露出条件に相当するシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ．１６を生成する。ここで生成されたメタデータ（参考データ２０４ｂ）は、記録部２０５内にメタデータ２０５ｃとして画像データに関連付けて記録される。この参考データで撮影すれば、色表現などを除けば、同様の明るさの画像を得ることができる。

　次に、図３７を用いて、ノイズリダクションモード（ＮＲモード）が設定された場合の撮影タイミングについて説明する。ＩＳＯ感度を高感度に設定すると、画像にノイズが増加し、見苦しくなる。そこで、同一の露出条件で複数コマの撮影を行い、各画像の対応する画素の出力値を平均化することにより、ノイズを低減させた画像を合成することができる。

　ＮＲモードが設定された状態で、レリーズ釦が操作され撮影が開始すると、時刻ｔ３１～ｔ３２、ｔ３３～ｔ３４、ｔ３５～ｔ３６、ｔ３７～ｔ３８、ｔ３９～ｔ４０の間で、撮影が行われる。このときの露出条件は、いずれもシャッタ速度ＳＳは１／１００秒であり、ＩＳＯ感度は６４００である。なお、ＮＲモードの際の撮影回数は、適宜、最適な回数を選択すればよい。

　複数枚の画像データが生成されると、画像合成部２０３ｄは、対応する画素の画素値の平均値を算出し、ＮＲ合成画像データを生成する。メタデータ作成部２０４は、実施データ２０４ａとして、図３７に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ２０４ａ）は、記録部２０５内にメタデータ２０５ｃとして画像データに関連付けて記録される。

　次に、図３８を用いて、電子手振れ防止モードが設定された場合の撮影タイミングについて説明する。カメラを保持するユーザの手が振れていると、画像がぶれてしまい、見苦しい画像となってしまう。そこで、同一の露出条件で複数コマの撮影を行い、各画像の画素位置を手振れ量に応じてずらし、対応する画素の出力値を平均化することにより、手振れを軽減させた画像データを得ることができる。

　電子手振れ防止モードが設定された状態で、レリーズ釦が操作され撮影が開始すると、時刻ｔ４１～ｔ４２、ｔ４３～ｔ４４、ｔ４５～ｔ４６、ｔ４７～ｔ４８、ｔ４９～ｔ５０の間で、撮影が行われる。このときの露出条件は、いずれもシャッタ速度ＳＳは１／１００秒であり、ＩＳＯ感度は６４００である。なお、手振れ量が所定量以上の場合には（図３８の時刻ｔ４３～ｔ４４の撮影参照）、手振れ補正が困難な場合が多いので、手振れ防止合成処理の対象画像から除外する。電子手振れ防止モードの際の撮影回数は、適宜、最適な回数を選択すればよい。

　複数枚の画像データが生成されると、画像合成部２０３ｄは、手振れ量を検出し、この手振れ量に応じて、画素の位置をずらして、対応する画素の画素値の平均値を算出し、電子手振れ防止画像データを生成する。手振れ量は、ジャイロ等のセンサ出力を利用してもよく、また２つの画像データの相関演算により手振れ量を算出してもよい。

　メタデータ作成部２０４は、実施データ２０４ａとして、図３８に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ２０４ａ）は、記録部２０５内にメタデータ２０５ｃとして画像データに関連付けて記録される。

　図３４Ａないし図３８を用いて説明したように、本実施形態においては、複数コマの露出を行い、この露出によって取得した画像データを用いて画像合成部２０３ｄが画像合成を行っている。メタデータ生成部２０４は、画像合成の種類に応じて、実施データ２０４ａまたは参考データ２０４ｄのいずれかを作成し、記録部２０５内にメタデータ２０５ｃを記録するようにしている。

　メタデータの作成にあたっては、複数コマのそれぞれのコマでの露出条件が同じ場合には、実際に制御した露出条件を実施データ２０４ａとして作成している。一方、複数コマのそれぞれのコマでの露出条件が異なる場合には、合成処理によって生成された画像に相当する露出条件を算出して、この露出条件を参考データ２０４ｂとして作成している。

　また、メタデータとして、メタデータ作成部２０４は、合成処理を区別するための情報も作成し、この合成処理を区別するための情報を記録部２０５に記録するようにしてもよい。この場合、メタデータ作成部２０４で作成したデータが、実施データであるか、参考データであるかを区別できるような情報であってもよい。

　なお、画像合成処理としては、上述した深度合成処理、超解像合成処理、ＨＤＲ合成処理、ＮＲ合成処理、電子手振れ防止合成処理に限らず、例えば、比較明合成処理、比較暗合成処理、平均加算合成処理、ライブバルブ合成処理等、複数コマの画像データを用いて合成処理を行うものであればよい。この場合、例えば、比較明合成処理の場合には、トータルの露出時間を実施データとしてメタデータとして記録すればよい。

　次に、図３９および図４０に示すフローチャートを用いて、本実施形態におけるカメラ制御について説明する。このフローチャートは、制御部２０１内のＣＰＵがメモリに記憶されたプログラムに従って、カメラ内の各部を制御することにより、実行する。

　カメラ制御のフローに入ると、まず、撮影モードか否かを判定する（Ｓ２０１）。カメラのモードは、ユーザが再生モード等他のモードに設定しなければ、デフォルトとして撮影モードに設定されている。このステップでは、モードの設定状態を検出し、その検出結果に基づいて判定する。

　ステップＳ２０１における判定の結果、撮影モードであれば、次に、スルー画用撮像を行う（Ｓ２０３）。ここでは、撮像素子２０２ｂによって取得された画像データを取得する。この画像データは所定のフレームレートで繰り返し取得される。

　スルー画用撮像を行うと、次に、スルー画表示、ピント合わせ、標準露出を設定する（Ｓ２０５）。ステップＳ２０３において取得した画像データに対して、画像処理部２０３においてスルー画表示用の画像処理を施し、この処理された画像データに基づいて、表示部２０６にスルー画表示を行う。スルー画表示は所定のフレームレートで更新される。また、取得した画像データのコントラスト値を算出し、このコントラスト値がピークとなるように、光学系２０２ａのフォーカスレンズの位置を調整する。なお、ピント合わせは、前述のコントラストＡＦ以外にも位相差ＡＦ等、他の方法によって行ってもよい。また、画像データから輝度情報等を算出し、この輝度情報に基づいて、シャッタ速度、絞り値、ＩＳＯ感度等の標準露出を設定する。

　続いて、モード切換があったか否かを判定する（Ｓ２０７）。操作部２０７の操作部材によってモードの切換を行うことができる。ここでのモードは、前述した撮影モード、再生モードの他、深度合成モード、超解像合成モード、ＨＤＲ合成モード等、複数コマの露出を行い、合成処理を行うモードを含む。

　ステップＳ２０７における判定の結果、モード切換があった場合には、モード設定を行う（Ｓ２０９）。ここでは、操作部２０７によるモードに切換に応じて、モード制御部２０１ｂにおけるモードを設定する。

　ステップＳ２０９においてモード設定を行うと、またはステップＳ２０７における判定の結果、モード切換がなかった場合には、次に、レリーズスイッチが操作されたか否かを判定する（Ｓ２１１）。レリーズ釦が操作されると、レリーズスイッチの状態が変化する。ここでは、レリーズスイッチの状態変化に基づいて判定する。この判定の結果、レリーズスイッチが操作されていない場合には、ステップＳ２０１に戻る。

　ステップＳ２１１における判定の結果、レリーズスイッチが操作された場合には、次に、露出変更を伴うモードか否かを判定する（Ｓ２１３）。ここでは、最初に設定されているモード、またはステップＳ２０９において設定されたモードに基づいて判定する。露出変更を伴うモードとしては、例えば、ＨＤＲ合成モードがある。また、露出変更を伴わないモードとしては、例えば、深度合成モード、超解像合成モード、ノイズリダクション（ＮＲ）モード、電子手ブレ防止モード等がある。

　ステップＳ２１３における判定の結果、露出変更を伴うモードの場合には、標準露出から長秒時、短秒時に変更して複数枚の撮影を行う（Ｓ２１５）。この場合は、複数コマの撮影を行う際に、それぞれのコマで露出条件が異なる場合である。例えば、図３６Ａ～図３６Ｄを用いて説明したＨＤＲ合成モードでは、１コマ目では標準露出（ステップＳ２０５において設定）よりも露出オーバとなるように、シャッタ速度を長秒時に設定し、２コマ目では標準露出よりも露出アンダとなるようにシャッタ速度を短秒時に設定し、撮影している。

　続いて、画像合成を行う（Ｓ２１７）。ここでは、ステップＳ２１５において取得した複数の画像データに対して、画像合成部２０３ｄが設定されているモードに従って、画像合成処理を施す。

　画像合成を行うと、次に、画像データとメタデータ（参考露出）を記録する（Ｓ２１９）。ここでは、メタデータ作成部２０４が参考データ２０４ｂを作成する。参考データ２０４ｂは、前述したように、画像合成によって生成された画像の効果に相当する露出条件を示すデータである。この作成された参考データ２０４ｂは、ステップＳ２１７において合成された画像データに関連付けられて記録部２０５の画像データ２０５ｂおよびメタデータ２０５ｃとして記録される。データの記録を行うと、ステップＳ２０１に戻る。

　ステップＳ２１３に戻り、このステップでの判定の結果、露出変更を伴うモードでない場合には、標準露出でピントや撮像素子位置を変更して複数枚の撮影を行う（Ｓ２２１）。ここでは、設定されているモードに応じた処理を行う。例えば、深度合成モードが設定されている場合には、ピント位置を変更し、変更した複数のピント位置でそれぞれ撮影を行う。また、超解像合成モードが設定されている場合には、撮像素子２０２ｂの位置を変更し、変更した複数の位置でそれぞれ撮影を行う。このときの露出条件は、ステップＳ２０５において算出された標準露出である。

　続いて、画像合成を行う（Ｓ２２３）。ここでは、ステップＳ２２１において取得した複数の画像データに対して、画像合成部２０３ｄが設定されているモードに従って、画像合成処理を施す。

　画像合成を行うと、次に、画像データとメタデータ（実施露出）を記録する（Ｓ２２５）。ここでは、メタデータ作成部２０４が実施データ２０４ａを作成する。実施データ２０４ａは、前述したように、複数コマの撮影を行った際の各コマにおいて実際に露出制御された露出条件を示すデータである。この作成された実施データ２０４ａは、ステップＳ２２３において合成された画像データに関連付けられて記録部２０５の画像データ２０５ｂおよびメタデータ２０５ｃとして記録される。データの記録を行うと、ステップＳ２０１に戻る。

　ステップＳ２０１に戻り、この判定の結果、撮影モードでない場合には、再生モードか否かを判定する（Ｓ２３１）。ユーザが操作部２０７の再生釦等の操作部材を操作することにより、再生モードを設定することができる。このステップにおける判定の結果、再生モードでない場合には、その他のモードに移行する。

　ステップＳ２３１における判定の結果、再生モードの場合には、次に、アイコン一覧を表示する（Ｓ２３３）。ここでは、記録部２０５に記録されている画像データのサムネイルデータに基づいて、記録画像のアイコンを表示部２０６に表示する。

　次に、画像が選択されたか否かについて判定する（Ｓ２３５）。ユーザは表示部２０６に表示された一覧表示されたアイコンの中から拡大表示したいアイコンをタッチ、または十字釦等によって選択する。このステップでは、ユーザによってアイコンが選択されたか否かを判定する。

　ステップＳ２３５における判定の結果、画像が選択されていない場合には、戻るか否かを判定する（Ｓ２３７）。ユーザが再生モードを終了したい場合には、操作部２０７の内の戻る釦を操作するか、戻るアイコンをクリックする（総称して戻る操作）。ここでは、戻る操作がなされたか否かに基づいて判定する。この判定の結果、戻る操作がなされていない場合には、ステップＳ２３３に戻る。一方、戻る操作がなされた場合には、ステップＳ２０１に戻る。

　ステップＳ２３５における判定の結果、画像が選択された場合には、拡大表示を行う（Ｓ２３９）。ここでは、選択されたアイコンの画像データを読出し、表示部２０６に拡大表示を行う。

　拡大表示を行うと、次に、詳細表示を行うか否かの判定を行う（Ｓ２４１）。ユーザが選択した画像に関連付けて記録されているメタデータを表示させたい場合には、操作部２０７の内の詳細釦を操作するか又は詳細アイコンをクリックする（総称して詳細表示操作）。ここでは、詳細表示操作がなされたか否かに基づいて判定する。

　ステップＳ２４１における判定の結果、詳細表示操作がなされていた場合には、メタデータを表示する（Ｓ２４３）。ここでは、画像データに関連付けて記録されたメタデータ２０５ｃを記録部２０５から読み出し、表示部２０６に表示する。表示例については図４１Ａ～図４１Ｃを用いて後述する。

　ステップＳ２４３においてメタデータを表示すると、またはステップＳ２４１における判定の結果、詳細表示操作がなされていない場合には、外部送信か否かを判定する（Ｓ２４５）。ユーザが記録部２０５に記録された画像データを、インターネット等を介して、無線また有線通信等によって送信した場合には、操作部２０７の送信釦を操作し、または送信アイコンをタッチ操作する（総称して外部送信操作）。このステップでは、外部送信操作がなされたか否かに基づいて判定する。

　ステップＳ２４５における判定の結果、外部送信操作がなされた場合には、設定先に送信する（Ｓ２４７）。ここでは、設定された送信先に、ステップＳ２３５において選択された画像の画像データおよび関連付けされたメタデータを送信する。送信先では、受信した画像データに基づく画像およびメタデータを表示させることができる。この時の表示例については図４１Ａ～図４１Ｃを用いて後述する。

　ステップＳ２４７において設定先に送信すると、またはステップＳ２４５における判定の結果、外部送信操作がされていない場合には、戻るか否かを判定する（Ｓ２４９）。ユーザが再生モードを終了したい場合には、戻る操作を行う。ここでは、この戻る操作がなされたか否かに基づいて判定する。この判定の結果、戻る操作がなされていない場合には、ステップＳ２３９に戻る。一方、戻る操作がなされた場合には、ステップＳ２０１に戻る。

　このように、本実施形態におけるカメラ制御のフローにおいては、レリーズ操作がなされた際に、露出変更を伴うモードが設定されている場合には（Ｓ２１３Ｙｅｓ）、メタデータとして、参考データを作成し記録している（Ｓ２１９）。一方、露出変更を伴わないモードが設定されている場合には（Ｓ２１３Ｎｏ）、メタデータとして実施データを作成し記録している（Ｓ２２５）。すなわち、露出変更を伴わない場合には実際に露出制御された制御値が記録され、一方、露出変更を伴う場合には合成画像の効果に応じた露出制御値が記録されることから、ユーザがメタデータを見た際に、どのような制御がなされたかが分かり易いという効果がある。

　なお、ステップＳ２１９およびＳ２２５においては、メタデータとしては、参考データおよび実施データのいずれか一方のみを作成し、記録するようにしていた。いずれか一方のみを記録することにより、メタデータ２０５ｃの容量を小さくすることができ、また単純化することにより、処理が容易となる。しかし、ステップＳ２１９およびＳ２２５において、参考データおよび実施データの両方を作成し、これをメタデータ２０５ｃとして記録するようにしてもよい。この場合には、例えば、メタデータの記録領域の内、Ｅｘｉｆ規格のメーカノートのように、製造元が記録可能としている領域を利用してもよい。

　次に、図４１Ａ～図４１Ｃを用いて、メタデータの表示について説明する。この表示は、図４０のステップＳ２４３、およびステップＳ２４７で送信された送信先で行われる。

　図４１Ａは、図３４Ａ～図３４Ｄで示したような深度合成モードが設定された場合の表示例である。この場合には、深度合成された画像２４３と、実施データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。図４１Ｂは、図３５Ａ～図３５Ｄで示したような超解像合成モードが設定された場合の表示例である。この場合には、深度合成された画像２４６と、実施データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。

　図４１Ｃは、図３６Ａ～図３６Ｄで示したようなＨＤＲ合成モードが設定された場合の表示例である。この場合には、ＨＤＲ合成された画像２４９と、参考データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。なお、図４１Ｃにおいては、参考データであることを明示するために、「参考」が表示される。このために、メタデータ２０５ｃに、参考データであることを示す情報も併せて記録しておく。

　このように、記録された画像に加えて、メタデータを表示することにより、撮影画像の露出条件を確認することが簡単にできる。また、この表示の際に、露出変更を伴わない場合には各コマを撮影した際の実際の露出値が表示され、露出変更を伴う場合には、合成画像の効果に相当する露出値が表示されるようしたので、分かり易い表示となる。撮影者以外の他のユーザは、このメタデータに基づく露出値を参考にすることにより、類似の写真を撮影することが容易となる。

　なお、図４１Ａ～図４１Ｃにおいては、参考データの場合のみ、「参考」と表示したが、この表示を消去しておいてもよい。また、実施データの場合にも、実施データであることを明示するような表示を付加してもよい。また、図４１Ａ～図４１Ｃにおいては、メタデータを画像の外側で表示していたが、画像に重畳して表示するようにしてもよい。

　以上説明したように、本実施の形態においては、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し（例えば、図３９のＳ２０３参照）、異なる露出条件で取得した複数の撮影画像データを用いて第１の画像合成を行い（例えば、図３９のＳ２１７参照）、同一の露出条件、かつ露出以外の条件を異ならせて取得した複数の撮影画像データを用いて第２の画像合成を行い（例えば、図３９のＳ２２３参照）、第１画像合成または第２画像合成によって合成された合成画像データを表すメタデータを作成する際に、第１の画像合成を行う場合と、第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する（例えば、図３４Ｄ、図３５Ｄ、図３６Ｄ、図３９のＳ２１９、Ｓ２２５参照）。このため、画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うことができる。すなわち、複数の撮影画像データを取得する際に、露出変更を行っている場合と露出変更を行わない場合で、異なる露出条件を示すようにしており、画像合成処理に応じた情報の表示が可能となる。

　なお、本実施の形態においては、モードが露出変更を伴うか否かを判定し（図３９のＳ２１３参照）、この結果に応じて、メタデータとして参考データまたは実施データを記録するようにしている。しかし、モードが露出変更を伴うか否かに限らず、例えば、撮影距離の変更を伴うか否か等、撮影条件に応じて、メタデータの種類を適宜決定するようにしてもよい。この場合には、画像データ取得部は、同一の対象物に対し、第１の撮影条件を切り換えて複数の撮影画像データを取得可能であり、第１画像合成部は画像データ取得部によって、第２の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行い、第２画像合成部は画像データ取得部によって、第２の撮影条件を変えず、第３の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行い、メタデータ作成部は、第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成する際に、第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる撮影条件を示す単一のメタデータを作成すればよい。

　また、本実施の形態においては、ピント変更部２０２ｃ、露出変更部２０２ｄ、撮像位置変更部２０２ｅ等は、ＣＰＵおよびメモリに記憶したプログラムによってソフトウエアでその機能を実現してもよく、また制御部２０１内のＣＰＵとメモリに記憶したプログラムでその機能を実現するようにしても勿論かまわない。

　また、本実施の形態においては、撮像制御部２０３ｂ、撮影制御変更部２０３ｃ等の各部の機能の全部または一部をＣＰＵ（Central Processing Unit）と周辺回路およびプログラムによって実現していたが、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウェア構成でもよく、またハードウェア回路によって実行するようにしても勿論かまわない。

（第７の実施の形態）
　図４２は本発明の第７の実施の形態を示すブロック図である。深度合成処理の際には、撮影距離を変えて取得した複数の画像を用いて画像処理を行うために、個々の画像の被写界深度と合成された画像の被写界深度が異なっている。本実施の形態は、画像合成処理の効果が分かりやすい情報を作成し、画像データに関連付けを行うようにしたものである。

　また、本実施形態に係るカメラは、複数コマの画像データを取得し、この複数コマの画像データを用いて行う合成処理を行うことができる。深度合成モードが設定されている場合、撮影レンズのピント位置を移動させては撮影を行い、複数のピント位置で撮影を繰り返して行うことにより、複数コマの画像データを取得し、深度合成処理を行う（後述する図５１等参照）。また、複数のピント位置の少なくとも一部を用いて、深度合成処理された画像の被写界深度に相当する換算ＦＮｏを算出し（後述する図４８のＳ３２５，Ｓ３６３、式（６）等参照）、この換算ＦＮｏに基づく換算データを画像データと共に記録する。このように、その画像処理が行われた結果に現れる効果を効果換算データとして記載することで、その機能の効果を画像と共に積極的に伝えることが可能となる。ここではＦＮｏを例にしているが、同様の考え方は、シャッタースピードや、撮像センサの感度などにも活用することが可能である。また、画素を少しずつ分割して使うような超解像のような技術でも利用可能である。

　図４２は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、制御部３０１、撮像部３０２、記録部３０５、表示部３０６、操作部３０７、通信部３０８を有する。

　撮像部３０２は、光学系３０２ａ、撮像素子３０２ｂ、ピント変更部３０２ｃ、露出変更部３０２ｄ、および撮像位置変更部３０２ｄを有する。なお、ピント変更部３０２ｃ、露出変更部３０２ｄおよび撮像位置変更部３０２ｄは、設定可能なモードに応じて、適宜、省略してもよい。

　光学系３０２ａは、フォーカスレンズ等の光学レンズを有し、被写体像を形成することができる。光学系３０２ａのピント位置は、後述するピント変更部３０２ｃによって移動制御される。

　撮像素子３０２ｂは、ＣＣＤイメージセンサ、ＣＭＯＳイメーセンサ等のイメージセンサを有する。この撮像素子３０２ｂは、光学系３０２ａによって被写体像が形成される位置付近に配置され、撮像制御部３０３ｂからの制御に従って、被写体像を画像データに変換し出力する。撮像素子３０２ｂは、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部として機能する。また、画像データ取得部は、露出条件を異ならせて複数の撮影画像データを取得可能である（例えば、図４５Ａ～図４５ＤのＨＤＲモード、図４８のＳ３１５等参照）。

　ピント変更部３０２ｃは、光学系３０２ａの内のフォーカスレンズを光軸方向に移動する駆動機構および駆動回路を有する。ピント変更部３０２ｃは、撮像制御部３０３ｂからのピント合わせ信号に基づいてフォーカスレンズを合焦位置に移動させる。また、ピント変更部３０２ｃは、深度合成モードが設定された場合に、現在のフォーカスレンズのピントを検出し、フォーカスレンズを所定の異なるピント位置に順次移動させる。それぞれのピント位置で撮像素子３０２ｂが画像データを取得する。

　露出変更部３０２ｄは、撮影時の露出条件を変更させる。露出変更部３０２ｄは、絞りおよび絞り制御回路、シャッタおよびシャッタ制御回路、ＩＳＯ感度変更回路等の内の少なくとも１つを有し、またこれらの露出制御値を検出する。すなわち、露出変更部３０２ｄは、絞り値、シャッタ速度値、およびＩＳＯ感度の内の少なくとも１つを変更することにより、露出条件を変更する。また、露出変更部３０２ｄは、ハイダイナミックレンジ合成（ＨＤＲ）モードが設定された場合に、所定の異なる露出条件で順次撮影を行う。それぞれの露出条件で画像データが取得される。

　撮像位置変更部３０２ｅは、撮像素子３０２ｂを光軸と直交する面内で移動させる移動機構および移動回路を有する。撮像位置変更部３０２ｅは、超高解像合成モードが設定された場合に、撮像素子３０２ｂを光学系３０２ａの光軸と直交する面内で所定の異なる撮像位置に撮像素子３０２ｂを順次移動させ、それぞれの撮像位置で画像データが取得される。

　制御部３０１は、ＣＰＵ（Central Processing Unit）とその周辺回路およびメモリ等を有したＡＳＩＣ（Application Specific Integrated Circuit）で構成される。ＣＰＵはメモリに記憶されたプログラムに従って、カメラ３００内の各部を制御することによってカメラの全体を実行する。制御部３０１は、モード制御部３０１ｂ、表示制御部３０１ｃ、通信制御部３０１ｄ、および画像処理部３０３を有する。これらの各部の一部の機能は、ＣＰＵとプログラムによって実現され、また他の一部の機能は周辺回路によって実現される。

　モード制御部３０１ｂは、ユーザによって設定されたモード等に応じて、撮像制御部３０３ｂ、撮影制御変更部３０３ｃ、画像合成部３０３ｄ等による制御を実行させる。

　表示制御部３０１ｃは、表示部３０６における表示の制御を行う。表示としては、撮像素子３０２ｂによって取得された画像データに基づくスルー画表示、記録部３０５に記録された画像の再生画像表示、メニュー画面表示等、種々の表示がある。また、記録部３０５に記録された際の画像表示の際には、画像データに関連して記録されているメタデータの表示を行うようにしてもよい（後述する図５０Ａ～図５０Ｃ参照）。

　通信制御部３０１ｄは、通信部３０８を介して行う外部との無線（赤外線等を含む）通信、または有線通信の制御を行う。本実施形態においては、後述するように、記録部３０５に記録された画像データ等は外部装置に通信可能である（図４９のＳ３４５、Ｓ３４７参照）。

　画像処理部３０３は、撮像制御部３０３ｂ、撮影制御変更部３０３ｃ、画像合成部３０３ｄ、記録制御部３０３ｅ、メタデータ作成部３０４を有する。

　撮像制御部３０３ｂは、撮像制御回路を有し、撮像素子３０２ｂから画像データの取得の制御を行う。すなわち、撮像制御部３０３ｂは、撮像素子３０２ｂの光電変換時間や画像データの読出しを制御し、読み出した画像データを制御部３０１に出力させる。

　撮影制御変更部３０３ｃは、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード等の設定されたモードに応じて、ピント変更部３０２ｂ、露出変更部３０２ｃ、撮像位置変更部３０２ｄを制御し、設定されたモードに応じた撮影制御を実行する。

　画像合成部３０３ｄは、画像合成回路や画像処理回路等を有し、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード、ノイズリダクションモード、電子手振れ防止モード等に応じて、取得した複数コマの画像データに対して、画像処理を施す。深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モードにおける画像処理については、図４３Ａないし図４５Ｄを用いて後述する。

　画像合成部３０３ｄは、画像データ取得部によって、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部として機能する（例えば、図４３Ａ～図４３Ｄ、図４８のＳ３２３、図５１に示す深度合成等参照）。また、画像合成部３０３ｄは、画像データ取得部によって、同一の露出条件、かつ異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部として機能する（例えば、図４３Ａ～図４３Ｄ、図４８のＳ３２３、図５１に示す深度合成等参照）。

　画像合成部３０３ｄは、画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部として機能する（例えば、図４４Ａ～図４４Ｄの超解像合成、図４６のノイズリダクション合成、図４７の電子手振れ防止合成等参照）。また、画像合成部３０３ｄは、画像データ取得部によって、同一の露出条件、かつピント位置を異ならせることなく複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部として機能する（例えば、図４４Ａ～図４４Ｄの超解像合成、図４６のノイズリダクション合成、図４７の電子手振れ防止合成等参照）。

　画像合成部３０３ｄは、画像データ取得部によって異なる露出条件で取得した複数の撮影画像データを用いて第３の画像合成を行う第３画像合成部として機能する（例えば、図４５Ａ～図４５ＤのＨＤＲモード、図４８のＳ３１５）。

　記録制御部３０３ｅは、画像処理部３０３によって画像処理が施された画像データを、記録部３０５に記録する際の記録制御を行う。後述するように、画像データは、メタデータ作成部３０４によって生成されたメタデータと関連付けられ、記録部３０５に記録される。画像合成モードに応じて、実施データ、参考データ、または換算データのいずれかが関連付けられる（図４８のＳ３１３、Ｓ３１９、Ｓ３２５、Ｓ３２９参照）。

　メタデータ作成部３０４は、画像データに付随した情報を生成する。本実施形態においては、メタデータ作成部３０４は実施データ作成部３０４ａ、参考データ作成部３０４ｂ、および換算データ作成部３０４ｃをそれぞれ作成する。実施データ作成部３０４ａは、複数コマの画像データを取得した際の実際の撮影（露出）条件に基づいてメタデータを生成する。

　参考データ作成部３０４ｂは、複数コマの画像データを取得した際の実際の複数の撮影（露出）条件から参考となる撮影（露出）条件を算出し、この撮影（露出）条件に基づいてメタデータを生成する。換算データ作成部３０４ｃは、複数コマの画像データを取得した際の実際の撮影（露出）条件から、合成された画像の撮影（露出）データの換算値を生成する。

　例えば、本実施形態においては、ＨＤＲ合成モードが設定された際には、この実際の露出データに基づいて算出された参考データを参考にして撮影を行うことにより、類似の画像で撮影することが可能である。一方、深度合成モード設定時の換算データは、単なる換算値であることから、この換算データに応じた露出データ（絞り値、ＦＮｏ）で撮影しても、類似の画像で撮影できない。ただし、画像が有する効果に関しては、分かりやすく伝えることが出来、同様の撮影を行う時に、通常の設定では出来ない事から、こうした機能による補助が必要であることが伝えられる。

　メタデータ作成部３０４は、第１画像合成部によって合成された合成画像データにおける絞り値の換算データを算出し、換算データに基づいてメタデータを作成するメタデータ作成部として機能する（例えば、図４８のＳ３２５、図５１等参照）。このメタデータ作成部は、光学系の焦点距離ｆ、許容錯乱円径δ、近点距離Ｓ_ｆおよび遠点距離Ｓ_ｎに基づいて上記換算データを算出する（例えば、後述する（６）式参照）。また、換算データは、換算絞り値Ｆであり、該Ｆを、　Ｆ＝ｆ^２（Ｓ_ｆ－Ｓ_ｎ）／２δＳ_ｆＳ_ｎ　によって算出する（例えば、後述する（６）式参照）。メタデータ作成部は、画像データ取得部によって行った撮影の回数と、各撮影時の絞り値に基づいて、換算絞り値Ｆを算出する（例えば、図５１のＳ３６３参照）。

　メタデータ作成部３０４は、第２画像合成部により第２の画像合成を行う場合には、複数枚の撮影を行った際の同一の露出条件に基づいて、メタデータを生成するメタデータ作成部として機能する（例えば、図４８のＳ３２７～Ｓ３２９参照）。また、メタデータ作成部３０４は、第１の画像合成を行う場合と、第３の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成するメタデータ作成部として機能する（例えば、図４８のＳ３２５、Ｓ３２９参照）。

　メタデータ作成部３０４は、第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部として機能し、このメタデータ作成部は、第１の画像合成を行う場合は、換算した露出条件に基づいてメタデータを作成し（例えば、図４８のＳ３２５参照）、一方第２の画像合成を行う場合は、複数の撮影時における同一の露出条件を用いてメタデータを作成する（例えば、図４８のＳ３２９参照）。

　記録部３０５は、電気的に書き換え可能な不揮発性メモリを有する記録媒体である。記録部３０５には、画像データ３０５ｂと、この画像データ３０５ｂに関連付けられたメタデータ３０５ｃが記録可能である。記録部３０５に記録される画像データやメタデータ等は、例えば、Ｅｘｉｆ等の規格に従って記録される。

　表示部３０６は、カメラの背面等に配置された表示ディスプレイを有し、表示ディスプレイには、スルー画表示、再生表示、メニュー画面等、種々の画像が表示される。

　操作部３０７は、電源釦、レリーズ釦、再生釦、ＯＫ釦、タッチパネル等の種々の操作部材を有する。電源釦、レリーズ釦、再生釦、ＯＫ釦等の操作に応じてオンとなるスイッチを有し、操作部３０７は、スイッチの操作状態を検出し、制御部３０１に出力する。

　通信部３０８は、外部機器やインターネット等と通信を行うための通信回路を有する。通信部３０８を介して、撮像素子３０２ｂによって取得され、記録部３０５に記録されたメタデータ付き画像データが外部に送信される。

　次に、図４３Ａ～図４３Ｄを用いて、深度合成モードが設定された場合の撮影方法と画像合成方法について説明する。図４３Ａは、ユーザ３１０がカメラ３２０を用いて被写体３３０を、深度合成モードで撮影する様子を示す。被写体３３０の上部３３０ａと下部３３０ｂは、カメラ３２０からの距離が異なるため、上部３３０ａと下部３３０ｂの両方にピントを合わせるのは困難な場合がある。このような状況で、深度合成モードが設定されると、ピントの位置を変えながら複数コマを撮影し、撮影された画像内の部分を比較し、ピントの合った部分を合成してピントの合った画像を作成する。

　図４３Ｂは、撮影タイミングとピントの合っている部分を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１～ｔ２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒、絞り値ＦＮｏは１６であり、また撮影画像の内、黒塗りの部分Ｆ１（上部３３０ａに相当）にピント合っている。撮影が終わると、時刻ｔ２～ｔ３の間に、ピント変更部３０２ｃによって光学系３０２ａのピント位置を移動させる。

　続いて、時刻ｔ４～ｔ４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳも１／１００秒であり、絞り値ＦＮｏは１６であり、また撮影画像の内、黒塗りの部分Ｆ２（下部３３０ｂに相当）にピント合っている。１回目および２回目に撮影された２つの撮影画像に深度合成処理を施すと、黒塗りの部分Ｆ１およびＦ２（上部３３０ａおよび下部３３０ｂ）にピントが合った画像を得ることができる。

　図４３Ｃにおいて、画像３４１は１枚目の撮影画像を示し、この撮影により被写体３３０の上部３３０ａ（図４３ＢのＦ１参照）にピントを合わせた画像データを取得する。次に、画像３４２は２枚目の撮影画像を示し、この撮影により被写体３３０の下部３３０ｂ（図４３ＢのＦ２参照）にピントを合わせた画像データを取得する。

　画像３４１および画像３４２の画像データを取得すると、次に、画像合成部３０３ｄは、両画像データを深度合成する。この深度合成処理は、画像ごとに、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域の画像データを合成する。これにより、上部３３０ａおよび下部３３０ｂの両方にピントがあった画像３４３の画像データを生成する。深度合成処理を行うことにより、単写よりも深い被写界深度の画像データを生成することができる。

　また、画像合成部３０３ｄが深度合成処理によって画像データを生成すると、メタデータ生成部３０４は、メタデータも生成する。深度合成を行うための１回目の撮影と、２回目の撮影と、露出は２回行われている。１回目と２回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一である。深度合成することにより、実際に撮影された個々の画像の被写界深度とは異なり、深度が深くなる。そこで、メタデータ作成部３０４は、２つの撮影のデータを用いて、換算絞り値（ＦＮｏ）を算出し、これを換算データ３０４ｃとする。メタデータ３４４としては、図４３Ｄに示すように、絞り値の換算データを記録し、実施データおよび参考データは記録しない。ユーザは、換算された絞り値を知ることができる。

　次に、図４４Ａ～図４４Ｄを用いて、超解像合成モードが設定された場合の撮影方法と画像合成方法について説明する。図４４Ａは、ユーザ３１０がカメラ３２０を用いて被写体３３１を、超解像合成モードで撮影する様子を示す。被写体３３１は、遠方にあり、通常の焦点距離で撮影しても被写体３３１は小さく写り、拡大表示（拡大プリント）しても十分な解像度の表示とはならない。

　このような図４４Ａに示す状況で、超解像合成モードが設定されると、撮像位置変更部３０２ｅは、光学系３０２ａの光軸と直交する面内で撮像素子３０２ｂの位置を変えながら複数コマを撮影する。そして、１回目の撮影で取得した画像における画素と画素の中間位置を、２回目から４回目の撮影において撮像素子３０２ｂの位置を変えて撮影した画像を用いて、補間により画像合成を行う。この画像合成により、実質的に画素数が増加したことになり、解像度の高い画像が生成される。超解像合成で画像３４５が生成されると、図４４Ｂに示すように、拡大画像３４６の解像度は高く、拡大鑑賞が可能となる。また、メタデータ３４７としては、シャッタ速度ＳＳ、絞りＦＮｏの他に、換算画素数が記録される。

　図４４Ｃは、超解像撮影時のタイミングチャートと撮像素子３０２ｂの移動を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１１～ｔ１２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子３０２ｂは位置Ｐ１にある。時刻ｔ１２において撮影が終わると、撮像位置変更部３０２ｅは、時刻ｔ１３までの間に撮像素子３０２ｂを位置Ｐ２まで移動させる。

　次に、時刻ｔ１３～ｔ１４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子３０２ｂは位置Ｐ２にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子３０２ｂの位置Ｐ２は図４４Ｃに示すように、右下に所定量だけ移動している。この所定量は、画素間隔（画素ピッチ）よりも小さな値（例えば、画素ピッチの１／２）である。時刻ｔ１４において撮影が終わると、撮像位置変更部３０２ｅは、時刻ｔ１５までの間に撮像素子３０２ｂを位置Ｐ３まで移動させる。

　次に、時刻ｔ１５～ｔ１６の間に３回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子３０２ｂは位置Ｐ３にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子３０２ｂの位置Ｐ３は図４４Ｃに示すように、右上に所定量だけ移動している。

　以後、時刻ｔ１７～ｔ１８において４回目の撮影がなされ、時刻ｔ１９～ｔ２０において５回目の撮影がなされる。これらタイミングでもシャッタ速度ＳＳは１／１００秒であり、また撮像素子３０２ｂは位置Ｐ４、Ｐ５と、位置Ｐ１よりも左下、左上に所定量だけ移動している。

　複数の画像データを取得すると、画像合成部３０３ｄは超解像合成処理を施す。すなわち、撮像素子３０２ｂの位置Ｐ１を基準として、画素が所定量移動した際の画像データを用いて、画素間の画素値を補間して合成処理する。例えば、撮像素子３０２ｂの移動量が画素ピッチの１／２であれば、画素の前後左右１／２ピッチずれた位置の画素値を補間することができ、画素数が所定数倍（例えば、１．５倍）相当の高解像の画像データとなる。この所定数は、超解像合成処理の際の補間演算のやり方により、異ならせることができる。

　画像合成部３０３ｄが超解像合成処理によって画像データを生成すると、メタデータ生成部３０４は、メタデータも生成する。超解像合成を行うために、撮像素子３０２ｂの位置をずらしながら撮影を行い、露出は５回行われている。１回目から５回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一であるので、露出データは、実施データとなる。そこで、メタデータ３４７としては、図４４Ｄに示すように、この共通の露出条件である実施データを記録し、参考データや換算データは記録しない。

　すなわち、複数枚の画像データが生成されると、画像合成部３０３ｄは、超解像合成処理を施し、超解像成画像データを生成する。メタデータ作成部３０４は、実施データ３０４ａとして、図４４Ａ～図４４Ｄに示した例では、１回の撮影の際の露出条件であるシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ．１６を生成する。ここで生成されたメタデータ（実施データ３０４ａ）は、記録部３０５内にメタデータ３０５ｃとして画像データに関連付けて記録される。他のユーザは、この実施データを使用することにより、超解像合成画像と同様の明るさの画像を得ることができる。なお、本実施形態においては、複数の画像データを用いて超解像合成を行うことにより、画素数が所定数倍、増加したような画像データを合成している。そこで、メタデータ３４７としては、所定数倍増加した画素数を換算データとして記録し、実施データおよび参考データは記録しないようにしてもよい。

　次に、図４５Ａ～図４５Ｄを用いて、ハイダイナミックレンジ合成処理（ＨＤＲ）モードが設定された場合の撮影方法と画像合成方法について説明する。図４５Ａは、ユーザ３１０がカメラ３２０を用いて、被写体である人物３３２および桜の木３３３を撮影する様子を示す。これらの被写体は晴天の下にあり、桜の木３３３は非常に明るく、一方人物は逆光のため非常に暗くなっている。すなわち、撮像素子３０２ｂが明暗を再現できる範囲が非常に広くないと、両方の被写体の明暗を適正に表現することができない。このような場合に、ＨＤＲモードに設定して撮影を行う。

　図４５Ｃは、ＨＤＲモードに設定されたときの撮影のタイミングチャートである。図４５Ａの状態で撮影する際の標準露出（適正露出）、すなわち、被写体３３２、３３３の両方を考慮した標準露出は、シャッタ速度１／１００秒、絞り値ＦＮｏ＝１６とする。ＨＤＲモードが設定されると、この標準露出よりオーバ露光となる露出条件で１回目の撮影を行い、続いて、アンダ露光となる露出条件で２回目の撮影を行う。

　本実施形態においては、図４５Ｃに示すように、時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ２１～ｔ２３の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒の２倍の露出時間（ＳＳは２／１００秒）である。続いて、時刻ｔ２４～ｔ２５の間に２回目の撮影がなされる。このときのシャッタ速度ＳＳは１／１００の１／２倍の露出時間（ＳＳは１／２００秒）である。なお、光学系３０２ａのピント位置は１回目と２回目の撮影において同じである。

　１回目の撮影で取得した露出オーバの画像データと、２回目の撮影で取得した露出アンダの画像データを用いて、画像合成部３０３ｄはＨＤＲ合成を行い、暗部から明部までの明暗の再現に優れた画像データを生成する。このＨＤＲ合成にあたっては、それぞれの画像（被写体）で適正露出となっている部分を繋ぎ合わせることによって、画面全体で白飛びや黒つぶれがない画像データを合成する。

　図４５Ｂは、ＨＤＲ合成処理を施さない画像４８と、ＨＤＲ合成処理を施した画像３４９を示す。ＨＤＲ合成処理を施していない画像３４８は、桜の木３３３は白飛びとなっており、一方人物３３２は黒つぶれとなっている。これに対して、ＨＤＲ合成処理を施した画像３４９は、桜の木３３３および人物３３２は適正に明暗が表現されている。

　ＨＤＲ合成処理を施した画像３４９のメタデータ３５０は、図４５Ｂに示すように、シャッタ速度ＳＳ＝１／１００秒、絞り値ＦＮｏ＝１６である。前述したように、ＨＤＲ合成モードでは、露出は２回行われているが、各々異なる露出量であることから、メタデータ３５０としては、実施データ（ＳＳ：１／５０、１／２００）１０４ａおよび換算データ３０４ｃを記録せず、参考データ（ＳＳ：１／１００）３０４ｂを記録する（図４５Ｄ参照）。

　すなわち、複数枚の画像データが生成されると、画像合成部３０３ｄは、ＨＤＲ合成処理を施し、ＨＤＲ合成画像データを生成する。メタデータ作成部３０４は、参考データ３０４ｂとして、図４５Ａ～図４５Ｄに示した例では、ＨＤＲ合成によって生成された画像の露出条件に相当するシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ＝１６を生成する。ここで生成されたメタデータ（参考データ３０４ｂ）は、記録部３０５内にメタデータ３０５ｃとして画像データに関連付けて記録される。この参考データで撮影すれば、色表現などを除けば、同様の明るさの画像を得ることができる。

　次に、図４６を用いて、ノイズリダクションモード（ＮＲモード）が設定された場合の撮影タイミングについて説明する。ＩＳＯ感度を高感度に設定すると、画像にノイズが増加し、見苦しくなる。そこで、同一の露出条件で複数コマの撮影を行い、各画像の対応する画素の出力値を平均化することにより、ノイズを低減させた画像を合成することができる。

　複数枚の画像データが生成されると、画像合成部３０３ｄは、対応する画素の画素値の平均値を算出し、ＮＲ合成画像データを生成する。メタデータ作成部３０４は、実施データ３０４ａとして、図４６に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ３０４ａ）は、記録部３０５内にメタデータ３０５ｃとして画像データに関連付けて記録される。なお、ＮＲ合成画像データは、ノイズが軽減されており、メタデータ作成部３０４は、この軽減されたＩＳＯ感度に応じた換算ＩＳＯ感度を算出し、実施データ３０４ａではなく、換算データ３０４ｃを記録部３０５にメタデータとして記録するようにしてもよい。

　次に、図４７を用いて、電子手振れ防止モードが設定された場合の撮影タイミングについて説明する。カメラを保持するユーザの手が振れていると、画像がぶれてしまい、見苦しい画像となってしまう。そこで、同一の露出条件で複数コマの撮影を行い、各画像の画素位置を手振れ量に応じてずらし、対応する画素の出力値を平均化することにより、手振れを軽減させた画像データを得ることができる。

　電子手振れ防止モードが設定された状態で、レリーズ釦が操作され撮影が開始すると、時刻ｔ４１～ｔ４２、ｔ４３～ｔ４４、ｔ４５～ｔ４６、ｔ４７～ｔ４８、ｔ４９～ｔ５０の間で、撮影が行われる。このときの露出条件は、いずれもシャッタ速度ＳＳは１／１００秒であり、ＩＳＯ感度は６４００である。なお、手振れ量が所定量以上の場合には（図４７の時刻ｔ４３～ｔ４４の撮影参照）、手振れ補正が困難な場合が多いので、手振れ防止合成処理の対象画像から除外する。電子手振れ防止モードの際の撮影回数は、適宜、最適な回数を選択すればよい。

　複数枚の画像データが生成されると、画像合成部３０３ｄは、手振れ量を検出し、この手振れ量に応じて、画素の位置をずらして、対応する画素の画素値の平均値を算出し、電子手振れ防止画像データを生成する。手振れ量は、ジャイロ等のセンサ出力を利用してもよく、また２つの画像データの相関演算により手振れ量を算出してもよい。

　メタデータ作成部３０４は、実施データ３０４ａとして、図４７に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ３０４ａ）は、記録部３０５内にメタデータ３０５ｃとして画像データに関連付けて記録される。

　図４３Ａないし図４７を用いて説明したように、本実施形態においては、複数コマの露出を行い、この露出によって取得した画像データを用いて画像合成部３０３ｄが画像合成を行っている。メタデータ生成部３０４は、画像合成の種類に応じて、実施データ３０４ａ、参考データ３０４ｄ、換算データ３０４ｃのいずれかを作成し、記録部３０５内にメタデータ３０５ｃを記録するようにしている。

　メタデータの作成にあたっては、複数コマのそれぞれのコマでの露出条件が同じ場合には、実際に制御した露出条件を実施データ３０４ａとして作成している。また、複数コマのそれぞれのコマでの露出条件が異なる場合には、合成処理によって生成された画像に相当する露出条件を算出して、この露出条件を参考データ３０４ｂとして作成している。また、複数のコマでの露出条件が同じでも、撮影距離が異なる等により撮影条件が異なる場合には、合成処理によって生成された画像の露出制御値（深度合成モードの場合には、絞り値）の換算値を算出して、この露出制御値を換算データ３０４ｃとして作成している。

　また、メタデータとして、メタデータ作成部３０４は、合成処理を区別するための情報も作成し、この合成処理を区別するための情報を記録部３０５に記録するようにしてもよい。この場合、メタデータ作成部３０４で作成したデータが、実施データであるか、参考データであるか、換算データであるかを区別できるような情報であってもよい。

　次に、図４８および図４９に示すフローチャートを用いて、本実施形態におけるカメラ制御について説明する。このフローチャート（後述する図５１および図５６に示すフローチャート含む）は、制御部３０１内のＣＰＵがメモリに記憶されたプログラムに従って、カメラ内の各部を制御することにより、実行する。なお、図４８および図４９に示すフローにおいては、主として、画像合成を行うモードが設定されている場合について説明する。

　カメラ制御のフローに入ると、まず、撮影モードか否かを判定する（Ｓ３０１）。カメラのモードは、ユーザが再生モード等他のモードに設定しなければ、デフォルトとして撮影モードに設定されている。このステップでは、モードの設定状態を検出し、その検出結果に基づいて判定する。

　ステップＳ３０１における判定の結果、撮影モードであれば、次に、スルー画用撮像を行う（Ｓ３０３）。ここでは、撮像素子３０２ｂによって取得された画像データを取得する。この画像データは所定のフレームレートで繰り返し取得される。

　スルー画用撮像を行うと、次に、スルー画表示、ピント合わせ、標準露出を設定する（Ｓ３０５）。ステップＳ３０３において取得した画像データに対して、画像処理部３０３においてスルー画表示用の画像処理を施し、この処理された画像データに基づいて、表示部３０６にスルー画表示を行う。スルー画表示は所定のフレームレートで更新される。また、取得した画像データのコントラスト値を算出し、このコントラスト値がピークとなるように、光学系３０２ａのフォーカスレンズの位置を調整する。なお、ピント合わせは、前述のコントラストＡＦ以外にも位相差ＡＦ等、他の方法によって行ってもよい。また、画像データから輝度情報等を算出し、この輝度情報に基づいて、シャッタ速度、絞り値、ＩＳＯ感度等の標準露出を設定する。

　続いて、モード切換があったか否かを判定する（Ｓ３０７）。操作部３０７の操作部材によってモードの切換を行うことができる。ここでのモードは、前述した撮影モード、再生モードの他、深度合成モード、超解像合成モード、ＨＤＲ合成モード等、複数コマの露出を行い、合成処理を行うモードを含む。

　ステップＳ３０７における判定の結果、モード切換があった場合には、モード設定を行う（Ｓ３０９）。ここでは、操作部３０７によるモードに切換に応じて、モード制御部３０１ｂにおけるモードを設定する。

　ステップＳ３０９においてモード設定を行うと、またはステップＳ３０７における判定の結果、モード切換がなかった場合には、次に、レリーズスイッチが操作されたか否かを判定する（Ｓ３１１）。レリーズ釦が操作されると、レリーズスイッチの状態が変化する。ここでは、レリーズスイッチの状態変化に基づいて判定する。この判定の結果、レリーズスイッチが操作されていない場合には、ステップＳ３０１に戻る。

　ステップＳ３１１における判定の結果、レリーズスイッチが操作された場合には、次に、設定されている合成モードの種類を判定する（Ｓ３１３）。ここでは、最初に設定されているモード、またはステップＳ３０９において設定されたモードに基づいて判定する。合成モードして、ＨＤＲ合成モード、深度合成モード、またはその他の合成モードが設定されているか否かを判定する。ここでは、メタデータとして、実施データ、参考データ、メタデータのいずれを記録するかに応じて、合成モードの判定を行っている。ステップＳ３１３での合成モードの判定は、メタデータに応じた変更するようにしてもよい。なお、合成モードが設定されていない場合には、通常の撮影を実行すればよく、図４８のフローにおいては通常撮影動作を省略している。

　ステップＳ３１３における判定の結果、ＨＤＲ合成モードが設定されている場合には、標準露出から長秒時、短秒時に変更して複数枚の撮影を行う（Ｓ３１５）。この場合は、複数コマの撮影を行う際に、それぞれのコマで露出条件が異なる場合である。図４５Ａ～図４５Ｄを用いて説明したＨＤＲ合成モードでは、１コマ目では標準露出（ステップＳ３０５において設定）よりも露出オーバとなるように、シャッタ速度を長秒時に設定し、２コマ目では標準露出よりも露出アンダとなるようにシャッタ速度を短秒時に設定し、撮影している。

　続いて、画像合成を行う（Ｓ３１７）。ここでは、ステップＳ３１５において取得した複数の画像データに対して、画像合成部３０３ｄが設定されているモードに従って、画像合成処理を施す。

　画像合成を行うと、次に、画像データとメタデータ（参考露出）を記録する（Ｓ３１９）。ここでは、メタデータ作成部３０４が参考データ３０４ｂを作成する。参考データ３０４ｂは、前述したように、画像合成によって生成された画像の効果に相当する露出条件を示すデータである。この作成された参考データ３０４ｂは、ステップＳ３１７において合成された画像データに関連付けられて記録部３０５の画像データ３０５ｂおよびメタデータ３０５ｃとして記録される。データの記録を行うと、ステップＳ３０１に戻る。

　ステップＳ３１３に戻り、このステップでの判定の結果、合成モードとして、深度合成モードが設定されていた場合には、標準露出でピント位置を変更して複数枚の撮影を行う（Ｓ３２１）。ここでは、深度合成モードが設定されている場合には、ピント位置を変更し、変更したピント位置で撮影を行い、所定枚数に達するまで撮影を繰り返し、複数の画像データを取得する。

　続いて、画像合成を行う（Ｓ３２３）。ここでは、ステップＳ３２１において取得した、ピント位置が異なる複数の画像データを用いて、画像合成部３０３ｄが深度合成処理を施す。これによって、被写界深度が深い画像の画像データを生成することができる。深度合成処理の詳しい動作については、図５１を用いて後述する。

　画像合成を行うと、次に、画像データとメタデータ（換算露出）を記録する（Ｓ３２５）。ここでは、メタデータ作成部３０４が換算データ３０４ｃを作成する。換算データ３０４ｃは、前述したように、複数コマの撮影を行った際の各コマにおいて実際に露出制御された露出条件を示すデータとは異なり、複数の画像データによって生成された合成画像の露出条件（ここでは、絞り値ＦＮｏ）の換算データである。この作成された換算データ３０４ｃは、ステップＳ３２３において合成された画像データに関連付けられて記録部３０５の画像データ３０５ｂおよびメタデータ３０５ｃとして記録される。データの記録を行うと、ステップＳ３０１に戻る。

　ステップＳ３１３における判定の結果、合成モードがＨＤＲ合成モードおよび深度合成モードでない場合には、その他の合成モードとして、合成にモードに応じて複数枚撮影を行う（Ｓ３２７）。その他の合成モードとしては、例えば、超解像合成モード（図４４Ａ～図４４Ｄ参照）、ＮＲ合成モード（図４６参照）、電子手振れ防止モード（図４７参照）等がある。超解像合成モードの場合には、撮像素子３０２ｂを光軸と垂直な方向に移動させながら、撮影を繰り返す。このときの露出条件は、ステップＳ３０５において算出された標準露出である。また、ＮＲ合成モードや電子手振れ防止モードの場合には、撮像素子３０２ｂを移動させることなく、同一の露出条件で撮影を繰り返す。

　複数枚の撮影を行うと、次に、画像合成を行う（Ｓ３２８）。ここでは、設定されている合成モードに応じた画像合成（例えば、超解像合成モード、ＮＲ合成モード、電子手振れ防止モード）を行う。

　画像合成を行うと、次に、画像データとメタデータ（実施露出）を記録する（Ｓ３２９）。ここでは、メタデータ作成部３０４が実施データ３０４ａを作成する。実施データ３０４ａは、前述したように、複数コマの撮影を行った際の各コマにおいて実際に露出制御された露出条件を示すデータである。この作成された実施データ３０４ａは、ステップＳ３２８において合成された画像データに関連付けられて記録部３０５の画像データ３０５ｂおよびメタデータ３０５ｃとして記録される。データの記録を行うと、ステップＳ３０１に戻る。

　ステップＳ３０１に戻り、この判定の結果、撮影モードでない場合には、再生モードか否かを判定する（Ｓ３３１）。ユーザが操作部３０７の再生釦等の操作部材を操作することにより、再生モードを設定することができる。このステップにおける判定の結果、再生モードでない場合には、その他のモードに移行する。

　ステップＳ３３１における判定の結果、再生モードの場合には、次に、アイコン一覧を表示する（Ｓ３３３）。ここでは、記録部３０５に記録されている画像データのサムネイルデータに基づいて、記録画像のアイコンを表示部３０６に表示する。

　次に、画像が選択されたか否かについて判定する（Ｓ３３５）。ユーザは表示部３０６に表示された一覧表示されたアイコンの中から拡大表示したいアイコンをタッチ、または十字釦等によって選択する。このステップでは、ユーザによってアイコンが選択されたか否かを判定する。

　ステップＳ３３５における判定の結果、画像が選択されていない場合には、戻るか否かを判定する（Ｓ３３７）。ユーザが再生モードを終了したい場合には、操作部３０７の内の戻る釦を操作するか、戻るアイコンをクリックする（総称して戻り操作）。ここでは、戻り操作がなされたか否かに基づいて判定する。この判定の結果、戻り操作がなされていない場合には、ステップＳ３３３に戻る。一方、戻り操作がなされた場合には、ステップＳ３０１に戻る。

　ステップＳ３３５における判定の結果、画像が選択された場合には、拡大表示を行う（Ｓ３３９）。ここでは、選択されたアイコンの画像データを読出し、表示部３０６に拡大表示を行う。

　拡大表示を行うと、次に、詳細表示を行うか否かの判定を行う（Ｓ３４１）。ユーザが選択した画像に関連付けて記録されているメタデータを表示させたい場合には、操作部３０７の内の詳細釦を操作するか又は詳細アイコンをクリックする（総称して詳細表示操作）。ここでは、詳細表示操作がなされたか否かに基づいて判定する。

　ステップＳ３４１における判定の結果、詳細表示操作がなされていた場合には、メタデータを表示する（Ｓ３４３）。ここでは、画像データに関連付けて記録されたメタデータ３０５ｃを記録部３０５から読み出し、表示部３０６に表示する。表示例については図５０Ａ～図５０Ｃを用いて後述する。

　ステップＳ３４３においてメタデータを表示すると、またはステップＳ３４１における判定の結果、詳細表示操作がなされていない場合には、外部送信か否かを判定する（Ｓ３４５）。ユーザが記録部３０５に記録された画像データを、インターネット等を介して、無線また有線通信等によって送信した場合には、操作部３０７の送信釦を操作し、または送信アイコンをタッチ操作する（総称して外部送信操作）。このステップでは、外部送信操作がなされたか否かに基づいて判定する。

　ステップＳ３４５における判定の結果、外部送信操作がなされた場合には、設定先に送信する（Ｓ３４７）。ここでは、設定された送信先に、ステップＳ３３５において選択された画像の画像データおよび関連付けされたメタデータを送信する。送信先では、受信した画像データに基づく画像およびメタデータを表示させることができる。この時の表示例については図５０Ａ～図５０Ｃを用いて後述する。

　ステップＳ３４７において設定先に送信すると、またはステップＳ３４５における判定の結果、外部送信操作がされていない場合には、戻るか否かを判定する（Ｓ３４９）。ユーザが再生モードを終了したい場合には、戻り操作を行う。ここでは、この戻り操作がなされたか否かに基づいて判定する。この判定の結果、戻り操作がなされていない場合には、ステップＳ３３９に戻る。一方、戻り操作がなされた場合には、ステップＳ３０１に戻る。

　このように、本実施形態におけるカメラ制御のフローにおいては、レリーズ操作がなされた際に、露出変更を伴うＨＤＲ合成モード露出変更を伴うモードが設定されている場合には（Ｓ３１３→ＨＤＲ）、メタデータとして、参考データを作成し記録している（Ｓ３１９）。一方、露出変更を伴わないモードであって、撮影距離が変更されながら撮影がなされる深度合成モードが設定されている場合には（Ｓ３１３→深度合成）、メタデータとして露出値を換算した換算データを作成し記録している（Ｓ３２５）。また、露出変更を伴わないモードであって、撮影距離等の撮影条件が変更されないで撮影が繰り返しなされるその他のモードが設定されている場合には（Ｓ３１３→その他）、メタデータとして実施データを作成し記録している（Ｓ３２９）。

　すなわち、露出変更および撮影条件の変更を伴わない場合には実際に露出制御された制御値が記録され（Ｓ３２９）、露出変更を伴うが撮影条件が変更しない場合には参考露出が記録され（Ｓ３１９）、露出変更を伴わないが撮影条件が変更する場合には、撮影条件による影響を考慮して換算した露出制御値（ここでは換算絞り値ＦＮｏ）が記録される。このため、ユーザがメタデータを見た際に、どのような制御がなされたかが分かり易いという効果がある。

　なお、ステップＳ３１９、Ｓ３２５、およびＳ３２７においては、メタデータとしては、参考データ、実施データ、および換算データのいずれか一つのみを作成し、記録するようにしていた。いずれか一つのみを記録することにより、メタデータ３０５ｃの容量を小さくすることができ、また単純化することにより、処理が容易となる。しかし、ステップＳ３１９、Ｓ３２５およびＳ３２７において、参考データ、実施データ、可能なら換算データを作成し、これをメタデータ３０５ｃとして記録するようにしてもよい。この場合には、例えば、メタデータの記録領域の内、Ｅｘｉｆ規格のメーカノートのように、製造元が記録可能としている領域を利用してもよい。

　次に、図５０Ａ～図５０Ｃを用いて、メタデータの表示について説明する。この表示は、図４９のステップＳ３４３、およびステップＳ３４７で送信された送信先で行われる。

　図５０Ａは、図４３Ａ～図４３Ｄで示したような深度合成モードが設定された場合の表示例である。この場合には、深度合成された画像３４３と、実施データとして記録されたシャッタ速度、および換算データとして記録された絞り値を示すメタデータが表示される。なお、図５０Ａにおいては、換算データであることを明示するために、「換算」が表示される。このために、メタデータ３０５ｃに、換算データであることを示す情報も併せて記録しておく。

　図５０Ｂは、図４４Ａ～図４４Ｄで示したような超解像合成モードが設定された場合の表示例である。この場合には、深度合成された画像３４６と、実施データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。

　図５０Ｃは、図４５Ａ～図４５Ｄで示したようなＨＤＲ合成モードが設定された場合の表示例である。この場合には、ＨＤＲ合成された画像３４９と、参考データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。なお、図５０Ｃにおいては、参考データであることを明示するために、「参考」が表示される。このために、メタデータ３０５ｃに、参考データであることを示す情報も併せて記録しておく。

　また、露出変更を伴わない場合であっても、撮影条件が変更されることにより画像効果として露出値が変更されたような影響がある場合には、換算露出値（この場合は絞り値ＦＮｏ）（換算データ）を算出し表示するようにしたので、ユーザにとって分かり易い表示となる。

　なお、図５０Ａ～図５０Ｃにおいては、参考データの場合には「参考」と表示し、換算データの場合には「換算」と表示したが、この表示を消去しておいてもよい。また、実施データの場合にも、実施データであることを明示するような表示を付加してもよい。また、図５０Ａ～図５０Ｃにおいては、メタデータを画像の外側で表示していたが、画像に重畳して表示するようにしてもよい。

　次に、図５１に示すフローチャートを用いてステップＳ３２３（図４８参照）の深度合成の詳しい動作について説明する。

　深度合成のフローに入ると、まず、現在のピント位置Ｐ１と、ＦＮｏを判定する（Ｓ３５１）。このステップでは、ピント変更部３０２ｃがフォーカスレンズの現在のピント位置Ｐ１を検出し、また露出変更部３０２ｄが現在設定されている絞り値ＦＮｏを検出する。

　続いて、レンズ性能判定を行う（Ｓ３５３）。撮像部３０２の記憶部（不図示）には、光学系３０２ａの焦点距離、許容錯乱円等の種々のレンズ性能が記憶されている。このステップでは、許容錯乱円等の種々のレンズ性能に関するデータを読み出す。

　続いて、基準撮影を行う（Ｓ３５５）。深度合成モードが設定され、レリーズスイッチが操作された場合には、基準位置で撮影を行い１コマ分の画像データを取得する。基準位置としては、フォーカスレンズの現在位置Ｐ１を使用する。しかし、現在位置Ｐ１以外にも、所定のフォーカス位置等であってもよい。

　基準撮影を行うと、次に、所定回数だけ撮影を行ったか否かについて判定する（Ｓ３５７）。深度合成のための撮影回数は、予めユーザが設定しておくので、このステップでは、予め設定された回数の撮影がなされたか否かについて判定する。なお、所定回数としては、ユーザが設定する以外にも、撮影条件に応じて適宜カメラが自動設定するようにしてもよい。

　ステップＳ３５７における判定の結果、所定回数に達していない場合には、ピント位置Ｐ１でカバーできないピント位置にずらして撮影を行う（Ｓ３５９）。ステップＳ３５３において許容錯乱円を読出しているので、このデータを用いて、深度合成処理によってピントの合った画像を生成できる程度のピント範囲となるように、ピント変更部３０２ｃはフォーカスレンズを移動させる。フォーカスレンズを移動させるとその位置で、絞り値ＦＮｏおよびシャッタ速度ＳＳは、ステップＳ３５５における基準撮影時の同じ値で露出制御を行い、撮像素子３０２ｂによって画像データを取得する。なお、２回目以降の撮影の際には、ピント位置Ｐ１から、次のフォーカスレンズ位置を基準にしてフォーカスレンズを移動させる。撮影を行うと、ステップＳ３５７に戻る。

　ステップＳ３５７における判定の結果、所定回数に達すると、次に、ピントの合った部分を選んで合成する（Ｓ３６１）。ここでは、ステップＳ３５５およびＳ３５９において取得した複数の画像データを用いて、深度合成処理を行う。すなわち、各画像データの中で、コントラスト（先鋭度）値の高い部分を抽出し、これら抽出された部分を合成することにより、ピントの合った、言い換えるとコントラストの高い画像データを生成する。

　続いて、回数×ＦＮｏを算出し、換算ＦＮｏとする（Ｓ３６３）。ここでは、ステップＳ３５７において判定した撮影の回数に、ステップＳ３５１で判定した絞り値ＦＮｏを乗算することにより、換算ＦＮｏを算出する。例えば、絞り値ＦＮｏ＝８で、５回撮影を行った場合には、換算ＦＮｏとしては５×８＝４０、すなわち換算ＦＮｏはＦ＝４０となる。なお、換算ＦＮｏは、この方法以外にもあり、他の方法については、図５２乃至図５４を用いて後述する。換算ＦＮｏを算出すると、元のフロー（図４８のＳ３２３）に戻る。

　このように、深度合成のフローにおいては、レンズ性能（例えば、許容錯乱円）を考慮してフォーカスレンズの移動を移動させて、その位置で画像データを取得し、これを所定回数繰り返すことにより複数の画像データを取得している（Ｓ３５５、Ｓ３５７、Ｓ３５９）。所定回数の撮影が終わると、取得した複数の画像データを用いて深度合成を行っている（Ｓ３６３）。また、深度合成処理を行うと、深度合成処理によって得られた生成された画像データの換算ＦＮｏを算出している（Ｓ３６３）。ここで、算出された換算ＦＮｏは、画像データと共にメタデータとして記録される（Ｓ３２５参照）。深度合成された画像は、実際の撮影時の絞り値ＦＮｏとは異なっている。換算ＦＮｏを表示することにより、ユーザは合成された画像の絞り値ＦＮｏを簡単に知ることができる。

　次に、図５２ないし図５４を用いて、深度合成の際の換算ＦＮｏの算出の他の例について説明する。なお、図５２および図５３は、図５１に示す本発明の一実施形態と共通する。

　図５２は、カメラ３２０によって被写体３３１を、深度合成モードで撮影する様子を示す。まず、被写体距離Ｓ_ｎにおいて、第１回目の撮影を行う（ステップＳ３５５の基準撮影に相当する）。その後、被写体距離を変えながら、第２回目の撮影（２ｎｄ　Ｓｈｏｔ）、第３回目の撮影（３ｒｄ　Ｓｈｏｔ）、第４回目の撮影（４ｔｈ　Ｓｈｏｔ）を行い、被写体距離Ｓ_ｆにおいて第５回目の撮影（５ｔｈ　Ｓｈｏｔ）を行う。それぞれの撮影における被写体深度はＤ１～Ｄ５である。なお、それぞれの被写体深度Ｄ１～Ｄ５は、端部において隣接しているが、必ずしも隣接しなくてもよく、隙間が空いていてもよい。

　５回の撮影で得られた画像データを用いて深度合成処理を行うと、深度Ｄepの画像が合成され、また合成画像のピントは仮想撮影距離Ｌvirとなる。厳密には、被写界深度Ｄｎ１とＤｆ５も、深度合成後の深度内となるが、Ｄｎ１およびＤｆ５を無視し、演算を簡略化する。

　図５３は、深度合成時のフォーカスレンズ位置、被写体位置、許容錯乱円、焦点深度の関係を示す光路図である。図５３において、ＬＰ１、ＬＰ２は、フォーカスレンズ位置を示し、ＦＰは焦点面位置を示し、δは許容錯乱円直径、Ｆは絞り値ＦＮｏ、Ｘは深度合成ピッチ係数を表す。

　光路ＯＰ１ｎは、フォーカスレンズが位置ＬＰ１にあり、被写体距離Ｓ_ｎの物体の光路を示す。図から分かるように、被写体距離Ｓ_ｎにある物体は焦点面ＦＰより後方、ＸＦδの位置にピントが合い、焦点面ＦＰでは許容錯乱円直径（Ｘδ）内で画像が広がっており、画像がぼけている。

　光路ＯＰ１ｓは、フォーカスレンズが位置ＬＰ１にあり、被写体距離Ｓの物体の光路を示す。図から分かるように、被写体距離Ｓにある物体は焦点面ＦＰの位置にピントが合い、焦点面ＦＰでは一点に画像が集中している。

　光路ＯＰ１ｆは、フォーカスレンズが位置ＬＰ１にあり、被写体距離Ｓ_ｆ（被写体距離Ｓ_ｎより遠方にある）の物体の光路を示す。図から分かるように、被写体距離Ｓ_ｆにある物体は焦点面ＦＰより前方、ＸＦδの位置にピントが合い、焦点面ＦＰでは許容錯乱円直径（Ｘδ）内で画像が広がっており、画像がぼけている。

　光路ＯＰ２ｎ～光路ＯＰ２ｆは、フォーカスレンズが位置ＬＰ２にある場合において、被写体距離Ｓ’ｎ、Ｓ’、Ｓ’ｆ、に対する光路を示す。

　このように、フォーカスレンズが位置ＬＰ１にある際に撮影画像データを取得し、取得後にフォーカスレンズを位置ＬＰ２に移動して撮影画像データを取得する。そして取得した画像データを用いて、深度合成するとことにより、被写体距離Ｓ_ｎからＳ’ｆまでの間の被写体に対して、ピントの合った画像データを生成することができる。図５３に示す例では、許容錯乱円直径δにピッチ係数Ｘを乗算しており、係数Ｘ＝１の場合には、許容錯乱円内のぼけた画像となる。高精度の深度合成画像を生成するには係数Ｘは１に近い方がよいが、係数Ｘ＝３～５程度の値でも十分鑑賞に堪える合成画像をえることができる。

　次に、図５４を用いて、換算ＦＮｏの算出について説明する。まず、図５４における符号を説明する。
ｆ：レンズ焦点距離［ｍｍ］
ｓ：被写体距離［ｍｍ］
ｔ：レンズから結像面までの距離［ｍｍ］
Ｆ：Ｆ値（撮影時の絞り）
ε：焦点深度の二分の一［ｍｍ］
δ：許容錯乱円直径［ｍｍ］
Ｓ_ｎ：近点距離［ｍｍ］
Ｓ_ｆ：遠点距離［ｍｍ］
Ｄｎ：前方被写界深度［ｍｍ］
Ｄｆ：後方被写界深度［ｍｍ］
　図５４において、ε＝δＦとする。近点距離Ｓ_ｎおよび遠点距離Ｓ_ｆは、下記（１）（２）式より算出される。

　Ｓ_ｎ＝ｓｆ^２／（ｆ^２＋εｓ）　　・・・（１）
　Ｓ_ｆ＝ｓｆ^２／（ｆ^２－εｓ）　　・・・（２）
　上記（１）式を変形すると、下記（３）式が得られる。

　Ｓ_ｎ（ｆ^２＋εｓ）＝ｓｆ^２　
　Ｓ_ｎｆ^２＋εＳ_ｎｓ＝ｓｆ^２
　Ｓ_ｎｆ^２＝ｓ（ｆ^２－εＳ_ｎ）
　ｓ＝Ｓ_ｎｆ^２／（ｆ^２－εＳ_ｎ）　・・・（３）
　また、上記（２）式を変形すると、下記（４）式が得られる。

　Ｓ_ｆ（ｆ^２－εｓ）＝ｓｆ^２　
　Ｓ_ｆｆ^２－εＳ_ｆｓ＝ｓｆ^２
　Ｓ_ｆｆ^２＝ｓ（ｆ^２－εＳ_ｆ）
　ｓ＝Ｓ_ｆｆ^２／（ｆ^２＋εＳ_ｆ）　・・・（４）
　上記（３）（４）式より、εを示す下記（５）式を算出できる。

　Ｓ_ｎｆ^２／（ｆ^２－εＳ_ｎ）＝Ｓ_ｆｆ^２／（ｆ^２＋εＳ_ｆ）
　Ｓ_ｎ（ｆ^２＋εＳ_ｆＳ_ｎ）＝Ｓ_ｆ（ｆ^２－εＳ_ｎ）
　Ｓ_ｎｆ^２＋εＳ_ｆＳ_ｎ＝Ｓ_ｆｆ^２－εＳ_ｆＳ_ｎ
　２εＳ_ｆＳ_ｎ＝Ｓ_ｆｆ^２－Ｓ_ｎｆ^２
　２εＳ_ｆＳ_ｎ＝ｆ^２（Ｓ_ｆ－Ｓ_ｎ）
　ε＝ｆ^２（Ｓ_ｆ－Ｓ_ｎ）／２Ｓ_ｆＳ_ｎ　・・・（５）
　前述したように、ε＝δＦとしていることから、上述の（５）式より、絞り値Ｆを示す下記（６）式を算出できる。

　Ｆδ＝ｆ^２（Ｓ_ｆ－Ｓ_ｎ）／２Ｓ_ｆＳ_ｎ
　Ｆ＝ｆ^２（Ｓ_ｆ－Ｓ_ｎ）／２δＳ_ｆＳ_ｎ　・・・（６）
　上述の（６）式より、絞り値Ｆは、以下のパラメータから算出できることが分かる。

　焦点距離：ｆ
　撮影システムの許容錯乱円直径：δ
　近点距離：Ｓ_ｆ
　遠点距離：Ｓ_ｎ
　上述の（６）式を、深度合成後の画像に応用すると、近点距離Ｓ_ｆと遠点距離Ｓ_ｎを、以下のように置き換えることにより、合成後の換算ＦＮｏを算出することができる。

　近点距離Ｓ_ｆ→深度合成の際の一番奥側の撮影距離（図５２の５回目の撮影時（５ｔｈ　Ｓｈｏｔ）の撮影距離）
　遠点距離Ｓ_ｎ→深度合成の際の一番カメラ側の撮影距離（図５２の１回目の撮影時（１ｓｔ　Ｓｈｏｔ）の撮影距離）
　従って、深度合成処理後の換算ＦＮｏは、以下のパラメータを用いて、上述の（６）式によって算出することができる。

　焦点距離：ｆ
　許容錯乱円直径：δ
　合成前画像中の最遠撮影距離：Ｓ_ｆ
　合成前画像中の最近接撮影距離：Ｓ_ｎ
　なお、（６）式の分子に、焦点距離の２乗があることから、望遠レンズになると被写界深度が浅くなるため、広角レンズと同一の被写界深度になるように深度合成を行うと合成撮影枚数が増え、合成ＦＮｏは大きくなる。

　図５２ないし図５４を用いて説明したように、深度合成処理後の換算ＦＮｏは、焦点距離：ｆ、許容錯乱円直径：δ、合成前画像中の最遠撮影距離：Ｓ_ｆ、合成前画像中の最近接撮影距離：Ｓ_ｎを用いて算出することができる（上記（６）式参照）。なお、焦点距離ｆは光学系３０２ａがズームレンズの場合には、このズームレンズの設定焦点距離を求め、許容錯乱円直径は撮像部３０２の記憶部に記憶された値を読出し、最遠撮影距離および最近接撮影距離は、フォーカスレンズの位置から求めればよい。

　次に、図５５を用いて、撮影距離の算出方法の一例について説明する。図５５において、横軸はフォーカスレンズ（ピント合わせレンズ）のレンズ繰り出し位置（ＬＤ）に相当する。また、図５５の縦軸は、ピントが合う撮影距離の逆数を示し、原点側が無限遠方向である。また、グラフ中のラインＬ１～Ｌ３（例示であり、ライン数はこれよりも多くても少なくてもよい）は、ズーム位置に応じたレンズ繰り出し位置と撮影距離の逆数の関係を示す。

　今、ピント合わせレンズ繰り出し位置の初期位置はＬＤｓｔａｒｔであり、また深度合成のためにフォーカスレンズの１回あたりの移動量をΔＬＤとすると、深度合成のためのフォーカスレンズの駆動後のレンズ位置は、ＬＤｓｔａｒｔ＋ΔＬＤ×ｎとなる。焦点距離が決まれば、図５５中のラインＬ１～Ｌ３のいずれかに決まり、このラインより、撮影開始時および撮影終了時の距離（上記（６）式の合成前画像中の最遠撮影距離：Ｓ_ｆ、合成前画像中の最近接撮影距離：Ｓ_ｎ）を算出することができる。

　従って、初期のフォーカスレンズの位置（ＬＤ）と、フォーカスレンズの繰り出し量（ΔＬＤ）、撮影回数（ｎ）、および焦点距離が分かれば、図５５に示すグラフより、撮影開始時および撮影終了時の距離を算出することができる。

　図５５に示すグラフは、曲線で表されているが、比較的狭い範囲に限れば、下記（７）式に示す直線近似で、撮影距離Ｌを算出することができる。

　１／Ｌ＝α×ＬＤ＋β　・・・（７）
　（７）式において、α、βは焦点距離、距離に応じた定数であり、ＬＤはＬＤｓｔａｒｔ、またはΔＬＤ×ｎ＋ＬＤｓｔａｒｔである。

　次に、図５６に示すフローチャートを用いて、図５１に示した深度合成の変形例について説明する。前述した本発明の一実施形態における深度合成は、複数の画像の中からピントの合った部分を選択して合成し、画面全体としてピントの合った画像を生成していた。これに対して、本変形例における深度合成は、ピントのあっていない部分は更にピンボケとなるような合成を行う。この深度合成を行うことにより、主被写体に対してはピントが合っており、一方、背景に対してはぼかしたような画像を得ることができる。この画像処理により、一眼カメラ（一眼レフカメラ）で絞り値を小さくして撮影したような画像となる。

　図５６に示すフローチャートは、図５１に示すフローチャートと比較し、ステップＳ３０１およびＳ３６３を、ステップＳ３６５およびＳ３６７に置き換えた以外は、同じであるので、相違点を中心に説明する。

　ステップＳ３５１～Ｓ３５９において、フォーカスレンズの位置を変更して撮影を繰り返し行い、所定回数の撮影が終了すると、次に、ピントぼけた所で、更にぼければ採用または強調を行う（Ｓ３６５）。主被写体（背景）でない部分において、基準撮影によって取得した画像のコントラスと、基準撮影より後で撮影した画像のコントラストを比較し、コントラストが低下した部分を選択して、画像を合成するか、または更にコントラストを低下させた画像を用いて合成を行う。これによって、主被写体でない部分のコントラストを低く、すなわちぼかすことができ、被写界深度を浅くした画像を合成することができる。

　ステップＳ３６５において深度合成処理を行うと、次に、ＦＮｏを明るくして換算ＦＮｏを算出する（Ｓ３６７）。ここでは、被写界深度を浅くした画像の換算ＦＮｏを算出する。例えば、ステップＳ３５１で検出したＦＮｏを、ステップＳ３５７における所定回数で除算、また所定回数の平方根で除算する。換算ＦＮｏを算出すると、元のフロー（図４８のＳ３２３）に戻る。

　以上説明したように、本発明の一実施形態や変形例においては、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し（例えば、図４８のＳ３１５、Ｓ３２１、Ｓ３２７参照）、撮影画像の取得の際に、異なるピント位置で複数の撮影画像データを取得し（例えば、図４８のＳ３２１参照）、この取得した複数の撮影画像データを用いて第１の画像合成を行い（例えば、図４８のＳ３２３参照）、第１画像合成によって合成された合成画像データにおける絞り値の換算データを算出し、換算データに基づいてメタデータを作成している（例えば、図４８のＳ３２５参照）。

　このため、本実施の形態や変形例においては、画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うことができる。すなわち、異なるピント位置で撮影した複数の画像を合成した合成画像の被写界深度は深くなり、個々の撮影時の絞り値で決まる被写界深度とは異なっている。この点、本発明の一実施形態や変形例においては、換算した絞り値を算出し、これに基づいてメタデータを作成していることから、ユーザが合成画像を見る際に、画像合成処理の操作や効果に応じた情報を容易に理解することができる。

　なお、本実施の形態や変形例においては、合成モードを判定し（図４８のＳ３１３参照）、この結果に応じた画像合成を行い、合成モードに応じてメタデータとして実施データ、換算データ、または参考データのいずれかを記録するようにしている。しかし、これに限らず、画像合成を行うために複数回の撮影を行う際に、露出条件の変更を伴うか否か、撮影距離の変更を伴うか否か、撮像素子の位置の変更を伴うか否か等、条件に応じて、メタデータの種類を適宜決定するようにしてもよい。

　また、本実施の形態や変形例においては、合成モードに応じて、メタデータとして実施データ、換算データ、または参考データのいずれかを記録するようにしている。しかし、これに限らず、実施データ、換算データ、または参考データのいずれか２つ又は全てを生成し、これらを記録するようにしてもよい。

　また、本実施の形態や変形例においては、ピント変更部３０２ｃ、露出変更部３０２ｄ、撮像位置変更部３０２ｅ等は、ＣＰＵおよびメモリに記憶したプログラムによってソフトウエアでその機能を実現してもよく、また制御部３０１内のＣＰＵとメモリに記憶したプログラムでその機能を実現するようにしても勿論かまわない。

　また、本実施の形態においては、撮像制御部３０３ｂ、撮影制御変更部３０３ｃ等の各部の機能の全部または一部をＣＰＵ（Central Processing Unit）と周辺回路およびプログラムによって実現していたが、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウェア構成でもよく、またハードウェア回路によって実行するようにしても勿論かまわない。

　さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。

　また、ピントの合わせ方は、従来のカメラのように、ピント調整レンズを動かすもののみならず、撮像素子を動かすものもあり、これらの位置関係を固定で、固定焦点でカメラ全体を動かして複数画像を得るものもある。また、複眼で、複数のピント位置を撮像可能にしておき、ピント（フォーカス）位置の異なる複数の画像を得るものもある。こうしたいずれも、どこの位置にピントの合った画像かを記録できるものは、本発明の範疇に入るものである。このように記録しておく方が、後で見て撮影時の状況や条件等を把握しやすく、他のユーザに分かりやすく伝えることが出来る。また、必ずしも合成画像である必要はなく、得られた画像が合成しなくても良い場合もある。

　本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

　なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

　また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の画像処理装置を実現することができる。

［付記］
［付記項１］
　ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成する合成制御部と、
　上記合成画像の合成に用いられた各撮像画像についての撮影条件に基づくメタデータを上記撮像画像毎に作成するメタデータ作成部と、
　上記合成制御部が生成した上記合成画像の画像ファイルに上記メタデータ作成部が作成した上記メタデータを付与して記録する記録制御部とを具備したことを特徴とする画像処理装置。

［付記項２］
　上記メタデータ作成部は、上記各撮像画像の撮像時のピント位置を撮像画像毎に距離換算した情報を含む上記メタデータを作成することを特徴とする付記項１に記載の画像処理装置。

［付記項３］
　上記メタデータ作成部は、上記各撮像画像の撮像時のピント位置の差を撮像画像間毎に距離換算し、上記距離換算した距離差の情報を含む上記メタデータを作成することを特徴とする付記項１又は２に記載の画像処理装置。

［付記項４］
　上記メタデータ作成部は、上記各撮像画像の撮像時における上記光学系の情報と上記ピント位置とに基づいて、上記距離換算した情報を含む上記メタデータを作成することを特徴とする付記項２又は３に記載の画像処理装置。

［付記項５］
　上記メタデータ作成部は、サイズが既知の補正用既知対象物を撮像して得た補正情報を用いて上記距離換算した上記メタデータをキャリブレーションすることを特徴とする付記項２又は３記載の画像処理装置。

［付記項６］
　上記メタデータ作成部は、上記各撮像画像の撮像時のピント位置の差を撮像画像間毎に距離換算し、当該距離換算した情報と上記補正情報とを用いて上記被写体のピントを合わせた部位間の距離の情報を含む上記メタデータを作成することを特徴とする付記項５に記載の画像処理装置。

［付記項７］
　上記メタデータ作成部は、上記被写体のピントを合わせた部位の上記撮像画像上における座標の情報を含む上記メタデータを作成することを特徴とする付記項１又は２に記載の画像処理装置。

［付記項８］
　上記メタデータを読出して、上記メタデータの内容を表示部に表示する表示制御部を更に具備したことを特徴とする付記項１又は２に記載の画像処理装置。

［付記項９］
　合焦させる範囲の合焦対象被写体を判定する対象物判定部と、
　上記対象物判定部の判定結果に基づいてピント位置可変の光学系によりピント位置を変化させながら被写体を撮像する撮像部に対して、上記ピント位置の制御を行うレンズ制御部とを具備したことを特徴とする付記項１又は２に記載の画像処理装置。

［付記項１０］
　上記レンズ制御部は、上記撮像画像の各部のコントラストに基づいて、上記ピント位置のシフト量を決定することを特徴とする付記項９に記載の画像処理装置。

［付記項１１］
　ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成し、
　上記合成画像の合成に用いられた各撮像画像についての撮影条件に基づくメタデータを上記撮像画像毎に作成し、
　上記合成画像の画像ファイルに上記メタデータを付与して記録することを特徴とする画像処理方法。

［付記項１２］
　上記各撮像画像の撮像時のピント位置を撮像画像毎に距離換算した情報を含む上記メタデータを作成することを特徴とする付記項１１に記載の画像処理方法。

［付記項１３］
　サイズが既知の補正用既知対象物を撮像して得た補正情報を用いて上記距離換算した上記メタデータをキャリブレーションすることを特徴とする付記項１２に記載の画像処理方法。

［付記項１４］
　合焦の対象となる合焦対象被写体と上記補正用既知対象物とを含む上記複数の撮像画像が与えられ、各撮像画像中の上記合焦対象被写体と上記補正用既知対象物とを判定し、
　当該判定結果に基づいてピント位置可変の光学系によりピント位置を変化させながら被写体を撮像する撮像部に対して、上記合焦対象被写体及び上記補正用既知対象物にピントを合わせるピント位置のシフト制御を行うことを特徴とする付記項１３に記載の画像処理方法。

［付記項１５］
　コンピュータに、
　ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成する手順と、
　上記合成画像の合成に用いられた各撮像画像についての撮影条件について、サイズが既知の補正用既知対象物を撮像して得た補正情報を用いて上記ピント位置を距離換算してメタデータとして作成する手順と、
　上記合成画像の画像ファイルに上記メタデータを付与して記録する手順とを実行させるための画像処理プログラム。

［付記項１６］
　上記メタデータを作成する手順は、上記各撮像画像の撮像時のピント位置を撮像画像毎に距離換算した情報を含む上記メタデータを作成することを特徴とする付記項１５に記載の画像処理プログラム。

［付記項１７］
　上記付記項１から１０のいずれか１つに記載の画像処理装置と、
　ピント位置可変の光学系によりピント位置を変化させながら被写体を撮像する撮像部とを具備したことを特徴とする撮像装置。

［付記項１８］
　同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
　上記画像データ取得部によって、異なる露出条件で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
　上記画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、
　上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、
　を有し、
　上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成することを特徴とする画像処理装置。

［付記項１９］
　上記メタデータ作成部は、上記第１の画像合成と上記第２の画像合成を区別する情報を作成することを特徴とする付記項１８に記載の画像処理装置。

［付記項２０］
　上記メタデータ作成部は、上記第１の画像合成を行った場合には上記画像データ取得部における露出条件に基づいて参考メタデータを作成し、上記第２の画像合成を行った場合には上記画像データ取得部における実際の露出条件を実施メタデータとすることを特徴とする付記項１９に記載の画像処理装置。

［付記項２１］
　上記メタデータ作成部は、上記第１の画像合成部によって第１の画像合成を行った場合には、上記第１の画像合成によって生成された合成画像の露出効果に相当するメタデータを作成することを特徴とする付記項１８に記載の画像処理装置。

［付記項２２］
　上記メタデータ作成部は、上記第２の画像合成部によって第２の画像合成を行った場合には、上記画像データ取得部で１コマの画像データを取得する際の露出条件に基づいてメタデータを作成することを特徴とする付記８項１に記載の画像処理装置。

［付記項２３］
　同一の対象物に対し、第１の撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
　上記画像データ取得部によって、第２の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
　上記画像データ取得部によって、第２の撮影条件を変えず、第３の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、
　上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、
　を有し、
　上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる撮影条件を示す単一のメタデータを作成することを特徴とする画像処理装置。

［付記項２４］
　同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し、
　異なる露出条件で取得した複数の撮影画像データを用いて第１の画像合成を行い、
　同一の露出条件、かつ露出以外の条件を異ならせて取得した複数の撮影画像データを用いて第２の画像合成を行い、
　上記第１画像合成または第２画像合成によって合成された合成画像データを表すメタデータを作成する際に、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する、
　ことを特徴とする画像処理方法。

［付記項２５］
　同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
　上記画像データ取得部によって、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
　上記第１画像合成部によって合成された合成画像データにおける絞り値の換算データを算出し、上記換算データに基づいてメタデータを作成するメタデータ作成部と、
　を有することを特徴とする画像処理装置。

［付記項２６］
　上記メタデータ作成部は、光学系の焦点距離ｆ、許容錯乱円径δ、近点距離Ｓ_ｆおよび遠点距離Ｓ_ｎに基づいて上記換算データを算出することを特徴とする付記項２５に記載の画像処理装置。

［付記項２７］
　上記換算データは、換算絞り値Ｆであり、該Ｆを、
　Ｆ＝ｆ^２（Ｓ_ｆ－Ｓ_ｎ）／（２δ×Ｓ_ｆ×Ｓ_ｎ）　
　によって算出することを特徴とする付記項２６に記載の画像処理装置。

［付記項２８］
　上記メタデータ作成部は、上記画像データ取得部によって行った撮影の回数と、各撮影時の絞り値に基づいて、換算絞り値Ｆを算出することを特徴とする付記項２５に記載の画像処理装置。

［付記項２９］
　上記画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部を有し、
　上記メタデータ作成部は、上記第２画像合成部により上記第２の画像合成を行う場合には、上記同一の露出条件に基づいて、メタデータを生成することを特徴とする付記項２５に記載の画像処理装置。

［付記項３０］
　上記画像データ取得部は、更に露出条件を異ならせて複数の撮影画像データを取得可能であり、
　上記画像処理装置は、更に、上記画像データ取得部によって異なる露出条件で取得した複数の撮影画像データを用いて第３の画像合成を行う第３画像合成部を有し、
　上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第３の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する、
　ことを特徴とする付記項２５に記載の画像処理装置。

［付記項３１］
　同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
　上記画像データ取得部によって、同一の露出条件、かつ異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
　上記画像データ取得部によって、同一の露出条件、かつピント位置を異ならせることなく複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、
　上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、
　を有し、
　上記メタデータ作成部は、上記第１の画像合成を行う場合は、換算した露出条件に基づいてメタデータを作成し、一方上記第２の画像合成を行う場合は、上記同一の露出条件を用いてメタデータを作成することを特徴とする画像処理装置。

［付記項３２］
　同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し、
　上記撮影画像の取得の際に、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行い、
　上記第１画像合成によって合成された合成画像データにおける絞り値の換算データを算出し、上記換算データに基づいてメタデータを作成する、
　ことを特徴とする画像処理方法。

　本出願は、２０１７年８月３日に日本国に出願された特願２０１７－１５０６０７号、２０１７年８月４日に日本国に出願された特願２０１７－１５１４２３号、２０１７年８月１８日に日本国に出願された特願２０１７－１５７９５３号及び２０１７年９月６日に日本国に出願された特願２０１７－１７１４４４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims

　異なる撮影条件で撮影された複数の撮像画像を取得する画像取得部と、
　上記複数の撮像画像を用いて合成画像を生成するものであって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを有する合成制御部とを具備したことを特徴とする画像処理装置。
　上記部分再現性重視モードは、上記合成画像中の各領域内において、上記撮影条件及び上記撮像画像に対する画像処理が変化しないことを特徴とする請求項１に記載の画像処理装置。
　上記鑑賞性重視モードと上記部分再現性重視モードとを区別する情報を付加して上記合成画像を記録する記録制御部を更に具備することを特徴とする請求項１に記載の画像処理装置。
　上記撮像画像中の被写体を判定して、上記領域を決定する領域判定部を更に具備することを特徴とする請求項１に記載の画像処理装置。
　上記画像取得部は、上記合成画像中の各領域に用いる撮像画像として、合焦状態で且つ適正露出の画像を取得することを特徴とする請求項１に記載の画像処理装置。
　異なる撮影条件で撮影された複数の撮像画像を取得する手順と、
　上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順とを具備したことを特徴とする画像処理方法。
　コンピュータに、
　異なる撮影条件で撮影された複数の撮像画像を取得する手順と、
　上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順とを実行させるための画像処理プログラム。
　上記請求項１から５のいずれか１つに記載の画像処理装置と、
　異なる撮影条件で被写体を撮像して上記複数の撮像画像を得る撮像部とを具備したことを特徴とする撮像装置。