JP6991830B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラムに関する。

複数の画像を合成する種々の画像合成技術が知られている。例えば、特許文献１の画像処理装置は、撮像方向を変位させながらの複数回の撮像によって得られる複数の画像をパノラマ合成してパノラマ画像を生成する。この特許文献１の画像処理装置は、生成されたパノラマ画像が全周パノラマ画像であるときに、パノラマ画像とこのパノラマ画像が全周パノラマ画像であることを示す情報とを関連付けて記録している。

特開２０１５-１５６５２３号公報

ここで、パノラマ合成に用いられる複数の画像は、撮像方向を変位させながらの一連の撮像によって得られるものである。したがって、それぞれの画像の撮像シーンは異なっている。一方で、合成写真を作成するための画像合成では、合成に用いられる複数の画像は、必ずしも一連の撮像によって得られるものではなく、また、それぞれの画像の撮像シーンも同一であるとは限らない。このような合成に用いられた画像の関係性が分かれば、利活用や再現等、それぞれの画像の利用範囲をさらに広げることができる。

本発明は、前記の事情に鑑みてなされたものであり、合成画像の合成に用いられたそれぞれの画像の関係を知ることができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、複数の画像を取得する画像取得部と、複数の前記画像を合成して合成画像を生成する画像合成部と、複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成するファイル生成部と、前記合成画像ファイルを記録媒体に記録する記録制御部とを具備し、前記ファイル生成部は、複数の前記画像のうちで前記合成画像を生成するための一連の処理の中で取得されている第２の画像があるときには、前記第２の画像の取得日時を前記付随情報として前記合成画像ファイルに記録し、前記記録制御部は、前記第２の画像を記録した第２の画像ファイルを前記記録媒体に記録し、前記ファイル生成部は、前記合成画像の生成に用いられた前記第２の画像以外の画像との間の関係を示す付随情報を前記第２の画像ファイルに記録する。
前記の目的を達成するために、本発明の第２の態様の画像処理装置は、複数の画像を取得する画像取得部と、複数の前記画像を合成して合成画像を生成する画像合成部と、複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成するファイル生成部と、前記合成画像ファイルを記録媒体に記録する記録制御部とを具備し、前記ファイル生成部は、複数の前記画像のうちで前記合成画像を生成するための一連の処理と独立したタイミングで取得された第１の画像を記録した第１の画像ファイルがあるときに、前記第１の画像以外の画像との間の関係を示す付随情報を前記第１の画像ファイルに記録する。
前記の目的を達成するために、本発明の第３の態様の画像処理装置は、複数の画像を取得する画像取得部と、複数の前記画像を合成して合成画像を生成する画像合成部と、複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成するファイル生成部と、前記合成画像ファイルを記録媒体に記録する記録制御部とを具備し、前記ファイル生成部は、複数の前記画像のうちで前記合成画像を生成するための一連の処理と独立したタイミングで取得された第１の画像を記録した第１の画像ファイルがあるときに、前記第１の画像ファイルのファイル名を前記合成画像ファイルと関連付けられるように変更する。

前記の目的を達成するために、本発明の第４の態様の画像処理方法は、複数の画像を取得することと、複数の前記画像を合成して合成画像を生成することと、複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成することと、前記合成画像ファイルを記録媒体に記録することとを具備し、前記合成画像ファイルを生成することは、複数の前記画像のうちで前記合成画像を生成するための一連の処理の中で取得されている第２の画像があるときには、前記第２の画像の取得日時を前記付随情報として前記合成画像ファイルに記録することを含み、前記記録媒体に記録することは、前記第２の画像を記録した第２の画像ファイルを前記記録媒体に記録することを含み、前記合成画像ファイルを生成することは、前記合成画像の生成に用いられた前記第２の画像以外の画像との間の関係を示す付随情報を前記第２の画像ファイルに記録することを含む。

前記の目的を達成するために、本発明の第５の態様の画像処理プログラムは、複数の画像を取得することと、複数の前記画像を合成して合成画像を生成することと、複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成することと、前記合成画像ファイルを記録媒体に記録することと、をコンピュータに実行させるための画像処理プログラムであって、前記合成画像ファイルを生成することは、複数の前記画像のうちで前記合成画像を生成するための一連の処理の中で取得されている第２の画像があるときには、前記第２の画像の取得日時を前記付随情報として前記合成画像ファイルに記録することを含み、前記記録媒体に記録することは、前記第２の画像を記録した第２の画像ファイルを前記記録媒体に記録することを含み、前記合成画像ファイルを生成することは、前記合成画像の生成に用いられた前記第２の画像以外の画像との間の関係を示す付随情報を前記第２の画像ファイルに記録することを含む。

本発明によれば、合成画像の合成に用いられたそれぞれの画像の関係を知ることができる画像処理装置、画像処理方法、画像処理プログラムを提供することができる。

図１は、本発明の一実施形態に係る画像処理装置の適用例である撮像装置の構成を示すブロック図である。 図２は、画像合成の種類と画像合成に用いられる画像の関係とを対応付けて示した図である。 図３は、本発明の一実施形態に係る撮像装置の動作を示すフローチャートである。 図４は、ＨＤＲ撮影処理について示すフローチャートである。 図５は、ＨＤＲ撮影処理中のタイミングチャートである。 図６は、ＨＤＲ画像合成の例を示す図である。 図７は、ＨＤＲ撮影処理によって生成される合成画像ファイルの一例を示した図である。 図８は、分析撮影処理について示すフローチャートである。 図９Ａは、分析撮影処理によって生成される画像ファイルの一例を示した図である。 図９Ｂは、分析撮影処理によって生成される合成画像ファイルの一例を示した図である。 図１０Ａは、画像合成が行われる前の画像合成のためのＧＵＩの状態を示した図である。 図１０Ｂは、画像合成が行われた後の画像合成のためのＧＵＩの状態を示した図である。 図１１は、パノラマ撮影処理について示すフローチャートである。 図１２は、パノラマ撮影処理によって生成される合成画像ファイルの一例を示した図である。 図１３は、合成写真生成処理について示すフローチャートである。 図１４は、合成写真生成処理中のタイミングチャートである。 図１５は、合成写真生成のための画像合成の例を示す図である。 図１６は、合成写真生成処理によって生成される合成画像ファイルの一例を示した図である。 図１７Ａは、合成写真生成のための画像合成に用いられる画像の関係を示す付随情報が記録された素材画像の画像ファイルの例を示す図である。 図１７Ｂは、合成写真生成のための画像合成に用いられる画像の関係を示す付随情報が記録された合成対象画像の画像ファイルの例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る画像処理装置の適用例である撮像装置の構成を示すブロック図である。図１に示す撮像装置１は、撮像部１０と、補助光発光部２０と、表示素子３０と、記録媒体４０と、操作部５０と、センサ６０と、時計７０と、制御装置８０とを有する。撮像装置１は、例えばデジタルカメラである。撮像装置１は、撮像機能を備えたスマートフォン、タブレット端末等であってもよい。さらに、撮像装置１は、撮像機能を備えた内視鏡装置、顕微鏡装置、分析装置等であってもよい。

撮像部１０は、対象物を撮像し、対象物に係る画像のデータを取得する。撮像部１０は、レンズと、撮像素子とを有している。レンズは、図示しない対象物からの光束を撮像素子の受光面に結像させる。レンズは、ズームレンズ及びフォーカスレンズを有していてもよい。撮像素子は、例えばＣＭＯＳセンサであり、受光面で受光した光束を電気信号（画像信号）に変換する。また、撮像素子は、画像信号を増幅し、デジタル化して画像のデータを生成するといった前処理も行う。

補助光発光部２０は、対象物に対して補助光を発光する。この補助光は、例えば対象物の蛍光観察に用いられる。この場合、補助光の波長は、対象物に添加された蛍光物質の励起波長に合わせられている。また、補助光は、対象物が暗い場合の照明光としても用いられる。補助光発光部２０は、ＬＥＤ光源及び半導体レーザ光源等によって構成される。

表示素子３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイであって、各種の画像を表示する。

記録媒体４０は、例えばフラッシュメモリによって構成される。記録媒体４０には、画像ファイル４０ａが記録される。また、記録媒体４０には、制御装置８０において実行される各種のプログラム４０ｂが記録される。

操作部５０は、ユーザが撮像装置１に対する各種の操作をするための各種の操作部材を含む。この操作部材は、ボタン及びスイッチといった機械的な操作部材並びにタッチパネルを含む。

センサ６０は、姿勢センサ、ＧＰＳ受信機、方位センサ、温度センサ、気圧センサ、湿度センサといった各種のセンサである。姿勢センサは、例えば加速度センサによって構成され、撮像装置１の姿勢を検出する。ＧＰＳ受信機は、人工衛星等との通信によって撮像装置１の現在位置を検出する。方位センサは、例えば電子コンパスによって構成され、撮像装置１の方位を検出する。温度センサは、例えばサーミスタによって構成され、撮像装置１の周囲の温度を検出する。気圧センサは、撮像装置１の周囲の気圧を検出する。湿度センサは、撮像装置１の周囲の湿度を検出する。センサ６０で検出される各種の情報は、撮像装置１の制御に用いられたり、画像ファイルの付随情報として記録されたりする。

時計７０は、時間を計測する。時計７０で計測される時間は、撮像装置１の制御に用いられたり、画像ファイルの付随情報として記録されたりする。

制御装置８０は、例えばＣＰＵ及びメモリを含むハードウェアによって構成されている。制御装置８０は、制御部８０１と、画像処理装置８０２と、仮記憶部８０３とを有している。

制御部８０１は、例えばＣＰＵによって構成され、制御装置８０を含む撮像装置１の全体の動作を制御する。制御部８０１は、撮像制御部８０１１と、表示制御部８０１２とを有する。撮像制御部８０１１は、撮像部１０による画像の取得（撮像）を制御する。表示制御部８０１２は、表示素子３０における画像の表示を制御する。撮像制御部８０１１、表示制御部８０１２は、例えばソフトウェアを用いて実現されるものである。勿論、これらはハードウェアを用いて実現されてもよい。

画像処理装置８０２は、例えば各種の画像処理を施す処理回路を含む。この画像処理装置８０２は、画像取得部８０２１と、画像処理部８０２２と、ファイル生成部８０２３と、記録制御部８０２４とを有する。画像取得部８０２１は、画像処理装置８０２の外部から画像を取得する。例えば、画像取得部８０２１は、仮記憶部８０３に記憶されている画像を読み出す。この他、画像取得部８０２１は、通信回路を有していて、撮像装置１の外部の機器から画像のデータを取得するように構成されていてもよい。画像処理部８０２２は、画像取得部８０２１を介して取得された画像に対して各種の画像処理を施す。この画像処理は、例えばホワイトバランス補正処理、ガンマ補正処理、色補正処理、ノイズ除去処理、リサイズ処理といった表示又は記録のために必要な画像処理を含む。また、この画像処理は、圧縮処理等の記録のために必要な処理を含む。また、画像処理部８０２２は、画像合成部８０２２ａを有している。画像合成部８０２２ａは、複数の画像を合成して合成画像を生成する。後で詳しく説明するが、画像合成部８０２２ａは、撮影時の撮影モードによって異なる画像合成を行うように構成されている。ファイル生成部８０２３は、画像処理部８０２２によって生成された画像に基づいて例えばＤＣＦ形式の画像ファイルを生成する。画像ファイルは、画像のデータとともにＥｘｉｆ形式等のメタデータからなる付随情報を記録することで生成される。記録制御部８０２４は、ファイル生成部８０２３で生成された画像ファイルを記録媒体４０に記録する。

仮記憶部８０３は、例えばＤＲＡＭといったメモリであり、画像のデータ並びに制御部８０１及び画像処理装置８０２の処理データといった各種のデータを一時的に記憶する。なお、本実施形態では、画像合成が行われるので、画像合成に用いられる枚数分だけの画像のデータを記憶できるように仮記憶部８０３が構成されていることが望ましい。

次に、本実施形態の画像処理装置８０２の動作を説明する。本実施形態における画像処理装置８０２は、画像合成をしたときに画像合成に用いられたそれぞれの画像の関係を示す情報を付随情報として合成画像ファイルに記録する。図２は、画像合成の種類と画像合成に用いられる画像の関係とを対応付けて示した図である。本実施形態では、（１）画像合成に用いられる画像がユーザの撮影指示からの一連の撮像の間に取得されたものであるか否か、（２）画像合成に用いられる画像が同一シーン（同一撮像範囲）の撮像によって取得されたものであるか否かに応じて、画像合成が分類される。ここで特に取り上げたのは、対象物の関係と取得タイミングとの関係であり、これらが付随情報とされてもよい。また、対象物の関係は、その同一性（同じ対象物の画像情報をリッチ化するための合成の場合）が重要な情報になる場合や、同じ画像内の異なる対象物を撮影して画像を複数の対象物でリッチ化する場合がある。このような場合分けのための付随情報があった方が、画像の意図を明示しやすい。こうしたデータによって、機械等が画像を学習する場合の参考となる。また、タイミングに関しては、同じ継続的な露出（露光、光電変換）の間に合成された独立撮像と言えるか、複数回の独立露出（露光、光電変換）で得られた合成画像であるかによって、それにかける手間暇情報が得られ、今後の撮影の参考となる。継続露光であれば、同じ露光の間に様々な撮像切換を行う必要があり、撮像に伴う諸要素の変更が比較的迅速に行われなくてはならない。また、複数露光であれば、何度も露光操作が必要であるし、同じ対象物であれば、それが変化しないような工夫が必要にもなるので、同じ合成画像としても、再度、同じ撮影を行う場合、注意するべきポイントが大きく異なってしまう。このように、切り分けのための付随情報は、撮像の再現性チェック及び類似画像の取得等において大いに参考となる。また、切り分けのための付随情報は、画像の解析や分類等においても重要であり、必要に応じて、こうした撮像を行う機材の選定等にも使用され得る。画像は情報量が多く、その視認性から、一見して分かるので、多くの見た人が、同じような画像を取得したい、探したい、という思いを持つが、それに応えるには、このような付随情報が有ることが望ましい。同じ対象物が同じ位置にある場合は、この同じ対象物という表現は同じ位置（同じ位置の対象物、同じ位置での撮像等の概念にもできる）という表現が可能となるが、ここでは、位置と時間をカバーした付随情報となり、かなりの情報を単純化して画像関連の情報に入れ込むことを可能としている。したがって、この複数の画像を取得する画像しての合成画像では、複数の合成前画像毎の取得位置と取得タイミングの関係を示す付随情報が記録されることで、画像利用時の便益が図られる。これは、撮影状況の差異の大枠の物理的状況変化とも表現でき、合成画像を構成するそれぞれの間の関係を記録したと言い換えることもできる。

例えば、ＨＤＲ画像合成は、露出量を変えながら同一シーンを撮像することによって取得される複数の画像を合成することによって、単一の画像では実現できない広いダイナミックの画像を生成する処理である。したがって、ＨＤＲ画像合成に用いられる画像は、一連の撮像の間に取得されるものであり、かつ、同一のシーンの撮像によって取得されるものである。ＨＤＲ画像合成と同様の性質を有する処理は、例えば深度合成処理及び面順次画像合成処理である。深度合成処理は、焦点位置を変えながら同一シーンを撮像することによって取得される複数の画像を合成することによって、画像内の複数の領域（又は全領域）の対象物に対して合焦している状態の画像を生成する処理である。面順次画像合成処理は、例えば内視鏡装置において用いられる処理である。面順次画像合成処理は、１枚のカラー画像を生成するための１フレームを複数のフィールドに分け、フィールド毎に異なる単色の照明光を対象物に照射し、フィールド順次で撮像素子から得られる画像を合成することによってカラー画像を生成する処理である。以下ではＨＤＲ画像合成処理、深度合成処理、面順次画像合成処理といった、同一シーンの一連の撮像の間に取得された複数の画像の画像合成を「Ａタイプの処理」と記す。なお、ここで示した「一連の撮像」では、時間的な連続性等が着目される。つまり、「一連の撮像」としては、１回の撮像操作又は単発のレリーズ操作に応じて撮像が繰り返される又は連続的な撮像が行われるといった状況等が想定されている。また、Ａタイプの処理の付随情報として、画像合成に用いられた元の画像が合成画像とは異なるファイルになっていないことを示す情報又は元の画像が別のファイルとして参照できないことを示す情報も併せて記録されてもよい。これらの情報が記録されていることにより、残っていない画像合成に用いられた元画像を検索する手間が省かれる。

また、例えば蛍光分析では、観察対象となる対象物に対して複数種類の蛍光物質を添加しておき、それぞれの蛍光物質だけの蛍光が得られるように補助光が照射される。この場合、それぞれの蛍光の照射について１つの蛍光画像が生成される。これらの蛍光画像は必要に応じて合成され得る。したがって、蛍光分析における画像合成に用いられる画像は、独立した撮像で取得されるものであり、かつ、同一のシーンの撮像によって取得されるものである。以下では、蛍光分析時の画像合成のような、同一シーンの独立した撮像において取得された複数の画像の画像合成を「Ｂタイプの処理」と記す。ここでの「独立した撮像」は、１回毎の撮像に様々なパラメータ設定、照明の設定、その他の補助操作等を伴う手間暇がかかる撮像であることを表している。一方でこれらの設定等が自動化されてシーケンシャルに行われた撮像は「Ａタイプの処理」に分類される。また、Ｂタイプの処理の付随情報として、画像合成に用いられた元の画像が合成画像とは異なるファイルになっているという情報も併せて記録されてもよい。この情報が記録されていることによって、画像合成に用いられた元の画像を参照することが可能となる。

また、例えばパノラマ合成では、ユーザが撮像装置１を動かしながら連続的に撮像された複数の画像を繋ぎ合わせて通常の視野よりも広い視野の画像が生成される。したがって、パノラマ合成に用いられる画像は、一連の撮像の間に取得されるものであり、かつ、異なるシーンの撮像によって取得されるものである。パノラマ合成と同様の性質を有する処理は、例えば個々の撮像範囲を異ならせた多重露光によって得られた画像の合成処理である。多重露光は、複数の撮像（露光）によって取得される画像を合成する処理である。このため、個々の撮像範囲を異ならせた場合の多重露光によって得られた画像は、パノラマ画像と同様に一連の撮像の間に取得されるものであり、かつ、異なるシーンの撮像によって取得されるものになる。以下では、パノラマ画像合成のような、異なるシーンの一連の撮像において取得された複数の画像の画像合成を「Ｃタイプの処理」と記す。なお、多重露光の場合には、個々の撮像範囲を同一とすることもできる。この場合の多重露光画像の合成処理は、ＨＤＲ画像合成処理と同様のＡタイプの処理になる。前述したように、ここで示した「一連の撮像」では、時間的な連続性等が着目される。つまり、「一連の撮像」としては、１回の撮像操作又は単発のレリーズ操作に応じて撮像が繰り返される又は連続的な撮像が行われるといった状況等が想定されている。また、Ｃタイプの処理の付随情報として、画像合成に用いられた元の画像が合成画像とは異なるファイルになっていないことを示す情報又は元の画像が別のファイルとして参照できないことを示す情報も併せて記録されてもよい。これらの情報が記録されていることにより、残っていない画像合成に用いられた元画像を検索する手間が省かれる。

また、例えば合成写真生成処理では、ユーザが任意に選んだ素材画像が別の合成対象画像に合成されて合成画像が生成される。この場合、合成の元になる合成対象画像と合成に用いられる素材画像とは、同一のシーンの撮像によって取得されたものであっても、そうでなくてもよく、また、一連の撮像の間に取得されたものであっても、そうでなくてもよい。以下では、合成写真生成のような、異なるシーンの独立した撮像において取得された複数の画像の画像合成を「Ｄタイプの処理」と記す。前述したように、ここでの「独立した撮像」は、１回毎の撮像に様々なパラメータ設定、照明の設定、その他の補助操作等を伴う手間暇がかかる撮像であることを表している。一方でこれらの設定等が自動化されてシーケンシャルに行われた撮像は「Ｃタイプの処理」に分類される。また、Ｄタイプの処理の付随情報として、画像合成に用いられた元の画像が合成画像とは異なるファイルになっているという情報も併せて記録されてもよい。この情報が記録されていることによって、画像合成に用いられた元の画像を参照することが可能となる。

このように本実施形態では、画像合成がＡタイプの処理、Ｂタイプの処理、Ｃタイプの処理、Ｄタイプの処理に分類されている。そして、本実施形態ではこれらの画像合成の分類毎に異なる付随情報が記録される。このような付随情報を記録しておくことにより、画像合成に用いられた画像の関係を例えばユーザに対して提示することができる。例えば、合成写真の生成に用いられた素材画像の存在をユーザに知らせることにより、ユーザはその素材画像を用いて新たな合成写真の生成を行うことができる。このようにして、画像合成に用いられるそれぞれの画像の利用範囲を広げることができる。

以下、本実施形態の画像処理装置８０２の具体的な動作を説明する。図３は、本実施形態に係る撮像装置１の動作を示すフローチャートである。図３の動作は、主に制御部８０１によって制御される。ここで、撮像装置１は、撮影モードとして、前述したＡタイプの処理を行う撮影モードとしてのＨＤＲ撮影モード、Ｂタイプの処理を行う撮影モードとしての分析撮影モード、Ｃタイプの処理を行う撮影モードとしてのパノラマ撮影モード、Ｄタイプの処理を行う撮影モードとしての合成写真生成モード、合成処理を伴わない通常撮影モードを有している。撮影モードの選択は、例えばユーザの操作部５０の操作によって行われる。

図３の動作は、例えば撮像装置１の電源がオンされたときに開始される。ステップＳ１において、制御部８０１は、撮影モードがＨＤＲ撮影モードであるか否かを判定する。ステップＳ１において、撮影モードがＨＤＲ撮影モードであると判定されたときには、処理はステップＳ２に移行する。ステップＳ１において、撮影モードがＨＤＲ撮影モードでないと判定されたときには、処理はステップＳ３に移行する。

ステップＳ２において、制御部８０１は、ＨＤＲ撮影処理を実行する。ＨＤＲ撮影処理の後、処理はステップＳ１２に移行する。ＨＤＲ撮影処理については後で詳しく説明する。

ステップＳ３において、制御部８０１は、撮影モードが分析撮影モードであるか否かを判定する。ステップＳ３において、撮影モードが分析撮影モードであると判定されたときには、処理はステップＳ４に移行する。ステップＳ３において、撮影モードが分析撮影モードでないと判定されたときには、処理はステップＳ５に移行する。

ステップＳ４において、制御部８０１は、分析撮影処理を実行する。分析撮影処理の後、処理はステップＳ１２に移行する。分析撮影処理については後で詳しく説明する。

ステップＳ５において、制御部８０１は、撮影モードがパノラマ撮影モードであるか否かを判定する。ステップＳ５において、撮影モードがパノラマ撮影モードであると判定されたときには、処理はステップＳ６に移行する。ステップＳ５において、撮影モードがパノラマ撮影モードでないと判定されたときには、処理はステップＳ７に移行する。

ステップＳ６において、制御部８０１は、パノラマ撮影処理を実行する。パノラマ撮影処理の後、処理はステップＳ１２に移行する。パノラマ撮影処理については後で詳しく説明する。

ステップＳ７において、制御部８０１は、撮影モードが合成写真生成モードであるか否かを判定する。ステップＳ７において、撮影モードが合成写真生成モードであると判定されたときには、処理はステップＳ８に移行する。ステップＳ７において、撮影モードが合成写真生成モードでないと判定されたときには、処理はステップＳ９に移行する。

ステップＳ８において、制御部８０１は、合成写真生成処理を実行する。合成写真生成処理の後、処理はステップＳ１２に移行する。合成写真生成処理については後で詳しく説明する。

ステップＳ９において、制御部８０１は、撮影モードが通常撮影モードであるか否かを判定する。ステップＳ９において、撮影モードが通常撮影モードであると判定されたときには、処理はステップＳ１０に移行する。ステップＳ９において、撮影モードが通常撮影モードでないと判定されたときには、処理はステップＳ１１に移行する。

ステップＳ１０において、制御部８０１は、通常撮影処理を実行する。通常撮影処理については簡単に説明する。通常撮影処理では、まず、ライブビュー表示が行われる。ライブビュー表示では、繰り返しの撮像が行われ、繰り返しの撮像によって得られた画像に対して表示のための画像処理が行われ、表示のための画像処理が行われた画像が順次に表示素子３０に表示される。ライブビュー表示中にユーザによって撮影指示がされると例えば直前のＡＥの結果に従って設定された感度、シャッタスピード、絞り値に基づいて記録用の撮像が行われ、この撮像によって得られた画像に基づいて画像ファイルが生成される。この画像ファイルが記録媒体４０に記録されて通常撮影処理が終了する。このような通常撮影処理の後、処理はステップＳ１２に移行する。

ステップＳ１１において、制御部８０１は、その他の処理を行う。その他の処理は、画像ファイルを再生する処理、画像ファイルを通信する処理等である。その他の処理についての説明は省略する。その他の処理の後、処理はステップＳ１２に移行する。

ステップＳ１２において、制御部８０１は、動作を終了するか否かを判定する。例えば、ユーザの操作部５０の操作によって撮像装置１の電源がオフされた場合に動作を終了すると判定される。ステップＳ１２において、動作を終了しないと判定されたときには、処理はステップＳ１に戻る。ステップＳ１２において、動作を終了すると判定されたときには、図３の処理は終了する。

次に、ＨＤＲ撮影処理について説明する。図４は、ＨＤＲ撮影処理について示すフローチャートである。また、図５は、ＨＤＲ撮影処理中のタイミングチャートである。図５は、上から撮像のタイミング、撮像毎に取得される画像、画像合成に用いられる画像の組み合わせ、画像合成によって得られるＨＤＲ画像をそれぞれ示している。

ＨＤＲ撮影処理の開始後のステップＳ１０１において、制御部８０１は、ＨＤＲライブビュー表示のための異なる露出条件での複数回の撮像を実行するように撮像部１０を制御する。複数回の撮像の終了後、処理はステップＳ１０２に移行する。図５に示すように、ＨＤＲ撮影処理では、撮影の指示がされるまで異なる露出条件での複数回（図５では２回）の撮像が繰り返される。図５の例では、適正露出よりもオーバー露出となる露出条件である「露出オーバー」の撮像と適正露出よりもアンダー露出となる露出条件である「露出アンダー」の撮像とが繰り返し行われる。露出オーバーの撮像は、例えば適正露出が得られるシャッタスピードよりも遅いシャッタスピードの撮像であり、露出アンダーの撮像は、例えば適正露出が得られるシャッタスピードよりも速いシャッタスピードの撮像である。適正露出に対するシャッタスピードの変化量は、例えば固定値である。または、適正露出に対するシャッタスピードの変化量は、例えば後で説明する設定変更において設定された値である。

ステップＳ１０２において、制御部８０１は、センサ６０の姿勢センサの出力から撮像装置１の姿勢が安定しているか否かを判定するとともに、複数回の撮像によって取得された画像における被写体（対象物）の変化が小さいか否かを判定する。例えば、複数回の撮像の間の姿勢センサの出力がほぼ一定であるときには撮像装置１の姿勢が安定していると判定される。また、例えば、複数回の撮像によって取得された画像の間での対象物の画像マッチングの結果がほぼ一定であるときには、複数回の撮像によって取得された画像における被写体の変化が小さいと判定される。ステップＳ１０２において、撮像装置１の姿勢が安定しており、かつ、被写体の変化が小さいと判定されたときには、処理はステップＳ１０３に移行する。ステップＳ１０２において、撮像装置１の姿勢が安定していない、又は、被写体の変化が大きいと判定されたときには、処理はステップＳ１０４に移行する。

ステップＳ１０３において、制御部８０１は、複数回の撮像によって取得された画像のＨＤＲ画像合成を画像処理装置８０２に対して要求する。これを受けて、画像処理装置８０２の画像合成部８０２２ａは、ＨＤＲ画像合成を行う。その後、処理はステップＳ１０５に移行する。例えば、画像合成部８０２２ａは、露出オーバー１の画像と露出アンダー１の画像の組み合わせでＨＤＲ画像合成を行ってＨＤＲライブビュー（ＬＶ）画像を生成し、また、露出オーバー２の画像と露出アンダー２の画像の組み合わせでＨＤＲ画像合成を行ってＨＤＲＬＶ画像を生成する。図６は、ＨＤＲ画像合成の例を示す図である。ＨＤＲ画像合成では、露出アンダーの画像Ａ１において黒潰れしている領域を露出オーバーの画像Ｂ１における対応する領域で置き換える合成又は露出オーバーの画像Ｂ１において白飛びしている領域を露出アンダーの画像Ａ１における対応する領域で置き換える合成が行われる。このようなＨＤＲ画像合成により、画像Ａ１及び画像Ｂ１よりもダイナミックレンジが拡大されたＨＤＲＬＶ画像Ｃ１が生成される。

ステップＳ１０４において、制御部８０１は、複数回の撮像によって取得された画像の中で適正露出となっている領域が最も多い画像を選択する。その後、処理はステップＳ１０５に移行する。撮像装置１の姿勢が安定していなかったり、被写体（対象物）の変化が大きかったりすると、ＨＤＲ画像合成の結果として得られる画像は、ＨＤＲ画像合成をしない場合よりも不自然な画像となる可能性が高い。このため、撮像装置１の姿勢が安定していなかったり、被写体（対象物）の変化が大きかったりしているときには、ＨＤＲ画像合成が行われないようにする。

ステップＳ１０５において、制御部８０１は、ライブビュー表示を行う。ライブビュー表示において、制御部８０１は、画像処理装置８０２に対して表示のための画像処理を要求する。これを受けて、画像処理装置８０２の画像処理部８０２２は、ホワイトバランス補正処理、ガンマ補正処理、色補正処理、ノイズ除去処理、リサイズ処理といった表示のための画像処理を行う。ＨＤＲ画像が生成されているときには、画像処理部８０２２は、ＨＤＲ画像に対して画像処理を行う。一方、ＨＤＲ画像が生成されていないときには、画像処理部８０２２は、制御部８０１によって選択された画像に対して画像処理を行う。このような画像処理の後、制御部８０１は、画像処理された画像を表示素子３０に表示させる。このようなライブビュー表示の後、処理はステップＳ１０６に移行する。

ステップＳ１０６において、制御部８０１は、ユーザの操作部５０の操作によって設定変更の指示がされたか否かを判定する。例えば、メニューボタンといった設定変更のための操作部材が操作されたときには設定変更の指示がされたと判定される。ステップＳ１０６において、設定変更の指示がされたと判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、設定変更の指示がされていないと判定されたときには、処理はステップＳ１０８に移行する。

ステップＳ１０７において、制御部８０１は、ユーザの操作部５０の操作に従ってＨＤＲ撮影に関する設定を変更する。その後、処理はステップＳ１０８に移行する。ＨＤＲ撮影に関する設定は、露出条件の設定、撮像回数（合成枚数）の設定、ＨＤＲ画像の記録の設定等を含む。ＨＤＲ画像の記録の設定は、例えばＨＤＲ画像合成に用いられる画像自体も画像ファイルとして記録しておくか否かを含む。

ステップＳ１０８において、制御部８０１は、撮影をするか否かを判定する。例えば、レリーズボタンといったユーザの操作部５０の操作によって撮影の指示がされたときには、撮影をすると判定される。ステップＳ１０８において、撮影をすると判定されたときには、処理はステップＳ１０９に移行する。ステップＳ１０８において、撮影をしないと判定されたときには、図４の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

ステップＳ１０９において、制御部８０１は、記録のために異なる露出条件で複数回の撮像を実行するように撮像部１０を制御する。複数回の撮像によって得られた画像は、それぞれ仮記憶部８０３に記憶される。複数回の撮像の終了後、処理はステップＳ１１０に移行する。図５に示すように、ＨＤＲ撮影処理では、撮影の指示がされた後、適正露出よりもオーバー露出となる露出条件である「露出Ａ」の撮像と適正露出よりもアンダー露出となる露出条件である「露出Ｂ」の撮像とが行われる。撮影の指示がされたときの適正露出の露出条件は、撮影の指示がされる直前のＡＥの結果に基づいて決定される。適正露出に対するシャッタスピードの変化量は、例えば固定値である。または、適正露出に対するシャッタスピードの変化量は、例えば設定変更において設定された値である。

ステップＳ１１０において、制御部８０１は、複数回の撮像によって取得された画像のＨＤＲ画像合成を画像処理装置８０２に対して要求する。これを受けて、画像処理装置８０２の画像合成部８０２２ａは、ＨＤＲ画像合成を行う。記録のためのＨＤＲ画像合成は、ライブビュー表示のためのＨＤＲ画像合成と同様に行われる。画像合成の後、制御部８０１は、画像処理装置８０２に対して記録のための画像処理を要求する。これを受けて、画像処理装置８０２の画像処理部８０２２は、ホワイトバランス補正処理、ガンマ補正処理、色補正処理、ノイズ除去処理、リサイズ処理、圧縮処理といった記録のための画像処理を行う。その後、処理はステップＳ１１１に移行する。

ステップＳ１１１において、制御部８０１は、画像処理装置８０２に合成画像ファイルの記録を要求する。これを受けて、画像処理装置８０２のファイル生成部８０２３は、合成画像ファイルの付随情報を生成する。その後、処理はステップＳ１１２に移行する。ＨＤＲ撮影処理における合成画像ファイルの付随情報は、合成画像ファイルのファイル名の情報を含む。また、合成画像ファイルの付随情報は、合成画像ファイルの取得日時（ファイルの生成日時）の情報を含む。また、合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像の画像情報を含む。この画像情報は、画像の取得日時、画像の撮像条件（感度、シャッタスピード、絞り）を含む。画像情報は、これら以外の情報を含んでいてもよい。また、ＨＤＲ撮影処理における合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像のシーンの同一性の情報として、シーンが同一である旨の情報を含む。さらに、ＨＤＲ撮影処理における合成ファイルの付随情報は、画像合成に用いられたそれぞれの画像の一連性の情報として、一連の撮像によって取得された旨の情報を含む。

ステップＳ１１２において、ファイル生成部８０２３は、合成画像ファイルを生成する。そして、記録制御部８０２４は、合成画像ファイルを記録媒体４０に記録する。また、画像合成に用いられた画像を残すように設定されているときには、ファイル生成部８０２３は、画像合成に用いられたそれぞれの画像から画像ファイルを生成する。そして、記録制御部８０２４は、合成画像ファイルを記録媒体４０に記録する。その後、図４の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

図７は、ＨＤＲ撮影処理によって生成される合成画像ファイルの一例を示した図である。図７に示すように、合成画像ファイルには、ＨＤＲ画像合成によって生成されたＨＤＲ画像（合成画像）が圧縮された状態で記録される。また、合成画像ファイルには、ＨＤＲ画像のサムネイルが記録される。このサムネイルは、画像再生時のファイルの一覧表示のとき等で用いられる。また、合成画像ファイルには、前述した付随情報として、合成画像ファイルの取得日時、画像合成に用いられたそれぞれの画像の画像情報（図７は画像合成に用いられた画像が画像Ａと画像Ｂの２枚であるときの例が示されている）、シーンの同一性の情報、画像の一連性の情報が記録される。また、ＨＤＲ画像合成に用いられる画像自体も画像ファイルとして記録しておくように設定されている場合には、これらのＨＤＲ画像合成に用いられる画像の画像ファイルのファイル名等が付随情報として記録されてもよい。

ここで、前述した図２を用いて説明したように、ＨＤＲ画像合成は、同一シーンの一連の撮像の間に取得された複数の画像の画像合成であるタイプＡの処理に分類される。このような複数の画像の関係は、シーンの同一性の情報及び画像の一連性の情報から識別され得る。逆に、合成画像ファイルがＨＤＲ撮影処理であることが分かれば、シーンの同一性の情報及び画像の一連性の情報がなくても画像合成に用いられた複数の画像は同一シーンの一連の撮像の間に取得された複数の画像であることが識別される。したがって、ＨＤＲ撮影処理で生成されたものであることを示す情報が合成画像ファイルに記録されている場合には、シーンの同一性の情報及び画像の一連性の情報は記録されなくてもよい。

以上のＨＤＲ撮影処理における合成画像ファイルの生成は、記録される合成画像が異なることを除けば、タイプＡの処理に分類される他の撮影処理、例えば深度合成処理、面順次画像合成処理においても適用され得る。

次に、分析撮影処理について説明する。図８は、分析撮影処理について示すフローチャートである。

分析撮影処理の開始後のステップＳ２０１において、制御部８０１は、ライブビュー表示のための撮像を実行するように撮像部１０を制御する。撮像の終了後、処理はステップＳ２０２に移行する。

ステップＳ２０２において、制御部８０１は、ライブビュー表示を行う。ライブビュー表示において、制御部８０１は、画像処理装置８０２に対して表示のための画像処理を要求する。画像処理の後、制御部８０１は、画像処理された画像を表示素子３０に表示させる。このようなライブビュー表示の後、処理はステップＳ２０３に移行する。

ステップＳ２０３において、制御部８０１は、ユーザの操作部５０の操作によって設定変更の指示がされたか否かを判定する。ステップＳ２０３において、設定変更の指示がされたと判定されたときには、処理はステップＳ２０４に移行する。ステップＳ２０３において、設定変更の指示がされていないと判定されたときには、処理はステップＳ２０５に移行する。

ステップＳ２０４において、制御部８０１は、ユーザの操作部５０の操作に従って分析撮影に関する設定を変更する。その後、処理はステップＳ２０５に移行する。分析撮影に関する設定は、撮像回数の設定、補助光の設定等を含む。

ステップＳ２０５において、制御部８０１は、撮影をするか否かを判定する。例えば、ユーザの操作部５０の操作によって撮影の指示がされたときには、撮影をすると判定される。ステップＳ２０５において、撮影をすると判定されたときには、処理はステップＳ２０６に移行する。ステップＳ２０５において、撮影をしないと判定されたときには、処理はステップＳ２１１に移行する。

ステップＳ２０６において、制御部８０１は、補助光発光部２０に対して発光すべき補助光の設定をする。補助光の設定の後、処理はステップＳ２０７に移行する。

ステップＳ２０７において、制御部８０１は、補助光発光部２０による補助光の発光と同期して撮像が行われるように撮像部１０を制御する。撮影の指示がされたときの適正露出の露出条件は、撮影の指示がされる直前のＡＥの結果に基づいて決定される。撮像によって得られた画像は、仮記憶部８０３に記憶される。撮像の終了後、制御部８０１は、画像処理装置８０２に対して記録のための画像処理を要求する。これを受けて、画像処理装置８０２の画像処理部８０２２は、記録のための画像処理を行う。その後、処理はステップＳ２０８に移行する。

ステップＳ２０８において、制御部８０１は、画像処理装置８０２に画像ファイルの記録を要求する。これを受けて、画像処理装置８０２のファイル生成部８０２３は、画像ファイルの付随情報を生成する。その後、処理はステップＳ２０９に移行する。分析撮影処理の合成前の画像ファイルの付随情報は、画像ファイルのファイル名の情報を含む。また、画像ファイルの付随情報は、画像情報を含む。この画像情報は、画像の取得日時、画像の撮像条件（感度、シャッタスピード、絞り、補助光の種類）を含む。画像情報は、これら以外の情報を含んでいてもよい。

ステップＳ２０９において、ファイル生成部８０２３は、画像ファイルを生成する。その後、記録制御部８０２４は、画像ファイルを記録媒体４０に記録する。その後、処理はステップＳ２１０に移行する。

図９Ａは、分析撮影処理によって生成される画像ファイルの一例を示した図である。図９Ａに示すように、画像ファイルには、画像合成がされる前の画像が圧縮された状態で記録される。また、画像ファイルには、画像のサムネイルが記録される。また、画像ファイルには、前述した付随情報として画像情報が記録される。

ここで、図８の説明に戻る。ステップＳ２１０において、制御部８０１は、撮影を終了するか否かを判定する。例えば、ユーザの操作部５０の操作によって撮影の終了指示がされたとき又は規定の回数の撮影が終了したときには、撮影を終了すると判定される。ステップＳ２１０において、撮影を終了しないと判定されたときには、処理はステップＳ２０６に戻る。この場合、補助光を変更しての撮像が行われる。ステップＳ２１０において、撮影を終了すると判定されたときには、処理はステップＳ２１１に移行する。このとき、制御部８０１は、ライブビュー表示を再開させる。

ステップＳ２１１において、制御部８０１は、ユーザの操作部５０の操作によって画像合成の指示がされたか否かを判定する。例えば、画像合成のための操作部材が操作されたとき、タッチパネルの操作によって画像合成の指示がされたときには画像合成の指示がされたと判定される。ステップＳ２１１において、画像合成の指示がされたと判定されたときには、処理はステップＳ２１２に移行する。ステップＳ２１１において、画像合成の指示がされていないと判定されたときには、図８の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

ステップＳ２１２において、制御部８０１は、画像合成のためのＧＵＩ（Graphical User Interface）を表示素子３０に表示させる。その後、処理はステップＳ２１３に移行する。図１０Ａ及び図１０Ｂは、画像合成のためのＧＵＩの一例を示した図である。図１０Ａは、画像合成が行われる前のＧＵＩの状態を示した図であり、図１０Ｂは、画像合成が行われた後のＧＵＩの状態を示した図である。図１０Ａ及び図１０Ｂに示すように、画像合成のためのＧＵＩは、画像合成の元となる素材画像の表示枠Ｆ１、Ｆ２と画像合成の結果として生成される合成画像の表示枠Ｆ３とを含む。

ステップＳ２１３において、制御部８０１は、ＧＵＩにおけるユーザの操作に従った画像合成を画像処理装置８０２に対して要求する。これを受けて、画像処理装置８０２の画像合成部８０２２ａは画像合成を行う。分析撮影処理における画像合成においてユーザが表示枠Ｆ１及びＦ２の何れかをタッチすると、制御部８０１は、画像ファイルの選択を行うための画面を表示素子３０に表示させる。ユーザがこの画面の中から画像合成に用いる画像ファイルを選択すると、制御部８０１は、図１０Ａに示すように、選択された画像ファイルのサムネイルをユーザによってタッチされた表示枠内に表示させる。そして、表示枠Ｆ１及びＦ２の両方にサムネイルが表示されたとき、すなわち画像合成に用いる画像ファイルの選択が完了したときに、画像合成部８０２２ａは、選択された画像ファイルに記録されている画像を合成する。合成は、選択された画像の位置を合わせるようにして行われる。これにより、分析撮影処理においては、異なる蛍光物質の蛍光が同時に発生したのと同様の合成画像が生成される。画像合成の完了後、制御部８０１は、図１０Ｂのように、合成画像のサムネイルを表示枠Ｆ３に表示させる。また、画像合成の後、制御部８０１は、画像処理装置８０２に対して記録のための画像処理を要求する。これを受けて、画像処理装置８０２の画像処理部８０２２は、ホワイトバランス補正処理、ガンマ補正処理、色補正処理、ノイズ除去処理、リサイズ処理、圧縮処理といった記録のための画像処理を行う。その後、処理はステップＳ２１４に移行する。

ステップＳ２１４において、制御部８０１は、画像処理装置８０２に合成画像ファイルの記録を要求する。これを受けて、画像処理装置８０２のファイル生成部８０２３は、合成画像ファイルの付随情報を生成する。その後、処理はステップＳ２１５に移行する。分析撮影処理における合成画像ファイルの付随情報は、合成画像ファイルのファイル名の情報を含む。また、合成画像ファイルの付随情報は、合成画像ファイルの取得日時（ファイルの生成日時）の情報を含む。また、合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像ファイルの画像情報を含む。この画像情報は、対応する画像を記録した画像ファイルのファイル名及び画像ファイルの取得日時を含む。画像ファイルのファイル名及び取得日時を記録しておくことにより、合成に用いられた画像を記録した画像ファイルの情報をユーザに対して提示できる。このような情報の提示により、合成に用いられた画像を別の画像合成に使用したりする等の利用が考えられる。なお、ＨＤＲ撮影処理における合成画像ファイルと同様にそれぞれの画像の撮像条件も画像情報として記録されてもよい。

また、分析撮影処理における合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像のシーンの同一性の情報として、シーンが同一である旨の情報を含む。さらに、分析撮影処理における合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像の一連性の情報として、独立の撮像によって取得された旨の情報を含む。

ステップＳ２１５において、ファイル生成部８０２３は、合成画像ファイルを生成する。その後、記録制御部８０２４は、合成画像ファイルを記録媒体４０に記録する。その後、図８の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

図９Ｂは、分析撮影処理によって生成される合成画像ファイルの一例を示した図である。図９Ｂに示すように、合成画像ファイルには、分析撮影処理の画像合成によって生成された合成画像が圧縮された状態で記録される。また、合成画像ファイルには、合成画像のサムネイルが記録される。このサムネイルは、画像再生時のファイルの一覧表示のとき等で用いられる。また、合成画像ファイルには、前述した付随情報として、合成画像ファイルの取得日時、画像合成に用いられたそれぞれの画像の画像情報（図９Ｂは画像合成に用いられた画像が画像Ａと画像Ｂの２枚であるときの例が示されている）、シーンの同一性の情報、画像の一連性の情報が記録される。

ここで、前述した図２を用いて説明したように、分析撮影処理における画像合成は、同一シーンの独立した撮像において取得された複数の画像の画像合成であるタイプＢの処理に分類される。このような複数の画像の関係は、シーンの同一性の情報及び画像の一連性の情報から識別され得る。逆に、合成画像ファイルが分析撮影処理における画像合成であることが分かれば、シーンの同一性の情報及び画像の一連性の情報がなくても画像合成に用いられた複数の画像は同一シーンの独立した撮像において取得された複数の画像であることが識別される。したがって、分析撮影処理で生成されたものであることを示す情報が合成画像ファイルに記録されている場合には、シーンの同一性の情報及び画像の一連性の情報は記録されなくてもよい。

また、図８の例では、撮像毎に補助光の波長が替えられた複数回の撮像で得られた画像が合成される。これに対し、複数の波長を同時に対象物に対して照射し、この対象物からの反射光を波長分離して画像合成に必要な複数の画像を生成してもよい。この場合の撮像の回数は、１回でよい。

以上の分析撮影処理における合成画像ファイルの生成は、記録される合成画像が異なることを除けば、タイプＢの処理に分類される他の撮影処理においても適用され得る。

次に、パノラマ撮影処理について説明する。図１１は、パノラマ撮影処理について示すフローチャートである。

パノラマ撮影処理の開始後のステップＳ３０１において、制御部８０１は、ライブビュー表示のための撮像を実行するように撮像部１０を制御する。撮像の終了後、処理はステップＳ３０２に移行する。

ステップＳ３０２において、制御部８０１は、ライブビュー表示を行う。ライブビュー表示において、制御部８０１は、画像処理装置８０２に対して表示のための画像処理を要求する。画像処理の後、制御部８０１は、画像処理された画像を表示素子３０に表示させる。このようなライブビュー表示の後、処理はステップＳ３０３に移行する。

ステップＳ３０３において、制御部８０１は、ユーザの操作部５０の操作によって設定変更の指示がされたか否かを判定する。ステップＳ３０３において、設定変更の指示がされたと判定されたときには、処理はステップＳ３０４に移行する。ステップＳ３０３において、設定変更の指示がされていないと判定されたときには、処理はステップＳ３０５に移行する。

ステップＳ３０４において、制御部８０１は、ユーザの操作部５０の操作に従ってパノラマ撮影に関する設定を変更する。その後、処理はステップＳ３０５に移行する。パノラマ画像の記録の設定は、例えばパノラマ画像合成に用いられる画像自体も画像ファイルとして記録しておくか否かを含む。

ステップＳ３０５において、制御部８０１は、撮影をするか否かを判定する。例えば、ユーザの操作部５０の操作によって撮影の指示がされたときには、撮影をすると判定される。ステップＳ３０５において、撮影をすると判定されたときには、処理はステップＳ３０６に移行する。ステップＳ３０５において、撮影をしないと判定されたときには、図１１の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

ステップＳ３０６において、制御部８０１は、記録のための撮像が行われるように撮像部１０を制御する。撮影の指示がされたときの適正露出の露出条件は、撮影の指示がされる直前のＡＥの結果に基づいて決定される。撮像によって得られた画像は、仮記憶部８０３に記憶される。

ステップＳ３０７において、制御部８０１は、撮影を終了するか否かを判定する。例えば、ユーザの操作部５０の操作によって撮影の終了指示がされたときには、撮影を終了すると判定される。ステップＳ３０７において、撮影を終了しないと判定されたときには、処理はステップＳ３０６に戻る。この場合、次の撮像が行われる。ステップＳ３０７において、撮影を終了すると判定されたときには、処理はステップＳ３０８に移行する。パノラマ撮影モードにおいてユーザは撮像装置１を一定方向に動かしながら撮影を行い、所望のタイミングで撮影を終了する。ユーザが撮影の開始を指示してから終了を指示するまで、撮像が繰り返し行われる。そして、繰り返しの撮像の結果として得られた画像が順次に仮記憶部８０３に記憶される。

ステップＳ３０８において、制御部８０１は、複数回の撮像によって取得された画像のパノラマ画像合成を画像処理装置８０２に対して要求する。これを受けて、画像処理装置８０２の画像合成部８０２２ａは、パノラマ画像合成を行う。パノラマ合成は、取得された画像を撮像装置１の姿勢に応じて順次に繋ぎ合わせるように合成することで行われる。画像合成の後、制御部８０１は、画像処理装置８０２に対して記録のための画像処理を要求する。これを受けて、画像処理装置８０２の画像処理部８０２２は、ホワイトバランス補正処理、ガンマ補正処理、色補正処理、ノイズ除去処理、リサイズ処理、圧縮処理といった記録のための画像処理を行う。その後、処理はステップＳ３０９に移行する。

ステップＳ３０９において、制御部８０１は、画像処理装置８０２に対して合成画像ファイルの記録を要求する。これを受けて、画像処理装置８０２のファイル生成部８０２３は、合成画像ファイルの付随情報を生成する。その後、処理はステップＳ３１０に移行する。パノラマ撮影処理における合成画像ファイルの付随情報は、合成画像ファイルのファイル名の情報を含む。また、合成画像ファイルの付随情報は、合成画像ファイルの取得日時（ファイルの生成日時）の情報を含む。また、合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像の画像情報を含む。この画像情報は、画像の取得日時、画像の撮像条件（感度、シャッタスピード、絞り、撮像装置の姿勢）を含む。画像情報は、これら以外の情報を含んでいてもよいし、一部が除かれてもよい。

また、パノラマ撮影処理における合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像のシーンの同一性の情報として、シーンが異なる旨の情報を含む。さらに、パノラマ撮影処理におけるＨＤＲ撮影処理における付随情報は、画像合成に用いられたそれぞれの画像の一連性の情報として、一連の撮像によって取得された旨の情報を含む。

ステップＳ３１０において、ファイル生成部８０２３は、合成画像ファイルを生成する。そして、記録制御部８０２４は、合成画像ファイルを記録媒体４０に記録する。また、画像合成に用いられた画像を残すように設定されているときには、ファイル生成部８０２３は、画像合成に用いられたそれぞれの画像から画像ファイルを生成する。そして、記録制御部８０２４は、合成画像ファイルを記録媒体４０に記録する。その後、図１１の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

図１２は、パノラマ撮影処理によって生成される合成画像ファイルの一例を示した図である。図１２に示すように、合成画像ファイルには、パノラマ画像合成によって生成されたパノラマ画像（合成画像）が圧縮された状態で記録される。また、合成画像ファイルには、パノラマ画像のサムネイルが記録される。このサムネイルは、画像再生時のファイルの一覧表示のとき等で用いられる。また、合成画像ファイルには、前述した付随情報として、合成画像ファイルの取得日時、画像合成に用いられたそれぞれの画像の画像情報（図１２は画像合成に用いられた画像が画像Ａと画像Ｂの２枚であるときの例が示されている）、シーンの同一性の情報、画像の一連性の情報が記録される。また、パノラマ画像合成に用いられる画像自体も画像ファイルとして記録しておくように設定されている場合には、これらのパノラマ画像合成に用いられる画像の画像ファイルのファイル名等が付随情報として記録されてもよい。

ここで、前述した図２を用いて説明したように、パノラマ画像合成は、異なるシーンの一連の撮像の間に取得された複数の画像の画像合成であるタイプＣの処理に分類される。このような複数の画像の関係は、シーンの同一性の情報及び画像の一連性の情報から識別され得る。逆に、合成画像ファイルがパノラマ撮影処理であることが分かれば、シーンの同一性の情報及び画像の一連性の情報がなくても複数の画像は異なるシーンの一連の撮像の間に取得された複数の画像であることが識別される。したがって、パノラマ撮影処理で生成されたものであることを示す情報が合成画像ファイルに記録されている場合には、シーンの同一性の情報及び画像の一連性の情報は記録されなくてもよい。

以上のパノラマ撮影処理における合成画像ファイルの生成は、記録される合成画像が異なることを除けば、タイプＣの処理に分類される他の撮影処理、例えば多重露光画像合成処理においても適用され得る。

次に、合成写真生成処理について説明する。図１３は、合成写真生成処理について示すフローチャートである。また、図１４は、合成写真生成処理中のタイミングチャートである。図１４は、上から撮像のタイミング、撮像毎に取得される画像、画像合成に用いられる画像の組み合わせ、画像合成によって得られる合成写真画像をそれぞれ示している。

合成写真生成処理においては、図１４の一点鎖線よりも後のタイミングで行われる合成写真生成処理の前に予め素材画像の取得が行われている。素材画像の取得のための撮影は、前述した通常撮影モードの撮影であってもよいし、ＨＤＲ撮影モード、分析撮影モード、パノラマ撮影モード、これから説明する合成写真生成モードの撮影であってもよい。

合成写真生成処理の開始後のステップＳ４０１において、制御部８０１は、素材画像の選択がされたか否かを判定する。制御部８０１は、画像ファイルの選択を行うための画面を表示素子３０に表示させる。ユーザはこの画面の中から画像合成に用いる素材画像の画像ファイルを選択する。これを受けて、ステップＳ４０１において、制御部８０１は、素材画像の選択がされたと判定する。ステップＳ４０１において、素材画像の選択がされたと判定されたときには、処理はステップＳ４０２に移行する。ステップＳ４０１において、記録画像の選択がされていないと判定されたときには、図１３の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

ステップＳ４０２において、制御部８０１は、ユーザによって選択された画像の半透明画像を生成するように画像処理装置８０２に対して要求する。これを受けて、画像処理装置８０２の画像処理部８０２２は、半透明画像を生成する。その後、処理はステップＳ４０３に移行する。半透明画像の生成は、例えば後で説明するライブビュー表示のための画像との合成比を０より大きく１より小さい値に設定することで行われる。ライブビュー表示時における合成比は、固定値であってもよいし、後で説明する設定変更においてユーザによって設定されてもよい。

ステップＳ４０３において、制御部８０１は、ライブビュー表示のための撮像を実行するように撮像部１０を制御する。撮像の終了後、処理はステップＳ４０４に移行する。

ステップＳ４０４において、制御部８０１は、画像合成を画像処理装置８０２に対して要求する。これを受けて、画像処理装置８０２の画像合成部８０２２ａは、選択された素材画像とライブビュー表示のための撮像で取得された合成対象画像との合成を行う。その後、処理はステップＳ４０５に移行する。図１５は、合成写真生成のための画像合成の例を示す図である。合成写真生成のための画像合成では、合成対象画像Ａ２に素材画像Ｂ２が合成比に従って合成される。例えば、図１５は、合成比が素材画像：合成対象画像＝１：０の例である。この場合、合成対象画像Ａ２の一部の領域が素材画像Ｂ２によって置き換えられた合成写真画像Ｃ２が生成される。なお、ライブビュー表示の際には、素材画像の合成比が１よりも小さく設定されているので、合成対象画像に対して半透明の素材画像が合成された合成ライブビュー（ＬＶ）画像が生成される。このような半透明の素材画像が合成された合成ＬＶ画像を表示させることにより、ユーザは合成処理の結果をライブビュー表示上で確認することができる。

ステップＳ４０５において、制御部８０１は、合成写真画像に対して画像処理装置８０２に対して表示のための画像処理を要求する。画像処理の後、制御部８０１は、画像処理された画像を表示素子３０に表示させる。このようなライブビュー表示の後、処理はステップＳ４０６に移行する。

ステップＳ４０６において、制御部８０１は、ユーザの操作部５０の操作によって設定変更の指示がされたか否かを判定する。例えば、設定変更のための操作部材が操作されたときには設定変更の指示がされたと判定される。ステップＳ４０６において、設定変更の指示がされたと判定されたときには、処理はステップＳ４０７に移行する。ステップＳ４０６において、設定変更の指示がされていないと判定されたときには、処理はステップＳ４０８に移行する。

ステップＳ４０７において、制御部８０１は、ユーザの操作部５０の操作に従って合成写真生成に関する設定を変更する。その後、処理はステップＳ４０８に移行する。合成写真生成に関する設定は、合成比の設定、合成写真画像の記録の設定等を含む。合成写真画像の記録の設定は、例えば合成写真生成のための画像合成に用いられる合成対象画像自体も画像ファイルとして記録しておくか否か、合成写真生成の際に生成された付随情報を素材画像の画像ファイルにも書き込むか否か等を含む。

ステップＳ４０８において、制御部８０１は、撮影をするか否かを判定する。例えば、ユーザの操作部５０の操作によって撮影の指示がされたときには、撮影をすると判定される。ステップＳ４０８において、撮影をすると判定されたときには、処理はステップＳ４０９に移行する。ステップＳ４０８において、撮影をしないと判定されたときには、図１３の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

ステップＳ４０９において、制御部８０１は、記録のための撮像が行われるように撮像部１０を制御する。撮影の指示がされたときの適正露出の露出条件は、撮影の指示がされる直前のＡＥの結果に基づいて決定される。撮像によって得られた画像は、仮記憶部８０３に記憶される。
ステップＳ４１０において、制御部８０１は、合成写真画像の記録のための画像合成を画像処理装置８０２に対して要求する。これを受けて、画像処理装置８０２の画像合成部８０２２ａは、選択された素材画像と記録のための撮像で取得された合成対象画像との合成を行う。記録のための画像合成は、ライブビュー表示のための画像合成と同様に行われる。画像合成の後、制御部８０１は、画像処理装置８０２に対して記録のための画像処理を要求する。これを受けて、画像処理装置８０２の画像処理部８０２２は、ホワイトバランス補正処理、ガンマ補正処理、色補正処理、ノイズ除去処理、リサイズ処理、圧縮処理といった記録のための画像処理を行う。その後、処理はステップＳ４１１に移行する。

ステップＳ４１１において、制御部８０１は、画像処理装置８０２に合成画像ファイルの記録を要求する。これを受けて、画像処理装置８０２のファイル生成部８０２３は、合成画像ファイルの付随情報を生成する。その後、処理はステップＳ４１２に移行する。合成写真生成処理における合成画像ファイルの付随情報は、合成画像ファイルのファイル名の情報を含む。また、合成画像ファイルの付随情報は、合成画像ファイルの取得日時（ファイルの生成日時）の情報を含む。また、合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像の画像情報を含む。合成対象画像の画像情報は、画像の取得日時、画像の撮像条件（感度、シャッタスピード、絞り）を含む。一方、素材画像の画像情報は、対応する画像を記録した画像ファイルのファイル名及び画像ファイルの取得日時を含む。画像ファイルのファイル名及び取得日時を記録しておくことにより、合成に用いられた画像を記録した画像ファイルの情報をユーザに対して提示できる。このような情報の提示により、合成に用いられた画像を別の画像合成に使用したりする等の利用が考えられる。なお、素材画像の画像情報は、画像ファイルの取得日時、画像の撮像条件（感度、シャッタスピード、絞り）を含んでいてもよい。

また、合成写真生成処理における合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像のシーンの同一性の情報として、シーンが異なる旨の情報を含む。さらに、合成写真撮影処理における合成画像ファイルの付随情報は、画像合成に用いられたそれぞれの画像の一連性の情報として、独立の撮像によって取得された旨の情報を含む。

ステップＳ４１２において、ファイル生成部８０２３は、合成画像ファイルを生成する。そして、記録制御部８０２４は、合成画像ファイルを記録媒体４０に記録する。その後、図１３の処理は終了する。この場合、処理は図３のステップＳ１２に移行する。

図１６は、合成写真生成処理によって生成される合成画像ファイルの一例を示した図である。図１６に示すように、合成画像ファイルには、合成写真生成処理の画像合成によって生成された合成画像が圧縮された状態で記録される。また、合成画像ファイルには、合成画像のサムネイルが記録される。このサムネイルは、画像再生時のファイルの一覧表示のとき等で用いられる。また、合成画像ファイルには、前述した付随情報として、合成画像ファイルの取得日時、画像合成に用いられたそれぞれの画像の画像情報（図１６は画像合成に用いられた画像が合成対象画像Ａと素材画像Ｂの２枚であるときの例が示されている）、シーンの同一性の情報、画像の一連性の情報が記録される。また、合成写真生成に用いられる合成対象画像自体も画像ファイルとして記録しておくように設定されている場合には、合成対象画像の画像ファイルのファイル名等が付随情報として記録されてもよい。

ここで、前述した図２を用いて説明したように、合成写真生成処理における画像合成は、異なるシーンの独立した撮像において取得された複数の画像の画像合成であるタイプＤの処理に分類される。このような複数の画像の関係は、シーンの同一性の情報及び画像の一連性の情報から識別され得る。合成写真生成処理においては、複数の画像の撮像シーンは同一であってもよく、また、複数の画像は一連の撮像の間に取得されてもよい。このため、シーンの同一性の情報及び画像の一連性の情報を記録しておくことは有効である。また、合成写真生成処理では、画像情報として画像合成に用いられた画像ファイルのファイル名が記録される。このような情報を記録しておくことによっても、合成画像ファイルと画像合成に用いられた画像ファイルとの関連付けがされる。

以上の合成写真生成処理における合成画像ファイルの生成は、記録される合成画像が異なることを除けば、タイプＤの処理に分類される他の撮影処理においても適用され得る。

以上説明したように本実施形態によれば複数種類の画像合成を行うことができる画像処理装置において、画像合成に用いられる画像の関係を示す付随情報が合成画像ファイルに記録される。このような付随情報を記録しておくことにより、画像合成に用いられた画像の関係を例えばユーザに対して提示することができる。例えば、合成写真の生成に用いられた素材画像の存在をユーザに知らせることにより、ユーザはその素材画像を用いて新たな合成写真の生成を行うことができる。このようにして、画像合成に用いられるそれぞれの画像の利用範囲を広げることができる。

［変形例］
以下、本実施形態の変形例を説明する。前述した実施形態では、画像合成に用いられる画像の関係を示す付随情報が合成画像ファイルにだけ記録される。これに対し、画像合成に用いられる画像の関係を示す付随情報は画像合成に用いられるそれぞれの画像ファイルに記録されてもよい。図１７Ａは、合成写真生成のための画像合成に用いられる画像の関係を示す付随情報が記録された素材画像（第１の画像）の画像ファイル（第１の画像ファイル）の例を示す図であり、図１７Ｂは、合成写真生成のための画像合成に用いられる画像の関係を示す付随情報が記録された合成対象画像（第２の画像）の画像ファイル（第２の画像ファイル）の例を示す図である。図１７Ａに示すように、素材画像の画像ファイルの付随情報としては、合成対象画像を特定するための情報（例えばファイル名）が記録される。同様に、図１７Ｂに示すように、合成対象画像の画像ファイルの付随情報としては、素材画像を特定するための情報（例えばファイル名）が記録される。なお、図１７Ａ及び図１７Ｂで示した画像ファイルの付随情報は、一例であって適宜変更され得る。例えば、合成対象画像及び素材画像の付随情報に合成画像ファイルのファイル名及び取得日時等が記録されてもよい。この他、合成対象画像及び素材画像の付随情報に、関連する画像ファイルとのシーンの同一性の情報及び画像の一連性の情報が記録されてもよい。

また、図１７Ａ及び図１７Ｂは、合成写真生成処理において生成される画像ファイルに対する例であるが、画像合成に用いられるそれぞれの画像ファイルに画像合成に用いられる画像の関係を示す付随情報を記録することは、ＨＤＲ撮影処理、分析撮影処理、パノラマ撮影処理においても同様に適用され得る。

ここで、画像ファイルには情報の編集がされないようにプロテクトがかけられることがある。この場合には、図１７Ａ及び図１７Ｂといった付随情報を追加することができない。したがって、このようなプロテクトがかけられている画像ファイルについては、一旦、プロテクトのかけられていない状態の画像ファイルを複製し、複製した画像ファイルに対して付随情報を追加すればよい。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述した実施形態では、画像処理装置は、撮像装置に設けられている。しかしながら、画像処理装置は、必ずしも撮像装置に設けられている必要はない。また、前述した各種の画像合成は、必ずしも撮影中に行われる必要はなく、撮影後の編集のとき等に行われてもよい。さらに、前述した実施形態では、２枚の画像の合成について説明しているが、前述した実施形態の技術は３枚以上の合成についても適用され得る。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御回路に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御回路は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、実施形態において、部（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していないが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ－Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。こうした撮像装置、あるいはシステムは、異なる対象物を撮影して合成するために、自走式であっても構わない。この時、自走するための移動部等は、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイクロプロセッサマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われてもよい。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１ 撮像装置、１０ 撮像部、２０ 補助光発光部、３０ 表示素子、４０ 記録媒体、５０ 操作部、６０ センサ、７０ 時計、８０ 制御装置、８０１ 制御部、 ８０２ 画像処理装置、８０３ 仮記憶部、８０１１ 撮像制御部、８０１２ 表示制御部、８０２１ 画像取得部、８０２２ 画像処理部、８０２２ａ 画像合成部、８０２３ ファイル生成部、８０２４ 記録制御部。

Claims (8)

1. 複数の画像を取得する画像取得部と、
   複数の前記画像を合成して合成画像を生成する画像合成部と、
   複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成するファイル生成部と、
   前記合成画像ファイルを記録媒体に記録する記録制御部と、
   を具備し、
   前記ファイル生成部は、複数の前記画像のうちで前記合成画像を生成するための一連の処理の中で取得されている第２の画像があるときには、前記第２の画像の取得日時を前記付随情報として前記合成画像ファイルに記録し、
   前記記録制御部は、前記第２の画像を記録した第２の画像ファイルを前記記録媒体に記録し、
   前記ファイル生成部は、前記合成画像の生成に用いられた前記第２の画像以外の画像との間の関係を示す付随情報を前記第２の画像ファイルに記録する画像処理装置。
2. 前記ファイル生成部は、複数の前記画像のうちで前記合成画像ファイルを生成するための一連の処理と独立したタイミングで取得された第１の画像を記録した第１の画像ファイルがあるときには、前記第１の画像ファイルのファイル名を前記付随情報として前記合成画像ファイルに記録する請求項１に記載の画像処理装置。
3. 前記ファイル生成部は、複数の前記画像が同一のシーンに係るものであるか否かを示す情報を前記付随情報として前記合成画像ファイルに記録する請求項１に記載の画像処理装置。
4. 複数の画像を取得する画像取得部と、
   複数の前記画像を合成して合成画像を生成する画像合成部と、
   複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成するファイル生成部と、
   前記合成画像ファイルを記録媒体に記録する記録制御部と、
   を具備し、
   前記ファイル生成部は、複数の前記画像のうちで前記合成画像を生成するための一連の処理と独立したタイミングで取得された第１の画像を記録した第１の画像ファイルがあるときに、前記第１の画像以外の画像との間の関係を示す付随情報を前記第１の画像ファイルに記録する画像処理装置。
5. 前記ファイル生成部は、前記第１の画像ファイルにプロテクトがかけられているときに、前記第１の画像ファイルを複製し、複製された前記第１の画像ファイルに前記第１の画像以外の画像との間の関係を示す付随情報を記録する請求項４に記載の画像処理装置。
6. 複数の画像を取得する画像取得部と、
   複数の前記画像を合成して合成画像を生成する画像合成部と、
   複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成するファイル生成部と、
   前記合成画像ファイルを記録媒体に記録する記録制御部と、
   を具備し、
   前記ファイル生成部は、複数の前記画像のうちで前記合成画像を生成するための一連の処理と独立したタイミングで取得された第１の画像を記録した第１の画像ファイルがあるときに、前記第１の画像ファイルのファイル名を前記合成画像ファイルと関連付けられるように変更する画像処理装置。
7. 複数の画像を取得することと、
   複数の前記画像を合成して合成画像を生成することと、
   複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成することと、
   前記合成画像ファイルを記録媒体に記録することと、
   を具備し、
   前記合成画像ファイルを生成することは、複数の前記画像のうちで前記合成画像を生成するための一連の処理の中で取得されている第２の画像があるときには、前記第２の画像の取得日時を前記付随情報として前記合成画像ファイルに記録することを含み、
   前記記録媒体に記録することは、前記第２の画像を記録した第２の画像ファイルを前記記録媒体に記録することを含み、
   前記合成画像ファイルを生成することは、前記合成画像の生成に用いられた前記第２の画像以外の画像との間の関係を示す付随情報を前記第２の画像ファイルに記録することを含む画像処理方法。
8. 複数の画像を取得することと、
   複数の前記画像を合成して合成画像を生成することと、
   複数の前記画像の関係を示す付随情報を前記合成画像とともに記録した合成画像ファイルを生成することと、
   前記合成画像ファイルを記録媒体に記録することと、
   をコンピュータに実行させるための画像処理プログラムであって、
   前記合成画像ファイルを生成することは、複数の前記画像のうちで前記合成画像を生成するための一連の処理の中で取得されている第２の画像があるときには、前記第２の画像の取得日時を前記付随情報として前記合成画像ファイルに記録することを含み、
   前記記録媒体に記録することは、前記第２の画像を記録した第２の画像ファイルを前記記録媒体に記録することを含み、
   前記合成画像ファイルを生成することは、前記合成画像の生成に用いられた前記第２の画像以外の画像との間の関係を示す付随情報を前記第２の画像ファイルに記録することを含む画像処理プログラム。

Images