WO2006046460A1

WO2006046460A1 - デジタルカメラおよび画像合成装置

Info

Publication number: WO2006046460A1
Application number: PCT/JP2005/019284
Authority: WO
Inventors: Yutaka Tsuda; Hidehiro Ogawa
Original assignee: Nikon Corporation
Priority date: 2004-10-26
Filing date: 2005-10-20
Publication date: 2006-05-04
Also published as: EP3310037A1; EP1814315A1; EP1814315B1; US8564691B2; US20090021594A1; US20120262605A1; EP1814315A4

Abstract

　デジタルカメラは、多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像を記憶する記憶部と、多重露出撮影枚数に基づいて総和が１となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与部と、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する合成部とを備える。

Description

明細書

デジタルカメラおよび画像合成装置

技術分野

[0001] 本発明は、多重露出により撮影した画像を合成するデジタルカメラ、および複数の撮影画像を合成する画像合成装置に関する。

背景技術

[0002] 次のようなデジタルカメラが特許文献 1によって知られている。多重露出により撮像した複数の画像を重ね合わせて 1枚の画像にする場合に、各コマの画像データをカロ算した後、コマ数で除算して加算平均化処理を行う。

また、特許文献 1のデジタルカメラは、複数の画像を重ね合わせて多重露出撮影画像を生成し、この多重露出撮影画像を保存し、不要な元画像は消去する。

さらにまた、複数の撮影画像を重ね合わせて多重撮影画像を得る技術が特許文献 2によって知られている。

[0003] 特許文献 1 :特開 2003— 69888号公報

特許文献 2：特開 2003 - 298925号公報

発明の開示

発明が解決しょうとする課題

[0004] 特許文献 1のデジタルカメラにおいては、多重露出により撮像した複数の画像を重ね合わせて 1枚の画像にする場合に、各コマの画像データを加算した後にコマ数で除算して!/、るが、重ね合わせる画像の枚数が増加すると除算する前にデータがォーバーフローする可能性があった。また、多重露出により撮像した複数の画像データをそのまま加算して、るため、露出オーバーとなる可能性があると、う問題が生じて!/ヽた。

また、特許文献 1のデジタルカメラにおいては、多重露出撮影画像だけが保存されるので、元画像を参照することができない。

特許文献 2には、多重撮影画像を得る際に撮影済み画像の背景部分をスルー画像に置き換えてモニタ表示することが開示されて、る。画像の背景を置き換えてモ- タ表示された画像からは、画像の全域につ！、ての重ね合わせ効果を確認することができない。

課題を解決するための手段

本発明の第 1の態様によると、デジタルカメラは、多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像を記憶する記憶部と、多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与部と、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する合成部とを備える。

本発明の第 2の態様によると、第 1の態様のデジタルカメラにおいて、合成部は、撮像された画像がゲインを付与した後に記憶部に記憶されている場合は、記憶部から複数枚の画像を読み出して合成し、撮像された画像がゲインを付与せずに記憶部に記憶されてヽる場合は、記憶部から読み出した複数枚の画像にゲインを付与して合成するのが好ましい。

本発明の第 3の態様によると、第 1または第 2の態様のデジタルカメラはさらに、多重露出撮影枚数の撮像が完了する前に撮像を中断させる中断指示部を備えてもよい。この場合のゲイン付与部は、中断指示部によって多重露出撮影枚数の撮像が完了する前に撮像が中断された場合には、中断されるまでに撮像された枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与し、合成部は、中断されるまでに撮像された複数枚の画像を合成して多重露出撮影画像を生成するのが好ましい。

本発明の第 4の態様によると、第 1〜第 3のいずれかの態様のデジタルカメラはさらに、ゲイン付与部によるゲイン付与の有効および無効を切り替える切り替え部を備えてもよい。この場合のゲイン付与部は、切り替え部によってゲイン付与が有効にされたときに、ゲインを撮像された複数枚の画像に付与するのが好まし、。

本発明の第 5の態様によると、第 1〜第 4のいずれかの態様のデジタルカメラはさらに、合成部によって生成された多重露出撮影画像に対して、各種画像処理を実行する画像処理部を備えてもょヽ。

本発明の第 6の態様によると、デジタルカメラは、多重露出撮影モードが設定されてヽるときに撮像素子で撮像される複数枚の画像を記憶する記憶部と、記憶部に記憶されて!/、る複数枚の画像を合成して多重露出撮影画像を生成する合成部と、合成部で合成された多重露出撮影画像を記録媒体へ記録する処理を行う際、多重露出撮影画像とともに記憶部に記憶されている合成前の元画像も記録媒体に記録する記録制御部とを備える。

本発明の第 7の態様によると、第 6の態様のデジタルカメラはさらに、多重露出撮影画像を記録媒体へ記録する処理を行う際、多重露出撮影画像だけを記録する第 1記録モードと、多重露出撮影画像および元画像を記録する第 2記録モードとを選択する記録選択部を備えてもょヽ。

本発明の第 8の態様によると、第 7の態様のデジタルカメラはさらに、多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与部を備えてもよい。この場合の合成部は、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成するのが好ましい。

本発明の第 9の態様によると、第 8の態様のデジタルカメラはさらに、合成部による画像合成に際して、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する第 1合成モードと、ゲイン付与部でゲインを付与せずに、複数枚の画像を合成して多重露出撮影画像を生成する第 2合成モードとを選択する合成選択部を備えてもょヽ。

本発明の第 10の態様によると、第 9の態様のデジタルカメラにおいて、記録選択部で第 2記録モードが選択された場合、合成部は、合成選択部で第 2合成モードが選択されていても、元画像に対してゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成し、記録制御部は、ゲインが付与されない元画像を多重露出撮影画像とともに記録媒体に記録するのが好ましい。

本発明の第 11の態様によると、第 6の態様のデジタルカメラはさらに、多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与部を備えてもよい。この場合の合成部は、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成するのが好ましい。

本発明の第 12の態様によると、第 11の態様のデジタルカメラはさらに、合成部による画像合成に際して、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する第 1合成モードと、ゲイン付与部でゲインを付与せずに、複数枚の画像を合成して多重露出撮影画像を生成する第 2合成モードとを選択する合成選択部を備えてもょヽ。

本発明の第 13の態様によると、画像合成装置は、第 1の画像と第 2の画像とを重畳した画像を得る画像合成部と、画像合成部が画像の重畳を開始する前に、第 1の画像のデータに基づいて生成された第 1の画像よりデータ数が少ない第 1の副画像と、第 2の画像のデータに基づいて生成された第 2の画像よりデータ数が少ない第 2の副画像とを重畳し、画像合成部で得られるであろう重畳後の画像に対応する副画像を得る副画像合成部と、

副画像合成部による重畳後の副画像を表示する表示部とを備える。

本発明の第 14の態様によると、第 13の態様の画像合成装置において、表示部は、第 1の副画像、第 2の副画像、および重畳後の副画像を同じ画面内に表示するのが好ましい。

本発明の第 15の態様によると、第 13または 14の態様の画像合成装置において、第 1の副画像は、第 1の画像が記録されているデータファイル内に含まれているサムネイル画像であり、第 2の副画像は、第 2の画像が記録されているデータファイル内に含まれて、るサムネイル画像であるのが好まし！/、。

本発明の第 16の態様によると、第 13〜15のいずれかの態様の画像合成装置はさらに、画像合成部が画像を重畳する際の重畳比率を設定する重畳比率設定部を備えてもよい。この場合の副画像合成部は、重畳比率設定部により設定されている重畳比率を用いて第 1の副画像と第 2の副画像とを重畳するのが好ましい。

本発明の第 17の態様によると、第 13〜16のいずれかの態様の画像合成装置において、副画像合成部が重畳後の副画像を得た後の開始指示に応じて、画像合成部が画像の重畳を開始するのが好まし、。

本発明の第 18の態様によると、第 17の態様の画像合成装置において、画像合成部が重畳後の画像を得た後の開始指示に応じて、重畳後の画像の記録が開始されると好ましヽ。

本発明の第 19の態様によると、第 18の態様の画像合成装置において、重畳後の画像の記録形式は、デジタルカメラに設定されて、る画像の記録形式であるのが好ましい。

本発明の第 20の態様によると、第 13〜19のいずれかの態様の画像合成装置にお V、て、画像合成部が重畳する画像は RAWデータで記録されてヽるのが好ましヽ。本発明の第 21の態様によると、デジタルカメラは、第 13〜20のいずれかの態様の画像合成装置を備える。

上記記憶部は、記憶手段と置き換えてもよい。

上記ゲイン付与部は、ゲイン付与手段と置き換えてもよヽ。

上記合成部は、合成手段と置き換えてもよい。

上記中断指示部は、中断指示手段と置き換えてもよい。

上記切り替え部は、切り替え手段と置き換えてもよい。

上記画像処理部は、画像処理手段と置き換えてもよい。

上記記録制御部は、記録制御手段と置き換えてもよ、。

上記記録選択部は、記録選択手段と置き換えてもよい。

上記合成選択部は、合成選択手段と置き換えてもよい。

上記画像合成部は、画像合成手段と置き換えてもよい。

上記副画像合成部は、副画像合成手段と置き換えてもよヽ。

上記表示部は、表示手段と置き換えてもよい。

上記重畳比率設定部は、重畳比率設定手段と置き換えてもよ!ヽ。

発明の効果

本発明によれば、多重露出撮影枚数に基づヽて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与してから、当該複数枚の画像を合成して多重露出撮影画像を生成するようにした。これによつて、合成途中でデータがオーバーフローするのを回避することができる。また、合成時に露出オーバーとなることを防ぐことができ、適正露出での多重露出撮影画像を得ることができる。また、他の発明によれば、多重露出撮影画像とともに元画像を保存するようにしたので、必要に応じて元画像を参照することができる。

また、他の発明によれば、画像合成手段が第 1の画像と第 2の画像との重畳を開始する前に、データ数が少な、第 1の副画像とデータ数が少な、第 2の副画像とを重畳し、重畳後の副画像を表示するようにしたので、画像の全域についての重ね合わせ効果を即座に確認することができる。

図面の簡単な説明

[0007] [図 1]デジタルカメラの一実施の形態の構成を示すブロック図である。

[図 2]第一の実施形態による多重露出設定画面の具体例を示す図である。

[図 3]第一の実施形態でイメージメモリに記憶される RAWデータの具体例を示す図である。

[図 4]デジタルカメラにおける処理の流れを示したフローチャート図である。

[図 5]第二の実施形態による多重露出設定画面の具体例を示す図である。

[図 6]第二の実施形態でイメージメモリに記憶される RAWデータの具体例を示す図である。

[図 7]第三の実施形態による電子カメラの構成を示す図である。

[図 8]画像合成モードにおいて表示される初期画面を例示する図である。

[図 9]画像選択画面を例示する図である。

[図 10]画像合成画面を例示する図である。

[図 11]画像合成画面を例示する図である。

[図 12]ゲインを変更した場合の画像合成画面を例示する図である。

[図 13]ゲインを変更した場合の画像合成画面を例示する図である。

発明を実施するための最良の形態

[0008] 以下、本発明を実施するための最良の形態について説明する。

(第一の実施形態）

図 1は、本発明の第一の実施形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ 100は、撮影レンズ 1と、 CCDなどの撮像素子 2と、撮像素子 2から出力されるアナログ信号をデジタル信号に変換する AZD変換回路 3と、撮像素子 2に対してタイミング信号を与えるタイミングジェネレータ (TG) 4と、撮像した複数の画像を一時的に記憶するイメージメモリ（半導体メモリ） 5と、後述する各種画像処理を実行する画像処理回路 6と、画像処理回路 6で画像処理された画像データを JPEG等の画像形式に圧縮して変換する圧縮回路 7と、撮像した画像を TFTなどの表示装置 9に表示するための表示処理を行う表示回路 8と、圧縮回路 7で圧縮された画像データを一時的に記憶するメモリ 10と、メモリ 10に記憶された画像データをコピーして保存するためのメモリーカード等の着脱可能な記録媒体 11 と、デジタルカメラ 102を制御する CPU12と、使用者によって操作されるレリーズボタンゃ各種設定ボタンなどを含む入力装置 13とを備えている。

[0009] なお、表示装置 9には上述した画像表示機能以外に、デジタルカメラ 100の各種設定値を変更するためのメニューが表示され、表示されたメニューにしたがって使用者が入力装置 13を操作することによって、デジタルカメラ 100の設定を変更することが可能となっている。

[0010] デジタルカメラ 100においては、使用者によってレリーズボタンが押下されると、被写体の輝度に応じて設定された絞りとシャッタースピードで撮影が行われ、撮像素子

2には被写体像に対応した電荷が蓄積される。撮像素子 2に蓄積された電荷は、 A ZD変換回路 3によってデジタル信号に変換され、各種画像処理が行われる前の生の画像データ、すなわち RAWデータがイメージメモリ 5に記憶される。なお、イメージメモリ 5はバッファメモリであり、複数枚の RAWデータを記憶することができる。

[0011] 画像処理回路 6は、イメージメモリ 5に記憶された RAWデータを読み込んで、補間、色温度補正、および階調補正などの公知の画像処理や後述する自動ゲイン補正、および画像の合成を行う。その後、圧縮回路 7によって所定の圧縮形式、例え «JPE G形式に画像データを圧縮変換してメモリ 10に記憶する。メモリ 10に記憶された画像データは、自動的に、または使用者からの指示により記録媒体 11にコピーされて記憶される。また、画像処理回路 6で画像処理された画像データは、表示回路 8によつて表示処理が実行され、表示装置 9に表示される。

[0012] 第一の実施の形態におけるデジタルカメラ 100は、多重露出による撮像が可能となつており、多重露出撮影モードが設定されると、使用者によってあらかじめ設定されたコマ数 (枚数)の画像を多重露出撮影モードによって撮像する。使用者により多重露出撮影モードが指示されると、表示装置 9に図 2に示す多重露出設定画面が表示される。この多重露出設定画面において、まず多重露出によって撮像するコマ数をコマ数入力欄 2aに入力して設定する。コマ数は、所定の範囲、例えば 2コマ〜 10コマの間で任意に設定できるようになつている。また、使用者は、同時に後述する自動ゲイン補正を行うか否かを設定する。自動ゲイン補正を行うか否は、自動ゲイン補正設定欄 2bで、自動ゲイン補正を「しない」（無効)および「する」（有効)のいずれかを選択することによって設定する。なお、コマ数入力欄 2aにコマ数が設定されない場合には、多重露出による撮像は行わないものとする。

[0013] 使用者によって多重露出撮影のコマ数が設定された多重露出撮影モード設定状態では、設定されたコマ数の撮影が行われるまで、レリーズスィッチの押下のたびに設定された露出値で各コマの画像が撮像される。そして、各コマの画像データ、すなわち RAWデータはイメージメモリ 5に記憶される。例えば、コマ数が 5に設定されている場合には、図 3に示すように画像 1〜画像 5の 5コマの RAWデータがイメージメモリ 5に記憶される。

[0014] 画像処理回路 6は、イメージメモリ 5に記憶された全ての RAWデータを加算して合成する。このとき、図 2に示す多重露出設定画面で自動ゲイン補正が「しない」に設定されて、た場合には、イメージメモリ 5に記憶された全ての RAWデータを順番に加算して合成する。すなわち、イメージメモリ 5に記憶された各 RAWデータは、撮像素子 2 の各画素から出力された電荷をデジタルィ匕したデジタルデータであるため、画像上の同一位置の画素データを加算することによって合成が可能である。したがって、例えば画像 1に画像 2を加算（画像 1 +画像 2)した後、その加算結果にさらに画像 3を加算するように、順番に画像を加算すれば合成することができる。

[0015] し力し、このようにイメージメモリ 5に記憶された RAWデータをそのまま合成していくと露出オーバーとなってしまうおそれがある。そこで、これを回避するために、多重露出を行うコマ数に応じて、露出値を露出アンダーに設定しておく必要があり、例えば 5 コマの多重露出を行う場合には、次式（1)によって適正露出値を算出して設定しておく必要がある。適正露出値 =Log(lZ5)ZLog2 = 2. 3 …ひ）

これにより、 5コマの多重露出を行う場合には露出を 2. 3段アンダーにあら力じめ設定して力も撮像すればょ、ことが分かる。

[0016] しかし、このように多重露出による撮影時に、多重露出を行うコマ数に応じた適正露出をその都度算出することは作業が煩雑となり好ましくない。そこで、第一の実施の形態にお、て、図 2に示す多重露出設定画面で自動ゲイン補正が「する」に設定されて、た場合には、イメージメモリ 5に記憶された各 RAWデータをあら力じめデジタル的にゲインダウンして力も画像上の同一位置の画素データを加算することによって合成する。例えば、 5コマの多重露出を行った場合、イメージメモリ 5に記憶された 5 枚の RAWデータを次式（2)によりあらカゝじめ自動ゲイン設定、すなわちゲインダウンしてから加算する。

K1 X画像 1 +K2 X画像 2+K3 X画像 3 +K4 X画像 4+K5 X画像 5 · · · (2) [0017] 式（2)において変数 K1〜K5は、各画像のデジタルゲインを示しており、その総和力となるように設定される。例えば、 Κ1 =Κ2=Κ3=Κ4=Κ5 = 0. 2のように 1をコマ数で按分して各画像に乗じる（付与する）ことで、全ての画像を同一のデジタルゲインでゲインダウンすることができる。また、 Κ1 >Κ2>Κ3 >Κ4 >Κ5とすることで、後に撮像した RAWデータほど喑、画像となり、画像をフェードアウトするように表示させることが可能となり、 K1 <K2<K3<K4<K5とすることで、後に撮像した RAWデータほど明るい画像となり、画像をフェードインするように表示させることが可能となる。

[0018] このように、多重露出により撮像した各 RAWデータに対して、その総和が 1となるゲインを乗じてゲインダウンしてから加算して合成することによって、合成時に露出ォーバーとなることを防ぐことができ、適正露出での多重露出撮影画像を得ることができる。また、上述したイメージメモリ 5に記憶された RAWデータをそのまま合成していく方法では、あら力じめ設定された多重露出によって撮像するコマ数が多い場合には、 R AWデータを加算していく途中でデータがオーバーフローする可能性がある力本発明によればあら力じめゲインダウンして力も加算するため、これも回避することが可能となる。

[0019] さらに第一の実施の形態においては、多重露出を途中で中断した場合にも適正露出での多重露出撮影画像を得ることができるように以下のように処理する。なお、多重露出が途中で中断される場合としては、例えば、（A)使用者による入力装置 13の操作により多重露出の中断が指示された場合、（B)あらかじめ設定された所定時間、デジタルカメラ 100が操作されなカゝつた場合に自動的に電源をオフする機能を有している場合に、その所定時間操作されずに自動的に電源がオフされたとき、（C)使用者によって入力装置 13が操作され、デジタルカメラ 100の電源がオフされたとき、のいずれかが考えられ、これらは CPU12によって制御される。

[0020] 画像処理回路 6は、上記 (A)〜（C)のいずれかによつて、多重露出が途中で中断したと判断した場合には、中断時に撮像されたコマ数の RAWデータに基づいて、式 (2)により合成を行う。例えば、多重露出によって撮像するコマ数が 8に設定されている場合、中断が無ければ撮像した 8コマの RAWデータに対して K1〜K8の合計が 1 になるようにデジタルゲインを設定して式（2)に基づヽて自動ゲイン設定して合成を行うが、 5コマ撮像時点で多重露出が中断した場合には、撮像した 5コマの RAWデータに対して、 K1〜K5の合計が 1になるようにデジタルゲインを設定して式（2)に基づいて自動ゲイン設定して合成を行う。これによつて、多重露出が途中で中断した場合でも、適正露出での多重露出撮影画像を得ることができる。

[0021] 図 4は、第一の実施の形態のデジタルカメラ 100における処理の流れを示したフロ一チャートである。図 4に示す処理は、デジタルカメラの電源がオンされると起動するプログラムとして CPU12により実行される。ステップ S10において、使用者によってレリーズボタンが押下された力否かが判断される。使用者によってレリーズボタンが押下されたと判断された場合には、ステップ S20へ進む。ステップ S20では、撮影レンズ 1を介して撮像素子 2により被写体の撮像を行う。このとき、露出条件が自動露出撮影モードであれば、被写体の輝度によって適正露出値が設定される。その後ステツプ S30へ進む。ステップ S30では、撮像素子 2に蓄積された電荷を AZD変換回路 3 によってデジタル信号に変換した RAWデータをイメージメモリ 5に記憶する。

[0022] その後ステップ S40へ進み、使用者によって図 2に示す多重露出設定画面上で多重露出撮影モードが指示されている力、すなわち多重露出によって撮像するコマ数が設定されてヽるかを判断する。多重露出による撮像が指示されてヽな、場合には、後述するステップ S 100へ進む。これに対して、多重露出撮影モードが指示されている場合には、ステップ S50へ進む。ステップ S50では、使用者によってあらかじめ設定された多重露出によって撮像するコマ数の撮像が完了したカゝ否かを判断する。多重露出によって撮像するコマ数の撮像が完了したと判断した場合には、ステップ S 70へ進む。

[0023] 一方、多重露出によって撮像するコマ数の撮像が完了していないと判断した場合には、ステップ S60へ進む。ステップ S60では、上述した (A)〜（C)のいずれかの理由によって、多重露出が途中で中断した力否かを判断する。多重露出が中断していないと判断した場合には、ステップ S 10へ戻ってレリーズスィッチの押下を待つ。そして、レリーズスィッチが押下されると上述した処理を行う。一方、多重露出が中断したと判断した場合には、ステップ S70へ進む。

[0024] ステップ S70では、図 2に示す多重露出設定画面で使用者によって自動ゲイン補正が「する」に設定されてヽたカゝ否かを判断する。自動ゲイン補正が「しなヽ」に設定されていたと判断した場合には、ステップ S90へ進む。これに対して、自動ゲイン補正が「する」に設定されていたと判断した場合には、ステップ S80へ進み、画像処理回路 6は上述したように式（2)に基づ、てイメージメモリ 5に記憶されて、る各 RAW データをゲインダウンして力ステップ S90へ進む。なお、上述したように、ゲイン Kはコマ数に基づいて設定されるので、中断した場合には予め定めたコマ数に応じて決定されるゲインを用いるのではなぐ実撮影コマ数に基づいて決定されるゲインを用いる。

[0025] ステップ S90では、画像処理回路 6はイメージメモリ 5に記憶されている各 RAWデータ、もしくはステップ S80でゲインダウンした後の RAWデータを加算して合成して、ステップ S100へ進む。ステップ S100では、補間、色温度補正、および階調補正などの公知の画像処理を実行して、ステップ S 110へ進む。ステップ S 110では、画像処理回路 6によって合成された画像が圧縮回路 7によって所定の圧縮形式に圧縮変換されてメモリ 10に記憶される。そして、メモリ 10に記憶された画像データは、自動的に、または使用者からの指示により記録媒体 11にコピーされて記憶される。また、画像処理回路 6によって合成された画像は表示回路 8によって表示装置 9に表示される。

[0026] その後、ステップ S120へ進み、デジタルカメラ 100の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップ S 10へ戻って処理を繰り返す。一方、電源がオフされたと判断した場合には、処理を終了する。

[0027] 以上説明した第一の実施形態によれば、以下のような作用効果を得ることができる

(1)使用者によって自動ゲイン補正が「する」に設定されて！ヽた場合には、イメージメモリ 5に記憶された各 RAWデータをあら力じめデジタル的にゲインダウンして力も画像上の同一位置の画素データを加算して合成するようにした。これによつて、合成時に露出オーバーとなることを防ぐことができ、適正露出での多重露出撮影画像を得ることができる。また、 RAWデータを加算していく途中でデータがオーバーフローするのを回避することができる。

[0028] (2)多重露出により撮像した各 RAWデータに対して、その総和が 1となるデジタルゲインを乗じてゲインダウンすることとした。これによつて、例えば、総和 1を多重露出によって撮像するコマ数で按分して算出したデジタルゲインによってゲインダウンすることができ、各コマが適正な露出値で撮像されていれば、多重露出によって撮像するコマ数に応じた適切な露出での多重露出撮影画像を得ることができる。

[0029] (3)多重露出が途中で中断したと判断した場合には、中断時までの撮像コマ数によりデジタルゲインを算出し、撮像された複数コマの RAWデータにデジタルゲインを乗じた画像データを合成することとした。これによつて、多重露出を途中で中断した場合にも適正露出での多重露出撮影画像を得ることができる。

[0030] (4)自動ゲイン設定を「する」か「しない」かを使用者があらかじめ設定できるようにした。これによつて、被写体の撮像条件を加味した適切な多重露出撮影画像の撮像が可能となる。

[0031] (変形例 1)

以下のよう〖こ変形することもできる。

(1)上述した実施の形態では、自動ゲイン設定が「する」に設定されて!ヽた場合には、 RAWデータをー且イメージメモリ 5に記憶した後に、画像処理回路 6は、イメージメモリ 5に記憶された RAWデータを読み込んで、自動ゲイン設定して合成する例について説明した。しかし、これに限定されず、自動ゲイン設定した後に RAWデータをィメージメモリ 5に記憶してもよい。なお、多重露出を途中で中断した場合には、中断後に実撮影コマ数に基づヽて再度自動ゲイン設定を行う必要がある。

[0032] (2)上述した実施の形態では、 RAWデータを合成した後に、合成後の画像データに対して補間、色温度補正、および階調補正などの画像処理を行う例について説明した。しかし、これに限定されず、 RAWデータに対して画像処理を行った結果、画像上の同一位置の画素データを加算することによって合成可能なデータを得られる場合には、各種画像処理を行った後に合成を行ってもよい。

[0033] (3)上述した実施の形態では、画像処理回路 6、圧縮回路 7、および表示回路 8をデジタルカメラ 100に搭載する例について説明した力これに限定されず、画像処理回路 6、圧縮回路 7、および表示回路 8によって実現される機能を外部機器、例えばパソコン等に搭載してもよい。この場合、撮像素子 2によって撮像された RAWデータをメモリーカードやインタフェースケーブルを介してパソコンにコピーしてから各種処理を行う。

[0034] (第二の実施形態）

第二の実施形態では、合成した多重露出撮影画像に加えて、多重露出撮影画像の合成に用ヽた元画像も記録媒体への保存が可能に構成される。

[0035] 第二の実施形態によるデジタルカメラでは、使用者により多重露出撮影モードが指示されると、表示装置 9に図 5に示す多重露出設定画面が表示される。この多重露出設定画面において、次の 3つを設定できる。

(a)第一の実施形態と同様に、多重露出によって撮像するコマ数をコマ数入力欄 2a に入力して設定する。コマ数は、所定の範囲、例えば 2コマ〜 10コマの間で任意に設定できるようになって、る。

(b)第一の実施形態と同様に、自動ゲイン補正を行うか否かを設定する。自動ゲイン補正を行うか否は、自動ゲイン補正設定欄 2bで、自動ゲイン補正を「しない」（無効）および「する」（有効)のいずれかを選択することによって設定する。なお、コマ数入力欄 2aにコマ数が設定されない場合には、多重露出による撮像は行わないものとする (c)多重露出撮影画像の合成に用いた元画像の保存の要否を設定する。これは、元画像保存要否欄 2cで、元画像を「残す」および「残さな!/ヽ」の!ヽずれかを選択することによって設定するようになって!/、る。

[0036] 第二の実施形態においては、元画像を「残さない」に設定されている場合は、多重露出撮影が終了してその多重露出撮影画像を記録媒体 11へ記録する際、多重露出撮影画像だけが記録媒体 11に保存される。一方、元画像を「残す」に設定されている場合は、多重露出撮影が終了してその多重露出撮影画像を記録媒体 11へ記録する際、多重露出撮影画像とともに元画像も記録媒体 11に保存される。

[0037] なお、自動ゲイン補正を「する」（有効）が選択された場合を第 1合成モードと呼び、自動ゲイン補正を「しない」（無効)が選択された場合を第 2合成モードと呼ぶ。また、元画像を「残さない」が選択された場合を第 1記録モードと呼び、元画像を「残す」が選択された場合を第 2記録モードと呼ぶ。

[0038] 第二の実施形態によるデジタルカメラが行う処理の流れも図 4のフローチャートと同様である。ステップ S110を除く他のステップの処理は、第一の実施形態と同様なので説明を省略する。図 4のステップ S110において、 CPU12は、上記合成画像（多重露出撮影画像）に圧縮変換を行い、圧縮変換後の合成画像を記録媒体 11へ記憶し、合成画像を表示装置 9に表示させる。 CPU12はさら〖こ、元画像を「残す」に設定されている場合は、合成画像を記録媒体 11に記憶する際、元画像も併せて記憶する。記録媒体 11に記録する元画像は、ゲインダウンした画像であっても良いし、ゲインダゥンする以前の RAWデータでもよヽ。複数枚の元画像を合成画像と何ら関連を持たせずに記憶しても良ヽし、合成画像と複数枚の元画像とを一組の画像グループと認識できるように記憶しても良、。

[0039] 以上説明した第二の実施形態によれば、以下のような作用効果を得ることができる

(1)使用者によって元画像を「残す」に設定されていた場合には、図 6に例示するように、イメージメモリ 5に記憶された各 RAWデータと、これらをあら力じめデジタル的にゲインダウンして合成してイメージメモリ 5に記憶された合成画像データの双方を記録媒体に記録するようにした。これにより、元画像の参照が可能となる。

(2)元画像を「残す」か「残さな、」かを使用者があらかじめ設定できるようにした。これによって、必要に応じて合成画像とともに元画像を記録媒体に記録すればよぐ記録媒体の記録容量をむやみに消費することがない。

[0040] (変形例 2)

以下のよう〖こ変形することもできる。

(1)元画像を「残す」に設定した場合は自動ゲイン補正を強制的に「する」に設定し、ゲインダウンしていない元画像を記録媒体に保存してもよい。これにより、合成画像と同じ露出状態の元画像として参照することができる。

[0041] (第三の実施形態）

第三の実施形態では、電子カメラが本画像を合成する前に、合成後の画像の全域につ、ての露出状態を使用者が確認できるように構成される。

[0042] 図 7は、本発明の第三の実施形態による電子カメラの構成を示す図である。図 7において、撮影レンズ 1によって被写体像が撮像素子 2の撮像面上に結像される。撮像素子 2は被写体像を撮像し、撮像信号を AZD変換回路 3へ出力する。 AZD変換回路 3は、撮像素子 2から入力されたアナログ画像信号をディジタル画像信号に変換し、変換後のディジタルデータをイメージメモリ 5へ出力する。タイミングジェネレータ（ TG) 4は、撮像素子 2に対してタイミング信号を供給する。

[0043] イメージメモリ 5は、ディジタル変換後の画像データや後述する加算後の画像データを一時的に格納するメモリである。イメージメモリ 5のメモリ容量は、複数の撮影画像データを格納することが可能なように十分確保されている。画像処理回路 6Aは、ィメージメモリ 5に格納されている画像データに補間処理、色温度処理、階調補正処理および解像度変換処理などの各種画像処理を行う。ゲイン回路 7Aは、イメージメモリ 5に格納されて、る画像データにゲインをかける（画素乗算する）。ゲインの値はゲイン設定回路 9Aによってゲイン回路 7Aに設定される。

[0044] 加算回路 8Aは、ゲイン回路 7Aで乗算された複数フレームの画像データをフレーム加算 (対応する画素同士を加算）し、加算後の画像データをイメージメモリ 5へ出力する。圧縮回路 11Aは、画像処理回路 6Aによって画像処理が施された画像データを JPEGなどの方式で圧縮処理を行う。表示回路 10Aは、撮影画像を表示装置 13A に再生表示するために必要な表示信号を生成する。

[0045] 表示装置 13Aは、たとえば、 TFT液晶パネルによって構成され、表示回路 10Aで生成された表示信号による画像を再生表示する。表示装置 13Aは、画像以外に操作メニューも表示するように構成されている。操作メニューは、電子カメラに対する各種設定を行う際に使用される。表示回路 10Aは、操作メニューの表示に必要な表示信号の生成も行う。

[0046] メモリ 14は、圧縮回路 11Aで圧縮処理された画像データを一時的に格納するメモリである。記録媒体 15は、電子カメラに対して着脱可能なメモリカードによって構成される。電子カメラは、撮影モードにおいてメモリ 14に格納されている画像データを記録媒体 15に保存し、再生モードおよび画像合成モードにおいて記録媒体 15に保存されている画像データをメモリ 14に読み出すことが可能に構成される。電子カメラは、被写体撮影を行う撮影モード、撮影画像を表示装置 13Aに表示する再生モード、撮影画像を合成する画像合成モードを有する。

[0047] CPU12Aは、以上説明した電子カメラを構成する各ブロックに対する制御を行う。

なお、ゲイン回路 7A、ゲイン設定回路 9A、加算回路 8A、画像処理回路 6A、圧縮回路 11 Aおよび表示回路 10Aを、とくに画像処理ブロックと呼ぶことにする。操作部材 16は、後述するモード切換スィッチ、決定キーや十字キーなどのポインティングデバイスを含み、各種操作に応じた操作信号を発生して CPU12Aへ送出する。モード切換スィッチは、撮影モード、再生モード、画像合成モードなどを切り換えるためのスイッチである。

[0048] (撮影モード）

モード切換スィッチによって撮影モードに切換操作された電子カメラは、レリーズボタン (不図示）が押下操作されると、撮影レンズ 1の絞り（不図示)を所定絞りまで駆動するとともにシャッター (不図示)を開放駆動する。これにより、撮像素子 2の撮像面上に被写体像が結ばれる。電子カメラは、露出条件に応じた露光時間が得られるようにシャッター (不図示)を閉鎖駆動して露光を終了させる。

[0049] 露光中の撮像素子 2において蓄積された電荷は、撮像素子 2から順次読み出され、 AZD変換後に画像データとしてイメージメモリ 5に格納される。この時点における画像データは RAWデータと呼ばれ、画像処理が施される前のデータである。

[0050] RAWデータには所定の画像処理および圧縮処理が施され、圧縮処理後の撮影画像データカモリ 14を介して記録媒体 15に記録される。また、画像処理後の画像データを用いて生成される表示信号により、表示装置 13Aに撮影画像が再生表示される。なお、撮影画像データを RAWデータのまま記録することも可能に構成されている

[0051] 電子カメラは、撮影した画像データを画像データファイルとして記録する。画像データファイルには、撮影画像 (本画像と呼ぶ）と、本画像よりデータサイズ (画素数)を抑えた 160 X 120画素の縮小画像（サムネイル画像）とが含まれている。サムネイル画像は、本画像のデータを用いて生成される。このうち、本画像データの記録形式は、画像処理の有無および圧縮処理時の圧縮率の違いにより、たとえば、次の 4段階に分けられている。電子カメラは、撮影時に選択されているデータ記録形式に応じて、本画像データの記録形式を切り換える。データ記録形式の選択は、たとえば、上記操作メニューによって行われる。

[0052] (1)画像データに画像処理を施さずに記録する「RAW」

(2)所定の画像処理後の画像データを非圧縮の RGB— TIFF形式で記録する「TIF F」

(3)所定の画像処理後の画像データを圧縮率約 1Z5で記録する「FINE」

(4)所定の画像処理後の画像データを圧縮率約 ΙΖΙΟで記録する「NORMAL」一般に上記（1)側が高画質であり、上記 (4)側が低画質である。上記（3)、（4)における圧縮処理〖お PEG形式で行われる。なお、所定の画像処理とは、色温度調整処理などである。第三の実施形態では、本画像データの記録形式として（1)が選択される。

[0053] (画像合成モード）

モード切換スィッチによって画像合成モードに切換操作された電子カメラは、記録媒体 15に記録されている 2つの画像 (第 1の画像および第 2の画像と呼ぶ）を重ね合わせ合成する。画像合成処理は、 1.画像選択、 2.ゲイン設定、 3.合成、 4.保存の順に行われる。図 8は、画像合成モードにおいて表示装置 13Aに表示される初期画面を例示する図である。

[0054] 1.画像選択

CPU12Aは、図 8の初期画面が表示装置 13Aに表示されている状態で、操作部材 16を構成する十字キーから第 1の画像に対応する「Imag_e 1」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、表示装置 13Aに表示中の初期画面に代えて図 9に示す画像選択画面を表示させる。図 9において、記録媒体 15に記録されている 6つの画像データファイル力もそれぞれ読み出された 6つのサムネイル画像力上下 2段に 3画像ずつ表示されている。 CPU12A は、十字キーから上段中央の画像 (ビル夜景)を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、当該画像を第 1の画像とするとともに、表示装置 13 Aに表示中の画像選択画面に代えて図 10に示す画像合成画面を表示させる。なお、画像選択画面に表示されている 6つのサムネイル画像以外の他のサムネイル画像についても、十字キー操作によって新たに記録媒体 15 に記録されている画像データファイル力読み出して表示させることが可能に構成されている。

[0055] 図 10において、「Image 1」として第 1の画像に対応するサムネイル画像と、「Preview 」として第 1の画像と同一のサムネイル画像が表示される。 CPU12Aは、操作部材 16 を構成する十字キーから第 2の画像に対応する「Imag_e 2」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、表示装置 13 Aに表示中の図 10の表示画面に代えて図 9のような画像選択画面を再び表示させる。 CPU12Aは、十字キーから下段右の画像 (月）を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、当該画像を第 2の画像とするとともに、表示装置 13Aに表示中の画像選択画面に代えて図 11に示す画像合成画面を表示させる。

[0056] 図 11において、「Image 1」として第 1の画像に対応するサムネイル画像と、「Image 2 」として第 2の画像に対応するサムネイル画像と、「Preview」として第 1の画像および第 2の画像に対応する 2つのサムネイル画像を合成したサムネイル画像が表示される [0057] 2.ゲイン設定

CPU12Aは、操作部材 16を構成する十字キーから第 1の画像に対するゲイン「Gai n 1」を選択する操作信号が入力され、当該ゲインを増減させる操作信号が入力されると、第 1の画像に対するゲインの設定値を初期値「1.0」から操作信号に応じた値に変更するとともに、変更後のゲインの値を示すデータをゲイン設定回路 9Aへ送る。ゲイン設定回路 9Aが変更後のゲインの設定値をゲイン回路 7Aに設定することにより、表示装置 13Aには変更後のゲインがかけられた第 1の画像に対応するサムネイル画像が再生表示される。

[0058] 同様に CPU12Aは、操作部材 16を構成する十字キーから第 2の画像に対するゲイン「Gain 2」を選択する操作信号が入力され、当該ゲインを増減させる操作信号が入力されると、第 2の画像に対するゲインの設定値を初期値「1.0」から操作信号に応じた値に変更するとともに、変更後のゲインの値を示すデータをゲイン設定回路 9A へ送る。ゲイン設定回路 9Aが変更後のゲインの設定値をゲイン回路 7Aに設定することにより、表示装置 13Aには変更後のゲインがかけられた第 2の画像に対応するサムネイル画像が再生表示される。

[0059] 図 12は、第 1の画像に対するゲインの設定値を「0.7」に、第 2の画像に対するゲインの設定値を「1.3」に、それぞれ変更した場合の画像合成画面を例示する図である。図 12において、第 1の画像 (ビル夜景）のゲインが 1より小さく変更されることによつて露出がアンダー側に補正され、第 2の画像 (月）のゲインが 1より大きく変更されることによって露出がオーバー側に補正される。

[0060] 図 13は、第 1の画像に対するゲインの設定値を「1.0」のままで、第 2の画像に対するゲインの設定値を「0.3」に変更した場合の画像合成画面を例示する図である。図 1 3において、第 2の画像 (月）のゲインが 1より小さく変更されることにより、露出がアンダー側に補正される。

[0061] 第 1の画像および第 2の画像に対応する 2つのサムネイル画像の合成は、上記カロ算回路 8Aが行う。加算回路 8Aは、ゲインがかけられた第 1の画像に対応するサムネィル画像、およびゲインがかけられた第 2の画像に対応するサムネイル画像にっ、て、対応する画素同士を加算する。加算後 (合成後）のサムネイル画像は、図 11〜図 1 3にお!/、て「Preview」としてリアルタイムに表示される。

[0062] 3.合成

CPU12Aは、図 11〜図 13のような画像合成画面が表示装置 13Aに表示されている状態で、操作部材 16を構成する十字キーから「合成」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、第 1の画像に対応する本画像と第 2の画像に対応する本画像との合成を開始させる。

[0063] CPU12Aは、 2つの本画像のデータを記録媒体 15からそれぞれ読み出し、読み出した本画像データをイメージメモリ 5へそれぞれ格納する。ゲイン回路 7Aは、第 1 の画像に対応する本画像および第 2の画像に対応する本画像のそれぞれに対し、設定されてヽるゲイン（図 11〜図 13に示す画像合成画面の中で表示されてヽる値）をかける。加算回路 8Aは、ゲインがかけられた第 1の画像に対応する本画像、およびゲインがかけられた第 2の画像に対応する本画像について、対応する画素同士を加算する。加算後（合成後）の本画像のデータは、合成画像データとしてイメージメモリ 5に格納される。

[0064] 4.保存

CPU12Aは、図 11〜図 13のような画像合成画面が表示装置 13Aに表示されている状態で、上記 3の合成処理後に操作部材 16を構成する十字キーから「保存」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、上記 3による合成画像データをイメージメモリ 5からメモリ 14を経由して記録媒体 15に記録する。このとき、本画像に相当する合成画像と、サムネイル画像に相当する合成画像 (本画像に相当する合成画像から 160 X 120画素にリサイズ処理を施して生成する）とを含む画像データファイルとして記録する。本画像に相当するデータの記録形式は、撮影モードにお!、て電子カメラで選択されて、るデータ記録形式に従う。

[0065] 以上説明した第三の実施形態によれば、以下の作用効果が得られる。

(1)電子カメラは画像合成モードにおいて第 1の画像および第 2の画像を重ね合わせ合成する。画像合成処理は、 1.画像選択、 2.ゲイン設定、 3.合成、 4.保存の順に行う。上記 2のゲイン設定後（ゲイン設定値が初期値「1.0」でよい場合は上記 1の画像選択後）、第 1の画像に対応するサムネイル画像と、第 2の画像に対応するサムネィル画像とを合成したサムネイル画像を画像合成画面（図 11〜図 13)において「Pre view」として表示する。一般に、画像データファイルに記録されているサムネイル画像は 8ビットで示される YCbCrデータであり、画素数は 160 X 120 ( = 19200)と本画像 (たとえば、数百万画素）に比べて非常に小さい。さらに、サムネイル画像は補間処理や色温度処理が施されて、るため、「Preview」表示のために補間処理や色温度処理を行う必要もない。したがって、サムネイル画像同士の加算 (合成）を瞬時に行って「P review」としてのサムネイル合成画像を表示できるので、使用者は、本画像について画像合成を行う前に、合成後の画像の露出状態を即座に確認できる。

[0066] (2)画像合成画面（図 11〜図 13)では、選択した 2つのサムネイル画像 (合成前のサムネイル画像）と、合成後のサムネイル画像とを同じ画面に表示したので、合成結果の確認が行いやすくなる。

[0067] (3) 2つのサムネイル画像 (合成前のサムネイル画像）に対するゲインを変更可能に構成し、サムネイルを構成する全画素に対して画素乗算するので、サムネイル画像の全域において合成時の露出加減の調節状態や合成結果を確認することができる。

[0068] (4)本画像データの記録形式として（1)「RAW」形式としたので、合成後の本画像データも「RAW」形式で記録させることができる。「RAW」形式のデータ同士を合成 (カロ算)することにより、合成時に乗じる階調特性などの劣化を「JPEG」同士のデータを合成 (加算）する場合に比べて抑えることができる。さらに、合成後の本画像データも「RAW」形式で記録させることにより、合成後の画像を他の画像とさらなる合成を行うことも可會になる。

[0069] (5)サムネイル画像同士の加算（合成）を行って「Preview」表示するために、記録媒体 15に記録されている画像データファイルに対して何も加工を施さなくてよいので、合成元の画像データファイルを破壊するおそれがない。

[0070] 上述した説明では、本画像データの記録形式として画像処理の有無や圧縮処理時の圧縮率の違いで区別する例を示した力たとえば、 Lサイズ、 Sサイズのようにデータサイズ (画素数)の違、で区別するようにしてもよ!、。 [0071] 画像データファイルに含まれるサムネイル画像のデータを用いて「Preview」表示のための合成を行うようにしたが、本画像のデータよりデータサイズが小さ、画像であれば、本画像のデータを間引くなどして生成したサムネイル以外の画像データを用 V、て「Preview」表示のための合成を行ってもよ！、。

[0072] 第三の実施形態では、第 1の画像と第 2の画像との 2画像を重ね合わせ合成する例を説明したが、合成する画像の数は 2画像に限らず、 3画像でも 6画像でもよい。

[0073] 画像選択画面（図 9)において、 6つのサムネイル画像を上下 2段に表示させるようにしたが、 1画面に表示するサムネイル画像の数は 6画像に限ることなぐ 4画像でも 9画像でもよい。

[0074] 第三の実施形態の説明では、画像合成処理を電子カメラで行う例を説明した。電子カメラ以外にも、フォトストレージャゃフォトスタンド、 PDAなどの電子画像を扱う機器に画像合成処理を行わせることにより、画像合成装置を構成するようにしてもよい。

[0075] 以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。

[0076] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。

日本国特許出願 2004年第 310301号（2004年 10月 26日出願）

日本国特許出願 2005年第 172215号（2005年 6月 13日出願）

日本国特許出願 2005年第 779号（2005年 1月 5日出願）

Claims

請求の範囲

[1] デジタルカメラは、

多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像を記憶する記憶部と、

多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与部と、

ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する合成部とを備える。

[2] 請求項 1に記載のデジタルカメラにぉヽて、

合成部は、撮像された画像がゲインを付与した後に記憶部に記憶されている場合は、記憶部から複数枚の画像を読み出して合成し、撮像された画像がゲインを付与せずに記憶部に記憶されてヽる場合は、記憶部から読み出した複数枚の画像にゲインを付与して合成する。

[3] 請求項 1または 2に記載のデジタルカメラにぉヽて、

多重露出撮影枚数の撮像が完了する前に撮像を中断させる中断指示部をさら〖こ備え、

中断指示部によって多重露出撮影枚数の撮像が完了する前に撮像が中断された場合には、ゲイン付与部は、中断されるまでに撮像された枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与し、

合成部は、中断されるまでに撮像された複数枚の画像を合成して多重露出撮影画像を生成する。

[4] 請求項 1〜3のいずれか一項に記載のデジタルカメラにおいて、

ゲイン付与部によるゲイン付与の有効および無効を切り替える切り替え部をさらに備え、

ゲイン付与部は、切り替え部によってゲイン付与が有効にされたときに、ゲインを撮像された複数枚の画像に付与する。

[5] 請求項 1〜4のいずれか一項に記載のデジタルカメラにおいて、

合成部によって生成された多重露出撮影画像に対して、各種画像処理を実行する画像処理部をさらに備える。

[6] デジタルカメラは、

記憶部に記憶されている複数枚の画像を合成して多重露出撮影画像を生成する合成部と、

合成部で合成された多重露出撮影画像を記録媒体へ記録する処理を行う際、多重露出撮影画像とともに記憶部に記憶されている合成前の元画像も記録媒体に記録する記録制御部とを備える。

[7] 請求項 6に記載のデジタルカメラにぉヽて、

多重露出撮影画像を記録媒体へ記録する処理を行う際、多重露出撮影画像だけを記録する第 1記録モードと、多重露出撮影画像および元画像を記録する第 2記録モードとを選択する記録選択部をさらに備える。

[8] 請求項 7に記載のデジタルカメラにぉヽて、

多重露出撮影枚数に基づいて総和が 1となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与部をさらに備え、

合成部は、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する。

[9] 請求項 8に記載のデジタルカメラにぉヽて、

合成部による画像合成に際して、ゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する第 1合成モードと、ゲイン付与部でゲインを付与せずに、複数枚の画像を合成して多重露出撮影画像を生成する第 2合成モードとを選択する合成選択部をさらに備える。

[10] 請求項 9に記載のデジタルカメラにぉヽて、

記録選択部で第 2記録モードが選択された場合、

合成部は、合成選択部で第 2合成モードが選択されていても、元画像に対してゲイン付与部でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成し、記録制御部は、ゲインが付与されなヽ元画像を多重露出撮影画像とともに記録媒体に記録する。

[11] 請求項 6に記載のデジタルカメラにおいて、

[12] 請求項 11に記載のデジタルカメラにぉヽて、

[13] 画像合成装置は、

第 1の画像と第 2の画像とを重畳した画像を得る画像合成部と、

画像合成部が画像の重畳を開始する前に、第 1の画像のデータに基づいて生成された第 1の画像よりデータ数が少ない第 1の副画像と、第 2の画像のデータに基づいて生成された第 2の画像よりデータ数が少な、第 2の副画像とを重畳し、画像合成部で得られるであろう重畳後の画像に対応する副画像を得る副画像合成部と、副画像合成部による重畳後の副画像を表示する表示部とを備える。

[14] 請求項 13に記載の画像合成装置において、

表示部は、第 1の副画像、第 2の副画像、および重畳後の副画像を同じ画面内に表示する。

[15] 請求項 13または 14に記載の画像合成装置において、

第 1の副画像は、第 1の画像が記録されているデータファイル内に含まれているサムネイル画像であり、

第 2の副画像は、第 2の画像が記録されているデータファイル内に含まれているサムネイル画像である。

[16] 請求項 13〜15のいずれか一項に記載の画像合成装置において、画像合成部が画像を重畳する際の重畳比率を設定する重畳比率設定部をさらに備え、

副画像合成部は、重畳比率設定部により設定されてヽる重畳比率を用いて第 1の副画像と第 2の副画像とを重畳する。

[17] 請求項 13〜16のいずれか一項に記載の画像合成装置において、

副画像合成部が重畳後の副画像を得た後の開始指示に応じて、画像合成部が画像の重畳を開始する。

[18] 請求項 17に記載の画像合成装置において、

画像合成部が重畳後の画像を得た後の開始指示に応じて、重畳後の画像の記録が開始される。

[19] 請求項 18に記載の画像合成装置において、

重畳後の画像の記録形式は、デジタルカメラに設定されて、る画像の記録形式である。

[20] 請求項 13〜19のいずれか一項に記載の画像合成装置において、

画像合成部が重畳する画像は RAWデータで記録されている。

[21] デジタルカメラは、請求項 13〜20のいずれか一項に記載の画像合成装置を備える。