JP4511066B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置、より詳しくは、露光量の異なる複数枚の画像からダイナミックレンジの広い合成画像を生成し得る撮像装置に関する。
【０００２】
【従来の技術】
被写体を電子的に撮像する撮像装置としては、テレビカメラ、ビデオカメラ、電子カメラ等の種々の装置が知られている。
【０００３】
このような撮像装置に用いられている一般的なＣＣＤ等の撮像素子は、階調に関するダイナミックレンジが、従来の銀塩カメラに使用されている銀塩フィルムに比べて狭いという特性があるために、明暗差の大きい被写体を撮像した場合、例えば炎天下における日向と日陰を同時に撮像した場合に、何れか一方が適切な露光となるように撮像すると、他方は黒つぶれするかまたは白つぶれ（白飛び）した画像となってしまうことがある。
【０００４】
このような明暗差の大きい撮影シーンでも、明部と暗部の何れもが適切に再現されるように、露光量の異なる複数の画像を合成して、一の広ダイナミックレンジ画像を生成する、いわゆるＳＬ（ＳＬ：Super Latitude「スーパーラチチュード」）処理を行う撮像装置が、従来より提案されている。
【０００５】
このようなものとして、例えば特開２０００−９２３７８号公報には、複数の異なる露光量で同一被写体を撮影し、露光量の異なる複数画面分の画像信号を生成可能な撮像手段と、この撮像手段により得られた露光量の異なる複数画面分の画像信号を合成して広ダイナミックレンジ合成画像を生成する手段と、を備えた撮像装置であって、上記撮像手段から１画面分の撮像信号を生成する通常撮影モードによる通常撮影制御手段、強制的に広ダイナミックレンジ合成画像を生成する強制広ダイナミックレンジ撮影モードによる強制広ダイナミックレンジ撮影制御手段、および被写体情報あるいは撮影設定情報に基づいて自動的に広ダイナミックレンジ合成画像を選択的に生成する自動広ダイナミックレンジ撮影モードによる自動広ダイナミックレンジ撮影制御手段の内の少なくとも２つの制御手段と、これらの制御手段に対応した各撮影モードから１つの撮影モードを選択的に設定するモード設定手段と、を備えた撮像装置が記載されている。
【０００６】
さらに、該公報には、上記構成に加えて、広ダイナミックレンジ合成画像を生成するための生成処理条件として取得された情報が広ダイナミックレンジ合成画像の生成処理に適合する情報であるか否かの判断を行う適合性判断手段と、上記モード設定手段で設定された撮影モードと上記適合性判断手段でなされた判断結果とが適合しないとき、上記情報パラメータの設定または撮影モードの設定の変更の指示、もしくは撮り直しの指示をする手段と、を備えることが記載されている。
【０００７】
こうして、該公報に記載の撮像装置は、露光を異ならせて撮像した複数枚の画像からＳＬ処理の適性を判断して、適性がない場合には、ＳＬ処理を行わないようにしていた。
【０００８】
ところで、上記ＳＬ処理は、画像処理の一種であり、撮像装置でのみ実行可能であるに限らず、その他の処理装置、例えばパーソナルコンピュータ等を用いて行うことも可能である。
【０００９】
そして、撮像装置自体では演算能力やメモリ容量等の関係で十分なＳＬ処理を行うのが難しい場合でも、上述したような比較的演算処理能力が高くメモリ等も十分に備えた外部の処理装置等を用いれば、高品質なＳＬ処理を行うことが可能となる場合がある。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述したような従来例は、ＳＬ処理を中止した場合は、標準露光の画像のみを出力するものであって、外部の装置による処理を考慮したものとはなっていないために、こうした後での処理に対応することができなかった。
【００１１】
また、ＳＬ処理を行うのが適切か否かを自動的に判断するのは、実際には実現が難しいために、ＳＬ処理適性があると判断されたにもかかわらず、結果を人間が見て好ましく感じない場合がある。しかし、上記従来例では、そうした場合であっても自動判断結果に基づいてＳＬ処理を行ってしまうために、主観的にはむしろ劣化したと感じられる画像が記録媒体等に強制的に記録されることになってしまっていた。
【００１２】
さらに、上記従来例では、ＳＬ処理を行うのが不適であると判断された場合に、どのようにすれば適性のある状態にすることができるのかがユーザーには分からず、操作性が良いとはいえなかった。
【００１３】
本発明は上記事情に鑑みてなされたものであり、広ダイナミックレンジ画像の合成を撮像装置自体で行い得るとともに、外部の装置により行うことも可能とする撮像装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による撮像装置は、露光量の異なる複数枚の画像を撮像可能な撮像手段と、この撮像手段により得られた複数枚の画像からダイナミックレンジの広い合成画像を生成する合成手段と、上記合成画像および上記複数枚の画像の中から記録すべき画像およびその記録形式を選択する選択手段と、上記選択手段により選択された画像を選択された記録形式に基づいて記録する記録手段と、を備えたものである。
【００１５】
また、第２の発明による撮像装置は、上記第１の発明による撮像装置において、上記複数枚の画像に基づき上記合成手段での合成処理が不適となり得る不適画像領域を抽出する不適領域抽出手段と、上記不適画像領域に対して合成結果に補正を行う場合に必要となる処理の難易度を推定する補正難易度評価手段と、を有してなり、上記補正難易度評価手段による難易度評価に基づいて上記複数枚の画像に対する上記合成手段における合成処理の適性を評価する適性評価手段をさらに備え、上記選択手段は、上記適性評価手段の評価に基づいて、上記合成画像および上記複数枚の画像の中から、記録すべき画像およびその記録形式を選択するものである。
【００１６】
さらに、第３の発明による撮像装置は、上記第２の発明による撮像装置において、上記選択手段が、上記適性評価手段により合成処理の適性が低いと評価された場合に、記録形式として、上記複数枚の画像から当該撮像装置の外部での合成処理を可能にする記録形式を選択するものである。
【００１７】
第４の発明による撮像装置は、上記第２の発明による撮像装置において、上記適性評価手段が、適性の評価結果を提示する適性提示手段をさらに有してなるものである。
【００１８】
第５の発明による撮像装置は、上記第２の発明による撮像装置において、上記撮像手段は、標準の露光量を含む、露光量の異なる複数枚の画像を撮像するものであり、上記選択手段が、上記適性評価手段により合成処理の適性が低いと評価された場合に、上記記録すべき画像として、上記複数枚の画像から標準の露光量で撮像された画像を選択するものである。
【００１９】
第６の発明による撮像装置は、上記第２の発明による撮像装置において、上記撮像手段は、標準の露光量を含む、露光量の異なる複数枚の画像を撮像するものであり、上記選択手段が、記録形式として、上記適性評価手段の評価に応じて、上記複数枚の画像から当該撮像装置の外部での合成処理を可能にする記録形式と、上記複数枚の画像から標準の露光量で撮像された画像を記録する記録形式と、を切り替えるものである。
【００２０】
第７の発明による撮像装置は、上記第１または第２の発明による撮像装置において、上記選択手段が、記録すべき画像およびその記録形式の候補を提示する候補提示手段と、この候補提示手段により提示された候補を選択する選択入力手段と、を有してなり、上記選択入力手段により選択された候補を記録形式とするものである。
【００２２】
第８の発明による撮像装置は、上記第２の発明による撮像装置において、上記撮像手段は、標準の露光量を含む、露光量の異なる複数枚の画像を撮像するものであり、上記合成手段が、上記不適画像領域に対して補正を行う補正手段を有してなり、上記補正難易度評価手段による難易度評価が第１の閾値以下である場合には、上記合成手段は、上記補正手段による補正を行って合成画像を生成するとともに、上記選択手段は、記録形式として上記合成画像を選択し、上記補正難易度評価手段による難易度評価が第２の閾値以上である場合には、上記選択手段は、記録形式として上記複数枚の画像から標準の露光量で撮像された画像を選択し、その他の場合には、上記選択手段は、上記複数枚の画像から当該撮像装置の外部での合成処理を可能にする形式を選択するものである。
【００２３】
第９の発明による撮像装置は、上記第２の発明による撮像装置において、上記補正難易度評価手段が、難易度評価を表示する難易度表示手段を有するものである。
【００２４】
第１０の発明による撮像装置は、上記第２の発明による撮像装置において、上記不適領域抽出手段が、上記複数枚の画像同士の位置ずれ量を検出する動き検出手段を有してなるとともに、検出された位置ずれ量が所定の閾値以上となる領域を不適画像領域として抽出するものであり、上記補正難易度評価手段は、上記不適画像領域の面積および形状に基づいて難易度を評価するものである。
【００２５】
第１１の発明による撮像装置は、上記第２の発明による撮像装置において、上記適性評価手段が、上記複数枚の画像から合成処理の適性を低下させる不適要因を検出する不適要因検出手段をさらに有してなり、上記不適要因検出手段の検出結果にさらに基づいて合成処理の適性を評価するものである。
【００２６】
第１２の発明による撮像装置は、上記第１１の発明による撮像装置において、上記不適要因検出手段が、上記複数枚の画像同士の位置ずれ量を検出する動き検出手段を有してなり、検出された位置ずれ量の大きさを不適要因とするものである。
【００２７】
第１３の発明による撮像装置は、上記第１１の発明による撮像装置において、上記不適要因検出手段が、上記複数枚画像から黒つぶれおよび白つぶれを検出する露出評価手段を有してなり、これら黒つぶれおよび白つぶれの面積を不適要因とするものである。
【００２８】
第１４の発明による撮像装置は、上記第１１の発明による撮像装置において、上記適性評価手段が、上記不適性要因検出手段の検出結果を表示する不適要因表示手段をさらに有してなるものである。
【００２９】
第１５の発明による撮像装置は、上記第２の発明による撮像装置において、上記適性評価手段が、上記複数枚画像および上記合成画像に基づいて上記合成画像の画質を評価する画質評価手段をさらに有してなり、この画質評価手段の画質評価結果にさらに基づいて合成処理の適性を評価するものである。
第１６の発明による撮像装置は、上記第１５の発明による撮像装置において、上記画質評価手段が、上記複数枚画像の何れよりも画質が向上する部分と、上記複数枚画像の内の少なくとも一枚よりも画質が低下する部分と、画像が一致せず上記合成処理を行うことができない破綻部分と、に分類して評価するものである。
【００３０】
第１７の発明による撮像装置は、上記第１５の発明による撮像装置において、上記画質評価手段が、上記合成画像内で画質の良好な画像領域と不良な画像領域とを判別する領域評価手段と、この領域評価手段により得られた良好な画像領域および不良な画像領域を表示する評価表示手段と、この評価表示手段による表示に基づいた総合的な画質判定を受け付ける評価入力手段と、を有してなり、上記評価入力手段への入力を画質評価結果とするものである。
【００３１】
第１８の発明による撮像装置は、上記第１７の発明による撮像装置において、上記画質評価手段が、上記領域評価手段により不良と判別された画像領域を補正する補正手段を有してなり、上記補正手段の補正結果を評価して新たな画質評価結果とするものである。
【００３２】
第１９の発明による撮像装置は、上記第１７の発明による撮像装置において、上記領域評価手段が、上記複数枚の画像同士の位置ずれ量を検出する動き検出手段を有してなり、この動き検出手段により検出された位置ずれ量に基づいて、画質の良好な画像領域と不良な画像領域とを判別するものである。
【００３３】
第２０の発明による撮像装置は、上記第１７の発明による撮像装置において、上記領域評価手段が、画像を複数の領域に分割する分割手段と、上記複数の領域内での画像のダイナミックレンジに基づいて上記複数の領域各々の画質の良否を判断する部分評価手段と、を有してなり、上記部分評価手段の判断に基づいて画質の良好な画像領域と不良な画像領域とを判別するものである。
【００３４】
第２１の発明による撮像装置は、上記第１８の発明による撮像装置において、上記合成手段が、合成結果のどの領域に階調を多く割り当てるかを規定するパラメータを保持する階調設定手段を有してなり、上記補正手段は、上記階調設定手段のパラメータを変更するパラメータ変更手段を有してなるとともに、上記パラメータ変更手段によりパラメータ変更を行った後に上記合成手段により合成処理を行い、合成結果を補正結果とするものである。
【００３５】
第２２の発明による撮像装置は、上記第２１の発明による撮像装置において、上記パラメータ変更手段が、階調を割り当てるべき画像領域の位置を指定する領域指定手段を有してなり、この領域指定手段の指定に応じてパラメータを変更するものである。
【００３６】
第２３の発明による撮像装置は、上記第２１の発明による撮像装置において、上記パラメータ変更手段が、予め定められた複数のモデルシーンの候補を提示するシーン提示手段と、上記シーン提示手段により提示される複数のモデルシーンの候補各々に対する階調割り当てのパラメータを保持するシーンパラメータ保持手段と、上記シーン提示手段により提示された上記複数のモデルシーンの候補の選択を受け付けるシーン選択手段と、を有してなり、上記シーン選択手段により選択されたモデルシーンに対応するパラメータを上記シーンパラメータ保持手段から読み出して上記階調設定手段で用いるパラメータとするものである。
【００３７】
第２４の発明による撮像装置は、上記第２３の発明による撮像装置において、上記シーン提示手段が、提示するモデルシーンの候補として、「１人のポートレート」、「ペアのポートレート」、「風景」、および「逆光」の４種類を含むものである。
【００３８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図９は本発明の一実施形態を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００３９】
この撮像装置１は、例えば電子カメラとして構成されたものであり、１回の露光により１枚の画像を記録する通常撮影を行い得るとともに、広ダイナミックレンジ撮影も行い得るようになっている。この広ダイナミックレンジ撮影は、同一の被写体に対してほぼ同時刻（短い時間差をもって連続して行う）に露出の異なる複数枚の画像を露光して、これらの画像を合成（ＳＬ処理）することにより一の広ダイナミックレンジ画像を得るものであり、ここでは例えば長時間露光（ＬＥ）に係る画像と短時間露光（ＳＥ）に係る画像とを撮像して、これらを合成するようになっている。
【００４０】
この撮像装置１は、電子シャッタ機能を有し被写体像を光電変換して画像信号として出力する撮像手段たるＣＣＤ４と、このＣＣＤ４上に被写体像を結像するためのレンズ３と、を有してなる撮像系２と、この撮像系２による撮像動作を制御するための撮像制御回路５と、上記ＣＣＤ４から出力された後に図示しない相関二重サンプリング回路等でノイズ成分の除去が行われさらに増幅されたアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器７と、このＡ／Ｄ変換器７によりデジタル化された長時間露光（ＬＥ）に係る画像データおよび短時間露光（ＳＥ）に係る画像データを記憶するＬＥ，ＳＥバッファ８と、このＬＥ，ＳＥバッファ８に記憶された長時間露光（ＬＥ）に係る画像データおよび短時間露光（ＳＥ）に係る画像データを処理して一の広ダイナミックレンジ画像を生成するＳＬ処理回路９と、このＳＬ処理回路９により作成された広ダイナミックレンジ画像を記憶しておく合成画像バッファ１６と、当該撮像装置１への入出力回路を含むインターフェース回路１７と、上記ＬＥ，ＳＥバッファ８に記憶されている画像と上記合成画像バッファ１６に記憶されている画像との何れを記録するかを選択するための選択手段たる記録形式選択回路２０と、この記録形式選択回路２０により選択された画像を記録媒体等に記録するための記録手段たる記録回路２１と、上述した各回路を統括的に制御するＣＰＵ６と、を有して構成されている。
【００４１】
上記ＳＬ処理回路９は、上記ＬＥ，ＳＥバッファ８から出力される画像信号の内の輝度信号または輝度信号のエッジ等に基づいてヒストグラムを計算するヒストグラム計算回路１０と、上記ＬＥ，ＳＥバッファ８に記憶されている時間差をもって撮像された長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像との差分等を取ることにより、画面内における動きを検出して後段で合成する際に必要な補正を行う動き検出手段たる動き検出・補正回路１１と、上記ヒストグラム計算回路１０により算出されたヒストグラムと後述するキー入力回路１８からの入力設定とに基づき階調補正特性となるトーンカーブを算出する際の重みを設定する重み設定回路１３と、上記ヒストグラム計算回路１０による計算結果と上記動き検出・補正回路１１の検出結果とに基づきＳＬ処理を行うに適する撮影シーンであるか否かを評価する適性評価手段、不適領域抽出手段、補正難易度評価手段、不適要因検出手段、露出評価手段を兼ねた適性評価回路１４と、上記動き検出・補正回路１１の出力に基づいて動き補正を行うとともに上記ヒストグラム計算回路１０により計算されたヒストグラムに基づいて長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像について階調補正を行い一の広ダイナミックレンジ画像を合成して上記合成画像バッファ１６に記憶させる合成手段、補正手段、階調設定手段、パラメータ変更手段、領域指定手段、シーンパラメータ保持手段を兼ねたＳＬ合成回路１２と、上記動き検出補正回路１１による検出結果を参照しながら、上記合成画像バッファ１６に記憶されている合成後の広ダイナミックレンジ画像と上記ＬＥ，ＳＥバッファ８に記憶されている長時間露光（ＬＥ）画像および短時間露光（ＳＥ）画像とを比較することにより、該広ダイナミックレンジ画像の画質を評価する画質評価手段、領域評価手段、補正手段、分割手段、部分評価手段を兼ねた画質評価回路１５と、を有して構成されている。
【００４２】
また、上記インターフェース回路１７は、上記重み設定回路１３に対して重み付けを行わせる領域等を設定可能であるとともに上記記録形式選択回路２０に対して記録形式を設定可能な選択入力手段、評価入力手段、領域指定手段、シーン選択手段を兼ねたキー入力回路１８と、上記適性評価回路１４により評価されたＬＳ処理の適性を表示するとともに、上記合成画像バッファ１６に記憶されている合成された広ダイナミックレンジ画像を表示し、上記画質評価回路１５により評価された画質を表示する適性提示手段、候補提示手段、難易度表示手段、不適要因表示手段、評価表示手段、シーン提示手段を兼ねた表示回路１９と、を有して構成されている。
【００４３】
上記ヒストグラム計算回路１０は、画面を構成する各画素の輝度、または画面内におけるエッジを構成する画素の輝度に基づいて、輝度レベルに対する出現頻度を示すヒストグラムを算出するものである。
【００４４】
前者の輝度信号そのものを用いてヒストグラムを算出する場合には、比較的面積の広い被写体に対して階調が配分されることになるために、例えば主要被写体である人物等が広い背景の下で写されているようなシーンでは、背景に対して階調が多く配分されることになってしまう。
【００４５】
そこで、空などの背景に比して、人物等の主要被写体にはエッジが多いことに着目して、エッジ成分を抽出してそのエッジ成分に関してヒストグラムを算出するのが後者の例である。
【００４６】
算出されたヒストグラムから、さらに累積ヒストグラムを生成して階調補正特性となるトーンカーブを算出するが、累積ヒストグラムを生成する際に、重み設定回路１３により設定された重み付けを行うようになっている。
【００４７】
この重み設定回路１３による重み付けは、画像データを解析することにより主要被写体を推定して自動的に行う手段と、上記キー入力回路１８から撮影者が主要被写体に相当する領域を指定して行う手動による手段とがあり、これらにより設定された領域に重点的に階調を配分するような重み付けを行う。
【００４８】
上記動き検出・補正回路１１は、上述したように、異なる露光の複数画像、ここでは長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像とを撮像する際に、時間差が生じることを利用して、これらの差分を取るなどにより、画像内における位置ずれを検出し、その動き検出を行うものである。差分により検出される位置ずれとしては、手振れ等に起因する画像全体のシフトや、被写体が運動している等に起因する画像内における一部分のずれなどがある。
【００４９】
これらの内の前者については、シフト方向とシフト量を算出して、その演算結果を上記ＳＬ合成回路１２に出力することにより、該ＳＬ合成回路１２が、長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像とを位置合わせしてから合成することができる。
【００５０】
また、被写体の運動に起因する動きに関しては、位置合わせして合成するのは困難であり、特に画面内に静止している被写体と動いている被写体が存在する場合や、あるいは一方向に動く被写体とこれとは異なる他方向に動く被写体が存在する場合などにはさらに困難となるために、運動している被写体領域の情報を上記適性評価回路１４や画質評価回路１５に出力して、ＳＬ処理を行うことができない破綻部として表示回路１９に表示させたりするようになっている。
【００５１】
上記適性評価回路１４は、画像データを解析して、ＳＬ処理を行うことによって画質を向上させることができる程度を評価するものである。すなわち、該適性評価回路１４は、上記ヒストグラム計算回路１０の計算結果に基づき画面内の白つぶれや黒つぶれを検出してその面積に応じて適性評価を行うとともに、上記動き検出・補正回路１１の出力に基づき、画面内に動きのある部分、すなわち長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像とにずれが生じていてＳＬ処理を行うことができない部分の面積に応じて、適性評価を行うものである。この適性評価回路１４による評価結果は、例えば図２（Ａ）に示すような棒グラフによるＳＬ適性表示３１として、上記表示回路１９の画面３０に表示されるようになっている。
【００５２】
上記画質評価回路１５は、広ダイナミックレンジ画像を合成する際に、画面を、長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像の何れよりも画質が向上する部分（階調幅が広くなる部分）と、これらの少なくとも一方よりも画質が低下する部分（階調幅が狭くなる部分）と、被写体の動き等により画像が一致せずＳＬ処理を行うことができない破綻部分と、に分類して評価するものであり、その評価結果は、図２（Ｂ）に示すように画質分類マーク３２として、表示回路１９の画面３０に表示されるようになっている。
【００５３】
次に、図２は、上記表示回路１９の画面３０に一人の逆光ポートレート撮影シーンを表示している様子を示す図である。
【００５４】
まず、図２（Ａ）は、レリーズボタンを半押しするのに連動して１ｓｔレリーズスイッチがオンしたときに、ＣＣＤ４から取り込まれる画像（プレ撮影による画像）の輝度分布等を上記適性評価回路１４が評価して、その結果を表示回路１９に出力することにより、どの程度ＳＬ処理を行うのに適した撮影シーンであるかを表示している様子を示している。
【００５５】
この撮影シーンは、画面左手上に窓がある室内の画面ほぼ中央に人物がいる様子を示しており、窓から見える外の風景は比較的高輝度、この窓を背にしている人物の頭部は比較的低輝度となっている。
【００５６】
そして、このような比較的輝度差の大きい撮影シーンに対して、ＳＬ処理を行った場合にどの程度の改善が見込めそうかの評価が、例えば棒グラフのＳＬ適性表示３１として一目でその程度を認識し易いように表示されている。
【００５７】
次に、図２（Ｂ）は、レリーズボタンを全押しするのに連動して２ｎｄレリーズスイッチがオンしたときに、ＣＣＤ４から取り込まれる長時間露光（ＬＥ）画像および短時間露光（ＳＥ）画像を上記ＳＬ合成回路１２が処理して合成画像を生成し、画質評価回路１５がその合成画像と合成前の各画像とを比較することにより、画面３０内のどの部分が改善／劣化／破綻したかを評価して、破綻についてはその原因とともに表示している様子を示している。
【００５８】
まず、画質分類マーク３２としては、ＳＬ処理を行うことにより画質が改善される部分が符号３２ａに示すように、画質が劣化する部分が符号３２ｂに示すように、ＳＬ処理自体を行うことができない破綻部分が符号３２ｃに示すように、例えば画面３０の上部に表示される。この撮影シーンの例では、窓の外の高輝度部分と、人物の頭部の低輝度部分の画質が改善されることが示され、さらに、手を振っている人物の手は、動きがあるために長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像とが一致せず破綻部分となっていることが示されている。
【００５９】
また、画面３０の左下には、破綻部に係る画質劣化要因マーク３３が示されており、その要因を示すマークとしては、例えば手振れマーク３３ａ、被写体ぶれマーク３３ｂ、白つぶれ／黒つぶれマーク３３ｃが表示されている。そして、これらの内の画質が劣化して破綻部となった要因のマークがハイライト表示されており、ここでは人物が手を振っているために、被写体ぶれマーク３３ｂがハイライト表示されている。
【００６０】
さらに、画面３０の下部には選択表示窓３４が設けられており、このように評価される合成画像を保存することを選択するマーク３４ａと、このままの保存は中止することを選択するマーク３４ｂとが、表示されている。
【００６１】
次に、図２（Ｃ）は、難易度表示グラフ３５と補正選択メニュー３６とが表示されている様子を示している。
【００６２】
難易度表示グラフ３５は、破綻部補正難易度を示すグラフ３５ａと、階調最適化難易度を示すグラフ３５ｂと、を有して構成されていて、それぞれの難易度を棒グラフとして直感的に分かり易く表示している。
【００６３】
上記破綻部補正難易度は、破綻部となった要因が手振れや被写体ぶれである場合には、画像のずれの大きさ等により判断することができ、破綻部となった要因が白つぶれや黒つぶれである場合には、その面積の大きさにより判断することができる。
【００６４】
また、階調最適化難易度は、ヒストグラムの双峰性尺度等に基づき判断することができる。被写体が特定の階調に局在するものである場合、例えば白い紙に黒インクで文字が印刷されている書類を撮像する場合には、輝度分布は、白い紙の部分の輝度と、黒インクの部分の輝度との２つの部分に局在したピークをもつものとなり、双峰性を示すものとなる。これは中間階調が存在しないやや極端な例であるが、このような双峰性が大きい被写体の場合には、階調最適化を行うのは困難であると判断することができる。
【００６５】
また、補正選択メニュー３６は、この撮像装置１ですぐに補正を行う選択ボタン３６ａと、例えばパーソナルコンピュータ等の他の装置で後で補正を行う選択ボタン３６ｂと、補正選択をキャンセルする選択ボタン３６ｃと、を有してなる。
【００６６】
さらに、画面３０の右下には、上記補正選択メニュー３６の内のハイライト表示されている項目を、実行する際にタッチパネル操作やスイッチ操作等により選択するＯＫマーク３７が表示されている。
【００６７】
続く図２（Ｄ）は、上記図２（Ｃ）に示す画面において、この撮像装置１によりすぐに補正することを選択した場合に、画面内に破綻部分が存在するために、該破綻部分については当該撮像装置１（図中、「カメラ」と記載している）による補正は行うことができない旨を警告表示３８により示している様子である。
【００６８】
そして、この警告表示３８を確認した上で、撮影者が、補正選択メニュー３６により、続行して補正を行うか（符号３６ｄ）、外部の装置で補正するか（符号３６ｂ）、あるいはキャンセルするか（符号３６ｃ）を選択することができるようになっている。
【００６９】
次に、図２（Ｅ）は、補正後の画像を表示回路１９の画面３０に表示している様子を示しており、符号３２ａに示す改善部分と符号３２ｂに示す劣化部分のみが表示されている。破綻部分に関しては、例えば長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像の何れかの画像を用いて合成が行われている。
【００７０】
このように補正して合成された画像を、保存することを選択するマーク３４ａと、さらに階調補正を行うことを選択するマーク３４ｃとが、上記選択表示窓３４に表示されて選択可能となっている。
【００７１】
そして、図２（Ｆ）は、上記図２（Ｅ）に示す画面において、階調補正を行うことを選択した場合に、予め用意されている幾つかの典型的な撮影シーンから、階調補正を行うパターンを手動で選択する様子を示している。
【００７２】
この補正選択メニュー３６としてとして選択可能なモデルシーンは、ここでは、逆光のポートレート（符号３６ｅ）、ペアのポートレート（符号３６ｆ）、風景（符号３６ｇ）となっていて、符号３６ｃに示すようにキャンセルも選択可能となっている。
【００７３】
また、画面３０の右下には、この補正選択メニュー３６の内のハイライト表示されている項目を、実行する際にタッチパネル操作やスイッチ操作等により選択する補正実行マーク３７ａが表示されている。
【００７４】
なお、ここでは、「風景」以外を逆光のポートレートとペアのポートレートとに分類したが、「１人のポートレート」、「ペアのポートレート」、および「逆光」に分類するようにしても良い。
【００７５】
あるいは、さらに多数のモデルシーンを予め用意しておき、撮像装置１内で画像解析を行って撮影シーンに適合すると推定されるモデルシーンをその適合度順に幾つかピックアップし、それを可能な選択肢として表示回路１９に表示するようにしても良い。
【００７６】
次に、図３は、上記表示回路１９の画面３０にペアのポートレート撮影シーンを表示している様子を示す図である。
【００７７】
この撮影シーンは、例えば夜景を背景として画面ほぼ中央に２人の人物が並んでいる様子を示しており、背景は比較的低輝度、ストロボ等による照明光が照射された２人の人物の頭部は比較的適性露光となっている。
【００７８】
このような撮影シーンをＳＬ処理して得られる合成画像を上記画質評価回路１５により評価したときの様子を示すのが図３（Ａ）である。この図３（Ａ）においては、上記図２（Ｂ）と異なり、画質劣化要因マーク３３が表示されていないが、もちろん、表示しても構わない。
【００７９】
そして、背景はその大部分が画質改善され、一部が破綻しているとともに、人物の頭部は画質が劣化している様子が示されている。
【００８０】
また、上記選択表示窓３４には、合成された画像を保存することを選択するマーク３４ａと、補正を行うことを選択するマーク３４ｄとが表示されている。
【００８１】
次に、図３（Ｂ）は、上記図２（Ｆ）に対応するものであり、予め用意されている幾つかの典型的な撮影シーンから、手動で階調補正を行うパターンを選択する様子を示している。
【００８２】
この補正選択メニュー３６としてとして選択可能なモデルシーンは、ここでは、逆光のポートレート（符号３６ｅ）、ペアのポートレート（符号３６ｆ）、風景（符号３６ｇ）、窓辺（符号３６ｈ）となっていて、さらに、階調を重点的に配分する部分を指定するポイント指定（符号３６ｉ）と、キャンセル（符号３６ｃ）とが選択可能となっている。
【００８３】
そして、図３（Ｃ）は、上記図３（Ｂ）に示す画面においてポイント指定（符号３６ｉ）を行うことが選択された場合に、そのポイントを指定する様子を示している。
【００８４】
画面内には、指定するポイントを指すポインタ（図中、十文字の形状として示されている）が表示されており、該ポインタが指す領域に階調を配分することを選択する場合には、選択表示窓３４のＯＫマーク３４ｅを確定し、一方、中止する場合にはキャンセルマーク３４ｆを確定するようになっている。
【００８５】
また、図４は、表示回路１９の画面３０にＳＬ処理に係る設定画面を表示している様子を示す図である。この設定画面は、随時撮影者が呼び出すことができるもので、十字キー４２により項目の選択を行うことができ、ＯＫマーク３４ｇにより設定変更、戻りマーク３４ｈにより画面消去を行うことができる。
【００８６】
ＳＬ処理において設定可能な項目は、ＳＬ処理を中止するような事態になった場合に上記記録回路２１により記録する際の保存形式と、ＳＬ処理を行うタイミングを示す処理タイミングと、ＳＬ処理結果の画質チェック方法と、の３つとなっている。
【００８７】
まず、保存形式としては、標準露光の画像を出力する「標準」（符号３９ａ）と、外部の装置によりＳＬ処理することができるように保存する「後処理可」（符号３９ｂ）と、これらの何れかを自動的に選択する「自動」（符号３９ｃ）と、の何れかを設定することができるようになっている。
【００８８】
また、処理タイミングとしては、レリーズボタンを全押ししたときに行う「撮影時」（符号４０ａ）と、撮影後に画像を表示回路１９に表示するときに行う「再生時」（符号４０ｂ）と、処理タイミングを選ぶ「選択」（符号４０ｃ）と、の何れかを設定することができるようになっている。
【００８９】
これらの内の符号４０ｂに示す再生時を選択した場合には、撮影者が適性評価を見て合成画像でなく標準露光画像（ここでは例えば長時間露光（ＬＥ）画像）を記録することにしたときに、無駄にＳＬ処理を行わなくて済む利点がある。
【００９０】
また、画質チェックとしては、処理結果の画質を自動判断して合成画像を保存するかどうかを決定する「自動」（符号４１ａ）と、結果を表示して合成画像を保存するかどうかの判断を撮影者にまかせる「手動」（符号４１ｂ）と、の何れかを設定することができるようになっている。
【００９１】
さらに、このＳＬ設定の画面３０の下部には選択表示窓３４が表示されており、上述した機能を有するＯＫマーク３４ｇと、他の画面に戻る戻りマーク３４ｈと、が表示されている。
【００９２】
図５は、上述したような撮像装置１の１ｓｔレリーズが行われたときの動作を示すフローチャートである。
【００９３】
撮影者がレリーズボタンを半押しするのに連動して動作する１ｓｔレリーズスイッチがオンすると、ＣＰＵ６がこれを検知して、この動作が開始される。
【００９４】
まず最初に、プレ撮影によりＣＣＤ４が被写体像の取り込みを行い、その画像に基づき測光を行うことにより標準的な露光量を決定するとともに、上記適性評価回路１４がＳＬ処理を行うに適した撮影シーンであるかを評価して、その評価結果を図２（Ａ）に示すように表示回路１９に表示させる（ステップＳ１）。
【００９５】
次に、レリーズボタンが全押しされるのを待機して、全押しされることにより連動する２ｎｄレリーズスイッチがオンすると、ＣＰＵ６がこれを検知する（ステップＳ２）。
【００９６】
これにより、上記測光によって決定された標準的な露光量に相当する長時間露光（ＬＥ）画像が撮像され、その後に引き続いて、この長時間露光（ＬＥ）画像よりも露光量が所定量だけ小さい短時間露光（ＳＥ）画像が撮像されて、それぞれの画像がデジタルデータ化され上記ＬＥ，ＳＥバッファ８に記憶される（ステップＳ３）。
【００９７】
その後、図４に示したようなＳＬ設定画面で設定された処理タイミングが撮影後になっているか否かを判断して（ステップＳ４）、撮影後である場合には後述するＳＬ評価を行い（ステップＳ５）、その他の場合には、後で再生時にＳＬ処理が可能となるように、複数枚画像（ＬＥとＳＥ）およびＳＬ処理に必要なパラメータを保存する。このパラメータは、長時間露光（ＬＥ）画像、短時間露光（ＳＥ）画像各々の露出時間等である（ステップＳ６）。
【００９８】
こうして、上記ステップＳ５またはステップＳ６が終了したところで、この処理を終了する。
【００９９】
図６は、上記図５のステップＳ５におけるＳＬ評価の処理を示すフローチャートである。
【０１００】
このＳＬ評価が開始されると、後述するようなＳＬ合成および画質評価の処理が行われる（ステップＳ１１）。そして、図４に示したようなＳＬ設定画面における画質チェックが「自動」になっているか否かを調べ（ステップＳ１２）、自動である場合は、後で詳しく説明するような自動補正処理を行ってから（ステップＳ１３）、終了する。
【０１０１】
それ以外の場合には、ＳＬ合成後の画像と、該画像の画質評価と、破綻部の劣化要因と、を上記図２（Ｂ）に示すように表示回路１９に表示させる（ステップＳ１４）。
【０１０２】
そして、合成後の画像の画質を見た撮影者が該図２（Ｂ）に示したマーク３４ａ，３４ｂの何れを選択したかを上記キー入力回路１８の出力から検知し（ステップＳ１５）、マーク３４ａが選択されている場合には、その合成画像とパラメータとを記録回路２１により記録媒体等に保存してから（ステップＳ１６）終了する。
【０１０３】
また、上記ステップＳ１５において、マーク３４ｂが選択されている場合には、上記図２（Ｃ）に示すように、階調最適化難易度（符号３５ｂ）と破綻部補正難易度（符号３５ａ）および補正選択メニュー３６を表示する（ステップＳ１７）。
【０１０４】
そして、撮影者が選択ボタン３６ｃを選択してＳＬ処理の中止を指示したか否かを調べ（ステップＳ１８）、中止を指示した場合は標準露光画像（ＬＥ画像）を保存する（ステップＳ１９）。
【０１０５】
上記ステップＳ１８においてＳＬ処理が中止されていない場合には、次に、カメラ内での破綻部の補正が難しいか否かを判断して（ステップＳ２０）、補正が難しい場合には、上記図２（Ｄ）に示すように補正することができない旨の警告表示を行う（ステップＳ２１）。
【０１０６】
上記ステップＳ２０においてカメラ内での破綻部の補正が可能であると判断された場合、または上記ステップＳ２１の処理が終了した場合には、撮影者が選択ボタン３６ｂを選択して補正処理を直ちに行わないことを指示したか否かを判断し（ステップＳ２２）、補正処理を直ちに行わない場合には、後述する保存形式選択の処理を行って（ステップＳ２３）、終了する。
【０１０７】
一方、上記ステップＳ２２において、その他の場合には、撮影者が直ちに補正処理を行うことを指示したとして、破綻部の補正処理を行う（ステップＳ２４）。この補正処理は、後述するＳＬ合成処理で空白部分となっていた破綻部分について、例えば長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像の何れか一方のデータを用いるとともに、周辺領域と輝度差等が生じることのないように平滑化などの処理を行いながら合成されたデータに嵌め込むことにより実現される。
【０１０８】
この補正処理が終了したら、図２（Ｅ）に示すように補正結果を表示し、上記ステップＳ１５と同様に、画像の画質を見た撮影者がマーク３４ａ，３４ｃの何れを選択したかを上記キー入力回路１８の出力から検知する（ステップＳ２５）。
【０１０９】
そして、マーク３４ａが選択されている場合には、撮影者がその画質に満足したとして、補正結果とパラメータとを記録回路２１により記録媒体等に保存してから（ステップＳ２６）終了する。
【０１１０】
一方、マーク３４ｃが選択された場合には、撮影者は補正結果の画質に不満があるとして、図２（Ｆ）に示すように、階調補正を改善するための、ないしＳＬ処理の中止を撮影者が指示することができるように、補正選択メニュー３６を表示する。
【０１１１】
そして、選択ボタン３６ｃが選択されたか否かを判断し（ステップＳ２８）、選択された場合には、後述するような保存形式選択の処理を行って（ステップＳ２９）、終了する。
【０１１２】
上記ステップＳ２８において、その他の選択ボタンが選択された場合には、選択シーンに対応するようにＳＬ処理のパラメータ設定をし直して、再度ＳＬ合成処理を行う（ステップＳ３０）。ここでいうパラメータとは、ＳＬ合成処理において輝度ヒストグラムを計算する場合に用いられる画像の場所毎の重みであり、選択シーンに対応する重みを重み設定回路１３から読み出すことにより設定される。
【０１１３】
ＳＬ合成処理が再度なされた後は、結果が表示され、上記ステップＳ２５の画質判断を待つ画面（図２（Ｅ）参照）に戻る。
【０１１４】
図７は、上記図６のステップＳ２３またはステップＳ２９において行われる保存形式の選択処理を示すフローチャートである。
【０１１５】
この処理が開始されると、上記図４に示したようなＳＬ設定画面における保存形式の設定に応じて、保存形式を選択する。
【０１１６】
まず、保存形式の選択状態として「自動」が設定されているか否かを判断し（ステップＳ３１）、「自動」が設定されている場合には、階調補正難易度、破綻部補正難易度を所定の閾値と比較して、外部処理で補正可能なレベルであるか否かを判断する（ステップＳ３２）。
【０１１７】
ここで、外部処理が可能でない場合は、保存形式として標準露光画像を選択し（ステップＳ３３）、一方、外部処理が可能である場合には、保存形式として、長時間露光（ＬＥ）画像および短時間露光（ＳＥ）画像の複数枚画像と外部でのＳＬ処理に必要なパラメータとからなる形式を選択する（ステップＳ３６）。
【０１１８】
上記ステップＳ３１において、保存形式の選択状態として「自動」が設定されていない場合には、次に、「後処理可」が設定されているか否かを判断し（ステップＳ３４）、「後処理可」が設定されている場合には、上記ステップＳ３６へ行き、また、「後処理可」が設定されていない場合には、保存形式として標準露光画像を設定する（ステップＳ３５）。
【０１１９】
次に、上記ステップＳ３３、ステップＳ３５、またはステップＳ３６において設定された保存形式での保存が可能であるか否かを、保存容量が十分であるか否かにより調べて（ステップＳ３７）、保存容量が不足する場合には、保存形式を標準露光画像に設定するとともに、例えば「記録媒体の容量が不足しています！」等の警告表示を行う（ステップＳ３８）。
【０１２０】
上記ステップＳ３７において、保存容量が十分であることが確認されるか、または上記ステップＳ３８の処理が終了したら、最終的に設定された保存形式で保存を行ってから（ステップＳ３９）、終了する。
【０１２１】
図８は、上記図６のステップＳ１３において行われる自動補正の処理を示すフローチャートである。
【０１２２】
この処理が開始されると、当該撮像装置１の内部で補正を行うことが可能であるか否かを、階調補正難易度および破綻部補正難易度を所定の第１の閾値と比較することにより判断して（ステップＳ４１）、難易度が第１の閾値よりも小さい場合には、保存形式として合成画像を設定し（ステップＳ４２）、後述するステップＳ４６へ行く。
【０１２３】
また、上記ステップＳ４１において、当該撮像装置１の内部で補正処理を行うことが可能でないと判断された場合は、次に、外部で補正を行うことが可能であるか否かを判断するために、階調補正難易度および破綻部補正難易度を第２の閾値と比較する（ステップＳ４３）。
【０１２４】
ここで、難易度が第２の閾値よりも小さい場合には、保存形式として長時間露光（ＬＥ）画像および短時間露光（ＳＥ）画像の複数枚画像と外部でのＳＬ処理に必要なパラメータとからなる形式を設定して（ステップＳ４４）、後述するステップＳ４６へ行く。一方、外部処理でも補正が可能でないと判断された場合は、保存形式として標準露光画像を選択する（ステップＳ４５）。
【０１２５】
上記ステップＳ４２、ステップＳ４４、またはステップＳ４５において設定された保存形式での保存が可能であるか否かを、保存容量が十分であるか否かにより調べ（ステップＳ４６）、保存容量が不足する場合には、保存形式を標準露光画像に設定するとともに、例えば「記録媒体の容量が不足しています！」等の警告表示を行う（ステップＳ４７）。
【０１２６】
上記ステップＳ４６において、保存容量が十分であることが確認されるか、または上記ステップＳ４７の処理が終了したら、最終的に設定された保存形式で保存を行ってから（ステップＳ４８）、終了する。
【０１２７】
図９は、上記図６のステップＳ１１において行われるＳＬ合成および画質評価の処理の詳細を示すフローチャートである。
【０１２８】
この処理が開始されると、まず、時間差をもって撮像された長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像との差分等を取ることにより、上記動き検出・補正回路１１が位置ずれを算出する（ステップＳ５１）。
【０１２９】
そして、その算出結果に基づいて、手振れにより発生した位置ずれであるか否かを判断し（ステップＳ５２）、手振れによるものである場合には、劣化要因に「手振れ」を追加するとともに、画像全体をシフトさせることによりその位置ずれを補正する（ステップＳ５３）。
【０１３０】
そして、手振れに起因する位置ずれを補正した後に、さらに画像中に残っている位置ずれを算出する（ステップＳ５４）。
【０１３１】
上記ステップＳ５２において手振れによる位置ずれがないと判断された場合、または上記ステップＳ５４の処理が終了した場合には、次に、被写体自体が運動していることに起因する位置ずれであるか否かを判断し（ステップＳ５５）、被写体の運動に起因するものである場合には、劣化要因に「動き」を追加する（ステップＳ５６）。
【０１３２】
上記ステップＳ５５において被写体の運動に起因する位置ずれがないと判断された場合、または上記ステップＳ５６が終了した場合には、さらに、位置ずれ量が所定の閾値以上である部分を破綻部分として設定する（図２（Ｂ）等の符号３２ｃ参照）（ステップＳ５７）。この破綻部は、位置ずれが大きいために、長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像を組み合わせても、この撮像装置１ではうまく合成画像を作成することができないと判断される領域である。
【０１３３】
従って、この破綻部を除いたそれ以外の領域について、長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像の重み付けヒストグラムをそれぞれ計算する（ステップＳ５８）。
【０１３４】
ここで、作成されたヒストグラムの偏りが大きいか否かを判断し（ステップＳ５９）、偏りが所定値よりも大きいと判断される場合には、劣化要因に「露出」を追加する（ステップＳ６０）。
【０１３５】
このステップＳ６０が終了するか、または上記ステップＳ５９において偏りが所定値よりも小さいと判断された場合には、輝度に対する出現頻度を表す輝度ヒストグラムの双峰性尺度を算出して、算出された双峰性尺度に基づき階調補正の難易度を決定するとともに（図２（Ｃ）符号３５ｂ参照）、上記ステップＳ５７で設定された破綻部分の面積と形状に基づき、破綻部補正の難易度を決定する（図２（Ｃ）符号３５ａ参照）（ステップＳ６１）。
【０１３６】
次に、ヒストグラムから長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像をそれぞれ階調変換するための階調変換曲線を算出し、その階調変換曲線に従って階調変換を行う（ステップＳ６２）。
【０１３７】
こうして階調変換された長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像とを合成して広ダイナミックレンジ画像を生成し（ステップＳ６３）、合成画像バッファ１６に記憶させた広ダイナミックレンジ画像の階調と、上記ＬＥ，ＳＥバッファ８に記憶されている長時間露光（ＬＥ）画像および短時間露光（ＳＥ）画像の階調とを、部分領域毎に比較する（ステップＳ６４）。
【０１３８】
この比較を行った結果、合成された画像の階調が長時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像の何れの階調をも上回った部分領域を改善部分として設定するとともに（図２（Ｂ）等の符号３２ａ参照）、少なくとも一方の階調を下回った部分領域を劣化部分として設定し（図２（Ｂ）等の符号３２ｂ参照）（ステップＳ６５）、終了する。
【０１３９】
このような実施形態によれば、画像の記録形式を合成画像とするか、適性露光画像とするか、または合成前の露光量の異なる複数の画像とするかを自動または手動により選択することができるために、必要に応じて、外部の処理装置によりＳＬ処理を行うことが可能となる。
【０１４０】
また、ＳＬ適性を表示するようにしたために、広ダイナミックレンジ処理により画質が改善されるか否かを予測することが可能となる。
【０１４１】
そして、合成された広ダイナミックレンジ画像を、合成前の長時間露光（ＬＥ）画像や短時間露光（ＳＥ）画像と比較し、その改善部分や劣化部分を表示するようにしたために、画像中のどの領域に階調を配分するようにしたかを容易に把握することができる。
【０１４２】
さらに、この撮像装置ではＳＬ処理を行うことができない破綻部分を表示するようにしたために、ＳＬ処理を中止するか否か、あるいは外部の処理装置によりＳＬ処理を行うか否かを、撮影者が的確に判断することが可能となる。
【０１４３】
加えて、画質が劣化する要因を表示するようにしたために、撮影者が容易にその原因を把握することができる。
【０１４４】
また、階調補正の難易度や破綻部補正の難易度を表示するようにしたために、同様にして、ＳＬ処理を中止するか否か、あるいは外部の処理装置によりＳＬ処理を行うか否かを、撮影者がより的確に判断することが可能となる。
【０１４５】
さらに、画像中に破綻部が存在する場合には、この撮像装置では補正を行うことができない旨の警告を行うようにしたために、破綻部の存在に気づくことなくこの撮像装置で補正を強行してしまうのを防止することができる。
【０１４６】
そして、予め複数のモデルシーンを用意して、何れかのモデルシーンを選択することができるようにしたために、手動でパラメータを設定するよりも簡単にＳＬ処理を行うことができる。
【０１４７】
加えて、ＳＬ処理を行うタイミングを設定することができるために、より使い勝手が向上する。
【０１４８】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１４９】
【発明の効果】
以上説明したように本発明の撮像装置によれば、広ダイナミックレンジ画像の合成を撮像装置自体で行い得るとともに、外部の装置により行うことも可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態の撮像装置の構成を示すブロック図。
【図２】上記実施形態において、表示回路の画面に一人の逆光ポートレート撮影シーンを表示している様子を示す図。
【図３】上記実施形態において、表示回路の画面にペアのポートレート撮影シーンを表示している様子を示す図。
【図４】上記実施形態において、表示回路の画面にＳＬ処理に係る設定画面を表示している様子を示す図。
【図５】上記実施形態の撮像装置において、１ｓｔレリーズが行われたときの動作を示すフローチャート。
【図６】上記図５のステップＳ５におけるＳＬ評価の処理を示すフローチャート。
【図７】上記図５のステップＳ６または上記図６のステップＳ２３において行われる保存形式の選択処理を示すフローチャート。
【図８】上記図６のステップＳ１９において行われる自動補正の処理を示すフローチャート。
【図９】上記図６のステップＳ１１において行われるＳＬ合成および画質評価の処理の詳細を示すフローチャート。
【符号の説明】
１…撮像装置
２…撮像系
３…レンズ
４…ＣＣＤ（撮像手段）
５…撮像制御回路
６…ＣＰＵ
７…Ａ／Ｄ変換回路
８…ＬＥ，ＳＥバッファ
９…ＳＬ処理回路
１０…ヒストグラム計算回路
１１…動き検出・補正回路（動き検出手段）
１２…ＳＬ合成回路（合成手段、補正手段、階調設定手段、パラメータ変更手段、領域指定手段、シーンパラメータ保持手段）
１３…重み設定回路
１４…適性評価回路（適性評価手段、不適領域抽出手段、補正難易度評価手段、不適要因検出手段、露出評価手段）
１５…画質評価回路（画質評価手段、領域評価手段、補正手段、分割手段、部分評価手段）
１６…合成画像バッファ
１７…インターフェース回路
１８…キー入力回路（選択入力手段、評価入力手段、領域指定手段、シーン選択手段）
１９…表示回路（適性提示手段、候補提示手段、難易度表示手段、不適要因表示手段、評価表示手段、シーン提示手段）
２０…記録形式選択回路（選択手段）
２１…記録回路（記録手段）

Claims (24)

1. 露光量の異なる複数枚の画像を撮像可能な撮像手段と、
   この撮像手段により得られた複数枚の画像からダイナミックレンジの広い合成画像を生成する合成手段と、
   上記合成画像および上記複数枚の画像の中から、記録すべき画像およびその記録形式を選択する選択手段と、
   上記選択手段により選択された画像を選択された記録形式に基づいて記録する記録手段と、
   を具備したことを特徴とする撮像装置。
2. 上記複数枚の画像に基づき上記合成手段での合成処理が不適となり得る不適画像領域を抽出する不適領域抽出手段と、上記不適画像領域に対して合成結果に補正を行う場合に必要となる処理の難易度を推定する補正難易度評価手段と、を有してなり、上記補正難易度評価手段による難易度評価に基づいて上記複数枚の画像に対する上記合成手段における合成処理の適性を評価する適性評価手段をさらに具備し、
   上記選択手段は、上記適性評価手段の評価に基づいて、上記合成画像および上記複数枚の画像の中から、記録すべき画像およびその記録形式を選択するものであることを特徴とする請求項１に記載の撮像装置。
3. 上記選択手段は、上記適性評価手段により合成処理の適性が低いと評価された場合に、記録形式として、上記複数枚の画像から当該撮像装置の外部での合成処理を可能にする記録形式を選択するものであることを特徴とする請求項２に記載の撮像装置。
4. 上記適性評価手段は、適性の評価結果を提示する適性提示手段をさらに有してなるものであることを特徴とする請求項２に記載の撮像装置。
5. 上記撮像手段は、標準の露光量を含む、露光量の異なる複数枚の画像を撮像するものであり、
   上記選択手段は、上記適性評価手段により合成処理の適性が低いと評価された場合に、上記記録すべき画像として、上記複数枚の画像から標準の露光量で撮像された画像を選択するものであることを特徴とする請求項２に記載の撮像装置。
6. 上記撮像手段は、標準の露光量を含む、露光量の異なる複数枚の画像を撮像するものであり、
   上記選択手段は、記録形式として、上記適性評価手段の評価に応じて、上記複数枚の画像から当該撮像装置の外部での合成処理を可能にする記録形式と、上記複数枚の画像から標準の露光量で撮像された画像を記録する記録形式と、を切り替えるものであることを特徴とする請求項２に記載の撮像装置。
7. 上記選択手段は、記録すべき画像およびその記録形式の候補を提示する候補提示手段と、
   この候補提示手段により提示された候補を選択する選択入力手段と、
   を有してなり、
   上記選択入力手段により選択された候補を記録形式とするものであることを特徴とする請求項１または請求項２に記載の撮像装置。
8. 上記撮像手段は、標準の露光量を含む、露光量の異なる複数枚の画像を撮像するものであり、
   上記合成手段は、上記不適画像領域に対して補正を行う補正手段を有してなり、
   上記補正難易度評価手段による難易度評価が第１の閾値以下である場合には、上記合成手段は、上記補正手段による補正を行って合成画像を生成するとともに、上記選択手段は、記録形式として上記合成画像を選択し、
   上記補正難易度評価手段による難易度評価が第２の閾値以上である場合には、上記選択手段は、記録形式として上記複数枚の画像から標準の露光量で撮像された画像を選択し、
   その他の場合には、上記選択手段は、上記複数枚の画像から当該撮像装置の外部での合成処理を可能にする形式を選択するものであることを特徴とする請求項２に記載の撮像装置。
9. 上記補正難易度評価手段は、難易度評価を表示する難易度表示手段を有するものであることを特徴とする請求項２に記載の撮像装置。
10. 上記不適領域抽出手段は、上記複数枚の画像同士の位置ずれ量を検出する動き検出手段を有してなるとともに、検出された位置ずれ量が所定の閾値以上となる領域を不適画像領域として抽出するものであり、
    上記補正難易度評価手段は、上記不適画像領域の面積および形状に基づいて難易度を評価するものであることを特徴とする請求項２に記載の撮像装置。
11. 上記適性評価手段は、
    上記複数枚の画像から合成処理の適性を低下させる不適要因を検出する不適要因検出手段をさらに有してなり、
    上記不適要因検出手段の検出結果にさらに基づいて合成処理の適性を評価するものであることを特徴とする請求項２に記載の撮像装置。
12. 上記不適要因検出手段は、
    上記複数枚の画像同士の位置ずれ量を検出する動き検出手段を有してなり、
    検出された位置ずれ量の大きさを不適要因とするものであることを特徴とする請求項１１に記載の撮像装置。
13. 上記不適要因検出手段は、
    上記複数枚画像から黒つぶれおよび白つぶれを検出する露出評価手段を有してなり、
    これら黒つぶれおよび白つぶれの面積を不適要因とするものであることを特徴とする請求項１１に記載の撮像装置。
14. 上記適性評価手段は、
    上記不適性要因検出手段の検出結果を表示する不適要因表示手段をさらに有してなるものであることを特徴とする請求項１１に記載の撮像装置。
15. 上記適性評価手段は、
    上記複数枚画像および上記合成画像に基づいて上記合成画像の画質を評価する画質評価手段をさらに有してなり、
    この画質評価手段の画質評価結果にさらに基づいて合成処理の適性を評価するものであることを特徴とする請求項２に記載の撮像装置。
16. 上記画質評価手段は、上記複数枚画像の何れよりも画質が向上する部分と、上記複数枚画像の内の少なくとも一枚よりも画質が低下する部分と、画像が一致せず上記合成処理を行うことができない破綻部分と、に分類して評価するものであることを特徴とする請求項１５に記載の撮像装置。
17. 上記画質評価手段は、
    上記合成画像内で画質の良好な画像領域と、不良な画像領域とを判別する領域評価手段と、
    この領域評価手段により得られた良好な画像領域および不良な画像領域を表示する評価表示手段と、
    この評価表示手段による表示に基づいた総合的な画質判定を受け付ける評価入力手段と、
    を有してなり、
    上記評価入力手段への入力を画質評価結果とするものであることを特徴とする請求項１５に記載の撮像装置。
18. 上記画質評価手段は、
    上記領域評価手段により不良と判別された画像領域を補正する補正手段を有してなり、
    上記補正手段の補正結果を評価して新たな画質評価結果とするものであることを特徴とする請求項１７に記載の撮像装置。
19. 上記領域評価手段は、
    上記複数枚の画像同士の位置ずれ量を検出する動き検出手段を有してなり、
    この動き検出手段により検出された位置ずれ量に基づいて、画質の良好な画像領域と不良な画像領域とを判別するものであることを特徴とする請求項１７に記載の撮像装置。
20. 上記領域評価手段は、
    画像を複数の領域に分割する分割手段と、
    上記複数の領域内での画像のダイナミックレンジに基づいて上記複数の領域各々の画質の良否を判断する部分評価手段と、
    を有してなり、
    上記部分評価手段の判断に基づいて画質の良好な画像領域と不良な画像領域とを判別するものであることを特徴とする請求項１７に記載の撮像装置。
21. 上記合成手段は、合成結果のどの領域に階調を多く割り当てるかを規定するパラメータを保持する階調設定手段を有してなり、
    上記補正手段は、上記階調設定手段のパラメータを変更するパラメータ変更手段を有してなるとともに、上記パラメータ変更手段によりパラメータ変更を行った後に上記合成手段により合成処理を行い、合成結果を補正結果とするものであることを特徴とする請求項１８に記載の撮像装置。
22. 上記パラメータ変更手段は、
    階調を割り当てるべき画像領域の位置を指定する領域指定手段を有してなり、
    この領域指定手段の指定に応じてパラメータを変更するものであることを特徴とする請求項２１に記載の撮像装置。
23. 上記パラメータ変更手段は、
    予め定められた複数のモデルシーンの候補を提示するシーン提示手段と、
    上記シーン提示手段により提示される複数のモデルシーンの候補各々に対する階調割り当てのパラメータを保持するシーンパラメータ保持手段と、
    上記シーン提示手段により提示された上記複数のモデルシーンの候補の選択を受け付けるシーン選択手段と、
    を有してなり、
    上記シーン選択手段により選択されたモデルシーンに対応するパラメータを上記シーンパラメータ保持手段から読み出して上記階調設定手段で用いるパラメータとするものであることを特徴とする請求項２１に記載の撮像装置。
24. 上記シーン提示手段は、提示するモデルシーンの候補として、「１人のポートレート」、「ペアのポートレート」、「風景」、および「逆光」の４種類を含むものであることを特徴とする請求項２３に記載の撮像装置。

Images