次に、発明の実施の形態について説明する。まず、本発明を適用した撮像装置(デジタルカメラ)の実施例の電気的な全体構成を、図1に示すブロック構成図に基づいて説明する。図1において、1は光信号を電気的な信号に光電変換する単板カラーCCD撮像素子で、電子シャッタ機能をもつものであり、該CCD撮像素子1には、レンズ2及び絞り・シャッタ機構3を通って、被写体が入力されるようになっている。CCD撮像素子1の出力は、相関二重サンプリング回路等でノイズを除去されたのちアンプ4で増幅される。5はアナログデータであるアンプ4の出力をデジタルデータに変換するA/D変換器で、6はCCD撮像素子1からの信号を画像データとして処理するカメラ信号処理回路である。7は、本来の撮影に先立ってCCD撮像素子1からの撮像信号等を用いて、フォーカスを制御するAF(オートフォーカス)情報を取り出すAF検波回路、露出を制御するAE(オートエクスポージァ)情報を取り出すAE検波回路及びホワイトバランスを設定するAWB(オートホワイトバランス)情報を取り出すAWB検波回路であり、このAF,AE,AWB検波回路7からの出力信号はCPU8を介して、レンズ2へAF情報を、絞り・シャッタ機構3へAE情報を、カメラ信号処理回路6へAWB情報を与えるようになっている。
9はデータ量を圧縮処理する圧縮回路(JPEG)で、該圧縮回路9で圧縮処理された画像データが、メモリカードI/F14を介してメモリカード15へ記録されるようになっている。10はメモリコントローラで、11はDRAMであり、これらは画像データの色処理等を行う際に作業用メモリとして用いられるものである。12は表示回路で、13はLCD表示部であり、これらは例えばメモリカード15に記録されたデータを読み出し表示させたりして、撮影状態の確認などに用いられる。16はメモリカード15に記録されているデータをパソコン17へ転送するために用いるパソコンI/Fである。なお、図1において、18はCCD撮像素子1を駆動するタイミングパルスを発生するタイミングジェネレータであり、CPU8の制御に従ってCCD撮像素子1を駆動するものである。19はストロボ機構で、本来の撮影に先立って得られるAE情報により、CPU8を介して制御され、ストロボ発光をする/しないの制御及びストロボ発光の光量制御が行われる。20はCPUの入力キーで、各種撮影モードや撮影条件の設定、各種スイッチの駆動等が行えるようになっている。
次に、本実施例に係る撮像装置の外観構成を、図2に示した撮影者方向から見た外観図に基づいて説明する。本実施の形態においては、装置本体が前カバー21と後カバー22の2つの外装部材によって構成されている。そして、前カバー21の前面には、撮影レンズ23,上面には回動式のストロボ24がそれぞれ配設されており、図2においては、ストロボ24は使用しない状態を示している。また前カバー21の上面には、装置の電源をON/OFFする電源スイッチボタン25が設けられており、この電源スイッチボタン25を押すことにより、内部に配置された電源スイッチが動作し、これに応じてCPU8が電源のON/OFFを制御するようになっている。
電源スイッチボタン25の周囲には、回動操作される円環状のR/P切換スイッチボタン26が設けられている。このR/P切換スイッチボタン26は記録と再生を切り換えるもので、電源スイッチボタン25を中心にして回動させて、内部に配置されているR/Pスイッチを動作させることによって、記録再生モードの切り換えの制御を行うようになっている。また前カバー21の上面右端にはレリーズボタン27が設けられており、記録時にこのレリーズボタン27を押すことにより、内部のレリーズスイッチがONになり、被写体像がメモリカード15に記録されるようになっている。レリーズボタン27の周囲にはズームノブ28が設けられており、該ズームノブ28はレリーズボタン27を中心にして回動するように構成されている。ズームノブ28を時計方向、若しくは反時計方向に回動すると、あらかじめ設定された方向に応じて、ズームスイッチにより撮影レンズ23内のズームフォーカス機構が連動制御されて、撮影像が拡大・縮小される。
後カバー22の左端上部に撮影像の確認用の光学ファインダの接眼部29が配置されており、該ファインダ接眼部29の右方向の後カバー22の上面傾斜部に沿って、4つのモード設定ボタン30が並んで配置されている。このモード設定ボタン30は、撮影モード、ストロボのON/OFFや強制発光又は記録時の圧縮率あるいはシャッタースピード等を設定するために利用されるもので、内部にそれぞれ対応したモードスイッチが配置されている。ファインダ接眼部29の下方の後カバー背面部には、画像LCD表示部(カラー液晶表示部)31が配置されており、この画像LCD表示部31には記録された被写体像等が表示され、撮影後の画像等の確認に利用される。また、この画像LCD表示部31には、画像以外の画像記録時の付帯情報、例えば撮影モード、各種撮影条件や、更には記録年月日時刻とかコマ番号等の表示のON/OFFも可能になっている。そして、画像LCD表示部31の右側部には縦方向に4つのメニュー設定ボタン32が配列されており、これらのボタンは上からメニューボタン、+ボタン、−ボタン、OKボタンとなっている。なお、上記電源スイッチボタン25、R/P切換スイッチボタン26、レリーズボタン27、モード設定ボタン30及びメニュー設定ボタン32等は、図1の入力キー20に対応するものである。
図2において、この実施例に係る撮像装置の右側部分が、撮影時に右手で把持する、いわゆるグリップ部に相当する把持部33である。この把持部33の手前側コーナー部にメモリカード用蓋34が配置されており、該メモリカード用蓋34に隣接して電池蓋35が配置されている。また、前カバー21の上面のレリーズボタン27の近傍には各種情報表示用LCD36が配置されている。
次に、上記構成の撮像装置の記録動作について、本発明に関連する第1の参照例として説明する。まず、電源スイッチボタン25を押して電源を投入し、R/P切換スイッチボタン26で記録モードを設定し、次いで、モード設定ボタン30で撮影モードの設定を行う。本参照例においては、撮影モードとしては、通常のAE情報に基づく1回の撮影で1画面分の撮像信号を得る通常撮影モードと、異なる露光量で同一被写体を2回撮影し、露光量の異なる2画面分の画像信号を生成し、合成処理を行って広ダイナミックレンジ(以下、SL:Super Latitudeと略称する)合成画像を得るSL撮影のON/OFF制御を、撮影済みの2画面分の画像情報、撮影前に得られる各種情報、撮影前のカメラ設定情報等に基づいて自動的に行う自動SL撮影モードと、上記SL撮影を強制的に行わせる強制SL撮影モードとを、入力キー20すなわちモード設定ボタン30で選択設定できるようになっており、そのモードの入力設定によりCPU8が撮影モードを切り換えるようになっている。
SL撮影を行わない通常撮影モードを設定した場合は、通常のAE情報に基づいて1回の撮影で得られた撮像信号をA/D変換器5でディジタル信号に変換し、カメラ信号処理回路6により所定の信号処理を受け、次いで圧縮回路9において圧縮処理されて、メモリカード15へ記録される。
一方、自動SL撮影モードに設定した時には、撮影済みの異なる露光量の2画面分の画像信号から得られる情報、例えば被写体の動きに基づいて自動的にSL合成画像の生成処理をON/OFFさせる場合には、図3に示すような構成のカメラ信号処理回路を用いて、自動SL合成画像の生成処理を行う。
図3において、6−1は短時間露光画像データを記憶するSEメモリ、6−2は長時間露光画像データを記憶するLEメモリ、6−3は短時間露光画像と長時間露光画像の露光量比A(=LE/SE)を、SEメモリ6−1より読み出された短時間露光画像データに乗算する乗算器、6−4は乗算処理された短時間露光画像データとLEメモリ6−2より読み出された長時間露光画像データとから広ダイナミックレンジ合成画像を合成して形成する合成回路、6−5は合成回路6−4で得られたSL合成画像を圧縮処理する圧縮回路、6−6はLEメモリ6−2から読み出された長時間露光画像データに対してγ補正、エッジ強調等の処理を行う信号処理回路、6−7はCPU8からの制御信号により合成回路6−4からのSL合成画像と、信号処理回路6−6で信号処理された長時間露光画像データとを切り換え出力するセレクタである。また、8AはSEメモリ6−1及びLEメモリ6−2から読み出された短時間露光画像データと長時間露光画像データとに基づいて被写体の動きを検出する、CPU8に内蔵されている動き検出部で、該動き検出部8Aの出力に基づいて、前記セレクタ6−7を切り換え制御するようになっている。
次に、このように構成されているカメラ信号処理回路6の動作について説明する。まず、CCD撮像素子1で撮影された同一被写体の短時間露光画像データと長時間露光画像データとをSEメモリ6−1とLEメモリ6−2に一旦記憶させ、次いで両方のメモリ6−1,6−2よりCPU8へ画像データを送り込み、露光量の異なる2つの画像データに基づいて動き検出部8Aで被写体の動きを検出する。動き検出部8Aで動きが検出されないときは、CPU8により制御されるセレクタ6−7を介して、両メモリ6−1,6−2から読み出された画像データに基づいて合成回路6−4で合成処理され圧縮回路6−5で圧縮処理された広ダイナミックレンジ合成画像が出力される。一方、動きが検出された場合は合成画像の出力をOFFとし、LEメモリ6−2から読み出され信号処理回路6−6で信号処理された長時間露光画像データが、セレクタ6−7を介して出力される。これにより、撮影済みの画像データに基づいて動きを検出し、異なる露光量での2枚の画像の撮影時に被写体が動いた場合には、破綻した合成画像が出力されるのを防止することができる。
また、撮影前に得られる情報、例えば外部AF回路を設け、該外部AF回路からのAF信号に基づいて被写体の動きを検出し、自動的にSL合成画像の生成処理のON/OFF切り換えを行う場合には、図4に示すような構成のカメラ信号処理回路を用いて、自動SL合成画像の生成処理を行う。
この場合のカメラ信号処理回路6′は、図4に示すように、フレームメモリとして短時間露光画像データを記憶するSEメモリ6−1のみを備え、短時間露光画像データをSEメモリ6−1に取り込み、長時間露光画像データとタイミングを合わせて、SEメモリ6−1より短時間露光画像データを読み出し、露光量比に基づく乗算処理を行ったのち合成回路6−4で合成処理を行い圧縮回路6−5で圧縮処理を行うように構成されている。そして、外部AF回路39からのAF信号に基づいてCPU内蔵の動き検出部8Bで被写体の動きを検出し、動きが検出されない場合は、カメラ信号信号処理回路6′でセレクタ6−7を予め切り換え、合成圧縮処理された広ダイナミックレンジ合成画像を出力し、一方、動きが検出されたときは、セレクタ6−7を予め切り換え、2回目のAF情報で撮影された長時間露光画像データを出力させ、動きにより破綻した合成画像が出力されるのを防止するようにしている。
また、強制SL撮影モードに設定した場合は、例えば図3に示したカメラ信号処理回路を用い、常にセレクタ6−7からSL合成処理画像が出力されるようにCPU8で制御することにより、強制SL撮影モードが実行される。
また、この参照例において、上記各撮影モードが選択設定された場合には、LCD表示部31(13)等に各撮影モードによる画像と共に、設定された撮影モードの表示が行われるように構成されている。すなわち、R/P切換スイッチボタン26で記録モードが設定されると、撮影モード表示部にはもとの(直前)の撮影モードの表示が行われ、新たにモード設定ボタン30で撮影モードの設定が行われると、新たな設定撮影モードの表示がなされるようになっている。LCD表示部31への撮影モードの表示態様としては、SL撮影を行わない通常撮影モードの設定の場合には、図5の(A)に示すようにSL−OFFの表示を行い、強制SL撮影モードの設定時には図5の(B)に示すようにSL−ONの表示を行い、また自動SL撮影モードの設定時にはSL−AUTOの表示を行う。また、自動SL撮影モード設定時にはSL撮影が実行される場合と、SL撮影が実行されず通常撮影が実行される場合とがあるので、その表示を例えばSL−AUTO−ON,SL−AUTO−OFFなどのように表示するとよい。また、図5の(A),(B)において、41はバーグラフで表したダイナミックレンジ(Dレンジ)を示しており、強制SL撮影モード(SL−ON)のときは通常撮影モード(SL−OFF)のときの2倍になっていることを示している。なお、各撮影モードにおける画像上への各撮影モードの表示は、表示又は消去のON/OFF切り換えが行えるようになっている。
なお、上記参照例において、上記各撮影モードはモード設定ボタン30で設定するようにしたものを示したが、例えば図6に示すように、3段階のスライド式のスイッチを入力キーの一つとして設け、各撮影モードを設定するようにしてもよい。図6の(A)は強制SL撮影モードの設定状態、図6の(B)は自動SL撮影モードの設定状態、図6の(C)は通常撮影モードの設定状態をそれぞれ示している。
また、上記参照例では、通常撮影モード、自動SL撮影モード、強制SL撮影モードの3つの撮影モードを設定できるようにしたものを示したが、通常撮影モードと自動SL撮影モード、自動SL撮影モードと強制SL撮影モード、あるいは通常撮影モードと強制SL撮影モードの組み合わせで設定するように構成することも可能である。
更に、複数のモードのうち1つのモード、例えば通常撮影モード(SL−OFF)の状態を非表示で示し、他のモードをSL−ON又はSL−AUTOなどの表示で示して、選択状態を知らせることも可能である。
次に、本発明に関連する第2の参照例について説明する。本発明はSL撮影機能を備えた撮像装置を前提とするものであるが、SL撮影を行うには、SL撮影に関する各種情報に基づいて、SL撮影に適するか否かを自動的に判断が行われ、あるいはマニュアルで判断を行って、SL撮影のON/OFF切り換えを決定するようになっており、第2の参照例は、これらのSL撮影に関する情報をLCD表示部等に表示させるように構成するものである。このように、SL撮影に関する各情報について、それぞれどの程度であるかを情報パラメータとして表示部に表示してやることにより、自動SL撮影モードの場合には、各種情報のどのような状態によりSL撮影のON/OFF切り換えがなされているのかを認識することができ、また手動でSL撮影を設定する場合は、それらのSL撮影に関する情報に基づいて適確にSL撮影のON/OFF切換設定を行うことが可能となる。
SL撮影に関し、その適否の判断情報としては次のようなものがある。まず、撮影済みの画像データに基づくSL撮影に関する情報としては、先に第1の実施の形態において述べた被写体の動き情報がある。被写体に動きがある場合には、SL合成画像が破綻してしまうので、SL合成画像のON/OFF切り換えの重要な情報となる。よって、動きの有無をSL撮影に関する適否の判断情報として表示する。また、被写体の動きに関しては、動き量が補正許容範囲内であると補正可能であるので、動きの有無に合わせて動き量を判断情報として表示する。このように、撮影済みの画像データからSL撮影のON/OFF切換情報を得ることにより、精度のよい判断情報が得られる。
次に、撮影前に得られるSL撮影に関する適否の判断情報としては、外部AF回路あるいは外部AE回路からのAFあるいはAE信号に基づいて得られる被写体の動き情報や、加速度センサなどからなる手ぶれ検出回路からの検出信号に基づく手ぶれ情報などがある。手ぶれが発生した場合に合成処理を行うと不適正な合成画像となるので、撮影の撮り直しを行うよう表示するのが有効である。また撮影前に予めCCD撮像素子からの画像データに基づいて得られるAE情報、あるいは外部AE回路から得られるAE情報から被写体が逆光の状態にあることが検出されたとき、逆光状態時には画像データは広ダイナミックレンジであることが多いため、SL撮影を行ってSL合成画像を生成した方がよい。したがって、逆光情報を表示させることも有効である。また、被写体の明るさに関する情報である、ダイナミックレンジ、輝度差、輝度のヒストグラム等はやはりSL撮影情報として有効なものであるので、表示するようにする。
また、撮影前にカメラへ設定する撮影条件等のSL撮影に関する適否判断情報としてのカメラ設定情報としては、まずストロボ発光モード情報がある。ストロボモードの撮影時には被写体が動いている場合でも、ストロボ発光させて短時間で露光量の異なる2回の撮影を行うことにより、被写体の動きを実質的に止めることができ、破綻のないSL合成画像を得ることが可能となるので、SL撮影条件としてストロボ発光モードは有効な情報であり、表示するようにする。次に、SL撮影情報として有効なものには、シャッタ速がある。シャッタ速が遅いと被写体の動きが大となるため、SL撮影には適さず、シャッタ速が高速であると被写体の動きを低減でき、SL撮影に適するようになる。したがって、シャッタ速はSL撮影情報として有効な情報であり表示するようにする。また、露出設定に際して、例えばユーザがスポット測光を行う場合、通常は逆光であるためスポット測光を行って撮影をしようとするケースが多いと考えられるので、スポット測光モードを設定したときはSL撮影を行うのが適切である。したがって、スポット測光モードはSL撮影のための有効な情報であり、表示するようにする。
また、連写機能付のカメラにおいては、連写モードではSL撮影はできないので、SL撮影はOFFに切り換えなければならない。また風景(遠景)撮影モードのときは動きは余りないと考えられるので、このモードを設定したときにはSL撮影をONとした方がよい。またスポーツ撮影モードのときは被写体の動きが大きいと考えられるので、このモード設定時にはSL撮影をOFFとした方がよい。またマクロストロボ撮影モード設定の場合は、ストロボモードと同様にSL撮影が適している。このように、露出設定(スポット測光)、連写、風景、スポーツ、マクロストロボなどの設定情報は、SL撮影の適否判断に有効な情報なので、表示させる。
ズーム付カメラにおいては、ズーム倍率が高い場合は動きが拡大されるので、SL撮影には適合せずSL撮影をOFFさせる必要がある。したがって、ズーム倍率もSL撮影のON/OFF切り換えの有効な情報となるので表示する。また、SL合成画像の生成処理を外部に接続されたパソコン等で行わせるように構成されているとき、SL撮影時においては露光量の異なる2画面分の画像データをメモリカードに記憶する必要があるので、メモリカードのメモリ残容量を検出する手段を設けて、メモリ残容量を検出し、メモリ残容量が2画面分の画像データを記憶する容量未満になったときは、SL撮影ができないので、SL撮影をOFFとして通常の撮影を行わせる。したがって、メモリ残容量もSL撮影の必要な情報となるので表示させる。
以上述べたSL撮影に関連して取得された適否判断情報の表示は、図7に示すようにLCD表示部31(13)に表示される。この表示を参照することにより、自動SL撮影モード設定時において、SL撮影がOFFとなった場合には、何の情報が不適合なのか容易に識別され、また手動でSL撮影を行う場合は、各情報がSL撮影に適合しているか否かを容易に判断することができる。なお、SL撮影関連情報は図7に示すように画像と共に表示する代わりに、情報表示用LCD36に表示させるようにしてもよい。また、これらの表示はON/OFFできるように構成してもよい。
次に、本発明に関連する第3の参照例について説明する。上記第2の参照例においては、合成画像の生成に適合するか否かを判定するのに必要な情報を表示手段に表示するようにしたものを示したが、表示手段に表示された情報より直ちに適合、不適合の判断がマニュアルではできにくい場合がある。第3の参照例は、この点を改善し、各段階で取得された情報が合成画像の生成に適合するか否かの判断結果を合わせて表示させるようにしたものである。
具体的な表示手法としては、SL撮影条件として用いられる各情報パラメータに対する判断結果、及び全体としてのSL撮影の適合又は不適合の判断結果を表示する。例えば、図8の(A)に示すように、全ての情報パラメータがSL撮影に適合する場合は、各情報パラメータ42と共に、SL適合の表示43を行う。一方、不適合な情報パラメータが存在する場合は、図8の(B)に示すように、不適合な情報パラメータに対してNGマーク44を表示すると共に、全体としてSL撮影が不適合なことを示すためSL不適合の表示45をする。そして、不適合な情報パラメータに対しては、図8の(B)に示すように、更にどの程度になればSL適合となるかの適合範囲の表示46をするようにしてもよい。
このような表示を行うことにより、SL撮影の不適合理由を直ちに確認することができ、不適合の原因によっては撮影条件を変更することにより適合条件にすることが可能であり、また適合範囲を表示すると、不適合レベルがわかり、どの程度変更させた場合適合条件とさせることができるかわかる。
次に、SL撮影の適否判断条件として用いられる各情報パラメータの表示について説明する。まず、被写体の動き情報を表示する場合について説明する。被写体の動きが検出されない場合は、動き無しの表示あるいは非表示と共にSL適合の表示を行い、動きのある場合は、動き有りNGの表示と共にSL撮影不適合の表示を行う。また動き量が補正許容範囲内のときは、動き補正ONの表示と共にSL適合の表示を行い、動き量が補正許容範囲を越えている場合は、動き補正NGの表示と共にSL不適合の表示を行う。更に、動き補正に関しては、図9に示すように動き補正許容範囲47をバーグラフで表示し、検出された動き範囲や動き方向なども表示するようにすることもできる。なお、図9において、48は動いた被写体を示している。
次に、SL撮影の適否判断情報として用いられる手ぶれ情報の表示について説明する。手ぶれが検出されない場合は、手ぶれ無しの表示又は非表示とすると共にSL適合の表示を行う。手ぶれが検出されたときは手ぶれ有りNGの表示とSL不適合の表示を行う。手ぶれ補正可能の場合は、手ぶれ補正ONマークの表示と共にSL適合の表示を行う。手ぶれ補正不可の場合は、手ぶれ補正NG表示とSL不適合の表示をする。
逆光検出情報をSL撮影の適否判断情報とする場合は、逆光状態が検出されたときは逆光有りの表示とSL適合の表示を行い、逆光状態が検出されない場合は逆光無しNGの表示とSL不適合の表示を行う。また、被写体の明るさに関する情報(Dレンジ、輝度差、輝度のヒストグラム等)をSL撮影の適否判断情報として用いる場合は、Dレンジが広い場合は、Dレンジ広の表示とSL適合の表示を行い、Dレンジが狭い場合は、Dレンジ狭NGの表示とSL不適合の表示を行い、また被写体が暗いときや輝度差がないときや輝度の飽和がないときは、いずれもNGマークの表示と共にSL不適合の表示を行う。
カメラへの撮影設定情報をSL撮影の適否判断情報として用いる場合、例えばストロボ発光モードとした場合はストロボON表示と共にSL適合の表示を行い、ストロボ非発光とした場合はストロボOFFNGの表示と共にSL不適合の表示を行う。またシャッタ速の場合は、高速の設定時はシャッタ速を表示すると共にSL適合の表示を行い、低速の設定時はシャッタ速とNGの表示と共にSL不適合の表示を行う。露出設定に関しては、スポット測光モードあるいはマニュアル露出補正モード設定時には、それらの表示と共にSL適合の表示を行い、それ以外の露出設定時にはその設定表示にNG表示を付すと共にSL不適合の表示を行う。撮影モード(連写、風景、スポーツ、マクロストロボ)の設定に関しては、風景あるいはマクロストロボ設定時にはそれらの表示と共にSL適合の表示を行い、連写、スポーツモードの設定時にはそれらの設定表示にNG表示を付すと共にSL不適合の表示を行う。ズーム倍率情報を設定する場合は、ワイド(低倍率)設定時はその表示と共にSL適合の表示を行い、テレ(高倍率)設定時にはその設定表示にNG表示を付すと共にSL不適合の表示を行う。また、メモリ残容量をSL撮影の適否判断情報として用いる場合には、バーグラフ等で残容量を表示すると共に2画面分以上の容量があるときにはSL適合の表示を行い、2画面分未満のときは残容量表示にNGを付すと共に、SL不適合の表示を行う。
上記説明においては、SL撮影の全体としての適合か不適合を表示する際に、SL適合あるいはSL不適合の表示と共に、SL撮影の適否判断情報として用いられる各情報パラメータの適合、不適合を含めて表示を行うようにしたものを示したが、SL撮影に適合の各情報パラメータは非表示とし、SL不適合すなわちNGマークの付される情報パラメータのみを表示するようにしてもよい。また、詳細な各情報パラメータに関する表示と共に、全体としてのSL撮影の適合あるいは不適合の表示を行う場合と、詳細な各情報パラメータに関する表示は非表示とし全体としてのSL撮影の適合あるいは不適合のみの表示を行う場合とを、切り換え設定できるように構成することもできる。
また、各情報パラメータに関する表示は、撮像装置の記録時あるいは再生時の各ステップ段階において表示してやることができる。すなわち、カメラへの撮影条件設定後においては、各設定条件に基づく情報パラメータを表示すると共に、SL撮影の適合性の判断結果を表示し、不適合の場合はNGマークを付して警告表示を行う。これにより設定条件の変更などに反映させることができる。また、AE設定後で撮影前においては、撮影前に得られる各情報パラメータを表示すると共に、SL撮影の適合性の判断結果を表示し、不適合の場合はNGマークを付して警告表示を行う。これにより撮影条件の変更などを行うことができる。また撮影後においては、撮影済みの画像データから得られる各情報パラメータに基づいてSL適合性の判断を行い、不適合の場合は同様にNGマークを付して警告表示を行う。これにより撮影の撮り直しなどの判断がなされる。また、SL合成画像処理後においても、SL適合性の判断結果を表示させることができ、不適合の場合は警告表示を行ってメモリカード15へ記録するかあるいは消去するかの判断に利用させることができる。更にまた、再生時においても、再生されたSL合成画像に対してSL適合性の判断結果を表示してやることができ、不適合の場合は警告表示して、やはり消去するかなどの判断に利用することができる。
なお、上記各表示はLCD表示部31に表示するようにしたものを示したが、情報表示用LCD36に表示させたり、別個のLCD表示部を設けて表示させるようにしてもよく、またNGを付した警告表示やSL不適合表示は、視覚的な表示ばかりでなくブザー等の音でも警告表示するようにしてもよい。
次に、本発明に関連する第4の参照例について説明する。前記第3の参照例においては、SL撮影の適否判断条件として用いる各種情報パラメータを取得して、SL撮影への適合性を判断して適合性を表示すると共に、全体としてのSL適合性の表示をするようにしたものを示したが、このSL適合性の判断結果と、ユーザが設定した撮影モードとが対応しない場合がある。この第4の参照例は、SL撮影の適否判断条件として用いる各種情報パラメータに基づいて判断された全体としてのSL適合性の判断結果の表示に対して、ユーザにより設定されている撮影モード(通常撮影モード、強制SL撮影モード、自動SL撮影モード)が一致しない場合に、不一致であることを表示して、画質劣化等のおそれのある不適切なSL撮影が行われるのを防止するようにしたものである。
すなわち、各種情報パラメータからはSL適合と判断されているが通常撮影モードを設定しているとか、あるいはSL不適合と判断されているときに強制SL撮影モードが設定されているような場合には、判断結果と設定撮影モードとが一致しておらず、そのままでは適切な画像が得られないので、不一致を表示して警告を与えるようにするものである。
図10の(A)は、SL適合と判断されているけれども通常撮影モード(SL−OFF)が設定されている場合に、不一致表示49を行って警告している態様を示しており、図10の(B)は、SL不適合と判断されているけれども強制SL撮影モード(SL−ON)が設定されている場合に、不一致表示49を行っている態様を示している。
次に、本発明に関連する第5の参照例について説明する。本発明は、露光量を変えて2回の撮影を行って得られる画像信号を合成処理して広ダイナミックレンジ合成画像を得るSL撮影機能を有する撮像装置に関するものであるが、本参照例は、合成処理する露光量の異なる2画面の画像信号の露光量(露光時間、発光量)比や、合成処理により生成される合成画像のダイナミックレンジを表示したり、またいくつかの露光量比を選択できる場合には、所定の露光量比を選択設定して表示するように構成したものである。
図11の(A)は、露光量比が1:4で、ダイナミックレンジが80dBの場合を文字で表示し、更にバーグラフで露光量比を表示している例を示している。なお、図11の(A)のバーグラフにおいて、黒色部分は短時間露光割合51を、白枠部分は長時間露光割合52を示している。図11の(B)は、1:2,1:4,1:8,1:16の露光量比を選択できる場合に、1:4の露光量比を選択設定している状態を示している。このように多数の露光量比から特定の露光量比を選択設定できるように構成されている場合は、図2に示したメニュー設定ボタン32で露光量比を選択して表示させ、+ボタン、−ボタン、OKボタンを操作することにより所定の露光量比を設定するようになっている。
次に、本発明に関連する第6の参照例について説明する。一般に、広ダイナミックレンジ合成画像生成機能付のカメラにおいては、予め露光量比を設定して2回の撮影を行っているが、実際に撮影した2枚の画像の露光量比は必ずしも設定した値になっていない場合があり、その場合に合成処理を行うと、2枚の画像のつぎ目の部分に階調の不連続などが発生しやすいという不具合がある。この参照例は、この点を改善しようとするものである。
すなわち、この参照例は、広ダイナミックレンジ合成画像生成機能付のカメラにおいて、露光量補正手段を備え、露光量補正が必要な撮影モードに設定されたとき露光量の補正を行うと共に、露光量補正手段の補正の有無等の動作状態を表示手段に表示させるようにするものである。
具体的には、ストロボ撮影モードが設定されたときには、露光量補正を行うようにする。すなわち、ストロボ撮影時には露光量はシャッタ速ではなく、ストロボの発光量で左右され、ストロボ発光量はそれほど正確には制御できないので、露光量にはかなりばらつきが生じることがある。したがって、ストロボモード設定時には露光量の補正を行う。
露光量の補正動作は、次のようにして行われる。図3に示したカメラ信号処理回路の2つのSEメモリ6−1及びLEメモリ6−2に、ストロボ発光による2回の撮影により得られる露光量が少ない画像データ及び露光量が多い画像データを記憶させ、CPU8へ送り込んでSE画像データで黒つぶれしていない領域及びLE画像データ白とびしていない領域を抽出し、抽出された各領域の画素データの和ΣSE,ΣLEを求め、両者の比ΣLE/ΣSEにより実際の露光量比A′を求め、露光量が少ない画像データSEに実際の露光量比A′を乗じて合成処理を行う。これにより2つの画像データのつぎ目の階調の不連続は防止される。
このようにして露光量補正手段により露光量が補正されるが、本参照例においては、このような露光量補正手段の動作状態、すなわち露光量の補正を行うか否か、あるいは行ったか否かを補正前あるいは補正後に表示手段に表示させ、更に補正が行われた場合には、補正前後の露光量比や補正の程度などを合わせて表示するようにする。このような表示を行うことにより、露光量比の補正の有無ばかりでなく、露光量比のずれや補正された露光量比によるダイナミックレンジを確認することができる。
図12の(A)は、露光量比を補正する場合の表示態様を示す図で、補正前に“露光量比補正します”、補正後に“露光量比補正しました”の表示53と、補正後の露光量比(1:9)並びに補正比率(1.125 倍)の表示をしている例を示しており、図12の(B)は、露光量比の補正を行わない場合の表示態様を示す図で、“露光量比補正しません”の表示54をする例を示している。なお、この場合は、表示なしで補正を行わない状態を表示するようにしてもよい。
次に、本発明に関連する第7の参照例について説明する。広ダイナミックレンジ合成画像生成機能付の撮像装置において、異なる露光量での2枚の画像の撮影時に被写体が動いた場合には、破綻した合成画像が出力されるので、動きが検出された場合には、一般的には合成画像の生成処理は行われない。しかしながら検出される動き量が小さく補正許容範囲内のものとCPU8で判断されたときは、動き補正を行って合成画像の生成処理を行う。本参照例は、このような動き補正を行う場合の前後の動作態様と共に、動き補正量を表示手段に表示するようにするものである。
なお、動き補正の手法としては、例えば水平方向の領域を考えた場合、動き補正を行う領域の両端から補正を行う適正な距離dにある動きが生じていない領域の画素A,Bの値を用い、A,B画素を両端として両者間の画素値を均等に変化させるようにして、動き補正領域の補間を行って動き補正をする。
図13の(A)は、動きを補正する場合の表示態様を示す図で、補正前に“動き補正します”、補正後に“動き補正しました”の表示55と、補正量(左右画角の10%)56を合わせて表示している例を示しており、また図13の(B)は、動き補正を行わない場合の表示態様を示す図で、“動き補正しません”の表示57をする例を示している。なお、この場合は、表示なしで補正を行わない状態を表示させるようにしてもよい。
次に、本発明に関連する第8の参照例について説明する。この参照例は広ダイナミックレンジ合成画像生成機能付の撮像装置において、3つの撮影モード、すなわちCCD撮像素子より1画面分の撮像信号を生成する通常の撮影モードと、強制的にSL合成画像を生成する強制SL撮影モードと、被写体情報あるいはカメラへの撮影設定条件に基づいて自動的にSL合成画像を選択的に生成する自動SL撮影モードを備えていて、それらの撮影モードのいずれかを選択的に設定することによる、現実のSL合成画像の生成処理のON/OFF状態を表示手段に表示するように構成するものである。
このようなSL合成画像の生成処理のON/OFF状態を表示させることにより、実際にSL合成画像の生成処理が行われるか否かあるいは行われたか否かを容易に確認することができるが、この表示は、記録行程時の種々の段階で行うことができる。すなわち、図14のフローチャートに示すように、撮影モード設定後、AE情報検出時点、撮影前、SL合成画像の生成処理前、記録前、記録直後などにおいて表示をさせることができる。そして撮影前に表示させた場合は、その表示情報を考慮して撮影条件を変更することができ、またSL合成画像の生成処理前に表示させた場合は、SL撮影をON又はOFFに切り換えられるので、通常撮影モードで撮影するか強制SL撮影モードで撮影するかをユーザが判断する情報として用いることができる。また記録前に表示させた場合は、SL処理がONなら記録、SL処理がOFFならば消去するというようなことを選択する情報として用いることができる。また記録後に表示させた場合は、記録した画像がSL処理がONかOFFであったことを表示することにより、保存あるいは消去の判断情報として用いることができる。
図15の(A),(B)は、SL合成処理のON,OFFの表示状態を示す図で、図15の(A)は自動SL撮影モードにおいて、SL合成処理がOFFとなっている状態を表示している状態を示しており、上段に自動SL撮影モード(SL−AUTO)であることを示し、下段にSL合成処理がOFF(SL−OFF)となっていることを示している。図15の(B)は、自動SL撮影モード(SL−AUTO)においてSL合成処理がON(SL−ON)となっている状態を示している。なお、図15の(A),(B)において、バーグラフはダイナミックレンジ58を表している。
また、SL合成処理のON/OFF表示は、すでに記録済みの全画像について、それぞれSL合成画像なのかあるいは通常撮影モードで撮影された画像なのかの情報を、CPU8内のRAMあるいはDRAM11の一部に記憶させておいて、図16に示すように一覧表示できるように構成しておいてもよい。図16において左端欄はコマ番号を示し、それに対応してSL(SL合成画像)又はNOR(通常画像)の表示を行うようにしている。また、この記録済みの全画像についての表示については、処理画像はメモリカード15に記録されるようになっているので、メモリカード15に画像を記録する際に、その画像ファイルの付帯情報としてSL合成画像か通常画像かの情報を記憶させるようにしてもよい。
上記のように記憶手段にSL処理のON/OFF、すなわちSL合成画像又は通常画像の情報を記憶しておくことにより、再生時においても、撮影画像がSL合成画像か通常画像かの判別が容易にできる。
次に、本発明に関連する第9の参照例について説明する。この参照例は表示手段にSL合成画像を表示して、実際のSL合成画像を確認することができるようにしたものである。SL合成画像としては、露光量比を補正したSL合成画像あるいは動きを補正したSL合成画像を表示するようにしてもよく、これにより破綻のない合成画像を表示することができる。また、SL合成画像を表示する際には、図17に示すように、SL合成画像を生成するための撮影に関する情報を重ねて表示するようにしてもよい。重ねて表示する情報としては、撮影情報パラメータ(動き、逆光等)、SL適合性、露光量比、露光量比の補正の有無、動き補正の有無、明るさを表す情報、ダイナミックレンジを表す情報などがある。
また、この参照例の変形例として、表示手段にSL合成画像ばかりでなく、通常撮影画像(長時間露光画像)を表示するようにしてもよい。SL合成画像と通常撮影画像を表示する際は、図18に示すように通常撮影画像(SL−OFF)61とSL合成画像(SL−ON)62とを交互に切り換えて表示させてやるとか、あるいは図19に示すように、通常撮影画像63とSL合成画像64とを同時に表示させるようにしてもよい。これにより、ユーザは両方の画像を観察して、いずれかを記録画として選択することができる。そして、この同時表示の場合は、その時点においてユーザがいずれの画像を選択しているかを表示させるようにしてもよく(この図示例では、網点でSL合成画像を選択していることを表示している)、この場合は更に画像を選択するモードに入っていることの表示(SL画/通常画選択画面)65を行うようにする。
また、更に別の変形例としては、図20の(A),(B)に示すように、SL合成処理前の短時間露光画像(SE画像)66と長時間露光画像(LE画像)67とを、交互にあるいは同時に表示するようにしてもよい。このように短時間露光画像と長時間露光画像とを表示することにより、短時間露光画像については取得しようとしている部分(樹木とか家屋部分)が白とびしていないかを確認することができ、また長時間露光画像については取得しようとしている部分(人物)が黒つぶれしていないかを確認することができ、これらの確認の結果として、適正なSL合成画像が得られることを予想することができる。
以上のような画像表示における各画像の表示時点は、SL合成処理の前後を含め記録前あるいは記録後など、種々の時点において表示させることができるが、記録前に表示させた場合は、撮影の条件の変更、通常撮影画像かSL合成画像かの選択、あるいは記録するか消去するかの選択の際に、画像を確認することができるようになり、また記録後に表示させた場合は、記録画像の保存又は消去の選択を行う際に画像を確認することができる。
また、別の変形例としては、SL合成画像生成のために撮影した短時間露光画像と長時間露光画像とを、合成処理をせずに2枚の画像データとしてそのままメモリカードへ記録する。そして、再生する際に、上記2枚の画像データを読み出して、それぞれの画像の表示を行い、それらの画像の観察結果に基づいてSL合成画像を生成すべきものと判断した場合は、SL合成処理を行い、SL合成画像として再生し表示をするような構成としてもよい。
次に、本発明に関連する第10の参照例について説明する。上記各参照例は、種々のSL情報パラメータや撮影モードを設定して、これらの設定情報を撮影の前後の種々の段階で表示するようにしたものを示したが、種々の段階で撮影モードと情報パラメータの適合性を自動的に判断して、撮影前であれば情報パラメータあるいは設定撮影モードの設定の変更を指示させ、種々の段階で設定の変更を行えるようにし、また撮影後であれば、SL処理の前後あるいは記録の前後に撮影の撮り直しの指示をさせ、撮り直しを行えるように構成するものである。これにより、SL適合性は自動的に判断され、画質の向上した撮影を行うことが可能となる。
上記情報パラメータ又は撮影モードの設定変更もしくは撮り直し動作は手動で行われるようにしてもよいし、また自動的に行われるようにしてもよい。そして、情報パラメータの設定を変更する場合、図21の(A)に示すように、設定変更モードにされ、設定を変更する旨の表示71が行われ、変更する項目と変更する前後の値を併記するようにする。また、撮り直しの場合は、図21の(B)に示すように、再撮影する旨の表示72と、自動的に再撮影が行われるときは自動である旨の表示を行い、ユーザが確認した場合の表示を合わせて表示するようにする。このような自動的な設定変更あるいは再撮影を行う手法は、SL撮影機能を備えていない通常の撮像装置にも適用することができる。
次に、本発明に関連する第11の参照例について説明する。この参照例は、被写体の所望部分、例えば最も暗い部分と最も明るい部分の明るさ情報を、被写体画像と共に表示手段に表示するようにするものである。すなわち、図22の(A)に示すように、明るさを表示する部分として被写体の最も明るい部分(家屋)(1) と、最も暗い部分(人物の胴体部分)(3) と、中間の明るさ部分(人物の顔部分)(2) とを、被写体の画像上に示すと共に各部(1) ,(2) ,(3) の輝度を、ダイナミックレンジを表すバーグラフ上に対応させて表示する。明るさを表示すべき部分(1) ,(2) ,(3) は所望部分へ適宜移動可能となっている。
また図22の(B)に示すように、輝度差を合わせて表示するようにしてもよく、また図22の(C)に示すように、高輝度部分(図示例では点線で囲んだ樹木及び家屋部分)の全体画像における割合を数値とバーグラフで表示するようにしてもよい。なお、高輝度部分の割合が大きい場合は、SL合成画像の生成処理に適合するものである。全体の輝度の範囲内で閾値を設けて、この閾値以上の値を高輝度部分とするが、この閾値は数値又はバーコード設定により可変可能である。
以上の明るさ表示は、記録時の各段階、すなわち撮影の前後、SL処理の前後、記録の前後などで表示させることができ、撮影前に表示させた場合は、撮影条件の変更などの判断情報として利用することができ、また撮影後に表示させた場合は、撮影条件を変更して撮り直しを行う場合などの判断情報として利用することができ、またSL処理後に表示させた場合は、SL合成画像を記録するかあるいは消去するかの判断に利用することができ、また記録後に表示させた場合は、SL合成画像をやはり消去するか否かの判断に利用されると共に、記録画像の付帯情報として認識できるようにする。
次に、本発明の具体的な実施例1について説明する。一般にSL合成画像を生成するために用いる露光量の異なる2枚の画像の露光量比は予め設定されていて、その露光量比に基づいて合成画像のダイナミックレンジが設定されるようになっているが、本実施例においては、ユーザが実際の画像の取得したい被写体部分を指定して、視覚的な方法でダイナミックレンジを自由に設定できるようにするものである。
すなわち、図23の(A)に示すようにAE時取り込んだ画像又は以前の撮影で得られた画像を表示し、最も暗い狭い領域(人物の胴部)75をスポットロックエリアに指定して、その指定部分の輝度の最低値や平均値より最暗部輝度情報を取得する。同様にして図23の(B)に示すように、AE時取り込んだ画像又は以前の撮影で得られた画像を表示し、最も明るい狭い領域(家屋部分)76の輝度の最高値や平均値より最明部輝度情報を取得する。そして、上記のようにして得られた最暗部輝度情報と最明部輝度情報とが、SL合成画像においてそれぞれ適正なレベルとなるように2枚の画像のシャッタ速を設定し、その設定されたシャッタ速に基づいて合成画像のダイナミックレンジを設定するものである。また変形例として、最暗部又は最明部の一方を予め既定値としてもち、他方のみを設定することで、操作を簡略化してもよい。更に適正露光部を設定して、それをもとにダイナミックレンジの中心となる明るさ情報を設定するようにしてもよい。
なお、画像内で所望の狭い領域を指定するには、例えばメニューボタン等を用いて、予め設定された狭領域の枠部を画像上の所望の領域にセットしてロックすることによりマーキングして指定するように構成する。
次に、この実施例の変形例について説明する。この変形例は、短時間露光画像と長時間露光画像をユーザが直接セットしてやり、それらの画像の露光量比に基づいて合成画像のダイナミックレンジを設定するものである。すなわち、図24の(A)に示すように短時間露光画像SEを表示して、ユーザが白とびしない範囲はどこまでにするかを考慮して露光量をセットする。また図24の(B)に示すように長時間露光画像LEを表示して、ユーザが黒つぶれしない範囲ばどこまでにするかを考慮して露光量をセットする。そして露光量をセットした2つの画像の露光量に基づいて合成画像のダイナミックレンジを設定する。
次に、本発明に関連する第12の参照例について説明する。一般に、電子カメラ(デジタルカメラ)と呼ばれる撮像装置における露出制御方式には、撮像素子の出力情報を用いて絞りやシャッタ速を変えるいわゆるビデオAE方式がとられている。これは、撮像素子のダイナミックレンジが狭いため、僅かな露出の誤差が画質に大きな影響を与えるためである。このため銀塩カメラ等で使われている外部測光素子による露出制御方式は、外部測光素子の精度が悪いということと共に、撮像素子と外部測光素子のばらつきが露出制御の精度を劣化させるため、殆ど採用されていない。
しかしながら、ビデオAE方式では、撮像素子のダイナミックレンジが狭いため、1画面の出力情報だけでは正確な露出制御ができないので、入射光量を徐々に変えて、フィードバックループ方式で最適な露出に追い込んで行く手法がとられる。このためAEの開始から最適値が決定されるまでに数画像〜十数画像が必要とする。特に、最近の多画素カメラにおいては1画面の出力に長時間を要するようになってきているので、シャッタのタイムラグや消費電力が増大するという問題点がある。
この参照例は、この問題点を解消するためのもので、その構成を図25のブロック構成図に基づいて説明する。この参照例では、露出制御手段、露出決定手段、合成手段等の機能はCPU8の中で実現するようになっている。81は露出制御部で、該露出制御部81はシャッタ・絞り機構3とタイミングジェネレータ(電子シャッタ)18とを制御するもので、CCD撮像素子1への露光量を制御するものである。82は異なる露光量で撮影され撮像素子から出力される2つの出力信号を合成する合成部で、83は合成された合成出力信号に基づいて露出を決定する露出決定部である。
次に、このように構成されているAE装置の動作を、図26のフローチャートを参照しながら説明する。まず、露出制御部81を初期値1に設定してタイミングジェネレータ18及びシャッタ・絞り機構3を初期値1に対応した所定値にする(ステップS1)。次いで、この初期値1の露光量設定状態において撮影を行って画像1を、CCD撮像素子1よりアンプ4,A/D変換器5,AE検波回路7を介してCPU8に取り込む(ステップS2)。次いで、露出制御部81を初期値1とは異なる初期値2に設定して、タイミングジェネレータ18及びシャッタ・絞り機構3を初期値2に対応した所定値にする(ステップS3)。次いで、この初期値2の露光量設定状態において撮影を行って画像2を、CCD撮像素子1よりアンプ4,A/D変換器5,AE検波回路7を介してCPU8に取り込む(ステップS4)。次いで、合成部82において、画像1と画像2との画像合成を行う(ステップS5)。これにより、ダイナミックレンジの広い、黒つぶれや白とびのない画像情報が得られる。次いで、この合成画像情報を用いてAE演算を行う(ステップS6)。これにより、一度の演算で最適な適正値のAE演算が可能となり、フィードバック制御が不要となる。
図27の(A),(B)は、画像1と画像2の合成態様を示す図で、図27の(A)において、Xは露出制御部81を初期値1に設定した際に取り込める入射光量範囲で、この入射光量範囲のダイナミックレンジの画像1が取り込まれる。Yは初期値2に設定した際に取り込める入射光量範囲で、この入射光量範囲のダイナミックレンジの画像2が取り込まれる。そして、これらの画像1,2を合成処理することにより、図27の(B)に示すような広ダイナミックレンジの合成画像が得られる。Zは合成処理により取り込まれた入射光量範囲を示す。
この参照例に係るAE装置は、SL機能を持つ撮像装置に適用する場合は、SL合成回路をAE装置の合成部に併用することができる。また、本参照例.AE装置を一般の電子カメラに適用する場合は、合成部はSL合成回路よりラフな合成回路で構成することができる。