JP5587083B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、被写体像を撮像素子により光電変換して撮影する撮像装置に関し、特にフラッシュ光を用いた撮影を行う撮像装置及びその制御方法に関する。

近年、撮像素子として光電変換素子を用いた電子カメラが広く普及しており、電子カメラでは、光学像を電気信号に変換し、半導体素子等のメモリカードに画像が保存される。

電子カメラには、ライブビュー表示又はスルー画表示（以下「ライブビュー表示等」と記す）と呼ばれる機能を有しているものがある。ライブビュー表示等は、撮像素子上に結像された被写体像から生成される画像データを、例えばＬＣＤ（Liquid Crystal Display）等の画像表示装置に、一定の周期で更新表示させる機能である。一般に、ライブビュー表示等は、光学ファインダーに比べて、画像表示面積が大きいことから視認性がよく、構図確認等を行ない易いといった利点がある。

ライブビュー表示等に用いる画像データは、撮像回路により生成された画像データに対して、画像処理を施して生成される。この画像処理の際に、例えば、ＷＢ（ホワイトバランス）パラメータを変更したりデジタルゲイン演算を施したりすれば、実際の撮影をする前にＷＢの色味や露出補正の効果を事前に確認することができる。

一方、ストロボ等の外部照明の照射効果を、本撮影の前に確認することができるようにする技術が提案されている。例えば、被写体に対するストロボ効果を確認するためのモデリング発光が可能な電子プレビュー機能を有するカメラが提案されている（例えば、特許文献１参照）。ここで、モデリング発光に伴う内蔵電池の消耗を防ぐため、適正発光量よりも少ない発光量でモデリング発光を行ない、撮像された画像の明るさを適正発光量相当に調整している。

このようなモデリング発光に関する技術をライブビュー表示等の機能に応用することが可能である。つまり、撮像フレームに同期してモデリング発光を繰り返し行うことで、本発光相当のシミュレーション表示を更新し続けることができる。

特開２００３-２７４２７９号公報

しかしながら、撮像フレームに同期してモデリング発光を繰り返し行うと、発光量を少なく抑えたとしても、内蔵電池が短時間で消耗してしまうという問題が生じる。

本発明は、ストロボの発光回数を減らして内蔵電池の消耗を抑えながらも、ストロボ効果を十分に確認することができるライブビュー表示等を実現可能な撮像装置及びその制御方法を提供することを目的とする。

本発明に係る撮像装置は、被写体を照明する照明手段を用いた撮像ができる撮像装置であって、被写体を撮像する撮像手段と、前記照明手段によって被写体を照明せずに前記撮像手段によって取得された非照明時画像の輝度に関する情報と、前記照明手段によって被写体を照明して前記撮像手段によって取得した照明時画像の輝度に関する情報に基づいて反射光情報を生成する情報生成手段と、前記照明手段によって被写体が照明された状態に関するシミュレーション画像を表示手段に逐次表示する場合に、前記非照明時画像と前記反射光情報とに基づいて、前記シミュレーション画像を生成する画像生成手段と、前記反射光情報を生成するために前記照明手段によって被写体を照明させるか否かを判定する判定手段と、を備えることを特徴とする。

本発明では、ストロボ光を照射しない非照明時に得られた画像（非照明時画像）を基にして、被写体にストロボ光を照明した画像（照明時画像）に相当する照明時シミュレーション画像を生成し、表示する。これにより本発明によれば、内部電池の消耗を抑えながらも、本撮影の前にストロボ光の効果を確認することができるので、ストロボ撮影の失敗を低減することができる。

本発明の第１実施形態に係るデジタルカメラの概略のハードウェア構成を示す図である。 デジタルカメラでの第１実施形態に係るメインフロー（ライブビュー表示工程及び撮影工程）を示すフローチャートである。 図２に示されるステップＳ１１２の処理（ストロボＳＩＭ表示）の詳細を示すフローチャートである。 図２に示されるステップＳ１１７の処理（撮影）の詳細を示すフローチャートである。 非照明時画像と照明時画像の一例である。 図５の照明時画像と非照明時画像の輝度比の分布を示す図である。 デジタルカメラでの第２実施形態に係るメインフロー（ライブビュー表示工程及び撮影工程）を示すフローチャートである。 図７に示されるステップＳ２１２の処理（ストロボＳＩＭ表示）の詳細を示すフローチャートである。 図７に示されるステップＳ２１７の処理（撮影）の詳細を示すフローチャートである。 図５（ａ）の非照明時画像から作成した距離マップである。

本発明は、ストロボ装置を備えた撮像装置である限りにおいて、その実施の形態に制限はない。本発明は、具体的には、デジタルスチルカメラ（所謂、デジタルカメラ）やデジタルムービーカメラに好適である。そこで、以下、本発明の実施の形態について、デジタルカメラを取り上げて、図面を参照しながら説明することとする。

《第１実施形態》
図１は、本発明の第１実施形態に係るデジタルカメラの概略のハードウェア構成を示す図である。デジタルカメラは、撮像素子を備えるカメラ本体と被写体像を取り込むための撮影光学系が一体となった構造を有している。

第１レンズ群１０１は、撮影光学系（結像光学系）の先端に配置されており、光軸方向に進退可能に保持されている。絞り兼用シャッタ１０２は、開口径を調節することによって撮影時の光量調節を行ない、また、静止画撮影時には露光時間を調整するシャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向で進退可能であり、第１レンズ群１０１の進退動作との連動によって変倍作用（ズーム機能）が実現される。第３レンズ群１０５は、光軸方向で進退可能であり、焦点調節を行う。

光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、ＣＭＯＳセンサとその周辺回路で構成されている。撮像素子１０７としては、横方向がｍ画素、縦方向がｎ画素の受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、カム筒（不図示）を回動させる。これにより、第１レンズ群１０１と第２レンズ群１０３が光軸方向で進退駆動され、変倍操作が実行される。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向で進退駆動させ、これにより焦点調節が行われる。

ストロボ装置１１５は、例えば、カメラ本体に内蔵された、あるいはカメラ本体に着脱自在に装着されたキセノン管を用いた閃光照明装置であり、撮影時に被写体に対して照明を行う。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を投光レンズを介して被写界に投影し、暗い被写体や低コントラスト被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ本体の種々の制御を司り、ここでは、演算部やＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路、計時回路等を有しているものとする。ＣＰＵ１２１は、ＲＯＭに格納されたプログラムをＲＡＭに展開して実行することにより、デジタルカメラが有する各種回路を駆動し、ＡＦやＡＥ、撮影、画像処理、画像記録等の一連の動作を実現させる。

ストロボ制御回路１２２は、撮影動作に同期してストロボ装置１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の動作を制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御すると共に、撮像素子１０７が取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の画像処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動させて焦点調節を行う。シャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２の駆動を制御し、絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示部１３１は、例えばＬＣＤ等であって、デジタルカメラの背面に設けられており、デジタルカメラの撮影モードに関する情報や撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ１３２は、電源スイッチやレリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。メモリ１３３は、例えば、着脱可能なフラッシュメモリであり、撮影された画像（画像データ）を記憶する。ブレ検知回路１３４は、加速度センサ（不図示）からの出力に基づいて、又は、撮影画像のフレーム間のベクトルを演算することにより、カメラ本体のブレを検知する。

デジタルカメラにおける、ＣＰＵ１２１、各種回路、各種アクチュエータ及びストロボ装置１１５等の動作は、電池１３５から供給される電力によって実現される。なお、図１では、模式的に、電池１３５からの電力供給がＣＰＵ１２１に対して行われるように描画されている。

図２は、デジタルカメラでの第１実施形態に係るメインフローであるライブビュー表示工程及び撮影工程を示すフローチャートである。図３は、図２中のステップＳ１１２の処理（ストロボＳＩＭ表示）の詳細を示すフローチャートであり、図４は、図２中のステップＳ１１７の処理（撮影）の詳細を示すフローチャートである。

撮影者がデジタルカメラのメインスイッチである電源スイッチをオンすると、ＣＰＵ１２１は、デジタルカメラ内の各アクチュエータや撮像素子１０７の動作確認を行ない、メモリ内容や実行プログラムの初期化を行う（ステップＳ１０１）。そして、撮影準備に入り、撮像素子１０７による撮像動作が開始され、撮像素子１０７で撮影された画像信号の読み出しが行われる（ステップＳ１０２）。

続いて、ステップＳ１０２で読み出された画像が、ライブビュー用の低画質画像にリサイズされ、デジタルカメラの背面に設けられた表示部１３１に表示される（ステップＳ１０３）。このとき、ＣＰＵ１２１は、ブレ検知回路１３４からの信号からカメラ本体のブレの状態を検知し、ブレ量が所定値以上である場合、画像表示と共にブレ警告表示を行う。この所定値は、デジタルカメラにおいて予め設定されている。

その後、ステップＳ１０２で得た画像の露出状態が適切か否かが判定される（ステップＳ１０４）。露出が適切な場合（Ｓ１０４で“ＹＥＳ”）、処理はステップＳ１０６へ進められる。一方、露出が適切でない場合（Ｓ１０４で“ＮＯ”）、処理はステップＳ１０５に進められる。ステップＳ１０５では、露光量変更（例えば、光量調節絞り値の変更、撮像素子１０７での電荷蓄積時間（露光時間）の変更等）の制御が行われ、その後、処理はステップＳ１０２へ戻される。

ステップＳ１０６では、操作スイッチ１３２の状態から撮影準備スイッチがオン操作されたか否かが判定される。オン操作されていない場合（Ｓ１０６で“ＮＯ”）、処理はステップＳ１０２へ戻される。オン操作されている場合（Ｓ１０６で“ＹＥＳ”）、処理はステップＳ１０７に進められ、ステップＳ１０７ではＡＦ動作が実行される。例えば、撮像素子１０７に結像された被写体像の高周波成分を抽出し、第３レンズ群１０５を駆動させながらその高周波成分が最も大きくなる位置を合焦位置とする、所謂、コントラスト検出方式のＡＦ動作が実行される。

ステップＳ１０７のＡＦ動作が完了すると、合焦表示が行われ（ステップＳ１０８）、操作スイッチ１３２の状態からストロボ撮影モードであるか否かが判定される（ステップＳ１０９）。ストロボ撮影モードにセットされている場合には、ステップ１０９の判定は“ＹＥＳ”となる。また、ステップＳ１０２で読み出された最新の画像信号から被写体の輝度情報が演算され、その結果、被写体輝度が予め定められた輝度より小さいためにストロボ撮影が必要と判定された場合も、ステップ１０９の判定は“ＹＥＳ”とされる。ステップＳ１０９で“ＹＥＳ”と判定された場合、処理はステップＳ１１０へ進められる。

一方、ストロボ撮影モードにセットされていない場合には、ステップ１０９の判定は“ＮＯ”とされる。また、ステップＳ１０２で読み出された最新の画像信号から被写体の輝度情報を演算し、その結果、被写体輝度が予め定められた輝度より大きいためにストロボ撮影が不要と判定された場合も、ステップ１０９の判定は“ＮＯ”とされる。ステップＳ１０９で“ＮＯ”と判定された場合、処理はステップＳ１１３へ進められる。

ステップＳ１１０では、現在の光量調節絞り値やステップＳ１０７でのＡＦ動作時の情報から、ストロボ撮影におけるストロボ装置１１５の発光量（以下単に「発光量」という）が、所定の演算により決定される。その後、操作スイッチ１３２の状態から、ストロボシミュレーション表示モード（以下「ストロボＳＩＭ表示モード」と記す）」にセットされているかが判定される（ステップＳ１１１）。ストロボＳＩＭ表示モードの場合（Ｓ１１１で“ＹＥＳ”）、処理はステップＳ１１２に進められてストロボＳＩＭ表示が行われ、その後、撮影が行われる（ステップＳ１１７）。ステップＳ１１２の詳細については図３を参照して、ステップＳ１１７の詳細については図４を参照して、後に詳細に説明する。ステップＳ１１７の撮影が終了すると、処理は終了となる。

ストロボＳＩＭ表示モードではない場合（Ｓ１１１で“ＮＯ”）、処理はステップＳ１１３に進められる。ステップＳ１１３では、撮像素子１０７を駆動させて通常ライブビュー動作が実行される。すなわち、撮像素子１０７による撮像動作が開始され、撮像素子１０７が撮影した画像信号の読み出しが行われる。こうして読み出された画像は、ライブビュー用の低画質画像にリサイズされ、表示部１３１に表示される（ステップＳ１１４）。なお、通常ライブビュー動作では、撮像素子１０７により得られる非照明時画像は一定の周期で更新され、表示部１３１に表示される。

続いて、操作スイッチ１３２の状態から、撮影開始スイッチがオン操作されたか否かが判定される（ステップＳ１１５）。オン操作された場合（Ｓ１１５で“ＹＥＳ”）、処理はステップＳ１１７へ進められて、撮影が行われる。一方、オン操作されていない場合（Ｓ１１５で“ＮＯ”）、処理はステップＳ１１６へ進められる。ステップＳ１１６では、操作スイッチ１３２の状態から、撮影準備スイッチがオン操作されたかが判定される。オン操作された場合（Ｓ１１６で“ＹＥＳ”）、処理はステップＳ１１３へ戻され、オン操作されていない場合（Ｓ１１６で“ＮＯ”）、処理はステップＳ１０２へ戻される。

上述したステップＳ１１２の処理（ストロボＳＩＭ表示）の詳細について、図３を参照して以下に説明する。ステップＳ１１１（図２参照）からステップＳ１１２のサブルーチンフローに入ると、先ず、ＣＰＵ１２１は、反射光情報を更新する必要があるか判定する（ステップＳ１３１）。

「反射光情報」とは、ストロボ装置１１５の非動作時（つまり、非照明時）の画像からストロボ照明時の画像に相当する画像（以下「照明時シミュレーション画像」という）を生成するための情報である。ここで、反射光情報について図５及び図６を用いて詳細に説明する。

図５（ａ）は、ストロボ光による照明を用いない、つまり、ストロボ装置１１５を動作させていない場合の画像（非照明時画像）の一例であり、図５（ｂ）は、ストロボ光による照明を用いた、つまり、ストロボを発光させた場合の画像（照明時画像）の一例である。本例における被写体の位置関係は、デジタルカメラから近い距離順に、人物、柵、夜空（背景）となっている。デジタルカメラに対する距離が近い人物と柵の輝度は、非照明時画像よりも照明時画像で高くなっているが、背景である夜空の輝度は、非照明時画像と照明時画像とで、差がないことがわかる。

図６は、図５の照明時画像と非照明時画像との輝度比の分布を示した図であり、照明時画像の輝度を非照明時画像の輝度で除して、輝度比を求めている。輝度比が高いと白く表現され、輝度比が低いと黒く表現される。よって、人物は輝度比が大きく、一方、背景である夜空の輝度比は小さいことがわかる。このような輝度比の分布を反射光情報として画素単位で記憶することにより、非照明時画像（図５（ａ））と記憶した反射光情報とから、照明時画像（図５（ｂ））を再現することができる。なお、反射光情報は画素単位に限られず、一定の大きさ（複数の画素）のブロック単位で記憶してもよい。

このような反射光情報をステップＳ１３１において更新する場合の条件としては、下記（ａ）〜（ｅ）が一例として挙げられる。

（ａ）反射光情報が記憶されていないこと
（ｂ）反射光情報を記憶した前回の時間（前回の照明時画像に係る撮影フレームの撮影時間）から予め定められた一定時間が経過したこと、
（ｃ）撮影フレームの間で、ブレ検知回路１３４により予め定められた一定値以上の大きなブレ量が検知されたこと
（ｄ）撮影フレームの間で被写体輝度に予め定められた一定量以上の変化があったこと
（ｅ）撮影フレームの間で被写体までの距離に予め定められた一定値以上の変化があったこと
これら（ａ）〜（ｅ）のうち少なくとも１つの条件に該当する場合、反射光情報を取得した撮影フレームから撮影画面の構図が変化した可能性があるため、撮影画面からの反射光情報の更新が行われる。

反射光情報の更新が必要である場合（Ｓ１３１で“ＹＥＳ”）、処理はステップＳ１３２へ進められる。ステップＳ１３２では、ＣＰＵ１２１が撮像素子１０７の撮像動作を開始すると共に、ストロボ制御回路１２２がステップＳ１１０で算出した発光量で撮影動作に同期してストロボ装置１１５を点灯制御し、撮像素子１０７が撮影した画像信号が読み出される。

そして、前フレームで得たストロボ非照明時の画像信号とステップＳ１３２で得られたストロボ照明時の画像信号の比が画素単位で演算される（ステップＳ１３３）。こうしてステップＳ１３３で算出された各画素の輝度比が、ＣＰＵ１２１のＲＡＭ等に反射光量情報として記憶され（ステップＳ１３４）、処理はステップＳ１３５へ進められる。反射光情報の更新が必要でない場合（Ｓ１３１で“ＮＯ”）も、処理はステップＳ１３５に進められる。ステップＳ１３５では撮像素子１０７の撮像動作により、撮像素子１０７により撮影された画像信号の読み出しが行われる。

続いて、ＣＰＵ１２１は、ステップＳ１３５で読み出した画像信号と、ＣＰＵ１２１内のＲＡＭに記憶されている反射光情報とから、照明時シミュレーション画像を生成する（ステップＳ１３６）。ＣＰＵ１２１が画像生成手段として機能することによりステップＳ１３６で生成した照明時シミュレーション画像は、更にＣＰＵ１２１によってライブビュー用の画質低画像にリサイズされて、表示部１３１に表示される（ステップＳ１３７）。なお、ステップＳ１３７において、ＣＰＵ１２１は、ブレ検知回路１３４からの信号によりカメラ本体のブレの状態を検知し、ブレ量が予め定められた一定値以上である場合には、画像表示と共にブレ警告表示を行う。

その後、操作スイッチ１３２の状態から、発光量変更の指示があるか否かが判定される（ステップＳ１３８）。発光量変更の指示がある場合（Ｓ１３８で“ＹＥＳ”）、処理はステップＳ１３９へ進められ、ステップＳ１３９では、発光量の補正量が算出される。その後、処理はステップＳ１３６へ戻される。こうして、ステップＳ１３９の後に行われるステップＳ１３６では、ステップＳ１３９で算出された発光量の補正量を加味したストロボ発光相当の照明時シミュレーション画像が生成されることになる。

一方、発光量変更の指示がない場合（Ｓ１３８で“ＮＯ”）、処理はステップＳ１４０へ進められ、ステップＳ１４０では、操作スイッチ１３２の状態から撮影開始スイッチがオン操作されたか否かが判定される。オン操作された場合（Ｓ１４０で“ＹＥＳ”）、処理はステップＳ１１７（図２参照）へ進められ、オン操作されていない場合（Ｓ１４０で“ＮＯ”）、処理はステップＳ１４１へ進められる。

ステップＳ１４１では、操作スイッチ１３２の状態から撮影準備スイッチがオン操作されたか否かが判定される。オン操作された場合（Ｓ１４１で“ＹＥＳ”）、処理はステップＳ１３１へ戻され、オン操作されていない場合（Ｓ１４１で“ＮＯ”）、処理はステップＳ１０２（図２参照）に戻される。

次に、上述したステップＳ１１７の処理（撮影）の詳細について、図４を参照して以下に説明する。ステップＳ１１２内のステップＳ１４０で撮影開始スイッチがオン操作されると、ステップＳ１１７の最初の処理として、ストロボ撮影かが判定される（ステップＳ１６１）。ストロボ撮影の場合（Ｓ１６１で“ＹＥＳ”）、処理はステップＳ１６２へ進められ、ストロボ撮影でない場合（Ｓ１６１で“ＮＯ”）、処理はステップＳ１６５へ進められる。なお、ステップＳ１６１での判定方法は、先に説明したステップＳ１０９の判定方法と同じである。

ステップＳ１６２では、ステップ１１０で算出した発光量とステップ１３９で算出した発光量の補正量から、本撮影時に必要な発光量（つまり、本撮影時の目標とする発光量）が算出される。この時、算出された発光量がストロボ制御可能な範囲を超えてしまった場合は、制御可能な範囲で発光量が決定される。こうして発光量が算出されると、ＣＰＵ１２１が撮像素子１０７の撮像動作を開始すると共に、ストロボ制御回路１２２がステップＳ１６２で決定された発光量で撮影動作に同期してストロボ装置１１５を点灯制御する（ステップＳ１６３）。

こうして撮影された画像信号は、撮像素子１０７から読み出され、補正される（ステップＳ１６４）。ステップＳ１６２で算出された発光量がストロボ制御可能な範囲を超えていた場合、算出された発光量に対して制御可能な範囲で決定された発光量では不足する発光量をステップＳ１３４で記憶した反射光情報を用いて補正する。これにより、制御可能な範囲で決定された発光量により撮影された画像から、適正な発光量で得られる画像に相当する画像を生成することができる。

例えば、被写体までの距離が遠い場合等、発光量を最大にしてもストロボ光が少ししか届かない場合でも、反射光情報と発光量の補正量から、被写体領域の画像信号のゲインを上げる処理を行うことで、ストロボ光が適切に届いた画像が得られる。

ステップＳ１６１でストロボ撮影を行わないと判定された場合に行われるステップＳ１６５では、撮像素子１０７の撮像動作が開始され、撮像素子１０７で撮影した画像信号の読み出しが行われる。ステップＳ１６４の後とステップＳ１６５の後には、共に、処理はステップＳ１６６へ進められる。

ステップＳ１６６では、ステップＳ１６４で生成された画像又はステップＳ１６５で読み出された画像に対して、γ補正やエッジ強調等の画像処理が施され、画像処理された画像の画像データはメモリ１３３に記憶される（ステップＳ１６７）。こうして、メモリ１３３に記憶された撮影済み画像が表示部１３１に表示され（ステップＳ１６８）、処理は図２のメインフローに戻される。すなわち、ステップＳ１６８の後、デジタルカメラによる一連の撮影動作は終了となる。

上述の通り、第１実施形態では、ステップＳ１３３で非照明時画像と照明時画像から反射光情報を算出し、記憶している。また、ステップＳ１３６では、記憶した反射光情報を用いて非照明時画像から照明時シミュレーション画像を生成している。こうして、ステップＳ１３７でライブビュー画像として表示部１３１に表示される画像により、ストロボ照射の効果を、本撮影の前にストロボ照明を行うことなく確認することができる。また、ステップＳ１３１で、反射光情報の更新の必要の有無を判断することで、反射光情報の測定のために予備的に行うストロボ照明の回数を減らすことができる。こうして、ストロボ発光回数を減らすことができるために、デジタルカメラを駆動させるための電池１３５の消耗を抑えることができる。

ところで、従来のデジタルカメラによる撮影では、例えば、被写体距離や被写体反射率によってストロボ光が強く反射したり、逆に弱く反射したりすることにより、ストロボ照明時に得られる画像が撮影者の意図する画像とかけ離れたものになる場合がある。また、ストロボ制御範囲を超えた光量が必要な場合には、十分なストロボ光が被写体に照射されないことによって、撮影者が意図する画像が得られないことがある。

第１実施形態では、このような問題を回避すべく、撮影者が操作スイッチ１３２により、ストロボ装置１１５の発光量の増減を指定することができる構成とすることができる。すなわち、ステップＳ１３６〜Ｓ１３９の処理の通り、撮影者によるストロボ装置１１５の発光量の変更指定を判断し、撮影者が指定した増減量で発光量を補正した照明時シミュレーション画像が生成され、ライブビュー画像として表示されるようになっている。こうして、ストロボ発光量を変更した場合でも、ストロボ照射の効果を照明時シミュレーション画像で確認することができる。また、ステップＳ１６２〜Ｓ１６４の処理の通り、ストロボ装置１１５の発光量の補正量を加味した発光量の制御や画像補正によって、撮影者の意図を反映した撮影が実現可能となっている。

《第２実施形態》
第１実施形態では、照明時画像と非照明時画像から反射光情報を演算、記憶し、反射光情報を用いて非照明時画像からストロボ発光相当の画像である照明時シミュレーション画像を生成した。これに対し、第２実施形態では、第１実施形態とは異なる方法により、反射光情報の演算を行う。なお、デジタルカメラのハードウェア構成は、図１を参照して第１実施形態で説明した構成と同じであるので、ここでの説明を省略する。

図７は、デジタルカメラでの第２実施形態に係るメインフローであるライブビュー表示工程及び撮影工程を示すフローチャートである。図８は、図７中のステップＳ２１２の処理（ストロボＳＩＭ表示）の詳細を示すフローチャートであり、図９は、図７中のステップＳ２１７の処理（撮影）の詳細を示すフローチャートである。

図７に示すステップＳ２０１〜Ｓ２０６の処理は、図３を参照して説明した第１実施形態に係るステップＳ１０１〜Ｓ１０６の処理と同じであるので、ここでの説明を省略する。ステップＳ２０６の後のステップＳ２０７ではＡＦ動作を実行される。例えば、ここでは、撮像素子１０７の画素の受光部が２分割されて瞳分割機能が付与され、これらの画素を通常撮像用画素と焦点検出用画素として用い、焦点検出用画素からの信号によりＡＦ動作が行われる。

ステップＳ２０７の後に行われるステップＳ２０８〜Ｓ２１１の処理は、図３を参照して説明した第１実施形態に係るステップＳ１０８〜Ｓ１１１の処理に準ずるため、ここでの説明を省略する。ステップＳ２１１の判定において、ストロボＳＩＭ表示モードではない場合（Ｓ２１１で“ＮＯ”）、処理はステップＳ２１３へ進められる。ステップＳ２１３〜Ｓ２１６の処理は、図３を参照して説明した第１実施形態に係るステップＳ１１３〜Ｓ１１６の処理に準ずるため、ここでの説明を省略する。

ステップＳ２１１の判定において、ストロボＳＩＭ表示モードではある場合（Ｓ２１１で“ＹＥＳ”）、処理はステップＳ２１２に進められてストロボＳＩＭ表示が行われ、その後、撮影が行われる（ステップＳ２１７）。

ステップＳ２１２の処理（ストロボＳＩＭ表示）の詳細について、図８を参照して以下に説明する。ステップＳ２１１（図７参照）からステップＳ２１２のサブルーチンフローに入ると、先ず、撮影画像に対応した距離マップが作成される（ステップＳ２３１）。ステップＳ２０７で説明したように、第２実施形態では、撮像素子１０７の画素の受光部は２分割され、それぞれ、通常撮像用画素と焦点検出用画素として用いられている。そこで、ステップＳ２３１での距離マップの作成は、撮影画面内の各領域についてデジタルカメラからの距離を測定することにより行われる。距離の測定は、例えば、焦点検出用画素の信号から得られる各領域のデフォーカス量と撮影レンズ情報（ズーム位置情報やフォーカスレンズ位置情報等）とから所定の演算を行うことにより行うことができる。

ステップＳ２３１で距離マップが作成されると、作成された距離マップから反射光情報が作成される（ステップＳ２３２）。ステップＳ２３２での反射光情報の生成方法について、図１０と先に示した図５，６とを用いて説明する。図１０は、図５（ａ）の非照明時画像からステップＳ２３１で作成した距離マップである。距離が０ｍ以上３ｍ未満の範囲と人物とが、距離が３ｍ以上７ｍ未満の範囲と柵とが、距離が７ｍ以上の範囲と背景である夜空とが、それぞれ対応している。

ＣＰＵ１２１は、距離が０ｍ以上３ｍ未満の範囲の領域、距離が３ｍ以上７ｍ未満の範囲の領域、距離が７ｍ以上の範囲の領域にそれぞれ対応する被写体輝度の情報を予め記憶しておくことで、距離マップから図６の反射光情報を生成することができる。勿論、距離範囲の分割は、これに限られるものではなく、より細かな距離範囲で分割してもよい。また、被写体距離と被写体輝度との関係は数式で記憶されていてもよい。

ＣＰＵ１２１が情報生成手段として機能することでステップＳ２３２で反射光情報が作成された後、撮像素子１０７の撮像動作が開始され、撮像素子１０７により撮影された画像信号の読み出しが行われる（ステップＳ２３３）。続いて、ステップＳ２３３で読み出した画像信号と、ＣＰＵ１２１内のＲＡＭに記憶されている反射光情報（各画素に対応した輝度比）から、照明時シミュレーション画像が生成される（ステップＳ２３４）。ステップＳ２３４で生成した照明時シミュレーション画像は、ライブビュー用の画質低画像にリサイズされて、表示部１３１に表示される（ステップＳ２３５）。

ステップＳ２３５の後、操作スイッチ１３２の状態から撮影開始スイッチがオン操作されたか否かが判定される（ステップＳ２３６）。オン操作された場合（Ｓ２３６で“ＹＥＳ”）、処理はステップＳ２１７（図７参照）へ進められ、オン操作されていない場合（Ｓ２３６で“ＮＯ”）、処理はステップＳ２３７へ進められる。

ステップＳ２３７では、操作スイッチ１３２の状態から撮影準備スイッチがオン操作されたかが判定される。オン操作された場合（Ｓ２３７で“ＹＥＳ”）、処理はステップＳ２３１へ戻され、オン操作されていない場合（Ｓ２３７で“ＮＯ”）、処理はステップＳ２０２（図７参照）に戻される。

次に、上述したステップＳ２１７の処理（撮影）の詳細について、図９を参照して以下に説明する。ステップＳ２１２内のステップＳ２３６で撮影開始スイッチがオン操作されると、ステップＳ２１７の最初の処理として、ストロボ撮影か否かが判定される（ステップＳ２６１）。ストロボ撮影の場合（Ｓ２６１で“ＹＥＳ”）、処理はステップＳ２６２へ進められ、ストロボ撮影でない場合（Ｓ２６１で“ＮＯ”）、処理はステップＳ２６３へ進められる。ステップＳ２６１での判定方法は、ステップＳ２０９（つまり、第１実施形態で図３を参照して説明したステップＳ１０９）と同じである。

ステップＳ２６２では、ＣＰＵ１２１が撮像素子１０７の撮像動作を開始すると共に、ストロボ制御回路１２２がステップＳ２１０で決定された発光量で撮影動作に同期してストロボ装置１１５を点灯制御し、撮像素子により撮影された画像信号が読み出される。一方、ステップＳ２６３では、ＣＰＵ１２１が撮像素子１０７の撮像動作を開始し、撮像素子１０７により撮影された画像信号が読み出される。

ステップＳ２６２及びステップＳ２６３で読み出された画像に対して、γ補正やエッジ強調等の画像処理が施され（ステップＳ２６４）、画像処理された画像の画像データはメモリ１３３に記憶される（ステップＳ２６５）。こうしてメモリ１３３に記憶された撮影済み画像が表示部１３１に表示され（ステップＳ２６６）、処理は図７のメインフローに戻される。すなわち、ステップＳ２６６の後、デジタルカメラによる一連の撮影動作は終了となる。

上述の通り、第２実施形態では、ステップＳ２３１〜Ｓ２３２の処理の通り、距離マップが作成され、距離に応じた反射光情報が算出され、記憶される。また、ステップＳ２３４の処理の通り、記憶されている反射光情報と非照明時画像から照明時シミュレーション画像を生成している。このような構成により、ストロボ照射の効果を本撮影の前にストロボ照明を行うことなく確認することができると共に、電池１３５の消耗を抑えることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

１０１ 第１レンズ群
１０２ 絞り兼用シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
１１３ プリズムアクチュエータ
１１４ フォーカスアクチュエータ
１１５ ストロボ装置
１２１ ＣＰＵ
１２２ ストロボ制御回路
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１３１ 表示部
１３２ 操作スイッチ
１３３ メモリ
１３４ ブレ検知回路

Claims (17)

1. 被写体を照明する照明手段を用いた撮像ができる撮像装置であって、
   被写体を撮像する撮像手段と、
   前記照明手段によって被写体を照明せずに前記撮像手段によって取得された非照明時画像の輝度に関する情報と、前記照明手段によって被写体を照明して前記撮像手段によって取得した照明時画像の輝度に関する情報に基づいて反射光情報を生成する情報生成手段と、
   前記照明手段によって被写体が照明された状態に関するシミュレーション画像を表示手段に逐次表示する場合に、前記非照明時画像と前記反射光情報とに基づいて、前記シミュレーション画像を生成する画像生成手段と、
   前記反射光情報を生成するために前記照明手段によって被写体を照明させるか否かを判定する判定手段と、を備えることを特徴とする撮像装置。
2. 前記画像生成手段は、前記情報生成手段によって新たに前記反射光情報が生成された際に、当該新たに生成された前記反射光情報に基づいて前記シミュレーション画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記反射光情報を記憶した前回の時間から予め定められた一定時間が経過したことを検知した場合に、前記照明手段を照明させると判定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像装置のブレ量を検知するブレ検知手段を更に備え、
   前記判定手段は、前記ブレ検知手段が検知したブレ量が予め定められた一定量以上である場合に、前記照明手段を照明させると判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記判定手段は、前記撮像手段により得られた画像から求められた前記画像に含まれる被写体輝度が予め定められた一定量以上変化した場合に、前記照明手段を照明させると判定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像装置から前記被写体までの被写体距離を測定する測定手段を更に備え、
   前記判定手段は、前記測定手段により測定された被写体距離に予め定められた一定値以上の変化があった場合に、前記照明手段を照明させると判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記反射光情報を記憶する記憶手段を更に備え、
   前記判定手段は、前記記憶手段に前記反射光情報が記憶されていない場合に、前記照明手段を照明させると判定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記情報生成手段は、前記非照明時画像と前記照明時画像の画素単位又は複数の画素からなるブロック単位の輝度比を用いて前記反射光情報を生成することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記照明手段の発光量を変更する変更手段を更に備え、
   前記画像生成手段は、前記変更手段によって前記照明手段の発光量が変更された場合に、当該変更された前記照明手段の発光量と前記反射光情報に基づいて、前記変更手段によって変更された前記照明手段の発光量を反映させた前記シミュレーション画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 被写体を本撮影する際の被写体に対する前記照明手段による本発光量を算出する発光量算出手段を更に備え、
    前記画像生成手段は、前記発光量算出手段によって算出された前記本発光量が前記照明手段によって照明可能な発光量を超えている場合に、前記本発光量に対して前記照明手段が照明可能な発光量では不足する発光量を前記反射光情報に基づいて補正することにより、前記本発光量で得られる画像と同様の明るさの画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 被写体を照明する照明手段を用いた撮像ができる撮像装置であって、
    被写体を撮像する撮像手段と、
    前記撮像手段によって取得した画像に基づいて、被写体までの被写体距離を測定する測定手段と、
    前記照明手段によって被写体を照明せずに前記撮像手段によって取得された非照明時画像と、前記測定手段によって測定された前記非照明時画像に対応する前記被写体距離に基づいて、前記非照明時画像に含まれる被写体の位置関係を示す距離マップを作成する作成手段と、
    前記作成手段により作成された前記距離マップと、前記被写体距離に対応する被写体輝度に関する情報とに基づいて反射光情報を生成する情報生成手段と、
    前記照明手段によって被写体が照明された状態に関するシミュレーション画像を表示手段に逐次表示する場合に、前記非照明時画像と前記反射光情報とに基づいて前記シミュレーション画像を生成する画像生成手段と、を備えることを特徴とする撮像装置。
12. 前記撮像手段によって取得した前記非照明時画像に基づいてデフォーカス量を取得するデフォーカス量取得手段を更に備え、
    前記測定手段は、前記デフォーカス量取得手段によって取得した前記デフォーカス量に基づいて前記被写体距離を測定することを特徴とする請求項１１に記載の撮像装置。
13. 前記測定手段は、前記撮像手段に被写体の光学像を導く撮影レンズに関する情報に基づいて前記被写体距離を測定することを特徴とする請求項１１又は１２に記載の撮像装置。
14. 前記照明手段の発光量を変更する変更手段を更に備え、
    前記画像生成手段は、前記変更手段によって前記照明手段の発光量が変更された場合に、当該変更された前記照明手段の発光量と前記反射光情報とに基づいて、前記変更手段によって変更された前記照明手段の発光量を反映させた前記シミュレーション画像を生成することを特徴とする請求項１１乃至１３のいずれ１項に記載の撮像装置。
15. 被写体を本撮影する際の被写体に対する前記照明手段による本発光量を算出する発光量算出手段を更に備え、
    前記画像生成手段は、前記発光量算出手段によって算出された前記本発光量が前記照明手段によって照明可能な発光量を超えている場合に、前記本発光量に対して前記照明手段が照明可能な発光量では不足する発光量を前記反射光情報に基づいて補正することにより、前記本発光量で得られる画像と同様の明るさの画像を生成することを特徴とする請求項１１乃至１４のいずれか１項に記載の撮像装置。
16. 被写体を撮像する撮像手段を備え、被写体を照明する照明手段を用いた撮像ができる撮像装置の制御方法であって、
    前記照明手段によって被写体を照明せずに前記撮像手段によって取得された非照明時画像の輝度に関する情報と前記照明手段によって被写体を照明して前記撮像手段によって取得された照明時画像の輝度に関する情報に基づいて反射光情報を生成する情報生成ステップと、
    前記照明手段によって被写体が照明された状態に関するシミュレーション画像を表示手段に逐次表示する場合に、前記非照明時画像と前記反射光情報とに基づいて、前記シミュレーション画像を生成する画像生成ステップと、
    前記反射光情報を生成するために前記照明手段によって被写体を照明させるか否かを判定する判定ステップと、を有することを特徴とする撮像装置の制御方法。
17. 被写体像を撮像する撮像手段を備え、被写体を照明する照明手段を用いた撮像ができる撮像装置の制御方法であって、
    前記撮像手段によって取得した画像に基づいて前記被写体までの被写体距離を測定する測定ステップと、
    前記照明手段によって被写体を照明せずに前記撮像手段によって取得された非照明時画像と、前記測定ステップによって測定された前記非照明時画像に対応する前記被写体距離に基づいて、前記非照明時画像に含まれる被写体の位置関係を示す距離マップを作成する作成ステップと、
    前記作成ステップで作成された前記距離マップと、前記被写体距離に対応する被写体輝度に関する情報とに基づいて反射光情報を生成する情報生成ステップと、
    前記照明手段によって被写体が照明された状態に関するシミュレーション画像を表示手段に逐次表示する場合に、前記非照明時画像と前記反射光情報とに基づいて前記シミュレーション画像を生成する画像生成ステップと、を有することを特徴とする撮像装置の制御方法。