JP4934123B2

JP4934123B2 - 撮影装置および方法

Info

Publication number: JP4934123B2
Application number: JP2008253926A
Authority: JP
Inventors: 慎也藤原
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-09-30
Filing date: 2008-09-30
Publication date: 2012-05-16
Anticipated expiration: 2028-09-30
Also published as: US20100080550A1; US7873271B2; JP2010087790A

Description

本発明は、同一被写体に対して、撮影条件が互いに異なる複数回の撮影を行ない、これにより得られた画像信号を処理して種々の画像信号を取得する撮影装置および方法に関するものである。

デジタルカメラに用いられる撮像手段であるＣＣＤは、銀塩フィルムと比較してダイナミックレンジが狭いため、画像の白飛びや黒つぶれが生じやすい。このため、広ダイナミックレンジの画像信号を取得するために、異なる露光条件で撮像を行なって、例えば高輝度側の情報量が多い画像と低輝度側の情報量が多い画像等、輝度毎の情報量が異なる複数枚の画像信号を取得してこれらを合成することにより、広いダイナミックレンジを確保して、高輝度から低輝度まで広い範囲で良好な再現性を有するダイナミックレンジ拡大画像信号を取得する技術が知られている。

このように複数の画像信号に基づいてより広いダイナミックレンジの画像信号を取得する方法については、例えば特許文献１〜３で開示されている。
特開２０００−０７８４６２号公報特開２００６−１４８５９１号公報特開２００８−０１６８６２号公報

上記のような技術を用いて、ダイナミックレンジを通常撮影時と比較してｎ倍に拡大させたダイナミックレンジ拡大画像信号を取得する場合、一般的には、通常撮影時と同等の露光量で撮影した画像信号と、通常撮影時の１／ｎ倍の露光量で撮影した画像信号とが必要になる。例えばダイナミックレンジを８００％（８倍）に拡大させる場合には、通常撮影時と同等の露光量で撮影した画像信号に加え、通常撮影時の１／８倍の露光量で撮影した画像信号が必要となる。すなわち、ダイナミックレンジを広く拡大しようとすると、通常撮影時と比較してより露光量を少なくしなければならないことになる。

また、上記のような技術を、フラッシュを発光させて取得した画像信号に対して適用する場合、フラッシュを通常発光して通常撮影時と同等の露光量で撮影した画像信号と、フラッシュの発光量を１／ｎ倍に抑えて通常撮影時の１／ｎ倍の露光量で撮影した画像信号とが必要になる。

しかしながら、設定した露光比に合わせてフラッシュの光量を精密に制御するのは非常に困難であり、上記特許文献１に記載のようにフラッシュの発光時間を変更することにより発光量を制御する方法では、フラッシュ光量にばらつきが生じて高精度のダイナミックレンジ拡大処理を行うことができない。

また、上記特許文献２および３では、そもそもフラッシュの発光時の制御については何も開示されていない。

さらに、上記のように複数の画像信号に基づいて１つの画像信号を生成するものについては、ダイナミックレンジ拡大処理に限らず、例えば、複数フレームの画像信号に基づいて被写界深度が浅い画像、もしくは逆に被写界深度が深い画像を生成する、いわゆるマルチフレーム処理等、種々の画像処理があるが、これらについても、フラッシュ発光時の問題は同様である。

本発明は、上記事情に鑑みなされたものであり、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像信号を取得し、これらを処理してダイナミックレンジ拡大画像信号等を取得する際に、フラッシュ発光撮影を行なった場合でも高精度に画像処理を行うことが可能な撮影装置および方法を提供することを目的とするものである。

本発明の第１の撮影装置は、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、複数回の撮影に対応した複数の画像信号を取得する撮像手段と、被写体に向けてフラッシュを発光する発光手段と、複数の画像信号を処理する画像信号処理手段と、フラッシュを発光して第１の撮影を行なうステップ、フラッシュの発光を禁止して第２の撮影を行なうステップ、第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、第１の撮影の撮影条件および第２の撮影の撮影条件の差と、影響信号量Ｆ１とに基づいて、第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、画像信号Ｐ２に影響信号量Ｆ２を加算して、第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる通常撮影方式により撮影を行なうように、撮像手段、発光手段および画像信号処理手段を制御する制御手段とを備えていることを特徴とするものである。

また、本発明の第２の撮影装置は、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、複数回の撮影に対応した複数の画像信号を取得する撮像手段と、被写体に向けてフラッシュを発光する発光手段と、複数の画像信号を処理する画像信号処理手段と、フラッシュを発光して第１の撮影を行なうステップ、フラッシュの発光を禁止して第２の撮影を行なうステップ、第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光に起因する白飛び量Ｗを算出するステップ、白飛び量Ｗに基づき、画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、第１の撮影の撮影条件および第２の撮影の撮影条件の差と、影響信号量Ｆ１とに基づいて、第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、画像信号Ｐ２に影響信号量Ｆ２を加算して、第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる白飛び時撮影方式により撮影を行なうように、撮像手段、発光手段および画像信号処理手段を制御する制御手段とを備えていることを特徴とするものである。

また、本発明の第３の撮影装置は、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、複数回の撮影に対応した複数の画像信号を取得する撮像手段と、被写体に向けてフラッシュを発光する発光手段と、複数の画像信号を処理する画像信号処理手段と、第１の撮影の際に発光するフラッシュの影響により第１の撮影により取得された画像信号Ｐ１中に白飛びが発生するか否か判定する判定手段と、判定手段により白飛びが発生しないと判定された場合には、上記通常撮影方式により撮影を行ない、判定手段により白飛びが発生すると判定された場合には、上記白飛び時撮影方式により撮影を行なうように、撮像手段、発光手段および画像信号処理手段を制御する制御手段とを備えていることを特徴とするものである。

上記第１から第３の撮影装置において、画像信号処理手段は、画像信号Ｐ１および画像信号Ｐ２´´に基づいてダイナミックレンジ拡大画像信号Ｐｃを取得するものとしてもよい。

また、撮像手段は、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備えたものとしてもよい。

本発明の第１の撮影方法は、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、複数回の撮影に対応した複数の画像信号を取得し、取得した複数の画像信号を処理する撮影方法において、フラッシュを発光して第１の撮影を行なうステップ、フラッシュの発光を禁止して第２の撮影を行なうステップ、第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、第１の撮影の撮影条件および第２の撮影の撮影条件の差と、影響信号量Ｆ１とに基づいて、第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、画像信号Ｐ２に影響信号量Ｆ２を加算して、第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる通常撮影方式により撮影を行なうことを特徴とするものである。

また、本発明の第２の撮影方法は、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、複数回の撮影に対応した複数の画像信号を取得し、取得した複数の画像信号を処理する撮影方法において、フラッシュを発光して第１の撮影を行なうステップ、フラッシュの発光を禁止して第２の撮影を行なうステップ、第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光に起因する白飛び量Ｗを算出するステップ、白飛び量Ｗに基づき、画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、第１の撮影の撮影条件および第２の撮影の撮影条件の差と、影響信号量Ｆ１とに基づいて、第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、画像信号Ｐ２に影響信号量Ｆ２を加算して、第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる白飛び時撮影方式により撮影を行なうことを特徴とするものである。

また、本発明の第３の撮影方法は、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、複数回の撮影に対応した複数の画像信号を取得し、取得した複数の画像信号を処理する撮影方法において、第１の撮影の際に発光するフラッシュの影響により第１の撮影により取得された画像信号Ｐ１中に白飛びが発生するか否か判定し、白飛びが発生しないと判定した場合には、上記通常撮影方式により撮影を行ない、白飛びが発生すると判定した場合には、上記白飛び時撮影方式により撮影を行なうことを特徴とするものである。

上記第１から第３の撮影方法においては、さらに画像信号Ｐ１および画像信号Ｐ２´´に基づいてダイナミックレンジ拡大画像信号Ｐｃを取得してもよい。

なお、上記第１から第３の撮影装置および方法において、ダイナミックレンジ拡大画像信号Ｐｃを取得する際は、最低限、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の２つの撮影を行ない、この撮影に対応して取得された画像信号Ｐ１およびＰ２を用いればよいが、勿論これ以上の撮影を行なうことにより取得された画像信号を適宜用いてもよい。

また、上記第１から第３の撮影装置および方法において取得される「第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´」については、上記のダイナミックレンジ拡大画像信号の生成処理以外にも、例えば、複数フレームの画像信号に基づいて被写界深度が浅い画像、もしくは逆に被写界深度が深い画像を生成する、いわゆるマルチフレーム処理等、種々の画像処理に適用することが可能である。

本発明の第１の撮影装置および方法によれば、同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、複数回の撮影に対応した複数の画像信号を取得し、取得した複数の画像信号を処理する撮影方法において、第１の撮影の撮影時のみフラッシュを発光し、第２の撮影時のフラッシュの影響量は、第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１に基づいて演算により算出するようにして、フラッシュの微小発光制御等を行なうことなく、フラッシュを発光せずに撮影したものについてもフラッシュを発光させた場合に取得されると推測される画像信号を取得できるようにしたため、ダイナミックレンジ拡大画像信号の生成処理や、複数フレームの画像信号に基づいて被写界深度が浅い画像、もしくは逆に被写界深度が深い画像を生成する、いわゆるマルチフレーム処理等、種々の画像処理に適用してより効果的な画像信号を生成させることが可能となる。

また、本発明の第２の撮影装置および方法によれば、上記第１の撮影装置および方法と比較して、さらに第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光に起因する白飛び量Ｗを考慮して第２の撮影時のフラッシュの影響量を算出するようにしたので、より効果的な画像信号を生成させることが可能となる。

また、本発明の第３の撮影装置および方法によれば、第１の撮影の際に発光するフラッシュの影響により第１の撮影により取得された画像信号Ｐ１中に白飛びが発生するか否か判定し、白飛びが発生しないと判定した場合には、上記通常撮影方式（第１の撮影装置および方法）により撮影を行ない、白飛びが発生すると判定した場合には、上記通常撮影方式（第１の撮影装置および方法）よりは処理工程が多くなるものの、より正確な処理を行うことが可能な上記白飛び時撮影方式（第２の撮影装置および方法）により撮影を行なうようにしたので、画像信号Ｐ１中の白飛びの有無に応じて適切な処理を選択することが可能となる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態の撮影装置を適用したデジタルカメラの概略ブロック図である。

図１に示すように、本実施の形態のデジタルカメラ１は、ＣＰＵ１０と、撮像部１１と、画像処理部１２と、記憶部１３と、操作部１４と、表示部１５と、検出部１６と、発光部１７と、記録媒体読取部１８とから概略構成されている。

撮像部１１は、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像信号を取得可能に構成されたものであって、不図示のレンズ群およびレンズ駆動部、撮像素子としてのＣＣＤ１１ａ、不図示のＣＣＤ駆動部、アナログ処理部１１ｂおよびＡ／Ｄ変換部１１ｃ等を備えている。

なお、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像信号を取得する方法については、被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなるＣＣＤを用いて撮影を行なうことにより複数の画像信号を取得する方法としてもよいし、通常のＣＣＤを用いて高速で連続撮影を行なうことにより複数の画像信号を取得する方法としてもよい。

ＣＣＤ１１ａの受光面に結像された被写体像は、ＣＣＤ１１ａ上の各センサで入射光量に応じた量の信号電荷に変換される。なおＣＣＤ１１ａはシャッターゲートパルスのタイミングによって各センサの電荷蓄積時間（シャッタースピード）を制御する、いわゆる電子シャッター機能を有している。

各センサに蓄積された信号電荷は、ＣＣＤ駆動部から加えられるパルスに基づいて信号電荷に応じた電圧信号（アナログ撮像信号）として順次ＣＣＤ１１ａから読み出される。ＣＣＤ１１ａから出力されたアナログ撮像信号は、アナログ処理部１１ｂに送られる。

アナログ処理部１１ｂは、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路を含み、このアナログ処理部１１ｂにおいて、相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。

アナログ処理部１１ｂから出力された信号は、Ａ／Ｄ変換部１１ｃによりデジタル信号に変換された後、画像処理部１２に送られる。なおＣＣＤ駆動部、アナログ処理部１１ｂおよびＡ／Ｄ変換部１１ｃは、ＣＰＵ１０の指令に従ってタイミングジェネレータから加えられるタイミング信号により同期して駆動されるようになっている。

画像処理部１２は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス調整回路、コントラスト補正回路、ホワイトバランス調整回路等の画質調整回路、さらには同一被写体を撮影した複数の画像信号を処理して１つのダイナミックレンジ拡大画像信号を取得する画像合成回路（画像信号処理手段）を含むデジタルシグナルプロセッサ（ＤＳＰ）で構成されており、ＣＰＵ１０からの指令に基づいて画像信号を処理する。

記憶部１３は、各種データを記憶可能な半導体メモリ等によって構成されている。記憶部１３は、デジタルカメラを作動させるためのシステムプログラム等を記憶している。

操作部１４は、レリーズボタン３３や、各種操作設定を行なうためのボタン等から構成されている。

表示部１５は、液晶や有機ＥＬ等のモニタから構成される。

検出部１６は、被写体情報や被写界情報を検出する各種センサより構成される。

発光部１７は、フラッシュ発光を行なうためのものであって、キセノンランプ等により構成される。

記憶媒体読取部１８は、記録媒体１９が挿填される挿填口（メディアスロット）を備えており、記録媒体１９がメディアスロットに挿填されると、記録媒体１９に対してデータの読取／書込が行われる。

なお、この記録媒体１９はｘＤピクチャーカード（登録商標）、スマートメディア（登録商標）、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティック（登録商標）等を使用でき、電子的、磁気的、若しくは光学的、又はこれらの組合せによる方式に従って読み書き可能な種々の媒体を用いることができ、このとき使用される媒体に応じた信号処理手段とインターフェースが適用される。

ＣＰＵ１０は、操作部１４からの入力に基づいてデジタルカメラ１を総括的に制御するものであり、操作部１４からの指示に応じて記憶部１３や記録媒体１９に記憶されているデータを読み出す読出制御手段として機能すると共に、レンズ駆動部のズーミング動作、焦点調節（ＡＦ）動作および自動露出調節（ＡＥ）動作等を制御する動作制御手段や表示部１５における表示を制御する表示制御手段としても機能する。

また、後述の所定の撮影方式により撮影を行なうように、撮像部１１、発光部１７および画像処理部１２を制御する制御手段としても機能する。

次に、上記のように構成されたデジタルカメラ１における撮影時の処理の流れについて説明する。図２はダイナミックレンジ拡大時のデータ処理についての説明図、図３は本実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャートである。

撮影が開始されると、検出部１６の各種センサにより被写体情報や被写界情報が検出される。ＣＰＵ１０では、これに基づいて最終的に取得する画像信号について、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する。さらに検出部１６の各種センサにより検出された被写体情報や被写界情報に基づいてフラッシュを発光するか否かを判断する（ステップＡ１）。

ステップＡ１においてフラッシュを発光しないと判断されると、フラッシュを発光させないで撮影を行なう非発光時撮影方式により撮影が行なわれることになる。以下、非発光時撮影方式について詳細に説明する。

まず所望のダイナミックレンジとするために必要な露光比が決定されると、主に低輝度側の情報を取得するためのＡ面と、このＡ面よりも露光量を少なくし、主に高輝度側の情報を取得するためのＢ面の２つの画像信号が取得される（ステップＡ９およびＡ１０）。例えばダイナミックレンジを４倍に拡大する場合には、図２（Ａ）に示す通り、通常露光量で撮影されるＡ面の露光比を１とすると、Ｂ面の露光比は１／４となる。次に図２（Ｂ）に示す通り、Ａ面とＢ面の２つの画像信号における輝度−信号値の傾き特性を一致させるために、Ｂ面について４倍のゲイン補正を行い、低輝度側の情報についてはＡ面の情報を使用し、高輝度側の情報についてはＢ面の情報を使用して、Ａ面とＢ面の情報を合成することによって、図２（Ｃ）に示す通り、４倍にダイナミックレンジを拡大した１つのダイナミックレンジ拡大画像信号Ｐｃを取得することができる（ステップＡ１１）。

ステップＡ１においてフラッシュを発光すると判断されると、フラッシュを発光させて撮影を行なう通常撮影方式により撮影が行なわれることになる。以下、通常撮影方式について詳細に説明する。

まず所望のダイナミックレンジとするために必要な露光比が決定されると（ステップＡ２）、フラッシュを発光して第１の撮影（Ａ面）を行い（ステップＡ３）、フラッシュの発光を禁止して第２の撮影を行なう（ステップＡ４）。

次に、第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出し（ステップＡ５）、第１の撮影の撮影条件および第２の撮影の撮影条件の差（露光比）と、影響信号量Ｆ１とに基づいて、第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出し（ステップＡ６）、画像信号Ｐ２に影響信号量Ｆ２を加算して、第２の撮影においてフラッシュを発光した場合に取得されると考えられる画像信号Ｐ２´´を取得する（ステップＡ７）。

最後に、画像信号Ｐ１および画像信号Ｐ２´´に基づいて、非発光時撮影方式と同様に、低輝度側の情報についてはＡ面の情報（画像信号Ｐ１）を使用し、高輝度側の情報についてはＢ面の情報（画像信号Ｐ２´´）を使用して、Ａ面とＢ面の情報を合成することによってダイナミックレンジ拡大画像信号Ｐｃを取得することができる（ステップＡ８）。

上記のような構成とすることにより、ダイナミックレンジ拡大処理を行う画像の撮影においてフラッシュを発光させる場合にフラッシュの微小発光制御が不要となるので、フラッシュ発光撮影を行なった場合でも高精度にダイナミックレンジ拡大処理を行うことが可能となる。

次に、本発明の第２の実施の形態の撮影装置を適用したデジタルカメラについて説明する。図４は本実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャートである。

本実施の形態は上記第１の実施の形態と比べ、撮像部１１の構成を変更するとともに、通常撮影方式における処理をより高精度なものに変更したものである。なお、変更点以外の構成は上記第１の実施の形態と同様であるため、変更点以外の説明については省略する。

本実施の形態の撮像部１１は、主に低輝度側の情報を取得するためのＡ面と、このＡ面よりも露光量を少なくし、主に高輝度側の情報を取得するためのＢ面の２つの画像信号が取得するために、１つのＣＣＤを用いて、第１の撮影（Ａ面）と第２の撮影（Ｂ面）とで露光時間を変えて高速連続撮影を行なうものである。

撮影が開始されると、検出部１６の各種センサにより被写体情報や被写界情報が検出される。ＣＰＵ１０では、これに基づいて最終的に取得する画像信号について、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する。さらに検出部１６の各種センサにより検出された被写体情報や被写界情報に基づいてフラッシュを発光するか否かを判断する（ステップＢ１）。

ステップＢ１においてフラッシュを発光しないと判断されると、フラッシュを発光させないで撮影を行なう非発光時撮影方式により撮影が行なわれることになる。なお、非発光時撮影方式（ステップＢ１０〜Ｂ１２）については、上記第１の実施の形態と同様であるため説明を省略する。

ステップＢ１においてフラッシュを発光すると判断されると、フラッシュを発光させて撮影を行なう通常撮影方式により撮影が行なわれることになる。以下、通常撮影方式について詳細に説明する。

まず所望のダイナミックレンジとするために必要な露光比が決定されると（ステップＢ２）、フラッシュを発光して露光時間Ｅで第１の撮影（Ａ面）を行い（ステップＢ３）、フラッシュの発光を禁止して露光時間Ｅ／ｔで第２の撮影（Ｂ面）を行なう（ステップＢ４）。

次に、第１の撮影と第２の撮影の露光時間の違いに応じて、（１）式により画像信号Ｐ２を露光時間Ｅで撮影した場合の画像信号Ｐ２´を算出する（ステップＢ５）。

Ｐ２´＝Ｌｉｍｉｔ（Ｐ２×ｔ）（１）
なお、Ｌｉｍｉｔ（ｘ）とは、ｘに信号リミットをかけるリミット処理を意味している。これは、実際のＣＣＤでは所定の光量以上の光が入射するとＣＣＤの信号出力が飽和するため、演算により飽和量以上の信号値が発生した場合には、これを制限しないと実際の画像信号を再現できないために行なう処理である。

次に、画像信号Ｐ１と画像信号Ｐ２´に基づいて、（２）式により画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出し（ステップＢ６）、影響信号量Ｆ１に基づいて、（３）式により第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出し（ステップＢ７）、画像信号Ｐ２と影響信号量Ｆ２に基づいて、（４）式により第２の撮影においてフラッシュを発光した場合に取得されると考えられる画像信号Ｐ２´´を算出する（ステップＢ８）。

Ｆ１＝Ｐ１−Ｐ２´ （２）
Ｆ２＝Ｆ１／ｔ（３）
Ｐ２´´＝Ｌｉｍｉｔ（Ｐ２＋Ｆ２）（４）
最後に、画像信号Ｐ１および画像信号Ｐ２´´に基づいて、非発光時撮影方式と同様に、低輝度側の情報についてはＡ面の情報（画像信号Ｐ１）を使用し、高輝度側の情報についてはＢ面の情報（画像信号Ｐ２´´）を使用して、Ａ面とＢ面の情報を合成することによってダイナミックレンジ拡大画像信号Ｐｃを取得することができる（ステップＢ９）。

上記のような構成としても、上記第１の実施の形態と同様の効果を得ることができる。

次に、本発明の第３の実施の形態の撮影装置を適用したデジタルカメラについて説明する。図５は本実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャートである。

本実施の形態の撮像部１１は、主に低輝度側の情報を取得するためのＡ面と、このＡ面よりも露光量を少なくし、主に高輝度側の情報を取得するためのＢ面の２つの画像信号が取得するために、被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなるＣＣＤを用いている。なお、第１の受光素子および第２の受光素子は同じ感度で、電子シャッターを用いて各々異なる露光時間で撮影を行なうことにより、第１の撮影（Ａ面）と第２の撮影（Ｂ面）とを異なる露光比で一度に行なえるものである。

撮影が開始されると、検出部１６の各種センサにより被写体情報や被写界情報が検出される。ＣＰＵ１０では、これに基づいて最終的に取得する画像信号について、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する。さらに検出部１６の各種センサにより検出された被写体情報や被写界情報に基づいてフラッシュを発光するか否かを判断する（ステップＣ１）。

ステップＣ１においてフラッシュを発光しないと判断されると、フラッシュを発光させないで撮影を行なう非発光時撮影方式により撮影が行なわれることになる。なお、非発光時撮影方式（ステップＣ１２〜Ｃ１４）については、上記第１の実施の形態と同様であるため説明を省略する。

ステップＣ１においてフラッシュを発光すると判断されると、フラッシュを発光させて撮影を行なう通常撮影方式により撮影が行なわれることになる。以下、通常撮影方式について詳細に説明する。

まず所望のダイナミックレンジとするために必要な露光比が決定されると（ステップＣ２）、露光時間Ｅで第１の撮影（Ａ面）を開始し（ステップＣ３）、Ａ面側のみに照射されるようにフラッシュを発光し（ステップＣ４）、露光時間Ｅ／ｔで第２の撮影（Ｂ面）を開始し（ステップＣ５）、そして第１の撮影（Ａ面）および第２の撮影（Ｂ面）を終了させる（ステップＣ６）。

次に、第１の撮影と第２の撮影の露光時間の違いに応じて、（１）式により画像信号Ｐ２を露光時間Ｅで撮影した場合の画像信号Ｐ２´を算出する（ステップＣ７）。

Ｐ２´＝Ｌｉｍｉｔ（Ｐ２×ｔ）（１）
次に、画像信号Ｐ１と画像信号Ｐ２´に基づいて、（２）式により画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出し（ステップＣ８）、影響信号量Ｆ１に基づいて、（３）式により第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出し（ステップＣ９）、画像信号Ｐ２と影響信号量Ｆ２に基づいて、（４）式により第２の撮影においてフラッシュを発光した場合に取得されると考えられる画像信号Ｐ２´´を算出する（ステップＣ１０）。

Ｆ１＝Ｐ１−Ｐ２´ （２）
Ｆ２＝Ｆ１／ｔ（３）
Ｐ２´´＝Ｌｉｍｉｔ（Ｐ２＋Ｆ２）（４）
最後に、画像信号Ｐ１および画像信号Ｐ２´´に基づいて、非発光時撮影方式と同様に、低輝度側の情報についてはＡ面の情報（画像信号Ｐ１）を使用し、高輝度側の情報についてはＢ面の情報（画像信号Ｐ２´´）を使用して、Ａ面とＢ面の情報を合成することによってダイナミックレンジ拡大画像信号Ｐｃを取得することができる（ステップＣ１１）。

次に、本発明の第４の実施の形態の撮影装置を適用したデジタルカメラについて説明する。図６は本実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャート（１）、図７はフローチャート（２）である。

本実施の形態は上記第１の実施の形態と比べ、第１の撮影の際に発光するフラッシュの影響により第１の撮影により取得された画像信号Ｐ１中に白飛びが発生するか否か判定し、白飛びが発生すると判定した場合には白飛び発生時専用の処理を行なうように変更したものである。なお、変更点以外の構成は上記第１の実施の形態と同様であるため、変更点以外の説明については省略する。

図６のフローチャート（１）に示すように、撮影が開始されると、検出部１６の各種センサにより被写体情報や被写界情報が検出される。ＣＰＵ１０では、これに基づいて最終的に取得する画像信号について、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する。さらに検出部１６の各種センサにより検出された被写体情報や被写界情報に基づいてフラッシュを発光するか否かを判断する（ステップＤ１）。

ステップＤ１においてフラッシュを発光しないと判断されると、フラッシュを発光させないで撮影を行なう非発光時撮影方式により撮影が行なわれることになる（ステップＤ７）。なお、非発光時撮影方式については、上記第１の実施の形態と同様であるため説明を省略する。

ステップＤ１においてフラッシュを発光すると判断されると、所望のダイナミックレンジとするために必要な露光比に基づいてフラッシュの発光量Ｅｖｆを算出し（ステップＤ２）、そして発光量Ｅｖｆのフラッシュの影響により第１の撮影により取得された画像信号Ｐ１中に白飛びが発生するか否か判定し（ステップＤ３、Ｄ４）、ステップＤ３、Ｄ４において白飛びが発生しないと判断されると、通常撮影方式により撮影が行なわれることになる（ステップＤ５）。なお、通常撮影方式については、上記第１の実施の形態と同様であるため説明を省略する。

ステップＤ３、Ｄ４において白飛びが発生すると判断されると、白飛び時撮影方式により撮影が行なわれることになる（ステップＤ６）。以下、白飛び時撮影方式について詳細に説明する。

図７のフローチャート（１）に示すように、まず所望のダイナミックレンジとするために必要な露光比とフラッシュ発光量Ｅｖｆが決定されると、これに基づいて第１の撮影において白飛びしないフラッシュの発光量Ｅｖｆ／ｕを求め（ステップＥ１）、発光量Ｅｖｆのフラッシュを発光して第１の撮影（Ａ面）を行い（ステップＥ２）、フラッシュの発光を禁止して第２の撮影を行なう（ステップＥ３）。

次に、第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出し（ステップＥ４）、第１の撮影の撮影条件および第２の撮影の撮影条件の差（露光比）と、影響信号量Ｆ１とフラッシュ減少率１／ｕに基づいて、第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出し（ステップＥ５）、画像信号Ｐ２に影響信号量Ｆ２を加算して、第２の撮影においてフラッシュを発光した場合に取得されると考えられる画像信号Ｐ２´´を取得する（ステップＥ６）。

さらに画像信号Ｐ１に対し、白飛びしないようにフラッシュの発光量を抑えた分（Ｆ１×（１−１／ｕ））を加算し、第１の撮影においてフラッシュの発光量を抑えずに発光した場合に取得されると考えられる画像信号Ｐ１´を取得する（ステップＥ７）。

最後に、画像信号Ｐ１´および画像信号Ｐ２´´に基づいて、非発光時撮影方式と同様に、低輝度側の情報についてはＡ面の情報（画像信号Ｐ１´）を使用し、高輝度側の情報についてはＢ面の情報（画像信号Ｐ２´´）を使用して、Ａ面とＢ面の情報を合成することによってダイナミックレンジ拡大画像信号Ｐｃを取得することができる（ステップＥ８）。

次に、本発明の第５の実施の形態の撮影装置を適用したデジタルカメラについて説明する。図８は本実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャートである。

本実施の形態は上記第４の実施の形態と比べ、白飛び時撮影方式における処理を変更したものである。なお、変更点以外の構成は上記第１の実施の形態と同様であるため、変更点以外の説明については省略する。

撮影が開始されると、検出部１６の各種センサにより被写体情報や被写界情報が検出される。ＣＰＵ１０では、これに基づいて最終的に取得する画像信号について、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する。さらに検出部１６の各種センサにより検出された被写体情報や被写界情報に基づいてフラッシュを発光するか否かを判断する（ステップＦ１）。

ステップＦ１においてフラッシュを発光しないと判断されると、フラッシュを発光させないで撮影を行なう非発光時撮影方式により撮影が行なわれることになる。なお、非発光時撮影方式（ステップＦ１１〜Ｃ１３）については、上記第１の実施の形態と同様であるため説明を省略する。

ステップＦ１においてフラッシュを発光すると判断されると、フラッシュを発光させ、かつ第１の撮影により取得された画像信号中のフラッシュの影響による白飛び量Ｗを考慮して補正を行う白飛び時撮影方式により撮影が行なわれることになる。以下、白飛び時撮影方式について詳細に説明する。

まず所望のダイナミックレンジとするために必要な露光比とフラッシュ発光量を決定し（ステップＦ２）、これに基づいて上記フラッシュ発光量で第１の撮影を行なった場合に取得される画像信号中のフラッシュの影響による白飛び量Ｗを算出し（ステップＦ３）、フラッシュを発光して露光時間Ｅで第１の撮影（Ａ面）を行い（ステップＦ４）、フラッシュの発光を禁止して露光時間Ｅ／ｔで第２の撮影を行なう（ステップＦ５）。

ここで、白飛び量Ｗの算出方法については、例えば、本撮影前にＣＣＤ調光用として本来のフラッシュ発光量よりも抑えて白飛びを発生させないようにして撮影したプレ発光画像と非発光画像とを比較してプレ発光時のフラッシュの影響量を算出し、これを本来のフラッシュ発光量に換算することにより白飛び量Ｗを求める等、どのような方法を用いてもよい。

次に、第１の撮影と第２の撮影の露光時間の違いに応じて、（１）式により画像信号Ｐ２を露光時間Ｅで撮影した場合の画像信号Ｐ２´を算出する（ステップＦ６）。

Ｐ２´＝Ｌｉｍｉｔ（Ｐ２×ｔ）（１）
次に、画像信号Ｐ１、画像信号Ｐ２´および白飛び量Ｗに基づいて、（５）式により画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出し（ステップＦ７）、影響信号量Ｆ１に基づいて、（３）式により第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出し（ステップＦ８）、画像信号Ｐ２と影響信号量Ｆ２に基づいて、（４）式により第２の撮影においてフラッシュを発光した場合に取得されると考えられる画像信号Ｐ２´´を算出する（ステップＦ９）。

Ｆ１＝Ｐ１−Ｐ２´＋Ｗ（５）
Ｆ２＝Ｆ１／ｔ（３）
Ｐ２´´＝Ｌｉｍｉｔ（Ｐ２＋Ｆ２）（４）
最後に、画像信号Ｐ１および画像信号Ｐ２´´に基づいて、非発光時撮影方式と同様に、低輝度側の情報についてはＡ面の情報（画像信号Ｐ１）を使用し、高輝度側の情報についてはＢ面の情報（画像信号Ｐ２´´）を使用して、Ａ面とＢ面の情報を合成することによってダイナミックレンジ拡大画像信号Ｐｃを取得することができる（ステップＦ１０）。

以上、本発明の好ましい実施の形態について説明したが、本発明は上記に限定されるものではなく、例えば、「第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´」については、上記のダイナミックレンジ拡大画像信号の生成処理以外にも、複数フレームの画像信号に基づいて被写界深度が浅い画像、もしくは逆に被写界深度が深い画像を生成する、いわゆるマルチフレーム処理等、種々の画像処理に適用することが可能である。

第１の実施の形態のデジタルカメラの概略ブロック図ダイナミックレンジ拡大時のデータ処理についての説明図上記デジタルカメラにおける撮影時の処理の流れを示すフローチャート第２の実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャート第３の実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャート（１）上記フローチャート（２）第４の実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャート（１）上記デジタルカメラにおける撮影時の処理の流れを示すフローチャート（２）第５の実施の形態のデジタルカメラにおける撮影時の処理の流れを示すフローチャート（１）上記フローチャート（２）

符号の説明

１デジタルカメラ
１０ＣＰＵ
１１撮像部
１１ａＣＣＤ
１１ｂアナログ処理部
１１ｃＡ／Ｄ変換部
１２画像処理部
１３記憶部
１４操作部
１５表示部
１６検出部
１７発光部
１８記録媒体読取部
１９記録媒体

Claims

同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、該複数回の撮影に対応した複数の画像信号を取得する撮像手段と、
前記被写体に向けてフラッシュを発光する発光手段と、
前記複数の画像信号を処理する画像信号処理手段と、
フラッシュを発光して前記第１の撮影を行なうステップ、フラッシュの発光を禁止して前記第２の撮影を行なうステップ、前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、前記画像信号Ｐ２に前記影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる通常撮影方式により撮影を行なうように、前記撮像手段、前記発光手段および前記画像信号処理手段を制御する制御手段とを備えていることを特徴とする撮影装置。
同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、該複数回の撮影に対応した複数の画像信号を取得する撮像手段と、
前記被写体に向けてフラッシュを発光する発光手段と、
前記複数の画像信号を処理する画像信号処理手段と、
フラッシュを発光して前記第１の撮影を行なうステップ、フラッシュの発光を禁止して前記第２の撮影を行なうステップ、前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光に起因する白飛び量Ｗを算出するステップ、該白飛び量Ｗに基づき、前記画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、前記画像信号Ｐ２に前記影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる白飛び時撮影方式により撮影を行なうように、前記撮像手段、前記発光手段および前記画像信号処理手段を制御する制御手段とを備えていることを特徴とする撮影装置。
同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、該複数回の撮影に対応した複数の画像信号を取得する撮像手段と、
前記被写体に向けてフラッシュを発光する発光手段と、
前記複数の画像信号を処理する画像信号処理手段と、
前記第１の撮影の際に発光するフラッシュの影響により前記第１の撮影により取得された画像信号Ｐ１中に白飛びが発生するか否か判定する判定手段と、
該判定手段により白飛びが発生しないと判定された場合には、フラッシュを発光して前記第１の撮影を行なうステップ、フラッシュの発光を禁止して前記第２の撮影を行なうステップ、前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、前記画像信号Ｐ２に前記影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる通常撮影方式により撮影を行ない、該判定手段により白飛びが発生すると判定された場合には、フラッシュを発光して前記第１の撮影を行なうステップ、フラッシュの発光を禁止して前記第２の撮影を行なうステップ、前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光に起因する白飛び量Ｗを算出するステップ、該白飛び量Ｗに基づき、前記画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、前記画像信号Ｐ２に前記影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる白飛び時撮影方式により撮影を行なうように、前記撮像手段、前記発光手段および前記画像信号処理手段を制御する制御手段とを備えていることを特徴とする撮影装置。
前記画像信号処理手段が、前記画像信号Ｐ１および前記画像信号Ｐ２´´に基づいてダイナミックレンジ拡大画像信号Ｐｃを取得するものであることを特徴とする請求項１から３のいずれか１項記載の撮影装置。
前記撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなる撮像素子であることを特徴とする請求項１から４のいずれか１項記載の撮影装置。
同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、該複数回の撮影に対応した複数の画像信号を取得し、
取得した複数の画像信号を処理する撮影方法において、
フラッシュを発光して前記第１の撮影を行なうステップ、
フラッシュの発光を禁止して前記第２の撮影を行なうステップ、
前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、
前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、
および、前記画像信号Ｐ２に影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる通常撮影方式により撮影を行なうことを特徴とする撮影方法。
同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、該複数回の撮影に対応した複数の画像信号を取得し、
取得した複数の画像信号を処理する撮影方法において、
フラッシュを発光して前記第１の撮影を行なうステップ、
フラッシュの発光を禁止して前記第２の撮影を行なうステップ、
前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光に起因する白飛び量Ｗを算出するステップ、
該白飛び量Ｗに基づき、前記画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、
前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、
および、前記画像信号Ｐ２に影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる白飛び時撮影方式により撮影を行なうことを特徴とする撮影方法。
同一被写体に対して、撮影条件が互いに異なる第１の撮影および第２の撮影の少なくとも２つ以上の複数回の撮影を行ない、該複数回の撮影に対応した複数の画像信号を取得し、
取得した複数の画像信号を処理する撮影方法において、
前記第１の撮影の際に発光するフラッシュの影響により前記第１の撮影により取得された画像信号Ｐ１中に白飛びが発生するか否か判定し、
白飛びが発生しないと判定した場合には、フラッシュを発光して前記第１の撮影を行なうステップ、フラッシュの発光を禁止して前記第２の撮影を行なうステップ、前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、前記画像信号Ｐ２に影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる通常撮影方式により撮影を行ない、
白飛びが発生すると判定した場合には、フラッシュを発光して前記第１の撮影を行なうステップ、フラッシュの発光を禁止して前記第２の撮影を行なうステップ、前記第１の撮影により取得された画像信号Ｐ１におけるフラッシュ発光に起因する白飛び量Ｗを算出するステップ、該白飛び量Ｗに基づき、前記画像信号Ｐ１におけるフラッシュ発光の影響信号量Ｆ１を算出するステップ、前記第１の撮影の撮影条件および前記第２の撮影の撮影条件の差と、前記影響信号量Ｆ１とに基づいて、前記第２の撮影においてフラッシュを発光させた場合のフラッシュ発光の影響信号量Ｆ２を算出するステップ、および、前記画像信号Ｐ２に影響信号量Ｆ２を加算して、前記第２の撮影においてフラッシュを発光させた場合に取得されると推測される画像信号Ｐ２´´を取得するステップからなる白飛び時撮影方式により撮影を行なうことを特徴とする撮影方法。
前記画像信号Ｐ１および前記画像信号Ｐ２´´に基づいてダイナミックレンジ拡大画像信号Ｐｃを取得することを特徴とする請求項６から８のいずれか１項記載の撮影方法。