JP5090302B2

JP5090302B2 - 撮影装置および方法

Info

Publication number: JP5090302B2
Application number: JP2008240880A
Authority: JP
Inventors: 誠二田中
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-09-19
Filing date: 2008-09-19
Publication date: 2012-12-05
Anticipated expiration: 2028-09-19
Also published as: EP2166749A3; JP2010074618A; US20100073513A1; KR20100033363A; CN101677368A; US8279304B2; EP2166749B1; EP2166749A2; CN101677368B

Description

本発明は、ＣＣＤ等の撮像素子を用いて広ダイナミックレンジの画像データを取得する撮影装置および方法に関するものである。

デジタルカメラに用いられる撮像手段であるＣＣＤは、銀塩フィルムと比較してダイナミックレンジが狭いため、画像の白とびや黒つぶれが生じやすい。このため、広ダイナミックレンジの画像データを取得するために、異なる露光条件で撮像を行なって、例えば高輝度側の情報量が多い画像と低輝度側の情報量が多い画像等、輝度毎の情報量が異なる複数枚の画像データを取得してこれらを合成することにより、広いダイナミックレンジを確保して、高輝度から低輝度まで広い範囲で良好な再現性を有するダイナミックレンジ拡大画像データを取得する技術が知られている。

ここで、複数枚の画像データを異なる露光条件で取得する方法としては、高感度の主画素と主画素よりも面積が小さく感度は低いが飽和しにくい副画素とを配列したＣＣＤを使用して撮影を行なうことにより各画像の露光条件を変える方法（特許文献１）や、シャッター速度を変えて撮影を行なうことにより各画像の露光条件を変える方法（特許文献２）がある。
特開２００３−１７９８１９号公報特開１１−１５５０９８号公報

上記のような技術を用いて、ダイナミックレンジを通常撮影時と比較してｎ倍に拡大させたダイナミックレンジ拡大画像データを取得する場合、一般的には、通常撮影時と同等の露光量で撮影した画像データと、通常撮影時の１／ｎ倍の露光量で撮影した画像データとが必要になる。例えばダイナミックレンジを８００％（８倍）に拡大させる場合には、通常撮影時と同等の露光量で撮影した画像データに加え、通常撮影時の１／８倍の露光量で撮影した画像データが必要となる。すなわち、ダイナミックレンジを広く拡大しようとすると、通常撮影時と比較してより露光量を少なくしなければならないことになる。

しかしながら、特許文献１の場合には、ある露光比で２つの画像を取得しようとした場合、感度の異なる主画素と副画素の２種類の画素を備えたＣＣＤにより撮影を行なうため、露光比は主画素と副画素の感度の比で一義的に決定されてしまうため、ダイナミックレンジの拡大設定を自由に行なうことができない。

また、特許文献２の場合には、シャッター速度の限界を超えて露光量を絞ることができないため、ダイナミックレンジの拡大に限界を生じてしまう。

本発明は、上記事情に鑑みなされたものであり、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して１つのダイナミックレンジ拡大画像データを取得する場合に、ハードウェアの仕様上の限界によりダイナミックレンジが制限されない撮影装置および方法を提供することを目的とするものである。

本発明の撮影装置は、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得する撮像手段と、複数の画像データの中から少なくとも１枚の画像データを処理して１つのダイナミックレンジ拡大画像データを取得する画像データ処理手段と、ダイナミックレンジ拡大画像データのダイナミックレンジを設定するダイナミックレンジ設定手段と、撮像手段および画像データ処理手段の動作を規定した複数の撮影方式の中から、ダイナミックレンジ設定手段により設定されたダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択する撮影方式選択手段と、撮影方式選択手段により選択された撮影方式によって撮影を行う撮影手段とを備えていることを特徴とするものである。

ここで、撮影方式選択手段において好適な撮影方式を選択する方法としては、被写体の対象や被写界の情報等を認識し、これに基づいて決定するようにする等、どのような方法を用いてもよい。

本発明の撮影装置においては、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいて、各撮影毎の露光比を決定する露光比決定手段と、露光比決定手段により決定された露光比による撮影が撮像手段において可能か不可能かを判定する判定手段とを備え、撮影方式選択手段が、判定手段による判定結果に基づいて、複数の撮影方式の中から好適な撮影方式を選択するものとすることが好ましい。

この場合、被写体を測光する測光手段と、測光手段による測光結果に基づいて被写体に向けてフラッシュを発光するか否かを判断する判断手段とを備え、複数の撮影方式について、撮像手段が、異なる露光で少なくとも２回の撮影を行い、画像処理手段が、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、画像処理手段が、撮影により取得された画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第２の撮影方式、および、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、画像処理手段が、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式の３つの撮影方式を有し、撮影方式選択手段が、判定手段により可能と判定され、かつ判断手段によりフラッシュを発光させないと判断された場合に第１の撮影方式を選択し、判定手段により可能と判定され、かつ判断手段によりフラッシュを発光させると判断された場合に第２の撮影方式を選択し、判定手段により不可能と判定された場合に第３の撮影方式を選択するものとしてもよい。

また、撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、第１の受光素子と第２の受光素子とで異なる露光特性を有し、露光特性の差を利用して第１の受光素子および第２の受光素子の露光差を生じさせるものであり、複数の撮影方式について、撮像手段が、異なる露光で少なくとも２回の撮影を行い、画像処理手段が、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、および、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、画像処理手段が、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式の２つの撮影方式を有し、撮影方式選択手段が、判定手段により可能と判定された場合に第１の撮影方式を選択し、判定手段により不可能と判定された場合に第３の撮影方式を選択するものとしてもよい。

また、撮像手段が、複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、複数の撮影方式について、撮像手段が、異なる露光で少なくとも２回の撮影を行い、画像処理手段が、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、および、撮像手段が、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、画像処理手段が、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式の２つの撮影方式を有し、撮影方式選択手段が、判定手段により可能と判定された場合に第１の撮影方式を選択し、判定手段により不可能と判定された場合に第３の撮影方式を選択するものとしてもよい。

また、本発明の撮影方法は、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得する撮像手段を用いて撮影を行ない、複数の画像データの中から少なくとも１枚の画像データを処理して１つのダイナミックレンジ拡大画像データを取得する撮影方法において、ダイナミックレンジ拡大画像データのダイナミックレンジを設定し、撮像手段の動作や画像データの処理の内容を規定した複数の撮影方式の中から、設定したダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択し、選択した撮影方式によって撮影を行うことを特徴とするものである。

ここで、好適な撮影方式を選択する方法としては、被写体の対象や被写界の情報等を認識し、これに基づいて決定するようにする等、どのような方法を用いてもよい。

本発明の撮影方法においては、設定したダイナミックレンジに基づいて、各撮影毎の露光比を決定し、決定した露光比による撮影が撮像手段において可能か不可能かを判定し、判定の結果に基づいて、複数の撮影方式の中から好適な撮影方式を選択することが好ましい。

この場合、複数の撮影方式について、異なる露光で少なくとも２回の撮影を行い、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、設定したダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、撮影により取得された画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第２の撮影方式、および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式の３つの撮影方式を有し、決定した露光比による撮影が撮像手段において可能と判定し、かつフラッシュを発光させない場合に第１の撮影方式を選択し、決定した露光比による撮影が撮像手段において可能と判定し、かつフラッシュを発光させる場合に第２の撮影方式を選択し、決定した露光比による撮影が撮像手段において不可能と判定した場合に第３の撮影方式を選択するものとしてもよい。

また、撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、第１の受光素子と第２の受光素子とで異なる露光特性を有し、露光特性の差を利用して第１の受光素子および第２の受光素子の露光差を生じさせるものであり、複数の撮影方式について、異なる露光で少なくとも２回の撮影を行い、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式の２つの撮影方式を有し、決定した露光比による撮影が撮像手段において可能と判定した場合に第１の撮影方式を選択し、決定した露光比による撮影が撮像手段において不可能と判定した場合に第３の撮影方式を選択するものとしてもよい。

また、撮像手段が、複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、複数の撮影方式について、異なる露光で少なくとも２回の撮影を行い、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式の２つの撮影方式を有し、決定した露光比による撮影が撮像手段において可能と判定した場合に第１の撮影方式を選択し、決定した露光比による撮影が撮像手段において不可能と判定した場合に第３の撮影方式を選択するものとしてもよい。

なお、上記撮影装置および方法の第３の撮影方式において、アンダー露光にする段数は、撮像手段の性能が不足している段数分のみをアンダー露光にすることが好ましい。例えば、Ａ面（露光比大）に比べＢ面（露光比小）の露光量を１／８にしたいが、ハードウェアの制約により１／４までしか設定できない場合には、不足分として１段アンダー露光にして撮影を行なえばよい。また、Ｂ面（露光比小）撮影時のシャッター速度を１／３８４０秒にしたいが、ハードウェアの制約により１／２０００までしか設定できない場合には、不足分として１段アンダー露光にして撮影を行なえばよい。

本発明の撮影装置および方法によれば、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して１つのダイナミックレンジ拡大画像データを取得する撮影装置および方法において、ダイナミックレンジ拡大画像データのダイナミックレンジを設定し、撮像手段の動作や画像データの処理の内容を規定した複数の撮影方式の中から、設定したダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択し、選択した撮影方式によって撮影を行うようにしたので、ハードウェアの仕様上の限界の内外に関わらず常に好適な撮影方式を選択して撮影を行ない、ダイナミックレンジ拡大画像データを取得することが可能となる。

このとき、設定したダイナミックレンジに基づいて、各撮影毎の露光比を決定し、決定した露光比による撮影が撮像手段において可能か不可能かを判定し、判定の結果に基づいて、複数の撮影方式の中から好適な撮影方式を選択するようにすれば、より適切な処理を行うことが可能になる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態の撮影装置を適用したデジタルカメラの概略ブロック図である。

図１に示すように、本実施の形態のデジタルカメラ１は、ＣＰＵ１０と、撮像部１１と、画像処理部１２と、記憶部１３と、操作部１４と、表示部１５と、検出部１６と、発光部１７と、記録媒体読取部１８とから概略構成されている。

撮像部１１は、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得可能に構成されたものであって、不図示のレンズ群およびレンズ駆動部、撮像素子としてのＣＣＤ１１ａ、不図示のＣＣＤ駆動部、アナログ処理部１１ｂおよびＡ／Ｄ変換部１１ｃ等を備えている。

なお、同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得する方法については、被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなるＣＣＤを用いて撮影を行なうことにより複数の画像データを取得する方法としてもよいし、通常のＣＣＤを用いて高速で連続撮影を行なうことにより複数の画像データを取得する方法としてもよい。また、マルチフレーム撮影により取得された画像データを利用するようにしてもよい。

ＣＣＤ１１ａの受光面に結像された被写体像は、ＣＣＤ１１ａ上の各センサで入射光量に応じた量の信号電荷に変換される。なおＣＣＤ１１ａはシャッターゲートパルスのタイミングによって各センサの電荷蓄積時間（シャッタースピード）を制御する、いわゆる電子シャッター機能を有している。

各センサに蓄積された信号電荷は、ＣＣＤ駆動部から加えられるパルスに基づいて信号電荷に応じた電圧信号（アナログ撮像信号）として順次ＣＣＤ１１ａから読み出される。ＣＣＤ１１ａから出力されたアナログ撮像信号は、アナログ処理部１１ｂに送られる。

アナログ処理部１１ｂは、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路を含み、このアナログ処理部１１ｂにおいて、相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。

アナログ処理部１１ｂから出力された信号は、Ａ／Ｄ変換部１１ｃによりデジタル信号に変換された後、画像処理部１２に送られる。なおＣＣＤ駆動部、アナログ処理部１１ｂおよびＡ／Ｄ変換部１１ｃは、ＣＰＵ１０の指令に従ってタイミングジェネレータから加えられるタイミング信号により同期して駆動されるようになっている。

画像処理部１２は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス調整回路、コントラスト補正回路、ホワイトバランス調整回路等の画質調整回路、さらには同一被写体を撮影した複数の画像データの中から少なくとも１枚の画像データを処理して１つのダイナミックレンジ拡大画像データを取得する画像合成回路（画像データ処理手段）を含むデジタルシグナルプロセッサ（ＤＳＰ）で構成されており、ＣＰＵ１０からの指令に基づいて画像信号を処理する。

記憶部１３は、各種データを記憶可能な半導体メモリ等によって構成されている。記憶部１３は、デジタルカメラを作動させるためのシステムプログラム等を記憶している。

操作部１４は、レリーズボタン３３や、各種操作設定を行なうためのボタン等から構成されている。

表示部１５は、液晶や有機ＥＬ等のモニタから構成される。

検出部１６は、被写体情報や被写界情報を検出する各種センサより構成される。

発光部１７は、フラッシュ発光を行なうためのものであって、キセノンランプ等により構成される。

記憶媒体読取部１８は、記録媒体１９が挿填される挿填口（メディアスロット）を備えており、記録媒体１９がメディアスロットに挿填されると、記録媒体１９に対してデータの読取／書込が行われる。

なお、この記録媒体１９はｘＤピクチャーカード（登録商標）、スマートメディア（登録商標）、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティック（登録商標）等を使用でき、電子的、磁気的、若しくは光学的、又はこれらの組合せによる方式に従って読み書き可能な種々の媒体を用いることができ、このとき使用される媒体に応じた信号処理手段とインターフェースが適用される。

ＣＰＵ１０は、操作部１４からの入力に基づいてデジタルカメラ１を総括的に制御するものであり、操作部１４からの指示に応じて記憶部１３や記録媒体１９に記憶されているデータを読み出す読出制御手段として機能すると共に、レンズ駆動部のズーミング動作、焦点調節（ＡＦ）動作および自動露出調節（ＡＥ）動作等を制御する動作制御手段や表示部１５における表示を制御する表示制御手段としても機能する。

また、検出部１６により検出された被写体情報や被写界情報に基づいて、被写体に向けてフラッシュを発光するか否かを判断する判断手段や、検出部１６により検出された被写体情報や被写界情報に基づいて、取得画像データのダイナミックレンジをどの程度拡大させるかを設定するダイナミックレンジ設定手段や、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいて、各撮影毎の露光比を決定する露光比決定手段や、露光比決定手段により決定された露光比による撮影が撮像部１１において可能か不可能かを判定する判定手段や、判定手段による判定結果に基づいて、撮像部１１および画像処理部１２の動作を規定した複数の撮影方式の中から好適な撮影方式を選択する撮影方式選択手段や、撮影方式選択手段により選択された撮影方式によって撮影を行う撮影手段としても機能する。

次に、上記のように構成されたデジタルカメラ１において、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して１つのダイナミックレンジ拡大画像データを取得する手順について説明する。図２は撮影方式１のデータ処理についての説明図、図３は撮影方式２のデータ処理についての説明図、図４は撮影方式３のデータ処理についての説明図、図５は本実施の形態のデジタルカメラにおける撮影方式の選択方法を示すフローチャートである。

本実施の形態では、撮影条件が互いに異なる複数の撮影を行ない、複数の撮影に対応した複数の画像データを取得し、これらを処理して１つのダイナミックレンジ拡大画像データを取得する手順について３つの撮影方式があるが、まずこれらの撮影方式について説明する。

撮影方式１は、撮像部１１において、異なる露光で少なくとも２回の撮影を行い、画像処理部１２において、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得するものであり、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部１１において可能であり、かつフラッシュを発光させない場合に用いる方式である。

本方式における画像処理部１２の処理について、まず所望のダイナミックレンジとするために必要な露光比が決定されると、主に低輝度側の情報を取得するためのＡ面と、このＡ面よりも露光量を少なくし、主に高輝度側の情報を取得するためのＢ面の２つの画像データが取得される。例えばダイナミックレンジを４倍に拡大する場合には、図２（Ａ）に示す通り、通常露光量で撮影されるＡ面の露光比を１とすると、Ｂ面の露光比は１／４となる。次に図２（Ｂ）に示す通り、Ａ面とＢ面の２つの画像データにおける輝度−信号値の傾き特性を一致させるために、Ｂ面について４倍のゲイン補正を行い、低輝度側の情報についてはＡ面の情報を使用し、高輝度側の情報についてはＢ面の情報を使用して、Ａ面とＢ面の情報を合成することによって、図２（Ｃ）に示す通り、４倍にダイナミックレンジを拡大した１つのダイナミックレンジ拡大画像データを取得することができる。

撮影方式２は、撮像部１１において、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、画像処理部１２において、撮影により取得された画像データを処理して１つのダイナミックレンジ拡大画像データを取得するものであり、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部１１において可能であり、かつフラッシュを発光させる場合に用いる方式である。

この理由としては、上記撮影方式１のように異なる露光で複数回の撮影を行なう際に、設定した露光比に合わせてフラッシュの光量を精密に制御するのは非常に困難であるため、フラッシュを発光させる必要がある場合には、複数回の撮影を行なわずにダイナミックレンジを拡大する処理を行う方が好ましいからである。

本方式における画像処理部１２の処理については、図３（Ａ）に示す通り、白トビが発生しないように通常露光量からアンダー露光にして撮影を行なうことにより取得された画像データに対して、図３（Ｂ）に示す通り、所望のダイナミックレンジ（ここでは４倍）にゲイン補正を行うことにより、４倍にダイナミックレンジを拡大した１つのダイナミックレンジ拡大画像データを取得することができる。

撮影方式３は、撮像部１１において、ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、画像処理部１２において、撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得するものであり、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部１１において不可能な場合に用いる方式である。

本方式における画像処理部１２の処理について、まず所望のダイナミックレンジとするために必要な露光比が決定されると、主に低輝度側の情報を取得するためのＡ面と、このＡ面よりも露光量を少なくし、主に高輝度側の情報を取得するためのＢ面の２つの画像データが取得される。ただし、所望のダイナミックレンジとするために必要な露光比による撮影が撮像部１１において不可能であるため、露光量の少ないＢ面の露光量を基準に、撮像部１１において可能な露光比の上限となるまで露光量を増加させてＡ面の撮影を行なう。例えばダイナミックレンジを８倍に拡大したいが、撮像部１１におけるハードウェアの制約により露光比を１：１／４までしか設定できない場合には、図４（Ａ）に示す通り、Ｂ面の露光比が１／８となり、これを基準にＡ面の露光比は上限の１／２となる。次に図４（Ｂ）に示す通り、Ａ面とＢ面の２つの画像データにおける輝度−信号値の傾き特性を一致させるために、Ａ面について２倍のゲイン補正を行い、Ｂ面について８倍のゲイン補正を行い、低輝度側の情報についてはＡ面の情報を使用し、高輝度側の情報についてはＢ面の情報を使用して、Ａ面とＢ面の情報を合成することによって、図４（Ｃ）に示す通り、８倍にダイナミックレンジを拡大した１つのダイナミックレンジ拡大画像データを取得することができる。

次に、撮影時における撮影方式の選択の流れについて図５のフローチャートを用いて説明する。

撮影が開始されると、検出部１６の各種センサにより被写体情報や被写界情報が検出される。ＣＰＵ１０では、これに基づいて最終的に取得する画像データについて、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する（ステップＡ１）。次に、設定したダイナミックレンジに基づいて、撮像部１１が行なう複数回の撮影毎の露光比を決定し、この露光比による撮影が撮像部１１で可能か不可能かを判定する（ステップＡ２）。

ステップＡ２において、撮影が可能であると判定された場合、さらに検出部１６の各種センサにより検出された被写体情報や被写界情報に基づいてフラッシュを発光するか否かを判断する（ステップＡ３）。

ステップＡ３において、フラッシュを発光しないと判断された場合には、上記撮影方式１を選択し（ステップＡ４）、フラッシュを発光すると判断された場合には、上記撮影方式２を選択する（ステップＡ５）。また、ステップＡ２において、撮影が不可能であると判定された場合には、上記撮影方式３を選択する（ステップＡ６）。

上記のようにして選択された撮影方式に基づいて撮影を行ない、最終的にダイナミックレンジ拡大画像データを取得して処理を終了する（ステップＡ７）。

上記のような構成とすることにより、ハードウェアの仕様上の限界の内外に関わらず常に好適な撮影方式を選択して撮影を行ない、ダイナミックレンジ拡大画像データを取得することが可能となる。

次に、本発明の第２の実施の形態の撮影装置を適用したデジタルカメラについて説明する。図６は本実施の形態のデジタルカメラに用いるＣＣＤの概略構成図、図７は本実施の形態のデジタルカメラにおける撮影方式の選択方法を示すフローチャートである。

本実施の形態は上記第１の実施の形態と比べ、撮像部１１の構成、および撮影方式の選択方法を変更したものであり、具体的には、撮像部１１のＣＣＤを、被写体からの光を光電変換する互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなるものとしている。なお、変更点以外の構成は上記第１の実施の形態と同様であるため、変更点以外の説明については省略する。

本実施の形態のＣＣＤ１１ａは、ハニカム状に配置された多数の受光素子を有する光センサであり、図６に示すように、画像の１画素に対応する八角形の受光素子３０がハニカム状に配置されており、各受光素子３０は受光面積が大きい主画素３０Ｓと、主画素３０Ｓよりも受光面積が小さい副画素３０Ｒとからなる。主画素３０Ｓは、副画素３０Ｒに較べてその面積比に応じて信号電荷生成量が多く受光感度が高くなるため主画素３０Ｓは同一光量を受光する場合、副画素３０Ｒと比較して早く飽和する。

このようなＣＣＤ１１ａを用いて、ダイナミックレンジ拡大画像データを生成するための複数の画像データを取得する場合、一度の撮影で主画素３０Ｓと副画素３０Ｒで異なる露光比による撮影が可能であるが、その露光比は主画素３０Ｓと副画素３０Ｒの受光感度の比で決定されてしまうため、ＣＣＤ１１ａで取得可能な露光比以外の撮影を行なうことができない。本実施の形態では、このようなＣＣＤ１１ａを用いた場合に、最適な撮影方法を選択できるようにしている。

本実施の形態では、上記撮影方法１および３を用いる。

次に、撮影時における撮影方式の選択の流れについて図７のフローチャートを用いて説明する。

撮影が開始されると、検出部１６の各種センサにより被写体情報や被写界情報が検出される。ＣＰＵ１０では、これに基づいて最終的に取得する画像データについて、通常撮影を行なった場合と比較してどの程度ダイナミックレンジを拡大させるかを設定する（ステップＢ１）。次に、設定したダイナミックレンジに基づいて、撮像部１１が行なう複数回の撮影毎の露光比を決定し、この露光比による撮影が撮像部１１で可能か不可能かを判定する（ステップＢ２）。

ステップＢ２において、撮影が可能であると判定された場合には、上記撮影方式１を選択し（ステップＢ３）、撮影が不可能であると判定された場合には、上記撮影方式３を選択する（ステップＢ４）。

上記のようにして選択された撮影方式に基づいて撮影を行ない、最終的にダイナミックレンジ拡大画像データを取得して処理を終了する（ステップＢ５）。

このような構成としても、上記第１の実施の形態と同様に、ハードウェアの仕様上の限界の内外に関わらず常に好適な撮影方式を選択して撮影を行ない、ダイナミックレンジ拡大画像データを取得することが可能となる。

次に、本発明の第３の実施の形態の撮影装置を適用したデジタルカメラについて説明する。本実施の形態のデジタルカメラにおける撮影方式の選択方法を示すフローチャートは、上記第２の実施の形態の説明で用いた図７と同様である。

本実施の形態は上記第２の実施の形態と比べ、撮像部１１の構成を変更したものであり、具体的には、撮像部１１の構成について、同一被写体に対して撮影条件が互いに異なる複数の撮影を行なう場合に、上記第２の実施の形態のように互いに感度の異なる主画素と副画素の２種類の画素を備えたＣＣＤを用いるのではなく、複数の撮影についてシャッター速度を変えることにより撮影条件を変えるものである。

なお、変更点以外の構成は上記第２の実施の形態と同様であるため、変更点以外の説明については省略する。

主に低輝度側の情報を取得するためのＡ面と、このＡ面よりも露光量を少なくし、主に高輝度側の情報を取得するためのＢ面の少なくとも２つの画像データを取得する場合、ダイナミックレンジの拡大に伴ってＢ面の露光量を少なくする、すなわちＢ面の撮影時におけるシャッター速度を高速にする必要があるが、シャッター速度には限界があるため、シャッター速度限界を超えて露光量を少なくすることはできない。本実施の形態では、このような場合に、最適な撮影方法を選択できるようにしている。

本実施の形態では、上記撮影方法１および３を用いる。

第１の実施の形態のデジタルカメラの概略ブロック図撮影方式１のデータ処理についての説明図撮影方式２のデータ処理についての説明図撮影方式３のデータ処理についての説明図上記デジタルカメラにおける撮影方式の選択方法を示すフローチャート第２の実施の形態のデジタルカメラのＣＣＤの概略構成図第２および第３の実施の形態のデジタルカメラにおける撮影方式の選択方法を示すフローチャート

符号の説明

１デジタルカメラ
１０ＣＰＵ
１１撮像部
１１ａＣＣＤ
１１ｂアナログ処理部
１１ｃＡ／Ｄ変換部
１２画像処理部
１３記憶部
１４操作部
１５表示部
１６検出部
１７発光部
１８記録媒体読取部
１９記録媒体

Claims

同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、該複数の撮影に対応した複数の画像データを取得する撮像手段と、
前記複数の画像データの中から少なくとも１枚の画像データを処理して１つのダイナミックレンジ拡大画像データを取得する画像データ処理手段と、
前記ダイナミックレンジ拡大画像データのダイナミックレンジを設定するダイナミックレンジ設定手段と、
該ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいて、各撮影毎の露光比を決定する露光比決定手段と、
該露光比決定手段により決定された露光比による撮影が前記撮像手段において可能か不可能かを判定する判定手段と、
該判定手段による判定結果に基づいて、前記撮像手段および前記画像データ処理手段の動作を規定した複数の撮影方式の中から、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択する撮影方式選択手段と、
該撮影方式選択手段により選択された撮影方式によって撮影を行う撮影手段とを備えていることを特徴とする撮影装置。
前記被写体を測光する測光手段と、
前記測光手段による測光結果に基づいて前記被写体に向けてフラッシュを発光するか否かを判断する判断手段とを備え、
前記複数の撮影方式について、
前記撮像手段が、異なる露光で少なくとも２回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、
前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、前記画像処理手段が、前記撮影により取得された画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第２の撮影方式、
および、前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式
の３つの撮影方式を有し、
前記撮影方式選択手段が、前記判定手段により可能と判定され、かつ前記判断手段によりフラッシュを発光させないと判断された場合に前記第１の撮影方式を選択し、前記判定手段により可能と判定され、かつ前記判断手段によりフラッシュを発光させると判断された場合に前記第２の撮影方式を選択し、前記判定手段により不可能と判定された場合に前記第３の撮影方式を選択するものであることを特徴とする請求項１記載の撮影装置。
前記撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、前記第１の受光素子と前記第２の受光素子とで異なる露光特性を有し、該露光特性の差を利用して前記第１の受光素子および前記第２の受光素子の露光差を生じさせるものであり、
前記複数の撮影方式について、
前記撮像手段が、異なる露光で少なくとも２回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、
および、前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式
の２つの撮影方式を有し、
前記撮影方式選択手段が、前記判定手段により可能と判定された場合に前記第１の撮影方式を選択し、前記判定手段により不可能と判定された場合に前記第３の撮影方式を選択するものであることを特徴とする請求項１記載の撮影装置。
前記撮像手段が、前記複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、該シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、
前記複数の撮影方式について、
前記撮像手段が、異なる露光で少なくとも２回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、
および、前記撮像手段が、前記ダイナミックレンジ設定手段により設定されたダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、前記画像処理手段が、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式
の２つの撮影方式を有し、
前記撮影方式選択手段が、前記判定手段により可能と判定された場合に前記第１の撮影方式を選択し、前記判定手段により不可能と判定された場合に前記第３の撮影方式を選択するものであることを特徴とする請求項１記載の撮影装置。
撮影装置における動作を規定した撮影方法であって、
同一被写体に対して、撮影条件が互いに異なる複数の撮影を行ない、該複数の撮影に対応した複数の画像データを取得する撮像手段を用いて撮影を行ない、
前記複数の画像データの中から少なくとも１枚の画像データを処理して１つのダイナミックレンジ拡大画像データを取得する撮影方法において、
前記ダイナミックレンジ拡大画像データのダイナミックレンジを設定し、
設定したダイナミックレンジに基づいて、各撮影毎の露光比を決定し、
決定した露光比による撮影が前記撮像手段において可能か不可能かを判定し、
該判定の結果に基づいて、前記撮像手段の動作や前記画像データの処理の内容を規定した複数の撮影方式の中から、設定したダイナミックレンジのダイナミックレンジ拡大画像データを取得するのに好適な撮影方式を選択し、
選択した撮影方式によって撮影を行うことを特徴とする撮影方法。
前記複数の撮影方式について、
異なる露光で少なくとも２回の撮影を行い、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、
設定したダイナミックレンジに基づいた段数でアンダー露光にして撮影を行い、前記撮影により取得された画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第２の撮影方式、
および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式
の３つの撮影方式を有し、
決定した露光比による撮影が前記撮像手段において可能と判定し、かつフラッシュを発光させない場合に前記第１の撮影方式を選択し、決定した露光比による撮影が前記撮像手段において可能と判定し、かつフラッシュを発光させる場合に前記第２の撮影方式を選択し、決定した露光比による撮影が前記撮像手段において不可能と判定した場合に前記第３の撮影方式を選択することを特徴とする請求項５記載の撮影方法。
前記撮像手段が、被写体からの光を光電変換する、互いに独立に駆動制御可能な第１の受光素子および第２の受光素子が所定の配列形態によって多数配置されてなる撮像素子を備え、前記第１の受光素子と前記第２の受光素子とで異なる露光特性を有し、該露光特性の差を利用して前記第１の受光素子および前記第２の受光素子の露光差を生じさせるものであり、
前記複数の撮影方式について、
異なる露光で少なくとも２回の撮影を行い、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、
および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式
の２つの撮影方式を有し、
決定した露光比による撮影が前記撮像手段において可能と判定した場合に前記第１の撮影方式を選択し、決定した露光比による撮影が前記撮像手段において不可能と判定した場合に前記第３の撮影方式を選択することを特徴とする請求項５記載の撮影方法。
前記撮像手段が、前記複数の撮影について各撮影毎に異なるシャッター速度で撮影可能であり、該シャッター速度の差を利用して各撮影毎に露光差を生じさせるものであり、
前記複数の撮影方式について、
異なる露光で少なくとも２回の撮影を行い、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第１の撮影方式、
および、設定したダイナミックレンジに基づいた段数でアンダー露光にし、かつ異なる露光で少なくとも２回の撮影を行い、前記撮影により取得された少なくとも２つの画像データを処理して１つのダイナミックレンジ拡大画像データを取得する第３の撮影方式
の２つの撮影方式を有し、
決定した露光比による撮影が前記撮像手段において可能と判定した場合に前記第１の撮影方式を選択し、決定した露光比による撮影が前記撮像手段において不可能と判定した場合に前記第３の撮影方式を選択することを特徴とする請求項５記載の撮影方法。