JP5371719B2

JP5371719B2 - 撮像装置およびその制御方法

Info

Publication number: JP5371719B2
Application number: JP2009274962A
Authority: JP
Inventors: 宣和吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2013-12-18
Anticipated expiration: 2029-12-02
Also published as: JP2011119944A

Description

本発明は撮像装置のダイナミックレンジ拡大処理に関するものである。

従来の撮像装置には、画像の白とびを抑えるようにダイナミックレンジ拡大処理を行うものがある。例えば、特許文献１では、静止画撮影前（本露光前）にシーンの解析を行うことでシーンに応じたダイナミックレンジ拡大処理を適応的に行う撮像装置が開示されている。

特願２００９−０３４３９２号公報

しかしながら、特許文献１のように本露光前にダイナミックレンジ拡大量をシーン解析することによって決定する場合、実際の撮影条件によっては決定したダイナミックレンジ拡大量が適切ではなくなる場合も考えられる。例えば、シーン解析に用いた撮像データの輝度レベルと本露光画像の輝度レベルに差がある場合には、シーン解析画像と本露光画像の白とびの程度が異なるため、シーン解析によって決定したダイナミックレンジ拡大量が適切でなくなってしまう。

本発明は上記の課題を鑑みてなされたものであり、実際の撮影時の露出条件に応じて適切なダイナミックレンジ拡大処理を行うことができるようにすることを目的とする。

上記課題を解決するために、本発明にかかる撮像装置は、被写体を撮像して画像データを取得する撮像手段と、被写体の輝度を測定する測光手段と、本露光時の露出条件を設定する露出条件設定手段と、前記露出条件設定手段により本露光時の露出条件が設定される前に、第１の露出条件で撮像された画像データの所定領域の輝度と目標値との差に基づいて、ダイナミックレンジ拡大処理に伴う露出低下量を演算する演算手段と、前記露出条件設定手段により設定された本露光時の露出条件に基づいて前記露出低下量を補正する補正手段と、本露光時の画像データに対して前記補正手段により補正された露出低下量に応じた階調特性を設定する階調特性設定手段と、を有することを特徴とする。

また、上記課題を解決するために、本発明にかかる撮像装置の制御方法は、本露光時の露出条件を設定する露出条件設定ステップと、前記露出条件設定ステップで本露光時の露出条件が設定される前に、第１の露出条件で撮像された画像データの所定領域の輝度と目標値との差に基づいて、ダイナミックレンジ拡大処理に伴う露出低下量を演算する演算ステップと、前記露出条件設定ステップで設定された本露光時の露出条件に基づいて前記露出低下量を補正する補正ステップと、本露光時の画像データに対して前記補正ステップで補正された露出低下量に応じた階調特性を設定する階調特性設定ステップと、を有することを特徴とする。

本発明によれば、実際の撮影時の露出条件に応じて適切なダイナミックレンジ拡大処理を行うことができる。

本発明の実施例に係る撮像装置のブロック図。本発明の実施例に係る静止画記録モード処理のフローチャート図。本発明の実施例に係る非発光用静止画露出算出処理のフローチャート図。本発明の実施例に係る発光用静止画露出算出処理のフローチャート図。本発明の実施例に係る撮影処理のフローチャート図。本発明の実施例に係るダイナミックレンジ拡大時のガンマパラメータを示した図。

図１は、本実施例に係る撮像装置の構成を示したブロック図である。レンズ１０は複数のレンズ群からなるレンズユニットであって、レンズ駆動回路４２にてレンズ位置を光軸に沿って前後に動かすことで焦点を調節したり、画角を調節することが可能である。さらに、ブレ量検知回路４４で測定したカメラのブレ量に基づいて、手ブレ補正回路４０にてレンズ１０を駆動し、手ブレをキャンセルする方向に光軸を変化させることで光学的な手ブレ補正を行う構成とすることも可能である。ブレ量検知回路４４には、ジャイロセンサーが含まれていて、本実施例では、レンズ１０を駆動することで手ブレ補正を実現しているが、後述する撮像素子１６を駆動することで同様に手ブレを補正することも可能である。

レンズ１０を通過した光は絞り１４により、その光量を調節することができる。システム制御部６０は、絞り制御情報を絞り駆動回路２６に伝達することで、絞り１４を制御することが可能である。絞り１４は、複数枚の羽根から構成された虹彩絞りや、あらかじめ、板を様々な径で穴を打ち抜いた丸絞りがある。

システム制御部６０は、これらの絞り１４と絞り駆動回路２６を用い、被写体輝度が高い場合は絞りを絞って光量を落とすように制御し、被写体輝度が低い場合は絞りを開放にして光を多く取り込むように制御することが可能である。また、システム制御部６０は、メカニカルシャッター制御情報をメカニカルシャッター駆動回路２８に伝達することで、メカニカルシャッター１２を制御することが可能である。静止画撮影時の露光時間は、メカニカルシャッター１２の開閉時間により決定され、システム制御部６０により制御される。レンズ１０、メカニカルシャッター１２、絞り１４を通過した光は撮像素子１６に受光される。

システム制御部６０は、撮像素子制御信号をＴＧ（ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）２４に伝達することで、撮像素子１６を制御することができる。ＴＧ２４は、システム制御部６０から受信した制御情報をもとに撮像素子１６を駆動する。撮像素子１６は素子への露光と、露光した画像データの読み出し作業を周期的に行っており、この作業はＴＧ２４からの駆動信号を基準に行われる。またＴＧ２４は、撮像素子１６の露光時間を制御することが可能である。任意のタイミングで、素子がチャージした電荷を開放するように、ＴＧ２４から撮像素子１６へ駆動信号を出すことでこれを可能としている。

撮像素子１６から読み出された画像データは、ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｅｒ）回路１８を通過する。ＣＤＳ回路１８は相関二重サンプリング方式により画像データのノイズ成分を除去することを主な役割とする。その後、画像データはＰＧＡ（ＰｒｏｇｒａｍｍａｂｌｅＧａｉｎＡｍｐｌｉｆｉｅｒ）回路２０により、画像データの信号レベルを減衰／増幅することができる。

システム制御部６０は、増幅レベルをＰＧＡ回路２０に伝達することで、増幅量を制御することができる。通常、撮像素子１６の露出を適正にするには、絞り１４で撮像素子１６への露光量を適切に設定すると共に、シャッターにより露光時間を適切に設定することで実現される。加えて、ＰＧＡ回路２０で画像データの信号レベルを減衰／増幅することで、擬似的に画像データの露出を変える役割を担うことができる。また、ストロボ制御部４８を介してストロボ４６を発光させることもできる。逆光状態や低照度時など、被写体が暗い場合にストロボ発光撮影することで、被写体を明るく撮影することが可能となる。すなわち、ストロボ制御部４８はストロボ４６の発光量を調節するなどの発光制御を行う。

画像データはＡ／Ｄ（Ａｎａｌｏｇ／ＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）回路２２にてアナログ信号からデジタル信号へ変換される。デバイスにより、デジタル信号のビット幅は１０ビット、１２ビット、１４ビットなどがあり、後段の画像処理回路５０は、複数種類のビット幅に対応可能である。

図１では、ＣＤＳ回路１８、ＰＧＡ回路２０、Ａ／Ｄ回路２２をそれぞれ別のブロックとして表現しているが、一つのＩＣパッケージにこれらの機能を搭載したものを採用することも可能である。

Ａ／Ｄ回路２２から出力されたデジタル化された画像データは画像処理回路５０へ入力される。画像処理回路５０は複数のブロックから構成され、さまざまな機能を実現している。

撮像素子１６は、カラーフィルターを通して各画素ごとに特定の色成分を抽出するのが一般的である。Ａ／Ｄ回路２２からの画像データは撮像素子１６の画素及びカラーフィルター配置に対応したデータ形式になっており、輝度成分のみを評価して露出制御を行う自動露出制御（ＡＥ：ＡｕｔｏＥｘｐｏｓｕｒｅＣｏｎｔｒｏｌ）で使用するには適さない形式である。

画像処理回路５０では、画像データから色情報を排除し、輝度情報のみを抜き出す機能を備えている。逆に、色情報を抽出する機能も備え、被写体の光源を特定し、色を適切に調節するホワイトバランス処理に使用することができる。

さらに、画像処理回路５０では、撮像素子１６から読み出された信号の周波数成分のみを抜き出す機能を備え、自動ピント合わせ制御（ＡＦ：ＡｕｔｏＦｏｃｕｓ）時に使用することができる。撮像素子１６から読み出された画像データのどの領域の周波数成分を抽出するか、また、領域内を分割設定できる機能を備えている。

さらに、画像処理回路５０は、Ａ／Ｄ回路２２によりデジタル化された画像データの信号レベルの増減、画像の色効果などを操作する機能を備え、撮影画像の画質を調節するという役割も担っている。画像データの信号レベルに関しては、画像全体に一律の増幅率でレベルを増減させる機能や、元の信号レベルの大小に応じて異なる変換率で信号レベルを変換するトーンカーブ（ガンマ）機能など様々な信号レベル調節が可能である。その他にも、画面内の領域ごとの周波数成分に応じた増幅率でレベルを増減させる機能などが可能である。

Ａ／Ｄ回路２２から出力されたデジタル化された画像データは画像処理回路５０へ入力されると同時に、一時記憶メモリ３０に記憶される。一旦、一時記憶メモリ３０に記憶された画像データは再度読み出すことができ、システム制御部６０から画像データを参照したり、読み出した画像データを画像処理回路５０に入力することが可能である。さらに、画像処理回路５０で画像処理した画像データを一時記憶メモリ３０に書き戻したり、システム制御部６０から任意のデータを書き込むことも可能である。

画像処理回路５０で適切に処理された画像データは、画像認識回路３８に入力される。画像認識回路３８は、入力された画像の明るさ状況、ピント合焦状況、色状況の認識に加え、人物の顔認識とその表情、文字がある場合はその文字情報を認識することが可能となっている。画像認識回路３８には複数の画像を入力することが可能となっており、例えば２つの画像を入力し、その２つの画像の特徴を比較することで、同一の画像かどうかを判定することが可能となっている。画像認識回路３８で画像を認識する方法に加え、システム制御部６０でも画像認識処理を行うことができる。

システム制御部６０はＣＰＵ上であらかじめコーディングされたプログラムを実行することができるが、一時記憶メモリ３０に記憶された画像データをシステム制御部６０から読み出し、その画像データを解析してシーンの状況を認識することができる。

画像をＬＣＤなどの画像表示装置１０８に表示する場合、画像処理回路５０で画像処理を行った画像データをＶＲＡＭ３４上に展開しておき、それをＤ／Ａ回路３６にてアナログデータに変換して画像表示装置１０８に表示する。撮像素子１６から読み出される連続した画像を順次画像表示装置１０８に表示更新していくことで、画像表示装置１０８を電子ファインダーとして用いることが可能となる。

画像表示装置１０８には、画像だけでなく任意の情報を単独、もしくは画像と共に表示することが可能である。カメラの状態表示や、ユーザーが選択あるいはカメラが決定したシャッター速度や絞り値、感度情報などの文字情報や、画像処理回路５０にて測定した輝度分布のヒストグラムや、顔認識結果、シーン認識結果等も表示可能である。

また、画像表示装置１０８には、記録媒体８２に記録されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張ブロック３２にて伸張し、ＶＲＡＭ３４に画像データを展開する。この画像データをＤ／Ａ回路３６にてアナログデータに変換して出力する。記録媒体８２は不揮発性のものであり、主に撮影した画像データを記録することが可能である。

操作部７０には、システムの電源オン／オフを切り替えることのできる電源スイッチ１０２、撮影指示を行うためのシャッタースイッチＳＷ１（１０４）、ＳＷ２（１０６）、モード切替スイッチ１１０、パラメータ選択スイッチ１１２などが含まれる。

１０４はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でオンとなり、自動露出制御やピント制御等の撮影準備動作の開始を指示する。１０６はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でオンとなり、静止画撮影や画像認識の指示を行う操作が実現可能である。

モード切替スイッチ１１０は、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えることができる。

パラメータ選択スイッチ１１２により、測距領域や測光モードをはじめとする撮影時の撮影条件の選択や、撮影画像再生時のページ送り、カメラの動作設定全般などをユーザーが選択することができる。さらに前述の電子ファインダーのオン／オフを選択することもできる。また、画像表示装置１０８は画像を表示すると共に、タッチパネルとして入力装置となる構成とすることもできる。

次に、静止画記録モード処理を示すフローチャートを図２を用いて説明する。

システム制御部６０は、ステップＳ２０１でシャッタースイッチＳＷ１がオンしているか否かを判断し、オフの場合はステップＳ２０１に戻り、オンの場合はステップＳ２０２に進む。

ステップＳ２０２において、システム制御部６０は、被写体輝度を求めるための測光処理を行う。測光処理では、撮像素子から読み出された画像データの信号レベルと適正レベルとの差分、測光時の露出条件などから被写体輝度Ｂｖ（アペックス値）を求め、測光値としてシステム制御部６０の内部メモリ（不図示）に記憶する。

ステップＳ２０３では、システム制御部６０は、ステップＳ２０２で記憶した測光値に基づき、露出が適正になるよう絞り１４、ＴＧ２４、ＰＧＡ回路２０を制御する。そして、適正露出にした状態で画像データを取得する。

次にステップＳ２０４にて、システム制御部６０は適正露出で撮像した画像データを基にシーン判別処理を行う。輝度分布や色などの情報から撮影シーンを判別し、後段の処理でシーンに応じた制御を行うことが可能となる。例えば、輝度分布から逆光シーンを判別してストロボを発光することによって被写体を明るく撮影したり、色から青空シーンを判別して彩度をコントロールしたりすることができる。露出が適正でない状態では、撮像素子から読み出される信号が飽和している等の原因で精度良くシーン判別を行うことができない可能性が高いため、ステップＳ２０３で適正露出にした状態で取得した画像データに基づいてシーン判別処理を行っている。

続いてステップＳ２０５で、システム制御部６０は、ダイナミックレンジ拡大量（以下Ｄ＋量）を求め、算出したＤ＋量をシステム制御部６０の内部メモリに記憶する。適正露出のままＤ＋量を算出することで露出制御に要するタイムラグ無しで処理を進めることが可能である。Ｄ＋量の決定方法としては例えば、画像データのある所定領域の輝度が目標値に比べて何段明るいかを計算すればよい。すなわち領域の輝度をＹ、目標値をＹｒｅｆとしたとき、
Ｄ＋＝ｌｏｇ２（Ｙ／Ｙｒｅｆ）
とする。上述した式が示すように、Ｄ＋量とは画像データのある所定領域の輝度を目標値とするために必要とする露出低下量に相当する。また、上述した所定領域は、例えば、画像認識回路３８の顔検出の結果に基づいた被写体の顔領域や、輝度が所定値以上である白とび領域に設定する。また、別途ヒストグラムを用いるなどしてＤ＋量を決定してもよい。また、適正露出（第１の露出条件）で撮像した画像データを用いてＤ＋量を演算したが、ステップＳ２０３のシーン判別処理と同様の画像データを用いるのであれば、適正露出で撮像した画像データでなくてもよい。ダイナミックレンジ拡大処理については撮影処理を行うステップＳ２１４の説明に併せて後述する。

ステップＳ２０６に進むと、システム制御部６０は、ステップＳ２０２で記憶した測光値Ｂｖに基づきＡＦ処理に適した露出になるように絞り１４、ＴＧ２４、ＰＧＡ回路２０を制御する。そして、取得した画像データに基づいてステップＳ２０７でＡＦ処理を行う。

ステップＳ２０８では、システム制御部６０は、ステップＳ２０２で記憶した測光値に基づき、非発光撮影用の静止画撮影用露出を算出する。この非発光用静止画露出算出処理については図３を用いて後述する。

ステップＳ２０９では、システム制御部６０は、静止画撮影時にストロボ発光するか否かの判定を行う。ストロボを発光させる条件としては、逆光時や低照度時などの被写体が暗い場合や被写体のコントラストが高い場合などがある。また、ストロボ非発光とする条件としては、ステップＳ２０６の測距処理の結果から被写体距離が近いと判断された場合などがある。被写体が暗い場合はストロボ光により被写体を明るく撮影できる。また、コントラストが高い被写体に対して陰部分にストロボ光を照射することでコントラストを低減することができる。逆に被写体距離が近い場合はストロボ発光することで被写体が白とびしてしまう可能性がある。なお、ストロボ発光設定（強制発光／強制非発光など）がパラメータ選択スイッチ１１２などで設定されている場合はその設定に従う。

ステップＳ２１０では、システム制御部６０はステップＳ２０９における発光判定結果に基づいて発光を行うか否かを判断し、ストロボ発光させると判断した場合はステップＳ２１１で発光撮影用の静止画撮影用露出を算出して、ステップＳ２１２に進む。この発光用静止画露出算出処理については図４を用いて後述する。ストロボ発光しないと判断した場合は、ステップＳ２１２に進む。

ステップＳ２１２では、システム制御部６０は、シャッタースイッチＳＷ２がオンしているか否かを判断し、オフの場合はステップＳ２１３に進み、オンの場合はステップＳ２１４に進む。

ステップＳ２１３では、システム制御部６０はシャッタースイッチＳＷ１がオンしているか否かを判断し、オンの場合はステップＳ２１２に戻り、オフの場合はステップＳ２０１に戻る。ＳＷ１がオンＳＷ２がオフの間は、ステップＳ２１２〜Ｓ２１３が繰り返される。

ステップＳ２１４に進むと静止画の撮影を行い、静止画の撮影が終了するとステップＳ２０１に戻る。この撮影処理は図５を用いて後述する。

次に、図３を用いて、図２のステップＳ２０８で行う非発光用静止画露出算出処理のフローチャートを説明する。

システム制御部６０は、ステップＳ３０１で、ステップＳ２０２で記憶した測光値Ｂｖに基づき、プログラム線図等からストロボ発光を行わない場合の静止画撮影時（本露光時）の露出条件を求める。以下、静止画撮影時の露出条件を（Ａｖ、Ｔｖ、Ｓｖ）で表す。なお、Ａｖは絞り値、Ｔｖは露光時間、Ｓｖは感度を示すアペックス値とする。ここでは、ステップＳ２０４のシーン判別処理の判別結果によって、異なるプログラム線図を用いることも可能である。また、パラメータ選択スイッチ１１２等によってユーザーによって露出補正値が設定されている場合には、設定された補正値分だけ適正からずれた露出になるように露出補正値を加味して露出計算を行う。さらに、例えば、被写体が非常に暗く、適正露出が露出制御範囲の限界を超える場合は、制御限界の露出を静止画露出とする。例えば、露出制御限界の露出条件を（ＭｉｎＡｖ、ＭｉｎＴｖ、ＭａｘＳｖ）とすると、Ｂｖ＋ＭａｘＳｖ＜ＭｉｎＡｖ＋ＭｉｎＴｖとなる場合には、Ａｖ＝ＭｉｎＡｖ、Ｔｖ＝ＭｉｎＴｖ、Ｓｖ＝ＭａｘＳｖとする。ここで求めた露出条件（Ａｖ、Ｔｖ、Ｓｖ）はシステム制御部６０の内部メモリに記憶しておく。

ステップＳ３０２では、ステップＳ３０１で求めた露出と、ステップＳ２０２で記憶した測光値に対する適正露出とを比較し、ステップＳ３０１で求めた露出が適正に対して露出アンダーか否かを判断する。露出アンダーでない場合は、非発光用静止画露出算出処理ステップＳ２０７を終了する。

ステップＳ３０１で求めた静止画露出が適正に対してアンダーである場合は、ステップＳ３０３で、露出アンダー分に応じてステップＳ２０５で記憶したＤ＋量を補正する。例えば、ステップＳ２０５で算出されたＤ＋量がＤ＋＝１の場合、Ｂｖ＋Ｓｖ＝Ａｖ＋Ｔｖ、すなわち適正露出であればＤ＋量に対して補正は行わない。すなわち、Ｄ＋量はＤ＋＝１のままとする。また、パラメータ選択スイッチ１１２によって露出補正が−１／３段に設定されていた場合はＢｖ＋Ｓｖ＝Ａｖ＋Ｔｖ−１／３となるようステップＳ３０１で露出を求めているため、Ｄ＋量を１／３段小さくする。すなわち、Ｄ＋＝１−１／３＝２／３と補正する。また、露出補正を行っていないが、露出制御限界でも適正にならない場合、例えばＢｖ＋ＭａｘＳｖ＝ＭｉｎＡｖ＋ＭｉｎＴｖ−１のときには１段アンダーとなるのでＤ＋＝１−１＝０と補正する。これは、絞りを限界まで開き（ＭｉｎＡｖ）、露光時間を限界まで長くし（ＭｉｎＴｖ）、感度を限界まで上げても（ＭａｘＳｖ）、適正に対して１段アンダーになるほど被写体が暗い場合に相当する。以上のようにして、ステップＳ３０３でＤ＋量を補正したら非発光用静止画露出算出処理を終了する。

次に、図４を用いて、図２のステップ２１１で行う発光用静止画露出算出処理のフローチャートを説明する。

システム制御部６０は、ステップＳ４０１で、ストロボ発光撮影時に許可する最長露光時間ＭｉｎＴｖ＿Ｆｌａｓｈを求める。例えば、画像認識回路３８から出力される顔検出結果や、ブレ量検知回路４４の出力結果などに基づいてＭｉｎＴｖ＿Ｆｌａｓｈを決定する。顔が検出されている場合は被写体ブレが、ブレ量検知回路４４がブレを検出している場合は手ブレの可能性があるためＭｉｎＴｖ＿Ｆｌａｓｈをより高速側に設定することで、発光撮影時の被写体ブレおよび手ブレを軽減することが可能である。

ステップＳ４０２では、ステップＳ４０１で決定したＭｉｎＴｖ＿Ｆｌａｓｈを用いて静止画撮影時の露光時間のクリップ処理を行う。すなわち、ステップＳ２０８で記憶したＴｖがＭｉｎＴｖ＿Ｆｌａｓｈよりも小さい（露光時間としては長い）場合は、撮影時の露光時間をＭｉｎＴｖ＿Ｆｌａｓｈに制限する。変更した露光時間Ｔｖはシステム制御部６０の内部メモリに記憶する。また、クリップ処理前のＴｖについてもステップＳ４０９で発光を取り止めた場合に参照できるようＴｖ´として別途記憶しておく。

次にステップＳ４０３において、システム制御部６０は、ステップＳ４０２のクリップ処理におけるクリップ量に応じて内部メモリに記憶しているＤ＋量を補正する。例えば、Ｓ２０８でＴｖ＝３、ステップＳ４０１でＭｉｎＴｖ＿Ｆｌａｓｈ＝５と決定したとすると、ステップＳ４０２におけるクリップ量が２段となるのでＤ＋量を２段補正する。すなわち、ステップＳ４０１の段階でＤ＋量が２段であったとすると、Ｄ＋＝２−２＝０と補正する。なお、ステップＳ４０１の段階のＤ＋量は、Ｓ２０５あるいはＳ３０３で決定されたものとなる。また、補正前のＤ＋量についてもステップＳ４０９で発光を取り止めた場合に参照できるようＤ＋´として別途記憶しておく。

ステップＳ４０４では、記憶されているＤ＋量を制御可能な範囲にクリップする。後述するように、Ｄ＋量を大きくするほど画像処理によるゲインアップを行うことになるためノイズが増幅される傾向にある。そのため、Ｄ＋量には制御範囲を設けており、ここでその範囲内に制限しておく。

次にステップＳ４０５で、露出アンダー量Ｅｘｐ＿Ｃｍｐを算出する。この時点で記憶されている静止画撮影露出で撮影した場合に適正露出に対してどれだけアンダーになるかを算出する。例えば以下のようにＥｘｐ＿Ｃｍｐを算出すればよい。
Ｅｘｐ＿Ｃｍｐ＝Ｂｖ＋Ｓｖ−（Ａｖ＋Ｔｖ）
ここで、ＢｖはステップＳ２０２で記憶した被写体輝度、Ａｖ、Ｔｖ、Ｓｖはこの時点で記憶されている発光用静止画撮影露出である。

ステップＳ４０６では、ステップＳ４０５で算出した分だけアンダーにした静止画露出およびＤ＋量をもって撮影した場合に白とびがどの程度生じるかを演算する。ある領域の白とび量ΔＯｖｅｒは例えば以下のように求めればよい。
ΔＯｖｅｒ＝ｌｏｇ２（Ｙ／Ｙｒｅｆ）−（Ｄ＋）＋Ｅｘｐ＿Ｃｍｐ
ここで、ＹおよびＹｒｅｆｆはステップＳ２０５で参照した輝度および目標値、Ｄ＋はステップＳ４０４で制御範囲内にクリップした後のＤ＋量、Ｅｘｐ＿ＣｍｐはステップＳ４０５で求めた露出アンダー量である。

そして、以下では、演算した白とび量が第１の閾値以下である場合、第１の閾値より大きくて第２の閾値より小さい場合、第２の閾値以上である場合の３つの場合に分けてそれぞれ異なる処理を行う。ここでは、第１の閾値を０、第２の閾値を２として説明を行うが、第１の閾値よりも第２の閾値が大きければ例示した値でなくてもよい。演算した白とび量が第１の閾値以下である場合、すなわち、ΔＯｖｅｒ≦０の場合は発光用静止画露出算出処理を終了する。

ステップＳ４０６で演算した白とび量が第１の閾値より大きくて第２の閾値より小さい場合、すなわち、０＜ΔＯｖｅｒ＜２の場合はステップＳ４０７へ移行する。、ステップＳ４０７では、白とび量演算によって求めた予測される白とび量ΔＯｖｅｒに基づいて調光補正量を算出する。これは、露出下げ（Ｅｘｐ＿Ｃｍｐ）、さらにダイナミックレンジ拡大処理（Ｄ＋）を行っても白とびが抑えられない場合に発光を抑えることで白とびを軽減するためであり、白とび量ΔＯｖｅｒが大きいほど発光量を弱めるように補正を行う。ステップＳ４０７で調光補正を行ったら発光用静止画露出算出処理を終了する。

ステップＳ４０６で演算した白とび量が第２の閾値以上である場合、すなわち、ΔＯｖｅｒ≧２の場合はステップＳ４０８へ移行する。

ステップＳ４０８では、白とび量ΔＯｖｅｒが大きいため調光補正を行っても白とびが抑えられないと判断し、発光撮影を取り止め非発光撮影に切り替える。この際、発光判定結果を非発光に修正してシステム制御部６０の内部メモリに記憶する。ただしパラメータ選択スイッチ１１２等によってストロボ設定が強制発光に設定されている場合は非発光撮影への切替は行わず、そのまま発光撮影を行う。非発光撮影に切り替えた場合は、静止画露出およびＤ＋量は非発光用静止画露出（Ｔｖ´）およびＤ＋量（Ｄ＋´）に戻しておく。

ステップＳ４０９で発光取り止め処理を行ったら発光用静止画露出算出処理を終了する。

以上のように、実際の撮影時の露出条件での白とび量を演算し、演算された白とび量に応じて発光制御を行うことで、発光撮影を行う場合であっても白とびを軽減することができる。

次に、図５を用いて図２のステップＳ２１４で行う撮影処理のフローチャートを説明する。

ステップＳ５０１で、システム制御部６０は内部メモリに記憶されている静止画露出条件（Ａｖ、Ｔｖ、Ｓｖ）およびＤ＋量を参照し、本露光時の露出条件設定を行う。なお、設定前にＡｖ、Ｔｖ、Ｓｖ、Ｄ＋量を制御可能な範囲にクリップ処理しておく。また、発光撮影する場合には調光動作を行い、本露光時の発光設定も行っておく。なお、ステップＳ４０７で調光補正量が設定されている場合は、調光動作によって決定される本発光時の発光量を補正する。

ここで、ダイナミックレンジ拡大処理について説明する。本実施例では、静止画撮影時にＤ＋量だけアンダーに補正した露出で本露光を行い、得られた画像データを後段の現像処理においてＤ＋量に応じたガンマパラメータ（階調特性）の設定を行うことでダイナミックレンジを拡大する。現像処理における階調特性設定を変更することによって、補正前の露出において適正レベル付近の輝度であった領域を、Ｄ＋量だけアンダーに補正した露出であっても同等の輝度となるように制御することが可能である。ダイナミックレンジ拡大処理におけるガンマパラメータの設定例を図６に示す。図６はＤ＋量が０、１／３、２／３、１段の４段階である場合のガンマパラメータの設定例を示しており、Ｄ＋量が４段階でない場合にも同様に設定すればよい。Ｄ＋量が０すなわちダイナミックレンジ拡大処理を行わない場合に適正レベルＹ＿ＲＥＦの輝度が得られる被写体に対し、ダイナミックレンジ拡大する場合はＤ＋量だけ露出を下げて撮影する。そのため、上述した被写体の輝度は
Ｙ１＝Ｙ＿ＲＥＦ^＊２^−１／３，Ｙ２＝Ｙ＿ＲＥＦ^＊２^−２／３，Ｙ３＝Ｙ＿ＲＥＦ^＊２^−１
と暗くなる。しかしながら、図６に示すように、ダイナミックレンジ拡大時のＹ＿ＲＥＦ、Ｙ１、Ｙ２、Ｙ３に対する階調変換後の輝度が、Ｄ＋量によらず同じ値になることを示している。このようなガンマパラメータの設定を行うことにより、Ｄ＋量が変わっても適正レベル付近の輝度が同等となるよう制御することが可能である。一方、ダイナミックレンジ拡大処理を行わない場合には飽和するような撮像素子からの信号についても、Ｄ＋量だけ露出を下げて露光することで飽和することなく階調が残るようになる。

ステップＳ５０１では、ダイナミックレンジ拡大処理を行うため、Ｄ＋量分だけ露出をアンダーに撮影するべく、感度としてはＳｖ−Ｄ＋となるようＰＧＡ回路２０を設定する。ＰＧＡ回路２０の制御限界などで感度を下げきれない場合は絞り値（Ａｖ）や露光時間（Ｔｖ）を変更して露出を下げてもよい。

露出設定が完了するとステップＳ５０２の露光動作に進む。露光して取得した画像データは一時記憶メモリ３０に記憶される。

次に取得した画像データの現像処理へと進む。現像処理に必要な各種パラメータを設定するが、特にステップＳ５０１、Ｓ５０２にてＤ＋量分だけ露出を下げて本露光を行っているため、露出を下げることでアンダーになった明るさを補うように、ステップＳ５０３でガンマパラメータを設定する。

上述したようなＤ＋量に応じたガンマパラメータが設定されると、設定された各種パラメータに基づきステップＳ５０４で現像処理を行う。

現像された画像データはステップＳ５０５で記録媒体８２に記録され、撮影処理を終了する。

以上のように、本実施例では、ステップＳ２０５で画像解析によりＤ＋量を求めた後、ステップＳ３０３およびＳ４０３にて露出がアンダーになった分に応じてＤ＋量を補正している。このような構成により、過度にダイナミックレンジ拡大処理を行うことなく、実際の撮影時の露出条件に応じて適切なダイナミックレンジ拡大処理を行うことができる。そのため、過度なダイナミックレンジ拡大処理に伴うノイズの増加やコントラストの低下を抑えることができ、良好な画像を得ることができる。具体的には、ステップＳ２０５で解析に用いる画像データを取得する際の露出に対して本露光の露出がアンダーとなる場合には、画像の白とび量が露出をアンダーにした分だけ軽減されるため、白とびを抑えるのに必要なＤ＋量が小さくなる。この点を考慮してＤ＋量を補正することで、撮影条件に最適なダイナミックレンジ拡大処理を行うことが可能となる。

また、特にコントラストの高い被写体に対して発光撮影した場合にハイライト部の白とびが懸念されるが、ステップＳ４０６で実際の撮影時の露出条件での白とび量を演算し、それに応じて発光量を抑えることでハイライト部の白とびを軽減することができる。

さらに、発光量を抑えても白とびしそうな場合に発光を取り止めることにより、白とび量が大きくならないようにすることができる。

なお、本実施例では、Ｄ＋量算出のための画像解析に用いる画像を取得する際の露出よりも本露光の露出がアンダーになる要因として、ユーザーによる露出補正、露出制御範囲の限界、ブレを考慮した露光時間制限を挙げたが、これらの要因に限られるものではない。例えば、撮影シーンや被写体の状況に応じて露出を補正して撮影する場合にも、本実施例と同様の制御を適用することが可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１２メカニカルシャッター
１４絞り
１６撮像素子
２０ＰＧＡ回路
２４ＴＧ
２６絞り駆動回路
２８メカニカルシャッター駆動回路
３８画像認識回路
４６ストロボ
４８ストロボ制御部
５０画像処理回路
６０システム制御部

Claims

被写体を撮像して画像データを取得する撮像手段と、
被写体の輝度を測定する測光手段と、
本露光時の露出条件を設定する露出条件設定手段と、
前記露出条件設定手段により本露光時の露出条件が設定される前に、第１の露出条件で撮像された画像データの所定領域の輝度と目標値との差に基づいて、ダイナミックレンジ拡大処理に伴う露出低下量を演算する演算手段と、
前記露出条件設定手段により設定された本露光時の露出条件に基づいて前記露出低下量を補正する補正手段と、
本露光時の画像データに対して前記補正手段により補正された露出低下量に応じた階調特性を設定する階調特性設定手段と、を有することを特徴とする撮像装置。
前記所定領域は、前記第１の露出条件で撮像された画像における前記測光手段により測定された輝度が所定値以上の白とび領域であることを特徴とする請求項１に記載の撮像装置。
本露光時に被写体を照射する発光手段と、
本露光を行う前に、前記露出条件設定手段により設定された発光撮影用の露出条件で本露光を行った場合に取得される画像における白とび量を演算する白とび量演算手段と、
前記白とび量演算手段により演算された白とび量が大きいほど、本露光時の前記発光手段の発光量が小さくなるように発光制御を行う発光制御手段と、を有することを特徴とする請求項１または２に記載の撮像装置。
前記白とび量演算手段により演算された白とび量が閾値より大きい場合、前記発光制御手段は本露光時に前記発光手段を発光させず、前記露出条件設定手段は本露光時の露出条件として非発光撮影用の露出条件を設定することを特徴とする請求項３に記載の撮像装置。
前記撮像手段により撮像された画像における被写体の顔領域を検出する顔検出手段を有し、
前記所定領域は、前記第１の露出条件で撮像された画像における前記顔検出手段により検出された顔領域であることを特徴とする請求項１に記載の撮像装置。
前記第１の露出条件は、適正露出となる露出条件であることを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
前記露出条件設定手段は、ユーザーにより設定された露出補正値を加味して本露光時の露出条件を設定することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
本露光時の露出条件を設定する露出条件設定ステップと、
前記露出条件設定ステップで本露光時の露出条件が設定される前に、第１の露出条件で撮像された画像データの所定領域の輝度と目標値との差に基づいて、ダイナミックレンジ拡大処理に伴う露出低下量を演算する演算ステップと、
前記露出条件設定ステップで設定された本露光時の露出条件に基づいて前記露出低下量を補正する補正ステップと、
本露光時の画像データに対して前記補正ステップで補正された露出低下量に応じた階調特性を設定する階調特性設定ステップと、を有することを特徴とする撮像装置の制御方法。