JP6353585B2 - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。

近年、ＣＣＤやＣＭＯＳからなる撮像素子のダイナミックレンジを超えるダイナミックレンジを実現するために、ハイダイナミックレンジ（ＨＤＲ）合成と呼ばれる技術が提案されている。このＨＤＲ合成は、白飛びが少ない画像と黒潰れが少ない画像を、露出条件を変えて複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成する手法である（例えば、特許文献１参照）。ＨＤＲ合成は明暗差の大きいシーンにおいて有効であり、日向と日陰、屋外と屋内といったシーンで活用されている。

ここで、ＨＤＲ合成では異なる露出条件で撮影した複数枚の画像を合成するため、露出条件をどのように決定するかがＨＤＲ合成画像の画質に大きく影響する。例えば、特許文献２では、ＨＤＲ合成において画像を撮影する前に予備撮影を行い、露出条件を決定している。

特開平６−２７３３５４号公報 特開２００４−００７２９８号公報

しかしながら、上記特許文献２では、１回の予備撮影から複数枚の画像の露出条件を決定しているため、ＨＤＲ合成が利用される明暗差の大きいシーンでは、適切な露出条件を決定できない可能性がある。

本発明は、上記課題に鑑みてなされ、その目的は、ＨＤＲ合成画像の撮影において適正な露出条件を決定し、ＨＤＲ合成画像の画質を向上させることができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、ダイナミックレンジを拡大するための画像合成に用いられる複数の画像として、第１の画像と当該第１の画像とは異なる露出の第２の画像とを取得する撮像装置であって、
撮像手段と、シーンの変化を検出する検出手段と、露出を決定する決定手段と、前記決定された露出で前記撮像手段を用いて被写体を撮像する際の露出制御を行う制御手段と、を有し、前記決定手段は、前記検出手段によるシーンの変化を検出した結果と、第１のタイミングで撮像することで取得された前記第１の画像の輝度情報とに基づいて、前記第１のタイミングの次の第２のタイミングで撮像することで取得される前記第２の画像の露出を決定し、前記第１の画像は、前記第２の画像よりも露出がアンダーである。

本発明によれば、ＨＤＲ合成画像の撮影において適正な露出条件を決定し、ＨＤＲ合成画像の画質を向上できる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態のＨＤＲ合成動画記録処理を示すフローチャート。 本実施形態のＨＤＲ合成比率テーブルを例示する図。 本実施形態のＨＤＲ合成動画記録処理における露出制御方法を説明する図。 本実施形態のＨＤＲ合成における輝度の混合率を説明する図。 本実施形態のＨＤＲ合成動画記録処理を示すタイミングチャート。 本実施形態のＨＤＲ合成動画記録処理における動き検出方法を説明する図。 本実施形態のＨＤＲ合成動画記録処理におけるシーン変化の検出方法を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明の撮像装置を、デジタルカメラにより実現した例について説明するが、ＰＤＡやスマートフォン、タブレット端末などの電子機器などにも適用可能である。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１に示す撮像装置１００において、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。なお、上記機械式シャッター１２以外にも、撮像素子１４のリセットタイミングを制御することによって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理部２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御部４０及びフォーカス制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御部２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ ＬＣＤ等からなる表示部であり、メモリ３０に書き込まれた表示用の画像データに対応する画像はメモリ制御部２２を介して表示部２８により表示される。表示部２８を用いて撮像した画像データに対応する画像を逐次表示すれば、電子ファインダー機能を実現することが可能である。また、表示部２８は、システム制御部５０の制御により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には装置の電力消費を大幅に低減することができる。

３０は撮影した静止画や動画の画像データを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

不揮発性メモリ３１は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ３１には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、装置全体を統括して制御する演算処理装置であって、不揮発性メモリ３１に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ３３はＲＡＭなどであり、システム制御部５０の動作用の定数、変数、不揮発性メモリ３１から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部５０は、メモリ３０や表示部２８などを制御することにより表示制御も行う。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は機械式シャッター１２を制御する露光制御部であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御するフォーカス制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、フォーカス制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、フォーカス制御部４２に対して制御を行う。

５０は撮像装置１００全体を制御するシステム制御部である。

６０、６２、６４、６６、７０及び７２は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画記録モード、並びに本実施形態のＨＤＲ合成を用いた動画記録モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。また、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理などの一連の処理の動作開始を指示する。

６６は表示切替スイッチで、表示部２８の表示を切替えることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザが撮影画角の倍率変更指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる電源部である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０４は光学ファインダであり、表示部２８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する通信部である。

１１２は、通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

＜ＨＤＲ合成動画記録処理＞次に、図２を参照して、本実施形態のＨＤＲ合成動画記録処理について説明する。なお、図２の処理は、動画記録モードにおいて、ユーザによる動画撮影の開始指示に応じて開始され、システム制御部５０が、不揮発性メモリ３１に格納された制御プログラムを、メモリ３０のワークエリアに展開し、実行することで実現される。

以下ではＨＤＲ合成処理として、撮影時の露出を適正露出、アンダー露出にして２枚の画像を撮影し、それらを合成することで撮像素子のダイナミックレンジを擬似的に拡張した１枚の合成画像を作成する処理について説明する。

図２において、Ｓ２０１では、システム制御部５０はＨＤＲ合成を行うか否かを判定する。このＨＤＲ合成の判定は、システム制御部５０が測光処理を行い、測光結果から算出した被写体の輝度分布情報を用いる。Ｓ２０１でＨＤＲ合成を行うと判定された場合はＳ２０２に進み、ＨＤＲ合成を行わないと判定された場合はＳ２０４に進む。

Ｓ２０２では、システム制御部５０は撮影時の露出をアンダー露出にして撮影を行う。アンダー露出にして撮影を行い得られた画像データを、以下ではアンダー画像と呼ぶ。アンダー画像は、適正露出に対してシャッター速度もしくは感度により露出差を設定することでアンダー露出にして撮影される。露出段差の設定にいずれを用いるかは図８を参照して後述する。

Ｓ２０３では、システム制御部５０は、アンダー画像の測光処理を行い、被写体の輝度分布情報を算出する。この測光処理については図６を参照して後述する。

Ｓ２０４では、システム制御部５０は撮影時の露出を適正露出にして撮影を行う。適正露出にして撮影を行い得られた画像データを、以下では適正画像と呼ぶ。

Ｓ２０５では、システム制御部５０は、適正画像の測光処理を行い、被写体の輝度分布情報を算出する。この測光処理については図６を参照して後述する。

Ｓ２０６では、システム制御部５０は、Ｓ２０３とＳ２０５で算出された被写体の輝度分布情報を用いて、ＨＤＲ合成を行うか否かを判定する。このＨＤＲ合成の判定は図７を参照して後述する。Ｓ２０６でＨＤＲ合成を行うと判定された場合はＳ２０７に進み、ＨＤＲ合成を行わないと判定された場合はＳ２０８に進む。

Ｓ２０７では、システム制御部５０は、Ｓ２０２およびＳ２０４で撮影された適正画像とアンダー画像の合成処理を行う。合成処理については図３を参照して後述する。

Ｓ２０７で合成された画像データ（以下、合成画像と呼ぶ。）は撮像素子１４から出力されたＲＧＢ−Ｂａｙｅｒデータ形式であるため、Ｓ２０８にてシステム制御部５０はＹＵＶ形式に現像処理を行った後に符号化処理を行い、Ｓ２０９で記録媒体２００への記録処理を行う。

Ｓ２１０では、システム制御部５０は、記録終了の指示を受け付けるまで、Ｓ２０１から処理を繰り返し行う。

このようにして逐次算出される適正露出およびアンダー露出で行う撮影を１サイクルの撮影として、これを繰り返すことでＨＤＲ合成のための各画像データを生成する。なお、１サイクルの撮影において、適正露出で行う撮影とアンダー露出で行う撮影のどちらを先に行ってもよい。

図３はＨＤＲ合成処理における合成比率テーブルを示している。

ＨＤＲ合成は、適正露出とアンダー露出の２種類の露出で画像を撮影し、アンダー画像を参照して合成比率を求める。アンダー画像の各画素のレベルに応じて、合成比率テーブルを参照して、画素ごとの合成比率を決定し、以下の式１に基づき画像合成処理を行う。
ＰｉｘＯｕｔ［ｘ，ｙ］＝ＰｉｘＬ［ｘ，ｙ］×Ａ＋ＰｉｘＭ［ｘ，ｙ］×Ｂ・・・（１）
ただし、
ＰｉｘＯｕｔ［ｘ，ｙ］：合成後出力
ＰｉｘＬ［ｘ，ｙ］：アンダー画像
ＰｉｘＭ［ｘ，ｙ］：適正画像
Ａ：アンダー画像比率（図３の合成比率テーブル参照）
Ｂ：適正画像比率（図３の合成比率テーブル参照）
図３に示すように合成比率はアンダー画像の画素レベルによって決定される。アンダー画像の画素レベルが低いときは、非常に輝度レベルが低い画素なので、適正画像からの合成比率を高め、アンダー画像からの合成比率を低めに設定する。逆に適正画像の画素レベルが高いときは、非常に輝度レベルが高い画素なので、アンダー画像からの合成比率を高め、適正画像からの合成比率を低めに設定する。このように画像合成処理を実行することで、１種類の露出で得られた画像より、ダイナミックレンジの広い画像を生成することができる。なお、適正画像の各画素のレベルに応じて、合成比率テーブルを参照して、画素ごとの合成比率を決定しても良い。

次に、図４を参照して、図２のＨＤＲ合成動画記録処理における露出制御方法について説明する。

図２の測光処理（Ｓ２０３、Ｓ２０５）において、システム制御部５０は、図４に示すように、撮像素子１４から出力される映像信号を水平ｍ×垂直ｎの複数のブロックに分割し、ブロックごとの平均輝度Ｙｍｎを求める。

本実施形態のように、適正画像とアンダー画像をＨＤＲ合成する場合には、前述のように適正画像とアンダー画像のそれぞれでブロック単位の平均輝度Ｙｍｎを求め、適正画像のブロックの平均輝度とアンダー画像のブロックの平均輝度の混合率を変化させる。混合率の変化については図５を参照して後述する。そして、システム制御部５０は、適正画像とアンダー画像のブロック平均輝度を混合して、適正画像とアンダー画像の被写体輝度を算出し、それぞれの露出制御値を決定する。

図５はＨＤＲ合成画像の露出条件を決定する際の、適正画像のブロック平均輝度に対するアンダー画像のブロック平均輝度の割合（混合率）（Ａ）と、アンダー画像のブロック平均輝度に対する適正画像のブロック平均輝度の割合（混合率）（Ｂ）を示している。

適正画像の露出を算出するには、適正画像とアンダー画像の各ブロック平均輝度を図５（Ａ）に当てはめ、各画像のブロック平均輝度の混合率を算出する。同様に、アンダー画像の露出制御値を算出するには、適正画像とアンダー画像の各ブロック平均輝度を図５（Ｂ）に当てはめ、各画像のブロック平均輝度の混合率を算出する。ここで、各画像の露出制御値を決定するための被写体の輝度情報は以下の式２、式３を用いて算出する。

ＹＭｍｉｘ＿ｍｎ＝ＹＭｍｎ×αＭｍｎ＋ＹＬｍｎ×βＭｍｎ・・・（２）
ＹＬｍｉｘ＿ｍｎ＝ＹＭｍｎ×αＬｍｎ＋ＹＬｍｎ×βＬｍｎ・・・（３）
ただし、
ＹＭｍｎ：適正画像のブロックｍｎの輝度
ＹＬｍｎ：アンダー画像の特定ブロックｍｎの輝度
αＭｍｎ：ブロックｍｎの適正画像露出制御値算出用の適正画像輝度混合割合
βＭｍｎ：ブロックｍｎの適正画像露出制御値算出用のアンダー画像輝度混合割合
αＬｍｎ：ブロックｍｎの適正画像露出制御値算出用の適正画像輝度混合割合
βＬｍｎ：ブロックｍｎの適正画像露出制御値算出用のアンダー画像輝度混合割合
ＹＭｍｉｘ＿ｍｎ：適正画像露出制御値算出用ブロックｍｎの混合輝度
ＹＬｍｉｘ＿ｍｎ：適正画像露出制御値算出用ブロックｍｎの混合輝度
上記式２、式３を用いた計算を適正画像とアンダー画像のそれぞれの全ブロックｍ×ｎに対して行い、各画像の画面全体の輝度情報を算出することにより、適正画像とアンダー画像のそれぞれの露出制御値を決定する。なお、顔優先測光が設定されている場合には画面内の人物の顔周辺の重みを高めて輝度情報を算出し、中央重点測光が設定されている場合には画面中央部の重みを高めて輝度情報を算出するように、設定や撮影モードによって輝度情報の算出方法は異なる。

図６は本実施形態のＨＤＲ合成動画記録処理を示すタイミングチャートを示している。

本実施形態のＨＤＲ合成動画記録処理では、合成前の画像間の露光重心を近づけるため、先にアンダー画像を撮影し、次に適正画像を撮影して合成を行っている。図６の「合成」→「ＨＤＲ」の流れがＨＤＲ合成処理である。先に撮影されたアンダー画像の測光結果のブロック輝度演算を行い、次に撮影される適正画像の測光結果のブロック輝度演算を行い、図５で説明したように混合して露出条件を決定する。

これとは別に被写体輝度の変化に対する応答性を高めるために、被写体の状態変化に応じて一方の画像のみを用いて露出制御を行う場合（以下では、アンダー画像のみを用いて露出制御を行う場合を説明する。）がある。すなわち、被写体に動きがある場合や、アンダー画像の測光結果が１フレーム前に比べて大きく異なる場合には、シーンが変化したと判定して、極力露出を早く追従させる必要がある。被写体の動き検出については図７を、測光結果からシーンの変化を判定する方法については図８をそれぞれ参照して後述する。

また、アンダー画像のみを用いた露出制御では、アンダー画像のブロック平均輝度のみを用いて露出制御値を算出する。しかしながら、アンダー画像から求めた露出制御値は撮像素子１４のリニアリティやノイズにより測光精度が低下するおそれがあるので、以下の式４のように露出制御量に制限を設ける。

ＥｖＤｉｆｆ＝｜ＥｖＣｕｒｒ−ＥｖＮｅｘｔ｜
ＥｖＤｉｆｆＬｉｍ＝Ｌｉｍ_{０→ＥｖＬｉｍ}（ＥｖＤｉｆｆ）
ＥｖＬｉｍＮｅｘｔ＝ＥｖＣｕｒｒ＋ＥｖＤｉｆｆＬｉｍ・・・（４）
ただし、
ＥｖＣｕｒｒ：現在のアンダー画像の露出量
ＥｖＮｅｘｔ：現在のアンダー画像の測光結果に基づく次の露出量
ＥｖＤｉｆｆ：現在の露出制御量と測光結果に基づく目標露出制御量の差
ＥｖＬｉｍ ：露出制限量
ＥｖＤｉｆｆＬｉｍ：制限された露出制御量の差分
ＥｖＬｉｍＮｅｘｔ：制限された露出制御量
上記制限されたＥｖＬｉｍＮｅｘｔに基づいて露出量を決定して、次のフレームの撮影を行う。

図７は動き検出方法を示している。連続したフレームＮとフレームＮ−１の間で被写体に動きがあるか判定するには、Ｎ−１フレーム画像とＮフレームの間で図７のような演算を行う。

図７のフレームＮ基準画像と、フレームＮ−１画像に差分が小さければ、動きはないと判定できる。差分は画像同士の画素の差分を以下の式５から求める。

ＦｒＮ（ｘ，ｙ）はＮフレーム基準画像の座標（ｘ，ｙ）の画素値で、ＦｒＮ−１（ｘ，ｙ）はＮ−１フレーム画像の座標（ｘ，ｙ）の画素値である。これらの差分の総和を全体の差分Ｄｉｆｆとして求める。

図７に示す画像Ａは基準画像に対し、水平方向に−α画素、垂直方向に＋β画素ずらした画像である。これをＮ−１フレームと差分を取り、差分が小さければ画像が画像Ａのように左上方向にシフトしたと判定できる。

同様の処理を画像Ｂ〜Ｈに対しても行い、差分Ｄｉｆｆが最も小さい画像が、移動した方向であると判定できる。本実施形態の動き検出は基準画像に対して差分が最も小さければ動きがないと判定し、それ以外ならば動きがあると判定する。

なお、本実施形態では、被写体の動きの有無に基づいて露出制御を行う例を説明したが、撮像装置の動きを検出し、その結果に基づいて露出制御を行っても良い。

図８は測光結果からシーン変化を検出する方法を示し、横軸は時刻、縦軸は被写体輝度Ｅｖとして、被写体輝度の時間変化を示している。輝度は全てアンダー画像から算出した輝度である。ΔＥｖは１フレーム前との被写体輝度差を算出していて、以下の式６で求められる。

ΔＥｖ＿ｎ＝｜Ｅｖ＿ｎ−Ｅｖ＿ｎ−１｜・・・（６）

ただし、
Ｅｖ＿ｎ−１：１フレーム前の被写体輝度
Ｅｖ＿ｎ ：現フレームの被写体輝度
ΔＥｖ＿ｎ ：１フレーム前との被写体輝度差

上記式６から求まるΔＥｖが所定値以上の場合にシーンが変化したと判定する。図８ではΔＥｖ５が大きく変化しているので、シーン変化と判定する。

なお、本実施形態ではＨＤＲ合成を行う際に適正画像とアンダー画像を用いたが、適正画像とオーバー画像を用いても良い。この場合、システム制御部５０は、オーバー画像の輝度情報と適正画像の輝度情報とからオーバー画像の露出量を決定する。

また、本実施形態では、撮像装置でＨＤＲ合成処理を実行する例を説明したが、画像を撮像する撮像装置とは異なる画像処理装置においてＨＤＲ合成処理を行う構成であっても構わない。すなわち、ＨＤＲ合成処理に用いられる露出量の異なる複数の画像を撮像するがＨＤＲ合成処理は行わない撮像装置であっても本発明は適用できる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００…撮像装置、１４…撮像素子、２０…画像処理、５０…システム制御部

Claims (9)

1. ダイナミックレンジを拡大するための画像合成に用いられる複数の画像として、第１の画像と当該第１の画像とは異なる露出の第２の画像とを取得する撮像装置であって、
   撮像手段と、
   シーンの変化を検出する検出手段と、
   露出を決定する決定手段と、
   前記決定された露出で前記撮像手段を用いて被写体を撮像する際の露出制御を行う制御手段と、を有し、
   前記決定手段は、前記検出手段によるシーンの変化を検出した結果と、第１のタイミングで撮像することで取得された前記第１の画像の輝度情報とに基づいて、前記第１のタイミングの次の第２のタイミングで撮像することで取得される前記第２の画像の露出を決定し、
   前記第１の画像は、前記第２の画像よりも露出がアンダーであることを特徴とする撮像装置。
2. 前記決定手段は、前記第２の画像の露出を制限することを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、被写体輝度を用いて前記シーンの変化を検出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記検出手段は、被写体の動きを検出して前記シーンの変化を検出することを特徴とする請求項１または２に記載の撮像装置。
5. 前記検出手段は、前記撮像装置の動きを検出して前記シーンの変化を検出することを特徴とする請求項１または２に記載の撮像装置。
6. 前記画像合成に用いられる複数の画像を合成する合成手段をさらに有することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 撮像手段を備え、当該撮像手段を用いて、ダイナミックレンジを拡大するための画像合成に用いられる複数の画像として、第１の画像と当該第１の画像とは異なる露出の第２の画像とを取得する撮像装置の制御方法であって、
   シーンの変化を検出する検出ステップと、
   画像の露出を決定する決定ステップと、
   前記決定された露出で撮像手段を用いて被写体を撮像する際の露出制御を行う制御ステップと、を有し、
   前記決定ステップでは、前記検出ステップによるシーンの変化を検出した結果と、第１のタイミングで撮像することで取得された前記第１の画像の輝度情報とに基づいて、前記第１のタイミングの次の第２のタイミングで撮像することで取得される前記第２の画像の露出を決定し、
   前記第１の画像は、前記第２の画像よりも露出がアンダーであることを特徴とする制御方法。
8. コンピュータを、請求項１ないし６のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
9. コンピュータを、請求項１ないし６のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

Images