JP6137792B2

JP6137792B2 - 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体

Info

Publication number: JP6137792B2
Application number: JP2012154213A
Authority: JP
Inventors: 茂市川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-07-10
Filing date: 2012-07-10
Publication date: 2017-05-31
Anticipated expiration: 2032-07-10
Also published as: JP2014017681A; US20140016001A1; US9277135B2

Description

本発明は、動画撮影が可能なデジタルカメラ、ビデオカメラ等の撮像装置に関するものである。

静止画や動画を撮影することを目的としたＣＣＤやＣＭＯＳイメージセンサを用いた固体撮像装置のダイナミックレンジ（階調を識別することができる最小輝度と最大輝度の比率）は、一般的に人の目で感じられるものと比較し、狭いことが知られている（図１０）。

そのため、実際に目で見た階調を、写真としてそのまま再現することが困難だという問題があった。この問題に対して、異なる露出条件で撮影した複数の画像（明るいオーバー露出のＨ画像、適正露出のＭ画像、暗いアンダー露出のＬ画像等）を重ね合わせて、通常撮影よりも広いダイナミックレンジ（以下、ＨＤＲ）を実現させる技術が知られている。（例えば、特許文献１）
図１１は特許文献１のＨＤＲを実現させる撮影動作の、様子の一例を示すものである。撮影を開始した後に、露出条件を変えて複数枚（ここでは、Ｈ画像、Ｍ画像、Ｌ画像の３枚）の撮影を行う。その後、各画像を合成することで、Ｈ画像とＬ画像の露出の差によるＨＤＲを実現することができる。

特開平０６−１４１２２９号公報

しかし、特許文献１では露光時間によって、露出の差をつける方法が開示されているのみである。そのため、決められた周期（例えば３０ｆｐｓ（１秒間に３０枚の撮影を行う））で繰り返して撮影する動画撮影に対しては、適していない問題があった。

そこで、本発明は、被写体の輝度の変化に対して、ハイダイナミックレンジ（ＨＤＲ）を維持することが可能な撮像装置を提供することを例示的目的とする。

本発明の一側面としての撮像装置は、被写体輝度にかかわらず一定である所定の周期で、レンズを介して形成された被写体像を光電変換して撮像信号を生成する撮像手段と、前記撮像手段の蓄積時間を制御する蓄積時間制御手段と、前記撮像手段から出力される撮像信号を増幅する増幅手段と、前記撮像手段から出力される撮像信号から被写体輝度を算出する被写体輝度算出手段と、前記被写体輝度算出手段で算出した被写体輝度に応じて、前記撮像手段の蓄積時間、前記撮像信号の増幅量及び絞り値で決まる前記撮像手段の露出条件を算出する露出条件算出手段と、異なる複数の露出条件で連続して撮影された複数の合成用画像を合成し、ダイナミックレンジの拡大された合成画像を生成する画像生成手段と、を有し、前記露出条件算出手段は、前記複数の露出条件の露出段差を一定に維持したまま、前記被写体輝度が、第１の値から第２の値へ変化するときには、前記蓄積時間を段階的に変更することで変化に追従し、前記被写体輝度が、それぞれ前記第１及び第２の値よりも低い輝度値である第３の値から第４の値に変化するときには、前記蓄積時間を固定とし前記増幅量を段階的に変更することで変化に追従するように前記複数の露出条件を算出することを特徴とする。

本発明によれば、被写体の輝度の変化に対して、ハイダイナミックレンジを維持することができる。

本発明の実施形態に係わる撮像装置の構成を示すブロック図である。本発明の実施形態に係わる撮影動作を示すタイミングチャートである。本発明の実施形態に係わる撮影動作を示す動作フローである。第一の実施形態に係わる撮像装置のＨＤＲ画像取得時のプログラム線図である。第一の実施形態の変形例に係わる撮像装置のＨＤＲ画像取得時のプログラム線図である。第二の実施形態に係わる撮影動作を示すタイミングチャートである。第二の実施形態に係わる画像処理時のゲイン量を示すグラフである。第二の実施形態に係わる撮像装置のＨＤＲ画像取得時のプログラム線図である。第二の実施形態の変形例に係わる撮像装置のＨＤＲ画像取得時のプログラム線図である。ダイナミックレンジの説明図である。従来例に係わるＨＤＲ画像取得方法を示す模式図である。

以下、図面を参照し、本発明の実施例について説明する。図１は、本発明の実施形態に係わる撮像装置の構成を示すブロック図である。

１００は動画撮影が可能なデジタルカメラやビデオカメラ等からなる撮像装置であり、本実施形態ではデジタルカメラである。

撮像装置１００の内部の機能を記述すると、１０１は被写体からの光を撮像部１０３へ集光するレンズである。レンズ１０１には、フォーカスレンズ（焦点距離変更手段）や、入射光を遮る絞り（遮光手段）等が含まれる。

１０２はレンズ１０１と撮像部１０３との間に配置されているレンズ１０１を透過する光の量を調整する光量調整部（減光手段）である。具体的に本実施例においては、３段分の光量を減光することができる減光フィルタの挿入機構である。ここでは、３段分の減光フィルタ挿入機構としたが、減光量は３段分以外の値でもよいし、絞り機構を用いることで、段階的に減光できるようにしてもよい。

１０３は撮像部（撮像手段）であり、レンズ１０１と光量調整部１０２を通して入射した光をアナログの電気信号に変換する画素部と、該画素部から出力されるアナログ信号をデジタル信号（撮像信号）に変換するＡ／Ｄ変換回路等を含んでいる。画素部は、レンズ１０１と光量調整部１０２を介して形成された被写体像を光電変換する光電変換素子を含んでいる。

１０４は信号処理部（増幅手段）であり、撮像部１０３より入力される画素信号（撮像信号）に対して必要な画像信号補正処理を行う。例えば、信号処理部１０４は、撮像部１０３より入力される撮像信号の増幅を行う。

１０５は撮像制御部（蓄積時間制御手段）であり、後述する全体制御・演算部１０６からの入力信号を基に、撮像部１０３、信号処理部１０４等に必要なタイミング信号の生成を行う。また、撮像制御部１０５は、後述する全体制御・演算部１０６からの入力信号を基に、信号処理部１０４に必要な撮像信号を増幅するためのゲインの設定信号、撮像部１０３に必要な露出時間（蓄積時間）の設定信号、及びその他の制御に必要な信号の生成を行う。撮像制御部１０５は、生成した露光時間の設定信号を用いて撮像部１０３の露光時間を制御する。

１０６は全体制御・演算部（露出条件算出手段、画像生成手段）であり、撮像装置１００全体の制御を行う。全体制御・演算部１０６は撮像装置１００の動作に応じて必要な処理および演算を行う。また、後述するように全体制御・演算部１０６は、動画撮影の際に異なる露出設定で連続して撮影した複数の合成用画像を合成しハイダイナミックレンジ合成画像（以下、ＨＤＲ画像、ダイナミックレンジの拡大された合成画像ともいう）を生成する。また、全体制御・演算部１０６は、後述する被写体輝度検出部１０８で検出した被写体輝度に応じて撮影画像の露出設定を行う。

全体制御・演算部１０６の中には、信号処理部１０４等からの信号を一時的に記憶する記憶部１０７と、撮像部１０３からの信号をもとに撮影している被写体の輝度値を検出（算出）する被写体輝度検出部１０８（被写体輝度算出手段）が含まれている。また、全体制御・演算部１０６の中には、被写体輝度検出部１０８からの信号をもとに撮影画像の露出を決定する露出演算部１０９が含まれている。全体制御・演算部１０６は露出演算部１０９の演算結果に基づき、光量調整部１０２を用いて光量を調整する行為、若しくは撮像制御部１０５を用いて露光時間や撮像信号を増幅するためのゲインを調整する行為を行う。本実施例においては、信号処理部１０４は全体制御・演算部１０６とは独立の構成としたが、信号処理部１０４は全体制御・演算部１０６の中に含まれていてもよい。

１１０は操作部であり、釦やダイヤル等のヒューマンＩＦで構成されていて、撮像装置１００の動作命令をする。

１１１は記録部であり、全体制御・演算部１０６にて生成される画像データを記録する。

１１２は表示部であり、信号処理部１０４からの信号をもとにして全体制御・演算部１０６にて生成される画像データを表示したり、操作部１１０から入力された操作に対応したアイコン等を表示したりする。

次に図１の撮像装置１００を用いてＨＤＲ画像を取得する方法に関して示す。

図２は本実施例における、撮像装置１００を用いてＨＤＲ画像を取得する際のタイミングチャートである。

全体制御・演算部１０６が生成する１／６０ｓ毎の垂直同期信号によって、６０ｆｐｓの撮影周期での動画撮影が行われる。本実施例においては、撮像制御部１０５によって設定された条件（例えば、異なる露出時間）で、Ｌ画像とＨ画像（複数の合成用画像）の露光動作を交互に行う。撮影した画像は、記憶部１０７に一時的に記憶され、Ｌ画像とＨ画像がそろったところで、全体制御・演算部１０６が両画像を合成し、ＨＤＲ画像を作成する。

次に、変化する被写体輝度に対してどのように追従していくかに関して示す。

図３は本実施例において、ＨＤＲ撮影時の被写体輝度の変化にどのように追従するかを示したフローチャートである。ここでの処理は、主に全体制御・演算部１０６がコンピュータプログラムに従って実行する。このことは、後述する他の実施例でも同じである。

まず、撮影開始前の準備動作に関して示す。操作部１１０等からの指示によって撮影を開始した後（Ｓ３０１）に、撮影開始時の露出算出用の画像を取得する（Ｓ３０２）。Ｓ３０２で撮影した画像から、被写体輝度検出部１０８にて被写体輝度Ｂｖ（０）を検出する（Ｓ３０３）。Ｓ３０３で検出した被写体輝度Ｂｖ（０）をもとに、露出演算部１０９にてＨ画像用露出（以下、ＥｖＨ）及びＬ画像用露出（以下、ＥｖＬ）を算出する（Ｓ３０４）。算出された露出条件（ＥｖＨ及びＥｖＬ）によって、光量調整部１０２と撮像制御部１０５の設定を行った後に（Ｓ３０５）、画像の記録を開始する（Ｓ３０６）。

上記Ｓ３０１〜Ｓ３０６までの動作は、ＨＤＲ画像の取得前に実施する動作であり、撮影は１枚撮影でもよい。また、所定の決まった露出条件から撮影をスタートする場合は、Ｓ３０２〜Ｓ３０４までの動作は省いてもよい。

次に、操作部１１０等からの指示によって撮影が終了したか否かを判断する（Ｓ３０７）。撮影が終了したと判断した場合（Ｓ３０７のＹｅｓ）は撮影を終了し、撮影が終了していないと判断した場合（Ｓ３０７のＮｏ）はＳ３０５で設定された露出条件に基づいて次の本撮影用の画像を取得する（Ｓ３０８）。

次に、被写体輝度Ｂｖ（ｎ）の変化への追従動作に関して示す。順番に取得する各合成用画像（Ｌ画像及びＨ画像）に対して、Ｓ３０３の動作と同様に、被写体輝度Ｂｖ（ｎ）を検出する（Ｓ３０９）。検出したＢｖ（ｎ）に関して、それ以前に取得したＢｖ（ｎ−１）と比較し、所定の閾値Ｔｈ以上の差分があるかどうかを判定する（Ｓ３１０）。もし、閾値Ｔｈ以上の差分があった場合は、Ｓ３０４と同様に、ＥｖＨ及びＥｖＬの算出を行い（Ｓ３１１）、光量調整部１０２と撮像制御部１０５の設定（すなわち、再設定）を行う（Ｓ３１２）。次に、カウンター「ｎ」を＋１して（Ｓ３１３）、Ｓ３０７へ戻り再び撮影が終了したか否かを判断する。もし、上記の差分が閾値Ｔｈ未満であった場合は、Ｓ３１１〜Ｓ３１２を行わずにＳ３１３へ進み、カウンター「ｎ」を＋１して、再びＳ３０７へ戻る。この動作を撮影終了まで行うことで、ＨＤＲ画像撮影中に被写体輝度が変化しても、追従することができる。

ここで、本実施例においては、被写体輝度Ｂｖ（ｎ）は撮影ごとに検出することとしたが、複数枚毎に実施してもよいし、比較対象をＢｖ（ｎ−１）だけではなく、それ以前に検出した複数枚の画像から算出した基準露出を比較対象としてもよい。

次に、各被写体輝度に応じた露出設定に関して説明する。図４は図３のフローチャートにおいて、Ｓ３０４及びＳ３１１でＥｖＨ及びＥｖＬを算出する際に用いるプログラム線図である。左上のプログラム線図は適正露出よりも明るく撮影されるＨ画像用露出（ＥｖＨ）算出用の線図（以下、ＥｖＨ線図）であり、右下のプログラム線図は適正露出よりも暗く撮影されるＬ画像用露出（ＥｖＬ）算出用の線図（以下、ＥｖＬ線図）である。どちらも、横軸には露光時間Ｔｖを、縦軸には光量調整部１０２における光量調整量Ａｖと、信号処理部１０４で撮像信号を増幅するためのゲインの設定量（増幅量）Ｓｖの差分をとっている。そして、斜め方向に引いた直線は、ＥｖＨ線図とＥｖＬ線図における、同一被写体輝度Ｂｖを示している。つまり、被写体輝度検出部１０８にて検出された被写体輝度Ｂｖの斜め線に対して、各プログラム線図上の交点の露出条件がＥｖＨ及びＥｖＬとなる。

本実施例における、撮像装置１００を用いたＨＤＲ画像撮影時の、被写体輝度の変化に対する具体的な追従方法に関して図４を用いて説明する。本実施例ではＢｖ１５からＢｖ６までの間、ＥｖＬはＥｖＨに対して常に１段分高いＴｖ値（蓄積時間）が選択される。Ｂｖ１５からＢｖ１２までは、ＥｖＬとＥｖＨ共にＴｖ値を変更して被写体輝度に追従していく。そして、Ｂｖ１２になったところで、ＥｖＨとＥｖＬ共に同じタイミングで、光量調整部１０２の減光フィルタを抜去し、そして同時にＴｖ値を３段分上昇させる。そして、Ｂｖ１２からＢｖ９までは、Ｂｖ１５からＢｖ１２までと同様にＴｖ値を変更して被写体輝度に追従していく。すなわち、Ｂｖ１５からＢｖ１２及びＢｖ１２からＢｖ９までの被写体輝度の範囲では、第１の値から第２の値に被写体輝度が変化することに追従してそれぞれのＴｖ値が変更される。そして、Ｂｖ９（閾値）になり、ＥｖＨの露出をＴｖ値を低くすることでは追従できなくなった（すなわち、動画撮影時に設定可能なＥｖＨのＴｖ値の上限値に達した）ところで、撮像制御部１０５から撮像信号を増幅するためのゲインの設定信号の生成を行う。本実施例では、ＥｖＬとＥｖＨのどちらも同じ量のゲイン設定をし、Ｂｖ９でのＥｖＨとＥｖＬのＴｖ値を維持（固定）した状態で増幅量Ｓｖ値を（最大３段分（上限値）まで）増加させることでＢｖ９からＢｖ６まで追従させる。つまり、Ｂｖ９からＢｖ６までは、ＥｖＨのＴｖ値はＴｖ６に維持したまま、ＥｖＬのＴｖ値はＴｖ７に維持したままＳｖ値を上限値まで増加させている。この被写体輝度の範囲では、第３の値から第４の値に被写体輝度が変化することに追従してそれぞれのＳｖ値が変更される。ここで、Ｂｖ９からＢｖ６までの暗い被写体輝度の範囲では、ＥｖＬのＴｖ値をＴｖ７に維持したままゲインをかけて追従させるので、動きの速い被写体に対して有利となる。なお、Ｂｖ６からＢｖ１５までの間、ＥｖＬとＥｖＨのＴｖ値は常に１段分の差が設けられ、光量調整部１０２の設定はＥｖＬとＥｖＨ共に常に同じ状態であり、またＳｖ値の設定もＥｖＬとＥｖＨ共に常に同じ状態で追従させている。したがって、Ｂｖ６からＢｖ１５までの間の被写体輝度の変化に対してＥｖＬとＥｖＨの露出差（露出段差）を一定に保ちながら追従することができる。

上記では、Ｔｖ値を限界値まで変化させた後にＳｖ値を変化させたが、変化させる順番に関しては、逆にしてもよいし、Ｔｖ値を所定量変化させた後にＳｖ値を変化させる動作を行ってもよい。

このようにＢｖ６からＢｖ１５までの間の被写体輝度の変化に対して、本実施例の動作を用いることで、ＥｖＨとＥｖＬの露出差を一定に保ちながら追従することができる。つまり、被写体輝度が大きく変化しても、露出差を一定に保ちながら撮影時の露出も大きく変化させることができ、ＨＤＲを維持したまま所望の出力レベルのＨＤＲ画像を取得することができる。

次に、上記図４の実施例の変形例について図５を用いて説明する。本変形例では、Ｂｖ１５からＢｖ１２までは、ＥｖＬとＥｖＨ共にＴｖ値を変更して被写体輝度に追従していく。その際には、必ずＥｖＬはＥｖＨに対して１段分高いＴｖ値が選択される。そして、Ｂｖ１２になったところで、ＥｖＨとＥｖＬ共に同じタイミングで、光量調整部１０２の減光フィルタを抜去し、そして同時にＴｖ値を３段分上昇させる。そして、Ｂｖ１２からＢｖ９までは、Ｂｖ１５からＢｖ１２までと同様にＴｖ値を変更して被写体輝度に追従していく。そして、Ｂｖ９（閾値）になり、ＥｖＨの露出をＴｖ値を低くすることでは追従できなくなった（すなわち、動画撮影時に設定可能なＥｖＨのＴｖ値の上限値に達した）ところで、撮像制御部１０５から撮像信号を増幅するためのゲインの設定信号の生成を行う。ここで、本変形例では、ＥｖＬとＥｖＨのゲイン設定をそれぞれ異なる値（１段分の差を設けた値）で設定する。ＥｖＨの露出はＢｖ９からＢｖ６までの間、Ｔｖ値をＴｖ６に維持した状態で、増幅量Ｓｖ値を（最大３段分（上限値）まで）増加させることでＢｖ９からＢｖ６まで追従させる。一方で、ＥｖＬの露出はＢｖ９ではまだＴｖ値を一段分低くすることができるので、Ｂｖ８まではＴｖ値を低くしていく。そして、Ｂｖ８になり、ＥｖＬの露出をＴｖ値を低くすることで追従できなくなったところで、増幅量Ｓｖ値を（２段分まで）増加させることでＢｖ８からＢｖ６まで追従させる。ここで、ＥｖＬにおいては、ＥｖＨよりも１段分少ないゲイン量を設定している。つまり、ＥｖＬとＥｖＨのゲイン量に１段分の差を設定した状態で、Ｂｖ６まで追従する。ここで、Ｂｖ９からＢｖ６までの暗い被写体輝度の範囲では、ＥｖＬのゲインの設定量Ｓｖを図４に示すＥｖＬのゲインの設定量Ｓｖよりも小さくできることから、ノイズ（画質）に対して有利となる。なお、本変形例でも上記したように動作させることでＥｖＬとＥｖＨの露出差を一定に保つことができる。したがって、Ｂｖ６からＢｖ１５までの間の被写体輝度の変化に対してＥｖＬとＥｖＨの露出差を一定に保ちながら追従することができる。

ここで、Ｔｖ値を限界値まで変化させた後にＳｖ値を変化させたが、変化させる順番に関しては、逆にしてもよいし、Ｔｖ値を所定量変化させた後にＳｖ値を変化させる動作を行ってもよい。

このようにＢｖ６からＢｖ１５までの間の被写体輝度の変化に対して、本変形例の動作を用いることで、ＥｖＨとＥｖＬの露出差を一定に保ちながら追従することができる。つまり、被写体輝度が大きく変化しても、露出差を一定に保ちながら撮影時の露出も大きく変化させることができ、ＨＤＲを維持したまま所望の出力レベルのＨＤＲ画像を取得することができる。

ここで、本実施例１では６０ｆｐｓで撮影した２枚の画像を用いて３０ｆｐｓの動画を作成する例を示したが、３０ｆｐｓ以下のフレームレートでもよい。

また、ＥｖＨに対するＥｖＬの露光時間差を、１段以外としても本実施例の動作を適用することで、同様の効果を得ることができる。

また、図２で示したＬ画像とＨ画像の取得順に関しては、Ｈ画像を先に取得してもよい。

また、ＨＤＲ画像に用いる画像に３枚以上の画像を用いる場合においても、本実施例の動作を行うことで、一定の露出差を保ったまま、被写体輝度の変化に追従することができる。

実施例１では、被写体輝度の変化に対して、一定の露出差を保って追従することに関して例示した。

しかし、動画撮影においてＨＤＲ画像を取得しない場合はＴｖ値をＴｖ５まで追従できるのに対して、ＨＤＲ画像を取得する際に設定できるＴｖ値は最大でもＴｖ６までとなり、通常撮影よりも低輝度被写体に追従することができない問題がある。

本実施例における撮像装置の構成、低輝度被写体撮影時以外のＨＤＲ画像を取得する動作は実施例１と同様である。つまり、実施例１において被写体輝度がＢｖ６未満の低輝度被写体を撮影するとき以外の動作は基本的に実施例１に示した動作と同様の動作を行う。以下では、低輝度被写体を撮影する場合に、どのようにしてＨＤＲを実現するかに関して示す。

図６は本実施例における、撮像装置１００を用いて被写体輝度が低輝度になった際のＨＤＲを実現する際のタイミングチャートである。

所定の被写体輝度以上では、実施例１と同様の動作を行い、ＨＤＲ画像を生成する。すなわち、被写体輝度がＢｖ６以上ある状態では、実施例１と同様の動作を行い、ＨＤＲ画像を生成する。一方で、被写体輝度が所定の輝度値よりも下回ったことが、被写体輝度検出部１０８にて検出されると、Ｈ画像の露光動作を止め、Ｌ画像のみの露光動作を行う。ここで、被写体輝度が所定の輝度値（Ｂｖ６）となった状態では、すでにＨ画像を取得する際の動画撮影時に設定可能なＥｖＨのＴｖ値及びＳｖ値が共に上限値に達してしまっている。そのため、本実施例は、被写体輝度が所定の輝度値を下回った状態では、Ｈ画像の取得を中止してＬ画像のみの取得を行っている。取得したＬ画像は、全体制御・演算部１０６内での画像処理時に図７に示す画像処理ＨＤＲ画像用ゲイン（係数）を乗算する。この画像処理ＨＤＲ画像用ゲインは、各画素の出力値によってゲイン値が異なり、通常のＨＤＲ画像に使用するものよりも高輝度部の信号を強調する効果がある。つまり、Ｈ画像が取得できなかったとしても、Ｌ画像に上記ゲインを乗算することで、低輝度被写体撮影時においても、ＨＤＲを実現することができる。

次に、本実施例における具体的な露出設定動作に関して、図８の線図を用いて説明する。

Ｂｖ６からＢｖ１５までの間の被写体輝度の変化に対して、ＥｖＨとＥｖＬの露出差を一定に保ちながら追従する動作に関しては、実施例１の図４と同様である。本実施例の特徴であるＢｖ６よりも低い低輝度の被写体に対しては、線図上に点線で示したように、Ｈ画像の取得を中止し、Ｂｖ６からＢｖ４までＬ画像の露出条件のＴｖ値を変化させて追従させる。取得した画像は、上記の画像処理ＨＤＲ画像用ゲインを乗算し、ＨＤＲ画像を生成する。

このようにＢｖ６よりも低いＢｖ４の被写体輝度に対しても、本実施例の動作を用いることで、ＨＤＲを保ちながら追従することができる。つまり、被写体輝度が大きく変化しても、露出差を一定に保ちながら撮影時の露出も大きく変化させることができ、ＨＤＲを維持したまま所望の出力レベルのＨＤＲ画像を取得することができる。

次に、上記図８の実施例の変形例について図９の線図を用いて説明する。

Ｂｖ６からＢｖ１５までの間の被写体輝度の変化に対して、ＥｖＨとＥｖＬの露出差を一定に保ちながら追従する動作に関しては、実施例１の図５と同様である。本実施例の特徴であるＢｖ６よりも低輝度の被写体に対しては、線図上に点線で示したように、Ｈ画像の取得を中止し、Ｌ画像の露出条件のＳｖ値及びＴｖ値を変化させて追従させる。具体的には、Ｂｖ６からＢｖ５まではＳｖ値を変化させて追従させ、Ｂｖ５からＢｖ４まではＴｖ値を変化させて追従させる。取得した画像は、上記の画像処理ＨＤＲ画像用ゲインを乗算し、ＨＤＲ画像を生成する。

このようにＢｖ６よりも低いＢｖ４の被写体輝度に対しても、本変形例の動作を用いることで、ＨＤＲを保ちながら追従することができる。つまり、被写体輝度が大きく変化しても、露出差を一定に保ちながら撮影時の露出も大きく変化させることができ、ＨＤＲを維持したまま所望の出力レベルのＨＤＲ画像を取得することができる。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、動画撮影中にＨＤＲ画像を生成可能なデジタルカメラあるいはビデオカメラなどの撮像装置に好適に利用できる。

１０３撮像部
１０４信号処理部
１０５撮像制御部
１０６全体制御・演算部
１０８被写体輝度検出部
１０９露出演算部

Claims

被写体輝度にかかわらず一定である所定の周期で、レンズを介して形成された被写体像を光電変換して撮像信号を生成する撮像手段と、
前記撮像手段の蓄積時間を制御する蓄積時間制御手段と、
前記撮像手段から出力される撮像信号を増幅する増幅手段と、
前記撮像手段から出力される撮像信号から被写体輝度を算出する被写体輝度算出手段と、
前記被写体輝度算出手段で算出した被写体輝度に応じて、前記撮像手段の蓄積時間、前記撮像信号の増幅量及び絞り値で決まる前記撮像手段の露出条件を算出する露出条件算出手段と、
異なる複数の露出条件で連続して撮影された複数の合成用画像を合成し、ダイナミックレンジの拡大された合成画像を生成する画像生成手段と、を有し、
前記露出条件算出手段は、前記複数の露出条件の露出段差を一定に維持したまま、前記被写体輝度が、第１の値から第２の値へ変化するときには、前記蓄積時間を段階的に変更することで変化に追従し、前記被写体輝度が、それぞれ前記第１及び第２の値よりも低い輝度値である第３の値から第４の値に変化するときには、前記蓄積時間を固定とし前記増幅量を段階的に変更することで変化に追従するように前記複数の露出条件を算出することを特徴とする撮像装置。
前記第１及び第２の値は閾値より大きく、前記第３及び第４の値は閾値より小さいものとし、
前記閾値において前記露出条件算出手段により算出される前記蓄積時間は、設定された前記撮像手段の所定の周期と等しいことを特徴とする請求項１に記載の撮像装置。
前記露出条件算出手段は、前記被写体輝度が前記第１の値から第２の値に変化するとき、前記複数の合成用画像のそれぞれにおいて、前記絞り値及び前記増幅量を変更せずに変化に追従するように前記複数の露出条件を算出することを特徴とする請求項２に記載の撮像装置。
前記露出条件算出手段は、前記複数の合成用画像のうちのいずれの画像を取得するための前記蓄積時間も、設定可能な上限値に達していない場合は前記蓄積時間を変更することで前記被写体輝度の変化に追従し、前記複数の合成用画像のうちのいずれか１つの画像を取得するための前記蓄積時間が設定可能な上限値に達している場合は、前記複数の合成用画像を取得するための前記蓄積時間をそれぞれ維持したまま、前記複数の合成用画像を取得するための前記増幅量をそれぞれ増加させることで前記被写体輝度の変化に追従するように前記複数の露出条件を算出することを特徴とする請求項１に記載の撮像装置。
前記露出条件算出手段は、前記複数の合成用画像を取得するための露出条件として、前記複数の合成用画像を取得するための前記蓄積時間が設定可能な上限値に達している場合は、当該蓄積時間が上限値に達している合成用画像の前記蓄積時間を前記上限値に維持したまま前記増幅量を増加させることで前記被写体輝度の変化に追従させ、前記複数の合成用画像のうちの当該蓄積時間が上限値に達していない他の合成用画像の露出条件は、当該他の合成用画像を取得するための前記蓄積時間がそれぞれ前記上限値に達するまでは蓄積時間で前記被写体輝度の変化に追従するように前記複数の露出条件を算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記画像生成手段は、前記複数の合成用画像のうちの１つの合成用画像を取得するための露出条件が、前記合成画像を生成する際に設定可能な前記蓄積時間の上限値と前記増幅量の上限値に達している場合は、前記複数の合成用画像のうち前記１つの合成用画像とは別の合成用画像に対応する１つの画像を取得し、該画像の各画素の出力値に応じた係数を乗算することで、ダイナミックレンジの拡大された合成画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
被写体輝度にかかわらず一定である所定の周期で、レンズを介して形成された被写体像を光電変換して撮像信号を生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段から出力される撮像信号から被写体輝度を算出する被写体輝度算出ステップと、
前記被写体輝度算出ステップで算出した被写体輝度に応じて、前記撮像手段の蓄積時間、前記撮像信号の増幅量及び絞り値で決まる前記撮像手段の露出条件を算出する露出条件算出ステップと、
異なる複数の露出条件で連続して撮影された複数の合成用画像を合成し、ダイナミックレンジの拡大された合成画像を生成する画像生成ステップと、を有し、
前記露出条件算出ステップでは、前記複数の露出条件の露出段差を一定に維持したまま、前記被写体輝度が、第１の値から第２の値へ変化するときには、前記蓄積時間を段階的に変更することで変化に追従し、前記被写体輝度が、それぞれ前記第１及び第２の値よりも低い輝度値である第３の値から第４の値に変化するときには、前記蓄積時間を固定とし前記増幅量を段階的に変更することで変化に追従するように前記複数の露出条件を算出することを特徴とする撮像装置の制御方法。
被写体輝度にかかわらず一定である所定の周期で、一定の露出段差を有する複数の撮像を行う撮像手段と、
前記撮像手段の蓄積時間と、前記撮像手段から出力される撮像信号を増幅する増幅量を制御する制御手段と、
前記一定の露出段差を維持したまま、被写体輝度の変化に追従して各撮像の露出条件を設定する設定手段と、を備え、
前記設定手段は、所定の閾値以上の輝度範囲で前記被写体輝度が変化する場合は、各撮像の露出条件として前記増幅量を固定して前記蓄積時間を段階的に変更することで変化に追従し、前記所定の閾値よりも低い輝度範囲で前記被写体輝度が変化する場合は、各撮像の露出条件として前記蓄積時間を固定して前記増幅量を段階的に変更することで変化に追従することを特徴とする撮像装置。
前記所定の閾値は、前記所定の周期に基づいて前記制御手段が前記蓄積時間として制御可能な上限値に応じて決定された値であることを特徴とする請求項８に記載の撮像装置。
前記撮像手段により一定の露出段差で撮像された複数の画像を合成してＨＤＲ合成画像を順次生成し、前記ＨＤＲ合成画像からなる動画を生成することを特徴とする請求項８または９に記載の撮像装置。