JP6147116B2 - 撮像装置、その制御方法及び制御プログラム - Google Patents

Description

本発明は、被写体を撮像する撮像装置に関し、特に連続して撮像した複数枚の画像を合成する機能を有する撮像装置に関する。

近年のデジタルカメラなどの撮像装置では、音声付き動画を撮影して記録するための様々な方式が採られる。従来の撮像装置では、動画撮影記録時に撮像素子のフレームレートを記録フレームレートとして記録する、或いは高いフレームレートで撮像した画像を低いフレームレートで記録することで、決定的な瞬間をスロー再生する効果を提供している。また最近では、異なる露光時間で連続した撮像した複数枚の画像出力を合成して記録し、ダイナミックレンジを拡大する（ＨＤＲ）技術が公開されている。

先行文献１では、シーンに応じて異なる露光時間の画像を合成し、ダイナミックレンジを拡大する技術が提案されている。この際の画像の合成に複数フレームの画像を使用している（フレーム間ＨＤＲ）。

先行文献２では、１フレーム内でラインごとに異なる露光時間を設定可能な画像撮像装置において、同一フレームの異なる露光時間の画像を合成してダイナミックレンジを拡大する技術が提案されている（面内ＨＤＲ）。

特開２０１２−９００４１号公報 特開２０１１−２４４３０９号公報

ところが、先行文献１の技術においては、複数フレームから一つの画像を合成するため、合成後の画像のフレームレートが遅くなり、また動きのある被写体に弱いという問題がある。
また、先行文献２の技術においては、同一フレームから異なる露光時間の画像を複数作成するために、同じ露光時間の画像に関して画素数が少なくなり、最終的な合成後の画像サイズが小さくなってしまうという問題がある。

そこで本発明の目的は、フレームレートと解像感が適切であり、かつダイナミックレンジが拡大された動画像を生成することが可能な撮像装置を提供することである。

上記目的を達成するため、本発明によれば、撮像装置は、撮像素子を有し、撮像素子上の複数の領域それぞれで撮像動作条件を異ならせて撮像を行い、画像を生成する撮像手段と、撮像素子上の複数の領域それぞれに撮像動作条件を設定する設定手段と、撮像手段から出力される複数の画像を合成して、拡大されたダイナミックレンジの画像を生成する合成手段とを備え、設定手段は、複数の領域それぞれについて、設定する撮像動作条件を周期的に異ならせるとともに、シーンに応じて、拡大されたダイナミックレンジの画像の合成を行う領域と行わない領域に画像を分割し、合成を行わない領域に対しては、撮像動作条件の単一の値を設定する。

本発明によれば、フレームレートと解像感が適切であり、かつダイナミックレンジが拡大された動画像を生成することが可能な撮像装置を提供することが可能となる。

本発明の実施例に係る撮像装置のブロック図である。 本発明の実施例に係る撮像装置のＨＤＲ制御動作のフローチャートを示す図である。 ＨＤＲの合成比率を示す図である。 先行実施例のフレーム間ＨＤＲを説明するための図である。 先行実施例の面内ＨＤＲを説明するための図である。 本発明の実施例に係る撮像装置のＨＤＲ制御を説明するための図である。 本発明の実施例に係る撮像装置のＨＤＲ制御動作のフローチャートを示す図である。 本発明の実施例に係る撮像装置のＨＤＲ制御動作のフローチャートを示す図である。

以下に、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例］
図１は、本実施例に係る動画撮像装置の構成を示すブロック図である。同図において、１００は撮像装置本体、１１０はズームレンズ、１１１はカメラのブレを補正するシフトレンズ、１１２は焦点調節用フォーカスレンズ、１１３は後段への光束を遮断するメカニカルシャッタ、１１４は後段への光束を調節する絞りである。１１５は撮像素子、１１６は撮像素子１１５の駆動及びサンプリングに必要なタイミングパルスを発生するタイミング発生器である。本実施形では、撮像素子１１５はＲＧＢ画素のＢａｙｅｒ配列のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサとするが、これに限らない。

１１７は、撮像駆動用の同期信号を発生するＳＳＧ（Ｓｙｎｃｈｒｏｎｉｚｉｎｇ Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ）回路や、撮像素子から出力されるデジタル信号を受信し、各種の処理を施す画像処理部。画像処理部１１７は、前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、画像合成回路、縮小回路、ラスタブロック変換回路、及び圧縮回路を含む。

ここで、ＳＳＧ回路は、タイミング発生器から撮像駆動用のクロックを受けて、水平及び、垂直同期信号を発生し、タイミング発生器と撮像素子に出力する。前処理回路は、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路は、設定された複数の評価領域内の画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出して最大値を検出し、垂直方向に積分演算を行う。輝度積分回路は、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数の領域に分割し、領域毎に輝度成分を生成する。信号処理回路は、撮像素子の出力データに対して色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２３にＹＵＶ形式の画像データを記憶する。

また、信号処理回路は、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。画像合成回路は、メモリ部１２３に記憶された複数のＲＧＢ形式の撮像画像、あるいはその撮像画像に対して信号処理を施した複数のＹＵＶ形式の画像データを入力される。このような複数の入力データに対し、領域あるいは画素単位で設定された係数を乗じて加算したり、領域あるいは画素単位で使用する入力データを選択することにより、合成画像を生成する。縮小回路は、信号処理回路から入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画像データの縮小処理を施す。ラスタブロック変換回路は、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３をバッファメモリとして用いて、ＣＰＵによる演算処理によって実現される。圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データをＨ．２６４、Ｈ．２６５、ＭＰＥＧなどの動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。本実施例では、各フレームにおいて所定の領域単位で露光条件を異ならせて撮像が行われ、この撮像画像を用いてＨＤＲフレームを生成し、ＨＤＲ動画データを出力することができる。これに加え、撮像画像を露光条件で分別し、各露光条件の動画データとしてＨＤＲ動画とは別途出力することもできる。さらに、露光条件ごとの動画データは例えばＭｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＶＣ）などのようなマルチストリームの形式で出力することもできる。この場合、適正な露光条件で撮像された動画データがある場合は当該動画データをメインストリーム（ベースビュー）とすれば通常動画として従来通りの動画が再生できる。

１１８はメカニカルシャッタ１１３、絞り１１４を制御する露出制御部である。１１９はズームレンズ１１０、焦点調節レンズ１１２を光軸上に沿って移動させて被写界像を撮像素子１１５上に結像させるレンズ制御部である。また、角速度センサと加速度センサの出力に応じてシフトレンズを駆動し、撮像装置の手ブレを光学的に補正する。１２０は撮影指示を行うレリーズスイッチである。

１２１はＣＰＵとそのインタフェース回路、ＤＭＡＣ（Direct・Memory・Access・Controller）、バスアービター等で構成されるシステム制御部である。ＣＰＵが実行するプログラムは、フラッシュメモリ１２２に記憶されている。また、１２３はＤＲＡＭ等からなるメモリ部で、各処理途中のデータを一時保存する他、フラッシュメモリ１２２内のプログラムもこちらに展開され実行される。

１２４は記録媒体とのインタフェース、１２５は記録媒体と接続を行うコネクタである。１２６は記録媒体２００の着脱を検出する記録媒体着脱検知スイッチである。１２７は入力された音声を音声信号に変換するマイクロフォン、１２８はマイクロフォンの音声出力をデジタル音声信号に変換するＡ／Ｄ変換器、１２９は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する音声処理部である。

１３０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。１３１は電源コネクタ、１３２は一次電池あるいは二次電池あるいはＡＣアダプター等からなる電源手段である。１８０は動画記録を指示する動画記録スイッチである。なお、これらの制御は、他の構成要素と同様に、システム制御部１２１のＣＰＵがフラッシュメモリ１２２に記憶されているプログラムに従って行われる。
１３３は角速度センサで、本実施例ではジャイロセンサで構成され、撮像装置１００にかかる振れを検出する。

１５０は画像処理部１１７で生成され、メモリ部１２３に記憶された画像データを表示用画像に変換してモニタに転送する再生回路、１５１は表示装置である。再生回路１５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ってアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログのＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号を変換生成して、モニタ１５１に出力する。このように、撮像素子からの画像データを逐次処理して表示することによってＥＶＦが実現される。

２００は記録媒体である。記録媒体２００は、半導体メモリ等から構成される記録部２０１、撮像装置１００とのインタフェース２０２、撮像装置１００との接続を行うコネクタ２０３、及び媒体記録禁止スイッチ２０４から構成される。

図２は、本発明の実施例に係る撮像装置のＨＤＲ動画の撮影動作のフローチャートを示す図である。本動作は、システム制御部１２１のＣＰＵがプログラムを実行して各部を制御することで実現される。ＨＤＲ動画撮影は、撮像動作条件である露出又はゲインの値を変えて複数の画像を撮影し、それらを合成処理してダイナミックレンジを拡大した画像を生成する。本実施例では、適正な露光条件に対してアンダー／オーバー露出の２種類の画像を撮影する例を説明する。以下、これらの各画像を、適正画像、アンダー画像、オーバー画像と称する。

まずステップＳ２０１にてＨＤＲ動画の記録を開始すると、ステップＳ２０２にて、システム制御部１２１による制御の下で撮影条件を設定する。次に、ステップＳ２０３にて、システム制御部１２１による制御の下で適正露出よりアンダーの画像を取得する。次いで、ステップＳ２０４にてオーバー画像を撮影する。露出の異なる３種類の画像を取得したら、ステップＳ２０５にてアンダー露出の画像を基準にして合成処理を行う。この合成に関しては、図３を用いて詳細は後述する。

合成処理された画像は撮像素子から出力された生データ形式のままであるため、ステップＳ２０６にてＹＵＶ形式に現像処理を行ったのち符号化処理を行い、ステップＳ２０７で記録媒体に動画像として記録する。ステップＳ２０８で記録終了と判断したら、ＨＤＲ動画撮影を終了する。

図３は、ＨＤＲ合成比率を示す図である。ＨＤＲの合成処理は、適正・アンダー・オーバーで撮影された３枚の画像のうち、白飛びが発生しづらいアンダー画像を基準にして、ＨＤＲ合成比を決定する。アンダー画像を画素単位、もしくは所定の領域単位で輝度レベルを求め、図３の合成比テーブルから、オーバー画像の合成比率α、アンダー画像の合成比率１―αを決定する。決定された合成比率に基づき、合成画像は以下のように生成する。
HDR_Image[x,y]＝OverImage[x,y]×α＋UnderImage[x,y]×（１−α）

次に、図４〜図５を参照して、本発明の先行例の動作を説明する。いずれもアンダー画像露出とオーバー画像の２枚の画像からＨＤＲ画像を合成するものとする。

図４は、特許文献１のフレーム間ＨＤＲを説明するための図である。この例では、撮像素子１１５から１９２０ｘ１０８０のサイズの画像が６０ｆｒａｍｅ／ｓｅｃで出力されるものとする。奇数フレームで露光時間を長くし、偶数フレームで露光時間を短くする。出力された偶数フレームと奇数フレームを合成しＨＤＲ画像を作成する。この場合の合成画像サイズは撮像素子出力と同様の１９２０ｘ１０８０となるが、フレームレートは撮像素子出力の半分の３０ｆｒａｍｅ／ｓｅｃとなってしまう。フレーム間ＨＤＲの問題点はセンサ出力に対してフレームレートが低くなってしまうことである。

図５は、特許文献２の面内ＨＤＲを説明するための図である。この例では撮像素子１１５から１９２０ｘ１０８０のサイズの画像が６０ｆｒａｍｅ／ｓｅｃで出力されるものとする。フレーム内において、奇数ラインの露光時間を長くし、偶数ラインの露光時間を短くして撮像して出力画像を取得する。出力された１フレームの画像の偶数ラインの画像と奇数ラインの画像を合成しＨＤＲ画像を作成する。この場合の合成画像サイズは１９２０ｘ５４０となり、撮像素子の出力に対して、垂直サイズが半分になってしまう。フレームレートは撮像素子出力と同様の６０ｆｒａｍｅ／ｓｅｃとなる。面内ＨＤＲの問題点はセンサ出力に対して出力画像サイズが小さくなってしまうことである。

本発明は、上述した問題を解決し、本実施例はその実施の形態の一つである図６は本実施例に係るＨＤＲ画像の合成動作を説明するための図である。

本実施例では、撮像素子１１５から１９２０ｘ１０８０のサイズの画像が６０ｆｒａｍｅ／ｓｅｃで出力されるものとする。奇数フレームでは奇数番目のライン群で露光時間を長くし、偶数番目のライン群で露光時間を短くする。一方、偶数フレームでは奇数番目のライン群で露光時間を短くし、偶数番目のライン群で露光時間を長くする。即ち、一つのフレームでは、長い露光時間の設定と短い露光時間の設定が所定数のラインからなるライン群単位でサイクリック（周期的）に繰り替えされ、画像間ではサイクリックな設定の順序が、長、短から短、長のように変更される。また、本実施形態では、露光時間を変えることで各ラインの露光量を制御しているが、必要に応じて併用して絞り値を変更して露光量を制御しても良い。

奇数フレームの奇数ラインと偶数フレームの偶数ラインから露光時間の長いオーバー画像を作成し、奇数フレームの偶数ラインと偶数フレームの奇数ラインから露光時間の短いアンダー画像を作成し、この組み合わせからＨＤＲ画像を作成する。結果として、奇数フレームと偶数フレームの対応する各ラインのオーバー画像とアンダー画像が合成され、各フレームに対応してＨＤＲ画像が生成される。この場合、一つのＨＤＲ画像を生成するための２つの画像の組は、隣接する組と一つの同じ画像を共有することになる。これにより、画像サイズ１９２０ｘ１０８０、６０ｆｒａｍｅ／ｓｅｃのインタレース画像を作成することが可能である。フレームレートでフレーム間ＨＤＲ，画像サイズで面内ＨＤＲよりも優れた特徴を持つ。

図７は本実施例に係る撮像装置の撮影動作のフローチャートを示す図である。本動作も、システム制御部１２１のＣＰＵがプログラムを実行することによる制御の下で行われる。

まずステップＳ７０１にてＨＤＲ動画合成ための撮像動作を開始する。ステップＳ７０２でシステム制御部１２１は、１フレーム目の撮影動作から開始する。ステップＳ７０３において、フレームが偶数フレームか奇数フレームかを判定し、偶数フレームであった場合には（Ｓ７０５）、ステップＳ７０６において、Ｎフレームの露光量を偶数番目のライン群はＨ（露光量大）に、奇数番目のライン群はＬ（露光量小）に設定する。ライン群としての最小単位は、Ｂａｙｅｒ配列においてはＲＧＢ全ての色の情報を取得するため２ラインであることが好ましい。このとき、Ｎフレームの１つ前のフレームの露光量は、偶数番目のライン群はＬ（露光量小）に、奇数番目のライン群はＨ（露光量大）に設定されている（ステップＳ７０７）。従って、ステップＳ７０８において、偶数番目のライン群はＮ−１フレームから、奇数番目のライン群はＮフレームを用いて、アンダーのＬ画像を生成する。次にステップＳ７０９において、偶数番目のライン群の画像はＮフレームの画像から、奇数番目のライン群の画像はＮ−１フレームの画像を用いて、オーバーのＨ画像を生成する。生成されたＨ画像とＬ画像からステップＳ７１０において、合成比に基づいてＨＤＲ画像を生成する。合成比の算出方法は前述の通りである。

一方、ステップＳ７０３の判定において、Ｎフレームが奇数であった場合には（Ｓ７１２）、ステップＳ７１３において、Ｎフレームの露光量を偶数番目のライン群はＬ（露光量小）に、奇数番目のライン群はＨ（露光量大）に設定する。このとき、Ｎフレームの１つ前のフレームの露光量は、偶数番目のライン群はＨ（露光量大）に、奇数番目のライン群はＬ（露光量小）で設定されている（ステップＳ７１４）。従って、ステップＳ７１５において、偶数番目のライン群はＮフレームから、奇数番目のライン群はＮ−１フレームを用いて、アンダーのＬ画像を生成する。次にステップＳ７１６において、偶数番目のライン群はＮ−１フレームから、奇数番目のライン群はＮフレームを用いて、オーバーのＨ画像を生成する。Ｎフレームが偶数の場合と同様に、生成されたＨ画像とＬ画像からステップＳ７１０において、合成比に基づいてＨＤＲ画像を生成する。

ステップＳ７１１において、撮影が終了したかどうかを判定し、終了していなければ、ステップＳ７０４において、次フレームに移動し、また同様の処理を続ける。ステップＳ７１１において、終了したと判定した場合には、ステップＳ７１７において撮影を終了する。

上記のようにフレーム毎に露光量がＨとなるライン群とＬとなるライン群を交互に入れ替えて、ＨＤＲ制御することによりインタレース動画となり、解像度を落とすことなく滑らかに見える動画が撮影することが可能となる。

なお、ステップＳ７１０での合成画像の生成は、例えばステップＳ７０８およびＳ７０９でのＬ画像およびＨ画像の生成を必ずしも介することはなく、Ｎフレーム画像とＮ−１画像の対応する各ラインのＬ画像とＨ画像を合成することで生成するものであれば、他の方法でもよい。

以上、撮像条件としてのシャッタスピードを制御することにより、オーバーのＨ画像とアンダーのＬ画像を取得する実施例を説明したが、撮像条件として、シャッタスピードの代りにゲインの制御の下で、同様の撮影動作を行うによりも可能である。この動作を、本実施例の変形例として次に説明する。

図８は、本実施例に係る撮像装置におけるゲイン制御による撮影動作のフローチャートを示す図である。なお、同図において、図７と同じ部分は同じ符号を付して示す。

まず図７の動作と同様に、ステップＳ７０１にてＨＤＲ動画の記録を開始し、ステップＳ７０２で１フレーム目の撮像動作を開始する。ステップＳ７０３において、フレームが偶数フレームか奇数フレームかを判定し、偶数フレームであった場合には（Ｓ７０５）、ステップＳ８０６において、Ｎフレームのゲイン量を偶数ラインはＨ（ゲイン量大）に、奇数ラインはＬ（ゲイン量小）設定する。このとき、Ｎフレームの1つ前のフレームのゲイン量は、偶数ラインはＬ（ゲイン量小）に、奇数ラインはＨ（ゲイン量大）で設定されている（ステップＳ８０７）。これ以後の動作は図７のステップＳ７０８、Ｓ７０９、Ｓ７１０、Ｓ７１１、Ｓ７１７と同様であるので、説明を省略する。

一方、ステップＳ７０３の判定において、Ｎフレームが奇数であった場合には（Ｓ７１２）、ステップＳ８１３において、Ｎフレームのゲイン量を偶数ラインはＬ（ゲイン量小）に、奇数ラインはＨ（ゲイン量大）と設定する。このとき、Ｎフレームの１つ前のフレームのゲイン量は、偶数ラインはＨ（ゲイン量大）に、奇数ラインはＬ（ゲイン量小）で設定されている（ステップＳ８１４）。これ以後の動作は図７のステップＳ７１５、Ｓ７１６、Ｓ７１０、Ｓ７１１、Ｓ７１７と同様であるので、ここでの説明は省略する。

上記のようにフレーム毎に露光量或いはゲイン量がＨとなるラインとＬとなるラインを交互に入れ替えて、ＨＤＲ制御することによりインタレース動画となり、解像度を落とすことなく滑らかに見える動画の撮影が可能となる。

なお、ＬとＨの２画像の切り替えの実施例を説明したが、それ以上の露出又はゲインの設定数に等しい数の画像を用いたＨＤＲ画像の合成にも本実施例は適用可能である。この場合、例えばステップＳ７０８、Ｓ７０９に対応して、各露出又はゲインの画像を生成し、それらの画像をステップＳ７１０で合成する。例えば２ラインごとに適正画像、アンダー画像、オーバー画像の露光条件を繰り返し設定し、フレームごとに順番をずらして撮像して得られた動画データを３フレーム集めると、ＬとＨの２画像の切り替えに比べてより大きなダイナミックレンジをカバーし、撮像素子１１５の有効画素数相当の画像サイズであるＨＤＲ動画データを生成することが出来る。
また、各実施態様において、露光条件を異ならせる領域の分類方法については特に限定されない。上述した実施例では２ラインごとにＬ、Ｈの露光条件を割り当てているが、これをたとえば、４ラインＬで２ラインＨを１フレーム内で繰り返し設定するなどしても良い。また、画像処理部１１７を被写体検出手段として機能させ、図２のステップＳ２０２において被写体検出情報を取得したとき、被写体が検出される領域に基づいて領域の分類を行っても良い。

また、露出量又はゲイン量の設定数を撮影モードなどの撮影条件に従って変更するようにしてもよい。さらには、画像の特徴（シーン）に応じて画像を分割し、分割された領域の画像の特徴に従って合成を行うかどうかを決定し、合成を行わない領域には露光量またはゲイン量の単一の値を設定するようにしてもよい。この場合、画像の特徴やシーンの判別、画像の分割は周知の画像処理および撮像素子の読み出し技術を用いて行うことが可能である。
例えば、撮像装置１００は撮影モードとして、通常の撮影モードとハイダイナミックレンジ撮影モードを含み、図２のステップＳ２０２において撮影モードを検出して撮影を切り替える。ハイダイナミックレンジ撮影モードでは、上述した図６、図７、図８に示すような撮影を行い、合成によりＨＤＲ動画データを生成し記録する。通常の撮影モードでは、領域内で露光条件を変えず、同一の露光条件で撮影されたフレームを動画データとし、記録する。
また、例えば、撮影画角内の輝度分布を撮像素子１１５からの画像や別センサにより取得し、現在の撮影シーンのダイナミックレンジに応じて露出量又はゲイン量の設定数を変更することが考えられる。すなわち、撮影シーンのダイナミックレンジが第１のレンジであるときには異なるｎ（ｎ≧１）の露出量又はゲイン量を１フレーム内に設定し、第１のレンジより大きい第２のレンジであるときには、ｎ＋１の露出量又はゲイン量を１フレーム内に設定する。
また、上述した実施例では、ＬとＨの露光条件を２つの領域にフレームごとに交互に設定し、２フレームからＨＤＲ合成フレームを生成しているが、各領域での露光条件の時間軸上での変更のさせ方はこれに限らない。例えば、第１の領域では３フレームに２フレームがＬ、１フレームがＨと露光条件が割り当てられ、第１の領域と異なる第２の領域では交互にＬ、Ｈの露光条件が割り当てられるなどして、領域ごとに各露光条件の設定周期を変えてもよい。例えば図２のステップＳ２０２において撮影画角の輝度分布やシーン判定情報を取得し、各領域のダイナミックレンジを推定し、領域ごとに各露光条件の設定周期を当該領域のダイナミックレンジに対応して適応的に設定する。また、動きのある被写体の検出によって領域ごとに各露光条件の設定周期を変えてもよい。すなわち、動きのある被写体が検出される領域では、当該領域のＨＤＲ動画の生成に当たってフレーム間の合成を少なくするために、動きのある被写体が適正となる露光条件を他の露光条件に比べて高い頻度で設定する。

以上説明したように、本実施例によれば、フレームレートと画像サイズが適切な、滑らかで高解像度のＨＤＲ画像を得ることが可能となる。

なお、上述した実施例においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これに限定されない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。すなわち携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。

また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施例は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (7)

1. 撮像素子を有し、前記撮像素子上の複数の領域それぞれで撮像動作条件を異ならせて撮像を行い、画像を生成する撮像手段と、
   前記撮像素子上の複数の領域それぞれに前記撮像動作条件を設定する設定手段と、
   前記撮像手段から出力される複数の画像を合成して、拡大されたダイナミックレンジの画像を生成する合成手段とを備え、
   前記設定手段は、前記複数の領域それぞれについて、設定する撮像動作条件を周期的に異ならせるとともに、シーンに応じて、前記拡大されたダイナミックレンジの画像の合成を行う領域と行わない領域に画像を分割し、合成を行わない領域に対しては、前記撮像動作条件の単一の値を設定することを特徴とする撮像装置。
2. 前記撮像動作条件は、露光量およびゲイン量のいずれかであることを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記撮像動作条件の複数の異なる値を、各画像に対して所定の領域単位でサイクリックに設定し、前記サイクリックの順序を画像間で変更することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記所定の領域とは、所定数のラインからなるライン群であることを特徴とする請求項３に記載の撮像装置。
5. 前記設定手段は、前記画像の撮影条件に応じて、前記複数の撮像動作条件の複数の異なる値の数を変更することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記撮影条件は、被写体の検出情報、前記画像の画角内の輝度分布、被写体の動き情報のいずれかを含むことを特徴とする請求項５に記載の撮像装置。
7. 撮像素子を有し、前記撮像素子上の複数の領域それぞれで撮像動作条件を異ならせて撮像を行い、画像を生成する撮像手段を有する撮像装置の制御方法において、
   前記撮像素子上の複数の領域それぞれに前記撮像動作条件を設定する設定ステップと、
   前記撮像手段から出力される複数の画像を合成して、拡大されたダイナミックレンジの画像を生成する合成ステップとを備え、
   前記設定ステップは、前記複数の領域それぞれについて、設定する撮像動作条件を周期的に異ならせるとともに、シーンに応じて、前記拡大されたダイナミックレンジの画像の合成を行う領域と行わない領域に画像を分割し、合成を行わない領域に対しては、前記撮像動作条件の単一の値を設定することを特徴とする制御方法。

Images