JP5133921B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、画像のダイナミックレンジを拡大する機能を備える撮像装置および撮像方法に関する。

画像のダイナミックレンジを拡大する機能を備えた撮像装置が知られている。

特許文献１には、露光時間が異なる２枚の画像を合成することで、ダイナミックレンジを拡大する構成が開示されている。

特許文献２には、γカーブを切り替えて、ダイナミックレンジを拡大する構成が開示されている。具体的には、画像を構成する各画素の階調値（レベル）を変換する階調変換テーブルを、明度に基づいて切り替える。

特開２０００−１３８８６８号公報 特開２００４−３６３７２６号公報

しかしながら、従来の技術では、ダイナミックレンジの拡大に伴い、被写体ぶれが加算的に大きくなる問題や、画像のＳ／Ｎが劣化する問題がある。

特許文献１の構成では、被写体が動状態である場合、撮像タイミングが異なる２枚の画像を合成することで、画像上の被写体ぶれが加算的に大きくなる問題がある。

特許文献２の構成では、画像の低輝度部のゲインアップにより、画像上のノイズが増えてＳ／Ｎが劣化する問題がある。

本発明はこのような事情に鑑みてなされたもので、被写体が動状態である場合には画像上の被写体ぶれを大きくすることなく広ダイナミックレンジ画像を得ることができ、被写体が静止状態である場合にはＳ／Ｎが良い広ダイナミックレンジ画像を得ることができる撮像装置および撮像方法を提供することを目的とする。

前記目的を達成するために、本発明は、被写体を撮像する撮像手段と、前記撮像手段により前記被写体を異なる露出値で連続して撮像することで、第１の画像と、当該第１の画像よりも低い露出値で撮像されたアンダー露出状態の第２の画像とを複数の連写画像として取得する撮像制御手段と、前記複数の連写画像から前記被写体の動きベクトルを検出する動きベクトル検出手段と、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、前記被写体が静止状態であると判定された場合に、前記複数の連写画像を合成することで第１の広ダイナミックレンジ画像を生成する画像合成手段と、前記被写体が動状態であると判定された場合に、前記第１の画像及び前記アンダー露出状態の第２の画像のうちで前記アンダー露出状態の第２の画像をゲインアップすることで第２の広ダイナミックレンジ画像を生成するゲインアップ手段と、前記被写体が静止状態であると判定された場合には前記画像合成手段により生成された前記第１の広ダイナミックレンジ画像を記録媒体に記録し、前記被写体が動状態であると判定された場合には前記ゲインアップ手段により生成された前記第２の広ダイナミックレンジ画像を前記記録媒体に記録する記録制御手段と、を備えることを特徴とする撮像装置を提供する。

この構成によれば、被写体を異なる撮像条件で連続して撮像することでダイナミックレンジが異なる複数の連写画像を取得し、被写体が静止状態であると判定された場合のみ画像合成により広ダイナミックレンジ画像を生成して記録するので、動状態では画像合成に起因する被写体ぶれがなく、且つ、静止状態では画像合成によりＳ／Ｎの良い広ダイナミックレンジ画像を得ることができる。

また、被写体が動状態であると判定された場合に、被写体ぶれを大きくすることなくダイナミックレンジを拡大することができる。

また、本発明の一態様にて、撮影指示を入力するレリーズスイッチを備え、前記動きベクトル検出手段は、前記撮影指示の入力後に連写して取得した連写画像から、前記動きベクトルを検出する。

この構成によれば、レリーズスイッチによる撮影指示入力前に撮像した画像ではなく、レリーズスイッチによる撮影指示入力後に撮像した連写画像から動きベクトルが検出されるので、被写体が静止状態であるか動状態であるかを、正確に判別できる。

また、本発明の一態様にて、本撮像装置の動きを検出するセンサを備え、前記画像合成手段は、前記センサの検出結果を用いて、前記複数の連写画像を合成する。

この構成によれば、手ぶれを加算すること無く、精度の良い広ダイナミックレンジ画像を記録することが可能になる。

また、本発明の一態様にて、前記動きベクトル検出手段は、前記複数の連写画像と前記センサの検出結果とに基づいて、前記被写体の動きベクトルを検出する。

この構成によれば、手ぶれがあっても、被写体が静止状態であるか否かを確実に判定することが可能となる。

また、本発明の一態様にて、前記動きベクトル検出手段は、前記複数の連写画像から本撮像装置の動きベクトルを検出し、前記画像合成手段は、前記本撮像装置の動きベクトルを用いて、前記複数の連写画像を合成する。

この構成によれば、本撮像装置の動きを検出するセンサ無しでも、手ぶれを加算すること無く、精度の良い広ダイナミックレンジ画像を記録することが可能になる。

また、本発明は、被写体を撮像する撮像手段を制御して前記被写体を異なる露出値で連続して撮像することで、第１の画像と、当該第１の画像よりも低い露出値で撮像されたアンダー露出状態の第２の画像とを複数の連写画像として取得するステップと、前記複数の連写画像から前記被写体の動きベクトルを検出するステップと、少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定するステップと、前記被写体が静止状態であると判定された場合に、前記複数の連写画像を合成することで第１の広ダイナミックレンジ画像を生成する画像合成ステップと、前記被写体が動状態であると判定された場合に、前記第１の画像及び前記アンダー露出状態の第２の画像のうちで前記アンダー露出状態の第２の画像をゲインアップすることで第２の広ダイナミックレンジ画像を生成するゲインアップステップと、前記被写体が静止状態であると判定された場合には前記画像合成ステップにより生成された前記第１の広ダイナミックレンジ画像を記録媒体に記録し、前記被写体が動状態であると判定された場合には前記ゲインアップステップにより生成された前記第２の広ダイナミックレンジ画像を前記記録媒体に記録する記録制御ステップと、を備えることを特徴とする撮像方法を提供する。

本発明によれば、被写体が動状態である場合には画像上の被写体ぶれを大きくすることなく広ダイナミックレンジ画像を得ることができ、被写体が静止状態である場合にはＳ／Ｎが良い広ダイナミックレンジ画像を得ることができる。

本発明を適用したデジタルカメラの正面図 本発明を適用したデジタルカメラの背面図 第１実施形態におけるデジタルカメラの一例の全体構成図 第１実施形態におけるＣＰＵの要部機能ブロック図 第１実施形態における撮像処理例の流れを示すフローチャート （Ａ）は飽和する入出力特性図、（Ｂ）は飽和しない入出力特性図、（Ｃ）は広ダイナミックレンジ画像の説明に用いる入出力特性図 第２実施形態におけるデジタルカメラの一例の全体構成図 第２実施形態におけるＣＰＵの要部機能ブロック図 第２実施形態における撮像処理例の流れを示すフローチャート

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明を適用したデジタルカメラ１００の正面図である。

カメラボディ８０（デジタルカメラ１００の本体）の正面には、レンズ鏡胴８１が配置されている。レンズ鏡胴８１には、撮影レンズ２４が内蔵されている。レンズ鏡胴８１は、沈胴機構で構成されており、カメラボディ８０に沈胴した状態から繰り出し可能である。また、カメラボディ８０には、非撮影時に撮影レンズ２４の前面を覆って撮影レンズ２４を外界から遮ることで撮影レンズ２４を保護するレンズカバー８２が設けられている。レンズカバー８２は、開閉自在な機構で構成されており、開状態で撮影レンズ２４の前面を覆い、閉状態で撮影レンズ２４の前面を外界に露出する。レンズ鏡胴８１の沈胴機構およびレンズカバーの開閉機構は、周知の機構であり、説明を省略する。

また、カメラボディ８０の正面には、フラッシュ６０、ＡＦ補助光ランプ６６、セルフタイマランプ６８等が配置されている。フラッシュ６０は、被写界に撮影用の光を照射する。例えば、キセノン管で構成される。ＬＥＤで構成してもよい。ＡＦ補助光ランプ６６は後述のＡＦのために発光するランプであり、セルフタイマランプ６８はセルフタイマ撮影を報知するためのランプである。

カメラボディ８０の上面には、中央部分にレリーズスイッチ８４が配置されたモードダイヤル８３（モード切替スイッチ）と、電源スイッチ８５とが配置されている。レリーズスイッチ８４は、二段ストローク式のハードウェアスイッチで構成されており、いわゆる「半押し」と「全押し」とが可能である。半押しにより撮影準備指示を入力し、全押しにより撮影指示を入力する。レリーズスイッチ８４を半押しすると、撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動合焦）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）等、撮影前に行うべき処理を行う。レリーズスイッチ８４を全押しすると、撮影処理、すなわち、被写体の本撮像および撮像画像の記録を行う。モードダイヤル８３は、デジタルカメラ１００のモードを切り替えるスイッチである。

図２は、図１に示したデジタルカメラ１００の背面図である。なお、図１に示した構成要素には同じ符号を付してあり、説明を省略する。

デジタルカメラ１００の背面には、モニタ５０、十字キー８６、メニュー／ＯＫキー８７、ズームスイッチ８８が配置されている。

モニタ５０は、公知の表示デバイスを用いて構成することができるが、携帯機器用としては、一般に、ＬＣＤ（液晶表示デバイス）、有機ＥＬ（エレクトロルミネッセンス）表示デバイスなど、薄型の表示デバイスが用いられる。

十字キー８６は、上、下、左、右に操作することで、各種設定の指示入力が可能である。例えば、明るさ調整、セルフタイマ設定、マクロ撮影、フラッシュ発光等の指示を入力する。

メニュー／ＯＫキー８７は、メニュー画面を表示して設定情報の入力を受け付けるメニュー機能の呼び出しに用いられる。また、メニュー／ＯＫキー８７は、メニュー画面上に表示した選択内容の確定や、処理の実行指示の入力に用いられる。

ズームスイッチ８８は、撮影レンズ２４のズーム操作に用いられる。望遠を示す「Ｔ」（テレ）側を押すと、押し続けている間、レンズ鏡胴８１がカメラボディ８０の外側に繰り出して焦点距離が望遠側に設定される。広角を示す「Ｗ」（ワイド）側を押すと、押し続けている間、レンズ鏡胴８１がカメラボディ８０の内側に引き込んで焦点距離が広角側に設定される。

図３は、第１実施形態におけるデジタルカメラ１００の内部構成例を示すブロック図である。なお、図１および図２に示した要素には同じ符号を付してあり、説明を省略する。

図３において、デジタルカメラ１００は、画像を電子的に記録するカメラであり、ＣＰＵ（中央処理装置）１０、操作部１２、ＲＯＭ１４、ＳＤＲＡＭ１６、ＶＲＡＭ１８、ＥＥＰＲＯＭ２０、バス２２、撮影レンズ２４、撮像素子３０、タイミングジェネレータ３２、アナログ信号処理部３４、Ａ／Ｄ変換器３６、画像入力コントローラ３８、画像信号処理部４０、圧縮／伸張処理部４２、メディアインタフェース４４、メモリカード４６、モニタドライバ４８、モニタ５０、ＡＥ検出部５２、ＡＦ検出部５４、手振れ補正部５６、フラッシュドライバ５８、フラッシュ６０、電源制御部６２、バッテリ６４等を備えて構成されている。

ＣＰＵ１０は、デジタルカメラ１００の全体の動作を制御する制御手段として機能し、操作部１２からの入力に基づきプログラムに従ってデジタルカメラ１００の各部を制御する。また、ＣＰＵ１０は、デジタルカメラ１００の制御に必要な各種制御値を算出するための演算処理手段として機能し、プログラムに従って各種演算処理を実行する。デジタルカメラ１００の各部は、バス２２を介してＣＰＵ１０と接続されている。

本実施形態のＣＰＵ１０は、ＡＥ制御、ＡＦ制御、ダイナミックレンジ判定、撮像制御、動きベクトル検出、被写体判定、画像合成、ゲインアップ、記録制御等の機能を有する。これらの各種機能については、後に詳説する。

操作部１２は、図１および図２に示した、モードダイヤル８３、レリーズスイッチ８４、電源スイッチ８５、十字キー８６、メニュー／ＯＫキー８７、ズームスイッチ８８等のハードウェアスイッチを含んで構成され、これらハードウェアスイッチの操作に応じた信号をＣＰＵ１０に出力する。デジタルカメラ１００は、被写体の本撮像および画像の記録を行う撮影モードに加えて、記録した画像を再生する再生モードを備えており、この撮影モードと再生モードとの切り替えが、モードダイヤル８３等によって行われる。なお、各種の詳細なモードの切り替えを行うため、モードダイヤル８３以外のモード切り替え用スイッチを設けてもよい。また、メニューによりモード切り替え可能である。

ＲＯＭ１４には、このＣＰＵ１０が実行するプログラム及び制御に必要な各種データ等が格納されている。ＳＤＲＡＭ１６は、ＣＰＵ１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＶＲＡＭ１８は、表示用の画像データ専用の一時記憶領域として利用される。また、ＥＥＰＲＯＭ２０には、ユーザ固有の各種設定情報等が格納される。

撮影レンズ２４は、ズームを行うズームレンズ２４ｚと、焦点合わせを行うフォーカスレンズ２４ｆと、光量調節を行うアイリス２４ｉを含んで構成される。本例の撮影レンズ２４は、沈胴式であり、電源スイッチ８５によりデジタルカメラ１００の電源をオンすると、カメラボディから繰り出される。

ズームレンズ２４ｚは、ズームモータ２６ｚにより駆動されて、光軸上を移動する。これにより、撮像素子３０の受光面上に結像される被写体像が光学的に変倍される。ＣＰＵ１０は、ズームモータドライバ２８ｚを介してズームモータ２６ｚの駆動を制御することにより、ズームレンズ２４ｚの移動を制御し、光学的なズーム切り替えを行う。

フォーカスレンズ２４ｆは、フォーカスモータ２６ｆにより駆動されて、光軸上を前後移動する。これにより、焦点合わせが行われる。ＣＰＵ１０は、フォーカスモータドライバ２８ｆを介してフォーカスモータ２６ｆの駆動を制御することにより、フォーカスレンズ２４ｆの移動を制御し、焦点合わせを行う。

アイリス２４ｉは、例えば、アイリス絞りで構成され、アイリスモータ２６ｉにより駆動されて、その開口量（絞り値）が変化する。ＣＰＵ１０は、アイリスモータドライバ２８ｉを介してアイリスモータ２６ｉの駆動を制御することにより、アイリス２４ｉの開口量を制御し、撮像素子３０の受光面に入射する被写体光の光量を制御する。

撮像素子３０は、ＲＧＢのカラーフィルタ配列を有するカラーＣＣＤで構成されており、タイミングジェネレータ（ＴＧ）３２により駆動されて動作する。すなわち、タイミングジェネレータ３２から与えられる駆動パルスによって、各画素（フォトセンサ）に蓄積された信号電荷を読み出し、ＲＧＢの画像信号として出力する。ＣＰＵ１０は、このタイミングジェネレータ３２の駆動を制御することにより、撮像素子３０の電荷蓄積時間（シャッター速度）、画像信号の読み出しを制御する。

アナログ信号処理部３４は、撮像素子３０から出力されたアナログの画像信号に対して相関二重サンプリング処理を行い、増幅して出力する。

Ａ／Ｄ変換器３６は、アナログ信号処理部３４から出力されたアナログの画像信号をデジタルの画像信号に変換して出力する。

画像入力コントローラ３８は、所定容量のラインバッファを内蔵しており、ＣＰＵ１０の制御の下、Ａ／Ｄ変換器３６から出力された１コマ分の画像信号を取り込んで、ＳＤＲＡＭ１６に格納する。

画像信号処理部４０は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納された画像信号を取り込み、所要の信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃｒ，Ｃｂ）とからなる画像信号（Ｙ／Ｃ信号）を生成して、ＶＲＡＭ１８に書き込む。

圧縮／伸張処理部４２は、ＣＰＵ１０による制御の下、画像信号（Ｙ／Ｃ信号）を取り込み、所定の圧縮処理を施して、圧縮画像データ（例えば、ＪＰＥＧ）を生成する。また、ＣＰＵ１０による制御の下、圧縮画像データを取り込み、所定の伸張処理を施して、非圧縮の画像信号（Ｙ／Ｃ信号）を生成する。

メディアインタフェース４４は、ＣＰＵ１０による制御の下、メモリカード４６にデータを読み／書きする。例えば、ＣＰＵ１０からの記録指示に応じて、撮影により得られた画像データをメモリカード４６に記録する。また、ＣＰＵ１０からの読み出し指示に応じて、メモリカード４６から該当する画像データを読み出す。メモリカード４６は、撮影装置本体に設けられたカードスロットに着脱自在に装填される。

モニタ５０は、再生モード時には記録済み画像の再生表示部として使用されるほか、撮影モード時には撮像素子３０で生成されて画像入力コントローラ３８によりＳＤＲＡＭ１６に取り込んだ画像を、時系列に連続したスルー画像として表示する。

モニタドライバ４８は、ＣＰＵ１０による制御の下、モニタ５０の表示を制御する。本例では、画像信号（Ｙ／Ｃ信号）をＶＲＡＭ１８から取り込み、表示用の信号形式に変換して、モニタ５０に出力する。

ＡＥ検出部５２は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な、撮像画像の明るさを示すＡＥ評価値（測光値）を算出し、ＣＰＵ１０に対し出力する。

ＡＦ検出部５４は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＦ制御に必要な、撮像画像のコントラストを示すＡＦ評価値（コントラスト値）を算出し、ＣＰＵ１０に対し出力する。本例のＡＦ検出部５４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、操作部１２により設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、そのフォーカスエリア内の絶対値データを積算する積算部を含み、積算部で積算されたフォーカスエリア内の絶対値データをＡＦ評価値としてＣＰＵ１０に出力する。

手ぶれ補正部５６は、ＣＰＵ１０からの指示に従い、手ぶれ補正を行う。

フラッシュドライバ５８は、ＣＰＵ１０による制御の下、フラッシュ６０を駆動する。すなわち、ＣＰＵ１０から指示された発光タイミング、発光量でフラッシュ６０を発光させる。

電源制御部６２は、ＣＰＵ１０からの指示に従い、装置本体に装填されたバッテリ６４からデジタルカメラ１００の各部への電源の供給を制御する。

なお、図３にて符号２４〜３６のデバイス（撮影レンズ２４、撮像素子３０、アナログ信号処理部３４およびＡ／Ｄ変換器３６を含む）により、撮像部２３が構成される。

図４は、第１実施形態におけるＣＰＵ１０の要部機能ブロック図である。

ＡＥ制御部１０２は、ＡＥ検出部５２により算出されたＡＥ評価値に基づいて、自動露出（ＡＥ）制御を行う。

ＡＦ制御部１０４は、ＡＦ検出部５４により算出されたＡＦ評価値に基づいて、自動合焦（ＡＦ）制御を行う。

ダイナミックレンジ判定部１０６は、撮像部２３から出力される撮像画像のダイナミックレンジが目的の範囲内であるか否かを判定する。本例では、撮像画像における明るさを示すＡＥ評価値が大きいほどダイナミックレンジが大きいとして、ＡＥ評価値が閾値以上であればダイナミックレンジが過大である、つまり本撮像にてダイナミックレンジが飽和すると推定し、ＡＥ評価値が閾値未満であればダイナミックレンジが目的の範囲内である、つまり本撮像にてダイナミックレンジは飽和しないと判定する。ここで、本撮像は、レリーズスイッチ８４に撮影指示が入力された後に記録する画像を得るための撮像である。

撮像制御部１０８は、撮像部２３により被写体を異なる撮像条件で連続して撮像することで、ダイナミックレンジが異なる複数枚の画像（以下「連写画像」という）を取得する。つまり撮像条件を切り替えながら連写を行う。連写画像は、本例にて、ＳＤＲＡＭ１６に格納される。

動きベクトル検出部１１０は、複数枚の連写画像から被写体の動きベクトルを検出する。本実施形態の動きベクトル検出部１１０は、被写体の動きベクトルとともに、カメラボディ８０の動きベクトルを、複数枚の連写画像から検出する。

被写体判定部１１２は、被写体の動きベクトルに基づいて、連写中の被写体が静止状態であるか動状態であるかを判定する。以下では、静止状態である被写体を「静止体」、動状態である被写体を「動体」ということもある。

画像合成部１１４は、被写体判定部１１２により連写中の被写体が静止状態であると判定された場合に、複数の連写画像を合成することで、広ダイナミックレンジ画像を生成する。画像合成部１１４の画像合成により生成された広ダイナミックレンジ画像を、以下では「合成画像」という。

本明細書では、ダイナミックレンジを拡大した画像を「広ダイナミックレンジ画像」という。「飽和」とは、入射光量が大きくなっても、撮像素子３０の画素にて蓄積電荷が飽和することにより、撮像素子３０の画素の蓄積電荷量に対応する撮像画像の画素値が限界値（飽和点）に達した状態をいう。本明細書では、撮像画像中の画素値が飽和点に達して入射光量に対し大きくならない状態を、「撮像画像が飽和」、あるいは、「ダイナミックレンジが飽和」ということもある。

本例にて、広ダイナミックレンジ画像は、画素値の最大値が、飽和点（例えば２５５）、または、飽和点に近い（少なくとも飽和点の５０％以上の値である）。また、本例にて、広ダイナミックレンジ画像は、飽和した画素が無い、または、飽和した画素が少ない（少なくとも飽和した画素が５０％未満である）。

また、本実施形態の画像合成部１１４は、動きベクトル検出部１１０にて検出されたカメラボディ８０の動きベクトルを用いて、複数枚の連写画像を合成する。

ゲインアップ部１１６は、被写体判定部１１２により被写体が動状態であると判定された場合に、複数枚の連写画像のうちダイナミックレンジが飽和していない一枚の連写画像をゲインアップすることで、広ダイナミックレンジ画像を生成する。ゲインアップ部１１６によりゲインアップされた広ダイナミックレンジ画像を、以下では、「ゲインアップ画像」という。

本例では、２回連続して撮像し、２枚の連写画像のうち露出値が小さい方の連写画像（アンダー露出画像）に対して、ゲインアップを行う。３回以上連写する場合には、複数枚の連写画像のうち、ダイナミックレンジが飽和しておらず、且つ、ダイナミックレンジが最も大きい連写画像を選択し、これをゲインアップすることが、好ましい。

記録制御部１２０は、広ダイナミックレンジ画像を、メディアインタフェース４４を介してメモリカード４６に記録する。

本例の記録制御部１２０は、被写体判定部１１２により被写体が静止状態であると判定された場合に、画像合成部１１４により生成された合成画像を、メモリカード４６に記録する。また、記録制御部１２０は、被写体判定部１１２により被写体が動状態であると判定された場合に、ゲインアップ部１１６により生成されたゲインアップ画像を、メモリカード４６に記録する。

なお、被写体が動状態であると判定された場合に、複数枚の連写画像のうち少なくとも一枚の連写画像をゲインアップしないでメモリカード４６に記録するようにしてもよい。

システム制御部１２２は、ＣＰＵ１０内の各部およびＣＰＵ１０外の各部を統括して制御する。

図５は、第１実施形態における撮像処理例の流れを示すフローチャートである。本処理は図３のＣＰＵ１０によりプログラムに従って実行される。

レリーズスイッチ８４が半押しされると、ステップＳ１にて、ＡＥ制御部１０２により、ＡＥ処理を行う。ＡＥ処理では、ＡＥ検出部５２にて算出されたＡＥ評価値に基づいて、撮像画像における明るさ（輝度）を求め、露光時間（またはシャッター速度）および絞り値の基準値を決定する。例えば、プログラム線図を利用して決定する。

ステップＳ２にて、ＡＦ制御部１０４により、ＡＦ処理を行う。ＡＦ処理では、フォーカスモータドライバ２８ｆによりフォーカスレンズ２４ｆを至近距離に合焦した至近レンズ位置から無限遠に合焦した無限遠レンズ位置まで小刻みに移動させながら、ＡＦ検出部５４により撮像画像のコントラストを示すＡＦ評価値を算出し、フォーカスレンズ２４ｆをコントラストがピークとなるレンズ位置を合焦レンズ位置（主要被写体に合焦するフォーカスレンズ２４ｆの位置）と決定する焦点検出処理を行う。そして、決定した合焦レンズ位置にフォーカスレンズ２４ｆを移動させる。

レリーズスイッチ８４が全押しされると、ステップＳ３にて、ダイナミックレンジ判定部１０６により、撮像画像のダイナミックレンジが閾値以上であるか、閾値未満であるかを判定する。これにより、ダイナミックレンジが目的の範囲外であるか、それともダイナミックレンジが目的の範囲内であるかを判定する。本例では、ステップＳ１にて求めたＡＥ評価値を、感度（撮像部２３のゲイン）を固定とした場合の適正露出値（適正ＥＶ値）に換算し、これを閾値（例えば６ＥＶ）と比較する。例えば、撮像画像を複数のエリアに分割し、ＡＥ検出部５２により、各分割エリア毎に輝度の積算値（または平均値）を算出し、全部のエリアにおける最大値を求め、これを適正露出値に換算する。

撮像画像のダイナミックレンジが閾値以上であれば、レリーズスイッチ８４を全押し後に行う本撮像にてダイナミックレンジが飽和すると推定し、閾値未満であれば、本撮像にてダイナミックレンジは飽和しないと推定する。そして、ダイナミックレンジが閾値（例えば６ＥＶ）以上であればステップＳ４に進み、ダイナミックレンジが閾値未満であればステップＳ９に進む。

ステップＳ４にて、撮像制御部１０８により撮像部２３を制御して、被写体を異なる撮像条件で連続して撮像することで、ダイナミックレンジが異なる複数枚の連写画像を取得する。本例では、異なる露出値（ＥＶ値）で連写する。

ダイナミックレンジが異なる複数枚の連写画像を取得するための撮像条件の切り替え態様には各種ある。本例では、タイミングジェネレータ３２により、シャッタ速度を切り替えることで露光時間を切り替える。アイリスモータドライバ２８ｉにより、絞り値を切り替えてもよい。

ステップＳ５にて、動きベクトル検出部１１０により、複数枚の連写画像から被写体の動きベクトルおよびカメラボディ８０の動きベクトルを検出する。動きベクトルは、公知技術を用いて検出すればよい。

例えば、主要被写体が人と特定されている場合、各連写画像にて顔部分を検出し、複数枚の連写画像間で顔部分の動きベクトルを検出し、これを被写体の動きベクトルとする態様がある。ここで、顔部分の周囲（または撮像画像の周辺部分）を背景と推定して、背景の動きベクトルを検出し、これをカメラボディ８０の動きベクトル（すなわち手ぶれ量）と推定してもよい。

また、主要被写体が人等に特定されず任意である場合でも、被写体およびカメラボディ８０の動きベクトルを検出可能である。例えば、撮像画像の各分割エリア毎に、複数枚の連写画像間で動きベクトルを検出し、分割エリア間で動きベクトル間の相関関係を求め、その相関関係に基づいて、各分割エリアの動きベクトルが被写体の動き及びカメラボディ８０の動きのうち何れを示すか、または、加算されているかを判定することで、被写体の動きベクトル及びカメラボディ８０の動きベクトルを抽出することが可能である。

これら以外の方法を用いて被写体の動きベクトルおよびカメラボディ８０の動きベクトルを検出してもよいことは、勿論である。

ステップＳ６にて、被写体判定部１１２により、被写体の動きベクトルに基づいて、後述する連写中における被写体が、静止体（すなわち静止状態）であるか動体（すなわち動状態）であるかを判定する。

静止体であると判定された場合、ステップＳ７にて、画像合成部１１４により、複数枚の連写画像を合成することで、ダイナミックレンジを拡大した合成画像を生成する。

例えば、連写により、図６（Ａ）に示す第１の入出力特性２０１で撮像されたオーバー露出状態の第１の連写画像、すなわちダイナミックレンジが低輝度部にて飽和せず高輝度部にて飽和した第１の連写画像と、図６（Ｂ）に示す第２の入出力特性２０２で撮像されたアンダー露出状態の第２の連写画像、すなわちダイナミックレンジが高輝度部でも飽和しない第２の連写画像とを取得し、第１の連写画像と第２の連写画像とを合成する。これらの第１の連写画像と第２の連写画像とを単純に加算すると、つまり画素値を単純加算すると、図６（Ｃ）に符号２０３で示す入出力特性にて撮像された場合と同じ合成画像が生成されることになる。この場合には飽和点Ｓを超えた合成画像となるため、実際には、γテーブルを用いて図６（Ｃ）に符号２０４で示す入出力特性にて撮像された場合と同じ合成画像を生成する。つまり、γテーブルを用いた重み付け加算により、飽和点Ｓを超えない広ダイナミック画像を生成する。これにより、低輝度部においても高輝度部においても入射光量（すなわち入力値）の変化に応じて画素値（すなわち出力値）が変化する良好な入出力特性の撮像画像（広ダイナミックレンジ画像）が得られる。

なお、静止体であっても、カメラボディ８０が動いた場合には、複数枚の連写画像を合成すると、いわゆる手ぶれが加算的に大きくなる。そこで、画像合成の際、カメラボディ８０の動きベクトルを用いて、手ぶれ成分を加えないように複数枚の連写画像を合成する。具体的には、一枚の連写画像に対し他の連写画像を画像処理により相対的にシフトした後、合成する。ここで、連写画像の相対的シフトは、カメラボディ８０の動きベクトルの逆ベクトルに相当する。

動体であると判定された場合、ステップＳ８にて、ゲインアップ部１１６により、複数枚の連写画像のうちアンダー露出画像（すなわちダイナミックレンジが飽和していない連写画像）をゲインアップすることで、ダイナミックレンジを拡大したゲインアップ画像を生成する。

例えば、連写により、図６（Ａ）に示す第１の入出力特性２０１で撮像された第１の連写画像、すなわち高輝度部にて飽和した第１の連写画像と、図６（Ｂ）に示す第２の入出力特性２０２で撮像された第２の連写画像、すなわち高輝度部でも飽和していない第２の連写画像とを取得した場合、第２の連写画像を選択する。このままアンダー露出状態の第２の連写画像を記録する態様としてもよいが、第２の連写画像の明暗（すなわちダイナミックレンジの大小）を判定し、暗いと判定した場合（すなわちダイナミックレンジが小さい場合）には、第２の連写画像の低輝度部のダイナミックレンジをゲインアップにより拡大することが、好ましい。例えば、図６（Ｃ）に示す符号２０４の入出力特性にて撮像されたと同じゲインアップ画像を生成する。つまり、特に低輝度部のダイナミックレンジを拡大して、飽和点Ｓを超えない広ダイナミック画像を生成する。

広ダイナミックレンジ画像（合成画像またはゲインアップ画像）は、ステップＳ１０にて画像信号処理部４０により所定の画像処理が施され、ステップＳ１１にて圧縮／伸張処理部４２により圧縮され、ステップＳ１２にて記録制御部１２０によりメモリカード４６に記録される。

ステップＳ３にて、ダイナミックレンジが閾値未満であると判定された場合には、ステップＳ９にて、規定の露出値で１回撮像することで１枚の撮像画像を取得する。例えば、シャッタ速度および絞り値をステップＳ１で算出した基準値にして撮像する。ステップＳ１０の画像処理、ステップＳ１１の圧縮処理、および、ステップＳ１２の記録処理は、前述の連写の場合と同様である。

図７は、第２実施形態におけるデジタルカメラ１００の一例を示す全体構成図である。なお、図３に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

図７において、角速度センサ７０は、カメラボディ８０の動きを検出することで、撮像部２３の動きベクトル（すなわち手ぶれ量）を検出する。

図８は、第２実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図４に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

本実施形態の動きベクトル検出部１１０は、異なる撮像条件で撮像された複数枚の連写画像と、角速度センサ７０により検出されたカメラボディ８０の動きとに基づいて、被写体の動きベクトルを検出する。また、本実施形態の画像合成部１１４は、角速度センサ７０の検出結果を用いて、複数枚の連写画像を合成する。

図９は、第２実施形態における撮像処理例の流れを示すフローチャートである。本処理は図７のＣＰＵ１０によりプログラムに従って実行される。

ステップＳ２１〜Ｓ２４は、図５に示した第１実施形態におけるＳ１〜Ｓ４と同様である。

ステップＳ２５にて、本実施形態では、動きベクトル検出部１１０により、複数枚の連写画像と角速度センサ７０の検出結果とに基づいて、被写体の動きベクトルを検出する。本実施形態では、角速度センサ７０によりカメラボディ８０の動き（すなわち手ぶれ量）が検出される。よって、複数枚の連写画像間での動きベクトルから、角速度センサ７０により検出されたカメラボディ８０の動きベクトルを減算した結果が、被写体の動きベクトルに相当する。

ステップＳ２６にて、被写体判定部１１２により、被写体の動きベクトルに基づいて、被写体が静止状態であるか動状態であるかを判定する。

ステップＳ２７にて、本実施形態では、角速度センサ７０の検出結果を用いて、複数枚の連写画像を合成する。

前述の第１実施形態では、動きベクトル検出部１１０により検出されたカメラボディ８０の動きベクトルを用いて、手ぶれ成分を加えないように画像合成を行ったが、本実施形態では、角速度センサ７０により検出されたカメラボディ８０の動きベクトルを用いることで、確実に手ぶれの加算を排除することが可能である。具体的には、一枚の連写画像に対し、他の連写画像を画像処理により相対的にシフトした後、合成する。ここで連写画像の相対的シフトのベクトルは、角速度センサ７０により検出されたカメラボディ８０の動きベクトルの逆ベクトルに相当する。

ステップＳ２８〜３２は、図５に示した第１実施形態におけるＳ８〜Ｓ１２と同様である。

以上説明した第１実施形態および第２実施形態にて、連写画像の枚数は２枚には特に限定されない。３枚以上の連写画像を用いることにより、動きベクトルの検出精度の向上や、広ダイナミックレンジ画像の精度向上を図ってもよいことは、言うまでもない。

また、動きベクトルの検出精度を高めるため、同じ撮像条件で連写してもよい。例えば、１枚目と３枚目とを同じ露出値にて撮像するとともに、１枚目と２枚目、および、２枚目と３枚目とで異なる露出値にて撮像してもよい。この場合、例えば、１枚目および３枚目の連写画像を用いて、動きベクトルを検出し、１枚目と２枚目、または、２枚目と３枚目を用いて、画像合成を行う。

また、１〜ｎ枚目の連写画像を用いて動きベクトルを検出後、ｎ＋１枚目以後の連写画像を用いて画像合成やゲインアップを行ってもよい。

また、画像合成やゲインアップをＣＰＵ１０の演算により行う場合を例に説明したが、このような場合に特に限定されない。ハードウェア回路により、画像合成やゲインアップを行ってもよいことは、言うまでもない。

また、撮像条件の切り替えとして、露光時間や絞り値を切り替える場合を例に説明したが、このような場合に本発明は特に限定されない。例えば、フラッシュ６０として発光量可変の光源を用い、被写体に対する照度を切り替えることで、ダイナミックレンジが異なる複数枚の連写画像を取得してもよい。また、撮影レンズ２４にフィルタを設け、撮影レンズ２４の光透過率を切り替えてもよい。また、アナログ信号処理部３４におけるゲインを切り替えることで、いわゆる感度を切り替えてもよい。

また、第１実施形態にて、画像解析により電子的にカメラボディ８０の動きを検出する場合を例に説明し、第２実施形態にて、角速度センサ７０によりカメラボディ８０の動きを検出する場合を例に説明したが、画像解析とセンサとを併用してカメラボディ８０の動きを精度よく検出してもよいことは、勿論である。

また、第２実施形態にて、カメラボディ８０の動きを検出するセンサとして、角速度センサ（ジャイロセンサ）を用いた場合を例に説明したが、角速度センサには特に限定されない。カメラボディ８０の動き量を検出可能なセンサであればよい。

また、手ぶれ補正部５６の詳細な説明を省略したが、公知の技術を用いて手ぶれ補正を行うことができる。手ぶれ補正は、ハードウェアおよびソフトウェアのいずれで行ってもよい。例えば、手ぶれ量に応じて撮像素子３０や撮影レンズ２４を移動させる公知のハードウェアを用いることにより、手ぶれ補正を行うことができる。ハードウェア回路を用い、画像信号に対して手ぶれ補正を行ってもよい。また、被写体ぶれ補正についての説明を省略したが、公知の技術を用いて被写体ぶれ補正を行ってよいことは、言うまでもない。これらのぶれ補正の際に、動きベクトル検出部１１０により検出した動きベクトル、および、角速度センサ７０の検出結果のうち、少なくともいずれかを用いることができる。

また、本明細書では、デジタルカメラを例に説明したが、本発明は、デジタルカメラには特に限定されず、カメラ付き携帯電話等、撮像機能を備えたあらゆる撮像装置に適用可能である。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…ＣＰＵ、１２…操作部、１６…ＳＤＲＡＭ、２３…撮像部、２４…撮影レンズ、２４ｉ…アイリス、３０…撮像素子、３２…タイミングジェネレータ、３４…アナログ信号処理部、３６…Ａ／Ｄ変換器、３８…画像入力コントローラ、４４…メディアインタフェース、４６…メモリカード、５２…ＡＥ検出部、５４…ＡＦ検出部、７０…角速度センサ、１００…デジタルカメラ、１０６…ダイナミックレンジ判定部、１０８…撮像制御部、１１０…動きベクトル検出部、１１２…被写体判定部、１１４…画像合成部、１１６…ゲインアップ部、１１８…画像補正部、１２０…記録制御部、１２２…システム制御部

Claims (7)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により前記被写体を異なる露出値で連続して撮像することで、第１の画像と、当該第１の画像よりも低い露出値で撮像されたアンダー露出状態の第２の画像とを複数の連写画像として取得する撮像制御手段と、
   前記複数の連写画像から前記被写体の動きベクトルを検出する動きベクトル検出手段と、
   少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定する被写体判定手段と、
   前記被写体が静止状態であると判定された場合に、前記複数の連写画像を合成することで第１の広ダイナミックレンジ画像を生成する画像合成手段と、
   前記被写体が動状態であると判定された場合に、前記第１の画像及び前記アンダー露出状態の第２の画像のうちで前記アンダー露出状態の第２の画像をゲインアップすることで第２の広ダイナミックレンジ画像を生成するゲインアップ手段と、
   前記被写体が静止状態であると判定された場合には前記画像合成手段により生成された前記第１の広ダイナミックレンジ画像を記録媒体に記録し、前記被写体が動状態であると判定された場合には前記ゲインアップ手段により生成された前記第２の広ダイナミックレンジ画像を前記記録媒体に記録する記録制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像制御手段は、前記複数の連写画像として、前記第１の画像と、前記第２の画像と、前記第１の画像と同じ露出値で撮像した第３の画像とを取得し、
   前記動きベクトル検出手段は、前記第１の画像及び前記第３の画像から前記被写体の動きベクトルを検出し、
   前記画像合成手段は、前記第１の画像と前記第２の画像との合成、又は前記第２の画像と前記第３の画像との合成を行って、前記第１の広ダイナミックレンジ画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 撮影指示を入力するレリーズスイッチを備え、
   前記動きベクトル検出手段は、前記撮影指示の入力後に連写して取得した連写画像から、前記動きベクトルを検出することを特徴とする請求項１または２に記載の撮像装置。
4. 本撮像装置の動きを検出するセンサを備え、
   前記画像合成手段は、前記センサの検出結果を用いて、前記複数の連写画像を合成することを特徴とする請求項１ないし３のうちいずれか１項に記載の撮像装置。
5. 前記動きベクトル検出手段は、前記複数の連写画像と前記センサの検出結果とに基づいて、前記被写体の動きベクトルを検出することを特徴とする請求項４に記載の撮像装置。
6. 前記動きベクトル検出手段は、前記複数の連写画像から本撮像装置の動きベクトルを検出し、
   前記画像合成手段は、前記本撮像装置の動きベクトルを用いて、前記複数の連写画像を合成することを特徴とする請求項１ないし３のうちいずれか１項に記載の撮像装置。
7. 被写体を撮像する撮像手段を制御して前記被写体を異なる露出値で連続して撮像することで、第１の画像と、当該第１の画像よりも低い露出値で撮像されたアンダー露出状態の第２の画像とを複数の連写画像として取得するステップと、
   前記複数の連写画像から前記被写体の動きベクトルを検出するステップと、
   少なくとも前記被写体の動きベクトルに基づいて、前記被写体が静止状態であるか動状態であるかを判定するステップと、
   前記被写体が静止状態であると判定された場合に、前記複数の連写画像を合成することで第１の広ダイナミックレンジ画像を生成する画像合成ステップと、
   前記被写体が動状態であると判定された場合に、前記第１の画像及び前記アンダー露出状態の第２の画像のうちで前記アンダー露出状態の第２の画像をゲインアップすることで第２の広ダイナミックレンジ画像を生成するゲインアップステップと、
   前記被写体が静止状態であると判定された場合には前記画像合成ステップにより生成された前記第１の広ダイナミックレンジ画像を記録媒体に記録し、前記被写体が動状態であると判定された場合には前記ゲインアップステップにより生成された前記第２の広ダイナミックレンジ画像を前記記録媒体に記録する記録制御ステップと、
   を備えることを特徴とする撮像方法。

Images