JP6170402B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、動画像を記録及び再生する撮像装置及びその制御方法に関する。

近年のデジタルカメラなどの画像記録再生装置では、音声付き動画を撮影記録及び再生する様々な方式が採られる。従来通り、使用者が撮影記録の開始指示をしてから終了指示をするまで撮影し続ける方式や、撮影記録の開始指示から予め決められた時間だけ撮影記録する方式がある。

こうした中、背景と被写体の双方が適切である画質を得るため、ダイナミックレンジを拡大した動画が求められている。静止画においては適正露出画像に対し、高輝度部が適正露出な画像と低照度部が適正露出な画像を合成し、ダイナミックレンジを拡大した画像を合成処理することが知られている。同様に、動画においてもダイナミックレンジを拡大する処理が求められている。動画で画像合成を行うには、被写体の動きに応じた合成比率をランタイムに求める必要があり、被写体に対するレンズの焦点調節がなされ、背景とのコントラストがあるのが好ましい。しかし、焦点調節は、動画撮影記録と並行して、撮像素子の出力を利用したＴＴＬ方式の焦点調節を行うため、焦点調節期間においては、全ての画像が合焦状態にはない。

一方、ＣＭＯＳ型イメージセンサの画素部と画素部の駆動を担う回路部の積層化により、画素部と回路部とが重ねて配置されうる。これにより、画素部から動画記録に適した画像を読み出すと同時に、複数のＡＦ用の画像を高速に読み出すことができるようになる。上記のような積層型のＣＭＯＳイメージセンサを用いた場合、動画を記録すると同時に高速にＡＦ評価で被写体の動きに適した焦点調節が可能になるが、ＡＦ用画像全てが合焦状態にないことに変わりはない。

特許文献１は、ダイナミックレンジ拡大を行うための全ての合成用画像において撮像期間に共通の重複部分があるようにする技術を開示する。共通の重複部分は撮像基準が中央に位置する画像を含む。また、特許文献２は、位相差用画素と通常画素が混在し、位相差画素で撮影レンズのフォーカス量を算出して焦点調節制御後の通常画素と位相差画素を読み出し、記録用画像を生成する技術を開示する。

特許第４７１５８５３号公報 特開２０１１−５９３３７号公報

積層型のＣＭＯＳセンサのように、撮像素子から動画記録用画像を読み出すと同時に複数のＡＦ評価用の画像が得られる場合、動画記録用画像に対してＡＦ評価用画像の蓄積時間は短くなる。回路構成の制約からＡＦ評価用画像は動画記録用画像を１フレーム読み出す間に整数フレーム読み出すことになる。動画記録用画像とＡＦ評価用画像が同時刻に得られ、それぞれの蓄積時間が異なるため、ダイナミックレンジの拡大に応用させることができる。

一方、動画記録中には、焦点調節を行うためにフォーカスレンズを移動しながらＡＦ評価値を取得する。フォーカスレンズが移動している期間に連続的に露光している動画記録用画像は、露光時間に対するレンズ移動期間が短いために合焦状態への影響が比較的少なく目立たない。しかし、高速に読み出される複数のＡＦ評価用画像は、露光期間中のフォーカスレンズ位置に応じて画像毎の合焦状態に有意差が生じる。言い換えれば、フォーカスレンズ位置による評価値の有意差を持って焦点位置を検出するので、被写界深度に応じてＡＦ評価用画像間には合焦状態の差が現れてしまう。そのため、合成する上での画像間の位置合わせや、合成画像の解像感を損なう可能性がある。

本発明は、ＡＦ評価用画像を動画記録用画像と合成する場合、解像感を損なうことなく、正確に位置合わせをしてダイナミックレンジの広い画像が得られる撮像装置を提供する。

本発明の一側面によれば、撮影レンズを介して被写体像を撮像する撮像素子と、前記撮影レンズに含まれ、光軸方向に移動可能なフォーカスレンズと、前記撮像素子から、第１のフレームレートで第１の画像を取得するとともに、前記第１のフレームレートより高い第２のフレームレートで複数の第２の画像を取得する取得手段と、前記第１の画像及び前記複数の第２の画像の高周波成分に基づき前記フォーカスレンズの位置を制御して前記被写体像に対する焦点調節を行う焦点調節手段と、前記撮像素子から得られた複数の画像を合成してダイナミックレンジが拡大された画像を生成する合成手段とを有し、前記合成手段は、前記複数の第２の画像のうち合焦率の高い画像を選択し、該選択した画像を前記第１の画像と合成することを特徴とする撮像装置が提供される。

本発明によれば、動画撮影記録を行いながら焦点調節を行う場合に、合焦率の高い画像が選択的に合成される。これにより、合成時の位置合わせが正確に行えると同時に、解像感を失うことなくダイナミックレンジの広い画像を得ることができる。

実施形態における撮像装置のブロック図。 実施形態における撮像装置の動作を説明するタイミングチャート。 実施形態における画像合成のデータフローを示す図。 実施形態における焦点調節処理を示すフローチャート。 実施形態における焦点位置決定処理を示すフローチャート。 実施形態における画像合成のデータフローを示す図。 実施形態における撮像装置の動作を説明するタイミングチャート。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

図１は、本実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、ズームレンズ１１０と、カメラのブレを補正するシフトレンズ１１１と、焦点調節用のフォーカスレンズ１１２とを含む撮影レンズを備える。なお、撮影レンズは本体に対して着脱可能なものであってもよい。フォーカスレンズ１１２は、光軸方向に移動可能に構成されている。撮像装置１００は更に、撮影レンズの後段への光束を遮断するメカニカルシャッタ１１３、後段への光束を調節する絞り１１４を有する。タイミング発生部１１６は、撮像素子１１５の駆動に必要なタイミングパルスを発生する。

画像処理部１１７は、撮像駆動用の同期信号を発生するＳＳＧ回路、前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、画像合成回路、縮小回路、ラスタブロック変換回路及び、圧縮回路を含む。ＳＳＧ回路では、タイミング発生器から撮像駆動用のクロックを受けて、水平及び、垂直同期信号を発生し、タイミング発生器と撮像素子に出力する。前処理回路では、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路では、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストを表す所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路では、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路では、撮像素子出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２３にＹＵＶ形式の画像データを形成する。また、信号処理回路では、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。画像合成回路では、メモリ部１２３に形成された或いは、撮像素子出力データから直接的に信号処理回路で生成された複数のＹＵＶ形式の画像データを入力する。そして、入力されたＹＵＶ形式の画像データに画素単位で設定された係数を乗じて加算することにより合成画像を生成する。具体的な内容は後述する。縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３がバッファメモリとして用いられて実現される。圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。

露出制御部１１８は、メカニカルシャッタ１１３、絞り１１４を制御する。レンズ駆動部１１９は、ズームレンズ１１０、フォーカスレンズ１１２を光軸上に沿って移動させ、被写体像を撮像素子１１５上に結像させる。また、レンズ駆動部１１９は、角速度センサと加速度センサの出力に応じてシフトレンズを駆動し、画像記録再生装置の手ブレを光学的に補正する。撮影指示を行うためのレリーズスイッチ１２０は、例えばダブルアクションのスイッチで、第１のスイッチ（半押し）と第２のスイッチ（全押し）とで構成されている。

マイクロホン１２７は入力された音声を音声信号に変換する。Ａ／Ｄ変換器１２８は、マイクロホンの音声出力をデジタル音声信号に変換する。音声処理部１２９は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する。

これら構成要素の制御は、ＣＰＵとそのインターフェイス回路、ＤＭＡＣ（Direct・Memory・Access・Controller）、バスアービター等で構成されるシステム制御回路１２１で行われる。ＣＰＵが実行するプログラムは、フラッシュメモリ１２２に記憶されている。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。メモリ部１２３には、システム制御回路１２１の動作用の定数、変数、フラッシュメモリ１２２から読み出したプログラム等を展開する。また、システム制御回路１２１はメモリ部１２３、再生回路１５０、モニタ１５１等を制御することにより表示制御も行う。

接続端子１３０、１４１は、撮像装置１００と電源である電池１４２とを係合させる。電池ＢＯＸ１４０は、撮像装置１００に電池１４２を保持させる。記録媒体１３３は画像データを記録する。接続端子１２５、１３２は、撮像装置１００と記録媒体１３３とを係合させる。スイッチ１３４は、記録媒体の書き込み禁止スイッチを検知する。検出スイッチ１２６は記録媒体１３３の着脱を検出する。また、動画記録スイッチ１８０は動画記録を指示する。

再生回路１５０は、画像処理部１１７で生成され、メモリ部１２３に記憶された画像データを表示用画像に変換して表示装置であるモニタ１５１に転送する。再生回路１５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、モニタ１５１に出力される。このように、撮像素子からの画像データを逐次処理して表示することによってＥＶＦが実現される。ＥＶＦ状態ではＡＦ（自動焦点調節）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理が継続的に行われ、ファインダーとしての機能を果たす。

モードスイッチ１９０は、システム制御回路１２１の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モードスイッチ１９０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。或いは、モードスイッチ１９０で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。レリーズスイッチ１２０の半押しで第１のスイッチがＯＮになると第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の撮影準備動作を開始する。

また、レリーズスイッチ１２０の全押しで第２のスイッチがＯＮになると第２シャッタースイッチ信号ＳＷ２を発生する。システム制御回路１２１は、第２シャッタースイッチ信号ＳＷ２により、ＡＥ処理結果とストロボ設定に応じて、ＥＦ（フラッシュプリ発光）処理を行い、本露光若しくは、ストロボ閃光を伴う本露光を行う。そして、撮像素子１１５からの信号読み出しから記録媒体１３３に画像データを書き込むまでの一連の撮影処理の動作を開始する。動画記録スイッチ１８０が押下されると、レリーズスイッチ１２０が一気に全押しされたように、ＡＦ、ＡＥ、ＡＷＢを強制的に行う。その後、撮像素子１１５から出力される画像から符号化に適した画像を生成し、順次符号化を行い記録媒体１３３に動画像データを書き込む動作を開始する。

＜実施形態１＞
図２は撮像素子の駆動タイミングと撮像素子の出力タイミング及び、画像合成までのタイミングチャートである。撮像素子１１５は、画像処理部１１７内のＳＳＧからの同期信号を受けてタイミング発生部１１６が発生する駆動信号を受けて、２種類のレートで２種類の画像を出力する。ＳＳＧからの垂直同期信号（ＶＤ）は、例えば記録フレームレートの整数倍（例えば８倍。）のレートで出力され、タイミング発生部１１６は、２種類の画素リセットパルスと、２種類の画素読み出しパルスを出力する。ＶＤ８周期を１期間として画素リセットパルスと読み出しパルスが出力される。これにより、動画の記録フレームレートと同じフレームレート（第１のフレームレート）で第１の画像が出力される。また、ＶＤ１周期を１期間として画素リセットパルスと読み出しパルスが出力される。これにより、第１のフレームレートよりも高いレート、例えば、動画の記録フレームレートの８倍のレート（第２のフレームレート）で、複数の第２の画像が出力される。本実施形態においては、第２の画像の出力レートを第１の画像の出力レートの８倍としたが、本発明はこれに限定されるものではない。

取得した第１の画像と複数の第２の画像はそれぞれ、画像処理部１１７のＡＦ評価値演算回路に入力され、画像単位の評価値を出力する。ＡＦ評価値は第１の画像、第２の画像それぞれで評価され、自動焦点調節に用いられる。自動焦点調節の詳細は後述する。焦点調節の結果、焦点の合うフォーカスレンズの位置に基づき、第１の画像の出力周期に相当する８つの第２の画像のうち、焦点位置に最も近いフォーカスレンズ位置で露光した画像を選択する（図２中では（Ｆ）及び（Ｎ））。選択されたこれらの画像は、第１の画像との合成に使用される。

図３は、画像合成のデータフローを示す図である。まず、撮像素子１１５から第１の画像（Ｄ３０１）と複数の第２の画像群（Ｄ３０２）が取り込まれる。第１の画像（Ｄ３０１）から、まず、画像処理部１１７の信号処理回路で合成に適した設定値で現像する合成画像生成処理を経て中間ＹＵＶ画像Ａ（Ｄ３０５）が生成される。また、第１の画像（Ｄ３０１）から、合成時の画像位置ずれ検出に適した設定値で現像する比率画像生成処理を経て位置ずれ基準画像（Ｄ３０６）を生成する。また同様に、第２の画像群（Ｄ３０２）から、合成画像生成処理を経て中間ＹＵＶ画像Ｂ群（Ｄ３０３）と、比率画像生成処理を経て位置ずれ検出画像群（Ｄ３０４）を生成する。

中間ＹＵＶ画像Ｂ群（Ｄ３０３）と位置ずれ検出画像群（Ｄ３０４）から焦点調節の結果に基づいて、画像選択処理を経て焦点位置に最も近いフォーカスレンズ位置で露光した画像を中間ＹＵＶ画像Ｂ（Ｄ３０７）と位置ずれ検出画像（Ｄ３０８）を生成する。

位置ずれ基準画像（Ｄ３０６）と位置ずれ検出画像（Ｄ３０８）に基づいて、各画像を複数に分割した領域毎の輝度平均から領域毎の各画像の輝度合成比率（Ｄ３０９）を算出する。また、複数に分割した領域毎の移動平均フィルタ処理を行い、領域毎の輝度、色差それぞれの差分絶対値の平均から領域毎の各画像の動き合成比率（Ｄ３１０）を算出する。

画像処理部１１７の合成回路に輝度合成比率と動き合成比率の最大値を合成比率として設定し、中間ＹＵＶ画像Ａ（Ｄ３０５）と中間ＹＵＶ画像Ｂ（Ｄ３０７）を入力し、加重加算処理を経て合成画像を生成する（Ｄ３１１）。

図４は、焦点調節処理を示すフローチャートである。このフローチャートに対応するプログラムは例えばフラッシュメモリ１２２に含まれ、メモリ部１２３にロードされてシステム制御回路１２１によって実行される。自動焦点調節は、フォーカスレンズ位置３点において撮像素子１１５から得られる輝度信号の高周波成分が最大になるレンズ位置を連続して探索する山登り方式である。具体的に評価に用いる信号は、撮像素子１１５からの画像データをフィルタリングして高周波帯域の輝度成分を抽出し、設定された領域内における水平方向のピークを枠内の垂直方向に積分するなどして求めた焦点評価値である。

まず、ＡＦ評価値演算回路を起動し、撮像素子１１５から得られる第１の画像を画像処理部１１７のＡＦ評価値演算回路に入力する（Ｓ４００）。合焦率が低いか判定し（Ｓ４０１）、合焦率が低い場合には現在のフォーカスレンズ位置での第１の画像の露光完了を待つ（Ｓ４０２）。第１の画像の露光が完了したら初期位置より至近側にフォーカスレンズを移動させると共に、第２の画像を画像処理部１１７のＡＦ評価値演算回路に入力する（Ｓ４０３）。フォーカスレンズの移動が完了し（Ｓ４０４）、初期位置における第２の画像の評価値の積分が完了したら（Ｓ４０５）、レンズ位置と評価値を関連付けて記憶する（Ｓ４０６）。

次に、至近側にフォーカスレンズを移動中の第２の画像の露光が完了したら（Ｓ４０７）、至近側のフォーカスレンズ位置での第２の画像の露光が完了を待つ（Ｓ４０８）。その後、フォーカスレンズを初期位置より無限側にフォーカスレンズを移動させる（Ｓ４０９）。フォーカスレンズの移動が完了し（Ｓ４１０）、至近側位置の評価値の積分が完了したら（Ｓ４１１）、レンズ位置と評価値を関連付けて記憶する（Ｓ４１２）。次に、無限側にフォーカスレンズを移動中の第２の画像の露光が完了したら（Ｓ４１３）、無限側のフォーカスレンズ位置での第２の画像の露光完了を待つ（Ｓ４１４）。無限側位置の評価値の積分の完了を待ち（Ｓ４１５）、レンズ位置と評価値を関連付けて記憶する（Ｓ４１６）。３つの評価値から焦点位置を決定し（Ｓ４１７）、焦点位置にレンズを移動する（Ｓ４１８）。ＥＶＦが終了でなければ（Ｓ４１９）、Ｓ４０１の合焦判定に戻って処理を繰り返す。

図５は、Ｓ４１７の３つの評価値から焦点位置を決定する処理の具体例を示すフローチャートである。まず、初期位置の評価値（焦点検出する前の現在の位置。以下、初期位置Cur。）が至近位置の評価値（以下、至近位置Mod。）の所定値X以上であるかを判定する（Ｓ４２０）。すなわち、Cur-Mod≧Xであるか否かを判定する。Cur-Mod≧Xである場合、初期位置Curと無限位置の評価値（以下、無限位置Inf。）とを比較する（Ｓ４２１）。初期位置Curが大きい場合には初期位置Curを焦点位置とし（Ｓ４２２）、そうでなければ、無限位置Infを焦点位置とする（Ｓ４２３）。

また、Ｓ４２０でCur-Mod≧Xでない場合、至近位置Modが初期位置Curの所定値X以上であるかを判定する（Ｓ４２４）。すなわち、Mod-Cur≧Xであるか否かを判定する。Mod-Cur≧Xである場合、初期位置Curが無限位置Inf以上であるか判定する（Ｓ４２５）。初期位置Curが無限位置Inf以上である場合、至近位置Modを焦点位置とする（Ｓ４２６）。また、初期位置Curが無限位置Inf以上でない場合には、無限位置Infが至近位置Modの所定値X以上であるかを判定する（Ｓ４２７）。無限位置Infが至近位置Modの所定値X以上である場合、無限位置Infを焦点位置とし（Ｓ４２８）、それ以外の場合は焦点位置を不定と判定する（Ｓ４２９）。

更に、Ｓ４２４でMod-Cur≧Xでないと判定された場合は、無限位置Infが初期位置Curの所定値X以上であるかを判定する（Ｓ４３０）。すなわち、Inf-Cur≧Xであるかを判定する。Inf-Cur≧Xである場合、初期位置Curが至近位置Mod以上であるかを判定する（Ｓ４３１）。初期位置Curが至近位置Mod以上である場合、無限位置Infを焦点位置とする（Ｓ４３２）。そうでない場合は、至近位置Modが無限位置Infの所定値X以上であるかを判定する（Ｓ４３３）。至近位置Modが無限位置Infの所定値X以上である場合は、至近位置Modを焦点位置とし（Ｓ４３４）、それ以外の場合は焦点位置を不定とする（Ｓ４３５）。Ｓ４３０でInf-Cur≧Xでないと判定された場合も、Ｓ４３５で焦点位置を不定とする。なお、焦点位置決定方法については、図５の方法に限定されるものではない。

図３の、中間ＹＵＶ画像Ｂ群（Ｄ３０３）と位置ずれ検出画像群（Ｄ３０４）から中間ＹＵＶ画像Ｂ（Ｄ３０７）と位置ずれ検出画像（Ｄ３０８）を抽出する処理では、図５の処理で決定した焦点位置で露光した画像から生成した画像が選択される。また、図５にて、焦点位置を不定と判定した場合には、初期位置Cur、至近位置Mod、無限位置Infの中で、第１の画像をＡＦ評価値演算回路に入力して得られる評価値に最も近い画像が選択される。

以上のように、動画撮影記録を行いながら焦点調節を行う場合、合焦率の高い画像を選択的に合成することにより、合成時の位置合わせを正確に行うことができる。これと同時に、解像感を失うことなくダイナミックレンジの広い画像を得ることができる。

＜実施形態２＞
実施形態１では、第１の画像の出力周期に相当する８つの第２の画像の内、焦点位置に最も近いフォーカスレンズ位置で露光した画像を選択したが、次のような構成としてもよい。すなわち、８つから合焦率の高い順に複数の画像を選択し、選択された画像を合成した第３の画像を生成する（図２中では（Ｆ）と（Ｇ）、並びに、（Ｎ）と（Ｏ））。その後、第３の画像を第１の画像と合成する。第２の画像を複数合成させることにより、第１の画像と合成する際の第２の画像のノイズレベルの低減に寄与し、より高画質でダイナミックレンジを拡大した画像が得られる。

図４（Ｓ４１８）で焦点位置にフォーカスレンズを移動した後に露光が開始され（図２中のｔ４、ｔ５タイミング。）且つ、フォーカスレンズ移動後、最初の第１の画像の露光が完了（図２中のｔ２、ｔ３タイミング。）するまでに出力される第２の画像が、合成する画像として選択される。

図６は、図３の画像選択を複数にし、第２の画像を合成して中間ＹＵＶ画像Ｂ（Ｄ３０７）と位置ずれ検出画像（Ｄ３０８）を生成するデータフローである。図３との差異は、中間ＹＵＶ画像Ｂ群（Ｄ３０３）と位置ずれ検出画像群（Ｄ３０４）から上記条件を満たす２画像をそれぞれ選択する画像選択処理にある。中間ＹＵＶ画像Ｂ群（Ｄ３０３）から画像選択処理を経て、中間ＹＵＶ画像Ｂ１（Ｄ３１６）と中間ＹＵＶ画像Ｂ２（Ｄ３１７）を選択する。また、位置ずれ検出画像群（Ｄ３０４）から画像選択処理を経て、位置ずれ検出画像１（Ｄ３１２）と位置ずれ検出画像２（Ｄ３１３）を選択する。

位置ずれ検出画像１（Ｄ３１２）と位置ずれ検出画像２（Ｄ３１３）に基づいて、各画像を複数に分割した領域毎の輝度平均から領域毎の各画像の輝度合成比率（Ｄ３１４）を算出する。また、複数に分割した領域毎の移動平均フィルタ処理を行い、領域毎の輝度、色差それぞれの差分絶対値の平均から領域毎の各画像の動き合成比率（Ｄ３１５）を算出する。

画像処理部１１７の合成回路に輝度合成比率（Ｄ３１４）と動き合成比率（Ｄ３１５）の最大値を合成比率として設定する。そして、位置ずれ検出画像１（Ｄ３１２）と位置ずれ検出画像２（Ｄ３１３）を入力して加重加算処理を経て合成した位置ずれ検出画像（Ｄ３０８）を生成する。また同様にして、画像処理部１１７の合成回路に輝度合成比率（Ｄ３１４）と動き合成比率（Ｄ３１５）の最大値を合成比率として設定する。そして、中間ＹＵＶ画像Ｂ１（Ｄ３１６）と中間ＹＵＶ画像Ｂ２（Ｄ３１７）を入力して加重加算処理を経て合成した中間ＹＵＶ画像Ｂ（Ｄ３０７）を生成する。これ以降のデータフローは図３ａで説明したデータフローと同じである。

以上のように、動画撮影記録を行いながら焦点調節を行う場合、合焦率の高い画像を複数選択して合成する。これにより、合成時の位置合わせが正確に行えると同時に、解像感を失うことなく、更に、Ｓ／Ｎ比の高いダイナミックレンジの広い画像を得ることができる。

＜実施形態３＞
図７は、自動焦点調節により露光期間中にフォーカスレンズを動かさない場合の撮像素子の駆動タイミングと撮像素子の出力タイミング及び、画像合成までのタイミングチャートである。実施形態１及び２においては、自動焦点調節を行ったことにより、第２の画像に焦点の有意差がある場合を想定した。これに対しここでは、焦点調節を行わない期間、即ち、図４で合焦率が低いと判定されない時（Ｓ４０１）を想定する。この場合、第１の画像の露光重心近傍の所定数の第２の画像を選択し、この選択された第２の画像を合成して第４の画像を生成する（図５では（Ａ）と（Ｂ）、並びに、（Ｈ）と（Ｉ））。その後、第１の画像と合成する。これにより、合成する画像間の実時間上のずれが軽減される。そして、露光時間の短い第２の画像を複数合成した後に第１の画像と合成させることにより、ずれ量の少なく、ノイズレベルを低減させた、より高画質でダイナミックレンジを拡大した画像が得られる。

データフローとしては図６と同じであり、画像選択処理が上記で説明したように第１の画像の露光重心に最も近い第２の画像を選択するように変更した処理になる。露光重心は画像単位に以下のように求めることができる。

図７において、記録フレームレートをＦ、第１の画像読み出し時間をＲ１、第２の画像読み出し時間をＲ２とする。また、第１の画像の最初の読み出しタイミングをＶ１、第１の画像の２番目の読み出しタイミングをＶ２、第１の画像の３番目の読み出しタイミングをＶ３とする。また、第１の画像の２番目の露光時間をＥ１、第１の画像の３番目の露光時間をＥ２、第２の画像の露光時間をＥ３とする。

Ｖ１からＶ２の期間に露光した第１の画像はＶ２から読み出しを始め、その露光重心は以下の（１）式で求められる。

露光重心＝Ｖ２−Ｅ１/２+Ｒ１/２ ・・・（１）
Ｖ１からＶ２の期間に露光した第２の画像の露光重心は、以下の（２）式で求められる。

露光重心２＝Ｖ２−（Ｆ/ｍ）×（ｍ−ｎ）−Ｅ２/２+Ｒ２/２ ・・・（２）
本実施形態では、ｍ＝８であり、Ｖ２直前のＶＤ期間の第２の画像の場合ｎ＝８、Ｖ１直後のＶＤ期間の第２の画像の場合ｎ＝１である。
Ｖ１、Ｖ２、Ｖ３、・・・以外の値は既知であり、第１の画像が読み出し開始されるタイミングで第１の画像の露光重心と第２の画像の露光重心が求められる。第１の画像が読み出されるのと並行して（１）式及び、（２）式により露光重心を求め、第１の露光重心の時刻に最も近い露光重心時刻の第２の画像と２番目に近い露光重心時刻の第２の画像が選択される。

図７のＶ２では、ｔ６が第１の画像の露光重心時刻であり、最も近い第２の画像（Ｈ）と２番目に近い第２の画像（Ｉ）が選択される。

以上のように、動画記録を行いながら焦点調節を行わない場合においても、動画記録用画像の露光重心に近いＡＦ評価用の画像を複数選択して合成する。これにより、合成時の位置合わせが正確に行えると同時に、解像感を失うことなく、更に、Ｓ／Ｎ比の高いダイナミックレンジの広い画像を得ることができる。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 撮影レンズを介して被写体像を撮像する撮像素子と、
   前記撮影レンズに含まれ、光軸方向に移動可能なフォーカスレンズと、
   前記撮像素子から、第１のフレームレートで第１の画像を取得するとともに、前記第１のフレームレートより高い第２のフレームレートで複数の第２の画像を取得する取得手段と、
   前記第１の画像及び前記複数の第２の画像の高周波成分に基づき前記フォーカスレンズの位置を制御して前記被写体像に対する焦点調節を行う焦点調節手段と、
   前記撮像素子から得られた複数の画像を合成してダイナミックレンジが拡大された画像を生成する合成手段と、
   を有し、
   前記合成手段は、前記複数の第２の画像のうち合焦率の高い画像を選択し、該選択した画像を前記第１の画像と合成することを特徴とする撮像装置。
2. 前記第２のフレームレートが前記第１のフレームレートの整数倍であることを特徴とする請求項１に記載の撮像装置。
3. 前記焦点調節手段は、前記第１の画像及び前記複数の第２の画像の高周波成分を積分して得た評価値に基づいて前記焦点調節を行い、
   前記合成手段は、前記複数の第２の画像に焦点の有意差がないと判定される場合、前記複数の第２の画像のうち前記第１の画像の前記評価値に最も近い画像を選択し、該選択した画像を前記第１の画像と合成することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記合成手段は、前記複数の第２の画像から合焦率の高い順に所定数の画像を選択し、該選択した画像を合成して第３の画像を生成し、該第３の画像を前記第１の画像と合成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記合成手段は、前記焦点調節を行わない期間では、前記複数の第２の画像から前記第１の画像の露光重心近傍の所定数の画像を選択し、該選択した画像を合成して第４の画像を生成し、該第４の画像を前記第１の画像と合成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 撮影レンズを介して被写体像を撮像する撮像素子と、前記撮影レンズに含まれ、光軸方向に移動可能なフォーカスレンズとを有する撮像装置の制御方法であって、
   取得手段が、前記撮像素子から、第１のフレームレートで第１の画像を取得するとともに、前記第１のフレームレートより高い第２のフレームレートで複数の第２の画像を取得する取得ステップと、
   焦点調節手段が、前記第１の画像及び前記複数の第２の画像の高周波成分に基づき前記フォーカスレンズの位置を制御して前記被写体像に対する焦点調節を行う焦点調節ステップと、
   合成手段が、前記撮像素子から得られた複数の画像を合成してダイナミックレンジが拡大された画像を生成する合成ステップと、
   を有し、
   前記合成ステップにおいて、前記合成手段は、前記複数の第２の画像のうち合焦率の高い画像を選択し、該選択した画像を前記第１の画像と合成することを特徴とする撮像装置の制御方法。
7. 前記第２のフレームレートが前記第１のフレームレートの整数倍であることを特徴とする請求項６に記載の制御方法。
8. 前記焦点調節ステップにおいて、前記焦点調節手段は、前記第１の画像及び前記複数の第２の画像の高周波成分を積分して得た評価値に基づいて前記焦点調節を行い、
   前記合成ステップにおいて、前記合成手段は、前記複数の第２の画像に焦点の有意差がないと判定される場合、前記複数の第２の画像のうち前記第１の画像の前記評価値に最も近い画像を選択し、該選択した画像を前記第１の画像と合成する
   ことを特徴とする請求項６又は７に記載の制御方法。
9. 前記合成ステップにおいて、前記合成手段は、前記複数の第２の画像から合焦率の高い順に所定数の画像を選択し、該選択した画像を合成して第３の画像を生成し、該第３の画像を前記第１の画像と合成することを特徴とする請求項６乃至８のいずれか１項に記載の制御方法。
10. 前記合成ステップにおいて、前記合成手段は、前記焦点調節を行わない期間では、前記複数の第２の画像から前記第１の画像の露光重心近傍の所定数の画像を選択し、該選択した画像を合成して第４の画像を生成し、該第４の画像を前記第１の画像と合成することを特徴とする請求項６乃至８のいずれか１項に記載の制御方法。
11. コンピュータに、請求項６乃至１０のいずれか１項に記載の制御方法の各ステップを実行させるためのプログラム。

Images