JP6862225B2 - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。

動画像を撮像する機能を有した撮像装置において、動画像の撮像中に画像のコントラストを評価してオートフォーカス（ＡＦ）制御を行う技術が提案されている（例えば、特許文献１参照。）。また、被写体の動きが滑らかな動画像を撮像する場合には、露光時間を長くして撮像することが望ましい。

特開２００９−１４１５３８号公報

動画像の撮像中に画像を評価する場合、例えば、画像のコントラストを評価してオートフォーカス制御を行う場合、オートフォーカス制御に係る評価値を次のフレームの撮像に反映できないことがある。そこで本発明は、オートフォーカス制御に係る評価値を得るまでの処理時間を短縮し、フレーム毎のオートフォーカス制御を可能にする撮像装置、撮像装置の制御方法、及びプログラムを提供することを目的とする。

本発明に係る撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段に第１の露光時間および第１のピント位置での撮像と、前記第１の露光時間よりも長い第２の露光時間および前記第１のピント位置とは異なる第２のピント位置での撮像とを行わせる制御手段と、前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正手段と、前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価手段と、複数の前記第２の画像データを動画像データとして取得する取得手段と、を有することを特徴とする。

本発明によれば、オートフォーカス制御に係る評価値を得るまでの処理時間を短縮でき、フレーム毎のオートフォーカス制御が可能となる。

本実施形態における撮像装置の構成例を示す図である。 本実施形態における撮像装置の動画撮像時の動作例を示す図である。 撮像されるフレーム画像を説明する図である。 本実施形態における撮像装置の動作例を示すフローチャートである。 本実施形態における撮像装置の動画撮像時の他の動作例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下では、本発明の一実施形態における撮像装置をデジタルカメラに適用した場合を一例として説明するが、これに限定されるものではない。本実施形態における撮像装置は、例えば、スマートフォンやタブレット端末等の各種携帯機器、工業用カメラ、車載用カメラ、及び医療用カメラ等にも適用可能である。

図１は、本実施形態における撮像装置としてのデジタルカメラ１０１の構成例を示すブロック図である。デジタルカメラ１０１は、撮像レンズ１０２、レンズ駆動部１０３、絞り１０４、撮像素子１０５、撮像素子駆動部１０６、タイミングジェネレータ（ＴＧ：Timing Generator）１０７、及びユニット回路（ＣＤＳ／ＡＤ）１０８を有する。また、デジタルカメラ１０１は、ＣＰＵ（Central Processing Unit）１０９、操作部１１０、メモリ１１１、及びメモリ（ＤＲＡＭ）１１２を有する。また、デジタルカメラ１０１は、画像生成部１１３、表示部１１４、圧縮伸張部１１５、フラッシュメモリ１１６、顔検出部１１７、オートフォーカス制御部（ＡＦ制御部）１１８、及びバス１１９を有する。

撮像レンズ１０２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。撮像レンズ１０２には、ＡＦ制御部１１８から送られてくる制御信号に従って、フォーカスレンズやズームレンズをそれぞれ光軸方向に駆動させるレンズ駆動部１０３が接続されている。絞り１０４は、ＣＰＵ１０９から送られてくる制御信号に従って駆動され、撮像素子１０５に入射される光の量を制御する。撮像における露出量は、絞り値（絞りの度合い）とシャッター速度によって定められる。

撮像素子１０５は、例えばＣＭＯＳセンサー等である。撮像素子１０５は、撮像素子駆動部１０６によって走査駆動され、一定周期毎に被写体像のＲＧＢ各色の光の強さを光電変換して撮像信号としてユニット回路（ＣＤＳ／ＡＤ）１０８に出力する。また、撮像素子１０５は、電子シャッターとしての機能を有する。撮像素子１０５が有する電子シャッターの機能は、撮像素子駆動部１０６及びタイミングジェネレータ１０７を介してＣＰＵ１０９により制御される。この電子シャッターのシャッター速度によって露光時間が変わる。タイミングジェネレータ１０７は、ＣＰＵ１０９からの指示に従って、撮像素子駆動部１０６やユニット回路（ＣＤＳ／ＡＤ）１０８の動作タイミングを制御する。

ユニット回路（ＣＤＳ／ＡＤ）１０８は、撮像素子１０５から出力される撮像信号をライン露光順次読み出しを行い、垂直信号線毎に配置されている列回路（ＣＤＳ回路、相関二重サンプリング回路）により画素間にばらつきのあるノイズを除去する。さらにユニット回路（ＣＤＳ／ＡＤ）１０８は、ノイズが除去された撮像信号を、水平転送回路を経てアナログ／デジタル変換器（Ａ／Ｄ変換器）によりアナログ信号からデジタル信号に変換する。撮像素子１０５によって得られた撮像信号は、ユニット回路（ＣＤＳ／ＡＤ）１０８を経た後、ベイヤー配列の画像データとしてバッファメモリ（メモリ１１２）に記憶される。このユニット回路（ＣＤＳ／ＡＤ）１０８により、撮像素子１０５によって撮像された画像データに対してゲイン補正を行う補正手段の機能が実現される。

ＣＰＵ１０９は、デジタルカメラ１０１の各部を制御するワンチップマイコンである。ＣＰＵ１０９は、例えば記録処理等を行う機能を有するとともに、動画像データを表示部１１４に表示する表示制御を行う機能を有する。また、ＣＰＵ１０９は、異なる２つの露光時間で交互に連続撮像を実行させる機能や、顔検出部１１７により検出された顔領域を識別表示させる機能を有する。操作部１１０は、静止画撮像や動画撮像等の撮像を指示するシャッターボタン、表示モード切り替えキー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザの操作に応じた操作信号をＣＰＵ１０９に出力する。

メモリ１１１には、ＣＰＵ１０９がデジタルカメラ１０１の各部を制御するための制御プログラムやデータが格納されている。ＣＰＵ１０９は、メモリ１１１に格納された制御プログラムを読み出して実行することにより、デジタルカメラ１０１の各部に係る制御処理を実行する。メモリ（ＤＲＡＭ）１１２は、撮像素子１０５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０９のワーキングメモリとしても使用される。

画像生成部１１３は、画像データに対して画像処理を施す。画像生成部１１３は、画像データに対して画素補間処理やγ補正処理やホワイトバランス処理等の処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行う。この画像生成部１１３により、撮像素子１０５によって撮像された画像データに対して像倍率補正を行う補正手段の機能が実現される。表示部１１４は、例えばカラー液晶パネルとその駆動回路を含み、画像データに係る画像等を表示する。圧縮伸張部１１５は、画像データの圧縮や伸張（例えば、ＪＰＥＧ形式やＭＰＥＧ形式での圧縮や伸張）を行う。顔検出部１１７は、撮像された画像データ内にある顔領域を検出する顔検出処理を行う。つまり、顔検出部１１７は、顔があるか否か、顔が幾つあるか否かを評価するものである。なお、顔検出処理は周知技術なので詳しくは説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ）と画像データとを比較照合することにより、画像のどの領域に顔があるかを検出する。

オートフォーカス制御部（ＡＦ制御部）１１８は、撮像された複数の画像データに基づいてオートフォーカス制御を行う。具体的には、ＡＦ制御部１１８は、レンズ駆動部１０３に制御信号を送ることによりフォーカスレンズを駆動範囲内で移動させ、レンズ位置における撮像素子１０５により撮像された画像データのＡＦエリアのＡＦ評価値を算出する（画像評価を行う）。そして、ＡＦ制御部１１８は、算出したＡＦ評価値に基づく合焦レンズ位置にフォーカスレンズを移動させることでピント（焦点）を合わせる。このＡＦ評価値は、画像データのＡＦエリアの高周波成分に基づいて算出され、ＡＦ評価値が高いほどピントが合っているレンズ位置ということになる。

本実施形態におけるデジタルカメラ１０１の動画撮像時の動作について説明する。本実施形態におけるデジタルカメラ１０１は、第１の露光条件と第２の露光条件との２種類の露光条件を備えている。第１の露光条件は、露光条件値として“０”が設定されているときの露光条件であり、第２の露光条件の露光時間Ｂより短い露光時間Ａで露光する設定である。また、第２の露光条件は、露光条件値として“１”が設定されているときの露光条件であり、動画撮像に適した露光時間Ｂで露光する設定である。露光条件値は、例えばメモリ（ＤＲＡＭ）１１２内の露光条件記憶領域に設定され記憶される。

本実施形態では、第２の露光条件で撮像した画像のピント位置は、被写体に合うように、ＤＦＤ（Depth From Defocus）検出結果を用いてフォーカス制御を行う。つまり、ＤＦＤ方式でオートフォーカス制御を行う。また、第１の露光条件で撮像した画像のピント位置は、第２の露光条件で撮像した画像のピント位置と異なるようにフォーカス制御を行う。ここで、ＤＦＤ検出は、ピント位置の異なる画像から空間を認識し、物体までの距離を演算して、次のフレーム画像のピント位置を割り出す処理である。また、本実施形態では、露光条件は撮像する度に切り替わる。つまり、第１の露光条件で撮像すると、次は第２の露光条件で撮像し、その次は第１の露光条件で撮像するというように、露光条件値が０→１→０→・・・というように切り替わる。

また、撮像素子１０５は、少なくとも２４０ｆｐｓ（毎秒２４０フレーム）のフレーム周期で被写体を撮像することが可能である。撮像素子１０５は、第１の露光条件では１フレーム期間未満の露光時間Ａ（本例では１／３００ｓとする）の露光を行い、第２の露光条件では２．４フレーム期間分の露光時間Ｂ（本例では１／１００ｓ）の露光を行うものとする。なお、１フレーム期間は１／２４０ｓとする。

図２は、本実施形態におけるデジタルカメラ１０１の動画撮像時の動作例を示すタイムチャートである。図２に示すように、デジタルカメラ１０１は、第１の露光条件（露光時間１／３００ｓ）での撮像と第２の露光条件（露光時間１／１００ｓ）での撮像とを交互に繰り返し行う。以下では、説明の便宜上、第１の露光条件で撮像された、主被写体に焦点が合っていない画像をデフォーカス画像Ａと呼び、第２の露光条件で撮像された、主被写体に焦点が合っている画像をフォーカス画像Ｂと呼ぶ。

また、図２に示すように、撮像素子１０５からの画像データの読み出し開始から画像生成部１１３による像倍率補正処理、又はＤＦＤ検出処理の完了までは、１フレーム期間未満（１／２４０ｓ未満）の期間で行われる。撮像素子１０５から読み出された信号（ベイヤー配列の画像データ）は、ユニット回路（ＣＤＳ／ＡＤ）１０８等を介してバッファメモリ（メモリ１１２）に記憶され、画像生成部１１３によって輝度色差信号の画像データが生成される。生成された輝度色差信号の画像データがバッファメモリに記憶されるという一連の動作が、１フレーム期間未満（１／２４０ｓ未満）の期間で行われることになる。

このとき、同じ被写体を撮影したとすると、第１の露光条件で撮像されるデフォーカス画像Ａの画像データと、第２の露光条件で撮像されるフォーカス画像Ｂの画像データとの輝度レベルが同じになるように、絞りや感度（例えばゲイン）を調節する。ここでは、ゲイン補正のみを行うものとする。第１の露光条件の露光時間が第２の露光条件の露光時間の１／３であるので、第２の露光条件で撮像するときのゲイン値を１倍とし、第１の露光条件で撮像するときのゲイン値を３倍とする。これによって、第１の露光条件で撮像されたデフォーカス画像Ａの画像データと第２の露光条件で撮像されたフォーカス画像Ｂの画像データとの輝度レベルを揃えることができる。

また、第１の露光条件での撮像と第２の露光条件での撮像とでは被写体のフォーカス位置が異なるため、第１の露光条件での撮像と第２の露光条件での撮像との像倍率が同じになるように像倍率を調整する。本実施形態では、フォーカス画像Ｂを撮像するときの像倍率を基準として、デフォーカス画像Ａの像倍率を調整するために、デフォーカス画像Ａの拡大縮小を行うものとする。これによって、第１の露光条件で撮像されたデフォーカス画像Ａの画像データと、第２の露光条件で撮像されたフォーカス画像Ｂの画像データとの像倍率を揃えることができる。

また、輝度色差信号の画像データ内にある顔を検出する顔検出処理や、輝度色差信号の画像データの圧縮及び圧縮された画像データの記録もそれぞれ処理されることになる。つまり、バッファメモリ（メモリ１１２）に記憶されている輝度色差信号の画像データの顔検出部１１７による顔検出処理が行われる。また、バッファメモリ（メモリ１１２）に記憶されている輝度色差信号の画像データが圧縮伸張部１１５で圧縮される。圧縮された画像データのバッファメモリ（メモリ１１２）への記憶に係る一連の動作、バッファメモリ（メモリ１１２）に記憶されている圧縮された画像データのフラッシュメモリ１１６への記録の一連の動作は、４フレーム期間未満で行われることになる。

また、図２においては、撮像されたフレーム画像データが何回目に撮像された画像データであるかを示すため、回数をフレーム画像データに付して示している。この回数は０からカウントする。例えば、デフォーカス画像Ａ０は、０回目に撮像されたフレーム画像であり、且つ、第１の露光条件で撮像されたフレーム画像であることを示している。また、例えばフォーカス画像Ｂ１は、１回目に撮像されたフレーム画像であり、且つ、第２の露光条件で撮像されたフレーム画像であることを示している。

また、図２に示した例では、第１の露光条件での撮像を最初に行い、その後、交互に露光条件を切り替えるように、撮像を行う順序を制御して撮像していく。したがって、第１の露光条件で撮像されたフレーム画像（デフォーカス画像）は画像Ａ（２ｎ）で表され、第２の露光条件で撮像されたフレーム画像（フォーカス画像）は画像Ｂ（２ｎ＋１）で表される。但し、ｎ＝０，１，２，３，・・・とする。また、図２に示すように、第１の露光条件で撮像されるデフォーカス画像Ａは、ＤＦＤ検出に用いられ、第２の露光条件で撮像されるフォーカス画像Ｂは、ＤＦＤ検出、表示、及び記録に用いられる。

図３は、撮像されるフレーム画像の様子の一例を示す図である。図３から、第１の露光条件で撮像されたデフォーカス画像Ａと第２の露光条件で撮像されたフォーカス画像Ｂとが交互に撮像されているのがわかる。また、各フレーム画像に付されて表示されている番号（数字）は、そのフレーム画像が何回目で撮像されたかを表している。

なお、第１の露光条件での撮像と第２の露光条件での撮像を交互に行い、且つ、第１の露光条件の露光時間は１フレーム期間未満であり、第２の露光条件の露光時間は２．４フレーム期間分である。これから、第１の露光条件で撮像されるフレーム画像の撮像周期、及び第２の露光条件で撮像されるフレーム画像の撮像周期は、ともに４フレーム期間である１／６０ｓとなる。

また、図２に示すように、撮像されたフレーム画像のリアルタイム表示は、フォーカス画像Ｂのみが順々に表示される。つまり、第２の露光条件で撮像されるフォーカス画像Ｂが動画像データとして取得され表示される。また、ＡＦ処理（ＤＦＤ検出）は、第１の露光条件で撮像されるデフォーカス画像Ａと第２の露光条件で撮像されるフォーカス画像Ｂとを組にして行われる。つまり、ＡＦ処理は、１／６０ｓの間に撮像されたフレーム画像ＡとＢのＡＦ評価値に基づいて行われる。図２に示す例では、０回目に撮像されたデフォーカス画像Ａ０と１回目に撮像されたフォーカス画像Ｂ１とを組にしてＡＦ処理が行われる。また、２回目に撮像されたデフォーカス画像Ａ２と３回目に撮像されたフォーカス画像Ｂ３とを組にしてＡＦ処理が行われる。

以下、本実施形態におけるデジタルカメラ１０１の動画撮像時の動作を図４に示すフローチャートに従って説明する。図４は、本実施形態におけるデジタルカメラ１０１の動画撮像時の動作例を示すフローチャートである。まず、動画撮像モードとなり動画像の撮像を開始するとき、ステップＳ４０１にて、ＣＰＵ１０９は、設定されたモードに基づいて、オートフォーカス制御に係る処理を優先するＡＦ優先モードであるか否かの判定を行う。

ＡＦ優先モードであるとＣＰＵ１０９が判定した場合（ＹＥＳ）、ステップＳ４０２にて、ＣＰＵ１０９は、露光条件を第１の露光条件に設定し、露光条件値として“０”をバッファメモリの露光条件記憶領域に記憶させる。一方、ＡＦ優先モードではないとＣＰＵ１０９が判定した場合（ＮＯ）、ステップＳ４０３にて、ＣＰＵ１０９は、露光条件を第２の露光条件に設定し、露光条件値として“１”をバッファメモリの露光条件記憶領域に記憶させる。

次に、ステップＳ４０４にて、ＣＰＵ１０９は、現在設定されている露光条件が第１の露光条件であるか否かを判定する。この判定は、露光条件記憶領域に記憶されている情報に基づいて行う。すなわち、ＣＰＵ１０９は、露光条件記憶領域に記憶されている露光条件値が“０”であるか否かを判定する。

判定の結果、第１の露光条件である（露光条件値＝０）とＣＰＵ１０９が判定した場合（ＹＥＳ）、ステップＳ４０５に進む。ステップＳ４０５にて、ＣＰＵ１０９は、露光時間を１／３００ｓに設定し、ゲイン値を通常のゲイン値の３倍に設定して、ステップＳ４０７に進む。なお、通常のゲイン値とは、第２の露光条件で撮像するときのゲイン値である。ここで、第１の露光条件の露光時間は１／３００ｓであり、第２の露光条件の露光時間は１／１００ｓであるので、第１の露光条件の露光時間は第２の露光条件の露光時間の１／３となる。したがって、ゲイン値を３倍にすることにより、第１の露光条件で撮像された画像データＡと第２の露光条件で撮像された画像データＢとの輝度レベルを揃えることができる。

一方、第１の露光条件ではない（露光条件値≠０）、すなわち第２の露光条件である（露光条件値＝１）とＣＰＵ１０９が判定した場合、ステップＳ４０６に進む。ステップＳ４０６にて、ＣＰＵ１０９は、露光時間を１／１００ｓに設定し、ゲイン値を通常のゲイン値の１倍に設定して、ステップＳ４０７に進む。

次に、ステップＳ４０７にて、ＣＰＵ１０９は、設定された露光時間及びゲイン値での撮像を実行する。つまり、ＣＰＵ１０９による制御に従って、設定された露光時間だけ露光して撮像素子１０５に蓄積された撮像信号（画像データ）が読み出され、ユニット回路１０８が読み出された画像データを設定されたゲイン値に従ってゲイン補正し自動利得調整する。その後、自動利得調整された画像データから画像生成部１１３によって輝度色差信号の画像データが生成され、バッファメモリ（メモリ１１２）に記憶される。

次に、ステップＳ４０８にて、ＣＰＵ１０９は、現在設定されている露光条件が第２の露光条件（露光条件値＝１）であるか否かを判定する。現在設定されている露光条件が第２の露光条件ではない（露光条件値≠１）、すなわち第１の露光条件である（露光条件値＝０）とＣＰＵ１０９が判定した場合、ステップＳ４０９に進む。ステップＳ４０９にて、ＣＰＵ１０９は、第１の露光条件で撮像された画像に対する像倍率補正処理の実行を指示する。これにより、画像生成部１１３が、第１の露光条件で撮像された画像データに対して像倍率補正を施す。ここでは、画像生成部１１３は、第２の露光条件で撮像される画像の像倍率に合わせるよう、第１の露光条件で撮像された画像の像倍率を補正する（像倍率に応じて拡大処理や縮小処理を行う）。

また、ステップＳ４０８において、現在設定されている露光条件が第２の露光条件である（露光条件値＝１）とＣＰＵ１０９が判定した場合、ステップＳ４１０に進む。ステップＳ４１０にて、ＣＰＵ１０９は、ＡＦ制御処理の実行を指示する。これにより、ＡＦ制御部１１８が、ピント位置の異なる、第１の露光条件で撮影された画像と第２の露光条件で撮影された画像を用いてＤＦＤ検出処理を行う。次に、ステップＳ４１１にて、ＡＦ制御部１１８は、ステップＳ４１０でのＤＦＤ検出処理により算出した評価値に基づいて、次に取得するフレーム画像のフォーカス位置を決定し、レンズ駆動部１０３を介してフォーカスレンズを移動させフォーカス移動を行う。

ステップＳ４１２にて、ＣＰＵ１０９は、次に表示させる画像データとして、記憶した直近に撮像されたフレーム画像データを特定する情報（そのフレーム画像データのアドレス情報等）を、バッファメモリの表示記憶領域に記憶させ、ステップＳ４１３に進む。つまり、表示記憶領域の記憶を更新させる。これにより、第２の露光条件で撮像されたフレーム画像Ｂのみが次に表示されるフレーム画像として特定され、フレーム画像Ｂのみが順々に表示されることになる。このとき、ＣＰＵ１０９は、特定したフレーム画像を表示させるまでは、そのフレーム画像をバッファメモリ上に保持させておく。

ステップ４１３にて、ＣＰＵ１０９は、動画像の撮像処理を終了するか否かを判断する。この判断は、例えばシャッターボタンの押下に対応する操作信号が操作部１１０から送られてきたか否かにより判断する。動画像の撮像処理を終了するとＣＰＵ１０９が判断した場合（ＹＥＳ）、ＣＰＵ１０９は、動画像の撮像処理を終了する。

一方、動画像の撮像処理を終了しないとＣＰＵ１０９が判断すると、ステップＳ４１４にて、ＣＰＵ１０９は、現在設定されている露光条件が第１の露光条件（露光条件値＝０）であるか否かを判定する。現在設定されている露光条件が第１の露光条件であるとＣＰＵ１０９が判定した場合、ステップＳ４１５にて、ＣＰＵ１０９は、露光条件を第２の露光条件（露光条件値＝１）に設定して、ステップＳ４０４に戻る。一方、現在設定されている露光条件が第１の露光条件ではないとＣＰＵ１０９が判定した場合、ステップＳ４１６にて、ＣＰＵ１０９は、露光条件を第１の露光条件（露光条件値＝０）に設定して、ステップＳ４０４に戻る。

このような動作を行うことにより、図３に示したように、露光時間１／３００ｓで撮像されたフレーム画像データＡと、露光時間１／１００ｓで撮像されたフレーム画像データＢとが交互に撮像されていく。また、露光時間１／１００ｓで撮像されたフレーム画像データＢに係る画像のみが順々に表示されていく。これにより、被写体の動きが滑らかな動画像データを記録することができる。また、露光時間の短いフレーム画像Ａをデフォーカス画像Ａとして像倍率補正及びゲイン補正を行うので、露光時間の長いフレーム画像Ｂを表示画像として使用することができる。

以上のように、本実施形態では、短い露光時間での撮像と長い露光時間での撮像とを交互に繰り返し行い、長い露光時間で撮像されたフレーム画像データを動画像データとして記録、表示し、短い露光時間で撮像されたフレーム画像データをＡＦ処理に用いる。したがって、長い露光時間で撮像されたフレーム画像データを用いて動きの滑らかな動画像データを記録したり、表示したりすることができる。また、オートフォーカス制御に係る処理を優先するＡＦ優先モードでは、デフォーカス画像とフォーカス画像を用いて、次のデフォーカス画像の露光期間中にＤＦＤ検出処理を行うことで、ＡＦ評価値を得るまでの処理時間を短縮することができる。また、次のフォーカス画像の露光を開始するまでに適切な位置へのフォーカスレンズの移動をするため、フレーム毎のＡＦ制御が可能になり、ＡＦ評価値の算出の精度（画像評価の精度）を向上させることができる。

なお、ステップＳ４０１において、オートフォーカス制御に係る処理を優先するＡＦ優先モードではないとＣＰＵ１０９が判断した場合、デジタルカメラ１０１の動画撮像時の動作は、図５に示すようになる。図５は、本実施形態におけるデジタルカメラ１０１の動画撮像時の他の動作例を示すタイムチャートである。

図５に示すように、デジタルカメラ１０１は、第２の露光条件（露光時間１／１００ｓ）での撮像と第１の露光条件（露光時間１／３００ｓ）での撮像とを交互に繰り返し行う。また、撮像素子１０５からの画像データの読み出し開始から画像生成部１１３による像倍率補正処理、又はＤＦＤ検出処理の完了までは、２．４フレーム期間未満（１／１０ｓ未満）で行われる。

このとき、図２に示した例と同様に、第２の露光条件で撮像するときのゲイン値を１倍とし、第１の露光条件で撮像するときのゲイン値を３倍とする。これにより、第１の露光条件で撮像された画像データと第２の露光条件で撮像された画像データとの輝度レベルを揃えることができる。また、第１の露光条件で撮像されたデフォーカス画像Ａと、第２の露光条件で撮像されたフォーカス画像Ｂとの像倍率が同じになるように、例えばフォーカス画像Ｂを撮像するときの像倍率を基準としてデフォーカス画像Ａの像倍率を調整する。

図５において、例えば、フォーカス画像Ｂ０は、０回目に撮像されたフレーム画像であり、且つ、第２の露光条件で撮像されたフレーム画像であることを示している。また、例えばデフォーカス画像Ａ１は、１回目に撮像されたフレーム画像であり、且つ、第１の露光条件で撮像されたフレーム画像であることを示している。

また、ＡＦ優先モードではない場合、図５に示すように、第２の露光条件での撮像を最初に行い、その後、交互に露光条件を切り替えるように、撮像を行う順序を制御し撮像していく。したがって、第２の露光条件で撮像されたフレーム画像（フォーカス画像）は画像Ｂ（２ｎ）で表され、第１の露光条件で撮像されたフレーム画像（デフォーカス画像）は画像Ａ（２ｎ＋１）で表される。但し、ｎ＝０，１，２，３，・・・とする。また、図５に示すように、第１の露光条件で撮像されたデフォーカス画像Ａは、ＤＦＤ検出に用いられ、第２の露光条件で撮像されたフォーカス画像Ｂは、ＤＦＤ検出、表示、記録に用いられる。

このようにＡＦ優先モードではない場合には、長い露光時間と短い露光時間で撮像されたフレーム画像データを組にするとき最初に長い露光時間で撮像したフレーム画像を表示する。これにより、撮像された動画像を表示する際の表示遅延を軽減しつつ、被写体の動きの滑らかな動画データを記録したり表示したりすることができる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：デジタルカメラ（撮像装置） １０２：撮像レンズ １０３：レンズ駆動部 １０５：撮像素子 １０６：撮像素子駆動部 １０７：タイミングジェネレータ １０８：ユニット回路（ＣＤＳ／ＡＤ） １０９：ＣＰＵ １１１、１１２：メモリ １１３：画像生成部 １１４：表示部 １１８：オートフォーカス制御部

Claims (10)

1. 被写体像を撮像する撮像手段と、
   前記撮像手段に第１の露光時間および第１のピント位置での撮像と、前記第１の露光時間よりも長い第２の露光時間および前記第１のピント位置とは異なる第２のピント位置での撮像とを行わせる制御手段と、
   前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正手段と、
   前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価手段と、
   複数の前記第２の画像データを動画像データとして取得する取得手段と、
   を有することを特徴とする撮像装置。
2. 前記評価手段は、ＤＦＤ方式でオートフォーカス制御を行うための前記画像評価を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記画像評価の結果に基づいて前記第１のピント位置および前記第２のピント位置を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記動画像データを表示部に表示する表示制御手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１の画像データ、前記第２の画像データがこの順で撮像され、該２つの画像データの組を用いて画像評価を行う第１のモードを有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記第２の画像データ、前記第１の画像データがこの順で撮像され、該２つの画像データの組を用いて画像評価を行う第２のモードを有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１のモードとは、前記オートフォーカス制御に係る処理を前記第１のモードが設定されていない場合に比べて優先するモードであることを特徴とする請求項５または６に記載の撮像装置。
8. 前記評価手段は、前記第１のモードにおいて、前記２つの画像データの組を用いた画像評価の演算を、次の前記第１の画像データの撮像時の露光期間中に行うことを特徴とする請求項５または７に記載の撮像装置。
9. 被写体像を撮像する撮像手段に第１の露光時間および第１のピント位置での撮像と、前記第１の露光時間よりも長い第２の露光時間および前記第１のピント位置とは異なる第２のピント位置での撮像とを行わせる制御工程と、
   前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正工程と、
   前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価工程と、
   複数の前記第２の画像データを動画像データとして取得する取得工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 撮像装置が有するコンピュータに、
    被写体像を撮像する撮像手段に第１の露光時間および第１のピント位置での撮像と、前記第１の露光時間よりも長い第２の露光時間および前記第１のピント位置とは異なる第２のピント位置での撮像とを行わせる制御ステップと、
    前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正ステップと、
    前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価ステップと、
    複数の前記第２の画像データを動画像データとして取得する取得ステップと、
    を実行させるためのプログラム。

Images