JP6124538B2 - 撮像装置、撮像装置の制御方法、およびプログラム - Google Patents

Description

本発明は、コントラスト検出方式のフォーカス制御を行うデジタルカメラ等の撮像装置、撮像装置の制御方法、およびプログラムに関する。

屋外などでデジタルカメラを用いてあるシーンを撮影するとき、撮影可能な輝度レンジよりも撮影シーンの輝度レンジが広い場合がある。この場合、撮影可能な輝度レンジ外の被写体については、その階調情報を記録することができないため、白飛び・黒潰れが発生する。例えば、晴天時に屋外で人物を撮影する場合、人物に露出を合わせると背景の空や雲が白飛びしたり、木陰が黒潰れしたりするケースがある。このため、シーンを見た際の印象と撮影画像を見た際の印象とが異なっている場合がある。

このような問題を解決する技術の１つとして、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ）処理が知られている。ＨＤＲ処理は、大きく分けて、ダイナミックレンジ拡大処理と階調圧縮処理とから構成されている。

ダイナミックレンジ拡大処理は、撮影可能なダイナミックレンジを拡大し、白飛び・黒潰れ等が発生していた輝度レンジの階調情報を記録する処理である。一般的な方法としては、同じコンテンツに対し露出を変えて撮影した画像群（多段露出画像群）を合成する（以下、このダイナミックレンジ拡大処理により生成される画像をＨＤＲ画像と呼ぶ）。

これに対して階調圧縮処理は、ダイナミックレンジの広いＨＤＲ画像をダイナミックレンジの狭い表示／出力機器で好ましく再現するための画像処理であり、ＨＤＲ画像の輝度の低周波成分について、その振幅を圧縮するなどの方法が用いられている。このようにＨＤＲ処理を行うと、白飛び・黒潰れを軽減した好ましい画像を表示または出力することができる（特許文献１）。

一方、デジタルカメラの多くは動画撮影時に、撮影画像のコントラストを評価してＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）制御を行なう。しかし、露光時間を長くとって撮像されたフレーム画像では、手ぶれなどにより画像がボケてしまい、高周波成分が失われてしまうため、精度良くコントラストを評価することができない。

そこで、短い露光時間での撮像と、長い露光時間での撮像とを交互に連続して行い、長い露光時間で撮像されたフレームを表示と記録に用いて、短い露光時間で撮像されたフレームをＡＦなどの画像評価に用いる技術がある（特許文献２）。

特開２００７−２１５０７３号公報 特開２００９−１４１５３８号公報

しかしながら、上述した特許文献１、２では、露出条件を周期的に変化させて撮像される画像を合成し、ダイナミックレンジの広いＨＤＲ画像の動画を生成する目的で行われる動画撮影において、合成に用いられる各露出条件の画像を用いた画像評価について記載されているものがなかった。

本発明はこのような技術的背景に鑑みてなされたものであり、露出条件を周期的に変化させて動画を撮影する際に、適切な画像評価を行うことができる撮像装置及び撮像装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体を撮像する撮像手段と、フォーカスレンズを光軸方向に駆動する駆動手段と、前記駆動手段によりフォーカスレンズを光軸方向に移動させることにより、前記撮像する被写体に対するフォーカス状態を制御する制御手段と、前記撮像手段より出力される画像からフォーカス評価値を取得する評価値取得手段と、を備え、前記制御手段は、前記撮像手段により露光時間を変化させた多段露出画像群を連続的に撮像し、前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記フォーカス評価値を用いて前記フォーカスレンズの駆動方向を更新し、前記更新した駆動方向に前記フォーカスレンズが移動するように前記駆動手段を制御することを特徴とする。

本発明の撮像装置は、露光時間を周期的に変化させた多段露出画像群を連続的に撮像する撮像装置であって、被写体を撮像する撮像手段と、前記撮像手段より出力される画像から評価値を取得する評価値取得手段と、前記撮像手段により得られる前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記評価値を用いて前記被写体の評価を行う評価手段と、を備えることを特徴とする。

本発明によれば、露出条件を周期的に変化させて動画を撮影する際に、適切な画像評価を行うことができる。

本発明の撮像装置の第１の実施形態であるデジタルカメラの処理ブロック図である。 デジタルカメラにおけるＨＤＲ処理例と、露出制御例について説明するための説明図である。 多段露出画像群の撮像と、それらに対する露光中の動き量検出例について説明するためのタイミングチャート図である。 図３で示した第１〜第６フレームの撮影画像について、露光時間に対する露光中のブレ量を示すグラフ図である。 制御回路が１フレームの撮影毎に行う処理について説明するためのフローチャート図である。 本発明の撮像装置の第２の実施形態であるデジタルカメラにおいて、撮像素子での撮影画像の露光と、撮像素子からの撮影画像の取り込みの処理タイミングを示すタイミングチャート図である。 本発明の撮像装置の第３の実施形態であるデジタルカメラにおいて、前提となるコントラスト取得方式のフォーカス制御における山登りフォーカス制御について説明するためのグラフ図である。 フレームを処理する直前のフォーカス評価値に対する露光中のブレ量を示すグラフ図である。

以下、本発明の実施形態を図面を参照して説明する。まず、露出条件を周期的に変化させて複数の画像を撮像し、得られる画像からＨＤＲ画像の動画像を生成する場合において、画像評価値を取得するための実施形態を考える。

露出の異なる画像群を撮影するには、露光時間または絞り、ＮＤ（Ｎｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタ、画像信号に対するゲインの何れかを変化させる必要がある。しかし、絞りとＮＤフィルタは動画のフレームレート（例えば３０ｆｐｓ、６０ｆｐｓ）に見合うほど高速に精度良く制御することは困難である。

また、画像信号に対するゲインは、上げるに従って画像信号のＳ／Ｎが悪化して画像にノイズが重畳されてしまう。そこで、動画のＨＤＲ処理では、露光時間を変えることで、露出の異なる画像群を撮影することが有力な選択肢になる。ただし、上述した画質の低下等を許容するのであれば、露光時間（電荷蓄積時間）、Ｆ値（絞り、ＮＤフィルタ）、画像信号に対するゲイン（ＩＳＯ感度）のいずれかを変化させて露出条件を周期的に変化させた撮像を行ってもよい。

露光時間が長いフレームに対しては、手ぶれや被写体ぶれなどの影響が大きくなり、精度良く画像評価を行うことができない場合がある。上述した特許文献２のように、露光時間の短いフレームのみを用いて画像評価を行うことも考えられるが、その場合には露光時間の長いフレームを画像評価に用いないため、画像評価のサンプリングレートが下がり、例えばフォーカシングの評価値を取る場合、フォーカシング動作が遅くなってしまう問題がある。

露光時間の短いフレームが画像評価のみに用いられる場合には、センサの駆動方式を画素加算や間引きに切り替えることで、画質が落ちてしまう代わりに画像信号を短い時間で読み出すことで、サンプリングレートの低下を抑えることも考えられる。しかし、ＨＤＲ処理には露光時間の短いフレームも用いられるため、画素加算や間引きによる画質の低下が、表示と記録の画質に悪影響を及ぼしてしまう。このため、センサ駆動方式の変更は避けることが望ましい。

そこで、本実施形態では、撮影条件に応じて画像評価を行う画像を選択する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラの処理ブロック図である。

図１に示すように、本実施形態のデジタルカメラは、カメラ本体１００の正面側にレンズ鏡筒１０１が設けられる。レンズ鏡筒１０１は、ズームレンズ群、ズーム機構、絞り、ＮＤフィルタ、フォーカスレンズ１０２、及びフォーカスレンズ１０２を光軸方向に移動させるレンズ駆動部等を有する。レンズ駆動部によりフォーカスレンズ１０２を光軸方向に移動させることで、撮像する被写体に対するフォーカス状態が調整される。

カメラ本体１００は、撮像部１０３、信号処理部１０４、表示・記録部１０８、表示部１１３、操作部１１２、記録メディア１０９、動き検出部１１０、及び制御回路１１１等を有する。また、信号処理部１０４は、輝度取得部１０５、フォーカス評価値取得部１０６、及び画像合成部１０７を有する。

撮像部１０３は、撮像素子、サンプル／ホールド回路（Ｓ／Ｈ回路）、プリプロセス回路等により構成され、指定された露光時間で被写体を撮像する。記録メディア１０９は、フラッシュメモリ等で構成され、動き検出部１１０は、ジャイロセンサ等で構成され、操作部１１２は、タッチパネル等で構成され、表示部１１３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成される。制御回路１１１は、デジタルカメラ全体の制御を司る。

レンズ鏡筒１０１の光学系を介して受光した被写体光は、絞りおよびＮＤフィルタにより光量を調節される。撮像部１０３では、被写体光が撮像素子の受光面上に結像され、光電変換により映像信号電荷として指定された露光時間に応じて蓄積される。

撮像素子から出力された映像信号は、サンプルホールド回路でサンプルホールド処理された後、プリプロセス回路に供給されて、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）処理でゲインが掛けられた後にＡ／Ｄ変換され、信号処理部１０４に供給される。信号処理部１０４では、制御回路１１１からの指示に基づいて映像信号に対する評価と補正・加工等を実施し、補正・加工後の映像信号を表示・記録部１０８に出力する。

表示・記録部１０８では、制御回路１１１からの指示に基づいて、入力された映像信号を表示部１１３に表示し、映像信号をフレーム内符号化またはフレーム間符号化してから、記録メディア１０９に記録する。また、表示・記録部１０８は、所定の信号形式に変換するなどしてから、得られた映像信号を外部に出力してもよい。

動き検出部１１０は、カメラ本体１００の動き量を検出して、検出した動き量を制御回路１１１に伝達する。

操作部１１２は、使用者の指示内容を制御回路１１１に伝達する。制御回路１１１は、操作部１１２から伝達された使用者の指示内容に応じてデジタルカメラ全体の制御を行う。なお、本実施形態では操作部１１２によって通常の動画を撮影・記録する通常動画撮影モードと、ＨＤＲ画像の動画像を生成するために周期的に露出を異ならせるＨＤＲ動画撮影モードの少なくとも２つの撮影モードの選択が可能である。

輝度取得部１０５は、映像信号の輝度評価値を取得する。本実施形態では、輝度評価値として輝度分布を取得し、これは映像信号の全画素を輝度毎にカウントしたヒストグラムであって、制御回路１１１は、この輝度分布を基に現在の露出が適正かを評価する。

また、制御回路１１１は、評価の結果に基づき、撮像部１０３の露光時間と絞り、ゲイン、ＮＤフィルタといった露出パラメータ（露出条件）を算出し、それらの設定を撮像部１０３とレンズ鏡筒１０１へ指示することで、撮像される被写体に対して適正な露出を得る。

フォーカス評価値取得部１０６は、映像信号のコントラストを評価する評価値を取得する。コントラスト取得方式の焦点調節は、レンズ鏡筒１０１によって形成された被写体像の先鋭度を、所定の関数による映像信号の評価によって求め、鮮鋭度が極値をとるようにフォーカスレンズ１０２の光軸上の位置を調節する。評価関数としては、隣接する画素間の輝度信号の差の絶対値を焦点検出領域内で加算するものや、隣接する画素間の輝度信号の差の２乗を焦点検出領域内で加算するものがある。

フォーカス評価値取得部１０６は、こうした検出手法を用いて、フォーカス状態（合焦状態）を評価した結果をフォーカス評価値として制御回路１１１に伝達する。制御回路１１１は、フォーカス評価値取得部１０６から伝達されたフォーカス評価値を基にフォーカスレンズ１０２の駆動量を算出し、算出駆動量でフォーカスレンズ１０２を駆動するようにレンズ鏡筒１０１のレンズ駆動部に指示する。

画像合成部１０７は、Ｎ段階に露出を変えて連続撮影されたＮ段露出画像群に対して、画像群に含まれる１フレームを基準として、他のフレームに対して手ぶれや被写体の動きに伴うフレーム間のズレを補正する位置合わせを行う。

また、画像合成部１０７は、それらのＮフレームの画像群を合成することにより、ダイナミックレンジが拡大されたハイダイナミックレンジの１フレームのＨＤＲ画像を得る。さらに、画像合成部１０７は、表示と記録を行う表示・記録部１０８が出力することのできる狭いダイナミックレンジへの階調圧縮処理を行い、得られた画像を表示・記録部１０８へ出力する。

ここで、本実施形態では、Ｎフレームの画像群を加重加算することでＨＤＲ画像を生成している。しかし、ＨＤＲ画像を生成するための合成処理はこれに限らない。もちろん、単純に１画像の領域毎の信号に基づいて、選択的に使用する画像を出力してＨＤＲ画像を生成するような合成処理も含まれる。

また、撮像と出力（表示、記録）のフレームレートはＮ対１でも良いが、本実施形態では、撮影された画像を１フレームずつずらしてＮ段露出画像群を合成することで、１対１としているものとする。

次に、図２を参照して、ＨＤＲ動画撮影モードにおける露出制御例について説明する。

ここでは、基準となる露出に対して、露出を２段階に変化させて撮影した図２（ａ）に示す明画像２０１と図２（ｂ）に示す暗画像２０２の２フレームから図２（ｃ）に示す１フレームの合成画像２０３を得るものとする。

図２（ｄ）は明画像２０１に対して輝度取得部１０５で評価したヒストグラム、図２（ｅ）は暗画像２０２に対して輝度取得部１０５で評価したヒストグラム、図２（ｆ）は合成画像２０３のヒストグラムである。図２（ｇ）は、撮影した２フレームの露光時間を示すグラフ図であり、基準となる露光時間Ｔｍｉｄに対して、明画像２０１の露光時間はＴｈｉｇｈ、暗画像２０２の露光時間はＴｌｏｗである。

制御回路１１１は、図２（ｄ）に示す明画像２０１のヒストグラムにおいて、所定の輝度値Ｌｌｏｗ以下の領域２０７の積分値が所定量以上であった場合には、この画像でＨＤＲ処理を行っても黒つぶれが発生すると判断する。その場合には、制御回路１１１は、次に撮影する明画像の露光時間を１段階長く設定する。

ここで、１段階とは、図２（ｇ）において、一目盛に相当する１Ｔｖ（Ｔｉｍｅ Ｖａｌｕｅ）よりも小さく、予め設定された露光時間の刻み幅であるものとする。

一方、制御回路１１１は、黒つぶれが発生しないと判断した場合、所定の輝度値Ｌｈｉｇｈ以上の領域２０８の積分値が所定量以上であれば、必要以上に露出を長くしていると判断し、次に撮影する明画像の露光時間を基準となる露光時間に１段階近づけ設定する。なお、制御回路１１１は、基準となる露出の露光時間と差がない場合には、その露光時間を維持する。

同様に、制御回路１１１は、図２（ｅ）に示す暗画像２０２のヒストグラムにおいて、所定の輝度値Ｌｈｉｇｈ以上の領域２１０の積分値が所定量以上であった場合には、この画像でＨＤＲ処理を行っても白飛びが発生すると判断する。その場合には、制御回路１１１は、次に撮影する暗画像の露光時間を１段階短く設定する。

一方、制御回路１１１は、白飛びが発生しないと判断した場合、所定の輝度値Ｌｌｏｗ以下の領域２０９の積分値が所定量以上であれば、必要以上に露出を短くしていると判断し、次に撮影する暗画像の露光時間を基準となる露光時間に１段階近づけ設定する。なお、制御回路１１１は、基準となる露出の露光時間と差がない場合には、その露光時間を維持する。

次に、図３に示すタイミングチャートを参照して、多段露出画像群の撮像と、それらに対する露光中の動き量検出例について説明する。

図３において、キャプチャパルス信号３０１は、撮像部１０３が撮像素子からの画像取り込みを開始するトリガとなる信号である。また、シャッターパルス信号３０２は、撮像素子の露光時間を決める信号である。

例えば、第１フレームはシャッターパルスＳ１からキャプチャパルスＣ１までの時間Ｔｌｏｗで露光が行われ、暗画像が取り込まれる。第２フレームはシャッターパルスＳ２からキャプチャパルスＣ２までの時間Ｔｈｉｇｈで露光が行われ、明画像が取り込まれる。以下、同様に第３フレームに暗画像、第４フレームに明画像、第５フレームに暗画像、第６フレームに明画像が連続して取り込まれる。

図３において、ブレ量３０３は、上述の撮影と並行して、動き検出部１１０で連続的に検出された、カメラ本体１００の動き量である。

撮影のフレームレートに対して、カメラ本体１００の動き量の検出は、例えば６０Ｈｚに対して１．２ｋＨｚといったサンプリングレートで行われ、制御回路１１１は、それらを補間して連続的な動き量の変化として用いる。図示するように、第１フレームの暗画像の露光中は、ブレ量Ｍ１が検出され、第２フレームの明画像の露光中は、ブレ量Ｍ２が検出される。以下同様にして、第３〜第６フレームの露光中に、ブレ量Ｍ３〜ブレ量Ｍ６が検出される。

図３において、露光中のブレ量における符号３０４は、暗画像のブレ量の変化を示し、符号３０５は、明画像のブレ量の変化を示す。明画像のほうが暗画像より露光時間が長いため、露光中のブレ量が大きくなる傾向がある。

次に、図４を参照して、撮影されたフレームのフォーカス評価値をフォーカス制御に用いるか否かの判定基準について説明する。

図４は、図３で示した第１〜第６フレームの撮影画像について、露光時間に対する露光中のブレ量を示すグラフ図である。図４に示すように、第１、第３、第５フレームの暗画像については、露光時間Ｔｌｏｗに対する露光中のブレ量Ｍ１、Ｍ３、Ｍ５がプロットされている。また、第２、第４、第６フレームの明画像については、露光時間Ｔｈｉｇｈに対する露光中のブレ量Ｍ２、Ｍ４、Ｍ６がプロットされている。

ここで、曲線４００は、撮影されたフレームに対してフォーカス評価値取得部１０６が得たフォーカス評価値を、制御回路１１１がフォーカス制御に用いるか否かを判定する基準値を示している。

基準値は、露光時間Ｔに対する関数Ｍｌｉｍｉｔ（Ｔ）であって、制御回路１１１は、基準値より下にプロットされているフレームから得られたフォーカス評価値のみをフォーカス制御に用いる。ただし、合成に用いる多段露出画像群のなかで、最も露光時間の短いフレームのフォーカス評価値は、必ずフォーカス制御に用いるものとする（図の例では、第１、第３、第５フレームともに基準値を下回っている。）。

基準値関数Ｍｌｉｍｉｔ（Ｔ）は、露光時間Ｔが十分短い場合には、露光中のブレ量に関わらずフォーカス評価値を用い、露光時間Ｔが長い場合には、露光中のブレ量が小さくないとフォーカス評価には用いないよう設定している。これは、露光時間が長い場合には、手ぶれの影響により、撮影された被写体像の先鋭度が落ちるため、フォーカス制御を精度よく行えないためである。基準値関数は、例えば、露光時間Ｔを３か所程度の領域に分けて、それぞれの領域に対する露光時間Ｔの２次関数として設定することができる。

こうした判定基準により、ある程度フォーカス評価値の精度が期待できる範囲で、多くのフレームをフォーカス評価に利用し、サンプリングレートを上げることで被写体に対するフォーカス動作の速度を上げることができる。また、カメラ本体１００が動いている場合には、フォーカス評価に利用するフレームが減るためにフォーカス動作の速度が下がるが、カメラ本体１００が停止すれば素早く合焦させることができる。

次に、図５を参照して、制御回路１１１が１フレームの撮影毎に行う処理について説明する。図５での各処理は、ＲＯＭ等に記憶されたプログラムがＲＡＭにロードされて、制御回路１１１のＣＰＵ等により実行される。

ステップＳ５０１では、制御回路１１１は、撮影されたフレームの輝度のヒストグラムを輝度取得部１０５から取得して、露出評価を行い、ステップＳ５０２に進む。

ステップＳ５０２では、制御回路１１１は、適正露出に近づけるための露光時間、絞り、ゲイン、ＮＤフィルタといった露出パラメータを演算する。また、制御回路１１１は、図２で説明したように、ＨＤＲ処理を行った後で黒つぶれや白飛びが発生しないよう、多段露出の露光時間を調整して、次に露光するフレームのシャッターパルスの発生タイミングを撮像部１０３に指示する。更に、制御回路１１１は、絞り、ゲイン、ＮＤフィルタといったその他の露出パラメータをレンズ鏡筒１０１と、撮像部１０３にそれぞれ指示し、ステップＳ５０３に進む。

ステップＳ５０３では、制御回路１１１は、動き検出部１１０から１フレーム分のカメラ本体１００の動き検出量を取得して、図３で説明したように、撮影されたフレームの露光時間Ｔ中の動き量Ｍを演算し、ステップＳ５０４に進む。

ステップＳ５０４では、制御回路１１１は、撮影されたフレームにおけるフォーカス評価値Ｆをフォーカス評価値取得部１０６から取得し、ステップＳ５０５に進む。

ステップＳ５０５では、制御回路１１１は、露光時間Ｔと動き量Ｍから、図４で説明したように、フォーカス評価値をフォーカス制御に利用するか否かを判定し、利用する場合は、ステップＳ５０６に進み、利用しない場合は、ステップＳ５０７に進む。

ステップＳ５０６では、制御回路１１１は、前回利用すると判定されたフォーカス評価値と今回利用すると判定されたフォーカス評価値の比較に基づいて、フォーカスレンズ１０２の駆動方向を更新して、ステップＳ５０７に進む。

ここで、ＨＤＲ動画モードでは、露光時間の異なる画像についてのフォーカス評価値を比較することも考えられるため、各フォーカス評価値を明るさで正規化して比較を行う。正規化の際に考慮する明るさは露光時間であってもよいし、実際に得られる画像の輝度であってもよい。これに対して、通常動画撮影モードでは、順次撮像され得られる画像の明るさはほとんどの場合滑らかに変化するので正規化を基本的には行わずとも比較が出来るようになっている。

ステップＳ５０７では、制御回路１１１は、レンズ鏡筒１０１に対してフォーカスレンズ１０２の駆動をレンズ鏡筒１０１のレンズ駆動部に指示して処理を終了する。

以上説明したように、本実施形態では、露光時間を周期的に変化させて動画を撮影する際に、被写体の状態に応じて適切なＡＦ制御を行うことができる。

なお、本実施形態では、露光時間を２段階で変化させて撮影する場合を例示したが、３段階以上に変化させて撮影する場合であってもよい。また、本実施形態では、露光時間及びカメラ本体１００の動き量から、フォーカス評価値を利用するか否かを判定しているが、露光時間またはカメラ本体１００の動き量から、フォーカス評価値を利用するか否かを判定しても、同様の効果を得ることができる。

また、本実施形態では、画像の評価値としてフォーカス評価値を上げたがこれに限らず、ＡＥ制御のための画像の輝度評価値、被写体追尾のための評価値等でもよい。

（第２の実施形態）
次に、図６を参照して、本発明の撮像装置の第２の実施形態であるデジタルカメラについて説明する。なお、本実施形態では、フォーカス評価値を利用するフレームの判定基準以外は上記第１の実施形態と同じであるので、符号を流用しつつ、相違点のみについて説明する。

上記第１の実施形態では、露光時間に対する露光中のブレ量に関わらず、多段露出画像群のうちで露光時間が最も短いフレームのフォーカス評価値は必ずフォーカス制御に用いていた。これに対し、本実施形態では、多段露出画像群のうちで露光時間中の動き量が最も小さいフレームのフォーカス評価値をフォーカス制御に用いる。

図６は、撮像素子での撮影画像の露光と、撮像素子からの撮影画像の取り込みの処理タイミングを示すタイミングチャート図である。本図を用いて、制御回路１１１による、撮影される各フレームの露光中の動き量の取得と、フォーカス評価値の取得のタイミングについて説明する。なお、上述したように、各フレームの露光中の動き量、及びフォーカス評価値は、制御回路１１１がそれぞれ動き検出部１１０、及びフォーカス評価値取得部１０６から取得する。

図６において、第１フレームの露光は、シャッターパルスＳ１とキャプチャパルスＣ１との間で行われ、露光終了時に露光中の動き量Ｍ１が取得される。また、第１フレームの取り込みは、キャプチャパルスＣ１とキャプチャパルスＣ２との間で行われ、取り込み終了までにフォーカス評価値Ｆ１が取得される。

同様に、第２フレームの露光は、シャッターパルスＳ２とキャプチャパルスＣ２の間で行われ、露光終了時に露光中の動き量Ｍ２が取得される。

即ち、第１フレームのフォーカス評価値Ｆ１が得られる時点で、第１フレームの動き量Ｍ１だけでなく、次に取り込まれる第２フレームの動き量Ｍ２も検出することができる。このため、制御回路１１１は、多段露出画像群を２段階の露出で得る場合には、どちらのフォーカス評価値を利用するかを、両方のブレ量を検出した上で、先に撮影されるフレームの取り込み中に判定することができる。

こうした判定基準により、露光時間を周期的に変化させて撮影を行う際に、露光時間が長いフレームの方が相対的にブレ量が小さい状況が起きた場合にも、精度よくフォーカス制御を行うことができる。その他の構成は、上記第１の実施形態と同様である。

（第３の実施形態）
次に、図７及び図８を参照して、本発明の撮像装置の第３の実施形態であるデジタルカメラについて説明する。なお、本実施形態では、フォーカス評価値をフォーカス制御に利用するか否かを判定する基準値関数以外は、上記第１の実施形態と同じであるので、符号を流用しつつ、相違点のみについて説明する。

まず、図７を参照して、本実施形態の前提となる、コントラスト取得方式のフォーカス制御における山登りフォーカス制御について説明する。

図７において、特性曲線６００は、フォーカスレンズ１０２の光軸上位置に対するフォーカス評価値を示す。制御回路１１１は、レンズ鏡筒１０１のレンズ駆動部への指示によりフォーカスレンズ１０２を微小駆動させる。

そして、制御回路１１１は、フォーカス評価値取得部１０６からフォーカス評価値を取得することで、合焦しているか、ボケているか、ボケている場合は、フォーカスレンズ１０２の合焦位置はどちらかを判断する。

制御回路１１１は、フォーカス評価値が低い場合は、フォーカス評価値が高くなる方向にフォーカスレンズ１０２を可能な限り高速で駆動し、フォーカス評価値が高くなるに連れて減速し、精度良くフォーカス評価値の山の頂上で停止させるように制御する。

例えば、ある静止した被写体を撮影している場合に、フォーカスレンズ１０２の位置Ａに対するフォーカス評価値がプロット６０１で示す大ボケの状態であった場合、微小駆動により合焦位置が図７の右方向であると判断する。

そして、制御回路１１１は、フォーカスレンズ１０２を高速で駆動し、その最中にプロット６０２で示す状態を経由して、合焦位置Ｃ近傍のプロット６０３で示す状態に近づくにつれて減速し、最終的には合焦に至る。

ところで、カメラ本体１００が動いている場合には、被写体が静止していても露光時間に応じたブレが発生するため、被写体像のエッジがボケてフォーカス評価値が低くなる。逆に、カメラ本体１００が静止していても、被写体が動いている場合には同様にフォーカス評価値が低くなる。

本実施形態のデジタルカメラでは、ＨＤＲ処理のために露光時間を周期的に変化させて撮影を行うので、露光時間に依存してフォーカス評価値が変動してしまう。そこで、精度が求められる合焦位置付近では、露光時間が短く、露光中のブレ量が小さいフレームのフォーカス評価値のみをフォーカス制御に用いる。

一方、精度よりも高速なフォーカスレンズ１０２の駆動が求められるボケ状態においては、露光時間や露光中のブレ量の変化を許容して、なるべく多くのフレームのフォーカス評価値をフォーカス制御に用いるように、基準値関数を設定する。

図８を参照して、本実施形態で用いる基準値関数について説明する。図８は、フレームを処理する直前のフォーカス評価値に対する露光中のブレ量を示すグラフ図である。図８において、図３で示した第１〜第６フレームの撮影画像のうち、明画像の第２、第４、第６フレームの露光中のブレ量Ｍ２、Ｍ４、Ｍ６に対して、直前のフォーカス評価値が低く大ボケ状態であった場合のプロットを、それぞれ７０１、７０２、７０３とする。

これに対し、曲線７００は、フォーカス評価値を制御回路１１１がフォーカス制御に用いるか否かを判定する基準値を示している。この基準値は、露光時間Ｔと直前のフォーカス評価値Ｆ′に対する関数Ｍｌｉｍｉｔ（Ｔ，Ｆ′）であって、これより下にプロットされているフレームから得られたフォーカス評価値のみを制御回路１１１はフォーカス制御に用いる。

ここで、明画像の第２、第４、第６フレームの露光時間はＴ＝Ｔｈｉｇｈであるため、曲線７００は、関数Ｍｌｉｍｉｔ（Ｔｈｉｇｈ，Ｆ′）となる。即ち、直前のフォーカス評価値が大ボケ状態であった場合には、第２、第４、第６フレームともにフォーカス評価値がフォーカス制御に用いられる。

なお、図３で示した暗画像の第１、第３、第５フレームは、合成に用いる多段露出画像群のなかで最も露光時間の短いフレームであり、本実施形態では、これらのフォーカス評価値を必ずフォーカス制御に用いるものとし、それらのブレ量に対する判定は行わない。

大ボケ状態の場合と同様に、直前のフォーカス評価値が中程度であった場合には、第２、第４、第６フレームのブレ量Ｍ２、Ｍ４、Ｍ６のプロットは７０４、７０５、７０６である。この場合、曲線７００の下にある第６フレームのみのフォーカス評価値がフォーカス制御に用いられる。

同様に、直前のフォーカス評価値が高く合焦近傍であった場合には、第２、第４、第６フレームのブレ量Ｍ２、Ｍ４、Ｍ６のプロットは７０７、７０８、７０９であって、曲線７００の下にあるプロットが存在しない。このため、いずれのフォーカス評価値もフォーカス制御には用いられない。

こうした判定基準により、露光時間を周期的に変化させて撮影を行う際に、ボケ状態からは高速にフォーカス動作を行い、合焦位置付近では精度よくフォーカス動作を行うことができる。その他の構成は、上記第１の実施形態と同様である。

なお、本発明の構成は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。

１００ カメラ本体
１０１ レンズ鏡筒
１０２ フォーカスレンズ
１０３ 撮像部
１０４ 信号処理部
１０５ 輝度取得部
１０６ フォーカス評価値取得部
１０７ 画像合成部
１０８ 表示・記録部
１１０ 動き検出部
１１１ 制御回路

Claims (9)

1. 被写体を撮像する撮像手段と、
   フォーカスレンズを光軸方向に駆動する駆動手段と、
   前記駆動手段によりフォーカスレンズを光軸方向に移動させることにより、前記撮像する被写体に対するフォーカス状態を制御する制御手段と、
   前記撮像手段より出力される画像からフォーカス評価値を取得する評価値取得手段と、を備え、
   前記制御手段は、前記撮像手段により露光時間を変化させた多段露出画像群を連続的に撮像し、前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記フォーカス評価値を用いて前記フォーカスレンズの駆動方向を更新し、前記更新した駆動方向に前記フォーカスレンズが移動するように前記駆動手段を制御することを特徴とする撮像装置。
2. 前記制御手段は、前記フォーカス評価値が合焦状態に近づくに従って、前記基準値を小さくなるように変化させることを特徴とする請求項１に記載の撮像装置。
3. 前記多段露出画像群を合成してダイナミックレンジの広いハイダイナミックレンジの画像を生成する合成手段と、を備えることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記合成手段によって生成されたハイダイナミックレンジの画像を１フレーム画像とする動画を生成することを特徴とする請求項３に記載の撮像装置。
5. 露光時間を周期的に変化させた多段露出画像群を連続的に撮像する撮像装置であって、
   被写体を撮像する撮像手段と、
   前記撮像手段より出力される画像から評価値を取得する評価値取得手段と、
   前記撮像手段により得られる前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記評価値を用いて前記被写体の評価を行う評価手段と、を備えることを特徴とする撮像装置。
6. 被写体を撮像する撮像手段と、フォーカスレンズを光軸方向に駆動する駆動手段と、を備える撮像装置の制御方法であって、
   前記駆動手段により前記フォーカスレンズを光軸方向に移動させることにより、前記撮像する被写体に対するフォーカス状態を制御する制御ステップと、
   前記撮像手段より出力される画像からフォーカス評価値を取得する評価値取得ステップと、を備え、
   前記制御ステップは、前記撮像手段により露光時間を変化させた多段露出画像群を連続的に撮像し、前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記フォーカス評価値を用いて前記フォーカスレンズの駆動方向を更新し、前記更新した駆動方向に前記フォーカスレンズが移動するように前記駆動手段を制御することを特徴とする撮像装置の制御方法。
7. 露光時間を周期的に変化させた多段露出画像群を連続的に撮像する撮像装置の制御方法であって、
   被写体を撮像する撮像手段より出力される画像から評価値を取得する評価値取得ステップと、
   前記撮像手段により得られる前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記評価値を用いて前記被写体の評価を行う評価ステップと、を備えることを特徴とする撮像装置の制御方法。
8. 被写体を撮像する撮像手段と、フォーカスレンズを光軸方向に駆動する駆動手段と、を備える撮像装置を制御するプログラムであって、
   前記駆動手段により前記フォーカスレンズを光軸方向に移動させることにより、前記撮像する被写体に対するフォーカス状態を制御する制御ステップと、
   前記撮像手段より出力される画像からフォーカス評価値を取得する評価値取得ステップと、をコンピュータに実行させ、
   前記制御ステップは、前記撮像手段により露光時間を変化させた多段露出画像群を連続的に撮像し、前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記フォーカス評価値を用いて前記フォーカスレンズの駆動方向を更新し、前記更新した駆動方向に前記フォーカスレンズが移動するように前記駆動手段を制御することを特徴とするプログラム。
9. 露光時間を周期的に変化させた多段露出画像群を連続的に撮像する撮像装置を制御するプログラムであって、
   被写体を撮像する撮像手段より出力される画像から評価値を取得する評価値取得ステップと、
   前記撮像手段により得られる前記多段露出画像群のうちで最も露光時間が短い画像を少なくとも含み、前記最も露光時間が短い画像よりも露光時間が長い画像であって露光時間中の画像のブレ量が所定の基準値よりも小さい画像を含む複数の画像から取得した前記評価値を用いて前記被写体の評価を行う評価ステップと、をコンピュータに実行させることを特徴とするプログラム。

Images