JP5294647B2 - 焦点調節装置及びその制御方法 - Google Patents

Description

本発明は、被写体情報を利用してオートフォーカスを行う焦点調節装置、及びその制御方法に関するものである。

従来からビデオカメラ等の焦点調節装置は、撮像素子により被写体像を光電変換して得られた画像信号中より鮮鋭度を表すＡＦ評価値を検出し、そのＡＦ評価値が最大となるようにフォーカスレンズ位置を制御し焦点調節を行う方式が主流である。以下、この焦点調節方式をＴＶ−ＡＦ方式という。

しかしながら、このＴＶ−ＡＦ方式によって人物を撮影した場合、撮影条件や被写体条件によってはピントが主被写体である人物ではなく、コントラストの高い背景に合ってしまうという問題点があった。このような問題を解決するために、顔認識機能を有する撮像装置が知られている。近年では、認識された顔領域が含まれるようにＡＦエリアを設定し、焦点検出を行う手法（特許文献１）、人物の目を検出し、その結果に基づいて焦点検出を行う手法（特許文献２）などが提案されている。
特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報

上述した顔認識機能を用いた焦点検出手法では、人物の顔が認識された場合は顔領域に対して、そうでない場合はあらかじめ設定されている領域に対してＡＦエリアを設定して焦点検出を行っている。そのため、人物の顔が常に認識されている場合は、安定して人物へピントを合わせることができる。しかしながら、実際には、人物が横を向いたり、目を閉じたりしたときの被写体の変化や、撮影時の手ブレなどが発生すると顔の認識精度は低下してしまう。従来手法の場合、このような条件下では、顔が認識された場合とそうでない場合でＡＦ評価値を検出する領域が頻繁に切り替わることから、ＡＦ評価値が大きく変動してしまい、安定したピント合わせを行うことができない。特に動画撮影の場合、人物が常に動いている可能性が高く、その影響はより顕著なものとなる。

本発明は、上記問題点を鑑みてなされたものであり、動画において被写体検出機能を用いて合焦すべき被写体にピントを合わせる場合、安定した合焦を維持させることのできる焦点調節装置、撮像装置及びその制御方法を提供することを目的の１つとする。

上述のような課題を解決するために、本発明の技術的特徴としては、撮像画像から被写体を検出する検出手段と、前記検出された被写体に対応する領域に前記撮像画像におけるＡＦエリアを設定する設定手段と、前記設定されたＡＦエリアからの出力信号に基づいて前記撮像画像の焦点状態を示すＡＦ評価値を取得する焦点検出手段と、前記ＡＦ評価値に基づいて前記被写体を合焦させるためにフォーカスレンズを移動させるべき方向を判定する判定手段と、前記ＡＦ評価値を使用して前記フォーカスレンズを移動させることで焦点調節を行う制御手段と、を有する焦点調節装置であって、
前記検出手段にて複数の被写体が検出された場合、前記制御手段は、前記フォーカスレンズを移動させることで、前記複数のＡＦエリアの各々のＡＦ評価値の増加する方向が至近方向なのか無限方向なのか方向判別を行い、前記ＡＦ評価値の増加するＡＦエリアの数が多い方向に前記フォーカスレンズを移動させ、前記フォーカスレンズを移動させて前記ＡＦ評価値の増加する複数のＡＦエリアのうちいづれか一つのＡＦエリアから出力されるＡＦ評価値に基づいた合焦位置にフォーカスレンズを移動させる合焦判別を行うことで焦点調節を行うことを特徴とする。

本発明によれば、特に動画撮影の際に、撮影者の意図する主被写体に安定して焦点調節動作をすることができる。

安定した焦点調節制御を行うためには、あらかじめ設定されている領域のＡＦ評価値と、顔領域のような特定被写体の領域のＡＦ評価値とを組み合わせて使用することが有効である。ところが、通常、撮影者は画面の中央に主被写体を配置して撮影することが一般的であるのに対し、実際には図２の例の点線で示した領域のように、画面の端や背景などで主被写体以外の顔が検出されてしまうことがある。このように、複数の顔が検出された場合、その顔のすべてが撮影者の意図したものとは限らない。特に、被写界深度が浅い条件での撮影時に、それら複数の顔が遠近競合等を含んでいる場合、意図しない顔領域の情報に影響されてハンチング等が起こるという問題点がある。

そこで今回、検出された顔の数やレンズの駆動状態（例えば、方向判別モード、合焦判別モードなど）に応じて顔領域のＡＦ評価値を最適に使用して、安定した焦点調節を実現する方法を以下に示す。

以下、図面を参照しながら本発明の実施形態を説明する。

図１は、本発明の一実施例であるビデオカメラの構成を示している。なお、本実施例では、ビデオカメラについて説明するが、本発明は、顕微鏡、デジタルスチルカメラ等、他の焦点調節装置への適用も可能である。

図１において、１０１は第１固定レンズである。また、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞り、１０４は第２固定レンズである。また、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、フォーカスレンズという）である。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４およびフォーカスレンズ１０５は撮像光学系ともいう。撮像光学系の移動範囲は予め定められている。

１０６はＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換部を有する画素を複数備えた撮像素子である。この画素において、被写体像を光電変換し撮像画像を得ることができる。また、１０７は撮像素子１０６の出力をサンプリング、ゲイン調整、デジタル化するＣＤＳ／ＡＧＣ／ＡＤコンバータである。また、１０８はＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの出力信号に対して各種の画像処理を施し、画像信号を生成するカメラ信号処理回路である。また、１０９はカメラ信号処理回路１０８からの画像信号を表示する表示装置、１１０はカメラ信号処理回路１０８からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する記録装置である。

１１１はＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートである。また、１１２はＡＦゲート１１１を通過した信号から高周波成分や該高周波信号から生成した輝度差成分（ＡＦゲート１１１を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して第１の情報としてのＡＦ評価値を生成するＡＦ評価値処理回路である。ここで、ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される画像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。なお、図３は図２の例における領域Ａ、Ｂ、Ｃのフォーカスレンズ位置とＡＦ評価値を示したものである。

１１３は画像信号に対して顔認識処理を施し、被写体情報（撮影画面内の人物の顔の大きさ、位置、顔の確からしさを示す信頼性）を検出する顔検出処理回路である。顔検出処理回路１１３は、その検出結果を後述のカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、上記検出結果に基づき、撮影画面内の顔領域を含む位置に焦点検出に用いられる領域を追加するようにＡＦゲート１１１へ情報を送信する。

なお、上記の顔認識処理は、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、あらかじめ用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等がある。

１１４は、ＡＦ評価値処理回路１１２の出力信号に基づいて、後述のフォーカスレンズ駆動源１１６を制御しフォーカスレンズ１０５を駆動するとともに、記録装置１１０へ画像記録命令を出力するカメラ／ＡＦマイコンである。１１５は変倍レンズ１０２を移動させるためのアクチュエータおよびそのドライバを含む変倍レンズ駆動源、１１６はフォーカスレンズ１０５を移動させるためのアクチュエータおよびそのドライバを含むフォーカスレンズ駆動源である。変倍レンズ駆動源１１５およびフォーカスレンズ駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータおよびボイスコイルモータ等のアクチュエータにより構成される。

次に、カメラ／ＡＦマイコン１１４で行われる焦点調節制御の概要について、図５〜図８を用いて説明する。

図５において、Ｓｔｅｐ５０１では、ＡＦ評価値処理回路１１２よりＴＶ−ＡＦ制御の基本となるＡＦ評価値を取得するための固定のＡＦエリアの位置と大きさを設定する。この固定のＡＦエリアは、顔枠に対して設定されるＡＦエリアとは異なり、例えば、顔検出処理回路１１３により顔認識処理された結果に基づかない領域に設定される。なお、ここでは、検出された顔に対応する位置の領域を顔枠と表している。また、その他の例として、顔枠に対して設定されるＡＦエリアよりも大きく、また当該ＡＦエリアの領域を含む領域に設定されるようにしてもよい。また、このときＡＦ評価値処理回路１１２内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とはＡＦ評価値処理回路１１２内のバンドパスフィルタの設定値を変更することを意味する。Ｓｔｅｐ５０２では、顔検出処理回路１１３から顔検出処理結果の情報を取得する。Ｓｔｅｐ５０３では、Ｓｔｅｐ５０２で取得した情報から顔が検出されたか否かを判別し、検出された場合にはＳｔｅｐ５０４、検出されない場合はＳｔｅｐ５１６へ遷移する。Ｓｔｅｐ５０４では、Ｓｔｅｐ５０２で取得した情報から複数の顔が検出されたか否かを判別し、複数の顔が検出された場合にはＳｔｅｐ５０５、そうでない場合にはＳｔｅｐ５１３へ遷移する。Ｓｔｅｐ５０５では、後述のＳｔｅｐ５１２で設定される顔枠選択状態を示すフラグが立っているか否かを判別し、フラグが立っている場合はＳｔｅｐ５０７、そうでない場合はＳｔｅｐ５０６へ遷移する。ここで、顔枠選択状態とは、検出された複数の顔枠からＡＦ評価値を監視対象とする顔枠をいくつか選択中であることを意味し、複数の顔枠が検出されている期間継続する。Ｓｔｅｐ５０６では、Ｓｔｅｐ５０２で取得した情報から、検出されたすべての顔枠をＡＦ評価値監視対象として指定する。図２の例の場合では、検出されたすべての顔枠Ａ、Ｂ、ＣがＡＦ評価値監視対象となる。Ｓｔｅｐ５０７では、後述のＴＶ−ＡＦの制御状態が方向判別モードであるか否かを判別し、方向判別モードである場合はＳｔｅｐ５０８、そうでない場合はＳｔｅｐ５１０へ遷移する。Ｓｔｅｐ５０８では、それぞれの顔枠にて検出されたＡＦ評価値の増加する方向をそれぞれ判定し、すべての顔枠の方向が一致している場合はＳｔｅｐ５１２、そうでない場合はＳｔｅｐ５０９へ遷移する。ここで、より多くの顔枠によって判定された方光を合焦方向とする。ただし、無限方向と判定した顔枠の数と、至近方向と判定した顔枠の数が等しい場合には、後述の基準となる顔枠のＡＦ評価値が増加する方光を合焦方向とする。Ｓｔｅｐ５０９では、Ｓｔｅｐ５０８で合焦方向が一致していないと判断された顔枠を、以降ＡＦ評価値監視対象に指定しない。つまり、その後はＡＦ評価値が増加する方向が逆である顔枠を除外した顔枠のＡＦ評価値に基づいて撮像光学系を移動させ焦点調節を行う。図２の例の場合、図４ａ）に示すように、顔枠Ａ、Ｂの合焦方向は過半数の顔枠の示す合焦方向に一致しているのに対し、顔枠Ｃの合焦方向は一致していないため、顔枠Ｃは以降ＡＦ評価値監視対象とならない。Ｓｔｅｐ５１０では、後述のＴＶ−ＡＦの制御状態が合焦判別モードであるか否かを判別し、合焦判定モードである場合はＳｔｅｐ５１１、そうでない場合はＳｔｅｐ５１２へ遷移する。Ｓｔｅｐ５１１では、最終的にピントを合わせるための基準となる顔枠を１つ指定する。ここで、基準となる顔枠を指定するのに満たすべき条件として、面積が最大であるもの、もしくは、中央に位置するもの、顔が最至近に位置するものなどがある。例えば、面積が最大であるものとした場合、図２の例では顔枠Ａが対象となる。また、最も中央に位置するものとした場合、図２の例の場合では顔枠Ｂが対象となる。このように、焦点調節動作を行う際に参照するＡＦ評価値を得る顔枠を減らし、適正な顔枠だけにすることにより、所望の主被写体にピントを合わせることができる。Ｓｔｅｐ５１２では、現在、前述の顔枠選択状態であることを示すフラグをセットし、顔選択状態を継続する。Ｓｔｅｐ５１３では、Ｓｔｅｐ５０２で取得した情報から、検出された顔枠をＡＦ評価値監視対象として指定する。Ｓｔｅｐ５１４では、前述の顔枠選択状態であることを示すフラグをクリアし、顔選択状態を中止する。Ｓｔｅｐ５１５では、現在指定されている顔枠にＡＦ評価値を取得するためのＡＦエリアを設定する。Ｓｔｅｐ５１６では、前述の顔枠選択状態であることを示すフラグをクリアし、顔選択状態を中止する。Ｓｔｅｐ５１７では、Ｓｔｅｐ５０１またはＳｔｅｐ５１５で設定したＡＦエリアのＡＦ評価値を取得する。ここで取得したＡＦ評価値は所定比率で加算（合成）したのち、以降の焦点調節制御に使用される。なお、本実施形態では、それぞれの顔枠におけるＡＦ評価値は、メモリ等に履歴として記憶されているものとする。これは、制御対象とする顔枠が変化した場合に、履歴をたどってＡＦ評価値を合成しなおして用いることができるようにするためである。Ｓｔｅｐ５１８では、ＴＶ−ＡＦ制御により焦点調節を行う。ここでの詳細な動作は図６で説明する。その後、Ｓｔｅｐ５０１へ戻る。

図６において、Ｓｔｅｐ６０１では、微小駆動モードであるか否かを判別し、微小駆動モードである場合はＳｔｅｐ６０２へ、そうでない場合はＳｔｅｐ６０８へ遷移する。Ｓｔｅｐ６０２では、微小駆動動作を行い、フォーカスレンズを所定の振幅で駆動し、合焦しているか、あるいはどちらの方向に合焦点が存在するかを判別する。ここでの詳細な動作は図７で説明する。Ｓｔｅｐ６０３では、Ｓｔｅｐ６０２の微小駆動動作によって合焦判別が行われたか否かを判別し、微小駆動動作によって合焦判別が行われた場合はＳｔｅｐ６０６、そうでない場合はＳｔｅｐ６０４へ遷移する。Ｓｔｅｐ６０４では、Ｓｔｅｐ６０２の微小駆動動作によって方向判別ができたか否かを判別し、方向判別ができた場合はＳｔｅｐ６０５へ遷移して山登り動作へ移行し、そうでない場合はＳｔｅｐ６０１へ戻り微小駆動モードを継続する。Ｓｔｅｐ６０６では、合焦時のＡＦ評価値レベルをメモリに格納した後、Ｓｔｅｐ６０７へ遷移して再起動判定モードへ移行する。ここで、再起動判定モードとは、再び微小駆動（方向判別）をするか否かを判定するフローのことである（Ｓｔｅｐ６１６、Ｓｔｅｐ６１７）。Ｓｔｅｐ６０８では、山登り駆動モードであるか否かを判別し、山登り駆動モードである場合はＳｔｅｐ６０９へ、そうでない場合はＳｔｅｐ６１３へ遷移する。Ｓｔｅｐ６０９では、山登り駆動動作を行い、ＡＦ評価値が大きくなる方向へ所定の速度でフォーカスレンズを山登り駆動する。ここでの詳細な動作は図８で説明する。Ｓｔｅｐ６１０では、Ｓｔｅｐ６０９の山登り駆動動作によってＡＦ評価値のピーク位置が発見されたか否かを判別し、ＡＦ評価値のピーク位置が発見された場合はＳｔｅｐ６１１へ遷移し、そうでない場合はＳｔｅｐ６０１へ戻り山登り駆動モードを継続する。ここで、Ｓｔｅｐ６１０でピーク位置が発見されたと判定された場合には、ピーク位置にフォーカスレンズが移動された後、合焦判別モードとなる（Ｓｔｅｐ６１５）。このとき仮に、選択された顔枠のＡＦ評価値が山の登り途中であるため合焦判別できなかった場合には、微小駆動を繰り返すこととなり、多くの時間が費やされる。そこで、合焦判別の微小駆動モードが所定以上繰り返し行われた場合には、再起動判定モードへ移行するようにしてもよい。そして、焦点調節制御の対象とする顔枠が１つに絞られる（Ｓｔｅｐ５１１）。Ｓｔｅｐ６１１では、ＡＦ評価値がピークとなったフォーカスレンズ位置を目標位置に設定した後、Ｓｔｅｐ６１２へ遷移し停止モードへ移行する。Ｓｔｅｐ６１３では、停止モードであるかを判別し、停止モードである場合はＳｔｅｐ６１４へ、そうでない場合はＳｔｅｐ６１６へ遷移する。Ｓｔｅｐ６１４では、フォーカスレンズがＡＦ評価値のピークとなる位置に戻ったか否かを判別し、そうである場合はＳｔｅｐ６１５へ遷移して微小駆動（合焦判別）モードへの移行し、そうでない場合はＳｔｅｐ５０１へ戻り停止モードを継続する。Ｓｔｅｐ６１６では、現在のＡＦ評価値レベルとＳｔｅｐ６０６で保持したＡＦ評価値レベルを比較し、その変動量が所定値より大きいか否かを判別する。ここで、変動量が大きいと判断され場合はＳｔｅｐ６１７へ遷移して微小駆動（方向判別）モードへの移行を行い、そうでない場合はＳｔｅｐ５０１へ戻り再起動判定モードを継続する。

図７において、Ｓｔｅｐ７０１では、微小駆動の動作状態を示すカウンタが現在０であるかを判別し、そうである場合はＳｔｅｐ７０２へ、そうでない場合はＳｔｅｐ７０３へ遷移する。Ｓｔｅｐ７０２では、フォーカスレンズ１０５が至近側にある場合の処理として、現在のＡＦ評価値レベルを保持する。ここでのＡＦ評価値は、後述のＳｔｅｐ７１０でフォーカスレンズ１０５が無限側にあるときに撮像素子１０６に蓄積された電荷から生成された画像信号によるものである。

Ｓｔｅｐ７０３では、現在のカウンタが１であるかを判別し、そうである場合はＳｔｅｐ７０４へ、そうでない場合はＳｔｅｐ７０９へ遷移する。Ｓｔｅｐ７０４では、後述のＳｔｅｐ７０８でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。Ｓｔｅｐ７０５では、Ｓｔｅｐ７０２で保持した無限側のＡＦ評価値レベルと後述のＳｔｅｐ７１０で保持した至近側のＡＦ評価値レベルを比較し、前者が大きい場合はＳｔｅｐ７０６へ、後者が大きい場合はＳｔｅｐ７０７へ遷移する。

Ｓｔｅｐ７０６では、振動振幅と中心移動振幅を加算し、駆動振幅とする。Ｓｔｅｐ７０７では、振動振幅を駆動振幅とする。Ｓｔｅｐ７０８では、Ｓｔｅｐ７０６またはＳｔｅｐ７０７で求めた駆動振幅に基づき、無限方向へ駆動する。

Ｓｔｅｐ７０９では、現在のカウンタが２であるかを判別し、そうである場合はＳｔｅｐ７１０へ、そうでない場合はＳｔｅｐ７１１へ遷移する。Ｓｔｅｐ７１０では、フォーカスレンズ１０５が無限側にある場合の処理として、現在のＡＦ評価値レベルを保持する。ここでのＡＦ評価値は、Ｓｔｅｐ７０２でフォーカスレンズ１０５が至近側にあるときに撮像素子１０６に蓄積された電荷から生成された画像信号によるものである。

Ｓｔｅｐ７１１では、後述のＳｔｅｐ７１５でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。Ｓｔｅｐ７１２では、Ｓｔｅｐ７１０で保持した至近側のＡＦ評価値レベルとＳｔｅｐ７０２で保持した無限側のＡＦ評価値レベルを比較し、前者が大きい場合はＳｔｅｐ７１３へ、後者が大きい場合はＳｔｅｐ７１４へ遷移する。Ｓｔｅｐ７１３では、振動振幅と中心移動振幅を加算し、駆動振幅とする。Ｓｔｅｐ７１４では、振動振幅を駆動振幅とする。Ｓｔｅｐ７１５では、Ｓｔｅｐ７１３またはＳｔｅｐ７１４で求めた駆動振幅に基づき、至近方向へ駆動する。

Ｓｔｅｐ７１６では、現在方向判別モードであるかを判別し、そうである場合はＳｔｅｐ７１７へ、そうでない場合はＳｔｅｐ７１９へ遷移する。

Ｓｔｅｐ７１７では、所定回数連続して同一方向に合焦点が存在しているかを判別し、そうである場合はＳｔｅｐ７１８へ、そうでない場合はＳｔｅｐ７２１へ遷移する。Ｓｔｅｐ７１８では、方向判別ができたものと判断する。

Ｓｔｅｐ７１９ではフォーカスレンズが所定回数同一エリアで往復しているかを判別し、そうである場合はＳｔｅｐ７２０へ、そうでない場合はＳｔｅｐ７２１へ遷移する。Ｓｔｅｐ７２０では合焦判別できたものと判断する。

Ｓｔｅｐ７２１では、微小駆動の動作状態を示すカウンタが３であれば０に戻し、その他の値であればカウンタを加算する。

この微小駆動におけるフォーカスレンズ動作の時間経過を図９に示す。同図上部は画像信号の垂直同期信号であり、同図下部は、横軸が時間、縦軸がフォーカスレンズ１０５の位置を表している。ラベルＡの時刻に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶ_Ａは、時刻Ｔ_Ａでカメラ／ＡＦマイコン１１４に取り込まれる。また、ラベルＢの時刻に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶ_Ｂは、時刻Ｔ_Ｂでカメラ／ＡＦマイコン１１４に取り込まれる。時刻Ｔ_ＣではＡＦ評価値ＥＶ_ＡとＥＶ_Ｂを比較し、図中のＥＶ_Ｂが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ１０５の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。

図８において、Ｓｔｅｐ８０１では、フォーカスレンズ１０５の駆動速度を設定する。

Ｓｔｅｐ８０２では、現在のＡＦ評価値レベルが前回より増加しているかを判別し、そうである場合はＳｔｅｐ８０３へ、そうでない場合はＳｔｅｐ８０４へ遷移する。Ｓｔｅｐ８０３では、Ｓｔｅｐ８０１で設定した速度に基づき、フォーカスレンズ１０５を前回と同じ方向に山登り駆動する。

Ｓｔｅｐ８０４では、ＡＦ評価値レベルがピークを越えて減少しているかどうかを判別し、そうである場合はＳｔｅｐ８０５へ、そうでない場合はＳｔｅｐ８０６へ遷移する。Ｓｔｅｐ８０５では、ピーク位置を発見したものと判断する。

Ｓｔｅｐ８０６では、Ｓｔｅｐ８０１で設定した速度に基づき、フォーカスレンズ１０５を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのＳｔｅｐ８０６を繰り返している場合、被写体のＡＦ評価値の変化量が十分に得られないためにフォーカスレンズ１０５がハンチング状態にあることを意味する。

この山登り駆動におけるフォーカスレンズ動作を図１０に示す。同図において、フォーカスレンズ１０５がＡのように駆動している場合はＡＦ評価値が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ１０５をＢの範囲で駆動するとＡＦ評価値はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ１０５をピーク位置まで戻した後、微小駆動動作に移行する。一方、Ｃのようにピーク位置を越えずにＡＦ評価値が減少した場合は駆動すべき方向を間違えたものとして反転し、山登り駆動動作を継続する。

このように、ＴＶ−ＡＦ方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ１０５を移動させることで、ＡＦ評価値が常に最大となるように合焦状態を維持する。

さらに、上記焦点調節制御に使用されるＡＦ評価値は、制御状態に応じて指定された顔枠から効果的に得ることができる。そのため、特に動画撮影時において、常に撮影者の意図する主被写体の人物に安定した焦点調節動作を提供することが可能となる。

合焦付近から離れて方向を判定している方向判別モードの場合には、ＡＦエリアの総領域を大きくすることによりＡＦの精度を向上させることができる。これは、多くの情報を使った方が安定したＡＦが行えるためである。言い換えると、合焦付近に位置して微小駆動している合焦判定モードの場合には、顔枠を１つに絞り込む。これによって、所望の被写体に対してピントを合わせることができる。

続いて、本発明の第２の実施例を説明する。撮像装置のシステム構成を示すブロック図は、実施例１と同じく図１である。以降、実施例１と構成が同じ場合には説明を省略する。

カメラ／ＡＦマイコン１１４で行われる焦点調節制御の概要について、図１２を用いて説明する。

図１２において、Ｓｔｅｐ１２０１では、ＡＦ評価値処理回路１１２よりＴＶ−ＡＦ制御のためのＡＦ評価値を取得するための固定のＡＦエリアの位置と大きさを設定する。また、このときＡＦ評価値処理回路１１２内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とはＡＦ評価値処理回路１１２内のバンドパスフィルタの設定値を変更することを意味する。

Ｓｔｅｐ１２０２では、顔検出処理回路１１３から顔検出処理結果の情報を取得する。以下、検出された顔に対応する領域に顔枠を設定する。Ｓｔｅｐ１２０３では、Ｓｔｅｐ１２０２で取得した情報から顔が検出されたかを判別し、検出された場合はＳｔｅｐ１２０４、検出されない場合はＳｔｅｐ１２１６へ遷移する。Ｓｔｅｐ１２０４では、Ｓｔｅｐ１２０２で取得した情報から複数の顔が検出されたかを判別し、そうである場合はＳｔｅｐ１２０５、そうでない場合はＳｔｅｐ１２１３へ遷移する。

Ｓｔｅｐ１２０５では、後述のＳｔｅｐ１２１２で設定される顔枠選択状態を示すフラグが立っているかを判別し、そうである場合はＳｔｅｐ１２０７、そうでない場合はＳｔｅｐ１２０６へ遷移する。ここで、顔枠選択状態とは、検出された複数の顔枠からＡＦ評価値を監視対象とする顔枠をいくつか選択中であることを意味し、複数の顔枠が検出されている期間継続する。Ｓｔｅｐ１２０６では、Ｓｔｅｐ１２０２で取得した情報から、検出されたすべての顔枠をＡＦ評価値監視対象として指定する。図２の例の場合では、検出されたすべての顔枠Ａ、Ｂ、ＣがＡＦ評価値監視対象となる。

Ｓｔｅｐ１２０７では、後述のＴＶ−ＡＦの制御状態が方向判別モードであるかを判別し、そうである場合はＳｔｅｐ１２０８、そうでない場合はＳｔｅｐ１２１０へ遷移する。Ｓｔｅｐ１２０８では、現在監視している各顔枠のＡＦ評価値が増加する方向が至近方向であるかを判別し、すべての顔枠の増加方向が至近方向である場合はＳｔｅｐ１２１２、そうでない場合はＳｔｅｐ１２０９へ遷移する。Ｓｔｅｐ１２０９では、Ｓｔｅｐ１２０８で増加方向が至近方向でないと判断された顔枠を、以降ＡＦ評価値監視対象に指定しない。図２の例の場合、図１１ａ）に示すように、顔枠Ａ、Ｂの合焦方向は至近方向であるのに対し、顔枠Ｃの合焦方向は至近方向でないため、顔枠Ｃは以降ＡＦ評価値監視対象とならない。

Ｓｔｅｐ１２１０では、後述のＴＶ−ＡＦの制御状態が合焦判別モードであるかを判別し、そうである場合はＳｔｅｐ１２１１、そうでない場合はＳｔｅｐ１２１２へ遷移する。Ｓｔｅｐ１２１１では、最終的にピントを合わせるための基準となる顔枠を１つ指定する。図２の例の場合、図１１ｂ）に示すように、現在ＡＦ評価値を監視している顔枠Ａ、Ｂの中から基準となる顔枠が１つ指定される。ここで、基準となる顔枠は合焦方向が最も至近にあるものとし、図２の例では顔枠Ａが対象となる。つまり、実施例２では至近優先で主被写体が設定されることとなる。

Ｓｔｅｐ１２１２では、現在、前述の顔枠選択状態であることを示すフラグをセットし、顔選択状態を継続する。

Ｓｔｅｐ１２１３では、Ｓｔｅｐ１２０２で取得した情報から、検出された顔枠をＡＦ評価値監視対象として指定する。Ｓｔｅｐ１２１４では、前述の顔枠選択状態であることを示すフラグをクリアし、顔選択状態を中止する。

Ｓｔｅｐ１２１５では、現在指定されている顔枠にＡＦ評価値を取得するためのＡＦエリアを設定する。

Ｓｔｅｐ１２１６では、前述の顔枠選択状態であることを示すフラグをクリアし、顔選択状態を中止する。

Ｓｔｅｐ１２１７では、Ｓｔｅｐ１２０１またはＳｔｅｐ１２１５で設定したＡＦエリアのＡＦ評価値を取得する。ここで取得したＡＦ評価値は所定比率で加算したのち、以降の焦点調節制御に使用される。

Ｓｔｅｐ１２１８では、ＴＶ−ＡＦ制御により焦点調節を行う。ここでの詳細な動作は図６で説明したとおりである。その後、Ｓｔｅｐ１２０１へ戻る。

実施例１と異なる点は、Ｓｔｅｐ１２１１では、最終的にピントを合わせるための基準となる顔枠の指定条件が、実施例１では面積が最大であるものとしたのに対し、実施例２では合焦位置が最も至近方向にあるものとしたことにある。その他の処理については実施例１に等しいため、その説明は省略する。

このように、上述の実施形態によれば、焦点調節制御に使用されるＡＦ評価値は、制御状態に応じて指定された顔枠から効果的に得ることができる。そのため、特に動画撮影時において、常に撮影者の意図する主被写体の人物に安定した焦点調節動作を提供することが可能となる。

なお、どの顔枠の情報に従って焦点調節動作を行っているかを示す情報を表示装置１０９によって表示するようにしてもよい。

また、実施形態においてＡＦエリアは、撮像画面内の検出された顔の位置にしているが、その他画像検出により特定の被写体を検出しても構わない。例えば、背景から被写体像を切り出して検出したりすることも考えられる。その他、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定しても構わない。

本発明の実施例であるビデオカメラの構成を示すブロック図 複数の顔が検出されたときの顔枠位置を示した例図 図２の例における各顔枠のＡＦ評価値状態を示した図 制御状態に応じた各顔枠のＡＦ評価値状態を示した図 ＡＦエリア設定のフローチャート図 ＴＶ−ＡＦ制御のフローチャート図 微小駆動モードのフローチャート図 山登り駆動モードのフローチャート図 微小駆動モードのフォーカスレンズ動作を示した図 山登り駆動モードのフォーカスレンズ動作を示した図 実施例２における制御状態に応じた各顔枠のＡＦ評価値状態を示した図 実施例２におけるＡＦエリア設定のフローチャート図

符号の説明

１０１ 第１固定レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 第２固定レンズ
１０５ フォーカスコンペンセータレンズ
１０６ 撮像素子
１０７ ＣＤＳ／ＡＧＣ／ＡＤコンバータ
１０８ カメラ信号処理回路
１０９ 表示装置
１１０ 記録装置
１１１ ＡＦゲート
１１２ ＡＦ評価値処理回路
１１３ 顔検出処理回路
１１４ カメラＡＦマイコン
１１５ 変倍レンズ駆動源
１１６ フォーカスコンペンセータレンズ駆動源

Claims (6)

1. 撮像画像から被写体を検出する検出手段と、前記検出された被写体に対応する領域に前記撮像画像におけるＡＦエリアを設定する設定手段と、前記設定されたＡＦエリアからの出力信号に基づいて前記撮像画像の焦点状態を示すＡＦ評価値を取得する焦点検出手段と、前記ＡＦ評価値に基づいて前記被写体を合焦させるためにフォーカスレンズを移動させるべき方向を判定する判定手段と、前記ＡＦ評価値を使用して前記フォーカスレンズを移動させることで焦点調節を行う制御手段と、を有する焦点調節装置であって、
   前記検出手段にて複数の被写体が検出された場合、前記制御手段は、前記フォーカスレンズを移動させることで、前記複数のＡＦエリアの各々のＡＦ評価値の増加する方向が至近方向なのか無限方向なのか方向判別を行い、前記ＡＦ評価値の増加するＡＦエリアの数が多い方向に前記フォーカスレンズを移動させ、前記フォーカスレンズを移動させて前記ＡＦ評価値の増加する複数のＡＦエリアのうちいづれか一つのＡＦエリアから出力されるＡＦ評価値に基づいた合焦位置にフォーカスレンズを移動させる合焦判別を行うことで焦点調節を行うことを特徴とする焦点調節装置。
2. 前記検出手段にて複数の被写体が検出された場合、前記制御手段は、前記フォーカスレンズを所定の振幅で移動させる微小駆動動作を行うことで、前記複数のＡＦエリアの各々のＡＦ評価値の増加する方向が至近方向なのか無限方向なのか方向判別を行う請求項１に記載の焦点調節装置。
3. 前記検出手段にて検出される被写体は、顔である請求項１又は２に記載の焦点調節装置。
4. 撮像画像から被写体を検出する検出手段と、前記検出された被写体に対応する領域に前記撮像画像におけるＡＦエリアを設定する設定手段と、前記設定されたＡＦエリアからの出力信号に基づいて前記撮像画像の焦点状態を示すＡＦ評価値を取得する焦点検出手段と、前記ＡＦ評価値に基づいて前記被写体を合焦させるためにフォーカスレンズを移動させるべき方向を判定する判定手段と、前記ＡＦ評価値を使用して前記フォーカスレンズを移動させることで焦点調節を行う制御手段と、を有する焦点調節装置の制御方法であって、
   前記検出手段にて複数の被写体が検出された場合、前記フォーカスレンズを移動させることで、前記複数のＡＦエリアの各々のＡＦ評価値の増加する方向が至近方向なのか無限方向なのか方向判別を行い、前記ＡＦ評価値の増加するＡＦエリアの数が多い方向に前記フォーカスレンズを移動させ、前記フォーカスレンズを移動させて前記ＡＦ評価値の増加する複数のＡＦエリアのうちいづれか一つのＡＦエリアから出力されるＡＦ評価値に基づいた合焦位置にフォーカスレンズを移動させる合焦判別を行うことで焦点調節を行うことを特徴とする焦点調節装置の制御方法。
5. 前記検出手段にて複数の被写体が検出された場合、前記フォーカスレンズを所定の振幅で移動させる微小駆動動作を行うことで、前記複数のＡＦエリアの各々のＡＦ評価値の増加する方向が至近方向なのか無限方向なのか方向判別を行う請求項４に記載の焦点調節装置の制御方法。
6. 前記検出手段にて検出される被写体は、顔である請求項４又は５に記載の焦点調節装置の制御方法。

Images