JP5438805B2

JP5438805B2 - 自動合焦装置および自動合焦方法、ならびに、撮像装置

Info

Publication number: JP5438805B2
Application number: JP2012163048A
Authority: JP
Inventors: 和憲石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-07-23
Filing date: 2012-07-23
Publication date: 2014-03-12
Anticipated expiration: 2028-10-01
Also published as: JP2012238016A

Description

本発明は、撮影時の焦点を自動的に調節する自動合焦装置および自動合焦方法に関し、特には、人物の特徴部（特に顔部）を抽出し、その結果に基づいて焦点調節制御を行う自動合焦装置および自動合焦方法、ならびに、撮像装置に関する。

ビデオカメラなどのオートフォーカス（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値信号を生成し、このＡＦ評価値信号が最大となるフォーカスレンズの位置を探索する、ＴＶ−ＡＦ方式が主流である。

この映像信号の鮮鋭度に基づくオートフォーカス制御は、例えば人物を撮影する場合において、主被写体である人物とその背景のコントラストとの関係から、人物に合焦できず、背景に合焦してしまうことがあった。

これを解決するために、撮像信号による画像に含まれる顔を認識する顔認識機能を撮像装置に搭載し、顔の認識結果を用いてオートフォーカス制御を行う技術が開発されている。例えば、特許文献１には、認識された顔領域を含む焦点検出領域を設定し、焦点検出を行う技術が記載されている。また、特許文献２には、人物の目を検出し、検出された目に基づいて焦点検出を行う技術が記載されている。

特開２００６−２２７０８０特開２００１−２１５４０３

ところで、上述した顔認識機能を用いた焦点検出の場合、認識された顔に対する合焦処理を常に行う。しかしながら、人物である主被写体（以下、主人物被写体と呼ぶ）の絵柄の変化による影響や、撮影者の手ブレの影響などによっては顔を認識するのが困難になり、常に顔が認識されるとは限らない。

そのため、例えば、焦点検出を画面内の１つの領域で行う場合、この焦点検出領域を顔の認識結果に応じて常に切り替えることになる。一例として、顔が認識されている場合には、認識された顔を含む領域で焦点検出を行い、顔が認識されない場合には、画面の中央の所定領域で焦点検出を行う制御が考えられる。また、顔を認識した場合と認識しない場合とで合焦する位置が異なる。したがって、頻繁に顔認識結果が切り替わってしまうと、その結果に応じて頻繁に焦点検出領域が切り替わってしまい、合焦する位置も変化するため、焦点検出の安定性が低下してしまうという問題点があった。

また、主人物被写体は存在しているが、顔が認識されなくなってしまう場合も有り得る。このような場合の例として、主人物被写体が横を向いてしまったり、目を閉じてしまった場合が考えられる。また、他の被写体が一時的に主被写体を覆ってしまった場合にも、主人物被写体の顔が認識されなくなる。

このような場合に、顔が認識されなくなったという情報だけで、例えば中央位置へ焦点検出領域を設定してしまっては、その主人物被写体が中心に存在しない場合には、合焦状態から外れていってしまうということが発生する。特に、近年では、従来より横長のワイド画面による撮影が多くなってきており、主人物被写体を画面の中心に配置して撮影を行うとは限らない場合も増えてくることが想定される。

このように、主人物被写体が動くことにより焦点検出の安定性が低下し、合焦位置が頻繁に前後に動いてしまったり、主人物被写体に合焦していたにも関わらず、合焦状態から外れていってしまったりすると、撮影者に不快感を与えてしまうことになる。

したがって、本発明の目的は、人物撮影の際の焦点検出の安定性を向上できる自動合焦装置および自動合焦方法、ならびに、撮像装置を提供することにある。

本発明は、上述した課題を解決するために、所定間隔で供給される撮像信号から顔を検出する検出手段と、前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出手段で検出された顔に対応する第１の評価枠と、該第１の評価枠を含み該第１の評価枠よりも大きい第２の評価枠とを設定する設定手段と、前記設定手段により設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の撮像信号に基づく第２のＡＦ評価値を取得する取得手段と、前記取得手段で取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御手段とを有し、前記合焦制御手段は、前記検出手段で前記撮像信号から顔が検出されたら、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、前記検出手段で前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行うことを特徴とする。

また、本発明は、所定間隔で供給される撮像信号から顔を検出する検出手段と、前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出手段で検出された顔に追従した第１の評価枠と、前記検出手段で検出された顔に追従しない第２の評価枠とを設定する設定手段と、前記設定手段により設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の撮像信号に基づく第２のＡＦ評価値を取得する取得手段と、前記取得手段で取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御手段とを有し、前記合焦制御手段は、前記検出手段で前記撮像信号から顔が検出されたら、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、前記検出手段で前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行うことを特徴とする。

また、本発明は、自動合焦装置における自動合焦方法であって、前記自動合焦装置の検出手段が、所定間隔で供給される撮像信号から顔を検出する検出ステップと、前記自動合焦装置の設定手段が、前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出ステップで検出された顔に対応する第１の評価枠と、該第１の評価枠を含み該第１の評価枠よりも大きい第２の評価枠とを設定する設定ステップと、前記自動合焦装置の取得手段が、前記設定ステップにより設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の撮像信号に基づく第２のＡＦ評価値を取得する取得ステップと、前記自動合焦装置の合焦制御手段が、前記取得ステップで取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御ステップとを有し、前記合焦制御ステップでは、前記検出ステップで前記撮像信号から顔が検出されたら、前記合焦制御手段が、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、前記検出ステップで前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、前記合焦制御手段が、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行うことを特徴とする。

また、本発明は、自動合焦装置における自動合焦方法であって、前記自動合焦装置の検出手段が、所定間隔で供給される撮像信号から顔を検出する検出ステップと、前記自動合焦装置の設定手段が、前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出ステップで検出された顔に追従した第１の評価枠と、前記検出ステップで検出された顔に追従しない第２の評価枠とを設定する設定ステップと、前記自動合焦装置の取得手段が、前記設定ステップにより設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の前記撮像信号に基づく第２のＡＦ評価値を取得する取得ステップと、前記自動合焦装置の合焦制御手段が、前記取得ステップで取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御ステップとを有し、前記合焦制御ステップでは、前記検出ステップで前記撮像信号から顔が検出されたら、前記合焦制御手段が、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、前記検出ステップで前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、前記合焦制御手段が、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行うことを特徴とする。

本発明は、上述の構成を有するために、人物撮影の際の焦点検出の安定性が向上する。

以下、本発明の実施形態を、図面を参照しながら説明する。図１は、本発明の実施形態に適用可能なデジタルビデオカメラ１００の一例の構成を示す。このデジタルビデオカメラ１００は、本発明による自動合焦を行う自動焦点調節機能を搭載している。

図１において、第１固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ群１０４およびフォーカスコンペンセータレンズ（以下、フォーカスレンズ）１０５により撮像光学系が構成される。変倍レンズ１０２は、光軸方向に移動してズーム倍率を変更する。フォーカスレンズ１０５は、変倍レンズ１０２によるズーム倍率の変更に伴う焦点面の移動を補正する機能と、フォーカシングの機能とを兼ね備える。

撮像手段としての撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサといった素子により、入射された光を光電変換により電気信号である撮像信号に変換して出力する。撮像素子１０６は、図示されないタイミングジェネレータから供給される各種タイミング信号に応じて、画素からの電荷の読み出しやシャッタ制御が行われる。撮像素子１０６からの電荷の読み出しを所定間隔、例えばフィールドまたはフレーム周期で連続的に行うことで、フィールドまたはフレーム周期毎に更新される撮像信号を得ることができ、動画の撮影が可能となる。

撮像信号処理部１０７は、撮像素子１０６の出力をサンプリングするＣＤＳ部、ゲイン調整を行うＡＧＣおよびアナログ信号の撮像信号をデジタル信号に変換するＡ／Ｄ変換部を備える。カメラ信号処理部１０８は、撮像信号処理部１０７の出力信号に対して各種の画像処理を施し、映像信号を生成する。また、カメラ信号処理部１０８は、生成された映像信号に対して、ＭＰＥＧ２方式やＨ．２６４｜ＡＶＣ方式といった所定の圧縮符号化方式で圧縮符号化を施し、圧縮映像信号を生成する。

モニタ１０９は、カメラ信号処理部１０８で生成された映像信号を表示する。記録手段としての記録再生部１１５は、カメラ信号処理部１０８から出力された圧縮映像信号の、磁気テープ、光ディスク、半導体メモリといった記録媒体への記録と、記録媒体に記録された圧縮映像信号の再生を行う。

設定手段としてのＡＦゲート１１２は、後述する制御部１１４から供給される情報に基づき、撮像信号処理部１０７から供給された、撮像素子１０６の全画素による出力信号のうち、焦点検出に用いられる領域の信号のみを選択的に通過させる。以下では、焦点検出に用いられる領域（ＡＦ信号取得領域）を、ＡＦ枠と呼ぶ。すなわち、ＡＦ枠は、焦点検出の際に用いる信号の評価を行う評価枠である。

取得手段としてのＡＦ信号処理部１１３は、ＡＦゲート１１２を通過した信号、すなわちＡＦ信号取得領域の中の信号からバンドパスフィルタ処理により高周波成分を抽出する。ＡＦ信号処理部１１３は、抽出した高周波信号から、ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分である輝度差成分を生成する。そして、この輝度差成分から焦点信号を生成する。ここで、焦点信号は、実際には、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表す信号である。この鮮鋭度は、撮像光学系の焦点状態によって変化するので、精鋭度を表す信号は、撮像光学系の焦点状態を評価するＡＦ評価値として用いられる。

検出手段としての顔検出処理部１１６は、カメラ信号処理部１０８から供給される映像信号に対して公知の顔認識処理を施し、撮像画面内の人物の顔領域（顔）を検出する。顔検出処理部１１６は、例えば１フレーム周期あるいは数フレーム周期など、所定の周期で顔認識処理を行う。顔検出処理部１１６による顔領域の検出結果は、後述する制御部１１４に供給される。

なお、顔検出処理部１１６に適用可能な公知の顔検認識処理としては、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法なども周知である。さらに、本発明に適用可能な顔認識処理の手法については、これらの手法に限るものではなく、他の手法を用いてもよい。

ズーム駆動部１１０は、変倍レンズ１０２を移動させるためのアクチュエータおよびそのドライバを含む。フォーカシング駆動部１１１は、フォーカスレンズ１０５を移動させるためのアクチュエータおよびそのドライバを含む。ズーム駆動部１１０およびフォーカシング駆動部１１１は、ステッピングモータ、ＤＣモータ、振動型モータおよびボイスコイルモータなどのアクチュエータにより構成される。

制御部１１４は、例えばＣＰＵ、ＲＯＭおよびＲＡＭを有し、ＣＰＵが、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いてこのデジタルビデオカメラ１００の全体の動作を制御する。制御部１１４は、不揮発性メモリをさらに有し、後述する操作部１１７に対する操作や、他の処理により設定された設定値などを不揮発性メモリに記憶する。

合焦制御手段としての制御部１１４は、顔検出処理部１１６による顔領域の検出結果に基づき、撮像画面内の顔領域を含む位置に焦点検出に用いられる領域を追加するように、ＡＦゲート１１２へ情報を送信する。また、制御部１１４は、ＡＦ信号処理部１１３の出力信号に基づいて、フォーカシング駆動部１１１を制御しフォーカスレンズ１０５を駆動し、合焦制御を行う。

さらに、制御部１１４は、撮像素子１０６のシャッタスピードを設定することができる。例えば、制御部１１４は、撮像素子１０６から出力された撮像信号や絞り１０３の状態などに基づきシャッタスピードを設定し、設定されたシャッタスピードに対応するタイミング信号を出力するように、図示されないタイミングジェネレータを制御する。さらにまた、制御部１１４は、時間を計測するタイマ機能を有する。

操作部１１７は、ユーザ操作を受け付ける複数の操作子が設けられ、操作子に対する操作に応じた制御信号を、制御部１１４に対して出力する。例えば、操作部１１７に対する操作により、このデジタルビデオカメラ１００における電源のＯＮ／ＯＦＦ、撮影の開始および終了、ズームなどの指示を行うことができる。

＜第１の実施形態＞
次に、本発明の第１の実施形態によるＴＶ−ＡＦ制御の例について、図２のフローチャートを用いて説明する。この図２のフローチャートにおける各処理は、制御部１１４において、ＲＯＭ予め記憶されたプログラムに従ったＣＰＵにより実行される。

ステップＳ２０１で、制御部１１４が処理を開始する。この図２に例示されるフローチャートによる処理は、例えば１フィールド画像を生成するための撮像素子１０６からの撮像信号の読み出し周期で、ステップＳ２０２〜ステップＳ２１８の処理が繰り返し実行される。

ステップＳ２０２で、制御部１１４は、顔検出処理部１１６で最新の撮影画像に対して顔認識処理が実行された結果、認識された顔の有無を取得する。そして、次のステップＳ２０３で、ステップＳ２０２で取得された顔の有無に基づき顔認識ができたか否かが判断される。若し、顔認識できたと判断されたら、処理はステップＳ２０４に移行される。

ステップＳ２０４で、制御部１１４は、顔検出処理部１１６での顔認識処理により顔が認識された画面上の位置情報を基に、顔領域を含む被写体に追従して移動する所定のＡＦ枠と被写体に追従しない所定のＡＦ枠とを、ＡＦゲート１１２に設定する。位置情報としては、顔が認識された領域の中心位置や、目、鼻、口などの顔の特徴点の位置を示す情報を用いてもよい。

なお、以下では、「顔領域を含む被写体に追従して移動する所定のＡＦ枠」を「顔枠」と呼び、「被写体に追従しない所定のＡＦ枠」を「通常枠」と呼ぶ。

ここで、ステップＳ２０４での通常枠（第２の評価枠）の設定方法の例として、顔枠（第１の評価枠）を含む画面上の中央を中心とした固定枠を設定する。また、通常枠は、画面上に１つに限るものではなく、複数存在しても構わない。その場合、少なくとも１つの通常枠が顔枠を含むような大きさに設定する。

次のステップＳ２０５で、制御部１１４は、ＡＦ信号処理部１１３から、顔枠および通常枠のそれぞれによるＡＦ評価値を取得し、次のステップＳ２０６で、顔が検出された状態を示すフラグをレジスタなどにセットする。以下では、「顔が検出された状態を示すフラグ」を、「顔検出中フラグ」と呼ぶ。顔検出中フラグがセットされると、処理はステップＳ２１６に移行される。

ステップＳ２１６では、各ＡＦ枠から取得されたＡＦ評価値の履歴を残しておく。一例として、制御部１１４は、ステップＳ２０１で処理が開始されると、上述したような、ステップＳ２０２〜ステップＳ２１８で繰り返される処理の繰り返し数をカウントする。そして、このカウントによるカウンタ値と、ＡＦ枠を識別するための識別情報と、当該ＡＦ枠から取得されたＡＦ評価値とを関連付けて、制御部１１４が有するＲＡＭなどに記憶する。

そして、次のステップＳ２１７で、設定されている各ＡＦ枠からそれぞれ取得されたＡＦ評価値を加算し、ＴＶ−ＡＦ処理で合焦制御を行う場合に主として用いるＡＦ評価値を生成する。

ところで、、特に動画撮影時には、撮影中に、人物に限らず、主被写体とは異なる被写体が画面内に入ってくることが多く発生することが考えられる。ここで、顔枠のＡＦ評価値と、通常枠のＡＦ評価値とを同等に扱って合焦制御を行う場合について考える。この場合、例えば偶然に画面上の端部にある意図しない人物被写体が顔認識されてしまうと、撮影者が意図しない被写体に対して合焦制御が行われてしまい、一時的に合焦状態が不安定になることが起こり得る。

このような事態を避けるために、設定されている各ＡＦ枠から取得されたＡＦ評価値の加算の仕方として、顔枠から取得したＡＦ評価値に重み付けをして加算することが考えられる。顔枠から取得したＡＦ評価値に重み付けを行うことにより、撮影者が意図する主人物被写体に対する合焦を、より容易に行うことが可能となる。

これに限らず、上述した顔検出処理部１１６での顔認識処理により顔が認識された画面上の位置情報によって、顔枠の重み付け比率を変更してもよい。例えば、顔が画面中央付近に検出された場合には、重み付けを大きくし、画面の端付近に検出された場合には、重み付けを小さくする。撮影者は、主人物被写体を画面中央付近に配置しながら撮影することが多いと考えられるため、画面上の顔位置に応じて重み付けを行うことで、撮影者が意図する主人物被写体に対する合焦を、より容易に行うことが可能となる。

ステップＳ２１８では、ステップＳ２１７で生成されたＡＦ評価値を用いてＴＶ−ＡＦ処理が実行される。このＴＶ−ＡＦ処理は、公知の技術を用いることができ、例えば、ＡＦ評価値が最大になるように、ＡＦ評価値をモニタしつつフォーカスレンズ１０５を駆動して合焦を得る。換言すれば、フォーカスレンズ１０５を駆動してＡＦ評価値のピーク値を探索することで、合焦を得る。また、ＴＶ−ＡＦ処理には、合焦が得られている状態において、フォーカスレンズ再駆動の必要性の有無を判断するために、ＡＦ評価値の低下があったか否かを判定する等、合焦を維持するための処理も含まれる。

上述のステップＳ２０３で、顔認識に失敗したと判断されたら、処理はステップＳ２０７に移行される。ステップＳ２０７では、制御部１１４により、顔検出中フラグがセットされているか否かが判定される。

若し、顔検出中フラグがセットされていないと判定されたら、処理はステップＳ２１３に移行される。ステップＳ２１３で、制御部１１４は、通常枠のみをＡＦ枠としてＡＦゲート１１２に対して設定する。すなわち、顔認識に失敗し、且つ、顔検出中フラグがセットされていない場合には、現在の撮影シーンにおいては、主人物被写体が認識できない、若しくは、撮像画面内に存在しないシーンである可能性が大きいと判断することができる。

ステップＳ２１３で通常枠がＡＦ枠として設定されると、処理はステップＳ２１４に移行され、当該通常枠からＡＦ評価値が取得され、次のステップＳ２１５で。顔検出中フラグがクリアされる。そして、処理はステップＳ２１６に移行され、通常枠から取得したＡＦ評価値を上述したように履歴として記憶し、次のステップＳ２１７でＡＦ枠として設定された通常枠から取得したＡＦ評価値が加算され、ステップＳ２１８でＴＶ−ＡＦ制御がなされる。

一方、上述のステップＳ２０７で顔検出中フラグがセットされていると判定されたら、処理はステップＳ２０８に移行される。ステップＳ２０８では、上述したステップＳ２０５と同様にして、顔枠と通常枠とでＡＦ評価値を取得する。

次のステップＳ２０９では、ＡＦ評価値の変動量を比較する閾値_th（変動量閾値）を設定する。閾値_thは、予め設定された固定値を用いることもできるし、所定の条件に基づき適応的に設定してもよい。ここでは、閾値ｔｈが予め設定された固定値を用いるものとして説明する。適応的に閾値_thを設定する方法については、後述する。閾値_thが設定されると、処理はステップＳ２１０に移行される。

ステップＳ２１０では、顔が認識されなくなったときのＡＦ評価値の変動量を算出する。すなわち、ステップＳ２０８で取得した、顔枠を含む領域に設定された通常枠のＡＦ評価値と、ステップＳ２１６で記憶された、顔枠を含む領域に設定された通常枠のＡＦ評価値の履歴とから、ＡＦ評価値の変動量を算出する。例えば、ステップＳ２０８で取得した通常枠のＡＦ評価値と、ステップＳ２１６で記憶された履歴における当該ＡＦ評価値の直前に取得されたＡＦ評価値との差分が、顔が認識されなくなったときのＡＦ評価値の変動量として求められる。そして、算出された変動量と、ステップＳ２０９で設定された閾値_thとを比較する。

比較の結果、若し、ＡＦ評価値の変動量が閾値_thよりも大きいと判断されたら、処理をステップＳステップＳ２１３に移行させて、通常枠で取得されたＡＦ評価値のみでＴＶ−ＡＦ制御を行う。すなわち、この場合は、主人物被写体が撮像画面内に存在しなくなったと判断することができる。

一方、ステップＳ２１０での比較の結果、ＡＦ評価値の変動量が閾値_thよりも小さいと判断されたら、処理はステップＳ２１１に移行される。すなわち、この場合は、撮像画面内に主人物被写体は存在しているが、当該人物が横を向いたり、目を閉じてしまったりなどして、顔が認識できなくなっている、若しくは、顔認識結果の信頼性が低下している状態であると判断することができる。

なお、以下では、撮像画面内に主人物被写体が存在しなくなった場合や、主人物被写体の顔が撮像画面内で認識できなくなった場合を、適宜、「撮像画面内に主人物被写体が存在しなくなった」などと記述する。

ステップＳ２１１では、前回と同じ位置に顔枠と通常枠とを設定し、次のステップＳ２１２で、上述したステップＳ２０５と同様にして、顔枠および通常枠の各枠のＡＦ評価値を取得する。そして、処理はステップＳ２１６に移行され、上述したように各枠から取得されたＡＦ評価値を履歴として記憶し、次のステップＳ２１７で、各ＡＦ枠から取得されたＡＦ評価値を加算する。このとき、上述したように、顔枠から取得されたＡＦ評価値に対して所定の重み付けを行うことができる。ＡＦ評価値が加算されると、ステップＳ２１８で、加算されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われる。

上述した図２のフローチャートのステップＳ２０３での判定において、顔認識に失敗した際の処理の意味について説明する。例えば、主人物被写体に合焦している場合、ＡＦ評価値のレベルが最大となっている。一方、主人物被写体が撮像画面内に存在しなくなった場合、主人物被写体の背景が撮像画面上に存在することになる。このときには、背景には合焦していないので、ＡＦ評価値が合焦時に比べて小さくなってしまう。同様に、パンニングなどにより撮影被写体を変えた場合にも、パンニングすることで合焦していない状態となってしまい、ＡＦ評価値が合焦時に比べて小さくなってしまうことが起こり得る。

したがって、主人物被写体に合焦している状態から当該主人物被写体が撮像画面内に存在しなくなった状態へと遷移すると、ＡＦ評価値の変動量が大きくなる。これに対して、主人物被写体が撮像画面内に継続的に存在している場合は、合焦状態が維持されることになり、ＡＦ評価値が大きいままで、ＡＦ評価値の変動量は、比較的小さい。

このように、顔認識の結果に基づき撮像画面内で主人物被写体が認識できなくても、撮像画面内に主人物被写体が継続的に存在しているか、既に存在していないかを、ＡＦ評価値の変動量に基づき判断することができる。

また、上述では、通常枠として顔枠を含む領域を確保しているため、当該通常枠に対して主人物被写体が大きく捉えられることになり、当該通常枠で取得されたＡＦ評価値も、主人物被写体に対するＡＦ評価値を強く反映している。そのため、撮像画面内に主人物被写体が存在しているにも関わらず、その人物が横を向いたり目を閉じたりして顔を認識できなくなった場合でも、通常枠ＡＦ評価値は、大きく変動しないと考えられる。

したがって、当該主人物被写体の顔状態の変化などにより、前回に対して顔枠内に存在するコントラストや顔画像のエッジ部分が一部異なってしまうことによるＡＦ評価値の変動によって、主人物被写体が存在しなくなったと判断する誤判断が軽減される。

なお、上述では、顔枠を含む通常枠のＡＦ評価値で変動量を比較するように説明したが、これはこの例に限定されない。すなわち、基本的に、主被写体人物が存在している場合には顔枠のＡＦ評価値は変動しないと考えられる。そのため、顔枠のＡＦ評価値で変動量を比較してもよいし、顔枠のＡＦ評価値と顔枠を含む通常枠のＡＦ評価値の両方の変動量を比較してもよい。

＜ＡＦ評価値の変動量を比較する閾値の設定について＞
上述した、ステップＳ２０９でＡＦ評価値の変動量を比較する閾値ｔｈを適応的に設定する方法について説明する。先ず、第１の例として、閾値_thをＡＦ評価値のピーク値に応じて設定する場合について説明する。図３は、ＡＦ評価値とフォーカスレンズ位置との関係の例を示す。縦軸がＡＦ評価値、横軸がフォーカスレンズ位置を示す。ＡＦ評価値がピーク値を示すフォーカスレンズ位置が合焦点となる。この図３に例示されるように、ＡＦ評価値は、コントラストが高い被写体の場合には、ピーク値に対する値の増減が急峻な特性を示し、コントラストが低い被写体の場合には、ピーク値に対する値の増減が緩慢な特性を示す。

ここで、フォーカスレンズを合焦点から距離ａだけずらしてデフォーカスした場合の、合焦点に対するＡＦ評価値の変動量について考える。この場合、高コントラストおよび低コントラストの被写体におけるＡＦ評価値の変動量を、それぞれ変動量Ａおよび変動量Ｂとすると、変動量Ａ＞変動量Ｂとなり、高コントラストの被写体の方が変動量が大きくなる。これにより、低コントラストの被写体と高コントラストの被写体とで同じ変動量を得ようとすると、低コントラストの被写体では、高コントラストの被写体の場合に比べてより大きくデフォーカスする必要があることが分かる。したがって、主人物被写体が低コントラストの場合、主人物被写体が存在していないことを判断するのが難しく、実際に主人物被写体が存在しなくなった場合に、合焦制御の応答性が低下してしまう。

そこで、上述のステップＳ２０９において、ＡＦ評価値の変動量を比較する閾値_thを、ＡＦ評価値のピーク値に応じて設定することも考えられる。図４のフローチャートを用いて、この場合の閾値_thの設定方法について説明する。ステップＳ４０１で、制御部１１４は、例えば図２のステップＳ２１８におけるＴＶ−ＡＦ制御の結果に基づき、ＡＦ評価値のピーク値を取得し、次のステップＳ４０２で当該ピーク値が基準値よりも大きいか否かを判断する。若し、当該ピーク値が基準値よりも大きいと判断されたら、処理はステップＳ４０３に移行され、高コントラストの被写体に適用する閾値を、閾値_thとして設定する。一方、当該ピーク値が基準値よりも小さいと判断されたら、処理はステップＳ４０４に移行され、低コントラストの被写体に適用する閾値を、閾値_thとして設定する。なお、高コントラストおよび低コントラストにそれぞれ適用する閾値や、ステップＳ４０２で用いる基準値は、予め決められているものとする。なお、図３でも説明したように、低コントラストに適用する閾値は、高コントラストに適用する閾値よりも小さい値とする。

このように閾値_thを設定することにより、被写体のコントラストの高低によるＡＦ評価値の変動量判断に対する影響を軽減できる。そのため、所望するＡＦ評価値の変動量の比較が可能となり、主人物被写体がまだ存在しているか否かの判断をより安定的に行うことができる。

なお、上述では、１の基準値を用意し、ＡＦ評価値のピーク値の大小を当該基準値と比較することで決定したが、これはこの例に限定されない。例えば、複数の異なる基準値を予め用意し、ＡＦ評価値のピーク値に応じて適当な基準値を選択するようにしてもよい。この場合、ＡＦ評価値の変動量を比較するための閾値_thも、基準値の数に応じて予め用意する。

次に、第２の例として、ステップＳ２０９で用いる閾値_thをシャッタスピードに応じて設定する場合について説明する。ここで、シャッタスピードが遅くなるほど、手振れの影響が大きくなる。ＡＦ評価値は、撮像素子１０６で撮像されて得られた撮像信号に基づき生成しているため、手振れによって撮像画面が流れてしまっている場合には、ＡＦ評価値が小さくなってしまう。したがって、シャッタスピードが遅いほど、ＡＦ評価値の変動量を比較するための閾値_thの値を大きくする必要がある。

シャッタスピードに応じてＡＦ評価値の変動量を比較するための閾値_thの値を設定する一例の処理を、図５に示すフローチャートを用いて説明する。制御部１１４は、ステップＳ５０１で現在のシャッタスピードを取得し、次のステップＳ５０２で、取得されたシャッタスピードがスローシャッタか否かを判断する。例えば、シャッタスピードを所定値と比較して、当該シャッタスピードがスローシャッタか否かを判断することが考えられる。若し、スローシャッタであると判断されたら、処理はステップＳ５０３に移行され、スローシャッタに適用する閾値を、閾値_thとして設定する。一方、スローシャッタではないと判断されたら、処理はステップＳ５０４に移行され、スローシャッタに適用する閾値より小さい値である閾値を、閾値_thとして設定する。なお、ステップＳ５０３およびステップＳ５０４で設定する閾値は、それぞれ予め決められているものとする。

このように、シャッタスピードに応じて閾値_thを設定することにより、ＡＦ評価値の変動量判断に対するシャッタスピードの影響を軽減できる。そのため、所望するＡＦ評価値の変動量の比較が可能となり、主人物被写体がまだ存在しているか否かの判断をより安定的に行うことができる。

なお、上述では、シャッタスピードがスローシャッタか否かの判断により閾値ｔｈを決定したが、これはこの例に限られない。例えば、シャッタスピードを複数の異なるシャッタスピードと比較してもよい。この場合、ＡＦ評価値の変動量を比較するための閾値_thも、比較を行うシャッタスピードの数に応じて予め用意する。

＜ＡＦ枠の設定例＞
ここで、顔枠および通常枠の設定例について、図６を用いて説明する。図６（ａ）は、撮像画面内に顔枠Ａと通常枠Ｂとを設定した例を示す。通常枠Ｂが撮像画面の中央を中心として設定されると共に、顔認識がなされた位置に対して顔枠Ａが設定される。

図６（ｂ）は、通常枠のみでＴＶ−ＡＦ制御を行う場合の例である。ここで、撮像画面内に通常枠のみを設定する場合、図６（ａ）に例示される状態から単純に顔枠Ａを削除して、通常枠ＢのみでＡＦ評価値を検出しＴＶ−ＡＦ制御を行うことができる。これに限らず、撮影者が撮像画面の中央に被写体を配置する場合が多いことを考慮し、通常枠Ｂよりも小さい通常枠Ｃを、画面中央を中心としてさらに設定するようにしてもよい。この場合、通常枠Ｂおよび通常枠Ｃそれぞれから取得されたＡＦ評価値を加算してＴＶ−ＡＦ制御を行う。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態では、上述した第１の実施形態に対し、顔認識に失敗し且つ顔検出中フラグがセットされている場合に、所定時間だけ顔枠を保持するようにしている。より詳細には、顔認識に失敗した場合に、その時点からの経過時間を計測し、所定時間の間、顔枠を保持して顔枠と通常枠とでＴＶ−ＡＦ制御を行う。また、経過時間の計測開始後、所定時間が経過しても顔が認識されない場合、通常枠のみでＴＶ−ＡＦ制御を行う。

図７は、本第２の実施形態によるＴＶ−ＡＦ制御の一例を示すフローチャートである。なお、図７のフローチャートにおいて、上述した図２のフローチャートと共通する部分には同一の符号を付し、詳細な説明を省略する。また、この図７のフローチャートによる処理は、上述した図２のフローチャートと同様に、例えば１フィールド画像を生成するための撮像素子１０６からの撮像信号の読み出し周期で繰り返される。

ステップＳ２０１で制御部１１４により処理が開始された後、ステップＳ２０２の顔認識処理の結果に基づきステップＳ２０３で顔認識できたと判断されたら、処理はステップＳ２０４に移行される。ステップＳ２０４では、上述と同様にして顔枠および通常枠が設定され、これら顔枠および通常枠のそれぞれからＡＦ評価値が取得され（ステップＳ２０５）、次のステップＳ２０６で、顔検出中フラグがセットされる。

そして、次のステップＳ２２０で、後述する顔認識ＮＧカウント時間がクリアされる。すなわち、ステップＳ２０３で顔認識できた場合には、このステップＳ２２０で顔認識ＮＧカウント時間が常にクリアされ、時間経過の観察を行わない。

処理はステップＳ２１６に移行され、各ＡＦ枠から取得されたＡＦ評価値の履歴が記憶され、次のステップＳ２１７で各ＡＦ枠からそれぞれ取得されたＡＦ評価値を加算する。そして、ステップＳ２１８で、この加算されたＡＦ評価値を用いてＴＶ−ＡＦ制御を行う。

一方、上述のステップＳ２０３で顔認識に失敗したと判断されたら、処理はステップＳ２０７に移行されて顔検出中フラグがセットされているか否かが判定される。若し、セットされていないと判定されたら、処理はステップＳ２１３に移行される。一方、セットされていると判定されたら、処理はステップＳ２２１に移行される。

ステップＳ２２１では、顔枠を保持する顔枠保持時間（第１の時間閾値）が設定される。この時間は、例えばこの図７のフローチャートの繰り返し周期でカウントアップされるカウンタのカウント値を単位として設定される。そして、処理はステップＳ２２２に移行され、後述するステップＳ２２３でカウントアップされる顔認識ＮＧカウント時間と、ステップＳ２２１で設定された顔枠保持時間とが比較される。

ステップＳ２２２による比較の結果、顔認識ＮＧカウント時間が顔枠保持時間を越えていると判断されたら、処理はステップＳ２１３に移行される。ステップＳ２１３では、通常枠のみがＡＦ枠として設定され、次のステップＳ２１４で、当該通常枠からＡＦ評価値が取得される。次のステップＳ２１５で顔検出中フラグがクリアされ、さらに次のステップＳ２２４で顔認識ＮＧカウント時間がクリアされる。そして、処理がステップＳ２１６に移行される。この場合には、通常枠から取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

一方、ステップＳ２２２による比較の結果、顔認識ＮＧカウント時間が顔枠保持時間を越えていないと判断されたら、処理はステップＳ２１１に移行され、顔枠を保持し、顔枠と通常枠とからそれぞれＡＦ評価値を取得する（ステップＳ２１２）。そして、次のステップＳ２２３で顔認識ＮＧカウント時間がカウントアップされ、処理がステップＳ２１６に移行される。この場合には、顔枠および通常枠からそれぞれ取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

上述のように、本第２の実施形態では、顔認識に失敗してから所定時間の間、顔枠を保持したままＴＶ−ＡＦ制御を行うようにしている。これにより、主人物被写体の顔状態の変化や、主人物被写体の前を別の被写体が覆ってしまったり、手振れの影響などにより、ＡＦ枠が頻繁に切り替わってしまうことが防がれる。そのため、ＴＶ−ＡＦ制御をより安定的に行うことができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態は、上述した第１および第２の実施形態によるＴＶ−ＡＦ制御を組み合わせた例である。すなわち、本第３の実施形態では、図２のフローチャートを用いて説明した、顔認識に失敗した際に顔枠を保持するか否かを、顔認識ＮＧカウント時間による判断と、ＡＦ評価値の変動量に基づく判断とを用いて判断する。

図８は、本第３の実施形態によるＴＶ−ＡＦ制御の一例を示すフローチャートである。なお、図８のフローチャートにおいて、上述した図２および図７のフローチャートと共通する部分には同一の符号を付し、詳細な説明を省略する。また、この図８のフローチャートによる処理は、上述した図２のフローチャートと同様に、例えば１フィールド画像を生成するための撮像素子１０６からの撮像信号の読み出し周期で繰り返される。

図８のフローチャートにおいて、ステップＳ２０３で顔認識できたと判断されると、処理がステップＳ２０４に移行され顔枠と通常枠とが設定され、それぞれＡＦ評価値が取得され（ステップＳ２０５）、顔検出中フラグがセットされる（ステップＳ２０６）。次に、ステップＳ２２０で顔認識ＮＧカウント時間がクリアされ、ステップＳ２１６で各ＡＦ枠から取得されたＡＦ評価値が履歴として記憶される。そして、取得された各ＡＦ評価値がステップＳ２１７で加算され、加算されたＡＦ評価値に基づきＴＶ−ＡＦ制御がなされる（ステップＳ２１８）。

一方、ステップＳ２０３で顔認識に失敗したと判断されたら、処理はステップＳ２０７に移行されて顔検出中フラグがセットされているか否かが判定される。若し、セットされていないと判定されたら、処理はステップＳ２１３に移行され、通常枠のみがＡＦ枠として設定され、次のステップＳ２１４で通常枠のＡＦ評価値が取得される。そして、次のステップＳ２１５で顔検出中フラグがクリアされ、さらに次のステップＳ２２４で顔認識ＮＧカウント時間がクリアされ、処理がステップＳ２１６に移行される。この場合には、通常枠から取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

上述のステップＳ２０７で顔検出中フラグがセットされていると判定されたら、処理はステップＳ２２１に移行され、顔枠を保持する顔枠保持時間が設定され、次のステップＳ２２２で、顔認識ＮＧカウント時間と顔枠保持時間とが比較される。若し、顔認識ＮＧカウント時間が顔枠保持時間を越えていると判断されたら、処理はステップＳ２１３に移行される。一方、顔認識ＮＧカウント時間が顔枠保持時間を越えていないと判断されたら、処理はステップＳ２０８に移行される。

ステップＳ２０８では、顔枠と通常枠とからＡＦ評価値が取得され、次のステップＳ２０９で、ＡＦ評価値の変動量を比較する閾値_thを設定する。次のステップＳ２１０で、ステップＳ２０８で取得した通常枠のＡＦ評価値と、ステップＳ２１６で記憶されたＡＦ評価値の履歴とから、顔が認識されなくなったときのＡＦ評価値の変動量を算出する。そして、算出された変動量と、ステップＳ２０９で設定された閾値_th（変動量閾値）とを比較する。若し、変動量が閾値_thよりも大きいと判断されたら、処理はステップＳ２１３に移行される。この場合には、通常枠から取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

一方、変動量が閾値_thよりも小さいと判定されたら、次のステップＳ２１１およびステップＳ２１２で、顔枠を保持したまま、顔枠と通常枠とでＡＦ評価値を取得する。そして、ステップＳ２２３で顔認識ＮＧカウント時間をカウントアップして、処理がステップＳ２１６に移行される。この場合には、顔枠および通常枠からそれぞれ取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

顔認識に失敗し、且つ、顔検出中フラグがセットされているような場合、ＡＦ評価値の変動量が閾値_thよりも大きかった場合は、合焦していた主人物被写体が存在しなくなった、パンニングなどにより撮影シーンが変わったなどと判断できる。この場合、通常枠をＡＦ枠に設定するため、現在の主被写体への合焦制御を即座に行うことができる。

また、ＡＦ評価値の変動量が閾値_thよりも小さい場合においては、主人物被写体は依然存在していることが考えられる。その一方で、例えば焦点距離がワイド側にあるなどの理由により、主人物被写体と背景とが存在したとしても、大きく合焦位置が変わらない場合も考えられる。その場合、主人物被写体が存在しなくてもＡＦ評価値の変動が小さくなるため、顔枠を保持したまま顔枠と通常枠とからＡＦ評価値を取得してＴＶ−ＡＦ制御を行うことになる。

さらに、直前の処理において、顔枠が撮像画面の中央ではなく、画面の端側にあった場合も考えられる。その場合、撮影者は、例えば主人物被写体が存在しないシーンに切り替えて撮影を行い、画面中央に次の主被写体を合わせようとしているのに、画面中央の主被写体に対して合焦しない、あるいは、合焦が遅いといったことが起こりうる。

そのため、本第３の実施形態では、ＡＦ評価値の変動量が小さい場合でも顔検出ＮＧカウント時間をカウントする。そして、所定時間の間、顔認識がなされない場合には、ＡＦ評価値の変動量に関わらず、通常の、画面中央を中心とした固定枠（すなわち通常枠）でＴＶ−ＡＦ制御を行うように制御する。これにより、撮影者の意図した主被写体に対する合焦制御を安定的に行うことができる。

＜顔枠保持時間の設定について＞
なお、上述した第２および第３の実施形態で図７および図８のフローチャートを用いて説明した、ステップＳ２２１において設定される、顔枠を保持する顔枠保持時間は、顔検出処理部１１６での顔認識処理の周期に応じて適応的に設定することができる。

顔認識処理は、上述したようにパターン認識を利用して行っている。そのため、認識させる顔の数などにより、撮像信号に対する走査の回数も異なり、１回の認識処理時間も変わってくる。そのため、例えば認識させる顔の数が少ない場合と多い場合とで顔認識処理に要する時間が異なり、所定時間の間に処理可能な顔認識処理の回数も異なってくる。したがって、認識すべき顔が多ければ顔認識処理の信頼性が低くなり、誤って、主人物被写体が存在しないと判断されてしまう事態も起こり得る。

図９は、顔枠保持時間を顔認識処理の周期に応じて設定する一例の処理を示すフローチャートである。制御部１１４は、最初のステップＳ９０１で、顔検出処理部１１６による顔認識処理の検出周期を取得する。例えば、制御部１１４は、顔認識処理の認識周期を、顔検出処理部１１６から顔検出の位置、サイズ、信頼性などの情報と同様に取得する。次のステップＳ９０２で、取得された検出周期が基準周期よりも長いか否かを判定する。若し、長いと判定された場合には、処理はステップＳ９０３に移行され、監視時間の長い顔枠保持時間が設定される。一方、短いと判定された場合には、処理はステップＳ９０４に移行され、ステップＳ９０３で設定されたよりも監視時間の短い顔枠保持時間が設定される。これらステップＳ９０３またはステップＳ９０４で設定された顔枠保持時間を、ステップＳ２２１において設定する。なお、ステップＳ９０２で用いる基準周期は、予め決められているものとする。

このように顔枠保持時間を設定することで、顔認識処理に要する時間に関わらず、一定の回数だけ顔認識処理を行った結果から顔が認識されない状態であると判定することができ、安定的に判定結果を得ることができる。

顔枠保持時間は、顔認識処理の周期に応じて設定する方法に限られない。例えば、デジタルビデオカメラ１００の撮影モードに応じて顔枠保持時間を設定するようにしてもよい。これは、例えば静止画撮影の場合、動画撮影と比較して、一瞬のシャッタチャンスを確実に捉える必要性があるためである。

すなわち、静止画撮影を行うモードにおいて、動画撮影モードと共通の顔枠保持時間を設定した場合、撮影者の所望する一瞬のシーンが撮影できない、あるいは、主被写体に合焦しないなどにより、撮影者に不快感を与えてしまう。そのため、静止画撮影時には、顔枠保持時間の設定を短くしＡＦ枠の切り替わりを速くする必要がある。さらに、静止画撮影時には、主人物被写体も安定した位置にあり、構図も決まっていることが多いため、顔が認識されたり、認識されなかったりすることが頻繁には発生しないと考えられる。

図１０は、顔枠保持時間を撮影モードに応じて設定する一例の処理を示すフローチャートである。制御部１１４は、最初のステップＳ１００１で、現在の撮影モードを取得し、次のステップＳ１００２で、現在の撮影モードが動画撮影モードであるか否かを判定する。若し、動画撮影モードであると判定された場合には、処理はステップＳ１００３に移行され、監視時間の長い顔枠保持時間を設定する。一方、静止画撮影モードであると判定された場合には、処理はステップＳ１００４に移行され、ステップＳ１００３で設定されたよりも監視時間の短い顔枠保持時間を設定する。これらステップＳ１００３またはステップＳ１００４で設定された顔枠保持時間を、ステップＳ２２１において設定する。

なお、上述では、デジタルビデオカメラ１００の撮影モードが動画撮影モードおよび静止画撮影モードの何れであるかでステップＳ１００２の判定を行っているが、これはこの例に限られない。例えば、ある特定の撮影モード、例えば、人物を撮影する場合に用いるポートレートモードか否かで判断してもよい。これにより、撮影者の撮影するシーンや条件に応じて、安定的に合焦制御を行うことができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。本第４の実施形態は、上述した第３の実施形態によるＴＶ−ＡＦ制御に対し、ＡＦ評価値の変動量が閾値_thよりも大きい場合にも、所定時間の間、ＡＦ枠を顔枠に設定し、当該所定時間の経過後に、ＡＦ枠を通常枠のみとしてＴＶ−ＡＦ制御を行う。

図１１は、本発明の第４の実施形態によるＴＶ−ＡＦ制御の一例を示すフローチャートである。なお、図１１のフローチャートにおいて、上述した図２、図７および図８のフローチャートと共通する部分には同一の符号を付し、詳細な説明を省略する。また、この図１１のフローチャートによる処理は、上述した図２のフローチャートと同様に、例えば１フィールド画像を生成するための撮像素子１０６からの撮像信号の読み出し周期で繰り返される。

図１１のフローチャートにおいて、ステップＳ２０３で顔認識できたと判断されると、処理がステップＳ２０４に移行され顔枠と通常枠とが設定され、それぞれＡＦ評価値が取得され（ステップＳ２０５）、顔検出中フラグがセットされる（ステップＳ２０６）。次に、ステップＳ２２０で顔認識ＮＧカウント時間がクリアされ、ステップＳ２４０で後述するＡＦ評価値変動有りフラグがクリアされる。

そして、ステップＳ２１６で各ＡＦ枠から取得されたＡＦ評価値が履歴として記憶される。そして、取得された各ＡＦ評価値がステップＳ２１７で加算され、加算されたＡＦ評価値に基づきＴＶ−ＡＦ制御がなされる（ステップＳ２１８）。

一方、ステップＳ２０３で顔認識に失敗したと判断されたら、処理はステップＳ２０７に移行されて顔検出中フラグがセットされているか否かが判定される。若し、セットされていないと判定されたら、処理はステップＳ２１３に移行され、通常枠のみがＡＦ枠として設定され、次のステップＳ２１４で通常枠のＡＦ評価値が取得される。そして、ステップＳ２１５で顔検出中フラグがクリアされ、次のステップＳ２２４で顔認識ＮＧカウント時間がクリアされ、さらに次のステップＳ２４６でＡＦ評価値変動有りフラグがクリアされ、処理がステップＳ２１６に移行される。この場合には、通常枠から取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

上述のステップＳ２０７で顔検出中フラグがセットされていると判定されたら、処理はステップＳ２４１に移行され、ＡＦ評価値変動有りフラグがセットされているか否かが判定される。若し、セットされていないと判定されたら、処理はステップＳ２２１に移行され、顔枠を保持する第１の顔枠保持時間が設定され、次のステップＳ２２２で、顔認識ＮＧカウント時間と第１の顔枠保持時間とが比較される。若し、顔認識ＮＧカウント時間が第１の顔枠保持時間を越えていると判断されたら、処理はステップＳ２１３に移行される。一方、顔認識ＮＧカウント時間が第１の顔枠保持時間を越えていないと判断されたら、処理はステップＳ２０８に移行される。

ステップＳ２０８では、顔枠と通常枠とからＡＦ評価値が取得され、次のステップＳ２０９で、ＡＦ評価値の変動量を比較する閾値_thを設定する。次のステップＳ２１０で、ステップＳ２０８で取得した通常枠のＡＦ評価値と、ステップＳ２１６で記憶されたＡＦ評価値の履歴とから、顔が認識されなくなったときのＡＦ評価値の変動量を算出する。そして、算出された変動量と、ステップＳ２０９で設定された閾値_thとを比較する。

若し、ステップＳ２１０で変動量が閾値_thよりも大きいと判断されたら、処理はステップＳ２４２に移行され、ＡＦ評価値変動有りフラグがセットされる。一方、変動量が閾値_thよりも小さいと判断されたら、処理はステップＳ２４３に移行され、ＡＦ評価値変動有りフラグがクリアされる。ステップＳ２４２またはステップＳ２４３の処理が完了すると、処理はステップＳ２１１に移行される。

次のステップＳ２１１およびその次のステップＳ２１２で、顔枠を保持したまま、顔枠と通常枠とでＡＦ評価値を取得する。そして、ステップＳ２２３で顔認識ＮＧカウント時間をカウントアップして、処理がステップＳ２１６に移行される。この場合には、顔枠および通常枠からそれぞれ取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

上述のステップＳ２４１で、ＡＦ評価値変動有りフラグがセットされていると判定されたら、処理はステップＳ２４４に移行される。ステップＳ２４４では、顔枠を保持する第２の顔枠保持時間（第２の時間閾値）が設定される。そして、次のステップＳ２４５で、顔認識ＮＧカウント時間と第２の顔枠保持時間とが比較される。若し、顔認識ＮＧカウント時間が第２の顔枠保持時間を越えていると判断されたら、主人物被写体が存在しなくなったと判定し、処理はステップＳ２１３に移行される。この場合には、ＡＦ枠が通常枠のみとされ、ＴＶ−ＡＦ制御は、通常枠から取得されたＡＦ評価値に基づき行われることになる。

一方、顔認識ＮＧカウント時間が第２の顔枠保持時間を越えていないと判断されたら、処理はステップＳ２１１に移行される。この場合には、顔枠および通常枠とからそれぞれ取得されたＡＦ評価値に基づきＴＶ−ＡＦ制御が行われることになる。

なお、上述のステップＳ２４４で設定される第２の顔枠保持時間は、第１の顔枠保持時間よりも短い時間に設定する。換言すれば、第１の顔枠保持時間による監視時間を、第２の顔枠保持時間による監視時間よりも長く設定する。すなわち、第２の顔枠保持時間は、既にＡＦ評価値の変動量が閾値_thよりも大きいと判断された場合に設定される時間である。そのため、第２の顔枠保持時間を第１の顔枠保持時間よりも短く設定することで、主人物被写体に対する合焦制御を安定的に行うことが可能となる。

ここで、ステップＳ２１０においてＡＦ評価値の変動量が閾値_thよりも大きいと判断された場合に、ＡＦ枠を即座に通常枠に設定するのではなく、顔枠を所定時間保持してからＡＦ枠を通常枠に設定するのは、以下の理由による。

第１に、ＡＦ評価値の変動量が閾値_thを越えた場合であっても、再度、極めて短時間で再び顔が検出されてしまう可能性があるからである。このような場合の例としては、合焦制御の応答性が高速である場合に、一時的に主人物被写体が撮像画面内から消失した、あるいは、手振れなどの影響で撮影映像が一時的にデフォーカスしてしまったような場合が挙げられる。

このような場合に、ＡＦ枠を固定的な通常枠に切り換えた後、短時間で顔が検出され、再度、顔枠を用いる設定に切り換えてしまうと、合焦制御が不安定な状態になってしまうおそれがある。そのため、ＡＦ評価値が大きく変動した場合でも、所定時間の間、顔枠を監視し、顔枠に対して顔が認識されないことが安定的に確認されてから、ＡＦ枠を通常枠に切り換える。これにより、合焦制御を安定的に行うことができる。

第２に、主人物被写体が横を向いたなど、被写体としての状態が一時的に変化した際に、顔枠に存在していたコントラストやエッジ部分が状態変化前後で異なることにより、ＡＦ評価値が大きく変動することが有り得る。このような場合、ＡＦ評価値の変動に応じて即座にＡＦ枠を切り換えると、主人物被写体が撮像画面の中央部分にいない場合、合焦状態が主人物被写体からずれていってしまう可能性がある。このような場合に、顔枠を所定時間の間保持した状態で、再度、顔枠内に顔が認識されるか否かを見極めることで、撮影者が意図しない被写体に合焦してしまう事態を軽減することができる。

なお、上述の図１１のフローチャートにおいて、ステップＳ２４４で設定される、顔枠を保持する第２の顔枠保持時間を、第３の実施形態において図９を用いて説明したように、顔認識処理の検出周期に応じて設定するようにしてもよい。この場合、本第４の実施形態においては、ステップＳ２２１で設定される第１の顔枠保持時間の方がステップＳ２４４で設定される第２の顔枠保持時間よりも長くなるように設定する。

以上説明したように、本発明は、顔認識処理により主人物被写体の顔が認識された場合、例えば顔認識された領域を含む主人物被写体に追従する顔枠と、主人物被写体に追従しない通常枠とを設定する。顔枠から取得されたＡＦ評価値と、通常枠から取得されたＡＦ評価値とを加算して生成したＡＦ評価値を用いて、合焦制御を行う。

そして、上述の第１、第３および第４の実施形態では、顔認識処理により顔が認識されなくなった場合に、撮像画面内に主人物被写体が依然として存在しているか否かを、ＡＦ評価値の変動量に基づき判断している。そのため、合焦制御を安定的に行うことができる。

また、上述では、ＡＦ評価値の変動量を比較する閾値_thを、ＡＦ評価値のピーク値やシャッタスピードに応じて変更するようにしている。これにより、被写体のコントラストやスローシャッタ時の手振れの影響によるＡＦ評価値の変動を軽減し、ＡＦ評価値の変動の監視をを安定的に行うことができる。

さらに、上述の第２〜第４の実施形態では、顔が認識されなくなった場合に、顔が認識されないことを所定時間の間、監視するようにしている。これにより、一時的に主人物被写体が認識できなくなった場合、すなわち、主人物被写体が直ちに再認識されてしまう状態でも、ＡＦ枠を即座に通常枠のみに切り換える動作が抑制され、合焦制御を安定的に行うことができる。

このように、本発明の各実施形態により、顔認識結果に応じた頻繁なＡＦ枠の切り替えが抑制され、顔が認識されなくなった場合にも、合焦制御を安定的に行うことができる。それに伴い、撮影者が意図しない被写体への合焦動作を軽減することができ、意図する主人物被写体に対する合焦制御が安定的に行われることにより、撮影者の不快感を軽減することが実現可能となる。

本発明の実施形態に適用可能なデジタルビデオカメラの一例の構成を示すブロック図である。本発明の第１の実施形態によるＴＶ−ＡＦ制御の例を示すフローチャートである。ＡＦ評価値とフォーカスレンズ位置との関係の例を示す図である。ＡＦ評価値の変動量を比較する閾値_thをＡＦ評価値のピーク値に応じて設定する一例の処理を示すフローチャートである。シャッタスピードに応じてＡＦ評価値の変動量を比較するための閾値_thの値を設定する一例の処理を示すフローチャートである。顔枠および通常枠の設定の例を示す図である。本発明の第２の実施形態によるＴＶ−ＡＦ制御の一例を示すフローチャートである。本発明の第３の実施形態によるＴＶ−ＡＦ制御の一例を示すフローチャートである。顔枠保持時間を顔認識処理の周期に応じて設定する一例の処理を示すフローチャートである。顔枠保持時間を撮影モードに応じて設定する一例の処理を示すフローチャートである。本発明の第４の実施形態によるＴＶ−ＡＦ制御の一例を示すフローチャートである。

１００デジタルビデオカメラ
１０５フォーカスレンズ
１０６撮像素子
１０７撮像信号処理部
１０８カメラ信号処理部
１１１フォーカシング駆動部
１１２ＡＦゲート
１１３ＡＦ信号処理部
１１４制御部
１１６顔検出処理部
１１７操作部

Claims

所定間隔で供給される撮像信号から顔を検出する検出手段と、
前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出手段で検出された顔に対応する第１の評価枠と、該第１の評価枠を含み該第１の評価枠よりも大きい第２の評価枠とを設定する設定手段と、
前記設定手段により設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の撮像信号に基づく第２のＡＦ評価値を取得する取得手段と、
前記取得手段で取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御手段とを有し、
前記合焦制御手段は、
前記検出手段で前記撮像信号から顔が検出されたら、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、
前記検出手段で前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行う
ことを特徴とする自動合焦装置。
所定間隔で供給される撮像信号から顔を検出する検出手段と、
前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出手段で検出された顔に追従した第１の評価枠と、前記検出手段で検出された顔に追従しない第２の評価枠とを設定する設定手段と、
前記設定手段により設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の撮像信号に基づく第２のＡＦ評価値を取得する取得手段と、
前記取得手段で取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御手段とを有し、
前記合焦制御手段は、
前記検出手段で前記撮像信号から顔が検出されたら、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、
前記検出手段で前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行う
ことを特徴とする自動合焦装置。
前記合焦制御手段は、
前記検出手段で前記撮像信号から顔が検出された後に該顔が検出されなくなった場合、前記時間が前記第１の時間閾値を超えるまでの間に、前記第２のＡＦ評価値の、前記顔が検出されていたときからの変動量を検出し、該変動量が変動量閾値を超えなければ、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、前記変動量が前記変動量閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行う
ことを特徴とする請求項１または請求項２に記載の自動合焦装置。
前記合焦制御手段は、
前記変動量が前記変動量閾値を超えた後に、依然として前記検出手段で前記撮像信号から前記顔が検出されていなかったら、前記時間が第２の時間閾値を超えるまで、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第２の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行う
ことを特徴とする請求項３に記載の自動合焦装置。
前記合焦制御手段は、
前記変動量閾値を、合焦を得るために前記撮像光学系の焦点距離を変化させながら探索された前記第２のＡＦ評価値のピーク値に応じて設定する
ことを特徴とする請求項３または請求項４に記載の自動合焦装置。
請求項１乃至請求項５の何れか１項に記載の自動合焦装置と、
前記撮像光学系を介して入射された光を光電変換して前記撮像信号として出力する撮像手段と、
前記撮像手段を用いて得られた前記撮像信号に基づく映像信号を記録媒体に記録する記録手段と
を有する
ことを特徴とする撮像装置。
自動合焦装置における自動合焦方法であって、
前記自動合焦装置の検出手段が、所定間隔で供給される撮像信号から顔を検出する検出ステップと、
前記自動合焦装置の設定手段が、前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出ステップで検出された顔に対応する第１の評価枠と、該第１の評価枠を含み該第１の評価枠よりも大きい第２の評価枠とを設定する設定ステップと、
前記自動合焦装置の取得手段が、前記設定ステップにより設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の撮像信号に基づく第２のＡＦ評価値を取得する取得ステップと、
前記自動合焦装置の合焦制御手段が、前記取得ステップで取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御ステップとを有し、
前記合焦制御ステップでは、
前記検出ステップで前記撮像信号から顔が検出されたら、前記合焦制御手段が、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、
前記検出ステップで前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、前記合焦制御手段が、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行う
ことを特徴とする自動合焦方法。
自動合焦装置における自動合焦方法であって、
前記自動合焦装置の検出手段が、所定間隔で供給される撮像信号から顔を検出する検出ステップと、
前記自動合焦装置の設定手段が、前記撮像信号による撮像画面に対して、ＡＦ評価値を取得するための、前記検出ステップで検出された顔に追従した第１の評価枠と、前記検出ステップで検出された顔に追従しない第２の評価枠とを設定する設定ステップと、
前記自動合焦装置の取得手段が、前記設定ステップにより設定された前記第１の評価枠の中の撮像信号に基づく第１のＡＦ評価値、および、前記第２の評価枠の中の前記撮像信号に基づく第２のＡＦ評価値を取得する取得ステップと、
前記自動合焦装置の合焦制御手段が、前記取得ステップで取得された前記第１および第２のＡＦ評価値に基づき撮像光学系の合焦制御を行う合焦制御ステップとを有し、
前記合焦制御ステップでは、
前記検出ステップで前記撮像信号から顔が検出されたら、前記合焦制御手段が、前記第１および第２のＡＦ評価値を用いて前記合焦制御を行い、
前記検出ステップで前記撮像信号から顔が検出された後に該顔が検出されなくなり、かつ、前記合焦制御手段が、継続して顔が検出されない時間が第１の時間閾値を超えたら、前記第１のＡＦ評価値を用いずに、前記第２のＡＦ評価値を用いて前記合焦制御を行い、前記時間が前記第１の時間閾値を超えるまでは、前記第１の評価枠を保持したまま前記第１および第２のＡＦ評価値を用いて前記合焦制御を行う
ことを特徴とする自動合焦方法。