JP5030308B2 - 自動合焦装置とその制御方法並びに撮像装置 - Google Patents

Description

本発明は、自動合焦装置及びその制御方法に関し、特に主被写体の検出結果に応じて焦点検出領域を設定可能な自動合焦装置及びその制御方法に関する。本発明はまた、このような自動合焦装置を備える撮像装置に関する。

従来、デジタルカメラに代表される撮像装置において、人物の顔や動体などを検出する被写体検出機能を利用した自動合焦制御が知られている。これは例えば、撮像した画像から人物の顔などの主被写体を検出し、検出した主被写体部分に焦点検出領域を設定し、合焦制御を行うことで、主被写体に合焦させるものである（特許文献１参照）。

このような自動合焦制御において、主被写体を検出できなかった場合には、画像の中央など、一般的に主被写体が存在する確率が高いと思われる領域に焦点検出領域を設定し、合焦制御を行うことが考えられる。

動画撮影時などにおいて、設定された焦点検出領域に対して連続的に合焦制御を行うコンティニュアスＡＦが行われる場合がある。コンティニュアスＡＦに上述した主被写体の検出を利用した自動焦点制御を適用した場合、主被写体が常時検出されている場合は特に問題がないが、主被写体が検出できたりできなかったりした場合に問題が生じる。

つまり、主被写体が検出できた際には主被写体部分に焦点検出領域が設定され、主被写体が検出できなくなると画像中央部分に焦点検出領域が設定される。そのため、主被写体領域と画面中央領域とで焦点検出領域が頻繁に入れ替わり、主被写体が画面中央にいない場合には、合焦位置がめまぐるしく変化する。

この状態を、図８を参照して説明する。
画面の中央領域に主被写体（ここでは人物の顔）が存在していない状態で撮影しようとしている場合、図８（ａ）に示すように、主被写体８１０が検出されていれば、焦点検出領域８０１は主被写体の位置に対応する場所に設定される。

この状態で主被写体８１０が横を向くなどして、主被写体の検出（すなわち、ここでは顔検出）に失敗した場合、焦点検出領域８０２が画面中央に設定される。画面中央に主被写体が存在しない場合、一般には合焦位置が変化する。特に図８に示すように遠景をバックにした撮影においては、大きく合焦位置が変化する。

そして、主被写体が再度正面を向くと、主被写体が検出され、図８（ａ）の状態に戻る。このように、主被写体と、背景にある被写体とで合焦位置が行き来すると、画面がちらつき、煩わしという問題が生じる。

この問題を解決するための対策として、主被写体を検出できなくなった場合でも何らかの方法で主被写体位置を予測し、図８（ｃ）に示すように、主被写体の予測位置に焦点検出領域８０３を設定することが考えられる。

特開2003-107335号公報

しかし、仮に主被写体位置を予測できたとしても、常に正確な主被写体位置を予測するのは難しい。図８（ｄ）に示すように主被写体位置の予測を誤って焦点検出領域８０４を設定した場合には、問題を解決することができない。
また、被写体が画面内に存在しないと判断される場合には、焦点検出を素速くやり直すことが好ましい。

本発明はこのような従来技術の問題を少なくとも１つ解決するためになされたものである。本発明は、主被写体の検出結果に応じて焦点検出領域を設定可能な自動合焦装置であって、主被写体が検出されない状態になった場合、大幅な合焦位置の変動の抑制と、焦点検出の素速いやり直しとを両立することを目的とする。

上述のような課題を解決するために、本発明による自動合焦装置は、撮像されて得られた画像から合焦すべき被写体像を検出する検出手段と、フォーカスレンズを移動させて焦点調節を行う焦点調節手段とを有し、焦点調節手段は、検出手段による合焦すべき被写体像の検出ができた後に検出手段による合焦すべき被写体像の検出ができなくなった場合、合焦すべき被写体像が画面内に存在しないと判断されるまでは、フォーカスレンズを第１の速度で移動させながら合焦すべき被写体像の追尾動作を行い、検出手段による合焦すべき被写体像の検出ができず合焦すべき被写体像が画面内に存在しないと判断された場合、合焦すべき被写体像の追尾動作を中止するとともにフォーカスレンズを第１の速度よりも速い第２の速度で移動させることを特徴とする。

このような構成により、本発明によれば、主被写体の検出結果に応じて焦点検出領域を設定可能な自動合焦装置において、主被写体が検出されない状態になった場合、大幅な合焦位置の変動の抑制と、焦点検出の素速いやり直しとを両立することが可能となる。

本発明の実施形態に係る自動合焦装置を備える撮像装置の一例としての電子カメラの構成例を示すブロック図である。 本発明の実施形態に係る電子カメラの全体的な動作について説明する。 本発明の実施形態に係る電子カメラにおけるContinuousAF処理の詳細を示すフローチャートである。 本発明の実施形態に係る電子カメラにおけるContinuousAF枠設定処理の詳細を示すフローチャートである。 本発明の実施形態に係る電子カメラにおけるContinuousAF枠設定の具体例について説明する図である。 本発明の実施形態に係る電子カメラにおけるAF動作の詳細について説明するフローチャートである。 本発明の実施形態に係る電子カメラにおける撮影動作の詳細について説明するフローチャートである。 主被写体の検出結果を利用した従来のAF枠の設定方法の問題点を説明する図である。

以下、図面を参照しながら本発明の好適かつ例示的な実施形態について説明する。
図１は、本発明の実施形態に係る自動合焦装置を備える撮像装置の一例としての電子カメラの構成例を示すブロック図である。
本実施形態の電子カメラ１００において、ズーム機構を含む撮影レンズ１０１、光量を制御する絞り及びシャッター１０２、撮像素子上に焦点をあわせるためのフォーカスレンズ１０４は、レンズユニットを構成する。ＡＥ処理部１０３は絞り及びシャッター１０２を制御し、自動露出制御を行う。駆動手段としてのＡＦ処理部１０５は、フォーカスレンズ１０４を駆動し、自動焦点制御を行う。ＥＦ処理部１０７はフラッシュ１０６の点灯制御を行う。撮像素子１０８は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサのような光電変換素子であり、光学被写体像を画素毎の電気信号に変換する。

Ａ／Ｄ変換部１０９は、撮像素子１０８が出力する電気信号をディジタル形式の画素データに変換する。Ａ／Ｄ変換部１０９には、撮像素子１０８の出力信号のノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路が含まれる。

画像処理部１１０は、Ａ／Ｄ変換された画素データに対し、色補間処理などを行ない、カラー画像データを生成する。ホワイトバランス（ＷＢ）処理部１１１は、画像処理部１１０が生成したカラー画像データに対し、ホワイトバランス処理を行なう。フォーマット変換部１１２は、画像データを例えばＪＰＥＧ形式(motionJPEGを含む)やＭＰＥＧ方式に従って符号化したり、符号化された画像データの復号化を行う。

内蔵メモリ１１３は、例えばランダムアクセスメモリ（ＲＡＭ）などであり、以下ではＤＲＡＭと記す。ＤＲＡＭ１１３は、一時的な画像記憶に用いられる高速バッファとして、あるいはフォーマット変換部１１２による画像の圧縮伸張処理における作業用メモリなどに使用される。画像記録部１１４はメモリカードなどの記録媒体とそのインターフェースからなる。

システム制御部１１５は例えば図示しないＣＰＵと、ＣＰＵが実行するためのプログラムを記憶するＲＯＭを含み、後述する自動焦点制御処理を始めとする、電子カメラ１００全体の動作を制御する。画像表示用メモリ（ＶＲＡＭ）は、操作表示部１１７に表示する表示画像データを記憶するためのメモリである。システム制御部１１５は、設定手段、決定手段として機能する。

操作表示部１１７は、ＬＣＤや有機ＥＬディスプレイパネルなどの表示装置を有する。そして、操作表示部１１７は、画像記録部１１４に装着された記録媒体に記録済の画像を表示する他、メニュー画面などの設定画面や各種メッセージ、カメラの状態などを文字や画像により表示する。また、操作表示部１１７は、撮影時には電子ビューファインダー（ＥＶＦ）として機能し、設定された焦点検出領域を示す表示（例えば焦点検出領域を示す枠の表示）を行う。

操作部１１８は電子カメラにユーザが指示を与えるための入力デバイス（キー、ボタン、タッチパネル、ダイヤル等）である。操作部１１８には、例えば次のようなものが含まれる。電子カメラ１００の撮影機能や画像再生時の設定など、各種設定を行うメニュー画面を表示するためのメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、動作モード（撮影モードと再生モード）の切換えスイッチ、上下左右方向キーなど。

撮影モードスイッチ１１９は、主被写体（本実施形態では人物の顔）検出モードのＯＮ／ＯＦＦを切り替える等の設定を行うためのスイッチである。メインスイッチ１２０は、所謂電源スイッチであり、電子カメラに電源を投入したり切断したりするためのスイッチである。

ＳＷ１ １２１は、例えばシャッターボタンが半押しされている際にＯＮとなるスイッチである。本実施形態の電子カメラ１００は、ＳＷ１ １２１がＯＮになると、ＡＦやＡＥ等の撮影スタンバイ動作を行う。ＳＷ２ １２２は、例えばシャッターボタンを全押しされた際にＯＮとなるスイッチである。本実施形態の電子カメラ１００は、ＳＷ２ １２２がＯＮになると、撮影スタンバイ動作の結果に基づく本撮影動作を開始する。

動画スイッチ（動画ＳＷ）１２３は、ユーザが電子カメラ１００に動画撮影の開始または終了を指示するためのスイッチである。本実施形態では、動画ＳＷ１２３がＯＮになると動画記録を開始し、動画記録中に再度動画ＳＷ１２３がＯＮになると動画記録を終了するものとする。

予め定めた特徴を有する主被写体を検出する手段としての顔検出部１２４は、画像処理部１１０で処理された画像データに対し、公知の顔検出方法を適用し、主被写体としての人物の顔を検出する。そして、顔検出部１２４は、検出した一つ又は複数の顔についての情報（顔と判断される領域の位置及び大きさ、検出の信頼度。以下まとめて顔情報という）及び、顔情報に基づいて決定した優先順位を、システム制御部１１５に与える。なお、人物の顔の検出方法は、公知の技術を適用可能であり、本発明と直接関係しないため、詳細な説明は省略する。

具体的には、本実施形態における顔検出には、公知の顔検出技術を利用できる。
公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。
具体的な例としては特開２００２−２５１３８０号公報に記載されるような、ウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

また、信頼度についても特に制限はなく、例えば顔と見なされる領域のうち、部位の類似度の合計が閾値以上であれば信頼度が高いといったように、顔と見なすための条件を満たす度合が高い顔領域は信頼度が高いとすることができる。

（全体動作）
以下、図２のフローチャートを参照して、本実施形態の電子カメラの全体的な動作について説明する。
まず、Ｓ２０１で、システム制御部１１５は、メインスイッチ１２０の状態を検出し、ＯＮであれば処理をＳ２０２へ進める。ここで、メインスイッチ１２０の役割は電子カメラ１００に電源を投入したり切断したりすることである。

Ｓ２０２でシステム制御部１１５は、画像記録部１１４を介し、画像記録部１１４に装着されている記録媒体の残容量を取得する。記録媒体が装着されていないか、残容量が０（厳密に０であることに限定されず、実質的に撮影が１枚もできない残容量である場合も含まれる）であるかチェックする。

もし残容量が０であれば処理をＳ２０３へ進め、そうでなければＳ２０４へ処理を進める。Ｓ２０３で、システム制御部１１５は、例えば記録容量が足りない旨の警告メッセージを操作表示部１１７に表示させ、処理をＳ２０１に戻す。なお、Ｓ２０３における警告は、操作表示部１１７にメッセージを表示するか、又は図示しない音声出力部から警告音を出すか、又はその両方により行うことができる。

Ｓ２０４で、システム制御部１１５は、ＡＦモードが顔検出モードであるかどうかを調べ、顔検出モードであれば処理をＳ２０５へ、顔検出モードでなければＳ２０８へそれぞれ進める。

Ｓ２０５でシステム制御部１１５は、顔検出部１２４に顔検出処理の実行を指示する。顔検出部１２４は、画像処理部１１０によって処理された画像データに対して顔検出処理を適用し、顔情報及び顔の優先順位を取得し、システム制御部１１５へ通知する。なお、顔検出部１２４が顔検出を行う画像は、例えば操作表示部１１７をＥＶＦとして機能させるため、逐次撮影された画像から生成される表示用の画像であってよい。また、動画記録中にあっては、実際に記録を行う、表示用画像よりも高解像度の画像に対して顔検出処理を行なっても良い。

Ｓ２０６で、システム制御部１１５は、Ｓ２０５での顔検出処理結果から、顔が検出されたかどうかを調べる。そして、顔が検出されている場合システム制御部１１５は、操作表示部１１７に表示されているＥＶＦ画面上に、検出された顔の領域を示す付加表示を行う。本実施形態では、図８に示したような枠をＥＶＦ画面に重畳表示することにより、顔領域を示すものとする。

また、本実施形態において、システム制御部１１５は、顔検出処理によって検出された顔のうち、優先順位が上からＺ（Ｚは１以上の整数）個までについて枠表示を行う。なお、表示する枠は顔領域の外接四角形であっても良いし、顔領域に含まれる四角形であってもよく、検出された顔領域を厳密に表す形状である必要はない。

Ｓ２０８において、システム制御部１１５は、動画ＳＷ１２３の状態を検出し、ＯＮであればＳ２０９へ、ＯＦＦであれば処理をＳ２１３へ処理を進める。

Ｓ２０９で、システム制御部１１５は動画記録を開始する。Ｓ２１０で、システム制御部１１５は、ＡＦ処理部１０５を制御し、後述する図３のフローチャートに従ってContinuousAFを行う。Ｓ２１１でシステム制御部１１５は、動画ＳＷ１２３の状態を検出し、ＯＮであればＳ２１２へ、ＯＮでなければＳ２１０へ処理を進める。

また、Ｓ２１１では、画像記録部１１４に装着されている記録媒体の残容量を調べ、残容量が０であればＳ２１２へ、残容量が０でなければＳ２１０へと処理を進める。
Ｓ２１２でシステム制御部１１５は、動画記録を終了して処理をＳ２０１へ戻す。

Ｓ２０８で動画ＳＷ１２３がＯＦＦの場合、Ｓ２１３でシステム制御部１１５は、ＡＦモードがContinuousAFモードであるかSingleAFモードであるかを調べる。そして、ContinuousAFモードであればＳ２１４へ、SingleAFモードであればＳ２１５へそれぞれ処理を進める。Ｓ２１４でシステム制御部１１５はＡＦ処理部１０５を制御し、後述する図３のフローチャートに従ったContinuousAFを実行する。

Ｓ２１５ではＳＷ１ １２１の状態を調べ、ＯＮであればＳ２１６へ処理を進め、そうでなければＳ２０１へと処理を戻す。Ｓ２１６で、システム制御部１１５は、ＡＥ処理部１０３に対し、画像処理部１１０の出力する画像データに基づいてＡＥ処理を行うよう指示する。これにより、ＡＥ処理部１０３は適切な絞り及びシャッタースピードの値を決定する。

さらに、Ｓ２１７でシステム制御部１１５は、後述する図６のフローチャートに従ってＡＦ処理部１０５を制御し、ＡＦ動作を行う。Ｓ２１８でシステム制御部１１５はＳＷ２ １２２の状態を調べる。そして、ＯＮであればＳ２１９へ、そうでなければＳ２２０へそれぞれ処理を進める。

Ｓ２１９でシステム制御部１１５は、後述する図７のフローチャートに従って撮影動作の制御を行う。Ｓ２２０でシステム制御部１１５はＳＷ１ １２１の状態を調べ、ＯＦＦであればＳ２０１へ戻す。また、ＯＮであれば処理をＳ２１８へ戻し、ＳＷ２ １２２がＯＮされるかＳＷ１ １２１がＯＦＦされるまでフォーカスをロックする。

（continuousAF動作）
以下、図２のフローチャートにおけるＳ２１０及びＳ２１３で行うContinuousAF処理についてさらに説明する。
図３は、本実施形態の電子カメラにおけるContinuousAF処理の詳細を示すフローチャートである。

Ｓ３０１で、システム制御部１１５は、後述する図４のフローチャートに従って焦点検出領域（以下AF枠と記す）を設定する。Ｓ３０２でシステム制御部１１５は、設定したAF枠における焦点評価値（例えばコントラスト値）を取得する。Ｓ３０３でシステム制御部１１５は、顔が検出されたかどうかを調べ、顔が検出されていればＳ３０５へ、顔が検出されていなければＳ３０４へ処理を進める。

Ｓ３０４でシステム制御部１１５は、後述する焦点検出領域の設定処理において使用する基準評価値を取得する必要があるか否かを示す「基準取得フラグ」の値がTRUEであるかどうかを調べる。そして、TRUEであればＳ３０５へ、FALSEであればＳ３０６へと処理を進める。

Ｓ３０５でシステム制御部１１５は、Ｓ３０２で取得した「焦点評価値」を「基準評価値」として、図示しない内蔵演算メモリに記憶する。また、基準取得フラグの値をFALSEとする。

Ｓ３０６でシステム制御部１１５は、ピーク検出フラグの値がTRUEであるかどうかを調べ、TRUEであればＳ３２３へ、FALSEであればＳ３０７へ処理を進める。
Ｓ３０７でシステム制御部１１５は、ＡＦ処理部１０５を通じてフォーカスレンズ１０４の現在位置を取得する。

Ｓ３０８でシステム制御部１１５は、焦点評価値の取得及びフォーカスレンズ１０４の現在位置の取得回数を計数するため、取得カウンタの値に１を加える。なお、取得カウンタは例えばＤＲＡＭ１１３の特定アドレスの値であってよく、図示しない初期化動作において予め０に初期化されているものとする。

Ｓ３０９でシステム制御部１１５は、取得カウンタの値が１かどうかを調べ、取得カウンタの値が１ならＳ３１２へ、取得カウンタの値が１でなければＳ３１０へそれぞれ処理を進める。

Ｓ３１０でシステム制御部１１５は、「今回の焦点評価値」が「前回の焦点評価値」」よりも大きいかどうかを調べる。そして、「今回の焦点評価値」が「前回の焦点評価値」よりも大きければＳ３１１へ、そうでなければＳ３１８へ処理を進める。

Ｓ３１１でシステム制御部１１５は、「今回の焦点評価値」が「前回の焦点評価値」よりも増加した回数を計数する増加カウンタの値に１を加える。この増加カウンタは、取得カウンタと同様、ＤＲＡＭ１１３の特定アドレスの値であって良く、また図示しない初期化動作において予め０に設定されているものとする。

Ｓ３１２でシステム制御部１１５は、「今回の焦点評価値」を焦点評価値の最大値（ピーク評価値）として図示しない内蔵演算メモリに記憶する。
Ｓ３１３では、フォーカスレンズ１０４の現在の位置を焦点評価値のピーク値に対応する位置としてシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。

Ｓ３１４でシステム制御部１１５は、「今回の焦点評価値」を「前回の焦点評価値」として内蔵演算メモリに記憶する。
Ｓ３１５でシステム制御部１１５は、フォーカスレンズ１０４の現在位置が焦点検出範囲（フォーカスレンズ１０４の駆動範囲）範囲の端にあるかどうかを調べる。フォーカスレンズ１０４の現在位置が焦点検出範囲の端にあれば、Ｓ３１６へ、そうでなければＳ３１７へ処理を進める。

Ｓ３１６でシステム制御部１１５は、フォーカスレンズ１０４の移動方向の反転をＡＦ処理部１０５へ通知する。
Ｓ３１７でシステム制御部１１５は、後述する「顔検出フラグ」と「顔追尾フラグ」の値がともにTRUEであるかどうかを調べ、ともにTRUEであればＳ３１９へ、そうでなければＳ３１８へと処理を進める。

Ｓ３１８でシステム制御部１１５は、フォーカスレンズ１０４の単位時間当たりの移動量、即ち移動速度を第１の値Ａに設定してＳ３２０へ処理を進める。
Ｓ３１９でシステム制御部１１５は、フォーカスレンズ１０４の単位時間当たりの移動量、即ち移動速度を第２の値Ｂに設定してＳ３２０へ処理を進める。

ここで、Ｓ３１８で設定する第１の値（第１の速度）ＡとＳ３１９で設定する第２の値（第２の速度）Ｂは、例えばＡ＞Ｂとなるように設定する。Ｓ３１９に移行するのは、「顔検出フラグ」と「顔追尾フラグ」の値がともにTRUEである場合なので、フォーカスレンズ１０４の移動速度を大きくしない方が主被写体に合焦した状態を維持しやすいからである。場合によっては、第２の値Ｂを０に設定しても良い。この場合、主被写体に合焦した状態で焦点位置を固定することができる。

Ｓ３２０でシステム制御部１１５は、ＡＦ処理部１０５を制御し、フォーカスレンズ１０４を、Ｓ３１８又はＳ３１９で設定された量だけ移動させる。
Ｓ３２１でシステム制御部１１５は、「焦点評価値の最大値−今回の焦点評価値」が所定値より大きいかどうかを調べる。そして、「焦点評価値の最大値−今回の焦点評価値」が所定値より大きければＳ３２２へ、そうでなければＳ３１４へ処理を進める。

Ｓ３２２でシステム制御部１１５は、増加カウンタの値が０より大きいかどうかを調べ、０より大きければＳ３１４へ、０であればＳ３２３へと処理を進める。ここで、前回までの焦点評価値が増加し続けたあと、「焦点評価値の最大値−今回の焦点評価値」が所定値より大きくなった場合、即ち今回の焦点評価値が最大値から所定値より大きく減少していれば、その時点における焦点評価値の最大値をピーク位置の値とみなす。

Ｓ３２３でシステム制御部１１５は、ＡＦ処理部１０５を制御し、フォーカスレンズ１０４を、焦点評価値が最大値となったピーク位置へ移動させる。
Ｓ３２４でシステム制御部１１５は、ピーク検出フラグの値をTRUEとする。
Ｓ３２５でシステム制御部１１５は、取得カウンタの値を０とする。
Ｓ３２６でシステム制御部１１５は、ピーク位置を検出してフォーカスを固定していることを示す「フォーカス停止フラグ」の値をTRUEにしてＳ３２７へ処理を進める。

Ｓ３２７でシステム制御部１１５は、今回の焦点評価値が焦点評価値の最大値に対して所定割合以上変動したかどうかを調べ、所定割合以上の大きな変動をしていればＳ３２９へ、所定割合未満の変動であればＳ３２８へ処理を進める。

Ｓ３２８でシステム制御部１１５は、フォーカスレンズ１０４の位置をそのまま保持するようにＡＦ処理部１０５を制御する。
Ｓ３２９でシステム制御部１１５は、焦点評価値が最大となるフォーカスレンズ位置を再び求め直すため、ピーク検出フラグの値をFALSE、フォーカス停止フラグの値をFALSEとする。さらに、システム制御部１１５は、演算メモリに記憶した焦点評価値の最大値およびピーク位置をリセットする。

Ｓ３３０でシステム制御部１１５は、増加カウンタの値を０にリセットしてＳ３１７へ処理を進める。
以上のようにして、本実施形態の電子カメラ１００は、ContinuousAF動作時には、設定されたAF枠内において常に合焦状態となるよう、フォーカスレンズ１０４を移動させ焦点調節する。これにより、主被写体を検出できなくなった場合のフォーカスレンズの移動速度は主被写体が検出できている場合に比べて遅くなるもしくは停止する。具体的には、上述したように単位時間あたりのフォーカスレンズの移動量の設定が、顔検出ができたか否かに応じて、できなかった場合の方が小さくなる。よって、主被写体が検出できなくなった場合でも、合焦位置の大幅な変化を抑制でき、画質劣化を防ぐことができる。

（ContinuousAF枠設定処理）
次に、上述したContinuousAF動作におけるＳ３０１で実施するAF枠設定動作について説明する。
図４は、本実施形態の電子カメラにおけるContinuousAF枠設定処理の詳細を示すフローチャートである。

Ｓ４０１でシステム制御部１１５は、顔検出部１２４によって顔が検出されているかどうかを調べる。そして、顔が検出されていればＳ４０２へ、顔が検出されていなければＳ４０４へ処理を進める。

Ｓ４０２でシステム制御部１１５は、最新の顔検出処理結果で得られた顔情報において、優先順位が最も高い顔（以下、主顔と記す）の位置に、１つのAF枠を設定する。図５（ａ）は、検出された顔が１つであり、検出された顔＝主顔である場合において、Ｓ４０２で設定されるAF枠５０１の例を示す図である。このとき、フォーカスレンズ１０４の移動速度は、システム制御部１１５により、前述した第１の速度Ａに設定されることとなる。

なお、図５においては説明のためにAF枠を画像上に示しているが、Ｓ２０７において説明した、検出された顔を示すための表示とは異なり、AF枠は表示されない点に注意されたい。

本実施形態において、AF枠５０１は画面を構成する長方形と平行な辺を有する正方形状であり、その中心は、検出した主顔の中心（顔領域の重心位置）でも、顔領域中の両目間の中心位置でもよい。また、垂直方向及び水平方向の大きさWIDは、検出された主顔の顔領域の大きさに基づいて決定する。

Ｓ４０３でシステム制御部１１５は、顔が検出されたことを示す「顔検出フラグ」の値をTRUEにするとともに、後述する「顔追尾フラグ」の値をFALSEとする。さらにシステム制御部１１５は、顔の検出ができない状態となってからの焦点評価値の取得回数をカウントする「顔NGカウンタ」の値を０にクリアし、図３のＳ３０２へ処理を進める。

このように、顔が検出されている期間は、常に主顔位置に１つのAF枠を設定してContinuousAFを行うので、主顔に合焦させ続けることができる。
一方、Ｓ４０１において顔が検出されていない場合、Ｓ４０４でシステム制御部１１５は、顔検出フラグの値がTRUEかどうかを調べる。そして、顔検出フラグの値がTRUEであればＳ４０６へ、顔検出フラグの値がFALSEであればＳ４０５へ処理を進める。

Ｓ４０５でシステム制御部１１５は、例えば図８（ｂ）に示したように、画面の中央部分に１つのAF枠を設定し、顔検出フラグの値をFALSEとして図３のＳ３０２へ処理を進める。これにより、顔が検出されず、かつ顔の位置が推定できない場合は、主被写体が存在する可能性が大きいと考えられる画面中央位置にAF枠を設定する。このとき、フォーカスレンズ１０４の移動速度は、システム制御部１１５により、前述した第１の速度Ａに設定されることとなる。

Ｓ４０４で顔検出フラグの値がTRUEの場合、システム制御部１１５はＳ４０６で、フォーカス停止フラグの値がTRUEであるかどうかを調べ、TRUEであればＳ４２２へ、FALSEであればＳ４０７へ処理を進める。

以下説明するＳ４０７からＳ４２１の処理は、
１）直近の顔検出結果より設定したAF枠の焦点評価値を、図３のＳ３０５において取得した基準評価値と比較することにより顔移動を検出する「顔移動検出動作」及び
２）顔移動が検出された後、基準評価値と略同等な焦点評価値を示すAF枠を、顔の移動先AF枠と判定する「顔追尾動作」に関する。

なお、この顔追尾動作を行っている際、顔追尾フラグの値がTRUEとなる。
Ｓ４０７でシステム制御部１１５は、顔追尾フラグの値がTRUEとなっているかどうかを調べ、顔追尾フラグの値がTRUEであればＳ４１０へ、FALSEであればＳ４０８へ処理を進める。

Ｓ４０８でシステム制御部１１５は、前回設定したAF枠位置、つまり直近に顔が検出された際に設定したAF枠を基準として、その近傍領域に複数のAF枠（多枠）を設定する。本実施形態では、近傍領域を画像の一部である方形領域とし、かつＮ×Ｍ個（Ｎ，Ｍは何れも１以上の整数であり、かつ少なくとも一方は２以上）の同一形状に分割した構成を有する複数の焦点検出領域を設定するものとする。なお、この複数の焦点検出領域には、直近に顔が検出された際に設定された焦点検出領域が含まれるように分割を行う。従って、複数の焦点検出領域はいずれも、直近に顔が検出された際に設定された焦点検出領域と等しい形状及び大きさを有する。

図５（ｂ）は、図５（ａ）の状態から主被写体が顔の向きを変えたことにより、顔が検出されなくなり、Ｓ４０８で複数のAF枠が設定された状態の例を示している。直近に顔が検出された際に設定されたAF枠５０１を基準AF枠とし、基準AF枠を取り囲むように８個のAF枠を設定し、合計９個（Ｎ=３、Ｍ=３）のAF枠５０２を設定した例を示している。

Ｓ４０９でシステム制御部１１５は、顔追尾フラグの値をTRUEとする。このとき、フォーカスレンズ１０４の移動速度は、システム制御部１１５により、前述した第２の速度Ｂに設定されることとなる。
Ｓ４１０でシステム制御部１１５は、後述するＳ４１２でカウントされる焦点評価値の変化カウンタが所定値であるか調べる。そして、変化カウンタが所定値であればＳ４１４へ、そうでなければＳ４１１へ処理を進める。

Ｓ４１１でシステム制御部１１５は、Ｓ４０８で設定した複数のAF枠ではなく、その前に設定されていたAF枠（即ち、基準AF枠）に対する焦点評価値を取得する。そして、基準評価値に対して評価値変化閾値として設定される所定割合以上変化しているか調べ、所定割合以上変化していればＳ４１２へ、そうでなければＳ４１３へ処理を進める。

Ｓ４１２でシステム制御部１１５は、焦点評価値が基準評価値に対して所定割合以上変化した連続回数をカウントする「変化カウンタ」の値に１を加える。
Ｓ４１３でシステム制御部１１５は、所定割合以上の変化がないため、変化カウンタを０にクリアする。

これにより、例えば図５（ｂ）に示す状態から実際に主被写体が移動し、図５（ｃ）に示す状態となった場合、基準AF枠５０１の焦点評価値が大きく（所定割合以上）変化することとなり、主顔が移動したと判断することができる。

本実施形態では、Ｓ４１０の処理で説明したように、所定回数連続して基準AF枠における焦点評価値が基準評価値に対して大きく変化した場合に、主顔が移動したと判断する。この所定回数は、少なすぎると短時間の移動に対しても反応し、多すぎると追従性が低下するため、例えば経験的に適切な値を適宜定めることができる。

Ｓ４１４でシステム制御部１１５は、ＡＦ処理部１０５を制御してフォーカスレンズ１０４の現在位置を中心に微小な範囲移動させながら、Ｓ４０８で設定した複数のAF枠の各々についての焦点評価値を取得する。焦点評価値は、例えば、ＤＲＡＭ１１３に順次記憶される撮影画像データのうち、AF枠に対応する領域の画素データのコントラスト値を求めることにより取得することができる。

Ｓ４１５でシステム制御部１１５は、各AF枠について、Ｓ４１４の処理において取得した複数の焦点評価値が、所定値以上のピーク値を含むか否かにより、合焦したAF枠があるか否か判定する。

Ｓ４１６でシステム制御部１１５は、複数のAF枠のうち、合焦したと判断されるAF枠の有無を調べ、合焦したと判断されるAF枠があればＳ４１７へ、そうでなければＳ４０５へ処理を進める。

Ｓ４１７でシステム制御部１１５は、主顔の移動先と思われるAF枠を判別する。具体的には、合焦したと判断される各AF枠のうち、基準評価値に最も近い焦点評価値のピーク値が得られたAF枠、あるいは基準評価値に対する変化割合が最も小さいピーク値が得られたAF枠を、主顔の移動先と思われるAF枠と判別する。

Ｓ４１８でシステム制御部１１５は、Ｓ４１７で選択されたAF枠の焦点評価値のピーク値が、主顔の移動先と判別するための基準を満たすか調べる。具体的には、Ｓ４１７で選択されたAF枠の焦点評価値のピーク値の、基準評価値に対する変化割合が、顔評価値判定閾値として設定される所定割合以内であるか調べる。そして、所定割合以内の変化量であれば、選択されたAF枠が主顔の移動先と思われるAF枠であると判別してＳ４１９へ進み、そうでなければＳ４０５へ進む。

Ｓ４１９でシステム制御部１１５は、主顔の移動先AF枠と判別されたAF枠を、新たな基準AF枠として、Ｓ４０８と同様にＮ×Ｍ個のAF枠を再設定する。
Ｓ４２０でシステム制御部１１５は基準取得フラグの値をTRUEとし、さらにＳ４２１でシステム制御部１１５は変化カウンタの値を０にクリアする。

このような処理により、例えば、図５（ｂ）から図５（ｃ）のように主被写体が移動した場合でも、顔の移動と移動先と思われるAF枠を判別して、図５（ｄ）に示すように新たな基準AF枠５０１’とAF枠５０２’を再設定することが可能となる。

そのため、顔が検出されなくなった後、さらに主被写体が移動した場合であっても、顔位置にAF枠を設定し続けることができる可能性を高めることが可能となる。その結果、合焦位置が顔から外れにくくなる。また、直近に顔が検出された際に設定されたAF枠を基準としてその近傍領域に複数のAF枠を設けるため、AF枠の数をそれほど増加させる必要がなく、AF枠毎に焦点評価値を求める処理の負荷の増加は小さくて済む。

Ｓ４０６において、フォーカス停止フラグの値がFALSEだった場合、Ｓ４２２でシステム制御部１１５は、AF枠の設定を変更せずにＳ４２３へ処理を進める。
Ｓ４２３でシステム制御部１１５は、顔の検出ができない状態となってからの焦点評価値の取得回数を計数する顔ＮＧカウンタの値に１を加えてＳ４２４へ処理を進める。

Ｓ４２４でシステム制御部１１５は、顔ＮＧカウンタが所定値以上であるか調べ、所定値以上であれば被写体が画面内にいなくなったと判断し、Ｓ４０５で画面中央にAF枠を設定する。
これにより、顔が検出された後、所定回数以上、顔が検出されなくなった場合には、画面内から顔がなくなったと判断して、顔追尾動作を中止することができる。このとき、フォーカスレンズ１０４の移動速度は、システム制御部１１５により、前述した第１の速度Ａに設定されることとなる。

なお、動画記録中のContinuousAF動作（Ｓ２１０）と、静止画撮影前のContinuousAF動作（Ｓ２１４）とでは、各種の閾値を変えても良い。具体的には、図４のＳ４１０における変化カウンタ閾値、Ｓ４１１における評価値変化閾値、Ｓ４１８における顔評価値判定閾値、Ｓ４２４における顔ＮＧカウンタ閾値を変えてもよい。

（ＡＦ動作）
次に、図６に示すフローチャートを参照して、本実施形態の電子カメラ１００が図２のＳ２１７で実施するAF動作の詳細について説明する。
まず、Ｓ６０１においてシステム制御部１１５はContinuousAF動作中であるか調べ、ContinuousAF動作中であればＳ６０２へ、そうでなければＳ６０４へ処理を進める。

Ｓ６０２でシステム制御部１１５は、ピーク検出フラグの値がTRUEであるか調べ、TRUEであればＳ６０３へ、そうでなければＳ６０４へ処理を進める。
Ｓ６０３でシステム制御部１１５は、現在位置を中心として予め定められている焦点検出範囲（レンズ駆動範囲）の全域よりも狭い範囲でフォーカスレンズ１０４を移動させるようＡＦ処理部１０５を制御する。これは、ContinuousAF動作を行っていることから、既に合焦に近い状態にあると考えられるためである。

一方、Ｓ６０４でシステム制御部１１５は、焦点検出範囲の全域でフォーカスレンズ１０４を移動させるようにＡＦ処理部１０５を制御する。
Ｓ６０５でシステム制御部１１５は、フォーカスレンズ１０４を移動させながら順次取得した焦点評価値のうち、所定値以上のピーク値が得られたか否かにより合焦判定を行う。

Ｓ６０６でシステム制御部１１５は、Ｓ６０５において合焦したと判定されたか否かを調べ、合焦であればＳ６０７へ、そうでなければＳ６０８へ処理を進める。
Ｓ６０７でシステム制御部１１５は、焦点評価値が所定値以上のピーク値を示したときのフォーカスレンズ１０４の位置、すなわち合焦位置を算出する。そして、ＡＦ処理部１０５を制御し、フォーカスレンズ１０４を合焦位置に移動させる。

また、システム制御部１１５は、合焦した焦点検出領域を表す表示、例えば焦点検出領域を示す枠を、ＥＶＦ表示用画像に重畳して操作表示部１１７に表示させる。
Ｓ６０８でシステム制御部１１５は、焦点検出範囲の全域に渡って焦点評価値を取得したか否かを調べ、行っていなければ焦点検出範囲全域について焦点評価値を取得するため、Ｓ６０４へ処理を戻す。一方、既に焦点検出範囲全域に対する焦点評価値を取得済であれば、Ｓ６０９へ処理を進める。

Ｓ６０９でシステム制御部１１５は、合焦位置が取得できなったため、ＡＦ処理部１０５を制御し、定点と呼ばれるあらかじめ設定された位置へフォーカスレンズ１０４を移動させる。

（撮影動作）
次に、図７に示すフローチャートを参照して、本実施形態の電子カメラ１００が図２のＳ２１９で実施する撮影動作の詳細について説明する。
Ｓ７０１でシステム制御部１１５は、被写体輝度を測定する。

Ｓ７０２でシステム制御部１１５は、Ｓ７０１で測定した被写体輝度に応じ、ＡＥ処理部１０３を制御して適切な絞り値及びシャッタースピードで、撮像素子１０８への露光を行う。撮像素子１０８上に結像された像は光電変換されてアナログ信号となり、Ｓ７０３にてＡ／Ｄ変換部１０９へと送られ、撮像素子１０８の出力ノイズ除去や非線形処理などの前処理の後にデジタル信号に変換される。
そして、Ｓ７０４において、画像処理部１１０により、Ａ／Ｄ変換部１０９からの出力信号を適正な出力画像信号とする。

Ｓ７０５ではフォーマット変換部１１２により、画像処理部１１０の出力画像信号をＪＰＥＧフォーマット等への画像フォーマットへ変換し、ＤＲＡＭ１１３に一時記憶する。Ｓ７０６で画像記録部１１４が、ＤＲＡＭ１１３から画像データを読み出し、装着された記録媒体へ記録する。

なお、図４のステップＳ４２４において、所定回数以上、顔検出に失敗して複数の焦点検出領域の設定を繰り返した場合には、顔追従を停止して、画面の中央に焦点検出領域を設定する構成とした。しかしながら、これに限らず、予め決められた時間以上経過しても顔検出に失敗した場合に顔追従を停止して、画面の中央に焦点検出領域を設定するようにしてもよい。

また、上述では撮像画像に基づいて被写体の顔を検出して、検出された顔領域を基に主被写体を決定し主被写体に対応する焦点検出領域を設定し、その焦点検出領域における撮像画像を基に焦点評価値を演算して焦点調節を行う構成とした。しかしながら、これに限定されるものではない。

例えば、顔検出した領域に対応する位相差検出センサの焦点検出領域においてフォーカスレンズ１０４のデフォーカス量を検出して、焦点調節を行う構成としてもよい。この場合にも、主被写体の顔が検出できなくなった場合には、以前に顔検出できたときの主被写体位置とその周辺に対応する位相差検出センサの焦点検出領域においてフォーカスレンズ１０４のデフォーカス量をそれぞれ検出する。そして、顔検出ができた場合に比べて顔検出ができなくなった場合のフォーカスレンズ１０４の移動速度を遅く、即ち単位時間当たりの移動量を小さく設定する。これにより、顔が検出されなくなっても、検出された合焦位置が実際に顔のある距離に対応するレンズ位置から大きく外れることを防止できる。

また、上述では顔検出がＯＫで主顔位置にＡＦ枠が設定された場合のフォーカスレンズ１０４の移動速度、即ち単位時間当たりの移動量は、システム制御部１１５により、前述した第１の値Ａに設定される構成とした。そして、顔検出がＮＧであり顔追尾フラグがＴＲＵＥの場合のフォーカスレンズ１０４の移動速度、即ち単位時間当たりの移動量は、システム制御部１１５により、前述した第２の値Ｂに設定される構成とした。また、予め設定された位置（例えば画面の中央）にＡＦ枠が設定された場合のフォーカスレンズ１０４の単位時間当たりの移動量は、システム制御部１１５により、前述した第１の値Ａに設定される構成とした。

しかしながらこれに限るものではない。例えば、顔検出がＯＫの場合と、予め設定された位置にＡＦ枠が設定された場合とで、フォーカスレンズ１０４の単位時間当たりの移動量を異ならせてもよい。このとき、顔検出がＯＫの場合や、予め設定された位置にＡＦ枠が設定された場合のフォーカスレンズ１０４の単位時間当たりの移動量よりも、顔検出がＮＧで顔追尾フラグがＴＲＵＥの場合のフォーカスレンズ１０４の単位時間当たりの移動量を小さく設定する。換言すれば、フォーカスレンズ１０４の移動速度を前者より後者を遅く設定する。これにより、検出された合焦位置が、主被写体のある距離に対応するレンズ位置から大きく外れることを防止できる。

また、顔検出フラグがＴＲＵＥでない場合や、合焦枠がない場合や、選択したＡＦ枠の焦点評価値が条件を満たさない場合や、顔追尾の状態が長く続いた場合等には、中央にＡＦ枠を設定する構成とした。このときのＡＦ枠の設定は、１点枠を設定してもよいし複数枠を設定してもよい。

以上説明したように、本実施形態によれば、主被写体の検出結果に応じて焦点検出領域を設定する自動合焦装置において、主被写体が検出されていた状態から検出されない状態になった場合、主被写体の移動先らしい領域を探索して、焦点検出領域を設定する。具体的には、主被写体の検出ができ焦点検出領域が設定された後に主被写体の検出ができなくなった場合に、検出できた場合に比べて検出できなくなった場合の方が、フォーカスレンズの移動速度を遅くする。また、検出できなくなった場合と、主被写体が画面内からいなくなったと判断して画面中央に焦点検出領域を設定した場合とを比べると、主被写体が画面内からいなくなったと判断された場合の方が、フォーカスレンズの移動速度を速くする。そのため、主被写体が検出されなくなっても、検出された合焦位置が主被写体のある距離に対応するレンズ位置から大きく外れることを防止できる。また、主被写体が検出できている場合もしくは主被写体が画面内からいなくなったと判断された場合には追従性よくユーザの意図する被写体にピントを合わせることができる。

Claims (9)

1. 撮像されて得られた画像から合焦すべき被写体像を検出する検出手段と、
   フォーカスレンズを移動させて焦点調節を行う焦点調節手段とを有し、
   前記焦点調節手段は、前記検出手段による合焦すべき被写体像の検出ができた後に前記検出手段による前記合焦すべき被写体像の検出ができなくなった場合、前記合焦すべき被写体像が画面内に存在しないと判断されるまでは、前記フォーカスレンズを第１の速度で移動させながら前記合焦すべき被写体像の追尾動作を行い、前記検出手段による前記合焦すべき被写体像の検出ができず前記合焦すべき被写体像が画面内に存在しないと判断された場合、前記合焦すべき被写体像の追尾動作を中止するとともに前記フォーカスレンズを前記第１の速度よりも速い第２の速度で移動させることを特徴とする自動合焦装置。
2. 前記検出手段による前記合焦すべき被写体像の検出ができず前記合焦すべき被写体像が画面内に存在しないと判断された場合とは、前記検出手段による合焦すべき被写体像の検出ができなくなってから、前記検出手段による合焦すべき被写体像の検出がなされずに予め決められた時間以上経過した場合であることを特徴とする請求項１に記載の自動合焦装置。
3. 前記検出手段による前記合焦すべき被写体像の検出ができず前記合焦すべき被写体像が画面内に存在しないと判断された場合とは、前記検出手段による前記合焦すべき被写体像の検出ができなくなってから、予め決められた回数以上、前記検出手段による前記合焦すべき被写体像の検出ができなかった場合であることを特徴とする請求項１に記載の自動合焦装置。
4. 前記フォーカスレンズの合焦状態を検出する際の焦点検出領域を設定する設定手段をさらに有し、
   前記設定手段は、前記検出手段による前記合焦すべき被写体像の検出ができ、前記合焦すべき被写体像に対応した第１の焦点検出領域が設定された後に当該検出ができなくなった場合、前記第１の焦点検出領域の他に前記第１の焦点検出領域の位置に応じた第２の焦点検出領域を設定することを特徴とする請求項１乃至３のいずれか１項に記載の自動合焦装置。
5. 前記焦点調節手段は、前記検出手段による前記合焦すべき被写体像の検出ができた場合、前記焦点検出領域における画像に基づく前記フォーカスレンズの移動可能な速度を前記第１の速度より速い第３の速度とし、前記検出手段による合焦すべき被写体像の検出ができた後に前記検出手段による合焦すべき被写体像の検出ができなくなった場合には、前記合焦すべき被写体像の追尾動作に移行し、前記合焦すべき被写体像の追尾動作中は、前記フォーカスレンズの移動可能な速度を前記第１の速度とすることを特徴とする請求項４に記載の自動合焦装置。
6. 前記検出手段は、前記合焦すべき被写体像である顔の位置、大きさ、信頼度の少なくともいずれかを検出することを特徴とする請求項１乃至５のいずれか１項に記載の自動合焦装置。
7. 被写体像を光電変換して画像を出力する撮像手段と、
   前記撮像手段を用いて得られた前記画像を記録媒体に記録するよう制御する記録手段と、
   前記撮像手段で撮像されて得られた画像を用いる請求項１乃至６のいずれか１項に記載の自動合焦装置とを有することを特徴とする撮像装置。
8. 撮像されて得られた画像から合焦すべき被写体像を検出し、フォーカスレンズを移動させて焦点調節を行う自動合焦装置の制御方法であって、
   前記合焦すべき被写体像の検出ができた後に前記合焦すべき被写体像の検出ができなくなった場合、前記合焦すべき被写体像が画面内に存在しないと判断されるまでは、前記フォーカスレンズを第１の速度で移動させながら前記合焦すべき被写体像の追尾動作を行い、前記合焦すべき被写体像の検出ができず前記合焦すべき被写体像が画面内に存在しないと判断された場合、前記合焦すべき被写体像の追尾動作を中止するとともに前記フォーカスレンズを前記第１の速度よりも速い第２の速度で移動させることを特徴とする自動合焦装置の制御方法。
9. 前記合焦すべき被写体像の検出ができた場合、焦点検出領域における画像に基づく前記フォーカスレンズの移動可能な速度を前記第１の速度より速い第３の速度とし、前記合焦すべき被写体像の検出ができた後に前記合焦すべき被写体像の検出ができなくなった場合には、前記合焦すべき被写体像の追尾動作に移行し、前記合焦すべき被写体像の追尾動作中は、前記フォーカスレンズの移動可能な速度を前記第１の速度とすることを特徴とする請求項８に記載の自動合焦装置の制御方法。

Images