JP5761984B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は焦点調節機能を有するデジタルカメラなどに適用される撮像装置、およびその制御方法に関するものである。

従来から、電子スチルカメラやビデオカメラなどではオートフォーカス（以下、ＡＦという）を行う場合、ＣＣＤ（電荷結合素子）などを用いた撮像素子から得られる輝度信号の高域周波数成分が最大になるレンズ位置を合焦位置とする方式が用いられている。

この方式の一つとして次のスキャン方式が知られている。焦点検出範囲においてレンズを移動させながら撮像素子内の焦点検出領域（以下、ＡＦ枠という）から得られる輝度信号の高域周波数成分に基づく評価値（以下、ＡＦ評価値と言う）をその都度に記憶していく。ＡＦ枠内のコントラストが高い、また、ＡＦ枠の大きさが大きい場合は、ＡＦ評価値は大きくなる。そして、記憶した値のうち、その極大値に相当するレンズ位置（以下、ピーク位置という）を合焦位置とするスキャン方式である。ここで、合焦位置とは被写体にピントがあうと想定されるレンズ位置のことである。

しかし、低照度の場合や被写体のコントラストが低い場合にはＳ／Ｎ比が悪化するため、ノイズの影響によってＡＦ評価値の値がランダムに変動し、それに伴いＡＦ評価値のピーク位置の算出精度も悪化するという問題がある。また、ＡＦ枠内に合焦させたい被写体（以下、主被写体という）と背景が混在する場合は、背景の影響によってピーク位置が遠側寄りになってしまうという問題もある。このような状況を背景抜けという。

そこで、Ｓ／Ｎ比の悪化および背景抜けによる影響がある場合においても合焦精度を向上させるために、次の方法が開示されている。特許文献１においては、顔に設定したＡＦ枠でのピーク位置と顔の大きさから推定した被写体の距離（以下、推定距離と記す）の差分をとり、その差分が小さい場合は顔での合焦位置と推定距離の平均位置を合焦位置する方法をとっている。また、特許文献２では複数のＡＦ枠を設定し、ＡＦ評価値のレベルが低い場合においては各ＡＦ枠でのピーク位置の差分が所定の範囲内であるかという条件を調べ、条件を満たすＡＦ枠のＡＦ評価値から合焦位置を決定する方法をとっている。

特開２００７−２６３９２６号公報 特開２００８−０７６７８６号公報

しかしながら、特許文献１においては、顔でのピーク位置と推定距離の差分が大きい場合は正しい被写体位置を判定できないため、合焦位置を決定することができない。また、特許文献２においては、複数のＡＦ枠で同時に背景抜けをしてしまうなどの複数のＡＦ枠で同時に誤測距が起きた場合は、誤測距した位置を合焦位置としてしまう。

本発明の目的は、低照度時や被写体が低コントラスト時でのＳ／Ｎ比の悪化および背景抜けの影響を軽減し、測距結果や推定距離に誤りを含む場合においても合焦精度を向上させることである。

上記目的を達成するために、本発明の技術的特徴としては、フォーカスレンズを介して入射した被写体光を撮像して当該被写体の撮像画像を取得する撮像手段を有する撮像装置の制御方法であって、前記撮像画像から被写体の顔を検出する顔検出工程と、前記フォーカスレンズの合焦状態を検出する際の焦点検出領域として、前記被写体の顔が存在する第１の焦点検出領域と、前記被写体の顔の位置から見て前記被写体の体が位置すると予測される第２の焦点検出領域とを設定する設定工程と、前記焦点検出領域における信号出力に基づいて前記フォーカスレンズを移動させて焦点調節を行う焦点調節工程と、前記顔検出工程により得られた前記被写体の顔情報に基づいて、前記撮像手段から前記被写体までの被写体距離を推定する距離推定工程とを有し、前記焦点調節工程では、前記第１の焦点検出領域における信号出力に基づく前記フォーカスレンズの合焦位置と前記距離推定工程により推定された被写体距離に対応する前記フォーカスレンズの位置のいずれか一方を基準位置とし、当該基準位置と前記設定手段により設定された焦点検出領域における信号出力に基づく前記フォーカスレンズの合焦位置とに基づいて前記フォーカスレンズを移動させて焦点調節を行うことを特徴とする。

本発明によれば、低照度時・低コントラスト時のＳ／Ｎ比による悪化の影響および背景抜けの影響を軽減して合焦位置の精度を向上させることができる。

本発明を適用した撮像装置の構成を示すブロック図である。 ＡＦ動作を表すフローチャート図である。 図２における枠設定のサブルーチンを説明するフローチャート図である。 顔未検出時のＡＦ枠設定を説明する図である。 顔検出時のカメラ横位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ横位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ横位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ横位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ横位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ縦位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ縦位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ縦位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ縦位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ縦位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ縦位置撮影時のＡＦ枠設定を説明する図である。 顔検出時のカメラ縦位置撮影時のＡＦ枠設定を説明する図である。 図２、１２における合焦判定のサブルーチンを説明する図である。 図２における合焦位置の決定のサブルーチンを説明するフローチャート図である。 図８における基準選択のサブルーチンを説明するフローチャート図である。 図９における大外れ時信頼性判定・中外れ時信頼性判定について説明する図である。 図８における枠選択のサブルーチンを説明するフローチャート図である。 図８における枠加算のサブルーチンを説明するフローチャート図である。

以下、図面を用いながら実施例を説明する。図１は本発明を適用した撮像装置の構成を示すブロック図である。

＜装置の構成＞
１０１はズーム機構を含む撮影レンズである。１０２は後述する撮像素子上に焦点をあわせるためのフォーカスレンズである。１０１、１０２は撮像光学系ともいう。１０３はＡＦ処理部である。１０４は被写体から入射した被写体光を電気信号に変換し撮像画像を出力する撮像素子である。１０５は撮像素子１０４の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部である。１０６は画像処理部である。この画像処理部を用いて、画像の所定領域における色情報などを取得することが可能である。１０７は撮影シーケンスなどシステムを制御するシステム制御部（以下ＣＰＵと記す）である。１０８は顔検出モードをＯＮまたはＯＦＦに切り替える等の設定を行う撮影モードスイッチである。１０９はシステムに電源を投入するためのメインスイッチ、１１０はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）である。１１１はＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）である。１１２は前記画像処理部１０６で処理された画像信号を用いて顔検出を行い、検出した一つ又は複数の顔情報（位置・大きさ・信頼度）をＣＰＵ１０７に送る顔検出モジュールである。なお、顔の検出方法は、本発明の主眼点ではないため詳細な説明は省略する。

１１３は、前記画像処理部１０６で処理された画像信号の色情報や輝度情報をもとに、検出した一つまたは複数の被写体情報（位置・大きさ・信頼度）をＣＰＵ１０７に送る被写体検出部である。なお、被写体の検出方法は、本発明の主眼点ではないため詳細な説明は省略する。

１１４は、カメラ自体の角速度を検出してカメラ動き情報をＣＰＵ１０７に送る角速度センサ部である。この角速度センサ部を用いてカメラの構え方が縦位置の状態で構えられているのか、横位置の状態で構えられているのかを検出することも可能である。１１５は、カメラ自体の加速度を検出してカメラの動き情報をＣＰＵ１０７に送る加速度センサ部である。この加速度センサ部を用いて、カメラが撮影レンズ１０１が上向きに構えられているのか、撮影レンズ１０１が下向きに構えられているのかを検出することも可能である。１１６は、高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下ＤＲＡＭと記す）である。１１７は画像表示の他、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面とＡＦ枠を表示する操作表示部である。

＜ＡＦ動作＞
次に、図２のフローチャートを用いて、本発明の電子カメラでの顔検出時のＡＦ動作について説明する。

ステップＳ２０１では、顔検出モジュール１１２から得られる顔情報（位置・大きさ・顔の検出数）に基づきＡＦ枠を設定する。ステップＳ２０１の手順については、図３から図６を用いて後述する。

ステップＳ２０２では、ステップＳ２０１で設定した各ＡＦ枠でＡＦスキャンを行い、ステップＳ２０３へと進む。ＡＦスキャンでは、フォーカスレンズ１０２をスキャン開始位置からスキャン終了位置まで所定量ずつ移動させながら、各フォーカスレンズ位置におけるＡＦ評価値をＣＰＵ１０７へ記憶していく。例えば、スキャン開始位置を無限遠、スキャン終了位置をＡＦスキャン可能な範囲の至近端とする。

ステップＳ２０３では、ステップＳ２０２で得られたＡＦ評価値のピーク位置を演算により求めて、ステップＳ２０４へと進む。

ステップＳ２０４では各ＡＦ枠のピーク位置の合焦判定を行い、ステップＳ２０５へ進む。ステップＳ２０４の手順については、図７を用いて後述する。

ステップＳ２０５では、顔が検出されている場合は、顔領域に設定したＡＦ枠（以下、顔枠と記す）である主領域のピーク位置、および、検出した顔の大きさに基づいて算出した推定距離のうちから基準位置を選択する。そして、基準位置と各ＡＦ枠のピーク位置を照合して合焦位置の決定を行い、ステップＳ２０６へ進む。ステップＳ２０５の手順については図８を用いて後述する。

顔が検出されていない場合は、ステップＳ２０１の手順で後述するが、画面内の所定領域にＡＦ枠を設定する。その時の合焦判定や、合焦位置の決定などは本発明の主眼点ではないため説明は省略する。

ステップＳ２０６では、ステップＳ２０５で合焦位置が決定したかどうかを調べ、合焦位置が決定していればステップＳ２０７へ、合焦位置が決定していなければステップＳ２０９へ進む。

ステップＳ２０７ではステップＳ２０５で決定した合焦位置にフォーカスレンズ１０２を移動させてステップＳ２０８へ進む。

ステップＳ２０８では、操作表示部１１７の画像表示部に、合焦枠を表示してＡＦ動作を終了する。ここで、合焦枠とは画像領域内でどこの領域が合焦しているかを示すための枠である。例えば、顔が合焦している場合は顔の領域に枠を表示する。また、合焦しているという状態が判別しやすいように枠に合焦を示す色（例えば緑色など）をつけて表示する。

ステップＳ２０９は、フォーカスレンズ１０２をステップＳ２０５で決定した基準位置へ移動させ、ステップＳ２１０へ進む。

ステップＳ２１０では、操作表示部１１７の画像表示部に、非合焦枠を表示してＡＦ動作を終了する。ここで、非合焦枠とは非合焦時に画像領域内で被写体の存在する領域または所定の領域に表示する枠であり、非合焦しているという状態が判別しやすいように合焦枠とは異なる色の枠（例えば黄色など）を設定する。

＜枠設定＞
次に、図３のフローチャート、並びに、図４から図６を用いて、図２のステップＳ２０１におけるＡＦ枠設定について説明する。

ステップＳ３０１では、顔検出モジュール１１２から得られる顔情報（位置・大きさ・顔の検出数）から、顔が検出されたかを調べ、顔が検出されていなければ、ステップＳ３０２へ進み、顔が検出されていれば、ステップＳ３０３へ進む。

ステップＳ３０２では、画面の所定範囲に、所定数のＡＦ枠を設定する。
例えば、図４のように、画面中央部に、画面に対して縦方向に、横方向に３つずつのＡＦ枠を設定しても良いし、他の設定でも良いとする。

図４の４０１は、ＡＦ枠である。
ステップＳ３０３では、まず主領域である顔枠を設定し、ステップＳ３０４へ進む。顔枠は、カメラの構え方が横位置の撮影でもカメラの構え方が縦位置の撮影でも顔検出モジュール１１２から得られる顔情報の位置に顔検出モジュール１１２から得られた顔の大きさの所定倍率で設定する。

ステップＳ３０４では、顔の左右にＡＦ枠（以下、顔補助枠と記す）である補助領域を設定し、ステップＳ３０５へ進む。左右に設定するＡＦ枠は、カメラの構え方が横位置の撮影（図５−ａから図５−ｅ）でも、カメラの構え方が縦位置の撮影（図６−ａから図６−ｇ）でも、顔位置の左右に、顔の大きさの所定倍率で設定する。

これは、顔の左右に配置することで、顔でコントラストを取りやすい髪の位置を、ＡＦ枠の中に収める為である。

ステップＳ３０５では、顔と体領域の位置が、画面に対して縦の方向に並んでいる場合（以下、顔が縦の場合と記す）なのかを調べる。そして、顔が縦の場合であれば、ステップＳ３０６へ進む。また、顔と体領域の位置が、画面に対して横の方向に並んでいる場合（以下、顔が横の場合と記す）なのであれば、ステップＳ３０９へと進む。

図５−ａから図５−ｅは、顔が縦の場合での人物の顔の位置から見て人物の体が位置すると予測される体領域におけるＡＦ枠（以下、体枠と記す）設定方法について説明するための図である。

図５−ａの５０１は、カメラの構え方が横位置の撮影の際の撮影画面である。５０２は、顔枠である。５０３は、顔補助枠である。５０４は、体枠である。５０５は、体枠の横の大きさである。５０６は、体枠の縦の大きさである。図のように体枠は、人物の顔の位置から見て人物の体が位置すると予測される位置に対して水平方向に分割して、複数のＡＦ枠として設定される。後述のように、この分割数は、顔の位置、大きさ、角度などにより変更される。

ステップＳ３０６では、顔の大きさから、体枠の横の大きさを決定し、ステップＳ３０７へ進む。横の大きさはＡＦ枠が、体領域の外の領域まで設定されないように、顔の大きさに対して所定の倍率で設定する。この倍率は、設定すべき画面に対して横方向の体枠の数と、顔の大きさに対する体領域の大きさの倍率から決めても良いし、被写体検出部１１３から得られる体領域の位置・大きさから、設定すべき画面に対して横方向の体枠の数に応じて、大きさを変えても良い。

ただし、被写体が小さい、もしくは遠方にある場合、体領域の大きさは小さくなるので、体枠が所定の横の大きさが確保出来るよう、図５−ｂに対して、図５−ｃのように設定する焦点検領域の数を少なくする。

ステップＳ３０７では、体枠の作成開始位置を設定し、ステップＳ３０８へと進む。顔検出モジュール１１２から得られる顔位置に対して、所定量、下の位置に体枠の開始点を設定する。これは、顔のすぐ下、つまり首の位置に体枠を設定すると背景も体枠に入り、背景抜けしてしまう可能性がある為である。

この所定量は予め顔の大きさの数倍と設定しても良いし、被写体検出部１１３から得られる体領域の位置から決めても良い。

ステップＳ３０８では、体枠の縦の大きさを設定し、体枠設定を完了する。顔位置が、画面に対しての上部付近にあり、かつ、顔の大きさが所定以上大きい場合は、体領域の上部までで縦の大きさを設定する（図５−ａ）。これは、下部まで設定すると、主被写体以外の被写体が体枠の中に入ってしまう可能性が高まる為である。

顔位置が画面に対しての中央、もしくは下部にあり、かつ顔の大きさが所定以上大きい場合は、画面の端までを体枠の縦の大きさとする（図５−ｄ）。顔の大きさが所定より小さい場合は、腰にあたる位置付近までの位置を縦の大きさとして設定する（図５−ｂ）。

これは、顔の大きさによらず、ＡＦ評価値の出力を確保する為である。このようにＡＦ枠の縦横比を自在に変えることにより、ＡＦ評価値のＳ／Ｎを良くし、また、被写体が横を向いたような場合であっても、背景抜けを起こさないＡＦ枠を設定することが可能である。

また、図５−ｅのように、主被写体の前に、他の顔があり、その顔が主被写体の体領域にかかっている場合は、他の顔に体枠が重ならないように他の顔までを体枠の縦の大きさとする。なお、ここでは他の被写体として人物の顔を示したが、これに限定されない。例えば、パターンマッチングなどの被写体認識により他の被写体が認識された場合に、体枠の縦の大きさを調整するようにする。

図６−ａから図６−ｇは、顔が縦の場合での体領域における体枠設定方法を説明する図である。

図６−ａの６０１は、カメラの構え方が縦位置の撮影の際の撮影画面である。６０２は、顔枠である。６０３は、顔補助枠である。６０４から６０６は、体枠である。６０７は、体枠の横の大きさである。６０８は、体枠の縦の大きさである。

ステップＳ３０９では、顔の大きさから、体領域の大きさを計算し、その中に所定の大きさ以上の体枠を図６−ａの６０４と６０５のように、画面に対して縦に並べて設定出来るかを判断する。

設定出来る場合は、図６−ａのように設定し、体領域の大きさに応じて、体枠の縦の大きさを計算する。

並べて設定出来ないと判断された場合は、体枠の縦の大きさを所定の大きさにして、図６−ｂのように画面に対して横方向に並べて設定する。

体領域の大きさは、被写体検出部１１３から得られる体領域の大きさから求めても良い。

また、図６−ｇのように、主被写体の前に、他の顔があり、その顔が主被写体の体領域にかかっている場合は、他の顔に体領域の体枠が重ならなうように他の顔までを体枠の縦の大きさとする。なお、ここでは他の被写体として人物の顔を示したが、これに限定されない。例えば、パターンマッチングなどの被写体認識により他の被写体が認識された場合に、体枠の縦の大きさを調整するようにする。

ステップＳ３１０では、体枠の作成開始位置を設定し、ステップＳ３１１へと進む。体枠は、顔が縦の場合と同様に、顔位置に対して所定量、下の位置とする。また、ステップＳ３０９で、体領域に所定の大きさ以上の体枠を画面に対して縦方向に並べて設定出来る場合は、画面に対して横方向にも、並べて設定する。これは、図６−ａの６０４や、６０５の体枠に、主となる被写体以外の被写体が入ってしまった場合でも、６０６の体枠の情報を用いて合焦させることを可能とさせる為である。

また、被写体が小さい、もしくは遠方にある場合、体領域の大きさは小さくなるので、体枠が所定の大きさを確保出来るように、図６−ｂに対して、図６−ｃのように設定する体枠の重なり量を多くする。

ステップＳ３１１では、体枠の横の大きさを設定し、体枠設定を完了する。顔位置が画面に対して横方向の中央付近にあるような場合、つまり図６−ａのような場合は、被写体の腹部にあたる位置付近までに、被写体検出領域が二つ設定出来る横の大きさに設定する。被写体検出領域の数は、本実施例では、二つとしているが、複数であれば良い。この横の大きさは、予め顔の大きさからの倍率を計算しておいても良いし、被写体検出部１１３から検出される体領域の位置・大きさから設定しても良い。

顔位置が、画面に対して横方向の下部付近にあるような場合、つまり、図６−ｄや、図６−ｅのような場合は、所定の大きさまで、被写体検出領域の横の大きさを縮小する。所定の大きさよりも横の大きさが小さくなる場合は、図６−ｅのように、体枠の設定を二つとする。

また、被写体が小さい、もしくは、遠方にある場合、かつ、被写体が画面に対し、横方向の下部にあるような場合は、図６−ｆのように、体枠を一つ設定する。

以上のように、画面内における顔の位置や、大きさ、角度に応じて、体枠の大きさや位置を変更することで、体枠の大きさを確保しＳ／Ｎを良くし、また、被写体が横を向いたような場合であっても、背景抜けを起こさない体枠を設定することが可能である。

＜合焦判定＞
次に、図７を用いて図２のステップＳ２０４における合焦判定について説明する。
ＡＦ評価値は、ＡＦスキャンを行った際のフォーカスレンズの移動位置に対応する被写体距離範囲内に被写体が１つしか存在しない場合においては、横軸にフォーカスレンズ位置、縦軸にＡＦ評価値をとると、その形は図７に示すような山状になる。そこでＡＦ評価値の、最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。

山の形状を判断する為の、一定値以上の傾きで傾斜している部分の長さＬ、傾斜している部分の勾配ＳＬ／Ｌを、図７を用いて説明する。
山の頂上（Ａ点）から傾斜が続いていると認められる点をＤ点、Ｅ点とし、Ｄ点とＥ点の幅を山の幅Ｌとする。傾斜が続いていると認める範囲は、Ａ点から、所定量（ＳｌｏｐｅＴｈｒ）以上、ＡＦ評価値が下がったスキャンポイントが続く範囲とする。スキャンポイントとは、連続的にフォーカスレンズを動かして、スキャン開始点から、スキャン終了点まで移動する間に、ＡＦ評価値を取得するポイントのことである。Ａ点とＤ点のＡＦ評価値の差ＳＬ１とＡ点とＥ点のＡＦ評価値の差ＳＬ２の和ＳＬ１＋ＳＬ２をＳＬとする。

山の形状から合焦判定を行うには、次の条件について確認をする。
［１］一定値以上の傾きで傾斜している部分の長さＬが所定値（Ｌ０）以上であるか
［２］傾斜している部分の傾斜の平均値ステップＳＬ／Ｌが所定値（ＳＬ０／Ｌ０）以上であるか
［３］ＡＦ評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）の差が所定値（ｄｅｆｍａｘｍｉｎ）以上であるか
以上の条件を満たす場合かどうかにより、合焦判定における判定結果は、以下に示すように○判定、×判定で出力される。
○判定：被写体のコントラストが十分、かつスキャンした際のフォーカスレンズの移動位置に対応する被写体距離範囲内の距離に被写体が存在する。
×判定：被写体のコントラストが不十分、もしくはスキャンした際のフォーカスレンズの移動位置に対応する被写体距離範囲外の距離に被写体が位置する。

ここで、所定値Ｌ０、ＳＬ０、ｄｅｆｍａｘｍｉｎを合焦条件といい、これらの値の設定によって合焦判定を厳しくしたり緩くしたりすることができる。

＜合焦位置の決定＞
次に、図８のフローチャートを用いて図２のステップＳ２０５における合焦位置の決定の動作を説明する。
ステップＳ８０１では、顔枠でのピーク位置および顔の大きさにより算出した推定距離の中から基準位置を選択し、ステップＳ８０２へ進む。ステップＳ８０１の手順については、図９、１０を用いて後述する。

ステップＳ８０２ではステップＳ８０１で選択した基準位置に基づいて合焦位置決定に使用するＡＦ枠を顔枠／補助枠／体枠の中からを選択し、ステップＳ８０３へ進む。ステップＳ８０２の手順については、図１１を用いて後述する。

ステップＳ８０３では、ステップＳ８０２で選択したＡＦ枠があるかどうかを調べ、選択したＡＦ枠がない場合はステップＳ８０４へ進む。

ステップＳ８０４では、ステップＳ８０１で決定した基準位置に基づき、ＡＦ評価値加算処理を行い、合焦位置決定の動作を終了する。ステップＳ８０４の手順については、図１２を用いて後述する。

＜基準位置の選択＞
次に、図９のフローチャートを用いて図８のステップＳ８０１における基準選択の動作を説明する。
ステップＳ９０１では、予め決められた顔の大きさの上限・下限の値に対して、顔検出モジュール１１２により検出した顔の大きさを比較し、顔の大きさが上限・下限の範囲内であればステップＳ９０２へ進む。また、顔の大きさが上限・下限の範囲外であればステップＳ９１１へ進む。ここで、顔の大きさの上限・下限の範囲とは推定距離の精度を考慮して決めており、顔の検出された大きさが上限値よりも大きい場合は顔の検出結果の誤差に伴う推定距離の誤差が大きく、顔の検出された大きさが下限値よりも小さい場合は顔の検出精度が低い。そのため、この上限・下限の範囲外の顔の大きさを検出した場合は推定距離の信頼性が低いため、推定距離は基準位置の候補から外すこととする。つまり、顔の大きさが、予め設定された第１の予め決められた値以上または第１の予め決められた値よりも小さな第２の予め決められた値以下の大きさである場合は、顔枠のフォーカスレンズの合焦位置を基準位置として決定する。

ステップＳ９０２では顔枠でのＡＦ評価値の図２のステップＳ２０４における合焦判定の結果を調べ、○判定であった場合はステップＳ９０３へ、×判定であった場合はステップＳ９１０へ進む。

ステップＳ９０３では顔枠のピーク位置と推定距離が所定深度（以下、大外れ深度と記す）内であるかを調べる大外れ判定を行う。大外れ深度外である場合は大外れと判定してステップＳ９０５へ進み、大外れ深度内である場合は大外れでないと判定してステップＳ９０４へ進む。ここで「大外れ深度」とは、デバイスの個体差による誤差／顔検出精度のばらつきによる誤差／顔の大きさの個体差といった想定される推定距離の誤差量を加味して決めた値である。顔枠に対応する合焦位置が正しく取得できている場合でも推定距離と顔枠のピーク位置の間に大外れ深度内の差は発生しうる。しかし、顔枠のピーク位置と推定距離の差が大外れ深度以上である場合は、以下の状況のいずれかが発生していると考えられ、顔のピーク位置と推定距離のうちでどちらが信頼できるかの判定を行う必要がある。
［１］顔枠のピーク位置が実際の合焦位置よりも大きく外れた状況
［２］人形やポスターなどが被写体となっており、人間の顔の大きさから大きく外れた顔の大きさに基づいて推定距離を算出しており推定距離の誤差が大きい状況

ステップＳ９０４では顔枠のピーク位置と推定距離が大外れ深度よりは小さい所定深度（以下、中外れ深度と記す）内であるかを調べる中外れ判定を行う。中外れ深度外である場合は中外れと判定してステップＳ９０８へ進み、中外れ深度内である場合は中外れではないと判定してステップＳ９１１へ進む。ここで「中外れ深度」とは、大外れ深度よりは小さい値があらかじめ設定してあり、顔枠のピーク位置と推定距離の差が中外れ深度内であれば顔枠のピーク位置と推定距離の両方の信頼性が高いものと考える。その一方で、顔枠のピーク位置と推定距離の差が中外れ深度外である場合は、顔枠のピーク位置と推定距離のどちらがより信頼できるかを判定する必要がある。

ステップＳ９０５では大外れ時信頼性判定を行い、顔枠のピーク位置と推定距離のどちらが信頼できるかを判定し、ステップＳ９０６へ進む。ここで、大外れ時信頼性判定の内容について図１０を用いて説明する。図１０の（ａ）は推定距離が信頼できない場合について、図１０の（ｂ）は顔枠のピーク位置が信頼できない場合について、各ＡＦ枠でのＡＦ評価値のピーク位置と推定距離の関係を簡略化して示した図である。１１０１ａ〜１１０１ｆおよび１１０２ａ〜１１０２ｆは各ＡＦ枠の配置およびＡＦ評価値のピーク位置を、１１０１ｇおよび１１０２ｇは推定距離の位置を、それぞれ示している。

大外れ時に推定距離が信頼できない場合とは、図１０（ａ）に示すように人を象ったオブジェやポスターなどで実際の人物の顔よりも極端に大きな顔を検出した場合、もしくは、人形や写真などで人物の顔よりも極端に小さな顔を検出した場合であると考えられる。また、その際に顔枠では正しい合焦位置を検出できたものと仮定する。そのような場合、顔補助枠や体枠において正しい合焦位置を検出できた場合は、そのピーク位置１００１ｂ〜１００１ｄは顔枠のピーク位置１００１ａ付近に分布する。また、正しい合焦位置を検出できない顔補助枠や体枠があったとしてもそのピーク位置１００１ｅ〜ｆが推定距離１００１ｇと近くなる可能性は低い。そこで、推定距離から所定深度内（以下、推定信頼深度と記す）に顔補助枠や体枠のピーク位置がない場合は、推定距離が信頼できないと判定する。

次に、大外れ時に顔枠のピーク位置が信頼できない場合とは、図１０（ｂ）に示すように横を向いて背景抜けした場合などのＡＦ評価値に偽のピークが発生してしまった場合であると考えられる。また、その際に推定距離は正しい値であると仮定する。そのような場合、背景抜けせずに正しい合焦位置を検出できたＡＦ枠のピーク位置１００２ｃ、１００２ｆは推定距離１００２ｇの付近に分布する。そこで、推定距離から推定信頼深度内に顔補助枠や体枠のピーク位置が存在する場合は、推定距離が信頼できると判定する。

以上のようにして、大外れ時信頼性判定では、推定距離から推定信頼深度内に補助枠または体枠のピーク位置が存在する場合は推定距離が信頼できると判定する。また、推定距離から推定信頼深度内に補助枠および体枠のピーク位置が存在しない場合は推定距離が信頼できないと判定する。

ステップＳ９０６では、ステップＳ９０５の大外れ時信頼性判定で推定距離の方が信頼性が高い、と判定した場合はステップＳ９０７へ進み、推定距離の方が低いと判定した場合はステップＳ９１１へ進む。

ステップＳ９０７では、図８のステップＳ８０２での枠選択およびステップＳ８０４での枠加算の処理時に顔枠を使用しないように設定をして、Ｓ９１０へ進む。

ステップＳ９０８では、中外れ時信頼性判定を行い、顔枠のピーク位置と推定距離のどちらが信頼できるかを判定し、ステップＳ９０９へ進む。ここでは、大外れ時信頼性判定と同様の判定を行うが、推定信頼深度の値を大外れ時とは異ならせてもよい。

ステップＳ９０９では推定距離がステップＳ９０８の中外れ時信頼性判定で推定距離の方が信頼性が高いと判定した場合はステップＳ９１０へ進み、推定距離の方が信頼性が低いと判定した場合はステップＳ９１１へ進む。

ステップＳ９１０では推定距離を基準位置として設定し、ステップＳ９１１では顔枠のピーク位置を基準位置として設定し、基準選択の動作を終了する。

以上のように、顔枠のピーク位置と推定距離の中から顔の合焦位置としてより信頼できる方を基準位置として選択する。特に、顔枠のピーク位置と推定距離の差が大きく、顔枠での合焦位置が間違っているか推定距離の誤差が大きいような場合においても、より信頼できる方を基準位置として選択することができる。

＜枠選択＞
次に、図１１のフローチャートを用いて図８のステップＳ８０２における枠選択の動作を説明する。
ステップＳ１１０１では、顔枠が使用可能であるかどうかを調べ、図９のＳ９０７において顔枠を使用不可とした場合はステップＳ１１０４へ進み、顔枠が使用可能である場合はステップＳ１１０２へ進む。

ステップＳ１１０２では、顔枠での図２のＳ２０４における合焦判定の結果を調べ、○判定だった場合はステップＳ１１０３へ進み、×判定だった場合はステップＳ１１０４へ進む。

ステップＳ１１０３では顔枠のピーク位置を合焦位置として、枠選択の動作を終了する。

ステップＳ１１０４では、図２のステップＳ２０１において、顔補助枠や体枠が設定されているかを調べ、設定されている場合はステップＳ１１０５へ進み、設定されていない場合は枠選択の動作を終了する。

ステップＳ１１０５では顔補助枠や体枠に対して以下の２条件を満たすかどうかを調べ、満たしている場合は枠選択の候補枠と判定する。
条件１：図２のＳ２０４における合焦判定が○判定
条件２：図８のＳ８０１において設定した基準位置とピーク位置が所定深度内
全てのＡＦ枠について判定を行ったら、ステップＳ１１０６へ進む。

ステップＳ１１０６では、ステップＳ１１０５において枠選択の候補枠として設定したＡＦ枠があるかどうかを調べ、ある場合はステップＳ１１０７へ進み、ない場合は枠選択の動作を終了する。

ステップＳ１１０７では、枠選択の候補として設定したＡＦ枠の中から、ピーク位置が基準位置に最も近いＡＦ枠を選択して、ステップＳ１１０８へ進む。

ステップＳ１１０８では、ステップＳ１１０７で選択したＡＦ枠のピーク位置を合焦位置として、枠選択の動作を終了する。

また、ステップＳ１１０７、Ｓ１１０８に関しては、
・枠選択の候補枠を全て選択し、選択したＡＦ枠のピーク位置の平均位置を合焦位置とする
・枠選択の候補枠の中からピーク位置が最も至近にあるＡＦ枠を選択し、選択したＡＦ枠のピーク位置を合焦位置とする
という方法をとってもよい。

以上のように、顔枠が使用可能かつ合焦判定が○判定である場合は顔枠を選択し、顔枠が選択できなかった場合は基準位置に近い顔補助枠または体枠を選択する。それにより、顔の合焦位置としてより信頼できるＡＦ枠を合焦位置として選択でき、合焦精度を上げることができる。

＜枠加算部＞
次に、図１２のフローチャートを用いて図８のステップＳ８０４における枠加算の動作を説明する。
ステップＳ１２０１では、全てのＡＦ枠に対して合焦判定を行い、ステップＳ１２０２へ進む。ここで、合焦条件Ｌ０、ＳＬ０、ｄｅｆｍａｘｍｉｎの値を図２のステップＳ２０４で設定した値から変更して、より緩い判定を行う。より緩い合焦判定で○判定となるのは、ＡＦ評価値のピークは出ているものの、出力が低いためにそのまま合焦位置として使用するには信頼性が低いような場合である。

ステップＳ１２０２では、全てのＡＦ枠に対して以下の２つの条件を満たすかどうかを調べ、満たす場合は枠加算の対象枠（以下、加算対象枠と記す）と判定する。
条件１：ステップＳ１２０１における合焦判定が○判定
条件２：ピーク位置が基準位置から所定深度内である
全てのＡＦ枠に対して判定を行ったら、ステップＳ１２０３へ進む

ステップＳ１２０３ではステップＳ１２０２において加算対象枠として判定したＡＦ枠が２つ以上あるかどうかを調べ、２つ以上ある場合はステップＳ１２０４へ進み、２つ未満の場合はステップＳ１２１２へ進む。

ステップＳ１２０４ではＡＦ枠の数をカウントする変数ｉを１に初期化して、ステップＳ１２０５へ進む。

ステップＳ１２０５では、変数ｉをインクリメントしてステップＳ１２０６へ進む。

ステップＳ１２０６では、基準位置に対してもっとも近い加算対象枠のＡＦ評価値に対して、ｉ番目の加算対象枠のＡＦ評価値を加算して、ステップＳ１２０７へ進む。ここで、各ＡＦ枠は大きさが異なる場合もあり、ＡＦ評価値の出力も大きさによって変わる。そこで、あらかじめ決められた正規化用のＡＦ枠の大きさに合わせてＡＦ評価値を正規化してから加算を行う。

ステップＳ１２０７では、加算したＡＦ評価値に対して正規化用のＡＦ枠の大きさに合わせた合焦条件Ｌ０、ＳＬ０、ｄｅｆｍａｘｍｉｎの値における合焦判定を行い、ステップＳ１２０８へ進む。

ステップＳ１２０８では加算したＡＦ評価値に対してステップＳ１２０７の合焦判定結果を調べ、○判定であればステップＳ１２１０へ進み、×判定であればステップＳ１２０９へ進む。

ステップＳ１２０９では全ての加算対象枠に対して加算を行ったかどうかを調べ、全ての加算対象枠に対して加算を行った場合はステップＳ１２１２へ進む。また、まだ加算していない加算対象枠がある場合は、ステップＳ１２０５へ戻り、加算対象枠のＡＦ評価値をさらに加算していく。

ステップＳ１２１０では、加算したＡＦ評価値のピーク位置を演算により求めて、ステップＳ１２１１へと進む。

ステップＳ１２１１では加算後のＡＦ評価値のピーク位置が基準位置から所定深度内であるかどうかを調べ、所定深度内である場合はステップＳ１２２２へ進み、所定深度内ではない場合はステップＳ１２１２へ進む。

ステップＳ１２１２では、合焦判定は考慮せずに、全てのＡＦ枠を対象として、ピーク位置が基準位置から所定深度内である場合は、加算対象枠として判定し、ステップＳ１２１３へ進む。

ステップＳ１２１３ではステップＳ１２１２において加算対象枠として判定したＡＦ枠が２つ以上あるかどうかを調べ、２つ以上ある場合はステップＳ１２１４へ進み、２つ未満の場合は枠加算の動作を終了する。

ステップＳ１２１４ではＡＦ枠の数をカウントする変数ｉを１に初期化して、ステップＳ１２１５へ進む。

ステップＳ１２１５では、変数ｉをインクリメントしてステップＳ１２１６へ進む。

ステップＳ１２１６では、ステップＳ１２０６と同様にして基準位置に対してもっとも近い加算対象枠のＡＦ評価値に対して、ｉ番目の加算対象枠のＡＦ評価値を正規化して加算して、ステップＳ１２１７へ進む。

ステップＳ１２１７では、ステップＳ１２０７と同様にして、加算したＡＦ評価値に対して正規化用のＡＦ枠の大きさに合わせた合焦条件（所定値Ｌ０、ＳＬ０、ｄｅｆｍａｘｍｉｎ）に基づく合焦判定を行い、ステップＳ１２１８へ進む。

ステップＳ１２１８では加算したＡＦ評価値に対してステップＳ１２１７の合焦判定における判定結果を調べ、○判定であればステップＳ１２２０へ進み、×判定であればステップＳ１２１９へ進む。

ステップＳ１２１９では全ての加算対象枠に対して加算を行ったかどうかを調べ、全ての加算対象枠に対して加算を行った場合は枠加算の動作を終了する。また、まだ加算していない加算対象枠がある場合は、ステップＳ１２１５へ戻り加算対象枠のＡＦ評価値をさらに加算していく。

ステップＳ１２２０では、加算したＡＦ評価値のピーク位置を演算により求めて、ステップＳ１２２１へと進む。

ステップＳ１２２１では加算後のＡＦ評価値のピーク位置が基準位置から所定深度内であるかどうかを調べ、所定深度内である場合はステップＳ１２２２へ進み、所定深度内ではない場合は枠加算の動作を終了する。

ステップＳ１２２２では加算したＡＦ評価値のピーク位置を合焦位置として決定し、枠加算の動作を終了する。

以上のように、ピーク位置が基準位置から所定深度内にあるＡＦ枠に対して、基準位置に近いＡＦ枠から順に加算を行うことによって、加算後のＡＦ評価値のピーク位置の精度を保証することができる。

以上により、顔検出時に顔領域においてＡＦを行う際に、ノイズによるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減してより高い精度で顔にピントを合わせることができる。

なお、上述の実施例では、被写体の顔を、人物の顔として説明したが、これに限らず、例えば動物の顔と体をパターンマッチングなどの被写体認識により抽出して、顔領域および体領域へＡＦ枠を設定するようにしてもよい。

また、上記実施の形態では、所定の移動範囲においてフォーカスレンズを移動させてスキャン動作を行う、所謂、スキャン方式のＡＦ動作について説明した。しかしながら、ＡＦ評価値が増加する方向にフォーカスレンズを動かし、ＡＦ評価値が最大になる位置を合焦位置とする山登り方式（コンティニュアスＡＦともいう）におけるＡＦ枠の設定を上述のように行ってもよい。

（他の実施例）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

１０１ 撮影レンズ
１０２ フォーカスレンズ
１０３ ＡＦ処理部
１０４ 撮像素子
１０５ Ａ／Ｄ変換部
１０６ 画像処理部
１０７ システム制御部
１０８ 撮影モードスイッチ
１０９ メインスイッチ
１１０ 撮影スタンバイスイッチ
１１１ 撮影スイッチ
１１２ 顔検出モジュール
１１３ 動体検出部
１１４ 角速度センサ部
１１５ 加速度センサ部
１１６ ＤＲＡＭ

Claims (10)

1. フォーカスレンズを介して入射した被写体光を撮像して当該被写体の撮像画像を取得する撮像手段と、
   前記撮像画像から被写体の顔を検出する顔検出手段と、
   前記フォーカスレンズの合焦状態を検出する際の焦点検出領域として、前記被写体の顔が存在する第１の焦点検出領域と、前記被写体の顔の位置から見て前記被写体の体が位置すると予測される第２の焦点検出領域とを設定する設定手段と、
   前記焦点検出領域における信号出力に基づいて前記フォーカスレンズを移動させて焦点調節を行う焦点調節手段と、
   前記顔検出手段により得られた前記被写体の顔情報に基づいて、前記撮像手段から前記被写体までの被写体距離を推定する距離推定手段とを有し、
   前記焦点調節手段は、前記第１の焦点検出領域における信号出力に基づく前記フォーカスレンズの合焦位置と前記距離推定手段により推定された被写体距離に対応する前記フォーカスレンズの位置のいずれか一方を基準位置とし、当該基準位置と前記設定手段により設定された焦点検出領域における信号出力に基づく前記フォーカスレンズの合焦位置とに基づいて前記フォーカスレンズを移動させて焦点調節を行うことを特徴とする撮像装置。
2. 前記第１の焦点検出領域及び前記第２の焦点検出領域は、それぞれが複数に分割されており、前記焦点調節手段は、前記複数に分割された焦点検出領域の中から焦点調節に用いる焦点検出領域を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の焦点検出領域には、前記顔検出手段により検出された顔情報から焦点調節を行う被写体である主被写体が存在する領域である主領域と、前記主領域の左右に前記主領域よりも小さい複数の焦点検出領域である補助領域とが含まれ、前記焦点調節手段は、前記主領域における信号出力に基づく前記フォーカスレンズの合焦位置と、前記距離推定手段により推定された被写体距離に対応する前記フォーカスレンズの位置のうちから基準位置を決定することを特徴とする請求項１に記載の撮像装置。
4. 前記焦点調節手段は、前記主領域における合焦状態が、合焦でない場合には、前記距離推定手段により推定された被写体距離に対応する前記フォーカスレンズの位置を基準位置として決定することを特徴とする請求項３に記載の撮像装置。
5. 前記焦点調節手段は、前記推定された被写体距離と前記主領域の合焦位置との差分が予め決められた値以上である場合は、前記推定された被写体距離に対応するフォーカスレンズの位置と、前記補助領域又は前記第２の焦点検出領域の焦点検出領域の合焦位置との差分に基づいて基準位置を決定することを特徴とする請求項３に記載の撮像装置。
6. 前記焦点調節手段は、前記推定された被写体距離と前記主領域の合焦位置との差分が予め決められた値以上である場合であって、前記推定された被写体距離が信頼できると判定された場合には、前記主領域を選択対象から外すことを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記焦点調節手段は、前記顔検出手段により検出された顔の大きさが、予め設定された第１の予め決められた値以上または第１の予め決められた値よりも小さな第２の予め決められた値以下の大きさである場合は、前記主領域のフォーカスレンズの合焦位置を基準位置として決定することを特徴とする請求項３に記載の撮像装置。
8. 前記焦点調節手段は、前記フォーカスレンズの合焦状態が合焦であると判定された焦点検出領域の中から合焦位置が基準位置により近い焦点検出領域を１つ又は複数選択する請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記焦点調節手段は、選択されるべき焦点検出領域が存在しない場合は、基準位置から所定深度内にある焦点検出領域の合焦状態を示すＡＦ評価値を基準位置に近い順に加算していき、当該加算したＡＦ評価値に基づいて合焦と判定された際の合焦位置に、前記フォーカスレンズを移動させて焦点調節を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. フォーカスレンズを介して入射した被写体光を撮像して当該被写体の撮像画像を取得する撮像手段を有する撮像装置の制御方法であって、
    前記撮像画像から被写体の顔を検出する顔検出工程と、
    前記フォーカスレンズの合焦状態を検出する際の焦点検出領域として、前記被写体の顔が存在する第１の焦点検出領域と、前記被写体の顔の位置から見て前記被写体の体が位置すると予測される第２の焦点検出領域とを設定する設定工程と、
    前記焦点検出領域における信号出力に基づいて前記フォーカスレンズを移動させて焦点調節を行う焦点調節工程と、
    前記顔検出工程により得られた前記被写体の顔情報に基づいて、前記撮像手段から前記被写体までの被写体距離を推定する距離推定工程とを有し、
    前記焦点調節工程では、前記第１の焦点検出領域における信号出力に基づく前記フォーカスレンズの合焦位置と前記距離推定工程により推定された被写体距離に対応する前記フォーカスレンズの位置のいずれか一方を基準位置とし、当該基準位置と前記設定手段により設定された焦点検出領域における信号出力に基づく前記フォーカスレンズの合焦位置とに基づいて前記フォーカスレンズを移動させて焦点調節を行うことを特徴とする制御方法。

Images