JP6184189B2 - 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体 - Google Patents

Description

本発明は被写体検出装置およびその制御方法、被写体検出装置を適用した撮像装置等に関する。

ビデオカメラ等の被写体検出装置では、撮像素子で生成された撮像信号から、例えば人物の顔のような特定のパターンを有する領域（被写体領域）を検出することが知られている。また、検出した被写体領域を基準に自動合焦（ＡＦ）制御や自動露出（ＡＥ）制御などの制御を行ったり、被写体領域を示す枠などの表示を行うことが知られている。さらに、被写体の自由度を増すために、人物の顔以外の被写体に対しても検出が可能になっている。例えば、特許文献１には人物の上半身を検出する画像処理装置及び方法が提案されている。

また、検出精度の向上のため、特許文献２では、特定のパターンの被写体に対して、ハードウェアによる第１の検出方法（輝度情報）とソフトウェアによる第２の検出方法（色情報）を用いて、各々の欠点を補い被写体検出を行う方法が提案されている。

特開２００９−２１１３１１号公報 特開２００８−４０７１０号公報

被写体検出を行う場合、被写体の状態によっては検出状態と非検出状態を繰り返してしまう場合がある。この場合、被写体検出結果を示す検出枠の表示と非表示が繰り返し切り替わるため、表示画面に枠表示のチラつきが生じる。また、検出した被写体を対象としてＡＦやＡＥ制御を行う場合、制御対象の有無が繰り返し切り替わるため、制御が不安定になることがある。特に、被写体検出可能なサイズの下限値付近の小さいサイズの被写体においては、被写体サイズの微妙な変化により、検出状態が不安定になるといった問題が発生しやすい。

上記問題に鑑みて、本発明は、特定の被写体領域を検出した結果に基づいて制御を行う場合に、被写体の検出状態の変化による制御の安定性の低下を抑制することを目的とする。

上記の目的を達成するために、第１の本発明は、画像から第１の検出対象の領域を検出する第１の検出手段と、前記第１の検出対象の領域を推定可能な第２の検出対象の領域を画像から検出する第２の検出手段と、所定条件を満たす場合に、前記第１の検出対象の領域を示す所定の形態の表示を行うように制御する制御手段とを有し、前記制御手段は、前記所定の形態の表示が行われていない状態において前記第１の検出手段により前記第１の検出対象の領域が検出された際に、さらに前記第２の検出手段により前記第２の検出対象の領域が検出されたか否かに基づいて、前記所定条件を変更することを特徴とする。

第２の本発明は、被写体検出装置の制御方法であって、画像から第１の検出対象の領域を検出する第１の検出ステップと、前記第１の検出対象の領域を推定可能な第２の検出対象の領域を画像から検出する第２の検出ステップと、所定条件を満たす場合に、前記第１の被写体領域に対応する領域を示す所定の形態の表示を行うよう制御する制御ステップとを有し、前記制御ステップにおいて、前記所定の形態の表示が行われていない状態において前記第１の検出ステップにより前記第１の検出対象の領域が検出された際に、さらに前記第２の検出ステップにより前記第２の検出対象の領域が検出されたか否かに基づいて、前記所定条件を変更することを特徴とする。

本発明によれば、特定の被写体領域を検出した結果に基づいて制御を行う場合に、検出状態の変化による制御の安定性の低下を抑制することが可能になる。

本発明の実施形態に係る被写体検出装置を適用したデジタルビデオカメラの機能構成例を示すブロック図 本発明の実施形態の被写体検出における有効サイズを説明するためのフローチャート 本発明の実施形態のメイン制御を示すフローチャート 本発明の実施形態の被写体検出処理を示すフローチャート 本発明の実施形態の評価枠設定を示すフローチャート 本発明の実施形態の被写体検出結果の表示例を示す図 本発明の実施形態に係るビデオカメラのＡＦ制御動作を説明するためのフローチャート 本発明の実施形態の微小駆動動作の処理を示すフローチャート 本発明の実施形態の微小駆動動作を示す図 本発明の実施形態の山登り動作の処理を示すフローチャート 本発明の実施形態の山登り動作を示す図 本発明の実施形態のＡＥ制御動作説明するためのフローチャート 本発明の実施形態のＡＥ制御動作を示す図

以下、本発明の実施形態について図を参照して詳細に説明する。図１は、撮像装置に本発明の実施形態に係る被写体検出装置を適用した例としてのデジタルビデオカメラの機能構成例を示すブロック図である。

図１において、本実施形態のデジタルビデオカメラ１００は、被写体からの光を結像するための撮像光学系を備えている。撮像光学系は、第１固定レンズ１０１、光軸方向に移動して変倍を行う変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスコンペンセータレンズ１０５を備える。フォーカスコンペンセータレンズ（以下、単にフォーカスレンズという）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。なお、本実施形態では、撮像光学系が一体となったビデオカメラについて説明しているが、交換レンズ式にも本発明を適用できる。また、デジタルビデオカメラに限らず、一眼レフカメラやコンパクトデジタルカメラ、さらには、カメラ機能を搭載したタブレット型端末や携帯型通信機器にも適用できる。

撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサといった光電変換素子から構成される。撮像素子１０６は撮像光学系により結像された被写体像を光電変換して撮像信号を出力する。ＣＤＳ／ＡＧＣ回路１０７は撮像素子１０６の出力を相関二重サンプリングするとともに、ゲイン調整する。

カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を行い、映像信号を生成する。表示部１０９はＬＣＤ等により構成され、カメラ信号処理回路１０８からの信号に基づく画像を表示する。記録部１１５は、カメラ信号処理回路１０８からの信号を記録媒体（磁気テープ、光ディスク、半導体メモリ等）に記録する。なお、当該記録媒体はデジタルビデオカメラ１００に脱着可能に取り付けられるものでもネットワークを介し接続されるものでもよい。

ズーム駆動部１１０は、制御部１１４の制御に応じて変倍レンズ１０２を移動させる。フォーカスレンズ駆動部１１１は制御部１１４の制御に応じてフォーカスレンズ１０５を移動させる。ズーム駆動部１１０及びフォーカスレンズ駆動部１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。また、フォーカスレンズ１０５の位置の情報は、フォーカスレンズ駆動部１１１もしくは他の構成により制御部１１４に供給される。

ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、制御部１１４が設定した焦点検出に用いられる領域（焦点検出領域又はＡＦ枠に対応する領域）の信号を後段のＡＦ信号処理回路１１３に供給する。

ＡＦ信号処理回路１１３は、ＡＦゲート１１２から供給される焦点検出領域中の画素信号に対して例えばフィルタを適用して予め定められた周波数帯域の成分を抽出し、ＡＦ評価値を生成する。抽出するのは、例えば高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）であってよい。

ＡＦ評価値は、制御部１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される画像の鮮鋭度（コントラストの程度）を表す値であるが、ピントが合った画像の鮮鋭度は高く、ぼけた画像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。

制御部１１４は、例えばマイクロコンピュータであり、図示しないＲＯＭに予め記憶された制御プログラムを実行してデジタルビデオカメラ１００の各部を制御することにより、デジタルビデオカメラ１００全体の動作を司る。制御部１１４は、ＡＦ信号処理回路１１３から与えられるＡＦ評価値に基づいて、フォーカスレンズ駆動部１１１を制御してＴＶ−ＡＦ方式でのＡＦ制御処理（以下、単に「ＴＶ−ＡＦ」という）を行う。

顔検出部１１６は、ＣＤＳ／ＡＧＣ回路１０７が出力する信号に、公知の顔検出技術に基づく顔検出処理を適用し、画像内の人物領域の一例としての顔領域を検出する。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。顔検出部１１６による顔検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。

顔検出部１１６は、例えば人物の顔として検出された領域（顔領域）のそれぞれについて、位置とサイズを画像内で特定可能な情報と、検出結果の信頼度などを顔検出結果として制御部１１４に出力する。制御部１１４は、この顔検出結果に基づき、画像内の顔領域を含む領域に焦点検出領域を設定するよう、ＡＦゲート１１２へ指示する。

人体検出部１１９は、ＣＤＳ／ＡＧＣ回路１０７が出力する信号に対して公知の人体検出処理を施して、画像内の人体領域を検出する。人体検出部１１９は、例えば人体として検出された領域（人体領域）のそれぞれについて、位置とサイズを画像内で特定可能な情報と、検出結果の信頼度などを人体検出結果として制御部１１４に出力する。本実施形態では、制御部１１４は、人体検出結果に基づいて顔領域を推定する。人体検出結果から顔領域を推定する方法は、例えば、人体領域として、上半身や胸部から上の人体形状（顔および胴体を含む領域）を検出している場合、人体領域の形状から頭部領域を判別するといった具合である。頭部領域と顔領域とのサイズや位置の関係については統計的に予め求めておくことができるため、頭部領域が判別できれば、顔領域の位置やサイズを推定することができる。制御部１１４では、人体検出結果と顔検出結果とに応じて、最終的な顔領域を決定する。以下、人体検出により検出された顔領域とは、人体検出結果に基づいて推定された顔領域を指すものとする。人体検出部１１９による検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。

人体検出部１１９で人体領域を検出する方法は、例えば、特開２００９−２１１３１１号公報に記載されている方法を用いることができる。具体的には、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｈａａｒフィルタなどを用い、局所的な上半身の輪郭のエッジ強度を局所特徴量として検出し、抽出された局所特徴量から各人物領域が上半身か、非上半身かを判別する。この判別は、ＡｄａＢｏｏｓｔ学習などのような機械学習に基づき実施することができる。なお、特開２００９−２１１３１１号公報では、監視カメラで撮影された画像を対象としているため、斜め上方から撮影した画像を用いるものとして記載されているが、輪郭からの人体領域検出は、斜め上方から撮影した画像に限定される技術ではない。

なお、上述したように、本実施形態では、人体検出部１１９によって取得された検出結果から、顔検出部１１６による検出領域に相当する部分領域が推定される。この推定方法としては、顔検出部１１６と人体検出部１１９との検出領域の関係に基づき、線形変換により推定されるものとする。従って、検出された人体領域から人物の顔位置を推定することができるように、顔検出部１１６が顔検出を行う範囲を包含する範囲で人体検出部１１９が人体検出を行うようにするのが好ましい。

また、制御部１１４は、顔検出や人体検出等によって検出された被写体領域の情報を撮影者に提供するため、例えば表示部１０９が表示する画像に、カメラ信号処理回路１０８を通じて被写体領域枠を重畳させる。これにより、画像に被写体領域枠が重畳表示され、撮影者は、デジタルビデオカメラ１００が検出している被写体領域を把握することができる。

また、顔検出部１１６と人体検出部１１９との関係は、顔と人体といった関係で主として説明するものの、たとえば、人物以外の被写体であっても適用することが可能である。たとえば、人体検出部１１９は、顔検出部１１６で検出すべき領域を包含する領域や顔検出部１１６で検出すべき領域の位置を特定もしくは推定可能な領域を検出する手段であればよい。具体的には、人体検出部１１９に対応する検出手段が飲料用の容器の領域を検出し、そこから顔検出部１１６に対応する検出手段が検出すべき容器の蓋部の領域を推定するといった具合である。さらに、顔検出部１１６と人体検出部１１９との関係でいえば、人体検出部１１９の方が顔検出部１１６よりも検出結果を出力しやすい傾向がある。

制御部１１４は、顔検出部１１６で取得された顔領域や人体検出部１１９で取得された人体領域から推定された顔領域の位置を示す顔枠を表示部１０９に表示するよう制御する。制御部１１４から送信された顔枠の情報に基づいて、カメラ信号処理回路１０８で顔枠を重畳した画像が生成され、表示部１０９に表示される。顔枠は対象となる顔領域のサイズに基づいてサイズを変更してもよい。また、枠の形状に限らず任意の形状で顔領域の位置を示す表示をしてもよい。なお、ユーザーに違和感を与えないように、顔検出部１１６で取得された顔領域に基づく顔枠と、人体領域から推定された顔領域に基づく顔枠とで表示態様を変えないことが望ましい。

また、制御部１１４は、顔検出部１１６で取得された顔領域や人体検出部１１９で取得された人体領域から推定された顔領域の情報に基づいて、ＡＦ制御やＡＥ制御で用いる評価値を取得するための評価枠（評価領域）を設定する。評価枠に対応する撮像素子１０６上の領域から出力された信号に基づいて、後述するＡＦ評価値や輝度情報が取得される。

絞り駆動部１１７は、絞り１０３を駆動させるためのアクチュエータ及びそのドライバを含む。ＣＤＳ／ＡＧＣ回路１０７によって読み出された信号からは、画面内の測光枠の輝度値を取得するため、輝度情報検波・演算回路１１８により測光値が取得され、演算により正規化される。そして、制御部１１４で、測光値と適正な露出が得られるように設定された目標値との差分が算出される。その後、算出した差分から制御部１１４が絞りの補正駆動量を算出し、絞り駆動部１１７の駆動を制御する。

制御部１１４は、顔検出部１１６の検出結果と人体検出部１１９の検出結果とについて、位置とサイズの相関を取るなどの方法により同一の被写体に対する検出結果を判別する。この際制御部１１４は、人体検出部１１９から受信した人体検出結果から顔の位置とサイズを推定する。そして、制御部１１４は、同一被写体に対するものと判別した検出結果についてはそれらを統合して、被写体領域の情報をＡＦゲート１１２に出力する。ＡＦゲート１１２は、制御部１１４から受信した被写体領域に対応する信号のみをＡＦ信号処理回路１１３に供給する。

操作部１２１は、ユーザーがデジタルビデオカメラ１００に各種の指示や設定などを入力するための入力デバイス群である。操作部１２１には、ボタンやスイッチ、タッチパネルなど一般的な入力デバイスが含まれる。制御部１１４は、操作部１２１を通じて入力されたユーザー指示に応じて各種動作を実行する。

＜本実施形態の概略説明＞
詳細な説明を行う前に、図２を用いて本実施形態の概略を説明する。図２（Ａ）は、本システムにおける顔検出及び人体検出により検出可能な最小の顔サイズを図示したものである。同図は、本システムの顔検出では、顔サイズが最小２０ピクセルの被写体まで検出可能であることを示している。また、本システムの人体検出に基づく顔検出では、推定された顔サイズが最小１５ピクセルの被写体まで検出可能であることを示している。つまり、本システムでは、人体検出から推定される顔サイズの最小検出可能サイズは、顔検出の最小検出可能サイズより小さい。これは、人体検出の際の人体領域と顔検出の際の顔領域とを比較したとき、顔領域よりも人体領域の方が大きいことが一因である。また、人体検出と顔検出との検出アルゴリズムの違いにも依るものである。なお、上記の値は本実施形態を説明するにあたり使用した任意の値であり、本発明の適用はこの数値に限定されるものではない。

顔検出可能な最小サイズである２０ピクセル付近の顔を検出する場合、顔枠表示および評価枠の設定が不安定となる。例えば、サイズが２０ピクセルの顔が検出された状態から顔サイズが１９ピクセルになると、顔検出ができなくなる。そのため、顔サイズが１９ピクセルと２０ピクセルの間で繰り返し変化した場合、顔枠の表示と非表示が繰り返されてちらつきの問題が発生する。また、ＡＦ制御やＡＥ制御は、検出された顔に対応する評価枠に基づいて制御を行っているため、検出された顔の有無により制御対象が変わってしまうという問題が発生する。

上述の問題を解決するための方法として、表示有効サイズの設定について、図２（Ｂ）、（Ｃ）を用いて説明する。本システムでは、顔枠を表示する条件として、表示有効サイズという概念を導入する。そして、予め定められた表示有効サイズの範囲内（最大値、最小値の所定の範囲内）に検出された顔のサイズがあるという条件を満たすと顔枠が表示される。

図２（Ｂ）は、顔検出結果が得られ、人体検出結果が得られていない場合における顔枠表示についての表示有効サイズの設定を説明する図である。図２（Ｂ）で示すように、今回の顔検出で検出された顔領域と同じ顔（対応する顔）について、前回の検出結果である記憶されている検出結果に基づく顔枠が表示されているか否かで表示有効サイズを変えている。前回の検出結果に基づく顔枠とは、前回の顔検出と人体検出の少なくとも一方により検出された顔領域に基づいて表示されている顔枠である。今回の顔検出で検出された顔領域が前回の顔枠と同じ顔に対応するか否かを判定する方法は、例えば両者の位置やサイズの比較を用いる方法、認証機能を用いる方法などがある。

今回顔検出された顔が前回の顔枠に対応した顔と対応しない場合、表示有効サイズの最小値（下限）を、顔検出可能な最小サイズより大きい２５ピクセルに設定している。一方、今回顔検出された顔が前回の顔枠と対応する場合、表示有効サイズの最小値を顔検出可能な最小サイズと同じ２０ピクセルに設定している。つまり、今回顔検出された顔が前回の顔枠と対応する場合は、対応しない場合と比較して、表示有効サイズの最小値を小さく設定することで、顔枠表示の条件を緩和している。

このように、図２（Ｂ）では、前回の検出結果に基づいて最小表示有効サイズを変更することで、顔枠表示のチラつきを抑えることが可能になる。例えば、顔枠が表示されていない状態から顔枠を表示するためには、顔検出により２５ピクセル以上（閾値以上）の顔が検出される必要がある。そして、２５ピクセル以上の顔が検出されて顔枠が表示されると、最小表示有効サイズを２０ピクセルに変更する。したがって、次回の顔検出で検出される顔のサイズが多少小さくなっても、２０ピクセル以上であれば引き続き顔枠が表示される。このように、顔検出された顔と対応する顔枠が表示されているか否かで最小表示有効サイズを変更することで、顔枠の表示と非表示が頻繁に繰り返されるのを抑制することができる。

一方、図２（Ｂ）のように最小表示有効サイズを変更すると、初期状態（顔枠表示前）において顔検出により２５ピクセル未満の顔が検出された場合には、顔が検出されているにもかかわらず顔枠が表示されなくなってしまう。

そこで、本実施形態では、顔検出結果に加えて対応する人体検出結果が得られている場合には、初期状態で２５ピクセル未満の顔が顔検出された場合でも、顔枠を表示する。図２（Ｃ）は、顔検出結果に加えて対応する人体検出結果も得られている場合の表示有効サイズを示している。図２（Ｃ）では、顔検出に基づく顔枠の最小表示有効サイズを、顔枠が表示されている状態か否かに関わらず、顔検出可能な最小サイズと同様に２０ピクセルとしている。人体検出結果から推定可能な最小の顔サイズは、上述したように１５ピクセルであるため、２０ピクセル程度の顔であれば人体検出結果から推定することが可能である。このように、初期状態において顔検出結果が得られた場合に、さらに人体検出結果も得られている場合は、人体検出結果が得られていない場合と比較して、顔枠表示の条件を緩和している。

ここで、被写体の顔サイズが１９ピクセルの場合、顔検出はできないが、人体検出結果が得られていれば、顔領域を推定することができる。本システムでは、人体検出の精度が顔検出に比べて低いため、人体検出結果のみに基づいて顔枠を表示すると、顔枠の精度が低くなる場合がある。一方、人体検出結果から推定した顔領域が、前回の検出結果に基づいて表示している顔枠と対応する場合、推定した顔領域の信頼性が高いことが推測される。そこで、本実施形態では、人体検出結果から推定した顔領域と同じ顔（対応する顔）について、前回の検出結果に基づく顔枠が表示されている場合は、今回推定した顔領域に基づく顔枠を表示する。前回の検出結果に基づく顔枠とは、前回の顔検出と人体検出の少なくとも一方により検出された顔領域に基づいて表示されている顔枠である。今回の人体検出結果から推定された顔領域が前回の顔枠に対応する顔領域と同じ顔か否かを判定する方法は、例えば両者の位置やサイズの比較する方法、認証機能を用いる方法などがある。

以上説明したように、顔検出結果に加えて対応する人体検出結果が得られた場合は、前回の顔枠に依らずに表示有効サイズを設定することで、初期状態での顔枠表示の性能を高めることができる。また、顔検出できないサイズの顔の領域を人体検出により推定可能な場合は、前回の顔枠と対応する顔であれば表示するよう制御することで、顔のサイズが顔検出可能な最小サイズ付近の場合でも顔枠のちらつきを抑制することができる。

このように、顔検出のみ有効な場合と、顔検出と人体検出の両方が有効な場合とで、表示有効サイズの設定を変更することで、顔枠のちらつきを抑制するとともに、顔枠の表示性能を向上させることが可能になる。なお、通常の被写体においては、顔と人体が同時に検出される場合が多いため、多くのシーンにおいて本実施形態の有効性が発揮される。

なお、本実施形態では、顔枠表示の条件を緩和する手段として、表示有効サイズの最小値を小さくすることについて説明したが、他の方法でもよい。例えば、被写体の信頼性が閾値より高い場合に顔枠を表示するとして、信頼性の閾値を下げることで顔枠表示の条件を緩和してもよい。

＜メイン制御処理のフローチャート＞
次に、本実施形態における制御の流れを説明する。図３は、本実施形態のデジタルビデオカメラ１００におけるメイン制御処理を説明するためのフローチャートである。ステップＳ３０１は処理の開始を示している。

ステップＳ３０２では、顔検出部１１６と人体検出部１１９において、撮影された画像から被写体の検出を行い、顔枠の表示設定を行う。詳細は図４を用いて後述する。

ステップＳ３０３では、制御部１１４は、検出された被写体の領域に基づいて、焦点調節制御及び露出調節制御に用いる評価領域の設定を行う。

ステップＳ３０４では、制御部１１４は焦点調節制御を実行し、設定されている焦点検出領域が合焦するようにフォーカスレンズを移動させる。詳細は図７〜図１１を用いて後述する。

ステップＳ３０５では、制御部１１４は露出調節制御を実行し、設定されている露出調整領域が適正露出になるように絞りを移動させる。詳細は図１２〜図１３を用いて後述する。そして、ステップＳ３０６に進み、処理を終了する。

＜顔枠表示設定処理のフローチャート＞
次に、図４のフローチャートを用いて、図３のステップＳ３０２における顔枠表示設定処理について説明する。特に示さない限り、本処理は制御部１１４が制御する。

まず、ステップＳ４０１は処理の開始を示している。ステップＳ４０２では、顔検出部１１６は、取得された画像から前述の方法で顔検出処理を行い、ステップＳ４０３に遷移する。ステップＳ４０３では、人体検出部１１９は、取得された画像から前述の方法で人体検出処理を行い、ステップＳ４０４に遷移する。

ステップＳ４０４では、制御部１１４は、ステップＳ４０２の顔検出により顔領域が検出されたか否かの判定を行う。顔領域が検出されている場合は、ステップＳ４０５に遷移し、そうでない場合はステップＳ４０６に遷移する。

ステップＳ４０５〜Ｓ４１０は、人体検出結果の有無に応じて、前述した顔枠表示の最小表示有効サイズの閾値を変更する処理である。ステップＳ４０５では、制御部１１４は、ステップＳ４０３で人体検出により人体領域が検出されたか否かの判定を行う。人体領域が検出されている場合はステップＳ４０８に遷移し、そうでない場合は、ステップＳ４０７に遷移する。

ステップＳ４０８においては、顔領域及び人体領域が検出されている状態である。そのため、図２（Ｃ）で説明したように、顔枠表示の最小表示有効サイズ（表示有効サイズの閾値）を２０ピクセルに設定する。なお、本実施形態では、この場合の最小表示有効サイズに本システムの顔検出の下限値を用いているが、上記下限値に限定されるものではなく、撮影被写体などに応じて変更しても良い。

一方、ステップＳ４０７に進んだ場合、図２（Ｂ）で説明したように最小表示有効サイズを設定する。ステップＳ４０７で制御部１１４は、後述するステップＳ４１７で保持された前回の顔枠表示結果を参照し、今回顔検出された顔が、前回の検出に基づいて表示されている顔枠の顔と対応するか否かを判定する。前回の顔枠と対応すると判定した場合は、ステップＳ４１０に遷移し、そうでない場合（前回顔枠が表示されていない場合、または前回の顔枠と対応しない場合）はステップＳ４０９に遷移する。

ステップＳ４１０では、人体検出結果が得られておらず、かつ、今回の顔検出結果と対応する前回の顔枠が存在しない状態である。そのため、制御部１１４は、顔枠表示の最小表示有効サイズを２５ピクセルに設定する。つまり、本システムの顔検出の下限値より大きい値に設定する。なお、この閾値は２５ピクセルに限定されるものではなく、顔検出のバラつきを考慮して設定してよい。本実施形態では、顔検出のバラつきを考慮した場合、５ピクセル程度のマージンを設定することにより顔枠表示のちらつきが減少するとして、顔検出の下限値より５ピクセル大きい２５ピクセルと設定している。また、顔検出の信頼度によって顔枠表示の最小表示有効サイズを変更してもよい。具体的には、顔検出の信頼度が低い場合は、顔の検出サイズがばらつく可能性があるため、最小表示有効サイズをより大きい値に変更する。

ステップＳ４０９では、人体検出結果が得られておらず、かつ、今回の顔検出結果と対応する前回の顔枠が存在する状態である。そのため、顔枠表示の最小表示有効サイズ（表示有効サイズの閾値）を２０ピクセルに設定する。つまり、ステップＳ４１０で設定される最小表示有効サイズより小さい値に設定する。なお、本実施形態では、この場合の最小表示有効サイズに本システムの顔検出の下限値を用いているが、上記下限値に限定されるものではなく、撮影被写体などに応じて変更しても良い。

以上説明したように、ステップＳ４０５〜Ｓ４１０では、人体検出の有無に応じて顔枠の最小表示有効サイズを設定している。ステップＳ４０９またはＳ４１０において最小表示有効サイズが設定された後、ステップＳ４１４に遷移する。

一方、ステップＳ４０６およびＳ４１１〜Ｓ４１３は、顔検出ができなかった場合に、人体検出結果に基づいて推定された顔領域を用いて顔枠表示する処理である。ステップＳ４０６で制御部１１４は、ステップＳ４０３の人体検出により人体領域が検出されたか否かの判定を行う。人体領域が検出されている場合はステップＳ４１１に遷移し、そうでない場合はステップＳ４１６に遷移する。

ステップＳ４１１で人体検出部１１９は、検出した人体領域から前述の方法で顔領域を推定する処理を行い、ステップＳ４１２に遷移する。ステップＳ４１２で制御部１１４は、ステップＳ４１７で保持され記憶された前回の顔枠表示結果を参照する。そして、今回ステップＳ４１１で推定された顔が、前回の検出に基づいて表示されている顔枠の顔と対応するか否かを判定する。前回の顔枠と対応すると判定した場合は、ステップＳ４１３に遷移し、そうでない場合（前回顔枠が表示されていない場合、または前回の顔枠と対応しない場合）はステップＳ４１６に遷移する。

ステップＳ４１３で制御部１１４は、図２（Ｃ）で説明したように、顔枠表示の最小表示有効サイズを１５ピクセルに設定する。なお、この閾値は本システムの人体検出に基づいて推定可能な顔領域の下限値を用いている。ただし、この場合の最小表示有効サイズは上記下限値に限定されるものではなく、撮影被写体などに応じて変更しても良い。

ステップＳ４１３の処理が終了すると、ステップＳ４１４で制御部１１４は、人体検出結果から推定された顔領域のサイズが最小表示有効サイズ以上か否かを判定する。最小表示有効サイズ以上であればステップＳ４１５に遷移し、そうでない場合はステップＳ４１６に遷移する。

ステップＳ４１５で制御部１１４は、表示すべき顔枠があるため、顔のサイズ、顔の位置データを表示部に送信し、顔枠を表示する。処理終了後、ステップＳ４１７に遷移する。

ステップＳ４１６で制御部１１４は、表示すべき顔枠がないため、顔枠表示は行わず、表示していた顔枠があれば解除する。処理終了後、ステップＳ４１７に遷移する。

ステップＳ４１７で制御部１１４は、ステップＳ４１５又はＳ４１６の顔枠表示結果を保持する。顔枠表示結果として、顔枠表示の有無と、表示の場合は顔枠の位置やサイズについての情報が記憶される。顔枠表示の結果は次回の処理に利用されるため、少なくとも次回の処理まで保持し記憶されることとする。処理終了後、ステップＳ４１８に遷移し、被写体検出処理を終了する。

＜評価領域設定処理のフローチャート＞
次に、図５のフローチャートを用いて、図３のステップＳ３０３における評価領域設定処理の詳細を説明する。ステップＳ５０１は処理の開始を示している。

ステップＳ５０２では、制御部１１４は、ユーザーによって、ＡＦ制御及びＡＥ制御を行いたい領域（評価領域）が指定されているか判定する。制御部１１４は、操作部１２１を通じてユーザーが評価領域を指定している場合にはステップＳ５０８に、そうでない場合はステップＳ５０３に、それぞれ処理を遷移させる。ユーザーが評価領域を指定する方法に特段の制限はなく、ライブビュー画像を表示している表示部１０９に対してタッチパネルで直接指定したり、方向キーを用いて領域を選択する方法などが一般的であるが、他の方法であってもよい。

ステップＳ５０３では、制御部１１４は、図３のステップＳ３０２の処理によって顔枠表示がされているかを判定する。表示された顔枠がある場合にはステップＳ５０４に、表示された顔枠がない場合はステップＳ５０７に、それぞれ処理を遷移させる。

ステップＳ５０４では、制御部１１４は、表示されている顔枠が複数か判定する。複数表示されている場合はステップＳ５０５に、１つのみ表示されている場合にはステップＳ５０６に、それぞれ処理を遷移させる。

ステップＳ５０５では、制御部１１４は、複数表示されている顔枠の中から主被写体とする顔枠を決定し、主被写体として決定した顔枠に対して評価領域を設定する。主被写体の決定方法は、たとえば、顔領域の位置（例えば外接矩形の中心や、重心）が画面の中心に近いほど、またサイズが大きいほど大きなポイントを与え、最もポイントの高い顔枠に対応する顔領域を主被写体と決定する方法がある。なお、評価領域は顔枠に基づいて設定するが、顔枠と全く同一の領域に設定する必要はなく、サイズや形状、重心位置などが異なってもよい。

図６は、顔枠表示の一例を示している。図６では、被写体６０３と被写体６０５が検出された場合を示しており、それぞれ顔枠６０４と顔枠６０６が表示されている。また、２つの被写体のうち上述のポイントが大きい被写体６０５を主被写体に設定している。図６では、顔枠を二重にすることにより主被写体であることを示しているが、例えば顔枠の色を変えるなどの他の方法で示してもよい。なお、顔枠の形状、個数は限定されない。

表示されている顔枠が一つの場合、ステップＳ５０６で制御部１１４は、表示されている顔枠に対応する顔領域を主被写体と決定し、この顔領域に対して評価領域を設定する。

一方、顔枠が表示されていない場合、ステップＳ５０７で制御部１１４は、予め定められた位置およびサイズの評価領域を設定する。例えば図６の枠６０２に示すように、中央に矩形の領域を設定するなどがあるが、その形状や個数は特には限定しない。なお、この場合、ステップＳ５０２で述べたようなユーザーによる指定を促す表示をしてもよい。

ステップＳ５０２で評価領域の入力があった場合、ステップＳ５０８で制御部１１４は、指定された評価領域にステップＳ４０１で検出された顔領域またはステップＳ４０２で検出された人体領域が含まれているか否かを判定する。顔領域または人体領域が含まれている場合は処理をステップＳ５０９に遷移させ、含まれている顔領域または人体領域に基づいて評価領域を設定する。なお、人体領域に基づいて評価領域を設定する場合は、人体領域から推定された顔領域に基づいて評価領域を設定してもよい。

一方、指定された評価領域に顔領域または人体領域が含まれていない場合、制御部１１４は処理をステップＳ５１０に遷移させ、指定された評価領域をそのまま設定する。

＜焦点調整制御（ＡＦ制御）のフローチャート＞
次に、制御部１１４が図３のステップＳ３０４で行う焦点調整制御（ＡＦ制御）の詳細について、図７に示すフローチャートを用いて説明する。ステップＳ７０１は処理の開始を示している。

ステップＳ７０２で制御部１１４は、微小駆動動作を行わせる。微小駆動動作は、合焦判定や合焦方向の判定のため、フォーカスレンズを現在の位置を中心とした微小範囲内で駆動してＡＦ評価値を取得する動作である。通常、微小駆動動作においては山登り駆動動作よりもフォーカスレンズの駆動範囲が小さい。微小駆動動作の詳細については図８を用いて後述する。

ステップＳ７０３では、制御部１１４は、ステップＳ７０２での判定結果に応じて処理を分岐させる。ステップＳ７０２の微小駆動動作により合焦と判定された場合、制御部１１４は処理をステップＳ７０９へ進め、そうでなければ処理をステップＳ７０４へ進める。

ステップＳ７０４では、制御部１１４は、ステップＳ７０２の微小駆動動作において合焦方向が判定できているかどうかにより処理をさらに分岐させる。すなわち、合焦方向が判定されていれば処理をステップＳ７０５へ進め、判定されていなければ処理をステップＳ７０２へ戻して微小駆動動作を継続する。

ステップＳ７０５では、制御部１１４は、フォーカスレンズ駆動部１１１を制御し、ＡＦ評価値が大きくなる方向へ高速でフォーカスレンズを山登り駆動させる。山登り駆動動作の詳細については図１０を用いて後述する。

ステップＳ７０６では、制御部１１４は、ステップＳ７０５での山登り駆動動作において、ＡＦ評価値のピークを越えたか否かを判定する。ピークを越えたと判定された場合は処理をステップＳ７０７へ進め、そうでなければステップＳ７０５の山登り駆動動作を継続する。

ステップＳ７０７では、制御部１１４は、フォーカスレンズ駆動部１１１を制御し、山登り駆動動作において得られた、ＡＦ評価値がピークとなるレンズ位置にフォーカスレンズ１０５を戻す。ステップＳ７０８で制御部１１４は、ＡＦ評価値がピークとなる位置にフォーカスレンズ１０５が戻ったか否かを判定する。そして、戻っていれば処理をステップＳ７０２へ戻して再び微小駆動動作を継続し、まだ戻っていない場合は処理をステップＳ７０７へ戻してフォーカスレンズ１０５の位置を戻す動作を継続する。

次に、ステップＳ７０９からの合焦動作について説明する。ステップＳ７０９で制御部１１４は、ＡＦ信号処理回路１１３からのＡＦ評価値を保持する。ステップＳ７１０では、制御部１１４は、最新のＡＦ評価値をＡＦ信号処理回路１１３から取得する。ステップＳ７１１で制御部１１４は、ステップＳ７０９で保持したＡＦ評価値とステップＳ７１０で新たに取得したＡＦ評価値とを比較し、ＡＦ評価値の変動が大きいか否か判定する。具体的には制御部１１４はＡＦ評価値に所定値以上の差があれば変動が大きいと判定し、処理をステップＳ７０２へ戻して微小駆動動作を再開する。一方、ＡＦ評価値の変動が大きいと判定されなければ、ステップＳ７１２へ進み、制御部１１４はフォーカスレンズ駆動部１１１を制御してフォーカスレンズ１０５を停止させ、処理をステップＳ７１０へ戻す。

＜微小駆動動作のフローチャート＞
次に、図７のステップＳ７０２で行う微小駆動動作について、図８に示すフローチャートを用いて説明する。ステップＳ８０１は処理の開始を示している。

ステップＳ８０２で制御部１１４は、図３のステップＳ３０３で設定した評価領域（焦点検出領域）内の画素信号のみをＡＦ信号処理回路１１３へ供給するようにＡＦゲート１１２を設定する。また、制御部１１４は、ＡＦ信号処理回路１１３がＡＦ枠内部の画素信号に基づいて生成したＡＦ評価値を取得する。

ステップＳ８０３で制御部１１４は、ステップＳ８０２で取得したＡＦ評価値が前回取得したＡＦ評価値より大きいか否か判定する。そして、今回取得したＡＦ評価値が前回取得したＡＦ評価値以下であれば、制御部１１４はステップＳ８０５へ進み、フォーカスレンズ駆動部１１１を制御し、フォーカスレンズ１０５を前回と逆方向に所定量移動させる。一方、今回取得したＡＦ評価値が前回取得したＡＦ評価値よりも大きければ、制御部１１４はステップＳ８０４へ進み、フォーカスレンズ駆動部１１１を制御し、フォーカスレンズ１０５を前回と同じ方向にさらに所定量移動させる。

ステップＳ８０６では、制御部１１４は、ステップＳ８０３におけるＡＦ評価値の大小関係の判定結果、あるいはフォーカスレンズ１０５の駆動方向が所定回数連続して変化していないか、つまり合焦方向と判断される方向が所定回数（Ｎ回）同一か否か調べる。もし所定回数連続して合焦方向と判断される方向が変化していなければ、ステップＳ８０７において制御部１１４は、方向判定できたものと判定し、ステップＳ８１０に進んで微小駆動動作を終了する。

一方、所定回数連続して合焦方向と判断される方向が同一でない場合、ステップＳ８０８において制御部１１４は、フォーカスレンズ１０５の位置が同一範囲内で所定回数往復しているかどうかを判定する。この判定は、フォーカスレンズ１０５の位置が、所定時間所定範囲内にあるか否かの判定であっても良い。いずれかの条件が満たされていることが判定できた場合、制御部１１４はステップＳ８０９で合焦判定できたものとして、ステップＳ８１０に進んで微小駆動動作を終了する。また、ステップＳ８１０において、いずれの条件も満たされていない場合は、方向判定も合焦判定もできていないものとして微小駆動動作を終了する。

図９は、微小駆動動作中のフォーカスレンズ１０５の位置変化の例を示す図であり、横軸が時間、縦軸がフォーカスレンズ１０５の位置を示している。図９において、期間Ａに撮像素子１０６に蓄積された電荷に基づいて、ＣＤＳ／ＡＧＣ回路１０７が生成した信号からＡＦ評価値が生成される。ＣＤＳ／ＡＧＣ回路１０７が生成した信号のうち、焦点検出領域に対応する信号からＡＦ信号処理回路１１３ＡＦ評価値ＡＦ_Ａを生成し、時刻Ｔ_Ａで制御部１１４により取得される。その後、微小駆動動作により、フォーカスレンズ１０５が矢印ａの方向に所定量移動され、期間Ｂに撮像素子１０６で蓄積された電荷信号から生成されたＡＦ評価値ＡＦ_Ｂが、時刻Ｔ_Ｂで制御部１１４により取得される。

そして、制御部１１４は、ＡＦ評価値ＡＦ_ＡとＡＦ_Ｂを比較し、ＡＦ_Ａ＜ＡＦ_Ｂであればそのまま順方向（前回と同じ方向、即ち矢印ａの方向）にフォーカスレンズ１０５を所定量移動させる。一方、ＡＦ_Ａ＞ＡＦ_Ｂであれば、逆方向（前回と逆の方向、即ち矢印ｂの方向）にフォーカスレンズ１０５を所定量移動させる。

なお、微小駆動動作におけるＳ８０４及びＳ８０５におけるフォーカスレンズ１０５の一回の移動量は、画像を表示部１０９等で表示した際に焦点状態の変化がユーザーに判別できないような量とすることが好ましい。具体的には、移動後の位置が焦点深度内にあるような移動量とすることが好ましい。

＜山登り駆動動作のフローチャート＞
次に、図７のＳ７０５で行う山登り駆動動作について、図１０に示すフローチャートを用いて説明する。ステップＳ１００１は処理の開始を示している。

山登り駆動動作においても、微小駆動動作と同様、制御部１１４はまずステップＳ１００２でＡＦ評価値を取得する。次に、ステップＳ１００３で制御部１１４は、前回取得したＡＦ評価値と今回取得したＡＦ評価値のサイズを比較し、処理を分岐させる。

今回取得したＡＦ評価値が前回取得したＡＦ評価値よりも大きければ、ステップＳ１００４に進む。ステップＳ１００４では、制御部１１４はフォーカスレンズ駆動部１１１を制御し、フォーカスレンズ１０５を前回と同じ方向（順方向）に所定の速度で移動させ、処理を終了する。

一方、今回取得したＡＦ評価値が前回取得したＡＦ評価値以下であれば、ステップＳ１００５に進む。ステップＳ１００５で制御部１１４は、ＡＦ評価値がピークを越えて減少したかどうか判定する。そして、ＡＦ評価値がピークを越えて減少したと判定された場合、Ｓ１００６へ進み、制御部１１４はピークを越えたと判定して処理を終了する。ステップＳ１００５でＡＦ評価値がピークを越えて減少したと判定されなかった場合、ステップＳ１００７へ進む。ステップＳ１００７では、制御部１１４は、フォーカスレンズ駆動部１１１を制御し、フォーカスレンズ１０５を前回と逆方向に所定の速度で移動させ、処理を終了する。

図１１は、山登り駆動動作中のＡＦ評価値のサイズとフォーカスレンズ１０５の駆動動作の例を示す図である。図１１において、山登り駆動の開始位置から図中右方向にフォーカスレンズ１０５を駆動した場合、矢印Ａで示すように、ＡＦ評価値がピークを越えて減少していることが検出される。この場合、合焦点を通り過ぎたものとして山登り駆動動作を終了し、ＡＦ評価値のピークが得られた位置にフォーカスレンズ１０５を戻し（図７のステップＳ７０７及びＳ７０８）、微小駆動動作に移行する（ステップＳ７０２）。

一方、山登り駆動の開始位置から図中左方向にフォーカスレンズ１０５を駆動した場合、矢印Ｂで示すように、ＡＦ評価値がピークを越えることなく減少していることが検出される。この場合、フォーカスレンズ１０５の移動方向を間違えたものと判断して、逆方向に山登り駆動動作を継続する。なお、山登り駆動において、フォーカスレンズ１０５の一定時間あたりの移動量は、上述した微小駆動動作時よりも大きい。

このように、制御部１１４は、再起動（微小駆動からのやり直し）要否判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながら、ＡＦ評価値がピークとなる位置にフォーカスレンズ１０５を移動させるＡＦ制御動作を行う。

＜露出調節制御のフローチャート＞
次に、制御部１１４が実行する露出調節（ＡＥ）制御の概要について説明する。図１２は、本実施形態における露出調節制御を示すフローチャートである。ステップＳ１２０１は処理の開始を示している。

まずステップＳ１２０２で制御部１１４は、輝度情報検波・演算回路１１８より、露出制御に用いる評価値としての輝度情報を取得する。ここでの輝度情報は、図３のステップＳ３０３で位置とサイズを設定された評価領域（測光枠）から取得される。

ステップＳ１２０２で制御部１１４は、露出制御により輝度調節を行う。その後、ステップＳ１２０２へ戻り、この処理を繰り返す。

次に、ステップＳ１２０２における露出制御について説明する。ＣＤＳ／ＡＧＣ回路１０７より出力された輝度信号は、輝度情報検波・演算回路１１８を経て、制御部１１４に取り込まれる。制御部１１４は、輝度情報検波・演算回路１１８の出力レベルが所定の範囲内に入るように、絞り駆動部１１７を制御する。絞り駆動制御系は、駆動電流を制御して、絞り１０３の開口量を可変する絞り制御により露出制御を行う。制御部１１４は、絞り１０３による露出制御同様、制御部１１４に取り込まれた輝度情報検波・演算回路１１８の出力レベルが所定の範囲内になるように、ＣＤＳ／ＡＧＣ回路１０７のゲインのレベルを制御する。このような閉ループ制御によって、露出制御系が構成されている。

続いて図１３において、明るさに応じた露出制御を説明する。図１３は、横軸は被写体照度、縦軸は絞り、ゲインの各露出制御手段の設定値である。同図から明らかなように、各露出制御手段は被写体照度に応じてＡ，Ｂと２つの領域に分割されている。すなわち、被写体照度に応じて２種類の露出制御手段を組み合わせることにより、露出の動作制御を行っている。領域Ａにおいては、ＡＧＣ回路のゲインも０ｄＢで固定されており、絞りの開口量のみで露出が制御される。領域Ｂにおいては、前記絞りが開放で固定され、ＡＧＣ回路のみで露出が制御される。なお、本実施例では、露出制御にあたり、絞り部材とＡＧＣ回路を用いたが、新たにＮＤやシャッター速度を加えた露出制御系により、精度の高い露出制御を行っても良い。

このように、本実施形態で制御部１１４は、絞り駆動による露出制御系と、ＡＧＣ回路による露出制御系の２種類の制御系を持ち、取り込まれた輝度情報検波・演算回路１１８の出力レベルが所定の範囲内に収まるように、露出制御を繰り返し行っている。

以上説明したように、本実施形態では、顔検出及び人体検出の検出状況に応じて顔枠表示の有効サイズを設定することにより、顔枠を安定して表示することが可能になる。また、上記の顔枠に基づいて、ＡＦ制御やＡＥ制御に用いる評価値を取得する評価領域を設定することにより、安定したＡＦ制御やＡＥ制御を行うことが可能になる。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ デジタルビデオカメラ
１１４ 制御部
１１６ 顔検出部
１１９ 人体検出部

Claims (21)

1. 画像から第１の検出対象の領域を検出する第１の検出手段と、
   前記第１の検出対象の領域を推定可能な第２の検出対象の領域を画像から検出する第２の検出手段と、
   所定条件を満たす場合に、前記第１の検出対象の領域を示す所定の形態の表示を行うように制御する制御手段とを有し、
   前記制御手段は、前記所定の形態の表示が行われていない状態において前記第１の検出手段により前記第１の検出対象の領域が検出された際に、さらに前記第２の検出手段により前記第２の検出対象の領域が検出されたか否かに基づいて、前記所定条件を変更することを特徴とする被写体検出装置。
2. 前記第１の検出対象の領域を示す表示が行われていない状態において前記第１の検出手段により前記第１の検出対象の領域が検出された際に、さらに前記第２の検出手段により前記第２の検出対象の領域が検出された場合、前記制御手段は、前記第２の検出対象の領域が検出されなかった場合と比較して、前記所定条件を緩和することを特徴とする請求項１に記載の被写体検出装置。
3. 前記制御手段は、前記第１の検出手段により検出された領域のサイズが所定の範囲内であれば、前記所定の形態の表示を行うように制御し、前記所定の範囲の設定を変更することにより、前記所定条件を変更することを特徴とする請求項１又は２に記載の被写体検出装置。
4. 前記制御手段は、前記第１の検出手段および前記第２の検出手段の記憶されている検出結果に基づいて、前記所定条件を変更することを特徴とする請求項１乃至３のいずれか１項に記載の被写体検出装置。
5. 前記第１の検出手段により前記第１の検出対象の領域が検出され、かつ前記第２の検出手段により前記第２の検出対象の領域が検出されなかった際に、前記制御手段は、前記第１の検出手段により検出された前記第１の検出対象の領域が、前記所定の形態により示された領域と対応すると判定した場合、対応しないと判定した場合と比較して、前記所定条件を緩和することを特徴とする請求項１乃至４のいずれか１項に記載の被写体検出装置。
6. 前記制御手段は、前記第１の検出手段により検出された前記第１の検出対象の領域のサイズが第１の閾値以上であれば、当該第１の検出対象の領域を示す前記所定の形態の表示を行うよう制御し、前記第１の閾値を第２の閾値に変更することにより、前記所定条件を変更することを特徴とする請求項１乃至５のいずれか１項に記載の被写体検出装置。
7. 前記第１の検出手段により前記第１の検出対象の領域が検出され、さらに前記第２の検出手段により前記第２の検出対象の領域が検出された場合、前記第２の閾値は、前記第１の検出手段により検出可能な前記第１の検出対象のサイズに基づく値に設定されることを特徴とする請求項６に記載の被写体検出装置。
8. 前記所定の条件は、前記第１の検出手段による検出結果の信頼度に応じて変更されることを特徴とする請求項１乃至７のいずれか１項に記載の被写体検出装置。
9. 前記第１の検出手段により前記第１の検出対象の領域が検出されず、かつ前記第２の検出手段により前記第２の検出対象の領域が検出された場合、前記制御手段は、前回の前記所定の形態の表示が行われた領域および、前記第２の検出手段の検出結果に基づいて、前記所定の形態の表示を行うことを特徴とする請求項１乃至８のいずれか１項に記載の被写体検出装置。
10. 前記制御手段は、前記第２の検出手段により検出された前記第２の検出対象の領域が、前回の前記所定の形態の表示が行われた領域に対応する場合、前記第２の検出対象の領域から推定された前記第１の検出対象の領域に基づいて、前記所定の形態の表示を行うことを特徴とする請求項９に記載の被写体検出装置。
11. 前記制御手段は、前記第２の検出対象の領域から推定された前記第１の検出対象の領域のサイズが第３の閾値以上の場合、前記所定の形態の表示を行うことを特徴とする請求項１０に記載の被写体検出装置。
12. 前記第３の閾値は、前記第２の検出手段により検出される前記第２の検出対象の領域から推定可能な前記第１の検出対象の領域のサイズの下限値に基づいて設定されることを特徴とする請求項１１に記載の被写体検出装置。
13. 前記制御手段は、前記第１の検出手段により検出された前記第１の検出対象の領域のサイズが第１の閾値以上であれば、当該第１の検出対象の領域を示す前記所定の形態の表示を行うよう制御し、前記第３の閾値は、前記第１の閾値より小さい値であることを特徴とする請求項１１又は１２に記載の被写体検出装置。
14. 前記制御手段は、前記第２の検出手段により検出された前記第２の検出対象の領域が、前回の前記所定の形態の表示が行われた領域と対応しない場合、前記第２の検出対象の領域から推定された前記第１の検出対象の領域に基づく前記所定の形態の表示を行わないことを特徴とする請求項１０乃至１３のいずれか１項に記載の被写体検出装置。
15. 所定の制御に用いる信号を取得するための評価領域を設定する設定手段を有し、
    前記設定手段は、前記第１の検出対象の領域に基づいて、前記評価領域を設定することを特徴とする請求項１乃至１４のいずれか１項に記載の被写体検出装置。
16. 前記所定の制御は、焦点調節または露出調節の少なくとも一方の制御を含むことを特徴とする請求項１５に記載の被写体検出装置。
17. 前記第１の検出対象の領域は人物の顔領域であって、前記第２の検出対象の領域は人物の顔および胴体を含む領域であることを特徴とする請求項１乃至１６のいずれか１項に記載の被写体検出装置。
18. 請求項１乃至１７のいずれか１項に記載の被写体検出装置と、
    被写体像を光電変換して画像を生成する撮像手段を有することを特徴とする撮像装置。
19. 被写体検出装置の制御方法であって、
    画像から第１の検出対象の領域を検出する第１の検出ステップと、
    前記第１の検出対象の領域を推定可能な第２の検出対象の領域を画像から検出する第２の検出ステップと、
    所定条件を満たす場合に、前記第１の検出対象の領域を示す所定の形態の表示を行うように制御する制御ステップとを有し、
    前記制御ステップにおいて、前記所定の形態の表示が行われていない状態において前記第１の検出ステップにより前記第１の検出対象の領域が検出された際に、さらに前記第２の検出ステップにより前記第２の検出対象の領域が検出されたか否かに基づいて、前記所定条件を変更することを特徴とする被写体検出装置の制御方法。
20. 請求項１９に記載の被写体検出装置の制御方法を実行させるように構成されていることを特徴とする被写体検出装置の制御プログラム。
21. 請求項２０に記載の被写体検出装置の制御プログラムを記憶しており、当該制御プログラムを当該被写体検出装置により読み取り可能であることを特徴とする記憶媒体。

Images