JP5398182B2 - 撮像装置、自動焦点検出方法及びプログラム - Google Patents

Description

本発明は、撮像装置、自動焦点検出方法及びプログラムに係り、特に、自動焦点検出を行なう撮像装置に関するものである。

ビデオカメラ等の撮像装置におけるオートフォーカス（以下、単に「ＡＦ」という。）制御では、撮像素子により生成された映像信号の鮮鋭度、コントラスト状態等を示すＡＦ評価値信号を生成し、このＡＦ評価値信号が最大となるようにフォーカスレンズの位置を調整するＴＶ−ＡＦ方式が主流である。

このようなＡＦ制御を行なう撮像装置において人物を撮影する場合、例えば、主被写体である人物とその背景とのコントラスト状態によって、人物ではなく背景にピントが合うことがある。この場合、撮影者の所望するピント合わせが行なわれず、撮影者に不快感を与えることになる。

そこで、撮像画像中に存在する顔を認識し、認識した顔を含む焦点検出領域を設定し、設定した焦点検出領域に基づいて焦点検出を実行する撮像装置が提案されている（例えば、特許文献１参照。）。また、撮像画像中の人物の顔、特に目を検出し、検出した目に基づいて焦点検出を行なう撮像装置が提案されている（例えば、特許文献２参照。）。
特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報

しかしながら、撮像画像の解像感は撮影状態に影響される傾向にあるため、上述の撮像装置のいずれにおいても、例えば、高いズーム倍率での撮影時に手ぶれが生じることで撮像画像の解像感が低下し、これにより撮影された顔を顔として検出できない場合がある。

顔が検出できない場合には、上述の撮像装置による顔に対するピント合わせが実行できないため、撮影画面上に主被写体の顔が表されているにもかかわらず、主被写体に対するピント合わせを行なうことができないという問題がある。

また、例えば、撮影状態に応じて顔の検出と非検出とが不規則に繰り返される場合、顔検出時には顔に対してピント合わせが行われ、顔非検出時には顔以外の背景等に対してピント合わせが行われることになる。この場合にも、上述の場合と同様に、被写体に対する安定したピント合わせを行なうことができないという問題がある。

本発明の目的は、認識された被写体領域を用いてピント合わせを行う場合であっても、被写体に対して安定してピント合わせを行なうことのできる撮像装置、自動焦点検出方法及びプログラムを提供することにある。

上記目的を達成するために、請求項１記載の撮像装置は、フォーカスレンズを含む撮像光学系によって形成された像を電気信号に変換して映像信号を出力する撮像手段と、前記撮像手段から出力された前記映像信号に基づいて、撮影画面内の顔領域及び前記顔領域について顔検出結果の信頼度を検出する顔検出手段と、焦点距離、シャッタースピード及びズーム動作中か否かの少なくともいずれかに対応して変動する閾値を有し、前記顔検出手段によって検出された前記顔検出結果の信頼度が、前記閾値よりも高いか否かを判定する判定手段と、前記判定手段によって前記顔検出結果の信頼度が前記閾値よりも高いと判定された場合に、前記顔領域に基づいて焦点調節を制御する制御手段とを有することを特徴とする。

請求項６記載の自動焦点検出方法は、撮像装置における自動焦点検出方法であって、フォーカスレンズを含む撮像光学系によって形成された像を電気信号に変換して映像信号を出力する撮像ステップと、前記撮像ステップで出力された前記映像信号に基づいて、撮影画面内の顔領域及び前記顔領域について顔検出結果の信頼度を検出する顔検出ステップと、焦点距離、シャッタースピード及びズーム動作中か否かの少なくともいずれかに対応して変動する閾値を有し、前記顔検出ステップで検出された前記顔検出結果の信頼度が、前記閾値よりも高いか否かを判定する判定ステップと、前記判定ステップで前記顔検出結果の信頼度が前記閾値よりも高いと判定された場合に、前記顔領域に基づいて焦点調節を制御する制御ステップとを有することを特徴とする。

請求項１１記載のプログラムは、撮像装置における自動焦点検出方法をコンピュータに実行させるコンピュータで読み取り可能なプログラムであって、前記自動焦点検出方法は、フォーカスレンズを含む撮像光学系によって形成された像を電気信号に変換して映像信号を出力する撮像ステップと、前記撮像ステップで出力された前記映像信号に基づいて、撮影画面内の顔領域及び前記顔領域について顔検出結果の信頼度を検出する顔検出ステップと、焦点距離、シャッタースピード及びズーム動作中か否かの少なくともいずれかに対応して変動する閾値を有し、前記顔検出ステップで検出された前記顔検出結果の信頼度が、前記閾値よりも高いか否かを判定する判定ステップと、前記判定ステップで前記顔検出結果の信頼度が前記閾値よりも高いと判定された場合に、前記顔領域に基づいて焦点調節を制御する制御ステップとを有することを特徴とする。

請求項２８記載のコンピュータで読み取り可能な記憶媒体は、請求項２７記載のプログラムを格納したことを特徴とする。

本発明によれば、被写体領域に被写体が現されている信頼度が撮影状態に対応して変動する所定の条件を満たしているか否かに応じて、被写体領域に基づいた焦点調節を行うか否かが制御されるので、被写体に対して安定したピント合わせを行なうことができる。

以下、本発明の実施の形態を図面を参照しながら説明する。

［第１の実施の形態］
まず、第１の実施の形態に係る撮像装置について説明する。

図１は、本発明の実施の形態に係る撮像装置としてのビデオカメラの全体構成を概略的に示すブロック図である。

図１において、ビデオカメラ１００は、第１固定レンズ１０１、光軸方向に移動して変倍を行なうズームレンズとしての変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５を備える。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えた、いわゆるフォーカスコンペンセータレンズである。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５によって構成される撮像光学系は被写界の光学像を形成し、撮像部としての撮像素子１０６に結像させる。

撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子であり、結像された光学像を電気信号に変換してＣＤＳ／ＡＧＣ回路１０７に出力する。ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６の出力をサンプリングしてゲイン調整する。

また、ビデオカメラ１００は、カメラ信号処理回路１０８、モニタ部１０９、ズーム駆動源１１０、フォーカシング駆動源１１１、ＡＦゲート１１２、ＡＦ信号処理回路１１３、カメラ／ＡＦマイクロコンピュータ１１４、記録部１１５及び顔検出処理回路１１６を備える。

カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施して映像信号を生成する。モニタ部１０９は、ＬＣＤ等により構成されるモニタであり、カメラ信号処理回路１０８から出力された映像信号を撮像画像として表示する。記録部１１５は、カメラ信号処理回路１０８から出力された映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点調節に用いられる領域の信号のみをＡＦ信号処理回路１１３に通過させる。ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した信号から高周波成分、輝度差成分等を抽出してＡＦ評価値信号を生成し、生成したＡＦ評価値信号をカメラ／ＡＦマイクロコンピュータ１１４（以下、単に「コンピュータ」という。）に出力する。

輝度差成分は、例えば、ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分である。また、ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度を表すものである。鮮鋭度は撮像光学系の焦点状態によって変化するので、ＡＦ評価値信号は、撮像光学系の焦点状態を表す信号となる。

制御部としてのコンピュータ１１４は、ビデオカメラ１００全体を制御する。コンピュータ１１４は、変倍レンズ１０２を駆動させるズーム駆動源１１０を制御することによるズーム制御、及びフォーカスレンズ１０５を駆動させるためのフォーカシング駆動源１１１を制御することによるフォーカス制御を行なう。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ、ボイスコイルモータ等のアクチュエータにより構成される。ここで、コンピュータ１１４によるフォーカス制御には、公知のＴＶ−ＡＦ方式（以下、単に「ＴＶ−ＡＦ」という。）による制御を用いることができる。

また、コンピュータ１１４は、撮影状態を示す情報として、カメラパラメータ、カメラ動作及び被写体情報を取得する。カメラパラメータとは、ズーム倍率、焦点距離、合焦度等であり、カメラ動作とは、シャッタースピード、ズーム動作等であり、被写体情報とは、被写体の明るさ（照度）等である。

被写体検出部としての顔検出処理回路１１６は、カメラ信号処理回路１０８から出力された映像信号に対して公知の顔認識処理を施し、被写体領域として、撮影画面内の主被写体の顔領域を検出し、被写体位置情報を含む検出結果をコンピュータ１１４に送信する。被写体位置情報とは、撮影画面内での被写体領域の位置に関する情報である。コンピュータ１１４は、受信した検出結果に基づき、撮影画面内の顔領域を含む位置に対して焦点検出に用いられる領域を追加すべく、ＡＦゲート１１２へ情報を送信する。

公知の顔認識処理としては、例えば、映像信号に対応した画像データで表される各画素の階調色から肌色領域を抽出し、あらかじめ用意する顔の輪郭プレートとのマッチング度で顔領域を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔領域を検出する方法がある。本実施の形態における顔認識処理は、上述に述べた方法に限るものではなく、公知のいずれの方法でも良い。

また、コンピュータ１１４は、顔検出処理回路１１６で認識された顔領域を撮影者に通知するために、顔領域の位置、サイズ等の情報をカメラ信号処理回路１０８へ送信し、これらの情報に対応した枠表示を映像信号に重畳させてモニタ部１０９に表示させる。

また、ビデオカメラ１００にはズームキー１１７が設けられており、撮影者はズームキー１１７を操作することができる。ズームキー１１７の操作に対応して、コンピュータ１１４がズーム駆動源１１０を制御することにより変倍レンズ１０２が移動し、これによりズーム倍率が変倍される。

次に、第１の実施の形態に係るビデオカメラ１００で実行される焦点調節としてのピント合わせ処理について、図２を用いて説明する。

図２は、第１の実施形態に係るビデオカメラ１００で実行されるピント合わせ処理の手順を示すフローチャートであり、本処理は、ズーム倍率に応じてＡＦ制御及び枠表示制御を行なうものである。このピント合わせ処理は、コンピュータ１１４内に格納されたコンピュータプログラムに基づいて不図示のＣＰＵによって実行される。なお、本処理は、例えば、１フィールド毎のフィールド画像を生成するための撮像素子１０６からの電気信号の読み出し周期に対応して繰り返し実行される。

図２において、例えば、ビデオカメラ１００の不図示の電源が投入されることにより、本処理が開始される。電源が投入されると、まず、コンピュータ１１４の命令に基づいて、顔検出処理回路１１６が映像信号に応じた撮像画像から公知の顔認識処理を実行し、コンピュータ１１４は、この顔認識処理による顔検出結果を取得する（ステップＳ２０１）。

次いで、コンピュータ１１４は、顔認識処理が成功したか否かを、取得した顔検出結果に顔領域が有るか否かにより判断する（ステップＳ２０２）。顔認識処理が成功したと判断された場合（ステップＳ２０２でＹＥＳ）にはステップ２０３に進み、顔認識処理が失敗したと判断された場合（ステップＳ２０２でＮＯ）にはステップＳ２０９に進む。

顔認識処理が成功したと判断された場合（ステップＳ２０２でＹＥＳ）、コンピュータ１１４は、現在のズーム倍率を取得する（ステップＳ２０３）。次いで、コンピュータ１１４は、取得したズーム倍率を用いて、顔検出結果がＡＦ制御及び枠表示制御にて使用可能な検出結果であるか否かを判定する信頼度判定ステップ（ステップＳ２０４）を経て使用可能な顔検出結果であるか否かを決定する（ステップＳ２０５）。ステップＳ２０５において、使用可能な顔検出結果である場合（ステップ２０５でＹＥＳ）にはステップ２０６に進み、使用不可能な顔検出結果である場合（ステップ２０５でＮＯ）には、ステップ２０９に進む。

使用可能な顔検出結果である場合（ステップ２０５でＹＥＳ）、認識された顔領域を含む主被写体に追従して移動する所定のＡＦ枠（以下、単に「顔枠」という。）をＡＦゲート１１２に設定する（ステップＳ２０６）。次いで、コンピュータ１１４は、顔枠におけるＡＦ評価値を取得し（ステップＳ２０７）、その後、枠表示出力ＯＮフラグを設定する（ステップＳ２０８）。

枠表示出力ＯＮフラグが設定されると、モニタ部１０９が表示する撮影画面において、主人物である主被写体の顔領域の位置に枠が表示され、これにより、撮影者は撮像画像のどの位置でピント合わせが行われているかを認識できる。本実施の形態では、コンピュータ１１４は、顔検出部１１６での顔認識処理によって認識された顔領域の撮影画面上での位置情報を取得してＡＦ枠や枠表示の位置を設定するが、位置情報としては、顔領域の中心位置や、目、鼻、口等の顔の特徴点の位置でも良い。枠表示出力ＯＮフラグの設定後、ステップＳ２１２に進む。

一方、顔認識処理が失敗したと判断された場合（ステップＳ２０２でＮＯ）、コンピュータ１１４は、通常のピント合わせ制御を行なうために設定される主被写体に追従しない所定のＡＦ枠（以下、単に「通常枠」という。）をＡＦゲート１１２に設定する（ステップＳ２０９）。また、使用不可能な顔検出結果である場合（ステップ２０５でＮＯ）にも、同様に、通常枠をＡＦゲート１１２に設定する。なお、通常枠は１つに限られず、複数であってもよい。次いで、コンピュータ１１４は、通常枠におけるＡＦ評価値を取得し（ステップＳ２１０）、さらに、枠表示出力ＯＮフラグを解除して（ステップＳ２１１）、ステップＳ２１２に進む。

ステップＳ２１２において、コンピュータ１１４は、取得したＡＦ評価値を用いて公知のＴＶ−ＡＦ制御を実行する。この公知のＴＶ−ＡＦ制御とは、ＡＦ評価値が最大になるように、ＡＦ評価値をモニタしつつフォーカスレンズ１０５を駆動して合焦を得る制御方法である。また、このＴＶ−ＡＦ制御には、合焦が得られている状態において、フォーカスレンズ１０５を再駆動する必要性の有無を判断するために、ＡＦ評価値の低下があったか否かを判定する等、合焦を維持するための制御も含まれる。

コンピュータ１１４は、ＴＶ−ＡＦ制御の実行後、次回実行されるＴＶ−ＡＦ制御のために、ＡＦ評価値の履歴を残すべくＡＦ評価値を記憶し（ステップＳ２１３）、その後、本処理を終了する。

図３は、図２のステップ２０４において実行される、顔検出結果がＡＦ制御及び枠表示制御で使用可能な顔検出結果であるか否かを判定する処理（以下、単に「判定処理」という。）の手順を示すフローチャートである。本処理は、検出された顔領域について顔である確からしさの度合いを判定するものであり、特に、ズーム倍率に対応させて、ＡＦ制御及び枠表示で使用可能な顔検出結果か否かの判定基準である閾値を変動させて、判定の条件を変動させるものである。

図３において、コンピュータ１１４は、まず、ビデオカメラ１００のズーム倍率が所定倍率以上か否かを判定する（ステップＳ３０１）。ズーム倍率が所定倍率よりも低い、いわゆるワイド側である場合（ステップ３０１でＮＯ）にはステップ３０２へ進み、ズーム倍率が所定倍率以上である、いわゆるテレ側である場合（ステップＳ３０１でＹＥＳ）にはステップ３０５に進む。

ズーム倍率が所定倍率よりも低い場合（ステップＳ３０１でＮＯ）、コンピュータ１１４は、信頼度判定部として顔検出部１１６で認識された顔検出結果の信頼度の数値が第１の閾値以下であるか否かを判定する（ステップＳ３０２）。

ここで、信頼度とは、顔検出部１１６で認識された顔検出結果において顔領域と認識された領域に主被写体の顔が存在する確からしさの指標である。図４は、被写体領域の信頼度の数値を設定するための基準の一例を示す表である。図４において、信頼度の数値が小さいほど、顔領域と認識された領域に主被写体の顔が存在する確からしさが十分であって信頼度が高いことを示している。

図３に戻り、顔検出結果の信頼度の数値が第１の閾値以下である場合（ステップＳ３０２でＹＥＳ）には、顔検出結果は使用可能な顔検出結果と判定される（ステップＳ３０３）。顔検出結果の信頼度の数値が第１の閾値よりも大きい場合（ステップＳ３０２でＮＯ）には、顔検出結果は使用不可能な顔検出結果と判定される（ステップＳ３０４）。

一方、ズーム倍率が所定倍率以上である場合（ステップＳ３０１でＹＥＳ）、コンピュータ１１４は、顔検出結果の信頼度の数値が、第１の閾値よりも大きい数値に設定された第２の閾値以下であるか否かを判定する（ステップＳ３０５）。

顔検出結果の信頼度の数値が第２の閾値以下である場合（ステップＳ３０５でＹＥＳ）には、顔検出結果は使用可能な顔検出結果と判定される（ステップＳ３０６）。顔検出結果の信頼度の数値が第２の閾値よりも大きい場合（ステップＳ３０５でＮＯ）には、顔検出結果は使用不可能な顔検出結果と判定される（ステップＳ３０７）。

このようにして、コンピュータ１１４がいずれかの判定結果を出すことによって本処理が終了する。

以上より、図２の処理によれば、図３のズーム倍率を用いた判定処理による判定結果に基づいて、ＡＦ枠に用いる枠を顔枠、通常枠のいずれかに決定するので、ズーム倍率に応じたＡＦ制御を行なうことができる。

ここで、第１の閾値と第２の閾値の関係について、図５を用いて説明する。

図５は、ズーム倍率と第１の閾値及び第２の閾値との関係の一例を示す表であり、ステップＳ３０１における所定倍率を１０倍とした場合を示している。

本処理において図５に示す表を適用すると、ズーム倍率が１０倍未満の場合には１〜３のいずれかの数値が第１の閾値として用いられ、ズーム倍率が１０倍以上の場合には１〜６のいずれかの数値が第２の閾値として用いられることになる。また、第２の閾値は第１の閾値よりも大きい数値に設定されるので、例えば、第１の閾値を２に設定した場合には、第２の閾値は２よりも大きい３〜６のいずれかに設定される。信頼度の数値が大きいほど信頼度が低いことから、このような設定により、ズーム倍率が低い（１０倍未満）ときよりも、ズーム倍率が高い（１０倍以上）ときのほうが閾値に対応する第１の変動信頼度が低くなるように設定されることになる。

一般的に、ズーム倍率が高倍率になるほど撮像画像に与える撮影者の手ぶれの影響が大きく、撮像画像の解像感が低下する傾向にある。このため、例えば、ズーム倍率が低倍率のときに最適な信頼度の数値を閾値とした撮像装置では、高倍率での撮影時において要求される信頼度が高すぎることになる。これにより、高倍率での撮影時の顔検出確率が低下し、主被写体に対する安定したピント合わせを行なうことができなくなる。

また、例えば、ズーム倍率が高倍率のときに最適な信頼度の数値を閾値とした撮像装置では、高解像度の映像が取得できる低倍率での撮影時に、主被写体以外の被写体に対しても顔検出が行われ、やはり、主被写体に対する安定したピント合わせを行なうことができなくなる。さらに、ＡＦ制御に伴って枠表示を行なう場合、撮影画面上での枠表示が過剰に存在するために撮影画面が見づらくなり、また、撮影者は、どこにピントが合わされているのか判断しづらい。

しかし、第１の実施の形態によれば、ズーム倍率に応じて、ＡＦ制御に必要な顔検出結果が使用可能と判定するための条件が変動する。具体的には、判定の基準値として、ズーム倍率が所定の倍率よりも低い場合には第１の閾値が、ズーム倍率が所定の倍率以上の場合には第１の閾値よりも低い信頼度を示す第２の閾値が設定される。このような設定により、顔検出回路１１６により認識された顔検出結果が使用可能な顔検出結果と判定されるためには、ズーム倍率が低いときよりもズーム倍率が高いときのほうが高い信頼度を必要とするので、ズーム倍率に応じて、最適な信頼度の数値を閾値として設定することができる。

したがって、第１の実施の形態によれば、撮影時の解像感が高い場合には高精度な顔検出を保ち、撮影時の解像感が低い場合にも安定した顔検出を可能とするので、被写体に対して安定してピント合わせを行なうことができる。また、正確なＡＦ制御に対して枠表示制御が行なわれるので、上述のような、撮影画面上に枠表示が過剰に存在すること、及びどこにピントが合わされているのか撮影者が判断しづらいということを防ぐことができる。

本実施の形態はこれに限られず、例えば、撮影状態情報として、ズーム倍率の代わりに焦点距離を用いて判定しても良い。

［第２の実施の形態］
次に、第２の実施の形態に係る撮像装置について説明する。

本実施の形態に係る撮像装置の全体構成は、第１の実施の形態に係るビデオカメラ１００と同様であるので説明を省略する。

図６は、第２の実施形態に係る撮像装置で実行されるピント合わせ処理の手順を示すフローチャートであり、シャッタースピードに応じてＡＦ制御及び枠表示制御を行なうものである。本処理は第１の実施の形態におけるピント合わせ処理と基本的に同じであるので、図２と共通する動作については下２桁を図２と同数字にして説明に代え、異なる動作についてのみ説明する。

図６において、コンピュータ１１４は、ステップＳ６０２で顔認識処理が成功したと判断した場合に、現在のシャッタースピードを取得する（ステップＳ６１５）。次いで、コンピュータ１１４は、取得したシャッタースピードを用いて、顔検出結果がＡＦ制御及び枠表示制御にて使用可能な検出結果であるか否かを判定する信頼度判定ステップ（ステップＳ６１６）を経て使用可能な顔検出結果であるか否かを決定する（ステップ６０５）。そして、コンピュータ１１４は、第１の実施の形態と同様に、この決定をもとに以降の各ステップを実行して本処理を終了する。

図７は、図６のステップＳ６１６で実行される判定処理の手順を示すフローチャートであり、シャッタースピードに対応させて判定の条件を変動させるものである。

図７において、コンピュータ１１４は、まず、撮像装置のシャッタースピードが所定スピード以上か否かを判定する（ステップＳ７０１）。シャッタースピードが所定スピード以上の場合（ステップＳ７０１でＮＯ）にはステップＳ７０２に進み、シャッタースピードが所定スピードよりも遅い場合（ステップＳ７０１でＹＥＳ）にはステップＳ７０５に進む。

シャッタースピードが所定スピード以上の場合（ステップＳ７０１でＮＯ）、コンピュータ１１４は、顔検出結果の信頼度の数値が第３の閾値以下であるか否かを判定する（ステップＳ７０２）。なお、信頼度の数値の設定については、第１の実施の形態と同様に、例えば、図４に示す表を用いることができる。

顔検出結果の信頼度の数値が第３の閾値以下である場合（ステップＳ７０２でＹＥＳ）には、顔検出結果は使用可能な顔検出結果と判定される（ステップＳ７０３）。顔検出結果の信頼度の数値が第３の閾値よりも大きい場合（ステップＳ７０２でＮＯ）には、顔検出結果は使用不可能な顔検出結果と判定される（ステップＳ７０４）。

一方、シャッタースピードが所定スピードよりも遅い場合（ステップＳ７０１でＹＥＳ）、コンピュータ１１４は、顔検出結果の信頼度の数値が、第３の閾値よりも大きい数値に設定された第４の閾値以下であるか否かを判定する（ステップＳ７０５）。

顔検出結果の信頼度の数値が第４の閾値以下である場合（ステップＳ７０５でＹＥＳ）には、顔検出結果は使用可能な顔検出結果と判定される（ステップＳ７０６）。顔検出結果の信頼度の数値が第４の閾値よりも大きい場合（ステップＳ７０５でＮＯ）には、顔検出結果は使用不可能な顔検出結果と判定される（ステップＳ７０７）。

このようにして、コンピュータ１１４がいずれかの判定結果を出すことによって本処理が終了する。

以上より、図６の処理によれば、図７のシャッタースピードを用いた判定処理による判定結果に基づいて、ＡＦ枠に用いる枠を顔枠、通常枠のいずれかに決定するので、シャッタースピードに応じたＡＦ制御を行なうことができる。

ここで、第３の閾値と第４の閾値との関係について、図８を用いて説明する。

図８は、シャッタースピードと第３の閾値及び第４の閾値との関係の一例を示す表であり、ステップＳ７０１における所定スピードを１／１５ｓとした場合を示している。

本処理において図８に示す表を適用すると、シャッタースピードが１／１５ｓ以上の場合には１〜３のいずれかの数値が第３の閾値として用いられ、シャッタースピードが１／１５ｓよりも遅い場合には１〜６のいずれかの数値が第４の閾値として用いられることになる。また、第４の閾値は第３の閾値よりも大きい数値に設定されるので、例えば、第３の閾値を２に設定した場合には、第４の閾値は２よりも大きい３〜６のいずれかに設定される。信頼度の数値が大きいほど信頼度が低いことから、このような設定により、シャッタースピードが速い（１／１５ｓ以上）ときよりも、シャッタースピードが遅い（１／１５ｓ未満）ときのほうが閾値に対応する第１の変動信頼度が低くなるように設定されることになる。

一般的に、シャッタースピードが遅くなるほど撮像画像に与える撮影者の手ぶれの影響が大きく、撮像画像の解像感が低下する傾向にある。このため、例えば、シャッタースピードが速いときに最適な信頼度の数値を閾値とした撮像装置では、遅いシャッタースピードでの撮影時において要求される信頼度が高すぎることになる。これにより、遅いシャッタースピードでの撮影時の顔検出確率が低下し、主被写体に対する安定したピント合わせを行なうことができなくなる。

また、例えば、シャッタースピードが遅いときに最適な信頼度の数値を閾値とした撮像装置では、速いシャッタースピードでの撮影時に、主被写体以外の被写体に対しても顔検出が行われ、やはり、主被写体に対する安定したピント合わせを行なうことができなくなる。さらに、ＡＦ制御に伴って枠表示を行なう場合、撮影画面上での枠表示が過剰に存在するために撮影画面が見づらくなり、また、撮影者はどこにピントが合わされているのか判断しづらい。

しかし、第２の実施の形態によれば、シャッタースピードに応じて、ＡＦ制御に必要な顔検出結果が使用可能と判定するための条件が変動する。具体的には、判定の基準値として、シャッタースピードが所定速度以上である場合には第３の閾値が、シャッタースピードが所定速度よりも遅い場合には第３の閾値よりも低い信頼度を示す第４の閾値が設定される。このような設定により、顔検出回路１１６により認識された顔検出結果が使用可能な顔検出結果と判定されるためには、シャッタースピードが速いときよりもシャッタースピードが遅いときのほうが高い信頼度を必要とするので、シャッタースピードに応じて、最適な信頼度の数値を閾値として設定することができる。

したがって、第２の実施の形態によれば、撮影時の解像感が高い場合には高精度な顔検出を保ち、撮影時の解像感が低い場合にも安定した顔検出を可能とするので、被写体に対して安定してピント合わせを行なうことができる。また、正確なＡＦ制御に対して枠表示制御が行なわれるので、撮影画面上に枠表示が過剰に存在すること、どこにピントが合わされているのか撮影者が判断しづらいということを防ぐことができる。

［第３の実施の形態及び第４の実施形態］
次に、第３の実施の形態及び第４の実施の形態について説明する。

各実施の形態に係る撮像装置の全体構成は、第１の実施の形態に係るビデオカメラ１００と同様であるので説明を省略する。また、各実施の形態に係る撮像装置で実行されるピント合わせ処理は第１の実施の形態と基本的に同じであるので、図２に相当する図を省略する。

まず、第３の実施の形態について説明する。

本実施の形態に係る撮像装置が実行するピント合わせ処理では、図２に示す処理においてステップＳ２０３で現在のズーム倍率を取得する代わりに現在の合焦度を取得し、取得した合焦度を用いたピント合わせ処理が実行される。

ここで、合焦度とは、撮像画像の輝度信号を用いて、コントラストがあるにも関わらず高周波成分が取得できない場合に合焦していないと判定する程度の簡易的なものでよい。例えば、「各ラインの高周波成分の出力結果の最大値」を「（（各ラインの輝度信号の最大値）−（各ラインの輝度信号の最小値））のうちの最大値」で除算し、その結果を１〜１０の段階に分割した値で表すことができる。本実施の形態では、合焦度の値が高いほど合焦していると判定する。また、本実施の形態において、コンピュータ１１４は、被写体合焦度検出部として上述の合焦度を検出する。

図９は、第３の実施の形態に係る撮像装置が実行する判定処理の手順を示すフローチャートであり、合焦度に対応させて判定の条件を変動させるものである。本処理は第１の実施の形態における判定処理と基本的に同じであるので、図３と共通する動作については下２桁を図３と同数字にして説明に代え、以下に異なる動作についてのみ説明する。

図９において、コンピュータ１１４は、まず、合焦度が所定の合焦度よりも低いか否かを判定する（ステップＳ９０１）。合焦度が所定合焦度以上である場合（ステップＳ９０１でＮＯ）にはステップＳ９０２に進み、合焦度が所定合焦度よりも低い場合（ステップＳ９０１でＹＥＳ）にはステップＳ９０５に進む。

合焦度が所定合焦度以上である場合（ステップＳ９０１でＮＯ）、コンピュータ１１４は、顔検出結果の信頼度の数値が第５の閾値以下であるか否かを判定する（ステップＳ９０２）。なお、信頼度の数値の設定については、第１の実施の形態と同様、例えば、図４に示す表を用いることができる。

一方、合焦度が所定合焦度よりも低い場合（ステップＳ９０１でＹＥＳ）、コンピュータ１１４は、顔検出結果の信頼度の数値が、第５の閾値よりも大きい数値に設定された第６の閾値以下であるか否かを判定する（ステップＳ９０５）。
このようにして、コンピュータ１１４がいずれかの判定結果を出すことによって本処理が終了する。

図９の判定処理を用いたピント合わせ処理によれば、合焦度を用いた判定処理による判定結果に基づいて、ＡＦ枠に用いる枠を顔枠、通常枠のいずれかに決定するので、合焦度に応じたＡＦ制御を行なうことができる。

ここで、第５の閾値と第６の閾値との関係について、図１０を用いて説明する。

図１０は、合焦度と第５の閾値及び第６の閾値との関係の一例を示す表であり、ステップＳ９０１における所定合焦度を６とした場合を示している。

本処理において図１０に示す表を適用すると、合焦度が６以上の場合には１〜３のいずれかの数値が第５の閾値として用いられ、合焦度が６未満の場合には１〜６のいずれかの数値が第６の閾値として用いられることになる。また、第６の閾値は第５の閾値よりも大きい数値に設定されるので、例えば、第５の閾値を２に設定した場合には、第６の閾値は２よりも大きい３〜６のいずれかに設定される。信頼度の数値が大きいほど信頼度が低いことから、このような設定により、合焦度が高い（６以上）ときよりも、合焦度が低い（６未満）ときのほうが閾値に対応する第１の変動信頼度が低くなるように設定されることになる。

次に、第４の実施の形態について説明する。

本実施の形態に係る撮像装置が実行するピント合わせ処理では、図２に示す処理において、ステップＳ２０３で現在のズーム倍率を取得する代わりに現在の被写体の明るさを示す照度を取得し、取得した照度を用いたピント合わせ処理が実行される。また、本実施の形態において、コンピュータ１１４は、被写体明るさ検出部として被写体の照度を検出する。

図１１は、第４の実施の形態に係る撮像装置が実行する判定処理の手順を示すフローチャートであり、照度に対応させて判定の条件を変動させるものである。本処理は第１の実施の形態における判定処理と基本的に同じであるので、図３と共通する動作については下２桁を図３と同数字にして説明に代え、以下に異なる動作についてのみ説明する。

図１１において、コンピュータ１１４は、まず、照度が低照度か否かを判定する（ステップＳ１１０１）。低照度でない場合（ステップＳ１１０１でＮＯ）にはステップＳ１１０２に進み、低照度である場合（ステップＳ１１０１でＹＥＳ）にはステップＳ１１０５に進む。

低照度でない場合（ステップＳ１１０１でＮＯ）、コンピュータ１１４は、顔検出結果の信頼度の数値が第７の閾値以下であるか否かを判定する（ステップＳ１１０２）。なお、信頼度の数値は、第１の実施の形態と同様、例えば、図４に示す表を用いることができる。

一方、低照度である場合（ステップＳ１１０１でＹＥＳ）、コンピュータ１１４は、顔検出結果の信頼度の数値が、第７の閾値よりも大きい数値に設定された第８の閾値以下であるか否かを判定する（ステップＳ１１０５）。
このようにして、コンピュータ１１４がいずれかの判定結果を出すことによって本処理が終了する。

図１１の判定処理を用いたピント合わせ処理によれば、照度を用いた判定処理による判定結果に基づいて、ＡＦ枠に用いる枠を顔枠、通常枠のいずれかに決定するので、照度に応じたＡＦ制御を行なうことができる。

ここで、第７の閾値と第８の閾値との関係について、図１２を用いて説明する。

図１２は、明るさと第７の閾値及び第８の閾値との関係の一例を示す表である。

本処理において図１２に示す表を適用すると、低照度でない場合には１〜３のいずれかの数値が第７の閾値として用いられ、低照度である場合には１〜６のいずれかの数値が第８の閾値として用いられることになる。また、第８の閾値は第７の閾値よりも大きい数値に設定されるので、例えば、第７の閾値を２に設定した場合には、第８の閾値は２よりも大きい３〜６のいずれかに設定される。信頼度の数値が大きいほど信頼度が低いことから、このような設定により、照度が高い（低照度ではない）ときよりも、照度が低い（低照度）ときのほうが閾値に対応する第１の変動信頼度が低くなるように設定されることになる。

一般的に、合焦度が低いほど、又は低照度であるほど、撮像画像の解像感が低下する傾向にある。このため、合焦度が高いとき又は低照度でないときに最適な信頼度の数値を閾値とした撮像装置、並びに合焦度が低いとき又は低照度のときに最適な信頼度の数値を閾値とした撮像装置では、主被写体に対する安定したピント合わせを行なうことができなくなる。また、ＡＦ制御に伴って枠表示を行なう場合、撮影画面上での枠表示が過剰に存在するために撮影画面が見づらくなり、また、撮影者はどこにピントが合わされているのか判断しづらい。

しかし、第３の実施の形態及び第４の実施の形態によれば、それぞれ合焦度及び照度に応じて、ＡＦ制御及び枠表示に必要な顔検出結果が使用可能と判定するための条件が変動する。具体的には、判定の基準値として、合焦度が所定の合焦度以上の場合には第５の閾値が、合焦度が所定の合焦度よりも低い場合には第５の閾値よりも低い信頼度を示す第６の閾値が設定される。また、低照度でない場合には第７の閾値が、低照度の場合には第５の閾値よりも低い信頼度を示す第８の閾値が設定される。

このような設定により、顔検出回路１１６により認識された顔検出結果が使用可能な顔検出結果と判定されるためには、合焦度が高い又は低照度ではないときよりも合焦度が低い又は低照度のときのほうが高い信頼度を必要とするので、合焦度又は照度に応じて、最適な信頼度の数値を閾値として設定することができる。

したがって、第３の実施形態及び第４の実施形態によれば、撮影時の解像感が高い場合には高精度な顔検出を保ち、撮影時の解像感が低い場合にも安定した顔検出を可能とするので、被写体に対して安定してピント合わせを行なうことができる。また、正確なＡＦ制御に対して枠表示制御が行なわれるので、撮影画面上に枠表示が過剰に存在すること、どこにピントが合わされているのか撮影者が判断しづらいということを防ぐことができる。

［第５の実施の形態及び第６の実施の形態］
次に、第５の実施の形態及び第６の実施の形態に係る撮像装置について説明する。

各実施の形態に係る撮像装置の全体構成は、第１の実施の形態に係るビデオカメラ１００と同様であるので説明を省略する。また、第５の実施の形態及び第６の実施の形態に係る撮像装置で実行されるピント合わせ処理は、それぞれ第１の実施の形態及び第２の実施の形態と基本的に同じであり、ピント合わせ処理中の判定処理が異なるのみであるので、図２及び図６に相当する図は省略する。

まず、第５の実施の形態について説明する。

図１３は、第５の実施の形態に係る撮像装置で実行される判定処理の手順を示すフローチャートであり、ズーム倍率と撮影画面上での顔領域の位置とに対応させて判定の条件を変動させるものである。本処理において、図３と共通する動作については下２桁を図３と同数字にして説明に代え、以下に異なる動作についてのみ説明する。

図１３において、コンピュータ１１４は、ズーム倍率が所定倍率よりも低く、かつ、顔検出結果の信頼度の数値が第１の閾値以下の場合（ステップＳ１３０２でＹＥＳ）に、検出された顔領域が撮影画面上の所定の範囲にあるか否かを判定する（ステップＳ１３１０）。なお、信頼度の数値の設定については、第１の実施の形態と同様に、例えば、図４に示す表を用いることができる。

ここで、撮影画面上の所定の範囲としては、例えば、図１４において楕円状の実線で囲んだ撮影画面中央付近を設定する。このように設定するのは、一般的に、撮影者は、主人物である主被写体を撮影画面中央に配置して撮影することが多いためである。

図１３に戻り、検出された顔領域が撮影画面上の所定の範囲にある場合（ステップＳ１３１０でＹＥＳ）には、顔検出結果は使用可能な顔検出結果であると判定される（ステップＳ１３０３）。

検出された顔領域が撮影画面上の所定の範囲にない場合（ステップＳ１３１０でＮＯ）には、コンピュータ１１４は、顔検出結果の信頼度の数値が第１の閾値よりも小さい数値に設定された第９の閾値以下か否かを判定する（ステップＳ１３１１）。顔検出結果の信頼度の数値が第９の閾値以下である場合（ステップＳ１３１１でＹＥＳ）には、顔検出結果は使用可能な顔検出結果であると判定する（ステップＳ１３０３）。顔検出結果の信頼度の数値が第９の閾値よりも大きい場合（ステップＳ１３１１でＮＯ）には、顔検出結果は使用不可能な顔検出結果であると判定する（ステップＳ１３０４）。

一方、ズーム倍率が所定倍率以上であり、かつ、顔検出結果の信頼度の数値が第２の閾値以下の場合（ステップＳ１３０５でＹＥＳ）にも、検出された顔領域が撮影画面上の所定の範囲にあるか否かが判定される（ステップＳ１３１２）。

検出された顔領域が撮影画面上の所定の範囲にある場合（ステップＳ１３１２でＹＥＳ）には、顔検出結果はＡＦ制御及び枠表示で使用可能な顔検出結果であると判定される（ステップＳ１３０６）。

検出された顔領域が所定の範囲にない場合（ステップＳ１３１２でＮＯ）には、コンピュータ１１４は、顔検出結果の信頼度の数値が第２の閾値よりも小さい数値に設定された第１０の閾値以下か否かを判定する（ステップＳ１３１３）。顔検出結果の信頼度の数値が第１０の閾値以下である場合（ステップＳ１３１３でＹＥＳ）には、顔検出結果は使用可能な顔検出結果であると判定される（ステップＳ１３０６）。顔検出結果の信頼度の数値が第１０の閾値よりも大きい場合（ステップＳ１３１３でＮＯ）には、顔検出結果は使用不可能な顔検出結果であると判定される（ステップＳ１３０７）。

図１３の判定処理を用いたピント合わせ処理によれば、ズーム倍率及び検出された顔の位置情報を用いた判定処理による判定結果に基づいて、ＡＦ枠に用いる枠を決定するので、ズーム倍率及び顔の位置情報に応じたＡＦ制御を行なうことができる。

ここで、第９の閾値と第１０の閾値の関係について、図１５を用いて説明する。

図１５は、ズーム倍率と第９の閾値及び第１０の閾値との関係の一例を示す表であり、ステップＳ１３０１における所定倍率を１０倍とした場合を示している。

本処理において図１５に示す表を適用すると、ズーム倍率が１０倍未満の場合であって検出された顔が撮影画面の所定の範囲にないときには、１又は２の数値が第９の閾値として用いられることになる。一方、ズーム倍率が１０倍以上の場合であって検出された顔領域が撮影画面上の所定の範囲にないときには、１〜５のいずれかの数値が第１０の閾値として用いられることになる。

また、第９の閾値は第１の閾値（図５参照）よりも小さい数値に設定されるので、例えば、第１の閾値を３に設定した場合には、第９の閾値は３よりも小さい２に設定される。同様に、第１０の閾値は第２の閾値（図５参照）よりも小さい数値に設定されるので、例えば、第２の閾値を６に設定した場合には、第１０の閾値は６よりも小さい５に設定される。このような設定により、検出された顔領域が撮影画面上の所定の範囲にあるときよりも、検出された顔領域が撮影画面上の所定の範囲にないときに第２の変動信頼度が高くなるように設定されることになる。

次に、第６の実施の形態について説明する。

図１６は、第６の実施の形態に係る撮像装置で実行される判定処理の手順を示すフローチャートであり、シャッタースピードと撮影画面上での顔領域の位置とに対応させて判定の条件を変動させるものである。本処理において、図７と共通する動作については下２桁を図３と同数字にして説明に代え、以下に異なる動作についてのみ説明する。

図１６において、コンピュータ１１４は、シャッタースピードが所定スピード以上であり、かつ、顔検出結果の信頼度の数値が第３の閾値以下の場合（ステップＳ１６０２でＹＥＳ）に、検出された顔領域が撮影画面上の所定の範囲にあるか否かを判定する（ステップＳ１６１０）。なお、信頼度の数値の設定については、第２の実施の形態と同様に、例えば、図４に示す表を用いることができる。また、撮影画面上の所定の範囲としては、例えば、第５の実施の形態と同様に、図１４において楕円状の実線で囲んだ撮影画面中央付近を設定することができる。

検出された顔領域が撮影画面上の所定の範囲にある場合（ステップＳ１６１０でＹＥＳ）には、顔検出結果は使用可能な顔検出結果であると判定される（ステップＳ１６０３）。

検出された顔領域が撮影画面上の所定の範囲にない場合（ステップＳ１６１０でＮＯ）には、コンピュータ１１４は、顔検出結果の信頼度の数値が第３の閾値よりも小さい数値に設定された第１１の閾値以下か否かを判定する（ステップＳ１６１１）。顔検出結果の信頼度の数値が第１１の閾値以下である場合（ステップＳ１６１１でＹＥＳ）には、顔検出結果は使用可能な顔検出結果であると判定される（ステップＳ１６０３）。顔検出結果の信頼度の数値が第１１の閾値よりも大きい場合（ステップＳ１６１１でＮＯ）には、顔検出結果は使用不可能な顔検出結果であると判定される（ステップＳ１６０４）。

一方、コンピュータ１１４は、シャッタースピードが所定スピードよりも遅く、かつ、顔検出結果の信頼度の数値が第４の閾値以下の場合（ステップＳ１６０５でＹＥＳ）にも、検出された顔領域が撮影画面上の所定の範囲にあるか否かを判定する（ステップＳ１６１２）。

検出された顔領域が撮影画面上の所定の範囲にある場合（ステップＳ１６１２でＹＥＳ）には、顔検出結果は使用可能な顔検出結果であると判定される（ステップＳ１６０６）。

検出された顔領域が撮影画面上の所定の範囲にない場合（ステップＳ１６１２でＮＯ）には、コンピュータ１１４は、顔検出結果の信頼度の数値が第４の閾値よりも小さい数値に設定された第１２の閾値以下か否かを判定する（ステップＳ１６１３）。顔検出結果の信頼度の数値が第１２の閾値以下である場合（ステップＳ１６１３でＹＥＳ）には、顔検出結果は使用可能な顔検出結果であると判定される（ステップＳ１６０６）。顔検出結果の信頼度の数値が第１２の閾値よりも大きい場合（ステップＳ１６１３でＮＯ）には、顔検出結果は使用不可能な顔検出結果であると判定される（ステップＳ１６０７）。

図１６の判定処理を用いたピント合わせ処理によれば、シャッタースピード及び検出された顔の位置情報を用いた判定処理による判定結果に基づいて、ＡＦ枠に用いる枠を決定するので、シャッタースピード及び顔の位置情報に応じたＡＦ制御を行なうことができる。

ここで、第１１の閾値と第１２の閾値の関係について、図１７を用いて説明する。

図１７は、シャッタースピードと第１１の閾値及び第１２の閾値との関係の一例を示す表であり、ステップＳ１６０１における所定スピードを１／１５ｓとした場合を示している。

本処理において図１７に示す表を適用すると、シャッタースピードが１／１５ｓ以上の場合であって検出された顔領域が撮影画面上の所定の範囲にないときには、１又は２の数値が第１１の閾値として用いられることになる。一方、シャッタースピードが１／１５ｓ未満の場合であって検出された顔領域が撮影画面上の所定の範囲にないときには、１〜５のいずれかの数値が第１２の閾値として用いられることになる。

第１１の閾値は第３の閾値（図８参照）よりも小さい数値に設定されるので、例えば、第３の閾値を２に設定した場合には、第１１の閾値は２よりも小さい数値である１に設定される。また、第１２の閾値は第４の閾値（図８参照）よりも小さい数値に設定されるので、例えば、第４の閾値を５に設定した場合には、第１２の閾値は５よりも小さい数値である１〜４のいずれかに設定される。このような設定により、検出された顔領域が撮影画面上の所定の範囲にあるときよりも、検出された顔領域が撮影画面上の所定の範囲にないときに第２の変動信頼度が高くなるように設定されることになる。

一般的に、撮影者は、主人物である主被写体を撮影画面中央に配置して撮影することが多い。このため、撮影画面上の中央付近に主被写体が存在する確率は高く、ここで検出された顔領域は主被写体の顔である可能性が高く、この顔検出結果が誤検出である可能性は低い。一方、撮影画面上の中央付近以外に主被写体が存在する確率は撮影画面中央付近と比較して低く、ここで検出された顔領域は主被写体の顔である可能性が低く、撮影画面中央付近での顔検出結果と比較して、誤検出である可能性は高い。

しかし、第５の実施の形態及び第６の実施の形態によれば、ズーム倍率及びシャッタースピードに応じて、顔検出結果が使用可能か否かを判定するための条件が変動し、さらに検出された顔領域が撮影画面上の所定の範囲にあるか否かに応じて、顔検出結果が使用可能か否かを判定するための第２の条件が変動する。具体的には、第５の実施の形態では、検出された顔領域が撮影画面上の所定の範囲にない場合には、第１の閾値よりも高い信頼度を示す第９の閾値、及び第２の閾値よりも高い信頼度を示す第１０の閾値が、第２の判定基準値として設定される。また、第６の実施の形態では、検出された顔領域が撮影画面上の所定の範囲にない場合には、第３の閾値よりも高い信頼度を示す第１１の閾値、及び第４の閾値よりも高い信頼度を示す第１２の閾値が、第２の判定基準値として設定される。

このような設定により、顔検出回路１１６により認識された顔検出結果が使用可能な顔検出結果と判定されるためには、検出された顔領域が撮影画面上の所定の範囲内にあるときよりも所定の範囲外にあるときのほうが高い信頼度を必要とするので、誤検出された顔領域に対してＡＦ制御や枠表示が行なわれることを防ぐことができる。したがって、第５の実施の形態及び第６の実施の形態によれば、被写体に対してさらに安定してピント合わせを行なうことができる。

また、第５の実施の形態及び第６の実施の形態において、ズーム倍率及びシャッタースピードのそれぞれと検出された顔領域の撮影画面上での位置とに基づいて閾値を変動させたが、これは第３の実施の形態及び第４の実施の形態にも適用することができる。例えば、第５の実施の形態のズーム倍率に関する部分を、第３の実施の形態及び第４の実施の形態に対応させて、合焦度及び照度にそれぞれ置き換えることで実現できる。

［第７の実施の形態］
次に、第７の実施の形態について説明する。

本実施の形態に係る撮像装置の全体構成は、第１の実施の形態に係るビデオカメラ１００と同様であるので説明を省略する。

図１８は、第７の実施の形態に係る撮像装置で実行されるピント合わせ処理の手順を示すフローチャートであり、ズーム動作に応じて、ズーム／ＡＦ制御及び枠表示制御を行なうものである。本処理は、他の実施の形態と同様に、コンピュータ１１４内に格納されたコンピュータプログラムに基づいて不図示のＣＰＵによって実行される。また、例えば、１フィールド毎のフィールド画像を生成するための撮像素子１０６からの電気信号の読み出し周期に対応して繰り返し実行される。

図１８において、例えば、撮像装置の不図示の電源が投入されることにより、本処理が開始される。電源が投入されると、まず、コンピュータ１１４の命令に基づいて、顔検出部１１６が映像信号に応じた撮像画像から公知の顔認識処理を実行し、コンピュータ１１４は、顔認識処理の結果を取得する（ステップＳ１８０１）。

次いで、コンピュータ１１４は、顔認識処理が成功したか否かを、取得した顔検出結果に顔領域が有るか否かにより判断する（ステップＳ１８０２）。顔認識処理が成功したと判断された場合（ステップＳ１８０２でＹＥＳ）にはステップ１８０３へ進み、顔認識処理が失敗したと判断された場合（ステップＳ１８０２でＮＯ）にはステップＳ１８０７に進む。

顔認識が成功したと判断された場合（ステップＳ１８０２でＹＥＳ）、コンピュータ１１４は、この顔検出結果がＡＦ制御及び枠表示制御にて使用可能な顔検出結果であるか否かを判定する信頼度判定ステップ（ステップＳ１８０３）を経て使用可能な顔検出結果であるか否かを決定する（ステップＳ１８０４）。ステップＳ１８０４において、使用可能な顔検出結果である場合（ステップ１８０４でＹＥＳ）はステップ１８０５に進み、使用不可能な顔検出結果である場合（ステップ１８０４でＮＯ）には、ステップ１８０７に進む。

使用可能な顔検出結果である場合（ステップ１８０４でＹＥＳ）、コンピュータ１１４は、顔枠をＡＦゲート１１２に設定し（ステップＳ１８０５）、枠表示出力ＯＮフラグを設定する（ステップＳ１８０６）。枠表示出力ＯＮフラグが設定されると、モニタ部１０９が表示する撮影画面において、主人物である主被写体の顔領域の位置に枠が表示され、これにより、撮影者は撮像画像のどの位置でピント合わせが行われているかを認識できる。なお、枠表示の設定の方法は、他の実施の形態と同様である。枠表示出力ＯＮフラグの設定後、ステップＳ１８０９に進む。

一方、顔認識処理が失敗したと判断された場合（ステップＳ１８０２でＮＯ）、及び使用不可能な顔検出結果である場合（ステップ１８０４でＮＯ）、コンピュータ１１４は、通常枠をＡＦゲート１１２に設定する（ステップＳ１８０７）。次いで、コンピュータ１１４は、枠表示出力ＯＮフラグを解除して（ステップＳ１８０８）、ステップＳ１８０９に進む。

ステップＳ１８０９において、コンピュータ１１４は、顔枠又は通常枠におけるＡＦ評価値を取得し、撮像状態がズーム動作中か否かを判定する（ステップＳ１８１０）。ズーム動作中である場合（ステップＳ１８１０でＹＥＳ）には、取得したＡＦ評価値を用いて公知のズーム制御を行なう（ステップＳ１８１１）。ズーム動作中でない場合（ステップＳ１８１０でＮＯ）には、取得したＡＦ評価値を用いて上述のＴＶ−ＡＦ制御を実行する。

コンピュータ１１４は、ズーム制御又はＴＶ−ＡＦ制御の実行後、次回実行されるズーム制御又はＴＶ−ＡＦ制御のために、ＡＦ評価値の履歴を残すべくＡＦ評価値を記憶し（ステップＳ１８１３）、その後、本処理を終了する。

図１９は、図１８のステップＳ１８０３における判定処理の手順を示すフローチャートであり、ズーム動作中か否かに対応させて、ズーム／ＡＦ制御及び枠表示で使用可能な顔検出結果か否かの判定基準である閾値を変動させるものである。

図１９において、コンピュータ１１４は、撮像装置がズーム動作中か否かを判定する（ステップＳ１９０１）。ズーム動作中でない場合（ステップＳ１９０１でＮＯ）には、ステップ１９０２に進み、ズーム動作中である場合（ステップＳ１９０１でＹＥＳ）には、ステップＳ１９０５に進む。

ズーム動作中でない場合（ステップＳ１９０１でＮＯ）、コンピュータ１１４は、顔検出結果の信頼度の数値が第１３の閾値以下であるか否かを判定する（ステップＳ１９０２）。なお、信頼度の数値の設定については、他の実施の形態と同様に、例えば、図４に示す表を用いることができる。

顔検出結果の信頼度の数値が第１３の閾値以下の場合（ステップＳ１９０２でＹＥＳ）には、顔検出結果は使用可能な顔検出結果と判定される（ステップＳ１９０３）。顔検出結果の信頼度の数値が第１３の閾値よりも大きい場合（ステップＳ１９０２でＮＯ）には、顔検出結果は使用不可能な顔検出結果と判定される（ステップＳ１９０４）。

一方、ズーム動作中の場合（ステップＳ１９０１でＹＥＳ）、コンピュータ１１４は、顔検出結果の信頼度の数値が、第１３の閾値よりも大きい数値に設定された第１４の閾値以下であるか否かを判定する（ステップＳ１９０５）。顔検出結果の信頼度数値が第１４の閾値以下の場合（ステップＳ１９０５でＹＥＳ）には、顔検出結果は使用可能な顔検出結果と判定される（ステップＳ１９０６）。顔検出結果の信頼度の数値が第１４の閾値よりも大きい場合（ステップＳ１９０５でＮＯ）には、顔検出結果は使用不可能な顔検出結果と判定される（ステップＳ１９０７）。

このようにして、コンピュータ１１４がいずれかの判定結果を出すことによって本処理が終了する。

図１８の処理によれば、図１９のズーム動作を用いた判定処理による判定結果に基づいてＡＦ枠に用いる枠を顔枠、通常枠のいずれかに決定するので、ズーム動作に応じたＡＦ制御を行なうことができる。

ここで、第１３の閾値と第１４の閾値の関係について、図２０を用いて説明する。

図２０は、ズーム動作と第１３の閾値及び第１４の閾値との関係の一例を示す表である。

本処理において図２０に示す表を適用すると、ズーム動作中でない場合には１〜３のいずれかの数値が第１３の閾値として用いられ、ズーム動作中である場合には１〜６のいずれかの数値が第１４の閾値として用いられることになる。また、第１４の閾値は第１３の閾値よりも大きい数値に設定されるので、例えば、第１３の閾値を２に設定した場合には、第１４の閾値は２よりも大きい３〜６のいずれかに設定される。信頼度の数値が大きいほど信頼度が低いことから、このような設定により、ズーム動作中でないときよりもズーム動作中であるときのほうが閾値に対応する第１の変動信頼度が低くなるように設定されることになる。

一般的に、ズーム動作中は、撮影画面中央の映像が拡大されていき、撮影画面の中央から端になるほど像の流れた映像になる傾向にある。特に高速ズーム動作中には、撮影画面においてズーム動作の影響が顕著に表れ、例えば、ズーム動作中の手ぶれの影響が加わると、撮像画像の解像感が顕著に低下する。このため、例えば、ズーム動作中でない場合に最適な信頼度を閾値とした撮像装置では、ズーム動作中の撮影時において要求される信頼度が高すぎることになる。これにより、ズーム動作中の顔検出確率が低下し、主被写体に対する安定したピント合わせを行なうことができなくなる。

また、例えば、ズーム動作中の場合に最適な信頼度を閾値とした撮像装置では、ズーム動作中でない場合の撮影時に、主被写体以外の被写体に対しても顔検出が行われ、やはり、主被写体に対する安定したピント合わせを行なうことができなくなる。さらに、ズーム／ＡＦ制御に伴って枠表示を行なう場合、撮影画面上での枠表示が過剰に存在するために撮影画面が見づらくなり、また、撮影者はどこにピントが合わされているのか判断しづらい。

しかし、第７の実施の形態によれば、ズーム動作中か否かに応じて、ズーム／ＡＦ制御及び枠表示制御に必要な顔検出結果が使用可能か否かを判定するための条件が変動する。具体的には、判定の基準値として、ズーム動作中である場合に設定される第１４の閾値が、ズーム動作中でない場合に設定される第１３の閾値よりも大きい数値に設定される。このような設定により、顔検出回路１１６により認識された顔検出結果が使用可能な顔検出結果と判定されるためには、ズーム動作中ではないときよりもズーム動作中のときのほうが高い信頼度を必要とするので、ズーム動作中か否かに応じて、最適な信頼度の数値を閾値として設定することができる。

したがって、第７の実施の形態によれば、撮影時の解像感が高い場合には高精度な顔検出を保ち、撮影時の解像感が低い場合にも安定した顔検出を可能とするので、被写体に対して安定してピント合わせを行なうことができる。

また、正確なＡＦ制御に対して枠表示制御が行なわれるので、上述のような、撮影画面上に枠表示が過剰に存在すること、及びどこにピントが合わされているのか撮影者が判断しづらいということを防ぐことができる。

また、本発明は、上述した各実施の形態を組合わせることによって、さらに確実に被写体に対し、安定してピント合わせを行なうことができるものである。

本発明は、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した各実施形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための、コンピュータで読み取り可能な記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどの光ディスク、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行するだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。

本発明の実施の形態であるビデオカメラの全体の構成を概略的に示すブロック図である。 第１の実施の形態に係るビデオカメラで実行されるピント合わせ処理の手順を示すフローチャートである。 図２のステップ２０４において実行される、顔検出結果がＡＦ制御及び枠表示制御で使用可能な顔検出結果であるか否かを判定する処理の手順を示すフローチャートである。 被写体領域の信頼度を設定するための基準の一例を示す表である。 ズーム倍率と第１の閾値及び第２の閾値との関係の一例を示す表である。 第２の実施形態に係る撮像装置で実行されるピント合わせ処理の手順を示すフローチャートである。 図６のステップＳ６１６で実行される判定処理の手順を示すフローチャートである。 シャッタースピードと第３の閾値及び第４の閾値との関係の一例を示す表である。 第３の実施の形態に係る撮像装置で実行される判定処理の手順を示すフローチャートである。 合焦度と第５の閾値及び第６の閾値との関係の一例を示す表である。 第４の実施の形態に係る撮像装置で実行される判定処理の手順を示すフローチャートである。 明るさと第７の閾値及び第８の閾値との関係の一例を示す表である。 第５の実施の形態に係る撮像装置で実行される判定処理の手順を示すフローチャートである。 撮影画面上の所定の範囲の一例を示す図である。 ズーム倍率と第９の閾値及び第１０の閾値との関係の一例を示す表である。 第６の実施の形態に係る撮像装置で実行される判定処理の手順を示すフローチャートである。 シャッタースピードと第１１の閾値及び第１２の閾値との関係の一例を示す表である。 第７の実施の形態に係る撮像装置で実行されるピント合わせ処理の手順を示すフローチャートである。 図１８のステップＳ１８０３で実行される判定処理の手順を示すフローチャートである。 ズーム動作と第１３の閾値及び第１４の閾値との関係の一例を示す表である。

符号の説明

１００ ビデオカメラ
１０２ 変倍レンズ
１０５ フォーカスレンズ
１０６ 撮像素子
１０８ カメラ信号処理回路
１１０ ズーム駆動源
１１１ フォーカス駆動源
１１２ ＡＦゲート
１１３ ＡＦ信号処理回路
１１４ カメラ／ＡＦマイクロコンピュータ
１１５ 記録部
１１６ 顔検出処理回

Claims (12)

1. フォーカスレンズを含む撮像光学系によって形成された像を電気信号に変換して映像信号を出力する撮像手段と、
   前記撮像手段から出力された前記映像信号に基づいて、撮影画面内の顔領域及び前記顔領域について顔検出結果の信頼度を検出する顔検出手段と、
   焦点距離、シャッタースピード及びズーム動作中か否かの少なくともいずれかに対応して変動する閾値を有し、前記顔検出手段によって検出された前記顔検出結果の信頼度が、前記閾値よりも高いか否かを判定する判定手段と、
   前記判定手段によって前記顔検出結果の信頼度が前記閾値よりも高いと判定された場合に、前記顔領域に基づいて焦点調節を制御する制御手段とを有することを特徴とする撮像装置。
2. 前記閾値は、焦点距離が第１の焦点距離のときよりも、前記第１の焦点距離よりも長い第２の焦点距離のときに低くなることを特徴とする請求項１記載の撮像装置。
3. 前記閾値は、シャッタースピードが第１のシャッタースピードのときよりも、前記第１のシャッタースピードよりも遅い第２のシャッタースピードのときに低くなることを特徴とする請求項１記載の撮像装置。
4. 前記閾値は、ズーム動作中でないときよりも、前記ズーム動作中であるときに低くなることを特徴とする請求項１記載の撮像装置。
5. 前記制御手段は、さらに、ズーム制御、前記撮影画面に枠表示を行なう表示制御の少なくとも１つを制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 撮像装置における自動焦点検出方法であって、
   フォーカスレンズを含む撮像光学系によって形成された像を電気信号に変換して映像信号を出力する撮像ステップと、
   前記撮像ステップで出力された前記映像信号に基づいて、撮影画面内の顔領域及び前記顔領域について顔検出結果の信頼度を検出する顔検出ステップと、
   焦点距離、シャッタースピード及びズーム動作中か否かの少なくともいずれかに対応して変動する閾値を有し、前記顔検出ステップで検出された前記顔検出結果の信頼度が、前記閾値よりも高いか否かを判定する判定ステップと、
   前記判定ステップで前記顔検出結果の信頼度が前記閾値よりも高いと判定された場合に、前記顔領域に基づいて焦点調節を制御する制御ステップとを有することを特徴とする自動焦点検出方法。
7. 前記閾値は、焦点距離が第１の焦点距離のときよりも、前記第１の焦点距離よりも長い第２の焦点距離のときに低くなることを特徴とする請求項６記載の自動焦点検出方法。
8. 前記閾値は、シャッタースピードが第１のシャッタースピードのときよりも、前記第１のシャッタースピードよりも遅い第２のシャッタースピードのときに低くなることを特徴とする請求項６記載の自動焦点検出方法。
9. 前記閾値は、前記撮像装置が前記ズーム動作中でないときよりも、前記ズーム動作中であるときに低くなることを特徴とする請求項６記載の自動焦点検出方法。
10. 前記制御ステップでは、さらに、ズーム制御、前記撮影画面に枠表示を行なう表示制御の少なくとも１つが制御されることを特徴とする請求項６乃至９のいずれか１項に記載の自動焦点検出方法。
11. 撮像装置における自動焦点検出方法をコンピュータに実行させるコンピュータで読み取り可能なプログラムであって、前記自動焦点検出方法は、
    フォーカスレンズを含む撮像光学系によって形成された像を電気信号に変換して映像信号を出力する撮像ステップと、
    前記撮像ステップで出力された前記映像信号に基づいて、撮影画面内の顔領域及び前記顔領域について顔検出結果の信頼度を検出する顔検出ステップと、
    焦点距離、シャッタースピード及びズーム動作中か否かの少なくともいずれかに対応して変動する閾値を有し、前記顔検出ステップで検出された前記顔検出結果の信頼度が、前記閾値よりも高いか否かを判定する判定ステップと、
    前記判定ステップで前記顔検出結果の信頼度が前記閾値よりも高いと判定された場合に、前記顔領域に基づいて焦点調節を制御する制御ステップとを有することを特徴とするプログラム。
12. 請求項１１記載のプログラムを格納したことを特徴とするコンピュータで読み取り可能な記憶媒体。

Images