JP5075110B2

JP5075110B2 - 焦点調節装置及び方法

Info

Publication number: JP5075110B2
Application number: JP2008335227A
Authority: JP
Inventors: 敦也川西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2012-11-14
Anticipated expiration: 2028-12-26
Also published as: JP2010156850A

Description

本発明は、撮像装置等で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、撮影して得られた画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。

従来のビデオカメラ等の焦点調節制御では、撮像素子により被写体像を光電変換して得られた画像信号中より鮮鋭度（コントラスト状態）を表す焦点信号を検出し、その焦点信号が最大となるようにフォーカスレンズ位置を制御するＴＶ‐ＡＦ方式が主流である。

しかしながら、このＴＶ‐ＡＦ方式によって人物を撮影した場合、撮影条件や被写体条件によってはピントが主被写体である人物ではなく、コントラストの高い背景に合ってしまうという問題点があった。このような問題を解決するために、顔検出機能を有する撮像装置が知られている。近年では、検出された顔領域が含まれるようにＡＦエリアを設定し、焦点検出を行う手法（例えば、特許文献１参照）や、人物の目を検出し、その結果に基づいて焦点検出を行う手法（例えば、特許文献２参照）などが提案されている。

特開２００６‐２２７０８０号公報特開２００１‐２１５４０３号公報

上述した顔検出機能を用いた焦点検出手法では、人物の顔が検出された場合は顔領域に対して、そうでない場合はあらかじめ設定されている領域に対して、それぞれメインとなるＡＦエリアを設定して焦点検出を行っている。一方で、特に動画撮影の場合、図９に示すように、画面全体にサブのＡＦエリアを設定し、メインおよびサブのＡＦエリアから得られる焦点信号を所定の比率で加算して使用することで、安定した焦点状態を維持する手法が広く知られている。ところが、一般的に人物の顔はコントラストが低く、十分な焦点信号が得られにくいため、適切なＡＦエリアを設定してもなお、背景のコントラスト成分に影響されて顔にピントを合わせきれない場合がある。図９の例では、焦点信号は図１０に示すような状態となるため、背景の被写体Ｂにピントがある場合に主被写体であるＡにピント面を移動することができない。

本発明は、上記問題点を鑑みてなされたものであり、特に動画撮影において被写体検出機能を用いて合焦すべき被写体にピントを合わせる場合に、安定した合焦を維持できるようにすることを目的とする。

上記目的を達成するために、本発明の焦点調節装置は、被写体を撮影して画像信号を出力する撮像手段と、前記撮像手段から得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出手段と、前記被写体検出手段により前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域とを複数の焦点検出領域として設定し、前記被写体検出手段により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域とを複数の焦点検出領域として設定する設定手段と、前記設定手段により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成手段と、前記生成手段により生成された前記複数の焦点信号を合成するための加算比率を決定する決定手段と、前記決定手段により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成手段と、前記合成手段により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節手段とを有し、前記決定手段は、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくする。

また、本発明の焦点調節方法は、撮像手段が、被写体を撮影して画像信号を出力する撮像工程と、被写体検出手段が、前記撮像工程で得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出工程と、設定手段が、前記被写体検出工程で前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域とを複数の焦点検出領域として設定し、前記被写体検出工程により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域とを複数の焦点検出領域として設定する設定工程と、生成手段が、前記設定工程により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成工程と、決定手段が、前記生成工程により生成された前記複数の焦点信号を合成するための加算比率を決定する決定工程と、合成手段が、前記決定工程により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成工程と、焦点調節手段が、前記合成工程により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節工程とを有し、前記決定工程では、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくする。

また、別の一様態によれば、本発明の焦点調節装置は、被写体を撮影して画像信号を出力する撮像手段と、前記撮像手段から得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出手段と、前記被写体検出手段により前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域と、該領域と異なると共に前記被写体の領域と同じ重心を有する領域とを複数の焦点検出領域として設定し、前記被写体検出手段により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域と、該領域と異なると共に前記固定領域と同じ重心を有する領域とを複数の焦点検出領域として設定する設定手段と、前記設定手段により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成手段と、前記生成手段により生成された前記複数の焦点信号を合成するための加算比率を決定する決定手段と、前記決定手段により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成手段と、前記合成手段により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節手段とを有し、前記決定手段は、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくし、前記固定領域の焦点信号に対する該固定領域と同じ重心を有する領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体と同じ重心を有する領域の焦点信号の加算比率よりも小さくする。

また、本発明の焦点調節方法は、撮像手段が、被写体を撮影して画像信号を出力する撮像工程と、被写体検出手段が、前記撮像工程で得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出工程と、設定手段が、前記被写体検出工程により前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域と、該領域と異なると共に前記被写体の領域と同じ重心を有する領域とを複数の焦点検出領域として設定し、前記被写体検出工程により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域と、該領域と異なると共に前記固定領域と同じ重心を有する領域とを複数の焦点検出領域として設定する設定工程と、生成手段が、前記設定工程により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成工程と、決定手段が、前記生成工程により生成された前記複数の焦点信号を合成するための加算比率を決定する決定工程と、合成手段が、前記決定工程により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成工程と、焦点調節手段が、前記合成工程により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節工程とを有し、前記決定工程では、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくし、前記固定領域の焦点信号に対する該固定領域と同じ重心を有する領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体と同じ重心を有する領域の焦点信号の加算比率よりも小さくする。

本発明によれば、特に動画撮影において被写体検出機能を用いて合焦すべき被写体にピントを合わせる場合に、安定した合焦を維持できるようにすることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明の実施の形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明は、デジタルスチルカメラ等、動画像を取得することのできる他の撮像装置にも適用することができる。

図１において、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。また、１０４は第２固定レンズ、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、「フォーカスレンズ」という。）である（焦点調節部材）。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。

１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される、光電変換部を有する画素を複数備えた撮像素子である。この画素において、被写体像を光電変換し撮像画像を得ることができる。１０７は撮像素子１０６の出力をサンプリングし、ゲイン調整し、デジタル化するＣＤＳ／ＡＧＣ／ＡＤ変換回路である。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ／ＡＤ変換回路１０７からの出力信号に対して各種の画像処理を施し、画像信号を生成する。

１０９はＬＣＤ等により構成される表示装置であり、カメラ信号処理回路１０８からの画像信号を表示する表示装置、１１０は記録装置であり、カメラ信号処理回路１０８からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

１１１はＣＤＳ／ＡＧＣ／ＡＤ変換回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域（焦点検出領域）の信号のみを通すＡＦゲートである。焦点信号処理回路１１２は、ＡＦゲート１１１を通過した画像信号から高周波成分や、高周波信号から生成した輝度差成分（ＡＦゲート１１１を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して、焦点信号を生成する。焦点信号は、カメラ／ＡＦマイコン１１４に出力される。なお、焦点信号は、撮像素子１０６からの出力信号に基づいて生成される画像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。

１１３は画像信号に対して顔検出処理を施し、被写体情報（撮影画面内の人物の顔の大きさ、位置、顔の確からしさを示す信頼性）を検出する顔検出処理回路（被写体検出手段）である。顔検出処理回路１１３は、その検出結果を後述のカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、送信された検出結果に基づき、焦点検出領域が検出された顔領域を含むように焦点検出領域を設定し、ＡＦゲート１１１へ情報を送信する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、本願発明は顔認識処理により限定されるものではなく、どのような方法を用いても構わない。

１１４は、焦点信号処理回路１１２の出力信号に基づいて、後述のフォーカスレンズ駆動源１１６を制御しフォーカスレンズ１０５を駆動するとともに、記録装置１１０へ画像記録命令を出力するカメラ／ＡＦマイコンである。

１１５は変倍レンズ１０２を移動させるためのアクチュエータおよびそのドライバを含む変倍レンズ駆動源、１１６はフォーカスレンズ１０５を移動させるためのアクチュエータおよびそのドライバを含むフォーカスレンズ駆動源である。変倍レンズ駆動源１１５およびフォーカスレンズ駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータおよびボイスコイルモータ等のアクチュエータにより構成される。

＜第１の実施形態＞
次に、本発明の第１の実施形態においてカメラ／ＡＦマイコン１１４で行われる焦点調節制御の概要について、図２〜図５を用いて説明する。このＡＦ制御は、カメラ／ＡＦマイコン１１４内に格納されたコンピュータプログラムに従って実行される。

図２は、本第１の実施形態における焦点調節制御の全体の流れを示すフローチャートである。なお、図２に示す制御は、例えば、撮像素子１０６から１フレーム（またはフィールド）分の画像信号が読み出される毎に、または、複数フレーム（またはフィールド）おきに繰り返し実行される。

図２において、ステップＳ１１では、顔検出処理回路１１３から、撮像素子１０６から読み出された画像信号の顔検出処理結果の情報（顔検出結果）を取得する。ステップＳ１２では、ステップＳ１１で取得した顔検出結果から顔が検出されたか否かを判別し、検出されなかった場合はステップＳ１３へ、検出された場合はステップＳ１４へ遷移する。ステップＳ１３では、撮像画面に対して中央の、顔検出結果に基づかない、予め設定された固定領域をメインＡＦエリアとしてＡＦゲート１１１に設定する。一方、ステップＳ１４では、ステップＳ１１で取得した顔検出結果に基づき、顔の領域をメインＡＦエリアとしてＡＦゲート１１１に設定する。

次にステップＳ１５では、ステップＳ１３またはステップＳ１４で設定したメインＡＦエリアを含む領域であって、顔検出結果に基づかない固定領域を、サブＡＦエリアとしてＡＦゲート１１１に設定する。なお、ステップＳ１３またはステップＳ１４、及びステップＳ１５でＡＦエリアを設定したことにより、焦点信号処理回路１１２にてＴＶ‐ＡＦ制御の基本となる焦点信号を取得することが可能となる。また、このとき焦点信号処理回路１１２内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路１１２内のバンドパスフィルタの設定値を変更することを意味する。

ステップＳ１６では、ステップＳ１３またはステップＳ１４、およびステップＳ１５で設定したＡＦエリアの焦点信号を取得する。なお、本第１の実施形態では、それぞれの顔の領域における焦点信号は、メモリ等に履歴として記憶していくものとする。これは、制御対象とする顔の領域が変化した場合に、後述のステップＳ２０にて焦点信号を合成する際、履歴をたどって再利用できるようにするためである。

ステップＳ１７では、ステップＳ１１で取得した顔検出結果から顔が検出されたか否かを再度判別し、検出されなかった場合はステップＳ１８へ、検出された場合はステップＳ１９へ遷移する。

ステップＳ１８では、ステップＳ１６で取得した焦点信号を後述のステップＳ２０で合成する際の、顔非検出時用の加算比率αを設定する。ここで、加算比率αは、ステップＳ１３で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ１５で設定したサブＡＦエリアから得られる焦点信号の加算比率である。

一方、ステップＳ１９では、ステップＳ１６で取得した焦点信号を後述のステップＳ２０で合成する際の、顔検出時用の加算比率βを設定する。ここで、加算比率βは、ステップＳ１４で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ１５で設定したサブＡＦエリアから得られる焦点信号の加算比率である。このとき、加算比率βは、ステップＳ１８で設定する顔非検出時の加算比率αに比べて小さく設定する。これにより、コントラストの低い人物の顔に対応する焦点信号の重み付けが相対的に大きくなり、従来手法に比べて主被写体にピントが合いやすくなる。

ステップＳ２０では、ステップＳ１６で取得した焦点信号を、ステップＳ１８またはステップＳ１９で設定した加算比率に基づいて合成する。ステップＳ２１では、ステップＳ１９で合成された焦点信号に基づいて、ＴＶ‐ＡＦ制御により焦点調節を行い、ステップＳ１１へ戻る。

図３は、ステップＳ２１で行われるＴＶ‐ＡＦ制御を示すフローチャートである。

図３において、ステップＳ１０１では、フォーカスレンズ１０５を微小量駆動する微小駆動モードであるか否かを判別し、微小駆動モードでない場合はステップＳ１０８へ遷移する。

一方、微小駆動モードである場合はステップＳ１０２へ遷移し、フォーカスレンズ１０５を微少量移動させる微小駆動動作を行う。なお、ステップＳ１０２における微小駆動動作の詳細は、図４を参照して後述する。ステップＳ１０３では、ステップＳ１０２の微小駆動動作によって合焦判別が行われたか否かを判別し、微小駆動動作によって合焦判別が行われた場合はステップＳ１０６へ、そうでない場合はステップＳ１０４へ遷移する。ステップＳ１０４では、ステップＳ１０２の微小駆動動作によって方向判別ができたか否かを判別する。方向判別ができた場合はステップＳ１０５へ進み、焦点信号が大きくなる方向へ高速でフォーカスレンズ１０５を移動させる山登り動作モードへ移行し、方向判別ができなかった場合には微小駆動モードを継続する。また、ステップＳ１０６では、合焦時の焦点信号レベルをメモリに格納した後、ステップＳ１０７へ遷移して再起動判定モードへ移行する。ここで、再起動判定モードとは、後述するステップＳ１１６及びＳ１１７で行われる、再び方向判別のために微小駆動を行うか否かを判定する処理のことである。

ステップＳ１０８では、山登り駆動モードであるか否かを判別し、山登り駆動モードでない場合はステップＳ１１３へ遷移する。

一方、山登り駆動モードである場合はステップＳ１０９へ遷移し、焦点信号が大きくなる方向へ微小駆動動作時よりも高速でフォーカスレンズを移動させる、山登り駆動動作を行う。なお、ステップＳ１０９における山登り駆動動作の詳細な動作は図５を参照して後述する。ステップＳ１１０では、ステップＳ１０９の山登り駆動動作によって焦点信号のピークが発見されたか否かを判別し、焦点信号のピークが発見された場合はステップＳ１１１へ遷移し、発見されなかった場合は山登り駆動モードを継続する。ステップＳ１１１では、焦点信号がピークとなったフォーカスレンズ位置を目標位置に設定した後、設定した目標位置に向けてフォーカスレンズ１０５を移動し、ステップＳ１１２へ遷移して停止モードへ移行する。

ステップＳ１１３では、停止モードであるか否かを判別し、停止モードでない場合はステップＳ１１６へ遷移し、停止モードである場合はステップＳ１１４へ遷移する。ステップＳ１１４では、フォーカスレンズ１０５がステップＳ１１１で設定された焦点信号がピークとなる目標位置に戻ったか否かを判別し、戻っていない場合にはステップＳ１０１へ戻って停止モードを継続する。また、目標位置に戻った場合には、ステップＳ１１５へ遷移して合焦判別のために微小駆動モードへ移行する。

再起動判定モードの場合はステップＳ１１６に進み、現在の焦点信号レベルとステップＳ１０６で保持した焦点信号レベルとを比較し、その変動量が所定値より大きいか否かを判別する。ここで、変動量が大きいと判断された場合はステップＳ１１７へ遷移して方向判別のために微小駆動モードへ移行し、そうでない場合は再起動判定モードを継続する。

次に、図６および図４を参照してステップＳ１０２で行われる微小駆動動作について説明する。

微小駆動動作においては、まずフォーカスレンズ１０５を至近側、無限側に交互に微小に駆動する。至近側・無限側に駆動する基準となる位置を振動中心と呼び、振動中心に対して至近側・無限側に駆動する駆動量を振動振幅と呼ぶ。そして至近側と無限側の焦点信号を比較して、至近側の焦点信号レベルが高ければ至近側に、逆であれば無限側に振動中心を移動する。このときの移動量を中心移動振幅と呼ぶ。

この微小駆動におけるフォーカスレンズ動作の時間経過を図６に示す。同図上部は映像信号の垂直同期信号を表しており、同図下部の横軸は時間、縦軸はフォーカスレンズ１０５の位置を表している。

ラベルＡの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ａは、時刻Ｔ_Ａでカメラ／ＡＦマイコン１１４に取り込まれる。またラベルＢの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ｂは、時刻Ｔ_Ｂでカメラ／ＡＦマイコン１１４に取り込まれる。時刻ＴＣでは焦点信号ＥＶ_ＡとＥＶ_Ｂを比較し、ＥＶ_Ｂが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ１０５の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。

図４において、ステップＳ２０１では、微小駆動の動作状態を示すカウンタが現在０であるかを判別し、そうである場合はステップＳ２０２へ、そうでない場合はステップＳ２０３へ遷移する。ステップＳ２０２では現在の焦点信号レベルを保持するが、ステップＳ２０２は図６におけるＴ_Ａのタイミングに当たる。従って、ここで保持される焦点信号は図６のラベルＡの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ａであり、フォーカスレンズ１０５が無限側にあるときに撮像素子１０６に蓄積された電荷から生成された映像信号によるものである。

ステップＳ２０３では、現在のカウンタが１であるかを判別し、そうである場合はステップＳ２０４へ、そうでない場合はステップＳ２０９へ遷移する。ステップＳ２０４では、後述のステップＳ２０８でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ２０５では、ステップＳ２０２で保持した無限側の焦点信号レベルと後述のステップＳ２１０で保持した至近側の焦点信号レベルを比較し、前者が大きい場合はステップＳ２０６へ、後者が大きい場合はステップＳ２０７へ遷移する。

ステップＳ２０６では、振動振幅と中心移動振幅を加算し、駆動振幅とする。ステップＳ２０７では、振動振幅を駆動振幅とする。ステップＳ２０８では、ステップＳ２０６またはステップＳ２０７で求めた駆動振幅に基づき、無限方向へ駆動する。

ステップＳ２０９では、現在のカウンタが２であるかを判別し、そうである場合はステップＳ２１０へ、そうでない場合はステップＳ２１１へ遷移する。ステップＳ２１０では現在の焦点信号レベルを保持するが、ステップＳ２１０は図６におけるＴ_Ｂのタイミングに当たる。従って、ここで保持される焦点信号は、図６のラベルＢの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ｂであり、フォーカスレンズ１０５が至近側にあるときに撮像素子１０６に蓄積された電荷から生成された映像信号によるものである。

ステップＳ２１１では、後述のステップＳ２１５でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ２１２では、ステップＳ２１０で保持した至近側の焦点信号レベルと後述のステップＳ２０２で保持した無限側の焦点信号レベルを比較し、前者が大きい場合はステップＳ２１３へ、後者が大きい場合はステップＳ２１４へ遷移する。ステップＳ２１３では、振動振幅と中心移動振幅を加算し、駆動振幅とする。ステップＳ２１４では、振動振幅を駆動振幅とする。ステップＳ２１５では、ステップＳ２１３またはステップＳ２１４で求めた駆動振幅に基づき、至近方向へ駆動する。

ステップＳ２１６では、現在方向判別モードであるかを判別し、そうである場合はステップＳ２１７へ、そうでない場合はステップＳ２１９へ遷移する。

ステップＳ２１７では、所定回数連続して同一方向に合焦点が存在しているかを判別し、そうである場合はステップＳ２１８へ、そうでない場合はステップＳ２２１へ遷移する。ステップＳ２１８では、方向判別ができたものと判断する。

ステップＳ２１９ではフォーカスレンズが所定回数同一エリアで往復しているかを判別し、そうである場合はステップＳ２２０へ、そうでない場合はステップＳ２２１へ遷移する。ステップＳ２２０では合焦判別できたものと判断する。

ステップＳ２２１では、微小駆動の動作状態を示すカウンタが３であれば０に戻し、その他の値であればカウンタを加算する。

次に、図５を参照して、図３のステップＳ１０９で行われる山登り駆動動作について説明する。

ステップＳ３０１では、フォーカスレンズ１０５の駆動速度を設定する。ステップＳ３０２では、現在の焦点信号のレベルが前回より増加しているかを判別し、増加している場合はステップＳ３０３へ、そうでない場合はステップＳ３０４へ遷移する。ステップＳ３０３では、ステップＳ３０１で設定した速度に基づき、フォーカスレンズ１０５を前回と同じ方向に山登り駆動する。焦点信号のレベルが増加していない場合、ステップＳ３０４では、焦点信号のレベルがピークを越えて減少しているかどうかを判別し、ピークを越えて減少している場合はステップＳ３０５へ、そうでない場合はステップＳ３０６へ遷移する。ステップＳ３０５では、ピーク位置を発見したものと判断する。また、ステップＳ３０６では、ステップＳ３０１で設定した速度に基づき、フォーカスレンズ１０５を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのステップＳ３０６を繰り返している場合、被写体の焦点信号の変化量が十分に得られないためにフォーカスレンズ１０５がハンチング状態にあることを意味する。

この山登り駆動におけるフォーカスレンズ１０５の動作を図７に示す。同図において、フォーカスレンズ１０５がＡのように駆動している場合は焦点信号が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ１０５をＢの範囲で駆動すると焦点信号はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ１０５をピーク位置まで戻した後、微小駆動動作に移行する。一方、Ｃのようにピーク位置を越えずに焦点信号のレベルが減少した場合は駆動すべき方向が逆方向であるとして反転し、山登り駆動動作を継続する。

このように、ＴＶ‐ＡＦ方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ１０５を移動させることで、焦点信号が常に最大となるように合焦状態を維持する。

さらに、上記焦点調節制御に使用される焦点信号は、顔検出状態に応じて効果的に生成することができる。そのため、特に動画撮影時において、常に撮影者の意図する主被写体の人物に安定した焦点調節動作を提供することが可能となる。

なお、どの顔エリアの情報に従って焦点調節動作を行っているかを示す情報を表示装置１０９によって表示するようにしてもよい。

また、本第１の実施形態では、メインＡＦエリアは、撮像画面内で検出された顔の領域（顔が検出された場合）にしているが、顔以外に、画像検出により特定の被写体を検出しても構わない。例えば、背景から被写体像を切り出して検出したりすることも考えられる。その他、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定しても構わない。

＜第２の実施形態＞
次に、カメラ／ＡＦマイコン１１４で行われる本発明の第２の実施形態における焦点調節制御の概要について、図８を用いて説明する。なお、図８において図２と同様の処理には同じ参照番号を付し、説明を適宜省略する。

図８において、ステップＳ５０５では、ステップＳ１３またはステップＳ１４で設定したメインＡＦエリアを含む領域の、顔検出結果に基づかない固定位置に、第１のサブＡＦエリアを設定する。ステップＳ５０６では、ステップＳ１３またはステップＳ１４で設定したメインのＡＦエリアの重心である領域に、第２のサブＡＦエリアを設定する。なお、ステップＳ１３またはステップＳ１４、ステップＳ５０５およびステップＳ５０６でＡＦエリアを設定したことにより、焦点信号処理回路１１２にてＴＶ‐ＡＦ制御の基本となる焦点信号を取得することが可能となる。また、このとき焦点信号処理回路１１２内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路１１２内のバンドパスフィルタの設定値を変更することを意味する。

ステップＳ５０７では、ステップＳ１３またはステップＳ１４、ステップＳ５０５およびステップＳ５０６で設定したＡＦエリアの焦点信号を取得する。なお、本第２の実施形態では、それぞれの顔エリアにおける焦点信号は、メモリ等に履歴として記憶されているものとする。これは、制御対象とする顔エリアが変化した場合に、後述のステップＳ５１０にて焦点信号を合成する際、履歴をたどって再利用できるようにするためである。

ステップＳ５０８では、ステップＳ１１で取得した顔検出結果から顔が検出されたか否かを再度判別し、検出されなかった場合はステップＳ５０９へ、検出された場合はステップＳ５１０へ遷移する。ステップＳ５０９では、ステップＳ５０７で取得した焦点信号を後述のステップＳ５１１で合成する際の、顔非検出時用の加算比率α１を設定する。ここで加算比率α１は、ステップＳ１３で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ１５で設定した第１のサブＡＦエリアから得られる焦点信号の加算比率である。さらに、ステップＳ５０９では、同じくステップＳ１３で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ５０６で設定した第２のサブＡＦエリアから得られる焦点信号の加算比率α２を設定する。

ステップＳ５１０では、ステップＳ５０７で取得した焦点信号を後述のステップＳ５１１で合成する際の、顔検出時用の加算比率β１を設定する。ここで加算比率β１は、ステップＳ１４で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ５０５で設定した第１のサブＡＦエリアから得られる焦点信号の加算比率である。さらに、ステップＳ５１０では、同じくステップＳ１４で設定したメインＡＦエリアから得られる焦点信号に対する、ステップＳ５０６で設定した第２のサブＡＦエリアから得られる焦点信号の加算比率β２を設定する。このとき、加算比率β１は、ステップＳ５０９で設定される顔非検出時の加算比率α１に比べて小さく設定し、さらに加算比率β２は、ステップＳ５０９で設定する顔非検出時の加算比率α２に比べて大きく設定する。これにより、コントラストの低い人物の顔に対応する焦点信号の重み付けが相対的により一層大きくなり、従来手法に比べて主被写体にピントが合いやすくなる。

ステップＳ５１１では、ステップＳ５０７で取得した焦点信号を、ステップＳ５０９またはステップＳ５１０で設定した加算比率に基づいて合成する。ステップＳ２１では、ステップＳ５１１で合成された焦点信号に基づいて、上述したＴＶ‐ＡＦ制御により焦点調節を行し、ステップＳ１１へ戻る。

第１の実施形態と大きく異なる点は、ステップＳ５０６にて、メインＡＦエリアの重心位置に第２のサブＡＦエリアを配置したことにある。

上記の通り本第２の実施形態によれば、焦点調節制御に使用される焦点信号は、顔検出状態に応じて効果的に生成することができる。そのため、特に動画撮影時において、常に撮影者の意図する主被写体の人物に安定した焦点調節動作を提供することが可能となる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態におけるビデオカメラの構成を示すブロック図である。本発明の第１の実施形態における焦点調節制御の全体の流れを示すフローチャートである。図２で行われるＴＶ‐ＡＦ制御の詳細を示すフローチャートである。図３で行われる微小駆動動作の詳細を示すフローチャートである。図３で行われる山登り駆動動作の詳細を示すのフローチャートである。本発明の第１の実施形態における微小駆動モードにおけるフォーカスレンズの動きを示した図である。山登り駆動モードにおけるフォーカスレンズの動きを示した図である。本発明の第２の実施形態における焦点調節制御の全体の流れを示すフローチャートである。従来の顔が検出されたときのＡＦエリアの一例を示した図である。図９における焦点信号の状態を示した図である。

符号の説明

１０１第１固定レンズ
１０２変倍レンズ
１０３絞り
１０４第２固定レンズ
１０５フォーカスコンペンセータレンズ
１０６撮像素子
１０７ＣＤＳ／ＡＧＣ／ＡＤ変換回路
１０８カメラ信号処理回路
１０９表示装置
１１０記録装置
１１１ＡＦゲート
１１２焦点信号処理回路
１１３顔検出処理回路
１１４カメラＡＦマイコン
１１５変倍レンズ駆動源
１１６フォーカスレンズ駆動源

Claims

被写体を撮影して画像信号を出力する撮像手段と、
前記撮像手段から得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出手段と、
前記被写体検出手段により前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域とを複数の焦点検出領域として設定し、前記被写体検出手段により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域とを複数の焦点検出領域として設定する設定手段と、
前記設定手段により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成手段と、
前記生成手段により生成された前記複数の焦点信号を合成するための加算比率を決定する決定手段と、
前記決定手段により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成手段と、
前記合成手段により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節手段と
を有し、
前記決定手段は、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくすることを特徴とする焦点調節装置。
被写体を撮影して画像信号を出力する撮像手段と、
前記撮像手段から得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出手段と、
前記被写体検出手段により前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域と、該領域と異なると共に前記被写体の領域と同じ重心を有する領域とを複数の焦点検出領域として設定し、前記被写体検出手段により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域と、該領域と異なると共に前記固定領域と同じ重心を有する領域とを複数の焦点検出領域として設定する設定手段と、
前記設定手段により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成手段と、
前記生成手段により生成された前記複数の焦点信号を合成するための加算比率を決定する決定手段と、
前記決定手段により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成手段と、
前記合成手段により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節手段と
を有し、
前記決定手段は、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくし、前記固定領域の焦点信号に対する該固定領域と同じ重心を有する領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体と同じ重心を有する領域の焦点信号の加算比率よりも小さくすることを特徴とする焦点調節装置。
撮像手段が、被写体を撮影して画像信号を出力する撮像工程と、
被写体検出手段が、前記撮像工程で得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出工程と、
設定手段が、前記被写体検出工程で前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域とを複数の焦点検出領域として設定し、前記被写体検出工程により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域とを複数の焦点検出領域として設定する設定工程と、
生成手段が、前記設定工程により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成工程と、
決定手段が、前記生成工程により生成された前記複数の焦点信号を合成するための加算比率を決定する決定工程と、
合成手段が、前記決定工程により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成工程と、
焦点調節手段が、前記合成工程により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節工程と
を有し、
前記決定工程では、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくすることを特徴とする焦点調節方法。
撮像手段が、被写体を撮影して画像信号を出力する撮像工程と、
被写体検出手段が、前記撮像工程で得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出工程と、
設定手段が、前記被写体検出工程により前記被写体が検出された場合に、前記被写体の領域と、該被写体の領域を含む領域と、該領域と異なると共に前記被写体の領域と同じ重心を有する領域とを複数の焦点検出領域として設定し、前記被写体検出工程により被写体が検出されなかった場合に、予め設定された固定領域と、該固定領域を含む領域と、該領域と異なると共に前記固定領域と同じ重心を有する領域とを複数の焦点検出領域として設定する設定工程と、
生成手段が、前記設定工程により設定された前記複数の焦点検出領域の画像信号から、前記複数の焦点検出領域各々の焦点信号を生成する生成工程と、
決定手段が、前記生成工程により生成された前記複数の焦点信号を合成するための加算比率を決定する決定工程と、
合成手段が、前記決定工程により決定された加算比率に基づいて、前記複数の焦点信号を合成する合成工程と、
焦点調節手段が、前記合成工程により合成された焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節工程と
を有し、
前記決定工程では、前記固定領域の焦点信号に対する該固定領域を含む領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体の領域を含む領域の焦点信号の加算比率よりも大きくし、前記固定領域の焦点信号に対する該固定領域と同じ重心を有する領域の焦点信号の加算比率を、前記被写体の領域の焦点信号に対する前記被写体と同じ重心を有する領域の焦点信号の加算比率よりも小さくすることを特徴とする焦点調節方法。
コンピュータに、請求項３または４に記載の焦点調節方法の各工程を実行させるためのプログラム。
請求項５に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。