JP5300521B2 - 焦点調節装置、及び焦点調節方法 - Google Patents

Description

本発明は、焦点調節機能を有する電子スチルカメラなどの撮像装置等に適用される焦点調節装置、焦点調節方法等に関するものである。

従来、電子スチルカメラやビデオカメラなどではオートフォーカス（ＡＦとも記す）を行う場合、ＣＣＤ（電荷結合素子）などを用いた撮像素子から得られる輝度信号の高域周波数成分が最大になるレンズ位置を合焦位置とする方式が用いられている。この方式の１つとして、次のスキャン方式が知られている。即ち、焦点検出範囲の全域に亘ってレンズを駆動しながら撮像素子から得られる輝度信号の高域周波数成分に基づく評価値（焦点評価値とも記す）をその都度に記憶していき、記憶した値のうち、その最大値に相当するレンズ位置を合焦位置とする。

もう１つの方式として、焦点評価値が増加する方向にレンズを動かし、焦点評価値が最大になる位置を合焦位置とする山登り方式（いわゆるＣｏｎｔｉｎｕｏｕｓ ＡＦ。コンティニュアスＡＦとも記す）が知られている。

また、これまでに、撮影準備指示前にコンティニュアスＡＦを行い合焦状態を維持することで、撮影準備指示後に行なうスキャン方式によるＡＦの焦点検出範囲を制限し、ＡＦ動作の時間を短縮する方法がある（特許文献１参照）。

特許４１０６４８５号公報

前記コンティニュアスＡＦにおいて、焦点評価値の増加する方向にレンズを動かそうとした場合、画面内における合焦すべき領域が分からないと合焦すべき被写体にピントを合わせることができない。特許文献１では、前記コンティニュアスＡＦにおいて、前記スキャン方式を組み合わせることでより合焦動作を早くしている。しかし、ユーザーがピントを合わせたいと考えている画面内の合焦すべき被写体（主被写体とも記す）を判断していないので、撮影シーンによっては、合焦すべき被写体にピントを合わせることができないという事態が起こり得る。

上記課題に鑑み、本発明の技術的特徴として、フォーカスレンズを用いて結像された被写体像を電気信号に変換する光電変換手段と、前記光電変換手段の出力信号から特定周波数帯域の信号成分を抽出する抽出手段とを有する撮像装置における焦点調節方法であって、撮影準備前に、フォーカスレンズを移動させると共に、設定された焦点検出領域における抽出手段の出力信号をフォーカスレンズの位置と関連づけて取得するＡＦスキャン動作を行って、合焦すべき被写体領域を特定する第１のＡＦスキャン動作を実施する第１の工程と、撮影準備時に、前記ＡＦスキャン動作を行い合焦動作を実施して、前記第１のＡＦスキャン動作と異なる第２のＡＦスキャン動作を実施する第２の工程とを含み、第２のＡＦスキャン動作では、第１のＡＦスキャン動作とは焦点検出領域の設定の態様を異ならせることを特徴とする。

本発明によれば、第１のＡＦスキャン動作と第２のＡＦスキャン動作において焦点検出領域の設定の態様を異ならせる。よって、例えば、画面内の合焦すべき被写体領域を精度良く判断し、撮影準備前に画面内の合焦すべき被写体領域を判断してピントを合わせておくことで、撮影準備時において合焦すべき被写体に素早く且つ精度良くピントを合わせることができる。

本発明を適用した焦点調節装置及び撮像装置の構成を示すブロック図である。 本発明の実施例を適用した焦点調節装置ないし方法の動作を表すフローチャートである。 本発明の実施例を適用した図２におけるシーン安定判断のサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図２における顔検出時ＡＦスキャンのサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図４、図１１、図１４、図２１におけるシーン変化判定のサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図４、図１２、図１５における合焦判定のサブルーチンを説明するフローチャートである。 図６における合焦判定の仕方を説明する図である。 本発明の実施例を適用した図２における被写体領域特定ＡＦスキャンのサブルーチンを説明するフローチャートである。 図８におけるＡＦ枠設定の例を説明する図である 本発明の実施例を適用した図８における前回参照判定のサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図８における前回参照ＡＦスキャンのサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図１１における主被写体領域判定のサブルーチンを説明するフローチャートである。 図１２における主被写体領域判定を説明するための図である。 本発明の実施例を適用した図８におけるゾーンＡＦスキャンのサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図１４におけるゾーン更新判定のサブルーチンを説明するフローチャートである。 図１５におけるゾーン更新判定の例を説明する図である。 本発明の実施例を適用した図８における一様面判断のサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図１７における一様面判定のサブルーチンを説明するフローチャートである。 図１８における一様面判定の仕方を説明する図である。 本発明の実施例を適用した図８におけるフォーカス駆動のサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図２におけるコンティニュアスＡＦのサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図２におけるシーン不安定判断のサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図２における撮影処理のサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図２３における本露光用ＡＦのサブルーチンを説明するフローチャートである。 本発明の実施例を適用したＡＦ枠設定を説明するための図である。 本発明の実施例を適用したＡＦ枠設定を説明するための図である。 本発明の実施例を適用したＡＦ枠設定を説明するための図である。 本発明の実施例を適用した図２４−１における本露光用ＡＦスキャンのサブルーチンを説明するフローチャートである。 本発明の実施例を適用した図２３における本露光処理のサブルーチンを説明するフローチャートである。

本発明の実施の形態について説明する。
本発明の装置及び方法において重要なことは、次の点である。即ち、第２のＡＦスキャン動作では、第１のＡＦスキャン動作とは焦点検出領域の設定の態様を異ならせることである。

上記考え方に基づき、本発明の装置及び方法の基本的な実施形態は、次の様な構成を有する。焦点調節装置は、焦点調節を行うためのフォーカスレンズ及びその駆動手段と、光電変換手段と、抽出手段と、制御手段とを有する。光電変換手段は、フォーカスレンズを用いて結像された被写体像を電気信号に変換するＣＣＤ、ＣＭＯＳなどの撮像素子である。抽出手段は、光電変換手段の出力信号から被写体の輝度に関する特定周波数帯域の信号成分（典型的には高周波成分）を抽出する。制御手段は、装置全体の動作を制御する。

制御手段は、フォーカスレンズの合焦状態を検出する際の焦点検出領域を１つ又は複数設定することができる。また、制御手段は、フォーカスレンズを移動させると共に、光電変換手段の設定された焦点検出領域における抽出手段の出力信号をフォーカスレンズの位置と関連づけて取得するＡＦスキャン動作を行うことができる。また、制御手段は、前記取得した抽出手段の出力に基づいてフォーカスレンズをその駆動手段を介して制御して合焦動作を実施することができる。そして、制御手段は、撮影準備前にＡＦスキャン動作を行って合焦すべき被写体領域を特定する第１のＡＦスキャン動作を実施する。また、制御手段は、撮影準備時に前記ＡＦスキャン動作を行い合焦動作を実施して、第１のＡＦスキャン動作と異なる第２のＡＦスキャン動作を実施する。また、制御手段は、第２のＡＦスキャン動作では、第１のＡＦスキャン動作とは焦点検出領域の設定の態様を異ならせる。

また、焦点調節方法は、上記の如き手段を有する撮像装置における焦点調節方法であって、次の第１の工程と第２の工程を含む。第１の工程では、撮影準備前に、フォーカスレンズを移動させると共に、設定手段などで設定された焦点検出領域における抽出手段の出力信号をフォーカスレンズの位置と関連づけて取得するＡＦスキャン動作を行う。そして、合焦すべき被写体領域を特定する第１のＡＦスキャン動作を実施する。第２の工程では、撮影準備時に、前記ＡＦスキャン動作を行い合焦動作を実施して、前記第１のＡＦスキャン動作と異なる第２のＡＦスキャン動作を実施する。更に、第２のＡＦスキャン動作では、第１のＡＦスキャン動作とは焦点検出領域の設定の態様を異ならせる。

前記基本的な実施形態において、以下に述べる様なより具体的な実施形態が可能である。
制御手段は、前記第１のＡＦスキャン動作の結果に基づいて、前記第２のＡＦスキャン動作の焦点検出領域の設定を行うように構成することができる（後述の実施例における図２４−１のステップＳ２４０２、Ｓ２４０３の説明の部分を参照）。

また、制御手段は、次のコンティニュアスＡＦ動作を行うように構成することができる。コンティニュアスＡＦ動作では、フォーカスレンズを所定量移動する前に抽出した抽出手段の出力信号とその移動の後に抽出した抽出手段の出力信号とから、フォーカスレンズを次に移動する時の移動方向を決定する。そして、前記移動方向にフォーカスレンズを移動し、前記移動動作を繰り返し行うことによりフォーカスレンズを抽出手段の出力信号のピーク位置に移動する。この場合、前記制御手段は、撮影準備前に、前記第１のＡＦスキャン動作で特定した合焦すべき被写体領域における抽出手段の出力信号に基づいて、コンティニュアスＡＦ動作による合焦動作を行うように構成することができる。こうした構成は、後述の実施例における図２１のステップＳ２１０２の説明の部分などに記載されている。

また、制御手段は、第１のＡＦスキャン動作で特定した合焦すべき被写体領域を含み設定した１つ又は複数の焦点検出領域において抽出した抽出手段の出力信号を演算した評価値に基づいて、コンティニュアスＡＦ動作を行うように構成できる。こうした構成も、後述の実施例における図２１のステップＳ２１０２の説明の部分などに記載されている。

以下、図面を参照しながら本発明の実施例を説明する。図１は、本発明の実施例を適用した焦点調節装置を備える撮像装置である電子カメラの構成を示すブロック図である。

図１において、１０１は、ズーム機構を含む撮影レンズである。１０２は、入射光量を制御する光量制御手段である絞り及びシャッターである。１０３は、光量制御手段の駆動手段を含むＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）処理部である。１０４は、後述する撮像素子上に焦点を合わせるためのフォーカスレンズである。１０５は、フォーカスレンズ１０４の駆動手段を含むＡＦ処理部である。１０６はストロボである。１０７はＥＦ（フラッシュ調光）処理部である。

１０８は、被写体からの反射光を電気信号に変換する受光手段ないし光電変換手段としての撮像素子である。１０９は、撮像素子１０８の出力ノイズを除去するＣＤＳ（相関二重サンプリング処理）回路やＡ／Ｄ変換前に処理を行う非線形増幅回路を含むＡ／Ｄ変換部である。１１０は、光電変換手段の出力信号から被写体の輝度を算出する輝度算出手段と該輝度算出手段の出力から特定周波数帯域の信号成分を抽出する抽出手段とを含む画像処理部である。１１１はＷＢ（ホワイトバランス）処理部である。１１２はフォーマット変換部である。

１１３は、高速な内蔵メモリ（例えばランダムアクセスメモリなど。ＤＲＡＭとも記す） である。１１４は、メモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。１１５は、装置全体の動作を制御する制御手段として撮影シーケンスなどシステムを制御するシステム制御部（ＣＰＵとも記す）である。１１６は画像表示用メモリ（ＶＲＡＭとも記す）
である。１１７は、画像表示、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と焦点検出領域を表示する操作表示部である。１１８は、カメラを外部から操作するための操作部である。１１９は、顔検出モードをＯＮ又はＯＦＦに切り替える等の設定を行う撮影モードスイッチである。

１２０は、システムに電源を投入するためのメインスイッチである。１２１は、ＡＦやＡＥ等の撮影スタンバイ動作を行うための合焦位置確定指示手段である撮影スタンバイスイッチ（ＳＷ１とも記す）である。このＳＷ１（１２１）が操作されることにより、フォーカスレンズ１０４の撮影のための合焦位置が確定される。この確定のための手順は後述する。１２２は、ＳＷ１の操作後、撮影を行う撮影スイッチ（ＳＷ２とも記す）である。

１２３は、前記画像処理部１１０で処理された画像信号を用いて顔検出を行い、検出した１つ又は複数の顔情報（位置・大きさ・信頼度）をＣＰＵ１１５に送る顔検出モジュールである。顔検出モジュール１２３は、画像信号に対して顔認識処理を施し、特定被写体情報（撮影画面内の人物の顔の大きさ、位置、顔の確からしさを示す信頼度）を検出し、その検出結果をＣＰＵ１１５に送信する。

上記顔認識処理は、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意した顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等がある。ここで、この顔の検出方法としては、パターン認識を用いる方法以外に、ニューラルネットワーク等による学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法がある。また、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法等の多数の方法がある。更に、実用化が検討されている方法として、ウェーブレット変換と画像特徴量を利用する方法等がある。また、顔の大きさは、検出された顔の情報から顔領域（顔座標）におけるピクセル数をカウントし、このピクセル数により判別する。または、検出された顔の情報（目の位置情報）に基づいて目の間隔を算出し、予め求めておいた目の間隔と顔のサイズ（ピクセル数）との統計的関係を用いてテーブル化し、顔のサイズを判別してもよい。また、顔の四隅（所定位置）の座標値から顔領域におけるピクセル数をカウントすることにより、顔のサイズを判別してもよい。

１２４は、画面内の被写体及び背景が動いているかどうかを検出して動体情報を前記システム制御部１１５に送る動体検出部である。具体的には、前記画像処理部１１０で処理された画像信号のうち、時系列的に並んだ２枚の画像を比較し、その差分情報から被写体／背景の動体情報（動作量、位置、範囲）を検出する。１２５は、カメラ自体の角速度を検出してカメラ動き情報をＣＰＵ１１５に送る角速度センサ部である。この角速度センサ部を用いて、カメラが縦位置の状態で構えられているのか、横位置の状態で構えられているのかを検出することも可能である。

前記ＤＲＡＭ１１３は、一時的な画像記憶手段としての高速バッファとして、或いは画像の圧縮・伸張における作業用メモリなどに使用される。前記操作部１１８は、例えば次の様なものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ、などである。

次に、図２のフローチャートを参照しながら本実施例に係る電子カメラの動作について説明する。まず、Ｓ２０１では、ＣＰＵ１１５が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ（オン）状態ならばＳ２１２へ進み、ＯＦＦ（オフ）状態の場合にはＳ２０２へ進む。Ｓ２０２では、後述する手順に従ってシーン安定判断を行う（図３参照）。Ｓ２０３では、Ｓ２０２において撮影シーンが安定したと判断したかどうかを調べ、安定したと判断していればＳ２０４へ進み、安定したと判断されていなければＳ２０１へ戻る。ここで、撮影シーンが安定した状態とは、撮影する被写体、カメラの状態が安定して維持され、撮影に適した状態になっていることである。

Ｓ２０４では、被写体輝度が所定値以下かどうかを調べ、被写体輝度が所定値以下であればＳ２０５へ進み、そうでなければＳ２０６へ進む。Ｓ２０５では、低照度時用のＡＦ枠設定を行う。ここで、ＡＦ枠とは、画面内の焦点評価値を取得する領域のことである。また、焦点評価値とは、撮像素子１０８から読み出されたアナログ映像信号をＡ／Ｄ変換部１０９がデジタル信号に変換し、その出力から画像処理部１１０が輝度信号の高周波成分を抽出した値のことである。これは、フォーカスレンズ１０４の位置とＡＦ枠位置と対応づけてＣＰＵ１１５に記憶しておく。焦点評価値を取得するとは、ＡＦ処理部１０５が、ＡＦ制御における判断のために、ＣＰＵ１１５で記憶している焦点評価値を読み出すことである。低照度時は、露光時間が延びる為に、スキャンでのＡＦ精度を確保することができない。この為、本実施例では、低照度時は、被写体領域特定や、顔検出時のスキャンは行わず、画面中央付近に所定の大きさのＡＦ枠を１枠設定することとする。

Ｓ２０６では、顔検出モジュール１２３において顔検出されたかどうかを調べ、顔検出されていればＳ２０７へ進み、顔検出されていなければＳ２０８へ進む。Ｓ２０７では、後述する手順に従って顔検出時ＡＦスキャンを行い（図４参照）、Ｓ２０９へ進む。Ｓ２０８では、後述する手順に従って被写体領域を特定するためのＡＦスキャンを行う（図８参照）。Ｓ２０９では、後述する手順に従ってコンティニュアスＡＦを行う（図２１参照）。ここで、コンティニュアスＡＦを行わずに、単純に１回だけ特定された被写体領域について合焦動作を行ったり、単に被写体領域を特定するのみに止めたりして、次の第２のスキャン動作に引き継がせるということも可能である。

Ｓ２１０では、後述する手順に従ってシーン不安定判断を行う（図２２参照）。Ｓ２１１では、Ｓ２１０において撮影シーンが不安定と判断されたかどうかを調べ、不安定となっていればＳ２０１へ進み、不安定となっていなければＳ２０９へ進む。ここで、撮影シーンが不安定とは、撮影する被写体の状態、カメラの状態が不安定となり、撮影に適した状態ではなくなることである。

撮影準備を指示するＳＷ１の状態がＯＮ状態のときにＳ２０１から進むＳ２１２では、合焦度判定フラグをＦＡＬＳＥにする。Ｓ２１３では、後述する手順に従って撮影処理を行う（図２３参照）。

また、上述した動作と並行して、常にＣＰＵ１１５からの制御信号に基づきＡＥ処理部１０３により、絞り及びシャッター１０２を制御して操作表示部１１７に表示される画像の明るさが適正になる様にＡＥ動作を行っている。

図３は、図２におけるＳ２０２のシーン安定判断を説明するフローチャートである。Ｓ３０１では、角速度センサ部１２５で検出したカメラ動作量が所定量以下となっているかどうかを調べ、所定量以下であればＳ３０２へ進み、そうでなければＳ３０４へ進む。ここではカメラ動作量が所定量以下になっていることを調べることにより、カメラの状態が安定しているかを判断する。

Ｓ３０２では、前回からの輝度変化量が所定量以下かどうかを調べ、所定量以下であればＳ３０３へ進み、そうでなければＳ３０４へ進む。ここでは、輝度変化量が所定値以下になっていることを調べることにより、撮影する被写体が変化していないことを判断する。Ｓ３０３では、撮影シーンが安定状態となったと判断して本処理を終了する。Ｓ３０４では、撮影シーンが安定状態ではないと判断して本処理を終了する。

図４は、図２におけるＳ２０７の顔検出時ＡＦスキャンを説明するフローチャートである。Ｓ４０１では、顔検出モジュール１２３で検出した顔情報（位置・大きさ）に基づいてＡＦ枠設定を行う。Ｓ４０２では、ＡＦ処理部１０５がフォーカスレンズ１０４をスキャン開始位置へと移動させる。ここで、スキャン開始位置は、例えば、検出した顔の大きさより推定した人物の距離に基づいて決定する。Ｓ４０３では、ＣＰＵ１１５は、現在のフォーカスレンズ位置における焦点評価値をＤＲＡＭ１１３へ記憶させる。Ｓ４０４では、フォーカスレンズ１０４の現在位置を取得してＣＰＵ１１５が該位置のデータをＤＲＡＭ１１３へ記憶させる。

Ｓ４０５では、ＣＰＵ１１５が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ（オン）状態なら本処理を終了して図２に示すＳ２１２へ進み、ＯＦＦ（オフ）状態の場合にはＳ４０６へ進む。Ｓ４０６では、後述する手順に従ってシーン変化判定を行う（図５参照）。シーン変化判定とは、撮影するシーンが変わったかを、カメラの状態、被写体の状態から判定する処理である。

Ｓ４０７では、ＣＰＵ１１５がフォーカスレンズ１０４の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはＳ４０９へ進み、そうでなければＳ４０８へ進む。ここで、スキャン終了位置は、例えば、検出した顔の大きさより推定した人物の距離に基づいて決定する。Ｓ４０８では、ＡＦ処理部１０５がフォーカスレンズ１０４をスキャン終了方向へ向かって所定量だけ移動させた後、Ｓ４０３に戻る。Ｓ４０９では、後述する手順に従って合焦判定を行う（図６参照）。

Ｓ４１０では、Ｓ４０９における合焦判定で○判定となったかどうかを調べ、○判定となっていればＳ４１１へ進み、そうでなければＳ４１４へ進む。ここで○判定とは、被写体のコントラストが十分にあり、且つスキャンした距離範囲内に被写体が存在する場合のことである。

Ｓ４１１では、Ｓ４０３で取得した焦点評価値がピークとなる合焦位置を算出する。Ｓ４１２では、ＡＦ処理部１０５がフォーカスレンズ１０４を、Ｓ４１１で算出した合焦位置へと移動させる。Ｓ４１３では、ピーク検出フラグをＴＲＵＥにする。

Ｓ４１４では、○判定ではない、つまり被写体のコントラストが不十分、若しくはスキャンした距離範囲外に被写体が存在するので、ＡＦ処理部１０５がフォーカスレンズ１０４を、予めＤＲＡＭ１１３に記憶している位置（定点）へと移動させる。ここで、定点は被写体の存在確率の高い距離に設定する。例えば、顔が検出されていれば、検出した顔の大きさより推定した人物の距離とする。

図５は、図４のＳ４０６、後述する図１１のＳ１１０５、図１４のＳ１４０５、図２１のＳ２１０７におけるシーン変化判定を説明するフローチャートである。Ｓ５０１では、顔検出モジュール１２３で検出した顔検出状態が変化したかどうかを調べ、顔検出状態が変化していれば本判定処理を終了して図２に示すＳ２０１へ戻り、そうでなければＳ５０２へ進む。ここで、顔検出状態とは、顔検出されているかどうかである。つまり、前回のシーン変化判定時に顔検出されていて今回のシーン変化判定時に顔検出されていなければ、顔検出状態が変化したことになる。

Ｓ５０２では、角速度センサ部１２５で検出したカメラ動作量が所定量以上となっているかどうかを調べ、所定量以上であれば、本判定処理を終了して図２のＳ２０１へ戻り、そうでなければＳ５０３へ進む。

Ｓ５０３では、後述するコンティニュアスＡＦ中であるかどうかを調べ、コンティニュアスＡＦ動作中であればＳ５０４へ進む。Ｓ５０４では、被写体輝度差が所定値以下かを判断する。被写体輝度差とは、前回のシーン変化判定時に取得した被写体輝度値と、今回のシーン変化判定時に検出された被写体輝度値との差である。被写体輝度値の差が大きい場合は、シーンが変化したと判断する。被写体輝度差が、所定値以下であれば、本判定処理を終了し、所定値より大きい場合は、本判定処理を終了して図２のＳ２０１へ戻る。

コンティニュアスＡＦ動作中でなければ、Ｓ５０５へ進む。Ｓ５０５では、露光時間が所定時間以上であるかどうかを調べ、露光時間が所定時間以上であれば、本判定処理を終了して図２のＳ２０１へ戻る。これは、露光時間が所定時間以上の場合、焦点評価値を取得する間隔が延びてしまう為、ＡＦの精度を確保できなくなるからである。そうでなければＳ５０６へ進む。

Ｓ５０６では、絞り１０２の状態が変化したかどうかを調べ、状態が変化していればＳ５０７へ進み、そうでなければ本判定処理を終了する。なお、本実施例では、絞り制御を用いた場合について説明しているが、絞り制御の替わりにＮＤフィルタによって露出制御を行った場合は、ＮＤフィルタの状態の変化を見てもよい。これは、絞り、若しくはＮＤフィルタの状態が変化した場合は、焦点評価値のピーク位置が変化する為である。

Ｓ５０７では、顔検出モジュール１２３で顔を検出しているかどうかを調べ、顔を検出していれば本判定処理を終了して図４のＳ４０２へ進み、そうでなければ本判定処理を終了して後述する図８のＳ８０９へ進む。

次に、図４のＳ４０９、後述する図１２のＳ１２０１、図１５のＳ１５０１における合焦判定のサブルーチンについて図６と図７を用いて説明する。

焦点評価値は、遠近競合などの場合を除けば、横軸にフォーカスレンズ位置、縦軸に焦点評価値をとると、その形は図７に示す様な山状になる。そこで、焦点評価値の、最大値と最小値の差、一定値（Slope Thr）以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。

合焦判定における判定結果は、以下に示す様に○判定、×判定で出力される。
○判定：被写体のコントラストが十分、且つスキャンした距離範囲内の距離に被写体が存在する。
×判定：被写体のコントラストが不十分、若しくはスキャンした距離範囲外の距離に被写体が位置する。

また、×判定のうち、至近側方向のスキャンした距離範囲外に被写体が位置する場合を△判定とする。

山の形状を判断する為の、一定値以上の傾きで傾斜している部分の長さＬ、傾斜している部分の勾配ＳＬ／Ｌを、図７を用いて説明する。山の頂上（Ａ点）から傾斜が続いていると認められる点をＤ点、Ｅ点とし、Ｄ点とＥ点の幅を山の幅Ｌとする。傾斜が続いていると認める範囲は、Ａ点から、所定量（Slope Thr）以上、焦点評価値が下がったスキャンポイントが続く範囲とする。スキャンポイントとは、連続的にフォーカスレンズを動かして、スキャン開始点からスキャン終了点まで移動する間に、焦点評価値を取得するポイントのことである。Ａ点とＤ点の焦点評価値の差ＳＬ１とＡ点とＥ点の焦点評価値の差ＳＬ２の和ＳＬ１＋ＳＬ２をＳＬとする。

図６のフローチャートにおいて、Ｓ６０１では、焦点評価値の最大値と最小値を求め、次にＳ６０２では焦点評価値が最大となるスキャンポイントを求め、Ｓ６０３へ進む。Ｓ６０３では、スキャンポイント、焦点評価値から、山の形状を判断する為のＬ、ＳＬを求め、Ｓ６０４へ進む。

Ｓ６０４では、山の形状が至近側登り止まりかを判断する。至近側登り止まりだと判断するのは、次の２つの条件を満たす場合である。１つの条件は、焦点評価値が最大値となるスキャンポイントがスキャンを行った所定範囲における至近端であることである。もう１つの条件は、至近端のスキャンポイントでの焦点評価値と、至近端のスキャンポイントより１ポイント分無限遠よりのスキャンポイントでの焦点評価値との差が、所定値以上であることである。至近側登り止まりだと判断した場合は、Ｓ６０９へ進み、そうでなければＳ６０５へ進む。

Ｓ６０５では、山の形状が無限遠側登り止まりかを判断する。無限遠側登り止まりだと判断するのは、次の２つの条件を満たす場合である。１つの条件は、焦点評価値の最大値となるスキャンポイントがスキャンを行った所定範囲における無限遠端であることである。もう１つの条件は、無限遠端スキャンポイントにおける焦点評価値と、無限遠端スキャンポイントより１ポイント分至近端よりのスキャンポイントにおける焦点評価値との差が、所定値以上であることである。無限遠側登り止まりだと判断した場合は、Ｓ６０８へ進み、そうでなければＳ６０６へ進む。

Ｓ６０６では、一定値以上の傾きで傾斜している部分の長さＬが所定値以上、且つ傾斜している部分の傾斜の平均値ＳＬ／Ｌが所定値以上、且つ焦点評価値の最大値（Max）と最小値（Min）の差が所定値以上であれば、Ｓ６０７へ進む。そうでなければ、Ｓ６０８へ進む。Ｓ６０７では、得られた焦点評価値が山状となっていて、被写体にコントラストがあり、焦点調節が可能である為、判定結果を○判定としている。Ｓ６０８では、得られた焦点評価値が山状となっておらず、被写体にコントラストがなく、焦点調節が不可能である為、判定結果を×判定としている。Ｓ６０９では、得られた焦点評価値が山状となってはいないが、至近側方向に登り続けている状態となっており、更に至近側に被写体ピークが存在している可能性がある為、判定結果を△判定としている。以上の様にして、合焦判定を行う。

図８は、図２におけるＳ２０８の被写体領域特定ＡＦスキャンを説明するフローチャートである。ここでは、画面内の主被写体の領域を特定するためのＡＦスキャンを行う。

まず、Ｓ８０１では、電子ズームをしているかどうかを調べ、電子ズームをしていればＳ８０２へ進み、そうでなければＳ８０３へ進む。Ｓ８０２では、電子ズーム時用のＡＦ枠設定を行う。ここで、電子ズームとは、画面中央領域を拡大して操作表示部１１７に表示することである。この時、撮像素子１０８上の狭い領域を拡大するため、操作表示部１１７に表示される画像は、電子ズームしない時に比べて少ない画素数から生成されたものとなる。従って、電子ズーム時に操作表示部１１７に表示される画像に対して、電子ズームをしない時と同じ割合になる様にＡＦ枠を設定すると、電子ズームしない時に比べてＡＦ枠内の画素数も少なくなり、焦点評価値のＳ／Ｎが低下する。そのため、電子ズーム時と電子ズームをしない時とで、ＡＦ枠設定の仕方を変える必要がある。本実施例では、電子ズーム時は、画面中央付近に所定の大きさのＡＦ枠を１枠設定することとする。

Ｓ８０３では、画面内にＮ×Ｎ個のＡＦ枠を設定手段で設定する。例えば、Ｎ＝５、ＡＦ枠の大きさを縦横の長さ共に画面の１０％（以下同様に縦横の長さに対しての割合を言う）とした場合、図９に示す様なＡＦ枠設定となる。Ｎ又はＡＦ枠の大きさは、画面内の主被写体の存在確率を考慮して設定してもよい。また、横方向と縦方向でＡＦ枠数を異ならせてもよい。

Ｓ８０４では、後述する手順に従って前回参照判定を行う（図１０参照）。Ｓ８０５では、Ｓ８０４において前回参照判定した結果、前回と撮影シーンがあまり変わらないと判定された場合はＳ８０６へ進み、そうでなければＳ８０９へ進む。Ｓ８０６では、後述する手順に従って前回参照ＡＦスキャンを行う（図１１参照）。Ｓ８０７では、Ｓ８０６の前回参照ＡＦスキャンにおいて主被写体領域が特定できたかどうかを調べ、主被写体領域が特定できていればＳ８０８へ進み、そうでなければＳ８０９へ進む。

Ｓ８０８では、ピーク検出フラグをＴＲＵＥにする。Ｓ８０９では、後述する手順に従ってゾーンＡＦスキャンを行う（図１４参照）。Ｓ８１０では、Ｓ８０９のゾーンＡＦスキャンにおいて主被写体領域が特定できたかどうかを調べ、主被写体領域が特定できていればＳ８０８へ進み、そうでなければＳ８１１へ進む。Ｓ８１１では、後述する手順に従って一様面判断を行う（図１７参照）。Ｓ８１２では、Ｓ８０９のゾーンＡＦスキャンにおいて主被写体領域が特定できなかったので、画面内に予め設定してある所定領域にＡＦ枠を設定する。ここで、所定領域は、例えば画面の中央領域に１枠設定するなど、主被写体が存在しそうな領域に設定する。Ｓ８１３では、後述する手順に従ってフォーカス駆動を行う（図２０参照）。

図１０は、上述の図８におけるＳ８０４の前回参照判定を説明するフローチャートである。ここでは、前回ＡＦスキャンを行った撮影シーンに対して、今回、撮影シーンがあまり変化していないかどうかを判定する。

まず、Ｓ１００１では、前回のＡＦスキャンにおいて主被写体領域を特定できていたかどうかを調べ、主被写体領域を特定できていればＳ１００２へ進み、そうでなければＳ１００６へ進む。Ｓ１００２では、現在のフォーカスレンズ１０４の位置が所定位置より至近側にあるかどうかを調べ、至近側にあればＳ１００３へ進み、そうでなければＳ１００６へ進む。ここでは所定位置よりも至近側かどうかの判定を行ったが、所定位置より無限遠側かどうかの判定にしてもよい。

Ｓ１００３では、前回ＡＦスキャンを行った時間と今回の時間差が所定時間以内かどうかを調べ、所定時間以内であればＳ１００４へ進み、そうでなければＳ１００６へ進む。Ｓ１００４では、前回のＡＦスキャン時のカメラの向きと同じかどうかを調べ、同じであればＳ１００５へ進み、そうでなければＳ１００６へ進む。ここで、カメラの向きとは例えばカメラの縦横位置のことであり、角速度センサ部１２５により検出する。Ｓ１００５では、前回のＡＦスキャンでの撮影シーンとあまり変わらないと判定して本判定処理を終了する。Ｓ１００６では、前回のＡＦスキャンと撮影シーンが大きく変わったと判定して本判定処理を終了する。

図１１は、図８におけるＳ８０６の前回参照ＡＦスキャンを説明するフローチャートである。まず、Ｓ１１０１では、現在のフォーカスレンズ１０４の位置を中心にスキャン範囲を第１の範囲に設定する。ここでは前回の撮影シーンとあまり変わらないと判断されているので、第１のスキャン範囲は狭い範囲とする。Ｓ１１０２では、フォーカスレンズ１０４をスキャン開始位置へと移動させる。Ｓ１１０３では、撮像素子１０８から読み出されたアナログ映像信号をＡ／Ｄ変換部１０９がデジタル信号に変換し、その出力から画像処理部１１０が輝度信号の高周波成分を抽出し、ＣＰＵ１１５はこれを焦点評価値として記憶させる。Ｓ１１０４では、フォーカスレンズ１０４の現在位置を取得してＣＰＵ１１５が該位置のデータを記憶させる。

Ｓ１１０５では、ＣＰＵ１１５が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ（オン）状態なら本処理を終了して図２のＳ２１２へ進み、ＯＦＦ（オフ）状態の場合にはＳ１１０６へ進む。Ｓ１１０６では、前述した図５のシーン変化判定を行う。Ｓ１１０７では、ＣＰＵ１１５がフォーカスレンズ１０４の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはＳ１１０８へ進み、そうでなければＳ１１０９へ進む。Ｓ１１０８では、後述する主被写体領域判定を行う（図１２参照）。Ｓ１１０９では、ＡＦ処理部１０５がフォーカスレンズ１０４をスキャン終了方向へ向かって所定量だけ移動させた後、Ｓ１１０３に戻る。

図１２は、図１１におけるＳ１１０８、後述する図１４におけるＳ１４１１の主被写体領域判定を説明するフローチャートである。ここでは、画面内の主被写体領域が特定できたかどうかを判定する。図１３は、図１２における主被写体領域判定の例を説明する図である。この例では、ＡＦ枠サイズの大きさを画面の１０％、Ｎ＝５、スキャン範囲を０〜５００、所定深度範囲を±１０とする。なお、スキャン範囲及び所定深度範囲の数値はフォーカスレンズ１０４の位置を表す数値である。これは、図示しないフォーカスレンズ１０４の駆動用モータにステッピングモータを使用する場合のパルス数に相当し、値が大きい方が至近側とする。

まず、Ｓ１２０１では、設定した各ＡＦ枠全てにおいて、前述した図６の合焦判定を行う。例えば、各ＡＦ枠において図１３（a）に示す様な合焦判定結果となるとする。Ｓ１２０２では、各ＡＦ枠における焦点評価値のピーク位置（以下PeakPosと記す）を算出して記憶しておく。例えば、各ＡＦ枠において図１３（b）に示す様なピーク位置算出結果になるとする。Ｓ１２０３では、設定しているＡＦ枠が１枠かどうかを調べ、設定しているＡＦ枠が１枠であればＳ１２１４へ進み、そうでなければＳ１２０４へ進む。

Ｓ１２０４では、中央Ｍ×Ｍ枠の各ＡＦ枠のPeakPosを至近順にソートし、ソートされた数をＳとする。以下の説明ではＭ＝３とする。図１３の太線で囲んだ縦３枠、横３枠の合計９枠がこれを示す。ここで、Ｓ１２０１の合焦判定で×判定のＡＦ枠ではピーク位置が算出できないのでソートの対象としない。例えば、図１３（b）の場合は、至近順に４１０、４００、４００、４００、１００、１００、１００、９０とソートされ、ソート数Ｓ＝８となる。

Ｓ１２０５では、Ｓ１２０２で算出したＭ×Ｍ枠内のピーク位置の至近順を示すカウンタＰを１に設定する。Ｓ１２０６では、ソート順でＰ番目のPeakPosをPeakPosＰとする。例えば、図１３（b）の例はＰ＝１の場合、PeakPosＰ＝４１０となる。Ｓ１２０７では、中央のＭ×Ｍ個のＡＦ枠中において○判定であって且つPeakPosＰの枠に対して所定深度範囲内のＡＦ枠の「かたまり」を検出し、「かたまり」を構成するＡＦ枠の数と各ＡＦ枠の位置を記憶しておく。ここで、「かたまり」とは、例えば、条件を満たすＡＦ枠が上下左右に隣接している状態のものである。また、「かたまり」が複数存在する場合には、「かたまり」を構成するＡＦ枠の数や「かたまり」の位置に基づいて、複数の「かたまり」のうちの１つを選択してもよい。

Ｓ１２０８では、中央のＮ×Ｎ個のＡＦ枠中において、中央のＭ×Ｍ個のＡＦ枠中の枠を１枠以上含む様に、○判定であって且つPeakPosＰに対して所定深度内の「かたまり」を検出する。そして、「かたまり」を構成するＡＦ枠の数と各ＡＦ枠の位置を記憶しておく。例えば、図１３（a）、（b）の様な判定結果に対して、図１３（c）に灰色の枠で示す様な「かたまり」が検出される。

Ｓ１２０９では、Ｓ１２０７又はＳ１２０８で検出した「かたまり」が中央枠を含む「かたまり」であるかどうかを調べ、中央枠を含む「かたまり」であればＳ１２１５へ進み、そうでなければＳ１２１０へ進む。Ｓ１２１０では、Ｓ１２０７又はＳ１２０８で検出した「かたまり」が、Ｍ×Ｍ枠内に所定枠数以上含む「かたまり」であるかどうかを調べ、そうであればＳ１２１５へ進み、そうでなければＳ１２１１へ進む。Ｓ１２１１では、Ｓ１２０７又はＳ１２０８で検出した「かたまり」が、中央Ｍ×Ｍ枠のうちの枠を１枠は含み、Ｎ×Ｎ枠内のＡＦ枠を所定数以上含む「かたまり」であるかどうかを調べ、そうであればＳ１２１５へ進む。そうでなければＳ１２１２へ進む。Ｓ１２１２では、カウンタＰに１を加える。Ｓ１２１３では、カウンタＰがソート数Ｓよりも大きいどうかを調べ、カウンタＰがソート数Ｓよりも大きければＳ１２１７へ進み、そうでなければＳ１２０６に戻る。

Ｓ１２１４では、Ｓ１２０１での合焦判定結果が○判定かどうかを調べ、○判定であればＳ１２１５へ進み、そうでなければＳ１２１７へ進む。Ｓ１２１５では、主被写体領域が特定できたと判定する。Ｓ１２１６では、かたまりを構成する各ＡＦ枠を主被写体領域と判断して選択して本判定処理を終了する。ここで設定しているＡＦ枠が１枠の場合はその１枠を選択する。Ｓ１２１７では、主被写体領域の特定ができなかったと判定して本判定処理を終了する。

次に、図１４は、図８におけるＳ８０９のゾーンＡＦスキャンを説明するフローチャートである。ここでゾーンとは、レンズ移動範囲を複数の範囲に分割した際の１つ１つの範囲のことを指す。

まず、Ｓ１４０１では、フォーカスレンズ１０４をスキャン開始位置へと移動させる。ここで、スキャン開始位置は、例えば、無限遠端位置とする。Ｓ１４０２では、撮像素子１０８から読み出されたアナログ映像信号をＡ／Ｄ変換部１０９がデジタル信号に変換し、その出力から画像処理部１１０が輝度信号の高周波成分を抽出し、ＣＰＵ１１５はこれを焦点評価値として記憶させる。Ｓ１４０３では、フォーカスレンズ１０４の現在位置を取得してＣＰＵ１１５が該位置のデータを記憶させる。

Ｓ１４０４では、ＣＰＵ１１５が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ（オン）状態なら本処理を終了して図２のＳ２１２へ進み、ＯＦＦ（オフ）状態の場合にはＳ１４０５へ進む。Ｓ１４０５では、前述した図５のシーン変化判定を行う。Ｓ１４０６では、フォーカスレンズ１０４が予め設定したゾーンの境界位置にあるかどうかを調べ、そうであればＳ１４０７へ進み、そうでなければＳ１４０９へ進む。Ｓ１４０７では、後述する手順に従ってゾーン更新判定を行う（図１５参照）。ここでゾーン更新とは、或るゾーンをスキャンした後、引き続き隣接するゾーンをスキャンすることを指す。

Ｓ１４０８では、Ｓ１４０７で判定した結果、ゾーン更新すると判定されたかどうかを調べ、ゾーン更新すると判定されていればＳ１４０９へ進み、そうでなければＳ１４１１へ進む。Ｓ１４０９では、ＣＰＵ１１５がフォーカスレンズ１０４の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはＳ１４１１へ進み、そうでなければＳ１４１０へ進む。Ｓ１４１０では、フォーカスレンズ１０４をスキャン終了方向へ向かって所定量だけ移動させた後、Ｓ１４０２に戻る。Ｓ１４１１では、前述した図１２の主被写体領域判定を行う。

図１５は、図１４におけるＳ１４０７のゾーン更新判定を説明するフローチャートである。ここでは、スキャン方向の先に主被写体が存在していそうかどうか、つまりＡＦスキャンを続けるかどうかを判定する。図１６は、図１５におけるゾーン更新判定の例を説明する図である。この例では、ＡＦ枠の大きさを画面の１０％、Ｎ＝５、Ｍ＝３とする。

まず、Ｓ１５０１では、設定した各ＡＦ枠全てにおいて前述した図６の合焦判定を行う。例えば、各ＡＦ枠において図１６（a）に示す様な合焦判定結果となるとする。Ｓ１５０２では、最終ゾーンまでスキャンをしたかどうかを調べ、最終ゾーンまでスキャンしていればＳ１５１２へ進み、そうでなければＳ１５０３へ進む。Ｓ１５０３では、○判定枠があるかどうかを調べ、○判定枠があればＳ１５０４へ進み、そうでなければＳ１５１１へ進む。

Ｓ１５０４では、中央枠が△判定かどうかを調べ、中央枠が△判定であればＳ１５１１へ進み、そうでなければＳ１５０５へ進む。Ｓ１５０５では、中央Ｍ×Ｍ枠の中で△判定枠が所定枠数以上の「かたまり」としてあるかどうかを調べ、あればＳ１５１１へ進み、そうでなければＳ１５０６へ進む。図１６では、例として所定数を２とする。Ｓ１５０６では、中央Ｍ×Ｍ枠のうちの枠を１枠以上含む様にＮ×Ｎ枠のＡＦ枠中に△判定枠が所定枠数以上の「かたまり」としてあるかどうかを調べ、そうあればＳ１５１１へ進み、そうでなければＳ１５０７へ進む。図１６では、例として所定数を４とする。Ｓ１５０７では、中央Ｍ×Ｍ枠中に○判定枠が所定数以上の「かたまり」としてあるかどうかを調べ、そうであればＳ１５１２へ進み、そうでなければＳ１５０８へ進む。図１６では、例として所定数を５とする。

Ｓ１５０８では、中央枠が×判定かどうかを調べ、中央枠が×判定であればＳ１５１１へ進み、そうでなければＳ１５０９へ進む。Ｓ１５０９では、中央Ｍ×Ｍ枠の中で△判定枠又は×判定枠が所定枠数以上の「かたまり」としてあればＳ１５１１へ進み、そうでなければＳ１５１０へ進む。図１６では、例として所定数を２とする。Ｓ１５１０では、中央Ｍ×Ｍ枠のうちの枠を１枠以上含む様にＮ×Ｎ枠の全ての枠中に△判定枠又は×判定枠が所定数以上の「かたまり」としてあるかどうかを調べ、そうであればＳ１５１１へ進み、そうでなければＳ１５１２へ進む。図１６では、例として所定数を４とする。Ｓ１５１１では、「ゾーン更新する」と判定して本判定処理を終了する。Ｓ１５１２では、「ゾーン更新しない」と判定して本判定処理を終了する。

例えばＮ＝５、Ｍ＝３としたとき、図１６（b）に示している灰色の領域の「かたまり」となり、「ゾーン更新する」と判定される。

図１７は、図８におけるＳ８１１の一様面判断を説明するフローチャートである。ここで「一様面である状態」とは画面内に輝度差がなく、コントラストがないため、ＡＦを行っても焦点評価値ピークが充分に得られない状態のことである。「一様面である状態」において撮影シーンが安定するたびに図２のＳ２０８の被写体領域特定ＡＦスキャンが繰り返されると、画面のピント変動が無駄に繰り返されるため、煩わしい。そのため、この一様面判断フローでは、「一様面である状態」を判定した場合には、「一様面である状態」を判定しなくなるまでフォーカスレンズ１０４を停止する動作を行う。

まず、Ｓ１７０１では、後述する手順に従って一様面判定を行う（図１８参照）。Ｓ１７０２では、Ｓ１７０１で判定した結果、撮影シーンが一様面であると判定したかどうかを調べ、一様面と判定していればＳ１７０３へと進み、そうでなければ本判断処理を終了する。Ｓ１７０３では、ＡＦ処理部１０５がフォーカスレンズ１０４を所定位置へと移動させる。ここで所定位置とは、例えば無限遠を被写界深度の無限遠側に含む過焦点距離とする。

Ｓ１７０４では、ＣＰＵ１１５が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ（オン）状態なら本処理を終了して図２のＳ２１２へ進み、ＯＦＦ（オフ）状態の場合にはＳ１７０５へ進む。Ｓ１７０５では、後述する一様面判定を行う。Ｓ１７０６では、Ｓ１７０５で判定した結果、撮影シーンが一様面であると判定したかどうかを調べ、一様面と判定していればＳ１７０４に戻り、そうでなければ本判断処理を終了して図２のＳ２０１に戻る。

以上の様にして、「一様面である状態」でなくなるまでフォーカスレンズ１０４を停止することができる。

図１８は、図１７におけるＳ１７０１、Ｓ１７０５の一様面判定を説明するフローチャートである。ここでは、画面内の輝度情報及び焦点評価値に基づいて「一様面である状態」かどうかを判定する。図１９は、図１８の一様面判定について図で説明したものである。図１９（a）の［１］部分は、「一様面である状態」を示しており、図１９（a）の［２］部分は、「一様面でない状態」を示している。

まず、Ｓ１８０１では、設定しているＡＦ枠が１枠かどうかを調べ、設定しているＡＦ枠が１枠であればＳ１８０５へ進み、そうでなければＳ１８０２へ進む。Ｓ１８０２では、「画面中央Ｍ×Ｍ枠と、画面全体Ｎ×Ｎ枠中の４隅Ｍ×Ｍ枠それぞれとの輝度積分値の差分」を算出する。例えば、枠サイズ１０％、Ｎ＝５、Ｍ＝３とすると、図１９（a）の風景の中で［１］部分の領域を撮影シーンとした場合、画面中央Ｍ×Ｍ枠の輝度積分値は図１９（b）のＡに示す灰色の領域の輝度値を積分したものとなる。また、画面全体Ｎ×Ｎ枠中の４隅Ｍ×Ｍ枠それぞれの輝度積分値は図１９（ｂ）のＢ、Ｃ、Ｄ、Ｅに示すそれぞれの灰色の領域の輝度値を積分したものとなる。それぞれの輝度積分値を、Ａ、Ｂ、Ｃ、Ｄ、Ｅとすると、Ａ−Ｂ、Ａ−Ｃ、Ａ−Ｄ、Ａ−Ｅの絶対値が、「画面中央Ｍ×Ｍ枠と、画面全体Ｎ×Ｎ枠中の４隅Ｍ×Ｍ枠それぞれの輝度積分値の差分」となる。

Ｓ１８０３では、Ｓ１８０２で算出した「画面中央Ｍ×Ｍ枠と、画面全体Ｎ×Ｎ枠中の４隅Ｍ×Ｍ枠それぞれの輝度積分値の差分」のうち所定値以上の輝度差分となるものがあるかどうかを調べ、そうであればＳ１８０７へ進む。そうでなければＳ１８０４へ進む。Ｓ１８０４では、中央Ｍ×Ｍ枠の各ＡＦ枠の焦点評価値を演算したものを新たな焦点評価値とする。演算の仕方は例えば加算する。Ｓ１８０５では、焦点評価値が所定値以上かどうかを調べ、所定値以上であればＳ１８０７へ進み、そうでなければＳ１８０６へ進む。Ｓ１８０６では、撮影シーンが「一様面である」と判定して本判定処理を終了する。Ｓ１８０７では、撮影シーンが「一様面ではない」と判定して本判定処理を終了する。

これにより、図１９（a）の［１］部分の様な「一様面である状態」では、「一様面である」と判定することができ、図１９（a）の［２］部分の様な「一様面ではない状態」では、「一様面ではない」と判定することができる。

図２０は、図８におけるＳ８１３のフォーカス駆動を説明するフローチャートである。まず、Ｓ２００１では、主被写体領域が特定できたかどうかを調べ、特定できていればＳ２００２へ進み、そうでなければＳ２００３へ進む。Ｓ２００２では、選択したＡＦ枠中の最至近位置にフォーカスを駆動して本処理を終了する。Ｓ２００３では、中央Ｍ×Ｍ枠中に○判定があるかどうかを調べ、○判定があればＳ２００４へ進み、そうでなければＳ２００５へ進む。Ｓ２００４では、中央Ｍ×Ｍ枠中の○判定のうち最至近位置にフォーカスを駆動して本処理を終了する。Ｓ２００５では、予め記憶している位置（定点）へと移動させて本処理を終了する。ここで、定点は、例えば、被写体の存在確率の高い距離に設定する。

次に、図２１は、図２におけるＳ２０９のコンティニュアスＡＦを説明するフローチャートである。まず、Ｓ２１０１では、合焦度判定フラグをＴＲＵＥにする。Ｓ２１０２では、設定した各ＡＦ枠で焦点評価値を取得する。こうしたＡＦ枠は、前述の第１のＡＦスキャン動作で特定した合焦すべき被写体領域を含み設定した１つ又は複数の焦点検出領域とすることができる。

Ｓ２１０３では、設定しているＡＦ枠が１枠かどうかを調べ、設定しているＡＦ枠が１枠の場合はＳ２１０５へ進み、そうでない場合はＳ２１０４へ進む。Ｓ２１０４では、主被写体領域として選択したＡＦ枠の焦点評価値を用いて演算した評価値をＳ２１０５以降に用いる焦点評価値として設定し直す。これにより、撮影シーンが変化して画面内の主被写体領域が変化しても、常に画面内の主被写体領域の焦点評価値を算出することができる。

Ｓ２１０５では、焦点評価値に基づいて合焦度を算出する。本実施例では、焦点評価値に基づいて、合焦度を高、中、低の３段階で決定することにする。Ｓ２１０６では、ＣＰＵ１１５が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ（オン）状態ならば本処理を終了して図２のＳ２１３へ進み、ＯＦＦ（オフ）状態の場合にはＳ２１０７へ進む。Ｓ２１０７では前述した図５のシーン変化判定を行う。

Ｓ２１０８では、ピーク検出フラグがＴＲＵＥであるかどうかを調べ、ＴＲＵＥであればＳ２１２５へ進み、ＦＡＬＳＥであればＳ２１０９へ進む。Ｓ２１０９では、フォーカスレンズ１０４の現在位置を取得する。Ｓ２１１０では、焦点評価値の取得及びフォーカスレンズ１０４の現在位置の取得をカウントするための取得カウンタに１を加える。この取得カウンタは、初期化動作（図示略）において予め０に設定されているものとする。Ｓ２１１１では、取得カウンタの値が１かどうかを調べ、取得カウンタの値が１ならばＳ２１１４へ進み、取得カウンタの値が１でなければＳ２１１２へ進む。

Ｓ２１１２では、「今回の焦点評価値」が「前回の焦点評価値」よりも大きいかどうかを調べ、そうであればＳ２１１３へ進み、そうでなければＳ２１２０へ進む。Ｓ２１１３では、増加カウンタに１を加える。Ｓ２１１４では、今回の焦点評価値を焦点評価値の最大値としてＣＰＵ１１５に内蔵される図示しない演算メモリに記憶する。Ｓ２１１５では、フォーカスレンズ１０４の現在の位置を焦点評価値のピーク位置としてＣＰＵ１１５に内蔵される図示しない演算メモリに記憶する。Ｓ２１１６では、今回の焦点評価値を前回の焦点評価値としてＣＰＵ１１５に内蔵される図示しない演算メモリに記憶する。Ｓ２１１７では、フォーカスレンズ１０４の現在位置が焦点検出範囲の端にあるかどうかを調べ、そうであればＳ２１１８へ進み、そうでなければＳ２１１９へ進む。Ｓ２１１８では、フォーカスレンズ１０４の移動方向を反転する。Ｓ２１１９では、フォーカスレンズ１０４を所定量移動する。

Ｓ２１２０では、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいかどうかを調べ、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きければステップＳ２１２１へ進み、そうでなければステップＳ２１１６へ進む。ここで「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいこと、即ち最大値から所定量減少していれば、その最大値をピントのピーク位置での値とみなす。Ｓ２１２１では、増加カウンタが０より大きいかどうかを調べ、０より大きければＳ２１２２へ進み、０より小さければＳ２１１６へ進む。Ｓ２１２２では、フォーカスレンズ１０４を前記Ｓ２１１５で記憶した焦点評価値が最大値となったピーク位置へ移動させる。Ｓ２１２３では、ピーク検出フラグをＴＲＵＥとする。Ｓ２１２４では、取得カウンタを０とする。

Ｓ２１２５では、今回の焦点評価値が焦点評価値の最大値に対して所定割合以上変動したかどうかを調べ、所定割合以上の大きな変動をしていればＳ２１２７へ進み、小さな変動であればＳ２１２６へ進む。Ｓ２１２６では、フォーカスレンズ１０４の位置をそのまま保持する。Ｓ２１２７では、焦点評価値が最大となるフォーカスレンズ位置を再び求め直すため、ピーク検出フラグをＦＡＬＳＥとし、焦点評価値の最大値及びピーク位置をリセットする。Ｓ２１２８では、増加カウンタをリセットする。

以上の様にして、コンティニュアスＡＦ動作では常に主被写体が合焦状態となる様にフォーカスレンズを駆動する。

図２２は、図２におけるＳ２１１のシーン不安定判断を説明するフローチャートである。まず、Ｓ２２０１では、角速度センサ部１２５で検出したカメラ動作量が所定量以上となっているかどうかを調べ、所定量以上であればＳ２２０５へ進み、そうでなければＳ２２０２へ進む。Ｓ２２０２では、前回からの輝度変化量が所定量以上かどうかを調べ、所定量以上であればＳ２２０５へ進み、そうでなければＳ２２０３へ進む。Ｓ２２０３では、顔検出モジュール１２３で検出した顔検出状態が変化したかどうかを調べ、顔検出状態が変化していればＳ２２０５へ進み、そうでなければＳ２２０４へ進む。ここで、顔検出状態とは、例えば、顔検出されているかどうかである。つまり、前回のシーン不安定判断で顔検出されていて今回のシーン不安定判断で顔検出されていなければ、顔検出状態が変化したことになる。Ｓ２２０４では、撮影シーンが変化していないと判断して本処理を終了する。Ｓ２２０５では、撮影シーンが変化したと判断して本処理を終了する。

次に、図２３は、図２におけるＳ２１３の撮影処理を説明するフローチャートである。まず、Ｓ２３０１では、ＡＥ処理部１０３で本露光用のＡＥ処理を行う。Ｓ２３０２では、後述する手順に従って本露光用のＡＦを行う（図２４参照）。Ｓ２３０３では、ＣＰＵ１１５は撮影スイッチＳＷ２（１２２）の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮならばＳ２３０５へ進むが、ＯＦＦ状態の場合にはＳ２３０４へ進む。Ｓ２３０４では、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ（オン）状態ならＳ２３０３へ進み、ＯＦＦ（オフ）状態の場合には本処理を終了する。Ｓ２３０５では、後述する手順に従って本露光処理を行い（図２６参照）、本処理を終了する。

図２４−１は、図２３におけるＳ２３０２の本露光用ＡＦを説明するフローチャートである。まず、Ｓ２４０１では、主被写体検出フラグがＴＲＵＥであるかどうかを調べ、ＴＲＵＥであればＳ２４０２へ進み、そうでなければＳ２４０３へ進む。

Ｓ２４０２、Ｓ２４０３では、本露光用のＡＦ枠設定を行う。ここでの枠数設定は、主被写体検出判定にて設定したＮ×Ｎと異ならせる。本実施例では、例えば、ＡＦ評価値の演算量を低減させる為、Ｎ＞Ｌとなるような枠設定Ｌ×Ｌで設定する。更に、枠サイズとしてはＳ／Ｎ比を向上させるため、Ｓｉｚｅ_Ｎ＜Ｓｉｚｅ_Ｌとなるような枠サイズを設定する。

また、枠の設定は、前述の第１のＡＦスキャン動作における主被写体の検出結果に基づいて決定しても良い。主被写体が検出できていた場合は、Ｓ２４０２にて、ＡＦ評価値の演算量の低減、Ｓ／Ｎ比を向上させる為、Ｎ＞Ｌ、Ｓｉｚｅ_Ｎ＜Ｓｉｚｅ_ＬとなるＡＦ枠設定（１）を設定する。主被写体が検出できていない場合は、主被写体検出用に設定した枠に対して、細かな被写体を撮影しており、背景抜けなどの現象が起こっている可能性がある。そこで、主被写体検出の分解能を上げる為、Ｓ２４０３にてＮ＜Ｌ’、Ｓｉｚｅ_Ｎ＞Ｓｉｚｅ_Ｌ’となるようなＡＦ枠設定（２）を設定してもよい。枠数を増減する例を図２４−２（a）、（b）、図２４−３（c）、（d）、図２４−４（e）、（f）に示す。

Ｓ２４０４では、Ｓ２１０５で算出した合焦度が「高」であるかどうかを調べ、合焦度が「高」であればＳ２４０５へ進み、そうでなければＳ２４０６へ進む。Ｓ２４０５では、現在のフォーカスレンズ１０４の位置を中心にスキャン範囲（１）の設定を行う。ここでは、コンティニュアスＡＦ動作により主被写体にほぼピントが合っている状態、つまり焦点評価値がピークを示す合焦位置付近にフォーカスレンズが位置すると判断して、狭いスキャン範囲を設定する。Ｓ２４０６では、Ｓ２１０５で算出した合焦度が「中」であるかどうかを調べ、合焦度が「中」であればＳ２４０７へ進み、そうでなければＳ２４０８へ進む。Ｓ２４０７では、現在のフォーカスレンズ１０４の位置を中心にスキャン範囲（２）の設定を行う。ここでは、コンティニュアスＡＦ動作により合焦位置付近にフォーカスレンズが位置しているが、合焦度が「高」状態ほどではないと判断して、スキャン範囲（１）設定より範囲を広げた狭い範囲とする。

Ｓ２４０８では、フォーカスレンズ１０４の現在位置がマクロ領域かどうかを調べ、マクロ領域であればＳ２４０９へ進み、そうでなければＳ２４１０へ進む。Ｓ２４０９では、予め記憶してあるマクロ領域であるスキャン範囲（３）を設定する。Ｓ２４１０では、予め記憶してあるレンズ移動範囲全域であるスキャン範囲（４）に設定する。Ｓ２４１１では、後述する手順に従って本露光用ＡＦスキャンを行う（図２５参照）。Ｓ２４１２では、後述する図２５のＳ２５０６で算出したピーク位置にフォーカスレンズ１０４を移動させる。

図２５は、図２４におけるＳ２４０５の本露光用ＡＦスキャンを説明するフローチャートである。まず、Ｓ２５０１では、フォーカスレンズ１０４をスキャン開始位置へと移動させる。ここでスキャン開始位置とは、図２４のＳ２４０４又はＳ２４０６又はＳ２４０８又はＳ２４０９で設定したスキャン範囲の端位置とする。Ｓ２５０２では、撮像素子１０８から読み出されたアナログ映像信号をＡ／Ｄ変換部１０９がデジタル信号に変換し、その出力から画像処理部１１０が輝度信号の高周波成分を抽出し、ＣＰＵ１１５はこれを焦点評価値として記憶させる。Ｓ２５０３では、フォーカスレンズ１０４の現在位置を取得してＣＰＵ１１５が該位置のデータを記憶させる。Ｓ２５０４では、ＣＰＵ１１５がフォーカスレンズ１０４の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはＳ２５０６へ進み、そうでなければＳ２５０５へ進む。Ｓ２５０５では、フォーカスレンズ１０４をスキャン終了方向へ向かって所定量だけ移動させた後、Ｓ２５０２に戻る。Ｓ２５０６では、Ｓ２５０２で記憶した焦点評価値とそのレンズ位置から、焦点評価値のピーク位置を計算する。焦点評価値のピーク位置を計算するにあたって、ＡＦ枠を複数枠設定した場合は、図１２で説明した主被写体領域判定により決定した主被写体領域の最至近ピーク位置に基づいて計算してもよいし、別の判断の仕方をしてピーク位置計算を行ってもよい。

図２６は、図２３におけるＳ２３０５の本露光処理を説明するフローチャートである。まず、Ｓ２６０１における撮像素子１０８の露光後に、Ｓ２６０２では撮像素子１０８に蓄積されたデータを読み出す。Ｓ２６０３では、Ａ／Ｄ変換部１０９で撮像素子１０８から読み出したアナログ信号をデジタル信号に変換する。Ｓ２６０４では、画像処理部１１０で、Ａ／Ｄ変換部１０９から出力されるデジタル信号に対して各種画像処理を施す。Ｓ２６０５では、Ｓ２６０４で処理した画像をＣＰＵ１１５の制御下でＪＰＥＧなどのフォーマットにしたがって圧縮する。Ｓ２６０６では、Ｓ２６０５で圧縮したデータを画像記録部１１４に送り、記録させる様にＣＰＵ１１５が制御を行う。

以上に説明した本実施例によれば、第１のＡＦスキャン動作では、合焦すべき被写体を精度良く検出でき、第２のＡＦスキャン動作では、演算を簡易化することや、Ｓ／Ｎ比の向上により合焦精度を向上させることが可能となる。

本発明の焦点調節装置や方法は、焦点調節機能を有する電子スチルカメラなどの撮像装置等に適用することができる。

１０１：撮影レンズ
１０２：絞り及びシャッター
１０３：ＡＥ処理部
１０４：フォーカスレンズ
１０５：ＡＦ処理部
１０８：撮像素子
１０９：Ａ／Ｄ変換部
１１０：画像処理部
１１４：画像記録部
１１５：システム制御部
１２０：メインスイッチ
１２１：撮影スタンバイスイッチ
１２２：撮影スイッチ
１２３：顔検出モジュール
１２４：動体検出部
１２５：角速度センサ部

Claims (7)

1. フォーカスレンズを用いて結像された被写体像を電気信号に変換する光電変換手段と、前記光電変換手段の出力信号から特定周波数帯域の信号成分を抽出する抽出手段と、フォーカスレンズの合焦状態を検出する際の焦点検出領域を１つ又は複数設定する設定手段と、前記フォーカスレンズを移動させると共に、前記光電変換手段の出力信号の画像内に設定される焦点検出領域に対応する画像に基づく前記抽出手段の出力信号を前記フォーカスレンズの位置と関連づけて取得するＡＦスキャン動作を行い、前記取得した前記抽出手段の出力信号に基づいて前記フォーカスレンズを制御して合焦動作を行う焦点調節手段と、を有し、
   前記焦点調節手段は、撮影準備前に、前記ＡＦスキャン動作を行って合焦すべき被写体領域を特定する第１のＡＦスキャン動作を行い、
   撮影準備時に、前記ＡＦスキャン動作を行い合焦動作を実施して第１のＡＦスキャン動作と異なる第２のＡＦスキャン動作を行い、
   前記設定手段は、第２のＡＦスキャン動作では、第１のＡＦスキャン動作の焦点検出領域よりも大きい焦点検出領域の設定を行うことを特徴とする焦点調節装置。
2. 前記設定手段は、第２のＡＦスキャン動作では、第１のＡＦスキャン動作の焦点検出領域の数よりも少ない数の焦点検出領域の設定を行うことを特徴とする請求項１に記載の焦点調節装置。
3. 前記設定手段は、
   前記第１のＡＦスキャン動作の結果に基づいて、前記第２のＡＦスキャン動作の焦点検出領域の設定を行うことを特徴とする請求項１または２に記載の焦点調節装置。
4. フォーカスレンズを用いて結像された被写体像を電気信号に変換する光電変換手段と、前記光電変換手段の出力信号から特定周波数帯域の信号成分を抽出する抽出手段と、フォーカスレンズの合焦状態を検出する際の焦点検出領域を１つ又は複数設定する設定手段と、前記フォーカスレンズを移動させると共に、前記光電変換手段の出力信号の画像内に設定される焦点検出領域に対応する画像に基づく前記抽出手段の出力信号を前記フォーカスレンズの位置と関連づけて取得するＡＦスキャン動作を行い、前記取得した前記抽出手段の出力信号に基づいて前記フォーカスレンズを制御して合焦動作を行う焦点調節手段と、を有し、
   前記焦点調節手段は、撮影準備前に、前記ＡＦスキャン動作を行って合焦すべき被写体領域を特定する第１のＡＦスキャン動作を行い、
   撮影準備時に、前記ＡＦスキャン動作を行い合焦動作を実施して第１のＡＦスキャン動作と異なる第２のＡＦスキャン動作を行い、
   前記設定手段は、
   前記第１のＡＦスキャン動作の結果、合焦すべき被写体を検出した場合、第２のＡＦスキャン動作では、第１のＡＦスキャン動作の焦点検出領域よりも大きい焦点検出領域の設定を行い、
   前記第１のＡＦスキャン動作の結果、合焦すべき被写体を検出しなかった場合、第２のＡＦスキャン動作では、第１のＡＦスキャン動作の焦点検出領域よりも小さい焦点検出領域の設定を行うことを特徴とする焦点調節装置。
5. 前記焦点調節手段は、
   前記フォーカスレンズを所定量移動する前に抽出した前記抽出手段の出力信号とその移動の後に抽出した前記抽出手段の出力信号とから、前記フォーカスレンズを次に移動する時の移動方向を決定して、前記移動方向に前記フォーカスレンズを移動し、前記移動動作を繰り返し行うことにより前記フォーカスレンズを前記抽出手段の出力信号のピーク位置に移動するコンティニュアスＡＦ動作を行うことができ、
   撮影準備前に、前記第１のＡＦスキャン動作で特定した合焦すべき被写体領域における前記抽出手段の出力信号に基づいて、前記コンティニュアスＡＦ動作による合焦動作を行うことを特徴とする請求項１乃至４のいずれか１つに記載の焦点調節装置。
6. 前記焦点調節手段は、
   前記第１のＡＦスキャン動作で特定した合焦すべき被写体領域を含み設定した１つ又は複数の焦点検出領域において抽出した前記抽出手段の出力信号を演算した評価値に基づいて、前記コンティニュアスＡＦ動作を行うことを特徴とする請求項５に記載の焦点調節装置。
7. フォーカスレンズを用いて結像された被写体像を電気信号に変換する光電変換手段と、前記光電変換手段の出力信号から特定周波数帯域の信号成分を抽出する抽出手段とを有する撮像装置における焦点調節方法であって、
   撮影準備前に、フォーカスレンズを移動させると共に、前記光電変換手段の出力信号の画像内に設定される焦点検出領域に対応する画像に基づく前記抽出手段の出力信号をフォーカスレンズの位置と関連づけて取得するＡＦスキャン動作を行って、合焦すべき被写体領域を特定する第１のＡＦスキャン動作を実施する第１の工程と、
   撮影準備時に、前記ＡＦスキャン動作を行い合焦動作を実施して、前記第１のＡＦスキャン動作と異なる第２のＡＦスキャン動作を実施する第２の工程と、を含み、
   第２のＡＦスキャン動作では、第１のＡＦスキャン動作の焦点検出領域よりも大きい焦点検出領域の設定を行うことを特徴とする焦点調節方法。

Images