JP5355381B2

JP5355381B2 - 撮像装置及びその合焦制御方法

Info

Publication number: JP5355381B2
Application number: JP2009298226A
Authority: JP
Inventors: 直樹岩▲崎▼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-28
Filing date: 2009-12-28
Publication date: 2013-11-27
Anticipated expiration: 2029-12-28
Also published as: JP2011138016A

Description

本発明は、撮像装置とその合焦制御方法に関し、より詳しくは電子スチルカメラやビデオカメラ等に利用される自動焦点調節の技術に関する。

従来、カメラ等でのオートフォーカス（以下、ＡＦとも記す）では、撮像素子により得られる輝度信号の高域周波数成分が最大になるレンズ位置を合焦位置とする、コントラスＡＦ方式が用いられている。この方式の１つにスキャン方式が知られている。即ち、焦点検出範囲の全域に亘ってレンズを駆動しながら撮像素子から得られる輝度信号の高域周波数成分に基づく評価値（以下、焦点評価値ともいう）が算出される。焦点評価値をメモリにその都度に記憶していき、記憶値のうち、その最大値に相当するレンズ位置が合焦位置となる。

焦点評価値が増加する方向にレンズを動かし、焦点評価値が最大になる位置を合焦位置とする、いわゆる山登り方式が知られている。この方式は、合焦動作を所定間隔で繰り返し行うＡＦ動作（以下、コンティニュアスＡＦという）モードに採用されている。また、撮影準備指示前にコンティニュアスＡＦを行い合焦状態を維持することで、撮影準備指示後に行うスキャン方式によるＡＦの焦点検出範囲を制限し、ＡＦ動作の時間を短縮する方法がある。特許文献１には、撮影光学系のフォーカシングレンズを所定量移動する前に算出された焦点評価値と、その移動後に算出された焦点評価値とから、フォーカシングレンズを次に移動する時の移動方向を決定してフォーカシングレンズを移動する手段が開示されている。

特許第４１０６４８５号公報

ところでコンティニュアスＡＦにおいて、焦点評価値の増加する方向にレンズを動かそうとした場合、画面内において合焦すべき領域が分からないと、適切な対象にピントを合わせることができない。そこでコンティニュアスＡＦでは前記スキャン方式を組み合わせることで、合焦動作にかかる時間を短縮している。

しかし、従来の装置では撮影シーンが変化した場合、合焦すべき被写体に素早くピントを合わせることが難しい。例えば、撮影者が画面内でピント合わせを意図している、合焦すべき被写体（以下、主被写体とも記す）を判断せずにＡＦ制御が行われてしまうと、撮影シーンによっては合焦すべき被写体にピント合わせができないという事態が起こり得る。また、撮影シーンが変化した場合に、撮影画面内の合焦すべき被写体の領域が判別できなくなる可能性がある。
そこで本発明は、撮影シーンが変化した場合でも、合焦すべき被写体に対して迅速なピント合わせを可能にすることを目的とする。

上記課題を解決するために、本発明に係る装置は、撮像素子によって被写体を撮像した画像データに基づいて合焦状態を示す焦点信号を得て焦点調節を行う撮像装置であって、撮影準備指示を行う指示手段と、前記焦点信号に基づいて焦点調節動作を行う焦点調節手段と、撮影シーンの状態を判定する判定手段と、を備え、前記焦点調節手段は、前記撮影準備指示の前に、合焦すべき被写体領域を特定するために所定のスキャン範囲で前記焦点信号を算出し焦点調節を行う第１の焦点調節動作と、順次取得される前記焦点信号の高い方に焦点調節を行う第２の焦点調節動作と、を行い、前記撮影準備指示の後に、特定された合焦すべき被写体領域に基づいたスキャン範囲で前記焦点信号を算出し焦点調節を行い、前記撮影準備指示の前の前記第２の焦点調節動作中に前記判定手段によって撮影シーンの変化が検出された場合には、前記第１の焦点調節動作を行う。

本発明によれば、撮影シーンが変化した場合でも、合焦すべき被写体に対する迅速なピント合わせが可能となる。

本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。本発明の実施形態における自動合焦制御動作を例示したフローチャートである。図２における安定判断処理のサブルーチンを説明するフローチャートである。図２における顔検出時ＡＦスキャンのサブルーチンを説明するフローチャートである。図４、図１０、図１４、図１９におけるシーン変化判定のサブルーチンを説明するフローチャートである。図４、図１１、図１５における合焦判定処理のサブルーチンを説明するフローチャートである。図６における合焦判定の仕方を説明するためのグラフ図である。図２における被写体領域を特定するためのＡＦスキャンのサブルーチンを説明するフローチャートである。図８における前回参照判定のサブルーチンを説明するフローチャートである。図８における前回参照ＡＦスキャンのサブルーチンを説明するフローチャートである。図１０、図１４における主被写体領域判定のサブルーチンを説明するフローチャートであり、処理の前半部を示す。主被写体領域判定のサブルーチンを説明するフローチャートであり、処理の後半部を示す。主被写体領域判定の処理例を説明する図である。図８におけるゾーンＡＦスキャンのサブルーチンを説明するフローチャートである。図１４におけるゾーン更新判定のサブルーチンを説明するフローチャートであり、処理の前半部を示す。図１４におけるゾーン更新判定のサブルーチンを説明するフローチャートであり、処理の後半部を示す。ゾーン更新判定の処理例を説明する図である。図８におけるフォーカス駆動のサブルーチンを説明するフローチャートである。図２におけるコンティニュアスＡＦのサブルーチンを説明するフローチャートであり、処理の前半部を示す。図２におけるコンティニュアスＡＦのサブルーチンを説明するフローチャートであり、処理の後半部を示す。図２におけるシーン不安定判断のサブルーチンを説明するフローチャートである。本露光用ＡＦのサブルーチンを説明するフローチャートである。

以下、図面を参照しながら本発明の実施形態に係る撮像装置とその合焦制御法を説明する。
図１は本発明の一実施形態を適用した電子カメラの構成例を示すブロック図である。撮影光学系は、ズーム機構を含む撮影レンズ１０１、光量を制御する絞り及びシャッタ１０２、焦点調節用のフォーカスレンズ１０３を備える。

ＡＥ（自動露出）処理部１０４は、後述のシステム制御部からの指示に従い絞り及びシャッタ１０２を制御する。ＡＦ処理部１０５は、後述のシステム制御部からの指示に従いフォーカスレンズ１０３を制御し、自動焦点調節を行う。撮像素子１０６は被写体からの反射光を受光して電気信号に変換する光電変換手段であり、その出力はＡ／Ｄ変換部１０７に送られる。

Ａ／Ｄ変換部１０７は、出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含む。画像処理部１０８はＡ／Ｄ変換部１０７の出力信号を処理して、ＡＥ処理部１０４や後述のシステム制御部等に信号を送出する。システム制御部は画像データに基づいて合焦状態を示す焦点信号を得て、ＡＦ処理部１０５に制御指令を送り、焦点調節動作を制御する。画像処理部１０８による画像データはフォーマット変換部１０９によって変換されて、高速なメモリ１１０に記憶される。例えばランダムアクセスメモリ（以下、ＤＲＡＭと記す）が使用され、一時的な画像記憶手段としての高速バッファや、画像の圧縮伸張における作業用メモリ等に使用される。画像記録部１１１はメモリカード等の記録媒体とそのインターフェース部を備え、画像データを記録媒体に記録する。

装置全体の制御を司るシステム制御部１１２は、撮影シーケンス等を制御する。画像表示用メモリ（以下、ＶＲＡＭと記す）１１３は、操作表示部１１４に撮影画像を表示するための画像データを記憶している。操作表示部１１４は画像表示の他、操作補助のための表示やカメラ状態の表示を行い、撮影時には撮影した画像と焦点検出領域を表示する。なお後述する各種の処理はシステム制御部１１２を構成するＣＰＵ（中央演算処理装置）によって解釈及び実行されるプログラムに従って実現される。

操作部１１５はカメラの操作手段であり、各種の操作指示をシステム制御部１１２に伝える。例えば撮像装置の撮影機能や画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ等が挙げられる。撮影モードスイッチ１１６は、顔検出モードのオン／オフを切り替える等の設定を行うためのスイッチであり、その指示はシステム制御部１１２に送られる。メインスイッチ１１７の操作によりシステムに電源が投入され、又は電源が遮断される。スイッチ１１８はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下、ＳＷ１と記す）であり、スイッチ１１９はＳＷ１の操作後、撮影を行うための撮影スイッチ（以下、ＳＷ２と記す）である。

顔検出モジュール１２０は画像処理部１０８で処理した画像信号を用いて顔検出を行う。ここで検出した１つ又は複数の顔情報（位置・大きさ・信頼度）はシステム制御部１１２に送られる。なお顔検出については既知の方法を使用でき、また本発明の主眼点ではないので詳細な説明は省略する。

動体検出部１２１は画像処理部１０８に接続されており、撮影画面内の被写体及び背景が動いているか否かを検出し、動体情報をシステム制御部１１２に送る。具体的には、画像処理部１０８で処理した画像信号のうち、時系列的に並んだ２枚の画像を比較し、その輝度の差分情報から被写体や背景の動体情報（動作量、位置、範囲）を検出する。

次に図２のフローチャートを参照しながらカメラ動作について説明する。まずＳ２０１ではシステム制御部１１２が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定する。その結果、ＳＷ１の状態がＯＮ（オン）状態の場合、Ｓ２１２へ進み、ＯＦＦ（オフ）状態の場合にはＳ２０２へ進む。Ｓ２０２ではシーン安定判断が行われる。これは撮影シーンが安定したか否かの判断処理であり、その手順の詳細は後述する。Ｓ２０３ではＳ２０２において撮影シーンが安定したと判断したか否かをシステム制御部１１２が調べる。安定の判断時には戻り値がＴＲＵＥ（真）であり、撮影シーンが安定していないと判断された場合には戻り値がＦＡＬＳＥ（偽）となる。ＴＲＵＥの場合、Ｓ２０４へ進み、ＦＡＬＳＥの場合、Ｓ２０１へ戻る。なお撮影シーンが安定した状態とは、撮影する被写体、カメラの状態が安定して維持され、撮影に適した状態になっている事である。撮影シーンが安定せず、当該シーンが確定しないと判断された場合には、無闇にフォーカスレンズ１０３を駆動させずに、停止させることが望ましい。

Ｓ２０４にて、被写体輝度が所定値以下か否かをシステム制御部１１２が判定する。その結果、被写体輝度が所定値以下であればＳ２０５へ進むが、そうでなければＳ２０６へ進む。Ｓ２０５では、低照度時用のＡＦ枠が設定される。ここでＡＦ枠とは、撮影画面内の焦点評価値を取得する領域の事である。また、焦点評価値とは、撮像素子１０６から読み出したアナログ映像信号をＡ／Ｄ変換部１０７がデジタル信号に変換し、その出力から画像処理部１０８が輝度信号の高周波成分を抽出した値のことである。この値を示すデータは、フォーカスレンズ１０３の位置及びＡＦ枠位置と対応づけてシステム制御部１１２が内蔵のメモリに記憶する。「焦点評価値を取得する」とは、ＡＦ処理部１０５がＡＦ制御における判断のために、システム制御部１１２がメモリに記憶している焦点評価値を読み出すことである。低照度時には露光時間が延びる為、スキャンでのＡＦ精度を確保する事が出来ない。そこで本実施形態では、低照度時に、被写体領域特定や顔検出時のスキャンは行わず、画面中央付近に所定の大きさのＡＦ枠を１枠設定する。

Ｓ２０６では顔検出モジュール１２０において、顔検出が行われたか否かを調べる。顔検出が行われていればＳ２０７へ進むが、顔検出が行われていなければＳ２０８へ進む。Ｓ２０７では顔検出時ＡＦスキャンが行われ、この処理は後述する手順に従って実行され、その後にＳ２０９へ進む。Ｓ２０８では被写体領域を特定するためのＡＦスキャン処理が実行され、その手順の詳細は後述する。Ｓ２０５、Ｓ２０７、Ｓ２０８の後、Ｓ２０９に進み、コンティニュアスＡＦの処理が実行され、その手順の詳細は後述する。そしてＳ２１０ではシーン不安定判断の処理が実行される。これは撮影シーンが不安定か否かの判断処理であり、その手順の詳細は後述する。Ｓ２１１では撮影シーンが不安定か否かをシステム制御部１１２が判断し、不安定と判断された場合、Ｓ２０１へ戻る。不安定でないと判断された場合、Ｓ２０９に戻る。ここで、「撮影シーンが不安定である」とは、撮影する被写体の状態、カメラの状態が不安定となり、撮影に適した状態ではなくなる事である。
Ｓ２０１からＳ２１２に進んだ場合、合焦度判定フラグがＦＡＬＳＥに設定される。次のＳ２１３では、後述する手順に従って撮影処理が行われた後、Ｓ２０１に戻る。

以上のように、システム制御部１１２は撮影シーンが安定状態となって該撮影シーンが確定するまでの間は状態の監視を続行し、撮影シーンが確定した場合には焦点調節動作を行うように制御する。なお上述の動作と並行して常にＡＥ動作が行われる。これは、システム制御部１１２からの制御信号に基づきＡＥ処理部１０４が、絞り及びシャッタ１０２を制御して操作表示部１１４に表示される画像の明るさが適正になるよう制御する。

次に、図３のフローチャートを用いて、図２に示したＳ２０２のシーン安定判断について説明する。まずＳ３０１にてシステム制御部１１２は図１の動体検出部１２１から出力される２枚の画像データ間の輝度差分量を取得する。これは撮影画面内の輝度に関する時間的な差分量、つまり異なる時刻における画像間での輝度差を表す。次のＳ３０２でシステム制御部１１２は、Ｓ３０１で得た輝度差分量に対してフィルタ処理を実行し、ノイズ成分の除去及び被写体像の特徴量の抽出処理を行う。Ｓ３０３では現在の画面の明るさに応じた閾値が設定される。この閾値は撮影シーンの安定判断に用いる基準値であり、画面の明るさだけでなく、シャッタスピード、絞り値、感度、その他の撮影条件によって決定してもよい。Ｓ３０４ではＳ３０２で得た輝度差分量と、Ｓ３０３で設定した閾値とが比較される。その結果、輝度差分値が閾値以上の場合、Ｓ３０５に進む。現時点では、ユーザによって撮影シーンが決定されておらず、安定状態でないと判断され、戻り値としてＦＡＬＳＥを返して処理が終了する。一方、輝度差分値が閾値よりも小さい場合、Ｓ３０６に進む。ユーザは撮影シーンを決定しており、安定状態であると判断され、戻り値としてＴＲＵＥを返して処理が終了する。

次に、図４のフローチャートを用いて、図２に示したＳ２０７の顔検出時ＡＦスキャンについて説明する。まずＳ４０１にてシステム制御部１１２は、顔検出モジュール１２０が検出した顔情報（位置・大きさ）に基づいてＡＦ枠設定を行う。Ｓ４０２ではＡＦ処理部１０５がフォーカスレンズ１０３をスキャン開始位置へと移動させる。ここで、スキャン開始位置は、例えば検出した顔の大きさより推定した人物までの距離に基づいて決定される。Ｓ４０３にてシステム制御部１１２は、現時点のフォーカスレンズ位置における焦点評価値のデータを取得してＤＲＡＭ１１０へ記憶させる。Ｓ４０４ではフォーカスレンズ１０３の現在位置を取得し、システム制御部１１２は該位置のデータをＤＲＡＭ１１０へ記憶させる。Ｓ４０５にてシステム制御部１１２は、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定する。該状態がＯＮ状態の場合、本処理を終了して図２のＳ２１２（ノードＡ参照）へ進むが、ＯＦＦ状態の場合にはＳ４０６へ進む。Ｓ４０６では後述する手順に従ってシーン変化判定が実行される。このシーン変化判定とは、撮影シーンが変わったか否かを、カメラの状態や被写体の状態から判定する処理である。

Ｓ４０７でシステム制御部１１２は、フォーカスレンズ１０３の現在位置がスキャン終了位置と等しいかを判定する。その結果、両者が等しい場合にはＳ４０９へ進むが、そうでなければＳ４０８へ進む。なおスキャン終了位置については、例えば、検出した顔の大きさより推定した人物までの距離に基づいて決定される。Ｓ４０８ではＡＦ処理部１０５がフォーカスレンズ１０３をスキャン終了方向へ向けて所定量だけ移動させた後、Ｓ４０３に戻る。またＳ４０９では後述する手順に従って合焦判定が行われる。Ｓ４１０ではＳ４０９における合焦判定により○判定となったか否かをシステム制御部１１２が調べる。ここで「○判定」とは、被写体のコントラストが十分にあり、かつスキャンした距離範囲内に被写体が存在する場合に得られる判定結果として定義される。判定結果が○判定の場合、Ｓ４１１へ進み、○判定でない場合、Ｓ４１４へ進む。
Ｓ４１１ではＳ４０３で取得した焦点評価値がピークとなる合焦位置の算出処理が行われる。Ｓ４１２でＡＦ処理部１０５はフォーカスレンズ１０３を、Ｓ４１１で算出した合焦位置へと移動させる。Ｓ４１３ではピーク検出フラグがＴＲＵＥに設定される。

一方、Ｓ４１０からＳ４１４に進んだ場合には、○判定ではない、つまり、被写体のコントラストが不十分であるか、又はスキャンした距離範囲外に被写体が存在することになる。ＡＦ処理部１０５はフォーカスレンズ１０３を、予めＤＲＡＭ１１０に記憶しているデータの示す位置（定点）へと移動させる。ここで定点については被写体の存在確率の高い距離に設定され、例えば、顔が検出されていれば、検出した顔の大きさより推定した人物までの距離とする。Ｓ４１３、Ｓ４１４の後、リターン処理となる。

次に図５のフローチャートを用いて、シーン変化判定について説明する。本判定は図４のＳ４０６、後述する図１０のＳ１１０６、図１４のＳ１４０５、図１９のＳ２１０７で行われる定義済み処理である。まずＳ５０１でシステム制御部１１２は、顔検出モジュール１２０で検出した顔検出状態が変化したか否かを調べる。顔検出状態が変化していれば本判定処理を終了し、図２のＳ２０１（ノードＢ参照）へ戻る。顔検出状態が変化していない場合、Ｓ５０２へ進む。「顔検出状態」とは、顔検出されているか否かを意味する。例えば、前回のシーン変化判定時に顔検出されていて今回のシーン変化判定時に顔検出されていなければ、顔検出状態が変化したことになる。

Ｓ５０２でシステム制御部１１２は、カメラを特定方向に振った量（以下、カメラ動き量という）が所定量以上となっているか否かを調べる。カメラ動き量が所定量以上であって、判定結果が不安定であれば、本判定処理を終了して図２のＳ２０１へ戻るが、そうでなければＳ５０３へ進む。

Ｓ５０３でシステム制御部１１２は、コンティニュアスＡＦ中であるか否かを判定する。コンティニュアスＡＦ中の場合、Ｓ５０４へ進み、これは被写体輝度差が所定値（基準値）以下か否かの判断処理である。「被写体輝度差」とは、前回のシーン変化判定時に取得した被写体輝度値と、今回のシーン変化判定時に検出された被写体輝度値の差である。被写体輝度値の差が所定値より大きい場合、撮影シーンが変化したと判断され、本判定処理を終了して図２のＳ２０１へ戻る。また、被写体輝度差が所定値以下であれば、本判定処理を終了してリターン処理となる。

Ｓ５０３にてコンティニュアスＡＦ中でないと判定された場合、Ｓ５０５へ進む。ここでシステム制御部１１２は、露光時間が所定時間以上であるか否かを判定する。露光時間が所定時間以上であれば、本判定処理を終了して図２のＳ２０１へ戻る。つまり、露光時間が所定時間以上の場合、焦点評価値を取得する間隔が延びてしまう為、ＡＦの制御精度を確保出来なくなるからである。一方、露光時間が所定時間未満の場合、Ｓ５０６へ進む。ここでシステム制御部１１２は、絞り１０２の状態が変化したか否かを調べる。絞り１０２の状態が変化した場合、Ｓ５０７へ進むが、変化していない場合には本判定処理を終了し、リターン処理となる。なお本実施形態では、絞り制御を用いた場合について説明しているが、絞り制御の変わりにＮＤフィルタによって露出制御を行った場合は、ＮＤフィルタの状態の変化を判定してもよい。これは、絞り又はＮＤフィルタの状態が変化した場合、焦点評価値のピーク位置が変化するためである。

Ｓ５０７は顔検出モジュール１２０が顔を検出しているか否かの判定処理である。システム制御部１１２は、被写体である人の顔を検出していると判定した場合、本判定処理を終了して図４のＳ４０２（ノードＤ参照）へ進む。顔を検出していないと判定された場合、本処理を終了して後述する図８のＳ８０９（ノードＣ参照）へ進む。

次に図６のフローチャート及び図７のグラフを用いて、合焦判定のサブルーチンについて説明する。この処理は、図４のＳ４０９、後述する図１１のＳ１２０１、図１５のＳ１５０１で行われる定義済み処理である。焦点評価値は遠近競合等の場合を除けば、図７に示すように、横軸にフォーカスレンズ位置をとり、縦軸に焦点評価値をとって示すグラフの形が山状になる。そこで焦点評価値の最大値と最小値との差と、一定値（これを「ＳｌｏｐｅＴｈｒ」と記す）以上の傾きで傾斜している部分の長さと、傾斜部分の勾配に基づき、山の形状を判断することにより、合焦判定を行うことができる。

合焦判定結果は、前述の○判定を含む以下の３つのうちの１つで出力される。
○判定：被写体のコントラストが十分であって、かつスキャンした距離範囲内の距離に被写体が位置する場合の判定結果。
×判定：被写体のコントラストが不十分であるか、又はスキャンした距離範囲外の距離に被写体が位置する場合の判定結果。
△判定：×判定のうち、至近側方向へスキャンした距離範囲外に被写体が位置する場合の判定結果。

山の形状を判断する為の、一定値以上の傾きで傾斜している部分の長さをＬとし、傾斜している部分の平均勾配をＳＬ／Ｌとして、図７を用いて各量の定義を説明する。図中に示す山の頂上（Ａ点）から傾斜が続いていると認められる点をＤ点（左側）、Ｅ点（右側）とし、Ｄ点からＥ点までの幅を山の幅Ｌとする。傾斜が続いていると認められる範囲は、Ａ点から所定量、つまりＳｌｏｐｅＴｈｒ以上に亘って焦点評価値が下がっており、かつスキャンポイントが続く範囲とする。「スキャンポイント」とは、連続的にフォーカスレンズを動かした場合、該レンズがスキャン開始点からスキャン終了点まで移動する間に、焦点評価値を取得するポイントの事である。
Ａ点での焦点評価値とＤ点での焦点評価値との差をＳＬ１と記し、Ａ点での焦点評価値とＥ点での焦点評価値の差ＳＬ２を記すと、両者の和「ＳＬ１＋ＳＬ２」がＳＬである。

図６のフローチャートを用いて、合焦判定について説明する。まずＳ６０１でシステム制御部１１２は焦点評価値の最大値（Max）と最小値（Min）を求め、次にＳ６０２では焦点評価値が最大となるスキャンポイント（Max Point）を求め、Ｓ６０３へ進む。ここでシステム制御部１１２はスキャンポイント、焦点評価値から、山の形状を判断する為のＬとＳＬを求め、ＳＬ／Ｌを得る。次のＳ６０４は、山の形状が至近側への登り止まりか否かの判断処理である。システム制御部１１２によって至近側への登り止まりと判断されるのは、以下の２条件がともに満たされる場合である。
・焦点評価値が最大値となるスキャンポイントが、スキャンを行った所定範囲における近端であること。
・近端のスキャンポイントにおける焦点評価値と、近端のスキャンポイントより１ポイント分だけ無限遠寄りのスキャンポイントにおける焦点評価値との差が、所定の基準値以上である場合であること。

至近側への登り止まりと判断された場合、Ｓ６０９へ進むが、そうでなければＳ６０５へ進む。ここでシステム制御部１１２は山の形状が無限遠側への登り止まりか否かを判断する。無限遠側への登り止まりと判断されるのは、以下の２条件がともに満たされる場合である。
・焦点評価値の最大値となるスキャンポイントが、スキャンを行った所定範囲における無限遠端であること。
・無限遠端のスキャンポイントにおける焦点評価値と、無限遠端のスキャンポイントより１ポイント分だけ至近端寄りのスキャンポイントにおける焦点評価値との差が、所定の基準値以上であること。

無限遠側への登り止まりと判断された場合、Ｓ６０８へ進むが、そうでなければＳ６０６へ進む。ここでシステム制御部１１２は以下の３条件がともに満たされるか否かを判定する。
・一定値以上の傾きで傾斜している部分の長さＬが所定の基準値以上であること。
・傾斜している部分の平均勾配ＳＬ／Ｌが所定の基準値以上であること。
・焦点評価値の最大値（Max）と最小値（Min）の差が所定の基準値以上であること。

これらの条件が全て満たされた場合、Ｓ６０７へ進むが、１つでも条件が満たされない場合にはＳ６０８へ進む。判別結果はＳ６０７で○判定、Ｓ６０８で×判定、Ｓ６０９で△判定である。つまりＳ６０７では、得られた焦点評価値が山状となっていて、被写体のコントラストが十分であり、焦点調節が可能である為、システム制御部１１２は判定結果を○判定とする。これに対してＳ６０８では、得られた焦点評価値が山状となっておらず、被写体のコントラストが不十分であって焦点調節が不可能であるため、システム制御部１１２は判定結果を×判定とする。またＳ６０９では、得られた焦点評価値が山状となってはいないが、近端方向に登り続けている状態となっており、さらに至近側に被写体ピークが存在している可能性があるため、システム制御部１１２は判定結果を△判定とする。

次に図８のフローチャートを用いて、図２に示したＳ２０８の処理、つまり被写体領域を特定するＡＦスキャンについて説明する。ここでは撮影画面内の主被写体の領域を特定するためのＡＦスキャンが行われる。

まずＳ８０１にてシステム制御部１１２は、電子ズームを行っているか否かを判定する。電子ズームを行っていると判定された場合、Ｓ８０２へ進むが、電子ズーム中でなければＳ８０３へ進む。Ｓ８０２では電子ズーム用のＡＦ枠設定が行われる。ここで「電子ズーム」とは、画面の中央領域を拡大して操作表示部１１４に表示することである。拡大するため操作表示部１１４に表示される画像の画素数は、電子ズームを行わない場合に比べて少なくなる。従って電子ズーム時に操作表示部１１４が表示する画像に対して、電子ズームを行わない時と同じ割合になるようにＡＦ枠を設定したのでは、電子ズームを行う場合、これを行わない時に比べてＡＦ枠内の画素数が少なくなる。よって焦点評価値のＳ／Ｎ比が低下する。そのため、電子ズーム時と電子ズームを行わない時とでは、ＡＦ枠設定の仕方を変える必要がある。本実施形態では電子ズーム時において、撮影画面の中央付近に、所定の大きさのＡＦ枠を１枠設定する。

Ｓ８０３では画面内にＮ×Ｎ個のＡＦ枠が設定される。例えば、Ｎ＝５とし、ＡＦ枠の大きさを縦横の長さ共に撮影画面の１０％とした場合、図１３に示すＡＦ枠設定となる。なお、Ｎ値又はＡＦ枠の大きさについては画面内の主被写体の存在確率を考慮して設定することができる。また、横方向と縦方向でＡＦ枠の数は異なっていてもよい。

次のＳ８０４では前回参照判定が行われ、その手順については後述する。Ｓ８０５に進み、Ｓ８０４での前回参照判定の結果、システム制御部１１２は前回の撮影シーンと今回の撮影シーンとで変化があったか否かを判定する。その結果、前回と今回とでシーンがあまり変わらないと判定された場合、Ｓ８０６へ進み、シーンの変化があったと判定された場合、Ｓ８０９へ進む。Ｓ８０６では前回参照ＡＦスキャンが行われ、その手順については後述する。そしてＳ８０７では、Ｓ８０６の前回参照ＡＦスキャンにおいて主被写体領域が特定できたか否かが判定される。その結果、主被写体領域が特定できた場合、Ｓ８０８へ進むが、そうでなければＳ８０９へ進む。Ｓ８０８でピーク検出フラグがＴＲＵＥに設定された後、Ｓ８１３に進む。

Ｓ８０９では、後述する手順に従ってゾーンＡＦスキャンが行われる。次のＳ８１０は、Ｓ８０９のゾーンＡＦスキャンにおいて主被写体領域が特定できたか否かの判定処理である。主被写体領域が特定できればＳ８０８へ進み、特定できなければＳ８１１へ進む。Ｓ８１１は一様面判断処理であり、「一様面である状態」の有無について判断が行われる。「一様面である状態」とは画面内に輝度差がなく、コントラストがないため、ＡＦ制御を行っても焦点評価値ピークが充分に得られない状態のことである。この状態で撮影シーンが安定する度に図２のＳ２０８に示すＡＦスキャンが繰り返されると、画面のピント変動が無駄に繰り返されるため、煩わしい。そこで、「一様面である状態」と判定された場合には、当該状態の判定が下されなくなるまでの間、フォーカスレンズ１０３を停止することが望ましい。なお、一様面判断処理の詳細については説明を省略する。

Ｓ８０９のゾーンＡＦスキャンにおいて主被写体領域が特定できなかった場合、Ｓ８１２では、撮影画面内に予め設定してある所定領域にＡＦ枠を設定する処理が行われる。ここで所定領域のＡＦ枠としては、例えば撮影画面の中央領域内の１枠が設定され、主被写体が存在する蓋然性の高い領域に設定することが望ましい。そしてＳ８１３に進み、後述する手順に従ってフォーカス駆動が行われた後、リターン処理となる。

次に図９のフローチャートを用いて、図８に示したＳ８０４の前回参照判定について説明する。本処理は、前回にＡＦスキャンを行った撮影シーンに対して、今回の撮影シーンがあまり変化していないか否かを判定する処理である。

まずＳ１００１でシステム制御部１１２は、前回のＡＦスキャンにおいて主被写体領域を特定できていたか否かを調べる。その結果、主被写体領域が特定できていればＳ１００２へ進み、該領域が特定できていない場合にはＳ１００５へ進む。Ｓ１００２では現在のフォーカスレンズ１０３の位置が所定位置よりも至近側にあるか否かの判定が行われる。その結果、フォーカスレンズ１０３の現在位置が所定位置よりも至近側にあればＳ１００３へ進み、そうでなければＳ１００５へ進む。なおＳ１００２ではフォーカスレンズ１０３の現在位置が所定位置よりも至近側か否かを判定したが、フォーカスレンズ１０３の現在位置が所定位置より無限遠側か否かを判定してもよい。

Ｓ１００３では前回と今回のＡＦスキャンの時間差、つまり前回からの経過時間が所定時間以内か否かの判定が行われる。その結果、前回のＡＦスキャンの時点から所定時間以内であればＳ１００４へ進むが、そうでなければＳ１００５へ進む。Ｓ１００４では前回のＡＦスキャンでの撮影シーンとあまり変わらないという判定が下される。またＳ１００５では、前回のＡＦスキャンの時点から撮影シーンが大きく変わったとの判定が下される。Ｓ１００４、Ｓ１００５の後、本判定処理が終了し、リターン処理となる。

次に図１０のフローチャートを用いて、図８に示したＳ８０６の前回参照ＡＦスキャンについて説明する。まずＳ１１０１では、フォーカスレンズ１０３の現在位置を中心にスキャン範囲が第１の範囲（図には丸枠内に数字１を付して示す）に設定される。ここでは上述の前回参照判定にて前回と今回とで撮影シーンがあまり変わらないと判断されているので、第１のスキャン範囲は狭い範囲とする。Ｓ１１０２では、システム制御部１１２の指令を受けたＡＦ処理部１０５がフォーカスレンズ１０３をスキャン開始位置へと移動させる。Ｓ１１０３では撮像素子１０６から読み出されたアナログ映像信号をＡ／Ｄ変換部１０７がデジタル信号に変換する。この信号から画像処理部１０８が輝度信号の高周波成分を抽出し、システム制御部１１２はこれを焦点評価値のデータとしてメモリに記憶させる。Ｓ１１０４ではフォーカスレンズ１０３の現在位置を取得してシステム制御部１１２が該位置のデータをメモリに記憶させる。Ｓ１１０５でシステム制御部１１２は、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ状態の場合、本処理を終了して図２のＳ２１２（ノードＡ参照）へ進む。またＳＷ１がＯＦＦ状態の場合にはＳ１１０６へ進む。Ｓ１１０６で前述したシーン変化判定が行われた後、Ｓ１１０７でシステム制御部１１２は、フォーカスレンズ１０３の現在位置がスキャン終了位置と等しいか否かを判定する。両位置が等しい場合にはＳ１１０８へ進むが、両位置が異なる場合、Ｓ１１０９へ進む。Ｓ１１０８では後述する主被写体領域判定が行われた後、リターン処理となる。またＳ１１０９ではＡＦ処理部１０５がフォーカスレンズ１０３をスキャン終了方向に向けて所定量だけ移動させた後、Ｓ１１０３に戻る。

次に図１１及び図１２のフローチャートを用いて、主被写体領域判定について説明する。本処理は、図１０に示したＳ１１０８や、後述する図１４のＳ１４１１で行われる定義済み処理であり、撮影画面内の主被写体領域が特定できたか否かが判定される。図１３は主被写体領域判定の処理例についての説明図である。本例では、ＡＦ枠サイズの大きさを画面の１０％とし、Ｎ＝５、スキャン範囲を０乃至５００、所定深度範囲を±１０とする。なおスキャン範囲及び所定深度範囲を示す数値は、フォーカスレンズ１０３の位置を表す。これは図示しないフォーカスレンズ１０３の駆動用モータとしてステッピングモータを使用する場合、駆動用のパルス数に相当し、値が大きい位置が至近側であることを示している。

まず図１１のＳ１２０１では、設定した各ＡＦ枠の全てにおいて、前述した合焦判定が行われる。例えば、各ＡＦ枠において図１３（ａ）に示す合焦判定結果が得られたものとする。本例では、最上行のＡＦ枠での判定結果が全て×判定であり、上から２行目では２つの○判定と３つの×判定とされ、３行目では４つの○判定と１つの×判定とされる。下２行分のＡＦ枠での判定結果は○判定である。
Ｓ１２０２では各ＡＦ枠における焦点評価値のピーク位置（以下、PeakPosと記す）が算出され、メモリに記憶される。例えば、図１３（ｂ）に示すように、各ＡＦ枠において○判定の箇所には、数値で示すピーク位置算出結果、つまりPeakPosの値をそれぞれ示している。Ｓ１２０３は、設定しているＡＦ枠が１枠か否かの判定処理である。設定しているＡＦ枠が１枠であればＳ１２１４へ進むが、１枠でない場合、Ｓ１２０４へ進む。ここでは中央Ｍ×Ｍ枠の各ＡＦ枠におけるPeakPosの値を至近順にソートする処理が行われる。ここでソートされた数をＳと記す。以下の説明ではＭ＝３とする。図１３の例では、太線で囲んだ縦３枠、横３枠の合計９枠が各ＡＦ枠を示す。ここで、Ｓ１２０１の合焦判定で×判定とされたＡＦ枠ではピーク位置が算出できないのでソートの対象としていない。図１３（ｂ）に示す例では、９枠内のピーク位置が左上隅から右下隅にかけて「１００、９０、４００、４００、１００、４１０、４００、１００」である。至近順に「４１０、４００、４００、４００、１００、１００、１００、９０」とソートされ、ソート数Ｓ＝８となる。Ｓ１２０５ではＳ１２０２で算出したＭ×Ｍ枠内のピーク位置の至近順を示すカウンタＰの値が初期値１に設定される。次にＳ１２０６ではソート順でＰ番目のPeakPosを「PeakPosＰ」とする（「Ｐ」は自然数の変数を示す）。例えば、図１３（ｂ）では、Ｐ＝１の場合、PeakPosＰ＝４１０となる。

Ｓ１２０７では所定の条件を満たすＡＦ枠の「かたまり」を検出する処理が実行され、「かたまり」を構成するＡＦ枠の数と各ＡＦ枠の位置がメモリに記憶される。ここで「かたまり」とは、中央のＭ×Ｍ個のＡＦ枠中において○判定であり、かつPeakPosＰに対して所定深度範囲内のＡＦ枠をひとまとめした一群を意味する。換言すれば、「かたまり」とは、上記条件を満たすＡＦ枠が上下左右に隣接している状態における当該ＡＦ枠の集合である。なお、「かたまり」が複数存在する場合には、「かたまり」を構成するＡＦ枠の数や「かたまり」の位置に基づいて、複数の「かたまり」のうちの１つを選択することができる。

Ｓ１２０８では中央のＮ×Ｎ個のＡＦ枠中において、中央のＭ×Ｍ個のＡＦ枠中を１枠以上含むように、判定結果が○判定であって、かつPeakPosＰに対して所定深度内の「かたまり」を検出する処理が行われる。そして、検出された「かたまり」を構成するＡＦ枠の数と各ＡＦ枠の位置を示すデータがメモリに記憶される。例えば、図１３（ａ）及び（ｂ）に示す判定結果に対して、図１３（ｃ）に灰色枠で示す「かたまり」、即ち○判定の箇所のうち、PeakPosＰの値が４００以上とされるＡＦ枠の一群が検出される。そして図１２のＳ１２０９（ノードＦ参照）に進む。

Ｓ１２０３からＳ１２１４に進んだ場合には、Ｓ１２０１での合焦判定結果が○判定であるか否かが判定され、○判定の場合、図１２のＳ１２１５（ノードＧ参照）へ進み、そうでなければ図１２のＳ１２１７（ノードＨ参照）へ進む。

図１２のＳ１２０９では図１１のＳ１２０７又はＳ１２０８で検出した「かたまり」が、中央枠を含む「かたまり」であるか否かの判定処理が行われる。その結果、中央枠を含む「かたまり」の判定が下された場合、Ｓ１２１５へ進み、そうでなければＳ１２１０へ進む。Ｓ１２１０ではＳ１２０７又はＳ１２０８で検出した「かたまり」が、Ｍ×Ｍ枠内にＡＦ枠を所定数以上含む「かたまり」であるか否かの判定処理が行われる。肯定的判定結果が得られた場合、Ｓ１２１５へ進み、否定的判定結果が得られた場合、Ｓ１２１１へ進む。Ｓ１２１１ではＳ１２０７又はＳ１２０８で検出した「かたまり」が、中央Ｍ×Ｍ枠のうちの１枠以上を含み、かつＮ×Ｎ枠内のＡＦ枠を所定数以上含む「かたまり」であるか否かの判定処理が行われる。肯定的判定結果が得られた場合、Ｓ１２１５へ進み、否定的判定結果が得られた場合、Ｓ１２１２へ進む。Ｓ１２１２はカウンタＰのインクリメント処理が行われ、Ｐ値に１が加算される。そしてＳ１２１３にてカウンタＰの値とソート数Ｓが比較され、Ｐ値がＳ値よりも大きい場合、Ｓ１２１７へ進むが、Ｐ値がＳ値以下の場合、図１１のＳ１２０６（ノードＩ参照）に戻る。

Ｓ１２１５では主被写体領域が特定できたとの判定が下された後、Ｓ１２１６では「かたまり」を構成する各ＡＦ枠が主被写体領域と判断され、これらが選択されて本判定処理を終了する。なお、ここで設定しているＡＦ枠が１枠の場合には当該１枠を選択する処理が行われる。一方、Ｓ１２１７では主被写体領域の特定ができなかったとの判定が下された後、本判定処理が終了する。

次に図１４のフローチャートを用いて、図８に示したＳ８０９のゾーンＡＦスキャンについて説明する。ここで「ゾーン」とは、合焦可能距離範囲を複数の範囲に分割した際の、個々の範囲を指す。

まずＳ１４０１ではシステム制御部１１２の指示に従いＡＦ処理部１０５がフォーカスレンズ１０３をスキャン開始位置へと移動させる。ここでスキャン開始位置は、例えば無限遠端位置とする。Ｓ１４０２では撮像素子１０６から読み出されたアナログ映像信号をＡ／Ｄ変換部１０７がデジタル信号に変換し、その出力から画像処理部１０８が輝度信号の高周波成分を抽出する。システム制御部１１２はこれを焦点評価値のデータとしてメモリに記憶させる。Ｓ１４０３ではフォーカスレンズ１０３の現在位置を取得して、システム制御部１１２が該位置のデータをメモリに記憶させる。Ｓ１４０４でシステム制御部１１２は、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定する。該状態がＯＮ状態の場合、本処理を終了して図２のＳ２１２（ノードＡ参照）へ進み、ＯＦＦ状態の場合にはＳ１４０５へ進む。Ｓ１４０５では前述したシーン変化判定が行われ、Ｓ１４０６ではフォーカスレンズ１０３が予め設定したゾーンの境界位置にあるか否かについて判定される。肯定的判定結果の場合、Ｓ１４０７へ進み、否定的判定結果の場合、Ｓ１４０９へ進む。

Ｓ１４０７ではゾーン更新判定が行われ、その手順については後述する。ここで「ゾーン更新」とは、あるゾーンのスキャン後に、当該ゾーンに隣接するゾーンのスキャンを続行することを指す。Ｓ１４０８にてシステム制御部１１２は、Ｓ１４０７での判定の結果、ゾーン更新を行うか否かを判定し、ゾーン更新を行う場合、Ｓ１４０９へ進むが、ゾーン更新を行わない場合、Ｓ１４１１へ進む。Ｓ１４０９でシステム制御部１１２は、フォーカスレンズ１０３の現在位置がスキャン終了位置と等しいか否かを調べ、両位置が等しい場合、Ｓ１４１１へ進み、両位置が異なる場合にはＳ１４１０へ進む。Ｓ１４１０にてＡＦ処理部１０５はフォーカスレンズ１０３をスキャン終了方向へ向けて所定量だけ移動させた後、Ｓ１４０２に戻る。またＳ１４１１では前述した主被写体領域判定が行われた後、リターン処理となる。

次に図１５及び図１６のフローチャートを用いて、図１４に示したＳ１４０７のゾーン更新判定について説明する。本処理はスキャン方向の先に主被写体が存在する蓋然性が高いか否か、つまりＡＦスキャンを続けるか否かについての判定処理である。図１７はゾーン更新判定例を説明する図であり、本例では、ＡＦ枠の大きさを画面の１０％のサイズとし、Ｎ＝５、Ｍ＝３とする。

まず図１５のＳ１５０１では、設定した各ＡＦ枠の全てにおいて前述した合焦判定が行われる。例えば、各ＡＦ枠において図１７（ａ）に示す合焦判定結果が得られたものとする。本例では左隅部の６箇所での判定結果が△判定である。また、上から２行分の判定結果及び３行目の右２箇所の判定結果が×判定であり、その他の箇所では○判定である。Ｓ１５０２は最終ゾーンまでスキャンが行われたか否かについて判定され、最終ゾーンまでスキャンが行われた場合、図１６のＳ１５１２（ノードＱ参照）へ進むが、そうでなければＳ１５０３へ進む。ここで判定結果が○判定の枠があるか否かについて判定が行われる。○判定の枠があればＳ１５０４へ進み、○判定の枠がなければ図１６のＳ１５１１（ノードＪ参照）へ進む。Ｓ１５０４は中央枠の判定結果が△判定であるか否かの判定処理である。中央枠の判定結果が△判定であれば図１６のＳ１５１１へ進み、そうでなければＳ１５０５へ進む。Ｓ１５０５では中央Ｍ×Ｍ枠の中で判定結果が△判定の枠の数が計数される。△判定とされた枠の数が所定枠数以上の「かたまり」があるか否かについて判定される。図１７の例では、３×３の中央枠内において、△判定の枠の数が２であり、所定枠数を２とする。△判定の枠数が所定枠数以上であれば図１６のＳ１５１１へ進み、そうでなければＳ１５０６へ進む。

Ｓ１５０６では中央Ｍ×Ｍ枠のうち１枠以上を含むようにＮ×Ｎ枠のＡＦ枠中に△判定の枠が所定枠数以上の「かたまり」があるか否かについて判定される。図１７の例では、所定枠数を４とする。△判定の枠が６箇所であり、「かたまり」のうち２箇所の枠が中央枠内に含まれているので、この場合には、図１６のＳ１５１１へ進む。一方、上記判定条件を満たさない場合、図１６のＳ１５０７（ノードＫ参照）へ進む。

Ｓ１５０７では中央Ｍ×Ｍ枠内における○判定の枠が計数される。その枠の数が所定数以上の「かたまり」があるか否かについて判定され、そのような「かたまり」が存在する場合、Ｓ１５１２へ進むが、「かたまり」がない場合、Ｓ１５０８へ進む。図１７の例では、中央枠内での○判定の枠が３つであり、所定数を５とすると、上記判定条件は満たされていない。Ｓ１５０８は中央枠の判定結果が×判定であるか否かの判定処理である。中央枠の判定結果が×判定であればＳ１５１１へ進むが、そうでなければＳ１５０９へ進む。Ｓ１５０９では中央Ｍ×Ｍ枠の中で△判定又は×判定の枠の数が所定枠数以上の「かたまり」があるか否かについて判定される。そのような「かたまり」があればＳ１５１１へ進み、そうでなければＳ１５１０へ進む。図１７の例で所定枠数を２とすると、中央枠内にて△判定の枠数が２、×判定の枠数が４であるため、上記判定条件を満たしている。Ｓ１５１０では、中央Ｍ×Ｍ枠の１枠以上を含むようにＮ×Ｎ枠の全ての枠中に△判定又は×判定の枠の数が所定数以上の「かたまり」があるか否かについて判定される。そのような「かたまり」が存在する場合、Ｓ１５１１へ進むが、「かたまり」が存在しなければＳ１５１２へ進む。図１７にて、例えば所定数を４とすると、△判定の「かたまり」を構成する枠の数は６であって、中央枠内で△判定の枠の数が２であり、上記判定条件が満たされている。Ｓ１５１１では「ゾーン更新する」との判定が下され、Ｓ１５１２では「ゾーン更新しない」との判定が下される。例えばＮ＝５、Ｍ＝３としたとき、図１７（ｂ）に灰色で示す領域で△判定の「かたまり」が上記判定条件を満たしており、Ｓ１５１１で「ゾーン更新する」と判定される。そしてＳ１５１１、Ｓ１５１２の後、リターン処理となる。

次に図１８のフローチャートを用いて、図８におけるＳ８１３のフォーカス駆動について説明する。まずＳ２００１では主被写体領域が特定できたか否かについて判定され、当該領域が特定できていればＳ２００２へ進むが、そうでなければＳ２００３へ進む。Ｓ２００２では、選択したＡＦ枠中の最至近位置にフォーカスレンズ１０３が駆動される。またＳ２００３では中央Ｍ×Ｍ枠中に○判定のＡＦ枠があるか否かについて判定される。その結果、○判定のＡＦ枠があればＳ２００４へ進むが、無い場合にはＳ２００５へ進む。Ｓ２００４では中央Ｍ×Ｍ枠中で○判定のＡＦ枠のうち、最至近位置にフォーカスレンズ１０３が駆動される。Ｓ２００５ではフォーカスレンズ１０３を、予め記憶している位置（定点）へと移動させる制御が行われる。ここで「定点」については、例えば、被写体の存在確率の高い距離に対応する位置に設定する。Ｓ２００２、Ｓ２００４、Ｓ２００５の後、本処理が終了し、リターン処理となる。

次に図１９及び図２０のフローチャートを用いて、図２に示したＳ２０９のコンティニュアスＡＦについて説明する。まず図１９のＳ２１０１では、合焦度判定フラグがＴＲＵＥに設定される。Ｓ２１０２では設定した各ＡＦ枠での焦点評価値の取得処理が行われる。Ｓ２１０３では設定しているＡＦ枠が１枠か否かについて判定され、該ＡＦ枠が１枠の場合、Ｓ２１０５へ進み、そうでない場合はＳ２１０４へ進む。Ｓ２１０４では主被写体領域として選択したＡＦ枠の焦点評価値を用いて演算した評価値を、Ｓ２１０５以降で用いる焦点評価値として設定し直す処理が行われる。これにより、撮影シーンが変化して画面内の主被写体領域が変化したとしても、常に画面内の主被写体領域の焦点評価値を算出することができる。

Ｓ２１０５では焦点評価値に基づいて合焦度が算出され、例えば、焦点評価値に基づいて、合焦度が高、中、低の３段階で決定される。Ｓ２１０６ではシステム制御部１１２が、撮影準備を指示するＳＷ１の状態（ＯＮ／ＯＦＦ）を判定し、該状態がＯＮ状態の場合、本処理を終了して図２のＳ２１３（ノードＥ参照）へ進む。ＳＷ１がＯＦＦ状態の場合にはＳ２１０７へ進み、前述したシーン変化判定が行われる。Ｓ２１０８では、ピーク検出フラグがＴＲＵＥであるか否かについて判定され、ＴＲＵＥであれば図２０のＳ２１２５（ノードＳ参照）へ進み、ＦＡＬＳＥであれば図２０のＳ２１０９（ノードＲ参照）へ進む。

Ｓ２１０９ではフォーカスレンズ１０３の現在位置が取得され、Ｓ２１１０では、取得カウンタの値に１が加算される。「取得カウンタ」とは、焦点評価値の取得数及びフォーカスレンズ１０３の現在位置の取得数を計数するためのカウンタである。この取得カウンタの値は、初期化動作にて予めゼロに設定されているものとする。Ｓ２１１１では取得カウンタの値が１と比較され、値が１ならばＳ２１１４へ進むが、取得カウンタの値が１でなければＳ２１１２へ進む。

Ｓ２１１２では、今回の焦点評価値が前回の焦点評価値と比較され、今回の方が前回よりも焦点評価値が大きい場合、Ｓ２１１３へ進み、そうでなければＳ２１２０へ進む。Ｓ２１１３で増加カウンタの値には１が加算される。「増加カウンタ」とは、今回の方が前回よりも焦点評価値が大きいと判定された場合の回数を計数するためのカウンタである。Ｓ２１１４でシステム制御部１１２は、今回の焦点評価値を焦点評価値の最大値とした後、Ｓ２１１５にて、フォーカスレンズ１０３の現在の位置を焦点評価値のピーク位置とする。そしてＳ２１１６でシステム制御部１１２は、今回の焦点評価値を前回の焦点評価値として再設定する。Ｓ２１１４乃至２１１６での焦点評価値を示すデータは、システム制御部１１２に内蔵の演算メモリに記憶される。Ｓ２１１７では、フォーカスレンズ１０３の現在位置が焦点検出範囲の端にあるか否かについて判定され、現在位置が末端の位置であればＳ２１１８へ進み、そうでなければＳ２１１９へ進む。Ｓ２１１８ではシステム制御部１１２の指令に従い、フォーカスレンズ１０３の移動方向が反転し、Ｓ２１１９でフォーカスレンズ１０３が所定量だけ移動する。そしてリターン処理となる。

Ｓ２１１２からＳ２１２０に進んだ場合、ピーク評価値と今回の評価値との差、つまり「焦点評価値の最大値−今回の焦点評価値」が所定量と比較される。「焦点評価値の最大値−今回の焦点評価値」が所定量より大きい場合、Ｓ２１２１へ進むが、そうでなければＳ２１１６へ進む。Ｓ２１２０では、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいこと、即ち最大値から所定量だけ焦点評価値が減少していれば、その最大値をピントのピーク位置での値とみなす。Ｓ２１２１では増加カウンタの値がゼロより大きいか否かについて判定され、その値がゼロより大きい場合、Ｓ２１２２へ進み、ゼロの場合、Ｓ２１１６へ進む。Ｓ２１２２では、フォーカスレンズ１０３が前記Ｓ２１１５でのピーク位置、つまり、記憶済みの焦点評価値が最大値となったピーク位置へ移動する。Ｓ２１２３では、ピーク検出フラグがＴＲＵＥに設定された後、Ｓ２１２４では、取得カウンタの値がゼロに設定されて、Ｓ２１１９に進む。

Ｓ２１２５（ノードＳ参照）は、今回の焦点評価値が焦点評価値の最大値に対して所定の割合以上変動したか否かの判定処理である。所定の割合以上に亘る大きな変動が生じていればＳ２１２７へ進み、所定の割合未満の小さな変動であればＳ２１２６へ進む。Ｓ２１２６ではフォーカスレンズ１０３はその位置のまま停止し、Ｓ２１１９に進む。またＳ２１２７では、ピーク検出フラグをＦＡＬＳＥとし、焦点評価値の最大値及びピーク位置をリセットする処理が行われる。その理由は焦点評価値が最大となるフォーカスレンズ位置を再び探索するためである。そしてＳ２１２８で増加カウンタがリセットされた上で、Ｓ２１１９に進む。
以上のようにして、コンティニュアスＡＦ動作では常に主被写体に対して合焦状態が得られるように、フォーカスレンズ１０３の駆動制御が行われる。

次に図２１のフローチャートを用いて、図２に示したＳ２１０のシーン不安定判断について説明する。まずＳ２２０１でシステム制御部１１２は、図１の動体検出部１２１から出力される２枚の画像に係る各データに基づき、画像データ間の輝度差分量を取得する。次にＳ２２０２では、Ｓ２２０１で得た輝度差分量に対し、フィルタ処理を実行することで、ノイズ成分の除去及び被写体像の特徴量の抽出が行われる。Ｓ２２０３では現在の画面の明るさに応じた閾値を設定する。この不安定判断用の閾値については、画面の明るさだけでなく、シャッタスピード、絞り値、感度、その他の撮影条件に応じて決定することができる。またこの閾値を図３の前記Ｓ３０３で設定した閾値とは異なる値に設定することで、判定処理にヒステリシス特性を持たせてもよい。Ｓ２２０４では、Ｓ２２０２で得た輝度差分量とＳ２２０３で設定した閾値が比較される。フィルタリング処理後の輝度差分量が閾値以下の場合にはＳ２２０５へと進み、現在、ユーザによって撮影シーンが変更されておらず、不安定状態でないと判断される。戻り値としてＦＡＬＳＥのリターン処理が行われて一連の処理が終了する。一方、フィルタリング処理後の輝度差分量が閾値より大きい場合にはＳ２２０６に進み、ユーザは撮影シーンを変更しており、不安定状態であると判断される。戻り値としてＴＲＵＥのリターン処理が行われて一連の処理が終了する。
使用する画像データとしては、特定の撮影画面内領域(例えば画面内の８割を占める領域)のデータでもよいし、撮影画面内で被写体領域が特定された場合、該被写体領域に対して輝度差分量を算出してもよい。これを、設定された閾値と比較することにより、所定領域の輝度差分量に基づいて撮影シーンの状態を判定することができる。

次に図２に示すＳ２１３の撮影処理を説明すると、以下の処理が実行される。
（Ａ１）本露光用ＡＥ処理。
（Ａ２）本露光用ＡＦ処理。
（Ａ３）ＳＷ１及びＳＷ２の状態判定処理。
（Ａ４）本露光処理。

なお（Ａ３）での状態判定処理は以下の通りである。
・システム制御部１１２は撮影スイッチＳＷ２の状態（ＯＮ／ＯＦＦ）を判定し、ＳＷ２がＯＮ状態ならば（Ａ４）の本露光処理へ進み、ＳＷ２がＯＦＦ状態の場合にはＳＷ１の状態を判定する。
・ＳＷ１の状態がＯＮ状態であれば、再びＳＷ２の状態判定処理に戻るが、ＳＷ１がＯＦＦ状態の場合には本露光処理を行わずに処理が終了する。

図２２は上記本露光用ＡＦ処理例を説明するフローチャートである。まずＳ２４０１では主被写体検出フラグがＴＲＵＥであるか否かについて判定され、ＴＲＵＥであればＳ２４０２へ進み、ＦＡＬＳＥの場合、Ｓ２４０３へ進む。
Ｓ２４０２では本露光用のＡＦ枠設定として第１の設定（図２２では丸枠内に数字１を付して示す）が行われ、Ｓ２４０３では本露光用のＡＦ枠設定として第２の設定（図２２では丸枠内に数字２を付して示す）が行われる。ここでの枠数設定については主被写体領域判定にて設定したＮ×Ｎの枠とは異なる。本実施形態では、ＡＦ評価値の演算量を低減させる為、「Ｎ＞ｎ」を満たす自然変数ｎを用いて、ｎ×ｎの枠設定とする。さらに枠サイズとしてはＳ／Ｎ比を向上させるため、Ｎ×Ｎの枠サイズを「Ｓｉｚｅ_Ｎ」と記し、ｎ×ｎの枠サイズを「Ｓｉｚｅ_ｎ」と記すとき、「Ｓｉｚｅ_Ｎ＜Ｓｉｚｅ_ｎ」を満たすように枠サイズを設定することが望ましい。

また、枠設定については主被写体の検出結果に基づいて決定してもよい。主被写体が検出できていた場合、ＡＦ評価値の演算量を低減し、Ｓ／Ｎ比を向上させる為、Ｓ２４０２では「Ｎ＞ｎ、Ｓｉｚｅ_Ｎ＜Ｓｉｚｅ_ｎ」を満たすＡＦ枠設定（第１の設定）とする。主被写体が検出できていない場合には、主被写体検出用に設定した枠に対して、細かな被写体を撮影しており、背景抜け等の現象が起こっている可能性がある。そこで、主被写体検出の分解能をあげる為、Ｓ２４０３では、「ν＞Ｎ、Ｓｉｚｅ_Ｎ＞Ｓｉｚｅ_ν」を満たすＡＦ枠設定（第２の設定）とする。ここでνは自然数の変数である。

Ｓ２４０２からＳ２４０４に進み、図１９のＳ２１０５で算出した合焦度が「高」であるか否かについて判定される。合焦度が「高」であればＳ２４０５へ進み、そうでなければＳ２４０６へ進む。Ｓ２４０５では現在のフォーカスレンズ１０３の位置を中心に、第１のスキャン範囲（図２２では丸枠内に数字１を付して示す）が設定される。ここではコンティニュアスＡＦ動作により主被写体にほぼピントが合っている状態、つまり焦点評価値がピークを示す合焦位置付近にフォーカスレンズが位置すると判断され、狭いスキャン範囲を設定する処理が行われる。

Ｓ２４０６は、図１９のＳ２１０５で算出した合焦度が「中」であるか否かの判定処理である。合焦度が「中」であればＳ２４０７へ進み、そうでなければＳ２４０８へ進む。Ｓ２４０７では現在のフォーカスレンズ１０３の位置を中心に、第２のスキャン範囲（図２２では丸枠内に数字２を付して示す）が設定される。ここではコンティニュアスＡＦ動作により合焦位置付近にフォーカスレンズが位置しているが、合焦度が「高」の状態ほどではないと判断され、第１のスキャン範囲よりも広げた範囲が設定される。Ｓ２４０８ではフォーカスレンズ１０３の現在位置がマクロ領域内か否かについて判定され、当該位置がマクロ領域内であればＳ２４０９へ進み、そうでなければＳ２４１０へ進む。Ｓ２４０９では予め記憶済みのマクロ領域に対応した、第３のスキャン範囲（図２２では丸枠内に数字３を付して示す）が設定される。Ｓ２４１０では予め記憶済みの範囲全域である、第４のスキャン範囲（図２２では丸枠内に数字４を付して示す）が設定される。Ｓ２４０５、Ｓ２４０７、Ｓ２４０９、Ｓ２４１０の後、Ｓ２４１１では本露光用ＡＦスキャンが行われる。Ｓ２４１２では、後述の処理で算出したピーク位置にフォーカスレンズ１０３が移動した後、リターン処理となる。

上記Ｓ２４１１の本露光用ＡＦスキャンにおける処理の流れは、以下の通りである。
（Ｂ１）スキャン開始位置へのレンズ移動
フォーカスレンズ１０３はスキャン開始位置へと移動する。ここで「スキャン開始位置」とは、図２２のＳ２４０５、Ｓ２４０７、Ｓ２４０９又はＳ２４１０で設定したスキャン範囲の端位置とする。
（Ｂ２）焦点評価値の取得処理
撮像素子１０６から読み出されたアナログ映像信号をＡ／Ｄ変換部１０７がデジタル信号に変換し、その出力から画像処理部１０８が輝度信号の高周波成分を抽出する。システム制御部１１２はこれを焦点評価値のデータとしてメモリに記憶させる。
（Ｂ３）レンズ位置の取得処理
フォーカスレンズ１０３の現在位置を取得して、システム制御部１１２が該位置のデータをメモリに記憶させる。
（Ｂ４）レンズ位置とスキャン終了位置との比較処理
システム制御部１１２はフォーカスレンズ１０３の現在位置とスキャン終了位置を比較して、両位置が等しいか否かを調べる。両位置が等しい場合には次の（Ｂ５）へ進む。両位置が異なる場合には、システム制御部１１２の指令に従って、フォーカスレンズ１０３がスキャン終了方向へ向けて所定量だけ移動した後、上記（Ｂ２）に戻る。
（Ｂ５）ピーク位置の計算処理
上記（Ｂ２）で記憶した焦点評価値とそのレンズ位置から、焦点評価値のピーク位置が計算される。ここで焦点評価値のピーク位置を計算するにあたって、ＡＦ枠を複数枠設定した場合は、図１１で説明した主被写体領域判定により決定した主被写体領域の最至近ピーク位置に基づいて計算することができる。あるいは別の判断法を採用してピーク位置計算を行ってもよい。

次に本露光処理の流れを説明すると、以下の処理が実行される。
（Ｃ１）撮像素子１０６の露光
（Ｃ２）データ読み出し処理
撮像素子１０６に蓄積された電荷に対応するデータが読み出される。
（Ｃ３）Ａ／Ｄ変換処理
Ａ／Ｄ変換部１０７は、撮像素子１０６から読み出したアナログ信号をデジタル信号に変換する。
（Ｃ４）画像処理
画像処理部１０８は、Ａ／Ｄ変換部１０７から出力されるデジタル信号に対して各種画像処理を施す。
（Ｃ５）画像圧縮処理
上記（Ｃ４）で処理した画像データは、システム制御部１１２の制御下でＪＰＥＧ等のフォーマットに従ってフォーマット変換部１０９で圧縮される。
（Ｃ６）データ転送・記録処理
上記（Ｃ５）で圧縮したデータは画像記録部１１１に送られ、記録媒体に記録される。

以上説明したように、本実施形態では、撮影シーンが変化した後に、撮影画面内の合焦すべき被写体領域を判断し、撮影準備前にピントを合わせておく。これにより、撮影シーンが変化した場合においても、撮影準備指示後に主被写体に素早くピントを合わせることができる。また、撮影シーンが確定していない場合には、焦点調節用のレンズ駆動を停止させることで焦点調節動作が頻繁に行われないように防止でき、画面の見栄えを損なわずに消費電力を抑えることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１撮影レンズ
１０２絞り及びシャッタ
１０３フォーカスレンズ
１０５ＡＦ処理部
１０６撮像素子
１０８画像処理部
１１２システム制御部
１２１動体検出部

Claims

撮像素子によって被写体を撮像した画像データに基づいて合焦状態を示す焦点信号を得て焦点調節を行う撮像装置であって、
撮影準備指示を行う指示手段と、
前記焦点信号に基づいて焦点調節動作を行う焦点調節手段と、
撮影シーンの状態を判定する判定手段と、を備え、
前記焦点調節手段は、
前記撮影準備指示の前に、合焦すべき被写体領域を特定するために所定のスキャン範囲で前記焦点信号を算出し焦点調節を行う第１の焦点調節動作と、順次取得される前記焦点信号の高い方に焦点調節を行う第２の焦点調節動作と、を行い、
前記撮影準備指示の後に、特定された合焦すべき被写体領域に基づいたスキャン範囲で前記焦点信号を算出して焦点調節を行い、
前記撮影準備指示の前の前記第２の焦点調節動作中に前記判定手段によって撮影シーンの変化が検出された場合には、前記第１の焦点調節動作を行うことを特徴とする撮像装置。
前記判定手段は、前記画像データを用いて撮影画面内の輝度に関する時間的な差分量を算出し、該差分量を閾値と比較することで撮影シーンの安定性を判定することを特徴とする、請求項１に記載の撮像装置。
前記判定手段は前記差分量に対してフィルタリング処理を行って被写体像の特徴量を抽出することを特徴とする、請求項１又は２記載の撮像装置。
前記判定手段はシャッタスピード又は絞り値又は感度に応じて前記閾値を変更することを特徴とする、請求項２記載の撮像装置。
前記判定手段は前記撮影シーンが変化した場合、撮影画面内の合焦すべき被写体領域を判断することを特徴とする、請求項１から４のいずれか１項記載の撮像装置。
前記判定手段は前記画像データに基づいて前記被写体領域を特定し、該被写体領域に対して前記差分量を算出するとともに、前記閾値及び算出した前記被写体領域の差分量に基づいて前記撮影シーンの状態を判定することを特徴とする、請求項５記載の撮像装置。
撮像素子によって被写体を撮像した画像データに基づいて合焦状態を示す焦点信号を得て焦点調節を行う撮像装置の合焦制御方法であって、
撮影準備指示を行う指示ステップと、
撮影シーンの状態を判定する判定ステップと、
前記撮影準備指示の前に、合焦すべき被写体領域を特定するために所定のスキャン範囲で前記焦点信号を算出し焦点調節を行う第１の焦点調節動作と、順次取得される前記焦点信号の高い方に焦点調節を行う第２の焦点調節動作と、を行い、
前記撮影準備指示の後に、特定された合焦すべき被写体領域に基づいたスキャン範囲で前記焦点信号を算出して焦点調節を行う焦点調節ステップと、を備え、
前記焦点調節ステップでは、前記撮影準備指示の前の前記第２の焦点調節動作中に前記判定ステップにより撮影シーンの変化が検出された場合には、前記第１の焦点調節動作を行うことを特徴とする撮像装置の合焦制御方法。