JP4371074B2 - 制御装置および方法、プログラム、並びにカメラ - Google Patents

Description

本発明は、制御装置および方法、プログラム、並びにカメラに関し、特に、被写体の判別をより正確に行い、より適切なAF制御処理を行うことができるようにする制御装置および方法、プログラム、並びにカメラに関する。

従来、例えば撮像装置等において、焦点を被写体に合焦させるフォーカス処理を自動的に行うオートフォーカス（以下、AF（Auto Focus）と称する）処理がある。このAF処理には、例えば、取り込み画像のコントラストを検出し、コントラストが最も高くなるようにレンズ位置を調整する方法（画像処理方式）がある（例えば、特許文献１参照）。

例えば、撮像装置は、取り込み画像の所定の領域（評価枠）において、画像の「ぼけ」度合いを評価するパラメータである評価値を、画像のコントラスト（例えば、輝度値の高周波成分）等から算出し、フォーカス位置を移動させながら、その評価値の最大値（ピーク値）を探索し、そのピーク値をとる位置に焦点を合焦させる。このようにすることにより、取り込み画像は、範囲内に写されている被写体に合焦する（ジャストピン）。

このような画像処理方式のAF処理の場合、その精度は、一般的に、撮影環境や被写体などの条件に（得られる撮影画像の内容に）大きく依存する。そこで、より的確なAF処理を行うために様々な方法が考えられている。例えば、最適なフォーカス位置を効率よく探索させるためにレンズを微小範囲で振動（ウォブリング）させ、その取り込み画像の評価値に基づいてフォーカスレンズの進行方向を判定する方法（例えば、特許文献２参照）や、幅広い撮影条件下において良好なAF処理を行うことができるように、条件に応じて評価値を算出する範囲である評価枠の枠サイズを変更する方法（例えば、特許文献３参照）等がある。

また、例えば、ミラーボールや木漏れ日等のように、周期的または不定期に一瞬光るような輝度変化の激しい特殊な被写体の場合、通常のピーク探索方法では、ピークの誤検出が発生しやすく、被写体に正しく合焦させることが困難な場合があるので、そのような特殊な被写体に対するピーク探索方法として、ロングフィルタモードという探索方法がある。ロングフィルタモードによる探索方法においては、等速度でレンズが動かされながら、輝度加算値や評価値の長い移動平均が算出され、その移動平均が最大となるレンズ位置にレンズが戻される。

このようなロングフィルタモードのピーク探索方法により、評価値の変動の激しい特殊な被写体でも誤動作（ぼけたレンズ位置でAF動作が終了する）の確率を低減させることができる。

国際公開ＷＯ ９７／２５８１２ 特開平１０−２１５４０３号公報 特開平１０−１６１０１６号公報

しかしながら、ロングフィルタモードのピーク探索方法は、フォーカス位置を大きく動かすため、通常の被写体（ミラーボールや木漏れ日等のように、周期的または不定期に一瞬光るような輝度変化の激しい特殊な被写体以外の被写体）に対してロングフィルタモードのピーク探索方法を用いた場合、撮像画像が視聴者に大きな違和感を与える画像（焦点のぼけた時間が長い画像）になる恐れがある。従って、ロングフィルタモードのピーク探索方法は、ミラーボールや木漏れ日等のように、周期的または不定期に一瞬光るような輝度変化の激しい特殊な被写体に対する場合のみに限定し、通常の被写体に対しては適用しないようにすることが望ましい。つまり、ロングフィルタモードの採用においては、被写体が特殊な被写体であることを適切に判別する判別方法が求められる。

図１は、回転しながら瞬間的に光るミラーボールをカメラで撮影した際に測定した輝度積分値の変動を示すグラフであり、図２は、大きく揺らされた花をカメラで撮影した際に測定した輝度積分値の変動を示すグラフである。つまり、図１は特殊な被写体の輝度積分値の変動を示すグラフであり、図２は通常の被写体の輝度積分値の変動を示すグラフである。図１および図２に示されるように、いずれの場合も輝度積分値は時間の経過とともに大きく変動している。

従来においては、被写体の判別（特殊な被写体であるか否か）を、輝度積分値の変動の大きさのみで行っていたが、その場合、図１および図２の変動の違いを区別することは困難であった。つまり、従来の判別方法では、被写体の判別を正確に行うことが困難であり、図２に示されるように大きく揺れる花を撮影する場合においても、ロングフィルタモードが適用されてしまい、フォーカス位置が大きく変動し、撮像画像が好ましくない画像となってしまう恐れがあった。

本発明はこのような状況に鑑みてなされたものであり、被写体の判別をより正確に行い、より適切なAF制御処理を行うことができるようにするものである。

本発明の制御装置は、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値をフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較手段と、局所ピーク比較手段による比較結果に基づいて、評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択手段とを備えることを特徴とする。

前記局所ピーク比較手段は、評価値の局所ピークの位置および数と、輝度積分値の局所ピークの位置および数をそれぞれ互いに比較するようにすることができる。

前記モード選択手段は、評価値の局所ピークの位置および数と、輝度積分値の局所ピークの位置および数とがそれぞれ一致する場合、被写体が、瞬間的に光る特殊な被写体であると認識し、特殊な被写体に対応するモードを選択し、評価値の局所ピークの位置および数と、輝度積分値の局所ピークの位置および数とがそれぞれ一致しない場合、被写体が、通常の被写体であると認識し、通常の被写体に対応するモードを選択するようにすることができる。

前記特殊な被写体は、例えば、ミラーボールや木漏れ日であるようにすることができる。

前記特殊な被写体に対応するモードは、フィールド毎に輝度正規化評価値の移動平均を算出するロングフィルタモードであるようにすることができる。

前記評価値を算出する評価値算出手段と、輝度積分値を算出する輝度積分値算出手段とをさらに備え、局所ピーク比較手段は、評価値算出手段により算出された評価値と、輝度積分値算出手段により算出された輝度積分値の局所ピークを互いに比較するようにすることができる。

前記評価値算出手段により算出された評価値の局所ピークを検出する評価値局所ピーク検出手段と、輝度積分値算出手段により算出された輝度積分値の局所ピークを検出する輝度積分値局所ピーク検出手段とをさらに備え、局所ピーク比較手段は、評価値局所ピーク検出手段により検出された評価値の局所ピークと、輝度積分値局所ピーク検出手段により検出された輝度積分値の局所ピークを互いに比較するようにすることができる。

前記モード選択手段により選択されたモードで評価値の全体に対するピークを探索するピーク探索手段をさらに備えるようにすることができる。

本発明の制御方法は、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値をフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較ステップと、局所ピーク比較ステップの処理による比較結果に基づいて、評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択ステップとを含むことを特徴とする。

本発明のプログラムは、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値をフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較ステップと、局所ピーク比較ステップの処理による比較結果に基づいて、評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択ステップとを含むことを特徴とする。

本発明のカメラは、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値をフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較手段と、局所ピーク比較手段による比較結果に基づいて、評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択手段と、モード選択手段により選択されたモードで駆動部を制御し、評価値の全体に対するピークを探索するピーク探索手段とを備えることを特徴とする。

本発明の制御装置および方法、プログラム、並びにカメラにおいては、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値がフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークが互いに比較され、局所ピーク比較手段による比較結果に基づいて、評価値の全体に対するピークを探索するモードが、予め複数用意されたモードの中から選択される。

本発明によれば、被写体の判別をより正確に行い、より適切なAF制御処理を行うことができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。

本発明においては、撮像装置（例えば、図３の撮像装置）の光学素子（例えば、図３のフォーカスレンズやウォブリングレンズ）を駆動させて被写体を撮像する際のフォーカス位置を調整する駆動部（例えば、図３のAF駆動部）の制御に関する処理を実行する制御装置（例えば、図３のAF制御部）が提供される。この制御装置では、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値をフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較手段（例えば、図３の局所ピーク比較部）と、局所ピーク比較手段による比較結果に基づいて、評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択手段（例えば、図３のモード選択部）とを備える。

前記評価値を算出する評価値算出手段（例えば、図３の評価値算出部）と、輝度積分値を算出する輝度積分値算出手段（例えば、図３の輝度積分値算出部）とをさらに備え、局所ピーク比較手段は、評価値算出手段により算出された評価値と、輝度積分値算出手段により算出された輝度積分値の局所ピークを互いに比較するようにすることができる。

前記評価値算出手段により算出された評価値の局所ピークを検出する評価値局所ピーク検出手段（例えば、図６の評価値局所ピーク検出部）と、輝度積分値算出手段により算出された輝度積分値の局所ピークを検出する輝度積分値局所ピーク検出手段（例えば、図６の輝度積分値局所ピーク検出部）とをさらに備え、局所ピーク比較手段は、評価値局所ピーク検出手段により検出された評価値の局所ピークと、輝度積分値局所ピーク検出手段により検出された輝度積分値の局所ピークを互いに比較するようにすることができる。

前記モード選択手段により選択されたモードで評価値の全体に対するピークを探索するピーク探索手段（例えば、図３の通常モードピーク探索部またはロングフィルタモード探索部）をさらに備えるようにすることができる。

本発明においては、撮像装置（例えば、図３の撮像装置）の光学素子（例えば、図３のフォーカスレンズやウォブリングレンズ）を駆動させて被写体を撮像する際のフォーカス位置を調整する駆動部（例えば、図３のAF駆動部）の制御に関する処理を実行する制御装置（例えば、図３のAF制御部）の制御方法が提供される。この制御方法においては、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値をフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較ステップ（例えば、図１９のステップＳ４）と、局所ピーク比較ステップの処理による比較結果に基づいて、評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択ステップ（例えば、図１９のステップＳ５）とを含むことを特徴とする。

本発明のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、本発明の制御方法と同様である。

本発明においては、被写体を撮像する撮像部（例えば、図３のCCD）と、光学素子（例えば、図３のフォーカスレンズやウォブリングレンズ）を駆動させて、前記撮像部により前記被写体を撮像する際のフォーカス位置を調整する駆動部（例えば、図３のAF駆動部）を有するカメラ（例えば、図３の撮像装置）が提供される。このカメラにおいては、フォーカス位置の調整用のパラメータであり、被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と被写体の撮像画像の輝度値をフィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較手段（例えば、図３の局所ピーク比較部）と、局所ピーク比較手段による比較結果に基づいて、評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択手段（例えば、図３のモード選択部）と、モード選択手段により選択されたモードで駆動部を制御し、評価値の全体に対するピークを探索するピーク探索手段（例えば、図３の通常モードピーク探索部またはロングフィルタモード探索部）とを備える。

以下、本発明の実施の形態について図を参照して説明する。

図３は、本発明を適用した撮像装置の一実施形態に係る構成例を示す図である。

図３において、撮像装置５０は、AF（Auto Focus）駆動部５１、画像処理部５２、およびAF制御部５３を有しており、被写体を撮像し、動画または静止画の画像データを得る装置である。撮像装置５０は、得られた画像データを記録媒体に記録したり、外部に出力したりする。なお、図３においては、撮像装置５０の構成の内、本発明に関わる部分のみを示している。

AF駆動部５１は、フォーカスレンズ６１、ウォブリングレンズ６２、レンズ駆動部６３、駆動制御部６４、センサ６５、およびスイッチ（SW）６６を有しており、AF制御部５３の制御に基づいて、光学系を駆動させ、画像処理部５２に取り込まれる光のフォーカス位置調整処理を行う。

フォーカスレンズ６１は、画像処理部５２に入射する光の光軸方向に駆動し、その光のフォーカス位置（得られる撮影画像のフォーカス位置）を制御する。ウォブリングレンズ６２は、画像処理部５２に入射する光の光軸方向に微小に振動（ウォブリング）し、撮影画像のフォーカス位置を微小にずらす。このウォブリングレンズ６２は、焦点調整処理（フォーカス処理）中におけるフォーカスレンズ６１の動かす向きを決定するのに利用される。なお、このフォーカスレンズ６１とウォブリングレンズ６２は、１組のレンズにより実現する（フォーカスレンズ６１をウォブリングレンズ６２としてウォブリング動作させる）ようにしてもよい。

レンズ駆動部６３は、駆動制御部６４より供給される制御情報に基づいて、フォーカスレンズ６１およびウォブリングレンズ６２の位置や動作を制御することによりフォーカス位置を制御する（フォーカス位置を制御するための動作を行わせる）。駆動制御部６４は、後述するようにAF制御部５３のAF制御処理部８３とシリアルバスで接続されており、AF制御処理部８３より供給されるフォーカス制御指令やウォブリング制御指令等の制御情報に基づいて、レンズ駆動部６３にフォーカスレンズ６１およびウォブリングレンズ６２の駆動に関する制御情報を供給する。例えば、駆動制御部６４は、レンズ駆動部６３に対して、制御情報を供給し、フォーカスレンズ６１の位置を移動するように指示したり、ウォブリングレンズ６２のウォブリング動作を開始させたりする。

また、駆動制御部６４は、センサ６５より供給されるアイリス値やフォーカス位置に関する情報を、シリアルバスを介して、A３制御処理部８２に供給する。さらに、駆動制御部６４は、スイッチ（SW）６６の状態に応じて動作が制御される。例えば、スイッチ６６がオン状態の場合のみ駆動制御部６４は、上述した制御処理や通信処理を行い、スイッチ６６がオフ状態の場合、駆動制御部６４は、休止状態となり各処理を実行しない。

センサ６５は、フォーカス位置、ズーム位置（焦点距離）、およびアイリス値等を測定するセンサであり、測定したそれらの情報を、駆動制御部６４を介してAF制御処理部８３に供給する。スイッチ（SW）６６は、AF処理を行うか否かをユーザが制御するためのスイッチであり、その状態を駆動制御部６４に通知する。

画像処理部５２は、撮像装置５０に入射される光から電気信号の画像信号を生成する処理部であり、CCD（Charge Coupled Devices）７１、増幅部７２、および信号処理部７３を有している。

CCD７１は、フォトダイオード等の光電変換素子を有するCCDを利用した撮像素子であり、フォーカスレンズ６１およびウォブリングレンズ６２を介して入射される入射光を光電変換し、入射光量に対応する電荷を蓄積すると、それを吐き出すことにより電気信号の画像信号を得る。CCD７１は、その画像信号を増幅部７２に供給する。なお、CCD７１の代わりにCMOS（Complementary Metal Oxide Semiconductor）等を利用したイメージセンサを用いるようにしてもよい。

増幅部７２は、CDS回路（Correlated Double Sampling circuit）、AGC回路（Automatic Gain Control circuit）、およびA/D（Analog / Digital）変換回路等を含み、CCD７１より供給される画像信号のリセットノイズを除去したり、画像信号を増幅したり、アナログ信号の画像信号をデジタル信号に変換したりした後、そのデジタルの画像信号を信号処理部７３に供給する。

信号処理部７３は、供給された画像信号に対してAE（Auto Exposure）処理やAWB（Auto White Balance）処理や、γ補正等の画像処理等を施した後、その画像信号を後段に出力するとともに、AF制御部５３の評価値算出部８１や輝度積分値算出部８２に供給する。また、信号処理部７３は、画像信号の水平同期信号や垂直同期信号、並びにシステムクロック信号等の制御用同期信号を、評価値算出部８１や輝度積分値算出部８２に供給する。

AF制御部５３は、画像処理部５２より供給される画像信号等に基づいて、AF駆動部５１を制御し、AF処理の制御に関する処理を行う。AF制御部５３は、評価値算出部８１、輝度積分値算出部８２、およびAF制御処理部８３を有している。

評価値算出部８１は、画像処理部５２の信号処理部７３より供給される画像信号や同期信号、並びにAF制御処理部８３を介して供給される設定データ等に基づいて、取り込み画像（画像信号）の「ぼけ」度合いを評価する評価値を、フィールド画像（プログレッシブ方式の場合はフレーム画像）毎に算出する。評価値算出部８１は、算出した評価値をAF制御処理部８３の評価値保持部９１に供給する。なお、以下において、撮影画像（取り込み画像）がインターレス方式の場合についてのみ説明するが、この説明は、フィールド単位をフレーム単位に置き換えるだけで、プログレッシブ方式の場合にも適用することができる。

輝度積分値算出部８２は、画像処理部５２の信号処理部７３より供給される画像信号や同期信号等に基づいて、取り込み画像（画像信号）の一部または全部の領域について、各画素の輝度値をフィールド画像（プログレッシブ方式の場合はフレーム画像）毎に積分した輝度積分値を算出する。輝度積分値算出部８２は、算出した輝度積分値をAF制御処理部８３の輝度積分値保持部９３に供給する。

AF制御処理部８３は、詳細については後述するが、評価値算出部８１より供給される評価値から、全体に対するピークではなく、局所におけるピークである局所ピークを探索するとともに、輝度積分値算出部８２より供給される輝度積分値から、全体に対するピークではなく、局所におけるピークである局所ピークを探索する。そして、AF制御処理部８３は、探索した評価値の局所ピークと、輝度積分値の局所ピークとで数や位置を比較し、その比較結果に基づいて全体に対するピークの探索モードを選択する。

AF制御処理部８３は、評価値保持部９１、評価値局所ピーク探索部９２、輝度積分値保持部９３、輝度積分値局所ピーク探索部９４、局所ピーク比較部９５、モード選択部９６、通常モードピーク探索部９７、およびロングフィルタモードピーク探索部９８を有している。

評価値保持部９１は、評価値算出部８１より供給されるフィールド毎の評価値を、一時的に保持し、必要に応じて、その保持している評価値を評価値局所ピーク探索部９２に供給する。評価値局所ピーク探索部９２は、評価値保持部９１より供給された評価値を用いて、評価値の局所ピークの探索を行う。つまり、評価値局所ピーク探索部９２は、波形全体に対するピーク（低周波成分のピーク）ではなく、短期的な（局所的な）ピーク(高周波成分のピーク）の探索を行う。評価値局所ピーク探索部９２は、このような評価値の局所ピークを探索し、その探索結果を局所ピーク比較部９５に供給する。

輝度積分値保持部９３は、輝度積分値算出部８２より供給されるフィールド毎の輝度積分値を、一時的に保持し、必要に応じて、その保持している輝度積分値を輝度積分値局所ピーク探索部９４に供給する。輝度積分値局所ピーク探索部９４は、輝度積分値保持部９３より供給された輝度積分値を用いて、輝度積分値の局所ピークの探索を行う。つまり、輝度積分値局所ピーク探索部９４は、波形全体に対するピーク（低周波成分のピーク）ではなく、短期的な（局所的な）ピーク(高周波成分のピーク）の探索を行う。輝度積分値局所ピーク探索部９４は、このような輝度積分値の局所ピークを探索し、その探索結果を局所ピーク比較部９５に供給する。

局所ピーク比較部９５は、評価値局所ピーク探索部９２より供給された評価値の局所ピークの位置や数に関する情報である評価値局所ピーク情報と、輝度積分値局所ピーク探索部９４より供給された輝度積分値の局所ピークの位置や数に関する情報である輝度積分値局所ピーク情報とに基づいて、それぞれの局所ピークについて数や位置を比較し、その比較結果をモード選択部９６に供給する。

モード選択部９６は、局所ピーク比較部９５より供給された比較結果に基づいて、ピーク探索（全体に対するピークの探索）のモードとして、通常モードとロングフィルタモードのいずれか一方を選択する。つまり、モード選択部９６は、評価値局所ピークと輝度積分値局所ピークとの比較結果に基づいて、被写体が、ミラーボールや木漏れ日等のように、周期的または不定期に一瞬光るような輝度変化の激しい特殊な被写体（ロングフィルタモードを適用すべき被写体）であるか否かを判定し、ロングフィルタモードを適用するか否かを判定する。そして、モード選択部９６は、通常モードピーク探索部９７またはロングフィルタモードピーク探索部９８の、選択したモードでピーク探索を行う方にピーク探索を指示する。

通常モードピーク探索部９７は、モード選択部９６の指示に基づいて、フォーカスレンズ６１およびウォブリングレンズ６２が、例えば差分方式やチェックダウン方式等のような通常モードのピーク探索の動作をするように、シリアルバスを介して駆動制御部６４に制御情報を供給する。

ロングフィルタモードピーク探索部９８は、モード選択部９６の指示に基づいて、フォーカスレンズ６１およびウォブリングレンズ６２が、移動平均等を用いたロングフィルタモードのピーク探索の動作をするように、シリアルバスを介して駆動制御部６４に制御情報を供給する。

また、AF制御部５３は、バス１００、ROM（Read Only Memory）１０１、入力部１０２、出力部１０３、記憶部１０４、通信部１０５、およびドライブ１０６をさらに有している。AF制御処理部８３には、バス１００が接続され、そのバス１００を介して、ROM１０１乃至ドライブ１０６が接続される。

ROM１０１は、読み出し専用の記憶媒体を有しており、AF制御処理部８３において実行されるプログラムやデータが予め記憶されている。ROM１０１に記憶されているプログラムやデータは、AF制御処理部８３により、バス１００を介して必要に応じて読み出される。入力部１０２は、スイッチやボタン等の入力デバイスを有しており、例えばユーザにより入力された指示情報等を受け付け、それらを、バス１００を介してAF制御処理部８３に供給する。出力部１０３は、LED（Light Emitting Diode）ディスプレイ、LCD（Liquid Crystal Display）、または有機EL（Electro Luminescence）ディスプレイ等よりなる表示部や、スピーカ等よりなる音声出力部を有しており、AF制御処理部８３よりバス１００を介して供給された情報を表示したり出力したりする。

記憶部１０４は、ハードディスクや半導体メモリ等を有し、AF制御処理部８３により実行されるプログラムやデータが記憶されたり、AF制御処理部８３より供給されるデータ等を記憶したりする。通信部１０５は、例えば、モデム、LAN（Local Area Network）アダプタ、USB（Universal Serial Bus）インタフェース、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、SCSI（Small Computer System Interface）、またはIEEE802.11xアダプタ等を有し、所定の通信規格に基づいたインタフェース処理を行い、ネットワークを介して他の装置と通信を行い、例えば、他の装置より情報を受信し、それをAF制御処理部８３に供給したり、AF制御処理部８３からの情報を他の装置に送信したりする。

ドライブ１０６は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１０７が適宜装着される読み出し書き込み処理部である。ドライブ１０６は、例えば、装着されたリムーバブルメディア１０７からプログラムやデータを読み出し、それを、必要に応じて記憶部１０４にインストールさせたり、AF制御処理部８３に供給したりする。また、ドライブ１０６は、例えば、バス１００を介してAF制御処理部８３より取得したプログラムやデータを、装着されているリムーバブルメディア１０７に記録する。

AF制御処理部８３が実行する処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１０７により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１０１や、記憶部１０４に含まれるハードディスクや半導体メモリ等で構成される。

次に、動作について説明する。

撮影が開始されると、画像処理部５２のCCD７１は、点線矢印１１１に示されるような光軸でAF駆動部５１のフォーカスレンズ６１およびウォブリングレンズ６２を介して入射された光を光電変換し、電気信号の画像情報（画像信号）を得る。そしてCCD７１は、矢印１１２のように、その画像信号を増幅部７２に供給する。増幅部７２は、その画像信号を所定の方法で増幅させると、その増幅済みの画像信号を矢印１１３のように信号処理部７３に供給する。信号処理部７３は、供給された画像信号に対して画像処理を施すなどした後、それを、矢印１１４Ａに示されるように図示せぬ後段に出力するとともに、矢印１１４Ｂおよび矢印１１４Ｃに示されるようにAF制御部５３の評価値算出部８１と輝度積分値算出部８２に供給する。また、信号処理部７３は、矢印１１５Ａおよび矢印１１５Ｂに示されるように、同期信号を評価値算出部８１および輝度積分値算出部８２に供給する。

評価値算出部８１は、矢印１１６に示されるようにAF制御処理部８３より供給される設定データ等に基づいて、信号処理部７３より供給される画像信号に対応する、取り込み画像の「ぼけ」具合を評価する評価値を、所定の算出方法で算出する。例えば、評価値は、フレーム画像の一部の画像領域内（評価枠内）におけるコントラストの大きさを示す値であり、その評価枠内の輝度値の高周波成分の合計値等に基づいて算出される。評価値算出部８１は、このような評価値をフィールド毎に算出すると、それを矢印１１７に示されるように、AF制御処理部８３の評価値保持部９１に供給する。

評価値保持部９１は、矢印１１７に示されるように評価値算出部８１よりフィールド毎に供給される評価値を一時的に保持する。そして、その保持している評価値を、矢印１１８に示されるように、必要に応じて評価値局所ピーク探索部９２に供給する。評価値局所ピーク探索部９２は、矢印１１８のように供給される評価値に基づいて評価値の局所ピークを探索する。そして、評価値ピーク探索部９２は、その探索結果として、検出された評価値の局所ピークの数や位置に関する評価値局所ピーク情報を局所ピーク比較部９５に供給する。

輝度積分値算出部８２は、信号処理部７３より供給される画像信号の輝度値を、フィールド画像毎に、そのフィールド画像の全部または一部の画素について積分した輝度積分値を、所定の算出方法で算出する。輝度積分値算出部８２は、このような輝度積分値をフィールド毎に算出すると、それを矢印１２０に示されるように、AF制御処理部８３の輝度積分値保持部９３に供給する。

輝度積分値保持部９３は、矢印１２０に示されるように、輝度積分値算出部８２よりフィールド毎に供給される輝度積分値を一時的に保持する。そして、その保持している輝度積分値を、矢印１２１に示されるように、必要に応じて輝度積分値局所ピーク探索部９４に供給する。輝度積分値局所ピーク探索部９４は、矢印１２２のように供給される輝度積分値に基づいて輝度積分値の局所ピークを探索する。そして、輝度積分値ピーク探索部９４は、その探索結果として、検出された輝度積分値の局所ピークの数や位置に関する輝度積分値局所ピーク情報を局所ピーク比較部９５に供給する。

局所ピーク比較部９５は、このように供給された評価値の局所ピークの位置や数と、輝度積分値の局所ピークの位置や数とをそれぞれ比較し、その比較結果を、矢印１２３により示されるように、モード選択部９６に供給する。モード選択部９６は、その比較結果に基づいて、通常モードのピーク探索を行うか、または、ロングフィルタモードのピーク探索を行うを選択し、その選択したモードのピーク探索部（通常モードピーク探索部９７またはロングフィルタモードピーク探索部９８のいずれか一方）にピーク探索の実行を指示する。通常モードピーク探索部９７およびロングフィルタモードピーク探索部９８は、モード選択部９６によりモードが選択されると、その選択に従ってピーク探索を行う。

例えば、通常モードでピーク探索を実行させる場合、モード選択部９６は、矢印１２４に示されるように通常モードピーク探索部９７にピーク探索を指示する。通常モードピーク探索部９７は、その指示に基づいて、矢印１２５に示されるようにシリアルバスを介して駆動制御部６４を制御する。また、例えば、ロングフィルタモードでピーク探索を実行させる場合、モード選択部９６は、矢印１２７に示されるようにロングフィルタモードピーク探索部９８にピーク探索を指示する。ロングフィルタモードピーク探索部９８は、その指示に基づいて、矢印１２７に示されるようにシリアルバスを介して駆動制御部６４を制御する。

このように、AF制御処理部８３の通常モードピーク探索部９７やロングフィルタモードピーク探索部９８により制御される（矢印１２５または矢印１２７）と、駆動制御部６４は、その制御に基づいて矢印１３１に示されるようにレンズ駆動部６３を制御し、フォーカスレンズ６１やウォブリングレンズ６２を駆動させる（矢印１３２または矢印１３３）。ただし、駆動制御部６４は、矢印１３０に示されるようにスイッチ６６がON状態であることが通知されている場合のみ、そのような処理を行う。例えば、スイッチ６６がOFF状態である場合、駆動制御部６４は、休止状態となり、AF制御処理部８３（通常モードピーク探索部９７やロングフィルタモードピーク探索部９８）の制御を受け付けない。

また、駆動制御部６４は、矢印１２９に示されるように、センサ６５よりフォーカス位置、ズーム位置（焦点距離）、およびアイリス値等のセンサ情報を取得すると、それを矢印１２８に示されるように、シリアルバスを介してAF制御処理部８３に供給する。AF制御処理部８３は、それらのセンサ情報から評価値算出用の設定データを生成し、それを矢印１１６に示されるように評価値算出部８１に供給する。

撮像装置５０においては、このようにAF処理が制御される。

図４は、図３の評価値算出部８１の詳細な構成例を示すブロック図である。

図４において、評価値算出部８１は、輝度値の高周波成分を抽出するハイパスフィルタ（HPF）１５１、輝度値を絶対値化する絶対値処理部１５２、絶対値化された各画素の輝度値を水平方向に加算する水平方向加算処理部１５３、および、水平方向に加算された輝度値を垂直方向に加算する垂直方向加算処理部１５４を有している。

つまり、評価値算出部８１は、信号処理部７３より画像信号が供給されるとその輝度値から、ハイパスフィルタ１５１において高周波成分を抽出し、抽出した高周波成分を絶対値処理部１５２において絶対値化し、その輝度値の絶対値を水平方向加算処理部１５３において水平方向に加算し、水平方向の加算値を垂直方向加算処理部１５４において垂直方向に加算する。これにより、フィールド画像に対する評価値が算出される。

図５は、図３の輝度積分値算出部８２の詳細な構成例を示すブロック図である。

図５において、輝度積分値算出部８２は、各画素の輝度値を水平方向に加算する水平方向加算処理部１６１、および水平方向に加算された輝度値を垂直方向に加算する垂直方向加算処理部１６２を有している。

つまり、輝度積分値算出部８２は、信号処理部７３より画像信号が供給されるとその輝度値を、水平方向加算処理部１５３において水平方向に加算し、水平方向の加算値を垂直方向加算処理部１５４において垂直方向に加算する。これにより、フィールド画像に対する輝度積分値が算出される。

図６は、図３の評価値局所ピーク探索部９２および輝度積分値局所ピーク探索部９４の詳細な構成例を示すブロック図である。

評価値局所ピーク探索部９２は、評価値取得部１７１、評価値局所ピーク検出部１７２、評価値局所ピーク位置特定部１７３、評価値局所ピーク数カウント部１７４、および評価値局所ピーク情報保持部１７５を有している。

評価値取得部１７１は、評価値保持部９１が保持している評価値を取得し、それを評価値局所ピーク検出部１７２に供給する。評価値局所ピーク検出部１７２は、供給された評価値に基づいて評価値の変動を追い、評価値の局所ピーク（評価値局所ピーク）を検出し、検出した評価値局所ピークについての情報を評価値局所ピーク位置特定部１７３および評価値局所ピーク数カウント部１７４に通知する。評価値局所ピーク位置特定部１７３は、評価値局所ピーク検出部１７２において検出された評価値局所ピークの位置（フィールド）を特定し、その評価値局所ピークの位置情報を評価値局所ピーク情報保持部１７５に供給し、保持させる。また、評価値局所ピーク数カウント部１７４は、評価値局所ピーク検出部１７２において検出された評価値局所ピークの数をカウントし、そのカウント値（評価値局所ピーク数）を評価値局所ピーク情報保持部１７５に供給し、保持させる。

評価値局所ピーク情報保持部１７５は、評価値局所ピーク位置特定部１７３や評価値局所ピーク数カウント部１７４より供給された評価値局所ピークの位置情報や数の情報を評価値局所ピーク情報として保持し、所定のタイミングで、その評価値局所ピーク情報を局所ピーク比較部９５に供給する。

輝度積分値局所ピーク探索部９４は、輝度積分値取得部１８１、輝度積分値局所ピーク検出部１８２、輝度積分値局所ピーク位置特定部１８３、輝度積分値局所ピーク数カウント部１８４、および輝度積分値局所ピーク情報保持部１８５を有している。

輝度積分値取得部１８１は、輝度積分値保持部９３が保持している輝度積分値を取得し、それを輝度積分値局所ピーク検出部１８２に供給する。輝度積分値局所ピーク検出部１８２は、供給された輝度積分値に基づいて輝度積分値の変動を追い、輝度積分値の局所ピーク（輝度積分値局所ピーク）を検出し、検出した輝度積分値局所ピークについての情報を輝度積分値局所ピーク位置特定部１８３および輝度積分値局所ピーク数カウント部１８４に通知する。輝度積分値局所ピーク位置特定部１８３は、輝度積分値局所ピーク検出部１８２において検出された輝度積分値局所ピークの位置（フィールド）を特定し、その輝度積分値局所ピークの位置情報を輝度積分値局所ピーク情報保持部１８５に供給し、保持させる。また、輝度積分値局所ピーク数カウント部１８４は、輝度積分値局所ピーク検出部１８２において検出された輝度積分値局所ピークの数をカウントし、そのカウント値（輝度積分値局所ピーク数）を輝度積分値局所ピーク情報保持部１８５に供給し、保持させる。

輝度積分値局所ピーク情報保持部１８５は、輝度積分値局所ピーク位置特定部１８３や輝度積分値局所ピーク数カウント部１８４より供給された輝度積分値局所ピークの位置情報や数の情報を輝度積分値局所ピーク情報として保持し、所定のタイミングで、その輝度積分値局所ピーク情報を局所ピーク比較部９５に供給する。

図７は、図３の局所ピーク比較部９５の詳細な構成例を示すブロック図である。

図７において局所ピーク比較部９５は、評価値ピークと輝度積分値ピークを比較することによりそれらの位置と数が互いに一致するか否かを確認する処理部であり、局所ピーク数最小値条件確認部１９１、局所ピーク数最小値条件保持部１９２、局所ピーク数比較部１９３、および局所ピーク位置比較部１９４、および比較確認結果出力部１９５を有している。

局所ピーク数最小値条件確認部１９１は、評価値局所ピーク探索部９２より評価値局所ピーク情報が供給され、輝度積分値局所ピーク探索部９４より輝度積分値局所ピーク情報が供給されると、局所ピーク数最小値条件保持部１９２に保持されている局所ピーク数最小値条件（検出された局所ピークが有効であると確認するための最小数）を取得し、その最小値条件と、評価値局所ピーク情報に含まれる評価値局所ピーク数、または、輝度積分値局所ピーク情報に含まれる輝度積分値局所ピーク数とを比較することで、それらの局所ピーク数が最小値条件を満たしているか否か（検出された局所ピークが少なすぎないこと）を確認する。局所ピーク数最小値条件確認部１９１は、評価値局所ピーク数および輝度積分値局所ピーク数がいずれも最小値条件を満たすことを確認した場合、局所ピーク情報（評価値局所ピーク情報および輝度積分値局所ピーク情報）を局所ピーク数比較部１９３に供給する。評価値局所ピーク数または輝度積分値局所ピーク数が最小値条件を満たしていない場合、その確認結果を比較確認結果出力部１９５に供給する。

局所ピーク数比較部１９３は、供給された局所ピーク情報に基づいて、評価値局所ピーク数と輝度積分値局所ピーク数を比較する。それらが同数であれば、局所ピーク数比較部１９３は、局所ピーク情報を局所ピーク位置比較部１９４に供給する。それらが同数でなければ局所ピーク数比較部１９３は、その比較結果を比較確認結果出力部１９５に供給する。

局所ピーク位置比較部１９４は、供給された局所ピーク情報に基づいて、評価値局所ピークの位置と輝度積分値局所ピークの位置を比較し、その比較結果を比較確認結果出力部１９５に供給する。

比較確認結果出力部１９５は、局所ピーク数最小値条件確認部１９１より供給された確認結果、局所ピーク数比較部１９３より供給された比較結果、または局所ピーク位置比較部１９４より供給された比較結果を局所ピークの比較確認結果としてモード選択部９６に出力する。モード選択部９６は、この比較確認結果に基づいて、ピーク探索のモード（通常モードまたはロングフィルタモード）の選択を行う。

つまり、図８に示されるように、局所ピーク比較部９５は、監視期間において、評価値の局所ピークの位置および数と、輝度積分値の局所ピークの位置および数とがそれぞれ一致するか否かを確認し、モード選択部９６は、それらが一致する場合、ロングフィルタモードを適用し、一致しない場合、通常モードを適用する。

図８において、曲線２０１は、監視期間（評価値取得部１７１が取得する評価値が対応するＮフィールド（Ｎ field，Ｎは自然数））における評価値の変動を示しており、ＰＫ１乃至ＰＫ３はそれぞれ評価値局所ピークのタイミングを示している。また、曲線２０２は、監視期間（輝度積分値取得部１８１が取得する輝度積分値が対応するフィールド区間）における輝度積分値の変動を示しており、ＰＫ４乃至ＰＫ６はそれぞれ輝度積分値局所ピークのタイミングを示している。つまり、例えば、監視期間内（Ｎフィールド）において、評価値と輝度積分値で局所ピークの数も位置も一致する場合、ＰＫ１とＰＫ４、ＰＫ２とＰＫ５、並びに、ＰＫ３とＰＫ６のタイミング（フィールド）がそれぞれ一致する。このような場合、モード選択部９６は、被写体が、ミラーボールや木漏れ日等の特殊な被写体であると判定し、ピーク探索のモードにロングフィルタモードを選択する。

図９乃至図１３を参照し、この様な選択方法の原理について説明する。

図９は、点滅する点光源を撮影した場合の撮影画像の様子を示す図である。図９において左側に示される撮影画像２１１Ａは、評価枠２１２内に撮影された点光源が消灯している（点光源２１３Ａ）撮影画像を示している。その撮影画像２１１Ａに対して、中央の白抜き両矢印を挟んで右側に示される撮影画像２１１Ｂは、評価枠２１２内に撮影された点光源が点灯している（点光源２１３Ｂ）撮影画像を示している。撮影画像２１１Ａおよび撮影画像２１１Ｂの背景はともに灰色で、その輝度値は白色よりも黒色に近い。

このように撮影される点光源が所定の周期で点滅すると、撮影画像は、中央の白抜き両矢印のように撮影画像２１１Ａの状態と撮影画像２１１Ｂの状態を繰り返す。点光源が、撮影画像２１１Ａの点光源２１３Ａのように消灯状態から、撮影画像２１１Ｂの点光源２１３Ｂのように点灯状態に移行する場合、輝度積分値はその点光源の分大きくなり、それと同時に、今までコントラストがほとんど無い状態（撮影画像２１１Ａ）から、はっきりとしたコントラストが発生した状態（撮影画像２１１Ｂ）になるので、その分、評価値も大きくなる。つまりこの場合、図１０に示されるように、評価値と輝度積分値の局所ピークの発生タイミングが同期する。図１０において、図１０Ａに示される輝度積分値のグラフの曲線２１５に出現するピークタイミングＴ１乃至Ｔ４は、図１０Ｂに示される評価値のグラフの曲線２１６に出現するピークタイミングＴ１１乃至Ｔ１４とそれぞれ一致する。

例えばミラーボールの光は点光源だけではなく、ある程度面積を持った光源であるが、上述した点光源の集合（点光源群）と考えることができ、それらのどの点光源も点灯すれば輝度積分値を上昇させ、評価値を上昇またはそのまま（点光源群の隣り合う点光源間にはコントラストが発生しないとする）にさせるので、点光源群全体としては、輝度積分値も評価値も上昇する。従って、ミラーボールの光（光源）の場合も、上述した点光源の場合と同様に、輝度積分値の局所ピークの発生タイミングと、評価値の局所ピークの発生タイミングが一致（同期）する。もちろん、ミラーボールのどの位置の光（光源）であっても同様である。つまり、このミラーボールや木漏れ日等のように、周期的または不定期に一瞬光るような輝度変化の激しい特殊な被写体の場合、評価値の局所ピークの発生タイミングが一致（同期）する。

このような特殊な被写体でない通常の被写体、つまり点灯や消灯を繰り返す点光源を実質的に含まない（輝度積分値や評価値の変動に影響を与えるほど多くの点光源を含まない）。以下においてこのような通常の被写体に含まれる画像の要素について説明する。

図１１は、撮影画像において、評価枠内で揺れ動いている、周囲（背景）より暗い被写体（暗被写体）について説明する図である。図１１Ａは、そのような撮影画像２２１Ａの様子を示す図である。撮影画像２２１Ａの評価枠２２２内には、両矢印２２４Ａのように揺れる暗被写体２２３Ａが存在する。この場合、撮影画像２２１Ａの評価値および輝度積分値は、図１１Ｂのグラフに示されるように変動しない。図１１Ｂにおいて直線２２５Ａが輝度積分値の変動の様子を示し、直線２２６Ａが評価値の変動の様子を示している。つまり、評価枠２２２内において暗被写体２２３Ａが揺れ動いても、評価値も輝度積分値も変動しない。

図１２は、この暗被写体２２３Ａが揺れ動いて評価枠２２２に出入りする場合について説明する図である。図１２Ａにおいて、撮影画像２２１Ｂの評価枠２２２には、暗被写体２２３Ａが両矢印２２４Ｂのように揺れ動いて出入りする。このとき、評価値と輝度積分値の両方が評価枠２２２内に対して算出されるとすると、このときの評価値と輝度積分値は、図１２Ｂのグラフに示されるように変化する。図１２Ｂにおいて、曲線２２５Ｂが輝度積分値の変動の様子を示し、曲線２２６Ｂが評価値の変動の様子を示している。つまり、周囲より暗い暗被写体２２３Ａが評価枠２２２内に入ると、暗被写体２２３Ａとその周囲の間にコントラストが発生するので評価値は上昇する。これに対して輝度積分値は、暗被写体２２３Ａが周囲より暗いので低下する。逆に暗被写体２２３Ａが評価枠２２２より外に出ると、評価枠２２２内にコントラストが無くなるので評価値は低下する。これに対して評価枠２２２内の暗い部分（暗被写体２２３Ａ）が減るので輝度積分値は上昇する。このように評価値と輝度積分値は、その変動タイミングは互いに同じであるものの、その増減が互いに逆となる。つまり、この場合、評価値と輝度積分値は互いに同期していない（評価値と輝度積分値が同じタイミングで大きくなり、同じタイミングで小さくならない）。

図１３は、周囲（背景）より明るい被写体（明被写体２２３Ｂ）が揺れ動いて評価枠２２２に出入りする場合について説明する図である。図１３Ａにおいて、撮影画像２２１Ｂの評価枠２２２には、明被写体２２３Ｂが両矢印２２４Ｂのように（図１２の場合と同様に）揺れ動いて出入りする。このとき、評価値と輝度積分値の両方が評価枠２２２内に対して算出されるとすると、このときの評価値と輝度積分値は、図１３Ｂのグラフに示されるように変化する。図１３Ｂにおいて、曲線２２５Ｃが輝度積分値の変動の様子を示し、曲線２２６Ｃが評価値の変動の様子を示している。つまり、周囲より明るい明被写体２２３Ｂが評価枠２２２内に入ると、明被写体２２３Ｂとその周囲の間にコントラストが発生するので評価値は上昇する。輝度積分値も、明被写体２２３Ｂが周囲より明るいので上昇する。逆に明被写体２２３Ｂが評価枠２２２より外に出ると、評価枠２２２内にコントラストが無くなるので評価値は低下する。同時に評価枠２２２内の明るい部分（明被写体２２３Ｂ）が少なくなるので輝度積分値も低下する。このように評価値と輝度積分値は、その増減のタイミングが互いに同じである。つまり、評価値と輝度積分値が互いに同期している。

通常の被写体（特殊な被写体でない被写体）は、上述したような様々な点（輝度でいうと白色も灰色も黒色もある）で構成されているので、評価値と輝度積分値が検出可能なほど顕著に同期する可能性は低い。

図１４乃至図１６により具体的な例を示す。図１４は、特殊な被写体（ミラーボール）を撮影しながらフォーカス位置を移動させた場合の評価値および輝度積分値の変動の様子を示すグラフである。図１４のグラフにおいて、評価値２３１は、評価値の変動の様子の例を示しており、輝度積分値２３２は、輝度積分値の変動の様子の例を示している。評価値２３１は、矢印２３３で示されるジャストピン（焦点が被写体に合焦する位置）において大きくなり全体に対するピークが発生する。これに対して輝度積分値２３２の全体に対するピークはこのジャストピンの位置において発生していない。しかしながら、評価値の局所ピーク（高周波成分のピーク）と輝度積分値の局所ピーク（高周波成分のピーク）は数も位置も一致している（同期している）。

これに対して、図１５は、通常の被写体（揺れる花）を撮影しながらフォーカス位置を移動させた場合の評価値および輝度積分値の変動の様子を示すグラフである。図１５のグラフにおいて、評価値２４１は、評価値の変動の様子の例を示しており、輝度積分値２４２は、輝度積分値の変動の様子の例を示している。図１５に示されるように、評価値２４１の局所ピーク（高周波成分のピーク）と輝度積分値２４２の局所ピーク（高周波成分のピーク）は数も位置も一致していない（同期していない）。図１６は、図１５の部分２４３を拡大したグラフである。図１６においては、評価値と輝度積分値の局所ピークが互いに同期していない様子がより顕著に示されている。

以上のように、評価値と輝度積分値の局所ピークは、ミラーボールのような特殊な被写体の場合のみ（検出可能なほど）同期し、揺れる花のような通常の被写体においては（検出可能なほど）同期しない。従って、評価値と輝度積分値の局所ピーク（局所ピークの数および位置）を比較して互いに同期しているか否かを判定することにより、モード選択部９６は、被写体がミラーボールや木漏れ日等の特殊な被写体であるか否かを、従来の輝度積分値の変動のみで判別する方法より正確に判別し、ピーク探索に、より的確にロングフィルタモードを適用することができる。つまり、撮像装置５０は、被写体の判別をより正確に行い、より適切なAF制御処理を行うことができる。

ロングフィルタモードが適用されると、図３のロングフィルタモードピーク探索部９８は、モード選択部９６の指示に従って、駆動制御部６４を制御し、ロングフィルタモードのピーク探索処理を行う。

このロングフィルタモードのピーク探索においては、フィールド毎に輝度正規化評価値の移動平均（段数１１段）の計算と、その最大値更新処理を行い、輝度正規化評価値が最大値の半分になったら、若しくは端に到達したら、次の処理に進む。この際、既に１回判定していればジャストポイントの位置の算出に処理が進められ、反転回数が０回であれば、移動方向設定処理が行われ、移動方向の反転が行われる。

なお、輝度正規化評価値とは、評価値（IIR1-W1-HPeak）にＹ輝度加算値（Y-W1-Hintg）の３２個の移動平均を乗算し、Ｙ輝度加算値（Y-W1-Hintg）の３個の移動平均で除算したものである。（Ｙ輝度加算値３２移動平均／Ｙ輝度加算値３移動平均）を乗算しているのは、ミラーによる強い反射光の影響を減少させるためである。

図１７は、以上の演算の様子の例を示すグラフである。図１７Ａのグラフに示される曲線２５１は、激しく変動する評価値の例を示しており、曲線２５２は、曲線２５１に（Ｙ輝度加算値３２移動平均／Ｙ輝度加算値３移動平均）を乗算したものである。フォーカス位置ＪＰ１は、評価値が全体に対するピークをとるフィールドである。図１７Ｂに示される曲線２５３は、曲線２５２からさらに１１の移動平均を取った輝度正規化評価値の変動の例を示している。このように移動平均をとることにより、変動（高周波成分）が小さくなり、全体に対するピーク（ＪＰ２）が曲線２５１と比較して探索しやすくなっている（誤検出の可能性が少なくより正確なピーク探索を行うことができる）。ただし、移動平均（１１）を取ることにより評価値のピーク位置が５フィールド遅れる。従って、ピーク位置の算出は、その分（５フィールド）の遅れを考慮して行われる。

このようなロングフィルタモードのピーク探索におけるフォーカスレンズ６１の動きの一例を図１８に示す。矢印２６１に示されるように、ピーク探索処理が開始されると、フォーカスレンズ６１は、等速度で動き出す。この場合、輝度正規化評価値は減少する方向なので最大値及び最大値位置は出発点のままとなる。フォーカスレンズ６１の移動は進行して輝度正規化評価値が最大値の半分になり、かつそれまで反転していないので、その位置から反転して再度スタートする。

反転後フォーカスレンズ６１は、矢印２６２のように、等速度で進み、正規化評価値ピークを通過してさらに進行する。輝度正規化評価値が最大値の半分となったら、今度はそれまでに反転しているのでピーク位置が算出される。ピーク位置が算出されると、フォーカスレンズ６１は、矢印２６３のように、そのピーク位置に移動され、ロングフィルター処理が終了される。

被写体がミラーボールや木漏れ日等の特殊な被写体であると判定された場合、以上のようなロングフィルタモードのピーク探索が行われる。このように、撮像装置５０は、被写体の判別をより正確に行い、より適切なAF制御処理を行うことができる。

次に、上述した各処理の流れについて説明する。最初に、図１９のフローチャートを参照して、撮像装置５０により実行されるフォーカス処理の流れの例を説明する。

ステップＳ１において、撮像装置５０は、準備処理を行う。準備処理の詳細は、図２０のフローチャートを参照して後述する。ステップＳ２において、評価値局所ピーク探索部９２は、評価値局所ピーク探索処理を行う。評価値局所ピーク探索処理の詳細は、図２１のフローチャートを参照して後述する。ステップＳ３において、輝度積分値局所ピーク探索部９４は、輝度積分値局所ピーク探索処理を行う。輝度積分値局所ピーク探索処理の詳細は、図２２のフローチャートを参照して後述する。ステップＳ４において、局所ピーク比較部９５は、局所ピーク比較処理を行う。局所ピーク比較処理の詳細は、図２３のフローチャートを参照して後述する。ステップＳ５において、モード選択部９６は、ステップＳ４の処理により得られる比較確認結果に基づいてピーク探索モードとして、通常モードおよびロングフィルタモードのいずれか一方を選択する。ステップＳ６においてモード選択部９６は、ステップＳ５の処理において通常モードを選択し、通常モードでピーク探索を行うか否かを判定し、通常モードでピーク探索を行うと判定した場合、ステップＳ７に処理を進める。ステップＳ７において、通常モードピーク探索部９７は、通常モードピーク探索処理を行い、処理終了後にフォーカス処理を終了する。また、ステップＳ６において通常モードでピーク探索を行わないと判定した場合、モード選択部９６は、処理をステップＳ８に進める。ステップＳ８においてロングフィルタモードピーク探索部９８は、ロングフィルタモード処理を行い、処理終了後にフォーカス処理を終了する。なお、ステップＳ８において実行されるロングフィルタモード処理の詳細は、図２４のフローチャートを参照して説明する。

次に図２０のフローチャートを参照して、図１９のステップＳ１において実行される準備処理の流れの例を説明する。

最初にステップＳ２１において駆動制御部６４は、レンズ駆動部６３を制御することによりフォーカスレンズ６１の位置を制御し、フォーカス位置を制御する。ステップＳ２２において、CCD７１は、入射される光を光電変換し、取り込み画像を取り込む。その取り込み画像は画像信号として評価値算出部８１および輝度積分値算出部８２に供給される。評価値算出部８１は、ステップＳ２３において評価値を算出する。評価値保持部９１は、ステップＳ２４において、その評価値を保持する。ステップＳ２５において、輝度積分値算出部８２は、供給さえる画像信号に基づいて輝度積分値を算出する。ステップＳ２６において輝度積分値保持部９３は、その輝度積分値を保持する。ステップＳ２７において、駆動制御部６４は、準備処理を終了するか否かを判定し、終了すると判定した場合、準備処理を終了し、処理を図１９のステップＳ１に戻し、ステップＳ２以降の処理を実行させる。

また、ステップＳ２７において、終了処理を実行しないと判定した場合、駆動制御部６４は、処理をステップＳ２１に戻し、それ以降の処理を繰り返す。

次に、図２１のフローチャートを参照して、図１９のステップＳ２において実行される評価値局所ピーク探索処理の流れの例について説明する。

最初に、図６の評価値取得部１７１は、ステップＳ４１において評価値を取得し、評価値局所ピーク検出部１７２は、ステップＳ４２において評価値局所ピークを検出し、評価値局所ピーク位置特定部１７３は、ステップＳ４３において評価値局所ピーク位置を特定し、評価値局所ピーク数カウント部１７４は、ステップＳ４４において評価値局所ピーク数をカウントし、評価値局所ピーク情報保持部１７５は、ステップＳ４５において評価値局所ピーク位置および評価値局所ピーク数を評価値局所ピーク情報として保持し、評価値局所ピーク探索処理を終了し、処理を図１９のステップＳ２に戻し、ステップＳ３以降の処理を繰り返す。

次に、図２２のフローチャートを参照して、図１９のステップＳ３において実行される輝度積分値局所ピーク探索処理の流れの例について説明する。

最初に、図６の輝度積分値取得部１８１は、ステップＳ６１において輝度積分値を取得し、輝度積分値局所ピーク検出部１８２は、ステップＳ６２において輝度積分値局所ピークを検出し、輝度積分値局所ピーク位置特定部１８３は、ステップＳ６３において輝度積分値局所ピーク位置を特定し、輝度積分値局所ピーク数カウント部１８４は、ステップＳ６４において輝度積分値局所ピーク数をカウントし、輝度積分値局所ピーク情報保持部１８５は、ステップＳ６５において輝度積分値局所ピーク位置および輝度積分値局所ピーク数を輝度積分値局所ピーク情報として保持し、輝度積分値局所ピーク探索処理を終了し、処理を図１９のステップＳ３に戻し、ステップＳ４以降の処理を繰り返す。

次に、図２３のフローチャートを参照して、図１９のステップＳ４において実行される局所ピーク比較処理の流れの例について説明する。

局所ピーク数最小値条件確認部１９１は、最初に、ステップＳ８１において、評価値局所ピーク情報および輝度積分値局所ピーク情報を取得する。次に、局所ピーク数最小値条件確認部１９１は、ステップＳ８２において、局所ピーク数最小値条件保持部１９２より局所ピーク数最小値条件を取得する。そして、局所ピーク数最小値条件確認部１９１は、ステップＳ８３において、評価値局所ピーク数および輝度積分値局所ピーク数を局所ピーク数最小値条件とそれぞれ比較する。

局所ピーク数最小値条件確認部１９１は、ステップＳ８４において、局所ピーク数の値が最小値条件より大きいか否かを判定し、大きいと判定した場合、処理をステップＳ８５に進める。ステップＳ８５において、局所ピーク数比較部１９３は、評価値局所ピーク数および輝度積分値局所ピーク数を比較する。ステップＳ８６において、局所ピーク数比較部１９３は、局所ピーク数が一致するか否かを判定し、一致すると判定した場合、処理をステップＳ８７に進める。局所ピーク位置比較部１９４は、ステップＳ８７において、評価値局所ピーク位置および輝度積分値局所ピーク位置を比較する。

また、ステップＳ８４において、局所ピーク数の値が最小値条件より小さいと判定した場合、つまり、十分な数の局所ピークを検出できなかったと判定した場合、局所ピーク数最小値条件確認部１９１は、処理をステップＳ８８に進める。さらに、ステップＳ８６において、局所ピーク数が一致しないと判定した場合、局所ピーク数比較部１９３は、処理をステップＳ８８に進める。

ステップＳ８８において、比較確認結果出力部１９５は、比較確認結果を出力し、処理を図１９のステップＳ４に戻し、ステップＳ５以降の処理を実行する。

次に、図２４のフローチャートを参照して、図１９のステップＳ８において実行されるロングフィルタモード処理の流れの例について説明する。

ロングフィルタモードのピーク探索を行うロングフィルタモード処理を開始ししたロングフィルタモードピーク探索部９８は、ステップＳ１０１において、フォーカスレンズ６１を動かす速度を設定するレンズ速度設定処理を行う。次に、ロングフィルタモードピーク探索部９８は、ステップＳ１０２において、フォーカスレンズ６１の（フォーカス位置の）移動方向を設定し、ステップＳ１０３において、上述したように輝度正規化評価値と移動平均（１１）を用いて山下り判定処理（評価値のピーク位置を過ぎたことを検出する処理）を行う。

ステップＳ１０４において、ロングフィルタモードピーク探索部９８は、現在の評価値が最大値候補の５０％以下になったか、または端に到達したか、かつ、反転回数が１回であるかを判定する。ロングフィルタモードピーク探索部９８は、上述したように、反転回数が１回以上で、かつ、現在の評価値が最大値候補の５０％以下になったか、または端に到達したかを判定することにより、評価値ピークを検出したか否かを判定する。評価値ピークを検出した（現在の評価値が最大値候補の５０％以下になったか、または端に到達したか、かつ、反転回数が１回であると判定した）場合、ロングフィルタモードピーク探索部９８は、処理をステップＳ１０５に進め、ジャストピン位置（被写体に焦点が合焦する位置）を算出し、ステップＳ１０６に進め、ジャストピン位置に合焦させ、ステップＳ１０７において、終了処理を行い、ロングフィルタモード処理を終了し、処理を図１９のステップＳ８に処理を戻し、フォーカス処理を終了する。

また、ステップＳ１０４において、評価値ピークを検出していない（現在の評価値が最大値候補の５０％より大きい、または端に到達していないか、かつ、反転回数が０回である）と判定した場合、ロングフィルタモードピーク探索部９８は、反転回数フラグに値「１」をセットし、処理をステップＳ１０２に戻しそれ以降の処理を繰り返す。

以上のように撮像装置５０は、各処理を実行する。これにより、撮像装置５０は、被写体がミラーボールや木漏れ日等の特殊な被写体であるか否かを、従来の輝度積分値の変動のみで判別する方法より正確に判別し、より的確なロングフィルタモード処理をを適用することができる。つまり、撮像装置５０は、被写体の判別をより正確に行い、より適切なAF制御処理を行うことができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、上述したように、装置本体とは別に、ユーザにプログラムを配信するために配布されるリムーバブルメディア１０７により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１０１や、記憶部１０４に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、上述した以外の構成を付加するようにしてももちろんよい。さらに、装置全体としての構成や動作が実質的に同じであれば、ある部分の構成の一部を他の部分の構成に含めるようにしてもよい。

ミラーボールを撮影した際の輝度積分値の変動を示すグラフである。 大きく揺らされた花を撮影した際の輝度積分値の変動を示すグラフである。 本発明を適用した撮像装置の一実施形態に係る構成例を示す図である。 図３の評価値算出部の詳細な構成例を示すブロック図である。 図３の輝度積分値算出部の詳細な構成例を示すブロック図である。 図３の評価値局所ピーク探索部の詳細な構成例を示すブロック図である。 図３の局所ピーク比較部の詳細な構成例を示すブロック図である。 ピークが同期する場合の波形の例について説明する図である。 撮影画像に含まれる点光源の点滅の様子の例を説明する図である。 輝度積分値と評価値のピーク位置の比較を示すグラフである。 評価枠内における暗被写体の変動を示す図である。 撮影画像に含まれる暗被写体が評価枠に出入りする際の例を示すグラフである。 撮影画像に含まれる明被写体が評価枠に出入りする際の例を示すグラフである。 ミラーボールを被写体としたときの撮影の様子の例を示す図である。 揺れる花を被写体としたといときのHD画像の例を示す図である。 揺れる花を被写体としたときのより具体的な例を示す図である。 評価値の変動が大きい場合のピーク探索方法につい説明する図である。 ピークが同期する場合の波形の例について説明する図である。 フォーカス処理の流れの例を説明するフローチャートである。 準備処理の流れの例を説明するフローチャートである。 評価値局所ピーク探索処理の流れの例を説明するフローチャートである。 輝度積分値局所ピーク探索処理の流れの例を説明するフローチャートである。 局所ピーク比較処理の流れを説明するフローチャートである。 ロングフィルタモード処理の流れを説明するフローチャートである。

符号の説明

５０ 撮像装置， ５１ AF駆動部， ５２ 画像処理部， ５３ AF制御部， ６１ フォーカスレンズ， ６２ ウォブリングレンズ， ６３ レンズ駆動部， ６４ 駆動制御部， ７３ 信号処理部， ８１ 評価値算出部， ８２ 輝度積分値算出部 ８３ AF制御処理部， ９１ 評価値保持部， ９２ 評価値局所ピーク探索部， ９３ 輝度積分値保持部， ９４ 輝度積分値局所ピーク探索部, ９５ 局所ピーク比較部， ９６ モード比較部， ９７ 通常モードピーク探索策部， ９８ ロングフィルタモードピーク探索部

Claims (11)

1. 撮像装置の光学素子を駆動させて被写体を撮像する際のフォーカス位置を調整する駆動部の制御に関する処理を実行する制御装置において、
   前記フォーカス位置の調整用のパラメータであり、前記被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と前記被写体の撮像画像の輝度値を前記フィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較手段と、
   前記局所ピーク比較手段による比較結果に基づいて、前記評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択手段と
   を備えることを特徴とする制御装置。
2. 前記局所ピーク比較手段は、前記評価値の局所ピークの位置および数と、前記輝度積分値の局所ピークの位置および数をそれぞれ互いに比較する
   ことを特徴とする請求項１に記載の制御装置。
3. 前記モード選択手段は、前記評価値の局所ピークの位置および数と、前記輝度積分値の局所ピークの位置および数とがそれぞれ一致する場合、前記被写体が、瞬間的に光る特殊な被写体であると認識し、前記特殊な被写体に対応するモードを選択し、前記評価値の局所ピークの位置および数と、前記輝度積分値の局所ピークの位置および数とがそれぞれ一致しない場合、前記被写体が、通常の被写体であると認識し、前記通常の被写体に対応するモードを選択する
   ことを特徴とする請求項２に記載の制御装置。
4. 前記特殊な被写体は、例えば、ミラーボールや木漏れ日である
   ことを特徴とする請求項３に記載の制御装置。
5. 前記特殊な被写体に対応するモードは、フィールド毎に輝度正規化評価値の移動平均を算出するロングフィルタモードである
   ことを特徴とする請求項３に記載の制御装置。
6. 前記評価値を算出する評価値算出手段と、
   前記輝度積分値を算出する輝度積分値算出手段と
   をさらに備え、
   前記局所ピーク比較手段は、前記評価値算出手段により算出された前記評価値と、前記輝度積分値算出手段により算出された前記輝度積分値の局所ピークを互いに比較する
   ことを特徴とする請求項１に記載の制御装置。
7. 前記評価値算出手段により算出された前記評価値の前記局所ピークを検出する評価値局所ピーク検出手段と、
   前記輝度積分値算出手段により算出された前記輝度積分値の前記局所ピークを検出する輝度積分値局所ピーク検出手段と
   をさらに備え、
   前記局所ピーク比較手段は、前記評価値局所ピーク検出手段により検出された前記評価値の局所ピークと、前記輝度積分値局所ピーク検出手段により検出された前記輝度積分値の局所ピークを互いに比較する
   ことを特徴とする請求項６に記載の制御装置。
8. 前記モード選択手段により選択されたモードで前記評価値の全体に対するピークを探索するピーク探索手段をさらに備える
   ことを特徴とする請求項１に記載の制御装置。
9. 撮像装置の光学素子を駆動させて被写体を撮像する際のフォーカス位置を調整する駆動部の制御に関する処理を実行する制御装置の制御方法であって、
   前記フォーカス位置の調整用のパラメータであり、前記被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と前記被写体の撮像画像の輝度値を前記フィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較ステップと、
   前記局所ピーク比較ステップの処理による比較結果に基づいて、前記評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択ステップと
   を含むことを特徴とする制御方法。
10. 撮像装置の光学素子を駆動させて被写体を撮像する際のフォーカス位置を調整する駆動部の制御に関する処理をコンピュータに行わせるプログラムであって、
    前記フォーカス位置の調整用のパラメータであり、前記被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と前記被写体の撮像画像の輝度値を前記フィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較ステップと、
    前記局所ピーク比較ステップの処理による比較結果に基づいて、前記評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択ステップと
    を含むことを特徴とするプログラム。
11. 被写体を撮像する撮像部と、光学素子を駆動させて、前記撮像部により前記被写体を撮像する際のフォーカス位置を調整する駆動部を有するカメラにおいて、
    前記フォーカス位置の調整用のパラメータであり、前記被写体の撮像画像のぼけ度合いをフィールド画像毎に評価する評価値と前記被写体の撮像画像の輝度値を前記フィールド画像毎に積分した輝度積分値のそれぞれの局所的なピークである局所ピークを互いに比較する局所ピーク比較手段と、
    前記局所ピーク比較手段による比較結果に基づいて、前記評価値の全体に対するピークを探索するモードを、予め複数用意されたモードの中から選択するモード選択手段と、
    前記モード選択手段により選択されたモードで前記駆動部を制御し、前記評価値の全体に対するピークを探索するピーク探索手段と
    を備えることを特徴とするカメラ。

Images