図1は本実施例の撮像装置の概略構成図である。1は撮像装置、2はズームレンズ群、3はフォーカスレンズ群、4はズームレンズ群2フォーカスレンズ群3等からなる撮影光学系を透過する光束の量を制御する光量調節手段であり露出手段である絞りである。31はズームレンズ群2フォーカスレンズ群3絞り4等からなる撮影レンズ鏡筒である。5は撮影光学系を透過した被写体像が結像し、これを光電変換する固体撮像素子(以下センサー)、6はこのセンサー5によって光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する撮像回路である。7はこの撮像回路6により生成されたアナログ画像信号をデジタル画像信号に変化するA/D変換回路、8はこのA/D変換回路7の出力を受けてこの画像信号を一時的に記憶するバッファメモリ等のメモリ(VRAM)である。9はこのVRAM8に記憶された画像信号を読み出してこれをアナログ信号に変換するとともに再生出力に適する形態の画像信号に変換するD/A変換回路、10はこの画像信号を表示する液晶表示装置(LCD)等の画像表示装置(以下LCD)である。12は半導体メモリ等からなる画像データを記憶する記憶用メモリである。11は圧縮伸長回路である。11はVRAM8に記憶された画像信号を読み出して記憶用メモリ12への記憶に適した形態にするための圧縮処理や符号化処理を施す圧縮回路を有する。また、11は記憶用メモリ12に記憶された画像データを再生表示をするのに最適な形態とするための復号化処理や伸長処理を施す伸長回路を有する。13はA/D変換回路7からの出力を受けて自動露出(AE)処理を行うAE処理回路である。14はA/D変換回路7からの出力を受けてAF評価値生成する自動焦点調節(AF)処理を行うスキャンAF処理回路である。ここで、AF評価値は、フォーカスレンズ群を含む撮影光学系の焦点状態を示す。15は撮像装置の制御を行う演算用のメモリを内蔵したCPUである。16は所定のタイミング信号を発生するタイミングジェネレータ(以下TG)である。17はセンサードライバーである。21は絞り4を駆動する絞り駆動モータである。18は絞り駆動モータ21を駆動制御する第一モータ駆動回路である。22はフォーカスレンズ群3を駆動するフォーカス駆動モータである。19はフォーカス駆動モータ22を駆動制御する第二モータ駆動回路である。23はズームレンズ群2を駆動するズーム駆動モータ、20はズーム駆動モータ23を駆動制御する第三モータ駆動回路である。24は各種のスイッチ群からなる操作スイッチ、25は各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリ(EEPROM)である。26は電池、28はストロボ発光部、27はストロボ発光部28の閃光発光を制御するスイッチング回路、29は警告表示などを行うLEDなどの表示素子、30は音声によるガイダンスや警告などを行うためのスピーカーである。33はAF評価値を取得する際に被写体の全部又は一部を照明する照明手段であるLEDなどの光源で構成されるAF補助光である。32はAF補助光33を駆動するためのAF補助光駆動回路である。35は手振れなどを検出する振れ検出センサーである。34は振れ検出センサー35の信号を処理する振れ検出回路である。36はA/D変換回路7からの出力を受けて画面上での顔位置や顔の大きさなどを検出する顔検出回路である。
なお、画像データ等の記憶媒体である記憶用メモリは、フラッシュメモリ等の固定型の半導体メモリや、カード形状やスティック形状からなり装置に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリが適用される。また、ハードディスクやフロッピィ−ディスク等の磁気記憶媒体等でもよい。
また、操作スイッチ24としては、本撮像装置1を起動させ電源供給を行うための主電源スイッチや撮影動作(記憶動作)等を開始させるレリーズスイッチがある。また操作スイッチ24には、再生動作を開始させる再生スイッチ、撮影光学系のズームレンズ群2を移動させズームを行わせるズームスイッチ等がある。
そしてレリーズスイッチは撮影動作に先立ち行われるAE処理、AF処理を開始させる指示信号を発生する第一ストローク(以下SW1)と実際の露光動作を開始させる指示信号を発生する第ニストローク(以下SW2)との二段スイッチにより構成される。
このように構成された本実施例における動作を以下に説明する。
まず、撮像装置1の撮影レンズ鏡筒31を透過した被写体光束は絞り部4によってその光量が調整された後、センサー5の受光面に結像される。この被写体像は、センサー5による光電変換処理により電気的な信号に変換され撮像回路6に出力される。撮像回路6では、入力した信号に対して各種の信号処理が施され、所定の画像信号が生成される。この画像信号はA/D変換回路7に出力されデジタル信号(画像データ)に変換された後、VRAM8に一時的に格納される。VRAM8に格納された画像データはD/A変換回路9へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、LCDに画像として表示される。一方VRAM8に格納された画像データは圧縮伸長回路11にも出力される。この圧縮伸長回路11における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ12に記憶される。
また、例えば操作スイッチ24のうち不図示の再生スイッチが操作されオン状態になると、再生動作が開始される。すると記憶用メモリ12に圧縮された形で記憶された画像データは圧縮伸長回路11に出力され、伸長回路において復号化処理や伸長処理等が施された後、VRAM8に出力され一時的に記憶される。更に、この画像データはD/A変換回路9へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、LCD10に画像として表示される。
他方、A/D変換回路7によってデジタル化された画像データは、上述のVRAM8とは別にAE処理回路13、スキャンAF処理回路14及び顔検出回路36に対しても出力される。まずAE処理回路13においては、入力されたデジタル画像信号を受けて、一画面分の画像データの輝度値に対して累積加算等の演算処理が行われる。これにより、被写体の明るさに応じたAE評価値が算出される。このAE評価値はCPU15に出力される。
またスキャンAF処理回路14においては、入力されたデジタル画像信号を受けて、画像データの高周波成分がハイパスフィルター(HPF)等を介して抽出され、更に累積加算等の演算処理を行い、高域側の輪郭成分量等に対応するAF評価値信号が算出される。具体的にはスキャンAF処理はAF領域として指定された画面の一部分の領域に相当する画像データの高周波成分をハイパスフィルター(HPF)等を介して抽出し、更に累積加算等の演算処理を行う。これにより、高域側の輪郭成分量等に対応するAF評価値信号が算出される。このAF領域は中央部分あるいは画面上の任意の部分の一箇所である場合や、中央部分あるいは画面上の任意の部分とそれに隣接する複数箇所である場合、離散的に分布する複数箇所である場合などがある。
このようにスキャンAF処理回路14は、AF処理を行う過程において、センサー5によって生成された画像信号から所定の高周波成分を検出する高周波成分検出手段の役割を担っている。
顔検出回路36においては、入力されたデジタル画像信号を受けて、目、眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。
一方、TG16からは所定のタイミング信号がCPU15、撮像回路6、センサードライバー17へ出力されており、CPU15はこのタイミング信号に同期させて各種の制御を行う。また撮像回路6は、TG16からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらにセンサードライバー17は、TG16のタイミング信号を受けこれに同期してセンサー5を駆動する。
またCPU15は、第一モータ駆動回路18、第二モータ駆動回路19、第三モータ駆動回路20をそれぞれ制御する。これにより、絞り駆動モータ21、フォーカス駆動モータ22、ズーム駆動モータ23を介して、絞り4、フォーカスレンズ群3、ズームレンズ群2を駆動制御する。すなわちCPU15はAE処理回路13において算出されたAE評価値等に基づき第一モータ駆動回路18を制御して絞り駆動モータ21を駆動し、絞り4の絞り量を適正になるように調整するAE制御を行う。またCPU15はスキャンAF処理回路14において算出されるAF評価値信号に基づき第二モータ駆動回路19を制御してフォーカス駆動モータ22を駆動し、フォーカスレンズ群3を合焦位置に移動させるAF制御を行う。また操作スイッチ24のうち不図示のズームスイッチが操作された場合は、これを受けてCPU15は、第三モータ駆動回路20を制御してズーム駆動モータ23を駆動制御することによりズームレンズ群2を移動させ、撮影光学系の変倍動作(ズーム動作)を行う。
次に本撮像装置の実際の撮影動作を図2に示すフローチャートを用いて説明する。
なお本実施例の説明においては、フォーカスレンズ群3を所定位置に駆動しながらAF評価値を取得する動作をスキャンという。また、AF評価値を取得するフォーカスレンズの位置の間隔をスキャン間隔、AF評価値を取得する数をスキャンポイント数、AF評価値を取得する範囲をスキャン範囲、合焦位置を検出するための画像信号を取得する領域(焦点検出領域)をAF枠という。
本撮像装置1の主電源スイッチがオン状態であり、かつ撮像装置の動作モードが撮影(録画)モードにあるときは、撮影処理シーケンスが実行される。
まずステップS201においてCPU15は、撮影レンズ鏡筒31を透過しセンサー5上に結像した像をLCDに画像として表示する。すなわちセンサー5上に結像した被写体像は、センサー5による光電変換処理され電気的な信号に変換された後、撮像回路6に出力される。そこで入力した信号に対して各種の信号処理が施され、所定の画像信号が生成された後、A/D変換回路7に出力されデジタル信号(画像データ)に変換されVRAM8に一時的に格納される。VRAM8に格納された画像データはD/A変換回路9へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、LCDに画像として表示される。
次いでステップS202において、レリーズスイッチの状態を確認する。撮影者によってレリーズスイッチが操作され、SW1(レリーズスイッチの第一ストローク)がオン状態になったことをCPU15が確認すると、次のステップS203に進み、スキャンAFに適した露光条件を設定するためのAF用AE処理が実行される。そのためにステップS201のLCD表示を行った際の絞り4の値、センサー5の蓄積時間、撮像回路6における信号増幅率を必要に応じて変更する。そしてその変更を順次行うのではなく並行して変更することで処理の時間を短縮している。
続いてステップS204においてスキャンAF処理を行う。
すなわちCPU15は、ステップS204で合焦位置を検出するためのスキャンAF処理を行う。その概略を図3を用いて説明する。スキャンAFはセンサー5によって生成された画像信号から出力される高周波成分が最も多くなるフォーカスレンズ群3の位置を求めることにより行われる。CPU15はフォーカス駆動モータ22を駆動制御する第ニモータ駆動回路19を介してフォーカス駆動モータ22を制御する。これにより、フォーカスレンズ群3を無限遠に相当する位置(図3における「A」)から各々の撮影モードにおいて設定される至近距離に相当する位置(図3における「B」)まで駆動する。そして駆動しながらスキャンAF処理回路の出力(AF評価値信号)を取得し、フォーカスレンズ群3の駆動が終了した時点で取得したAF評価値信号から、それが最大になる位置(図3における「C」)を求め、その位置にフォーカスレンズ群3を駆動する。
このAF処理回路の出力の取得はスキャンAFの高速化のために、全てのフォーカスレンズ群3の停止位置については行わず、所定のスキャン間隔毎に出力を取得する。この場合、図3に示すa1、a2、a3点においてAF評価値信号を取得することがありうる。このような場合はAF評価値信号が最大値となった点とその前後の点から合焦位置Cを計算にて求めている。
今フォーカスレンズ群3の位置がX1の時にAF評価値が最大になりその値がY1であり(図3a1)、その前後の位置X2、X3で取得したAF評価値がY2、Y3の時(図3a2、a3)、合焦位置Cのフォーカスレンズ群3の位置X0は
と求められる。但しY1>Y3、Y1≧Y2である。
このように補間計算を行いAF評価値信号が最大値となる点(図3のC)を求める前にAF評価値信号の信頼性を評価する。その信頼性が十分であれば、AF評価値信号が最大値となる点を求め、ステップS205においてAFOK表示を行う。これは表示素子29を点灯することなどにより行うと同時にLCD上に緑の枠を表示するなどの処理を行う。
またステップS204においてAF評価値信号の信頼性を評価した結果その信頼性が低い場合には、AF評価値信号が最大値となる点を求める処理は行わず、ステップS205に進みAFNG表示を行う。これは表示素子29を点滅表示することなどにより行うと同時にLCD上に黄色の枠を表示するなどの処理を行う。
なおステップS204におけるAF評価値信号の信頼性判定方法については特許文献(特許第04235422号など)に記載されているので、説明は割愛する。
CPU15はステップS206において、SW1(レリーズスイッチの第一ストローク)のオン状態が保持されているかをチェックする。保持されていればステップS207に進む。
ステップS207において、SW2(レリーズスイッチの第ニストローク)の確認を行い、SW2がオンになっていたならば、ステップS208に進み、連続撮影の枚数をカウントするカウンター連写カウンターの値を1に初期化する。その後ステップS209に進み撮影用AE処理を実行し露光条件を決定した後、ステップS210において実際の露光処理を実行するとともに、連写カウンターの値を+1する。
露光処理が終了したならばステップS211に進み、再びSW2(レリーズスイッチの第ニストローク)の確認を行う。SW2がオフになっていたならばSW1オン以降の処理を終了し、ステップS206に戻る。
SW2オン状態が維持されたままならばステップS212に進み撮影と撮影の間に行われるAFに関する処理(連写間AF処理)を行う。
そして、連写間AF処理の終了後、ステップS209に戻りAE処理を実行し露光条件を決定した後実際の露光処理を実行する。
但し当然ではあるが、この連写間AF処理を行うのは、撮影者によって連続撮影が指示されている場合のみである。連続撮影が指示されていない場合(一枚撮影モードが撮影者により指定されている場合など)は、ステップS209・S210のAE処理・露光処理が終了した後ステップS211でSW2の状態を調べる。SW2オン状態が維持されたままならば、SW2オフ状態になるまで待機する。
またステップS207においてSW2がオンになっていなければ、SW2がオンになるまで待機する。但し、この間にSW1がオフの状態になったならばステップS201に戻る。
ここで、ステップS212で行われる連写間AFの詳細に関して図4を用いて説明する。
前述のように連続撮影が指示されていない場合は、連写間AF処理は行われないので、連続撮影が指示されている場合の動作を説明する。
この処理は連続撮影の2枚目以降にしか実行されないので、初めにこの処理が実行されたときは連続撮影の2枚目の処理となる。またこのときの連写カウンターの値は2である。
ステップS401では、連続撮影の2枚目の撮影であるかどうか調べる。連続撮影の2枚目(連写カウンターの値が2)であればステップS402へ進み、連続撮影の2枚目でなければステップS403へ進む。
ステップS402では、連続撮影の1枚目の撮影の際のフォーカスレンズ3の位置(ピーク位置FP1)をスキャン範囲の中心ObjP2として設定する。スキャン範囲は連続撮影の際の撮影間隔を延ばさない(時間内に収まる)ことを優先して設定される。これは、連続撮影間内に行われる処理を考慮して、撮影間にAF動作が終了するようにスキャンポイント数を定め、更にAF動作(合焦位置探索)が可能なスキャン間隔を設定することで行われる。連続撮影間内に行われる処理には、例えば撮像素子からの画像信号の読み出し時間や、次の撮影動作のためのチェック時間等がある。スキャン範囲は(スキャンポイント数−1)とスキャン間隔の積となる。但し、設定されたスキャン範囲が全域(合焦すべき至近端から無限遠端までの全範囲)を越える場合は全域をスキャン範囲とする。また設定されたスキャン範囲の端が、合焦すべき至近端、無限遠端に相当する位置を越える場合はスキャン範囲をシフトして合焦すべき至近端、無限遠端に相当する位置をスキャン範囲の端が越えないようにする。
なおここで用いるピーク位置FP1、スキャン範囲の中心ObjP2等は、全てS411のスキャンにおいて全体枠の出力信号から得られるAF評価値から求められるものである。以降の説明においても特に断りのない限り用いられるピーク位置、スキャン範囲の中心等は、全てS411のスキャンにおいて全体枠の出力信号から得られるAF評価値から求められるものである。
スキャン範囲の設定が終了したならばステップS411へ進む。
ステップS403では、連続撮影の3枚目(連写カウンターの値が3)であるかどうか調べる。連続撮影の3枚目であればステップS404へ進み、連続撮影の3回目でなければステップS405へ進む。
連続撮影の3枚目の場合は、合焦位置履歴情報として連続撮影の1回目、2回目の2つの合焦位置(ピーク位置FP1、FP2)に関する情報がある。よってステップS404では、連続撮影間の時間は一定であるとして、2つの合焦位置に関する情報から1次近似により被写体位置の予測(3回目の撮影の際のピーク位置の予測)を行ってスキャン範囲の中心位置ObjP3を式(2)より求める。このように複数回の合焦位置へのフォーカスレンズ3の制御で得られたフォーカスレンズ3の複数の合焦位置に基づいて次の撮影におけるフォーカスレンズ3の合焦位置を予測する。
ObjP3=FP2+(FP2−FP1)×FpAdj3 式(2)
但しパラメータFpAdj3は、被写体位置の予測の結果と直前の合焦位置の重み付け設定のパラメータであり、0〜1の値をとる。このようにして演算された中心位置ObjP3に基づいてスキャン範囲が設定され、前回のスキャン範囲から被写体像が移動する方向にずらされる。
ステップS404では、ステップS402と同様にスキャン範囲は連続撮影の際の撮影間隔を延ばさないことを優先して設定される。その後ステップS411へ進む。
一方、ステップS405では、4枚目以降の撮影であるので合焦位置履歴情報として少なくとも3回の合焦位置に関する情報がある。したがって、連続撮影間の時間は一定であるとすれば、2次近似により被写体位置の予測(今回の撮影の際のピーク位置の予測)を行う。例えば4枚目の撮影の際のスキャン範囲の中心位置ObjP4は式(3)より求められる。このようにして演算された中心位置ObjP4に基づいてスキャン範囲が設定され、前回のスキャン範囲から被写体像が移動する方向にずらされる。
ObjP4=(FP1−3FP2+3FP3)×FpAdj4+FP3(1−FpAdj4)
=(FP1−3FP2+2FP3)×FpAdj4+FP3 式(3)
ここでは今までと異なりスキャン範囲の設定は行わない。
ついでステップS406において、3枚目の撮影の合焦位置FP3と、4枚目の撮影の際のスキャン範囲の中心位置ObjP4の差の絶対値を求め、これを被写体の光軸方向の移動量とする。
そしてステップS407においてステップS406で求められた被写体の光軸方向の移動量を所定値と比較することで、被写体が光軸方向に大きく移動しているか否かを判定する。その結果被写体の光軸方向の移動量が所定値より大きい場合はステップS408へ進み、スキャン範囲の設定を行う。この場合の設定の仕方はステップS402、ステップS404で行われた設定の仕方と同様で、連続撮影の際の撮影間隔を延ばさないことを優先して設定される。その後ステップS411へ進む。
被写体の光軸方向の移動量が所定値より小さい場合はステップS409へ進み、静止被写体か移動被写体かの判定及びスキャン範囲の設定を行う。
このような処理を行うのは、移動した主被写体がそのスキャン範囲外になってしまい、合焦しないという弊害を解決するため、移動した主被写体をスキャン範囲に含むように設定される必要があるからである。しかし、静止した被写体の場合に、このようなスキャン範囲の設定を行うと不要な動作時間を増やしてしまう弊害があるからである。
移動被写体の場合の現象は以下の様にして生じる。
1枚目の撮影において、背景の被写体のAF領域に占める割合が大きい場合などは背景に合焦してしまい、その後も背景に合焦し続けることがある。これは背景の被写体のAF領域に占める割合が大きいために、1枚目の撮影で背景に合焦し、その後も背景のAF領域に占める割合が大きいため主被写体ではなく背景に合焦する。そして主被写体が移動しAF領域に占める割合が背景より大きくなった時には移動した主被写体は、ステップS404等で設定されるスキャン範囲ではその外になってしまい合焦しない。
よってステップS407において比較に用いるこの所定値は、連写間AFの結果が背景に張り付いていないか否かを判定するためのものとなる。その値は、合焦位置や予測位置の検出誤差等を考慮して被写体が動いていないと判断できる値となる。
ステップS409の動作を図7を用いて説明する。
また本実施例におけるAF枠の配置を図11に示す。図に示すように、連写間のAFに用いるAF枠(図で点線で表示)を水平・垂直とも3分割し、9つのAF枠を撮影画面内につくる。よってAF評価値は各枠から取得されるので、ひとつのスキャンポイントにおいて9つのAF評価値を得ることができる。そして、その9つのAF評価値を加算して全体の枠(図で点線表示)でのAF評価値とする。
ステップS701以下の処理ではまず分割された各枠の信頼性を調べる。次いで信頼性のあるAF枠での各枠の移動量を調べることで、撮影対象の被写体が移動しているか静止しているかを判定し、更に被写体が移動被写体と判定された場合は分割された各枠の情報を用いて被写体の移動量を予測している。
まずステップS701において初期化の処理を行う。使用するカウンターのリセット等の他に、判定するAF枠を初期化を行う。図11に示すようにAF枠が9分割されている場合は“00枠”にAF枠位置を設定する。
ステップS702では、特許文献(特許第04235422号など)に記載されている方法で評価された該当するAF枠の前回撮影時のスキャンにおける信頼性を評価する。そして、信頼性がないと判定された場合は、ステップS707へ、信頼性があると判定された場合はステップS703へ進む。
ステップS703では、処理しているAF枠における被写体の移動量ΔFPmnを求める。
詳細には、ステップS703では、4枚目以降の撮影であるので少なくとも3回のスキャンを行っているため、処理しているAF枠におけるピーク位置に関する情報が少なくとも3回分はある。したがって、連続撮影間の時間は一定であるとすれば、2次近似により処理しているAF枠内の被写体位置の予測を行う。例えば4枚目の撮影の際の被写体の予測位置ObjP4mnは式(4)より求められる。
ObjP4mn=FP1mn−3・FP2mn+3・FP3mn 式(4)
但し、FP1mn−は1枚目、FP2mnは2枚目、FP3mnは3枚目の撮影の際のスキャンにより求められた処理しているAF枠におけるピーク位置である。
そして、3枚目の撮影の際のスキャンにより求められた処理しているAF枠におけるピーク位置FP3mnと、4枚目の撮影の際のスキャン範囲の中心位置ObjP4mnの差の絶対値を求める。これにより、これを処理しているAF枠における被写体の光軸方向の移動量ΔFPmnとする。
ついでステップS704で、求められた移動量ΔFPmnを所定値と比較し、所定値以上ならばステップS705へ進み、移動被写カウンターをカウントアップする。逆に所定値未満ならステップS706へ進み静止被写体カウンターをカウントアップする。
ここで用いる所定値は、図4のステップS407で用いる所定値よりは小さい値とする。全体枠が背景に引っ張れた移動被写体の場合、2枚目以降のスキャン範囲は全体枠のAF評価値のピーク位置(合焦位置)によって決定されるので、分割された各枠はスキャン範囲が足りず2枚目3枚目は登り止まりの可能性がある。この場合、計算上の被写体の移動量は実際の移動量より小さい値になる可能性があるからである。例えばステップS407の所定値が開放深度の5倍の場合、その半分の開放深度の2.5倍に設定する。
次いでステップS707で、分割された全てのAF枠について処理が終了したかをチェックし、終了していなければステップS716へ進み、処理するAF枠を更新する。例えば、00枠の処理が終了したならば01枠に、01枠の処理が終了したならば02枠に、02枠の処理が終了したならば10枠に、処理するするAF枠位置を更新する。
このステップS702〜S705・S706の処理が全ての分割されたAF枠について行われたならば、ステップS707からS708へ進み、連続撮影している被写体が静止被写体か否かの判定を行う。この処理の詳細は後述する。
ステップS709では、ステップS708の処理の結果、静止被写体と判定されたならば、ステップS710へ進む。
ステップS710では、静止被写体に対するスキャン範囲の設定を行う。この場合の設定の仕方はステップS402、S404、S408で行われた設定の仕方と同様で、連続撮影の際の撮影間隔を延ばさないことを優先して設定される。例えば4枚目の撮影であれば、ステップS405で求められた4枚目の撮影の際の被写体の予測位置ObjP4を中心にスキャン範囲は連続撮影の際の撮影間隔を延ばさないことを優先して設定される。
一方、ステップS709でステップS708の処理の結果、移動被写体と判定されたならば、ステップS711へ進む。
ステップS711では、分割された各枠の情報から移動被写体の今回の撮影におけるAF評価値のピーク位置の予測が可能か判定する。この処理の詳細は後述する。
移動被写体のピーク位置の予測が可能と判定された場合はステップS712からステップS715へ進み、後述する(7)式を用いてスキャン中心位置を予測し、その後ステップS710へ進む。
ステップS710では、静止被写体・AF評価値のピーク位置が予測でき被写体の移動に追従できている場合のスキャン範囲の設定を行う。この場合の設定の仕方はステップS402、S404、S408で行われた設定の仕方と同様で、ステップS715で求められた4枚目の撮影の際の被写体の予測位置ObjP4を中心にスキャン範囲は連続撮影の際の撮影間隔を延ばさないことを優先して設定される。
移動被写体のピーク位置の予測が可能と判定されなかった場合はステップS712からステップS713へ進み、移動被写体に対するスキャン範囲の設定を行う。ここでは背景張り付きが起き移動被写体に追従できていないと判断されているので、連写速度よりも合焦性能が重要視される。従って被写体へ確実に合焦できるように、焦点距離と撮影距離、想定する被写体の移動速度などを考慮して、スキャン範囲を設定する。
具体的には以下のようにして設定させる。図5にその処理手順を示す。
まずステップS501において初期のスキャン範囲の設定を行う。
ステップS710と同様に、撮影間にAF動作が終了するようにスキャンポイント数を定め、更にAF動作(合焦位置探索)が可能なスキャン間隔を設定することで行われる。スキャン範囲は(スキャンポイント数−1)とスキャン間隔の積となる。このようにして設定されたスキャン範囲が全域(合焦すべき至近端から無限遠端までの範囲)を越える場合、またはスキャン範囲をシフトすることで全域をカバーできる場合は全域をスキャン範囲とする(ステップS502→ステップS503)。
上記の設定で全域をカバーできない場合は、ステップS504においてスキャン間隔は変えずにスキャンポイント数を1増やす。そして(スキャンポイント数−1)とスキャン間隔の積で求まるスキャン範囲が全域を越える、またはスキャン範囲をシフトすることで全域をカバーできる場合は全域をスキャン範囲とする(ステップS505→ステップS503)。ここで、全域とは、(合焦すべき至近端から無限遠端までの範囲)のことである。
スキャンポイント数を1増やしても全域をカバーしない場合は、ステップS504においてスキャン間隔は変えずにスキャンポイント数を1増やす前のスキャンポイント数(初期スキャンポイント数)の2倍にする(ステップS506)。そして、(スキャンポイント数−1)とスキャン間隔の積で求まるスキャン範囲が全域を越える、またはスキャン範囲をシフトすることで全域をカバーできる場合は全域をスキャン範囲とする(ステップS507→ステップS503)。
全域をカバーしない場合は、ステップS508で、設定されたスキャン範囲が全域の2分の1以上か否かを判定する。全域の2分の1以上の場合はその時点で設定されているスキャン範囲(初期スキャン範囲の2倍)をそのままスキャン範囲とする。ステップS508で、設定されたスキャン範囲が全域の2分の1未満と判定された場合は、全域のスキャン範囲の2分の1をスキャン範囲とする(ステップS509)。
以上の様にしてステップS713の処理が終了したならば、ステップS714において連写カウンターを1に初期化する。これにより、移動被写体であるにも関わらず背景に合焦し続けるなどして被写体が移動していないと判断された場合は、その時の撮影は連続撮影の1枚目ではないが、1枚目の撮影として扱われる。よって次の撮影も2枚目の撮影として扱われる。以下の撮影も同様である。
上記のような処理が終了したならばステップS411へ進む。
そして、ステップS411において、後述する図6のフローチャートに従ってスキャンを行う。まず分割された各枠のAF評価値を取得する。次いで全体枠のAF評価値を計算する。同じフォーカスレンズ群3における分割された各枠でのAF評価値を加算して、それをそのフォーカスレンズ群3の位置における全体枠のAF評価値とする。その後、分割された各枠のAF評価値のピーク位置と全体枠のAF評価値のピーク位置を求める。図11のように9つに分割されていれば、合計10個のAF評価値のピーク位置を求めることになる。
そして、ステップS412で全体枠のピーク位置へフォーカスレンズ3を移動する。
なお、連続撮影の2枚目以降においては、定点へのフォーカスレンズ3の駆動を行わない。これは連続撮影中は同じような像面位置に被写体が存在すると考えられるので、フォーカスレンズを定点に駆動するよりも、前回の合焦位置(フォーカスレンズ駆動位置)の方が、ピントが合った画像が得られる可能性が高いと考えられるからである。
同様にして5枚目以降(連写カウンターの値が5以上)の連続撮影の際には、2次近似により被写体位置の予測(今回の撮影の際のピーク位置の予測)を行ってスキャン範囲の中心位置ObjP(n)を式(5)より求める。このようにして演算された中心位置ObjP(n)に基づいて、スキャン範囲が設定され、前回のスキャン範囲から被写体像が移動する方向にずらされる。
ObjP(n)=(FP(n−3)−3FP(n−2)+2FP(n−1))×FpAdj(n)+FP(n−1) 式(5)
但し、4枚目の撮影と同様に、被写体の移動量が所定値以下の場合は、ステップS409に進み、図7の動作手順に従い静止被写体か否かの判定及びその結果に基づくスキャン範囲の設定を行う。
このような処理を行うことは連写速度(単位時間あたりの撮影枚数)の低下を招く場合もあるが、背景張り付きが起き移動被写体に追従できていない場合に確実に主被写体に合焦することができる。もし本当に被写体が動いていない静止被写体の場合や被写体が動いていたとしても、大きく動いていない場合は、または分割された情報から追従可能な場合、また静止被写体の場合には、連写速度(単位時間あたりの撮影枚数)の低下をさせることはない。
ここで、図6のフローチャートを参照しながら図4のフローチャートにおけるスキャン動作(ステップS411)を説明する。
まず、ステップS601ではフォーカスレンズ3をスキャン開始位置にスキャン動作中の速度より速い速度で移動する。
スキャン開始位置は、本実施例においては、設定されたスキャン範囲の一端に設定される。ステップS602では、撮影領域内に設定されるAF枠に対応する領域のAF評価値とフォーカスレンズ群3の位置をCPU15に内蔵される図示しない演算メモリに記憶する。ステップS603ではレンズ位置がスキャン終了位置にあるかどうかを調べ、終了位置であればステップS605へ、そうでなければステップS604へ進む。前記スキャン終了位置は、設定されたスキャン範囲の他端に設定される。ステップS604ではフォーカスレンズ群3を駆動して所定の方向へ所定量動かす。ステップS605では、ステップS602で記憶したAF評価値とそのフォーカスレンズ群3の位置から、AF評価値が最大となる位置に対応するフォーカスレンズ群3のピーク位置を計算する。
ここでステップS708の静止被写体か否かの判定の動作を、図8を用いて説明する。
まずステップS801、S802で移動被写カウンター・静止被写体カウンターの値をチェクする。
図7のステップS706でカウントされた静止被写体カウンターの値が第一の静止被写体判定所定値以上であれば、ステップS813へ進み、主被写体は静止被写体と判定する。
次いでステップS802において、静止被写体カウンターの値が第一より小さい第二の静止被写体判定所定値以上かつ、移動被写体カウンターが第一の移動被写体判定所定値以下ならばステップS813へ進み、主被写体は静止被写体と判定する。
ステップS803では、移動被写体カウンターを第二の移動被写体判定所定値と比較し、所定値以上ならばステップS812へ進み、主被写体は移動被写体と判定する。
背景の影響を受けている場合は、全体のAF枠で得られたAF評価値から求められた合焦位置に基づく被写体の移動量ΔFPが小さくとも移動被写体の可能性がある。これはAF枠の中に背景が入ることが原因であるので、移動被写体の場合は分割されたAF枠の中には背景の影響を受けず被写体移動量ΔFPが大きくなるAF枠が存在するはずである。そこで移動被写体カウンターの値が第二の移動被写体判定所定値以上の場合は、移動被写体を撮影しておりかつ背景に全体のAF枠の合焦位置が張り付いていると判定する。
また静止被写体カウンターの値が第一の静止被写体判定所定値より小さい場合は、移動被写体カウンターの値が小さくとも、移動被写体のため被写体振れやスキャン中に被写体が移動してAF枠から外れる等の影響を受けている可能性がある。そこで静止被写体カウンターの値が第二の静止被写体判定所定値以上場合も、移動被写体を撮影しておりかつ背景に全体のAF枠の合焦位置が張り付いている可能性がある。このため、移動被写体カウンターの値が第一の移動被写体判定所定値以下、かつ静止被写体カウンターの値が第二の静止被写体判定所定値以上の場合のみ、静止被写体を撮影していると判定する。
次いでステップS804で、静止被写体カウンターの値と移動被写体カウンターの値の和が、AF評価値の信頼性がないと判定されたAF枠の数の所定値以下かを調べる。AF評価値の信頼性のあるAF枠については静止被写体か移動被写体かを判定できるが、信頼性のないAF枠内の被写体はそれができない。信頼性を下げる要因として被写体の移動による被写体のコントラストの低下が考えられる。そこで静止被写体カウンターの値と移動被写体カウンターの値の和が信頼性がないと判定されたAF枠の数の所定値以下の場合は、ステップS814へ進み、主被写体は移動被写体と判定する。
その後ステップS805で、移動被写体カウンターを第三の移動被写体判定所定値と比較し、所定値未満ならステップS806へ、所定値以上ならばステップS809へ進む。
ステップS806では、信頼性がないと判定されたAF枠が前回のAF評価値取得時と同じAF枠か否かを調べる。同じAF枠で信頼性がないと判定されたならばステップS807へ進み、同じAF枠で信頼性がないと判定された際の全体枠の移動量が静止被写体とみなす移動量の閾値と比較し、閾値以下であるならばステップS815へ進み、主被写体は静止被写体と判定する。逆に閾値を超える場合はステップS814へ進み、主被写体は移動被写体と判定する。
ステップS806で、異なるAF枠で信頼性がないと判定されたならばステップS808へ進む。そして、異なるAF枠で信頼性がないと判定された際の全体枠の移動量が静止被写体とみなす移動量の閾値と比較し、閾値以下であるならばステップS815へ進み、主被写体は静止被写体と判定する。逆に閾値を超える場合はステップS814へ進み、主被写体は移動被写体と判定する。
一方移動被写体カウンターが第三の移動被写体判定所定値以上ならばステップS805からステップS809へ進む。
ステップS809では、移動被写体が存在すると判定された全てのAF枠の位置が4隅でかつ、そのAF枠での移動量が所定値以下か否かを判定する。例えば図11に示すように9つのAF枠が設定されている場合は、移動被写体が存在すると判定されたAF枠全てが、00枠・02枠・20枠。22枠のいずれかであり、かつ全てのAF枠での移動量が所定値以下か否かを判定する。条件が満たされたならステップS815へ進み、主被写体は静止被写体と判定する。
移動被写体が存在すると判定されたAF枠のいずれかが4隅のAF枠でない場合はステップS810へ進む。そして、移動被写体が存在すると判定されたAF枠のAF評価値のピーク位置を、そのAF枠の上下左右のAF枠における前回のAF評価値取得時のAF評価値のピーク位置を比較する。例えば図11に示すように9つのAF枠が設定されており、移動被写体が存在すると判定された枠が11枠であった場合を考える。この場合は、11枠のAF評価値のピーク位置と、前回のAF評価値取得時の01枠のAF評価値のピーク位置・10枠のAF評価値のピーク位置・12枠のAF評価値のピーク位置・21枠のAF評価値のピーク位置との比較を行い、その差を求める。
そして求められたピーク位置の差のいずれかが、静止被写体とみなすAF評価値のピーク位置差以下であったなら、ステップS811からステップS815へ進み、主被写体は静止被写体と判定する。
逆に静止被写体とみなすAF評価値のピーク位置差を超えていたら、ステップS811からステップS814へ進み、主被写体は移動被写体と判定する。
なお各所定値の値は、3×3の9枠にAF枠が分割されている場合は、
・第一の静止被写体判定所定値は8、第二の静止被写体判定所定値は7、第一の移動被写体判定所定値は0、第二の移動被写体判定所定値は2程度の値
・S803の判定に用いる静止被写体カウンターの値と移動被写体カウンターの値の和の所定値は6程度の値
・S804の判定に用いる移動被写体カウンターの所定値は1程度の値
・同じAF枠で信頼性がないと判定された際の全体枠の移動量が静止被写体とみなす移動量の閾値は4深度程度の値
・異なるAF枠で信頼性がないと判定された際の全体枠の移動量が静止被写体とみなす移動量の閾値は3深度程度の値
・S809で用いる静止被写体とみなす移動量は4深度程度の値
・S811で用いる静止被写体とみなすAF評価値のピーク位置差は3深度程度の値
に設定すれば良い。
ここでステップS711で行われるピーク位置予測判定の動作を、図9を用いて説明する。
まずステップS901において初期化の処理を行う。使用するカウンターのリセット等の他に、判定するAF枠の初期化を行う。図11に示すようにAF枠が9分割されている場合は“00枠”にAF枠位置を設定する。
ステップS902では、特許文献(特許第04235422など)に記載されている方法で評価された該当するAF枠の前回撮影時のスキャンにおける信頼性を評価する。そして、信頼性がないと判定された場合は、ステップS905へ、信頼性があると判定された場合はステップS903へ進む。
ステップS903では、処理しているAF枠が上枠もしくは中枠かの判定を行う。例えば、図11のように9つのAF枠に分割されている場合は、カメラが正位置であれば、00枠・01枠・02枠を上枠、10枠・11枠・12枠を中枠とする。
処理しているAF枠が上枠もしくは中枠の場合は、ステップS904で処理しているAF枠における被写体の移動量ΔFPmnを求めた後、ステップS905へ進む。この求め方は、図4ステップS405・S406と同様である。
処理しているAF枠が上枠もしくは中枠の以外の場合は、ステップS905へ進む。
ステップS905で、分割された全てのAF枠について処理が終了したかをチェックし、終了していなければステップS906へ進み、処理するAF枠を更新する。例えば、00枠の処理が終了したならば01枠に、01枠の処理が終了したならば02枠に、02枠の処理が終了したならば10枠に、処理するするAF枠位置を更新する。
全ての分割されたAF枠について処理が行われたならば、ステップS907へ進み、S904で求められた被写体の移動量が最大となるAF枠とその移動量を求める。
そして中央枠(図11に示す例の場合は11枠)の移動量が最大の場合は、ステップS908からステップS909へ進み中央枠を予測に使用するAF枠とする。
また中央上枠(図11に示す例の場合は01枠)の移動量が最大の場合は、ステップS910からステップS911へ進み中央上枠を予測に使用するAF枠とする。
中央枠また中央上枠以外のAF枠の移動量が最大の場合は、ステップS910からステップS914へ進みピーク予測不可と判定する。そして図7のステップS713以降の処理をその後に行う。
そしてステップS912で予測枠とされたAF枠の移動方向が一致しているか判定する。
予測枠とされたAF枠の今回・前回・前々回のAF評価値のピーク位置をそれぞれ、PN・PN−1・PN−2としたとき
PN−2―PN−1>ΔP
かつ
PN−1―PN>ΔP
かつ
PN−2―PN−1とPN−1―PN
式(6)
の符号が等しい場合、予測枠としたAF枠の移動方向が一致しているとして、ステップS912から、ステップS913へ進む。ステップS913では、ピーク予測可能と判定する。
なお、ΔPは被写体移動量に関する所定量で2〜3深度程度の値が望ましい。
移動方向が等しくない場合はステップS914へ進みピーク予測位置不可と判定する。
但し以下の場合は例外としてピーク予測可能と判定する。
予測枠と判定された枠の移動量が移動していないとみなされる所定値(例えば1深度程度)以下の場合、求められた全ての移動量を零とする。そして予測枠の前回の移動量も零であった場合は、予測枠の移動方向が一致し、その移動量を零として、ピーク位置予測可能と判定する。ここで、予測枠の前回の移動量も零であった場合とは、前回の判定において予測枠と判定された枠の移動量が移動していないとみなされる所定値以下であれば、その移動量は零となっている場合である。
ピーク位置予測可能と判定された場合は、ステップS715でスキャン中心予測をする。この詳細を図10に示す。まず、ステップS1001で分割されたAF枠のうちの上中枠(図11に示す例の場合は00枠から12枠)のうちで最至近のAF評価値がピークとなる位置を選択する。そして、ステップS1002でその値との差が所定値以内(例えば1深度以内)のものを選択し、その平均値FP(n)を求める。
そしてステップS1003において、次回の撮影におけるスキャンAFの中心値となる予測位置ObjP(n)を
ObjP(n)=(FP(n−3)−3FP(n−2)+2FP(n−1))×FpAdj(n)+FP(n−1) 式(7)
と求める。
ここでFP(n−3)、FP(n−2)、FP(n−1)はS1013で選択されたAF枠におけるS411のスキャンで求められたAF評価値のピーク位置の値を用いる。
上記の処理はAF枠として通常の大きさの領域が指定された場合にのみ行う。顔検出回路36で検出された顔領域の大きさが規定量より小さい場合、撮影者により意図的に規定量より小さい領域が指定された場合は上記の処理は行わない。また電子ズームにより表示上のAF枠の大きさが変わらなくとも、AF枠内に含まれるセンサーの画素数が規定量より小さくなる場合も上記の処理は行わない。
上述のような処理をすることにより、静止した被写体では連写速度を低下させず、移動した主被写体に合焦せず背景に合焦する弊害を防止し、確実に主被写体に合焦することが可能になる。また、上述のように、全体枠でのAF評価値信号に基づいてフォーカスレンズ群3を駆動させることで、枠内で被写体が動いても枠内に被写体が常に存在するようにして、合焦位置を求めることができる。また、分割された枠で被写体が静止被写体か移動被写体かを適正に判定できる。