以下、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。
<撮像装置の構成>
図1は、本実施形態に共通する撮像装置の全体構成を示す図である。本実施形態による撮像装置100は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。
図1に示すように、結像光学系の先端部に第1レンズ群101が配置されており、第1レンズ群101は光軸方向に進退可能に保持されている。
絞り102は、開口径を調節することで撮影時の光量調節を行なう。絞り102と第2レンズ群103とは一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動によって、変倍作用(ズーム機能)を奏する。第3レンズ群104は、光軸方向の進退によって、焦点調節を行なうフォーカスレンズである。シャッタ105は先幕・後幕などの機構を備え、それぞれを走行させた際のスリットから得られる光を撮像素子107へ導くことで露光調節を行う。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、2次元CMOSフォトセンサーと周辺回路で、結像光学系の結像面に配置される。
図15は撮像素子107の1画素の構成を示している。1501は画素を表す。1つの画素は、マイクロレンズ1502を有する。また、1つの画素は、複数の光電変換領域としてのフォトダイオード(以下、PD)を有する。図例では、左側のPD1503と右側のPD1504の2つ有しているが、個数に限定はなく、例えば、4つや9つなどでも構わない。図示された構成要素以外にも、例えば、PDの信号を列読み出し回路に読み出すための画素増幅アンプ、行を選択する選択スイッチ、PDの信号をリセットするリセットスイッチなどを備える。PD1503とPD1504は各々、撮影レンズの射出瞳の異なる領域の光を受光しているので、撮像面での位相差方式の焦点検出が可能となっている。
ズームアクチュエータ111は、図示しないカム筒を回動することで、第1レンズ群101乃至第3レンズ群104を光軸方向に進退駆動し、変倍操作を行なう。絞りアクチュエータ112は、絞り102の開口径を制御し撮影光量を調節する。フォーカスアクチュエータ113は、第3レンズ群104を光軸方向に進退駆動して焦点調節を行なう。シャッタアクチュエータ114は静止画撮影時の露光制御を行なう。撮影時に用いられる照明手段(被写体照明用電子フラッシュ)115は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するLEDを備えた照明装置を用いてもよい。AF補助光手段116は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。
制御部121は、撮像装置100における種々の制御を司るものであり、図示しないCPU(演算部)、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有している。制御部121は、メモリ134の有するROMに記憶された所定のプログラムに基づいて、撮像装置100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。制御部121は、画像処理手段として機能する。
電子フラッシュ制御回路122は、撮影動作に同期して照明手段115を点灯制御する。補助光駆動回路123は、焦点検出動作に同期してAF補助光手段116を点灯制御する。
撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換して制御部121に送信する。画像処理回路125は、撮像素子107が取得した画像の被写体検出、γ変換、カラー補間、JPEG圧縮等の処理を行なう。
フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ113を駆動制御し、第3レンズ群104を光軸方向に進退駆動して焦点調節を行なう。シャッタ駆動回路127は、シャッタアクチュエータ114を駆動制御してシャッタ105を制御する。絞り駆動回路128は、絞りアクチュエータ112を駆動制御して絞り102を制御する。ズーム駆動回路129は、撮影者によるズーム操作に応じてズームアクチュエータ111を駆動する。
表示装置131は、例えばLCD等により構成されており、撮像装置100の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体133は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ134はRAM、ROM等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。角速度センサ135は、ジャイロセンサ等であり、撮像装置100の移動量を表す角速度を検出し電気信号として変換して制御部121に伝達する。制御部121は、メモリ134の有するROMに記憶された所定のプログラムに基づいて、撮像装置100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。
<連続撮影処理の動作フロー>
次に、本実施形態による撮像装置100によって行われる被写体追従AF連続撮影について、図2と図3を用いて説明する。図2は、本発明の実施形態による撮像装置100における被写体追従AF連続撮影のタイミングチャートである。図3は、本発明の実施形態による撮像装置100における被写体追従AF連続撮影のフローチャートである。
撮像装置100は、操作スイッチ群132に含まれる撮影モード選択スイッチのユーザ操作により、撮影モードが被写体追従AF連続撮影モードとなっていることを前提とする。前記撮影モードのときに、操作スイッチ群132に含まれるレリーズスイッチがオンとなることで撮影が開始され、ステップS301へ移行する。
ステップS301では、静止画撮影のために撮像素子107への露光を行い、電荷が蓄積される。光量は絞りアクチュエータ112で制御する。露光はシャッタアクチュエータ114でシャッタ105を操作して制御する。この撮像処理のタイミングは201で示すように、SW2が押下された後に実行する。
ステップS302では、撮像素子駆動回路124により、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して制御部121に送信する処理を開始する。このとき撮像素子駆動回路124において、撮像素子107の有効画素領域全体を読み出す駆動モードで画像信号を読み出す。読み出し中はシャッタアクチュエータ114でシャッタ105を閉幕し、撮像素子107に余分な電荷が蓄積されないように制御することで、読み出した画像に歪みが出ることを軽減している。読み出しが完了したらシャッタアクチュエータ114でシャッタ105を開幕する。処理のタイミングは202で示すように、静止画蓄積処理の完了後に実行する。つまりこの処理には、2次元状に複数の画素が配列された撮像素子から、ライン毎に同じタイミングで複数の画素における電荷蓄積を行い、シャッタを閉じた状態で読み出しを行うメカシャッタ方式が用いられることとなる。
ステップS303では、制御部121に送信されてきた画像信号をもとに画像処理回路125において被写体検出処理を開始する。画像から人物・顔・モノ・色等を被写体として検出する手法には様々な方法が開示されており、ここでは説明を行わない。処理のタイミングは203で示すように、静止画読出処理の完了後に実行する。
ステップS304では、被写体検出の結果からAF領域を算出する。AF領域は、ステップS303で検出された被写体領域を基準に、被写体領域の一部・もしくは全部が含まれるように、有効画全体のうちの部分的な領域を設定する。処理のタイミングは204で示すように、静止画からの被写体検出完了後に実行する。
ステップS305では、AF用の画像を得るために、撮像素子107へ露光を開始し、電荷が蓄積される。光量は絞りアクチュエータ112で制御する。静止画の蓄積とは異なり、露光はシャッタアクチュエータ114でシャッタ105を開幕状態のままにして、行う。撮像素子駆動回路124で撮像素子107の電荷をリセットするタイミングと読み出しを開始するタイミングの間で蓄積を行うように制御する。これにより電子的なシャッタ制御ができる。処理のタイミングは205で示すように、AF領域の決定後に実行する。
ステップS306では、撮像素子駆動回路124により、ステップ305で撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して制御部121に送信する撮像処理を開始する。静止画の読み出しとは異なり、読み出し中もシャッタ105は開幕状態のまま維持する。S305で蓄積が完了した画素を、画素単位で操作方向に順次読み出しを実行していく。処理のタイミングは206で示すように、タイミング205と並列に行われる。つまりこの処理には、2次元状に複数の画素が配列された撮像素子から、ライン毎に異なるタイミングで複数の画素における電荷蓄積と読み出しを行うローリングシャッタ方式が用いられることとなる。なお、AF用の画像を得る際の読み出し領域は、有効画全体でもよいし、有効画全体のうちの部分的な領域のみでもよい。例えば、ステップS304において決定したAF領域の中心を基準に、読み出し走行方向に前後数ライン、有効画全体のうちの部分的な領域の画像信号を読み出すようにしてもよい。または、有効画全体の画像信号を読み出すようにして、表示装置131にライブビュー画像を表示するようにしてもよい。
ステップS307では、制御部121に送信された画像信号をもとにAFの焦点状態の検出処理を実行して、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部121で算出する。処理のタイミングは207で示すように、AF用画像(以下、AF画ともいう)の読み出し完了後に実行する。
ステップS308では、制御部121で算出したレンズの駆動量から、フォーカス駆動回路126を制御して、フォーカスアクチュエータ113を駆動させて、被写体に合焦する位置までレンズを駆動させる。処理のタイミングは208で示すように、駆動量の算出が行われた後で行われる。
ステップS309では、操作スイッチ群132に含まれるレリーズスイッチ(SW2)がオンかオフかを判断して、オンであればステップS308で合焦したレンズ位置を用いてステップ301にもどり連写撮影を続ける。オフであれば連写撮影を停止して撮影終了となる。タイミングとしては208でレンズの駆動が完了した後に行われ、オンの場合はタイミング209、210に示すように繰り返し撮影を行って行き、オフの場合は終了する。
<静止画とAF画の撮像方式の違いによる出力画像の差>
図4は静止した被写体に対して撮像装置100がパンニングされている状態で撮影を行う際の、静止画とAF画の撮像方式の違いによる出力画像の差を表している。ステップS301及びステップS302の静止画の撮像方式はメカシャッタ方式をとる。これにより撮像素子107の画素の読み出し時間の違いによる歪みの影響が小さくなっている。しかし、ステップS305及びステップS306のAF画撮像方式はローリングシャッタ方式をとる。このためパンニング方向とは逆方向に歪みの影響が大きくなる。
また、図11は静止した撮像装置100に対して被写体が移動している状態で撮影を行う際の、静止画とAF画の撮像方式の違いによる出力画像の差を表している。上記と同様の理由で静止画は歪みの影響が小さいが、AF画では被写体移動方向に歪みの影響が大きくなる。
また、図14は撮像装置100がパンニングされており、かつ被写体が移動している状態で撮影を行う際の、静止画とAF画の撮像方式の違いによる出力画像の差を表している。撮像装置100のパンニング速度と被写体の移動速度が等しい場合は、図14に示すように静止画とAF画の撮像方式に違いがあっても歪みが出ない。撮像装置100の速度のほうが速い場合は、図4に示したのと同じ歪みがAF画に発生する。被写体移動速度のほうが速い場合は図11に示したのと同じ歪みがAF画に発生する。
<実施例1>
以下、撮像装置100によって行われる被写体追従AF連続撮影の実施例1を説明する。実施例1では図4に示すような静止した被写体に対して撮像装置100がパンニングされている状態で撮影を行う際の、AF領域の補正手法について触れる。
図5は実施例1の被写体追従AF連続撮影のタイミングチャートである。図6は実施例1の被写体追従AF連続撮影のフローチャートである。
ステップS601はステップS301と同様の処理を行う。静止画蓄積タイミング501はタイミング201と同様のタイミングで行う。
ステップS602はステップS302と同様の処理を行う。静止画読出しタイミング502はタイミング202と同様のタイミングで行う。
ステップS603はステップS303と同様の処理を行う。被写体検出タイミング503はタイミング203と同様のタイミングで行う。
ステップS604はステップS304と同様の処理を行う。AF領域算出のタイミング505はタイミング204と同様のタイミングで行う。
ステップS605では、角速度センサ135から撮像装置100の移動量をパンニング角速度として制御部121に取得する。取得が完了したらステップS606に進む。パンニング角速度の取得タイミング504は、AF領域決定タイミング505までの間に行う。
ステップS606では、ステップS604で算出された領域と、ステップS605で取得されたパンニング角速度を用いて、制御部121にてAF領域の補正を行う。図7は被写体がt秒の間に点Aから点Bへ移動し、それに応じてセンサ上に結像した前記被写体像が点Cから点Dへと移動したことを示したものである。ここで、点Cと点Dとの距離をν[pixel]、焦点距離をf[mm]、センサの画素ピッチをp[μm/pixel]とした時、角速度ω[rad/sec]は以下の式1で表わされる。被写体が静止している場合角速度ωは撮像装置100のパンニングの角速度と等しくなる。式1より検出したパンニング速度ωから像面移動量νが求められる。
図8に示すようにステップS604で算出された被写体検出位置は有効画素領域全体に対して検出された被写体領域の中央座標とする。AF読み出し時間t1の間に像面上の被写体がA地点(x1,y1)からB地点(x2,y2)まで移動すると、ローリング歪みによって被写体位置は(x3,y3)にずれる。ローリング歪みによる被写体位置補正量R1は像面移動量の半分の距離ずれるため式2で求められる。
R1=ω×t1÷2 式2
静止画撮影時の被写体検出位置に対して被写体補正量Rを加算・減算を行うことで被写体位置を補正する。加算減算の判断はパンニング方向によって切り替える。
さらに静止画蓄積タイミング501からAF蓄積タイミング506までにもタイムラグがあるため被写体位置はずれる。タイムラグの時間をt2とすると、撮像タイミングの違いによる被写体補正量R2は以下の式3で求められる。
R2=ω×t2 式3
上記、R1とR2の補正量を合算した値を被写体補正量Rとする。
R=R1+R2 式4
AF領域は補正後の被写体検出位置を用いて、ステップS304と同様の方法で求める。AF領域補正タイミングは505に示すように、被写体検出タイミング503とパンニング角速度取得タイミング504が完了してから、AF画の蓄積タイミング506が開始されるよりも前に行う必要がある。
ステップS607はステップS305と同様の処理を行う。AF画の蓄積タイミング506はタイミング205と同様のタイミングで行う。
ステップS608はステップS306と同様の処理を行う。AF画の読み出しタイミング507はタイミング206と同様のタイミングで行う。
ステップS609はステップS307と同様の処理を行う。レンズ駆動量算出タイミング508はタイミング207と同様のタイミングで行う。
ステップS610はステップS308と同様の処理を行う。レンズ駆動タイミング509はタイミング208と同様のタイミングで行う。
ステップS611はステップS309と同様の処理を行う。連続撮影の判断タイミング510はタイミング209、210と同様のタイミングで行う。
以上のように実施例1では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したAF画像のAF領域を決定する。この際に、角速度センサから取得したパンニング角速度を利用して、ローリングシャッタ歪みによる被写体位置のズレを補正してAF領域を決定する。これにより図4のような場合において、被写体へのAF精度が高く高速な連続撮影が可能になる。
<実施例2>
以下、撮像装置100によって行われる被写体追従AF連続撮影の実施例2を説明する。
実施例2では特に、図11に示すような静止した撮像装置100に対して被写体が移動している状態や撮影を行う際の、AF領域の補正手法について触れる。
図9は実施例2の被写体追従AF連続撮影のタイミングチャートである。図10は実施例2の被写体追従AF連続撮影のフローチャートである。
図9に示す通りLV中は、ユーザが撮影前に被写体を確認するためのLV画像の取得を行っている。LV画像はローリングシャッタ方式で連続的に取得され、操作スイッチ群132よりLV終了ボタンが押下される、もしくはSW2が押下されるまで、表示装置131に連続的に取得画像が表示される。SW2が押下されると被写体追尾AF連続撮影が行われる。
ステップS1001のLV画用の蓄積はステップS305と同様の手法で行われる。また、ステップS1002ではステップ306と同様の手法で行う。ただし、ステップS306においてAF画は有効画全体のうちの部分的な領域を読み出していたのに対して、LV画では有効画全体を含む領域の画像信号を読み出す。この時、LV画像の読み出し時間を高速するために撮像素子駆動回路124により、撮像素子107からの読み出しするライン数を間引いて取得し、画像処理回路125によってLV中に表示する画像を作成しても良い。ステップS1001およびステップS1002の処理タイミングは、蓄積タイミング901で蓄積が完了したラインから順次、読出しタイミング902で読み出される。
ステップS1003はステップS303と同様の処理を行う。被写体検出タイミング903はLV画読み出しタイミング902が完了してから行う。
ステップS1004では、制御部121において複数枚の画像から被写体角速度を検出するために必要な所定枚数のLV画像が取得されたかを判断する。ここでは2枚のLV画像をより被写体角速度を算出するため、取得枚数が2枚以上の場合はスッテプS1004に進み、2枚よりも少ない場合はステップS1001に戻ってステップS1003までを繰り返し行いLV画を取得する。ステップS1004の処理タイミングは、被写体検出903および906の被写体検出が完了したタイミングである。
ステップS1005では像面上の被写体角速度を算出する。複数の画像から被写体移動量を予測する手法は様々な手法が開示されている。ここでは連続して撮影された2枚のLV画において、ステップS1003で検出された被写体位置の差分からを像面上の被写体移動量を算出する。直前に取得したLV画から求めた被写体位置(x5,y5)と、先に取得した画像から求めた被写体位置(x4,y4)を減算した結果の絶対値を像面上の被写体移動量νとする時、式1から角速度ωが求められる。角速度ωは像面上の被写体角速度であるが、撮像装置100が静止している場合には角速度ωは被写体角速度とも等しくなる。タイミングとしては907に示す通り、2枚目以降の被写体検出タイミング906が完了してから順次処理を開始する。処理中にSW2が押下された場合、AF領域決定タイミング911までに完了する。
ステップS1006では操作スイッチ群132よりSW2が押下されているか判断する。SW2が押下されていた場合、LVを中断し、静止画の蓄積S1007に移行する。
ステップS1007はステップS301と同様の処理を行う。静止画蓄積タイミング908はタイミング201と同様のタイミングで行う。
ステップS1008はステップS302と同様の処理を行う。静止画読出しタイミング909はタイミング202と同様のタイミングで行う。
ステップS1009はステップS303と同様の処理を行う。被写体検出タイミング910はタイミング203と同様のタイミングで行う。
ステップS1010では、AF領域の補正を行う。まず、ステップS1005によって求められた像面上の被写体の角速度ωから、ローリング歪みによる被写体位置補正量R1が式2によって算出される。また、撮像タイミングの違いによる被写体補正量R2が、式3よって算出される。また、被写体補正量RがR1とR2を合算して求められる。これにより静止画撮影時の被写体検出位置に対して、被写体位置の補正が行われる。加算減算の判断は被写体移動量νの正負によって被写体の移動方向を判断し切り替える。AF領域は補正後の被写体位置を用いて、ステップS304と同様の方法で求める。AF領域補正タイミング911はタイミング204と同様のタイミングで行う。
ステップS1011はステップS305と同様の処理を行う。AF画の蓄積タイミング912はタイミング205と同様のタイミングで行う。
ステップS1012はステップS306と同様の処理を行う。AF画の読み出しタイミング913はタイミング206と同様のタイミングで行う。
ステップS1013はステップS307と同様の処理を行う。レンズ駆動量算出タイミング914はタイミング207と同様のタイミングで行う。
ステップS1014はステップS308と同様の処理を行う。レンズ駆動タイミング915はタイミング208と同様のタイミングで行う。
ステップS1015はステップS309と同様の処理を行う。連続撮影の判断タイミング916はタイミング209、210と同様のタイミングで行う。
以上のように実施例2では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したAF画のAF領域を決定する。この際に、複数のLV画像から制御部121で算出した像面上の被写体角速度を利用して、ローリングシャッタ歪みによる被写体位置のズレを補正してAF領域を決定する。これにより図11のような場合において、被写体へのAF精度が高く高速な連続撮影が可能になる。
また、同様の手法で図4に示した静止した被写体に対して撮像装置100がパンニングされている状態で撮影を行う際や、図14に示すような撮像装置100がパンニングされており、かつ被写体が移動している状態においても可能である。
また、本実施例では複数枚のLV画像を使って像面上の被写体角速度を求めたが、図9において被写体追尾AF連続撮影中においても、撮影した複数枚の静止画を使うことで同様の手法で求めることができる。
<実施例3>
以下、撮像装置100によって行われる被写体追従AF連続撮影の実施例3を説明する。実施例3では、特に図14のように等速で移動する被写体を追尾しながら連続撮影する場合において、撮像装置100の角速度が静止画撮影毎にバラつく場合などに好ましいAF領域の補正手法について触れる。
図12は実施例3の被写体追従AF連続撮影のタイミングチャートである。図13は実施例3の被写体追従AF連続撮影のフローチャートである。
ステップS1301はステップS1001と同様の処理を行う。LV画の蓄積タイミング1201はタイミング901と同様のタイミングで行う。
ステップS1302はステップS1002と同様の処理を行う。LV画の読出しタイミング1202はタイミング902と同様のタイミングで行う。
ステップS1303はステップS1003と同様の処理を行う。被写体検出タイミング1203はタイミング903と同様のタイミングで行う。
ステップS1304はステップS1004と同様の処理を行う。所定枚数の確認タイミングはタイミング903、タイミング906などのLV画像の被写体検出完了時に行う。
ステップS1305はステップS1005と同様の処理を行う。像面上の被写体角速度算出タイミング1207はタイミング907と同様のタイミングで行う。
ステップS1306はステップS1006と同様の処理を行う。
ステップS1307はステップS301と同様の処理を行う。静止画の蓄積タイミング1208はタイミング201と同様のタイミングで行う。
ステップS1308はステップS302と同様の処理を行う。静止画の読出しタイミング1209はタイミング202と同様のタイミングで行う。
ステップS1309はステップS303と同様の処理を行う。静止画の被写体検出タイミング1210はタイミング203と同様のタイミングで行う。
ステップS1310はステップS605と同様の処理を行う。パンニング角速度取得タイミング1211はタイミング504と同様のタイミングで行う。
ステップS1311ではAF領域の補正を行う。式5に示すように像面上の被写体の角速度ωは、被写体角速度ωsからパンニング角速度ωpを減算したものと表せる。
ω=ωs−ωp 式5
S1305で算出した値を像面上の被写体角速度ωと、S1310で取得した値をパンニング角速度ωpとを、式5に代入することで被写体角速度ωsが求まる。被写体角速度ωsはメモリ134に保存しておく。二枚目以降の撮影ではステップS1310で静止画撮影ごとに取得されるパンニング角速度ωpとメモリ134に保存された被写体角速度ωsから式5により像面上の被写体角度ωを求める。ステップ1309で静止画から求めた被写体検出位置に対して、被写体位置の補正が行われる。まず、像面上の被写体の角速度ωから式2によって、ローリング歪みによる被写体位置補正量R1が算出される。また、撮像タイミングの違いによる被写体補正量R2が式3よって算出される。また、R1とR2を合算した被写体補正量Rを加算・減算を行う。これにより、被写体位置の補正が行われる。加算減算の判断は像面上の被写体角速度ωの正負によって被写体の移動方向を判断し切り替える。AF領域は補正後の被写体位置を用いて、ステップS304と同様の方法で求める。
ステップS1312はステップS305と同様の処理を行う。AF画の蓄積タイミング1213はタイミング205と同様のタイミングで行う。
ステップS1313はステップS306と同様の処理を行う。AF画の読み出しタイミング1214はタイミング206と同様のタイミングで行う。
ステップS1314はステップS307と同様の処理を行う。レンズ駆動量算出タイミング1215はタイミング207と同様のタイミングで行う。
ステップS1315はステップS308と同様の処理を行う。レンズ駆動タイミング1216はタイミング208と同様のタイミングで行う。
ステップS1316はステップS309と同様の処理を行う。連続撮影の判断タイミ1217はタイミング209と同様のタイミングで行う。
以上のように実施例3では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したAF画のAF領域を決定する。この際に、複数のLV画像から制御部121で算出した像面上の被写体角速度と、静止画撮影毎に角速度センサ135から取得したパンニング角速度を利用して、ローリングシャッタ歪みによる被写体位置のズレを補正してAF領域を決定する。これにより等速で移動する被写体を追尾しながら連続撮影する場合において、被写体へのAF精度が高く高速な連続撮影が可能になる。
<その他の実施例>
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
上述の実施形態では、1つの画素の中にある1つのマイクロレンズで集光されるフォトダイオードを分割することによって、各々のフォトダイオードは撮像レンズの異なる瞳面の光を受光するように構成されている。これによって、2つのフォトダイオードの出力を比較することで上記の撮像面位相差検出が可能となる。しかしこれに限らず、撮像素子の一部の受光用画素を、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させて瞳分割機能を付与する焦点検出用画素とし、撮影用画素群の間に所定の間隔で配置することで、撮像面位相差検出を行っても良い。また、撮像素子の出力信号、特に高周波成分のコントラスト情報に着目し、そのAF評価値が最も大きくなるフォーカスレンズの位置を合焦位置とするコントラストAF方式を適用してもよい。これらの場合にも、上述の実施形態で説明したように、ローリングシャッタ歪みによる被写体位置のズレを補正してAF領域を決定することで、被写体へのAF精度が高く高速な連続撮影が可能になる。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。