JP6613149B2 - 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、画面内の主被写体を自動的に追尾して撮影する場合において、連写撮影中に主被写体が画角内に収まるように制御する技術に関するものである。

デジタルカメラ等の撮像装置では、露出決定やピント合わせといった、撮影上の重要な作業が全自動化されている。また、手振れ等による像ブレを防ぐ像ブレ補正装置を搭載した撮像装置では、撮影者の撮影ミスを誘発する要因は殆どなくなっている。また被写体に含まれる人物の顔や人体を検出する顔検出機能や人体検出機能を有する撮像装置が提案されている。このような撮像装置では、例えば人物の顔と判断するパターンが予め定められており、画像内に含まれるこのパターンに一致する箇所を、人物の顔として検出することができる。検出された人物の顔は、例えば合焦制御や露出制御において参照される。

また、移動する被写体を撮影する場合、連写によって短い時間間隔で連続的に撮影を行うことで、シャッターチャンスを逃さずに撮影を行うことができる。しかし、被写体が移動している状態での連写撮影においては、以下のような問題がある。動き続ける被写体を撮影者のパンニング操作によって撮影画像内に精度よく捉え続けるには、撮影者の特別な技術が必要である。特に連写中においては露光中の被写体像の位置変化を確認しながら撮影することはできない。露光中は、前回撮影された画像を表示しておくことで、撮影情報を確認することはできるが、表示遅れや表示周期が遅いという問題があり、撮影者がこの情報を基に刻々と変化する被写体速度や手振れ速度に対応してパンニングを行うことは難しい。また、焦点距離が大きくなる望遠レンズを有するカメラで撮影を行う場合、手振れによる像ブレの影響が大きくなるため、主被写体を撮影画像の中心に保持することは難しい。

このような問題に対処するため、特許文献１では、光軸と交差する方向に光学系の一部を移動させることによって、自動的に被写体を追尾する撮像装置を開示している。撮像素子からの画像信号情報に基づいて、被写体の位置を検出し、被写体追尾量を算出し、ブレ補正量に被写体追尾量を合成することで、像ブレを補正しながら被写体追尾を可能としている。

特開２０１０−９３３６２号公報

被写体の位置を画面内の特定位置に保持するように被写体追尾を行うシステムにおいて、速い時間間隔で連続的に出力される画像（ライブビュー画像）を用いて、フレーム毎の主被写体検出位置から主被写体を画角内に納めるように被写体追尾を行うことは可能である。しかしながら、静止画撮影の連写中はライブビュー画像のように速い周期での画像取得ができないため、精度のよい被写体検出、被写体追尾が難しい。

本発明は上述した課題に鑑みてなされたものであり、その目的は、連写撮影中において、主被写体を画角内に納めるように追尾可能な像ブレ補正装置を提供することである。

本発明に係わる像ブレ補正装置は、画面内における被写体の位置を検出する位置検出手段と、前記被写体の位置の前記画面内における移動量を用いて被写体の速度を検出する速度検出手段と、連写撮影において、撮影の直前に検出している前記被写体の位置と、前記被写体の速度とに基づいて、前記被写体を前記画面内の目標位置に移動させるために必要な、被写体像を画面上で移動させるシフト手段の補正量である追尾量を算出する追尾量算出手段と、前記追尾量に基づいて、前記シフト手段を駆動する制御手段と、を備えることを特徴とする。

本発明によれば、連写撮影中において、主被写体を画角内に納めるように追尾可能な像ブレ補正装置を提供することが可能となる。

本発明の一実施形態の撮像装置を模式的に示す図。 撮像装置の構成を示す図。 検出された被写体の追尾制御を説明する図。 移動被写体の連写撮影を説明する図。 撮影動作のタイミングチャート。 追尾ゲインを説明するための図。 追尾制御の方法と効果を説明するための図。 撮影処理を説明するフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の像ブレ補正装置を搭載する撮像装置の一実施形態であるカメラ１０１を示す模式図である。また、図２は、カメラ１０１の撮像部の構成と、ＣＰＵ（中央演算処理装置）１０５で実行される像ブレ補正処理及び自動追尾処理の機能ブロックを示す図である。

図１において、カメラ１０１の本体にはシャッターを走行させるためのレリーズスイッチ１０４が設けられており、ユーザがレリーズスイッチ１０４を押し込むことにより、このスイッチのオンを通知する信号がＣＰＵ１０５に送られる。レリーズスイッチ１０４は、押し込み量に応じて第１スイッチ(ＳＷ１)および第２スイッチ（ＳＷ２）が順にオンするように構成されている。レリーズスイッチ１０４を約半分押し込んだときに第１スイッチがオンし、レリーズスイッチを最後まで押し込んだときに第２スイッチがオンする。第１スイッチがオンされると、フォーカスレンズを駆動してピント調整を行うとともに、絞りを駆動して適正な露光量に設定する。さらに第２スイッチがオンされると、撮像素子１０６の本露光により得られた画像が記録される。なお、ＣＰＵ１０５は、本実施形態の制御装置として機能する。また、本発明は、このＣＰＵ１０５を備える任意の光学機器にも適用可能である。

撮影光学系の光軸１０２上には、光軸１０２と異なる方向に移動することにより、画面上における被写体像の像ブレを補正する補正レンズ１１４と、撮像素子１０６とが配置されている。角速度計１０３は、矢印１０３ｐで示されるＸ軸回りの回転方向（ピッチ方向）、矢印１０３ｙで示されるＹ軸回りの回転方向（ヨー方向）の角度振れを検出する。角速度計１０３の出力は、ＣＰＵ１０５に入力される。自動追尾制御を行わない場合は、振れ補正角度算出部１０８は、角速度計１０３の出力に基づいて、手ブレなどの装置の振れに起因する振れ補正角度を算出する。具体的には、振れ補正角度算出部１０８は、角速度計１０３の出力に対して、角速度計１０３に検出ノイズとして付加されるＤＣ成分をカットした後、積分処理を実行して角度信号を出力する。ＤＣ成分のカットには、例えばＨＰＦ（ハイパスフィルタ或いは高域透過フィルタ）が用いられる。振れ補正角度算出部１０８の出力は敏感度調整部１０９に入力される。

敏感度調整部１０９は、ズーム、フォーカスの位置情報１０７と、これらにより求まる焦点距離や撮影倍率に基づいて、振れ補正角度算出部１０８の出力を増幅し、振れ補正目標値を出力する（ブレ補正量算出）。ズーム、フォーカスの位置情報１０７に基づいて振れ補正目標値を求める理由は、レンズのフォーカスやズームなどの光学情報の変化により補正レンズ１１４の振れ補正ストロークに対する撮像素子の像面での振れ補正敏感度が変化するからである。敏感度調整部１０９の出力である振れ補正目標値は、振れ補正量として駆動制御部１１３に入力される。

補正レンズ１１４は、画面内における被写体像をシフト移動させるシフト手段として機能する。駆動制御部１１３は、補正レンズ１１４を光軸と異なる方向に駆動することで像ブレ補正（光学像ブレ補正）を実行する。図２に示す例では、補正レンズ１１４を用いた光学像ブレ補正が採用されているが、撮像素子を光軸と垂直な面内で移動させることで像ブレ補正を行うようにしてもよい。また、撮像素子が出力する各撮影フレームの切り出し位置を変更することで、振れの影響を軽減させる電子像ブレ補正を用いてもよい。また、複数の像ブレ補正を組み合わせてもよい。

次に、補正レンズ１１４を用いた被写体追尾の制御方法について説明する。図２に示す被写体検出部１１０は、撮影画像内の被写体の位置（被写体位置）を検出する。追尾量算出部１１１は、検出された被写体位置の情報に基づいて、補正レンズ１１４で被写体を追尾するために用いる駆動量である追尾補正量を算出する。加算器１１２は、振れ補正角度算出部１０８が出力する振れ補正量と追尾量算出部１１１が出力する追尾補正量とを加算する。加算器１１２の出力は、敏感度調整部１０９に入力され、補正レンズ１１４の振れ補正ストロークに合わせて調整され、駆動制御部１１３に入力される。駆動制御部１１３は、敏感度調整部１０９の出力に基づいて、補正レンズ１１４の駆動量を算出し、この駆動量に基づいて補正レンズ１１４を駆動することで、被写体の追尾と像ブレ補正とを実行する。

次に、被写体検出部１１０での被写体検出方法について説明する。撮像素子１０６は被写体からの反射光を電気信号に変換することでアナログの画像信号を取得する。その画像信号はデジタル信号に変換される。デジタル信号に変換された画像データは、被写体検出部１１０に送られる。

撮影画像内に捉えられている被写体のうち、主被写体を自動的に認識する方法としては以下の方法がある。１つ目の方法は、人物を検出する方法である。被写体検出部１１０は、撮影画像中の被写体として顔、人体を検出する。顔検出処理は、人物の顔と判断するパターンが予め定められており、画像内に含まれるそのパターンに一致する箇所を人物の顔として検出することができる。

主被写体を検出する他の方法として、撮影画像内に捉えられている被写体を撮影された画像内の色相や彩度等のヒストグラムの分布で区間に分け、その区間毎に撮像された画像を分類することで得られるそれぞれの領域を被写体として認識してもよい。例えば、撮影された画像について作成された複数の色成分のヒストグラムを山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域に画像を分類することで被写体を認識する。認識された被写体毎に評価値を算出することにより、その評価値が最も高い被写体を主被写体として判定することができる。主被写体が決定された後は、主被写体領域の、例えば色相分布や大きさ等の特徴量を用いて、以降にライブビュー動作で順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域を追尾することができる。検出された被写体の位置情報は、追尾量算出部１１１に入力され、追尾量算出部１１１が、追尾補正量を算出する。被写体が１つの場合、追尾量算出部１１１は、主被写体の中心位置が画像中心付近（目標位置）に位置するように追尾補正量を算出する（追尾補正量算出）。また、操作部による撮影者の操作によって、随時撮像された画像が表示されるカメラ１０１のモニタ上で被写体位置を指定できるようにしてもよい。その後、指定された位置での色相分布や大きさ等の特徴量を用いて、以降に順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域を追尾することができる。

図３は、画面内で検出された被写体の追尾制御を説明する図である。図３（ａ）は、被写体の追尾制御開始前の撮影画像３０１ａを示す。図３（ｂ）は、被写体の追尾制御後の撮影画像３０１ｂを示す。図３（ａ）に示す撮影画像３０１ａにおいて、被写体３０２ａの中心位置（被写体中心）３０３ａは、画像中心３０４から離れた位置にある。ＣＰＵ１０５は、図３（ａ）に示す被写体３０２ａの中心位置３０３ａを、追尾制御により補正レンズ１１４を駆動して画像中心３０４まで徐々に近づけていき、最終的には図３（ｂ）に示すように画像中心３０４に一致するように移動させる。図３（ｂ）に示すように、追尾が成功した被写体３０２ａの中心位置３０３ａは、画像中心３０４と一致する。

ライブビュー画像や動画撮影画像などの速い時間間隔で連続的に出力される画像においては、フレーム毎に刻々と変わる被写体位置から、画像中心３０４に被写体が遷移するようにフィードバック制御することで追尾制御が可能である。しかし、静止画撮影中は被写体の検出を行うことはできない。連写撮影の場合、撮影された画像を解析することにより被写体位置を検出することは可能である。しかし、次の撮影画像が得られるまでは新たな被写体位置を検出することはできず、比較的時間幅が広いタイミングでの被写体位置検出となってしまうため、精度よく被写体追尾を行うことは難しかった。そこで、以下の方法により被写体の動きを予測して連写撮影中における被写体の追尾制御を行う。

図４に、まず追尾制御を行わない場合の、連写撮影時の撮影例を示す。連写中に移動する被写体４０５が画角内に収まるようにカメラ１０１をパンニングしながら撮影することは難しい。レリーズスイッチ１０４が押下される直前のライブ画像を４０１に示す。撮影者は被写体４０５が画角中心に位置するようにカメラの振り量を調整して撮影を行う。レリーズスイッチ１０４を押下後、連写撮影を開始したときの１枚目の撮影画像を４０２に示す。４０１で示す状態において被写体４０５が画角内の中心付近に捉えられるように撮影者がフレーミングしているので、一枚目の画像４０２では、比較的被写体を画角中心に捉えて撮影することができる。

２枚目以降に撮影された画像例を４０３，４０４に示す。静止画の撮影と次の静止画の撮影の間は画面内の被写体位置を正確に確認することは難しい。４０２と４０３の間、また４０３と４０４の間は前に撮影した画像やライブ画像（４０１，４０２，４０３）を表示して、撮影者が被写体を捉えて撮影しやすいようにするが、表示の遅れや表示時間間隔の問題により、正確に被写体を捉えながらの撮影は難しい。そこで、本実施形態においては、被写体４０５の前画像の位置と前画像と前々画像との差分である動き量とから、次に撮影する被写体の位置を予測し、補正レンズ１１４を駆動することで追尾制御を行う。

図５に、連写モード時の各部の動作のタイミングチャートを示す。まず（ａ）のように時刻ｔ１においてレリーズスイッチ１０４が半押しされて第１スイッチ（ＳＷ１）がオンされると、カメラは測光、焦点調節等の各種撮影準備動作を実行する。続いて、（ｂ）のように時刻ｔ２においてレリーズスイッチ１０４が全押しされて第２スイッチ（ＳＷ２）がオンされると撮影駆動に移行し、（ｃ）のように時刻ｔ２において電荷蓄積が開始される。時刻ｔ３において電荷の転送までが終了すると、（ｄ）のように画像処理、記録動作が行われる。単写モードの場合、ここで撮影処理は終了するが、連写モードの場合は、画像処理、記録動作終了後、時刻ｔ６において再度電荷蓄積が開始され、以下は同じように撮影処理が連続で行われる。

ここで、（ｃ）及び（ｄ）で取得された画像から、（ｅ）の被写体検出処理で被写体位置の検出が可能である。そして、検出した被写体位置から被写体が画角中心に移動するように（ｆ）のレンズ駆動処理（補正レンズ１１４の駆動処理）を行うことで、連写中の被写体追尾は可能である。しかし、検出された被写体位置の情報は（ｃ）で電荷蓄積が行われた時刻に検出された情報であり、次に電荷蓄積されるまでには時間Ｔ１５がかかる。時間Ｔ１５が長くなると、時刻ｔ２のタイミングにおける被写体位置と時刻ｔ６のタイミングにおける被写体位置は大きく変化してしまい、時刻ｔ６における被写体追尾の性能が得られないことがある。

そこで、時刻ｔ５の時点で検出されている被写体検出情報、即ち時刻ｔ２から時刻ｔ３の間で得られた画像からの被写体の位置情報と、検出した被写体の画像を電荷蓄積した（露光重心の）タイミングと次に電荷蓄積されるタイミング（予測時刻）との差分の時間とから、（ｆ）のレンズ駆動処理で追尾するべき追尾量を算出する。これにより、被写体が画角内に収まるように追尾制御することができる。

また、被写体検出処理は、第２スイッチ（ＳＷ２）がオンされる以前にも行われており、撮影前にカメラに設けられたＬＣＤなどの表示装置に表示されるライブ画像を用いて、フレーム毎に被写体検出処理が行われている。第２スイッチ（ＳＷ２）がオンされ、１枚目の撮影が行われた後に、ｔ５のタイミングでレンズ駆動させる被写体追尾量が算出される。時刻ｔ４〜時刻ｔ５の間で行われる被写体検出処理により、被写体位置１を取得する。また、第２スイッチ（ＳＷ２）がオンされる前にライブ画像を用いて検出された最後のライブ画像における被写体位置２を取得する。被写体位置１と被写体位置２との差分画像のピクセル数と、被写体位置１を検出した画像の露光重心のタイミングと被写体位置２を検出した画像の露光重心のタイミングとの差分時間を取得する。ここで差分画像のピクセル数をＰ、差分時間をＤと置くと、時間Ｄの間の画像移動速度は、Ｐ／Ｄ（ピクセル／時間）となる（速度検出）。また、被写体位置１を検出した画像の露光重心のタイミングと、次に電荷蓄積する（露光重心の）予定時間との差分時間Ｎを算出する。この予定時間はｔ５のタイミングから発生するＣＰＵの処理負荷に応じて予測可能である。また被写体位置１と目標とする画像内での被写体位置（例えば画像中心）との差分位置をＺとする。また、角速度計１０３により検出した像面カメラ振れ速度（被写体位置１を検出した画像の露光重心のタイミングと被写体位置２を検出した画像の露光重心のタイミング間の角速度平均値を像面ピクセル量に変換したカメラ振れピクセル速度Ａ）を算出する。角速度をω（ｒａｄ／ｓｅｃ）、焦点距離（ｍｍ）をｆ、セルピッチ（１ピクセル当たりの距離（ｍｍ））をＸとすると、カメラ振れピクセル速度Ａは式（１）のようになる。

Ａ＝ｆ×tan（ω）÷Ｘ …（１）
また、画像移動速度（Ｐ／Ｄ）からカメラ振れピクセル速度（Ａ）を減算して、手振れの影響を除去した被写体速度Ｂを式（２）のように算出する。

Ｂ＝Ｐ／Ｄ−Ａ …（２）
ここでレンズ駆動処理において用いられる追尾量（目標被写体追尾移動量）は以下で求められる。

追尾量＝Ｚ＋（Ｂ×Ｎ） …（３）
時間Ｎ（被写体位置１を検出した画像の露光重心のタイミングと、次の露光重心の予定時間との差分）を被写体速度Ｂに乗算した被写体移動に伴う予想被写体ズレ位置補正量（式（３）右辺第２項）と、被写体位置１と目標とする画像内での被写体位置との差分位置Ｚ（式（３）右辺第１項）を加算することで、連写中に被写体が画角中心に捉えられるような追尾量の算出が可能である。

しかし、実際には次の撮影までに被写体がどのように移動するかはわからない。式（３）の方法はあくまで被写体移動の予測であるため、予測値が実際とは異なることもあり得る。ここで、このままの追尾量で追尾制御してしまうと、被写体の動きが予測と異なる場合、誤追尾により被写体が画角から外れてしまうことがある。

そこで、式（４）のようにゲインαとゲインβを用いて、被写体位置や被写体速度、向きによってゲインをそれぞれ変更する（ゲイン変更）ことで、撮影画像の画面内での被写体の急峻な移動を抑制し、連写において被写体移動のつながりのある画像を撮影できるようにする。また、追尾の過制御によって、被写体が画角から外れてしまう不具合を防止する。

追尾量＝α×Ｚ＋β×（Ｂ×Ｎ） …（４）
ここで、撮影直前の被写体位置と被写体の移動速度によって、ゲインα，βを変更する方法について説明する。

図６（ａ）は、差分位置Ｚと被写体速度Ｂに応じて設定されるゲインαのテーブルを示し、図６（ｂ）は、差分位置Ｚと被写体速度Ｂに応じて設定されるゲインβのテーブルを示す。

これらのゲインテーブルでは、ゲインα，βは、差分位置Ｚの絶対値の大きさが大きいほどゲインを大きくする。また、被写体の速度と速度の向きに応じてゲインテーブルが変更される。具体的には、被写体の速度と速度の向きに応じて、曲線６０１，６０２，６０３，６０４の中からゲインαが設定され、曲線６０５，６０６，６０７，６０８の中からゲインβが設定される。被写体速度が大きく、被写体が中心から離れる方向の場合、曲線６０１，６０５が選択される。また、被写体速度が小さく、被写体が中心から離れる方向の場合、曲線６０２，６０６が選択される。また、被写体速度が小さく、被写体速度が中心へ向かう方向の場合、６０３，６０７が選択される。また、被写体速度が大きく、被写体速度が中心へ向かう方向の場合、６０４，６０８が選択される。また、被写体速度に応じて曲線６０１−６０２間と曲線６０５−６０６間、曲線６０３−６０４間と曲線６０７−６０８間はテーブル間補間で値が設定される。

図６に基づく、ゲインα，βの設定例について具体的に説明する。
（１）被写体検出位置Ｚが画面の中央に近い場合
差分位置ＺがＥ（画面中央に近い）であるとき、ゲインαは点６０９で示す０に設定され、ゲインβは被写体速度が大きく、被写体が中心から離れる方向の場合点６１４で示されるゲインに設定される。また、ゲインβは被写体速度が小さく、被写体が中心から離れる方向の場合点６１５で示されるゲインに設定され、被写体速度が小さく、被写体が中心へ向かう方向の場合点６１６で示されるゲインに設定される。さらに、被写体速度が大きく、被写体が中心へ向かう方向の場合点６１７で示されるゲインに設定される。
（２）被写体検出位置Ｚが画面の中央から離れており、且つ被写体速度が画面中央から離れる方向で速い場合
差分位置ＺがＦ（画面中央から離れている）であるとき、被写体速度が画面中央から離れる方向で速い場合なので曲線６０１が選択され、ゲインαは点６１０で示されるゲインに設定される。ゲインβは、曲線６０５が選択され、点６１８で示されるゲインに設定される。
（３）被写体検出位置Ｚが中央から離れており、且つ被写体速度が画面中央から離れる方向で遅い場合
差分位置ＺがＦ（画面中央から離れている）であるとき、被写体速度が画面中央から離れる方向で遅い場合なので曲線６０２が選択され、ゲインαは点６１１で示されるゲインに設定される。ゲインβは、曲線６０６が選択され、点６１９で示されるゲインに設定される。
（４）被写体検出位置Ｚが中央から離れており、且つ被写体速度が画面中央へ向かう方向で遅い場合
差分位置ＺがＦ（画面中央から離れている）であるとき、被写体速度が画面中央へ向かう方向で遅い場合なので曲線６０３が選択され、ゲインαは点６１２で示されるゲインに設定される。ゲインβは、曲線６０７が選択され、点６２０で示されるゲインに設定される。
（５）被写体検出位置Ｚが中央から離れており、且つ被写体速度が中心へ向かう方向で速い場合
差分位置ＺがＦ（画面中央から離れている）であるとき、被写体速度が中心へ向かう方向で速い場合なので曲線６０４が選択され、ゲインαは点６１３で示されるゲインに設定される。ゲインβは、曲線６０８が選択され、点６２１で示されるゲインに設定される。

上記のように、時刻ｔ５、時刻ｔ９、時刻ｔ１３までに検出した被写体検出情報に基づいて追尾量を算出し、時刻ｔ５〜ｔ６、時刻ｔ９〜ｔ１０、時刻ｔ１３〜ｔ１４の期間で追尾量に基づいて補正レンズ１１４のレンズ駆動を行う。（ｇ）は目標の追尾量であり、時刻ｔ５〜ｔ６、時刻ｔ９〜ｔ１０、時刻ｔ１３〜ｔ１４の期間でのみ変化するようにされている。（ｈ）は振れ補正角度算出部１０８で算出された振れ補正量であり、（ｉ）は（ｇ）の追尾量と（ｈ）の振れ補正量を加算して算出したレンズ駆動量であり、（ｉ）のレンズ駆動量に基づいて補正レンズ１１４を駆動し、追尾制御を行う。式（４）により算出された追尾量と、角速度計１０３の出力に基づいて振れ補正角度算出部１０８において演算される振れ補正量とを加算器１１２で加算し、追尾制御を行う。

なお、補正レンズの駆動処理（図５（ｆ））の間で式（４）で示される追尾位置を加算する。このときステップ的に追尾量を加算して、レンズ制御が安定するまでの時間を待ってレンズ駆動処理を終了してもよいし、徐々に最終追尾位置に遷移するように追尾量を設定して、最終追尾位置に遷移し終わった時点でレンズ駆動処理を終了してもよい。

図７は、本実施形態における連写中の追尾を行った場合の画像の例を示す図である。７０１はレリーズスイッチ１０４が押下される直前のライブビュー画像であり、ユーザーが設定した撮影画面内の被写体の中心位置は７０１ａである。このとき撮影者はレリーズスイッチ１０４を押下するまでライブビュー画像で被写体の位置を確認しながらカメラをパンニング操作しているので、被写体中心７０１ａは比較的画角中心に納めることができている。レリーズスイッチ１０４が押下され、静止画撮影が開始されると、最初の１枚目の撮影画像７０２においては、撮影直前まで被写体を画角中心付近に捉えられているので、撮影画像７０２の被写体の中心位置７０２ａも比較的画角中心にきている。このとき位置７０１ａと位置７０２ａの差分から被写体速度７０２ｂを求めておく。次に撮影される前までに位置７０２ａと被写体速度７０２ｂとから追尾量を算出し、追尾量分をレンズ駆動制御した後に、画像７０３を撮影する。このとき被写体速度は小さく、被写体位置７０２ａは画角中心に近い位置にいるので図６のゲインを小さくして追尾量が設定される。画像７０３は、画像７０２〜７０３間で被写体が大きく移動してしまった場合、つまり被写体位置７０３ａが大きく画角中心から離れてしまった例を示している。このときの位置７０２ａと位置７０３ａの差分から被写体速度７０３ｂを求めておく。次に撮影される前までに位置７０３ａと被写体速度７０３ｂとから追尾量を算出し、追尾量分をレンズ駆動制御するが、このとき被写体速度が速く、被写体位置が画角中心から大きく離れているので図６のゲインを大きくして追尾量が演算されている。次に撮影される画像７０４においては、画像７０３〜７０４間で被写体は大きく移動していないので被写体速度７０４ｂが小さいが、被写体中心７０４ａは画角中心から離れたままである。そのため、図６のゲインは比較的大きくして追尾量が設定される。次に撮影される画像７０５においては、被写体が画面中央に向かっているので、次の撮影において被写体が画角から外れることはなく中心に遷移する方向に向かうため、図６のゲインは比較的小さくして追尾量が設定される。

図８は、撮影処理の例を説明するフローチャートである。カメラ１０１が撮影モードに設定されると本フローチャートの処理が実行される。ステップＳ８０１では、ライブビュー（ＬＶ）画像の撮像処理及び表示処理が行われる。具体的には、撮像素子１０６に光学像が結像され、所定のフレームレートで撮像素子１０６から出力されるアナログ信号がデジタル信号に変換される。このデジタル信号は、画素補間処理や色変換処理などの画像処理が施され、フレームメモリバッファへ格納される。フレームメモリバッファへ格納された画像は、再度読み出され、表示用の画像に変換されて画像表示メモリに書き込まれ、表示用の画像はＤ／Ａ変換器を介して画像表示部により表示される。

次のステップＳ８０２では、ステップＳ８０１で取得されたＬＶ画像から主被写体を検出する。例えば、操作部による撮影者の操作によって、随時出力される映像信号が表示されたカメラのモニタ上で被写体位置が指定されることで、主被写体が指定される。その後、指定された位置での色相分布や大きさ等の特徴量を用いて、以降に順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域を追尾する。

次のステップＳ８０３では、レリーズスイッチ１０４が押下されたか否かを判定し、押下されていない場合、ステップＳ８０１へ戻り、撮影待機状態としてＬＶ画像撮像処理と表示処理及び被写体検出処理を繰り返す。ステップＳ８０３でレリーズスイッチ１０４が押下されたと判定されると、ステップＳ８０４に進む。ステップＳ８０４では追尾量を０とし、ステップＳ８０５に進む。

ステップＳ８０５では、連写モードに設定されているか否かを判定し、連写モードに設定されていない場合、ステップＳ８０９に進み、静止画像の撮像を行う。撮像された静止画像は所定の画素補間処理や色変換処理などの画像処理が施され、メモリ内の静止画像データバッファへ保存され、ステップＳ８１０に進む。ステップＳ８１０では、静止画像データバッファの画像が再度読みだされ、表示用の画像に変換されて画像表示メモリに書き込まれ、表示用の画像はＤ／Ａ変換器を介して画像表示部により一定時間だけ表示される。その後、ステップＳ８０１に戻り、レリーズスイッチが押下されるまで、ＬＶ画像表示を繰り返す。

ステップＳ８０５で連写モードに設定されている場合、ステップＳ８０６に進む。ステップＳ８０６で、最初の撮影の場合、追尾量はステップＳ８０４で０に設定されているため、追尾駆動を行わず、ステップＳ８０７に進む。２回目以降では、ステップＳ８１３で設定された追尾量に基づいて、補正レンズ１１４を駆動し、追尾制御を行う。図５（ｇ）のように所定時間かけて目標とする追尾量になるように徐々に追尾量を演算する。これは、ステップ駆動時の補正レンズ１１４の駆動のオーバーシュートによる駆動不具合を防止するためである。図５（ｇ）のように求めた追尾量を図５（ｈ）の振れ補正量に加算することで、図５（ｉ）のようなレンズ駆動量を算出し、レンズ駆動量に基づいて補正レンズ１１４を駆動することで連写間の被写体追尾を行う。

ステップＳ８０６で目標とする追尾駆動が完了すると、ステップＳ８０７に進み、静止画像撮像を行う。撮像された静止画像は、所定の画素補間処理や色変換処理などの画像処理が施され、メモリ内の静止画像データバッファへ保存され、ステップＳ８０８に進む。ステップＳ８０８では、静止画像データバッファの画像が再度読みだされ、表示用の画像に変換されて画像表示メモリに書き込まれ、表示用の画像はＤ／Ａ変換器を介して画像表示部に次の撮影による表示処理までの間、表示される。

次のステップＳ８１１では連写が終了されたか否か（レリーズスイッチがＯＦＦされたか否か）が判定され、連写が終了されたと判定されると、ステップＳ８０１に戻る。そして、レリーズスイッチ１０４が押下されるまで、ＬＶ画像撮像処理と表示処理及び被写体検出処理を繰り返す。ステップＳ８１１で連写が終了されていないと判定されると、次の撮影における追尾駆動のための処理として、まずステップＳ８１２で被写体検出処理を行う。そして、前の撮影画像で指定された被写体の色相分布や大きさ等の特徴量を用いて、今回撮像された画像から特徴量と類似する領域を検出することで今回の画像における主被写体領域を検出する。ステップＳ８１３では、検出した被写体情報に基づいて、図５及び図６で説明した方法により追尾量を演算する。ステップＳ８１３において追尾量を演算した後は、ステップ８０６に戻り、追尾量に基づいて静止画の連写撮影を繰り返す。

上記の実施形態では、連写撮影中の撮像画像内の被写体の位置と被写体の速度に基づいて追尾量を演算し、追尾量に基づきレンズ駆動を行うことで、連写撮影における被写体追尾撮影を行う。これにより、連写撮影のような連続撮影される画像の取得周期が遅く、ＬＣＤモニタなどの画像表示装置に出力される撮影画像に遅れがある場合であっても、撮影する時間における被写体の移動を予測して追尾制御することができる。そのため、連写撮影においても被写体が画角から外れないように撮影することができる。

また、本実施形態では、補正レンズを光軸に垂直な面内で移動させる方法により像ブレ補正及び追尾制御を行う例について説明したが、これに限定されず、以下の構成を適用することもできる。
（１）撮像素子を光軸に垂直な面内で移動させる構成。
（２）撮像素子が出力する各撮影フレームの切り出し位置を変更する構成。
（３）撮像素子と撮影レンズ群を含む鏡筒を回転駆動する構成。
（４）撮像装置をパン・チルトできる回転雲台を撮像装置に組み合わせた構成。
（５）上記複数の被写体追尾装置を組み合わせた構成。

また、本実施形態では、連写撮影中に撮影された静止画撮影画像から被写体を検出する場合について説明したが、静止画撮影の間で被写体検出用に撮影されたライブビュー画像を用いて被写体検出を行ってもよい。その場合、ライブビュー画像撮影は、被写体ブレや手ブレが発生しない程度のシャッター速度に設定しておいて、被写体検出の精度を向上させるようにしておく。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮像装置にも搭載できる。

１０１：カメラ、１０２：光軸、１０３：角速度計、１０４：レリーズスイッチ、１０５：ＣＰＵ、１０６：撮像素子、１１４：補正レンズ

Claims (11)

1. 画面内における被写体の位置を検出する位置検出手段と、
   前記被写体の位置の前記画面内における移動量を用いて被写体の速度を検出する速度検出手段と、
   連写撮影において、撮影の直前に検出している前記被写体の位置と、前記被写体の速度とに基づいて、前記被写体を前記画面内の目標位置に移動させるために必要な、被写体像を画面上で移動させるシフト手段の補正量である追尾量を算出する追尾量算出手段と、
   前記追尾量に基づいて、前記シフト手段を駆動する制御手段と、
   を備えることを特徴とする像ブレ補正装置。
2. 装置の振れを検出する振れ検出手段の出力に基づいて、前記装置の振れに起因する像ブレを補正するための前記シフト手段の補正量を算出する補正量算出手段をさらに備え、前記制御手段は、前記補正量と前記追尾量とを加算した値を用いて前記シフト手段を駆動することを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記被写体の位置に基づいて、前記追尾量の算出に用いるゲインを変更するゲイン変更手段をさらに備え、前記追尾量算出手段は、前記被写体を前記画面内の目標位置に移動させるために必要な前記シフト手段の補正量の予測値に前記ゲインを乗算することにより前記追尾量を算出することを特徴とする請求項１または２に記載の像ブレ補正装置。
4. 前記ゲイン変更手段は、前記被写体の位置が前記画面内の中心から離れるほど前記ゲインを大きくし、前記被写体位置が前記画面内の中心に近いほど前記ゲインを小さくすることを特徴とする請求項３に記載の像ブレ補正装置。
5. 前記被写体の速度に基づいて、前記追尾量の算出に用いるゲインを変更するゲイン変更手段をさらに備え、前記追尾量算出手段は、前記被写体を前記画面内の目標位置に移動させるために必要な前記シフト手段の補正量の予測値に前記ゲインを乗算することにより前記追尾量を算出することを特徴とする請求項１または２に記載の像ブレ補正装置。
6. 前記ゲイン変更手段は、前記被写体の速度が大きいほど前記ゲインを大きくし、前記被写体の速度が小さいほど前記ゲインを小さくすることを特徴とする請求項５に記載の像ブレ補正装置。
7. 前記被写体の速度の向きが前記画面内の中心から離れる方向の場合に前記ゲインを大きくし、前記被写体速度の向きが前記画面内の中心に向かう方向の場合に前記ゲインを小さくすることを特徴とする請求項５に記載の像ブレ補正装置。
8. 被写体像を撮像する撮像手段と、
   請求項１乃至７のいずれか１項に記載の像ブレ補正装置と、
   を備えることを特徴とする撮像装置。
9. 画面内における被写体の位置を検出する位置検出工程と、
   前記被写体の位置の前記画面内における移動量を用いて被写体の速度を検出する速度検出工程と、
   連写撮影において、撮影の直前に検出している前記被写体の位置と、前記被写体の速度とに基づいて、前記被写体を前記画面内の目標位置に移動させるために必要な、被写体像を画面上で移動させるシフト手段の補正量である追尾量を算出する追尾量算出工程と、
   前記追尾量に基づいて、前記シフト手段を駆動する制御工程と、
   を有することを特徴とする像ブレ補正装置の制御方法。
10. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images