JP6995561B2 - 像ブレ補正装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は、被写体の画像ブレを補正する技術に関するものである。

流し撮りは、移動している被写体のスピード感を表現する撮影技術であり、動体の動きに合わせて撮影者がカメラのパンニングを行うことにより、動体の画像を静止させて背景画像を流すことを目的とする。被写体の動きに対して、撮影者がパンニングを行う際のパンニング速度が速すぎたり遅すぎたりすると、被写体の移動速度とパンニング速度との間に差が発生し、被写体画像にブレが発生する可能性がある。

特許文献１に開示の装置は、露光前に算出した撮像装置に対する被写体の相対角速度と角速度センサから得た露光中の撮像装置の角速度に基づいて、露光中に撮像光学系の一部または撮像部を移動させて被写体のブレ（被写体ブレ）を補正する。撮像装置に対する被写体の相対角速度は、時間的に連続した画像から検出した被写体の像面上の移動量と、角速度センサの出力によって算出される。

特開２０１５－１６１７３０号公報

従来の技術では、像ブレ補正において被写体の移動を検出する際に用いる画像がどのような状態で取得されたかによって、検出された移動量に大きな誤差を生じる可能性がある。像面上の被写体の移動を検出する一般的な方法として、テンプレートマッチング法を用いたベクトル検出法がある。この方法では、画像が暈けていると移動量が正確に算出されないことがある。

ところで、特許文献１で想定している運動は、流し撮り対象となる被写体の典型的な動作である等速直線運動である。この場合、カメラで測定した被写体角速度は一定値にはならず、角加速度をもった運動になることが判っている。そのため、被写体の角速度の算出時点と実際に撮影が行われる時点とにタイムラグが生じる場合、加速分の角速度を考慮したうえで、露光時の被写体角速度を算出し、像ブレ補正レンズの移動によって適正な動作で補正を行う必要がある。例えば、被写体に焦点が合っていない画像から検出されるベクトルから算出された被写体角速度の時間変化に基づいて加速分を予測した場合を想定する。この場合、正確でない角加速度が算出されるため、加速分を考慮しないで角速度を算出した場合よりも、ずれた角速度が得られることになる。その結果、誤った角速度を用いて像ブレ補正が行われてしまい、像ブレ補正性能を低下させる可能性がある。
本発明の目的は、動体である被写体の撮影において精度の高い像ブレ補正を行うことである。

本発明の一実施形態の装置は、撮像光学系を介して結像される被写体の画像に対して補正手段により像ブレ補正を行う像ブレ補正装置であって、前記撮像光学系の焦点距離の情報を取得する取得手段と、前記焦点距離と、第１の検出手段によって検出される振れ検出信号および第２の検出手段によって検出される被写体の動き情報から、前記像ブレ補正装置に対する前記被写体の角速度を算出する算出手段と、前記算出手段から取得した複数の角速度と当該角速度が算出されたときの画像が生成された時刻から露光時の前記被写体の角速度を決定する決定手段と、前記決定手段により決定された前記角速度から算出される補正量にしたがって前記補正手段を制御する制御手段と、を備える。前記決定手段は、前記算出手段により算出された複数の前記被写体の角速度の時間変化から前記露光時の被写体の角速度を決定する第１の処理と、前記算出手段により算出された複数の前記被写体の角速度を平均して前記露光時の被写体の角速度を決定する第２の処理とを切り替える。

本発明によれば、動体である被写体の撮影において精度の高い像ブレ補正を行うことができる。

本実施形態の撮像装置の全体構成図である。 本実施形態の手ブレ補正制御および流し撮りアシスト制御の構成図である。 パンニング制御のフローチャートである。 パンニング判定の説明図である。 本実施形態の被写体角速度決定処理のフローチャートである。 第１実施形態の露光時角速度算出処理のフローチャートである。 第２実施形態の露光時角速度算出処理のフローチャートである。

以下、本発明を各実施形態にしたがって詳細に説明する。像ブレ補正装置を備える撮像装置の例を説明するが、像ブレ補正機能を有する交換レンズ等の光学機器や撮像部を有する各種電子機器への適用が可能である。

［第１実施形態］
図１から図６を参照して、像ブレ補正機能を有する撮像装置により流し撮りを行う例について説明する。以下、ユーザの流し撮りを支援する機能を、「流し撮りアシスト」といい、流し撮りアシストの制御が行われる撮影モードを、「流し撮りアシストモード」という。

図１は、撮像装置１００の構成を示す図であり、レンズ一体型のカメラを例示する。撮影レンズユニット１０１は、主撮像光学系１０２、ズームレンズ群１０３、シフトレンズ群１０４を有し、その他に絞り等の光学部材を備えるが、それらの説明を割愛する。主撮像光学系１０２は固定レンズ群や、焦点調節を行うフォーカスレンズを有する。ズームレンズ群１０３は焦点距離を変更可能な可動レンズである。シフトレンズ群（以下、シフトレンズともいう）１０４は、手ブレ等による光軸に対する像の振れを補正する補正レンズである。シフトレンズは、光軸と垂直な方向に移動することにより、光学的に像ブレを補正する可動レンズである。

ズームエンコーダ１０５は、ズームレンズ群１０３の位置を検出する。位置センサ１０６はシフトレンズ群１０４の位置を検出する。角速度センサ１０７は撮像装置１００の振れを検出する振れ検出部を構成し、振れ検出信号である角速度検出信号をアンプ１０８に出力する。アンプ１０８は、角速度センサ１０７の出力を増幅し、増幅後の信号を制御部１３０に出力する。

制御部１３０はマイクロコンピュータを備え、撮像装置１００の各部を制御する。アンプ１１０は、位置センサ１０６の出力信号を増幅して制御部１３０に出力する。制御部１３０はシフトレンズの位置検出信号に基づいてシフトレンズの駆動指令をドライバ１０９に出力する。ドライバ１０９は駆動指令にしたがってシフトレンズを移動させ、像ブレ補正動作を行う。

撮像装置１００はシャッタ１１１、撮像素子１１２を備える。シャッタ１１１は撮像素子１１２の露光時間を制御する。撮像素子１１２は、ＣＭＯＳ（相補型金属酸化膜半導体）素子等を用いたイメージセンサである。撮像素子１１２は、撮像光学系を通して結像される、被写体からの光を受光し、光電変換により電気信号を出力する。アナログ信号処理回路（ＡＦＥ）１１３は撮像素子１１２の出力を取得して処理し、処理後のアナログ信号をカメラ信号処理回路１１４がさらに処理して画像信号を生成する。タイミングジェネレータ（ＴＧ）１１５は、撮像素子１１２やアナログ信号処理回路１１３の動作タイミングを設定する回路である。

操作部１１６は、電源スイッチ、レリーズスイッチ、流し撮りアシストモードの選択スイッチ等を備える。メモリカード１１９は撮影された画像データを記録する記録媒体の一例である。カメラ信号処理回路１１４からの画像データがメモリカード１１９に記録される。表示部１２０は、液晶パネル等の表示デバイスを備え、ユーザが撮影しようとしている画像のモニタリング表示や、操作メニュー画面等の表示を行う。

カメラ信号処理回路１１４は、動きベクトル検出部１３５を備える。動きベクトル検出部１３５はアナログ信号処理回路１１３の出力に基づき、撮像時刻の異なる複数の画像データから動きベクトルを検出する。動きベクトルの情報は制御部１３０に送られる。

本実施形態の制御部１３０は第１から第３の制御部を備え、ＣＰＵ（中央演算処理装置）とソフトウェアプログラムにより各部が構成される。第１の制御部は手ブレ補正制御部１３１であり、シフトレンズの移動によって手ブレ補正制御を行う。第２の制御部は流し撮りアシスト用の制御を行う流し撮り制御部１３２である。第３の制御部はシャッタ１１１を制御するシャッタ制御部１３３であり、ドライバ１１８を介してシャッタ駆動用モータ１１７を制御し、シャッタ動作が行われる。また制御部１３０は、主被写体の角速度を算出する被写体角速度算出部１３４を備える。各部の詳細については後述する。制御部１３０はその他にもフォーカスレンズ制御、絞り制御等も行うが、図示の簡略化のため省略する。また手ブレ補正では、例えば横方向と縦方向といった、直交する２軸に関して検出および補正が行われるが、各軸について同じ構成であるため、１軸分のみ説明する。

ユーザが操作部１１６により撮像装置１００の電源のＯＮ操作を行うと、その状態変化を制御部１３０が検出し、撮像装置１００の各回路への電源供給および初期設定が行われる。流し撮りアシストモードの設定が行われていない通常モード時には、角速度センサ１０７が手ブレ等で撮像装置１００に加わる振れを検出し、手ブレ補正制御部１３１は振れ検出信号に基づき、シフトレンズ群１０４の駆動制御を行い、手ブレ補正動作が行われる。図２を参照して、手ブレ補正機能を説明する。

図２は手ブレ補正制御と流し撮りアシスト制御を説明する構成図である。図１と共通の構成については既に使用した符号を付すことで、それらの説明を省略する。手ブレ補正制御部１３１にて、Ａ／Ｄ（アナログ／デジタル）変換器４０１は、アンプ１０８により増幅された、角速度センサ１０７の検出信号を取得してデジタル信号に変換する。角速度センサ１０７の出力のデータサンプリングは１～１０ｋＨｚ程度で行われる。フィルタ演算部４０２はハイパスフィルタ（ＨＰＦ）等を備え、Ａ／Ｄ変換器４０１の出力に対して演算処理を行う。フィルタ演算部４０２は、角速度センサ１０７の出力に含まれているオフセット成分を除去し、またＨＰＦのカットオフ周波数を変更することでパンニング対策の処理を行う。第１の積分器４０３はフィルタ演算部４０２の出力を積分し、シフトレンズの駆動目標データを生成するために角速度データを角変位データに変換する。第１の積分器４０３の出力は加算器４０４に送られる。なお本明細書において、加算器が行う演算には加算のみならず、負値の加算である減算も含まれるものとする。

パンニング制御部４０７はＡ／Ｄ変換器４０１の出力を取得し、角速度データの状態から撮像装置１００のパンニングが行われたかどうかを判定する。パンニングが行われたと判定された場合、パンニング制御部４０７はフィルタ演算部４０２のカットオフ周波数の変更制御、および第１の積分器４０３の出力調整を行う。

Ａ／Ｄ変換器４０６は、アンプ１１０を介して位置センサ１０６の出力を取得し、デジタルデータに変換する。加算器４０４は、第１の積分器４０３の出力を正入力とし、Ａ／Ｄ変換器４０６の出力を負入力として演算を行う。つまり、シフトレンズの駆動目標値から現在のシフトレンズ位置の検出値を減算することで、シフトレンズの実際の駆動データが算出される。なお、加算器４０４が流し撮り制御部１３２から取得する正入力のデータについては後述する。ＰＷＭ（パルス幅変調）出力部４０５は加算器４０４の出力を取得し、算出された駆動量データに対応する制御信号をシフトレンズ駆動用のドライバ１０９に出力する。

図３を参照して、パンニング制御について説明する。図３はパンニング制御部４０７が行う処理例を示すフローチャートである。以下では撮像方向の変更操作としてユーザがパンニング操作を行う場合のパンニング制御について説明するが、チルティング制御の場合も同様である。

Ｓ３０１でパンニング制御部４０７は、Ａ／Ｄ変換器４０１から取り込まれた角速度データの平均値（所定のサンプリング回数分の平均値）を算出して所定値（αと記す）と比較する。所定値αは予め設定された閾値である。角速度データの平均値が所定値αよりも大きいと判定された場合、Ｓ３０２に処理を進める。角速度データの平均値が所定値α以下であると判定された場合にはパンニング動作が行われていないと判断され、Ｓ３０７に移行する。

Ｓ３０２にてパンニング制御部４０７は、Ａ／Ｄ変換器４０１から取り込まれた角速度データの平均値が所定値（βと記す）より大きいかどうかを判定する。所定値αは予め設定された閾値であり、「α＜β」とする。角速度データの平均値が所定値β以下であると判定された場合、ゆっくりとしたパンニング動作が行われていると判断されてＳ３０６に処理を進める。また、角速度データの平均値が所定値βよりも大きいと判定された場合、速いパンニング動作が行われていると判断され、Ｓ３０３に処理を進める。

Ｓ３０３でパンニング制御部４０７は、フィルタ演算部４０２内にあるハイパスフィルタのカットオフ周波数を最大値に設定し、次のＳ３０４で手ブレ補正制御を強制的にＯＦＦに設定する。ハイパスフィルタのカットオフ周波数を高くすることでシフトレンズが徐々に停止するように制御が行われるので、手ブレ補正制御をＯＦＦしたときの画像がユーザに与える違和感を低減できる。また、速いパンニング動作の時には手ブレの大きさに対してパンニングによる移動量が非常に大きくなる。このため、手ブレ補正制御をＯＦＦすることで手ブレの影響が残ったとしても違和感はない。このような設定を行わず、パンニング動作時の振れに対して撮像装置が大きなブレとして補正する場合には、パンニング動作の開始時に画像の動きが停止するが、その後、突然に画像の動きが大きくなる可能性がある。その理由は、シフトレンズ群１０４が補正端（制御範囲の限界位置）に到達した瞬間に、突然画像が大きく動き出すため、ユーザには非常に不自然な動きとして見えてしまうことになる。この現象を回避するためにＳ３０３の設定が行われる。

Ｓ３０４の後、Ｓ３０５ではシフトレンズ群１０４を初期位置へ移動させる制御が行われる。つまり、図２の第１の積分器４０３の出力を現在のデータから徐々に初期位置のデータに変更する処理が実行されることで、シフトレンズ群１０４が初期位置に移動する。これは次に手ブレ補正動作を再開する場合に、シフトレンズ位置が駆動範囲の初期位置にあることが望ましいためである。

Ｓ３０２で角速度データの平均値が所定値β以下の場合、Ｓ３０６へ進む。パンニング制御部４０７は、ゆっくりとしたパンニング動作が行われていると判断する。Ｓ３０６でパンニング制御部４０７は、角速度データの大きさに応じて、フィルタ演算部４０２内にあるハイパスフィルタのカットオフ周波数を設定する。これは、ゆっくりとしたパンニング動作が行われている場合、手ブレの影響をすべて無視することはできないためである。Ｓ３０６の処理は、パンニング動作時の画像の追従性を、不自然にならない程度に保ちながら、手ブレ補正を行うために必要な処理である。

Ｓ３０１で角速度データの平均値が所定値α以下の場合、Ｓ３０７に進む。パンニング制御部４０７は、パンニング動作が行われていないと判断する。Ｓ３０７でパンニング制御部４０７は、フィルタ演算部４０２内にあるハイパスフィルタのカットオフ周波数を、予め定められた通常値に設定する。Ｓ３０６、Ｓ３０７の後にＳ３０８へ進み、パンニング制御部４０７は手ブレ補正制御の強制的なＯＦＦ設定を解除する。Ｓ３０５またはＳ３０８の後、一連の処理を終了する。

図４を参照して、パンニング動作を具体的に説明する。図４はパンニング動作時の横方向の角速度データと、所定値α、βとの関係を例示した図である。横軸は時間軸であり、縦軸は角速度データを表す。グラフ線Ｇ１は角速度データ（サンプリングデータ）の時間変化を示す。この例では、右方向のパンニングの場合に＋方向の出力とし、左方向のパンニングの場合に－方向の出力とする。また角速度データの初期値をゼロとする。図４では、右方向の急激なパンニングと、左右方向のゆっくりとしたパンニングが検出される例を示す。右方向の急激なパンニングの期間では角速度データの大きさが所定値βを超えている。左方向または右方向へのゆっくりとしたパンニングの期間では角速度データの大きさが所定値αより大きく所定値βより小さい。

パンニング動作中は角速度データが初期値から大きく外れる。そのため、角速度データを積分してシフトレンズの駆動目標値を算出した場合、ＤＣオフセット成分（直流成分）により、積分器の出力が非常に大きな値となり、制御不能状態に陥る可能性がある。そこで、パンニング動作が検出された場合にはハイパスフィルタのカットオフ周波数を高周波側に変更することにより、ＤＣオフセット成分をカットすることが必要となる。急激なパンニング動作の場合には積分器の出力が増大するため、よりカットオフ周波数を上げる設定が行われる。特にパンニング速度が大きい場合、パンニング速度による画像の動きが手ブレに対して非常に大きくなる。このため、パンニング方向に関して手ブレ補正機能をＯＦＦとしても特に違和感は発生しない。以上のようにパンニング制御が行われることで、パンニング動作中でも違和感のない画像のモニタリング表示が可能となる。

次に操作部１１６により、流し撮りアシストモードが設定された場合の制御を説明する。カメラ信号処理回路１１４内の動きベクトル検出部１３５（図１）は、撮像後の映像情報から被写体の動きベクトルを検出して制御部１３０の被写体角速度算出部１３４へ出力する。

被写体角速度算出部（以下、単に算出部という）１３４は、角速度センサ１０７が検出した角速度データとズームエンコーダ１０５が検出した焦点距離の情報を取得する。算出部１３４は動きベクトルと角速度データと焦点距離を用いて、主被写体に対応する角速度（以下、主被写体角速度という）を算出する。算出部１３４は算出した主被写体角速度と算出時の画像が生成された撮像時刻とを組みとする情報を、流し撮り制御部１３２へ渡す。流し撮り制御部１３２は、取得した主被写体角速度に基づき、ドライバ１０９を介してシフトレンズ群１０４の駆動制御を行い、被写体ブレ補正動作を行う。

ここで、主被写体角速度の算出方法を説明する。流し撮り中に動きベクトル検出部１３５から出力される被写体の動きベクトルは、撮影者が撮影しようとしている主被写体に対応するベクトル（以下、主被写体ベクトルという）と、背景に対応するベクトル（以下、背景ベクトルという）の２種類である。まず、焦点距離と、ベクトル検出に使用した２枚の画像が生成された時刻の差分により、角速度データを像面上の移動量（以下、像面移動量という）に変換する処理が行われる。角速度データと背景ベクトルに関する速度は、どちらも撮像装置１００のパンニング速度に等しいので、角速度データを変換して得られる像面移動量と背景ベクトルは一致する。つまり、像面移動量を用いて背景ベクトルを判別することができ、背景ベクトル以外のベクトルが主被写体ベクトルであると判明する。

次に、角速度データを像面移動量に変換した際に用いた焦点距離と時間差を利用して主被写体ベクトルを、当該主被写体に対応した角速度データに変換する処理が行われる。変換後の角速度データは、撮像装置１００のパンニング速度と主被写体角速度との差分に相当する。よって、角速度センサ１０７により検出された角速度データと、主被写体に対応した角速度データとを加算することで主被写体角速度のデータを算出することができる。

図２を参照して、流し撮りアシストモード時のシフトレンズ駆動制御について説明する。カメラ情報取得部６０１は各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。操作部１１６により流し撮りアシストモードが設定されると、カメラ情報取得部６０１はその設定情報を取得して設定変更部６０６に出力する。設定変更部６０６は流し撮りアシストモードの設定情報に従い、パンニング制御部４０７の設定変更処理を実行する。例えば急激なパンニング状態に移行しやすくするための設定変更が行われ、具体的には、前述のパンニング判定用の所定値αおよびβが変更される。

角速度データ出力部６０２は、Ａ／Ｄ変換器４０１から、角速度センサ１０７により検出された角速度データを取得して算出部１３４に出力する。算出部１３４は角速度データを用いて主被写体角速度を算出して被写体角速度決定部６０３に出力する。被写体角速度決定部（以下、単に決定部という）６０３は主被写体角速度の算出にかかった時間とレリーズタイムラグの時間と露光時間を考慮して、主被写体角速度から露光時の被写体角速度を決定する。決定された露光時の被写体角速度は加算器６０４に出力される。一方、主被写体が検出できていない場合や検出精度が十分でない場合等には、手ブレ補正制御部１３１が、通常モードの手ブレ制御と同じになる制御値を加算器６０４に出力する。なお、決定部６０３の処理の詳細については後述する。

加算器６０４は、Ａ／Ｄ変換器４０１の出力を正入力とし、決定部６０３の出力を負入力として減算を行う。角速度センサ１０７により検出された角速度と、被写体角速度との差分が算出されて第２の積分器６０５へ送られる。第２の積分器６０５は、カメラ情報取得部６０１が取得した露光期間中を示す信号により積分動作を開始し、その他の期間ではシフトレンズの位置が可動範囲の中央となる値を出力する。ここで、露光期間以外で流し撮り制御部１３２がシフトレンズを可動範囲の中央位置へ移動させようとした場合、露光期間終了時には現在のシフトレンズ位置から中央位置までシフトレンズが急峻に移動することになる。しかし、露光期間が終了した直後は撮像素子からの信号読み出しのために、表示画面上で画像が消失している期間であり、シフトレンズの急峻な移動による画像の動きは問題とならない。

流し撮りアシストモードが設定されている状態で撮影者によって実際に流し撮りが行われると、パンニング制御部４０７は直ちに、急峻なパンニング動作に対するパンニング制御を行う。このとき、第１の積分器４０３の出力が加算器４０４に送られないように制御が行われることで振れ補正動作が禁止される。代わりに、流し撮り制御部１３２内の第２の積分器６０５の出力が加算器４０４に送られる。加算器４０４は第２の積分器６０５の出力を正入力とし、Ａ／Ｄ変換器４０６の出力を負入力として減算を行って、シフトレンズの駆動量を算出する。つまり、シフトレンズの駆動量は像ブレ補正量に対応し、カメラのパンニング時の角速度と主被写体角速度との差分に対応した量となる。よって、露光期間中のカメラのパンニング角速度と被写体角速度との差分はシフトレンズが像ブレ補正量にしたがって移動することで相殺され、その結果、流し撮りの成功確率が高くなる。

次に図５を参照して、被写体角速度の決定処理について説明する。図５は決定部６０３が行う処理のフローチャートである。被写体角速度の決定処理は、算出部１３４が主被写体角速度を算出するごとに実行される。

Ｓ５０１で決定部６０３は、算出部１３４から主被写体角速度を取得し、メモリに記憶する。次にＳ５０２で決定部６０３は、撮像画像のフレーム数を計数するためのカウンタ（以下、算出フレームカウンタという）のインクリメントを行う。算出フレームカウンタは、撮像装置１００の起動時や撮影動作の実行開始時に初期値ゼロにリセットされるものとする。算出フレームカウンタの値が１増加した後、Ｓ５０３では算出フレームカウンタの値が第１の閾値（ＦＡと記す）より小さいかどうかが判定される。カウンタ値がＦＡより小さい場合、被写体角速度決定処理を終了する。この時、決定部６０３からの制御値が加算器６０４に出力されないために撮影動作を行わないよう制御することが可能である。また、カウンタ値が閾値以上である場合には、Ｓ５０４の処理に進む。

Ｓ５０４で被写体検出フレーム数が計測される。被写体検出フレーム数とは、直近の所定数（例えばＦＡ）のフレーム中にて、主被写体角速度が正常に検出できたフレームの数を意味する。なお、計測範囲を一定のフレーム数に固定して設定する方法と、焦点距離やパンニング角速度に応じて計測範囲を可変設定する方法がある。

次に、Ｓ５０５で被写体検出フレーム数が第２の閾値（ＦＢと記す）より小さいかどうかについて判定される。判定用の閾値ＦＢは固定値であるか、または計測範囲が変化する場合に計測フレーム数に応じて変化する可変値である。例えば、閾値ＦＢはＦＡよりも小さいものとする（ＦＢ＜ＦＡ）。被写体検出フレーム数がＦＢより小さい場合、Ｓ５０７の処理に進み、閾値以上である場合にはＳ５０６に進む。

Ｓ５０７で決定部６０３は防振制御用角速度を算出する。防振制御用角速度の値は、角速度センサ１０７により検出された角速度値でもよいし、０や６５５３５といった特定の角速度値でもよい。例えば、角速度センサ１０７により検出された角速度データを用いる場合には、図４の加算器６０４の出力、第２の積分器６０５の出力がどちらもゼロとなる。この場合、手ブレ補正制御部１３１の加算器４０４において、流し撮り制御部１３２の出力による寄与がなくなるため、通常の手ブレ補正制御の場合と同等の処理が実行される。

また、Ｓ５０６で決定部６０３は露光時角速度を算出する。Ｓ５０６またはＳ５０７の後、被写体角速度の決定処理を終了する。図６を参照して、Ｓ５０６における露光時角速度の算出処理について説明する。

図６は露光時角速度の算出処理のフローチャートである。Ｓ６０１では、すべての被写体検出フレームに対してＡＦ（オートフォーカス）状態を取得する処理が実行される。ＡＦ状態には、被写体に焦点が合っている合焦状態と、被写体に焦点が合っていない非合焦状態がある。非合焦状態には、主撮像光学系１０２に含まれるフォーカスレンズを駆動して被写体を探索しているサーチ状態と、被写体の探索が行われていない非サーチ状態がある。本明細書では、合焦状態で被写体が検出されたフレームを合焦フレームといい、フォーカスレンズを駆動している状態で被写体が検出されたフレームをサーチフレームという。フォーカスレンズを駆動していない状態で被写体が検出されたフレームを抜けフレームという。

合焦フレームでの主被写体角速度は、合焦状態で検出された動きベクトルから算出された角速度であるので信頼度が相対的に高い。一方、サーチフレームでの主被写体角速度は、非合焦状態で検出された動きベクトルから算出された角速度であるので信頼度が相対的に低い。抜けフレームでの被写体角速度については、合焦状態で検出された動きベクトルと、非合焦状態で検出力された動きベクトルが混在する可能性が高く、これらの動きベクトルから算出される。抜けフレームにおいて被写体に焦点が合っている状態は、例えば、撮像画像に対して動きベクトルの検出領域が焦点状態の判定領域よりも広い場合に、判定領域外であって、且つ動きベクトルの検出領域内において被写体が検出されるような状態である。いずれにしても、その主被写体角速度の信頼度はあまり高くない。なお、信頼度についてはＡＦ用画像の像ずれ量やデフォーカス量等から公知の方法で算出することができ、本実施形態にて算出方法は任意である。

次にＳ６０２で決定部６０３は、検出対象のフレームにサーチフレームが含まれるかどうかを判定する。サーチフレームが含まれる場合、Ｓ６０３に進み、サーチフレームが含まれていない場合にはＳ６０４に進む。Ｓ６０３では、図５のＳ５０７と同様に防振制御用の角速度が算出される。

Ｓ６０４で決定部６０３は検出対象のフレームに合焦フレームが所定の閾値（ＦＮと記す）以上含まれているかどうかを判定する。閾値ＦＮは、例えば第２の閾値ＦＢに等しい。合焦フレームの数が閾値以上である場合、Ｓ６０５の処理に進み、閾値未満である場合にはＳ６０６の処理に進む。

Ｓ６０５で決定部６０３は、主被写体角速度の時間変化を直線で近似して露光時角速度（主被写体角速度）を算出する。つまり、信頼度が高い合焦フレームでの被写体角速度を使用して、角速度の時間変化を直線で近似することにより露光時の被写体角速度が算出される。

他方、Ｓ６０６で決定部６０３は、取得した主被写体角速度の平均値を算出することによって露光時角速度を算出する。つまり、信頼度がそれほど高くない主被写体角速度を使用する場合、取得済みのすべての主被写体角速度の平均値として露光時角速度が算出される。

本実施形態では、角加速度をもった被写体の流し撮りにおいて、ＡＦ状態（焦点検出状態）に応じて露光時角速度の算出方法を切り替える処理が行われる。このような処理を行わない場合に、例えば、第１のＡＦ状態で合焦フレームの撮像画像が取得され、これに続く第２のＡＦ状態で抜けフレームの撮像画像が取得された場合を想定する。この場合、２つの撮像画像のうち、合焦フレームの撮像画像は被写体に焦点が合っており、画像データの信頼度が高いのに対し、抜けフレームの撮像画像は信頼度がそれほど高くない。よって画像データの比較によって動きベクトルを検出すると検出誤差が発生し、露光時の被写体角速度を正確に予測することが困難である。

これに対し、本実施形態では、合焦フレームの数が閾値以上であって、信頼度の高い合焦状態での画像データが取得された場合に露光時角速度を正確に予測することができる。他方、合焦フレームの数が閾値未満であって、信頼度が十分でない画像データが取得された場合には平均演算によって露光時角速度が算出される。本実施形態によれば、信頼度の低い被写体角速度に基づいて露光時角速度を線形近似で予測することによる誤った像ブレ補正の可能性を低減しつつ、信頼度の高い被写体角速度から露光時角速度を算出して像ブレ補正を行うことができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態では、合焦フレーム数が所定の閾値以下である場合に角速度の平均値により露光時角速度が算出された。本実施形態では、抜けフレームと合焦フレームがどちらも存在する場合、抜けフレームに対して合焦フレームを重点的に評価する。本実施形態において第１実施形態と同様の構成については詳細な説明を省略し、相違点を説明する。

本実施形態では図６の露光時角速度の算出処理において、Ｓ６０６の前に処理を追加する。図７は露光時角速度の算出処理のフローチャートであり、図６と相違する処理はＳ８０１およびＳ８０２の処理である。

Ｓ６０４からＳ８０１へ進む（Ｓ６０４でＮｏ）と、決定部６０３は検出対象のフレームに合焦フレームが含まれるかどうかを判定する。合焦フレームが含まれない場合、Ｓ６０６の処理へ進む。また、合焦フレームが含まれる場合にはＳ８０２の処理へ進む。

Ｓ８０２で決定部６０３は抜けフレームおよび合焦フレームに重み付けを行って合焦フレームを相対的に高く評価し、抜けフレームおよび合焦フレームでの主被写体角速度を利用して露光時角速度を決定する。つまり、角速度データの信頼度に応じた重み付け係数を主被写体角速度に乗算し、乗算後の角速度の時間変化を直線で近似することで露光時角速度が算出される。本実施形態では、データの信頼度を評価して被写体角速度から露光時角速度を算出して像ブレ補正を行うことで、より成功確率が高い流し撮りアシストを実現できる。

前記実施形態によれば、角加速度をもって移動する被写体の流し撮りにおいて、ＡＦ状態を考慮した加速分の予測を行うことで、動きベクトルの検出誤差によって被写体角速度の不正確な予測が行われることを抑制し、良好な像ブレ補正を行える。

１００ 撮像装置
１０４ シフトレンズ
１０７ 角速度センサ
１３０ 制御部
１３１ 手ブレ補正制御部
１３２ 流し撮り制御部
１３４ 被写体角度算出部
６０３ 被写体角速度決定部

Claims (20)

1. 撮像光学系を介して結像される被写体の画像に対して補正手段により像ブレ補正を行う像ブレ補正装置であって、
   前記撮像光学系の焦点距離の情報を取得する取得手段と、
   前記焦点距離と、第１の検出手段によって検出される振れ検出信号および第２の検出手段によって検出される被写体の動き情報から、前記像ブレ補正装置に対する前記被写体の角速度を算出する算出手段と、
   前記算出手段から取得した複数の角速度と当該角速度が算出されたときの画像が生成された時刻から露光時の前記被写体の角速度を決定する決定手段と、
   前記決定手段により決定された前記角速度から算出される補正量にしたがって前記補正手段を制御する制御手段と、を備え、
   前記決定手段は、前記算出手段により算出された複数の前記被写体の角速度の時間変化から前記露光時の被写体の角速度を決定する第１の処理と、前記算出手段により算出された複数の前記被写体の角速度を平均して前記露光時の被写体の角速度を決定する第２の処理とを切り替える
   ことを特徴とする像ブレ補正装置。
2. 前記決定手段は、前記第１の処理にて、複数の前記被写体の角速度の時間変化を直線で近似することにより前記露光時の被写体の角速度を決定する
   ことを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記決定手段は、検出対象である画像のフレームに、被写体を探索するサーチ状態で被写体の動きが検出されたときのサーチフレームが含まれる場合、前記露光時の被写体の角速度を、前記第１の検出手段の出力に基づく角速度または予め定められた角速度に決定する
   ことを特徴とする請求項１または請求項２に記載の像ブレ補正装置。
4. 前記決定手段は、検出対象である画像のフレームに前記サーチフレームが含まれず、かつ前記被写体に焦点が合っている合焦状態で被写体の動きが検出されたときの合焦フレームの数が閾値以上である場合、前記第１の処理を行う
   ことを特徴とする請求項３に記載の像ブレ補正装置。
5. 前記決定手段は、検出対象である画像のフレームに前記サーチフレームが含まれず、かつ前記合焦フレームの数が閾値未満である場合、前記第２の処理を行う
   ことを特徴とする請求項４に記載の像ブレ補正装置。
6. 前記決定手段は、検出対象である画像のフレームに前記サーチフレームが含まれず、かつ前記被写体に焦点が合っている合焦状態で被写体の動きが検出されたときの合焦フレームの数が閾値未満である場合、検出対象である画像のフレームに前記合焦フレームが含まれるかどうかを判定し、前記合焦フレームが含まれる場合、フォーカスレンズを駆動していない状態で前記被写体が検出されたときのフレームおよび前記合焦フレームにて取得される角速度に対して重み付けをした前記被写体の角速度を用いて前記第１の処理を行う
   ことを特徴とする請求項３に記載の像ブレ補正装置。
7. 前記決定手段は、前記算出手段により複数の前記被写体の角速度が算出されたときの焦点検出状態に基づいて、前記第１の処理と前記第２の処理とを切り替える
   ことを特徴とする請求項１から３のいずれか１項に記載の像ブレ補正装置。
8. 前記決定手段は、前記算出手段により複数の前記被写体の角速度が算出されたときの焦点検出状態を判別し、算出された前記被写体の角速度の信頼度が相対的に高い場合に前記第１の処理を行い、算出された前記被写体の角速度の信頼度が相対的に低い場合に前記第２の処理を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の像ブレ補正装置。
9. 前記補正手段は、像ブレを補正する補正レンズを備える
   ことを特徴とする請求項１から８のいずれか１項に記載の像ブレ補正装置。
10. 複数の画像を用いて被写体の動きに関する情報を検出する検出手段と、
    前記検出手段により検出された複数の前記被写体の動きに関する情報を用いて、像ブレを補正する補正手段の補正量を演算する演算手段と、を備え、
    前記演算手段は、複数の前記被写体の動きに関する情報の信頼度に応じて、複数の前記被写体の動きに関する情報の時間変化に基づいて前記補正量を演算する第１の演算処理と、複数の前記被写体の動きに関する情報の平均値に基づいて前記補正量を演算する第２の演算処理とを選択的に実行する
    ことを特徴とする像ブレ補正装置。
11. 前記演算手段は、複数の前記被写体の動きに関する情報の信頼度が相対的に高い場合、前記第１の演算処理を実行する
    ことを特徴とする請求項１０に記載の像ブレ補正装置。
12. 前記演算手段は、複数の前記被写体の動きに関する情報を検出するために用いる複数の画像を撮像するときの焦点制御状態が被写体に焦点が合っている状態の場合、複数の前記被写体の動きに関する情報の信頼度が相対的に高いと判定する
    ことを特徴とする請求項１１に記載の像ブレ補正装置。
13. 前記演算手段は、複数の前記被写体の動きに関する情報の信頼度が相対的に低い場合、前記第２の演算処理を実行する
    ことを特徴とする請求項１０乃至１２のいずれか１項に記載の像ブレ補正装置。
14. 前記演算手段は、複数の前記被写体の動きに関する情報を検出するために用いる複数の画像を撮像するときの焦点制御状態が被写体に焦点が合っていない状態の場合、前記第２の演算処理を実行する
    ことを特徴とする請求項１３に記載の像ブレ補正装置。
15. 前記演算手段は、前記第１の演算処理において、複数の前記被写体の動きに関する情報の時間変化を直線近似して前記補正量を演算する
    ことを特徴とする請求項１０乃至１４のいずれか１項に記載の像ブレ補正装置。
16. 前記演算手段は、パンニング動作中に前記検出手段により検出された複数の前記被写体の動きに関する情報を用いて、前記補正量を演算する
    ことを特徴とする請求項１０乃至１５のいずれか１項に記載の像ブレ補正装置。
17. 請求項１から１６のいずれか１項に記載の像ブレ補正装置を備える撮像装置。
18. 請求項１から９のいずれか１項に記載の像ブレ補正装置を備える撮像装置であって、
    流し撮りを支援するモードを設定する設定手段を備え、
    前記モードが設定された場合に前記決定手段が前記露光時の被写体の角速度を決定する
    ことを特徴とする撮像装置。
19. 撮像光学系を介して結像される被写体の画像に対して補正手段により像ブレ補正を行う像ブレ補正装置にて実行される制御方法であって、
    前記撮像光学系の焦点距離の情報を取得する取得工程と、
    第１の検出手段により振れを検出し、第２の検出手段により被写体の動きを画像から検出する検出工程と、
    前記焦点距離と、前記第１および第２の検出手段によって検出される振れ検出信号および被写体の動き情報から、前記像ブレ補正装置に対する前記被写体の角速度を算出する算出工程と、
    算出された複数の角速度と当該角速度が算出されたときの画像が生成された時刻から露光時の前記被写体の角速度を決定する決定工程と、
    決定された前記角速度から算出される補正量にしたがって前記補正手段を制御する制御工程と、を有し、
    前記決定工程では、前記算出工程で算出された複数の前記被写体の角速度の時間変化から前記露光時の被写体の角速度を決定する第１の処理と、前記算出工程で算出された複数の前記被写体の角速度を平均して前記露光時の被写体の角速度を決定する第２の処理とが切り替えられる
    ことを特徴とする像ブレ補正装置の制御方法。
20. 複数の画像を用いて被写体の動きに関する情報を検出する検出工程と、
    前記検出工程で検出された複数の前記被写体の動きに関する情報を用いて、像ブレを補正する補正手段の補正量を演算する演算工程と、を有し、
    前記演算工程では、複数の前記被写体の動きに関する情報の信頼度に応じて、複数の前記被写体の動きに関する情報の時間変化に基づいて前記補正量を演算する第１の演算処理と、複数の前記被写体の動きに関する情報の平均値に基づいて前記補正量を演算する第２の演算処理とが選択的に実行される
    ことを特徴とする像ブレ補正装置の制御方法。
    

Images