JP6818473B2 - ブレ補正装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は、流し撮りにおける動きベクトルを用いた被写体検出および画像ブレ補正処理に関する。

カメラによる流し撮り（動体を追いつつ通常よりも遅いシャッタ速度で撮影する手法）は、背景が流れ、被写体は静止している画像が得られるため、スピード感あふれる写真を撮ることができる。しかし、流し撮りでは長秒撮影を行うので、露光期間中に被写体の移動速度とカメラを動かす速度とを合わせることが難しく、熟練を要する撮影技術である。

流し撮りを簡単に実現する方法として、被写体の速度と、カメラを動かす速度との差分を検出し、速度の差分に相当するズレ量を、シフトレンズの移動によって補正する方法がある。

ここで、重要になるのが、被写体の角速度、すなわち撮影者が狙っている被写体の画像を止めるために撮影者が被写体に合わせてカメラのパンニングを行うべき方向や角速度を、より正確に求めることである。この算出に誤差が生じると、シフトレンズによる補正に誤差が発生し、その誤差分が画像のブレ残りとして撮像画像に表れてしまう。特許文献１に開示された技術では、映像信号により被写体の移動を検出し、さらに機械的振動センサを用いて手ブレによる振動を検出する。被写体の移動量と手ブレによる振動量から被写体の移動速度が算出される。

特許第３１１２４７２号公報

特許文献１に開示の従来技術では、流し撮りにおけるパンニング操作時に撮像画面内の水平方向および垂直方向にて主被写体を正確に判定することが難しい。主被写体（動体）の進行方向に対して、ユーザが角度を持ってパンニング操作を行った場合、被写体画像の像ブレを抑制することが困難である（具体例については、図１１、図１２を参照して後述する）。
本発明の目的は、流し撮りにおいて、撮影画面内で被写体をより正確に判定して画像ブレを補正することである。

本発明の一実施形態のブレ補正装置は、補正手段により像ブレを補正するブレ補正装置であって、撮影時刻の異なる複数の画像を取得する取得手段と、画像の動き量を第１の検出手段から取得し、撮像装置の振れの検出信号を第２の検出手段から取得して、画像内の被写体領域および背景領域の角速度を算出する算出手段と、前記算出手段から被写体領域の角速度を取得して、前記補正手段を制御することにより流し撮りの際に被写体画像の像ブレを補正する制御を行う制御手段と、を備える。前記算出手段は、前記第２の検出手段による検出信号から流し撮りの方向に対応する第１の方向を決定し、前記第１の方向にて前記被写体領域および背景領域の動き量から角速度を算出する処理と、前記第１の方向と直交する第２の方向にて前記被写体領域の動き量から角速度を算出する処理を行い、前記制御手段は、前記第１および第２の方向に対して被写体画像の像ブレを補正する第１の制御と、前記第１の方向に対して被写体画像の像ブレを補正する第２の制御とを切り替える。

本発明のブレ補正装置によれば、流し撮りにおいて、撮影画面内で被写体をより正確に判定して画像ブレを補正することができる。

本発明の実施例１にて被写体角速度の決定を説明するフローチャートである。 流し撮りの処理を説明するフローチャートである。 撮像装置の構成例を示す全体構成図である。 手ブレ補正制御部の構成図である。 パンニング制御を説明するフローチャートである。 流し撮り制御部の構成図である。 パンニング判定処理の説明図である。 被写体の動き量の取得処理を説明するフローチャートである。 テンプレート枠の配置例を示す模式図である。 動き量のヒストグラムを示す図である。 被写体の移動方向とパンニング方向とのズレを説明する図である。 パンニング方向と直交する方向の動き量のヒストグラムを示す図である。 検出された被写体枠と背景枠を説明する図である。 動き量のヒストグラムを例示する図である。 本発明の実施例２にて被写体角速度の決定を説明するフローチャートである。 図１５に続く処理を説明するフローチャートである。

本発明の好ましい実施の形態として、以下の各実施例を説明する。本明細書において、ユーザの流し撮りを支援する技術として、可動光学部材の移動により被写体の移動速度とパンニング速度との差を抑制する方法を、流し撮りアシストという。流し撮りアシストが設定されているモードを流し撮りアシストモードという。

［実施例１］
以下、本発明の実施例１に係る画像ブレ補正を行う撮像装置について説明する。図３は、本実施例の撮像装置１００の構成例を示すブロック図である。撮像装置１００の一例としてレンズ一体型カメラを説明する。撮像装置１００のレンズユニット１０１は、主撮像光学系１０２、焦点距離を変更可能なズームレンズ群１０３、および像ブレを補正する可動光学部材を備える。本実施例では、撮像装置１００の振れによる光軸に対する像ブレを光学的に補正するための構成を示す。シフトレンズ群１０４は、光軸に対して垂直方向に移動することにより撮像素子への結像位置を変更し、像ブレを補正する補正レンズである。ズームエンコーダ１０５は、ズームレンズ群１０３の位置を検出する。位置センサ１０６はシフトレンズ群１０４の位置を検出する。

ジャイロセンサなどを用いた角速度センサ１０７は撮像装置１００の振れを検出し、振れ検出信号を出力する。アンプ１０８は角速度センサ１０７の出力を増幅して、制御部１３０に出力する。制御部１３０は、カメラ制御用マイクロコンピュータを備え、メモリに記憶されたプログラムに従って撮像装置１００の各部の制御を統括する。ドライバ１０９はシフトレンズ群１０４を駆動するための駆動回路である。アンプ１１０はシフトレンズ群１０４の位置センサ１０６の出力を増幅して、制御部１３０に出力する。

シャッタ１１１は撮像素子１１２の露光時間を調整する。撮像素子１１２はＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等であり、レンズユニット１０１を通して被写体からの光を受光し、光電変換により電気信号を出力する。アナログ信号処理回路１１３は撮像素子１１２の出力信号を処理して、カメラ信号処理回路１１４に出力する。タイミングジェネレータ１１５は、撮像素子１１２やアナログ信号処理回路１１３の動作タイミングを設定する。操作部１１６は、電源スイッチ、レリーズスイッチ、流し撮りアシストモードの設定スイッチ等を備える。

シャッタ駆動用モータ１１７はシャッタ１１１の駆動源であり、シャッタ動作時に当該モータはドライバ１１８からの信号により駆動される。メモリカード１１９は撮影後に記録処理を施された画像データが記録される記録媒体である。表示部１２０は、ユーザが撮影しようとしている画像のモニタ用表示デバイスであり、撮影された画像等を表示する。例えば表示部１２０は液晶表示パネルを備え、撮影映像を連続して表示することでライブビュー表示を行う。

姿勢検出部１３７は、重力方向に対する撮像装置１００の姿勢を検出して、検出信号を制御部１３０に出力する。姿勢検出部１３７の検出信号に応じて、ユーザが撮像装置１００を横に構えている（正位置）のか、または縦に構えている（縦位置）のかを判別可能である。姿勢検出部１３７には加速度センサ等を用いることができる。

カメラ信号処理回路１１４は、動きベクトル検出部１３５と人検出部１３６を備える。動きベクトル検出部１３５は撮影時刻の異なる複数の撮像画像データ（以下、撮像画像とする）から画像の動きベクトルを検出する。人検出部１３６は撮像画像内の被写体（人物）の画像領域を検出する。

図３では制御部１３０の主要な機能を、機能ブロックとして示す。手ブレ補正制御部１３１は角速度センサ１０７の検出信号に基づいて手ブレ補正制御を行う。流し撮り制御部１３２は流し撮りアシスト用の制御を行う。シャッタ制御部１３３はシャッタ１１１の駆動制御を行う。被写体角速度算出部１３４は被写体の角速度を算出する。なお制御部１３０は、その他にもレンズユニット１０１内のフォーカスレンズの駆動制御による焦点調節制御や、絞り制御等も行うが、図示の簡略化のため省略する。また、手ブレ補正制御では、例えば撮像装置１００の横方向と縦方向といった、直交する２軸に関して検出および補正がそれぞれ行われるが、各方向について同じ構成であるため、１軸分のみ記載して説明する。

操作部１１６が備える電源スイッチにより、撮像装置１００の電源がＯＮ操作されると、その状態変化を制御部１３０が検出し、撮像装置１００の各回路に電源が供給されて初期設定が行われる。流し撮りアシストモードが設定されていない通常モード時には、角速度センサ１０７が手ブレ等による撮像装置１００の振れを検出する。手ブレ補正制御部１３１は角速度センサ１０７が検出した振れ検出信号に応じてシフトレンズ群１０４を駆動し、手ブレ補正動作が行われる。図４を参照して手ブレ補正機能に関して説明する。

図４は手ブレ補正制御部１３１を中心とする構成例を示すブロック図である。図４にて図３と同じ構成要素については同じ符号を付すことにより、それらの詳細な説明を省略する。手ブレ補正制御部１３１は、Ａ（アナログ）／Ｄ（デジタル）変換器４０１を備え、振れ検出信号をデジタル信号に変換する。振れ検出信号は、角速度センサ１０７で検出されてアンプ１０８で増幅された信号として、Ａ／Ｄ変換器４０１へ入力される。角速度センサ１０７の出力データに係るサンプリングは１〜１０ｋＨｚ程度で行われる。

フィルタ演算部４０２はハイパスフィルタ（ＨＰＦ）を備え、角速度センサ１０７の出力に含まれているオフセット成分を除去し、またカットオフ周波数を変更することでパンニング対策の処理を行う。フィルタ演算部４０２の出力は積分器４０３へ入力される。積分器４０３は、シフトレンズ群１０４の駆動目標データを生成するために、角速度データを角変位データに変換する。フィルタ演算部４０２と積分器４０３は、後述のパンニング制御部４０７により制御される。

Ａ／Ｄ変換器４０６は、位置センサ１０６によるシフトレンズ群１０４の位置検出信号をデジタルデータに変換する。位置センサ１０６の出力信号はアンプ１１０で増幅されてから、Ａ／Ｄ変換器４０６へ入力される。加算器４０４は、積分器４０３の出力を正入力とし、Ａ／Ｄ変換器４０６の出力を負入力として減算処理を行う。つまりシフトレンズ群１０４の駆動目標値から現在のシフトレンズ検出位置の値を減算することで、シフトレンズ群１０４の実際の駆動量データが算出される。ＰＷＭ（パルス幅変調）出力部４０５は、加算器４０４により算出された駆動量データが入力され、当該データに応じたＰＷＭ信号を生成し、シフトレンズ群１０４の駆動用のドライバ１０９に出力する。これにより、シフトレンズ群１０４のフィードバック制御が実現される。

パンニング制御部４０７はＡ／Ｄ変換器４０１の出力データを取得し、角速度データの示す状態に基づき、撮像装置１００のパンニング操作が行われたかどうかを判定する。パンニング制御部４０７はパンニング操作が行われたことを判定した場合、フィルタ演算部４０２の特性を変更する制御を行う。具体的には、パンニング制御部４０７はフィルタ演算部４０２内のフィルタのカットオフ周波数を変更する制御を行うとともに、積分器４０３の出力調整を行う。図５を参照して、パンニング制御の一例について説明する。

図５は、手ブレ補正制御部１３１によるパンニング制御を説明するフローチャートである。Ｓ５０１でパンニング制御部４０７は、Ａ／Ｄ変換器４０１に取り込まれた角速度データの平均値（所定のサンプリング回数分の平均値）を所定値と比較する。所定値は判定用の閾値であり、「α」と記す。パンニング制御部４０７は角速度データの平均値が所定の閾値より大きいか否かを判定する。角速度データの平均値が所定値αよりも大きい場合、Ｓ５０２の処理に進み、所定値α以下である場合にはパンニングが行われていないと判断され、Ｓ５０７へ移行する。

Ｓ５０２においてパンニング制御部４０７は、角速度データの平均値をさらに所定値（βと記す）と比較する。所定値βの大きさ｜β｜は、所定値αの大きさ｜α｜よりも大きいものとする。パンニング制御部４０７は、角速度データの平均値が所定値βより大きく、速いパンニング操作が行われていると判断した場合、Ｓ５０３に処理を進める。また角速度データの平均値が所定値β以下である場合、パンニング制御部４０７は、ゆっくりとしたパンニング操作が行われていると判断し、Ｓ５０６へ移行する。

Ｓ５０３でパンニング制御部４０７は、フィルタ演算部４０２内のＨＰＦのカットオフ周波数を最大値に設定し、次のＳ５０４で手ブレ補正制御を強制的にＯＦＦに設定する。Ｓ５０３の設定は、ＨＰＦのカットオフ周波数を高くすることでシフトレンズが徐々に停止するようにし、手ブレ補正制御をＯＦＦしたときの違和感を無くすために実行される。また、速いパンニング時には手ブレの大きさに対してパンニングによるカメラ移動量が非常に大きくなる。このため、手ブレ補正制御をＯＦＦすることで手ブレが残っても違和感は生じない。つまり、Ｓ５０４の設定を行わずに、パンニング時の振れを大きなブレとして補正する処理が行われた場合には、パンニング開始時には画像が停止する。その後にシフトレンズ群１０４が補正端（制御範囲の限界位置）に到達した瞬間に突然、画像が大きく動いてしまうため、ユーザには非常に不自然な動きとして見えてしまうことになる。

Ｓ５０５では、積分器４０３の出力を現在のデータから徐々に初期位置のデータに変更する処理が行われ、シフトレンズ群１０４が初期位置へ移動する。これは次に手ブレ補正動作を再開する場合に、シフトレンズ群１０４の位置が駆動範囲の初期位置にあることが望ましいためである。

一方、Ｓ５０２からＳ５０６へ進んだ場合（Ｓ５０２でＮｏ）、パンニング制御部４０７は角速度データの大きさに応じて、フィルタ演算部４０２内のＨＰＦのカットオフ周波数を設定する。これは、ゆっくりとしたパンニングが行われている場合には手ブレの影響を完全に無視することができないからである。Ｓ５０６の処理は、パンニング時の画像の追従性を不自然にならない程度に保ちながら、手ブレ補正を行うために必要な処理である。

また、Ｓ５０１からＳ５０７へ進んだ場合（Ｓ５０１でＮｏ）、フィルタ演算部４０２内のＨＰＦのカットオフ周波数が通常値に設定される。通常値とは、パンニング制御が行われない場合の、デフォルトの設定値である。

Ｓ５０６またはＳ５０７の処理後、Ｓ５０８の処理に進む。速いパンニングでないことが判断された場合に、Ｓ５０８でパンニング制御部４０７は手ブレ補正制御の強制ＯＦＦ設定を解除する。Ｓ５０５またはＳ５０８の処理を終えると、パンニング制御を終了する。図７を参照して、具体例を説明する。

図７はパンニング時の横方向の角速度データと、所定値α（図５：Ｓ５０１）、所定値β（図５：Ｓ５０２）の関係を示したグラフである。グラフ線７０１は角速度データのサンプリング値をプロットした、角速度データの時間変化を例示する。図７の例では、ユーザが撮像装置を右方向にパンニング操作した場合、正方向の出力となり、左方向にパンニング操作した場合、負方向の出力となる場合を示す。図７では、右方向の急激なパンニングの直後に、左右方向のゆっくりとしたパンニングが検出された例を示す。角速度データの初期値をゼロとする。

図７からわかるように、パンニング中に角速度データが初期値から大きく外れる。このため、角速度データを積分してシフトレンズ群１０４の駆動目標値を算出した場合、ＤＣ（直流）的なオフセット成分により、積分器４０３の出力が非常に大きな値となり、制御不能状態になってしまう。そこでパンニング制御部４０７は、パンニングを検出した場合、フィルタ演算部４０２内のＨＰＦのカットオフ周波数を高い値に変更することで、角速度データのＤＣ成分をカットする。急激なパンニングの場合には積分器４０３の出力が過大となる可能性があるため、ＨＰＦのカットオフ周波数をさらに上げる設定が行われる。特に速いパンニングの場合には、パンニング速度による画像の動きが手ブレに対して非常に大きくなるため、パンニング方向に関して手ブレ補正機能をＯＦＦとしても特に違和感は発生しない。

以上のパンニング制御が行われることで、パンニング中に違和感のない撮像画像をユーザに提示できる。なお、チルティング制御についても、撮影方向の違いを除いてパンニング制御の場合と同様の制御が行われるので、その説明は省略する。

図３の操作部１１６に含まれる操作スイッチにより、流し撮りアシストモードが設定されると、カメラ信号処理回路１１４内の動きベクトル検出部１３５により、撮影時刻の異なる複数の撮像画像に基づき、動きベクトルが検出される。流し撮りアシストモードの設定中には、撮像画像から検出された被写体の動きベクトルが出力され、制御部１３０は角速度センサ１０７が検出した角速度データとともに、動きベクトルデータを取得する。

取得された角速度データは、撮像装置１００の流し撮り速度に対応している。このため、角速度データと、主被写体の像面上の移動量とレンズユニット１０１の現在の焦点距離から算出される角速度の差分を算出すると、算出結果は撮像装置１００に対する主被写体の角速度となる。被写体角速度算出部１３４は、モニタ用の画像を処理するタイミングで毎フレームでの主被写体の角速度を算出しており、算出した主被写体の角速度を流し撮り制御部１３２へ出力する。図６を用いて、流し撮りアシストモード時のシフトレンズ群１０４の駆動制御について説明する。

図６は流し撮り制御部１３２を中心とする構成例を示すブロック図である。図６にて図３、図４と同じ構成要素については同じ符号を付すことにより、それらの詳細な説明を省略する。カメラ情報取得部６０１は、流し撮りアシストモードの設定情報と、レリーズ情報を取得している。レリーズ情報とは、操作部１１６に含まれるレリーズボタンの操作に応じた状態を示す情報である。ユーザがレリーズボタンの半押し操作を行うと第１スイッチ（Ｓ１と記す）がオンし、レリーズボタンの全押し操作を行うと第２スイッチ（Ｓ２と記す）がオンする。角速度データ出力部６０２は所定のタイミングで角速度データのサンプリングを行い、被写体角速度算出部１３４へ出力する。

被写体角速度決定部６０３は、被写体角速度算出部１３４が算出した主被写体の角速度を取得し、露光時の被写体角速度を決定する。加算器６０４は、角速度センサ１０７による角速度のデータをＡ／Ｄ変換器４０１から正入力として取得し、被写体角速度決定部６０３から露光時の被写体角速度のデータを負入力として取得する。加算器６０４は現在の角速度と、露光時の被写体角速度との差分を算出して積分器６０５に出力する。手ブレ補正制御部１３１内の積分器４０３を第１の積分器とし、流し撮り制御部１３２内の積分器６０５を第２の積分器とする。第２の積分器６０５は加算器６０４の出力を取得し、所定期間のみ積分動作を行う。第２の積分器６０５の出力は、正入力として、手ブレ補正制御部１３１内の加算器４０４に送られる。この場合、加算器４０４は積分器４０３および６０５の各出力を加算した結果から、Ａ／Ｄ変換器４０６の出力を減算して、シフトレンズ群１０４の駆動量データを算出する。

設定変更部６０６は、カメラ情報取得部６０１が取得したモード情報に応じてパンニング制御部４０７の設定を変更する。操作部１１６の操作により流し撮りアシストモードが設定されると、カメラ情報取得部６０１からモード情報が設定変更部６０６に通知される。設定変更部６０６は通知されたモード情報に従い、パンニング制御部４０７の設定変更を行う。ここで行われる設定変更は、急激なパンニング状態と判定しやすくするための変更である。具体的には、前述のパンニング判定用の所定値βおよびαが変更される。また、加算器６０４は角速度センサ１０７により検出された角速度と、主被写体の角速度との差分を計算し、第２の積分器６０５へ出力する。第２の積分器６０５は、カメラ情報取得部６０１で取得された露光期間中であることを示す信号により積分動作を開始する。露光期間を除いた、その他の期間では、第２の積分器６０５はシフトレンズ群１０４の位置が、その基準位置（例えば中央位置）となるときの値を出力する。ここで、露光期間以外の期間でシフトレンズ群１０４を、基準位置に配置する処理が行われる場合、露光期間の終了時に現在のシフトレンズ位置から基準位置までシフトレンズ群１０４が急峻に移動することになる。しかし、露光期間の終了直後は撮像素子１１２からの信号読み出しのため、表示部１２０の画面上では画像が消失している期間である。よって、シフトレンズ群１０４の急峻な移動による画像の動きは問題とはならない。

流し撮りアシストモードの設定中に撮影者が流し撮りを行った場合、パンニング制御部４０７は直ちに反応して、速いパンニング状態に対するパンニング制御を行い、手ブレ補正動作が禁止される。シフトレンズ群１０４は、撮像装置１００のパンニング時の角速度と被写体角速度との差分に対応した量で移動して、補正動作が行われる。つまり、流し撮りにおける、露光期間中の撮像装置のパンニング速度と被写体角速度との差分がシフトレンズ群１０４の移動によって相殺される結果として、流し撮りを成功に導くことができる。

図２のフローチャートを参照して、流し撮りアシストモード時の撮影動作を説明する。Ｓ２０１で制御部１３０は、レリーズボタンが半押し操作されて第１スイッチＳ１がＯＮしたかどうかを判定する。第１スイッチＳ１がＯＮになった場合、Ｓ２０２の処理へ進み、ＯＦＦの場合にはＳ２０３へ移行する。
Ｓ２０２で制御部１３０は、内部の時間計測カウンタのインクリメントを行い、Ｓ２０４へ処理を進める。またＳ２０３で制御部１３０は、時間計測カウンタのリセットを行った後、Ｓ２０１に処理を戻す。Ｓ２０４で制御部１３０は、主被写体の角速度がすでに算出されているかどうかを判定する。主被写体の角速度がすでに算出されている場合、Ｓ２０５に進み、主被写体の角速度が算出されていない場合にはＳ２０６へ移行する。

Ｓ２０５で制御部１３０は、時間計測カウンタの計測した時間が所定時間（Ｔと記す）になっているかどうかを判定する。所定時間Ｔは判定用の閾値時間であり、予め定められているものとする。時間計測カウンタの計測した時間が閾値時間となり、所定時間Ｔが経過したと判定された場合、Ｓ２０６に進む。例えば、主被写体の角速度がまだ算出されていない場合や、主被写体の角速度が前回算出された時刻から所定時間Ｔが経過した場合にはＳ２０６の処理に進む。また所定時間Ｔが経過していないことが判定された場合には、Ｓ２０８の処理に進む。

Ｓ２０６で制御部１３０は主被写体の角速度を算出する。所定時間Ｔが経過した時点で主被写体の角速度を算出し直す理由は、時間経過に伴って主被写体の速度が変化する可能性を考慮する必要があることによる。主被写体の角速度が算出されるたびに、当該角速度のデータは、流し撮り制御部１３２の被写体角速度決定部６０３へ通知される。次のＳ２０７では、被写体角速度算出部１３４から取得した過去における、所定数のフレームでの被写体角速度から角加速度が算出される。被写体角速度決定部６０３はレリーズボタンの操作により第１スイッチＳ１がＯＮになった時点から露光開始時点までのタイムラグ分を加味して、露光時の被写体角速度を算出して角速度値を決定する。次にＳ２０８へ移行する。

Ｓ２０８で制御部１３０は、レリーズボタンが全押し操作されて第２スイッチＳ２がＯＮしたかどうかを判定する。第２スイッチＳ２がＯＮしたことが判定された場合、Ｓ２０９の処理に進み、第２スイッチＳ２がＯＦＦである場合にはＳ２０１の処理に戻る。Ｓ２０９で露光が開始され、シャッタ制御部１３３はシャッタ制御を行う。Ｓ２１０では、流し撮り制御部１３２と手ブレ補正制御部１３１が連動してシフトレンズ群１０４の移動を制御し、被写体に対する画像ブレ補正を行う。Ｓ２１１で制御部１３０は露光が完了したかどうかを判断する。露光が完了した場合、Ｓ２１２に処理を進め、露光が未完了の場合には、Ｓ２１０の処理に戻る。

Ｓ２１２で制御部１３０は、レリーズボタンが全押し操作されて第２スイッチＳ２がＯＮしたかどうかを判定する。第２スイッチＳ２がＯＮしたことが判定された場合、Ｓ２０９へ移行して次の撮影を開始する。Ｓ２１２で第２スイッチＳ２がＯＦＦである場合にはＳ２０１へ戻る。

次に図８を参照して、被写体の動き量の取得処理について説明する。図８は動きベクトル検出部１３５における処理例を示すフローチャートである。Ｓ８０１で動きベクトル検出部１３５は、初回の撮像画像データを取得する。１回目の撮像動作が行われ、比較元（初期画像）となる画像データが取得される。Ｓ８０２では、次の撮像前に、被写体の動きベクトルを取得するための枠（動き量取得枠）が設定される。撮像画像内に複数の動き量取得枠を配置した枠を、テンプレート枠という。テンプレート枠によって、動きベクトルを取得する際に複数の位置を指定することができる。テンプレート枠の位置は、画像の中心になるように配置される。図９の具体例で説明する。

図９は画角１００１とテンプレート枠１００２を例示する。図９に示すテンプレート枠１００２は、動き量取得枠１００２ａが横方向に７つ、縦方向に５つ配置された７列×５行の枠である。なお撮像画像を逐次表示するライブビュー中には、テンプレート枠１００２は画面上に表示されない。テンプレート枠における動き量取得枠１００２ａの個数および位置は任意に設定可能であり、オートフォーカス機能によりピントが合った位置等に設定してもよい。

図８のＳ８０３で次の撮像動作が行われる。今回と前回の各撮像画像が比較され、テンプレート枠の配置にしたがって複数の位置での動きベクトルが検出される。Ｓ８０４では動きベクトル検出部１３５により、動きベクトルの検出結果を取得して、被写体角速度算出部１３４へ出力する。そしてＳ８０２へ処理を戻す。

次に、被写体角速度算出部１３４は、Ｓ８０４で取得された被写体の動きベクトルから被写体の角速度を決定する。図１のフローチャートを参照して、被写体角速度算出について説明する。以下の処理は、動きベクトル検出部１３５から動きベクトルが取得されたときに開始される。

Ｓ１０１で被写体角速度算出部１３４は、角速度センサ１０７により検出された角速度データから、パンニング操作に係る第１の方向（以下、主パンニング方向という）を決定する。ここで、角速度センサ１０７の出力については、撮影者が立位姿勢でカメラを正位置に構えた時の左右方向の出力をＸ方向出力とし、上下方向の出力をＹ方向出力と定義する。撮影者がカメラを縦位置に構えた時には、左右方向の出力がＹ方向出力となり、上下方向の出力がＸ方向出力となる。なお、カメラの姿勢情報は姿勢検出部１３７より取得される。主パンニング方向は、角速度の値がＸ方向とＹ方向とで、より大きい方の方向と定義する。Ｘ方向とＹ方向とで角速度の値が同じ大きさである場合には、Ｘ方向を主パンニング方向とする。

Ｓ１０２では、取得された動きベクトルから主パンニング方向成分の動き量に関するヒストグラムが生成され、被写体領域と背景領域の動き量を決定する処理が実行される。図１０に具体例を示す。図１０に例示するヒストグラムにおいて、横軸は動き量を表わし、縦軸は度数を表わす。検出される動き量については、撮影者が流し撮りをしようとしている主被写体に対応した動き量と、流れている背景に対応した動き量の２種類が含まれる。流し撮りが目的であるため、検出された動き量のうち、動き量の小さいデータが主被写体の動き量となる。この動き量は主被写体の像面上での動き量［単位：ｐｉｘｅｌ］である。図１０の例は第１群１１０１の動き量が相対的にゼロに近く、第２群１１０２の動き量は相対的にゼロから離れている。よって、第１群１１０１が主被写体領域に対応し、第２群１１０２が背景領域に対応すると判断される。主被写体領域と判断された第１群１１０１に関する平均値が動き量と決定される。

ここで、図１１および図１２を参照して、被写体の移動方向と撮像装置のパンニング方向とのズレについて説明する。図１１は、被写体の移動方向に対して、撮像装置のパンニング方向を例示する模式図である。被写体の移動方向に対してパンニング方向が平行でなく、角度を有する場合、被写体画像の像ブレを抑制することが困難となる。

図１２は、撮像画像から検出される動きベクトルの分布例を示す度数分布図である。図１２（Ａ）は撮影画面の水平方向（Ｘ方向）の動きベクトルの分布例として、被写体領域の動き量が２近辺にあり、背景領域の動き量が１０近辺にある例を示す。この場合、流し撮りが目的であるため、動き量の大きい方が背景領域となる。つまり動き量１０近辺で背景領域が特定され、動き量０近辺で被写体領域が特定される。

図１２（Ｂ）は撮影画面の垂直方向（Ｙ方向）の動きベクトルの分布例を示す。被写体領域と背景領域の各動き量がいずれも０近辺であるため、動き量の差が小さく、背景領域と被写体領域を特定することが難しい。つまり、水平方向に関しては背景領域と被写体領域とを分離できるので、正確な被写体の角速度を算出することができる。他方、垂直方向に関しては背景領域と被写体領域との分離が困難であるため、正確な被写体の角速度を求めることができない。その結果、ブレ残りが発生して画像に表れる可能性がある。そこで、本実施例では主被写体領域をより正確に判定するために、以下の処理を実行する。

図１のＳ１０３では、主パンニング方向成分で主被写体と判断された領域に対応する一群の動き量を出力した枠が、主被写体枠として抽出される。例えば、図９のようにテンプレート枠が配置された場合、図１３に具体例を示す。枠１２０１は、主被写体と判断された領域に対応する一群の動き量を出力した被写体枠を示す。枠１２０２は、背景と判断された領域に対応する一群の動き量を出力した背景枠を示す。Ｓ１０３では被写体枠１２０１が抽出される。

Ｓ１０４では、被写体枠の動き量から、主パンニング方向と直交する方向成分の動き量についてヒストグラムが生成される。主パンニング方向（第１の方向）に対して直交する方向は第２の方向であり、以下、単に直交方向ともいう。次のＳ１０５で被写体角速度算出部１３４は、Ｓ１０４で生成されたヒストグラムデータが、所定の範囲内に収まっているかどうかを判断する。Ｓ１０４で生成されたヒストグラムデータが、所定の範囲内に収まっている場合、主パンニング方向と直交する方向成分についても主被写体が検出できたと判断され、Ｓ１０６の処理に進む。また、Ｓ１０４で生成されたヒストグラムデータが、所定の範囲内に収まっていない場合、主パンニング方向と直交する方向成分には主被写体を検出できなかったと判断され、Ｓ１０７の処理に進む。図１４を参照して具体例を説明する。図１４では所定の範囲を、予め決められた固定の範囲として説明する。

図１４（Ａ）は、ヒストグラムデータの平均値を中心として動き量の最大値と最小値との差が３［ｐｉｘｅｌ］以内に集中した分布である場合を例示する。この場合、主パンニング方向と直交する方向成分にて主被写体が検出できたと判断され、一群の動き量の平均値が直交方向の主被写体の動き量として決定される。一方、図１４（Ｂ）は、ヒストグラムデータの平均値を中心として動き量の最大値と最小値との差が３［ｐｉｘｅｌ］以内に収まらず、分散した分布である場合を例示する。この場合、主パンニング方向と直交する方向成分にて主被写体が検出できなかったと判断される。

他の実施形態では、主パンニング方向と直交する方向の主被写体の動き量の変化について、数秒間分のデータがメモリに記憶される。メモリに保持されている当該動き量の変化を加味した像ブレ補正を行うか、または当該動き量の変化を考慮しない手ブレ補正を行うかが判断される。その場合、Ｓ１０５でヒストグラムデータが所定の範囲内に収まっていて、かつ保持した主被写体の動き量の変化が少ないときにはＳ１０６の処理へ進む。また、動き量の変化が大きいか、またはヒストグラムデータが所定の範囲内に収まっていないと判断された場合にはＳ１０７の処理へ進む。なおＳ１０５に記載の、所定の範囲については固定の範囲とせず、焦点距離等の撮影条件によって変更される可変の範囲とすることも可能である。その際には、焦点距離と所定の範囲との関係を示すテーブルが、被写体角速度算出部１３４内のメモリに記憶されており、当該テーブルのデータを参照することで所定の範囲が変更される。

図１のＳ１０６で被写体角速度算出部１３４は、主パンニング方向および直交方向の、両方向に対して被写体画像の像ブレ補正を行うため（図１では「流し撮りに設定」と記す）、両方向の動き量を焦点距離情報と画素ピッチにより角速度へ変換する。角速度センサ１０７から取得した角速度を加味して算出された被写体の角速度は、流し撮り制御部１３２へ出力されて処理を終了する。

図１のＳ１０７で被写体角速度算出部１３４は、主パンニング方向について被写体画像の像ブレ補正を行い、主パンニング方向と直交する方向については被写体画像の像ブレ補正を行わずに手ブレ補正制御（図１では「防振に設定」と記す）のみを行う。つまり、主パンニング方向においては動き量を焦点距離情報と画素ピッチにより角速度へ変換する処理が行われ、角速度センサ１０７から取得した角速度を加味して算出された被写体の角速度が流し撮り制御部１３２へ出力される。一方、主パンニング方向に対して直交する方向においては、角速度センサ１０７から取得した角速度が流し撮り制御部１３２へ出力されることで、手ブレ補正のみが行われる。あるいは、ユーザに対して手ブレ補正の処理のみを行うという通知がなされ、手ブレ補正の処理が実行される。Ｓ１０７の処理後、一連の処理を終了する。

なお、図１のＳ１０５において、ヒストグラムの動き量としてゼロのみが存在する場合には、Ｓ１０６の処理へ進む。この場合、被写体角速度をゼロとし、主パンニング方向に対して直交する方向については被写体画像の像ブレ補正および手ブレ補正はいずれも行われないものとする。

本実施例の撮像装置では、主パンニング方向を決定し、主パンニング方向で決定された被写体の枠位置に基づいて、主パンニング方向と直交する方向における被写体の移動量を算出する。当該移動量が所定の範囲内に収まっている場合に、被写体画像のブレ補正が行われる。これにより、主パンニング方向に対する直交方向の被写体領域と背景領域との分離ができないシーンにおいても、主パンニング方向に対する直交方向における被写体画像のブレ補正を行える。したがって、良好な画像ブレ補正が可能な撮像装置を提供することができる。

本実施例では、流し撮りにおいて、撮影画面内の水平方向および垂直方向に対して被写体画像の像ブレを補正する第１の制御と、水平方向および垂直方向のうちの一方に対して被写体画像の像ブレを補正する第２の制御とを切り替える制御が行われる。言い換えると、流し撮りにおいて、流し撮りの方向と直交する方向に対して被写体画像の像ブレを補正する第１の制御と、流し撮りの方向と直交する方向に対して被写体画像の像ブレを補正しない第２の制御とを切り替える制御が行われる。撮像装置の撮影方向を変更するパンニング操作等が行われた場合に、動きベクトルの判定方法を切り替えて被写体をより正確に判定して、被写体画像の像ブレ補正を行うことができる。本実施例では、主パンニング方向での被写体枠を抽出し、当該被写体枠に対して直交方向の被写体領域の移動量を算出した。これに限らず、図１のＳ１０３で主パンニング方向での背景枠を抽出し、Ｓ１０４で背景枠を除く枠に対して直交する方向の移動量を算出してもよい。

［実施例２］
次に、本発明の実施例２を説明する。本実施例において実施例１の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。
図１５および図１６は、本実施例における被写体角速度の算出処理を示すフローチャートである。以下の処理は、被写体角速度算出部１３４が動きベクトル検出部１３５から動きベクトルを取得した時点で開始する。

Ｓ１３０１では、図１のＳ１０１と同様に角速度データから主パンニング方向が決定される。Ｓ１３０２では、図１のＳ１０２と同様に動きベクトルから主パンニング方向成分（Ｘ方向またはＹ方向）のヒストグラムが生成され、被写体領域および背景領域の動き量が決定される。

Ｓ１３０３で被写体角速度算出部１３４は、被写体領域の動き量が決定できたかどうかを判定する。例えば、図１２（Ａ）に示すように角速度センサ１０７の出力を用いて、背景領域と被写体領域とが分離できた場合、Ｓ１３０４の処理へ進む。一方、図１２（Ｂ）に示すように、背景領域と被写体領域との分離ができなかった場合には図１６のＳ１３０９へ進む。Ｓ１３０４では、図１のＳ１０３と同様に主パンニング方向成分で主被写体と判断された領域に基づき、配置したテンプレート枠中の主被写体となる枠が抽出される。

Ｓ１３０５では、図１のＳ１０４と同様に被写体枠の動き量から、主パンニング方向と直交する方向成分の動き量についてヒストグラムが生成される。Ｓ１３０６では、図１のＳ１０５と同様に、Ｓ１３０５で生成されたヒストグラムデータが所定の範囲内に収まっているか否かが判断される。当該ヒストグラムデータが所定の範囲内に収まっていると判断された場合、Ｓ１３０７の処理へ進み、収まっていないと判断された場合にはＳ１３０８の処理へ進む。

Ｓ１３０７では、Ｓ１０６と同様に、主パンニング方向、および直交方向の両方向に対して被写体画像のブレ補正を行うために、両方向の動き量が、焦点距離情報と画素ピッチにより角速度へ変換される。角速度センサ１０７から取得した角速度を加味して算出された被写体の角速度は、流し撮り制御部１３２へ出力されて処理を終了する。

Ｓ１３０８では、Ｓ１０７と同様に、主パンニング方向について被写体画像のブレ補正が行われ、主パンニング方向と直交する方向については被写体画像のブレ補正を行わずに手ブレ補正のみが行われる。つまり、主パンニング方向での動き量は、焦点距離情報と画素ピッチにより角速度へ変換され、角速度センサ１０７から取得した角速度を加味して算出された被写体の角速度は流し撮り制御部１３２へ出力される。一方、主パンニング方向と直交する方向については、角速度センサ１０７から取得した角速度が流し撮り制御部１３２へ出力されることで、手ブレ補正のみが行われる。あるいは、ユーザに対して手ブレ処理のみを行うという通知がなされ、手ブレ補正の処理が実行される。Ｓ１３０８の処理後、一連の処理を終了する。

Ｓ１３０３で、主パンニング方向に関して背景領域と被写体領域とが分離できなかった場合、Ｓ１３０９では、取得した動きベクトルから主パンニング方向に対して直交する方向成分のヒストグラムが生成され、被写体と背景の動き量が決定される。Ｓ１３１０では、Ｓ１３０３と同様に背景領域と被写体領域との分離ができたかについて判定される。直交方向にて背景領域と被写体領域とを分離できた場合、Ｓ１３１１へ進み、分離できなかった場合にはＳ１３１６へ進む。

Ｓ１３１１では、主パンニング方向と直交する方向成分に対して主被写体と判断された領域に基づき、配置したテンプレート枠中の主被写体となる枠が抽出される。Ｓ１３１２では、被写体枠の動き量から主パンニング方向成分の移動量についてヒストグラムが生成される。Ｓ１３１３では、ヒストグラムデータが所定の範囲内に収まっているか否かについて判断される。当該ヒストグラムデータが所定の範囲内に収まっていると判断された場合、Ｓ１３１４の処理へ進み、収まっていないと判断された場合にはＳ１３１５の処理へ進む。

Ｓ１３１４では、主パンニング方向、および直交方向の両方向に対して被写体画像のブレ補正が行われる。またＳ１３１５では、主パンニング方向については被写体画像のブレ補正を行わず手ブレ補正のみ行われる。主パンニング方向と直交する方向については被写体画像のブレ補正が行われる。

主パンニング方向および直交方向ともに、被写体領域と背景領域との分離ができなかった場合、Ｓ１３１０からＳ１３１６の処理へ進む。Ｓ１３１６では、主パンニング方向および直交方向の両方向に対して被写体画像のブレ補正は行わず、手ブレ補正のみ行われる。

本実施例によれば、主パンニング方向で被写体が検出できなかった場合にも、主パンニング方向と直交する方向から主被写体の画像領域を検出する処理が行われる。直交方向にて主被写体に対応する領域が検出された場合、それを基準として主パンニング方向での被写体の動き量が算出されて、被写体画像のブレ補正が行われる。これにより、主パンニング方向で被写体と背景とが分離できないシーンにおいても、主パンニング方向と直交する方向の被写体画像のブレ補正を行うことができる。したがって、良好な画像ブレ補正が可能な撮像装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０４ シフトレンズ群
１１２ 撮像素子
１１６ 操作部
１３０ 制御部
１３１ 手ブレ補正制御部
１３２ 流し撮り制御部
１３４ 被写体角度算出部
１３５ 動きベクトル検出部

Claims (20)

1. 補正手段により像ブレを補正するブレ補正装置であって、
   撮影時刻の異なる複数の画像を取得する取得手段と、
   画像の動き量を第１の検出手段から取得し、撮像装置の振れの検出信号を第２の検出手段から取得して、画像内の被写体領域および背景領域の角速度を算出する算出手段と、
   前記算出手段から被写体領域の角速度を取得して、前記補正手段を制御することにより流し撮りの際に被写体画像の像ブレを補正する制御を行う制御手段と、を備え、
   前記算出手段は、前記第２の検出手段による検出信号から流し撮りの方向に対応する第１の方向を決定し、前記第１の方向にて前記被写体領域および背景領域の動き量から角速度を算出する処理と、前記第１の方向と直交する第２の方向にて前記被写体領域の動き量から角速度を算出する処理を行い、
   前記制御手段は、前記第１および第２の方向に対して被写体画像の像ブレを補正する第１の制御と、前記第１の方向に対して被写体画像の像ブレを補正する第２の制御とを切り替える
   ことを特徴とするブレ補正装置。
2. 補正手段により像ブレを補正するブレ補正装置であって、
   撮影時刻の異なる複数の画像を取得する取得手段と、
   画像の動き量を第１の検出手段から取得し、撮像装置の振れの検出信号を第２の検出手段から取得して、画像内の被写体領域および背景領域の角速度を算出する算出手段と、
   前記算出手段から被写体領域の角速度を取得して、前記補正手段を制御することにより流し撮りの際に被写体画像の像ブレを補正する制御を行う制御手段と、を備え、
   前記算出手段は、前記第２の検出手段による検出信号から流し撮りの方向に対応する第１の方向を決定し、前記第１の方向と直交する第２の方向にて前記被写体領域の動き量から角速度を算出する処理を行い、
   前記制御手段は、前記第２の方向に対して被写体画像の像ブレを補正する第１の制御と、前記第２の方向に対して被写体画像の像ブレを補正しない第２の制御とを切り替える
   ことを特徴とするブレ補正装置。
3. 前記制御手段は、前記第２の方向にて前記被写体領域の動き量の分布が予め定められた範囲内である場合に前記第１の制御を行い、前記動き量の分布が予め定められた範囲内でない場合に前記第２の制御を行う
   ことを特徴とする請求項１または２に記載のブレ補正装置。
4. 前記補正手段により、手ブレ補正の制御を行う手ブレ補正制御手段をさらに備え、
   前記手ブレ補正制御手段は、前記第２の制御にて前記第２の検出手段の検出信号を取得して前記補正手段を制御することにより、前記第２の方向での前記手ブレ補正の制御を行い、前記第１の制御にて前記第１および第２の方向での前記手ブレ補正の制御を行わない ことを特徴とする請求項１乃至３のいずれか１項に記載のブレ補正装置。
5. 前記第１の検出手段は、撮像画像内に配置された複数の動き量取得枠から動きベクトルを枠ごとに取得することで前記動き量を検出し、
   前記算出手段は、前記複数の動き量取得枠のうち、前記被写体領域に対応する動き量取得枠から動き量を取得し、前記第２の方向における前記被写体領域の角速度を算出する処理を行う
   ことを特徴とする請求項１乃至４のいずれか１項に記載のブレ補正装置。
6. 前記第１の検出手段は、撮像画像内に配置された複数の動き量取得枠から動きベクトルを枠ごとに取得することで前記動き量を検出し、
   前記算出手段は、前記複数の動き量取得枠のうち、前記第１の方向にて前記背景領域に対応する背景枠を抽出し、当該背景枠とは異なる枠から前記第２の方向における動き量を取得して、前記被写体領域の角速度を算出する処理を行う
   ことを特徴とする請求項１乃至４のいずれか１項に記載のブレ補正装置。
7. 前記算出手段は、前記第１の方向にて前記被写体領域および背景領域の動き量の分布を算出して前記被写体領域の動き量を決定することができなかった場合、前記第２の方向にて前記被写体領域および背景領域の動き量を算出する処理を行い、
   前記制御手段は、前記第２の方向にて前記被写体領域の動き量を決定することができた場合、前記第１の制御または第３の制御を行い、前記第２の方向にて前記被写体領域の動き量を決定することができなかった場合には前記第１および第２の制御を行わない
   ことを特徴する請求項１に記載のブレ補正装置。
8. 前記制御手段は、前記第２の方向にて前記被写体領域の動き量を決定することができた場合、前記第１の方向にて前記被写体領域の動き量の分布を算出し、当該動き量の分布が予め定められた範囲内である場合に前記第１の制御を行い、当該動き量の分布が予め定められた範囲内でない場合には、前記第２の方向に対して被写体画像の像ブレを補正する前記第３の制御を行う
   ことを特徴とする請求項７に記載のブレ補正装置。
9. 前記範囲は、焦点距離を含む撮影条件により変更される
   ことを特徴とする請求項３または請求項８に記載のブレ補正装置。
10. 撮像装置で撮像された複数の画像間の動き情報を複数の画像領域について検出する検出手段と、
    前記撮像装置の動き情報と前記検出手段により検出された第１の方向の動き情報とに基づいて、前記複数の画像領域から対象領域を決定する決定手段と、
    前記決定手段により決定された対象領域における前記第１の方向と直交する第２の方向の動き情報に基づいて、前記対象領域に存在する被写体の前記第２の方向における像ブレを補正する補正制御手段と、を備えることを特徴とするブレ補正装置。
11. 前記対象領域における前記第２の方向の動き情報に基づいて、補正部材を移動させて前記対象領域に存在する被写体の前記第２の方向における像ブレを補正する
    ことを特徴とする請求項１０に記載のブレ補正装置。
12. 前記補正制御手段は、前記対象領域における前記第２の方向の動き情報に基づいて、前記補正部材を移動させて前記対象領域に存在する被写体の前記第２の方向における像ブレを補正するか否かを切り換える
    ことを特徴とする請求項１１に記載のブレ補正装置。
13. 前記補正制御手段は、前記対象領域における前記第２の方向の動き情報が所定範囲内となる場合、前記対象領域における前記第２の方向の動き情報に基づいて前記補正部材を移動させて前記対象領域に存在する被写体の前記第２の方向における像ブレを補正する
    ことを特徴とする請求項１２に記載のブレ補正装置。
14. 前記補正制御手段は、前記対象領域における前記第２の方向の動き情報が前記所定範囲内とならない場合、前記撮像装置の動き情報に基づいて前記補正部材を移動させて前記第２の方向における像ブレを補正する
    ことを特徴とする請求項１３に記載のブレ補正装置。
15. 請求項１乃至１４のいずれか１項に記載のブレ補正装置と、撮像手段を備える撮像装置。
16. 請求項４に記載のブレ補正装置と、
    被写体を撮像する撮像手段と、
    前記撮像手段への結像位置を変更する可動光学部材と、
    前記可動光学部材を移動させて手ブレ補正の制御を行う前記手ブレ補正制御手段を備え、
    前記手ブレ補正制御手段は、前記第２の検出手段の検出信号を取得して演算を行う演算部を有し、撮影方向を変更する操作が行われた場合に前記演算部の特性を変更する制御を行う
    ことを特徴とする撮像装置。
17. 流し撮りを支援するモードを設定する設定手段と、
    前記設定手段により前記モードが設定された場合、前記手ブレ補正制御手段が前記第２の検出手段の検出信号から前記撮像装置の撮影方向を変更する操作が行われたかどうかを判定する際の閾値を変更する設定変更手段と、をさらに備える
    ことを特徴とする請求項１６に記載の撮像装置。
18. 補正手段により像ブレを補正するブレ補正装置にて実行される制御方法であって、
    撮影時刻の異なる複数の画像を取得する工程と、
    算出手段が画像の動き量を第１の検出手段から取得し、撮像装置の振れの検出信号を第２の検出手段から取得して、画像内の被写体領域および背景領域の角速度を算出する工程と、
    制御手段が前記算出手段から被写体領域の角速度を取得して、前記補正手段を制御することにより流し撮りの際に被写体画像の像ブレを補正する制御を行う工程と、を有し、
    前記算出手段は、前記第２の検出手段による検出信号から流し撮りの方向に対応する第１の方向を決定し、前記第１の方向にて前記被写体領域および背景領域の動き量から角速度を算出する処理と、前記第１の方向と直交する第２の方向にて前記被写体領域の動き量から角速度を算出する処理を行い、
    前記制御手段は、前記第１および第２の方向に対して被写体画像の像ブレを補正する第１の制御と、前記第１の方向に対して被写体画像の像ブレを補正する第２の制御とを切り替える
    ことを特徴とするブレ補正装置の制御方法。
19. 補正手段により像ブレを補正するブレ補正装置にて実行される制御方法であって、
    撮影時刻の異なる複数の画像を取得する工程と、
    算出手段が画像の動き量を第１の検出手段から取得し、撮像装置の振れの検出信号を第２の検出手段から取得して、画像内の被写体領域および背景領域の角速度を算出する工程と、
    制御手段が前記算出手段から被写体領域の角速度を取得して、前記補正手段を制御することにより流し撮りの際に被写体画像の像ブレを補正する制御を行う工程と、を有し、
    前記算出手段は、前記第２の検出手段による検出信号から流し撮りの方向に対応する第１の方向を決定し、前記第１の方向と直交する第２の方向にて前記被写体領域の動き量から角速度を算出する処理を行い、
    前記制御手段は、前記第２の方向に対して被写体画像の像ブレを補正する第１の制御と、前記第２の方向に対して被写体画像の像ブレを補正しない第２の制御とを切り替える
    ことを特徴とするブレ補正装置の制御方法。
20. 撮像装置で撮像された複数の画像間の動き情報を複数の画像領域について検出する検出工程と、
    前記撮像装置の動き情報と前記検出工程で検出された第１の方向の動き情報とに基づいて、前記複数の画像領域から対象領域を決定する決定工程と、
    前記決定工程により決定された対象領域における前記第１の方向と直交する第２の方向の動き情報に基づいて、前記対象領域に存在する被写体の前記第２の方向における像ブレを補正する補正制御工程と、を備えることを特徴とするブレ補正装置の制御方法。

Images