JP6700874B2 - 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮影者の手振れ等に起因する像ブレを補正する像ブレ補正装置を用いて、流し撮りのアシストをする技術に関するものである。

カメラによる流し撮りは、被写体（動体）を撮影するときに、被写体を追いながら通常よりも遅いシャッター速度で撮影する手法である。この方法によれば、背景が流れ、被写体が静止している画像が得られる。撮影者は、流し撮りにより、スピード感あふれる写真を撮影することができる。しかし、露光時間の比較的長い撮影が行われるので、露光期間中に被写体のスピードとカメラを振る速度とを合わせることが難しく、熟練を要する撮影技術のひとつとなっている。

流し撮りを簡単に実現するために、特許文献１には被写体の速度と、カメラを振る速度との差分を検出し、当該差分に相当するズレ量を、手ブレ補正機能を用いて補正する方法が開示されている。撮影直前には、カメラ内の角速度センサにより、被写体を追っているカメラのパンニングの角速度が検出される。同時に主被写体像の撮像面上での移動量が検出される。検出したパンニング角速度と被写体像の撮像面上での移動量とから被写体の角速度が算出される。そして露光中には、算出した主被写体の角速度と、カメラ内の角速度センサ出力との差分量に従って像振れ補正動作が行われる。これにより、主被写体とカメラのパンニング速度の差、および手振れ量が補正されるので、流し撮り対象である主被写体の像ブレを抑制することができる。

特開２００６−３１７８４８号公報

しかしながら、上述の特許文献１に開示された従来技術では、撮影前の段階で被写体を追う場合に、被写体像の像面上の移動量を正確に検出するために、手ブレ補正機能を停止させている。そのため、特に焦点距離が長いレンズでは、手ブレの影響により主被写体を画角内に安定的に保持することが難しく、その結果、シャッターチャンスを逃してしまうといった問題が発生する。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影前には被写体を追う動作を安定化させることができるとともに、撮影時には適切な流し撮りのアシストを行うことができる像ブレ補正装置を提供することである。

本発明に係わる像ブレ補正装置は、撮像装置の動きの角速度を算出する第１の算出手段と、前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動きベクトルを算出する第２の算出手段と、前記撮像装置の動きに起因する像ブレを補正する像ブレ補正手段の現在位置を算出する第３の算出手段と、前記第１乃至第３の算出手段の出力に基づいて、被写体の動きの角速度を算出する第４の算出手段と、前記撮像装置がレリーズされる前は、前記第１の算出手段の出力に基づいて前記像ブレ補正手段が像ブレを補正し、前記撮像装置がレリーズされた後の所定のタイミングで前記像ブレ補正手段の位置を移動させるとともに、前記第３の算出手段により算出された前記像ブレ補正手段の現在位置に基づいて算出された前記像ブレ補正手段の移動量に基づいて前記撮像手段からの画像の出力位置を移動させ、前記撮像手段の露光が開始された後に、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段が像ブレを補正するように、前記像ブレ補正手段を制御する制御手段と、を備えることを特徴とする。
また、本発明に係わる像ブレ補正装置は、撮像装置の動きの角速度を算出する第１の算出手段と、前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動きベクトルを算出する第２の算出手段と、前記撮像装置の動きに起因する像ブレを補正する像ブレ補正手段の現在位置を算出する第３の算出手段と、前記第１乃至第３の算出手段の出力に基づいて、被写体の動きの角速度を算出する第４の算出手段と、前記撮像装置がレリーズされる前は、前記第１の算出手段の出力に基づいて前記像ブレ補正手段が像ブレを補正し、前記撮像装置がレリーズされた後の所定のタイミングで、前記像ブレ補正手段の可動範囲の中心位置、または、前記像ブレ補正手段が動く動き量を確保できる位置へ前記像ブレ補正手段の位置を移動させるとともに、前記撮像手段の露光が開始された後に、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段が像ブレを補正するように、前記像ブレ補正手段を制御する制御手段と、を備えることを特徴とする。

本発明によれば、撮影前には被写体を追う動作を安定化させることができるとともに、撮影時には適切な流し撮りのアシストを行うことができる像ブレ補正装置を提供することである。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態における流し撮りアシストの流れを示したフローチャート。 第１の実施形態における流し撮りアシストの動作の流れを示した図。 第１の実施形態における被写体角速度の算出方法を説明する図。 第１の実施形態における被写体角速度の算出方法を示すフローチャート。 シフトレンズの移動先の算出を示すフローチャート。 第２の実施形態における流し撮りアシストの流れを示したフローチャート。 シフトレンズの移動先の算出を示すフローチャート。 第２の実施形態における流し撮りアシストの動作の流れを示した図。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる像ブレ補正装置を搭載した撮像装置１００の基本構成を示すブロック図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。

図１において、光学系１０１は、レンズ、シャッター、絞りから構成されており、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどからなる撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。ジャイロセンサなどの角速度センサ１０５は、撮像装置１００の移動量を表す角速度を検出し、電気信号に変換してＣＰＵ１０３へ伝達する。

ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。一次記憶装置１０４は、例えばＲＡＭのような揮発性装置であり、一時的にデータを記憶するとともに、ＣＰＵ１０３の作業領域として使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりもする。二次記憶装置１０８は例えばＥＥＰＲＯＭのような不揮発性メモリであり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。

記録媒体１０７は、一次記憶装置１０４に記憶されている、撮影により得られた画像のデータなどを記録する。なお、記録媒体１０７は例えば半導体メモリカードなどで、撮像装置１００から取り外し可能であり、パーソナルコンピュータなどに装着することにより記録されたデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。表示部１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。

操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であっても良い。なお、本実施形態の撮像装置１００では、画像処理装置１０６が撮像画像に適用する画像処理のパターンを複数有し、そのパターンを撮像モードとして操作部１１０から設定可能である。画像処理装置１０６は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理装置１０６の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現しても良い。

図２は、本実施形態における流し撮り撮影をアシストする動作の流れを示したフローチャートである。まずＳ２０１において、ＣＰＵ１０３は、画像出力領域を流し撮りアシストモード用に設定された画像中央部に制限して、表示部１１０に表示する。Ｓ２０２において、ＣＰＵ１０３は、シャッターボタン（操作部１１１のレリーズボタン）の半押し（以降、スイッチＳＷ１のＯＮ）がなされたか否かの判定を行う。スイッチＳＷ１がＯＮされない場合、ＣＰＵ１０３は、スイッチＳＷ１がＯＮされるまで待機する。そして、スイッチＳＷ１がＯＮされた場合、Ｓ２０３以降の処理に進む。なお、スイッチＳＷ１のＯＮを起点として以降の処理に進むのは一例であり、流し撮りアシストモードに入ることを起点として、常にＳ２０３以降の処理を行うようにしてもよい。

Ｓ２０３において、ＣＰＵ１０３は、角速度センサ１０５で検出された撮像装置１００の角速度を取得する。Ｓ２０４において、ＣＰＵ１０３は、Ｓ２０３で取得した撮像装置１００の角速度にハイパスフィルタ―（ＨＰＦ）をかける（フィルタ処理）ことで、手振れ等に起因する像ブレを補正するためのシフトレンズの移動量である像ブレ補正量を算出する。Ｓ２０５において、ＣＰＵ１０３は、Ｓ２０４で算出した像ブレ補正量に基づいて、光学系１０１に含まれるシフトレンズ３０６（図３参照）を移動させ、像ブレを補正する。

ここで、図２のＳ２０３〜Ｓ２０５における処理について、図３を用いて具体的に説明する。図３は、本実施形態における流し撮りアシストモードの動作の流れを示した図である。図３ａは従来の流し撮りアシストモードの流れを示し、図３ｂは本実施形態の流し撮りアシストモードの流れを示している。図３の３０１は、実際に撮影を行う前の、ユーザが撮像装置をパンニングさせて被写体を追いかけている予備動作中の期間を示しており、図２のＳ２０３〜Ｓ２０８の処理は、この予備動作期間３０１の中で、撮像装置のライブビュー動作における１フレーム周期で行われる。

まず、図３ａを用いて、従来の流し撮りアシストモードの流れについて説明する。図３ａ-vに示す３１５を撮影したい画像の画角とすると、ユーザは、撮影前の準備動作として図３ａ-iに３０５で示す画角となるように撮像装置１００をパンニングさせる。図３ａ-iにおいてシフトレンズ３０６の動ける範囲を可動範囲３０７とする。従来の流し撮りアシストモードでは、露光期間３０３での像ブレ補正量を確保するために、シフトレンズ３０６の位置を可動範囲３０７の中心位置に固定していた。そのため、手振れ３０９の影響により、３０８で示すように、被写体が画角内で移動してしまい、被写体を追うことが難しかった。

次に、図３ｂを用いて、本実施形態における流し撮りアシストモードの流れについて説明する。本実施形態では、図２のＳ２０３でも示している通り、手振れ３０９を補正するために、画像の出力領域を、撮像面全体領域（全画像領域）３１６から制限領域３１７の範囲に制限している。したがって、撮影したい画像の画角を、図３ｂ-vに示すように出力領域を制限した画角３２６とする。そして、撮影前の準備動作（予備動作期間３０１）中には、図２のＳ２０４で算出した像ブレ補正量に基づいて、シフトレンズ３０６を図３ｂ-iiに３１９で示すように移動させ、像ブレ補正を行う。これにより、予備動作期間３０１の中での像ブレ補正を実現する。

図２のＳ２０６において、ＣＰＵ１０３は、Ｓ２０５で移動させたシフトレンズ３０６（光学系１０１）の現在位置（以降、実位置）を取得する。そして、取得されたシフトレンズ３０６の位置の変位量を撮像面上の移動量ｌ［ｍｍ］に換算する。Ｓ２０７において、ＣＰＵ１０３は、撮像素子１０２で連続して取得された画像を複数のブロック領域に分割した後、画像処理装置１０６を用いて、２枚以上の画像間における動きベクトルを検出する。そして、検出された動きベクトルを撮像面上の移動量ｖ［ｍｍ］に換算する。

Ｓ２０８において、ＣＰＵ１０３は、Ｓ２０３で取得した撮像装置１００の角速度と、Ｓ２０６で取得したシフトレンズ３０６の実位置と、Ｓ２０７で撮像面上の移動量に変換された動きベクトルとを用いて、被写体角速度を算出する。なお、撮像装置１００の角速度ω［ｒａｄ／ｓｅｃ］は、焦点距離をｆ［ｍｍ］、画像を取得する間隔（以降、フレームレート）をｆｐｓ［ｆｒａｍｅ／ｓｅｃ］としたとき、式（１）を用いて、画像間における撮像面上の移動量ａ［ｍｍ］に変換される。

ａ＝ｆ・ｔａｎ（ω／ｆｐｓ） …（１）
ここで、図４、図５を用いて、本実施形態における被写体角速度の算出方法について説明する。図４は、本実施形態における被写体角速度の算出方法を示した図であり、縦軸を動きベクトルを検出したブロック数、横軸をベクトルの大きさとしたヒストグラムである。図４ａ、図４ｂは、連続して取得された異なる画像であり、Ｓ２０７で検出した動きベクトル（撮像面上の移動量ｖ［ｍｍ］）を４０１、Ｓ２０６で取得したシフトレンズ位置の変位量（撮像面上の移動量ｌ［ｍｍ］）を４０２、Ｓ２０３で検出した撮像装置１００の角速度（撮像面上の移動量ａ［ｍｍ］）を４０３とする。

図５は、本実施形態における被写体の角速度を算出する方法を示すフローチャートである。Ｓ５０１において、像ブレ補正により、本来の画像ズレ量よりも動きベクトル４０１の値が小さくなっているため、ＣＰＵ１０３は、動きベクトル４０１に、シフトレンズ位置の変位量４０２を加味することで、像ブレ補正量も含めた動きベクトル４０４を算出する。

Ｓ５０１では、撮像装置１００のパンニングで追い切れていない被写体の動きが、像ブレ補正量も含めた動きベクトル４０４として検出される。そのため、Ｓ５０２において、ＣＰＵ１０３は、撮像装置１００の角速度４０３から、像ブレ補正量も含めた動きベクトル４０４の成分を取り除くことで、被写体の移動量４０５を算出する。

なお、４０６は背景の移動量を表しており、被写体の移動量４０５と背景の移動量４０６は、撮像装置１００を被写体に合わせてパンニングしていることを用いて判別することができる。例えば、「撮像装置１００の角速度４０３」と出力が近い「像ブレ補正量も含めた動きベクトル４０４」が背景の移動量４０６であると判別したり、「像ブレ補正量も含めた動きベクトル４０４」の中で、ベクトルの大きさが小さいものが被写体の移動量４０５であると判別することができる。

Ｓ５０３において、ＣＰＵ１０３は、被写体の移動量４０５をｏ［ｍｍ］としたときの被写体角速度ωｏ［ｒａｄ／ｓｅｃ］を式（４）を用いて算出する。

ωｏ＝ｆｐｓ・ｔａｎ^-1（ｏ／ｆ） …（４）
以上により、撮影前の被写体を撮像装置のパンニングで追いかける動作において、シフトレンズ３０６を動かして像ブレ補正を行ったとしても、被写体角速度を算出することが可能となる。

図２の説明に戻って、図２のＳ２０９において、ＣＰＵ１０３は、露光を開始する動作に移行するか否かの判定を行う。なお、ここではシャッターボタン（操作部１１１）の全押し（以降、スイッチＳＷ２のＯＮ）がなされたか否かの判定を行う。スイッチＳＷ２がＯＮされていない場合、ＣＰＵ１０３は、Ｓ２０３からＳ２０８までの動作を繰り返し行うが、スイッチＳＷ２がＯＮされた場合、Ｓ２１０へ進む。

Ｓ２１０、Ｓ２１１は、露光開始前の処理である。Ｓ２１０において、ＣＰＵ１０３は、画像処理装置１０６を用いて、Ｓ２０８で算出した被写体角速度の時系列的な変化に基づいて、流し撮りアシストとして補正量が十分取れるシフトレンズ３０６の移動先を算出する。

図６を用いて、本実施形態におけるシフトレンズの移動先の算出方法について説明する。図６は、本実施形態におけるシフトレンズの移動先の算出方法を示すフローチャートである。なお、図６の被写体角速度２、撮像装置の角速度２は、スイッチＳＷ１のＯＮのタイミングで初期化されるものとする。

Ｓ６０１において、ＣＰＵ１０３は、被写体が一定の速度で移動しているか否かを判定するために、現フレームの被写体角速度と前フレームの被写体角速度（被写体角速度２）の差分値が所定の閾値以内であるかを判定する。この差分値が閾値よりも大きい場合、被写体の動きが不安定であるため、露光直前の被写体の動きの変化に対応するため、Ｓ６０２に進み、シフトレンズの移動先を可動範囲の中央位置に設定する。また上記の差分値が閾値以内の場合、すなわち、被写体の動きが安定している場合は、Ｓ６０３に進む。

Ｓ６０３において、ＣＰＵ１０３は、パンニング速度が安定しているか否かを判定するために、現フレームの撮像装置の角速度と前フレームの撮像装置の角速度（撮像装置の角速度２）の差分値が閾値以内であるか否かを判定する。この差分値が閾値よりも大きい場合、パンニングが安定していないため、安定したアシスト効果を保障するために、Ｓ６０２に進み、シフトレンズの移動先を可動範囲の中央位置に設定する。また上記の差分値が閾値以内の場合、すなわち、パンニングが安定している場合は、Ｓ６０４に進む。

Ｓ６０４において、ＣＰＵ１０３は、ユーザが被写体を十分に追えているか否かを判定するために、撮像装置の角速度と被写体角速度の差分値が閾値よりも小さいか否かを判定する。この差分値が閾値よりも小さい場合、ユーザは被写体を十分に追えており、シフトレンズ位置が中央位置からでも十分に補正できることが分かる。従って、安定したアシスト効果を保障するために、Ｓ６０２に進み、シフトレンズの移動先を可動範囲の中央位置に設定する。また上記の差分値が閾値以上の場合、すなわち、被写体を追えていない場合は、Ｓ６０５に進む。

Ｓ６０５において、ＣＰＵ１０３は、Ｓ６０１、Ｓ６０３、Ｓ６０４の判定から、被写体角速度、パンニング角速度ともに安定していると判断できるため、シフトレンズを流し撮りアシストの補正方向と逆側に設定する。これにより、流し撮りアシストの補正効果を大きく確保できるようにする。

Ｓ６０６において、ＣＰＵ１０３は、被写体角速度２と撮像装置の角速度２を更新することで、次フレーム以降の処理に備える。図６では、分かりやすくするために２フレーム間での変化の判定としたが、これに限定されるものではなく、過去複数フレームにまたがって変化の判定を行っても良い。以上により、適切な流し撮りアシストの補正効果を確保したシフトレンズの移動が可能となる。

図２のＳ２１１において、ＣＰＵ１０３は、Ｓ２１０で算出した位置までシフトレンズ３０６を移動する。なお、Ｓ２１０、Ｓ２１１の処理は、スイッチＳＷ２がＯＮされてから露光開始前までに完了するものとする。

Ｓ２１２の処理は、露光中に行われる処理である。Ｓ２１２において、ＣＰＵ１０３は、Ｓ２０３で取得した撮像装置１００の角速度と、Ｓ２０８で算出した被写体角速度の差分に基づいて、シフトレンズ３０６を動かす。すなわち、被写体角速度と撮像装置のパンニング角速度のズレを補正することで、流し撮りにおいて被写体ブレを抑えるようにシフトレンズ３０６を動かす。以上により、流し撮り撮影をアシストすることが可能となる。

Ｓ２１３の処理は、露光終了後に行われる処理である。Ｓ２１３において、ＣＰＵ１０３は、Ｓ２１１でシフトレンズ３０６を移動させたことにより発生する画像位置のズレを、画像出力位置の中心を移動させることで吸収する。そして、Ｓ２０１で制限した画像出力領域と同じ範囲を画像として保存することで、表示部１１０で表示される領域と同等の画角で画像を保存できる。

図２のＳ２１０〜Ｓ２１３の処理について、図３を用いて具体的に説明する。なお、以下の動作が第１の実施形態の特徴的な動作である。図３において、３０２は、スイッチＳＷ２がＯＮされた後から露光開始直前までの期間を示しており、図２のＳ２１０、Ｓ２１１の処理は、このスイッチＳＷ２がＯＮされた後から露光開始直前までの期間３０２に行われる。

図３の３０３は露光期間を示しており、図２のＳ２１２の処理は、この露光期間３０３の間に行われる。図３の３０４は露光終了後を示しており、図２のＳ２１３は、この露光期間終了後の期間３０４に行われる。

まず、図３ａを用いて、従来の流し撮りアシストモードの流れについて説明する。既に説明したように、従来では、露光前のユーザがカメラのパンニングにより被写体を追いかける動作（予備動作期間３０１）において、シフトレンズを固定しているため、手振れ３０９の影響で被写体の位置が安定しない。そのため、図３ａ-iiiに示すスイッチＳＷ２がＯＮされた時の画角３１０がベースとなって流し撮りアシストの補正が行われる。

露光期間３０３において、被写体の角速度と撮像装置１００のパンニング角速度が合っていないと、図３ａ-ivの３１２で示すように被写体がブレてしまう。そのため、図３ａ-ivの３１３で示すようにシフトレンズ３０６を移動することで、この被写体ブレを抑制する。なお、露光期間３０３の間は、シフトレンズ３０６が動くため、図３ａ-ivの３１１の実線で示すように、被写体の位置は安定する。最終的には予備動作期間３０１の間での手振れ３０９の影響が残った画像となるため、目標である目標画像３１５とは、異なった画角となってしまう。

上記の問題を受け、図３ｂを用いて、本実施形態における流し撮りアシストモードの流れについて説明する。本実施形態では、露光前のユーザがカメラのパンニングにより被写体を追いかける動作（予備動作期間３０１）において、シフトレンズ３０６を動かすことで、手振れ３０９の影響を抑制している。しかし、このままのシフトレンズ３０６の位置では、図３ｂ-iiに示すようにシフトレンズ３０６が可動範囲の端まで移動してしまい、十分な流し撮りアシストの効果を保障できない場合がある。そのため、図３ｂ-iiiに示すように、シフトレンズ３０６を最適な位置３２１に移動させる必要がある。このシフトレンズ３０６の移動により、図３ｂ-iiiに示すように撮像面上の被写体の位置が移動してしまうため、３２０で示すように撮像面上で画像出力領域を変更する。

その後、露光期間３０３において、被写体の角速度と撮像装置１００のパンニング角速度が合っていないと、図３ｂ-ivの３２３で示すように被写体がブレてしまう。そのため、図３ｂ-ivの３２４で示すようにシフトレンズ３０６を移動することで、この被写体ブレを抑制する。なお、露光期間３０３の間は、シフトレンズ３０６が動くため、図３ｂ-ivの３２２の実線で示すように、被写体の位置は安定する。

最終的には画像出力領域３２０を移動させたことで、予備動作期間３０１の間の手振れ３０９の影響を抑制し、目標画像である３２６と近い画角の画像３２５を得ることができる。なお、図３ｂ-iに示す画像出力領域３１７の大きさにより、予備動作期間３０１の間でのシフトレンズ３０６の可動範囲３０７を制限することで、一定の画角でのアシスト効果も実現できる。

以上の動作により、流し撮りアシストとしてシフトレンズの必要な補正量を確保した上で、予備動作中の像ブレ補正が可能となる。また、像ブレ補正効果を画像出力領域の範囲内で制限するようにフィルタの特性を設定することで、撮像面内で出力画像の位置を移動させることができるため、予備動作中の表示画像と、最終的な出力画像の画角を揃えることも可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態の撮像装置について説明する。この第２の実施形態の撮像装置の構成は、図１に示した第１の実施形態の撮像装置の構成と同様であるので、説明を省略する。

図７は、本実施形態における流し撮りアシストモードの動作を示すフローチャートである。まずＳ７０１において、ＣＰＵ１０３は、流し撮りアシストモードでシフトレンズ３０６を動かしても、必ず画角内に収まる領域を表示部１１０に表示する。上記の表示領域の設定が第２の実施形態のポイントである。具体的な動作については後述する。Ｓ２０２〜Ｓ２０９に関しては、図２で説明した第１の実施形態の動作と同様であるので、説明を省略する。

Ｓ７０２において、ＣＰＵ１０３は、画像処理装置１０６を用いて、Ｓ２０８で算出した被写体角速度の時系列的な変化に基づいて、流し撮りアシストとして補正量が十分取れるシフトレンズ３０６の位置を算出する。

図８を用いて、本実施形態におけるシフトレンズの移動先の算出方法について説明する。図８は、本実施形態におけるシフトレンズの移動先の算出方法を示すフローチャートである。なお、図８の像ブレ補正量も含めた動きベクトル２、被写体ベクトル２は、スイッチＳＷ１のＯＮのタイミングで初期化されるものとする。

Ｓ９０１において、ＣＰＵ１０３は、現フレームにおいて、ユーザが被写体を追えているか否かを判定するために、現フレームの像ブレ補正量も含めた動きベクトルが閾値以上であるか否かを判定する。この動きベクトルの値が閾値よりも小さい場合、現在ユーザは被写体を追えており、シフトレンズ位置が中央位置からでも十分に補正できると判断される。したがって、安定したアシスト効果を保障するために、Ｓ９０２に進み、シフトレンズの移動先を可動範囲の中央位置に設定する。上記の動きベクトルの値が閾値以上の場合、すなわち、被写体を追えていない場合は、Ｓ９０３に進む。

Ｓ９０３において、ＣＰＵ１０３は、現フレームと前フレームで被写体の追従可否が変化していないかを判定する。前フレームの像ブレ補正量も含めた動きベクトル（動きベクトル２）が閾値よりも小さい場合は、前フレームで追えていた被写体が現フレームで追えなくなったと判断できる。そのため、安定したアシスト効果を保障するために、Ｓ９０２に進み、シフトレンズの移動先を可動範囲の中央位置に設定する。前フレームの像ブレ補正量も含めた動きベクトル（動きベクトル２）が閾値以上の場合、現フレームでも前フレームでも被写体を追えていないと判断できるため、Ｓ９０４に進む。

Ｓ９０４において、ＣＰＵ１０３は、被写体が一定の速度で移動しているかを判定するために、現フレームの被写体ベクトルと前フレームの被写体ベクトル（被写体ベクトル２）の差分値が閾値以内であるか否かを判定する。この差分値が閾値よりも大きい場合、すなわち、被写体が一定の速度で移動していない場合は、安定したアシスト効果を保障するために、Ｓ９０２に進み、シフトレンズの移動先を可動範囲の中央位置に設定する。上記の差分値が閾値以内の場合、すなわち、被写体が一定の速度で移動している場合は、Ｓ９０５に進む。

Ｓ９０５において、ＣＰＵ１０３は、Ｓ９０１、Ｓ９０３、Ｓ９０４の判定から、被写体角速度は安定しているが、被写体を追えていないと判断できるため、シフトレンズを流し撮りアシストの補正方向と逆側に設定する。これにより、流し撮りアシストの補正効果を大きく確保できるようにする。

Ｓ９０６において、ＣＰＵ１０３は、像ブレ補正量も含めた動きベクトル２と被写体ベクトル２を更新することで、次フレーム以降の処理に備える。図８では、分かりやすくするために２フレーム間での変化の判定としたが、これに限定されるものではなく、過去複数フレームにまたがって変化の判定を行っても良い。以上により、適切な流し撮りアシストの効果を確保したシフトレンズの移動が可能となる。Ｓ２１１、Ｓ２１２に関しては、第１の実施形態の図２と同様であるため、説明を省略する。

以下、図９を用いて、第２の実施形態における動作のポイントについて説明する。図９は、本実施形態における流し撮りアシストモードの流れを示した図である。図９ａは従来の流し撮りアシストモードの流れを示し、図９ｂは本実施形態の流し撮りアシストモードの流れを示している。３０１〜３２４に関しては、第１の実施形態を示す図３と同様であるため、説明を省略する。

図７のＳ７０１において、画像の出力領域を図９ｂ-iに示す領域３１７に制限している。そのため、シフトレンズ３０６を図９ｂ-iiiに３２１で示すように移動させることで撮像面上の位置は移動してしまうが、目標としている画角８０２を確実に含んだ画像８０１を出力することができる。

以上により、流し撮りアシストとして必要なシフトレンズの補正量を確保した上で、予備動作中の像ブレ補正が可能となる。また、流し撮りアシストモードでシフトレンズを動かしても、必ず画角内に収まる領域を表示することで、撮影後の画像で利用可能な領域を増やし、後工程の編集の幅を広げることができる。

なお、上記の第１及び第２の実施形態においては、シフトレンズにより被写体の像ブレを補正し、流し撮りアシストも行う例について説明した。しかし、本発明はこれに限定されるものではなく、例えば撮像素子１０２自体をシフトさせるなどといった形態でも実現することが可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：光学系、１０２：撮像素子、１０３：ＣＰＵ、１０４：一次記憶装置、１０５：角速度センサ、１０６：画像処理装置、１０７：記録媒体、１０８：二次記憶装置、１０９：表示部、１１０：操作部

Claims (24)

1. 撮像装置の動きの角速度を算出する第１の算出手段と、
   前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動きベクトルを算出する第２の算出手段と、
   前記撮像装置の動きに起因する像ブレを補正する像ブレ補正手段の現在位置を算出する第３の算出手段と、
   前記第１乃至第３の算出手段の出力に基づいて、被写体の動きの角速度を算出する第４の算出手段と、
   前記撮像装置がレリーズされる前は、前記第１の算出手段の出力に基づいて前記像ブレ補正手段が像ブレを補正し、前記撮像装置がレリーズされた後の所定のタイミングで前記像ブレ補正手段の位置を移動させるとともに、前記第３の算出手段により算出された前記像ブレ補正手段の現在位置に基づいて算出された前記像ブレ補正手段の移動量に基づいて前記撮像手段からの画像の出力位置を移動させ、前記撮像手段の露光が開始された後に、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段が像ブレを補正するように、前記像ブレ補正手段を制御する制御手段と、
   を備えることを特徴とする像ブレ補正装置。
2. 前記制御手段は、前記撮像手段の露光が開始された後に、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度との差分に基づいて、前記像ブレ補正手段が像ブレを補正するように制御することを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記第３の算出手段は、フレームを取得する周期に合わせて、前記像ブレ補正手段の現在位置を算出することを特徴とする請求項１または２に記載の像ブレ補正装置。
4. 前記第２の算出手段は、２枚以上の画像から、被写体の動きベクトルを算出することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
5. 前記所定のタイミングとは、前記撮像装置がレリーズされてから前記撮像手段の露光開始までの間のタイミングであることを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。
6. 前記制御手段は、前記所定のタイミングで、前記像ブレ補正手段を、該像ブレ補正手段の可動範囲の中央位置、または、前記撮像装置がレリーズされた後に前記像ブレ補正手段が動く動き量を確保できる位置に移動させることを特徴とする請求項５に記載の像ブレ補正装置。
7. 前記制御手段は、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段を動かす位置を、該像ブレ補正手段の可動範囲の中央位置、または、前記像ブレ補正手段が動く動き量を確保できる位置に切り替えることを特徴とする請求項６に記載の像ブレ補正装置。
8. 前記制御手段は、前記撮像手段からの画像の出力位置を移動させる場合に、前記撮像手段の全画像領域から必要な領域を切り出すことにより、画像の出力位置を移動させることを特徴とする請求項１乃至７のいずれか１項に記載の像ブレ補正装置。
9. 前記第１の算出手段の出力に対して、所定のフィルタ処理を行うことにより、前記像ブレ補正手段を移動させる量を算出する第５の算出手段をさらに備えることを特徴とする請求項８に記載の像ブレ補正装置。
10. 前記所定のフィルタ処理では、前記像ブレ補正手段を移動させる量が、前記撮像手段の全画像領域から切り出す領域に収まるように、フィルタの特性を変更することを特徴とする請求項９に記載の像ブレ補正装置。
11. 前記制御手段は、前記必要な領域のみを切り出して表示装置に表示させることを特徴とする請求項８に記載の像ブレ補正装置。
12. 撮像装置の動きの角速度を算出する第１の算出工程と、
    前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動きベクトルを算出する第２の算出工程と、
    前記撮像装置の動きに起因する像ブレを補正する像ブレ補正手段の現在位置を算出する第３の算出工程と、
    前記第１乃至第３の算出工程での出力に基づいて、被写体の動きの角速度を算出する第４の算出工程と、
    前記撮像装置がレリーズされる前は、前記第１の算出工程での出力に基づいて前記像ブレ補正手段が像ブレを補正し、前記撮像装置がレリーズされた後の所定のタイミングで前記像ブレ補正手段の位置を移動させるとともに、前記第３の算出工程において算出された前記像ブレ補正手段の現在位置に基づいて算出された前記像ブレ補正手段の移動量に基づいて前記撮像手段からの画像の出力位置を移動させ、前記撮像手段の露光が開始された後に、前記第１の算出工程により算出された前記撮像装置の動きの角速度と、前記第４の算出工程により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段が像ブレを補正するように、前記像ブレ補正手段を制御する制御工程と、
    を有することを特徴とする像ブレ補正装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
15. 撮像装置の動きの角速度を算出する第１の算出手段と、
    前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動きベクトルを算出する第２の算出手段と、
    前記撮像装置の動きに起因する像ブレを補正する像ブレ補正手段の現在位置を算出する第３の算出手段と、
    前記第１乃至第３の算出手段の出力に基づいて、被写体の動きの角速度を算出する第４の算出手段と、
    前記撮像装置がレリーズされる前は、前記第１の算出手段の出力に基づいて前記像ブレ補正手段が像ブレを補正し、前記撮像装置がレリーズされた後の所定のタイミングで、前記像ブレ補正手段の可動範囲の中心位置、または、前記像ブレ補正手段が動く動き量を確保できる位置へ前記像ブレ補正手段の位置を移動させるとともに、前記撮像手段の露光が開始された後に、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段が像ブレを補正するように、前記像ブレ補正手段を制御する制御手段と、
    を備えることを特徴とする像ブレ補正装置。
16. 前記制御手段は、前記撮像手段の露光が開始された後に、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度との差分に基づいて、前記像ブレ補正手段が像ブレを補正するように制御することを特徴とする請求項１５に記載の像ブレ補正装置。
17. 前記第３の算出手段は、フレームを取得する周期に合わせて、前記像ブレ補正手段の現在位置を算出することを特徴とする請求項１５または１６に記載の像ブレ補正装置。
18. 前記第２の算出手段は、２枚以上の画像から、被写体の動きベクトルを算出することを特徴とする請求項１５乃至１７のいずれか１項に記載の像ブレ補正装置。
19. 前記所定のタイミングとは、前記撮像装置がレリーズされてから前記撮像手段の露光開始までの間のタイミングであることを特徴とする請求項１５乃至１８のいずれか１項に記載の像ブレ補正装置。
20. 前記制御手段は、前記所定のタイミングで、前記像ブレ補正手段を、該像ブレ補正手段の可動範囲の中央位置、または、前記撮像装置がレリーズされた後に前記像ブレ補正手段が動く動き量を確保できる位置に移動させることを特徴とする請求項１９に記載の像ブレ補正装置。
21. 前記制御手段は、前記第１の算出手段により算出された前記撮像装置の動きの角速度と、前記第４の算出手段により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段を動かす位置を、該像ブレ補正手段の可動範囲の中央位置、または、前記像ブレ補正手段が動く動き量を確保できる位置に切り替えることを特徴とする請求項２０に記載の像ブレ補正装置。
22. 撮像装置の動きの角速度を算出する第１の算出工程と、
    前記撮像装置の撮像手段により撮像された複数の画像から、被写体の動きベクトルを算出する第２の算出工程と、
    前記撮像装置の動きに起因する像ブレを補正する像ブレ補正手段の現在位置を算出する第３の算出工程と、
    前記第１乃至第３の算出工程での出力に基づいて、被写体の動きの角速度を算出する第４の算出工程と、
    前記撮像装置がレリーズされる前は、前記第１の算出工程での出力に基づいて前記像ブレ補正手段が像ブレを補正し、前記撮像装置がレリーズされた後の所定のタイミングで、前記像ブレ補正手段の可動範囲の中心位置、または、前記像ブレ補正手段が動く動き量を確保できる位置へ前記像ブレ補正手段の位置を移動させるとともに、前記撮像手段の露光が開始された後に、前記第１の算出工程により算出された前記撮像装置の動きの角速度と、前記第４の算出工程により算出された被写体の動きの角速度とに基づいて、前記像ブレ補正手段が像ブレを補正するように、前記像ブレ補正手段を制御する制御工程と、
    を有することを特徴とする像ブレ補正装置の制御方法。
23. 請求項２２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
24. 請求項２２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images