JP6703789B2 - 像ブレ補正装置及び方法、及び撮像装置 - Google Patents

Description

本発明は像ブレ補正装置及び方法、及び撮像装置に関する。

従来より、移動している被写体のスピード感を表現する撮影技術として流し撮りがある。この撮影技術では、撮影者が被写体の動きに合わせてカメラをパンニングなどにより追従することにより、移動している被写体を静止させて背景は流すことを目的とする。流し撮り撮影においては撮影者が被写体の動きに合わせてパンニングをする必要があるが、パンニング速度が早すぎたり遅すぎたりすることで、被写体の移動速度とパンニング速度との間に差が発生してしまうと、被写体までブレた画像になることも多い。

そこで、特許文献１では、露光前に算出した撮像装置に対する被写体の相対角速度と、角速度センサから得た露光中の撮像装置の角速度に基づいて、露光中のレンズの光学系の一部または撮像部を移動させて被写体のブレを補正するものがある。撮像装置に対する被写体の相対角速度は、時間的に連続した画像から検出した被写体の像面上の移動量と、角速度センサによって算出している。

特開平４−１６３５３５号公報

しかしながら、特許文献１に開示された従来技術では、次の課題があった。すなわち、被写体のブレを補正するために、露光中のレンズ光学系の一部または撮像素子などの撮像部のシフト量を、時間的に連続した画像から検出した被写体の像面上の移動量から求めるが、同じ移動量の被写体部分しかブレを止めることができない。

例えば、被写体までの距離が遠く、更にその被写体までの距離に変化が少ないケースにおいては、上述の特許文献１に開示された従来技術においても、十分にブレを補正することができる。しかし、例えば、電車のように、画面に占める被写体のサイズが大きく、且つ、被写体が撮影者に向かって近づいてくるような遠近混合の被写体では、被写体において撮影者に近い画像領域と遠い画像領域において、動きベクトルに差が出てしまう。このような場合、特許文献１に開示された方法では、被写体のどこか一点のブレを止めることはできるが、被写体のどこかがボケてしまうという問題があった。

本発明は上記問題点を鑑みてなされたものであり、画面に占める被写体のサイズが大きく、撮影者に向かって近づいてくるような遠近混合の被写体の撮影において、被写体のどの画像領域においてもブレを少なくすることを目的とする。

上記目的を達成するために、本発明の像ブレ補正装置は、装置の動き情報を取得する動き情報取得手段と、撮像手段により被写体を撮像して得られた画像信号から、連続した２枚の画像間の動きベクトルを検出するベクトル検出手段と、前記ベクトル検出手段により検出された前記動きベクトルのうち、前記画像における被写体領域の前記動きベクトルの分布と、前記２枚の画像間の時間に基づいて、前記撮像手段で次の撮像を行う際の電荷蓄積時間を求める取得手段と、前記動き情報と、前記被写体領域の前記動きベクトルの分布に基づいて、前記画像の像ブレを補正する補正量を算出する算出手段と、を有し、前記取得手段は、前記被写体領域の前記動きベクトルの分布の中心と、前記被写体領域の前記動きベクトルそれぞれとの差分の最大値により、前記２枚の画像間の時間を割ることにより、前記電荷蓄積時間を求める。

本発明によれば、画面に占める被写体のサイズが大きく、撮影者に向かって近づいてくるような遠近混合の被写体の撮影において、被写体のどの画像領域においてもブレを少なくすることができる。

本発明の実施形態における撮像装置の構成を示すブロック図。 手ブレ補正制御部及び流し撮り制御部の構成を示すブロック図。 通常モードにおけるパンニング判定を伴う手ブレ補正制御を示すフローチャート。 パンニング時の角速度データと閾値との関係を示す図。 流し撮りアシストモードにおけるパンニング判定を伴う手ブレ補正制御を示すフローチャート。 第１の実施形態における流し撮りアシストモード時の撮影動作を示すフローチャート。 第１の実施形態における流し撮り判定処理のフローチャート。 流し撮り判定の概念図。 画面に占める被写体が大きく、近づいている遠近混合被写体の一例を示す図。 画面に占める被写体が大きい遠近混合被写体を従来手法で撮影し、被写体の一部のみ画像ブレが止まっている場合の一例を示す図。 画面に占める被写体が大きい遠近混合被写体の動きベクトルと出力例を示す図。 従来手法により遠近混合被写体のピークを見つける方法を説明するための図。 遠近混合被写体でカメラがシフト移動した場合の像面移動量の差を示す概念図。 遠近混合被写体及びカメラが回転運動しかしない時に像面移動量に差がなくなることを示す図。 カメラから被写体までの距離とカメラもしくは被写体のシフト移動量、像面上の移動量の関係を示す図。 第１の実施形態における被写体の撮像面での動きを止める方法を説明するための図。 第１の実施形態における手法で撮影した場合の画像の一例を示す図。 第１の実施形態における流し撮りアシスト処理のフローチャート。 第２の実施形態における流し撮りアシスト処理のフローチャート。 第３の実施形態における流し撮りアシスト処理のフローチャート。 第４の実施形態における流し撮りアシスト処理のフローチャート。 第５の実施形態における撮像装置の構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態における撮像装置の構成を示すブロック図であり、交換レンズ１００と、カメラ本体１２０とから構成されるレンズ交換式のデジタルスチルカメラを例にとって示している。なお、本発明はレンズ交換式のデジタルスチルカメラに限るものではなく、レンズと一体型のカメラや、像ぶれ補正を行うことのできるビデオカメラ等、様々な光学機器に応用すること可能である。

交換レンズ１００は、主撮像光学系１０２、合焦距離を変更可能なフォーカスレンズ群１０３、およびシフトレンズ群１０４（像ブレ補正レンズ）から成る撮影レンズユニット１０１を備える。シフトレンズ群１０４は、光軸に対して垂直方向にシフトすることで、撮像装置の振れによる光軸に対する像の振れを光学的に補正する。また、交換レンズ１００において、フォーカスエンコーダ１０５は、フォーカスレンズ群１０３の位置を検出する。位置センサ１０６は、シフトレンズ群１０４の位置を検出し、その出力はアンプ１１５により増幅される。ドライバ１１４は、シフトレンズ群１０４を駆動する。角速度センサ１１１はカメラの振れを検出し、アンプ１１２は角速度センサ１１１の出力を増幅する。マウント接点部１１６は、カメラ本体１２０と電気的に接続をする。

レンズシステム制御用マイクロコンピュータ（以下、「レンズマイコン」と呼ぶ。）１１３は、手ブレ補正制御（像ブレ補正制御）を行う手ブレ補正制御部１１７と、流し撮りアシスト用の制御を行う流し撮り制御部１１８を備える。レンズマイコン１１３はその他にもフォーカスレンズ制御、絞り制御等も行うが、図の簡略化のためここでは省略している。また、手ブレ補正（像ブレ補正）のためには、例えば横方向の振れと縦方向の振れといった、直交する２軸に関して振れの検出および補正を行うが、横方向用と縦方向用とで同じ構成を有するため、ここでは１軸分のみ記載している。

一方、カメラ本体１２０は、シャッタ１２１、ＣＭＯＳセンサ等の撮像素子１２２、アナログ信号処理回路（ＡＦＥ）１２３、カメラ信号処理回路１２４を含む。カメラ信号処理回路１２４は、動きベクトル検出部１４１、閾値制御によって被写体の動きベクトルを検出する被写体検出部１４２、被写体検出部１４２により検出された動きベクトルの移動量の中心を計算し、判定するベクトル判定部１４３を備える。

また、カメラ本体１２０において、タイミングジェネレータ（ＴＧ）１２５は、撮像素子１２２やアナログ信号処理回路１２３の動作タイミングを設定する。操作スイッチ１３１は、電源スイッチ、レリーズスイッチ、流し撮りアシストモードをＯＮ／ＯＦＦを切り替える切り替えスイッチ等を含んで構成される。なお、流し撮りアシストモードＯＦＦの場合、通常モードによる制御が行われる。

カメラシステム制御用マイクロコンピュータ（以下、「カメラマイコン」と呼ぶ。）１３２は、カメラ全体を制御する。また、カメラマイコン１３２は、シャッタ制御部１５１、被写体角速度算出部１５２、流し撮り判定部１５３を備える。なお、シャッタ制御部１５１、被写体角速度算出部１５２、流し撮り判定部１５３の動作については、詳細に後述する。

シャッタドライバ１３３は、シャッタ制御部１５１により計算された露光時間（電荷蓄積時間）に沿ってシャッタ１２１を動作させるためのシャッタ駆動用モーター１３４を駆動する。また、撮影した映像を記録するメモリカード１７１、撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル（以下、「ＬＣＤ」と呼ぶ。）１７２を備える。更に、交換レンズ１００とのマウント接点部１６１を備え、レンズマイコン１１３とカメラマイコン１３２は、マウント接点部１１６および１６１を介して、所定のタイミングでシリアル通信を行う。

上記構成を有するカメラにおいて、操作スイッチ１３１によりカメラの電源がＯＮされると、その状態変化をカメラマイコン１３２が検出し、カメラマイコン１３２の制御によりカメラ本体１２０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズマイコン１１３の制御により、交換レンズ１００内の初期設定が行われる。そしてレンズマイコン１１３とカメラマイコン１３２との間で所定のタイミングで通信が開始される。この通信で、カメラ本体１２０から交換レンズ１００へはカメラの状態、撮影設定等が、また交換レンズ１００からカメラ本体１２０へはレンズの焦点距離情報、角速度情報等がそれぞれ必要なタイミングで送受信される。

●通常モード時の手ブレ補正制御
流し撮りアシストモード設定が行われていない通常モード時、交換レンズ１００内では、角速度センサ１１１が手ブレ等によるカメラの振れを検出する。その検出結果を用いることで手ブレ補正制御部１１７により、シフトレンズ群１０４を駆動して手ブレ補正動作が行われる。

以下、通常モード時の手ブレ補正動作について、図２を参照して説明する。図２において、図１と共通の構成については同じ符号を付し、説明を省略する。また、図２に示す構成のうち、ここでは手ブレ補正制御部１１７に関する構成についてのみ説明し、流し撮り制御部１１８の説明は後述する。図２に示すように、手ブレ補正制御部１１７は、Ａ／Ｄ変換器４０１、フィルタ演算部４０２、積分器４０３、加算器４０４、ＰＷＭ出力部４０５、Ａ／Ｄ変換器４０６、パンニング制御部４０７を含む。

Ａ／Ｄ変換器４０１は、角速度センサ１１１で検出された振れ信号をデジタル信号（角速度データ）に変換する。角速度センサ１１１によるデータサンプリングは、１〜１０kHz程度の周期で行われる。フィルタ演算部４０２は、ハイパスフィルタ（ＨＰＦ）等で構成され、角速度データに含まれているオフセット成分の除去を行うと共に、カットオフ周波数を変更することでパンニング対策を行う。積分器４０３は、シフトレンズ群１０４の駆動目標データを生成するために、角速度データを角変位データに変換する。

Ａ／Ｄ変換器４０６は、シフトレンズ群１０４の位置を示す位置センサ１０６の出力をデジタルデータに変換する。加算器４０４は、シフトレンズ群１０４の駆動目標値から現在のシフトレンズ群１０４の位置を減算することで、シフトレンズ群１０４の駆動データを算出する。なお、通常モード時は、第２の積分器６０５からの出力は加算しない。ＰＷＭ出力部４０５は、算出された駆動データをシフトレンズ駆動用のドライバ１１４に出力する。

パンニング制御部４０７は、後述する処理により、角速度データから、カメラがパンニングされたかどうかを判定する。パンニングと判定した場合は、フィルタ演算部４０２のカットオフ周波数の変更、及び、積分器４０３の出力の調整を行う。

図３は、パンニング制御部４０７によるパンニング判定を伴う通常モード時の手ぶれ補正制御を示すフローチャートである。Ｓ１０で処理が開始されると、Ｓ１１において、Ａ／Ｄ変換器４０１から出力された、予め決められたサンプリング回数分の角速度データの平均値の絶対値が第１の閾値αよりも大きいかどうかの判定を行う。第１の閾値α以下の場合はパンニングが行われていないと判断し、Ｓ１７に進んで、フィルタ演算部４０２に含まれるＨＰＦのカットオフ周波数を通常値に設定して、Ｓ１８に進む。Ｓ１８では、手ブレ補正制御が後述するように強制的にＯＦＦされていればこれを解除し、手ブレ補正制御をＯＮにする。これにより、角速度センサ１１１から出力された振れ信号に応じて、上述したようにしてシフトレンズ群１０４をシフトすることにより、手ブレ補正が行われる。

一方、角速度データの平均値の絶対値が第１の閾値αよりも大きい場合は、Ｓ１２において、第１の閾値αよりも大きい、第２の閾値βより大きいかどうかの判定を行う。そして、第２の閾値βより大きい場合は、早いパンニングが行われていると判断し、Ｓ１３に進んで、フィルタ演算部４０２に含まれるＨＰＦのカットオフ周波数を最大値に設定し、Ｓ１４で手ブレ補正制御を強制的にＯＦＦとする。このように、ＨＰＦのカットオフ周波数を高くすることでシフトレンズ群１０４が除々に停止するようにし、手ブレ補正制御をＯＦＦしたときの違和感を軽減する。

その後、Ｓ１５では、積分器４０３の出力を現在のデータから除々に初期位置のデータに変更することで、シフトレンズ群１０４を初期位置に動かすようにする。これは次に手ブレ補正動作を再開する場合に、シフトレンズ群１０４の位置が駆動範囲の初期位置にあることが望ましいためである。また、早いパンニング時は手ブレの大きさに対してパンニングによる移動量が非常に大きくなるため、手ブレ補正をＯＦＦすることで手ブレが残ったとしても違和感が少ないためである。この設定を行わず、パンニングを大きなブレとして補正しようとすると、パンニング開始時には画が停止するが、その後、シフトレンズ群１０４が補正端に到達した途端に突然画が大きく動くことになり、非常に不自然な動きとして見えてしまうことになる。

また、Ｓ１２で角速度データの平均値の絶対値が第２の閾値β以下の場合は、ゆっくりとしたパンニングが行われていると判断し、Ｓ１６へ進んで、フィルタ演算部４０２に含まれるＨＰＦのカットオフ周波数を角速度データの大きさに応じて設定する。そして、Ｓ１８において、手ブレ補正制御が強制的にＯＦＦされていれば、これを解除し、手ブレ補正制御をＯＮにする。これは、ゆっくりとしたパンニングが行われている場合は手ブレの影響を完全に無視することができないためであり、パンニング時の画の追従性が不自然にならない程度に保ちながら、手ブレ補正を行うために必要な処理となる。

図４はパンニング時の横方向の角速度データと、第１の閾値α及び第２の閾値βとの関係を示したものであり、７０１は角速度データのサンプルである。この例では、右方向にパンニングした場合に＋方向の出力、左方向にパンニングした場合に−方向の出力となる。図４の例では、右方向の急激なパンニングと、左右方向のゆっくりとしたパンニングが検出されている。図４から分かるように、パンニング中は角速度データが初期値（ここでは０）から大きく外れる。そのため、このデータを積分してシフトレンズ群１０４の駆動目標値を算出した場合、ＤＣ的なオフセット成分により、積分器４０３の出力が非常に大きな値となり、制御不能状態になってしまう。そのため、パンニングが検出された場合（Ｓ１１でＹＥＳ）は、ＨＰＦのカットオフ周波数を高く変更することにより、ＤＣ成分をカットすることが必要となる。急激なパンニングの場合（Ｓ１２でＹＥＳ）は、特に顕著になるために、よりカットオフ周波数を上げることで、積分器４０３の出力が増大しないようにする。特にパンニングが早い場合は、パンニング速度による画の動きが手のブレに対して非常に大きくなるため、パンニング方向に関して手ブレ補正機能をＯＦＦとしても特に違和感は発生しない。

このように、以上のようにパンニング制御が行われることで、パンニング中も違和感のない画をモニタすることが可能となる。

●流し撮りアシストモード時の制御
次に、流し撮りアシストモード時の制御について説明する。流し撮りアシストモードでは、主に、光学手ブレ補正と、露光時間（電荷蓄積時間）の制御により、流し撮り時に被写体のブレが少なくなるようにする。

操作スイッチ１３１により、流し撮りアシストモードが設定されると、カメラマイコン１３２は、流し撮りアシスト用の制御に切り替わる。またその情報がカメラマイコン１３２からレンズマイコン１１３へと送信され、レンズマイコン１１３も流し撮りアシストモードに移行する。

流し撮りアシストモード設定中のカメラ本体１２０では、撮像素子１２２により撮影した映像情報から、カメラ信号処理回路１２４内の動きベクトル検出部１４１により、被写体の動きベクトルを検出する。また、レンズマイコン１１３から、交換レンズ１００内の角速度センサ１１１で検出された角速度データを受信する。被写体角速度算出部１５２では、受信した角速度データと、被写体の像面上の移動量およびレンズの現在の焦点距離から算出される角速度との差分を求める。受信した角速度データは、カメラの流し撮り速度に対応しているため、求めた差分は、カメラに対する被写体の移動を示す被写体角速度となる。カメラマイコン１３２は、算出した被写体角速度データをレンズマイコン１１３に送信する。また、流し撮り判定部１５３では、レンズマイコン１１３から送信された角速度データを積分して保持しておく。これにより、ユーザが流し撮りを行う際に、所定のタイミングを起点としたカメラの角度変化（以降、流し撮り角度）を得ることができる。

（流し撮りアシストモード時の手ブレ補正制御）
ここで、図２を参照して、流し撮りアシストモード時の交換レンズ１００内のシフトレンズ群１０４の駆動制御について説明する。なお、手ブレ補正制御部１１７の構成は上述した通りであるので、ここでは説明を省略する。図２に示すように、流し撮り制御部１１８は、カメラ情報取得部６０１、角速度データ出力部６０２、被写体角速度取得部６０３、加算器６０４、第２の積分器６０５、設定変更部６０６、通信制御部６１０を含む。

通信制御部６１０は、カメラマイコン１３２との双方向通信を行う。カメラ本体１２０の操作スイッチ１３１に含まれる切り替えスイッチ操作により流し撮りアシストモードがＯＮされると、通信制御部６１０から、その情報がカメラ情報取得部６０１で読み込まれる。カメラ情報取得部６０１は、ここでは特に、流し撮りアシストモードの設定情報、レリーズ情報を取得する。一方、角速度データ出力部６０２は、所定のタイミングで角速度データをサンプリングして、カメラマイコン１３２にサンプリングした角速度データを送信する。

被写体角速度取得部６０３は、カメラ本体１２０から通信によって得られたカメラ情報から、被写体角速度データを取得する。加算器６０４は、A／Ｄ変換器４０１から得られる角速度データと、カメラ本体１２０から得られる被写体角速度データとの差分を算出し、第２の積分器６０５へと送る。

第２の積分器６０５は、カメラ情報取得部６０１で取得された露光期間中を示す信号により、加算器６０４から送られてくる差分の積分動作を行う。その他の期間はシフトレンズ群１０４の位置が中央となる値を出力する。ここで、露光期間以外はシフトレンズ群１０４を中央位置に配置しようとした場合、露光期間終了時は現在のシフトレンズ位置から中央位置までシフトレンズ群１０４が急峻に移動することになる。しかし、露光期間終了直後は撮像素子１２２からの画像信号の読み出しのため、ＬＣＤ１７２上では画が消失している期間であり、シフトレンズ群１０４の急峻な移動による画の動きは問題とならない。

また、第２の積分器６０５の出力は、加算器４０４で積分器４０３の出力、およびシフトレンズ群１０４の位置情報に加算されて、シフトレンズ群１０４の駆動量が算出される。

また、設定変更部６０６は、カメラ情報取得部６０１から流し撮りアシストモードが設定されたことを通知されると、通知されたモード情報に従って、パンニング制御部４０７の設定変更を行う。ここで行われる設定変更は、急激なパンニング状態に移行しやすくする変更であり、具体的には、前述したパンニング判定用の第１の閾値α及び第２の閾値βを通常モード時よりも小さい値に変更する。

また、シフトレンズ群１０４の位置センサ１０６は、検出されたシフトレンズ群１０４の位置情報をカメラ本体１２０に送信するために、情報を通信制御部６１０に送る。

図５は、流し撮りアシストモード時の手ブレ補正制御を示すフローチャートである。Ｓ２０で処理が開始されると、Ｓ２１において、Ａ／Ｄ変換器４０１から出力された、予め決められたサンプリング回数分の角速度データの平均値の絶対値が、設定変更部６０６により流し撮りアシストモード用に変更された第１の閾値αとを比較する。第１の閾値αの方が大きい場合、Ｓ１７に進む。一方、角速度データの平均値の絶対値が第１の閾値α以下であれば、Ｓ２２に進み、設定変更部６０６により流し撮りアシストモード用に変更された第２の閾値βより大きいかどうかを判定する。第２の閾値βの方が大きい場合、Ｓ１６に進む。なお、Ｓ１６、Ｓ１７、Ｓ１８の各処理は、図３で説明した処理と同様であるので、ここでは説明を省略する。

角速度データの平均値の絶対値が第２の閾値β以下であれば、Ｓ１３においてフィルタ演算部４０２に含まれるＨＰＦのカットオフ周波数を最大値に設定し、Ｓ１４で角速度センサ１１１からの振れ信号のみに基づく手ブレ補正制御を強制的にＯＦＦとする。そして、Ｓ２５において、図２を参照して上述したように、シフトレンズ群１０４は、カメラのパンニング時の角速度と被写体角速度との差分に対応した量を補正する。これにより、流し撮り失敗の原因となる露光期間中のカメラのパンニング速度と被写体の速度の差分がシフトレンズ群１０４の動作で相殺され、その結果として流し撮りを成功させることができる。

（流し撮りアシストモード時の撮影シーケンス）
図６は、第１の実施形態におけるカメラマイコン１３２で行われる流し撮りアシストモード時の撮影シーケンスを示すフローチャートである。図６において、Ｓ１０１ではレリーズスイッチが半押しされたかどうか（ＳＷ１ ＯＮ）を検出する。半押しされるとＳ１０２へと進み、時間計測カウンタをインクリメントする。半押しされていない場合はＳ１０３で、レリーズスイッチが半押しされるまで時間計測カウンタをリセットする。

次に、Ｓ１０４では、被写体角速度算出部１５２により、被写体角速度がすでに算出されているかどうか確認する。算出されている場合は、Ｓ１０５でさらに時間計測カウンタが所定時間Ｔになっているかどうかを確認する。これにより、被写体角速度がまだ算出されていない場合、およびすでに算出されていても一定時間が経っている場合は、Ｓ１０６で被写体角速度を算出する。ここで、被写体角速度を算出し直すのは、時間と共に被写体の速度が変化する場合を考慮しての処置である。Ｓ１０６で算出された被写体角速度は、算出される度にレンズマイコン１１３へと送信される。Ｓ１０７では、時間計測カウンタをリセットし、Ｓ１０８において、流し撮り判定部１５３で積分している流し撮り角度をリセットして計測を始める。

Ｓ１０９では、レリーズスイッチが全押しされたかどうか（ＳＷ２ ＯＮ）の判定を行う。全押しされていなければ、Ｓ１０１へ戻る。Ｓ１０９でレリーズスイッチが全押しされると、Ｓ１１０では、図７を参照して後述する流し撮りアシスト判定の結果を確認し、流し撮りアシスト許可であれば、Ｓ１１２において、後述する流し撮りアシスト撮影が行われる。流し撮りアシスト不許可であれば、Ｓ１１１でＬＣＤ１７２に警告表示を行ってから、Ｓ１１２に進んで、流し撮りアシストを行わずに、通常モードでの撮影が行われる。次にＳ１１３でレリーズスイッチが全押しされているかどうかの判定を行い、全押しされていれば、Ｓ１１９へ戻って次の撮影を開始し、全押しされていなければ、Ｓ１０１へ戻る。

図７は、カメラマイコン１３２内の流し撮り判定部１５３において行われる流し撮り判定処理を示すフローチャートであり、所定周期で図６に示す処理と並行して行われる。

Ｓ２０１では、カメラが流し撮りアシストモードに設定されていれば、Ｓ２０２へ進み、流し撮りアシストモードが設定されていなければ、Ｓ２０１へ戻る。Ｓ２０２では、流し撮り角度を取得し、Ｓ２０３に進む。Ｓ２０３では、被写体角速度と流し撮り経過時間から、被写体が被写体角速度を保った場合の被写体角度（予測被写体角度）を算出し、Ｓ２０４へ進む。

Ｓ２０４では、流し撮り判定を行うための角度の閾値（流し撮り閾値θ）を算出する。流し撮り閾値θは、焦点距離が大きい（画角が小さい）ほど小さくなる。ここでは、流し撮り閾値θは交換レンズ１００の焦点距離から算出した画角とする。次にＳ２０５において、予測被写体角度と流し撮り角度との差の絶対値と、流し撮り閾値θとを比較し、流し撮り閾値θの方が小さければＳ２０６に進み、そうでなければＳ２０７に進む。Ｓ２０６では流し撮りアシストを許可すると判断し、Ｓ２０７では流し撮りアシストを許可しないと判断する。ここで流し撮りアシストを許可すると判断された場合には、図６のＳ１１２で後述する流し撮りアシストでの撮影を行う。一方、流し撮りアシストを許可しないと判断された場合には、上述したように、Ｓ１１２で通常モードで撮影を行う。

図８は、流し撮り判定部１５３による上述した流し撮り判定処理の概念図である。１００１はカメラ、１００２は被写体角速度を算出したタイミングでの被写体の位置である。１００３は、算出した被写体角速度で流し撮り経過時間後に被写体が動いた場合の被写体の位置であり、１００２から１００３までの角度が予測被写体角度θ１である。１００４は、角速度センサ１１１からの情報から推定される被写体の位置であり、１００２から１００４までの角度が流し撮り角度θ２である。画角θ３は、撮影時の画角を表している。この場合、|θ１-θ２|と比べて画角θ３（流し撮り閾値）の方が小さければ、流し撮りアシスト撮影を許可する判定を行う。

（遠近混合被写体）
画面に占める被写体のサイズが大きく、また電車のように撮影者に向かって近づいてくるようなケース（図９）では、従来の手法で撮影すると電車の一部が停止し、一部がブレたような画像が撮影されるケース（図１０）があった。こうした現象が発生する要因としては、被写体から撮影者までの距離で近い所と遠い所が発生（遠近混合状態）してしまっているためである。この状態では、撮影者から近い所（図１１の１２０１）と遠い所（図１１の１２０２）では検出される動きベクトルの量に差ができてしまう。

遠近混合被写体の場合に、流し撮り時に従来の方法で手ブレ補正を行った場合について、図１２を参照して説明する。図１２は、図１１に示す動きベクトルを画素値に換算して、動きベクトルの分布を表すヒストグラムを作成した一例を示す図である。被写体の動きベクトルに分散（１３０１）があるのに対して、ピーク（１３０５）を被写体の移動量と判定するため、ピークからずれた位置にある被写体の動きベクトルが検出された領域（図１１の１２０２）が出てしまう。この領域を何も制御せずに撮影すると、この領域は画像がブレた状態で撮影されてしまう。

この現象は、図１３に示すように、遠近混合被写体において、遠被写体点から発した光が光学系を通過してセンサ結像面に結像する点１４０１と、近被写体点から発した光が光学系を通過してセンサ結像面に結像する点１４０２が、カメラもしくは被写体が移動する量１４０３に対して、遠被写体点の移動量１４０４よりも近被写体点の移動量１４０５の方が大きくなることに起因する。このような遠近混合被写体において、遠被写体点と近被写体点の移動量のズレをなくすためには、カメラがパンニングする角度変化に対して垂直の線に沿って、遠被写体点と近被写体点が回転運動しなくてはならない（図１４）。しかし、実際の撮影シーンではそのようなケースばかりでなく、カメラは回転角度変化だけでなくシフト移動もし、被写体もカメラの角度変化に対する垂直の線に沿って回転運動だけでなくシフト移動もする。

図１５に示すように、近被写体点までの距離がα、遠被写体点までの距離が２αの場合、センサ像面上の移動量はカメラもしくは被写体のシフト移動量に比例する形で大きくずれていく。更に、被写体が撮影者に近づいてくるようなケースにおいては、被写体のサイズ変化に伴う動きベクトルにズレも出てくる。このように、画面に占める被写体のサイズが大きくなってしまうようなケースでは上記複合要因によって被写体内の遠近点の動きベクトルに差ができてしまう。

このようなケースにおいて、本実施形態の流し撮りアシスト撮影では、被写体の一部だけ止めるのではなく、動きベクトルが検出された被写体の主な領域がセンサ面に結像する時に、それぞれ一つの画素に結像する最小錯乱円に収まるようにする。または、最小錯乱円に収まらず複数の画素にまたがって結像しても視覚上問題ない程度に抑える（被写体の主な領域のブレを抑える）。以下、このように撮影する方法について、図１６を参照して説明する。

上述したように、画面に占める被写体のサイズが大きく、遠近混合被写体で撮影者に近づいてくるような場合に検出される動きベクトルの量には分散がある。その動きベクトルから中心となるベクトルを算出するために、被写体の主となる動きベクトルを閾値によって検出する。次に検出した被写体の主となる動きベクトルの中心１６０１を計算する。その計算した中心からずれた動きベクトルは、この動きベクトルを算出するのに使った２枚の画像のサンプリング間隔を基本に中心からずれた最大の移動量が、上述したように許容される程度に小さくなるように露光時間（電荷蓄積時間）を以下のように計算する。

露光時間 ＝ ２枚の画像のサンプリング間隔(msec) ÷ 中心からのズレ最大値

このように、計算した被写体の主となる中心動きベクトルを使って補正するための移動量を計算し、それに合わせて中心動きベクトルからのズレを小さくすように露光時間を設定して流し撮りアシストを実行する。これにより、被写体の一部を止めるだけでなく、動きベクトルが検出された被写体の主な領域の手ブレを抑制することが可能となる（図１７）。なお、露光時間の算出は上記式による方法に限るものではなく、中心からずれた最大の移動量が許容される程度に小さくなるように、ズレ最大値を許容値により割った値により、除しても良い。
次に、図１８を参照して、第１の本実施形態における流し撮りアシスト撮影について説明する。この処理は、図６及び図７に示す処理と並行して所定周期で行われ、図７のＳ２０６で流し撮りアシストが許可された場合に、図６のＳ１１２において、ここで設定される内容に基づいて、撮影が行われる。流し撮りアシスト処理を開始すると、Ｓ２１０１で動きベクトル検出部１４１において動きベクトルを検出する。次にＳ２１０２で、角速度センサ１１１から角速度を取得する。次にＳ２１０３で被写体までの距離を、合焦した時のフォーカスレンズ群１０３の位置から計算して取得する（距離取得）。なお、被写体距離は、位相差ＡＦから得ても良い。

次にＳ２１０４で被写体を検出するのに必要な最低限の動きベクトルの数があるかどうか（閾値以上か）判断する。被写体を判定するのに必要な動きベクトルが足りない（閾値未満の）場合は、Ｓ２１０７に進み、光学流し撮りアシスト撮影を行わずに通常モードで撮影を行うべく、図３のＳ１０の処理に進む。

一方、被写体を判定するのに必要な動きベクトルが足りた（閾値以上の）場合は、Ｓ２１０５で、被写体までの距離が予め決められた距離Ｄより近いか判定する。被写体までの距離が距離Ｄ以上の場合は、Ｓ２１０６に進み、光学手ブレ補正による流し撮りアシスト撮影を行うべく、図５のＳ２０の処理に進む。

被写体までの距離が距離Ｄよりも近い場合は、Ｓ２１０８において、予め決められた閾値を超えた度数の動きベクトルが複数あるか判定する。予め決められた閾値を超えた度数の動きベクトルが複数無い場合には、Ｓ２１０６に進み、光学手ブレ補正による流し撮りアシスト撮影を行うべく、図５のＳ２０の処理に進む。一方、閾値を超えた度数の動きベクトルが複数ある場合は、Ｓ２１０９で閾値を超えた動きベクトルの中心を計算する。次にＳ２１１０で計算した動きベクトルの中心と、閾値を超えた度数の動きベクトルとの差分の最大値（画素値）を計算する。

次にＳ２１１１で動きベクトルの算出に使った２枚の画像間の時間を、Ｓ２１１０で算出した差分の最大値で割って、流し撮りアシスト撮影を実行する時の露光時間（電荷蓄積時間）を計算する。最後に、Ｓ２１１２において、Ｓ２１０９で計算した閾値を超えた動きベクトルの中心を使って光学補正に使う補正量を計算する。これにより、図６のＳ１１２では、Ｓ２１１２で計算した補正量を使って図５のＳ２５に示すように光学補正を行いつつ、Ｓ２１１１で計算した露光時間分だけ露光することにより、撮影を行う。露光時間を調整した場合、露光の不足分はＩＳＯ感度を調整することで対応する。

上記の通り、本第１の実施形態によれば、画面に占める被写体のサイズが大きく、撮影者に向かって近づいて来ているようなケースにおいても被写体の一部だけでなく、動きベクトルが検出された被写体の主な領域を止めることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、被写体の動きベクトルの判定に距離画像を用いるところが、第１の実施形態と異なる。距離画像は、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法や、像面位相差方式の撮像素子を用いるなど、従来より提案されている手法を用いて取得することができる（距離画像取得手段）。

次に図１９を参照して、第２の本実施形態における流し撮りアシスト撮影について説明する。流し撮りアシストを開始すると、Ｓ２２０１で動きベクトル検出部１４１において動きベクトルを検出する。次にＳ２２０２で、角速度センサ１１１から角速度を取得する。次にＳ２２０３で、距離画像を取得する。

次にＳ２２０４で被写体を検出するのに必要な最低限の動きベクトルの数があるかどう（閾値以上か）判断する。被写体を判定するのに必要な動きベクトルが足りない（閾値未満の）場合は、Ｓ２２０７に進み、光学流し撮りアシスト撮影を行わずに通常モードで撮影を行うべく、図３のＳ１０の処理に進む。

一方、被写体を判定するのに必要な動きベクトルが足りた（閾値以上の）場合は、Ｓ２２０５で、被写体までの距離が予め決められた距離Ｄより近いか判定する。被写体までの距離が距離Ｄ以上の場合は、Ｓ２２０６に進み、光学手ブレ補正による流し撮りアシスト撮影を行うべく、図５のＳ２０の処理に進む。

被写体までの距離が距離Ｄよりも近い場合は、Ｓ２２０８において、距離画像と動きベクトルとから、被写体領域から検出された動きベクトルを判定する。次にＳ２２０９で被写体領域から検出された動きベクトルの中心を計算する。次にＳ２２１０で計算した動きベクトルの中心からずれた、被写体領域の動きベクトルの差分の最大値（画素値）を計算する。

次にＳ２２１１で動きベクトルの算出に使った２枚の画像間の時間を、Ｓ２２１０で算出した差分の最大値で割って、流し撮りアシスト撮影を実行する時の露光時間（電荷蓄積時間）を計算する。最後に、Ｓ２２１２において、Ｓ２２０９で計算した被写体領域から検出された動きベクトルの中心を使って光学補正に使う補正量を計算する。これにより、図６のＳ１１２では、Ｓ２２１２で計算した補正量を使って図５のＳ２５に示すように光学補正を行いつつ、Ｓ２２１１で計算した露光時間分だけ露光することにより、撮影を行う。露光時間を調整した場合、露光の不足分はＩＳＯ感度を調整することで対応する。

上記の通り、本第２の実施形態においても、画面に占める被写体のサイズが大きく、撮影者に向かって近づいて来ているようなケースにおいても被写体の一部だけでなく、動きベクトルが検出された被写体の主な領域を止めることができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態では、距離画像を用いて画面に占める被写体サイズが大きいかどうかを判定するところが、上述した第１及び第２の実施形態と異なる。

図２０を参照して、第３の実施形態における流し撮りアシスト撮影について説明する。なお、図１９に示す処理とは、Ｓ２３０５の処理のみが異なるため、それ以外の処理には図１９と同じステップ番号を付し、説明を省略する。

Ｓ２３０５において、Ｓ２２０３で求めた距離画像から、画面に占める被写体のサイズの比率が予め決められた比率Ｒより大きいかどうか判定する。画面に占める被写体のサイズが比率Ｒ以下の場合は、Ｓ２２０６に進み、光学手ブレ補正による流し撮りアシスト撮影を行うべく、図５のＳ２０の処理に進む。一方、比率より大きい場合は、Ｓ２２０８以降の処理を行い、露光時間及び光学補正の補正量を求める。

上記の通り、本第３の実施形態においても、画面に占める被写体のサイズが大きく、撮影者に向かって近づいて来ているようなケースにおいても被写体の一部だけでなく、動きベクトルが検出された被写体の主な領域を止めることができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第４の実施形態では、距離画像を用いて被写体が遠近混合被写体かどうかを判定するところが、上述した第１乃至第３の実施形態と異なる。

図２１を参照して、第４の実施形態における流し撮りアシスト撮影について説明する。なお、図２１に示す処理は、図２０に示す処理に、Ｓ２４０１の処理を追加したものであるので、それ以外の処理には図２０と同じステップ番号を付し、説明を省略する。

画面に占める被写体のサイズの比率が比類Ｒより大きい場合は、Ｓ２４０８において距離画像から、被写体が遠近混合被写体か判定する。遠近混合被写体と判定されなかった場合は、Ｓ２２０６に進み、光学手ブレ補正による流し撮りアシスト撮影を行うべく、図５のＳ２０の処理に進む。一方、遠近混合被写体と判定された場合は、Ｓ２２０８以降の処理を行い、露光時間及び光学補正の補正量を求める。

上記の通り、本第４の実施形態においても、画面に占める被写体のサイズが大きく、撮影者に向かって近づいて来ているようなケースにおいても被写体の一部だけでなく、動きベクトルが検出された被写体の主な領域を止めることができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。図２２は、本第５の実施形態における撮像装置の構成を示すブロック図である。図１に示す撮像装置では、シフトレンズ群１０４をシフトさせることにより手ブレを補正したが、図２２に示す構成では、撮像素子９３４をドライバ９３２により光軸と垂直な方向にシフトすることで、手ブレを補正する。これに伴い、交換レンズ９００内にシフトレンズ群１０４が無い場合にも、手ブレ補正が可能となる。また、交換レンズ９００内に位置センサ１０６、アンプ１１５が不要になると共に、レンズマイコン１１３の手ブレ補正制御部１１７及び流し撮り制御部１１８が、カメラ本体９２０側に移っている。更に、角速度センサ９４１がカメラ本体９２０側に備わっている。

即ち、図２２において、撮像素子９３４の位置を位置センサ９３３が検出して、カメラマイコン９３１に送る。カメラマイコン９３１は、手ブレ補正制御部９５１及び流し撮り制御部９５２を含む。従って、図１の構成で交換レンズ１００の手ブレ補正制御部１１７及び流し撮り制御部１１８が行っていた処理は、カメラ本体９２０側の手ブレ補正制御部９５１及び流し撮り制御部９５２により行われる。

このような構成を有する撮像装置においても、シフトレンズ群１０４の代わりに撮像素子９３４を制御することで、上述した第１〜第４の実施形態で説明した処理を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

１０４：シフトレンズ群、１０６，９３３：位置センサ、１１１，９４１：角速度センサ、１１３，９１１：レンズマイコン、１１７，９５１：手ブレ補正制御部、１１８,９５２：流し撮り制御部、１２２，９３４：撮像素子、１３２，９３１：カメラマイコン、１３３：シャッタドライバ、１４１：動きベクトル検出部、１４２：被写体検出部、１４３：ベクトル判定部、１５１：シャッタ制御部、１５２：被写体角速度算出部：１５３：流し撮り判定部、９３２：ドライバ

Claims (15)

1. 装置の動き情報を取得する動き情報取得手段と、
   撮像手段により被写体を撮像して得られた画像信号から、連続した２枚の画像間の動きベクトルを検出するベクトル検出手段と、
   前記ベクトル検出手段により検出された前記動きベクトルのうち、前記画像における被写体領域の前記動きベクトルの分布と、前記２枚の画像間の時間に基づいて、前記撮像手段で次の撮像を行う際の電荷蓄積時間を求める取得手段と、
   前記動き情報と、前記被写体領域の前記動きベクトルの分布に基づいて、前記画像の像ブレを補正する補正量を算出する算出手段と、を有し、
   前記取得手段は、前記被写体領域の前記動きベクトルの分布の中心と、前記被写体領域の前記動きベクトルそれぞれとの差分の最大値により、前記２枚の画像間の時間を割ることにより、前記電荷蓄積時間を求めることを特徴とする像ブレ補正装置。
2. 装置の動き情報を取得する動き情報取得手段と、
   撮像手段により被写体を撮像して得られた画像信号から、連続した２枚の画像間の動きベクトルを検出するベクトル検出手段と、
   前記ベクトル検出手段により検出された前記動きベクトルのうち、前記画像における被写体領域の前記動きベクトルの分布と、前記２枚の画像間の時間に基づいて、前記撮像手段で次の撮像を行う際の電荷蓄積時間を求める取得手段と、
   前記動き情報と、前記被写体領域の前記動きベクトルの分布に基づいて、前記画像の像ブレを補正する補正量を算出する算出手段と、を有し、
   前記取得手段は、前記被写体領域の前記動きベクトルの分布の中心と、前記被写体領域の前記動きベクトルそれぞれとの差分の最大値を許容値により除した値により、前記２枚の画像間の時間を割ることにより、前記電荷蓄積時間を求めることを特徴とする像ブレ補正装置。
3. 前記取得手段は、前記動き情報と、前記被写体領域の前記動きベクトルの分布の中心との差が、予め決められた閾値よりも大きい場合に、前記電荷蓄積時間を求めることを特徴とする請求項１または２に記載の像ブレ補正装置。
4. 前記算出手段は、前記動き情報と、前記被写体領域の前記動きベクトルの分布の中心との差が、予め決められた閾値よりも大きい場合に、前記差に基づいて、前記補正量を算出することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
5. 前記予め決められた閾値は、画角に応じて決められることを特徴とする請求項３または４に記載の像ブレ補正装置。
6. 被写体までの距離を取得する距離取得手段を更に有し、
   前記取得手段は、前記被写体までの距離が予め決められた距離より近い場合に前記電荷蓄積時間を求めることを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。
7. 距離画像を取得する距離画像取得手段を更に有し、
   前記取得手段は、前記距離画像に基づいて、前記ベクトル検出手段により検出された前記動きベクトルのうち、前記被写体領域の前記動きベクトルを判定することを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。
8. 前記取得手段は、前記距離画像に基づいて、前記被写体までの距離が予め決められた距離より近い場合に、前記電荷蓄積時間を求めることを特徴とする請求項７に記載の像ブレ補正装置。
9. 前記取得手段は、前記距離画像に基づいて、前記被写体が画像に占める比率が予め決められた比率よりも大きい場合に、前記電荷蓄積時間を求めることを特徴とする請求項７に記載の像ブレ補正装置。
10. 前記取得手段は、前記距離画像に基づいて、更に、前記被写体が遠近混合被写体であると判断した場合に、前記電荷蓄積時間を求めることを特徴とする請求項８に記載の像ブレ補正装置。
11. 前記被写体からの光を前記撮像手段に結像する撮像光学系に含まれ、光軸に対して異なる方向に移動するための像ブレ補正レンズを更に有し、
    前記補正量により前記像ブレ補正レンズを駆動することにより、像ブレを補正することを特徴とする請求項１乃至１０のいずれか１項に記載の像ブレ補正装置。
12. 被写体を撮像して画像信号を出力する撮像手段と、
    請求項１乃至１１のいずれか１項に記載の像ブレ補正装置と
    を有することをと特徴とする撮像装置。
13. 前記補正量により、前記撮像手段に含まれる撮像素子を光軸に対して異なる方向に移動することにより、像ブレを補正することを特徴とする請求項１２に記載の撮像装置。
14. 動き情報取得手段が、装置の動き情報を取得する動き情報取得工程と、
    ベクトル検出手段が、撮像手段により被写体を撮像して得られた画像信号から、連続した２枚の画像間の動きベクトルを検出するベクトル検出工程と、
    取得手段が、前記ベクトル検出工程で検出された前記動きベクトルのうち、前記画像における被写体領域の前記動きベクトルの分布と、前記２枚の画像間の時間に基づいて、前記撮像手段で次の撮像を行う際の電荷蓄積時間を求める取得工程と、
    算出手段が、前記動き情報と、前記被写体領域の前記動きベクトルの分布に基づいて、前記画像の像ブレを補正する補正量を算出する算出工程と、を有し、
    前記取得工程では、前記被写体領域の前記動きベクトルの分布の中心と、前記被写体領域の前記動きベクトルそれぞれとの差分の最大値により、前記２枚の画像間の時間を割ることにより、前記電荷蓄積時間を求めることを特徴とする像ブレ補正方法。
15. 動き情報取得手段が、装置の動き情報を取得する動き情報取得工程と、
    ベクトル検出手段が、撮像手段により被写体を撮像して得られた画像信号から、連続した２枚の画像間の動きベクトルを検出するベクトル検出工程と、
    取得手段が、前記ベクトル検出工程で検出された前記動きベクトルのうち、前記画像における被写体領域の前記動きベクトルの分布と、前記２枚の画像間の時間に基づいて、前記撮像手段で次の撮像を行う際の電荷蓄積時間を求める取得工程と、
    算出手段が、前記動き情報と、前記被写体領域の前記動きベクトルの分布に基づいて、前記画像の像ブレを補正する補正量を算出する算出工程と、を有し、
    前記取得工程では、前記被写体領域の前記動きベクトルの分布の中心と、前記被写体領域の前記動きベクトルそれぞれとの差分の最大値を許容値により除した値により、前記２枚の画像間の時間を割ることにより、前記電荷蓄積時間を求めることを特徴とする像ブレ補正方法。