JP7058945B2 - 像ブレ補正装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は、画像ブレを補正する像ブレ補正装置およびその制御方法、撮像装置に関する。

流し撮りは被写体の躍動感を表現する撮影技術のひとつであり、動いている被写体を撮影するときに、被写体を追いながら通常よりも遅いシャッタ速度で撮影する手法である。背景が流れ、被写体は静止している画像が得られるので、スピード感あふれる写真を撮影できる。しかし流し撮りでは長秒撮影を行うので、露光期間中に被写体の移動速度とカメラを移動させる速度とを合わせることが初心者には難しい。

流し撮りを簡単に実現するために、特許文献１では、被写体の移動速度とカメラを移動させる速度との差分を検出し、速度の差分に相当するズレ量を、シフトレンズの移動により補正する方法が開示されている。撮影直前には、カメラ内の角速度センサで被写体を追っているカメラのパンニングに対する角速度が検出され、同時に撮像面上の画像から動きベクトルが検出される。パンニングの角速度と動きベクトルから背景と主被写体のベクトルを分離し、主被写体の動きベクトルから被写体の角速度を算出する処理が行われる。露光中には、算出した主被写体の角速度と、カメラ内の角速度センサ出力との差分量に従ってシフトレンズを移動させることで、主被写体の速度とカメラのパンニング速度との差を補正し、流し撮りの対象である主被写体の像ブレを抑制可能である。以下では、流し撮りを支援する機能を「流し撮りアシスト」という。

ここで、重要になるのが、被写体の角速度、すなわち、撮影者が狙っている被写体の画像を止めるために撮影者が被写体の動きに合わせてカメラのパンニング操作を行うときの角速度をより正確に求めることである。角速度に誤差が生じると、シフトレンズを用いた像ブレ補正に誤差が発生する。その誤差分がブレ残りとして画像に現れる可能性がある。

特開２０１６－１３６２４２号公報

特許文献１に開示された従来技術では、ブレ検出部からの出力にオフセットが加算されてしまうと、主被写体の速度とカメラのパンニング速度との差がオフセット分ずれるため、ブレ残りが画像に現れる。その原因は、一般的にブレ検出に用いられる角速度センサの場合、個体差によるばらつきや温度変化等によって生じるオフセットとドリフトの影響があり、検出出力に大きなオフセット成分が加算される可能性があることによる。
本発明は、振れの角速度情報と動きベクトルを用いて被写体の角速度を算出し、被写体の画像ブレを精度良く補正することを目的とする。

本発明の一実施形態の像ブレ補正装置は、交換レンズの撮像光学系を通して撮像装置の撮像素子により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置であって、前記撮像装置が有する第１の検出手段および前記交換レンズが有する第２の検出手段によりそれぞれ検出される振れに係る第１および第２の角速度情報、および、前記撮像素子により撮像された複数の画像から算出される動きベクトルを取得する取得手段と、前記像ブレ補正手段によって前記被写体の画像ブレを抑制する制御を行う制御手段と、を備え、前記制御手段は、取得した前記動きベクトルから度数分布を生成し、生成された前記度数分布と前記第１の角速度情報を用いて被写体を特定し、前記被写体の動きベクトルと前記第２の角速度情報を用いて前記像ブレ補正装置に対する被写体の角速度を算出して前記像ブレ補正手段を制御し、前記第１の角速度情報を用いて、パンニングまたはチルティングの動作が行われたか否かを判定する。

本発明の像ブレ補正装置によれば、振れの角速度情報と動きベクトルを用いて被写体の角速度を算出し、被写体の画像ブレを精度良く補正することができる。

本実施形態の撮像装置の構成例を示すブロック図である。 本実施形態における手ブレ補正制御および流し撮り制御の構成図である。 パンニング制御のフローチャートである。 パンニング判定処理の説明図である。 カメラ制御部の要部の構成を示すブロック図である。 流し撮りアシストモード時の処理を説明するフローチャートである。 第１実施例の主被写体角速度の算出を説明するフローチャートである。 移動量の度数分布を示す図である。 角速度から像面上の移動量を算出する処理の説明図である。 角速度データのサンプル例を示す図である。 第２実施例の主被写体角速度の算出を説明するフローチャートである。 角速度センサの選択処理を説明するフローチャートである。 静止時の移動量の度数分布を示す図である。 第３実施例の主被写体角速度の算出を説明するフローチャートである。

本発明の好ましい実施形態について、第１乃至第３実施例にしたがって説明する。各実施例では被写体ブレおよび手ブレに係る補正機能を有する撮像装置として、レンズ装置をカメラ本体部に装着可能なレンズ交換式撮像システムを説明する。

［第１実施例］
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。交換レンズ１００とカメラ本体部１２０を備える撮像システムの例を説明する。交換レンズ１００の撮影レンズユニット１０１は、主撮像光学系１０２、焦点距離を変更可能なズームレンズ群１０３、およびシフトレンズ群１０４を備える。シフトレンズ群（以下、単にシフトレンズともいう）１０４は光軸と垂直な方向に移動する補正レンズ群である。シフトレンズ群１０４は被写体からの光の結像位置を変更することにより、撮像装置の振れによる光軸に対する画像ブレを光学的に補正する。

交換レンズ１００はズームエンコーダ１０５、位置センサ１０６、レンズ角速度センサ１１１を備える。ズームエンコーダ１０５はズームレンズ群１０３の位置を検出する。位置センサ１０６はシフトレンズ群１０４の位置を検出する。レンズ角速度センサ１１１は交換レンズ１００の振れを検出する振れ検出手段の一例であり、振れ検出信号を出力する。アンプ１１２はレンズ角速度センサ１１１の出力を増幅する。

レンズ制御部１１３はレンズシステム制御用のマイクロコンピュータを備える。レンズ制御部１１３は、ドライバ１１４を介してシフトレンズ群１０４の駆動制御を行う。アンプ１１５は、シフトレンズ群１０４の位置センサ１０６の出力を増幅し、位置検出信号をレンズ制御部１１３に出力する。

交換レンズ１００はマウント接点部１１６を有し、カメラ本体部１２０のマウント接点部１６１と接続される。レンズ制御部１１３は、第１および第２の制御部を備える。第１の制御部は、手ブレ補正制御を行う手ブレ補正制御部１１７である。第２の制御部は、流し撮りアシスト用の制御を行う流し撮り制御部１１８である。レンズ制御部１１３はその他にもフォーカスレンズの移動による焦点調節制御や絞り制御等も行うが、図示上の簡略化のため省略する。また、手ブレ補正制御部１１７による手ブレ補正では、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正が行われるが、２軸に関して同じ構成であるため、１軸分のみ説明する。

カメラ本体部１２０は、露光時間を制御するためのシャッタ１２１を備える。撮像素子１２２は、例えばＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等であり、撮像光学系を通して結像される被写体からの光を受光し、光電変換により電気信号を出力する。アナログ信号処理回路（ＡＦＥ）１２３は、撮像素子１２２の出力信号を処理してカメラ信号処理回路１２４に供給する。

カメラ信号処理回路１２４は動きベクトル検出部１４１と表示更新部１４４を備え、メモリカード１７１、ＲＡＭ（Random Access Memory）１８１、ＲＯＭ（Read Only Memory）１８２が接続されている。動きベクトル検出部１４１は、撮像素子１２２の出力信号に基づいて被写体の動きを検出する。表示更新部１４４は、所定の更新間隔でライブビュー画像の表示更新を行う。表示部１７２は、画像を表示する液晶パネル等の表示デバイスを備える。タイミングジェネレータ（ＴＧ）１２５は、撮像素子１２２やアナログ信号処理回路１２３の動作タイミングを設定する。

操作部１３１は、電源スイッチ、レリーズスイッチ、切り替えスイッチ等を備える。レリーズスイッチは、レリーズボタンの半押し操作により第１スイッチ（ＳＷ１と記す）がオンとなり、全押し操作により第２スイッチ（ＳＷ２と記す）がオンとなる操作スイッチである。半押し操作時のＳＷ１信号によりＡＦ（自動焦点調節）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理等の撮影準備動作が開始される。全押し操作時のＳＷ２信号により、撮像、現像、記録という一連の撮影動作が開始される。また、ユーザは切り替えスイッチを操作して、流し撮りを支援する流し撮りアシストモードに設定可能である。

カメラ制御部１３２は、カメラシステム制御用のマイクロコンピュータを備え、撮像システムの各構成部を制御する。カメラ制御部１３２は、シャッタ制御部１５１、被写体角速度算出部１５２、流し撮り判定部１５３、カメラ角速度取得部１５４を備える。シャッタ制御部１５１はドライバ１３３を介してシャッタ駆動用モータ１３４を制御し、シャッタ１２１の動作を制御する。被写体角速度算出部１５２は主被写体の角速度を算出する。主被写体とは複数の被写体から特定される主要な被写体である。流し撮り判定部１５３は、流し撮りの判定処理を行う。カメラ角速度取得部１５４は、カメラ本体部１２０の振れの角速度検出情報を取得する。カメラ角速度センサ１３５はカメラ本体部１２０の振れの角速度を検出し、アンプ１３６はカメラ角速度センサ１３５の出力を増幅する。カメラ角速度取得部１５４はアンプ１３６から角速度検出信号を取得する。

メモリカード１７１は、撮影された映像の信号を記録するための記録媒体である。表示部１７２は、ユーザがカメラで撮影しようとしている画像のモニタ表示を行い、また撮影された画像を画面に表示する。

カメラ本体部１２０は、交換レンズ１００とのマウント接点部１６１を備える。レンズ制御部１１３とカメラ制御部１３２は、マウント接点部１１６および１６１を介して所定のタイミングでシリアル通信を行う。

図１の撮像システムにおいて、ユーザが操作部１３１の電源スイッチを操作し、カメラの電源がＯＮすると、その状態変化をカメラ制御部１３２が検出する。カメラ制御部１３２は、カメラ本体部１２０の各回路への電源供給および初期設定を行う。また、交換レンズ１００への電源供給が行われ、レンズ制御部１１３は交換レンズ１００内の初期設定を行う。カメラ制御部１３２とレンズ制御部１１３とが通信可能な状態となった後、両者の間で所定のタイミングで通信が開始される。カメラ制御部１３２からレンズ制御部１１３への通信では、カメラの状態、撮影設定情報等が送信される。またレンズ制御部１１３からカメラ制御部１３２への通信では、交換レンズ１００の焦点距離情報、角速度情報等が送信される。

ユーザは操作部１３１の切り替えスイッチを操作することにより、通常モードと流し撮りアシストモードを変更することができる。通常モードとは、流し撮りアシストモードの設定が行われていないモードである。流し撮りアシストモードが設定されると、カメラ制御部１３２は、流し撮りアシスト用の制御に切り替わる。流し撮りアシストモードが設定されたことを示す情報がカメラ制御部１３２からレンズ制御部１１３へ送信され、レンズ制御部１１３は流し撮りアシストモードに移行する。

流し撮りアシストモード時のカメラ本体部１２０では、一定のフレームレートで撮像される映像情報から動きベクトルの検出処理が行われる。カメラ信号処理回路１２４内の動きベクトル検出部１４１は検出した被写体の動きベクトルのデータをカメラ制御部１３２へ出力する。同時にカメラ制御部１３２は、交換レンズ１００内のレンズ角速度センサ１１１により検出されたレンズ角速度データをレンズ制御部１１３から受信する。カメラ制御部１３２内のカメラ角速度取得部１５４は、カメラ角速度センサ１３５により検出されたカメラ角速度データを取得する。さらに、カメラ信号処理回路１２４は映像情報に対して現像処理等を施して画像データをＲＡＭ１８１に一旦出力する。カメラ信号処理回路１２４内の表示更新部１４４は、同期信号に対応する更新間隔でＲＡＭ１８１上の画像データを読み込んで表示部１７２へ出力し、ライブビュー画像の表示更新を行う。

交換レンズ１００から受信したレンズ角速度データ、およびカメラ角速度センサ１３５により取得されるカメラ角速度データは、ともに撮像装置の流し撮り速度に対応している。いずれの角速度データについても、主被写体の像面上の移動量および交換レンズ１００の現在の焦点距離から算出される角速度との差分を算出すると、その算出結果は撮像装置に対する主被写体の被写体角速度データに相当する。カメラ制御部１３２は算出した主被写体の被写体角速度データを、レンズ制御部１１３に送信する。

カメラ制御部１３２において、流し撮り判定部１５３はレンズ制御部１１３から受信したレンズ角速度データ、およびカメラ角速度センサ１３５から取得したカメラ角速度データを積分して、角度データとして保持しておくことができる。また流し撮り判定部１５３は、所定のタイミングで保持しておいた積分データをリセットすることもできる。これにより、ユーザが流し撮りを行う際に、所定のタイミングを起点としたカメラの角度変位を取得できる。

図２は、交換レンズ１００内のシフトレンズの駆動制御に関する構成図である。図１と共通の構成要素については使用済みの符号を付すことで、それらの詳細な説明を省略する。

まず、手ブレ補正制御部１１７の構成を説明する。Ａ／Ｄ変換器４０１は、レンズ角速度センサ１１１で検出された振れ信号をアンプ１１２から取得し、アナログ信号からデジタル信号に変換する。レンズ角速度センサ１１１の出力のデータサンプリングは１～１０ｋＨｚ程度で行われる。フィルタ演算部４０２はハイパスフィルタ（ＨＰＦ）等で構成される。フィルタ演算部４０２はレンズ角速度センサ１１１の出力に含まれているオフセット成分を除去し、またカットオフ周波数を変更することでパンニング対策用の処理を行う。第１の積分器４０３はフィルタ演算部４０２の出力する角速度データを取得し、シフトレンズの駆動目標データを生成するために角速度データを積分して角変位データに変換する。第１の積分器４０３の出力は切り替え部４０７に送られる。

Ａ／Ｄ変換器４０６はアンプ１１５の出力を取得し、位置センサ１０６による位置検出信号をデジタルデータに変換する。加算器４０４は切り替え部４０７の出力を正入力とし、Ａ／Ｄ変換器４０６の出力を負入力として、加算処理を行う。つまり、シフトレンズの駆動目標値から現在のシフトレンズ位置を減算することにより、シフトレンズの実際の駆動データが算出される。本明細書中では減算を負値の加算として加算器が行うものとする。ＰＷＭ出力部４０５は、加算器４０４の出力を取得し、パルス幅変調処理によって算出した駆動量データをシフトレンズ駆動用のドライバ１１４に出力する。

切り替え部４０７は、第１の積分器４０３の出力、または、後述する第２の積分器６０５の出力を選択し、加算器４０４へ出力するデータを切り替える。パンニング制御部４０８はＡ／Ｄ変換器４０１の出力を取得し、角速度データの状態からカメラのパンニング動作が行われたかどうかを判定する。パンニング動作が行われたことが判定された場合、パンニング制御部４０８はフィルタ演算部４０２のカットオフ周波数の変更制御と、第１の積分器４０３の出力調整を行う。本実施例ではパンニング制御を説明するが、撮影方向の違いを除いてチルティング制御の場合も同様である。図３のフロ－チャートを参照して、パンニング制御の例を説明する。

図３のＳ３０１でパンニング制御部４０８は、Ａ／Ｄ変換器４０１で取り込まれた角速度データの平均値を第１の閾値（以下、所定値αという）と比較する。角速度データの平均値は、所定のサンプリング回数分の平均値であり、所定値αよりも大きいかどうかの判定処理が行われる。角速度データの平均値が所定値α以下であると判定された場合には、パンニングが行われていないと判断され、Ｓ３０７の処理へ移行する。一方、角速度データの平均値が所定値αよりも大きいと判定された場合、Ｓ３０２の処理に進む。

Ｓ３０２においてパンニング制御部４０８は、角速度データの平均値を第２の閾値（以下、所定値βという）と比較する。所定値βの大さきは所定値αより大きいものとする。角速度データの平均値が所定値βより大きいかどうかの判定処理が行われる。角速度データの平均値が所定値β以下である場合、パンニング制御部４０８はゆっくりとしたパンニングが行われていると判断し、Ｓ３０６の処理へ移行する。また、角速度データの平均値が所定値βよりも大きい場合にパンニング制御部４０８は速いパンニングが行われていると判断し、Ｓ３０３の処理に進む。

Ｓ３０３でパンニング制御部４０８は、フィルタ演算部４０２内にあるＨＰＦのカットオフ周波数を最大値に設定し、Ｓ３０４で手ブレ補正制御を強制的にＯＦＦとする。この設定は、ＨＰＦのカットオフ周波数を高くすることでシフトレンズが徐々に停止するようにし、手ブレ補正制御をＯＦＦしたときの違和感をなくすために行われる。また、速いパンニング時は手ブレの大きさに対してパンニングによる移動量が非常に大きくなるので、手ブレ補正をＯＦＦすることで手ブレが残っても違和感はない。この設定を行わずに、ユーザによるパンニング操作時の振れに対してカメラが大きなブレとして補正しようとすると、パンニング開始時には画像が一時停止するが、その後にシフトレンズが補正端に到達した瞬間に突然画像が大きく動き出す。そのため、ユーザには非常に不自然な動きとして見えてしまうことになる。前記の設定により、このような現象の発生を抑制することができる。

Ｓ３０５では、第１の積分器４０３の出力を現在のデータから徐々に初期位置のデータに変更する制御が行われる。これにより、シフトレンズ群１０４は初期位置に向かって移動し、最終的に初期位置で停止する。これは、次回に手ブレ補正動作を再開する場合に、シフトレンズの位置が駆動範囲の初期位置にあることが望ましいためである。

Ｓ３０２で角速度データの平均値が所定値β以下であると判定された場合、つまり、ゆっくりとしたパンニングが行われていると判断された場合にＳ３０６へ進む。Ｓ３０６でパンニング制御部４０８は、角速度データの大きさに応じてＨＰＦのカットオフ周波数を設定する。その理由は、ゆっくりとしたパンニング動作が行われている場合には手ブレの影響を完全に無視することができないためである。Ｓ３０６の処理は、パンニング動作時の画像の追従性を不自然にならない程度に保ちながら、像ブレ補正を行うために必要な処理である。Ｓ３０６の処理後、Ｓ３０８の処理に進む。

Ｓ３０１で角速度データの平均値が所定値α以下であると判定された場合、つまり、パンニングが行われていないと判断された場合にＳ３０７へ進む。Ｓ３０７でパンニング制御部４０８はＨＰＦのカットオフ周波数を通常値（デフォルト値）に設定する。Ｓ３０８でパンニング制御部４０８は手ブレ補正制御の強制ＯＦＦ設定を解除する。

図４を参照して、パンニング動作を具体的に説明する。図４はパンニング動作時の横方向の角速度データと、所定値α、βとの関係を例示した図である。横軸は時間軸であり、縦軸は角速度データを表す。グラフ線５０１は角速度データ（サンプリングデータ）の時間変化を示す。この例では、右方向のパンニングの場合に＋方向の出力とし、左方向のパンニングの場合に－方向の出力とする。また角速度データの初期値をゼロとする。図４では、右方向への急激なパンニングと、左右方向のゆっくりとしたパンニングが検出される例を示す。右方向への急激なパンニングの期間では角速度データの大きさが所定値βを超えている。左方向または右方向へのゆっくりとしたパンニングの期間では角速度データの大きさが所定値αより大きく所定値βより小さい。

パンニング動作中は角速度データが初期値から大きく外れる。そのため、角速度データを積分してシフトレンズの駆動目標値を算出した場合、ＤＣ（直流）オフセット成分により、積分器の出力が非常に大きな値となり、制御不能状態に陥る可能性がある。そこで、パンニング動作が検出された場合にはＨＰＦのカットオフ周波数を高く変更することにより、ＤＣオフセット成分をカットすることが必要となる。急激なパンニングの場合には積分器の出力が増大するため、よりカットオフ周波数を上げる設定が行われる。特にパンニング速度が大きい場合、パンニング速度による画像の動きが手ブレに対して非常に大きくなる。このため、パンニング方向に関して手ブレ補正機能をＯＦＦとしても特に違和感は発生しない。以上のようにパンニング制御が行われることで、パンニング動作中でも違和感のない画像を取得することが可能となる。

次に図２を参照して、流し撮り制御部１１８の構成を説明する。レンズ制御部１１３内には、カメラ制御部１３２との双方向通信を行うための通信制御部６１０が設けられている。

カメラ情報取得部６０１は通信制御部６１０を介して、カメラ制御部１３２からカメラ情報を取得する。カメラ情報は流し撮りアシストモードの設定情報、レリーズ情報を含む。角速度データ出力部６０２は、所定のタイミングでレンズ角速度データのサンプリングを行い、Ａ／Ｄ変換器４０１から取得したレンズ角速度データをカメラ制御部１３２に送信する。

被写体角速度取得部６０３は通信制御部６１０を介して、カメラ制御部１３２から流し撮りアシストに必要な主被写体の被写体角速度データを取得する。加算器６０４はＡ／Ｄ変換器４０１からのレンズ角速度データを正入力とし、被写体角速度取得部６０３からの被写体角速度データを負入力として減算を行い、両データの差分を算出する。第２の積分器６０５は加算器６０４の出力に対して所定期間のみ積分動作を行い、積分後の角度データを切り替え部４０７に出力する。所定期間とは、カメラ情報取得部６０１で取得されたカメラ情報に含まれる露光期間である。設定変更部６０６はカメラ情報取得部６０１が取得したモード情報に応じて設定を変更するための信号をパンニング制御部４０８に出力する。

カメラ本体部１２０のスイッチ操作により、流し撮りアシストモードが設定されると、通信制御部６１０からのモード情報をカメラ情報取得部６０１が取得して設定変更部６０６に通知する。設定変更部６０６は通知されたモード情報に従い、パンニング制御部４０８の設定変更を行う。ここで行われる設定変更は、急激なパンニング状態に移行しやすくするための変更である。具体的には、前述のパンニング判定用の所定値βおよびαが変更される。

また、カメラ本体部１２０からレンズ制御部１１３へ送信される主被写体の被写体角速度データは、被写体角速度取得部６０３によって取得される。加算器６０４はレンズ角速度センサ１１１により検出された角速度データと、主被写体の被写体角速度データとの差分を計算して第２の積分器６０５へ出力する。第２の積分器６０５は、カメラ情報取得部６０１により取得された露光期間中を示す信号に応じて積分動作を開始し、当該期間にて積分演算を行い、露光期間中の積分演算結果を出力する。その他の期間では、第２の積分器６０５はシフトレンズの位置を中央位置とするための値を出力する。露光期間以外の期間ではシフトレンズをその可動範囲の中央位置に移動させる制御が行われるが、この場合、露光期間の終了時には現在のシフトレンズ位置から中央位置までシフトレンズが急峻に移動することになる。しかし、露光期間の終了直後は撮像素子１２２からの信号読み出しのために表示部１７２の画面上では画像が消失している期間内であり、シフトレンズの急峻な移動による画像の動きは問題とならない。

切り替え部４０７は、流し撮りアシストモードが設定されているときに第２の積分器６０５の出力を選択して加算器４０４に出力する。加算器４０４は切り替え部４０７の出力からシフトレンズの位置データを減算し、シフトレンズの駆動量を算出する。

流し撮りアシストモード時に撮影者が流し撮りを行うと、交換レンズ１００内では、パンニング制御部４０８が直ちに急なパンニング状態に対するパンニング制御を行い、手ブレ補正動作が禁止される。すなわち、シフトレンズ群１０４は、カメラのパンニング動作時のカメラ角速度と主被写体角速度との差分に対応した量を補正する。これにより、流し撮りの成功確率を高めることができる。流し撮りの失敗の原因としては、露光期間中のカメラのパンニング速度と被写体の移動速度との差分が顕著であることが挙げられる。本実施形態では、この差分がシフトレンズの移動によって低減され、その結果として流し撮りを成功させることができる。

流し撮りアシストモード設定が行われていない通常モード時には、切り替え部４０７が第１の積分器４０３の出力を選択する。この場合、レンズ角速度センサ１１１が手ブレ等によるカメラのブレを検出し、第１の積分器４０３の出力に基づいて加算器４０４がシフトレンズの駆動量を算出する。シフトレンズの移動により手ブレ等に対応した像ブレ補正動作が行われる。

図５は、カメラ角速度センサ１３５に関係する構成図である。図１と同様の構成要素には既に使用した符号を付している。まず、図５において、カメラ角速度取得部１５４の構成を説明する。

Ａ／Ｄ変換器７０１は、カメラ角速度センサ１３５により検出された振れ検出信号をアンプ１３６から取得してデジタル信号に変換する。オフセット調整部７０２はカメラ角速度センサ１３５の出力に含まれるオフセット成分に対して、調整値を使って補正を行う。ゲイン調整部７０３はカメラ角速度センサ１３５自身の感度によるばらつきを補正する。それぞれの調整値はＲＯＭ１８２にカメラ本体部１２０の製造工程において記録されている。オフセット成分の調整値は、カメラ本体部１２０を振動がない場所に設置した状態にてカメラ角速度センサ１３５の出力から算出されて、ＲＯＭ１８２に記録される。また感度ばらつきの調整値は、所定の振れを与える加揺台上にカメラ本体部１２０を設置した状態にて、カメラ角速度センサ１３５の出力のゲインを規格値に入るように調整した値として算出されてＲＯＭ１８２に記録される。

オフセット調整およびゲイン調整により補正されたカメラ角速度センサ１３５の出力は、被写体角速度算出部１５２や流し撮り判定部１５３へ送られる。被写体角速度算出部１５２は、カメラ角速度センサ１３５の出力を取得し、レンズ角速度センサ１１１の出力を流し撮り判定部１５３から取得して被写体角速度データを算出する。なお、カメラ角速度センサ１３５は、温度変化や経時変化によって出力特性が変わることがある。よって、ＲＯＭ１８２に記録されている調整値はそれぞれ１つの値ではなく、温度等の条件に応じて調整値を切り替えられるようにテーブルデータとして保持する構成としてもよい。

図６は、流し撮りアシストモード時の撮影動作を説明するフローチャートである。以下の処理はカメラ制御部１３２の制御下で行われる。Ｓ２０１はレリーズボタンの半押し操作により第１スイッチＳＷ１がオンになったかどうかの判定処理である。カメラ制御部１３２は半押し操作を検出するとＳ２０２の処理へ進め、半押し操作が検出されない場合にはＳ２０３の処理へ移行する。Ｓ２０２で時間計測カウンタのインクリメントが行われ、Ｓ２０４に進む。また、Ｓ２０３では時間計測カウンタのリセットが行われた後、Ｓ２０１に戻る。

Ｓ２０４でカメラ制御部１３２は、主被写体の角速度がすでに算出されているかどうか判定する。主被写体の角速度が算出されている場合、Ｓ２０５の処理に進み、主被写体の角速度が算出されていない場合にはＳ２０６の処理へ移行する。

Ｓ２０５でカメラ制御部１３２は時間計測カウンタの値が所定時間（Ｔと記す）になっているかどうかを判定する。所定時間Ｔは判定用の閾値時間である。時間計測カウンタの計数値が所定時間Ｔより大きい場合、つまり所定時間Ｔが経過している場合、Ｓ２０６の処理に進む。また所定時間Ｔが経過していない場合にはＳ２０８の処理に進む。

Ｓ２０６でカメラ制御部１３２は主被写体の角速度を算出する。ここで、主被写体の角速度を算出し直す理由は、時間経過に伴って主被写体の速度が変化する場合に対応する必要性のためである。Ｓ２０６で算出された主被写体の被写体角速度は、算出ごとにレンズ制御部１１３へと送信される。主被写体角速度の算出処理ついては、図７を用いて後述する。

Ｓ２０７でカメラ制御部１３２は、被写体角速度算出部１５２により取得された過去の数フレーム分の被写体角速度を用いて角加速度を算出する。ユーザがレリーズボタンを半押し操作した時点から露光開始時点までのタイムラグ分を加味して、露光時の被写体角速度の算出処理が行われ、被写体角速度が決定される。Ｓ２０８でカメラ制御部１３２は、レリーズボタンの全押し操作により第２スイッチＳＷ２がオンになったかどうかを判定する。Ｓ２０８でレリーズボタンの全押し操作が行われていないと判定された場合、Ｓ２０１へ戻る。またＳ２０８でレリーズボタンの全押し操作が行われたと判定された場合、Ｓ２０９の処理に進む。

Ｓ２０９でカメラ制御部１３２は、露光を開始させるためにシャッタ制御部１５１を介してシャッタ制御を行う。Ｓ２１０では、流し撮り制御部１１８と手ブレ補正制御部１１７とが連携してシフトレンズ群１０４を移動させることにより、被写体に対する像ブレ補正を行う。Ｓ２１１でカメラ制御部１３２は露光完了の判定処理を行う。露光が完了したと判定された場合、Ｓ２１２の処理に進み、未完了と判定された場合にはＳ２１０の処理に戻る。Ｓ２１２でカメラ制御部１３２は、レリーズボタンの全押し操作により第２スイッチＳＷ２がオンになったかどうかを判定する。Ｓ２１２でレリーズボタンの全押し操作が行われたと判定された場合、Ｓ２０９へ戻り、次の撮影を開始する。Ｓ２１２でレリーズボタンの全押し操作が行われていないと判定された場合、Ｓ２０１へ戻る。

次に、図７のフローチャートを参照して、図６のＳ２０６の主被写体角速度の算出処理について説明する。本発明の実施形態では、流し撮りアシスト機能において、動きベクトル量と角速度センサの出力値との比較によって、背景と主被写体とを判別する。この場合、角速度センサの出力にオフセット成分が加算されてしまうと、主被写体と背景とを正しく判別できない可能性がある。そこで、被写体抽出処理と被写体角速度の算出処理においてそれぞれ好適な角速度情報を用いて流し撮り角速度を算出することで、流し撮りアシスト機能の精度を向上させることができる。以下の処理は被写体角速度算出部（以下、単に算出部という）１５２が実行し、動きベクトル検出部１４１から取得した被写体の動きベクトルに基づいて被写体の角速度を決定する。本処理は算出部１５２が動きベクトル検出部１４１から動きベクトルを取得すると開始される。

Ｓ６０１で算出部１５２は、レンズ角速度センサ１１１とカメラ角速度センサ１３５からそれぞれの角速度検出信号が取得済みであるかどうかを判定する。角速度検出信号が取得済みでないと判定された場合、処理を終了する。また角速度検出信号が取得済みであると判定された場合にはＳ６０２の処理へ進む。

Ｓ６０２で算出部１５２は、取得された動きベクトルから移動量に関するヒストグラムを生成する。図８を参照してヒストグラムの例を説明する。ヒストグラムの横軸は移動量を表し、縦軸は出現頻度を表す。ここで、出力される移動量は、撮影者が撮影しようとしている主被写体に対応した移動量と、流れている背景に対応した移動量を含んでいる。

Ｓ６０３で算出部１５２は、カメラ角速度センサ１３５から取得した角速度検出情報と、Ｓ６０２で生成されたヒストグラムに基づいて主被写体の抽出処理を行う。ここでは、カメラ本体部１２０は個体ごとに常に好適な角速度センサ出力が得られるように製造過程で調整されているため、レンズ角速度センサ１１１よりもオフセットの影響の少ないカメラ角速度センサ１３５の出力が用いられる。次に算出部１５２は取得された角速度から像面上の移動量を算出する。算出方法について、図９を用いて説明する。

図９は被写体がｔ秒の期間に点Ａから点Ｂへ移動し、それに応じて撮像素子上に結像した被写体像が点Ｃから点Ｄへと移動したことを示す模式図である。使用する諸量の定義は以下のとおりである。［］内に単位を示す。
ν［ｐｉｘｅｌ］：点Ｃと点Ｄとの距離
ｆ［ｍｍ］ ：撮像光学系の焦点距離
ｐ［μｍ／ｐｉｘｅｌ］：撮像素子の画素ピッチ
ω［ｒａｄ／ｓｅｃ］：像面上の被写体の角速度
ω_ｐ［ｒａｄ／ｓｅｃ］：カメラのパンニング角速度
ν_ｐ[pixel]：像面上の移動量

像面上の被写体の角速度ωは、下記式１で表わされる。なお、tanは正接関数である。

カメラのパンニング角速度ω_ｐから、パンニングによる像面上の移動量ν_ｐを、下記式２によって算出することができる。

背景の移動量を、式２を用いて像面上の角速度に変換すると、変換後の角速度はパンニング角速度ω_ｐと一致する。この関係からヒストグラム中で被写体に対応する移動量と背景に対応する移動量とを分離することができる。具体的には図８の度数分布において二つのピーク（出現頻度のピーク）は、第１のデータ群８０１と第２のデータ群８０２にそれぞれ現れる。カメラ本体部１２０の角速度に一致する方のデータ群は第２のデータ群８０２であり、算出部１５２はデータ群８０２を背景に対応する移動量のデータ群と判定する。第１のデータ群８０１は主被写体に対応する移動量のデータ群と判定される。

図７のＳ６０４で算出部１５２は、レンズ角速度センサ１１１の角速度検出情報に基づいて主被写体の角速度を算出する。主被写体の角速度はレンズ角速度センサ１１１によるパンニング角速度を用いて算出されるが、その理由は、上述の通り、レンズ角速度センサ１１１の角速度検出情報に基づいてシフトレンズの補正量が決定されるからである。レンズ角速度センサ１１１の検出出力に対して主被写体の角速度を算出することで、像ブレ補正の精度を向上させることができる。

主被写体の角速度は、図９に示すように主点を中心とした角速度として算出される。像面上の被写体の角速度ω［ｒａｄ／ｓｅｃ］は、下記式３で表わされる。tan^-1（）は逆正接関数である。

カメラ本体部１２０のパンニングが行われた場合、像面上の被写体の角速度ωは、下記式４により算出される。式４にて、主被写体自身の角速度（以下、主被写体角速度という）をω_sと表記すると、主被写体角速度ω_sからパンニング角速度ω_ｐを減算することで、像面上の被写体の角速度ωが算出される。

したがって、下記式５により、レンズ角速度センサ１１１によって検出されたパンニング角速度ω_ｐを像面上の被写体の角速度ωに加算することで、主被写体角速度ω_sが求まる。

なお、主被写体角速度の計算方法は上記の方法に限定されない。例えば、あらかじめ操作部１３１により指定された値を使用することも可能である。

図７のＳ６０５でカメラ制御部１３２は、カメラのパンニング動作が行われているかどうかを判定する。図１０（Ａ）を参照して、具体例を説明する。図１０（Ａ）は、ある時間（Ｔ［秒］と表記する）内の角速度データ１２０１のサンプル例を示す。横軸は時間軸であり、縦軸は角速度（単位：degree per second）を表す。この例では、上方向への移動時に＋方向の出力と定義し、下方向への移動時に－方向の出力と定義する。時間Ｔは、例えば２０フレーム分に相当する時間であり、算出部１５２は時間Ｔ内での角速度データ１２０１の最大値ｍａｘと最小値ｍｉｎとの差分値を、所定の閾値と比較する。所定の閾値は、例えば十数ｄｐｓである。差分値が閾値以上である場合、手ブレ等の振幅運動があったと判断され、図７のＳ６０７へ処理を進める。一方、差分値が閾値未満である場合には図７のＳ６０６へ処理を進める。

Ｓ６０６では、流し撮りアシスト用の処理が実行され、この場合には主被写体の像ブレ補正が行われる。また、Ｓ６０７では、手ブレ等に対する像ブレ補正処理が実行される。この場合、流し撮りアシストの制御は行われない。Ｓ６０６、Ｓ６０７の処理後にリターン処理へ移行する。

本実施例では、カメラ角速度センサ１３５の角速度検出信号と、レンズ角速度センサ１１１の角速度検出信号の両方を使用する。オフセットの影響がより少ないカメラ本体部１２０のカメラ角速度センサ１３５による角速度情報を使って主被写体の抽出処理が行われる。そしてレンズ角速度センサ１１１による角速度情報を使って主被写体角速度の算出処理が実行され、流し撮りアシストにより露光中に被写体ブレが補正される。本実施例によれば、角速度センサのオフセットの影響が低減された、良好な画像を取得可能な撮像装置を提供することができる。

［第２実施例］
次に、本発明の第２実施例を説明する。本実施例において第１実施例と同様の構成要素については既に使用した符号を用いることにより、それらの説明を省略し、主に相違点を説明する。このような説明の省略の仕方は後述の実施例でも同じである。

図１１は、本実施例の算出部１５２が行う、主被写体角速度の算出処理を示すフローチャートである。図７と共通の処理に対して同じ符号を使用している。本処理は、算出部１５２が動きベクトル検出部１４１から動きベクトルを取得すると開始される。Ｓ６０１にて、算出部１５２がカメラ本体部１２０内の角速度センサと交換レンズ１００内の角速度センサから角速度検出信号を取得済みである場合、Ｓ６０２の処理に進む。Ｓ６０２では、取得された動きベクトルから動き量に関するヒストグラムを生成する処理が実行される。

Ｓ１００１では、カメラ角速度センサ１３５とレンズ角速度センサ１１１のうち、オフセットがより少ない角速度センサの出力を選択する処理が行われる。選択処理の詳細については、図１２を用いて後述する。

Ｓ１００２で算出部１５２は、Ｓ１００１で選択された角速度センサの出力に基づいて、図７のＳ６０３と同様に主被写体の抽出処理を行う。Ｓ６０４からＳ６０７では、レンズ角速度センサ１１１により取得されたパンニング角速度を用いて主被写体角速度が算出され、カメラ本体部１２０のパンニング動作が行われたと判定された場合、被写体の像ブレ補正が行われる。

次に図１２のフローチャートを参照して、角速度センサ出力の選択処理を説明する。Ｓ１１０１では、複数の角速度センサがそれぞれ出力する角速度情報が取得される。Ｓ１１０２で算出部１５２は、カメラ本体部１２０が静止状態にあるかどうかを判定する。図１１のＳ６０２で生成されたヒストグラムから、その度数分布において移動量がゼロ近辺である出現頻度に基づき、当該出現頻度が所定値以上であるか否かが判定される。図１３を用いて具体例を説明する。

図１３は、移動量がゼロ近辺である位置を中心とするヒストグラムの例を示す。横軸は移動量を表わし、縦軸は出現頻度を表わす。図１３のようなヒストグラムが、図１１のＳ６０２で生成された場合、移動量が－２～２の範囲内にあるデータが抽出され、出現頻度が８を超えているデータが存在する。この場合、移動量がゼロ近辺である出現頻度が所定の閾値以上であるので、算出部１５２はカメラ本体部１２０が静止状態にあると判断する。

図１２のＳ１１０２でカメラ本体部が静止状態であると判断された場合、Ｓ１１０３へ進み、静止状態でないと判断された場合にはＳ１１０４へ進む。Ｓ１１０３で算出部１５２は、角速度センサの出力から式２を用いて像面上の移動量を算出し、算出結果がゼロに近いほうの角速度センサを選択する。その理由は、カメラ本体部１２０が静止状態である場合、角速度センサの出力はゼロに近い値になるからである。つまり、出力がゼロより大きい値である場合には、角速度センサの出力にオフセット成分が加算されていることを示している。

Ｓ１１０４で算出部１５２は、過去に角速度センサを選択済みであるかどうかを判定する。過去に角速度センサが選択済みである場合、この角速度選択処理の結果を選択済みの角速度として処理を終えてリターン処理へ移行する。また、過去に角速度センサが選択済みでないと判定された場合には、Ｓ１１０５へ進む。なお、過去の選択時点から閾値時間以上の時間が経過していた場合には、未選択状態としてＳ１１０５へ進んでもよい。

Ｓ１１０５で算出部１５２は、Ｓ１１０１で取得した複数の角速度センサの出力値を比較し、出力値の小さいほうを選択する。そしてリターン処理へ移行する。なお、本実施例では、Ｓ１１０５にて小さい方の出力値を選択する処理が行われるが、これに限らず、例えば複数の角速度センサのうち、調整されている角速度センサがある場合に当該角速度センサの出力を選択する処理を行ってもよい。

本実施例によれば、複数の角速度センサのうちでオフセットがより少ない角速度センサを動的に選択することで、常に好適な角速度センサの出力に基づいて主被写体の抽出処理を行うことが可能となる。これにより、複数の角速度センサを備えた撮像装置において、良好な像ブレ補正を行うことができる。なお、本実施例では角速度センサの選択処理を、流し撮りアシストモード時のフローチャート中で実施する例を説明した。これに限らず、例えばライブビュー表示の開始タイミングで、動きベクトルを取得し、角速度センサの選択処理を実施してもよい。

［第３実施例］
次に、本発明の第３実施例を説明する。
図１４は、本実施例の算出部１５２による被写体角速度の算出処理を説明するフローチャートである。以下の処理は、算出部１５２が動きベクトル検出部１４１から動きベクトルを取得すると開始される。図１１との相違点であるＳ１２０１を説明する。

Ｓ６０４の次にＳ１２０１の処理に進み、算出部１５２は、Ｓ１００１で選択された角速度センサの出力を用いてパンニング判定を行う。その理由について図１０（Ｂ）を参照して説明する。図１０（Ｂ）は、ある時間Ｔ内の角速度データ１２０２のサンプルにおいて、オフセット成分を含む例を示す。角速度データ１２０２のようにオフセット成分が加算された場合には、波形が上下方向（角速度軸の方向）にずれてしまう。加算されるオフセット成分の量によっては、角速度データ１２０２の最大値ｍａｘと最小値ｍｉｎとの差分が閾値以上であったとしても、その原因が手ブレに依るかどうかを判断することが難しくなる。そこで算出部１５２は、オフセット成分がより少ない角速度センサの出力を用いて、振幅の差分だけでなく、角速度軸の正領域で最大値ｍａｘが出力され、かつ角速度軸の負領域で最小値ｍｉｎが出力されているという条件を判断する。この条件を満たし、かつ最大値ｍａｘと最小値ｍｉｎとの差分値が閾値以上である場合、手ブレ等の振幅運動があったと判断される。したがって、より正確な振幅判定が可能となる。

Ｓ１２０１の処理後、Ｓ６０５からＳ６０７の処理が実行され、Ｓ１２０１でのパンニング判定結果に基づき、流し撮り処理または手ブレ補正処理が行われる。

本実施例では、動的に選択されたオフセットの少ない角速度センサの出力に基づいてカメラ本体部が手ブレ等により振動しているかどうかを判定することで、より正確な振幅判定が可能となる。本実施例によれば、複数の角速度センサを備えた撮像装置において、良好な像ブレ補正を行うことができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 交換レンズ
１０４ シフトレンズ群
１１１ レンズ角速度センサ
１１３ レンズ制御部
１１７ 手ブレ補正制御部
１１８ 流し撮り制御部
１２０ カメラ本体部
１３２ カメラ制御部
１３５ カメラ角速度センサ
１４１ 動きベクトル検出部
１５２ 被写体角速度算出部

Claims (8)

1. 交換レンズの撮像光学系を通して撮像装置の撮像素子により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置であって、
   前記撮像装置が有する第１の検出手段および前記交換レンズが有する第２の検出手段によりそれぞれ検出される振れに係る第１および第２の角速度情報、および、前記撮像素子により撮像された複数の画像から算出される動きベクトルを取得する取得手段と、
   前記像ブレ補正手段によって前記被写体の画像ブレを抑制する制御を行う制御手段と、
   を備え、
   前記制御手段は、取得した前記動きベクトルから度数分布を生成し、生成された前記度数分布と前記第１の角速度情報を用いて被写体を特定し、前記被写体の動きベクトルと前記第２の角速度情報を用いて前記像ブレ補正装置に対する被写体の角速度を算出して前記像ブレ補正手段を制御し、前記第１の角速度情報を用いて、パンニングまたはチルティングの動作が行われたか否かを判定する
   ことを特徴とする像ブレ補正装置。
2. 前記制御手段は、算出した前記被写体の角速度を用いて前記像ブレ補正手段を制御し、前記第２の角速度情報を用いて前記像ブレ補正手段を制御する
   ことを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記制御手段は、前記第１の角速度情報から前記パンニングまたはチルティングの角速度を算出するとともに、取得した前記動きベクトルから度数分布を生成し、生成された前記度数分布および前記パンニングまたはチルティングの角速度から前記被写体の動きベクトルを算出する
   ことを特徴とする請求項１または請求項２に記載の像ブレ補正装置。
4. 前記制御手段は、パンニングまたはチルティングの動作が行われた場合、算出した前記被写体の角速度を用いて前記像ブレ補正手段を制御し、パンニングまたはチルティングの動作が行われない場合、前記第２の角速度情報を用いて前記像ブレ補正手段を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
5. 前記像ブレ補正手段は、前記被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズを備える
   ことを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。
6. 請求項１乃至５のいずれか１項に記載の像ブレ補正装置と、
   レンズ装置を装着可能な本体部を有する
   ことを特徴とする撮像装置。
7. 流し撮りを支援するモードを設定する設定手段を備え、
   前記制御手段は、前記モードが設定された場合、算出した前記被写体の角速度を用いて前記像ブレ補正手段を制御し、前記モードが設定されない場合、前記第２の角速度情報を用いて前記像ブレ補正手段を制御する
   ことを特徴とする請求項６に記載の撮像装置。
8. 交換レンズの撮像光学系を通して撮像装置の撮像素子により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置にて実行される制御方法であって、
   前記撮像装置が有する第１の検出手段および前記交換レンズが有する第２の検出手段によりそれぞれ検出される振れに係る第１および第２の角速度情報、および、前記撮像素子により撮像された複数の画像から算出される動きベクトルを取得する工程と、
   制御手段が前記像ブレ補正手段によって前記被写体の画像ブレを抑制する制御を行う工程と、を有し、
   前記制御手段は、取得した前記動きベクトルから度数分布を生成し、生成された前記度数分布と前記第１の角速度情報を用いて前記被写体を特定し、前記被写体の動きベクトルと前記第２の角速度情報を用いて前記像ブレ補正装置に対する被写体の角速度を算出して前記像ブレ補正手段を制御し、前記第１の角速度情報を用いて、パンニングまたはチルティングの動作が行われたか否かを判定する
   ことを特徴とする像ブレ補正装置の制御方法。
   

Images