JP6935269B2 - 像ブレ補正装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は、撮像装置や光学機器の像ブレを補正する技術に関する。

流し撮りは、被写体の躍動感を表現するため、撮像素子上で一定の振れ量（以下、背景流し量という）が得られるようにシャッタ速度を設定し、被写体の動きに合わせてカメラを追従させながら撮影する方法である。流し撮りが難しい撮影技法とされる１つ目の理由は、被写体の動きに対して撮影方向のズレが生じないようにカメラを追従させながら行う撮影が難しいことである。被写体の動きに対して撮影方向にズレが生じると、そのズレが被写体振れとなって撮影画像に現れる。２つ目の理由は、流し撮りに不慣れな人にはシャッタ速度の最適な設定値が分からないことである。例えば、時速６０ｋｍ／ｈで動く電車に対して焦点距離５０ｍｍで流し撮りを行う第１の撮影シーンと、時速２５０ｋｍ／ｈで動くレーシングカーに対して焦点距離４００［ｍｍ］で流し撮りを行う第２の撮影シーンを想定する。第１の撮影シーンと第２の撮影シーンとで同じ背景流し量となるときのシャッタ速度は異なるため、経験と技術のない撮影者にとって、流し撮りを成功させることは容易ではなかった。

そこで、初心者でも簡単に流し撮りができるようにするための機能（以下、流し撮りアシスト機能という）が提案されている。第１の流し撮りアシスト機能（以下、第１アシスト機能という）は、主被写体の動きに対するカメラの撮影方向のズレを検出し、そのズレに応じた被写体振れを補正光学系で補正する機能である。特許文献１には、第１アシスト機能について、被写体の速度とカメラを移動させる速度との差分を検出し、当該差分に相当するズレ量を、手ブレ補正機能により補正する撮像装置が開示されている。

特開２００６−３１７８４８号公報

特許文献１に開示の装置では、撮像された画像の動きベクトルと角速度を用いて被写体振れを検出する。被写体振れを検出する際に、補正光学系のレンズ位置を考慮していないため、補正光学系を駆動しているときには、被写体の動きベクトルを正確に検出できない可能性がある。
本発明の目的は、像ブレを光学的に補正する補正手段を駆動しつつ、被写体の動きを正確に検出することである。

本発明の一実施形態の装置は、撮像光学系を通して撮像手段により撮像される被写体の像ブレを、補正手段により光学的に補正する像ブレ補正装置であって、撮像された画像に関連する距離情報を取得する第１の取得手段と、前記補正手段の位置情報を取得する第２の取得手段と、第１の検出手段により検出される振れの検出信号と、第２の検出手段により検出される画像の動き情報と、前記距離情報と、前記位置情報から被写体の動き量の算出処理を行う算出手段と、前記被写体の動き量を用いて、前記被写体の像ブレを補正する補正量を算出して前記補正手段を制御する制御手段と、を備える。前記算出手段は、前記第２の検出手段の検出期間に同期した前記位置情報と、前記動き情報とを加算することにより、前記被写体の動き量を算出する。

本発明によれば、像ブレを光学的に補正する補正手段を駆動しつつ、被写体の動きを正確に検出することができる。

本実施形態における撮像装置の構成例を示す図である。 本実施形態における補正光学系の制御ブロック図である。 流し撮り時における動きベクトル検出の説明図である。 補正光学系の駆動状態と動きベクトル検出を説明する図である。 本実施形態における距離情報の説明図である。 本実施形態における被写体ベクトル検出の説明図である。 本実施形態における流し撮りアシストの処理全体を示すフローチャートである。 本実施形態における第１アシスト機能のフローチャートである。 本実施形態における第２アシスト機能のフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。図１は、本実施形態に関わる撮像装置の構成例を示す図である。交換レンズ１００をカメラ本体部１３１に装着可能な撮像システムの一例として、流し撮りを支援する流し撮りアシスト機能を有するデジタルカメラを説明する。流し撮りアシストの設定が行われた場合の制御モードを、「流し撮りアシストモード」という。撮像装置は流し撮りアシストモードにおいて第１および第２アシスト機能を有する。前述したように、第１アシスト機能は、主被写体の動きに対するカメラの撮影方向のズレを検出し、そのズレに応じた被写体振れを補正光学系で補正する機能である。第２アシスト機能（第２の流し撮りアシスト機能）は、撮影シーンに応じてカメラが自動でシャッタ速度を設定する機能である。

交換レンズ１００は、撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、主撮像光学系１０２、ズームレンズ群１０３、およびシフトレンズ群１０４を有する。ズームレンズ群１０３は焦点距離が変更可能な光学部材である。シフトレンズ群（以下、単にシフトレンズともいう）１０４は像ブレ補正用の可動レンズである。シフトレンズ群１０４は、被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズの役目をもつ。撮影レンズユニット１０１の光軸と垂直な方向にシフトレンズを移動させることで、撮像装置の振れによる光軸に対する像の振れを光学的に補正できる。

交換レンズ１００はズームエンコーダ１０６、位置センサ１０５、角速度センサ１１１を備える。ズームエンコーダ１０６は、ズームレンズ群１０３の位置を検出する。位置センサ１０５はシフトレンズ群１０４の位置を検出する。角速度センサ１１１は、撮像装置の振れを検出する振れ検出手段の一例であり、振れ検出信号を出力する。

レンズ制御部１１２は、レンズシステム制御用のマイクロコンピュータを備える。レンズ制御部１１２は、ドライバ１１３を介してシフトレンズ群１０４の駆動制御を行う。アンプ１１４は位置センサ１０５の出力を増幅し、シフトレンズの位置検出信号をレンズ制御部１１２に出力する。

交換レンズ１００はマウント接点部１１５を有し、カメラ本体部１３１のマウント接点部１４４と接続される。レンズ制御部１１２は、第１および第２の制御部を備える。第１の制御部は、手ブレ補正制御を行う手ブレ補正制御部１２１である。第２の制御部は、流し撮りアシスト用の制御を行う流し撮り制御部１２２である。レンズ制御部１１２はその他にもフォーカスレンズの移動による焦点調節制御や、絞り制御等も行うが、図示上の簡略化のため省略する。また、手ブレ補正制御部１２１による手ブレ補正では、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正が行われるが、２軸に関して同じ構成であるため、１軸分のみ説明する。このように、本実施形態の撮像装置は、光学素子（シフトレンズ）を光軸と直交する方向に移動させて像ブレ補正を行う像ブレ補正装置を備える。

カメラ本体部１３１は、露光時間を制御するためのシャッタ１３２を備える。撮像素子１３３は、例えばＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等であり、撮像光学系を通して結像される被写体からの光を受光し、光電変換により電気信号を出力する。アナログ信号処理回路（ＡＦＥ）１３４は、撮像素子１３３の出力信号を処理してカメラ信号処理回路１３５に供給する。

カメラ信号処理回路１３５は動きベクトル検出部１５１を備える。動きベクトル検出部１５１は、撮像素子１３３の出力信号に基づいて撮像時刻が異なる複数の画像から被写体の動きを検出する。またカメラ信号処理回路１３５は、撮像素子１３３の出力信号を処理して記録用の信号をメモリカード１４０に出力し、また表示用の信号を表示部１４１に出力する。タイミングジェネレータ（ＴＧ）１３６は、撮像素子１３３やアナログ信号処理回路１３４の動作タイミングを設定する。操作部１４２は、電源スイッチ、レリーズスイッチ、切り替えスイッチ等を備える。ユーザは切り替えスイッチを操作して、流し撮りアシストモードに設定可能である。

カメラ制御部１４３は、カメラシステム制御用のマイクロコンピュータを備え、撮像システムの各構成部を制御する。カメラ制御部１４３は、シャッタ制御部１６１、被写体角速度算出部１６２、シャッタ速度算出部１６３を備える。シャッタ制御部１６１はドライバ１３８を介してシャッタ駆動用モータ１３９を制御し、シャッタ１３２の動作を制御する。被写体角速度算出部１６２は主被写体の角速度を算出する。シャッタ速度算出部１６３は、流し撮りアシストモードが設定されたときのシャッタ速度を算出する。

メモリカード１４０は、撮影された映像の信号を記録するための記録媒体である。表示部１４１は液晶パネル（ＬＣＤ）等の表示デバイスを備える。表示部１４１はユーザがカメラで撮影しようとしている被写体の画像のモニタ表示を行い、また撮影された画像を画面に表示する。

カメラ本体部１３１は、交換レンズ１００とのマウント接点部１４４を備える。レンズ制御部１１２とカメラ制御部１４３は、マウント接点部１１５および１４４を介して所定のタイミングでシリアル通信を行う。角速度センサ１７１はカメラ本体部１３１の振れを検出し、振れ検出信号をカメラ制御部１４３に出力する。距離取得部１８１は、撮像画像に関連する距離情報を取得してカメラ信号処理回路１３５に出力する。

図１の撮像システムにおいて、ユーザが操作部１４２の電源スイッチを操作し、カメラの電源がＯＮすると、その状態変化をカメラ制御部１４３が検出する。カメラ制御部１４３は、カメラ本体部１３１の各回路への電源供給および初期設定を行う。また、交換レンズ１００への電源供給が行われ、レンズ制御部１１２は交換レンズ１００内の初期設定を行う。カメラ制御部１４３とレンズ制御部１１２とが通信可能な状態となった後、両者の間で所定のタイミングで通信が開始される。カメラ制御部１４３からレンズ制御部１１２への通信では、カメラの状態、撮影設定情報等が送信される。またレンズ制御部１１２からカメラ制御部１４３への通信では、交換レンズ１００の焦点距離情報、角速度情報等が送信される。

ユーザは操作部１４２の切り替えスイッチを操作することにより、通常モードから流し撮りアシストモードに変更可能である。通常モードとは、流し撮りアシストモードの設定が行われていないモードである。通常モードが選択された場合、交換レンズ１００内では角速度センサ１１１が、手ブレ等によりカメラに加わる振れを検出する。手ブレ補正制御部１２１は角速度センサ１１１による検出信号を用いてシフトレンズ群１０４の駆動制御を行う。これにより、手ブレ補正動作が行われ、撮像画像の像ブレが低減される。

図２を参照して、手ブレ補正機能に関して説明する。図２は手ブレ補正動作と流し撮りアシスト動作に関する構成図である。図１と共通の構成要素については既に使用した符号を付すことで、それらの詳細な説明を省略する。

手ブレ補正制御部１２１はオフセット除去部２０１を備え、角速度センサ１１１による角速度検出信号に含まれるオフセットを除去する。オフセット除去部２０１は、例えばハイパスフィルタ（ＨＰＦ）等で構成されたフィルタ演算部によって、角速度センサ１１１の出力に含まれている直流成分を除去する。利得位相算出部２０２は、オフセット除去部２０１の出力を取得し、増幅および位相補償を行う。利得位相算出部２０２はオフセット成分が除去された角速度信号に対し、所定のゲインで増幅する増幅器、および位相補償フィルタで構成される。積分器２０３は利得位相算出部２０２の出力を積分する。積分器２０３は任意の周波数帯域で、その特性を変更し得る機能を有しており、シフトレンズ群１０４の駆動量を算出する。

手ブレ補正制御部１２１は、撮像装置のパンニング（またはチルティング）の判定処理を行う。例えば、角速度センサ１１１の検出信号の示す角速度が、所定の閾値以上の大きさであって、所定時間（判定用の閾値時間）が経過した場合、パンニング動作中であると判定される。この場合、オフセット除去部２０１内のＨＰＦのカットオフ周波数を高周波側に除々に変更する処理が行われる。カットオフ周波数を高周波側へ除々に変更し、手ブレ補正制御の目標信号を除々に小さくすることで、シフトレンズを光学中心位置に戻す制御が行われる。この制御を行わない場合には、パンニング動作と判定されるほどの大きな振れの角速度検出信号によって手ブレ補正が行われる。その結果、シフトレンズが補正限界点（制御範囲の限界位置）に到達し、撮影者には不自然な画角変化が画面上で見える可能性がある。ＨＰＦのカットオフ周波数を高周波側へ除々に変更する処理を行うことで、このような現象の発生を防止できる。

像ブレ補正制御判定部（以下、制御判定部という）２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、カメラ情報取得部２２６の出力に応じてシフトレンズを駆動させるための信号を、以下のように切り替える。

（１）撮影モードが流し撮りアシストモードに設定されている場合
制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択する。
（２）撮影モードが流し撮りアシストモード以外に設定されている場合
制御判定部２０４は、手ブレ補正制御部１２１で算出された積分器２０３の出力を選択する。
なお、流し撮り制御部１２２内の積分器２２５およびカメラ情報取得部２２６については後述する。

位置センサ１０５は、シフトレンズ群１０４の位置を検出し、位置検出信号をアンプ１１４が増幅する。Ａ（アナログ）／Ｄ（デジタル）変換器２０６は、アンプ１１４が増幅した位置検出信号をデジタル化して減算器２０５に出力する。減算器２０５は、制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部２０８に出力される。パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。シフトレンズ群１０４の駆動にはボイスコイル型モータが使用され、ドライバ１１３はパルス幅変調部２０８の出力にしたがって、シフトレンズ群１０４を撮像光学系の光軸と垂直な方向に移動させる。

次に、流し撮りアシストモードにおける第１アシスト機能について説明する。
図１および図２を参照して、流し撮り制御部１２２について説明する。ユーザが操作部１４２により、流し撮りアシストモードに設定する操作を行うと、カメラ制御部１４３は流し撮りアシストの制御に切り替える。また、その切り替えを示す情報がカメラ制御部１４３からレンズ制御部１１２へと送信され、レンズ制御部１１２は流し撮りアシストの制御に切り替わる。カメラ情報取得部２２６（図２）は、通信制御部２１１を介してカメラ制御部１４３から送信されてくる各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。カメラ情報取得部２２６は、制御判定部２０４に対し、判定処理に必要な情報を出力する。

角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度センサ１１１の角速度検出信号を取得する。角速度出力部２２２は、通信制御部２１１とマウント接点部１１５を介して、カメラ制御部１４３へ角速度検出信号を送信する。被写体角速度取得部２２３は、カメラ本体部１３１内の被写体角速度算出部１６２で算出される被写体の角速度データを、マウント接点部１４４，１１５と通信制御部２１１を介して取得する。減算器２２４は、オフセット除去部２０１の出力を正入力とし、被写体角速度取得部２２３の出力を負入力として、減算を行う。被写体角速度取得部２２３による被写体の角速度から、オフセット成分が除去された検出信号の示す角速度が減算されることで、偏差が算出される。減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を制御判定部２０４に出力する。

被写体角速度算出部１６２が行う被写体の角速度の算出処理では、画像の動き量をベクトルで検出し、検出した全ベクトルから被写体に対応するベクトル（被写体ベクトル）のみを正確に検出する処理が実行される。検出された被写体ベクトルを角速度（被写体角速度）へ変換する処理が行われる。

ここで、被写体ベクトルを正確に検出する方法について説明する。カメラ本体部１３１では、流し撮りアシスト中にカメラ信号処理回路１３５内の動きベクトル検出部１５１が動きベクトルを検出する。つまり、アナログ信号処理回路１３４で信号処理された複数の映像情報から、画像の動きベクトルが検出される。図３を参照して具体例を説明する。図３は動体である被写体３０１の撮影シーンの例を示し、撮影画面の水平方向をＸ方向とし、垂直方向をＹ方向と定義する。この場合、動きベクトル検出部１５１により検出される２種類のベクトルは、被写体３０１の部分に対応するベクトルと、背景部分に対応するベクトルである。複数の検出ブロックに相当する矩形枠は、動きベクトルを検出するための検出枠３０２である。被写体に焦点を合わせるためのフォーカス枠（焦点検出枠）３０３を矩形枠で示す。

図３の設定は、流し撮りにおいて被写体振れのみを補正光学系で補正するために密集型の配置とされている。つまり、密集型の配置に設定することで、検出枠３０２に対応する各検出ブロックの検出精度を高めることができる。

図４を参照して、シフトレンズ群１０４の位置センサ１０５の出力を、被写体ベクトルの検出に使う理由を説明する。図４（Ａ）はシフトレンズ群１０４が駆動されていない場合の説明図である。露光前の手ブレ補正設定がＯＦＦの時には、シフトレンズ群１０４の駆動は行われない。図４（Ｂ）はシフトレンズ群１０４が駆動されている場合の説明図である。露光前の手ブレ補正設定がＯＮの時にはシフトレンズ群１０４が駆動される。

図４（Ａ）において、流し撮りで画像の動きを止める対象である被写体３０１は動体である。被写体像４０１はシフトレンズ群１０４を含む結像光学系を介して撮像素子１３３に結像される。撮像素子１３３の出力信号はアナログ信号処理回路（ＡＦＥ）１３４が処理し、動きベクトル検出部１５１が被写体３０１の動きベクトルを検出する。図４（Ａ）のようにシフトレンズ群１０４が駆動されていない場合、撮像素子１３３に結像される被写体の像４０２はシフトレンズ群１０４を介す前の被写体像４０１と同等である。

一方、図４（Ｂ）に示す状態では、露光前にシフトレンズ群１０４が駆動されている。この場合、撮像素子１３３に結像される光像は、本来の被写体像４０３ではなく、その動きからシフトレンズ群１０４の駆動量分４０５を引いたときの被写体像４０４になる。つまり、流し撮りの際にシフトレンズ群１０４が駆動されていると、動きベクトル検出部１５１は本来補正すべき被写体像４０３の動きを検出できない。そこで本実施形態では、動きベクトル検出部１５１が検出する像４０２の動き量にシフトレンズ群１０４の駆動量分４０５を加算することによって、本来の被写体像４０３の動き量を算出する。具体的には、動きベクトル検出部１５１が検出している露光重心期間と同期したタイミングで、シフトレンズの位置センサ１０５の出力を積算する処理が行われる。尚、動きベクトル検出部１５１の出力値はピクセル単位である。このため、積算された位置センサ１０５の出力値は、焦点距離やフレームレートを用いて、角度単位からピクセル単位に換算される。

次に、図５を用いて距離取得部１８１による画像の距離情報と動きベクトル検出部１５１による動きベクトルとの関係について説明する。撮影された画像内の被写体の距離情報（深度情報）は、奥行き方向における撮像装置と被写体との距離関係を示す情報である。距離取得部１８１による距離情報は、大別して２種類に分類することができ、至近方向の距離５０１と無限方向（無限遠の方向）の距離５０２である。図５は図３の画像に対応する距離マップの例を示す。至近方向の距離５０１はカメラ位置からカメラ側の被写体までの距離であり、フォーカス枠に対応する被写体部分の距離情報（近距離情報）である。無限方向の距離５０２はカメラ位置から背景側の被写体までの距離であり、フォーカス枠に対応していない背景部分の距離情報（遠距離情報）である。

距離情報の取得方法には下記の方法がある。
・オートフォーカス用センサ（ＡＦセンサ）を利用する方法
距離取得部１８１は、位相差検出用のＡＦセンサを用いて距離情報を取得する。この場合には、撮像装置がＡＦ専用の検出部を備え、像信号の位相差が検出されて、像ずれ量またはデフォーカス量等を距離情報として取得できる。
・コントラスト方式のＡＦ用評価値を用いる方法
距離取得部１８１は、撮像素子１３３による画像信号からコントラスト検出によりオートフォーカス用の評価値を取得し、当該評価値を用いて距離情報を取得する。
・像面位相差式のＡＦ機能を有する撮像素子を用いる方法
像面位相差検出機能を有する瞳分割型撮像素子を用いて、撮影レンズを通過する入射光を２方向の光に分けることで一対の像信号が得られる。つまり撮像光学系の異なる瞳部分領域をそれぞれ通過する光を撮像素子の光電変換部が受光する。光電変換後の対をなす像信号の位相差から像ずれ量またはデフォーカス量等を距離取得部１８１が距離情報として取得する。
・撮影者が距離情報を設定した値を取得する方法
撮影者が撮影前に手動で被写体までの距離を設定する設定部を有する構成において、距離取得部１８１は設定部により設定された値を距離情報として取得する。

カメラ信号処理回路１３５は距離取得部１８１から取得した距離情報に基づいて、図５の検出枠３０２における各検出ブロックに対応する距離情報の重み付けを行う。例えば、背景部分に相当する検出ブロック５０４の距離情報を３０ｍとし、被写体部分に相当する検出ブロック５０３の距離情報を１０ｍとするべく重み付け処理が行われる。

図６を用いて、被写体ベクトルの検出を説明する。図６は、動きベクトル検出部１５１が検出した動きベクトルをヒストグラム（度数分布）演算した結果を例示する。横軸はブレ量（単位：ｐｉｘｅｌ）を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。図６（Ａ）は、ユーザが一定の角速度以上でカメラを振っている方向のヒストグラムを示す。例えば、図３の水平方向（Ｘ方向）におけるヒストグラムである。図３の撮影シーンの例では、動きベクトル検出部１５１により検出されるベクトルは、大別して２種類のベクトルに分類される。被写体振れ（被写体とカメラのズレ）に相当する画像の動きベクトルと、背景振れに相当する画像の動きベクトルである。

動きベクトル検出部１５１は、設定された検出ブロック位置での１フレーム前の画像と現行フレームの画像とを比較して画像の動きを検出するが、その検出値だけでは画像の動きが被写体画像の動きであるか背景画像の動きであるかを判別できない。そこで本実施形態では、画像の距離情報と角速度センサの出力を使って、動きベクトル検出部１５１の検出値から被写体に相当する被写体ベクトルと背景に相当する背景ベクトルとを分離する。以下では、被写体ベクトルのみを検出する処理について説明する。

図６(Ａ）は、ゼロ付近に位置する第１のベクトル群６０１と、ブレ量６０３付近に位置する第２のベクトル群６０２の配置例を示す。ブレ量６０３は、撮像素子１３３上の動き量に換算した、角速度センサ１７１の出力である角速度情報に対応する。第２のベクトル群６０２は、ブレ量６０３を中心に一定の範囲６０４内に存在するベクトル群である。一定の範囲６０４は背景判定用の閾値範囲である。度数の閾値６０５は、有効なベクトルであるか否かを判定するための閾値である。カメラ制御部１４３は、ブレ量６０３を中心とする一定の範囲６０４内であって、度数が閾値６０５以上であるベクトルを背景ベクトルの候補と判定する。図６（Ａ）の例では、第２のベクトル群６０２のうち、閾値６０５以上の度数をもつベクトルが背景ベクトルの候補と判定される。またカメラ制御部１４３は、範囲６０４外に存在するベクトルであって、度数が閾値６０５以上であるベクトルを被写体ベクトルの候補と判定する。図６（Ａ）の例では、第１のベクトル群６０１のうち、閾値６０５以上の度数をもつベクトルが被写体ベクトルの候補と判定される。

本実施形態にて背景判定用の閾値範囲６０４を設けている理由は、例えば角速度センサ１７１の出力のバラつきや焦点距離のバラつき等に起因する、動きベクトル検出部１５１の誤検出を防ぐためである。カメラ制御部１４３は最終的に、被写体ベクトルの候補の距離情報を確認し、至近距離側の情報が取得できている場合、フォーカス枠３０３（図３）に最も近い検出ブロック５０３（図５）を選定する。尚、フォーカス枠３０３に最も近い検出ブロック５０３を起点として、その周囲にある一定数の被写体ベクトルを積算する処理を行ってもよい。本実施形態ではカメラ本体部１３１内の角速度センサ１７１を使用する例を説明するが、交換レンズ１００内の角速度センサ１１１を使用してよい。あるいは、角速度センサ１１１，１７１を併用する実施形態でもよい。

一方、図６（Ｂ）は、ユーザにより一定の角速度以下でカメラを振る動きの方向、または、カメラが移動されていない方向におけるヒストグラムを例示する。例えば、図３の垂直方向（Ｙ方向）におけるヒストグラムである。横軸および縦軸の設定については図６（Ａ）と同じである。図６（Ｂ）は、カメラの振れの角速度が非常に小さいため、動きベクトル検出部１５１が検出した全ベクトルは、背景判定用の閾値範囲６０４内に含まれる例である。しかし実際には、カメラのパンニング（またはチルティング）方向でなくても微小な被写体振れは発生し得る。微小な被写体振れを抽出するために、フォーカス枠３０３に最も近い検出ブロック５０３の距離情報が取得できている場合には、フォーカス枠３０３に最も近い検出ブロック５０３が選定される。尚、フォーカス枠３０３に最も近い検出ブロック５０３を起点として、その周囲にある一定数の被写体ベクトルを積算する処理を行ってもよい。

被写体ベクトルが決定された後、被写体角速度の算出処理が実行される。焦点距離、フレームレート、および撮像素子の画素ピッチを用いて、角速度［ｄｅｇｒｅｅ／ｓｅｃ］から像面移動量［ｐｉｘｅｌ］へ換算する処理とは逆の処理によって、像面移動量［ｐｉｘｅｌ］から角速度［ｄｅｇｒｅｅ／ｓｅｃ］を算出できる。カメラ制御部１４３は、被写体角速度算出部１６２が算出した被写体の角速度に、交換レンズ１００内の角速度出力部２２２による角速度データを加算した値をレンズ制御部１１２に送信する。カメラ制御部１４３の送信情報は、マウント接点部１４４，１１５を介して交換レンズ１００内のレンズ制御部１１２が受信する。

続いて、流し撮りアシストの第２アシスト機能について説明する。
カメラ本体部１３１内のシャッタ速度算出部１６３は、流し撮りアシスト用のシャッタ速度を算出する。具体的には以下の情報を用いて、（１）式によりシャッタ速度が算出される。
ＴＶ＝α／ｆ／（ωｃ―ωｓ）・・・・・（１）
上式中、
ＴＶ：シャッタ速度、
α：操作部１４２により撮影者が設定する背景の流し効果の設定値、
ｆ：マウント接点部１１５，１４４を介して得られる交換レンズ１００の焦点距離、
ωｃ：カメラ本体部１３１内の角速度センサ１７１により検出される角速度、
ωｓ：被写体角速度算出部１６２により算出される被写体角速度、
である。

背景の流し効果の設定値αは、背景画像の振れ量が像面上移動量で例えば８００μｍ（マイクロメートル）となるように、予め設定される値である。背景の流し効果については小、中、大のように、複数の効果を段階的に設定可能である。撮影者は、流し撮りアシストモードを設定し、背景の流し効果を所望の設定にするだけで、カメラ制御部１４３が焦点距離とカメラの振れの角速度に応じてシャッタ速度を自動的に設定して制御する。よって、流し撮りに不慣れな撮影者でも簡単にシャッタ速度の設定を行える。

図７〜図９のフローチャートを参照し、流し撮りアシストの制御について説明する。図７は流し撮りアシストの制御に関する全体的な処理の流れを示すフローチャートである。以下の処理は、カメラ制御部１４３およびレンズ制御部１１２の各ＣＰＵが所定の制御プログラムを解釈して実行することにより実現される。

（Ｓ７０１）流し撮りアシストモードの判定処理
カメラ制御部１４３は、操作部１４２で撮影者により流し撮りアシストモードの設定操作が行われたか否かを判定する。流し撮りアシストモードに設定された場合、Ｓ７０２の処理に進み、流し撮りアシストモード以外に設定された場合、流し撮りアシストの制御は行われず、処理を終了する。

（Ｓ７０２）交換レンズ１００の判別処理
カメラ制御部１４３はカメラ本体部１３１に装着された交換レンズ１００が流し撮りアシストに対応した交換レンズであるか否かを判定する。交換レンズ１００が流し撮りアシストに対応した交換レンズであると判定された場合、Ｓ７０３に進み、流し撮りアシストに対応していない交換レンズであると判定された場合、Ｓ７０９へ進む。尚、交換レンズ１００が流し撮りアシストに対応しているか否かの判定処理は、レンズ制御部１１２からカメラ制御部１４３へ送信されるレンズ情報の信号に基づいて行われる。コンパクトデジタルカメラ等のようにレンズ通信の機能をもたない場合には、Ｓ７０２の条件判定処理は不要であり、Ｓ７０３へ進む。

（Ｓ７０３）距離情報取得
距離取得部１８１は、撮像画像に関連する距離情報を取得する。動きベクトル検出部１５１は動きベクトルの検出枠３０２を設定する。次にＳ７０４へ進む。

（Ｓ７０４）シフトレンズ群１０４の位置情報取得
位置センサ１０５により検出されるシフトレンズ群１０４の位置情報が取得される。ここで取得されるシフトレンズ群１０４の位置情報は、動きベクトル検出部１５１の検出期間と同期した位置センサ１０５の出力の平均値である。次にＳ７０５へ進む。

（Ｓ７０５）動きベクトル取得
動きベクトル検出部１５１は画面内の動きベクトルを検出し、次にＳ７０６へ進む。

（Ｓ７０６）角速度取得
角速度センサ１１１により検出される角速度検出信号は、レンズ制御部１１２からカメラ制御部１４３へ送信される。カメラ制御部１４３は振れの角速度検出信号を取得する。また、カメラ本体部１３１内の角速度センサ１７１により角速度検出信号が取得される。尚、本ステップで取得される角速度検出信号の値は、動きベクトル検出部１５１の検出期間と同期した角速度センサ１１１の出力の平均値である。次にＳ７０７へ進む。

（Ｓ７０７）像面移動量算出
カメラ制御部１４３は、Ｓ７０６で取得した角速度を像面移動量へ換算する演算を行う。交換レンズ１００内の角速度センサ１１１により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて像面上での移動量（像面移動量）が算出される。次にＳ７０８へ進む。

（Ｓ７０８）被写体角速度算出
被写体角速度算出部１６２は、Ｓ７０３〜Ｓ７０６で取得した情報を用いて判定される主被写体ベクトルから主被写体の角速度を算出する。算出処理の詳細については図８を用いて後で説明する。次にＳ７０９へ進む。

（Ｓ７０９）シャッタ速度算出
シャッタ速度算出部１６３は、流し撮りアシスト用のシャッタ速度を算出する。算出処理の詳細については図９を用いて後で説明する。次にＳ７１０へ進む。

（Ｓ７１０）振れ補正光学系の駆動
レンズ制御部１１２は、Ｓ７０８で算出された被写体角速度と、Ｓ７０９で算出された流し撮りアシスト用のシャッタ速度の各データをカメラ制御部１４３から受信し、露光期間中にシフトレンズ群１０４を駆動させる制御量を決定する。ドライバ１１３は決定された制御量にしたがってシフトレンズ群１０４を駆動する。像ブレ補正光学系により、カメラのパンニング動作時の角速度と主被写体の角速度との差分が低減される結果、流し撮りの成功確率を高めることができる。その後、図７の処理を終了する。

次に図８のフローチャートを参照して、図７のＳ７０８の被写体角速度算出について説明する。
（Ｓ８０１）レンズ位置加算
カメラ制御部１４３は、図７のＳ７０４で取得されたシフトレンズ群１０４の位置情報の値を、動きベクトル検出部１５１の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手ブレ補正制御によってシフトレンズ群１０４が駆動されたとしても、本来の被写体振れの像を求めることができる。次にＳ８０２へ進む。

（Ｓ８０２）距離情報重み付け
図７のＳ７０３で取得された画面内の距離情報（距離マップ）に基づき、動きベクトル検出部１５１で検出された各検出ブロックに対応する距離情報の重み付け処理が実行される。次にＳ８０３へ進む。

（Ｓ８０３）ヒストグラム生成
カメラ制御部１４３は、図７のＳ７０５で検出された動きベクトルによりヒストグラム演算を行う。ヒストグラムの生成後、Ｓ８０４へ進む。

（Ｓ８０４）被写体ベクトルの検出可能性の判定
カメラ制御部１４３は、動きベクトル検出部１５１の検出結果に基づき、被写体ベクトルが検出できているか否かを判定する。被写体ベクトルが検出できていると判定された場合、Ｓ８０５へ進む。被写体ベクトルが検出できていないと判定された場合、Ｓ８０８へ進む。

（Ｓ８０５）被写体ベクトル算出
カメラ制御部１４３は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、フォーカス枠３０３（図３）の位置に最も近い検出ブロック５０３（図５）で被写体ベクトルが検出され、且つその距離情報が取得できている場合に検出ブロック５０３が選定される。被写体ベクトルの算出後にＳ８０６へ進む。

（Ｓ８０６）被写体角速度算出
被写体角速度算出部１６２は被写体の角速度を算出する。つまり、図７のＳ７０７で角速度から像面移動量を算出した方法とは逆の方法によって、被写体の像面移動量から被写体角速度を算出する処理が行われる。次にＳ８０７へ進む。

（Ｓ８０７）被写体振れ補正量算出
カメラ制御部１４３は、Ｓ８０６で算出された被写体角速度に対し、角速度出力部２２２からカメラ制御部１４３へ送信される角速度の値を加算して、レンズ制御部１１２へ送信する。被写体角速度取得部２２３はカメラ制御部１４３からレンズ制御部１１２へ送信された被写体角速度を取得して減算器２２４に出力する。減算器２２４は、交換レンズ１００内の角速度センサ１１１による角速度と、被写体角速度との差分を演算する。積分器２２５は算出された差分を積分し、積分値を被写体の振れ補正制御の目標制御値（被写体振れ補正量）として制御判定部２０４へ出力する。次にリターン処理へ移行する。

（Ｓ８０８）角速度取得
本ステップから手ブレ補正制御に切り替わり、手ブレ補正制御部１２１が制御を行う。交換レンズ１００内の角速度センサ１１１により検出される角速度が取得され、次にＳ８０９へ進む。

（Ｓ８０９）オフセット除去
図２のオフセット除去部２０１は、Ｓ８０８で取得した角速度に重畳しているオフセット成分を除去する。例えば、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタを用いて、角速度に含まれる低周波数成分をハイパスフィルタで遮断してから高周波数帯域の信号が出力される。次にＳ８１０へ進む。

（Ｓ８１０）利得・位相算出
図２の利得位相算出部２０２は、オフセット除去された角速度に対して、フィルタ処理を施す際の利得および位相を算出する。所定のゲインで増幅する増幅器、および位相補償フィルタで構成されたフィルタ回路により、角速度検出信号に対する信号処理が行われた後にＳ８１１へ進む。

（Ｓ８１１）手ブレ補正量算出
図２の積分器２０３は、Ｓ８１０でフィルタ回路によって信号処理された角速度を積分する。積分により得られた角度値は手ブレ補正制御の目標制御値（手ブレ補正量）として、制御判定部２０４に出力される。その後、リターン処理へ移行する。

次に図９のフローチャートを参照して、図７のＳ７０９に示す流し撮り用のシャッタ速度の算出について説明する。
（Ｓ９０１）背景流し量取得
カメラ制御部１４３は、操作部１４２により撮影者が設定操作を行った背景流し効果の設定値（α）を取得する。次にＳ９０２へ進む。

（Ｓ９０２）焦点距離取得
カメラ制御部１４３は、レンズ制御部１１２から送信される焦点距離の情報を、マウント接点部１１５，１４４を介して取得する。次にＳ９０３へ進む。

（Ｓ９０３）カメラ本体部内の角速度取得
カメラ制御部１４３は、カメラ本体部１３１内の角速度センサ１７１により検出される角速度（ωｃ）を取得した後にＳ９０４へ進む。尚、角速度センサ１７１の検出信号に代えて、交換レンズ１００内の角速度センサ１１１の角速度を取得してもよい。

（Ｓ９０４）被写体角速度取得
図７のＳ７０８で演算された被写体角速度（ωｓ）が取得され、次のＳ９０５へ進む。

（Ｓ９０５）シャッタ速度算出
シャッタ速度算出部１６３は、Ｓ９０１〜Ｓ９０４で取得された各データを用いて、（１）式に基づき、流し撮り用のシャッタ速度（ＴＶ）を算出する。尚、図７のＳ７０２で流し撮りアシストに対応していない交換レンズがカメラ本体部１３１に装着されていると判定された場合には、角速度センサ１１１により検出される角速度を取得できない。この場合には、図８のＳ８０３のヒストグラムから判別される背景ベクトルにより背景の角速度が算出されて、流し撮り用のシャッタ速度が算出される。または、シャッタ速度算出部１６３にて予めプログラムされた値（例えば１／６０秒）によりシャッタ速度を設定してもよい。または、第２アシスト機能におけるシャッタ速度の設定に関して、ユーザが操作部１４２で自動設定と手動設定を選択できる構成にしてもよい。つまり、流し撮りに習熟している撮影者は、手動でシャッタ速度を任意に設定することができる。また、流し撮りに不慣れな撮影者は自動設定を選択できる。

本実施形態では、第１および第２アシスト機能により、背景画像が流れて主被写体の像ブレが低減された、綺麗な流し撮り写真が簡単に撮影可能となる。なお、第１および第２アシスト機能のいずれかのみ実施しても、背景画像が流れて主被写体の像ブレが低減された、綺麗な流し撮り写真が簡単に撮影可能であり、第１および第２アシスト機能のいずれかのみ実施可能な構成であってもよい。
以上、本発明の好ましい実施形態について図１に示す撮像装置、所謂ミラーレスカメラを用いて説明したが、本発明は一眼レフカメラやコンパクトデジタルカメラ等にも幅広く適用可能である。

１００ 交換レンズ
１１２ レンズ制御部
１３１ カメラ本体部
１４３ カメラ制御部

Claims (11)

1. 撮像光学系を通して撮像手段により撮像される被写体の像ブレを、補正手段により光学的に補正する像ブレ補正装置であって、
   撮像された画像に関連する距離情報を取得する第１の取得手段と、
   前記補正手段の位置情報を取得する第２の取得手段と、
   第１の検出手段により検出される振れの検出信号と、第２の検出手段により検出される画像の動き情報と、前記距離情報と、前記位置情報から被写体の動き量の算出処理を行う算出手段と、
   前記被写体の動き量を用いて、前記被写体の像ブレを補正する補正量を算出して前記補正手段を制御する制御手段と、を備え、
   前記算出手段は、前記第２の検出手段の検出期間に同期した前記位置情報と、前記動き情報とを加算することにより、前記被写体の動き量を算出する
   ことを特徴とする像ブレ補正装置。
2. 前記第１の取得手段は、オートフォーカス用の位相差検出手段による検出信号、または、前記撮像手段による画像信号のコントラストの評価値、または、像面位相差式の撮像素子による画像信号を用いて前記距離情報を取得する
   ことを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記第１の検出手段は振れの角速度を検出し、
   前記第２の検出手段は撮像時刻が異なる画像から動きベクトルを検出する
   ことを特徴とする請求項１または請求項２に記載の像ブレ補正装置。
4. 前記算出手段は、前記動きベクトルの検出期間と同期した前記第２の取得手段による位置情報の平均値を、前記動きベクトルと加算する
   ことを特徴とする請求項３に記載の像ブレ補正装置。
5. 前記算出手段は、撮像光学系の焦点距離または画像のフレームレートを用いてピクセル単位に換算した前記位置情報を、前記動きベクトルと加算する
   ことを特徴とする請求項３に記載の像ブレ補正装置。
6. 前記制御手段は、
   前記第１の検出手段による検出信号から算出される補正量により前記補正手段を制御する第１の制御手段と、
   前記像ブレ補正装置に対する前記被写体の角速度データを算出し、前記被写体の像ブレの補正量を算出して前記補正手段を制御する第２の制御手段と、を有する
   ことを特徴とする請求項３から５のいずれか１項に記載の像ブレ補正装置。
7. 前記第２の制御手段は、撮像光学系の焦点距離、フレームレート、および撮像素子の画素ピッチを用いて、前記被写体の角速度データを算出する
   ことを特徴とする請求項６に記載の像ブレ補正装置。
8. 前記補正手段は、前記被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズを備える
   ことを特徴とする請求項１から７のいずれか１項に記載の像ブレ補正装置。
9. 請求項１から８のいずれか１項に記載の像ブレ補正装置と、
   前記撮像手段と、を備える撮像装置。
10. 請求項６または請求項７に記載の像ブレ補正装置と、
    前記撮像手段と、
    流し撮りを支援するモードを設定する設定手段を備え、
    前記モードが設定された場合、前記第２の制御手段が前記補正手段を制御し、前記モードが設定されない場合、前記第１の制御手段が前記補正手段を制御する
    ことを特徴とする撮像装置。
11. 撮像光学系を通して撮像手段により撮像される被写体の像ブレを、補正手段により光学的に補正する像ブレ補正装置にて実行される制御方法であって、
    撮像された画像に関連する距離情報と、前記補正手段の位置情報を取得する工程と、
    第１の検出手段により検出される振れの検出信号と、第２の検出手段により検出される画像の動き情報と、前記距離情報と、前記位置情報から被写体の動き量の算出処理を行う算出工程と、
    前記被写体の動き量を用いて、前記被写体の像ブレを補正する補正量を算出して前記補正手段を制御する制御工程と、を有し、
    前記算出工程では、前記第２の検出手段の検出期間に同期した前記位置情報と、前記動き情報とを加算することにより、前記被写体の動き量が算出される
    ことを特徴とする像ブレ補正装置の制御方法。
    
    
    

Images