JP7013199B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、被写体の画像ブレを補正する技術に関する。

流し撮りは、被写体の躍動感を表現するため、撮像素子上で一定の振れ量（以下、背景流し量という）が得られるようにシャッタ速度を設定し、被写体の動きに合わせてカメラを追従させながら撮影する方法である。

流し撮りが一般的に難しい撮影技法とされる１つ目の理由は、被写体の動きに対して撮影方向のズレが生じないようにカメラを追従させながら行う撮影が難しいことである。被写体の動きに対して撮影方向にズレが生じると、そのズレが被写体振れとなって撮影画像に現れる。２つ目の理由は、流し撮りに不慣れな人にはシャッタ速度の最適な設定値が分からないことである。例えば、時速６０ｋｍ／ｈで動く電車の流し撮りを行う第１の撮影シーンと、時速２５０ｋｍ／ｈで動くレーシングカーの流し撮りを行う第２の撮影シーンを想定する。第１の撮影シーンと第２の撮影シーンとで同じ背景流し量となるときのシャッタ速度は異なるため、経験と技術のない撮影者にとって、流し撮りを成功させることは容易ではなかった。

そこで、初心者でも簡単に流し撮りができるようにするための機能（以下、流し撮りアシスト機能という）が提案されている。第１の流し撮りアシスト機能（以下、第１アシスト機能という）は、主被写体の動きに対するカメラの撮影方向のズレを検出し、そのズレに応じた被写体振れを補正光学系で補正する機能である。特許文献１には、補正光学系の最大補正角度に基づいて露光時間を算出する撮像装置が開示されている。

特開２０１５－１９８４３９号公報

従来の技術では、補正光学系による像ブレ補正機能が有効な撮影において、振れ補正量が所定値以上の場合、被写体振れが発生した画像となる可能性がある。
本発明の目的は、像ブレを光学的に補正する機能を有する撮像装置において、被写体振れの発生を抑える露光時間を決定することである。

本発明の一実施形態の撮像装置は、撮像光学系を通して撮像手段により撮像される被写体の画像に対し、補正手段により像ブレを光学的に補正する撮像装置であって、前記補正手段の現在の補正角度と最大補正角度との差分に関する情報を取得する取得手段と、前記撮像手段に係る第１の露光時間を算出する第１の算出手段と、第１の検出手段により検出される振れ検出信号と第２の検出手段により検出される被写体画像の動き量と前記補正手段の現在の補正角度と最大補正角度との差分に関する情報から、前記撮像手段に係る第２の露光時間を算出する第２の算出手段と、前記撮像手段により撮像する際の露光時間を決定する決定手段と、を備える。前記決定手段は、前記第１の露光時間が前記第２の露光時間を超える場合に、前記撮像する際の露光時間を前記第２の露光時間に決定する。

本発明の撮像装置によれば、像ブレを光学的に補正する機能を有する撮像装置において、被写体振れの発生を抑える露光時間を決定することができる。

本実施形態における撮像装置の構成を示す図である。 本実施形態における補正光学系の制御ブロック図である。 流し撮り時におけるベクトル検出を説明するための図である。 距離情報を説明するための図である。 本実施形態における被写体ベクトル検出を説明するための図である。 被写体振れと背景流し量との関係を説明するための図である。 本実施形態における流し撮りアシスト制御のフローチャートである。 本実施形態における第１アシスト機能のフローチャートである。 本実施形態における第２アシスト機能のフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。本実施形態の説明前に、補正光学系の最大補正角度に基づいた露光時間を常に設定することが必ずしも良いとは限らない理由について具体例を挙げて説明する。

まず、流し撮り時における補正光学系の最大補正角度に基づく露光時間が（１）式で算出されるものとする。
ＴＶ＝θｍａｘ／（ωｓ－ωｇ）・・・（１）
ここで、
ＴＶ：露光時間［ｓｅｃ］、
θｍａｘ：補正光学系の最大補正角度［ｄｅｇｒｅｅ］、
ωｓ：被写体角速度［ｄｅｇｒｅｅ／ｓｅｃ］、
ωｇ：カメラ角速度［ｄｅｇｒｅｅ／ｓｅｃ］、
である。

補正光学系による振れ補正は露光前にも行われるため、最大補正角度から現在の補正角度を差し引いた、補正角度を用いなければならない。例えば、補正光学系の最大補正角度θｍａｘが０．５［ｄｅｇｒｅｅ］であり、露光前の振れ補正で補正角度０．２［ｄｅｇｒｅｅ］を使っていた場合を想定すると、露光中に使える補正角度は０．３［ｄｅｇｒｅｅ］となる。各々の補正角度において、被写体角速度４０［ｄｅｇｒｅｅ／ｓｅｃ］、カメラ角速度２０［ｄｅｇｒｅｅ／ｓｅｃ］のような撮影シーンで算出される露光時間は（２）、（３）式の通りである。
Ｓｓ＝０．５／（４０－２０）＝１／４０［ｓｅｃ］・・・（２）
Ｓｓ＝０．３／（４０－２０）＝１／６６［ｓｅｃ］・・・（３）
露光前に振れ補正動作が行われる場合には、最大補正角度で算出される場合よりも露光時間が短くなる。

一方、撮影シーンに応じてカメラがシャッタ速度を自動で設定する流し撮りアシスト機能を、以下では第２アシスト機能という。第２アシスト機能では焦点距離、被写体角速度とカメラ角速度、背景流し量の段階を選択する背景流し効果に応じて、撮像面上で一定の背景流し量になるように露光時間が調整される。そのため、算出した露光時間から短秒側へ変更することにより、露光時間の変更量に応じて背景の流し効果が減少してしまう場合が起こり得る。

本実施形態では、被写体振れと手振れと露光時間の関係を考慮しつつ、適切な露光時間を設定可能な撮像装置およびその制御方法を詳細に説明する。図１は、本実施形態に関わる撮像装置の構成例を示す図である。交換レンズ１００をカメラ本体部１３１に装着可能な撮像システムの一例として、流し撮りを支援する流し撮りアシスト機能を有するデジタルカメラを説明する。流し撮りアシストの設定が行われた場合の制御モードを、「流し撮りアシストモード」という。撮像装置は流し撮りアシストモードにおいて第１および第２アシスト機能を有する。

交換レンズ１００は、撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、主撮像光学系１０２、ズームレンズ群１０３、およびシフトレンズ群１０４を有する。主撮像光学系１０２は固定レンズ群やフォーカスレンズ等を備える。ズームレンズ群１０３は焦点距離を変更可能な光学部材である。シフトレンズ群（以下、単にシフトレンズともいう）１０４は像ブレ補正用の可動レンズである。シフトレンズ群１０４は、被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズの役目をもつ。撮影レンズユニット１０１の光軸と垂直な方向にシフトレンズを移動させることで、撮像装置の振れによる光軸に対する像の振れを光学的に補正できる。

交換レンズ１００はズームエンコーダ１０６、位置センサ１０５、角速度センサ１１１を備える。ズームエンコーダ１０６はズームレンズ群１０３の位置を検出する。位置センサ１０５はシフトレンズ群１０４の位置を検出する。角速度センサ１１１は、撮像装置の振れを検出する振れ検出手段の一例であり、振れ検出信号を出力する。

レンズ制御部１１２はレンズシステム制御用のマイクロコンピュータを備える。レンズ制御部１１２は、ドライバ１１３を介してシフトレンズ群１０４の駆動制御を行う。アンプ１１４は位置センサ１０５の出力を増幅し、シフトレンズの位置検出信号をレンズ制御部１１２に出力する。

交換レンズ１００はマウント接点部１１５を有し、カメラ本体部１３１のマウント接点部１４４と接続される。レンズ制御部１１２は、第１および第２の制御部を備える。第１の制御部は、手ブレ補正制御を行う手ブレ補正制御部１２１である。第２の制御部は、流し撮りアシスト用の制御を行う流し撮り制御部１２２である。レンズ制御部１１２はその他にもフォーカスレンズの移動による焦点調節制御や、絞り制御等も行うが、図示上の簡略化のため省略する。また、手ブレ補正制御部１２１による手ブレ補正では、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正が行われるが、２軸に関して同じ構成であるため、１軸分のみ説明する。このように、本実施形態の撮像装置は、光学素子（シフトレンズ）を光軸と直交する方向に移動させて光学的に像ブレ補正を行う像ブレ補正装置を備える。

カメラ本体部１３１は、露光時間を制御するためのシャッタ１３２を備える。撮像素子１３３は、例えばＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等であり、撮像光学系を通して結像される被写体からの光を受光し、光電変換により電気信号を出力する。アナログ信号処理回路（ＡＦＥ）１３４は、撮像素子１３３の出力信号を処理してカメラ信号処理回路１３５に供給する。

カメラ信号処理回路１３５は動きベクトル検出部１５１を備える。動きベクトル検出部１５１は、撮像素子１３３の出力信号に基づいて撮像時刻が異なる複数の画像から被写体の動きを検出する。またカメラ信号処理回路１３５は、撮像素子１３３の出力信号を処理して記録用の信号をメモリカード１４０に出力し、また表示用の信号を表示部１４１に出力する。タイミングジェネレータ（ＴＧ）１３６は、撮像素子１３３やアナログ信号処理回路１３４の動作タイミングを設定する。操作部１４２は、電源スイッチ、レリーズスイッチ、切り替えスイッチ等を備える。ユーザは切り替えスイッチを操作して、流し撮りアシストモードに設定可能である。

カメラ制御部１４３は、カメラシステム制御用のマイクロコンピュータを備え、撮像システムの各構成部を制御する。カメラ制御部１４３は、シャッタ制御部１６１、被写体角速度算出部１６２、シャッタ速度算出部１６３を備える。シャッタ制御部１６１はドライバ１３８を介してシャッタ駆動用モータ１３９を制御し、シャッタ１３２の動作を制御する。被写体角速度算出部１６２は主被写体の角速度を算出する。シャッタ速度算出部１６３は、流し撮りアシストモードが設定されたときのシャッタ速度を算出する。

メモリカード１４０は、撮影された画像の信号を記録するための記録媒体である。表示部１４１は液晶パネル（ＬＣＤ）等の表示デバイスを備える。表示部１４１はユーザがカメラで撮影しようとしている被写体の画像のモニタリング表示を行い、また撮影された画像を画面に表示する。

カメラ本体部１３１は、交換レンズ１００とのマウント接点部１４４を備える。レンズ制御部１１２とカメラ制御部１４３は、マウント接点部１１５および１４４を介して所定のタイミングでシリアル通信を行う。角速度センサ１７１はカメラ本体部１３１の振れを検出し、振れ検出信号をカメラ制御部１４３に出力する。距離取得部１８１は、撮像画像に関連する距離情報を取得してカメラ信号処理回路１３５に出力する。

図１の撮像システムにおいて、ユーザが操作部１４２の電源スイッチを操作し、カメラの電源がＯＮすると、その状態変化をカメラ制御部１４３が検出する。カメラ制御部１４３は、カメラ本体部１３１の各回路への電源供給および初期設定を行う。また、交換レンズ１００への電源供給が行われ、レンズ制御部１１２は交換レンズ１００内の初期設定を行う。カメラ制御部１４３とレンズ制御部１１２とが通信可能な状態となった後、両者の間で所定のタイミングで通信が開始される。カメラ制御部１４３からレンズ制御部１１２への通信では、カメラの状態、撮影設定情報等が送信される。またレンズ制御部１１２からカメラ制御部１４３への通信では、交換レンズ１００の焦点距離情報、角速度情報等が送信される。

ユーザは操作部１４２の切り替えスイッチを操作することにより、通常モードから流し撮りアシストモードに変更可能である。流し撮りアシストモードの設定が行われていない通常モードが選択された場合、交換レンズ１００内では角速度センサ１１１が、手ブレ等によりカメラに加わる振れを検出する。手ブレ補正制御部１２１は角速度センサ１１１による検出信号を用いてシフトレンズ群１０４の駆動制御を行う。これにより、手ブレ補正動作が行われ、撮像画像の像ブレが低減される。

図２を参照して、手ブレ補正機能に関して説明する。図２は手ブレ補正動作と流し撮りアシスト動作に関する構成図である。図１と共通の構成要素については既に使用した符号を付すことで、それらの詳細な説明を省略する。

手ブレ補正制御部１２１はオフセット除去部２０１を備え、角速度センサ１１１による角速度検出信号に含まれるオフセットを除去する。オフセット除去部２０１は、例えばハイパスフィルタ（ＨＰＦ）等で構成されたフィルタ演算部によって、角速度センサ１１１の出力に含まれている直流成分を除去する。利得位相算出部２０２は、オフセット除去部２０１の出力を取得し、増幅および位相補償を行う。利得位相算出部２０２はオフセット成分が除去された角速度信号に対し、所定のゲインで増幅する増幅器、および位相補償フィルタで構成される。積分器２０３は利得位相算出部２０２の出力を積分する。積分器２０３は任意の周波数帯域で、その特性を変更し得る機能を有しており、シフトレンズ群１０４の駆動量を算出する。

手ブレ補正制御部１２１は、撮像装置のパンニング（またはチルティング）の判定処理を行う。例えば、角速度センサ１１１の検出信号の示す角速度が、所定の閾値以上の大きさであって、所定時間（判定用の閾値時間）が経過した場合、パンニング動作中であると判定される。この場合、オフセット除去部２０１内のＨＰＦのカットオフ周波数を高周波側に徐々に変更する処理が行われる。カットオフ周波数を高周波側へ徐々に変更し、手ブレ補正制御の目標信号を徐々に小さくすることで、シフトレンズを光学中心位置に戻す制御が行われる。この制御を行わない場合には、パンニング動作と判定されるほどの大きな振れの角速度検出信号によって手ブレ補正が行われる。その結果、シフトレンズが補正限界点（制御範囲の限界位置）に到達し、撮影者には不自然な画角変化が画面上で見える可能性がある。ＨＰＦのカットオフ周波数を高周波側へ徐々に変更する処理を行うことで、このような現象の発生を防止できる。

像ブレ補正制御判定部（以下、制御判定部という）２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、カメラ情報取得部２２６の出力に応じてシフトレンズを駆動させるための信号を、以下のように切り替える。
（１）撮影モードが流し撮りアシストモードに設定されている場合
制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択する。
（２）撮影モードが流し撮りアシストモード以外に設定されている場合
制御判定部２０４は、手ブレ補正制御部１２１で算出された積分器２０３の出力を選択する。
なお、流し撮り制御部１２２内の積分器２２５およびカメラ情報取得部２２６については後述する。

位置センサ１０５は、シフトレンズ群１０４の位置を検出し、位置検出信号をアンプ１１４が増幅する。Ａ（アナログ）／Ｄ（デジタル）変換器２０６は、アンプ１１４が増幅した位置検出信号をデジタル化して減算器２０５に出力する。減算器２０５は、制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部２０８に出力される。パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させるＰＷＭ波形に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。シフトレンズ群１０４の駆動にはボイスコイル型モータが使用され、ドライバ１１３はパルス幅変調部２０８の出力にしたがって、シフトレンズ群１０４を撮像光学系の光軸と垂直な方向に移動させる。

次に図１および図２を参照して、流し撮りアシストモードにおける第１アシスト機能について説明する。ユーザが操作部１４２により、流し撮りアシストモードに設定する操作を行うと、カメラ制御部１４３は流し撮りアシストの制御に切り替える。また、その切り替えを示す情報がカメラ制御部１４３からレンズ制御部１１２へと送信され、レンズ制御部１１２は流し撮りアシストの制御に切り替わる。流し撮り制御部１２２のカメラ情報取得部２２６（図２）は、通信制御部２１１を介してカメラ制御部１４３から送信されてくる各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。カメラ情報取得部２２６は、制御判定部２０４に対して判定処理に必要な情報を出力する。

角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度センサ１１１の角速度検出信号を取得する。角速度出力部２２２は、通信制御部２１１とマウント接点部１１５，１４４を介して、カメラ制御部１４３へ角速度検出信号を送信する。被写体角速度取得部２２３は、カメラ本体部１３１内の被写体角速度算出部１６２で算出される被写体の角速度データを、マウント接点部１４４，１１５と通信制御部２１１を介して取得する。減算器２２４は、オフセット除去部２０１の出力を正入力とし、被写体角速度取得部２２３の出力を負入力として、減算を行う。被写体角速度取得部２２３による被写体の角速度と、オフセット成分が除去された検出信号の示す角速度との偏差が算出される。減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を制御判定部２０４に出力する。

被写体角速度算出部１６２が行う被写体の角速度の算出処理では、画像の動き量をベクトルで検出し、検出した全ベクトルから被写体に対応するベクトル（被写体ベクトル）のみを正確に検出する処理が実行される。検出された被写体ベクトルを角速度（被写体角速度）へ変換する処理が行われる。

ここで、被写体ベクトルを正確に検出する方法について説明する。カメラ本体部１３１では、流し撮りアシスト中にカメラ信号処理回路１３５内の動きベクトル検出部１５１が動きベクトルを検出する。つまり、アナログ信号処理回路１３４で信号処理された複数の映像情報から、画像の動きベクトルが検出される。図３を参照して具体例を説明する。図３は動体である被写体３０１の撮影シーンの例を示し、撮影画面の水平方向をＸ方向とし、垂直方向をＹ方向と定義する。この場合、動きベクトル検出部１５１により検出される２種類のベクトルは、被写体３０１の部分に対応するベクトルと、背景部分に対応するベクトルである。複数の検出ブロックに相当する矩形枠は、動きベクトルを検出するための検出枠３０２である。被写体に焦点を合わせるためのフォーカス枠（焦点検出枠）３０３を矩形枠で示す。

図３の設定は、流し撮りにおいて被写体振れのみを補正光学系で補正するために密集型の配置とされている。つまり、密集型の配置に設定することで、検出枠３０２に対応する各検出ブロックの検出精度を高めることができる。

次に、図４を用いて距離取得部１８１による画像の距離情報と動きベクトル検出部１５１による動きベクトルとの関係について説明する。撮影された画像内の被写体の距離情報（深度情報）は、奥行き方向における撮像装置と被写体との距離関係を示す情報である。距離取得部１８１により取得される距離情報は、大別して２種類に分類することができ、至近方向の距離５０１と無限方向（無限遠の方向）の距離５０２の情報である。図４は図３の画像に対応する距離マップの例を示す。至近方向の距離５０１はカメラ位置からカメラ側の被写体までの距離であり、フォーカス枠に対応する被写体部分の距離情報（近距離情報）である。無限方向の距離５０２はカメラ位置から背景側の被写体までの距離であり、フォーカス枠に対応していない背景部分の距離情報（遠距離情報）である。

距離情報の取得方法には下記の方法がある。
・オートフォーカス用センサ（ＡＦセンサ）を利用する方法
距離取得部１８１は、位相差検出用のＡＦセンサを用いて距離情報を取得する。この場合には、撮像装置がＡＦ専用の検出部を備え、像信号の位相差が検出されて、像ずれ量またはデフォーカス量等を距離情報として取得できる。
・コントラスト方式のＡＦ用評価値を用いる方法
距離取得部１８１は、撮像素子１３３による画像信号からコントラスト検出によりオートフォーカス用の評価値を取得し、当該評価値を用いて距離情報を取得する。
・像面位相差式のＡＦ機能を有する撮像素子を用いる方法
像面位相差検出機能を有する瞳分割型撮像素子を用いて、撮影レンズを通過する入射光を２方向の光に分けることで一対の像信号が得られる。つまり撮像光学系の異なる瞳部分領域をそれぞれ通過する光を撮像素子の光電変換部が受光する。光電変換後の対をなす像信号の位相差から像ずれ量またはデフォーカス量等を距離取得部１８１が距離情報として取得する。
・撮影者が距離情報を設定した値を取得する方法
撮影者が撮影前に手動で被写体までの距離を設定する設定部を有する構成において、距離取得部１８１は設定部により設定された値を距離情報として取得する。

カメラ信号処理回路１３５は距離取得部１８１から取得した距離情報に基づいて、図４の検出枠３０２における各検出ブロックに対応する距離情報の重み付けを行う。例えば、背景部分に相当する検出ブロック５０４の距離情報を３０ｍとし、被写体部分に相当する検出ブロック５０３の距離情報を１０ｍとするべく重み付け処理が行われる。距離情報を用いることで、被写体ベクトルと背景ベクトルのクラスタリング精度を上けることができる。

図５を用いて、被写体ベクトルの検出を説明する。図５は、動きベクトル検出部１５１が検出した動きベクトルをヒストグラム（度数分布）演算した結果を例示する。横軸はブレ量（単位：ｐｉｘｅｌ）を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。図５（Ａ）は、ユーザが一定の角速度以上でカメラを振っている方向のヒストグラムを示す。例えば、図３の水平方向（Ｘ方向）におけるヒストグラムである。図３の撮影シーンの例では、動きベクトル検出部１５１により検出されるベクトルは、大別して２種類のベクトルに分類される。被写体振れ（被写体とカメラの撮影方向とのズレ）に相当する画像の動きベクトルと、背景振れに相当する画像の動きベクトルである。

動きベクトル検出部１５１は、設定された検出ブロック位置での１フレーム前の画像と現行フレームの画像とを比較して画像の動きを検出するが、その検出値だけでは画像の動きが被写体画像の動きであるか背景画像の動きであるかを判別できない。そこで本実施形態では、画像の距離情報と角速度センサの出力を使って、動きベクトル検出部１５１の検出値から被写体に対応する被写体ベクトルと背景に対応する背景ベクトルとを分離する。以下では、被写体ベクトルのみを検出する処理について説明する。

図５(Ａ）は、ゼロ付近に位置する第１のベクトル群６０１と、ブレ量６０３付近に位置する第２のベクトル群６０２の配置例を示す。ブレ量６０３は、撮像素子１３３上の動き量に換算した、角速度センサ１７１の出力である角速度情報に対応する。第２のベクトル群６０２は、ブレ量６０３を中心に一定の範囲６０４内に存在するベクトル群である。一定の範囲６０４は背景判定用の閾値範囲である。度数の閾値６０５は、有効なベクトルであるか否かを判定するための閾値である。カメラ制御部１４３は、ブレ量６０３を中心とする一定の範囲６０４内であって、度数が閾値６０５以上であるベクトルを背景ベクトルの候補と判定する。図５（Ａ）の例では、第２のベクトル群６０２のうち、閾値６０５以上の度数をもつベクトルが背景ベクトルの候補と判定される。またカメラ制御部１４３は、範囲６０４外に存在するベクトルであって、度数が閾値６０５以上であるベクトルを被写体ベクトルの候補と判定する。図５（Ａ）の例では、第１のベクトル群６０１のうち、閾値６０５以上の度数をもつベクトルが被写体ベクトルの候補と判定される。

本実施形態にて背景判定用の閾値範囲６０４を設けている理由は、例えば角速度センサ１７１の出力のバラつきや焦点距離のバラつき等に起因する、動きベクトル検出部１５１の誤検出を防ぐためである。カメラ制御部１４３は最終的に、被写体ベクトルの候補の距離情報を確認し、至近距離側の情報が取得できている場合、フォーカス枠３０３（図３）に最も近い検出ブロック５０３（図４）を選定する。尚、フォーカス枠３０３に最も近い検出ブロック５０３を起点として、その周囲にある一定数の被写体ベクトルを積算する処理を行ってもよい。本実施形態ではカメラ本体部１３１内の角速度センサ１７１を使用する例を説明するが、交換レンズ１００内の角速度センサ１１１を使用してもよい。あるいは、角速度センサ１１１，１７１を併用する実施形態でもよい。

一方、図５（Ｂ）は、ユーザにより一定の角速度以下でカメラを振る動きの方向、または、カメラが移動されていない方向におけるヒストグラムを例示する。例えば、図３の垂直方向（Ｙ方向）におけるヒストグラムである。横軸および縦軸の設定については図５（Ａ）と同じである。図５（Ｂ）は、カメラの振れの角速度が非常に小さいため、動きベクトル検出部１５１が検出した全ベクトルは、背景判定用の閾値範囲６０４内に含まれる例である。しかし実際には、カメラのパンニング（またはチルティング）方向でなくても微小な被写体振れは発生し得る。微小な被写体振れを抽出するために、フォーカス枠３０３に最も近い検出ブロック５０３の距離情報が取得できている場合には、フォーカス枠３０３に最も近い検出ブロック５０３が選定される。尚、フォーカス枠３０３に最も近い検出ブロック５０３を起点として、その周囲にある一定数の被写体ベクトルを積算する処理を行ってもよい。

被写体ベクトルが決定された後、被写体角速度の算出処理が実行される。焦点距離、フレームレート、および撮像素子の画素ピッチを用いて、角速度［ｄｅｇｒｅｅ／ｓｅｃ］から像面移動量［ｐｉｘｅｌ］へ換算する処理とは逆の処理によって、像面移動量［ｐｉｘｅｌ］から角速度［ｄｅｇｒｅｅ／ｓｅｃ］を算出できる。カメラ制御部１４３は、被写体角速度算出部１６２が算出した被写体角速度に、交換レンズ１００内の角速度出力部２２２による角速度データを加算した値をレンズ制御部１１２に送信する。カメラ制御部１４３の送信情報は、マウント接点部１４４，１１５を介して交換レンズ１００内のレンズ制御部１１２が受信する。

続いて、流し撮りアシストモードにおける第２アシスト機能について説明する。
カメラ本体部１３１内のシャッタ速度算出部１６３は、流し撮りアシスト用のシャッタ速度を算出する。具体的には以下の情報を用いて、（４）式によりシャッタ速度が算出される。
ＴＶ１＝｜α／ｆ／（ωｇ±ωｓ）｜・・・・・（４）
上式中、
ＴＶ１：第１の露光時間、
α：操作部１４２で撮影者が設定する背景の流し効果の設定値、
ｆ：マウント接点部１１５，１４４を介して得られる交換レンズ１００の焦点距離、
ωｇ：カメラ本体部１３１内の角速度センサ１７１により検出される角速度、
ωｓ：被写体角速度算出部１６２により算出される被写体角速度、
である。
背景の流し効果の設定値αは、予めカメラ側で像面上の移動量が一定の移動量となるように定めた値である。背景の流し効果については小、中、大のように、複数の効果を段階的に設定可能である。

また、補正光学系を構成するシフトレンズが補正限界に到達する場合の露光時間は、（５）式で算出される。
ＴＶ２＝｜（θｍａｘ－θ）／（ωｇ±ωｓ）｜・・・（５）
上式中、
ＴＶ２：第２の露光時間、
θｍａｘ：補正光学系の最大補正角度、
θ：補正光学系の現在の補正角度、
である。ＴＶ２はシフトレンズの位置が最大補正範囲内となる露光時間である。

図６を参照し、（４）式で算出される第１の露光時間ＴＶ１と（５）式で算出される第２の露光時間ＴＶ２を比較して、どちらの露光時間を優先するかについて具体例で説明する。図６（Ａ）は、時速６０［ｋｍ／ｈ］の電車に対する焦点距離８０［ｍｍ］での流し撮りの画像例を示す。この時、被写体角速度が３０［ｄｅｇｒｅｅ／ｓｅｃ］で、カメラ角速度が２０［ｄｅｇｒｅｅ／ｓｅｃ］であったとする。最も像面上の移動量が大きくなる、背景の流し効果を「大」に設定した場合の第１の露光時間ＴＶ１は、約１／２５［ｓｅｃ］となる。補正光学系の最大補正角度が０．５［ｄｅｇ］で、露光前に０．２［ｄｅｇｒｅｅ］が振れ補正に使われる場合、第２の露光時間ＴＶ２は約１／１００［ｓｅｃ］となる。第１の露光時間を用いて補正光学系を駆動すると、補正角度は約０．４［ｄｅｇｒｅｅ］となり、補正光学系の補正角度が足りず、補正残り０．１［ｄｅｇｒｅｅ］分の被写体振れが発生してしまう。

一方、第１の露光時間よりも短い第２の露光時間を用いれば、補正角度を補正光学系の補正限界内に収められるので振れ残りは発生しないが、第１の露光時間と第２の露光時間との差分が大きい程、背景の流し量が減少する。例えば、図６（Ｂ）に示すように被写体振れは発生していないが、第２の露光時間で撮像が行われる場合に背景の流し量が少なくなるので、流し撮りの作例としては物足りない印象の画像になってしまう。

そこで本実施形態では、被写体振れ補正を優先すべきか、背景の流し量（流し効果の設定量）を優先すべきかの判定処理を行う。例えば、撮影者によってカメラの設定項目等から手動操作にしたがって、どちらの処理を行うかが判定される。あるいは、補正光学系が補正限界に到達する場合のみ、撮像装置が自動で判定する。つまり第１の露光時間が第２の露光時間より短い場合、第１の露光時間を優先することが判定される。また第１の露光時間が第２の露光時間より長い場合には、第１の露光時間と第２の露光時間との差分時間が算出される。算出された差分時間が所定の閾値未満であれば第２の露光時間を優先することが判定される。尚、閾値については第１の露光時間から＋１．０段のようにＡＰＥＸ換算値でもよいし、また露光時間差［ｓｅｃ］でもよい。これにより、図６（Ｃ）に示すように、多少背景の流し量は減少するが被写体振れのない撮影画像が得られる。一方、算出された差分時間が閾値以上であれば、第１の露光時間が設定され、表示部１４１の画面上にメッセージが表示される。この表示によって、被写体角速度とカメラ角速度に応じて、撮影者が、動体である被写体に対して振り遅れているのか、または振りすぎているのかを伝え、撮影者に撮影方法の改善を促すことができる。

以上のように第２アシスト機能では、撮影者が背景の流し効果を設定するだけで、焦点距離とカメラの撮影方向を変更する際の角速度に応じてシャッタ速度が自動的に設定される。よって、流し撮りに不慣れな撮影者でも簡単にシャッタ速度を設定できる。

図７～図９のフローチャートを参照し、流し撮りアシストの制御について説明する。図７は流し撮りアシストの制御に関する全体的な処理の流れを示すフローチャートである。以下の処理は、カメラ制御部１４３およびレンズ制御部１１２の各ＣＰＵが所定の制御プログラムを解釈して実行することにより実現される。

（Ｓ７０１）流し撮りアシストモードの判定処理
カメラ制御部１４３は、操作部１４２で撮影者により流し撮りアシストモードの設定操作が行われたか否かを判定する。流し撮りアシストモードに設定された場合、Ｓ７０２の処理に進み、流し撮りアシストモード以外に設定された場合、流し撮りアシストの制御は行われず、Ｓ７１０へ移行する。

（Ｓ７０２）交換レンズ１００の判別処理
カメラ制御部１４３はカメラ本体部１３１に装着された交換レンズ１００が流し撮りアシストに対応した交換レンズであるか否かを判定する。交換レンズ１００が流し撮りアシストに対応した交換レンズであると判定された場合、Ｓ７０３に進み、流し撮りアシストに対応していない交換レンズであると判定された場合、Ｓ７０９へ進む。尚、交換レンズ１００が流し撮りアシストに対応しているか否かの判定処理は、レンズ制御部１１２からカメラ制御部１４３へ送信されるレンズ情報の信号に基づいて行われる。コンパクトデジタルカメラ等のようにレンズ通信の機能をもたない場合には、Ｓ７０２の条件判定処理は不要であり、Ｓ７０３へ進む。

（Ｓ７０３）距離情報取得
距離取得部１８１は、撮像画像に関連する距離情報を取得する。動きベクトル検出部１５１は動きベクトルの検出枠３０２を設定する。次にＳ７０４へ進む。

（Ｓ７０４）シフトレンズ群１０４の位置取得
位置センサ１０５により検出されるシフトレンズ群１０４の位置情報が取得される。ここで取得されるシフトレンズ群１０４の位置情報は、動きベクトル検出部１５１の検出期間と同期した位置センサ１０５の出力の平均値である。次にＳ７０５へ進む。

（Ｓ７０５）動きベクトル取得
動きベクトル検出部１５１は画面内の動きを動きベクトルとして検出し、次にＳ７０６へ進む。

（Ｓ７０６）角速度取得
角速度センサ１１１により検出される角速度検出信号は、レンズ制御部１１２からカメラ制御部１４３へ送信される。カメラ制御部１４３は振れの角速度検出信号を取得する。また、カメラ本体部１３１内の角速度センサ１７１により角速度検出信号が取得される。尚、本ステップで取得される角速度検出信号の値は、動きベクトル検出部１５１の検出期間と同期した角速度センサ１１１または１７１の出力の平均値である。次にＳ７０７へ進む。

（Ｓ７０７）像面移動量算出
カメラ制御部１４３は、Ｓ７０６で取得した角速度を像面移動量へ換算する演算を行う。交換レンズ１００内の角速度センサ１１１により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて像面上での移動量（像面移動量）が算出される。次にＳ７０８へ進む。

（Ｓ７０８）被写体角速度算出
被写体角速度算出部１６２は、Ｓ７０３～Ｓ７０６で取得した情報を用いて判定される主被写体ベクトルから主被写体の角速度を算出する。算出処理の詳細については図８を用いて後で説明する。次にＳ７０９へ進む。

（Ｓ７０９）シャッタ速度算出
シャッタ速度算出部１６３は、流し撮りアシスト用のシャッタ速度を算出する。算出処理の詳細については図９を用いて後で説明する。次にＳ７１０へ進む。

（Ｓ７１０）振れ補正光学系の駆動
レンズ制御部１１２は、Ｓ７０８で算出された被写体角速度と、Ｓ７０９で算出された流し撮りアシスト用のシャッタ速度の各データをカメラ制御部１４３から受信し、露光期間中にシフトレンズ群１０４を駆動させる制御量を決定する。ドライバ１１３は決定された制御量にしたがってシフトレンズ群１０４を駆動する。その後、図７の処理を終了する。

次に図８のフローチャートを参照して、図７のＳ７０８の被写体角速度算出について説明する。
（Ｓ８０１）レンズ位置加算
カメラ制御部１４３は、図７のＳ７０４で取得されたシフトレンズ群１０４の位置情報の値を、動きベクトル検出部１５１の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手ブレ補正制御によってシフトレンズ群１０４が駆動されたとしても、本来の被写体振れの像を求めることができる。次にＳ８０２へ進む。

（Ｓ８０２）距離情報重み付け
図７のＳ７０３で取得された画面内の距離情報（距離マップ）に基づき、動きベクトル検出部１５１で検出された各検出ブロックに対応する距離情報の重み付け処理が実行される。次にＳ８０３へ進む。

（Ｓ８０３）ヒストグラム生成
カメラ制御部１４３は、図７のＳ７０５で検出された動きベクトルによりヒストグラム演算を行う。ヒストグラムの生成後、Ｓ８０４へ進む。

（Ｓ８０４）被写体ベクトルの検出可能性の判定
カメラ制御部１４３は、動きベクトル検出部１５１の検出結果に基づき、被写体ベクトルが検出できているか否かを判定する。被写体ベクトルが検出できていると判定された場合、Ｓ８０５へ進む。被写体ベクトルが検出できていないと判定された場合、Ｓ８０８へ進む。

（Ｓ８０５）被写体ベクトル算出
カメラ制御部１４３は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、フォーカス枠３０３（図３）の位置に最も近い検出ブロック５０３（図４）で被写体ベクトルが検出され、且つその距離情報が取得できている場合に検出ブロック５０３が選定される。尚、検出ブロック５０３を起点として、その周囲の被写体ベクトルを積算してもよい。被写体ベクトルの算出後にＳ８０６へ進む。

（Ｓ８０６）被写体角速度算出
被写体角速度算出部１６２は被写体の角速度を算出する。つまり、図７のＳ７０７で角速度から像面移動量を算出した方法とは逆の方法によって、被写体の像面移動量から被写体角速度を算出する処理が行われる。次にＳ８０７へ進む。

（Ｓ８０７）被写体振れ補正量算出
カメラ制御部１４３は、Ｓ８０６で算出された被写体角速度に対し、角速度出力部２２２からカメラ制御部１４３へ送信される角速度の値を加算して、レンズ制御部１１２へ送信する。被写体角速度取得部２２３はカメラ制御部１４３からレンズ制御部１１２へ送信された被写体角速度を取得して減算器２２４に出力する。減算器２２４は、交換レンズ１００内の角速度センサ１１１による角速度と、被写体角速度との差分を演算する。積分器２２５は算出された差分を積分し、積分値を被写体の振れ補正制御の目標制御値（被写体振れ補正量）として制御判定部２０４へ出力する。次にリターン処理へ移行する。

（Ｓ８０８）角速度取得
本ステップから手ブレ補正制御に切り替わり、手ブレ補正制御部１２１が制御を行う。交換レンズ１００内の角速度センサ１１１により検出される角速度が取得され、次にＳ８０９へ進む。

（Ｓ８０９）オフセット除去
例えば、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタを用いて、角速度検出信号に含まれる低周波数成分を遮断してから高周波数帯域の信号を出力する処理が実行される。角速度検出信号に重畳しているオフセット成分が除去される。次にＳ８１０へ進む。

（Ｓ８１０）利得・位相算出
オフセット成分が除去された角速度検出信号に対し、所定のゲインを有する増幅器および位相補償フィルタで構成されたフィルタ回路が利得および位相を算出して信号処理を行う。次にＳ８１１へ進む。

（Ｓ８１１）手ブレ補正量算出
図２の積分器２０３は、Ｓ８１０で信号処理された角速度を積分する。積分により得られた角度値は手ブレ補正制御の目標制御値（手ブレ補正量）として、制御判定部２０４に出力される。その後、リターン処理へ移行する。

図９のフローチャートを参照して、図７のＳ７０９に示す流し撮りアシスト用のシャッタ速度算出について説明する。
（Ｓ９０１）背景流し量取得
カメラ制御部１４３は、操作部１４２により撮影者が設定操作を行った背景流し効果の設定値（α）を取得する。次にＳ９０２へ進む。

（Ｓ９０２）焦点距離取得
カメラ制御部１４３は、レンズ制御部１１２から送信される焦点距離の情報を、マウント接点部１１５，１４４を介して取得する。次にＳ９０３へ進む。

（Ｓ９０３）カメラ角速度取得
カメラ制御部１４３は、カメラ本体部１３１内の角速度センサ１７１により検出される角速度（ωｇ）を取得した後にＳ９０４へ進む。尚、角速度センサ１７１の検出信号に代えて、交換レンズ１００内の角速度センサ１１１の角速度を取得してもよい。

（Ｓ９０４）被写体角速度取得
図７のＳ７０８で演算された被写体角速度（ωｓ）が取得され、次のＳ９０５へ進む。

（Ｓ９０５）第１の露光時間算出
シャッタ速度算出部１６３はＳ９０１～Ｓ９０４で取得された各データを用いて、（４）式に基づき、第１の露光時間ＴＶ１を算出する。尚、図７のＳ７０２で流し撮りアシストに対応していない交換レンズがカメラ本体部１３１に装着されていると判定された場合には、角速度センサ１１１により検出される角速度を取得できない。この場合には、図８のＳ８０３のヒストグラムから判別される背景ベクトルから背景の角速度を算出し、この値を用いて露光時間を算出してもよい。

（Ｓ９０６）最大補正角度取得
カメラ制御部１４３は、レンズ制御部１１２から送信されるシフトレンズの最大補正角度を、マウント接点部１１５、１４４を介して取得する。

（Ｓ９０７）第２の露光時間算出
シャッタ速度算出部１６３は、Ｓ９０６で取得されたシフトレンズの最大補正角度と、現在のシフトレンズ位置と、Ｓ９０３で取得されたカメラ角速度と、Ｓ９０４で取得された被写体角速度を用いて、（５）式に基づいて第２の露光時間ＴＶ２を算出する。

（Ｓ９０８）被写体振れ補正の優先判定
シャッタ速度算出部１６３は、補正光学系が補正限界に到達した場合の、被写体振れと背景の流し量とのトレードオフ関係において、被写体振れ補正を優先するか否かを判定する。この判定は、撮影者が操作部１４２を用いて行う操作指示に従うか、または所定のプログラムに従って自動的に行われる。被写体振れ補正を優先することが判定された場合、Ｓ９０９へ進み、優先しない場合には、Ｓ９１３へ進む。

（Ｓ９０９）露出時間の比較判定
シャッタ速度算出部１６３は、第１の露光時間ＴＶ１と第２の露光時間ＴＶ２とを比較し、ＴＶ１がＴＶ２よりも短秒であるか否かを判定する。ＴＶ１≧ＴＶ２の場合、Ｓ９１０へ進み、ＴＶ１＜ＴＶ２の場合にはＳ９１３へ進む。

（Ｓ９１０）差分の閾値判定
第１の露光時間ＴＶ１と第２の露光時間ＴＶ２との差分が算出され、差分が所定の閾値未満であるか否かについて判定が行われる。閾値を設けて判定を行う理由は、差分が大きい場合に第２の露光時間が優先されると、背景の流し量が減少してしまい、流し撮り作例として躍動感に欠けることを防ぐためである。算出された差分が所定の閾値未満である場合、Ｓ９１２へ進み、閾値以上である場合にはＳ９１１へ進む。

（Ｓ９１１）第１の露光時間の設定、およびメッセージ表示
この場合、第１の露光時間ＴＶ１と第２の露光時間ＴＶ２との差分は閾値以上であるため、シャッタ速度算出部１６３はＴＶ１に設定する。表示部１４１の画面上にメッセージを表示することで、撮影者に撮影方法の改善を促す処理が実行される。次にＳ９１４へ進む。

（Ｓ９１２）第２の露光時間の設定
この場合、第１の露光時間ＴＶ１と第２の露光時間ＴＶ２との差分量は閾値未満であるため、シャッタ速度算出部１６３はＴＶ２に設定する。これにより、図６（Ａ）のような被写体振れが発生し得る場合、背景の流し量が多少減少する代わりに被写体振れの無い図６（Ｃ）のような画像が撮れる。次にＳ９１４へ進む。

（Ｓ９１３）第１の露光時間の設定
Ｓ９０８で被写体振れ補正を優先しない場合や、Ｓ９０９でＴＶ１がＴＶ２より短秒である場合にシャッタ速度算出部１６３はＴＶ１を設定する。この場合、被写体振れもなく、背景の流し量も流し効果の設定通りであり、図６（Ｄ）のような画像が撮れる。次にＳ９１４へ進む。

（Ｓ９１４）露出設定
Ｓ９０８～Ｓ９１０の条件判定に基づくＳ９１１～Ｓ９１３の露光時間の設定にしたがって、カメラ制御部１４３は露出設定を行う。

本実施形態では、第１および第２アシスト機能により、背景画像が流れて主被写体の像ブレが低減された、綺麗な流し撮り写真が簡単に撮影可能となる。本実施形態によれば、被写体振れと手振れと露光時間の関係を考慮しつつ、被写体振れ補正に適切な露光時間を設定することができる。

以上、本発明の好ましい実施形態について図１に示す撮像装置、所謂ミラーレスカメラを用いて説明したが、本発明は一眼レフカメラやコンパクトデジタルカメラ等にも幅広く適用可能である。また、本実施形態では流し撮りアシストの例を説明したが、流し撮りアシスト以外にも勿論適用できる。例えば、流し撮りアシストでは背景流し効果に基づく第１の露光時間が算出されるが、撮影モード（パノラマモード等）のプログラム線図から求まる露光時間を第１の露光時間として設定してもよい。

１００ 交換レンズ
１１２ レンズ制御部
１３１ カメラ本体部
１４３ カメラ制御部

Claims (11)

1. 撮像光学系を通して撮像手段により撮像される被写体の画像に対し、補正手段により像ブレを光学的に補正する撮像装置であって、
   前記補正手段の現在の補正角度と最大補正角度との差分に関する情報を取得する取得手段と、
   前記撮像手段に係る第１の露光時間を算出する第１の算出手段と、
   第１の検出手段により検出される振れ検出信号と第２の検出手段により検出される被写体画像の動き量と前記補正手段の現在の補正角度と最大補正角度との差分に関する情報から、前記撮像手段に係る第２の露光時間を算出する第２の算出手段と、
   前記撮像手段により撮像する際の露光時間を決定する決定手段と、
   を備え、
   前記決定手段は、前記第１の露光時間が前記第２の露光時間を超える場合に、前記撮像する際の露光時間を前記第２の露光時間に決定する
   ことを特徴とする撮像装置。
2. 流し撮りを支援するモードを設定する設定手段を備え、
   前記モードが設定された場合に前記決定手段が前記撮像する際の露光時間を前記第１または第２の露光時間に決定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の算出手段は、前記振れ検出信号と前記被写体画像の動き量と前記撮像光学系の焦点距離および背景画像の流し効果の設定値を用いて前記第１の露光時間を算出する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第１の算出手段は、撮影モードのプログラム線図により前記第１の露光時間を算出する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記決定手段は、被写体振れ補正よりも背景画像の流し効果を優先する場合、前記撮像する際の露光時間を前記第１の露光時間に決定する
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記決定手段は、被写体振れ補正を背景画像の流し効果より優先する場合、前記第１の露光時間が前記第２の露光時間を超え、かつ前記第１の露光時間と前記第２の露光時間との差分が閾値未満であるときに前記撮像する際の露光時間を前記第２の露光時間に決定し、前記第１の露光時間が前記第２の露光時間を超え、かつ前記差分が閾値以上であるときに前記撮像する際の露光時間を前記第１の露光時間に決定する
   ことを特徴とする請求項３または請求項５に記載の撮像装置。
7. 前記決定手段は、被写体振れ補正と背景画像の流し効果のうち、どちらを優先するかを、操作部の指示にしたがって決定する
   ことを特徴とする請求項５または請求項６に記載の撮像装置。
8. 前記決定手段は、前記補正手段が補正限界に到達する場合であって、前記第１の露光時間が前記第２の露光時間より短い場合、前記撮像する際の露光時間を前記第１の露光時間に決定する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
9. 前記振れ検出信号から算出される補正量により前記補正手段を制御する第１の制御手段と、
   前記撮像装置に対する前記被写体の角速度データを算出し、前記被写体の像ブレの補正量を算出して前記補正手段を制御する第２の制御手段と、を有する
   ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記補正手段は、前記被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズを備える
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 撮像光学系を通して撮像手段により撮像される被写体の画像に対し、補正手段により像ブレを光学的に補正する撮像装置にて実行される制御方法であって、
    前記補正手段の現在の補正角度と最大補正角度との差分に関する情報を取得する工程と、
    前記撮像手段に係る第１の露光時間を算出する第１の算出工程と、
    第１の検出手段により検出される振れ検出信号と第２の検出手段により検出される被写体画像の動き量と前記補正手段の現在の補正角度と最大補正角度との差分に関する情報から、前記撮像手段に係る第２の露光時間を算出する第２の算出工程と、
    前記撮像手段により撮像する際の露光時間を決定する決定工程と、
    を有し、
    前記決定工程では、前記第１の露光時間が前記第２の露光時間を超える場合に、前記撮像する際の露光時間が前記第２の露光時間に決定される
    ことを特徴とする撮像装置の制御方法。

Images