JP7414484B2 - 光学機器、撮像装置および制御方法 - Google Patents

Description

本発明は、光学機器、撮像装置および制御方法に関する。

光学機器の一つである撮像装置を用いた撮影方法として、移動している被写体に対して撮像装置を追従させつつ、スローシャッタで撮影することで、主被写体を静止させながら背景を流して、躍動感のある写真を撮影する流し撮りがある。流し撮りの際、被写体の動きに合わせて撮像装置を追従させながら撮影することが容易でない場合がある。被写体に追従できないまま撮影してしまうと、被写体に係る像ブレ（被写体ブレ）が発生し、主被写体の画像がブレてしまう。また、躍動感を出すためのシャッタ速度の設定値は、被写体速度や被写体距離、焦点距離によって変化する。つまり、シャッタ速度の設定値は、撮影シーンによって異なり、流し撮りの経験が少ない撮影者には、シャッタ速度の最適な設定は困難である。

また、流し撮りにおいて被写体が最も止まっている位置と、ピントが合っている位置とが重なると、ブレもボケも無い綺麗な画像が撮れる。以下、被写体が最も止まっている位置、つまり被写体に係る像ブレ（被写体ブレ）の補正位置を流し撮りの芯と呼ぶ。流し撮りの芯とピントが合っている位置（オートフォーカスの合焦位置）がずれてしまうと、画像を当倍で表示した際には解像感が落ちてしまう。例えば、撮影された画像をＡ３サイズ（２９７ｍｍ×４２０ｍｍ）で見る場合は、ブレやピンボケは目立たない。しかし、撮影された画像をＢ０サイズ（１０３０ｍｍ×１４５６ｍｍ）で見る場合は、当倍で表示した時の微小なブレやピンボケが目立つ。特許文献１は、撮像光学系のオートフォーカスの合焦状態であるか非合焦状態であるかに応じて、露光時の被写体角速度の算出方法を変える撮像装置を開示している。

特開２０１９－７８８４３号公報

特許文献１が開示する撮像装置を適用し、オートフォーカスが合焦状態であるか非合焦状態であるかに応じて被写体に係る像ブレを補正する制御を行っても、流し撮りの芯とオートフォーカスの合焦位置が重ならない場合がある。その結果、撮影シーンによっては当倍基準で評価した場合に、ブレやボケが目立つことがある。本発明は、撮影シーンに応じて、被写体に係る像ブレを良好に補正することができる光学機器の提供を目的とする。

本発明の一実施形態の光学機器は、撮像画像に基づいて、被写体角速度を算出する算出手段と、前記算出された被写体角速度に基づいて、前記補正手段を駆動することにより、流し撮り時の被写体に係る像ブレを補正する制御手段と、を有する。前記制御手段は、少なくとも撮影シーンを含む被写体情報に基づいて、前記撮影シーンに応じた前記被写体に係る像ブレの補正位置を決定し、前記像ブレの補正位置に基づき算出される前記被写体角速度に基づいて、前記補正手段を駆動する。

本発明の光学機器によれば、撮影シーンに応じて、被写体に係る像ブレを良好に補正することができる。

光学機器の構成例を示す図である。 手振れ補正制御に関する構成の一例を示す図である。 被写体ブレの補正の一例を説明するフローチャートである。 被写体ベクトル群の検出を説明する図である。 被写体角速度および被写体角加速度を示す図である。 モータースポーツでの撮影シーンを示す図である。 流し撮りの芯の指定に用いられるＵＩの一例を示す図である。

（実施例１）
図１は、本実施形態の光学機器の構成例を示す図である。
図１では、光学機器として、撮像装置を例にとって説明する。図１に示す撮像装置は、カメラ本体１３０と、レンズ装置である交換レンズ１００とを有する。カメラ本体１３０は、交換レンズ１００が着脱可能である。本発明の適用範囲は、図１に示す構成に限定されない。撮像画像に対し、補正手段により像ブレを光学的に補正する任意の光学機器であれば、本発明の適用範囲となる。レンズ一体型のカメラ、交換レンズ式のカメラ、レンズ装置も本発明の適用範囲となる。

交換レンズ１００は、撮影レンズユニット１０１、位置検出部１０５、エンコーダ１０６、角速度検出部１１１、レンズマイコン１１２、ドライバ１１３、アンプ回路（ＡＭＰ）１１４、マウント接点部１１５を有する。

撮影レンズユニット１０１は、撮像光学系１０２、ズームレンズ群（以下、ズームレンズと記述）１０３、シフトレンズ群（以下シフトレンズと記述）１０４を有する。撮像光学系１０２は、被写体光をズームレンズ１０３とシフトレンズ１０４を介して撮像素子１３２に導く。ズームレンズ１０３は、焦点距離を変更可能なレンズ群である。シフトレンズ１０４は、撮像装置に加わる振れにより生じる撮像画像のブレ（像ブレ）を光学的に補正するために用いられる補正手段である。具体的には、レンズマイコン１１２が、ドライバ１１３を制御することでシフトレンズ１０４を光軸と垂直方向に駆動することによって、像ブレが補正される。

位置検出部１０５は、シフトレンズ１０４の位置を検出する。位置検出部１０５は、例えばホール素子である。ズームエンコーダ１０６は、ズームレンズ１０３の位置を検出する。また、角速度検出部１１１は、撮像装置に加わる振れを検出し、角速度信号を振れ検出信号として出力する。角速度検出部１１１は、例えばジャイロセンサである。

また、ドライバ１１３は、シフトレンズ１０４を駆動する。アンプ回路１１４は、位置検出部１０５が検出したシフトレンズの位置を示す信号（位置検出信号）を増幅してレンズマイコン１１２に出力する。マウント接点部１１５は、交換レンズ１００とカメラ本体１３０との通信を中継する。

また、レンズマイコン１１２は、交換レンズ１００全体を制御する。レンズマイコン１１２は、手振れ補正制御部１２１と、流し撮り制御部１２２とを有する。手振れ補正制御部１２１は、手振れにより生じる像ブレを補正する制御である手振れ補正制御を実行する。流し撮り制御部１２２は、流し撮りアシストの制御を実行する。流し撮りアシストの制御は、流し撮り時において、被写体の動きに対する撮像装置の撮影方向のズレに応じた被写体に係る像ブレ（被写体ブレ）を補正光学系で補正する制御である。本実施形態では、補正光学系としてシフトレンズ１０４を用いるが、補正光学系として撮像素子を用いてもよい。流し撮り制御部１２２は、被写体ブレの補正に用いるシフトレンズ１０４の駆動量の算出に、カメラマイコン１４１が算出する被写体角速度を用いる。

レンズマイコン１１２は、手振れ補正制御と流し撮りアシストの制御の他に、フォーカスレンズ制御、絞り制御等も行うが、図の簡略化のために説明を省略する。また、手振れ補正制御の実行のためには、例えば縦方向と横方向といった、直交する２軸に関する振れの検出および補正が必要であるが、一方の軸に関する処理に必要な構成は、他方の軸に関する処理に必要な構成と同様である。したがって、以下では１軸に関する構成に関して説明する。

カメラ本体１３０は、シャッタ１３１、撮像素子１３２、アナログ信号処理回路（ＡＦＥ）１３３、カメラ信号処理回路１３４を備える。シャッタ１３１は、撮像装置１３２が受光する光量を調節する。撮像素子１３２は、例えば、ＣＭＯＳセンサ等であり、被写体光を光電変換して撮像画像に係る信号を出力する。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。ＡＦＥ１３３は、撮像素子１３２が出力したアナログ信号をデジタル信号に変換してカメラ信号処理回路１３４に出力する。カメラ信号処理回路１３４は、ＡＦＥ１３３が出力した信号に対して所定の処理を実行する。カメラ信号処理回路１３４は、撮像画像から動きベクトルを検出する動きベクトル検出部１４５を備える。

また、カメラ本体１３０は、タイミングジェネレータ（ＴＧ）１３５、操作部１３６、メモリカード１３９、表示パネル（以下、ＬＣＤと記述）１４０を備える。ＬＣＤ１４０は、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略称である。ＴＧ１３５は、撮像素子１３２やアナログ信号処理回路１３３の動作タイミングを設定する。操作部１３６は、ユーザの操作入力を受け付ける。操作部１３６は、電源スイッチ、レリーズスイッチ等を有する。メモリカード１３９には、撮影された映像（撮像画像）が記録される。ＬＣＤ１４０は、撮像画像を表示する。

また、カメラ本体１３０は、ドライバ１３７、シャッタ駆動用モータ１３８、角速度検出部１７１、距離検出部１８１、マウント接点部１４４、カメラマイコン１４１を備える。ドライバ１３７は、シャッタ駆動用モータ１３８を駆動する。シャッタ駆動用モータ１３８は、シャッタ１３１を駆動する。角速度検出部１７１は、撮像装置に加わる振れを検出して、角速度信号（振れ検出信号）をカメラマイコン１４１に出力する。距離検出部１８１は、被写体までの距離を検出する。マウント接点部１４４は、カメラ本体１３０と交換レンズ１００との通信を中継する。

カメラマイコン１４１は、カメラ本体１３０全体を制御する。例えば、カメラマイコン１４１は、カメラ信号処理回路１３４を制御することで撮像画像から取得される動きベクトルに基づいて、像ブレ補正に用いられる被写体の角速度（被写体角速度）を算出する。また、カメラマイコン１４１は、交換レンズ１００のレンズマイコン１１２との間で、各種の情報（例えば流し撮りアシストの制御に必要な被写体角速度の情報など）を通信する。

カメラマイコン１４１は、シャッタ制御部１５１、被写体角速度算出部１５２、シャッタ速度算出部１５３、ズーム流し撮り制御部１５４を備える。シャッタ制御部１５１は、ドライバ１３７に指示して、シャッタ動作を制御する。被写体角速度算出部１５２は、上述した被写体角速度を算出する。被写体角速度算出部１５２は、算出した被写体角速度をレンズマイコン１１２に対して送信する。具体的には、動きベクトル検出部１４５によって、画像の動き量が動きベクトルとして検出されるので、被写体角速度算出部１５２は、検出された動きベクトルから被写体に対応するベクトル（被写体ベクトル）を正確に検出する。そして、被写体角速度算出部１５２は、検出された被写体ベクトルに基づいて、被写体角速度を算出する。カメラマイコン１４１は、算出された被写体角速度をレンズマイコン１１２に対して送信する。シャッタ速度算出部１５３は、流し撮りに適したシャッタ速度を算出する。ズーム流し撮り制御部１５４は、フレーム毎に撮影画角に写る被写体を一定の大きさで写すようにズーム位置を制御する。

以上の説明から、本実施形態の光学機器は、補正手段を光軸と直交する方向に駆動して像ブレ補正を行う像ブレ補正装置を備えている。そして、カメラマイコン１４１とレンズマイコン１１２とが、撮像画像から得られる被写体角速度に基づいて、シフトレンズ１０４を駆動することにより、流し撮り時の被写体に係る像ブレを補正する制御部として機能する。制御部は、撮影シーンを含む被写体情報に基づいて、撮影シーンに応じた被写体ブレの補正位置を決定し、被写体ブレの補正位置に基づき算出される被写体角速度に基づいて、シフトレンズ１０４を駆動する。

図１において、操作部１３６によりカメラ本体１３０の電源がＯＮされると、電源がＯＮとなったことをカメラマイコン１４１が検出し、カメラマイコン１４１の制御によりカメラ本体１３０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズマイコン１１２の制御により、交換レンズ１００内の初期設定が行われる。そして、レンズマイコン１１２とカメラマイコン１４１との間で所定のタイミングで通信が開始される。この通信で、カメラ本体１３０から交換レンズ１００へ送られる通信データは、例えば、カメラの状態、撮影設定等である。また、交換レンズ１００からカメラ本体１３０へ送られる通信データは、例えば、レンズの焦点距離情報、角速度情報等である。

図２は、撮像装置の手振れ補正制御に関する構成の一例を示す図である。
交換レンズ１００内では、角速度検出部１１１が手振れ等によって撮像装置に加わる振れを検出し、手振れ補正制御部１２１によって、手振れ補正制御が行われる。図２の説明において、図１と共通の構成については、同じ符号を付し説明を省略する。

手振れ補正制御部１２１は、オフセット除去部２０１乃至パルス幅変調部２０８を備える。オフセット除去部２０１は、例えばハイパスフィルタ（以下、ＨＰＦ）等を有するフィルタ演算部であり、角速度検出部１１１の出力に含まれている直流成分の除去を行う。利得位相算出部２０２は、オフセット除去部２０１によってオフセット成分が除去された角速度信号に対して増幅および位相補償を行う。このために、利得位相算出部２０２は、角速度信号を所定のゲインで増幅する増幅器と、角速度信号に対して位相補償を行う位相補償フィルタを備える。

積分器２０３は、任意の周波数帯域でその特性を変更し得る機能を有しており、利得位相算出部２０２の出力を積分し、シフトレンズ１０４の駆動量を算出する。積分器２０３は、角速度検出部１１１の角速度が一定値以上の大きさで所定時間経過した場合は、パンニング中と判定し、オフセット除去部２０１のＨＰＦのカットオフ周波数を高周波側に除々に変更する。積分器２０３が、カットオフ周波数を高周波側へ除々に変更することで、手振れ補正制御の目標信号が除々に小さくなり、補正光学系（シフトレンズ）を光学中心位置に戻す。パンニング中と判定されるほどの大きな角速度を、カットオフ周波数を高周波側へ変更せずに補正光学系で補正してしまうと、補正光学系は補正限界点に達してしまい、撮影者に不自然な画角変化が見えてしまうからである。

防振制御判定部２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、カメラ情報取得部２２６の出力に応じてシフトレンズ１０４を駆動させるための信号を、以下のように切り替える。

（１）撮影モードが流し撮りアシストモードに設定されている場合
防振制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択する。
（２）撮影モードが流し撮りアシストモード以外に設定されている場合
防振制御判定部２０４は、手振れ補正制御部１２１で算出された積分器２０３の出力を選択する。

位置検出部１０５は、シフトレンズ１０４の位置を検出し、位置検出信号をアンプ１１４が増幅する。Ａ（アナログ）／Ｄ（デジタル）変換器２０６は、アンプ１１４が増幅した位置検出信号をデジタル化して減算器２０５に出力する。減算器２０５は、防振制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部２０８に出力される。パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。シフトレンズ１０４の駆動にはボイスコイル型モータが使用され、ドライバ１１３は、パルス幅変調部２０８の出力にしたがって、シフトレンズ１０４を撮像光学系の光軸と垂直な方向に移動させる。

次に、流し撮りアシストモードにおける制御について説明する。
図１および図２を参照して、流し撮り制御部１２２について説明する。ユーザが操作部１３６により、流し撮りアシストモードに設定する操作を行うと、カメラマイコン１４１は流し撮りアシストの制御に切り替える。また、その切り替えを示す情報がカメラマイコン１４１からレンズマイコン１１２へと送信され、レンズマイコン１１２が、流し撮りアシストの制御に切り替わる。カメラ情報取得部２２６（図２）は、通信制御部２１１を介してカメラマイコン１４１から送信されてくる各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。カメラ情報取得部２２６は、防振制御判定部２０４に対し、判定処理に必要な情報を出力する。

角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度信号を取得する。角速度出力部２２２は、通信制御部２１１とマウント接点部１１５を介して、カメラマイコン１４１へ角速度信号を送信する。被写体角速度取得部２２３は、カメラ本体部１３１内の被写体角速度算出部１５２で算出される被写体角速度を、マウント接点部１４４，１１５と通信制御部２１１を介して取得する。そして、被写体角速度取得部２２３は、取得した被写体角速度に基づいて、被写体ブレを補正する際の、シフトレンズ１０４の駆動量の算出に用いられる被写体角速度を出力する。減算器２２４は、オフセット除去部２０１の出力を正入力とし、被写体角速度取得部２２３の出力を負入力として、減算を行う。被写体角速度取得部２２３が出力する被写体角速度から、オフセット成分が除去された角速度信号が示す角速度が減算されることで、偏差が算出される。減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を防振制御判定部２０４に出力する。

図３は、流し撮りアシストの制御として行われる被写体ブレの補正の一例を説明するフローチャートである。
図３中のＳは、本フローチャートでの各処理を示すステップ番号である。Ｓ３０１において、カメラマイコン１４１が、交換レンズ１００内のシフトレンズ１０４の位置情報を取得する。式１で示すように、本来動きベクトル検出部１４５が検出するベクトル値δｖは、撮像装置の角速度を撮像面上の変位量δｇへ換算した値とシフトレンズ１０４の駆動量を撮像面上の変位量δｏに換算した値を加算したものでなければいけないからである。
δｖ＝δｇ＋δｏ・・・（式１）

次に、Ｓ３０２において、カメラマイコン１４１が、交換レンズ１００内の角速度検出部１１１とカメラ本体１３０内の角速度検出部１７１が出力する角速度信号を取得する。カメラマイコン１４１は、焦点距離［ｍｍ］、フレームレート［ｆｒａｍｅ／ｓｅｃ］、画素ピッチ［ｕｍ／ｐｉｘｅｌ］を用いて、角速度信号が示す角速度［ｄｅｇ／ｓｅｃ］を撮像面上の移動量［ｐｉｘｅｌ／ｆｒａｍｅ］に換算する。

次に、Ｓ３０３において、動きベクトル検出部１４５が、複数のフレーム間における画像の動き量を示す動きベクトルを検出する。続いて、Ｓ３０４において、カメラマイコン１４１が、少なくとも撮影シーンを含む被写体情報を取得する。カメラマイコン１４１は、例えば、所定のＭＥＮＵ画面等を用いた設定に応じて、撮影シーンや、被写体の種類の情報を被写体情報として取得する。また、カメラマイコン１４１は、撮影に係る構図も被写体情報として取得する。撮影シーンは、例えば、モータースポーツ、車両、船舶または飛行機の操縦シーンといった、主たる被写体が操縦者となり得る、移動体の操縦シーンを含む。また、撮影シーンは、例えば、主たる被写体が移動体自体となる、移動体の走行／飛行シーンを含む。

また、Ｓ３０４においては、カメラマイコン１４１は、さらに、カメラマイコン１４１が備える不図示の被写体検出部が、撮像画像の輝度情報、色情報または画像の動きベクトル等に基づいて行う被写体の検出結果を示す情報（被写体検出情報）も取得する。被写体検出部は、例えば、撮像画像内の特徴部分（例えば、頭部やヘルメット等）を被写体として検出する。

Ｓ３０５において、カメラマイコン１４１が、Ｓ３０１乃至Ｓ３０３で取得された情報に基づいて、動きベクトルに関するヒストグラムを算出する。ヒストグラムの詳細に関しては、後述する。続いて、Ｓ３０６において、カメラマイコン１４１が、Ｓ３０４で算出したヒストグラムに基づいて、被写体ベクトル群が検出できたかを判断する。被写体ベクトル群が検出された場合は、処理がＳ３０７に進む。被写体ベクトル群が検出されていない場合は、処理がＳ３０１に進み、次のフレームを対象に処理が実行される。

図４は、被写体ベクトル群の検出を説明する図である。
図４に示すヒストグラムは、図３のＳ３０５で算出されるヒストグラムの一例である。横軸は、ベクトル値を示す。縦軸は、度数を示す。

動きベクトル検出部１４５によって、所定位置に配置されたベクトル検出枠内の各ブロックにおいて、１フレーム前のフレームとの動き量がベクトル値として検出される。カメラマイコン１４１は、ヒストグラムに基づいて、撮像面上の移動量δｇに換算した角速度情報４０１を起点に、背景範囲４０２内に存在する動きベクトルを背景ベクトル群４０３であると判定する。カメラマイコン１４１は、背景範囲４０２外に存在する動きベクトルであって、度数が所定の閾値４０４以上を超えているベクトルを被写体ベクトル群４０５であると判定する。なお、背景範囲４０２については、焦点距離や動きベクトル検出部１４５による動きベクトルの検出精度に応じて、長さを可変としてもよい。また、カメラマイコン１４１は、以下のようにして被写体ベクトル群が検出されたかを判定してもよい。すなわち、カメラマイコン１４１は、角速度信号に代えて、焦点調節処理（オートフォーカス）で得られるデフォーカス量に基づいて、合焦枠のデフォーカス量を起点に所定範囲の深度差の領域に存在するベクトルを被写体ベクトル群と判定してもよい。そして、カメラマイコンは、所定範囲の深度差の領域外に存在するベクトルを背景ベクトル群と判定してもよい。また、カメラマイコン１４１は、デフォーカス量と角速度信号を併用して被写体ベクトル群と背景ベクトル群の判定を行ってもよい。

図３の説明に戻る。Ｓ３０７において、カメラマイコン１４１が、Ｓ３０４で被写体検出部から取得した被写体検出情報に基づいて、被写体を検出できているかを判断する。例えば、被写体検出情報に基づく被写体の検出に関する信頼度が所定値以上である場合、カメラマイコン１４１は、被写体が検出されていると判断する。被写体を検出できている場合は、処理がＳ３０８に進む。例えば、図６（Ａ）に示すモータースポーツの撮影シーンにおいて、被写体の特徴部分であるオートバイの操縦者の頭部またはヘルメットの位置を検出できている場合に、精度よく被写体が検出できている。また、例えば、被写体の検出に関する信頼度が所定値未満である場合、カメラマイコン１４１は、被写体が検出されていないと判断する。被写体を検出できていない場合は、処理がＳ３０９に進む。

次に、Ｓ３０８において、カメラマイコン１４１が、被写体ブレの補正のためのシフトレンズ１０４の駆動量の算出に用いる被写体角速度を算出する。具体的には、カメラマイコン１４１は、Ｓ３０５で検出した被写体ベクトル群４０５のうち、被写体ブレの補正に用いる被写体ベクトルを選択する。その理由は、被写体の位置によってベクトル値は変わる場合があるからである。例えば、撮影者が、直線運動をしている電車を流し撮りする場合、電車の車輛前方と車輛後方とでベクトル値が異なる。撮像装置の撮影方向を変えずに、撮像装置を被写体と同じ速度で一緒に動くように動かせば、被写体の前方も後方も同等のベクトル値になる。しかし、実際の流し撮りでは、撮影者は、撮像装置を被写体に対して並行に振るのではなく、角度変化を伴って振る。したがって、撮像装置から被写体を見たときに、被写体の前方と後方のベクトルとが異なる。焦点距離が広角になり、撮影距離が近くなる程、被写体の前方と後方のベクトルとが大きく異なるようになる。逆に、撮影距離が無限に長い場合は、被写体と並走しながら撮影するのと同等となるので、被写体全体が止まりやすくなる。

この例では、Ｓ３０７において、被写体が検出されていると判断されている。したがってカメラマイコン１４１は、検出されている被写体に対応する動きベクトル（被写体ベクトル）を選択する。例えば、図６（Ａ）に示すベクトル検出枠６０３で検出される被写体ベクトル群のうち、被写体検出枠６０２に対応する被写体ベクトルが選択される。言い換えると、カメラマイコン１４１は、被写体検出枠６０２の位置を流し撮りの芯として決定し、当該決定した位置から被写体ベクトルを取得する。カメラマイコン１４１は、選択した被写体ベクトルに基づいて、被写体角速度を算出する。そして、処理がＳ３１６に進む。

また、Ｓ３０９乃至Ｓ３１５において、カメラマイコン１４１が、Ｓ３０４で取得された被写体情報に基づき、撮影シーンに応じた被写体ブレの補正位置すなわち流し撮りの芯の決定処理と、流し撮りの芯の位置に対応する被写体角速度の算出処理とを実行する。

Ｓ３０９において、カメラマイコン１４１は、撮影シーンが移動体の操縦シーンであるかを判断する。この例では、カメラマイコン１４１は、撮影シーンがモータースポーツであるかを判断する。撮影シーンがモータースポーツでない場合は、処理がＳ３１５に進む。撮影シーンがモータースポーツである場合は、処理がＳ３１０に進む。なお、Ｓ３０９では、カメラマイコン１４１は、撮影シーンがモータースポーツであるかを判断するが、撮影シーンが他の任意の移動体の操縦シーン（例えば、競輪）であるかを判断してもよい。

次に、Ｓ３１０乃至Ｓ３１４の処理によって、カメラマイコン１４１が、構図に基づいて決まる移動体の進路に対する撮影位置に応じて、流し撮りの芯の決定処理を異ならせる。Ｓ３１０において、カメラマイコン１４１は、構図が内側撮影を示すかを判断する。構図が内側撮影を示すことは、撮影者が移動体（例えばオートバイ）の進路（コース）の内側から撮影していることを意味する。構図が内側撮影を示す場合は、カメラマイコン１４１は、構図に応じて決まる被写体の特徴部分の位置を、流し撮りの芯として決定する。そして、処理がＳ３１１に進む。予め、構図と、被写体の特徴部分となる可能性の高い位置との対応情報を記憶手段に記憶させておき、カメラマイコン１４１が、記憶手段内の上記対応情報に基づいて、当該構図に対応する、被写体の特徴部分となる可能性の高い位置を流し撮りの芯としてもよい。被写体の特徴部分となる可能性の高い位置は、例えば、オートバイの走行方向が右である場合は、画角内の中心より左上の位置などである。また、被写体の特徴部分となる可能性の高い位置との対応情報を入力データとして機械学習により生成された学習モデルを利用して、構図に対応する流し撮りの芯を決定してもよい。また、被写体の特徴部分となる可能性の高い位置を、合焦枠の位置から所定の画素数分だけ所定の方向（例えば左方向）に離れた位置としてもよい。

構図が内側撮影でなく、外側撮影を示す場合は、カメラマイコン１４１は、焦点検出領域の近傍の位置を、流し撮りの芯として決定する。そして、処理がＳ３１５に進む。構図が外側撮影を示すことは、撮影者が移動体の進路の外側から撮影していることを意味する。カメラマイコン１４１が、構図が内側撮影か外側撮影かを、ＧＰＳの位置情報と磁気センサで検知される地磁気の方向とから撮影方位を求めて判断してもよい。

図６は、モータースポーツでのオートバイの操縦に関する撮影シーンを示す図である。
図６を参照して、構図に応じて流し撮りの芯を決定する理由について説明する。図６（Ａ）は、被写体がヘアピンコーナーに進入するシーンを撮影者が走行コースの内側から撮影する構図を示す。また、図６（Ｂ）は、被写体がヘアピンコーナーに進入するシーンを撮影者が走行コースの外側から撮影する構図を示す。

図６（Ａ）に示す構図において、撮影者は、オートフォーカスの方式を１点ＡＦに設定して流し撮りしているとする。オートフォーカスの合焦位置は、合焦枠６０１で囲まれる領域である。合焦枠６０１は、焦点検出領域を示し、図６（Ａ）に示す例では、オートバイの先頭部分の領域に対応する。図６（Ａ）の構図では、撮影者が流し撮りの芯としたい位置は、枠６０２で囲まれるヘルメット部分の領域である。これは、合焦枠６０１と枠６０２の位置において深度差は殆ど変わらないことと、ヘルメットの位置に合わせて１点ＡＦ枠をあて続けることは困難であるからである。したがって、本実施形態において、カメラマイコン１４１は、図６（Ａ）に示す構図に対応する流し撮りの芯を、被写体の特徴部分であるヘルメットの位置に決定する。カメラマイコン１４１は、ピンポイントでヘルメットの位置を流し撮りの芯とせずに、ヘルメットが存在する可能性が高い画角内の左上の位置を流し撮りの芯としてもよい。

一方、図６（Ｂ）に示す構図において、合焦枠６０１は、オートバイの側面を捉えている。図６（Ｂ）の構図では、被写体は重心を傾けているため、被写体のヘルメットがオートバイに隠れてしまう。図６（Ｂ）の構図においては、オートバイ側面に合焦位置を設定し、流し撮りの芯も合焦枠の近傍であることが望ましい。したがって、本実施形態において、カメラマイコン１４１は、図６（Ｂ）に示す構図に対応する流し撮りの芯を、合焦枠６０１の近傍の位置に決定する。以上のように、撮影するシーンとカメラの設定や撮影者の撮影意図も考慮して、構図によって流し撮りの芯を選択する位置を変える必要がある。

図３の説明に戻る。Ｓ３１１において、カメラマイコン１４１が、動きベクトルの検出領域を複数の領域にグループ化する。例えば、図６に示す全ベクトル検出枠６０３を対象とし、ｍ×ｎ個のベクトル検出枠を１つの領域として、グループ化を行う。

次に、Ｓ３１２において、カメラマイコン１４１が、グループ化により得られる複数の領域において、ヒストグラム算出を行い、被写体ベクトルが検出できたかを判断する。被写体ベクトルが検出できた場合は、処理がＳ３１３に進む。被写体ベクトルが検出できなかった場合は、処理がＳ３１４に進む。

Ｓ３０５では、全ベクトル検出枠６０３に対してヒストグラム算出が行われる。一方、Ｓ３１２では、カメラマイコン１４１は、グループ化により得られる複数の領域のうち、流し撮りの芯に対応する領域から検出される動きベクトルに基づくヒストグラム算出を行う。

図６（Ａ）の構図においては、被写体は、画面右方向に進行しており、撮影者は、走行コース内側から撮影をしているので、流し撮り芯として、例えば、ヘルメットの位置が決定される。カメラマイコン１４１は、グループ化された領域のうち、流し撮りの芯に対応する領域である領域６０４乃至領域６０８を対象として、順次ヒストグラム算出を行い、被写体ベクトルが検出されたかを判断する。カメラマイコン１４１は、構図に応じて決まる、流し撮りの芯としての信頼度が高い位置に対応する領域から、順次被写体ベクトルを探索してもよい。カメラマイコン１４１は、ある領域から、ｍ×ｎ個のベクトル検出枠に対して予め設定した閾値（例えば、ｍ×ｎ／２）以上のベクトル検出枠で被写体ベクトルが検出されない場合は、その次の領域に探索対象を変える。

図６（Ａ）を例にとって説明すると、領域６０４では１６個のベクトル検出枠のうち、被写体ベクトルが検出されたベクトル検出枠が２個である場合を想定する。この場合、被写体ベクトルが検出されたベクトル検出枠の個数が閾値（例えば８個）未満である。したがって、カメラマイコン１４１は、領域６０４の次に領域６０５を対象に被写体ベクトルの探索を行う。そして、カメラマイコン１４１は、例えば、閾値以上のベクトル検出枠で被写体ベクトルが検出された領域を、被写体角速度の算出に用いる。カメラマイコン１４１は、閾値以上のベクトル検出枠で被写体ベクトルが検出できた時点でヒストグラム算出を停止してもよい。

Ｓ３１３において、カメラマイコン１４１が、Ｓ３１２で検出された被写体ベクトルに基づいて、シフトレンズ１０４の駆動量の算出に用いる被写体ベクトルを算出する。例えば、カメラマイコン１４１は、Ｓ３１２で検出された被写体ベクトルの平均値に基づいて、被写体ブレを補正する際のシフトレンズ１０４の駆動量を算出するための被写体ベクトルを算出する。そして、処理がＳ３１６に進む。なお、被写体ベクトルの算出方法は、上述した方法に限定されない。カメラマイコン１４１は、例えば、全ベクトル検出枠６０３から被写体ベクトルの検出処理を行って、得られた被写体ベクトルに重み付けを行ってもよい。そして、カメラマイコン１４１は、流し撮りの芯の近傍から得られた被写体ベクトルの重みを他の領域から得られた被写体ベクトルの重みよりも大きくして、シフトレンズ１０４の駆動量を算出するための被写体ベクトルを算出してもよい。

Ｓ３１４において、カメラマイコン１４１は、流し撮りの芯として決定される合焦枠の近傍で被写体ベクトルの検出処理を実行する。そして、カメラマイコン１４１は、検出された被写体ベクトルに基づいて、シフトレンズ１０４の駆動量を算出するための被写体角速度を算出する。そして、処理がＳ３１６に進む。

また、Ｓ３１５において、カメラマイコン１４１は、Ｓ３０９乃至Ｓ３１４での処理と同様に、撮影シーンと構図とに基づいて、流し撮りの芯を決定する。そして、カメラマイコン１４１は、決定した流し撮りの芯に対応する領域を対象に被写体ベクトルの探索処理を行う。これにより、カメラマイコン１４１は、決定した流し撮りの芯に対応する領域から得られる被写体ベクトルに基づいて、シフトレンズ１０４の駆動量を算出するための被写体角速度を算出する。

Ｓ３１６において、カメラマイコン１４１が、Ｓ３０８、Ｓ３１３またはＳ３１４において算出した被写体角速度と、１フレーム前の被写体角速度との差分を求めることによって、被写体角加速度を算出する。

次に、Ｓ３１７において、カメラマイコン１４１が、撮影者によってレリーズ釦が押下げられて露光開始の指示がされたかを判断する。露光開始の指示がされた場合は、処理がＳ３１８に進む。露光開始の指示がされていない場合は、処理がＳ３０１に戻る。

Ｓ３１８において、カメラマイコン１４１が、露光前の被写体角速度と、Ｓ３１６で算出した被写体角加速度とを交換レンズ１００のレンズマイコン１１２に送信する。レンズマイコン１１２は、カメラマイコン１４１から受信した被写体角速度と被写体角加速度とに基づいて、露光期間中における被写体角速度を算出（推定）する。これにより、レリーズ釦が押下げされてから露光開始までのレリーズタイムラグを考慮した、露光期間中における被写体角速度が算出される。

次に、Ｓ３１９において、レンズマイコン１１２が、Ｓ３１８で算出された被写体角速度に基づいて、補正光学系であるシフトレンズ１０４を駆動させる。これにより、被写体ブレが補正される。続いて、Ｓ３２０において、カメラマイコン１４１が、所定の露光時間が経過したかを判断する。露光時間が経過した場合は、処理を終了する。そして、現像完了後、次のフレームから図３を参照して説明した処理が開始される。露光時間が経過していない場合は、処理がＳ３１９に戻る。

（実施例２）
撮像装置が自動で決定した流し撮りの芯の位置が、撮影者の意図していない位置に存在している可能性がある。実施例２の撮像装置は、撮像装置が決定した流し撮りの芯に対応する情報と、撮影者が指定した流し撮りの芯に対応する情報との差分に基づいて、撮影者の意図通りに被写体ブレの補正を実行する。

図７は、流し撮りの芯を指定するために用いられるユーザインタフェース（ＵＩ）の一例を示す図である。また、図５は、撮像装置と被写体とが成す角度と、算出される被写体角速度および被写体角加速度との関係の一例を示す図である。図５（Ａ）は、被写体の移動状態に応じた撮像装置と被写体とが成す角度を示す。図５（Ｂ）は、撮像装置と被写体とが成す角度と、被写体角速度との関係を示す。図５（Ｃ）は、撮像装置と被写体とが成す角度と、被写体角加速度との関係を示す。

撮影後に、撮影モードから再生モードに遷移すると、カメラマイコン１４１が、図７に示すＵＩを表示する。このＵＩにおいて、カメラマイコン１４１は、今回の撮影において用いた流し撮りの芯の位置７０１をピーキング表示する。撮影者は、ピーキング表示された位置７０１が、自身が意図していた流し撮りの芯の位置であるかを判断する。位置７０１が、撮影者が意図していた流し撮りの芯とは異なる場合、撮影者は、図７のＵＩを用いて、自身が流し撮りの芯として意図していた位置７０２を指定する。カメラマイコン１４１は、位置７０２と位置７０１の差分を算出して記憶する。

次回以降の撮影において、カメラマイコン１４１は、図３のＳ３０１乃至Ｓ３１６において、図５（Ｂ）に示す第１の被写体角速度５０１と、図５（Ｃ）に示す第１の被写体角加速度５０２を算出する。第１の被写体角速度５０１は、被写体情報または被写体の検出結果（Ｓ３０７）に基づいて算出される被写体角速度である。

また、カメラマイコン１４１は、撮影者が意図する位置における第２の被写体角速度５０３（図５（Ｂ））と、第２の被写体角加速度（図５（Ｃ））を算出する。撮影者が意図する位置は、図３のＳ３０１乃至Ｓ３１６の処理で決定される流し撮りの芯の位置と、過去の撮影後に図７のＵＩを用いて指定された位置７０２と位置７０１の差分とに基づき決定することができる。つまり、第２の被写体角速度５０３は、図７のＵＩを用いて指定された流し撮りの芯の位置に関する情報に基づき算出される被写体角速度である。

カメラマイコン１４１は、第１の被写体角速度５０１と第２の被写体角速度５０３との差分（第１の差分）を算出する。また、カメラマイコン１４１は、第１の被写体角加速度５０３と第２の被写体角加速度５０４との差分（第２の差分）を算出する。カメラマイコン１４１は、第１の差分または第２の差分と、所定の閾値との比較結果に基づいて、被写体ブレの補正の際のシフトレンズ１０４の駆動量の算出に用いる被写体角速度を決定する。

例えば、第１の差分が閾値以上である場合、現在の撮影シーンが、位置７０２が指定された過去の撮影シーンとは異なる撮影シーンである可能性が高い。被写体が過去の撮影シーンから変更された場合や、被写体が急速に加速した場合などには、第１の差分が閾値以上となる。第２の差分が閾値以上である場合も、同様である。したがって、カメラマイコン１４１は、第１の差分または第２の差分が閾値以上である場合は、以下の処理を実行する。カメラマイコン１４１は、第１の被写体角速度５０１と第１の被写体角加速度５０２とを、被写体ブレの補正に用いるシフトレンズ１０４の補正量を算出するための被写体角速度と被写体角加速度として決定する。

また、カメラマイコンは、第１の差分または第２の差分が閾値未満である場合は、以下の処理を実行する。カメラマイコン１４１は、第２の被写体角速度５０３と第２の被写体角加速度５０４とを、被写体ブレの補正に用いるシフトレンズ１０４の補正量の算出のための被写体角速度と被写体角加速度として決定する。

なお、カメラマイコン１４１は、被写体ブレの補正のための被写体角速度と被写体角加速度の算出のために、第１の差分と第２の差分のうちのいずれか一方のみを用いてもよいし、第１の差分と第２の差分の双方を用いてもよい。例えば、カメラマイコン１４１は、第１の差分が閾値未満であり、かつ、第２の差分が閾値未満である場合に、第２の被写体角速度５０３と第２の被写体角加速度５０４とを、被写体ブレの補正のための被写体角速度と被写体角加速度としてもよい。以上説明した実施例２の撮像装置によれば、撮影者の意図通りに被写体ブレの補正を実行することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 交換レンズ
１３０ カメラ本体

Claims (17)

1. 撮像画像に基づいて、被写体角速度を算出する算出手段と、
   前記算出された被写体角速度に基づいて、補正手段を駆動することにより、流し撮り時の被写体に係る像ブレを補正する制御手段と、を有し、
   前記制御手段は、撮影シーンを含む被写体情報に基づいて、前記撮影シーンに応じた前記被写体に係る像ブレの補正位置を決定し、前記像ブレの補正位置に基づき算出される前記被写体角速度に基づいて、前記補正手段を駆動する
   ことを特徴とする光学機器。
2. 前記算出手段は、
   前記制御手段によって決定された像ブレの補正位置に対応する動きベクトルに基づいて、前記被写体に係る像ブレを補正する際の前記補正手段の駆動量を算出するための被写体角速度を算出する
   ことを特徴とする請求項１に記載の光学機器。
3. 前記被写体情報は、被写体の種類と構図とを含む
   ことを特徴とする請求項１または請求項２に記載の光学機器。
4. 前記制御手段は、前記被写体情報に含まれる撮影シーンが、移動体の操縦シーンである場合に、前記構図に基づいて、前記被写体に係る像ブレの補正位置を決定する
   ことを特徴とする請求項３に記載の光学機器。
5. 前記制御手段は、前記構図に基づいて決まる前記移動体の進路に対する撮影位置に応じて、前記像ブレの補正位置の決定処理を異ならせる
   ことを特徴とする請求項４に記載の光学機器。
6. 前記制御手段は、前記構図が、前記移動体の進路の内側からの撮影を示す場合に、前記構図に応じて決まる前記被写体の特徴部分の位置を、前記像ブレの補正位置として決定する
   ことを特徴とする請求項４または請求項５に記載の光学機器。
7. 前記撮像画像から動きベクトルを検出するベクトル検出手段を有し、
   前記算出手段は、前記構図が、前記移動体の進路の内側からの撮影を示す場合に、
   前記撮像画像からの動きベクトルの検出領域を複数の領域にグループ化し、前記複数の領域のうち、前記決定された前記像ブレの補正位置に対応する領域から被写体ベクトルを検出し、前記検出された被写体ベクトルに基づいて、前記被写体に係る像ブレを補正する際の前記補正手段の駆動量を算出するための被写体角速度を算出する
   ことを特徴とする請求項６に記載の光学機器。
8. 前記制御手段は、前記構図が、前記移動体の進路の外側からの撮影を示す場合に、焦点検出領域の近傍の位置を前記像ブレの補正位置として決定する
   ことを特徴とする請求項５乃至７のいずれか１項に記載の光学機器。
9. 前記移動体は、車両、船舶、または飛行機である
   ことを特徴とする請求項５乃至８のいずれか１項に記載の光学機器。
10. 前記移動体の操縦シーンは、モータースポーツである
    ことを特徴とする請求項５乃至９のいずれか１項に記載の光学機器。
11. 前記撮像画像の輝度情報または色情報に基づいて、被写体を検出する被写体検出手段を有し、
    前記算出手段は、前記撮像画像から被写体が検出された場合は、前記検出された被写体に対応する動きベクトルに基づいて、前記補正手段の駆動量を算出するための被写体角速度を算出する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の光学機器。
12. 前記制御手段は、前記被写体検出手段によって前記被写体が検出できない場合に、前記被写体情報に基づいて、前記撮影シーンに応じた前記被写体に係る像ブレの補正位置を決定する
    ことを特徴とする請求項１１に記載の光学機器。
13. 撮影後に、前記被写体に係る像ブレの補正位置を指定するために用いられるユーザインタフェースを表示する表示手段を有する
    ことを特徴とする請求項１１または請求項１２に記載の光学機器。
14. 前記算出手段は、前記ユーザインタフェースを用いて前記像ブレの補正位置が指定された場合は、次回以降の撮影において、前記指定された像ブレの補正位置に関する情報に基づき算出される被写体角速度に基づいて、前記補正手段の駆動量を算出するための被写体角速度を算出する
    ことを特徴とする請求項１３に記載の光学機器。
15. 前記算出手段は、前記次回以降の撮影において、前記被写体情報または前記検出手段による前記被写体の検出結果に基づいて算出される第１の被写体角速度と、前記指定された像ブレの補正位置に関する情報に基づき算出される第２の被写体角速度との差分が閾値未満である場合は、前記第２の被写体角速度を前記補正手段の駆動量を算出するための被写体角速度とする
    ことを特徴とする請求項１４に記載の光学機器。
16. 被写体光を光電変換して前記撮像画像に係る信号を出力する撮像手段と、請求項１乃至１５のいずれか１項に記載の光学機器とを有することを特徴とする撮像装置。
17. 撮像画像に基づいて、被写体角速度を算出する算出工程と、
    前記算出された被写体角速度に基づいて、補正手段を駆動することにより、流し撮り時の被写体に係る像ブレを補正する制御工程と、を有し、
    前記制御工程では、撮影シーンを含む被写体情報に基づいて、前記撮影シーンに応じた前記被写体に係る像ブレの補正位置を決定し、前記像ブレの補正位置に基づき算出される前記被写体角速度に基づいて、前記補正手段を駆動する
    ことを特徴とする光学機器の制御方法。

Images