JP2024037524A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】像ブレ補正手段の駆動により撮像装置に加わる反力が像ブレ補正の精度に与える影響を良好に抑制することを可能とする撮像装置を提供する。【解決手段】像ブレを光学的に補正するブレ補正機構と、像ブレを、撮像画像に対する画像処理により補正する幾何変形部１１０とを有する撮像装置を設ける。撮像装置が、ブレ補正機構の駆動情報を取得し、取得された駆動情報に基づいて、ブレ補正機構の駆動により撮像装置に加わる反力を予測する。そして、撮像装置が、反力の予測結果に基づいて、ブレ補正機構による像ブレ補正の実行と幾何変形部１１０による像ブレ補正の実行の割合を制御する。【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関する。

デジタルカメラ等の撮像装置に手ぶれ等が加わることによって生じる画像のブレ（像ブレ）を補正する像ブレ補正機能を有する撮像装置が提案されている。また、昨今の防犯や防災に関する意識の高まりにより、監視カメラの普及が進むと予想される。しかし、様々な環境下において監視システムを構築しようとすると、監視カメラが不安定な状態で設置される場合が考えられる。例えば、監視カメラが、不整地の地面の上に設置されたり、簡便な方法で固定されたりする状況が考えられる。また、例えば、監視カメラが、天井に吊り下げて設置され、固定されていない状況が考えられる。このような状況で設置された監視カメラの場合、像ブレ補正手段（ＩＳ：Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）の駆動によって慣性力（反力）が発生し、ジャイロが揺すられてしまうことがある。そして、揺すられた監視カメラの動きを振れ検出手段としてのジャイロが検出し、検出した動きがＩＳの駆動機構にフィードバックされることで、像ブレ補正の精度が低下してしまう。

特許文献１は、連続で撮影された複数枚の画像を位置合わせした後に合成処理を施す撮像装置を開示している。この撮像装置は、ある時点で検出された画像間の位置ずれ量から次に取得される画像の位置ずれ量を予測し、予測値を用いて検出された位置ずれから次に取得される画像の位置ずれを予測して、光学的に画像の像ブレを補正する。

特開２０１８－２２９６４号公報

特許文献１が開示する撮像装置は、位置ずれ量を予測し、予測値に基づいて像ブレ補正手段の制御を行う。しかし、この撮像装置では、像ブレ補正手段の駆動により撮像装置に加わる反力が像ブレ補正の精度に与える影響を良好に抑制することができない。本発明は、像ブレ補正手段の駆動により撮像装置に加わる反力が像ブレ補正の精度に与える影響を良好に抑制することを可能とする撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮像装置に加わる振れによって生じる像ブレを光学的に補正する第１の像ブレ補正手段と、撮像装置に加わる振れによって生じる像ブレを、撮像画像に対する画像処理により補正する第２の像ブレ補正手段と、前記第１の像ブレ補正手段の駆動情報を取得する取得手段と、前記取得された駆動情報に基づいて、前記第１の像ブレ補正手段の駆動により前記撮像装置に加わる反力を予測する予測手段と、前記反力の予測結果に基づいて、前記第１の像ブレ補正手段による像ブレ補正と前記第２の像ブレ補正手段による像ブレ補正の割合を制御する制御手段と、を有する。

本発明の撮像装置によれば、像ブレ補正手段の駆動により撮像装置に加わる反力が像ブレ補正の精度に与える影響を良好に抑制することが可能となる。

本実施形態の撮像装置の構成例を示す図である。 実施例１の撮像装置の動作処理を説明するフローチャートである。 テンプレートマッチングを説明する図である。 ブレ補正機構の駆動により撮像装置に加わる反力を説明する図である。 ブレ補正機構の駆動による反力の推定方法の一例を説明する図である。 ブレ補正機構の駆動による反力の推定方法の一例を説明する図である。 ブレ補正機構の駆動による反力の推定方法の一例を説明する図である。 所定の重量バランスを有する撮像装置の設置例を示す図である。 実施例２の撮像装置の構成を示す図である。 実施例２の撮像装置の動作処理を説明するフローチャートである。 補正割合判定部の機能ブロック図の一例である。

（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、撮像光学系１０１乃至制御部１１２を有する。
撮像光学系１０１は、被写体光を形成する光学系である。撮像光学系１０１は、フォーカスレンズ、ズームレンズの他、撮像装置に加わる振れにより撮像画像に生じるブレ（像ブレ）を補正するブレ補正機構（第１の像ブレ補正手段）を有する。ブレ補正機構は、例えばシフトレンズ等の光学部材を有する。ブレ補正機構が駆動し、例えばシフトレンズが撮像光学系１０１の光軸に垂直な平面内で移動することで、像ブレを光学的に補正することができる。

撮像素子１０２は、撮像光学系１０１により形成された被写体像を光電変換して、撮像画像に係る信号を出力する。撮像素子１０２は、例えば、ＣＣＤ（Ｃｈａｒｔｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等である。本実施例では、撮像光学系１０１が有するブレ補正機構を像ブレ補正に用いるが、撮像素子１０２をブレ補正機構として適用してもよい。撮像素子１０２をブレ補正機構として適用する場合、制御部１１２が、撮像素子１０２を光軸に垂直な平面内で駆動することで、像ブレを光学的に補正する。

制御部１１２は、撮像装置全体を制御する。制御部１１２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。例えば、制御部１１２は、撮像光学系１０１乃至現像処理部１０３を制御して、撮像処理を実行する。また、制御部１１２は、ブレ補正機構を駆動して、像ブレ補正を実行する。また、制御部１１２は、第２の像ブレ補正手段として機能する幾何変形部１１０を制御して、撮像画像に対する画像処理による像ブレ補正を実行させる。図１に示す例では、制御部１１２は、後述する補正量算出部１０６、補正情報取得部１０７、補正割合判定部１０８を有する。

現像処理部１０３は、撮像素子１０２が出力する電気信号に基づいて、映像信号を形成する。現像処理部１０３は、不図示のＡ／Ｄ変換回路、オートゲイン制御回路（ＡＧＣ）、オートホワイトバランス回路を有し、デジタル信号を形成する。現像処理部１０３により形成された映像信号に係る、１フレーム又は複数のフレーム画像は、映像出力部１１１による表示など各種処理に使用されるとともに、記憶部であるメモリ１０４に一時的に記憶保持される。

動き情報取得部１０５は、撮像装置の動き情報を取得する。撮像装置の動き情報は、例えば、撮像装置の位置及び姿勢の時間的な変動を示す。動き情報には、撮像装置に加わる振れの他に、パンニングやチルティングといった撮影者の意図による動きも含まれる。動き情報取得部１０５は、例えばジャイロセンサや加速度センサを有する。撮像装置本体の動き情報が計測可能であれば、ジャイロセンサや加速度センサによる取得方法以外の方法を用いてもよい。

補正量算出部１０６は、動き情報取得部１０５から得られる撮像装置の動き情報に基づいて、像ブレ補正を行うためのブレ補正量を算出する。補正情報取得部１０７は、撮像光学系１０１内のブレ補正機構がブレ補正量に基づいてどのような動きをしているかを示す情報（駆動情報）を取得する。本実施例では、駆動情報は、ブレ補正機構の位置情報を含む。駆動情報が、ブレ補正機構の速度情報、加速度情報を含んでいてもよい。

補正割合判定部１０８は、補正情報取得部１０７から得られるブレ補正機構の駆動情報（位置情報）に基づいて、ブレ補正機構の駆動により撮像装置に生じる反力を予測する。そして、補正割合判定部１０８は、反力の予測結果に基づいて、ブレ補正割合、つまりブレ補正機構による像ブレ補正と、幾何変形部１１０による像ブレ補正の割合を判定する。制御部１１２は、ブレ補正機構および幾何変形部１１０を制御して、ブレ補正割合に応じた像ブレ補正を実行させる。本実施形態では、ブレ補正機構の制御による像ブレ補正を第１の像ブレ補正とし、幾何変形部１１０の制御による像ブレ補正を第２の像ブレ補正とする。

動きベクトル検出部１０９は、現像処理部１０３及びメモリ１０４から順次入力されてくる２枚のフレーム画像間の動きベクトルを検出する。幾何変形部１１０は、動きベクトル検出部１０９から得られるフレーム間の動きベクトルに基づいて、撮像画像に対する画像処理を実行して、像ブレを補正する。具体的には、幾何変形部１１０は、動きベクトルに基づいてフレーム間の幾何変形量を算出し、算出した幾何変形量に基づいて、撮像画像に対して像ブレ補正のための幾何変形処理を施す。幾何変形処理が施された撮像画像は、メモリ１０４または不図示の画像記憶装置に記憶される。映像出力部１１１は、像ブレ補正が施された画像等に係る各種映像を表示する。

図２は、実施例１の撮像装置の動作処理を説明するフローチャートである。
本フローチャートにしたがう処理は、制御部１１２が有するＣＰＵが制御プログラムを所定の記憶部から読み出して実行することで実現される。なお、図２中のＳは、本フローチャートにしたがう処理に対応するステップ番号である。

Ｓ２０１において、動き情報取得部１０５が、撮像装置の動き情報を取得し、補正量算出部１０６に出力する。続いて、Ｓ２０２において、補正量算出部１０６が、撮像装置の動き情報に基づいて、撮像装置に加わる振れを打ち消すようにブレ補正機構を制御するための補正量情報（ブレ補正量）を生成する。補正量算出部１０６は、ハイパスフィルタ（ＨＰＦ）を備えており、撮像装置の動き情報に含まれる角速度情報の周波数成分のうち、予め設定された低域カットオフ周波数以下の低周波成分を遮断し、低域カットオフ周波数を超える高周波成分を出力する。補正量算出部１０６は、ＨＰＦから出力された撮像装置の動きの高周波成分を積分し、積分された撮像装置の動きの高周波成分をブレ補正量として補正割合判定部１０８に出力する。ＨＰＦの低域カットオフ周波数及び積分処理の時定数は、撮像装置の動き情報に含まれているカメラワークの動きにより決定される。ＨＰＦまたは積分処理から出力された撮像装置の動き情報に基づいて、撮像装置の動きにカメラワークの動きが含まれているかどうかの判定が行われる。カメラワークには、撮像装置に加えられるパンニングやチルティングのような、撮影者の意図によるものが含まれる。ブレ補正量は、ブレ補正機構による像ブレ補正の割合を制御するために用いられるとともに、実際に像ブレ補正のためにブレ補正機構を駆動させるための補正量情報の生成に用いられる。Ｓ２０２における処理の後、処理がＳ２０５に進む。

Ｓ２０３において、制御部１１２が、撮像素子１０２が出力する撮像画像に係るアナログ信号を取得し、現像処理部１０３を制御して当該アナログ信号を処理することで、映像信号を生成する。具体的には、現像処理部１０３は、不図示のＡ／Ｄ変換部によって、アナログ信号を例えば１４ビットのデジタル信号に変換する。さらに、不図示のＡＧＣ及びＡＷＢによって、デジタル信号が信号レベル補正、白レベル補正が施され、動きベクトル検出部１０９及び表示部１１１に伝送されるとともに、メモリ１０４に記憶保持される。ＡＧＣは、Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌの略称である。また、ＡＷＢは、Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅの略称である。本実施例の撮像装置では、所定のフレームレートで順次フレーム画像が生成され、伝送及び記憶保持されるフレーム画像も順次更新される。

次に、Ｓ２０４において、動きベクトル検出部１０９が、現像処理部１０３及びメモリ１０４から得られる２枚の撮像画像（フレーム画像）に基づいて、動きベクトルを検出する。そして、処理がＳ２０７に進む。本実施例では、動きベクトル検出方法の一例として、テンプレートマッチングを用いた動きベクトルの検出方法を適用するものとする。

図３は、テンプレートマッチングを説明する図である。
図３（Ａ）は、原画像を示す。図３（Ｂ）は、参照画像を示す。原画像と参照画像は、現像処理部１０３やメモリ１０４から取得されるフレーム画像である。動きベクトル検出部１０９は、原画像中の任意の位置にテンプレートブロック３０１を配置し、テンプレートブロック３０１と参照画像の各領域との相関値を算出する。動きベクトル検出部１０９は、参照画像の全領域に対して相関値を算出すると演算量が膨大になるので、参照画像上の相関値を算出する矩形領域をサーチ範囲３０２として設定する。サーチ範囲３０２の位置や大きさについては特に制限は無いが、サーチ範囲３０２の内部にテンプレートブロック３０１の移動先に相当する領域が含まれていない場合には、正しい動きベクトルを検出することはできない。

本実施例では、相関値の算出方法の一例として、差分絶対値和（ＳＡＤ）を用いる。ＳＡＤは、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅの略称である。ＳＡＤの計算式を式（１）に示す。

ｆ（ｉ，ｊ）は、テンプレートブロック３０１内の座標（ｉ，ｊ）における輝度値を表す。ｇ（ｉ，ｊ）は、サーチ範囲３０２において相関値算出の対象となるブロック３０３内の各輝度値を表す。ＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど、両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック３０１と相関値算出領域３０３のブロック内のテクスチャが類似している。動きベクトル検出部１０９は、サーチ範囲３０２の全領域について相関値対象ブロック３０３を移動させて相関値を算出する。そして、動きベクトル検出部１０９は、テンプレートブロック３０１とサーチ範囲３０２との間で相関値を算出し、最も相関が高くなる位置を判定することにより、原画像上のテンプレートブロックが参照画像においてどの位置に移動したかを決定する。これにより、画像間の動きベクトルが検出される。本実施例では動きベクトルの検出方法として、ＳＡＤによるテンプレートマッチングを用いるが、正規化相互相関（ＮＣＣ）を用いる方法、勾配法、特徴点抽出による対応点探索等の方法を用いても良い。以上にようにして検出されたフレーム画像間の動きベクトルは、幾何変形部１１０に伝送される。

図２の説明に戻る。Ｓ２０５において、補正割合判定部１０８が、補正情報取得部１０７から得られるブレ補正機構の駆動情報に基づいて、ブレ補正機構の駆動により撮像装置に加わる反力を予測する。そして、補正割合判定部１０８は、反力の予測結果に基づいて、ブレ補正割合を判定する。この例では、補正割合判定部１０８は、駆動情報に含まれるブレ補正機構の位置情報に基づいて、反力を予測するものとする。

図４は、ブレ補正機構の駆動により撮像装置に加わる反力を説明する図である。
図４に示す例では、ブレ補正機構として、像ブレ補正用のレンズ（シフトレンズ）４０３を用いる。撮像装置本体４０１にレンズ装置４０２が装着されている。レンズ装置４０２の内部には、シフトレンズ４０３が搭載されている。撮像装置本体４０１は、三脚４０４に固定されている。

例えば、シフトレンズ４０３が像ブレを補正するために上方向に移動したとする。シフトレンズ４０３の移動に伴って発生した力４０５に対応して、撮像装置本体４０１には、下方向に反力４０６が発生する。この例では、撮像装置本体４０１内に搭載されている撮像素子と光軸４０８とが交わる位置で反力４０６が生じている。反力の大きさは、シフトレンズ４０３の移動速度が速くなるほど大きくなる。撮像装置が不安定な状態で設置されている環境において、反力が閾値より大きくなると、反力の影響を受けて、撮像装置本体４０１が揺すられてしまう。シフトレンズ４０３の位置で生じる力４０５と、力４０５の影響を受けて撮像装置本体４０１で生じる反力４０６とでは大きさも向きも異なる。したがって、例えばレンズ装置４０２に搭載されたジャイロでは、反力４０６により揺すられた撮像装置の動きを良好に検出することは困難である。そこで、制御部１１２は、シフトレンズ４０３の位置情報に基づいて、シフトレンズ４０３の駆動により生じる力を求め、求めた力の大きさに基づいて、今後反力４０６の大きさがどのように変化するかを予測する。そして、制御部１１２は、反力４０６の大きさの予測結果に基づいて、ブレ補正割合を判定する。

今後反力４０６が大きくなることが予測される場合には、制御部１１２は、シフトレンズ４０３の駆動による像ブレ補正の割合を小さくする。すなわち、制御部１１２は、シフトレンズ４０３による像ブレ補正の効果を弱めて、予め反力が生じないようにすることで、撮像装置が揺すられることを抑制する。なお、後述するように、シフトレンズ４０３による像ブレ補正の効果を弱めることでフレーム画像に残留するブレ補正残り量については、幾何変形部１１０による像ブレ補正が実行される。その結果、反力の予測結果に応じたシフトレンズ４０３の駆動による像ブレ補正の割合と幾何変形部１１０による像ブレ補正の割合の制御が実現される。

補正割合判定部１０８が補正情報取得部１０７から取得した駆動情報に基づいて求まるシフトレンズ４０３の時刻ｔにおける位置をＰ（ｔ）とする。シフトレンズ４０３の移動速度ｖ（ｔ）は、式（２）に示すようにＰ（ｔ）を時間微分することによって求まる。

シフトレンズ４０３が駆動する際に生じる力Ｆは、シフトレンズ４０３の重さをｍとすると、以下の式（３）によって得られる。シフトレンズ４０３の重さｍは、予め計測されており、補正割合判定部１０８に記憶保持されているものとする。

本実施例では、説明の簡単化のために、撮像装置の重さや重量バランスを考慮に入れず、シフトレンズ４０３が駆動する際に生じる力Ｆを、そのまま撮像装置に生じる反力として扱う場合について説明する。

図５乃至図７は、ブレ補正機構の駆動による反力の推定方法の一例を説明する図である。図５乃至図７に示すグラフの横軸は時間を示す。縦軸は、シフトレンズ４０３の駆動により発生する力Ｆを示す。
まず、図５を参照して、反力の推定方法の一例について説明する。像ブレ補正は高周波の微小振動を補正することを目的としているので、シフトレンズ４０３は、撮像装置に加わる振れを打ち消すように、小刻みに振動して移動する。そして、シフトレンズ４０３の移動速度が大きくなると反力が生じるので、その時の力Ｆの大きさに基づいて、点線で示す、大きさｔｈ１の閾値５０２を設定する。シフトレンズレンズ４０３は、駆動可能な範囲内で様々な方向に移動するので、本実施例では、正負の両方向に対して同じ大きさの閾値を設定している。実際に反力が生じる力Ｆの大きさに閾値５０２を設定してしまうと、既に撮像装置が反力の影響を受けた後で対処をすることになる。したがって、実際に反力が生じる力Ｆよりも小さい値に閾値５０２を設定しておく。そして、補正割合判定部１０８は、力Ｆが閾値５０２を超えた場合に、今後反力が大きくなると予測する。図５では、ポイント５０３において力Ｆが閾値５０２を超えている。したがって、ポイント５０３に対応する時刻から撮像装置が反力の影響を受け始めると予測することができる。

次に、図６を参照して、反力の推定方法の他の例について説明する。図６において、図５と同じものについては同符号を付している。補正割合判定部１０８が、所定の期間６０２と、大きさｔｈ２の閾値６０１を設定し、期間６０２に逐次入力されてくる力Ｆが閾値６０１を超えた回数を計算する。力Ｆが期間６０２内に閾値６０１を超えた回数が所定回数を超えた場合に、今後反力がさらに大きくなっていくと予測することが可能となる。期間６０２および上記所定回数については、工場出荷時に計測された反力が発生する速度に基づいて予め設定しておいてもよいし、撮影者が手動で設定してもよい。

次に、図７を参照して、反力の推定方法の他の例について説明する。図７において、図５、図６と同じものについては同符号を付している。
補正割合判定部１０８は、期間６０２におけるシフトレンズ４０３の力Ｆのピーク値（極大値）について関数フィッティングを行い、関数フィッティングにより求めた関数の値に基づいて、反力を予測する。直線７０２は、力Ｆのピーク値について一次関数でフィッティングを行って得られた関数を示す。この関数によれば、期間６０２以降も力Ｆが増大していくことが予測できる。そして、当該関数の値に対応する、予測された力Ｆが、点線に示す大きさｔｈ３の閾値７０１を超える場合に、補正割合判定部１０８は、反力が大きくなって、撮像装置本体に影響することを予測する。

関数フィッティングには、２次関数などの１次関数以外の関数を使用してもよい。また、本実施例では、シフトレンズ４０３の移動速度が正の方向の場合についてのみ想定したが、移動速度が負の方向である場合でも、同様にして反力の予測を行うことが可能である。正負いずれかの移動速度に応じた力Ｆの大きさが判定基準を満たせば、撮像装置が反力の影響を受ける可能性があると判定すればよい。また、補正割合判定部１０８が、機械学習を用いて、反力を推定してもよい。例えば、力Ｆの時系列データを学習データとし、撮像装置が反力の影響を受けたタイミングに正解ラベルを付与して学習を行っておく。そして、補正割合判定部１０８が、公知の手法により、学習データを用いて、逐次入力されてくるシフトレンズ４０３の移動速度に応じた力Ｆに対して反力の発生を予測する。機械学習によれば、閾値の設定をすることなく、反力を予測することが可能となる。

上記の説明では、ブレ補正機構の駆動により生じる力を撮像装置に生じる反力として扱ってきたが、撮像装置の重量バランスに基づいて反力を推定することで、より良好な反力の予測を行うことが可能となる。図４の符号４０７に示すように、シフトレンズ４０３から反力４０６が生じる箇所までの距離をｒとした場合の反力４０６の大きさをＮとする。Ｎは、式（２）によるシフトレンズ４０３が駆動する際に生じる力Ｆと、距離ｒとに基づいて、式（４）を用いて算出することができる。

図８は、所定の重量バランスを有する撮像装置の設置例を示す図である。
図８に示す設置例では、撮像装置は、図４に示す設置例とは異なる重量バランスを有する。図４に示す設置例では、反力４０６が生じている箇所は、撮像素子１０２と光軸４０８が交わる点であり、さらに三脚４０４による撮像装置の固定点がその真下にある。したがって反力４０６の大きさＮは、式（４）を用いて算出することができる。しかし、反力４０６の大きさＮは、撮像装置がどの位置で固定されているかによって変化する。図８に示すように、三脚８０１による撮像装置の固定点が、図４に示す設置例とは異なる位置にある場合を想定する。シフトレンズレンズ４０３と固定点との距離８０２の値をｒ１、固定点と撮像素子１０２との距離８０３の値をｒ２とする。補正割合判定部１０８は、以下の式（５）により、反力４０６の大きさＮを算出する。

ｒ１、ｒ２については、例えば予め計測しておいて，補正割合判定部１０８に記憶保持しておく。補正割合判定部１０８は、以上のようにして求められた反力４０６の大きさＮを用いて、図５乃至図７を参照して説明した方法により反力の予測を行う。つまり図５乃至７に示す力ＦをＮに置き換えて反力の予測を行う。これにより、撮像装置の重量バランスを考慮して、より精度の高い予測を行うことが可能となる。

なお、図５乃至図７の説明で参照した閾値５０２、６０１及び７０１の設定方法として、工場出荷時等に予め反力の大きさを計測し、計測した値に基づいてこれらの閾値を記憶保持しておく方法や、撮影者が手動で閾値を設定する方法などが挙げられる。撮影状況に応じて動的に閾値を変化させるという方法を用いてもよい。例えば、撮影時に焦点距離を望遠側に変更した場合を考える。焦点距離を望遠側に変更すると、被写体が大きく表示されるようになり、画像上に現れる見かけのブレの大きさも、拡大されたように大きくなる。したがって、広角側では無視できる程度の大きさの反力も望遠側になると同様に拡大されるため対処が必要になる場合がある。そこで、補正割合判定部１０８は、撮影時の焦点距離が望遠側になるほど閾値を小さくし、より小さな反力でも撮像装置に影響が出るほど大きくなると予測できるようにする。すなわち、焦点距離に応じて閾値を変更することで、より高精度な判定ができるようになる。

撮像装置から主被写体までの距離（被写体距離）に応じて、反力の予測に用いる閾値を変更するようにしてもよい。被写体距離が近いほど、画像上に現れる見かけのブレの大きさは大きくなる。従って、補正割合判定部１０８が、被写体距離が近いほど閾値を小さくすることで、被写体上に現れる反力の影響を良好に判定することができるようになる。被写体距離の取得には、オートフォーカスの機能がピント合わせに使用している被写体距離情報や、撮像装置に別途搭載される距離計測装置を用いれば良い。

また、撮像装置が設置されている環境に応じて、反力の予測に用いる閾値を設定してもよい。撮像装置が設置されている場所が砂場やぬかるみのような不安定な地面の上であったり、撮像装置が安定性の低い三脚を使用して固定されていたり、天井から吊り下げられている場合には、撮像装置は小さな反力に対しても容易に揺すられやすくなる。従って、このような設置環境の場合には、閾値を小さくすることで、より小さな反力でも撮像装置が揺すられる可能性があると判定できるようになる。

撮像装置の設置環境の判定には、シーン判別機能やＧＰＳ等によって位置情報を利用する方法や撮影者が手動で設定する方法などを適用できる。また、その他の外部情報に応じて閾値を変更するようにしてもよい。例えば、撮像装置に搭載されている通信機能を用いて気象情報を取得し、強風に見舞われることが予想される場合には、風の影響による振動を反力と間違えて判定してしまわないように閾値を大きくしてもよい。これにより、撮像装置が置かれた環境の変化に応じた適切な判定をすることが可能となる。

反力が今後大きくなって、撮像装置が揺すられる可能性があると予測された場合には、補正割合判定部１０８は、反力の影響が抑えられるようにブレ補正割合を制御する。具体的には、シフトレンズ４０３を駆動する割合を小さくするために、補正量算出部１０６から得られるブレ補正量に変更を加える。シフトレンズ４０３を駆動する割合を小さくするためには、シフトレンズ４０３の駆動により発生する力が反力の予測に用いる閾値よりも小さくなるようにブレ補正量にゲインを乗じるという方法がある。この方法によれば、反力が生じない程度までシフトレンズ４０３の駆動速度が低減するので、撮像装置が揺すられることを防ぐことが可能となる。

しかし、シフトレンズ４０３を駆動する割合を小さくするということは、像ブレ補正の効果を弱めることになり、取得されるフレーム画像には補正しきれなかったブレの動き（ブレ補正残り）が残存してしまう。そこで、制御部１１２は、幾何変形部１１０を制御して、画像処理によって、ブレ補正残りの量（ブレ補正残り量）に対応する像ブレ補正を行うようにする。このようにすることで、反力の影響を抑えつつ、像ブレが良好に補正されたフレーム画像を取得することが可能となる。

図２の説明に戻る。Ｓ２０６において、制御部１１２が、補正割合判定部１０８による変更後のブレ補正量に基づいて、ブレ補正機構を駆動させる。補正割合判定部１０８から得られるブレ補正量は、撮像装置に加わる反力の予測結果に応じて、ブレ補正機構によるブレ補正の効果が弱められた値となっている。したがって、ブレ補正機構の駆動による反力は生じないようになっているが、取得されるフレーム画像にはブレが残留してしまう。このため、ブレが残留しているフレーム画像は、幾何変形部１１０に伝送され、幾何変形処理によって、残留している像ブレ（ブレ補正残り）の補正が行われる。

Ｓ２０７において、幾何変形部１１０が、動きベクトル検出部１０９から得られたフレーム画像間の動きベクトルに基づいて、フレーム画像に対して幾何変形処理を施すことで、ブレ補正残りを補正する。動きベクトル検出部１０９から得られる動きベクトルは、フレーム画像中の複数の領域に含まれる各々の領域の局所的な動きを表す。一方、撮像装置に生じている振れは、フレーム画像全体の動きとして画像上に現れるので、動きベクトル群からフレーム画像全体の動きを算出する必要がある。

フレーム画像全体の動きを算出する方法の一例としては、動きベクトル群に対してヒストグラム処理を行うという方法がある。まず、各動きベクトルの水平方向及び垂直方向のそれぞれについて、その移動量に着目したヒストグラムを生成する。そして、生成されたヒストグラムの最頻値を抽出して、画面全体の動きを示す値とする。ヒストグラム処理によりフレーム画像全体の動きを算出することで、検出に失敗した動きベクトルや、画面全体の動きとは無関係の移動物体の動きを排除して、精度よくフレーム画像全体の動きを算出することができる。

フレーム画像全体の動きを算出する他の方法としては、ロバスト推定法によって検出に失敗した動きベクトルを除外しつつ、アフィン行列やホモグラフィ行列等の幾何変換行列を求める方法がある。補正の対象となるぶれのモデルに応じて適切な方法を選択すれば良い。そして、幾何変形部１１０が、算出されたフレーム画像全体の動きを打ち消すようにフレーム画像に対して幾何変形処理を施すことで、ブレが補正されたフレーム画像を得ることができる。以上のようにして得られたブレが補正されたフレーム画像は、映像出力部１１１に伝送される。映像出力部１１１は、幾何変形部１１０から得られたフレーム画像を不図示のモニタ類に表示したり、画像記憶装置に記録保持したりする。

本実施例の撮像装置は、ブレ補正機構が駆動することにより生じる反力の大きさを予測し、反力が大きくなると判定された場合には、ブレ補正機構による像ブレ補正の効果を弱める。そして、撮像装置は、像ブレ補正の効果を弱めることにより残留するブレの動きを幾何変形処理により除去する。これにより、ブレ補正機構が駆動することによる反力の影響を抑制しつつ、像ブレが良好に補正された画像を取得することが可能となる。

（実施例２）
図９は、実施例２の撮像装置の構成を示す図である。
同図において、図１に示した構成要素と共通するものについては図１と同符号を付す。実施例２の撮像装置は、ブレ補正機構の駆動による反力の予測のために、補正情報取得部１０７から得られるブレ補正機構の駆動情報（位置情報）と、ブレ補正量と、動きベクトル検出部１０９から得られる動きベクトルを用いる。このために、図９の動きベクトル検出部１０９から補正割合判定部１０８に対して、動きベクトルが出力される。

図１０は、実施例２の撮像装置の動作処理を説明するフローチャートである。
図１０において実施例１と異なる処理を行う部分についてのみ説明する。図１０のＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０６、Ｓ２０７は、図２のＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０６、Ｓ２０７と同様である。

Ｓ１００１において、補正割合判定部１０８は、補正情報取得部１０７から得られるブレ補正機構の位置情報と、補正量算出部１０６から得られるブレ補正量と、動きベクトル検出部１０９から得られる動きベクトルに基づいて、反力の大きさを予測する。反力が今後大きくなって、撮像装置が揺すられる可能性があると予測された場合には、補正割合判定部１０８は、実施例１と同様に、ブレ補正機構を駆動する割合を小さくするために、補正量算出部１０６から得られるブレ補正量に変更を加える。

図１１は、実施例２の撮像装置が有する補正割合判定部の機能ブロック図の一例である。
ブレ補正残り量算出部１１０１は、ブレ補正機構の位置情報とブレ補正量とに基づいて、撮像されたフレーム画像間に現れる第１のブレ補正残り量を算出する。ブレ補正機構がブレ補正量に応じた駆動量で駆動した場合には、ブレ補正残りは発生しないはずである。しかし、実際にはブレ補正機構の駆動範囲の制約等により、ブレ補正機構が、ブレ補正量に応じた駆動量による動きとは異なる動きをする場合がある。この場合に、両者の差分がブレ補正残り量としてフレーム画像上に現れる。ブレ補正機構の位置情報とブレ補正量とに基づいて、画像上にどの程度ブレの動きが残留しているかを算出することができる。

ブレ補正残り量比較部１１０２は、ブレ補正残り量の比較処理を実行する。ブレ補正機構の駆動により生じたブレ補正残りはフレーム画像上に現れるので、動きベクトル検出部１０９で検出されたフレーム画像間の動きを表す動きベクトルには、ブレ補正残りが含まれている。したがって、まず、ブレ補正残り量比較部１１０２は、動きベクトルに基づいて、第２のブレ補正残り量を取得する。そして、ブレ補正残り量比較部１１０２は、ブレ残り量算出部１１０１から出力された第１のブレ補正残り量と、取得した第２のブレ補正残り量とを比較する。

撮像装置が反力の影響を受けていない状態の場合、第１のブレ補正残り量と第２のブレ補正残り量は一致する。しかし、撮像装置が反力の影響を受けて揺すられている場合には、動き情報取得部１０５は撮像装置の動きを良好に検出できず、第１のブレ補正残り量と第２のブレ補正残り量とで差異（差分）が生じる。そして、反力の影響が大きくなるにつれて、ブレ補正残り量の差分は増大していく。したがって、ブレ補正残り量の差分を解析することで、反力が撮像装置に及ぼす影響を予測することが可能となる。

反力予測部１１０３は、ブレ補正残り量比較部１１０２による比較結果つまり第１のブレ補正残り量と第２のブレ補正残り量との差分に基づいて、反力を予測する。反力の予測方法は、実施例１と同様であり、図５乃至図７を参照して説明した方法を、第１のブレ補正残り量と第２のブレ補正残り量との差分に対して適用すればよい。例えば、第１のブレ補正残り量と第２のブレ補正残り量との差分をＦ２とする。図５に示す方法のＦ２への適用例では、補正割合判定部１０８は、Ｆ２が所定の閾値を超えた場合に、反力が大きくなることを予測する。また、図６に示す方法のＦ２への適用例では、補正割合判定部１０８は、Ｆ２が所定の期間内に閾値を超えた回数が、所定回数を超えた場合に、反力が大きくなることを予測する。また、図７に示す方法のＦ２への適用例では、補正割合判定部１０８は、Ｆ２の極大値に基づいて求まる関数の値が閾値を超える場合に、反力が大きくなることを予測する。

本実施例の撮像装置は、ブレ補正機構の駆動情報から得られるブレ補正残り量と動きベクトルから得られるブレ補正残り量を比較して反力の予測を行う。したがって、実施例１とは異なり、ブレ補正機構の重さや、撮像装置の重量バランスといった情報を必要とせずに反力の予測を行うことが可能となる。

本実施形態の開示は、以下の構成を含む。
（構成１）
撮像装置に加わる振れによって生じる像ブレを光学的に補正する第１の像ブレ補正手段と、
撮像装置に加わる振れによって生じる像ブレを、撮像画像に対する画像処理により補正する第２の像ブレ補正手段と、
前記第１の像ブレ補正手段の駆動情報を取得する取得手段と、
前記取得された駆動情報に基づいて、前記第１の像ブレ補正手段の駆動により前記撮像装置に加わる反力を予測する予測手段と、
前記反力の予測結果に基づいて、前記第１の像ブレ補正手段による像ブレ補正と前記第２の像ブレ補正手段による像ブレ補正の割合を制御する制御手段と、を有する
ことを特徴とする撮像装置。
（構成２）
前記制御手段は、前記予測手段によって前記反力が大きくなることが予測された場合に、前記第１の像ブレ補正手段による像ブレ補正の割合を小さくする
ことを特徴とする構成１に記載の撮像装置。
（構成３）
前記制御手段は、前記予測手段によって前記反力が大きくなることが予測された場合に、前記第１の像ブレ補正手段の駆動量を小さくするとともに、当該駆動量を小さくすることで生じるブレ補正残りを、前記第２の像ブレ補正手段による像ブレ補正の実行により補正する
ことを特徴とする構成１または構成２に記載の撮像装置。
（構成４）
前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて算出される前記反力が閾値を超えた場合に、前記反力が大きくなることを予測する
ことを特徴とする構成２または構成３に記載の撮像装置。
（構成５）
前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて算出される前記反力が所定の期間内に閾値を超えた回数が、所定回数を超えた場合に、前記反力が大きくなることを予測する
ことを特徴とする構成２または構成３に記載の撮像装置。
（構成６）
前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて算出される前記反力の極大値に基づいて求まる関数の値が閾値を超える場合に、前記反力が大きくなることを予測する
ことを特徴とする構成２または構成３に記載の撮像装置。
（構成７）
前記予測手段は、前記反力の予測に用いる前記閾値を、焦点距離、被写体距離または前記撮像装置が設置されている環境の情報に基づいて変更する
ことを特徴とする構成４乃至６のいずれか１つに記載の撮像装置。
（構成８）
前記予測手段は、前記第１の像ブレ補正手段の駆動情報と、前記撮像装置の重量バランスの情報とに基づいて、前記反力を予測する
ことを特徴とする構成１乃至７のいずれか１つに記載の撮像装置。
（構成９）
前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて、機械学習によって前記反力を予測する
ことを特徴とする構成１乃至３のいずれか１つに記載の撮像装置。
（構成１０）
前記予測手段は、前記撮像装置に加わる振れの検出結果に基づいて求まる前記像ブレの補正量と、前記第１の像ブレ補正手段の駆動情報と、被写体の撮像画像から得られる動きベクトルとに基づいて、前記反力を予測する
ことを特徴とする構成１に記載の撮像装置。
（構成１１）
前記予測手段は、前記撮像装置に加わる振れの検出結果に基づいて求まる前記像ブレの補正量と前記第１の像ブレ補正手段の駆動情報とに基づいて算出される第１のブレ補正残り量と、前記動きベクトルから算出される第２のブレ補正残り量とを比較して、前記反力を予測する
ことを特徴とする構成１０に記載の撮像装置。
（構成１２）
前記制御手段は、前記予測手段によって前記反力が大きくなることが予測された場合に、前記第１の像ブレ補正手段による像ブレ補正の割合を小さくする
ことを特徴とする構成１０または構成１１に記載の撮像装置。
（構成１３）
前記予測手段は、前記第１のブレ補正残り量と前記第２のブレ補正残り量との差分が閾値を超えた場合に、前記反力が大きくなることを予測する
ことを特徴とする構成１０または構成１１に記載の撮像装置。
（構成１４）
前記予測手段は、前記第１のブレ補正残り量と前記第２のブレ補正残り量との差分が所定の期間内に閾値を超えた回数が、所定回数を超えた場合に、前記反力が大きくなることを予測する
ことを特徴とする構成１０または構成１１に記載の撮像装置。
（構成１５）
前記予測手段は、前記第１のブレ補正残り量と前記第２のブレ補正残り量との差分の極大値に基づいて求まる関数の値が閾値を超える場合に、前記反力が大きくなることを予測する
ことを特徴とする構成１０または構成１１に記載の撮像装置。
（構成１６）
撮像装置に加わる振れによって生じる像ブレを光学的に補正する第１の像ブレ補正手段と、撮像装置に加わる振れによって生じる像ブレを、撮像画像に対する画像処理により補正する第２の像ブレ補正手段とを有する撮像装置の制御方法であって、
前記第１の像ブレ補正手段の駆動情報を取得する取得工程と、
前記取得された駆動情報に基づいて、前記第１の像ブレ補正手段の駆動により前記撮像装置に加わる反力を予測する予測工程と、
前記反力の予測結果に基づいて、前記第１の像ブレ補正手段による像ブレ補正の実行と前記第２の像ブレ補正手段による像ブレ補正の実行の割合を制御する制御工程と、を有する
ことを特徴とする制御方法。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０９ 動きベクトル検出部
１１０ 幾何変形部
１１２ 制御部

Claims (16)

1. 撮像装置に加わる振れによって生じる像ブレを光学的に補正する第１の像ブレ補正手段と、
   撮像装置に加わる振れによって生じる像ブレを、撮像画像に対する画像処理により補正する第２の像ブレ補正手段と、
   前記第１の像ブレ補正手段の駆動情報を取得する取得手段と、
   前記取得された駆動情報に基づいて、前記第１の像ブレ補正手段の駆動により前記撮像装置に加わる反力を予測する予測手段と、
   前記反力の予測結果に基づいて、前記第１の像ブレ補正手段による像ブレ補正と前記第２の像ブレ補正手段による像ブレ補正の割合を制御する制御手段と、を有する
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記予測手段によって前記反力が大きくなることが予測された場合に、前記第１の像ブレ補正手段による像ブレ補正の割合を小さくする
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記予測手段によって前記反力が大きくなることが予測された場合に、前記第１の像ブレ補正手段の駆動量を小さくするとともに、当該駆動量を小さくすることで生じるブレ補正残りを、前記第２の像ブレ補正手段による像ブレ補正の実行により補正する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて算出される前記反力が閾値を超えた場合に、前記反力が大きくなることを予測する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて算出される前記反力が所定の期間内に閾値を超えた回数が、所定回数を超えた場合に、前記反力が大きくなることを予測する
   ことを特徴とする請求項２に記載の撮像装置。
6. 前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて算出される前記反力の極大値に基づいて求まる関数の値が閾値を超える場合に、前記反力が大きくなることを予測する
   ことを特徴とする請求項２に記載の撮像装置。
7. 前記予測手段は、前記反力の予測に用いる前記閾値を、焦点距離、被写体距離または前記撮像装置が設置されている環境の情報に基づいて変更する
   ことを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記予測手段は、前記第１の像ブレ補正手段の駆動情報と、前記撮像装置の重量バランスの情報とに基づいて、前記反力を予測する
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記予測手段は、前記第１の像ブレ補正手段の駆動情報に基づいて、機械学習によって前記反力を予測する
   ことを特徴とする請求項１に記載の撮像装置。
10. 前記予測手段は、前記撮像装置に加わる振れの検出結果に基づいて求まる前記像ブレの補正量と、前記第１の像ブレ補正手段の駆動情報と、被写体の撮像画像から得られる動きベクトルとに基づいて、前記反力を予測する
    ことを特徴とする請求項１に記載の撮像装置。
11. 前記予測手段は、前記撮像装置に加わる振れの検出結果に基づいて求まる前記像ブレの補正量と前記第１の像ブレ補正手段の駆動情報とに基づいて算出される第１のブレ補正残り量と、前記動きベクトルから算出される第２のブレ補正残り量とを比較して、前記反力を予測する
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記制御手段は、前記予測手段によって前記反力が大きくなることが予測された場合に、前記第１の像ブレ補正手段による像ブレ補正の割合を小さくする
    ことを特徴とする請求項１０または請求項１１に記載の撮像装置。
13. 前記予測手段は、前記第１のブレ補正残り量と前記第２のブレ補正残り量との差分が閾値を超えた場合に、前記反力が大きくなることを予測する
    ことを特徴とする請求項１０または請求項１１に記載の撮像装置。
14. 前記予測手段は、前記第１のブレ補正残り量と前記第２のブレ補正残り量との差分が所定の期間内に閾値を超えた回数が、所定回数を超えた場合に、前記反力が大きくなることを予測する
    ことを特徴とする請求項１０または請求項１１に記載の撮像装置。
15. 前記予測手段は、前記第１のブレ補正残り量と前記第２のブレ補正残り量との差分の極大値に基づいて求まる関数の値が閾値を超える場合に、前記反力が大きくなることを予測する
    ことを特徴とする請求項１０または請求項１１に記載の撮像装置。
16. 撮像装置に加わる振れによって生じる像ブレを光学的に補正する第１の像ブレ補正手段と、撮像装置に加わる振れによって生じる像ブレを、撮像画像に対する画像処理により補正する第２の像ブレ補正手段とを有する撮像装置の制御方法であって、
    前記第１の像ブレ補正手段の駆動情報を取得する取得工程と、
    前記取得された駆動情報に基づいて、前記第１の像ブレ補正手段の駆動により前記撮像装置に加わる反力を予測する予測工程と、
    前記反力の予測結果に基づいて、前記第１の像ブレ補正手段による像ブレ補正の実行と前記第２の像ブレ補正手段による像ブレ補正の実行の割合を制御する制御工程と、を有する
    ことを特徴とする制御方法。

Images