JPWO2020111177A1 - ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラム - Google Patents

Abstract

ぶれ補正制御装置は、被写体像のぶれ補正を機械的に行う機械式補正、又は被写体像のぶれ補正を電子的に行う電子式補正を選択するための撮像情報を取得する取得部と、ぶれ補正制御部と、を含むぶれ補正制御部は、取得部によって取得された撮像情報に基づいて、機械式補正から電子式補正への切換制御を、機械式補正と電子式補正のぶれ補正の動作を同期させて行う第１制御、及び電子式補正から機械式補正への切換制御を行う、第１制御とは異なる第２制御を行う。

Description

本開示の技術は、ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラムに関する。

撮像装置は、画像ぶれを補正するぶれ補正機能を有することが一般的である。ぶれ補正機能には、機械的にぶれを補正する機械式補正と、電子的にぶれを補正する電子式補正とがある。

機械式補正は、例えば撮像装置の揺れを検知し、ぶれ補正用のレンズを移動させて被写体の結像光軸の移動を抑制し、画像のぶれを補正する方法である。また、撮像素子の位置を、手ぶれ等によって移動した被写体の結像光軸の方向に移動させて補正する方法も、機械式補正の一種である。

電子式補正は、例えば撮像素子によって、記録された画像から切り出して表示する部位を、手ぶれ等によって移動した被写体の方向に合わせて移動させてぶれを補正する方法である。

機械式補正と電子式補正には、それぞれ利点と欠点がある。機械式補正は、露光時間中もぶれ補正が行われるため、ぶれ補正能力が高い。しかし、補正用レンズ及び／又は撮像素子を物理的に移動させる必要があるため、駆動用のエネルギー消費量が大きい。そのため、充電式の撮像装置においては頻繁に充電する必要がある。また、物理的な駆動部は頻繁に使用すると劣化により機械的寿命が短くなるおそれがある。

一方、電子式補正は、電子的な画像処理だけでぶれ補正を行い、補正用レンズ及び／又は撮像素子を物理的に移動させないため、消費電力が少なく、機械的寿命を考慮する必要がない。しかし、電子式補正は、記録された画像に基づいてぶれを補正する方法であるため、１フレームの露光時間内のぶれを補正することはできない。そのため、電子式補正は、ぶれ補正能力としては機械式補正に比べて劣るとされている。そこで、２つの方法を組み合わせることが考えられている。

例えば特開２０１３−１２６０７５号公報には、２種類の補正方法の特徴を考慮し、撮像の際のシャッタ速度及び画像ぶれ量の少なくとも何れかに基づいて、光学補正（機械式補正）若しくは電子補正を切り換えること、さらに光学補正と電子補正の割合を変更して併用することにより、それぞれの方式の利点を生かしつつ適切な画像ぶれ補正を行う撮像装置が開示されている。

特開２０１６−２４２３５号公報には、装置の動きによる像振れを補正するための補正量の高周波成分を光学的（機械的）に補正するとともに、補正量と、光学的な補正に用いる機械要素の位置との差に基づいて得られる補正量に基づいて電子的に像振れを補正する撮像装置が開示されている。この構成により、外乱の影響を抑制した良好な補正効果を実現することができるとされている。

上述した機械式補正と電子式補正の特徴から、機械的寿命及び電力消費量の観点からは、電子式補正を優先し、機械式補正はできるだけ使用しないことが好ましい。そこで、撮像装置においては、例えば露光時間の閾値を設定して、その閾値を上回ったか、又は下回ったかによって機械式補正と電子式補正とを切換えることが考えられる。しかし、この切換えの際、機械式補正と電子式補正との補正能力の違いから、切換え前に補正されていたぶれが補正されなくなって画像のぶれが急激に大きくなり、ユーザが違和感を感じる場合がある。

本開示の一実施形態は、機械式補正と電子式補正の両方が使用可能であり、機械式補正と電子式補正とを切換える場合の違和感を低減することができるぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラムを提供する。

第１の態様に係るぶれ補正制御装置は、被写体像のぶれ補正を機械的に行う機械式補正、又は被写体像のぶれ補正を電子的に行う電子式補正を選択するための撮像情報を取得する取得部と、取得部によって取得された撮像情報に基づいて、機械式補正から電子式補正への切換制御を、機械式補正と電子式補正のぶれ補正の動作を同期させて行う第１制御、及び電子式補正から機械式補正への切換制御を行う第２制御を行うぶれ補正制御部であって、第１制御と第２制御とで異なる制御を行うぶれ補正制御部と、を含む。

この構成により、機械式補正と電子式補正の両方が使用可能であり、機械式補正と電子式補正とを切換える場合の違和感を低減することができる。

第２の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、第１制御と第２制御とで時間応答性が異なる制御を行う。

第３の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、第１制御の時間の長さと第２制御の時間の長さとを異ならせる制御を行う。

第４の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、第１制御の時間の長さを、第２制御の時間の長さよりも長くする。

第５の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、第１制御において、第１制御の開始から終了まで、ぶれ補正に必要な補正量に対する機械式補正によるぶれ補正量の比率である第１動作比率を時間経過に応じて減少させ、かつぶれ補正に必要な補正量に対する電子式補正によるぶれ補正量の比率である第２動作比率を時間経過に応じて増加させる。

第６の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、第２制御において、第２制御の開始から終了まで、機械式補正と電子式補正のぶれ補正の動作を同期させて、第１動作比率を時間経過に応じて増加させ、かつ第２動作比率を時間経過に応じて減少させる。

第７の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、第２制御において、ぶれ補正の動作を同期させずに、電子式補正から機械式補正への切換制御を行う。

この構成により、ぶれ補正を優先する場合は機械式補正にすぐに切り換えることができる。

第８の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、第１制御の開始前に、機械式補正の補正量をぶれ補正に必要な補正量よりも小さくする第３制御を行う。

この構成により、機械式補正から電子式補正に切り換える場合の違和感をより抑制することができる。

第９の態様に係るぶれ補正制御装置は、第１制御の時間の長さが可変である。

この構成により、ユーザの選択肢を広げることができる。

第１０の態様に係るぶれ補正制御装置は、予め定められた対象を検出する検出部を更に含み、ぶれ補正制御部は、第１制御において、検出部が対象を検出しない場合は検出部が対象を検出した場合よりも第１制御の時間の長さを短くする。

この構成により、予め定められた対象を検出したか否かによって、違和感の抑制と電力消費量の低減のいずれかを優先させることができる。

第１１の態様に係るぶれ補正制御装置において、ぶれ補正制御部は、予め定められた条件が成立した場合に、ぶれ補正の動作を同期させずに機械式補正から電子式補正へ切換え、かつぶれ補正の動作を同期させずに電子式補正から機械式補正へ切換える制御を行う。

この構成により、予め定められた条件が成立したか否かによって、第１制御及び第２制御ともに実行しないことを選択可能である。

第１２の態様に係るぶれ補正制御装置において、機械式補正部は、補正光学系を移動させることにより被写体像のぶれ補正を行う。

第１３の態様に係る撮像装置は、第１の態様から第１２の態様のいずれかに記載のぶれ補正制御装置を含む。

第１４の態様に係る撮像装置は、監視カメラである。

第１５の態様に係る撮像装置のぶれ補正方法は、被写体像のぶれ補正を機械的に行う機械式補正から被写体像のぶれ補正を電子的に行う電子式補正へ機械式補正と電子式補正の動作を同期させて行う切換制御を行う第１ステップと、電子式補正から機械式補正への切換制御を、第１ステップの切換制御とは異なる切換制御で行う第２ステップと、を含む。

第１６の態様に係るプログラムは、コンピュータに、

被写体像のぶれ補正を機械的に行う機械式補正から被写体像のぶれ補正を電子的に行う電子式補正へ機械式補正と電子式補正の動作を同期させて行う切換制御を行う第１ステップと、電子式補正から機械式補正への切換制御を、第１ステップの切換制御とは異なる切換制御で行う第２ステップと、を実行させるためのプログラムである。

本開示の一実施形態に係るぶれ補正制御装置は、被写体像のぶれ補正を機械的に行う機械式補正、又は被写体像のぶれ補正を電子的に行う電子式補正を選択するための撮像情報を取得する取得部と、取得部によって取得された撮像情報に基づいて、機械式補正から電子式補正への切換制御を、機械式補正と電子式補正のぶれ補正の動作を同期させて行う第１制御、及び電子式補正から機械式補正への切換制御を行う第２制御を行う少なくとも１つのプロセッサであって、第１制御と第２制御とで異なる制御を行うプロセッサと、を含む。

本開示の一実施形態によれば、機械式補正と電子式補正の両方が使用可能であり、機械式補正と電子式補正とを切換える場合の違和感を低減することができるぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラムが提供される。

第１実施形態に係る監視カメラシステムを示す図である。 監視カメラのブロック図である。 監視カメラの制御関連部のブロック図である。 第１実施形態に係るぶれ補正処理を含む動画撮像処理フローチャートである。 第１制御を行う効果を説明する図である。 第１実施形態に係る第１制御の処理フローチャートである。 第１実施形態に係る第１制御の機械式補正と電子式補正の動作比率の変更パターンの例である。 第１実施形態に係る第２制御の処理フローチャートである。 第１実施形態に係る第２制御の機械式補正と電子式補正の動作比率の変更パターンの例である。 第２実施形態に係る第１制御の機械式補正と電子式補正の動作比率の変更パターンの一例である。 第２実施形態に係る第２制御の機械式補正と電子式補正の動作比率の変更パターンの一例である。 第３実施形態に係る第１制御の機械式補正と電子式補正の動作比率の変更パターンの一例である。 第３実施形態に係る第３制御追加処理のフローチャートである。 第４実施形態に係る切換時間書換処理のフローチャートである。 可搬型記憶媒体から監視カメラにプログラム等をインストールする概念図である。

以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。

先ず、以下の説明で使用される用語について説明する。以下の説明において、「ＣＭＯＳ」とは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称である。「ＣＣＤ」とは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称である。「ＣＰＵ」とは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称である。「ＲＯＭ」とは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称である。「ＲＡＭ」とは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称である。「Ｉ／Ｆ」とは、“Ｉｎｔｅｒｆａｃｅ”の略称である。「ＡＳＩＣ」とは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＦＰＧＡ」とは、“Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称である。「ＳＳＤ」とは“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称である。「ＵＳＢ」とは“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称である。「ＣＤ−ＲＯＭ」とは“Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称である。「ＩＣ」とは“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＰＬＤ」とは“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称である。「ＡＦＥ」とは“Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ”の略称である。「ＤＳＰ」とは“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ”の略称である。「Ａ／Ｄ」とは“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称である。「ＷＡＮ」とは“Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称である。「ＡＥ」とは“Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ”の略称である。

（第１実施形態）
一例として図１に示すように、監視カメラシステム２は、監視カメラ１０と、管理装置１１と、記憶装置１２とを備える。監視カメラ１０は、本開示の技術に係る「撮像装置」の一例であり、屋内外の柱、または壁等に設置され、監視領域の画像を撮像して動画を生成する。監視カメラ１０は、生成した動画を管理装置１１に送信する。管理装置１１は、監視カメラ１０とは別の場所に設置される。ここでいう「別の場所」とは、例えば管理室等を指す。管理装置１１は、監視カメラ１０からの動画を受信する。管理装置１１は、受信した動画を記憶装置１２に送信し、動画を記憶装置１２に記憶させる。

一例として図２に示すように、監視カメラ１０は撮像光学系１５を有する。撮像光学系１５は、第１光学系１６、絞り１７、第２光学系１８、及び補正光学系１９を備えている。第１光学系１６は対物レンズを含む光学系であり、被写体を示す被写体光を、被写体像として後述する撮像素子２５の受光面に結像させる。絞り１７は、第１光学系１６から第２光学系１８に至る被写体像の光量を調整する。絞り１７にはアクチュエータ２０が取り付けられている。アクチュエータ２０は、ドライバ２１により駆動制御される。ドライバ２１の制御の下、アクチュエータ２０が駆動することで、絞り１７の開度が変更される。

監視カメラ１０に与えられる振動（以下、単に「振動」とも称する）には、屋外であれば、自動車の通行による振動、風による振動、及び道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、及び人の出入りによる振動等がある。補正光学系１９は、振動による被写体像の像ぶれ（以下、「ぶれ」と称する。）を補正するための光学系である。補正光学系１９にはアクチュエータ２２が取り付けられている。アクチュエータ２２は、ドライバ２３により駆動制御される。ドライバ２３の制御の下、アクチュエータ２２が駆動することで、補正光学系１９が光軸ＯＡに対して機械的に移動する。

なお、本実施形態において、「ぶれ」とは、振動に起因して光軸ＯＡが被写体像に対して変動することによって生じる現象を指す。ここでいう「光軸ＯＡ」とは、第１光学系１６の対物レンズの光軸を指す。光軸ＯＡの変動とは、例えば、基準軸（例えば、ぶれが発生する前の光軸ＯＡ）に対して、ぶれにより光軸ＯＡが傾くことを意味する。なお、本実施形態において、ぶれの補正には、ぶれをなくすという意味の他に、ぶれを低減するという意味も含まれる。

補正光学系１９とアクチュエータ２２とドライバ２３とで、被写体像のぶれを機械的に補正する機械式補正部２４が実現される。機械式補正部２４によるぶれの補正方法としては、周知の種々の方法を採用することができる。最も単純には、機械式補正部２４は、ぶれを打ち消す方向に、ぶれを打ち消す量だけ、補正光学系１９を移動させる。

撮像光学系１５の後段には、撮像素子２５が配置されている。撮像素子２５は、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサである。撮像素子２５は、ドライバ２６の制御の下、所定のフレームレートで、撮像光学系１５で取り込まれた被写体像を撮像し、アナログの撮像信号を出力する。なお、ここでいう「所定のフレームレート」とは、例えば、数フレーム／秒から数十フレーム／秒を指す。

監視カメラ１０は、ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ３４、ＲＯＭ３５、ＲＡＭ３６、及びＣＰＵ３７等を有する。ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ３４、ＲＯＭ３５、ＲＡＭ３６、及びＣＰＵ３７は、バスライン３８を介して相互に接続されている。なお、ＲＯＭ３５、ＲＡＭ３６、ＣＰＵ３７、及びバスライン３８は、本開示の技術に係る「コンピュータ」の一例である。

ＡＦＥ３０は、撮像素子２５からのアナログの撮像信号を受信する。ＡＦＥ３０は、アナログの撮像信号に対して、相関二重サンプリング、及び自動ゲイン調整等のアナログ信号処理を施した後、Ａ／Ｄ変換を行ってデジタルの撮像信号とする。なお、撮像素子２５がＣＭＯＳイメージセンサである場合は、ＡＦＥ３０はＣＭＯＳイメージセンサ内に一体的に組み込まれる。

ＤＳＰ３１は、デジタルの撮像信号に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等を指す。ＤＳＰ３１は、デジタル信号処理後の撮像信号を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からの撮像信号を、被写体像を表す画像として記憶する。

電子式補正部３３は、画像メモリ３２に記憶された画像に画像処理を施すことで、被写体像のぶれを電子的に補正する。機械式補正部２４の場合と同様に、電子式補正部３３によるぶれの補正方法としては、周知の種々の方法を採用することができる。

電子式補正部３３によるぶれの補正方法としては、例えば、画像出力領域切り出し方法と、画像比較方法とが挙げられる。画像出力領域切り出し方法では、まず、撮像素子２５は、撮像領域を、最終的に画像として出力する領域（以下、「画像出力領域」という。）よりも一回り大きくしておく。電子式補正部３３は、画像メモリ３２に記憶された画像から、画像出力領域に該当する画像を切り出す。この際、電子式補正部３３は、ぶれに応じて、画像出力領域の切り出し位置を変更する。

画像比較方法では、まず、電子式補正部３３は、画像メモリ３２から、時系列的に前後する２つの画像を取得し、取得した２つの画像を比較する。次に、電子式補正部３３は、画像を比較した結果を元に、時系列的に先行する画像に対する後続の画像のずれ量及びずれ方向を算出する。そして、電子式補正部３３は、後続の画像を、算出したずれ量及びずれ方向が打ち消された画像に加工する。

通信Ｉ／Ｆ３４は、画像メモリ３２から画像を読み出し、読み出した画像を管理装置１１に送信する。通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースである。ネットワークインターフェースは、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネットあるいは公衆通信網等のＷＡＮが挙げられる。

ＲＯＭ３５は、監視カメラ１０の制御プログラムといった各種プログラム、並びに各種プログラムに付随する各種データを記憶する。ＲＡＭ３６は、ＣＰＵ３７が処理を実行するためのワークメモリである。ＣＰＵ３７は、ＲＯＭ３５に記憶されたプログラムをＲＡＭ３６へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ３７は、監視カメラ１０の各部の動作を統括的に制御する。

ＣＰＵ３７には、ぶれ検出センサ４０、測光センサ４１、及びタッチパネルディスプレイ４２が接続されている。ぶれ検出センサ４０は、例えば、ジャイロセンサである。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、及びロール軸ＲＡ（光軸ＯＡに平行な軸）の各軸（図１参照）回りの角速度、つまり回転ぶれを検出する。また、ぶれ検出センサ４０は、例えば、加速度センサである。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡとに平行な平面内のシフトぶれを検出する。ぶれ検出センサ４０は、ぶれの検出信号をぶれ情報としてＣＰＵ３７に出力する。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上及び製造上において許容される誤差を含む略平行の意味も含まれる。

測光センサ４１は、ＡＥ制御を行うために、１フレーム毎に被写体像の光量を測定する。測光センサ４１は、光量の測定信号をＣＰＵ３７に出力する。

タッチパネルディスプレイ４２は、ディスプレイに対してタッチパネルが重ねられたデバイスである。ディスプレイは、ＣＰＵ３７の制御下で、画像を含む各種情報を表示する。タッチパネルは、ディスプレイの表示画面に重ねられており、ユーザの指またはタッチペン等の指示体による接触を受け付ける。タッチパネルディスプレイ４２には、監視カメラ１０の各種設定を行うための設定画面等が表示される。タッチパネルディスプレイ４２は、設定画面等を通じて、ユーザからの操作指示の入力を受け付ける。

一例として図３に示すように、ＲＯＭ３５には、電子式補正制御プログラム１４２、機械式補正制御プログラム１４４、切換制御プログラム１４６、及び動作比率テーブル１４８等が記憶されている。電子式補正制御プログラム１４２は、電子式のぶれ補正制御（以下「電子式補正」ともいう。）を行うプログラムである。機械式補正制御プログラム１４４は、機械式のぶれ補正制御（以下「機械式補正」ともいう。）を行うプログラムである。切換制御プログラム１４６は、機械式補正と電子式補正との切換時のぶれ補正制御を行うプログラムである。

なお、図示していないが、ＲＯＭ３５には、各補正制御プログラム１４２、１４４及び切換制御プログラム１４６以外に、監視カメラ１０を制御するために必要な自動露光調整プログラム及び自動焦点調節プログラム等も記憶されている。切換制御プログラム１４６は、本開示の技術に係る、コンピュータに切換制御を実行させるためのプログラムの一例である。

ＣＰＵ３７は、ＲＯＭ３５に記憶された各種プログラムを実行することで、ＲＡＭ３６等と協働して、ＡＥ制御部６０、取得部６１、及びぶれ補正制御部６３として機能する。

ＡＥ制御部６０は、測光センサ４１からの光量の測定信号を受信する。ＡＥ制御部６０は、受信した光量の測定信号に応じた露出値を設定する。ＡＥ制御部６０は、１フレーム毎に露出値を設定する。より詳しくは、ＡＥ制御部６０は、前のフレームの測定信号に基づいて、次のフレームの露出値を設定する。

ＡＥ制御部６０は、設定した露出値に応じた絞り１７の開度を算出する。ＡＥ制御部６０は、算出した開度に絞り１７の実際の開度を合わせるように、ドライバ２１を介してアクチュエータ２０を駆動させる。

また、ＡＥ制御部６０は、設定した露出値に応じた、撮像素子２５における被写体像の露光時間を算出する。ＡＥ制御部６０は、算出した露光時間に実際の露光時間を合わせるように、ドライバ２６を介して撮像素子２５を駆動させる。ＡＥ制御部６０は、算出した露光時間を取得部６１に出力する。

取得部６１は、ＡＥ制御部６０から出力された露光時間を取得する。露光時間は、機械式補正、又は電子式補正を選択するための「撮像情報」の一例である。前述したように、ＡＥ制御部６０は、１フレーム毎に露出値を設定するので、露光時間も１フレーム毎に算出して、１フレーム毎に取得部６１に出力する。取得部６１は、取得した露光時間をぶれ補正制御部６３に出力する。

ぶれ補正制御部６３は、ぶれ検出センサ４０からのぶれの検出信号を受信する。ぶれ補正制御部６３は、受信した検出信号に基づいて、被写体像のぶれを打ち消すよう、機械式補正部２４及び電子式補正部３３の動作を制御する。

ぶれ補正制御部６３は、取得部から受信した露光時間に基づいて、機械式補正部２４による機械式補正を行うか、又は電子式補正部３３による電子式補正を行うかを判定し、切換が必要と判定された場合は切換制御を実行する。ぶれ補正制御部６３は、ぶれ検出センサ４０から受信したぶれの検出信号を用いて、ぶれ補正量を算出する。ぶれ補正制御部６３は、算出したぶれ補正量のうち、機械式補正部２４が補正する量と、電子式補正部３３が補正する量とを算出する。ぶれ補正制御部６３は、算出した機械式補正量を、機械式補正部２４に補正させる。また、ぶれ補正制御部６３は、算出した電子式補正量を、電子式補正部３３に補正させる。以下、機械式補正部２４が補正する量を機械式補正量、電子式補正部３３が補正する量を電子式補正量という。

次に、以上のような構成を有する監視カメラ１０の動作について説明する。まず、監視カメラ１０が行うぶれ補正処理を含む動画撮像処理フローについて説明する。一例として図４に示すように、まずステップＳ１０で、電源ボタンが押下されるとパワーオンとなる。パワーオンされるとステップＳ１１で、動画撮像のスタンバイモードとなる。なお、電源ボタンが押下された場合には、動画スタンバイモードを経ずに動画記録を開始するように監視カメラ１０を動作させてもよい。

次にステップＳ１２で、ＣＰＵ３７は、動画記録を開始するか否かを判定する。動画記録は「録画」とも称する。録画を開始するか否かは、本実施形態では、例えば録画ボタンが押されたか否かで判定される。ステップＳ１２で、録画ボタンが押されていない場合は、判定が否定されてステップＳ２２に移行する。ステップＳ２２で、ＣＰＵ３７は、電源ボタンが押下されたか否かを判定する。ステップＳ２２で、電源ボタンが押下された場合は、パワーオフとなり、動画撮像処理が終了する。ステップＳ２２で、電源ボタンが押下されない場合は、判定が否定されてステップＳ１１の動画スタンバイモードに戻る。

ステップＳ１２で、録画ボタンが押された場合は、判定が肯定されてステップＳ１３に移行する。ステップＳ１３で、ぶれ補正制御部６３は、機械式補正制御を行う条件が成立したか否かを判定する。機械式補正制御を行う条件とは、本実施形態１では露光時間が第１閾値以上であるという条件である。ステップＳ１３で、機械式補正制御を行う条件が成立した場合は、判定が肯定されてステップＳ１４に移行し、ぶれ補正制御部６３は機械式補正制御を実行する。

露光時間の第１閾値は、例えば露光時間条件を変えて機械式補正制御から電子式補正制御に切り換え、画像のぶれ残りによってユーザが違和感を感じるか否かの官能試験を予め行って決定することができる。又は、監視カメラを配置する環境で、露光時間に長さによってどの程度のぶれ残りが発生するかを計算してそのぶれ残りの大きさに基づいて決定してもよい。

なお、機械式補正制御を行う条件は、露光時間に応じた条件に限定されない。例えば、ぶれ検出センサ４０によって検出されるぶれの大きさ及び、周期の所定の閾値を設定し、ぶれの大きさ及び、周期が閾値を超えたか否かを条件としてもよい。又は、周囲の明るさが時間帯で変化する環境であれば、その時間帯で機械式補正制御と電子式補正制御とを切り換えてもよい。この場合は、時刻が機械式補正制御を行う条件となる。

次に、ステップＳ１５で、ＣＰＵ３７は、動画記録を終了する条件が成立したか否かを判定する。動画記録を終了する条件とは、例えば録画中に録画停止ボタンが押下されたという条件である。ステップＳ１５で動画記録を終了する条件が成立した場合は、判定が肯定されて録画が停止され、ステップＳ１１の動画スタンバイモードに戻る。

ステップＳ１５で動画記録を終了する条件が成立していない場合は、判定が否定されてステップＳ１６に移行する。ステップＳ１６で、ぶれ補正制御部６３は、電子式補正制御を行う条件が成立したか否かを判定する。電子式補正制御を行う条件とは、例えば露光時間が第１閾値より小さいという条件である。ステップＳ１６で、電子式補正制御を行う条件が成立していない場合は、判定が否定されてステップＳ１４に戻る。ステップＳ１６で、電子式補正制御を行う条件が成立した場合は、判定が肯定されてステップＳ１７に移行し、ぶれ補正制御部６３は、機械式補正制御から電子式補正制御への切換制御を行う。ステップＳ１７の詳細については後述する。

一方、ステップＳ１３で、機械式補正制御を行う条件が成立していない場合は、判定が否定されてステップＳ１８に移行し、ぶれ補正制御部６３は電子式補正制御を実行する。次に、ステップＳ１９に移行し、ＣＰＵ３７は動画記録を終了する条件が成立したか否かを判定する。ステップＳ１９で動画記録を終了する条件が成立した場合は、判定が肯定されて録画が停止され、ステップＳ１１の動画スタンバイモードに戻る。

ステップＳ１９で動画記録を終了する条件が成立していない場合は、判定が否定されてステップＳ２０に移行する。ステップＳ２０で、ぶれ補正制御部６３は、機械式補正制御を行う条件が成立したか否かを判定する。ステップＳ２０で、機械式補正制御を行う条件が成立していない場合は、判定は否定されてステップＳ１８に戻る。ステップＳ２０で、機械式補正制御を行う条件が成立した場合は、判定は肯定されてステップＳ２１に移行し、ぶれ補正制御部６３は、電子式補正制御から機械式補正制御への切換制御を行う。ステップＳ２１の詳細については後述する。

次に、ステップＳ１７の切換制御について説明する。ステップＳ１７は、必要なぶれ補正のすべてを機械式補正で行う制御をしている時点から、必要なぶれ補正のすべてを電子式補正で行う制御を開始するまでの間の切換段階で行う切換制御である。以下、必要なぶれ補正のすべてを機械式補正で行う制御をする状態を「第１状態」と称し、必要なぶれ補正のすべてを電子式補正で行う制御をする状態を「第２状態」と称する。そして、第１状態から第２状態への切換段階の制御を行う状態を「第３状態」と称する。第３状態の制御は、本開示の技術に係る「第１制御」の一例である。第３状態にある時間を、第１制御の切換時間Ｔ１と称する。

ここで、ステップＳ１７の切換制御を行うことによる効果を説明する。図５の上段に示すように、露光時間が時間とともに次第に短くなり、第１閾値以上では機械式補正でぶれ補正し、露光時間が第１閾値より小さくなってからは電子式補正に切り換えてぶれ補正する場合を考える。

従来技術では、図５の中段に示すように、機械式補正から電子式補正に切換えた時にぶれ残りが急激に増加する。ただし、このぶれ残りは、画像の品質として許容される量である。しかし、ユーザが見るとぶれ残りが急激に増加して目立つため、違和感を感じることがある。そこで、本実施形態１では図５の下段に示すように、電子式補正に切換える際に、機械式補正と電子式補正とを併用する第３状態を設ける。第３状態を設けることにより、ぶれ残りが少しずつ増加するために違和感を低減することができる。

ステップＳ１７の切換制御は、第３状態の制御である第１制御を指す。第１制御は、機械式補正部２４による機械式補正から電子式補正部３３による電子式補正への切換制御を、機械式補正部２４と電子式補正部３３のぶれ補正の動作を同期させて行う制御である。機械式補正部２４と電子式補正部３３のぶれ補正の動作を同期させて行うとは、機械式補正部２４のぶれ補正と電子式補正部３３のぶれ補正とを併用するということである。

機械式補正部２４によるぶれ補正を第１動作と称する。また、電子式補正部３３によるぶれ補正を第２動作と称する。また、ぶれ補正に必要な補正量に対する機械式補正部２４によるぶれ補正量の比率を第１動作比率と称する。また、ぶれ補正に必要な補正量に対する電子式補正部３３によるぶれ補正量の比率を第２動作比率と称する。なお、第１動作比率と第２動作比率とを区別する必要がない場合は、単に「動作比率」と称する。

次に、ステップＳ１７の第１制御について図面を参照して説明する。一例として図６に示すように、まずステップＳ３０において、ぶれ補正制御部６３は、機械式補正の第１動作比率と電子式補正の第２動作比率の経時的な動作比率変更パターンと切換時間Ｔ１を決定する。なお、動作比率変更パターン及び／又は切換時間Ｔ１をユーザが変更可能、つまりユーザが選択して決定してもよい。経時的な動作比率変更パターンとは、第１動作比率と第２動作比率とを、時間経過に応じて変更するパターンである。

ステップＳ３０では、第１制御の開始から終了まで、第１動作比率を時間経過に応じて減少させ、第２動作比率を時間経過に応じて増加させる制御パターンを決定する。制御パターンは、例えば時間ごとに具体的な動作比率を規定した動作比率テーブルであってもよい。又は、パターンは、関数式のような動作比率変更式であってもよい。動作比率変更式は、時間領域ごとに変更されてもよい。なお、「時間経過に応じて増加する」とは、必ずしも連続的に増加することを意味するわけではなく、一時的に増加が停止してもよい。「時間経過に応じて減少する」という記載も同様に、必ずしも連続的に減少することを意味するわけではなく、一時的に減少が停止してもよい。

経時的な動作比率変更パターンは、例えば図７のパターン例１からパターン例４に示すように、種々のパターンを設定することができる。図７のパターン例１からパターン例４は、横軸が経過時間、左側の縦軸が機械式補正の第１動作比率、右側の縦軸が電子式補正の第２動作比率を取ったグラフである。パターン例１は、機械式補正の第１動作比率が１から０まで経過時間に比例して直線的に減少するパターンである。逆に電子式補正の第２動作比率は、０から１まで経過時間に比例して直線的に増加する。動作比率変更パターンは、予めぶれ残りが目立たない最適なパターンが実験によって決定され、動作比率テーブル（動作比率変更式）１４８に記憶されている。又は、ユーザがいくつかのパターンから選択可能としてもよい。第１動作比率と第２動作比率は、両者を足すと１となる数値である。

図７のパターン例２は、第１動作比率の減少率が、時間経過に応じて増大する、上に凸の２次関数的なカーブパターンである。パターン例３は、逆に第１動作比率の減少率が、時間経過に応じて減少する、下に凸の２次関数的なカーブパターンである。パターン例４は、段階的に変化するパターンである。ただし、経時的な動作比率変更パターンは上述のパターン例１から４に限定されない。

第１制御の切換時間Ｔ１の長さは特に限定されない。例えば数ミリ秒間から数秒間まで、条件に応じて設定することができる。また、切換時間Ｔ１は、上述の時間の長さに相当するフレーム数で規定してもよい。切換時間は、予め試験によって決定されて、ＲＯＭ３５に動作比率テーブル（動作比率変更式）１４８に記憶されている。また、複数の切換時間Ｔ１を予めＲＯＭ３５に記憶しておき、ユーザが変更可能（選択可能）としてもよい。

図６に戻り、ステップＳ３２で、ぶれ補正制御部６３は、ぶれ検出センサ４０から受信したぶれの検出信号を用いて、必要なぶれ補正量を算出する。次にステップＳ３４に移行し、ぶれ補正制御部６３は、ステップＳ３０で決定された動作比率変更パターンに従って、機械式補正部２４と電子式補正部３３がそれぞれ分担する補正量を算出する。次にステップＳ３６に移行し、ぶれ補正制御部６３は、算出されたそれぞれの補正量を機械式方式と電子式方式で補正する。つまり、ぶれ補正制御部６３は、機械式補正部２４を制御して機械式補正の補正量を補正する。またぶれ補正制御部６３は、電子式補正部３３を制御して電子式補正の補正量を補正する。

ステップＳ３６で実行されるぶれ補正処理について具体的に説明する。ぶれ補正制御部６３は、ステップＳ３２で計算された必要なぶれ補正量に、動作比率変更パターンに基づく第１動作比率を乗じて機械式補正で行う補正量を得る。そして、ぶれ補正制御部６３は、機械式補正部２４を制御して、得られた機械式補正で行う補正量を補正する。また、ぶれ補正制御部６３は、電子式補正部３３を制御する。例えば、ぶれ補正制御部６３は、記憶された２つの連続したフレーム画像を比較して、共通する対象の変位方向と変位量を算出する。そして、後のフレーム画像から、算出された変位方向に変位した所定の領域の画像を切り出して表示する。２つのフレーム画像はすでに機械式補正部２４によって一部ぶれ補正された画像であり、残りのぶれ量は電子式補正部３３が補正することとなる。

次にステップＳ３８に移行し、ぶれ補正制御部６３は、経過時間がステップＳ３０で決定された時間Ｔ１を経過したか否かを判定する。経過時間がステップＳ３０で決定された切換時間Ｔ１を経過していなければ、判定は否定されてステップＳ３２に戻る。経過時間がステップＳ３０で決定された切換時間Ｔ１を経過していれば、判定は肯定されてステップＳ１７の処理は終了し、図４のステップＳ１８に移行する。

次に、ステップＳ２１の、電子式補正から機械式補正に切換える第２制御について説明する。一例として図８に示すように、まずステップＳ４０で、ぶれ補正制御部６３は、機械式補正の第１動作比率を時間経過に応じて増加させ、電子式補正の第２動作比率を時間経過に応じて減少させる経時的な動作比率変更パターンと切換時間Ｔ２を決定する。なお、ユーザが動作比率変更パターン及び／又は切換時間Ｔ２を選択して決定してもよい。経時的な動作比率変更パターンとは、ステップＳ１７で説明したとおりである。ただし、動作比率の増減する方向はステップＳ１７の場合と逆である。なお、第２状態から第１状態への切換段階の制御を行う状態を「第４状態」と称する。ステップＳ２１の切換制御とは、第４状態を指す。第４状態は、電子式補正部３３によるぶれ補正から機械式補正部２４によるぶれ補正への切換制御状態である。

なお、第４状態は、制御の開始から終了まで機械式補正部２４と電子式補正部３３のぶれ補正の動作を同期させて行う制御状態と、同期させない制御状態とを含む。第４状態の制御は、本開示の技術に係る「第２制御」の一例である。第４状態にある時間を、第２制御の切換時間Ｔ２と称する。切換時間Ｔ２の長さは特に限定されない。例えばゼロ秒間から数秒間まで、さまざまな条件に応じて設定可能である。切換時間Ｔ２は、フレーム数で規定してもよい。

第１実施形態は、第１制御と第２制御とで異なる制御を行う実施形態である。具体的には、第１制御と第２制御とで時間応答性が異なる。時間応答性を異ならせる形態は限定されないが、第１実施形態では、第１制御の時間の長さと第２制御の時間の長さとを異ならせる。具体的には、切換時間Ｔ１の長さは、第１制御の切換時間Ｔ２よりも長い。第１実施形態では、この条件を満たす限り、切換時間Ｔ１と切換時間Ｔ２の長さは特に限定されない。

第１実施形態では、経時的な動作比率変更パターンは限定されない。第２制御では、第２制御の開始から終了まで機械式補正部２４と電子式補正部３３のぶれ補正の動作を同期させて、第１動作比率を時間経過に応じて増加させ、かつ第２動作比率を時間経過に応じて減少させる。そのほか、後述するように、機械式補正部２４と電子式補正部３３のぶれ補正の動作を同期させずに、電子式補正部３３によるぶれ補正制御から、機械式補正部２４によるぶれ補正制御に即座に切り換える場合がある。

第２制御の開始から終了まで機械式補正部２４と電子式補正部３３のぶれ補正の動作を同期させて行う場合は、一例として図９のパターン例１に示すように、経時的な動作比率変更パターンは直線的に変化するパターンでもよい。図９のパターン例１からパターン例３は、横軸が経過時間、左側の縦軸が電子式補正の第２動作比率、右側の縦軸が機械式補正の第１動作比率を取ったグラフである。パターン例１は、電子式補正の第２動作比率が１から０まで時間に比例して直線的に減少するパターンである。逆に機械式補正の第１動作比率は、０から１まで時間経過に応じて直線的に増加する。

また、経時的な動作比率変更パターンは、例えばパターン例２のようなパターンでもよい。パターン例２は、第２動作比率の減少率が、時間経過に応じて低下する下に凸のカーブパターンである。

図９のパターン例３は、機械式補正部２４と電子式補正部３３のぶれ補正の動作を同期させずに、電子式補正部３３によるぶれ補正から、機械式補正部２４によるぶれ補正へ動作の切換制御を行う場合のパターンである。パターン例３は、切換時間Ｔ２が実質的にゼロの例である。電子式のぶれ補正から機械式のぶれ補正に即座に切り換えた場合は、図９の最下段に示すように、ぶれ残りが急に減少する場合がある。しかしぶれ残りが減少することによる違和感は感じにくいため、パターン例３に示すパターンでも問題はない。従って、ぶれ残りの抑制を優先する場合はパターン例３が好ましい。なお、経時的な動作比率変更パターンは上述のパターン例１−３に限定されない。例えば、段階的に変化するパターン（図示省略）でもよい。

図８に戻り、ステップＳ４２でぶれ補正制御部６３は、ぶれ検出センサ４０から取得したぶれ情報を用いて、必要なぶれ補正量を算出する。次にステップＳ４４に移行し、ぶれ補正制御部６３は、ステップＳ４０で決定された動作比率変更パターンに従って、機械式補正と電子式補正の各補正量を算出する。次にステップＳ４６に移行し、ぶれ補正制御部６３は、算出された各補正量を機械式方式と電子式方式で補正する。ステップＳ４６の制御は、ステップＳ３６で説明した制御と同じである。

次にステップＳ４８に移行し、ぶれ補正制御部６３は、経過時間がステップＳ４０で決定された時間Ｔ２を経過したか否かを判定する。経過時間がステップＳ４０で決定された切換時間Ｔ２を経過していなければ、判定は否定されてステップＳ４２に戻る。経過時間がステップＳ４０で決定された切換時間Ｔ２を経過していれば、判定は肯定されてステップＳ２１の処理は終了し、図４のステップＳ１４に移行する。

第１の実施形態によれば、まず第１制御を行うことにより、機械式補正でぶれ補正を１００％で行う第１状態から、電子式補正でぶれ補正を１００％で行う第２状態に移行する場合に、画像のぶれが急激に大きくなる現象を抑制できる。電子式補正では、補正しきれないぶれ、いわゆるぶれ残りが生じる可能性が高い。しかし、機械式補正を徐々に減らし、電子式補正を徐々に増やすことで、ぶれ残りの量が徐々に増加する。従って、目がぶれ残りに慣れることで違和感が低減される。

さらに、第２状態から第１状態に移行する場合に第２制御を実行する。第２制御を実行することにより、ぶれ残りが徐々に減少し、ユーザが感じる違和感を低減できる。第２制御の切換時間Ｔ２は、第１制御の切換時間Ｔ１よりも短く設定するが、第２状態から第１状態に移行する場合は、ぶれ残りが減少する方向であるため、切換時間Ｔ２が切換時間Ｔ１よりも短くても違和感は生じにくい。

以上の第１実施形態に係る監視カメラ１０によれば、機械式補正と電子式補正の両方が使用可能であり、機械式補正と電子式補正とを切換える場合の違和感を低減することができる。

（第２実施形態）
次に、第２実施形態について図面を参照して説明する。第１実施形態では、第１制御の切換時間Ｔ１を、第２制御の切換時間Ｔ２よりも長く設定した。それに対して、第２実施形態では、第１制御の切換時間Ｔ１と第２制御の切換時間Ｔ２とを同じ時間に設定し、第１制御と第２制御の時間応答性を異ならせる。第２実施形態での時間応答性とは、例えば動作比率の変更パターンである。

具体的には、第１制御を、例えば図１０Ａに示すパターンのように、動作比率を１次関数的に変更させる。そして、第２制御を、例えば図１０Ｂに示すように、上に凸の２次関数的なパターンで変更させる。ここで、例えば図１０Ｂに示す領域Ｘの面積が、領域Ｙの面積よりも小さくなるように変更させる。これにより、第２制御における動作比率を第１制御と同じ１次関数的に変更させる場合に比べ、機械式補正の使用比率が減少する。従って、第１制御の切換時間Ｔ１と第２制御の切換時間Ｔ２とは同じであるが、第２制御における動作比率を第１制御と同じ１次関数的に変更させる場合に比べ、消費電力量を低減することができる。なお、第１制御と第２制御の動作比率の変更パターンは上記の例に限定されない。さらに、第１制御と第２制御の動作比率の変更パターンを異ならせ、かつそれぞれの切換時間Ｔ１とＴ２を異ならせてもよい。

以上の第２実施形態においても、機械式補正と電子式補正の両方が使用可能であり、機械式補正と電子式補正とを切換える場合の違和感を低減でき、かつ第１制御と第２制御で同じ切換制御を行う場合よりも電力消費量をより抑制することができる。

（第３実施形態）
次に、第３実施形態について図面を参照して説明する。第３実施形態では、第１状態から第２状態に移行する場合に、第１制御の開始前に第３制御を行う。具体的には、一例として図１１の上図に示すように、第１制御を行う前に、補正量に対して０より大きく、１より小さい比率で機械式の補正だけを行う第３制御を実行する。第３制御では、機械式補正部２４によるぶれ補正の補正量を、ぶれ補正に必要な補正量よりも小さく制御する。図１１の下図に示すように、第３制御に引き続いて第１制御を開始するまで、ぶれ残りを意図的に増加させることにより、第１制御でぶれ残りが増加する違和感をより低減させることができる。どの程度ぶれ残りを増加させ、どの程度の時間Ｔ３継続させてから第１制御に切り換えると違和感がより低減できるかを、予め試験により決定しておくことが好ましい。なお、第３制御の制御時間Ｔ３の長さは特に限定されるものではないが、例えばＴ１の長さよりも小さい時間であってもよい。

第３実施形態における第３制御追加処理の一例を説明する。第３実施形態の撮像処理は、図４に示す第１実施形態の撮像処理と同じである。従って、ここでは、図４のステップＳ１７だけを図１２を用いて説明する。

図１２のステップＳ６０において、ぶれ補正制御部６３は、機械式補正の補正量を必要補正量よりも小さくする割合と、その割合で制御する制御時間Ｔ３を決定する。次に、ステップＳ６２で、ぶれ補正制御部６３は、機械式補正の補正量を必要補正量よりも小さくする第３制御を実行する。ステップＳ６４で、ぶれ補正制御部６３は、ステップＳ６２で決定した制御時間Ｔ３が経過したか否かを判定する。ステップＳ６４で、制御時間Ｔ３が経過していない場合は、判定は否定されてステップＳ６２に戻る。制御時間Ｔ３が経過している場合は、判定は肯定されてステップＳ３０に移行する。

ステップＳ３０からステップＳ３８までは、第１実施形態の図６に示すステップＳ３０からステップＳ３８までと同じであるので、説明は省略する。なお、ステップＳ３８での判定が肯定されると、図４のステップＳ１８に移行する。

上述の第３制御は、第１制御の前に常に実行してもよい。また、ユーザが第３制御を実行するか否かを設定可能にしてもよい。なお、第３実施形態における第１制御の時間は第２制御の時間よりも長くする。又は、第１制御の時間と第２制御の時間とを同じにして、それぞれの制御パターンを異ならせてもよい。制御パターンを異ならせる方法は、例えば図１０Ａ及び図１０Ｂで説明した方法と同様である。以上の第３実施形態においては、機械式補正から電子式補正に切換える場合のぶれ増加による違和感をより低減することができる。

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態は、機械式のぶれ補正から電子式のぶれ補正に変更する場合に、予め定められた対象が撮像されているか否かで、第１制御の切換時間Ｔ１を書き換える実施形態である。第４実施形態では、監視カメラ１０は、例えば画像解析により予め定められた対象が撮像されているか否かを検出する検出部を備える。本第４実施形態では、ＣＰＵ３７が検出部として動作する。但し、これに限らず、ＣＰＵ３７とは別個のプロセッサを検出部として動作させるようにしてもよいし、ＣＰＵ３７と他の少なくとも１つのプロセッサとを協働させて検出部として動作させるようにしてもよい。なお、検出部における画像解析による対象の検出は公知の技術を用いることができるため、ここでの説明は省略する。ぶれ補正制御部６３は、第１制御において、検出部が予め定められた対象を検出しない場合は検出部が予め定められた対象を検出した場合よりも第１制御の時間の長さを短くする。

以下に、切換時間書換処理を図１３を例にとって説明する。第４実施形態での撮像処理は、図４に示す第１実施形態の撮像処理と同じである。従ってここでは、図４のステップＳ１４に相当するステップＳ９０から説明する。ステップＳ９０で、機械式のぶれ補正制御を実行する。ステップＳ９１で、ぶれ補正制御部６３は、動画記録を終了する条件が成立したか否かを判定する。動画記録を終了する条件は、図４のステップＳ１５で説明したとおりである。ステップＳ９１での判定が肯定された場合は、図４のステップＳ１１に戻る。

ステップＳ９１での判定が否定された場合は、ステップＳ９２に移行する。ステップＳ９２で、ぶれ補正制御部６３は、電子式のぶれ補正制御に移行する条件が成立したか否かを判定する。電子式のぶれ補正制御に移行する条件は、図４のステップＳ１６で説明したとおりである。ステップＳ９２で、電子式のぶれ補正制御に移行する条件が成立していない場合は、判定が否定されてステップＳ９０に戻る。一方、電子式のぶれ補正制御に移行する条件が成立した場合は、判定が肯定されてステップＳ９４に移行する。

ステップＳ９４で、ぶれ補正制御部６３は、検出部にその時点で得られているフレーム画像の画像解析処理を行わせる。画像解析処理は、予め定められた対象がフレーム画像に存在するか否かを判定するために行われる。検出部が行う画像解析処理の方法は、公知の方法を採用することができる。

次にステップＳ９６において、ぶれ補正制御部６３は、予め定められた対象がフレーム画像に検出されたか否かを判定する。ステップＳ９６で、予め定められた対象がフレーム画像に検出された場合は、判定が肯定されてステップＳ９８に移行する。ステップＳ９８でぶれ補正制御部６３は、機械式のぶれ補正制御から電子式のぶれ補正制御へ切り換える第１制御の切換時間Ｔ１を、予め定められた通常時間Ｔ１Ａに書き換える。次にステップＳ１０２に移行し、ぶれ補正制御部６３は、経時的に機械式補正を減らし、電子式補正を増やす動作比率変更パターンを決定する。

一方、ステップＳ９６で、予め定められた対象がフレーム画像に検出されない場合は、判定が否定されてステップＳ１００に移行する。ステップＳ１００において、ぶれ補正制御部６３は、機械式のぶれ補正制御から電子式のぶれ補正制御へ切り換える第１制御の切換時間Ｔ１を、通常時間Ｔ１Ａよりも短い、予め定められた短縮時間Ｔ１Ｂに書き換える。次にステップＳ１０２において、ぶれ補正制御部６３は、経時的に機械式補正を減らし、電子式補正を増やす動作比率変更パターンを決定する。

ステップＳ１０２の次は、ステップＳ３２に移行する。ステップＳ３２からステップＳ３８までは、図６で説明したステップＳ３２からステップＳ３８までと同じであるので、ここでの説明は省略する。なお、ステップＳ３８の判定が肯定の場合は、図４のステップＳ１８に移行し、電子式の補正制御を実行する。

第４実施形態では、通常時間Ｔ１Ａよりも短い短縮時間Ｔ１Ｂでも、電子式から機械式のぶれ補正制御に切り換える切換時間Ｔ２よりも長くしておくことが好ましい。従って、Ｔ１Ａ＞Ｔ２Ａを満たす通常時間Ｔ１Ａ及び通常時間Ｔ２Ａのセットと、Ｔ１Ｂ＞Ｔ２Ｂを満たす短縮時間Ｔ１Ｂ及び短縮時間Ｔ２Ｂのセットを設けておき、切換時間Ｔ１を短縮時間Ｔ１Ｂに書き換える場合、同時に切換時間Ｔ２も短縮時間Ｔ２Ｂに書き換えることが好ましい。また、切換時間Ｔ１を通常時間Ｔ１Ａに書き換える場合、同時に切換時間Ｔ２も通常時間Ｔ２Ａに書き換えることが好ましい。

ステップＳ９６での検出判定対象である「予め定められた対象」は、特に限定されない。例えば、具体的な観察対象がある場合は、その観察対象特有の形状等の特徴を有しているか否かを画像解析処理で検出する。また、人物等の動く物体を対象としてもよい。その場合は、複数のフレームを比較して、例えば背景と比べて位置が移動する物体があるかどうかを画像解析処理で検出する。また、特定の色を有する物体を対象としてもよい。その場合は、背景とは異なる、特定の色を有する物体が画像中に存在するか否かを画像解析処理で検出する。

第４実施形態によれば、予め定められた対象が撮像されていない場合は、機械式のぶれ補正制御から電子式のぶれ補正制御に短時間で切り換えるので、機械式補正部２４を用いる時間をより短縮することができる。第４実施形態により、予め定められた対象が撮像されている場合は、ぶれ補正切換による違和感を低減でき、予め定められた対象が撮像されていない場合は、消費電力抑制を優先することができる。

なお、第４実施形態では、予め定められた対象が撮像されているか、又は撮像されていないかで第１制御又は第２制御の切換時間を書き換えるが、その条件はこれに限られない。例えば、ぶれが大きい場合は、第１制御又は第２制御の切換時間を大きい値に書き換えることにしてもよい。

（第１変形例）
上述の第１実施形態から第４実施形態では、機械式補正の方法として、補正光学系１９を移動させてぶれを補正する方法を用いた。しかし機械式補正の方法はこれに限定されない。例えば、機械式補正の方法として、撮像素子２５を移動させてぶれを補正する方法を用いることができる。この場合、監視カメラ１０に撮像素子２５の位置を検出する位置センサと、撮像素子２５を移動させる撮像素子駆動部を設ける。ＲＯＭ３５は、ぶれ検出センサ４０から取得したぶれ情報を用いて、撮像素子２５の移動先を算出し、移動先へ撮像素子２５を移動させる撮像素子移動制御プログラムを、機械式補正制御プログラム１４４に代えて記憶する。切換制御プログラム１４６は、撮像素子２５を移動させる機械式補正と、電子的にぶれを補正する電子式補正とを制御するプログラムである。ぶれ補正制御部６３は、決定された動作比率変更パターンに応じて、機械式補正と電子式補正を実行させる。

また、機械式補正の方法として、補正光学系１９を移動させる方法と、撮像素子２５を移動させる方法とを組み合わせた方式を用いてもよい。この方式の場合は、補正光学系１９の移動量と撮像素子２５の移動量を分担する比率を予め定めておくことができる。又は、予め定められた条件に従って両者の分担比率を決定してもよい。

以上の第１変形例においても、第１実施形態と同様の効果を得ることができる。第１変形例は、第１実施形態から第４実施形態に適用することが可能である。

（第２変形例）
第１実施形態では、電子式補正方法として、２つの連続するフレーム間で同じ対象の変位方向と変位量を求めて、その方向に変位量だけ移動した位置の画像を切り出して表示する方法を用いた。しかし電子式補正の方法はこれに限定されない。例えば、ぶれ検出センサ４０により得られたぶれ情報を用いて電子式補正を実行することができる。

具体的には、ぶれ補正制御部６３は、２つの連続するフレームのうち先のフレーム撮像時から後のフレーム撮像時までのぶれ検出センサ４０により得られたぶれ情報を総合して得られるぶれ量を算出する。次に、ぶれ補正制御部６３は、切換制御プログラム１４６が決定した補正量分担比率で後のフレーム撮像時までに補正光学系１９を移動させた後の変位量を取得する。次に、ぶれ補正制御部６３は、ぶれ検出センサ４０により得られたぶれ情報を総合して得られるぶれ量から、補正光学系１９を移動させた変位量を差し引き、その差分の移動先の画像を切り取り、表示させる。このような第２変形例においても、第１実施形態と同様の効果を得ることができる。第２変形例は、第１実施形態から第４実施形態に適用することが可能である。

（第３変形例）
予め定められた条件が成立した場合は、ぶれ補正の動作を同期させずに機械式補正部２４によるぶれ補正から電子式補正部３３によるぶれ補正へ切換えてもよい。つまり、予め定められた条件が成立した場合は、第１制御の切換時間Ｔ１をゼロに変更してもよい。第１制御の切換時間Ｔ１をゼロに変更することで、機械式補正部２４の使用時間をより低減することができる。

第１制御の切換時間Ｔ１をゼロに変更する条件としては、例えばぶれが予め定められた規定値以下になった場合等である。又は、例えば振動が減少する時間帯を予め予測しておき、特定された時間帯であることを切換時間Ｔ１をゼロに変更する条件とすることができる。振動が少ない場合は、機械式のぶれ補正から電子式のぶれ補正へ即座に切り換えてもぶれ残りは大きくならないため、違和感は少ない。

また、例えばぶれが予め定められた規定値以下になった場合は、第１制御の切換時間Ｔ１をゼロに変更し、かつ第２制御の切換時間Ｔ２をゼロに変更してもよい。ぶれが予め定められた規定値以下になった場合は、切換時間Ｔ１及び切換時間Ｔ２をゼロに変更してもぶれ残りは少ないため違和感は少ない。

第１実施形態から第４実施形態では、監視カメラ１０に本開示の技術に係るぶれ補正制御装置を適用した例を説明した。しかし本開示の技術に係るぶれ補正制御装置の適用対象はこれに限定されない。例えば、レンズ交換式のデジタルカメラに本開示の技術に係るぶれ補正制御装置を適用することも可能である。

その場合、例えば交換レンズの補正レンズを移動させる機械式補正部の制御プログラムを、カメラ本体部に設けた制御部に記憶させておく。制御部は、電子式補正部及び機械式補正部を制御する。この構成により、交換レンズをカメラ本体部に装着することで、電子式補正部と機械式補正部の両方を制御することができる。また、撮像素子を移動させる機械式補正部を用いる場合は、カメラ本体部に設けた電子式補正部及び機械式補正部を制御する制御部で電子式補正部と機械式補正部を制御することができる。

以上の各実施形態で説明した撮像処理、第１制御、第２制御、第３制御、及び切換時間書換処理（以下、これらの処理を「各種処理」とも称する）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

上記の各実施形態では、電子式補正制御プログラム１４２、機械式補正制御プログラム１４４、切換制御プログラム１４６及び動作比率テーブル１４８（以上を「電子式補正制御プログラム等」という。）をＲＯＭ３５に記憶させ、これらから読み出す場合を例示したが、必ずしも最初からＲＯＭ３５に記憶させておく必要はない。例えば、図１４に示すように、ＳＳＤ、ＵＳＢメモリ、又はＣＤ−ＲＯＭ等の任意の可搬型の記憶媒体３００に電子式補正制御プログラム等を記憶させておいてもよい。この場合、記憶媒体３００に記憶された電子式補正制御プログラム等が監視カメラ１０のＲＯＭ３５にインストールされ、インストールされた電子式補正制御プログラム等がぶれ補正制御部６３によって実行される。

また、通信網（図示省略）を介して監視カメラ１０に接続される他のコンピュータ又はサーバ装置等の記憶部に電子式補正制御プログラム等を記憶させておき、電子式補正制御プログラム等がＣＰＵ３７の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた電子式補正制御プログラム等はぶれ補正制御部６３によって実行される。

上記実施形態において、例えば、ＣＰＵ３７のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各制御部として機能する（各種処理を実行するハードウェア資源として機能する）汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサであるＰＬＤ及び／又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

ＣＰＵ３７は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部（各種処理を実行するハードウェア資源）は１つのプロセッサであってもよい。

複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部（各種処理を実行するハードウェア資源）として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ：ＳｏＣ）などに代表されるように、複数の制御部（各種処理を実行するハードウェア資源）を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部（各種処理を実行するハードウェア資源）は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

第１６の態様に係るプログラムは、コンピュータに、被写体像のぶれ補正を機械的に行う機械式補正から被写体像のぶれ補正を電子的に行う電子式補正へ機械式補正と電子式補正の動作を同期させて行う切換制御を行う第１ステップと、電子式補正から機械式補正への切換制御を、第１ステップの切換制御とは異なる切換制御で行う第２ステップと、を実行させるためのプログラムである。

次に、以上のような構成を有する監視カメラ１０の動作について説明する。まず、監視カメラ１０が行うぶれ補正処理を含む動画撮像処理フローについて説明する。一例として図４に示すように、まずステップＳ１０で、電源ボタンが押下されるとパワーオンとなる。パワーオンされるとステップＳ１１で、動画スタンバイモードとなる。なお、電源ボタンが押下された場合には、動画スタンバイモードを経ずに動画記録を開始するように監視カメラ１０を動作させてもよい。

ステップＳ１２で、録画ボタンが押された場合は、判定が肯定されてステップＳ１３に移行する。ステップＳ１３で、ぶれ補正制御部６３は、機械式補正制御を行う条件が成立したか否かを判定する。機械式補正制御を行う条件とは、本第１実施形態では露光時間が第１閾値以上であるという条件である。ステップＳ１３で、機械式補正制御を行う条件が成立した場合は、判定が肯定されてステップＳ１４に移行し、ぶれ補正制御部６３は機械式補正制御を実行する。

露光時間の第１閾値は、例えば露光時間条件を変えて機械式補正制御から電子式補正制御に切り換え、画像のぶれ残りによってユーザが違和感を感じるか否かの官能試験を予め行って決定することができる。又は、監視カメラを配置する環境で、露光時間の長さによってどの程度のぶれ残りが発生するかを計算してそのぶれ残りの大きさに基づいて決定してもよい。

従来技術では、図５の中段に示すように、機械式補正から電子式補正に切換えた時にぶれ残りが急激に増加する。ただし、このぶれ残りは、画像の品質として許容される量である。しかし、ユーザが見るとぶれ残りが急激に増加して目立つため、違和感を感じることがある。そこで、本第１実施形態では図５の下段に示すように、電子式補正に切換える際に、機械式補正と電子式補正とを併用する第３状態を設ける。第３状態を設けることにより、ぶれ残りが少しずつ増加するために違和感を低減することができる。

第１実施形態は、第１制御と第２制御とで異なる制御を行う実施形態である。具体的には、第１制御と第２制御とで時間応答性が異なる。時間応答性を異ならせる形態は限定されないが、第１実施形態では、第１制御の時間の長さと第２制御の時間の長さとを異ならせる。具体的には、切換時間Ｔ１の長さは、切換時間Ｔ２よりも長い。第１実施形態では、この条件を満たす限り、切換時間Ｔ１と切換時間Ｔ２の長さは特に限定されない。

Claims (16)

1. プロセッサと、
   前記プロセッサに接続又は内蔵されたメモリと、を含み、
   前記プロセッサは、
   被写体像のぶれ補正を機械的に行う機械式補正、又は前記被写体像のぶれ補正を電子的に行う電子式補正を選択するための撮像情報を取得し、
   取得した前記撮像情報に基づいて、前記機械式補正から前記電子式補正への切換制御を、前記機械式補正と前記電子式補正のぶれ補正の動作を同期させて行う第１制御、及び前記電子式補正から前記機械式補正への切換制御を行う第２制御を行い、
   前記第１制御と前記第２制御とで異なる制御を行う
   を含むぶれ補正制御装置。
2. 前記プロセッサは、前記第１制御と前記第２制御とで時間応答性が異なる制御を行う請求項１に記載のぶれ補正制御装置。
3. 前記プロセッサは、前記第１制御の時間の長さと前記第２制御の時間の長さとを異ならせる制御を行う請求項２に記載のぶれ補正制御装置。
4. 前記プロセッサは、前記第１制御の時間の長さを、前記第２制御の時間の長さよりも長くする請求項３に記載のぶれ補正制御装置。
5. 前記プロセッサは、前記第１制御において、前記第１制御の開始から終了まで、ぶれ補正に必要な補正量に対する前記機械式補正によるぶれ補正量の比率である第１動作比率を時間経過に応じて減少させ、かつ前記ぶれ補正に必要な補正量に対する前記電子式補正によるぶれ補正量の比率である第２動作比率を時間経過に応じて増加させる請求項１から請求項４のいずれか一項に記載のぶれ補正制御装置。
6. 前記プロセッサは、前記第２制御において、前記第２制御の開始から終了まで、前記機械式補正と前記電子式補正のぶれ補正の動作を同期させて、前記第１動作比率を時間経過に応じて増加させ、かつ前記第２動作比率を時間経過に応じて減少させる請求項５に記載のぶれ補正制御装置。
7. 前記プロセッサは、前記第２制御において、ぶれ補正の動作を同期させずに、前記電子式補正から前記機械式補正への切換制御を行う請求項５に記載のぶれ補正制御装置。
8. 前記プロセッサは、前記第１制御の開始前に、前記機械式補正の補正量をぶれ補正に必要な補正量よりも小さくする第３制御を行う請求項１から請求項７の何れか一項に記載のぶれ補正制御装置。
9. 前記第１制御の時間の長さが可変である請求項１から請求項８の何れか一項に記載のぶれ補正制御装置。
10. 前記プロセッサは、予め定められた対象を検出可能であり、
    前記プロセッサは、前記第１制御において、前記対象を検出しない場合は前記対象を検出した場合よりも前記第１制御の時間の長さを短くする請求項１から請求項９の何れか一項に記載のぶれ補正制御装置。
11. 前記プロセッサは、予め定められた条件が成立した場合に、ぶれ補正の動作を同期させずに前記機械式補正から前記電子式補正へ切換え、かつぶれ補正の動作を同期させずに前記電子式補正から前記機械式補正へ切換える制御を行う請求項１から請求項１０のいずれか一項に記載のぶれ補正制御装置。
12. 前記機械式補正は、補正光学系を移動させることにより行う請求項１から請求項１１のいずれか一項に記載のぶれ補正制御装置。
13. 請求項１から１２のいずれか一項に記載のぶれ補正制御装置を含む撮像装置。
14. 前記撮像装置は監視カメラである請求項１３に記載の撮像装置。
15. 被写体像のぶれ補正を機械的に行う機械式補正から前記被写体像のぶれ補正を電子的に行う電子式補正へ前記機械式補正と前記電子式補正の動作を同期させて行う切換制御を行う第１ステップと、
    前記電子式補正から前記機械式補正への切換制御を、前記第１ステップの切換制御とは異なる切換制御で行う第２ステップと、
    を含む撮像装置のぶれ補正方法。
16. コンピュータに、
    被写体像のぶれ補正を機械的に行う機械式補正から前記被写体像のぶれ補正を電子的に行う電子式補正へ前記機械式補正と前記電子式補正の動作を同期させて行う切換制御を行う第１ステップと、
    前記電子式補正から前記機械式補正への切換制御を、前記第１ステップの切換制御とは異なる切換制御で行う第２ステップと、を含む処理を実行させるためのプログラム。

Images