JPWO2020111266A1 - ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 - Google Patents
ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 Download PDFInfo
- Publication number
- JPWO2020111266A1 JPWO2020111266A1 JP2020557878A JP2020557878A JPWO2020111266A1 JP WO2020111266 A1 JPWO2020111266 A1 JP WO2020111266A1 JP 2020557878 A JP2020557878 A JP 2020557878A JP 2020557878 A JP2020557878 A JP 2020557878A JP WO2020111266 A1 JPWO2020111266 A1 JP WO2020111266A1
- Authority
- JP
- Japan
- Prior art keywords
- correction unit
- recommended
- blur
- unit
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0007—Movement of one or more optical elements for control of motion blur
- G03B2205/0015—Movement of one or more optical elements for control of motion blur by displacing one or more optical elements normal to the optical axis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
ぶれ補正制御装置は、取得部と動作制御部とを備える。取得部は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する。動作制御部は、取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、第1動作推奨条件、および第2動作推奨条件に応じて、連続する複数の時点の次の時点において、機械式補正部および電子式補正部を選択的に動作させる制御を行う。
Description
本開示の技術は、ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置に関する。
撮像装置により被写体を示す被写体光が結像されることで得られた被写体像のぶれ(以下、「被写体像のぶれ」、または単に「ぶれ」とも称する)を補正する補正部として、一般的に、機械式補正部と電子式補正部とが知られている。機械式補正部は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることでぶれを補正する。電子式補正部は、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する。
特開2013−126075号公報に記載の撮像装置は、機械式補正部と電子式補正部とを備えている。特開2013−126075号公報に記載の撮像装置では、撮像素子における電子シャッタのシャッタ速度(露光時間)と、ぶれの量とが取得される。そして、機械式補正部および電子式補正部が、露光時間とぶれの量に応じて、選択的に動作する。具体的には、露光時間が設定量よりも長い場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、露光時間が設定量以下の場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。また、ぶれの量が設定量以上の場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、ぶれの量が設定量よりも小さい場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。
本開示の技術は、機械式補正部および電子式補正部を選択的に動作させる場合に、スムーズな画像を出力可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することを目的とする。
上記目的を達成するために、本開示のぶれ補正制御装置は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、第1動作推奨条件、および第2動作推奨条件に応じて、連続する複数の時点の次の時点において、機械式補正部および電子式補正部を選択的に動作させる制御を行う動作制御部と、を備える。
動作制御部は、連続する複数の時点で構成される設定期間において、第1動作推奨条件を満たした時点の数が第1の設定数以上の場合、次の時点において、機械式補正部および電子式補正部のうちの機械式補正部のみを動作させる制御を行い、設定期間において、第2動作推奨条件を満たした時点の数が第2の設定数以上の場合、次の時点において、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行うことが好ましい。
動作制御部は、設定期間において、第1動作推奨条件を満たした時点の数が第1の設定数未満で、かつ設定期間において、第2動作推奨条件を満たした時点の数が第2の設定数未満の場合、次の時点において、前の時点の機械式補正部および電子式補正部の動作状態を引き継ぐことが好ましい。
第1の設定数および第2の設定数のうちの少なくとも一方を変更する変更部を備えることが好ましい。
第1動作推奨条件は、関係量が設定量以上であるという条件であり、第2動作推奨条件は、関係量が設定量未満であるという条件であることが好ましい。
関係量は、撮像素子における被写体像の露光時間と、ぶれの振幅およびぶれの周波数と、露光時間内のぶれの量とのうちの少なくともいずれか1つであることが好ましい。
取得部は、連続するフレーム毎に関係量を取得することが好ましい。
監視カメラシステムに用いられることが好ましい。
本開示の撮像装置は、上記いずれかに記載のぶれ補正制御装置を備える。
本開示のぶれ補正制御装置の作動方法は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得ステップと、取得ステップにおいて取得した関係量であって、連続する複数の時点に対応する複数の関係量、第1動作推奨条件、および第2動作推奨条件に応じて、連続する複数の時点の次の時点において、機械式補正部および電子式補正部を選択的に動作させる制御を行う動作制御ステップと、を備える。
本開示のぶれ補正制御装置の作動プログラムは、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、第1動作推奨条件、および第2動作推奨条件に応じて、連続する複数の時点の次の時点において、機械式補正部および電子式補正部を選択的に動作させる制御を行う動作制御部として、コンピュータを機能させるためのプログラムである。
本開示の技術によれば、機械式補正部および電子式補正部を選択的に動作させる場合に、スムーズな画像を出力可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することができる。
以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。
[第1実施形態]
図1において、監視カメラシステム2は、監視カメラ10と、管理装置11と、記憶装置12とを備える。監視カメラ10は、本開示の技術に係る「撮像装置」の一例であり、屋内外の柱、または壁等に設置され、監視対象を撮像することで監視対象の動画を生成する。監視カメラ10は、生成した動画を管理装置11に送信する。管理装置11は、監視カメラ10とは別の場所に設置される。ここでいう「別の場所」とは、例えば管理室等を指す。管理装置11は、監視カメラ10からの動画を受信する。管理装置11は、受信した動画を記憶装置12に送信し、動画を記憶装置12に記憶させる。
図1において、監視カメラシステム2は、監視カメラ10と、管理装置11と、記憶装置12とを備える。監視カメラ10は、本開示の技術に係る「撮像装置」の一例であり、屋内外の柱、または壁等に設置され、監視対象を撮像することで監視対象の動画を生成する。監視カメラ10は、生成した動画を管理装置11に送信する。管理装置11は、監視カメラ10とは別の場所に設置される。ここでいう「別の場所」とは、例えば管理室等を指す。管理装置11は、監視カメラ10からの動画を受信する。管理装置11は、受信した動画を記憶装置12に送信し、動画を記憶装置12に記憶させる。
図2において、監視カメラ10は撮像光学系15を有する。撮像光学系15は、第1光学系16、絞り17、第2光学系18、および補正光学系19を備えている。第1光学系16は対物レンズを含む光学系であり、被写体を示す被写体光を、被写体像として後述する撮像素子25の受光面に結像させる。絞り17は、第1光学系16から第2光学系18に至る被写体像の光量を調整する。絞り17にはアクチュエータ20が取り付けられている。アクチュエータ20は、ドライバ21により駆動制御される。ドライバ21の制御の下、アクチュエータ20が駆動することで、絞り17の開度が変更される。
監視カメラ10に与えられる振動(以下、単に「振動」とも称する)には、屋外であれば、自動車の通行による振動、風による振動、および道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、および人の出入りによる振動等がある。補正光学系19は、振動による被写体像のぶれを補正するための光学系である。補正光学系19にはアクチュエータ22が取り付けられている。アクチュエータ22は、ドライバ23により駆動制御される。ドライバ23の制御の下、アクチュエータ22が駆動することで、補正光学系19が光軸OAに対して機械的に移動する。
なお、本実施形態において、「ぶれ」とは、振動に起因して光軸OAが被写体像に対して変動することによって生じる現象を指す。ここでいう「光軸OA」とは、第1光学系16の対物レンズの光軸を指す。光軸OAの変動とは、例えば、基準軸(例えば、ぶれが発生する前の光軸OA)に対して、ぶれにより光軸OAが傾くことを意味する。なお、本実施形態において、ぶれの補正には、ぶれをなくすという意味の他に、ぶれを低減するという意味も含まれる。
補正光学系19とアクチュエータ22とドライバ23とで、機械式補正部24が実現される。機械式補正部24によるぶれの補正方法としては、周知の種々の方法を採用することができる。最も単純には、機械式補正部24は、ぶれを打ち消す方向に、ぶれを打ち消す量だけ、補正光学系19を移動させる。
撮像光学系15の後段には、撮像素子25が配置されている。撮像素子25は、例えば、CCD(Charge Coupled Device)イメージセンサである。撮像素子25は、可視光、例えば、約700nm以下の短波長側の光に基づく撮像を行う。ただし、本実施形態はこれに限定されず、撮像素子25は、赤外光、例えば、約700nmよりも長波長側の光)に基づく撮像を行ってもよい。この場合、撮像素子25の画素としては、赤外光に感度を有する光電変換素子を用いればよい。特に、短波近赤外光(SWIR;Short-wavelength infrared)に基づく撮像に対しては、撮像素子25として、例えば、InGaAsイメージセンサおよび/またはタイプ2型量子井戸構造(T2SL;Simulation of Type-II Quantum Well)イメージセンサ等を用いればよい。撮像素子25は、ドライバ26の制御の下、所定のフレームレートで、撮像光学系15で取り込まれた被写体像を撮像し、アナログの撮像信号を出力する。なお、ここでいう「所定のフレームレート」とは、例えば、数フレーム/秒から数十フレーム/秒を指す。
監視カメラ10は、AFE(Analog Front End)30、DSP(Digital Signal Processor)31、画像メモリ32、電子式補正部33、通信I/F(Interface)34、ROM(Read Only Memory)35、RAM(Random Access Memory)36、およびCPU(Central Processing Unit)37等を有する。AFE30、DSP31、画像メモリ32、電子式補正部33、通信I/F34、ROM35、RAM36、およびCPU37は、バスライン38を介して相互に接続されている。なお、ROM35、RAM36、CPU37、およびバスライン38は、本開示の技術に係る「コンピュータ」の一例である。
AFE30は、撮像素子25からのアナログの撮像信号を受信する。AFE30は、アナログの撮像信号に対して、相関二重サンプリング、および自動ゲイン調整等のアナログ信号処理を施した後、A/D(Analog/Digital)変換を行ってデジタルの撮像信号とする。なお、撮像素子25はMOS(Metal Oxide Semiconductor)イメージセンサ、またはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサでもよい。撮像素子25がCMOSイメージセンサであった場合は、AFE30およびDSP31は、その一部または全部がCMOSイメージセンサ内に一体的に組み込まれていてもよい。この場合、AFE30は、A/D変換機能のみで構成されていてもよい。
DSP31は、デジタルの撮像信号に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、および色補正処理等を指す。DSP31は、デジタル信号処理後の撮像信号を画像メモリ32に出力する。画像メモリ32は、DSP31からの撮像信号を、被写体像を表す画像として記憶する。
電子式補正部33は、画像メモリ32に記憶された画像に画像処理を施すことで、被写体像のぶれを補正する。機械式補正部24の場合と同様に、電子式補正部33によるぶれの補正方法としては、周知の種々の方法を採用することができる。
電子式補正部33によるぶれの補正方法としては、例えば、画像出力領域切り出し方法と、画像比較方法とが挙げられる。画像出力領域切り出し方法では、まず、撮像素子25は、撮像領域を、最終的に画像として出力する領域(以下、画像出力領域)よりも一回り大きくしておく。電子式補正部33は、画像メモリ32に記憶された画像から、画像出力領域に該当する画像を切り出す。この際、電子式補正部33は、ぶれに応じて、画像出力領域の切り出し位置を変更する。
画像比較方法では、まず、電子式補正部33は、画像メモリ32から、時系列的に前後する画像を取得し、取得した時系列的に前後する画像を比較する。次に、電子式補正部33は、画像を比較した結果を元に、先行の画像に対する後続の画像のずれ量およびずれ方向を算出する。そして、電子式補正部33は、後続の画像を、算出したずれ量およびずれ方向が打ち消された画像に加工する。なお、以下では、機械式補正部24および電子式補正部33を区別して説明する必要がない場合、符号を付さずに「補正部」と称する。
通信I/F34は、画像メモリ32から画像を読み出し、読み出した画像を管理装置11に送信する。通信I/F34は、例えば、ネットワークインターフェースである。ネットワークインターフェースは、ネットワークを介して、管理装置11との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネットあるいは公衆通信網等のWAN(Wide Area Network)が挙げられる。
ROM35は、監視カメラ10の制御プログラムといった各種プログラム、並びに各種プログラムに付随する各種データを記憶する。RAM36は、CPU37が処理を実行するためのワークメモリである。CPU37は、ROM35に記憶されたプログラムをRAM36へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、CPU37は、監視カメラ10の各部の動作を統括的に制御する。
CPU37には、ぶれ検出センサ40、測光センサ41、およびタッチパネルディスプレイ42が接続されている。ぶれ検出センサ40は、例えば、ジャイロセンサである。ジャイロセンサは、ピッチ軸PA、ヨー軸YA、およびロール軸RA(光軸OAに平行な軸)の各軸(図1参照)回りの回転ぶれを検出する。また、ぶれ検出センサ40は、例えば、加速度センサである。加速度センサは、ピッチ軸PAとヨー軸YAとに平行な平面内のシフトぶれを検出する。ぶれ検出センサ40は、ぶれの検出信号をCPU37に出力する。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上および製造上において許容される誤差を含む略平行の意味も含まれる。
測光センサ41は、AE(Automatic Exposure)制御を行うために、1フレーム毎に被写体像の光量を測定する。測光センサ41は、光量の測定信号をCPU37に出力する。
タッチパネルディスプレイ42は、ディスプレイに対してタッチパネルが重ねられたデバイスである。ディスプレイは、CPU37の制御下で、画像を含む各種情報を表示する。タッチパネルは、ディスプレイの表示画面に重ねられており、ユーザの指またはタッチペン等の指示体による接触を受け付ける。タッチパネルディスプレイ42には、監視カメラ10の各種設定を行うための設定画面等が表示される。タッチパネルディスプレイ42は、設定画面等を通じて、ユーザからの操作指示の入力を受け付ける。
図3において、ROM35には、作動プログラム50が記憶されている。作動プログラム50は、監視カメラ10をぶれ補正制御装置として機能させるためのプログラムである。なお、作動プログラム50は、本開示の技術に係る「ぶれ補正制御装置の作動プログラム」の一例である。
また、ROM35には、第1動作推奨条件51、第2動作推奨条件52、第1の設定数SN1、および第2の設定数SN2が記憶されている。第1動作推奨条件51は、機械式補正部24の動作が推奨される条件である。第2動作推奨条件52は、電子式補正部33の動作が推奨される条件である。
CPU37は、作動プログラム50を実行することで、RAM36等と協働して、AE制御部60、取得部61、記憶制御部62、および動作制御部63として機能する。AE制御部60、取得部61、記憶制御部62、および動作制御部63のうちの取得部61と動作制御部63とで、ぶれ補正制御装置64が実現される。
AE制御部60は、測光センサ41からの光量の測定信号を受信する。AE制御部60は、受信した光量の測定信号に応じた露出値を設定する。AE制御部60は、1フレーム毎に露出値を設定する。より詳しくは、AE制御部60は、前のフレームの光量の測定信号に基づいて、次のフレームの露出値を設定する。
AE制御部60は、設定した露出値に応じた絞り17の開度を算出する。AE制御部60は、算出した開度に絞り17の実際の開度を合わせるように、ドライバ21を介してアクチュエータ20を駆動させる。
また、AE制御部60は、設定した露出値に応じた、撮像素子25における被写体像の露光時間を算出する。AE制御部60は、算出した露光時間に実際の露光時間を合わせるように、ドライバ26を介して撮像素子25を駆動させる。AE制御部60は、算出した露光時間を取得部61に出力する。
取得部61は、AE制御部60からの露光時間を取得する。取得部61により取得された露光時間は、本開示の技術に係る「関係量」の一例であり、第1動作推奨条件51および第2動作推奨条件52の各々に関係する関係量に相当する。また、前述のように、AE制御部60は、1フレーム毎に露出値を設定するので、露光時間も1フレーム毎に算出して、1フレーム毎に取得部61に出力する。このため、取得部61は、連続するフレーム毎に露光時間を取得する。この連続するフレームの各々の露光時間が取得部61によって取得される時点が、本開示の技術に係る「予め定められた時点」の一例である。取得部61は、取得した露光時間を記憶制御部62に出力する。
記憶制御部62は、取得部61からの露光時間をRAM36に記憶する制御を行う。また、記憶制御部62は、連続する複数のフレームに対応する複数の露光時間をRAM36から読み出し、読み出した複数の露光時間を動作制御部63に出力する。
動作制御部63は、ぶれ検出センサ40からのぶれの検出信号を受信する。動作制御部63は、受信した検出信号に基づいて、被写体像のぶれを打ち消すよう、機械式補正部24および電子式補正部33の動作を制御する。
動作制御部63は、ROM35から、第1動作推奨条件51、第2動作推奨条件52、第1の設定数SN1、および第2の設定数SN2を読み出す。そして、これら第1動作推奨条件51、第2動作推奨条件52、第1の設定数SN1、および第2の設定数SN2と、記憶制御部62からの、連続する複数のフレームに対応する複数の露光時間とに応じて、連続する複数のフレームの次のフレームにおいて、機械式補正部24および電子式補正部33を選択的に動作させる制御を行う。ここで、連続する複数のフレームの次のフレームが取得される時点が、本開示の技術に係る「連続する複数の時点の次の時点」の一例である。
図4に示すように、第1動作推奨条件51は、露光時間が第1設定量TH1以上であるという条件である。対して、図5に示すように、第2動作推奨条件52は、露光時間が第1設定量TH1未満であるという条件である。このように、第1動作推奨条件51および第2動作推奨条件52は、一方を満たせば他方を満たさないという相反する条件である。
図6は、フレームF10〜フレームF20の露光時間の推移を示したグラフである。各フレームF10〜フレームF20のうち、フレームF10、フレームF11、フレームF13、およびフレームF15〜F19は、露光時間が第1設定量TH1以上であるため、第1動作推奨条件51を満たしている。これに対して、フレームF12、フレームF14、フレームF20は、露光時間が第1設定量TH1未満であるため、第2動作推奨条件52を満たしている。
図7に示すように、記憶制御部62は、設定期間SPにおいて、最も古いフレームの露光時間を、最も新しいフレームの露光時間に順次更新しつつ、連続する複数のフレームに対応する複数の露光時間をRAM36に記憶させる。そして、この複数の露光時間のセットを、1フレーム毎に順次動作制御部63に出力する。以下において、設定期間SPとは、連続する複数のフレームが取得される期間を指す。
図7では、設定期間SPが5フレームであり、図6で示したフレームF10〜フレームF20の露光時間がROM35に順次記憶されていく様子を示している。図7の左上は、フレームF10〜フレームF14の露光時間がROM35に記憶されている状態である。この状態から1フレーム分の取得時間が経過した図7の右上では、図7の左上において最も古かったフレームF10の露光時間が、最も新しいフレームF15の露光時間に更新されている。以下同様に、図7の左下ではフレームF12〜フレームF16の露光時間がROM35に記憶され、図7の右下ではフレームF13〜フレームF17の露光時間がROM35に記憶される。
図8の表70に示すように、動作制御部63は、設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1が第1の設定数SN1以上の場合(N1≧SN1)、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる制御を行う。一方、動作制御部63は、設定期間SPにおいて、第2動作推奨条件52を満たしたフレームの数N2が第2の設定数SN2以上の場合(N2≧SN2)、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの電子式補正部33のみを動作させる制御を行う。なお、以下の図では、「M」を円で囲んだマークで機械式補正部24が示されており、「E」を円で囲んだマークで電子式補正部33が示されている。
また、動作制御部63は、設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1が第1の設定数SN1未満で、かつ設定期間SPにおいて、第2動作推奨条件52を満たしたフレームの数N2が第2の設定数SN2未満の場合(N1<SN1、かつN2<SN2)、次のフレームにおいて、前のフレームの機械式補正部24および電子式補正部33の動作状態を引き継ぐ。すなわち、前のフレームで動作していた補正部を、次のフレームにおいても動作させる。なお、RAM36に設定期間SP分の露光時間が記憶されていない起動時においては、動作制御部63は、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる制御を行う。
図8では、設定期間SPが図7の場合と同じ5フレームで、第1の設定数SN1および第2の設定数SN2がともに4フレームの場合を例示している。この例では、第1動作推奨条件51を満たしたフレームの数N1が4および5の場合(第2動作推奨条件52を満たしたフレームの数N2が0および1の場合)に、次のフレームにおいて機械式補正部24のみが動作される。一方、第2動作推奨条件52を満たしたフレームの数N2が4および5の場合(第1動作推奨条件51を満たしたフレームの数N1が0および1の場合)に、次のフレームにおいて電子式補正部33のみが動作される。また、第1動作推奨条件51を満たしたフレームの数N1、および第2動作推奨条件52を満たしたフレームの数N2が、ともに2および3の場合に、次のフレームにおいて、前のフレームで動作していた補正部が動作される。
図9は、フレームF50〜フレームF60の露光時間の推移を示したグラフである。各フレームF50〜フレームF60のうち、フレームF50〜フレームF54は、露光時間が第1設定量TH1未満であるため、第2動作推奨条件52を満たしている。対して、フレームF55〜フレームF60は、露光時間が第1設定量TH1以上であるため、第1動作推奨条件51を満たしている。
図10〜図12は、図9のように露光時間が推移した場合に、図8の表70で示した設定で、具体的にいずれの補正部が動作するかを示した図である。まず、図10Aは、フレームF50〜フレームF54の露光時間に応じて、フレームF55において動作させる補正部を選択する様子を示している。フレームF50〜フレームF54の露光時間は、全て第2動作推奨条件52を満たしている。すなわち、第2動作推奨条件52を満たしたフレームの数N2が5であり、第2の設定数SN2の4以上である。このため、動作制御部63は、フレームF55において電子式補正部33のみを動作させる。
続いて図10Bは、フレームF51〜フレームF55の露光時間に応じて、フレームF56において動作させる補正部を選択する様子を示している。フレームF51〜フレームF55の露光時間は、フレームF55を除いて、第2動作推奨条件52を満たしている。すなわち、第2動作推奨条件52を満たしたフレームの数N2が4であり、第2の設定数SN2の4以上である。このため、動作制御部63は、図10Aの場合と同じく、フレームF56において電子式補正部33のみを動作させる。
図11Aは、フレームF52〜フレームF56の露光時間に応じて、フレームF57において動作させる補正部を選択する様子を示している。フレームF52〜フレームF56の露光時間は、フレームF52〜フレームF54が第2動作推奨条件52を満たし、フレームF55、フレームF56が第1動作推奨条件51を満たしている。すなわち、第1動作推奨条件51を満たしたフレームの数N1が2であり、第1の設定数SN1の4未満である。かつ、第2動作推奨条件52を満たしたフレームの数N2が3であり、第2の設定数SN2の4未満である。このため、動作制御部63は、フレームF57において、フレームF56の動作状態を引き継いで、電子式補正部33のみを動作させる。
続いて図11Bは、フレームF53〜フレームF57の露光時間に応じて、フレームF58において動作させる補正部を選択する様子を示している。フレームF53〜フレームF57の露光時間は、フレームF53、フレームF54が第2動作推奨条件52を満たし、フレームF55〜フレームF57が第1動作推奨条件51を満たしている。すなわち、第1動作推奨条件51を満たしたフレームの数N1が3であり、第1の設定数SN1の4未満である。かつ、第2動作推奨条件52を満たしたフレームの数N2が2であり、第2の設定数SN2の4未満である。このため、動作制御部63は、図11Aの場合と同じく、フレームF58において、フレームF57の動作状態を引き継いで、電子式補正部33のみを動作させる。
図12Aは、フレームF54〜フレームF58の露光時間に応じて、フレームF59において動作させる補正部を選択する様子を示している。フレームF54〜フレームF58の露光時間は、フレームF54を除いて、第1動作推奨条件51を満たしている。すなわち、第1動作推奨条件51を満たしたフレームの数N1が4であり、第1の設定数SN1の4以上である。このため、動作制御部63は、フレームF59において機械式補正部24のみを動作させる。
続いて図12Bは、フレームF55〜フレームF59の露光時間に応じて、フレームF60において動作させる補正部を選択する様子を示している。フレームF55〜フレームF59の露光時間は、全て第1動作推奨条件51を満たしている。すなわち、第1動作推奨条件51を満たしたフレームの数N1が5であり、第1の設定数SN1の4以上である。このため、動作制御部63は、図12Aの場合と同じく、フレームF60において機械式補正部24のみを動作させる。
図10〜図12の説明をまとめると、図13に示すようになる。すなわち、フレームF55〜フレームF58までは、機械式補正部24および電子式補正部33のうちの電子式補正部33のみが動作される。しかし、フレームF59からは、機械式補正部24および電子式補正部33のうちの機械式補正部24のみが動作される。
次に、上記構成による作用について、図14のフローチャートおよび図15を参照して説明する。まず、ぶれを補正する指示がタッチパネルディスプレイ42等によって受け付けられたことを条件に、作動プログラム50にしたがってCPU37によって実行されるぶれ補正処理について説明する。ぶれ補正処理は、図3に示すAE制御部60、取得部61、記憶制御部62、および動作制御部63としてCPU37を機能させる処理である。
図14のステップST100に示すように、AE制御部60において、測光センサ41からの光量の測定信号に応じた露出値が設定される。そして、露出値に応じた露光時間が算出される。露光時間はAE制御部60から取得部61に出力される。
取得部61では、AE制御部60からの露光時間が取得される(ステップST110)。このステップST110は、本開示の技術に係る「取得ステップ」の一例である。露光時間は取得部61から記憶制御部62に出力され、図7で示したように、記憶制御部62によってRAM36に記憶される(ステップST120)。
監視カメラ10の起動時において、RAM36に設定期間SP分の露光時間が記憶されていない場合(ステップST130でNO)は、動作制御部63により、機械式補正部24および電子式補正部33のうちの機械式補正部24のみが動作される(ステップST140)。なお、監視カメラ10の起動時において、RAM36に設定期間SP分の露光時間が記憶されていない場合に、機械式補正部24ではなく、電子式補正部33を動作させてもよい。
RAM36に設定期間SP分の露光時間が記憶されていた場合(ステップST130でYES)、記憶制御部62により、設定期間SP分の露光時間がRAM36から読み出され、動作制御部63に出力される。
動作制御部63では、記憶制御部62からの設定期間SP分の露光時間と、第1設定量TH1との大小が比較される。そして、図4で示したように、動作制御部63では、露光時間が第1設定量TH1以上の場合は、第1動作推奨条件51を満たしたと判定される。また、図5で示したように、動作制御部63では、露光時間が第1設定量TH1未満の場合は、第2動作推奨条件52を満たしたと判定される。こうして、設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1および第2動作推奨条件52を満たしたフレームの数N2が判明する。
動作制御部63では、設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1と第1の設定数SN1の大小が比較される(ステップST150)。また、動作制御部63では、設定期間SPにおいて、第2動作推奨条件52を満たしたフレームの数N2と第2の設定数SN2の大小が比較される(ステップST160)。
設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1が第1の設定数SN1以上の場合(ステップST150でYES)、図12で示したように、動作制御部63により、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの機械式補正部24のみが動作される(ステップST170)。一方、設定期間SPにおいて、第2動作推奨条件52を満たしたフレームの数N2が第2の設定数SN2以上の場合(ステップST150でNO、ステップST160でYES)、図10で示したように、動作制御部63により、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの電子式補正部33のみが動作される(ステップST180)。
設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1が第1の設定数SN1未満で、かつ設定期間SPにおいて、第2動作推奨条件52を満たしたフレームの数N2が第2の設定数SN2未満の場合(ステップST150、ステップST160でともにNO)、図11で示したように、動作制御部63により、次のフレームにおいて、前のフレームの機械式補正部24および電子式補正部33の動作状態が引き継がれる(ステップST190)。ステップST100から、ステップST170、ステップST180、ステップST190のいずれかまでの各処理は、監視カメラ10の電源がオフされる(ステップST200でYES)まで繰り返し続けられる。なお、ステップST170、ステップST180、およびステップST190は、本開示の技術に係る「動作制御ステップ」の一例である。
以上説明したように、ぶれ補正制御装置64は、取得部61と動作制御部63とを備えている。取得部61は、連続するフレーム毎に露光時間を取得する。動作制御部63は、連続する複数のフレームに対応する複数の露光時間、機械式補正部24の第1動作推奨条件51、および電子式補正部33の第2動作推奨条件52に応じて、連続する複数のフレームの次のフレームにおいて、機械式補正部24および電子式補正部33を選択的に動作させる制御を行う。このため、露光時間が第1設定量TH1の前後を1フレーム毎に変動する状況等においても、動作する補正部が1フレーム毎に切り替わるといったことがない。したがって、スムーズな画像を出力可能となる。
より詳しくは、図15AのフレームF70〜フレームF77のように、露光時間が第1設定量TH1の前後を1フレーム毎に変動する状況を考える。図15Aに示す状況において、1フレーム分の露光時間に応じて、動作させる補正部を切り替える場合、図15Bの表72に示すように、フレームF75〜フレームF78において、動作する補正部が、機械式補正部24と電子式補正部33とで1フレーム毎に切り替わる。対して、図8の表70で示した設定で、動作させる補正部を切り替える場合、図15Cの表74に示すように、動作する補正部が切り替わるのはフレームF80のみとなる。このように、本開示の技術によれば、スムーズな画像を出力可能であることが、確かに可能である。
動作制御部63は、設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1が第1の設定数SN1以上の場合、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる制御を行う。また、動作制御部63は、設定期間SPにおいて、第2動作推奨条件52を満たしたフレームの数N2が第2の設定数SN2以上の場合、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの電子式補正部33のみを動作させる制御を行う。したがって、こうした制約を設けない場合と比べて、動作する補正部が切り替わる頻度を抑えることができる。
さらに、動作制御部63は、設定期間SPにおいて、第1動作推奨条件51を満たしたフレームの数N1が第1の設定数SN1未満で、かつ設定期間SPにおいて、第2動作推奨条件52を満たしたフレームの数N2が第2の設定数SN2未満の場合、次のフレームにおいて、前のフレームの機械式補正部24および電子式補正部33の動作状態を引き継ぐ。このように、機械式補正部24および電子式補正部33のうちのいずれを動作させればよいかが判然としない場合に、無理に動作させる補正部を切り替えることなく現状を維持するので、動作する補正部が切り替わる頻度をさらに抑えることができる。
第1動作推奨条件51は、露光時間が第1設定量TH1以上であるという条件であり、第2動作推奨条件52は、露光時間が第1設定量TH1未満であるという条件である。このように、第1動作推奨条件51および第2動作推奨条件52は比較的単純な内容であり、かつ相反する条件である。したがって、第1動作推奨条件51を満たしているか否か、および第2動作推奨条件52を満たしているか否かの判断が比較的容易である。
監視カメラシステム2に用いられる監視カメラ10に、ぶれ補正制御装置64の機能をもたせている。監視カメラ10は、監視対象をより高画質で撮像することが求められるので、スムーズな画像出力を可能とする必要性が高い。したがって、ぶれ補正制御装置64を監視カメラシステム2に用いれば、より優れた効果を発揮することができる。
なお、図8の表70で示した設定に代えて、図16の表80に示す設定を採用してもよい。図16では、設定期間SPが5フレーム、第1の設定数SN1が4フレームと、図8の場合と同じであるが、第2の設定数SN2が3フレームである点が図8の場合と異なる。この例では、次のフレームにおいて機械式補正部24のみが動作されるのは、第1動作推奨条件51を満たしたフレームの数N1が4および5の場合と、図8の場合と同じである。ただし、次のフレームにおいて電子式補正部33が動作されるのが、第2動作推奨条件52を満たしたフレームの数N2が3〜5の場合と、第2動作推奨条件52を満たしたフレームの数N2が3の場合も加わる。その代わり、次のフレームにおいて、前のフレームで動作していた補正部が動作されるのは、第1動作推奨条件51を満たしたフレームの数N1が3(第2動作推奨条件52を満たしたフレームの数N2が2)の場合のみとなる。
また、図17の表82に示す設定を採用してもよい。図17では、設定期間SPが10フレーム、第1の設定数SN1が9フレーム、第2の設定数SN2が4フレームとされている。この例では、次のフレームにおいて機械式補正部24のみが動作されるのは、第1動作推奨条件51を満たしたフレームの数N1が9および10の場合である。また、次のフレームにおいて電子式補正部33が動作されるのは、第2動作推奨条件52を満たしたフレームの数N2が4〜10の場合である。さらに、次のフレームにおいて、前のフレームで動作していた補正部が動作されるのは、第1動作推奨条件51を満たしたフレームの数N1が7および8(第2動作推奨条件52を満たしたフレームの数N2が2および3)の場合である。
図16および図17で示したように、次のフレームにおいて機械式補正部24のみが動作される機会と、次のフレームにおいて電子式補正部33が動作される機会と、次のフレームにおいて、前のフレームで動作していた補正部が動作される機会とは、均等でなくてもよい。
次のフレームにおいて機械式補正部24のみが動作される機会は、第1の設定数SN1が、設定期間SPを構成するフレームの数に近い程、少なくなる。同様に、次のフレームにおいて電子式補正部33のみが動作される機会は、第2の設定数SN2が設定期間SPを構成するフレームの数に近い程、少なくなる。このため、第1の設定数SN1を、設定期間SPを構成するフレームの数に近い値とし、かつ、第2の設定数SN2を、設定期間を構成するフレームの数から遠い値とすれば、機械式補正部24の動作時間を減らすことが可能となる。
機械式補正部24は、前述のように、補正光学系19を機械的に移動させる補正部である。このため、監視カメラ10の寿命を考えると、なるべくならば機械式補正部24の動作時間を減らしたいという要望がある。したがって、上記のように第1の設定数SN1および第2の設定数SN2を設定すれば、機械式補正部24の動作時間を減らしたいという要望に応えることができる。
さらに、図18に示す表84の設定を採用してもよい。図18では、設定期間SPが5フレーム、第1の設定数SN1が3フレーム、第2の設定数SN2が3フレームとされている。この例では、次のフレームにおいて機械式補正部24のみが動作されるのは、第1動作推奨条件51を満たしたフレームの数N1が3〜5の場合である。また、次のフレームにおいて電子式補正部33が動作されるのは、第2動作推奨条件52を満たしたフレームの数N2が3〜5の場合である。ただし、この例では、次のフレームにおいて、前のフレームで動作していた補正部が動作される機会はない。このように、次のフレームにおいて、前のフレームで動作していた補正部が動作される機会を設けなくともよい。
なお、図19に示すように、第1の設定数SN1および第2の設定数SN2を変更可能としてもよい。
図19において、CPU37は、第1の設定数SN1および第2の設定数SN2を変更する変更部90として機能する。変更部90は、ユーザの求めに応じて、設定数変更画面95をタッチパネルディスプレイ42に表示させる。設定数変更画面95は、第1の設定数SN1を変更するためのスピンボックス96、第2の設定数SN2を変更するためのスピンボックス97、設定ボタン98、およびキャンセルボタン99を備えている。
スピンボックス96およびスピンボックス97が操作されて、第1の設定数SN1および第2の設定数SN2が所望の数値とされた後、設定ボタン98が選択される。これにより、第1の設定数SN1および第2の設定数SN2の設定変更指示が変更部90で受け付けられる。変更部90は、設定変更指示を受けて、ROM35の第1の設定数SN1および第2の設定数SN2を、スピンボックス96およびスピンボックス97で設定された数値に書き換える。
このように、第1の設定数SN1および第2の設定数SN2を変更する変更部90を備えるので、あらゆる要望に臨機応変に対応することができる。具体的には、機械式補正部24の動作時間を減らす設定にしたり、逆に電子式補正部33の動作時間を減らす設定にしたり、機械式補正部24および電子式補正部33の動作時間が均等になる設定にしたりすることができる。
なお、ユーザの設定変更指示に応じて、第1の設定数SN1および第2の設定数SN2を変更することに代えて、あるいは加えて、時間帯といった他の要素に応じて第1の設定数SN1および第2の設定数SN2を変更してもよい。例えば、機械式補正部24の動作が推奨されるぶれが発生しやすいと考えられる時間帯(午前8時から午後5時まで等)は、第1の設定数SN1を、設定期間SPを構成するフレームの数から遠い値とし、かつ、第2の設定数SN2を、設定期間SPを構成するフレームの数に近い値として、機械式補正部24の動作時間を増やす。対して、上記の時間帯以外は、第1の設定数SN1を、設定期間SPを構成するフレームの数に近い値とし、かつ、第2の設定数SN2を、設定期間SPを構成するフレームの数から遠い値として、電子式補正部33の動作時間を増やす。
なお、変更部90で変更可能とする設定数は、第1の設定数SN1のみでもよいし、第2の設定数SN2のみでもよい。つまり、変更部90で変更可能とする設定数は、第1の設定数SN1および第2の設定数SN2のうちの少なくとも一方でもよい。
[第2実施形態]
図20〜図24に示す第2実施形態では、本開示の技術に係る「関係量」の一例として、ぶれの振幅とぶれの周波数とが採用された場合について説明する。なお、以下では、ぶれの振幅を単に「振幅」と称する場合がある。同じく、ぶれの周波数を単に「周波数」と称する場合がある。
図20〜図24に示す第2実施形態では、本開示の技術に係る「関係量」の一例として、ぶれの振幅とぶれの周波数とが採用された場合について説明する。なお、以下では、ぶれの振幅を単に「振幅」と称する場合がある。同じく、ぶれの周波数を単に「周波数」と称する場合がある。
前述のように、監視カメラ10に与えられる振動には様々な種類がある。このため、ぶれ検出センサ40で検出されるぶれは、振幅および周波数が異なる様々なぶれを合成したものであると考えられる。そこで、第2実施形態においては、図20に概念的に示すように、ぶれ検出センサ40からのぶれの検出信号を高速フーリエ変換にかける。そして、高速フーリエ変換の結果に基づき、ぶれ検出センサ40で検出されるぶれを、各々振幅をもつ複数の異なる周波数のぶれに分解する。第2実施形態では、こうして得られたぶれの振幅とぶれの周波数とを、関係量として取得部61が取得する。なお、高速フーリエ変換にかけるぶれの検出信号は、例えば、ピッチ軸PAとヨー軸YAとに平行な平面内のシフトぶれを検出する加速度センサの検出信号である。
振幅に対しては第2設定量TH2が設定され、周波数に対しては第3設定量TH3が設定される。図21に示すように、第1動作推奨条件110は、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがあるという条件である。すなわち、高速フーリエ変換によって振幅と周波数とに分解された複数のぶれのうち、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれが1つでもあれば、第1動作推奨条件110を満たしたことになる。対して図22に示すように、第2動作推奨条件111は、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがないという条件である。なお、以降の処理は、関係量として、露光時間に代えてぶれの振幅とぶれの周波数とが採用されている以外は、上記第1実施形態と同じであるため、説明を省略する。
このように、第2実施形態では、関係量として、ぶれの振幅とぶれの周波数とが採用されている。そして、第1動作推奨条件110として、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがあるという条件が採用されている。また、第2動作推奨条件111として、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがないという条件が採用されている。したがって、実際に発生しているぶれの種類に適応した補正部を、動作制御部63が動作させることができる。
図23に示すように、第2設定量TH2は、周波数が高くなるにつれて小さくなる量であってもよい。このようにする理由は、振幅が同じで周波数が異なるぶれがあった場合、周波数が高いぶれ程、同じ露光時間内のぶれの量が多くなるためである。第2設定量TH2を、周波数が高くなるにつれて小さくなる量とすれば、動作推奨条件110を、より適切な条件とすることができる。
また、第3設定量TH3は、振幅が大きくなるにつれて小さくなる量であってもよい。このようにする理由は、周波数が同じで振幅が異なるぶれがあった場合、振幅が大きいぶれ程、同じ露光時間内のぶれの量が多くなるためである。第3設定量TH3を、振幅が大きくなるにつれて小さくなる量とすれば、動作推奨条件110を、より適切な条件とすることができる。
なお、図23では、第2設定量TH2および第3設定量TH3が直線的に変化しているが、これに限定されない。第2設定量TH2が、周波数が高くなるにつれて小さくなる量となり、第3設定量TH3が、振幅が大きくなるにつれて小さくなる量となればよく、図24Aに示すように第2設定量TH2および第3設定量TH3を曲線的に変化させてもよい。また、図24Bに示すように段階的に変化させてもよい。また、これらのバリエーションを組み合わせて、例えば、第2設定量TH2を直線的に変化させ、かつ、第3設定量TH3を曲線的に変化させる等してもよい。
[第3実施形態]
図25〜図27に示す第3実施形態では、本開示の技術に係る「関係量」の一例として、露光時間内のぶれの量が採用された場合について説明する。
図25〜図27に示す第3実施形態では、本開示の技術に係る「関係量」の一例として、露光時間内のぶれの量が採用された場合について説明する。
図25は、ある時間にぶれ検出センサ40で検出されたぶれBLに対する露光時間内のぶれの量を示す図である。ぶれBLの波形の頂点を跨がない露光時間T1の場合、ぶれの量は、露光時間T1の開始時と露光時間T1の終了時とのそれぞれのぶれの量の差分の絶対値Δ1である。対して、ぶれBLの波形の頂点を跨ぐ露光時間T2の場合、ぶれの量は、δAとδBを加算したΔ2である。ここで、δAは、露光時間T2の開始時のぶれの量と、ぶれBLの波形の頂点のぶれの量との差分の絶対値である。また、δBは、露光時間T2の終了時のぶれの量と、ぶれBLの波形の頂点のぶれの量との差分の絶対値である。第3実施形態では、こうして得られた露光時間内のぶれの量を、関係量として取得部61が取得する。
図26に示すように、第1動作推奨条件115は、露光時間内のぶれの量が第4設定量TH4以上であるという条件である。対して図27に示すように、第2動作推奨条件116は、露光時間内のぶれの量が第4設定量TH4未満であるという条件である。なお、以降の処理は、関係量として、露光時間に代えて露光時間内のぶれの量が採用されている以外は、上記第1実施形態と同じであるため、説明を省略する。
このように、第3実施形態では、関係量として、露光時間内のぶれの量が採用されている。そして、第1動作推奨条件115として、露光時間内のぶれの量が第4設定量TH4以上であるという条件が採用されている。また、第2動作推奨条件116として、露光時間内のぶれの量が第4設定量TH4未満であるという条件が採用されている。したがって、実際に発生しているぶれの量に適応した補正部を、動作制御部63が動作させることができる。
設定期間SPを構成するフレームの数は、3フレーム以上であることが好ましい。
第1実施形態と第2実施形態とを複合して実施してもよい。この場合、第1動作推奨条件は、露光時間が第1設定量TH1以上であって、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがある、という条件になる。また、第2動作推奨条件は、露光時間が第1設定量TH1未満であって、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがない、という条件になる。
上記各実施形態では、監視カメラ10にぶれ補正制御装置64の機能をもたせているが、これに限らない。図28Aに示すように、監視カメラ150ではなく、管理装置151にぶれ補正制御装置152の機能をもたせてもよい。または図28Bに示すように、監視カメラ200および管理装置201とは別に、ぶれ補正制御装置202を設けてもよい。
上記各実施形態では、設定期間SPにおいて、第1動作推奨条件を満たしたフレームの数が第1の設定数SN1以上の場合、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる制御を行っているが、これに限らない。設定期間SPにおいて、第1動作推奨条件を満たしたフレームの数が第1の設定数SN1以上の場合に、機械式補正部24だけでなく、電子式補正部33も補助的に動作させてもよい。例えば、機械式補正部24が補正の8割を担い、電子式補正部33が補正の2割を担うよう動作させる。こうして電子式補正部33を補助的に動作させれば、機械式補正部24の動作負担が減るため、より監視カメラ10の寿命を延ばすことができる。
上記各実施形態では、補正光学系19を機械的に移動させる機械式補正部24を例示したが、これに限らない。撮像素子25を機械的に移動させる機械式補正部でもよいし、補正光学系19および撮像素子25の両方を機械的に移動させる機械式補正部でもよい。
関係量を取得する予め定められた時点は、フレームで規定される時点でなくてもよい。例えば、関係量をぶれの振幅と周波数とする第2実施形態の場合は、関係量を取得する予め定められた時点を、ぶれ検出センサ40の検出信号のサンプリング間隔で規定される時点としてもよい。
同様に、設定期間を構成する連続する複数の時点も、連続する複数のフレームでなくてもよく、また、連続するフレーム毎に関係量を取得しなくてもよい。例えば奇数フレーム毎に関係量を取得してもよい。
動画を撮像する場合だけでなく、秒単位の間隔で静止画を撮像する、いわゆるインターバル撮像に、本開示の技術を適用してもよい。この場合、消費電力を抑えるために、ぶれ検出センサ40、測光センサ41、およびCPU37は、静止画の撮像の合間は起動させないでおき、静止画の撮像タイミングの例えば10フレーム前となったら起動させてもよい。
本開示の技術は、監視カメラ以外の撮像装置、例えば民生用のデジタルカメラ、スマートフォン、あるいはタブレット端末等に対しても適用することが可能である。
上記各実施形態において、例えば、AE制御部60、取得部61、記憶制御部62、動作制御部63、変更部90といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム50)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、および/またはASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。いずれのプロセッサにもメモリが内蔵または接続されており、いずれのプロセッサもメモリを使用することで各種の処理を実行する。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
以上の記載から、以下の付記項1および付記項2に記載の発明を把握することができる。
[付記項1]
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得プロセッサと、
前記取得プロセッサにおいて取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第1動作推奨条件、および前記第2動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御プロセッサと、
を備えるぶれ補正制御装置。
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得プロセッサと、
前記取得プロセッサにおいて取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第1動作推奨条件、および前記第2動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御プロセッサと、
を備えるぶれ補正制御装置。
[付記項2]
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得し、
取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第1動作推奨条件、および前記第2動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う、
ぶれ補正制御装置。
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得し、
取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第1動作推奨条件、および前記第2動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う、
ぶれ補正制御装置。
本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (11)
- 補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、
前記取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第1動作推奨条件、および前記第2動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御部と、
を備えるぶれ補正制御装置。 - 前記動作制御部は、前記連続する複数の時点で構成される設定期間において、前記第1動作推奨条件を満たした時点の数が第1の設定数以上の場合、前記次の時点において、前記機械式補正部および前記電子式補正部のうちの前記機械式補正部のみを動作させる制御を行い、
前記設定期間において、前記第2動作推奨条件を満たした時点の数が第2の設定数以上の場合、前記次の時点において、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う請求項1に記載のぶれ補正制御装置。 - 前記動作制御部は、前記設定期間において、前記第1動作推奨条件を満たした時点の数が前記第1の設定数未満で、かつ前記設定期間において、前記第2動作推奨条件を満たした時点の数が前記第2の設定数未満の場合、前記次の時点において、前の時点の前記機械式補正部および前記電子式補正部の動作状態を引き継ぐ請求項2に記載のぶれ補正制御装置。
- 前記第1の設定数および前記第2の設定数のうちの少なくとも一方を変更する変更部を備える請求項2または請求項3に記載のぶれ補正制御装置。
- 前記第1動作推奨条件は、前記関係量が設定量以上であるという条件であり、
前記第2動作推奨条件は、前記関係量が前記設定量未満であるという条件である請求項1から請求項4のいずれか1項に記載のぶれ補正制御装置。 - 前記関係量は、前記撮像素子における前記被写体像の露光時間と、前記ぶれの振幅および前記ぶれの周波数と、前記露光時間内の前記ぶれの量とのうちの少なくともいずれか1つである請求項1から請求項5のいずれか1項に記載のぶれ補正制御装置。
- 前記取得部は、連続するフレーム毎に前記関係量を取得する請求項1から請求項6のいずれか1項に記載のぶれ補正制御装置。
- 監視カメラシステムに用いられる請求項1から請求項7のいずれか1項に記載のぶれ補正制御装置。
- 請求項1から請求項8のいずれか1項に記載のぶれ補正制御装置を備える撮像装置。
- 補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得ステップと、
前記取得ステップにおいて取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第1動作推奨条件、および前記第2動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御ステップと、
を備えるぶれ補正制御装置の作動方法。 - 補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第1動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第2動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、
前記取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第1動作推奨条件、および前記第2動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御部として、
コンピュータを機能させるためのぶれ補正制御装置の作動プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224226 | 2018-11-29 | ||
JP2018224226 | 2018-11-29 | ||
PCT/JP2019/046891 WO2020111266A1 (ja) | 2018-11-29 | 2019-11-29 | ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020111266A1 true JPWO2020111266A1 (ja) | 2021-10-14 |
JP7091473B2 JP7091473B2 (ja) | 2022-06-27 |
Family
ID=70852836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020557878A Active JP7091473B2 (ja) | 2018-11-29 | 2019-11-29 | ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11202009B2 (ja) |
JP (1) | JP7091473B2 (ja) |
CN (1) | CN113170038B (ja) |
WO (1) | WO2020111266A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113170039B (zh) | 2018-11-29 | 2022-12-16 | 富士胶片株式会社 | 抖动校正控制装置及摄像装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013126075A (ja) * | 2011-12-14 | 2013-06-24 | Jvc Kenwood Corp | 撮像装置及び画像ぶれ補正方法 |
JP2016024235A (ja) * | 2014-07-16 | 2016-02-08 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2017129785A (ja) * | 2016-01-21 | 2017-07-27 | オリンパス株式会社 | 撮像装置、像ブレ補正方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6004785B2 (ja) * | 2012-06-29 | 2016-10-12 | キヤノン株式会社 | 撮像装置、光学機器、撮像システムおよび制御方法 |
US9232138B1 (en) * | 2013-06-03 | 2016-01-05 | Amazon Technologies, Inc. | Image stabilization techniques |
CN103888683B (zh) * | 2014-03-24 | 2015-05-27 | 深圳市中兴移动通信有限公司 | 移动终端及其拍摄方法 |
CN104202521B (zh) * | 2014-08-28 | 2016-05-25 | 努比亚技术有限公司 | 拍摄方法及拍摄装置 |
JP6614810B2 (ja) * | 2015-05-29 | 2019-12-04 | キヤノン株式会社 | ブレ補正装置、撮像装置、ブレ補正方法 |
US9743001B1 (en) * | 2016-02-19 | 2017-08-22 | Fotonation Limited | Method of stabilizing a sequence of images |
JP6700853B2 (ja) * | 2016-02-26 | 2020-05-27 | キヤノン株式会社 | 撮像システムおよびその制御方法、撮像装置、レンズ装置 |
KR20170112492A (ko) * | 2016-03-31 | 2017-10-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
JP6808399B2 (ja) * | 2016-08-26 | 2021-01-06 | キヤノン株式会社 | アクセサリ装置、制御装置、撮像システム、通信制御方法および通信制御プログラム |
JP6910765B2 (ja) * | 2016-08-26 | 2021-07-28 | キヤノン株式会社 | 制御装置、防振制御方法および防振制御プログラム |
US10462370B2 (en) * | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
JP2019106655A (ja) * | 2017-12-14 | 2019-06-27 | ルネサスエレクトロニクス株式会社 | 半導体装置および電子機器 |
JP2019106656A (ja) * | 2017-12-14 | 2019-06-27 | ルネサスエレクトロニクス株式会社 | 半導体装置および電子機器 |
-
2019
- 2019-11-29 JP JP2020557878A patent/JP7091473B2/ja active Active
- 2019-11-29 WO PCT/JP2019/046891 patent/WO2020111266A1/ja active Application Filing
- 2019-11-29 CN CN201980076719.4A patent/CN113170038B/zh active Active
-
2021
- 2021-05-18 US US17/322,915 patent/US11202009B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013126075A (ja) * | 2011-12-14 | 2013-06-24 | Jvc Kenwood Corp | 撮像装置及び画像ぶれ補正方法 |
JP2016024235A (ja) * | 2014-07-16 | 2016-02-08 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2017129785A (ja) * | 2016-01-21 | 2017-07-27 | オリンパス株式会社 | 撮像装置、像ブレ補正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113170038A (zh) | 2021-07-23 |
JP7091473B2 (ja) | 2022-06-27 |
WO2020111266A1 (ja) | 2020-06-04 |
US11202009B2 (en) | 2021-12-14 |
CN113170038B (zh) | 2023-06-13 |
US20210274098A1 (en) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6680377B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP6494202B2 (ja) | 像振れ補正装置、その制御方法、および撮像装置 | |
EP3096512B1 (en) | Method and camera for producing an image stabilized video | |
JP6944272B2 (ja) | 動体検出装置およびその制御方法 | |
JP2007093306A (ja) | 空間情報の検出装置 | |
US20130120616A1 (en) | Image synthesizing apparatus, image recording method, and recording medium | |
JP7113911B2 (ja) | ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラム | |
US20140085505A1 (en) | Image processing apparatus | |
US20180278822A1 (en) | Image processing device, image processing method, and program | |
JP2009267873A (ja) | 振動補正制御回路およびそれを搭載する撮像装置 | |
JP7091473B2 (ja) | ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 | |
JP7091474B2 (ja) | ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 | |
US20170163919A1 (en) | Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program | |
JP2008107608A (ja) | 撮像装置および撮像方法 | |
JP2013157790A (ja) | 撮像装置、その制御方法、および制御プログラム | |
WO2015146240A1 (ja) | 画像処理装置 | |
JP2012090152A (ja) | 撮像装置および撮像方法 | |
JP7117532B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8659705B2 (en) | Noise reducer | |
JP2014165621A (ja) | 監視装置及び監視装置の制御方法 | |
JP2014112780A (ja) | 撮像装置、撮像方法及びプログラム | |
JP5167956B2 (ja) | 映像信号処理装置 | |
JP2010130612A (ja) | 撮像装置 | |
JPWO2020003488A1 (ja) | 撮像装置及びライン変動ノイズ低減装置 | |
JP2009265447A (ja) | 振動補正制御回路およびそれを搭載する撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7091473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |