以下、本発明の実施例について、図面を参照しながら詳細に説明する。
(第1実施形態)
まず、図1を参照して、本発明の第1実施形態における撮像装置の構成について説明する。図1は、本実施形態における撮像装置100のブロック図である。撮像装置100は、像振れ補正機能を有する。
図1において、101はズームユニットであり、変倍動作を行うズームレンズを含む。102はズーム駆動制御部であり、ズームユニット101を駆動制御する。103はシフトレンズである。シフトレンズ103は、光軸OAに対して直交(略直交)する平面内での位置を変更することにより、被写体像の像ブレを補正する振れ補正光学系(光学部材)である。104はシフトレンズ駆動制御部(振れ補正手段)であり、シフトレンズ103を駆動制御する。撮像装置100の省電力時において、シフトレンズ駆動制御部104への電源供給は停止される。
105は、絞り・シャッタユニットである。106は絞り・シャッタ駆動制御部であり、絞り・シャッタユニット105を駆動制御する。107はフォーカスユニットであり、ピント調整を行うレンズ(フォーカスレンズ)を含む。108はフォーカス駆動制御部であり、フォーカスユニット107を駆動制御する。
109は、CMOSセンサなどの撮像素子を含む撮像部であり、各レンズ群(ズームユニット101、シフトレンズ103、フォーカスユニット107)を通過した光束(光学像、被写体像)を電気信号に変換する。本実施形態において、撮像部109(撮像素子)は、ローリングシャッタ方式により被写体像を光電変換する。110は撮像信号処理部であり、撮像部109から出力された電気信号を映像信号に変換する。111は映像信号処理部であり、撮像信号処理部110から出力された映像信号を用途に応じて加工する。112は表示部であり、映像信号処理部111から出力された信号に基づいて、必要に応じて画像表示を行う。113は表示制御部であり、撮像部109および表示部112の動作や表示を制御する。
114は電源部であり、用途に応じて、撮像装置100の全体(システム全体)に電源を供給する。115は外部入出力端子部であり、撮像装置100と外部装置との間で通信信号や映像信号の入出力を行う。116は操作部であり、システムを操作する。117は記憶部であり、映像情報などの種々のデータを記憶する。118は撮像装置100の全体(システム全体)を制御する制御部である。
続いて、撮像装置100の動作について説明する。操作部116は、ユーザによる押し込み量に応じて、第1スイッチ(SW1)および第2スイッチ(SW2)が順にオンするように構成されたシャッタレリーズボタンを有する。シャッタレリーズボタンを半分(略半分)だけ押し込んだ際に第1スイッチがオンし、シャッタレリーズボタンを最後まで押し込んだ際に第2スイッチがオンする。操作部116の第1スイッチがオンされると、フォーカス駆動制御部108がフォーカスユニット107を駆動してピント調整(フォーカス制御)が行われる。またこれと共に、絞り・シャッタユニット駆動制御部106は、絞り・シャッタユニット105を駆動し、露光量を適正な露光量に設定する。さらに第2スイッチがオンされると、撮像部109に露光された光学像(被写体像)から画像データが得られ、制御部118は得られた画像データを記憶部117に記憶する。
このとき、ユーザにより操作部116を介して振れ補正機能をオンにする指示がなされると、制御部118は、シフトレンズ駆動制御部104に対して振れ補正動作を行うように指示する。この指示を受けたシフトレンズ駆動制御部104は、振れ補正機能をオフにする指示がなされるまで、振れ補正動作を行う。また、操作部116が一定時間操作されない場合、制御部118は、省電力のためにディスプレイ(表示部112)の電源を遮断する指示を出す。
本実施形態において、撮像装置100は、静止画撮影モードおよび動画撮影モードの一方を、操作部116を介して選択可能に構成されている。撮像装置100は、各モードにおいて、各駆動制御部の動作条件を変更することができる。操作部116を介してズームレンズによる変倍の指示があると、制御部118を介して指示を受けたズーム駆動制御部102は、ズームユニット101を駆動して、所定のズーム位置(指示されたズーム位置)にズームレンズを移動させる。また、撮像部109から送られた撮像信号処理部110および映像信号処理部111にて処理された画像情報に基づいて、フォーカス駆動制御部108はフォーカスユニット107を駆動してピント調整(フォーカス制御)を行う。
続いて、図2を参照して、光学式像ブレ補正を行うシフトレンズ駆動制御部104(振れ補正手段)およびローリングシャッタ歪み補正を行う歪み補正手段207について詳述する。図2は、シフトレンズ駆動制御部104および歪み補正手段207のブロック図である。図2は、撮像装置100の鉛直方向(ピッチ方向)に生じる振れに関しする構成のみを示している。ただし、同様な構成は、撮像装置100の水平方向(ヨー方向)に生じる振れにも設けられている。これらは基本的には同じ構成であるため、ここでは、ピッチ方向の構成のみを図示して説明する。本実施形態において、歪み補正手段207は、撮像部109、撮像信号処理部110、映像信号処理部111、および、制御部118により構成される。歪み補正手段207は、シフトレンズ103の位置情報(角速度センサ202により検出された位置、すなわち実位置)および補正情報(シフトレンズ103の目標位置情報)に基づいて、ローリングシャッタ方式に起因する被写体像の歪みを補正する(低減させる)。
図2において、202は角速度センサ(振れ検出手段)であり、撮像装置100の振れ(振れ情報)を検出する。203は振れ補正量算出部であり、角速度センサ202により検出された振れ情報に基づいてシフトレンズ103の補正情報(駆動目標位置、または目標位置情報)を算出する算出手段である。205は、フィードバック制御手段としてのシフトレンズフィードバック制御部(レンズFB制御部)である。減算器204は、振れ補正量算出部203の出力から、シフトレンズ駆動部206の出力(シフトレンズ103の位置情報)を減算し、その偏差がシフトレンズフィードバック制御部205に入力される。シフトレンズフィードバック制御部205は、入力された偏差に基づいて制御量を求め、シフトレンズ駆動部206へ指令信号を出力する。シフトレンズ駆動部206は、シフトレンズフィードバック制御部205からの指令信号に基づいて、シフトレンズ103を駆動する。シフトレンズ駆動部206には、ホール素子206a(位置検出手段)が設けられており、シフトレンズ103の位置(位置情報)を検出する。シフトレンズフィードバック制御部205およびシフトレンズ駆動部206は、シフトレンズ103の補正情報(目標位置情報)に基づいて像ブレを低減するようにシフトレンズ103を駆動する駆動制御手段である。
続いて、光学式振れ補正とローリングシャッタ歪み補正とを併用している撮像装置100における、ローリングシャッタ歪み補正について説明する。
光学式振れ補正は、前述のように、振れ補正量算出部203が角速度センサ202の出力に基づいて振れ補正量(手振れ補正量)を算出し、シフトレンズ103を駆動して防振を行う。ただし、シフトレンズ103が駆動可能な範囲(可動範囲)は制限されている。このため振れ補正量算出部203は、制限された可動範囲において適切に防振制御ができるような信号処理を用いて演算を行う。具体的には、振れ補正量算出部203は、シフトレンズ103が可動端(防振可動端)に近づくと、可動端に近づく方向の角速度を小さくし、可動端に張りつくことがないようにするなどの制御を行う。また、パンニング動作中などにおいて、すぐにシフトレンズ103が可動端に移動するのを回避するため、振れ補正量算出部203は、パンニング動作の開始を検知し、パンニング動作中においてパンニング分の角速度を減算するなどの処理を行う。これにより、シフトレンズ103が可動端に張りつき続けることにより防振不能状態になることを回避している。
このため、振れ補正量算出部203の出力値は、角速度センサ202により検出された撮像装置100の振れを完全に(または効果的に)防振するような出力値でない場合がある。そこで、角速度センサ202の出力信号(角速度信号)は、歪み補正手段207の積分器208にも入力され、撮像装置100の振れ角度が演算される。ここで、撮像装置100の振れ角度からシフトレンズ駆動制御部104のシフトレンズ駆動量分を減算した値が、撮像装置100の振れに対するシフトレンズ駆動の際の防振揺れ残りとなり、撮像面(撮像素子)上における像ブレとして現れる。そこで本実施形態では、防振揺れ残りからローリングシャッタ歪み補正を行うことにより、適切な歪み補正を行うことができる。
続いて、光学式振れ補正とローリングシャッタ歪み補正とを併用した場合における、振れ量(手振れ量)に応じたローリングシャッタ歪み補正量の算出方法について説明する。
シフトレンズ駆動部206から出力される位置情報(シフトレンズ位置情報)は、角度変換部210に入力される。角度変換部210は、シフトレンズ103の位置(位置情報)を、撮像装置100の振れ角度(角度情報)に変換する。撮像装置100の振れ角度をθ、焦点距離をf、レンズ敏感度(シフトレンズ移動量に対する撮像面像移動量の比)をT、シフトレンズ移動量をXとすると、振れ角度θは、以下の式(1)のように表される。
θ=X・T/f … (1)
ここで、積分器208の出力の単位と角度変換部210の出力の単位とは、いずれも角度で一致している。このため、減算器209は、積分器208の出力から角度変換部210の出力を減算する。減算器209の出力は、撮像面ブレ量変換部211へ入力される。撮像面ブレ量変換部211は、以下の式(2)で表されるように、振れ角度θを撮像面ブレ量δに変換する。
δ=f・θ … (2)
このように、光学式振れ補正とローリングシャッタ歪み補正とを併用し、手振れ量に応じてローリングシャッタ歪み補正を行う場合、撮像面ブレ量変換部211の出力が歪み量算出部215に入力され、ローリングシャッタ歪み補正が行われる。
歪み量算出部215は、撮像面ブレ量変換部211から出力された像動き量(撮像面ブレ量)から、ローリング歪みによる結像位置の移動量および参照範囲情報を算出する。具体的には、歪み量算出部215は、上記像動き量によってローリング歪みに対して補正された各画素位置が、メモリのどの画素位置に結像しているのかを算出し、その座標位置の差分を移動量として算出する。なお参照範囲情報は、ローリング歪みを補正するための情報である。このように歪み量算出部215は、ローリングシャッタ方式による撮像で生じたローリング歪みを補正するために用いられるメモリの範囲を示す範囲情報、および移動量を算出し、ローリングシャッタ歪み補正を行う。
続いて、光学式振れ補正とローリングシャッタ歪み補正とを併用した場合において、撮像装置100に外乱が発生した際のローリングシャッタ歪み補正量の算出方法について説明する。
シフトレンズ103に外乱力が加わると、シフトレンズ103への駆動信号からアクチュエータ(シフトレンズ駆動制御部104)を通じて変換された推力に、外乱力が力として加算される。このため、目標位置と実位置との間に大きな偏差が生じ、シフトレンズフィードバック制御部205の特性によっては、偏差が収束するまでに長い時間が必要となる。また、手振れを検出する角速度センサ202にも衝撃が加わるため、角速度センサ202は撮像装置100の正しい角速度を出力することができない。そこで、撮像装置100に大きな外乱力が加わった場合、歪み補正手段207は、減算器204の出力であるシフトレンズ103の位置偏差を用いて、ローリングシャッタ歪み補正を行う。
減算器204の出力である位置偏差(レンズ位置偏差)は、撮像面ブレ量変換部212に入力される。撮像面ブレ量変換部212は、以下の式(3)で表されるように、シフトレンズ移動量X(シフトレンズ位置)を撮像面ブレ量δに変換する。
δ=T・X … (3)
シフトレンズ103に外乱力が加わった場合、シフトレンズ103の位置偏差に応じてローリングシャッタ歪み補正を行う際に、撮像面ブレ量変換部212の出力が歪み量算出部215に入力され、ローリングシャッタ歪み補正が行われる。
本実施形態において、信号選択部213(選択手段)は、手振れ量に応じてローリングシャッタ歪み補正を行うか、または、シフトレンズ103の位置偏差に応じてローリングシャッタ歪み補正を行うかを選択する。信号選択部213には、撮像面ブレ量変換部212の出力、撮像面ブレ量変換部211の出力、および、外乱検出部214の出力が入力される。外乱検出部214(外乱取得手段)の出力は、外乱検出中(外乱発生中)であるか否かを判定する信号である。信号選択部213は、外乱検出部214による外乱検出中である場合、撮像面ブレ量変換部212の出力を選択し、歪み量算出部215へ出力する。一方、信号選択部213は、外乱検出部214による外乱検出中でない場合、撮像面ブレ量変換部211の出力を選択し、歪み量算出部215へ出力する。
続いて、図3および図4を参照して、外乱検出部214(外乱取得手段)による内部処理について説明する。図3は、外乱検出部214による演算のフローチャートである。まずステップS301において、外乱検出部214の演算が開始してフローチャートで示される処理が実行される。この処理は、防振制御中における制御サンプリング周期で繰り返し実行される。
ステップS302において、外乱検出部214は、減算器204の出力であるシフトレンズ103の位置偏差を取得する。そしてステップS303において、外乱検出部214は、ステップS302にて取得した偏差(位置偏差)の絶対値αを算出する。続いてステップS304において、外乱検出部214は、偏差の絶対値αが所定の閾値Th1よりも大きいか否かを判定する。その結果、偏差の絶対値αが閾値Th1よりも大きい場合、ステップS305に進む。ステップS305において、外乱検出部214は、外乱検出中フラグをオンにする。そしてステップS312に進み、外乱検出部214は演算を終了し、次回サンプリングを待つ。
一方、ステップS304にて偏差の絶対値αが閾値Th1以下である場合、ステップS306に進む。ステップS306において、外乱検出部214は、偏差の絶対値αが所定の閾値Th2よりも大きいか否かを判定する。その結果、偏差の絶対値αが閾値Th2よりも大きい場合、ステップS307に進む。なお、閾値Th1は閾値Th2よりも大きい(Th1>Th2)。ステップS307において、外乱検出部214は、カウンタCountに所定の値Maxを代入し、ステップS309に進む。一方、ステップS306にて偏差の絶対値αが閾値Th2以下である場合、ステップS308に進む。ステップS308において、外乱検出部214は、カウンタCountをデクリメントし、ステップS309に進む。
ステップS309において、外乱検出部214は、カウンタCountが0以下であるか否かを判定する。カウンタCountが0以下である場合、ステップS310に進む。ステップS310において、外乱検出部214は、カウンタCountに0を代入する。続いてステップS311において、外乱検出部214は、外乱検出中フラグをオフに設定する。そしてステップS312において、外乱検出部214は演算を終了し、次回サンプリングを待つ。一方、ステップS309にてカウンタCountが0より大きい場合、ステップS312に進む。ステップS312において、外乱検出部214は演算を終了し、次回サンプリングを待つ。
図4は、図3のフローチャートによる偏差、偏差の絶対値、カウンタ値、および、外乱検出中フラグの時間遷移の例である。図4(a)は、減算器204の出力である偏差(シフトレンズ103の位置偏差)の時系列データを示す。図4(b)は、図3のステップS303にて演算された偏差の絶対値の時系列データを示す。図4(c)は、図3のステップS307〜S310にて演算されるカウンタCount(カウント値)の時系列データを示す。図4(d)は、図3のステップS305、S311にて演算された外乱検出中フラグの時系列データを示す。
図4の期間Tの間、図4(d)に示されるように外乱検出中フラグはオンされている。このため、外乱検出部214は、期間Tにおいて外乱が発生していると判定する。図4(a)に示される偏差が大きい期間中、外乱検出フラグはオンされている。一方、図4(a)に示される偏差が小さい期間中、外乱検出フラグはオフされている。本実施形態において、図3および図4を参照して説明した方法により、外乱検出部214は、外乱発生中であるか否かの信号(外乱判定信号)を出力する。
本実施形態によれば、外乱検出部214は、外乱検出中(外乱発生中)か否かを判定する。外乱発生中である場合、歪み補正手段207は、シフトレンズ103の位置偏差(偏差)に基づいて、ローリングシャッタ歪み補正を行う。一方、外乱発生中でない場合、歪み補正手段207は、撮像装置100の振れ量に応じて、ローリングシャッタ歪み補正を行う。これにより、外乱発生の際におけるシフトレンズ103の外乱応答影響に伴うローリングシャッタ歪みを低減することができる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態は、外乱検出部の構成が第1実施形態の外乱検出部214とは異なる。まず図5を参照して、本実施形態における外乱検出部の構成について説明する。図5は、本実施形態における外乱検出部214aのブロック図である。本実施形態の外乱検出部214a(外乱取得手段)は、撮像装置100に加わる加速度を検出して、外乱検出中(外乱発生中)であるか否かを判定する。
図5には、外乱検出部214aに加えて、減算器204、シフトレンズフィードバック制御部205、および、シフトレンズ駆動部206の概略構成を示している。本実施形態の構成では、振れ補正量算出部203からの出力信号である目標レンズ位置x(目標位置)に追従するように、位置検出手段により検出されたシフトレンズ位置y(実位置)をフィードバック制御する。図2を参照して説明したように、シフトレンズフィードバック制御部205は制御量を求め、シフトレンズ駆動部206へ指令信号を出力する。シフトレンズ駆動部206は、その指令信号に基づいてシフトレンズ103を駆動する。シフトレンズ駆動部206は、アクチュエータ502に入力されたシフトレンズフィードバック制御部205からの指令信号(指令電流)を、シフトレンズ103を駆動するための推力に変換する。推力は、直接シフトレンズメカ特性(プラント501)には入力されず、アクチュエータ502からの推力に外乱dが加算されてからプラント501に入力される。プラント501は、入力された推力に応じてシフトレンズ103を駆動する。シフトレンズ位置yはセンシングされ、フィードバック制御に用いられる。
本実施形態において、外乱検出部214aには、シフトレンズフィードバック制御部205からの出力である指令電流(指令信号)と、シフトレンズ位置y(シフトレンズ位置情報)が入力される。指令信号とシフトレンズ位置情報に基づいて、ノミナルモデル(シフトレンズメカ特性のノミナル数学モデル)Pn(s)と、高周波ノイズを除去するためのローパスフィルタQ(s)を用いた外乱オブザーバが構成される。このような構成により、外乱d(外乱力)を推定することが可能となる。
指令電流は、アクチュエータ502に合わせて設けられた推力変換部503(Dn)に入力される。推力変換部503は、指令電流を推定推力値に変換し、ローパスフィルタ504(Q(s))に出力する。シフトレンズ位置yは、プラント501(P(s))のノミナルモデルの伝達特性Pn(s)の逆数と、ローパスフィルタ504(Q(s))とを組み合わせた特性505(Q(s)/Pn(s))を通過する。これにより、プラント501(P(s))に入力される力が推定されて出力される。
ここで、外乱オブザーバが推定する外乱は、力外乱が支配的である。このため、以下の式(4)で表されるように、シフトレンズ103への外乱加速度を推定することが可能である。
Ae=Fe/M … (4)
式(4)において、Ae[m/s2]はシフトレンズ103の推定加速度(推定外乱加速度)、Fe[N]は外乱オブザーバにより推定された力外乱、M[kg]はシフトレンズ103の質量である。
ここで推定された力外乱Feは、温度変化などシステム内部の外乱要因の影響も含んでいるが、メカパラメータの変動による定常状態でのゲインの変化など低周波での特性に関与する場合が多い。また、システム外部の外乱要因としても姿勢変化により生じる重力加速度分のオフセットが生じる。そこで、推定したシフトレンズ103の加速度Aeに対してハイパスフィルタ507(HPF)を付加することにより、定常状態での外乱影響をできるだけ除去し、撮像装置100に衝撃が加わった場合のみの加速度を抽出することができる。
本実施形態において、減算器506は、ローパスフィルタ504(Q(s))の出力から特性505の出力を減算し、減算器506の出力は、ハイパスフィルタ507に入力される。これにより、重力加速度影響による力などの低周波成分がカットされ、外乱力が算出される。
外乱検出判定部508は、算出された推定加速度(推定外乱加速度)に基づいて、外乱検出中(外乱発生中)であるか否かを判定する。図6は、外乱検出判定部508(外乱検出部214a)による演算のフローチャートである。
まずステップS601において、外乱検出判定部508の演算が開始してフローチャートで示される処理が実行される。この処理は、防振制御中における制御サンプリング周期で繰り返し実行される。
ステップS602において、図5を参照して説明したように、外乱検出判定部508は、推定外乱加速度を算出する。そしてステップS603において、外乱検出判定部508は、ステップS602にて算出した推定外乱加速度の絶対値βを算出する。続いてステップS604において、外乱検出判定部508は、推定外乱加速度の絶対値βが所定の閾値Th1よりも大きいか否かを判定する。その結果、推定外乱加速度の絶対値βが閾値Th1よりも大きい場合、ステップS605に進む。ステップS605において、外乱検出判定部508は、外乱検出中フラグをオンにする。そしてステップS612に進み、外乱検出判定部508は演算を終了し、次回サンプリングを待つ。
一方、ステップS604にて推定外乱加速度の絶対値βが閾値Th1以下である場合、ステップS606に進む。ステップS606において、外乱検出判定部508は、推定外乱加速度の絶対値βが所定の閾値Th2よりも大きいか否かを判定する。その結果、推定外乱加速度の絶対値βが閾値Th2よりも大きい場合、ステップS607に進む。なお、閾値Th1は閾値Th2よりも大きい(Th1>Th2)。ステップS607において、外乱検出判定部508は、カウンタCountに所定の値Maxを代入し、ステップS609に進む。一方、ステップS606にて推定外乱加速度の絶対値βが閾値Th2以下である場合、ステップS608に進む。ステップS608において、外乱検出判定部508は、カウンタCountをデクリメントし、ステップS609に進む。
ステップS609において、外乱検出判定部508は、カウンタCountが0以下であるか否かを判定する。カウンタCountが0以下である場合、ステップS610に進む。ステップS610において、外乱検出判定部508は、カウンタCountに0を代入する。続いてステップS611において、外乱検出判定部508は、外乱検出中フラグをオフに設定する。そしてステップS612において、外乱検出判定部508は演算を終了し、次回サンプリングを待つ。一方、ステップS609にてカウンタCountが0より大きい場合、ステップS612に進む。ステップS612において、外乱検出判定部508は演算を終了し、次回サンプリングを待つ。
図5に示される構成では、シフトレンズ制御系(シフトレンズフィードバック制御部205、シフトレンズ駆動部206)からの信号に基づいて外乱加速度が推定される。そして外乱検出部214a(外乱検出判定部508)は、推定した外乱加速度(推定外乱加速度)に基づいて外乱発生中であるか否かを判定する。ただし本実施形態はこれに限定されるものではなく、撮像装置100の内部に加速度センサを設ける構成を採用しても、前述と同様の効果を得ることができる。
図7を参照して、加速度センサを用いた外乱検出方法について説明する。図7は、本実施形態における外乱検出部214b(外乱取得手段)のブロック図である。外乱検出部214bは、加速度センサ701、HPF702(ハイパスフィルタ)、LPF703(ローパスフィルタ)、および、外乱検出判定部704を備えて構成される。
加速度センサ701の出力は、HPF702に入力される。HPF702は、加速度センサ701の出力から、重力加速度などの低周波成分を除去(カット)する。HPF702の出力は、LPF703に入力されて高周波成分が除去されることで、外乱検出用の加速度が算出される。LPF703の出力は、外乱検出判定部704に入力され、図6のフローチャートと同様の方法で外乱検出が行われる。
本実施形態によれば、撮像装置100に加わる加速度信号を検出することにより、撮像装置100に加わる外乱をより正確に検出することができる。また、外乱検出部214a、214b(外乱検出判定部508、704)は、検出した加速度信号に基づいて外乱検出中(外乱発生中)であるか否かを判定する。外乱検出中である場合、歪み補正手段は、シフトレンズ103の偏差(位置偏差)に基づいてローリングシャッタ歪み補正を行う。一方、外乱検出中でない場合、歪み補正手段は、撮像装置100の振れ量に応じてローリングシャッタ歪み補正を行う。これにより、外乱発生の際におけるシフトレンズの外乱応答影響に伴うローリングシャッタ歪みを低減することができる。
(第3実施形態)
次に、本発明の第3実施形態について説明する。図8は、本実施形態におけるシフトレンズ駆動制御部104(振れ補正手段)および歪み補正手段801のブロック図である。本実施形態の歪み補正手段801は、図2を参照して説明した第1実施形態の歪み補正手段207と比べて、以下の点で異なる。すなわち、第一に、角度変換部210には減算器204の出力ではなく、振れ補正量算出部203の出力が入力される。第二に、信号選択部213が削除され、加算器804が追加されている。第三に、撮像面ブレ量変換部211の出力は上下限設定部802に入力され、撮像面ブレ量変換部212の出力は上下限設定部803に入力される。そして、上下限設定部802と上下限設定部803の出力は、加算器804にて加算され、歪み量算出部215に入力される。また、上下限設定部802と上下限設定部803には、外乱検出部214の出力値も入力される。
本実施形態において、手振れ量に応じてローリングシャッタ歪み補正を行うか、レンズ位置偏差量に応じてローリングシャッタ歪み補正を行うかの選択は行わない。本実施形態では、それぞれの演算結果を加算して、ローリングシャッタ歪み補正量を算出する。
第1実施形態における手振れ量に応じたローリングシャッタ歪み補正量は、角速度センサ202から得られた撮像装置100の振れ量、および、シフトレンズ駆動部206から得られたシフトレンズ位置情報に基づいて算出されている。一方、本実施形態においては、ローリングシャッタ歪み補正量は、撮像装置100の振れ量、および、振れ補正量算出部203の出力であるシフトレンズ目標位置に基づいて算出される。これは、手振れの影響によるローリングシャッタ歪みと、外乱影響(によりレンズ位置偏差が大きくなったこと)によるローリングシャッタ歪みを切り分けて演算するためである。
手振れの影響による撮像面ブレ量は、撮像面ブレ量変換部211により演算(変換)される。上下限設定部802は、撮像面ブレ量が所定の上下限範囲内である場合、撮像面ブレ量変換部211の出力をそのまま出力する。一方、上下限設定部802は、撮像面ブレ量が所定の上限値以上の場合には上限値を出力し、所定の下限値以下の場合には下限値を出力する。下限値=マイナス上限値となる値が設定されており、ここに入力される信号は、露光開始時の値を0基準として、露光中に上下限外になるかが演算される。
レンズ位置偏差による撮像面ブレ量は、撮像面ブレ量変換部212により演算(変換)される。上下限設定部803は、撮像面ブレ量が所定の上下限範囲内である場合、撮像面ブレ量変換部212の出力をそのまま出力する。一方、撮像面ブレ量が所定の上限値以上である場合には上限値を出力し、所定の下限値以下である場合には下限値を出力する。下限値=マイナス上限値となる値が設定されており、ここに入力される信号は露光開始時の値を0基準として、露光中に上下限外になるかが演算される。
上下限設定部802および上下限設定部803の出力は、加算器804にて加算される。手振れ量に応じたローリングシャッタ歪み補正と、レンズ位置偏差量に応じたローリングシャッタ歪み補正とを同時に行うため、加算器804の出力は歪み量算出部215に入力され、ローリングシャッタ歪み補正が行われる。
ここで、上下限設定部802および上下限設定部803には、外乱検出部214の出力信号も入力される。外乱検出部214は、第1実施形態または第2実施形態で説明した方法により、外乱検出中(外乱発生中)であるか否かを判定する。外乱検出中である場合、上下限設定部803にてレンズ位置偏差量に応じたローリングシャッタ歪み補正の上下限値を大きく設定し、上下限設定部802にて振れ量に応じてローリングシャッタ歪み補正の上下限値を小さく設定する。一方、外乱検出中でない場合、上下限設定部802にて振れ量に応じてローリングシャッタ歪み補正の上下限値を大きく設定し、上下限設定部803にてレンズ位置偏差量に応じたローリングシャッタ歪み補正の上下限値を小さく設定する。ここで、外乱検出部214において外乱力の大きさを検出し、検出した外乱力の大きさに応じて、上下限設定部802および上下限設定部803の上下限値を可変にしてもよい。
本実施形態によれば、外乱検出中であるか否かを判定し、外乱検出中である場合にはシフトレンズ位置制御の偏差に基づいてローリングシャッタ歪み補正を積極的に(相対的に強く)行う。一方、外乱検出中でない場合には、撮像装置の振れ量に応じてローリングシャッタ歪み補正を積極的に(相対的に強く)行う。これにより、外乱発生時のシフトレンズの外乱応答特性の影響に伴うローリングシャッタ歪みを低減することができる。
(第4実施形態)
次に、本発明の第4実施形態について説明する。図9は、本実施形態におけるシフトレンズ駆動制御部104(振れ補正手段)および歪み補正手段901のブロック図である。本実施形態の歪み補正手段901は、図8を参照して説明した第3実施形態の歪み補正手段801と比べて、以下の点で異なる。すなわち、第一に、三脚判定部902が追加され、三脚判定部902には角速度センサ202の出力が入力される。第二に、三脚判定部902の出力は、上下限設定部903および上下限設定部904に入力される。
また本実施形態において、三脚判定部902は、角速度センサ202からの信号に基づいて、三脚判定(例えば、三脚に撮像装置100を装着した状態のような、撮像装置100への振動が小さい状態の検出)を行う。そして、三脚判定結果に基づいて、手振れ量に応じたローリングシャッタ歪み補正の可動範囲と、レンズ位置偏差量に応じたローリングシャッタ歪み補正の可動範囲とをそれぞれ設定する。
三脚判定部902が三脚中であると判定した場合、レンズ位置偏差量に応じたローリングシャッタ歪み補正の可動範囲を広げるように上下限設定部904の上下限値を設定する。またこのとき、手振れ量に応じたローリングシャッタ歪み補正の可動範囲を狭めるように上下限設定部903を設定する。一方、三脚判定部902が三脚中でないと判定した場合、レンズ位置偏差量に応じたローリングシャッタ歪み補正の可動範囲を狭めるように上下限設定部904の上下限値を設定する。またこのとき、手振れ量に応じたローリングシャッタ歪み補正の可動範囲を広げるように上下限設定部903を設定する。
第1実施形態乃至第3実施形態にて説明した外乱検知による手振れ量に応じたローリングシャッタ歪み補正とレンズ位置偏差量に応じたローリングシャッタ歪み補正の方法において、外乱の発生から外乱検知までには多少の時間が必要である。そこで、三脚判定中には手振れ量が小さいため、手振れ量に応じたローリングシャッタ歪み補正を積極的に(相対的に強く)行う必要はない。このため、三脚判定中にはレンズ位置偏差量に応じたローリングシャッタ歪み補正の可動範囲を広げておく。これにより、外乱の発生から外乱検知までに多少の時間を必要とする場合でも、外乱影響によるローリングシャッタ歪み補正を行うことができる。
続いて、三脚判定部902における三脚判定の方法、および、三脚判定結果と外乱検出結果とに応じた上下限設定部903と上下限設定部904の設定について説明する。三脚判定部902は、角速度センサ202の出力から、HPFにより低周波成分を除去した後、LPFにより高周波成分を除去することで、三脚判定用の角速度信号を演算する。三脚判定用の角速度信号が所定範囲に所定時間だけ保持されている場合、三脚判定部902は、揺れが非常に小さい状態として三脚中であると判定する。三脚判定部902からは、三脚中であるか否かの判定結果(三脚判定結果)が出力される。三脚判定結果は、上下限設定部903および上下限設定部904に入力される。
手振れ量に応じたローリングシャッタ歪み補正の可動範囲の上下限設定部903は、三脚判定部902からの三脚判定結果、および、外乱検出部214からの外乱検出判定結果に応じて、図10(a)に示される上限値を設定する。このときの上限値の大きさは、以下の式(5)のように設定される。なお、このとき下限値は、図10(a)の上限値に−1を乗算した値となる。
D1>B1>A1=C1 … (5)
レンズ位置偏差量に応じたローリングシャッタ歪み補正の可動範囲の上下限設定部904は、三脚判定部902からの三脚判定結果、および、外乱検出部214からの外乱検出判定結果に応じて、図10(b)に示される上限値を設定する。このときの上限値の大きさは、以下の式(6)のように設定される。なお、このときの下限値は、図10(b)の上限値に−1を乗算した値となる。
A2=C2>B2>D2 … (6)
本実施形態によれば、三脚判定部902からの三脚判定結果、および、外乱検出部214からの外乱検出判定結果に応じて、上下限設定部903および上下限設定部904が設定される。このため、三脚撮影時などの撮像装置への振動が小さい状態において外乱が加わった場合、より効果的に外乱発生時のシフトレンズの外乱応答影響に伴うローリングシャッタ歪みを低減することができる。
以上のように、各実施形態において、歪み補正手段は、シフトレンズ103の位置情報(角速度センサ202により検出された位置)および補正情報に基づいて、ローリングシャッタ方式に起因する被写体像の歪みを補正する(低減させる)。好ましくは、撮像装置100は、外乱情報を取得する外乱取得手段(外乱検出部214、214a、214b)を有する。そして歪み補正手段207、801、901は、外乱情報に応じて、被写体像の歪みを補正するための制御を変更する。好ましくは、補正情報は、光学部材(シフトレンズ103)の目標位置情報である。また歪み補正手段207、801、901は、光学部材の目標位置情報と角速度センサ202により検出された位置情報との差分に基づいて、被写体像の歪みを補正する。
好ましくは、歪み補正手段は、光学部材の目標位置情報と検出された位置情報との差分に基づいて被写体像の歪みを補正する第1の歪み補正手段(撮像面ブレ量変換部212、歪み量算出部215)を含む。また歪み補正手段は、振れ情報に基づいて被写体の歪みを補正する第2の歪み補正手段(撮像面ブレ量変換部211、歪み量算出部215)を含む。より好ましくは、外乱情報に基づいて第1の歪み補正手段または第2の歪み補正手段の一方を選択する選択手段(信号選択部213)を有する。歪み補正手段は、選択手段により選択された第1の歪み補正手段または第2の補正手段により被写体像の歪みを補正する。
好ましくは、外乱取得手段は、光学部材の目標位置情報と角速度センサ202により検出された位置情報との差分に基づいて外乱情報を取得する(図3:S302)。また好ましくは、外乱取得手段は、駆動制御手段(シフトレンズフィードバック制御部205)の出力および光学部材の位置情報(角度センサにより検出された位置)に基づいて、外乱情報としての外乱加速度を推定する(図6:S602)。また好ましくは、外乱取得手段は、加速度センサ701により外乱情報としての外乱加速度を取得する。
好ましくは、歪み補正手段207は、外乱情報に基づいて得られた外乱(シフトレンズ103の位置偏差または推定外乱加速度の絶対値α、β)が所定の外乱(所定値)よりも大きい場合、第1の歪み補正手段を用いて被写体の歪みを補正する。一方、外乱が所定の外乱以下である場合、第2の歪み補正手段を用いて被写体の歪みを補正する。
好ましくは、歪み補正手段801、901は、外乱情報に基づいて得られた外乱が所定の外乱よりも大きい場合、第1の歪み補正手段による第1の補正範囲を、第2の歪み補正手段による第2の補正範囲よりも大きく設定する。一方、外乱が所定の外乱以下である場合、第1の補正範囲を第2の補正範囲よりも小さく設定する。ここで、第1の補正範囲は、上下限設定部803、904に設定される補正可能範囲である。第2の補正範囲は、上下限設定部802、903に設定される補正可能範囲である。
好ましくは、撮像装置100は、振れ検出手段からの振れ情報に基づいて撮像装置100の状態を判定する状態判定手段(三脚判定部902)を有する。歪み補正手段901は、状態判定手段による判定結果に基づいて、第1の補正範囲および第2の補正範囲を変更する。より好ましくは、状態判定手段は、撮像装置100の状態として、撮像装置100の振れを判定する。そして歪み補正手段901は、撮像装置100の振れが所定の振れよりも小さい場合、第1の歪み補正手段を用いて被写体の歪みを補正する。一方、撮像装置100の振れが所定の振れ以上である場合、第2の歪み補正手段を用いて被写体の歪みを補正する。また好ましくは、歪み補正手段901は、撮像装置100の振れが所定の振れよりも小さい場合、第1の歪み補正手段による第1の補正範囲を、第2の歪み補正手段による第2の補正範囲よりも大きく設定する。一方、撮像装置100の振れが所定の振れ以上である場合、第1の補正範囲を第2の補正範囲よりも小さく設定する。
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
各実施形態によれば、外乱を受けた場合でも、ローリングシャッタ方式に起因する被写体像の歪みを低減可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば各実施形態は、デジタルカメラやデジタルビデオカメラだけでなく、携帯電話、監視カメラ、Webカメラなどの撮影装置にも適用可能である。