図1は、本実施形態の撮像装置の構成を示す図である。図1中に示す撮像装置は、主に静止画像と動画像の撮影を行うデジタルカメラである。もちろん、本発明は、図1に示すデジタルカメラに限定されず、レンズ交換型のカメラシステムにも適用することができる。デジタルカメラは、被写体像を形成する撮像光学系を有する。撮像光学系は、ズームレンズ、像振れ補正レンズ、絞り、フォーカスレンズなどを備える。
ズームユニット101は、光軸方向に移動されて焦点距離を変更するズームレンズを備える変倍手段である。ズーム駆動制御部102は、ズームユニット101の駆動を制御する。また、不図示のズーム位置検出手段がズームレンズの光軸上の位置(ズーム位置)を検出する。
像振れ補正レンズユニット103は、光軸に直交する方向に移動されて像ぶれを補正する像振れ補正レンズ(シフトレンズ)を備える。なお、「直交する方向」は光軸に直交する成分があれば足り、光軸に対して斜めに移動されてもよい。光学式像振れ補正制御部104は、像振れ補正レンズユニット103の移動を制御する。像振れ補正レンズユニット103は、光学式像振れ補正制御部104が制御する駆動量に従って、振れ検出部117によって検出される振れによる像振れを光学的に補正する光学式像振れ補正を行う。すなわち、カメラシステム制御部121および光学式像振れ補正制御部104は、振れ検出部117によって検出された振れによる像振れを光学的に補正する光学式像振れ補正を行う制御手段として機能する。
絞り・シャッタユニット105は、絞りとシャッタとが一体となったユニットである。絞りは、撮像部109に入射する光量を調節し、シャッタは開閉によって露出量を制御する。絞り・シャッタ駆動制御部106は、絞り・シャッタユニット105を駆動制御する。シャッタは、走査ラインごとに順次シャッタを切る(即ち、画素ライン毎に露光タイミングが異なる)ローリングシャッタ方式である。
フォーカスユニット107は、光軸方向に移動されて焦点調節を行うフォーカスレンズを含む。フォーカス駆動制御部108は、フォーカスユニット107を駆動制御する。
撮像部(撮像手段)109は、CMOSセンサなどの撮像光学系が形成する被写体像を電気信号に変換する撮像素子(光電変換手段)を含む。撮像信号処理部110は、撮像部109から出力された電気信号を映像信号に変換処理する。映像信号処理部(映像信号処理手段)111は、撮像信号処理部110から出力された映像信号を用途に応じて加工する。表示部112は、映像信号処理部111から出力された信号に基づいて、必要に応じて画像表示を行う。
電源部113は、システム全体に用途に応じて電源を供給する。外部入出力端子部114は、外部との間で通信信号および映像信号を入出力する。操作部115は、システムを操作するために用いられる処理部である。記憶部116は、映像情報など様々なデータを記憶する。振れ検出部117は、撮像装置の振れ(振れ量)を検出し、振れ成分のうちピッチ方向、ヨー方向、及びロール方向の振れを検出する。
電子式像振れ補正制御部(第2の補正量設定手段)118は、映像信号処理部111を制御して、振れ検出部117によって検出された振れによる像振れを電子的に補正する電子式像振れ補正の補正量(第2の補正量)を決定する。
ローリングシャッタ(RS)歪み補正制御部(第3の補正量設定手段)119は、映像信号処理部111を制御して、振れ検出部117によって検出された振れによるRS歪みを電子的に補正するRS歪み補正の補正量(第3の補正量)を決定する。RS歪みは、露光タイミングが画素ライン毎に異なることにより、撮影された画像に生じる歪みである。
ズーム像揺れ補正制御部120は、映像信号処理部111を制御して、ズーム位置毎に設定された画角になるように画像の出力位置を移動させて、ズーム動作中に画像が揺れるズーム像揺れを電子的に補正するズーム像揺れ補正を行う補正量を決定する。ズーム像揺れ補正制御部120は、ズーム像揺れ補正を行う第1の補正量を設定する第1の補正量設定手段として機能する。
電子式像振れ補正制御部118が設定する補正量、RS歪み補正制御部119が設定する補正量、ズーム像揺れ補正制御部120が設定する補正量は、いずれも撮像画像の周囲の所定幅の縁部(余白)として設定される。撮像画像の余白はこれらの電子補正に使用され、最終的に得られる撮像画像からは除かれるため、余白を大きく取るとその分、撮影画角が減少する。このため、余白には限界値(許容値)がある。例えば、電子式像振れ補正を行う場合、撮像画像に余白が設定され、電子式像振れ補正後の撮像画像は最初の撮像画像から余白が除去された画像となる。次に、RS歪み補正を行う場合、電子式像振れ補正後の撮像画像に別の余白が設定され、RS歪み補正後の撮像画像は電子式像振れ補正後の撮像画像から上記別の余白が除去された画像となる。各電子補正の補正量はそれぞれの補正で使用する余白に対応するため、各電子補正は他の電子補正に影響を与えず、独立に行われる。全ての電子補正が終了した後の撮影画像が所定の撮影画角を維持するようにするためには、全ての電子補正値の合計が限界値以下(許容値以下)でなければならない。このため、電子補正の補正量は、発生している歪が大きいものを大きくするほうが効果的である。
カメラシステム制御部121は、カメラシステム全体を制御する制御手段であり、マイクロコンピュータから構成される。本実施形態では、カメラシステム制御部121および撮像部109は、画素ライン毎の露光タイミングが異なる露光方式で画像を撮影する撮像手段として機能する。なお、光学式像振れ補正制御部104、電子式像振れ補正制御部118、RS歪み補正制御部119、ズーム像揺れ補正制御部120は、カメラシステム制御部121の一部であってもよいし、独立した部材であってもよい。
操作部115は、像振れ補正モードを選択可能にする像振れ補正スイッチを含む。像振れ補正スイッチにより像振れ補正モードが選択されると、カメラシステム制御部121が、光学式像振れ補正制御部104、電子式像振れ補正制御部118、及びRS歪み補正制御部119に像振れ補正動作を指示する。この指示を受けた光学式像振れ補正制御部104、電子式像振れ補正制御部118、RS歪み補正制御部119が、像振れ補正オフの指示がされるまで像振れ補正動作を行う。光学式像振れ補正および電子式像振れ補正の有効、無効の設定は、それぞれ個別に行うことができる。
操作部115は、静止画撮影モードと動画撮影モードとのうちから撮影モードを選択可能にする撮影モード選択スイッチを有する。撮影モード選択スイッチの操作によって撮影モードが選択されると、選択された撮影モードに応じて、ズームユニット101、光学式像振れ補正制御部104、絞り・シャッタユニット105、フォーカスユニット107の各アクチュエータの動作条件が変更される。
また、操作部115は、押し込み量に応じて第1スイッチ(SW1)および第2スイッチ(SW2)が順にONするように構成されたシャッタレリーズボタンを有する。シャッタレリーズボタンが約半分押し込まれたときに、スイッチSW1がONし、シャッタレリーズボタンが最後まで押し込まれたときに、スイッチSW2がONする。
スイッチSW1がONされると、フォーカス駆動制御部108が、フォーカスユニット107を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部106が、絞り・シャッタ105を駆動して適正な露光量に設定する。スイッチSW2がONされると、撮像部109に露光された光像から得られた画像データが記憶部116に記憶される。
操作部115は、動画記録スイッチを有する。動画記録スイッチが押下げられると、動画撮影が開始され、記録中に再度スイッチが押されると、記録が終了する。なお、動画撮影中にも、ユーザがシャッタレリーズボタンを押下することで、静止画撮影を行うことが可能である。操作部115は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチによって再生モードが選択された時には、カメラシステム制御部121は、像振れ補正、及びRS歪み補正を停止する。この時、像振れ補正レンズユニット103のアクチュエータへの通電を切っても良いし、アクチュエータへ通電して所定位置に固定するように制御してもよい。
操作部115は、フレームレート変更スイッチを有する。カメラシステム制御部121は、フレームレート変更スイッチの操作にしたがって、撮像部109の撮影フレームレートを、規定値より高い撮影フレームレートに設定したり、低い撮影フレームレートに設定したりする。
操作部115は、ズーム変倍の指示を行う変倍スイッチを有する。変倍スイッチによってズーム変倍の指示が入力されると、カメラシステム制御部121を介してこの指示を受けたズーム駆動制御部102が、ズームユニット101を駆動して、指示されたズーム位置にズームユニット101を移動させる。
操作部115の像振れ補正スイッチにより像振れ補正モードが選択され、ズーム駆動制御部102によりズームユニット101が駆動される場合は、カメラシステム制御部121が、ズーム像振れ補正制御部120にズーム像振れ補正動作を指示する。この指示を受けたズーム像振れ補正制御部120は、ズーム像振れ補正オフの指示がされるまでズーム像振れ補正動作を行う。
また、撮像部109から送られた各信号処理部(110、111)にて処理された画像情報に基づいて、フォーカス駆動制御部108が、フォーカスユニット107を駆動してピント調節を行う。本実施形態の制御方法は、図1に示す撮像装置が備える各処理部の機能によって実現される。
図2は、撮像装置が備える像振れ補正制御機構の構成の一例を示す図である。振れ検出部117は、振れ検出センサとして主にジャイロセンサを用いて角速度データを検出し、検出結果を電圧として出力する。振れ検出部117には、ピッチ方向振れ検出センサ201、ヨー方向振れ検出センサ202、ロール方向振れ検出センサ203が設けられている。
図3は、ピッチ方向、ヨー方向、ロール方向を説明する図である。
図3に示すように、光軸をZ軸、正位置での鉛直方向(上下方向)をY軸、Y,Z軸にそれぞれ直交する左右方向をX軸と設定する。すると、ピッチ方向はX軸回り(チルティング方向)、ヨー方向はY軸回り(パンニング方向)、ロール方向はZ軸回り(撮像面が光軸に垂直な面で回転する方向、即ち、光軸周り)となる。ピッチ方向は、撮像装置の垂直方向において水平面に対する傾動方向であり、ヨー方向は、撮像装置の水平方向において鉛直面に対する傾動方向であり、互いに直交する方向である。
ピッチ方向振れ検出センサ201は、ピッチ方向の撮像装置の振れに応じた振れ情報(角速度データ)を取得する。ヨー方向振れ検出センサ202は、ヨー方向の撮像装置の振れに応じた振れ情報(角速度データ)を取得する。ロール方向振れ検出センサ203は、光軸に垂直な面内での回転方向の撮像装置の振れに応じた振れ情報(角速度データ)を取得する。ピッチ方向振れ検出センサ201、ヨー方向振れ検出センサ202、ロール方向振れ検出センサ203の出力データは、フィルタ制御部209に入力される。
フィルタ制御部209はカメラシステム制御部121の一部として設けられる。フィルタ制御部209は、振れ検出部117のピッチ方向振れ検出センサ201、ヨー方向振れ検出センサ202、ロール方向振れ検出センサ203が出力データを、A/D変換部204を介して、アナログ信号からデジタル信号に変換する。ハイパスフィルタ(HPF)205は、DC成分をカットするカットオフ周波数の変更可能なデジタルフィルタである。ローパスフィルタ(LPF)206は、角速度信号を角度信号に変換する。また、HPF207は、HPF205とは独立にカットオフ周波数を設定可能なHPFである。HPF207の出力は、支持状態判定部208で支持状態を判定するために用いられる。
支持状態判定部208は、HPF207が出力した、DC成分がカットされた角速度信号に基づいて、撮像装置の支持状態を判定する。具体的には、支持状態判定部208は、撮像装置に加わっている振幅量を測定し、測定された振幅量をもとに支持状態を判定する。この例では、支持状態判定部208は、振幅量に基づいて支持状態の判定を行うが、振幅量の代わりに撮像装置に加わっている周波数から判定を行ってもよいし、振幅量と周波数の両方から判定を行ってもよい。
支持状態判定部208が判定して出力する支持状態、LPF206から出力される角度信号は、光学式像振れ補正制御部104、電子式像振れ補正制御部118、RS歪み補正制御部119に入力される。また、支持状態判定部208が判定して出力する支持状態は、ズーム像揺れ補正制御部120にも入力される。
図4は、支持状態の判定の一例を説明する図である。
この例では、支持状態判定部208は、撮像装置が固定支持状態(この例では、三脚固定状態)であるか否かを判定する。三脚固定状態は、撮像装置が三脚に据え付けられている状態である。支持状態判定部208は、振れ検出部117の出力である振れ量401が、三脚判定閾値402未満になった時刻t1からt2までの判定期間403の期間中、三脚判定閾値402未満である場合、三脚固定状態であると判定する。支持状態判定部208は、判定期間403の期間中、振れ量401が三脚判定閾値402未満でなくなった場合、三脚固定状態でないと判定する。なお、振れ量401が三脚判定閾値402未満になった時刻がない場合も、支持状態判定部208は、三脚固定状態でないと判定する。もちろん、撮像装置が台に置かれた場合など固定支持は三脚固定には限定されない。
光学式像振れ補正制御部104は、揺れ検出部117が備えるセンサのうち、ピッチ方向振れ検出センサ201、ヨー方向振れ検出センサ202の出力データに対して制御を行い、目標位置制御変更部210と目標位置設定部211を有する。
目標位置設定部211は、LPF206から入力された角度信号に基づいて、ズームレンズのポジションなどのパラメータを用いて、像振れ補正レンズユニット103の駆動制御を行うための補正量を演算し、設定する。支持状態判定部208が出力する支持状態が三脚固定状態である場合には、目標位置制御変更部210は、補正レンズの目標位置の制御方法を変更し、目標位置設定部211を制御して目標位置を設定させる。
電子式像振れ補正制御部118においても、光学式像振れ補正制御部104における処理と同様の処理が行われる。電子式像振れ補正制御部118では、揺れ検出部117が備えるセンサのうち、ピッチ方向振れ検出センサ201、ヨー方向振れ検出センサ202に加え、ロール方向振れ検出センサ203の出力データに対して制御を行う。電子式像振れ補正制御部118は、補正限界設定部212と補正量算出部213を有する。
補正量算出部213は、LPF206から入力された角度信号に基づいて、ズームレンズのポジションなどのパラメータを用いて、映像信号処理部111の制御を行うための補正量を演算し、設定する。支持状態判定部208が出力する支持状態が三脚固定状態である場合には、補正限界設定部212は、補正限界値を設定し、補正量算出部213を制御して補正量を算出、設定させる。
RS歪み補正制御部119においても、光学式像振れ補正制御部104、電子式像振れ補正制御部118における処理と同様の処理が行われる。RS歪み補正制御部119では、揺れ検出部117が備えるセンサのうち、ピッチ方向振れ検出センサ201、ヨー方向振れ検出センサ202、ロール方向振れ検出センサ203の出力データに対して制御を行う。RS歪み補正制御部119は、補正限界設定部214と補正量算出部215を有する。
補正量算出部215は、LPF206が出力した角度信号に基づいて、ズームレンズのポジションなどのパラメータを用いて、映像信号処理部111の制御を行うための補正量を演算し、設定する。支持状態判定部208が出力する支持状態が三脚固定状態である場合には、補正限界設定部214は、補正限界値を設定し、補正量算出部215を制御して補正量を算出、設定させる。
ズーム像揺れ補正制御部120は、ズーム駆動制御部102によるズームレンズの駆動やズーム位置に応じて制御を行い、補正限界設定部216と補正量算出部217を有する。補正量算出部217は、カメラシステム制御部121内のズーム像揺れ補正量指定部219から指定される、ズームレンズのポジションに応じたズーム像揺れを補正するための補正量を用いて、映像信号処理部111の制御を行うための補正量を演算し設定する。
例えば、白と黒の水平方向および垂直方向の境界線がある任意のチャートを撮影し、撮影データの水平および垂直の境界線の位置からピッチおよびヨー方向の移動位置を検出する。この移動位置を補正するような補正量を決定することにより、補正量が求められる。また、この補正量を工場出荷時に所定の焦点距離において求めておき、記憶部116に記憶して撮像装置の起動時に読みだすようにする。
ズーム駆動判定部218がズーム駆動中と判定するか、または支持状態判定部208が出力する支持状態が三脚固定状態である場合、補正限界設定部216は、補正限界値を設定し、補正量算出部217を制御して補正量を算出、設定させる。
図2に示す例では、振れ検出部117が出力したデータをフィルタ演算部209がまとめてフィルタ演算し、角度データに変換して揺れ量を生成している。他の構成例として、光学式像振れ補正制御部104、電子式像振れ補正制御部118、RS歪み補正制御部119において、それぞれフィルタ演算を行うようにしても良い。
図5(a)は、電子式像振れ補正処理を説明する図である。
電子式像振れ補正制御部118には振れ検出部117のデータが入力され、画像フレーム間の振れを打ち消すように映像信号処理部111で補正を行うための補正量を演算する。映像信号処理部111は、入力される撮影画像501に対し、補正量を元に並進・回転などの処理を行った処理画像502から出力画像503を切り出す。この切り出し処理を動画の毎フレームについて行うことで、画像フレーム間の振れを補正する。
電子式像振れ補正制御部118は、手振れ量により画角が変化することを防ぐため、最大の補正可能範囲を定める。撮影画像501のうち、出力画像503として切り出す領域の周辺の画素は、余分画素として補正に利用される。電子式像振れ補正制御部118は、手振れ量にかかわらず、常に出力画像503の切り出し処理を行うので、電子式像振れ補正の制御を行わない時の出力画角と比べて、画角が狭くなる。余分画素の範囲内で、補正の限界量が定まる。
図5(b)は、RS歪みについて説明する図である。撮影画像511の中で、撮像装置が静止している場合の被写体を512とすると、撮像装置が右側に振れた場合の被写体は513のように歪み(RS歪み)である。RS歪みは、撮影フレームレートが低速なほどその歪みが目立ち、高速なほど目立たなくなる。RS歪み補正も、撮影画像から出力画像を切り出し、切り出す領域の周辺を余分画素として利用する。余分画素によって補正の限界量が定まる。
図5(c)は、ズーム像揺れ補正について説明する図である。映像信号処理部111は、入力される撮影画像521に、補正量を元に並進処理を行い処理画像522を生成する。ズーム像揺れ補正制御部120は、処理画像522から出力画像523を切り出す処理を行うための補正量を決定する。この切り出し処理を動画の毎フレームについて行うことで、画像フレーム間のズーム像揺れを補正する。ズーム像振れ補正も、撮影画像521のうち出力画像523として切り出す領域の周辺を余分画素として利用して補正を行う。余分画素の範囲内で、補正の限界量が定まる。
電子式像振れ補正とRS歪み補正とズーム像揺れ補正は、同じ余分画素の範囲内で、補正量を振り分ける。例えば、電子式像振れ補正に多くの補正の限界量を割り当てると、その分RS歪み補正とズーム像揺れ補正に割り当て可能な補正の限界量は減ることになる。
以下、実施例1〜4の撮像装置による電子補正方法の例を説明する。各実施例の電子補正では、カメラシステム制御部121が補正量を切り替えているが、本発明はこれらの実施例に限定されず、図2に示すように、電子式像振れ補正制御部118、RS歪補正制御部119、ズーム像揺れ補正制御部120が補正量を切り替えてもよい。例えば、補正限界設定部212と214が、ズーム位置に対応する電子式像振れ補正とRS歪み補正の補正限界の初期値を設定したり、支持状態判定部208の出力に基づいて補正限界値を設定したりしてもよい。
図6は、実施例1の撮像装置による電子補正方法の例を説明するフローチャートである。「S」はステップを表し、これは他の実施例のフローチャートにも当てはまる。また、図6に示すフローチャートはコンピュータに各ステップを実行させるためのプログラムとして具現化が可能であるが、これは他の実施例のフローチャートにも当てはまる。本実施例における電子補正は、電子式像振れ補正、RS歪み補正、及びズーム像揺れ補正を含む。また、本実施例における電子補正では、カメラシステム制御部121が電子補正の設定、及びズーム駆動制御部102のズーム駆動状態に応じて、処理を切り替える。
まず、カメラシステム制御部121は、電子補正の設定が有効であるかを判断する(S100)。具体的には、カメラシステム制御部121は、操作部115に含まれる電子補正スイッチの操作内容に応じて、電子補正の設定が有効であるかを判断する。電子補正の設定が有効である場合は(S100のyes)、処理がS101に進む。電子補正の設定が無効である場合は(S100のno)、電子補正を実施しないので処理が終了する。
S101において、カメラシステム制御部121は、現在のズーム位置、具体的には、ズーム駆動制御部102によって駆動されたズームユニット101の位置を不図示のズーム位置検出手段から取得する。取得したズーム位置は、カメラシステム制御部121が記憶部116に一時記憶をしておき、後で参照できるようにしておく。
次に、カメラシステム制御部121は、S101で取得したズーム位置に対応する電子式像振れ補正制御部118とRS補正制御部119の補正限界の初期値を設定する(S102)。なお、この補正限界の値は、撮像装置のズーム位置に応じて変化する。
次に、カメラシステム制御部121は、映像信号処理部111に指示することによって、出力画角を電子補正の設定が有効である場合の出力画角へ切り換える(S103)。これにより、電子補正の設定が無効である場合の出力画角に比べて、出力画角が狭くなる。
次に、カメラシステム制御部121が、電子式像振れ補正制御部118とRS補正制御部119に、電子補正の制御の開始を指示する(S104)。
次に、カメラシステム制御部121が、ズーム駆動判定部218が出力するズーム駆動状態に基づいて、撮像装置がズーム駆動状態であるかを判定する(S105)。撮像装置がズーム駆動状態である場合は(S105のyes)、処理がS106に進む。ズーム駆動状態ではない場合は(S105のno)、処理がS115に進む。
S106において、カメラシステム制御部121は、現在のズーム位置を不図示のズーム位置検出手段から取得する。また、取得したズーム位置は、カメラシステム制御部121が記憶部116に一時記憶をしておき、後で参照できるようにしておく。
次に、カメラシステム制御部121は、S106で取得したズーム位置に応じて電子式像振れ補正制御部118とRS歪み補正制御部119の補正限界の初期値を変更する(S107)。
次に、カメラシステム制御部121は、ズーム駆動に伴うズーム像揺れ補正を行うための補正量を確保するために、電子式像振れ補正制御部118に対して、S107で設定した補正限界よりも縮小された値を設定する(S108)。縮小する対象は電子式像振れ補正のうちロール方向の補正限界を縮小するようにする。これは、ズーム操作を行う場合は移動しながらではなく止まっての撮影が多いため、ピッチ方向、ヨー方向に比べ、ロール方向の揺れが発生しにくいためである。もちろん、ピッチ方向、ヨー方向、ロール方向の全ての補正限界を少しずつ縮小するようにしてもよい。
次に、カメラシステム制御部121は、S108で電子式像揺れ補正の補正限界を縮小して確保した余分画素を用いて、ズーム像揺れ補正制御部120の補正限界を設定する(S109)。設定されるズーム像揺れ補正120の補正限界は、ズーム像揺れ補正量指定部219により指定される補正量を超えないように設定する。ズーム像揺れ補正量指定部219は、各ズーム位置におけるズーム像揺れを補正するための補正量を指定するため、ズーム像揺れ補正制御部120にこの補正量以上の値を設定すると、過補正となる恐れがある。このため、S109では、S108で確保した余分画素の範囲内かつズーム像揺れ補正量指定部219の補正量以下で、ズーム像揺れ補正制御部120の補正限界が設定される。
次のS110において、カメラシステム制御部121は、ズーム像揺れ補正制御部120のズーム像揺れ補正が有効であるかを判定する。ズーム像揺れ補正が有効である場合は(S110のyes)、処理はS112に進み、ズーム像揺れ補正が無効である場合は(S110のno)、処理はS111に進む。
S111では、カメラシステム制御部121は、ズーム像揺れ補正制御部120にズーム像揺れ補正の有効化を指示し、補正を開始する。これにより、電子式像振れ補正、RS歪み補正に加えて、ズーム像揺れ補正が動作する。
次に、カメラシステム制御部121は、再度、ズーム駆動判定部218が出力するズーム駆動状態に基づいて、撮像装置がズーム駆動状態であるかを判定する(S112)。撮像装置がズーム駆動状態である場合は(S112のyes)、S106に戻り処理を繰り返し、ズーム駆動状態ではない場合は(S112のno)、S113に進む。
S113では、カメラシステム制御部121は、ズーム像揺れ補正制御部120によるズーム像振れ補正を無効にする。カメラシステム制御部121は、ズーム像揺れ補正を無効にする際に、出力の急な変動を避けるため、所定の出力時間を設けて徐々に出力を変更する。
次に、カメラシステム制御部121が、電子式像揺れ補正制御部118に対して、補正限界の値を初期値に再設定する(S114)。再設定される値は、S107で設定した値と同じである。撮像装置のズーム駆動状態が解除されたので、カメラシステム制御部121は、ズーム像揺れ補正を無効化するとともに、電子式像揺れ補正の補正限界を初期値に戻す。これにより、電子式像振れ補正、及びRS歪み補正の両方が動作する。
次に、カメラシステム制御部121は、電子補正の設定が無効になったかを判断する(S115)。電子補正の設定が無効になった場合は(S115のyes)、処理がS116に進む。電子補正の設定が有効のままである場合は(S115のno)、S105に戻る。
S116において、カメラシステム制御部121が、電子式像振れ補正制御部118、及びRS歪み補正制御部119に指示して、電子補正の制御を終了させる。
続いて、カメラシステム制御部121が、映像信号処理部111に指示することによって、出力画角を電子補正の設定が無効である場合の出力画角へ切り換える(S117)。これにより、電子補正の設定が有効である場合の出力画角に比べて、出力画角が広くなる。これで、電子補正の処理を終了する。
このように、実施例1の撮像装置は、電子補正の設定が有効、かつズーム駆動状態である場合には、電子式像揺れ補正の補正限界を縮小することでズーム像揺れ補正を行う。電子式像揺れ補正の一部の補正限界を縮小することで、電子式像揺れ補正とズーム像揺れ補正を両立させて補正を行うことができる。また、ズーム操作を行いながらでは発生しにくいロール方向の揺れに対する補正限界を縮小することで、電子式像揺れ補正の補正限界を縮小する影響を抑えることができる。
図7は、実施例2の撮像装置による電子補正方法の例を説明するフローチャートである。本実施例における電子補正とは、電子式像振れ補正、RS歪み補正、及びズーム像揺れ補正を含む。また、本実施例における電子補正は、カメラシステム制御部121が電子補正の設定、撮像装置の支持状態、及びズーム駆動制御部102のズーム駆動状態に応じて、処理を切り替える。
S200からS204は、図6のS100からS104と同様である。また、S218からS220は、図6のS115からS117と同様である。以下では、実施例1と異なる部分のみ説明する。
S204の後で、カメラシステム制御部121は、支持状態判定部208が出力する支持状態に基づいて、撮像装置が固定支持状態であるかを判定する(S205)。撮像装置が固定支持状態である場合は(S205のyes)、処理がS206に進む。固定支持状態ではない場合は(S205のno)、処理がS218に進む。
S206において、カメラシステム制御部121は、電子式像振れ補正制御部118による補正限界値に0を設定して、電子式像振れ補正を無効化する(第2の補正値はゼロになる)。その際、カメラシステム制御部121は、出力の急な変動を避けるため、所定の出力時間を設けて徐々に出力を変更する。
次に、カメラシステム制御部121は、RS歪み補正制御部119に対して、補正限界の初期値よりも拡大された値を設定する(S207)。これにより、RS歪み補正の可動範囲が拡大される。撮像装置が固定支持状態であるため、電子式像振れ補正の補正限界を0にして無効化し(S206)、RS歪み補正のみが動作する。余分画素は変わらなくても、RS歪み補正により多くの補正量を割り当てることができる。
次に、カメラシステム制御部121は、ズーム駆動判定部218が出力するズーム駆動状態に基づいて、撮像装置がズーム駆動状態であるかを判定する(S208)。撮像装置がズーム駆動状態である場合は(S208のyes)、処理はS209に進む。ズーム駆動状態ではない場合は(S208のno)、処理はS218に進む。
S209では、カメラシステム制御部121は、現在のズーム位置を不図示のズーム位置検出手段から取得する。また、取得したズーム位置は、カメラシステム制御部121が記憶部116に一時記憶をしておき、後で参照できるようにしておく。
次に、カメラシステム制御部121が、S209で取得したズーム位置に応じて電子式像振れ補正制御部118、RS歪み補正制御部119の補正限界の初期値を変更する(S210)。
次に、ズーム駆動に伴うズーム像揺れ補正を行うためにズーム像揺れ補正制御部120の補正限界を設定する(S211)。ここで設定されるズーム像揺れ補正120の補正限界は、ズーム像揺れ補正量指定部219により指定される補正量、つまりズーム像揺れ補正量の最大値を設定する。これは、撮像装置が固定支持状態の場合は、固定支持状態でない場合に比べて他の像揺れの影響が少なく、ズーム像揺れが目立ちやすくなるためである。
次に、カメラシステム制御部121は、S211で設定されたズーム像揺れ補正の補正限界の残りの余分画素をRS歪み補正制御部119に対して割り当て、RS歪み補正の補正限界の値を再設定する(S212)。ここで再設定される値は、S207で設定した補正限界の値よりも小さくなる。これにより、ズーム像揺れ補正には最大限の補正量が割り当てられ、RS歪み補正にはその残りの補正量が割り当てられることになる。
次に、カメラシステム制御部121は、ズーム像揺れ補正制御部120のズーム像揺れ補正が有効であるかを判定する(S213)。ズーム像揺れ補正が有効である場合は(S213のyes)S215に進み、ズーム像揺れ補正が無効である場合は(S213のno)S214に進む。
S214では、カメラシステム制御部121は、ズーム像揺れ補正制御部120にズーム像揺れ補正の有効化を指示し、補正を開始する。これにより、RS歪み補正に加えて、ズーム像揺れ補正が動作する。
次に、カメラシステム制御部121は、再度、ズーム駆動判定部218が出力するズーム駆動状態に基づいて、撮像装置がズーム駆動状態であるかを判定する(S215)。撮像装置がズーム駆動状態である場合は(S215のyes)、S209に戻り処理を繰り返し、ズーム駆動状態ではない場合は(S215のno)、S216に進む。
S216では、カメラシステム制御部121は、ズーム像揺れ補正制御部120によるズーム像振れ補正を無効にする。カメラシステム制御部121は、ズーム像揺れ補正を無効にする際に、出力の急な変動を避けるため、所定の出力時間を設けて徐々に出力を変更する。
次に、カメラシステム制御部121は、電子式像振れ補正制御部118、RS歪み補正制御部119に対して、補正限界の値を再設定する(S217)。ここで再設定される値は、S210で変更された補正限界の初期値を設定する。S206で電子式像振れ補正を無効にした時と同様に、電子式像振れ補正を有効にする際には、出力の急な変動を避けるため、カメラシステム制御部121は、所定の出力時間を設けて徐々に出力を変更する。
撮像装置の固定支持状態が解除されたので、カメラシステム制御部121は、RS歪み補正の補正限界を初期値に戻すとともに電子式の像振れ補正を有効化する。これにより、電子式像振れ補正、及びRS歪み補正の両方が動作する。
このように、実施例2の撮像装置は、電子補正の設定が有効で、撮像装置が固定支持状態かつズーム駆動状態である場合には、電子式像揺れ補正を無効化し、ズーム像揺れ補正を最大限に補正できるようにする。ズーム像揺れ補正の残りの余分画素をRS歪み補正に割り当てることで、ズーム像揺れ補正とRS歪み補正を両立させて補正を行う。これにより、撮像装置が固定支持状態において特に目立つズーム像揺れを補正しながら、RS歪みも低減することができる。
図8は、実施例3の撮像装置による電子補正方法の例を説明するフローチャートである。本実施例における電子補正は、電子式像振れ補正、ローリングシャッタ歪み補正、及びズーム像揺れ補正を含む。また、本実施例における電子補正は、カメラシステム制御部121が電子補正の設定、ズーム駆動制御部102のズーム駆動状態、撮像装置の支持状態に応じて、処理を切り替える。
S300からS311は、図6のS100からS111と同様である。また、S319からS321は、図6のS115からS117と同様である。以下では、実施例1と異なる部分のみ説明する。
まずS312において、カメラシステム制御部121が、支持状態判定部208が出力する支持状態に基づいて、撮像装置が固定支持状態であるかを判定する。撮像装置が固定支持状態である場合は(S312のyes)、処理がS313に進む。固定支持状態ではない場合は(S312のno)、処理がS316に進む。
S313において、カメラシステム制御部121が、電子式像振れ補正制御部118による補正限界に0を設定して、電子式像振れ補正を無効化する。カメラシステム制御部121は、電子式像振れ補正を無効にする際に、出力の急な変動を避けるため、所定の出力時間を設けて徐々に出力を変更する。
次に、ズーム駆動に伴うズーム像揺れ補正を行うためにズーム像揺れ補正制御部120の補正限界を設定する(S314)。ここで設定されるズーム像揺れ補正120の補正限界は、ズーム像揺れ補正量指定部219により指定される補正量、つまりズーム像揺れ補正量の最大値を設定する。これは、撮像装置が固定支持状態の場合は、固定支持状態でない場合に比べて他の像揺れの影響が少なく、ズーム像揺れが目立ちやすくなるためである。ここで再設定される値は、S303で設定した補正限界の値よりも大きくなる。
次にカメラシステム制御部121は、S314で設定されたズーム像揺れ補正の補正限界の残りの余分画素をRS歪み補正制御部119に対して割り当て、RS歪み補正の補正限界の値を再設定する(S315)。これにより、ズーム像揺れ補正には最大限の補正量が割り当てられ、RS歪み補正にはその残りの補正量が割り当てられることになる。
次に、カメラシステム制御部121は、再度、ズーム駆動判定部218が出力するズーム駆動状態に基づいて、撮像装置がズーム駆動状態であるかを判定する(S316)。撮像装置がズーム駆動状態である場合は(S316のyes)、S306に戻り処理を繰り返し、ズーム駆動状態ではない場合は(S316のno)、S317に進む。
S317では、カメラシステム制御部121は、ズーム像揺れ補正制御部120によるズーム像振れ補正を無効にする。カメラシステム制御部121は、ズーム像揺れ補正を無効にする際に、出力の急な変動を避けるため、所定の出力時間を設けて徐々に出力を変更する。
次に、カメラシステム制御部121が、電子式像振れ補正制御部118、RS歪み補正制御部119に対して、補正限界の値を再設定する(S318)。ここで再設定される値は、S307で変更された補正限界の初期値を設定する。
このように、実施例3の撮像装置は、電子補正の設定が有効で、撮像装置がズーム駆動状態かつ固定支持状態である場合には、電子式像揺れ補正を無効化し、ズーム像揺れ補正を最大限に補正できるようにする。実施例2は、撮像装置が固定支持状態に入ると電子式像揺れ補正の補正限界を0にして無効化にする。これに対して、実施例3は、撮像装置がズーム駆動状態に入ると一旦電子式像揺れ補正の補正限界を縮小し、さらに固定状態に入ると補正限界を0にして無効化にする。
一方、ズーム像揺れ補正は、ズーム駆動状態になると補正を開始し、さらに撮像装置が固定支持状態に入るとズーム像揺れ補正の補正限界に最大値が設定される。これにより、撮像装置の状態に応じて電子補正の種類と可動範囲を変更し、ズーム像揺れを含む電子補正の効果を高めることができる。
図9は、実施例4の撮像装置による電子補正方法の例を説明するフローチャートである。本実施例における電子補正は、電子式像振れ補正、及びRS歪み補正に加え、被写体追尾用の制御を含む。また、本実施例における電子補正は、カメラシステム制御部121が電子補正の設定、追尾制御用のモード設定に応じて、処理を切り替える。
実施例4の撮像装置は、不図示の被写体情報検出部と被写体追尾制御部を更に有する。実施例4の撮像装置は、電子式像揺れ補正制御部118、RS歪み補正制御部119、ズーム像揺れ補正制御部120と同様に、映像信号処理部111を制御して、被写体検出部によって検出された被写体を電子的に追尾する。被写体情報検出部による被写体情報は、顔検出や人体検出など公知の被写体検出手段を用いて映像信号において被写体を検出を行う。
S400からS404は、図6のS100からS104と同様である。また、S413からS415は、図6のS111からS113と同様である。以下では、実施例1と異なる部分のみ説明する。
まずS405において、カメラシステム制御部121は、撮像装置が被写体を追尾するモード設定が有効であるかを判定する(S405)。具体的には、カメラシステム制御部121は、操作部115に含まれるモード設定スイッチの操作内容に応じて、追尾モードの設定が有効であるかを判断する。撮像装置が追尾モード設定である場合は(S405のyes)、処理がS406に進む。追尾モード設定ではない場合は(S405のno)、処理がS413に進む。
S406において、カメラシステム制御部121は、S401で取得したズーム位置に対応する被写体追尾制御部の追尾用制御限界の初期値を設定する。この制御限界の値は、追尾制御の設定が有効である場合の出力画角によって定まる。追尾制御が有効時の出力画角と、その他の出力画角の差で生まれる余分画素によって、追尾用制御限界の値が定まる。また、追尾用制御限界値は、撮像装置のズーム位置に応じて変化する。
次に、カメラシステム制御部121は、映像信号処理部111に指示することによって、出力画角を追尾制御の設定が有効である場合の出力画角へ切り換える(S407)。本実施例では、電子補正の設定が有効である場合の出力画角に比べて、追尾制御の設定が有効である場合の出力画角をさらに狭くしている。これにより、各電子補正の補正限界を維持したまま、追尾制御を行うための追尾用の制御限界を確保することができる。
次に、カメラシステム制御部121は、被写体追尾制御部の被写体追尾制御が有効であるかを判定する(S408)。被写体追尾制御が有効である場合は(S408のyes)、処理はS410に進み、被写体追尾制御が無効である場合は(S408のno)、処理はS409に進む。
S409では、カメラシステム制御部121は、被写体追尾制御部に被写体追尾制御の有効化を指示し、追尾制御を開始する。これにより、電子補正に加えて、被写体追尾制御が動作する。
S410では、カメラシステム制御部121は、撮像装置が被写体を追尾するモード設定が解除されたかを判定する。被写体追尾制御が解除された場合は、処理はS411に進み、引き続き被写体追尾制御を行う場合はS410に戻り処理を繰り返す。
S411では、カメラシステム制御部121は、被写体追尾制御部に被写体追尾制御の無効化を指示し、制御を終了する。次に、カメラシステム制御部121は、映像信号処理部111に指示することによって、出力画角を電子制御の設定が有効である場合の出力画角へ切り換える(S412)。
このように、実施例4の撮像装置は、電子補正の設定が有効、かつ追尾モード制御が有効である場合には、追尾制御用の出力画角を電子補正の出力画角よりも狭くすることによって、電子補正と追尾制御を両立させる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した電子補正方法を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、および該プログラムを記憶した非一時的コンピュータ可読記憶媒体は本発明を構成することになる。