JP6289070B2

JP6289070B2 - 撮像装置およびその制御方法

Info

Publication number: JP6289070B2
Application number: JP2013259933A
Authority: JP
Inventors: 俊一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-12-17
Filing date: 2013-12-17
Publication date: 2018-03-07
Anticipated expiration: 2033-12-17
Also published as: JP2015118147A

Description

本発明は、撮像装置およびその制御方法に関する。

撮像装置の振れを検出し、この振れに起因する像振れを補正するように、補正手段（例えば撮像レンズ）を駆動する像振れ補正機能を有する撮像装置が提案されている。この像振れ補正機能を、光学式像振れ補正または光学防振という。また、撮影画像の一部を切り出して出力することを通じて、動画撮影時の撮影画像の振れを補正する像振れ補正機能が提案されている。このような方式の像振れ補正機能を、電子式像振れ補正または電子防振という。

像振れ補正機能を持つ撮像装置において、一般に、手振れによる振動あるいはそれに類似する周波数分布を持った振れを良好に補正すべく、振れ検知センサや像振れ補正光学系の選択、及び上記センサや駆動機構の応答周波数帯域の設定がなされている。従って、このような像振れ補正機能を持つ撮像装置を三脚等に据え付けられて使用する場合には、振れ検知センサから出力される低周波のドリフト信号（揺らぎ）により、像振れ補正機能は撮像装置の振れとは関係のない像振れ補正を行う。したがって、撮像素子上の像振れが助長されてしまう。

特許文献１は、振れ検知センサの出力が微小である場合に、カメラが三脚等に据え付けられていると判定して、像振れ補正を行わないようにする像振れ補正装置を開示している。

また、画像を撮像する際の露光方式には、グローバルシャッタ方式とローリングシャッタ方式とがある。ＣＣＤセンサを備える撮像装置に代表されるグローバルシャッタ方式の撮像装置では、１つのフレーム画像において画素間の露光時間および露光開始時刻はほぼ同一である。一方で、ＣＭＯＳセンサを備える撮像装置では、露光方式がローリングシャッタ方式である。

ローリングシャッタ方式は、画素ライン毎に露光タイミングが異なる露光方式である。この撮像装置では、ライン毎の露光タイミングおよび読み出し時間のずれに起因する画像歪み（以下、「ローリングシャッタ歪み」という）が発生する。撮像装置の振れがライン毎の読み取りに影響を及ぼし、ローリングシャッタ歪みが発生する。撮像装置が三脚等に据え付けられていたとしても、風などの外乱により撮像装置に振動が加わると、ローリングシャッタ歪みが発生する。特許文献２は、水平方向の振れに対してライン毎に読み出し位置を変更し、垂直方向の振れに対して読み出すラインの位置を垂直方向に変更する画像入力装置を開示している。

特開平１１−３８４６１号公報特開２００１−３５８９９９号公報

電子式像振れ補正、ローリングシャッタ歪みの補正は、ともに、撮影画像のうち出力画像として切り出す領域の周辺を余分画素として利用して補正を行う。この余分画素によって補正の限界量が定まるが、余分画素を多く取るほど出力画像の画角が狭くなるため、実用上、適用可能な補正の限界量には限界がある。

さらに、電子式像振れ補正とローリングシャッタ歪み補正とは、同じ余分画素の範囲内で、補正量を振り分ける必要がある。例えば、電子式像振れ補正に多くの補正の限界量を割り当てると、その分ローリングシャッタ歪み補正に割り当て可能な補正の限界量は減ることになる。

本発明は、電子式像振れ補正とローリングシャッタ歪み補正とを併用する撮像装置であって、装置の支持状態に応じて、ローリングシャッタ歪み補正の効果を高める撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、電子的に像振れを補正する撮像装置であって、画素ライン毎に露光タイミングが異なる露光方式で画像を撮影する撮像手段と、前記撮像手段による撮影フレームレートを設定する設定手段と、振れ検出手段から出力された振れ信号を取得して、電子的に像振れを補正する第１の補正手段と、前記振れ信号を取得して、前記露光タイミングが画素ライン毎に異なることにより撮影された画像に生じる歪みを補正する第２の補正手段と、前記振れ信号を取得して、前記撮像装置の支持状態を判定する判定手段と、前記判定手段が、前記撮像装置が固定支持された状態にあると判定した場合に、前記第２の補正手段による補正の可動範囲を拡大する制御手段とを備え、前記制御手段は、前記設定手段によって規定値よりも高いフレームレートが設定された場合は、前記第１の補正手段による補正の可動範囲を拡大する。

本発明の撮像装置によれば、装置の支持状態に応じて、ローリングシャッタ歪みの補正の限界量を拡大することにより、ローリングシャッタ歪み補正の効果をより高めることができる。

本実施形態の撮像装置の構成を示す図である。像振れ補正制御機構の構成の一例を示す図である。Ｐｉｔｃｈ方向、Ｙａｗ方向、Ｒｏｌｌ方向を説明する図である。支持状態の判定の一例を説明する図である。電子式像振れ補正処理を説明する図である。ローリングシャッタ歪みについて説明する図である。電子補正の例を説明するフローチャートである。像振れ補正制御機構の構成の一例を示す図である。電子補正の例を説明するフローチャートである。電子補正の例を説明するフローチャートである。

（実施例１）
図１は、本実施形態の撮像装置の構成を示す図である。図１中に示す撮像装置は、主に静止画像と動画像の撮影を行うデジタルカメラである。もちろん、本発明の適用範囲は、図１に示すデジタルカメラに限定されず、本発明を任意の撮像装置に適用することができる。

ズームユニット１０１は、変倍を行うズームレンズを備える。ズーム駆動制御部１０２は、ズームユニット１０１を駆動制御する。像振れ補正レンズユニット１０３は、光軸に対して垂直な平面内の位置を変更することが可能な像振れ補正レンズ（シフトレンズ）を備える。光学式像振れ補正制御部１０４は、像振れ補正レンズユニット１０３の移動を制御する。像振れ補正レンズユニット１０３は、光学式像振れ補正制御部１０４が制御する駆動量にしたがって、振れ検出部１１７によって検出される振れによる像振れを光学的に補正する光学式像振れ補正を行う。すなわち、カメラシステム制御部１２０および光学式像振れ補正制御部１０４は、振れ検出部１１７によって検出された振れによる像振れを光学的に補正する光学式像振れ補正を行う制御手段として機能する。

絞り・シャッタユニット１０５は、絞りとシャッタとが一体となったユニットである。絞り・シャッタ駆動制御部１０６は、絞り・シャッタユニット１０５を駆動制御する。フォーカスユニット１０７は、ピント調節を行うフォーカスレンズを含む。フォーカス駆動制御部１０８は、フォーカスユニット１０７を駆動制御する。

撮像部１０９は、各レンズ群を通ってきた光像を電気信号に変換する。撮像信号処理部１１０は、撮像部１０９から出力された電気信号を映像信号に変換処理する。映像信号処理部１１１は、撮像信号処理部１１０から出力された映像信号を用途に応じて加工する。表示部１１２は、映像信号処理部１１１から出力された信号に基づいて、必要に応じて画像表示を行う。

電源部１１３は、システム全体に用途に応じて電源を供給する。外部入出力端子部１１４は、外部との間で通信信号及び映像信号を入出力する。操作部１１５は、システムを操作するために用いられる処理部である。記憶部１１６は、映像情報など様々なデータを記憶する。振れ検出部１１７は、撮像装置の振れ（振れ量）を検出し、振れ成分のうちピッチ方向、ヨー方向、及びロール方向の振れを検出する。

電子式像振れ補正制御部１１８は、映像信号処理部１１１を制御して、振れ検出部１１７によって検出された振れによる像振れを電子的に補正する電子式像振れ補正を行う。すなわち、電子式像振れ補正制御部１１８は、検出された振れを示す振れ信号に基づいて、電子的に像振れを補正する第１の補正手段として機能する。ローリングシャッタ歪み補正制御部１１９（以下、「ＲＳ歪み補正制御部」）は、同じく映像信号処理部１１１を制御して、振れ検出部１１７によって検出された振れによるローリングシャッタ歪みを電子的に補正するローリングシャッタ歪み補正を行う。ローリングシャッタ歪みは、露光タイミングが画素ライン毎に異なることにより、撮影された画像に生じる歪みである。すなわち、ＲＳ歪み補正制御部１１９は、検出された振れを示す振れ信号に基づいて、露光タイミングが画素ライン毎に異なることにより撮影された画像に生じる歪みを補正する第２の補正手段として機能する。

カメラシステム制御部１２０は、システム全体を制御する。本実施形態では、カメラシステム制御部１２０および撮像部１０９は、画素ライン毎の露光タイミングが異なる露光方式で画像を撮影する撮像手段として機能する。なお、光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８、ＲＳ歪み補正制御部１１９は、カメラシステム制御部１２０の一部であっても、独立していても構わない。

操作部１１５は、像振れ補正（防振）モードを選択可能にする像振れ補正スイッチを含む。像振れ補正スイッチにより像振れ補正モードが選択されると、カメラシステム制御部１２０が、光学式像振れ補正制御部１０４及び電子式像振れ補正制御部１１８に像振れ補正動作を指示する。この指示を受けた光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８が、像振れ補正オフの指示がされるまで像振れ補正動作を行う。光学式像振れ補正及び電子式像振れ補正の有効、無効の設定は、それぞれ個別に行うことができる。撮像装置の支持状態が固定支持状態である場合、電子式像振れ補正は無効化され、ローリングシャッタ歪み補正の補正限界が拡大される。

操作部１１５は、静止画撮影モードと動画撮影モードとのうちから撮影モードを選択可能にする撮影モード選択スイッチを有する。撮影モード選択スイッチの操作によって撮影モードが選択されると、選択された撮影モードに応じて、ズームユニット１０１、光学式像振れ補正制御部１０４、絞り・シャッタユニット１０５、フォーカスユニット１０７の各アクチュエータの動作条件が変更される。

また、操作部１１５は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にＯＮするように構成されたシャッタレリーズボタンを有する。シャッタレリーズボタンが約半分押し込まれたときに、スイッチＳＷ１がＯＮし、シャッタレリーズボタンが最後まで押し込まれたときに、スイッチＳＷ２がＯＮする。

スイッチＳＷ１がＯＮされると、フォーカス駆動制御部１０８が、フォーカスユニット１０７を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部１０６が、絞り・シャッタ１０５を駆動して適正な露光量に設定する。スイッチＳＷ２がＯＮされると、撮像部１０９に露光された光像から得られた画像データが記憶部１１６に記憶される。

また、操作部１１５は、動画記録スイッチを有する。動画記録スイッチが押下げられると、動画撮影が開始され、記録中に再度スイッチが押されると、記録が終了する。なお、動画撮影中にも、ユーザがシャッタレリーズボタンを押下することで、静止画撮影を行うことが可能である。さらに、操作部１１５は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチによって再生モードが選択された時には、カメラシステム制御部１２０は、像振れ補正動作、及びローリングシャッタ歪み補正動作を停止する。この時、像振れ補正レンズユニット１０３のアクチュエータへの通電を切っても良いし、アクチュエータへ通電して所定位置に固定するように制御しても良い。

また、操作部１１５は、フレームレート変更スイッチを有する。カメラシステム制御部１２０は、フレームレート変更スイッチの操作にしたがって、撮像部１０９の撮影フレームレートを、規定値より高い撮影フレームレートに設定したり、低い撮影フレームレートに設定したりする。

また、操作部１１５は、ズーム変倍の指示を行う変倍スイッチを有する。変倍スイッチによってズーム変倍の指示が入力されると、カメラシステム制御部１２０を介してこの指示を受けたズーム駆動制御部１０２が、ズームユニット１０１を駆動して、指示されたズーム位置にズームユニット１０１を移動させる。また、撮像部１０９から送られた各信号処理部（１１０、１１１）にて処理された画像情報に基づいて、フォーカス駆動制御部１０８が、フォーカスユニット１０７を駆動してピント調節を行う。本実施形態の制御方法は、図１に示す撮像装置が備える各処理部の機能によって実現される。

図２は、撮像装置が備える像振れ補正制御機構の構成の一例を示す図である。振れ検出部１１７は、振れ検出センサとして主にジャイロセンサを用いて角速度データを検出し、検出結果を電圧として出力する。振れ検出部１１７には、Ｐｉｔｃｈ（ピッチ）方向振れ検出センサ２０１、Ｙａｗ（ヨー）方向振れ検出センサ２０２、Ｒｏｌｌ（ロール）方向振れ検出センサ２０３がある。

図３は、Ｐｉｔｃｈ方向、Ｙａｗ方向、Ｒｏｌｌ方向を説明する図である。
図３に示すように、光軸をＺ軸、正位置での鉛直方向をＹ軸、Ｙ，Ｚ軸にそれぞれ直交する方向をＸ軸とする。したがって、Ｐｉｔｃｈ方向は、Ｘ軸回り（チルティング方向）、Ｙａｗ方向は、Ｙ軸回り（パンニング方向）、Ｒｏｌｌ方向は、Ｚ軸回り（撮像面が光軸に垂直な面で回転する方向）となる。つまり、Ｐｉｔｃｈ方向は、撮像装置の垂直方向において水平面に対する傾動方向であり、Ｙａｗ方向は、撮像装置の水平方向において鉛直面に対する傾動方向であり、互いに直交する方向である。

Ｐｉｔｃｈ方向振れ検出センサ２０１は、Ｐｉｔｃｈ方向の撮像装置の振れに応じた振れ情報（角速度データ）を検出する。Ｙａｗ方向振れ検出センサ２０２は、Ｙａｗ方向の撮像装置の振れに応じた振れ情報（角速度データ）を検出する。Ｒｏｌｌ方向振れ検出センサ２０３は、光軸に垂直な面内での回転方向の撮像装置の振れに応じた振れ情報（角速度データ）を検出する。Ｐｉｔｃｈ方向振れ検出センサ２０１、Ｙａｗ方向振れ検出センサ２０２、Ｒｏｌｌ方向振れ検出センサ２０３の出力データは、フィルタ制御部２０９に入力される。

フィルタ制御部２０９は、振れ検出部１１７のＰｉｔｃｈ方向振れ検出センサ２０１、Ｙａｗ方向振れ検出センサ２０２、Ｒｏｌｌ方向振れ検出センサ２０３が出力データを、Ａ／Ｄ変換部２０４を介して、アナログ信号からデジタル信号に変換する。ハイパスフィルタ２０５( 以下、「ＨＰＦ」と記述する) は、ＤＣ成分をカットするカットオフ周波数の変更可能なデジタルフィルタである。ローパスフィルタ２０６（以下、「ＬＰＦ」と記述する）は、角速度信号を角度信号に変換する。

また、ＨＰＦ２０７は、ＨＰＦ２０５とは独立にカットオフ周波数を設定可能なＨＰＦである。ＨＰＦ２０７の出力は、支持状態判定部２０８で支持状態を判定するために用いられる。

支持状態判定部２０８は、ＨＰＦ２０７が出力した、ＤＣ成分がカットされた角速度信号に基づいて、撮像装置の支持状態を判定する。具体的には、支持状態判定部２０８は、撮像装置に加わっている振幅量を測定し、測定された振幅量をもとに支持状態を判定する。この例では、支持状態判定部２０８は、振幅量に基づいて支持状態の判定を行うが、振幅量の代わりに撮像装置に加わっている周波数から判定を行ってもよいし、振幅量と周波数の両方から判定を行ってもよい。

支持状態判定部２０８が判定して出力する支持状態、ＬＰＦ２０６から出力される角度信号は、光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８、ＲＳ歪み補正制御部１１９に入力される。

図４は、支持状態の判定の一例を説明する図である。
この例では、支持状態判定部２０８は、撮像装置が固定支持状態（この例では、三脚固定状態）であるか否かを判定する。三脚固定状態は、撮像装置が三脚に据え付けられている状態である。支持状態判定部２０８は、振れ検出部１１７の出力である振れ量４０１が、三脚判定閾値４０２未満になった時刻ｔ１からｔ２までの判定期間４０３の期間中、三脚判定閾値４０２未満である場合、三脚固定状態であると判定する。支持状態判定部２０８は、判定期間４０３の期間中、振れ量４０１が三脚判定閾値４０２未満でなくなった場合、三脚固定状態でないと判定する。なお、振れ量４０１が三脚判定閾値４０２未満になった時刻がない場合も、支持状態判定部２０８は、三脚固定状態でないと判定する。

光学式像振れ補正制御部１０４は、揺れ検出部１１７が備えるセンサのうち、Ｐｉｔｃｈ方向振れ検出センサ２０１、Ｙａｗ方向振れ検出センサ２０２の出力データに対して制御を行う。光学式像振れ補正制御部１０４が備える目標位置設定部２１１は、ＬＰＦ２０６から入力された角度信号に基づいて、ズームレンズのポジションなどのパラメータを用いて、像振れ補正レンズユニット１０３の駆動制御を行うための補正量を演算し設定する。

また、支持状態判定部２０８が出力する支持状態が、撮像装置が三脚固定状態であることを示す場合には、目標位置変更部２１０が、以下の処理を実行する。目標位置変更部２１０は、補正レンズの目標位置の制御方法を変更して、目標位置設定部２１１を制御し、像振れ補正レンズユニット１０３の駆動制御を行うための補正量を演算し設定する。

電子式像振れ補正制御部１１８においても、光学式像振れ補正制御部１０４における処理と同様の処理が行われる。電子式像振れ補正制御部１１８では、揺れ検出部１１７が備えるセンサのうち、Ｐｉｔｃｈ方向振れ検出センサ２０１、Ｙａｗ方向振れ検出センサ２０２に加え、Ｒｏｌｌ方向振れ検出センサ２０３の出力データに対して制御を行う。

補正量算出部２１３は、ＬＰＦ２０６から入力された角度信号に基づいて、ズームレンズのポジションなどのパラメータを用いて、映像信号処理部１１１の制御を行うための補正量を演算し設定する。

また、支持状態判定部２０８から出力された支持状態が、撮像装置が三脚等に据え付けられていることを示す場合には、補正限界設定部２１２が、以下の処理を実行する。補正限界設定部２１２が、補正限界の値を変更して、補正量算出部２１３を制御し、映像信号処理部１１１の制御を行うための補正量を演算し設定する。

ＲＳ歪み補正制御部１１９においても、光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８における処理と同様の処理が行われる。ＲＳ歪み補正制御部１１９では、揺れ検出部１１７が備えるセンサのうち、Ｐｉｔｃｈ方向振れ検出センサ２０１、Ｙａｗ方向振れ検出センサ２０２、Ｒｏｌｌ方向振れ検出センサ２０３の出力データに対して制御を行う。

補正量算出部２１５は、ＬＰＦ２０６が出力した角度信号に基づいて、ズームレンズのポジションなどのパラメータを用いて、映像信号処理部１１１の制御を行うための補正量を演算し設定する。また、支持状態判定部２０８から出力された支持状態が、撮像装置が三脚固定状態であることを示す場合には、補正限界設定部２１４が、以下の処理を実行する。補正正限界設定部２１４は、補正限界の値を変更して、補正量算出部２１５を制御し、映像信号処理部１１１の制御を行うための補正量を演算し、設定する。

図２に示す例では、振れ検出部１１７が出力したデータをフィルタ演算部２０９がまとめてフィルタ演算し、角度データに変換して揺れ量を生成している。他の構成例として、光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８、ＲＳ歪み補正制御部１１９において、それぞれフィルタ演算を行うようにしても良い。

図５は、電子式像振れ補正処理を説明する図である。
電子式像振れ補正制御部１１８には振れ検出部１１７のデータが入力され、画像フレーム間の振れを打ち消すように映像信号処理部１１１で補正を行うための補正量を演算する。映像信号処理部１１１に入力される撮影画像５０１に対し、補正量を元に並進・回転などの処理を行った処理画像が５０２である。さらに、電子式像振れ補正制御部１１８は、処理画像５０２から出力画像５０３として切り出し処理を行う。この切り出し処理を動画の毎フレームについて行うことで、画像フレーム間の振れを補正し、電子式像振れ補正制御を行うことができる。

なお、電子式像振れ補正制御部１１８は、最大の補正可能範囲を定めて、撮影画像５０１に対して一定の割合で出力画像５０３の切り出し処理を行う。これは、手振れ量により画角が変化することを防ぐためである。撮影画像５０１のうち、出力画像５０３として切り出す領域の周辺の画素は、余分画素として補正に利用される。電子式像振れ補正制御部１１８は、手振れ量にかかわらず、常に出力画像５０３の切り出し処理を行うので、電子式像振れ補正の制御を行わない時の出力画角と比べて、画角が狭くなる。

電子式像振れ補正は、撮影画像５０１のうち出力画像５０３として切り出す領域の周辺を余分画素として利用して補正を行う。この余分画素の範囲内で、補正の限界量が定まっている。

図６は、ローリングシャッタ歪みについて説明する図である。
撮影画像６０１の中で、撮像装置が静止している場合の被写体を６０２とすると、撮像装置が右側に振れた場合の被写体は６０３のように歪みが発生する。これがローリングシャッタ歪みである。ローリングシャッタ歪みは、撮影フレームレートが低速なほどその歪みが目立ち、高速なほど目立たなくなる。

ローリングシャッタ歪み補正は、撮影画像から出力画像を切り出し、切り出す領域の周辺を余分画素として利用して補正を行う。この余分画素によって補正の限界量が定まっている。さらに、電子式像振れ補正とローリングシャッタ歪み補正は、同じ余分画素の範囲内で、補正量を振り分ける必要がある。例えば、電子式像振れ補正に多くの補正の限界量を割り当てると、その分ローリングシャッタ歪み補正に割り当て可能な補正の限界量は減ることになる。

図７は、実施例１の撮像装置による電子補正の例を説明するフローチャートである。
この例では、電子補正とは、電子式像振れ補正、及びローリングシャッタ歪み補正を指すものとする。

本実施例における電子補正の設定は、電子式像振れ補正、及びローリングシャッタ歪み補正ともに共通であり、カメラシステム制御部１２０は、電子補正の設定、及び撮像装置の支持状態に応じて、処理を切り替える。

まず、カメラシステム制御部１２０が、電子補正の設定が有効であるかを判断する（ステップＳ１００）。具体的には、カメラシステム制御部１２０は、操作部１１５に含まれる電子補正スイッチの操作内容に応じて、電子補正の設定が有効であるかを判断する。電子補正の設定が有効である場合は、処理がステップＳ１０１に進む。電子補正の設定が無効である場合は、電子補正を実施しないので、処理が終了する。

ステップＳ１０１において、カメラシステム制御部１２０が、映像信号処理部１１１に指示することによって、出力画角を電子補正の設定が有効である場合の出力画角へ切り換える（ステップＳ１０１）。これにより、電子補正の設定が無効である場合の出力画角に比べて、出力画角が狭くなる。続いて、カメラシステム制御部１２０が、電子式像振れ補正制御部１１８、ＲＳ歪み補正制御部１１９それぞれに対して、補正限界の初期値を設定する（ステップＳ１０２）。なお、この補正限界の値は、撮像装置の焦点距離に応じて変化する。

次に、カメラシステム制御部１２０が、電子式像振れ補正制御部１１８、及びＲＳ歪み補正制御部１１９に、電子補正の制御の開始を指示する（ステップＳ１０３）。続いて、カメラシステム制御部１２０が、支持状態判定部２０８が出力する支持状態に基づいて、撮像装置が固定支持状態であるかを判定する（ステップＳ１０４）。撮像装置が固定支持状態である場合は、処理がステップＳ１０５に進む。固定支持状態ではない場合は、処理がステップＳ１１０に進む。

ステップＳ１０５において、カメラシステム制御部１２０が、電子式像振れ補正制御部１１８による電子式像振れ補正を無効にする（ステップＳ１０５）。カメラシステム制御部１２０は、電子式像振れ補正を無効にする際に、出力の急な変動を避けるため、所定の出力時間を設けて徐々に出力を変更する。

次に、カメラシステム制御部１２０が、ＲＳ歪み補正制御部１１９に対して、補正限界の初期値よりも拡大された値を設定する（ステップＳ１０６）。これにより、ローリングシャッタ歪み補正の可動範囲が拡大される。すなわち、撮像装置が固定支持状態であるため、電子式の像振れ補正を無効化にし（Ｓ１０５）、ローリングシャッタ歪み補正のみが動作する。したがって、余分画素は変わらなくても、ローリングシャッタ歪み補正により多くの補正量を割り当てることができるので、カメラシステム制御部１２０は、ローリングシャッタ歪み補正の補正限界を拡大することができる。

次に、カメラシステム制御部１２０が、支持状態判定部２０８が出力する支持状態に基づいて、撮像装置の固定支持状態が解除されたかを判定する（ステップＳ１０７）。撮像装置の固定支持状態が解除された場合は、処理がステップＳ１０８に進む。撮像装置が固定支持状態のままである場合は、処理がステップＳ１０７に戻る。

ステップＳ１０８において、カメラシステム制御部１２０が、ＲＳ歪み補正制御部１１９に対して、補正限界の値を初期値に再設定する（ステップＳ１０８）。再設定される値は、ステップＳ１０２で設定した値と同じである。

次に、カメラシステム制御部１２０が、電子式像振れ補正制御部１１８による電子式像振れ補正を有効にする（ステップＳ１０９）。ステップＳ１０５で電子式像振れ補正を無効にした時と同様、電子式像振れ補正を有効にするにあたり、出力の急な変動を避ける必要がある。したがって、カメラシステム制御部１２０は、所定の出力時間を設けて徐々に出力を変更する。すなわち、撮像装置の固定支持状態が解除されたので、カメラシステム制御部１２０は、ローリングシャッタ歪み補正の補正限界を初期値に戻すとともに電子式の像振れ補正を有効化する。これにより、電子式像振れ補正、及びローリングシャッタ歪み補正の両方が動作する。

次に、カメラシステム制御部１２０は、電子補正の設定が無効になったかを判断する（ステップＳ１１０）。電子補正の設定が無効になった場合は、処理がステップＳ１１１に進む。電子補正の設定が有効のままである場合は、ステップＳ１０４に戻る。

ステップＳ１１１において、カメラシステム制御部１２０が、電子式像振れ補正制御部１１８、及びＲＳ歪み補正制御部１１９に指示して、電子補正の制御を終了させる（ステップＳ１１１）。続いて、カメラシステム制御部１２０が、映像信号処理部１１１に指示することによって、出力画角を電子補正の設定が無効である場合の出力画角へ切り換える（ステップＳ１１２）。これにより、電子補正の設定が有効である場合の出力画角に比べて、出力画角が広くなる。これで、電子補正の処理を終了する。

このように、実施例１の撮像装置は、電子補正の設定が有効、かつ撮像装置が固定支持状態である場合には、ローリングシャッタ歪み補正の補正限界を拡大する。これにより、ローリングシャッタ歪み補正により多くの補正量が割り当てられるため、ローリングシャッタ歪みをより低減することができる。

（実施例２）
図８は、実施例２の撮像装置が備える像振れ補正制御機構の構成の一例を示す図である。実施例１の撮像装置が備える像振れ補正制御機構（図２）とは、フィルタ演算部２１７の構成が異なる。

フィルタ演算部２１７は、Ａ／Ｄ変換部２０４、ＨＰＦ２０７、支持状態判定部２０８、周波数分割制御部２１６を備える。Ａ／Ｄ変換部２０４、ＨＰＦ２０７、支持状態判定部２０８は、図２に示すＡ／Ｄ変換部２０４、ＨＰＦ２０７、支持状態判定部２０８と同様である。

周波数分割制御部２１６は、フィルタ処理で角速度信号を角度信号に変換する過程で、高周波成分を抽出した角度信号と、低周波成分と高周波成分が加算された角度信号のいずれかを選択して出力する。周波数分割制御部２１６は、支持状態判定部２０８が判定し出力した支持状態に基づいて、角度信号の選択を行う。具体的には、支持状態が、撮像装置が固定支持状態にあることを示す場合は、周波数分割制御部２１６は、高周波成分のみの角度信号を選択し、光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８およびＲＳ歪み補正制御部１１９に出力する。これにより、ＲＳ歪み補正制御部１１９が、高周波成分を用いて歪みの補正を実行するように制御される。

支持状態が、撮像装置が固定支持状態にないことを示す場合は、周波数分割制御部２１６は、低周波成分と高周波成分とが加算された角度信号を選択する。そして、周波数分割制御部２１６は、選択した角度信号を光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８およびＲＳ歪み補正制御部１１９に出力する。光学式像振れ補正制御部１０４が備える目標位置設定部２１１は、周波数分割制御部から出力された角度信号に基づいて、目標位置を設定する。また、電子式像振れ補正制御部１１８が備える補正量算出部２１３、ＲＳ歪み補正制御部１１９が備える補正量算出部２１５は、周波数分割制御部から出力された角度信号に基づいて、補正量を算出する。

図９は、実施例２の撮像装置による電子補正の例を説明するフローチャートである。実施例１と同様に、電子補正とは電子式像振れ補正、及びローリングシャッタ歪み補正を指すものとする。電子補正の設定は、電子式像振れ補正、及びローリングシャッタ歪み補正ともに共通である。カメラシステム制御部１２０は、電子補正の設定、及び撮像装置の支持状態に応じて、処理の変更を行うとともに、ローリングシャッタ歪み補正に用いる入力信号の変更を行う。

ステップＳ２００乃至Ｓ２０６は、図７のステップＳ１００乃至Ｓ１０６と同様である。また、ステップＳ２０８、Ｓ２０９、Ｓ２１０、Ｓ２１２、Ｓ２１３、Ｓ２１４は、図７のステップＳ１０７、Ｓ１０８、Ｓ１０９、Ｓ１１０、Ｓ１１１、Ｓ１１２と同様である。以下では、実施例１と異なる部分のみ説明する。

ステップＳ２０４において、撮像装置が固定支持状態であると判定された場合、ステップＳ２０５、Ｓ２０６の処理の後、処理がステップＳ２０７に進む。ステップＳ２０７において、周波数分割制御部２１６が、高周波成分のみの角度信号を選択して出力する（ステップＳ２０７）。

一方、ステップＳ２０８において撮像装置の固定支持状態が解除されたと判定された場合、ステップＳ２０９、Ｓ２１０の処理の後、処理がステップＳ２１１に進む。ステップＳ２１１において、周波数分割制御部２１６が、低周波成分と高周波成分とが加算された角度信号を選択して出力する（ステップＳ２１１）。

このように、実施例２の撮像装置は、電子補正の設定が有効、かつ撮像装置が固定支持状態である場合には、ローリングシャッタ歪み補正の補正限界を拡大するとともに、ローリングシャッタ歪み補正に用いる入力信号を高周波成分のみにする。これにより、撮像装置が固定支持状態である場合は微小な高周波信号の外乱に対してローリングシャッタ歪み補正を行うため、ローリングシャッタ歪みをより低減することができる。

（実施例３）
図１０は、実施例３の撮像装置による電子補正の例を説明するフローチャートである。実施例１、２同様、電子補正とは電子式像振れ補正、及びローリングシャッタ歪み補正を指すものとする。電子補正の設定は、電子式像振れ補正、及びローリングシャッタ歪み補正ともに共通であり、カメラシステム制御部１２０は、電子補正の設定、及びフレームレートの設定に応じて、処理の変更を行う。

ステップＳ３００乃至Ｓ３０３は、図７のステップＳ１００乃至Ｓ１０３と同様である。また、ステップＳ３０５、Ｓ３０６は、図７のステップＳ１０５、Ｓ１０６と同様である。また、ステップＳ３０８乃至Ｓ３１２は、図７のステップＳ１０８乃至Ｓ１１２と同様である。以下では、実施例１と異なる部分のみ説明する。

ステップＳ３０４において、カメラシステム制御部１２０が、操作部１１５が有するフレームレート変更スイッチの操作内容に応じて、フレームレートの設定が、高速のフレームレートに変更設定されたかを判定する（ステップＳ３０４）。フレームレートの設定が、高速のフレームレートに変更設定された場合は、処理がステップＳ３０５に進む。フレームレートの設定が、高速のフレームレートに変更設定されていない場合は、処理がステップＳ３１０に進む。

ステップＳ３０５において、カメラシステム制御部１２０が、ＲＳ歪み補正制御部１１９によるローリングシャッタ歪み補正を無効化する（ステップＳ３０５）。そして、カメラシステム制御部１２０が、電子式像振れ補正制御部１１８に対して、補正限界の初期値よりも拡大された値を設定する（ステップＳ３０６）。すなわち、フレームレートが高速化されたので、ローリングシャッタ歪み補正を無効化にし、電子式像振れ補正のみを動作させる。これにより、余分画素は変わらなくても、電子式像振れ補正により多くの補正量を割り当てることができるので、電子式像振れ補正の補正限界を拡大することができる。

次に、カメラシステム制御部１２０が、操作部１１５に含まれるフレームレート変更スイッチの操作にしたがって、フレームレートの設定が低速のフレームレートに変更設定されたかを判定する（ステップＳ３０７）。フレームレートの設定が低速のフレームレートに変更設定された場合は、処理がステップＳ３０８に進む。フレームレートの設定が低速のフレームレートに変更設定されていない場合は、処理がステップＳ３０７に戻る。

ステップＳ３０８において、カメラシステム制御部１２０が、電子式像振れ補正制御部１１８に対して、補正限界の値を初期値に再設定する（ステップＳ３０８）。そして、カメラシステム制御部１２０が、ＲＳ歪み補正制御部１１９による電子式像振れ補正を有効にする（ステップＳ３０９）。すなわち、フレームレートが低速化されたので、電子式像振れ補正の補正限界を初期値に戻すとともに、ローリングシャッタ歪み補正を有効化して、電子式像振れ補正、及びローリングシャッタ歪み補正の両方が動作するようにする。

このように、実施例３の撮像装置は、電子補正の設定が有効、かつフレームレートが高速化された場合には、電子式像振れ補正の補正限界を拡大する。これにより、電子式像振れ補正により多くの補正量が割り当てられるため、像振れをより低減することができる。

上述した実施例１乃至３を適宜組み合わせて適用してもよい。例えば、図７または図９に従う処理中に、実施例３の説明で参照した図１０のＳ３０４乃至Ｓ３０９の処理を、任意のタイミングで実行するようにしてもよい。例えば、図７のＳ１０３の処理、図９のＳ２０３の処理の後に、図１０のＳ３０４乃至Ｓ３０９の処理を実行するようにしてもよい。

また、実施例１乃至３では、電子補正の設定が有効、かつ撮像装置が固定支持状態である場合に、光学式像振れ補正の制御については言及していないが、そのまま光学式像振れ補正の制御を続けるようにしてもよい。その際の角度信号は、高周波のみの角度信号が選択されるようにする。

また、本発明では、電子補正の設定が有効、かつ撮像装置が固定支持状態である場合に、ローリングシャッタ歪み補正の補正限界を拡大するようにしているが、撮像装置が他の状態でも適用可能である。例えば、撮像装置のパン又はチルト中であるかを判定して、その期間中はローリングシャッタ歪み補正の補正限界を拡大するようにしてもよい。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０４光学式像振れ補正制御部
１１７振れ検出部
１１８電子式像振れ補正制御部
１１９ＲＳ歪み補正制御部
２０８支持状態判定部
２１６周波数分割制御部

Claims

電子的に像振れを補正する撮像装置であって、
画素ライン毎の露光タイミングが異なる露光方式で画像を撮影する撮像手段と、
前記撮像手段による撮影フレームレートを設定する設定手段と、
振れ検出手段から出力された振れ信号を取得して、電子的に像振れを補正する第１の補正手段と、
前記振れ信号を取得して、前記露光タイミングが画素ライン毎に異なることにより撮影された画像に生じる歪みを補正する第２の補正手段と、
前記振れ信号を取得して、前記撮像装置の支持状態を判定する判定手段と、
前記判定手段が、前記撮像装置が固定支持された状態にあると判定した場合に、前記第２の補正手段による補正の可動範囲を拡大する制御手段とを備え、
前記制御手段は、前記設定手段によって規定値よりも高いフレームレートが設定された場合は、前記第１の補正手段による補正の可動範囲を拡大する
ことを特徴とする撮像装置。
前記制御手段は、前記判定手段によって前記撮像装置が固定支持された状態にあると判定された場合は、前記第１の補正手段による補正を無効化する
ことを特徴とする請求項１に記載の撮像装置。
前記振れ信号から高周波成分を抽出する抽出手段を備え、
前記制御手段は、前記判定手段によって前記撮像装置が固定支持された状態にあると判定された場合は、前記第２の補正手段が前記抽出手段により抽出された高周波成分を用いて前記歪みを補正する制御を行う
ことを特徴とする請求項１または２に記載の撮像装置。
前記制御手段は、前記設定手段によって規定値よりも高いフレームレートが設定された場合は、前記第２の補正手段による補正を無効化する
ことを特徴とする請求項１に記載の撮像装置。
前記第２の補正手段は、ローリングシャッタ歪み補正を実行する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
画素ライン毎の露光タイミングが異なる露光方式で画像を撮影する撮像手段と、振れ検出手段にて検出された撮像装置の振れを示す振れ信号を取得して、電子的に像振れを補正する第１の補正手段と、前記振れ信号を取得して、前記露光タイミングが画素ライン毎に異なることにより前記撮影された画像に生じる歪みを補正する第２の補正手段とを備える撮像装置の制御方法であって、
前記撮像手段による撮影フレームレートを設定する設定工程と、
前記設定手段によって規定値よりも高いフレームレートが設定された場合に、前記第１の補正手段による補正の可動範囲を拡大する制御工程と、
前記振れ信号を取得して、前記撮像装置の支持状態を判定する判定工程と、
前記判定工程で、前記撮像装置が固定支持された状態にあると判定された場合に、前記第２の補正手段による補正の可動範囲を拡大する制御工程とを有する
ことを特徴とする撮像装置の制御方法。
電子的に像振れを補正する撮像装置であって、
画素ライン毎の露光タイミングが異なる露光方式で画像を撮影する撮像手段と、
振れ検出手段から出力された振れ信号を取得して、電子的に像振れを補正する第１の補正手段と、
前記振れ信号を取得して、前記露光タイミングが画素ライン毎に異なることにより撮影された画像に生じる歪みを補正する第２の補正手段と、
前記振れ信号から高周波成分を抽出する抽出手段と、
前記振れ信号を取得して、前記撮像装置の支持状態を判定する判定手段と、
前記判定手段が、前記撮像装置が固定支持された状態にあると判定した場合に、前記第１の補正手段による補正を無効化し、且つ前記抽出手段により抽出された高周波成分を用いて光学的に像振れを補正する第３の補正手段による補正を実行し続け、且つ前記第２の補正手段による補正の可動範囲を拡大する制御手段とを備える
ことを特徴とする撮像装置。
画素ライン毎の露光タイミングが異なる露光方式で画像を撮影する撮像手段と、振れ検出手段から出力された振れ信号を取得して、電子的に像振れを補正する第１の補正手段と、前記振れ信号を取得して、前記露光タイミングが画素ライン毎に異なることにより撮影された画像に生じる歪みを補正する第２の補正手段とを備える撮像装置の制御方法であって、
前記振れ信号から高周波成分を抽出する抽出工程と、
前記振れ信号を取得して、前記撮像装置の支持状態を判定する判定工程と、
前記判定工程で、前記撮像装置が固定支持された状態にあると判定された場合に、前記第１の補正手段による補正を無効化し、且つ前記抽出手段により抽出された高周波成分を用いて光学的に像振れを補正する第３の補正手段による補正を実行し続け、且つ前記第２の補正手段による補正の可動範囲を拡大する制御工程とを有する
ことを特徴とする撮像装置の制御方法。