JP6105880B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、簡単に水平な画像を撮影することができ、かつ手振れ等の振れによる画像ブレを高精度に補正することができる撮像装置に関するものである。

現在、手振れ等による画像ブレを防ぐ、例えば、振れ補正部、駆動部及び振動検出部等から成る像振れ補正装置を備えたカメラが製品化されており、撮影者の撮影ミスを誘発する要因が減ってきている。

従来の像振れ補正装置としては、撮像中に生じた手振れ量に応じて、像振れ補正レンズまたは撮像素子を光軸と垂直な平面上で移動させることにより像面上での像ブレを制御するものが提案されている。また、光軸の周りに撮像素子を回転させることでロール回転によって生じる像ブレを制御するものも提案されている。また、重力方向と垂直な水平面に対するカメラの光軸周りの傾き角度を検出するセンサを用いて、自動的に撮像結果の傾きを補正することで、撮影に不慣れなユーザーでも水平な画像を簡単に撮影することができる撮像装置も提案されている。

また、動画撮影においては、電子的像振れ補正の技術も提案されている。電子的像振れ補正とは、光軸と垂直な平面上で移動できる像振れ補正レンズや光軸周りに撮像素子を回転移動できるメカ機構をもっていなくても、撮像素子が出力する各撮影フレームの切り出し位置を変更することで振れの影響を軽減させるものである。

上記のような技術の例として、特許文献１では、ピッチ角速度、ロール角速度、ヨー角速度の３軸方向の角速度計を用いて、振れ量を検出し、ピッチ、ヨー、ロール方向の像振れ補正制御を行う技術が提案されている。

また、特許文献２では、撮像装置の傾きを検出して撮像結果の傾きを自動的に補正することにより、撮像素子の重力方向と垂直な水平面に対する光軸周りの傾きを補正する傾き補正処理を行う技術も提案されている。

特開２００６−７１７４３号公報 特開平７−９５４６６号公報

しかながら、ロール方向の像振れ補正を行う像振れ補正装置、傾き補正を行う傾き補正装置、ロール方向の像振れ補正と傾き補正を同時に行う像振れ補正・傾き補正装置においては、以下の課題がある。

ロール方向の像振れ補正を行う像振れ補正装置において、ロール角速度計を用いて光軸周りの回転ブレ補正を行おうとすると、次のような問題がある。すなわち、角速度計のオフセット出力や、温度変化によるオフセット出力の変化、また実際の角速度に加算して出力されるセンサ出力ノイズなどの影響により、常時像振れ補正制御を行っていると光軸周りに大きく画像が傾いてしまうことがある。特に、撮影者が構図を液晶モニタで観察しているときは、撮影者が違和感を感じたり、そのまま静止画撮影してしまうと、傾いた撮影画像が得られることが有り得る。

傾き補正を行う傾き補正装置においては、カメラに生じる手振れが大きいときは、振れによって生じる加速度も重力加速度に加算されて加速度計から出力される。よって、振れによる加速度も加わっている加速度計の出力からそのまま傾きを算出して傾き補正を行うと、実際の補正するべき傾きとは異なる傾きに補正してしまい、ユーザーが意図しない画像が得られることになってしまう。

更に、ロール方向の像振れ補正と傾き補正を同時に行う装置においては、同じ回転補正範囲内でロール方向の像振れ補正と傾き補正を同時に行わなければならない。ロール方向の像振れ補正と傾き補正を同時に行おうとすると、カメラの傾きが大きく、傾き補正すべき角度が大きいとき、回転補正範囲の一方方向の補正範囲を大きく使ってしまう。そのため、ロール方向の像振れ補正できる領域が狭くなってしまうことによりロール方向の像振れ補正の効果が劣化し、傾き補正はされていたとしても像ブレした撮影画像を得てしまうことがある。また、ロール振れ量が大きく、ロール方向の像振れ補正すべき角度が大きくなるとき、傾き補正もそのまま行ってしまうと、回転補正範囲が足らなくなってしまうことがある。更に、カメラに生じる手振れが大きいとき、加速度計によって算出した傾きを誤検出してしまっている可能性が高いので、適切な傾き補正が行えないばかりか、像ブレした撮影画像を得てしまうことがある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、制限された補正可動範囲の中で、ロール振れに基づく像振れ補正処理と撮像素子の光軸周りの傾きを補正する傾き補正処理とを撮像装置の状態に応じて適切に行えるようにすることである。

本発明に係わる撮像装置は、撮影光学系により結像された被写体像を撮像し、画像を取得する撮像素子を有する撮像装置であって、前記撮像装置の角速度を検出し、前記撮影光学系の光軸周りのロール方向の振れ角度である第１の角度を演算する第１の演算手段と、前記撮影光学系の光軸周りの前記撮像装置の傾きを検出し、前記傾きの角度である第２の角度を演算する第２の演算手段と、前記撮像素子又は前記撮像素子で取得された画像を前記光軸周りに回転させる回転補正手段と、前記撮像装置の角速度に関する情報に基づいて、前記撮像装置の揺れ状態量を演算する揺れ状態量演算手段と、前記第１の角度及び前記第２の角度及び前記揺れ状態量に基づいて、前記撮像装置の振れ補正量及び前記撮像装置の傾き補正量を演算する補正量演算手段と、前記振れ補正量及び前記傾き補正量に基づいて、前記撮像装置の振れ及び前記撮像装置の傾きを補正するために前記回転補正手段を制御する制御手段と、を備え、前記補正量演算手段は、前記揺れ状態量に基づいて、前記回転補正手段が補正可能な回転補正範囲のうちの前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲及び前記回転補正手段が補正可能な回転補正範囲のうちの前記第２の角度を補正するために割り当てる傾き補正範囲を変更し、変更した前記ロール方向の振れ補正範囲及び前記傾き補正範囲に基づいて、前記撮像装置の振れ補正量及び前記撮像装置の傾き補正量を演算することを特徴とする。

本発明によれば、制限された補正可動範囲の中で、ロール振れに基づく像振れ補正処理と撮像素子の光軸周りの傾きを補正する傾き補正処理とを撮像装置の状態に応じて適切に行うことが可能となる。

本発明における像振れ補正システムの振れ方向を示した図。 第１の実施形態に係る像振れ補正システムを搭載したカメラの上面図。 第１の実施形態に係る像振れ補正・傾き補正装置のブロック図。 第１の実施形態に係る像振れ補正・傾き補正装置の揺れ状態判定の説明図。 第１の実施形態に係る像振れ補正・傾き補正装置の揺れ状態判定の説明図。 第１の実施形態に係る像振れ補正・傾き補正装置の揺れ状態判定の説明図。 第１の実施形態に係る像振れ補正・傾き補正装置の上下限値設定テーブル。 第１の実施形態に係る像振れ補正・傾き補正装置の制御フィルタカットオフ周波数設定テーブル。 第２の実施形態に係る像振れ補正・傾き補正装置のブロック図。 第２の実施形態に係る像振れ補正・傾き補正装置のゲインテーブル。 第３の実施形態に係る像振れ補正・傾き補正装置のブロック図。 第３の実施形態に係る像振れ補正・傾き補正装置のロール像ブレを説明する図。 第３の実施形態に係る像振れ補正・傾き補正装置のゲインテーブル。 第４の実施形態に係る像振れ補正・傾き補正装置のブロック図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態に係わる像振れ補正・傾き補正装置を備えた撮像装置としてのカメラについて、図１及び図２を用いて説明する。図１はカメラ１０１の振れ方向を表す図であり、図２はカメラ１０１の平面図である。このカメラに搭載される像振れ補正システムは、被写体像を結像させる撮影光学系の光軸１０２に対して矢印１０３ｐ、１０３ｙで示すピッチ、ヨーの角度振れに対して振れ補正を行うと同時に、矢印１０３ｒで示すロール角度振れに対しても振れ補正を行う。

カメラ１０１は、レリーズボタン１０５、カメラ１０１に内蔵されているカメラＣＰＵ１０６、撮像素子１０７を有する。第１の検出手段（第１の角度検出手段）としての角速度計１０８は、矢印１０３ｐ、１０３ｙ及び１０３ｒ回りのそれぞれの角度振れを検出するである。また、第２の検出手段（第２の角度検出手段）としての加速度計１０９は、矢印１０４ｘ、１０４ｙ及び１０４ｚ軸の加速度を検出する。なお、光軸方向（矢印１０４ｚ軸に平行な方向）をＺ軸方向として、矢印１０４ｘ方向をＸ軸方向、矢印１０４方向をＹ軸方向とする。また、矢印１０３ｐ方向をピッチ方向（Ｘ軸回り方向）、矢印１０３ｙをヨー方向（Ｙ軸回り方向）、及び矢印１０３ｒをロール方向（Ｚ軸回り方向）とする。補正レンズ駆動部１１０は、像振れ補正機構に指示して補正部材としての補正レンズ１１１を駆動し、ピッチ、ヨー方向の角度振れ補正を行う。撮像素子回転駆動部１１２は、撮像素子回転補正機構１１３で撮像素子１０７を光軸まわりに回転させ、ロール方向の角度振れ補正及び傾き補正を行う。

ここで、角速度計１０８、及び加速度計１０９の出力は、カメラＣＰＵ１０６に入力される。そして、カメラＣＰＵ１０６（第１の角度演算手段、第２の角度演算手段）内で、ピッチ、ヨー角度振れ補正量を算出し、補正レンズ駆動部１１０によってピッチ、ヨーの角度振れ補正を行う。また、カメラＣＰＵ１０６内で、ロール角度振れ補正量と傾き補正量をそれぞれ算出し（補正量演算）、撮像素子回転駆動部１１２によって撮像素子１０７を光軸まわりに回転させ、ロール方向の角度振れ補正及び傾き補正を行う。

図２の構成では、補正レンズ１１１を光軸と垂直な平面上で移動させることで、ピッチおよびヨー方向の像ブレを補正し、光軸を中心に撮像素子を回転させることでロール方向の像ブレを制御する構成としている。しかし、撮影光軸に垂直な平面上で回転移動と平行移動可能な撮像素子のみを用いて、ピッチ、ヨー、ロール方向の像ブレを制御することも可能である。また、動画撮影の場合は、撮像素子が出力する各撮影フレームの切り出し位置を変更することで振れの影響を軽減させる電子的像振れ補正による方法で、ピッチ、ヨー、ロール方向の像ブレを制御することも可能である。また、補正レンズ１１１を光軸と垂直な平面上で移動させることで、ピッチ、ヨー方向の像ブレを補正し、ロール方向は電子的像振れ補正による方法で制御してピッチ、ヨー、ロール方向の像ブレを制御することも可能である。

図３は、本発明の第１の実施形態に係わる像振れ補正・傾き補正装置を示すブロック図である。

図３を用いて、まず、ロール方向の像振れ補正について説明する。角速度計１０８からの角速度信号はＣＰＵ１０６に入力される。そして、その角速度計からの信号のうちロール角速度信号はＨＰＦ積分フィルタ３０１（角度算出フィルタ）に入力され、ＨＰＦ（ハイパスフィルタ或いは高域透過フィルタ）でＤＣ成分をカットされた後に積分され、ロール角度信号に変換される。

ここで、手振れの周波数帯域はおよそ１Ｈｚ〜１０Ｈｚの間である。そのため、ＨＰＦは、例えば手振れの周波数帯域から十分離れた、例えば０．１Ｈｚ以下の周波数成分をカットする制御周波数帯域の１次のＨＰＦ特性になっている。

ＨＰＦ積分フィルタ３０１の出力はロール方向の像振れ補正範囲上下限設定部３０２に入力される。ロール方向の像振れ補正範囲上下限設定部３０２では、ロール方向の像振れ補正で撮像素子を回転させることができる指定された範囲内の信号にするために、ＨＰＦ積分フィルタ３０１の出力の上下限値を設定する。そして、上限値を超える信号については上限値に、下限値を下回る信号については下限値に設定された信号を生成する。ロール方向の像振れ補正範囲上下限設定部３０２により求められたロール角度振れ補正目標値を撮像素子回転駆動部１１２に出力し、撮像素子回転補正部１１３を駆動することでロール方向の像振れ補正を行う。

以上が、ロール方向の像振れ補正の概略構成である。

次に、傾き補正について説明する。加速度計１０９からの加速度信号はＣＰＵ１０６に入力される。そして、その加速度計出力はカメラ傾き角度算出部３０３に入力され、カメラの傾き角度が演算される。

例えば、加速度センサの測定軸のＸ軸を撮像素子の水平方向に、測定軸のＹ軸を垂直方向に向くように配置しており、Ｘ軸の加速度出力とＹ軸の加速度出力から撮像光軸周りの傾斜角度であるロール角度を検出する。ここで傾き角度は下記式（１）で算出される。

傾き角度[deg]＝arctan（Ｙ軸加速度÷Ｘ軸加速度）×１８０ ÷ π …（１）
カメラ傾き角度算出部３０３の出力は傾き補正角度補正値算出部３０４に入力される。傾き補正角度補正値算出部３０４では、ＬＰＦ（ローパスフィルタ或いは低域透過フィルタ）などによるノイズ除去処理が行われ、傾き補正量が算出される。傾き補正角度補正値算出部３０４の出力は、傾き補正範囲上下限設定部３０５に入力される。傾き補正範囲上下限設定部３０５では、傾き補正で撮像素子を回転させることができる指定された範囲内の信号にするために、傾き補正角度補正値算出部３０４の出力の上下限値を設定する。そして、上限値を超える信号については上限値に、下限値を下回る信号については下限値に設定された信号を生成する。傾き補正範囲上下限設定部３０５により算出された傾き補正目標値を撮像素子回転駆動部１１２に出力し、撮像素子回転補正部１１３を駆動することで傾き補正を行う。

以上が、傾き補正の概略構成である。

上記の方法によると、角速度計を用いてロール角度振れ補正が可能であり、加速度計を用いて傾き補正が可能である。しかしながら、ロール角度振れ補正と傾き補正を同時に行うためには、限られた回転補正領域範囲内で両方を同時に制御する必要がある。ロール方向の像振れ補正と傾き補正を同時に行おうとすると、カメラの傾きが大きく傾き補正すべき角度が大きいとき、回転補正範囲の一方向の補正範囲を大きく使ってしまうので、ロール方向の像振れ補正できる領域が狭くなってしまう。それによりロール方向の像振れ補正の効果が劣化し、傾き補正はされていたとしても像ブレした撮影画像を得てしまうことがある。また、ロール振れ量が大きく、ロール方向の像振れ補正すべき角度が大きくなるとき、傾き補正もそのまま行ってしまうと、回転補正範囲が足らなくなってしまうことがある。更に、カメラに生じる手振れが大きいとき、加速度計によって算出した傾きを誤検出してしまっている可能性が高いので、適切な傾き補正が行えないばかりか、像ブレした撮影画像を得てしまうことがある。

そこで、本実施形態では、角速度計１０８からカメラ揺れ状態を検出するために、ロール角速度計よりロール揺れ状態量を算出し（状態量演算手段）、ピッチとヨー角速度計よりピッチヨー揺れ状態量をそれぞれ算出する。そして、それらの揺れ状態量に応じて、ロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値（補正上下限値）をそれぞれ設定する。また、同時にＨＰＦ積分フィルタ３０１のフィルタ時定数を変更することで、ロール方向の像振れ補正の制御帯域を変更する。

角速度計１０８のロール角速度信号は、ロール揺れ状態量算出部３０６にも入力され、ロール揺れ状態量が算出される。角速度計１０８のピッチ角速度信号とヨー角速度信号は、ピッチ、ヨー揺れ状態量算出部３０７に入力され、ピッチ、ヨー揺れ状態量を算出する。

ロール揺れ状態量算出部３０６とピッチ、ヨー揺れ状態量算出部３０７における揺れ状態量の算出方法について図４、図５を用いて説明する。

まず、ロール揺れ状態量の算出方法について説明する。図４（ａ）の４０１は、ロール角速度信号であり、ロール角速度信号４０１を絶対値変換した信号が４０２になる。４０２の信号をＬＰＦで高周波成分をカットするもしくは、移動平均処理などで所定時間内の平均化処理を行うなどして、図４（ｂ）の４０３の信号を演算する。これが、ロール揺れ状態量としてロール揺れ状態量算出部３０６から出力される。これにより、図４（ｂ）の（Ｂ）のようにロールの手振れが非常に大きな場合はロール揺れ状態量算出部３０６の出力値は大きな値で留まるように出力される。また、図４（ｂ）の（Ｄ）のようにロールの手振れが非常に小さな場合はロール揺れ状態量算出部３０６の出力値は小さな値で留まるように出力される。また、図４（ｂ）の（Ａ）や（Ｃ）のような中間の揺れの大きさも揺れ量として表すことができる。

次にピッチ、ヨー揺れ状態量の算出方法について説明する。図５（ａ）の５０１は、ピッチ角速度信号であり、５０２はヨー角速度信号である。図５（ｂ）の５０３は、ピッチ角速度信号５０１をＬＰＦで高周波成分をカットするもしくは、移動平均処理などで所定時間内の平均化処理を行うなどの信号処理により算出したピッチ揺れ状態量である。また、図５（ｂ）の５０４は、ヨー角速度信号５０２をＬＰＦで高周波成分をカットするもしくは、移動平均処理などで所定時間内の平均化処理を行うなどの信号処理により算出したヨー揺れ状態量である。ピッチ揺れ状態量５０３とヨー揺れ状態量５０４を加算することで、図５（ｃ）の５０５の信号を演算し、これがピッチ、ヨー揺れ状態量としてピッチ、ヨー揺れ状態量算出部３０７から出力される。これにより、図５（ｃ）の（Ｂ）のようにピッチもしくはヨーの手振れが非常に大きな場合はピッチ、ヨー揺れ状態量算出部３０７の出力値は大きな値で留まるように出力される。また、図５（ｃ）の（Ａ）や（Ｃ）のようにピッチもしくはヨーの手振れが非常に小さな場合はピッチ、ヨー揺れ状態量算出部３０７の出力値は小さな値で留まるように出力される。

ロール方向の像振れ補正、傾き補正範囲算出部３０８でのロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値それぞれの演算方法を図６、図７を用いて説明する。

図６（ａ）にはロール揺れ状態量４０３が、図６（ｂ）にはピッチ、ヨー揺れ状態量５０５が時系列で表されている。ここで、ピッチ、ヨー揺れ状態量５０５に係数Ｋｐｙ（Ｋｐｙは１より小さい値に設定される）を乗算した信号と、ロール揺れ状態量４０３とを加算する。その信号は、図６（ｃ）の６０１に示す信号となり、揺れ状態量としてロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値の上下限値の設定に用いる。

ここでロール揺れ状態量４０３だけでなく、ピッチ、ヨー揺れ状態量５０５も用いているのは、次のような理由による。即ち、ロール揺れが小さくてもピッチもしくはヨー揺れが大きく手振れ振動による外乱加速度が大きいとき、加速度計から算出される傾き角度の信頼性が低くなる。傾き角度の信頼性が低い場合は、傾き補正は積極的に行いたくない。即ち傾き補正範囲上下限値の上下限値の範囲を狭くしたいため、判定値として用いている。更にここで係数Ｋｐｙを用いているのは、ロール揺れに重みを大きく設定するためであり、ロール揺れが大きいときは特にロール方向の像振れ補正範囲を大きくとりたいためである。

次に、図７のようなテーブルによりロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値をそれぞれ算出する。揺れ状態量６０１からロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値を演算するため、図６（ｃ）のＴｈ３、Ｔｈ２、Ｔｈ１のように閾値があらかじめ設定されている。そして、揺れ状態量６０１の出力値の大きさにより、図７のＬｉｍｉｔ Ｔａｂｌｅによってロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値が設定される。７０１にロール方向の像振れ補正範囲上下限値テーブルを、７０２に傾き補正範囲上下限値を示す。ここでは、揺れ状態量６０１の出力値からロール方向の像振れ補正範囲上下限値テーブル７０１を用いてロール方向の像振れ補正範囲上下限値（上下限幅）を演算する（第１の補正上下限演算）。その後、可動範囲最大値（Ｌｉ３＋Ｌｉ１）からロール方向の像振れ補正範囲上下限値を減算した値を傾き補正範囲上下限値としている（第２の補正上下限演算）。したがって実際の演算では、ロール方向の像振れ補正範囲上下限値テーブルと傾き補正範囲上下限値テーブルの２つのテーブルをもつ必要はなく、何れか一方のテーブルを用いて、それぞれ演算されることになる。

例えば、揺れ状態量６０１がＴｈ１に位置している場合は、ロール方向の像振れ補正範囲上下限値はＬｉ１に設定され、傾き補正範囲上下限値はＬｉ３に設定される。また、揺れ状態量６０１がＴｈ３とＴｈ２の間に位置している場合等はＬｉ３とＬｉ２の間を線形補間した計算結果がロール方向の像振れ補正範囲上下限値として設定される。そして、可動範囲最大値（Ｌｉ３＋Ｌｉ１）からそのときのロール方向の像振れ補正範囲上下限値を減算した値が傾き補正範囲上下限値に設定される。

このように算出されたロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値は、ロール方向の像振れ補正範囲上下限値設定部３０２と傾き補正範囲上下限値設定部３０５にそれぞれ上下限値として設定される。これにより、ロール揺れ量が大きいときは、ロール方向の像振れ補正範囲が広くなるので、ロール方向の像振れ補正の像振れ補正効果を確保することができる。ピッチ、ヨーもしくはロール揺れ量が大きいときは、手振れ振動による外乱加速度が大きいときであり、加速度計から算出される傾き角度の信頼性が低くなるため、傾き補正範囲を狭くすることで傾き補正の誤制御の悪影響を防ぐこともできる。

また、ロール揺れ量が小さいときは、ロール方向の像振れ補正範囲はそれほど必要としないため、傾き補正範囲を大きくとることで補正可能な幅を広げられる。更に、ロール方向の像振れ補正範囲を狭くしているので角速度計のセンサ出力ノイズや温度変化によるオフセットドリフトなどの低域揺れ影響による傾き補正制御への悪影響も防ぐことができる。更に、ピッチ、ヨーもしくはロール揺れ量が何れも小さいときには、より傾き補正範囲を広げるが、このときは手振れ振動による外乱加速度影響が少ないので、傾き補正演算結果の信頼性は非常に高くなる。以上より、揺れ量によるロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値の設定は、ロール方向の像振れ補正、傾き補正共に非常に有効となる。

次に、ロール方向の像振れ補正制御パラメータ算出部３０９について説明する。図８にロール方向の像振れ補正制御パラメータ算出テーブルを示す。横軸にロール方向の像振れ補正範囲上下限値を、縦軸にＨＰＦ積分フィルタ３０１でのＨＰＦカットオフ周波数を示す。ここで、ロール方向の像振れ補正範囲上下限値が大きいとき、即ち積極的にロール方向の像振れ補正を行いたいときは、ＨＰＦカットオフ周波数を小さく設定し、像振れ補正制御帯域を広げることでロール振れ像振れ補正制御の効果を高める。ロール方向の像振れ補正範囲上下限値が小さいとき、即ちロール方向の像振れ補正よりも傾き補正の方の制御を積極的に行いたいときは、ＨＰＦカットオフ周波数を大きく設定し、像振れ補正制御帯域を狭め、低域周波数帯域におけるゲインを小さくする。これにより、手振れ低域揺れや、角速度計のセンサ出力ノイズや温度変化によるオフセットドリフトなどの低域揺れ影響による画像の傾きを防止できる。以上より、揺れ状態量によるロール方向の像振れ補正制御パラメータの設定は、ロール方向の像振れ補正、傾き補正共に非常に有効となる。

上記の通り第１の実施形態によれば、カメラの揺れ量に応じて、ロール方向の像振れ補正範囲上下限値と傾き補正範囲上下限値とロール方向の像振れ補正制御パラメータを設定する。そのため、制限された補正可動範囲の中でも、ロール振れに基づく像振れ補正と撮像素子の重力方向と垂直な水平面に対する光軸周りの傾きを補正する傾き補正の適切な制御を行うことが可能となる。

（第２の実施形態）
図９は、第２の実施形態に係わるカメラが備える像振れ補正装置及び傾き補正装置であり、第１の実施形態の図３の像振れ補正装置を示すブロック図と同じ部分には同一符号を付けてある。第２の実施形態は、以下の点で第１の実施形態と異なる。

第１の実施形態のように角速度計による揺れ状態量に応じて、ロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータを設定するのではなく、静止画撮影時においては、シャッター速度と角速度計による揺れ状態量に応じて、ロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータを設定する。そのため、図４と図９のブロック図の違いは以下の通りである。
（１）シャッター速度情報９０１が設けられている。
（２）ロール揺れ状態量算出部３０６の出力とピッチ、ヨー揺れ状態量算出部３０７とシャッター速度９０１が入力され、ロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値を演算するロール方向の像振れ補正、傾き補正範囲算出部９０２が設けられている。言い換えれば、ロール方向の像振れ補正、傾き補正範囲算出部３０８は外されている。

本実施形態でシャッター速度を用いる理由は以下のとおりである。静止画においてシャッター速度が速い撮影条件下では、ロール方向の像振れ補正を積極的に行わなくてもブレ画像になることはない。よって、シャッター速度が速い撮影条件下では傾き補正範囲上下限範囲を大きくとった方がよい。また、シャッター速度が遅い条件下では、第１の実施形態で説明したとおり、揺れ状態に適切な像振れ補正制御と傾き補正制御を行いたい。

従って、以下の方法でロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータを設定する。

ロール方向の像振れ補正、傾き補正範囲算出部９０２での演算以外は、第１の実施形態の図３を用いて説明したとおりであるので、以下はロール方向の像振れ補正、傾き補正範囲算出部９０２での演算について説明する。

第１の実施形態の図４乃至図６で説明したとおり、角速度計から揺れ状態量５０５を算出する。ここで、静止画撮影直前にシャッター速度情報９０１を取得する。ここで、シャッター速度情報９０１に応じて、揺れ状態量５０５に乗算するゲインＫｔｖを演算する。図１０にゲインＫｔｖ算出のテーブル１００１を示す。Ｔｖ３よりシャッター速度が遅いときは、ゲインは１に設定される。ここでＴｖ３は静止画撮影時においてロール揺れによる撮影画像上のブレ影響が発生しやすいシャッター速度（例えば、シャッター速度１／１５程度に設定される）となっている。シャッター速度がＴｖ３よりも速ければ、ゲインＫｔｖは徐々に１よりも小さくなるようにテーブル１００１が設定されており、シャッター速度がＴｖ１よりも速いとゲインは（１よりも非常に小さい）Ｋｔｖ１に設定されることになる。ここでＴｖ１はこれ以上シャッター速度が速くなってもロール揺れによる撮影画像上のブレ影響は発生しにくいシャッター速度（例えば、シャッター速度１／６０程度に設定される）となっている。このテーブル１００１で算出されたゲインＫｔｖを揺れ状態量６０１に乗算して、第１の実施形態で図６乃至図８を用いて説明したようにロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータを設定する。

これにより、シャッター速度が速くロール揺れによる撮影画像上のブレ影響が発生しにくい状況では、ロール方向の像振れ補正よりも傾き補正を優先して制御することができ、傾き補正の効果が十分に確保できる。また、シャッター速度が遅くロール揺れによる撮影画像上のブレ影響が発生しやすい状況では、傾き補正よりもロール方向の像振れ補正を優先して制御することができ、ブレ画像を撮影してしまう確率を低減することができる。

以上より、揺れ状態量とシャッター速度によるロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータの設定は、ロール方向の像振れ補正、傾き補正共に非常に有効となる。

（第３の実施形態）
図１１は、第３の実施形態に係わるカメラが備える像振れ補正装置及び傾き補正装置であり、第１の実施形態の図３の像振れ補正装置を示すブロック図と同じ部分には同一符号を付けてある。第３の実施形態は、以下の点で第１の実施形態と異なる。

第１の実施形態のように角速度計による揺れ状態量に応じて、ロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータを設定するのではなく、静止画撮影時においては、特定の被写体を検出する主被写体検知情報１１０１と角速度計による揺れ状態量に応じて、ロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータを設定する。そのため、図４と図９のブロック図の違いは以下の通りである。
（１）主被写体検知情報１１０１が設けられている。
（２）ロール揺れ状態量算出部３０６の出力と、ピッチ、ヨー揺れ状態量算出部３０７と主被写体検知情報１１０１が入力され、ロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値を演算するロール方向の像振れ補正、傾き補正範囲算出部１１０２が設けられている。言い換えれば、ロール方向の像振れ補正、傾き補正範囲算出部３０８が外されている。

撮影画像において、ロール振れによる画像ブレが画像中心を回転中心としている場合、画像中心（画像中央）からどれくらい距離が離れているか（主被写体位置）に応じて画像ブレ影響が異なってくる。画像中心からの距離が大きくなるにつれて画像ブレも大きくなり、図１２の例では、Ｏ＜Ｘ１＜Ｘ２の順で画像ブレ量が大きくなることになる。

Ｏ点を中心にロール振れしている場合の像面上でのブレ量は以下のようになる。
Ｏ点での像面上ブレ量[m] ＝０
Ｘ１点での像面上ブレ量[m] ＝Ｌ１[m]×θ[rad]
Ｘ２点での像面上ブレ量[m] ＝Ｌ２[m]×θ[rad]
また、被写体距離が遠い場合、ロール振れによる画像ブレの影響は、画像中心を回転中心として現れる。これは、被写体距離が遠いと、撮影光学系の撮影倍率が小さくなることでシフトブレ影響がほとんどなくなることにより、撮影画像上でのロール振れの回転中心はほとんど画像中心となることによるものである。よって、被写体距離が遠く、シフトブレ影響が小さくなる領域においては、撮影画像の中心からどのくらい離れているかによって、その位置でのロール振れによって受けるブレ影響が変化することになる。

次に、主被写体検知結果に応じた判定について説明する。従来より、デジタルカメラに代表される撮像装置において、人物の顔や動体などを検出する被写体検出機能を利用したオートフォーカス（ＡＦ）方法が知られている。このＡＦ方法では、まず撮像した画像から主被写体を検出し、検出した主被写体に合焦するように合焦制御を行う。このとき、撮影画像の中で主被写体が像ブレしていないことが望ましい撮影である。

ここで、上記で説明したとおり、被写体距離が遠く、ロール振れの画像ブレへの影響は画像中心を回転中心として現れる場合、主被写体が撮影画像上のどの位置にいるかによって主被写体の像ブレ影響度合いが変わってくる。つまり、主被写体が撮影画像中心に近い場合は、ロールによる像ブレが小さくなるのでロール方向の像振れ補正は積極的に行わず、傾き補正の可動範囲を大きくとった方がよい。また、主被写体が撮影画像中心から遠い場合は、ロールによる像ブレは大きくなるのでロール方向の像振れ補正は積極的に行いたいため、ロール方向の像振れ補正の可動範囲を大きくとった方がよい。よって、揺れ状態と、画像中心から主被写体までの距離に応じてロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値を設定する。

次に、図１１を用いてロール方向の像振れ補正、傾き補正の演算方法について説明する。ロール方向の像振れ補正、傾き補正範囲算出部１１０２での演算以外は、第１の実施形態の図３を用いて説明したとおりであるので、以下ロール方向の像振れ補正、傾き補正範囲算出部１１０２での演算について説明する。

第１の実施形態の図４乃至図６で説明したとおり、角速度計から揺れ状態量５０５を算出する。ここで、静止画撮影直前の主被写体検知情報１１０１を取得する。ここで、主被写体検知情報１１０１に応じて、揺れ状態量５０５に乗算するゲインＫｄｉを演算する。

図１３にゲインＫｄｉ算出のテーブル１３０１を示す。画像中心から主被写体までの画像上での距離がＤｉ３より大きいときは、ゲインは１に設定される。画像中心から主被写体までの画像上での距離がＤｉ３よりも小さければ、ゲインＫｄｉは徐々に１よりも小さくなるようにテーブル１３０１が設定されている。そして、画像中心から主被写体までの画像上での距離がＤｉ１よりも小さいとゲインは（１よりも非常に小さい）Ｋｄｉ１に設定されることになる。ここでＤｉ１はこれ以上主被写体が画像中心に近づいてもロール揺れによる撮影画像上のブレ影響は発生しにくい距離となっている。このテーブル１３０１で算出されたゲインＫｄｉを揺れ状態量５０５に乗算して、第１の実施形態で図６乃至図８を用いて説明したようにロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータを設定する。

これにより、画像中心から主被写体までの画像上での距離が近く、ロール揺れによる撮影画像上での主被写体のブレ影響が発生しにくい状況では、ロール方向の像振れ補正よりも傾き補正を優先して制御することができ、傾き補正の効果が十分に確保できる。また、画像中心から主被写体までの画像上での距離が遠く、ロール揺れによる撮影画像上での主被写体のブレ影響が発生しやすい状況では、傾き補正よりもロール方向の像振れ補正を優先して制御することができる。そのため、主被写体が像ブレした撮影画像を得てしまうことを防ぐことができる。

以上より、揺れ状態量と被写体検知情報によるロール方向の像振れ補正範囲上下限値、傾き補正範囲上下限値及びロール方向の像振れ補正制御パラメータの設定は、ロール方向の像振れ補正、傾き補正共に非常に有効となる。

（第４の実施形態）
図１４は、第４の実施形態に係わるカメラが備える像振れ補正装置及び傾き補正装置であり、第１の実施形態の図３の像振れ補正装置を示すブロック図と同じ部分には同一符号を付けてある。第３の実施形態は、以下の点で第１の実施形態と異なる。

第１の実施形態のように回転補正量から撮像素子回転駆動部１１２を介して撮像素子回転補正部１１３を駆動することで回転補正を行うのではなく、回転補正量から画像切り出し振れ補正部１４０１で撮像素子が出力する各撮影フレームの切り出し位置を変更することで振れの影響を軽減させる電子像振れ補正によって回転補正を行う。そのため、図４と図１４のブロック図の違いは以下の通りである。
（１）撮像素子回転駆動部１１２と撮像素子回転補正部１１３が外され、画像切り出し振れ補正部１４０１が設けられている。

画像切り出し振れ補正部１４０１以外は、第１の実施形態の図３を用いて説明したとおりである。画像切り出し振れ補正部１４０１では、第１の実施形態で説明した方法でロール方向の像振れ補正量、傾き補正量を算出し、合成した回転補正量に応じて、切り出し角度を設定し、切り出し角度を変更することでロール方向の像振れ補正と傾き補正を行う。

以上より、動画撮影時においては、撮像素子を回転させるメカ機構の回転補正手段を持たず、撮像手段からの映像信号を切り出して回転補正することでも、ロール方向の像振れ補正と傾き補正の高精度な補正を同時に行うことができる。

本発明は、デジタル一眼レフカメラやデジタルコンパクトカメラの像振れ補正装置に限らずデジタルビデオカメラの撮影や、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮影装置にも搭載できる。

Claims (13)

1. 撮影光学系により結像された被写体像を撮像し、画像を取得する撮像素子を有する撮像装置であって、
   前記撮像装置の角速度を検出し、前記撮影光学系の光軸周りのロール方向の振れ角度である第１の角度を演算する第１の演算手段と、
   前記撮影光学系の光軸周りの前記撮像装置の傾きを検出し、前記傾きの角度である第２の角度を演算する第２の演算手段と、
   前記撮像素子又は前記撮像素子で取得された画像を前記光軸周りに回転させる回転補正手段と、
   前記撮像装置の角速度に関する情報に基づいて、前記撮像装置の揺れ状態量を演算する揺れ状態量演算手段と、
   前記第１の角度及び前記第２の角度及び前記揺れ状態量に基づいて、前記撮像装置の振れ補正量及び前記撮像装置の傾き補正量を演算する補正量演算手段と、
   前記振れ補正量及び前記傾き補正量に基づいて、前記撮像装置の振れ及び前記撮像装置の傾きを補正するために前記回転補正手段を制御する制御手段と、を備え、
   前記補正量演算手段は、前記揺れ状態量に基づいて、前記回転補正手段が補正可能な回転補正範囲のうちの前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲及び前記回転補正手段が補正可能な回転補正範囲のうちの前記第２の角度を補正するために割り当てる傾き補正範囲を変更し、変更した前記ロール方向の振れ補正範囲及び前記傾き補正範囲に基づいて、前記撮像装置の振れ補正量及び前記撮像装置の傾き補正量を演算することを特徴とする撮像装置。
2. 前記補正量演算手段は、前記揺れ状態量が所定値よりも大きい場合の前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲を、前記揺れ状態量が前記所定値以下の場合の前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲よりも広くすることを特徴とする請求項１に記載の撮像装置。
3. 前記補正量演算手段は、前記揺れ状態量が所定値よりも大きい場合の前記第２の角度を補正するために割り当てる傾き補正範囲を、前記揺れ状態量が前記所定値以下の場合の前記第２の角度を補正するために割り当てる傾き補正範囲よりも狭くすることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像装置の角速度を検出し、前記撮影光学系の光軸と直交する第１の軸周りのヨー方向の振れ角度である第３の角度及び前記撮影光学系の光軸及び前記第１の軸の両軸と直交する第２の軸周りのピッチ方向の振れ角度である第４の角度を演算する第２の演算手段をさらに備え、
   前記揺れ状態量演算手段は、前記第１の角度及び前記第３の角度及び前記第４の角度に基づいて、前記撮像装置の揺れ状態量を演算することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記補正量演算手段は、シャッター速度にさらに基づいて、前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲及び前記第２の角度を補正するために割り当てる傾き補正範囲を変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記補正量演算手段は、前記シャッター速度が所定値よりも速い場合の前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲を、前記シャッター速度が前記所定値以下の場合の前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲よりも狭くすることを特徴とする請求項５に記載の撮像装置。
7. 前記補正量演算手段は、前記シャッター速度が所定値よりも速い場合の前記第２の角度を補正するために割り当てる傾き補正範囲が、前記シャッター速度が前記所定値以下の場合の前記第２の角度を補正するために割り当てる傾き補正範囲よりも広くなるように制御することを特徴とする請求項５又は６に記載の撮像装置。
8. 前記撮像素子の出力である画像に含まれる特定の被写体の撮影画面内の位置を主被写体位置として検出する検出手段をさらに備え、
   前記補正量演算手段は、前記主被写体位置にさらに基づいて、前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲及び前記第２の角度を補正するために割り当てる傾き補正範囲を変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
9. 前記補正量演算手段は、前記主被写体位置が画像中央に近い場合の前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲を、前記主被写体位置が画像中央よりも遠い場合の前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲よりも狭くすることを特徴とする請求項８に記載の撮像装置。
10. 前記補正量演算手段は、前記主被写体位置が画像中央に近い場合の前記第２の角度を補正するために割り当てる傾き補正範囲を、前記主被写体位置が画像中央よりも遠い場合の前記第２の角度を補正するために割り当てる傾き補正範囲よりも狭くすることを特徴とする請求項８又は９に記載の撮像装置。
11. 光学系により結像された被写体像を撮像し、画像を取得する撮像素子を有する撮像装置の制御方法であって、
    前記撮像装置の角速度を検出し、前記撮影光学系の光軸周りのロール方向の振れ角度である第１の角度を演算する第１の演算ステップと、
    前記撮影光学系の光軸周りの前記撮像装置の傾きを検出し、前記傾きの角度である第２の角度を演算する第２の演算ステップと、
    前記撮像素子又は前記撮像素子で取得された画像を前記光軸周りに回転させる回転補正ステップと、
    前記撮像装置の角速度に関する情報に基づいて、前記撮像装置の揺れ状態量を演算する揺れ状態量演算ステップと、
    前記第１の角度及び前記第２の角度及び前記揺れ状態量に基づいて、前記撮像装置の振れ補正量及び前記撮像装置の傾き補正量を演算する補正量演算ステップと、
    前記振れ補正量及び前記撮像装置の傾き補正量に基づいて、前記撮像装置の振れ及び前記撮像装置の傾きを補正するために前記回転補正ステップを制御する制御ステップと、を備え、
    前記補正量演算ステップでは、前記揺れ状態量に基づいて、前記回転補正ステップで補正可能な回転補正範囲のうちの前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲及び前記回転補正ステップで補正可能な回転補正範囲のうちの前記第２の角度を補正するために割り当てる傾き補正範囲を変更し、変更した前記ロール方向の振れ補正範囲及び前記傾き補正範囲に基づいて、前記撮像装置の振れ補正量及び前記撮像装置の傾き補正量を演算することを特徴とする撮像装置の制御方法。
12. 前記補正量演算ステップでは、シャッター速度にさらに基づいて、前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲及び前記第２の角度を補正するために割り当てる傾き補正範囲を変更することを特徴とする請求項１１に記載の撮像装置の制御方法。
13. 前記撮像素子の出力である画像に含まれる特定の被写体の撮影画面内の位置を主被写体位置として検出する検出ステップをさらに備え、
    前記補正量演算ステップでは、前記主被写体位置にさらに基づいて、前記第１の角度を補正するために割り当てるロール方向の振れ補正範囲及び前記第２の角度を補正するために割り当てる傾き補正範囲を変更することを特徴とする請求項１１に記載の撮像装置の制御方法。

Images