JP7237701B2

JP7237701B2 - 撮像装置、制御方法およびプログラム

Info

Publication number: JP7237701B2
Application number: JP2019070752A
Authority: JP
Inventors: 光洋齊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-04-02
Filing date: 2019-04-02
Publication date: 2023-03-13
Anticipated expiration: 2039-04-02
Also published as: JP2020170924A

Description

本発明は、撮像装置、制御方法、プログラムおよび記録媒体に関するものである。

撮影者の手ぶれ等による撮像装置のぶれを検出し、検出したぶれを打ち消す方向に撮像素子を揺動させる技術が知られている。また、ＣＭＯＳセンサのような１ライン単位で画像情報が順次読み出されるローリングシャッタ方式の撮像素子の場合、ラインごとに露光時間のずれが生じる。したがって、画像の一番上のラインから一番下のラインまでの露光時間中に手ぶれが生じた場合には、ラインごとの露光時間のずれによって被写体像が歪んでしまう。このような歪みを、ローリングシャッタ歪みという。

特許文献１には、ローリングシャッタ方式の撮像素子と、カメラに加わるブレ成分を検出する検出手段とを有する撮像装置が開示されている。特許文献１の撮像装置は、光軸に直交する方向における結像光学系と撮像素子との相対位置を変更して像ぶれを補正すると共にローリングシャッタ歪みを補正することができる。

特開２０１１－１０３６３１号公報

しかしながら特許文献１の撮像装置では、ぶれ補正を行うことによるカメラ本体と撮像素子との光軸回りの回転角度の相対的な変化について考慮されていないために、ローリングシャッタ歪みを精度良く補正することができないという問題がある。すなわち、特許文献１では、撮像装置に搭載されたジャイロセンサから得られる露光時間中の各軸の動き量をそのまま補正に用いている。しかしながら、実際には光軸回りのぶれ補正するために撮像素子が回転しているために、ジャイロセンサの軸方向と撮像素子の水平および垂直の軸方向とにずれが生じている。そのため、撮像装置に搭載されたジャイロセンサから得られる動き量をそのまま用いて補正しても軸方向のずれの分だけ補正誤差が生じてしまう。

本発明は、上述したような問題点に鑑みてなされたものであり、ローリングシャッタ歪みの補正の精度を向上させることを目的とする。

本発明は、１または複数のラインごとに露光タイミングが異なる撮像素子を揺動させることによりぶれ補正を行う撮像装置であって、該撮像装置の移動情報を取得する第１の取得手段と、前記撮像素子をぶれ補正のために揺動させたときの前記撮像素子の揺動情報を取得する第２の取得手段と、前記第１の取得手段において取得された移動情報と前記第２の取得手段により取得された揺動情報とに基づいて、ローリングシャッタ歪みの補正量を算出する算出手段と、前記算出手段により算出された補正量に基づいてローリングシャッタ歪みを補正する補正手段と、を有し、前記算出手段は、該撮像装置が光軸回りに回転したことに応じて前記撮像素子をぶれ補正のために回転させたときの該撮像装置と前記撮像素子との間の回転角度差に基づいて、前記第１の取得手段において取得された移動情報をローリングシャッタ歪みが生じる方向の移動情報に変換して前記ローリングシャッタ歪みの補正量を算出することを特徴とする。

本発明によれば、ローリングシャッタ歪みの補正の精度を向上させることができる。

第１の実施形態に係る撮像装置の構成を示す図である。撮像装置の動作を示すフローチャートである。ローリングシャッタ歪みの概要を示す図である。ラインごとの読み出しタイミングを説明するための図である。ローリングシャッタ歪みの形状を算出する概要を示す図である。ローリングシャッタ歪みの形状を算出する概要を示す図である。第２の実施形態に係る撮像装置の構成を示す図である。撮像装置の動作を示すフローチャートである。

以下、本発明に係る実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本実施形態に係る撮像装置１００の構成の一例を示す図である。
撮像装置１００は、光学系１０１、撮像素子１０２、現像処理部１０３、手ぶれ補正切替部１０４、移動情報取得部１０５、撮像素子位置情報取得部１０６、メインマイコン１０７を有する。また、撮像装置１００は、ぶれ補正量算出部１０８、撮像素子揺動制御部１０９、ローリングシャッタ歪み補正量算出部１１０、ローリングシャッタ歪み補正部１１１、出力部１１２を有する。

光学系１０１は、被写体像を形成する。撮像素子１０２は、光学系１０１により形成された被写体像を光電変換する。撮像素子１０２には、ラインごとに露光タイミングが異ならせることができるＣＭＯＳセンサ等が用いられる。なお、必ずしも１ラインごとに露光タイミングを異ならせる必要はなく、複数のライン間で蓄積された電荷を積分して出力する場合には、複数のラインごとに露光タイミングを異ならせてもよい。また、撮像素子１０２は、撮像装置１００に対して位置や傾きを変更する機構を備える。現像処理部１０３は、撮像素子１０２から出力される電気信号から画像信号を形成する。また、現像処理部１０３は、Ａ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部を有する。
撮像素子１０２および現像処理部１０３により撮像系が構成される。

手ぶれ補正切替部１０４は、手ぶれ補正の開始および停止の切替え、補正モードの切替えを行う。移動情報取得部１０５は、撮像装置１００に搭載されたジャイロセンサ等から撮像装置１００にぶれが生じたときの移動情報を取得する。移動情報取得部１０５は、第１の取得手段の一例に対応する。撮像素子位置情報取得部１０６は、揺動させた撮像素子の位置情報を取得し、位置情報から揺動情報を取得する。撮像素子位置情報取得部１０６は、第２の取得手段の一例に対応する。
メインマイコン１０７は、撮像装置１００全体の制御を行う。メインマイコン１０７は、メモリに記録されたプログラムを実行することにより後述するフローチャートの処理を実現する。

ぶれ補正量算出部１０８は、移動情報取得部１０５から得られた撮像装置の移動情報に基づいてぶれを補正するためのぶれ補正量を算出する。撮像素子揺動制御部１０９は、ぶれ補正量に基づいてぶれを打ち消すように撮像素子１０２を揺動させる。ローリングシャッタ歪み補正量算出部１１０は、移動情報取得部１０５から得られた撮像装置の移動情報と、撮像素子位置情報取得部１０６から得られた撮像素子の揺動情報とを用いてローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正量算出部１１０は、算出手段の一例に対応する。ローリングシャッタ歪み補正部１１１は、ローリングシャッタ歪み補正量に基づいて、撮影された画像に生じているローリングシャッタ歪みを補正する画像処理を行う。ローリングシャッタ歪み補正部１１１は、補正手段の一例に対応する。出力部１１２は、ぶれとローリングシャッタ歪みとが補正された画像を表示装置に表示したり、記憶装置に記憶したりする。

次に、撮像装置１００の動作の一例について図２のフローチャートを参照して説明する。
図２のフローチャートは、被写体の撮影を始めることで開始される。
Ｓ２０１では、撮像素子１０２は、光学系１０１によって形成された被写体像を被写体輝度に応じたアナログ信号として現像処理部１０３に出力する。現像処理部１０３は、所定の処理を施すことでアナログ画像信号を生成する。現像処理部１０３は、Ａ／Ｄ変換部によってアナログ画像信号をデジタル画像信号に変換する。また、現像処理部１０３は、デジタル画像信号に対して信号レベル補正や白レベル補正を行い、ローリングシャッタ歪み補正部１１１に送信する。

Ｓ２０２では、手ぶれ補正切替部１０４は、手ぶれ補正を実行するか否かを判定し、手ぶれ補正の開始および停止を切替える。具体的には、手ぶれ補正切替部１０４は、撮影者がメニューから指定することに応じて切替えたり、撮像装置の移動情報に基づいて自動で切替えたりすることができる。自動で切替える方法としては、手ぶれ補正切替部１０４は、移動情報取得部１０５から得られた撮像装置の移動情報から、撮像装置１００に生じているぶれが大きい場合には手ぶれ補正を行い、ぶれが小さい場合には手ぶれ補正を行わない方法がある。メインマイコン１０７は、手ぶれ補正切替部１０４で切替えられた結果に基づいて撮像装置１００全体の動作を制御する。

Ｓ２０３では、移動情報取得部１０５は撮像装置１００の移動情報を取得する。移動情報を取得するのにジャイロセンサを用いる場合には、撮像装置１００のパン、チルトおよびロールの移動情報を得ることができる。なお、移動情報を取得するには、ジャイロセンサに限られず、加速度センサ、磁気センサ等の撮像装置の移動情報を得られる他の手段を用いることができる。

Ｓ２０４では、ぶれ補正量算出部１０８は、移動情報取得部１０５から得られた撮像装置の移動情報に基づいてぶれ補正量を算出する。次に、撮像素子揺動制御部１０９は、ぶれ補正量算出部１０８により算出されたぶれ補正量に基づいて、ぶれの移動を打ち消す方向に撮像素子１０２を揺動させる。したがって、撮像装置１００のぶれの移動を補正することができる。

Ｓ２０５では、撮像素子位置情報取得部１０６は、撮像装置１００のぶれを補正するために、揺動した撮像素子１０２の位置情報を取得して、位置情報から撮像素子１０２がどれだけ揺動したかの揺動情報を取得する。撮像素子位置情報取得部１０６は、撮像素子１０２が光軸に対して垂直にシフトした場合には、そのシフト量を取得し、ロールした場合には回転角を取得する。撮像素子位置情報取得部１０６は、取得した撮像素子の揺動情報をローリングシャッタ歪み補正量算出部１１０に送信する。

Ｓ２０６では、ローリングシャッタ歪み補正量算出部１１０は、ローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正量算出部１１０は、移動情報取得部１０５から得られる撮像装置の移動情報に基づいて撮像装置のぶれの移動に起因するローリングシャッタ歪みの形状を算出することによりローリングシャッタ歪み補正量を算出する。

図３は、撮像装置のぶれの移動に起因するローリングシャッタ歪みの概要を示す図である。
図３に示す撮像装置３０１は、水平方向へのぶれが生じているものとする。撮影された画像３０２には、長方形の被写体３０３が含まれている。このとき、露光時間中に撮像装置３０１が水平方向に移動していた場合には、画像中に存在している被写体３０３は、３０４に示すように平行四辺形状に歪んで撮影されてしまう。

このような歪みが生じる原因を説明するために、ローリングシャッタ方式の撮像装置で画像を撮影した場合の画像の各ラインと時間ｔとの関係について図４を参照して説明する。
図４に示すフレームにおける各ライン４０１は、垂直同期信号ＶＤに合わせて順次ラインごとに露光および読み出しを行うことで画像を形成する。
図４に示すようにライン間の読み出しの遅延時間をτ、画像中の全ライン数をＨとすると、先頭行と最終行で（Ｈ－１）×τの読み出し時間のずれが生じることになる。したがって、露光時間中に撮像装置が移動するとラインごとに読み出し時間が異なるため、ラインごとの読み出し時点での撮像装置の位置における画像を撮影することになり、最終的に１枚の画像が形成された際に被写体の歪みとして現れることになる。

このとき、撮像素子１０２を揺動させて撮像装置のぶれ補正をすると、撮像素子１０２の揺動は撮像装置のぶれを打ち消すことになるため、図３（ｂ）に示す３０５のように被写体３０４に生じていたローリングシャッタ歪みが抑制される。ここで、撮像素子の揺動により完全に撮像装置のぶれを補正することができれば、被写体に生じているローリングシャッタ歪みも完全に補正され、図３（ａ）に示す３０３のように本来の形状である長方形として撮影される。しかしながら、実際には撮像装置のぶれの周波数や大きさ、撮像素子の揺動範囲等によっては完全に補正しきれずに、図３（ｂ）に示す３０５のように補正残りとしてローリングシャッタ歪みが残留することがある。
Ｓ２０６では、ローリングシャッタ歪み補正量算出部１１０は、このようなローリングシャッタ歪みの補正残りの形状を推定して、画像処理によりローリングシャッタ歪みを補正するときの補正量を算出する。

図５は、ローリングシャッタ歪みの形状を算出する概要を示す図である。
図５（ａ）は、撮像装置のぶれの移動が生じた際のローリングシャッタ歪みを示している。撮像装置が露光時間中に水平方向に移動した場合、撮影された画像５０１に写される被写体５０２は、実際には５０３に示すように平行四辺形状の歪みが生じる。歪みの形状は、移動情報取得部１０５から得られる露光時間中の撮像装置の移動情報から算出することができる。また、図５（ａ）に示す５０４は、露光時間中の撮像装置の移動量を示しており、横軸が時間ｔ、縦軸が時間ｔにおける撮像装置の移動量ｐ１（ｔ）である。ここで、画像５０１の全ライン数をＨ、１ラインあたりの読み出し開始時間のずれ量をτとすると、最終ラインが読み出される時間はｔ＝τ（Ｈ－１）となる。すなわち、図５（ａ）に示す５０４は、画像の一番上のラインを基準として最終ラインまで読み出される間にどれだけ撮像装置が移動したかを示しており、その値は同時刻における画像５０１のライン間のずれ量と対応している。したがって、撮像装置の移動情報を用いることでローリングシャッタ歪みの形状を算出することができる。ただし、例えば、撮像装置の移動情報をジャイロセンサから取得する場合には、ジャイロセンサからの出力は角度情報であるため、画像上でのライン間のずれ量と対応させるためには、角度が画像上での何画素分の移動に相当するかを換算する必要がある。

図５（ｂ）は、撮像装置のぶれの動きを補正する方向に撮像素子１０２のみを揺動させた場合に生じるローリングシャッタ歪みの概要を示す図である。撮像素子１０２は露光時間中のぶれの移動を打ち消す方向に揺動しているために、揺動により生じるローリングシャッタ歪み５０５は、図５（ａ）に示す撮像装置の移動により生じたローリングシャッタ歪み５０３を左右に反転したような形状となる。揺動によるローリングシャッタ歪みの形状５０５は撮像素子位置情報取得部１０６から得られる露光時間中の撮像素子の揺動情報に基づいて算出することができる。また、図５（ｂ）に示す５０６は、撮像素子１０２の揺動量を示しており、横軸が時間ｔ、縦軸が時間ｔにおける撮像素子１０２の揺動量ｐ２（ｔ）である。このように、図５（ａ）の場合と同様にして撮像素子１０２の揺動情報から得られる揺動量に基づいてローリングシャッタ歪みの形状を算出することができる。ただし、例えば、撮像素子１０２が光軸に対してシフト移動する場合には、その値は移動距離として得られるため、画像上でのライン間のずれ量と対応させるためには、その移動距離が画像上での何画素分の動きに相当するかを換算する必要がある。

撮像装置のぶれの移動を撮像素子１０２の揺動により補正した後のローリングシャッタ歪みの補正残りの形状は、撮像装置の移動によるローリングシャッタ歪みの形状から、撮像素子の揺動によるローリングシャッタ歪みの形状を差し引いたものとなる。すなわち、撮像装置の移動によるローリングシャッタ歪みの形状ｐ１（ｔ）とし、撮像素子の揺動によるローリングシャッタ歪みの形状ｐ２（ｔ）とすると、補正残りのローリングシャッタ歪みの形状ｐ３（ｔ）は以下の式で表される。

なお、撮像装置の移動によるローリングシャッタ歪みの例として、露光時間中に一定の速度で水平方向に移動する場合について説明したが、この場合に限られない。例えば、露光時間中に撮像装置の速度や移動方向が変化した場合でも同様のことである。

次に、撮像装置のぶれを補正するために露光時間中に撮像素子１０２が光軸を中心として回転している場合におけるローリングシャッタ歪みの形状を算出する方法について説明する。このローリングシャッタ歪みの形状の算出には露光時間中において、撮像素子位置情報取得部１０６から得られる撮像素子の揺動情報と、移動情報取得部１０５から得られる撮像装置の移動情報とを用いる。しかしながら、上述した撮像装置に水平方向に移動した際に生じるローリングシャッタ歪みの形状を算出した場合と同様の方法では良好な形状を算出することができない。

図６は、良好なローリングシャッタ歪みの形状を算出することができないことを説明するための概要図である。
図６（ａ）では、撮像装置６０１が静止状態にあるときの撮像装置６０１と撮像素子６０２との位置関係を示している。
図６（ｂ）では、撮像装置６０３に対して回転方向のぶれが生じた場合の撮像装置６０３と撮像素子６０４との位置関係を示している。図６（ｂ）では、撮像装置６０３が時計回りの回転方向にぶれが生じている。このとき、撮像素子６０４は撮像装置に生じたぶれを補正するために反時計回りに回転して、ぶれの発生前の位置を維持しようとする。しかしながら、実際には撮像装置のぶれの周波数や大きさ、撮像素子６０４の揺動範囲等によって回転のぶれを完全に打ち消すことはできず、撮像素子６０４にも回転方向の傾きが生じている。このとき、撮像素子６０４の傾きを生じさせる動きが画像上では回転方向のローリングシャッタ歪みとして現れることになる。

更に、実際には、回転方向のぶれの他にも上述したような水平および垂直方向のぶれ（並進方向のぶれ）も生じている。つまり、撮像素子６０４は、撮像装置６０３の位置姿勢に対して相対的に回転方向にずれが生じている状態で並進方向のぶれの影響を受けていることになる。
以下では、このような回転方向のずれおよび並進方向のぶれが生じている状態でのローリングシャッタ歪みの形状を算出する方法について図６を参照して説明する。
図６（ａ）に示す座標６０５および図６（ｂ）に示す座標６０７は、それぞれの撮像装置６０１、６０３の状態においてジャイロセンサの各軸の方向を示している。
図６（ａ）に示す座標６０６および図６（ｂ）に示す座標６０８は、それぞれの撮像素子６０２、６０４の水平方向、垂直方向を示している。

図６（ａ）に示すように、撮像素子６０２が回転方向に揺動していない状態では、座標６０５および座標６０６に示すように、撮像装置６０１に搭載のジャイロセンサのピッチ方向と撮像素子６０２の垂直方向とが一致する。また、ジャイロセンサのヨー方向と撮像素子６０２の水平方向とが一致する。したがって、例えばジャイロセンサから得られるピッチ方向の移動情報をそのまま用いることで、画像に表われる垂直方向のローリングシャッタ歪みの形状を算出することができる。同様に、ジャイロセンサから得られるヨー方向の移動情報をそのまま用いることで水平方向のローリングシャッタ歪みの形状を算出することができる。

一方、図６（ｂ）に示すように、撮像素子６０４が回転方向に揺動している場合を想定する。ここで、撮像素子６０４の揺動により、ぶれが完全に抑制される場合にはローリングシャッタ歪みは発生しないが、実際には制御の遅延や揺動可能範囲の制約等により、ぶれの補正残りが生じる。ぶれの補正残りが生じるということは、補正残りに伴ってローリングシャッタ歪みが生じている。したがって、ローリングシャッタ歪みを補正する必要があるが、撮像素子６０４はぶれを補正するために撮像装置６０３に対して相対的に回転方向に揺動している。そのために、撮像装置６０３に搭載のジャイロセンサの座標６０７の軸方向の傾きと、撮像素子６０４の座標６０８の水平方向および垂直方向は傾きとは異なる。このように、ぶれ補正のために撮像素子６０４が回転している場合には、撮像装置６０３に搭載のジャイロセンサの各軸方向と、撮像素子６０４の水平方向および垂直方向にずれが生じる。したがって、図６（ａ）の場合と同様に、例えばジャイロセンサから得られるピッチ方向の移動情報をそのまま用いても、軸方向のずれが誤差要因となるため撮像素子６０４に生じている垂直方向のローリングシャッタ歪みの形状を精度よく算出することができない。同様に、ジャイロセンサから得られるヨー方向の移動情報をそのまま用いても、撮像素子６０４に生じている垂直方向のローリングシャッタ歪みの形状を精度よく算出することができない。

本実施形態では、撮像装置に搭載のジャイロセンサの各軸方向と、撮像素子の水平方向および垂直方向とのずれを考慮することで、撮像素子が回転している場合でもローリングシャッタ歪みの形状を精度よく算出できるようにする。
ここでは、撮像装置のジャイロセンサの各軸方向を、ローリングシャッタ歪みが生じている方向に変換する。ローリングシャッタ歪みが生じている方向とは撮像素子の水平方向および垂直方向である。変換には、撮像装置の移動情報および撮像素子の揺動情報に基づいて算出される撮像装置と撮像素子との間の回転角度差を用いる。
具体的には、図６（ｂ）に示すように、露光時間中のある時刻ｔにおける撮像装置と撮像素子との間の相対的な回転角度差をα（ｔ）とする。また、変換後のヨー方向のローリングシャッタ歪みの形状をＹ´（ｔ）とし、変換後のピッチ方向のローリングシャッタ歪みの形状Ｐ´（ｔ）とすると、それぞれ以下のように表せる。

ここで、Ｙ（ｔ）は露光時間中のある時刻ｔにおけるジャイロセンサから得られるヨー方向の移動量であり、Ｐ（ｔ）は露光時間中のある時刻ｔにおけるジャイロセンサから得られるピッチ方向の移動量である。
図６（ｃ）は（式２）を用いて、ピッチ方向の移動量Ｐおよびヨー方向の移動量Ｙを回転角度差αに基づいて変換した後の移動量Ｐ’および移動量Ｙ’を示している。

また、ロール方向のローリングシャッタ歪みについては、ジャイロセンサから得られるロール方向の移動量ではなく、上述した回転角度差α（ｔ）に基づいて、ローリングシャッタ歪みの形状を算出することができる。ロール方向のローリングシャッタ歪み形状の算出方法の一例として、画像の各ラインを回転角度差α（ｔ）だけ回転させる方法がある。ロール方向のローリングシャッタ歪み形状は、画像の回転変換行列Ｒ´（ｔ）を用いて次式により表すことができる。

上記の回転変換行列を時刻ｔごとに算出することで撮像素子の各ラインに対するロール方向のローリングシャッタ歪みの形状を算出することができる。
更に、各ラインの１画素ごとに（式３）を適用することにより、ラインごとの回転方向への一括変換ではなく、１画素ごとの撮像素子に対する水平および垂直方向への並進量として算出することができる。
したがって、回転方向のローリングシャッタ歪みの形状を（式２）のヨー方向とピッチ方向のローリングシャッタ歪みの形状と足し合わせて表することができる。
露光時間中のある時刻ｔにおける画像上のある画素の座標を（ｘ（ｔ）、ｙ（ｔ））とすると、その座標におけるロール方向のローリングシャッタ歪みによる移動後の座標（ｘ´（ｔ）、ｙ´（ｔ））は次式のように表される。

（式２）および（式４）は共に画素の並進量を示しており、画像中の当該画素に対して（式２）および（式４）により合算することで、ヨー方向、ピッチ方向およびロール方向のローリングシャッタ歪みの形状をまとめて表すことができる。
したがって、ロール方向のぶれを補正するために撮像素子が回転している場合であっても、ローリングシャッタ歪みの形状を精度よく算出することができる。また、上述の露光時間中のある時刻ｔについては、撮像素子の１ラインごとの読み出し完了時とすれば時間分解能としては十分である。ただし、演算量を削減するために、より離散的な時間間隔、例えば露光時間中に等間隔に１０点程度について（式２）を算出して、その間の期間を区分２次補間等の補間手法を用いて補間する方法を用いてもよい。

ローリングシャッタ歪み補正量算出部１１０は上述した算出方法を用いて算出したローリングシャッタ歪み形状の情報に基づいて、ローリングシャッタ歪みを補正する補正量を算出する。算出したローリングシャッタ歪み形状の情報により、画像の各画素がローリングシャッタ歪みにより何れの座標位置に移動したかを把握できることから、ローリングシャッタ歪み補正量算出部１１０は元の座標位置に戻す移動量を補正量として算出する。すなわち、上述した（式２）および（式４）に基づいて、合算されたローリングシャッタ歪み全体の補正量が算出される。ローリングシャッタ歪み補正量算出部１１０は算出した補正量をローリングシャッタ歪み補正部１１１に伝送する。

Ｓ２０７では、ローリングシャッタ歪み補正部１１１は、ローリングシャッタ歪み補正量算出部１１０から得られた補正量に基づいて、入力画像に対してローリングシャッタ歪みの補正を行う。したがって、入力画像の画素が元の座標位置に戻るように移動させることができるので、画像中の全てのラインが同じタイミングで撮影されたような画像を得ることができる。次に、出力部１１２では、ローリングシャッタ歪みが補正された画像を表示装置に表示したり、記憶装置に記憶したりする。
なお、ここでは、ローリングシャッタ歪み補正部１１１は、ローリングシャッタ歪み補正を１画素ごとに移動させて補正する場合について説明したが、この場合に限られない。ローリングシャッタ歪みは画像の読み出しのタイミングがラインごとに異なっている。換言すると、同一ライン上の全ての画素は一様な移動が生じている。したがって、ローリングシャッタ歪み補正部１１１は画像の１ライン単位でローリングシャッタ歪みを補正してもよい。

このように、本実施形態によれば、撮像装置の移動情報を、ぶれ補正のために揺動させたときの撮像素子の揺動情報に基づいて、ローリングシャッタ歪みが生じる方向の移動情報に変換した上でローリングシャッタ歪みの補正量を算出する。したがって、撮像素子が光軸回りに回転している場合であってもローリングシャッタ歪みを精度よく補正することができる。また、ローリングシャッタ歪みが生じる方向とは、撮像素子の水平方向および垂直方向であることから、撮像装置の移動情報を撮像素子の水平方向および垂直方向に変換することでより正確なローリングシャッタ歪みの補正量を算出することができる。

また、本実施形態によれば、撮像装置の移動に起因するローリングシャッタ歪みの形状と、ぶれ補正による撮像素子の揺動に起因するローリングシャッタ歪みの形状とを個別に算出する。したがって、ローリングシャッタ歪みの形状を算出するのに適した算出手法を用いることができるので良好なローリングシャッタ歪み補正を行うことができる。

（第２の実施形態）
本実施形態では、撮像装置のぶれ補正を撮像素子に加えて光学系でも行う場合について説明する。図７は、第２の実施形態の撮像装置７００の構成の一例を示す図である。なお、図７では、第１の実施形態と同様の構成は、図１と同一符号を付して適宜、説明を省略する。
撮像装置７００は、ぶれ補正光学系７０１、ぶれ補正部材位置情報取得部７０２を有する。ぶれ補正部材位置情報取得部７０２は、ぶれ補正により揺動させた撮像素子の位置情報に加えて、ぶれ補正により揺動させたぶれ補正光学系７０１の位置情報も取得する。ぶれ補正部材位置情報取得部７０２は、第２の取得手段および第３の取得手段の一例に対応する。

次に、撮像装置７００の動作について図８のフローチャートを用いて説明する。なお、図２のフローチャートと同様の処理は同一ステップ番号を付して適宜、説明を省略する。
Ｓ８０１では、ぶれ補正量算出部１０８は、移動情報取得部１０５から得られた撮像装置の移動情報に基づいてぶれ補正量を算出する。次に、撮像素子揺動制御部１０９は、ぶれ補正量算出部１０８により算出されたぶれ補正量に基づいて、ぶれの動きを打ち消す方向に撮像素子１０２およびぶれ補正光学系７０１を揺動させる。ここで、撮像素子１０２およびぶれ補正光学系７０１のそれぞれでどのようなぶれ補正を行うかについては限定されない。ぶれ補正方法の一例として、ぶれ補正光学系７０１で可能な限り補正を行い、残ったぶれを撮像素子１０２で補正するという方法がある。また、他のぶれ補正方法の一例として、ピッチ方向とヨー方向についてはぶれ補正光学系７０１で補正を行い、並進やロール方向については撮像素子１０２で補正するというように、ぶれの方向によって分担して補正する方法であってもよい。

Ｓ８０２では、ぶれ補正部材位置情報取得部７０２は、撮像装置１００のぶれを補正するために、撮像素子１０２およびぶれ補正光学系７０１の位置情報を取得して、位置情報から撮像素子およびぶれ補正光学系の揺動情報を取得する。
Ｓ８０３では、ローリングシャッタ歪み補正量算出部１１０は、ローリングシャッタ歪み補正量を算出する。
本実施形態では、ぶれ補正光学系の揺動情報を考慮することで、ローリングシャッタ歪みの形状を精度よく算出できるようにする。
ここで、画像上に表われるローリングシャッタ歪みの形状は、撮像装置の移動によるローリングシャッタ歪みの形状から、撮像素子１０２およびぶれ補正光学系７０１の揺動によるローリングシャッタ歪みの形状を差し引いたものとなる。すなわち、露光時間中のある時刻ｔにおける、補正残りのローリングシャッタ歪みの形状ｐ３（ｔ）は以下の式で表される。

ここで、ｐ１（ｔ）は、撮像装置の移動によるローリングシャッタ歪みの形状であり、ｐ２（ｔ）は撮像素子の揺動によるローリングシャッタ歪みの形状であり、ｐ４（ｔ）はぶれ補正光学系の揺動によるローリングシャッタ歪みの形状である。
次に、撮像装置のぶれを補正するために露光時間中に撮像素子１０２およびぶれ補正光学系７０１が揺動している場合におけるローリングシャッタ歪みの形状の算出方法について説明する。本実施形態でも、撮像装置に搭載のジャイロセンサの各軸方向と、撮像素子の水平方向および垂直方向にずれが生じている。本実施形態では、撮像装置のぶれを補正するためにぶれ補正光学系７０１も揺動させている。したがって、ローリングシャッタ歪みの形状を算出するには、ぶれ補正部材位置情報取得部７０２から得られる露光時間中の撮像素子およびぶれ補正光学系の揺動情報と、移動情報取得部１０５から得られる撮像装置の移動情報とを用いる。すなわち、最終的に画像上に表われているローリングシャッタ歪みの形状は、ジャイロセンサから得られるヨー方向およびピッチ方向の移動量からぶれ補正光学系によって補正された揺動量を差し引いた値を用いて算出する必要がある。

本実施形態でも、撮像装置のジャイロセンサの各軸方向を、ローリングシャッタ歪みが生じている方向に変換する。具体的には、露光時間中のある時刻ｔにおける撮像装置と撮像素子との間の相対的な回転角度差をα（ｔ）とする。また、変換後のヨー方向のローリングシャッタ歪みの形状をＹ´（ｔ）とし、変換後のピッチ方向のローリングシャッタ歪みの形状Ｐ´（ｔ）とすると、それぞれ以下のように表せる。

ここで、Ｙｇ（ｔ）、Ｐｇ（ｔ）はそれぞれ、露光時間中のある時刻ｔにおけるジャイロセンサから得られたヨー方向およびピッチ方向の移動量である。また、Ｙｏ（ｔ）、Ｐｏ（ｔ）はそれぞれ、露光時間中のある時刻ｔにおけるぶれ補正光学系によるヨー方向およびピッチ方向の揺動量である。
また、ロール方向のローリングシャッタ歪みについては、第１の実施形態と同様にジャイロセンサから得られるロール方向の移動量ではなく、上述した回転角度差α（ｔ）に基づいて、ローリングシャッタ歪みの形状を算出することができる。

Ｓ８０３では、ローリングシャッタ歪み補正量算出部１１０は上述した算出方法を用いて算出したローリングシャッタ歪み形状の情報に基づいて、ローリングシャッタ歪みを補正する補正量を算出する。この処理は、第１の実施形態と同様である。

このように、本実施形態によれば、撮像装置の移動情報を、ぶれ補正のために揺動させたときの撮像素子の揺動情報とぶれ補正光学系の揺動情報とに基づいて、ローリングシャッタ歪みが生じる方向の移動情報に変換してローリングシャッタ歪みの補正量を算出する。したがって、撮像装置にぶれ補正光学系を有する場合でも、ローリングシャッタ歪みを精度よく補正することができる。

以上、本発明を種々の実施形態について説明したが、本発明は上述した実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態を適時、組み合わせてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：光学系１０２：撮像素子１０３：現像処理部１０４：手ぶれ補正切替部１０５：移動情報取得部１０６：撮像素子位置情報取得部１０７：メインマイコン１０８：ぶれ補正量算出部１０９：撮像素子揺動制御部１１０：ローリングシャッタ歪み補正量算出部１１１：ローリングシャッタ歪み補正部１１２：出力部７０１：ぶれ補正光学系７０２：ぶれ補正部材位置情報取得部

Claims

１または複数のラインごとに露光タイミングが異なる撮像素子を揺動させることによりぶれ補正を行う撮像装置であって、
該撮像装置の移動情報を取得する第１の取得手段と、
前記撮像素子をぶれ補正のために揺動させたときの前記撮像素子の揺動情報を取得する第２の取得手段と、
前記第１の取得手段において取得された移動情報と前記第２の取得手段により取得された揺動情報とに基づいて、ローリングシャッタ歪みの補正量を算出する算出手段と、
前記算出手段により算出された補正量に基づいてローリングシャッタ歪みを補正する補正手段と、を有し、
前記算出手段は、
該撮像装置が光軸回りに回転したことに応じて前記撮像素子をぶれ補正のために回転させたときの該撮像装置と前記撮像素子との間の回転角度差に基づいて、前記第１の取得手段において取得された移動情報をローリングシャッタ歪みが生じる方向の移動情報に変換して前記ローリングシャッタ歪みの補正量を算出することを特徴とする撮像装置。
１または複数のラインごとに露光タイミングが異なる撮像素子を揺動させることによりぶれ補正を行う撮像装置であって、
該撮像装置の移動情報を取得する第１の取得手段と、
前記撮像素子をぶれ補正のために揺動させたときの前記撮像素子の揺動情報を取得する第２の取得手段と、
前記第１の取得手段において取得された移動情報と前記第２の取得手段により取得された揺動情報とに基づいて、ローリングシャッタ歪みの補正量を算出する算出手段と、
前記算出手段により算出された補正量に基づいてローリングシャッタ歪みを補正する補正手段と、を有し、
前記算出手段は、
該撮像装置が光軸回りに回転したことに応じて前記撮像素子をぶれ補正のために回転させたときの該撮像装置と前記撮像素子との間の回転角度差から算出した光軸回りにおける補正量を加えて、前記ローリングシャッタ歪みの補正量を算出することを特徴とする撮像装置。
前記算出手段は、
前記第１の取得手段において取得された移動情報を、前記撮像素子に対する垂直方向および水平方向の移動情報に変換することを特徴とする請求項１または２に記載の撮像装置。
前記第１の取得手段により取得された移動情報に基づいて、光学系をぶれ補正のために揺動させたときの前記光学系の揺動情報を取得する第３の取得手段を有し、
前記算出手段は、
前記第１の取得手段において取得された移動情報を、前記第２の取得手段により取得された揺動情報および前記第３の取得手段により取得された揺動情報に基づいてローリングシャッタ歪みが生じる方向の移動情報に変換してローリングシャッタ歪みの補正量を算出することを特徴とする請求項１ないし３の何れか１項に記載の撮像装置。
前記算出手段は、
前記撮像素子の１または複数のラインごとに、前記第１の取得手段において取得された移動情報を、ローリングシャッタ歪みが生じる方向の移動情報に変換することを特徴とする請求項１ないし４の何れか１項に記載の撮像装置。
１または複数のラインごとに露光タイミングが異なる撮像素子を揺動させることによりぶれ補正を行う撮像装置の制御方法であって、
該撮像装置の移動情報を取得する第１の取得ステップと、
前記撮像素子をぶれ補正のために揺動させたときの前記撮像素子の揺動情報を取得する第２の取得ステップと、
前記第１の取得ステップにおいて取得された移動情報と前記第２の取得ステップにより取得された揺動情報とに基づいて、ローリングシャッタ歪みの補正量を算出する算出ステップと、
前記算出ステップにより算出された補正量に基づいてローリングシャッタ歪みを補正する補正ステップと、を有し、
前記算出ステップは、
該撮像装置が光軸回りに回転したことに応じて前記撮像素子をぶれ補正のために回転させたときの該撮像装置と前記撮像素子との間の回転角度差に基づいて、前記第１の取得ステップにおいて取得された移動情報をローリングシャッタ歪みが生じる方向の移動情報に変換して前記ローリングシャッタ歪みの補正量を算出することを特徴とする撮像装置の制御方法。
１または複数のラインごとに露光タイミングが異なる撮像素子を揺動させることによりぶれ補正を行う撮像装置の制御方法であって、
該撮像装置の移動情報を取得する第１の取得ステップと、
前記撮像素子をぶれ補正のために揺動させたときの前記撮像素子の揺動情報を取得する第２の取得ステップと、
前記第１の取得ステップにおいて取得された移動情報と前記第２の取得ステップにより取得された揺動情報とに基づいて、ローリングシャッタ歪みの補正量を算出する算出ステップと、
前記算出ステップにより算出された補正量に基づいてローリングシャッタ歪みを補正する補正ステップと、を有し、
前記算出ステップは、
該撮像装置が光軸回りに回転したことに応じて前記撮像素子をぶれ補正のために回転させたときの該撮像装置と前記撮像素子との間の回転角度差から算出した光軸回りにおける補正量を加えて、前記ローリングシャッタ歪みの補正量を算出することを特徴とする撮像装置の制御方法。
コンピュータを、請求項１ないし５の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１ないし５の何れか１項に記載の撮像装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。