JP6178572B2 - 撮像装置、像ブレ補正装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置において、画像を変形する方式を用いて、撮像装置の振れに起因する撮像画像の振れを補正する技術に関するものである。

近年、撮像装置に用いる撮像素子として、ＣＭＯＳイメージセンサが急速に普及してきている。ＣＭＯＳイメージセンサを用いて動画撮影を行う場合、ＣＭＯＳイメージセンサの隅から１画素ずつ走査するように、蓄積された電荷を順次読みだしていく。本読み出し方法は、ローリングシャッタ方式と呼ばれ、画素毎の露光期間に時間的なずれを持った撮像方式である。この時間的なずれ量は１画素分（同一ラインの横方向の画素位置）の場合はほとんど無視できるが、ライン方向では無視できないずれ量となってくる。このようなＣＭＯＳイメージセンサを用いて動画撮影を行う場合、撮像装置に振れが加わることによって撮像面上での被写体像の位置が移動した時に、露光期間に時間的なずれが存在することに起因する撮像画像の歪み（ローリングシャッタ歪み）が生じる。

このようなローリングシャッタ歪みを補正する方法として、特許文献１には、次のような方法が提案されている。即ち、ＣＭＯＳイメージセンサの読み出しのタイミングに同期して、撮像装置に生じる振れ量を離散的に取得し、取得した振れ量に基づいて、ローリングシャッタ歪みを補正する。

特開２００６−１８６４８１号公報

しかし、上記従来例では、ローリングシャッタ歪みの補正量の演算において、各ラインの露光期間の中央の時刻に取得した振れ量に基づき、対応するラインのローリングシャッタ歪みの補正量を演算していたため、以下のような問題が生じることがあった。

即ち、振れの検出に一般的に用いられる角速度センサや加速度センサ等は、本来の振れ情報に加えて機械的或いは電気的なノイズが重畳されて出力される。このような、ノイズが含まれた振れ情報に基づいてローリングシャッタ歪みの補正を行うと、本来の手振れによる画像の歪みとは異なった補正を行ってしまい、補正された画像には新たな歪みが発生してしまう。また、撮像装置のズーム倍率が上がり、焦点距離が大きくなってくるほどノイズの影響は顕著に表れる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ローリングシャッタ歪みの補正量を演算する際の振れ検出のノイズの影響を低減し、品位の高い映像を撮影することができる撮像装置を提供することである。

本発明に係わる像ブレ補正装置は、撮像装置が振れたとき、撮像面上の画素毎の露光期間に時間的なずれがある撮像手段の、画素毎の露光期間に時間的なずれがあることによって発生する画像の歪みを補正する補正手段と、前記撮像装置の振れを検出する振れ検出手段の出力に基づいて、前記補正手段による補正量を演算する演算手段と、を備え、前記演算手段は、前記振れ検出手段の出力を前記撮像面上の像の変位量に変換する変換手段と、前記変位量を積分する積分手段とを有し、前記演算手段は、前記撮像手段の画素のラインのうち、離散的に間引かれた複数のラインに対応する複数の補正量を演算するとともに、各ラインに対応する補正量を、該当するラインの露光期間の中央を含む所定時間範囲に含まれる複数の前記振れ検出手段の出力に基づいて演算し、前記演算手段は、前記撮像手段の各ラインに対応する前記補正量を、前記所定時間範囲の開始時刻における前記積分手段の出力と、前記所定時間範囲の終了時刻における前記積分手段の出力とを用いて算出することを特徴とする。

本発明によれば、ローリングシャッタ歪みの補正量を演算する際の振れ検出のノイズの影響を低減し、品位の高い映像を撮影することができる撮像装置を提供することが可能となる。

第１の実施形態における撮像装置の構成の一例を示すブロック図。 ローリングシャッタ歪みを説明するための図。 ローリングシャッタ歪み補正部１２８におけるラインと補正量の対応を説明するための図 ローリングシャッタ歪み補正部１２８の動作を説明するための図。 第１の実施形態におけるローリングシャッタ歪み補正量演算部２００の構成の一例を示すブロック図。 ローリングシャッタ歪み補正量演算部２００で生成されるローリングシャッタ歪み補正量と、撮像素子の露光期間の対応を説明するための図。 ローリングシャッタ歪み補正量演算部２００の動作を説明するためのタイムチャート。 ローリングシャッタ歪み補正量演算部２００の動作を説明するためのフローチャート。 ローリングシャッタ歪み補正量演算部２００でローリングシャッタ歪み補正量の演算に用いるブレデータの範囲を説明するための図。 従来手法において生成されるローリングシャッタ歪み補正量を説明するための図。 従来手法におけるローリングシャッタ歪みの補正画像を説明するための図。 第１の実施形態の撮像装置において生成される、ローリングシャッタ歪み補正量を説明するための図。 第２の実施形態におけるローリングシャッタ歪み補正量演算部２００の動作を説明するためのフローチャート。 第３の実施形態における撮像装置の構成の一例を示すブロック図。 第３の実施形態におけるローリングシャッタ歪み補正量演算部２００の構成の一例を示すブロック図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の撮像装置の第１の実施形態としてのビデオカメラの構成を示すブロック図である。以下、図１の撮像装置１００の各構成部とその動作について具体的に説明する。

（撮像装置の全体構成）
角速度センサ１０２は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、角速度センサ１０２からの角速度信号をデジタル化して、角速度データとしてμＣＯＭ１０１内部のローリングシャッタ歪み補正量演算部２００に供給する。ここで、ＲＳとはローリングシャッタの略称のことである。

撮像光学系１２０は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子１２５に結像させる。ズームエンコーダ１１９は、撮像光学系１２０の中の変倍光学系１２１の位置（ズーム位置）を検出し、μＣＯＭ１０１内部のローリングシャッタ歪み補正量演算部２００に出力する。

撮像制御部１２３は、動画像のフレームレートやシャッタ速度等の撮像素子１２５の撮像タイミングを制御するための信号を生成し、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１２４及び、ローリングシャッタ歪み補正量演算部２００に共有する。ＴＧ１２４は、撮像制御部１２３からの信号に基づいて撮像素子１２５を駆動する。撮像素子１２５は、撮像光学系１２０によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１２６に供給する。信号処理部１２６は、撮像素子１２５により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ１２７に供給する。

ローリングシャッタ歪み補正部１２８は、ローリングシャッタ歪み補正量演算部２００の演算結果に従って、画像メモリ１２７に格納された撮像画像に生じたローリングシャッタ歪みを補正する。ローリングシャッタ歪み補正量演算部２００及びローリングシャッタ歪み補正部１２８の詳細は後述する。

ローリングシャッタ歪み補正部１２８によって、ローリングシャッタ歪みが補正された画像（映像信号）は、記録制御部１２９及び表示制御部１３１に供給される。表示制御部１３１は、ローリングシャッタ歪み補正部１２８から供給された映像信号を出力して表示デバイス１３２に画像を表示させる。表示制御部１３１は表示デバイス１３２を駆動し、表示デバイス１３２は液晶表示素子（ＬＣＤ）等により画像を表示する。また、記録制御部１２９は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、ローリングシャッタ歪み補正部１２８から供給された映像信号を記録媒体１３０に出力し、記録させる。記録媒体１３０は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

（ローリングシャッタ歪み補正部１２８の処理）
次に、本実施形態における、ローリングシャッタ歪み補正部１２８の動作について説明する。図２はローリングシャッタ歪みを説明するための図である。例えば、撮像装置を静止させた状態で、静止している正方形の被写体を撮影した時の撮像画像は、図２（ａ）のように正方形の被写体像として撮像される。同じ被写体を、撮像装置を右から左の方向に動かしながら撮影すると、被写体像は左から右に向かって移動する。このとき、撮像素子１２５の露光時間は、ライン毎（画素毎）に時間的なずれを持っているため、図２（ｂ）のように被写体像はひし形に歪むことになる。また、撮影時に撮像装置を上下方向に動かしながら撮影した場合は、図２（ｃ）のように、被写体像が上下方向に伸びたり、縮んだりした画像になる。これが、ローリングシャッタ現象やフォーカルプレーン現象と呼ばれる現象であり、本実施形態ではこの現象による画像の歪みを「ローリングシャッタ歪み」と呼ぶ。

なお、上述の説明では、撮像装置を左右もしくは上下に動かして静止しいている被写体を撮影した時に発生するローリングシャッタ歪みについて説明した。しかし、撮影中に相対的に被写体像が移動する状況であれば、ローリングシャッタ歪みが発生する。つまり、移動している被写体を、静止した撮像装置で撮影したような場合である。しかしながら、認識できるほどのローリングシャッタ歪みが生じるのは、被写体が高速で移動している場合である。また、動画においては、被写体像そのものが移動しているので、ローリングシャッタ歪みが認識されるのは稀である。よって、本実施形態では、撮像装置が動くとこによる被写体像の移動、特に、手振れや歩行時の揺れによって生じるローリングシャッタ歪みを補正の対象として扱う。

上述したような手振れや歩行時の揺れによるローリングシャッタ歪みを補正するためには、露光期間の時間差中に生じた撮像面上での振れ量を演算する必要がある。ここで、撮像素子上のある画素の露光期間を基準としたときの、着目画素での振れ量を、角速度センサ等を用いて演算する。ここで、露光期間の時間差は、同一ラインの横方向の画素間の場合は無視できるほど小さい。このため、同一ライン内の画素は同一の露光期間であるとして扱い、ライン間の露光期間の時間差によって生じる振れ量を演算する。しかしながら、全ライン分の振れ量を演算して保持するためには、演算量が多くシステムへの負担が大きくなり、またメモリを多く必要とする。したがって、本実施形態では、離散的に間引かれたラインに対応する振れ量を算出し、その間のラインに対応する振れ量は補間によって求める。

図３に示した例では、１画面を構成するラインをＬ０〜Ｌ８の９本のラインに間引いている。図３の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪みの補正量（以下、ローリングシャッタ歪み補正量）であり、時刻Ｔ０〜Ｔ８におけるローリングシャッタ歪み補正量Ｃ０〜Ｃ８をプロットしたグラフである。時刻Ｔ０〜Ｔ８は、ラインＬ０を基準としたときの各ラインの露光期間の時間差であり、時刻Ｔ０から、それぞれのラインに対応する時刻までの間に生じた振れ量から、ローリングシャッタ歪みの補正量であるローリングシャッタ歪み補正量Ｃ０〜Ｃ８を算出する。ローリングシャッタ歪み補正部１２８では、離散的なローリングシャッタ歪み補正量Ｃ０〜Ｃ８に基づき、線形補完、多項式近似、最小二乗法など公知の方法を用いて、撮像画像の全ラインに対応するローリングシャッタ歪み補正量を算出して歪みを補正する。

図４は、ローリングシャッタ歪み補正部１２８において行われる、ローリングシャッタ歪み補正を行う方法について説明する図である。図４（ａ）は画像の横方向のローリングシャッタ歪み補正、図４（ｂ）は画像の縦方向のローリングシャッタ歪み補正の様子を示している。図４（ｃ）は、図４（ａ）（ｂ）でローリングシャッタ歪みが補正された後の出力画像を示している。

図４（ａ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の小さいひし形の図形は、元々正方形だった被写体像が、撮像装置に横方向の振れが加わってローリングシャッタ歪みが生じたことにより、斜めに歪んで撮像された様子を示している。図４（ａ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時刻Ｔ０〜Ｔ８におけるローリングシャッタ歪み補正量をプロットしたグラフである。

ローリングシャッタ歪み補正部１２８では、撮像画像の全画像ラインに対応するローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正量の算出には、離散的なデータである時間Ｔ０〜Ｔ８におけるローリングシャッタ歪み補正量Ｃ０〜Ｃ８を用いるとともに、線形補完、多項式近似、最小二乗法など公知の方法を用いて補正量を補間する。ローリングシャッタ歪み補正部１２８は、このローリングシャッタ歪み補正量に従って、水平方向の画像読み出し開始位置を各画像ライン毎に変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図４（ａ）の大きいひし形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。

図４（ｂ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像装置に縦方向に振れが加わってローリングシャッタ歪みが生じたことにより、撮像画像内部の小さい横長の長方形の図形は、元々正方形だった被写体（図４（ｂ）の点線部）が、縦に縮むように歪んで撮像された様子を示している。図４（ｂ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間Ｔ０〜Ｔ８におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。

ローリングシャッタ歪み補正部１２８では、上述したように、離散的なデータである時間Ｔ０〜Ｔ８におけるローリングシャッタ歪み補正量Ｃ０〜Ｃ８から、撮像画像の全画像ラインに対応するローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部１２８は、このローリングシャッタ歪み補正量に従って、画像読み出しラインを上下にずらして変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図４（ｂ）の撮像画像の範囲のすぐ内側の長方形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。なお、図４（ｂ）の点線部がローリングシャッタ歪み補正を行わないときの画像読み出し範囲である。こようにして、手振れや歩行時の揺れによって生じるローリングシャッタ歪み補正することができる。

（ローリングシャッタ歪み補正量演算部の処理）
次に、本実施形態における、ローリングシャッタ歪み補正量演算部２００の動作について具体的に説明する。

図５は、ローリングシャッタ歪み補正量演算部２００の構成を示したブロック図である。図５において、タイミング制御部２０１は、撮像制御部１２３からの信号を受け取り、撮像素子１２３の露光期間にタイミングを合わせてローリングシャッタ歪み補正量の演算を行うように、ローリングシャッタ歪み補正量演算部２００全体を制御するブロックである。積分器２０２には、Ａ／Ｄ変換器１０３からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向の角速度データが供給される。積分器２０２は、ＹＡＷ方向またはＰＩＴＣＨ方向の角速度データを積分して角度データを生成する。焦点距離演算部２０５は、前述したズームエンコーダ１１９の出力から、撮像光学系１２０の焦点距離を算出し、振れ量変換部２０３の演算に用いる焦点距離を設定する。振れ量変換部２０３は、積分器２０２の出力に、焦点距離演算部２０５によって算出された焦点距離ｆを乗算して、ＹＡＷ方向またはＰＩＴＣＨ方向の振れによって生じる、撮像面上での被写体像の移動量（変位量）を算出する。補正量演算部２０４は、タイミング制御部２０１で生成された情報に基づいて、振れ量変換部２０３の出力を取得し、ライン毎のローリングシャッタ歪み補正量を出力し、ローリングシャッタ歪み補正部１２８に供給する。

図６は、ＣＭＯＳイメージセンサにおける各ラインの露光タイミングと、ローリングシャッタ歪み補正量の演算に用いる振れデータの範囲について説明する図である。以下では、角速度センサ１０２の出力及び、そこから生成される角速度、角度、撮像面上の振れ量等の情報を、単に振れデータと呼ぶ。

例えば、図６に示したように、撮像素子は、１／６０秒の周期で露光が行われ、露光期間（シャッタ速度）は１／６０秒である。また、１番目のラインであるＬ０の読出し（露光終了）時刻Ｔｅ０から、最後のラインであるＬ８の読出し時刻Ｔｅ８までは１／６０秒の時間差がある（読出し速度が１／６０秒）。即ち、図６のひし形で示した範囲が、画面全体の露光を行っている期間となる。このとき、ラインＬ０のローリングシャッタ歪み補正量の演算に用いる振れデータは、露光中央から前後に等しい所定時間範囲の振れデータを用いるようにする。例えばラインＬ０の露光開始時刻Ｔｓ０から露光終了時刻Ｔｅ０までの範囲の振れデータを用いる。同様にラインＬ１のローリングシャッタ歪み補正量の演算に用いる振れデータには、ラインＬ１の露光開始時刻Ｔｓ１から露光終了時刻Ｔｅ１までの範囲の振れデータを用いる。

このように、各ライン毎の露光期間と振れデータの範囲を対応付けてローリングシャッタ歪み補正量を生成するために行われる、ローリングシャッタ歪み補正量演算部２００の処理の詳細について、図７及び図８を参照して説明する。

図７は、ローリングシャッタ歪み補正量演算部２００の実行タイミングと、振れデータの取得範囲を説明する図である。図７に記載の実行タイミングは、ローリングシャッタ歪み補正量演算部２００の演算が実行されるタイミングを示しており、例えば、１／９６０秒の周期で繰り返し実行される。ＶＤ信号は、撮像素子１２５の駆動に同期した信号であり、撮像制御部１２３から供給されている。また、ＶＤ信号は、タイミング制御部２０１においてＶＤ＿ＡとＶＤ＿Ｂの２つの信号に分割される。これは、１画像分のローリングシャッタ歪み補正量の演算には、最大でＶＤ信号２周期分の時間が必要であるため、ＶＤ＿ＡとＶＤ＿Ｂの二つの信号に同期した処理が並列で実行されている。以下、ＶＤ信号と記載されている信号は、ＶＤ＿ＡかＶＤ＿Ｂのいずれかを指しており、実行される処理の内容は同じである。ローリングシャッタ歪み補正量演算部２００は、本処理の実行回数を示すための内部変数であるＣＯＵＮＴＥＲを備えており、ＶＤ信号の発生を基準とした時刻が分かるようになっている。各ライン毎のローリングシャッタ歪み補正量の演算に用いる振れデータには、開始時刻Ｔｓｎから終了時刻Ｔｅｎまでの振れデータを用いる。ここで、撮像装置のフレームレートの逆数をＦ秒、シャッタ速度をＳ秒、撮像素子１２５の読出し速度をＲ秒、及び、ローリングシャッタ歪み補正量演算部２００の実行周期をＴ秒、ラインの分割数をＭとする。すると、各ライン毎の開始時刻Ｔｓ０〜Ｔｓ８、終了時刻Ｔｅ０〜Ｔｅ８は、以下の式から算出することができる。

Ｔｓｎ＝（Ｆ／Ｔ）−（Ｓ／Ｔ）＋（Ｒ／Ｔ／Ｍ×ｎ） …（式１）
Ｔｅｎ＝（Ｆ／Ｔ−１）＋（Ｒ／Ｔ／Ｍ×ｎ） …（式２）
（式１）、（式２）において、例えば、Ｆ＝１／６０秒、Ｓ＝１／６０秒、Ｒ＝１／６０秒、Ｔ＝１／９６０秒、Ｍ＝８とすると、各ライン毎の開始時刻Ｔｓ０〜Ｔｓ８、終了時刻Ｔｅ０〜Ｔｅ８は図９のように設定される。このように算出されたＴｓｎからＴｅｎの範囲の振れデータを用いて、各ラインのローリングシャッタ歪み補正量を生成する。例えば、図７に示したように、ラインＬ０においては０〜１５の範囲の振れデータ、ラインＬ１においては２〜１７の範囲の振れデータを使用して該当ラインのローリングシャッタ歪み補正量を算出する。

次に図８を参照して、ローリングシャッタ歪み補正量演算部２００で実行される処理について具体的に説明する。図８のフローチャートの処理は、１／９６０秒の周期で繰り返し実行される。

ステップＳ１００では、タイミング制御部２０１は、ＶＤ信号が発生したかどうかの判定を行う。ＶＤ信号が発生した場合は、ステップＳ１０１に進み、発生していない場合は、ステップＳ１０４に進む。ステップＳ１０１では、ＶＤ信号の発生から、本処理の実行回数を示すための内部変数であるＣＯＵＮＴＥＲを０にクリアし、ステップＳ１０２に進む。ステップＳ１０２では、ローリングシャッタ歪み補正量の演算に用いる振れデータの範囲を設定する。即ち、各ライン毎の開始時刻Ｔｓ０〜Ｔｓ８、終了時刻Ｔｅ０〜Ｔｅ８を算出するのであるが、前述したように（式１）、（式２）から例えば図９のように算出される。ステップＳ１０２の処理を実行した後、ステップＳ１０３に進み、積分器２０２をクリアしてステップＳ１０７に進む。

ステップＳ１００でＮｏと判定された場合、ステップＳ１０４に進む。ステップＳ１０４では、変数ＣＯＵＮＴＥＲに１を加算して、ステップＳ１０５に進む。ステップＳ１０５では、積分器２０２において、角速度データを積分して角度データに変換し、ステップＳ１０６に進む。ステップＳ１０６では、角度データに焦点距離ｆを乗算し、撮像面上での像振れ量に変換し、ステップＳ１０７に進む。

ステップＳ１０７では、内部の変数ｎを０にクリアし、ステップＳ１０８に進む。変数ｎは、ローリングシャッタ歪み補正量の演算対象となるライン（Ｌ０〜Ｌ８）を示す変数であり、０〜８までインクリメントされ、ステップＳ１０８からステップＳ１１２までの処理を繰り返し行うために使用される。ステップＳ１０８では、現時刻において、演算対象となるラインが、振れデータを取得する範囲内かどうかを判定する。即ち、ＣＯＵＮＴＥＲの値がＴｓｎからＴｅｎの範囲内にあるかどうかを判定する。ステップＳ１０８でＹｅｓと判定された場合は、ステップＳ１０９に進み、Ｎｏと判定された場合は、ステップＳ１１２に進む。ステップＳ１０９では、振れ変換部２０４の出力を取得し、各ライン毎に用意された変数ＳＵＭｎに加算してステップＳ１１０に進む。ステップＳ１１０では、現時刻において、演算対象となるラインが、振れデータを取得する範囲の終了であるかどうかを判定する。即ち、ＣＯＵＮＴＥＲの値がＴｅｎと等しいかどうかを判定する。ステップＳ１１０でＹｅｓと判定された場合は、ステップＳ１１１に進み、Ｎｏと判定された場合は、ステップＳ１１２に進む。ステップＳ１１１では、ステップＳ１０９で加算された変数ＳＵＭｎをサンプル数である１６で除算して平均値を算出し、演算対象となるラインのローリングシャッタ歪み補正量Ｃｎとして保持する。ステップＳ１１２では、変数ｎに１を加算して、ステップＳ１１３に進む。ステップＳ１１３では、変数ｎが８以下であるかどうかを判定する。ステップＳ１１３は、ステップＳ１０８からステップＳ１１２までの処理をローリングシャッタ歪み補正量の数だけ繰り返し行うための処理である。ステップＳ１１３で、Ｙｅｓと判定された場合は、ステップＳ１０８に戻り、Ｎｏと判定された場合は、本処理は終了となる。

なお、本実施形態において、ローリングシャッタ歪み補正量演算部２００は、Ｃ０〜Ｃ８の９個のローリングシャッタ歪み補正量を生成するように記載したが、取得個数はこれに限定されるものではない。撮像画像の各画像ラインの露光期間に合わせて、複数個のデータを取得する方法を用いれば、いくつ取得する構成であってもよい。

次に、図１０から図１３を参照して、本実施形態における撮像装置の有効性について説明する。

まず、図１０は、従来の手法における各ラインの露光タイミングと、ローリングシャッタ歪み補正量の演算に用いる振れデータの対応について説明する図である。図１０に示したように、撮像素子は１／６０秒の周期で露光が行われ、露光期間（シャッタ速度）は１／６０秒である。また、１番目のラインであるＬ０の読出し時刻から、最後のラインであるＬ８の読出し時刻までは１／６０秒の時間差がある（読出し速度が１／６０秒）。

従来の手法では、各ラインに対応するローリングシャッタ歪み補正量は、例えば、露光期間の中央に位置する振れデータに基づいて算出される。このとき、振れデータの周波数が、ローリングシャッタ歪み補正量を算出する離散的なラインの間隔に対して十分に低い周波数であれば、良好にローリングシャッタ歪みを補正することが可能である。しかしながら、実際には、図１０の振れデータのように、本来の手振れ情報（点線で図示）に機械的或いは電気的なノイズが重畳されている場合がほとんどである（実線で図示）。このような振れデータに基づいてローリングシャッタ歪み補正量を生成した場合、Ｃ０〜Ｃ８のような、本来の手振れの情報とは異なったローリングシャッタ歪み補正量を生成してしまう。

図１１は、正方形の被写体を撮影しているときの様子を説明した図である。図１１（ａ）は、手振れが発生していない時の撮像画像を示した図である。手振れ等により撮像装置が右から左方向に移動したとき、撮像画像は、図１１（ｂ）の左側の図のように、正方形の被写体像がひし形に歪む。このとき図１０に示した振れデータが検出されたとすると、ローリングシャッタ歪み補正量Ｃ０〜Ｃ８は、図１１（ｂ）の右側のグラフにプロットされたようにノイズの影響を受けてしまう。このようなローリングシャッタ歪み補正量に基づいてローリングシャッタ歪みを補正すると、図１１（ｃ）のように、正方形の被写体像が波打った画像となる。このように、従来の手法では、ノイズの影響を受けて誤った補正をする場合がある。

次に、本実施形態の撮像装置において、図１０と同様の振れデータが検出された時に生成されるローリングシャッタ歪み補正量の様子を図１２を参照して説明する。図１２において、露光時間、撮像素子の露光の周期、読出し時間は図１０と同じである。また、検出された振れデータについても図１０と同じように、本来の手振れ情報（点線で図示）にノイズが重畳され、実線で図示したような振れデータを検出している。ことのき、例えば、ラインＬ０におけるローリングシャッタ歪み補正量は、露光期間の中央から前後に等しい範囲の複数の振れデータから算出する。即ち、Ｔｓ０からＴｅ０の範囲の振れデータの平均値をラインＬ０のローリングシャッタ歪み補正量Ｃ０として採用する。

同様に、ラインＬ１〜Ｌ８においても、各ラインの露光期間の中央から前後に等しい範囲の複数の振れデータの平均値を採用する。通常ノイズは、基準値（この場合、本来の振れ情報）からランダムに分布しており、複数の振れデータの平均値を取ることで、本来の振れ情報に近づいていく。また、平均化するデータの範囲は露光期間の中央としているので、平均値は、露光期間の中央における本来の振れ情報のデータに近づいていく。

以上のように、露光期間の中央から前後に等しい範囲の複数の振れデータから、対応するラインのローリングシャッタ歪み補正量を算出することにより、振れ検出のノイズの影響を受けることなく、良好なローリングシャッタ歪み補正を行うことが可能となる。

また、図１０において、本来の振れ情報にノイズが重畳された振れデータが検出された場合の影響について説明したが、本来の振れ情報が、露光期間に対して高い周波数である場合にも同様の効果がある。例えば、振れデータに重畳されるノイズが、本来の振れ情報に対して無視できるほど小さく、そのかわりに、撮像装置に周波数の高い手振れが加わり、結果として図１０に示した振れデータが検出された場合である。露光期間より周波数の高い振れの場合、露光期間中に撮像面上の同じ画素を複数回通過するように露光され、蓄積される。従って、撮像画像の被写体像には、露光期間中の移動によってにじむような振れが生じるが、被写体像の位置は、振れデータの平均値付近に留まっている。このとき、従来の手法のように、露光期間の中央の振れデータを採用すると、図１１（ｂ）の右側のグラフに示したようなローリングシャッタ歪み補正量を適用してしまい、図１１（ｃ）のように被写体像が波打ってしまう。

以上説明してきたように、本実施形態では、各ライン毎のローリングシャッタ歪み補正の補正量を、該当するラインの露光期間の振れデータの平均値を採用して算出する。これにより、露光期間より周波数の高い振れが加わった場合に、ローリングシャッタ歪みの補正に誤った補正量を適用してしまい、新たな歪みが発生してしまうという従来の課題を解決することが可能となる。

＜第２の実施形態＞
本実施形態では、図１のローリングシャッタ歪み補正量演算部２００が実行する処理の第２の方法について説明する。第１の実施形態では、各ラインのローリングシャッタ歪み補正量の演算において、所定範囲の振れデータの平均値を用いて演算した。従って、振れデータを取得する範囲が、複数のラインで重複する場合、複数の振れデータの保持や平均値の演算等の処理を、重複したラインの数だけ並列して処理する必要があった。そこで、本実施形態のローリングシャッタ歪み補正量演算部２００が実行する処理では、角速度データを２回積分し、振れ量の積算値を演算しておき、振れデータを取得する範囲の開始時刻と終了時刻の２点の振れ量の積算値を用いてローリングシャッタ歪み補正量を演算する。これによって、並列処理を極力減らしシステムへの負荷を軽減している。以下、本実施形態におけるローリングシャッタ歪み補正量演算部２００が実行する処理について具体的に説明する。

本実施形態における撮像装置の構成は図１、図５と同じ構成で実現できる。図１３のフローチャートは、ローリングシャッタ歪み補正量演算部２００の処理を示したものである。図１３のフローチャートの処理は、例えば１／９６０秒の周期で繰り返し実行される。

ステップＳ２００では、タイミング制御部２０１は、ＶＤ信号が発生したかどうかの判定を行う。ＶＤ信号が発生した場合は、ステップＳ２０１に進み、発生していない場合は、ステップＳ２０５に進む。ステップＳ２０１では、ＶＤ信号の発生から、本処理の実行回数を示すための内部変数であるＣＯＵＮＴＥＲを０にクリアし、ステップＳ２０２に進む。ステップＳ２０２では、ローリングシャッタ歪み補正量の演算に用いる振れ量の範囲を設定する。即ち、各ライン毎の開始時刻Ｔｓ０〜Ｔｓ８、終了時刻Ｔｅ０〜Ｔｅ８を算出するのであるが、前述したように（式１）、（式２）から例えば図９のように算出される。ステップＳ２０２の処理を実行した後、ステップＳ２０３に進み、積分器２０２をクリアしてステップＳ２０４に進む。ステップＳ２０４では、内部の変数ｎ及びｍを０にクリアし、ステップＳ２０８に進む。

ステップＳ２００でＮｏと判定された場合、ステップＳ２０５に進む。ステップＳ２０５では、変数ＣＯＵＮＴＥＲに１を加算して、ステップＳ２０６に進む。ステップＳ２０６では、積分器２０２において、角速度データを２回積分して角度の積算値を算出し、ステップＳ２０７に進む。ステップＳ２０７では、積分器２０２の出力に焦点距離ｆを乗算し、撮像面上での像振れ量の積算値に変換し、ステップＳ２０８に進む。

ステップＳ２０８では、変数ｎで指定されたラインにおいて、振れ情報を取得する範囲の開始時刻となったかどうかを判定する。即ち、ＣＯＵＮＴＥＲの値がＴｓｎと等しいかどうかを判定する。ステップＳ２０８でＹｅｓと判定された場合は、ステップＳ２０９に進み、Ｎｏと判定された場合は、ステップＳ２１１に進む。ステップＳ２０９では、振れ量変換部２０３の出力を取得し、各ライン毎に用意された変数Ｃｓｎに保持してステップＳ２１０に進む。ステップＳ２１０では、変数ｎに１を加算してステップＳ２１１に進む。

ステップＳ２１１では、変数ｍで指定されたラインにおいて、振れ情報を取得する範囲の終了時刻となったかどうかを判定する。即ち、ＣＯＵＮＴＥＲの値がＴｅｍと等しいかどうかを判定する。ステップＳ２１１でＹｅｓと判定された場合は、ステップＳ２１２に進み、Ｎｏと判定された場合は、本処理を終了する。ステップＳ２１２では、振れ量変換部２０３の出力を取得し、各ライン毎に用意された変数Ｃｅｍに保持してステップＳ２１３に進む。ステップＳ２１３では、変数ｍで指定されたラインのローリングシャッタ歪み補正量を算出し記憶する。即ち、時刻Ｔｅｎで取得した振れ量の積算値から、時刻Ｔｓｎで取得した振れ量の積算値を減算し、積分回数である１６で除算することで、演算対象となるラインのローリングシャッタ歪み補正量Ｃｎを求める。ステップＳ２１４では、変数ｍに１を加算して本処理を終了となる。

以上説明してきたように、各ライン毎のローリングシャッタ歪み補正の補正データの演算において、角速度情報を２回積分し、振れデータの取得範囲の開始時刻と終了時刻の振れデータからローリングシャッタ歪み補正量を演算する。これにより、システムへの負荷を軽減しつつ、新たな歪みが発生してしまうという従来の課題を解決することが可能となる。

＜第３の実施形態＞
図１４は、本発明の撮像装置の第３の実施形態としてのビデオカメラの構成を示すブロック図である。なお、図１４において、図１と同様の構成には、同じ符号を付し、説明は省略する。図１４は、図１の構成に対し、撮像画像の振れを光学的に補正する補正光学系１２２と、補正光学系１２２を制御するためのブロックが追加された構成となっている。

Ａ／Ｄ変換器１０３の出力は、画像変形量演算部２００に供給されるとともに、図１４の構成においては、ＨＰＦ１０４に対しても供給される。ＨＰＦ１０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、ＨＰＦ１０４のカットオフ周波数は、角度振れが小さいときよりも高い値に設定される。

敏感度演算部１０５は、ズームエンコーダ１１９の出力に応じて、各ズーム位置において最適な補正光学系１２２の駆動量を算出するための係数を算出し、ＨＰＦ１０４の出力に乗算して積分器１０６へと供給する。積分器１０６は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部１０５からの出力を積分し、飽和防止制御部１０７に供給する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、積分器１０６の時定数は、角度振れが小さいときよりも短い値に設定される。

飽和防止制御部１０７は、積分器１０６の出力が所定のリミット値より大きくなったときに、リミット値内に抑制するように積分器１０６の出力をリミットし、リミットした出力を減算器１０８に供給する。

減算器１０８は、補正光学系１２２の位置を検出する位置検出部１１７の出力をＡ／Ｄ変換器１１８にてＡ／Ｄ変換し、デジタル化したデータを飽和防止制御部１０７の出力から減算し（光学補正量演算）、その結果である偏差データを制御フィルタ１０９に供給する。ここで、端子Ｂ１１４と端子Ｂ１１６は、各々が電気的に接続されていることを示している。

制御フィルタ１０９は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器１０８から供給された偏差データは、制御フィルタ１０９において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１１０に出力される。

パルス幅変調部１１０は、制御フィルタ１０９を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１１１に供給する。モータ１１２は、補正光学系１２２の駆動用のボイス・コイル型モータであり、モータ駆動部１１１に駆動されることにより、補正光学系１２２が光軸と垂直な方向に移動される。ここで、端子Ａ１１３と端子Ａ１１５は、各々が電気的に接続されていることを示している。

位置検出部１１７は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系１２２の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１１８を介して、上述した減算器１０８に供給する。これによって、飽和防止制御部１０７の出力に対して、補正光学系１２２の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。Ａ／Ｄ変換器１１８の出力は、減算器１０８の他にローリングシャッタ歪み補正量演算部２００にも供給される。

補正光学系１２２は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向する、振れ補正可能な光学系である。補正光学系１２２の移動が行われた結果、撮像装置１００の振れによって生じる撮像面上の被写体の並進方向の振れが補正された像が、撮像素子１２５に結像される。

以下、図１５のブロック図を用いて、本実施形態における、ローリングシャッタ歪み補正量演算部２００の各構成部とその動作について具体的に説明する。なお、図１５において、図５と同様の構成には、同じ符号を付し、説明は省略する。図１５のローリングシャッタ歪み補正量演算部２００の構成は、図５に対し、振れ変換部２０６、光学的像振れ補正量生成部２０７、減算器２０８が追加されたものとなっている。

振れ変換部２０６は、Ａ／Ｄ変換器１１８の出力を用いることによって、補正光学系１２２によって補正された、撮像面上での振れ量を演算する。光学的像振れ補正量生成部２０７には、タイミング制御部２０１の出力に応じて、各ライン毎の露光期間のタイミングに合わせて、補正光学系１２２の移動量を算出する。この補正光学系１２２の移動量を光学的像振れ補正データとする。減算器２０８では、補正データ生成部２０４で算出されたローリングシャッタ歪み補正量から、光学的像振れ補正量生成部２０７で算出された光学的像振れ補正データを減算する。この減算器２０８での減算結果が、最終的なローリングシャッタ歪み補正量となり、ローリングシャッタ歪み補正部１２８に出力される。ここで、補正データ生成部２０４で算出されたローリングシャッタ歪み補正量から、光学的像振れ補正量生成部２０７で算出された光学的像振れ補正データを減算する理由は、次のようなものである。即ち、補正データ生成部２０４で算出されたローリングシャッタ歪み補正量は、振れ検出手段の出力をそれに相当する撮像面上の振れ量に変換した値である。それに対し、実際の撮像面上の像振れは、撮像装置の振れによる像振れ量から、補正光学系１２２で補正された振れ量を差し引いた振れとなるためである。

次に、光学的像振れ補正データの算出方法について説明する。光学的像振れ補正量生成部２０７には、タイミング制御部２０１の出力が供給されており、各ライン毎の補正光学系１２２の移動量を算出する。そして、ここでの光学的像振れ補正データの算出方法は、図８のフローチャートと同じ処理を適用することができる。図８のステップＳ１０９において、変数ＳＵＭｎに加算している振れ量を、図１５における振れ換算部２０６の出力とする。即ち、光学的像振れ補正データも、露光期間の中央から前後に等しい範囲の複数の補正光学系１２２の位置検出情報から算出することが可能である。

以上のように、本発明の第３の実施形態においては、第１の実施形態の構成に加えて、補正光学系１２２によって、振れの補正を光学的にも行う構成とした。このとき、露光期間の中央から前後に等しい範囲にある複数の補正光学系１２２の位置検出の出力データを用いて、該当ラインにおける、補正光学系１２２によって補正された振れ量を算出するようにした。

これによって、振れ検出結果或いは補正光学系の位置検出にノイズが重畳された場合に、ローリングシャッタ歪みの補正に誤った補正データを適用してしまい、新たな歪みが発生してしまうという従来の課題を解決することが可能となる。

なお、この第３の実施形態においては、光学的な振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２５を駆動する方法や、プリズムを用いる方法等、種々の振れ補正手段を用いることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

Claims (6)

1. 撮像装置が振れたとき、撮像面上の画素毎の露光期間に時間的なずれがある撮像手段の、画素毎の露光期間に時間的なずれがあることによって発生する画像の歪みを補正する補正手段と、
   前記撮像装置の振れを検出する振れ検出手段の出力に基づいて、前記補正手段による補正量を演算する演算手段と、を備え、
   前記演算手段は、前記振れ検出手段の出力を前記撮像面上の像の変位量に変換する変換手段と、前記変位量を積分する積分手段とを有し、
   前記演算手段は、前記撮像手段の画素のラインのうち、離散的に間引かれた複数のラインに対応する複数の補正量を演算するとともに、各ラインに対応する補正量を、該当するラインの露光期間の中央を含む所定時間範囲に含まれる複数の前記振れ検出手段の出力に基づいて演算し、
   前記演算手段は、前記撮像手段の各ラインに対応する前記補正量を、前記所定時間範囲の開始時刻における前記積分手段の出力と、前記所定時間範囲の終了時刻における前記積分手段の出力とを用いて算出することを特徴とする像ブレ補正装置。
2. 撮像装置が振れたとき、撮像面上の画素毎の露光期間に時間的なずれがある撮像手段の、画素毎の露光期間に時間的なずれがあることによって発生する画像の歪みを電子的に補正する電子補正手段と、
   前記撮像装置の振れを検出する振れ検出手段の出力に基づいて、前記電子補正手段による電子補正量を演算する電子補正量演算手段と、
   前記画像の振れを光学的に補正する光学補正手段の位置を検出する位置検出手段の出力に基づいて、前記光学補正手段によって補正された前記撮像面上の移動量に相当する光学補正量を演算する光学補正量演算手段と、を備え、
   前記電子補正量演算手段は、前記撮像手段の画素のラインのうち、離散的に間引かれた複数のラインに対応する複数の第１の電子補正量を演算するとともに、各ラインに対応する第１の電子補正量を、該当するラインの露光期間の中央を含む所定時間範囲に含まれる複数の前記振れ検出手段の出力に基づいて演算し、
   前記光学補正量演算手段は、前記撮像手段の画素のラインのうち、離散的に間引かれた複数のラインに対応する複数の光学補正量を演算するとともに、各ラインに対応する光学補正量は、該当するラインの露光期間の中央を含む所定時間範囲に含まれる複数の前記位置検出手段の出力に基づいて演算し、
   前記電子補正量演算手段は、前記撮像手段の各ラインに対応する第２の電子補正量の演算において、前記振れ検出手段の出力に基づいて演算された第１の電子補正量から、前記光学補正量を減算して、前記電子補正手段による電子補正に用いられる各ラインの第２の電子補正量を演算することを特徴とする像ブレ補正装置。
3. 前記光学補正量演算手段は、前記撮像手段の各ラインに対応する前記光学補正量を、該当するラインの露光期間と等しい範囲に含まれる複数の前記位置検出手段の出力に基づいて演算することを特徴とする請求項２に記載の像ブレ補正装置。
4. 撮像装置が振れたとき、撮像面上の画素毎の露光期間に時間的なずれがある撮像手段の、画素毎の露光期間に時間的なずれがあることによって発生する画像の歪みを補正する補正工程と、
   前記撮像装置の振れを検出する振れ検出手段の出力に基づいて、前記補正工程における補正量を演算する演算工程と、を備え、
   前記演算工程は、前記振れ検出手段の出力を前記撮像面上の像の変位量に変換する変換工程と、前記変位量を積分する積分工程とを有し、
   前記演算工程では、前記撮像手段の画素のラインのうち、離散的に間引かれた複数のラインに対応する複数の補正量を演算するとともに、各ラインに対応する補正量を、該当するラインの露光期間の中央を含む所定時間範囲に含まれる複数の前記振れ検出手段の出力に基づいて演算し、
   前記演算工程では、前記撮像手段の各ラインに対応する前記補正量を、前記所定時間範囲の開始時刻における前記積分工程の出力と、前記所定時間範囲の終了時刻における前記積分工程の出力とを用いて算出することを特徴とする像ブレ補正装置の制御方法。
5. 撮像装置が振れたとき、撮像面上の画素毎の露光期間に時間的なずれがある撮像手段の、画素毎の露光期間に時間的なずれがあることによって発生する画像の歪みを電子的に補正する電子補正工程と、
   前記撮像装置の振れを検出する振れ検出手段の出力に基づいて、前記電子補正工程における電子補正量を演算する電子補正量演算工程と、
   前記画像の振れを光学的に補正する光学補正手段の位置を検出する位置検出手段の出力に基づいて、前記光学補正手段によって補正された前記撮像面上の移動量に相当する光学補正量を演算する光学補正量演算工程と、を備え、
   前記電子補正量演算工程では、前記撮像手段の画素のラインのうち、離散的に間引かれた複数のラインに対応する複数の第１の電子補正量を演算するとともに、各ラインに対応する第１の電子補正量を、該当するラインの露光期間の中央を含む所定時間範囲に含まれる複数の前記振れ検出手段の出力に基づいて演算し、
   前記光学補正量演算工程では、前記撮像手段の画素のラインのうち、離散的に間引かれた複数のラインに対応する複数の光学補正量を演算するとともに、各ラインに対応する光学補正量は、該当するラインの露光期間の中央を含む所定時間範囲に含まれる複数の前記位置検出手段の出力に基づいて演算し、
   前記電子補正量演算工程では、前記撮像手段の各ラインに対応する第２の電子補正量の演算において、前記振れ検出手段の出力に基づいて演算された第１の電子補正量から、前記光学補正量を減算して、前記電子補正工程における電子補正に用いられる各ラインの第２の電子補正量を演算することを特徴とする像ブレ補正装置の制御方法。
6. 撮像面上の画素毎の露光期間に時間的なずれがある撮像手段と、
   請求項１乃至３のいずれか１項に記載の像ブレ補正装置と、
   を備えることを特徴とする撮像装置。

Images