JP5249378B2 - 撮像装置、及びその制御方法、プログラム - Google Patents

Description

本発明は、撮像された画像に含まれる、手ぶれによる画像の歪みを補正する技術に関する。

近年、デジタルビデオカメラのような撮像装置は、撮像素子として、ＣＣＤより消費電力が低いＣＭＯＳセンサが用いられるようになってきている。ＣＣＤとＣＭＯＳセンサの違いは、消費電力だけでなく、その撮影時の露光方式についても両者は異なる。

ＣＣＤでは１つの撮像画像を撮像する際に、撮像素子の全ての画素の露光タイミング及び露光期間が同一であるのに対し、ＣＭＯＳセンサでは撮像素子を構成するラインごとにシャッタの開閉タイミングが異なるため露光期間に差が生じる。ＣＭＯＳセンサのような駆動方式は、ローリングシャッタ方式と呼ばれる。

このようなローリングシャッタ方式の撮像素子で撮影を行った場合、例えば露光中の被写体の移動、あるいは露光中の撮像装置を把持する撮影者の手ぶれにより、撮像素子のラインごとに被写体像が移動するため、撮像画像において歪みが生じることがあった。当該歪みが発生する現象は、「ローリングシャッタ問題」や「フォーカルプレーン現象」と呼ばれる。特にローリングシャッタ問題による歪みは、メカシャッタを用いる静止画撮影よりも、メカシャッタを用いない動画撮影において、より顕著に現れうる。

上述したようなローリングシャッタ問題による歪みのうち、撮影者の手ぶれにより生じた歪みを補正する技術が特許文献１に開示されている。特許文献１では、撮像装置に設けられた角速度センサにより検出した手ぶれ速度を積分することにより手ぶれの時間特性を取得し、撮像素子のラインごとの撮影時の撮像装置の位置変化に応じて歪みを補正することが開示されている。

特開２００６−１８６４８１号公報

しかしながら、角速度センサのサンプリング周波数が数ｋＨｚ〜数十ｋＨｚであるのに対し、手ぶれの周波数は０Ｈｚ〜１５Ｈｚ程度であり、両者の周波数はオーダーが著しく異なる。このような角速度センサの出力信号から手ぶれの時間特性を取得するために、特許文献１に示されるＦＩＲ（有限インパルス応答）フィルタを用いて信号処理する場合、多くのタップ数が必要となるため、回路規模を増大させてしまうことになる。

回路規模の増大を回避するためには、ＦＩＲフィルタではなくＩＩＲ（無限インパルス応答）フィルタを用いることが考えられるが、ＩＩＲフィルタは直線位相ではないため、周波数帯ごとに異なる位相遅れあるいは位相進みを生じる。即ち、このようにＩＩＲフィルタを用いて得られた手ぶれの時間特性にはＩＩＲフィルタの位相特性による位相ズレが生じているため、手ぶれの周波数によってはローリングシャッタ問題による歪みを補正するための補正量が正しく算出されないことがある。つまり、ＩＩＲフィルタを用いて得られた手ぶれの時間特性から算出した補正量を用いて、ローリングシャッタ問題による歪みを補正した場合、画像に補整残り、あるいは過補正といった現象が生じることになる。

本発明は、上述の問題点に鑑みてなされたものであり、ローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減することを目的とする。

前述の目的を達成するために、本発明の撮像装置の一態様は、以下の構成を備える。
ローリングシャッタ方式で駆動する撮像素子を備える撮像装置であって、撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における撮像装置の振動を検出する検出手段と、検出手段により検出された振動を複数の帯域成分に分離することで帯域ごとに振動の周波数分布を解析する解析手段と、撮像時の撮像装置の撮影状況に基づいて、振動の周波数分布の各帯域に対して重み付け処理を行う処理手段と、重み付けされた振動の周波数分布に基づいて、振動に起因して画像に生じる被写体像の歪み量の中心周波数を決定する決定手段と、少なくとも中心周波数が含まれる帯域の１つの周波数について、振動を像振れ補正のために演算処理する過程で生じる位相ズレを補償する補償手段と、補償手段により位相ズレが補償された像振れ補正の補正量を用いて、撮像素子のラインごとに振動に起因して生じた被写体像の歪みを補正する補正手段とを備えることを特徴とする。

このような構成により本発明によれば、ローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減することが可能となる。

本発明の実施形態に係るデジタルビデオカメラの機能構成を示したブロック図 本発明の実施形態に係る歪み補正量算出部１０６の機能構成を示したブロック図 本発明の実施形態に係るブレ量算出部２０１の構成を示したブロック図 本発明の実施形態に係るフィルタ処理部２０３の構成を示したブロック図 本発明の実施形態に係る、推定された撮影状況における一般的な振動の周波数分布及び歪み量の中心周波数を例示した図 本発明の実施形態に係る、推定された撮影状況ごとの重み付け係数を例示した図 本発明の実施形態に係る補助情報のパラメータと推定される撮影状況の対応を例示した図 本発明の実施形態に係る、各帯域のフィルタ応答に乗ずる重み付け係数を決定する方法を説明するための図 本発明の実施形態に係る、各帯域のフィルタ応答に重み付け係数を乗じて得られた重み付きフィルタ応答を示した図 本発明の実施形態に係る中心周波数の決定方法を説明するための図 本発明の実施形態に係る位相補償部２０７の構成を示したブロック図 本発明の実施形態に係る位相補償を説明するための図 本発明の実施形態に係る撮像画像の補正量の算出方法を説明するための図 本発明の実施形態に係る補助情報のパラメータについて推定された撮影状況の信頼度を例示した図 本発明の実施形態に係る撮影状況の信頼度を考慮した重み付け係数の調整方法を説明するための図

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、ローリングシャッタ問題による歪みのうち、手ぶれに起因して生じる歪みを補正可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、ローリングシャッタ問題による歪みのうち、手ぶれに起因して生じる歪みを補正することが可能な任意の機器に適用可能である。また、本明細書において、「ローリングシャッタ問題により生じる歪み」のうち、手ぶれに起因して生じる歪みを「ローリング歪み」として記載し、以下に説明するものとする。

（デジタルビデオカメラ１００の機能構成）
図１は、本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルビデオカメラ１００が備える各ブロックの動作を制御する。具体的には制御部１０１は、例えばＲＯＭ１０２に記憶されている撮影処理等の処理プログラムを読み出して、不図示の揮発性メモリに展開して実行することにより、デジタルビデオカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、上述した処理プログラムに加え、各ブロックの動作において必要なパラメータ等が記憶される。

なお、本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックにおいて各処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は当該各ブロックと同様の処理を行うプログラムで実現されてもよい。

撮像部１０３は、例えばＣＭＯＳセンサ等のローリングシャッタ方式の撮像素子を備えるブロックである。撮像部１０３は、不図示の光学系により撮像素子に結像された光学像を光電変換して得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像信号（画像データ）を出力する。撮像部１０３より出力された画像データは、例えば画像メモリ１０４に一時的に格納される。

画像処理部１０７は、撮像部１０３により撮像されて画像メモリ１０４に格納された画像データに対して、ゲイン調整、ホワイトバランス調整等の画像処理を適用するブロックである。また画像処理部１０７は、後述する歪み補正量算出部１０６により算出された歪み補正量を用いて、画像メモリ１０４に格納された画像データに生じている、ローリング歪みをラインごとに補正する。

デジタルビデオカメラ１００を用いて動画撮影を行う場合、画像処理部１０７において各種画像処理あるいはローリング歪み補正処理が実行された画像データは、所定の符号化方式に従って画像処理部１０７において符号化される。そして符号化されて得られた動画データは、記録媒体１０８に伝送されて記録される。

ブレ検出部１０５は、例えば角速度センサであって、デジタルビデオカメラ１００に加わったぶれ（手ぶれ）により生じる角速度を検出するセンサである。ブレ検出部１０５は、検出したデジタルビデオカメラ１００の３軸の角速度を、例えば歪み補正量算出部１０６に出力する。

歪み補正量算出部１０６は、手ぶれにより画像データ内の像に生じたローリング歪みを補正する補正量を算出するブロックであり、算出した補正量の情報を画像処理部１０７に出力する。

（歪み補正量算出部１０６の内部構成）
ここで、歪み補正量算出部１０６の内部構成、及び歪み補正量算出部１０６内で行われる処理について、図を用いて以下に詳細に説明する。

図２は、本実施形態に係る歪み補正量算出部１０６の内部構成を示した図である。歪み補正量算出部１０６には、ブレ検出部１０５により検出された、１フレームの画像の撮像中に生じた角速度変化の情報に加え、当該画像の撮像時のデジタルビデオカメラ１００の状態を示す補助情報が制御部１０１により入力される。補助情報とは、例えば不図示のジャイロセンサの最大加速度（ジャイロデータ）、焦点距離、主被写体情報、シャッタスピード、あるいはシーンモード等の情報であり、本実施形態では当該補助情報は補助情報解析部２０９に入力される。

ブレ量算出部２０１は、入力された１フレームの画像の撮像中に生じた角速度変化の情報から、当該角速度変化による撮像素子上の画素を単位とした像のブレ量の時間特性を時間特性する。

ブレ量算出部２０１は、図３に示すような構成となっており、まず入力された角速度変化の情報はＩＩＲフィルタ３０１で手ぶれの周波数に合わせて信号処理される。さらにブレ量算出部２０１により出力された角速度変化情報は、積分器３０２において積分処理がなされることにより、手ぶれの角変位情報θとして出力される。なお、手ぶれの角変位情報θは、例えばローリング歪みが生じうる、撮像素子の撮像面に対するピッチ方向及びヨー方向の角度について出力される。

ブレ量変換部３０３は、積分器３０２から入力された角変位情報θを、当該角変異により生じる、撮像素子上の画素を単位とした像のブレ量に変換する。具体的にはブレ量変換部３０３は、以下の式を用いて角変位情報θから、撮像素子上の像のブレ量に変換する。
ｆ_Ｌ・ｔａｎθ／ｐ
ここで、ｆ_Ｌは焦点距離、ｐは撮像素子上の画素ピッチである。

このように算出されたブレ量の時間特性は、位相補償部２０７及びダウンサンプル部２０２に出力される。

なお、ブレ量算出部２０１では、ＩＩＲフィルタ３０１による手ぶれの周波数に応じた位相ズレ、及び積分器３０２の積分演算によるπ／２の位相遅れが生じることになる。このうち後者の積分演算による位相遅れについては手ぶれの周波数によらず固定の位相ズレであるため、π／２位相進めるように処理することにより影響をなくすことができる。本実施形態では、手ぶれの周波数に応じた位相ズレを低減するために、１フレームの撮影中に生じた手ぶれの周波数分布から手ぶれの中心周波数を特定する。そして、後述のブロックの処理において、少なくとも当該中心周波数について位相ズレが積分演算によるπ／２のみとなるように位相補償パラメータを算出し、位相補償部２０７に出力する。

ダウンサンプル部２０２は、入力された手ぶれの時間特性（ブレ量）のサンプリング周波数を低減する。ダウンサンプル部２０２は、例えば手ぶれの時間特性のサンプリング周波数を１２ｋＨｚから６０Ｈｚに低減する場合は、２００データにつき１つのデータを取得する、所謂間引きによりサンプリング周波数を変更すればよい。

フィルタ処理部２０３は、ダウンサンプリングされた手ぶれの時間特性に対して、複数の帯域制限フィルタを適用することにより、周波数特性を簡易的に解析する。フィルタ処理部２０３は図４に示すような構成であり、入力されたダウンサンプリング後の手ぶれの時間特性に対して、まず３種類の帯域フィルタを適用し、周波数帯ごとに手ぶれの時間特性を分離する。

各帯域制限フィルタを通過したダウンサンプリング後の手ぶれの時間特性は、第１応答算出部４０４、第２応答算出部４０５、及び第３応答算出部４０６において、１フレームの露光期間について積算される。即ち、応答算出部からの出力（フィルタ応答）は、手ぶれの時間特性についてのブレ量の周波数応答を帯域ごとに積分した結果に相当しており、手ぶれの時間特性の３つの帯域についての周波数特性とみなすことができる。図４では、第１応答算出部４０４から出力されたフィルタ応答をＡ、第２応答算出部４０５から出力されたフィルタ応答をＢ、第３応答算出部４０６から出力されたフィルタ応答をＣとして示している。

なお、帯域制限フィルタとしてＩＩＲフィルタを用いると、手ぶれの時間特性の周波数ごとにさらに位相ズレを生じさせてしまうため、本実施形態ではＦＩＲフィルタによる帯域制限を行うために、ダウンサンプル部２０２を設けている。即ち、手ぶれの時間特性のサンプリング周波数を制限帯域に対して十分低くすることにより、ＦＩＲフィルタを用いても回路規模の増大を抑えつつ帯域制限を行うことができる。なお、各帯域制限フィルタの帯域については、手ぶれの時間特性の周波数成分を考慮して、フィルタ処理部２０３において決定すればよい。

本発明は、ＩＩＲフィルタを用いてローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減することが課題であり、当該課題の解決のために振動の中心周波数を動的に決定するものである。振動の中心周波数は、手ぶれの周波数が分布する帯域を細分化し、重複する帯域を有さずに多数の帯域制限フィルタを設けることにより、より正確に特定することができる。しかしながら、多数の帯域制限フィルタを設けることは回路規模の増大につながるため、本実施形態では帯域制限フィルタの数を制限することにより、回路規模を抑えて動的に振動の中心周波数を決定する方法について以下に説明する。

上述のような重複する帯域を有さない帯域制限フィルタの数を制限すると、２つの帯域制限フィルタ間の帯域の閾値付近に中心周波数がある場合、例えば動画撮影時など、フレーム間で中心周波数があると判別される帯域が異なることがある。このような場合、フレーム間で異なる帯域に合わせた位相補償が行われることになり、最終的に得られる動画において閲覧者に違和感を与える可能性がある。

そこで本実施形態では、手ぶれの時間特性が０〜１２Ｈｚの周波数成分を主に有するものとして、帯域制限フィルタであるＦＩＲローパスフィルタ４０１、第１ＦＩＲバンドパスフィルタ４０２、及び第２ＦＩＲバンドパスフィルタ４０３を以下のように設定する。
ＦＩＲローパスフィルタ４０１ ：６Ｈｚ以下
第１ＦＩＲバンドパスフィルタ４０２：３〜９Ｈｚ
第２ＦＩＲバンドパスフィルタ４０３：６〜１２Ｈｚ

即ち、フレーム間で異なる位相補償が行われるような状況を回避するために、各帯域制限フィルタは重複する帯域を有するように設定される。なお、帯域制限フィルタが重複する帯域を有する場合は、当該重複する帯域の振動については、帯域ごとのフィルタ応答の差に現れない。このため、本実施形態では後述する重み付け部２０４において、撮影時の撮影状況の推定結果を用いて帯域ごとに異なる重み付けすることにより、重複する帯域の振動を帯域ごとのフィルタ応答の差として現れるようにする。また、撮影状況のパラメータを考慮した重み付けを行うことで、フレーム間で異なる帯域に振動の中心周波数が分類されることを回避することができる。

重み付け部２０４は、例えば乗算器であり、フィルタ処理部２０３から入力された各帯域のフィルタ応答に対して、推定した撮影状況に応じた重み付けを乗算し、得られた重み付きフィルタ応答を中心周波数決定部２０５に出力する。

ここで、重み付け部２０４で各帯域のフィルタ応答に乗じる重み付け係数について説明する。各帯域のフィルタ応答に対して乗じる重み付け係数は、歪み補正量算出部１０６に入力された補助情報を用いて補助情報解析部２０９及び重み決定部２１０により決定される。

補助情報解析部２０９は、入力された補助情報から、デジタルビデオカメラ１００の撮影状況が、両手持ち撮影、片手持ち撮影、歩き撮り撮影、及び不明な撮影状況のいずれであるかを推定する。一般的に両手持ち撮影、片手持ち撮影、歩き撮り撮影の撮影状況では、撮影者による把持方法や移動状態により、デジタルビデオカメラ１００に生じうる手ぶれの周波数分布が図５（ａ）のように異なる。具体的には、移動しながらの撮影である歩き撮り撮影では、手ぶれによるブレ量は相対的に大きくなり、これに対して撮影者が移動せずに両手でデジタルビデオカメラ１００を構える両手持ち撮影では、手ぶれによるブレ量は相対的に小さくなると考えられる。

ジャイロデータについては、例えば２〜３Ｈｚ程度の１つの低周波を検波することで、当該周波数におけるブレ量を、閾値を用いて「大きい」、「標準」、及び「小さい」のいずれかに分類する。そして補助情報解析部２０９は、ブレ量が大きい場合は「歩き撮り撮影」、小さい場合は「両手持ち撮影」と推定する。

焦点距離については、ズーム位置がテレ寄りであるほど、手ぶれが像の歪みとして現れやすいため、撮影者はデジタルビデオカメラ１００をしっかりと固定して撮影する状況が推定される。即ち、補助情報解析部２０９は、焦点距離が長い場合は「両手持ち撮影」、焦点距離が短い場合は「歩き撮り撮影」と推定する。

主被写体情報については、ズーム位置がワイド時の撮像画像における主被写体の大きさが小さい、あるいは主被写体までの距離が遠い場合、即ちズーム位置をテレ寄りにした撮影がなされると思われる。即ち、補助情報解析部２０９は、主被写体の大きさが小さい、あるいは主被写体までの距離が遠い場合は「両手持ち撮影」、主被写体の大きさが大きい、あるいは主被写体までの距離が近い場合は「歩き撮り撮影」と推定する。

シャッタスピードについては、露光時間が長い場合は蓄積ブレの影響が大きくなり、低周波のブレに起因する撮像画像の歪みは目立ちにくくなると考えられる。即ち、補助情報解析部２０９は、シャッタスピードが遅い場合は低周波成分のブレ量が少ない「両手持ち撮影」と推定し、位相補償周波数を高周波側に寄せる。

シーンモードについては、ポートレートモードに設定された場合は、撮影者はデジタルビデオカメラ１００を両手でしっかりと固定して撮影すると考えられるため、補助情報解析部２０９は「両手持ち撮影」と推定する。またスポーツモードに設定された場合は、動いている被写体を追いやすいように、撮影者はデジタルビデオカメラ１００を片手持ちで撮影すると考えられるため、補助情報解析部２０９は「片手持ち撮影」と推定する。さらに、風景モードに設定された場合は、撮影者が野山等を散策しながら撮影することが想定されるため、補助情報解析部２０９は「歩き撮り撮影」と推定する。また、撮影状況が限定できないようなシーンモードについては、補助情報解析部２０９は撮影状況を「不明」と推定する。

即ち、補助情報解析部２０９は、入力された補助情報のそれぞれについて、予め定められた状態や閾値を用いて、それぞれのパラメータを図７のように分類し、補助情報のパラメータごとに撮影状況を推定する。このようにすることで、一般的なブレ量の周波数分布から中心周波数が存在すると思われる周波数帯に大きい重み付けがなされるように、重み決定部２１０で重み付け係数を決定することができる。

重み決定部２１０は、補助情報解析部２０９で推定された補助情報のパラメータごとの撮影状況から、フィルタ処理部２０３の出力である各帯域のフィルタ応答に乗じる重み付け係数を決定する。撮像画像における歪み量の周波数分布を考えると、中心周波数が撮影状況ごとに例えば図５（ｂ）のような傾向になる。このため、当該傾向に基づいて、実際の手ぶれの時間特性の中心周波数が存在する帯域に大きい重み付けがなされるようにすることで、中心周波数が帯域制限フィルタの重複する帯域にある場合であっても、適切な帯域を中心周波数のある帯域とすることができる。

重み決定部２１０は、まず補助情報のそれぞれのパラメータについての各帯域の重み付け係数を、当該それぞれのパラメータについて推定された撮影状況に応じて選択する。例えば、推定された撮影状況が歩き撮り撮影である場合は図５（ｂ）のように中心周波数は低周波領域にあると考えられるため、図６に示すように当該帯域について大きい重み付けとなり、周波数が大きい帯域ほど小さい重み付けとなるように係数が設定される。

そして重み決定部２１０は、補助情報のそれぞれのパラメータに対して選択された各帯域の重み付け係数を組み合わせて、重み付け部２０４で各帯域のフィルタ応答に乗じる最終的な各帯域の重み付け係数を決定する。

例えば、補助情報の２つのパラメータを用いて最終的な各帯域の重み付け係数を決定する場合を考える。１つのパラメータについて選択された各帯域の重み付け係数が図８（ａ）であり、もう一方のパラメータについて選択された各帯域の重み付け係数が図８（ｂ）である場合、最終的な各帯域の重み付け係数は帯域ごとに平均をとり、図８（ｃ）のようになる。

重み付け部２０４は、重み決定部２１０が決定した最終的な各帯域の重み付け係数を、対応するフィルタ応答に乗じることにより、重み付きフィルタ応答を出力する。例えば重み付け部２０４に入力された各帯域のフィルタ応答が図９（ａ）のようである場合、重み決定部２１０により図９（ｂ）のような重み付け係数が決定されると、各帯域の重み付きフィルタ応答は図９（ｃ）のようになる。

中心周波数決定部２０５は、入力された各帯域の重み付きフィルタ応答から、１フレームの撮像中に生じた手ぶれの中心周波数を決定する。

手ぶれの時間特性のうち、単一周波数ｆの振動は、当該周波数における最大ブレ量である振幅Ａ（ｆ）を用いて、
Ａ（ｆ）・ｓｉｎ（ωｔ） （ω＝２πｆ）
と表すことができる。即ち、周波数ごとの振動の速度は、手ぶれの時間特性を微分して
Ａ（ｆ）ω・ｃｏｓ（ωｔ）
と表すことができる。

例えば、撮像素子の連続するライン間の露光開始の時刻の差がΔｔである場合、前のラインの撮像が開始されてから次のラインの撮像が開始されるまでの期間Δｔでの像の変位量は、図１０（ａ）のようなΔｔの中央の時刻ｔ_０の速度を平均速度とみなし、
Ａ（ｆ）ω・ｃｏｓ（ωｔ_０）・Δｔ
と表すことができる。上述したようにフィルタ処理部２０３より得られた各帯域のフィルタ応答（図１０（ｂ））は、手ぶれの時間特性についてのブレ量の周波数応答を帯域ごとに積分した結果に相当している。このため、当該式からブレ量の項Ａ（ｆ）を分離し、ωｔ_０が一定として近似すると、残りの項は
ω・ｃｏｓ（ωｔ_０）・Δｔ
⇒２π・ｃｏｓ（ωｔ_０）・Δｔ×ｆ＝ｃ×ｆ （ｃ＝ｃｏｎｓｔ．）
と変形でき、図１０（ｃ）のような周波数に対する一次関数で表すことができる。

即ち、中心周波数決定部２０５では、入力された図１０（ｂ）のような各帯域の重み付きフィルタ応答に対し、図１０（ｃ）から各帯域の平均周波数に応じた変位量を乗じる。これにより、図１０（ｄ）のような、撮像画像における歪み量を考慮した各帯域のフィルタ応答を得ることができる。

本実施形態では、撮像画像における歪み量を考慮したフィルタ応答が最大となる帯域の平均周波数ｆ_ａ（周波数帯域の中央に相当する周波数（３〜９Ｈｚの場合は６Ｈｚ））を中心周波数として決定する。そして、当該中心周波数においてＩＩＲフィルタ３０１による位相遅れがπ／２となるように後述する位相補償制御部２０６に位相補償パラメータを設定させる。このようにすることで、歪み量が最も大きい、即ち位相ズレが生じた場合に像の補整残りまたは過補正による歪みが目立ちやすい周波数（中心周波数）において歪みを軽減することができる。

なお、本実施形態では、撮像画像における歪み量を考慮したフィルタ応答が極大となる帯域を中心周波数が含まれる帯域として決定し、当該帯域の中央に相当する周波数を中心周波数として決定するものとして説明するが、本発明の実施はこれに限らない。即ち、中心周波数として決定する周波数は、中心周波数が含まれる帯域のうちの１つの周波数、あるいは周波数帯であってよく、他の帯域のフィルタの傾向により動的に選択されてもよい。例えば、図１０（ｄ）の場合は、低周波領域と高周波領域のフィルタ応答の比に従って、中間周波領域のうちの１つの周波数を中心周波数として決定してもよい。

位相補償制御部２０６は、位相補償部２０７での手ぶれの時間特性の位相補償処理において、中心周波数決定部２０５で決定した中心周波数近傍の位相遅れがπ／２となるような位相補償パラメータを算出して、位相補償部２０７に出力する。なお、位相補償パラメータは、中心周波数近傍の周波数帯において、位相補償後のブレ量の位相が目標位相である−π／２となるように、公知の方法で決定される。

位相補償部２０７は、位相補償フィルタであり、例えば当該位相補償フィルタの位相特性は図１２（ａ）のようになる。位相補償部２０７は、入力された手ぶれの時間特性を、中心周波数決定部２０５で決定された中心周波数でＩＩＲフィルタ３０１により生じた位相ズレを補償し、当該周波数での位相遅れが積分器３０２により生じたπ／２となるように位相補償を行う。

位相補償部２０７の内部構成は、例えば図１１のようになる。加算器１１０１は、入力された手ぶれの時間特性（ブレ量）と、後述する増幅器１１０３の出力とを足し合わせ、位相補償後のブレ量を撮像画像歪み量算出部２０８に出力する。またシフトレジスタ１１０２は、入力された位相補償後のブレ量を遅延させ、増幅器１１０３に出力する。増幅器１１０３は、シフトレジスタ１１０２からの出力に対して、位相補償制御部２０６より入力された位相補償パラメータであるフィルタ係数Ｋを乗算して加算器１１０１に出力する。

このような構成により、位相補償制御部２０６で適切に設定された位相補償パラメータを用いて、位相補償部２０７の出力であるブレ量の位相特性を、図１２（ｂ）のように中心周波数において−π／２とすることができる。

撮像画像歪み量算出部２０８は、入力された位相補償後の手ぶれの時間特性を用いて、ブレ量算出部２０１における位相ズレが補償された、撮像素子のラインごとの撮像画像の歪み量を算出する。撮像素子のライン間の撮像画像の歪み量は、例えばＮライン目とＮ＋１ライン目の間に生じる歪み量を例にとると、図１３に示すように露光開始時刻におけるブレ量の差から算出することができる。

このように算出された歪み量をなくすように決定された補正量を用いて、画像処理部１０７は、撮像素子のラインごとに、ローリングシャッタ問題による撮像画像の歪みを補正することができる。

（まとめ）
以上説明したように、本実施形態の撮像装置は、ローリングシャッタ問題による歪みを補正する場合の補正残り、あるいは過補正を低減することができる。具体的には撮像装置は、ローリングシャッタ方式で駆動する撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における撮像装置の振動を検出し、検出された振動の時間特性を取得する。振動の時間特性を、振動の周波数について複数の帯域に分離し、振動に起因して画像に生じる被写体像の歪み量の周波数特性を、各帯域について算出し、当該歪み量の周波数特性が極大となる帯域を、歪み量の中心周波数が含まれる帯域として決定する。そして、少なくとも中心周波数が含まれる帯域の１つの周波数について、振動の時間特性を取得する際に生じた位相ズレがなくなるように振動の時間特性を補償する。さらに補償後の振動の時間特性から算出された補正量を用いて、撮像素子のラインごとに振動に起因して生じた被写体像の歪みを補正する。

このようにすることで、撮像画像における歪み量が最も大きく、補整残りあるいは過補正による歪みが目立ちやすい中心周波数近傍の周波数について、ＩＩＲフィルタを用いたことによる位相ズレを補償することができる。このため、ローリングシャッタ問題による歪みを補正した場合に、撮像画像全体において歪みを目立たなくすることができる。さらに、１フレームの画像を撮像中の手ぶれの時間特性に応じて動的に中心周波数を決定するため、適切にローリングシャッタ問題による歪みを補正することができる。

（変形例）
上述した実施形態では、重み決定部２１０は補助情報のパラメータそれぞれについて選択された各帯域の重み付け係数の平均をとって、各帯域のフィルタ応答に乗じる最終的な重み付け係数を決定するものとして説明した。本変形例では、補助情報のパラメータそれぞれについて推定した撮影状況について信頼度を設け、各撮影状況の信頼度に基づいて各帯域の重み付け係数を決定する方法について説明する。

例えば、補助情報のパラメータそれぞれについて推定した撮影状況について、図１４に示すような推定の信頼度が設定されている場合を考える。重み決定部２１０は、まず上述した実施形態と同様に、補助情報解析部２０９により補助情報のパラメータそれぞれについて推定された撮影状況に対して、予め定められた各帯域の重み付け係数を選択する。

そして重み決定部２１０は、選択した各帯域の重み付け係数について、当該選択に用いた補助情報のパラメータの信頼度に応じて、調整を行う。例えば補助情報の１つのパラメータについて推定された撮影状況から、図１５（ａ）各帯域の重み付け係数が選択された場合を考える。重み決定部２１０は、選択された各帯域の重み付け係数について、重み付け係数が高い順に選択された２つの帯域間の差分について信頼度を乗じて得られた値が差分となるように、係数が最も高い低周波領域の係数を基準として各帯域の重み付け係数を調整する。具体的には撮影状況の信頼度が０．８であるとすると、低周波領域と中間周波領域の係数の差分０．３、及び中間周波数領域と高周波領域の係数の差分０．２は、それぞれ０．２４、０．１６となる。即ち、図１５（ｂ）のように各帯域の係数は１．０、０．７６、０．６となる。

そして重み決定部２１０は、補助情報のパラメータそれぞれについて撮影状況の信頼度に基づいて調整された各帯域の重み付け係数を平均することにより、各帯域のフィルタ応答に乗ずる、最終的な各帯域の重み付け係数を決定する。

このように、補助情報である撮影時のデジタルビデオカメラ１００の状態に応じて、撮影状況を推定する際に、推定の信頼度を用いることで、より撮影時の状態に柔軟に対応した各帯域の重み付け係数を用いて、手ぶれの時間特性の中心周波数を決定できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. ローリングシャッタ方式で駆動する撮像素子を備える撮像装置であって、
   前記撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における前記撮像装置の振動を検出する検出手段と、
   前記検出手段により検出された前記振動を複数の帯域成分に分離することで前記帯域ごとに前記振動の周波数分布を解析する解析手段と、
   撮像時の前記撮像装置の撮影状況に基づいて、前記振動の周波数分布の帯域に対して重み付け処理を行う処理手段と、
   前記重み付された前記振動の周波数分布に基づいて、前記振動に起因して前記画像に生じる被写体像の歪み量の中心周波数が含まれる帯域を決定する決定手段と、
   少なくとも前記中心周波数が含まれる帯域の１つの周波数について、前記振動を像振れ補正のために演算処理する過程で生じる位相ズレを補償する補償手段と、
   前記補償手段により位相ズレが補償された前記像振れ補正の補正量を用いて、前記撮像素子のラインごとに前記振動に起因して生じた被写体像の歪みを補正する補正手段とを備えることを特徴とする撮像装置。
2. 前記解析手段は、前記帯域成分ごとに前記振動の振動成分を前記露光期間について積算することにより、前記振動の周波数分布を解析することを特徴とする請求項１に記載の撮像装置。
3. 前記補償手段は、少なくとも前記中心周波数が含まれる帯域の中央の周波数について、前記振動を像振れ補正のために演算処理する過程で生じる位相ズレがなくなるように補償することを特徴とする請求項１または２に記載の撮像装置。
4. 前記処理手段は、前記重み付け処理として、前記画像を撮像時の前記撮像装置のパラメータに基づいて決定された前記複数の帯域それぞれについての重み付け係数を、前記振動の周波数分布の各帯域に乗じることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像時の振動、焦点距離、主被写体情報、シャッタスピード、及びシーンモードの少なくともいずれかである前記撮像装置のパラメータに基づいて、前記画像を撮像時の前記撮像装置の撮影状況を推定し、当該推定された撮影状況ごとに予め定められた重み付け係数を用いて、前記複数の帯域それぞれについての前記重み付け処理における重み付け係数を決定する重み付け決定手段をさらに有することを特徴とする請求項４に記載の撮像装置。
6. 前記重み付け決定手段は、前記推定された撮影状況ごとに予め定められた重み付け係数と当該撮影状況の推定の信頼度とに基づいて、前記複数の帯域それぞれについての重み付け係数を決定することを特徴とする請求項５に記載の撮像装置。
7. 前記決定手段は、前記撮像素子の連続するライン間で前のラインが露光開始してから次のラインが露光開始するまでの期間の前記振動に起因して前記画像に生じる被写体像の歪み量の周波数特性を各帯域について算出し、前記振動に起因して前記画像に生じる被写体像の歪み量の中心周波数が含まれる帯域を決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記解析手段は、前記振動の時間特性のサンプリング周波数をダウンサンプルするダウンサンプリング手段を含むことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. ローリングシャッタ方式で駆動する撮像素子を備える撮像装置の制御方法であって、
   前記撮像素子を用いて画像を撮像する場合に、当該撮像素子の露光期間における前記撮像装置の振動を検出する検出工程と、
   前記検出工程において検出された前記振動を複数の帯域成分に分離することで前記帯域ごとに前記振動の周波数分布を解析する解析工程と、
   撮像時の前記撮像装置の撮影状況に基づいて、前記振動の周波数分布の各帯域に対して重み付け処理を行う処理工程と、
   前記重み付された前記振動の周波数分布に基づいて、前記振動に起因して前記画像に生じる被写体像の歪み量の中心周波数が含まれる帯域を決定する決定工程と、
   少なくとも前記中心周波数が含まれる帯域の１つの周波数について、前記振動を像振れ補正のために演算処理する過程で生じる位相ズレを補償する補償工程と、
   前記補償工程において位相ズレが補償された前記像振れ補正の補正量を用いて、前記撮像素子のラインごとに前記振動に起因して生じた被写体像の歪みを補正する補正工程とを備えることを特徴とする撮像装置の制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images