JP4250583B2 - 画像撮像装置及び画像復元方法 - Google Patents

Description

本発明は、撮像時の手振れ等の影響により撮像画像が劣化した場合、その画像のぶれを補正し、手振れ等の影響のない画像へ復元する画像撮像装置及び画像復元方法に関するものである。特に、デジタルスチルカメラや携帯電話などに搭載されているカメラの撮像装置に関するものである。

銀塩フィルムカメラやデジタルスチルカメラを手で持って被写体を撮影すると、手振れによってカメラが振れ、撮像された写真が手振れ方向に流れた劣化を受ける現象がある。そのため、従来の手振れを抑制するための方法として、光学系を駆動することで手振れを抑制し撮像する方法や、撮像センサを駆動することで手振れを抑制して撮像する方法がある。

比較的手振れの抑制でよく用いられている手振れの動きをセンシングする装置として、角速度センサあるいは角加速度センサなどの各種センサを用いた装置が存在する。これらの装置はデジタルスチルカメラに備え付けられ、手振れの動き量や方向などの検出、予測等を行い、手振れを抑制して撮像する。
従来、これらのセンサを用いた手振れ補正方法の例として特許文献１があり、撮影レンズ光軸のぶれを角速度または揺動角加速度として検出するぶれ検出手段を備え、シャッターレリーズスイッチを押し下げると、上記ぶれ検出手段により検出されたぶれが極大値をとった後、シャッター駆動機構にシャッターをレリーズさせ、これにより手振れ補正を可能としている。しかし、特許文献１では、本来撮影者が意図するシャッターのタイミングから時間的にずれた状態で撮影が行われるため、実際には撮影者が撮ろうとしていたシーンとは異なるシーンを撮像するという課題があった。
特許文献２には、上記の課題解決策が開示されている。特許文献２ではセンサと連写モードを複合しており、撮像装置により撮影された画像の手振れを補正する画像処理装置において、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得する連写撮影部と、連続的な撮影のタイミングに従って撮像装置の手振れに関する手振れ情報を検出する手振れ検出部と、手振れ検出部により検出された手振れ情報と、連写撮影部により得られた複数の画像とに基づき、複数の画像のうち少なくとも一つ以上の画像について当該画像が有する手振れを補正する手振れ補正部とを有し、これにより手振れ補正を可能としている。

特開平５−１０７６２２号公報（第２頁、第２図） 特開２００２−２４７４４４号公報（第３頁、第１、第２図）

しかし、特許文献１および特許文献２では、手振れを検出するための角速度センサ等の検出手段およびそれを制御するための制御回路等が必要であり、装置構成が複雑になるという課題があった。
さらに、特許文献１および特許文献２では、手振れを補正することは可能であっても、その他のぶれは補正できなかった。例えば、高速で走行する新幹線や自動車の車窓から車外の建物等を撮像する場合にも、手振れ時と同様のぶれが撮像画像に生じるが、これはカメラがぶれたために生じたのではないため、角速度センサ等の検出手段では検出できず、したがって、ぶれを補正することは不可能であるという欠点があった。

本発明に係る画像撮像装置および画像復元方法においては、電荷蓄積時間の異なる２枚の画像を連続して撮像素子により撮像し、これら２枚の画像間の関係が手ぶれに対応したインパルス応答関数で表現される線形であると仮定し、その関係であるインパルス応答関数を数学的画像モデル推定部により推定し、前記推定した関係から、電荷蓄積時間の長い画像に生じた劣化を画像復元部により改善するものである。

本発明の効果としては、手振れを測定するセンサを用いることなく、画像のぶれを改善できる。また、改善できる画像のぶれは、手振れによるものに限られず、高速移動体から、移動体外を撮影した場合に生じる画像のぶれも改善可能である。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、主に、デジタルスチルカメラにおける手振れ補正方法として用いるのに適したものであるが、他の撮像装置にも適用可能な技術である。
実施の形態１．
図１は、この発明を実施するための実施の形態１における画像撮像装置の構成を示すブロック図、図２は画像撮像装置の撮像素子の駆動方法について説明した図、図３はディジタル信号処理による画像復元手段の処理フローを示す図、図４はフレームメモリの構成を示す図、図５は第１の撮像画像（以後、電子式高速シャッターによる撮像画像と呼ぶ。）と第２の撮像画像（以後、通常のシャッタースピードによる撮像画像と呼ぶ。）の２枚の画像を用いた手振れ量の計算を行うための数学的画像モデル推定部の構成を示すブロック図、図６は、通常のシャッタースピードによる撮像画像に対し、ディジタル信号処理による画像復元アルゴリズムを行う画像復元部の構成を示すブロック図である。
図１に本発明に係る画像撮像装置の構成図を示す。１は撮像素子であり、ＣＣＤセンサやＣＭＯＳイメージセンサ等の固体撮像素子にて構成されている。増幅手段２は、前記撮像素子１の出力信号を増幅する。Ａ／Ｄコンバータ３は、増幅手段２の出力信号をディジタル信号に変換し、フレームメモリ４へ出力する。フレームメモリ４は、図４に示すように２つの画像格納領域を持ち、電子式高速シャッターによる撮像画像と通常のシャッタースピードによる撮像画像の２枚の撮像画像を格納できる。数学的画像モデル推定部５は、フレームメモリに格納されたこれら２枚の撮像画像を受け取り、それぞれの画像を数学的画像モデルの入力と出力と仮定し、その数学的画像モデルを推定し、モデルに含まれるパラメータを画像復元部６に出力する。すなわち、２枚の撮像画像の数学的関係の推定を行う。画像復元部６は、数学的画像モデル推定部５から数学的画像モデルに含まれるパラメータを受け取ると同時に、フレームメモリ４から受け取った２枚の撮像画像のうち、手振れの影響により画質が劣化している通常のシャッタースピードによる撮像画像を改善し出力する。フレームメモリ４、数学的画像モデル推定部５及び画像復元部６から構成され、撮像画像を復元する信号処理部を画像信号処理部９と呼ぶ。制御部７は、撮像素子１を駆動するための駆動波形を出力するタイミングジェネレータ８（以後、ＴＧと称する）を制御する制御信号と、画像信号処理部９を制御する制御信号を出力する。撮像素子１はＴＧ８から出力される駆動波形によって駆動され、センサ上に結像された光学像を光電変換し、光電変換された電気信号を出力する。
次に、図２にもとづいて、撮像時における撮像素子１の駆動方法について説明する。図２においてＣＣＤと記載しているのは、撮像素子１の電荷蓄積を示した図であり、斜線部が撮像素子１内で光電変換を行い、その電荷を蓄積している時間を示している。ＶＤは１フレーム毎に１つのパルスを発生する垂直パルスであり、画面の同期などに用いる。ＯＦＤはオーバーフロードレインパルスであり、撮像素子１に蓄積された電荷を捨てるための高圧のパルスであり、ＯＦＤが加えられると蓄積された電荷は全て放電される。ＴＧはタイミングゲートパルスであり、蓄積された電荷を撮像素子１の転送部へ読み出すパルスであり、読み出された電荷はＦＤＡ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ Ａｍｐｌｉｆｉｅｒ）によって電圧値へ変換後、出力されていく。よって、ＯＦＤからＴＧまでの時間が電荷蓄積時間となり、ＯＦＤをＴＧパルスに近づけていくと電荷蓄積時間が短くなる。これは、光学的シャッターを高速にきったことに相当し、電子式高速シャッターと称される。

図２におけるＦ１では、１フレームの１／ｎ（ｎは整数）に相当する時間の電荷蓄積を行う。つぎに、Ｆ２では１フレームの時間で電荷蓄積を行う。このように、１／ｎフレーム時間電荷蓄積を行う電子式高速シャッタースピードに相当する撮像と、１フレーム間電荷蓄積を行う通常のシャッタースピードに相当する撮像を連続して行うよう撮像素子１を駆動させる。ここで、通常のシャッタースピードに相当する電荷蓄積時間を１フレームとしたが、この時間は、十分なＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ：信号対雑音比）が得られる時間であれば良く、撮像素子１の感度や、その暗電流特性等に勘案して、最適な時間を設定すれば良い。また、電子式高速シャッタースピードに相当する電荷蓄積時間を、通常のシャッタースピードに相当する電荷蓄積時間のｎ分の１としたが、ｎが大きいほど、本発明における復元画像の手振れ低減効果は大きくなる。一方、ｎを大きくしすぎると、電子式高速シャッタースピードに相当する撮像画像のＳＮＲが極端に悪くなり、数学的画像モデル推定時の精度が劣化してしまう。そのため、ｎとして、３から１０程度が適当である。ここで、ｎを整数としたが、これは現在普及している制御ドライバー等からの制限であり、本発明にとって、本質的な制約ではない。

撮像の順序に関しては、最初に電子式高速シャッタースピードによる撮像を行い、その後に、通常のシャッタースピードによる撮像を行う方が、撮影者のシャッタータイミングから遅れのない画像を最終的に得られるという利点があるが、手振れの速度が大きくないときは、逆の順序も可能である。また、これら２枚の撮像は、図２に示したように連続して行うことが最良であるが、ハードウエア等からの制限で、１フレーム程度の間隔があいて撮像しても、本発明の効果を損なうものではない。
以上のような撮像手法を用いることにより、電子式高速シャッターによる撮像に引き続き、通常のシャッタースピードによる撮像を行うことが可能となる。これらの撮像画像は瞬時に連続して撮像を行うため撮像内容に大きな違いは無いが、通常のシャッタースピードで撮像した画像は手振れによる影響を受け劣化しやすい一方で、電子式高速シャッターにより撮像した画像は、露光時間が短いため手振れの影響をほとんど受けない。
しかし、電子式高速シャッターによる撮像画像は電荷蓄積時間が短いため、非常に暗い画像として撮像されることに問題がある。特にＳＮＲが悪くなるため、撮像画像中にはランダムな性質を持つ雑音を多く含み、ディジタル信号処理により正確に雑音除去を行うことが困難である。
逆に、通常のシャッタースピードで撮像を行えば、一般的に電荷蓄積時間が適切となるので、ＳＮＲの高い画像が撮像される。その一方で電荷蓄積時間が長いことから、撮像時のカメラの揺れである手振れが大きい場合、その影響により撮像画像が劣化する。手振れにより劣化した画像のみから手振れ量を推定することは困難な問題であり、これまで多くの研究がなされているが、実用化されている例は無い。
そこで、本発明ではこれら電荷蓄積時間の異なるほぼ同時に連続して撮像した２枚の画像の性質を考慮し、手振れの影響が無く、かつ画質の良い撮像画像を得る撮像方法と復元処理方法を発明した。その処理フローを図３に示し詳細に述べる。

本発明の撮像装置は、撮像に際して電子式高速シャッターにより画像を撮像し（Ｓ１）、その直後に通常のシャッタースピードで被写体を撮像する（Ｓ２）。このとき、図２のタイミングチャートに従って撮像が行われており、撮像を行っているユーザ自身が意識することなく２枚の画像が撮像される。これら連続した２枚の画像の撮像が終わると、電子式高速シャッターによる撮像画像を参照し、通常のシャッタースピードによる撮像画像の手振れ量を推定する（Ｓ３）。手振れ量と、あらかじめ設定しておいた閾値Ａを比較し、手振れレベルが小さく、手振れ補正する必要が無ければ手振れ補正処理を終了する（Ｓ４）。手振れ量が大きければ、その手振れ量の推定値を用い、ディジタル信号処理における画像復元アルゴリズムを適用して、通常のシャッタースピードで撮像した手振れによる劣化を受けている画像を補正する（Ｓ４）。尚、閾値Ａは、人の視覚上、画像のぶれがほとんどないと感じるレベルに設定しておけば良い。

以上のステップを踏むことにより、通常のシャッタースピードで撮像した画像に手振れによる劣化が存在した場合でも、手振れを補正し画質の良い画像を撮像することができる。
次に、数学的画像モデル推定部５における手振れ量の推定について説明する。
図１の数学的画像モデル推定部５では、通常のシャッタースピードで撮像された画像の手振れ量の推定を、速いシャッタースピードでほぼ同時に撮像した別の１枚の画像を用いて行っている。その手法を数学的に画像を表現した次の式（１）を用いて詳細に説明する。

式（１）においてｉ、ｊは画素の位置を表しており、画面垂直方向にＭ画素、画面水平方向にＮ画素となるサイズの画像であれば、ｉ＝１，・・・，Ｍ、ｊ＝１，・・・，Ｎとなる整数値を取る。ｓ_ｉ，ｊは電子式高速シャッターによる撮像画像の画素信号、ｔ_ｉ，ｊは通常のシャッタースピードによる撮像画像の画素信号、ｖ_ｉ，ｊは通常のシャッタースピードによる撮像時の付加的雑音成分、ｈ_ｋ，ｌは手振れ量を示すインパルス応答関数、Ｋより計算される（２Ｋ＋１）はインパルス応答関数の画面垂直方向の次数、Ｌより計算される（２Ｌ＋１）はインパルス応答関数の画面水平方向の次数を表すとする。ただし、電子式高速シャッターによる撮像画像および通常のシャッタースピードによる撮像画像の平均値は０であるとする。これはそれぞれの撮像画像の画素信号からそれぞれの平均値、すなわち撮像素子１から得られる生画像のバイアス値を計算し、各画素信号から平均値を引くことにより計算できる。このとき、電子式高速シャッターによる撮像画像および通常のシャッタースピードによる撮像画像の統計的性質で、これらの画像の期待値は平均値と等しい（エルゴード性）と仮定すると、Ｅ［・］を・の期待値を表すものとして、Ｅ［ｓ_ｉ，ｊ］＝０、Ｅ［ｔ_ｉ，ｊ］＝０と表すことができる。さらに、付加的雑音ｖ_ｉ，ｊにはＥ［ｓ_ｉ，ｊｖ_ｉa，ｊa］＝０（ｉaおよびｊaは任意）の性質を仮定する。この仮定は、付加的雑音が電子式高速シャッターで撮像される画像にほとんど依存しない事実から導かれた仮定である。このとき、式（１）において、両辺にｓ_{ｉ−ｋa，ｊ−ｌa}を乗じて期待値を計算することにより、ｈ_ｋ，ｌに関する線形連立方程式が式（２）として得られる。

式（２）中のＲ_ｓｓ（ｋa−ｋ，ｌa−ｌ）は電子式高速シャッターによる撮像画像の自己相関関数を、Ｒ_ｔｓ（ｋa，ｌa）は通常のシャッタースピードによる撮像画像と電子式高速シャッターによる撮像画像の相互相関関数を示している。このことから、電子式高速シャッターによる撮像画像の自己相関関数と、電子式高速シャッターと通常のシャッタースピードによる撮像画像の相互相関関数を計算することにより、インパルス応答関数で示された手振れ量ｈ_ｋ，ｌを推定することができる。
ここで、式（２）に含まれる自己相関関数Ｒ_ｓｓ（ｋa−ｋ，ｌa−ｌ）と相互相関関数Ｒ_ｔｓ（ｋa，ｌa）はそれぞれ式（３）、式（４）により定義される。

以上に述べた手振れ量を示すインパルス応答関数の推定動作を、図５に示すブロック図を用いて再び詳細に説明する。

数学的画像モデル推定部５には、フレームメモリ４から、それぞれ、入力端子３１に電子式高速シャッターによる撮像画像と、入力端子３２に通常のシャッタースピードによる撮像画像が入力される。次に、手振れ量を示すインパルス応答関数の次数（２Ｋ＋１）、（２Ｌ＋１）を次数設定部４１で設定し、その次数を受けて、相互相関関数演算器４２では、電子式高速シャッターによる撮像画像と、通常のシャッタースピードによる撮像画像を入力し相互相関関数を計算する。また、次数設定部４１で設定した次数を自己相関関数演算器４３に電子式高速シャッターによる撮像画像とともに入力し、自己相関関数を計算する。計算された相互相関関数と自己相関関数は、次数（２Ｋ＋１）、（２Ｌ＋１）とともに線形連立方程式解法演算器４４に入力し、その解を求める。求められた解はインパルス応答関数推定値修正部４５に入力され、解の和が１となるように正規化が行われる。正規化によって最終的に得られた手振れを示すインパルス応答関数は、出力端子３３から出力される。

ここで、インパルス応答関数推定値修正部４５について述べる。線形連立方程式解法演算器４４は、撮像素子１から得られる生画像のバイアス値の異なる２枚の画像から算出されるものであり、算出されたフィルタを画像に適用するとフィルタリング後の画像のバイアス値が異なってしまう。先述のように、手振れにより劣化している通常のシャッタースピードで撮像した画像は電荷蓄積時間が長く明るい。しかし、電荷蓄積時間の短い電子式高速シャッターによる撮像画像を参照して手振れ量を推定した場合、手振れ補正を行うと電子式高速シャッターによる撮像画像と同等のバイアス値を持つ暗い画像として補正されてしまう。このことを防ぐために、インパルス応答関数推定値修正部４５で正規化を行う。

次に、電子式高速シャッターによる撮像画像の画素信号ｓ_ｉ，ｊと、通常のシャッタースピードによる撮像画像の画素信号ｔ_ｉ，ｊについて説明する。
数学的画像モデル推定部５で手振れ量を示すインパルス応答関数を推定するために用いる２枚の画像の画素信号は、ＲＧＢにより表現される画像のＲ、Ｇ、Ｂのすべてを用いてもよいが、計算量削減のため一色のみを用いてもよい（例えば、Ｇのみなど。）。また、ＹＣｂＣｒにより表現される画像であっても同様に推定を行うことができ、ＲＧＢを用いた時と同様に、一種のみを用いた推定を行ってもよい（例えば、Ｙのみなど。）。

また、画像全体に含まれるＭ×Ｎ画素を用いる必要は無く、２枚の画像中のある領域だけを用いて推定を行ってもよい。ただし、このときには制限があり、領域のサイズは手振れ量を示すインパルス応答関数の定義された範囲（２Ｋ＋１）×（２Ｌ＋１）より、垂直方向画素数、水平方向画素数ともに大きくなくてはならない。

次に、２枚の画像中における被写体のずれについて言及する。推定方法は相関関数を用いるため、位置ずれに関する情報は、算出された自己相関関数および相互相関関数に反映されており、位置ずれを含む形で手振れ量が推定される。通常のシャッタースピードで撮像した画像から手振れ補正された画像は、電子式高速シャッターによる撮像画像と同じ位置で画像復元されるため、撮影者が撮像したい瞬間の画像が得られる。

これまでは、数学的画像モデル推定部５において２枚の画像から手振れ量の推定を行う手法について述べたが、これらの推定値を用いてディジタル信号処理における画像復元アルゴリズムを適用することで手振れ補正を行う手法について述べる。
画像復元アルゴリズムは後述するように多くの手法が提案されているが、以下では、本発明にもっとも適切なひとつの手法について詳述する。本手法は手振れを示すインパルス応答関数の逆フィルタリングを行っており、逆フィルタリング手段６３において実行される。以下、数学的に詳細に述べる。
実施の形態１で用いた画像復元アルゴリズムは、拘束条件付最小自乗法から導かれる逆フィルタを用いており、数学的画像モデル推定部５で推定された手振れ量を示すインパルス応答関数を用いて算出される。また、手振れ量を示すインパルス応答関数の逆フィルタを求める際は、特徴抽出された画像の自乗ノルムの最小化問題を解く。自乗ノルムとはベクトルに対して、その要素の自乗和として計算される。
実施の形態１ではエッジ抽出に使用されるラプラシアン・オペレータで抽出されたエッジ情報の自乗ノルムを最小化問題として解く手法を用いた。
まず、式（１）で示される数学的画像モデルをベクトル・行列表現する。このとき、求めるべき復元画像及び通常のシャッタースピードによる撮像画像の要素を、辞書式配列で取り出し列ベクトルとしてそれぞれvs、vtで定義し、インパルス応答関数に相当する行列をＨで表記する。また、ラプラシアン・オペレータも前述のインパルス応答関数のように行列Ｃとして表記する。このとき行列ＨおよびＣはブロックトエプリッツ行列となっており、近似的に２次元離散フーリエ変換（以後ＤＦＴと表記する）行列を用いて近似的に対角化することができるため、高速で演算処理を行うことが可能になる。
以上の表記を用いることにより、ラプラシアン・オペレータによる画像のエッジ抽出量をＪ_１で表記すると、Ｊ_１は以下のようにベクトルのノルムの２乗になり、

と書くことができる。一般的に、画像は画素間の相関性が強く、エッジ抽出量は少ないものとなることから、拘束条件付最小自乗法では式（５）で示されるＪ_１の最小化を行うことで画像復元を行うことを考える。

を最小化する問題に帰着される。式（７）を電子式高速シャッターによる撮像画像vsで偏微分することにより復元画像vssを求めると

が得られるが、式（８）はサイズの大きいブロックトエプリッツ行列を含んでいることから、厳密解を得るためには膨大な計算量が必要となる。しかし、ＤＦＴ行列を用いて近似的に対角化することで、下記に示すように実用的な計算量で解を求めることができる。ただし、式（８）中の変数の右肩に表記しているＴは行列の転置を表す。vssおよびvtをＤＦＴしたベクトル要素をＶＳＳ（ν_１，ν_２）、Ｔ（ν_１，ν_２）、ＤＦＴ行列により行列Ｈ、Ｃを近似的に対角化した行列の対角要素をＨ（ν_１，ν_２）、Ｃ（ν_１，ν_２）で表記する。ここで、ν_１、ν_２（ν_１＝ν_１１，・・・，ν_１Ｍ、 ν_２＝ν_２１，・・・，ν_２Ｎ）は、それぞれ水平及び垂直方向の空間周波数成分である。これらを用いると、ＤＦＴ領域における復元画像は

として求まる。つまり復元画像は、VSS（ν_１、ν_２）を２次元逆離散フーリエ変換（以後ＩＤＦＴと表記する。）することにより得ることができる。ここで、インパルス応答関数から求まる逆フィルタをＷ（ν_１，ν_２）として表記すれば、逆フィルタは

である。次に、実際に式（１０）を求め画像復元を行う処理について図６のブロック図を用い詳細に述べる。

まず、フレームメモリ４から入力端子５１に手振れによる劣化を受けた通常のシャッタースピードによる撮像画像を入力する。また、数学的画像モデル推定部５から入力端子５２に先述の方法で推定された手振れ量を示すインパルス応答関数を入力し、逆フィルタ算出部６２で拘束条件付最小自乗法から導かれる逆フィルタの空間周波数表現を計算する。閾値設定部６６では、閾値Ａを設定し、和演算部６５で逆フィルタ算出部６２から入力した逆フィルタの交流成分の和を手振れレベルとして求め、比較器６７へ出力する。比較器６７では、入力した手振れレベルと先述の閾値Ａとを比較し、手振れレベルがＡ以下であれば、手振れによる劣化が視覚上問題ないと判断し、スイッチ６８において上側をＯＮにし、入力端子５１から入力された画像に対して、画像復元処理を行わず出力端子５３から出力する。手振れレベルがＡ以上であれば手振れによる劣化が存在していると判断し、スイッチ６８において下側をＯＮにし画像復元処理を行う。
ここで、手振れによる劣化の有無を判断する別の方法について述べる。入力端子５２から入力されたインパルス応答関数の推定値は、手振れによる劣化が少なければ、インパルス応答関数のある要素のみ１を取り、それ以外の要素は０を取ることとなる。このことを検出して手振れ補正を実行するか否かを決定しても良い。このほかに、数学的画像モデル推定部５において、相互相関関数演算器４２で閾値との比較を行っても良い。
次に、実施の形態１での画像復元処理について述べる。画像復元にはＤＦＴを用いた拘束条件付最小自乗法により導かれる逆フィルタを用いるため、画像復元処理は空間周波数領域で行われる。そのため、通常のシャッタースピードで撮像した画像を２次元ＤＦＴするためＤＦＴ演算器６１でＤＦＴし、そのデータを逆フィルタリング演算部６３に入力する。また、逆フィルタ算出部６２で求められた逆フィルタは逆フィルタリング演算部６３に入力され、先に入力されていた手振れによる劣化を受けた画像の空間周波数表現に、空間周波数表現された逆フィルタを乗算することで逆フィルタリングを行う。この結果得られる復元画像の空間周波数表現を空間領域表現に変換するため、ＩＤＦＴ演算器６４にてＩＤＦＴを行う。ＩＤＦＴ演算器６４から出力されたデータは手振れ補正された画像となっており、出力端子５３から出力する。
次に、逆フィルタ算出部６２について、図７のブロック図を用いて詳細に説明する。
まずはじめに、画像サイズ設定手段８４で画像サイズを設定し、空間周波数領域表現変換器８３に入力する。そして、入力端子７１により数学的画像モデル推定部５で推定された手振れ量を示すインパルス応答関数を入力するとともに、画像の特徴抽出を行うオペレータを設定する特徴抽出オペレータ設定手段８５でラプラシアン・オペレータを設定し、空間周波数領域表現変換器８３に入力する。空間周波数領域表現変換器８３は入力された画像サイズに合わせ、入力された手振れを示すインパルス応答関数と、特徴抽出オペレータを空間周波数領域表現に変換し、それぞれを拘束条件付最小自乗フィルタ構成手段８６に出力する。ラグランジュ未定乗数設定手段８７では、拘束条件付最小自乗法に含まれているラグランジュ未定乗数を設定し、拘束条件付最小自乗フィルタ構成手段８６に出力する。拘束条件付最小自乗フィルタ構成手段８６では入力されたデータを用い、逆フィルタの空間周波数表現を計算し、出力端子７２から出力する。
ここで、ディジタル信号処理における画像復元アルゴリズムの適用方法について言及する。撮像画像をＹＣｂＣｒの３要素に変換して本発明を適用する場合、人の眼には輝度（Ｙ）の変化が一番検出されやすいという事実を用いて、輝度（Ｙ）のみ画像復元を適用しても、遜色の無い手振れ補正を行うことができる。
また、画像復元アルゴリズムは非常に多くの手法が存在している。それらの手法の大部分は式（１）を基礎としており、式（１）を用いた手法および式（１）を変形して導いた手法による画像復元アルゴリズムであり、いずれも画像復元を行うには式（１）におけるインパルス応答関数の推定が必要となる。ここでディジタル信号処理における画像復元アルゴリズムの代表的なものについて述べる。

まず、インパルス応答関数の逆関数を用いた逆フィルタリング手法がある。また、逆関数を持たず求めることができない場合、擬似逆または一般逆と呼ばれる逆関数を求める逆フィルタリング手法がある。さらに、実施の形態１で用いた拘束条件付最小自乗法における特徴抽出オペレータを変更したものや、重み付き拘束条件最小自乗法として導出されたアルゴリズムがある。これらの手法は一般的に正規直交変換を用いて空間周波数領域で実行される。その正規直交変換にはＤＦＴ、ＤＣＴ、ＤＳＴが用いられることが多い（例えばＤＣＴを用いる場合は、ＤＣＴ空間周波数領域と呼ぶことが多い。）。また、これらのアルゴリズムは全て、空間領域で反復処理として実行することもできる。
次に、撮像された画像の原画像に統計的性質を仮定し、その性質に基づき画像復元を行うアルゴリズムがある。その代表的なものにウィーナ・フィルタがあり、空間領域、空間周波数領域どちらでも実行できる。また、ウィーナ・フィルタの逐次推定手法としてカルマン・フィルタによる画像復元アルゴリズムがある。本手法は式（１）の下に空間領域、周波数領域、空間周波数領域で行うアルゴリズムを導出できる。また、カルマン・フィルタは逐次推定手法であることから、その初期値に依存する場合もあり、その初期値を推定するために、固定区間スムーザと呼ばれるカルマン・フィルタ実行後に行うアルゴリズムが存在する。これにより、適切な初期値を推定し、カルマン・フィルタを実行し、再び固定区間スムーザを実行することで最良の復元画像を得ることもできる。また、固定区間スムーザの変わりに、固定ラグスムーザ、固定点スムーザを用いても、固定区間スムーザとほぼ同等の画像復元が行える。また、これらのアルゴリズムは事後確率最大化（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒｉ：ＭＡＰ）推定を用いた画像復元法の一つとも考えられる。また、ＭＡＰ推定には擬似焼き鈍し（Ｓｉｍｕｌａｔｅｄ Ａｎｅａｌｉｎｇ）法による確率緩和法を用いた手法なども用いられる。
上記以外にも射影フィルタを中心としたアルゴリズムや、エントロピー最大化手法に基づいたアルゴリズムなど、多くの手法が存在する。本発明においては、画像復元アルゴリズムとして上記に示した様々な手法を用いることが可能であり、応用目的や、使用する電子回路の性能やメモリ量等に応じて最適な手法を選択可能である。
以上に述べたように、角速度センサ等の特別なセンサおよびその制御回路等を用いなくても、通常のシャッタースピードにより撮像した手振れによる劣化を受けた撮像画像の手振れ補正を、直前に撮像した電子式高速シャッターによる撮像画像を参照することにより行うことができる。さらに、この手振れ補正後の画像は、撮影者がシャッターを押した時点での撮像画像が得られるという特長を有する。また、フレームメモリ４には、２枚の画像を格納できればよく、大きなサイズのメモリは不要である。
上記では、手振れの影響による撮像画像のぶれを除去する撮像装置および画像復元方法について述べたが、この手法により、高速移動体の乗客が車窓から建物等を撮像した場合に生じる撮像画像のぶれも除去できるという特長も有する。手振れの影響によるぶれも、高速移動体から撮像した場合に生じるぶれも、数学的に等価であるからである。

実施の形態１における画像撮像装置の構成を示すブロック図である。 実施の形態１における画像撮像装置の撮像素子の駆動方法について説明した図である。 実施の形態１における画像復元手段の処理フローを示す図である。 実施の形態１におけるフレームメモリの構成を示す図である。 実施の形態１における数学的画像モデル推定部の構成を示すブロック図である。 実施の形態１におけるディジタル信号処理による画像復元部の構成を示すブロック図である。 実施の形態１におけるディジタル信号処理による画像復元方法の中で逆フィルタリング時における逆フィルタの算出部の構成を示すブロック図である。

符号の説明

１ 撮像素子
２ 増幅手段
３ Ａ／Ｄコンバータ
４ フレームメモリ
５ 数学的画像モデル推定部
６ 画像復元部
７ 制御部
８ ＴＧ
９ 画像信号処理部
３１ 入力端子
３２ 入力端子
３３ 出力端子
４１ 次数設定部
４２ 相互相関関数演算器
４３ 自己相関関数演算器
４４ 線形連立方程式解法演算器
４５ インパルス応答関数推定値修正部
５１ 入力端子
５２ 入力端子
５３ 出力端子
６１ ＤＦＴ演算器
６２ 逆フィルタ算出部
６３ 逆フィルタリング演算部
６４ ＩＤＦＴ演算器
６５ 和演算部
６６ 閾値設定部
６７ 比較器
６８ スイッチ
７１ 入力端子
７２ 出力端子
８３ 空間周波数領域表現変換器
８４ 画像サイズ設定手段
８５ 特徴抽出オペレータ設定手段
８６ 拘束条件付最小自乗フィルタ構成手段
８７ ラグランジュ未定乗数設定手段

Claims (5)

1. 電荷蓄積時間の異なる２枚の画像を連続して撮像する撮像素子と、
   前記２枚の画像間の関係が手ぶれに対応したインパルス応答関数で表現される線形であると仮定し、その関係であるインパルス応答関数を推定する数学的画像モデル推定部と、
   前記推定した関係から、電荷蓄積時間の長い画像に生じた劣化を改善する画像復元部と
   を備えたことを特徴とする画像撮像装置。
2. 前記数学的画像モデル推定部は、電荷蓄積時間の短い画像の自己相関関数と、前記２枚の画像の相互相関関数を導出することを特徴とする請求項１記載の画像撮像装置。
3. 前記推定された２枚の画像間の関係から、前記電荷蓄積時間の長い画像に生じたぶれ量を推定し、推定したぶれ量が大きい場合のみ、画像復元を行うことを特徴とする請求項１または２に記載の画像撮像装置。
4. 電荷蓄積時間の異なる２枚の画像を連続して撮像し、
   前記２枚の画像間の関係が手ぶれに対応したインパルス応答関数で表現される線形であると仮定し、
   その関係であるインパルス応答関数を推定し、
   前記推定した関係から、電荷蓄積時間の長い画像に生じた劣化を改善する画像復元方法。
5. 前記電荷蓄積時間の短い画像の自己相関関数と、前記２枚の画像の相互相関関数を導出することを用いて、前記２枚の画像間の関係を、推定することを特徴とする請求項４記載の画像復元方法。

Images