JP5213670B2 - 撮像装置及びぶれ補正方法 - Google Patents

Description

本発明は、画像のぶれを補正する機能を備えた、デジタルスチルカメラ等の撮影装置に関する。また、本発明は、その機能を実現するぶれ補正方法に関する。

手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。

手ぶれ補正の方式の中で、短い露光時間によって撮影された参照画像を用いる方式が提案されている（下記特許文献１〜５参照）。この方式では、適正な露光時間によって補正対象画像を撮影する一方で該適正な露光時間よりも短い露光時間によって参照画像を撮影し、参照画像を用いて補正対象画像のぶれを補正する。

短い露光時間にて撮影された参照画像のぶれは比較的小さいため、参照画像を利用して補正対象画像のぶれ状態の推定等を行うことができる。補正対象画像のぶれ状態を推定することができれば、画像復元処理などによって補正対象画像のぶれを低減することが可能である。

尚、フーリエ反復法を用いた画像復元処理が提案されている（下記非特許文献１参照）。図３７にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（Point Spread Function）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。

特開２００１−３４６０９３号公報 特開２００２−２５８３５１号公報 特開２００２−２９０８１１号公報 特開２００６−１０１４４７号公報 特開２００７−２６７０５３号公報 G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549

参照画像を用いた画像処理による手ぶれ補正方法は、角速度センサ等の手ぶれ検出センサを必要としないため、撮像装置のコストダウン低減に大きく寄与する。

但し、短い露光時間にて撮影された参照画像のぶれは小さいことが期待されるものの、実際には、撮影者の撮影技術等によって、参照画像に無視できない程度のぶれが含まれることがある。十分なぶれ補正効果を得るためには、ぶれのない或いはぶれの小さな参照画像を用いる必要があるが、実際の撮影では、そのような参照画像を撮影できない場合もある。また、露光時間が短いが故に、必然的に、参照画像の信号対雑音比は比較的低くなる。十分なぶれ補正効果を得るためには、参照画像の信号対雑音比を或る程度高くしておく必要があるが、実際の撮影では、そのような参照画像を撮影できない場合もある。ぶれが大きな参照画像又は信号対雑音比が大きな参照画像を用いてぶれ補正処理を行っても満足のいくぶれ補正効果は得難く、改悪画像が得られることすらある。殆ど補正効果を得られないぶれ補正処理の実行又は改悪画像を生成するようなぶれ補正処理の実行を避けた方が良いことは自明である。

そこで本発明は、ぶれ補正効果の安定化に寄与する撮像装置及びぶれ補正方法を提供することを目的とする。

本発明に係る第１の撮像装置は、撮影によって画像を取得する撮像手段と、撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された第２画像と、に基づいて補正するぶれ補正処理手段と、 前記ぶれ補正処理手段による補正の実行可否を制御する制御手段と、を備えることを特徴とする。

これにより、有効なぶれ補正効果を得られる場合にのみ補正を実行するといったことが可能となる。これは、結果的に、ぶれ補正効果の安定化に寄与する。

具体的には例えば、前記制御手段は、前記第２画像のぶれの度合いを推定するぶれ推定手段を備え、その推定結果に基づいて前記ぶれ補正処理手段による補正の実行可否を制御する。

第２画像が比較的大きなぶれを有する場合、第２画像に基づくぶれ補正処理を行っても、有効なぶれ補正効果を得ることができないことが多い。これを考慮し、第２画像のぶれの度合いの推定結果に基づいてぶれ補正処理手段による補正の実行可否を制御する。これにより、無理にぶれ補正処理を行ってぶれ補正効果の殆どない画像（或いは改悪画像）を生成してしまうといった事態の発生を回避することができ、結果として、ぶれ補正効果の安定化に寄与する。

より具体的には例えば、前記ぶれ推定手段は、前記第１画像のエッジ強度と前記第２画像のエッジ強度との比較の結果に基づいて前記第２画像のぶれの度合いを推定する。

そして例えば、撮影される画像の明るさを調節するための感度は、前記第１画像の撮影時と前記第２画像の撮影時との間で異なり、前記ぶれ推定手段は、前記第１画像の撮影時における感度と前記第２画像の撮影時における感度との相違に起因する、前記第１及び第２画像のエッジ強度間の相違を抑制する処理を介して、前記比較を実行する。

これにより、ぶれ度合い推定に対する感度の相違の影響を抑制することができ、ぶれ度合い推定の高精度化が期待される。

或いは例えば、前記ぶれ推定手段は、前記第１画像と前記第２画像との間における位置ずれ量に基づいて前記第２画像のぶれの度合いを推定する。

更に或いは例えば、前記ぶれ推定手段は、前記第１画像及び前記第２画像を用いて求めた、前記第１画像の推定画像劣化関数に基づいて、前記第２画像のぶれの度合いを推定する。

そして例えば、前記ぶれ推定手段は、前記推定画像劣化関数を行列表現した際における前記推定画像劣化関数の各要素の値を参照して、参照した値の内、規定の数値範囲から逸脱した値を抽出し、抽出した値の合算値に基づいて前記第２画像のぶれの度合いを推定する。

本発明に係る第２の撮像装置は、撮影によって画像を取得する撮像手段と、撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された１枚以上の第２画像と、に基づいて補正するぶれ補正処理手段と、前記第１画像の撮影パラメータに基づいて、前記ぶれ補正処理手段による補正の実行可否又は該補正に用いる前記第２画像の枚数を制御する制御手段と、を備えることを特徴とする。

補正対象画像としての第１画像の撮影パラメータには、実際の撮影環境条件が反映される。この第１画像の撮影パラメータを参照すれば、必要なぶれ補正効果をもたらすに足る補正を実行可能か否かを判断可能である、或いは、必要なぶれ補正効果をもたらすに足る第２画像の枚数を判断可能である。そこで、上述の如く、前記第１画像の撮影パラメータに基づいて、前記ぶれ補正処理手段による補正の実行可否又は該補正に用いる前記第２画像の枚数を制御する。これにより、安定したぶれ補正効果を得ることができる。

具体的には例えば、前記制御手段は、前記第１画像の撮影パラメータに基づいて前記第２画像の撮影可否を判定して前記撮影手段を制御する第２画像撮影制御手段と、前記第２画像の撮影可否の判定結果に従って、前記ぶれ補正処理手段による補正の実行可否を制御する補正制御手段と、を備える。

例えば、第１画像の撮影パラメータに基づき必要なぶれ補正効果を得ることができないと判断される場合には、第２画像の撮影及び前記ぶれ補正処理手段による補正を不実行とする。これにより、無理にぶれ補正処理を行ってぶれ補正効果の殆どない画像（或いは改悪画像）を生成してしまうといった事態の発生を回避することができ、結果として、ぶれ補正効果の安定化に寄与する。

或いは例えば、前記制御手段は、前記第１画像の撮影パラメータに基づいて前記ぶれ補正処理手段での補正に用いる前記第２画像の枚数を決定して決定した枚数分の前記第２画像が撮影されるように前記撮像手段を制御する第２画像撮影制御手段を備え、前記第２画像撮影制御手段は、前記第２画像の枚数を１枚又は複数枚に決定し、前記ぶれ補正処理手段は、前記第２画像の枚数が複数枚であるとき、前記複数枚の第２画像を加算合成することによって１枚の合成画像を生成し、前記第１画像と前記合成画像に基づいて前記第１画像のぶれを補正する。

例えば、１枚の第２画像では必要なぶれ補正効果を得ることができないと判断される場合に、複数枚の第２画像から、必要なぶれ補正効果をもたらすに足る信号対雑音比を有する合成画像を生成する。これにより、安定したぶれ補正効果を得ることができる。

また具体的には例えば、前記第１画像の撮影パラメータは、前記第１画像の撮影時における、焦点距離と露光時間と画像の明るさを調節するための感度とを含む。

また具体的には例えば、前記第２画像撮影制御手段は、前記第１画像の撮影パラメータに基づいて、前記第２画像の撮影パラメータを設定する。

また具体的には例えば、第１又は第２の撮像装置において、前記ぶれ補正処理手段は、前記第１画像に基づく画像及び前記第２画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて第１画像のぶれを補正する。

また具体的には例えば、第１又は第２の撮像装置において、前記ぶれ補正処理手段は、前記第１画像の全体のぶれを表す画像劣化関数を求める画像劣化関数導出手段を有して、前記画像劣化関数に基づいて前記第１画像のぶれを補正し、前記画像劣化関数導出手段は、前記第１画像に基づく画像を周波数領域上に変換して得た第１関数と前記第２画像に基づく画像を周波数領域上に変換して得た第２関数とから周波数領域上における前記画像劣化関数を暫定的に求め、求めた周波数領域上における前記画像劣化関数を空間領域上に変換して得た関数を所定の拘束条件を用いて修正する処理を介して、最終的に前記画像劣化関数を求める。

或いは例えば、第１又は第２の撮像装置において、前記ぶれ補正処理手段は、前記第１画像と、前記第２画像と、前記第２画像のノイズを低減することによって得られた第３画像とを合成することにより、前記第１画像のぶれが補正されたぶれ補正画像を生成する。

比較的長い露光時間にて撮影される第１画像及び比較的短い露光時間にて撮影される第２画像に加えて第２画像のノイズが低減された第３画像を利用し、それらを合成することで出力画像を生成する。このため、エッジ部分では第２及び第３画像の合成比率を高めて出力画像の鮮鋭度を高める一方、非エッジ部分では第１画像の合成比率を高めて出力画像のノイズ量を抑制する、といったことが可能となる。この際、ノイズの抑制された第３画像を用いてエッジ部分と非エッジ部分を分類し、その分類結果から各合成比率を求めることが可能となるため、ノイズを含む非エッジ部分をエッジ部分と誤判断することによる第２画像のノイズの出力画像への混入を抑制することが可能となる。

より具体的には例えば、前記ぶれ補正処理手段は、前記第１画像及び前記第３画像の合成画像である第４画像を生成した後、前記第２画像と前記第４画像を合成することによって前記ぶれ補正画像を生成する。

更に具体的には例えば、前記第１画像と前記第３画像を合成する際の合成比率は、前記第１画像と前記第３画像との差に基づいて設定され、前記第２画像と前記第４画像を合成する際の合成比率は、前記第３画像に含まれるエッジに基づいて設定される。

本発明に係る第１のぶれ補正方法は、撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された１枚以上の第２画像と、に基づいて補正するぶれ補正処理ステップと、前記ぶれ補正処理ステップによる補正の実行可否を制御する制御ステップと、を備えることを特徴とする。

そして例えば、前記制御ステップは、前記第２画像のぶれの度合いを推定するぶれ推定ステップを含み、その推定結果に基づいて前記ぶれ補正処理ステップによる補正の実行可否を制御する。

また、本発明に係る第２のぶれ補正方法は、撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された１枚以上の第２画像と、に基づいて補正するぶれ補正処理ステップと、前記第１画像の撮影パラメータに基づいて、前記ぶれ補正処理ステップによる補正の実行可否又は該補正に用いる前記第２画像の枚数を制御する制御ステップと、を備えることを特徴とする。

本発明によれば、ぶれ補正効果の安定化に寄与する撮像装置及びぶれ補正方法を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施形態を説明するが、まず、各実施形態に共通する事項又は各実施形態にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。また、露光時間の長さは、主制御部１３によって制御される。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画像の撮影及び記録を指示するためのボタンである。シャッタボタン１７ａを押下することによって静止画像の撮影及び記録が指示される。

また、シャッタボタン１７ａは、２段階の押下操作が可能となっており、撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。

撮影画像としての静止画像は、手ぶれに起因するぶれを含みうる。主制御部１３には、この静止画像のぶれを画像処理によって補正する機能が備えられている。図３に、ぶれの補正に特に関与する部位のみを示した、主制御部１３の内部ブロック図を示す。図３に示す如く、主制御部１３には、撮影制御部５１、補正制御部５２及びぶれ補正処理部５３が備えられている。

ぶれ補正処理部５３は、通常露光撮影によって得られた通常露光画像と短露光撮影によって得られた短露光画像に基づいて通常露光画像のぶれを補正する。通常露光撮影は、適正な露光時間にて行われる撮影を意味し、短露光撮影は、通常露光撮影の露光時間よりも短い露光時間にて行われる撮影を意味する。通常露光画像は通常露光撮影によって得られる撮影画像（静止画像）であり、短露光画像は短露光撮影によって得られる撮影画像（静止画像）である。また、ぶれ補正処理部５３によって実行される、ぶれを補正するための処理をぶれ補正処理という。撮影制御部５１には、短露光撮影の撮影制御を行う短露光撮影制御部５４が備えられている。短露光撮影の撮影制御には、短露光撮影時における焦点距離、露光時間及びＩＳＯ感度に対する制御が含まれる。尚、図３に示される記号（ｆ₁等）の意義は後述の説明から明らかとなる。

図３に示す各部位の詳細動作を含む撮像装置１の動作を説明する実施形態として、以下に、第１〜第４実施形態を説明する。撮像装置１において、ぶれ補正処理の実行可否に対する制御が行われるが、その制御は、通常露光画像の撮影パラメータに基づくものと短露光画像のぶれ度合いに基づくものとに大別される。通常露光画像の撮影パラメータに基づくものは第１及び第２実施形態にて説明され、短露光画像のぶれ度合いに基づくものは第３実施形態にて説明される。尚、図３に示される、補正制御部５２に対する通常露光画像及び短露光画像の入力は、第３実施形態において有効に機能する。

尚、本明細書では、画像を表すデータを画像データと呼び、或る画像の画像データに対して何らかの処理（記録、保存、読み出し等）を行うことを説明する文章において、記述の簡略化上、画像データの記述を省略することがある。例えば、静止画像の画像データの記録という表現と、静止画像の記録という表現は同義である。また、説明の簡略化上、以下の説明において、絞り３２の絞り値（絞り３２の開度）は一定であるとする。

＜＜第１実施形態＞＞
第１実施形態を説明する。通常露光画像よりも短露光画像の方がぶれは通常小さく、短露光画像のエッジ状態を目標に通常露光画像を補正すれば、通常露光画像のぶれは低減される。但し、十分なぶれ補正効果を得るためには、短露光画像の信号対雑音比（以下、ＳＮ比という）を或る程度高くしておく必要がある。しかしながら、実際の撮影では、十分なぶれ補正効果を得ることのできる短露光画像を撮影できない場合もある。この場合において、無理に短露光撮影を行ってぶれ補正処理を行っても満足のいくぶれ補正効果は得難い（改悪画像が得られることすらある）。これを考慮し、第１実施形態では、十分なぶれ補正効果を得るための短露光画像を取得できないと判断される場合には、短露光画像の撮影及びぶれ補正処理を実行しないようにする。

図４を参照して、第１実施形態に係る撮像装置１の撮影及び補正の動作を説明する。図４は、その動作の流れを表すフローチャートである。ステップＳ１〜Ｓ１０の各処理が、撮像装置１内にて実行される。

まず、ステップＳ１において、図１の主制御部１３は、シャッタボタン１７ａが半押しの状態となっているか否かを確認する。それが半押しの状態となっていることが確認された場合、ステップＳ１からステップＳ２に移行する。

ステップＳ２において、撮影制御部５１は、通常露光画像の撮影パラメータを取得する。通常露光画像の撮影パラメータには、通常露光画像の撮影時における、焦点距離ｆ₁、露光時間ｔ₁及びＩＳＯ感度ｉｓ₁が含まれる。

焦点距離ｆ₁は、通常露光画像の撮影時における光学系３５内のレンズの位置及び既知情報等に基づいて定まる。尚、焦点距離ｆ₁を含む、以下の説明における焦点距離は、３５ｍｍフィルム換算時における焦点距離であるとする。撮影制御部５１には、撮像装置１に備えられた測光センサ（不図示）の出力信号又は撮像素子３３の出力信号に基づいて被写体の明るさ（換言すれば、撮像部１１への入射光量）を測定する測光部（不図示）が設けられている。撮影制御部５１は、その測定結果に基づいて、適正な明るさを有する通常露光画像が得られるように露光時間ｔ₁及びＩＳＯ感度ｉｓ₁を決定する。

ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで撮影画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。その増幅度はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その増幅度も２倍となり、これによって撮影画像の各画素の輝度値も２倍となる（但し、飽和を無視）。

また、言うまでもないが、他の条件が同じである時において、撮影画像の各画素の輝度値は露光時間に比例し、露光時間が２倍となれば撮影画像の各画素の輝度値も２倍となる（但し、飽和を無視）。輝度値は、撮影画像を形成する画素の輝度信号の値を意味する。或る画素に関し、輝度値が増加すれば該画素の明るさは増加する。

ステップＳ２の後、ステップＳ３において、主制御部１３は、シャッタボタン１７ａが全押しの状態となっているか否かを確認する。それが全押しの状態となっている場合はステップＳ４に移行する一方、全押しの状態となっていない場合はステップＳ１に戻る。

ステップＳ４において、撮像装置１（撮像部１１）は、通常露光撮影を行って通常露光画像を取得する。通常露光画像の撮影時における焦点距離、露光時間及びＩＳＯ感度が焦点距離ｆ₁、露光時間ｔ₁及びＩＳＯ感度ｉｓ₁となるように、撮影制御部５１は撮像部１１及びＡＦＥ１２を制御する。

続くステップＳ５において、短露光撮影制御部５４は、通常露光画像の撮影パラメータに基づいて、短露光画像の撮影可否を判定する共に短露光画像の撮影パラメータを設定する。この判定方法及び設定方法については後述することとし、先にステップＳ５の後に続くステップＳ６以降の処理について説明する。

ステップＳ６では、短露光画像の撮影可否の判定結果に基づく分岐判断がなされ、短露光撮影制御部５４は、その判定結果に従って撮影部１１による撮影を制御する。具体的には、ステップＳ５にて短露光画像を撮影可能と判断した場合には、ステップＳ６からステップＳ７に移行する。ステップＳ７において、短露光撮影制御部５４は、短露光撮影が行われるように撮影部１１を制御する。これによって短露光画像が取得される。通常露光画像と短露光画像の撮影間における撮影環境の変化（被写体の動き等を含む）を最小限に抑えるべく、短露光画像を通常露光画像の撮影直後に撮影するようにする。一方、ステップＳ５にて短露光画像が撮影不可と判断された場合、短露光画像の撮影は行われない（即ち、短露光撮影制御部５４は、短露光画像の撮影を行わせるための制御を撮像部１１に対して行わない）。

短露光画像の撮影可否の判定結果は図３の補正制御部５２に伝達され、補正制御部５２は、その判定結果に従ってぶれ補正処理部５３によるぶれ補正処理の実行可否を制御する。即ち、短露光画像が撮影可能と判断された場合には、そのぶれ補正処理を実行可とし、短露光画像が撮影不可と判断された場合には、そのぶれ補正処理を実行不可とする。

短露光画像の撮影後に移行するステップＳ８において、ぶれ補正処理部５３は、ステップＳ４にて得られた通常露光画像及びステップＳ７にて得られた短露光画像を夫々補正対象画像及び参照画像として取り扱った上で、補正対象画像及び参照画像の画像データを受け取る。その後、ステップＳ９において、ぶれ補正処理部５３は、補正対象画像及び参照画像に基づいて補正対象画像のぶれを低減するためのぶれ補正処理を実行する。このぶれ補正処理によって生成される、ぶれ低減後の補正対象画像をぶれ補正画像という。生成されたぶれ補正画像の画像データは、ステップＳ９に続くステップＳ１０において記録媒体１６に記録される。

図５を参照して、短露光画像の撮影可否の判定方法及び短露光画像の撮影パラメータの設定方法を説明する。図５は図４のステップＳ５の詳細フローチャートに相当し、短露光撮影制御部５４が図５のステップＳ２１〜Ｓ２６の処理を実行することによってステップＳ５の処理は実現される。

ステップＳ２１〜Ｓ２６の各処理を順番に説明する。まず、ステップＳ２１の処理が実行される。ステップＳ２１において、短露光撮影制御部５４は、通常露光画像の撮影パラメータに基づいて、短露光画像の撮影パラメータを仮設定する。この際、短露光画像のぶれを無視できる程度に小さく且つ短露光画像の明るさを通常露光画像のそれと同程度となるように、撮影パラメータを仮設定する。短露光画像の撮影パラメータには、短露光画像の撮影時における、焦点距離ｆ₂、露光時間ｔ₂及びＩＳＯ感度ｉｓ₂が含まれる。

一般的に、３５ｍｍフィルム換算時における光学系の焦点距離の逆数は手ぶれ限界露光時間と呼ばれ、手ぶれ限界露光時間以下の露光時間にて静止画像の撮影がなされた場合、その静止画像のぶれは無視できる程度に小さい。例えば、３５ｍｍフィルム換算時における焦点距離が１００［ｍｍ］の場合、１／１００［秒］が手ぶれ限界露光時間となる。また一般的に、露光時間が適正な露光時間の１／ａになった場合、適正な明るさの画像を得るためにはＩＳＯ感度をａ倍にする必要がある（ここで、ａは正の値）。また、ステップＳ２１において、短露光撮影の焦点距離を通常露光撮影の焦点距離と同じに設定する。

従って、ステップＳ２１では、「ｆ₂＝ｆ₁、ｔ₂＝１／ｆ₁且つｉｓ₂＝ｉｓ₁×（ｔ₁／ｔ₂）」となるように、短露光画像の撮影パラメータを仮設定する。

ステップＳ２１の仮設定の後、ステップＳ２２において、通常露光画像の露光時間ｔ₁及びＩＳＯ感度ｉｓ₁と短露光画像の限界ＩＳＯ感度ｉｓ_2THとに基づき、式「ｔ_2TH＝ｔ₁×（ｉｓ₁／ｉｓ_2TH）」に従って短露光画像の限界露光時間ｔ_2THを算出する。

限界ＩＳＯ感度ｉｓ_2THは、短露光画像のＳ／Ｎ比の良否に関する境界のＩＳＯ感度であり、撮像部１１及びＡＦＥ１２の特性等に応じて予め設定される。限界ＩＳＯ感度ｉｓ_2THよりも大きなＩＳＯ感度で短露光画像を取得した場合、それのＳ／Ｎ比は、ぶれ補正効果を十分に得難い程度に悪くなる。限界ＩＳＯ感度ｉｓ_2THから導出される限界露光時間ｔ_2THは、短露光画像のＳ／Ｎ比の良否に関する境界の露光時間である。

この後、ステップＳ２３において、ステップＳ２１にて仮設定された短露光画像の露光時間ｔ₂とステップＳ２２にて算出された限界露光時間ｔ_2THとを比較することにより、以下の３つの場合分けを行う。具体的には、第１不等式「ｔ₂≧ｔ_2TH」、第２不等式「ｔ_2TH＞ｔ₂≧ｔ_2TH×ｋ_t」及び第３不等式「ｔ_2TH×ｋ_t＞ｔ₂」の内、何れの不等式が成立するかを判定して、その判定結果に応じて以下の分岐処理を行う。ここで、ｋ_tは予め設定された限界露光時間係数であり、０＜ｋ_t＜１、である。

第１不等式が成立する場合は、短露光画像の露光時間を手ぶれ限界露光時間（１／ｆ₁）に設定しても、十分なＳＮ比を有する短露光画像を撮影可能である。十分なＳＮ比とは、十分なぶれ補正効果をもたらすに足るＳＮ比を意味する。

従って、第１不等式が成立する場合は、ステップＳ２３からステップＳ２５に直接移行し、撮影／補正可否フラグＦＧに１が代入されて、ステップＳ２１にて仮設定された撮影パラメータをそのまま用いてステップＳ７の短露光撮影が行われる。即ち、第１不等式が成立する場合、図４のステップＳ７の短露光画像の撮影時における焦点距離、露光時間及びＩＳＯ感度が、ステップＳ２１にて算出された焦点距離ｆ₂（＝ｆ₁）、露光時間ｔ₂（＝１／ｆ₁）及びＩＳＯ感度ｉｓ₂（＝ｉｓ₁×（ｔ₁／ｔ₂））となるように、短露光撮影制御部５４が撮像部１１及びＡＦＥ１２を制御する。

撮影／補正可否フラグＦＧは、短露光画像の撮影の実行可否及びぶれ補正処理の実行可否の判定結果を表すフラグであり、主制御部１３内の各部位は、そのフラグＦＧの値に応じて動作する。１の値を有するフラグＦＧは、短露光画像の撮影が可能であって且つぶれ補正処理の実行が可能であることを表し、０の値を有するフラグＦＧは、短露光画像の撮影が不可であって且つぶれ補正処理の実行が不可であることを表す。

一方、第２不等式が成立する場合、短露光画像の露光時間を手ぶれ限界露光時間（１／ｆ₁）に設定すると、十分なＳＮ比を有する短露光画像を撮影することができない。但し、この場合、短露光画像の露光時間を限界露光時間ｔ_2THに設定しても手ぶれが比較的小さいと見込める。従って、第２不等式の成立は、短露光画像の露光時間を手ぶれが比較的小さいと見込める時間（ｔ_2TH）に設定したならば、十分なＳＮ比を有する短露光画像を撮影可能であることを示している。

従って、第２不等式が成立する場合は、ステップＳ２３からステップＳ２４に移行して「ｆ₂＝ｆ₁、ｔ₂＝ｔ_2TH且つｉｓ₂＝ｉｓ_2TH」となるように短露光画像の撮影パラメータを再設定してから、ステップＳ２５にてフラグＦＧに１を代入する。これにより、再設定された撮影パラメータを用いて図４のステップＳ７の短露光撮影が実行される。即ち、第２不等式が成立する場合、図４のステップＳ７の短露光画像の撮影時における焦点距離、露光時間及びＩＳＯ感度が、ステップＳ２４にて再設定された焦点距離ｆ₂（＝ｆ₁）、露光時間ｔ₂（＝ｔ_2TH）及びＩＳＯ感度ｉｓ₂（＝ｉｓ_2TH）となるように、短露光撮影制御部５４が撮像部１１及びＡＦＥ１２を制御する。

また、第３不等式が成立する場合、短露光画像の露光時間を手ぶれ限界露光時間（１／ｆ₁）に設定すると、十分なＳＮ比を有する短露光画像を撮影することができない。加えて、短露光画像の露光時間を手ぶれが比較的小さいと見込める時間（ｔ_2TH）に設定しても、十分なＳＮ比を有する短露光画像を撮影することができない。

従って、第３不等式が成立する場合は、ステップＳ２３からステップＳ２６に移行し、短露光画像の撮影が不可であると判定してフラグＦＧに０を代入する。これにより、短露光画像の撮影は行われない。

第１不等式又は第２不等式が成立する場合は、フラグＦＧに１が代入されているため、ぶれ補正処理部５３によるぶれ補正処理が実行されるが、第３不等式が成立する場合は、フラグＦＧに０が代入されているため、ぶれ補正処理部５３によるぶれ補正処理は実行されない。

具体的な数値例を挙げる。通常露光画像の撮影パラメータが「ｆ₁＝１００［ｍｍ］、ｔ₁＝１／１０［秒］且つｉｓ₁＝１００」である場合、ステップＳ２１において、短露光画像の撮影パラメータは、「ｆ₂＝１００［ｍｍ］、ｔ₂＝１／１００［秒］且つｉｓ₂＝１０００」と仮設定される。ここで、短露光画像の限界ＩＳＯ感度がｉｓ_2TH＝８００と設定されている場合、短露光画像の限界露光時間ｔ_2THは１／８０［秒］となる（ステップＳ２２）。そうすると、「ｔ_2TH＝１／８０＞１／１００」であるため第１不等式が満たされず、仮設定された撮影パラメータを用いて短露光撮影を行ったのでは十分なＳＮ比を有する短露光画像を取得できない。

但し、例えば、限界露光時間係数ｋ_tが０．５である場合、「１／１００≧ｔ_2TH×ｋ_t」となるので、第２不等式が満たされる。この場合は、短露光画像の露光時間ｔ₂及びＩＳＯ感度ｉｓ₂を限界露光時間ｔ_2TH及び限界ＩＳＯ感度ｉｓ_2THに再設定することで、十分なＳＮ比を有する短露光画像を撮影することができ、その短露光画像を用いてぶれ補正処理を行うことで十分なぶれ補正効果を得ることができる。

図６に、焦点距離と手ぶれ限界露光時間との関係を表す曲線２００を示す。上記の数値例に対応する点２０１〜２０４を図６のグラフにプロットしている。点２０１は、通常露光画像の撮影パラメータに対応しており、曲線２００上にのる点２０２は、仮設定された短露光画像の撮影パラメータに対応しており、点２０３は、焦点距離及び露光時間が１００［ｍｍ］及びｔ_2TH（＝１／８０［秒］）である状態に対応しており、点２０４は、焦点距離及び露光時間が１００［ｍｍ］及びｔ_2TH×ｋ_t（＝１／１６０［秒］）である状態に対応している。

上述したように、短露光画像のぶれを無視できる程度に小さくするためには短露光画像の露光時間を手ぶれ限界露光時間以下とすることが一般的である。しかし、前者が後者よりも若干大きくても、実用上問題ない程度にぶれの少ない短露光画像を取得可能である。具体的には、短露光画像の限界露光時間ｔ_2TH（上記数値例において、１／８０［秒］）が手ぶれ限界露光時間（上述の数値例において、１／１００［秒］）よりも大きくても、短露光画像の限界露光時間ｔ_2THのｋ_t倍（上記数値例において、ｔ_2TH×ｋ_t＝１／１６０［秒］）が手ぶれ限界露光時間以下であるならば、その限界露光時間ｔ_2THを用いた短露光撮影を行うことで、実用上問題ない程度にぶれの少ない短露光画像を取得可能である（逆に考えると、そのような関係が満たされるように、限界露光時間係数ｋ_tの値が実験等を介して予め設定されている）。これを考慮し、第１不等式が成立しない場合でも、第２不等式が成立するならば、ステップＳ２４の再設定を実行して短露光画像の撮影を可とする。

上述の如く、第１実施形態では、実際の撮影環境条件（撮像装置１の周辺照度など）を反映した通常露光画像の撮影パラメータに基づいて、十分なぶれ補正効果を実現するに足るＳＮ比を有した短露光画像を撮影可能かを判定し、その判定結果に従って短露光画像の撮影可否及びぶれ補正処理の実行可否を制御する。これにより、安定したぶれ補正効果を得ることができ、無理にぶれ補正処理を行ってぶれ補正効果の殆どない画像（或いは改悪画像）を生成してしまうといった事態の発生を回避することができる。

＜＜第２実施形態＞＞
第２実施形態について説明する。第１実施形態で述べた動作の一部が第２実施形態でも利用される。図７を参照して、第２実施形態に係る撮像装置１の撮影及び補正の動作を説明する。図７は、その動作の流れを表すフローチャートである。第２実施形態においても、まず、ステップＳ１〜Ｓ４の処理が実行される。このステップＳ１〜Ｓ４の処理は、第１実施形態で述べたそれらと同じである。

即ち、シャッタボタン１７ａが半押しの状態となると、撮影制御部５１は通常露光画像の撮影パラメータ（焦点距離ｆ₁、露光時間ｔ₁及びＩＳＯ感度ｉｓ₁）を取得し、その後、シャッタボタン１７ａが全押しの状態となると、ステップＳ４において、その撮影パラメータを用いた通常露光撮影が実行されて通常露光画像が取得される。第２実施形態では、通常露光画像の撮影後、ステップＳ３１に移行する。

ステップＳ３１では、短露光撮影制御部５４が、通常露光画像の撮影パラメータに基づいて、短露光画像の撮影枚数を１枚とするべきか或いは複数枚とするべきかを判定する。

具体的には、まず、短露光撮影制御部５４が、図５のステップＳ２１及びＳ２２と同じ処理を実行する。即ち、ステップＳ２１において、通常露光画像の撮影パラメータに含まれる焦点距離ｆ₁、露光時間ｔ₁及びＩＳＯ感度ｉｓ₁を用いて「ｆ₂＝ｆ₁、ｔ₂＝１／ｆ₁且つｉｓ₂＝ｉｓ₁×（ｔ₁／ｔ₂）」となるように短露光画像の撮影パラメータを仮設定し、ステップＳ２２において、式「ｔ_2TH＝ｔ₁×（ｉｓ₁／ｉｓ_2TH）」に従って短露光画像の限界露光時間ｔ_2THを求める。

その後、ステップＳ２１にて仮設定された短露光画像の露光時間ｔ₂とステップＳ２２にて算出された限界露光時間ｔ_2THとを比較することにより、第１不等式「ｔ₂≧ｔ_2TH」、第２不等式「ｔ_2TH＞ｔ₂≧ｔ_2TH×ｋ_t」及び第３不等式「ｔ_2TH×ｋ_t＞ｔ₂」の内、何れの不等式が成立するかを判定する。尚、ｋ_tは第１実施形態で述べたものと同じものである。

そして、第１又は第２不等式が成立する場合は、撮影されるべき短露光画像の枚数は１枚であると判定して、ステップＳ３１からステップＳ３２に移行し、ステップＳ３２、Ｓ３３、Ｓ９及びＳ１０の処理を順次実行する。撮影されるべき短露光画像の枚数が１枚であるとの判定結果は補正制御部５２に伝達され、この場合、補正制御部５２は、ステップＳ４にて得られた通常露光画像及びステップＳ３２にて得られた短露光画像が夫々補正対象画像及び参照画像として取り扱われるようにぶれ補正処理部５３を制御する。

即ち、ステップＳ３２において、短露光撮影制御部５４は、短露光撮影が１回だけ行われるように撮影制御を行う。この短露光撮影によって１枚の短露光画像が取得される。この短露光画像は、通常露光画像の撮影直後に撮影される。続くステップＳ３３において、ぶれ補正処理部５３は、ステップＳ４にて得られた通常露光画像及びステップＳ３２にて得られた短露光画像を夫々補正対象画像及び参照画像として取り扱った上で、補正対象画像及び参照画像の画像データを受け取る。その後、ステップＳ９において、ぶれ補正処理部５３は、補正対象画像及び参照画像に基づいて補正対象画像のぶれを低減するためのぶれ補正処理を実行して、ぶれ補正画像を生成する。生成されたぶれ補正画像の画像データは、ステップＳ９に続くステップＳ１０において記録媒体１６に記録される。

尚、第１実施形態と同様、第１不等式が成立する場合は、ステップＳ２１にて仮設定された撮影パラメータをそのまま用いてステップＳ３２の短露光撮影を行う。即ち、第１不等式が成立する場合、ステップＳ３２の短露光画像の撮影時における焦点距離、露光時間及びＩＳＯ感度が、ステップＳ２１にて算出された焦点距離ｆ₂（＝ｆ₁）、露光時間ｔ₂（＝１／ｆ₁）及びＩＳＯ感度ｉｓ₂（＝ｉｓ₁×（ｔ₁／ｔ₂））となるように、短露光撮影制御部５４が撮像部１１及びＡＦＥ１２を制御する。また、第２不等式が成立する場合は、図５のステップＳ２４の処理を実行して短露光画像の撮影パラメータを再設定し、その再設定された撮影パラメータを用いてステップＳ３２の短露光撮影を行う。即ち、第２不等式が成立する場合、ステップＳ３２の短露光画像の撮影時における焦点距離、露光時間及びＩＳＯ感度が、ステップＳ２４にて再設定された焦点距離ｆ₂（＝ｆ₁）、露光時間ｔ₂（＝ｔ_2TH）及びＩＳＯ感度ｉｓ₂（＝ｉｓ_2TH）となるように、短露光撮影制御部５４が撮像部１１及びＡＦＥ１２を制御する。

一方、ステップＳ３１において第３不等式「ｔ_2TH×ｋ_t＞ｔ₂」が成立する場合は、撮影されるべき短露光画像の枚数は複数枚であると判定して、ステップＳ３１からステップＳ３４に移行し、ステップＳ３４〜Ｓ３６の処理を実行してからＳ９及びＳ１０の処理を実行する。撮影されるべき短露光画像の枚数が複数枚であるとの判定結果は補正制御部５２に伝達され、この場合、補正制御部５２は、ステップＳ４にて得られた通常露光画像及びステップＳ３５にて得られた合成画像が夫々補正対象画像及び参照画像として取り扱われるようにぶれ補正処理部５３を制御する。詳細は後述するが、合成画像は複数枚の短露光画像を加算合成することによって生成される。

ステップ３４〜Ｓ３６の処理を順番に説明する。ステップＳ３４では、通常露光画像の撮影直後にｎ_S枚の短露光画像を連続的に撮影するが、まず、短露光撮影制御部５４は、撮影すべき短露光画像の枚数（即ち、ｎ_Sの値）及び撮影パラメータを決定する。ここで、ｎ_Sは２以上の整数である。ステップＳ３４において取得される各短露光画像の撮影時における焦点距離、露光時間及びＩＳＯ感度を、夫々、ｆ₃、ｔ₃及びｉｓ₃で表し、ｎ_S、ｆ₃、ｔ₃及びｉｓ₃の決定方法を説明する。尚、この説明において、図５のステップＳ２１にて仮設定される撮影パラメータ（ｆ₂、ｔ₂及びｉｓ₂）も参照する。

ｎ_S、ｆ₃、ｔ₃及びｉｓ₃は、以下の第１〜第３条件を全て満たすように設定される。
第１条件は、「露光時間ｔ₃のｋ_t倍が手ぶれ限界露光時間以下である」という条件である。第１条件は、各短露光画像のぶれを実用上問題ない程度に小さく抑えるために設けられる。第１条件を満たすためには、
不等式「ｔ₂≧ｔ₃×ｋ_t」を満たす必要がある。
第２条件は、「通常露光画像とステップＳ３５で得られるべき合成画像の明るさが同じ（或いは同程度）である」という条件である。第２条件を満たすためには、
等式「ｔ₃×ｉｓ₃×ｎ_S＝ｔ₁×ｉｓ₁」を満たす必要がある。
第３条件は、「ステップＳ３５で得られるべき合成画像のＩＳＯ感度が短露光画像の限界ＩＳＯ感度以下である」という条件である。第３条件は、十分なＳＮ比を有する合成画像を得るために設けられる。第３条件を満たすためには、
不等式「ｉｓ₃×√ｎ_S≦ｉｓ_2TH」を満たす必要がある。
一般に、ＩＳＯ感度ｉｓ₃の画像をｎ_S枚加算合成して得られる画像のＩＳＯ感度は、ｉｓ₃×√ｎ_Sで表される。尚、√ｎ_Sは、ｎ_Sの正の平方根を表している。

具体的な数値例を挙げる。今、通常露光画像の撮影パラメータが「ｆ₁＝２００［ｍｍ］、ｔ₁＝１／１０［秒］且つｉｓ₁＝１００」である場合を考える。また、短露光画像の限界ＩＳＯ感度ｉｓ_2THが８００であって且つ限界露光時間係数ｋ_tが０．５であるとする。そうすると、図５のステップＳ２１における短露光画像の撮影パラメータの仮設定において、「ｆ₂＝２００［ｍｍ］、ｔ₂＝１／２００［秒］且つｉｓ₂＝２０００」とされる。また、短露光画像の限界露光時間ｔ_2THは、ｔ_2TH＝ｔ₁×（ｉｓ₁／ｉｓ_2TH）＝１／８０より、１／８０［秒］となる。そうすると、「ｔ_2TH×ｋ_t＞ｔ₂」であるため、図７のステップＳ３１からステップＳ３４に移行することになる。

この場合において、第１条件を満たすためには、下記式（Ａ−１）を満たす必要がある。
１／１００≧ｔ₃ ・・・（Ａ−１）

仮にｔ₃に１／１００を代入してみると、第２条件に対応する等式より下記式（Ａ−２）を満たす必要がある。また、別途、第３条件に対応する下記式（Ａ−３）も満たす必要がある。式（Ａ−２）及び（Ａ−３）より「ｎ_S≧１．５６２５」となるため、ｎ_Sを２以上に設定すればよいことが分かる。
ｉｓ₃×ｎ_S＝１０００ ・・・（Ａ−２）
ｉｓ₃×√ｎ_S≦８００ ・・・（Ａ−３）

仮にｎ_Sに２を代入すると、第２条件に対応する等式は下記式（Ａ−４）のようになり且つ第３条件に対応する不等式は下記式（Ａ−５）のようになる。
ｔ₃×ｉｓ₃＝５ ・・・（Ａ−４）
ｉｓ₃≦８００／１．４１４≒５６６ ・・・（Ａ−５）

式（Ａ−４）及び（Ａ−５）から「ｔ₃≧０．００８８」が導かれる。式（Ａ−１）も併せて考慮すると、ｎ_S＝２の場合でも「１／１００≧ｔ₃≧０．００８８」を満たすようにｔ₃を設定することで、十分なぶれ補正効果が期待される合成画像を生成することができる。ｎ_Sとｔ₃が定まれば、自動的にｉｓ₃も定まる。尚、ｆ₃はｆ₁と同じにする。上述の例では、ｎ_Sに２を代入した状態で第１〜第３条件の全てを満足するｔ₃を設定できるが、仮にそれが設定できないのであれば、それを設定できるまでｎ_Sの値を順次増やしていけばよい。

ステップＳ３４では、上述の方法に従ってｎ_S、ｆ₃、ｔ₃及びｉｓ₃を求め、それらに従ってｎ_S回の短露光撮影を実行する。ステップＳ３４にて取得されたｎ_S枚の短露光画像の画像データは、ぶれ補正処理部５３に送られる。ぶれ補正処理部５３は、このｎ_S枚の短露光画像を加算合成することにより合成画像を生成する。加算合成の方法を説明する。

ぶれ補正処理部５３は、ｎ_S枚の短露光画像を位置合わせしてから合成する。説明の具体化のため、ｎ_Sが３であって、通常露光画像の撮影後、第１、第２及び第３番目の短露光画像が順次撮影された場合を考える。この場合、例えば、第１番目の短露光画像を基準画像とし且つ第２及び第３番目の短露光画像の夫々を非基準画像と捉えた上で、基準画像に各非基準画像を位置合わせして合成する。尚、「位置合わせ」と後述の「位置ずれ補正」の意義は同じである。

１枚の基準画像と１枚の非基準画像を位置合わせして合成する処理を説明する。例えば、ハリスのコーナ検出器を用いて基準画像から特徴的な小領域（例えば、３２×３２画素の小領域）を抽出する。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。そして、基準画像から抽出した該小領域内の画像をテンプレートとし、テンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を非基準画像内から探索する。そして、探索された小領域の位置（非基準画像上の位置）と基準画像から抽出した小領域の位置（基準画像上の位置）とのずれ量を位置ずれ量Δｄとして算出する。位置ずれ量Δｄは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。非基準画像は、基準画像を基準として位置ずれ量Δｄに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、この位置ずれ量Δｄが打ち消されるように非基準画像に座標変換（アフィン変換など）を施すことによって非基準画像を位置ずれ補正する。例えば、この座標変換を行うための幾何変換パラメータを求め、基準画像が定義される座標上に非基準画像を座標変換することによって位置ずれ補正を行う。位置ずれ補正前の非基準画像内の座標（ｘ＋Δｄｘ，ｙ＋Δｄｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。Δｄｘ及びΔｄｙは、夫々、Δｄの水平成分及び垂直成分である。そして、対応し合う画素信号を足し合わせるように、基準画像と位置ずれ補正後の非基準画像を合成する。合成によって得られた画像内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する基準画像内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の非基準画像内の画素の画素信号と、を加算した信号に相当する。

上述のような位置合わせ及び合成処理を各非基準画像に対して実行する。これにより、第１番目の短露光画像と第２及び第３番目の位置ずれ補正後の短露光画像を合成した合成画像が得られる。この合成画像が、図７のステップＳ３５にて生成されるべき合成画像である。尚、基準画像から特徴的な小領域を複数個抽出し、テンプレートマッチング法を用いてその複数の小領域に対応する複数の小領域を非基準画像から探索し、基準画像内における抽出された複数の小領域の位置と非基準画像内における探索された複数の小領域の位置から上記の幾何変換パラメータを求めて上記の位置ずれ補正を行うようにしても良い。

ステップＳ３５にて合成画像を生成した後、ステップＳ３６において、ぶれ補正処理部５３は、ステップＳ４にて得られた通常露光画像を補正対象画像として取り扱い、補正対象画像の画像データを受け取る。一方で、ステップＳ３５にて生成した合成画像を参照画像として取り扱うようにする。その後、ステップＳ９及びＳ１０の処理を実行する。即ち、補正対象画像と合成画像としての参照画像とに基づき、補正対象画像のぶれを低減するためのぶれ補正処理を実行して、ぶれ補正画像を生成する。生成されたぶれ補正画像の画像データは、ステップＳ９に続くステップＳ１０において記録媒体１６に記録される。

上述の如く、第２実施形態では、実際の撮影環境条件（撮像装置１の周辺照度など）を反映した通常露光画像の撮影パラメータに基づいて、十分なぶれ補正効果を得るために必要な短露光画像の枚数を判定し、その判定結果に従って得られた１枚又は複数枚の短露光画像を用いてぶれ補正処理を実行する。これにより、安定したぶれ補正効果を得ることができる。

＜＜第３実施形態＞＞
次に、第３実施形態を説明する。ぶれが無視できる程度に小さい短露光画像を取得できたならば、その短露光画像のエッジ状態を目標にして通常露光画像を補正することにより十分なぶれ補正効果を得ることができる。しかしながら、そのような短露光画像が取得されるように短露光画像の露光時間を設定しても、実際には、撮影者の撮影技術等によって、短露光画像に無視できない程度のぶれが含まれることがある。このような場合に、短露光画像に基づくぶれ補正処理を行っても満足のいくぶれ補正効果は得難い（改悪画像が得られることすらある）。

これを考慮し、第３実施形態における図３の補正制御部５２は、通常露光画像及び短露光画像に基づいて短露光画像に含まれるぶれの度合いを推定し、そのぶれ度合いが比較的小さいと推定した場合にのみ、短露光画像に基づくぶれ補正処理を実行可と判断する。

図８を参照して、第３実施形態に係る撮像装置１の撮影及び補正の動作を説明する。図８は、その動作の流れを表すフローチャートである。第３実施形態においても、まず、ステップＳ１〜Ｓ４の処理が実行される。このステップＳ１〜Ｓ４の処理は、第１実施形態で述べたそれらと同じである。

即ち、シャッタボタン１７ａが半押しの状態となると、撮影制御部５１は通常露光画像の撮影パラメータ（焦点距離ｆ₁、露光時間ｔ₁及びＩＳＯ感度ｉｓ₁）を取得し、その後、シャッタボタン１７ａが全押しの状態となると、ステップＳ４において、その撮影パラメータを用いた通常露光撮影が実行されて通常露光画像が取得される。第３実施形態では、通常露光画像の撮影後、ステップＳ４１に移行する。

ステップＳ４１において、短露光撮影制御部５４は、通常露光画像の撮影パラメータに基づいて短露光画像の撮影パラメータを設定する。具体的には、通常露光画像の撮影パラメータに含まれる焦点距離ｆ₁、露光時間ｔ₁及びＩＳＯ感度ｉｓ₁を用いて「ｆ₂＝ｆ₁、ｔ₂＝ｔ₁×ｋ_Q且つｉｓ₂＝ｉｓ₁×（ｔ₁／ｔ₂）」となるように短露光画像の撮影パラメータを設定する。ここで、係数ｋ_Qは、不等式「０＜ｋ_Q＜１」を満たすように予め値が設定された係数であり、例えば、０．１〜０．５程度の値を有する。

続くステップＳ４２において、短露光撮影制御部５４は、ステップＳ４１にて設定した短露光画像の撮影パラメータに従う短露光撮影が行われるように撮影制御を行う。この短露光撮影によって１枚の短露光画像が取得される。この短露光画像は、通常露光画像の撮影直後に撮影される。具体的には、短露光画像の撮影時における焦点距離、露光時間及びＩＳＯ感度が、ステップＳ４１にて設定された焦点距離ｆ₂（＝ｆ₁）、露光時間ｔ₂（＝ｔ₁×ｋ_Q）及びＩＳＯ感度ｉｓ₂（＝ｉｓ₁×（ｔ₁／ｔ₂））となるように、短露光撮影制御部５４が撮像部１１及びＡＦＥ１２を制御する。

続くステップＳ４３では、補正制御部５２が、ステップＳ４及びＳ４２にて得られた通常露光画像及び短露光画像の画像データに基づいて短露光画像のぶれ度合い（短露光画像に含まれるぶれの度合い）を推定する。この推定方法は後述する。

補正制御部５２によって、短露光画像のぶれ度合いが比較的小さいと判断された場合は、ステップＳ４３からステップ４４に移行してステップＳ４４、Ｓ９及びＳ１０の各処理が実行される。即ち、ぶれ度合いが比較的小さいと判断された場合、補正制御部５２は、ぶれ補正処理を実行可と判断し、ぶれ補正処理が実行されるようにぶれ補正処理部５３を制御する。この制御の下、ぶれ補正処理部５３は、ステップＳ４にて得られた通常露光画像及びステップＳ４２にて得られた短露光画像を夫々補正対象画像及び参照画像として取り扱った上で、補正対象画像及び参照画像の画像データを受け取る。その後、ステップＳ９において、ぶれ補正処理部５３は、補正対象画像及び参照画像に基づいて補正対象画像のぶれを低減するためのぶれ補正処理を実行して、ぶれ補正画像を生成する。生成されたぶれ補正画像の画像データは、ステップＳ９に続くステップＳ１０において記録媒体１６に記録される。

一方、補正制御部５２によって、短露光画像のぶれ度合いが比較的大きいと判断された場合、補正制御部５２は、ぶれ補正処理を実行不可と判断して、ぶれ補正処理が実行されないようにぶれ補正処理部５３を制御する。

このように、第３実施形態では、短露光画像のぶれ度合いを推定し、そのぶれ度合いが比較的小さいと判断される場合にのみぶれ補正処理を実行する。これにより、安定したぶれ補正効果を得ることができ、無理にぶれ補正処理を行ってぶれ補正効果の殆どない画像（或いは改悪画像）を生成してしまうといった事態の発生を回避することができる。

尚、第１実施形態で示した方法にて短露光画像の撮影パラメータを設定するようにしてもよい。即ち、ステップＳ４１にて図５のステップＳ２１〜Ｓ２６から成る処理を実行することによって、短露光画像の撮影パラメータを設定しても良い。この場合、ステップＳ４２における短露光画像の撮影時には、「ｆ₂＝ｆ₁、ｔ₂＝１／ｆ₁且つｉｓ₂＝ｉｓ₁×（ｔ₁／ｔ₂）」となるように、又は、「ｆ₂＝ｆ₁、ｔ₂＝ｔ_2TH且つｉｓ₂＝ｉｓ_2TH」となるように、撮像部１１及びＡＦＥ１２が制御されることとなる。また、図５のステップＳ２１にて仮設定された露光時間ｔ₂に対して不等式「ｔ_2TH×ｋ_t＞ｔ₂」が成立する場合は、ステップＳ４２における短露光画像の撮影自体を行わないようにすることも可能である。

短露光画像のぶれ度合いの推定方法について説明する。この推定方法として採用可能な第１〜第３の推定方法を個別に例示する。第１〜第３の推定方法の説明文における通常露光画像及び短露光画像とは、夫々、図８のステップＳ４及びＳ４２にて得られた通常露光画像及び短露光画像を指すものとする。

［第１の推定方法］
まず、第１の推定方法を説明する。第１の推定方法では、通常露光画像と短露光画像のエッジ強度を比較することによって、短露光画像のぶれ度合いを推定する。より具体的に説明する。

図９に、第１の推定方法の採用時において図３の補正制御部５２が実行する処理のフローチャートを示す。第１の推定方法の採用時において、補正制御部５２により、ステップＳ５１〜Ｓ５１の各処理が順次実行される。

まず、ステップＳ５１において、補正制御部５２は、ハリスのコーナ検出器等を用いることによって、通常露光画像から特徴的な小領域を抽出し、その小領域内の画像を第１の評価画像として取り扱う。特徴的な小領域の意義は、第２実施形態の説明文にて述べた通りである。

続いて、通常露光画像から抽出した小領域に対応する小領域を短露光画像から抽出し、短露光画像から抽出した小領域内の画像を第２の評価画像として取り扱う。第１及び第２の評価画像の画像サイズ（水平方向及び垂直方向の画素数）は等しい。通常露光画像と短露光画像との間の位置ずれを無視できる場合は、通常露光画像から抽出される小領域の中心座標（通常露光画像内における中心座標）と、短露光画像から抽出される小領域の中心座標（短露光画像内における中心座標）とが等しくなるように小領域の抽出を行う。その位置ずれを無視できない場合は、テンプレートマッチング法などを利用して対応小領域の探索を行うようにしても良い。即ち例えば、通常露光画像から抽出した小領域内の画像をテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を短露光画像内から探索し、探索された小領域内の画像を第２の評価画像とする。

尚、特徴的な小領域の抽出によって第１及び第２の評価画像を生成するのではなく、単純に、通常露光画像の中央に位置する小領域を第１の評価画像として且つ短露光画像の中央に位置する小領域を第２の評価画像として抽出することも可能である。或いは、通常露光画像の全体画像を第１の評価画像として且つ短露光画像の全体画像を第２の評価画像として取り扱うことも可能である。

第１及び第２の評価画像が設定された後、ステップＳ５２において、第１の評価画像の水平方向及び垂直方向におけるエッジ強度を算出すると共に、第２の評価画像の水平方向及び垂直方向におけるエッジ強度を算出する。以下、第１の評価画像及び第２の評価画像を区別することなく、両者を総称して或いはそれらの一方を単に評価画像と呼ぶことがある。

ステップＳ５２におけるエッジ強度の算出方法を説明する。図１０に、１枚の評価画像の画素配列を示す。評価画像の水平方向及び垂直方向の画素数は夫々Ｍ及びＮであるとする。Ｍ及びＮは２以上の整数である。評価画像を、評価画像の原点Ｏを基準としたＭ×Ｎの行列として捉え、評価画像を形成する各画素をＰ［ｉ，ｊ］で表す。ｉは１〜Ｍの間の各整数をとり、着目した画素の評価画像上における水平座標値を表す。ｊは１〜Ｎの間の各整数をとり、着目した画素の評価画像上における垂直座標値を表す。また、画素Ｐ［ｉ，ｊ］における輝度値をＹ［ｉ，ｊ］で表す。図１１に、輝度値の行列表現を示す。Ｙ［ｉ，ｊ］が増加するに従って、対応する画素Ｐ［ｉ，ｊ］の輝度は増加する。

補正制御部５２は、第１の評価画像の水平方向及び垂直方向におけるエッジ強度を画素ごとに算出する共に、第２の評価画像の水平方向及び垂直方向におけるエッジ強度を画素ごとに算出する。算出されたエッジ強度を表す値をエッジ強度値と呼ぶ。エッジ強度値は、ゼロ又は正の値をとるものとする。即ち、エッジ強度値は、対応するエッジ強度の大きさ（絶対値）を表す。第１の評価画像の画素Ｐ［ｉ，ｊ］に対して算出された水平方向及び垂直方向におけるエッジ強度値を夫々Ｅ_H1［ｉ，ｊ］及びＥ_V1［ｉ，ｊ］にて表し、第２の評価画像の画像Ｐ［ｉ，ｊ］に対して算出された水平方向及び垂直方向におけるエッジ強度値を夫々Ｅ_H2［ｉ，ｊ］及びＥ_V2［ｉ，ｊ］にて表す。

エッジ強度値の算出は、一次微分フィルタ、二次微分フィルタ、ソーベルフィルタ等のエッジ抽出フィルタを用いて行われる。例えば、水平方向及び垂直方向のエッジ強度値を算出する際に夫々図１２及び図１３に示すような二次微分フィルタを用いる場合、第１の評価画像に対するエッジ強度値Ｅ_H1［ｉ，ｊ］及びＥ_V1［ｉ，ｊ］は、Ｅ_H1［ｉ，ｊ］＝｜−Ｙ［ｉ−１，ｊ］＋２・Ｙ［ｉ，ｊ］−Ｙ［ｉ＋１，ｊ］｜及びＥ_V1［ｉ，ｊ］＝｜−Ｙ［ｉ，ｊ−１］＋２・Ｙ［ｉ，ｊ］−Ｙ［ｉ，ｊ＋１］｜に従って算出される。尚、第１の評価画像の上下左右端に位置する画素（例えば、画素Ｐ［１，２］）に対してエッジ強度値を算出する際には、第１の評価画像の外側に配置される、通常露光画像内の画素（例えば、画素Ｐ［１，２］の左側に隣接する画素）の輝度値を用いればよい。第２の評価画像に対するエッジ強度値Ｅ_H2［ｉ，ｊ］及びＥ_V2［ｉ，ｊ］も、同様に算出される。

画素ごとのエッジ強度値の算出後、ステップＳ５３において、補正制御部５２は、各エッジ強度値から予め設定されたオフセット値を減算することにより各エッジ強度値を補正する。具体的には、以下の式（Ｂ−１）〜（Ｂ−４）に従って、補正されたエッジ強度値Ｅ_H1’［ｉ，ｊ］、Ｅ_V1’［ｉ，ｊ］、Ｅ_H2’［ｉ，ｊ］及びＥ_V2’［ｉ，ｊ］を算出する。但し、或るエッジ強度値からオフセット値ＯＦ₁又はＯＦ₂を減算することによって、そのエッジ強度値が負の値となった場合には、そのエッジ強度値をゼロとする。例えば、「Ｅ_H1［１，１］−ＯＦ₁＜０」である場合、Ｅ_H1’［１，１］はゼロとされる。

続くステップＳ５４において、補正制御部５２は、補正されたエッジ強度値を下記式（Ｂ−５）〜（Ｂ−８）に従って積算することによりエッジ強度積算値Ｄ_H1、Ｄ_V1、Ｄ_H2及びＤ_V2を算出する。エッジ強度積算値Ｄ_H1は、夫々、（Ｍ×Ｎ）個分の補正されたエッジ強度値Ｅ_H1’［ｉ，ｊ］の積算値（即ち、１≦ｉ≦Ｍ且つ１≦ｊ≦Ｎの範囲内における全エッジ強度値Ｅ_H1’［ｉ，ｊ］の積算値）である。エッジ強度積算値Ｄ_V1、Ｄ_H2及びＤ_V2についても同様である。

そして、ステップＳ５５において、補正制御部５２は、第１の評価画像に対して算出されたエッジ強度積算値と第２の評価画像に対して算出されたエッジ強度積算値とを比較し、その比較結果に基づいて短露光画像のぶれ度合いを推定する。ぶれが大きいとエッジ強度積算値が小さくなる。このため、第２の評価画像に対して算出された水平及び垂直方向におけるエッジ強度積算値の内、少なくとも一方が第１の評価画像に対するそれらよりも小さい場合に、短露光画像のぶれ度合いが比較的大きいと判断する。

具体的には、下記不等式（Ｂ−９）及び（Ｂ−１０）の成立／不成立を評価し、不等式（Ｂ−９）及び（Ｂ−１０）の内、少なくとも一方が成立する場合は、短露光画像のぶれ度合いが比較的大きいと判断する。この場合、ぶれ補正処理は実行不可と判断されることになる。一方、不等式（Ｂ−９）及び（Ｂ−１０）の双方が不成立の場合には、短露光画像のぶれ度合いが比較的小さいと判断する。この場合、ぶれ補正処理が実行可と判断されることになる。

エッジ強度積算値の算出方法から理解されるように、エッジ強度積算値Ｄ_H1及びＤ_V1は、夫々、第１の評価画像の水平方向及び垂直方向におけるぶれの大きさに応じた値をとり、エッジ強度積算値Ｄ_H2及びＤ_V2は、夫々、第２の評価画像の水平方向及び垂直方向におけるぶれの大きさに応じた値をとる。補正制御部５２は、水平方向及び垂直方向の双方において、第２の評価画像のぶれの大きさが第１の評価画像のそれよりも小さい場合にのみ、短露光画像のぶれ度合いが比較的小さいと判断してぶれ補正処理を実行可とする。

エッジ強度値に対するオフセット値を用いた補正は、通常露光画像の撮影時におけるＩＳＯ感度と短露光画像の撮影時におけるＩＳＯ感度との相違に起因する、第１及び第２の評価画像間のエッジ強度の相違を抑制する方向に作用する。換言すれば、その補正は、ぶれ度合い推定に対する、前者の相違（ＩＳＯ感度の相違）の影響を抑制する方向に作用する。この理由を図１４（ａ）及び（ｂ）を用いて説明する。

図１４（ａ）及び（ｂ）において、実線２１１及び２２１は、夫々、ノイズの影響がない画像の輝度値分布及びエッジ強度値分布を表し、破線２１２及び２２２は、夫々、ノイズの影響がある画像の輝度値分布及びエッジ強度値分布を表している。図１４（ａ）及び（ｂ）では、一次元方向にのみ着目し、図１４（ａ）及び（ｂ）の各グラフにおける横軸は画素位置を表している。ノイズの影響がない場合、輝度の平坦部におけるエッジ強度値はゼロとなるが、ノイズの影響がある場合、輝度の平坦部でもゼロではないエッジ強度値が生じる。図１４（ｂ）における一点鎖線２２３は、オフセット値ＯＦ₁又はＯＦ₂を表している。

通常露光画像のＩＳＯ感度は比較的低いため通常露光画像に対するノイズの影響は比較的小さい一方で、短露光画像のＩＳＯ感度は比較的高いため短露光画像に対するノイズの影響は比較的大きい。故に、通常露光画像は概ね実線２１１及び２２１に対応し、短露光画像は概ね破線２１２及び２２２に対応する。仮に、オフセット値を用いた減算補正を行うことなくエッジ強度積算値を求めれば、ノイズの起因するエッジ強度の分だけ短露光画像に対するエッジ強度積算値が増加することになり、ＩＳＯ感度の相違の影響がエッジ強度積算値に現れてしまう。これを考慮して、上述のオフセット値を用いた減算補正を行う。この減算補正により、ノイズに起因する比較的小さな値を有するエッジ強度成分が除外され、ぶれ度合い推定に対する、ＩＳＯ感度の相違の影響を抑制することができる。結果、ぶれ度合い推定の精度が向上する。

尚、オフセット値ＯＦ₁及びＯＦ₂を、撮像装置１の製造段階又は設計段階で予め設定しておくことができる。例えば、撮像素子３３に全く或いは殆ど光が入射しない状態で通常露光撮影及び短露光撮影を行わせて２枚の黒画像を取得し、その２枚の黒画像に対するエッジ強度積算値に基づいてオフセット値ＯＦ₁及びＯＦ₂を決定することができる。また、オフセット値ＯＦ₁とＯＦ₂は、同じ値であっても良いし、互いに異なる値であってもよい。

図１５（ａ）に通常露光画像の例を示す。図１５（ａ）の通常露光画像は水平方向に比較的大きなぶれを有している。図１５（ｂ）及び（ｃ）に短露光画像の第１例及び第２例を示す。図１５（ｂ）の短露光画像は、水平方向及び垂直方向において殆どぶれがない。このため、図１５（ａ）に通常露光画像及び図１５（ｂ）の短露光画像に対して上述のぶれ度合い推定を行うと、上記不等式（Ｂ−９）及び（Ｂ−１０）の双方が不成立となって、短露光画像のぶれ度合いが比較的小さいと判断される。一方、図１５（ｃ）の短露光画像は、垂直方向において比較的大きなぶれを有している。このため、図１５（ａ）に通常露光画像及び図１５（ｃ）の短露光画像に対して上述のぶれ度合い推定を行うと、上記不等式（Ｂ−１０）が成立し、短露光画像のぶれ度合いが比較的大きいと判断される。

［第２の推定方法］
次に、第２の推定方法を説明する。第２の推定方法では、通常露光画像と短露光画像との間の位置ずれ量に基づいて短露光画像のぶれ度合いを推定する。より具体的に説明する。

周知の如く、異なる時刻に２枚の画像を撮影した際、両画像間には手ぶれ等に起因する位置ずれが発生しうる。第２の推定方法を採用する場合、補正制御部５２は、通常露光画像と短露光画像の画像データに基づいて両画像間の位置ずれ量を算出し、その位置ずれ量の大きさと予め設定された位置ずれ閾値とを比較する。そして、前者が後者よりも大きい場合は、短露光画像のぶれ度合いが比較的大きいと推定する。この場合、ぶれ補正処理は実行不可とされる。一方、前者が後者よりも小さい場合は、短露光画像のぶれ度合いが比較小さいと推定する。この場合、ぶれ補正処理は実行可とされる。

位置ずれ量は、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。位置ずれ閾値と比較される位置ずれ量の大きさ（換言すれば、動きベクトルの大きさ）は、言うまでもなく一次元量である。位置ずれ量を、代表点マッチング法やブロックマッチング法などを用いて算出することができる。

撮像装置１に作用しうる手ぶれの量に着目して、第２の推定方法の意義を補足説明する。図１６（ａ）に、通常露光画像と短露光画像との間の位置ずれ量が比較的小さい場合における手ぶれ量の様子を示す。通常露光画像の露光期間中に作用した瞬時手ぶれ量の積算値が通常露光画像に対する全体の手ぶれ量となり、短露光画像の露光期間中に作用した瞬時手ぶれ量の積算値が短露光画像に対する全体の手ぶれ量となる。短露光画像に対する全体の手ぶれ量が増大すれば、短露光画像にぶれ度合いも増大する。

両画像の撮影が完了するまでの時間は短いため（例えば、０．１秒程度）、両画像の撮影開始時点から撮影完了時点までに作用する手ぶれ量は概ね一定と仮定できる。そうすると、通常露光画像と短露光画像との間の位置ずれ量は、通常露光画像の露光期間の中間時点と短露光画像の露光期間の中間時点との間に作用した瞬時手ぶれ量の積算値に近似される。従って、図１６（ｂ）に示す如く、求めた位置ずれ量が大きい場合は短露光画像の露光期間中に作用した瞬時手ぶれ量の積算値も大きい（即ち、短露光画像に対する全体の手ぶれ量も大きい）と推測でき、図１６（ａ）に示す如く、求めた位置ずれ量が小さい場合は短露光画像の露光期間中に作用した瞬時手ぶれ量の積算値も小さい（即ち、短露光画像に対する全体の手ぶれ量も小さい）と推測できる。

［第３の推定方法］
次に、第３の推定方法を説明する。第３の推定方法では、通常露光画像と短露光画像の画像データを用いて推定した、通常露光画像の画像劣化関数に基づいて短露光画像のぶれ度合いを推定する。

第３の推定方法の原理を説明する。通常露光画像と短露光画像の観測モデルを、下記式（Ｃ−１）及び（Ｃ−２）によって表現することができる

ここで、ｇ₁及びｇ₂は、夫々、実際の撮影によって得られた通常露光画像及び短露光画像を表し、ｈ₁及びｈ₂は、夫々、実際の撮影によって得られた通常露光画像及び短露光画像の画像劣化関数を表し、ｎ₁及びｎ₂は、夫々、実際の撮影によって得られた通常露光画像及び短露光画像に含まれる観測ノイズ成分を表している。ｆ_Iは、ぶれによる劣化もノイズの影響もない理想画像を表す。仮に通常露光画像及び短露光画像にぶれが無く且つノイズの影響も無かったならば、ｇ₁及びｇ₂は、ｆ_Iと等価となる。画像劣化関数とは、具体的には例えば点広がり関数（Point Spread Function）である。また、式（Ｃ−１）等における＊は、畳み込み積分を表している。例えば、ｈ₁＊ｆ_Iは、ｈ₁とｆ_Iの畳み込み積分を表す。

画像は二次元の行列にて表現されるため、画像劣化関数も二次元行列にて表現される。画像劣化関数の特性上、原則として、画像劣化関数を行列表現した時の各要素は全て０以上１以下の値をとり且つ全要素の合算値は１となる。

短露光画像のぶれによる劣化がないと仮定した場合、下記式（Ｃ−３）で表される評価値Ｊを最小化するｈ₁’を通常露光画像の画像劣化関数として推定することができる。ｈ₁’を推定画像劣化関数と呼ぶ。評価値Ｊは（ｇ₁−ｈ₁’＊ｇ₂）のノルムを二乗したものである。

このとき、短露光画像に真にぶれが含まれていない場合、観測ノイズの影響により推定画像劣化関数ｈ₁’に負の値を有する要素が存在することになるが、その負の値の合算値の大きさは小さい。図１７に、通常露光画像の画素値分布をグラフ２４１にて示し、短露光画像にぶれが含まれない場合における短露光画像の画素値分布をグラフ２４２に示す。そして、グラフ２４１及び２４２に対応する両画像から求められた推定画像劣化関数ｈ₁’の要素の値の分布を、グラフ２４３に示す。グラフ２４１〜２４３及び後述するグラフ２４４及び２４５において、横軸は空間方向に対応する。尚、グラフ２４１〜２４５を考える際、便宜上、各画像が一次元画像であると考える。グラフ２４３からも、推定画像劣化関数ｈ₁’における負の値の合算値の大きさは小さいことが分かる。

一方、短露光画像にぶれが含まれている場合、推定画像劣化関数ｈ₁’は、短露光画像の画像劣化関数の影響を受け、次式（Ｃ−４）に示すように、通常露光画像の真の画像劣化関数ｈ₁と短露光画像の画像劣化関数の逆関数ｈ₂ ^-1との畳み込み積分に近いものとなる。短露光画像にぶれが含まれている場合、逆関数ｈ₂ ^-1に負の値を有する要素が存在することになるため、短露光画像にぶれが含まれていない場合と比べて、推定画像劣化関数ｈ₁’に負の値を有する要素が比較的多く存在することになり、また、その値の絶対値は比較的大きくなる。そうすると、推定画像劣化関数ｈ₁’における負の値の合算値の大きさは、短露光画像にぶれが含まれていない場合よりも短露光画像にぶれが含まれている場合の方が大きくなる。

図１７におけるグラフ２４４は、短露光画像にぶれが含まれている場合における短露光画像の画素値分布を表し、グラフ２４５は、グラフ２４１及び２４４に対応する通常露光画像及び短露光画像から求められた推定画像劣化関数ｈ₁’の要素の値の分布を表す。

上記の原理に基づき、実際には以下のように処理する。まず、補正制御部５２は、通常露光画像及び短露光画像の画像データに基づき、評価値Ｊを最小化する推定画像劣化関数ｈ₁’を導出する。この導出方法として公知の任意の方法を用いることができる。実際には、第１の推定方法の説明文にて述べた手法を用いて通常露光画像及び短露光画像から第１及び第２の評価画像を抽出し（図９のステップＳ５１を参照）、抽出した第１の評価画像及び第２の評価画像を夫々ｇ₁及びｇ₂と捉えた上で、上記式（Ｃ−３）の評価値Ｊを最小化するための推定画像劣化関数ｈ₁’を導出する。上述したように、推定画像劣化関数ｈ₁’は二次元の行列として表現される。

補正制御部５２は、行列表現した際における推定画像劣化関数ｈ₁’の各要素の値（全要素の値）を参照し、参照した値の内、規定の数値範囲から逸脱した値を抽出する。今の場合、この数値範囲における上限値は１よりも十分に大きな値とされ、下限値は０とされる。即ち、参照した値の内、負の値を有する値のみが抽出される。補正制御部５２は、ここで抽出した負の値を全て合算して合算値を求め、その合算値の絶対値を予め設定した閾値Ｒ_THと比較する。そして、前者が後者（Ｒ_TH）よりも大きい場合は、短露光画像のぶれ度合いが比較的大きいと判断する。この場合、ぶれ補正処理は実行不可とされる。一方、前者が後者（Ｒ_TH）よりも小さい場合は、短露光画像のぶれ度合いが比較的小さいと判断する。この場合、ぶれ補正処理は実行可とされる。尚、閾値Ｒ_THを、ノイズの影響を考慮して、例えば０．１程度に設定するとよい。

＜＜第４実施形態＞＞
次に、第４実施形態を説明する。第４実施形態では、第１〜第３実施形態に適用可能な、補正対象画像と参照画像に基づくぶれ補正処理の方法を説明する。即ち、この方法を、図４、図７及び図８に示すステップＳ９のぶれ補正処理に用いることができる。補正対象画像と参照画像の画像サイズは同じであるとする。第４実施形態では、補正対象画像の全体画像、参照画像の全体画像及びぶれ補正画像の全体画像を表す記号として、夫々、Ｌｗ、Ｒｗ及びＱｗを導入する。

ぶれ補正処理の方法として、以下に、第１〜第４の補正方法を例示する。第１、第２、第３の補正方法は、夫々、画像復元処理、画像合成処理、画像鮮鋭化処理による補正方法である。第４の補正方法も画像合成処理を利用した補正方法であるが、その内容は第２の補正方法のそれと異なる（詳細は後述の説明から明らかとなる）。以下の記述において、単に「メモリ」といった場合、それは内部メモリ１４（図１参照）を意味するものとする。

［第１の補正方法］
図１８を参照して、第１の補正方法について説明する。図１８は、第１の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。

まず、ステップＳ７１において、補正対象画像Ｌｗの中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｌｓとしてメモリ上に記憶する。例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。特徴的な小領域の意義は、第２実施形態にて上述した通りである。

次に、ステップＳ７２において、補正対象画像Ｌｗから抽出された小領域に対応する小領域を参照画像Ｒｗから抽出し、参照画像Ｒｗから抽出された小領域内の画像を小画像Ｒｓとしてメモリ上に記憶する。小画像Ｌｓと小画像Ｒｓの画像サイズは等しい。補正対象画像Ｌｗと参照画像Ｒｗとの間の位置ずれを無視できる場合は、補正対象画像Ｌｗから抽出される小画像Ｌｓの中心座標（補正対象画像Ｌｗ内における中心座標）と、参照画像Ｒｗから抽出される小画像Ｒｓの中心座標（参照画像Ｒｗ内における中心座標）とが等しくなるように小領域の抽出を行う。その位置ずれを無視できない場合は、テンプレートマッチング法などを利用して対応小領域の探索を行うようにしても良い。即ち例えば、小画像Ｌｓをテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を参照画像Ｒｗ内から探索し、探索された小領域内の画像を小画像Ｒｓとする。

参照画像Ｒｗの露光時間が比較的短くＩＳＯ感度が比較的高いことに起因して、小画像ＲｓのＳＮ比は比較的低い。そこで、ステップＳ７３において、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施す。ノイズ除去処理後の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。尚、このノイズ除去処理を省略することも可能である。

上述のようにして得られた小画像Ｌｓを劣化画像として且つ小画像Ｒｓ’を初期復元画像として取り扱った上で（ステップＳ７４）、ステップＳ７５にてフーリエ反復法を実施することにより、小画像Ｌｓのぶれによる劣化の状態を表す画像劣化関数を求める。

フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。

画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）を求める。手ぶれは画像全体に対して一様な劣化を与えるため、小画像Ｌｓに対して求めたＰＳＦは、補正対象画像Ｌｗの全体に対するＰＳＦとして利用することができる。

フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図１９及び図２０を参照して詳細に説明する。図１９は、図１８のステップＳ７５の処理の詳細フローチャートである。図２０は、図３のぶれ補正処理部５３に内在する、フーリエ反復法を実施する部位のブロック図である。

まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として小画像Ｒｓ’を用いるようにする。次に、ステップＳ１０２において、劣化画像（即ち、小画像Ｌｓ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。

次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（Ｄ−１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（Ｄ−１）において、Ｆ’^*は、Ｆ’の共役複素行列であり、αは、定数である。

次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（Ｄ−２ａ）の拘束条件で修正した後、更に式（Ｄ−２ｂ）の拘束条件にて修正する。

ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｄ−２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（Ｄ−２ｂ）の拘束条件による修正である。

式（Ｄ−２ａ）及び（Ｄ−２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。

次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（Ｄ−３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（Ｄ−３）において、Ｈ’^*は、Ｈ’の共役複素行列であり、βは、定数である。

次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（Ｄ−４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。

復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｄ−４）の拘束条件による修正である。

次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。

例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。

収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図１８のステップＳ７５で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図２０参照）は、順次、最新のものに更新されていく。

収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（Ｄ−２ａ）及び（Ｄ−２ｂ）を用いたステップＳ１１３における修正量、或いは、式（Ｄ−４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。

また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像Ｌｗの補正は行われない。

図１８の各ステップの説明に戻る。ステップＳ７５にて、ＰＳＦが算出された後、ステップＳ７６に移行する。ステップＳ７６では、ステップＳ７５で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（Ｄ−３）の右辺の一部に相当する下記式（Ｄ−５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ７５におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（Ｄ−５）におけるＨ’^*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’^*及びＨ’（即ち、最終的に得られたＨ’^*及びＨ’）である。

ステップＳ７６にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ７７に移行し、この画像復元フィルタを用いて補正対象画像Ｌｗの全体をフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを補正対象画像Ｌｗの各画素に適用して補正対象画像Ｌｗをフィルタリングする。これにより、補正対象画像Ｌｗに含まれるぶれを低減したフィルタリング画像が生成される。画像復元フィルタのサイズは補正対象画像Ｌｗの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像Ｌｗの全体に対して適用することによって、補正対象画像Ｌｗの全体のぶれが低減される。

フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ７８において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的なぶれ補正画像Ｑｗを生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。

ぶれ補正画像Ｑｗは、補正対象画像Ｌｗに含まれるぶれが低減され且つフィルタリングに伴うリンギングが低減された画像となる。但し、フィルタリング画像もぶれが低減された画像であるため、フィルタリング画像をぶれ補正画像Ｑｗとして捉えることも可能である。

参照画像Ｒｗに含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この参照画像Ｒｗから得られる画像をフーリエ反復法における初期復元画像とする。

フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、ぶれ補正処理に必要なＰＳＦ及び画像復元フィルタの各フィルタ係数作成用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。

また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データからＰＳＦ及び画像復元フィルタのフィルタ係数を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、ＰＳＦ及び画像復元フィルタの各フィルタ係数作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。

この際、上述の如く、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、ＰＳＦをより正確に検出することができるようになる。

尚、図１９の処理では、空間領域上における劣化画像ｇ及び復元画像ｆ’がフーリエ変換によって周波数領域上に変換されることで、周波数領域上の劣化画像ｇを表す関数Ｇ及び周波数領域上の復元画像ｆ’を表す関数Ｆ’が求められる（尚、周波数領域とは、勿論、二次元の周波数領域である）。求められた関数Ｇ及びＦ’から周波数領域上のＰＳＦを表す関数Ｈが求められ、この関数Ｈは逆フーリエ変換によって空間領域上の関数、即ち、ＰＳＦ ｈに変換される。このＰＳＦ ｈは、所定の拘束条件を用いて修正され、修正後のＰＳＦ ｈ'が求められる。このＰＳＦを修正する処理を、以下「第１の修正処理」と呼ぶ。

ＰＳＦ ｈ'はフーリエ変換によって再度、周波数領域上に変換されて関数Ｈ’が求められ、関数Ｈ’と関数Ｇから周波数領域上の復元画像を表す関数Ｆが求められる。この関数Ｆを逆フーリエ変換することによって空間領域上の復元画像ｆが得られ、この復元画像ｆが所定の拘束条件を用いて修正されて、修正後の復元画像ｆ’が求められる。この復元画像を修正する処理を、以下「第２の修正処理」と呼ぶ。

上述の例では、この後、図１９のステップＳ１１８にて収束条件が満たされるまで、修正後の復元画像ｆ’を用いて上述の処理が反復されると述べた。また、反復処理が収束に向かえば修正量が小さくなるという特性を考慮し、この収束条件の成立／不成立を、第１の修正処理に対応するステップＳ１１３での修正量、又は、第２の修正処理に対応するステップＳ１１７での修正量に基づいて判断しても良いとも述べた。この判断を修正量に基づいて行う場合、基準修正量を予め設定しておき、ステップＳ１１３での修正量又はステップＳ１１７での修正量と基準修正量とを比較して、前者が後者よりも小さい場合に収束条件が成立すると判断することになるが、基準修正量を十分に大きく設定しておけば、ステップＳ１１０〜Ｓ１１７の処理は反復実行されない。つまり、この場合、第１の修正処理を１回だけ行って得たＰＳＦ ｈ'が、図１８のステップＳ７５で導出されるべき最終的なＰＳＦとなる。このように、図１９の処理を用いたとしても、第１及び第２の修正処理が繰り返し実行されるとは限らない。

第１及び第２の修正処理の繰り返し実行回数の増大は、最終的に求まるＰＳＦの精度向上に寄与するが、本例では初期復元画像自体が既に手ぶれのない画像に近いため、第１の修正処理を１回だけ行って得たＰＳＦ ｈ’の精度も、実用上、問題ない程度に高い。これを考慮すれば、ステップＳ１１８の判定処理自体を省略することも可能である。この場合、１回だけステップＳ１１３の処理を実行することで求まるＰＳＦ ｈ’が図１８のステップＳ７５で導出されるべき最終的なＰＳＦとなり、１回だけステップＳ１１４の処理を実行することで求まる関数Ｈ’から、図１８のステップＳ７６で導出されるべき画像復元フィルタの各フィルタ係数が求まる。故に、ステップＳ１１８の処理を省略する場合は、ステップＳ１１５〜Ｓ１１７の処理も割愛される。

［第２の補正方法］
次に、図２１及び図２２を参照して、第２の補正方法について説明する。図２１は、第２の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。図２２は、このぶれ補正処理の流れを表す概念図である。

撮像部１１の撮影によって得られる画像は、輝度に関する情報と色に関する情報を含むカラー画像となっている。従って、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号と、画素の色を表す色信号から形成される。今、各画素の画素信号がＹＵＶ形式で表現されているものとする。この場合、色信号は２つの色差信号Ｕ及びＶから形成されることなる。そして、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号Ｙと、画素の色を表す２つの色差信号Ｕ及びＶと、から形成される。

そうすると、補正対象画像Ｌｗは、図２２に示す如く、画素信号として輝度信号Ｙのみを含む画像Ｌｗ_Yと、画素信号として色差信号Ｕのみを含む画像Ｌｗ_Uと、画素信号として色差信号Ｖのみを含む画像Ｌｗ_Vと、に分解することができる。同様に、参照画像Ｒｗも、画素信号として輝度信号Ｙのみを含む画像Ｒｗ_Yと、画素信号として色差信号Ｕのみを含む画像Ｒｗ_Uと、画素信号として色差信号Ｖのみを含む画像Ｒｗ_Vと、に分解できる（図２２では、画像Ｒｗ_Yのみ図示）。

図２１のステップＳ２０１では、まず、補正対象画像Ｌｗの輝度信号及び色差信号を抽出することにより、画像Ｌｗ_Y、Ｌｗ_U及びＬｗ_Vを生成する。続くステップＳ２０２では、参照画像Ｒｗの輝度信号を抽出することにより、画像Ｒｗ_Yを生成する。

参照画像Ｒｗの露光時間が比較的短くＩＳＯ感度が比較的高いことに起因して、画像Ｒｗ_YのＳＮ比は比較的低い。そこで、ステップＳ２０３おいて、画像Ｒｗ_Yに対して、メディアンフィルタ等を用いたノイズ除去処理を施す。ノイズ除去処理後の画像Ｒｗ_Yは画像Ｒｗ_Y’としてメモリ上に記憶される。尚、このノイズ除去処理を省略することも可能である。

その後、ステップＳ２０４において、画像Ｌｗ_Yの画素信号と画像Ｒｗ_Y’の画素信号を比較することにより、画像Ｌｗ_Yを画像Ｒｗ_Y’との間の位置ずれ量ΔＤを算出する。位置ずれ量ΔＤは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。位置ずれ量ΔＤの算出を、周知の代表点マッチング法やテンプレートマッチング法を用いて行うことができる。例えば、画像Ｌｗ_Yから抽出した小領域内の画像をテンプレートとし、テンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を画像Ｒｗ_Y’内から探索する。そして、探索された小領域の位置（画像Ｒｗ_Y’上の位置）と画像Ｌｗ_Yから抽出した小領域の位置（画像Ｌｗ_Y上の位置）とのずれ量を位置ずれ量ΔＤとして算出する。尚、画像Ｌｗ_Yから抽出されるべき小領域を、上述したような、特徴的な小領域とすることが望ましい。

画像Ｌｗ_Yを基準として考え、位置ずれ量ΔＤが、画像Ｌｗ_Yに対する画像Ｒｗ_Y’の位置ずれ量であるとする。画像Ｒｗ_Y’は、画像Ｌｗ_Yを基準として位置ずれ量ΔＤに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、ステップＳ２０５では、この位置ずれ量ΔＤが打ち消されるように画像Ｒｗ_Y’に座標変換（アフィン変換など）を施すことによって画像Ｒｗ_Y’を位置ずれ補正する。位置ずれ補正前の画像Ｒｗ_Y’内の座標（ｘ＋ΔＤｘ，ｙ＋ΔＤｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。ΔＤｘ及びΔＤｙは、夫々、ΔＤの水平成分及び垂直成分である。

ステップＳ２０５では、更に、画像Ｌｗ_U及びＬｗ_Vと位置ずれ補正後の画像Ｒｗ_Y’が合成され、この合成によって得られた画像がぶれ補正画像Ｑｗとして出力される。ぶれ補正画像Ｑｗ内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する画像Ｌｗ_U内の画素の画素信号と、座標（ｘ，ｙ）に位置する画像Ｌｗ_V内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の画像Ｒｗ_Y’内の画素の画素信号と、から形成される。

カラー画像において、見た目のぶれは主に輝度のぶれによって引き起こされ、輝度のエッジ成分がぶれのない理想画像のそれに近ければ、観察者はぶれが少ないと感じる。従って、本補正方法では、ぶれ量の比較的少ない参照画像Ｒｗの輝度信号を補正対象画像Ｌｗの色信号に合成することによって擬似的な手ぶれ補正効果を得る。この方法によれば、エッジ近傍で色ずれが生じることとなるが、見た目においてぶれの少ない画像を低い計算コストで生成することができる。

［第３の補正方法］
次に、図２３及び図２４を参照して、第３の補正方法について説明する。図２３は、第３の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。図２４は、このぶれ補正処理の流れを表す概念図である。

まず、ステップＳ２２１において、補正対象画像Ｌｗから特徴的な小領域を抽出することによって小画像Ｌｓを生成し、ステップＳ２２２において、参照画像Ｒｗから小画像Ｌｓに対応する小領域を抽出することによって小画像Ｒｓを生成する。このステップＳ２２１及びＳ２２２の処理は、図１８のステップＳ７１及びＳ７２の処理と同じである。続いてステップＳ２２３おいて、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施す。ノイズ除去処理の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。尚、このノイズ除去処理を省略することも可能である。

次に、ステップＳ２２４において、互いに異なる８種類の平滑化フィルタを用いて小画像Ｒｓ’をフィルタリングすることにより、平滑化度合いの異なる８つの平滑化小画像Ｒｓ_G1、Ｒｓ_G2、・・・、Ｒｓ_G8を生成する。今、８つの平滑化フィルタとして互いに異なる８つのガウシアンフィルタを用いるものとし、各ガウシアンフィルタによって表されるガウス分布の分散をσ²で表す。

一次元の画像に着目し、その一次元の画像における画素の位置をｘで表した場合、平均が０且つ分散がσ²のガウス分布は下記式（Ｅ−１）によって表されることが一般的に知られている（図２５参照）。このガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈ_g（ｘ）で表される。つまり、ガウシアンフィルタを位置０の画素に適用する時、位置ｘにおけるフィルタ係数はｈ_g（ｘ）で表される。換言すれば、ガウシアンフィルタによるフィルタリング後の位置０の画素値に対する、フィルタリング前の位置ｘの画素値の寄与率はｈ_g（ｘ）で表される。

この考え方を二次元に拡張し、二次元の画像における画素の位置を（ｘ，ｙ）で表した場合、二次元ガウス分布は、下記式（Ｅ−２）によって表される。尚、ｘ及びｙは、それぞれ、水平方向の位置及び垂直方向の位置を表している。この二次元ガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈ_g（ｘ，ｙ）で表され、ガウシアンフィルタを位置（０，０）の画素に適用する時、位置（ｘ，ｙ）におけるフィルタ係数はｈ_g（ｘ，ｙ）で表される。つまり、ガウシアンフィルタによるフィルタリング後の位置（０，０）の画素値に対する、フィルタリング前の位置（ｘ，ｙ）の画素値の寄与率はｈ_g（ｘ，ｙ）で表される。

ステップＳ２２４では、８つのガウシアンフィルタとして、σ＝１，３，５，７，９，１１，１３，１５のガウシアンフィルタを用いることとする。続くステップＳ２２５では、小画像Ｌｓと平滑化小画像Ｒｓ_G1〜Ｒｓ_G8の夫々との間で画像マッチングを行い、平滑化小画像Ｒｓ_G1〜Ｒｓ_G8の内、最もマッチング誤差が小さくなる平滑化小画像（即ち、小画像Ｌｓとの相関性が最も高い平滑化小画像）を特定する。

平滑化小画像Ｒｓ_G1に着目し、小画像Ｌｓと平滑化小画像Ｒｓ_G1を対比した時のマッチング誤差（マッチング残差）の算出法を簡単に説明する。小画像Ｌｓと平滑化小画像Ｒｓ_G1の画像サイズは同じであり、それらの水平方向の画素数及び垂直方向の画素数を夫々Ｍ_N及びＮ_Nとする（Ｍ_N及びＮ_Nは、２以上の整数）。小画像Ｌｓ内の位置（ｘ，ｙ）における画素の画素値をＶ_Ls（ｘ，ｙ）にて表し、平滑化小画像Ｒｓ_G1内の位置（ｘ，ｙ）における画素の画素値をＶ_Rs（ｘ，ｙ）にて表す。（但し、ｘ及びｙは、０≦ｘ≦Ｍ_N−１且つ０≦ｙ≦Ｎ_N−１、を満たす整数）。そうすると、対比画像間におけるＳＡＤ（Sum of Absolute Difference）を表すＲ_SADは下記式（Ｅ−３）に従って算出され、対比画像間におけるＳＳＤ（Sum of Square Difference）を表すＲ_SSDは下記式（Ｅ−４）に従って算出される。

このＲ_SAD又はＲ_SSDを、小画像Ｌｓと平滑化小画像Ｒｓ_G1との間におけるマッチング誤差とする。同様にして、小画像Ｌｓと平滑化小画像Ｒｓ_G2〜Ｒｓ_G8の夫々との間におけるマッチング誤差も求め、最もマッチング誤差が小さくなる平滑化小画像を特定する。今、σ＝５に対応する平滑化小画像Ｒｓ_G3が特定されたとする。ステップＳ２２５では、平滑化小画像Ｒｓ_G3に対応するσをσ’とする。即ち、σ’の値は５となる。

続くステップＳ２２６では、このσ’によって表されるガウスぼけを補正対象画像Ｌｗの劣化の状態を表す画像劣化関数として取り扱うことにより、補正対象画像Ｌｗの劣化除去を図る。

具体的には、ステップＳ２２６では、σ’に基づいて補正対象画像Ｌｗの全体にアンシャープマスクフィルタを適用することにより、補正対象画像Ｌｗのぶれを除去する。アンシャープマスクフィルタの適用前の画像を入力画像Ｉ_INPUTとし、アンシャープマスクフィルタの適用後の画像を出力画像Ｉ_OUTPUTとして、アンシャープマスクフィルタの処理内容を説明する。まず、アンシャープフィルタとしてσ’のガウシアンフィルタ（即ち、σ＝５のガウシアンフィルタ）を採用し、このσ’のガウシアンフィルタを用いて入力画像Ｉ_INPUTをフィルタリングすることにより、ぼかし画像Ｉ_BLURを生成する。次に、入力画像Ｉ_INPUTの各画素値からぼかし画像Ｉ_BLURの各画素値を差し引くことにより、入力画像Ｉ_INPUTとぼかし画像Ｉ_BLURとの間の差分画像Ｉ_DELTAを生成する。最後に、入力画像Ｉ_INPUTの各画素値に差分画像Ｉ_DELTAの各画素値を加算することによって得られた画像を、出力画像Ｉ_OUTPUTとする。入力画像Ｉ_INPUTと出力画像Ｉ_OUTPUTとの関係式を式（Ｅ−５）に示す。式（Ｅ−５）において、(Ｉ_INPUT・Gauss)は、σ’のガウシアンフィルタを用いて入力画像Ｉ_INPUTをフィルタリングした結果を表している。
Ｉ_OUTPUT ＝Ｉ_INPUT＋Ｉ_DELTA
＝Ｉ_INPUT＋(Ｉ_INPUT−Ｉ_BLUR)
＝Ｉ_INPUT＋(Ｉ_INPUT−(Ｉ_INPUT・Gauss)) ・・・（Ｅ−５）

ステップＳ２２６では、補正対象画像Ｌｗを入力画像Ｉ_INPUTとして取り扱うことにより、出力画像Ｉ_OUTPUTとしてのフィルタリング画像を得る。そして、ステップＳ２２７において、このフィルタリング画像のリンギングを除去してぶれ補正画像Ｑｗを生成する（ステップＳ２２７の処理は、図１８のステップＳ７８の処理と同じである）。

アンシャープマスクフィルタを用いることにより、入力画像（Ｉ_INPUT）のエッジが強調され、画像鮮鋭化効果が得られる。但し、ぼかし画像（Ｉ_BLUR）生成時におけるぼかし度合いが入力画像に含まれる実際のぼけ量と大きく異なると、適切なぼけ補正効果が得られない。例えば、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも大きいと、出力画像（Ｉ_OUTPUT）は、極端に鮮鋭化された不自然な画像となる。一方、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも小さいと、鮮鋭化効果が弱すぎる。本補正方法では、アンシャープフィルタとしてσにてぼかし度合いが規定されるガウシアンフィルタを用い、そのガウシアンフィルタのσとして画像劣化関数に対応するσ’を用いる。このため、最適な鮮鋭化効果が得られ、ぼけが良好に除去されたぶれ補正画像が得られる。即ち、見た目においてぶれの少ない画像を低い計算コストで生成することができる。

図２６に、入力画像Ｉ_INPUTとしての手ぶれ画像３００と共に、最適なσのガウシアンフィルタを用いた場合に得られる画像（即ち、本来のぶれ補正画像）３０２と、小さすぎるσのガウシアンフィルタを用いた場合に得られる画像３０１と、大きすぎるσのガウシアンフィルタを用いた場合に得られる画像３０３と、を示す。σが小さすぎると鮮鋭化効果が弱く、σが大きすぎると極端に鮮鋭化された不自然な画像が生成されることが分かる。

［第４の補正方法］
次に、第４の補正方法について説明する。図２７（ａ）及び（ｂ）に、第４の補正方法の説明において採り上げられる参照画像Ｒｗと補正対象画像Ｌｗの例を示す。図２７（ａ）及び（ｂ）における画像３１０及び３１１が、夫々、参照画像Ｒｗと補正対象画像Ｌｗの例である。参照画像３１０及び補正対象画像３１１は、背景被写体である山の前に注目被写体としての人物ＳＵＢが立っている状態を撮影することにより得られたものである。

参照画像は短露光画像に基づく画像であるため、比較的多くのノイズを含有している。従って、補正対象画像３１１と比較して、参照画像３１０では、エッジが鮮明に描写されているものの比較的大きなノイズ（図２７（ａ）における黒い斑点に対応）が混入している。一方、参照画像３１０と比較して、補正対象画像３１１に含まれるノイズは少ないが補正対象画像３１１上では人物ＳＵＢが大きくぶれている。図２７（ａ）及び（ｂ）では、参照画像３１０及び補正対象画像３１１の撮影中に人物ＳＵＢが移動していることを想定しており、これによって参照画像３１０上の人物ＳＵＢの位置と比べて補正対象画像３１１上の人物ＳＵＢは右寄りに位置していると共に補正対象画像３１１上の人物ＳＵＢには被写体ぶれが生じている。

また、図２８に示す如く、任意の二次元画像３２０が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。画像３２０は、例えば、補正対象画像、参照画像、ぶれ補正画像、又は、後述の第１〜第３中間生成画像である。Ｘ軸及びＹ軸は、二次元画像３２０の水平方向及び垂直方向に沿った軸である。二次元画像３２０は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３２０上の何れかの画素である画素３２１の位置を（ｘ，ｙ）にて表す。（ｘ，ｙ）におけるｘ及びｙは、夫々、画素３２１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が上側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３２１の位置が（ｘ，ｙ）である場合、画素３２１の右側、左側、上側及び下側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

図２９は、第４の補正方法を採用する場合において、図３のぶれ補正処理部５３に内在する画像合成部１５０の内部ブロック図である。参照画像Ｒｗ及び補正対象画像Ｌｗの画像データは、画像合成部１５０に入力される。画像データは、画像の色及び輝度を表す。

画像合成部１５０は、参照画像と補正対象画像との間の位置ずれを検出して両画像間の位置合わせを行う位置合わせ部１５１と、参照画像に含まれるノイズを低減するノイズ低減部１５２と、位置合わせ後の補正対象画像とノイズ低減後の参照画像との間の差分をとって各画素位置における差分値を算出する差分値算出部１５３と、その差分値に基づく合成比率にて位置合わせ後の補正対象画像とノイズ低減後の参照画像を合成する第１合成部１５４と、ノイズ低減後の参照画像からエッジを抽出してエッジ強度値を算出するエッジ強度値算出部１５５と、エッジ強度値に基づく合成比率にて参照画像と第１合成部１５４による合成画像とを合成することによりぶれ補正画像を生成する第２合成部１５６と、を備える。

画像合成部１５０内の各部位の動作について詳説する。尚、単に、参照画像と言った場合、それは、ノイズ低減部１５２によるノイズ低減処理が施されていない参照画像Ｒｗを指す。図２７（ａ）に例示した参照画像３１０は、ノイズ低減部１５２によるノイズ低減が施されていない参照画像Ｒｗである。

位置合わせ部１５１は、参照画像及び補正対象画像の画像データに基づいて参照画像と補正対象画像との間の位置ずれを検出し、参照画像及び補正対象画像間の位置ずれが打ち消されるように参照画像及び補正対象画像間の位置合わせを行う。位置合わせ部１５１による位置ずれ検出方法及び位置合わせ方法を、代表点マッチング法、ブロックマッチング法又は勾配法などを用いて実現することができる。典型的には例えば、第２実施形態で述べた位置合わせの方法を利用可能である。この際、参照画像を基準画像として且つ補正対象画像を非基準画像として取り扱って位置合わせを行うものとする。従って、参照画像から見た補正対象画像の位置ずれを補正する処理が、補正対象画像に対して施される。この位置ずれ補正後の補正対象画像（換言すれば、位置合わせ後の補正対象画像）を第１中間生成画像と呼ぶ。

ノイズ低減部１５２は、参照画像に対してノイズ低減処理を施すことにより、参照画像に含まれるノイズを低減する。ノイズ低減部１５２におけるノイズ低減処理を、ノイズ低減に適した任意の空間フィルタリングにて実現することができる。ノイズ低減部１５２における空間フィルタリングでは、エッジがなるだけ保存されるような空間フィルタを利用することが望ましく、例えば、メディアンフィルタを用いた空間フィルタリングが採用される。

また、ノイズ低減部１５２におけるノイズ低減処理を、ノイズ低減に適した任意の周波数フィルタリングにて実現することもできる。ノイズ低減部１５２において周波数フィルタリングを利用する場合、参照画像に含まれる空間周波数成分の内、所定のカットオフ周波数未満の空間周波数成分を通過させ且つ該カットオフ周波数以上の空間周波数成分を低減させるローパスフィルタを用いるとよい。尚、メディアンフィルタ等を用いた空間フィルタリングによっても、参照画像に含まれる空間周波数成分の内の、比較的低い周波数の空間周波数成分が殆どそのまま残存する一方で比較的高い周波数の空間周波数成分が低減される。故に、メディアンフィルタ等を用いた空間フィルタリングもローパスフィルタによるフィルタリングの一種である、と考えることもできる。

ノイズ低減部１５２によるノイズ低減処理後の参照画像を、第２中間生成画像（第３画像）と呼ぶ。図３０に、図２７（ａ）の参照画像３１０に対してノイズ低減処理を施すことによって得られた第２中間生成画像３１２を示す。図２７（ａ）と図３０の比較からも分かるように、第２中間生成画像３１２では、参照画像３１０に含まれているノイズが低減されている一方で、参照画像３１０と比べてエッジが僅かに不鮮明となっている。

差分値算出部１５３は、第１中間生成画像と第２中間生成画像との間の、各画素位置における差分値を算出する。画素位置（ｘ，ｙ）における差分値をＤＩＦ（ｘ，ｙ）にて表す。差分値ＤＩＦ（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素と第２中間生成画像の画素位置（ｘ，ｙ）における画素との間における、輝度及び／又は色の差を表す値である。

差分値算出部１５３は、例えば下記式（Ｆ−１）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出する。ここで、Ｐ１_Y（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値であり、Ｐ２_Y（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値である。

式（Ｆ−１）ではなく、ＲＧＢ形式の信号値を利用し、下記式（Ｆ−２）又は式（Ｆ−３）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出することも可能である。ここで、Ｐ１_R（ｘ，ｙ）、Ｐ１_G（ｘ，ｙ）及びＰ１_B（ｘ，ｙ）は、夫々、第１中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値であり、Ｐ２_R（ｘ，ｙ）、Ｐ２_G（ｘ，ｙ）及びＰ２_B（ｘ，ｙ）は、夫々、第２中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値である。或る画素のＲ、Ｇ及びＢ信号は、その画素の赤、緑及び青の強度を表す色信号である。

上記の式（Ｆ−１）、式（Ｆ−２）又は式（Ｆ−３）に基づく差分値ＤＩＦ（ｘ，ｙ）の算出方法は例示に過ぎず、それら以外の方法によって差分値ＤＩＦ（ｘ，ｙ）を求めるようにしても構わない。例えば、ＹＵＶ形式の信号値を利用し、ＲＧＢ形式の信号値を用いる場合と同様の方法にて差分値ＤＩＦ（ｘ，ｙ）を算出しても構わない。この場合、式（Ｆ−２）及び（Ｆ−３）におけるＲ、Ｇ及びＢを夫々Ｙ、Ｕ及びＶに置き換えて考えればよい。ＹＵＶ形式の信号は、Ｙによって表される輝度信号とＵ及びＶによって表される色差信号から成る。

図３１に、各画素位置における差分値ＤＩＦ（ｘ，ｙ）を画素信号値として有する差分画像の例を示す。図３１の差分画像３１３は、図２７（ａ）及び（ｂ）の参照画像３１０及び補正対象画像３１１に基づく差分画像である。差分画像３１３では、差分値ＤＩＦ（ｘ，ｙ）が比較的大きい部分を白で表し、差分値ＤＩＦ（ｘ，ｙ）が比較的小さい部分を黒で表している。参照画像３１０及び補正対象画像３１１の撮影中における人物ＳＵＢの移動によって、差分画像３１３における人物ＳＵＢの移動領域での差分値ＤＩＦ（ｘ，ｙ）が比較的大きくなっている。また、手ぶれに起因する補正対象画像３１１上のぶれにより、エッジ付近（人物や山の輪郭部）の差分値ＤＩＦ（ｘ，ｙ）も大きくなっている。

第１合成部１５４は、第１中間生成画像と第２中間生成画像との合成を行い、得られた合成画像を第３中間生成画像（第４画像）として出力する。この合成は、第１及び第２中間生成画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）を差分値ＤＩＦ（ｘ，ｙ）に基づいて決定することができる。第１合成部１５４にて決定される、画素位置（ｘ，ｙ）に対する混合率をα（ｘ，ｙ）にて表す。

差分値ＤＩＦ（ｘ，ｙ）と混合率α（ｘ，ｙ）との関係例を図３２に示す。図３２の関係例を採用する場合、
「ＤＩＦ（ｘ，ｙ）＜Ｔｈ１＿Ｌ」の成立時において「α（ｘ，ｙ）＝１」とされ、
「Ｔｈ１＿Ｌ≦ＤＩＦ（ｘ，ｙ）＜Ｔｈ１＿Ｈ」の成立時において「α（ｘ，ｙ）＝１−（ＤＩＦ（ｘ，ｙ）−Ｔｈ１＿Ｌ）／（Ｔｈ１＿Ｈ−Ｔｈ１＿Ｌ）」とされ、
「Ｔｈ１＿Ｈ≦ＤＩＦ（ｘ，ｙ）」の成立時において「α（ｘ，ｙ）＝０」とされる。
ここで、Ｔｈ１＿Ｌ及びＴｈ１＿Ｈは、「０＜Ｔｈ１＿Ｌ＜Ｔｈ１＿Ｈ」を満たす所定の閾値である。図３２の関係例を採用する場合、差分値ＤＩＦ（ｘ，ｙ）が閾値Ｔｈ１＿Ｌから閾値Ｔｈ１＿Ｈに向かって増大するにつれて対応する混合率α（ｘ，ｙ）が１から０に向かって線形的に減少するが、混合率α（ｘ，ｙ）を非線形に減少させても構わない。

第１合成部１５４は、各画素位置における差分値ＤＩＦ（ｘ，ｙ）から各画素位置における混合率α（ｘ，ｙ）を決定した後、下記式（Ｆ−４）に従って第１及び第２中間生成画像の対応画素の画素信号を混合することで、第３中間生成画像の画素信号を生成する。

Ｐ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、第１、第２及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す画素信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ１（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ１（ｘ，ｙ）及びＰ２（ｘ，ｙ）を混合することにより画素信号Ｐ３（ｘ，ｙ）を得ればよい。画素信号Ｐ１（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

図３３に、第１合成部１５４にて得られる第３中間生成画像の例を示す。図３２に示す第３中間生成画像３１４は、図２７（ａ）及び（ｂ）の参照画像３１０及び補正対象画像３１１に基づく第３中間生成画像である。

上述したように、人物ＳＵＢが動いた領域では差分値Ｄ（ｘ，ｙ）が比較的大きくなるため、第３中間生成画像３１４に対する第２中間生成画像３１２（図３０参照）の寄与度（１−α（ｘ，ｙ））が比較的大きくなる。結果、第３中間生成画像３１４における被写体ぶれは、補正対象画像３１１（図２７（ｂ）参照）におけるそれよりも大幅に抑制される。また、エッジ付近においても差分値Ｄ（ｘ，ｙ）が大きくなることから上記寄与度（１−α（ｘ，ｙ））が大きくなる。結果、第３中間生成画像３１４におけるエッジの鮮鋭度は、補正対象画像３１１におけるそれよりも改善される。但し、第２中間生成画像３１２におけるエッジは、参照画像３１０のそれと比較して若干不鮮明であるため、第３中間生成画像３１４におけるエッジも参照画像３１０のそれと比較して若干不鮮明となる。

一方において、差分値Ｄ（ｘ，ｙ）が比較的小さい領域はエッジ成分の少ない平坦領域であると推測される。このため、差分値Ｄ（ｘ，ｙ）が比較的小さい領域に対しては、上述の如く、ノイズの含有量が少ない第１中間生成画像の寄与度α（ｘ，ｙ）を比較的大きくする。これにより、第３中間生成画像のノイズを低く抑えることができる。尚、第２中間生成画像はノイズ低減処理を経て生成されたものであるため、第３中間生成画像に対する第２中間生成画像の寄与度（１−α（ｘ，ｙ））が比較的大きくなる領域においても、ノイズは殆ど目立たない。

上述したように、第３中間生成画像におけるエッジは参照画像のそれと比較して若干不鮮明となるが、この不鮮明さは、エッジ強度値算出部１５５及び第２合成部１５６によって改善される。

エッジ強度値算出部１５５は、第２中間生成画像に対してエッジ抽出処理を行い、各画素位置におけるエッジ強度値を算出する。画素位置（ｘ，ｙ）におけるエッジ強度値を、Ｅ（ｘ，ｙ）にて表す。エッジ強度値Ｅ（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）を中心とする小ブロック内の画素信号の変化量を表す指標であり、その変化量が大きいほどエッジ強度値Ｅ（ｘ，ｙ）は大きくなる。

例えば、下記式（Ｆ−５）に従って、エッジ強度値Ｅ（ｘ，ｙ）を求める。上述したように、Ｐ２_Y（ｘ，ｙ）は第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値を表す。Ｆｘ（ｉ，ｊ）及びＦｙ（ｉ，ｊ）は、夫々、水平方向及び垂直方向のエッジを抽出するためのエッジ抽出フィルタのフィルタ係数を表す。エッジ抽出フィルタとして、エッジ抽出に適した任意の空間フィルタを用いることができ、例えば、プリューウィットフィルタ（Prewitt filter）、ソーベルフィルタ（Sobel filter）、微分フィルタ、ラプラシアンフィルタ（Laplacian filter）を用いることができる。

例えば、プリューウィットフィルタを用いる場合、式（Ｆ−５）におけるＦｘ（ｉ，ｊ）に、「Ｆｘ（−１，−１）＝Ｆｘ（−１，０）＝Ｆｘ（−１，１）＝−１」、「Ｆｘ（０，−１）＝Ｆｘ（０，０）＝Ｆｘ（０，１）＝０」及び「Ｆｘ（１，−１）＝Ｆｘ（１，０）＝Ｆｘ（１，１）＝１」を代入すれば良く、式（Ｆ−５）におけるＦｙ（ｉ，ｊ）に、「Ｆｙ（−１，−１）＝Ｆｙ（０，−１）＝Ｆｙ（１，−１）＝−１」、「Ｆｙ（−１，０）＝Ｆｙ（０，０）＝Ｆｙ（１，０）＝０」及び「Ｆｙ（−１，１）＝Ｆｙ（０，１）＝Ｆｙ（１，１）＝１」を代入すれば良い。勿論、このようなフィルタ係数は一例であり、エッジ強度値Ｅ（ｘ，ｙ）の算出用のエッジ抽出フィルタは様々に変形可能である。また、式（Ｆ−５）では３×３のフィルタサイズを有するエッジ抽出フィルタを用いているが、エッジ抽出フィルタのフィルタサイズは３×３以外でもよい。

図３４に、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）を画素信号値として有するエッジ画像の例を示す。図３４のエッジ画像３１５は、図２７（ａ）及び（ｂ）の参照画像３１０及び補正対象画像３１１に基づくエッジ画像である。エッジ画像３１５では、エッジ強度値Ｅ（ｘ，ｙ）が比較的大きい部分を白で表し、エッジ強度値Ｅ（ｘ，ｙ）が比較的小さい部分を黒で表している。エッジ強度値Ｅ（ｘ，ｙ）は、エッジが鮮明である参照画像３１０のノイズを抑制することによって得られた第２中間生成画像３１２のエッジを抽出することで得られる。そのため、ノイズとエッジが分離され、エッジ強度値Ｅ（ｘ，ｙ）によって、ノイズと被写体のエッジとを明確に区別した上でエッジの位置が特定される。

第２合成部１５６は、第３中間生成画像と参照画像との合成を行い、得られた合成画像をぶれ補正画像（Ｑｗ）として出力する。この合成は、第３中間生成画像と参照画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）をエッジ強度値Ｅ（ｘ，ｙ）に基づいて決定することができる。第２合成部１５６にて決定される、画素位置（ｘ，ｙ）に対する混合率をβ（ｘ，ｙ）にて表す。

エッジ強度値Ｅ（ｘ，ｙ）と混合率β（ｘ，ｙ）との関係例を図３５に示す。図３５の関係例を採用する場合、
「Ｅ（ｘ，ｙ）＜Ｔｈ２＿Ｌ」の成立時において「β（ｘ，ｙ）＝０」とされ、
「Ｔｈ２＿Ｌ≦Ｅ（ｘ，ｙ）＜Ｔｈ２＿Ｈ」の成立時において「β（ｘ，ｙ）＝（Ｅ（ｘ，ｙ）−Ｔｈ２＿Ｌ）／（Ｔｈ２＿Ｈ−Ｔｈ２＿Ｌ）」とされ、
「Ｔｈ２＿Ｈ≦Ｅ（ｘ，ｙ）」の成立時において「β（ｘ，ｙ）＝１」とされる。
ここで、Ｔｈ２＿Ｌ及びＴｈ２＿Ｈは、「０＜Ｔｈ２＿Ｌ＜Ｔｈ２＿Ｈ」を満たす所定の閾値である。図３５の関係例を採用する場合、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｌから閾値Ｔｈ２＿Ｈに向かって増大するにつれて対応する混合率β（ｘ，ｙ）が０から１に向かって線形的に増加するが、混合率β（ｘ，ｙ）を非線形に増加させても構わない。

第２合成部１５６は、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）から各画素位置における混合率β（ｘ，ｙ）を決定した後、下記式（Ｆ−６）に従って第３中間生成画像と参照画像の対応画素の画素信号を混合することで、ぶれ補正画像の画素信号を生成する。

Ｐ_OUT（ｘ，ｙ）、Ｐ_{IN_SH}（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、ぶれ補正画像、参照画像及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す画素信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ３（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ_{IN_SH}（ｘ，ｙ）及びＰ３（ｘ，ｙ）を混合することにより画素信号Ｐ_OUT（ｘ，ｙ）を得ればよい。画素信号Ｐ３（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

図３６に、第２合成部１５６にて得られるぶれ補正画像Ｑｗの例としてのぶれ補正画像３１６を示す。ぶれ補正画像３１６は、図２７（ａ）及び（ｂ）の参照画像３１０及び補正対象画像３１１に基づくぶれ補正画像である。エッジ部分では、ぶれ補正画像３１６に対する参照画像３１０の寄与度β（ｘ，ｙ）が大きくなるため、ぶれ補正画像３１６においては、第３中間生成画像３１４（図３３参照）におけるエッジの僅かな不鮮明さが改善され、エッジが鮮明に描写される。一方、エッジ以外の部分では、ぶれ補正画像３１６に対する第３中間生成画像３１４の寄与度（１−β（ｘ，ｙ））が大きくなるため、ぶれ補正画像３１６に対して、参照画像３１０に含まれるノイズが反映されることが抑制される。ノイズは、エッジ以外の部分（平坦部分）において特に視覚的に目立つため、上述のような混合率β（ｘ，ｙ）による合成比率の調整は効果的である。

このように、第４の補正方法によれば、補正対象画像（より詳細には位置合わせ後の補正対象画像（即ち第１中間生成画像））とノイズ低減後の参照画像（即ち第２中間生成画像）とを、それらから得られる差分値を用いて合成することにより、補正対象画像のぶれ及び参照画像のノイズが抑制された第３中間生成画像を生成することができる。その後、ノイズ低減後の参照画像（即ち第２中間生成画像）から得たエッジ強度値を用いて第３中間生成画像と参照画像を合成することにより、ぶれ補正画像に参照画像の鮮明なエッジを反映させることができる一方で、参照画像のノイズのぶれ補正画像への反映が抑制される。結果、ぶれ補正画像は、ぶれ及びノイズの少ない画像となる。

エッジとノイズを明確に分離検出し、参照画像のノイズのぶれ補正画像への混入を良好に回避するためには、上述の如くエッジ強度値をノイズ低減後の参照画像（即ち第２中間生成画像）から導出する方が望ましいが、エッジ強度値をノイズ低減前の参照画像（即ち図２７（ａ）の参照画像３１０など）から導出するようにしてもよい。この場合、式（Ｆ−５）のＰ２_Y（ｘ，ｙ）にノイズ低減前の参照画像の画素位置（ｘ，ｙ）における画素の輝度値を代入した上で、式（Ｆ−５）に従いエッジ強度値Ｅ（ｘ，ｙ）を算出すればよい。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図３及び図２９に示される各部位の機能の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

また、図３及び図２９に示される各部位にて実行される演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈２］
例えば、以下のように考えることができる。第１又は第２実施形態において、図３の撮影制御部５１及び補正制御部５２を含む部位は、ぶれ補正処理の実行可否又は短露光画像の撮影枚数を制御する制御手段として機能する。第３実施形態において、ぶれ補正処理の実行可否を制御する制御手段は、補正制御部５２を含み、更に撮影制御部５１を含みうる。第３実施形態における補正制御部５２は、短露光画像のぶれ度合いを推定するぶれ推定手段を内在する。また、第４実施形態で示した第１の補正方法をぶれ補正処理の方法として利用する場合、図３のぶれ補正処理部５３は、補正対象画像の画像劣化関数（具体的にはＰＳＦ）を求める画像劣化関数導出手段を有する。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部ブロック図である。 図１の主制御部の内部ブロック図である。 本発明の第１実施形態に係る撮像装置の撮影及び補正の動作フローチャートである。 本発明の第１実施形態に係り、短露光画像の撮影可否判定及び撮影パラメータ設定の動作フローチャートである。 焦点距離と手ぶれ限界露光時間との関係を表すグラフである。 本発明の第２実施形態に係る撮像装置の撮影及び補正の動作フローチャートである。 本発明の第３実施形態に係る撮像装置の撮影及び補正の動作フローチャートである。 本発明の第３実施形態に係る、短露光画像のぶれ度合い推定の動作フローチャートである。 本発明の第３実施形態に係り、通常露光画像又は短露光画像から抽出された評価画像の画素配列を示す図である。 図１０の評価画像内における輝度値の配列を示す図である。 本発明の第３実施形態に係り、エッジ強度値の算出に用いることのできる水平方向の二次微分フィルタを示す図である。 本発明の第３実施形態に係り、エッジ強度値の算出に用いることのできる垂直方向の二次微分フィルタを示す図である。 本発明の第３実施形態に係り、ノイズの影響がない画像及びノイズの影響がある画像の輝度値分布を示す図（ａ）と、ノイズの影響がない画像及びノイズの影響がある画像のエッジ強度値分布を示す図（ｂ）である。 本発明の第３実施形態に係り、水平方向にぶれを有する通常露光画像（ａ）と、水平及び垂直方向にぶれのない短露光画像（ｂ）と、垂直方向にぶれを有する短露光画像（ｃ）と、を示す図である。 本発明の第３実施形態に係り、通常露光画像と短露光画像間の位置ずれ量が小さい時における手ぶれ量の様子と、通常露光画像と短露光画像間の位置ずれ量が大きい時における手ぶれ量の様子と、を示す図である。 本発明の第３実施形態に係り、通常露光画像及び短露光画像の画素値分布と、通常露光画像の推定画像劣化関数（ｈ₁’）と、の関係を説明するための図である。 本発明の第４実施形態に係り、第１の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。 本発明の第４実施形態に係り、第１の補正方法によるぶれ補正処理にて実施されるフーリエ反復法の詳細フローチャートである。 図１９のフーリエ反復法を実現する構成のブロック図である。 本発明の第４実施形態に係り、第２の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。 図２１に対応するぶれ補正処理の概念図である。 本発明の第４実施形態に係り、第３の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。 図２３に対応するぶれ補正処理の概念図である。 本発明の第４実施形態に係り、一次元のガウス分布を示す図である。 図２３に対応するぶれ補正処理の効果を説明するための図である。 本発明の第４実施形態に係り、第４の補正方法の説明において採り上げられる参照画像と補正対象画像の例を示す図である。 空間領域の二次元座標系と二次元画像を示す図である。 本発明の第４実施形態に係る第４の補正方法において利用される画像合成部の内部ブロック図である。 図２７（ａ）の参照画像のノイズを低減することによって得られた第２中間生成画像を示す図である。 位置合わせ後の補正対象画像（第１中間生成画像）とノイズ低減処理後の参照画像（第２中間生成画像）との間の差分画像を示す図である。 図２９の差分値算出部で得られた差分値と、第１及び第２中間生成画像の画素信号の混合率と、の関係を示す図である。 位置合わせ後の補正対象画像（第１中間生成画像）とノイズ低減処理後の参照画像（第２中間生成画像）とを合成することによって得られた第３中間生成画像を示す図である。 ノイズ低減処理後の参照画像（第２中間生成画像）に対してエッジ抽出処理を施すことで得られたエッジ画像を示す図である。 図２９のエッジ強度値算出部で得られたエッジ強度値と、参照画像及び第３中間生成画像の画素信号の混合率と、の関係を示す図である。 参照画像と第３中間生成画像を合成することによって得られたぶれ補正画像を示す図である。 従来のフーリエ反復法を実現する構成のブロック図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 主制御部
１６ 記録媒体
３２ 絞り
３３ 撮像素子
３５ 光学系
５１ 撮影制御部
５２ 補正制御部
５３ ぶれ補正処理部
５４ 短露光撮影制御部
１５０ 画像合成部

Claims (15)

1. 撮影によって画像を取得する撮像手段と、
   撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された第２画像と、に基づいて補正するぶれ補正処理手段と、
   前記ぶれ補正処理手段による補正の実行可否を制御する制御手段と、を備え、
   前記制御手段は、前記第２画像のぶれの度合いを推定するぶれ推定手段を備え、その推定結果に基づいて前記ぶれ補正処理手段による補正の実行可否を制御し、
   前記ぶれ推定手段は、前記第１画像及び前記第２画像を用いて求めた、前記第１画像の推定画像劣化関数を行列表現した際における前記推定画像劣化関数の各要素の値を参照して、参照した値の内、規定の数値範囲から逸脱した値を抽出し、抽出した値の合算値に基づいて前記第２画像のぶれの度合いを推定する
   ことを特徴とする撮像装置。
2. 撮影によって画像を取得する撮像手段と、
   撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された１枚以上の第２画像と、に基づいて補正するぶれ補正処理手段と、
   前記第１画像の撮影パラメータに基づいて、前記ぶれ補正処理手段による補正の実行可否又は該補正に用いる前記第２画像の枚数を制御する制御手段と、を備え、
   前記制御手段は、
   前記第１画像の撮影パラメータに基づいて前記第２画像の撮影可否を判定して前記撮影手段を制御する第２画像撮影制御手段と、
   前記第２画像の撮影可否の判定結果に従って、前記ぶれ補正処理手段による補正の実行可否を制御する補正制御手段と、を備える
   ことを特徴とする撮像装置。
3. 前記第１画像の撮影パラメータは、前記第１画像の撮影時における、焦点距離と露光時間と画像の明るさを調節するための感度とを含む
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第２画像撮影制御手段は、前記第１画像の撮影パラメータに基づいて、前記第２画像の撮影パラメータを設定する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記ぶれ補正処理手段は、前記第１画像に基づく画像及び前記第２画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて第１画像のぶれを補正する
   ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
6. 前記ぶれ補正処理手段は、前記第１画像の全体のぶれを表す画像劣化関数を求める画像劣化関数導出手段を有して、前記画像劣化関数に基づいて前記第１画像のぶれを補正し、
   前記画像劣化関数導出手段は、前記第１画像に基づく画像を周波数領域上に変換して得た第１関数と前記第２画像に基づく画像を周波数領域上に変換して得た第２関数とから周波数領域上における前記画像劣化関数を暫定的に求め、求めた周波数領域上における前記画像劣化関数を空間領域上に変換して得た関数を所定の拘束条件を用いて修正する処理を介して、最終的に前記画像劣化関数を求める
   ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
7. 前記ぶれ補正処理手段は、前記第１画像と、前記第２画像と、前記第２画像のノイズを低減することによって得られた第３画像とを合成することにより、前記第１画像のぶれが補正されたぶれ補正画像を生成する
   ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
8. 前記ぶれ補正処理手段は、前記第１画像及び前記第３画像の合成画像である第４画像を生成した後、前記第２画像と前記第４画像を合成することによって前記ぶれ補正画像を生成する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記第１画像と前記第３画像を合成する際の合成比率は、前記第１画像と前記第３画像との差に基づいて設定され、
   前記第２画像と前記第４画像を合成する際の合成比率は、前記第３画像に含まれるエッジに基づいて設定される
   ことを特徴とする請求項８に記載の撮像装置。
10. 撮影によって画像を取得する撮像手段と、
    撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された第２画像と、に基づいて補正するぶれ補正処理手段と、
    前記ぶれ補正処理手段による補正の実行可否を制御する制御手段と、を備え、
    前記ぶれ補正処理手段は、前記第１画像と、前記第２画像と、前記第２画像のノイズを低減することによって得られた第３画像とを合成することにより、前記第１画像のぶれが補正されたぶれ補正画像を生成する
    ことを特徴とする撮像装置。
11. 前記ぶれ補正処理手段は、前記第１画像及び前記第３画像の合成画像である第４画像を生成した後、前記第２画像と前記第４画像を合成することによって前記ぶれ補正画像を生成する
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記第１画像と前記第３画像を合成する際の合成比率は、前記第１画像と前記第３画像との差に基づいて設定され、
    前記第２画像と前記第４画像を合成する際の合成比率は、前記第３画像に含まれるエッジに基づいて設定される
    ことを特徴とする請求項１１に記載の撮像装置。
13. 撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された１枚以上の第２画像と、に基づいて補正するぶれ補正処理ステップと、
    前記ぶれ補正処理ステップによる補正の実行可否を制御する制御ステップと、を備え、
    前記制御ステップは、前記第２画像のぶれの度合いを推定するぶれ推定ステップを含み、
    その推定結果に基づいて前記ぶれ補正処理ステップによる補正の実行可否を制御し、
    前記ぶれ推定ステップは、前記第１画像及び前記第２画像を用いて求めた、前記第１画像の推定画像劣化関数を行列表現した際における前記推定画像劣化関数の各要素の値を参照して、参照した値の内、規定の数値範囲から逸脱した値を抽出し、抽出した値の合算値に基づいて前記第２画像のぶれの度合いを推定する
    ことを特徴とするぶれ補正方法。
14. 撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された１枚以上の第２画像と、に基づいて補正するぶれ補正処理ステップと、
    前記第１画像の撮影パラメータに基づいて、前記ぶれ補正処理ステップによる補正の実行可否又は該補正に用いる前記第２画像の枚数を制御する制御ステップと、を備え、
    前記制御ステップは、
    前記第１画像の撮影パラメータに基づいて前記第２画像の撮影可否を判定して前記撮影手段を制御する第２画像撮影制御ステップと、
    前記第２画像の撮影可否の判定結果に従って、前記ぶれ補正処理ステップによる補正の実行可否を制御する補正制御ステップと、を備える
    ことを特徴とするぶれ補正方法。
15. 撮影によって得た第１画像のぶれを、前記第１画像と、前記第１画像の撮影時における露光時間よりも短い露光時間にて撮影された第２画像と、に基づいて補正するぶれ補正処理ステップと、
    前記ぶれ補正処理ステップによる補正の実行可否を制御する制御ステップと、を備え、
    前記ぶれ補正処理ステップは、前記第１画像と、前記第２画像と、前記第２画像のノイズを低減することによって得られた第３画像とを合成することにより、前記第１画像のぶれが補正されたぶれ補正画像を生成する
    ことを特徴とするぶれ補正方法。