JP4958806B2 - ぶれ検出装置、ぶれ補正装置及び撮像装置 - Google Patents

Description

本発明は、手ぶれ等に由来する静止画像のぶれを検出するぶれ検出装置、及び、そのぶれを補正するぶれ補正装置に関する。また、本発明は、ぶれ検出機能を備えた撮像装置に関する。

手ぶれ補正技術は、手ぶれに由来する画像のぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。

手ぶれ補正の方法として、補正対象画像のぶれを画像処理によって補正するための手ぶれ情報を撮影時に記録しておき、画像再生時などに、その手ぶれ情報を読み出して補正対象画像のぶれを補正する方法が提案されている。例えば、補正対象画像の露光期間中における撮像装置の筐体の角速度を角速度センサにて計測しておき、角速度センサの出力データを補正対象画像の画像データと共に記録媒体に記録しておく。そして、画像再生時などにおいて、記録された角速度センサの出力データから、補正対象画像の点広がり関数（Point Spread Function；ＰＳＦ）を求めて画像復元処理によってぶれ補正画像を生成する（下記特許文献１及び２参照）。

理想的な点像が撮像装置のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。ＰＳＦは行列で表現されており、そのＰＳＦの逆行列の各要素を各フィルタ係数として有する画像復元フィルタを用いて補正対象画像をフィルタリングすれば、ぶれのない画像が復元される。図３３に、手ぶれの軌跡と行列表現されたＰＳＦと画像復元フィルタの関係を示すと共に補正対象画像としての手ぶれ画像から復元画像が生成される様子を示す。尚、ＰＳＦの図示において、斜線が付された部分は重み付けがなされた行列要素を表している。

また、角速度センサ等の手ぶれ検出センサを用いることなく、撮像素子の出力信号のみに基づいて補正対象画像のぶれを除去する方法も提案されている。例えば、補正対象画像としての主画像の撮影前後に主画像のぶれ補正用の副画像を撮影し、副画像の画像データを主画像の画像データと共に記録しておく。そして、画像再生時などにおいて、その副画像の画像データから主画像のぶれの状態を推定して主画像のぶれを補正する（下記特許文献３参照）。

上述の如く、角速度センサ等の手ぶれ検出センサを用いるか否かに関わらず、補正対象画像の撮影後に画像処理によってぶれ補正を行うためには、そのぶれを行うための補正用情報（上述の従来例においては、角速度センサの出力データ又は副画像の画像データ）を記録媒体に記録しておく必要がある。一方において、記録媒体の記録容量は有限であるため、補正用情報のデータサイズは小ければ小さいほどよいことは自明である。

尚、１枚の手ぶれ画像（補正対象画像）から、撮影中の手ぶれを表す手ぶれ情報（ＰＳＦ）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像を画像処理によって生成する方式も提案されている。この種の方式の中で、フーリエ反復法を用いた方式が下記非特許文献１に開示されている。図３４にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像とＰＳＦの修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、ランダム画像または手ぶれ画像としての劣化画像が用いられる。

上述のフーリエ反復法を用いれば、補正対象画像の画像データのみから補正対象画像のぶれを除去することも可能ではある。しかし、フーリエ反復法は非線形最適化手法であり、適当な復元画像を得るためには多くの反復回数が必要となる。つまり、手ぶれ検出及び補正に必要な処理時間が非常に長くなってしまう。このため、デジタルスチルカメラ等での実用化が難しく、補正対象画像の画像データ以外の補正用情報を記録して利用することが現実的である。

特開２００６−１２９２３６号公報 特開２００４−８８５６７号公報 特開２００１−３４６０９３号公報 G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549

そこで本発明は、補正対象画像のぶれを補正するための補正用情報のデータサイズ低減に寄与する、ぶれ検出装置、ぶれ補正装置及び撮像装置を提供することを目的とする。

本発明に係るぶれ検出装置は、撮影によって撮像装置にて得られた静止画像である補正対象画像のぶれを画像処理によって補正するための補正用情報を記録手段に記録する記録制御手段を備えたぶれ検出装置において、前記記録制御手段は、複数種類の補正用情報を生成可能であり、前記補正対象画像の露光期間中における前記撮像装置の動きに応じて、前記記録手段に記録する前記補正用情報の種類を選択することを特徴とする。

例えば、補正対象画像の露光期間中における撮像装置の動きが小さい場合や該動きを単純な運動にて近似できる場合、補正用情報を簡略化しても、実用上問題ない程度のぶれ補正効果を得ることができる。これを考慮し、複数種類の補正用情報（或る種類の補正用情報のデータサイズは比較的大きく、他の種類の補正用情報のデータサイズは比較的小さい）を生成可能としておき、撮像装置の動きに応じて記録媒体に記録する補正用情報の種類を選択する。これにより、補正用情報のデータサイズを低減することが可能となる。

具体的には例えば、前記ぶれ検出装置は、前記補正対象画像の露光期間中における前記撮像装置の動きの大きさを推定する装置動き推定手段を更に備え、前記記録制御手段は、推定された前記大きさに基づいて、前記記録手段に記録する前記補正用情報の種類を選択する。

より具体的には例えば、前記記録制御手段は、推定された前記大きさが、比較的大きな大きさが属すべき第１範囲及び比較的小さな大きさが属すべき第２範囲の何れかに属するか否かを判断し、推定された前記大きさが前記第１範囲に属する場合と前記第２範囲に属する場合とで異なる種類の補正用情報を生成し、推定された前記大きさが前記第２範囲に属するとき、前記補正対象画像の補正方法を示す情報を前記補正用情報として前記記録媒体に記録する。

そして例えば、前記記録制御手段は、推定された前記大きさが前記第１範囲に属するとき、前記補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の一部又は全部の画像データを、前記補正用情報として前記記録媒体に記録する。

また具体的には例えば、前記装置動き推定手段は、前記補正対象画像の撮影条件に基づいて前記大きさを推定する。

補正対象画像の撮影条件は補正対象画像の撮影前（又は撮影時）に定まる。このため、補正対象画像の撮影条件から補正対象画像の露光期間中における撮像装置の動きの大きさを推定するようにすれば、推定が短時間で完了する。結果、補正対象画像となるべき静止画像の連続撮影性能の低下を回避或いは抑制することができる。

或いは具体的には例えば、前記装置動き推定手段は、前記補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像のエッジ強度と前記補正対象画像のエッジ強度とに基づいて、前記大きさを推定する。

これによっても、推定を比較的短時間で完了することができ、補正対象画像となるべき静止画像の連続撮影性能の低下を回避或いは抑制することができる。

また例えば、前記装置動き推定手段は、前記撮像装置にて撮影された時系列で並ぶ複数の静止画像の夫々を補正対象画像として取り扱って各補正対象画像の露光期間中における前記撮像装置の動きの大きさを推定し、着目した補正対象画像に対して推定されるべき前記大きさを、前記着目した補正対象画像の過去の補正対象画像の画像データ、及び、前記過去の補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記過去の補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の画像データ、をも用いて推定する。

また例えば、前記装置動き推定手段は、前記補正対象画像の撮影前に撮影された画像列に着目し、前記画像列を形成する時間的に隣接する画像間の動きベクトルの大きさが一定値以下となる状態が所定時間継続して観測されたとき、その動きベクトル、前記画像列の撮影時おけるフレームレート及び前記補正対象画像の露光期間の長さに基づいて、前記補正対象画像の露光期間中における前記撮像装置の動きの大きさを推定する。

補正対象画像の撮影前に撮影された画像列から補正対象画像の露光期間中における撮像装置の動きの大きさを推定するようにすれば、推定を補正対象画像の撮影前又はその近傍時点で完了することができる。結果、補正対象画像となるべき静止画像の連続撮影性能の低下を回避或いは抑制することができる。

また例えば、前記記録制御手段は、前記補正対象画像のぶれが予め規定された類型ぶれに属するか否かを前記撮像装置の動きを計測するセンサの出力信号に基づいて判断し、その判断結果に基づいて、前記記録手段に記録する前記補正用情報の種類を選択する。

補正対象画像の露光期間中における撮像装置の動きが比較的単純であって、補正対象画像のぶれが予め規定された類型ぶれ（例えば、直線的且つ等速的なぶれ）にて近似できる場合、補正用情報を簡略化しても、実用上問題ない程度のぶれ補正効果を得ることができる。これを考慮し、複数種類の補正用情報（或る種類の補正用情報のデータサイズは比較的大きく、他の種類の補正用情報のデータサイズは比較的小さい）を生成可能としておき、補正対象画像のぶれが類型ぶれに属するか否かに応じて、記録媒体に記録する補正用情報の種類を選択する。これにより、補正用情報のデータサイズを低減することが可能となる。

より具体的には例えば、前記記録制御手段は、前記補正対象画像のぶれが前記類型ぶれに属すると判断したとき、前記類型ぶれの軌跡形状及び該軌跡を描く速度状態を表す数式データを前記補正用情報として前記記録手段に記録する一方、前記補正対象画像のぶれが前記類型ぶれに属さないと判断したとき、前記補正対象画像の露光期間中における前記センサの出力信号を表すデータを前記補正用情報として前記記録手段に記録する。

本発明に係るぶれ補正装置は、前記ぶれ検出装置と、前記記録手段に記録された前記補正用情報に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えたことを特徴とする。

本発明に係る撮像装置は、前記ぶれ検出装置を備え、撮影によって画像を取得することを特徴とする。

本発明によれば、補正対象画像のぶれを補正するための補正用情報のデータサイズ低減に寄与する、ぶれ検出装置、ぶれ補正装置及び撮像装置を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの駆動制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。また、主制御部１３は、撮像素子３３の露光時間を制御するための露光時間制御信号を撮像部１１に出力する。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画像の撮影及び記録を指示するためのボタンである。シャッタボタン１７ａを押下することによって静止画像の撮影及び記録が指示される。

撮像装置１の動作モードには、静止画像または動画像の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画像または動画像を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。

撮影画像は、手ぶれに起因するぶれを含みうる。主制御部１３にはぶれ補正処理を実行するぶれ補正部（ぶれ補正装置）が内在されており、画像処理によって静止画像のぶれを補正する機能を備える。以下、ぶれ補正部によってぶれが補正されるべき静止画像としての撮影画像を、特に「補正対象画像」と呼び、そのぶれの補正後の画像を「ぶれ補正画像」と呼ぶ。

撮影モードにおいてシャッタボタン１７ａを押下することによって、補正対象画像を撮影するための露光が行われて補正対象画像を表す信号が撮像素子３３から出力される。補正対象画像を含む１枚又は複数枚の撮影画像の露光が行われる期間を実撮影期間と呼ぶ。撮影モードにおいて、撮像部１１は所定のフレーム周期（例えば、１／３０秒）にて順次撮影を行っており、実撮影期間以外の期間（以下、プレビュー期間という）中の撮影によって得られる各撮影画像をプレビュー画像と呼ぶ。次々と得られるプレビュー画像は、順次、表示部１５上で更新表示される。

図３に、撮影モードにおける、プレビュー期間と実撮影期間との時間的関係を示す。プレビュー期間中における周期的な撮影によってプレビュー画像列を取得している状態において、シャッタボタン１７ａが押下されるとプレビュー期間から実撮影期間に移行し、その期間中に補正対象画像の露光が実施される。補正対象画像の露光を含む必要な露光が完了すると、実撮影期間から再度プレビュー期間に戻る。以後、シャッタボタン１７ａが押下される度に、上述と同様にして、プレビュー期間から実撮影期間への遷移と実撮影期間からプレビュー期間への遷移が生じる。

図４に、撮像装置１の一部ブロック図を示す。主制御部１３は、補正対象画像の露光期間中に撮像装置１に作用した手ぶれ量を推定するための手ぶれ量推定部５１と、撮像素子３３の露光時間に対する制御を含む撮影制御を行う撮影制御部５２と、記録媒体１６に記録されるべきデータを生成して該データを記録媒体１６に記録させる記録制御部５３と、記録媒体１６の記録データを受け取って補正対象画像に対するぶれ補正処理を実行する補正処理部５４と、を備える。

尚、本明細書では、画像を表すデータを画像データと呼び、或る画像の画像データに対して何らかの処理（記録、保存、読み出し等）を行うことを説明する文章において、記述の簡略化上、画像データの記述を省略することがある。例えば、静止画像の画像データの記録という表現と、静止画像の記録という表現は同義である。また、本明細書では、記号を記述することによって、その記号に対応する画像等の呼び名を簡略化することがある。例えば、通常露光画像Ｇ_Lと画像Ｇ_Lは同じものを指す。また、本明細書において、画像列とは、時系列で並ぶ複数の画像の集まりを指す。

以下、撮像装置１の動作（特にぶれ補正処理の動作）を詳細に説明する実施例として、第１〜第７実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。

［第１実施例］
まず、第２実施例以降に示される処理の基本動作を実現する実施例として、第１実施例を説明する。第１実施例にて説明される事項は、第２実施例以降の説明において適宜参照される。図５は、第１実施例に係る、撮像装置１の撮影動作及び補正動作の流れを表すフローチャートである。尚、第１実施例において、図４の手ぶれ量推定部５１は機能しない。

撮影モードにおいて実行されるステップＳ１〜Ｓ５の各処理内容を説明する。撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ１において、主制御部１３は、光学系３５内のレンズの位置及び既知情報等に基づいて撮像部１１の焦点距離ｆ_Dを表すデータを取得すると共に、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づいて撮像素子３３の露光量が適正となる露光時間Ｔ_EPを算出する。露光時間とは、或る静止画像を撮影するための露光期間の長さである。

この後、ステップＳ２において、撮像装置１は、通常露光撮影と短露光撮影を連続的に実行することにより通常露光画像及び短露光画像を取得する。短露光撮影は、通常露光撮影の露光時間よりも短い露光時間にて行われる撮影である。通常露光撮影の露光時間としてＴ_EPが用いられ、短露光撮影の露光時間として例えばＴ_EP／４が用いられる。撮影制御部５２が、露光時間Ｔ_EPに基づいて通常露光撮影及び短露光撮影用の露光時間制御信号を生成して撮像素子３３に与えることにより通常露光撮影及び短露光撮影が実行される。また、通常露光撮影と短露光撮影の実行時における撮像部１１の焦点距離はｆ_Dである。

通常露光画像は、通常露光撮影によって得られた静止画像としての撮影画像を意味し、短露光画像は、短露光撮影によって得られた静止画像としての撮影画像を意味する。ステップＳ２の通常露光撮影及び短露光撮影は実撮影期間中に行われ（図３参照）、短露光撮影は、通常露光画像の撮影直前又は直後に実行される。ここで得られた通常露光画像及び短露光画像をそれぞれ記号Ｇ_L及びＧ_Sで表す。通常露光画像Ｇ_L及び短露光画像Ｇ_Sの各画像データは図４の記録制御部５３に与えられる。通常露光画像Ｇ_Lと短露光画像Ｇ_Sの画像サイズ（即ち、水平方向及び垂直方向の画素数）は等しいものとする。

ステップＳ２の後、ステップＳ３において、記録制御部５３は、短露光画像Ｇ_Sの中から特徴的な小領域を抽出する。この抽出された小領域内の画像を小画像Ｇ_SAで表す。例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。

その後、ステップＳ４において、記録制御部５３は、通常露光画像Ｇ_L及び小画像Ｇ_SAの画像データをＪＰＥＧ（Joint Photographic Experts Group）の圧縮方式に従って圧縮する。以下、この圧縮をＪＰＥＧ圧縮という。このＪＰＥＧ圧縮によって画像サイズの変化は生じないものとする。通常露光画像Ｇ_L及び小画像Ｇ_SAに、この圧縮を施して得た画像をそれぞれ記号Ｊ_L及びＪ_SAにて表す。画像Ｇ_LとＪ_Lは圧縮の有無が異なるだけであるので、以下、画像Ｊ_Lも通常露光画像と呼ぶこともある。同様に、画像Ｊ_SAも、小画像又は短露光画像内の小画像などと呼ぶことがある。

そして、ステップＳ５において、記録制御部５３は、画像データを記録するための画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像Ｊ_Lの画像データを記録する一方で、その画像ファイルのヘッダ領域に短露光画像内の小画像Ｊ_SAの画像データを記録する。尚、この際、記録制御部５３は、小画像Ｊ_SAの位置を表す位置データ、焦点距離ｆ_Dを表すデータ及び露光時間Ｔ_EPを表すデータもヘッダ領域に記録する。位置データは、小画像Ｇ_SAの中心画素の、短露光画像Ｇ_S上における座標値を表す。画像Ｊ_SAの画像データは、ぶれ補正処理の実行時において通常露光画像Ｊ_Lのぶれを補正するために用いられる補正用情報であり、この補正用情報に上記位置データも含まれる。

例えば、画像ファイルは、Ｅｘｉｆ（Exchangeable image file format）のファイルフォーマットに準拠するように作成される。図６に、１つの画像ファイルの構造を示す。画像ファイルは、本体領域とヘッダ領域から形成されている。Ｅｘｉｆのファイルフォーマットに準拠する場合、ヘッダ領域はＥｘｉｆタグ又はＥｘｉｆ領域とも呼ばれる。尚、以下の説明おいて、特に記述なき限り、画像ファイルとは、記録媒体１６内に記録された画像ファイルを指す。

上述の撮影動作の後において、撮像装置１に補正指示が与えられると（或いは所定条件が満たされると）補正動作が実行される。第１実施例において、補正動作はステップＳ６〜Ｓ９の各処理から成る。補正指示は、例えば、ユーザによる操作部１７への所定操作によって撮像装置１に与えられる。但し、補正指示の有無に関係なく、補正動作を実行することも可能である。補正動作は再生モードにおいて実行される。但し、補正動作を撮影モードにて行うことも可能である。

ステップＳ６〜Ｓ９の各処理について説明する。撮像装置１に補正指示が与えられると、ステップＳ６において、補正処理部５４は、記録媒体１６から通常露光画像Ｊ_Lの画像データ及び短露光画像から抽出された小画像Ｊ_SAの画像データを読み出すと共に、小画像Ｊ_SAの位置データも記録媒体１６から読み出す。補正処理部５４は、通常露光画像Ｊ_Lを補正対象画像として取り扱う。

続くステップＳ７において、補正処理部５４は、通常露光画像Ｊ_L及び小画像Ｊ_SAの各画像データに基づき、通常露光画像Ｊ_Lに含まれるぶれの状態を表す手ぶれ情報を算出する。手ぶれ情報は、例えば、通常露光画像Ｊ_Lの劣化の状態を表す画像劣化関数であり、画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）が求められる。また、ここで得られる手ぶれ情報を記号Ｐ_Lにて表す。

そしてステップＳ８において、補正処理部５４は、ステップＳ７にて求められた手ぶれ情報Ｐ_Lに基づいて、通常露光画像Ｊ_Lに含まれるぶれを除去するための画像復元処理を通常露光画像Ｊ_Lに対して施し、これによって補正対象画像である通常露光画像Ｊ_Lからぶれ補正画像を生成する。通常露光画像Ｊ_L及び小画像Ｊ_SAの各画像データに基づく手ぶれ情報の算出方法例、並びに、その手ぶれ情報を利用した画像復元処理の方法例については、後述する（第７実施例参照）。

その後、ステップＳ９において、主制御部１３は、ステップＳ８にて生成されたぶれ補正画像の画像データを記録するための画像ファイルを新たに生成して、その画像ファイルを記録媒体１６に記録する。或いは、画像ファイルを新たに生成することなく、通常露光画像Ｊ_Lの画像データが上書きされるように、通常露光画像Ｊ_Lの画像データを記録していた画像ファイルの本体領域にぶれ補正画像の画像データを記録してもよい。また、ぶれ補正画像は、表示部１５に表示される。

通常露光画像よりも短露光画像の方がぶれは通常小さく、短露光画像のエッジ状態を目標に通常露光画像を補正すれば、通常露光画像のぶれは低減される。このため、上述の如く、シャッタボタン１７ａの押下に応じて通常露光画像と短露光画像を撮影する。この際、ステップＳ５において、短露光画像Ｇ_Sの全体画像をＪＰＥＧ圧縮して得た画像の全画像データを、補正用情報として、小画像Ｊ_SAの画像データの代わりに画像ファイルのヘッダ領域に記録することも可能ではある。この場合、ぶれ補正処理時において、記録された短露光画像の全体画像から小画像Ｊ_SAと同等の小画像をステップＳ３の処理を利用して抽出し、抽出した小画像を小画像Ｊ_SAとして取り扱ってステップＳ７の処理を実行することで手ぶれ情報Ｐ_Lを作成することができる。但し、そのようにすると、補正用情報を記録することによる、画像ファイルのサイズ増大量がかなり大きくなる。そこで、上述の如く、短露光画像の一部画像に相当する小画像（即ち、Ｊ_SA）の画像データを補正用情報として画像ファイルに記録する。これにより、画像ファイルのサイズの増大が抑制される。

しかしながら、小画像（即ち、Ｊ_SA）の画像データも十分に小さいとは言えない。補正用情報のサイズ増大は、所定の記録容量を有する記録媒体１６の記録可能画像枚数を減少させる。故に、画像ファイルのサイズ増大を更に抑制するための機能を設けておくことが望ましい。その機能をも実現する実施例を第２実施例以降に説明する。

尚、通常露光画像及び短露光画像の各画像データに基づく手ぶれ情報の作成を撮影時に実行する、といったことも考えられる。この場合、小画像の画像データを含む補正用情報を記録媒体１６に記録する必要はなく、例えば、作成された手ぶれ情報を画像ファイルのヘッダ領域に記録しておけばよい。手ぶれ情報のデータサイズは小画像（即ち、Ｊ_SA）のデータサイズよりも小さいため、撮影時に手ぶれ情報を作成する方法は、画像ファイルのサイズ増大抑制効果が大きい。

しかし、通常露光画像及び短露光画像の各画像データに基づいて手ぶれ情報を正確に算出するためには大きな処理時間が必要であり、仮に撮影時に手ぶれ情報の作成を行うようにすると、その作成処理の一部又は全部が完了するまでの比較的長い時間の間、次の静止画像撮影を実行することができなくなる。ぶれ検出及びぶれ補正のために、撮像装置の重要性能である連続撮影の性能を低下させることは望ましくない。故に、撮像装置１は、手ぶれ情報の算出を比較的長時間の処理が許されやすい期間（例えば、画像の再生時）に実行する。

［第２実施例］
第２実施例について説明する。図７は、第２実施例に係る、撮像装置１の撮影動作の流れを表すフローチャートである。第２実施例において実行される、図７に示すステップＳ１〜Ｓ５の各処理は、第１実施例で説明したそれらと同じであるため（図５参照）、第２実施例の説明ではステップＳ１〜Ｓ５の各処理内容の説明を簡略化する。

撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ１にて焦点距離ｆ_Dを表すデータが取得されると共に露光時間Ｔ_EPが算出され、その後、ステップＳ１１に移行する。第１実施例で述べたように、焦点距離ｆ_D及び露光時間Ｔ_EPは、補正対象画像となるべき通常露光画像Ｇ_Lの撮影時における焦点距離及び露光時間である。

ステップＳ１１において、図４の手ぶれ量推定部５１は、通常露光画像の露光期間中における撮像装置１の動きの大きさを推定する。撮像装置１の動き（即ち、実空間上における、撮像装置１の筐体の動き）は主として手ぶれによって引き起こされるが、撮像装置１の筐体が手で把持されておらず三脚などで固定されている場合でも地面の振動などに由来して撮像装置１は動きうる。撮像装置１が三脚で固定されている場合における撮像装置１の動きは手ぶれに由来するものではないが、撮像装置１が手ぶれに由来して動くことを主として想定し、通常露光画像の露光期間中における撮像装置１の動きの大きさを手ぶれ量と呼ぶ。従って、手ぶれ量推定部５１は、手ぶれ量を推定する。手ぶれ量は一次元量であり、通常露光画像の露光期間中における撮像装置１の動きの大きさ（例えば、その露光期間中における、撮像装置１のヨー方向の回転量）が大きい程、手ぶれ量は増大するものとする。ステップＳ１１で推定された手ぶれ量をＳ_Lで表す。手ぶれ量Ｓ_Lは、図４の記録制御部５３に与えられる。

手ぶれ量は、概ね、焦点距離と露光時間に比例する。そこで、手ぶれ量推定部５１は、ステップＳ１にて取得された焦点距離ｆ_D及び露光時間Ｔ_EPを用い、下記式（Ａ−１）に従って手ぶれ量Ｓ_Lを推定する。ここで、ｋ_ESTは変換係数である。変換係数ｋ_ESTの値を可変とすることも可能であるが、第１実施例では、変換係数ｋ_ESTの値は予め設定された固定値（例えば、０．７）であるとする。
Ｓ_L＝ｋ_EST×Ｔ_EP×ｆ_D ・・・（Ａ−１）

手ぶれ量Ｓ_Lが求められた後、ステップＳ１２及びＳ１３において、記録制御部５３は、その手ぶれ量Ｓ_Lと、所定の閾値ＴＨ₁〜ＴＨ₃との大小関係を判断する。ここで、０＜ＴＨ₁＜ＴＨ₂＜ＴＨ₃である（図８参照）。まず、ステップＳ１２において、第１不等式「Ｓ_L＜ＴＨ₁」又は第２不等式「Ｓ_L＞ＴＨ₃」が成立するかを判断し、前者の不等式が成立する場合は、補正対象画像となるべき通常露光画像のぶれ量が無視できる程度に小さくぶれ補正が不要であると判断してステップＳ１７に移行し、後者の不等式が成立する場合は、そのぶれ量が大きすぎてぶれ補正が困難であると判断し、この場合もステップＳ１７に移行する。

ステップＳ１７に移行した場合、実撮影期間において通常露光撮影のみを実行し、これによって得た通常露光画像Ｇ_LをステップＳ１８にてＪＰＥＧ圧縮して画像Ｊ_Lを生成し、この画像Ｊ_Lの画像データをステップＳ１９にて画像ファイルに記録して該画像ファイルを記録媒体１６に保存する。つまり、ステップＳ１７に移行した場合は、補正用情報は記録媒体１６に記録されない。

ステップＳ１２において、第１及び第２不等式の双方が不成立の場合、ステップＳ１３に移行して、第３不等式「Ｓ_L＜ＴＨ₂」が成立するか否かを判断する。この第３不等式が成立しない場合は、補正対象画像となるべき通常露光画像のぶれ量がある程度大きいため、通常露光画像と短露光画像に基づく画像復元処理を行うべきであると判断し、ステップＳ１３からステップＳ２に移行してステップＳ２〜Ｓ５の各処理を実行する。つまり、通常露光撮影と短露光撮影によって通常露光画像Ｇ_L及び短露光画像Ｇ_Sを取得し（ステップＳ２）、小領域抽出処理及びＪＰＥＧ圧縮（ステップＳ３及びＳ４）を介して得た通常露光画像Ｊ_L及び短露光画像内の小画像Ｊ_SAを画像ファイルに記録し、その画像ファイルを記録媒体１６に保存する（ステップＳ５）。

一方、ステップＳ１３において、第３不等式が成立する場合は、補正対象画像となるべき通常露光画像のぶれ量は軽微である。このような場合は、正確な手ぶれ情報を用いた画像復元処理ではなく、他の画像処理によってもぶれを補正することが可能である。例えば、通常露光画像にエッジ強調処理を行うことによっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することが可能である。そこで、ステップＳ１３において第３不等式「Ｓ_L＜ＴＨ₂」が成立する場合は、ステップＳ１３からステップＳ１４に移行し、ステップＳ１４、Ｓ１５及びＳ１６の処理を実行する。

即ち、ステップＳ１４において、撮像装置１は実撮影期間中に通常露光撮影のみを実行する。続くステップＳ１５において 記録制御部５３は、ステップＳ１４の通常露光撮影によって得られた通常露光画像Ｇ_Lの画像データをＪＰＥＧ圧縮して画像Ｊ_Lを生成する。その後、ステップＳ１６において、記録制御部５３は、画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像Ｊ_Lの画像データを記録する一方で、その画像ファイルのヘッダ領域にエッジ強調フラグを記録する。エッジ強調フラグは、ぶれ補正処理の実行時において参照される補正用情報であり、そのデータサイズは高々数バイトである。

ステップＳ１３にて成される分岐判断から理解されるように、エッジ強調処理を行って得られるべきぶれ補正画像と、通常露光画像と短露光画像に基づく画像復元処理を行って得られるべきぶれ補正画像とを対比した場合において、両画像間に視覚的な差がある程度生じるような場合にステップＳ１３からステップＳ２に移行するように且つ視覚的な差が殆ど生じないような場合にステップＳ１３からステップＳ１４に移行するように、閾値ＴＨ₂を実験を介して設定しておくとよい。

ステップＳ５、Ｓ１６又はＳ１９の記録処理を終えると、１枚の通常露光画像を得るための動作を終了する。再度、シャッタボタン１７ａが押下されると、上述したステップＳ１以降の動作が実行される。尚、ステップＳ５、Ｓ１６及びＳ１９において、画像Ｊ_Lの画像データが記録されるべき画像ファイルのヘッダ領域には、焦点距離ｆ_D及び露光時間Ｔ_EPを表すデータも記録される。

次に、補正動作について説明する。図９は、第２実施例に係る、撮像装置１の補正動作の流れを表すフローチャートである。第２実施例において実行される、図９に示すステップＳ７〜Ｓ９の各処理は、第１実施例で説明したそれらと同じであるため（図５参照）、第２実施例の説明ではステップＳ７〜Ｓ９の各処理内容の説明を簡略化する。

図７に示す撮影動作の後、撮像装置１に補正指示が与えられると（或いは所定条件が満たされると）、ステップＳ２１以降の補正動作が実行される。ステップＳ２１において、補正処理部５４は、記録媒体１６から通常露光画像Ｊ_Lの画像データを読み出す。補正処理部５４は、通常露光画像Ｊ_Lを補正対象画像として取り扱う。

次に、ステップＳ２２において、補正処理部５４は、通常露光画像Ｊ_Lが記録されている画像ファイルのヘッダ領域に短露光画像に基づく画像データ、即ち小画像Ｊ_SAの画像データが存在しているか否かを確認する。そして、小画像Ｊ_SAの画像データが存在している場合は、ステップＳ２２からステップＳ２３に移行し、該小画像Ｊ_SAの画像データを記録媒体１６内の画像ファイルから読み出して、その後ステップＳ７〜Ｓ９の処理を実行する。即ち、ステップＳ２１及びＳ２３にて読み出した画像Ｊ_L及びＪ_SAの画像データに基づいて画像Ｊ_Lの手ぶれ情報Ｐ_Lを算出し（ステップＳ７）、手ぶれ情報Ｐ_Lに基づく画像復元処理を補正対象画像である画像Ｊ_Lに施すことによってぶれ補正画像を生成して（ステップＳ８）、それを画像ファイルに記録する（ステップＳ９）。

一方、通常露光画像Ｊ_Lが記録されている画像ファイルのヘッダ領域に小画像Ｊ_SAの画像データが存在していない場合は、ステップＳ２２からステップＳ２４に移行し、補正処理部５４は、そのヘッダ領域内にエッジ強調フラグが存在しているか否かを確認する。エッジ強調フラグが存在していない場合は、通常露光画像Ｊ_Lに対するぶれ補正処理を実行することなく図９に示す補正動作を終了する一方、エッジ強調フラグが存在している場合はステップＳ２４からステップＳ２５に移行して、ステップＳ２５及びＳ２６の各処理を実行する。

ステップＳ２５において、補正処理部５４は、補正対象画像である通常露光画像Ｊ_Lに、通常露光画像Ｊ_L内のエッジを強調するためのエッジ強調処理を施し、エッジ強調処理後の通常露光画像Ｊ_Lをぶれ補正画像として生成する。

例えば、所定のフィルタサイズを有する予め設定された鮮鋭化フィルタを用いて通常露光画像Ｊ_Lの全体を空間フィルタリングすることにより、エッジ強調処理後の通常露光画像Ｊ_Lを生成する。或いは、アンシャープマスクフィルタを用いたフィルタリングによってステップＳ２５のエッジ強調処理を実現しても良い。アンシャープマスクフィルタを用いたフィルタリングは、アンシャープマスキングとも呼ばれる。アンシャープマスキングでは、入力画像（今の例おいて、通常露光画像Ｊ_L）を平滑化して平滑化画像を生成した後、その平滑化画像と入力画像との差分画像を生成する。そして、その差分画像の各画素値と入力画像の各画素値を足し合わせるように差分画像と入力画像を合成することで出力画像（今の例において、ぶれ補正画像）を生成する。

ステップＳ２５に続くステップＳ２６における処理はステップＳ９のそれと同じである。但し、ステップＳ２６において記録されるべきぶれ補正画像は、ステップＳ２５にて生成されたぶれ補正画像である。

上述の如く、通常露光画像にエッジ強調処理を行うことによっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することができると判断される場合には、補正用情報を簡略化して、通常露光画像（補正対象画像）のぶれを補正する方法を示す情報（本実施例において、エッジ強調フラグ）を補正用情報として記録媒体１６に記録しておく。これにより、ぶれ補正処理の視覚的な効果を殆ど減少させることなく、第１実施例と比べて補正用情報のデータサイズを大幅に低減することができる。

また、手ぶれ量を、通常露光画像の撮影前に得られる撮影条件（具体的にはｆ_D及びＴ_EP）を用いた極めて簡素な演算によって推定しているため、撮像装置の重要性能である連続撮影の性能を低下させることもない。

尚、上述の例におけるステップＳ２５では、固定的に設定された鮮鋭化フィルタを用いることなどによって一定のエッジ強調処理を通常露光画像Ｊ_Lに施すようにしているが、このエッジ強調処理におけるエッジ強調度合いを手ぶれ量Ｓ_Lに応じて変更するようにしてもよい。この場合は、例えば、図７のステップＳ１６において、通常露光画像Ｊ_Lが記録されるべき画像ファイルのヘッダ領域にエッジ強調フラグと共に手ぶれ量Ｓ_Lを表すデータを記録しておくようにする。そして、図９のステップＳ２５におけるエッジ強調処理のエッジ強調度合いを、その記録された手ぶれ量Ｓ_Lを表すデータに応じて変更するとよい。

また、通常露光画像と短露光画像に基づく画像復元処理を行うことを想定した場合において、手ぶれ量が比較的小さいときは、その小さな手ぶれを良好に検出するべく、手ぶれ情報としてのＰＳＦを精度良く求める必要がある。一方において、手ぶれ量が比較的大きいときは、通常露光画像にかなりのぼけが含まれることとなるため、ＰＳＦの算出精度はそれ程高くなくても実用上問題は少ない。これを考慮し、図７のステップＳ４の、小画像Ｇ_SAに対するＪＰＥＧ圧縮の圧縮率を、手ぶれ量Ｓ_Lが増加するに従って増加させるようにしてもよい。これにより、補正用情報のデータサイズを更に低減することができる。

具体的には例えば、ステップＳ４において不等式「ＴＨ₁≦Ｓ_L＜ＴＨ₄」が満たされるか否かを判断し、それが満たされる場合は、画像Ｇ_SAから画像Ｊ_SAを生成する際におけるＪＰＥＧ圧縮の圧縮率を第１圧縮率とする一方、それが満たされない場合は、その圧縮率を、第１圧縮率よりも大きな第２圧縮率とする。ここで、ＴＨ₄は「ＴＨ₁＜ＴＨ₄＜ＴＨ₂」を満たす所定の閾値である（図８参照）。この例では、圧縮率を２段階に可変設定しているが、圧縮率を３段階以上に可変設定してもよい。

［第３実施例］
第３実施例について説明する。手ぶれ量が小さいとき、ＰＳＦの形状は点に近づくため、ＰＳＦは方向性のないガウスぼけ（即ち、ガウシアンフィルタを用いた平滑化によるぼけ）を表す画像劣化関数に近似できる。実際、手ぶれ量が小さいときには、ガウスぼけによる近似ＰＳＦを用いた画像復元処理によっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することができる。そこで、第３実施例では、推定された手ぶれ量Ｓ_Lが閾値ＴＨ₁以上であって且つ閾値ＴＨ₂未満である時、エッジ強調処理の代わりに、ガウスぼけによる近似ＰＳＦを用いた画像復元処理をぶれ補正処理として用いる。

第３実施例は、第２実施例に示した動作の一部を変形した実施例に相当し、第３実施例の説明文において特に記述しない内容は第２実施例にて示したものと同じである。以下、第２実施例との相違点を説明する。図７及び図９を参照する。

図７に示す撮影動作時において、不等式「ＴＨ₁≦Ｓ_L＜ＴＨ₂」が成立することによってステップＳ１３からステップＳ１４に移行し、ステップＳ１５を介してステップＳ１６に至った場合、ステップＳ１６において、記録制御部５３は、画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像Ｊ_Lの画像データを記録する一方で、その画像ファイルのヘッダ領域にガウス近似フラグとステップＳ１１で推定された手ぶれ量Ｓ_Lを記録する。ガウス近似フラグ及び手ぶれ量Ｓ_Lは、ぶれ補正処理の実行時において参照される補正用情報であり、そのデータサイズは高々数バイトである。

その後、図９に示す補正動作時において、ステップＳ２２からステップＳ２４に至った場合、補正処理部５４は、通常露光画像Ｊ_Lが記録されている画像ファイルのヘッダ領域にガウス近似フラグが存在しているか否かを確認する。ガウス近似フラグが存在していない場合は、通常露光画像Ｊ_Lに対するぶれ補正処理を実行することなく図９に示す補正動作を終了する一方、ガウス近似フラグが存在している場合はステップＳ２４からステップＳ２５に移行して、ガウスぼけによる近似ＰＳＦを用いた画像復元処理を通常露光画像Ｊ_Lに対して行ってぶれ補正画像を生成し、生成したぶれ補正画像を記録媒体１６に記録する。

実空間上で静止している点を「実静止点」と呼ぶ。手ぶれ量Ｓ_Lは、理想的な点像（即ち、実静止点の像）が、補正対象画像としての通常露光画像の露光期間中に撮像素子３３の撮像面上で移動する軌跡の大きさの推定量を表しており、その推定量は、通常露光画像の隣接画素間隔を単位として求められる。第３実施例に係るステップＳ２５では、補正処理部５４が、通常露光画像Ｊ_Lが記録されている画像ファイルのヘッダ領域から手ぶれ量Ｓ_Lを読み出し、読み出した手ぶれ量Ｓ_Lに応じたタップ数を有するガウシアンフィルタをガウスぼけによる近似ＰＳＦとして採用する。例えば、手ぶれ量Ｓ_Lの大きさが通常露光画像の３画素分である場合は、３×３のフィルタサイズを有するガウシアンフィルタをガウスぼけによる近似ＰＳＦとして採用し、手ぶれ量Ｓ_Lの大きさが通常露光画像の５画素分である場合は、５×５のフィルタサイズを有するガウシアンフィルタをガウスぼけによる近似ＰＳＦとして採用する。尚、ガウシアンフィルタにおける分散は、予め定めておけばよい。

その後、補正処理部５４は、近似ＰＳＦの逆関数（一般逆行列）に相当する画像復元関数を求める。画像復元関数は、単一の画像復元フィルタとして表現され、近似ＰＳＦを表す行列の一般逆行列の各要素が該画像復元フィルタの各フィルタ係数とされる。補正処理部５４は、この画像復元フィルタを用いた空間フィルタリングを補正対象画像（即ち、通常露光画像Ｊ_L）の全体に対して施すことで、補正対象画像に含まれるぶれが低減されたぶれ補正画像を生成する。

ステップＳ１３にて成される分岐判断から理解されるように、ガウスぼけによる近似ＰＳＦを用いた画像復元処理を行って得られるべきぶれ補正画像と、通常露光画像と短露光画像に基づく画像復元処理を行って得られるべきぶれ補正画像とを対比した場合において、両画像間に視覚的な差がある程度生じるような場合にステップＳ１３からステップＳ２に移行するように且つ視覚的な差が殆ど生じないような場合にステップＳ１３からステップＳ１４に移行するように、閾値ＴＨ₂を実験を介して設定しておくとよい。

そして、上述の如く、ガウスぼけによる近似ＰＳＦを用いた画像復元処理を行うことによっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することができると判断される場合には、補正用情報を簡略化して、通常露光画像（補正対象画像）のぶれを補正する方法を示す情報（本実施例において、ガウス近似フラグ）を補正用情報として記録媒体１６に記録しておく。これにより、ぶれ補正処理の視覚的な効果を殆ど減少させることなく、第１実施例と比べて補正用情報のデータサイズを大幅に低減することができる。

［第４実施例］
第４実施例について説明する。図１０は、第４実施例に係る、撮像装置１の撮影動作の流れを表すフローチャートである。第４実施例において実行される、図１０に示すステップＳ１〜Ｓ５、Ｓ１２、Ｓ１３、Ｓ１５、Ｓ１６、Ｓ１８及びＳ１９の各処理は、第２実施例におけるそれらと同じであるため（図７参照）、第４実施例の説明では、それらの各処理内容の説明を簡略化する。また、第４実施例に係る撮像装置１の補正動作は、第２実施例におけるそれと同じである。

第４実施例における手ぶれ量Ｓ_Lの推定方法は、第２実施例におけるそれと異なる。この相違点に着目し、図１０を参照して撮像装置１の撮影動作を説明する。

撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ１にて焦点距離ｆ_Dを表すデータが取得されると共に露光時間Ｔ_EPが算出される。その後、ステップＳ２に移行し、撮像装置１は、通常露光撮影と短露光撮影を連続的に実行することにより通常露光画像Ｇ_L及び短露光画像Ｇ_Sを取得する。通常露光画像Ｇ_L及び短露光画像Ｇ_Sが取得された後、ステップＳ３０に移行する。ステップＳ３０において、手ぶれ量推定部５１は、通常露光画像Ｇ_L及び短露光画像Ｇ_Sの画像データに基づいて手ぶれ量Ｓ_Lを推定する。

図１１に、ステップＳ３０の処理の詳細フローチャートを示す。ステップＳ３０では、図４の手ぶれ量推定部５１がステップＳ３１〜Ｓ３５の処理を順次実行する。まず、手ぶれ量推定部５１は、通常露光画像Ｇ_Lの中央に位置する小領域を抽出して該小領域内の画像を小画像Ｇ_LBとし、且つ、短露光画像Ｇ_Sの中央に位置する小領域を抽出して該小領域内の画像を小画像Ｇ_SBとする。小画像Ｇ_LB及びＧ_SBは、例えば、１２８×１２８の画像サイズを有する。尚、ここでは演算の簡素化を目的として通常露光画像Ｇ_L及び短露光画像Ｇ_Sの夫々から中央小領域を抽出するようにしているが、ハリスのコーナ検出器等を用いて、それらから特徴的な小領域を抽出するようにしてもよい。

次にステップＳ３２において、小画像Ｇ_LBを基準にして小画像Ｇ_SBの輝度レベルを増加させる。即ち、小画像Ｇ_SBの輝度レベルが小画像Ｇ_LBの輝度レベルと等しくなるように（小画像Ｇ_SBの平均輝度と小画像Ｇ_LBの平均輝度が等しくなるように）、小画像Ｇ_SBの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。この輝度正規化処理後の小画像Ｇ_SBを小画像Ｇ_SB’と呼ぶ。

続くステップＳ３３において、小画像Ｇ_LB及びＧ_SB’の夫々に対してエッジ抽出処理を施すことで、小画像Ｇ_LBのエッジ抽出画像Ｅ_LB及び小画像Ｇ_SB’のエッジ抽出画像Ｅ_SB’を得る。例えば、小画像Ｇ_LBの各画素に対して任意のエッジ検出フィルタ（ラプラシアンフィルタ等）を適用すれば、エッジ検出フィルタの出力値からエッジ抽出画像Ｅ_LBが得られる。小画像Ｇ_SB’についても同様である。

その後、ステップＳ３４において、エッジ抽出画像Ｅ_LBの画素値の総和Ｖ_L及びエッジ抽出画像Ｅ_SB’の画素値の総和Ｖ_Sを算出し、ステップＳ３５において、下記式（Ａ−２）に従って、図１０のステップＳ３０にて推定されるべき手ぶれ量Ｓ_Lを算出する。変換係数ｋ_ESTは、第２実施例の説明文で述べたものと同じものである。
Ｓ_L＝ｋ_EST×（Ｖ_S／Ｖ_L） ・・・（Ａ−２）

周知の如く、エッジ抽出画像における各画素値は、エッジ抽出元画像（今の例において、小画像Ｇ_LB又はＧ_SB’）における対応部位のエッジ強度を表している。短露光画像におけるエッジが十分に鮮明であると考えた場合、短露光画像のエッジ強度に応じた値Ｖ_Sと通常露光画像のエッジ強度に応じた値Ｖ_Lとの比から、通常露光画像の手ぶれ量Ｓ_Lを推定可能である。

ステップＳ３０にて手ぶれ量Ｓ_Lが推定された後、ステップＳ１２及びＳ１３にて、記録制御部５３は、その手ぶれ量Ｓ_Lと所定の閾値ＴＨ₁〜ＴＨ₃との大小関係を判断する。そして、不等式「Ｓ_L＜ＴＨ₁」又は「Ｓ_L＞ＴＨ₃」が成立する場合は、ステップＳ１８及びＳ１９の処理を行って撮影動作を終了する。また、不等式「ＴＨ₁≦Ｓ_L＜ＴＨ₂」が成立する場合はステップＳ１５及びＳ１６の処理を行って撮影動作を終了する。また、不等式「ＴＨ₂≦Ｓ_L≦ＴＨ₃」が成立する場合はステップＳ３〜Ｓ５の処理を行って撮影動作を終了する。

図７に対応する第２実施例では、手ぶれ量Ｓ_Lが推定された後において、不等式「Ｓ_L＜ＴＨ₁」又は不等式「Ｓ_L＞ＴＨ₃」が成立する場合はステップＳ１７〜Ｓ１９の処理を行い、不等式「ＴＨ₁≦Ｓ_L＜ＴＨ₂」が成立する場合はステップＳ１４〜Ｓ１６の処理を行い、不等式「ＴＨ₂≦Ｓ_L≦ＴＨ₃」が成立する場合はステップＳ２〜Ｓ５の処理を行っていたが、第４実施例では、手ぶれ量Ｓ_Lの推定前に通常露光画像Ｇ_L及び短露光画像Ｇ_Sが取得されているため、手ぶれ量Ｓ_Lの推定後においてステップＳ１７、Ｓ１４及びＳ２の処理を実行する必要はない。

本実施例によっても、ぶれ補正処理の視覚的な効果を殆ど減少させることなく、第１実施例と比べて補正用情報のデータサイズを大幅に低減することができる。また、手ぶれ量を、通常露光画像及び短露光画像の画像データに基づく簡素な演算によって推定しているため、この推定を行ったことによる、連続撮影性能の低下はない（或いは軽微である）。

尚、本実施例に示す内容と第３実施例に示す内容を組み合わせることも可能である。

［第５実施例］
第５実施例を説明する。第２〜第４実施例では手ぶれ量Ｓ_Lを推定するための変換係数ｋ_ESTを固定値としている。しかし、実際の手ぶれ量は、撮像装置１を把持するユーザが異なれば若干異なる。そこで、焦点距離及び露光時間に基づく推定方法と比べて、より推定精度が高いと思われる推定方法を用いて手ぶれ量を別途推定し、その別途推定した手ぶれ量を用いて変換係数ｋ_ESTを更新（換言すれば、補正）することが望ましい。

この変換係数ｋ_ESTの更新方法を、第２実施例に示す動作に当てはめて説明する。勿論、第５実施例で述べる変換係数ｋ_ESTの更新方法を、第３又は第４実施例に適用することも可能である。

図４の手ぶれ量推定部５１は、手ぶれ量Ｓ_Lと異なる手ぶれ量Ｓ_L2を、通常露光画像と短露光画像に基づく手ぶれ情報Ｐ_Lから別途推定する。手ぶれ情報Ｐ_LはＰＳＦである。手ぶれ情報Ｐ_LとしてのＰＳＦを表す行列において、０以外の値を有する要素を繋ぎ合わせた線は、理想的な点像（即ち、実静止点の像）が通常露光画像の露光期間中に撮像素子３３の撮像面上で移動する軌跡を表している。図１２に示される、符号２００が付された曲線は、その軌跡を通常露光画像上に表現したものである。図１３に、その軌跡２００に対応する、行列表現されたＰＳＦを示す。図１３のＰＳＦにおいて、斜線で満たされた部位は０以外の値を有する行列要素を表している。

手ぶれ量推定部５１は、この軌跡２００から手ぶれ量Ｓ_L2を推定する。具体的には、軌跡２００の始点２０１と終点２０２との間の距離を手ぶれ量Ｓ_L2として求める。この距離は、通常露光画像上における距離である。

補正対象画像としての通常露光画像はシャッタボタン１７ａの押下の度に得られ、シャッタボタン１７ａを複数回押下することによって、図１４に示す如く、時系列で並ぶ、・・・（ｐ−２）番目、（ｐ−１）番目、ｐ番目の通常露光画像が得られる（ｐは３以上の整数）。手ぶれ量推定部５１は、（ｐ−１）番目以前の通常露光画像に対して求められた手ぶれ量Ｓ_L2を用いて変換係数ｋ_ESTを更新し、その更新後の変換係数ｋ_ESTを用いて、ｐ番目の通常露光画像に対する手ぶれ量Ｓ_Lを推定する。

典型的な例として、変換係数ｋ_ESTの更新処理を補正動作時において実行する例を説明する。この場合、図９のステップＳ７にて（ｐ−１）番目の通常露光画像に対する手ぶれ情報Ｐ_Lが求められた後、手ぶれ量推定部５１は、（ｐ−１）番目の通常露光画像に対する手ぶれ情報Ｐ_Lから求めた手ぶれ量Ｓ_L2と（ｐ−１）番目の通常露光画像の撮影時における露光時間Ｔ_EP及び焦点距離ｆ_Dとに基づき、下記式（Ａ−３）に従って更新用係数ｋ_tmpを算出する。
ｋ_tmp＝Ｓ_L2／（Ｔ_EP×ｆ_D） ・・・（Ａ−３）

そして、下記式（Ａ−４）に従って変換係数を更新し、更新後の変換係数をｐ番目の通常露光画像の手ぶれ量Ｓ_Lを推定する際における変換係数として用いる。式（Ａ−４）において、ｋ_ESTは更新前の変換係数、即ち（ｐ−１）番目の通常露光画像の手ぶれ量Ｓ_Lを推定する際における変換係数ｋ_ESTであり、ｋ_EST’は更新後の変換係数、即ちｐ番目の通常露光画像の手ぶれ量Ｓ_Lを推定する際における変換係数ｋ_ESTである。また、ｋ_Oは所定の減衰係数である（但し、０＜ｋ_O＜１）。
ｋ_EST’＝ｋ_O×ｋ_EST＋（１−ｋ_O）×ｋ_tmp ・・・（Ａ−４）

このように、変換係数ｋ_ESTを更新していくことにより、使用を重ねるたびに変換係数の値は特定ユーザの手ぶれに適した値へと徐々に更新されていくことになる。

尚、変換係数ｋ_ESTの値の更新が収束したと判断される場合には、以後、その更新を行わないようにしてもよい。例えば、式（Ａ−４）を用いて更新前の変換係数ｋ_ESTから更新後の変換係数ｋ_EST’を求めた後、両者の差分を求め、その差分が基準差分よりも小さい場合に、変換係数ｋ_ESTの値の更新が収束したと判断する。

また、変換係数ｋ_ESTの更新処理を第２実施例に示す動作に単純に当てはめた場合、図７のステップＳ１１からステップＳ１２及びＳ１３を介してステップＳ２に移行しなければ、短露光画像の撮影が行われないため変換係数ｋ_ESTを更新することができず、また、短露光画像の撮影が行われていたとしても、ぶれ補正画像を生成するための補正動作が実行されなければ変換係数ｋ_ESTは更新されないことになる。

これを考慮し、撮影モードにおいてシャッタボタン１７ａが押下されたならばステップＳ１１において推定された手ぶれ量Ｓ_Lに関わらず、通常露光画像Ｇ_Lと短露光画像Ｇ_Sの撮影を行ってそれらの画像データを一時的に内部メモリ１４（又は記録媒体１６）に記録しておくようにしてもよい。そして、撮像装置１における処理の負荷が軽い時に、一時的に記録された画像Ｇ_L及びＧ_Sの画像データから手ぶれ量Ｓ_L2を求めて、式（Ａ−３）及び（Ａ−４）に従って変換係数を更新するようにしてもよい。尚、変換係数を更新するための演算処理の途中で撮像装置１の駆動を停止させるための操作がなされた場合や、他のタスクでメモリが必要となる場合は、その演算処理を直ちに中止し、その演算処理で使用していたメモリを開放する。

また、撮影動作時に自動的にぶれ補正処理を実行するモード（以下、第１モードという）と、画像再生時にぶれ補正処理を実行するモード（以下、第２モードという）とを切替実行可能なように撮像装置１を形成しておき、第１モードでの動作時に得られる手ぶれ量Ｓ_L2を用いて変換係数ｋ_ESTを更新し、その更新後の変換係数ｋ_ESTを第２モードで利用するようにしてもよい。尚、図７及び図９に示す動作は、第２モードにおける動作の典型例である。

即ち、第１モードでの動作時では、シャッタボタン１７ａの押下に伴って常に通常露光画像と短露光画像が連続撮影されて、通常露光画像及び短露光画像に基づいて自動的に手ぶれ情報Ｐ_Lが算出される。その後、手ぶれ情報Ｐ_Lに基づく画像復元処理によってぶれ補正画像が生成される一方で、手ぶれ情報Ｐ_Lに基づいて手ぶれ量Ｓ_L2が毎回求められる。手ぶれ量推定部５１は、この毎回求められる手ぶれ量Ｓ_L2とシャッタボタン１７ａの押下の度に算出される露光時間Ｔ_EP及び焦点距離ｆ_Dを用いて、上記式（Ａ−３）及び（Ａ−４）に従い変換係数ｋ_ESTを更新してゆく。そして、この更新後、第２モードでの動作が実行されるとき、第１モードにて更新された変換係数ｋ_ESTを用いて、手ぶれ量Ｓ_Lを推定するようにする。

［第６実施例］
第６実施例について説明する。撮像装置１の筐体を手で把持する場合を主として想定して第１〜第５実施例を説明したが、三脚等を用いて撮像装置１の筐体を地面に対して固定していても、地面の振動により、撮像装置１に小さな動きが生じることがある。この動きの大きさは、実撮影期間前のプレビュー期間に取得されるプレビュー画像列から推定可能である。第６実施例では、このプレビュー画像列を用いて手ぶれ量Ｓ_Lを推定する。

この推定方法を、より具体的に説明する。今、図１５に示す如く、或る着目した実撮影期間の直前のプレビュー期間において、プレビュー画像ＰＩ₁、ＰＩ₂、ＰＩ₃、・・・、ＰＩ_q-1及びＰＩ_qが順次撮影され、プレビュー画像ＰＩ_qの撮影直後に着目した実撮影期間へ移行した場合を想定する（ｑは３以上の整数）。

図４の手ぶれ量推定部５１は、そのプレビュー期間中に取得されたプレビュー画像列に着目し、そのプレビュー画像列を形成する隣接フレームのプレビュー画像を対比することにより、隣接フレームのプレビュー画像間におけるオプティカルフローを求める。隣接フレームのプレビュー画像とは、時間的に隣接して撮影された２枚のプレビュー画像を指し、一方のプレビュー画像における露光期間の中間時刻と他方のそれとの時間差は、フレーム周期（例えば、１／３０秒）の時間長さと合致する。

オプティカルフローは、代表点マッチング法、ブロックマッチング法又は勾配法を用いて、対比されるプレビュー画像の画像データに基づいて求められ、両画像間の物体の動きを表す複数の動きベクトルから形成される。手ぶれ量推定部５１は、２枚のプレビュー画像に対して求めた複数の動きベクトルの平均ベクトルを求め、その平均ベクトルの大きさが所定時間継続して一定値以下となっている時、撮像装置１の筐体が三脚等で固定されていると判断する。

今、上記の所定時間がプレビュー画像ＰＩ₁〜ＰＩ_qの撮影期間に相当する場合を考える。この場合、手ぶれ量推定部５１は、プレビュー画像ＰＩ₁とＰＩ₂との間における複数の動きベクトルの平均ベクトルｍ_[1:2]、プレビュー画像ＰＩ₂とＰＩ₃との間における複数の動きベクトルの平均ベクトルｍ_[2:3]、・・・、プレビュー画像ＰＩ_q-1とＰＩ_qとの間における複数の動きベクトルの平均ベクトルｍ_[q-1:q]を求める。そして、それらの平均ベクトルｍ_[1:2]〜ｍ_[q-1:q]の大きさを所定の一定値と比較し、平均ベクトルｍ_[1:2]〜ｍ_[q-1:q]の大きさが全て該一定値以下となっている場合に、撮像装置１の筐体が三脚等で固定されていると判断し、そうでない場合、撮像装置１の筐体は手で把持されていると判断する。

撮像装置１の筐体が手で把持されていると判断した場合は、第２〜第５実施例で述べた方法にて通常露光画像Ｇ_Lに対する手ぶれ量Ｓ_Lを推定するが、撮像装置１の筐体が三脚等で固定されていると判断した場合は、下記式（Ａ−５）に従って、通常露光画像Ｇ_Lに対する手ぶれ量Ｓ_Lを推定する。ここで、ＦＲはプレビュー期間中におけるフレームレート（フレーム周期の逆数）であり、｜ｍ_AVE｜は合計（ｑ−１）個の平均ベクトルｍ_[1:2]〜ｍ_[q-1:q]を平均化したベクトルの大きさである。Ｔ_EPは、上述したように通常露光画像Ｇ_Lの露光期間の長さである。
Ｓ_L＝ＦＲ×｜ｍ_AVE｜×Ｔ_EP ・・・（Ａ−５）

手ぶれ量Ｓ_Lを推定動作以外の撮影動作及び補正動作は、第２〜第５実施例の何れかにて説明したそれらと同じである。プレビュー画像列を用いて推定された手ぶれ量Ｓ_Lは、例えば、図７のステップＳ１１にて推定されるべき手ぶれ量Ｓ_Lとして用いられる。

本実施例の如く、通常露光画像に対する手ぶれ量を、通常露光画像の撮影前に得られるプレビュー画像列から推定するようにすれば、それを撮影条件（ｆ_D及びＴ_EP）を用いて推定する場合と同様、手ぶれ量の推定を行ったことによる、連続撮影性能の低下は完全に或いは略回避される。

［第７実施例］
第７実施例を説明する。第７実施例では、通常露光画像Ｊ_L及び小画像Ｊ_SAの画像データに基づく手ぶれ情報Ｐ_Lの算出方法例、並びに、その手ぶれ情報Ｐ_Lを利用した画像復元処理の方法例を説明する。第７実施例に記載した内容は、第１〜第６実施例に適用される（具体的には、図５又は図９に示されるステップＳ７及びＳ８の処理に用いられる）。尚、第７実施例の記述において、単に「メモリ」といった場合、それは内部メモリ１４を意味するものとする。

図１６は、第７実施例に係るぶれ補正処理の流れを表すフローチャートである。図４の補正処理部５４は、記録媒体１６から読み出した通常露光画像Ｊ_L及び小画像Ｊ_SAの画像データ並びに小画像Ｊ_SAの位置を表す位置データに基づいて、ステップＳ７１〜Ｓ７７の処理を順次実行することによりぶれ補正画像を生成する。

上述したように、小画像Ｊ_SAは、短露光画像Ｇ_Sから抽出された特徴的な小領域内の画像である（より正確には、その画像をＪＰＥＧ圧縮した画像である；図７のステップＳ３及びＳ４を参照）。まず、ステップＳ７１では、短露光画像Ｇ_Sから抽出された特徴的な小領域に対応する小領域を補正対象画像としての通常露光画像Ｊ_Lから抽出し、通常露光画像Ｊ_Lから抽出された小領域内の画像を小画像Ｊ_LAとしてメモリ上に記憶する。小画像Ｊ_SAが１２８×１２８画素の画像サイズを有する場合、小画像Ｊ_LAも１２８×１２８画素の画像サイズを有する。

通常露光画像と短露光画像との間の位置ずれを無視する場合は、通常露光画像から抽出される小画像Ｊ_LAの中心座標（通常露光画像内における中心座標）と、短露光画像から抽出される小画像Ｊ_SAの中心座標（短露光画像内における中心座標）とが等しくなるように、小画像Ｊ_SAの位置データに基づいて小領域の抽出を行う。その位置ずれを無視できない場合は、テンプレートマッチング法などを利用して対応小領域の探索を行うようにしても良い。即ち例えば、小画像Ｊ_SAをテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を通常露光画像Ｊ_L内から探索し、探索された小領域内の画像を小画像Ｊ_LAとする。この探索の探索範囲は、小画像Ｊ_SAの位置データに基づいて設定される。

短露光画像の露光時間は比較的短いため、小画像Ｊ_SAの信号対雑音比は比較的低いと共に小画像Ｊ_SAの輝度は比較的低い。そこで、ステップＳ７２において、小画像Ｊ_SAに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像Ｊ_SAの輝度レベルを増加させる。即ち例えば、小画像Ｊ_SAの輝度レベルが小画像Ｊ_LAの輝度レベルと等しくなるように（小画像Ｊ_SAの平均輝度と小画像Ｊ_LAの平均輝度が等しくなるように）、小画像Ｊ_SAの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像Ｊ_SAは小画像Ｊ_SA’としてメモリ上に記憶される。

上述のようにして得られた小画像Ｊ_LAを劣化画像として且つ小画像Ｊ_SA’を初期復元画像として取り扱った上で（ステップＳ７３）、ステップＳ７４にてフーリエ反復法を実施することにより、小画像Ｊ_LAのぶれによる劣化の状態を表す画像劣化関数を求める。ここで求められる画像劣化関数は、ステップＳ７（図９等参照）にて算出されるべき手ぶれ情報Ｐ_Lである。

画像劣化関数としてＰＳＦを求める。手ぶれは画像全体に対して一様な劣化を与えるため、小画像Ｊ_LAに対して求めたＰＳＦは、通常露光画像Ｊ_Lの全体に対するＰＳＦとして利用することができる。

フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。このフーリエ反復法を、図１７及び図１８を参照して詳細に説明する。図１７は、図１６のステップＳ７４の処理の詳細フローチャートである。図１８は、図４の補正処理部５４に内在する、フーリエ反復法を実施する部位のブロック図である。

まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として小画像Ｊ_SA’を用いるようにする。次に、ステップＳ１０２において、劣化画像（即ち、小画像Ｊ_LA）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。

次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（Ｂ−１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（Ｂ−１）において、Ｆ’^*は、Ｆ’の共役複素行列であり、αは、定数である。

次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（Ｂ−２ａ）の拘束条件で修正した後、更に式（Ｂ−２ｂ）の拘束条件にて修正する。

ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（Ｂ−２ｂ）の拘束条件による修正である。

式（Ｂ−２ａ）及び（Ｂ−２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。

次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（Ｂ−３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（Ｂ−３）において、Ｈ’^*は、Ｈ’の共役複素行列であり、βは、定数である。

次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（Ｂ−４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。

復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−４）の拘束条件による修正である。

次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。

例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。

収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図１６のステップＳ７４で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図１８参照）は、順次、最新のものに更新されていく。

収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（Ｂ−２ａ）及び（Ｂ−２ｂ）を用いたステップＳ１１３における修正量、或いは、式（Ｂ−４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。

また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像である通常露光画像Ｊ_Lの補正は行われない。

図１６の各ステップの説明に戻る。ステップＳ７４にて、ＰＳＦが算出された後、ステップＳ７５に移行する。ステップＳ７５では、ステップＳ７４で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（Ｂ−３）の右辺の一部に相当する下記式（Ｂ−５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ７４におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（Ｂ−５）におけるＨ’^*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’^*及びＨ’（即ち、最終的に得られたＨ’^*及びＨ’）である。

ステップＳ７５にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ７６に移行し、この画像復元フィルタを用いて、補正対象画像としての通常露光画像Ｊ_Lの全体をフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを通常露光画像Ｊ_Lの各画素に適用して通常露光画像Ｊ_Lをフィルタリングする。これにより、通常露光画像Ｊ_Lに含まれるぶれを低減したフィルタリング画像が生成される。画像復元フィルタのサイズは通常露光画像Ｊ_Lの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを通常露光画像Ｊ_Lの全体に対して適用することによって、通常露光画像Ｊ_Lの全体のぶれが低減される。

フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ７７において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的なぶれ補正画像を生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。

ぶれ補正画像は、補正対象画像に含まれるぶれが低減され且つフィルタリングに伴うリンギングが低減された画像となる。但し、フィルタリング画像もぶれが低減された画像であるため、フィルタリング画像をぶれ補正画像として捉えることも可能である。

短露光画像に含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この短露光画像から得られる画像をフーリエ反復法における初期復元画像とする。

フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、ぶれ補正処理に必要な手ぶれ情報作成用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。

また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。

この際、上述の如く、エッジ成分を多く含む特徴的な小領域から手ぶれ情報を作成するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、ＰＳＦをより正確に検出することができるようになる。

尚、図１７の処理では、空間領域上における劣化画像ｇ及び復元画像ｆ’がフーリエ変換によって周波数領域上に変換されることで、周波数領域上の劣化画像ｇを表す関数Ｇ及び周波数領域上の復元画像ｆ’を表す関数Ｆ’が求められる（尚、周波数領域とは、勿論、二次元の周波数領域である）。求められた関数Ｇ及びＦ’から周波数領域上のＰＳＦを表す関数Ｈが求められ、この関数Ｈは逆フーリエ変換によって空間領域上の関数、即ち、ＰＳＦ ｈに変換される。このＰＳＦ ｈは、所定の拘束条件を用いて修正され、修正後のＰＳＦ ｈ'が求められる。このＰＳＦを修正する処理を、以下「第１の修正処理」と呼ぶ。

ＰＳＦ ｈ'はフーリエ変換によって再度、周波数領域上に変換されて関数Ｈ’が求められ、関数Ｈ’と関数Ｇから周波数領域上の復元画像を表す関数Ｆが求められる。この関数Ｆを逆フーリエ変換することによって空間領域上の復元画像ｆが得られ、この復元画像ｆが所定の拘束条件を用いて修正されて、修正後の復元画像ｆ’が求められる。この復元画像を修正する処理を、以下「第２の修正処理」と呼ぶ。

上述の例では、この後、図１７のステップＳ１１８にて収束条件が満たされるまで、修正後の復元画像ｆ’を用いて上述の処理が反復されると述べた。また、反復処理が収束に向かえば修正量が小さくなるという特性を考慮し、この収束条件の成立／不成立を、第１の修正処理に対応するステップＳ１１３での修正量、又は、第２の修正処理に対応するステップＳ１１７での修正量に基づいて判断しても良いとも述べた。この判断を修正量に基づいて行う場合、基準修正量を予め設定しておき、ステップＳ１１３での修正量又はステップＳ１１７での修正量と基準修正量とを比較して、前者が後者よりも小さい場合に収束条件が成立すると判断することになるが、基準修正量を十分に大きく設定しておけば、ステップＳ１１０〜Ｓ１１７の処理は反復実行されない。つまり、この場合、第１の修正処理を１回だけ行って得たＰＳＦ ｈ'が、図１６のステップＳ７４で導出されるべき最終的なＰＳＦとなる。このように、図１７の処理を用いたとしても、第１及び第２の修正処理が繰り返し実行されるとは限らない。

第１及び第２の修正処理の繰り返し実行回数の増大は、最終的に求まるＰＳＦの精度向上に寄与するが、本例では初期復元画像自体が既に手ぶれのない画像に近いため、第１の修正処理を１回だけ行って得たＰＳＦ ｈ’の精度も、実用上、問題ない程度に高い。これを考慮すれば、ステップＳ１１８の判定処理自体を省略することも可能である。この場合、１回だけステップＳ１１３の処理を実行することで求まるＰＳＦ ｈ’が図１６のステップＳ７４で導出されるべき最終的なＰＳＦとなり、１回だけステップＳ１１４の処理を実行することで求まる関数Ｈ’から、図１６のステップＳ７５で導出されるべき画像復元フィルタの各フィルタ係数が求まる。故に、ステップＳ１１８の処理を省略する場合は、ステップＳ１１５〜Ｓ１１７の処理も割愛される。

＜＜第２実施形態＞＞
次に、本発明の第２実施形態について説明する。図１９は、本発明の第２実施形態に係る撮像装置１ａの全体ブロック図である。撮像装置１ａは、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１ａは、撮像部１１、ＡＦＥ（Analog Front End）１２、内部メモリ１４、表示部１５、記録媒体１６及び操作部１７を備えており、それらは、図１の撮像装置１におけるそれらと同じものである。撮像装置１ａは、更に、主制御部１３ａ及びセンサ部１８を備えている。主制御部１３ａは、図１の主制御部１３が有する機能と同等の機能を備えている。撮像装置１ａは、センサ部１８から与えられる角速度データに基づいてぶれ補正処理を実行する点において、撮像装置１と相違しているが、その他の点において、両撮像装置の構成及び機能は共通している。故に、両撮像装置間の共通点に対する説明を割愛し、両撮像装置間の相違点に特に着目して、第２実施形態の説明を行う。

第１実施形態に記載した事項は、矛盾なき限り第２実施形態に適用されるが、この適用の際、同一名称によって参照される部位間の符号の相違は無視される（例えば、主制御部１３と主制御部１３ａとの間における、符号の相違（１３と１３ａの相違）は適宜無視される）。

図２０に、撮像装置１ａの外観斜視図を示す。図２０における一点鎖線３００は、撮像部１１の光軸を表している。今、光軸は水平面に平行であるとする。

センサ部１８は、２つの角速度センサ１８Ｙ及び１８Ｐを有し、撮像装置１ａに作用する所謂手ぶれを検出する。角速度センサ１８Ｙは、一定のサンプリング間隔にて周期的に撮像装置１ａのヨー方向（水平方向）の角速度を計測して各サンプリング期間における撮像装置１ａのヨー方向の角速度を表す信号を出力する。同様に、角速度センサ１８Ｐは、上記サンプリング間隔にて周期的に撮像装置１ａのピッチ方向（垂直方向）の角速度を計測して各サンプリング期間における撮像装置１ａのピッチ方向の角速度を表す信号を出力する。

ヨー方向とピッチ方向は、互いに直交し、且つ、光軸にも直交する。撮像装置１ａにヨー方向のぶれを与えれば、撮像装置１ａの光軸は水平面に平行な面上で回転し、撮像装置１ａにピッチ方向のぶれを与えれば、撮像装置１ａの光軸は鉛直面に平行な面上で回転する。ヨー方向の手ぶれによって撮像素子３３の撮像面上に結像する像は撮像面上で左右方向（撮像面の水平方向）に移動し、ピッチ方向の手ぶれによって撮像素子３３の撮像面上に結像する像は撮像面上で上下方向（撮像面の垂直方向）に移動する。各角速度センサの出力信号から生成される角速度データは、主制御部１３ａに伝達される。角速度データは、撮像装置１ａの動き（即ち、撮像装置１ａのヨー方向及びピッチ方向の動き）を表す情報である。

撮影画像は、手ぶれに起因するぶれを含みうる。主制御部１３ａにはぶれ補正処理を実行するぶれ補正部（ぶれ補正装置）が内在されており、画像処理によって静止画像のぶれを補正する機能を備える。第１実施形態と同様、ぶれ補正部によってぶれが補正されるべき静止画像としての撮影画像を、特に「補正対象画像」と呼び、そのぶれの補正後の画像を「ぶれ補正画像」と呼ぶ。

図２１に、撮像装置１ａの一部ブロック図を示す。主制御部１３ａは、補正対象画像の露光期間中における撮像装置１ａの動きに由来する補正対象画像のぶれが予め規定された類型的なぶれに属するか否かを角速度データに基づいて判断する類型判定部６１と、撮像素子３３の露光時間に対する制御を含む撮影制御を行う撮影制御部６２と、類型判定部６１の判断結果に基づいて記録媒体１６に記録されるべきデータを生成して該データを記録媒体１６に記録させる記録制御部６３と、記録媒体１６の記録データを受け取って補正対象画像に対するぶれ補正処理を実行する補正処理部６４と、を備える。尚、類型判定部６１は、記録制御部６３に内在している。センサ部１８からの角速度データは、記録制御部６３及びそれに内在する類型判定部６１に与えられる。

図２２は、第２実施形態に係る、撮像装置１ａの撮影動作の流れを表すフローチャートである。このフローチャートを参照して、撮像装置１ａの撮影動作を説明する。図２２に示すステップＳ２０１〜Ｓ２１１の各処理は撮影モードにおいて実行される。

撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ２０１において、主制御部１３ａは、光学系３５内のレンズの位置及び既知情報等に基づいて撮像部１１の焦点距離ｆ_Dを表すデータを取得すると共に、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づいて撮像素子３３の露光量が適正となる露光時間Ｔ_EPを算出する。

この後、ステップＳ２０２において、撮像装置１ａは、通常露光撮影を実行することにより通常露光画像Ｇ_Lを取得する。通常露光撮影の露光時間としてＴ_EPが用いられる。撮影制御部６２が、露光時間Ｔ_EPに基づいて通常露光撮影用の露光時間制御信号を生成して撮像素子３３に与えることよりにより通常露光撮影が実行される。また、通常露光撮影の実行時における撮像部１１の焦点距離はｆ_Dである。通常露光画像Ｇ_Lの画像データは記録制御部６３に与えられる。

他方、ステップＳ２０３において、記録制御部６３は、通常露光画像Ｇ_Lの露光期間中における角速度データを取得する。今、図２３に示す如く、通常露光画像Ｇ_Lの露光期間の開始時刻及び終了時刻が夫々ｔ₀及びｔ_nであり、時刻ｔ₀を起点として角速度センサ１８Ｐ及び１８Ｙのサンプリング間隔が経過する毎に時刻ｔ₁、ｔ₂、・・・、ｔ_n-1及びｔ_nが順次訪れるものとする（ｎは２以上の整数であって例えば３３）。時刻ｔ₀と時刻ｔ₁との間の期間、時刻ｔ₁と時刻ｔ₂との間の期間、・・・、時刻ｔ_n-1と時刻ｔ_nとの間の期間の夫々が、サンプリング期間である。サンプリング期間の長さは、例えば、１／１０００秒である。

センサ部１８は、サンプリング期間毎に１つの角速度データを出力する。或る１つの着目したサンプリング期間に対する角速度データは、その着目したサンプリング期間における、撮像装置１ａのヨー方向及びピッチ方向の角速度を表す。通常露光画像Ｇ_Lの露光期間中における全角速度データ（即ち、ｎ個の角速度データ）を、角速度データ群Ｄ_ALLと呼ぶ。

角速度データ群Ｄ_ALLは類型判定部６１に与えられる。類型判定部６１は、焦点距離ｆ_D並びに通常露光画像Ｇ_Lの水平及び垂直方向の画素数などに基づいて、角速度データ群Ｄ_ALLを形成する角速度データの夫々を、通常露光画像Ｇ_L上の動きベクトルに変換する。この変換方法は周知であるため詳細な説明を割愛する（例えば、特開２００６−１２９２３６号参照）。時刻ｔ_i-1−ｔ_i間のサンプリング期間における角速度データを変換することによって得られる動きベクトルをｍ_iにて表す（ここで、ｉは１以上ｎ以下の整数）。類型判定部６１は、通常露光画像Ｇ_Lに対してｎ個の動きベクトルｍ₁〜ｍ_nを算出する（図２３参照）。

例えば、時刻ｔ_i-1において撮像部１１の撮像面の中心に実静止点（実空間上で静止している点）の像が結像しており且つ時刻ｔ_i-1−ｔ_i間においてヨー方向又はピッチ方向に撮像装置１ａが回転した場合、時刻ｔ_i-1−ｔ_i間において該実静止点の像は撮像面上において該中心から移動する。この移動の方向及び大きさを、通常露光画像Ｇ_L上におけるベクトルとして表現したものが動きベクトルｍ_iである。

また、動きベクトルｍ₁〜ｍ_iを合成して得られる合成ベクトルを積分ベクトルＳ_iという。類型判定部６１は、変数ｉを１以上ｎ以下の整数の夫々とした場合における積分ベクトルＳ_i（即ち、積分ベクトルＳ₁〜Ｓ_n）を求める。Ｓ₁は、動きベクトルｍ₁そのものであるが、便宜上、Ｓ₁も積分ベクトルと呼ぶ。図２４に示す如く、例えば、積分ベクトルＳ₂は、動きベクトルｍ₁及びｍ₂を順次繋ぎ合わせて生成される、動きベクトルｍ₁及びｍ₂の合成ベクトルであり、積分ベクトルＳ₃は、動きベクトルｍ₁〜ｍ₃を順次繋ぎ合わせて生成される、動きベクトルｍ₁〜ｍ₃の合成ベクトルである。

また、便宜上、図２５に示すような、互いに直交するｘ軸及びｙ軸を座標軸とする二次元の座標面ＸＹを定義し、その座標面ＸＹ上に通常露光画像Ｇ_Lが投影されるものとする。ｘ軸及びｙ軸方向は夫々通常露光画像Ｇ_Lの水平及び垂直方向に合致するものとする。動きベクトルｍ₁〜ｍ_n及び積分ベクトルＳ₁〜Ｓ_nは全て座標面ＸＹ上のベクトルであり、動きベクトルｍ₁の始点及び積分ベクトルＳ₁〜Ｓ_nの全ての始点は座標面ＸＹ上の原点に配置されるものとする。

類型判定部６１によって、角速度データ群Ｄ_ALLから動きベクトルｍ₁〜ｍ_n及び積分ベクトルＳ₁〜Ｓ_nが求められた後、図２２のステップＳ２０３からステップＳ２０４に移行する。

ステップＳ２０４において、類型判定部６１は、ぶれ軌跡の形状を数式化できるか否かを判定する。ぶれ軌跡とは、通常露光画像Ｇ_Lの露光期間中における撮像装置１ａの動きによって生じた、通常露光画像Ｇ_Lのぶれの軌跡を意味する。積分ベクトルＳ₁〜Ｓ_nの終点を順次結んでいった時に得られる軌跡がぶれ軌跡に相当する（図２４も参照）。

数式化できるか否かの判定は、ぶれ軌跡の形状が、点、直線又は二次曲線の形状に近似できるか否かを判定することによって行われる。数式化できると判定された場合は、ステップＳ２０４からステップＳ２０５に移行し、類型判定部６１にて形状数式データＤＦ（以下、数式データＤＦと略記することがある）が生成される。図２６に、その判定方法を含む、ステップＳ２０４及びＳ２０５の処理内容を表す。

具体的には、ステップＳ２０４において、積分ベクトルＳ_nの大きさと所定の閾値ＴＨ_Aとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡の形状を点の形状に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。

ぶれ軌跡の形状を点の形状に近似できると判定した場合は、ぶれ軌跡の近似式を「ｘ²＋ｙ²＜ｒ²」とみなし、その近似式におけるｒの値と点フラグとを含むデータを数式データＤＦとして生成する。ぶれ軌跡の近似式におけるｘ及びｙは、ぶれ軌跡の、座標面ＸＹにおけるｘ軸成分及びｙ軸成分を表している。ｒの値は、予め設定されている。或いは、積分ベクトルＳ_nの大きさをｒの値に代入するようにしてもよい。

また、ステップＳ２０４において、積分ベクトルＳ₁〜Ｓ_nの終点（合計ｎ個の終点）から成る点群に対する近似直線を最小二乗法によって求める。図２７に、積分ベクトルＳ_n-3、Ｓ_n-2、Ｓ_n-1及びＳ_nの終点としての点３１１、３１２、３１３及び３１４と、求められた近似直線３２０を示す。或る積分ベクトルの終点（例えば、点３１１）と近似直線３２０との距離は、その終点に対する近似直線の誤差を表している。類型判定部６１は、近似直線の誤差を積分ベクトルＳ₁〜Ｓ_nの夫々に対して求めて、積分ベクトルＳ₁〜Ｓ_nに対する誤差の総和をｎで割った値を評価値Ｅ_V1として求める。そして、評価値Ｅ_V1と所定の閾値ＴＨ_Bとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡の形状を直線の形状に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。

ぶれ軌跡の形状を直線の形状に近似できると判定した場合は、ぶれ軌跡の近似式を「ｙ＝ａｘ＋ｂ」とみなし、その近似式におけるａ及びｂの値と直線フラグとを含むデータを数式データＤＦとして生成する。ａ及びｂは、夫々、近似直線３２０の傾き及びｙ切片である。

また、ステップＳ２０４において、積分ベクトルＳ₁〜Ｓ_nの終点（合計ｎ個の終点）から成る点群に対する近似二次曲線を最小二乗法によって求める。或る積分ベクトルの終点と近似二次曲線との距離は、その終点に対する近似二次曲線の誤差を表している。類型判定部６１は、近似二次曲線の誤差を積分ベクトルＳ₁〜Ｓ_nの夫々に対して求めて、積分ベクトルＳ₁〜Ｓ_nに対する誤差の総和をｎで割った値を評価値Ｅ_V2として求める。そして、評価値Ｅ_V2と所定の閾値ＴＨ_Cとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡の形状を二次曲線の形状に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。

ぶれ軌跡の形状を二次曲線の形状に近似できると判定した場合は、ぶれ軌跡の近似式を「ｙ＝ａｘ²＋ｂｘ＋ｃ」とみなし、その近似式におけるａ、ｂ及びｃの値と二次曲線フラグとを含むデータを数式データＤＦとして生成する。ａ、ｂ及びｃの値は、近似二次曲線から求まる。

ステップＳ２０４において、ぶれ軌跡の形状が、点、直線又は二次曲線の形状に近似できると判定された場合、ステップＳ２０５にて数式データＤＦが生成された後、ステップＳ２０６に移行し、ぶれ軌跡の形状が点、直線及び二次曲線の形状の何れにも近似できないと判定された場合、ステップＳ２０４からステップＳ２１０に移行する。

尚、ステップＳ２０６に移行した場合、原則としてステップＳ２０６の判定処理が実行されるが、ぶれ軌跡の形状が点の形状に近似できると判定された場合は、例外的にステップＳ２０６及びＳ２０７の処理を行うことなく、ステップＳ２０８に移行する。

ステップＳ２０６において、類型判定部６１は、ぶれ速度の変化状態を数式化できるか否かを判定する。ぶれ速度とは、ぶれ軌跡を描く速度を意味する。数式化できるか否かの判定は、ぶれ速度の変化状態が、等速又は等加速に近似できるか否かを判定することによって行われる。ここにおける等加速とは、負の加速（即ち、等減速）をも含む概念である。数式化できると判定された場合は、ステップＳ２０６からステップＳ２０７に移行し、類型判定部６１にて速度変化数式データＤＳ（以下、数式データＤＳと略記することがある）が生成される。図２８に、その判定方法を含む、ステップＳ２０６及びＳ２０７の処理内容を表す。

具体的には、ステップＳ２０６において、動きベクトルｍ₁〜ｍ_nのノルムの分散（即ち、動きベクトルｍ₁〜ｍ_nの大きさの分散）と所定の閾値ＴＨ_Dを比較し、前者が後者よりも小さい場合に、ぶれ軌跡を描く過程においてぶれ速度の変化がない、即ちぶれ速度の変化状態を等速に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。

ぶれ速度の変化状態を等速に近似できると判定した場合は、ぶれ速度Ｖ（ｔ）を表す近似関数を「Ｖ（ｔ）＝Ｖ_CONST」とみなし、その近似関数におけるＶ_CONSTの値と等速フラグとを含むデータを数式データＤＳとして生成する。Ｖ_CONSTの値は、動きベクトルｍ₁〜ｍ_nの大きさの平均値とされる。また、この近似関数における、ｔは１つのサンプリング期間が経過する毎に１増加する変数である。

また、図２９に示す如く、変数ｉ及び動きベクトルｍ_iの大きさを夫々横軸及び縦軸にとった二次元座標面を想定し、その二次元座標面上に動きベクトルｍ₁〜ｍ_nの大きさをプロットしていく。そして、プロットされた合計ｎ個の点から成る点群に対する近似直線を最小二乗法によって求める。図２９において、点３３１〜３３４は動きベクトルｍ₁〜ｍ₄の大きさに対してプロットされた点であり、破線直線３４０は求められた近似直線を示している。

プロットされた或る点（例えば、点３３１）と近似直線３４０との距離は、その点に対する近似直線の誤差を表している。類型判定部６１は、近似直線の誤差を、動きベクトルｍ₁〜ｍ_nに対してプロットされた各点に対して求めて、各点に対する誤差の総和をｎで割った値を評価値Ｅ_V3として求める。そして、評価値Ｅ_V3と所定の閾値ＴＨ_Eとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡を描く過程においてぶれ速度が一定割合で変化している、即ちぶれ速度の変化状態を等加速に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。

ぶれ速度の変化状態を等加速に近似できると判定した場合は、ぶれ速度Ｖ（ｔ）を表す近似関数を「Ｖ（ｔ）＝Ｖ₀＋ｄｔ」とみなし、その近似関数におけるＶ₀及びｄの値と等加速フラグとを含むデータを数式データＤＳとして生成する。この近似関数におけるＶ₀は動きベクトルｍ₁の大きさであり、ｄは近似直線３４０の傾きであり、ｔは１つのサンプリング期間が経過する毎に１増加する変数である。

ステップＳ２０６において、ぶれ速度の変化状態を等速又は等加速に近似できると判定した場合、ステップＳ２０７にて数式データＤＳが生成された後、ステップＳ２０８に移行し、ぶれ速度の変化状態を等速及び等加速の何れにも近似できないと判定した場合、ステップＳ２０６からステップＳ２１０に移行する。

ステップＳ２０８に移行した場合、記録制御部６３によってステップＳ２０８及びＳ２０９の処理が実行され、その後、撮影動作が終了する。ステップＳ２０８及び２０９では、通常露光画像Ｇ_LをＪＰＥＧ圧縮して画像Ｊ_Lを生成すると共に画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像Ｊ_Lの画像データを記録する一方で、その画像ファイルのヘッダ領域に数式データＤＦ及びＤＳを手ぶれデータ（補正用情報）として記録する。また、この際、記録制御部６３は、焦点距離ｆ_D及び露光時間Ｔ_EPを表すデータもヘッダ領域に記録する。尚、ぶれ軌跡の形状が点の形状に近似できると判定された場合は、上述の如くステップＳ２０７の処理は実行されないため、数式データＤＳの記録は行われない。

ステップＳ２１０に移行した場合、記録制御部６３によってステップＳ２１０及びＳ２１１の処理が実行され、その後、撮影動作が終了する。ステップＳ２１０及び２１１では、通常露光画像Ｇ_LをＪＰＥＧ圧縮して画像Ｊ_Lを生成すると共に画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像Ｊ_Lの画像データを記録する一方で、その画像ファイルのヘッダ領域に角速度データ群Ｄ_ALLを手ぶれデータ（補正用情報）として記録する。また、この際、記録制御部６３は、焦点距離ｆ_D及び露光時間Ｔ_EPを表すデータもヘッダ領域に記録する。

次に、図３０を参照して撮像装置１ａの補正動作を説明する。図３０は、この補正動作の流れを表すフローチャートである。上述の撮影動作の後において、撮像装置１ａに補正指示が与えられると（或いは所定条件が満たされると）補正動作が実行される。補正動作はステップＳ２２１〜Ｓ２２４の各処理から成る。補正指示は、例えば、ユーザによる操作部１７への所定操作によって撮像装置１ａに与えられる。但し、補正指示の有無に関係なく、補正動作を実行することも可能である。補正動作は再生モードにおいて実行される。但し、補正動作を撮影モードにて行うことも可能である。

撮像装置１ａに補正指示が与えられると、ステップＳ２２１において、図２１の補正処理部６４は、記録媒体１６内の画像ファイルから通常露光画像Ｊ_Lの画像データを読み出すと共に通常露光画像Ｊ_Lが記録された画像ファイルのヘッダ領域から手ぶれデータを読み出す。補正処理部６４は、通常露光画像Ｊ_Lを補正対象画像として取り扱う。

ここで読み出される手ぶれデータは、上記のヘッダ領域に角速度データ群Ｄ_ALLが記録されておれば、その角速度データ群Ｄ_ALLであり、上記のヘッダ領域に数式データＤＦ及びＤＳが記録されておれば、その数式データＤＦ及びＤＳである。

続くステップＳ２２２において、補正処理部６４は、読み出した手ぶれデータに基づいて通常露光画像Ｊ_Lのぶれの状態を表すＰＳＦを求める。

読み出した手ぶれデータが角速度データ群Ｄ_ALLである場合、公知の方法（例えば、特開２００６−１２９２３６号公報や特開２００６−２７９８０７号公報に記載の方法）によって、角速度データ群Ｄ_ALLから通常露光画像Ｊ_LのＰＳＦを求めることが可能である。即ち、角速度データ群Ｄ_ALLから動きベクトルｍ₁〜ｍ_nを求め、動きベクトルｍ₁〜ｍ_nの向き及び大きさに応じてフィルタ係数の重み付けがなされた空間フィルタをＰＳＦとして求める。

読み出した手ぶれデータが数式データＤＦ及びＤＳである場合、補正処理部６４は、角速度データ群Ｄ_ALLに基づいて求められるＰＳＦに類似したＰＳＦを数式データＤＦ及びＤＳを用いて算出する。

図３１を参照して、数式データＤＦ及びＤＳからＰＳＦを算出する方法を説明する。図３１の上段には、撮影動作時において生成された角速度データ群Ｄ_ALLの例が示されている。今、この角速度データ群Ｄ_ALLから数式データＤＦ及びＤＳが生成されて記録媒体１６に記録され、且つ、形状数式データＤＦが直線フラグ並びにａ及びｂの値を含むと共に速度変化数式データＤＳが等速フラグ及びＶ_CONSTの値を含んでいる場合を考える。この場合、補正処理部６４は、ぶれ軌跡が近次式「ｙ＝ａｘ＋ｂ」で表され且つぶれ速度Ｖ（ｔ）が近似関数「Ｖ（ｔ）＝Ｖ_CONST」で表されるとみなし、数式データＤＦ及びＤＳから撮影動作に生成された角速度データ群を推定する。ここで推定された角速度データ群を、推定角速度データ群Ｄ_{ALL_E}と呼ぶ。図３１の下段には、推定角速度データ群Ｄ_{ALL_E}が示されている。

例えば、ａ＝４／３、ｂ＝０及びＶ_CONST＝５である場合は、全サンプリング期間における動きベクトルの大きさが５であって且つ全サンプリング期間における動きベクトルの水平成分（ｘ軸成分）と垂直成分（ｙ軸成分）の比が３：４となるように、推定角速度データ群Ｄ_{ALL_E}を求める。

その後、角速度データ群Ｄ_ALLにて定まる動きベクトルｍ₁〜ｍ_nを推定角速度データ群Ｄ_{ALL_E}に基づいて推定し、推定した動きベクトルからＰＳＦを求める。推定角速度データ群Ｄ_{ALL_E}に基づくＰＳＦの算出方法は、角速度データ群Ｄ_ALLに基づくＰＳＦの算出方法と同じである。推定角速度データ群Ｄ_{ALL_E}を求めなくとも数式データＤＦ及びＤＳから動きベクトルｍ₁〜ｍ_nを直接推定することができるため、実際には、数式データＤＦ及びＤＳからＰＳＦを求めるに当たり、推定角速度データ群Ｄ_{ALL_E}を求める必要はない。

尚、形状数式データＤＦに点フラグ及びｒの値が含まれる場合は、ｒの値に応じたタップ数を有するガウシアンフィルタをＰＳＦとして求める。例えば、ｒの値が通常露光画像の３画素分である場合は、３×３のフィルタサイズを有するガウシアンフィルタをＰＳＦとして求める。ガウシアンフィルタにおける分散は、予め定めておけばよい。

その後、ステップＳ２２３において、補正処理部６４は、ステップＳ２２２にて求められたＰＳＦの逆関数（一般逆行列）に相当する画像復元関数を求める。画像復元関数は、単一の画像復元フィルタとして表現され、ＰＳＦを表す行列の一般逆行列の各要素が該画像復元フィルタの各フィルタ係数とされる。補正処理部６４は、この画像復元フィルタを用いた空間フィルタリングを補正対象画像（即ち、通常露光画像Ｊ_L）の全体に対して施すことで、補正対象画像に含まれるぶれが低減されたぶれ補正画像を生成する。補正対象画像に画像復元フィルタを用いた空間フィルタリングを施して得た画像に対し、更にリンギング除去処理を施すことによって、最終的なぶれ補正画像を得るようにしてもよい。

続くステップＳ２２４において、主制御部１３ａは、ステップＳ２２３にて生成されたぶれ補正画像の画像データを記録するための画像ファイルを新たに生成して、その画像ファイルを記録媒体１６に記憶する。或いは、画像ファイルを新たに生成することなく、通常露光画像Ｊ_Lの画像データが上書きされるように、通常露光画像Ｊ_Lの画像データを記録していた画像ファイルの本体領域にぶれ補正画像の画像データを記録してもよい。また、ぶれ補正画像は、表示部１５に表示される。

手ぶれを単純な運動（例えば等速直線運動）に近似できる場合、正確な角速度データを用いた画像復元処理によって得られるぶれ補正画像と、数式近似を利用した画像復元処理によって得られるぶれ補正画像との間で視覚的な差は殆どない（換言すれば、その差が殆ど生じないように、図２２のステップＳ２０４及びＳ２０６の判定条件を定めておく）。これを考慮し、本実施形態では、補正対象画像のぶれが予め規定された類型的なぶれ（直線的且つ等速的なぶれや、二次曲線的且つ等加速的なぶれなど）に属するか否かをステップＳ２０４及びＳ２０６の判定処理によって判断し、それが類型的なぶれに属する場合は、実際の角速度データの代わりに、類型的なぶれの軌跡形状及び該軌跡を描く速度状態を表す数式データを補正用情報として記録するようにする。これにより、実際の角速度データを記録する場合と比べて、補正用情報のデータサイズを小さくすることができる。

尚、上述の例では、ヨー方向とピッチ方向の角速度を合わせた動きベクトルｍ₁〜ｍ_nに基づいて、角速度データ群Ｄ_ALLと数式データの何れを記録するかの切替判断を行っているが、この判断を、ヨー方向の角速度とピッチ方向の角速度に対して個別に行ってもよい。

例えば、図３２に示す如く、通常露光画像Ｇ_Lの露光期間中の全サンプリング期間におけるヨー方向の角速度が一定或いは略一定であって且つ通常露光画像Ｇ_Lの露光期間中においてピッチ方向の角速度が一定或いは略一定の割合で増加している場合、類型判定部６１は、ヨー方向の角速度Ｖ_X（ｔ）を表す近似関数を「Ｖ_X（ｔ）＝Ｖ_XCONST」且つピッチ方向の角速度Ｖ_Y（ｔ）を表す近似関数を「Ｖ_Y（ｔ）＝Ｖ_Y0＋ｄ_Yｔ」とみなし、それらの近似関数におけるＶ_XCONST、Ｖ_Y0及びｄ_Yの値と、ヨー方向の角速度が等速であることを示すヨー方向等速フラグと、ピッチ方向の角速度の変化状態が等加速であることを示すピッチ方向等加速フラグと、を含むデータを数式データとして生成する。この数式データは、通常露光画像の画像データが記録されるべき画像ファイルのヘッダ領域に記録された後、補正動作時において補正処理部６４によって該画像ファイルから読み出されて、その数式データから通常露光画像Ｇ_Lの露光期間中における角速度データ群Ｄ_ALLが推定される。

尚、Ｖ_XCONSTの値は、通常露光画像Ｇ_Lの露光期間中におけるヨー方向の角速度の平均値であり、Ｖ_Y0の値は、通常露光画像Ｇ_Lの露光期間中における１番目のサンプリング期間のピッチ方向の角速度であり、ｄ_Yの値は、通常露光画像Ｇ_Lの露光期間中におけるピッチ方向の角速度の平均的な増加率である。また、近似関数におけるｔは、１つのサンプリング期間が経過する毎に１増加する変数である。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
第２実施形態において、センサ部１８を、角速度を検出する角速度センサにて構成する例を上述したが（図１９参照）、撮像装置１ａの動きを表す、角速度以外の物理量を検出するセンサにて、センサ部１８を構成しても良い。例えば、撮像装置１ａの加速度を検出する加速度センサ又は撮像装置１ａの角加速度を検出する角加速度センサにてセンサ部１８を形成するようにしてもよい。撮像装置１ａの加速度又は角加速度を表す、加速度センサ又は角加速度センサの出力信号に基づいて補正対象画像のＰＳＦを求めることも可能である。

［注釈２］
撮像装置（１又は１ａ）は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、主制御部（１３又は１３ａ）内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置（１又は１ａ）を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

また、主制御部（１３又は１３ａ）内で実行される演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈３］
上述の各実施形態では、撮像装置（１又は１ａ）内にぶれ補正処理を実行する補正処理部（５４又は６４）を設け、撮像装置（１又は１ａ）内でぶれ補正処理を実行しているが（図４又は図２１参照）、撮像装置（１又は１ａ）と異なる外部機器（不図示）にて、そのぶれ補正処理を実行するようにしてもよい。この場合、その外部機器に、上述の補正処理部５４又は６４と同等の補正処理部を設けておき、その外部機器に記録媒体１６の記録データを供給することによって補正対象画像からぶれ補正画像を生成すればよい。

［注釈４］
例えば、以下のように考えることができる。第１実施形態において、主制御部１３に内在するぶれ検出部（ぶれ検出装置）は、図４の手ぶれ量推定部（装置動き検出手段）５１及び記録制御部５３を含み、更に撮影制御部５２を含みうる。そのぶれ検出部に補正処理部５４を加えた部位は、ぶれ補正部（ぶれ補正装置）として機能する。第２実施形態において、主制御部１３ａに内在するぶれ検出部（ぶれ検出装置）は、図２１の記録制御部６３を含み、更に撮影制御部６２を含みうる。そのぶれ検出部に補正処理部６４を加えた部位は、ぶれ補正部（ぶれ補正装置）として機能する。

本発明の第１実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 プレビュー期間と実撮影期間との時間的関係を示す図である。 図１の撮像装置の一部ブロック図である。 本発明の第１実施例に係る、撮像装置の撮影動作及び補正動作のフローチャートである。 図１の記録媒体内に保存されるべき画像ファイルの構造を示す図である。 本発明の第２実施例に係る、撮像装置の撮影動作のフローチャートである。 本発明の第２実施例に係り、推定された手ぶれ量と所定の閾値との関係を示す図である。 本発明の第２実施例に係る、撮像装置の補正動作のフローチャートである。 本発明の第４実施例に係る、撮像装置の撮影動作のフローチャートである。 本発明の第４実施例に係る、手ぶれ量の推定動作のフローチャートである。 本発明の第５実施例に係り、理想的な点像が通常露光画像の露光期間中に撮像素子の撮像面上で移動する軌跡を表す図である。 本発明の第５実施例に係り、図１２の軌跡に対応する、行列表現されたＰＳＦを示す図である。 本発明の第５実施例に係り、時系列で並ぶ通常露光画像列を示す図である。 本発明の第６実施例に係り、或る実撮影期間前のプレビュー期間中に取得されるプレビュー画像列を示す図である。 本発明の第７実施例に係るぶれ補正処理のフローチャートである。 本発明の第７実施例に係り、ぶれ補正処理にて利用されるフーリエ反復法の詳細フローチャートである。 本発明の第７実施例に係り、ぶれ補正処理にて利用されるフーリエ反復法を実現する部位のブロック図である。 本発明の第２実施形態に係る撮像装置の全体ブロック図である。 図１９の撮像装置の外観斜視図である。 図１９の撮像装置の一部ブロック図である。 本発明の第２実施形態に係る、撮像装置の撮影動作のフローチャートである。 本発明の第２実施形態に係り、通常露光画像の露光期間中における複数の時刻間の関係、並びに、それらの時刻と角速度データ及び動きベクトルとの関係を示す図である。 本発明の第２実施形態に係り、角速度データから求められる動きベクトルと積分ベクトルを示す図である。 本発明の第２実施形態に係り、角速度データから求められる動きベクトルと積分ベクトルが配置される二次元座標面を示す図である。 本発明の第２実施形態に係り、撮像装置の撮影動作時において実行される判定処理を説明するための図である。 本発明の第２実施形態に係り、点群とその点群に対する近似曲線の関係を示す図である。 本発明の第２実施形態に係り、撮像装置の撮影動作時において実行される判定処理を説明するための図である。 本発明の第２実施形態に係り、点群とその点群に対する近似曲線の関係を示す図である。 本発明の第２実施形態に係る、撮像装置の補正動作のフローチャートである。 本発明の第２実施形態に係り、実際の計測によって得られた角速度データ群と、その角速度データ群から導出された数式データと、その数式データから求められた推定角速度データ群と、を示す図である。 本発明の第２実施形態に係り、実際の計測によって得られた角速度データ群と、その角速度データ群から導出された数式データと、を示す図である。 従来技術に係り、手ぶれの軌跡とＰＳＦと画像復元フィルタの関係を示すと共に手ぶれ画像から復元画像が生成される様子を示す図である。 従来のフーリエ反復法を実現する部位のブロック図である。

符号の説明

１、１ａ 撮像装置
１１ 撮像部
１３、１３ａ 主制御部
１４ 内部メモリ
１６ 記録媒体
１７ａ シャッタボタン
１８ センサ部
３３ 撮像素子
３５ 光学系
５１ 手ぶれ量推定部
５２、６２ 撮影制御部
５３、６３ 記録制御部
５４、６４ 補正処理部

Claims (11)

1. 撮影によって撮像装置にて得られた静止画像である補正対象画像のぶれを画像処理によって補正するための補正用情報を記録手段に記録する記録制御手段を備えたぶれ検出装置において、
   前記補正対象画像の露光期間中における前記撮像装置の動きを検出する装置動き検出手段を備え、
   前記記録制御手段は、複数種類の補正用情報を生成可能であり、前記検出された動きに基づいて、前記記録手段に記録する前記補正用情報の種類を選択する
   ことを特徴とするぶれ検出装置。
2. 前記記録制御手段は、前記検出された動きの大きさが、比較的大きな大きさが属すべき第１範囲及び比較的小さな大きさが属すべき第２範囲の何れかに属するか否かを判断し、前記検出された動きの大きさが前記第１範囲に属する場合と前記第２範囲に属する場合とで異なる種類の補正用情報を生成し、前記検出された動きの大きさが前記第２範囲に属するとき、前記補正対象画像の補正方法を示す情報を前記補正用情報として前記記録媒体に記録する
   ことを特徴とする請求項１に記載のぶれ検出装置。
3. 前記記録制御手段は、前記検出された動きの大きさが前記第１範囲に属するとき、前記補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の一部又は全部の画像データを、前記補正用情報として前記記録媒体に記録する
   ことを特徴とする請求項２に記載のぶれ検出装置。
4. 前記装置動き検出手段は、前記補正対象画像の撮影条件に基づいて前記検出された動きの大きさを導出する
   ことを特徴とする請求項１〜請求項３の何れかに記載のぶれ検出装置。
5. 前記装置動き検出手段は、前記補正対象画像の撮影前又は撮影後に撮影される画像であ
   って且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像のエッジ強度と前記補正対象画像のエッジ強度とに基づいて、前記検出した動きの大きさを導出する
   ことを特徴とする請求項１〜請求項３の何れかに記載のぶれ検出装置。
6. 前記装置動き検出手段は、
   前記撮像装置にて撮影された時系列で並ぶ複数の静止画像の夫々を補正対象画像とし、各補正対象画像の露光期間中における前記撮像装置の動きを検出し、
   着目した補正対象画像についての前記検出された動きの大きさを、前記着目した補正対象画像の過去の補正対象画像の画像データ、及び、前記過去の補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記過去の補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の画像データ、をも用いて導出する
   ことを特徴とする請求項４または請求項５に記載のぶれ検出装置。
7. 前記装置動き検出手段は、前記補正対象画像の撮影前に撮影された画像列に着目し、前記画像列を形成する時間的に隣接する画像間の動きベクトルの大きさが一定値以下となる状態が所定時間継続して観測されたとき、その動きベクトル、前記画像列の撮影時おけるフレームレート及び前記補正対象画像の露光期間の長さに基づいて、前記補正対象画像の露光期間中における前記撮像装置の動きの大きさを導出する
   ことを特徴とする請求項１〜請求項３の何れかに記載のぶれ検出装置。
8. 前記記録制御手段は、前記補正対象画像のぶれが予め規定された類型ぶれに属するか否かを前記撮像装置の動きを計測するセンサの出力信号に基づいて判断し、その判断結果に基づいて、前記記録手段に記録する前記補正用情報の種類を選択する
   ことを特徴とする請求項１に記載のぶれ検出装置。
9. 前記記録制御手段は、
   前記補正対象画像のぶれが前記類型ぶれに属すると判断したとき、前記類型ぶれの軌跡形状及び該軌跡を描く速度状態を表す数式データを前記補正用情報として前記記録手段に記録する一方、
   前記補正対象画像のぶれが前記類型ぶれに属さないと判断したとき、前記補正対象画像の露光期間中における前記センサの出力信号を表すデータを前記補正用情報として前記記録手段に記録する
   ことを特徴とする請求項８に記載のぶれ検出装置。
10. 請求項１〜請求項９の何れかに記載のぶれ検出装置と、
    前記記録手段に記録された前記補正用情報に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えた
    ことを特徴とするぶれ補正装置。
11. 請求項１〜請求項９の何れかに記載のぶれ検出装置を備え、撮影によって画像を取得する
    ことを特徴とする撮像装置。