JP5944055B2 - 撮像装置、撮像方法及び画像処理装置 - Google Patents

Description

本発明は、撮像装置、撮像方法及び画像処理装置に係り、特に点拡がり関数に基づく復元処理を行う撮像装置、撮像方法及び画像処理装置に関する。

光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。

この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく復元処理（点像復元処理）を受けることで画質を回復することができる。復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタを用いる画像処理によって撮影画像の点拡がりをキャンセルする処理である。

この復元処理については様々な手法が提案されており、例えば特許文献１は、画像品質を劣化させずに撮影画像の回復処理を行うための撮像装置を開示する。この撮像装置は、点像広がり関数（点拡がり関数）の信頼性を判定し、その信頼性の判定結果に基づいて画像回復処理を行う。

また特許文献２は、オートフォーカス機構から被写体距離が得られない場合の画像回復精度を向上させるための画像回復装置を開示する。この画像回復装置は、被写体距離を推定し、その推定結果に基づいて回復フィルタを算出し、算出された回復フィルタを用いて画像データを回復する。

特開２００９−２６０６２２号公報 特開２０１１−２１７２７４号公報

上述の復元処理は、光学特性のひとつである、光学系による点拡がり現象（撮像光学特性）のためにボケた画像を本来のシャープな画像に復元する処理であり、画質劣化した原画像データに対して点拡がり関数に基づく復元フィルタを適用することで、画質劣化が除去された回復画像を取得する技術である。

そのため、光学系の点拡がり現象によってもたらされる画質劣化が正確に把握され、そのような画質劣化を厳密に除去可能な復元フィルタが設計され、光学系による点拡がり現象のために起こる画質劣化が原画像データに的確に反映されていれば、原理的には、「画質劣化した撮影画像」から「被写体像が忠実に再現された高画質な画像」を得ることが可能である。

したがって、被写体像を忠実に再現した回復画像を得るためには、復元処理に使用する「復元フィルタの特性」と「点拡がり現象による原画像データの画質劣化」とが適切にマッチングしていることが必要とされる。

しかしながら、被写体像や撮影機器類の特性によっては、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないことがある。

例えば、動画撮影では撮影中に被写体やカメラが動くことで、被写体距離等の撮影条件が変わって合焦位置におけるフォーカス状態が変わってしまい、デフォーカス状態になってしまうことがある。そのようなデフォーカス状態に陥っても、オートフォーカス機能が働いている場合には、フォーカス状態が自動的に回復され、主要被写体に焦点が合った動画撮影を続行することができる。

しかしながら、「被写体距離等の撮影条件の変動に伴うデフォーカス状態」から「オートフォーカス機能によるフォーカス状態の自動的な回復」までには時間を要する。その「デフォーカス状態からフォーカス状態への自動的な回復までの時間（回復処理時間）」は、撮影機器毎のオートフォーカス能力によって変動するが、その間はフォーカスが合っていない状態となる。一方、その回復処理時間の間も動画は撮影され、その間に撮影される「フォーカスが合っていない動画」に対する復元処理では、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないこととなる。このようなデフォーカス画像に対して復元処理を行うと、過補正等による画質劣化を生じることがある。したがって、デフォーカス状態に陥ってから適切なフォーカス状態への調整が行われている間に撮影される画像は、復元処理に適さない状態にある。

これは、合焦対象の被写体が定められてその被写体を追尾しながら合焦を続行する追尾オートフォーカス機能（コンティニュアスオートフォーカス機能を含む）が働いている場合も同様である。すなわち、被写体やカメラの動きに対して撮影機器の追尾能力やオートフォーカス速度が十分ではない場合、かえって「復元フィルタの特性」と「原画像データの画質劣化」が適切にマッチングしない状態が生じ易くなり、また「被写体やカメラの動きに伴うデフォーカス状態」から「追尾オートフォーカス機能によるフォーカス状態の自動的な回復」までの間に撮影される動画は「フォーカスが合っていない動画」となる。そして、そのような「フォーカスが合っていない動画」に対する復元処理で使用される復元フィルタの特性と動画の画質劣化（点拡がり現象）とは、適切にマッチングしないこととなる。

このように「点拡がり現象による原画像データの画質劣化」に対して適切にマッチングしていない復元フィルタを使用して復元処理を行うと、画質劣化を十分に取り除くことができず、場合によっては復元処理により画質劣化を助長してしまう。

上述の特許文献１及び特許文献２は、上述の課題に対する言及は全くなされておらず、そのような課題を解決するための有効な手段を開示も示唆もしていない。

本発明はこのような事情に鑑みてなされたもので、撮影中に合焦対象の被写体やカメラが動いてデフォーカス状態の画像が撮影取得されても、そのようなデフォーカス状態の画像に対する復元処理によってもたらされうる画質劣化を抑制する技術を提供することを目的とする。

本発明の一態様は、光学系により捉えた被写体の連続する複数の画像を生成する撮像部と、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、撮像部が生成する画像の被写体の被写体距離を取得する被写体距離取得部と、被写体距離取得部が取得した被写体距離に基づいて、撮像部において生成される連続する複数の画像間における、光学系の光軸方向に関する被写体の動き量を取得する動き量取得部と、動き量取得部により取得された動き量に基づいて、復元フィルタにより画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断する復元処理判断部と、復元処理判断部により復元処理の復元強度を調節して画像に対して復元処理が行われると判断された場合に、復元処理の復元強度を調節する復元強度調節部と、復元処理判断部の判断に基づいて、復元フィルタにより又は復元強度を調節して、画像に対して復元処理を実行する復元処理実行部と、を備える撮像装置に関する。

本態様によれば、被写体の動き量に基づいて、復元処理の復元強度の調節の有無又は復元処理の実行の有無が判断され、その判断結果に応じた処理が行われる。そのため、画像撮影中に被写体やカメラが動いてデフォーカス状態の画像が撮影取得されても、そのようなデフォーカス状態の画像に対する復元処理の復元強度を調節したり、復元処理を行わないことで、復元処理によってもたらされうる画質劣化を効果的に抑制したりすることができる。

なお、「光学系により捉えた被写体の連続する複数の画像」は、経時的に連続的に撮影取得される複数画像であり、連続した複数のフレームによって構成されメモリに記憶される記録動画、撮影時や撮影前後において表示部に表示されるライブビュー画像、連続したシャッター動作（連写）によって取得される複数の静止画像、等が含まれる。

本発明の他の態様は、光学系により捉えた被写体の連続する複数の画像を生成する撮像部と、被写体を追尾して、光学系のオートフォーカス制御を行うオートフォーカス部と、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、撮像部が生成する画像の被写体の被写体距離を取得する被写体距離取得部と、被写体距離取得部が取得した被写体距離に基づいて、撮像部において生成される連続する複数の画像間における、光学系の光軸方向に関する被写体の動き量を取得する動き量取得部と、画像に対して復元処理を実行する復元処理実行部と、復元処理実行部により連続する複数の画像に対して復元処理を実行する場合に、動き量取得部により取得される動き量に基づいて、被写体を追尾する光学系のオートフォーカス制御が中止される、又は継続されると判断する追尾オートフォーカス判断部と、を備える撮像装置であって、オートフォーカス部は、追尾オートフォーカス判断部により、被写体を追尾する光学系のオートフォーカス制御が中止されると判断された場合には、撮像部が生成する画像におけるフォーカスエリア内の被写体に対して、光学系のオートフォーカス制御を行う撮像装置に関する。

本態様によれば、被写体の動き量に基づいて、被写体を追尾するオートフォーカス制御の継続の有無が判断され、その判断結果に応じたオートフォーカス制御が行われる。被写体の動き量が大きい場合には追尾オートフォーカスが中止され、フォーカスエリア内の被写体に対するオートフォーカス制御が新たに行われる。本態様のようなオートフォーカス制御が行われることで、被写体の動き量が大きい場合等には追尾オートフォーカスが中止され、デフォーカス状態の画像の撮影が継続されることを回避することができる。

本発明の他の態様は、光学系により捉えた被写体の連続する複数の画像を生成する撮像部と、撮像部における画像の生成に関するフレームレートを設定するフレームレート設定部と、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、フレームレート設定部で設定されたフレームレートに基づいて、復元フィルタにより画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断する復元処理判断部と、復元処理判断部により復元処理の復元強度を調節して画像に対して復元処理が行われると判断された場合に、復元処理の復元強度を調節する復元強度調節部と、復元処理判断部の判断に基づいて、復元フィルタにより又は復元強度を調節して、画像に対して復元処理を実行する復元処理実行部と、を備える撮像装置に関する。

本態様によれば、設定されたフレームレートに基づいて、復元処理の復元強度の調節の有無又は復元処理の実行の有無が判断され、その判断結果に応じた処理が行われる。そのため、例えばフレームレートが十分に高い場合には、被写体の動きに対して各フレームで適切な撮影が可能であるため復元強度を維持した復元処理を行ってもよい。また、フレームレートが十分に高くない場合には、被写体の動きに対して各フレームで適切な撮影ができないため復元強度を弱めた復元処理を行ったり復元処理を行わないようにしたりしてもよい。これにより、復元処理による画質劣化を効果的に防ぐことができる。

望ましくは、撮像装置は、さらに、動き量取得部により取得された動き量に基づいて、復元フィルタにより画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断する復元処理判断部と、復元処理判断部により復元処理の復元強度を調節して画像に対して復元処理が行われると判断された場合に、復元処理の復元強度を調節する復元強度調節部と、を備え、復元処理実行部は、復元処理判断部の判断に基づいて、復元フィルタにより又は復元強度を調節して、画像に対して復元処理を実行する。

本態様によれば、動き量に基づいて、復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断して、画像処理が行われる。これにより、被写体の動き量に適した復元処理を実行することができる。

望ましくは、撮像装置は、さらに、撮像部における画像の生成に関するフレームレートを設定するフレームレート設定部を有し、復元処理判断部は、フレームレート設定部で設定されたフレームレート及び動き量取得部で取得される被写体の動き量に基づいて、復元フィルタにより画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断する。

本態様によれば、設定されたフレームレート及び被写体の動き量に基づいて、復元処理の復元強度の調節の有無又は復元処理の実行の有無が判断され、その判断結果に応じた処理が行われる。したがって、例えば被写体の動き量に対してフレームレートが十分に高い場合には、被写体の動きに対して各フレームで適切な撮影が可能であるため復元強度を維持した復元処理を行ってもよい。また、被写体の動き量に対してフレームレートが十分に高くない場合には、被写体の動きに対して各フレームで適切な撮影ができないため復元強度を弱めた復元処理を行ったり復元処理を行わないようにしたりしてもよい。これにより、復元処理による画質劣化を効果的に防ぐことができる。

望ましくは、復元処理判断部は、被写体がフォーカス状態である場合には、復元フィルタにより画像に対して復元処理が行われると判断し、被写体がデフォーカス状態である場合には、復元処理の復元強度を調節して画像に対して復元処理が行われると判断する。

本態様によれば、被写体がデフォーカス状態にあるかフォーカス状態にあるかに基づいて、復元処理の復元強度の調節の有無の判断が行われるため、過補正等の画質劣化を防いだ適切な復元処理を行うことができる。

望ましくは、復元処理判断部は、光学系の光軸方向の動き量及び被写体距離に基づいて、復元フィルタにより画像に対して復元処理が行われるか、又は復元処理の復元強度を調節して画像に対して復元処理が行われるかを判断する。

本態様によれば、被写体の光軸方向への動き量及び被写体距離に基づいて、復元処理の実行の有無及び復元処理の復元強度の調節の有無の判断が行われるため、被写体距離の変動に伴う「復元処理による画質劣化」をより確実に防ぐことができる。

望ましくは、復元強度調節部は、復元フィルタのフィルタ係数を調節すること又は復元処理のゲインを調節することにより、復元処理の復元強度を調節する。

本態様によれば、復元フィルタのフィルタ係数を調節すること又は復元処理のゲインを調節することにより、適切且つ簡便に復元処理の復元強度を調節することができる。

望ましくは、フィルタ取得部は、被写体の撮像に関する撮影条件に基づいて、復元フィルタを取得する。

本態様によれば、撮影条件が反映された適切な復元フィルタを取得することができる。

望ましくは、撮像装置は、さらに、ボケ画像補正処理部を有し、復元処理判断部は、画像に対して復元処理が行われないと判断された場合に、復元処理とは異なるボケ画像補正処理を行うと判断し、ボケ画像補正処理部は、復元処理判断部によりボケ画像補正処理を行うと判断された場合に、画像に対してボケ画像補正処理を行う。

本態様によれば、復元処理が行われない場合であってもボケ画像補正処理が行われるため、画像のボケが低減され、高精細な画像を得ることができる。ここでいう「ボケ画像補正処理」は、点拡がり関数に基づかない画像処理であって、画像のボケを軽減しうる各種の処理が含まれ、例えば輪郭強調処理等を含みうる。輪郭強調処理は、例えば画像の輪郭部の濃度勾配を急峻にしてシャープな画像を得る処理であり、処理対象画像の高周波成分を強調する画像処理が含まれうる。

望ましくは、光学系は、交換式である。

本態様のように交換式の光学系によって、光学系の特性が変化する場合であっても、画質劣化を抑制した適切な復元処理を行うことができる。

望ましくは、撮像装置は、さらに、表示部を有し、復元処理実行部により、復元フィルタにより又は復元強度を調節して、画像に対して復元処理を実行された画像を、表示部にライブビュー画像として表示する。

本態様によれば、ライブビュー画像に対しても、復元処理によってもたらされうる画質劣化を効果的に抑制することができる。

本発明の他の態様は、光学系により捉えた被写体の連続する複数の画像を生成する生成ステップと、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得ステップと、生成ステップが生成する画像の被写体の被写体距離を取得する被写体距離取得ステップと、被写体距離取得ステップが取得した被写体距離に基づいて、生成ステップにおいて生成される連続する複数の画像間における、光学系の光軸方向に関する被写体の動き量を取得する動き量取得ステップと、動き量取得ステップにより取得された動き量に基づいて、復元フィルタにより画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断する復元処理判断ステップと、復元処理判断ステップにより復元処理の復元強度を調節して画像に対して復元処理が行われると判断された場合に、復元処理の復元強度を調節する復元強度調節ステップと、復元処理判断ステップの判断に基づいて、復元フィルタにより又は復元強度を調節して、画像に対して復元処理を実行する復元処理実行ステップと、を含む撮像方法に関する。

本発明の他の態様は、光学系により捉えた被写体の連続する複数の画像を生成する生成ステップと、被写体を追尾して、光学系のオートフォーカス制御を行うオートフォーカスステップと、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得ステップと、生成ステップが生成する画像の被写体の被写体距離を取得する被写体距離取得ステップと、被写体距離取得ステップが取得した被写体距離に基づいて、生成ステップにおいて生成される連続する複数の画像間における、光学系の光軸方向に関する被写体の動き量を取得する動き量取得ステップと、画像に対して復元処理を実行する復元処理実行ステップと、復元処理実行ステップにより連続する複数の画像に対して復元処理を実行する場合に、動き量取得ステップにより取得される動き量に基づいて、被写体を追尾する光学系のオートフォーカス制御が中止される、又は継続されると判断する追尾オートフォーカス判断ステップと、を含む撮像方法であって、オートフォーカスステップは、追尾オートフォーカス判断ステップにより、被写体を追尾する光学系のオートフォーカス制御が中止されると判断された場合には、生成ステップが生成する画像におけるフォーカスエリア内の被写体に対して、光学系のオートフォーカス制御を行う撮像方法に関する。

本発明の他の態様は、光学系により捉えた被写体の連続する複数の画像を生成する生成ステップと、生成ステップにおける画像の生成に関するフレームレートを設定するフレームレート設定ステップと、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得ステップと、フレームレート設定ステップで設定されたフレームレートに基づいて、復元フィルタにより画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断する復元処理判断ステップと、復元処理判断ステップにより復元処理の復元強度を調節して画像に対して復元処理が行われると判断された場合に、復元処理の復元強度を調節する復元強度調節ステップと、復元処理判断ステップの判断に基づいて、復元フィルタにより又は復元強度を調節して、画像に対して復元処理を実行する復元処理実行ステップと、を含む撮像方法に関する。
本発明の他の態様は、光学系により捉えた被写体の連続する複数の画像を撮像部から取得する画像取得部と、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、撮像部から取得する画像の前記被写体の被写体距離を取得する被写体距離取得部と、被写体距離取得部が取得した被写体距離に基づいて、撮像部から取得される連続する複数の前記画像間における、光学系の光軸方向に関する被写体の動き量を取得する動き量取得部と、動き量取得部により取得された動き量に基づいて、復元フィルタにより画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理を行わないかを判断する復元処理判断部と、復元処理判断部により復元処理の復元強度を調節して画像に対して復元処理が行われると判断された場合に、復元処理の復元強度を調節する復元強度調節部と、復元処理判断部の判断に基づいて、復元フィルタにより又は復元強度を調節して、画像に対して復元処理を実行する復元処理実行部と、を備える画像処理装置に関する。また、望ましくは、被写体距離取得部は、画像データから前記画像データに記録された被写体距離を取得するものである。

本態様によれば、被写体の動き量又は設定されたフレームレートに基づいて、復元処理の復元強度の調節の有無、復元処理の実行の有無、又は追尾オートフォーカス制御の実行の有無が判断され、その判断結果に応じた処理が行われるため、復元処理によってもたらされうる画質劣化を効果的に抑制することができる。

コンピュータに接続されるデジタルカメラの概略を示すブロック図である。 カメラ本体コントローラの機能構成例を示すブロック図である。 画像撮影から復元処理までの概略を示す図である。 復元処理の一例の概略を示すブロック図である。 第１実施形態の復元処理に関わる機能ブロック図である。 動き量取得部における被写体の動き量の取得例を説明するための図である。 動き量取得部における被写体の動き量の取得例を説明するための図である。 被写体Ｑの動き量が変化例を示すグラフであり、横軸は時間Ｔを表し、縦軸は被写体距離Ｒを表す。 連続的に撮影された画像（フレーム）例を示す図であり、図８に示す「時間−被写体距離」の関係で光軸方向に移動する被写体を撮影した画像を模式的に示す。 画像調整部（復元強度調節部、復元処理実行部）における復元処理例を示す制御ブロック図である。 第１実施形態に係る復元処理の流れを示すフローチャートである。 第２実施形態の復元処理に関わる機能ブロック図である。 図１３Ａ及び図１３Ｂは追尾オートフォーカスを説明するための図であり、デジタルカメラの表示部に表示されるライブビュー画像を示す。 第２実施形態に係る復元処理の流れを示すフローチャートである。 第３実施形態の復元処理に関わる機能ブロック図である。 異なるフレームレートで生成された移動被写体Ｑの画像を説明するための図である。 第３実施形態に係る復元処理の流れを示すフローチャートである。 第３実施形態に係る復元処理の流れの一変形例を示すフローチャートである。 第４実施形態に係る復元処理の流れを示すフローチャートである。 第５実施形態の復元処理に関わる機能ブロック図である。 本発明の撮影装置の一実施形態であるスマートフォンの外観を示すものである。 図２１に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する場合について説明する。

なお、以下の例では、別体として構成される光学系１２及びカメラ本体１４が組み合わされたレンズ交換式のデジタルカメラ１０について説明するが、光学系１２及びカメラ本体１４が一体構成を有するレンズ固定式のデジタルカメラ１０に対しても、同様の画像復元処理を行うことが可能である。また、デジタルカメラ１０は、動画撮影を主たる機能とするビデオカメラであってもよいし、静止画及び動画の両者を撮影可能な撮像装置であってもよい。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。

デジタルカメラ１０は、交換可能な光学系１２と、撮像素子２６を具備するカメラ本体１４とを備え、光学系１２の光学系入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、光学系１２とカメラ本体１４とは電気的に接続される。

光学系１２は、レンズ１６や絞り１７等の光学部材と、この光学部材を制御する光学系操作部１８とを具備する。光学系操作部１８は、光学系入出力部２２に接続される光学系コントローラ２０と、光学部材を操作するアクチュエータ（図示省略）とを含む。光学系コントローラ２０は、光学系入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学部材を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

したがって、デジタルカメラ１０の撮像部１１は光学系１２及び撮像素子２６を含み、光学系１２により捉えた被写体の連続する複数の画像（記録動画、ライブビュー画像、連写モードにおける連続撮影画像、等を含む。以下、単に「連続画像」とも表記する。）を撮像素子２６によって生成することも可能である。

撮像装置１０は、ユーザインターフェース３７を介して撮影モードとして動画撮影モードが選択され、ユーザインターフェース３７に含まれるシャッタボタン（図示せず）が「全押し」されると、動画の録画を開始し、シャッタボタンが再度「全押し」されると、録画を停止して待機状態にする。

また、動画撮影モードが選択されている場合には、デバイス制御部３４による含まれる自動焦点制御部（図示せず）により光学系コントローラ２０を介して焦点調節が連続して行われ、かつデバイス制御部３４による含まれる自動露出制御部（図示せず）により自動露出制御（ＡＥ）が行われる。なお、自動焦点制御部による自動焦点調節（ＡＦ）は、位相差ＡＦ方式、コントラストＡＦ方式など公知の方式を使用できる。

一方、撮像装置１０は、撮影モードとして静止画撮影モードが選択され、シャッタボタンが「半押し」されると、ＡＦ／ＡＥ制御を行う撮影準備動作を行い、シャッタボタンが「全押し」されると、静止画の撮像及び記録を行う。

なお、例えば後述するスマートフォンのような携帯撮像装置など撮像装置の形態によっては、撮影準備指示部や画像の記録指示部はシャッタボタンのような「半押し」「全押し」可能な２段ストローク式のスイッチに限られず、撮影準備指示を受ける機能、画像の記録指示を受ける機能を有するものであればよく、別個のボタンを有する形態、別個のタッチ入力操作受付け部を有する形態でもよく、また音声入力や視線入力などで撮影準備指示や画像の記録指示を受けるようにしてもよい。

撮像素子２６は、集光用マイクロレンズ、ＲＧＢ等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有する。撮像素子２６は、光学系１２により捉えられた被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。

このように、撮像素子２６は、光学系１２を用いた撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理装置に送信される。なお、撮像素子２６が生成する原画像データには、被写体の連続する複数の画像が含まれる。

カメラ本体コントローラ２８は、カメラ本体１４を統括的に制御し、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御したり、光学系１２を制御するための制御信号を生成してカメラ本体入出力部３０を介して光学系１２（光学系コントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信したりする。また、デバイス制御部３４は、表示部３３（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。加えて、本例の画像処理部３５は、光学系１２の点拡がり関数に基づく復元処理を画像信号（原画像データ）に対して行う復元処理部３６を含む。復元処理の詳細は後述する。

なお、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザインターフェース３７を介して撮影等のための各種設定を適宜決定及び変更することができる。ユーザインターフェース３７は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザからの命令によって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２に接続されるコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信制御をしたりする。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等がディスプレイ６６に必要に基づいて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力し、コンピュータ６０を制御したり、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御したりすることができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に基づいてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードしたり、演算処理を行ってその演算結果をコンピュータ６０に送信したりする。

各コントローラ（光学系コントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の復元処理について説明する。

本例では、カメラ本体１４（カメラ本体コントローラ２８）において復元処理が実施される例について説明するが、復元処理の全部又は一部を他のコントローラ（光学系コントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

復元処理は、光学系１２を用いた撮影により撮像素子２６から取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを取得する処理である。

図３は、画像撮影から復元処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系１２を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。

このボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して復元フィルタＦを用いた復元処理Ｐ１０を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

復元処理Ｐ１０で用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、所定の復元フィルタ算出アルゴリズムＰ２０によって得られる。図３における符号αは撮影条件に応じた点像情報を表し、この光学系の点像情報である点拡がり関数は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際には、これらの撮影条件が取得される。

図４は、復元処理の一例の概略を示すブロック図である。

上述のように復元処理Ｐ１０は、復元フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数を表す）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、復元処理を行うことができる。図４における符号βは、処理対象画素データに適用するタップ（フィルタ係数）を表す。

なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。

上述の復元処理は、連続撮影された複数の画像（連続画像）に対しても行うことができる。連続画像に対して復元処理を行う場合は、連続画像を構成する複数の画像の各々（各フレーム）対して、復元処理が行われる。

なお、復元処理を行う原画像データとしては、ＲＧＢの各色の画像データや、ＲＧＢの各色の画像データからＲＧＢ／ＹＣｒＣｂ変換により得られる輝度信号（Ｙデータ）などを適用することができる。

さらに、復元処理を行うタイミングは特に限定されず、原画像データとして、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行ってもよく「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

＜第１実施形態＞
本実施形態では、光学系１２の光軸方向に関する「被写体の動き量」に基づいて、復元処理をコントロールし、デフォーカス状態の画像に対する復元処理によってもたらされうる過補正等の画質劣化を回避する例について説明する。

図５は、第１実施形態の復元処理に関わる機能ブロック図であり、画像処理部３５（図２参照）によって構成される各種の機能ブロックを示す。なお、図中の機能ブロックは、必ずしも別体として設けられる必要はなく、一体的に構成されるハードウェア及び／又はソフトウェアによって複数の機能ブロックを実現してもよい。

画像処理部３５は、画像調整部１００、被写体距離取得部１１５、動き量取得部１２０、復元処理判断部１２５、フィルタ取得部１３０を備え、画像調整部１００は、復元強度調節部１１０及び復元処理実行部１０５を含む。

被写体距離取得部１１５は、撮像部１１の撮像素子２６が生成する画像の被写体（主要被写体）の被写体距離を取得し、被写体距離の情報を動き量取得部１２０に送る。被写体距離の取得手法は、特に限定されず、様々な手法を採用することができる。例えば、被写体距離取得部１１５は、図示しない測距センサにより直接的に測定される被写体距離を取得してもよいし、フォーカスレンズの位置（フォーカスレンズの駆動パルス等）等から間接的に被写体距離を算出取得してもよい。

動き量取得部１２０は、被写体距離取得部１１５から送られてくる被写体距離に基づいて、連続する画像間における被写体（主要被写体）の動き量、特に光学系の光軸方向に関する被写体の動き量を取得する。すなわち、動き量取得部１２０は、被写体距離取得部１１５によって取得された被写体距離と、撮像部１１（撮像素子２６）から取得される連続する複数の画像（連続画像）の情報とに基づいて、連続する画像間で被写体が光軸方向にどの程度動いたかの情報を取得する。

図６及び図７は、動き量取得部１２０における被写体の動き量の取得例を説明するための図である。図６には、連続取得された二枚の画像Ｓ（ｔ）及び画像Ｓ（ｔ＋１）であって、焦点が合った状態の連続画像が示されている。一方、図７には、連続取得された二枚の画像Ｓ（ｔ）及び画像Ｓ（ｔ＋１）であって、焦点が合った状態の画像Ｓ（ｔ）と焦点が合っていない状態の画像Ｓ（ｔ＋１）が示されている。

図６に示す例では、時間（ｔ）において撮影された画像（単フレーム）Ｓ（ｔ）は、被写体Ｑ（主要被写体）までの被写体距離が１ｍの条件下で取得され、時間（ｔ＋１）において撮影された画像Ｓ（ｔ＋１）は、被写体Ｑまでの被写体距離が２ｍの条件下で取得されている。したがって本例では、連続する画像（フレーム）間で光学系の光軸方向に被写体Ｑが１ｍ動いており、動き量取得部１２０は、連続する画像Ｓ（ｔ）、Ｓ（ｔ＋１）間における被写体Ｑの動き量が１ｍであるという情報を取得する。

一方、図７に示す例では、時間（ｔ）において撮影された画像Ｓ（ｔ）は、被写体Ｑまでの被写体距離が１ｍの条件下で取得され、時間（ｔ＋１）において撮影された画像Ｓ（ｔ＋１）は、被写体Ｑまでの被写体距離が３ｍの条件下で取得されている。したがって本例では、連続する画像（フレーム）間で光学系の光軸方向に被写体Ｑが２ｍ動いており、動き量取得部１２０は、連続する画像Ｓ（ｔ）、Ｓ（ｔ＋１）間における被写体Ｑの動き量が２ｍであるという情報を取得する。

図８は、被写体Ｑの動き量が変化例を示すグラフであり、横軸は時間Ｔを表し、縦軸は被写体距離Ｒを表す。本例において、時間「０」から「Ｓ（ｔ１）」までの間は被写体距離は一定であり（図８の「Ｒ（ｔ１）」参照）、被写体Ｑとデジタルカメラ１０との相対的な距離は変わらずに同じである。そして、時間「Ｓ（ｔ１）」から「Ｓ（ｔ２）」までの間は、被写体距離は比例的に増加し（図８の「Ｒ（ｔ１）」及び「Ｒ（ｔ２）」参照」）、被写体は一定の速度で光軸方向（奥行き方向）へ移動している。そして、時間「Ｓ（ｔ２）」から「Ｓ（ｔ３）」までの間は被写体距離は一定であり（図８の「Ｒ（ｔ２）」参照）、被写体Ｑとデジタルカメラ１０との相対的な距離は変わらずに同じである。

図９は、連続的に撮影された画像（フレーム）例を示す図であり、図８に示す「時間−被写体距離」の関係で光軸方向に移動する被写体を撮影した画像を模式的に示す。なお、図９は、説明の都合上、実際のフレーム数よりも少ないフレーム数によって、連続する複数の画像を表現している。また、図９の各フレームにおいて、実線で表されている被写体Ｑは焦点が合っている状態で撮像されたことを示し（図９の「Ａ」及び「Ｃ」参照）、点線で表されている被写体Ｑは焦点が合っていない状態（デフォーカス状態）で撮像されたことを示す（図９の「Ｂ」参照）。

図９の「Ａ」は、時間「０」から「Ｓ（ｔ１）」までの間に撮影されたフレーム群を示す。上述のように、この時間「０」から「Ｓ（ｔ１）」までの間、被写体距離Ｒ（ｔ１）は一定となっており、被写体Ｑとデジタルカメラ１０との相対距離は変動せず、被写体Ｑの動き量は「０」となる。

図９の「Ｂ」は、時間「Ｓ（ｔ１）」から「Ｓ（ｔ２）」までの間に撮影されたフレーム群を示す。上述のように、この時間「Ｓ（ｔ１）」から「Ｓ（ｔ２）」までの間、被写体Ｑは被写体距離「Ｒ（ｔ１）」から「Ｒ（ｔ２）」まで一定の速度で光軸方向（奥行き方向）に移動し、被写体Ｑの動き量は「Ｓ（ｔ２）−Ｓ（ｔ１）」によって表される。したがって、この時間「Ｓ（ｔ１）」から「Ｓ（ｔ２）」までの間のフレーム数を「Ｅ」とすると、この時間における連続フレーム間の被写体の光軸方向への動き量Ｌは、下記の式で表される。

Ｌ＝｛Ｒ（ｔ２）−Ｒ（ｔ１）｝／Ｅ
なお、図９の「Ｂ」で示されるフレーム群は、被写体Ｑの光軸方向への動き量（移動量）が大きいため、被写体Ｑがデフォーカス状態になっている画像（フレーム）によって構成される。

図９の「Ｃ」は、時間「Ｓ（ｔ２）」から「Ｓ（ｔ３）」までの間に撮影されたフレーム群を示す。上述のように、この時間「Ｓ（ｔ２）」から「Ｓ（ｔ３）」までの間、被写体距離Ｒ（ｔ２）は一定となっており、被写体Ｑとデジタルカメラ１０との相対距離は変動せず、被写体Ｑの動き量は「０」となる。

なお、図９の例では、被写体の動き量は被写体距離に基づいて求めているが、これに限定されるものではない。例えば、画像における被写体Ｑの像の面積の変化によって、動き量を求めてもよい。具体的には、顔検出を行い、その顔の面積が変化することによって動き量を求めてもよい。

復元処理判断部１２５（図５参照）は、動き量取得部１２０により取得された被写体Ｑの光軸方向への動き量に基づいて、「画像（連続画像を構成する各画像）に対して通常の復元強度の復元処理を行うか」、「画像に対して復元強度を調節した復元処理を行うか」、又は「画像に対して復元処理を行わないか」を判断する。このような判断を行うことによって、復元処理を行うことにより発生する画像の画質の劣化を抑制することができる。

具体的な判断方法として、復元処理判断部１２５は、例えば被写体Ｑの動き量に関する閾値を有し、その動き量に関する閾値と動き量取得部１２０から取得した被写体Ｑの動き量とを比較することにより、上述の復元処理に関する判断を行うことが可能である。なお、動き量に関する閾値は、被写体Ｑ、被写体距離、撮影条件、カメラの機能等に応じた値に設定することが可能である。動き量に関する閾値としては、例えば被写体距離の５０％程度と設定できる。また、閾値は被写体距離に基づいて設定してもよく被写体距離が近いほど閾値を小さく設定するとよい。例えば被写体距離が１ｍ未満の範囲では閾値を被写体距離の３０％に、１ｍ以上の範囲では４０％、５ｍ以上の範囲では５０％と設定できる。また、動き量に関する閾値は、絞り値に基づいて異なる値にしてもよく絞り値が小さいほど閾値を小さく設定するとよい。例えば絞り値がＦ４未満の場合は閾値として被写体距離の３０％、絞り値がＦ４以上の場合は閾値として被写体距離の４０％、絞り値がＦ１１以上の場合は被写体距離の５０％と設定できる。更に、動き量に関する閾値は、被写体距離に基づいて設定された閾値に対し、絞り値に応じた補正係数をかけるよう設定しても良い。例えば、絞り値がＦ４未満の場合は設定された閾値に対し０．５倍、絞り値がＦ４以上の場合は設定された閾値の０．７倍、絞り値がＦ１１以上の場合は設定された閾値の１倍と設定できる。

復元処理判断部１２５は、動き量取得部１２０で取得した被写体Ｑの動き量が閾値よりも大きい場合には、復元処理を行わないと判断する。これは、動き量取得部１２０で取得した被写体Ｑの動き量が閾値よりも大きいと、撮影画像がデフォーカス状態である可能性が高く（図７及び図９参照）、デフォーカス状態の撮影画像に対して復元処理を行うと過補正等の画質劣化を招く可能性があるからである。

一方、復元処理判断部１２５は、動き量取得部１２０で取得した被写体Ｑの動き量が閾値以下の場合には、復元処理を行うと判断する。これは、動き量取得部１２０で取得した被写体Ｑの動き量が閾値以下だと、撮影画像がフォーカス状態である可能性が高く、フォーカス状態の撮影画像に対して復元処理を行うことで、画質の向上を期待することができるからである。

なお、復元処理判断部１２５は、被写体Ｑの動き量に基づいて、復元処理の復元強度を調節し、被写体Ｑの動き量が閾値よりも大きい場合には復元強度を、通常の場合（被写体Ｑの動き量が閾値以下の場合）よりも弱めてもよい。これは、復元処理の復元強度が強過ぎると、過補正等による画質劣化を招く可能性があるからである。

また、復元処理判断部１２５は、被写体Ｑの動き量及び被写体距離の両者に基づいて、通常の復元フィルタによって通常の復元強度で画像に対して復元処理が行われるか、復元処理の復元強度を調節した上で画像に対して復元処理が行われるかを、判断してもよい。被写体Ｑの動き量及び被写体距離の両者に基づいて、復元処理の実行の有無及び復元処理の復元強度の調節の有無の判断が行われるため、被写体距離の変動に伴う「復元処理による画質劣化」をより確実に防ぐことができる。

すなわち、被写体Ｑの動き量が同じであっても、被写体距離が大きい（すなわち被写体Ｑがデジタルカメラ１０から遠い場所にある）場合と、被写体距離が小さい（すなわち被写体Ｑがデジタルカメラ１０から近い場所にある）場合とでは、復元処理に画質劣化の程度が異なる。したがって、復元処理判断部１２５は、被写体Ｑの動き量に加えて被写体距離を考慮して復元処理の手法を調節することで、より詳細な復元処理の実施を行うことができる。

フィルタ取得部１３０は、撮影条件等に基づいて、復元処理に使用する復元フィルタを取得する。すなわち、フィルタ取得部１３０は、撮影条件に基づいて光学系１２の点像分布に関する伝達関数（点拡がり関数）に対応して生成された復元フィルタを取得する。フィルタ取得部１３０は、様々な方法により復元フィルタを取得することができる。例えば、フィルタ取得部１３０は、撮影条件から復元フィルタを算出してもよい。また、フィルタ取得部１３０は、予め複数の復元フィルタを図示しないメモリに保持しておき、その保持された複数の復元フィルタの中から撮影条件に適合する復元フィルタを選択してもよい。

画像調整部１００は、復元強度調節部１１０と復元処理実行部１０５とを含む。なお、画像調整部１００には、復元強度調節部１１０及び復元処理実行部１０５以外の機能を持たせても良い。

復元強度調節部１１０は、復元処理の復元強度を調節する。例えば復元処理判断部１２５が調節された復元強度によって復元処理を行うと判断した場合、復元強度調節部１１０は、復元処理の復元強度を調節する。復元強度調節部１１０は、様々な方法により復元強度の調節を行うことができ、例えば復元フィルタのフィルタ係数を変えることにより、復元強度を調節することができる。フィルタ取得部１３０により取得された復元フィルタのフィルタ係数は、動き量取得部１２０が取得した被写体Ｑの動き量に基づいて変更することも可能である。

復元処理実行部１０５は、入力される連続画像（動画等）に対し、フィルタ取得部１３０からの復元フィルタを適用することで復元処理を行う。なお、復元処理は、広義には、画像データに対する復元フィルタを適用する処理（フィルタ適用処理）と、復元フィルタ適用後の画像データ（復元画像データ）と原画像データとの差の増幅率（復元ゲイン）を調整する処理とが含まれうる。

図１０は、画像調整部１００（復元強度調節部１１０、復元処理実行部１０５）における復元処理例を示す制御ブロック図である。

まず、復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）、復元画像データＤｒ１が算出される。原画像データＤｏに適用される復元フィルタＦは、光学系（レンズ１６、絞り１７等）の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づくものであれば特に限定されず、実空間フィルタであっても周波数空間フィルタであってもよい（図４参照）。

その後、復元処理前後の画像データの差分が導出され（差分導出処理Ｐ_ｄ）、この差分に対する増幅率（復元ゲイン）の調整が行われる（ゲイン調整処理Ｐ_ｇ）。すなわち、差分導出処理Ｐ_ｄでは、フィルタ適用処理Ｐ_ｆを経た復元画像データＤｒ１と原画像データＤｏとの差分データΔＤ（ΔＤ＝Ｄｒ１−Ｄｏ）が算出される。そしてゲイン調整処理Ｐ_ｇでは、この差分データΔＤの増幅率（復元ゲイン）Ｇの調整が行われて増幅率調整後差分値（Ｇ×ΔＤ）が算出され、この増幅率調整後差分値（Ｇ×ΔＤ）と原画像データＤｏとの加算処理Ｐａが行われて回復画像データＤｒ２が算出される（Ｄｒ２＝Ｄｏ＋Ｇ×ΔＤ）。なお復元処理として、上記手法と同様な他の手法を採用してもよく、例えば次のような処理としてもよい。復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）、復元画像データＤｒ１が算出される。その後、ゲイン調整処理Ｐ_ｇとしてこの復元画像データＤｒ１に増幅率（復元ゲイン）Ｇの調整が行われ(Ｄｒ１×Ｇ)、これと原画像データＤｏに（１−Ｇ）が乗算されたものとの加算処理Ｐａが行われて回復画像データＤｒ２が算出されるようにしてもよい。

このように、復元処理による復元強度は、フィルタ適用処理Ｐ_ｆにおける復元フィルタ（フィルタ係数）と、ゲイン調整処理Ｐ_ｇにおける増幅率（復元ゲイン）Ｇとに基づいて変動する。そのため、復元処理の復元強度の調整は、「フィルタ適用処理Ｐ_ｆで用いる復元フィルタ（フィルタ係数）の切り替え」及び／又は「ゲイン調整処理Ｐ_ｇにおける増幅率（復元ゲイン）Ｇの変更」によって実行可能である。

したがって、復元強度調節部１１０（図５参照）は、復元フィルタＦのフィルタ係数を調節したり復元ゲインＧを調節したりすることによって、復元処理の復元強度を調節することができる。

次に、上述の機能ブロックを有する画像処理部３５（復元処理部３６）によって行われる、復元処理フローについて説明する。

図１１は、第１実施形態に係る復元処理の流れを示すフローチャートである。

まず、デジタルカメラ１０の撮像部１１では、被写体を光学系１２により捉え、被写体の連続する複数の画像が生成され（図１１のステップＳ１０：生成ステップ）、被写体距離取得部１１５において被写体距離が取得される（ステップＳ１２：被写体距離取得ステップ）。そして、動き量取得部１２０によって被写体Ｑの動き量が取得され（ステップＳ１４：動き量取得ステップ）、その後、復元処理判断部１２５において、処理対象フレーム（処理対象画像）に対して復元処理を行うか否かが判断される（ステップＳ１６：復元処理判断ステップ）。

復元処理を行わないと判断される場合（ステップＳ１６のＮｏ）、復元処理はスキップされ、必要に基づいて他の画像処理が行われる。一方、復元処理を行うと判断される場合（ステップＳ１６のＹｅｓ）、フィルタ取得部１３０により復元フィルタが取得され、取得された復元フィルタが画像調整部１００に送られる（ステップＳ１８：フィルタ取得ステップ）。そして、復元処理判断部１２５は、復元強度の調整を行うか否かを判断する（ステップＳ２０：復元処理判断ステップ）。

復元強度の調整を行わないと判断される場合（ステップＳ２０のＮｏ）、復元処理実行部１０５は、復元フィルタ取得ステップ（Ｓ１８）で取得した復元フィルタを使用して処理対象フレームに対する復元処理を行う（ステップＳ２４：復元処理実行ステップ）。一方、復元フィルタの調整を行うと判断される場合（ステップＳ２０のＹｅｓ）、復元強度調節部１１０は、復元処理の復元強度を調整する（ステップＳ２２：復元強度調節ステップ）。その後、復元処理実行部１０５は、復元処理の復元強度が調節された状態で、復元処理を行う（ステップＳ２４：復元処理実行ステップ）。

なお、復元処理を行うか否かの判断（Ｓ１６）、復元強度の調整を行うか否かの判断（Ｓ２０）及びこれらの判断に伴う他の処理は、連続画像を構成する画像（フレーム）毎に行われ、画像単位で復元処理の最適化が行われる。

以上説明したように、上述の第１実施形態によれば、被写体Ｑの動き量に基づいて復元処理の実施の仕方が調節され、復元処理による画質向上を図る一方で、デフォーカス状態の画像に対する復元処理によってもたらされうる過補正等の画質劣化を有効に回避することができる。

＜第２実施形態＞
本実施形態では、光学系１２の光軸方向に関する「被写体の動き量」に基づいて、オートフォーカス（追尾オートフォーカス）をコントロールし、デフォーカス状態の画像に対する復元処理によってもたらされうる過補正等の画質劣化を回避する例について説明する。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

図１２は、第２実施形態の復元処理に関わる機能ブロック図であり、画像処理部３５（図２参照）によって構成される各種の機能ブロックを示す。本実施形態の画像処理部３５は、上述の第１実施形態に係る機能ブロックに加え（図５参照）、オートフォーカス部１４０と追尾オートフォーカス判断部１４５とを有する。

オートフォーカス部１４０は、被写体Ｑを追尾し且つ被写体Ｑに対してオートフォーカスするように、光学系コントローラ２０（図１参照）を介して光学系１２を制御する。すなわち、オートフォーカス部１４０は、被写体Ｑの動きに基づいて被写体Ｑを捉えるフォーカスエリアを変え、被写体Ｑに常にフォーカスが合うように光学系１２を制御する。

図１３Ａ及び図１３Ｂは、追尾オートフォーカスを説明するための図であり、デジタルカメラ１０の表示部３３（図１参照）に表示される、ライブビュー画像を示す。

本例では、追尾オートフォーカスが働いている間、フォーカスエリアＮが、被写体Ｑの移動に合わせて被写体Ｑを追尾し、被写体Ｑを追尾している間は、被写体Ｑに対して常にフォーカスが合うようにオートフォーカスされる。一方、追尾オートフォーカスが中断されるとフォーカスエリアＮは、予め決められた位置に配置され、その位置でのオートフォーカスを行う。ここで、予め決められた位置とは、画像の中央部でも良いし、追尾オートフォーカスが中断された位置でもよい。

図１３Ａに示すライブビュー画像は、表示部３３の上方向（図１３Ａ及び図１３ＢのＹ方向）に被写体Ｑが移動した場合を示し、図１３Ｂに示すライブビュー画像は、被写体ＱがＸ方向及びＺ方向に移動した場合を示す。これらのライブビュー画像である図１３Ａ、及び図１３Ｂに示されるように、フォーカスエリアＮは、被写体Ｑの移動に合わせて被写体Ｑを追尾する。

ただし、被写体Ｑの動きが非常に速い場合等、被写体Ｑの動きに対してデジタルカメラ１０のオートフォーカスの性能が十分ではない場合、被写体Ｑにフォーカスを合わせ続けることができず、撮影画像がデフォーカス状態となることがある。

図１２の追尾オートフォーカス判断部１４５は、動き量取得部１２０により取得される被写体Ｑの動き量に基づいて、被写体Ｑを追尾する光学系１２のオートフォーカス制御が中止される又は継続されると、判断する。具体的には、追尾オートフォーカス判断部１４５は、被写体Ｑの動き量に関する閾値を有し、その閾値と被写体Ｑの動き量とを比較することにより、被写体Ｑを追尾してオートフォーカスするか否かを判断する。

例えば被写体Ｑの動き量が閾値よりも大きい場合、追尾オートフォーカス判断部１４５は、追尾オートフォーカスを止めると判断する。その場合、オートフォーカス部１４０は、撮像部１１が生成する画像におけるフォーカスエリア内の被写体Ｑに対して、光学系１２のオートフォーカス制御を新たに行う。一方、被写体Ｑの動き量が閾値以下の場合、追尾オートフォーカス判断部１４５は、追尾オートフォーカスを継続すると判断する。そして、オートフォーカス部１４０は、被写体の追尾を継続して、光学系１２のオートフォーカス制御（追尾オートフォーカス制御）を行う。

なお、図１２では、復元処理判断部１２５及び復元強度調節部１１０を有する撮像装置１０に関して説明を行っているが、これに限定されるものではない。例えば、撮像装置１０は、復元処理判断部１２５及び復元強度調節部１１０が無い態様も考えられる。この態様では、復元処理実行部１０５により連続する複数の画像に対して復元処理が行われる場合に、追尾オートフォーカス判断部１４５は、動き量取得部１２０から取得する動き量に基づいて、被写体を追尾する光学系のオートフォーカス制御を中止するか、又は被写体を追尾する光学系のオートフォーカス制御を継続するかを判断する。このように動き量取得部１２０から取得する動き量が大きい場合に、復元処理実行部１０５による連続する複数の画像に対する復元処理を優先し追尾オートフォーカスを止めるように制御することで、被写体Ｑの動きが非常に速い場合等、被写体Ｑの動きに対してデジタルカメラ１０のオートフォーカスの性能が十分ではない場合に、被写体Ｑにフォーカスを合わせ続けることができず撮影画像がデフォーカス状態になり、復元処理により画質劣化を助長してしまうことを防ぐことができる。またユーザから制御モードの指定を受付けることで、このような復元処理を優先し追尾オートフォーカスを止める制御と、オートフォーカスを優先し復元処理の復元強度を調整する制御とを切替えるようにしてもよい。

図１４は、第２実施形態に係る復元処理の流れを示すフローチャートである。

まず、撮像部１１は追尾対象の被写体Ｑの連続する複数の画像を取得し（図１４のステップＳ２６）し、被写体距離取得部１１５は追尾対象の被写体Ｑの被写体距離を取得する（ステップＳ２８）。そして、動き量取得部１２０は被写体の動き量を取得し（ステップＳ３０）、追尾オートフォーカス判断部１４５は、取得された被写体Ｑの動き量に基づいて、追尾オートフォーカスを継続するか否かを判断する（ステップＳ３２）。

追尾されている被写体Ｑの動き量がある閾値より大きい場合、追尾オートフォーカス判断部１４５は追尾オートフォーカスを継続しないと判断し（ステップＳ３２のＮｏ）、オートフォーカス部１４０は追尾オートフォーカスを解除してフォーカスエリア内の被写体を新たなオートフォーカス対象とし、連続画像が取得される（ステップＳ４４）。その後、被写体距離取得部１１５は、被写体距離を取得する（ステップＳ４６）。その後、動き量取得部１２０は被写体Ｑの動き量を取得し（ステップＳ４８）、復元処理判断部１２５は復元処理を行うか否かを判断する（ステップＳ３４）。

一方、追尾対象の被写体Ｑの動き量が閾値以下の場合、追尾オートフォーカス判断部１４５は追尾オートフォーカスを継続すると判断し（ステップＳ３２のＹｅｓ）、復元処理判断部１２５は復元処理を行うか否かの判断を行う（ステップＳ３４）。

復元処理判断部１２５が復元処理を行わないと判断した場合（ステップＳ３４のＮｏ）は、復元処理はスキップされ、必要に基づいて他の画像処理が行われる。一方、復元処理判断部１２５が復元処理を行うと判断した場合（ステップＳ３４のＹｅｓ）は、フィルタ取得部１３０により復元フィルタを取得する（ステップＳ３６：フィルタ取得ステップ）。そして、復元処理判断部１２５は、復元処理の復元強度の調整を行うか否かを判断する（ステップＳ３８：復元処理判断ステップ）。

復元処理の復元強度の調整を行わないと判断された場合（ステップＳ３８のＮｏ）、復元処理実行部１０５は、復元フィルタ取得ステップ（Ｓ３６）で取得した復元フィルタを使用して画像（フレーム）に復元処理を行う（ステップＳ４２：復元処理実行ステップ）。一方、復元処理復元フィルタの調整を行うと判断された場合（ステップＳ２０のＹｅｓ）、復元強度調節部１１０は復元処理の復元強度を調整し（ステップＳ４０：復元強度調節ステップ）、復元処理実行部１０５は復元処理の復元強度が調節された状態で復元処理を行う（ステップＳ４２：復元処理実行ステップ）。

以上説明したように、上述の第２実施形態によれば、追尾オートフォーカスを行って被写体Ｑを撮像する場合であっても、適切に復元処理を行うことができる。

＜第３実施形態＞
本実施形態では、「フレームレート」に基づいて復元処理をコントロールし、復元処理によってもたらされうる画質劣化を回避する例について説明する。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

図１５は、第３実施形態の復元処理に関わる機能ブロック図であり、画像処理部３５（図２参照）によって構成される各種の機能ブロックを示す。本実施形態の画像処理部３５は、上述の第１実施形態に係る機能ブロックに加え（図５参照）、フレームレート設定部１５０を有する。

フレームレート設定部１５０は、撮像部１１における動画等の連続画像の生成に関するフレームレートを設定し、撮像素子２６による連続する複数の画像の生成を制御する。フレームレートは、単位時間あたりのフレーム数（画像数、コマ数）であり、一般的には１秒間に生成されるフレーム数（単位：ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））によって表される。例えば、フレームレートが３０ｆｐｓの場合、１秒間に３０枚の画像の生成が行われる。

また、フレームレート設定部１５０において設定されるフレームレートは、ユーザインターフェース３７を介してユーザからの指示により決定されたフレームレートであってもよいし、予め決められたフレームレートであってもよい。

復元処理判断部１２５は、フレームレート設定部１５０で設定されたフレームレートに基づいて、画像に対して復元処理が行われるか、復元処理の復元強度を調節して画像に対して復元処理が行われるか、又は画像に対して復元処理が行われないかを判断する。すなわち、復元処理判断部１２５は、画像に対応するフレームレートをフレームレート設定部１５０から取得し、そのフレームレートで生成された画像に対して、復元処理を行うか否か、又は復元処理の復元強度を調節して復元処理を行うかを判断する。

復元処理判断部１２５は、例えばフレームレートに関する閾値を有し、そのフレームレートに関する閾値とフレームレート設定部１５０から取得したフレームレートとを比較することにより、復元処理に関する判断を行う。なお、フレームレートに関する閾値は、被写体Ｑ、被写体距離、撮影条件、カメラの機能等により様々に設定することが可能であり、例えばフレームレートに関する閾値を３０ｆｐｓ又は６０ｆｐｓに設定してもよい。

フレームレート設定部１５０で取得したフレームレートが閾値よりも大きい場合、復元処理判断部１２５は復元処理を行うと判断する。これは、フレームレート設定部１５０で取得したフレームレートが閾値よりも大きい場合には、フレーム間での被写体Ｑの動き量が比較的小さくなり、被写体Ｑの撮影画像がフォーカス状態となる可能性が高く、復元処理を行っても画質の劣化を招く可能性が低いからである。そして、復元処理を行なうことによって、画質のさらなる向上が期待できる。

一方、フレームレート設定部１５０で取得したフレームレートが閾値以下の場合、復元処理判断部１２５は、復元処理を行わないと判断する。これは、フレームレート設定部１５０で取得したフレームレートが閾値以下の場合には、フレーム間での被写体Ｑの動き量が比較的大きくなり、被写体Ｑの撮影画像がデフォーカス状態となる可能性が高く、デフォーカス状態の画像に対して復元処理を行うと、画質の劣化を招く恐れがあるからである。

さらに、復元処理判断部１２５は、フレームレートに基づいて、復元処理の復元強度を調節してもよい。フレームレートによっては被写体Ｑの撮影画像のフォーカス状態が不完全な可能性があり、その場合に、復元処理の復元強度を調節することにより、デフォーカス状態の画像に対して復元処理を行うことによる画質の劣化を防ぐことができる。

次に、フレームレートと被写体Ｑの動き量との関係について説明する。

図１６は、異なるフレームレートで生成された移動被写体Ｑの画像を説明するための図であり、被写体距離１１０ｃｍから被写体距離１２０ｃｍまでの被写体Ｑの移動を高フレームレート（例えば６０ｆｐｓ）で撮影した場合（図１６の符号「９００」参照）と低フレームレート（例えば３０ｆｐｓ）撮影した場合（図１６の符号「９０５」参照）とを示す。

図１６に示す高フレームレート画像例では、被写体Ｑが被写体距離１１０ｃｍから被写体距離１２０ｃｍまで動く間に、被写体距離１１０ｃｍのフレーム、被写体距離が１１５ｃｍのフレーム、及び被写体距離１２０ｃｍのフレームが生成される。したがって、フレーム間の被写体Ｑの動き量は、５ｃｍとなる。

一方、図１６に示す低フレームレート画像例では、被写体Ｑが被写体距離１１０ｃｍから被写体距離１２０ｃｍまで動く間に、被写体距離１１０ｃｍのフレーム及び被写体距離１２０ｃｍのフレームが生成される。したがって、フレーム間の被写体Ｑの動き量は、１０ｃｍとなる。

このように、同じ距離（被写体距離１１０ｃｍから被写体距離１２０ｃｍまでの距離）を移動する被写体Ｑを撮影する場合であっても、フレームレートが異なれば、フレーム間の被写体Ｑの動き量が異なる。したがって、復元処理判断部１２５がフレームレートを参照して復元処理の実行に関して判断をすることにより、復元処理による画質の向上を実現し且つ復元処理による画質の劣化を抑制することができる。

図１７は、第３実施形態に係る復元処理の流れを示すフローチャートである。

まず、フレームレート設定部１５０は、撮像部１１の撮像素子２６が生成する連続画像のフレームレートを設定し（図１７のステップＳ４４：フレームレート設定ステップ）、復元処理判断部１２５は、フレームレート設定部１５０で設定されたフレームレートを基に、復元処理を行うか否かの判断をする（ステップＳ４６：復元処理判断ステップ）。

復元処理判断部１２５が復元処理を行わないと判断した場合（ステップＳ４６のＮｏ）、復元処理は行われず、必要に応じて他の画像処理が行われる。一方、復元処理判断部１２５が復元処理を行うと判断した場合（ステップＳ４６のＹｅｓ）、撮像部１１は、設定されたフレームレートにより連続する複数の画像を取得する（ステップＳ４８：生成ステップ）。その後、フィルタ取得部１３０により復元フィルタを取得し（ステップＳ５０：フィルタ取得ステップ）、復元処理判断部１２５は、復元強度の調整を行うか否かを判断する（ステップＳ５２：復元強度調節ステップ）。

復元強度の調整を行わないと判断される場合（ステップＳ５２のＮｏ）、復元処理実行部１０５は、復元フィルタ取得ステップ（ステップＳ５０）で取得した復元フィルタを使用して処理対象のフレームに対する復元処理を行う（ステップＳ５６：復元処理実行ステップ）。一方、復元フィルタの調整を行うと判断される場合（ステップＳ５２のＹｅｓ）、復元強度調節部１１０は復元処理の復元強度を調整し（ステップＳ５４：復元強度調節ステップ）、復元処理実行部１０５は、復元処理の復元強度が調節された状態で復元処理を行う（ステップＳ５６：復元処理実行ステップ）。

図１８は、第３実施形態に係る復元処理の流れの一変形例を示すフローチャートである。

本変形例では、復元処理判断部１２５がフレームレート及び被写体Ｑの動き量に基づいて、復元処理の実行を判断する。すなわち、まずフレームレート設定部１５０はフレームレートを設定し（ステップＳ６２）、設定されたフレームレートにより連続画像が取得される（ステップＳ６４）。そして、被写体距離取得部１１５は被写体距離を取得し（ステップＳ６６）、動き量取得部１２０は被写体Ｑの動き量を取得する（ステップＳ６８）。そして、復元処理判断部１２５は、フレームレート設定部１５０で設定されたフレームレート及び動き量取得部１２０により取得された被写体Ｑの動き量を基に、復元処理を行うか否かの判断をする（ステップＳ７０）。復元処理判断部１２５が復元処理を行わないと判断した場合（ステップＳ７０のＮｏ）、復元処理はスキップされ、必要に応じて他の画像処理が行われる。

一方、復元処理判断部１２５が復元処理を行うと判断した場合（ステップＳ７０のＹｅｓ）、フィルタ取得部１３０により復元フィルタが取得され（ステップＳ７２）、復元処理判断部１２５は復元処理の復元強度の調整を行うか否かを判断する（ステップＳ７４）。

復元強度の調整を行わないと判断される場合（ステップＳ７４のＮｏ）、復元処理実行部１０５は、復元フィルタ取得ステップ（ステップＳ７２）で取得した復元フィルタを使用し、所為対象のフレームに復元処理を行う（ステップＳ７８：復元処理実行ステップ）。一方、復元フィルタの調整を行うと判断される場合（ステップＳ７４のＹｅｓ）、復元強度調節部１１０は復元処理の復元強度を調整し（ステップＳ７６：復元強度調節ステップ）、復元処理実行部１０５は、復元処理の復元強度が調節された状態で復元処理を行う（ステップＳ７８：復元処理実行ステップ）。

以上説明したように、上述の第３実施形態によれば、フレームレートにより復元処理の実施の仕方を調節するため、被写体Ｑの移動が大きい場合であっても、復元処理を適切に実行することができる。

＜第４実施形態＞
本実施形態では、復元処理判断部１２５が、被写体Ｑに対して焦点が合っている状態（フォーカス状態）か、被写体Ｑに対して焦点が合っていない状態（デフォーカス状態）かを考慮し、復元処理の実行に関する判断を行う。すなわち、復元処理判断部１２５は、被写体Ｑに関してフォーカス状態である場合には、復元フィルタにより画像に対して、通常の復元処理が行われる（復元処理の復元強度を調節せずに復元処理が行われる）と判断し、被写体Ｑに関してデフォーカス状態である場合には、復元処理の復元強度を調節して画像に対して復元処理が行われると判断する。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

図１９は、第４実施形態に係る復元処理の流れを示すフローチャートである。

まず、撮像部１１は連続する複数の画像を取得し（ステップＳ８０）、復元処理判断部１２５は、被写体Ｑに関してフォーカス状態であるか又はデフォーカス状態であるかを判断する。なお、復元処理判断部１２５は、被写体Ｑがフォーカス状態であるか又はデフォーカス状態であるかの情報を、様々な方法で取得することができる。例えば、復元処理判断部１２５は、光学系コントローラ２０や撮像素子２６から、被写体Ｑに対してフォーカス状態であるか又はデフォーカス状態であるかの情報を取得してもよい。また、デジタルカメラ１０（撮像装置）がフォーカス状態の検出を行うことができる構成要素を別途有している場合には、その構成要素により、被写体Ｑに対してフォーカス状態であるか又はデフォーカス状態であるかの情報を取得してもよい。

そして、復元処理判断部１２５が被写体Ｑに対してデフォーカス状態だとする情報を得た場合（ステップＳ８２のＮｏ）、復元処理は行われず、必要に基づいて他の画像処理が行われる。これは、被写体Ｑに対してデフォーカス状態である画像に復元処理を行うと、却って画質が劣化してしまうことがあるからである。

一方、復元処理判断部１２５が復元処理を行うと判断した場合（ステップＳ８２のＹｅｓ）、被写体距離取得部１１５は被写体距離を取得し（ステップＳ８４）、動き量取得部１２０は被写体Ｑの動き量を取得する（ステップＳ８６）。そして、フィルタ取得部１３０により復元フィルタが取得され（ステップＳ８８）、復元処理判断部１２５は、復元処理の復元強度の調整を行うか否かを判断する（ステップＳ９０）。

復元強度の調整を行わないと判断される場合（ステップＳ９０のＮｏ）、復元処理実行部１０５は、復元フィルタ取得ステップ（ステップＳ８８）で取得した復元フィルタを使用して対象フレームに復元処理を行う（ステップＳ９４）。一方、復元フィルタの調整を行うと判断される場合（ステップＳ９０のＹｅｓ）、復元強度調節部１１０は復元処理の復元強度を調整し（ステップＳ９２）、復元処理実行部１０５は、復元処理の復元強度が調節された状態で復元処理を行う（ステップＳ９４）。

以上説明したように、上述の第４実施形態によれば、被写体Ｑがデフォーカス状態であるかフォーカス状態であるかで復元処理の実施の仕方を調節するため、被写体Ｑ適切に復元処理を実行することができる。

＜第５実施形態＞
本実施形態では、復元処理が行われない場合には、復元処理とは異なるボケ画像補正処理が行われる例について説明する。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

図２０は、第５実施形態の復元処理に関わる機能ブロック図であり、画像処理部３５（図２参照）によって構成される各種の機能ブロックを示す。本実施形態の画像処理部３５は、上述の第１実施形態に係る機能ブロックに加え（図５参照）、画像調整部１００がボケ画像補正処理部１５５を有する。

ボケ画像補正処理部１５５は、復元処理判断部１２５により「復元処理を行わずに、復元処理とは異なるボケ画像補正処理を行う」と判断された場合に、処理対象画像に対して復元処理とは異なるボケ画像補正処理を行う。ここでいう「ボケ画像補正処理」は、光学系１２の点像分布に関する伝達関数を利用しないボケ画像補正処理であり、特に限定されず、例えば輪郭補正処理であってもよい。輪郭補正処理を画像調整部１００（ボケ画像補正処理部１５５）で行う場合、輪郭補正の周波数特性を有するフィルタ（輪郭補正用フィルタ）をフィルタ取得部１３０で取得して、処理対象画像に対して輪郭補正が行われる。ここでいう「輪郭補正の周波数特性を有するフィルタ」は、画像（原画像データ）中の輪郭部分（エッジ部分）の画質を良好にするためのフィルタであれば特に限定されず、例えば輪郭部分を強調するフィルタを採用することが可能である。

以上説明したように、上述の第４実施形態によれば、復元処理を行わない場合であっても、ボケ画像補正を適切に行うことができる。

なお、上述の各実施形態において復元処理を施された連続する複数の画像（連続画像）は、様々な形態で表示可能である。例えば、復元処理が施された連続画像は、デジタルカメラ１０（撮像装置、図１参照）が有する表示部３３にライブビュー画像として表示されてもよいし、デジタルカメラ１０が接続されたコンピュータ６０のディスプレイ６６に表示されてもよい。

＜他の変形例＞
上述のデジタルカメラ１０は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組合せによって適宜実現可能である。例えば、上述の各装置及び処理部（カメラ本体コントローラ２８、画像処理部３５、復元処理部３６等）における画像処理方法、撮像方法（処理ステップ、処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能な各種のコンピュータに対しても本発明を応用することが可能である。

なお、上述の各実施形態では、復元処理部３６が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に復元処理部３６が設けられてもよい。

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる復元処理部によってこの画像データの復元処理が行われてもよい。また、サーバ８０が復元処理部を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の復元処理部においてこの画像データに対して復元処理が行われ、復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。このようにコンピュータ６０やサーバ８０などに復元処理部が備えられた画像処理装置において、復元処理を実施するようにしてもよく、復元処理の全部又は一部を復元処理部が備えられたコンピュータ６０やサーバ８０などで実施するようにしてもよい。また、デジタルカメラ１０以外の電子機器において復元処理が行われる場合を想定し、カメラ本体による撮影動作においてフレームごとに取得した被写体距離情報を画像データに記録しておくことにより、カメラから取得した画像データを画像処理装置に送信し、画像処理装置内の画像データ取得部で画像データを取得し本発明の復元処理を実施することで、画像処理装置での復元処理を容易に行うことを可能としてよい。また、カメラ本体による撮影動作においてフレームごとに取得した被写体距離情報を画像データとともに画像処理装置に送信することにより、同様に画像処理装置で本発明の復元処理を実施することが容易になる。また、取得又は記録する被写体距離情報は毎フレームごとに取得することが望ましいが、これに限られるものではない。復元処理による画質の劣化の許容範囲に応じて、被写体距離情報の取得を数フレームに1度としたり、被写体距離が所定の閾値以上に変化した場合に被写体距離情報を取得したりするなど、被写体距離情報の取得を間引いてもよい。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２１は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２１に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２２は、図２１に示すスマートフォン２０１の構成を示すブロック図である。図２２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図２１に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２１に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録することが可能であり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図２１に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影することが可能であり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１１…撮像部、１２…光学系、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…光学系コントローラ、２２…光学系入出力部、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３２…入出力インターフェース、３３…表示部、３４…デバイス制御部、３５…画像処理部、３６…復元処理部、３７…ユーザインターフェース、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１００…画像調整部、１０５…復元処理実行部、１１０…復元強度調節部、１１５…被写体距離取得部、１２０…動き量取得部、１２５…復元処理判断部、１３０…フィルタ取得部、１４０…オートフォーカス部、１４５…追尾オートフォーカス判断部、１５０…フレームレート設定部、１５５…ボケ画像補正処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

Claims (17)

1. 光学系により捉えた被写体の連続する複数の画像を生成する撮像部と、
   前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、
   前記撮像部が生成する前記画像の前記被写体の被写体距離を取得する被写体距離取得部と、
   前記被写体距離取得部が取得した前記被写体距離に基づいて、前記撮像部において生成される連続する複数の前記画像間における、前記光学系の光軸方向に関する前記被写体の動き量を取得する動き量取得部と、
   前記動き量取得部により取得された前記動き量に基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、復元処理の復元強度を調節して前記画像に対して復元処理が行われるか、又は前記画像に対して復元処理を行わないかを判断する復元処理判断部と、
   前記復元処理判断部により復元処理の前記復元強度を調節して前記画像に対して復元処理が行われると判断された場合に、復元処理の前記復元強度を調節する復元強度調節部と、
   前記復元処理判断部の判断に基づいて、前記復元フィルタにより又は前記復元強度を調節して、前記画像に対して復元処理を実行する復元処理実行部と、
   を備える撮像装置。
2. 光学系により捉えた被写体の連続する複数の画像を生成する撮像部と、
   前記被写体を追尾して、前記光学系のオートフォーカス制御を行うオートフォーカス部と、
   前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、
   前記撮像部が生成する前記画像の前記被写体の被写体距離を取得する被写体距離取得部と、
   前記被写体距離取得部が取得した前記被写体距離に基づいて、前記撮像部において生成される連続する複数の前記画像間における、前記光学系の光軸方向に関する前記被写体の動き量を取得する動き量取得部と、
   前記画像に対して復元処理を実行する復元処理実行部と、
   前記復元処理実行部により連続する複数の前記画像に対して復元処理を実行する場合に、前記動き量取得部により取得される前記動き量に基づいて、前記被写体を追尾する前記光学系の前記オートフォーカス制御が中止される、又は継続されると判断する追尾オートフォーカス判断部と、を備える撮像装置であって、
   前記オートフォーカス部は、前記追尾オートフォーカス判断部により、前記被写体を追尾する前記光学系の前記オートフォーカス制御が中止されると判断された場合には、前記撮像部が生成する前記画像におけるフォーカスエリア内の被写体に対して、前記光学系のオートフォーカス制御を行う撮像装置。
3. 光学系により捉えた被写体の連続する複数の画像を生成する撮像部と、
   前記撮像部における前記画像の生成に関するフレームレートを設定するフレームレート設定部と、
   前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、
   前記フレームレート設定部で設定された前記フレームレートに基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、復元処理の復元強度を調節して前記画像に対して復元処理が行われるか、又は前記画像に対して復元処理を行わないかを判断する復元処理判断部と、
   前記復元処理判断部により復元処理の前記復元強度を調節して前記画像に対して復元処理が行われると判断された場合に、復元処理の前記復元強度を調節する復元強度調節部と、
   前記復元処理判断部の判断に基づいて、前記復元フィルタにより又は前記復元強度を調節して、前記画像に対して復元処理を実行する復元処理実行部と、
   を備える撮像装置。
4. 前記撮像装置は、さらに、前記動き量取得部により取得された前記動き量に基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、復元処理の復元強度を調節して前記画像に対して復元処理が行われるか、又は前記画像に対して復元処理を行わないかを判断する復元処理判断部と、
   前記復元処理判断部により復元処理の前記復元強度を調節して前記画像に対して復元処理が行われると判断された場合に、復元処理の前記復元強度を調節する復元強度調節部と、を備え、
   前記復元処理実行部は、前記復元処理判断部の判断に基づいて、前記復元フィルタにより又は前記復元強度を調節して、前記画像に対して復元処理を実行する請求項２に記載の撮像装置。
5. 前記撮像装置は、さらに、前記撮像部における前記画像の生成に関するフレームレートを設定するフレームレート設定部を有し、
   前記復元処理判断部は、前記フレームレート設定部で設定された前記フレームレート及び前記動き量取得部で取得される前記被写体の動き量に基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、復元処理の前記復元強度を調節して前記画像に対して復元処理が行われるか、又は前記画像に対して復元処理を行わないかを判断する請求項１又は４に記載の撮像装置。
6. 前記復元処理判断部は、前記被写体がフォーカス状態である場合には、前記復元フィルタにより前記画像に対して復元処理が行われると判断し、前記被写体がデフォーカス状態である場合には、復元処理の前記復元強度を調節して前記画像に対して復元処理が行われると判断する請求項１、３、４、及び５のいずれか１項に記載の撮像装置。
7. 前記復元処理判断部は、前記光学系の前記光軸方向の前記動き量及び前記被写体距離に基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、又は復元処理の前記復元強度を調節して前記画像に対して復元処理が行われるかを判断する請求項１、４及び５のいずれか１項に記載の撮像装置。
8. 前記復元強度調節部は、前記復元フィルタのフィルタ係数を調節すること又は復元処理のゲインを調節することにより、復元処理の前記復元強度を調節する請求項１、３、４、５、６、及び７のいずれか１項に記載の撮像装置。
9. 前記撮像装置は、さらに、ボケ画像補正処理部を有し、
   前記復元処理判断部は、前記画像に対して復元処理が行われないと判断された場合に、前記復元処理とは異なるボケ画像補正処理を行うと判断し、
   前記ボケ画像補正処理部は、前記復元処理判断部により前記ボケ画像補正処理を行うと判断された場合に、前記画像に対して前記ボケ画像補正処理を行う請求項１、３、４、５、６、７、及び８のいずれか１項に記載の撮像装置。
10. 前記撮像装置は、さらに、表示部を有し、
    前記復元処理実行部により、前記復元フィルタにより又は前記復元強度を調節して、復元処理を実行された前記画像を、前記表示部にライブビュー画像として表示する請求項１、３、４、５、６、７、８、及び９のいずれか１項に記載の撮像装置。
11. 前記フィルタ取得部は、前記被写体の撮像に関する撮影条件に基づいて、前記復元フィルタを取得する請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記光学系は、交換式である請求項１から１１のいずれか１項に記載の撮像装置。
13. 光学系により捉えた被写体の連続する複数の画像を生成する生成ステップと、
    前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得ステップと、
    前記生成ステップが生成する前記画像の前記被写体の被写体距離を取得する被写体距離取得ステップと、
    前記被写体距離取得ステップが取得した前記被写体距離に基づいて、前記生成ステップにおいて生成される連続する複数の前記画像間における、前記光学系の光軸方向に関する前記被写体の動き量を取得する動き量取得ステップと、
    前記動き量取得ステップにより取得された前記動き量に基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、復元処理の復元強度を調節して前記画像に対して復元処理が行われるか、又は前記画像に対して復元処理を行わないかを判断する復元処理判断ステップと、
    前記復元処理判断ステップにより復元処理の前記復元強度を調節して前記画像に対して復元処理が行われると判断された場合に、復元処理の前記復元強度を調節する復元強度調節ステップと、
    前記復元処理判断ステップの判断に基づいて、前記復元フィルタにより又は前記復元強度を調節して、前記画像に対して復元処理を実行する復元処理実行ステップと、
    を含む撮像方法。
14. 光学系により捉えた被写体の連続する複数の画像を生成する生成ステップと、
    前記被写体を追尾して、前記光学系のオートフォーカス制御を行うオートフォーカスステップと、
    前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得ステップと、
    前記生成ステップが生成する前記画像の前記被写体の被写体距離を取得する被写体距離取得ステップと、
    前記被写体距離取得ステップが取得した前記被写体距離に基づいて、前記生成ステップにおいて生成される連続する複数の前記画像間における、前記光学系の光軸方向に関する前記被写体の動き量を取得する動き量取得ステップと、
    前記画像に対して復元処理を実行する復元処理実行ステップと、
    前記復元処理実行ステップにより連続する複数の前記画像に対して復元処理を実行する場合に、前記動き量取得ステップにより取得される前記動き量に基づいて、前記被写体を追尾する前記光学系の前記オートフォーカス制御が中止される、又は継続されると判断する追尾オートフォーカス判断ステップと、を含む撮像方法であって、
    前記オートフォーカスステップは、前記追尾オートフォーカス判断ステップにより、前記被写体を追尾する前記光学系の前記オートフォーカス制御が中止されると判断された場合には、前記生成ステップが生成する前記画像におけるフォーカスエリア内の被写体に対して、前記光学系のオートフォーカス制御を行う撮像方法。
15. 光学系により捉えた被写体の連続する複数の画像を生成する生成ステップと、
    前記生成ステップにおける前記画像の生成に関するフレームレートを設定するフレームレート設定ステップと、
    前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得ステップと、
    前記フレームレート設定ステップで設定された前記フレームレートに基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、復元処理の復元強度を調節して前記画像に対して復元処理が行われるか、又は前記画像に対して復元処理を行わないかを判断する復元処理判断ステップと、
    前記復元処理判断ステップにより復元処理の前記復元強度を調節して前記画像に対して復元処理が行われると判断された場合に、復元処理の前記復元強度を調節する復元強度調節ステップと、
    前記復元処理判断ステップの判断に基づいて、前記復元フィルタにより又は前記復元強度を調節して、前記画像に対して復元処理を実行する復元処理実行ステップと、
    を含む撮像方法。
16. 光学系により捉えた被写体の連続する複数の画像を撮像部から取得する画像取得部と、
    前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得するフィルタ取得部と、
    前記撮像部から取得する前記画像の前記被写体の被写体距離を取得する被写体距離取得部と、
    前記被写体距離取得部が取得した前記被写体距離に基づいて、前記撮像部から取得される連続する複数の前記画像間における、前記光学系の光軸方向に関する前記被写体の動き量を取得する動き量取得部と、
    前記動き量取得部により取得された前記動き量に基づいて、前記復元フィルタにより前記画像に対して復元処理が行われるか、復元処理の復元強度を調節して前記画像に対して復元処理が行われるか、又は前記画像に対して復元処理を行わないかを判断する復元処理判断部と、
    前記復元処理判断部により復元処理の前記復元強度を調節して前記画像に対して復元処理が行われると判断された場合に、復元処理の前記復元強度を調節する復元強度調節部と、
    前記復元処理判断部の判断に基づいて、前記復元フィルタにより又は前記復元強度を調節して、前記画像に対して復元処理を実行する復元処理実行部と、
    を備える画像処理装置。
17. 前記被写体距離取得部は、前記画像の画像データに記録された前記被写体距離を取得する請求項１６記載の画像処理装置。

Images