JP5903529B2 - 撮像装置、撮像方法及び画像処理装置 - Google Patents

Description

本発明は、撮像装置、撮像方法及び画像処理装置に係り、特に点拡がり関数に基づく復元処理を行う撮像装置、撮像方法及び画像処理装置に関する。

撮像光学系を介して撮影される被写体像には、撮像光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。

この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく復元処理（点像復元処理）を受けることで画質を回復することができる。点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタを用いる画像処理によって撮影画像の点拡がりをキャンセルする処理である。

この点像復元処理については様々な手法が提案されており、例えば特許文献１は、被写体距離が不明な場合でも被写体像を適切に復元することができる画像処理装置を開示する。この画像処理装置は、光学系の光学伝達関数は絞り開度等に依存することを利用し、光学系が有する絞り部の絞り開度等に応じた補正処理を画像に施す。

また特許文献２は、位置合わせや合成等の処理時間を抑えてアーティファクトを発生させずに被写界深度を拡大できるようにする撮像装置を開示する。この撮像装置は、複数の絞り値等に基づいてＰＳＦを算出して複数のフィルタを設計し、フィルタ処理を行う。

また特許文献３は、深度拡張光学系において、解像性能ピーク位置の容易な検出、良好な復元画を実現するためのボカシ処理、光学系の簡単化、コスト低減、ノイズの影響の抑制等を可能にする撮像装置を開示する。この撮像装置では、絞り情報に応じたフィルタ処理が行われる。

一方、光学系の絞りを絞っていくと、光の回折現象により、撮影画像においてボケ、すなわち小絞りボケが徐々に目立つようになる。高品位の画像を提供する観点からは、画像の解像度を低下させる小絞りボケの影響は可能な限り取り除かれることが好ましく、小絞りボケの影響を抑えて画質改善を図る様々な手法が提案されている。

例えば特許文献４は、開口絞りの小絞り回折を回避する光量調整装置を開示する。この光量調整装置では、透過率が連続的に変化するグラデーションＮＤ領域を有するフィルタ部材が、２枚対向して且つ濃淡の変化方向が反対向きになるように配置され、対称的に移動可能に構成されている。

また特許文献５は、撮影レンズ装置内に設けられた光量調節手段によって小絞り回折が発生しない範囲で光量を調節する撮像装置を開示する。この撮像装置は、装着された撮影レンズ装置からＭＴＦ特性データを受信し、小絞り回折の発生する使用限界Ｆ値を設定する制御手段を有する。

特開２０１０−０８７８６２号公報 特開２０１２−０６５１１４号公報 特開２００８−２４５２６５号公報 特開２００７−２９２８２８号公報 特開２００９−２８２５５１号公報

しかしながら、特許文献１から特許文献３に開示される技術では、全ての絞り値の各々に関して復元フィルタや復元処理の内容を変えるので、各絞り値に応じて復元フィルタの取得をしなければならず、画像処理回路の処理負荷が大きく、回路規模も大きくなる。また、特許文献１から特許文献３に開示される技術は、復元処理を行ったとしてもその復元効果が十分に表れない画像に対してまでも復元処理を行うことになり、復元処理の計算量等を考えると必ずしも効率的な処理とは言えない。

また、特許文献４及び５は、復元処理を利用して小絞りボケに対処することについては開示も示唆もない。

さらに、動画に対して復元処理を行う場合には、以下に説明するような特有の問題がある。

動画を撮影する場合は、撮影中に被写体が動いたり撮像装置が動いたりした場合、撮影中に所望の被写体に対し合焦していない状態（デフォーカス状態）になることがある。また動画撮影中に撮像装置が適切な合焦位置に合焦するまで作動している間は、所望の被写体に合焦していない領域（デフォーカス領域）が発生する。このデフォーカス領域に対して復元処理を実行すると、過補正等により却って画質劣化を招く場合がある。また、撮像装置が適切な合焦位置に合焦するまで作動している間、合焦位置に応じて逐次復元フィルタを変える場合、画像処理回路の処理負荷が大きく回路規模も大きくなる。

また、静止画撮影の場合には、一般的な撮像装置はシャッターレリーズボタンの半押し操作に応じて撮影準備動作を行って撮影条件を検出し決定できるが、動画撮影の場合には、撮影条件が定まらない時間帯、例えば、動画撮影開始直後の最初の数秒間といった立ち上がり時間が存在する。その時間帯に行われる復元処理は、撮影条件が定まらないため撮影条件に応じた適切な復元フィルタの選択が困難になり、不適切な復元フィルタが使用されると却って画質の劣化を招いてしまう場合がある。

特許文献１から特許文献５は、上述した動画に対して復元処理を行う場合に発生しうる問題に対して対処する手法に関して、開示も示唆もない。

本発明はこのような事情に鑑みてなされたもので、小絞りボケが画像劣化において支配的になる絞り値と復元処理との関係において、復元処理の効果が十分に見込める動画又は静止画に対してのみ復元処理を行うことにより、回路の処理負荷を軽減して効率的な復元処理によって画質を向上する技術を提供する。また、デフォーカス領域を有する動画や撮影条件が定まっていない状態に撮影された動画に対して復元処理が行われた場合に発生する動画の画質劣化を抑制する技術を提供する。

本発明の一態様は、光学系を介して被写体を撮像し、画像データを生成する撮像部と、画像データに基づいて動画を生成する画像生成部と、光学系の点像分布に関する伝達関数に対応した復元フィルタを取得するフィルタ取得部と、撮像部が被写体を撮像する場合の光学系の絞り値を検出する絞り値検出部と、絞り値検出部により検出された絞り値が、ＭＴＦの値がナイキスト周波数の半分の周波数である０．２５ｆｓにおいて７０％以下となる絞り値である、小絞りボケ基準絞り値以上か否かを判断する復元処理判断部と、復元処理判断部により、絞り値検出部により検出された絞り値が小絞りボケ基準絞り値以上と判断された場合、動画に対して復元フィルタを使用して復元処理を実行する復元処理実行部と、を備える撮像装置に関する。

本態様によれば、小絞りボケ基準絞り値以上の絞り値で撮像された動画に対してのみ復元処理が行われる。そのため、復元処理による画質改善効果に基づいて小絞りボケ基準絞り値を定めることによって、復元処理の効果が十分に見込める画像に対してのみ復元処理が行われ、画像処理回路の処理負荷を軽減すると共に復元処理によって効果的に画質を向上させることができる。

なお、「絞り値」とは、光学系に設置される光量の調節を行う絞りの開度を表し、特に本態様では絞り値の値が大きくなるほど遮光量が増えることを意味し、例えばＦ値によって絞り値を表現可能である。

また、「小絞りボケ基準絞り値」とは、復元処理による画質改善効果に基づいて設定可能であり、例えば動画に対する小絞りボケの影響が支配的になる絞り値を小絞りボケ基準絞り値に設定しうる。

本発明の他の態様は、光学系を介して被写体を撮像し、画像データを生成する撮像部と、画像データに基づいて間引き処理された動画を生成する画像生成部と、光学系の点像分布に関する伝達関数に対応した復元フィルタを取得するフィルタ取得部と、撮像部が被写体を撮像する場合の光学系の絞り値を検出する絞り値検出部と、絞り値検出部により検出された絞り値が、間引き処理をした場合に生じる折り返し歪を抑制する小絞りボケに対応する絞り値である歪み抑制絞り値か否かを判断する復元処理判断部と、復元処理判断部により、絞り値検出部により検出された絞り値が歪み抑制絞り値と判断された場合、間引き処理された動画に対して復元フィルタを使用して復元処理を実行する復元処理実行部と、を備える撮像装置に関する。

本態様によれば、「間引き処理をした場合に生じる折り返し歪を抑制する小絞りボケに対応する歪み抑制絞り値」で撮像された動画に対してのみ復元処理が行われる。そのため、復元処理の効果が十分に見込める動画に対してのみ復元処理を行うことができ、画像処理回路の処理負荷を軽減すると共に復元処理によって効果的に画質を向上させることができる。

また、本態様によれば、間引き処理された動画に対して発生する折り返し歪みの影響が少ない動画においてのみ復元処理が行われるため、復元処理により画質が却って劣化してしまうことを抑制することができる。

なお、「歪み抑制絞り値」とは、折り返し歪みの影響を低減しうる程度の小絞りボケが発生する絞り値のことをいう。

望ましくは、復元処理実行部は、絞り値検出部により検出された絞り値に応じて、復元処理の復元強度を調節することにより復元処理を実行する。

本態様によれば、復元処理を行う場合に、絞り値に応じて復元処理の復元強度が調節されるため、動画が撮像された絞り値により適した復元処理を行うことができる。

望ましくは、画像生成部は、さらに、画像データに基づいて静止画を生成し、復元処理判断部は、静止画に対して復元処理を行うか否かを判断する場合には、小絞りボケ基準絞り値未満の絞り値である静止画基準絞り値に基づいて、静止画に対して復元処理を行うか否かを判断し、復元処理実行部は、復元処理判断部により、絞り値検出部により検出された絞り値が静止画基準絞り値以上と判断された場合、静止画に対して復元フィルタを使用して復元処理を実行する。

本態様によれば、動画に対しては小絞りボケ基準絞り値に応じて復元処理が行われ、静止画に対しては静止画基準絞り値に応じて復元処理が行われるため、動画及び静止画の各々において要求される画質を満足させることができる。

また、動画に対しては小絞りボケ基準絞り値以上の絞り値で撮影された動画に復元処理が行われ、静止画に対しては静止画基準絞り値以上の絞り値で撮影された静止画に復元処理が行われる。したがって本態様によれば、画像処理に使用される回路の処理負荷を軽減することができると共に、復元処理によって効果的に画質を向上させることができる。

なお、「静止画基準絞り値」は、静止画に対しては動画よりも広範囲の絞り値において復元処理を行なう観点より決定されればよい。ここで静止画基準絞り値は、歪み抑制絞り値未満の開放側の絞り値であると規定され、例えば、静止画基準絞り値は、小絞りボケ基準絞り値よりも１段以上開放側の絞り値であるとすることができる。なお、「１段」とは、段階的な絞りの調節の１段を意味する。

望ましくは、画像生成部は、さらに、画像データに基づいて静止画を生成し、復元処理判断部は、静止画に対して復元処理を行うか否かを判断する場合には、歪み抑制絞り値のうち最も開放側の歪み抑制絞り値未満の絞り値である静止画基準絞り値に基づいて、静止画に対して復元処理を行うか否かを判断し、復元処理実行部は、復元処理判断部により、絞り値検出部により検出された絞り値が静止画基準絞り値以上と判断された場合、静止画に対して復元フィルタを使用して復元処理を実行する。

本態様によれば、動画に対しては歪み抑制絞り値に応じて復元処理が行われ、静止画に対しては静止画基準絞り値に応じて復元処理が行われるため、動画及び静止画の各々において要求される画質を満足させることができる。

また、動画に対しては歪み抑制絞り値で撮影された動画に復元処理が行われ、静止画に対しては静止画基準絞り値以上の絞り値で撮影された静止画に復元処理が行われる。したがって本態様によれば、画像処理に使用される回路の処理負荷を軽減することができると共に、復元処理によって効果的に画質を向上させることができる。

なお、「静止画基準絞り値」は、静止画に対しては動画よりも広範囲の絞り値において復元処理を行なう観点より決定されればよい。静止画基準絞り値は、例えば歪み抑制絞り値が複数の場合には最も開放側の歪み抑制絞り値よりも１段以上開放側の絞り値であり、歪み抑制絞り値が一つの場合には歪み抑制絞り値よりも１段以上開放側の絞り値とすることができる。なお、「１段」とは、段階的な絞りの調節の１段を意味する。また、静止画基準絞り値は、歪み抑制絞り値が複数の場合には最も開放側の歪み抑制絞り値未満の開放側の絞り値であり、歪み抑制絞り値が一つの場合には歪み抑制絞り値未満の開放側の絞り値である。

望ましくは、復元処理実行部は、動画に対して復元処理を行う場合は、静止画に対して復元処理を行う場合より、復元処理の復元強度を弱く調節して復元処理を実行する。

本態様によれば、動画に対する復元処理は、静止画に対する復元処理よりも復元強度が弱い処理となる。被写体が動く動画は復元処理により却って画質が劣化する可能性があるが、本態様によれば、そのような画質劣化を低減することができる。

望ましくは、フィルタ取得部は、動画に対して復元処理を行う場合は、動画用の復元フィルタを取得し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを取得し、復元処理実行部は、動画に対して復元処理を行う場合は、動画用の復元フィルタを使用して復元処理を実行し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを使用して復元処理を実行する。

本態様によれば、動画は動画用の復元フィルタにより復元処理が行われ、静止画は静止画用の復元フィルタにより復元処理が行われる。そのため、動画及び静止画の各々に適した復元処理を行うことができ、動画及び静止画の各々に対する画質の要求を満たすことができる。

望ましくは、フィルタ取得部は、動画に対して復元処理を行う場合は、静止画用の復元フィルタを取得し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを取得し、復元処理実行部は、動画に対して復元処理を行う場合は、静止画用の復元フィルタを使用して復元処理を実行し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを使用して復元処理を実行する。

本態様によれば、動画及び静止画は、静止画用の復元フィルタに基づく復元処理が行われる。そのため、復元フィルタのための記憶容量を抑制することができ、又は復元フィルタを算出するための演算負荷を減らすことができる。

望ましくは、動画用の復元フィルタは、静止画用の復元フィルタよりも、フィルタサイズが小さい。

本態様によれば、動画は、静止画用の復元フィルタのフィルタサイズよりもフィルタサイズが小さい動画用の復元フィルタにより復元処理される。そのため、動画に適した復元処理を行うことができ、動画に対する画質の要求を満たすことができる。

望ましくは、復元処理実行部は、動画に対して復元処理を行う場合は、光学系の点像分布に関する伝達関数の振幅成分のみに関して補正する復元処理を行う。

本態様によれば、光学系の点像分布に関する伝達関数の振幅成分のみに関して復元処理が行われる。これにより、動画又は静止画に対して要求される画質を実現できるとともに、復元処理に係る回路規模を小さくすることができる。

望ましくは、絞り値検出部は、撮像部が被写体を撮像する初期の場合は、動画に基づいて得られた明るさにより、絞り値を検出する。

本態様によれば、撮像の初期段階では、撮像された動画の明るさに基づいて絞り値が検出されるため、撮像の初期段階であっても絞り値を適切に検出することができる。

望ましくは、フィルタ取得部は、絞り値検出部により検出された絞り値よりも小絞り側の絞り値を基に、光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得する。

本態様によれば、撮像の初期段階では、検出された絞り値よりも小絞り側の絞り値を基に復元フィルタが取得されるため、撮像の初期段階であっても、復元処理によって却って画質を劣化させることを抑制することができる。

望ましくは、復元処理実行部は、撮像部が動画を生成する初期の場合には、被写体に対して合焦された後に、復元処理を実行する。

合焦していない画像に対して復元処理を行うと却って画質の劣化を招くことがあるが、本態様によれば、撮像の初期段階では、被写体が合焦するのを待って復元処理が行われる。これにより、復元処理を行う画像は合焦状態にあるため、復元処理を行うことによって却って画質を劣化させることを抑制することができる。

望ましくは、光学系は、交換式である。

本態様のように交換式の光学系によって、光学系の特性が変化する場合であっても、画質劣化を抑制した適切な復元処理を行うことができる。

望ましくは、光学系は、位相を変調することにより被写界深度を拡大させるレンズを有する。

本態様によれば、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））光学系を介して得られる原画像データに対しても、画質劣化を抑制した復元処理を行うことができる。なお、レンズ部における位相を変調させる手法（光学的位相変調手段）は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体（例えばレンズの入射面及び／又は出力面）に位相変調機能を持たせたりすることも可能である。

本発明の他の態様は、光学系を介して被写体を撮像し、画像データを生成する撮像ステップと、画像データに基づいて動画を生成する画像生成ステップと、光学系の点像分布に関する伝達関数に対応した復元フィルタを取得するフィルタ取得ステップと、撮像ステップが被写体を撮像する場合の光学系の絞り値を検出する絞り値検出ステップと、絞り値検出ステップにより検出された絞り値が、小絞りボケ基準絞り値以上か否かを判断する復元処理判断ステップと、復元処理判断ステップにより、絞り値検出ステップにより検出された絞り値が小絞りボケ基準絞り値以上と判断された場合、動画に対して復元フィルタを使用して復元処理を実行する復元処理実行ステップと、を含む撮像方法に関する。

本発明の他の態様は、光学系を介して被写体を撮像し、画像データを生成する撮像ステップと、画像データに基づいて間引き処理された動画を生成する画像生成ステップと、光学系の点像分布に関する伝達関数に対応した復元フィルタを取得するフィルタ取得ステップと、撮像ステップが被写体を撮像する場合の光学系の絞り値を検出する絞り値検出ステップと、絞り値検出ステップにより検出された絞り値が、間引き処理をした場合に生じる折り返し歪を抑制する小絞りボケに対応する絞り値である歪み抑制絞り値か否かを判断する復元処理判断ステップと、復元処理判断ステップにより、絞り値検出ステップにより検出された絞り値が歪み抑制絞り値と判断された場合、間引き処理された動画に対して復元フィルタを使用して復元処理を実行する復元処理実行ステップと、を含む撮像方法に関する。
また、本発明の他の態様は、光学系を介して被写体を撮像して取得した画像データに基づく動画を取得する画像取得部と、光学系の点像分布に関する伝達関数に対応した復元フィルタを取得するフィルタ取得部と、被写体を撮像する場合の光学系の絞り値を取得する絞り値取得部と、絞り値取得部により取得された絞り値が、小絞りボケ基準絞り値以上か否かを判断する復元処理判断部と、復元処理判断部により、絞り値取得部により取得された絞り値が小絞りボケ基準絞り値以上と判断された場合、動画に対して復元フィルタを使用して復元処理を実行する復元処理実行部と、を備える画像処理装置に関する。また、望ましくは、絞り値取得部は、画像データから画像データに記録された光学系の絞り値を取得するものである。

本発明によれば、復元処理の効果が比較的高い範囲の画像に対してのみ復元処理が行われるため、画像処理回路の処理負荷を軽減することができると共に、復元処理によって画質を効果的に向上させ、復元処理により却って動画の画質が劣化することを抑制することができる。

図１はコンピュータに接続されるデジタルカメラの概略を示すブロック図である。 図２はカメラ本体コントローラの機能構成例を示すブロック図である。 図３は画像撮影から復元処理までの概略を示す図である。 図４は復元処理の一例の概略を示すブロック図である。 図５は第１実施形態におけるカメラ本体コントローラの機能構成の一例を示すブロック図である。 図６は絞り値（Ｆ値）を説明する図である。 図７Ａ〜図７Ｇは、絞りと回折ボケとの関連を説明する図である。 図８はＦ値と「空間周波数−ＭＴＦ」との相関を説明する図である。 図９は絞りボケ基準絞り値の一例に関して説明する図である。 図１０は復元処理実行部の制御ブロック図の一例である。 図１１は復元処理実行部における復元処理例を示す図である。 図１２は第１実施形態に係る復元処理の流れを示すフローチャートである。 図１３Ａ及び図１３Ｂは、第２実施形態に係る歪み抑制絞り値に関して説明する図である。 図１４は第３実施形態に係る静止画基準絞り値に関して説明する図である。 図１５は第３実施形態に係る静止画基準絞り値に関して説明する図である。 図１６はＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 図１７はＥＤｏＦ光学系の一例を示す図である。 図１８は、図１６に示す復元処理ブロックによる復元処理フローの一例を示す図である。 図１９はＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、図１９の（ａ）は復元処理前のぼけた画像を示し、図１９の（ｂ）は復元処理後のぼけが解消された画像（点像）を示す。 図２０はスマートフォンの外観図である。 図２１は、図２０に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）６０に接続可能なデジタルカメラ１０（撮像装置）に本発明を適用する例について説明する。

なお、以下の例では、別体として構成される光学系１２及びカメラ本体１４が組み合わされたレンズ交換式のデジタルカメラ１０について説明するが、光学系１２及びカメラ本体１４が一体構成を有するレンズ固定式のデジタルカメラ１０に対しても、同様の画像復元処理を行うことが可能である。また、デジタルカメラ１０は、動画撮影を主たる機能とするビデオカメラであってもよいし、静止画及び動画の両者を撮影可能な撮像装置であってもよい。

図１は、コンピュータ６０に接続されるデジタルカメラ１０の概略を示すブロック図である。

デジタルカメラ１０は、交換可能な光学系１２と、撮像素子２６を具備するカメラ本体１４とを備え、光学系１２の光学系入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、光学系１２とカメラ本体１４とは電気的に接続される。

光学系１２は、レンズ１６や絞り１７等の光学部材と、この光学部材を制御する光学系操作部１８とを具備する。光学系操作部１８は、光学系入出力部２２に接続される光学系コントローラ２０と、光学部材を操作するアクチュエータ（図示省略）とを含む。光学系コントローラ２０は、光学系入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学部材を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

したがって、デジタルカメラ１０の撮像部１１は光学系１２及び撮像素子２６を含み、光学系１２により捉えた被写体像の画像データを撮像素子２６において生成する。そして、画像生成部により画像データに基づいて動画を生成する。ここで、動画は、連続する複数の画像のこといい、例えば、記録動画、ライブビュー画像、連写モードにおける連続撮影画像、等を含む意味である。

撮像装置１０は、ユーザーインターフェイス３７を介して撮影モードとして動画撮影モードが選択され、ユーザーインターフェイス３７に含まれるシャッタボタン（図示せず）が「全押し」されると、動画の録画を開始し、シャッタボタンが再度「全押し」されると、録画を停止して待機状態にする。

また、動画撮影モードが選択されている場合には、デバイス制御部３４による含まれる自動焦点制御部（図示せず）により光学系コントローラ２０を介して焦点調節が連続して行われ、かつデバイス制御部３４による含まれる自動露出制御部（図示せず）により自動露出制御（ＡＥ）が行われる。なお、自動焦点制御部による自動焦点調節（ＡＦ）は、位相差ＡＦ方式、コントラストＡＦ方式など公知の方式を使用できる。

一方、撮像装置１０は、撮影モードとして静止画撮影モードが選択され、シャッタボタンが「半押し」されると、ＡＦ／ＡＥ制御を行う撮影準備動作を行い、シャッタボタンが「全押し」されると、静止画の撮像及び記録を行う。

なお、例えば後述するスマートフォンのような携帯撮像装置など撮像装置の形態によっては、撮影準備指示部や画像の記録指示部はシャッタボタンのような「半押し」「全押し」可能な２段ストローク式のスイッチに限られず、撮影準備指示を受ける機能、画像の記録指示を受ける機能を有するものであればよく、別個のボタンを有する形態、別個のタッチ入力操作受付け部を有する形態でもよく、また音声入力や視線入力などで撮影準備指示や画像の記録指示を受けるようにしてもよい。

撮像素子２６は、集光用マイクロレンズ、ＲＧＢ等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有する。撮像素子２６は、光学系１２により捉えられた被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。

このように、撮像素子２６は、光学系１２を用いた撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理装置に送信される。なお、撮像素子２６が生成する原画像データには、被写体の連続する複数の画像が含まれる。

カメラ本体コントローラ２８は、カメラ本体１４を統括的に制御し、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御したり、光学系１２を制御するための制御信号を生成してカメラ本体入出力部３０を介して光学系１２（光学系コントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信したりする。また、デバイス制御部３４は、デジタルカメラ１０が具備する表示部３３（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部）等の各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。加えて、本例の画像処理部３５は、光学系１２の点拡がり関数に基づく復元処理（点像復元処理）を画像信号（原画像データ）に対して行う復元処理部３６を含む。復元処理の詳細は後述する。

なお、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザーインターフェイス３７を介して撮影等のための各種設定を適宜決定及び変更することができる。ユーザーインターフェイス３７は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザからの命令によって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２に接続されるコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信制御をしたりする。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等がディスプレイ６６に必要に応じて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力し、コンピュータ６０を制御したり、コンピュータ６０に接続される機器類（デジタルカメラ１０、又はサーバ８０）を制御したりすることができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードしたり、演算処理を行ってその演算結果をコンピュータ６０に送信することが可能である。

各コントローラ（光学系コントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、及びサーバコントローラ８４）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の復元処理について説明する。

本例では、カメラ本体１４（カメラ本体コントローラ２８）において復元処理が実施される例について説明するが、復元処理の全部又は一部を他のコントローラ（光学系コントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

復元処理は、光学系１２を用いた撮影により撮像素子２６から取得される原画像データに対し、光学系１２の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを取得する処理である。

図３は、画像撮影から復元処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系１２を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系１２の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。

このボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して復元フィルタＦを用いた復元処理Ｐ１０を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

復元処理Ｐ１０で用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系１２の点像情報（点拡がり関数）から、所定の復元フィルタ算出アルゴリズムＰ２０によって得られる。図３における符号αは撮影条件に応じた点像情報を表し、この光学系１２の点像情報である点拡がり関数は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際には、これらの撮影条件が取得される。

図４は、復元処理の一例の概略を示すブロック図である。

上述のように復元処理（点像復元処理）Ｐ１０は、復元フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数を表す）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、復元処理を行うことができる。図４における符号βは、処理対象画素データに適用するタップ（フィルタ係数）を表す。

なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。

上述の復元処理は、連続撮影された複数の画像（連続画像）に対しても行うことができる。連続画像に対して復元処理を行う場合は、連続画像を構成する複数の画像の各々（各フレーム）対して、復元処理が行われる。

なお、復元処理を行う原画像データとしては、ＲＧＢの各色の画像データや、ＲＧＢの各色の画像データからＲＧＢ／ＹＣｒＣｂ変換により得られる輝度信号（Ｙデータ）などを適用することができる。

さらに、復元処理を行うタイミングは特に限定されず、原画像データとして、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行ってもよく「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

＜第１実施形態＞
本実施形態では、小絞りボケの程度に応じて、復元処理の実施をコントロールする。

図５は、カメラ本体コントローラ２８における画像処理部３５及び画像処理部３５に含まれる復元処理部３６（図２参照）に関する詳細な機能ブロック図である。なお、図中の複数の機能ブロックは、必ずしも別体として設けられる必要はなく、複数の機能ブロックを一体的に構成されるハードウェア及び／又はソフトウェアによって実現してもよい。

画像処理部３５は画像生成部１００を備え、復元処理部３６は、フィルタ取得部１０５、絞り値検出部１１０、復元処理判断部１１５、及び復元処理実行部１２０を備える。

画像生成部１００は、撮像部１１により生成される画像データに基づいて動画を生成する。詳細には、光学系１２に捉えられた被写体像は、絞り１７を通過して撮像素子２６により受光される。そして、撮像素子２６は、その受光に応じて、被写体像の画像データを得る。その後、画像生成部１００は、撮像部１１内の撮像素子２６が保持する画像データに基づいて動画を生成する。

画像生成部１００が間引き処理が行なわれた動画を生成する場合には、画像生成部１００は、画像データを撮像素子２６から間引き読み出しすることにより取得し、間引き処理された動画を生成する。また、画像生成部１００は、画像データを撮像素子２６から全部読み出しすることにより取得し、全部読み出しされた画像データを画像生成部１００内にあるバッハメモリ（図示せず）に一時保存し、一時保存されている全部読み出しされた画像データに間引き処理を行うことにより、間引き処理された動画を生成してもよい。なお、画像データを撮像素子２６から読み出す際は、デバイス制御部３４により撮像素子２６は制御される。

フィルタ取得部１０５は、撮影条件等に基づいて、復元処理に使用する復元フィルタを取得する。すなわち、フィルタ取得部１０５は、撮影条件に応じて光学系１２の点像分布に関する伝達関数（点拡がり関数）に対応して生成された復元フィルタを取得する。フィルタ取得部１０５は、様々な方法により復元フィルタを取得することができる。例えば、フィルタ取得部１０５は、撮影条件から復元フィルタを算出することにより取得してもよいし、また、フィルタ取得部１０５は、予め複数の復元フィルタを図示しないメモリに保持しておき、その保持された複数の復元フィルタの中から撮影条件に適合する復元フィルタを選択して取得してもよい。

また、フィルタ取得部１０５は、必要に応じて、後述する絞り値検出部１１０が検出した絞り値を取得し、この取得した絞り値に基づいて復元フィルタを新たに算出して取得してもよいし、この取得した絞り値に基づいて予め保持する複数の復元フィルタから最適な復元フィルタを選択することにより取得してもよい。

また、フィルタ取得部１０５は、撮像の初期段階には、絞り値検出部１１０により検出された絞り値よりも小絞り側の絞り値に基づいて、光学系１２の点像分布に関する伝達関数に対応して生成された復元フィルタを取得してもよい。これにより、撮像の初期段階であっても、適切に絞り値を検出することができる。なお、被写体を撮像する初期の場合とは、撮影開始直後であって撮影条件が定まるまでの間をいう。例えば、撮像の初期段階とは、撮影開始から５秒間又は２０秒間のことをいう。あるいは、撮影開始から始めに自動露出制御（ＡＥ）や自動焦点調節（ＡＦ）が行われるまでの間でもよい。

絞り値検出部１１０は、撮像部１１が被写体を撮像する場合の光学系１２（絞り１７）の絞り値を検出する。絞り値検出部１１０の絞り値を検出する方法は特に限定されず、絞り値を検出することができる様々な方法を採用することができる。

例えば、絞り１７がデバイス制御部３４（図２参照）により制御されている場合には、絞り値検出部１１０はデバイス制御部３４から絞り値を検出することが可能である。また例えば、手動や電動により絞り１７を直接制御する場合、絞り値検出部１１０は光学系操作部１８や光学系コントローラ２０から絞り値を検出してもよい。さらに、絞り値検出部１１０は、撮像の初期段階では、動画に基づいて得られた明るさにより絞り値を求めてもよい。ここで、動画に基づいて得られた明るさとは、動画における測光値等で測定することができる明るさのことをいう。

絞り値とは、絞り１７の絞りの程度を表す値をいう。絞り値は、特に限定されるものではなく、絞り１７の絞りの程度又は絞り１７の開放の程度を表すことができる値であればよい。絞り値の例として、Ｆ値が挙げられる。

図６は、絞り状態の違いによる「光学系１２、レンズ１６、及び絞り１７の関係」を模式的に表している。図６（Ａ）は、絞り状態が、最も開放側である場合を示す模式図である。図６（Ｂ）及び（Ｃ）は、絞り状態が、最も開放側と小絞り側の間にある場合を示す模式図である。図６（Ｄ）は、絞り状態が、小絞り側にある場合を示す模式図である。

また、図６は、絞り状態に応じたＦ値を記載している。図６で示されたＦ値は、最も開放側をＦ１としてその後、段階的に、Ｆ１．４、Ｆ２、Ｆ２．８、Ｆ４、Ｆ５．６、Ｆ８、Ｆ１１、Ｆ１６、Ｆ２２と、絞り値（Ｆ値）が大きい程小絞り側になる。例えば、図６の（Ａ）はＦ１．４での絞り１７の絞り状態を示しており、図６の（Ｂ）はＦ５．６での絞り１７の絞り状態を示しており、図６の（Ｃ）はＦ１１での絞り１７の絞り状態を示しており、図６の（Ｄ）はＦ２２での絞り１７の絞り状態を示している。また、Ｆ値において、１段絞るという場合は、例えばＦ５．６からＦ８に絞ることを意味する。

なお、図６（Ａ）から（Ｄ）までの模式図と図６に記載されたＦ値との対応関係は、一例であり、これに限定されるものではない。

図５の復元処理判断部１１５は、絞り値検出部１１０により検出された絞り値が、小絞りボケ基準絞り値以上か否かを判断する。すなわち、復元処理判断部１１５は、小絞りボケ基準絞り値を有しており、その小絞りボケ基準絞り値と絞り値検出部１１０から取得した絞り値とを比較する。小絞りボケ基準絞り値が保持又は記憶される箇所は、特に限定されず、例えば、復元処理判断部１１５が小絞りボケ基準絞り値を保持していてもよい。また、小絞りボケ基準絞り値は、ユーザーインターフェイス３７を介して、入力されてもよい。

図７Ａ〜図７Ｇは、絞り１７を絞っていくと、光の回折現象の影響で、画像において、絞り１７の絞り程度に応じてボケ（小絞りボケ）が発生することを示している。なお、図７は一例でありこれに限定されるものではなく、画像における絞り１７の絞りの影響によるボケの発生態様は様々である。

図７Ａ〜図７Ｇは、点光源を撮像して得られる画像（点像）であって、絞り１７による回折の影響を受けた点像である。図７Ａは、絞り値がＦ２の場合に点光源を撮像した点像を示す。図７Ｂは、絞り値がＦ２．８の場合に点光源を撮像した点像を示す。図７Ｃは、絞り値がＦ４の場合に点光源を撮像した点像を示す。図７Ｄは、絞り値がＦ５．６の場合に点光源を撮像した点像を示す。図７Ｅは、絞り値がＦ８の場合に点光源を撮像した点像を示す。図７Ｆは、絞り値がＦ１１の場合に点光源を撮像した点像を示す。図７Ｇは、絞り値がＦ１６の場合に点光源を撮像した点像を示す。

図７Ａ〜図７Ｇに示すように、絞り１７を絞ると、点像のボケの程度は大きくなる。例えば、図７Ａ（絞り値＝Ｆ２）で示された点像と図７Ｇ（絞り値＝Ｆ１６）で示された点像を比較すると、図７Ｇで示された点像のボケの程度は、図７Ａで示された点像のボケの程度よりも大きい。

また、図７Ｅ（絞り値＝Ｆ８）、図７Ｆ（絞り値＝Ｆ１１）、及び図７Ｇ（絞り値＝Ｆ１６）の点像は、他の点像（図７Ａ、図７Ｂ、図７Ｃ、及び図７Ｄ）に比べて、点像のボケの程度は大きく、画像における小絞りボケの影響が支配的である。この場合、Ｆ８を小絞りボケ基準絞り値とし、Ｆ８以上の絞り値で撮像された動画では、小絞りボケの影響が支配的であるとされる。そして、小絞りボケ基準絞り値以上の絞り値に絞り１７を絞った場合（図７Ｅ（絞り値＝Ｆ８）、図７Ｆ（絞り値＝Ｆ１１）、及び図７Ｇ（絞り値＝Ｆ１６））に画像に小絞りボケの影響が支配的になるが、小絞りボケは復元処理により取り除くことができる。

また、図７Ａ〜図７Ｇに示すように、点光源に対する応答を表す点拡がり関数（ＰＳＦ）は絞り値に応じて変化するが、ＰＳＦの変化は小絞り側の方が小さい。すなわち、図７Ｆと図７Ｇの間での点拡がり関数の変化は、図７Ａと図７Ｂの間での点拡がり関数の変化よりも小さい。一方、撮影画像の実際の点広がり現象の程度（ＰＳＦ）と復元処理に使用する復元フィルタのＰＳＦとが十分にマッチングしていないケースでは、復元処理によって却って画質の低下（過補正等）を招く場合がある。そうすると、上述したようにＰＳＦの変化が少ない小絞り側において復元処理を行うことは、復元処理による画質の劣化を招く可能性を低減することができる。すなわち、小絞り側で行う復元処理は、復元処理による画質の劣化を招く可能性が少ないので、安全性が高い復元処理ということができる。

図８は、あるレンズ１６におけるＦ値毎の回折による影響を示した図であり、Ｆ値に応じた回折によるボケの程度を変調伝達関数（（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）（ＭＴＦ）を使用して説明している。なお、図８の横軸は空間周波数を示し、図８の縦軸はＭＴＦを示す。高周波数側のＭＴＦの値は、絞り１７を絞るほど小さくなる。

点拡がり関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＯＴＦ）は、ボケの周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦといい、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）という。ＭＴＦ及びＰＴＦはそれぞれ、ボケによる画像劣化の振幅成分及び位相成分の周波数特性である。したがって、まったくボケてない画像であればＭＴＦは１になり、ボケの程度に応じてＭＴＦは１より小さくなる。

例えば、Ｆ２２の場合には約８０［ＬＰ／ｍｍ（Ｌｉｎｅ Ｐａｉｒｓ／ｍｍ）］を超えた高周波数側のＭＴＦは０となり、Ｆ１６の場合には約１１０［ＬＰ／ｍｍ］を超えた高周波数側のＭＴＦは０となり、Ｆ１１の場合には約１６０［ＬＰ／ｍｍ］を超えた高周波数側のＭＴＦは０となる。

ここで、「小絞りボケ基準絞り値」とは、「小絞りボケ」の画像に対する影響が支配的になってくる絞り値のことをいう。例えば、絞り１７の絞り値を小絞りボケ基準絞り値以上の小絞り側にすることで、「小絞りボケ」の影響は、支配的になり、ユーザが無視できないほどに目立ってくる。

なお、小絞りボケ基準絞り値は、小絞りボケの影響が支配的になる絞り値を表せていれば、様々な指標を採用できる。例えば、小絞りボケ基準絞り値としてＦ値を採用でき、Ｆ８やＦ１１は小絞りボケ基準絞り値となり得る。また、例えば、「最も小絞りに絞った絞り状態から何段開放側に絞り１７を開放させた」かによって、小絞りボケ基準絞り値を表してもよい。

図９は、小絞りボケ基準絞り値の一例を説明する図である。図９の横軸は周波数であり、図９の縦軸はＭＴＦである。例えば、図９に示すようにナイキスト周波数（０．５ｆｓ）の半分の周波数（０．２５ｆｓ）において、回折によりＭＴＦが７０％以下の値を示すＦ値を小絞りボケ基準絞り値としてもよい。図９は、あるＦ値により撮影された画像の、周波数とＭＴＦの関係を示した図である。このように、ナイキスト周波数の半分の周波数（０．２５ｆｓ）においてＭＴＦの値が７０％以下になるようなＦ値を小絞りボケ基準絞り値としてもよい。

図５の復元処理実行部１２０は、絞り値検出部１１０により検出された絞り値が小絞りボケ基準絞り値以上と判断された場合、動画に対して復元処理を行う。すなわち、復元処理実行部１２０は、絞り値検出部１１０により検出された絞り値が小絞りボケ基準絞り値以上であるか、又は、絞り値検出部１１０により検出された絞り値が小絞りボケ基準絞り値より小さいかの判断結果を、復元処理判断部１１５から取得する。そして、絞り値検出部１１０により検出された絞り値が小絞りボケ基準絞り値以上と判断された場合復元処理を実行する。

復元処理は、広義には、画像データに対する復元フィルタを適用する処理（フィルタ適用処理）と、復元フィルタ適用後の画像データ（復元画像データ）と原画像データとの差の増幅率（復元ゲイン）を調整する処理とを含みうる。

図１０は、復元処理実行部１２０における復元処理例を示す制御ブロック図である。

まず、復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）、復元画像データＤｒ１が算出される。原画像データＤｏに適用される復元フィルタＦは、光学系１２（レンズ１６、絞り１７等）の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づくものであれば特に限定されず、実空間フィルタであっても周波数空間フィルタであってもよい（図４参照）。

その後、復元処理前後の画像データの差分が導出され（差分導出処理Ｐ_ｄ）、この差分に対する増幅率（復元ゲイン）の調整が行われる（ゲイン調整処理Ｐ_ｇ）。すなわち、差分導出処理Ｐ_ｄでは、フィルタ適用処理Ｐ_ｆを経た復元画像データＤｒ１と原画像データＤｏとの差分データΔＤ（ΔＤ＝Ｄｒ１−Ｄｏ）が算出される。そしてゲイン調整処理Ｐ_ｇでは、この差分データΔＤの増幅率（復元ゲイン）Ｇの調整が行われて増幅率調整後差分値（Ｇ×ΔＤ）が算出され、この増幅率調整後差分値（Ｇ×ΔＤ）と原画像データＤｏとの加算処理Ｐａが行われて回復画像データＤｒ２が算出される（Ｄｒ２＝Ｄｏ＋Ｇ×ΔＤ）。なお復元処理として、上記手法と同様な他の手法を採用してもよく、例えば次のような処理としてもよい。復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）、復元画像データＤｒ１が算出される。その後、ゲイン調整処理Ｐ_ｇとしてこの復元画像データＤｒ１に増幅率（復元ゲイン）Ｇの調整が行われ(Ｄｒ１×Ｇ)、これと原画像データＤｏに（１−Ｇ）が乗算されたものとの加算処理Ｐａが行われて回復画像データＤｒ２が算出されるようにしてもよい。

このように、復元処理による復元強度は、フィルタ適用処理Ｐ_ｆにおける復元フィルタ（フィルタ係数）と、ゲイン調整処理Ｐ_ｇにおける増幅率（復元ゲイン）Ｇとに応じて変動する。そのため、復元処理の復元強度の調整は、「フィルタ適用処理Ｐ_ｆで用いる復元フィルタ（フィルタ係数）の切り替え」及び／又は「ゲイン調整処理Ｐ_ｇにおける増幅率（復元ゲイン）Ｇの変更」によって実行可能である。

したがって、復元処理実行部１２０は、復元フィルタＦのフィルタ係数を調節したり復元ゲインＧを調節したりすることによって、復元処理の復元強度を調節することができる。

また、復元処理実行部１２０は、動画に対して復元処理を行う場合は、光学系１２の点像分布に関する伝達関数の振幅成分のみに関して補正する復元処理を行ってもよい。これにより、光学系１２の点像分布に関する伝達関数の振幅成分及び位相成分の両方に関しての補正をするより、復元処理に関する計算負荷が軽減される。合焦していない画像に対して復元処理を行うと却って画質の劣化を招くことがあるので、撮像の初期段階では、被写体が合焦するのを待って復元処理が行われる。これにより、復元処理により却って画像の劣化を招くことを防ぐことができる。

また、復元処理実行部１２０は、撮像部１１が動画を生成する初期の場合には、被写体に対して合焦された後に、復元処理を実行する。

図１１は、復元処理実行部１２０が復元処理を行った場合のＭＴＦの復元を模式的に表した図である。図１１において、横軸はＦ値を示し、縦軸はＭＴＦの値を示し、小絞りボケ基準絞り値はＦ８としている。図１１に示す例では、小絞りボケ基準絞り値のＦ８において、ＭＴＦが回復されている。なお、Ｆ８からＦ１６の間の点線は、復元処理を行う前のＭＴＦの値を示している。復元処理実行部１２０が復元処理を行うことによって点線で表されたＭＴＦが図１１の（Ａ）または（Ｂ）のように回復される。図１１の（Ａ）は、Ｆ８までのＭＴＦの値をほぼ維持するように復元処理が行われる様子を示している。一方、図１１の（Ｂ）は、Ｆ５．６からＦ８の間で、なだらかにＭＴＦの値が下がる場合（図１１中の細線を参照）を想定して、復元処理が行われる様子を示している。

復元処理におけるＭＴＦの値の復元は、図１１の（Ａ）又は図１１の（Ｂ）のように行ってもよい。なお、ＭＴＦの回復のさせ方として、様々な手法を採用することができ、図１１に示されたものに限定されない。

図１２は、第１実施形態に係る復元処理の流れを示すフローチャートである。まず、デジタルカメラ１０の撮像部１１では、被写体は光学系１２を介して撮像されて画像データが生成され（図１２のステップＳ１０：撮像ステップ）、画像生成部１００は、画像データに基づいて動画を生成する（ステップＳ１２：画像生成ステップ）。その後、絞り値検出部１１０は、画像データを取得した際の絞り値を検出する（ステップＳ１４：絞り値検出ステップ）。その後、復元処理判断部１１５は、絞り値検出部１１０で検出した絞り値が、小絞り基準絞り値であるか否かの判断を行う（ステップＳ１６：復元処理判断ステップ）。

絞り値検出部１１０により検出された絞り値が小絞りボケ基準絞り値よりも小さい場合（ステップＳ１６のＮｏ）、復元処理はスキップされ、必要に応じて他の画像処理が行われる。一方、絞り値検出部１１０により検出された絞り値が小絞りボケ基準絞り値以上の場合（ステップＳ１６のＹｅｓ）、フィルタ取得部１０５により復元フィルタが取得され（ステップＳ１８：フィルタ取得ステップ）、取得された復元フィルタが復元処理実行部１２０に送られる。その後、復元処理実行部１２０は、画像生成部１００から取得した動画に対して、フィルタ取得部１０５から取得した復元フィルタに基づいて復元処理を行う（ステップＳ２０：復元処理実行ステップ）。

なお、復元処理を行うか否かの判断（ステップＳ１６）及びこの判断に伴う他の処理は、連続画像を構成する画像（フレーム）毎に行われ、画像単位で復元処理の最適化が行われる。

以上説明したように、上述の第１実施形態は、小絞りボケ基準絞り値以上の小絞り側のみで復元処理を行っているために、画質に対して支配的である小絞りボケを効率的に除去することができる。また、上述の第１実施形態は、小絞りボケ基準絞り値より開放側では復元処理を行わないので、画像処理に寄与する回路の規模を縮小することができる。また、撮影中に被写体が動いたり撮像装置が動くことで発生したり、撮像装置が適切な合焦位置に合焦するまで作動している間に発生するデフォーカス状態が起きる動画撮影において、動画撮影中に生じ易いこのようなデフォーカス領域が画像に含まれても、ＰＳＦの変化が少ない小絞り側において復元処理を行うことで、復元処理による画質の劣化を招く可能性を低減することができる。

＜第２実施形態＞
本実施形態では、折り返し歪を抑制する小絞りボケに対応する絞り値である歪み抑制絞り値に応じて、復元処理の実行を制御する。これにより、本実施形態は、間引き処理を行った場合に生じる折り返し歪を抑制し且つ小絞りボケが除去された画像を得ることができる。さらに、本実施形態によれば、折り返し歪みがある画像に対して復元処理を行うことで生じうる画質劣化を効果的に防ぐことができる。

第１実施形態と第２実施形態を比較すると、第１実施形態は「小絞りボケ基準絞り値」に基づいて復元処理の実行を制御しているが、第２実施形態は「歪み抑制絞り値」に基づいて復元処理の実行を制御している。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

第２実施形態では、図５に示す復元処理判断部１１５は、絞り値検出部１１０により検出された絞り値が歪み抑制絞り値か否かを判断する。ここで、歪み抑制絞り値とは、間引き処理をした場合に生じる折り返し歪を抑制する小絞りボケに対応する絞り値のことである。以下に歪み抑制絞り値について詳述する。

折り返し歪みとは、画像データの間引き処理を行った場合に、ナイキスト周波数以上の周波数におけるレスポンスが低周波数側にノイズとして現れたものである。例えば、折り返し歪みの例として、本来被写体にはない幾何学模様が画像に発生することが挙げられる。一方、折り返し歪みで発生した幾何学模様は、画像をボケさせることにより低減される。

一方、上述したように、絞り１７を絞ると回折により小絞りボケが発生するが、この小絞りボケは、折り返し歪みを抑制することができる。したがって、小絞りボケが一定以上の程度で発生している範囲では、折り返し歪みが抑制されることとなる。

本実施形態では、この小絞りボケと折り返し歪みの関係を利用して、より画質のよい動画を得ようとするものである。

図１３Ａは、第２実施態様での歪み抑制絞り値に関して一例を示した図である。図１３Ｂは、第１実施態様での小絞りボケ基準絞り値に関して説明する図である。なお、図１３Ａ及び図１３Ｂは歪み抑制絞り値や小絞りボケ基準絞り値を例示するに過ぎず、これらの値は限定されるものではない。

図１３Ａは、歪み抑制絞り値がＦ１１、Ｆ１６、及びＦ２２である場合を示している。図１３Ａでは、歪み抑制絞り値でないＦ１からＦ８までの間は、小絞りボケが発生していないか、又は小絞りボケが発生していても折り返し歪みを十分に抑制できるほどボケないので、折り返し歪みが発生している。一方、歪み抑制絞り値である、Ｆ１１、Ｆ１６及びＦ２２では、折り返し歪みを抑制するのに十分な小絞りボケが発生しているため、折り返し歪みが抑制されている。このように、歪み抑制絞り値は、比較的、ボケの程度が大きい小絞りボケに対応する絞り値が選択される。

また、図１３Ｂには、小絞りボケ基準絞り値がＦ８である場合の第１実施形態を示している。この場合、絞り値が小絞りボケ基準絞り値（Ｆ８）以上である場合は、小絞りボケは画像劣化において支配的であり、絞り値が小絞りボケ基準絞り値（Ｆ８）より小さい場合は、小絞りボケは画像劣化において支配的ではない。

なお、歪み抑制絞り値は、折り返し歪みを抑制する小絞りボケに対応する絞り値を表せていれば、様々なものが採用することができる。例えば、歪み抑制絞り値として、Ｆ値が採用できる。また、例えば、「最も小絞りに絞った絞り状態から何段開放側に絞りを開放させた」かによって、歪み抑制絞り値を表してもよい。さらに、例えば、ナイキスト周波数の半分の周波数（０．２５ｆｓ）において、回折によりＭＴＦが５０％以上落ちるＦ値を歪み抑制絞り値としてもよい（図９参照）。

第２実施形態では、復元処理実行部１２０は、絞り値検出部１１０により検出された絞り値が歪み抑制絞り値と判断された場合、間引き処理された動画に対して復元フィルタを使用して復元処理を実行する。

以上説明したように、上述の第２実施形態は、「間引き処理をした場合に生じる折り返し歪を抑制する小絞りボケに対応する絞り値」に応じて、復元処理の実行を制御しているために、復元処理を行う動画では折り返し歪みの影響が低減されており、復元処理を適切に行うことができる。また、上述の第２実施形態では、歪み抑制絞り値に該当する絞り値で撮像された動画に対してのみ復元処理が行われるため、画質に対して影響が大きい小絞りボケを効率的に除去することができる。さらに、上述の第２実施形態は、歪み抑制絞り値ではない絞り値により撮像された動画に対しては、復元処理が行われないので、画像処理に寄与する回路の規模を縮小することができる。またこれにより、動画撮影中に生じ易いデフォーカス領域が画像に含まれても、復元処理による画質の劣化を招く可能性を低減することができる。

＜第３実施形態＞
本実施形態は、動画及び静止画を生成する場合に、動画及び静止画の各々に対して異なる基準により復元処理を行うので、動画及び静止画の各々に要求される画質を満足させる復元処理の実施に関して説明する。なお、ここで静止画とは、連続しない１枚の画像を意味し、経時的に隣接する他の画像との相関関係が無い画像をいう。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

第３実施形態では、図５に示す復元処理実行部１２０は、静止画には、動画に対する復元処理よりもより広範囲の絞り値において復元処理が行われる。これにより、第３実施形態は、静止画へのより高い画質の要求を満足させ、動画への効率的な画質の向上を満足させ、且つ画像処理に寄与する回路の規模を縮小することができる。

画像生成部１００は、撮像部１１により生成される画像データに基づいて、動画及び静止画を生成する。すなわち、画像生成部１００は、撮像部１１の撮像素子２６に保持されている画像データを取得して、動画及び静止画を生成する。例えば、静止画の作成は、ユーザーインターフェイス３７に設置されているシャッタボタンにより指示され、デバイス制御部３４により画像生成部１００が制御されて作成される。

復元処理判断部１１５は、静止画に対して復元処理を行うか否かを判断する場合には、小絞りボケ基準絞り値よりも１段以上開放側の絞り値である静止画基準絞り値に基づいて判断を行う。すなわち、第１実施形態の復元処理判断部１１５は、動画に対して復元処理を行うか否かを判断する場合は、「小絞りボケ基準絞り値」を使用するが、静止画に対して復元処理を行うか否かを判断する場合は、「静止画基準絞り値」を使用する。ここで、静止画基準絞り値は、動画よりも広い絞り値の範囲で撮影された静止画に対しても画像処理を行う観点で決定される。なお、１段とは、段階的な絞り１７の調節の１段を意味する。絞り１７の調節が、Ｆ１．４、Ｆ２、Ｆ２．８、Ｆ４、Ｆ５．６、Ｆ８、Ｆ１１というように段階的になっている場合には、例えばＦ１．４からＦ２へ絞り１７を絞ることを１段絞るという。

図１４は、動画に復元処理をする際に使用される小絞りボケ基準絞り値と、静止画に復元処理をする際に使用される静止画基準絞り値とを説明する図である。

図１４の（Ａ）は、動画に対する復元処理を行う場合を示している。この場合、小絞りボケ基準絞り値としてＦ８が採用されており、Ｆ８以上で撮像された動画に対しては復元処理が行われ、Ｆ８より小さい条件で撮影された動画に対しては復元処理が行われない。

図１４（Ｂ）は、静止画に対する復元処理を行う場合を示している。この場合、小絞りボケ基準絞り値がＦ８であるので（図１４（Ａ））、静止画基準絞り値は、Ｆ５．６（図１４（Ｂ）の（ａ））、Ｆ４（図１４（Ｂ）の（ｂ））、Ｆ２．８（図１４（Ｂ）の（ｃ））、Ｆ２（図１４（Ｂ）の（ｄ））、Ｆ１．４（図１４（Ｂ）の（ｅ））、又はＦ１（図１４（Ｂ）の（ｆ））とすることができる。すなわち、静止画基準絞り値は、小絞りボケ基準絞り値未満であればよく、例えば、小絞りボケ基準絞り値よりも１段以上開放側の絞り値であればよい。図１４に示す場合は小絞りボケ基準絞り値がＦ８であるので、Ｆ５．６、Ｆ４、Ｆ２．８、Ｆ２、Ｆ１．４、又はＦ１を採用することができる。

また、復元処理判断部１１５は、動画に対して復元処理を行うか否かを「歪み抑制絞り値」に基づいて判断してもよい。すなわち、復元処理判断部１１５は、静止画に対して復元処理を行うか否かを、歪み抑制絞り値のうち最も開放側の歪み抑制絞り値未満の絞り値である静止画基準絞り値に基づいて、静止画に対して復元処理を行うか否かを判断する。例えば、復元処理判断部１１５は、歪み抑制絞り値よりも１段以上開放側の絞り値である「静止画基準絞り値」に基づいて判断してもよい。なお、この場合の静止画基準絞り値は、歪み抑制絞り値が複数の場合には最も開放側の歪み抑制絞り値よりも１段以上開放側の絞り値のことをいい、歪み抑制絞り値が一つの場合には歪み抑制絞り値よりも１段以上開放側の絞り値のことをいう。

第２実施形態の復元処理判断部１１５は動画に対して復元処理を行うか否かを判断する場合は歪み抑制絞り値を使用するが、第３実施形態では、静止画に対して復元処理を行うか否かを判断する場合は、歪み抑制絞り値ではない、静止画基準絞り値に基づいて判断を行ってもよい。

図１５は、動画に復元処理をする際に使用される歪み抑制絞り値と、静止画に復元処理をする際に使用される静止画基準絞り値とを説明する図である。

図１５（Ａ）は、動画に対する復元処理を行う場合を示している。この場合、歪み抑制絞り値としてＦ１１、Ｆ１６、及びＦ２２が採用されており、Ｆ１１、Ｆ１６、及びＦ２２で撮像された動画に対しては復元処理が行われ、Ｆ１１、Ｆ１６、及びＦ２２ではない絞り値により撮像された動画に対しては復元処理が行われない。なお、図１５（Ａ）では、歪み抑制絞り値がＦ１１、Ｆ１６、及びＦ２２と複数あり、Ｆ１１のことを最小歪み抑制絞り値とする。

図１５の（Ｂ）は、静止画に対する復元処理を行う場合を示している。歪み抑制絞り値がＦ１１、Ｆ１６、及びＦ２２であるので（図１５の（Ａ））、この場合、静止画基準絞り値は、Ｆ８（図１５の（Ｂ）の（ａ））、Ｆ５．６（図１５の（Ｂ）の（ｂ））、Ｆ４（図１５の（Ｂ）の（ｃ））、Ｆ２．８（図１５の（Ｂ）の（ｄ））、Ｆ２（図１５の（Ｂ）の（ｅ））、Ｆ１．４（図１５の（Ｂ）の（ｆ））、又はＦ１（図１５の（Ｂ）の（ｇ））とすることができる。すなわち、静止画基準絞り値は、歪み抑制絞り値よりも１段以上開放側の絞り値である。なお、歪み抑制絞り値が図１５の（Ａ）に示されるように複数の場合には、静止画基準絞り値は、最小歪み抑制絞り値よりも１段以上開放側の絞り値である。

復元処理判断部１１５は、絞り値検出部１１０で検出された絞り値が静止画基準絞り値以上と判断された場合、静止画に対して復元フィルタを使用して復元処理を実行する。そして、上述したように静止画基準絞り値の決定の仕方を考慮すると、静止画に対しての復元処理は、動画に対しての復元処理よりも、広範囲の絞り値において実行される。

復元処理実行部１２０は、図１０により説明したように復元処理の復元強度を調節することができる。したがって、復元処理実行部１２０は、動画に対して復元処理を行う場合は、静止画に対して復元処理を行う場合より、復元処理の復元強度を弱く調節することにより復元処理を実行してもよい。被写体が動くので撮影条件が定まりにくく、復元処理が難しい動画には、復元処理の復元強度を弱く行うことにより、復元処理によってもたらされうる画質の劣化を効果的に防ぐことができる。また、動画よりも高い画質が求められる静止画には、通常の復元処理を行うことにより、高い画質を有する静止画を生成することができる。

図５に示すフィルタ取得部１０５は、動画に対して復元処理を行う場合は、動画用の復元フィルタを取得し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを取得してもよい。復元処理実行部１２０は、動画に対して復元処理を行う場合は、動画用の復元フィルタを使用して復元処理を実行し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを使用して復元処理を実行してもよい。ここで、動画用フィルタとは、動画の特性を考慮して設計されたフィルタのことをいい、静止画用フィルタとは、静止画の特性を考慮して設計されたフィルタのことをいう。例えば、動画用の復元フィルタは、静止画用の復元フィルタよりも、フィルタサイズが小さく設計されてもよい。なお、フィルタサイズが小さいとは、例えば、フィルタを構成するタップ数が小さいフィルタのことをいう。

また、フィルタ取得部１０５は、動画に対して復元処理を行う場合は、静止画用の復元フィルタを取得し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを取得してもよい。復元処理実行部１２０は、動画に対して復元処理を行う場合は、静止画用の復元フィルタを使用して復元処理を実行し、静止画に対して復元処理を行う場合は、静止画用の復元フィルタを使用して復元処理を実行してもよい。すなわち、動画及び静止画に対して共用フィルタが設けられているとしてもよい。

以上説明したように、上述の第３実施形態は、動画に対しては「絞りボケ基準絞り値」又は「歪み抑制絞り値」に応じて復元処理の実行を制御し、静止画に対しては「静止画基準絞り値」に応じて復元処理の実行を制御するので、動画及び静止画の各々に要求される画質を満足させる復元処理を行うことができる。またこれにより、動画撮影中に生じ易いデフォーカス領域が画像に含まれても、復元処理による画質の劣化を招く可能性を低減することができる。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ぼけ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるぼけ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図１６は、ＥＤｏＦ光学系を備える撮像モジュール２０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）２０１は、ＥＤｏＦ光学系（レンズユニット）２１０と、撮像素子２１２と、ＡＤ変換部２１４と、復元処理ブロック（画像処理部）２２０とを含む。

図１７は、ＥＤｏＦ光学系２１０の一例を示す図である。本例のＥＤｏＦ光学系２１０は、単焦点の固定された撮影レンズ２１０Ａと、瞳位置に配置される光学フィルタ２１１とを有する。光学フィルタ２１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系２１０（撮影レンズ２１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ２１０Ａ及び光学フィルタ２１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系２１０は必要に応じて他の構成要素を含み、例えば光学フィルタ２１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ２１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ２１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系２１０（撮影レンズ２１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ２１１を設ける代わりに、本例の光学フィルタ２１１と同等の機能を有するようにレンズ設計された撮影レンズ２１０ＡによってＥＤｏＦ光学系２１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子２１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系２１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系２１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ２１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ２１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１７に示すＥＤｏＦ光学系２１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系２１０を通過後の光学像は、図１６に示す撮像素子２１２に結像され、ここで電気信号に変換される。

撮像素子２１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系２１０を介して撮像素子２１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部２１４は、撮像素子２１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部２１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック２２０に加えられる。

復元処理ブロック２２０は、例えば、黒レベル調整部２２２と、ホワイトバランスゲイン部２２３と、ガンマ処理部２２４と、デモザイク処理部２２５と、ＲＧＢ／ＹＣｒＣｂ変換部２２６と、Ｙ信号復元処理部２２７とを含む。

黒レベル調整部２２２は、ＡＤ変換部２１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部２２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部２２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部２２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部２２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子２１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部２２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部２２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部２２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ２１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ２１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部２２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック２２０による復元処理について説明する。図１８は、図１６に示す復元処理ブロック２２０による復元処理フローの一例を示す図である。

黒レベル調整部２２２の一方の入力には、ＡＤ変換部２１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部２２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部２２３に出力する（Ｓ３１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部２２３、ガンマ処理部２２４による処理が施される（Ｓ３２及びＳ３３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部２２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部２２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（Ｓ３４）。

Ｙ信号復元処理部２２７は、輝度信号Ｙに、ＥＤｏＦ光学系２１０の光学フィルタ２１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（Ｓ３５）。すなわち、Ｙ信号復元処理部２２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部２２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ぼけを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図１９（ａ）に示すように、ＥＤｏＦ光学系２１０を通過後の輝度信号の点像（光学像）は、大きな点像（ぼけた画像）として撮像素子２１２に結像されるが、Ｙ信号復元処理部２２７でのデコンボリューション処理により、図１９（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る復元処理を適用することが可能である。

なお、上述の各実施形態では、復元処理部３６が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に復元処理部３６が設けられてもよい。

また上述のデジタルカメラ１０は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組合せによって適宜実現可能である。例えば、上述の各装置及び処理部（カメラ本体コントローラ２８、画像処理部３５、復元処理部３６等）における撮像方法（処理ステップ、処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能な各種のコンピュータに対しても本発明を応用することが可能である。

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる復元処理部によってこの画像データの復元処理が行われてもよい。また、サーバ８０が復元処理部を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の復元処理部においてこの画像データに対して復元処理が行われ、復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。このようにコンピュータ６０やサーバ８０などに復元処理部が備えられた画像処理装置において実施するようにしてもよく、復元処理の全部又は一部を復元処理部が備えられたコンピュータ６０やサーバ８０などで実施するようにしてもよい。また、デジタルカメラ１０以外で復元処理が行われる場合を想定し、カメラ本体による撮影動作においてフレームごとに取得した撮影条件を画像データに記録しておくことで、カメラから取得した画像データを画像処理装置に送信し、画像処理装置で本発明の復元処理を実施することが容易になる。また、カメラ本体による撮影動作においてフレームごとに取得した撮影条件を画像データとともに画像処理装置に送信することで、画像処理装置で本発明の復元処理を実施することが容易になる。なお、画像処理装置で本発明の復元処理を実施する場合は、画像処理装置内の画像データ取得部で画像データを取得し、画像処理装置内の絞り値取得部が画像データに記録された絞り値を取得し本発明の復元処理を実行する。また、取得又は記録する撮影条件は毎フレームごとに取得することが望ましいが、これに限られない。復元処理による画質の劣化の許容範囲に応じて、撮影条件の取得を数フレームに1度としたり、撮影条件が所定の閾値以上に変化した場合に撮影条件を取得するなど、撮影条件の取得を間引いてもよい。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２０は、本発明の撮影装置の一実施形態であるスマートフォン３０１の外観を示すものである。図２０に示すスマートフォン３０１は、平板状の筐体３０２を有し、筐体３０２の一方の面に表示部としての表示パネル３２１と、入力部としての操作パネル３２２とが一体となった表示入力部３２０を備えている。又、係る筐体３０２は、スピーカ３３１と、マイクロホン３３２、操作部３４０と、カメラ部３４１とを備えている。尚、筐体３０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２１は、図２０に示すスマートフォン３０１の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部３１０と、表示入力部３２０と、通話部３３０と、操作部３４０と、カメラ部３４１と、記憶部３５０と、外部入出力部３６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部３７０と、モーションセンサ部３８０と、電源部３９０と、主制御部４００とを備える。又、スマートフォン３０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。尚、上記で説明した画像処理部３５は主に、主制御部４００に属する形態が考えられるが、これに限定されるものではない。

無線通信部３１０は、主制御部４００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部３２０は、主制御部４００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル３２１と、操作パネル３２２とを備える。

表示パネル３２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル３２２は、表示パネル３２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部４００に出力する。次いで、主制御部４００は、受信した検出信号に基づいて、表示パネル３２１上の操作位置（座標）を検出する。

図２０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン３０１の表示パネル３２１と操作パネル３２２とは一体となって表示入力部３２０を構成しているが、操作パネル３２２が表示パネル３２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル３２２は、表示パネル３２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル３２２は、表示パネル３２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル３２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル３２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル３２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体３０２の大きさなどに応じて適宜設計されるものである。更に又、操作パネル３２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部３３０は、スピーカ３３１やマイクロホン３３２を備え、マイクロホン３３２を通じて入力されたユーザの音声を主制御部４００にて処理可能な音声データに変換して主制御部４００に出力したり、無線通信部３１０あるいは外部入出力部３６０により受信された音声データを復号してスピーカ３３１から出力するものである。又、図２０に示すように、例えば、スピーカ３３１を表示入力部３２０が設けられた面と同じ面に搭載し、マイクロホン３３２を筐体３０２の側面に搭載することができる。

操作部３４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部３４０は、スマートフォン３０１の筐体３０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部３５０は、主制御部４００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部３５０は、スマートフォン内蔵の内部記憶部３５１と着脱自在な外部メモリスロットを有する外部記憶部３５２により構成される。尚、記憶部３５０を構成するそれぞれの内部記憶部３５１と外部記憶部３５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部３６０は、スマートフォン３０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン３０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン３０１の内部の各構成要素に伝達することや、スマートフォン３０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部３７０は、主制御部４００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン３０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部３７０は、無線通信部３１０や外部入出力部３６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部３８０は、例えば、３軸の加速度センサなどを備え、主制御部４００の指示にしたがって、スマートフォン３０１の物理的な動きを検出する。スマートフォン３０１の物理的な動きを検出することにより、スマートフォン３０１の動く方向や加速度が検出される。係る検出結果は、主制御部４００に出力されるものである。

電源部３９０は、主制御部４００の指示にしたがって、スマートフォン３０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部４００は、マイクロプロセッサを備え、記憶部３５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３０１の各部を統括して制御するものである。又、主制御部４００は、無線通信部３１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部３５０が記憶するアプリケーションソフトウェアにしたがって主制御部４００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部３６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

又、主制御部４００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部３２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部４００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部３２０に表示する機能のことをいう。

更に、主制御部４００は、表示パネル３２１に対する表示制御と、操作部３４０、操作パネル３２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部４００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル３２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

又、操作検出制御の実行により、主制御部４００は、操作部３４０を通じたユーザ操作を検出したり、操作パネル３２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部４００は、操作パネル３２２に対する操作位置が、表示パネル３２１に重なる重畳部分（表示領域）か、それ以外の表示パネル３２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル３２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

又、主制御部４００は、操作パネル３２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部３４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。又、カメラ部３４１は、主制御部４００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部３５０に記録することができ、外部入出力部３６０や無線通信部３１０を通じて出力することができる。図２０に示すにスマートフォン３０１において、カメラ部３４１は表示入力部３２０と同じ面に搭載されているが、カメラ部３４１の搭載位置はこれに限らず、表示入力部３２０の背面に搭載されてもよいし、あるいは、複数のカメラ部３４１が搭載されてもよい。尚、複数のカメラ部３４１が搭載されている場合には、撮影に供するカメラ部３４１を切り替えて単独にて撮影することができ、あるいは、複数のカメラ部３４１を同時に使用して撮影することもできる。

又、カメラ部３４１はスマートフォン３０１の各種機能に利用することができる。例えば、表示パネル３２１にカメラ部３４１で取得した画像を表示することや、操作パネル３２２の操作入力のひとつとして、カメラ部３４１の画像を利用することができる。又、ＧＰＳ受信部３７０が位置を検出する際に、カメラ部３４１からの画像を参照して位置を検出することもできる。更には、カメラ部３４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３０１のカメラ部３４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部３４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部３７０により取得した位置情報、マイクロホン３３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部３８０により取得した姿勢情報等などを付加して記憶部３５０に記録することができ、外部入出力部３６０や無線通信部３１０を通じて出力することもできる。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１１…撮像部、１２…光学系、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…光学系コントローラ、２２…光学系入出力部、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３２…入出力インターフェース、３３…表示部、３４…デバイス制御部、３５…画像処理部、３６…復元処理部、３７…ユーザーインターフェイス、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１００…画像生成部、１０５…フィルタ取得部、１１０…絞り値検出部、１１５…復元処理判断部、１２０…復元処理実行部、２０１…撮像モジュール、２１０…ＥＤｏＦ光学系、２１０Ａ…撮影レンズ、２１１…光学フィルタ、２１２…撮像素子、２１４…ＡＤ変換部、２２０…復元処理ブロック、２２２…黒レベル調整部、２２３…ホワイトバランスゲイン部、２２４…ガンマ処理部、２２５…デモザイク処理部、２２６…変換部、２２７…Ｙ信号復元処理部、３０１…スマートフォン、３０２…筐体、３１０…無線通信部、３２０…表示入力部、３２１…表示パネル、３２２…操作パネル、３３０…通話部、３３１…スピーカ、３３２…マイクロホン、３４０…操作部、３４１…カメラ部、３５０…記憶部、３５１…内部記憶部、３５２…外部記憶部、３６０…外部入出力部、３７０…受信部、３７０…ＧＰＳ受信部、３８０…モーションセンサ部、３９０…電源部、４００…主制御部

Claims (14)

1. 光学系を介して被写体を撮像し、画像データを生成する撮像部と、
   前記画像データに基づいて間引き処理された動画を生成する画像生成部と、
   前記光学系の点像分布に関する伝達関数に対応した復元フィルタを取得するフィルタ取得部と、
   前記撮像部が前記被写体を撮像する場合の前記光学系の絞り値を検出する絞り値検出部と、
   前記絞り値検出部により検出された前記絞り値が、前記間引き処理をした場合に生じる折り返し歪を抑制する小絞りボケに対応する絞り値である歪み抑制絞り値か否かを判断する復元処理判断部と、
   前記復元処理判断部により、前記絞り値検出部により検出された前記絞り値が前記歪み抑制絞り値と判断された場合、前記間引き処理された動画に対して前記復元フィルタを使用して復元処理を実行する復元処理実行部と、
   を備える撮像装置。
2. 前記復元処理実行部は、前記絞り値検出部により検出された前記絞り値に応じて、復元処理の復元強度を調節して復元処理を実行する請求項１に記載の撮像装置。
3. 前記画像生成部は、さらに、前記画像データに基づいて静止画を生成し、
   前記復元処理判断部は、前記静止画に対して復元処理を行うか否かを判断する場合には、前記歪み抑制絞り値のうち最も開放側の前記歪み抑制絞り値未満の絞り値である静止画基準絞り値に基づいて、前記静止画に対して復元処理を行うか否かを判断し、
   前記復元処理実行部は、前記復元処理判断部により、前記絞り値検出部により検出された前記絞り値が前記静止画基準絞り値以上と判断された場合、前記静止画に対して前記復元フィルタを使用して復元処理を実行する請求項１に記載の撮像装置。
4. 前記復元処理実行部は、前記動画に対して復元処理を行う場合は、前記静止画に対して復元処理を行う場合より、復元処理の復元強度を弱く調節することにより復元処理を実行する請求項３に記載の撮像装置。
5. 前記フィルタ取得部は、前記動画に対して復元処理を行う場合は、動画用の復元フィルタを取得し、前記静止画に対して復元処理を行う場合は、静止画用の復元フィルタを取得し、
   前記復元処理実行部は、前記動画に対して復元処理を行う場合は、前記動画用の復元フィルタを使用して復元処理を実行し、前記静止画に対して復元処理を行う場合は、前記静止画用の復元フィルタを使用して復元処理を実行する請求項３又は４に記載の撮像装置。
6. 前記フィルタ取得部は、前記動画に対して復元処理を行う場合は、静止画用の復元フィルタを取得し、前記静止画に対して復元処理を行う場合は、前記静止画用の復元フィルタを取得し、
   前記復元処理実行部は、前記動画に対して復元処理を行う場合は、前記静止画用の復元フィルタを使用して復元処理を実行し、前記静止画に対して復元処理を行う場合は、前記静止画用の復元フィルタを使用して復元処理を実行する請求項３又は４に記載の撮像装置。
7. 前記動画用の復元フィルタは、前記静止画用の復元フィルタよりも、フィルタサイズが小さい請求項５に記載の撮像装置。
8. 前記復元処理実行部は、前記動画に対して復元処理を行う場合は、前記光学系の点像分布に関する伝達関数の振幅成分のみに関して補正する復元処理を行う請求項１から７のいずれか１項に記載の撮像装置。
9. 前記絞り値検出部は、前記撮像部が前記被写体を撮像する初期の場合は、前記動画に基づいて得られた明るさにより、前記絞り値を検出する請求項１から８のいずれか１項に記載の撮像装置。
10. 前記フィルタ取得部は、前記絞り値検出部により検出された前記絞り値よりも小絞り側の絞り値を基に、前記光学系の点像分布に関する伝達関数に対応して生成された復元フィルタを取得する請求項９に記載の撮像装置。
11. 前記復元処理実行部は、前記撮像部が前記動画を生成する初期の場合には、前記被写体に対して合焦された後に、復元処理を実行する請求項１から８のいずれか１項に記載の撮像装置。
12. 前記光学系は、交換式のレンズを有する請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記光学系は、位相を変調することにより被写界深度を拡大させるレンズを有する請求項１から１２のいずれか１項に記載の撮像装置。
14. 光学系を介して被写体を撮像し、画像データを生成する撮像ステップと、
    前記画像データに基づいて間引き処理された動画を生成する画像生成ステップと、
    前記光学系の点像分布に関する伝達関数に対応した復元フィルタを取得するフィルタ取得ステップと、
    前記撮像ステップが前記被写体を撮像する場合の前記光学系の絞り値を検出する絞り値検出ステップと、
    前記絞り値検出ステップにより検出された前記絞り値が、前記間引き処理をした場合に生じる折り返し歪を抑制する小絞りボケに対応する絞り値である歪み抑制絞り値か否かを判断する復元処理判断ステップと、
    前記復元処理判断ステップにより、前記絞り値検出ステップにより検出された前記絞り値が前記歪み抑制絞り値と判断された場合、前記間引き処理された動画に対して前記復元フィルタを使用して復元処理を実行する復元処理実行ステップと、
    を含む撮像方法。

Images