JP5933129B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに係り、特に点拡がり関数に基づく復元処理を行う画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

撮像光学系を介して撮影される被写体像には、撮像光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。

この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく復元処理（点像復元処理）を受けることで画質を回復することができる。復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタを用いる画像処理によって撮影画像の点拡がりをキャンセルする処理である。

復元処理を行うと基本的には画質の向上が期待されるが、復元処理を行うことにより却って画質の劣化を招く場合がある。そのような場合に対処すべく、様々な手法が提案されている。

例えば特許文献１には、不要なぶれ補正処理の実行を抑制するぶれ補正装置が開示されている。この補正装置は、補正対象画像に含まれるぶれの均一性を二枚の推定用画像から推定し、その均一性を基に、ＰＳＦを利用してぶれ補正処理を行う。

さらに、復元処理を飽和画素やデフォーカス領域に対して行うと、却って画質を劣化させてしまう場合があり、復元処理を飽和画素やデフォーカス領域に対して行うことによる画質劣化に対処する様々な手法も提案されている。

例えば特許文献２には、白飛び領域、すなわち飽和画素が含まれる領域に対して復元処理を行う場合に発生するノイズを抑制し、撮像光学系に起因する画質劣化を低減する画像処理装置が開示されている。この画像処理装置は、回復処理が施された撮像データに露出量の補正に基づいてゲイン調整を行う。

また特許文献３には、デフォーカス位置を設定し、そのデフォーカス位置に関する情報を参考にして、ＰＳＦを利用したボケ補正を行う技術が開示されている。

さらに、点像復元処理を動画に対して行うことについても、様々な手法が提案されている。

例えば特許文献４には、動画に対するＰＳＦを使用した復元処理を行う撮像装置が開示されている。この撮像装置は、静止画に画像復元処理を行う場合には第１フィルタを、動画に画像復元処理を行う場合には第２フィルタを使用する。

特開２００９−１７１３４１号公報 特開２０１０−２８３５２７号公報 特開２０１２−６５１１４号公報 特開２００８−１１４９２号公報

しかしながら、「撮影環境の急な変化」がある動画に対して復元処理を行う場合には、特許文献１から特許文献４に開示されている技術は、フレーム毎の撮影環境に応じて復元処理の内容を変化させるので、フレーム間で復元処理の内容に大きな違いが生まれる場合がある。このような、フレーム間での復元処理の内容の大きな違いは、画像の連続性を求められる動画において、好ましくない。

本発明はこのような事情に鑑みてなされたもので、「撮影環境の急な変化」がある場合であっても、フレーム間の復元処理の連続性を維持しつつ、良好な画質の動画を取得することができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の一態様は、光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元制御処理部を備え、復元制御処理部は、複数のフレームのうちの処理対象フレームに対する復元処理を、処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御する画像処理装置に関する。

本態様によれば、処理対象フレームに対しての復元処理は、参照フレームの撮像情報に基づいて行われる。これにより、本態様は、処理対象フレームと参照フレームとの間の復元処理の連続性を維持しつつ、良好な画質の動画を取得することができる。

なお、「処理対象フレーム」とは復元制御処理部内で実行される復元処理が行われる対象のフレームである。

また、「参照フレーム」とは動画を構成する複数のフレームのうち、処理対象フレーム以外のフレームであって、処理対象フレームより時系列における後のフレームを少なくとも含むフレームである。なお、参照フレームは、単数でも複数であってもよい。

望ましくは、参照フレームは、処理対象フレームよりも時系列における前のフレームを含む。

本態様によれば、参照フレームとして、処理対象フレームよりも時系列における前のフレームを含むので、参照フレームは、時系列における前のフレーム及び時系列における後のフレームを有することになる。これにより、本態様は、処理対象フレームの前後においてより連続性が優れた復元処理を行うことができる。

望ましくは、参照フレームは、処理対象フレームの時系列における直前のフレーム及び直後のフレームを含む。

本態様によれば、処理対象フレームの時系列における直前及び直後のフレームでの撮像情報に基づいて復元処理の内容が調整される。これにより、本態様は、処理対象フレームの直前及び直後においてより連続性が良好な復元処理を行うことができる。

望ましくは、復元制御処理部は、処理対象フレームに対する復元処理を、参照フレームの撮像情報及び処理対象フレームの撮像情報に基づいて制御する。

本態様によれば、参照フレーム及び処理対象フレームの撮像情報に基づいて、復元処理の内容が調整されるので、本態様は、処理対象フレームと参照フレーム間においてより連続性のある復元処理を行うことができる。

望ましくは、撮像情報は、処理対象フレーム及び参照フレームの撮影条件情報を含む。

本態様によれば、処理対象フレーム及び参照フレームの撮影条件情報に基づいて、復元処理の内容が調整される。これにより、本態様は、処理対象フレーム及び参照フレームの間において撮影条件情報が大きく変わる場合であっても、連続性のある復元処理を行うことができる。

望ましくは、撮影条件情報は、絞り値及びズーム倍率のうち少なくともいずれか一方を含む。

本態様によれば、絞り値やズーム倍率に基づいて復元処理の内容を調整する。これにより、本態様は、絞り値やズーム倍率の急な変化にも、連続性のある復元処理を行うことができる。

望ましくは、復元制御処理部は、処理対象フレーム及び参照フレームの撮影条件情報のうち最も頻度の高い撮影条件に基づいて、復元処理を行う。

本態様によれば、最も頻度の高い撮影条件に基づいて、復元処理の内容が安定的に調整される。これにより、本態様は、撮影条件に応じた復元処理の内容が安定的となり、連続性のある復元処理を行うことができる。

望ましくは、復元処理は、点拡がり関数に基づく復元フィルタを用いるフィルタリング処理を含み、復元制御処理部は、処理対象フレームの撮影条件情報に対応する復元フィルタと、参照フレームの撮影条件情報に対応する復元フィルタとに基づいて算出されるフィルタを復元フィルタとして用いたフィルタリング処理を、処理対象フレームに対して行うことにより、処理対象フレームに対する復元処理を行う。

本態様によれば、処理対象フレームの復元フィルタと参照フレームの復元フィルタとに基づいて、新たな復元フィルタが算出され、その新たな復元フィルタに基づいて、復元処理が実行される。これにより、本態様は、処理対象フレームに対してより適切な復元処理を行うことができ、且つフレーム間において連続性がある復元処理を行うことができる。

望ましくは、復元制御処理部は、処理対象フレームの撮影条件情報に対応する復元フィルタと、参照フレームの撮影条件情報に対応する復元フィルタとの加重平均から算出されるフィルタを復元フィルタとして用いたフィルタリング処理を、処理対象フレームに対して行うことにより、処理対象フレームに対する復元処理を行う。

本態様によれば、処理対象フレームの復元フィルタと参照フレームの復元フィルタとが加重平均されることにより、新たな復元フィルタが算出される。これにより、本態様は、各フレームの重要度に基づいて、連続性のある復元処理を行うことができる。また、本態様は、被写体が動く場合であっても画質の良い動画を提供することができる。

望ましくは、復元制御処理部は、処理対象フレームの撮影条件情報に対応する復元フィルタを処理対象フレームに適用することで算出される画像データと、参照フレームの撮影条件情報に対応する復元フィルタを参照フレームに適用することで算出される画像データとの加重平均から算出される画像データを、処理対象フレームの回復画像データとする。

本態様によれば、処理対象フレームに対して復元処理することにより得られる画像データ、及び参照フレームに対して復元処理することにより得られる画像データの加重平均により求められる画像データを、処理対象フレームの回復画像データとする。これにより、本態様は、各フレームの重要度に基づいて、連続性のある復元処理を行うことができる。

望ましくは、動画の被写体の動きを検出する被写体検出部を備え、被写体検出部によって検出される処理対象フレーム及び参照フレームでの被写体の動き量が閾値以上の場合、復元制御処理部は、処理対象フレームの撮影条件情報に対応する復元フィルタと、参照フレームの撮影条件情報に対応する復元フィルタとの加重平均から算出されるフィルタを復元フィルタとして用いたフィルタリング処理を、処理対象フレームに対して行うことにより、処理対象フレームに対する復元処理を行い、被写体検出部によって検出される処理対象フレーム及び参照フレームでの被写体の動き量が閾値未満の場合、復元制御処理部は、処理対象フレームの撮影条件情報に対応する復元フィルタを処理対象フレームに適用することで算出される画像データと、参照フレームの撮影条件情報に対応する復元フィルタを参照フレームに適用することで算出される画像データとの加重平均から算出される画像データを、処理対象フレームの回復画像データとする。

本態様によれば、被写体の動きに基づいて、新たに復元フィルタを生成し復元処理を行い処理対象フレームに係る回復画像データを求める場合と、処理対象フレームの回復画像データと参照フレームの回復画像データとの加重平均により処理対象フレームに係る回復画像データを求める場合と、に復元処理の内容を分けている。これにより、本態様は、被写体の動きに応じて良好な画像処理を行うことができる。

なお、「動き量」は、動画における被写体像の動きを定量的に表現するものであれば特に限定されるものではなく、様々な被写体、例えば主要被写体の動きを表す数値等を使用することができる。また、「閾値」は、特に限定されるものではなく、動き量と本発明の画像処理との関係で適宜決めることができる。

望ましくは、撮像情報は、処理対象フレーム及び参照フレームの画像情報を含む。

本態様によれば、処理対象フレーム及び参照フレームの画像情報に基づいて復元処理が行われる。これにより、本態様は、画像情報に応じて連続性のある復元処理を行うことができる。

望ましくは、画像情報は、処理対象フレーム及び参照フレームに飽和画素が含まれるか否かの情報、及び処理対象フレーム及び参照フレームにデフォーカス領域が含まれるか否かの情報のうち、少なくともいずれか一方を含む。

本態様によれば、飽和画素やデフォーカス領域の有無に基づいて、復元処理の内容を調整する。これにより、本態様は、飽和画素やデフォーカス領域が動画の途中から発生する場合であっても連続性のよい復元処理を行うことができる。

望ましくは、画像情報は、処理対象フレーム及び参照フレームに飽和画素が含まれるか否かの情報を含み、復元制御処理部は、参照フレームに飽和画素が含まれるか否かを判別し、参照フレームに飽和画素が含まれると判別した場合には、当該飽和画素が含まれる参照フレームの撮像情報に基づき、処理対象フレームに対する復元処理の復元強度を調整する。

本態様によれば、飽和画素を含むフレームがある動画の場合には、飽和画素が含まれるフレームの撮像情報に基づき復元処理の復元強度を調整する。これによれば、本態様は、動画に飽和画素が存在する場合であっても連続性のある復元処理を行うことができる。

望ましくは、復元制御処理部は、参照フレームにおける光源の点滅状態を解析し、光源の点滅状態に基づき、処理対象フレームに対する復元処理の復元強度を調整する。

本態様によれば、点滅光源が動画にある場合には、その点滅光源に基づいて復元処理の復元強度を調整する。これによれば、本態様は、動画に点滅光源が存在する場合であっても、連続性のある復元処理を行うことができる。

望ましくは、画像情報は、処理対象フレーム及び参照フレームにデフォーカス領域が含まれるか否かの情報を含み、復元制御処理部は、参照フレームにデフォーカス領域が含まれるか否かを判別し、参照フレームにデフォーカス領域が含まれると判別した場合には、当該デフォーカス領域が含まれる参照フレームの撮像情報に基づき、処理対象フレームに対する復元処理の復元強度を調整する。

本態様によれば、デフォーカス領域が動画にある場合には、その動画に基づき復元処理の復元強度を調整する。これにより、本態様は、デフォーカス領域が動画にある場合であっても、連続性の良い復元処理を行うことができる。

望ましくは、動画において動体を検出する動体検出部を備え、動体検出部によって処理対象フレーム及び参照フレームで動体が検出された場合、復元制御処理部は、動体の動きに応じた位相特性が反映された点拡がり関数に基づく復元処理を処理対象フレームに対して行う。

本態様によれば、動体を撮像した動画である場合には、その動体の検出に基づいて復元処理を行うことができる。これにより、本態様は、動体を撮像した動画であっても、良好な画質の復元処理を行うことができる。

望ましくは、復元制御処理部は、動画の原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得するフィルタ適用部と、原画像データと復元画像データとの差分の増幅率の調整を行い、当該調整が行われた後の差分と原画像データとから動画の回復画像データを取得するゲイン調整部と、を有し、参照フレームの撮像情報に基づき、復元フィルタ及び増幅率のうち少なくともいずれか一方を調整することで、処理対象フレームに対する復元処理を制御する。

本態様によれば、復元処理の制御がフィルタ適用部及びゲイン調整部により行われる。これにより、本態様は、復元フィルタの調整又はゲインの調整により、復元処理の制御を行うことができる。

望ましくは、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。

本態様によれば、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））光学系を介して得られる原画像データに対しても、画質劣化を抑制した復元処理を行うことができる。なお、レンズ部における位相を変調させる手法（光学的位相変調手段）は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体（例えばレンズの入射面及び／又は出力面）に位相変調機能を持たせたりすることも可能である。

本発明の他の態様は、光学系を用いた撮影により動画を取得する撮像素子と、上述の画像処理装置と、を備える撮像装置に関する技術である。

望ましくは、ライブビュー画像を表示する表示部を備え、復元制御処理部は、ライブビュー画像に対して光学系の点拡がり関数に基づく復元処理を行い、ライブビュー画像に対する復元処理は、ライブビュー画像を構成する複数のフレームのうちの処理対象フレームに対する復元処理を、当該処理対象フレームの時系列における前又は後に取得されたフレームの撮像情報には基づかずに、当該処理対象フレームの撮像情報に基づいて制御する。

本態様によれば、ライブビュー画像には、参照フレームの撮像情報に応じた処理対象フレームの復元処理を行わないので、画像処理に関係する計算の負荷を低減することができる。これにより、本態様は、応答性のよいライブビュー画像を取得することができる。

望ましくは、ライブビュー画像を表示する表示部を備え、復元制御処理部は、ライブビュー画像に対し、光学系の点拡がり関数に基づく復元処理を行わない。

本態様によれば、ライブビュー画像には復元処理が行われないので、画像処理に関係する計算の負荷を低減することができる。これにより、本態様は、応答性のよいライブビュー画像を取得することができる。

本発明の他の態様は、光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する画像処理方法であって、画像処理方法は、複数のフレームのうちの処理対象フレームに対する復元処理を、処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御する画像処理方法に関する技術である。

本発明の他の態様は、光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する手順をコンピュータに実行させるプログラムであって、プログラムは、複数のフレームのうちの処理対象フレームに対する復元処理を、処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御することを実行させるプログラムに関する技術である。

本発明によれば、復元処理が行われるフレーム、すなわち処理対象フレームに対する復元処理を、処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御するため、動画において撮影環境の急な変化があっても、その変化の前段階から復元処理の内容を徐々に調整することができ、急な復元処理の内容の変化を抑制して連続性が良好な復元処理を行うとともに、復元処理により画質の劣化を抑制することができる。

コンピュータに接続されるデジタルカメラの概略を示すブロック図である。 カメラ本体コントローラの機能構成例を示すブロック図である。 画像撮影から復元処理までの概略を示す図である。 復元処理の一例の概略を示すブロック図である。 第１実施形態における画像処理部の機能構成の一例を示すブロック図である。 処理対象フレームと参照フレームの一例を説明する図である。 復元調整部が行う復元処理の内容の調整に関する例を説明する図である。 復元調整部が行う復元処理の内容の調整に関する例を説明する図である。 最頻値を決定する場合の復元調整部の動作フローを示した図である。 復元フィルタの係数を加重平均することにより新たな復元フィルタを生成することを説明する図である。 復元フィルタの係数を加重平均することにより新たな復元フィルタを生成する場合の復元調整部の動作フロー図である。 画像データを加重平均することにより、回復画像データを取得する場合の復元調整部の動作フロー図である。 復元実行部の制御ブロック図の一例である。 第２実施形態における画像処理部の機能構成の一例を示すブロック図である。 第３実施形態における画像情報に基づいた復元処理を説明する図である。 第４実施形態における画像処理部の機能構成の一例を示すブロック図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図１７に示す復元処理ブロックによる復元処理フローの一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のぼけた画像を示し、（ｂ）は復元処理後のぼけが解消された画像（点像）を示す。 スマートフォンの外観図である。 図２１に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）６０に接続可能なデジタルカメラ１０（撮像装置）に本発明を適用する例について説明する。

なお、以下の例では、別体として構成される光学系１２及びカメラ本体１４が組み合わされたレンズ交換式のデジタルカメラ１０について説明するが、光学系１２及びカメラ本体１４が一体構成を有するレンズ固定式のデジタルカメラ１０に対しても、同様の復元処理を行うことが可能である。また、デジタルカメラ１０は、動画撮影を主たる機能とするビデオカメラであってもよいし、静止画及び動画の両者を撮影可能な撮像装置であってもよい。

図１は、コンピュータ６０に接続されるデジタルカメラ１０の概略を示すブロック図である。

デジタルカメラ１０は、交換可能な光学系１２と、撮像素子２６を具備するカメラ本体１４とを備え、光学系１２とカメラ本体１４とは、光学系１２の光学系入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して電気的に接続される。

光学系１２は、レンズ１６や絞り１７等の光学部材と、この光学部材を制御する光学系操作部１８とを具備する。光学系操作部１８は、光学系入出力部２２に接続される光学系コントローラ２０と、光学部材を操作するアクチュエータ（図示省略）とを含む。光学系コントローラ２０は、光学系入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学部材を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

撮像素子２６は、集光用マイクロレンズ、ＲＧＢ等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有する。撮像素子２６は、光学系１２により捉えられた被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８の画像処理装置に送る。

カメラ本体コントローラ２８は、カメラ本体１４を統括的に制御し、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御したり、光学系１２を制御するための制御信号を生成してカメラ本体入出力部３０を介して光学系１２（光学系コントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信したりする。また、デバイス制御部３４は、デジタルカメラ１０が具備する表示部３３（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部）等の各種デバイス類を適宜制御する。

画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。加えて、本例の画像処理部３５は、光学系１２の点拡がり関数に基づく復元処理（点像復元処理）を画像信号（原画像データ）に対して行う復元制御処理部３６を含む。復元処理の詳細は後述する。

なお、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザーインターフェイス３７を介して撮影等のための各種設定を適宜決定及び変更することができる。ユーザーインターフェイス３７は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザからの命令によって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２に接続されるコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＭＰＥＧ-４等の任意のフォーマットを採用する。また、コンピュータ６０内で、以下に説明する本発明の画像処理を行う場合には、デジタルカメラ１０は、例えば、時系列において連続する複数のフィルタがコンピュータ６０に送信され、コンピュータ６０の内部で画像処理が行われる。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信制御をしたりする。

コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等がディスプレイ６６に必要に応じて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力し、コンピュータ６０を制御したり、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御したりすることができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードしたり、演算処理を行うことによりその演算結果をコンピュータ６０に送信したりする。

各コントローラ（光学系コントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の復元処理について説明する。

本例では、カメラ本体１４（カメラ本体コントローラ２８）において復元処理が実施される例について説明するが、復元処理の全部又は一部を他のコントローラ（光学系コントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

復元処理は、光学系１２及び撮像素子２６を用いた撮影により取得される原画像データに対し、光学系１２の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより回復画像データを取得する処理である。

図３は、画像撮影から復元処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系１２を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系１２の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。

このボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して復元フィルタＦを用いた復元処理Ｐ１０を行うことにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

復元処理Ｐ１０で用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系１２の点像情報（点拡がり関数）から、所定の復元フィルタ算出アルゴリズムＰ２０によって得られる。図３における符号αは撮影条件に応じた点像情報を表し、この光学系１２の点像情報である点拡がり関数は、レンズ１６の種類だけではなく、絞り量、焦点距離、被写体距離、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際には、これらの撮影条件が取得される。

図４は、復元処理の一例の概略を示すブロック図である。

上述のように復元処理（点像復元処理）Ｐ１０は、復元フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数を表す）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することにより、復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することにより、復元処理を行うことができる。図４における符号βは、処理対象画素データに適用するタップ（フィルタ係数）を表す。

なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。また、復元処理の処理対象となる原画像データの種類は特に限定されず、例えば色成分データ（ＲＧＢ等の色成分信号）であってもよいし、輝度データであってもよい。

上述の復元処理は、連続撮影された複数の画像（動画）に対しても行うことができる。動画に対して復元処理を行う場合は、時系列において連続する複数のフレームに対して、復元処理が行われる。

＜第１実施形態＞
図５は、第１実施形態の動画に対する復元処理に関わる機能ブロック図であり、画像処理部３５（図２参照）によって構成される各種の機能ブロックを示す。なお、図中の機能ブロックは、必ずしも別体として設けられる必要はなく、一体的に構成されるハードウェア／ソフトウェアによって複数の機能ブロックを実現してもよい。

画像処理部３５は、バッファメモリ部４１及び復元制御処理部３６を含み、復元制御処理部３６は、復元調整部４３、及び復元実行部４５を含む。また、バッファメモリ部４１、及び復元制御処理部３６（復元調整部４３及び復元実行部４５）は、相互にデータの通信が可能である。

バッファメモリ部４１は、光学系１２及び撮像素子２６を用いた撮影によって取得される時系列に連続する複数のフレームの画像データ及び各フレームの撮像時の撮影条件（絞り値、焦点距離、被写体距離等）を示す撮影条件情報を一時保存する。そして、バッファメモリ部４１に保存された画像データに対して、画像処理部３５において、様々な処理が行われる。バッファメモリ部４１には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｏｍｏｒｙ）が使用される。なお、フレーム毎の画像情報（画像データ）及び撮影条件情報をそのフレームの撮像情報という。

復元調整部４３は、復元実行部４５で行われる復元処理の内容に関して調整を行う。すなわち、復元調整部４３は、処理対象フレームに対する復元処理を、処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御する。ここで、「処理対象フレーム」とは復元処理が行われるフレームであり、「参照フレーム」とは処理対象フレームの復元処理の内容の調整に関する情報を得るフレームである。また、「復元処理の内容」とは、復元処理の効果を左右するものをいい、例えば、復元フィルタのフィルタ係数やゲインに関する係数のことをいう。

図６は、「処理対象フレーム」及び「参照フレーム」に関して説明する図である。

動画の撮像時には、光学系１２及び撮像素子２６を介して所定のフレームレートで被写体が連続して撮像され、時系列に連続する複数のフレームからなる動画の画像データが取得される。ここで、フレームレートとは、単位時間あたりのフレーム数（画像数、コマ数）であり、一般的には１秒間に生成されるフレーム数（単位：ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））によって表される。例えば、本態様のデジタルカメラ１０は、フレームレートが３０ｆｐｓの場合、１秒間に３０枚の画像の生成を行い、フレームレートが６０ｆｐｓの場合、１秒間に６０枚の画像の生成を行う。

また、動画は、時系列に連続する複数のフレームから構成され、例えば、記録動画、ライブビュー画像を含む意味である。

図６は、時間ｔに撮像されたフレーム（ｔ）に対して復元処理を行う場合を示す。この場合、フレーム（ｔ）は、処理対象フレームとなる。そして、時間ｔ−１に撮像されたフレーム（ｔ−１）、時間ｔ−２に撮像されたフレーム（ｔ−２）、及び時間ｔ−３に撮像されたフレーム（ｔ−３）は、処理対象フレームよりも時系列における前のフレームである。また、時間ｔ＋１に撮像されたフレーム（ｔ＋１）、時間ｔ＋２に撮像されたフレーム（ｔ＋２）、及び時間ｔ＋３に撮像されたフレーム（ｔ＋３）は、処理対象フレームよりも時系列における後のフレームである。なお、図６では説明の都合上、処理対象フレームに対して時系列の前のフレームを３フレーム及び時系列の後のフレームを３フレームのみ記載しているが、実際は撮影時間に応じて多数のフレームが存在している。

参照フレームは、処理対象フレーム（フレーム（ｔ））よりも時系列における後のフレームが少なくとも１フレーム含まれればよい。また、参照フレームは、単数であってもよいし、複数であってもよい。例えば、参照フレームが単数の場合は、処理対象フレーム（フレーム（ｔ））よりも時系列における後のフレームであるフレーム（ｔ＋１）が参照フレームとして選択される。また、例えば、参照フレームが複数の場合は、処理対象フレーム（フレーム（ｔ））よりも時系列における後のフレームであるフレーム（ｔ＋１）及び処理対象フレーム（フレーム（ｔ））よりも時系列における前のフレームであるフレーム（ｔ＋１）が選択される。

図６において、フレーム（ｔ−１）は処理対象フレームの時系列における直前のフレームであり、フレーム（ｔ＋１）は処理対象フレームの時系列における直後のフレームである。このような直前のフレーム（フレーム（ｔ−１））や直後のフレーム（フレーム（ｔ＋１））を参照フレームとして選択してもよい。

時系列において連続する複数のフレームの中から参照フレームを選択する方法は様々な手法が用いられる。例えば、参照フレームを選択する方法として、予めユーザが参照フレームの選択する方法をユーザーインターフェイス３７により指定する手法が考えられる。また例えば、参照フレームを選択する方法は、予め決定されていてもよい。

復元調整部４３は、参照フレームの撮像情報に基づいて、処理対象フレームの復元処理の内容に関して調整を行う。復元調整部４３は、フレーム間において連続性のある復元処理を実現すべく、様々な手法により、参照フレームの撮像情報に基づいて復元処理の内容を調整する。

さらに、復元調整部４３は、参照フレームの撮像情報及び処理対象フレームの撮像情報に基づいて、処理対象フレームの復元処理の内容に関して調整を行うことができる。処理対象フレームの撮像情報及び参照フレームの撮像情報に基づいて処理対象フレームの復元処理を行うことにより、処理対象フレームと参照フレーム間において連続性のある復元処理を行うことができ、且つ処理対象フレームに適した復元処理を行うこともできる。

次に、復元調整部４３が行う復元処理の内容に関する調整の方法を具体例により説明する。

復元調整部４３は、参照フレームの撮像情報に関して最頻値に基づいて、復元処理の内容を調整することができる。

図７は、図６で説明を行ったフレーム（ｔ−３）からフレーム（ｔ＋３）の各々において、撮影条件情報（撮像情報）として絞り値（Ｆ値）が与えられている場合を示している。具体的に図７に示す場合には、フレーム（ｔ−３）は絞り値Ｆ２で撮像され、フレーム（ｔ−２）は絞り値Ｆ２で撮像され、フレーム（ｔ−１）は絞り値Ｆ２で撮像され、フレーム（ｔ）は絞り値Ｆ２.８で撮像され、フレーム（ｔ＋１）は絞り値Ｆ２で撮像され、
フレーム（ｔ＋２）は絞り値Ｆ２で撮像され、及びフレーム（ｔ＋３）は絞り値Ｆ２で撮像されている。

処理対象フレームをフレーム（ｔ−１）とし、参照フレームをフレーム（ｔ−３）、フレーム（ｔ−２）、フレーム（ｔ）、及びフレーム（ｔ＋１）とする場合について説明する。この場合、フレーム（ｔ−３）、フレーム（ｔ−２）、フレーム（ｔ−１）、及びフレーム（ｔ＋１）は絞り値がＦ２で撮像され、フレーム（ｔ）は絞り値がＦ２．８で撮像されている。このため、処理対象フレーム及び参照フレームにおいて、撮影条件情報としての絞り値の最頻値はＦ２となる。そうすると、処理対象フレーム（フレーム（ｔ−１））に対して復元処理を行う場合には、絞り値がＦ２で撮像されたフレーム用の復元フィルタが使用される。

同様に、処理対象フレームをフレーム（ｔ）、フレーム（ｔ＋１）とした場合も処理対象フレームを含む前後５フレームの絞り値の最頻値はＦ２となり、いずれの処理対象フレームも、絞り値がＦ２で撮像されたフレーム用の復元フィルタが使用される。

また、図８は別の参照フレームを選択する例を示す。フレーム（ｔ−３）は絞り値Ｆ２で撮像され、フレーム（ｔ−２）は絞り値Ｆ２で撮像され、フレーム（ｔ−１）は絞り値Ｆ２で撮像され、フレーム（ｔ）は絞り値Ｆ２.８で撮像され、フレーム（ｔ＋１）は絞り値Ｆ１．４で撮像され、フレーム（ｔ＋２）は絞り値Ｆ１．４で撮像され、及びフレーム（ｔ＋３）は絞り値Ｆ１．４で撮像されている。

フレーム（ｔ−２）、フレーム（ｔ−１）、フレーム（ｔ＋１）、及びフレーム（ｔ＋２）を参照フレームとし、フレーム（ｔ）を処理対象フレームとした場合には、フレーム（ｔ−２）及びフレーム（ｔ−１）は絞り値がＦ２で撮像されており、フレーム（ｔ＋１）及びフレーム（ｔ−２）は絞り値がＦ１．４で撮像されているため、撮影条件情報の最頻値は絞り値Ｆ２と絞り値Ｆ１．４の二つとなる。この場合は、処理対象フレームの撮影条件情報は絞り値Ｆ２．８であるため処理対象フレームの撮影条件情報は最頻値に該当しないので、時系列における処理対象フレームの後の参照フレームが有する撮影条件情報の最頻値（この場合は絞り値Ｆ１．４）が採用される。

また、フレーム（ｔ−１）及びフレーム（ｔ＋３）を参照フレームとした場合には、撮影条件情報の最頻値はＦ２とＦ１．４との二つであるが、フレーム（ｔ−１）の方がフレーム（ｔ＋３）よりも処理対象フレームに時系列において近いことから、フレーム（ｔ−１）の撮影条件情報である絞り値Ｆ２が最頻値として採用される。

図９は、復元調整部４３が参照フレームの撮影条件情報（撮像情報）の最頻値を決定する動作フローを示した図である。

まず、復元調整部４３は、処理対象フレームの撮影条件情報を取得する（ステップＳ１０）。その後、復元調整部４３は、参照フレームの撮影条件情報を取得する（ステップＳ１２）。なお、復元調整部４３は、様々な方法により処理対象フレームの撮影条件情報を取得することができ、例えば、復元調整部４３はデバイス制御部３４から処理対象フレームの撮影条件情報を取得することができる。そして、復元調整部４３は、参照フレームの撮影条件情報のうち最頻値を抽出する（ステップＳ１４）。そして、復元調整部４３は、最頻値が単数である又は複数であるかを判断し、最頻値が一つの場合（ステップＳ１６のＮｏの場合）には、最頻値の撮影条件が採用されて（ステップＳ１８）、復元処理の内容の調整を行う。

一方、最頻値が複数の場合（ステップＳ１６のＹｅｓの場合）には、複数ある最頻値の一つが処理対象フレームの撮影条件情報であるか否かを判断する。そして、複数ある最頻値の一つが処理対象フレームの撮影条件情報でない場合（ステップＳ２０のＮｏの場合）には、復元調整部４３は、複数ある最頻値のうち、処理対象フレームと時系列において近いフレームの最頻値を選択する（ステップＳ２２）。また、復元調整部４３は、複数ある最頻値のうちいずれの最頻値も処理対象フレームと時系列において同じ間隔である場合には、処理対象フレームより時系列における前のフレームを含む最頻値を選択する（ステップＳ２２）。このように、処理対象フレームより時系列における前のフレームを含む最頻値を選択することにより、時系列上での連続性が良好となる。

一方、複数ある最頻値の一つが処理対象フレームの撮影条件情報である場合（ステップＳ２０のＹｅｓの場合）には、復元調整部４３は、処理対象フレームの撮影条件情報を最頻値として採用する（ステップＳ２４）。その後、次の処理対象フレームに関して処理が行われる。

次に、復元調整部４３が行う復元処理の内容に関する調整の他の方法を具体例により説明する。

復元調整部４３は、処理対象フレームの撮影条件情報に対応する復元フィルタと、参照フレームの撮影条件情報に対応する復元フィルタとに基づいて、新たな復元フィルタを取得してもよい。復元調整部４３は、様々な手法により、処理対象フレームの撮影条件情報に対応するフィルタと参照フレームの撮影条件情報に対応するフィルタとから、新たな復元フィルタを取得することができる。

図１０は、処理対象フレームの撮影条件情報に対応するフレームと参照フレームの撮影条件情報に対応するフレームとの加重平均により、新たな復元フィルタを求めることを説明する図である。

図１０の（Ａ）は、図６で説明を行ったフレーム（ｔ−１）の撮影条件に対応する静止画用の復元フィルタ及びフィルタ係数を示している。また、図１０の（Ｂ）は、図６で説明を行ったフレーム（ｔ）の撮影条件に対応する静止画用の復元フィルタ及びフィルタ係数を示している。図１０の（Ｃ）は、図６で説明を行ったフレーム（ｔ＋１）の撮影条件に対応する静止画用の復元フィルタ及びフィルタ係数を示している。

また、図１０の（Ａ）の復元フィルタ係数はＷ（ｔ−１）の重み付けがされ、図１０の（Ｂ）の復元フィルタ係数はＷ（ｔ）の復元フィルタ係数はＷ（ｔ）の重み付けがされ、図１０の（Ｃ）の復元フィルタ係数はＷ（ｔ＋１）の重み付けがされる。なお、この重み付けは、任意にすることができ、例えば、Ｗ（ｔ）は処理対象フレームに対応するので、Ｗ（ｔ）を他の参照フレームに対応するＷ（ｔ−１）及びＷ（ｔ＋１）よりも係数を大きく設定することができる。また、Ｗ（ｔ）、Ｗ（ｔ−１）、及びＷ（ｔ＋１）は、ユーザーインターフェイス３７により、ユーザにより設定されてもよいし、予め設定されていてもよい。

図１０の（Ｄ）は、処理対象フレームの復元処理に使用される動画用の復元フィルタ及び復元フィルタ係数を示す。この動画用の復元フィルタ及び復元フィルタ係数は、処理対象フレームの撮影条件情報に対応する復元フィルタ係数と、参照フレームの撮影条件情報に対応する復元フィルタ係数との加重平均から算出される復元フィルタ係数を示している。具体的には、復元調整部４３は、図１０の（Ａ）に示されている復元フィルタ係数にＷ（ｔ＋１）を掛け、図１０の（Ｂ）に示されている復元フィルタ係数にＷ（ｔ＋１）を掛け、図１０の（Ｃ）に示されている復元フィルタ係数にＷ（ｔ−１）を掛けることにより加重平均をし、図１０の（Ｄ）に示される動画用のフィルタ係数をもった復元フィルタ（動画用復元フィルタ）を生成する。そして、復元実行部４５は、生成された復元フィルタ（図１０の（Ｄ））を使用して、処理対象フレームに対して復元処理を行う。

図１１は、復元調整部４３が処理対象フレームの復元フィルタと参照フレームの復元フィルタとに基づいて新たなフィルタを取得する場合の復元調整部４３の動作フローを示す図である。

先ず、復元調整部４３は、処理対象フレームの撮影条件情報に応じた静止画用のフィルタ係数を取得する（ステップＳ３０）。そして、復元調整部４３は、参照フレームの撮影条件情報に応じた静止画用のフィルタ係数を取得する（ステップＳ３２）。なお、復元調整部４３は各撮影条件情報に応じた複数のフィルタを予め保持しており、復元調整部４３は、必要に応じてフィルタ係数やフィルタを取得することができる。

その後、復元調整部４３は、処理対象フレームの撮影条件情報に応じた静止画用のフィルタ係数と参照フレームの撮影条件情報に応じた静止画用のフィルタ係数との加重平均を行い、動画用フィルタ係数を取得する（ステップＳ３４）。そして、復元実行部４５は、取得した動画用フィルタ係数に基づく復元フィルタにより、処理対象フレームに対して復元処理を行う（ステップＳ３６）。その後、次の処理対象フレームの撮影条件情報における静止画用フィルタ係数を取得する。

上述の図１０及び図１１の場合には、静止画用フィルタ係数を加重平均して動画用フィルタ係数を求め、その動画用フィルタ係数に基づく復元フィルタにより、処理対象フレームに対して復元処理を行う。（式１）は、図１０及び図１１で説明をした復元処理を表す式である。Ａｖｅは加重平均を、Ｋ（ｔ）は時間ｔにおける静止画用フィルタ係数を、Ｖａｌ（ｔ）は時間ｔにおける画像データを表し、＊は畳み込み積分（Ｃｏｎｖｏｌｕｔｉｎｏｎ）を表す。

（式１）
処理対象フレームの回復画像データ＝Ａｖｅ（Ｋ（ｔ＋１）、Ｋ（ｔ）、Ｋ（ｔ−１））＊Ｖａｌ（ｔ）
上述した態様は、処理対象フレームの静止画用フィルタ係数と参照フレームの静止画用フィルタ係数との加重平均により新たに動画用フィルタ係数を取得し、その動画用フィルタ係数を使用して処理対象フレームに復元処理を行う。これにより、上述した態様は、フレームの重要度に応じた連続性が良好な動画の画像処理を行うことができる。また、上述した態様は、被写体が動く動画であっても良好な画像処理を行うことができる。

一方、復元調整部４３は、図１２に示すような処理によっても、加重平均を利用した処理対象フレームに対して復元処理を行うことができる。

図１２は、復元調整部４３が、処理対象フレームに復元処理を行うことにより取得した画像データ及び参照フレームに復元処理を行うことにより取得した画像データに基づいて、処理対象フレームの回復画像データを取得する場合の復元調整部４３の動作フローを示す図である。

先ず、復元実行部４５は処理対象フレームの撮影条件情報に応じた静止画用フィルタにより処理対象フレームに対して復元処理を実行し、復元調整部４３は画像データを取得する（ステップＳ４０）。その後、復元実行部４５は参照フレームの撮影条件情報に応じた静止画用フィルタにより参照フレームに対して復元処理を実行し、復元調整部４３は画像データを取得する（ステップＳ４２）。その後、復元調整部４３は、処理対象フレームに対応する回復画像データと参照フレームに対応する回復画像データとを加重平均することにより、処理対象フレームに係る加重平均を利用した回復画像データを取得することができる（ステップＳ４４）。式２はこの復元処理を表す式である。

（式２）
処理対象フレームの回復画像データ＝Ａｖｅ（Ｖａｌ（ｔ＋１）Ｋ＊（ｔ＋１）、Ｖａｌ（ｔ）＊Ｋ（ｔ）、Ｖａｌ（ｔ−１）＊Ｋ（ｔ−１））
上述した態様は、処理対象フレームに対応する回復画像データと参照フレームに対応する回復画像データとを加重平均し、その回復画像データを処理対象フレームの回復画像データとしている。これにより、上述した態様は、フレームの重要度に応じた連続性が良好な動画の画像処理を行うことができる。

図１３は、復元実行部４５における復元処理例を示す制御ブロック図である。

まず、復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）（フィルタ適用部）、復元画像データＤｒ１が算出される。原画像データＤｏに適用される復元フィルタＦは、光学系１２（レンズ１６、絞り１７等）の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づくものであれば特に限定されず、実空間フィルタであっても周波数空間フィルタであってもよい。

その後、復元処理前後の画像データの差分が導出され（差分導出処理Ｐ_ｄ）、この差分に対する増幅率（復元ゲイン）の調整が行われる（ゲイン調整処理Ｐ_ｇ）（ゲイン調整部）。すなわち、差分導出処理Ｐ_ｄでは、フィルタ適用処理Ｐ_ｆを経た復元画像データＤｒ１と原画像データＤｏとの差分データΔＤ（ΔＤ＝Ｄｒ１−Ｄｏ）が算出される。そしてゲイン調整処理Ｐ_ｇでは、この差分データΔＤの増幅率（復元ゲイン）Ｇの調整が行われて増幅率調整後差分値（Ｇ×ΔＤ）が算出され、この増幅率調整後差分値（Ｇ×ΔＤ）と原画像データＤｏとの加算処理Ｐａが行われて回復画像データＤｒ２が算出される（Ｄｒ２＝Ｄｏ＋Ｇ×ΔＤ）。なお復元処理として、上記手法と同様な他の手法を採用してもよく、例えば次のような処理としてもよい。復元フィルタＦが原画像データＤｏに適用され（フィルタ適用処理Ｐ_ｆ）、復元画像データＤｒ１が算出される。その後、ゲイン調整処理Ｐ_ｇとしてこの復元画像データＤｒ１に増幅率（復元ゲイン）Ｇの調整が行われ(Ｄｒ１×Ｇ)、これと原画像データＤｏに（１−Ｇ）が乗算されたものとの加算処理Ｐａが行われて回復画像データＤｒ２が算出されるようにしてもよい。

このように、復元処理による復元強度は、フィルタ適用処理Ｐ_ｆにおける復元フィルタ（フィルタ係数）と、ゲイン調整処理Ｐ_ｇにおける増幅率（復元ゲイン）Ｇとに基づいて変動する。そのため、復元処理の復元強度の調整は、「フィルタ適用処理Ｐ_ｆで用いる復元フィルタ（フィルタ係数）の切り替え」及び／又は「ゲイン調整処理Ｐ_ｇにおける増幅率（復元ゲイン）Ｇの変更」によって実行可能である。

したがって、復元実行部４５は、復元フィルタＦのフィルタ係数を調節したり復元ゲインＧを調節したりすることによって、復元処理の復元強度を調節することができる。

なお、参照フレームの撮像情報に基づいて処理対象フレームに行う復元処理は、ライブビュー画像に対しては実行しなくてもよい。すなわち、復元調整部４３は、ライブビュー画像を構成する複数のフレームのうちの処理対象フレームに対する復元処理を、参照フレームの撮像情報には基づかずに、当該処理対象フレームの撮像情報に基づいて復元処理を行うように制御してもよい。

ライブビュー表示はリアルタイムに近い表示をすることが求められる機能であるため、特に時系列における後で撮影される参照フレームの撮像情報を参照して復元処理を制御するよりも即時的な表示を優先し、被写体の変化に対して応答がよい動画を表示することを望まれる場合が多い。一方、記録動画では、記録された動画を後に再生確認するためリアルタイムに近い表示は求められず、連続性の良好な画質の取得を優先することが望まれるため、時系列における少なくとも後ろの参照フレームの撮像情報も参照して復元処理を制御するようにするとよい。

また、復元調整部４３は、ライブビュー画像に対し、光学系の点拡がり関数に基づく復元処理を行わず、記録動画にのみ上述した復元処理を行うことができる。これにより、さらに、ライブビュー画像は被写体の変化に対して応答がよい動画を取得することができる。

以上説明したように、上述の第１実施形態は、処理対象フレームに行う復元処理を参照フレームの撮像情報に基づいて行う。これにより、「撮影環境の急な変化」がある場合であっても、フレーム間の復元処理の連続性を維持しつつ、良好な画質の動画を取得することができる。

＜第２実施形態＞
本実施形態は、被写体の動きに基づいて復元処理の処理内容を変えることにより、被写体が動く動画であっても、より適切な復元処理を行うことができる。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

図１４は、第２実施形態の復元処理に関わる機能ブロック図であり、画像処理部３５（図２参照）によって構成される各種の機能ブロックを示す。

画像処理部３５は、バッファメモリ部４１、復元制御処理部３６、及び被写体検出部４７を含み、バッファメモリ部４１、復元制御処理部３６、及び被写体検出部４７は、相互にデータの通信が可能である。

被写体検出部４７は、時系列における連続する複数のフレームからなる動画において、被写体（主要被写体）の動きを検出する。すなわち、被写体検出部４７は、バッファメモリ部４１に一時保存された画像データから、被写体の動きを検出し且つその動き量が閾値以上か又はその動き量が閾値未満かを検出する。

被写体検出部４７が行う被写体の動きの検出は様々な方法で行うことができ、例えば、被写体検出部４７は、動画を解析することによって被写体の動きを検出することができる。また、動き量は、動画における被写体像の動きを定量的に表現するものであれば特に限定されるものではない。例えば、所定の時間（例えばフーレム毎）に被写体像が移動する画素数を動き量としてもよい。この場合、閾値は、例えば画像の短辺の４分の１の画素数とすることができる。

復元調整部４３は、被写体検出部４７から被写体の動きに関する情報を取得し、取得した被写体の動きに関する情報に基づいて処理対象フレームの復元処理を変える。具体的には、復元調整部４３は、被写体の動き量が閾値以上の場合は、処理対象フレームの撮影条件情報に対応する復元フィルタと、参照フレームの撮影条件情報に対応する復元フィルタとの加重平均から算出されるフィルタを使用して復元処理を行う（図１０及び図１１を参照）。また、被写体の動き量が閾値未満の場合は、復元調整部４３は、処理対象フレームの撮影条件情報に対応する復元フィルタを処理対象フレームに適用することにより算出される画像データと、参照フレームの撮影条件情報に対応する復元フィルタを参照フレームに適用することにより算出される画像データとの加重平均から算出される画像データを、処理対象フレームの回復画像データとする（図１２を参照）。

以上説明したように、上述の第２実施形態は、被写体の動きに基づいて、新たに復元フィルタを生成し復元処理を行い処理対象フレームに係る回復画像データを求める場合と、処理対象フレームの回復画像データと参照フレームの回復画像データとの加重平均により処理対象フレームに係る回復画像データを求める場合とに復元処理の内容を分けている。これにより、本態様は、被写体が動く動画であっても被写体の動きに基づいて良好な画像処理を行うことができる。

＜第３実施形態＞
本実施形態では、復元調整部４３は、処理対象フレーム及び参照フレームの画像情報に基づいて復元処理の調整を行う。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。ここで、復元処理に適さない領域Ｑとは、復元処理を行うと却って画質の劣化を招くような特性をもった領域のことをいう。例えば、復元処理に適さない領域Ｑは、デフォーカス（被写体に合焦されていない）領域である。すなわち、デフォーカス領域に対して復元処理が行われると却って画質が劣化してしまうので、デフォーカス領域は、復元処理に適さない領域Ｑである。

また例えば、復元処理に適さない領域Ｑとは、飽和画素が検出される領域があげられる。すなわち、飽和画素が検出された領域に対して復元処理を行うとリンギングの発生を招き、却って動画の画質を劣化させてしまう。

復元調整部４３は、撮像情報としてバッファメモリ部４１に一時保存されている時系列上で連続した複数のフレームの画像を解析して画像情報を取得する。具体的には、復元調整部４３は、処理対象フレーム及び参照フレームに飽和画素が含まれるか否かの情報、及び／又は、処理対象フレーム及び参照フレームにデフォーカス領域が含まれるか否かの情報を、動画を画像解析することにより取得する。言い換えると、復元調整部４３は、処理対象フレーム及び参照フレームに飽和画素が含まれるか否か、又は、及び／又は、処理対象フレーム及び参照フレームにデフォーカス領域が含まれるか否かの判別を動画解析により行う。

処理対象フレーム及び参照フレームに飽和画素が含まれるか否かの情報の取得の仕方は特に限定されず、例えば、復元調整部４３は、測光値や画像データのピーク値により、飽和画素の検出を行うことができる。また、処理対象フレーム及び参照フレームにデフォーカス領域が含まれるか否かの情報の取得の仕方は特に限定されず、例えば、復元調整部４３は、ＡＦ（オートフォカス）の評価値によりデフォーカス領域の検出を行ってもよい。

図１５は、上述した図６において説明を行った場合において、時間ｔ＋１のフレーム（ｔ＋１）、時間ｔ＋２のフレーム（ｔ＋２）、及び時間ｔ＋３のフレーム（ｔ＋３）において復元処理に適さない領域Ｑがある場合を示している。

図１５において、処理対象フレームとしてフレーム（ｔ）を選択し、参照フレームを処理対象フレームよりも時系列における後のフレームであるフレーム（ｔ＋１）を選択する場合について説明する。

復元処理の連続性を考慮しないで画像処理を行う場合、フレーム（ｔ）は復元処理に適さない領域Ｑが検出されないので通常の復元処理が行われる。すなわち、復元処理に適さない領域Ｑが存在しない場合の復元処理が行われる。一方、フレーム（ｔ＋１）には復元処理に適さない領域Ｑが存在する領域（図１５中のＱ）があるので、フレーム（ｔ＋１）には復元処理に適さない領域を有する場合の復元フィルタを使用して復元処理が行われる。そうすると、フレーム（ｔ）とフレーム（ｔ＋１）との間では、復元処理に使用する復元フィルタが異なるため、復元処理に急な変化を発生させてしまい、復元処理の連続性を低下させてしまう場合がある。

そこで、本態様では、復元調整部４３は、復元処理に適さない領域Ｑが処理対象フレーム及び参照フレームの少なくともいずれか一方に存在すると判断した場合には、参照フレームの撮像情報（画像情報）に基づいて、処理対象フレームに対して復元処理を行うように調整する。

具体的に図１５に示された場合には、復元調整部４３は、フレーム（ｔ＋１）（参照フレーム）に復元処理に適さない領域Ｑが含まれることを判断すると、フレーム（ｔ）（処理対象フレーム）で使用される通常の復元フィルタのフィルタ係数とフレーム（ｔ＋１）（参照フレーム）で使用される復元処理に適さない領域を有する場合の復元フィルタのフィルタ係数を混合することにより、新たに復元フィルタを生成する。そして、復元実行部４５は、その生成された復元フィルタを使用して、処理対象フレームに復元処理を行う。これにより、処理対象フレームと参照フレーム間での復元処理の内容の変化が抑えられるとともに、適切に復元処理を行うことができる。

ここで、復元フィルタ係数の混合の仕方は、様々な手法を採用することができ、例えば復元フィルタの係数を加重平均することにより、新たなフィルタ係数を求めることができる。

また、参照フレームに復元処理に適さない領域Ｑが含まれる場合には、当該復元処理に適さない領域Ｑが含まれる参照フレームの撮像情報に基づき、処理対象フレームに対する復元処理の復元強度を調整することもできる。

復元処理の連続性を考慮しないで画像処理を行う場合、復元処理に適さない領域Ｑが含まれるフレームに対しては復元処理の復元強度を弱くし、復元処理に適さない領域Ｑが含まれないフレームに対しては通常の強度により復元処理が行われる。しかし、このような復元処理は、復元処理に適さない領域Ｑが含まれるフレームと復元処理に適さない領域Ｑが含まれないフレームとの間で復元処理の復元強度に違いが生じ、連続性が重視される動画においては好ましくはない。

そこで、図１５に示す場合には、本態様は、復元調整部４３は、フレーム（ｔ＋１）、すなわち参照フレームに復元処理に適さない領域Ｑが含まれると判断し、フレーム（ｔ）、すなわち処理対象フレームの復元処理の復元強度を調整する。これにより、本態様は、処理対象フレームと参照フレーム間での復元処理の復元強度の違いが抑制されつつ、復元処理による画質の劣化を抑制することができる。

また、復元調整部４３は、参照フレームにおいて点滅光源を画像解析により検出した場合には、光源の点滅状態に基づき、処理対象フレームの復元処理を調整する。すなわち、点滅光源が点灯している場合と点滅光源が消灯している場合とでは復元処理の処理内容が変化するので、その変化を抑制して、連続性のある復元処理を行う。

例えば、復元調整部４３は、点滅光源の点滅状態を解析して、復元処理の復元強度を調整してもよい。また、復元調整部４３は、光源が点灯しているフレーム（例えば参照フレーム）に使用する復元フィルタと光源が消灯しているフレーム（例えば処理対象フレーム）に使用する復元フィルタとに基づいて、処理対象フレームの復元フィルタを取得することができる。

また、復元調整部４３は、参照フレームにおいて常時光源（例えば太陽）のフレームイン・フレームアウトを画像解析により検出した場合には、その常時光源のフレームイン・アウトに基づいて、処理対象フレームの復元処理を調整する。すなわち、常時光源のフレームインの前後、又はフレームアウトの前後において復元処理の内容が変化するので、その変化を抑制して、連続性のある復元処理を行う。

例えば、復元調整部４３は、その常時光源のフレームイン・アウトに基づいて、復元処理の復元強度を調整してもよい。また、復元調整部４３は、常時光源がフレームインする前のフレーム（例えば参照フレーム）に使用する復元フィルタと、常時光源がフレームイン後のフレーム（例えば処理対象フレーム）に使用する復元フィルタとに基づいて、処理対象フレームの復元フィルタを取得することができる。

以上説明したように、上述の第３実施形態は、参照フレームの画像情報により、処理対象フレームの復元処理の内容を変える。これにより、第３実施形態は、復元処理の内容の連続性を維持しつつ、復元処理による画質の劣化を抑えることができる。

＜第４実施形態＞
本実施形態では、動体検出部４９により動画内で動く物体（動体）を検出した場合に、復元調整部４３は復元処理の内容を変える。

本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

図１６は、第４実施形態の復元処理に関わる機能ブロック図であり、画像処理部３５（図２参照）によって構成される各種の機能ブロックを示す。

画像処理部３５は、バッファメモリ部４１、復元制御処理部３６、及び動体検出部４９を含み、バッファメモリ部４１、復元制御処理部３６、及び動体検出部４９は相互にデータの通信が可能である。

動体検出部４９は、バッファメモリ部４１に一時的に保存されている時系列における連続する複数のフレームからなる動画において、動体を検出する。そして、動体検出部４９は、処理対象フレーム及び参照フレームにおいて動体を検出したことの情報を復元調整部４３へ送る。動体検出部４９の動体の検出方法は、様々な方法を採用することができる。例えば、動体検出部４９は、バッファメモリ部４１に保存されている動画を画像解析をすることによって動体を検出することができる。なお、動体検出部４９は、主要被写体の動きだけではなく、背景等の被主要被写体の動きも検出することができる。

復元調整部４３は、動体検出部４９から処理対象フレーム及び参照フレームにおいて動体が存在することの情報を取得する。そして、復元調整部４３は、この情報に基づいて、
動体の動きに応じた位相特性が反映された点拡がり関数に基づく復元処理を処理対象フレームに対して行う。

なお、動体の動きに応じた位相特性が反映された点拡がり関数に基づく復元処理とは、点拡がり関数（ＰＳＦ）をフーリエ変換を行った結果の光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）の位相成分である位相伝達関数（ＰＴＦ：Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を使用して行う復元処理である。また、光学伝達関数の振幅成分を変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）という。

一方、復元調整部４３は、動体検出部４９から処理対象フレーム及び参照フレームにおいて動体が存在しないとする情報を取得した場合は、点拡がり関数に基づく復元処理を行う。この場合、振幅特性と位相特性が反映された点拡がり関数に基づく復元処理を行ってもよいし、振幅特性のみ反映された点拡がり関数に基づく復元処理を行ってもよい。

以上説明したように、上述の第４実施形態は、処理対象フレーム及び参照フレームに動体を検出した場合に、その動体に基づいて動体の動きに応じた位相特性を利用して復元処理を行う。これにより、動体に対しても適切に復元処理を行うことができる。

＜その他の実施形態＞
本発明は、上述した画像処理装置及び撮像装置にて行われる画像処理方法も含む。

また、本発明は、上述した画像処理をコンピュータに実行させるプログラムも含む。なお、本発明は、プログラムコードが記録された記憶媒体も含む。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う場合も含まれる。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件情報（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、ズーム倍率など）に基づいて点拡がり（点像ボケ）を回復修正することにより本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことにより、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図１７は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部３５）１２０とを含む。

図１８は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１８に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１７に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することにより、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック１２０による復元処理について説明する。図１９は、図１７に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（ステップＳ５０）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ５２及びステップＳ５４）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（ステップＳ５６）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５８）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に基づいて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図２０の（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図２０の（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることにより、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、上述の実施形態に係る点像復元処理を適用することが可能である。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２１は、本発明の撮像装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２１に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２２は、図２１に示すスマートフォン２０１の構成を示すブロック図である。図２２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００（上述のカメラ本体コントローラ２８が含まれる）とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図２１に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに基づいて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２１に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に基づいて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図２１に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…光学系、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…光学系コントローラ、２２…光学系入出力部、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３２…入出力インターフェース、３３…表示部、３４…デバイス制御部、３５…画像処理部、３６…復元制御処理部、３７…ユーザーインターフェイス、４１…バッファメモリ部、４３…復元調整部、４５…復元実行部、４７…被写体検出部、４９…動体検出部、６０…コンピュータ、６
２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…変換部、１２７…Ｙ信号復元処理部、１２７…部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２７０…受信部、２８０…モーションセンサ部、２９０…電源部

Claims (28)

1. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元制御処理部を備え、
   前記復元制御処理部は、前記複数のフレームのうちの処理対象フレームに対する前記復元処理を、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御し、
   前記撮像情報は、前記処理対象フレーム及び前記参照フレームの撮影条件情報を含む画像処理装置。
2. 前記撮影条件情報は、絞り値及びズーム倍率のうち少なくともいずれか一方を含む請求項１に記載の画像処理装置。
3. 前記復元制御処理部は、前記処理対象フレーム及び前記参照フレームの前記撮影条件情報のうち最も頻度の高い撮影条件に基づいて、前記復元処理を行う請求項１又は２に記載の画像処理装置。
4. 前記復元処理は、前記点拡がり関数に基づく復元フィルタを用いるフィルタリング処理を含み、
   前記復元制御処理部は、前記処理対象フレームの前記撮影条件情報に対応する復元フィルタと、前記参照フレームの前記撮影条件情報に対応する復元フィルタとに基づいて算出されるフィルタを復元フィルタとして用いたフィルタリング処理を、前記処理対象フレームに対して行うことにより、前記処理対象フレームに対する前記復元処理を行う請求項１又は２に記載の画像処理装置。
5. 前記復元制御処理部は、前記処理対象フレームの前記撮影条件情報に対応する復元フィルタと、前記参照フレームの前記撮影条件情報に対応する復元フィルタとの加重平均から算出されるフィルタを復元フィルタとして用いたフィルタリング処理を、前記処理対象フレームに対して行うことにより、前記処理対象フレームに対する前記復元処理を行う請求項４に記載の画像処理装置。
6. 前記復元制御処理部は、前記処理対象フレームの前記撮影条件情報に対応する復元フィルタを前記処理対象フレームに適用することにより算出される画像データと、前記参照フレームの前記撮影条件情報に対応する復元フィルタを前記参照フレームに適用することにより算出される画像データとの加重平均から算出される画像データを、前記処理対象フレームの前記回復画像データとする請求項４に記載の画像処理装置。
7. 前記動画の被写体の動きを検出する被写体検出部を備え、
   前記被写体検出部によって検出される前記処理対象フレーム及び前記参照フレームでの前記被写体の動き量が閾値以上の場合、前記復元制御処理部は、前記処理対象フレームの前記撮影条件情報に対応する復元フィルタと、前記参照フレームの前記撮影条件情報に対応する復元フィルタとの加重平均から算出されるフィルタを復元フィルタとして用いたフィルタリング処理を、前記処理対象フレームに対して行うことにより、前記処理対象フレームに対する前記復元処理を行い、
   前記被写体検出部によって検出される前記処理対象フレーム及び前記参照フレームでの前記被写体の動き量が閾値未満の場合、前記復元制御処理部は、前記処理対象フレームの前記撮影条件情報に対応する復元フィルタを前記処理対象フレームに適用することにより算出される画像データと、前記参照フレームの前記撮影条件情報に対応する復元フィルタを前記参照フレームに適用することにより算出される画像データとの加重平均から算出される画像データを、前記処理対象フレームの前記回復画像データとする請求項４に記載の画像処理装置。
8. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元制御処理部を備え、
   前記復元制御処理部は、前記複数のフレームのうちの処理対象フレームに対する前記復元処理を、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御し、
   前記撮像情報は、前記処理対象フレーム及び前記参照フレームの画像情報を含み、
   前記画像情報は、前記処理対象フレーム及び前記参照フレームに飽和画素が含まれるか否かの情報、及び前記処理対象フレーム及び前記参照フレームにデフォーカス領域が含まれるか否かの情報のうち、少なくともいずれか一方を含む画像処理装置。
9. 前記画像情報は、前記処理対象フレーム及び前記参照フレームに飽和画素が含まれるか否かの情報を含み、
   前記復元制御処理部は、前記参照フレームに飽和画素が含まれるか否かを判別し、前記参照フレームに飽和画素が含まれると判別した場合には、当該飽和画素が含まれる前記参照フレームの前記撮像情報に基づき、前記処理対象フレームに対する前記復元処理の復元強度を調整する請求項８に記載の画像処理装置。
10. 前記復元制御処理部は、
    前記参照フレームにおける光源の点滅状態を解析し、
    前記光源の点滅状態に基づき、前記処理対象フレームに対する前記復元処理の復元強度を調整する請求項９に記載の画像処理装置。
11. 前記画像情報は、前記処理対象フレーム及び前記参照フレームにデフォーカス領域が含まれるか否かの情報を含み、
    前記復元制御処理部は、前記参照フレームにデフォーカス領域が含まれるか否かを判別し、前記参照フレームにデフォーカス領域が含まれると判別した場合には、当該デフォーカス領域が含まれる前記参照フレームの前記撮像情報に基づき、前記処理対象フレームに対する前記復元処理の復元強度を調整する請求項８に記載の画像処理装置。
12. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元制御処理部と、
    前記動画において動体を検出する動体検出部と、を備え、
    前記復元制御処理部は、前記複数のフレームのうちの処理対象フレームに対する前記復元処理を、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御し、
    前記動体検出部によって前記処理対象フレーム及び前記参照フレームで前記動体が検出された場合、前記復元制御処理部は、前記動体の動きに基づく位相特性が反映された前記点拡がり関数に基づく前記復元処理を前記処理対象フレームに対して行う画像処理装置。
13. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元制御処理部を備え、
    前記復元制御処理部は、
    前記動画の原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得するフィルタ適用部と、
    前記原画像データと前記復元画像データとの差分の増幅率の調整を行い、当該調整が行われた後の差分と前記原画像データとから前記動画の前記回復画像データを取得するゲイン調整部と、を有し、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理を、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づき、前記復元フィルタ及び前記増幅率のうち少なくともいずれか一方を調整することにより制御する画像処理装置。
14. 前記参照フレームは、前記処理対象フレームよりも時系列における前のフレームを含む請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記参照フレームは、前記処理対象フレームの時系列における直前のフレーム及び直後のフレームを含む請求項１４に記載の画像処理装置。
16. 前記復元制御処理部は、前記処理対象フレームに対する前記復元処理を、前記参照フレームの前記撮像情報及び前記処理対象フレームの前記撮像情報に基づいて制御する請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記光学系は、位相を変調することにより被写界深度を拡大させるレンズ部を有する請求項１から１６のいずれか１項に記載の画像処理装置。
18. ライブビュー画像を表示する表示部を備え、
    前記復元制御処理部は、前記ライブビュー画像に対して前記光学系の点拡がり関数に基づく前記復元処理を行い、前記ライブビュー画像に対する前記復元処理は、前記ライブビュー画像を構成する複数のフレームのうちの前記処理対象フレームに対する前記復元処理を、当該処理対象フレームの時系列における前又は後に取得されたフレームの撮像情報には基づかずに、当該処理対象フレームの撮像情報に基づいて制御する請求項１から１７のいずれか１項に記載の画像処理装置。
19. ライブビュー画像を表示する表示部を備え、
    前記復元制御処理部は、前記ライブビュー画像に対し、前記光学系の点拡がり関数に基づく前記復元処理を行わない請求項１から１７のいずれか１項に記載の画像処理装置。
20. 光学系を用いた撮影により動画を取得する撮像素子と、
    請求項１から１９のいずれか１項に記載の画像処理装置と、を備える撮像装置。
21. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する手順を含む画像処理方法であって、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御され、
    前記撮像情報は、前記処理対象フレーム及び前記参照フレームの撮影条件情報を含む画像処理方法。
22. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する手順を含む画像処理方法であって、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御され、
    前記撮像情報は、前記処理対象フレーム及び前記参照フレームの画像情報を含み、
    前記画像情報は、前記処理対象フレーム及び前記参照フレームに飽和画素が含まれるか否かの情報、及び前記処理対象フレーム及び前記参照フレームにデフォーカス領域が含まれるか否かの情報のうち、少なくともいずれか一方を含む画像処理方法。
23. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元処理手順と、前記動画において動体を検出する動体検出手順と、を含む画像処理方法であって、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御され、
    前記動体検出手順において前記処理対象フレーム及び前記参照フレームで前記動体が検出された場合、前記復元処理手順において前記動体の動きに基づく位相特性が反映された前記点拡がり関数に基づく前記復元処理を前記処理対象フレームに対して行う画像処理方法。
24. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元処理手順を含む画像処理方法であって、
    前記復元処理手順は、
    前記動画の原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得する手順と、
    前記原画像データと前記復元画像データとの差分の増幅率の調整を行い、当該調整が行われた後の差分と前記原画像データとから前記動画の前記回復画像データを取得する手順と、を含み、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づき、前記復元フィルタ及び前記増幅率のうち少なくともいずれか一方を調整することにより制御される画像処理方法。
25. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する手順をコンピュータに実行させるプログラムであって、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御され、
    前記撮像情報は、前記処理対象フレーム及び前記参照フレームの撮影条件情報を含むプログラム。
26. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する手順をコンピュータに実行させるプログラムであって、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御され、
    前記撮像情報は、前記処理対象フレーム及び前記参照フレームの画像情報を含み、
    前記画像情報は、前記処理対象フレーム及び前記参照フレームに飽和画素が含まれるか否かの情報、及び前記処理対象フレーム及び前記参照フレームにデフォーカス領域が含まれるか否かの情報のうち、少なくともいずれか一方を含むプログラム。
27. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元処理手順と、前記動画において動体を検出する動体検出手順と、をコンピュータに実行させるプログラムであって、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づいて制御され、
    前記動体検出手順において前記処理対象フレーム及び前記参照フレームで前記動体が検出された場合、前記復元処理手順において前記動体の動きに基づく位相特性が反映された前記点拡がり関数に基づく前記復元処理を前記処理対象フレームに対して行うプログラム。
28. 光学系を用いた撮影によって取得される複数のフレームを含む動画に対し、前記光学系の点拡がり関数に基づく復元処理を行うことにより回復画像データを取得する復元処理手順をコンピュータに実行させるプログラムであって、
    前記復元処理手順は、
    前記動画の原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを適用して復元画像データを取得する手順と、
    前記原画像データと前記復元画像データとの差分の増幅率の調整を行い、当該調整が行われた後の差分と前記原画像データとから前記動画の前記回復画像データを取得する手順と、を含み、
    前記複数のフレームのうちの処理対象フレームに対する前記復元処理は、前記処理対象フレームよりも時系列における後のフレームを含む参照フレームの撮像情報に基づき、前記復元フィルタ及び前記増幅率のうち少なくともいずれか一方を調整することにより制御されるプログラム。

Images