JPWO2015015935A1 - 撮像装置及び画像処理方法 - Google Patents

Abstract

劣化した動画の各画像に対して過補正となる復元処理を防止することができ、かつ復元処理により高解像度の画像を取得することができる撮像装置及び画像処理方法を提供する。第１復元処理部１１０及び第２復元処理部１２０は、それぞれ撮像部により連続して撮像された各画像（輝度データＹ）に対し、光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタ１０２、及び第１フィルタ１０２と比較して復元強度が弱い第２フィルタ１０４を使用して復元処理を行う。選択部１２２は、合焦判別部１５０から入力する、現時点の画像が目標の合焦状態にあるか否かを示す判別結果に応じて、第１フィルタ１０２を使用して処理された輝度データＹＡ、又は第２フィルタ１０４を使用して処理された輝度データＹＢのうち、いずれか一方を選択して出力する。

Description

本発明は撮像装置及び画像処理方法に係り、特に光学系の点拡がり関数（ＰＳＦ：Point Spread Function）、又は光学伝達関数(ＯＴＦ：Optical Transfer Function)に基づいて前記光学系を介して撮像された動画の復元処理を行う技術に関する。

撮像された画像の復元処理は、予め光学系（撮影レンズ）の収差等による劣化（ＰＳＦ又はＯＴＦ）の特性を求めておき、撮像された画像（劣化している画像）を、ＰＳＦ又はＯＴＦに基づいて生成した復元フィルタを使用して復元処理することにより解像度の高い画像に復元する処理である。

ＰＳＦとＯＴＦとはフーリエ変換の関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。これらと等価な情報を持つものとして、変調伝達関数又は振幅伝達関数（ＭＴＦ：Modulation Transfer Function)と位相伝達関数（ＰＴＦ：Phase Transfer Function)があり、それぞれＯＴＦの振幅成分と位相成分を示す。ＭＴＦとＰＴＦとを合わせてＯＴＦやＰＳＦと等価な情報量を持つ。

従来、劣化画像から高解像度の画像を復元するときに、復元後に理想的な１点になるように生成した復元フィルタを用いて復元処理を行うと、高周波成分が過大に復元され（過補正され）、画像の乱れが発生するという問題がある。この問題を解決するために、特許文献１に記載の画像復元方法は、復元後においても微少な点拡がりを持つ復元フィルタにより復元処理を行い、高周波成分を減衰させて復元後の画像における高周波成分による画像の乱れやざらつきを抑制するようにしている。

特許文献２に記載の撮像装置は、静止画の復元処理に使用する第１のフィルタと、動画の復元処理時に使用する第２のフィルタとを異ならせることを特徴としており、特に第２のフィルタのフィルタサイズを第１のフィルタのフィルタサイズよりも小さくすることにより、動画の復元処理時間の短縮化（リアルタイム化）を図るとともに、静止画に対して精度の高い復元処理を可能にしている。

特開２００６−２３８０３２号公報 特開２００８−１１４９２号公報

ところで、撮像された動画の各画像（フレーム）に対し、復元フィルタを使用することにより劣化した画像を高解像度の画像に復元する場合、処理対象の画像の焦点が合っていることが必要である。復元フィルタは、焦点が合っている画像のＰＳＦ又はＯＴＦに基づいて生成されたものだからである。従って、焦点が合っていない画像に対し、復元フィルタを使用して復元処理を行うと、復元処理前の画像よりも画質が劣化するという問題がある。

特に動画の場合、移動する被写体を撮像したり、カメラをパン及び／又はチルトさせて撮像するため、自動焦点調節機構を有するカメラであっても、被写体に焦点が合うまでに時間差が発生し、その間に撮像される動画に対しては、不適切な復元処理が行われるという問題がある。

特許文献１及び２には、上記のような課題を示す記載がない。

また、特許文献１に記載の発明は、微少な点拡がりを持つ復元フィルタにより復元処理を行うため、復元処理による過補正を抑制することができるが、高解像度の動画を得ることができないという問題がある。

特許文献２に記載の発明も、動画の復元処理に使用する第２のフィルタは、静止画の復元処理に使用する第１のフィルタよりもフィルタサイズが小さいため、復元精度が低く、高解像度の動画を得ることができないという問題がある。更に，特許文献２に記載の発明は、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成された光学系、すなわち光学系に光波面変調素子を含む撮像装置を前提にしており、自動焦点調節機構がなく、本発明が解決しようとする課題がない。

本発明はこのような事情に鑑みてなされたもので、劣化した動画の各画像に対して過補正となる復元処理を防止することができ、かつ復元処理により高解像度の画像を取得することができる撮像装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る発明は、少なくとも画像を連続して撮像する撮像部と、撮像部により連続して撮像される画像の焦点調節を自動的に行う自動焦点調節部と、撮像部の光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを取得する第１フィルタ取得部と、撮像部により連続して撮像される画像のうちの非合焦の画像に適用される第２フィルタであって、第１フィルタと比較して復元強度が弱い第２フィルタを取得する第２フィルタ取得部と、撮像部により連続して撮像された画像のうちの処理対象の画像が、自動焦点調節部による焦点調節により目標の合焦状態にあるか否かを判別する合焦判別部と、合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、処理対象の画像に対し、少なくとも第２フィルタ取得部により取得した第２フィルタを使用した復元処理を行い、合焦判別部により処理対象の画像が目標の合焦状態にあると判別されると、処理対象の画像に対し、第１フィルタ取得部により取得した第１フィルタを使用した復元処理を行う復元処理部と、を備えている。

本発明の一の態様によれば、連続して撮像される画像のうち、目標の合焦状態にない画像（非合焦の画像）に対しては、非合焦の画像に適用される復元強度が弱い第２フィルタを使用して復元処理を行うため、過補正等により画質が破綻することがなく、一方、目標の合焦状態にある画像に対しては、光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを使用して復元処理を行うため、光学系の点拡がり関数に対応して劣化した画像を、解像度の高い画像に復元することができる。

本発明の他の態様に係る撮像装置において、復元処理部は、合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、取得した第１フィルタ及び第２フィルタに基づいて処理対象の画像を復元処理することが好ましい。即ち、目標の合焦状態にないと判別されると、処理対象の画像に対して第１フィルタと第２フィルタとを使用した復元処理を行う。

本発明の更に他の態様に係る撮像装置において、自動焦点調節部により焦点調節が開始されてから目標の合焦状態に達するまでの合焦時間を予想する合焦時間予想部を備え、復元処理部は、合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、取得した第１フィルタ、第２フィルタ及び予想した合焦時間に基づいて処理対象の画像を復元処理することが好ましい。これにより、第１フィルタと第２フィルタとを使用し、かつ予想した合焦時間に適した復元処理を行うことができる。

本発明の更に他の態様に係る撮像装置において、自動焦点調節部は、撮像される画像のデフォーカス量を検出し、検出したデフォーカス量が焦点深度の範囲内に入るまで光学系を制御し、合焦時間予想部は、デフォーカス量が検出されてから焦点深度の範囲内に入るまでの合焦時間を予想することが好ましい。自動焦点調節部による焦点調節する場合には、光学系（フォーカスレンズ等）の機械的な移動を伴うため、デフォーカス量が検出されてから焦点深度の範囲内に入るまでに時間差が発生する。また、フォーカスレンズの駆動速度が速すぎると、自動焦点調節のハンチングが発生するため、フォーカスレンズが合焦位置に近づくにつれて、レンズ駆動速度を遅くする方法もあり、これによりデフォーカス量が検出されてから焦点深度の範囲内に入るまでに、ある程度の時間差が発生する。

本発明の更に他の態様によれば、デフォーカス量に基づいて光学系を制御する際に、デフォーカス量が検出されてから焦点深度の範囲内に入るまでの時間を予想する。尚、合焦時間予想部による合焦時間の予想は、連続的に撮像される画像毎に行うようにしてもよいし、一定枚数の画像毎に行うようにしてもよい。

本発明の更に他の態様に係る撮像装置において、合焦時間予想部は、自動焦点調節部により検出されたデフォーカス量が閾値以内にあるときのみ合焦時間を予想し、復元処理部は、デフォーカス量が閾値を越えている場合には、取得した第２フィルタのみを使用して復元処理を行うことが好ましい。

デフォーカス量が閾値を越えている場合、その時点に取得した画像は、ピンぼけが大きくなっており、このピンぼけの画像に対して第１フィルタを含む復元処理を行うと、却って画質が劣化する。従って、検出されたデフォーカス量が閾値を越えている場合には、第２フィルタのみを使用して復元処理を行い、一方、デフォーカス量が閾値以内の場合には、第１フィルタ及び第２フィルタを使用した復元処理を行うべく合焦時間を予想するようにしている。

本発明の更に他の態様に係る撮像装置において、自動焦点調節部は、撮像部により撮像された画像の合焦領域の高周波成分を評価値として算出し、算出した評価値がピーク値になるまで光学系を制御し、合焦時間予想部は、自動焦点調節部により算出された評価値の変化に基づいて、評価値が目標の合焦状態に対応する第１の閾値に達するまでの時間を予想することが好ましい。

この自動焦点調節部は、画像の合焦領域の高周波成分を示す評価値が、ピーク値になるように光学系を制御するものであり、特に連続して撮像される画像（動画等）の場合には、評価値がピーク位置に維持されるように光学系を制御する、いわゆる山登り制御が行われる。山登り制御の場合、光学系を制御しながら連続して取得した各画像の評価値を算出し、算出した評価値がピーク値を越えて低下した時点で、合焦状態になったことが判明する。そこで、目標の合焦状態に対応する第１の閾値を決めておき、自動焦点調節部により算出された評価値の変化に基づいて、評価値が第１の閾値に達するまでの時間を予想するようにしている。

本発明の更に他の態様に係る撮像装置において、合焦時間予想部は、自動焦点調節部により算出された評価値が、第１の閾値よりも低い第２の閾値以上にあるときのみ合焦時間を予想し、復元処理部は、自動焦点調節部により算出された評価値が第２の閾値未満の場合には、取得した第２フィルタのみを使用して復元処理を行うことが好ましい。

算出された評価値が第２の閾値未満の場合、その時点に取得した画像は、ピンぼけが大きくなっており、このピンぼけの画像に対して第１フィルタを含む復元処理を行うと、却って画質が劣化する。従って、算出された評価値が第２の閾値未満の場合には、第２フィルタのみを使用して復元処理を行い、一方、評価値が第２の閾値以上の場合には、第１フィルタ及び第２フィルタを使用した復元処理を行うべく合焦時間を予想するようにしている。

本発明の更に他の態様に係る撮像装置において、復元処理部は、合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、取得した第１フィルタ及び第２フィルタに基づいて処理対象の画像をそれぞれ復元処理して第１の画像及び第２の画像を生成し、合焦時間予想部により予想された合焦時間が短い程、第１の画像の重みが大きくなる重み付けを用いることにより第１の画像と第２の画像とを加重平均して復元画像を生成することが好ましい。

即ち、第１フィルタ及び第２フィルタに基づいて処理対象の画像をそれぞれ復元処理して第１の画像及び第２の画像を生成し、生成した第１の画像と第２の画像とを加重平均して復元画像を生成する。加重平均時の重み付けは、合焦時間予想部により予想された合焦時間が短い程、第１の画像の重みを大きくしている。これにより、ピンぼけ状態から合焦状態になるまでの期間、加重平均時の重み付けを変化させることにより、滑らかに繋がった復元画像を生成することができる。

本発明の更に他の態様に係る撮像装置において、自動焦点調節部は、撮像される画像のデフォーカス量を検出し、検出したデフォーカス量が焦点深度の範囲内に入るまで光学系を制御し、復元処理部は、合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、取得した第１フィルタ及び第２フィルタに基づいて処理対象の画像をそれぞれ復元処理して第１の画像及び第２の画像を生成し、検出したデフォーカス量が小さい程、第１の画像の重みが大きくなる重み付けを用いて第１の画像と第２の画像とを加重平均して復元画像を生成することが好ましい。

即ち、第１フィルタ及び第２フィルタに基づいて処理対象の画像をそれぞれ復元処理して第１の画像及び第２の画像を生成し、生成した第１の画像と第２の画像とを加重平均して復元画像を生成する。加重平均時の重み付けは、検出したデフォーカス量が小さい程、第１の画像の重みが大きくなるようにしている。これにより、ピンぼけ状態から合焦状態になるまでの期間、加重平均時の重み付けを変化させることにより、滑らかに繋がった復元画像を生成することができる。

本発明の更に他の態様に係る撮像装置において、自動焦点調節部は、撮像される画像のデフォーカス量を検出し、検出したデフォーカス量が焦点深度の範囲内に入るまで光学系を制御し、復元処理部は、取得した第１フィルタ、第２フィルタ及び検出したデフォーカス量に基づいて撮像部により取得された画像に対する第３フィルタを算出する第３フィルタ算出部であって、検出したデフォーカス量が小さくなるにしたがって第２フィルタのフィルタ係数から第１フィルタのフィルタ係数に順次近づくフィルタ係数を有する第３フィルタを算出する第３フィルタ算出部を有し、撮像部により連続して撮像される画像のうちの自動焦点調節部により焦点調節が開始されてから目標の合焦状態に達する直前までの画像に対し、第３フィルタ算出部により算出した第３フィルタを使用して復元処理を行い、目標の合焦状態に達した画像に対し、取得した第１フィルタを使用して復元処理を行うことが好ましい。

本発明の更に他の態様に係る撮像装置において、復元処理部は、取得した第１フィルタ、第２フィルタ及び予想した合焦時間に基づいて撮像部により取得された処理対象の画像に対する第３フィルタを算出する第３フィルタ算出部であって、合焦時間の時間経過にしたがって第２フィルタのフィルタ係数から第１フィルタのフィルタ係数に順次近づくフィルタ係数を有する第２フィルタを算出する第３フィルタ算出部を有し、撮像部により連続して撮像される画像のうちの自動焦点調節部により焦点調節が開始されてから目標の合焦状態に達する直前までの画像に対し、第３フィルタ算出部により算出した第３フィルタを使用して復元処理を行い、目標の合焦状態に達した画像に対し、取得した第１フィルタを使用して復元処理を行うことが好ましい。

本発明の更に他の態様によれば、合焦時間の時間経過にしたがって第２フィルタのフィルタ係数から第１フィルタのフィルタ係数に順次近づくフィルタ係数を有する第３フィルタを算出し、算出した第３フィルタを使用して、焦点調節が開始されてから目標の合焦状態に達する直前までの画像を復元処理するようにしたため、合焦状態にかかわらず、滑らかに繋がった復元画像を生成することができる。

本発明の更に他の態様に係る撮像装置において、第３フィルタ算出部により第３フィルタが算出された前回の時刻をt0、現在の時刻をｔ、すなわちt＞t0が成り立つ場合であって、前回の時刻t0における第３フィルタをＸ(t0)、現在の時刻ｔにおける第３フィルタをＸ(t)、前回の時刻t0に合焦時間予想部により予想された合焦時刻をt1、第１フィルタ取得部により取得した合焦時刻t1における光学系の撮影条件に対応する第１フィルタをＦ、第２フィルタ取得部により取得した第２フィルタをＡ、並びにＷ(0)＝０、Ｗ(1)＝１、及び０≦r≦１で表現される単調増加関数をＷ(r)とする場合において、第３フィルタ算出部は、今回使用する第３フィルタＸ(t)を、次式、
Ｘ(t)＝(１−Ｗ(r)）×Ｘ(t0)＋Ｗ(r)×Ｆ
但し、ｒ＝(t−t0)/(t1−t0）、Ｘ(0)＝Ａ
により算出することが好ましい。

本発明の更に他の態様に係る撮像装置において、第３フィルタ算出部は、撮像部から複数の画像が取得される毎に第３フィルタを算出し、復元処理部は、第３フィルタ算出部により算出した第３フィルタを複数の画像の復元処理に使用することが好ましい。

本発明の更に他の態様に係る撮像装置において、第１フィルタ取得部は、合焦時間予想部により予想された合焦時間経過後の光学系の撮影条件に基づいて、撮影条件下の点拡がり関数に対応して生成された第１フィルタを取得することが好ましい。

本発明の更に他の態様によれば、第１フィルタとして、予想された合焦時間経過後の光学系の撮影条件に対応する第１フィルタを使用するようにしたため、焦点調節が開始されてから目標の合焦状態に達する直前までの画像を、滑らかに繋がった復元画像にすることができる。

本発明の更に他の態様に係る撮像装置において、ユーザの指示入力により撮影準備指示を出力する撮影準備指示部と、撮像部により連続して撮像された画像をライブビュー画像として表示する表示部と、を更に備え、復元処理部は、少なくとも撮影準備指示部から撮影準備指示が出力されるまで、取得した第２フィルタのみを使用して復元処理を行うことが好ましい。

通常、撮影準備指示部から撮影準備指示が出力されるまでの期間、自動焦点調節部による焦点調節は行われないため、その間に取得した画像（ライブビュー用の画像）に対しては、第２フィルタのみを使用して復元処理を行うことにより、過補正等により画質が破綻しないようにしている。

本発明の更に他の態様に係る撮像装置において、復元処理部は、撮影準備指示部から撮影準備指示が出力され、自動焦点調節部による焦点調節が行われると、取得した第１フィルタを使用して復元処理を行うことが好ましい。即ち、撮影準備指示部から撮影準備指示が出力され、自動焦点調節部による焦点調節が行われ、その結果、目標の合焦状態にある画像が取得されると、その画像に対しては第１フィルタを使用して復元処理を行うことにより、光学系の点拡がり関数に対応して劣化した画像を、解像度の高い画像に復元することができる。

本発明の更に他の態様に係る撮像装置において、第２フィルタは、輪郭強調フィルタ、復元後の変調伝達関数（ＭＴＦ）が１．０を超えない復元フィルタ、ゼロ位相フィルタ、光学系の収差が最も少ない領域の点拡がり関数に対応して生成された復元フィルタ、及びカーネルの中央が１で中央以外が０のフィルタのうちの少なくとも１つであることが好ましい。

本発明の更に他の態様に係る画像処理方法は、撮像部から画像を連続して取得する画像取得工程と、撮像部により連続して撮像される画像の焦点調節を自動的に行う自動焦点調節工程と、撮像部の光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを取得する第１フィルタ取得工程と、撮像部により連続して撮像される画像のうちの非合焦の画像に適用される第２フィルタであって、第１フィルタと比較して復元強度が弱い第２フィルタを取得する第２フィルタ取得工程と、撮像部により連続して撮像された画像のうちの処理対象の画像が、自動焦点調節工程による焦点調節により目標の合焦状態にあるか否かを判別する合焦判別工程と、合焦判別工程により処理対象の画像が目標の合焦状態にないと判別されると、処理対象の画像に対し、少なくとも第１フィルタ取得工程により取得した第２フィルタを使用した復元処理を行い、合焦判別工程により目標の合焦状態にあると判別されると、処理対象の画像に対し、第２フィルタ取得工程により取得した第１フィルタを使用した復元処理を行う復元処理工程と、を含んでいる。

本発明の更に他の態様に係る画像処理方法において、自動焦点調節工程により焦点調節が開始されてから目標の合焦状態に達するまでの合焦時間を予想する合焦時間予想工程を含み、復元処理工程は、合焦判別工程により処理対象の画像が目標の合焦状態にないと判別されると、取得した第１フィルタ、第２フィルタ及び予想した合焦時間に基づいて処理対象の画像を復元処理することが好ましい。

本発明によれば、連続して撮像される画像のうち、目標の合焦状態にない画像に対しては、復元強度が弱い第２フィルタを使用して復元処理を行うため、過補正等により画質が破綻することがなく、一方、目標の合焦状態にある画像に対しては、光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを使用して復元処理を行うため、光学系の点拡がり関数に対応して劣化した画像を、解像度の高い画像に復元することができる。

図１は本発明に係る撮像装置の実施形態を示す斜視図である。 図２は図１に示した撮像装置の背面図である。 図３は図１に示した撮像装置の内部構成の実施形態を示すブロック図である。 図４（ａ）及び図４（ｂ）は位相差画素の構成例を示す図である。 図５は撮像素子の撮像領域とＡＦ領域を示す図である。 図６（ａ）、図６（ｂ）、及び図６（ｃ）はＡＦ領域の他の実施形態を示す図である。 図７は図３に示した撮像装置の画像処理部の実施形態を示す要部ブロック図である。 図８（Ａ）及び図８（Ｂ）は復元処理を説明するために用いた図である。 図９は復元処理装置の第１の実施形態を示す要部ブロック図である。 図１０は第１の実施形態に対応する画像処理方法を示すフローチャートである。 図１１は復元処理装置の第２の実施形態を示す要部ブロック図である。 図１２は加重平均算出用の重み係数を説明するために用いた図である。 図１３は第２の実施形態に対応する画像処理方法を示すフローチャートである。 図１４は第２の実施形態の変形例に対応する画像処理方法を示すフローチャートである。 図１５は復元処理装置の第３の実施形態を示す要部ブロック図である。 図１６は動画の撮像中のコントラストＡＦを説明するために用いたＡＦ評価値を示すグラフである。 図１７は第３の実施形態に対応する画像処理方法を示すフローチャートである。 図１８は復元処理装置の第４の実施形態を示す要部ブロック図である。 図１９はコントラストＡＦ時の合焦時間の予測を説明するために用いた図である。 図２０は第４の実施形態に対応する画像処理方法を示すフローチャートである。 図２１は第４の実施形態の変形例に対応する画像処理方法を示すフローチャートである。 図２２はＡＦ評価値の閾値を説明するために用いた図である。 図２３は復元処理装置の第５の実施形態を示す要部ブロック図である。 図２４は任意の単調増加関数を示すグラフである。 図２５は第５の実施形態に対応する画像処理方法を示すフローチャートである。 図２６は図２５のステップＳ９０の詳細を示すフローチャートである。 図２７は復元処理装置の第６の実施形態を示す要部ブロック図である。 図２８は静止画撮像時のコントラストＡＦを説明するために用いた図である。 図２９は第６の実施形態に対応する画像処理方法を示すフローチャートである。 図３０はスマートフォンの外観を示す斜視図である。 図３１はスマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る撮像装置及び画像処理方法の好ましい実施の形態について詳説する。

［撮像装置］
図１及び図２はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラ、又はデジタルビデオカメラである。

図１に示すように撮像装置１０は、その正面に撮影レンズ（光学系）１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体に向けてストロボ光を照射するものである。

シャッタボタン２は、いわゆる「半押し（Ｓ１ ＯＮ）」と「全押し（Ｓ２ ＯＮ）」とからなる２段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。

撮像装置１０は、撮影モードとして動画撮影モードが選択され、シャッタボタン２が「全押し」されると、動画の録画を開始し、シャッタボタン２が再度「全押し」されると、録画を停止して待機状態にする。また、動画撮影モードが選択されている場合には、後述する自動焦点処理部（ＡＦ処理部）４２及びレンズ駆動部３６を含む自動焦点調節部による焦点調節が連続して行われ（位相差ＡＦによるコンティニアンスＡＦが行われ）、かつ自動露出検出部（ＡＥ検出部）４４及びシャッタ駆動部３３、絞り駆動部３４を含む自動露出制御部により露出制御が行われる。

一方、撮像装置１０は、撮影モードとして静止画撮影モードが選択され、シャッタボタン２が「半押し」されると、ＡＦ及びＡＥ制御を行う撮影準備動作を行い、シャッタボタン２が「全押し」されると、静止画の撮像及び記録を行う。

電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。

液晶モニタ３０は、撮影モード時のライブビュー画像、すなわちスルー画像の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェース（ＧＵＩ）の一部として機能する。

ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン６は、上下左右の４方向の指示を入力するマルチファンクションボタンであり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。

再生ボタン８は、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮像装置の内部構成］
図３は上記撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

撮像装置１０には、前述したシャッタボタン２、電源／モードスイッチ３、モードダイヤル４、テレボタン５Ｔ、ワイドボタン５Ｗ、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮像素子（イメージセンサ）１６の駆動制御、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録及び再生制御、液晶モニタ３０の表示制御などを行う。

電源／モードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。

撮影レンズ１２、絞り１４、メカシャッタ（機械的シャッタ）１５等を通過した光束は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサである撮像素子１６に結像される。尚、撮像素子１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のカラーイメージセンサでもよい。

撮像素子１６は、所定のパターン配列（例えば、ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のカラーフィルタＣＦ及びフォトダイオード（ＰＤ）を含んで構成される。

また、本例の撮像素子１６は、図４に示す位相差ＡＦ用の位相差画素を含んでいる。

図４（ａ）及び（ｂ）はそれぞれ第１の位相差画素ｐ１及び第２の位相差画素ｐ２の構成を示す要部拡大図である。

図４（ａ）に示すように第１の位相差画素ｐ１のフォトダイオード（ＰＤ）の前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設され、一方、図４（ｂ）に示すように第２の位相差画素ｐ２のフォトダイオード（ＰＤ）の前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有し、図４（ａ）に示すように遮光部材１６Ａは、フォトダイオード（ＰＤ）の受光面の左半分を遮光する。そのため、第１の位相差画素ｐ１には、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。図４（ｂ）に示すように遮光部材１６Ｂは、第２の位相差画素ｐ２のフォトダイオード（ＰＤ）の受光面の右半分を遮光する。そのため、第２の位相差画素ｐ２には、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ｐ１及び第２の位相差画素ｐ２に入射する。

第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、図５に示すように撮像素子１６の撮像領域内の中央部のＡＦ領域（合焦領域）に設けられている。第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、位相差検出方向、すなわち本実施形態では水平方向に数１０画素から１００画素程度配置することが好ましく、また、垂直方向に一対の位相差画素が、複数対配置することが好ましい。

尚、ＡＦ領域は、図５に示す例に限らず、図６（ａ）、図６（ｂ）、及び図６（ｃ）に示すように撮像素子１
６の撮像領域内に離散的に複数箇所設けるようにしてもよく、また、撮像領域の全域に設けるようにしてもよい。

図３に戻って、ＣＰＵ４０は、動画の撮像及び記録（録画）中、及びライブビュー画像の撮像及び表示中、常時ＡＦ動作及びＡＥ動作を行う。

ＡＦ処理部４２は、位相差ＡＦ処理を行う部分であり、図４に示した第１の位相差画素ｐ１，第２の位相差画素ｐ２の各出力信号を使用して位相差を検出する。

即ち、ＡＦ処理部４２は、１フレーム分の画像データのうちのＡＦ領域内の第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画像データ（出力データ）を抽出し、第１の位相差画素ｐ１の出力データと第２の位相差画素ｐ２の出力データとの位相差を検出する。例えば、上下一対の第１の位相差画素ｐ１と第２の位相差画素ｐ２の各出力データの相関が最大になるとき（上下一対の位相差画素の各出力データの差分絶対値の積算値が最小になるとき）の各出力データ間の左右方向のシフト量から位相差を求める。

ＣＰＵ４０は、ＡＦ処理部４２により検出された位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面との光軸方向のずれ量（デフォーカス量）を算出する。

ＣＰＵ４０は、ＡＦ処理部４２から位相差を示す位相差データを入力すると、位相差データに基づいて位相差ＡＦを行う焦点調節手段として機能する。即ち、ＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面との光軸方向のずれ量（デフォーカス量）を算出し、算出したデフォーカス量が焦点深度の範囲内に入るようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる。尚、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。そして、シャッタボタン２の「全押し」があると、ＣＰＵ４０は、動画の撮影及び記録（録画）を開始させる。

撮影モードが動画撮影モードの場合には、ＣＰＵ４０は、連続的に撮像される画像毎（１フレーム毎）、又は一定枚数のフレーム毎にＡＦ処理部４２から位相差を示す位相差データを入力し、位相差データに基づいて算出したデフォーカス量が焦点深度の範囲内に入るようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる位相差ＡＦを行う。この場合、１フレーム毎、又は一定枚数のフレーム毎に位相差データを入力するため、位相差ＡＦが常時行われる（コンティニアンスＡＦが行われる）。即ち、動画撮影モード時には、メカシャッタ１５を開放し、撮像素子１６から画像データを所定のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）で連続的に読み出し、連続的に位相差ＡＦを行うとともに、被写体の明るさを算出し、絞り駆動部３４による絞り１４を制御する。

また、４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されているＲＯＭ（Read Only Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）である。本例では、このＲＯＭ４７に、撮影レンズ１２の点拡がり関数（ＰＳＦ）に対応して生成された復元フィルタである第１フィルタ及び第２フィルタが記憶されている。

動画又は静止画の撮影時に撮像素子１６から出力されるＲＧＢの画像データ（モザイク画像データ）は、画像入力コントローラ２２からメモリ(SDRAM：Synchronous Dynamic Random Access Memory)４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された画像データは、画像処理部２４により適宜読み出され、ここで、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、ＲＧＢ／ＹＣ変換処理、本発明に係る復元処理等の信号処理が行われる。尚、画像処理部２４の詳細については後述する。

画像処理部２４により処理された画像データは、ＶＲＡＭ（Video RAM）５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

ＶＲＡＭ５０から読み出された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これによりライブビュー画像が連続的に液晶モニタ３０の表示画面上に表示される。

圧縮伸張処理部２６は、動画又は静止画の記録時に、画像処理部２４により処理され、一旦メモリ４８に格納された輝度データＹ及び色差データＣｂ，Ｃｒに対して圧縮処理を施す。動画の場合には、例えばH.264形式で圧縮し、静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮する。圧縮伸張処理部２６により圧縮された圧縮画像データは、メディアコントローラ５２を介してメモリカード５４に記録される。

また、圧縮伸張処理部２６は、再生モード時にメディアコントローラ５２を介してメモリカード５４から得た圧縮画像データに対して伸張処理を施す。メディアコントローラ５２は、メモリカード５４に対する圧縮画像データの記録及び読み出しなどを行う。

＜画像処理＞
図７は、図３に示した撮像装置１０の画像処理部２４の実施形態を示す要部ブロック図である。

図７に示すように、画像処理部２４は、主としてデモザイク処理部６０、ＲＧＢ／ＹＣ変換部６２、及び復元処理部１００を有している。尚、画像処理部２４は、ホワイトバランス補正処理、ガンマ補正処理、輪郭強調処理などを行う処理部も有しているが、これらの処理部についての図示や説明は省略する。

デモザイク処理部６０は、デモザイク処理を行う部分である。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

デモザイク処理部６０には、撮像素子１６の撮像により得られたＲＧＢの各色の画像データＲ１，Ｇ１，及びＢ１が入力されており、デモザイク処理部６０は、入力した画像データＲ１，Ｇ１，及びＢ１をデモザイク処理し、ＲＧＢの３面の色データで構成されるＲＧＢ画像データＲ２，Ｇ２，及びＢ２を生成する。

ＲＧＢ／ＹＣ変換部６２は、デモザイク処理部６０から入力するＲＧＢ画像データＲ２，Ｇ２，Ｂ２にＲＧＢ／ＹＣ変換処理を施し、輝度データＹと、色差データＣｂ，Ｃｒとを生成する。輝度データＹは、例えば、式［Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ］に従って生成される。ここで、本実施形態では輝度データＹとして「Ｙ、Ｃｂ、Ｃｒ」で表される色空間の輝度信号の値を例に挙げて説明しているが、画像の輝度に寄与するデータであれば特に限定されるものではなく、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、ＣＩＥＬＡＢ色空間における明度を表すデータ、輝度信号を得るための寄与率が最も高いデータや、輝度に最も寄与する色のカラーフィルタに対応するデータなどが挙げられる。

復元処理部１００は、ＲＯＭ４７に格納されている第１フィルタ１０２、及び第２フィルタ１０４を読み出し、第１フィルタ１０２及び第２フィルタ１０４を使用して輝度データＹに対して復元処理を行う。この復元処理は、演算処理の負荷を減らすために視覚的な効果が大きくなる輝度データＹに対してのみ行う。復元処理を行うことにより、図８に示すように画像のボケが修正される。

図８（Ａ）に示すように、撮影レンズ１２を透過した点像（光学像）は大きな点像（ボケた画像）として撮像素子１６の撮像面に結像されるが、復元処理により、図８（Ｂ）に示すような小さな点像、すなわち高解像度の画像に復元される。

［復元処理］
＜第１の実施形態＞
次に、撮像装置１０内の復元処理装置の第１の実施形態について説明する。

図９は、復元処理装置の第１の実施形態を示す要部ブロック図であり、主として図７に示した復元処理部１００と、第１フィルタ取得部１３０と、第２フィルタ取得部１４０と、合焦判別部１５０とから構成されている。

復元処理部１００は、更に第１復元処理部１１０と、第２復元処理部１２０と、選択部１２２とを備えている。

第１復元処理部１１０は、ＲＧＢ／ＹＣ変換部６２（図７）から加えられる輝度データＹを復元処理する部分であり、他の入力には、第１フィルタ取得部１３０から第１フィルタ１０２が加えられている。

ここで、第１フィルタ１０２は、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、撮影レンズ１２の各撮影条件（絞り値（Ｆ値）、画角（像高）、ズーム倍率、被写体距離など）に対応する点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づいて生成された復元フィルタ（最適化フィルタ）である。具体的には、撮影レンズ１２の各ＲＧＢのＰＳＦ_Ｒ(x,y)_，ＰＳＦ_Ｇ(x,y)、及びＰＳＦ_Ｂ(x,y)を、適宜の重み付け係数を使用して混合し、輝度データＹに対するＰＳＦ_Ｙ(x,y)を作成し、このＰＳＦ_Ｙ(x,y)使用して輝度データＹを復元処理するための復元フィルタを生成する。ここで、(x,y)は、撮像素子１６の画面内位置を示す。尚、デコンボリューションカーネルのカーネルサイズは、７×７のものに限定されず、種々のサイズのものが適用できる。

一般に、ＰＳＦによるボケの復元には、コンボリュージョン型のWienerフィルタを利用することができる。ＰＳＦ_Ｙ(x,y)をフーリエ変換したＯＴＦとＳＮ比の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

ここでＨ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）はＳＮ比を表す。

復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のWiener周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

本例では、上記のようにして作成した復元フィルタを、第１フィルタ１０２としてＲＯＭ４７に記憶させている。

尚、ＰＳＦは、絞り値（Ｆ値）、画角（像高）、ズーム倍率、被写体距離、レンズの種類等により変化するため、多数の第１フィルタ１０２が用意されている。本実施形態では、少なくとも、複数の被写体距離に対応するＰＳＦに基づいて生成された複数の復元フィルタ（最適化フィルタ）を含む第１フィルタ１０２がＲＯＭ４７に記憶されている。

第１フィルタ取得部１３０は、復元処理しようとする輝度データＹの画面内位置（像高）、撮像条件（Ｆ値、絞り値等）に対応する第１フィルタ１０２をＲＯＭ４７から読み出し、読み出した第１フィルタ１０２を第１復元処理部１１０に出力する。

第１復元処理部１１０は、復元処理対象の輝度データＹを含む７×７のカーネルサイズの輝度データと第１フィルタ取得部１３０から入力する第１フィルタ１０２との畳み込み演算を行い、その演算結果である復元処理された輝度データＹ_Ａを選択部１２２のＡ入力に出力する。

一方、第２復元処理部１２０は、ＲＧＢ／ＹＣ変換部６２から加えられる輝度データＹを復元処理する部分であり、他の入力には、第２フィルタ取得部１４０から第２フィルタ１０４が加えられている。

ここで、第２フィルタ１０４は、例えば、７×７のカーネルサイズを有する中庸的なフィルタであり、加えて、点像復元という観点での効果が低い、すなわちアーティファクトを発生させにくいフィルタであり、以下のうちいずれかの特徴を持つフィルタを使用することができる。

(1) 中庸的な輪郭強調を行う輪郭強調フィルタ
(2) 復元後の変調伝達関数（ＭＴＦ）が１．０を超えない復元フィルタ（輝度データＹに対する第１フィルタ１０２の場合、ＲＧＢの色によっては、復元後のＭＴＦが１．０を超えるものがある）
(3) ゼロ位相フィルタ（周波数依存の像の移動を含まないフィルタ、及び位相復元を行わない復元フィルタを含む）
(4) 光学系の収差が最も少ない領域のＰＳＦに対応して生成された復元フィルタ
(5) 滑らかな周波数特性であり、大きなフィルタ係数はカーネルの中心付近に集中しており、リンギングを起こしにくいフィルタ
(6) カーネルの中央が１で中央以外が０のフィルタ（入力データをそのまま出力するフィルタ）
(7)第１フィルタに比べて復元強度が低いフィルタ
尚、第２フィルタ１０４は、上記に列挙したものに限らず、要はアーティファクトを発生させにくいものであれば、如何なるものでもよい。また、(7)第１フィルタに比べて復元強度が低いフィルタとしては、復元強度が０のフィルタ、すなわち復元処理を行わないよう制御する場合も含まれる。

また、上記のような特性を有する第２フィルタ１０４は、撮影光学系の各撮影条件（絞り値（Ｆ値）、画角（像高）、ズーム倍率、被写体距離など）によらず、複数の撮影条件に対して共通して使用するフィルタ（共通化フィルタ）としても良い。特に、被写体距離によらずに、複数の被写体距離に対して共通に使用しても、アーティファクトが所定の評価指標で閾値以下になるようなフィルタ（共通化フィルタ）とすることで、合焦状態にない画像に対して復元処理を行っても、過補正等により画質が破綻することを抑えられる。

第２復元処理部１２０は、復元処理対象の輝度データＹを含む７×７のカーネルサイズの輝度データと第２フィルタ取得部１４０から入力する第２フィルタ１０４との畳み込み演算を行い、その演算結果である輝度データＹ_Ｂを選択部１２２のＢ入力に出力する。

選択部１２２は、合焦判別部１５０から出力される選択指令信号に基づいて、Ａ入力及びＢ入力に加えられる輝度データＹ_Ａ、Ｙ_Ｂのうち、いずれか一方を選択して出力する。

合焦判別部１５０は、ＡＦ処理部４２からデフォーカス量を入力しており、デフォーカス量が焦点深度の範囲内か否かに基づいて、現在撮像している画像（処理対象の画像）が、目標の合焦状態にあるか否かを判別する。そして、合焦判別部１５０は、現在撮像している画像が、目標の合焦状態にあると判別すると、選択部１２２にＡ入力の輝度データＹ_Ａを選択させる選択指令信号を出力し、目標の合焦状態にないと判別すると、選択部１２２にＢ入力の輝度データＹ_Ｂを選択させる選択指令信号を出力する。

即ち、復元処理装置の第１の実施形態は、動画撮影モード時に連続して撮像される画像のうち、目標の合焦状態にある画像に対しては、第１フィルタ１０２により復元処理した画像（輝度データＹ_Ａ）を出力し、合焦状態にない画像に対しては、第２フィルタ１０４により復元処理した画像（輝度データＹ_Ｂ）を出力する。

これにより、目標の合焦状態にある画像に対しては、第１フィルタを使用して復元処理を行うため、撮影レンズ１２のＰＳＦに対応して劣化した画像を、解像度の高い画像に復元することができ、一方、目標の合焦状態にない画像に対しては、復元強度が弱い第２フィルタを使用して復元処理を行うため、過補正等により画質が破綻することがない。

図１０は、上記第１の実施形態に対応する画像処理方法を示すフローチャートであり、特に動画撮像時の復元処理に関して示している。

図１０に示すように動画撮影モードにおいて、ＣＰＵ４０は、撮影レンズ１２、絞り１４、及び撮像素子１６（撮像部）を駆動して動画の撮像を行わせ、動画の１フレーム（１コマ分の画像）を取得する（ステップＳ１０、画像取得工程）。ＡＦ処理部４２は、取得した画像中の位相画素に基づいてデフォーカス量Δｄを算出する（ステップＳ１２）。

合焦判別部１５０は、算出されたデフォーカス量Δｄが、焦点深度の範囲内か否か（合焦状態か否か）を判別する（ステップＳ１４、合焦判別工程）。ステップＳ１４において、合焦状態であると判別されると（「Yes」の場合）、ステップＳ１６に遷移する。ステップＳ１６では、第１フィルタ取得部１３０が第１フィルタ１０２を取得し（第１フィルタ取得工程）、第１復元処理部１１０が第１フィルタ１０２を使用して、取得した画像の復元処理を行う（復元処理工程）。

一方、ステップＳ１４において、合焦状態にないと判別されると（「No」の場合）、ステップＳ１８に遷移する。ステップＳ１８では、第２フィルタ取得部１４０が第２フィルタ１０４を取得し（第２フィルタ取得工程）、第２復元処理部１２０が第２フィルタ１０４を使用して、取得した画像の復元処理を行う（復元処理工程）。また、合焦状態にないと判別されているため、ステップＳ１８の処理と並行して、デフォーカス量Δｄが焦点深度の範囲内に入るようにＡＦ制御を行う（ステップＳ２０、自動焦点調節工程）。

次に、動画を記録するか否かが判別される（ステップＳ２２）。即ち、動画撮影モード時にシャッタボタン２が「全押し」されると、動画記録が指示され、再度シャッタボタン２が「全押し」されると、動画記録がスタンバイ状態となる。ステップＳ２２において、動画を記録すると判別されると、ステップＳ２４に遷移し、ここで、動画の記録処理が行われる。

続いて、動画撮影が終了したか否かが判別される（ステップＳ２６）。動画撮影の終了判別は、電源／モードスイッチ３により電源がオフにされ、又は再生モードに切り替えられたか否かにより行われる。

動画撮影が終了していないと判別されると、ステップＳ１０に遷移し、次の動画の１フレームを取得し、上記ステップＳ１２〜ステップＳ２６を繰り返す。動画撮影が終了したと判別されると、動画の撮影／記録処理を終了する。

尚、動画記録のスタンバイ状態でも動画の撮像は行われ、上記復元処理された動画は、ライブビュー画像として液晶モニタ３０に表示される。

＜第２の実施形態＞
次に、撮像装置１０内の復元処理装置の第２の実施形態について説明する。

図１１は、復元処理装置の第２の実施形態を示す要部ブロック図である。尚、図１１において、図９に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１１に示す第２の実施形態の復元処理装置は、主として図７に示した復元処理部１００の変形例である復元処理部２００と、第１フィルタ取得部１３０、第２フィルタ取得部１４０と、合焦判別部１５０と、合焦時間予想部２２０とから構成されている。

復元処理部２００は、更に第１復元処理部１１０と、第２復元処理部１２０と、加重平均算出部２１０とを備えている。

第２の実施形態の復元処理装置は、第２フィルタ１０４を使用して復元処理した画像と第１フィルタ１０２を使用して復元処理した画像とを、合焦状態に応じて滑らかに繋ぐ処理を行う。

合焦時間予想部２２０は、合焦判別部１５０により現時点の画像（処理対象の画像）が目標の合焦状態にないと判別されると、動作可能となり、ＡＦ処理部４２から入力するデフォーカス量に基づいて、デフォーカス量が焦点深度の範囲内に入るまでの時間（合焦時間）を予測する。例えば、デフォーカス量Δｄと、そのデフォーカス量Δｄのときにデフォーカス量が焦点深度の範囲内に入るまでの合焦時間ΔＴとの関係を、予め測定してテーブルに記憶させておき、ＡＦ処理部４２から入力するデフォーカス量Δｄに基づいて、対応する合焦時間ΔＴを読み出すようにしてもよい。

合焦時間予想部２２０は、予想した合焦時間ΔＴに応じた重み係数ω(ΔT)を、加重平均算出部２１０に出力する。例えば、図１２に示すように合焦時間ΔＴに対応する、重み係数の関数ω１、ω２、又はω３を有し（０≦ω１、ω２、ω３≦１）、予想した合焦時間ΔＴに基づいて重み係数ω(ΔT)を算出し、算出した重み係数ω(ΔT)を加重平均算出部２１０に出力する。

加重平均算出部２１０は、第１復元処理部１１０により算出された輝度データＹ_Ａと、第２復元処理部１２０により算出された輝度データＹ_Ｂと、合焦時間予想部２２０から入力する重み係数ω(ΔT)とに基づいて加重平均値（輝度データＹ_Ｃ）を、次式により算出する。

［数２］
Ｙ_Ｃ＝ω(ΔT)×Ｙ_Ａ＋（１−ω(ΔT)）×Ｙ_Ｂ
加重平均算出部２１０は、上記のようにして算出した輝度データＹ_Ｃを出力する。尚、合焦判別部１５０により現時点の画像が目標の合焦状態にあると判別されると、重み係数ω(ΔT)は、１になるため、第１復元処理部１１０により算出された輝度データＹ_Ａが、
そのまま輝度データＹ_Ｃとして出力されることになる。

これにより、目標の合焦状態にある画像に対しては、第１フィルタを使用して復元処理を行うため、撮影レンズ１２のＰＳＦに対応して劣化した画像を、解像度の高い画像に復元することができ、一方、ピンぼけ状態から合焦状態になるまでの期間、加重平均時の重み付けを変化させることにより、滑らかに繋がった復元画像を生成することができる。

尚、上記第２の実施形態では、検出したデフォーカス量Δｄに基づいて、デフォーカス量Δｄが焦点深度の範囲内に入るまでの合焦時間ΔＴを予想し、予想した合焦時間ΔＴに基づいて重み係数ω(ΔT)を算出するようにしたが、これに限らず、検出したデフォーカス量Δｄに基づいて、検出したデフォーカス量Δｄに対応する重み係数ω(ΔT)を直接算出するようにしてもよい。即ち、検出したデフォーカス量Δｄが小さい程、輝度データＹ_Ａの重み係数ω(ΔT)を大きくする。

図１３は、上記第２の実施形態に対応する画像処理方法を示すフローチャートである。尚、図１３において、図１０に示した第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図１３において、現時点の画像が合焦状態にない（デフォーカス量Δｄが焦点深度の範囲外）と判別されると（ステップＳ１４）、合焦時間予想部２２０は、デフォーカス量Δｄに基づいて合焦時間を予想し（合焦時間予想工程）、予想した合焦時間に対応する重み係数を求める（ステップＳ３０）。

一方、第１復元処理部１１０及び第２復元処理部１２０は、現時点の画像（輝度データＹ）に対して、それぞれ第１フィルタ１０２及び第２フィルタ１０４を使用して復元処理し、輝度データＹ_Ａ及びＹ_Ｂを算出する（ステップＳ３２）。

加重平均算出部２１０は、ステップＳ３２により算出した輝度データＹ_Ａ及びＹ_Ｂと、ステップＳ３０により求めた重み係数とに基づいて、復元画像（輝度データＹ_Ｃ）を、［数２］式により算出する（ステップＳ３４）。

＜第２の実施形態の変形例＞
図１４は、上記第２の実施形態の変形例に対応する画像処理方法を示すフローチャートである。尚、図１４において、図１３に示した第２の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図１４に示す第２の実施形態の変形例は、図１３に示したフローチャートと比較して、ステップＳ４０及びステップＳ４２が追加されている点で相違する。

図１４において、現時点の画像が合焦状態にない（デフォーカス量Δｄが焦点深度の範囲外）と判別されると（ステップＳ１４）、合焦判別部１５０（図１１）は、ステップＳ１２で算出したデフォーカス量Δｄの絶対値｜Δｄ｜が、閾値Ｔｈ以下か否かを判別する（ステップＳ４０）。ここで、閾値Ｔｈは、例えば、デフォーカス量Δｄを精度よく算出することができない程度に、画像がボケている状態のデフォーカス量Δｄとすることができる。

そして、デフォーカス量Δｄの絶対値｜Δｄ｜が、閾値Ｔｈ以下の場合（「Yes」の場合）には、ステップＳ３０に遷移し、閾値Ｔｈを越えている場合（「No」の場合）には、ステップＳ４２に遷移する。尚、ステップＳ４０は、ステップＳ１２において、デフォーカス量Δｄが算出することができなかった場合も、ステップＳ４２に遷移させることができる。

ステップＳ４２では、現時点の画像（輝度データＹ）に対して、第２フィルタ１０４を使用して復元処理し、輝度データＹ_Ｂを算出し、この輝度データＹ_Ｂを復元画像（輝度データＹ_Ｃ）として出力する。

このように、画像のボケが大きい場合には、第１フィルタ１０２を使用して復元処理した輝度データＹ_Ａを使用せずに、第２フィルタ１０４を使用して復元処理した輝度データＹ_Ｂをそのまま出力する。これにより、ボケが大きい画像に対する過補正を防止するようにしている。

＜第３の実施形態＞
次に、撮像装置１０内の復元処理装置の第３の実施形態について説明する。

図１５は、復元処理装置の第３の実施形態を示す要部ブロック図である。尚、図１５において、図９に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１５に示す第３の実施形態の復元処理装置は、ＡＦ処理部１４２及び合焦判別部１５０Ａが、第１の実施形態と相違する。

即ち、第１の実施形態のＡＦ処理部４２は、位相差ＡＦ用のデフォーカス量を算出するものであるが、第３の実施形態のＡＦ処理部１４２は、コントラストＡＦ用のＡＦ評価値を算出する点で相違する。

ＡＦ処理部１４２は、ＡＦ領域の画像（例えば、Ｇの画像データ）からハイパスフィルタ（ＨＰＦ）を介して高周波成分を抽出し、この高周波成分の絶対値を積算した値（ＡＦ評価値Ｃ）を算出する。

ＣＰＵ４０は、ＡＦ処理部１４２により算出されたＡＦ評価値に基づいて、そのＡＦ評価値Ｃがピーク値（コントラストが最大）になるレンズ位置にレンズ駆動部３６を介して撮影レンズ１２を移動させる。

動画の撮像中のコントラストＡＦは、ＡＦ評価値Ｃが常にピーク値になるようなコンティニアンスＡＦが行われる。

図１６に示すように、撮影レンズ１２のレンズ位置を移動させると、ＡＦ評価値Ｃが変化する。動画の撮像中のコントラストＡＦは、ＡＦ評価値Ｃがピーク位置に維持されるように撮影レンズ１２（フォーカスレンズ）を制御する、いわゆる山登り制御が行われる。即ち、動画の各画像のＡＦ評価値Ｃを逐次算出し、算出したＡＦ評価値Ｃの変化からＡＦ評価値Ｃのピーク値の方向を検知する。そして、フォーカスレンズを移動させながら取得したＡＦ評価値Ｃがピーク値を越えると、そのピーク値をとるレンズ位置が合焦位置と判断する。

図１５の合焦判別部１５０Ａは、ＡＦ処理部１４２からＡＦ評価値Ｃを入力しており、ＡＦ評価値Ｃがピーク値になっているか否かに基づいて、現在撮像している画像が、目標の合焦状態にあるか否かを判別する。尚、合焦判別部１５０Ａは、ＣＰＵ４０から現在撮像している画像が、目標の合焦状態にあるか否かを示す情報を取得するようにしてもよい。

そして、合焦判別部１５０Ａは、現在撮像している画像が、目標の合焦状態にあると判別すると、選択部１２２にＡ入力の輝度データＹ_Ａを選択させる選択指令信号を出力し、目標の合焦状態にないと判別すると、選択部１２２にＢ入力の輝度データＹ_Ｂを選択させる選択指令信号を出力する。

このように第３の実施形態によれば、動画撮影モード時に連続して撮像される画像のうち、目標の合焦状態にある画像に対しては、第１フィルタ１０２により復元処理した画像（輝度データＹ_Ａ）を出力し、合焦状態にない画像に対しては、第２フィルタ１０４により復元処理した画像（輝度データＹ_Ｂ）を出力することができる。

図１７は、上記第３の実施形態に対応する画像処理方法を示すフローチャートである。尚、図１７において、図１０に示した第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図１７に示す第３の実施形態に対応する画像処理方法は、図１０に示した第１の実施形態のステップＳ１２及びステップＳ１４の代わりに、ステップＳ５０及びステップＳ５２の処理が行われる点で相違する。

ステップＳ５０において、ＡＦ処理部１４２は、ステップＳ１０で取得した動画の１フレーム（１コマ分の画像）内のＡＦ領域の画像から高周波成分を抽出し、この高周波成分の絶対値を積算したＡＦ評価値Ｃを算出する。

続いて、ステップＳ５２において、合焦判別部１５０Ａは、逐次算出されるＡＦ評価値Ｃに基づいて、現在のＡＦ評価値Ｃがピーク値になっているか否かに基づいて、現在撮像している画像が目標の合焦状態にあるか否かを判別する。

そして、復元対象の現時点の画像が目標の合焦状態にあると判別されると、ステップＳ１６に遷移し、現時点の画像に対して第１フィルタ１０２を使用した復元処理を行い、目標の合焦状態にないと判別されると、ステップＳ１８に遷移し、現時点の画像に対して第２フィルタ１０４を使用して復元処理を行う。

＜第４の実施形態＞
次に、撮像装置１０内の復元処理装置の第４の実施形態について説明する。

図１８は、復元処理装置の第４の実施形態を示す要部ブロック図である。尚、図１８において、図１１に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１８に示す第４の実施形態の復元処理装置は、第２の実施形態のＡＦ処理部４２、合焦判別部１５０、及び合焦時間予想部２２０の代わりに、ＡＦ処理部１４２、合焦判別部１５０Ｂ、及び合焦時間予想部２２０Ｂを有する点で相違する。

ＡＦ処理部１４２は、図１５の第３の実施形態と同様に、動画の各画像のＡＦ領域の画像から高周波成分を抽出し、コントラストＡＦ用のＡＦ評価値Ｃを算出し、算出したＡＦ評価値Ｃをそれぞれ合焦判別部１５０Ｂ及び合焦時間予想部２２０Ｂに出力する。

合焦判別部１５０Ｂは、ＡＦ処理部１４２から入力するＡＦ評価値Ｃに基づいて、ＡＦ評価値Ｃがピーク値になっているか否か（現在撮像している画像が合焦しているか否か）を判別し、その判別結果を合焦時間予想部２２０Ｂに出力する。

合焦時間予想部２２０Ｂは、合焦判別部１５０Ｂにより現時点の画像が目標の合焦状態にないと判別されると、動作可能となり、ＡＦ処理部１４２から逐次入力するＡＦ評価値Ｃに基づいて、ＡＦ評価値Ｃが目標の合焦状態に対応して設定された第１の閾値Ｔｈ１に達するまでの時間（合焦時間）を予測する。

例えば、図１９に示すように、前回、ＡＦ評価値Ｃを算出した時刻をｔ０とし、今回、ＡＦ評価値Ｃを算出した時刻をｔとし、これらの時刻ｔ０、ｔの時間間隔ΔｔにおけるＡＦ評価値Ｃの変化量を算出する。そして、時間間隔ΔｔにおけるＡＦ評価値Ｃの変化量から、目標の合焦状態に対応して設定されたＡＦ評価値の第１の閾値Ｔｈ１に達するまでの時間ΔＴ（＝ｔ１−ｔ）を予想する。

ここで、第１の閾値Ｔｈ１は、例えば、平均的な被写体の合焦時のＡＦ評価値を採用することができる。尚、合焦時のＡＦ評価値は、被写体のコントラストの多少、撮影条件等により変化するため、現在の撮影シーン（シーン選択手段により選択された人物モード、風景モード等）や、撮影条件（被写体輝度、ズーム倍率等）に応じて第１の閾値Ｔｈ１を設定することが好ましい。

合焦時間予想部２２０Ｂは、上記時間間隔ΔｔにおけるＡＦ評価値Ｃの変化量に基づいて、目標の合焦状態に対応して設定された第１の閾値Ｔｈ１に達するまでの合焦時間ΔＴを予想し、予想した合焦時間ΔＴに応じた重み係数ω(ΔT)を、加重平均算出部２１０に出力する。

加重平均算出部２１０は、第１復元処理部１１０により算出された輝度データＹ_Ａと、第２復元処理部１２０により算出された輝度データＹ_Ｂと、合焦時間予想部２２０Ｂから入力する重み係数ω(ΔT)とに基づいて、前述した［数２］式に基づいて加重平均値（輝度データＹ_Ｃ）を算出し、算出した輝度データＹ_Ｃを出力する。

これにより、目標の合焦状態にある画像に対しては、第１フィルタを使用して復元処理を行うため、撮影レンズ１２のＰＳＦに対応して劣化した画像を、解像度の高い画像に復元することができ、一方、ピンぼけ状態から合焦状態になるまでの期間、加重平均時の重み付けを変化させることにより、滑らかに繋がった復元画像を生成することができる。

尚、ＡＦ評価値Ｃが第１の閾値Ｔｈ１に到達する前にピーク値に達した場合には、合焦判別部１５０Ｂの判別結果が優先され、第１復元処理部１１０により算出された輝度データＹ_Ａが輝度データＹ_Ｃとして出力され、また、ＡＦ評価値Ｃが第１の閾値Ｔｈ１を越える場合も輝度データＹ_Ａが輝度データＹ_Ｃとして出力される。

図２０は、上記第４の実施形態に対応する画像処理方法を示すフローチャートである。尚、図２０において、図１７に示した第３の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図２０に示す第４の実施形態に対応する画像処理方法は、図１７に示したステップＳ１８の代わりに、ステップＳ６０、ステップＳ６２及びステップＳ６４の処理が行われる点で相違する。

ステップＳ５２において、現時点の画像が合焦状態にない（ＡＦ評価値Ｃがピーク値でない）と判別されると、合焦時間予想部２２０Ｂは、ＡＦ評価値Ｃの変化量及び第１の閾値Ｔｈ１に基づいて合焦時間を予想し、予想した合焦時間に対応する重み係数を求める（ステップＳ６０）。

一方、第１復元処理部１１０及び第２復元処理部１２０は、現時点の画像（輝度データＹ）に対して、それぞれ第１フィルタ１０２及び第２フィルタ１０４を使用して復元処理し、輝度データＹ_Ａ及びＹ_Ｂを算出する（ステップＳ６２）。

加重平均算出部２１０は、ステップＳ６２により算出した輝度データＹ_Ａ及びＹ_Ｂと、ステップＳ６０により求めた重み係数とに基づいて、復元画像（輝度データＹ_Ｃ）を、［数２］式により算出する（ステップＳ６４）。

図２１は、上記第４の実施形態の変形例に対応する画像処理方法を示すフローチャートである。尚、図２１において、図２０に示した第４の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図２１に示す第４の実施形態の変形例は、図２０に示したフローチャートと比較して、ステップＳ７０及びステップＳ７２が追加されている点で相違する。

図２１において、現時点の画像が合焦状態にない（ＡＦ評価値Ｃがピーク値でない）と判別されると（ステップＳ５２）、合焦判別部１５０Ｂ（図１８）は、ステップＳ５０で算出したＡＦ評価値Ｃが、第２の閾値Ｔｈ２以上か否かを判別する（ステップＳ７０）。ここで、第２の閾値Ｔｈ２は、例えば、図２２に示すようにＡＦ評価値Ｃが十分に低い値、例えば、画像が大きくボケている状態のＡＦ評価値Ｃとすることができる。

そして、ＡＦ評価値Ｃが、第２の閾値Ｔｈ２以上の場合（「Yes」の場合）には、ステップＳ６０に遷移し、第２の閾値Ｔｈ２未満の場合（「No」の場合）には、ステップＳ７２に遷移する。

ステップＳ７２では、現時点の画像（輝度データＹ）に対して、第２フィルタ１０４を使用して復元処理し、輝度データＹ_Ｂを算出し、この輝度データＹ_Ｂを復元画像（輝度データＹ_Ｃ）として出力する。

このように、画像のボケが大きい場合には、第１フィルタ１０２を使用して復元処理した輝度データＹ_Ａを使用せずに、第２フィルタ１０４を使用して復元処理した輝度データＹ_Ｂをそのまま出力する。これにより、ボケが大きい画像に対する過補正を防止するようにしている。

＜第５の実施形態＞
次に、撮像装置１０内の復元処理装置の第５の実施形態について説明する。

図２３は、復元処理装置の第５の実施形態を示す要部ブロック図である。尚、図２３において、図１１に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２３に示す第５の実施形態の復元処理装置は、主として図７に示した復元処理部１００の変形例である復元処理部３００と、第１フィルタ取得部１３０、第２フィルタ取得部１４０と、合焦判別部１５０Ｃと、合焦時間予想部２２０Ｃとから構成されている。

復元処理部３００は、更に第１復元処理部１１０と、第２復元処理部１２０と、第３復元処理部３１０と、第３フィルタ算出部３２０と、選択部３３０とを備えている。

第５の実施形態は、第２の実施形態と比較すると、主として第１フィルタ１０２と第２フィルタ１０４とを使用して新たな第３フィルタを算出し、この算出した第３フィルタを使用して第３の復元処理を行う点で相違する。

図２３において、合焦時間予想部２２０Ｃは、合焦判別部１５０Ｃにより現時点の画像が目標の合焦状態にないと判別されると、動作可能となり、ＡＦ処理部４２から入力するデフォーカス量に基づいて、デフォーカス量が焦点深度の範囲内に入るまでの合焦時刻を予測する。そして、現在の時刻と予測した合焦時刻とに基づいて、重み係数を算出する。

ここで、第３フィルタを算出したときの前回の時刻をt0、現在の時刻をｔ（t＞t0）、
予測した合焦時刻をｔ１とし、次式に示す変数ｒ（０≦r≦１）を算出する。

［数３］
ｒ＝(t−t0)/(t1−t0）
そして、任意の単調増加関数（例えば、図２４に示すＷ１，Ｗ２、又はＷ３）と、変数ｒとにより重み係数Ｗ(r)を算出する。尚、図２４に示すように重み係数Ｗ(r)は、Ｗ(0)＝０、Ｗ(1)＝１である。

合焦時間予想部２２０Ｃは、予想した合焦時刻ｔ１等に基づいて上記のように重み係数Ｗ(r)を算出し、この重み係数Ｗ(r)を第３フィルタ算出部３２０に出力する。

第３フィルタ算出部３２０には、第１フィルタ取得部１３０及び第２フィルタ取得部１４０からそれぞれ第１フィルタ１０２及び第２フィルタ１０４が加えられており、第３フィルタ算出部３２０は、これらの第１フィルタ１０２、第２フィルタ１０４及び重み係数Ｗ(r)に基づいて、次式により第３フィルタＸ(t)を算出する。

［数４］
Ｘ(t)＝(１−Ｗ(r)）×Ｘ(t0)＋Ｗ(r)×Ｆ
［数４］式において、Ｘ(t0)は、前回の時刻t0における第３フィルタであり、第２フィルタ取得部１４０から取得した第２フィルタ１０４をＡとすると、最初の時刻の第３フィルタＸ(0)は、Ａである（Ｘ(0)＝Ａ）。また、Ｆは、第１フィルタ取得部１３０により取得した、予想した合焦時刻ｔ１における光学系の撮影条件に対応する第１フィルタである。

上記［数３］式及び［数４］式からも明らかなように、変数ｒ、重み係数Ｗ(r)は、Ａ
Ｆ制御の時間経過に伴って徐々に１に近づき、その結果、第３フィルタＸ(t)は、第２フィルタ１０４から第１フィルタ１０２に徐々に近づく。

第３復元処理部３１０は、ＲＧＢ／ＹＣ変換部６２から加えられる輝度データＹを復元処理する部分であり、他の入力には、上記のように第３フィルタ算出部３２０により算出された第３フィルタＸ(t)が加えられている。そして、第３復元処理部３１０は、復元処理対象の輝度データＹを含む７×７のカーネルサイズの輝度データと第３フィルタ算出部３２０から入力する第３フィルタＸ(t)との畳み込み演算を行い、その演算結果である輝度データＹ_Ｃを選択部３３０のＣ入力に出力する。

選択部３３０は、合焦判別部１５０Ｃから出力される選択指令信号に基づいて、Ａ入力、Ｂ入力及びＣ入力に加えられる輝度データＹ_Ａ、Ｙ_Ｂ、Ｙ_Ｃのうち、いずれか１つを選択して出力する。

合焦判別部１５０Ｃは、ＡＦ処理部４２からデフォーカス量Δｄを入力しており、デフォーカス量Δｄが焦点深度の範囲内か否か、及びデフォーカス量Δｄの絶対値が閾値Ｔｈを越えているか否かを判別する。そして、合焦判別部１５０Ｃは、現在撮像している画像が、目標の合焦状態にあると判別すると、選択部３３０にＡ入力の輝度データＹ_Ａを選択させる選択指令信号を出力し、デフォーカス量Δｄの絶対値が閾値Ｔｈを越えていると判別すると、選択部３３０にＢ入力の輝度データＹ_Ｂを選択させる選択指令信号を出力し、その他の場合には、選択部３３０にＣ入力の輝度データＹ_Ｃを選択させる選択指令信号を出力する。

即ち、復元処理装置の第５の実施形態は、動画撮影モード時に連続して撮像される画像のうち、目標の合焦状態にある画像に対しては、第１フィルタ１０２により復元処理した画像（輝度データＹ_Ａ）を出力し、大幅にボケている画像に対しては、第２フィルタ１０４により復元処理した画像（輝度データＹ_Ｂ）を出力し、その他の場合には、第２フィルタ１０４と第１フィルタ１０２とから生成した第３フィルタにより復元処理した画像（輝度データＹ_Ｃ）を出力する。

これにより、目標の合焦状態にある画像に対しては、第１フィルタを使用して復元処理を行うため、撮影レンズ１２のＰＳＦに対応して劣化した画像を、解像度の高い画像に復元することができ、一方、大幅にボケている画像に対しては、復元強度が弱い第２フィルタを使用して復元処理を行うため、過補正等により画質が破綻することがない。更に、合焦状態に応じて、解像度の高い画像に滑らかに繋ぐ復元処理を行うことができる。

尚、第３フィルタ算出部３２０は、画像毎に第３フィルタを算出する場合に限らず、複数の画像が取得される毎に第３フィルタを算出するようにしてもよい。この場合、第３復元処理部３１０は、第３フィルタ算出部３２０により次の第３フィルタが算出されるまでの間、前回算出された同じ第３フィルタを複数の画像の復元処理に使用する。

また、［数４］式に示した重み係数Ｗ(r)は、［数３］式に示したように予測した合焦時刻ｔ１等に対応する変数ｒの関数としたが、これに限らず、検出したデフォーカス量Δｄに対応する関数としてもよい。即ち、検出したデフォーカス量Δが小さい程、重み係数Ｗ(r)をを大きくする。

図２５は、上記第５の実施形態に対応する画像処理方法を示すフローチャートである。尚、図２５において、図１４に示した第２の実施形態の変形例と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図２５において、合焦判別部１５０Ｃ（図２３）により、ステップＳ１２で算出したデフォーカス量Δｄに基づいて、現在の画像の合焦状態が目標の合焦状態でなく、かつデフォーカス量Δｄの絶対値｜Δｄ｜が、閾値Ｔｈ以下であると判別されると（ステップＳ１４、Ｓ４０）、ステップＳ８０に遷移する。

ステップＳ８０では、合焦時間予想部２２０Ｃにより合焦時刻ｔ１を予想する。続いて、第３フィルタ算出部３２０により第３フィルタを算出する（ステップＳ９０）。

図２６に、ステップＳ９０における処理内容を示す。

まず、前回使用した、前回の時刻t0における第３フィルタＸ(t)をＸ(t0)とする（ステップＳ９２）。尚、最初に使用した第３フィルタＸ(0)は、第２フィルタ１０４である。

次に、ステップＳ９０で予想した合焦時刻ｔ１、現在の時刻ｔ等に基づいて重み係数Ｗ(r)を算出する（ステップＳ９４）。この重み係数Ｗ(r)は、図２４に示したように、０≦Ｗ(r)≦１の範囲の重み係数であり、現在の時刻ｔが予想した合焦時刻ｔ１に近づくにしたがって、１に近づく重み係数である。

次に、ステップＳ９２で設定した第３フィルタＸ(t0)、ステップＳ９４で算出した重み係数Ｗ(r)、及び第１フィルタＦに基づいて、今回使用する第３フィルタＸ(t)を、前述した［数４］式により算出する（ステップＳ９６）。尚、使用する第１フィルタＦは、予想した合焦時刻ｔ１の撮影条件に対応する第１フィルタを使用することが好ましい。

第３フィルタＸ(t)の算出が終了すると、第３復元処理部３１０は、現時点の画像（輝度データＹ）に対して、第３フィルタＸ(t)に基づく復元処理を行い、復元処理した画像
（輝度データＹ_Ｃ）を出力する（図２５、ステップＳ１００）。

＜第６の実施形態＞
次に、撮像装置１０内の復元処理装置の第６の実施形態について説明する。

図２７は、復元処理装置の第６の実施形態を示す要部ブロック図である。尚、図２７において、図１５に示した第３の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２７に示す第６の実施形態の復元処理装置は、静止画撮影モード時におけるライブビュー画像の表示中の処理を行う点で、第３の実施形態と相違する。

静止画撮影モード時におけるライブビュー画像の撮像時には、通常、ＡＦ動作は停止している。尚、ライブビュー画像の撮像中もコンティニアンスＡＦを行うカメラもあるが、第６の実施形態は、ライブビュー画像の撮像時にＡＦ動作が停止しているものとする。

静止画撮影モード時におけるライブビュー画像の撮像時において、ＣＰＵ４０は、シャッタボタン２（撮影準備指示部）が、「半押し」（Ｓ１ ＯＮ）されると、コントラストＡＦを開始する。

次に、静止画撮影モード時のコントラストＡＦについて、図２８を参照して説明する。

図２８に示すようにＣＰＵ４０は、シャッタボタン２が、「半押し」されると、フォーカスレンズを無限側（ＩＮＦ）から至近端まで移動（ＡＦサーチ）させるレンズ移動指令を出力する。

ＣＰＵ４０は、ＡＦ処理部１４２からＡＦサーチ中の一定の画像毎に算出されたＡＦ評価値を取得し、各ＡＦ評価値とレンズ位置とに基づいて、ＡＦ評価値がピーク値となるレンズ位置（合焦位置）を算出する。そして、ＣＰＵ４０は、算出した合焦位置にフォーカスレンズを移動させるレンズ位置指令を出力し、フォーカスレンズを合焦位置に移動させる。

上記のようにしてＡＦ制御が終了すると、シャッタボタン２が「半押し」されている限り、フォーカスレンズは合焦位置に停止させられる。

ＣＰＵ４０内のＡＦ終了判別部４０Ａは、上記のようにしてＡＦ制御が終了し、フォーカスレンズが合焦位置に保持されているか否かを判別し、その判別結果を選択部１２２に出力する。即ち、ＡＦ終了判別部４０Ａは、ＡＦ制御が終了していない場合には、選択部１２２にＢ入力の輝度データＹ_Ｂを選択させる選択指令信号を出力し、ＡＦ制御が終了し、フォーカスレンズが合焦位置に保持されている場合には、選択部１２２にＡ入力の輝度データＹ_Ａを選択させる選択指令信号を出力する。

選択部１２２は、ＡＦ終了判別部４０Ａから出力される選択指令信号に基づいて、Ａ入力及びＢ入力に加えられる輝度データＹ_Ａ、Ｙ_Ｂのうち、いずれか一方を選択して出力する。

即ち、復元処理装置の第６の実施形態は、静止画撮影モード時に連続して撮像される画像のうち、シャッタボタン２が操作されていない場合には、輝度データＹ_Ｂを出力し、シャッタボタン２が「半押し」され、ＡＦ制御が終了すると、輝度データＹ_Ａを出力する。

これにより、ＡＦ制御が終了している画像に対しては、第１フィルタを使用して復元処理を行うため、撮影レンズ１２のＰＳＦに対応して劣化した画像を、解像度の高い画像に復元することができ、一方、ＡＦ制御が行われていない画像、又はＡＦ制御が終了していない画像に対しては、復元強度が弱い第２フィルタを使用して復元処理を行うため、過補正等により画質が破綻することがない。

図２９は、上記第６の実施形態に対応する画像処理方法を示すフローチャートである。

図２９に示すように静止画撮影モードにおいて、ＣＰＵ４０は、撮影レンズ１２、絞り１４、及び撮像素子１６（撮像部）を駆動してライブビュー画像（動画）の撮像を行わせ、動画の１フレーム（１コマ分の画像）を取得する（ステップＳ１０２）。

続いて、ＣＰＵ４０は、シャッタボタン２が「半押し」（Ｓ１ ＯＮ）されたか否かを判別し（ステップＳ１０４）、シャッタボタン２が「半押し」されていない場合には、ステップＳ１０６に遷移させる。ステップＳ１０６では、第２復元処理部１２０により第２フィルタ１０４を使用した復元処理が行われる。ここで、復元処理された画像は、液晶モニタ３０に出力され、ライブビュー画像として表示される（ステップＳ１１４）。

一方、シャッタボタン２が「半押し」されると、ステップＳ１０８に遷移し、コントラストＡＦが行われる。続いて、ＡＦ終了判別部４０ＡによりコントラストＡＦが終了したか否かが判別され、終了していない場合にはステップＳ１０６に遷移させ、終了した場合には、ステップＳ１１２に遷移させる。

ステップＳ１１２では、第１復元処理部１１０により第１フィルタ１０２を使用した復元処理が行われる。復元処理された画像は、液晶モニタ３０に出力され、ライブビュー画像として表示される（ステップＳ１１４）。

上記のようにしてライブビュー画像の表示中に、シャッタボタン２が「全押し」（Ｓ２
ＯＮ）されたか否かが判別される（ステップＳ１１６）。シャッタボタン２が「全押し」されていない場合には、ステップＳ１０２に遷移し、上記ステップＳ１０２からステップＳ１１６の処理が繰り返される。一方、シャッタボタン２が「全押し」されると、静止画の取得が行われ（ステップＳ１１８）、取得した静止画に対して、第１復元処理部１１０により第１フィルタ１０２を使用した復元処理が行われる（ステップＳ１２０）。

高解像度に復元処理された静止画は、圧縮処理等が施された後、メモリカード５４に記録され（ステップＳ１２２）、静止画の撮像動画が終了する。

上記の実施形態の撮像装置１０は、動画撮像機能及び静止画撮像機能を有するデジタルカメラであるが、本発明はデジタルビデオカメラにも適用できる。また、本発明を適用可能な態様は、デジタルカメラ、デジタルビデオに限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

なお、例えば後述するスマートフォンのような携帯撮像装置など撮像装置の形態によっては、撮影準備指示部や画像の記録指示部は、シャッタボタン２のような「半押し」「全押し」可能な２段ストローク式のスイッチに限られず、撮影準備指示を受ける機能、画像の記録指示を受ける機能を有するものであればよく、別個のボタンを有する形態、別個のタッチ入力操作受付け部を有する形態でもよく、また音声入力や視線入力などで撮影準備指示や画像の記録指示を受けるようにしてもよい。

＜スマートフォンの構成＞
図３０は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示す斜視図である。図３０に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することが可能であり、折り畳み構造又はスライド機構を有する構成を採用することもできる。

図３１は、図３０に示すスマートフォン５００の構成を示すブロック図である。図３１に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置である座標を検出する。

図３０に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力することが可能であり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図３０に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載することができる。また、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る第１フィルタ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有線又は無線ヘッドセット、有線又は無線外部充電器、有線又は無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線又は無線接続されるスマートフォン、有線又は無線接続されるパーソナルコンピュータ、有線又は無線接続されるPDA、有線又は無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に、前述した撮像装置１０を適用することができる。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録することが可能であり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図３０に示すスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影することが可能であり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［その他］
この実施形態の撮像装置１０は、撮影レンズ１２の点拡がり関数（ＰＳＦ）に対応して生成された第１フィルタ１０２がＲＯＭ４７に格納され、ＲＯＭ４７から適宜の第１フィルタ１０２を読み出すようにしているが、これに限らず、ＰＳＦ等を記憶させ、撮像装置内でＰＳＦ等から第１フィルタを生成してもよい。

また、この実施形態では、輝度データに対して復元処理を施すようにしたが、これに限らず、ＲＧＢの各色の画像データ毎に、各色に対応する第１フィルタ、第２フィルタを使用して復元処理を行うようにしてもよい。

撮影レンズ１２は、沈胴式のズームレンズで構成されているが、単焦点レンズでもよく、また、カメラ本体に着脱可能な交換レンズでもよい。交換レンズの場合、交換レンズの復元フィルタ、ＰＳＦ等を交換レンズとの通信により取得するようにしてもよい。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

２…シャッタボタン、１０…撮像装置、１２…撮影レンズ、１６…撮像素子、２４…画像処理部、３０…液晶モニタ、４０…ＣＰＵ、４０Ａ…ＡＦ終了判別部、４２、１４２…ＡＦ処理部、４７…ＲＯＭ、６０…デモザイク処理部、６２…ＲＧＢ／ＹＣ変換部、１００、２００、３００…復元処理部、１１０…第１復元処理部、１２０…第２復元処理部、１２２、３３０…選択部、１３０…第１フィルタ取得部、１４０…第２フィルタ取得部、１５０、１５０Ａ、１５０Ｂ、１５０Ｃ…合焦判別部、２１０…加重平均算出部、２２０、２２０Ａ，２２０Ｃ…合焦時間予想部、３１０…第３復元処理部、３２０…第３フィルタ算出部、５００…スマートフォン

【０００３】
がある。更に，特許文献２に記載の発明は、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成された光学系、すなわち光学系に光波面変調素子を含む撮像装置を前提にしており、自動焦点調節機構がなく、本発明が解決しようとする課題がない。
［００１２］
本発明はこのような事情に鑑みてなされたもので、劣化した動画の各画像に対して過補正となる復元処理を防止することができ、かつ復元処理により高解像度の画像を取得することができる撮像装置及び画像処理方法を提供することを目的とする。
課題を解決するための手段
［００１３］
上記目的を達成するために本発明の一の態様に係る発明は、少なくとも画像を連続して撮像する撮像部と、撮像部により連続して撮像される画像の焦点調節を自動的に行う自動焦点調節部と、撮像部の光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを取得する第１フィルタ取得部と、撮像部により連続して撮像される画像のうちの非合焦の画像に適用される第２フィルタであって、第１フィルタと比較して復元強度が弱いフィルタであって、ゼロ位相フィルタである第２フィルタを取得する第２フィルタ取得部と、撮像部により連続して撮像された画像のうちの処理対象の画像が、自動焦点調節部による焦点調節により目標の合焦状態にあるか否かを判別する合焦判別部と、合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、処理対象の画像に対し、少なくとも第２フィルタ取得部により取得した第２フィルタを使用した復元処理を行い、合焦判別部により処理対象の画像が目標の合焦状態にあると判別されると、処理対象の画像に対し、第１フィルタ取得部により取得した第１フィルタを使用した復元処理を行う復元処理部と、を備えている。
［００１４］
本発明の一の態様によれば、連続して撮像される画像のうち、目標の合焦状態にない画像（非合焦の画像）に対しては、非合焦の画像に適用される復元強度が弱い第２フィルタを使用して復元処理を行うため、過補正等により画質が破綻することがなく、一方、目標の合焦状態にある画像に対しては、光学系の点拡がり関数に対応して生成された復元フィルタである第１フィル

【０００９】
［００３４］
本発明の更に他の態様に係る撮像装置において、第１フィルタ取得部は、合焦時間予想部により予想された合焦時間経過後の光学系の撮影条件に基づいて、撮影条件下の点拡がり関数に対応して生成された第１フィルタを取得することが好ましい。
［００３５］
本発明の更に他の態様によれば、第１フィルタとして、予想された合焦時間経過後の光学系の撮影条件に対応する第１フィルタを使用するようにしたため、焦点調節が開始されてから目標の合焦状態に達する直前までの画像を、滑らかに繋がった復元画像にすることができる。
［００３６］
本発明の更に他の態様に係る撮像装置において、ユーザの指示入力により撮影準備指示を出力する撮影準備指示部と、撮像部により連続して撮像された画像をライブビュー画像として表示する表示部と、を更に備え、復元処理部は、少なくとも撮影準備指示部から撮影準備指示が出力されるまで、取得した第２フィルタのみを使用して復元処理を行うことが好ましい。
［００３７］
通常、撮影準備指示部から撮影準備指示が出力されるまでの期間、自動焦点調節部による焦点調節は行われないため、その間に取得した画像（ライブビュー用の画像）に対しては、第２フィルタのみを使用して復元処理を行うことにより、過補正等により画質が破綻しないようにしている。
［００３８］
本発明の更に他の態様に係る撮像装置において、復元処理部は、撮影準備指示部から撮影準備指示が出力され、自動焦点調節部による焦点調節が行われると、取得した第１フィルタを使用して復元処理を行うことが好ましい。即ち、撮影準備指示部から撮影準備指示が出力され、自動焦点調節部による焦点調節が行われ、その結果、目標の合焦状態にある画像が取得されると、その画像に対しては第１フィルタを使用して復元処理を行うことにより、光学系の点拡がり関数に対応して劣化した画像を、解像度の高い画像に復元することができる。
［００３９］
本発明のさらに他の態様に係る撮像装置において、第２フィルタは、複数の撮影条件に対して共通して使用されるフィルタであることが好ましい。

【００１０】
［００４０］
本発明の更に他の態様に係る画像処理方法は、撮像部から画像を連続して取得する画像取得工程と、撮像部により連続して撮像される画像の焦点調節を自動的に行う自動焦点調節工程と、撮像部の光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを取得する第１フィルタ取得工程と、撮像部により連続して撮像される画像のうちの非合焦の画像に適用される第２フィルタであって、第１フィルタと比較して復元強度が弱い第２フィルタを取得する第２フィルタ取得工程と、撮像部により連続して撮像された画像のうちの処理対象の画像が、自動焦点調節工程による焦点調節により目標の合焦状態にあるか否かを判別する合焦判別工程と、合焦判別工程により処理対象の画像が目標の合焦状態にないと判別されると、処理対象の画像に対し、少なくとも第１フィルタ取得工程により取得した第２フィルタを使用した復元処理を行い、合焦判別工程により目標の合焦状態にあると判別されると、処理対象の画像に対し、第２フィルタ取得工程により取得した第１フィルタを使用した復元処理を行う復元処理工程と、を含んでいる。
［００４１］
本発明の更に他の態様に係る画像処理方法において、自動焦点調節工程により焦点調節が開始されてから目標の合焦状態に達するまでの合焦時間を予想する合焦時間予想工程を含み、復元処理工程は、合焦判別工程により処理対象の画像が目標の合焦状態にないと判別されると、取得した第１フィルタ、第２フィルタ及び予想した合焦時間に基づいて処理対象の画像を復元処理することが好ましい。
発明の効果
［００４２］
本発明によれば、連続して撮像される画像のうち、目標の合焦状態にない画像に対しては、復元強度が弱い第２フィルタを使用して復元処理を行うため、過補正等により画質が破綻することがなく、一方、目標の合焦状態にある画像に対しては、光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを使用して復元処理を行うため、光学系の点拡がり関

Claims (19)

1. 少なくとも画像を連続して撮像する撮像部と、
   前記撮像部により連続して撮像される画像の焦点調節を自動的に行う自動焦点調節部と、
   前記撮像部の光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを取得する第１フィルタ取得部と、
   前記撮像部により連続して撮像される画像のうちの非合焦の画像に適用される第２フィルタであって、前記第１フィルタと比較して復元強度が弱い第２フィルタを取得する第２フィルタ取得部と、
   前記撮像部により連続して撮像された画像のうちの処理対象の画像が、前記自動焦点調節部による焦点調節により目標の合焦状態にあるか否かを判別する合焦判別部と、
   前記合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、前記処理対象の画像に対し、少なくとも第２フィルタ取得部により取得した第２フィルタを使用した復元処理を行い、前記合焦判別部により処理対象の画像が目標の合焦状態にあると判別されると、前記処理対象の画像に対し、前記第１フィルタ取得部により取得した第１フィルタを使用した復元処理を行う復元処理部と、
   を備えた撮像装置。
2. 前記復元処理部は、前記合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、前記取得した第１フィルタ及び前記第２フィルタに基づいて前記処理対象の画像を復元処理する請求項１に記載の撮像装置。
3. 前記自動焦点調節部により焦点調節が開始されてから目標の合焦状態に達するまでの合焦時間を予想する合焦時間予想部を備え、
   前記復元処理部は、前記合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、前記取得した第１フィルタ、前記第２フィルタ及び前記予想した合焦時間に基づいて前記処理対象の画像を復元処理する請求項２に記載の撮像装置。
4. 前記自動焦点調節部は、前記撮像される画像のデフォーカス量を検出し、検出したデフォーカス量が焦点深度の範囲内に入るまで前記光学系を制御し、
   前記合焦時間予想部は、前記デフォーカス量が検出されてから焦点深度の範囲内に入るまでの合焦時間を予想する請求項３に記載の撮像装置。
5. 前記合焦時間予想部は、前記自動焦点調節部により検出されたデフォーカス量が閾値以内にあるときのみ前記合焦時間を予想し、
   前記復元処理部は、前記デフォーカス量が閾値を越えている場合には、前記取得した第２フィルタのみを使用して復元処理を行う請求項４に記載の撮像装置。
6. 前記自動焦点調節部は、前記撮像部により撮像された画像の合焦領域の高周波成分を評価値として算出し、算出した評価値がピーク値になるまで前記光学系を制御し、
   前記合焦時間予想部は、前記自動焦点調節部により算出された評価値の変化に基づいて、前記評価値が前記目標の合焦状態に対応する第１の閾値に達するまでの時間を予想する請求項３に記載の撮像装置。
7. 前記合焦時間予想部は、前記自動焦点調節部により算出された評価値が、前記第１の閾値よりも低い第２の閾値以上にあるときのみ前記合焦時間を予想し、
   前記復元処理部は、前記自動焦点調節部により算出された評価値が前記第２の閾値未満の場合には、前記取得した第２フィルタのみを使用して復元処理を行う請求項６に記載の撮像装置。
8. 前記復元処理部は、前記合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、前記取得した第１フィルタ及び第２フィルタに基づいて前記処理対象の画像をそれぞれ復元処理して第１の画像及び第２の画像を生成し、さらに前記合焦時間予想部により予想された合焦時間が短い程、前記第１の画像の重みが大きくなる重み付けを用ることにより前記第１の画像と第２の画像とを加重平均して復元画像を生成する請求項３から７のいずれか１項に記載の撮像装置。
9. 前記自動焦点調節部は、前記撮像される画像のデフォーカス量を検出し、検出したデフォーカス量が焦点深度の範囲内に入るまで前記光学系を制御し、
   前記復元処理部は、前記合焦判別部により処理対象の画像が目標の合焦状態にないと判別されると、前記取得した第１フィルタ及び第２フィルタに基づいて前記処理対象の画像をそれぞれ復元処理して第１の画像及び第２の画像を生成し、前記検出したデフォーカス量が小さい程、前記第１の画像の重みが大きくなる重み付けを用いて前記第１の画像と第２の画像とを加重平均して復元画像を生成する請求項２から８のいずれか１項に記載の撮像装置。
10. 前記自動焦点調節部は、前記撮像される画像のデフォーカス量を検出し、検出したデフォーカス量が焦点深度の範囲内に入るまで前記光学系を制御し、
    前記復元処理部は、前記取得した第１フィルタ、前記第２フィルタ及び前記検出したデフォーカス量に基づいて前記撮像部により取得された画像に対する第３フィルタを算出する第３フィルタ算出部であって、前記検出したデフォーカス量が小さくなるにしたがって前記第２フィルタのフィルタ係数から前記第１フィルタのフィルタ係数に順次近づくフィルタ係数を有する前記第３フィルタを算出する第３フィルタ算出部を有し、
    前記撮像部により連続して撮像される画像のうちの前記自動焦点調節部により焦点調節が開始されてから目標の合焦状態に達する直前までの画像に対し、前記第３フィルタ算出部により算出した第３フィルタを使用して復元処理を行い、前記目標の合焦状態に達した画像に対し、前記取得した第１フィルタを使用して復元処理を行う請求項２から９のいずれか１項に記載の撮像装置。
11. 前記復元処理部は、前記取得した第１フィルタ、前記第２フィルタ及び前記予想した合焦時間に基づいて前記撮像部により取得された処理対象の画像に対する第３フィルタを算出する第３フィルタ算出部であって、前記合焦時間の時間経過にしたがって前記第２フィルタのフィルタ係数から前記第１フィルタのフィルタ係数に順次近づくフィルタ係数を有する前記第２フィルタを算出する第３フィルタ算出部を有し、
    前記撮像部により連続して撮像される画像のうちの前記自動焦点調節部により焦点調節が開始されてから目標の合焦状態に達する直前までの画像に対し、前記第３フィルタ算出部により算出した第３フィルタを使用して復元処理を行い、前記目標の合焦状態に達した画像に対し、前記取得した第１フィルタを使用して復元処理を行う請求項３から７のいずれか１項に記載の撮像装置。
12. 前記第３フィルタ算出部により前記第３フィルタが算出された前回の時刻をt0、現在の時刻をｔ、すなわちt＞t0が成り立つ場合であって、前回の時刻t0における第３フィルタをＸ(t0)、現在の時刻ｔにおける第３フィルタをＸ(t)、前回の時刻t0に前記合焦時間予想部により予想された合焦時刻をt1、前記第１フィルタ取得部により取得した、合焦時刻t1における光学系の撮影条件に対応する第１フィルタをＦ、前記第２フィルタ取得部により取得した第２フィルタをＡ、並びにＷ(0)＝０、Ｗ(1)＝１、及び０≦r≦１で表現される単調増加関数をＷ(r)とする場合において、
    前記第３フィルタ算出部は、今回使用する第３フィルタＸ(t)を、次式、
    Ｘ(t)＝(１−Ｗ(r)）×Ｘ(t0)＋Ｗ(r)×Ｆ
    但し、ｒ＝(t−t0)/(t1−t0）、Ｘ(0)＝Ａ
    により算出する請求項１１に記載の撮像装置。
13. 前記第３フィルタ算出部は、前記撮像部から複数の画像が取得される毎に前記第３フィルタを算出し、
    前記復元処理部は、前記第３フィルタ算出部により算出した第３フィルタを複数の画像の復元処理に使用する請求項１１又は１２に記載の撮像装置。
14. 前記第１フィルタ取得部は、前記合焦時間予想部により予想された合焦時間経過後の前記光学系の撮影条件に基づいて、該撮影条件下の点拡がり関数に対応して生成された第１フィルタを取得する請求項３から８のいずれか１項に記載の撮像装置。
15. ユーザの指示入力により撮影準備指示を出力する撮影準備指示部と、
    前記撮像部により連続して撮像された画像をライブビュー画像として表示する表示部と、を更に備え、
    前記復元処理部は、少なくとも前記撮影準備指示部から撮影準備指示が出力されるまで、前記取得した第２フィルタのみを使用して復元処理を行う請求項１から１４のいずれか１項に記載の撮像装置。
16. 前記復元処理部は、前記撮影準備指示部から撮影準備指示が出力され、前記自動焦点調節部による焦点調節が行われると、前記取得した第１フィルタを使用して復元処理を行う請求項１５に記載の撮像装置。
17. 前記第２フィルタは、輪郭強調フィルタ、復元後の変調伝達関数（ＭＴＦ）が１．０を超えない復元フィルタ、ゼロ位相フィルタ、前記光学系の収差が最も少ない領域の点拡がり関数に対応して生成された復元フィルタ、及びカーネルの中央が１で中央以外が０のフィルタのうちの少なくとも１つである請求項１から１６のいずれか１項に記載の撮像装置。
18. 撮像部から画像を連続して取得する画像取得工程と、
    前記撮像部により連続して撮像される画像の焦点調節を自動的に行う自動焦点調節工程と、
    前記撮像部の光学系の点拡がり関数に対応して生成された復元フィルタである第１フィルタを取得する第１フィルタ取得工程と、
    前記撮像部により連続して撮像される画像のうちの非合焦の画像に適用される第２フィルタであって、前記第１フィルタと比較して復元強度が弱い第２フィルタを取得する第２フィルタ取得工程と、
    前記撮像部により連続して撮像された画像のうちの処理対象の画像が、前記自動焦点調節工程による焦点調節により目標の合焦状態にあるか否かを判別する合焦判別工程と、
    前記合焦判別工程により処理対象の画像が目標の合焦状態にないと判別されると、前記処理対象の画像に対し、少なくとも前記第１フィルタ取得工程により取得した第２フィルタを使用した復元処理を行い、前記合焦判別工程により目標の合焦状態にあると判別されると、前記処理対象の画像に対し、前記第２フィルタ取得工程により取得した第１フィルタを使用した復元処理を行う復元処理工程と、
    を含む画像処理方法。
19. 前記自動焦点調節工程により焦点調節が開始されてから目標の合焦状態に達するまでの合焦時間を予想する合焦時間予想工程を含み、
    前記復元処理工程は、前記合焦判別工程により処理対象の画像が目標の合焦状態にないと判別された場合、前記取得した第１フィルタ、前記第２フィルタ及び前記予想した合焦時間に基づいて前記処理対象の画像を復元処理する請求項１８に記載の画像処理方法。

Images