JP6027287B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特に合焦状況に応じた復元強度、又は復元強度と鮮鋭化強度の調整手法に関する。

光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数(ＰＳＦ:Point Spread Function)と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。

点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることにより画質を回復可能である。この点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いた画像処理によって撮影画像の点拡がりをキャンセル又は低減する処理である。

絞り値、焦点距離等の撮影条件やレンズが変わるとＰＳＦは変化するため、撮影条件が変わったり、レンズが交換されたりする度に点像復元処理により使用する復元フィルタを切り替えて、新たな撮影条件や新しく装着されたレンズに対応する復元フィルタを使用して点像復元処理を行うことが好ましい。

点像復元処理により使用可能な復元フィルタの代表例として、ウィナー(Wiener)フィルタが知られている。レンズの光学伝達関数（ＯＴＦ：Optical Transfer Function)と、周波数依存の撮像系ＳＮ比（Signal-Noise ratio）とが決定されれば、ウィナーフィルタによる点像復元処理は数学的に一意に決められる処理である。

また、点像復元処理以外にも画質を改善するための画像処理が行われることがあり、例えば、鮮鋭化処理（輪郭強調処理、エッジ強調処理、シャープネス強調処理等）によって画像の鮮鋭度（シャープネス）を向上させることができる。

上述の点像復元処理及び鮮鋭化処理に関する具体的な処理手法として、例えば、特許文献１は、撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタとして、位相劣化成分及び振幅劣化成分のうち位相劣化成分のみを低減させる画像回復フィルタを使用して位相劣化成分を回復させるとともに、振幅劣化成分を低減させるエッジ強調フィルタを使用して振幅劣化成分を回復させる画像処理を開示する。

このように撮像系の光学伝達関数に基づいて生成又は選択された画像回復フィルタにより、位相劣化成分のみを回復させ、振幅劣化成分を回復させていない。その理由は、光学伝達関数の完全な逆数をとることにより作成された画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅し、また、所望の画質に対してノイズが許容できない場合には、回復画像にアーティファクトとしてリンギング等の弊害が発生し、さらに、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色成分ごとに回復度合が想定しているものと異なると、回復画像に色づき（偽色）が発生するからである。一方、振幅劣化成分を低減させるエッジ強調フィルタは、エッジ部のみを強調するので、エッジ以外の部分のノイズ増幅を抑制することができる。

特許文献２には、最も焦点ずれ量が小さい範囲を有する被写体領域を、ボケ修復可能な領域として抽出し、抽出した領域の画像データのボケ修復を、ボケ修復フィルタにより行う画像処理装置が開示されている。これにより、ボケ修復処理の計算負荷を低減し、回復処理を短時間により行うことができ、また、抽出した領域以外の画像データに対してはボケ修復処理を行わないことにより、ボケ修復後の画像が過回復により劣化しないようにしている。

また、特許文献３は、復元強度の異なるフィルタをエッジ強度に応じて選択することにより、復元フィルタ自体の強度をエッジ強度に応じて変えることを開示する。

特開２０１１−１２３５８９号公報 特開２０１１−２３８２３号公報 特開２００６−１２９２３６号公報

撮影シーン（被写体）や撮影条件によっては、点像復元処理により画像にアーティファクト（リンギング等）が生じることがあり、アーティファクトなどの画質劣化を防ぐために点像復元処理の復元強度を弱くせざるをえない場合がある。アーティファクトは理想的な条件下での点像復元処理では出現しないはずであるが、実際の処理では、レンズやセンサの個体ばらつき、点像復元処理よりも前段の信号処理の非線形特性等によって、入力画像の周波数特性が不正になり、アーティファクトが発生することがある。

この現象の１つとして、合焦領域から外れた画像領域に対して点像復元処理を適用すると、画質が悪くなってしまう弊害が生じることがある。

完全な非合焦領域（デフォーカス領域）においては、画像が大きくボケるため低周波成分しか残らず点像復元の影響が生じにくく弊害も生じにくい。また完全な非合焦領域（デフォーカス領域）は画像データの中から抽出することも比較的容易である。

一方、合焦領域よりも僅かに前ピン又は後ピンの領域（準合焦領域）の画像に対して、合焦領域の画像と同様に点像復元処理を行うと、ノイズなどアーティファクトが目立ってしまうという弊害が生じることが発明者らの鋭意検討の結果明らかになった。またこの弊害が生じやすい準合焦領域がどの程度の領域であるか判断し画像データの中から抽出することは、従来考えられていなかった。

特許文献１には、ピントずれが生じている領域の画像に、撮像光学系による振幅劣化を回復させる画像回復フィルタにより回復処理を行うと、エッジ部が色づいた偽色が発生するという記載がある。また、特許文献１に記載の装置は、位相劣化成分を回復させる画像回復フィルタを使用した画像処理及びエッジ強調フィルタを使用した画像処理を行っているが、ピントずれの状態に応じた回復処理を行っていない。加えて、両画像処理を相関させて画像回復度及びエッジ強調度を調整することについて、特許文献１は開示も示唆もしていない。

特許文献２に記載の装置は、最も焦点ずれ量が小さい範囲を有する被写体領域を、ボケ修復可能な領域として抽出し、抽出した領域の画像データのボケ修復を、ボケ修復フィルタにより行っている。しかし、最も焦点ずれ量が小さい範囲（合焦領域）よりも僅かに前ピン又は後ピンの領域（準合焦領域）の画像に対する、ボケ修復フィルタによるボケ修復が行われないという問題がある。また、準合焦領域の画像に対して、合焦領域の画像と同様のボケ回復処理を行うと、ノイズが目立つという課題や解決方法については、引用文献２では開示されていない。

また、特許文献３には、エッジ強度が大きい画素を復元する際には、それに対応する復元画像のリンギングが目立たないので、復元強度が高い復元フィルタを用いて画像を復元し、エッジ強度が小さい画素を復元する際には、それに対応する復元画像のリンギングが目立つので、復元強度が小さい復元フィルタを用いて画像を復元する記載がある。しかし、画像内の画素の合焦状態に応じて復元強度の異なる復元フィルタを用いる記載はない。

本発明はこのような事情に鑑みてなされたもので、光学系のＰＳＦに起因する合焦領域及び準合焦領域における劣化画像を良好に回復することができ、画像鮮鋭度を過大に変化させずに画質改善を安定的に行うことが可能な画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る発明は、光学系を用いた被写体像の撮像により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理装置であって、原画像データに対し、復元フィルタを適用することにより復元処理を行う復元処理部と、復元処理部を制御することにより、復元処理による原画像データの復元率を調整可能な鮮鋭回復制御部と、原画像データに対応する原画像内の準合焦領域を検出する準合焦領域検出部と、を備え、鮮鋭回復制御部は、準合焦領域の原画像データに対する復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくする。

本発明の一の態様によれば、原画像内の準合焦領域を検出し、検出した準合焦領域の原画像データに対する復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくすようにしたため、準合焦領域の原画像データに対する復元処理を行うことができ、かつ準合焦領域の原画像データに対する復元強度を、合焦領域の原画像データに対する復元強度よりも弱めることにより準合焦領域の原画像データが過補正にならないようにすることができる。ここで、復元率の調整は、復元処理による増減分データをゲインコントロールすることにより行う方法、増減分データをクリップ閾値により制限することにより行う方法、又は復元強度が異なる復元フィルタから適宜の復元強度の復元フィルタを選択することにより行う方法が考えられる。尚、「点拡がり関数に基づく復元フィルタ」は、光学系の点拡がり関数（ＰＳＦ）を用いて生成される逆フィルタやウィナーフィルタ等に基づく復元フィルタであり、「復元処理」はそのような復元フィルタを画像データに適用する処理を含む。また「点拡がり関数」は光学系の点光源に対する応答を表す関数であり、ＰＳＦ及びＯＴＦ（ＭＴＦ(Modulation Transfer Function）、ＰＴＦ（Phase Transfer Function））に基づいて表現可能である。

本発明の他の態様に係る画像処理装置において、鮮鋭回復制御部は、準合焦領域の原画像データに対する復元率を調整する際に、合焦領域と準合焦領域との境界の復元率を連続的に変化させることが好ましい。これにより、合焦領域と準合焦領域との境界の画像に復元強度の段差が生じないようにすることができる。尚、準合焦領域と非合焦領域との境界の復元率も連続的に変化させてもよいが、この境界の画像は、ボケが大きく、復元強度の段差が目立たないため、復元率を連続的に変化させなくてもよい。

本発明の更に他の態様に係る画像処理装置において、準合焦領域検出部は、原画像データにおける準合焦領域のデフォーカス量を検出する第１のデフォーカス量検出部を有し、鮮鋭回復制御部は、第１のデフォーカス量検出部により検出されたデフォーカス量に応じて、準合焦領域の原画像データに対する復元率を調整することが好ましい。これにより、準合焦領域内のデフォーカス量の大きさに応じて、その準合焦領域の原画像データに対する復元率を調整することにより、合焦領域から非合焦領域に至る準合焦領域の復元強度を連続的に調整することができる。

本発明の更に他の態様に係る画像処理装置において、原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部を備え、鮮鋭回復制御部は、復元処理部及び鮮鋭化処理部をそれぞれ制御することにより、復元処理による準合焦領域の原画像データの復元率、及び鮮鋭化処理による準合焦領域の原画像データの鮮鋭化率をそれぞれ調整することが好ましい。これにより、復元処理による準合焦領域の原画像データの復元率を小さくした場合、例えば、鮮鋭化処理による準合焦領域の原画像データの鮮鋭化率を、合焦領域の原画像データよりも大きくすることができ、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率を調整することができる。尚、「鮮鋭化フィルタ」は、「光学系の点拡がり関数（ＰＳＦ）から逆フィルタやウィナーフィルタを用いて生成されたフィルタ（復元フィルタ）」以外のフィルタ類を使用することが可能である。従って、「鮮鋭化フィルタ」として、例えば光学系の点拡がり関数に基づかないフィルタを好適に用いることができ、点拡がり関数以外の他の要素（パラメータ）に基づいて算出されるフィルタを「鮮鋭化フィルタ」として採用しうる。点拡がり関数に基づかない鮮鋭化フィルタとしては、点拡がり関数に基づかずに作成されたフィルタであれば、点拡がり関数が異なる絞り値等に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。同様に、点拡がり関数が異なる像高に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。また、鮮鋭化処理における鮮鋭化フィルタの強度（ゲイン）が絞り値や像高に応じて変えられてもよい。

「鮮鋭化処理」は、画像データの高周波成分を補償又は強調する処理であって、画像の輪郭成分を強調する処理である。従って、例えば輪郭強調処理、エッジ強調処理、或いはシャープネス強調処理と呼ばれる処理が、ここでいう「鮮鋭化処理」に含まれうる。尚、復元フィルタ及び鮮鋭化フィルタはＦＩＲ（Finite Impulse Response）フィルタとして構成することができる。

本発明の更に他の態様に係る画像処理装置において、鮮鋭回復制御部は、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率と、復元率及び鮮鋭化率のうちの一方とから、復元率及び鮮鋭化率のうちの他方を算出することが好ましい。これにより、トータル鮮鋭復元率を一定に保つための復元率又は鮮鋭化率を算出することができる。また、復元率及び鮮鋭化率がトータル鮮鋭復元率に基づいて定められるため、復元率の増減に応じて鮮鋭化率が調整され、或いは鮮鋭化率の増減に応じて復元率が調整される。従って、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を過大に変化させることなく、画像データの画質を安定的に改善することができる。

本発明の更に他の態様に係る画像処理装置において、鮮鋭回復制御部は、準合焦領域の原画像データに対する復元率及び鮮鋭化率をそれぞれ調整する際に、合焦領域と準合焦領域との境界の復元率及び鮮鋭化率をそれぞれ連続的に変化させることが好ましい。これにより、合焦領域と準合焦領域との境界の画像に復元強度の段差、及び鮮鋭化強度の段差が生じないようにすることができる。

本発明の更に他の態様に係る画像処理装置において、準合焦領域検出部は、原画像データにおける準合焦領域のデフォーカス量を検出する第１のデフォーカス量検出部を有し、鮮鋭回復制御部は、第１のデフォーカス量検出部により検出されたデフォーカス量に応じて、準合焦領域の原画像データに対する復元率及び鮮鋭化率をそれぞれ調整することが好ましい。これにより、準合焦領域内のデフォーカス量の大きさに応じて、その準合焦領域の原画像データに対する復元率及び鮮鋭化率を調整することにより、合焦領域から非合焦領域に至る準合焦領域の復元強度及び鮮鋭化強度を連続的に調整することができる。

本発明の更に他の態様に係る画像処理装置において、原画像データは、複数のフレームを含む動画データであり、鮮鋭回復制御部は、動画データを構成する各原画像データに対する復元率を調整する際に、処理対象の原画像データの前フレーム又は後フレームの撮影条件に応じて、復元率を調整することが好ましい。これにより、「撮影環境の急な変化」がある場合であっても、フレーム間の復元処理の連続性を維持しつつ、良好な画質の動画を取得することができる。

本発明の更に他の態様に係る画像処理装置において、光学系は、原画像データが読み出される撮像素子が搭載される撮像本体に交換可能に装着される交換レンズである。

本発明の更に他の態様に係る画像処理装置において、鮮鋭回復制御部は、装着された交換レンズから交換レンズの光学特性情報を取得することが好ましい。光学特性情報は、復元フィルタ、レンズの種類情報、又はレンズの個体差情報を含む。交換レンズの光学特性に応じて復元率を定めることができ、交換レンズの種類により光学特性情報が変動する場合であっても適切な復元率を定めることができる。

本発明の更に他の態様に係る画像処理装置において、準合焦領域検出部は、原画像データに基づいて、準合焦に対応する特定の周波数成分又は特定の周波数を含む近傍の周波数成分を、原画像内の分割領域毎に抽出する周波数成分抽出部を有し、原画像内の分割領域毎に抽出した周波数成分の大きさに基づいて原画像内の準合焦領域を検出している。復元フィルタによる過補正が目立つ特定の周波数帯域のレスポンスの大きさと、準合焦領域の画像データとは相関がある。そこで、特定の周波数成分又は特定の周波数を含む近傍の周波数成分を、原画像内の分割領域毎に抽出し、抽出した周波数成分の大きさに基づいて原画像内の準合焦領域を検出する。

本発明の更に他の態様に係る画像処理装置において、周波数成分抽出部は、原画像内の分割領域毎に、分割領域内のエッジ部を検出するエッジ部検出部を有し、検出したエッジ部の原画像データに基づいて、準合焦に対応する特定の周波数成分又は特定の周波数を含む近傍の周波数成分を、原画像内の分割領域毎に抽出することが好ましい。エッジ部が存在しない部分からは、準合焦領域に対応する適正な周波数成分を抽出することができないからである。

本発明の更に他の態様に係る画像処理装置において、周波数成分抽出部は、原画像データのサンプリング周波数をｆｓとすると、０．０５ｆｓから０．２５ｆｓの範囲内の周波数成分を、原画像内の分割領域毎に抽出し、準合焦領域検出部は、原画像内の分割領域毎に抽出した周波数成分の大きさが、合焦領域のレスポンスを１とすると、０．２と０．７のレスポンスにそれぞれ対応する下限値と上限値の範囲に入るか否かに応じて、原画像内の準合焦領域を検出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、原画像データに対応する原画像内の分割領域毎の被写体距離と、原画像データの撮像時の撮影条件とを取得する取得部を備え、準合焦領域検出部は、取得した撮像範囲内の領域毎の被写体距離と、取得した撮影条件により決定される被写界深度とに基づいて、原画像内の準合焦領域を検出する。被写界深度は、撮像時の撮影条件（焦点距離、絞り値、撮影距離、許容錯乱円）により決定される。このようにして決定された被写界深度内の被写体距離に対応する領域は、合焦領域であり、この被写界深度の前後の所定の被写体距離の範囲に対応する領域を、準合焦領域として検出している。所定の被写体距離の範囲としては、例えば、後方被写界深度の２倍、前方被写界深度の２倍の範囲とすることができるが、これに限定されない。

本発明の更に他の態様に係る撮像装置は、上記の画像処理装置と、光学系を用いた被写体像の撮像により原画像データを取得する撮像部と、撮像部による撮像範囲内の全領域のデフォーカス量を検出する第２のデフォーカス量検出部と、を備え、準合焦領域検出部は、第２のデフォーカス量検出部により検出された撮像範囲内の全領域のデフォーカス量に基づいて、原画像内の準合焦領域を検出することが好ましい。合焦領域のデフォーカス量（ピントずれ量）は、ゼロ又は略ゼロであり、デフォーカス量と合焦状態とは相関関係がある。従って、撮像範囲内の全領域のデフォーカス量を検出することにより、検出したデフォーカス量の絶対値が、合焦領域のデフォーカス量の絶対値よりも大きく、非合焦領域のデフォーカス量の絶対値よりも小さい範囲に対応する領域を、準合焦領域として検出することができる。

本発明の更に他の態様に係る撮像装置は、上記の画像処理装置を備えて構成されている。

本発明の更に他の態様に係る発明は、光学系を用いた被写体像の撮像により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理方法であって、原画像データに対し、復元フィルタを適用することにより復元処理を行うステップと、復元処理による原画像データの復元率を調整するステップと、原画像データに対応する原画像内の準合焦領域を検出するステップと、を含み、復元率を調整するステップは、準合焦領域の原画像データに対する復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくする。

本発明の更に他の態様に係る発明は、光学系を用いた被写体像の撮像により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理プログラムであって、原画像データに対し、復元フィルタを適用することにより復元処理を行うステップと、原画像データに対応する原画像内の準合焦領域を検出するステップと、復元処理による原画像データの復元率を調整するステップであって、検出した準合焦領域の原画像データに対する復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくするステップと、をコンピュータに実行させる。

本発明によれば、原画像内の準合焦領域を検出し、検出した準合焦領域の原画像データに対する復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくすようにしたため、準合焦領域の原画像データに対する復元処理が過補正にならないようにすることができ、かつ準合焦領域の原画像データの画質の向上を図ることができる。

コンピュータに接続されるデジタルカメラを示すブロック図である。 本体コントローラの構成例を示すブロック図である。 画像処理部の構成例を示すブロック図であり、とりわけ点像復元処理に係る構成を示す。 第１実施形態に係る点像復元処理を行う処理ブロックの構成を示す図である。 被写体距離が連続して変化している被写体を撮影した画像の一例を示す図である。 図５に示した画像内の合焦領域、準合焦領域、及び非合焦領域の画像の拡大図である。 ＩＳＯ解像度チャートをマニュアルフォーカスにより合焦位置から順次ピントをずらして撮影した各画像から得られた、サンプリング周波数［ｆｓ］とレスポンス［ＳＦＲ］との関係を示すグラフである。 準合焦領域を検出する準合焦領域検出部の第１実施形態を示すブロック図である。 レスポンス［ＳＦＲ］と、帯域通過フィルタ（ＢＰＦ１）、狭帯域通過フィルタ（ＢＰＦ２）の出力値との関係を示す図表である。 帯域通過フィルタ（ＢＰＦ１）の出力の積算値Ｄにより準合焦領域を判定する態様を示す図である。 本発明に係る点像復元処理と他の方式の点像復元処理との比較例を示す図である。 、強度自動調整部による準合焦領域の原画像データに対する復元率（復元強度倍率Ｕ）の調整のバリエーションを示す図である。 ８×８の６４個の分割領域に分割した原画像を示す図である。 原画像の分割領域毎に取得されるＡＦ評価値の一例を示す図である。 図１３に示した８個の分割領域Ａ_１４〜Ａ_８４の画像位置と、分割領域Ａ_１４〜Ａ_８４の各被写体の被写体距離との関係を示す図である。 準合焦領域Ａ、Ｃ及び合焦領域Ｂと、これらに対応する被写体距離との関係を示す図表である。 準合焦の定義２に対応して準合焦領域を検出する準合焦領域検出部のブロック図である。 位相差画素の構成例を示す図である。 準合焦の定義３に対応して準合焦領域を検出する準合焦領域検出部のブロック図である。 画像処理部の構成例を示すブロック図であり、とりわけ点像復元処理及び鮮鋭化処理に係る構成を示す。 点像復元強度及び鮮鋭化強度の調整を説明するための概念図である。 第２実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第３実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第４実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 画像処理の周波数特性を例示する図であり、（ａ）は点像復元処理（点像復元フィルタ処理部）における「周波数−ゲイン」関係例を示し、（ｂ）は鮮鋭化処理（輪郭強調フィルタ処理部）における「周波数−ゲイン」関係例を示し、（ｃ）は鮮鋭化処理及び点像復元処理全体における「周波数−ゲイン」関係例を示す。 第５実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第６実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第７実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 処理対象フレームと参照フレームの一例を説明する図である。 復元調整部が行う復元処理の内容の調整に関する例を説明する図である。 復元調整部が行う復元処理の内容の調整に関する例を説明する図である。 最頻値を決定する場合の復元調整部の動作フローを示した図である。 第８実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第９実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 一変形例に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 スマートフォンの外観を示す図である。 図３６に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する場合について説明する。

図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。本例のデジタルカメラ１０においては、撮像素子２６が搭載されるカメラ本体（撮像本体）１４にレンズユニット（光学系）１２が交換可能に装着され、カメラ本体１４に画像処理装置が設けられている。

即ち、デジタルカメラ１０は、交換レンズであるレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２と撮像素子２６とによりデジタルカメラ１０の撮像部が構成され、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とが電気的に接続される。

レンズユニット１２は、レンズ１６及び絞り１７（光学系）と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、各種の情報（光学系情報等）を記憶するレンズユニット記憶部２１と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、カメラ本体１４からレンズユニット入出力部２２を介して送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。またレンズユニットコントローラ２０は、カメラ本体１４からレンズユニット入出力部２２を介して送られてくる制御信号に基づき、レンズユニット記憶部２１に記憶される各種情報を読み出してカメラ本体１４（本体コントローラ２８）に送信する。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタと、イメージセンサ（フォトダイオード；ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等）とを有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）を本体コントローラ２８に送る。

本体コントローラ２８は、詳細については後述するが（図２参照）、デジタルカメラ１０の各部を統括的に制御するデバイス制御部としての機能と、撮像素子２６から送られてくる画像データの画像処理を行う画像処理部としての機能とを有する。

デジタルカメラ１０は、更に撮影等に必要なその他の機器類（シャッター等）を具備し、それらの機器類の一部はユーザによって確認及び操作可能なユーザインターフェース２９を構成する。ユーザインターフェース２９は、レンズユニット１２及び／又はカメラ本体１４に配置可能であり、図１に示す例ではカメラ本体１４にユーザインターフェース２９が設けられている。ユーザは、ユーザインターフェース２９を介し、撮影等のための各種設定（ＥＶ値（Exposure Value）等）の決定及び変更、撮影指示、ライブビュー画像及び撮影画像の確認等を行うことができる。ユーザインターフェース２９は、本体コントローラ２８に接続され、ユーザによって決定及び変更された各種設定及び各種指示が本体コントローラ２８における各種処理（デバイス制御処理、や画像処理等）に反映される。

本体コントローラ２８において、画像処理された画像データは、カメラ本体１４に設けられる本体記憶部３１に記憶され、必要に応じて入出力インターフェース３２を介してコンピュータ９２等に送られる。本体記憶部３１は任意のメモリ体によって構成され、メモリカード等の交換可能メモリが好適に用いられる。本体コントローラ２８から出力される画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）等の任意のフォーマットとしうる。また本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。

コンピュータ９２は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部９３を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ９４は、コンピュータ９２を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット９６等のネットワーク回線を介してコンピュータ入出力部９３に接続されるサーバ９７等との通信を制御する。コンピュータ９２はディスプレイ９５を有し、コンピュータコントローラ９４における処理内容等が必要に応じてディスプレイ９５に表示される。ユーザは、ディスプレイ９５の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ９４にデータやコマンドを入力可能である。これによりユーザは、コンピュータ９２や、コンピュータ９２に接続される機器類（デジタルカメラ１０、サーバ９７）を制御可能である。

サーバ９７は、サーバ入出力部９８及びサーバコントローラ９９を有する。サーバ入出力部９８は、コンピュータ９２等の外部機器類との送受信接続部を構成し、インターネット９６等のネットワーク回線を介してコンピュータ９２のコンピュータ入出力部９３に接続される。サーバコントローラ９９は、コンピュータ９２からの制御指示信号に応じ、コンピュータコントローラ９４と協働し、コンピュータコントローラ９４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ９２にダウンロードし、演算処理を行ってその演算結果をコンピュータ９２に送信する。

各コントローラ（レンズユニットコントローラ２０、本体コントローラ２８、コンピュータコントローラ９４、サーバコントローラ９９）は、制御処理に必要な回路類を有し、例えば、中央処理装置（ＣＰＵ（Central Processing Unit）等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ９２及びサーバ９７間の通信は、有線であってもよいし無線であってもよい。また、コンピュータ９２及びサーバ９７を一体的に構成してもよく、またコンピュータ９２及び／又はサーバ９７が省略されてもよい。また、デジタルカメラ１０にサーバ９７との通信機能を持たせ、デジタルカメラ１０とサーバ９７との間で直接的にデータ類の送受信が行われるようにしてもよい。

図２は、本体コントローラ２８の構成例を示すブロック図である。本体コントローラ２８は、デバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。

デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を本体記憶部３１に記憶し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ９２等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、表示部（ＥＶＦ：Electronic View Finder、背面液晶表示部：ユーザインターフェース２９）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行う。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。特に本例の画像処理部３５は、画像信号（画像データ）に対して、光学系の点拡がり関数に基づく復元処理（点像復元処理）と、点拡がり関数には基づかない鮮鋭化処理（輪郭強調処理）とを行う。

図３は、画像処理部３５の構成例を示すブロック図であり、とりわけ点像復元処理に係る構成を示す。

本例の画像処理部３５は、鮮鋭回復制御部３７、及び復元処理部３８を有する。

復元処理部３８は、光学系（レンズ１６等）を用いた被写体の撮影により撮像素子２６から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う。復元フィルタは、ＰＳＦ劣化を回復するためのフィルタであり、例えばウィナーフィルタを復元フィルタとして好適に使用できる。尚、復元フィルタに関し、画像全体において単一のフィルタが用意されていてもよいし、画像内の位置毎（像高毎）に異なるフィルタが用意されていてもよい。

鮮鋭回復制御部３７は、復元処理部３８を制御し、復元処理による画像データの復元率による画像データの鮮鋭化率を調整する。この復元率の調整に関して、本例の鮮鋭回復制御部３７は、原画像データに対応する原画像内の合焦領域、準合焦領域、及び非合焦領域に応じて復元率を調整する。

ここで、原画像内の合焦領域とは、合焦制御された主要被写体等が存在する領域であり、物体面上の点を撮影したときに像面上の点として許容しうる範囲（許容錯乱円）として結像する領域をいい、ピントが合っているとみなされる領域をいう。デジタルカメラの場合、一般に撮像素子の１画素のサイズが、許容錯乱円の大きさとして用いられる。

準合焦領域とは、上記合焦領域と非合焦領域との中間の領域をいい、復元処理を行うと、解像度が向上するが、合焦領域と同様の復元処理を行うと、過補正により画質が劣化するおそれがある領域である。尚、準合焦領域の詳細については後述する。

非合焦領域は、復元処理を行っても解像度が向上せず、過補正による画質劣化も少ない領域であり、復元処理の効果が得られない領域である。

また、点像復元処理は、撮影シーン（被写体）次第では誤補正によってアーティファクト（リンギング等）などを招くことがある。更に、撮影条件に応じて異なる復元フィルタを使用する場合、点像復元処理後の画像の復元率にばらつきが生じることがある。

以下の実施形態は、点像復元処理時に上述の過補正や誤補正を効果的に防ぎ、光学系の点拡がり現象によって損なわれた画質を回復して鮮明な画像を得る技術に関する。

＜第１実施形態＞
本実施形態に係る鮮鋭回復制御部３７は、点像復元処理における復元率を調整する。

図４は、第１実施形態に係る点像復元処理を行う処理ブロックの構成を示す図である。

復元処理部３８は、点像復元フィルタ処理部４２、復元乗算器４３及び復元加算器４４を含む。点像復元フィルタ処理部４２は、光学系（レンズ１６等）の点拡がり関数に対応する復元フィルタを入力画像データに適用する。

復元乗算器４３は、点像復元フィルタ処理部４２において得られた画像データに対して復元強度倍率Ｕの乗算を行いゲインコントロールを行う。復元加算器４４は、入力画像データに対して倍率（１−Ｕ）を乗算し、復元強度倍率Ｕが乗算された画像データと加算する。点像復元処理は、これらの点像復元フィルタ処理部４２、復元乗算器４３及び復元加算器４４における一連の処理によって構成される。

尚、復元処理部３８は、任意の手法により復元強度倍率Ｕを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えば、点像復元フィルタ処理部４２において光学系の点拡がり関数に対応する復元フィルタを入力画像データに適用した後、画像の増減分データを算出し、復元乗算器４３において増減分データのゲインコントロールを行い、増減分データ及び復元強度倍率Ｕの乗算を行う。その後、復元加算器４４にて、点像復元フィルタ処理部４２に入力される前の画像データ（入力画像）と、復元強度倍率Ｕが乗算された増減分データとの加算を行うようにしてもよい。

また、復元処理部３８は、後述する鮮鋭回復制御部３７から復元フィルタ及び復元強度倍率Ｕを入力する代わりに、復元率に対応する復元フィルタ（復元強度が異なる複数の復元フィルタから適宜選択した復元フィルタ）を入力し、これにより復元率の調整を可能にしたものを含む。

鮮鋭回復制御部３７は、強度自動調整部５２、及び復元フィルタ選択部５３を含む。復元フィルタ選択部５３は、画像データの撮影に用いられた光学系（レンズ１６等）の点拡がり関数に基づく復元フィルタＸを、撮影設定条件Ｓ（ズーム段、Ｆ値、被写体距離等）に基づいて復元フィルタ記憶部５８から選択する。そして、復元フィルタ選択部５３は、選択した復元フィルタＸを、強度自動調整部５２と復元処理部３８の点像復元フィルタ処理部４２とに送信する。点像復元フィルタ処理部４２は、復元フィルタ選択部５３から送られてくる復元フィルタＸを入力画像に適用する。

復元フィルタ記憶部５８は、複数の光学系（レンズ１６等）の点拡がり関数に基づく複数の復元フィルタを撮影設定条件毎に記憶する。尚、復元フィルタ記憶部５８は、カメラ本体１４に設けられてもよいし、レンズユニット１２に設けられてもよい。

強度自動調整部５２は、後述する準合焦領域検出部５０からの原画像内の準合焦領域を示す情報に基づいて、点像復元回復率（復元率）Ｇに応じた復元強度倍率Ｕを決定する（ただし、「復元強度倍率Ｕ≧０」）。そして、強度自動調整部５２は、決定した復元強度倍率Ｕを復元乗算器４３に送信する。復元強度倍率Ｕは、復元処理部３８における強度調整パラメータであり、復元乗算器４３は、強度自動調整部５２から送られてくる復元強度倍率Ｕを使用して乗算処理を行う。

尚、強度自動調整部５２は、点像復元フィルタ処理部４２により使用されるフィルタの周波数特性を取得する。例えば、点像復元フィルタ処理部４２により使用される復元フィルタＸは、復元フィルタ選択部５３から強度自動調整部５２に送られる。

鮮鋭回復制御部３７による復元フィルタＸ、及び復元強度倍率Ｕの決定は、例えば以下のフローに従って行うことができる。

まず、撮影設定条件Ｓが本体コントローラ２８によって取得され、その撮影設定条件Ｓに対応する復元フィルタＸが復元フィルタ選択部５３によって選択される。復元フィルタＸは、撮影設定条件Ｓに対応する光学系（レンズ１６等）のＰＳＦに基づく画像劣化の程度を最小二乗基準によって最小化するように設計され、復元フィルタＸの理想的な周波数特性は、ウィナーフィルタ特性によって設計可能である。本例では、復元フィルタＸの理想的な周波数特性が決定された後、その周波数特性を反映したＦＩＲフィルタが復元フィルタＸとして決定される。尚、復元フィルタＸは実空間フィルタ及び周波数空間フィルタのいずれであってもよく、複数タップによって構成される実空間フィルタによって復元フィルタＸを構成する場合、理想的な周波数特性を所望タップ数により実現可能な範囲により最良に近似したＦＩＲフィルタを復元フィルタＸとすることが好ましい。また、一般にＰＳＦの形状は像高によって異なるため、復元フィルタＸは画像内の像高に応じて異なる周波数特性を持つことが望ましい。従って、画像内位置に応じて定められる複数の復元フィルタによって構成されるセットを広義には「復元フィルタＸ」と呼称し、画像内の座標（ｉ，ｊ）の位置（画素）に適用される復元フィルタを「Ｘ_ｉ，ｊ」と表記する。

上述のように復元フィルタＸは、画像データの撮影における撮影設定条件Ｓに基づいて決定されるが、この撮影設定条件Ｓは「点拡がり関数に影響する設定条件」及び「点拡がり関数に影響を及ぼさない撮影条件」を含みうる。「設定条件」は、例えば絞り情報、ズーム情報、被写体距離情報、及び光学系が有するレンズ種類情報のうち少なくともいずれか１つを含みうる。また「撮影条件」は、撮影感度情報及び撮影モード情報のうち少なくともいずれか１つを含みうる。

尚、撮影設定条件Ｓは任意の方式により復元フィルタ選択部５３に入力可能であり、本体コントローラ２８のデバイス制御部３４及び画像処理部３５のうち撮影設定条件Ｓを管理する制御処理部（図示せず）から復元フィルタ選択部５３に撮影設定条件Ｓが適宜送信される。

一方、点像復元回復率Ｇは、復元処理部３８における画像処理の前に、予めユーザによって指定される。ユーザによる点像復元回復率Ｇの指定方法は特に限定されず、例えば点像復元回復率Ｇを指定するためのスライダ等の調整手段をユーザインターフェース２９（背面表示部等）に表示し、ユーザがその調整手段を介した操作を行うことにより点像復元回復率Ｇを簡易に定めることも可能である。点像復元回復率Ｇが０（ゼロ）の場合は、点像復元処理がオフにされていることに相当する。この点像復元処理における復元強度倍率Ｕは、連続的な値をとるように変化してもよいし、離散的な値をとるように変化してもよいし、オン／オフ（所定倍率か「０（ゼロ）」か）により変化してもよく、復元強度倍率Ｕを任意の方式により変更可能な処理回路等を実装することが可能である。

点像復元回復率Ｇの決め方は、ユーザによる指定に限定されず、任意の情報に基づいて点像復元回復率Ｇが算出決定されてもよい。即ち、鮮鋭回復制御部３７（強度自動調整部５２）は、ユーザが指定する指定回復率に基づいて点像復元回復率（復元率）Ｇを定めてもよいし、光学系の特性を表す光学特性情報に基づいて定められる点像復元回復率Ｇを用いてもよい。ここでいう「光学特性情報」は、光学系が有するレンズ１６の種類情報、光学系の個体差情報、その他の撮影設定条件等を含みうる。また、光学系の光学特性が反映された点像復元回復率Ｇ自体が「光学特性情報」に含まれていてもよい。この光学特性情報は任意の記憶部に記憶され、例えばレンズユニット１２の記憶部（光学系記憶部）に光学特性情報が記憶されてもよいし、カメラ本体１４の記憶部（本体記憶部）に光学特性情報が記憶されてもよい。従って、鮮鋭回復制御部３７（本体コントローラ２８）等において、点像復元回復率Ｇは、記憶部（光学系記憶部、本体記憶部）に記憶される光学特性情報に基づいて定められてもよい。

また、点像復元回復率Ｇの値は撮影設定条件Ｓに依存してもよく、撮影設定条件Ｓに応じて異なる値の点像復元回復率Ｇが鮮鋭回復制御部３７（本体コントローラ２８）等によって選択されてもよい。この場合、例えば絞り値に依存して発生の程度が変化するアーティファクトを抑えるために、意図的に、特定の絞り値（撮影設定条件Ｓ）においては点像復元回復率Ｇを相対的に低く設定してもよい。

復元フィルタＸ_ｉ，ｊ（点像復元処理における復元成分を抽出するためのフィルタ）の周波数特性を「ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）」とする。この場合、復元処理部３８の周波数特性は、以下の式１によって表される。

「Ｆ（ω_ｘ，ω_ｙ｜Ｕ，ｘ_ｉ，ｊ）」は、復元強度倍率Ｕ，周波数特性ｘ_ｉ，ｊをパラメータとした、（ω_ｘ，ω_ｙ）（ｘ方向及びｙ方向に関する周波数）についての関数を示し、この関数は画像処理システムの構成に依存して決定される。

一方、点像復元処理の強度調整（復元乗算器４３において用いられる復元強度倍率Ｕの決定）は、準合焦領域検出部５０からの原画像内の準合焦領域を示す情報に基づいて、準合焦領域の原画像データに対する復元率が、合焦領域の原画像データに対する復元率よりも小さくなるように調整される。具体的には、合焦領域の原画像データに対する復元強度倍率Ｕを１．０とすると、準合焦領域の原画像データに対する復元強度倍率Ｕを、０＜Ｕ＜１．０にする。

これにより、準合焦領域の原画像データに対する復元強度を、合焦領域の原画像データに対する復元強度よりも弱くし、準合焦領域の原画像データの解像度の向上を図りつつ、過補正にならないようにすることでき、良好な回復画像データを得ることができる。

＜準合焦領域＞
次に、合焦領域、準合焦領域、及び非合焦領域について説明する。

図５は、被写体距離が連続して変化している被写体を撮影した画像の一例を示している。

図５において、枠Ｆ１、Ｆ２、及びＦ３により囲まれた領域は、それぞれ合焦領域、準合焦領域、及び非合焦領域を示している。枠Ｆ２により囲まれた準合焦領域は、合焦領域の被写体距離と非合焦領域の被写体距離との中間の被写体距離を有する領域である。尚、図５上においては、枠を大きく描画したため、枠Ｆ１と枠Ｆ２との一部が重複しているが、本例では、合焦領域と準合焦領域とが重複することはない。また、枠Ｆ１によって示した合焦領域よりも、図５上において手前側にも準合焦領域は存在する。

図６（ａ）、図（ｂ）及び図（ｃ）は、それぞれ図５に示した合焦領域、準合焦領域、及び非合焦領域の画像の拡大図である。

図６（ａ）に示す合焦領域の原画像データに対して、前述したように撮影設定条件等により選択した復元フィルタＸを使用し、復元強度倍率Ｕを１．０とすると、光学系１２の点拡がり関数に対応して劣化した画像を、良好に回復させることができ、合焦領域の画像をより鮮明にすることができる。

一方、図６（ｂ）に示す準合焦領域の原画像データに対して、合焦領域の原画像データと同様の復元処理を行うと、画像にノイズが表れ、却って画質が劣化する（過補正になる）。従って、準合焦領域の原画像データに対しては、復元処理をオフにし、過補正を防止することも考えられるが、準合焦領域の原画像データにも画像のエッジ部が存在するため、そのエッジ部を回復させる復元処理を行うことが望ましい。

そこで、本発明は、準合焦領域の原画像データに対する復元率を調整することにより、合焦領域の原画像データに対する復元率よりも小さくし、準合焦領域の原画像データに対する復元処理が過補正にならないようにし、かつ復元処理により準合焦領域の原画像データの画質の向上を図るようにしている。

図６（ｃ）に示す非合焦領域の原画像データは、エッジ部が存在しないため、復元処理による画質の向上を図ることができないが、復元処理を行っても準合焦領域の画像データのような画質の劣化は目立たない。

＜準合焦の定義１＞
ＩＳＯ解像度チャート（１６Ｍデータ）をマニュアルフォーカスによって合焦位置から順次ピントをずらし（デフォーカス量をゼロから順次大きくし）、レスポンス（ＳＦＲ：Spatial Frequency Response)の特徴と、点像復元処理により発生する「ボソボソ」とした感じのノイズが気になる箇所から、「準合焦」を定義した。

図７に示すグラフは、横軸がサンプリング周波数［ｆｓ］、縦軸がレスポンス［ＳＦＲ］を示している。尚、グラフの横軸のサンプリング周波数［ｆｓ］に代えて、テレビジョン画面の水平表示解像度（ＴＶ本）によって表してもよく、この場合、ｆｓに６５２８を掛けることにより、ＴＶ本に換算することができる。

また、図７に示すグラフａは、ジャストピントの画像の特徴を示し、グラフｂは、ジャストピントから僅かにピントがずれているが、被写界深度内の画像の特徴を示し、グラフｃは、「準合焦」の画像の特徴（点像復元処理時に「ボソボソ」が気になる）を示し、グラフｄは、非合焦の画像の特徴を示している。

ここで、ナイキスト周波数ｆｎ（０．５ｆｓ：３２６４ＴＶ本）〜０．２５ｆｓ（１６３２ＴＶ本）の周波数帯域、及び０．０５ｆｓ（３２６ＴＶ本）未満の周波数帯域においては、レスポンスが低くても、エッジ部において「ボソボソ」とした感じのノイズが表れなかった。

そこで、０．０５ｆｓ（３２６ＴＶ本）から０．２５ｆｓ（１６３２ＴＶ本）の範囲内の周波数を、「準合焦」を判定するために抽出すべき周波数と定義し、その周波数のレスポンスが、０．２〜０．７（即ち、図７の斜線によって示した範囲）に入る画像を、「準合焦」の画像と定義する。尚、「準合焦」を判定するために抽出すべき周波数は、０．１ｆｓ〜０．２ｆｓがより好ましく、そのとき「準合焦」と判定するレスポンスの範囲は、０．２５〜０．５５がより好ましく、０．３〜０．４５が更に好ましい。

［準合焦領域検出部の第１実施形態］
次に、図４に示した準合焦領域検出部５０の第１実施形態について説明する。

図８は、上記準合焦の定義１に対応して準合焦領域を検出する準合焦領域検出部５０の第１実施形態を示すブロック図である。第１実施形態の準合焦領域検出部５０は、帯域通過フィルタ（ＢＰＦ１）５０ａと、積算部５０ｂと、判定部５０ｃとから構成されている。

周波数成分抽出部の一形態である帯域通過フィルタ５０ａは、原画像データ（入力画像）の周波数成分のうち、特定の周波数を含む近傍の周波数成分（具体的には、０．０５ｆｓ（３２６ＴＶ本）から０．２５ｆｓ（１６３２ＴＶ本）の周波数成分）を通過させる。積算部５０ｂは、帯域通過フィルタ５０ａから入力する周波数成分の絶対値を、原画像を８×８、あるいは１６×１６に画面分割した分割領域毎に積算し、積算した積算値Ｄを判定部５０ｃに出力する。

判定部５０ｃは、分割領域毎に入力する積算値Ｄの大きさに基づいて、各分割領域が準合焦領域か否かを判定する。

いま、図９に示すようにレスポンスが１．０、０．７及び０．２にそれぞれ対応する合焦状態のＩＳＯ解像度チャートを撮像したときの、準合焦領域検出部５０の積算部５０ｂから出力される積算値Ｄが、それぞれ値Ａ、Ｂ、Ｃになる場合、０．２と０．７のレスポンスにそれぞれ対応する上記値Ｂ、Ｃを、準合焦領域か否かを判定するための上限値Ｂ、下限値Ｃとして取得しておく。

判定部５０ｃは、原画像の分割領域毎に入力する積算値Ｄが、図１０に示すように上限値Ｂと下限値Ｃの範囲に入るか否かに応じて、その分割領域が準合焦領域か否かを判定する。原画像のＢＰＦ１の出力の積算値Ｄが図中に示されている。

また、判定部５０ｃは、原画像の分割領域毎に入力する積算値Ｄが、上限値Ｂを越えている場合には、その分割領域は合焦領域と判定することができ、下限値Ｃを下回っている場合には、その分割領域は非合焦領域と判定することができる。

尚、準合焦領域検出部５０は、帯域通過フィルタ５０ａの代わりに、特定の周波数（例えば、中心周波数が約１／８ｆｓ）を通過させる狭帯域通過フィルタ（ＢＰＦ２）を、周波数成分抽出部として使用してもよい。この狭帯域通過フィルタ（ＢＰＦ２）を使用する場合、図９に示すように、準合焦領域か否かを判定するための上限値ｂ、下限値ｃを取得しておく必要がある。即ち、ＩＳＯ解像度チャートを撮像したときの、準合焦領域検出部５０の積算部５０ｂから出力される積算値Ｄが、それぞれ値ａ、ｂ、ｃの場合、０．２と０．７のレスポンスにそれぞれ対応する値ｂ、ｃを、準合焦領域か否かを判定するための上限値ｂ、下限値ｃとして取得する。

また、帯域通過フィルタ５０ａ等の周波数成分抽出部は、原画像内の分割領域毎に、分割領域内のエッジ部を検出するエッジ部検出部を備え、エッジ部が検出された分割領域の原画像データから所望の周波数成分を抽出することが好ましい。エッジ部が存在しない分割領域の画像データからは、準合焦領域等の判別ができないからである。

なお、上述した分割領域の設定は一例でありこれに限られない。分割領域ごとに周波数成分が抽出できればどのように設定してもよい。

図１１は、本発明に係る点像復元処理と他の方式の点像復元処理との比較例を示す図である。

本発明は、前述したように準合焦領域の原画像データに対して、復元処理をオンにするが、復元率を合焦領域の原画像データよりも低くし（復元強度を弱くし）、これにより準合焦領域の原画像データを回復させつつ、過補正にならないようにしている。

一方、合焦領域の原画像データと同様に準合焦領域の原画像データを復元処理するＡ方式の場合、準合焦領域の画像データが過補正になり、画質が劣化する。また、合焦領域の原画像データのみを復元処理するＢ方式の場合、準合焦領域の原画像データが回復されず、解像度が不足する。

図１２は、強度自動調整部５２による準合焦領域の原画像データに対する復元率（復元強度倍率Ｕ）の調整のバリエーションを示す図である。

強度自動調整部５２は、図１２の実線ａに示すように、準合焦領域の原画像データに対する復元強度倍率Ｕを、合焦領域の原画像データに対する復元強度倍率Ｕよりも低い一定値（例えば、合焦領域の原画像データに対する復元強度倍率Ｕの約２分の１）に調整することができる。

この場合、非合焦領域と準合焦領域との境界、及び準合焦領域と合焦領域との境界の復元率（復元強度倍率Ｕ）が段階的に大きく変化し、これらの境界の原画像データに復元強度の段差が生じる。そこで、強度自動調整部５２は、図１２の一点鎖線ｂによって示すように、これらの境界の復元強度倍率Ｕを連続的に変化させ、境界の原画像データに復元強度の段差が生じないようにすることが好ましい。尚、非合焦領域と準合焦領域との境界の復元強度の段差は、目立たないため、準合焦領域と合焦領域との境界の復元強度倍率Ｕのみを連続的に変化させるようにしてもよい。

また、強度自動調整部５２は、図１２の破線ｃに示すように、準合焦領域の原画像データに対する復元強度倍率Ｕを、準合焦領域のレスポンスの大きさに応じて、非合焦領域から合焦領域まで連続的に変化させることができる。尚、準合焦領域のレスポンスの大きさは、準合焦領域検出部５０の積算部５０ｂ（図８）により積算した積算値Ｄの大きさにより求めることができる。

これによれば、非合焦から合焦までの範囲にわたってレスポンスが変化する準合焦領域の原画像データに対して、連続的に復元強度を変化させることができる。尚、準合焦領域のレスポンスの大きさは、デフォーカス量（ピントずれ量）に相当するため、準合焦領域検出部５０の積算部５０ｂは、デフォーカス量検出部（第１のデフォーカス量検出部）として機能し得る。

また、準合焦領域内のデフォーカス量は、後述する位相差画素の出力信号の位相差に基づいて算出することができる。

また、強度自動調整部５２は、非合焦領域の原画像データに対しては、復元強度倍率Ｕをゼロ（点像復元処理をオフ）にすることができるが、図１２の二点鎖線ｄに示すように非合焦の度合いが大きくなるにしたがって、復元強度倍率Ｕを大きくしてもよい。非合焦の度合いが大きくなるにしたがって、復元処理による原画像データに対する画質の劣化の影響が低下するからである。

＜準合焦の定義２＞
原画像データの撮像時の撮影条件（絞り値、焦点距離、撮影距離）と、原画像データに対応する原画像内の分割領域毎の被写体距離とを取得し、取得した撮影条件により決定される被写界深度（合焦範囲）を越える一定範囲を準合焦と定義し、この範囲内の被写体距離を有する分割領域を準合焦領域とする。

次に、原画像内の分割領域毎の被写体距離を取得する方法の一例について説明する。

図１３は、原画像を８×８の６４個の領域（分割領域Ａ_１１〜Ａ_８８）に分割した原画像を示している。まず、分割領域Ａ_１１〜Ａ_８８に対応する原画像データから、コントラストＡＦ（オートフォーカス）において使用されるＡＦ評価値を、分割領域Ａ_１１〜Ａ_８８毎に算出する。即ち、レンズ１６を至近から無限遠に対応するレンズ移動範囲にわたって移動（ＡＦサーチ）させ、所定のレンズ位置毎に原画像データを取得する。そして、取得した原画像データの高周波成分をハイパスフィルタにより抽出し、抽出した高周波成分の絶対値の積算値を、ＡＦ評価値として取得する。

図１４は、分割領域Ａ_１１〜Ａ_８８毎に取得されるＡＦ評価値の一例を示す図である。

各分割領域Ａ_１１〜Ａ_８８から取得されるＡＦ評価値の、それぞれのピーク値が得られるときのレンズ位置は、各分割領域Ａ_１１〜Ａ_８８の被写体距離に対応するため、ＡＦ評価値がピーク値となるレンズ位置から分割領域Ａ_１１〜Ａ_８８の被写体距離を求めることができる。

尚、分割領域Ａ_４４がＡＦ領域として設定されている場合、分割領域Ａ_４４から取得されるＡＦ評価値がピーク値となるレンズ位置（合焦位置）にレンズ１６を移動させることにより、コントラストＡＦを行うことができ、また、合焦位置のレンズ位置から撮影距離を求めることができる。

図１５は、ＡＦ領域である分割領域Ａ_４４を含む縦方向の８個の分割領域Ａ_１４〜Ａ_８４内の被写体の被写体距離を示す図である。

図１５において、領域Ａ，Ｃは準合焦領域であり、領域Ｂは合焦領域である。尚、準合焦領域Ａよりも遠側の領域、及び準合焦領域Ｃよりも近側の領域は、非合焦領域である。

分割領域Ａ_４４がＡＦ領域であるため、分割領域Ａ_４４は、合焦位置の被写体距離に対応しており、合焦領域Ｂに入っている。

ここで、合焦領域Ｂは、原画像の撮影時の撮影条件により決定される被写界深度に対応する。具体的には、焦点距離ｆが２３ｍｍ、絞り値ＦがＦ５．６、合焦位置の被写体距離（撮影距離）Ｌが１００ｃｍとなる撮影条件の場合、許容錯乱円の直径δを０．０１５ｍｍにおいて計算すると、被写界深度（＝前方被写界深度＋後方被写界深度）は、以下のようになる。

前方被写界深度＝（δ×Ｆ×Ｌ^２）／（ｆ^２＋δ×Ｆ×Ｌ）≒１３［ｃｍ］
後方被写界深度＝（δ×Ｆ×Ｌ^２）／（ｆ^２−δ×Ｆ×Ｌ）≒１８［ｃｍ］
そして、合焦領域Ｂよりも遠側の準合焦領域Ａは、後方被写界深度を越える一定範囲（例えば、焦後方被写界深度の２倍の範囲）とし、同様に合焦領域Ｂよりも近側の準合焦領域Ｃは、前方被写界深度を越える一定範囲（例えば、前方被写界深度の２倍の範囲）として定義することができる。

上記の準合焦領域Ａ、Ｃ、及び合焦領域Ｂと、これらに対応する被写体距離とをまとめると、図１６に示すようになる。

［準合焦領域検出部の第２実施形態］
次に、図４に示した準合焦領域検出部５０に代わる第２実施形態の準合焦領域検出部５０−２について説明する。

図１７は、上記準合焦の定義２に対応して準合焦領域を検出する準合焦領域検出部５０−２のブロック図である。第２実施形態の準合焦領域検出部５０−２は、原画像データに対応する原画像内の分割領域毎の被写体距離と、原画像データの撮像時の撮影条件とを取得する取得部の一形態に相当する被写体距離取得部５０−２ａ及び被写界深度算出部５０−２ｂと、判定部５０−２ｃとから構成されている。

被写体距離取得部５０−２ａは、原画像の分割領域毎の被写体距離を取得する。分割領域毎の被写体距離は、前述したようにコントラストＡＦ時に取得される分割領域毎のＡＦ評価値のピーク値に対応するレンズ位置に基づいて求めることができる。尚、原画像の分割領域毎の被写体距離の取得方法は、この実施形態に限定されない。

被写界深度算出部５０−２ｂは、原画像の撮影時の撮影条件を取得し、取得した撮影条件に基づいて被写界深度を算出する。

判定部５０−２ｃは、被写体距離取得部５０−２ａから入力する分割領域毎の被写体距離を示す情報と、被写界深度算出部５０−２ｃから入力する原画像の被写界深度を示す情報とに基づいて、図１５に示した準合焦領域Ａ，Ｃに対応する被写体距離を有する分割領域を抽出し、抽出した分割領域を準合焦領域として判定する。

尚、判定部５０−２ｃは、図１５に示した合焦領域Ｂに対応する被写体距離を有する分割領域を抽出し、抽出した分割領域を合焦領域として判定し、合焦領域Ｂ，準合焦領域Ａ，Ｃ以外の領域を、非合焦領域として判定することができる。また、準合焦領域検出部５０−２は、原画像の撮影時に取得される情報に限らず、撮影された原画像データが格納されている画像ファイルの付属情報に、原画像の分割領域毎の被写体距離及び撮影条件が含まれている場合には、その付属情報から被写体距離及び撮影条件を取得してもよい。

＜準合焦の定義３＞
撮像範囲内の全領域のデフォーカス量を検出し、検出したデフォーカス量が合焦範囲を越え、かつ非合焦と見なせるデフォーカス量以内の場合、そのデフォーカス量を有する原画の領域を、準合焦の領域として定義することができる。

撮像範囲内の全領域のデフォーカス量は、例えば、位相差画素を有する撮像素子の位相差画素の出力信号に基づいて検出することができる。尚、撮像素子は、全画素が位相差画素により構成されたものでもよいし、撮像範囲内の全領域に離散的に位相差画素が配置されたものでもよい。

図１８（ａ）及び（ｂ）はそれぞれ位相差画素（第１の位相差画素ｐ１及び第２の位相差画素ｐ２）の構成例を示す図である。

図１８（ａ）に示すように第１の位相差画素ｐ１のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材２７Ａが配設され、一方、図１８（ｂ）に示すように第２の位相差画素ｐ２のフォトダイオードＰＤの前面側には、遮光部材２７Ｂが配設される。マイクロレンズＬ及び遮光部材２７Ａ、２７Ｂは瞳分割手段としての機能を有し、図１８（ａ）に示すように遮光部材２７Ａは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差画素ｐ１には、レンズ１６の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。

また、図１８（ｂ）に示すように遮光部材２７Ｂは、第２の位相差画素ｐ２のフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差画素ｐ２には、レンズ１６の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材２７Ａ、２７Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ｐ１及び第２の位相差画素ｐ２に入射する。

そして、第１の位相差画素ｐ１に対応する出力信号と、第２の位相差画素ｐ２に対応する出力信号との位相差を検出することにより、撮像範囲内の全領域における、デフォーカス量（ピントずれ量）を検出することができる。尚、デフォーカス量は、位相差からデフォーカス量に変換する係数を、位相差に乗算することにより検出することができる。

検出されたデフォーカス量が焦点深度を越え、非合焦と判別できる一定のデフォーカス量未満に入る領域は、準合焦領域と定義することができる。

なお、撮像素子における位相差画素の構成については図１８（ａ），及び（ｂ）の構成例に限られず、位相差を検出できる構成であればよい。一例として、図１８（ａ），及び（ｂ）における遮光部材２７Ａ,及び２７Ｂを設ける代わりに、フォトダイオードＰＤを分割し、分割したフォトダイオードＰＤごとに信号出力が可能なように撮像素子を構成してもよい。この場合、分割したフォトダイオードＰＤをそれぞれ第1の位相差画素ｐ１、第２の位相差画素ｐ２とし、各出力信号の位相差を検出することによってデフォーカス量（ピントずれ量）を検出することができる。

［準合焦領域検出部の第３実施形態］
次に、図４に示した準合焦領域検出部５０に代わる第３実施形態の準合焦領域検出部５０−３について説明する。

図１９は、上記準合焦の定義３に対応して準合焦領域を検出する準合焦領域検出部５０−３のブロック図である。第３実施形態の準合焦領域検出部５０−３は、デフォーカス量検出部（第２のデフォーカス量検出部）５０−３ａと、判定部５０−３ｂとから構成されている。

デフォーカス量検出部５０−３ａは、入力する原画像データ内の一対の位相差画素の出力データに基づいて、撮像範囲内の全領域（分割領域毎）の位相差を検出し、検出した位相差から分割領域毎のデフォーカス量を検出する。判定部５０−３ｂは、デフォーカス量検出部５０−３ａから入力する分割領域毎のデフォーカス量の大きさに基づいて、準合焦領域を判定する。

尚、判定部５０−３ｂは、入力する分割領域毎のデフォーカス量の大きさに基づいて、合焦領域及び非合焦領域の判定も可能である。

［第２実施形態］
図２０は、図３に示した画像処理部３５に代わる第２実施形態の画像処理部３５−２の構成例を示すブロック図である。

この画像処理部３５−２は、鮮鋭回復制御部３７−２、復元処理部３８、及び点拡がり関数には基づかない鮮鋭化処理部として機能する輪郭強調処理部３９を備えている。尚、復元処理部３８は、図３に示した画像処理部３５の復元処理部３８と共通するため、その詳細な説明は省略する。

輪郭強調処理部３９は、画像データに対し、点拡がり関数に基づかない鮮鋭化フィルタを用いた鮮鋭化処理を行う。鮮鋭化フィルタは、点拡がり関数を直接的に反映するフィルタでなければ特に限定されず、公知の輪郭強調フィルタを鮮鋭化フィルタとして使用可能である。尚、鮮鋭化フィルタは、画像全体において単一のフィルタが用意されていてもよいし、画像内の位置毎（像高毎）に異なるフィルタが用意されていてもよい。

鮮鋭回復制御部３７−２は、復元処理部３８及び輪郭強調処理部３９を制御し、復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率を調整する。この復元率及び鮮鋭化率の調整に関して本例の鮮鋭回復制御部３７−２は、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率を取得し、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する。

鮮鋭化処理に加えて点像復元処理を行う場合、従来の手法では鮮鋭復元強度が強くなり過ぎて画像の過補正等を招き、画質を損なうことがある。従って、鮮鋭化処理及び点像復元処理の両者を行う場合は、鮮鋭化処理のみ或いは点像復元処理のみを行う場合に比べ、鮮鋭化処理における鮮鋭化強度や点像復元処理における復元強度を弱めることが好ましい。

また、点像復元処理は、撮影シーンや被写体次第では誤補正によってアーティファクト（リンギング等）などを招くことがあり、また、撮影条件に応じて異なる復元フィルタを使用する場合、点像復元処理後の画像の復元率や解像感（鮮鋭度）にばらつきが生じることがある。これらの誤補正や画像の鮮鋭度のばらつきは、鮮鋭化処理が行われるとより一層際立つ。

以下の第２実施形態は、点像復元処理及び鮮鋭化処理を組み合わせた場合であっても上述の過補正や誤補正を効果的に防ぎ、光学系の点拡がり現象によって損なわれた画質を回復して鮮明な画像を得る技術に関する。

図２１は、点像復元強度及び鮮鋭化強度の調整を説明するための概念図である。図２１の「トータル鮮鋭復元強度（トータル鮮鋭復元率）」は、所望の画質から決まる最終鮮鋭度目標強度値であり、画像処理全体に対する入力と出力との大きさの比率を直接的又は間接的に示す。本例の「トータル鮮鋭復元強度（トータル鮮鋭復元率）」は、撮影設定条件（光学特性情報）に応じて変動しうるが、撮影設定条件が決まれば一定の値となる。ここでいう撮影設定条件には、例えばレンズ、絞り、ズーム、被写体距離、感度、撮影モード等の各種の撮影条件及び設定条件が含まれうる。また「点像復元強度」は、点像復元処理による復元強度であって、撮影設定条件（光学特性情報）に応じて定められる。また「鮮鋭化強度」は、鮮鋭化処理による鮮鋭化の強度である。

これらのトータル鮮鋭復元強度、点像復元強度及び鮮鋭化強度は、それぞれの画像処理の前後における画像変化の程度を表す指標であり、画像の変化の程度を適切に表すことが可能な任意の基準に則って定められる。従って、点像復元処理及び鮮鋭化処理の各々がフィルタ適用処理及びゲインコントロール処理を含む場合には、「フィルタ適用処理及びゲインコントロール処理」の前後の変化が点像復元強度及び鮮鋭化強度によって表される。

例えば、点像復元処理と鮮鋭化処理とが並列的に行われ、「点像復元処理による画像復元の程度（点像復元強度）」と「鮮鋭化処理による画像鮮鋭化の程度（鮮鋭化強度）」とが「トータル鮮鋭復元強度」によって定められる場合を想定する。この場合には「点像復元強度＋鮮鋭化強度＝トータル鮮鋭復元強度」の関係が成立し、点像復元強度の増減分だけ鮮鋭化強度が増減し、図４に示される点像復元強度と鮮鋭化強度との境界位置（Ｂ）が変動しうる。従って、例えばトータル鮮鋭復元強度及び点像復元強度が定まれば、両者から最適な鮮鋭化強度を算出することが可能である。同様に、トータル鮮鋭復元強度及び鮮鋭化強度が定まれば、両者から最適な点像復元強度を算出することが可能である。

尚、図２１は理解を容易にするために直感的な概念図を示すに過ぎず、点像復元処理と鮮鋭化処理とが行われる処理系において「点像復元強度＋鮮鋭化強度＝トータル鮮鋭復元強度」の関係が常に成立することを示すものではない。例えば、点像復元処理と鮮鋭化処理とが直列的に行われた場合、点像復元強度と鮮鋭化強度との積に基づいてトータル鮮鋭復元強度が定められる。従って、以下の実施形態では、「点像復元強度及び鮮鋭化強度の両者による周波数増幅率」が、「トータル鮮鋭復元強度による周波数増幅率」と一致するように、点像復元強度及び鮮鋭化強度が決められる。

例えば、点像復元強度を優先的に設定し、その設定された点像復元強度に応じて鮮鋭化強度を調整することが可能である。この場合、光学系（レンズ１６等）のＰＳＦに応じた点像復元処理を高精度に行うことができる。また、点像復元処理は繊細な処理であり基礎パラメータが正確でないと過補正等の弊害を招き易いが、点像復元強度を優先的に決めることで、過補正等の弊害を効果的に防げる。

一方、鮮鋭化強度を優先的に設定し、その設定された鮮鋭化強度に応じて点像復元強度を調整することも可能である。この場合、弊害の少ない安定した処理である鮮鋭化処理が優先的に行われる。この鮮鋭化処理を優先的に行うケースは、光学特性に優れた精度を持つ光学系（レンズ１６等）を用いて撮影を行う場合、撮影シーンが夜景やポートレートの場合、アートフィルタ処理が行われる場合、点像復元処理による効果が得難い場合、点像復元処理による弊害が出やすい場合等に好適である。

点像復元強度及び鮮鋭化強度の調整は様々な基準によって行うことができ、例えば特定の周波数や特定の画像位置（像高位置）における周波数増幅率が同じになるように、トータル鮮鋭復元強度を定められる。

このようにトータル鮮鋭復元強度を設定して点像復元強度及び鮮鋭化強度を調整することにより、点像復元処理及び鮮鋭化処理を受けた画像の鮮鋭度（復元率及び解像感）のばらつきを抑え、出力画像の総合的な画質を向上できる。

点像復元強度及び鮮鋭化強度の調整に関する具体的な実施形態について、以下に説明する。

第２実施形態の鮮鋭回復制御部３７−２は、点像復元処理における復元率を取得し、トータル鮮鋭復元率及び復元率に基づいて鮮鋭化処理における「鮮鋭化率」を算出する。

図２２は、第２実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。尚、図４に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第２実施形態の画像処理システムモデルでは、「点像復元処理のための信号処理ブロック」と「任意のシャープネス強調処理のための信号処理ブロック」とが直列に接続（カスケード結合）され、両信号処理ブロックにおいて連続的な信号強度調整が可能となっている。即ち、復元処理部３８及び輪郭強調処理部３９は直列に設けられ、画像データは点像復元処理及び鮮鋭化処理のうちの一方の処理（図２２に示す例では「点像復元処理」）を受けた後に他方の処理（図２２に示す例では「鮮鋭化処理」）を受ける。

輪郭強調処理部３９は、輪郭強調フィルタ処理部４６、鮮鋭化乗算器４７及び鮮鋭化加算器４８を含む。本例では点像復元処理後の画像データが、入力画像データとして輪郭強調フィルタ処理部４６に入力される。輪郭強調フィルタ処理部４６は、鮮鋭化フィルタ（輪郭強調フィルタ）を入力画像データに適用する。鮮鋭化フィルタは任意の手法によって決められ、輪郭強調フィルタ処理部４６は、単一の鮮鋭化フィルタを用いてもよいし、複数のフィルタの中から適宜選択されるフィルタを鮮鋭化フィルタとして用いてもよい。鮮鋭化乗算器４７は、輪郭強調フィルタ処理部４６において得られた画像データに対して鮮鋭化強度倍率Ｖの乗算を行いゲインコントロールを行う。鮮鋭化加算器４８は、入力画像データに対して倍率（１−Ｖ）を乗算し、鮮鋭化強度倍率Ｖが乗算された画像データと加算する。鮮鋭化処理は、これらの輪郭強調フィルタ処理部４６、鮮鋭化乗算器４７及び鮮鋭化加算器４８における一連の処理によって構成される。

尚、復元強度倍率Ｕの反映手法と同様に、輪郭強調処理部３９は、任意の手法によって鮮鋭化強度倍率Ｖを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えば、輪郭強調フィルタ処理部４６において鮮鋭化フィルタ（輪郭強調フィルタ）を入力画像データに適用した後、画像の増減分データを算出し、鮮鋭化乗算器４７において増減分データのゲインコントロールを行い、増減分データ及び鮮鋭化強度倍率Ｖの乗算を行う。その後、鮮鋭化加算器４８にて、輪郭強調フィルタ処理部４６に入力される前の画像データ（入力画像）と、鮮鋭化強度倍率Ｖが乗算された増減分データとの加算を行うようにしてもよい。

鮮鋭回復制御部３７−２は、強度自動調整部５２−２、復元フィルタ選択部５３及び輪郭強調強度選択部５４を含む。復元フィルタ選択部５３は、撮影設定条件Ｓに基づいて復元フィルタ記憶部５８から復元フィルタＸを選択し、選択した復元フィルタＸを、強度自動調整部５２と復元処理部３８の点像復元フィルタ処理部４２とに送信する。

輪郭強調強度選択部５４は、撮影設定条件Ｓに対応する鮮鋭化強度倍率（輪郭強調強度）Ｖ０を輪郭強調強度リスト記憶部６０から選択し、その選択した鮮鋭化強度倍率Ｖ０を強度自動調整部５２−２に送信する。本例において輪郭強調強度選択部５４により選択される鮮鋭化強度倍率Ｖ０は、復元処理部３８（点像復元フィルタ処理部４２）において点像復元処理が実質的に行われない場合の鮮鋭化強度倍率である。

この「点像復元処理が実質的に行われない場合の鮮鋭化強度倍率」は、トータル鮮鋭復元率（トータル鮮鋭復元強度）に相当する。即ち、本例では点像復元強度と鮮鋭化強度とがトータル鮮鋭復元強度によって定められ（図２１参照）、点像復元処理が行われない場合のトータル鮮鋭復元強度は鮮鋭化強度のみによって定まる。従って、点像復元処理が行われない場合の鮮鋭化強度倍率を、鮮鋭化強度倍率Ｖ０として取得して強度自動調整部５２−２に供給する本例の輪郭強調強度選択部５４は、実質的には、トータル鮮鋭復元率（トータル鮮鋭復元強度）を強度自動調整部５２−２に供給する。

強度自動調整部５２−２は、復元フィルタ選択部５３からの復元フィルタＸ及び輪郭強調強度選択部５４からの鮮鋭化強度倍率Ｖ０に基づいて、点像復元回復率（復元率）Ｇに応じた復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する（ただし、「復元強度倍率Ｕ≧０」及び「鮮鋭化強度倍率Ｖ≧０」を満たす）。

また、点像復元処理の強度調整（復元乗算器４３によって用いられる復元強度倍率Ｕの決定）は、図４に示した第１実施形態と同様に、準合焦領域検出部５０からの原画像内の準合焦領域を示す情報に基づいて、準合焦領域の原画像データに対する復元率が、合焦領域の原画像データに対する復元率よりも小さくなるように調整される。

そして、強度自動調整部５２−２は、決定した復元強度倍率Ｕを復元乗算器４３に送信し、鮮鋭化強度倍率Ｖを鮮鋭化乗算器４７に送信する。復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖは、それぞれ復元処理部３８及び輪郭強調処理部３９における強度調整パラメータであり、復元乗算器４３及び鮮鋭化乗算器４７は、強度自動調整部５２から送られてくる復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを使用して乗算処理を行う。

尚、強度自動調整部５２−２は、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６の各々において使用されるフィルタの周波数特性を取得する。例えば、点像復元フィルタ処理部４２によって使用される復元フィルタＸは復元フィルタ選択部５３から強度自動調整部５２−２に送られる。また、輪郭強調フィルタ処理部４６によって使用される鮮鋭化フィルタも強度自動調整部５２−２は任意の手法によって取得する。例えば、輪郭強調フィルタ処理部４６によって使用される鮮鋭化フィルタが固定されている場合、強度自動調整部５２−２はその鮮鋭化フィルタの周波数特性を予め記憶しておくことにより取得してもよい。また、使用される鮮鋭化フィルタを輪郭強調フィルタ処理部４６から強度自動調整部５２−２に送信し、強度自動調整部５２−２は、受信した鮮鋭化フィルタを解析することにより鮮鋭化フィルタの周波数特性を取得してもよい。

強度自動調整部５２−２は、後述のトータル鮮鋭度評価値に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する際に、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６で使用するフィルタの周波数特性を考慮する。具体的には、強度自動調整部５２−２は、トータル鮮鋭度評価値に各フィルタの周波数特性を反映させ、フィルタの周波数特性を反映したトータル鮮鋭度評価値に基づいて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する。また、強度自動調整部５２−２は、準合焦領域検出部５０から入力する原画像内の準合焦領域を示す情報を、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する際に考慮する。

強度自動調整部５２−２における復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの決定は、例えば以下のフローに従って行うことができる。

まず、撮影設定条件Ｓが本体コントローラ２８によって取得され、その撮影設定条件Ｓに対応する復元フィルタＸが復元フィルタ選択部５３によって選択される。また、点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０が、輪郭強調強度選択部５４により撮影設定条件Ｓに応じて選択される。

復元フィルタＸは、画像データの撮影における撮影設定条件Ｓに基づいて決定されるが、この撮影設定条件Ｓは「点拡がり関数に影響する設定条件」及び「点拡がり関数に影響を及ぼさない撮影条件」を含みうる。「設定条件」は、例えば絞り情報、ズーム情報、被写体距離情報、及び光学系が有するレンズ種類情報のうち少なくともいずれか１つを含みうる。また「撮影条件」は、撮影感度情報及び撮影モード情報のうち少なくともいずれか１つを含みうる。

尚、撮影設定条件Ｓは任意の方式により復元フィルタ選択部５３及び輪郭強調強度選択部５４に入力可能であり、本体コントローラ２８のデバイス制御部３４及び画像処理部３５のうち撮影設定条件Ｓを管理する制御処理部（図示せず）から復元フィルタ選択部５３及び輪郭強調強度選択部５４に撮影設定条件Ｓが適宜送信される。

一方、点像復元回復率Ｇは、復元処理部３８及び輪郭強調処理部３９における画像処理の前に、予めユーザによって指定される。ユーザによる点像復元回復率Ｇの指定方法は特に限定されず、例えば点像復元回復率Ｇを指定するためのスライダ等の調整手段をユーザインターフェース２９（背面表示部等）に表示し、ユーザがその調整手段を介した操作を行うことにより点像復元回復率Ｇを簡易に定めることも可能である。この点像復元回復率Ｇは復元乗算器４３による点像復元処理の復元強度倍率Ｕをコントロールするための基礎データである。後述するように、例えば点像復元回復率Ｇの値が所定の閾値よりも大きい場合を除き、復元強度倍率Ｕと点像復元回復率Ｇとは等しい（復元強度倍率Ｕ＝点像復元回復率Ｇ）。

輪郭強調フィルタ処理部４６によって使用されるフィルタ（鮮鋭化処理における輪郭強調成分を抽出するためのフィルタ）の周波数特性を「φ（ω_ｘ，ω_ｙ）」として、復元フィルタＸ_ｉ，ｊ（点像復元処理における復元成分を抽出するためのフィルタ）の周波数特性を「ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）」とする。この場合、復元処理部３８及び輪郭強調処理部３９（点像復元処理及び鮮鋭化処理）を組み合わせた、図２２に示す画像処理システム全体の周波数特性は、以下の式２によって表される。

「Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）」は、復元強度倍率Ｕ，鮮鋭化強度倍率Ｖ，周波数特性ｘ_ｉ，ｊをパラメータとした、（ω_ｘ，ω_ｙ）（ｘ方向及びｙ方向に関する周波数）についての関数を示し、この関数は画像処理システムの構成に依存して決定される。

一方、点像復元処理の強度調整（復元乗算器４３において用いられる復元強度倍率Ｕの決定）は、以下の式３によって定義されるトータル鮮鋭度評価値（トータル鮮鋭復元率）Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定の値に保つように実施される。

ここで「ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）」は、画像内位置（画素位置）（ｉ，ｊ）毎に定義される任意の重み関数であり、トータル鮮鋭度評価値（トータル鮮鋭度評価関数）Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）は、システム全体の周波数特性の重み付き演算によって定義される。重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）は、視覚的に有意な周波数成分及び／又は画像内位置において大きな値となるように設計されることが好ましい。上記の式３により定義されるトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を用いることによって、点像復元処理の強度を変化させても、注目している周波数帯域及び／又は画像内位置においては周波数強調の程度が変化せず鮮鋭度の大きな乖離は発生しない。一方、重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）が比較的小さい周波数帯域及び／又は画像内位置では、点像復元処理による画質の差が目立ち易くなる。

上述を踏まえ、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの値は次のように決定できる。即ち、強度自動調整部５２に入力される点像復元回復率Ｇに基づいて、単調増加関数により復元強度倍率Ｕの値が決定され、その後、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）が一定の値に保たれるように鮮鋭化強度倍率Ｖの値が決定される。従って、復元強度倍率Ｕの値が大きくなると鮮鋭化強度倍率Ｖの値が小さくなり、復元強度倍率Ｕの値が小さくなると鮮鋭化強度倍率Ｖの値が大きくなるように、強度自動調整部５２−２は調整を実施する。ただし、復元強度倍率Ｕの値が大き過ぎると、鮮鋭化強度倍率Ｖの値をゼロ「０」にしてもトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保てない場合が発生しうる。即ち、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つことが可能な復元強度倍率Ｕの範囲には制限が存在しうる。

復元強度倍率Ｕの上限値を「Ｕ_ＭＡＸ」と表記すると、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）は「Ｃ（Ｕ_ＭＡＸ，０，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たすため、復元強度倍率Ｕの最大値は以下の式４に示すように制限される。

上記の式４は、点像復元回復率Ｇが復元強度倍率Ｕの上限値Ｕ_ＭＡＸ以下の場合には点像復元回復率Ｇを復元強度倍率Ｕに設定し（Ｕ＝Ｇ）、点像復元回復率Ｇが復元強度倍率Ｕの上限値Ｕ_ＭＡＸを超える場合には復元強度倍率Ｕの上限値Ｕ_ＭＡＸを復元強度倍率Ｕに設定する（Ｕ＝Ｕ_ＭＡＸ）ことを示す。

鮮鋭化強度倍率Ｖの値は、図２２の画像処理システムでは、トータル鮮鋭度評価値が「Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たす鮮鋭化強度倍率Ｖを探すことで算出される。これは１次方程式の解を求めることに等しく、強度自動調整部５２は、鮮鋭化強度倍率Ｖを容易に求められる。鮮鋭化強度倍率Ｖの算出の難易度は、システム全体の周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）の定義に依存する。この周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）が非線形関数となって上記の等式を厳密に成立させる鮮鋭化強度倍率Ｖを探すのが難しい場合、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）をトータル鮮鋭度評価値Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）に最も近づける鮮鋭化強度倍率Ｖを採用するという定式化が行われてもよい。

上述の一連の処理によって、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つ復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを算出することができる。

以上説明したように本実施形態によれば、トータル復元鮮鋭度（トータル鮮鋭度評価値）に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが定められるため、点像復元処理及び鮮鋭化処理を経た画像（出力画像）の鮮鋭度のばらつきが抑えられ、出力画像における総合的な解像度や画質を安定化できる。

特に、視覚上主要な周波数帯域及び／又は画像内位置における重み付けが大きくなるようにトータル鮮鋭度評価値を定めることにより、視覚上主要な周波数帯域及び／又は画像内位置における復元強度及び鮮鋭化強度が一定化され、鮮鋭度の乖離が過大になることを防げる。

また、点像復元処理は、光学系のＰＳＦに応じた高精度な画像回復処理を実現可能だが、撮影シーンや撮影条件によってアーティファクトを発生させ易く、画質への影響度が高い。従って、本実施形態のように点像復元処理の復元強度倍率Ｕ（復元率）を優先的に設定することにより、総合的な解像度や画質を効果的に向上できる。例えば復元率（点像復元回復率Ｇ、及び復元強度倍率Ｕ）を低く設定することにより、撮影シーン等に応じて生じうるアーティファクトやリンギングを目立たせないようにでき、その一方で、鮮鋭化処理によって鮮鋭度を向上させることも可能である。

また、２つの画像処理（点像復元処理及び鮮鋭化処理）の強度調整パラメータの制御は、一般に「２変数（復元強度、鮮鋭化強度）」の制御が必要となり、制御の自由度は「２」となる。しかしながら本実施形態に係る強度調整処理によれば、必要とされる制御の自由度は「１」となり、点像復元回復率Ｇを決めるだけで、適切な復元強度及び鮮鋭化強度（復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖ）を定めることが可能である。

更に、準合焦領域の原画像データに対する復元強度倍率Ｕは、合焦領域の原画像データに対する復元強度倍率Ｕよりも小さくなるように調整され、その結果、準合焦領域の原画像データに対する鮮鋭化強度倍率Ｖは、合焦領域の原画像データに対する鮮鋭化強度倍率Ｖよりも大きくなるように調整される。この場合、準合焦領域の原画像データに対する鮮鋭化強度倍率Ｖが大きくなる（鮮鋭化強度が強くなる）が、輪郭強調処理部３９により輪郭強調を重視している周波数帯域が強調されても過補正にはならず、画質が劣化することがない。

＜第３実施形態＞
図２３は、第３実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。尚、図２２に示す第２実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

第３実施形態に係る鮮鋭回復制御部３７−３は、鮮鋭化処理における鮮鋭化率を取得し、トータル鮮鋭復元率及び鮮鋭化率に基づいて点像復元処理における「復元率」を算出する。

鮮鋭回復制御部３７−３（強度自動調整部５２−３）には、鮮鋭化率（鮮鋭化強度倍率Ｖ）が入力される。この強度自動調整部５２−３に入力される鮮鋭化強度倍率Ｖは、復元処理部３８及び輪郭強調処理部３９における画像処理の前に、予めユーザによって指定される。ユーザによる鮮鋭化強度倍率Ｖの指定方法は特に限定されず、例えば鮮鋭化強度倍率Ｖを指定するためのスライダ等の調整手段をユーザインターフェース２９（背面表示部等）に表示し、ユーザがその調整手段を介した操作を行うことにより鮮鋭化強度倍率Ｖを簡易に定めることも可能である。この強度自動調整部５２−３に入力される鮮鋭化強度倍率Ｖは、鮮鋭化乗算器４７による鮮鋭化処理の鮮鋭化強度倍率Ｖをコントロールするための基礎データである。強度自動調整部５２−３に入力される鮮鋭化強度倍率Ｖの値が所定の閾値よりも大きい場合を除き、強度自動調整部５２−３に入力される鮮鋭化強度倍率Ｖと鮮鋭化乗算器４７において用いられる鮮鋭化強度倍率Ｖとは等しい。鮮鋭化強度倍率Ｖが０（ゼロ）の場合は、鮮鋭化処理がオフにされていることに相当する。この鮮鋭化処理における鮮鋭化強度倍率Ｖは、連続的な値をとるように変化してもよいし、離散的な値をとるように変化してもよいし、オン／オフ（所定倍率か「０（ゼロ）」か）により変化してもよく、鮮鋭化強度倍率Ｖを任意の方式により変更可能な処理回路等を実装することが可能である。

上述の第２実施形態では「点像復元処理ブロックの復元強度倍率Ｕを先に決定してから、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一致させるように、鮮鋭化処理ブロックの鮮鋭化強度倍率Ｖを求める」処理が行われる。一方、本実施形態では「鮮鋭化処理ブロックの鮮鋭化強度倍率Ｖを先に決定してから、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一致させるように、点像復元処理ブロックの復元強度倍率Ｕを決定する」処理が行われる。

点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０は、輪郭強調強度リスト記憶部６０に記憶されている鮮鋭化強度倍率Ｖ０の中から選択され、輪郭強調強度選択部５４から強度自動調整部５２に送られる。

強度自動調整部５２−３は、点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０に基づくトータル鮮鋭度評価値Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）と、鮮鋭化乗算器４７において用いられる鮮鋭化強度倍率Ｖに基づくトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）とを一致させる復元強度倍率Ｕを求める。この復元強度倍率Ｕは、トータル鮮鋭度評価値が「Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たす復元強度倍率Ｕを探すことにより算出され、これは１次方程式の解を求めることに等しい。上記の等式を成立させる復元強度倍率Ｕを探すのが難しい場合には、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）をトータル鮮鋭度評価値Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）に最も近づける復元強度倍率Ｕを採用するという定式化が行われてもよい。

上述の一連の処理によって、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つ復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを算出することができる。

また、強度自動調整部５２−３は、準合焦領域検出部５０からの原画像内の準合焦領域を示す情報に基づいて、準合焦領域の原画像データに対する鮮鋭化強度倍率Ｖが、合焦領域の原画像データに対する鮮鋭化強度倍率Ｖよりも大きくなるように調整する。これにより、準合焦領域の原画像データに対する復元強度倍率Ｕは、合焦領域の原画像データに対する復元強度倍率Ｕよりも小さくなるように調整されることになる。

他の構成は、図２２に示す第２実施形態と同様である。

以上説明したように本実施形態においても、トータル復元鮮鋭度（トータル鮮鋭度評価値）に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが求められ、点像復元処理及び鮮鋭化処理後の出力画像における鮮鋭度のばらつきを抑え、総合的な解像度や画質を安定化できる。

特に鮮鋭化処理（輪郭強調処理）は、点像復元処理に比べ、弊害が非常に少ない安定した画像処理である。そのため、例えばユーザがアーティファクト等の弊害の少ない画像を希望する場合、点像復元処理の効果が目立ち難い場合、点像復元処理の弊害が目立ち易い場合等では、本実施形態のように鮮鋭化強度倍率Ｖを優先的に設定することが好ましい。また、撮影に用いるレンズ１６の光学性能が良好であり光学系の点拡がり現象の影響が非常に小さい場合、撮影モード（撮影シーン）が夜景モード、ポートレートモード、アートフィルタモードの場合、等のように、点像復元処理の効果が本来的に実感され難いケースでは、本実施形態のように鮮鋭化強度倍率Ｖを優先的に設定することが好ましい。

また、後述の非線形処理（クリップ処理、リミッタ処理等）が鮮鋭化処理ブロックに含まれており、鮮鋭化強度をあるレベル以上には強くできない場合のように「鮮鋭化強度には制限があるが、点像復元強度には制限がないケース」がある。このケースでは、本実施形態のように鮮鋭化強度倍率Ｖを優先的に決定した方が、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定にする制御が簡単になることがある。

＜第４実施形態＞
図２４は、第４実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。尚、図２２に示す第２実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

第４実施形態に係る鮮鋭回復制御部３７−４は、特定の周波数（第１の周波数）においてトータル鮮鋭復元率を目標鮮鋭復元率に調整することにより、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを求める。

図２５は、画像処理の周波数特性を例示する図であり、（ａ）は点像復元処理（点像復元フィルタ処理部４２）における「周波数−ゲイン」関係例を示し、（ｂ）は鮮鋭化処理（輪郭強調フィルタ処理部４６）における「周波数−ゲイン」関係例を示し、（ｃ）は鮮鋭化処理及び点像復元処理全体における「周波数−ゲイン」関係例を示す。

本実施形態の画像処理は、上述の第２実施形態に係る画像処理の一部が簡易化され、ある特定の周波数及び／又は画像内のある特定の位置（画面内座標）に注目し、その注目周波数及び／又は注目位置（注目座標）に関して「復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖ」をピンポイント調整する。

ここでいう注目周波数及び注目位置は特に限定されず、例えば視覚特性上有意な周波数及び画面内座標を注目周波数及び注目位置に設定することができ、例えば画像の中央位置に注目するように設定してもよい。また注目周波数及び注目位置の範囲も限定されず、単数であってもよいし、複数であってもよい。

この画像処理は、具体的には、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）の式（上記「式３」参照）の重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）を次のように定義することにより実現可能である。

上記式において「δ（ｘ）」はクロネッカーのデルタ関数を示し、画像の注目位置の座標（像高）を「ｉ＝ｉ_０，ｊ＝ｊ_０」とする。例えば画像の注目位置を画像の中央位置とすると、上記式４の重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）は、画像中心において特定の周波数ｆ０における特定のゲインｇ０（トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ））が得られるように定義されている。また上記式５は、周波数に関し、ｘ方向の周波数のみを参照する。これは、画像中心においてはＰＳＦの形状が等方的であるため、その等法的なＰＳＦに基づく復元フィルタの周波数特性も等方的になり、特定の方向（上記式４では「ｘ方向」）について参照すれば十分だからである。

上記式５により表される重み関数を用いることによって、図２５に示す通り、点像復元回復率Ｇがいかなる値であったとしても、画像処理システム全体の周波数特性に関して、常に、特定の周波数ｆ０においてゲインｇ０が一定になる。

点像復元処理全体（復元処理部３８）の周波数特性は、点像復元フィルタ処理部４２によるフィルタ処理と復元乗算器４３によるゲインコントロール処理によって決定され、点像復元フィルタ処理部４２の周波数特性（図２５（ａ）参照）の倍率が復元強度倍率Ｕによって調整されることにより定まる。同様に、鮮鋭化処理全体（輪郭強調処理部３９）の周波数特性は、輪郭強調フィルタ処理部４６によるフィルタ処理と鮮鋭化乗算器４７によるゲインコントロール処理によって決定され、輪郭強調フィルタ処理部４６の周波数特性（図２５（ｂ）参照）の倍率が鮮鋭化強度倍率Ｖによって調整されることにより定まる。従って、画像処理システム全体の周波数特性（図７（ｃ）参照）は、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６の周波数特性（図７（ａ）及び（ｂ）参照）に適用される復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖをコントロールすることにより調整可能である。

強度自動調整部５２−４における復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの調整は、特定の周波数ｆ０において特定のゲインｇ０を実現するという制限はあるが、具体的な調整例は１つには定まらない。例えば、画像の高周波成分を強調したい場合には、図２５（ｃ）の「調整例１」に示すように、その高周波成分を強調するゲインが達成されるように復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが決定される。一方、画像の高周波成分は強調せずに、低周波〜中周波の成分を強調したい場合には、図２５（ｃ）の「調整例２」に示すように、その低周波〜中周波の成分にのみゲインが適用される復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが決定される。

尚、強度自動調整部５２−４は、点像復元フィルタ処理部４２において使用する復元フィルタＸが復元フィルタ選択部５３から入力され、その復元フィルタＸの周波数特性を求める。また、強度自動調整部５２は、輪郭強調フィルタ処理部４６において使用する鮮鋭化フィルタの周波数特性も把握する。例えば、輪郭強調フィルタ処理部４６において単一の鮮鋭化フィルタが用いられる場合には、その鮮鋭化フィルタの周波数特性を復元フィルタ選択部５３が予め記憶しておいてもよい。また、輪郭強調フィルタ処理部４６において使用する鮮鋭化フィルタが複数のフィルタの中から選択される場合には、選択された鮮鋭化フィルタが強度自動調整部５２に入力されて強度自動調整部５２がその鮮鋭化フィルタの周波数特性を求めてもよいし、選択された鮮鋭化フィルタの周波数特性が強度自動調整部５２に入力されてもよい。

以上説明したように本実施形態によれば、点像復元処理及び鮮鋭化処理後の出力画像における鮮鋭度のばらつきを抑え、画質を安定化できる。特に特定の周波数ｆ０におけるゲインｇ０が固定されるので、例えば「ベースとなる低周波の鮮鋭度を一定に保ちつつ高周波の鮮鋭度を調整する」などの手法をとることができ、画像処理全体の周波数特性を柔軟にコントロールすることが可能である。

また、画像内のある特定の位置（例えば中央部位置）において一定のトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）が達成されるように、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを定めることもできる。中央部位置を「特定の位置」とした場合、ユーザが認識し易い画像中央部における鮮鋭度に大きな乖離が生じることを防ぎつつ、画像周辺のボケ画像に対して鮮鋭度を大きく向上させる点像復元処理及び鮮鋭化処理を行うことも可能である。尚、ここでいう「特定の位置」の数は特に限定されず、画像全体を構成する画素数の数％〜数十％に相当する数を「特定の位置」の数に設定することもできる。

＜第５実施形態＞
図２６は、第５実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。尚、図２２に示す第２実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

第５実施形態に係る復元処理部３８及び輪郭強調処理部３９は並列に設けられ、画像データ（入力画像）は復元処理部３８及び輪郭強調処理部３９の各々に入力され、点像復元処理による画像データの増減分データと鮮鋭化処理による画像データの増減分データとが加算されて出力画像が生成される点で、復元処理部３８と輪郭強調処理部３９とが直列に接続されている第２実施形態と相違する。

本実施形態の画像処理部３５は鮮鋭復元調整部６３を有する。鮮鋭復元調整部６３は、復元処理部３８からの画像データの増減分データと輪郭強調処理部３９からの画像データの増減分データとを加算する第１加算器６１と、第１加算器６１から出力される加算後増減分データと入力画像データとを加算する第２加算器６２とを含む。

即ち、本例では、画像データに対する「点像復元フィルタ処理部４２及び復元乗算器４３による点像復元処理」と「輪郭強調フィルタ処理部４６及び鮮鋭化乗算器４７による鮮鋭化処理」とが並列的に行われ、各処理では画像データ（入力画像）との差分値に相当する増減分データが算出される。点像復元処理による画像データの増減分データと鮮鋭化処理による画像データの増減分データとは第１加算器６１によって加算され、点像復元処理及び鮮鋭化処理の全体による画像データの増減分データが算出される。この「処理全体による画像データの増減分データ」と画像データ（入力画像）とが第２加算器６２によって加算され、点像復元処理及び鮮鋭化処理が施された画像データ（出力画像）が生成される。

他の構成は、図２２に示す第２実施形態と同様である。例えば、復元フィルタ選択部５３（図２２参照）によって選択される復元フィルタは点像復元フィルタ処理部４２及び強度自動調整部５２に供給され、輪郭強調強度選択部５４によって選択される鮮鋭化強度倍率Ｖ０が強度自動調整部５２に供給される。また、復元乗算器４３及び鮮鋭化乗算器４７において使用される復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖは強度自動調整部５２−によって適宜定められる。

本例の画像処理システム全体の周波数特性は、以下の式６によって表される。

上記式６において、復元処理部３８の周波数特性が「Ｕ×ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）」によって表され、輪郭強調処理部３９の周波数特性が「Ｖ×φ（ω_ｘ，ω_ｙ）」によって表される。従って、第１加算器６１による加算処理は「Ｕ×ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）＋Ｖ×φ（ω_ｘ，ω_ｙ）」の周波数特性に基づき、第２加算器６２による加算処理は「１＋Ｕ×ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）＋Ｖ×φ（ω_ｘ，ω_ｙ）」の周波数特性に基づく。

以上説明したように本実施形態においても、復元処理部３８及び輪郭強調処理部３９が直列的に配置される場合（上述の第１実施形態（図５）参照）と同様に、点像復元処理及び鮮鋭化処理後の出力画像における鮮鋭度のばらつきが抑えられ、画質を安定化できる。

＜第６実施形態＞
図２７は、第６実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの要部構成を示す図である。尚、図２２に示す第２実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本実施形態に係る画像処理部３５は、画像データの非線形処理を行う非線形処理部６５を更に備え、２段フィルタ処理システム（復元処理部３８及び輪郭強調処理部３９）において非線形処理が導入されている。この非線形処理部６５は、復元処理部３８及び輪郭強調処理部３９のうち少なくともいずれか一方に含まれるが、下記では復元処理部３８に非線形処理部が設けられる例について説明する。

非線形な処理は、一般に加減乗除の演算処理のみからは構成されず、例えばＬＵＴ（ルックアップテーブル）の参照や条件分岐を伴う処理が含まれうる。非線形処理は、アーティファクトやノイズの抑制を目的として行われることが多く、例えば「画像信号のうちクリップ閾値を超える画素値をクリップ閾値に調整するクリップ処理」を非線形処理として行ってもよい。

本例の点像復元処理（復元処理部３８）は、復元フィルタによって抽出された点像復元強調成分に対する強調倍率の適用、その強調倍率適用後の点像復元強調成分に対する非線形処理の適用、及び非線形処理後の点像復元強調成分と元画像との合成、という一連の処理を含む。

即ち、本実施形態では、画像データ（入力画像）は、点像復元フィルタ処理部４２に入力されて復元フィルタによるフィルタリング処理が行われ、点像復元処理による画像データの増減分データが算出される。その増減分データは復元乗算器４３に入力されて復元強度倍率Ｕに基づくゲインコントロールが行われ、増減分データ及び復元強度倍率Ｕの乗算が行われ、乗算後の増減分データが非線形処理部６５に入力される。

非線形処理部６５においては、入力された増減分データに対するクリップ処理（非線形処理）が行われ、増減分データ（画像データ）のうち所定のクリップ閾値を超える画素値がクリップ閾値に調整される。尚、クリップ閾値は予め定められて非線形処理部６５が記憶していてもよいし、ユーザがユーザインターフェース２９を介してクリップ閾値を直接的又は間接的に指定してもよい。クリップ処理後の画像データの増減分データは復元加算器４４において点像復元フィルタ処理部４２に入力される前の画像データ（入力画像）に加算され、点像復元処理後の画像データが算出される。

非線形処理部６５において行われるクリップ処理は、以下の式７により示すように、画像データ（ゲイン調整された増減分データ）ｘが、クリップ閾値θ（≧０）以上の値をとらないように制限する処理である。

上記式７により表されるクリップ処理関数ＣＬＩＰ（ｘ）によれば、増減分データｘの絶対値がクリップ閾値θよりも小さい場合（｜ｘ｜＜θ）、その増減分データｘクリップ処理によって調整されずに保持され、非線形処理部６５から「ｘ」が出力される。一方、増減分データｘの絶対値がクリップ閾値θ以上の場合（｜ｘ｜≧θ）、その信号成分はクリップ処理によって符号関数（signum function)によって調整され、非線形処理部６５から「sign（ｘ）×θ」が出力される。

また、非線形処理部６５は、強度自動調整部５２からクリップ閾値θが与えられるが、強度自動調整部５２は、準合焦領域検出部５０からの原画像内の準合焦領域を示す情報に基づいて、準合焦領域の原画像データに対するリップ閾値θを、合焦領域の原画像データに対するクリップ閾値θよりも低く調整することが好ましい。これによれば、準合焦領域の原画像データに対する復元率が抑制される。

他の構成は、図２２に示す第２実施形態と同様である。例えば、輪郭強調処理部３９における輪郭強調フィルタ処理部４６によるフィルタリング処理、鮮鋭化乗算器４７による乗算処理及び鮮鋭化加算器４８による加算処理は、上述の第２実施形態と同様に行われる。

本例では、システム全体における周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）として、特定の入力波形をシステム（画像処理部３５）に入力した場合の出力に基づいて近似的に得られる周波数特性を用いることができる。即ち、非線形処理を行う画像処理部が信号処理系に存在する場合、その信号処理系の周波数特性を正確に求めることは原理的に不可能であり、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの強度自動算出処理が適用できない場合がある。従って、非線形処理が行われる場合、周波数成分が予め把握されている特定の入力波形（入力画像データ）に対する出力波形（出力画像データ）から、内部の周波数特性を近似的に評価し、その近似的な評価によって得られる周波数特性を利用することにより、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの自動算出処理を行ってもよい。この場合、システム全体の周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）を求める必要があり、特定の入力波形に対するシステムの周波数レスポンス近似式を数式によって表現することが求められる。具体的な近似評価手法は任意であり、このシステムの周波数レスポンス近似式の精度は、非線形処理の具体的な内容に依存する。

システムの周波数レスポンス近似式の例としては、図９に示すクリップ処理を含む画像処理システムにおいて、予め特性を把握している入力波形（画像信号）を使用し、入力波形がハイコントラストなステップ関数であると仮定し、上述の実施形態のように特定の周波数ｆ０において特定の値（トータル鮮鋭度評価値）を持つようにｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）を定義する場合（上記の「式５」参照）、画像処理システム全体の周波数特性を以下の式８によって近似的に表すことができることを本件発明者は経験的に知得した。

上記の式８において、「Ａ」はクリップ閾値θと入力画像信号の鮮鋭度（ボケ度）に依存する定数である。また「ｍｉｎ（Ｕ×ψ（ω_ｘ，ω_ｙ），Ａ）」は「Ｕ×ψ（ω_ｘ，ω_ｙ）」及び「Ａ」のうち小さい方を示す関数である。

尚、本例では復元処理部３８に非線形処理部６５が設けられるが、非線形処理部は、輪郭強調処理部３９にのみ設けられてもよいし、復元処理部３８及び輪郭強調処理部３９の双方に設けられてもよい。ただし、復元処理部３８及び輪郭強調処理部３９の双方において非線形処理が行われると、画像処理システム全体の周波数レスポンス近似式が複雑になり、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定の値に保ちながら復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する制御が難しくなってしまう可能性がある。

点像復元処理（点像復元フィルタ処理部４２）において用いられる復元フィルタは、想定される周波数特性（ボケ特性）を入力画像が持つことを前提に設計される。しかしながら、点像復元処理及び鮮鋭化処理よりも前段に配置される撮像系や画像処理系における非線形な現象及び信号処理によって、想定とは異なる周波数特性（不正な周波数特性）を画像データ（入力画像）が持ち、出力画像にアーティファクトが生じることがある。このようなアーティファクトを抑制するため、復元フィルタによるフィルタリング処理（点像復元フィルタ処理部４２）よりも後段に非線形処理部６５を設けることが好ましい。

以上説明したように本実施形態によれば、復元処理部３８及び／又は輪郭強調処理部３９において非線形処理が行われる場合であっても、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを的確に求めることができる。特に、非線形処理を行うことにより、アーティファクトを効果的に抑制することができる。

＜第７実施形態＞
従来の動画撮影モードでは動画撮影中に撮影設定条件は経時的に変化し、変動する撮影設定条件に対応する復元フィルタを逐次選択して点像復元処理を行うと、動画フレーム間において復元率や画像鮮鋭度のばらつきが目立つ虞がある。

本実施形態では、準合焦領域における原画像データの解像度を維持しながら過補正になるのを抑制しつつ、動画フレーム間における復元率や鮮鋭度のばらつきを防ぐため、動画記録中は、トータル鮮鋭度評価値を予め決められた値に保ちつつ、点像復元処理強度及び鮮鋭化処理強度の制御が行われる。即ち、実施形態では、トータル鮮鋭度評価値が撮影設定条件毎には切り替えられない。

図２８は、第７実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。尚、図２２に示す第２実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

第７実施形態に係る鮮鋭回復制御部３７−７（強度自動調整部５２−７）は、画像データ（入力画像）を取得した際の撮影モード情報Ｍを取得し、撮影モード情報Ｍが動画記録モードを示す場合には、トータル鮮鋭復元率を一定に保つ。尚、ここでいう「トータル鮮鋭復元率を一定に保つ」とは、トータル鮮鋭復元率を所定値に保つ場合に限定されるものではなく、トータル鮮鋭復元率が画質に影響の無い範囲内に保たれる場合も含みうる。トータル鮮鋭復元率が画質に影響の無い範囲内に保たれる場合、トータル鮮鋭復元率の変動の程度は１０％以下であることが好ましく、５％以下であることがより好ましい。

撮影モード情報Ｍは任意の方式により強度自動調整部５２−７に入力される。例えば、デジタルカメラ１０（レンズユニット１２、及びカメラ本体１４により構成される）に「動画記録モード及び静止画記録モードを切り替え可能なモード切替部（ユーザインターフェース２９）」が設けられる場合には、そのモード切替部から本体コントローラ２８（強度自動調整部５２−７）にユーザが選択した撮影モード情報Ｍが送られてもよい。撮影モード情報Ｍは、処理対象の画像が動画か静止画かを直接的又は間接的に示す情報であればよく、処理対象の画像に付随する「動画／静止画」を示す情報を撮影モード情報Ｍとしてもよい。

強度自動調整部５２−７は、入力される撮影モード情報Ｍが動画記録モードを示す場合には、動画を構成する複数の画像データ（動画データ）のフレーム間において共通のトータル鮮鋭度評価値（トータル鮮鋭復元率）を用いて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する。即ち、動画記録モードにより撮影された動画（フレーム）に対する復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する場合、フレーム間により撮影設定条件が変わっても、トータル鮮鋭度評価値（トータル鮮鋭復元率）は撮影設定条件毎には切り替えられず固定される。この動画像に対して固定的に使用されるトータル鮮鋭度評価値（トータル鮮鋭復元率）は、任意の手法により決定可能であり、例えば動画を構成する特定のフレーム（例えば最初のフレーム）の撮影設定条件に対応するトータル鮮鋭度評価値（トータル鮮鋭復元率）が用いられてもよい。

尚、強度自動調整部５２−７（鮮鋭回復制御部３７−７）は、撮影モード情報Ｍが動画記録モードを示す場合には、撮影モード情報Ｍが静止画記録モードを示す場合よりも、点像復元処理の復元強度倍率Ｕ（復元率）を小さくしてもよい。復元処理部３８による点像復元処理はＰＳＦに基づく画像回復処理であり、ＰＳＦが正確に把握可能な場合には画質を効果的に改善可能な優れた画質改善処理だが、ＰＳＦが正確に把握されない場合には過補正等によって画質劣化を引き起こしうる処理である。ＰＳＦを忠実に反映する復元フィルタを用いる点像復元処理には相応の時間が必要になるが、動画記録モードでは、動画を構成する複数のフレーム画像を限られた時間により処理することも求められる。また、動画においてはフレーム間の連続性を保持することも求められ、連続フレーム間において画質が大幅に変化することは、必ずしも好ましくない。従って、動画記録モードでは復元強度倍率Ｕ（復元率）を比較的小さくすることにより、過補正等による画質劣化やフレーム間の変化を小さくし、総合的に良質な動画を生成することができる。また、鮮鋭化強度倍率Ｖによって復元強度倍率Ｕの減少が補われ、点像復元処理による復元度が比較的小さくても、鮮鋭化処理によって鮮明な動画を得ることができる。

以上説明したように本実施形態によれば、動画撮影中に撮影設定条件が変化し、撮影設定条件に応じた点像復元処理の復元率が変動しても、トータル鮮鋭度評価値（トータル鮮鋭復元率）が一定であるため、復元動画の鮮鋭度のばらつきを抑えることができる。

＜第７実施形態の変形例＞
第７実施形態の変形例では、動画撮影中の撮影条件の変化に対し、動画フレーム間における復元率や鮮鋭度が大きく変化しないように抑制している。

図２９は、時系列の動画フレーム中の「処理対象フレーム」及び「参照フレーム」に関して説明する図である。

動画の撮像時には、光学系１２及び撮像素子２６を介して所定のフレームレートによって被写体が連続して撮像され、時系列に連続する複数のフレームからなる動画の画像データが取得される。ここで、フレームレートとは、単位時間あたりのフレーム数（画像数、コマ数）であり、一般的には１秒間に生成されるフレーム数（単位：ｆｐｓ（frame per second)）によって表される。例えば、本態様のデジタルカメラ１０は、フレームレートが３０ｆｐｓの場合、１秒間に３０枚の画像の生成を行い、フレームレートが６０ｆｐｓの場合、１秒間に６０枚の画像の生成を行う。

また、動画は、時系列に連続する複数のフレームから構成され、例えば、記録動画、ライブビュー画像を含む意味である。

図２９は、時間ｔに撮像されたフレーム（ｔ）に対して復元処理を行う場合を示す。この場合、フレーム（ｔ）は、処理対象フレームとなる。そして、時間ｔ−１に撮像されたフレーム（ｔ−１）、時間ｔ−２に撮像されたフレーム（ｔ−２）、及び時間ｔ−３に撮像されたフレーム（ｔ−３）は、処理対象フレームよりも時系列で前のフレーム（前フレーム）である。また、時間ｔ＋１に撮像されたフレーム（ｔ＋１）、時間ｔ＋２に撮像されたフレーム（ｔ＋２）、及び時間ｔ＋３に撮像されたフレーム（ｔ＋３）は、処理対象フレームよりも時系列において後のフレーム（後フレーム）である。尚、図２９では説明の都合上、処理対象フレームに対して前フレームを３フレーム及び後フレームを３フレームのみ記載しているが、実際は撮影時間に応じて多数のフレームが存在している。

参照フレームは、少なくとも前フレーム又は後フレームの１フレーム含まれればよい。また、参照フレームは、単数であってもよいし、複数であってもよい。例えば、参照フレームが単数の場合は、処理対象フレーム（フレーム（ｔ））の後フレームであるフレーム（ｔ＋１）が参照フレームとして選択されることが好ましい。また、例えば、参照フレームが複数の場合は、処理対象フレーム（フレーム（ｔ））の後フレーム（ｔ＋１）及び前フレーム（ｔ−１）が選択されることが好ましい。

図２９において、前フレーム（ｔ−１）は処理対象フレームの時系列において直前のフレームであり、後フレーム（ｔ＋１）は処理対象フレームの時系列において直後のフレームである。このような直前のフレーム（フレーム（ｔ−１））や直後のフレーム（フレーム（ｔ＋１））を参照フレームとして選択してもよい。

時系列において連続する複数のフレームの中から参照フレームを選択する方法は様々な手法が用いられる。例えば、参照フレームを選択する方法として、予めユーザが参照フレームの選択する方法をユーザインターフェース２９により指定する手法が考えられる。また例えば、参照フレームを選択する方法は、予め決定されていてもよい。

鮮鋭回復制御部３７（図４等）は、参照フレームの撮像情報に基づいて、処理対象フレームの復元処理の内容に関して調整を行う。鮮鋭回復制御部３７は、フレーム間において連続性のある復元処理を実現すべく、様々な手法により、参照フレームの撮像情報に基づいて復元処理の内容を調整する。

更に、鮮鋭回復制御部３７は、参照フレームの撮像情報及び処理対象フレームの撮像情報に基づいて、処理対象フレームの復元処理の内容に関して調整を行うことができる。処理対象フレームの撮像情報及び参照フレームの撮像情報に応じて処理対象フレームの復元処理を行うことにより、処理対象フレームと参照フレーム間において連続性のある復元処理を行うことができ、且つ処理対象フレームに適した復元処理を行うこともできる。

次に、鮮鋭回復制御部３７が行う復元処理の内容に関する調整の方法を具体例により説明する。

鮮鋭回復制御部３７は、参照フレームの撮影条件情報を含む撮像情報に関して最頻値に基づいて、復元処理の内容を調整することができる。

図３０は、図２９において説明を行ったフレーム（ｔ−３）からフレーム（ｔ＋３）の各々において、撮影条件情報（撮像情報）として絞り値（Ｆ値）が与えられている場合を示している。具体的に図３０に示す場合には、フレーム（ｔ−３）は絞り値Ｆ２により撮像され、フレーム（ｔ−２）は絞り値Ｆ２により撮像され、フレーム（ｔ−１）は絞り値Ｆ２により撮像され、フレーム（ｔ）は絞り値Ｆ２.８により撮像され、フレーム（ｔ＋１）は絞り値Ｆ２により撮像され、フレーム（ｔ＋２）は絞り値Ｆ２により撮像され、及びフレーム（ｔ＋３）は絞り値Ｆ２により撮像されている。

処理対象フレームをフレーム（ｔ−１）とし、参照フレームをフレーム（ｔ−３）、フレーム（ｔ−２）、フレーム（ｔ）、及びフレーム（ｔ＋１）とする場合について説明する。この場合、フレーム（ｔ−３）、フレーム（ｔ−２）、フレーム（ｔ−１）、及びフレーム（ｔ＋１）は絞り値がＦ２により撮像され、フレーム（ｔ）は絞り値がＦ２．８により撮像されている。このため、処理対象フレーム及び参照フレームにおいて、撮影条件情報としての絞り値の最頻値はＦ２となる。そうすると、処理対象フレーム（フレーム（ｔ−１））に対して復元処理を行う場合には、絞り値がＦ２により撮像されたフレーム用の復元フィルタが使用される。

同様に、処理対象フレームをフレーム（ｔ）、フレーム（ｔ＋１）とした場合も処理対象フレームを含む前後５フレームの絞り値の最頻値はＦ２となり、いずれの処理対象フレームも、絞り値がＦ２により撮像されたフレーム用の復元フィルタが使用される。

また、図３１は別の参照フレームを選択する例を示す。フレーム（ｔ−３）は絞り値Ｆ２により撮像され、フレーム（ｔ−２）は絞り値Ｆ２により撮像され、フレーム（ｔ−１）は絞り値Ｆ２により撮像され、フレーム（ｔ）は絞り値Ｆ２.８により撮像され、フレーム（ｔ＋１）は絞り値Ｆ１．４により撮像され、フレーム（ｔ＋２）は絞り値Ｆ１．４により撮像され、及びフレーム（ｔ＋３）は絞り値Ｆ１．４により撮像されている。

フレーム（ｔ−２）、フレーム（ｔ−１）、フレーム（ｔ＋１）、及びフレーム（ｔ＋２）を参照フレームとし、フレーム（ｔ）を処理対象フレームとした場合には、フレーム（ｔ−２）及びフレーム（ｔ−１）は絞り値がＦ２により撮像されており、フレーム（ｔ＋１）及びフレーム（ｔ−２）は絞り値がＦ１．４により撮像されているため、撮影条件情報の最頻値は絞り値Ｆ２と絞り値Ｆ１．４の２つとなる。この場合は、処理対象フレームの撮影条件情報は絞り値Ｆ２．８であるため処理対象フレームの撮影条件情報は最頻値に該当しないので、時系列で処理対象フレームの後の参照フレームが有する撮影条件情報の最頻値（この場合は絞り値Ｆ１．４）が採用される。

また、フレーム（ｔ−１）及びフレーム（ｔ＋３）を参照フレームとした場合には、撮影条件情報の最頻値はＦ２とＦ１．４との二つであるが、フレーム（ｔ−１）の方がフレーム（ｔ＋３）よりも処理対象フレームに時系列において近いことから、フレーム（ｔ−１）の撮影条件情報である絞り値Ｆ２が最頻値として採用される。

図３２は、鮮鋭回復制御部３７が参照フレームの撮影条件情報（撮像情報）の最頻値を決定する動作フローを示した図である。

まず、鮮鋭回復制御部３７は、処理対象フレームの撮影条件情報を取得する（ステップＳ１０）。その後、鮮鋭回復制御部３７（復元フィルタ選択部５３）は、参照フレームの撮影条件情報を取得する（ステップＳ１２）。尚、復元フィルタ選択部５３は、様々な方法により処理対象フレームの撮影条件情報を取得することができ、例えば、復元フィルタ選択部５３はデバイス制御部３４（図２）から処理対象フレームの撮影条件情報を取得することができる。そして、鮮鋭回復制御部３７は、参照フレームの撮影条件情報のうち最頻値を抽出する（ステップＳ１４）。そして、鮮鋭回復制御部３７は、最頻値が単数である又は複数であるかを判断し、最頻値が一つの場合（ステップＳ１６のＮｏの場合）には、最頻値の撮影条件が採用されて（ステップＳ１８）、復元処理の内容の調整を行う。

一方、最頻値が複数の場合（ステップＳ１６のＹｅｓの場合）には、複数ある最頻値の一つが処理対象フレームの撮影条件情報であるか否かを判断する。そして、複数ある最頻値の一つが処理対象フレームの撮影条件情報でない場合（ステップＳ２０のＮｏの場合）には、鮮鋭回復制御部３７は、複数ある最頻値のうち、処理対象フレームと時系列において近いフレームの最頻値を選択する（ステップＳ２２）。また、鮮鋭回復制御部３７は、複数ある最頻値のうちいずれの最頻値も処理対象フレームと時系列において同じ間隔である場合には、処理対象フレームより時系列において前のフレームを含む最頻値を選択する（ステップＳ２２）。このように、処理対象フレームより時系列において前のフレームを含む最頻値を選択することにより、時系列上での連続性が良好となる。

一方、複数ある最頻値の一つが処理対象フレームの撮影条件情報である場合（ステップＳ２０のＹｅｓの場合）には、鮮鋭回復制御部３７は、処理対象フレームの撮影条件情報を最頻値として採用する（ステップＳ２４）。その後、次の処理対象フレームに関して処理が行われる。

次に、鮮鋭回復制御部３７が行う復元処理の内容に関する調整の他の方法を具体例により説明する。

鮮鋭回復制御部３７（復元フィルタ選択部５３）は、処理対象フレームの撮影条件情報と、参照フレームの撮影条件情報とに基づいて上記のように撮影条件情報を決定し、決定した撮影条件情報により復元フィルタ記憶部５８から対応する復元フィルタを取得してもよいし、処理対象フレームの撮影条件情報に対応する復元フィルタと、参照フレームの撮影条件情報に対応する復元フィルタとを復元フィルタ記憶部５８から読み出し、読み出した複数の復元フィルタに基づいて、新たな復元フィルタを取得してもよい。復元フィルタ選択部５３、様々な手法により、処理対象フレームの撮影条件情報に対応するフィルタと参照フレームの撮影条件情報に対応するフィルタとから、新たな復元フィルタを取得することができ、例えば、処理対象フレームの撮影条件情報に対応するフレームと参照フレームの撮影条件情報に対応するフレームとの加重平均により、新たな復元フィルタを求めることができる。

これにより、動画撮影中の撮影条件の変化に対し、処理対象フレームに適用される復元フィルタの変化を抑制し、動画フレーム間における復元率や鮮鋭度が大きく変化しないようにしている。

＜第８実施形態＞
図３３は、第８実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。尚、図２２に示す第２実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本実施形態では、レンズユニット（光学系）１２が装着されると、レンズユニット１２の個体差情報が反映された点像復元回復率Ｇが、レンズユニット１２から強度自動調整部５２−８に入力される。従って、強度自動調整部５２−８は、光学系の個体差情報を含む光学特性情報に基づいて復元強度倍率Ｕを決定する。また、強度自動調整部５２−８に入力される点像復元回復率Ｇは、準合焦領域検出部５０の検出結果により調整される前の点像復元回復率Ｇであり、合焦領域の画像データに対応するものである。

レンズユニット１２（特にレンズ１６等の光学系）は製造誤差等のために光学特性に関して個体差があり、その個体差によってレンズユニット１２毎にＰＳＦが厳密には異なる。従って、レンズユニット１２（光学系）の個体差を無視して点像復元処理を行うと、同一種類のレンズユニット１２を用いて撮影した画像であっても復元度が異なり、復元画像におけるアーティファクトの出現態様も異なることがある。

理想的には、レンズユニット１２の光学特性を忠実に反映したＰＳＦに基づいて点像復元処理が行われ、復元画像にアーティファクトは生じない。しかしながら実際には、レンズユニット１２の個体差に起因して、処理対象画像におけるＰＳＦの影響と、点像復元処理により使用する復元フィルタの基礎を構成するＰＳＦとがマッチングしておらず、復元画像にアーティファクトが生じることがある。個体差が原因で生じるアーティファクトを防ぐための一手法として、点像復元処理における復元強度倍率Ｕを小さい値に設定することにより復元度を抑える手法があるが、復元強度倍率Ｕを小さくすると画像が十分には復元されず所望の鮮鋭度が得られない。この鮮鋭度落ちを防ぐための一手法として、レンズユニット１２の個体毎に、所望のトータル鮮鋭度を実現するための鮮鋭化強度倍率Ｖを逐次調整することが考えられるが、そのような逐次調整は手間がかかる作業であり、不便である。

本実施形態では、準合焦領域における原画像データの解像度を維持しながら過補正になるのを抑制しつつ、更に点像復元処理の復元強度度がレンズ（光学系）の個体毎に調整され、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの決定が自動化される。

即ち、本実施形態では、レンズユニット記憶部２１が復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０を含むとともに、点像復元強度リスト記憶部６７を更に含む。点像復元強度リスト記憶部６７には、レンズユニット１２（光学系）に特有の点像復元回復率Ｇを記憶し、この点像復元回復率Ｇはレンズユニット１２の個体差情報Ｑが反映された値となっている。また、復元フィルタ記憶部５８にはレンズユニット１２（光学系）の種別に応じた復元フィルタＸが記憶されている。尚、復元フィルタＸは同じ種別のレンズユニット１２（光学系）に対して共通に使用される。

点像復元強度リスト記憶部６７に記憶される点像復元回復率Ｇは、レンズユニット１２が交換（装着）されると、鮮鋭回復制御部３７が有する回復率選択部６９によって読み出されて強度自動調整部５２−８に供給される。即ち、回復率選択部６９は、撮影設定条件Ｓに対応する点像復元回復率Ｇを、点像復元強度リスト記憶部６７から読み出して強度自動調整部５２−８に供給する。強度自動調整部５２−８は、上述の第２実施形態と同様に、供給される点像復元回復率Ｇから復元強度倍率Ｕを決定し、この復元強度倍率Ｕ及びトータル鮮鋭度評価値（トータル鮮鋭復元率）に基づいて鮮鋭化強度倍率Ｖを決定する。

本実施形態では復元フィルタ記憶部５８がレンズユニット記憶部２１（レンズユニット１２）に設けられるため、レンズユニット１２が交換（装着）されると、復元フィルタ選択部５３は新たなレンズユニット１２の復元フィルタ記憶部５８から復元フィルタＸを読み出す。そのため、搭載されるレンズユニット１２（光学系）のＰＳＦを反映した復元フィルタＸを復元フィルタ記憶部５８に記憶しておくことにより、各レンズユニット１２には自身のＰＳＦを反映した復元フィルタＸを記憶する復元フィルタ記憶部５８が搭載される。

従って、複数種類のレンズユニット１２がカメラ本体１４に装着可能であっても、装着されたレンズユニット１２に最適化された復元フィルタＸを点像復元フィルタ処理部４２に供給することができる。更に本実施形態によれば、カメラ本体１４に装着されるレンズユニット１２（光学系）の個体差情報Ｑが加味された点像復元回復率Ｇが強度自動調整部５２に供給されるため、光学系の個体差によるＰＳＦの不整合に起因するアーティファクトを防ぐことができる。特に本実施形態では、個体差情報Ｑを反映した点像復元回復率Ｇがレンズユニット記憶部２１（レンズユニット１２）に記憶されるため、カメラ本体１４に装着されるレンズユニット１２が交換されても、交換後のレンズユニット１２の個体差情報Ｑに基づく点像復元回復率Ｇに応じて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定可能である。各フィルタ処理では決定された復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが使用されるため、準合焦領域における原画像データの解像度を維持しながら過補正になるのを抑制しつつ、更に個体差を反映した復元処理を行いつつ所望のトータル鮮鋭度を得ることができる。

尚、点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０は、上述の実施形態ではレンズユニット１２に設けられているが、カメラ本体１４に設けられていてもよい。これらの記憶部がカメラ本体１４に設けられる場合、装着されたレンズユニット１２に対応するデータが外部機器類（コンピュータ９２、サーバ９７等）から、点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０にダウンロードされることが好ましい。

＜第９実施形態＞
図３４は、第９実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。尚、図３３に示す第８実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

図３３に示す上述の第８実施形態では撮影設定条件毎に復元フィルタＸが選択されて点像復元フィルタ処理部４２により用いられるが、図３４に示す第９実施形態では複数の撮影設定条件下（光学系種）では同一の復元フィルタＸが点像復元フィルタ処理部４２で用いられる。

撮影設定条件毎のＰＳＦに対応した復元フィルタを用いる点像復元処理は処理負荷が比較的大きいが、本実施形態は、所定の許容範囲を設定しその許容範囲内の複数の撮影設定条件下においては復元フィルタＸを共通化することにより点像復元処理の負荷を軽減する。ただし、撮影設定条件（光学系種）が異なればＰＳＦも厳密には異なるため、複数の撮影設定条件下において復元フィルタＸを共通化する場合、復元画像におけるアーティファクトの出現態様や画像復元率（画像回復率）は撮影設定条件に応じて変わる。

本実施形態では光学系種に応じて変動するアーティファクト等を防ぐために、カメラ本体１４に取り付けられるレンズユニット１２の種別に応じて、点像復元処理の点像復元回復率Ｇを変化させて、アーティファクトが強く出現し易いレンズユニット１２においては点像復元回復率Ｇを比較的弱く設定する。点像復元回復率Ｇを比較的弱く設定することによって鮮鋭度がばらついて所望のトータル鮮鋭回復度が得られない現象を防ぐため、強度自動調整部５２−９による復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの自動調整を利用する。

即ち、本実施形態では、点像復元強度リスト記憶部６７及び輪郭強調強度リスト記憶部６０はレンズユニット１２（レンズユニット記憶部２１）に設けられるが、輪郭強調強度選択部５４はカメラ本体１４に設けられる。復元フィルタ選択部５３は、カメラ本体１４に装着されるレンズユニット１２にかかわらず、撮影設定条件Ｓに対応する復元フィルタＸを輪郭強調強度選択部５４から選択し、点像復元フィルタ処理部４２及び強度自動調整部５２に供給する。

一方、強度自動調整部５２−９に供給される点像復元回復率Ｇはレンズユニット１２（光学系）毎に定められる。即ち、回復率選択部６９は、レンズユニット記憶部２１の点像復元強度リスト記憶部６７から撮影設定条件Ｓに応じた点像復元回復率Ｇを読み出して強度自動調整部５２−９に供給する。

点像復元強度リスト記憶部６７に記憶される点像復元回復率Ｇのリスト及び輪郭強調強度リスト記憶部６０に記憶される鮮鋭化強度倍率Ｖ０のリストは、レンズユニット１２（光学系）毎に予め算出されて記憶される。

本実施形態ではレンズユニット１２の種類によらずに共通の復元フィルタＸが点像復元フィルタ処理部４２において用いられるため、その復元フィルタＸの共通化を加味した点像復元回復率Ｇ及び鮮鋭化強度倍率Ｖ０（点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０）が強度自動調整部５２−９に送られる。従って、回復率選択部６９は、点像復元強度リスト記憶部６７から選択される点像復元回復率Ｇに対して「復元フィルタＸの共通化」を加味した任意の調整処理を行い、その調整後の点像復元回復率Ｇを強度自動調整部５２に供給してもよい。同様に、輪郭強調強度選択部５４は、輪郭強調強度リスト記憶部６０から選択される鮮鋭化強度倍率Ｖ０に対して「復元フィルタＸの共通化」を加味した任意の調整処理を行い、その調整後の鮮鋭化強度倍率Ｖ０を強度自動調整部５２に供給してもよい。

以上説明したように本実施形態によれば、複数の撮影設定条件（光学系種類）に関して同一の復元フィルタを使用することを考慮して点像復元回復率Ｇが予め定められ、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが算出される。これにより、準合焦領域における原画像データの解像度を維持しながら過補正になるのを抑制しつつ、更に復元フィルタの共通化に起因する復元画像におけるアーティファクトを防ぎつつ、点像復元処理及び鮮鋭化処理によって画像の鮮鋭度を向上させることができる。

尚、上述の例では「複数の光学系」に対して復元フィルタが共通に用いられるが、復元フィルタの共通化の基準となる撮影設定条件は光学系の種類に限定されず、他の撮影設定条件（例えばズーム情報等）に関して復元フィルタが共通に用いられてもよい。

例えば、複数のズーム倍率（特に光学ズーム倍率及びデジタルズーム倍率のうち光学ズーム倍率）に関して同一の復元フィルタを用いる場合、撮影設定条件Ｓに含まれるズーム情報に基づいて復元フィルタ選択部５３が適切な復元フィルタＸを選択し、点像復元フィルタ処理部４２及び強度自動調整部５２−９に供給する。一方、回復率選択部６９は、点像復元強度リスト記憶部６７から撮影設定条件Ｓに応じた点像復元回復率Ｇを読み出して強度自動調整部５２−９に供給する。更に、準合焦領域検出部５０は、原画像内の準合焦領域を示す情報を強度自動調整部５２−９に供給する。

強度自動調整部５２−９は、供給される復元フィルタＸ、点像復元回復率Ｇ、及び準合焦領域を示す情報に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する。この場合、複数のズーム倍率に関して共通の復元フィルタを用いることを考慮した点像復元回復率Ｇや鮮鋭化強度倍率Ｖ０（最大輪郭強調強度）が強度自動調整部５２に供給されてもよい。例えば、回復率選択部６９及び輪郭強調強度選択部５４が、共通復元フィルタの使用を踏まえた点像復元回復率Ｇ及び鮮鋭化強度倍率Ｖ０（最大輪郭強調強度）を読み出し又は決定してもよい。

＜他の変形例＞
上述の実施形態は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。

鮮鋭回復制御部３７（例えば図２２参照）は、少なくとも「絞り値が、第１の閾値によって表される絞り度よりも絞りが開放されていることを示す場合」に、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出することも可能である。例えば、絞り値が開放側である場合に上述の復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの自動調整制御が行われるようにしてもよい。即ち、鮮鋭回復制御部３７（例えば図２２参照）は、画像データを取得した際の光学系（レンズユニット１２）の絞り値（Ｆ値）を取得し、その絞り値と第１の閾値とを比較する。絞り値をＦ値とした場合、取得したＦ値が第１の閾値以下（絞り開放側）の場合のみ、鮮鋭回復制御部３７は、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出してもよい。一般に、点像復元処理による復元率及びアーティファクトの出現態様はＦ値に応じて変動し、特に開放側Ｆ値により撮影された画像データによりアーティファクトが目立ち易い。従って、開放側絞りにより撮影された画像データに対してのみ、上述の各実施形態に係る点像復元処理及び鮮鋭化処理による画像処理を行うことにより、開放側絞り値において表れ易いアーティファクトを抑えつつ、鮮鋭化処理による画像鮮鋭度を向上させることができる。この場合、上述の各実施形態に係る点像復元処理及び鮮鋭化処理による画像処理は、少なくともアーティファクトが目立ち易い開放側Ｆ値により撮影された画像データに対して適用されればよいが、その他のＦ値により撮影された画像データに対して適用されてもよく、開放側Ｆ値により撮影された画像データに対してのみ適用されてもよい。

尚、絞り値は「撮影設定条件」に含まれ、図３４に示す構成において撮影設定条件Ｓが強度自動調整部５２−９に供給されることによって、強度自動調整部５２−９において「絞り値と第１の閾値との比較」及び「点像復元回復率Ｇ（復元率）及び鮮鋭化強度倍率Ｖ（鮮鋭化率）の決定」を行うことができる。また「第１の閾値」は任意の値（Ｆ値）に設定可能であり、ズーム等の他の撮影設定条件に応じて決められてもよく、例えばＦ３．５〜Ｆ６．３の範囲のＦ値に相当する閾値を「第１の閾値」に設定してもよい。

また、上述の実施形態では点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０（トータル鮮鋭復元率）を撮影設定条件Ｓに基づいて輪郭強調強度選択部５４が決定する例が示されているが、ユーザインターフェース２９を介したユーザの指定に基づいて鮮鋭化強度倍率Ｖ０（トータル鮮鋭復元率）が決定されてもよい。

また、上述の各実施形態ではデジタルカメラ１０において復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを自動調整計算する例について説明したが、出荷前にメーカ側において予めその自動調整計算を行い、算出した復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖのパラメータ全てをデジタルカメラ１０（レンズユニット記憶部２１、本体記憶部３１等）に記憶保持させてもよい。例えば「復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖ」と「撮影設定条件Ｓ」とを対応付けたテーブルをデジタルカメラ１０は記憶保持し、強度自動調整部５２はこのテーブルを参照して撮影設定条件Ｓから復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを求めることができる。この場合、デジタルカメラ１０（画像処理部）において用いられるパラメータを生成するパラメータ生成方法は、「点像復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率に基づくトータル鮮鋭復元率を取得するステップ」と、「復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出するステップ」と、を備える。これらのステップは、例えば上述の第２実施形態に係る強度自動調整部５２−２と同様にして実行可能である。

また、本明細書に記載の実施形態同士を適宜組み合わせてもよく、第２実施形態〜第９実施形態及び変形例のうち、任意の形態同士が組み合わされてもよい。例えば第３実施形態（図２３参照）において輪郭強調強度選択部５４は、カメラ本体１４に装着されるレンズユニット１２の光学特性情報を取得し、その光学特性情報（光学系が有するレンズ種類情報、光学系の個体差情報、撮影設定条件等）に基づいて鮮鋭化強度倍率Ｖを決定してもよい。この場合、輪郭強調強度選択部５４は任意の手法により光学特性情報を取得することができ、例えば輪郭強調強度選択部５４（本体コントローラ２８）はレンズユニットコントローラ２０と通信してレンズユニット１２の光学特性情報を取得してもよい。また、図３５に示す変形例のように、個体差情報Ｑ（光学特性情報）が反映された鮮鋭化強度倍率Ｖ０、Ｖを輪郭強調強度リスト記憶部６０に記憶しておくことにより、「光学特性情報の取得」及び「光学特性情報に基づく鮮鋭化強度倍率Ｖ０、Ｖの決定」を同時的に行い、輪郭強調強度選択部５４から鮮鋭化強度倍率Ｖ０、Ｖを強度自動調整部５２−１０に供給してもよい。

また、本明細書に記載の実施形態が適用される撮像装置において、光学ローパスフィルタ（Optical Low Pass Filter）が無い撮像装置に対しては、本発明の効果はより多く得られる。光学ローパスフィルタが無いことにより、被写体画像の解像度が高まり合焦領域（フォーカス領域）のコントラストが高まると同時に、準合焦領域も発生しやすくなるためである。

また、上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の各装置及び処理部（本体コントローラ２８、デバイス制御部３４、画像処理部３５における画像処理方法（画像処理手順）をコンピュータに実行させる画像処理プログラム、その画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはその画像処理プログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図３６は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図３６に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備える。尚、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図３７は、図３６に示すスマートフォン１０１の構成を示すブロック図である。図３７に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Global Positioning System）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。デバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図３６に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図３６に示すように、例えば、スピーカ１３１及びマイクロホン１３２を、表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３６に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などにより押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、MicroSD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図３６に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部１４１を同時に使用して撮影することもできる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１により取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内において利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

上述の画像処理部３５（鮮鋭回復制御部３７、復元処理部３８、輪郭強調処理部３９：図３参照）は、例えば主制御部１００によって実現可能である。

１０…デジタルカメラ、１２…レンズユニット（光学系）、１４…カメラ本体、１６…レンズ、１８…光学系操作部、２０…レンズユニットコントローラ、２１…レンズユニット記憶部、２２…レンズユニット入出力部、２６…撮像素子、２８…本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３１…本体記憶部、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３７、３７−２〜３７−１０…鮮鋭回復制御部、３８…復元処理部、３９…輪郭強調処理部、４２…点像復元フィルタ処理部、４３…復元乗算器、４４…復元加算器、４６…輪郭強調フィルタ処理部、４７…鮮鋭化乗算器、４８…鮮鋭化加算器、５２、５２−２〜５２−１０…強度自動調整部、５３…復元フィルタ選択部、５４…輪郭強調強度選択部、５８…復元フィルタ記憶部、６０…輪郭強調強度リスト記憶部、６１…第１加算器、６２…第２加算器、６３…鮮鋭復元調整部、６５…非線形処理部、６７…点像復元強度リスト記憶部、６９…回復率選択部、Ｃ…撮影設定条件、Ｇ…点像復元回復率、Ｕ…復元強度倍率、Ｖ…鮮鋭化強度倍率、Ｘ…復元フィルタ、Ｍ…撮影モード情報、Ｑ…個体差情報

Claims (18)

1. 光学系を用いた被写体像の撮像により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理装置であって、
   前記原画像データに対し、前記復元フィルタを適用することにより前記復元処理を行う復元処理部と、
   前記復元処理部を制御することにより、前記復元処理による前記原画像データの復元率を調整可能な鮮鋭回復制御部と、
   前記原画像データに対応する原画像内の準合焦領域を検出する準合焦領域検出部と、を備え、
   前記鮮鋭回復制御部は、前記準合焦領域の原画像データに対する前記復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくする画像処理装置。
2. 前記鮮鋭回復制御部は、前記準合焦領域の原画像データに対する前記復元率を調整する際に、前記合焦領域と準合焦領域との境界の復元率を連続的に変化させる請求項１に記載の画像処理装置。
3. 前記準合焦領域検出部は、前記原画像データにおける準合焦領域のデフォーカス量を検出する第１のデフォーカス量検出部を有し、
   前記鮮鋭回復制御部は、前記第１のデフォーカス量検出部により検出されたデフォーカス量に応じて、前記準合焦領域の原画像データに対する前記復元率を調整する請求項１に記載の画像処理装置。
4. 前記原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部を備え、
   前記鮮鋭回復制御部は、前記復元処理部及び鮮鋭化処理部をそれぞれ制御することにより、前記復元処理による前記準合焦領域の原画像データの復元率、及び前記鮮鋭化処理による前記準合焦領域の原画像データの鮮鋭化率をそれぞれ調整する請求項１に記載の画像処理装置。
5. 前記鮮鋭回復制御部は、前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率と、前記復元率及び前記鮮鋭化率のうちの一方とから、前記復元率及び前記鮮鋭化率のうちの他方を算出する請求項４に記載の画像処理装置。
6. 前記鮮鋭回復制御部は、前記準合焦領域の原画像データに対する前記復元率及び鮮鋭化率をそれぞれ調整する際に、前記合焦領域と準合焦領域との境界の復元率及び鮮鋭化率をそれぞれ連続的に変化させる請求項４又は５に記載の画像処理装置。
7. 前記準合焦領域検出部は、前記原画像データにおける準合焦領域のデフォーカス量を検出する第１のデフォーカス量検出部を有し、
   前記鮮鋭回復制御部は、前記第１のデフォーカス量検出部により検出されたデフォーカス量に応じて、前記準合焦領域の原画像データに対する前記復元率及び鮮鋭化率をそれぞれ調整する請求項４又は５に記載の画像処理装置。
8. 前記原画像データは、複数のフレームを含む動画データであり、
   前記鮮鋭回復制御部は、前記動画データを構成する各原画像データに対する前記復元率を調整する際に、処理対象の原画像データの前フレーム又は後フレームの撮影条件に応じて、前記復元率を調整する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記光学系は、前記原画像データが読み出される撮像素子が搭載される撮像本体に交換可能に装着される交換レンズである請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記鮮鋭回復制御部は、装着された前記交換レンズから当該交換レンズの光学特性情報を取得する請求項９に記載の画像処理装置。
11. 前記準合焦領域検出部は、前記原画像データに基づいて、準合焦に対応する特定の周波数成分又は当該特定の周波数を含む近傍の周波数成分を、原画像内の分割領域毎に抽出する周波数成分抽出部を有し、前記原画像内の分割領域毎に抽出した前記周波数成分の大きさに基づいて前記原画像内の準合焦領域を検出する請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記周波数成分抽出部は、前記原画像内の分割領域毎に、当該分割領域内のエッジ部を検出するエッジ部検出部を有し、前記検出したエッジ部の原画像データに基づいて、準合焦に対応する特定の周波数成分又は当該特定の周波数を含む近傍の周波数成分を、原画像内の分割領域毎に抽出する請求項１１に記載の画像処理装置。
13. 前記周波数成分抽出部は、前記原画像データのサンプリング周波数をｆｓとすると、０．０５ｆｓから０．２５ｆｓの範囲内の周波数成分を、原画像内の分割領域毎に抽出し、
    前記準合焦領域検出部は、前記原画像内の分割領域毎に抽出した前記周波数成分の大きさが、合焦領域のレスポンスを１とすると、０．２と０．７のレスポンスにそれぞれ対応する下限値と上限値の範囲に入るか否かに応じて、前記原画像内の準合焦領域を検出する請求項１１又は１２に記載の画像処理装置。
14. 前記原画像データに対応する原画像内の分割領域毎の被写体距離と、前記原画像データの撮像時の撮影条件とを取得する取得部を備え、
    前記準合焦領域検出部は、前記取得した撮像範囲内の領域毎の被写体距離と、前記取得した撮影条件により決定される被写界深度とに基づいて、前記原画像内の準合焦領域を検出する請求項１から１３のいずれか１項に記載の画像処理装置。
15. 請求項１から１０のいずれか１項に記載の画像処理装置と、
    前記光学系を用いた被写体像の撮像により前記原画像データを取得する撮像部と、
    前記撮像部による撮像範囲内の全領域のデフォーカス量を検出する第２のデフォーカス量検出部と、を備え、
    前記準合焦領域検出部は、前記第２のデフォーカス量検出部により検出された撮像範囲内の全領域のデフォーカス量に基づいて、前記原画像内の準合焦領域を検出する撮像装置。
16. 請求項１から１４のいずれか１項に記載の画像処理装置を備える撮像装置。
17. 光学系を用いた被写体像の撮像により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理方法であって、
    前記原画像データに対し、前記復元フィルタを適用することで前記復元処理を行うステップと、
    前記復元処理による前記原画像データの復元率を調整するステップと、
    前記原画像データに対応する原画像内の準合焦領域を検出するステップと、を含み、
    前記復元率を調整するステップは、前記準合焦領域の原画像データに対する前記復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくする画像処理方法。
18. 光学系を用いた被写体像の撮像により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理プログラムであって、
    前記原画像データに対し、前記復元フィルタを適用することで前記復元処理を行うステップと、
    前記原画像データに対応する原画像内の準合焦領域を検出するステップと、
    前記復元処理による前記原画像データの復元率を調整するステップであって、前記検出した準合焦領域の原画像データに対する復元率を調整することにより、少なくとも合焦領域の原画像データに対する復元率よりも小さくするステップと、
    をコンピュータに実行させる画像処理プログラム。