JP5992633B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は復元処理及び鮮鋭化処理を行う画像処理装置、撮像装置、パラメータ生成方法、画像処理方法及びプログラムに係り、特に復元強度及び鮮鋭化強度の調整手法に関する。

光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。

点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることにより画質を回復可能である。この点像復元処理は、光学系を構成するレンズの収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いた画像処理によって撮影画像の点拡がりをキャンセルする処理である。

撮影条件やレンズが変わるとＰＳＦは変化するため、撮影条件が変わったりレンズが交換されたりする度に点像復元処理において使用する復元フィルタを切り替えて、新たな撮影条件や新しく装着されたレンズに対応する復元フィルタを使用することにより点像復元処理を行うことが好ましい。

点像復元処理において使用可能な復元フィルタの代表例として、ウィナー（Ｗｉｅｎｅｒ）フィルタが知られている。レンズの光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と、周波数依存の撮像系ＳＮ比（Ｓｉｇｎａｌ−Ｎｏｉｓｅ ｒａｔｉｏ）とが決定されれば、ウィナーフィルタによる点像復元処理は数学的に一意に決められる処理である。

また点像復元処理以外にも画質を改善するための画像処理が行われることがあり、例えば鮮鋭化処理（輪郭強調処理、エッジ強調処理、及びシャープネス強調処理等）によって画像の鮮鋭度、すなわちシャープネスを向上させることができる。

上述の点像復元処理及び鮮鋭化処理に関する具体的な処理手法として、例えば特許文献１は、位相劣化成分を低減させる画像回復フィルタと振幅劣化成分を低減させるエッジ強調フィルタとを使用する画像処理を開示する。また特許文献２は、「画像復元フィルタを用いる画像復元処理を行った後にエッジ強調処理を行う手ぶれ補正」及び「単にエッジ強調処理を行う手ぶれ補正」を行うことを開示する。また特許文献３は、撮影時の絞り等の条件に応じて映像信号の輪郭成分の強調度合いを決定することを開示する。また特許文献４は、復元強度の異なるフィルタをエッジ強度に応じて選択することにより、復元フィルタ自体の強度をエッジ強度に応じて変えることを開示する。

特開２０１１−１２３５８９号公報 特開２００６−３３３０６１号公報 特開２００９−２７７５０号公報 特開２００６−１２９２３６号公報

撮影シーン（被写体）や撮影条件によっては、点像復元処理により画像にアーティファクト（リンギング等）が生じることがあり、アーティファクトなどの画質劣化を防ぐために点像復元処理の復元強度を弱くせざるをえない場合がある。アーティファクトは理想的な条件下での点像復元処理では出現しないはずであるが、実際の処理では、レンズやセンサの個体ばらつき、点像復元処理よりも前段の信号処理の非線形特性、等によって、入力画像の周波数特性が不正になり、アーティファクトが発生することがある。

あるいは点像復元処理のオン及びオフを切り替え可能な画像処理系において、点像復元処理をオフにする場合がある。このような場合であっても、レンズの光学特性（ＰＳＦ、ＯＴＦ）やウィナーフィルタ設計基準を考慮せずに設計された「ＰＳＦとは異なる基準に基づいて決定される画像処理」を行うことが可能である。この「ＰＳＦとは異なる基準に基づいて決定された画像処理」として、例えば、設計者の主観評価に基づく画像処理、ユーザの好みに基づく画質微調整、レンズの個体ばらつきを考慮したユーザによるシャープネス微調整などがある。

ここで「点像復元処理オン画像」及び「点像復元処理オフ画像（「ＰＳＦとは異なる基準に基づいて決定された画像処理」オン画像）」を比較すると、「点像復元処理オフ画像」の方が、「点像復元処理オン画像」よりもシャープネスが強くなってしまうことが生じうる。これは処理内容的には妥当だが、点像復元処理（画質回復処理）を行った画像であるにもかかわらず、点像復元処理を行わない画像よりもシャープネスが弱くなるため、実画像の画質と直感との間の不一致感をユーザにもたらしうる。また「点像復元処理オン画像」と「点像復元処理オフ画像」との間でのシャープネスの乖離が過大となる場合もあり、操作性の不便をユーザに感じさせうる。また画質劣化を回避するなどの目的において復元強度を変更することにより点像復元処理を行う場合にも同様の不便がもたらされることがあり、点像復元処理を行った画像間でシャープネスがばらついて、ユーザに対し違和感を与えてしまう。

復元強度の異なる点像復元処理が施された画像間での画質鮮鋭度のばらつきや、「点像復元処理オン画像」と「点像復元処理オフ画像」との間での画質鮮鋭度の乖離を防ぐための有効な提案は、従来なされていなかった。例えば特許文献１に記載の装置では画像回復フィルタを使用した画像処理及びエッジ強調フィルタを使用した画像処理が行われるが、両画像処理を相関させて画像回復度及びエッジ強調度を調整することについて、特許文献１は開示も示唆もしていない。また特許文献２〜４に開示される画像処理技術に関しても同様であり、点像復元処理と鮮鋭化処理との間で復元度及び鮮鋭化度の統合的な調整を行って画像鮮鋭度の統一化を図ることを、特許文献２〜４は開示も示唆もしていない。

本発明は上述の事情に鑑みてなされたものであり、点像復元処理の復元強度の変動や点像復元処理のオン及びオフの切り替えがあっても、画像鮮鋭度を過大に変化させずに画質改善を安定的に行うことが可能な画像処理技術及びその関連技術を提供することを目的とする。

本発明の一態様は、光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、復元処理部及び鮮鋭化処理部を制御することにより、復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、鮮鋭回復制御部は、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率を取得し、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する画像処理装置に関する。

本態様によれば、復元率及び鮮鋭化率がトータル鮮鋭復元率に基づいて定められるため、復元率の増減に応じて鮮鋭化率が調整され、或いは鮮鋭化率の増減に応じて復元率が調整される。したがって、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を過大に変化させることなく、画像データの画質を安定的に改善することができる。

「点拡がり関数に基づく復元フィルタ」は、光学系の点拡がり関数（ＰＳＦ）を用いて生成される逆フィルタやウィナーフィルタ等に基づく復元フィルタであり、「復元処理」はそのような復元フィルタを画像データに適用する処理を含む。また「点拡がり関数」は光学系の点光源に対する応答を表す関数であり、ＰＳＦ及びＯＴＦ（ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ））に基づいて表現可能である。

一方、「鮮鋭化フィルタ」は、「光学系の点拡がり関数（ＰＳＦ）から逆フィルタやウィナーフィルタを用いて生成されたフィルタ（復元フィルタ）」以外のフィルタ類を使用することが可能である。したがって「鮮鋭化フィルタ」として、例えば光学系の点拡がり関数に基づかないフィルタを好適に用いることができ、点拡がり関数以外の他の要素（パラメータ）に基づいて算出されるフィルタを「鮮鋭化フィルタ」として採用しうる。点拡がり関数に基づかない鮮鋭化フィルタとしては、点拡がり関数に基づかずに作成されたフィルタであれば、点拡がり関数が異なる絞り値等に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。同様に、点拡がり関数が異なる像高に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。また、鮮鋭化処理における鮮鋭化フィルタの強度（ゲイン）が絞り値や像高に応じて変えられてもよい。

「鮮鋭化処理」は、画像データの高周波成分を補償又は強調する処理であって、画像の輪郭成分を強調する処理である。したがって、例えば輪郭強調処理、エッジ強調処理或いはシャープネス強調処理と呼ばれる処理が、ここでいう「鮮鋭化処理」に含まれうる。

なお、復元フィルタ及び鮮鋭化フィルタはＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタとして構成することができる。

望ましくは、鮮鋭回復制御部は、復元率を取得し、トータル鮮鋭復元率及び復元率に基づいて鮮鋭化率を算出する。

本態様によれば、復元率に応じて鮮鋭化率が調整され、復元率の増減による影響をトータル鮮鋭復元率に基づいて鮮鋭化率により補償することができる。

望ましくは、鮮鋭回復制御部は、ユーザが指定する指定回復率に基づいて復元率を定める。

本態様によれば、復元処理の復元率をユーザが指定する指定回復率に基づいて定めることができる。

望ましくは、復元率は、光学系の特性を表す光学特性情報に基づいて定められる。

本態様によれば、光沢特性情報を反映した復元処理を行うことができる。

望ましくは、光学系は、光学特性情報を記憶する光学系記憶部を有し、復元率は、光学系記憶部に記憶される光学特性情報に基づいて定められる。

本態様によれば、光学系記憶部が記憶する光学特性情報に基づいて復元率を定めることができ、光学特性情報が変動する場合であっても適切な復元率を定めることができる。例えば光学系が交換可能な場合に、本態様は好適である。

望ましくは、鮮鋭回復制御部は、鮮鋭化率を取得し、トータル鮮鋭復元率及び鮮鋭化率に基づいて復元率を算出する。

本態様によれば、鮮鋭化率に応じて復元率が調整され、鮮鋭化率の増減による影響をトータル鮮鋭復元率に基づいて復元率により補償することができる。

望ましくは、鮮鋭回復制御部は、画像データの撮影における撮影設定条件に基づいて鮮鋭化率を決定する。

本態様によれば、撮影設定条件に応じた鮮鋭化率によって鮮鋭化処理を行うことができる。したがって例えば撮影設定条件が変動しても、適切な鮮鋭化率により鮮鋭化処理を行うことが可能である。

望ましくは、鮮鋭化率は、光学系の特性を表す光学特性情報に基づいて定められる。

本態様によれば、光学特性情報に応じた鮮鋭化率によって鮮鋭化処理を行うことができる。したがって例えば光学特性情報が変動しても、適切な鮮鋭化率により鮮鋭化処理を行うことが可能である。

望ましくは、光学系は、光学特性情報を記憶する光学系記憶部を有し、鮮鋭化率は、光学系記憶部に記憶される光学特性情報に基づいて定められる。

本態様によれば、光学系記憶部が記憶する光学特性情報に基づいて鮮鋭化率を定めることができ、光学特性情報が変動する場合であっても適切な鮮鋭化率を定めることができる。例えば光学系が交換可能な場合に、本態様は好適である。

望ましくは、光学特性情報は、光学系が有するレンズの種類情報を含む。

本態様によれば、光学系の有するレンズの種類情報に応じて、適切な復元率または鮮鋭化率を決定できる。光学的な特性はレンズの種類によって左右され、特に点拡がり現象はレンズ種類毎に固有のＰＳＦによって定まる。したがって、点拡がり関数に基づく復元処理の復元率を、光学系が有するレンズの種類情報を考慮して決めることにより優れた復元効果が奏され、特に光学系の点拡がり関数と復元フィルタとのマッチングにズレがある場合であっても、そのズレを復元率によってカバーできる。また復元率及びトータル鮮鋭復元率に基づいて算出された鮮鋭化率により鮮鋭化処理を行うことにより、画像データの画質を安定的に改善することができる。

望ましくは、光学特性情報は、光学系の個体差情報を含む。

本態様によれば、光学系の個体差情報に応じて、適切な復元率または鮮鋭化率を決定できる。光学的な特性は個々の光学系によって左右され、特に点拡がり現象は光学系毎に固有のＰＳＦによって定まるが、同じ種類の光学系であっても製造誤差等によって個体差が存在する。したがって、点拡がり関数に基づく復元処理の復元率を、光学系の個体差情報を考慮して決めることにより優れた復元効果が奏され、特に光学系の点拡がり関数と復元フィルタとのマッチングにズレがある場合であっても、そのズレを復元率によってカバーできる。また復元率及びトータル鮮鋭復元率に基づいて算出された鮮鋭化率により鮮鋭化処理を行うことにより、画像データの画質を安定的に改善することができる。

なお「個体差情報」は、製造誤差等による光学系に個別的に生じうる誤差に関する情報を含む。個体差情報は個体差を直接的に示すものであってもよいし間接的に示すものであってもよく、例えば光学系に割り当てられるロットナンバーやシリアルナンバーを個体差情報として用いてもよい。

望ましくは、光学特性情報は、撮影設定条件を含む。

本態様によれば、撮影設定条件に応じて、適切な復元率及び鮮鋭化率を決定できる。光学的な特性は撮影設定条件によって左右され、特に点拡がり現象は光学系毎に固有のＰＳＦによって定まるが、ＰＳＦは撮影設定条件によって変動する。したがって、点拡がり関数に基づく復元処理を、撮影設定条件を考慮して決めることにより優れた復元効果が奏され、特に光学系の点拡がり関数と復元フィルタとのマッチングにズレがある場合であっても、そのズレを復元率によってカバーできる。また復元率及びトータル鮮鋭復元率に基づいて算出された鮮鋭化率により鮮鋭化処理を行うことにより、画像データの画質を安定的に改善することができる。

望ましくは、鮮鋭回復制御部は、画像データを取得した際の光学系の絞り値を取得し、絞り値と第１の閾値とを比較し、少なくとも絞り値が、第１の閾値によって表される絞り度よりも絞りが開放されていることを示す場合に、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する。

本態様によれば、絞りが開放されている場合に、復元率及び鮮鋭化率のうちの一方が取得され、復元率及び鮮鋭化率のうちの他方がトータル鮮鋭復元率に基づいて算出される。

望ましくは、鮮鋭回復制御部は、画像データを取得した際の撮影モード情報を取得し、撮影モード情報が動画記録モードを示す場合には、トータル鮮鋭復元率を一定に保つ。

本態様によれば、動画記録モードでトータル鮮鋭復元率が一定に保たれ、動画記録の間にトータル鮮鋭復元率が変動することを防ぐことができる。これにより、記録動画（画像データ）の画質の連続性を良好に保持できる。

望ましくは、鮮鋭回復制御部は、撮影モード情報が動画記録モードを示す場合には、撮影モード情報が静止画記録モードを示す場合よりも、復元率を小さくする。

本態様によれば、動画記録モードの復元率が静止画記録モードの復元率よりも小さくされ、動画に対する復元処理において過補正等を効果的に防ぐことができる。

望ましくは、復元フィルタは、画像データの撮影における撮影設定条件に基づいて決定される。

本態様によれば、撮影設定条件に応じた復元フィルタを用いて復元処理を行うことができる。

望ましくは、撮影設定条件は、点拡がり関数に影響する設定条件を含む。

本態様によれば、点拡がり関数に影響する設定条件が撮影設定条件として使用されるため、点拡がり現象の影響を効果的に取り除くことが可能な画像処理（復元処理）を行うことができる。

望ましくは、設定条件は、絞り情報、ズーム情報、被写体距離情報、及び光学系が有するレンズ種類情報のうち少なくともいずれか１つを含む。

本態様によれば、点拡がり現象の影響を効果的に取り除くことが可能な画像処理（復元処理）を行うことができる。

望ましくは、撮影設定条件は、点拡がり関数に影響を及ぼさない撮影条件を含む。

本態様によれば、点拡がり現象以外の影響を効果的に取り除くことが可能な画像処理を行うことができる。

望ましくは、撮影条件は、撮影感度情報及び撮影モード情報のうち少なくともいずれか１つを含む。

本態様によれば、撮影感度情報及び撮影モード情報のうち少なくともいずれか１つに基づく画像処理を行うことができる。

望ましくは、画像処理装置は、複数の光学系の点拡がり関数に基づく複数の復元フィルタを記憶する復元フィルタ記憶部と、画像データの撮影に用いられた光学系の点拡がり関数に基づく復元フィルタを、撮影設定条件に基づいて復元フィルタ記憶部から選択する復元フィルタ選択部とを更に備え、復元処理部は、復元フィルタ選択部が選択した復元フィルタを用いて復元処理を行う。

本態様によれば、撮影設定条件に基づく復元フィルタが復元フィルタ記憶部から選択されて復元処理に用いられ、復元フィルタの決定を簡便に行うことができる。

望ましくは、復元フィルタは、複数の光学系に関して共通に用いられる。

本態様によれば、複数の光学系に関して復元フィルタが共通に用いられるため、復元フィルタの決定処理を簡略化して、復元処理を簡便に行うことができる。また、複数の光学系に関して復元フィルタが共通に用いられることにより光学系の点拡がり関数と復元フィルタとのマッチングにズレがある場合であっても、そのズレを復元率によってカバーすることができる。さらに、復元率及びトータル鮮鋭復元率に基づいて算出された鮮鋭化率により鮮鋭化処理を行うことにより、画像データの画質を安定的に改善することができる。なお本態様は、光学系が交換可能な場合に好適である。

望ましくは、復元フィルタは、複数の撮影設定条件に関して共通に用いられる。

本態様によれば、複数の撮影設定条件に関して復元フィルタが共通に用いられるため、復元フィルタの決定処理を簡略化して、復元処理を簡便に行うことができる。また、複数の撮影設定条件に関して復元フィルタが共通に用いられることにより光学系の点拡がり関数と復元フィルタとのマッチングにズレがある場合であっても、そのズレを復元率よってカバーすることができる。さらに、復元率及びトータル鮮鋭復元率に基づいて算出された鮮鋭化率により鮮鋭化処理を行うことにより、画像データの画質を安定的に改善することができる。

望ましくは、複数の撮影設定条件は、光学系のズーム情報を含む。

本態様によれば、複数の光学系ズーム条件に関して復元フィルタが共通に用いられるため、復元フィルタの決定処理を簡略化することにより、復元処理を簡便に行うことができる。

望ましくは、鮮鋭回復制御部は、第１の周波数においてトータル鮮鋭復元率を目標鮮鋭復元率に調整する。

本態様によれば、画像データのうち少なくとも第１の周波数における復元率及び鮮鋭化率が目標鮮鋭復元率によって定まるため、少なくとも第１の周波数における画像成分の復元度及び鮮鋭化度を良好に保つことが可能となる。

なお「第１の周波数」及び「目標鮮鋭復元率」は特に限定されないが、例えばユーザの視覚特性に基づいて「第１の周波数」及び「目標鮮鋭復元率」を決定してもよい。

望ましくは、復元処理部及び鮮鋭化処理部は直列に設けられ、画像データは、復元処理及び鮮鋭化処理のうちの一方の処理を受けた後に他方の処理を受ける。

本態様によれば、復元処理及び鮮鋭化処理が直列的に行われる。

望ましくは、復元処理部及び鮮鋭化処理部は並列に設けられ、画像データは復元処理部及び鮮鋭化処理部に入力され、復元処理による画像データの増減分データと、鮮鋭化処理による画像データの増減分データとが加算される。

本態様によれば、復元処理及び鮮鋭化処理が並列的に行われる。

望ましくは、画像処理装置は、画像データの非線形処理を行う非線形処理部を更に備える。

本態様によれば、画像データの非線形処理が行われるシステムにおいて、適切な復元率及び鮮鋭化率を決定できる。ここでいう非線形処理は、一次式で表される演算処理以外の処理を含む処理全般を含みうるものであり、典型的には条件分岐処理を含む処理が非線形処理となる。

望ましくは、非線形処理部は、復元処理部及び鮮鋭化処理部のうち少なくともいずれか一方に含まれる。

本態様によれば、復元処理及び／又は鮮鋭化処理が非線形処理を含む場合であっても、適切な復元率及び鮮鋭化率を決定できる。

望ましくは、非線形処理は、画像データのうちクリップ閾値を超える画素値をクリップ閾値に調整するクリップ処理である。

本態様によれば、クリップ処理が行われる場合であっても、適切な復元率及び鮮鋭化率を決定できる。

望ましくは、光学系は、撮像素子が搭載される撮像本体に交換可能に装着される。

本態様によれば、光学系が交換可能であっても、適切な復元率及び鮮鋭化率を決定できる。

本発明の他の態様は、上記のいずれかの画像処理装置を備える撮像装置に関する。

本発明の他の態様は、光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部とを含む画像処理部において用いられるパラメータを生成するパラメータ生成方法であって、復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率に基づくトータル鮮鋭復元率を取得するステップと、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出するステップと、を備えるパラメータ生成方法に関する。

本発明の他の態様は、光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理ステップと、画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理ステップと、復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率に基づくトータル鮮鋭復元率を取得するステップと、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出するステップとを含む画像処理方法に関する。

本発明の他の態様は、光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う手順と、画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う手順と、復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率に基づくトータル鮮鋭復元率を取得する手順と、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する手順と、をコンピュータに実行させるためのプログラムに関する。

本発明によれば、トータル鮮鋭復元率に基づいて復元率及び鮮鋭化率が定められるため、復元処理及び鮮鋭化処理による画像の復元率及び鮮鋭化率が過大又は過小になることが防がれる。したがって、復元処理の復元強度の変動や復元処理のオン・オフの切り替えがあっても、鮮鋭度を過大に変化させず、良画質の画像データを提供することができる。

コンピュータに接続されるデジタルカメラを示すブロック図である。 本体コントローラの構成例を示すブロック図である。 画像処理部の構成例を示すブロック図であり、とりわけ点像復元処理及び鮮鋭化処理に係る構成を示す。 点像復元強度及び鮮鋭化強度の調整を説明するための概念図である。 第１実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第２実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 画像処理の周波数特性を例示する図であり、図７（ａ）は鮮鋭化処理（輪郭強調フィルタ処理部）における「周波数−ゲイン」関係例を示し、図７（ｂ）は点像復元処理（点像復元フィルタ処理部）における「周波数−ゲイン」関係例を示し、図７（ｃ）は鮮鋭化処理及び点像復元処理全体における「周波数−ゲイン」関係例を示す。 第４実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第５実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第６実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第７実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第８実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 一変形例に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 スマートフォンの外観を示す図である。 図１４に示すスマートフォンの構成を示すブロック図である。

添付図面を参照することにより本発明の実施形態について説明する。以下の実施形態においては、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する場合について説明する。

図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。本例のデジタルカメラ１０においては、撮像素子２６が搭載されるカメラ本体（撮像本体）１４に光学系の一例であるレンズユニット１２が交換可能に装着され、カメラ本体１４に画像処理装置が設けられている。

すなわちデジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とが電気的に接続される。

光学系の一例であるレンズユニット１２は、レンズ１６及び絞り１７と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、各種の情報（光学系情報等）を記憶するレンズユニット記憶部２１と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、カメラ本体１４からレンズユニット入出力部２２を介して送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えばレンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。またレンズユニットコントローラ２０は、カメラ本体１４からレンズユニット入出力部２２を介して送られてくる制御信号に基づき、レンズユニット記憶部２１に記憶される各種情報を読み出してカメラ本体１４（本体コントローラ２８）に送信する。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタと、イメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）とを有する。この撮像素子２６は、レンズユニット１２において光学系を構成するレンズ１６、絞り１７等を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）を本体コントローラ２８に送る。

本体コントローラ２８は、詳細については後述するが（図２参照）、デジタルカメラ１０の各部を統括的に制御するデバイス制御部としての機能と、撮像素子２６から送られてくる画像データの画像処理を行う画像処理部としての機能とを有する。

デジタルカメラ１０は、さらに、撮影等に必要なその他の機器類（シャッター等）を具備し、それらの機器類の一部はユーザによって確認及び操作可能なユーザインターフェース２９を構成する。ユーザインターフェース２９はレンズユニット１２及び／又はカメラ本体１４に配置可能であり、図１に示す例ではカメラ本体１４にユーザインターフェース２９が設けられている。ユーザは、ユーザインターフェース２９を介し、撮影等のための各種設定（ＥＶ値（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）等）の決定及び変更、撮影指示、ライブビュー画像及び撮影画像の確認、等を行うことができる。ユーザインターフェース２９は本体コントローラ２８に接続され、ユーザによって決定及び変更された各種設定及び各種指示が本体コントローラ２８における各種処理（デバイス制御処理、及び画像処理等）に反映される。

本体コントローラ２８において画像処理された画像データは、カメラ本体１４に設けられる本体記憶部３１に記憶され、必要に応じ、入出力インターフェース３２を介してコンピュータ９２等に送られる。本体記憶部３１は任意のメモリ体によって構成され、メモリカード等の交換可能メモリが好適に用いられる。本体コントローラ２８から出力される画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ
Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意のフォーマットとしうる。また本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。

コンピュータ９２は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部９３を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ９４は、コンピュータ９２を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット９６等のネットワーク回線を介してコンピュータ入出力部９３に接続されるサーバ９７等との通信を制御する。コンピュータ９２はディスプレイ９５を有し、コンピュータコントローラ９４における処理内容等が必要に応じてディスプレイ９５に表示される。ユーザは、ディスプレイ９５の表示を確認しながらキーボード等の入力手段（図示省略）を操作することにより、コンピュータコントローラ９４にデータやコマンドを入力可能である。これによりユーザは、コンピュータ９２や、コンピュータ９２に接続される機器類（デジタルカメラ１０、サーバ９７）を制御可能である。

サーバ９７は、サーバ入出力部９８及びサーバコントローラ９９を有する。サーバ入出力部９８は、コンピュータ９２等の外部機器類との送受信接続部を構成し、インターネット９６等のネットワーク回線を介してコンピュータ９２のコンピュータ入出力部９３に接続される。サーバコントローラ９９は、コンピュータ９２からの制御指示信号に応じ、コンピュータコントローラ９４と協働し、コンピュータコントローラ９４との間において必要に応じてデータ類の送受信を行い、データ類をコンピュータ９２にダウンロードし、演算処理を行ってその演算結果をコンピュータ９２に送信する。

各コントローラ（レンズユニットコントローラ２０、本体コントローラ２８、コンピュータコントローラ９４、サーバコントローラ９９）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）やメモリ等を具備する。またデジタルカメラ１０、コンピュータ９２及びサーバ９７間の通信は、有線であってもよいし無線であってもよい。またコンピュータ９２及びサーバ９７を一体的に構成してもよく、またコンピュータ９２及び／又はサーバ９７が省略されてもよい。またデジタルカメラ１０にサーバ９７との通信機能を持たせ、デジタルカメラ１０とサーバ９７との間で直接的にデータ類の送受信が行われるようにしてもよい。

図２は、本体コントローラ２８の構成例を示すブロック図である。本体コントローラ２８は、デバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。

デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を本体記憶部３１に記憶し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ９２等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。またデバイス制御部３４は、表示部（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部：ユーザインターフェース２９）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行う。例えばセンサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。特に本例の画像処理部３５は、光学系の点拡がり関数に基づく復元処理（点像復元処理）と、点拡がり関数には基づかない輪郭強調処理等の鮮鋭化処理とを画像信号（画像データ）に対して行う。

図３は、画像処理部３５の構成例を示すブロック図であり、とりわけ点像復元処理及び鮮鋭化処理に係る構成を示す。

本例の画像処理部３５は、鮮鋭回復制御部３７、復元処理部３８及び輪郭強調処理部（鮮鋭化処理部）３９を有する。

復元処理部３８は、光学系（レンズ１６等）を用いた被写体の撮影により撮像素子２６から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う（復元処理ステップ）。復元フィルタは、ＰＳＦ劣化を回復するためのフィルタであり、例えばウィナーフィルタを復元フィルタとして好適に使用できる。一方、輪郭強調処理部３９は、画像データに対し、点拡がり関数に基づかない鮮鋭化フィルタを用いた鮮鋭化処理を行う（鮮鋭化処理ステップ）。鮮鋭化フィルタは、点拡がり関数を直接的に反映するフィルタでなければ特に限定されず、公知の輪郭強調フィルタを鮮鋭化フィルタとして使用可能である。

なお復元フィルタ及び鮮鋭化フィルタの各々に関し、画像全体で単一のフィルタが用意されていてもよいし、画像内の位置毎（像高毎）に異なるフィルタが用意されていてもよい。

鮮鋭回復制御部３７は、復元処理部３８及び輪郭強調処理部３９を制御し、復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率を調整する。この復元率及び鮮鋭化率の調整に関して本例の鮮鋭回復制御部３７は、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率を取得し、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する。

鮮鋭化処理に加えて点像復元処理を行う場合、従来の手法においては鮮鋭復元強度が強くなり過ぎて画像の過補正等を招き、画質を損なうことがある。したがって鮮鋭化処理及び点像復元処理の両者を行う場合は、鮮鋭化処理のみ或いは点像復元処理のみを行う場合に比べ、鮮鋭化処理における鮮鋭化強度や点像復元処理における復元強度を弱めることが好ましい。

また点像復元処理は、撮影シーンや被写体次第によっては誤補正によってアーティファクト（リンギング等）などを招くことがある。また撮影条件に応じて異なる復元フィルタを使用する場合、点像復元処理後の画像の復元率や解像感（鮮鋭度）にばらつきが生じることがある。これらの誤補正や画像の鮮鋭度のばらつきは、鮮鋭化処理が行われるとより一層際立つ。

以下の実施形態は、点像復元処理及び鮮鋭化処理を組み合わせた場合であっても上述の過補正や誤補正を効果的に防ぎ、光学系の点拡がり現象によって損なわれた画質を回復して鮮明な画像を得る技術に関する。

図４は、点像復元強度及び鮮鋭化強度の調整を説明するための概念図である。図４の「トータル鮮鋭復元強度（トータル鮮鋭復元率）」は、所望の画質から決まる最終鮮鋭度目標強度値であり、画像処理全体に対する入力と出力との大きさの比率を直接的又は間接的に示す。本例の「トータル鮮鋭復元強度（トータル鮮鋭復元率）」は、撮影設定条件（光学特性情報の一例）に応じて変動しうるが、撮影設定条件が決まれば一定の値となる。ここでいう撮影設定条件には、例えばレンズ、絞り、ズーム、被写体距離、感度、撮影モード等の各種の撮影条件及び設定条件が含まれうる。また「点像復元強度」は、点像復元処理による復元強度であって、撮影設定条件（光学特性情報の一例）に応じて定められる。また「鮮鋭化強度」は、鮮鋭化処理による鮮鋭化の強度である。

これらのトータル鮮鋭復元強度、点像復元強度及び鮮鋭化強度は、それぞれの画像処理の前後における画像変化の程度を表す指標であり、画像の変化の程度を適切に表すことが可能な任意の基準に則って定められる。したがって、点像復元処理及び鮮鋭化処理の各々がフィルタ適用処理及びゲインコントロール処理を含む場合には、「フィルタ適用処理及びゲインコントロール処理」の前後の変化が点像復元強度及び鮮鋭化強度によって表される。

例えば点像復元処理と鮮鋭化処理とが並列的に行われ、「点像復元処理による画像復元の程度（点像復元強度）」と「鮮鋭化処理による画像鮮鋭化の程度（鮮鋭化強度）」とが「トータル鮮鋭復元強度」によって定められる場合を想定する。この場合には「点像復元強度＋鮮鋭化強度＝トータル鮮鋭復元強度」の関係が成立し、点像復元強度の増減分だけ鮮鋭化強度が増減し、図４に示される点像復元強度と鮮鋭化強度との境界位置（Ｂ）が変動しうる。したがって、例えばトータル鮮鋭復元強度及び点像復元強度が定まれば、両者から最適な鮮鋭化強度を算出することが可能である。同様に、トータル鮮鋭復元強度及び鮮鋭化強度が定まれば、両者から最適な点像復元強度を算出することが可能である。

なお図４は理解を容易にするために直感的な概念図を示すに過ぎず、点像復元処理と鮮鋭化処理とが行われる処理系において「点像復元強度＋鮮鋭化強度＝トータル鮮鋭復元強度」の関係が常に成立することを示すものではない。例えば点像復元処理と鮮鋭化処理とが直列的に行われた場合、点像復元強度と鮮鋭化強度との積に基づいてトータル鮮鋭復元強度が定められる。したがって以下の実施形態においては、「点像復元強度及び鮮鋭化強度の両者による周波数増幅率」が「トータル鮮鋭復元強度による周波数増幅率」と一致するように、点像復元強度及び鮮鋭化強度が決められる。

例えば点像復元強度を優先的に設定し、その設定された点像復元強度に応じて鮮鋭化強度を調整することが可能である。この場合、光学系（レンズ１６等）のＰＳＦに応じた点像復元処理を高精度に行うことができる。また、点像復元処理は繊細な処理であり基礎パラメータが正確でないと過補正等の弊害を招き易いが、点像復元強度を優先的に決めることにより、過補正等の弊害を効果的に防げる。

一方、鮮鋭化強度を優先的に設定し、その設定された鮮鋭化強度に応じて点像復元強度を調整することも可能である。この場合、弊害の少ない安定した処理である鮮鋭化処理が優先的に行われる。この鮮鋭化処理を優先的に行うケースは、光学特性に優れた精度を持つ光学系（レンズ１６等）を用いて撮影を行う場合、撮影シーンが夜景やポートレートの場合、アートフィルタ処理が行われる場合、点像復元処理による効果が得難い場合、点像復元処理による弊害が出やすい場合、等に好適である。

点像復元強度及び鮮鋭化強度の調整は様々な基準によって行うことができ、例えば特定の周波数や特定の画像位置（像高位置）における周波数増幅率が同じになるように、トータル鮮鋭復元強度を定められる。

このようにトータル鮮鋭復元強度を設定して点像復元強度及び鮮鋭化強度を調整することにより、点像復元処理及び鮮鋭化処理を受けた画像の鮮鋭度（復元率及び解像感）のばらつきを抑え、出力画像の総合的な画質を向上できる。

点像復元強度及び鮮鋭化強度の調整に関する具体的な実施形態について、以下に説明する。

＜第１実施形態＞
本実施形態に係る鮮鋭回復制御部３７は、点像復元処理における復元率を取得し、トータル鮮鋭復元率及び復元率に基づいて鮮鋭化処理における「鮮鋭化率」を算出する。

図５は、第１実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態の画像処理システムモデルでは、「点像復元処理のための信号処理ブロック」と「任意のシャープネス強調処理のための信号処理ブロック」とが直列に接続（カスケード結合）され、両信号処理ブロックにおいて連続的な信号強度調整が可能となっている。すなわち復元処理部３８及び輪郭強調処理部３９は直列に設けられ、画像データは点像復元処理及び鮮鋭化処理のうちの一方の処理（図５に示す例においては「点像復元処理」）を受けた後に他方の処理（図５に示す例においては「鮮鋭化処理」）を受ける。

復元処理部３８は、点像復元フィルタ処理部４２、復元乗算器４３及び復元加算器４４を含む。点像復元フィルタ処理部４２は、光学系（レンズ１６等）の点拡がり関数に対応する復元フィルタを入力画像データに適用し、画像の増減分データを算出する。復元乗算器４３は、点像復元フィルタ処理部４２において算出された増減分データのゲインコントロールを行い、増減分データ及び復元強度倍率Ｕの乗算を行う。復元加算器４４は、点像復元フィルタ処理部４２に入力される前の画像データ（入力画像）と、復元強度倍率Ｕが乗算された増減分データとの加算を行う。点像復元処理は、これらの点像復元フィルタ処理部４２、復元乗算器４３及び復元加算器４４における一連の処理によって構成される。

なお復元処理部３８は、任意の手法によって復元強度倍率Ｕを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えば、光学系（レンズ１６等）の点拡がり関数に対応する復元フィルタを入力画像データに適用して得られる画像データ（入力画像データ＋増減分データ）に対して復元強度倍率Ｕの乗算を行う一方で、入力画像データに倍率（１−Ｕ）の乗算を行い、両者を加算するようにしてもよい。

輪郭強調処理部３９は、輪郭強調フィルタ処理部４６、鮮鋭化乗算器４７及び鮮鋭化加算器４８を含む。本例においては点像復元処理後の画像データが、入力画像データとして輪郭強調フィルタ処理部４６に入力される。輪郭強調フィルタ処理部４６は、鮮鋭化フィルタ（輪郭強調フィルタ）を入力画像データに適用して画像の増減分データを算出する。鮮鋭化フィルタは任意の手法によって決められ、輪郭強調フィルタ処理部４６は、単一の鮮鋭化フィルタを用いてもよいし、複数のフィルタの中から適宜選択されるフィルタを鮮鋭化フィルタとして用いてもよい。鮮鋭化乗算器４７は、輪郭強調フィルタ処理部４６において算出された増減分データのゲインコントロールを行い、増減分データ及び鮮鋭化強度倍率Ｖの乗算を行う。鮮鋭化加算器４８は、輪郭強調フィルタ処理部４６に入力される前の画像データ（点像復元処理後の画像データ）と、鮮鋭化強度倍率Ｖが乗算された増減分データとの加算を行って出力画像データを生成する。鮮鋭化処理は、これらの輪郭強調フィルタ処理部４６、鮮鋭化乗算器４７及び鮮鋭化加算器４８における一連の処理によって構成される。

なお、復元強度倍率Ｕの反映手法と同様に、輪郭強調処理部３９は、任意の手法によって鮮鋭化強度倍率Ｖを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えば、鮮鋭化フィルタ（輪郭強調フィルタ）を入力画像データに適用して得られる画像データ（入力画像データ＋増減分データ）に対して鮮鋭化強度倍率Ｖの乗算を行う一方で、入力画像データに倍率（１−Ｖ）の乗算を行い、両者を加算するようにしてもよい。

鮮鋭回復制御部３７は、強度自動調整部５２、復元フィルタ選択部５３及び輪郭強調強度選択部５４を含む。復元フィルタ選択部５３は、画像データの撮影に用いられた光学系（レンズ１６等）の点拡がり関数に基づく復元フィルタＸを、撮影設定条件Ｓ（ズーム段、Ｆ値、被写体距離等）に基づいて復元フィルタ記憶部５８から選択する。そして復元フィルタ選択部５３は、選択した復元フィルタＸを、強度自動調整部５２と復元処理部３８の点像復元フィルタ処理部４２とに送信する。点像復元フィルタ処理部４２は、復元フィルタ選択部５３から送られてくる復元フィルタＸを入力画像に適用する。

一方、輪郭強調強度選択部５４は、撮影設定条件Ｓに対応する鮮鋭化強度倍率（輪郭強調強度）Ｖ０を輪郭強調強度リスト記憶部６０から選択し、その選択した鮮鋭化強度倍率Ｖ０を強度自動調整部５２に送信する。本例において輪郭強調強度選択部５４により選択される鮮鋭化強度倍率Ｖ０は、復元処理部３８（点像復元フィルタ処理部４２）において点像復元処理が実質的に行われない場合の鮮鋭化強度倍率である。

この「点像復元処理が実質的に行われない場合の鮮鋭化強度倍率」は、トータル鮮鋭復元率（トータル鮮鋭復元強度）に相当する。すなわち、本例では点像復元強度と鮮鋭化強度とがトータル鮮鋭復元強度によって定められ（図４参照）、点像復元処理が行われない場合のトータル鮮鋭復元強度は鮮鋭化強度のみによって定まる。したがって、点像復元処理が行われない場合の鮮鋭化強度倍率を鮮鋭化強度倍率Ｖ０として取得して強度自動調整部５２に供給する本例の輪郭強調強度選択部５４は、実質的には、トータル鮮鋭復元率（トータル鮮鋭復元強度）を強度自動調整部５２に供給する。

復元フィルタ記憶部５８は、複数の光学系（レンズ１６等）の点拡がり関数に基づく複数の復元フィルタを撮影設定条件毎に記憶する。輪郭強調強度リスト記憶部６０は撮影設定条件毎に輪郭強調強度を記憶し、特に本例においては、点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０（最大輪郭強調強度）が輪郭強調強度リスト記憶部６０に記憶される。なお復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０は、カメラ本体１４に設けられてもよいし、レンズユニット１２に設けられてもよい。

強度自動調整部５２は、復元フィルタ選択部５３からの復元フィルタＸ及び輪郭強調強度選択部５４からの鮮鋭化強度倍率Ｖ０に基づいて、点像復元回復率（復元率）Ｇに応じた復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する（ただし、「復元強度倍率Ｕ≧０」及び「鮮鋭化強度倍率Ｖ≧０」を満たす）。そして強度自動調整部５２は、決定した復元強度倍率Ｕを復元乗算器４３に送信し、鮮鋭化強度倍率Ｖを鮮鋭化乗算器４７に送信する。復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖはそれぞれ復元処理部３８及び輪郭強調処理部３９における強度調整パラメータであり、復元乗算器４３及び鮮鋭化乗算器４７は、強度自動調整部５２から送られてくる復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを使用して乗算処理を行う。

なお強度自動調整部５２は、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６の各々により使用されるフィルタの周波数特性を取得する。例えば、点像復元フィルタ処理部４２により使用される復元フィルタＸは復元フィルタ選択部５３から強度自動調整部５２に送られる。また輪郭強調フィルタ処理部４６により使用される鮮鋭化フィルタも強度自動調整部５２は任意の手法により取得する。例えば、輪郭強調フィルタ処理部４６により使用される鮮鋭化フィルタが固定されている場合、強度自動調整部５２はその鮮鋭化フィルタの周波数特性を予め記憶しておくことにより取得してもよい。また、使用される鮮鋭化フィルタを輪郭強調フィルタ処理部４６から強度自動調整部５２に送信し、強度自動調整部５２は、受信した鮮鋭化フィルタを解析することにより鮮鋭化フィルタの周波数特性を取得してもよい。強度自動調整部５２は、後述のトータル鮮鋭度評価値に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する際に、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６により使用するフィルタの周波数特性を考慮する。具体的には、強度自動調整部５２は、トータル鮮鋭度評価値に各フィルタの周波数特性を反映させ、フィルタの周波数特性を反映したトータル鮮鋭度評価値に基づいて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する。

強度自動調整部５２における復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの決定は、例えば以下のフローに従って行うことができる。

まず撮影設定条件Ｓが本体コントローラ２８によって取得され、その撮影設定条件Ｓに対応する復元フィルタＸが復元フィルタ選択部５３によって選択される。また点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０が、輪郭強調強度選択部５４により撮影設定条件Ｓに応じて選択される。

復元フィルタＸは、撮影設定条件Ｓに対応する光学系（レンズ１６等）のＰＳＦに基づく画像劣化の程度を最小二乗基準により最小化するように設計され、復元フィルタＸの理想的な周波数特性は、ウィナーフィルタ特性によって設計可能である。本例においては、復元フィルタＸの理想的な周波数特性が決定された後、その周波数特性を反映したＦＩＲフィルタが復元フィルタＸとして決定される。なお復元フィルタＸは実空間フィルタ及び周波数空間フィルタのいずれであってもよく、複数タップによって構成される実空間フィルタによって復元フィルタＸを構成する場合、理想的な周波数特性を所望タップ数によって実現可能な範囲において最良に近似したＦＩＲフィルタを復元フィルタＸとすることが好ましい。また、一般にＰＳＦの形状は像高によって異なるため、復元フィルタＸは画像内の像高に応じて異なる周波数特性を持つことが望ましい。したがって、画像内位置に応じて定められる複数の復元フィルタによって構成されるセットを広義には「復元フィルタＸ」と呼称し、画像内の座標（ｉ，ｊ）の位置（画素）に適用される復元フィルタを「Ｘ_ｉ，ｊ」と表記する。

上述のように復元フィルタＸは、画像データの撮影における撮影設定条件Ｓに基づいて決定されるが、この撮影設定条件Ｓは「点拡がり関数に影響する設定条件」及び「点拡がり関数に影響を及ぼさない撮影条件」を含みうる。「設定条件」は、例えば絞り情報（Ｆ値）、ズーム情報（ズーム倍率等）、被写体距離情報、及び光学系が有するレンズ種類情報のうち少なくともいずれか１つを含みうる。また「撮影条件」は、撮影感度情報（ISO
感度等）及び撮影モード情報のうち少なくともいずれか１つを含みうる。

なお、撮影設定条件Ｓは任意の方式により復元フィルタ選択部５３及び輪郭強調強度選択部５４に入力可能であり、本体コントローラ２８のデバイス制御部３４及び画像処理部３５のうち撮影設定条件Ｓを管理する制御処理部（図示せず）から復元フィルタ選択部５３及び輪郭強調強度選択部５４に撮影設定条件Ｓが適宜送信される。

一方、点像復元回復率Ｇは、復元処理部３８及び輪郭強調処理部３９における画像処理の前に、予めユーザによって指定される。ユーザによる点像復元回復率Ｇの指定方法は特に限定されず、例えば点像復元回復率Ｇを指定するためのスライダ等の調整手段をユーザインターフェース２９（背面表示部等）に表示し、ユーザがその調整手段を介した操作を行うことにより点像復元回復率Ｇを簡易に定めることも可能である。この点像復元回復率Ｇは復元乗算器４３による点像復元処理の復元強度倍率Ｕをコントロールするための基礎データである。後述するように、例えば点像復元回復率Ｇの値が所定の閾値よりも大きい場合を除き、復元強度倍率Ｕと点像復元回復率Ｇとは等しい（復元強度倍率Ｕ＝点像復元回復率Ｇ）。点像復元回復率Ｇが０（ゼロ）の場合は、点像復元処理がオフにされていることに相当する。この点像復元処理における復元強度倍率Ｕは、連続的な値をとるように変化してもよいし、離散的な値をとるように変化してもよいし、オン又はオフ（所定倍率か「０（ゼロ）」か）によって変化してもよく、復元強度倍率Ｕを任意の方式により変更可能な処理回路等を実装することが可能である。

点像復元回復率Ｇの決め方はユーザによる指定に限定されず、任意の情報に基づいて点像復元回復率Ｇが算出決定されてもよい。すなわち鮮鋭回復制御部３７（強度自動調整部５２）は、ユーザが指定する指定回復率に基づいて点像復元回復率（復元率）Ｇを定めてもよいし、光学系の特性を表す光学特性情報に基づいて定められる点像復元回復率Ｇを用いてもよい。ここでいう「光学特性情報」は、光学系が有するレンズ１６の種類情報、光学系の個体差情報、その他の撮影設定条件、等を含みうる。また光学系の光学特性が反映された点像復元回復率Ｇ自体が「光学特性情報」に含まれていてもよい。この光学特性情報は任意の記憶部に記憶され、例えばレンズユニット１２の記憶部（光学系記憶部）に光学特性情報が記憶されてもよいし、カメラ本体１４の記憶部（本体記憶部）に光学特性情報が記憶されてもよい。したがって鮮鋭回復制御部３７（本体コントローラ２８）等において、点像復元回復率Ｇは、記憶部（光学系記憶部、本体記憶部）に記憶される光学特性情報に基づいて定められてもよい。

また点像復元回復率Ｇの値は撮影設定条件Ｓに依存してもよく、撮影設定条件Ｓに応じて異なる値の点像復元回復率Ｇが鮮鋭回復制御部３７（本体コントローラ２８）等によって選択されてもよい。この場合、例えば絞り値に依存して発生の程度が変化するアーティファクトを抑えるために、意図的に、特定の絞り値（撮影設定条件Ｓ）においては点像復元回復率Ｇを相対的に低く設定してもよい。

輪郭強調フィルタ処理部４６において使用されるフィルタ（鮮鋭化処理における輪郭強調成分を抽出するためのフィルタ）の周波数特性を「φ（ω_ｘ，ω_ｙ）」として、復元フィルタＸ_ｉ，ｊ（点像復元処理における復元成分を抽出するためのフィルタ）の周波数特性を「ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）」とする。この場合、復元処理部３８及び輪郭強調処理部３９（点像復元処理及び鮮鋭化処理）を組み合わせた図５に示す画像処理システム全体の周波数特性は、以下の式１によって表される。

「Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）」は、復元強度倍率Ｕ，鮮鋭化強度倍率Ｖ，周波数特性ｘ_ｉ，ｊをパラメータとした、（ω_ｘ，ω_ｙ）（ｘ方向及びｙ方向に関する周波数）についての関数を示し、この関数は画像処理システムの構成に依存して決定される。

一方、点像復元処理の強度調整（復元乗算器４３において用いられる復元強度倍率Ｕの決定）は、以下の式２によって定義されるトータル鮮鋭度評価値（トータル鮮鋭復元率）Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定の値に保つように実施される。

ここで「ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）」は、画像内位置（画素位置）（ｉ，ｊ）毎に定義される任意の重み関数であり、トータル鮮鋭度評価値（トータル鮮鋭度評価関数）Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）は、システム全体の周波数特性の重み付き演算によって定義される。重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）は、視覚的に有意な周波数成分及び／又は画像内位置において大きな値となるように設計されることが好ましい。上記の式２によって定義されるトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を用いることによって、点像復元処理の強度を変化させても、注目している周波数帯域及び／又は画像内位置においては周波数強調の程度が変化せず鮮鋭度の大きな乖離は発生しない。一方、重み関数ｗ_ｉ，ｊ（ω_ｘ， ω_ｙ）が比較的小さい周波数帯域及び／又は画像内位置においては、点像復元処理による画質の差が目立ち易くなる。

上述を踏まえ、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの値は次のように決定できる。すなわち、強度自動調整部５２に入力される点像復元回復率Ｇに基づいて、単調増加関数により復元強度倍率Ｕの値が決定され、その後、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）が一定の値に保たれるように鮮鋭化強度倍率Ｖの値が決定される。したがって、復元強度倍率Ｕの値が大きくなると鮮鋭化強度倍率Ｖの値が小さくなり、復元強度倍率Ｕの値が小さくなると鮮鋭化強度倍率Ｖの値が大きくなるように、強度自動調整部５２は調整を実施する。ただし復元強度倍率Ｕの値が大き過ぎると、鮮鋭化強度倍率Ｖの値をゼロ「０」にした場合であってもトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保てない場合が発生しうる。すなわち、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つことが可能な復元強度倍率Ｕの範囲には制限が存在しうる。

復元強度倍率Ｕの上限値を「Ｕ_ＭＡＸ」と表記すると、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）は「Ｃ（Ｕ_ＭＡＸ，０，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たすため、復元強度倍率Ｕの最大値は以下の式３に示すように制限される。

上記の式３は、点像復元回復率Ｇが復元強度倍率Ｕの上限値Ｕ_ＭＡＸ以下の場合には点像復元回復率Ｇを復元強度倍率Ｕに設定し（Ｕ＝Ｇ）、点像復元回復率Ｇが復元強度倍率Ｕの上限値Ｕ_ＭＡＸを超える場合には復元強度倍率Ｕの上限値Ｕ_ＭＡＸを復元強度倍率Ｕに設定する（Ｕ＝Ｕ_ＭＡＸ）ことを示す。

鮮鋭化強度倍率Ｖの値は、図５の画像処理システムにおいては、トータル鮮鋭度評価値が「Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たす鮮鋭化強度倍率Ｖを探すことにより算出される。これは１次方程式の解を求めることに等しく、強度自動調整部５２は、鮮鋭化強度倍率Ｖを容易に求められる。鮮鋭化強度倍率Ｖの算出の難易度は、システム全体の周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）の定義に依存する。この周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）が非線形関数となって上記の等式を厳密に成立させる鮮鋭化強度倍率Ｖを探すのが難しい場合、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）をトータル鮮鋭度評価値Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）に最も近づける鮮鋭化強度倍率Ｖを採用するという定式化が行われてもよい。

上述の一連の処理によって、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つ復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを算出することができる。

以上説明したように本実施形態によれば、トータル復元鮮鋭度（トータル鮮鋭度評価値）に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが定められるため、点像復元処理及び鮮鋭化処理を経た画像（出力画像）の鮮鋭度のばらつきが抑えられ、出力画像における総合的な解像度や画質を安定化できる。

特に視覚上主要な周波数帯域及び／又は画像内位置における重み付けが大きくなるようにトータル鮮鋭度評価値を定めることにより、視覚上主要な周波数帯域及び／又は画像内位置における復元強度及び鮮鋭化強度が一定化され、鮮鋭度の乖離が過大になることを防げる。

また点像復元処理は、光学系のＰＳＦに応じた高精度な画像回復処理を実現可能だが、撮影シーンや撮影条件によってアーティファクトを発生させ易く、画質への影響度が高い。したがって、本実施形態のように点像復元処理の復元強度倍率Ｕ（復元率）を優先的に設定することにより、総合的な解像度や画質を効果的に向上できる。例えば復元率（点像復元回復率Ｇ、復元強度倍率Ｕ）を低く設定することにより、撮影シーン等に応じて生じうるアーティファクト（リンギング等）を目立たせないようにでき、その一方で、鮮鋭化処理によって鮮鋭度を向上させることも可能である。

また２つの画像処理（点像復元処理及び鮮鋭化処理）の強度調整パラメータの制御は、一般に「２変数（復元強度、鮮鋭化強度）」の制御が必要となり、制御の自由度は「２」となる。しかしながら本実施形態に係る強度調整処理によれば、必要とされる制御の自由度は「１」となり、点像復元回復率Ｇを決めるだけで、適切な復元強度及び鮮鋭化強度（復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖ）を定めることが可能である。

＜第２実施形態＞
本実施形態に係る鮮鋭回復制御部３７は、鮮鋭化処理における鮮鋭化率を取得し、トータル鮮鋭復元率及び鮮鋭化率に基づいて点像復元処理における「復元率」を算出する。

図６は、第２実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本実施形態の鮮鋭回復制御部３７（強度自動調整部５２）には、鮮鋭化率（鮮鋭化強度倍率Ｖ）が入力される。この強度自動調整部５２に入力される鮮鋭化強度倍率Ｖは、復元処理部３８及び輪郭強調処理部３９における画像処理の前に、予めユーザによって指定される。ユーザによる鮮鋭化強度倍率Ｖの指定方法は特に限定されず、例えば鮮鋭化強度倍率Ｖを指定するためのスライダ等の調整手段をユーザインターフェース２９（背面表示部等）に表示し、ユーザがその調整手段を介した操作を行うことにより鮮鋭化強度倍率Ｖを簡易に定めることも可能である。この強度自動調整部５２に入力される鮮鋭化強度倍率Ｖは、鮮鋭化乗算器４７による鮮鋭化処理の鮮鋭化強度倍率Ｖをコントロールするための基礎データである。強度自動調整部５２に入力される鮮鋭化強度倍率Ｖの値が所定の閾値よりも大きい場合を除き、強度自動調整部５２に入力される鮮鋭化強度倍率Ｖと鮮鋭化乗算器４７において用いられる鮮鋭化強度倍率Ｖとは等しい。鮮鋭化強度倍率Ｖが０（ゼロ）の場合は、鮮鋭化処理がオフにされていることに相当する。この鮮鋭化処理における鮮鋭化強度倍率Ｖは、連続的な値をとるように変化してもよいし、離散的な値をとるように変化してもよいし、オン又はオフ（所定倍率又は「０（ゼロ）」か）によって変化してもよく、鮮鋭化強度倍率Ｖを任意の方式により変更可能な処理回路等を実装することが可能である。

上述の第１実施形態においては「点像復元処理ブロックの復元強度倍率Ｕを先に決定してから、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一致させるように、鮮鋭化処理ブロックの鮮鋭化強度倍率Ｖを求める」処理が行われる。一方、本実施形態では「鮮鋭化処理ブロックの鮮鋭化強度倍率Ｖを先に決定してから、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一致させるように、点像復元処理ブロックの復元強度倍率Ｕを決定する」処理が行われる。

点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０は、輪郭強調強度リスト記憶部６０に記憶されている鮮鋭化強度倍率Ｖ０の中から選択され、輪郭強調強度選択部５４から強度自動調整部５２に送られる。

強度自動調整部５２は、点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０に基づくトータル鮮鋭度評価値Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）と、鮮鋭化乗算器４７において用いられる鮮鋭化強度倍率Ｖに基づくトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）とを一致させる復元強度倍率Ｕを求める。この復元強度倍率Ｕは、トータル鮮鋭度評価値が「Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たす復元強度倍率Ｕを探すことにより算出され、これは１次方程式の解を求めることに等しい。上記の等式を成立させる復元強度倍率Ｕを探すのが難しい場合には、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）をトータル鮮鋭度評価値Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）に最も近づける復元強度倍率Ｕを採用するという定式化が行われてもよい。

上述の一連の処理によって、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つ復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを算出することができる。

他の構成は、図５に示す第１実施形態と同様である。

以上説明したように本実施形態においても、トータル復元鮮鋭度（トータル鮮鋭度評価値）に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが求められ、点像復元処理及び鮮鋭化処理後の出力画像における鮮鋭度のばらつきを抑え、総合的な解像度や画質を安定化できる。

特に鮮鋭化処理（輪郭強調処理）は、点像復元処理に比べ、弊害が非常に少ない安定した画像処理である。そのため、例えばユーザがアーティファクト等の弊害の少ない画像を希望する場合、点像復元処理の効果が目立ち難い場合、点像復元処理の弊害が目立ち易い場合、等においては、本実施形態のように鮮鋭化強度倍率Ｖを優先的に設定することが好ましい。また、撮影に用いるレンズ１６の光学性能が良好であり光学系の点拡がり現象の影響が非常に小さい場合、撮影シーンに基づいて定まる撮影モードが夜景モード、ポートレートモード、アートフィルタモードの場合、等のように、点像復元処理の効果が本来的に実感され難いケースにおいては、本実施形態のように鮮鋭化強度倍率Ｖを優先的に設定することが好ましい。

また、後述の非線形処理（クリップ処理、リミッタ処理等）が鮮鋭化処理ブロックに含まれており鮮鋭化強度をあるレベル以上には強くできない場合のように「鮮鋭化強度には制限があるが、点像復元強度には制限がないケース」がある。このケースでは、本実施形態のように鮮鋭化強度倍率Ｖを優先的に決定した方が、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定にする制御が簡単になることがある。

＜第３実施形態＞
本実施形態に係る鮮鋭回復制御部３７は、特定の周波数（第１の周波数）においてトータル鮮鋭復元率を目標鮮鋭復元率に調整することにより、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを求める。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

図７は、画像処理の周波数特性を例示する図であり、（ａ）は鮮鋭化処理（輪郭強調フィルタ処理部４６）における「周波数−ゲイン」関係例を示し、（ｂ）は点像復元処理（点像復元フィルタ処理部４２）における「周波数−ゲイン」関係例を示し、（ｃ）は鮮鋭化処理及び点像復元処理全体における「周波数−ゲイン」関係例を示す。

本実施形態の画像処理は、上述の第１実施形態に係る画像処理の一部が簡易化され、ある特定の周波数及び／又は画像内のある特定の位置（画面内座標）に注目し、その注目周波数及び／又は注目位置（注目座標）に関して「復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖ」をピンポイント調整する。

ここでいう注目周波数及び注目位置は特に限定されず、例えば視覚特性上有意な周波数及び画面内座標を注目周波数及び注目位置に設定することができ、例えば画像の中央位置に注目するように設定してもよい。また注目周波数及び注目位置の範囲も限定されず、単数であってもよいし、複数であってもよい。

この画像処理は、具体的には、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）の式（上記「式２」参照）の重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）を次のように定義することにより実現可能である。

上記式において「δ（ｘ）」はクロネッカーのデルタ関数を示し、画像の注目位置の座標（像高）を「ｉ＝ｉ_０，ｊ＝ｊ_０」とする。例えば画像の注目位置を画像の中央位置とすると、上記式４の重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）は、画像中心において特定の周波数ｆ０において特定のゲインｇ０（トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ））が得られるように定義されている。また上記式４は、周波数に関し、ｘ方向の周波数のみを参照する。これは、画像中心においてはＰＳＦの形状が等方的であるため、その等法的なＰＳＦに基づく復元フィルタの周波数特性も等方的になり、特定の方向（上記式４においては「ｘ方向」）について参照すれば十分だからである。

上記式４によって表される重み関数を用いることによって、図７に示す通り、点像復元回復率Ｇがいかなる値であったとしても、画像処理システム全体の周波数特性に関して、常に、特定の周波数ｆ０においてゲインｇ０が一定になる。

点像復元処理全体（復元処理部３８）の周波数特性は、点像復元フィルタ処理部４２によるフィルタ処理と復元乗算器４３によるゲインコントロール処理によって決定され、点像復元フィルタ処理部４２の周波数特性（図７（ａ）参照）の倍率が復元強度倍率Ｕによって調整されることにより定まる。同様に、鮮鋭化処理全体（輪郭強調処理部３９）の周波数特性は、輪郭強調フィルタ処理部４６によるフィルタ処理と鮮鋭化乗算器４７によるゲインコントロール処理によって決定され、輪郭強調フィルタ処理部４６の周波数特性（図７（ｂ）参照）の倍率が鮮鋭化強度倍率Ｖによって調整されることにより定まる。したがって画像処理システム全体の周波数特性（図７（ｃ）参照）は、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６の周波数特性（図７（ａ）及び（ｂ）参照）に適用される復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖをコントロールすることにより調整可能である。

強度自動調整部５２における復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの調整は、特定の周波数ｆ０において特定のゲインｇ０を実現するという制限はあるが、具体的な調整例は１つには定まらない。例えば、画像の高周波成分を強調したい場合には、図７（ｃ）の「調整例１」に示すように、その高周波成分を強調するゲインが達成されるように復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが決定される。一方、画像の高周波成分は強調せずに、低周波〜中周波の成分を強調したい場合には、図７（ｃ）の「調整例２」に示すように、その低周波〜中周波の成分にのみゲインが適用される復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが決定される。

なお強度自動調整部５２は、点像復元フィルタ処理部４２において使用する復元フィルタＸが復元フィルタ選択部５３から入力され、その復元フィルタＸの周波数特性を求める。また強度自動調整部５２は、輪郭強調フィルタ処理部４６において使用する鮮鋭化フィルタの周波数特性も把握する。例えば輪郭強調フィルタ処理部４６において単一の鮮鋭化フィルタが用いられる場合には、その鮮鋭化フィルタの周波数特性を復元フィルタ選択部５３が予め記憶しておいてもよい。また輪郭強調フィルタ処理部４６において使用する鮮鋭化フィルタが複数のフィルタの中から選択される場合には、選択された鮮鋭化フィルタが強度自動調整部５２に入力されて強度自動調整部５２がその鮮鋭化フィルタの周波数特性を求めてもよいし、選択された鮮鋭化フィルタの周波数特性が強度自動調整部５２に入力されてもよい。

他の構成は、図５に示す第１実施形態と同様である。

以上説明したように本実施形態によれば、点像復元処理及び鮮鋭化処理後の出力画像における鮮鋭度のばらつきを抑え、画質を安定化できる。

特に特定の周波数ｆ０におけるゲインｇ０が固定されるので、例えば「ベースとなる低周波の鮮鋭度を一定に保ちつつ高周波の鮮鋭度を調整する」などの手法をとることができ、画像処理全体の周波数特性を柔軟にコントロールすることが可能である。

また画像内のある特定の位置（例えば中央部位置）において一定のトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）が達成されるように、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを定めることもできる。中央部位置を「特定の位置」とした場合、ユーザが認識し易い画像中央部における鮮鋭度に大きな乖離が生じることを防ぎつつ、画像周辺のボケ画像に対して鮮鋭度を大きく向上させる点像復元処理及び鮮鋭化処理を行うことも可能である。なお、ここでいう「特定の位置」の数は特に限定されず、画像全体を構成する画素数の数％〜数十％に相当する数を「特定の位置」の数に設定することもできる。

＜第４実施形態＞
本実施形態に係る復元処理部３８及び輪郭強調処理部３９は並列に設けられ、画像データ（入力画像）は復元処理部３８及び輪郭強調処理部３９の各々に入力され、点像復元処理による画像データの増減分データと鮮鋭化処理による画像データの増減分データとが加算されて出力画像が生成される。

図８は、第４実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本実施形態の画像処理部３５は鮮鋭復元調整部６３を有する。鮮鋭復元調整部６３は、復元処理部３８からの画像データの増減分データと輪郭強調処理部３９からの画像データの増減分データとを加算する第１加算器６１と、第１加算器６１から出力される加算後増減分データと入力画像データとを加算する第２加算器６２とを含む。

すなわち本例においては、画像データに対する「点像復元フィルタ処理部４２及び復元乗算器４３による点像復元処理」と「輪郭強調フィルタ処理部４６及び鮮鋭化乗算器４７による鮮鋭化処理」とが並列的に行われ、各処理においては画像データ（入力画像）との差分値に相当する増減分データが算出される。点像復元処理による画像データの増減分データと鮮鋭化処理による画像データの増減分データとは第１加算器６１によって加算され、点像復元処理及び鮮鋭化処理の全体による画像データの増減分データが算出される。この「処理全体による画像データの増減分データ」と画像データ（入力画像）とが第２加算器６２によって加算され、点像復元処理及び鮮鋭化処理が施された画像データ（出力画像）が生成される。

他の構成は、図５に示す第１実施形態と同様である。例えば、復元フィルタ選択部５３（図５参照）によって選択される復元フィルタは点像復元フィルタ処理部４２及び強度自動調整部５２に供給され、輪郭強調強度選択部５４によって選択される鮮鋭化強度倍率Ｖ０が強度自動調整部５２に供給される。また復元乗算器４３及び鮮鋭化乗算器４７において使用される復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖは強度自動調整部５２によって適宜定められる。

本例の画像処理システム全体の周波数特性は、以下の式５によって表される。

上記式５において、復元処理部３８の周波数特性が「Ｕ×ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）」によって表され、輪郭強調処理部３９の周波数特性が「Ｖ×φ（ω_ｘ，ω_ｙ）」によって表される。したがって第１加算器６１による加算処理は「Ｕ×ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）＋Ｖ×φ（ω_ｘ，ω_ｙ）」の周波数特性に基づき、第２加算器６２による加算処理は「１＋Ｕ×ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）＋Ｖ×φ（ω_ｘ，ω_ｙ）」の周波数特性に基づく。

以上説明したように本実施形態においても、復元処理部３８及び輪郭強調処理部３９が直列的に配置される場合（上述の第１実施形態（図５）参照）と同様に、点像復元処理及び鮮鋭化処理後の出力画像における鮮鋭度のばらつきが抑えられ、画質を安定化できる。

＜第５実施形態＞
本実施形態に係る画像処理部３５は、画像データの非線形処理を行う非線形処理部を更に備え、２段フィルタ処理システム（復元処理部３８及び輪郭強調処理部３９）において非線形処理が導入されている。この非線形処理部は、復元処理部３８及び輪郭強調処理部３９のうち少なくともいずれか一方に含まれるが、下記では復元処理部３８に非線形処理部が設けられる例について説明する。

非線形な処理は一般に加減乗除の演算処理のみからは構成されず、例えばＬＵＴ（ルックアップテーブル）の参照や条件分岐を伴う処理が含まれうる。非線形処理は、アーティファクトやノイズの抑制を目的として行われることが多く、例えば「画像信号のうちクリップ閾値を超える画素値をクリップ閾値に調整するクリップ処理」を非線形処理として行ってもよい。

図９は、第５実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本例の点像復元処理（復元処理部３８）は、復元フィルタによって抽出された点像復元強調成分に対する強調倍率の適用、その強調倍率適用後の点像復元強調成分に対する非線形処理の適用、及び非線形処理後の点像復元強調成分と元画像との合成、という一連の処理を含む。

すなわち画像データ（入力画像）は点像復元フィルタ処理部４２に入力されて復元フィルタによるフィルタリング処理が行われ、点像復元処理による画像データの増減分データが算出される。その増減分データは復元乗算器４３に入力されて復元強度倍率Ｕに基づくゲインコントロールが行われ、増減分データ及び復元強度倍率Ｕの乗算が行われ、乗算後の増減分データが非線形処理部６５に入力される。

非線形処理部６５においては、入力された増減分データに対するクリップ処理（非線形処理）が行われ、増減分データ（画像データ）のうち所定のクリップ閾値を超える画素値がクリップ閾値に調整される。なお、クリップ閾値は予め定められて非線形処理部６５が記憶していてもよいし、ユーザがユーザインターフェース２９を介してクリップ閾値を直接的又は間接的に指定してもよい。クリップ処理後の画像データの増減分データは復元加算器４４において点像復元フィルタ処理部４２に入力される前の画像データ（入力画像）に加算され、点像復元処理後の画像データが算出される。

非線形処理部６５において行われるクリップ処理は、以下の式６で示すように、画像データがクリップ閾値θ（≧０）以上の値をとらないように制限する処理である。

上記式６によって表されるクリップ処理関数ＣＬＩＰ（ｘ）によれば、画像データ（画素データ）ｘの絶対値がクリップ閾値θよりも小さい場合（｜ｘ｜＜θ）、その画像データはクリップ処理によって調整されずに保持され、非線形処理部６５から「ｘ」が出力される。一方、画像データｘの絶対値がクリップ閾値θ以上の場合（｜ｘ｜≧θ）、その信号成分はクリップ処理によって符号関数（ｓｉｇｎｕｍ ｆｕｎｃｔｉｏｎ）によって調整され、非線形処理部６５から「ｓｉｇｎ（ｘ）×θ」が出力される。

他の構成は、図５に示す第１実施形態と同様である。例えば、輪郭強調処理部３９における輪郭強調フィルタ処理部４６によるフィルタリング処理、鮮鋭化乗算器４７による乗算処理及び鮮鋭化加算器４８による加算処理は、上述の第１実施形態と同様に行われる。

本例においては、システム全体における周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）として、特定の入力波形をシステム（画像処理部３５）に入力した場合の出力に基づいて近似的に得られる周波数特性を用いることができる。すなわち、非線形処理を行う画像処理部が信号処理系に存在する場合、その信号処理系の周波数特性を正確に求めることは原理的に不可能であり、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの強度自動算出処理が適用できない場合がある。したがって非線形処理が行われる場合、周波数成分が予め把握されている特定の入力波形（入力画像データ）に対する出力波形（出力画像データ）から、内部の周波数特性を近似的に評価し、その近似的な評価によって得られる周波数特性を利用することにより、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの自動算出処理を行ってもよい。この場合、システム全体の周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）を求める必要があり、特定の入力波形に対するシステムの周波数レスポンス近似式を数式によって表現することが求められる。具体的な近似評価手法は任意であり、このシステムの周波数レスポンス近似式の精度は、非線形処理の具体的な内容に依存する。

システムの周波数レスポンス近似式の例としては、図９に示すクリップ処理を含む画像処理システムにおいて、予め特性を把握している入力波形（画像信号）を使用し、入力波形がハイコントラストなステップ関数であると仮定し、上述の実施形態のように特定の周波数ｆ０において特定の値（トータル鮮鋭度評価値）を持つようにｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）を定義する場合（上記の「式４」参照）、画像処理システム全体の周波数特性を以下の式７によって近似的に表すことができることを本件発明者は経験的に知得した。

上記の式７において、「Ａ」はクリップ閾値θと入力画像信号の鮮鋭度（ボケ度）に依存する定数である。また「ｍｉｎ（Ｕ×ψ（ω_ｘ，ω_ｙ），Ａ）」は「Ｕ×ψ（ω_ｘ，ω_ｙ）」及び「Ａ」のうち小さい方を示す関数である。

なお、本例においては復元処理部３８に非線形処理部６５が設けられるが、非線形処理部は、輪郭強調処理部３９にのみ設けられてもよいし、復元処理部３８及び輪郭強調処理部３９の双方に設けられてもよい。ただし、復元処理部３８及び輪郭強調処理部３９の双方において非線形処理が行われると、画像処理システム全体の周波数レスポンス近似式が複雑になり、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定の値に保ちながら復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する制御が難しくなってしまう可能性がある。

点像復元処理（点像復元フィルタ処理部４２）において用いられる復元フィルタは、想定される周波数特性（ボケ特性）を入力画像が持つことを前提に設計される。しかしながら、点像復元処理及び鮮鋭化処理よりも前段に配置される撮像系や画像処理系における非線形な現象及び信号処理によって、想定とは異なる周波数特性（不正な周波数特性）を画像データ（入力画像）が持ち、出力画像にアーティファクトが生じることがある。このようなアーティファクトを抑制するため、復元フィルタによるフィルタリング処理（点像復元フィルタ処理部４２）よりも後段に非線形処理部６５を設けることが好ましい。

以上説明したように本実施形態によれば、復元処理部３８及び／又は輪郭強調処理部３９によって非線形処理が行われる場合であっても、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを的確に求めることができる。特に、非線形処理を行うことにより、アーティファクトを効果的に抑制することができる。

＜第６実施形態＞
従来の動画撮影モードにおいては動画撮影中に撮影設定条件は経時的に変化し、変動する撮影設定条件に対応する復元フィルタを逐次選択して点像復元処理を行うと、動画フレーム間において復元率や画像鮮鋭度のばらつきが目立つ虞がある。

本実施形態においては、動画フレーム間における復元率や鮮鋭度のばらつきを防ぐため、動画記録中は、トータル鮮鋭度評価値を予め決められた値に保ちつつ、点像復元処理強度及び鮮鋭化処理強度の制御が行われる。すなわち本実施形態においては、トータル鮮鋭度評価値が撮影設定条件毎には切り替えられない。

図１０は、第６実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態に係る鮮鋭回復制御部３７（強度自動調整部５２）は、画像データ（入力画像）を取得した際の撮影モード情報Ｍを取得し、撮影モード情報Ｍが動画記録モードを示す場合には、トータル鮮鋭復元率を一定に保つ。なお、ここでいう「トータル鮮鋭復元率を一定に保つ」とは、トータル鮮鋭復元率を所定値に保つ場合に限定されるものではなく、トータル鮮鋭復元率が画質に影響の無い範囲内に保たれる場合も含みうる。トータル鮮鋭復元率が画質に影響の無い範囲内に保たれる場合、トータル鮮鋭復元率の変動の程度は１０％以下であることが好ましく、５％以下であることがより好ましい。

撮影モード情報Ｍは任意の方式によって強度自動調整部５２に入力される。例えばデジタルカメラ１０（レンズユニット１２、カメラ本体１４）に「動画記録モード及び静止画記録モードを切り替え可能なモード切替部（ユーザインターフェース２９）」が設けられる場合には、そのモード切替部から本体コントローラ２８（強度自動調整部５２）にユーザが選択した撮影モード情報Ｍが送られてもよい。撮影モード情報Ｍは、処理対象の画像が動画か静止画かを直接的又は間接的に示す情報であればよく、処理対象の画像に付随する「動画／静止画」を示す情報を撮影モード情報Ｍとしてもよい。

強度自動調整部５２は、入力される撮影モード情報Ｍが動画記録モードを示す場合には、動画を構成する複数の画像データ（フレーム）間で共通のトータル鮮鋭度評価値（トータル鮮鋭復元率）を用いて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する。すなわち動画記録モードによって撮影された動画像（フレーム）に対する復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する場合、フレーム間で撮影設定条件が変わっても、トータル鮮鋭度評価値（トータル鮮鋭復元率）は撮影設定条件毎には切り替えられず固定される。この動画像に対して固定的に使用されるトータル鮮鋭度評価値（トータル鮮鋭復元率）は、任意の手法によて決定可能であり、例えば動画を構成する特定のフレーム（例えば最初のフレーム）の撮影設定条件に対応するトータル鮮鋭度評価値（トータル鮮鋭復元率）が用いられてもよい。

なお、強度自動調整部５２（鮮鋭回復制御部３７）は、撮影モード情報Ｍが動画記録モードを示す場合には、撮影モード情報Ｍが静止画記録モードを示す場合よりも、点像復元処理の復元強度倍率Ｕ（復元率）を小さくしてもよい。復元処理部３８による点像復元処理はＰＳＦに基づく画像回復処理であり、ＰＳＦが正確に把握可能な場合には画質を効果的に改善可能な優れた画質改善処理だが、ＰＳＦが正確に把握されない場合には過補正等によって画質劣化を引き起こしうる処理である。ＰＳＦを忠実に反映する復元フィルタを用いる点像復元処理には相応の時間が必要になるが、動画記録モードにおいては、動画を構成する複数のフレーム画像を限られた時間内に処理することも求められる。また、動画においてはフレーム間の連続性を保持することも求められ、連続フレーム間で画質が大幅に変化することは、必ずしも好ましくない。したがって、動画記録モードにおいては復元強度倍率Ｕ（復元率）を比較的小さくすることにより、過補正等による画質劣化やフレーム間の変化を小さくし、総合的に良質な動画を生成することができる。また鮮鋭化強度倍率Ｖによって復元強度倍率Ｕの減少が補われ、点像復元処理による復元度が比較的小さくても、鮮鋭化処理によって鮮明な動画を得ることができる。

他の構成は、図５に示す第１実施形態と同様である。

以上説明したように本実施形態によれば、動画撮影中に撮影設定条件が変化し、撮影設定条件に応じた点像復元処理の復元率が変動した場合であっても、トータル鮮鋭度評価値（トータル鮮鋭復元率）が一定であるため、復元動画の鮮鋭度のばらつきを抑えることができる。

＜第７実施形態＞
本実施形態では、カメラ本体１４に装着される光学系を構成するレンズユニット１２の個体差情報が反映された点像復元回復率Ｇが強度自動調整部５２に入力される。したがって、強度自動調整部５２は、光学系の個体差情報を含む光学特性情報に基づいて復元強度倍率Ｕを決定する。

図１１は、第７実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

レンズユニット１２を構成する光学系、特にレンズ１６等は製造誤差等のために光学特性に関して個体差があり、その個体差によってレンズユニット１２毎にＰＳＦが厳密には異なる。したがって、光学系の一例であるレンズユニット１２光学系の個体差を無視して点像復元処理を行うと、同一種類のレンズユニット１２を用いて撮影した画像であっても復元度が異なり、復元画像におけるアーティファクトの出現態様も異なることがある。

理想的には、レンズユニット１２の光学特性を忠実に反映したＰＳＦに基づいて点像復元処理が行われ、復元画像にアーティファクトは生じない。しかしながら実際には、レンズユニット１２の個体差に起因して、処理対象画像におけるＰＳＦの影響と、点像復元処理において使用する復元フィルタの基礎を構成するＰＳＦとがマッチングしておらず、復元画像にアーティファクトが生じることがある。個体差が原因で生じるアーティファクトを防ぐための一手法として、点像復元処理における復元強度倍率Ｕを小さい値に設定することにより復元度を抑える手法があるが、復元強度倍率Ｕを小さくすると画像が十分には復元されず所望の鮮鋭度が得られない。この鮮鋭度落ちを防ぐための一手法として、レンズユニット１２の個体毎に、所望のトータル鮮鋭度を実現するための鮮鋭化強度倍率Ｖを逐次調整することが考えられるが、そのような逐次調整は手間がかかる作業であり、不便である。

本実施形態では、点像復元処理の回復強度がレンズ（光学系）の個体毎に調整され、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの決定が自動化される。

すなわち本実施形態においては、レンズユニット記憶部２１が復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０を含むとともに、点像復元強度リスト記憶部６７を更に含む。点像復元強度リスト記憶部６７には、光学系の一例であるレンズユニット１２に特有の点像復元回復率Ｇを記憶し、この点像復元回復率Ｇはレンズユニット１２の個体差情報Ｑが反映された値となっている。また、復元フィルタ記憶部５８にはレンズユニット１２（光学系）の種別に応じた復元フィルタＸが記憶されている。なお、復元フィルタＸは同じ種別の光学系の一例であるレンズユニット１２に対して共通に使用される。

点像復元強度リスト記憶部６７に記憶される点像復元回復率Ｇは、鮮鋭回復制御部３７が有する回復率選択部６９によって読み出されて強度自動調整部５２に供給される。すなわち回復率選択部６９は、撮影設定条件Ｓに対応する点像復元回復率Ｇを、点像復元強度リスト記憶部６７から読み出して強度自動調整部５２に供給する。強度自動調整部５２は、上述の第１実施形態と同様に、供給される点像復元回復率Ｇから復元強度倍率Ｕを決定し、この復元強度倍率Ｕ及びトータル鮮鋭度評価値（トータル鮮鋭復元率）に基づいて鮮鋭化強度倍率Ｖを決定する。

他の構成は、図５に示す第１実施形態と同様である。

本実施形態においては復元フィルタ記憶部５８がレンズユニット記憶部２１（レンズユニット１２）に設けられるため、レンズユニット１２が交換されると、復元フィルタ選択部５３は新たなレンズユニット１２の復元フィルタ記憶部５８から復元フィルタＸを読み出す。そのため、搭載される光学系の一例であるレンズユニット１２のＰＳＦを反映した復元フィルタＸを復元フィルタ記憶部５８に記憶しておくことにより、各レンズユニット１２には自身のＰＳＦを反映した復元フィルタＸを記憶する復元フィルタ記憶部５８が搭載される。したがって、複数種類のレンズユニット１２がカメラ本体１４に装着可能であっても、装着されたレンズユニット１２に最適化された復元フィルタＸを点像復元フィルタ処理部４２に供給することができる。更に本実施形態によれば、カメラ本体１４に装着される光学系の一例であるレンズユニット１２の個体差情報Ｑが加味された点像復元回復率Ｇが強度自動調整部５２に供給されるため、光学系の個体差によるＰＳＦの不整合に起因するアーティファクトを防ぐことができる。特に本実施形態においては、個体差情報Ｑを反映した点像復元回復率Ｇがレンズユニット記憶部２１（レンズユニット１２）に記憶されるため、カメラ本体１４に装着されるレンズユニット１２が交換されても、交換後のレンズユニット１２の個体差情報Ｑに基づく点像復元回復率Ｇに応じて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定可能である。各フィルタ処理においては決定された復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが使用されるため、個体差を反映した復元処理を行いつつ所望のトータル鮮鋭度を得ることができる。

なお、点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０は、上述の実施形態においてはレンズユニット１２に設けられているが、カメラ本体１４に設けられていてもよい。これらの記憶部がカメラ本体１４に設けられる場合、装着されたレンズユニット１２に対応するデータが外部機器類（コンピュータ９２、サーバ９７等）から、点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０にダウンロードされることが好ましい。

＜第８実施形態＞
本実施形態では、復元フィルタが複数の光学系に関して共通に用いられる。

図１２は、第８実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態において、図１１に示す第７実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

図１１に示す上述の第７実施形態においては撮影設定条件毎に復元フィルタＸが選択されて点像復元フィルタ処理部４２において用いられるが、本実施形態においては複数の撮影設定条件下（光学系種等）においては同一の復元フィルタＸが点像復元フィルタ処理部４２で用いられる。

撮影設定条件毎のＰＳＦに対応した復元フィルタを用いる点像復元処理は処理負荷が比較的大きいが、本実施形態は、所定の許容範囲を設定しその許容範囲内の複数の撮影設定条件下では復元フィルタＸを共通化することにより点像復元処理の負荷を軽減する。ただし、撮影設定条件（光学系種等）が異なればＰＳＦも厳密には異なるため、複数の撮影設定条件下において復元フィルタＸを共通化する場合、復元画像におけるアーティファクトの出現態様や画像復元率（画像回復率）は撮影設定条件に応じて変わる。

本実施形態においては光学系種に応じて変動するアーティファクト等を防ぐために、カメラ本体１４に取り付けられるレンズユニット１２の種別に応じて、点像復元処理の点像復元回復率Ｇを変化させて、アーティファクトが強く出現し易いレンズユニット１２においては点像復元回復率Ｇを比較的弱く設定する。点像復元回復率Ｇを比較的弱く設定することによって鮮鋭度がばらついて所望のトータル鮮鋭回復度が得られない現象を防ぐため、強度自動調整部５２による復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの自動調整を利用する。

すなわち図１２に示す本実施形態においては、点像復元強度リスト記憶部６７及び輪郭強調強度リスト記憶部６０はレンズユニット１２（レンズユニット記憶部２１）に設けられるが、輪郭強調強度選択部５４はカメラ本体１４に設けられる。復元フィルタ選択部５３は、カメラ本体１４に装着されるレンズユニット１２にかかわらず、撮影設定条件Ｓに対応する復元フィルタＸを輪郭強調強度選択部５４から選択し、点像復元フィルタ処理部４２及び強度自動調整部５２に供給する。

一方、強度自動調整部５２に供給される点像復元回復率Ｇは光学系の一例であるレンズユニット１２毎に定められる。すなわち回復率選択部６９は、レンズユニット記憶部２１の点像復元強度リスト記憶部６７から撮影設定条件Ｓに応じた点像復元回復率Ｇを読み出して強度自動調整部５２に供給する。

点像復元強度リスト記憶部６７に記憶される点像復元回復率Ｇのリスト及び輪郭強調強度リスト記憶部６０に記憶される鮮鋭化強度倍率Ｖ０のリストは、光学系の一例であるレンズユニット１２毎に予め算出されて記憶される。

本実施形態においてはレンズユニット１２の種類によらずに共通の復元フィルタＸが点像復元フィルタ処理部４２によって用いられるため、その復元フィルタＸの共通化を加味した点像復元回復率Ｇ及び鮮鋭化強度倍率Ｖ０（点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０）が強度自動調整部５２に送られる。したがって回復率選択部６９は、点像復元強度リスト記憶部６７から選択される点像復元回復率Ｇに対して「復元フィルタＸの共通化」を加味した任意の調整処理を行い、その調整後の点像復元回復率Ｇを強度自動調整部５２に供給してもよい。同様に、輪郭強調強度選択部５４は、輪郭強調強度リスト記憶部６０から選択される鮮鋭化強度倍率Ｖ０に対して「復元フィルタＸの共通化」を加味した任意の調整処理を行い、その調整後の鮮鋭化強度倍率Ｖ０を強度自動調整部５２に供給してもよい。

以上説明したように本実施形態によれば、複数の撮影設定条件（光学系種類）に関して同一の復元フィルタを使用することを考慮して点像復元回復率Ｇが予め定められ、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが算出される。これにより、復元フィルタの共通化に起因する復元画像におけるアーティファクトを防ぎつつ、点像復元処理及び鮮鋭化処理によって画像の鮮鋭度を向上させることができる。

なお、上述の例においては「複数の光学系」に対して復元フィルタが共通に用いられるが、復元フィルタの共通化の基準となる撮影設定条件は光学系の種類に限定されず、他の撮影設定条件（例えばズーム情報等）に関して復元フィルタが共通に用いられてもよい。

例えば複数のズーム倍率（特に光学ズーム倍率及びデジタルズーム倍率のうち光学ズーム倍率）に関して同一の復元フィルタを用いる場合、撮影設定条件Ｓに含まれるズーム情報に基づいて復元フィルタ選択部５３が適切な復元フィルタＸを選択し、点像復元フィルタ処理部４２及び強度自動調整部５２に供給する。一方、回復率選択部６９は、点像復元強度リスト記憶部６７から撮影設定条件Ｓに応じた点像復元回復率Ｇを読み出して強度自動調整部５２に供給する。強度自動調整部５２は、供給される復元フィルタＸ及び点像復元回復率Ｇに基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する。この場合、複数のズーム倍率に関して共通の復元フィルタを用いることを考慮した点像復元回復率Ｇや鮮鋭化強度倍率Ｖ０（最大輪郭強調強度）が強度自動調整部５２に供給されてもよい。例えば回復率選択部６９及び輪郭強調強度選択部５４が、共通復元フィルタの使用を踏まえた点像復元回復率Ｇ及び鮮鋭化強度倍率Ｖ０（最大輪郭強調強度）を読み出し又は決定してもよい。

＜他の変形例＞
上述の実施形態は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。

鮮鋭回復制御部３７（例えば図５参照）は、少なくとも「絞り値が、第１の閾値によって表される絞り度よりも絞りが開放されていることを示す場合」に、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出することも可能である。例えば、絞り値が開放側である場合に上述の復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの自動調整制御が行われるようにしてもよい。すなわち鮮鋭回復制御部３７（例えば図５参照）は、画像データを取得した際の光学系（レンズユニット１２）の絞り値（Ｆ値）を取得し、その絞り値と第１の閾値とを比較する。絞り値をＦ値とした場合、取得したＦ値が第１の閾値以下（絞り開放側）の場合のみ、鮮鋭回復制御部３７は、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出してもよい。一般に、点像復元処理による復元率及びアーティファクトの出現態様はＦ値に応じて変動し、特に開放側Ｆ値で撮影された画像データでアーティファクトが目立ち易い。したがって（小絞り側ではなく）開放側絞りで撮影された画像データに対してのみ、上述の各実施形態に係る点像復元処理及び鮮鋭化処理による画像処理を行って、開放側絞り値で表れ易いアーティファクトを抑えつつ、鮮鋭化処理による画像鮮鋭度を向上させることができる。この場合、上述の各実施形態に係る点像復元処理及び鮮鋭化処理による画像処理は、少なくともアーティファクトが目立ち易い開放側Ｆ値で撮影された画像データに対して適用されればよいが、その他のＦ値で撮影された画像データに対して適用されてもよく、開放側Ｆ値で撮影された画像データに対してのみ適用されてもよい。

なお、絞り値（絞り情報）は「撮影設定条件」に含まれ、図１２に示す構成において撮影設定条件Ｓが強度自動調整部５２に供給されることによって、強度自動調整部５２において「絞り値と第１の閾値との比較」及び「点像復元回復率Ｇ（復元率）及び鮮鋭化強度倍率Ｖ（鮮鋭化率）の決定」を行うことができる。また「第１の閾値」は任意の値（Ｆ値）に設定可能であり、ズーム等の他の撮影設定条件に応じて決められてもよく、例えばＦ３．５〜Ｆ６．３の範囲のＦ値に相当する閾値を「第１の閾値」に設定してもよい。

また上述の実施形態では点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０（トータル鮮鋭復元率）を撮影設定条件Ｓに基づいて輪郭強調強度選択部５４が決定する例が示されているが、ユーザインターフェース２９を介したユーザの指定に基づいて鮮鋭化強度倍率Ｖ０（トータル鮮鋭復元率）が決定されてもよい。

また上述の各実施形態ではデジタルカメラ１０において復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを自動調整計算する例について説明したが、出荷前にメーカ側で予めその自動調整計算を行い、算出した復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖのパラメータ全てをデジタルカメラ１０（レンズユニット記憶部２１、本体記憶部３１等）に記憶保持させてもよい。例えば「復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖ」と「撮影設定条件Ｓ」とを対応付けたテーブルをデジタルカメラ１０は記憶保持し、強度自動調整部５２はこのテーブルを参照することにより撮影設定条件Ｓから復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを求めることができる。この場合、デジタルカメラ１０（画像処理部）において用いられるパラメータを生成するパラメータ生成方法は、「点像復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率に基づくトータル鮮鋭復元率を取得するステップ」と、「復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出するステップ」と、を備える。これらのステップは、例えば上述の第１実施形態に係る強度自動調整部５２と同様にすることにより実行可能である。

また、本明細書に記載の実施形態同士を適宜組み合わせてもよく、第１実施形態〜第８実施形態及び変形例のうち、任意の形態同士が組み合わされてもよい。例えば第２実施形態（図６参照）において輪郭強調強度選択部５４は、カメラ本体１４に装着されるレンズユニット１２の光学特性情報を取得し、その光学特性情報（光学系が有するレンズ種類情報、光学系の個体差情報、撮影設定条件等）に基づいて鮮鋭化強度倍率Ｖを決定してもよい。この場合、輪郭強調強度選択部５４は任意の手法によって光学特性情報を取得することができ、例えば輪郭強調強度選択部５４（本体コントローラ２８）はレンズユニットコントローラ２０と通信することによりレンズユニット１２の光学特性情報を取得してもよい。また図１３に示すように、個体差情報Ｑ（光学特性情報の一例）が反映された鮮鋭化強度倍率Ｖ０、Ｖを輪郭強調強度リスト記憶部６０に記憶しておくことにより、「光学特性情報の取得」及び「光学特性情報に基づく鮮鋭化強度倍率Ｖ０、Ｖの決定」を同時的に行ってもよい。

また、上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の各装置及び処理部（本体コントローラ２８、デバイス制御部３４、画像処理部３５（鮮鋭回復制御部３７、復元処理部３８、輪郭強調処理部３９）等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１４は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図１４に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１５は、図１４に示すスマートフォン１０１の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用することにより、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示することにより視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１４に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換することにより主制御部１００に出力が可能であり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１４に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介することにより接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括することにより制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することにより対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施することにより、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図１４に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部１４１を同時に使用することにより撮影することもできる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１によって取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用することにより、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内において利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加する共に記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

上述の画像処理部３５（鮮鋭回復制御部３７、復元処理部３８、輪郭強調処理部３９：図３参照）は、例えば主制御部１００によって実現可能である。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１８…光学系操作部、２０…レンズユニットコントローラ、２１…レンズユニット記憶部、２２…レンズユニット入出力部、２６…撮像素子、２８…本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３１…本体記憶部、３２…入出力インターフェース、３３…ガンマ補正処理部、３４…デバイス制御部、３５…画像処理部、３７…鮮鋭回復制御部、３８…復元処理部、３９…輪郭強調処理部、４２…点像復元フィルタ処理部、４３…復元乗算器、４４…復元加算器、４６…輪郭強調フィルタ処理部、４７…鮮鋭化乗算器、４８…鮮鋭化加算器、５２…強度自動調整部、５３…復元フィルタ選択部、５４…輪郭強調強度選択部、５８…復元フィルタ記憶部、６０…輪郭強調強度リスト記憶部、６１…第１加算器、６２…第２加算器、６３…鮮鋭復元調整部、６５…非線形処理部、６７…点像復元強度リスト記憶部、６９…回復率選択部、９２…コンピュータ、９３…コンピュータ入出力部、９４…コンピュータコントローラ、９５…ディスプレイ、９６…インターネット、９７…サーバ、９８…サーバ入出力部、９９…サーバコントローラ、Ｃ…撮影設定条件、Ｇ…点像復元回復率、Ｕ…復元強度倍率、Ｖ…鮮鋭化強度倍率、Ｘ…復元フィルタ、Ｍ…撮影モード情報、Ｑ…個体差情報

Claims (30)

1. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
   前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
   前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
   前記鮮鋭回復制御部は、
   前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
   ユーザが指定する指定回復率に基づいて前記復元率を定め、
   前記トータル鮮鋭復元率及び前記復元率に基づいて前記鮮鋭化率を算出する画像処理装置。
2. 前記復元率は、前記光学系の特性を表す光学特性情報に基づいて定められる請求項１に記載の画像処理装置。
3. 前記光学系は、前記光学特性情報を記憶する光学系記憶部を有し、
   前記復元率は、前記光学系記憶部に記憶される前記光学特性情報に基づいて定められる請求項２に記載の画像処理装置。
4. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
   前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
   前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
   前記鮮鋭回復制御部は、
   前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率及び前記鮮鋭化率を取得し、
   前記トータル鮮鋭復元率及び前記鮮鋭化率に基づいて前記復元率を算出する画像処理装置。
5. 前記鮮鋭回復制御部は、前記画像データの撮影における撮影設定条件に基づいて前記鮮鋭化率を決定する請求項４に記載の画像処理装置。
6. 前記鮮鋭化率は、前記光学系の特性を表す光学特性情報に基づいて定められる請求項４又は５に記載の画像処理装置。
7. 前記光学系は、前記光学特性情報を記憶する光学系記憶部を有し、
   前記鮮鋭化率は、前記光学系記憶部に記憶される前記光学特性情報に基づいて定められる請求項６に記載の画像処理装置。
8. 前記光学特性情報は、前記光学系が有するレンズの種類情報を含む請求項２、３、６及び７のいずれか一項に記載の画像処理装置。
9. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
   前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
   前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
   前記鮮鋭回復制御部は、
   前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率及び前記復元率を取得し、
   前記トータル鮮鋭復元率及び前記復元率に基づいて前記鮮鋭化率を算出し、
   前記復元率は、前記光学系の特性を表す光学特性情報に基づいて定められ、
   前記光学特性情報は、前記光学系の個体差情報を含む画像処理装置。
10. 前記光学特性情報は、撮影設定条件を含む請求項２、３及び６〜９のいずれか一項に記載の画像処理装置。
11. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記画像データを取得した際の前記光学系の絞り値を取得し、当該絞り値と第１の閾値とを比較し、
    少なくとも、前記絞り値が、前記第１の閾値によって表される絞り度よりも絞りが開放されていることを示す場合に、前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出する画像処理装置。
12. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出し、
    前記画像データを取得した際の撮影モード情報を取得し、
    前記撮影モード情報が動画記録モードを示す場合には、前記トータル鮮鋭復元率を一定に保つ画像処理装置。
13. 前記鮮鋭回復制御部は、
    前記撮影モード情報が動画記録モードを示す場合には、前記撮影モード情報が静止画記録モードを示す場合よりも、前記復元率を小さくする請求項１２に記載の画像処理装置。
14. 前記復元フィルタは、前記画像データの撮影における撮影設定条件に基づいて決定される請求項１〜１３のいずれか一項に記載の画像処理装置。
15. 前記撮影設定条件は、前記点拡がり関数に影響する設定条件を含む請求項１４に記載の画像処理装置。
16. 前記設定条件は、絞り情報、ズーム情報、被写体距離情報、及び前記光学系が有するレンズ種類情報のうち少なくともいずれか１つを含む請求項１５に記載の画像処理装置。
17. 前記撮影設定条件は、前記点拡がり関数に影響を及ぼさない撮影条件を含む請求項１４〜１６のいずれか一項に記載の画像処理装置。
18. 前記撮影条件は、撮影感度情報及び撮影モード情報のうち少なくともいずれか１つを含む請求項１７に記載の画像処理装置。
19. 複数の前記光学系の点拡がり関数に基づく複数の前記復元フィルタを記憶する復元フィルタ記憶部と、
    前記画像データの撮影に用いられた前記光学系の前記点拡がり関数に基づく前記復元フィルタを、前記撮影設定条件に基づいて前記復元フィルタ記憶部から選択する復元フィルタ選択部とを更に備え、
    前記復元処理部は、前記復元フィルタ選択部が選択した前記復元フィルタを用いて前記復元処理を行う請求項１４〜１８のいずれか一項に記載の画像処理装置。
20. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出し、
    前記復元フィルタは、複数の光学系に関して共通に用いられる画像処理装置。
21. 前記復元フィルタは、複数の撮影設定条件に関して共通に用いられる請求項１〜２０のいずれか一項に記載の画像処理装置。
22. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出し、
    前記復元フィルタは、複数の撮影設定条件に関して共通に用いられ、
    前記複数の撮影設定条件は、前記光学系のズーム情報を含む画像処理装置。
23. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出し、
    前記鮮鋭回復制御部は、第１の周波数において前記トータル鮮鋭復元率を目標鮮鋭復元率に調整する画像処理装置。
24. 前記復元処理部及び前記鮮鋭化処理部は直列に設けられ、前記画像データは、前記復元処理及び前記鮮鋭化処理のうちの一方の処理を受けた後に他方の処理を受ける請求項１〜２３のいずれか一項に記載の画像処理装置。
25. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出し、
    前記復元処理部及び前記鮮鋭化処理部は並列に設けられ、前記画像データは前記復元処理部及び前記鮮鋭化処理部に入力され、前記復元処理による前記画像データの増減分データと、前記鮮鋭化処理による前記画像データの増減分データとが加算される画像処理装置。
26. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出し、
    前記画像データの非線形処理を行う非線形処理部を更に備える画像処理装置。
27. 前記非線形処理部は、前記復元処理部及び前記鮮鋭化処理部のうち少なくともいずれか一方に含まれる請求項２６に記載の画像処理装置。
28. 前記非線形処理は、前記画像データのうちクリップ閾値を超える画素値をクリップ閾値に調整するクリップ処理である請求項２６又は２７に記載の画像処理装置。
29. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備え、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出し、
    前記光学系は、前記撮像素子が搭載される撮像本体に交換可能に装着される画像処理装置。
30. 光学系を用いた被写体の撮影により撮像素子から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う復元処理部と、
    前記画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
    前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理による前記画像データの復元率及び前記鮮鋭化処理による前記画像データの鮮鋭化率を調整可能な鮮鋭回復制御部とを備える撮像装置であって、
    前記鮮鋭回復制御部は、
    前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率を取得し、
    前記復元率及び前記鮮鋭化率のうちの一方を取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出する撮像装置。

Images