JPWO2015156152A1 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

取得可能な絞り値や焦点距離等の撮影条件に基づいて精度の高い鮮鋭化フィルタを取得することを可能にする画像処理装置、撮像装置、画像処理方法及びプログラムを提供する。画像処理部３６は、情報取得部４０、フィルタ取得部４２及びフィルタ処理部４４を備える。情報取得部４０は、光学系を用いた被写体像の撮影により取得される原画像データの撮影情報を取得する。フィルタ取得部４２は、撮影情報に第１の撮影条件が含まれるが第２の撮影条件が含まれない場合に、第１の撮影条件に関連付けられた鮮鋭化フィルタであって第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタを取得する。フィルタ処理部４４は、フィルタ取得部４２が取得した鮮鋭化フィルタを原画像データに適用して鮮鋭画像データを取得する。

Description

本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に鮮鋭化処理に関する。

デジタルカメラ等の撮像装置によって撮影取得された画像データの画質を改善するために、鮮鋭化処理が一般的に行われている。鮮鋭化処理は、画像データに鮮鋭化フィルタを適用することで画像のボケ等を解消する処理であり、例えば輪郭強調処理や点像復元処理等が知られている。

例えば特許文献１に開示のカメラユニットでは、ウィーナーフィルタ等の画像回復フィルタを用いた画像回復処理が行われる。

また特許文献２に開示の画像処理方法では、撮像系の光学伝達関数に基づく画像回復フィルタを用いて、画像の位相劣化成分を低減するための画像回復処理が行われる。

また特許文献３の撮像システムでは、鮮鋭度を高める空間周波数成分が画像から抽出され、撮影光学系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）データに基づいて設定されるパラメータ（ゲイン等）を使って抽出成分を増幅する鮮鋭化処理が行われる。

特開２０１１−１１９８７４号公報 特開２０１１−１２３５８９号公報 特開２００２−３４４７９８号公報

鮮鋭化処理の対象となっている画像データに適用する鮮鋭化フィルタは、撮影条件や光学系の光学特性に応じて定められることが好ましい。実際の撮影条件とは異なる撮影条件に対応する鮮鋭化フィルタや、撮影に使用した光学系の光学特性とは異なる光学特性に対応する鮮鋭化フィルタを用いて鮮鋭化処理を行うと、十分な鮮鋭化効果が得られないだけではなく、却って画質を悪化させることがある。

そのため鮮鋭化処理を行う場合には、撮影条件や光学系の光学特性を正確に把握して適切なフィルタの選定を行うことが好ましい。特に、光学伝達関数（点拡がり関数等）に基づいて鮮鋭化フィルタを作成する場合には、撮影に使用した光学系の光学特性や他の撮影条件（絞り値（Ｆ値）、焦点距離等）に応じた適切な光学伝達関数を特定することが求められる。

例えば特許文献１のカメラユニットは、レンズユニットから画像回復情報（画像回復フィルタ）が送信される。また特許文献２の画像処理方法では、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離（状態相違量）を算出し、最も距離の短い位置の画像回復フィルタが選択される。また特許文献３の撮像システムでは、画像に含まれる空間周波数に対応した光学系のＭＴＦデータを用いて画像の鮮鋭化処理のためのパラメータが設定される。

これらの特許文献１〜３に記載の装置では、それぞれの装置において必要とされる画像回復処理（鮮鋭化処理）のための情報が適切に取得される場合には処理を適切に行うことができるが、処理に必要な情報の一部が取得できない場合には処理を遂行することができない。

実際の鮮鋭化処理では、光学系の光学特性や他の撮影条件を取得することができない場合がある。例えば光学伝達関数に基づく鮮鋭化処理をデジタルカメラにおいて行う場合、通常は、レンズユニットやカメラ本体に保存されている光学伝達関数や鮮鋭化フィルタが利用されるが、レンズユニット及びカメラ本体のいずれにも実際に使用したレンズユニット（光学系）の光学伝達関数や鮮鋭化フィルタが保存されていない場合がある。

また絞り値や焦点距離等の撮影条件をレンズユニットとの通信によってカメラ本体が取得するケースでは、撮影に使用したレンズユニットがカメラ本体に対応しておらずカメラ本体との通信機能を持たない場合がある。この場合、カメラ本体はレンズユニットから撮影条件を取得することができない。また撮影に使用したレンズユニットがカメラ本体との通信機能を持つ場合であっても、使用環境（衝撃、温度等）によって通信不良が生じ、カメラ本体がレンズユニットから撮影条件を取得することができないケースもある。また撮影に使用したレンズユニットがカメラ本体との通信機能を持ち通信不良も生じない場合であっても、全ての撮影条件は得られず一部の撮影条件しか取得できないケースもある。

上述のように様々な要因によって光学系の光学伝達関数や撮影条件を取得することができない場合がある一方で、そのような条件下であっても鮮鋭化処理を可能な限り適切に実施したいとの要望がある。

本発明は上述の事情に鑑みてなされたものであり、光学系の光学伝達関数や撮影条件を取得することができない場合であっても、取得可能な絞り値や焦点距離等の撮影条件に基づいて精度の高い鮮鋭化フィルタを取得することを可能にする技術を提供することを目的とする。

本発明の一態様は、光学系を用いた被写体像の撮影により取得される原画像データの撮影情報を取得する情報取得部と、少なくとも第１の撮影条件及び第２の撮影条件に基づいて鮮鋭化フィルタを取得するフィルタ取得部と、フィルタ取得部が取得した鮮鋭化フィルタを原画像データに適用し、鮮鋭画像データを取得するフィルタ処理部と、を備え、フィルタ取得部は、情報取得部が取得する撮影情報に第１の撮影条件が含まれるが第２の撮影条件が含まれない場合に、撮影情報に含まれる第１の撮影条件に関連付けられた鮮鋭化フィルタであって第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタを取得する画像処理装置に関する。

本態様によれば、撮影情報に第１の撮影条件が含まれるが第２の撮影条件が含まれていないために鮮鋭化フィルタを適切に取得できない場合であっても、取得可能な第１の撮影条件に基づいて精度の高い鮮鋭化フィルタを取得することができる。

望ましくは、第１の撮影条件及び第２の撮影条件のうち、一方は絞り値であり、他方は焦点距離である。

本態様によれば、原画像データの絞り値又は焦点距離の情報が取得できない場合であっても、取得可能な絞り値又は焦点距離の情報に基づいて精度の高い鮮鋭化フィルタを取得することができる。

望ましくは、鮮鋭化フィルタは、光学系の光学伝達関数に基づくフィルタである。

本態様によれば、光学系の光学伝達関数に基づいて定められる鮮鋭化フィルタを取得することができる。なお光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＯＴＦ）には、点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）、変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＭＴＦ）及び位相伝達関数（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＰＴＦ）が含まれる。

望ましくは、鮮鋭化フィルタは、光学系の光学伝達関数に基づかないフィルタである。

本態様によれば、光学系の光学伝達関数とは無関係に定められる鮮鋭化フィルタを取得することができる。

望ましくは、フィルタ取得部は、複数の像高に関連付けられた複数の鮮鋭化フィルタを取得し、フィルタ処理部は、像高に応じて、原画像データに鮮鋭化フィルタを適用する。

本態様によれば、像高に応じた高い精度の鮮鋭化フィルタを取得することができる。

望ましくは、フィルタ取得部は、少なくとも第１の撮影条件及び第２の撮影条件に応じて定められる複数の鮮鋭化フィルタを記憶するフィルタ記憶部と、フィルタ記憶部に記憶される複数の鮮鋭化フィルタの中から、撮影情報に基づく鮮鋭化フィルタを選択するフィルタ選択部と、を有する。

本態様によれば、フィルタ記憶部に記憶されている複数の鮮鋭化フィルタの中から鮮鋭化フィルタを取得することができる。

望ましくは、フィルタ取得部は、少なくとも第１の撮影条件及び第２の撮影条件に応じて定められる複数の光学伝達関数を取得する関数取得部と、関数取得部が取得した複数の光学伝達関数の中から選択される光学伝達関数であって、撮影情報に基づく光学伝達関数から鮮鋭化フィルタを生成して取得するフィルタ生成部と、を有する。

本態様によれば、撮影情報に基づいて光学伝達関数から生成される鮮鋭化フィルタを取得することができる。

望ましくは、第２の撮影条件の代表条件は、第１の撮影条件に関連付けられた複数の鮮鋭化フィルタの各々の空間周波数特性に基づいて定められる。

本態様によれば、複数の鮮鋭化フィルタの各々の空間周波数特性に基づいて、第２の撮影条件の代表条件が定められ、代表条件に関連付けられた鮮鋭化フィルタを精度良く取得できる。

鮮鋭化フィルタの空間周波数特性は、例えば鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスに基づいて定められてもよい。したがって第２の撮影条件の代表条件は、第１の撮影条件に関連付けられた複数の鮮鋭化フィルタの各々のレスポンス特性に基づいて定められてもよく、この場合、第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタを精度良く取得できる。

望ましくは、第２の撮影条件の代表条件は、第１の撮影条件に関連付けられた複数の鮮鋭化フィルタであって、複数の第２の撮影条件に関連付けられた複数の鮮鋭化フィルタの各々に関し、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスの最大値を基準に定められる。

本態様によれば、鮮鋭化フィルタのレスポンスの最大値を基準に第２の撮影条件の代表条件が定められ、代表条件に関連付けられた鮮鋭化フィルタを精度良く取得できる。

望ましくは、第２の撮影条件の代表条件は、第１の撮影条件に関連付けられた複数の鮮鋭化フィルタであって、複数の第２の撮影条件に関連付けられた複数の鮮鋭化フィルタの各々に関し、横軸の基準を空間周波数とし、縦軸の基準を、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスとした座標系における、空間周波数毎のレスポンスを表す関数において、第１の閾値よりも大きなレスポンスを示す範囲の面積を基準に定められる。

本態様によれば、鮮鋭化フィルタのレスポンスの大きさを基準に第２の撮影条件の代表条件が定められ、代表条件に関連付けられた鮮鋭化フィルタを精度良く取得できる。

望ましくは、第１の閾値は１以上の値である。

本態様によれば、鮮鋭化フィルタの１よりも大きいレスポンス部分を基準に第２の撮影条件の代表条件が定められ、代表条件に関連付けられた鮮鋭化フィルタを精度良く取得できる。

望ましくは、画像処理装置は、原画像データの空間周波数特性を解析する周波数解析部を更に備え、フィルタ取得部は、周波数解析部による解析結果から原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上と判定される場合には、第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得する。

本態様によれば、原画像データの特定の空間周波数の範囲の成分量が大きい場合には、レスポンスの小さい鮮鋭化フィルタが取得される。

望ましくは、画像処理装置は、原画像データの空間周波数特性を解析する周波数解析部を更に備え、フィルタ処理部は、周波数解析部による解析結果から原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上と判定される場合には、ゲインをコントロールすることにより原画像データに対する鮮鋭画像データの増分量を小さくする。

例えば画像処理装置は、原画像データの空間周波数特性を解析する周波数解析部を更に備え、フィルタ処理部は、フィルタ取得部が取得した鮮鋭化フィルタを原画像データに適用してフィルタリング画像データを取得するフィルタ適用部と、撮影情報に基づいて、原画像データに対するフィルタリング画像データのゲインをコントロールすることにより鮮鋭画像データを取得するゲイン制御部とを有し、ゲイン制御部は、周波数解析部による解析結果から原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上と判定される場合には、ゲインをコントロールし、撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

本態様によれば、原画像データの特定の空間周波数の範囲の成分量が大きい場合には、ゲインコントロールが行われ、原画像データに対する鮮鋭画像データの増分量が小さくされる。

望ましくは、画像処理装置は、原画像データの飽和画素を解析する飽和画素解析部を更に備え、フィルタ取得部は、飽和画素解析部による解析結果から原画像データに第３の閾値以上の画素値を有する飽和画素が含まれると判定される場合には、第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得する。

本態様によれば、飽和画素が含まれる原画像データに関しては、レスポンスの小さい鮮鋭化フィルタが取得される。

望ましくは、画像処理装置は、原画像データの飽和画素を解析する飽和画素解析部を更に備え、フィルタ処理部は、飽和画素解析部による解析結果から原画像データに第３の閾値以上の画素値を有する飽和画素が含まれると判定される場合には、ゲインをコントロールすることにより原画像データに対する鮮鋭画像データの増分量を小さくする。

例えば画像処理装置は、原画像データの飽和画素を解析する飽和画素解析部を更に備え、フィルタ処理部は、フィルタ取得部が取得した鮮鋭化フィルタを原画像データに適用してフィルタリング画像データを取得するフィルタ適用部と、撮影情報に基づいて、原画像データに対するフィルタリング画像データのゲインをコントロールすることにより鮮鋭画像データを取得するゲイン制御部とを有し、ゲイン制御部は、飽和画素解析部による解析結果から原画像データに第３の閾値以上の画素値を有する飽和画素が含まれると判定される場合には、ゲインをコントロールすることにより、撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

本態様によれば、飽和画素が含まれる原画像データに関しては、ゲインコントロールが行われ、原画像データに対する鮮鋭画像データの増分量が小さくされる。

なお「原画像データに飽和画素が含まれると判定されるケース」は、鮮鋭化フィルタによって鮮鋭化処理の対象になっている画素自身が飽和画素であるケースだけには限定されず、その鮮鋭化処理の対象になっている画素の周辺画素が飽和画素であるケースも含まれうる。

望ましくは、画像処理装置は、鮮鋭画像データのリンギング量を取得するリンギング取得部を更に備え、フィルタ取得部は、リンギング量が第４の閾値以上の場合には、第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得する。

本態様によれば、鮮鋭画像データにおけるリンギング量が大きい場合には、レスポンスの小さい鮮鋭化フィルタが取得される。

望ましくは、画像処理装置は、鮮鋭画像データのリンギング量を取得するリンギング取得部を更に備え、フィルタ処理部は、リンギング量が第４の閾値以上の場合には、ゲインをコントロールすることにより原画像データに対する鮮鋭画像データの増分量を小さくする。

例えば画像処理装置は、鮮鋭画像データのリンギング量を取得するリンギング取得部を更に備え、フィルタ処理部は、フィルタ取得部が取得した鮮鋭化フィルタを原画像データに適用してフィルタリング画像データを取得するフィルタ適用部と、撮影情報に基づいて、原画像データに対するフィルタリング画像データのゲインをコントロールすることにより鮮鋭画像データを取得するゲイン制御部とを有し、ゲイン制御部は、リンギング量が第４の閾値以上の場合には、ゲインをコントロールし、撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

本態様によれば、鮮鋭画像データにおけるリンギング量が大きい場合には、ゲインコントロールが行われ、原画像データに対する鮮鋭画像データの増分量が小さくされる。

なお、鮮鋭画像データのリンギング量の取得手法は特に限定されず、リンギング取得部は、予め定められた条件に基づいてリンギング量を取得してもよい。例えば、原画像データと鮮鋭画像データとを比較することによりリンギング量が取得されてもよいし、鮮鋭画像データの周波数特性等の画像特性を解析して、その解析結果が予め定められた条件に該当するか否かに応じてリンギング量が取得（推定）されてもよい。また原画像データの取得が予め定められた取得条件において行われたか否かに応じてリンギング量が取得（推定）されてもよく、例えば原画像データを取得する撮影に用いられた光学系の情報がここでいう取得条件に含まれうる。鮮鋭化処理の鮮鋭化精度や副作用（リンギング等）に影響を及ぼしうる各種要素が「取得条件」に含まれうる。例えば、ここでいう光学系の情報は、原画像データを取得する撮影に用いられた光学系のレンズ種類、絞り値、ズーム値のうち少なくともいずれか１つを含みうる。また原画像データの周波数特性等の画像特性を解析して、その解析結果が予め定められた条件に該当するか否かに応じてリンギング量が取得（推定）されてもよく、例えば原画像データにおける飽和画素の有無に応じてリンギング量が取得（推定）されてもよい。

望ましくは、画像処理装置は、特定の空間周波数の範囲に関して原画像データに対する鮮鋭画像データの増分値を取得する増分値取得部を更に備え、フィルタ取得部は、増分値が第５の閾値以上の場合には、第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得する。

本態様によれば、特定の空間周波数の範囲に関して原画像データに対する鮮鋭画像データの増分値が大きい場合には、レスポンスの小さい鮮鋭化フィルタが取得される。

望ましくは、画像処理装置は、特定の空間周波数の範囲に関して原画像データに対する鮮鋭画像データの増分値を取得する増分値取得部を更に備え、フィルタ処理部は、増分値が第５の閾値以上の場合には、ゲインをコントロールすることにより原画像データに対する鮮鋭画像データの増分量を小さくする。

例えば画像処理装置は、特定の空間周波数の範囲に関して原画像データに対する鮮鋭画像データの増分値を取得する増分値取得部を更に備え、フィルタ処理部は、フィルタ取得部が取得した鮮鋭化フィルタを原画像データに適用してフィルタリング画像データを取得するフィルタ適用部と、撮影情報に基づいて、原画像データに対するフィルタリング画像データのゲインをコントロールし鮮鋭画像データを取得するゲイン制御部とを有し、ゲイン制御部は、増分値が第５の閾値以上の場合には、ゲインをコントロールして、撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

本態様によれば、特定の空間周波数の範囲に関して原画像データに対する鮮鋭画像データの増分値が大きい場合には、ゲインコントロールが行われ、原画像データに対する鮮鋭画像データの増分量が小さくされる。

望ましくは、特定の空間周波数の範囲は、原画像データのサンプリング周波数の１／８以上であって１／４以下の範囲に含まれる。

本発明の他の態様は、撮像素子と、上記の画像処理装置とを備え、原画像データは撮像素子によって取得される撮像装置に関する。

本発明の他の態様は、光学系を用いた被写体像の撮影により取得される原画像データの撮影情報を取得し、少なくとも第１の撮影条件及び第２の撮影条件に基づいて鮮鋭化フィルタを取得し、鮮鋭化フィルタを原画像データに適用して鮮鋭画像データを取得する画像処理方法であって、撮影情報に第１の撮影条件が含まれるが第２の撮影条件が含まれない場合に、撮影情報に含まれる第１の撮影条件に関連付けられた鮮鋭化フィルタであって第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタを取得する画像処理方法に関する。

本発明の他の態様は、光学系を用いた被写体像の撮影により取得される原画像データの撮影情報を取得する手順と、少なくとも第１の撮影条件及び第２の撮影条件に基づいて鮮鋭化フィルタを取得する手順と、鮮鋭化フィルタを原画像データに適用して鮮鋭画像データを取得する手順とをコンピュータに実行させるためのプログラムであって、撮影情報に第１の撮影条件が含まれるが第２の撮影条件が含まれない場合に、撮影情報に含まれる第１の撮影条件に関連付けられた鮮鋭化フィルタであって第２の撮影条件の代表条件に関連付けられた鮮鋭化フィルタを取得するプログラムに関する。

本発明によれば、撮影情報に第１の撮影条件が含まれるが第２の撮影条件が含まれていないために鮮鋭化フィルタを適切に取得できない場合であっても、取得可能な第１の撮影条件に基づいて精度の高い鮮鋭化フィルタを取得することができる。

コンピュータに接続されるデジタルカメラの概略を示すブロック図である。 カメラ本体コントローラの機能構成の概略を示すブロック図である。 第１実施形態に係る画像処理部の機能構成例を示すブロック図である。 フィルタ取得部の機能構成の一例を示すブロック図である。 フィルタ取得部の機能構成の他の例を示すブロック図である。 鮮鋭化フィルタの空間周波数毎のレスポンスの一例を示す図である。 鮮鋭化フィルタの空間周波数毎のレスポンスの一例を示す図である。 鮮鋭化処理の流れの一例を示すフローチャートである。 フィルタ処理部の機能構成の一例を示すブロック図である。 フィルタ処理部の機能構成の具体例を示すブロック図である。 第２実施形態の第１のモードに係る画像処理部の機能構成例を示すブロック図である。 第２実施形態の第２のモードに係る画像処理部の機能構成例を示すブロック図である。 第２実施形態の第３のモードに係る画像処理部の機能構成例を示すブロック図である。 第２実施形態の第４のモードに係る画像処理部の機能構成例を示すブロック図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図１５に示す復元処理ブロックによる復元処理フローの一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のボケた画像を示し、（ｂ）は復元処理後のボケが解消された画像（点像）を示す。 スマートフォンの外観を示す図である。 図１９に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する例について説明する。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備える。レンズユニット１２とカメラ本体１４とは、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して電気的に接続される。

レンズユニット１２は、レンズ１６及び絞り１７等を含む光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り値（絞り量）の制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、ＲＧＢ（赤緑青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード：ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（撮影画像データ）を本体コントローラ２８に送る。すなわち本例の撮像素子２６は、光学系（レンズ１６、絞り１７等）を通過した被写体像を受光して撮影画像データ（以下、「画像データ」と称する）を生成し、その画像データを本体コントローラ２８（後述の「画像処理部３６」）に送信する。

図２は、本体コントローラ２８の機能構成の概略を示すブロック図である。

本体コントローラ２８は、デバイス制御部３４と画像処理部（画像処理装置）３６とを有し、カメラ本体１４を統括的に制御する。

デバイス制御部３４は、例えば、撮像素子２６からの画像データの出力を制御したり、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類（コンピュータ８０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データ等）を送信したりする。また本例のデバイス制御部３４は、カメラ本体１４に設けられる表示部３８を制御する表示制御部３７を含む。さらにデバイス制御部３４は、デジタルカメラ１０が具備する他のデバイス類を適宜制御する。

一方、画像処理部３６は、撮像素子２６からの画像データに対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリクス処理、ガンマ変換処理、等）、ＲＧＢ画像処理（トーン補正処理、露出補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３６において適宜行われる。加えて、本例の画像処理部３６は、後述の「鮮鋭化処理」を行う。

本体コントローラ２８において画像処理が施された画像データは、フラッシュメモリ等によって構成される画像記憶部２９に保存される。画像記憶部２９に保存された画像データは、入出力インターフェース３２（図１参照）に接続されるコンピュータ８０等に送られる。また画像記憶部２９がカメラ本体１４から着脱自在の場合には、カメラ本体１４から取り外された画像記憶部２９に接続されるコンピュータ８０等に、画像記憶部２９に保存された画像データが送られる。デジタルカメラ１０（画像記憶部２９）からコンピュータ８０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意のフォーマットとしうる。したがって本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応付けて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ８０に送信してもよい。

コンピュータ８０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部８１を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ８２は、コンピュータ８０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット等のネットワーク８４を介してコンピュータ入出力部８１に接続されるサーバ８５等との通信制御をしたりする。コンピュータ８０はディスプレイ８３を有し、コンピュータコントローラ８２における処理内容等がディスプレイ８３に必要に応じて表示される。ユーザは、ディスプレイ８３の表示を確認しながらキーボード等の入力手段（図示省略）を操作することにより、コンピュータコントローラ８２に対してデータやコマンドを入力し、コンピュータ８０を制御したり、コンピュータ８０に接続される機器類（デジタルカメラ１０、サーバ８５）を制御したりすることができる。

サーバ８５は、サーバ入出力部８６及びサーバコントローラ８７を有する。サーバ入出力部８６は、デジタルカメラ１０やコンピュータ８０等の外部機器類との送受信接続部を構成し、ネットワーク８４を介してデジタルカメラ１０の本体コントローラ２８やコンピュータ８０のコンピュータ入出力部８１に接続される。サーバコントローラ８７は、デジタルカメラ１０やコンピュータ８０からの制御指示信号に応じ、本体コントローラ２８やコンピュータコントローラ８２と協働し、本体コントローラ２８やコンピュータコントローラ８２との間で必要に応じてデータ類の送受信を行い、データ類をデジタルカメラ１０やコンピュータ８０にダウンロードしたり、演算処理を行ってその演算結果をデジタルカメラ１０やコンピュータ８０に送信したりする。

なお、各コントローラ（レンズユニットコントローラ２０、本体コントローラ２８、コンピュータコントローラ８２、サーバコントローラ８７）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ８０及びサーバ８５間の通信は有線であってもよいし無線であってもよい。また、コンピュータ８０及びサーバ８５を一体的に構成してもよく、またコンピュータ８０及び／又はサーバ８５が省略されてもよい。また、デジタルカメラ１０にサーバ８５との通信機能を持たせ、デジタルカメラ１０とサーバ８５との間で直接的にデータ類の送受信が行われるようにしてもよい。

次に、図２に示す本体コントローラ２８（画像処理部３６）において行われる画像データの鮮鋭化処理について説明する。

以下の説明において、鮮鋭化処理前の画像データを「原画像データ」と呼び、鮮鋭化処理後の画像データを「鮮鋭画像データ」と呼ぶ。

なお以下の例では、カメラ本体１４（本体コントローラ２８）において鮮鋭化処理が実施される例について説明するが、鮮鋭化処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ８２、サーバコントローラ８７等）において実施することも可能である。また以下では、画像処理部３６で行われる鮮鋭化処理について説明するが、上述のように画像処理部３６においては鮮鋭化処理以外の各種の画像処理が鮮鋭化処理の前及び／又は後で行われる。画像処理部３６において行われる鮮鋭化処理以外の画像処理に関する処理部の説明及び図示は省略する。

＜第１実施形態＞
図３は、第１実施形態に係る画像処理部３６の機能構成例を示すブロック図である。

本例の画像処理部３６は、情報取得部４０、フィルタ取得部４２及びフィルタ処理部４４を有する。

情報取得部４０は、光学系（レンズ１６、絞り１７等）を用いた被写体像の撮影により取得される原画像データの撮影情報を取得する。情報取得部４０による撮影情報の取得手法は特に限定されず、例えば画像処理部３６に設けられる図示しないメモリに原画像データの撮影情報が保存されている場合、情報取得部４０はそのメモリにアクセスして撮影情報を取得してもよい。また原画像データに撮影情報がタグ情報（メタ情報）として付加されている場合には、情報取得部４０は原画像データに付加された撮影情報を読み出してもよい。

フィルタ取得部４２は、情報取得部４０が取得した原画像データの撮影情報に基づいて鮮鋭化フィルタを取得する。特に本実施形態のフィルタ取得部４２は、少なくとも絞り値及び焦点距離（第１の撮影条件及び第２の撮影条件）に基づいて鮮鋭化フィルタを取得する。以下では、「絞り値」及び「焦点距離」という２つの撮影条件によって鮮鋭化フィルタが特定される例について説明する。

フィルタ処理部４４は、フィルタ取得部４２が取得した鮮鋭化フィルタを原画像データに適用して鮮鋭画像データを取得する。

＜鮮鋭化フィルタ＞
鮮鋭化フィルタは特に限定されず、光学系の光学伝達関数に基づくフィルタであってもよいし、光学系の光学伝達関数に基づかないフィルタであってもよい。すなわち点拡がり関数（ＰＳＦ）、変調伝達関数（ＭＴＦ）、位相伝達関数（ＰＴＦ）を含む光学伝達関数（ＯＴＦ）に基づいて作成されたフィルタが「鮮鋭化フィルタ」として使用されてもよいし、光学伝達関数とは関係なく定められた輪郭補正用のフィルタ等が鮮鋭化フィルタとして使用されてもよい。

フィルタ取得部４２による鮮鋭化フィルタの取得手法は特に限定されない。例えば、予め記憶されている複数の鮮鋭化フィルタの中から、原画像データの撮影情報に基づいて鮮鋭化フィルタが選択されてもよいし、原画像データの撮影情報に基づいて原画像データに適用する鮮鋭化フィルタが作成されてもよい。

図４は、フィルタ取得部４２の機能構成の一例を示すブロック図である。本例のフィルタ取得部４２は、フィルタ選択部４６及びフィルタ記憶部４８を有する。フィルタ記憶部４８は、少なくとも絞り値及び焦点距離（第１の撮影条件及び第２の撮影条件）に応じて定められる複数の鮮鋭化フィルタを記憶する。フィルタ選択部４６は、フィルタ記憶部４８に記憶されている複数の鮮鋭化フィルタの中から、情報取得部４０から送られてくる原画像データの撮影情報に基づいて鮮鋭化フィルタを選択し、フィルタ処理部４４に送る。

フィルタ記憶部４８に記憶されている複数の鮮鋭化フィルタは、原画像データの撮影取得に使用した光学系（レンズ１６、絞り１７等）の光学伝達関数等の光学特性に対応するフィルタであることが好ましいが、必ずしも光学系の光学特性に対応している必要はない。例えば汎用性が高い輪郭補正用のフィルタなどのように複数種類の光学系に使用可能な鮮鋭化フィルタがフィルタ記憶部４８に記憶されていてもよい。このような汎用性の高い鮮鋭化フィルタは、カメラ本体１４に正式には対応していないレンズユニット１２を使って撮影取得された原画像データの鮮鋭化処理においても使用可能である。

図５は、フィルタ取得部４２の機能構成の他の例を示すブロック図である。本例のフィルタ取得部４２は、関数取得部５０及びフィルタ生成部５２を有する。関数取得部５０は、少なくとも絞り値及び焦点距離（第１の撮影条件及び第２の撮影条件）に応じて定められる複数の光学伝達関数を含む撮影情報を情報取得部４０から取得する。フィルタ生成部５２は、関数取得部５０が取得した複数の光学伝達関数の中から選択される光学伝達関数であって、原画像データの撮影情報（絞り値、焦点距離等）に基づく光学伝達関数から、鮮鋭化フィルタを生成して取得する。そしてフィルタ生成部５２において生成された鮮鋭化フィルタがフィルタ処理部４４に送られる。

フィルタ処理部４４における原画像データに対する鮮鋭化フィルタの適用手法は、特に限定されない。例えば原画像データの全画素に共通の鮮鋭化フィルタを適用してもよいし、適用する鮮鋭化フィルタを原画像データの画素毎或いはエリア毎に変えてもよい。一般に光学系の光軸中心部と周縁部とでは収差等の光学特性が相違して光学伝達関数が異なるため、像高に応じて、原画像データの画素毎或いはエリア毎に適用する鮮鋭化フィルタが変えられてもよい。この場合、フィルタ取得部４２は、複数の像高に関連付けられた複数の鮮鋭化フィルタを取得し、フィルタ処理部４４は、フィルタ取得部４２が取得した複数の鮮鋭化フィルタを使って、像高に応じて、原画像データに鮮鋭化フィルタを適用してもよい。

＜必要な条件が取得できない場合の鮮鋭化フィルタの取得手法について＞
例えば図４に示す例のように、絞り値及び焦点距離に基づいて定められる複数の鮮鋭化フィルタをフィルタ取得部４２が保持する場合、フィルタ取得部４２は、情報取得部４０から送られてくる撮影情報に原画像データを撮影取得した際の絞り値及び焦点距離の情報が含まれていれば適正な鮮鋭化フィルタを選択取得することができる。また図５に示す例のように、フィルタ取得部４２が光学伝達関数から鮮鋭化フィルタを生成する場合も同様である。すなわち、フィルタ取得部４２が絞り値及び焦点距離に基づいて定められる適正な光学伝達関数を保持可能な場合、フィルタ取得部４２は、情報取得部４０から送られてくる撮影情報に原画像データを撮影取得した際の絞り値及び焦点距離の情報が含まれていれば適正な鮮鋭化フィルタを選択取得することができる。

一方、これらの場合に情報取得部４０からフィルタ取得部４２に送られてくる撮影情報に絞り値及び焦点距離のいずれか一方又は両方が含まれていないケースや、通信不良等により情報取得部４０が撮影情報を取得できないケースもある。これらのケースでは、原画像データを撮影取得した際の絞り値及び／又は焦点距離の情報をフィルタ取得部４２は利用できない。

本実施形態のフィルタ取得部４２は、情報取得部４０が取得する撮影情報に絞り値及び焦点距離のうちの一方（第１の撮影条件）が含まれるが他方（第２の撮影条件）が含まれない場合、撮影情報に含まれる絞り値又は焦点距離（第１の撮影条件）に関連付けられた鮮鋭化フィルタであって、撮影情報に含まれない絞り値又は焦点距離（第２の撮影条件）の「代表条件」に関連付けられた鮮鋭化フィルタを取得する。

すなわち複数の鮮鋭化フィルタを利用可能な状況下で、鮮鋭化フィルタを選定するための基礎情報（撮影条件）の一部のみしか利用できない場合に、不足する「鮮鋭化フィルタを選定するための基礎情報」については「代表条件」が用いられる。例えば情報取得部４０からフィルタ取得部４２に送られる撮影情報に「絞り値」の情報のみが含まれており「焦点距離」の情報が含まれていない場合には、フィルタ取得部４２は、利用可能な複数の鮮鋭化フィルタの中から撮影情報に含まれる「絞り値」の情報に関連付けられている複数の鮮鋭化フィルタを選定し、その選定した複数の鮮鋭化フィルタの中から「焦点距離」の代表条件に対応する鮮鋭化フィルタを選定する。同様に、例えば情報取得部４０からフィルタ取得部４２に送られる撮影情報に「焦点距離」の情報のみが含まれており「絞り値」の情報が含まれていない場合には、フィルタ取得部４２は、利用可能な複数の鮮鋭化フィルタの中から撮影情報に含まれる「焦点距離」の情報に関連付けられている複数の鮮鋭化フィルタを選定し、その選定した複数の鮮鋭化フィルタの中から「絞り値」の代表条件に対応する鮮鋭化フィルタを選定する。

撮影情報に含まれない絞り値又は焦点距離（第２の撮影条件）の「代表条件」は様々な観点から決められる。

例えば代表条件は、撮影情報に含まれている撮影条件（本例では絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタの各々の空間周波数特性に基づいて定められてもよい。

この場合、例えば、撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタであって、複数の「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）」の各々に関連付けられた複数の鮮鋭化フィルタの各々に関し、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスの最大値を基準に、撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件が定められてもよい。

図６は、鮮鋭化フィルタの空間周波数毎のレスポンスの一例を示す図である。図６の横軸は空間周波数を示し、縦軸は「レスポンス＝鮮鋭化フィルタを適用した後の画像データ／鮮鋭化フィルタを適用する前の画像データ」を示す。即ちレスポンスは、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表す。したがって画像データのうち、「レスポンス＝１．０」の空間周波数の成分は鮮鋭化フィルタの適用前後において値は変わらず、「レスポンス＞１．０」の空間周波数の成分は鮮鋭化フィルタの適用前よりも適用後の方が値が大きくなり、「レスポンス＜１．０」の空間周波数の成分は鮮鋭化フィルタの適用前よりも適用後の方が値が小さくなる。このような「空間周波数−レスポンス」特性に基づいて、レスポンスの最大値を基準に、撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件を定めることができる。

例えば鮮鋭化処理の結果として画質劣化を招くことを防ぐ観点からは、画質の変更の程度が最も弱い鮮鋭化フィルタに対応する撮影条件を代表条件とすることが好ましい。したがって、撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタのうちレスポンスの最大値が最も小さい鮮鋭化フィルタを代表フィルタとするため、この「レスポンスの最大値が最も小さい鮮鋭化フィルタ」に対応する「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）」を代表条件としてもよい。

一方、鮮鋭化処理の結果として可能な限り高い鮮鋭化効果を得る観点からは、画質の変更の程度が最も強い鮮鋭化フィルタに対応する撮影条件を代表条件とすることが好ましい。したがって、撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタのうちレスポンスの最大値が最も大きい鮮鋭化フィルタを代表フィルタとするため、この「レスポンスの最大値が最も大きい鮮鋭化フィルタ」に対応する「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）」を代表条件としてもよい。

また鮮鋭化処理の結果として画質劣化の回避と鮮鋭化効果の確保とをバランス良く両立させる観点からは、画質の変更の程度が平均的である中庸的な鮮鋭化フィルタに対応する撮影条件を代表条件とすることが好ましい。したがって、撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタのうちレスポンスの最大値が中央値を示す鮮鋭化フィルタを代表フィルタとするため、この「レスポンスの最大値が中央値を示す鮮鋭化フィルタ」に対応する「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）」を代表条件としてもよい。

また「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件」は、鮮鋭化フィルタのレスポンスの最大値以外の情報に基づいて定められてもよい。

図７は、鮮鋭化フィルタの空間周波数毎のレスポンスの一例を示す図である。図７の横軸及び縦軸の基準は図６と同じであり、横軸は空間周波数を示し、縦軸は「レスポンス＝鮮鋭化フィルタを適用した後の画像データ／鮮鋭化フィルタを適用する前の画像データ」を示す。

撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタであって、撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の複数条件に関連付けられた複数の鮮鋭化フィルタの各々に関し、図７に示す「空間周波数−レスポンス」の座標系において「第１の閾値」よりも大きなレスポンスを示す範囲の面積を基準に、撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件が定められてもよい。ここでいう「第１の閾値」は１以上の値であることが好ましく、図７の斜線部は「第１の閾値＝１．０」とした場合における「レスポンス≧第１の閾値（＝１．０）」を満たす範囲を示す。

例えば鮮鋭化処理の結果として画質劣化を招くことを防ぐ観点からは、撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタのうち、「空間周波数−レスポンス」の座標系において「第１の閾値」よりも大きなレスポンスを示す範囲の面積が最も小さい鮮鋭化フィルタを代表フィルタとすることが好ましい。したがって、この「空間周波数−レスポンスの座標系において第１の閾値よりも大きなレスポンスを示す範囲の面積が最も小さい鮮鋭化フィルタ」に対応する「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）」を代表条件としてもよい。

一方、鮮鋭化処理の結果として可能な限り高い鮮鋭化効果を得る観点からは、撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタのうち、「空間周波数−レスポンス」の座標系において「第１の閾値」よりも大きなレスポンスを示す範囲の面積が最も大きい鮮鋭化フィルタを代表フィルタとすることが好ましい。したがって、この「空間周波数−レスポンスの座標系において第１の閾値よりも大きなレスポンスを示す範囲の面積が最も大きい鮮鋭化フィルタ」に対応する「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）」を代表条件としてもよい。

また鮮鋭化処理の結果として画質劣化の回避と鮮鋭化効果の確保とをバランス良く両立させる観点からは、撮影情報に含まれている撮影条件（絞り値又は焦点距離：第１の撮影条件）に関連付けられた複数の鮮鋭化フィルタのうち、「空間周波数−レスポンス」の座標系において「第１の閾値」よりも大きなレスポンスを示す範囲の面積が中央値を示す鮮鋭化フィルタを代表フィルタとすることが好ましい。したがって、この「空間周波数−レスポンスの座標系において第１の閾値よりも大きなレスポンスを示す範囲の面積が中央値を示す鮮鋭化フィルタ」に対応する「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）」を代表条件としてもよい。

また「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件」は、他の情報に基づいて定められてもよい。例えば使用頻度等の情報から「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件」が定められてもよい。例えば統計的な情報から求められる「使用頻度が高い条件」を「撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件」としてもよい。例えば「撮影情報に含まれていない撮影条件」が焦点距離の場合には最小焦点距離や最大焦点距離を「代表条件」としてもよい。また「撮影情報に含まれていない撮影条件」が絞り値の場合には使用頻度の高い絞りを予め求めておき、その予め求められる絞り値を代表条件としてもよい。

次に、鮮鋭化処理フローについて説明する。

図８は、鮮鋭化処理の流れの一例を示すフローチャートである。

まず情報取得部４０によって原画像データの撮影情報が取得され、取得された撮影情報に原画像データを撮影取得した際の絞り値及び焦点距離のデータが含まれているか否かがフィルタ取得部４２において判定される。

撮影情報に絞り値のデータのみが含まれ焦点距離のデータが含まれない場合（図８のＳ１１のＹ）、「撮影情報に含まれる絞り値のデータ」及び「焦点距離の代表条件」に対応する鮮鋭化フィルタがフィルタ取得部４２によって取得される（Ｓ１２）。一方、撮影情報に焦点距離のデータのみが含まれ絞り値のデータが含まれない場合（Ｓ１１のＮ、Ｓ１４のＹ）、「撮影情報に含まれる焦点距離のデータ」及び「絞り値の代表条件」に対応する鮮鋭化フィルタがフィルタ取得部４２によって取得される（Ｓ１５）。また撮影情報に絞り値及び焦点距離の両方のデータが含まれる場合（Ｓ１４のＮ、Ｓ１６のＹ）、「撮影情報に含まれている絞り値及び焦点距離のデータ」に対応する鮮鋭化フィルタがフィルタ取得部４２によって取得される（Ｓ１７）。

そして、フィルタ取得部４２によって取得された鮮鋭化フィルタが用いられてフィルタ処理部４４により原画像データに鮮鋭化処理が施され、鮮鋭画像データが取得される（Ｓ１３）。

なお本例では、撮影情報に絞り値及び焦点距離の両方のデータが含まれていない場合や情報取得部４０が撮影情報を取得することができない場合（Ｓ１６のＮ）、鮮鋭化処理（Ｓ１３）がスキップされて鮮鋭化処理は行われない。ただしこの場合（Ｓ１６のＮ）、鮮鋭化処理をスキップせずに、予め定められる絞り値及び焦点距離の各々の代表条件に対応する鮮鋭化フィルタを使って鮮鋭化処理が行われてもよい。

以上説明したように本実施形態によれば、鮮鋭化フィルタを特定するための条件（絞り値及び焦点距離）の一部を取得することができない場合であっても、代表条件に基づいて鮮鋭化フィルタを選定して鮮鋭化処理を精度良く行うことができる。

＜第２実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

本実施形態では、鮮鋭化処理によって不具合が生じやすい場合又は生じる場合には、鮮鋭化処理による画質変化が抑制される。鮮鋭化処理による画質変化を抑制する手法として、フィルタ処理部４４は、例えば本来使用する鮮鋭化フィルタよりも鮮鋭化効果が弱い鮮鋭化フィルタを用いて鮮鋭化処理を行う手法がある。またフィルタ処理部４４は、ゲインをコントロールすることにより原画像データに対する鮮鋭画像データの増分量を小さくする手法がある。

図９は、フィルタ処理部４４の機能構成の一例を示すブロック図である。本例のフィルタ処理部４４は、フィルタ適用部６０及びゲイン制御部６２を有する。フィルタ適用部６０は、フィルタ取得部４２が取得した鮮鋭化フィルタを原画像データに適用してフィルタリング画像データを取得する。ゲイン制御部６２は、情報取得部４０が取得した撮影情報に基づいて、原画像データに対するフィルタリング画像データのゲインをコントロールして鮮鋭画像データを取得する。

これらの鮮鋭化フィルタの適用やゲインコントロールの具体的な手法は特に限定されず、任意の方法により原画像データから鮮鋭画像データを取得することが可能である。図１０は、フィルタ処理部４４の機能構成の具体例を示すブロック図である。図１０に示す例において、フィルタ処理部４４は、フィルタ適用部６０、ゲイン調整部６３及びデータ調整部６４（ゲイン制御部６２）を含む。本例のゲイン調整部６３は、フィルタ適用部６０において取得された「原画像データに鮮鋭化フィルタを適用することにより得られるフィルタリング画像データ」に対して復元強度倍率Ｕの乗算を行うことにより、第１の調整画像データを取得する。一方、データ調整部６４は、フィルタ適用部６０において鮮鋭化フィルタが適用される前の「原画像データ」に対して倍率（１−Ｕ）を乗算して第２の調整画像データを取得する。そしてデータ調整部６４は、この第２の調整画像データと、ゲイン調整部６３において取得された第１の調整画像データとを加算することにより、鮮鋭画像データを取得することができる。

なおフィルタ処理部４４は、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えばフィルタ適用部６０は、「原画像データに鮮鋭化フィルタを適用することにより得られるフィルタリング画像データ」を取得した後に、画像の増減分データを算出し、ゲイン調整部６３は、この増減分データと復元強度倍率Ｕとの乗算を行うことによりゲインコントロールを行ってもよい。この場合、データ調整部６４は、フィルタ適用部６０において鮮鋭化フィルタが適用される前の「原画像データ」と、ゲイン調整部６３において取得された「復元強度倍率Ｕが乗算された増減分データ」とを加算することにより、鮮鋭画像データを取得することができる。

「鮮鋭化処理によって不具合が生じやすいケース又は生じるケース」では、鮮鋭化効果が弱い鮮鋭化フィルタを上述のフィルタ適用部６０において使用したり、ゲイン制御部６２におけるゲインコントロールを調整することにより鮮鋭化効果を低減したりすることにより、鮮鋭化処理による画質変化を抑制することができる。

「鮮鋭化処理によって不具合が生じやすいケース又は生じるケース」は特に限定されないが、具体的なケースについて以下の各モードで説明する。

＜第１のモード＞
本モードでは、原画像データの特定の空間周波数の範囲の成分量に基づいて「鮮鋭化処理によって不具合が生じやすいケース」と判定される場合には、鮮鋭化処理による画質変化が抑制される。ここでいう「特定の空間周波数の範囲」は、鮮鋭化フィルタによってデータ変更される空間周波数の範囲を含むことが好ましく、例えば原画像データのサンプリング周波数の１／８以上であって１／４以下の範囲に含まれる。

本例では、鮮鋭化フィルタによってデータ変更される空間周波数の範囲を含む「特定の空間周波数の範囲」における原画像データの成分量が大きい場合（すなわち第２の閾値以上の場合）には、鮮鋭化処理による画質変化が抑制される。

図１１は、第１のモードに係る画像処理部３６の機能構成例を示すブロック図である。本例の画像処理部３６は、情報取得部４０、フィルタ取得部４２及びフィルタ処理部４４に加え、原画像データの空間周波数特性を解析する周波数解析部６６を更に備える。周波数解析部６６によって解析された原画像データの空間周波数特性に関するデータは、フィルタ取得部４２及びフィルタ処理部４４に送られる。

フィルタ取得部４２は、周波数解析部６６による解析結果から、原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上か否かを判定する。原画像データの特定の空間周波数の範囲の成分量が第２の閾値よりも小さいと判定される場合には、フィルタ取得部４２は、通常通りの処理により鮮鋭化フィルタを取得する。一方、原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上と判定される場合、フィルタ取得部４２は、情報取得部４０が取得した撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得してもよい。

また上述のフィルタ取得部４２におけるフィルタ取得処理の代わりに、或いは上述のフィルタ取得部４２におけるフィルタ取得処理と共に、フィルタ処理部４４におけるゲインコントロールを調整してもよい。すなわち、フィルタ処理部４４のゲイン制御部６２（図９及び図１０参照）は、周波数解析部６６による解析結果から、原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上か否かを判定する。原画像データの特定の空間周波数の範囲の成分量が第２の閾値よりも小さいと判定される場合には、ゲイン制御部６２は、通常通りのゲインコントロールを行う。一方、原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上と判定される場合、ゲイン制御部６２は、ゲインをコントロールして、情報取得部４０が取得した撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

＜第２のモード＞
本モードでは、原画像データが飽和画素を含む場合を「鮮鋭化処理によって不具合が生じやすいケース」と判定して、鮮鋭化処理による画質変化が抑制される。ここでいう「飽和画素」は、画素値が高い画素であり、鮮鋭化処理によって画素値が最大値となる可能性が高い画素値を有する画素である。例えば表現可能な画素値の９０％以上の画素値を示す画素を「飽和画素」とすることが可能であり、画素値を「０〜２５５」により表現可能な場合には例えば「２３０〜２５５」の画素値を有する画素を飽和画素として扱ってもよい。

図１２は、第２のモードに係る画像処理部３６の機能構成例を示すブロック図である。本例の画像処理部３６は、情報取得部４０、フィルタ取得部４２及びフィルタ処理部４４に加え、原画像データの飽和画素を解析する飽和画素解析部６８を更に備える。飽和画素解析部６８によって解析された原画像データの飽和画素に関するデータは、フィルタ取得部４２及びフィルタ処理部４４に送られる。

フィルタ取得部４２は、飽和画素解析部６８による解析結果から、原画像データに第３の閾値（例えば「２３３」）以上の画素値を有する飽和画素が含まれるか否かを判定する。原画像データに第３の閾値以上の画素値を有する飽和画素が含まれていないと判定される場合には、フィルタ取得部４２は、通常通りの処理により鮮鋭化フィルタを取得する。一方、原画像データに第３の閾値以上の画素値を有する飽和画素が含まれていると判定される場合、フィルタ取得部４２は、情報取得部４０が取得した撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得してもよい。

また上述のフィルタ取得部４２におけるフィルタ取得処理の代わりに、或いは上述のフィルタ取得部４２におけるフィルタ取得処理と共に、フィルタ処理部４４におけるゲインコントロールを調整してもよい。すなわち、フィルタ処理部４４のゲイン制御部６２（図９及び図１０参照）は、飽和画素解析部６８による解析結果から、原画像データに第３の閾値以上の画素値を有する飽和画素が含まれるか否かを判定する。原画像データに第３の閾値以上の画素値を有する飽和画素が含まれていないと判定される場合には、ゲイン制御部６２は、通常通りのゲインコントロールを行う。一方、原画像データに第３の閾値以上の画素値を有する飽和画素が含まれていると判定される場合には、ゲイン制御部６２は、ゲインをコントロールして、情報取得部４０が取得した撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

＜第３のモード＞
本モードでは、鮮鋭化処理後の画像データ（鮮鋭画像データ）においてリンギングが発生する可能性が高い場合又は発生する場合を「鮮鋭化処理によって不具合が生じやすいケース又は生じるケース」と判定して、鮮鋭化処理による画質変化が抑制される。

図１３は、第３のモードに係る画像処理部３６の機能構成例を示すブロック図である。本例の画像処理部３６は、情報取得部４０、フィルタ取得部４２及びフィルタ処理部４４に加え、鮮鋭画像データのリンギング量を取得するリンギング取得部７０を更に備える。リンギング取得部７０によって取得されたリンギング量に関するデータは、フィルタ取得部４２及びフィルタ処理部４４に送られる。

なおリンギング量の取得手法は特に限定されず、リンギング取得部７０は、例えば予め定められた条件に基づいてリンギング量を取得してもよい。例えば、リンギング取得部７０は、原画像データと鮮鋭画像データとを比較することによりリンギング量を取得してもよいし、鮮鋭画像データの周波数特性等の画像特性を解析して、その解析結果が予め定められた条件に該当するか否かに応じてリンギング量を取得（推定）してもよい。またリンギング取得部７０は、原画像データの取得が予め定められた取得条件により行われたか否かに応じてリンギング量を取得（推定）してもよく、例えば原画像データを取得する撮影に用いられた光学系の情報がここでいう取得条件に含まれうる。鮮鋭化処理の鮮鋭化精度や副作用（リンギング等）に影響を及ぼしうる各種要素が「取得条件」に含まれうる。例えば、ここでいう光学系の情報は、原画像データを取得する撮影に用いられた光学系のレンズ種類、絞り値、ズーム値のうち少なくともいずれか１つを含みうる。またリンギング取得部７０は、原画像データの周波数特性等の画像特性を解析して、その解析結果が予め定められた条件に該当するか否かに応じてリンギング量を取得（推定）してもよく、例えば原画像データにおける飽和画素の有無に応じてリンギング量を取得（推定）してもよい。

以下では、リンギング取得部７０が原画像データと鮮鋭画像データとを比較することによりリンギング量を取得する例について説明する。

フィルタ取得部４２は、リンギング取得部７０による解析結果から、リンギング量が第４の閾値以上か否かを判定する。リンギング量が第４の閾値よりも小さい場合には、鮮鋭化処理のやり直しは行われずにフィルタ処理部４４による鮮鋭化処理後の鮮鋭画像データがリンギング取得部７０から出力される。一方、リンギング量が第４の閾値以上であると判定される場合には、鮮鋭化処理のやり直しが行われる。

例えばフィルタ取得部４２は、リンギング量が第４の閾値以上であると判定される場合、情報取得部４０が取得した撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得してもよい。

また上述のフィルタ取得部４２におけるフィルタ取得処理の代わりに、或いは上述のフィルタ取得部４２におけるフィルタ取得処理と共に、フィルタ処理部４４におけるゲインコントロールを調整してもよい。すなわち、フィルタ処理部４４のゲイン制御部６２（図９及び図１０参照）は、リンギング量が第４の閾値以上であると判定される場合、ゲインをコントロールして、情報取得部４０が取得した撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

＜第４のモード＞
本モードでは、鮮鋭化処理によって特定の空間周波数の範囲に関して「原画像データに対する鮮鋭画像データの増分値」が大きい場合には、「鮮鋭化処理によって不具合が生じやすいケース又は生じるケース」と判定して、鮮鋭化処理による画質変化が抑制される。ここでいう「特定の空間周波数の範囲」は、鮮鋭化フィルタによってデータ変更される空間周波数の範囲を含むことが好ましく、例えば原画像データのサンプリング周波数の１／８以上であって１／４以下の範囲に含まれる。

図１４は、第４のモードに係る画像処理部３６の機能構成例を示すブロック図である。本例の画像処理部３６は、情報取得部４０、フィルタ取得部４２及びフィルタ処理部４４に加え、特定の空間周波数の範囲に関して原画像データに対する鮮鋭画像データの増分値を取得する増分値取得部７２を更に備える。増分値取得部７２によって取得された増分値に関するデータは、フィルタ取得部４２及びフィルタ処理部４４に送られる。

フィルタ取得部４２は、増分値取得部７２の処理結果から、特定の空間周波数の範囲に関して原画像データに対する鮮鋭画像データの増分値が第５の閾値以上か否かを判定する。増分値が第５の閾値よりも小さい場合には、鮮鋭化処理のやり直しは行われずにフィルタ処理部４４による鮮鋭化処理後の鮮鋭画像データがリンギング取得部７０から出力される。一方、増分値が第５の閾値以上であると判定される場合には、鮮鋭化処理のやり直しが行われる。

例えばフィルタ取得部４２は、増分値が第５の閾値以上であると判定される場合、情報取得部４０が取得した撮影情報に含まれていない撮影条件（絞り値又は焦点距離：第２の撮影条件）の代表条件に関連付けられた鮮鋭化フィルタよりも、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい鮮鋭化フィルタを取得してもよい。

また上述のフィルタ取得部４２におけるフィルタ取得処理の代わりに、或いは上述のフィルタ取得部４２におけるフィルタ取得処理と共に、フィルタ処理部４４におけるゲインコントロールを調整してもよい。すなわち、フィルタ処理部４４のゲイン制御部６２（図９及び図１０参照）は、増分値が第５の閾値以上であると判定される場合、ゲインをコントロールして、情報取得部４０が取得した撮影情報に基づいてゲインをコントロールする場合よりも、原画像データに対する鮮鋭画像データの増分量を小さくしてもよい。

＜他の変形例＞
上述の実施形態及び変形例のうち任意の形態同士が組み合わされてもよい。また上述の実施形態は例示に過ぎず、他の構成に本発明を適用してもよい。

また上述の実施形態では、鮮鋭化フィルタが絞り値及び焦点距離の情報に基づいて特定される例について説明したが、他の撮影条件（被写体距離、明るさ（露出、ヒストグラム、飽和度）等）に基づいて鮮鋭化フィルタが特定される場合にも同様の作用効果を得ることができる。

また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（画像処理部３６等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

＜ＥＤｏＦシステムへの応用例＞
上述の実施形態における鮮鋭化処理は光学伝達関数を考慮した復元処理を含む。この復元処理は、特定の撮影条件情報（例えば、絞り値、焦点距離、レンズ種類、ズーム倍率など）に応じて点拡がり（点像ボケ）を回復修正することにより本来の被写体像を復元する画像処理であるが、本発明を適用可能な鮮鋭化処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことにより、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の光学伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図１５は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部３６）１２０とを含む。

図１６は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１６に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話機や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１５に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）を用いてマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ、Ｇ、Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ、Ｇ、Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することにより、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。なお、Ｙ信号復元処理部１２７は、上述した画像処理部３６における鮮鋭化処理の機能を有する。

次に、復元処理ブロック１２０による復元処理について説明する。図１７は、図１５に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（ステップＳ２１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ２２及びステップＳ２３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５によりデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換される（ステップＳ２４）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を適用する復元処理を行う（ステップＳ２５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群毎のデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図１８（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７におけるデコンボリューション処理により、図１８（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理を適用することにより、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ、Ｇ、Ｂの画素に対応するＲ、Ｇ、Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ、Ｃｂについては、人の目による視覚の特性上、復元処理により解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式により画像を記録する場合、色差信号は輝度信号よりも高い圧縮率により圧縮されるので、復元処理により解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、上述の実施形態に係る点像復元処理を適用することが可能である。

また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンへの応用例＞
図１９は、スマートフォン２０１の外観を示す図である。図１９に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２０は、図１９に示すスマートフォン２０１の構成を示すブロック図である。図２０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００（上述の本体コントローラ２８が含まれる）とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図１９に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２により採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０或いは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図１９に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１９に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などにより押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力される。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御する。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現する。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図１９に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１において取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内において利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述の画像処理部３６は、例えば主制御部２００によって実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…本体コントローラ、２９…画像記憶部、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…デバイス制御部、３６…画像処理部、３７…表示制御部、３８…表示部、４０…情報取得部、４２…フィルタ取得部、
４４…フィルタ処理部、４６…フィルタ選択部、４８…フィルタ記憶部、５０…関数取得部、５２…フィルタ生成部、６０…フィルタ適用部、６２…ゲイン制御部、６３…ゲイン調整部、６４…データ調整部、６６…周波数解析部、６８…飽和画素解析部、７０…リンギング取得部、７２…増分値取得部、８０…コンピュータ、８１…コンピュータ入出力部、８２…コンピュータコントローラ、８３…ディスプレイ、８４…ネットワーク、８５…サーバ、８６…サーバ入出力部、８７…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…ＹＣｒＣｂ変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

Claims (23)

1. 光学系を用いた被写体像の撮影により取得される原画像データの撮影情報を取得する情報取得部と、
   少なくとも第１の撮影条件及び第２の撮影条件に基づいて鮮鋭化フィルタを取得するフィルタ取得部と、
   前記フィルタ取得部が取得した前記鮮鋭化フィルタを前記原画像データに適用し、鮮鋭画像データを取得するフィルタ処理部と、を備え、
   前記フィルタ取得部は、前記情報取得部が取得する前記撮影情報に前記第１の撮影条件が含まれるが前記第２の撮影条件が含まれない場合に、前記撮影情報に含まれる前記第１の撮影条件に関連付けられた前記鮮鋭化フィルタであって前記第２の撮影条件の代表条件に関連付けられた前記鮮鋭化フィルタを取得する画像処理装置。
2. 前記第１の撮影条件及び前記第２の撮影条件のうち、一方は絞り値であり、他方は焦点距離である請求項１に記載の画像処理装置。
3. 前記鮮鋭化フィルタは、前記光学系の光学伝達関数に基づくフィルタである請求項１又は２に記載の画像処理装置。
4. 前記鮮鋭化フィルタは、前記光学系の光学伝達関数に基づかないフィルタである請求項１又は２に記載の画像処理装置。
5. 前記フィルタ取得部は、複数の像高に関連付けられた複数の前記鮮鋭化フィルタを取得し、
   前記フィルタ処理部は、像高に応じて、前記原画像データに前記鮮鋭化フィルタを適用する請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記フィルタ取得部は、
   少なくとも前記第１の撮影条件及び前記第２の撮影条件に応じて定められる複数の前記鮮鋭化フィルタを記憶するフィルタ記憶部と、
   前記フィルタ記憶部に記憶される複数の前記鮮鋭化フィルタの中から、前記撮影情報に基づく前記鮮鋭化フィルタを選択するフィルタ選択部と、を有する請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記フィルタ取得部は、
   少なくとも前記第１の撮影条件及び前記第２の撮影条件に応じて定められる複数の光学伝達関数を取得する関数取得部と、
   前記関数取得部が取得した前記複数の光学伝達関数の中から選択される光学伝達関数であって、前記撮影情報に基づく光学伝達関数から前記鮮鋭化フィルタを生成して取得するフィルタ生成部と、を有する請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記第２の撮影条件の前記代表条件は、前記第１の撮影条件に関連付けられた複数の前記鮮鋭化フィルタの各々の空間周波数特性に基づいて定められる請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記第２の撮影条件の前記代表条件は、
   前記第１の撮影条件に関連付けられた複数の前記鮮鋭化フィルタであって、複数の前記第２の撮影条件に関連付けられた複数の前記鮮鋭化フィルタの各々に関し、前記鮮鋭化フィルタを適用する前の画像データに対する前記鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスの最大値を基準に定められる請求項８に記載の画像処理装置。
10. 前記第２の撮影条件の前記代表条件は、
    前記第１の撮影条件に関連付けられた複数の前記鮮鋭化フィルタであって、複数の前記第２の撮影条件に関連付けられた複数の前記鮮鋭化フィルタの各々に関し、横軸の基準を空間周波数とし、縦軸の基準を、前記鮮鋭化フィルタを適用する前の画像データに対する前記鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスとした座標系における、空間周波数毎のレスポンスを表す関数において、
    第１の閾値よりも大きなレスポンスを示す範囲の面積を基準に定められる請求項８に記載の画像処理装置。
11. 前記第１の閾値は１以上の値である請求項１０に記載の画像処理装置。
12. 前記原画像データの空間周波数特性を解析する周波数解析部を更に備え、
    前記フィルタ取得部は、前記周波数解析部による解析結果から前記原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上と判定される場合には、前記第２の撮影条件の前記代表条件に関連付けられた前記鮮鋭化フィルタよりも、前記鮮鋭化フィルタを適用する前の画像データに対する前記鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい前記鮮鋭化フィルタを取得する請求項１〜１１のいずれか一項に記載の画像処理装置。
13. 前記原画像データの空間周波数特性を解析する周波数解析部を更に備え、
    前記フィルタ処理部は、前記周波数解析部による解析結果から前記原画像データの特定の空間周波数の範囲の成分量が第２の閾値以上と判定される場合には、ゲインをコントロールすることにより前記原画像データに対する前記鮮鋭画像データの増分量を小さくする請求項１〜１１のいずれか一項に記載の画像処理装置。
14. 前記原画像データの飽和画素を解析する飽和画素解析部を更に備え、
    前記フィルタ取得部は、前記飽和画素解析部による解析結果から前記原画像データに第３の閾値以上の画素値を有する飽和画素が含まれると判定される場合には、前記第２の撮影条件の前記代表条件に関連付けられた前記鮮鋭化フィルタよりも、前記鮮鋭化フィルタを適用する前の画像データに対する前記鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい前記鮮鋭化フィルタを取得する請求項１〜１１のいずれか一項に記載の画像処理装置。
15. 前記原画像データの飽和画素を解析する飽和画素解析部を更に備え、
    前記フィルタ処理部は、前記飽和画素解析部による解析結果から前記原画像データに第３の閾値以上の画素値を有する飽和画素が含まれると判定される場合には、ゲインをコントロールすることにより前記原画像データに対する前記鮮鋭画像データの増分量を小さくする請求項１〜１１のいずれか一項に記載の画像処理装置。
16. 前記鮮鋭画像データのリンギング量を取得するリンギング取得部を更に備え、
    前記フィルタ取得部は、前記リンギング量が第４の閾値以上の場合には、前記第２の撮影条件の前記代表条件に関連付けられた前記鮮鋭化フィルタよりも、前記鮮鋭化フィルタを適用する前の画像データに対する前記鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい前記鮮鋭化フィルタを取得する請求項１〜１１のいずれか一項に記載の画像処理装置。
17. 前記鮮鋭画像データのリンギング量を取得するリンギング取得部を更に備え、
    前記フィルタ処理部は、前記リンギング量が第４の閾値以上の場合には、ゲインをコントロールすることにより前記原画像データに対する前記鮮鋭画像データの増分量を小さくする請求項１〜１１のいずれか一項に記載の画像処理装置。
18. 特定の空間周波数の範囲に関して前記原画像データに対する前記鮮鋭画像データの増分値を取得する増分値取得部を更に備え、
    前記フィルタ取得部は、前記増分値が第５の閾値以上の場合には、前記第２の撮影条件の前記代表条件に関連付けられた前記鮮鋭化フィルタよりも、前記鮮鋭化フィルタを適用する前の画像データに対する前記鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表すレスポンスが小さい前記鮮鋭化フィルタを取得する請求項１〜１１のいずれか一項に記載の画像処理装置。
19. 特定の空間周波数の範囲に関して前記原画像データに対する前記鮮鋭画像データの増分値を取得する増分値取得部を更に備え、
    前記フィルタ処理部は、前記増分値が第５の閾値以上の場合には、ゲインをコントロールすることにより前記原画像データに対する前記鮮鋭画像データの増分量を小さくする請求項１〜１１のいずれか一項に記載の画像処理装置。
20. 前記特定の空間周波数の範囲は、前記原画像データのサンプリング周波数の１／８以上であって１／４以下の範囲に含まれる請求項１２、１３、１８及び１９のいずれか一項に記載の画像処理装置。
21. 撮像素子と、
    請求項１〜２０のいずれか一項に記載の画像処理装置と、を備え、
    前記原画像データは前記撮像素子によって取得される撮像装置。
22. 光学系を用いた被写体像の撮影により取得される原画像データの撮影情報を取得し、
    少なくとも第１の撮影条件及び第２の撮影条件に基づいて鮮鋭化フィルタを取得し、
    前記鮮鋭化フィルタを前記原画像データに適用して鮮鋭画像データを取得する画像処理方法であって、
    前記撮影情報に前記第１の撮影条件が含まれるが前記第２の撮影条件が含まれない場合に、前記撮影情報に含まれる前記第１の撮影条件に関連付けられた前記鮮鋭化フィルタであって前記第２の撮影条件の代表条件に関連付けられた前記鮮鋭化フィルタを取得する画像処理方法。
23. 光学系を用いた被写体像の撮影により取得される原画像データの撮影情報を取得する手順と、
    少なくとも第１の撮影条件及び第２の撮影条件に基づいて鮮鋭化フィルタを取得する手順と、
    前記鮮鋭化フィルタを前記原画像データに適用して鮮鋭画像データを取得する手順とをコンピュータに実行させるためのプログラムであって、
    前記撮影情報に前記第１の撮影条件が含まれるが前記第２の撮影条件が含まれない場合に、前記撮影情報に含まれる前記第１の撮影条件に関連付けられた前記鮮鋭化フィルタであって前記第２の撮影条件の代表条件に関連付けられた前記鮮鋭化フィルタを取得するプログラム。

Images