JPWO2015064277A1 - 信号処理装置、撮像装置、パラメータ生成方法、信号処理方法及びプログラム - Google Patents

Abstract

処理を煩雑化させることなく、所望の周波数成分調整を可能とする信号処理装置、撮像装置、パラメータ生成方法、信号処理方法及びプログラムを提供する。画像処理部３５は、信号を周波数に応じて調整する信号処理部と、信号処理部を制御するフィルタ処理制御部３７（強度自動調整部５２）とを備える。信号処理部は、第１のフィルタ処理を行う第１のフィルタ処理部３８と、第２のフィルタ処理を行う第２のフィルタ処理部３９とを有する。強度自動調整部５２は、第１のフィルタ処理及び第２のフィルタ処理のうちの一方における調整倍率（第１ゲイン調整倍率Ｕ、第２ゲイン調整倍率Ｖ）を取得し、他方における調整倍率をトータルゲイン調整率Ｄに基づいて算出する。

Description

本発明は信号処理装置、撮像装置、パラメータ生成方法、信号処理方法及びプログラムに係り、特に複数のフィルタ処理間の調整技術に関する。

画像の画質を変更及び改善するための信号処理として、鮮鋭化処理（輪郭強調処理、エッジ強調処理、又はシャープネス強調処理等）、点像復元処理、ローパス処理、等のフィルタ処理が一般に知られている。このようなフィルタ処理は、フィルタを信号に適用することにより特定の周波数の信号強度を強調又は抑制する処理であり、使用するフィルタの周波数特性に応じて信号強度が調整される。

したがって、フィルタ処理を適宜組み合わせることにより所望の特性を持つ画像信号を得ることができ、様々な目的を達成するためにこれらのフィルタ処理が活用されている。

例えば特許文献１は、位相劣化成分を低減させる画像回復フィルタと振幅劣化成分を低減させるエッジ強調フィルタとを使用する画像処理を開示する。また特許文献２は、「画像復元フィルタを用いる画像復元処理を行った後にエッジ強調処理を行う手ぶれ補正」及び「単にエッジ強調処理を行う手ぶれ補正」を行うことを開示する。また特許文献３は、撮影時の絞り等の条件に応じて映像信号の輪郭成分の強調度合いを決定することを開示する。また特許文献４は、復元強度の異なるフィルタをエッジ強度に応じて選択することにより、復元フィルタ自体の強度をエッジ強度に応じて変えることを開示する。また特許文献５は、ノイズ低減（ＮＲ）処理部によるノイズ低減度及びエッジ強調処理部によるエッジ強調度を調整することにより、焦点距離に応じた適切なノイズ除去を行う撮像装置を開示する。

特開２０１１−１２３５８９号公報 特開２００６−３３３０６１号公報 特開２００９−２７７５０号公報 特開２００６−１２９２３６号公報 特開２００９−１７１３２０号公報

画質の調整手法として、例えば、原画像データにフィルタを適用して原画像データからの差分データを算出し、この差分データを定数倍し、定数倍された差分データを原画像データに加算する手法が一般的に知られている。この手法は、画像の強調度（差分データ）を周波数によらずに一律に定数倍することにより画像鮮鋭度を向上させるため、非常に簡便に実施できる。しかしながらこの手法では、強調される画像の周波数成分はフィルタの周波数特性の定数倍に限られるため、高周波成分と低周波成分の強調バランスを変えるなどの鮮鋭度の細かい調整を行うことができない。

また、フィルタの周波数特性を変更可能とするためのユーザインターフェースを設けることにより、ユーザのニーズに合わせて、画像鮮鋭度のバランスを周波数基準により変更することができる。フィルタの周波数特性を自由に変更可能とすると、ユーザが操作可能なパラメータ（自由度、軸）が増え、画像鮮鋭度はそのようなパラメータの組み合わせによって決定される。したがって最適な画像鮮鋭度を得るために、ユーザは、複数のパラメータの相関を考慮し、複数のパラメータの各々を適切に設定する必要がある。しかしながら、周波数依存の画像鮮鋭度を周波数間のバランスを考慮して調整することはユーザの負担となり、ユーザインターフェースの構成も複雑になって、画像鮮鋭度の調整処理が煩雑なものになる。

このような鮮鋭化処理の煩雑化は、フィルタ適用処理が単純な線形処理のみによって構成される場合だけではなく、フィルタリング処理が非線形な処理を伴う場合にも憂慮され、ユーザが調整すべきパラメータ（調整の自由度）が増え過ぎてしまう虞がある。したがって、信号の周波数成分のコントロールを、ユーザの手間を煩雑化することなく、適切に行うための手法が望まれている。しかしながら特許文献１〜５等の従来技術では、「所望の鮮鋭効果を得るための順庵なコントロール」と「簡便な操作性」とを両立させる技術について有益な提案はなされていない。

本発明は上述の事情に鑑みてなされたものであり、処理を煩雑化させることなく、所望の周波数成分調整を可能とする信号処理手法及びその関連技術を提供することを目的とする。

本発明の一態様は、信号を周波数に応じて調整する信号処理部と、信号処理部を制御するフィルタ処理制御部とを備え、信号処理部は、第１のフィルタ処理を行う第１のフィルタ処理部と、第１のフィルタ処理とは周波数特性の異なる第２のフィルタ処理を行う第２のフィルタ処理部とを有し、フィルタ処理制御部は、第１のフィルタ処理における信号のゲインの調整倍率及び第２のフィルタ処理における信号のゲインの調整倍率に基づくトータルゲイン調整率を取得し、第１のフィルタ処理及び第２のフィルタ処理のうちの一方における調整倍率を取得し、第１のフィルタ処理及び第２のフィルタ処理のうちの他方における調整倍率をトータルゲイン調整率に基づいて算出する信号処理装置に関する。

本態様によれば、第１のフィルタ処理及び第２のフィルタ処理のうちの一方の調整倍率を取得することによって他方の調整倍率が算出されるため、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。

望ましくは、フィルタ処理制御部は、信号処理部の前後における信号の比率を第１の周波数においてレスポンス目標比率に調整する。

本態様によれば、信号処理部の前後における信号の比率が第１の周波数においてレスポンス目標比率に調整され、少なくとも第１の周波数において所望の信号特性を確保することができる。

「第１の周波数」は特に限定されないが、他の周波数よりも重要度の高い周波数とすることができる。例えば処理対象信号が画像信号の場合にはユーザの視認に与える影響が大きい周波数を「第１の周波数」とすることにより、視認性に確保した状態で、第１のフィルタ処理及び第２のフィルタ処理を行うことができる。

望ましくは、信号を調整可能な周波数帯域は、第１のフィルタ処理と第２のフィルタ処理との間で、少なくとも一部において重複し、ゲインのピークを示す周波数は、第１のフィルタ処理と第２のフィルタ処理との間で異なる。

本態様のように周波数特性の異なる第１のフィルタ処理及び第２のフィルタ処理を組み合わせることにより、多様な信号処理を行うことができる。

望ましくは、第１のフィルタ処理は、信号に第１のフィルタを適用する処理と、第１のフィルタの適用によって得られる信号のゲインの倍率を調整倍率に基づいて調整する処理とを含み、第２のフィルタ処理は、信号に第２のフィルタを適用する処理と、第２のフィルタの適用によって得られる信号のゲインの倍率を調整倍率に基づいて調整する処理とを含む。

本態様によれば、簡素な処理構成によって、第１のフィルタ処理及び第２のフィルタ処理を行うことができる。

望ましくは、フィルタ処理制御部は、第１のフィルタ処理における調整倍率を、外部入力パラメータに基づいて定め、第１のフィルタ処理における調整倍率とトータルゲイン調整率とに基づいて第２のフィルタ処理における調整倍率を算出する。

本態様によれば、第２のフィルタ処理における調整倍率を第１のフィルタ処理における調整倍率とトータルゲイン調整率から自動的に算出することができる。

「外部入力パラメータ」は、ユーザによって入力されるパラメータであってもよいし、第１のフィルタ処理部以外から入力されるパラメータであってもよい。また、外部入力パラメータを「第１のフィルタ処理における調整倍率」として設定してもよいし、外部入力パラメータから特定のアルゴリズムに従って導き出される値を「第１のフィルタ処理における調整倍率」として設定してもよい。

望ましくは、第１のフィルタ処理部及び第２のフィルタ処理部は並列に設けられ、信号は第１のフィルタ処理部及び第２のフィルタ処理部に入力され、第１のフィルタ処理による信号の増減分データと、第２のフィルタ処理による信号の増減分データとが加算される。

本態様のように第１のフィルタ処理部及び第２のフィルタ処理部を並列に設けても、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。

望ましくは、第１のフィルタ処理部及び第２のフィルタ処理部は直列に設けられ、信号は、第１のフィルタ処理及び第２のフィルタ処理のうちの一方の処理を受けた後に他方の処理を受ける。

本態様のように第１のフィルタ処理部及び第２のフィルタ処理部を直列に設けても、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。

望ましくは、第１のフィルタ処理部及び第２のフィルタ処理部のうち少なくともいずれか一方は、信号の非線形処理を行う非線形処理部を有する。

本態様のように非線形処理が信号処理系に含まれていても、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。

「非線形処理」は、線形演算のみでは構成されない処理であり、加減乗除以外の処理を伴い、例えばＬＵＴ（ルックアップテーブル）の参照や条件分岐を伴う処理が含まれうる。

望ましくは、非線形処理は、信号のうちクリップ閾値を超える信号値をクリップ閾値に調整するクリップ処理であり、フィルタ処理制御部は、クリップ閾値に応じて、第１のフィルタ処理及び第２のフィルタ処理のうちの少なくともいずれか一方における調整倍率を決定する。

本態様のようにクリップ処理が行われる場合であっても、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。

望ましくは、第１のフィルタ処理及び第２のフィルタ処理のうち少なくともいずれか一方はローパスフィルタ処理である。

本態様によれば、ローパスフィルタ処理によって信号の周波数成分を調整することができる。

望ましくは、信号は画像信号である。

本態様によれば、第１のフィルタ処理及び第２のフィルタ処理によって画像信号の周波数成分を調整することができる。

望ましくは、第１のフィルタ処理は、点拡がり関数に基づく復元フィルタを用いた復元処理であり、復元フィルタは、画像信号の撮影取得における撮影設定条件に基づいて決定される。

本態様によれば、点拡がり関数に基づく復元フィルタを用いた復元処理によって信号を処理する場合であっても、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。「点拡がり関数に基づく復元フィルタ」は、光学系などの点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いて生成される逆フィルタやウィナーフィルタ等に基づく復元フィルタであり、「復元処理」はそのような復元フィルタを画像データに適用する処理を含む。また「点拡がり関数」は光学系の点光源に対する応答を表す関数であり、ＰＳＦ及びＯＴＦ（ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ））に基づいて表現可能である。

また、「点拡がり関数」は光学系の点光源に対する応答を表す関数に限られず、撮像装置による撮影時に検出される被写体の動き量（例えば手ブレや被写体ブレなどに起因する被写体の動き量）を反映した関数であってもよい。したがって「点拡がり関数に基づく復元フィルタ」は、この点拡がり関数を用いて生成される復元フィルタであって、ブレぼけ（手ブレぼけ、や被写体ブレぼけ等）を低減するフィルタであってもよい。

望ましくは、第２のフィルタ処理は、鮮鋭化フィルタを用いた鮮鋭化処理である。

本態様によれば、鮮鋭化処理によって信号を処理する場合であっても、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。「鮮鋭化フィルタ」として、「光学系の点拡がり関数（ＰＳＦ）から逆フィルタやウィナーフィルタを用いて生成されたフィルタ（復元フィルタ）」以外のフィルタ類を使用することが可能である。したがって「鮮鋭化フィルタ」として、例えば光学系の点拡がり関数に基づかないフィルタを好適に用いることができ、点拡がり関数以外の他の要素（パラメータ）に基づいて算出されるフィルタを「鮮鋭化フィルタ」として採用しうる。点拡がり関数に基づかない鮮鋭化フィルタとしては、点拡がり関数に基づかずに作成されたフィルタであれば、点拡がり関数が異なる絞り値等に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。同様に、点拡がり関数が異なる像高に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。また、鮮鋭化処理における鮮鋭化フィルタの強度（ゲイン）が絞り値や像高に応じて変えられてもよい。

「鮮鋭化処理」は、画像データの高周波成分を補償又は強調する処理であって、画像の輪郭成分を強調する処理である。したがって、例えば輪郭強調処理、エッジ強調処理或いはシャープネス強調処理と呼ばれる処理が、ここでいう「鮮鋭化処理」に含まれうる。

望ましくは、第１のフィルタ処理及び第２のフィルタ処理のうち少なくともいずれか一方における調整倍率は、画像信号の撮影取得における撮影設定条件に基づいて決定される。

本態様によれば、第１のフィルタ処理及び第２のフィルタ処理のうち少なくともいずれか一方を、撮影設定条件を反映した処理とすることができる。

本発明の他の態様は、上記の信号処理装置を備える撮像装置に関する。

本発明の他の態様は、信号を周波数に応じて調整する信号処理部と、信号処理部を制御するフィルタ処理制御部とを含み、信号処理部は、第１のフィルタ処理を行う第１のフィルタ処理部と、第２のフィルタ処理を行う第２のフィルタ処理部とを有し、第１のフィルタ処理と第２のフィルタ処理との間において周波数特性が異なる画像処理部において用いられるパラメータを生成するパラメータ生成方法であって、第１のフィルタ処理における信号のゲインの調整倍率及び第２のフィルタ処理における信号のゲインの調整倍率に基づくトータルゲイン調整率を取得するステップと、第１のフィルタ処理及び第２のフィルタ処理のうちの一方における調整倍率を取得し、第１のフィルタ処理及び第２のフィルタ処理のうちの他方における調整倍率をトータルゲイン調整率に基づいて算出するステップとを備えるパラメータ生成方法に関する。

本発明の他の態様は、信号を周波数に応じて調整する信号調整ステップであって、第１のフィルタ処理を行う第１フィルタ処理ステップと、第１のフィルタ処理とは周波数特性の異なる第２のフィルタ処理を行う第２フィルタ処理ステップとを含む信号調整ステップと、第１のフィルタ処理における信号のゲインの調整倍率及び第２のフィルタ処理における信号のゲインの調整倍率に基づくトータルゲイン調整率を取得するステップと、第１のフィルタ処理及び第２のフィルタ処理のうちの一方における調整倍率を取得し、第１のフィルタ処理及び第２のフィルタ処理のうちの他方における調整倍率をトータルゲイン調整率に基づいて算出するステップと、を備える信号処理方法に関する。

本発明の他の態様は、信号を周波数に応じて調整する手順であって、第１のフィルタ処理を行うステップと、第１のフィルタ処理とは周波数特性の異なる第２のフィルタ処理を行うステップとを含む手順と、第１のフィルタ処理における信号のゲインの調整倍率及び第２のフィルタ処理における信号のゲインの調整倍率に基づくトータルゲイン調整率を取得する手順と、第１のフィルタ処理及び第２のフィルタ処理のうちの一方における調整倍率を取得し、第１のフィルタ処理及び第２のフィルタ処理のうちの他方における調整倍率をトータルゲイン調整率に基づいて算出する手順と、をコンピュータに実行させるためのプログラムに関する。

本発明によれば、第１のフィルタ処理及び第２のフィルタ処理のうちの一方の調整倍率を取得することによって他方の調整倍率が算出されるため、簡素な処理フローに従い、第１のフィルタ処理及び第２のフィルタ処理によって信号の周波数成分を調整することができる。

コンピュータに接続されるデジタルカメラを示すブロック図である。 本体コントローラの構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 フィルタ処理強度の調整を説明するための概念図である。 第１実施形態に係る画像処理ブロックの構成を示す図である。 画像処理の周波数特性を例示する図であり、図６（ａ）は第１のフィルタ処理（第１のフィルタ処理部）における「周波数−ゲイン」関係例を示し、図６（ｂ）は第２のフィルタ処理（第２のフィルタ処理部）における「周波数−ゲイン」関係例を示し、図６（ｃ）は第１のフィルタ処理及び第２のフィルタ処理（信号処理部）全体における「周波数−ゲイン」関係例を示す。 第３実施形態に係る画像処理ブロックの構成を示す図である。 第４実施形態に係る画像処理ブロックの構成を示す図である。 画像処理の周波数特性を例示する図であり、図９（ａ）は第１のフィルタ処理（第１のフィルタ処理部）における「周波数−ゲイン」関係例を示し、図９（ｂ）は第２のフィルタ処理（第２のフィルタ処理部）における「周波数−ゲイン」関係例を示す。 画像処理の周波数特性を例示する図であり、図１０（ａ）はハイコントラスト波形信号に対する調整例を示す図であり、図１０（ｂ）はローコントラスト波形信号に対する調整例を示す図である。 一変形例に係る画像処理ブロックの構成を示す図である。 撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図１２に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、画像処理装置（信号処理装置）を備えるデジタルカメラ（撮像装置）に対して本発明を適用する場合について説明する。ただし本発明は、画像信号以外の信号（例えば音声信号等）を処理する信号処理装置及び信号処理方法に対しても同様に適用することが可能である。

図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。本例のデジタルカメラ１０では、撮像素子２６が搭載されるカメラ本体（撮像本体）１４に光学系の一例であるレンズユニット１２が交換可能に装着され、カメラ本体１４に画像処理装置が設けられている。

すなわちデジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とが電気的に接続される。

レンズユニット１２は、光学系を構成するレンズ１６及び絞り１７と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、各種の情報（光学系情報等）を記憶するレンズユニット記憶部２１と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、カメラ本体１４からレンズユニット入出力部２２を介して送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えばレンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。またレンズユニットコントローラ２０は、カメラ本体１４からレンズユニット入出力部２２を介して送られてくる制御信号に基づき、レンズユニット記憶部２１に記憶される各種情報を読み出してカメラ本体１４（本体コントローラ２８）に送信する。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタと、イメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）とを有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）を本体コントローラ２８に送る。

本体コントローラ２８は、詳細については後述するが（図２参照）、デジタルカメラ１０の各部を統括的に制御するデバイス制御部としての機能と、撮像素子２６から送られてくる画像データの画像処理を行う画像処理部としての機能とを有する。

デジタルカメラ１０は、さらに、撮影等に必要なその他の機器類（シャッター等）を具備し、それらの機器類の一部はユーザによって確認及び操作可能なユーザインターフェース２９を構成する。ユーザインターフェース２９はレンズユニット１２及び／又はカメラ本体１４に配置可能であり、図１に示す例においてはカメラ本体１４にユーザインターフェース２９が設けられている。ユーザは、ユーザインターフェース２９を介し、撮影等のための各種設定（ＥＶ値（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）等）の決定及び変更、撮影指示、ライブビュー画像及び撮影画像の確認、等を行うことができる。ユーザインターフェース２９は本体コントローラ２８に接続され、ユーザによって決定及び変更された各種設定及び各種指示が本体コントローラ２８における各種処理（デバイス制御処理、画像処理等）に反映される。

本体コントローラ２８において画像処理された画像データは、カメラ本体１４に設けられる本体記憶部３１に記憶され、必要に応じ、入出力インターフェース３２を介してコンピュータ９２等に送られる。本体記憶部３１は任意のメモリ体によって構成され、メモリカード等の交換可能メモリが好適に用いられる。本体コントローラ２８から出力される画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ
Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意のフォーマットとしうる。また本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。

コンピュータ９２は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部９３を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ９４は、コンピュータ９２を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット９６等のネットワーク回線を介してコンピュータ入出力部９３に接続されるサーバ９７等との通信を制御する。コンピュータ９２はディスプレイ９５を有し、コンピュータコントローラ９４における処理内容等が必要に応じてディスプレイ９５に表示される。ユーザは、ディスプレイ９５の表示を確認しながらキーボード等の入力手段（図示省略）を操作することにより、コンピュータコントローラ９４にデータやコマンドを入力可能である。これによりユーザは、コンピュータ９２や、コンピュータ９２に接続される機器類（デジタルカメラ１０、サーバ９７）を制御可能である。

サーバ９７は、サーバ入出力部９８及びサーバコントローラ９９を有する。サーバ入出力部９８は、コンピュータ９２等の外部機器類との送受信接続部を構成し、インターネット９６等のネットワーク回線を介してコンピュータ９２のコンピュータ入出力部９３に接続される。サーバコントローラ９９は、コンピュータ９２からの制御指示信号に応じ、コンピュータコントローラ９４と協働し、コンピュータコントローラ９４との間において必要に応じてデータ類の送受信を行い、データ類をコンピュータ９２にダウンロードし、演算処理を行ってその演算結果をコンピュータ９２に送信する。

各コントローラ（レンズユニットコントローラ２０、本体コントローラ２８、コンピュータコントローラ９４、サーバコントローラ９９）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）やメモリ等を具備する。またデジタルカメラ１０、コンピュータ９２及びサーバ９７間の通信は、有線であってもよいし無線であってもよい。またコンピュータ９２及びサーバ９７を一体的に構成してもよく、またコンピュータ９２及び／又はサーバ９７が省略されてもよい。またデジタルカメラ１０にサーバ９７との通信機能を持たせ、デジタルカメラ１０とサーバ９７との間で直接的にデータ類の送受信が行われるようにしてもよい。

図２は、本体コントローラ２８の構成例を示すブロック図である。本体コントローラ２８は、デバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。

デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を本体記憶部３１に記憶し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ９２等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。またデバイス制御部３４は、表示部（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部：ユーザインターフェース２９）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行う。例えばセンサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。特に本例の画像処理部３５は、光学系の点拡がり関数には基づかない鮮鋭化処理（輪郭強調処理）を画像信号（画像データ）に対して行う。

図３は、画像処理部３５の構成例を示すブロック図である。

本例の画像処理部３５は、信号を周波数に応じて調整する信号処理部４０と、信号処理部４０を制御するフィルタ処理制御部３７とを備える。信号処理部４０（信号調整ステップ）は、第１のフィルタ処理を行う第１のフィルタ処理部３８（第１フィルタ処理ステップ）と、第１のフィルタ処理とは周波数特性の異なる第２のフィルタ処理を行う第２のフィルタ処理部３９（第２フィルタ処理ステップ）とを有する。

第１のフィルタ処理及び第２のフィルタ処理は、任意の画像処理フィルタを用いることができ、２次元のＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが好適に用いられる。第１のフィルタ処理及び第２のフィルタ処理の簡単な例としては、処理対象の信号にフィルタを適用して信号ゲインを算出し（フィルタリング処理）、信号ゲインの倍率を調整し（ゲインコントロール処理）、倍率調整後の信号ゲインを原信号に加算する処理が挙げられる。

したがって、第１のフィルタ処理及び第２のフィルタ処理のうち両方又は一方を、点像復元処理、鮮鋭化処理、ローパスフィルタ処理、等の各種の処理とすることができる。第１のフィルタ処理及び第２のフィルタ処理は同一目的のフィルタ処理であってもよいし、異なる目的のフィルタ処理であってもよく、例えば第１のフィルタ処理及び第２のフィルタ処理を、任意のシャープネス強調処理（鮮鋭化処理）のためのＦＩＲフィルタ信号処理によって構成してもよい。

以下の例では、第１のフィルタ処理及び第２のフィルタ処理を「鮮鋭化フィルタを用いた鮮鋭化処理」とする。すなわち第１のフィルタ処理部３８及び第２のフィルタ処理部３９は、入力される画像信号に対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う（輪郭強調処理ステップ）。第１のフィルタ処理部３８及び第２のフィルタ処理部３９で用いられる鮮鋭化フィルタは特に限定されず、公知の輪郭強調フィルタを鮮鋭化フィルタとして使用可能である。この鮮鋭化フィルタは、予め定められる単一フィルタであってもよいし、撮影設定条件（光学特性情報の一例）に応じて複数のフィルタの中から選択されるフィルタであってもよい。したがって、例えばフィルタ処理制御部３７、第１のフィルタ処理部３８又は第２のフィルタ処理部３９が、撮影設定条件に基づいて最適な鮮鋭化フィルタを決定してもよい。また、画像全体で単一の鮮鋭化フィルタが用意されていてもよいし、画像内の位置毎（像高毎）に異なる鮮鋭化フィルタが用意されていてもよい。ただし、信号を調整可能な周波数帯域は、第１のフィルタ処理と第２のフィルタ処理との間で、少なくとも一部において重複し、ゲインのピークを示す周波数は、第１のフィルタ処理と第２のフィルタ処理との間で異なる。

ここでいう撮影設定条件は、例えば絞り情報、ズーム情報、被写体距離情報、及び光学系が有するレンズ種類情報等の「設定条件」、及び撮影感度情報、撮影モード情報、等の「撮影条件」を含みうる。

フィルタ処理制御部３７は、第１のフィルタ処理部３８及び第２のフィルタ処理部３９を制御する。本例のフィルタ処理制御部３７は、第１のフィルタ処理における信号のゲインの調整倍率及び第２のフィルタ処理における信号のゲインの調整倍率に基づくトータルゲイン調整率を取得する。またフィルタ処理制御部３７は、第１のフィルタ処理及び第２のフィルタ処理のうちの一方における調整倍率を取得し、第１のフィルタ処理及び第２のフィルタ処理のうちの他方における調整倍率をトータルゲイン調整率に基づいて算出する。したがって、第１のフィルタ処理部３８及び第２のフィルタ処理部３９が鮮鋭化処理を行う場合、フィルタ処理制御部３７は第１のフィルタ処理及び第２のフィルタ処理に係る鮮鋭化処理の信号ゲインの倍率をトータルゲイン調整率に基づいて調整する。

図４は、フィルタ処理強度の調整を説明するための概念図である。図４の「トータル強度」は、所望の画質から決まる最終鮮鋭度目標強度値であり、画像処理全体に対する入力と出力との大きさの比率を直接的又は間接的に示す。本例の「トータル強度」は、撮影設定条件（光学特性情報の一例）に応じて変動しうるが、撮影設定条件（光学特性情報の一例）が決まれば一定の値となる。また「第１のフィルタ処理強度」は第１のフィルタ処理の鮮鋭化強度であり、「第２のフィルタ処理強度」は第２のフィルタ処理による鮮鋭化強度である。

これらのトータル強度、第１のフィルタ処理強度及び第２のフィルタ処理強度は、それぞれ信号処理の前後における信号の変化の程度を表す指標であり、信号の変化の程度を適切に表すことが可能な任意の基準に則って定められる。したがって、第１のフィルタ処理及び第２のフィルタ処理の各々がフィルタ適用処理及びゲインコントロール処理を含む場合には、「フィルタ適用処理及びゲインコントロール処理」の前後の変化が第１のフィルタ処理強度及び第２のフィルタ処理強度によって表される。

例えば第１のフィルタ処理と第２のフィルタ処理とが並列的に行われ、「第１のフィルタ処理強度」と「第２のフィルタ処理強度」とが「トータル強度」によって定められる場合を想定する。この場合には「第１のフィルタ処理強度＋第２のフィルタ処理強度＝トータル強度」の関係が成立し、第１のフィルタ処理強度の増減分だけ第２のフィルタ処理強度が増減し、図４に示される第１のフィルタ処理強度と第２のフィルタ処理強度との境界位置（Ｂ）が変動しうる。したがって、例えばトータル強度及び第１のフィルタ処理強度が定まれば、両者から最適な第２のフィルタ処理強度を算出することが可能である。同様に、トータル強度及び第２のフィルタ処理強度が定まれば、両者から最適な第１のフィルタ処理強度を算出することが可能である。

なお図４は理解を容易にするために直感的な概念図を示すに過ぎず、第１のフィルタ処理と第２のフィルタ処理とが行われる処理系において「第１のフィルタ処理強度＋第２のフィルタ処理強度＝トータル強度」の関係が常に成立することを示すものではない。例えば第１のフィルタ処理と第２のフィルタ処理とが直列的に行われる場合、第１のフィルタ処理強度と第２のフィルタ処理強度との積に基づいてトータル強度が定められる。したがって以下の実施形態では、「第１のフィルタ処理強度及び第２のフィルタ処理強度の両者による周波数増幅率」が「トータル強度による周波数増幅率」と一致するように、第１のフィルタ処理強度及び第２のフィルタ処理強度が決められる。

第１のフィルタ処理強度及び第２のフィルタ処理強度の調整は様々な基準で行うことができ、例えば特定の周波数範囲の画像成分における周波数増幅率が同じになるように、トータル強度を定めることができる。

このようにトータル強度を設定して第１のフィルタ処理強度及び第２のフィルタ処理強度を調整することにより、第１のフィルタ処理及び第２のフィルタ処理を受けた画像の鮮鋭度（解像感）のバラつきを抑え、出力画像（信号）の総合的な質を向上できる。

なお、上述では第１のフィルタ処理部３８及び第２のフィルタ処理部３９が周波数特性の異なる同種フィルタ処理（鮮鋭化処理）を行う場合について説明したが、異なる種類のフィルタ処理を行う場合も同様に第１のフィルタ処理強度及び第２のフィルタ処理強度を調整できる。例えば第１のフィルタ処理部３８が点像復元処理を行う一方で第２のフィルタ処理部３９が鮮鋭化処理を行う場合に、第１のフィルタ処理強度を優先的に設定し、その第１のフィルタ処理強度に応じて第２のフィルタ処理強度を調整することが可能である。この場合、光学系（レンズ１６等）のＰＳＦに応じた点像復元処理を高精度に行うことができる。点像復元処理は繊細な処理であり基礎パラメータが正確でないと過補正等の弊害を招き易いが、第１のフィルタ処理強度を優先的に決めることにより、過補正等の弊害を効果的に防げる。一方、第２のフィルタ処理強度を優先的に設定し、その設定された第２のフィルタ処理強度に応じて第１のフィルタ処理強度を調整することも可能である。この場合、弊害の少ない安定した処理である鮮鋭化処理が優先的に行われる。この鮮鋭化処理を優先的に行うケースは、光学特性に優れた精度を持つ光学系（レンズ１６等）を用いて撮影を行う場合、撮影シーンが夜景やポートレートの場合、アートフィルタ処理が行われる場合等、点像復元処理による効果が得難い場合や点像復元処理による弊害が出やすい場合に好適である。

第１のフィルタ処理（鮮鋭化処理）及び第２のフィルタ処理（鮮鋭化処理）の調整に関する具体的な実施形態について、以下に説明する。

＜第１実施形態＞
図５は、第１実施形態に係る画像処理ブロックの構成を示す図である。

本実施形態の画像処理システムモデル（画像処理部３５）では、「第１のフィルタ処理ブロック」と「第２のフィルタ処理ブロック」とが直列に接続（カスケード結合）され、両処理ブロックにおいて連続的な信号強度調整が可能となっている。すなわち第１のフィルタ処理部３８及び第２のフィルタ処理部３９は直列に設けられ、入力画像信号は第１のフィルタ処理及び第２のフィルタ処理のうちの一方の処理（図５に示す例では「第１のフィルタ処理」）を受けた後に他方の処理（図５に示す例では「第２のフィルタ処理」）を受ける。

本例の第１のフィルタ処理は、画像信号に鮮鋭化フィルタ（第１のフィルタ）を適用する処理と、鮮鋭化フィルタの適用によって得られる信号のゲインの倍率を調整倍率に基づいて調整する処理とを含む。すなわち第１のフィルタ処理部３８は、第１フィルタ処理実行部４２、第１フィルタ処理乗算器４３及び第１フィルタ処理加算器４４を含む。第１フィルタ処理実行部４２は、鮮鋭化フィルタを入力画像データに適用し、画像の増減分データを算出する。第１フィルタ処理乗算器４３は、第１フィルタ処理実行部４２において算出された増減分データのゲインコントロールを行い、増減分データ及び第１ゲイン調整倍率Ｕの乗算を行う。第１フィルタ処理加算器４４は、第１フィルタ処理実行部４２に入力される前の画像信号（入力画像データ）と、第１ゲイン調整倍率Ｕが乗算された増減分データとの加算を行う。第１のフィルタ処理は、これらの第１フィルタ処理実行部４２、第１フィルタ処理乗算器４３及び第１フィルタ処理加算器４４における一連の処理によって構成される。

なお第１のフィルタ処理部３８は、任意の手法により第１ゲイン調整倍率Ｕを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えば、光鮮鋭化フィルタを入力画像データに適用して得られる画像データ（入力画像データ＋増減分データ）に対して第１ゲイン調整倍率Ｕの乗算を行う一方で、入力画像データに倍率（１−Ｕ）の乗算を行い、両者を加算するようにしてもよい。

一方、本例の第２のフィルタ処理は、画像信号に鮮鋭化フィルタ（第２のフィルタ）を適用する処理と、鮮鋭化フィルタの適用によって得られる信号のゲインの倍率を調整倍率に基づいて調整する処理とを含む。すなわち第２のフィルタ処理部３９は、第２フィルタ処理実行部４６、第２フィルタ処理乗算器４７及び第２フィルタ処理加算器４８を含む。本例においては第１のフィルタ処理後の画像データが、入力画像データとして第２フィルタ処理実行部４６に入力される。第２フィルタ処理実行部４６は、鮮鋭化フィルタを入力画像データに適用して画像の増減分データを算出する。第２フィルタ処理乗算器４７は、第２フィルタ処理実行部４６において算出された増減分データのゲインコントロールを行い、増減分データ及び第２ゲイン調整倍率Ｖの乗算を行う。第２フィルタ処理加算器４８は、第２フィルタ処理実行部４６に入力される前の画像データ（第１のフィルタ処理後の画像信号）と、第２ゲイン調整倍率Ｖが乗算された増減分データとの加算を行って出力画像データを生成する。第２のフィルタ処理は、これらの第２フィルタ処理実行部４６、第２フィルタ処理乗算器４７及び第２フィルタ処理加算器４８における一連の処理によって構成される。

なお、第１ゲイン調整倍率Ｕの反映手法と同様に、第２のフィルタ処理部３９は、任意の手法により第２ゲイン調整倍率Ｖを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えば、鮮鋭化フィルタ（輪郭強調フィルタ）を入力画像データに適用して得られる画像データ（入力画像データ＋増減分データ）に対して第２ゲイン調整倍率Ｖの乗算を行う一方で、入力画像データに倍率（１−Ｖ）の乗算を行い、両者を加算するようにしてもよい。

なお、第１フィルタ処理実行部４２及び第２フィルタ処理実行部４６において用いられる鮮鋭化フィルタは任意の手法により決められるが、本例の第１フィルタ処理実行部４２及び第２フィルタ処理実行部４６の各々は、単一の鮮鋭化フィルタを保持して使用する。

フィルタ処理制御部３７は、第１のフィルタ処理（第１フィルタ処理乗算器４３）における調整倍率を外部入力パラメータに基づいて定め、第１のフィルタ処理における調整倍率とトータルゲイン調整率とに基づいて第２のフィルタ処理（第２フィルタ処理乗算器４７）における調整倍率を算出する。すなわち、本例のフィルタ処理制御部３７は強度自動調整部５２を含み、強度自動調整部５２には第１フィルタ処理調整変数（ディテール鮮鋭度調整変数）Ｇ及びトータルゲイン調整率（トータル鮮鋭度目標値）Ｄが入力される。

第１フィルタ処理調整変数Ｇは、第１のフィルタ処理部３８（第１フィルタ処理乗算器４３）において使用する第１ゲイン調整倍率Ｕの基礎を構成するデータである。トータルゲイン調整率Ｄは、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖに基づいて定められるデータであり、後述の第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを決定するための基準となる。第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄの各々は、ユーザインターフェース２９を介してユーザによって指定されてもよいし、フィルタ処理制御部３７等により光学特性情報に基づいて決定されてもよい。したがって、光学特性情報に応じて異なる値の第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄがフィルタ処理制御部３７（本体コントローラ２８）等によって選択されてもよい。また第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄを予め定めておく一方で、ユーザがユーザインターフェース２９を介して第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄを適宜調整可能としてもよい。

ここでいう「光学特性情報」は、光学系が有するレンズ１６の種類情報、光学系の個体差情報、その他の撮影設定条件、等を含みうる。この光学特性情報は任意の記憶部に記憶され、例えばレンズユニット１２の記憶部（レンズユニット記憶部２１）に光学特性情報が記憶されてもよいし、カメラ本体１４の記憶部（本体記憶部３１）に光学特性情報が記憶されてもよい。したがってフィルタ処理制御部３７（本体コントローラ２８）等において、第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄは、記憶部（光学系記憶部、本体記憶部）に記憶される光学特性情報に基づいて定められてもよい。

なお光学特性情報（撮影設定条件等）は、任意の方式で、フィルタ処理制御部３７（強度自動調整部５２）、第１のフィルタ処理部３８（第１フィルタ処理実行部４２）及び第２のフィルタ処理部３９（第２フィルタ処理実行部４６）に入力される。例えば、本体コントローラ２８のデバイス制御部３４及び画像処理部３５のうち光学特性情報を管理する制御処理部（図示せず）から、フィルタ処理制御部３７、第１のフィルタ処理部３８及び第２のフィルタ処理部３９に光学特性情報を必要に応じて送信してもよい。

強度自動調整部５２は、第１フィルタ処理調整変数Ｇに基づいて第１ゲイン調整倍率Ｕを決定し、第１ゲイン調整倍率Ｕ（第１フィルタ処理調整変数Ｇ）及びトータルゲイン調整率Ｄに基づいて第２ゲイン調整倍率Ｖを決定する（ただし、「第１ゲイン調整倍率Ｕ≧０」及び「第２ゲイン調整倍率Ｖ≧０」を満たす）。具体的には、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖによって定義されるトータル鮮鋭度評価値（トータル鮮鋭度評価関数）がトータルゲイン調整率Ｄと等しくなるように、第２ゲイン調整倍率Ｖを探索することによって第２ゲイン調整倍率Ｖが決定される。

なお強度自動調整部５２は、第１フィルタ処理実行部４２及び第２フィルタ処理実行部４６の各々において使用される鮮鋭化フィルタの周波数特性を取得する。例えば、第１フィルタ処理実行部４２及び第２フィルタ処理実行部４６において使用される鮮鋭化フィルタが固定されている場合、強度自動調整部５２は各鮮鋭化フィルタの周波数特性を予め記憶しておくことにより取得してもよい。また第１フィルタ処理実行部４２及び第２フィルタ処理実行部４６において使用される鮮鋭化フィルタが強度自動調整部５２に送信され、強度自動調整部５２は、受信した鮮鋭化フィルタを解析することにより鮮鋭化フィルタの周波数特性を取得してもよい。強度自動調整部５２は、トータル鮮鋭度評価値に基づいて第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを決定する際に、第１フィルタ処理実行部４２及び第２フィルタ処理実行部４６において使用する鮮鋭化フィルタの周波数特性を考慮する。具体的には、強度自動調整部５２は、トータル鮮鋭度評価値に鮮鋭化フィルタの周波数特性を反映させ、その鮮鋭化フィルタの周波数特性を反映したトータル鮮鋭度評価値に基づいて、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを決定する。

そして強度自動調整部５２は、決定した第１ゲイン調整倍率Ｕを第１フィルタ処理乗算器４３に送信し、第２ゲイン調整倍率Ｖを第２フィルタ処理乗算器４７に送信する。第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖは、それぞれ第１のフィルタ処理部３８及び第２のフィルタ処理部３９における強度調整パラメータである。したがって第１フィルタ処理乗算器４３及び第２フィルタ処理乗算器４７は、強度自動調整部５２から送られてくる第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを使用して乗算処理を行う。

強度自動調整部５２における第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖの決定は、例えば以下のフローに従って行うことができる。

第１のフィルタ処理部３８及び第２のフィルタ処理部３９における画像処理に先立って、まず強度自動調整部５２（フィルタ処理制御部３７）が第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄを取得する。本例においては、第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄが予めユーザによって指定される。ユーザによる第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄの指定方法は特に限定されず、例えば第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄを指定するためのスライダ等の調整手段をユーザインターフェース２９（背面表示部等）に表示し、ユーザがその調整手段を介した操作を行うことにより第１フィルタ処理調整変数Ｇ及びトータルゲイン調整率Ｄを簡易に定めることも可能である。

第１フィルタ処理調整変数Ｇは、第１フィルタ処理乗算器４３で使用される第１のフィルタ処理の第１ゲイン調整倍率Ｕをコントロールするための基礎データ（制御値）である。本例においては後述するように、例えば第１ゲイン調整倍率Ｕの値が特定の閾値よりも大きい場合を除き、第１ゲイン調整倍率Ｕと第１フィルタ処理調整変数Ｇとは等しい（第１ゲイン調整倍率Ｕ＝第１フィルタ処理調整変数Ｇ）。第１フィルタ処理調整変数Ｇが０（ゼロ）の場合は、第１のフィルタ処理がオフにされていることに相当する。この第１のフィルタ処理における第１ゲイン調整倍率Ｕは、連続的な値をとるように変化してもよいし、離散的な値をとるように変化してもよいし、オン又はオフ（「特定倍率」か「０（ゼロ）」か）により変化してもよく、第１ゲイン調整倍率Ｕを任意の方式により変更可能な処理回路等を実装することが可能である。

またトータルゲイン調整率Ｄは、画像処理システム（第１のフィルタ処理部３８及び第
２のフィルタ処理部３９）全体においてベースとなる鮮鋭度を定めるデータである。

一方、第１フィルタ処理実行部４２において使用される第１のフィルタ（鮮鋭化処理における輪郭強調成分を抽出するためのフィルタ）の周波数特性をψ（ω_ｘ，ω_ｙ）として、第２フィルタ処理実行部４６において使用される第２のフィルタの周波数特性をφ（ω_ｘ，ω_ｙ）とする。この場合、第１のフィルタ処理部３８及び第２のフィルタ処理部３９（鮮鋭化処理）を組み合わせた図５に示す画像処理システム全体の周波数特性は、以下の式１によって表される。

「Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ）」は、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖをパラメータとした（ω_ｘ，ω_ｙ）（ｘ方向及びｙ方向に関する周波数）についての関数を示し、この関数は画像処理システムの構成に依存して決定される。

第１フィルタ処理乗算器４３において用いられる第１ゲイン調整倍率Ｕ及び第２フィルタ処理乗算器４７において用いられる第２ゲイン調整倍率Ｖの決定は、以下の式２によって定義されるトータル鮮鋭度評価値（トータル鮮鋭率）Ｃ（Ｕ，Ｖ）を一定の値（トータルゲイン調整率Ｄ）に保つように実施される。

ここで「ｗ（ω_ｘ，ω_ｙ）」は任意の重み関数であり、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）は、システム全体の周波数特性の重み付き演算によって定義される。重み関数ｗ（ω_ｘ，ω_ｙ）は、視覚的に有意な周波数成分において大きな値となるように設計されることが好ましい。上記の式２で定義されるトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）を用いることによって、第１のフィルタ処理の強度を変化させても、注目している周波数帯域においては、周波数強調の程度が変化せず鮮鋭度の大きな乖離は発生しない。一方、重み関数ｗ（ω_ｘ，ω_ｙ）が比較的小さい周波数帯域では、ユーザの調整により画質の差異が目立ち易くなる。

上述を踏まえ、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖの値は次のように決定できる。すなわち強度自動調整部５２は、入力される第１フィルタ処理調整変数Ｇに基づいて第１ゲイン調整倍率Ｕの値を決定し、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）がトータルゲイン調整率Ｄとなるように第２ゲイン調整倍率Ｖの値を決定する。したがって、第１ゲイン調整倍率Ｕの値が大きくなると第２ゲイン調整倍率Ｖの値が小さくなり、第１ゲイン調整倍率Ｕの値が小さくなると第２ゲイン調整倍率Ｖの値が大きくなる。ただし第１ゲイン調整倍率Ｕの値が大き過ぎると、第２ゲイン調整倍率Ｖの値をゼロ「０」にしてもトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）を一定に保てない場合が発生しうる。すなわち、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）を一定に保つことが可能な第１ゲイン調整倍率Ｕの範囲には制限が存在しうる。

第１ゲイン調整倍率Ｕの上限値を「Ｕ_ＭＡＸ」と表記すると、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）は「Ｃ（Ｕ_ＭＡＸ，０）＝Ｄ」の関係を満たすため、第１ゲイン調整倍率Ｕの最大値は以下の式３に示すように制限される。

上記の式３は、第１フィルタ処理調整変数Ｇが第１ゲイン調整倍率Ｕの上限値Ｕ_ＭＡＸ以下の場合には第１フィルタ処理調整変数Ｇを第１ゲイン調整倍率Ｕに設定し（Ｕ＝Ｇ）、第１フィルタ処理調整変数Ｇが第１ゲイン調整倍率Ｕの上限値Ｕ_ＭＡＸを超える場合には第１ゲイン調整倍率Ｕの上限値Ｕ_ＭＡＸを第１ゲイン調整倍率Ｕに設定する（Ｕ＝Ｕ_ＭＡＸ）ことを示す。

第２ゲイン調整倍率Ｖの値は、トータル鮮鋭度評価値が「Ｃ（Ｕ，Ｖ）＝Ｄ」の関係を満たす第２ゲイン調整倍率Ｖを探すことにより算出される。これは１次方程式の解を求めることに等しく、強度自動調整部５２は、第２ゲイン調整倍率Ｖを容易に求められる。第２ゲイン調整倍率Ｖの算出の難易度は、システム全体の周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ）の定義に依存する。この周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ）が非線形関数となって上記の等式を厳密に成立させる第２ゲイン調整倍率Ｖを探すのが難しい場合、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）をトータルゲイン調整率Ｄに最も近づける第２ゲイン調整倍率Ｖを採用するという定式化が行われてもよい。

上述の一連の処理によって、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）を一定（トータルゲイン調整率Ｄ）に保つ第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを算出することができる。

以上説明したように本実施形態によれば、トータル鮮鋭度（トータル鮮鋭度評価値）に基づいて第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖが定められるため、第１のフィルタ処理及び第２のフィルタ処理による画像（出力画像）の鮮鋭度のバラつきが抑えられ、出力画像における総合的な解像度や画質を安定化できる。

特にシステム全体の周波数レスポンスのうち、特定の重みをつけた周波数帯域のレスポンスを一定に保ったまま周波数特性全体の形状を変化させて、システム全体の周波数レスポンスを柔軟に調整することが可能である。したがって、例えばベースとなる鮮鋭度を維持しながらディテールの鮮鋭度を調整するなどの応用も可能である。また、主要な周波数帯域における重み付けが大きくなるようにトータル鮮鋭度評価値を定めることにより、主要な周波数帯域における鮮鋭化強度が一定化され、鮮鋭度の乖離が過大になることを防げる。

また第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを調整することにより、鮮鋭化フィルタを変更することなく、第１のフィルタ処理及び第２のフィルタ処理全体における周波数特性を連続的に変化させることもできる。したがって、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを調整することにより、所望の周波数特性を簡便に実現することができる。そのため、多くの周波数特性を実現するために、多数の鮮鋭化フィルタ（第１のフィルタ及び第２のフィルタ）を準備及び保持しておく必要がなく、また鮮鋭化フィルタ（第１のフィルタ及び第２のフィルタ）を動的に設計する必要もない。

また２つの画像処理（第１のフィルタ処理及び第２のフィルタ処理）の強度調整パラメータの制御は、一般に「２変数」の制御が必要となり、制御の自由度は「２」となる。しかしながら本実施形態に係る強度調整処理によれば、予め記憶されるトータルゲイン調整率Ｄがユーザの操作を介することなく自動的に強度自動調整部５２に供給される場合、必要とされる制御の自由度は「１」となる。すなわち第１フィルタ処理調整変数Ｇを決めるだけで、トータルゲイン調整率Ｄに基づいて適切な鮮鋭化強度（第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖ）を定めることが可能である。これにより、ユーザが直感的に操作し易いユーザインターフェース２９を提供することも可能である。

なお上述の例においては、第１ゲイン調整倍率Ｕを第１フィルタ処理調整変数Ｇによって定め、第２ゲイン調整倍率Ｖを第１ゲイン調整倍率Ｕ及びトータルゲイン調整率Ｄから算出しているが、第２ゲイン調整倍率Ｖの基礎データが強度自動調整部５２に入力されてもよい。すなわち、第１フィルタ処理調整変数Ｇの代わりに、第２フィルタ処理調整変数が強度自動調整部５２に入力されてもよい。この場合、強度自動調整部５２は、入力される第２フィルタ処理調整変数に基づいて第２ゲイン調整倍率Ｖを定め、第１ゲイン調整倍率Ｕを第２ゲイン調整倍率Ｖ及びトータルゲイン調整率Ｄから算出することができる。

＜第２実施形態＞
本実施形態に係るフィルタ処理制御部３７は、信号処理部４０（第１のフィルタ処理部３８及び第２のフィルタ処理部３９）の前後における画像信号の比率を、ある特定の周波数（第１の周波数）において特定のレスポンス目標比率に調整することにより、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを求める。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

図６は、画像処理の周波数特性を例示する図であり、（ａ）は第１のフィルタ処理（第１フィルタ処理実行部４２）における「周波数−ゲイン」関係例を示し、（ｂ）は第２のフィルタ処理（第２フィルタ処理実行部４６）における「周波数−ゲイン」関係例を示し、（ｃ）は第１のフィルタ処理及び第２のフィルタ処理（信号処理部４０）全体における「周波数−ゲイン」関係例を示す。

本実施形態の画像処理は、上述の第１実施形態に係る画像処理の一部が簡易化され、ある特定の周波数に注目し、その注目周波数に関して「第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖ」をピンポイント調整する。

ここでいう注目周波数は特に限定されず、例えば視覚特性上有意な周波数を注目周波数に設定することができる。また注目周波数の数も限定されず、単数であってもよいし、複数であってもよい。

この画像処理は、具体的には、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）の式（上記「式２」参照）の重み関数ｗ（ω_ｘ，ω_ｙ）を次のように定義することにより実現可能である。

上記式４において「δ（ｘ）」はクロネッカーのデルタ関数を示し、「ω_０」は特定の周波数ｆ０におけるｘ方向の周波数を示す。上記式４は、周波数に関し、ｘ方向の周波数のみを参照する。これは、鮮鋭化フィルタの周波数特性が等方的であると想定しているため、特定の方向（上記式４においては「ｘ方向」）について参照すれば十分だからである。

上記式４において表される重み関数を用いることによって、図６（ｃ）に示す通り、第１フィルタ処理調整変数Ｇがいかなる値であったとしても、画像処理システム全体の周波数特性に関して、常に、特定の周波数ｆ０において特定のゲイン（トータルゲイン調整率Ｄ）となる。

第１のフィルタ処理全体（第１のフィルタ処理部３８）の周波数特性は、第１フィルタ処理実行部４２によるフィルタ処理と第１フィルタ処理乗算器４３によるゲインコントロール処理とによって決定され、第１フィルタ処理実行部４２の周波数特性（図６（ａ）参照）の倍率が第１ゲイン調整倍率Ｕによって調整されることにより定まる。同様に、第２のフィルタ処理全体（第２のフィルタ処理部３９）の周波数特性は、第２フィルタ処理実行部４６によるフィルタ処理と第２フィルタ処理乗算器４７によるゲインコントロール処理とによって決定され、第２フィルタ処理実行部４６の周波数特性（図６（ｂ）参照）の倍率が第２ゲイン調整倍率Ｖによって調整されることにより定まる。したがって画像処理システム全体の周波数特性（図６（ｃ）参照）は、第１フィルタ処理実行部４２及び第２フィルタ処理実行部４６の周波数特性（図６（ａ）及び（ｂ）参照）に適用される第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖをコントロールすることにより調整可能である。

強度自動調整部５２における第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖの調整は、特定の周波数ｆ０においてトータルゲイン調整率Ｄを実現するという制限はあるが、具体的な調整例は１つには定まらない。例えば、画像の高周波成分を強調したい場合には、図６（ｃ）の「調整例１」に示すように、その高周波成分を強調するゲインが達成されるように第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖが決定される。一方、画像の高周波成分は強調せずに、低周波〜中周波の成分を強調したい場合には、図６（ｃ）の「調整例２」に示すように、その低周波〜中周波の成分に重点的にゲインが適用される第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖが決定される。

他の構成は、図５に示す第１実施形態と同様である。

以上説明したように本実施形態によれば、第１のフィルタ処理及び第２のフィルタ処理を経た出力画像における鮮鋭度のバラつきを抑え、画質を安定化できる。

特に特定の周波数ｆ０におけるゲインが固定されるので、例えば「ベースとなる低周波の鮮鋭度を一定に保ちつつ高周波の鮮鋭度を調整する」などの手法をとることができ、画像処理全体の周波数特性を柔軟にコントロールすることが可能である。例えば、スライダ等の操作手段をユーザインターフェース２９に表示してユーザがこの操作手段を介して第１フィルタ処理調整変数Ｇを調整可能とすることにより、画像信号のうちベースとなる低周波の鮮鋭度を一定にしたまま高周波の鮮鋭度を調整することもできる。

＜第３実施形態＞
図７は、第３実施形態に係る画像処理ブロックの構成を示す図である。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本実施形態に係る第１のフィルタ処理部３８及び第２のフィルタ処理部３９は並列に設けられる。画像信号は第１のフィルタ処理部３８及び第２のフィルタ処理部３９に入力され、第１のフィルタ処理による画像信号の増減分データと、第２のフィルタ処理による画像信号の増減分データとが加算される。

本実施形態の画像処理部３５は鮮鋭化調整部６３を有する。鮮鋭化調整部６３は、第１のフィルタ処理部３８からの画像データの増減分データと第２のフィルタ処理部３９からの画像データの増減分データとを加算する第１加算器６１と、第１加算器６１から出力される加算後増減分データと入力画像データとを加算する第２加算器６２とを含む。

上述の構成の本実施形態においては、画像信号に対する「第１フィルタ処理実行部４２及び第１フィルタ処理乗算器４３による第１のフィルタ処理」と「第２フィルタ処理実行部４６及び第２フィルタ処理乗算器４７による第２のフィルタ処理」とが並列的に行われ、各処理においては画像信号（入力画像データ）との差分値に相当する増減分データが算出される。第１のフィルタ処理による画像信号の増減分データと第２のフィルタ処理による画像信号の増減分データとは第１加算器６１によって加算され、第１のフィルタ処理及び第２のフィルタ処理の全体による画像データの増減分データが算出される。この「処理全体による画像データの増減分データ」と画像信号（入力画像）とが第２加算器６２によって加算され、第１のフィルタ処理及び第２のフィルタ処理が施された画像信号（出力画像）が生成される。

他の構成は、図５に示す第１実施形態と同様である。例えば、第１フィルタ処理乗算器４３及び第２フィルタ処理乗算器４７において使用される第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖは、強度自動調整部５２によって適宜定められる。

本例の画像処理システム全体の周波数特性は、以下の式５によって表される。

上記式５において、第１のフィルタ処理部３８の周波数特性が「Ｕ×ψ（ω_ｘ，ω_ｙ）」によって表され、第２のフィルタ処理部３９の周波数特性が「Ｖ×φ（ω_ｘ，ω_ｙ）」によって表される。したがって第１加算器６１による加算処理は「Ｕ×ψ（ω_ｘ，ω_ｙ）＋Ｖ×φ（ω_ｘ，ω_ｙ）」の周波数特性に基づいており、第２加算器６２による加算処理は「１＋Ｕ×ψ（ω_ｘ，ω_ｙ）＋Ｖ×φ（ω_ｘ，ω_ｙ）」の周波数特性に基づいている。

以上説明したように本実施形態においても、第１のフィルタ処理部３８及び第２のフィルタ処理部３９が直列的に配置される場合と同様に、第１のフィルタ処理及び第２のフィルタ処理を経た出力画像における鮮鋭度のバラつきが抑えられ、画質を安定化できる。また第１のフィルタ処理部３８及び第２のフィルタ処理部３９が並列的に配列されても、例えば画像信号のうちベースとなる低周波の鮮鋭度を一定にしたまま高周波の鮮鋭度を調整する、などのコントロールが可能である。

＜第４実施形態＞
本実施形態に係る画像処理部３５は、画像信号の非線形処理を行う非線形処理部を更に備え、２段フィルタ処理システム（第１のフィルタ処理部３８及び第２のフィルタ処理部３９）において非線形処理が導入されている。この非線形処理部は、第１のフィルタ処理部３８及び第２のフィルタ処理部３９のうち少なくともいずれか一方に含まれるが、下記では第１のフィルタ処理部３８に非線形処理部６５が設けられる例について説明する。

非線形な処理は一般に加減乗除の演算処理のみからは構成されず、例えばＬＵＴ（ルックアップテーブル）の参照や条件分岐を伴う処理が含まれうる。非線形処理は、アーティファクトやノイズの抑制を目的として行われることが多く、例えば「画像信号のうちクリップ閾値を超える画像信号値（画素値）をクリップ閾値に調整するクリップ処理」を非線形処理として行ってもよい。

図８は、第４実施形態に係る画像処理ブロックの構成を示す図である。図９は、画像処理の周波数特性を例示する図であり、（ａ）は第１のフィルタ処理（第１フィルタ処理実行部４２）における「周波数−ゲイン」関係例を示し、（ｂ）は第２のフィルタ処理（第
２フィルタ処理実行部４６）における「周波数−ゲイン」関係例を示す。

本実施形態において、図５に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本例の第１のフィルタ処理（第１のフィルタ処理部３８）は、鮮鋭化フィルタによって抽出された画像信号の強調成分に対する強調倍率の適用、その強調倍率適用後の画像強調成分に対する非線形処理の適用、及び非線形処理後の画像強調成分と元画像との合成、という一連の処理を含む。

すなわち画像信号（入力画像データ）は第１フィルタ処理実行部４２に入力されて第１のフィルタによるフィルタリング処理が行われ、第１のフィルタ処理による画像信号の増減分データが算出される。その増減分データは第１フィルタ処理乗算器４３に入力され、増減分データ及び第１ゲイン調整倍率Ｕの乗算が第１フィルタ処理乗算器４３によって行われ、乗算後の増減分データが非線形処理部６５に入力される。

非線形処理部６５は、入力された増減分データに対するクリップ処理（非線形処理）を行い、入力された増減分データ（画像データ）のうち特定のクリップ閾値を超えるデータがクリップ閾値に調整される。なお、クリップ閾値は予め定められて非線形処理部６５が記憶していてもよいし、ユーザがユーザインターフェース２９を介してクリップ閾値を直接的又は間接的に指定してもよい。クリップ処理後の画像信号の増減分データは第１フィルタ処理加算器４４において第１フィルタ処理実行部４２に入力される前の画像信号（入力画像データ）に加算され、第１のフィルタ処理後の画像信号（画像データ）が算出される。

非線形処理部６５によって行われるクリップ処理は、以下の式６によって示すように、画像信号がクリップ閾値θ（≧０）以上の値をとらないように制限する処理である。

上記式６によって表されるクリップ処理関数ＣＬＩＰ（ｘ）によれば、画像信号の信号成分（ｘ）の絶対値がクリップ閾値θよりも小さい場合（｜ｘ｜＜θ）、その信号成分はクリップ処理によって調整されずに保持され、非線形処理部６５から「ｘ」が出力される。一方、画像信号の信号成分（ｘ）の絶対値がクリップ閾値θ以上の場合（｜ｘ｜≧θ）、その信号成分は符号関数（ｓｉｇｎｕｍ ｆｕｎｃｔｉｏｎ）によって調整され、非線形処理部６５から「ｓｉｇｎ（ｘ）×θ」が出力される。

本例のフィルタ処理制御部３７（強度自動調整部５２）はこのクリップ処理（非線形処理）を考慮し、クリップ閾値θに応じて、第１のフィルタ処理及び第２のフィルタ処理のうちの少なくともいずれか一方における調整倍率（第１ゲイン調整倍率Ｕ、第２ゲイン調整倍率Ｖ）を決定してもよい。

他の構成は、図５に示す第１実施形態と同様である。例えば、第２のフィルタ処理部３９における第２フィルタ処理実行部４６のフィルタリング処理、第２フィルタ処理乗算器４７の乗算処理及び第２フィルタ処理加算器４８の加算処理は、上述の第１実施形態と同様に行われる。

なお、本例においては第１のフィルタ処理部３８に非線形処理部６５が設けられるが、非線形処理部は、第２のフィルタ処理部３９にのみ設けられてもよいし、第１のフィルタ処理部３８及び第２のフィルタ処理部３９の双方に設けられてもよい。ただし、第１のフィルタ処理部３８及び第２のフィルタ処理部３９の双方で非線形処理が行われると、画像処理システム全体の周波数レスポンス近似式が複雑になり、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ）を一定の値に保ちながら第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを決定する制御が難しくなってしまう可能性がある。

図８に示す構成を有する画像処理システム（画像処理部３５）に対してハイコントラストな波形（画像信号）が入力される場合、第１フィルタ処理実行部４２及び第１フィルタ処理乗算器４３による処理によって、ハイコントラスト波形信号の強調成分は比較的大きな振幅を持つ。しかしながら、非線形処理部６５においてクリップ処理が行われることによりハイコントラスト波形信号の強調成分は制限され、前段に設けられる第１フィルタ処理実行部４２及び第１フィルタ処理乗算器４３による信号強調効果が弱められる。一方、第２のフィルタ処理部３９においては非線形な処理が行われることなく、第２フィルタ処理実行部４６及び第２フィルタ処理乗算器４７によってハイコントラスト波形信号は強調される。したがって、ハイコントラスト波形信号に対しては、第１のフィルタ処理部３８よりも第２のフィルタ処理部３９による影響が大きくなり、第２のフィルタ処理部３９による周波数強調作用が支配的になる。

一方、図８に示す画像処理システムに対してローコントラストな波形（画像信号）が入力される場合、第１フィルタ処理実行部４２及び第１フィルタ処理乗算器４３による処理によって信号が強調されるが、ローコントラストであるため、強調成分の振幅は比較的小さい。したがって、第１フィルタ処理実行部４２及び第１フィルタ処理乗算器４３による処理を受けたローコントラスト波形信号は、非線形処理部６５におけるクリップ処理による制限を受けにくく、実質的にクリップされずに非線形処理部６５を通過し易い。したがって、ローコントラスト波形信号に対しては、第１のフィルタ処理部３８及び第２のフィルタ処理部３９が協調して双方による信号処理効果（鮮鋭化効果）が相乗的に作用する。

なお、図８に示す例においては第１のフィルタ処理部３８にのみ非線形処理部６５が設けられるが、第２のフィルタ処理部３９にのみ非線形処理部（クリップ処理部）６５が設けられる場合も同様である。この場合、ハイコントラスト波形信号に対しては第２のフィルタ処理部３９よりも第１のフィルタ処理部３８による影響が大きくなり易く、ローコントラスト波形信号に対しては第１のフィルタ処理部３８及び第２のフィルタ処理部３９が相乗的に作用する。

このように、第１のフィルタ処理部３８及び第２のフィルタ処理部３９の一方にのみ非線形処理部６５を設けた場合、ハイコントラスト周波数特性とローコントラスト周波数特性とを異ならせることができる。したがって、例えばユーザが調整変数（例えば第１フィルタ処理調整変数Ｇ）を指定してゲイン調整倍率（例えば第１ゲイン調整倍率Ｕ）を求める場合、ユーザが調整変数を指定する処理部（例えば第１のフィルタ処理部３８）には非線形処理部６５を設けず、ユーザが調整変数を指定しない処理部（例えば第２のフィルタ処理部３９）に非線形処理部６５を設けることにより、ユーザの希望を画像信号により効果的に反映させることができる。

非線形処理を行う画像処理部が信号処理系に含まれる場合、その信号処理系の周波数特性を正確に求めることは原理的に不可能であり、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖの強度自動算出処理が適用できない場合がある。したがって非線形処理が行われる場合、特定の入力波形に対する出力波形から、内部の周波数特性を近似的に評価し、その近似的な評価によって得られる周波数特性を利用することにより、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖの自動算出処理を行ってもよい。この場合、システム全体の周波数特性Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ）を求める必要があり、特定の入力波形に対するシステムの周波数レスポンス近似式を数式によって表現することが求められる。このシステムの周波数レスポンス近似式の精度は、非線形処理の具体的な内容に依存する。

例えば、図８に示すクリップ処理を含む画像処理システムにおいて、予め特性を把握している入力波形（画像信号）を使用し、上述の第２実施形態のように特定の周波数ｆ０において特定の値（トータルゲイン調整率Ｄ）を持つように重み関数ｗ（ω_ｘ，ω_ｙ）を定義する場合（上記の「式４」参照）、画像処理システム全体の周波数特性を以下の式７によって近似的に表すことができることを本件発明者は経験的に知得した。

上記の式７において、「Ａ」はクリップ閾値θと入力画像信号の鮮鋭度（ボケ度）に依存する定数である。また「ｍｉｎ（Ｕ×ψ（ω_ｘ，ω_ｙ），Ａ）」は「Ｕ×ψ（ω_ｘ，ω_ｙ）」及び「Ａ」のうち小さい方を示す関数である。

上記式７を用いて、上述の第２実施形態に係る「「第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖ」の注目周波数ｆ０に関するピンポイント調整」を行うと、ハイコントラストな入力波形（画像信号）に対する周波数特性（ハイコントラスト周波数特性）は、第１フィルタ処理調整変数Ｇがいかなる値であっても大きく変化せず、ベースとなる鮮鋭度は変化しにくい。一方、ローコントラストな画像信号に対する周波数特性（ローコントラスト周波数特性）は、第１フィルタ処理調整変数Ｇが大きくなると増幅される。

図１０は、画像処理の周波数特性を例示する図であり、（ａ）はハイコントラスト波形信号に対する調整例を示す図であり、（ｂ）はローコントラスト波形信号に対する調整例を示す図である。図１０（ａ）及び（ｂ）の調整例１と調整例２を比較すると、（ａ）のハイコントラスト波形信号においては調整例１と調整例２との間において周波数特性（「周波数−ゲイン」特性）はほとんど変わらないが、（ｂ）のローコントラスト波形信号においては調整例１と調整例２とにおいて周波数特性が比較的大きく変化する。

このように本例によれば、第１フィルタ処理調整変数Ｇを調整することによって、画像信号のうちハイコントラスト成分をあまり変えずに、ローコントラスト成分によるディテール強調度をコントロールすることができる。

以上説明したように本実施形態によれば、第１のフィルタ処理部３８及び／又は第２のフィルタ処理部３９において非線形処理が行われる場合であっても、第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを的確に求めることができる。すなわち、フィルタ適用部（第１フィルタ処理実行部４２、第２フィルタ処理実行部４６）よりも後段において非線形処理が行われても、画像信号の特定の入力波形に対する周波数特性がおおよそ一定となるように第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを調整することができ、特定の周波数ｆ０において所望のゲイン（トータルゲイン調整率Ｄ）を得ることができる。

なお、ユーザインターフェース２９に表示されるスライダなどの操作手段を介してユーザが第１フィルタ処理調整変数Ｇを調整可能とすることにより、簡便に、ベースとなるハイコントラストの鮮鋭度を一定に保ちつつ、ローコントラストの鮮鋭度のみを独立して調整することができる。

なお上述の例においては、第１のフィルタ処理（第１フィルタ処理実行部４２及び第１フィルタ処理乗算器４３）の周波数特性と第２のフィルタ処理（第２フィルタ処理実行部４６及び第２フィルタ処理乗算器４７）の周波数特性とが異なる場合（図９参照）について説明したが、本実施形態では第１のフィルタ処理の周波数特性と第２のフィルタ処理の周波数特性が同じであってもよい。すなわち、第１のフィルタ処理部３８及び／又は第２のフィルタ処理部３９に非線形処理ブロックが含まれる場合には、第１のフィルタ処理及び第２のフィルタ処理の周波数特性が同じであっても、図８に示す処理構成によって所望の周波数成分調整を行うことが可能である。

＜他の変形例＞
上述の実施形態は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。

図１１は、一変形例に係る画像処理ブロックの構成を示す図である。

上述の実施形態においては第１のフィルタ処理部３８及び第２のフィルタ処理部３９に同種の画像処理（鮮鋭化処理）が行われる例について示したが、第１のフィルタ処理部３８及び第２のフィルタ処理部３９において異なる種類の画像処理が行われてもよい。例えば、第１のフィルタ処理部３８において点像復元処理を行って、第２のフィルタ処理部３９において鮮鋭化処理を行ってもよい。この場合、第１フィルタ処理実行部４２では、撮影光学系の点拡がり関数に基づく復元フィルタを用いた復元処理が第１のフィルタ処理として行われ、用いられる復元フィルタは画像信号の撮影取得における撮影設定条件に基づいて決定される。復元フィルタ及び撮影設定条件の取得手法は特に限定されず、例えば図１１に示すように、復元フィルタ選択部５３に撮影設定条件Ｓが入力され、復元フィルタ選択部５３が複数の復元フィルタを記憶する復元フィルタ記憶部５８から撮影設定条件Ｓに対応する復元フィルタＸを選択し、第１フィルタ処理実行部４２及び強度自動調整部５２に送信するようにしてもよい。

なお、点拡がり関数に基づく復元フィルタを用いた復元処理は特に限定されず、光学系の点拡がり現象による画質劣化を低減する処理だけではなく、例えば撮影時のブレ（手ブレ、又は被写体ブレ等）による画質劣化を低減する処理であってもよい。したがって、復元フィルタの基礎となる点拡がり関数は、光学系の点光源に対する応答を表す関数に限られず、撮像装置による撮影時に検出される被写体の動き量（例えば手ブレや被写体ブレなどに起因する被写体の動き量）を反映した関数としてもよい。このため、第１のフィルタ処理部３８及び／又は第２のフィルタ処理部３９において点像復元処理が行われる場合、光学系の点拡がり現象によってボケた画像から鮮鋭な画像を取得するボケ回復処理やブレ画像から鮮鋭な画像を取得する電子式手ブレ補正処理を行うことが可能である。

また、第１のフィルタ処理及び第２のフィルタ処理のうち少なくともいずれか一方における調整倍率（第１ゲイン調整倍率Ｕ、第２ゲイン調整倍率Ｖ）は、画像信号の撮影取得における撮影設定条件に基づいて決定されてもよい。例えば図１１に示すように、レンズユニット１２のレンズユニット記憶部２１に、複数の第１フィルタ処理調整変数Ｇを記憶する第１フィルタ強度リスト記憶部６７を設け、撮影設定条件Ｓが入力される調整変数選択部６９が、撮影設定条件Ｓに対応する第１フィルタ処理調整変数Ｇを第１フィルタ強度リスト記憶部６７から選択して強度自動調整部５２に供給してもよい。またレンズユニット１２のレンズユニット記憶部２１に、複数の第２ゲイン調整倍率Ｖ０を記憶する第２フィルタ強度リスト記憶部６０を設け、撮影設定条件Ｓが入力される第２フィルタ強度選択部５４が、撮影設定条件Ｓに対応する第２ゲイン調整倍率Ｖ０を第２フィルタ強度リスト記憶部６０から選択して強度自動調整部５２に供給してもよい。この場合、「第１のフィルタ処理部３８における処理を実質的にオフにした場合の第２ゲイン調整倍率Ｖ０」を第２フィルタ強度リスト記憶部６０に記憶することにより、第２フィルタ強度選択部５４から強度自動調整部５２に送られる第２ゲイン調整倍率Ｖ０をトータルゲイン調整率Ｄとして使用することも可能である。

また上述の各実施形態においてはデジタルカメラ１０において第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを自動調整計算する例について説明したが、出荷前にメーカ側において予めその自動調整計算を行い、算出した第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖのパラメータ全てをデジタルカメラ１０（レンズユニット記憶部２１、本体記憶部３１等）に記憶保持させてもよい。例えば「第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖ」と「撮影設定条件Ｓ」とを対応付けたテーブルをデジタルカメラ１０は記憶保持し、強度自動調整部５２はこのテーブルを参照して撮影設定条件Ｓから第１ゲイン調整倍率Ｕ及び第２ゲイン調整倍率Ｖを求めることができる。この場合、デジタルカメラ１０（画像処理部）において用いられるパラメータを生成するパラメータ生成方法は、「第１のフィルタ処理における信号のゲインの調整倍率及び第２のフィルタ処理における信号のゲインの調整倍率に基づくトータルゲイン調整率を取得するステップ」と、「第１のフィルタ処理及び第２のフィルタ処理のうちの一方における調整倍率を取得し、第１のフィルタ処理及び前記第２のフィルタ処理のうちの他方における調整倍率をトータルゲイン調整率に基づいて算出するステップ」と、を備える。これらのステップは、例えば上述の第１実施形態に係る強度自動調整部５２と同様にして実行可能である。

また、本明細書に記載の実施形態同士を適宜組み合わせてもよく、第１実施形態〜第４実施形態及び変形例のうち、任意の形態同士が組み合わされてもよい。

また、上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の各装置及び処理部（本体コントローラ２８、デバイス制御部３４、画像処理部３５（フィルタ処理制御部３７、第１のフィルタ処理部３８、第２のフィルタ処理部３９）等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１２は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図１２に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１３は、図１２に示すスマートフォン１０１の構成を示すブロック図である。図１３に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１２に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などにより押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ(登録商標）)、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記録することが可能であり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図１２に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影が可能であり、或いは、複数のカメラ部１４１を同時に使用して撮影することもできる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１において取得した画像を表示することや、操作パネル１２２の操作入力の一つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内において利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録が可能であり、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

上述の画像処理部３５（フィルタ処理制御部３７、第１のフィルタ処理部３８、第２のフィルタ処理部３９：図３参照）は、例えば主制御部１００によって実現可能である。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２１…レンズユニット記憶部、２２…レンズユニット入出力部、２６…撮像素子、２８…本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３１…本体記憶部、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３７…フィルタ処理制御部、３８…第１のフィルタ処理部、３９…第２のフィルタ処理部、４０…信号処理部、４２…第１フィルタ処理実行部、４３…第１フィルタ処理乗算器、４４…第１フィルタ処理加算器、４６…第２フィルタ処理実行部、４７…第２フィルタ処理乗算器、４８…第２フィルタ処理加算器、５２…強度自動調整部、５３…復元フィルタ選択部、５４…第２フィルタ強度選択部、５８…復元フィルタ記憶部、６０…第２フィルタ強度リスト記憶部、６１…第１加算器、６２…第２加算器、６３…鮮鋭化調整部、６５…非線形処理部、６７…第１フィルタ強度リスト記憶部、６９…調整変数選択部、９２…コンピュータ、９３…コンピュータ入出力部、９４…コンピュータコントローラ、９５…ディスプレイ、９６…インターネット、９７…サーバ、９８…サーバ入出力部、９９…サーバコントローラ、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部

Claims (18)

1. 信号を周波数に応じて調整する信号処理部と、
   前記信号処理部を制御するフィルタ処理制御部とを備え、
   前記信号処理部は、第１のフィルタ処理を行う第１のフィルタ処理部と、前記第１のフィルタ処理とは周波数特性の異なる第２のフィルタ処理を行う第２のフィルタ処理部とを有し、
   前記フィルタ処理制御部は、
   前記第１のフィルタ処理における前記信号のゲインの調整倍率及び前記第２のフィルタ処理における前記信号のゲインの調整倍率に基づくトータルゲイン調整率を取得し、
   前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの一方における前記調整倍率を取得し、前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの他方における前記調整倍率を前記トータルゲイン調整率に基づいて算出する信号処理装置。
2. 前記フィルタ処理制御部は、前記信号処理部の前後における前記信号の比率を第１の周波数においてレスポンス目標比率に調整する請求項１に記載の信号処理装置。
3. 前記信号を調整可能な周波数帯域は、前記第１のフィルタ処理と前記第２のフィルタ処理との間において、少なくとも一部において重複し、
   前記ゲインのピークを示す周波数は、前記第１のフィルタ処理と前記第２のフィルタ処理との間において異なる請求項１又は２に記載の信号処理装置。
4. 前記第１のフィルタ処理は、前記信号に第１のフィルタを適用する処理と、前記第１のフィルタの適用によって得られる前記信号のゲインの倍率を前記調整倍率に基づいて調整する処理とを含み、
   前記第２のフィルタ処理は、前記信号に第２のフィルタを適用する処理と、前記第２のフィルタの適用によって得られる前記信号のゲインの倍率を前記調整倍率に基づいて調整する処理とを含む請求項１〜３のいずれか一項に記載の信号処理装置。
5. 前記フィルタ処理制御部は、
   前記第１のフィルタ処理における前記調整倍率を、外部入力パラメータに基づいて定め、
   前記第１のフィルタ処理における前記調整倍率と前記トータルゲイン調整率とに基づいて前記第２のフィルタ処理における前記調整倍率を算出する請求項１〜４のいずれか一項に記載の信号処理装置。
6. 前記第１のフィルタ処理部及び前記第２のフィルタ処理部は並列に設けられ、前記信号は前記第１のフィルタ処理部及び第２のフィルタ処理部に入力され、前記第１のフィルタ処理による前記信号の増減分データと、前記第２のフィルタ処理による前記信号の増減分データとが加算される請求項１〜５のいずれか一項に記載の信号処理装置。
7. 前記第１のフィルタ処理部及び前記第２のフィルタ処理部は直列に設けられ、前記信号は、前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの一方の処理を受けた後に他方の処理を受ける請求項１〜５のいずれか一項に記載の信号処理装置。
8. 前記第１のフィルタ処理部及び前記第２のフィルタ処理部のうち少なくともいずれか一方は、前記信号の非線形処理を行う非線形処理部を有する請求項１〜７のいずれか一項に記載の信号処理装置。
9. 前記非線形処理は、前記信号のうちクリップ閾値を超える信号値をクリップ閾値に調整するクリップ処理であり、
   前記フィルタ処理制御部は、前記クリップ閾値に応じて、前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの少なくともいずれか一方における前記調整倍率を決定する請求項８に記載の信号処理装置。
10. 前記第１のフィルタ処理及び前記第２のフィルタ処理のうち少なくともいずれか一方はローパスフィルタ処理である請求項１〜９のいずれか一項に記載の信号処理装置。
11. 前記信号は画像信号である請求項１〜１０のいずれか一項に記載の信号処理装置。
12. 前記第１のフィルタ処理は、点拡がり関数に基づく復元フィルタを用いた復元処理であり、
    前記復元フィルタは、前記画像信号の撮影取得における撮影設定条件に基づいて決定される請求項１１に記載の信号処理装置。
13. 前記第２のフィルタ処理は、鮮鋭化フィルタを用いた鮮鋭化処理である請求項１１又は１２に記載の信号処理装置。
14. 前記第１のフィルタ処理及び前記第２のフィルタ処理のうちいずれか一方における前記調整倍率は、前記画像信号の撮影取得における撮影設定条件に基づいて決定される請求項１１〜１３のいずれか一項に記載の信号処理装置。
15. 請求項１〜１４のいずれか一項に記載の信号処理装置を備える撮像装置。
16. 信号を周波数に応じて調整する信号処理部と、前記信号処理部を制御するフィルタ処理制御部とを含み、前記信号処理部は、第１のフィルタ処理を行う第１のフィルタ処理部と、第２のフィルタ処理を行う第２のフィルタ処理部とを有し、前記第１のフィルタ処理と前記第２のフィルタ処理との間において周波数特性が異なる画像処理部において用いられるパラメータを生成するパラメータ生成方法であって、
    前記第１のフィルタ処理における前記信号のゲインの調整倍率及び前記第２のフィルタ処理における前記信号のゲインの調整倍率に基づくトータルゲイン調整率を取得するステップと、
    前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの一方における前記調整倍率を取得し、前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの他方における前記調整倍率を前記トータルゲイン調整率に基づいて算出するステップとを備えるパラメータ生成方法。
17. 信号を周波数に応じて調整する信号調整ステップであって、第１のフィルタ処理を行う第１フィルタ処理ステップと、前記第１のフィルタ処理とは周波数特性の異なる第２のフィルタ処理を行う第２フィルタ処理とを含む信号調整ステップと、
    前記第１のフィルタ処理における前記信号のゲインの調整倍率及び前記第２のフィルタ処理における前記信号のゲインの調整倍率に基づくトータルゲイン調整率を取得するステップと、
    前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの一方における前記調整倍率を取得し、前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの他方における前記調整倍率を前記トータルゲイン調整率に基づいて算出するステップと、を備える信号処理方法。
18. 信号を周波数に応じて調整する手順であって、第１のフィルタ処理を行うステップと、前記第１のフィルタ処理とは周波数特性の異なる第２のフィルタ処理を行うステップとを含む手順と、
    前記第１のフィルタ処理における前記信号のゲインの調整倍率及び前記第２のフィルタ処理における前記信号のゲインの調整倍率に基づくトータルゲイン調整率を取得する手順と、
    前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの一方における前記調整倍率を取得し、前記第１のフィルタ処理及び前記第２のフィルタ処理のうちの他方における前記調整倍率を前記トータルゲイン調整率に基づいて算出する手順と、をコンピュータに実行させるためのプログラム。

Images