JP5366775B2 - 撮像装置および画像処理方法 - Google Patents

Description

本発明は、撮像光学系の光学特性に起因する画質劣化を画像回復により改善する撮像装置および画像処理方法に関する。

撮像光学系を通して被写体を撮影する場合、該撮像光学系の収差、ピントの不一致、光の回折などのために、その撮影画像はいくらかぼけたもの、あるいは望ましくない色付き（以下、収差）が生じたものとなる場合がある。このぼけや収差を、撮像光学系の光学特性（例えば点像分布関数、以下ＰＳＦ）を用いて、撮影画像から取り除く画像処理技術が知られている（例えば、特許文献１）。以下、このような画像処理を画像回復と呼ぶ。

ここで、画像回復の原理を簡単に説明する。撮影画像をｆとすると、ｆはノイズが十分小さい場合、以下の(1)式に示すように、回復後の画像ｄ（以下、回復画像）と点像分布関数（ＰＳＦ）ｐを畳み込んだものとなる。(1)式において＊は畳み込み演算を表す。

ｆ＝ｄ＊ｐ ・・・(1)
一般に、ｐは撮影画像上での位置に依存するものの、依存性が緩やかであるとみなせる範囲においては、(1)式をフーリエ変換することによって以下の(2)式に近似される。

Ｆ＝Ｄ×Ｐ ・・・(2)
(2)式において、Ｆ，Ｄ，Ｐはそれぞれｆ，ｄ，ｐのフーリエ変換によって得られるスペクトルであり、Ｐは特に光学伝達関数（Optical Transfer Function；ＯＴＦ）と呼ばれる。また、×は画像の各点にて積をとる演算を表す。

ここで、ｆは撮影によって取得できるため、ｐが既知であれば、以下のように画像回復を行う事が可能である。

周波数空間上で画像回復演算を行う場合、(2)式においてＦをＰで除算することにより(3)式が得られ、既知であるＦ，ＰからＤが得られる。

Ｄ＝Ｆ／Ｐ ・・・(3)
(3)式により求まるＤを逆フーリエ変換することによって、回復画像ｄを得ることができる。

また、実空間上で画像回復演算を行う場合には、(3)式を以下の(4)式に変形し、該(4)式の両辺を逆フーリエ変換することによって。(5)式を得る。

Ｄ＝Ｆ×（１／Ｐ） ・・・(4)
ｄ＝ｆ＊ｒ ・・・(5)
なお、(5)式においてｒは（１／Ｐ）を逆フーリエ変換したものであり、得られる回復画像ｄは、撮影画像ｆとｒの畳み込みになる。

以上のように、撮影画像のぼけや収差を正しく回復するためには、撮像光学系の光学特性（ＰＳＦ等）が既知である必要がある。一般に光学特性は、撮影時のＦナンバーやフォーカス距離、ズーム等、光学系の設計値によって決まるものとして扱われている。

また、光学特性を用いた画像回復において、回復量を「何も回復しない」から「設計値どおりに回復」までを連続的に変化させるパラメータを導入して、回復量を調整する技術が開示されている。（例えば、特許文献１参照）。

特開2007-183842号公報

しかしながら、実際の撮影時における撮像光学系の光学特性には、設計値だけでは定められない様々な変動要因がある。このような変動要因としては例えば、被写体の分光スペクトルの偏りによるずれや、撮影者の意図した被写体に対するデフォーカス等が考えられる。これらの変動要因により、実際の撮影時の光学特性が、設計値のみから算出される光学特性（以下、設定光学特性）とは異なってしまった場合、該設計光学特性を用いて回復処理を行っても、画像を正しく回復することはできない。さらに、変動した実際の撮影時の光学特性と設計光学特性のずれ、すなわち誤差が大きい場合には、設計光学特性を用いた回復処理を行うことによって、かえって画質が劣化してしまうという問題があった。

本発明は上述した問題を解決するためになされたものであり、撮像光学系における光学特性の変動を考慮した画像回復を行うことによって、良好な回復画像を得る撮像装置および画像処理方法を提供することを目的とする。

上記目的を達成するための一手段として、本発明の撮像装置は以下の構成を備える。

すなわち、撮像光学系により被写体を撮影した撮影画像を取得する画像取得手段と、前記撮像光学系における光学特性の変動要因を示すパラメータの値を設定するパラメータ値設定手段と、前記撮像光学系における、前記撮影画像の撮影時の光学特性を取得する光学特性取得手段と、該取得された光学特性および前記パラメータの値に基づいて、前記撮像光学系における光学特性に起因する前記撮影画像の画質劣化を補正するための回復フィルタを決定する回復フィルタの決定手段と、前記撮影画像に対し、前記回復フィルタを適用した回復処理を行う画像回復手段と、を有し、前記変動要因は、前記撮像光学系の設計値のみからは決定できないことを特徴とする。

上記構成からなる本発明によれば、撮像光学系における光学特性の変動を考慮した画像回復を行うことによって、良好な回復画像を得ることができる。

第１実施形態における撮像装置の構成を示すブロック図、 第１実施形態における画像回復処理を示すフローチャート、 第１実施形態における最初の画像回復処理を示すフローチャート、 第１実施形態における２回目以降の画像回復処理を示すフローチャート、 一般的なカラーフィルタの分光透過率の形状を示す図、 第１実施形態における分光パラメータ設定用のＧＵＩ例を示す図、 第１実施形態における画像回復処理の詳細を示すフローチャート、 第２実施形態における画像回復処理を示すフローチャート、 第２実施形態におけるデフォーカスパラメータ設定用のＧＵＩ例を示す図、である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
●装置構成
図１は、本実施形態における撮像装置１００の構成を示す図である。撮像装置１００は被写体のデジタル画像を取得するために、以下の構成を有する。

１０１は本実施形態における画像取得を行う撮像光学系であり、被写体の像を生のデジタル画像として出力する。撮像光学系１０１において、１０２はフォーカスレンズ群であり、光軸上を前後に移動することで撮影画面のピント位置を調整する。１０３はズームレンズ群であり、光軸上を前後に移動することで撮像光学系１０１の焦点距離を変更する。１０４は絞りであり、被写体からの光量を調節する。１０５は固定レンズ群であり、テレセントリック性等のレンズ性能を向上させるために備えられる。１０６はシャッターである。１０７はＩＲカットフィルタであり、被写体からの赤外線を吸収する。１０８は光学ローパスフィルタであり、撮影画像にモアレが発生することを防ぐ。１０９はカラーフィルタであり、特定の波長の光のみを透過させる。１１０はＣＭＯＳやＣＣＤ等のセンサであり、被写体からの光量をアナログ信号に変換する。１１１はＡ／Ｄ変換部であり、センサ１１０にて生成されたアナログ信号をデジタル信号に変換し、被写体のデジタル画像を生成して撮像光学系１０１から出力する。

１２１は本実施形態における特徴的な構成であるところの画像回復部であり、撮像光学系１０１から出力されたデジタル画像（以下、ＲＡＷ画像データ）に対し、後述するパラメータに基づく画像回復を行う。１１２は信号処理部であり、画像回復部１２１から出力された画像回復済みのＲＡＷ画像データに対し、デモザイキング、ホワイトバランス調整、ガンマ補正等、デジタル画像を可視化するための各種現像処理および画像処理を行う。１１３はエンコーダ部であり、デジタル画像をＪＰＥＧ等のファイルフォーマットに変換し、また、ズームやフォーカス等の、撮影時の撮像光学系の設定値（以後、撮像パラメータと称する）をデジタル画像に付加する。１１４はメディアインタフェース（以下、メディアＩ／Ｆと称する）であり、生成されたデジタル画像はここを介して外部メディアに記録される。また、メディアＩ／Ｆ１１４を介して、外部メディアよりデジタル画像を入力することも可能である。

１１５は撮像光学系制御部であり、撮像光学系１０１を制御することによって、フォーカスを合わせる、ズームを設定する、シャッターを開閉する、絞りを調節する、センサを作動させる、等の各種制御を実行する。また、撮像光学系制御部１１５は、光学系の制御結果による、フォーカス設定、ズーム設定、絞り設定等の撮像光学系１０１の状態すなわち撮像パラメータを表す信号を出力する。

１１６はＣＰＵであり、各部における処理を統括的に制御する。１１７は記憶部であり、ＣＰＵ１１６で実行する命令や、撮像光学系制御部１１５が出力した撮像パラメータ等を記憶する。また記憶部１１７は、画像回復処理に用いる撮像光学系の光学特性情報、および典型的な光源の分光スペクトルのデータも保持している。１１８は操作部であり、シャッターボタンや各種設定ボタン、モードダイヤル、十字ボタン等がこれに該当する。ユーザからの指示は操作部１１８を介してＣＰＵ１１６に送られる。１１９は表示部であり、表示用に生成された画像や、撮像装置を操作するためのＧＵＩ等を表示する。１２０は通信部であり、外部装置とデータの送受信を行う。

撮影は、ユーザが操作部１１８を介して指示を送ることで開始される。ユーザが送った指示はＣＰＵ１１６が解釈し、記憶部１１７からＣＰＵ１１６に読み込まれた命令に従って実行される。ユーザがズームやフォーカス等を変更する操作を行った場合、ＣＰＵ１１６は撮像光学系制御部１１５に信号を送り、撮像光学系制御部１１５は該信号に従って各レンズ群を動かす。さらに撮像光学系制御部１１５は、各レンズ群を動かして変更された撮像パラメータをＣＰＵ１１６に返し、ＣＰＵ１１６はこの撮像パラメータを記憶部１１７に記録する。

ＣＰＵ１１６がユーザによるシャッターボタンの押下げを検知すると、ＣＰＵ１１６はシャッター１０６を予め設定された時間だけ開く。その後ＣＰＵ１１６は、Ａ／Ｄ変換部１１１からデジタル画像（ＲＡＷ画像データ）を読み出し、該デジタル画像は信号処理部１１２に送られて現像処理が施された後、エンコーダ部１１３に送られる。ただし、デジタル画像に対する現像処理が不要である場合には、信号処理部１１２での現像処理を行わずに、ＲＡＷ画像データがそのままエンコーダ部１１３に送られる。ＣＰＵ１１６は、記憶部１１７に記録されていた撮像パラメータを読み出し、エンコーダ部１１３に渡す。この撮像パラメータは、光学特性を決定するのに必要な情報を含んでいる。また、ユーザがホワイトバランス等の撮影環境情報を手動で設定している場合、ＣＰＵ１１６はこれらの情報もエンコーダ部１１３に渡す。エンコーダ部１１３は受け取った撮像パラメータをデジタル画像に付加し、予め指定されたファイルフォーマットに変換する。エンコーダ部１１３で生成されたデジタル画像データは、メディアＩ／Ｆ１１４に送られ、外部メディアに書き込まれる。

以下、本実施形態では画像回復部１２１において、信号処理部１１２で現像処理をしていないデジタル画像（ＲＡＷ画像データ）に対して画像回復を行う例について説明する。ただし、現像後の画像に対する実効的な光学特性が判明している場合には、現像後の画像に対して画像回復を行っても良く、本発明はＲＡＷ画像データに対する画像回復に限定するものではない。また本発明では、画像回復において、設計値のみからは決定できない光学特性の変動（ずれ）に対応するためのパラメータを導入する。そこで本実施形態では、考えられる複数の変動要因のうち、被写体の分光スペクトルに起因する光学特性の変動を取り扱うものとする。以下、この被写体の分光スペクトルに起因する光学特性の変動に対応するためのパラメータを、分光パラメータと称する。

●画像回復処理
以下、本実施形態の画像回復部１２１における画像回復処理について、図２のフローチャートを用いて説明する。上述したように画像回復処理とは、撮影画像に対し、撮像光学系の光学特性に起因する画質劣化を、該光学特性に基づいて作成される回復フィルタを用いて補正する処理である。本実施形態では特に、設計値のみからは決定できない撮影時の光学特性の変動を考慮するために、上記分光パラメータを用いた画像回復を行うことを特徴とする。なお、画像回復部１２１における画像回復処理は、ユーザが操作部１１８を介して指示を行うことによって開始される。

まずＳ１０１にて画像回復部１２１は、撮像光学系１０１において撮影されたＲＡＷ画像データを読み込む。次にＳ１０２にて、取得したＲＡＷ画像データに対して最初の画像回復と現像処理を行う。詳細は後述するが、本実施形態の画像回復処理においては分光パラメータが使用され、最適な分光パラメータの値は複数回の画像回復を試行してユーザによって決定される。しかしながら、Ｓ１０２では最初の画像回復を行うため、この際に適用される分光パラメータの初期値は自動設定される。

Ｓ１０２で最初の画像回復および現像処理が行われた後、Ｓ１０３にて現像後の画像を表示部１１９に表示する。ここで、分光スペクトルによる光学特性の変動は被写体毎に異なる。そこで本実施形態では、Ｓ１０３による表示を確認し、現在の画像回復状態が好ましいものであるか否かをユーザが判断する。画像回復状態が好ましくない場合、分光パラメータ値を変更（再選択）することを後述するＧＵＩから指示する。すなわちＳ１０４において、分光パラメータ値の再選択がなされたか否かを判定し、再選択がなされていればＳ１０５へ進む。Ｓ１０５では、ユーザが新たに選択した分光パラメータ値に基づいて、ＲＡＷ画像データに対して新たに画像回復を行い、Ｓ１０３に戻って該回復結果を表示する。なお、Ｓ１０５における画像回復処理の詳細については後述する。一方、Ｓ１０４において分光パラメータ値の再選択がなされない場合には、ユーザが現在の画像回復状態が好ましいと判定したため、分光パラメータ値の変更を行なわずにＳ１０６に進む。Ｓ１０６では回復後の画像をメディアＩ／Ｆ１１４を介して外部メディアに保存した後、処理を終了する。なお、Ｓ１０４における再選択がなされたか否かの判定方法としては、例えば所定時間内にＧＵＩへの入力があれば、再選択がなされたものと判定すれば良い。（Ｓ１０４における判定方法について示唆しました）。

ここで、上記Ｓ１０２における最初の画像回復処理の詳細について、図３のフローチャートを用いて説明する。まずＳ２０１において、処理対象の画像データに対応して記憶部１１７に記憶されている撮像パラメータを読み出す。次にＳ２０２において、分光パラメータの初期値を自動設定する。このとき、できるだけ良好な回復画像結果をユーザに示すために、分光パラメータの初期値は撮影画像に基づいて設定されることが好ましいが、その最適な値は分光パラメータの定義によって定まる。分光パラメータの定義およびそれに基づくパラメータ値設定方法については後述する。

次にＳ２０３において、Ｓ２０２で設定した分光パラメータ値に基づき、ＲＡＷ画像データに対して画像回復を行う。この画像回復処理の詳細については後述する。尚、本実施形態では分光パラメータ値が初期値から変更されると、ＲＡＷ画像データに対して該変更後の分光パラメータ値に基づく画像回復処理が行われるため、画像回復後もＲＡＷ画像データは書き換えずに記憶部１１７に保持しておく。画像回復後、Ｓ２０４にてデモザイキング等の現像処理を行った後、Ｓ２０５において、Ｓ２０２で自動設定された分光パラメータ値を、画素毎のデータとして記憶部１１７に保存する。これは、本実施形態では画素毎に分光パラメータ値を変更するためである。

次に、上記Ｓ１０３〜Ｓ１０５における２回目以降の画像回復処理の詳細について、図４のフローチャートを用いて説明する。まずＳ１０３で表示された回復後の画像に対し、Ｓ３０１でユーザが、分光パラメータを変更したい被写体の領域を選択する。例えば、近い色の領域がまとめて選択されることが好ましいが、本実施形態ではこの選択方法を特に限定しない。Ｓ３０１で画像領域が選択されると、Ｓ３０２にて、該選択された領域の画素に対する分光パラメータ値を操作するためのＧＵＩを表示する。このＧＵＩについては分光パラメータ定義の例とともに後述する。次にＳ３０３にて、ユーザがＧＵＩを操作して分光パラメータ値の変更（再設定）を指示した場合はＳ３０４に進み、Ｓ３０４では、ユーザが分光パラメータ値の自動設定を指示したか否かを判定する。自動設定でない場合、すなわちユーザによるマニュアル設定が行われた場合にはＳ３０５に進み、マニュアル設定された分光パラメータ値を取得した後、Ｓ３０７に進む。この時、Ｓ３０１にてユーザが選択していない領域の画素に対する分光パラメータ値については、Ｓ２０５にて保存したものを読み込んで使用する。

一方、Ｓ３０４にて分光パラメータ値の自動設定が指示された場合には、Ｓ３０６にてＳ２０２における初期値と同様の方法で分光パラメータ値を自動設定し、Ｓ３０７に進む。

Ｓ３０７では、以上のように設定された分光パラメータ値に基づく画像回復処理をＲＡＷ画像データに対して行なうが、この詳細についてはＳ２０３と同様であるため、後述する。画像回復後、Ｓ３０８にてデモザイキング等の現像処理を行うが、やはりＲＡＷ画像データは消さずに記憶部１１７に保存しておく。

そして、Ｓ３０９で分光パラメータ値を画素毎のデータとして記憶部１１７に保存した後、処理はＳ１０３に戻り、回復後の画像が表示部１１９に表示される。ユーザがＳ１０３による表示画像を確認し、画像の回復状態に満足した場合は、Ｓ３０１にて領域の選択を行わない。この場合、Ｓ３１０に進んで分光パラメータ値設定用のＧＵＩを消去し、処理を終了する。また、Ｓ３０３にてユーザが分光パラメータ値の再設定を指示しない場合には、処理はそのままＳ３０１に戻る。

●分光パラメータの定義および設定方法
ここで、本実施形態における分光パラメータの定義と、その値の設定方法について、いくつか例を示す。まず分光パラメータとは、カラーフィルタ１０９を透過した後の、被写体の分光スペクトルＳ_c(λ)を導出するためのパラメータである。ここで、λは光の波長を表し、添え字ｃは複数色のカラーフィルタのいずれかを指す。Ｓ_c(λ)は、以下の(6)式によって表される。(6)式において、σ(λ)は被写体の分光反射率、Ｂ_c(λ)はカラーフィルタ１０９が透過する光の割合を表す分光透過率である。また、Ｌ(λ)は被写体を照らしている光源の分光スペクトル、Ｌ_obj(λ)は被写体自体が発光している場合の分光スペクトル、である。

Ｓ_c(λ)＝(Ｌ(λ)σ(λ)＋Ｌ_obj(λ))Ｂ_c(λ) ・・・(6)
本実施形態における分光パラメータは、上記(6)式におけるＬ(λ)、σ(λ)、Ｌ_obj(λ)、あるいはＳ_c(λ)の関数形を近似して表すものである。なお、カラーフィルタ１０９の分光透過率Ｂ_c(λ)については撮像装置に固有のものであるから、それを分光パラメータとして表す必要はない。

一般的なカラーフィルタにおける分光透過率Ｂ_c(λ)の形状は図５に示すように、ある波長領域に制限されたほぼ単峰の関数であることが多い。この分光透過率Ｂ_c(λ)と比較すると、被写体の分光反射率σ(λ)は、蛍光体を除けばなだらかであることが多い。また、光源が太陽光や白熱電球である場合には、光源の分光スペクトルＬ(λ)も分光透過率Ｂ_c(λ)と比較してなだらかである。そこで、上記(6)式におけるＬ(λ)とσ(λ)の積を以下の(7)式のように一次関数で近似して、その関数に含まれる定数を分光パラメータとする例が考えられる。

Ｌ(λ)σ(λ)＝ａ_c(λ−λ_c)＋ｂ_c ・・・(7)
(7)式において、λ_cは、ｃで表されるカラーフィルタの代表的な波長を表す定数であり、例えば以下の(8)式によって算出される。

本実施形態における分光パラメータとしては、カラーフィルタ毎に(7)式に示す２種類の定数、すなわち傾きａ_cおよび定数ｂ_cを設ける。この２種類の分光パラメータのうち、傾きａ_cはＧＵＩを介したユーザ指示に基づいて設定する。そして定数ｂ_cについては、マニュアル設定された傾きａ_cに基づき、被写体の画素値が以下の(9)式で計算される画素値Ｉ_cとなるように、自動的に設定することができる。なお、(9)式におけるＰ_cは被写体の輝度を画素値に変換する定数であり、撮像装置の感度等に基づいて決定される。

あるいは、より容易な定数ｂ_cの決定方法として、傾きａ_c＝０である場合の関係を示す(10)式を用いても良い。

Ｉ_c＝Ｐ_cｂ_c ・・・(10)
また、Ｓ２０２またはＳ３０６において傾きａ_cを自動設定する場合には、異なるカラーフィルタの画素値を用いた演算を行う。例えばＲカラーフィルタに対しては、ＲカラーとＧカラーの画素値をそれぞれＩ_R、Ｉ_Gとして、上記(10)式を適用することで、傾きａ_Rが以下の(11)式より近似的に求められる。なお、(11)式におけるＰ_G，Ｐ_Rはそれぞれ、ＧカラーとＲカラーにおける被写体の輝度を画素値に変換する定数である。

また、分光パラメータを以上のように定義した場合、ユーザがＧＵＩより変更可能なパラメータ値の範囲としては、分光透過率Ｂ_c(λ)が値を持つ波長の範囲で、Ｌ(λ)σ(λ)が負にならないように決定すれば良い。

以上は、光源が太陽光や白熱電球である場合における分光パラメータ値の設定方法である。一方、光源が蛍光灯や水銀灯、ナトリウムランプ等である場合には、光源の分光スペクトルＬ(λ)は輝線を持ち、この輝線の幅は分光透過率Ｂ_c(λ)の幅と比較してかなり狭い。したがってこの場合、上記(7)式のようにＬ(λ)σ(λ)を一次関数で近似することは好ましくない。そこで、光源が蛍光灯や水銀灯、ナトリウムランプ等である場合には、以下のような例が考えられる。すなわち、以下の(12)，(13)式で示すように、被写体の分光反射率σ(λ)のみを一次関数で近似し、光源の分光スペクトルＬ(λ)については光源の種類を分光パラメータの値とする。

σ(λ)＝ａ_c(λ−λ_c)＋ｂ_c ・・・(12)
Ｌ(λ)＝Ｌ_k(λ) ・・・(13)
(13)式において、Ｌ_k(λ)は各光源の分光スペクトルであり、添え字のｋが光源の種類を特定する分光パラメータである。この光源の種類ｋについてはユーザがＧＵＩより設定することが考えられる。また、Ｓ２０２で光源の種類ｋを自動設定する場合には、撮影画像に付加されているホワイトバランス情報を基にしても良いし、付加情報がなければ特定の蛍光灯の値をデフォルトとして設定しても良い。

なお、光源が蛍光灯や水銀灯、ナトリウムランプ等である場合にも、分光パラメータａ_cおよびｂ_cの設定方法は、上述した光源が太陽光や白熱電球である場合と同様で良い。すなわち、傾きａ_cはユーザがＧＵＩより決定し、定数ｂ_cについては画素値に基づいて自動設定する。尚、この分光パラメータの例は、光源が太陽光や白熱電球の場合にも適用可能である。

また、被写体自身が発光体つまり光源である場合には、被写体からくる光は、反射成分Ｌ(λ)σ(λ)よりも、放射成分Ｌ_obj(λ)の方がはるかに大きい。このような場合、放射成分Ｌ_obj(λ)を以下の(14)式のように定義し、光源の種類を特定するｋを分光パラメータの値とすれば良い。

Ｌ_obj(λ)＝Ｌ_k(λ) ・・・(14)
ここで図６(a)に、本実施形態における分光パラメータ値を設定するためのＧＵＩの一例を示す。同図において、６０１は複数の選択肢から１つを選ぶタイプのボタンであり、被写体の種類を選択する。６０２は光源の種類を選択するためのメニューである。メニュー６０２を開くと、図６(b)に示す選択肢が表示され、光源の種類以外に、「自動設定」という項目が選択肢として備えられている。この選択肢は、光源の種類をホワイトバランス情報に基づいて自動的に取得することを示す項目であるが、ホワイトバランス情報が無い場合には、この項目を選択肢には含めない（表示されない）。６０３は、色収差補正量を自動設定するか否か、すなわち分光パラメータ値を自動設定するか否かを選択するボタンである。６０４はスライダーであり、ボタン６０１で被写体の種類が「通常」と選択されていれば、上述した傾きを意味する分光パラメータａ_cが設定できるようになる。図６(a)の例では、スライダー６０４には特にタイトルを付していないが、付す場合には「傾き」とはせずに、ユーザが直感的にパラメータ値の設定を認識しやすいようなタイトルとすることが望ましい。例えば、スライダー６０４の各ＲＧＢにおける可変の値（−５〜＋５）は、各色の色収差補正の度合いを示しており、ここで設定された各色の色収差補正の度合いに基づいて、傾きａ_cが設定される。６０５は画像表示領域であり、現在設定されているパラメータ値による画像回復が施された際の被写体の一部の拡大画像を表示することによってユーザに提示する。したがってユーザは、パラメータ値修正の効果を容易に確認することができる。

以上、本実施形態において設定される分光パラメータの例について説明したが、その他の種類の分光パラメータを定義することも可能である。例えば、Ｌ(λ)σ(λ)もしくはσ(λ)を多項式で近似した際の各項の係数や、Ｓ_c(λ)をＢ_c(λ)と幅が同じでピーク波長が異なる単峰の関数で近似した際のピーク波長、等が考えられる。

●画像回復処理詳細
以下、上記Ｓ２０３およびＳ３０７における画像回復処理の詳細について、図７のフローチャートを用いて説明する。まずＳ４０１では被写体の分光特性取得を行う。すなわち、分光パラメータの定義および値に基づき、被写体の分光スペクトルＳ_c(λ)を、例えば上記(6)式に基づいて算出する。次にＳ４０２では波長依存の光学特性取得を行う。すなわち記憶部１１７より、Ｓ２０１にて取得した撮像パラメータに対応する、光の波長依存の光学特性を取得する。ここでの光学特性としては点像分布関数（ＰＳＦ）もしくはそれをフーリエ変換した光学伝達関数（ＯＴＦ）が考えられるが、ここではＯＴＦを用いるとして説明する。次にＳ４０３ではカラーフィルタ依存の光学特性算出を行う。すなわち、取得したＯＴＦとＳ_c(λ)から、カラーフィルタｃでのＯＴＦを算出する。このＯＴＦをＴ_c(k)、波長依存のＯＴＦをＴ(k,λ)とすれば、Ｔ_c(k)は以下の(15)式のように計算される。なお、(15)式においてkは周波数ベクトルである。

次にＳ４０４ではカラーフィルタ依存の回復フィルタを作成する。すなわち、画像回復を実空間での畳み込みによって行うための回復フィルタを、Ｓ４０３で得たＴ_c(k)から作成する。ここでの回復フィルタの作成方法としてはいくつかの方法が考えられるが、例えば逆フィルタであれば、Ｔ_c(k)の逆数を逆フーリエ変換することで得られる。その他、ノイズ増幅を抑制するために、周知のウィーナーフィルタをＴ_c(k)に基づいて作成しても良い。

そしてＳ４０５では画像回復処理を行う。すなわち、Ｓ４０４で作成した回復フィルタをＲＡＷ画像データに適用し、回復画像を得る。ここでの回復フィルタの適用は、ＲＡＷ画像データの画素毎、あるいは、所定範囲の色を持つ画像領域毎に行う。なお、ユーザが分光パラメータ値を変更した結果をすぐにＧＵＩで確認できるよう、分光パラメータ値が確定するまでの間は、画像回復処理をＧＵＩ上の画像表示領域６０５に拡大表示された部分のみに適用するようにしても良い。この場合、Ｓ１０３での画像表示処理は、ＧＵＩの画像表示領域６０５のみに対して行われる。

なお、本実施形態では画像回復を実空間で行う例を示したが、周波数空間で行う場合についても、本実施形態は同様に適用される。

以上説明したように本実施形態によれば、画像回復に分光パラメータを適用することによって、カラーフィルタ透過後の被写体分光スペクトルに起因する光学特性の変動を考慮した画像回復を行うことができる。したがって、従来と比べて更に良好な回復画像を得ることができる。

＜第２実施形態＞
以下、本実施形態に係る第２実施形態について説明する。上述した第１実施形態では、被写体の分光スペクトルによる光学特性の変動に対応した画像回復を行う例を示したが、第２実施形態では、デフォーカスによる光学特性の変動に対応する画像回復を行う例を示す。ここでデフォーカスとは、ユーザが意図した被写体までの距離（以下、被写体距離）と、撮影時に設定されたフォーカス距離とがずれることを指し、被写体距離とフォーカス距離の差をデフォーカスパラメータとする。また上述した第１実施形態では、画像回復処理時に分光パラメータに基づいて回復フィルタを算出する例を示したが、第２実施形態では複数のデフォーカスパラメータのそれぞれに応じた複数の回復フィルタを予め算出し、記憶部１１７に保持しておくものとする。

第２実施形態におけるシステム構成は上述した第１実施形態の図１と同様であるため、説明を省略する。以下、第２実施形態における画像回復部１２１での画像回復処理について、図８のフローチャートを用いて説明する。この画像回復処理は、ユーザが操作部１１８を介して指示を行うことによって開始される。

まずＳ８０１にて画像回復部１２１は、撮像光学系１０１において撮影されたＲＡＷ画像データを読み込む。次にＳ８０２において、処理対象の画像データに対応して記憶部１１７に記憶されている撮像パラメータを読み出す。次にＳ８０３では、デフォーカスパラメータの初期値を決定するが、例えば初期値として０を設定すれば良い。次にＳ８０４では、このデフォーカスパラメータ、および、撮像パラメータに対応した回復フィルタを記憶部１１７より取得する。そしてＳ８０５にて、Ｓ８０４で取得した回復フィルタをＲＡＷ画像データに適用して、画像回復処理を行う。

その後Ｓ８０６にて、画像回復後のＲＡＷ画像データに対してデモザイキング等の現像処理を行い、Ｓ８０７で現像処理後の画像を表示部１１９に表示する。そしてＳ８０８で、デフォーカスパラメータ値を変更するためのＧＵＩを表示部１１９に表示するが、このＧＵＩのの詳細については後述する。そしてＳ８０９では、ユーザがＳ８０８でのＧＵＩ表示を確認した結果、現在の画像回復状態が好ましくないと判断した場合に、デフォーカスパラメータ値を変更（再設定）してＳ８０４に戻る。一方、次にＳ８０９にてユーザがデフォーカスパラメータ値を変更しなかった場合には、Ｓ８１０にて画像回復後の画像を保存し、処理を終了する。

ここで図９に、Ｓ８０８で表示される、デフォーカスパラメータ値を設定するためのＧＵＩ例を示す。図９において、９０１はスライダーであり、フォーカス位置を修正することによってデフォーカスパラメータ値の調整を行う。ユーザが選択できるデフォーカスパラメータの範囲は、画像回復可能な距離の範囲とすれば良い。ここで、画像回復可能な距離の範囲とは、具体的には、デフォーカス時のＯＴＦが０となる点が生じない距離の範囲であり、これはフォーカス距離に依存する。この範囲はＳ８０２にて撮像パラメータを取得した後であれば算出可能であるが、Ｓ８０８にてＧＵＩを表示するタイミングで算出すれば良い。また９０２は、画像回復の効果をユーザが簡単に確認できるように設けた、画像表示領域であり、例えば被写体の一部が拡大表示される。

以上説明したように第２実施形態によれば、画像回復にデフォーカスパラメータを適用することによって、わずかなデフォーカスが生じた場合であっても、良好な回復画像を得ることができる。

なお、第２実施形態におけるデフォーカスパラメータとしては、被写体距離とフォーカス距離とのずれ量を示すものであれば良い。したがって、上述した被写体距離とフォーカス距離の差のみならず、例えば被写体距離とフォーカス距離との割合をデフォーカスパラメータとしても良い。また、第２実施形態では複数のデフォーカスパラメータに応じた複数の回復フィルタを予め保持しておく例を示したが、第１実施形態と同様に回復処理時にこれを算出するようにしても良い。

なお、第１および第２実施形態ではカメラ等の撮像装置において画像回復を行う例を示したが、本発明は撮像装置に限定されるものではなく、同様の画像回復処理を撮像装置とは異なる画像処理装置において行うことも可能である。すなわち、画像処理装置に撮像装置による撮影画像を入力して、上述した第１および第２実施形態と同様の回復処理を施すことによっても、本発明は実現される。また同様に、上述した第１および第２実施形態における撮像装置に対し、メディアＩ／Ｆ１１４を介して外部装置に保持された撮影画像を入力し、該入力された撮影画像に対して回復処理を施すことも可能である。この場合、必要となる撮像パラメータは撮影画像に付加されているものを読み出せば良い。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（すなわちＣＰＵ１１６等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 撮像光学系により被写体を撮影した撮影画像を取得する画像取得手段と、
   前記撮像光学系における光学特性の変動要因を示すパラメータの値を設定するパラメータ値設定手段と、
   前記撮像光学系における、前記撮影画像の撮影時の光学特性を取得する光学特性取得手段と、
   該取得された光学特性および前記パラメータの値に基づいて、前記撮像光学系における光学特性に起因する前記撮影画像の画質劣化を補正するための回復フィルタを決定する回復フィルタの決定手段と、
   前記撮影画像に対し、前記回復フィルタを適用した回復処理を行う画像回復手段と、を有し、
   前記変動要因は、前記撮像光学系の設計値のみからは決定できないことを特徴とする撮像装置。
2. 前記変動要因は、前記被写体の分光スペクトルであることを特徴とする請求項１に記載の撮像装置。
3. 前記変動要因は、前記撮像光学系における前記被写体までの距離とフォーカス距離との差であることを特徴とする請求項１に記載の撮像装置。
4. 前記パラメータ値設定手段は、ユーザ指示に応じて前記パラメータの値を設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. さらに、前記画像回復手段で前記撮影画像に回復処理を施した回復画像を表示する表示手段を有することを特徴とする請求項４に記載の撮像装置。
6. 前記パラメータ値設定手段は、前記撮影画像に基づく演算によって前記パラメータの値を設定することを特徴とする請求項２に記載の撮像装置。
7. 前記パラメータは、ひとつの変動要因に対し複数あることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記画像回復手段は、前記撮像光学系における光学伝達関数を用いた回復処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像光学系により被写体を撮影した撮影画像を取得する画像取得ステップと、
   前記撮像光学系における光学特性の変動要因を示すパラメータの値を設定するパラメータ値設定ステップと、
   前記撮像光学系における、前記撮影画像の撮影時の光学特性を取得する光学特性取得ステップと、
   該取得された光学特性および前記パラメータの値に基づいて、前記撮像光学系における光学特性に起因する前記撮影画像の画質劣化を補正するための回復フィルタを決定する回復フィルタの決定ステップと、
   前記撮影画像に対し、前記回復フィルタを適用した回復処理を行う画像回復ステップと、を有し、
   前記変動要因は、前記撮像光学系の設計値のみからは決定できないことを特徴とする画像処理方法。
10. コンピュータに、請求項９に記載の画像処理方法の各ステップを実行させるためのプログラム。

Images