JP5963465B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は画像処理を行う画像処理装置、その制御方法、および制御プログラムに関する。

一般に、デジタルカメラなどの撮像装置により得られた画像では所謂ボケが生じることがあり、このボケによって画質が劣化する。画像にボケが生じる要因として、撮像光学系の球面収差、コマ収差、像面湾曲、および非点収差などがある。そして、これらの収差は点像分布関数（ＰＳＦ、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）によって表すことができる。

ＰＳＦをフーリエ変換することによって得られる光学伝達関数（ＯＴＦ、Ｏｐｔｉｃ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数空間における情報を示している。そして、ＯＴＦは複素関数（複素数）で表すことができ、ＯＴＦの絶対値、つまり、振幅成分はＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、位相成分はＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれる。

撮像光学系におけるＯＴＦは画像のＭＴＦとＰＴＦに影響（劣化）を与えるので、撮像光学系を介して得られた被写体の画像は各点がコマ収差のように非対称にボケた画像（劣化画像）となる。さらに、画像が有する色成分（例えば、赤、青、緑など）毎にＰＳＦが異なるので、色成分毎に異なるボケが生じて、色が滲んだような画像（劣化画像）となる。

これら画像のボケを補正する手法として、撮像光学系におけるＯＴＦに関する情報を用いてボケを補正するものが知られている。この手法は画像回復又は画像復元手法と呼ばれており、以下、撮像光学系（撮像系）におけるＯＴＦに関する情報を用いて画像の劣化を補正する処理を回復処理と呼ぶ。

この回復処理には後述する画像回復フィルタ（単に回復フィルタともいう）が用いられ、画像回復フィルタはＯＴＦに基づいて得られるので、画像回復フィルタを用いればボケ画像における振幅成分および位相成分の劣化を補正することができる。

従来、画像回復を行う画像処理装置として、劣化画像の画素値を初期値として用いて各画素値を反復計算により更新することによって劣化画像を回復するようにしたものがある（例えば、特許文献１参照）。

また、ノイズの影響が小さい復元画像を得るため、画像処理装置がカーネルデータなどの回復フィルタ情報を格納し、回復フィルタ情報を用いてＯＴＦに対して回復フィルタ処理を行ってコントラストを改善する処理を施すようにしたものがある（例えば、特許文献２参照）。

特開２００７−２９９０６８号公報 特開２０１１−１２０３０９号公報

ところで、画像回復フィルタおよびＯＴＦに係るデータ量は膨大である。例えば、１画素に対して３００ピクセル以上の情報が必要であり、単純計算すると、画像の画素数に対してその数百倍のデータ量が必要になってしまう。

そこで、データ量を削減するためＯＴＦを離散的にしたものがある。さらに、ＯＴＦを特定の近似式によって近似した場合の係数のデータに置き換えて、当該係数データを静的に保持して、ＯＴＦおよび回復フィルタを直接保持するよりもデータ量を削減することが行われている。

この場合、ＯＴＦを近似した係数データに応じてＯＴＦを得て、ＯＴＦから回復フィルタを生成することになるが、この生成をソフトウェアにおいて動的に行う必要がある。

例えば、ＯＴＦの段階で周波数の特性を解析すれば、予めリンギングおよび黒沈みなどの悪影響を、ＯＴＦを修正することで軽減することが可能となる。

画像回復フィルタは、従来のシャープネス又はメディアンフィルタなどの一般的なフィルタ処理と同様に、対象画素とその周囲の画素に適用するフィルタである。このため、通常のフィルタ適用処理と同様の処理を行う場合が多い。

一方、画像回復フィルタはＯＴＦに基づいて生成されるので、画像の領域毎に異なり、画像の領域毎にその補正が適切なゲインで行われる。また、画像回復フィルタが搭載されたソフトウェアでは、他の画像処理を適用しつつソフトウェアのユーザインタフェース（ＵＩ）上に現在設定されているパラメータを適用したプレビューの画像を表示する必要がある。

ところが、パラメータは任意のタイミングでユーザがＵＩ上のコントロールで調整するため、パラメータが変化する度に、回復処理などの画像処理を行う必要がある。

画像回復フィルタを用いた処理は他の処理と比べてそのフィルタのサイズが大きく、処理時間が掛かってしまう。このため、ユーザがパラメータを変更してから回復処理を全て再実行すると、その応答性が低下する。また、上述のＯＴＦを近似した係数データを保持する場合には、当該係数データを用いてＯＴＦを生成して、さらに当該ＯＴＦから画像回復フィルタを生成する処理も必要となって、この点においても応答性が低下してしまう。

さらに、ソフトウェアのＵＩ上では、画像回復フィルタに関するパラメータ以外のパラメータについても変更が可能である。例えば、回復処理に所謂周辺光量落ち補正、倍率色収差補正、および歪曲収差補正が含まれない場合には、これらの補正が別の調整項目としてＵＩ上に表示されてユーザによる調整が行われる。

また、調整項目が画像の一部を拡大するものであるか又は拡大と縮小とを切り替えるものであれば、このような調整も行われる。そして、これらの調整を行う都度再度画像処理が行われて、さらに再度回復処理が行われる結果、画像処理および回復処理の応答性が低下してしまう。

従って、本発明の目的は、劣化画像の回復処理などの画像処理において当該画像処理に係る調整項目（パラメータ）の調整が行われた場合の応答性が良好な画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、撮像によって得られた画像データを受け、当該画像データを画像処理して画像処理済みデータとして出力する画像処理装置であって、前記画像データを画像処理する際、当該画像処理で用いる、前記撮像の際に用いられたレンズに係るレンズ収差補正データと、前記撮像の際に用いられたレンズに係る光学伝達関数に応じて求められた画像回復フィルタを、キャッシュとしてメモリに格納する画像生成手段と、前記画像データを画像処理する際に用いられる複数の調整項目のうちの少なくとも１つを調整する調整手段と、前記調整手段によって前記複数の調整項目の少なくとも１つが調整されると、前記メモリに格納されたキャッシュを再生成するか否かを判定する判定手段とを有し、前記画像生成手段は前記判定手段で再生成すると判定されたキャッシュに係る画像処理済みデータを再度生成し、前記判定手段は、前記調整手段による調整が第１の条件を満たす場合に前記調整手段の調整結果に応じたレンズ収差補正データをキャッシュとして再生成し、前記調整手段による調整が第２の条件を満たす場合に、前記調整手段の調整結果に応じた画像回復フィルタをキャッシュとして再生成することを特徴とする。

本発明による制御方法は、撮像によって得られた画像データを受け、当該画像データを画像処理して画像処理済みデータとして出力する画像処理装置の制御方法であって、前記画像データを画像処理する際、当該画像処理で用いる、前記撮像の際に用いられたレンズに係るレンズ収差補正データと、前記撮像の際に用いられたレンズに係る光学伝達関数に応じて求められた画像回復フィルタを、キャッシュとしてメモリに格納するステップと、前記画像データを画像処理する際に用いられる複数の調整項目のうちの少なくとも１つの調整項目を調整するステップと、前記少なくとも１つの調整項目の調整が第１の条件を満たす場合に、調整結果に応じたレンズ収差補正データをキャッシュとして再生成し、前記少なくとも１つの調整項目の調整が第２の条件を満たす場合に、調整結果に応じた画像回復フィルタをキャッシュとして再生成するステップと、再生成すると判定されたキャッシュに係る画像処理済みデータを再度生成するステップとを有することを特徴とする。

本発明による制御プログラムは、撮像によって得られた画像データを受け、当該画像データを画像処理して画像処理済みデータとして出力する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像データを画像処理する際、当該画像処理で用いる、前記撮像の際に用いられたレンズに係るレンズ収差補正データと、前記撮像の際に用いられたレンズに係る光学伝達関数に応じて求められた画像回復フィルタを、キャッシュとしてメモリに格納するステップと、前記画像データを画像処理する際に用いられる複数の調整項目のうちの少なくとも１つの調整項目を調整するステップと、前記少なくとも１つの調整項目の調整が第１の条件を満たす場合に、調整結果に応じたレンズ収差補正データをキャッシュとして再生成し、前記少なくとも１つの調整項目の調整が第２の条件を満たす場合に、調整結果に応じた画像回復フィルタをキャッシュとして再生成するステップと、再生成すると判定されたキャッシュに係る画像処理済みデータを再度生成する画像生成ステップとを実行させることを特徴とする。

本発明によれば、画像処理に係る調整項目（パラメータ）の調整が行われた場合の応答性を向上させることができる。

本発明の実施の形態による画像処理装置の一例を示すブロック図である。 図１に示す画像生成部における画像表示処理を説明するためのフローチャートである。 図１に示す画像生成部における回復処理を説明するためのフローチャートである。 図１に示す画像生成部で行われる回復フィルタの生成を説明するためのフローチャートである。 図４に示す回復フィルタの生成の一例を詳細に説明するためのフローチャートである。 図５に示す回復フィルタの生成の一例を示す図であり、（ａ）は画像全面の４分の１の領域におけるＯＴＦデータの生成を示す図、（ｂ）は画像全面の回復フィルタの生成を示す図である。 図１に示す再生成部で行われるキャッシュ再生成の一例を説明するためのフローチャートである。 図１に示す出力部から出力された画像のプレビュー表示の一例を示す図である。

以下、本発明の実施の形態による画像処理装置について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置の一例を示すブロック図である。

図１において、画像処理装置は入力部１０１を備えており、この入力部１０１から撮影条件に係る情報（以下撮影条件情報と呼ぶ）、画像データ、ゲイン、および光学伝達関数（ＯＴＦ）に関するデータ（以下ＯＴＦデータと呼ぶ）が入力される。

ここで、画像データとは、例えば、撮像装置（図示せず）による撮影の結果得られた画像から取得されたベイヤ配列のデータをいう。ＯＴＦデータとは、例えば、撮像装置に備えられたレンズに係る設計値に応じて得られたＯＴＦについて、特定の周波数範囲で抽出を行って離散化したデータをいう。ＯＴＦデータは画像の光学中心に対して円周方向と対角方向の２次元データである。

この段階では、周波数範囲の最大値は通常よりも大きくする。なぜなら、この段階では撮像装置の特性が不定のため、後の処理において制限とならないために、より柔軟に対応できるようにしておく必要があるためである。その後、撮像装置の特性、例えば、ナイキスト周波数で切り出せるようにする。

調整部１０２（調整手段）は動的にパラメータ（調整項目）の調整を行う。調整部１０２は、ソフトウェアのユーザインタフェース（ＵＩ）上で調整可能なパラメータについて現在の調整値を入力する。このＵＩについては後述するが、主な調整項目（パラメータ）として、例えば、回復処理（画像回復処理ともいう）に関するゲイン（強さ）および撮影距離の微調整、回復処理に無関係なレンズ収差補正のゲイン（強さ）および撮影距離の微調整がある。

なお、一般的な調整項目、例えば、シャープネスおよびコントラストを調整項目とするようにしてもよい。

キャッシュ部１０４（メモリ）には画像生成部１０５で画像処理された画像処理済みデータがキャッシュ（複製データ）として格納される。画像生成部１０５（画像生成手段）は、回復処理がオン（ＯＮ）設定であると、撮影条件情報およびＯＴＦデータに応じて画像データを画像処理してＯＮ画像データ（回復処理済み画像データ）を得る。回復処理がオフ（ＯＦＦ）設定であると、画像生成部１０５は撮影条件情報に応じて画像データを画像処理してＯＦＦ画像データ（回復処理未済み画像データ）を得る。

なお、画像生成部１０５は後述するようにキャッシュ部１０４に記憶されたキャッシュを表示画像として出力する。また、ＯＮ画像データおよびＯＦＦ画像データともに画像処理済みデータである。

前述のように、キャッシュ部１０４にキャッシュが格納されており、当該キャッシュが利用可能であれば再処理を行うことなく、キャシュを用いて高速に画像処理を行うことができる。一方、調整項目が変更された場合などでキャッシュが利用できないと、再度画像処理が行われる。

再生成部１０３（判定手段）は調整されたパラメータ（調整項目又は調整値）に応じて再生成する必要のあるキャッシュを判定し、再生成したキャッシュに応じて該当キャッシュを破棄する。出力部１０６（出力手段）は画像生成部１０５で生成された画像処理済みデータを出力する。

なお、画像生成部１０５は、調整値の変更を判定することなく、キャッシュおよび調整値に応じて再度処理（再度生成）する必要があるか否かを判定する。

図２は、図１に示す画像生成部１０５における画像表示処理を説明するためのフローチャートである。画像表示処理を開始すると、画像生成部１０５は回復処理がオン（ＯＮ）設定されているか否かを判定する（ステップＳ３０１）。回復処理がＯＮであると（ステップＳ３０１において、ＹＥＳ）、画像生成部１０５は利用可能なＯＮ画像データ（回復処理されたデータをいう）に係るキャッシュがキャッシュ部１０４に存在するか否かを判定する（ステップＳ３０２）。

利用可能なキャッシュが存在すると（ステップＳ３０２において、ＹＥＳ）、画像再生部１０５は当該キャッシュ（ＯＮ画像）を表示画像として（ステップＳ３０３）、この表示画像を出力部１０６に渡す。そして、画像再生部１０５は出力部１０６によって表示画像を出力して（ステップＳ３０４）、画像処理を終了する。

一方、利用可能なキャッシュが存在しないと（ステップＳ３０２において、ＮＯ）、画像生成部１０５は前述したようにＯＮ画像を生成する（ステップＳ３０５）。そして、画像生成部１０５はステップＳ３０３の処理に進む。

回復処理がＯＦＦであると（ステップＳ３０１において、ＮＯ）、画像生成部１０５は利用可能なＯＦＦ画像データ（回復未処理のデータをいう）に係るキャッシュがキャッシュ部１０４に存在するか否かを判定する（ステップＳ３０６）。利用可能なキャッシュが存在すると（ステップＳ３０６において、ＹＥＳ）、画像再生部１０５は当該キャッシュ（ＯＦＦ画像）を表示画像として（ステップＳ３０７）、この表示画像を出力部１０６に渡す。そして、画像再生部１０５はステップＳ３０４で出力部１０６によって表示画像を出力して（ステップＳ３０４）、画像処理を終了する。

一方、利用可能なキャッシュが存在しないと（ステップＳ３０６において、ＮＯ）、画像生成部１０５は前述したようにＯＦＦ画像を生成する（ステップＳ３０８）。そして、画像生成部１０５はステップＳ３０７の処理に進む。

図３は、図１に示す画像生成部１０５における回復処理を説明するためのフローチャートである。なお、以下に説明するレンズ収差補正データおよび画像回復フィルタ（以下単に回復フィルタと呼ぶ）は、キャッシュとしてキャッシュ部１０４に記憶される。

回復処理を開始すると、画像生成部１０５は、前述したように、画像データ、撮影条件情報、ゲイン、およびＯＴＦデータを入力部１０１から入力する。そして、画像生成部１０５は回復処理を行う前にレンズ収差補正、例えば、倍率色収差補正および周辺光量落ち補正を行う。この際、画像生成部１０５はレンズ収差補正データがキャッシュとしてキャッシュ部１０３に存在するか否かを判定する（ステップＳ４０１）。

レンズ収差補正データが存在すると（ステップＳ４０１において、ＹＥＳ）、画像生成部１０５はレンズ収差補正データに応じて画像データに対してレンズ収差補正を行う（ステップＳ４０２）。そして、画像生成部１０５は回復処理に用いる回復フィルタがキャッシュとしてキャッシュ部１０４に存在するか否かを判定する（ステップＳ４０３）。

回復フィルタが存在すると（ステップＳ４０３において、ＹＥＳ）、画像生成部１０５は当該回復フィルタをレンズ収差補正後の画像データに適用して（ステップＳ４０４）、回復処理済データを得て、回復処理を終了する。

ここで、回復処理の概要について説明すると、いま、劣化した（ボケ）画像をｇ（ｘ，ｙ）で表し、元の画像をｆ（ｘ，ｙ）で表す。画像ｇ（ｘ、ｙ）を取得する際に用いた撮像系のＰＳＦをｈ（ｘ，ｙ）で表すと、次の式（１）が成り立つ。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （１）
但し、式（１）において、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。

式（１）をフーリエ変換して周波数空間における表示形式に変換すると、式（２）で表すことができる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （２）
ここで、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）をフーリエ変換して得られたＯＴＦである。Ｇ（ｕ，ｖ）およびＦ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間おける周波数（座標）を示す。

劣化画像から元の画像（元画像）を得るためには、式（２）の両辺をＨ（ｕ，ｖ）で除算すればよく、この除算によって、次の式（３）が得られる。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （３）
式（３）中のＦ（ｕ，ｖ）、つまり、Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻せば、元画像ｆ（ｘ，ｙ）を回復画像として得ることができる。

式（３）を逆フーリエ変換すると式（４）が得られる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （４）
式（４）において、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）とした。Ｒ（ｘ，ｙ）が回復フィルタと呼ばれる。

レンズ収差補正データが存在しないと（ステップＳ４０１において、ＮＯ）、画像生成部１０５は前述したようにしてレンズ収差補正データを生成して（ステップＳ４０５）、ステップＳ４０２の処理に進む。また、回復フィルタが存在しないと（ステップＳ４０３において、ＮＯ）、画像生成部１０５は後述するようにして回復フィルタを生成して（ステップＳ４０６）、ステップＳ４０４の処理に進む。

図４は、図１に示す画像生成部１０５で行われる回復フィルタの生成過程を説明するためのフローチャートである。

画像生成部１０５は入力部１０１からゲインを入力する（ステップＳ６０１）。続いて、画像生成部１０５は撮影条件情報を入力部１０１から入力する（ステップＳ６０２）。画像生成部１０５は撮影条件情報からレンズデータを参照して、当該レンズデータから対象画像に対応するＯＴＦデータを取得する（ステップＳ６０３）。そして、画像生成部１０５はＯＴＦデータに応じて回復フィルタを生成し、回復フィルタを出力して（ステップＳ６０４）、回復フィルタ生成処理を終了する。

なお、ＯＴＦデータそのものがレンズデータとして存在してもよい。また、例えば、レンズ中心から一方向のレンズデータを格納しておき、当該データを動的に回転等して画面全体分補間してＯＴＦデータを生成するようにしてもよい。

図５は、図４に示す回復フィルタの生成の一例を詳細に説明するためのフローチャートである。また、図６は、図５に示す回復フィルタの生成の一例を示す図である。そして、図６（ａ）は画像全面の４分の１の領域におけるＯＴＦデータの生成を示す図であり、図６（ｂ）は画像全面の回復フィルタの生成を示す図である。

回復フィルタの生成が開始されると、ここでは、画像生成部１０５は、ＯＴＦデータの代わりにＯＴＦの近似式に係る係数（係数データ）を入力部１０１から取得する（ステップＳ７０１）。なお、全画素に係るＯＴＦデータを取得するようにしてもよいが、データ量および処理速度との関係上、画像領域の離散点における係数データを取得して、画像の回復を行う際に回復フィルタを補間して用いることが望ましい。また、処理速度の関係上、画像全面ではなく、さらに画像の一部分に関して回復フィルタを生成して、画像回復を行う際に回復フィルタを補間するようにしてもよい。

続いて、画像生成部１０５は画像８０１の中心からその周辺までの像高を１０分割した離散点８０２を取得して、当該１０像高分の離散点についてＯＴＦデータを生成する（ステップＳ７０２）。そして、画像生成部１０５は１０像高分のＯＴＦデータを回転処理して、画像全面の４分の１領域について離散点８０２のＯＴＦを生成する（ステップＳ７０３：図６（ａ）参照）。

続いて、画像生成部１０５は撮像装置の機種によって異なるナイキスト周波数でＯＴＦデータを切り出して（ステップＳ７０４）、撮像装置の特性である光学ローパスフィルタおよび開口劣化特性と切り出したＯＴＦデータとを乗算する（ステップＳ７０５）。次に、画像生成部１０５は回復フィルタの生成に必要なゲインを取得する（ステップＳ７０６）。

ＯＴＦデータは撮影された画像の各点における特性を示したものであるので、回復フィルタを生成するためには、ＯＴＦデータの逆特性を求める。ここでは、画像生成部１０５はゲインとＯＴＦデータとからＯＴＦデータの逆特性データ（逆フーリエ変換前データ）を求める（ステップＳ７０７）。そして、画像生成部１０５は当該逆特性データを逆フーリエ変換して（ステップＳ７０８）、回復フィルタを求める。

ＯＴＦデータは位相情報を含むため複素数データであるが、回復フィルタは実数の二次元フィルタである。

図６（ａ）に示すように、画像全面の４分の１の領域で回復フィルタを求めた際には、画像生成部１０５は回復フィルタ（つまり、データ）をコピーして、画像全面の回復フィルタを生成する（ステップＳ７０９：図６（ｂ）参照）。つまり、画像生成部１０５は回復フィルタを折り返して、画像全面の回復フィルタを生成する。

その後、画像生成部１０５は画像全面の回復フィルタを出力して（ステップＳ７１０）、回復フィルタの生成を終了する。そして、図３に示すステップＳ４０４において、画像生成部１０５は全面の回復フィルタを画像の各画素に適用する。

なお、回復フィルタを適用する際には、画像の全体に適用する場合もあれば、拡大表示をするために画像の一部分について適用する場合もある。

また、回復フィルタは画像の全ての画素に対して生成せず、幾つかの離散点に対して生成することが一般的である。よって、画像生成部１０５で求めた回復フィルタから対象とする画素位置における回復フィルタを、補間などの手法で算出して、その回復フィルタを画像全体に適用するようにする。

回復フィルタは、対象画素１つについて幅と高さを有する２次元のデータ配列となっており、対象画素を含む画像領域に対して、回復フィルタの各値を各画素について求める。一般的な画像処理におけるフィルタ処理の際には、画像の領域毎に異なるパラメータを有し、場合によっては画像領域のサイズが異なるため回復フィルタのサイズも対象画素によって異なることがある。

キャッシュ部１０４は、画像生成部１０５で算出した途中のデータをキャッシュする。キャッシュ部１０４で管理するキャッシュは、例えば、レンズ収差補正データ、回復フィルタ、ＯＮ画像、およびＯＦＦ画像である。前述のように、レンズ収差補正データは、倍率色収差、周辺光量落ち、および軸上色収差などのレンズの収差に関するデータであり、レンズ収差補正は回復処理の前に行われる。

なお、回復処理に常にレンズ収差補正が含まれないということではなく、レンズ収差補正が回復処理に含まれない場合には、前述のように、レンズ収差補正は回復処理の前に行われる。また、ここでは、レンズ収差補正として倍率色収差補正が行われる。

再生成部１０３は、調整部１０２において調整された調整値（パラメータ）に応じて、現在キャッシュ部１０４キャッシュされているキャッシュを破棄するべきか否かを判定する。そして、再生成部１０３はその判定結果をキャッシュ部１０４に通知し、間接的にパラメータの調整に応じたキャッシュの再生成を行う。

図７は図１に示す再生成部１０３で行われるキャッシュ再生成の一例を説明するためのフローチャートである。

キャッシュ再生成が開始されると、まず、再生成部１０３は調整部１０２において調整された項目（調整項目）が撮影距離であるか否かを判定する（ステップＳ２０１）。調整項目が撮影距離であると（ステップＳ２０１において、ＹＥＳ）、レンズ収差補正データおよび回復フィルタを再生成する必要があるので、再生成部１０３はキャッシュ部１０４からレンズ収差補正データに係るキャッシュを破棄する（ステップＳ２０２）。続いて、再生成部１０３はキャッシュ部１０４から回復フィルタに係るキャッシュを破棄して（ステップＳ２０３）、キャッシャ再生成処理を終了する。

調整項目が撮影距離でないと（ステップＳ２０１において、ＮＯ）、再生成部１０３は調整項目が回復処理におけるゲインであるか否かを判定する（ステップＳ２０４）。調整項目が回復処理におけるゲインであると（ステップＳ２０４において、ＹＥＳ）、回復フィルタを再生成する必要があるので、再生成部１０３はステップＳ２０３の処理に進んでキャッシュ部１０４から回復フィルタに係るキャッシュを破棄する。

調整項目が回復処理におけるゲインでないと（ステップＳ２０４において、ＮＯ）、再生成部１０３はＵＩにおける画像の表示位置又は画像の倍率が変更されたか否かを判定する（ステップＳ２０５）。表示位置又は倍率が変更された際には（ステップＳ２０５において、ＹＥＳ）、レンズ収差補正データおよび回復フィルタに係るキャッシュは再利用可能であり、この際には、再生成部１０３はキャッシャ部１０４からＯＮ画像およびＯＦＦ画像に係るキャッシュを破棄して（ステップＳ２０６）、キャッシュ再生成を終了する。

一方、表示位置および倍率が変更されないと（ステップＳ２０５において、ＮＯ）、再生成部１０３はキャッシュ再生成を終了する。

なお、回復処理のＯＮ／ＯＦＦが切り替えられた場合には、キャッシュを破棄することなく、変更後のＯＮ／ＯＦＦ画像のキャッシュが表示される。

図１に示す出力部１０６は、前述のように、画像生成部１０５において生成された画像を出力する。ここでは、出力部１０６は画像をソフトウェア上のＵＩにプレビュー表示するが、出力部１０６は必要に応じてファイル又は外部装置に出力するようにしてもよい。

図８は図１に示す出力部１０６から出力された画像のプレビュー表示の一例を示す図である。

図８において、プレビュー表示においては、出力部１０６はディスプレイ（図示せず）にウィンドウ５０１を表示する。そして、ウィンドウ５０１は画像５０２が表示されるとともに、各種調整項目（パラメータ）が表示される。図示の例では、調整項目として、レンズ収差補正の強さ５０４、撮影距離５０５、回復処理のＯＮ／ＯＦＦ５０６および強さ（５０７）、そして、撮影距離５０８が表示される。

レンズ収差補正の強さ５０４と撮影距離５０８とは本来は１つのパラメータであるが、ユーザが調整する際には個体ばらつきなどの誤差を吸収することもあるので、ここでは、レンズ収差補正の強さ５０４と撮影距離５０８とを分けて表示する。

なお、必ずレンズ収差補正の強さ５０４と撮影距離５０８とを分けて表示しなければならないわけではなく、誤差を吸収する必要がない場合には、レンズ収差補正の強さ５０４および撮影距離５０８に同一の調整値が入力されるようにしてもよい。

また、図示の例では、調整項目の調整を行う際には、スライダーをマウス又はキーボードの入力によって行うが、スピンコントロール又は数値の入力など、必要な情報が入力できるＵＩであれば図示の例に限定されない。

さらに、図示の例では、画像がウィンドウ５０１の左側に表示され、ボタン５０３によって等倍表示および全体表示を切り替えることができる。全体表示とは画像を画面のサイズに合わせて縮小又は拡大して表示することをいう。つまり、ここでは、回復処理が行われるので、画像生成部１０５における処理では表示サイズおよび倍率が考慮される。調整項目の調整が完了すると、ＯＫボタン５０９を押し下げると、当該調整項目の調整に応じた画像が確定する。

このように、本発明の実施の形態では、ユーザが調整項目（パラメータ）を調整しつつ画像を確認する場合に、調整項目に応じて最小限の画像処理を行って、調整後の画像を表示するようにしたので、画像表示の際の応答性を向上させることができる。

ところで、回復処理の際には、画像処理装置のリソースを大量に用いるので、処理速度の低下の他に、メモリなどのリソースが一時的に枯渇することがある。このため、前述のように、回復処理途中のデータを全てキャッシュすると、画像処理装置に備えられたコンピュータの性能によってはかえって処理速度が低下することがある。そして、最悪の場合にはリソース不足のために処理の継続が難しくなってしまうことがある。

そこで、再生成部１０３がコンピュータのリソースを監視して、リソース不足（例えば、メモリ容量不足が生じると、再生成部１０３は調整項目の調整がなくてもキャッシュ部１０４にキャッシュされたキャッシュを破棄する。キャッシュを破棄する際には、再生成部１０３は予め設定された優先順位でキャッシュを破棄する。

例えば、リソースがメモリ（つまり、キャッシュ部）であれば、再生成部１０３はメモリ消費の大きい順に静的又は動的にキャッシュを破棄する。

この際、予め閾値を設定して、キャッシュのメモリ消費が当該閾値を超えると、再生成部１０３はそのキャッシュを破棄する。キャッシュの破棄を行う際のタイミングは、前述のように、メモリ不足が生じる直前のタイミングである。

このように、再生成部１０３はメモリの容量を監視して、メモリの残容量が予め定められた容量に低下すると、調整項目の調整に拘わらず、予め設定された順にキャッシュを破棄すると判定する。

また、再生成部１０３が破棄すると判定したキャッシュについては、一時的にファイル又はディスクなどに退避させて保存するようにしてもよい。例えば、表示画像について表示位置が変更されると、当該画像を再生成するが、再生成の後、再度元の表示位置に調整されることもある。また、ゲインの強さの調整などについても、その調整を行う際に、ゲインを調整した後再度元のゲインに戻すこともある。

このような場合に、その都度キャッシュを破棄すると、元の状態に戻した場合には再生成を行わなければならず、応答性がその分低下してしまう。従って、再生成部１０３は破棄すると決定したキャッシュを一時外部メモリなどに保存して、再度利用する際に外部メモリからキャッシュ部１０４に読み込んで、当該キャッシュを利用できるようにする。

上述の説明から明らかなように、図１に示す例においては、再生成部１０３が退避手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

この際、制御方法および制御プログラムの各々は、少なくとも記録ステップ、調整ステップ、判定ステップ、および画像生成ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 入力部
１０２ 調整部
１０３ 再生成部
１０４ キャッシュ部
１０５ 画像生成部
１０６ 出力部
５０１ ウィンドウ
５０３ 等倍表示／全体表示ボタン
５０４ レンズ収差補正スライダー
５０５ 撮影距離スライダー
８０２ 離散点

Claims (12)

1. 撮像によって得られた画像データを受け、当該画像データを画像処理して画像処理済みデータとして出力する画像処理装置であって、
   前記画像データを画像処理する際、当該画像処理で用いる、前記撮像の際に用いられたレンズに係るレンズ収差補正データと、前記撮像の際に用いられたレンズに係る光学伝達関数に応じて求められた画像回復フィルタを、キャッシュとしてメモリに格納する画像生成手段と、
   前記画像データを画像処理する際に用いられる複数の調整項目のうちの少なくとも１つを調整する調整手段と、
   前記調整手段によって前記複数の調整項目の少なくとも１つが調整されると、前記メモリに格納されたキャッシュを再生成するか否かを判定する判定手段とを有し、
   前記画像生成手段は前記判定手段で再生成すると判定されたキャッシュに係る画像処理済みデータを再度生成し、
   前記判定手段は、前記調整手段による調整が第１の条件を満たす場合に前記調整手段の調整結果に応じたレンズ収差補正データをキャッシュとして再生成し、前記調整手段による調整が第２の条件を満たす場合に、前記調整手段の調整結果に応じた画像回復フィルタをキャッシュとして再生成することを特徴とする画像処理装置。
2. 前記画像処理済みデータに応じた画像を画面に表示するとともに、当該画面に前記調整項目を表示する出力手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の条件は、前記調整手段によって第１の調整項目が調整されることであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の条件は、前記調整手段によって前記第１の調整項目、または、前記第１の調整項目とは異なる第２の調整項目が調整されることであることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の調整項目は、撮影距離であることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像回復フィルタは、前記光学伝達関数もしくは前記光学伝達関数の近似式に係る係数に基づくデータに対して、逆フーリエ変換を行うことで求められることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像回復フィルタは、前記光学伝達関数もしくは前記光学伝達関数の近似式に係る係数および画像回復処理の強さを示すゲインに基づくデータに対して、逆フーリエ変換を行うことで求められ、
   前記第２の調整項目は、前記ゲインであることを特徴とする請求項５に記載の画像処理装置。
8. 前記判定手段は前記メモリに格納された前記レンズ収差補正データに係るキャッシュを再生成すると判定すると、当該レンズ収差補正データに係るキャッシュを破棄し、前記メモリに格納された前記画像回復フィルタに係るキャッシュを再生成すると判定すると、当該画像回復フィルタに係るキャッシュを破棄すると判定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記判定手段は前記メモリの容量を監視して、前記メモリの残容量が予め定められた容量に低下すると、前記調整項目の調整に拘わらず、予め設定された順に前記キャッシュを破棄すると判定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記判定手段によって破棄すると判定されたキャッシュを外部メモリに退避する退避手段を有することを特徴とする請求項８又は９に記載の画像処理装置。
11. 撮像によって得られた画像データを受け、当該画像データを画像処理して画像処理済みデータとして出力する画像処理装置の制御方法であって、
    前記画像データを画像処理する際、当該画像処理で用いる、前記撮像の際に用いられたレンズに係るレンズ収差補正データと、前記撮像の際に用いられたレンズに係る光学伝達関数に応じて求められた画像回復フィルタを、キャッシュとしてメモリに格納するステップと、
    前記画像データを画像処理する際に用いられる複数の調整項目のうちの少なくとも１つの調整項目を調整するステップと、
    前記少なくとも１つの調整項目の調整が第１の条件を満たす場合に、調整結果に応じたレンズ収差補正データをキャッシュとして再生成し、前記少なくとも１つの調整項目の調整が第２の条件を満たす場合に、調整結果に応じた画像回復フィルタをキャッシュとして再生成するステップと、
    再生成すると判定されたキャッシュに係る画像処理済みデータを再度生成するステップとを有することを特徴とする制御方法。
12. 撮像によって得られた画像データを受け、当該画像データを画像処理して画像処理済みデータとして出力する画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記画像データを画像処理する際、当該画像処理で用いる、前記撮像の際に用いられたレンズに係るレンズ収差補正データと、前記撮像の際に用いられたレンズに係る光学伝達関数に応じて求められた画像回復フィルタを、キャッシュとしてメモリに格納するステップと、
    前記画像データを画像処理する際に用いられる複数の調整項目のうちの少なくとも１つの調整項目を調整するステップと、
    前記少なくとも１つの調整項目の調整が第１の条件を満たす場合に、調整結果に応じたレンズ収差補正データをキャッシュとして再生成し、前記少なくとも１つの調整項目の調整が第２の条件を満たす場合に、調整結果に応じた画像回復フィルタをキャッシュとして再生成するステップと、
    再生成すると判定されたキャッシュに係る画像処理済みデータを再度生成する画像生成ステップとを実行させることを特徴とする制御プログラム。

Images