JP6253365B2 - 画像処理方法、撮像装置、画像処理装置 - Google Patents

Description

本発明は、画像回復を行う画像処理に関する。

撮影光学系の収差等の影響により、撮影光学系を介して撮影された画像はぼけて劣化するため、これを補正する画像回復は従来から知られている。画像回復では、ソフトウエアによる演算とハードウエアによる演算が考えられる。このうちソフトウエアは、一般には、パーソナルコンピュータ（ＰＣ）を必要とするため、撮像装置でも画像回復を行いたい場合にはハードウエアによる演算が有利である。

ハードウエアによる演算は整数演算であり、１６ビットや３２ビットなどで処理可能な桁数が決定される。画像回復では正負の符号や小数点以下も使用されるため、例えば、最初のビットで±の符号を表現し、残りのビットにおける整数部と小数部の境目（小数点の位置）を固定する固定小数点演算を使用することを考える。すると、整数部の桁を超える演算はオーバーフローとなる。このオーバーフローは、特に、画像回復フィルタを生成する際の逆フーリエ変換において発生し易い。

特許文献１は、入力データに対して、固定ビット長の固定小数点演算で高速フーリエ変換（ＦＦＴ）を行う複数の演算部を有するＦＦＴ演算装置を開示している。このＦＦＴ演算装置は、演算部の少なくとも１つの演算データに対してビットシフトを行い、演算部の少なくとも１つは自身の桁溢れを検出する機能を有し、何れかの演算部で桁溢れが検出された場合にビットシフト量を調整する。

特開２０１１−６０１７７号公報

しかしながら、特許文献１の手法では計算中に小数部のビット割り当てが変更されてしまうため、計算精度が保証されないという課題がある。

本発明は、画像回復精度を維持し、オーバーフローを防止することが可能な画像処理方法、撮像装置、画像処理装置を提供することを例示的な目的とする。

本発明の画像処理方法は、光学系を介して撮影された画像の劣化を画像回復フィルタを用いて補正する画像処理方法であって、固定小数点演算で演算可能な最大値に基づいて計算される回復ゲインリミット値を回復ゲイン値が超えないように前記画像回復フィルタの周波数特性を計算するステップと、前記画像回復フィルタの周波数特性をフーリエ変換することにより前記画像回復フィルタを生成するステップと、前記画像回復フィルタを用いて前記画像の劣化を補正するステップと、を有することを特徴とする。

本発明によれば、画像回復精度を維持し、オーバーフローを防止することが可能な画像処理方法、撮像装置、画像処理装置を提供することができる。

本実施形態の画像回復処理を示すフローチャートである。（実施例１、２） 図１に示す画像回復処理を実行する撮像装置のブロック図である。（実施例１、２） 本発明における画像回復処理の光学伝達関数の逆特性に基づいた周波数特性の一例を示す図である。（実施例１、２） 本発明における周波数変換部におけるビット数割り当ての一例を示す図である。（実施例１、２） 本発明の画像回復処理のフローチャートである。（実施例１） 本発明の画像回復処理のフローチャートである。（実施例２）

撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束せず、ＰＳＦ（点像強度分布関数）と呼ばれる微小な広がりを持つようになる。この結果、撮影光学系を介して撮影された画像はぼけて解像度が劣化する。この画像劣化を補正する従来の画像回復は以下の通りである。

実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、次式が成立する。

ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ ・・・（１）
（１）式にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）へ変換すると次式のようになる。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） ・・・（２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。（２）式を変形すると、次式のようになる。

Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） ・・・（３）
これは周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）をＰＳＦであるｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ることにより、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換であるＦ（ｕ，ｖ）を得ることができることを意味する。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化前の画像ｆ（ｘ，ｙ）を得ることができる。

しかしながら、この画像回復は、撮像素子によって生じ得るノイズを著しく増幅させ、画像上にリンギングを発生させるおそれがあり、単純な逆特性で除算する手法では良好な画像を得ることが困難である。

そこで、ノイズの増幅を抑制する画像回復手法として、（４）式で表されるウィナーフィルタ（回復ゲイン周波数特性）Ｗ（ｕ，ｖ）を用いることが知られている。ここで、Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。対象画像に全くノイズが発生していなくても、増幅率が大きくなり過ぎるとリンギングやエッジの掘り込みが発生し易くなるため、Γの制御は重要である。従って、Γを、増幅率を制御する調整項として利用する。Γは定数ではなくΓ（ｕ，ｖ）として、周波数特性を考慮した調整項としてもよい。

Ｗ（ｕ，ｖ）
＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜＾２／（｜Ｈ（ｕ，ｖ）｜＾２＋Γ） ・・・（４）
（４）式を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差によって発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。即ち、ウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると次式が得られる。画像回復フィルタの周波数特性は、光学伝達関数の逆数（逆特性）を利用している。

Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ） ・・・（５）
Ｗ（ｕ，ｖ）を回復ゲイン周波数特性、Γを回復ゲイン調整項と称する。（５）式は、周波数空間上での回復処理であり、実空間で考えれば対象となる領域にシフトインバリアントなフィルタをコンボリューションすることと等価である。

この回復処理は、像高全域に亘って収差が良好に補正されている場合や収差特性の変化が小さい領域に限定すれば精度を維持することができる。しかし、デジタルカメラ等に用いられる撮像光学系は、像高全域での収差変動が大きく、また像高の位置に応じてビネッティングも大きく変動するため、この限りではない。

このため、回復ゲイン周波数特性Ｗ（ｕ，ｖ）を、像高毎に実空間上に変換し、実空間画像回復フィルタｗ（ｘ，ｙ）として像高毎にコンボリューションする必要がある。このとき像高の代表点の実空間画像回復フィルタｗ（ｘ，ｙ）を生成し、代表点以外は、代表点から補間生成して用いるなどして処理負荷を減らしてもよい。

ＯＴＦの逆特性に基づくウィナーフィルタに準じた方式では、（４）式における回復ゲイン調整項Γの制御が重要となる。回復ゲイン調整項Γを大きくすれば回復ゲイン周波数特性Ｗ（ｕ，ｖ）が小さくなり、回復ゲイン調整項Γを小さくすれば回復ゲイン周波数特性Ｗ（ｕ，ｖ）が大きくなる。

以上を考慮して回復ゲイン周波数特性Ｗ（ｕ，ｖ）を設計し、実際の画像回復処理ではこの回復ゲイン周波数特性Ｗ（ｕ，ｖ）をフーリエ逆変換して実空間画像回復フィルタｗ（ｘ，ｙ）を生成する。

従って、変換を用いる画像回復処理では、フーリエ変換またはフーリエ逆変換後のデータがオーバーフローしないように、フーリエ変換またはフーリエ逆変換の対象となるデータの整数部、小数部割り当てを制御する必要がある。

まず、離散フーリエ変換におけるフーリエ変換対を以下のように定義する。

式（６）はフーリエ変換であり、式（７）はフーリエ逆変換である。フーリエ逆変換は１／（ＭＮ）でスケーリングされていない場合もあるが、どちらでもよい。また、式中のｅｘｐ部分を回転因子と呼ぶ。定義によっては回転因子の前の符号が逆である場合もあるが、フーリエ変換対として成立していればよい。
ここでＭ、Ｎは２次元データのそれぞれの次元におけるタップ数であり、ＭとＮの積ＭＮをデータ点数とする。

実空間画像回復フィルタｗ（ｘ，ｙ）を生成するには、式（７）のフーリエ逆変換を用いる。Ｆ（ｕ，ｖ）は回復ゲイン周波数特性に相当し、ｆ（ｘ，ｙ）は実空間画像回復フィルタに相当する。ここで、Ｆ（ｕ，ｖ）からｆ（ｘ，ｙ）の最大値を見積もる方法を説明する。簡単のため、Ｆ（ｕ），ｆ（ｘ）の一次元フーリエ変換で説明する。

a_m，b_mはそれぞれ回復ゲイン特性の実部、虚部の値である。δ（ｕ−ｍ）はδ関数を位置ｍシフトすることを意味している。jは虚数単位である。

Ｆ（ｕ）を数３のようにおくと、次式が成立する。

ここで、三角不等式を用いると下記が成り立つ。

従って、次式が成立する。

従って、周波数変換部は最大値としてΣΣ｜ａ_ｍ＋ｊｂ_ｍ｜を格納でき、更に所望の計算精度の小数点ビット数と符号ビット１ビットを確保する必要がある。若しくは、確保した全体のビット数から符号ビット１ビットと小数点ビット数を除いたビット数にΣΣ｜ａ_ｍ＋ｊｂ_ｍ｜が収まるようにａ_ｍとｂ_ｍを制御しなくてはならない。

図１は、本実施形態の画像処理装置が実行する画像回復処理（画像処理方法）の簡単な処理手順を示すフローチャートであり、「Ｓ」はステップを表す。このうち、Ｓ１０２〜Ｓ１０８は画像回復フィルタの生成方法としても機能する。

まず、光学伝達関数情報（ＯＴＦ情報）を取得する（Ｓ１０２）。ＯＴＦ情報は、撮影条件、例えば、撮像光学系の焦点距離、Ｆ値、撮影距離など、に依存する。ＯＴＦ情報は、想定する波長、撮影画像上の像高別に複数種類取得してもよい。

次に、ＯＴＦ情報に対する目標回復ゲイン値Ｇを、回復ゲインリミット値Ｇｍを超えないように設定する（第１ステップ、Ｓ１０４）。目標回復ゲイン値Ｇは、回復の強さを表す指標（ＯＴＦの絶対値であるＭＴＦの目標回復度合）であり、目標回復ゲイン値Ｇが大きければ、より劣化した画像も回復することができるが、画像回復フィルタのデータ量も大きくなり、オーバーフローし易くなる。そこで、本実施形態は、Ｇの上限値としてＧｍを設定してオーバーフローを防止している。つまり、目標回復ゲインＧは、回復ゲインリミット値Ｇｍ以下となるようにする。Ｇｍの設定方法については後述する。

次に、ＯＴＦ情報の逆特性と設定した目標回復ゲイン値Ｇに基づいて、式（４）に示す回復ゲイン周波数特性Ｗ（ｕ，ｖ）を生成する（第２ステップ、Ｓ１０６）。式（４）は、目標回復ゲイン値Ｇに対して、回復ゲイン調整項Γを制御して回復ゲイン周波数特性Ｗ（ｕ，ｖ）を生成する。

次に、生成された回復ゲイン周波数特性Ｗ（ｕ，ｖ）をフーリエ逆変換し、実空間画像回復フィルタｗ（ｘ，ｙ）を生成する（Ｓ１０８）。対象となる画像に対して実空間の画像回復フィルタｗ（ｘ，ｙ）をコンボリューションすることで回復処理を実行する（第３ステップ、Ｓ１１０）。

図２は、上述した画像処理方法を実行する画像処理回路を備えた撮像装置のブロック図である。撮像装置には、絞り１０１ａ及びフォーカスレンズ１０１ｂを備えた撮像光学系１０１が交換可能に装着される。撮影光学系は、被写体の光学像を形成する。絞り１０１ａは、撮像素子１０２に入射する光量を調整する。フォーカスレンズ１０１ｂは、光軸方向に移動して焦点調節を行う。

なお、本発明は本実施形態に限定されるものではなく、撮像光学系が一体化された撮像装置にも適用可能である。撮像光学系１０１を介して得られた撮影画像は、撮像素子１０２により光電変換が行われてアナログ信号に変換され、Ａ／Ｄ変換器１０３によりデジタル信号に変換される。

画像処理部（画像処理手段）１０４は、このデジタル信号に対して、状態検知部１０７及び記憶部１０８の各情報を用いて画像処理を行い、画像情報を生成する。

画像処理部１０４は、画像回復処理回路を有して図１に示すハードウエアによる演算を利用した画像回復も行う。これにより、撮像装置で画像処理を行うことができる。

この場合、ＯＴＦ情報を交換レンズの不図示のメモリに格納してレンズ制御手段である撮像光学系制御部１０６からこの情報を取得してもよい。あるいは、カメラ本体の記憶部１０８が、ＯＴＦ情報を保持してシステムコントローラ１１０は撮像光学系制御部１０６から識別情報（ＩＤ情報）を取得して対応するＯＴＦ情報を取得してもよい。ＯＴＦは、撮影条件に依存するので、状態検知部１０７において取得した撮影条件情報も同様に記憶部１０８に保持してもよい。また、記憶部１０８は、画像回復フィルタの情報や上述した数式の情報、画像回復に必要なプログラムや変数を保持してもよい。

システムコントローラ１１０は、画像処理部１０４、表示部１０５、撮像光学系制御部１０６、状態検知部１０７、及び、画像記録媒体１０９の各部を制御するカメラ制御手段であり、マイクロコンピュータなどから構成される。撮像光学系制御部１０６は、撮像光学系１０１の動作を制御し、状態検知部１０７は、撮像光学系制御部１０６の情報から撮像光学系１０１の状態を検知する。システムコントローラ１１０は、後述する画像回復において判断、設定、決定などを行う。例えば、システムコントローラ１１０は、入力された目標回復ゲイン値Ｇが回復ゲインリミット値Ｇｍを超えていないかどうかを判断し、超えていない場合に目標回復ゲイン値Ｇを記憶部１０８に設定する。また、後述する実施例１、２では、システムコントローラ１１０は、画像回復フィルタの周波数特性の絶対値の平均値または絶対値の最大値が、目標回復ゲイン値Ｇから許容範囲内にあるかどうかを判断する。

なお、本実施形態の画像回復は専用の画像処理装置やＰＣで実行されることを妨げるものではない。

本実施形態の画像処理方法を実行する画像処理回路は、固定小数点演算で動作するため、ソフトウエアによる演算を使用するよりも圧倒的な処理速度が得られ易いが、固定小数点演算に起因する演算中のオーバーフローや計算精度の不足等が発生しやすい。これらを回避するために、回復ゲインリミット値Ｇｍを用いる。

本実施形態においては、固定小数点演算におけるフーリエ変換、逆変換を行う周波数変換部で、固定小数点演算で演算可能な最大値をデータ点数で除算することによって算出される値を回復ゲインリミット値Ｇｍとする。

画像が２次元画像である場合、一般的に、画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなり、画像回復フィルタのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタは、少なくとも収差の特性を反映しており、エッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタは光学伝達関数の逆数に基づいて設定され、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

実際の画像にはノイズ成分が含まれるため、光学伝達関数の逆数をとって作成した画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分も増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＯＴＦの絶対値であるＭＴＦ（振幅成分：ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を全周波数に亘って１に戻すようにＭＴＦを回復するためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦの回復度合（回復ゲイン）に応じてノイズが増幅されてしまう。

以下、本画像回復システムを使用する使用者が指定した目標回復ゲイン値Ｇが回復ゲインリミット値Ｇｍを超過しないように制御する方法を述べる。目標回復ゲイン値Ｇとは、画像回復の補正の強さの目安となるものである。

回復ゲイン周波数特性Ｗ（ｕ，ｖ）の各周波数位置の絶対値の平均値（１／ＭＮ）Σ｜Ｗ（ｕ，ｖ）｜（以下、「平均回復ゲイン値」と称する）と、最大絶対値ｍａｘ｛｜Ｗ（ｕ，ｖ）｜｝（以下、「最大回復ゲイン値」と称する）のそれぞれを使用して説明する。まず、目標回復ゲイン値Ｇを平均回復ゲイン値とした場合について説明する。

目標回復ゲイン値Ｇは、回復ゲインリミット値Ｇｍ超過しないように設定される対象であり、周波数空間上の回復ゲイン特性Ｗ（ｕ，ｖ）そのものである。本実施形態では、目標回復ゲイン値Ｇはユーザが任意に設定し、回復ゲインリミット値Ｇｍはシステムコントローラ１１０が設定する。回復ゲインリミット値Ｇｍは表示部１０５に表示されてもよい。ユーザが、回復ゲインリミット値Ｇｍを超える目標回復ゲイン値Ｇを入力した場合には、設定できない旨の警告がでて再入力を促されるか、自動的に回復ゲインリミット値Ｇｍが目標回復ゲイン値Ｇとして設定されてもよい。

図３（ａ）、（ｂ）、（ｃ）は、回復ゲイン調整項Γの値が０．００５、０．０１、０．０２の回復ゲイン特性、Ｒｅ、Ｉｍ、Ａｂｓはそれぞれ回復ゲイン周波数特性Ｗ（ｕ，ｖ）の実部、虚部、絶対値を示している。

式（４）を見ると、（１／ＭＮ）Σ｜Ｗ（ｕ，ｖ）｜を所望の値にするための回復ゲイン調整項Γの値は簡単には求めることができないため、回復ゲイン調整項Γにある初期値Γ０を与え、その時の（１／ＭＮ）Σ｜Ｗ（ｕ，ｖ）｜を求める。終了条件を満たさない場合は、回復ゲイン調整項ΓをΓ０からΓ１に微小変化させて再度評価を行うことで（１／ＭＮ）Σ｜Ｗ（ｕ，ｖ）｜を所望の値に収束させる。回復ゲイン周波数特性Ｗ（ｕ，ｖ）は、複素数データであり、Ｗ（ｕ，ｖ）＝Ｒｅ｛Ｗ（ｕ，ｖ）｝＋ｊＩｍ｛Ｗ（ｕ，ｖ）｝である。

図３（ａ）は、回復ゲイン調整項Γ＝０．００５における、Ｒｅ｛Ｗ（ｕ，ｖ）｝、Ｉｍ｛Ｗ（ｕ，ｖ）｝、｜Ｗ（ｕ，ｖ）｜を表している。図３（ｂ），（ｃ）は、同様にΓ＝０．０１、Γ＝０．０２の場合である。

まず、Ｗ（ｕ，ｖ）＝Ｒｅ｛Ｗ（ｕ，ｖ）｝＋ｊＩｍ｛Ｗ（ｕ，ｖ）｝が計算され、絶対値を取り｜Ｗ（ｕ，ｖ）｜が生成される。ここで（１／ＭＮ）Σ｜Ｗ（ｕ，ｖ）｜を評価すると、（ａ），（ｂ），（ｃ）のそれぞれで３．３８，２．４３，１．６６である。

式（４）においてΓ＝０．００５，０．０１，０．０２と変化させていったときに平均回復ゲイン値は３．３８，２．４３，１．６６と変化することを意味している。仮に、目標回復ゲイン値Ｇが２．００であれば、回復ゲイン調整項Γは０．０１と０．０２の間で収束し、目標回復ゲイン値Ｇが１．５０ならば回復ゲイン調整項Γは０．０２より大きな値で収束する。

次に、目標回復ゲイン値Ｇを最大回復ゲイン値とした場合について説明する。評価の手法は同様であるから詳細は割愛するが、最大回復ゲイン値の場合、ｍａｘ｛｜Ｗ（ｕ，ｖ）｜｝について収束判定する。図３の場合の例で言えば、（ａ），（ｂ），（ｃ）のｍａｘ｛｜Ｗ（ｕ，ｖ）｜｝はそれぞれ７．０７，５．００，３．５４である。

本実施形態の画像回復は、フーリエ変換、逆変換を実行する周波数変換部のビット数を３２ビットとする。

図４は、本実施形態の周波数変換部における符号部、整数部、小数部へのビット数割り当ての一例を示す図である。３２ビットでの演算では、図４（ａ）〜（ｄ）に共通で符号部に１ビット割り当てられる。整数部は、それぞれ１１，９，７，５ビットの割り当てると、小数部はそれぞれ２０，２２，２４，２６ビットの割り当てとなる。実際には、固定小数点の演算時の丸めにより、少なくとも１ビットの余裕ができる。

整数部は、回復ゲイン周波数特性Ｗ（ｕ，ｖ）の分布のダイナミックレンジに大きな影響を及ぼし、小数部は、回復ゲイン周波数特性Ｗ（ｕ，ｖ）の精度、そしてフーリエ変換、逆変換の精度に大きな影響を及ぼす。即ち、回復ゲイン周波数特性Ｗ（ｕ，ｖ）のダイナミックレンジを大きくすれば精度が落ち、回復ゲイン周波数特性Ｗ（ｕ，ｖ）やフーリエ変換、逆変換演算の精度を向上させればダイナミックレンジが小さくなる。

３２ビットを図４（ａ）に示すように割り当てると、式（７）のＦ（ｕ，ｖ）と回転因子の積で最小１／（２＾２０）まで表現でき、Ｆ（ｕ，ｖ）に小数点以下３〜４桁、ｓｉｎ，ｃｏｓに相当する回転因子に３〜４桁割り当てることになる。

この割り当てでは、画像回復精度が不足するが、整数部に２＾１１ビット割当てているため、回復ゲインリミット値Ｇｍが大きくなる。しかしながら、実用上２＾１１ビットも整数部割り当てがあっても殆どの場合無駄になるため、図４（ｂ）、（ｃ）に示すように、９〜７ビット程度整数部を確保すれば十分である。これにより、回復ゲイン周波数特性Ｗ（ｕ，ｖ）や回転因子に小数部ビットを多く割り当てることができるので、画像回復システムの演算が安定する。

一方、図４（ｄ）に示すように、整数部を５ビット程度まで減らすと、小数部ビット数は２６ビットとなり、演算精度は非常に向上するが、整数部に５ビットしか確保されていない。このため、演算中の数値丸めによる余裕を含めても３２タップの回復フィルタを用いた回復処理が原理的な限界となり、さらに平均回復ゲインで２未満の強さでしか実空間画像回復フィルタｗ（ｘ，ｙ）を生成できなくなる。

固定小数点演算で動作する画像回復フィルタ生成の工程では、回復ゲイン周波数特性Ｗ（ｕ，ｖ）から実空間画像回復フィルタｗ（ｘ，ｙ）へのフーリエ逆変換時に最も整数部の値が大きくなり、オーバーフローが発生し易い。このときの最大値は回復ゲイン周波数特性Ｗ（ｕ，ｖ）の各値の絶対値の和であるΣΣ｜ａ_ｍ＋ｊｂ_ｍ｜となる。このため、周波数変換部で取り得る最大値をΣΣ｜ａ_ｍ＋ｊｂ_ｍ｜確保し、回復ゲインリミットを平均値１／（ＭＮ）ΣΣ｜ａ_ｍ＋ｊｂ_ｍ｜以下とすればフーリエ逆変換時にオーバーフローが発生することはなくなる。

即ち、ダイナミックレンジと演算精度のバランスをとったビット数の割り当てを行い、表現できるダイナミックレンジの最大値を回復ゲインリミット値Ｇｍとすることにより、少ないビット数で画像回復処理の強さと画像回復精度を両立することができる。

まず、画像回復処理を行う前に回復ゲインリミット値Ｇｍを設定し、周波数変換部で確保できる最大ビット数（例えば、３２ビット）を設定しておく。これは、その他の回路との兼ね合いや、コストとの兼ね合いで実現しうる回路実装規模内で決定される。その後、符号部、整数部、小数部に画像回復システムとして必要な効果、精度に応じてビット数を、例えば、図４（ｂ）に示すように、割り当てる。これにより、画像回復システム内部で表現しうる最大値が決定される。ため、この最大値をデータ点数で除算した値を回復ゲインリミット値Ｇｍとする。回復ゲインリミット値Ｇｍは画像回復システムに保持しておく。

画像回復フィルタのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。以上は実施例２にも当てはまる。

図５は、実施例１の実空間画像回復フィルタｗ（ｘ，ｙ）を生成するフローチャートである。上述したように、使用者が任意に画像回復の強さ（目標回復ゲイン値Ｇ）を設定する。目標回復ゲイン値Ｇが回復ゲインリミット値Ｇｍ以上に設定されないようになっている（Ｓ２０２）。予め指定可能範囲を回復ゲインリミット値Ｇｍ未満としてもよいし、目標回復ゲイン値Ｇが回復ゲインリミット値Ｇｍ以上になった場合にクリッピングしてもよい。

次に、回復ゲイン調整項Γの初期値Γ０を式（４）に入力する（Ｓ２０４）。初期値Γ０が小さ過ぎると回復ゲイン特性がオーバーフローしてしまうため、若干大きめの値を有する。ここから回復ゲイン調整項Γを更新する。更新するための回復ゲイン調整項Γの変化量は逐次変更しながら収束させるのが望ましい。回復ゲイン周波数特性Ｗ（ｕ，ｖ）の平均回復ゲインをＡ＝（１／ＭＮ）Σ｜Ｗ（ｕ，ｖ）｜とし、ゲイン調整項Γを更新するたびに（Ｓ２０６）平均回復ゲインＡを求める（Ｓ２０８）。平均回復ゲインＡが目標回復ゲインＧに対して±εの許容範囲内に収束した場合（Ｓ２１０）、回復ゲイン調整項Γの更新を終了する。

最終的な回復ゲイン調整項Γを用いて生成された（Ｓ２１２）回復ゲイン周波数特性Ｗ（ｕ，ｖ）をフーリエ逆変換することで実空間画像回復フィルタｗ（ｘ，ｙ）を生成する（Ｓ２１４）。生成された実空間画像回復フィルタｗ（ｘ，ｙ）を用いて画像を補正し、出力する。

図６は、実施例２の実空間画像回復フィルタｗ（ｘ，ｙ）を生成するフローチャートである。図５と同一のステップには同一の参照符号を付している。Ｓ２０２、Ｓ２０４の後で、回復ゲイン周波数特性Ｗ（ｕ，ｖ）の最大回復ゲイン値をＢ＝ｍａｘ｛｜Ｗ（ｕ，ｖ）｜｝とし、回復ゲイン調整項Γを更新するたびに（Ｓ２０６）最大回復ゲインＢを求める（Ｓ２０９）。最大回復ゲインＢが目標回復ゲインＧに対して±εの許容範囲内に収束した場合（Ｓ２１１）、回復ゲイン調整項Γの更新を終了する。

ここで、εは任意に設定してよいが、小さ過ぎると収束せずに無限ループに陥るおそれがあるので、別途回数による終了判定を併用することが好ましい。最終的に回復ゲイン調整項Γの更新が終了した回復ゲイン周波数特性Ｗ（ｕ，ｖ）（Ｓ２１２）をフーリエ逆変換することで実空間画像回復フィルタｗ（ｘ，ｙ）を生成する（Ｓ２１４）。生成された実空間画像回復フィルタｗ（ｘ，ｙ）を用いて画像を補正し、出力する。

最大回復ゲインＢで回復ゲイン周波数特性Ｗ（ｕ，ｖ）を収束させる場合、平均回復ゲインは必ず最大回復ゲインＢ以下になるため、平均回復ゲインを監視する必要はなく、簡易な実装が可能となる利点がある。

本発明は、画像回復の用途に適用することができる。

１０１…撮影光学系、１０２…撮像素子、１０４…画像処理部（画像処理手段）、１１０…システムコントローラ（制御手段）

Claims (8)

1. 光学系を介して撮影された画像の劣化を画像回復フィルタを用いて補正する画像処理方法であって、
   固定小数点演算で演算可能な最大値に基づいて計算される回復ゲインリミット値を回復ゲイン値が超えないように前記画像回復フィルタの周波数特性を計算するステップと、
   前記画像回復フィルタの周波数特性をフーリエ変換することにより前記画像回復フィルタを生成するステップと、
   前記画像回復フィルタを用いて前記画像の劣化を補正するステップと、
   を有することを特徴とする画像処理方法。
2. 前記回復ゲインリミット値は、固定小数点演算で演算可能な最大値を前記画像回復フィルタのデータ点数で除算することにより計算されることを特徴とする請求項１に記載の画像処理方法。
3. 前記回復ゲイン値が、前記画像回復フィルタの周波数特性の絶対値の平均値以下となるように、前記画像回復フィルタの周波数特性を計算することを特徴とする請求項１に記載の画像処理方法。
4. 前記周波数特性をＷ（ｕ，ｖ）、前記光学系の光学伝達関数をＨ（ｕ，ｖ）とするとき、前記回復ゲイン値が、前記画像回復フィルタの周波数特性の絶対値の平均値以下となるように、
   Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）｜^２＋Γ）
   で表されるΓを更新することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記回復ゲインリミット値を超える目標回復ゲイン値が入力された場合に前記回復ゲインリミット値を前記目標回復ゲイン値として設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記回復ゲインリミット値を超える目標回復ゲイン値が入力された場合に、前記回復ゲインリミット値を超えている旨の警告と前記目標回復ゲイン値の再入力を促すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
7. 光学系を介して撮影された画像の劣化を画像回復フィルタを用いて補正する画像処理装置であって、
   固定小数点演算で演算可能な最大値に基づいて計算される回復ゲインリミット値を回復ゲイン値が超えないように前記画像回復フィルタの周波数特性を計算し、前記画像回復フィルタの周波数特性をフーリエ変換することにより前記画像回復フィルタを生成する制御手段と、
   前記画像回復フィルタを用いて前記画像の劣化を補正する画像処理手段と、
   を有することを特徴とする画像処理装置。
8. 光学系が形成した光学像を光電変換することにより画像を撮像する撮像素子と、
   画像回復フィルタを用いて前記画像の劣化を補正する画像処理手段と、
   固定小数点演算で演算可能な最大値に基づいて計算される回復ゲインリミット値を回復ゲイン値が超えないように前記画像回復フィルタの周波数特性を計算し、前記画像回復フィルタの周波数特性をフーリエ変換することにより前記画像回復フィルタを生成する制御手段と、
   を有することを特徴とする撮像装置。