JP5656926B2 - 画像処理方法、画像処理装置および撮像装置 - Google Patents

Description

本発明は、撮影光学系を通した撮像によって生成された画像の劣化成分を画像回復処理により低減する画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮影光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

また、倍率色収差は、光の波長ごとの結像倍率の相違によって結像位置がずれた色成分ごとの像を、撮像装置の分光特性に応じて色成分ごとに取得することで発生する。このとき、ＲＧＢ等の色成分間で結像位置がずれるだけでなく、各色成分内でも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。このため、正確には倍率色収差は単なる平行シフトの色ずれではないが、本明細書では、色ずれを倍率色収差と同じものとして記載する。

劣化画像（入力画像）における振幅成分（ＭＴＦ）の劣化と位相成分（ＰＴＦ）の劣化を補正する方法として、光学系の光学伝達関数の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系の光学伝達関数の情報を用いて劣化画像を補正（低減）する処理を画像回復処理（または単に回復処理）と称する。そして、詳細は後述するが、画像回復処理の方法の１つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。特許文献１には、画像の劣化を補正するためのフィルタ係数を保持して画像処理を行う方法が開示されている。

主たる被写体にピントを合わせて撮像した場合、その被写体の前後に位置する被写体の画像はピントがずれたぼけた画像となる。そのため、ピントがずれた被写体の画像に対して回復処理を行う場合、それぞれの被写体の位置（つまりはピントのずれ量）に応じた画像回復フィルタを用いる必要がある。ただし、ピントずれ量ごとに画像回復フィルタを用意しておくのでは、用意すべき（つまりメモリに保存しておくべき）画像回復フィルタのデータ量が多くなる。また、ピントがずれた被写体の画像に対しても回復処理を行うと、処理時間が長くなる。このため、特許文献２には、撮影画像のうちピントが合った領域に対してのみ画像回復処理を行うようにして、処理速度を向上させる方法が開示されている。

特表２００５−５０９３３３号公報 特開２０１１−４４８２５号公報

画像回復処理で用いる画像回復フィルタは、２次元フィルタであるため、撮像時の焦点距離、物体距離、絞り値等の撮影状態（撮像条件）や像高ごとに画像回復フィルタを用意するのでは、保存すべきデータ量が膨大となる。しかしながら、特許文献１では、データ量の削減については言及されていない。

また、特許文献２にて開示されているように撮影画像のうちピントが合った領域に対してのみ回復処理を行う場合でも、ピントが合う領域は撮像ごとに異なる。このため、画像回復フィルタは、撮影画像の全体に対して用意しておく必要があり、結局、画像回復フィルタのデータ量を削減することは難しい。

本発明は、保存しておくべき画像回復フィルタのデータ量を削減しつつ、良好な画像を得ることができる画像処理方法、画像処理装置および撮像装置を提供する。

本発明の一側面としての画像処理方法は、撮影光学系を通した撮像により生成された入力画像を準備するステップと、画像回復処理に用いる画像回復フィルタを記憶部に保存するステップと、撮像時における撮影光学系の状態である撮影状態を示す情報を取得するステップと、撮影状態に応じて、入力画像に対して画像回復処理を行うか否かを判定する判定ステップと、該判定ステップにて画像回復処理を行うと判定された場合に、画像回復フィルタを記憶部から取得するフィルタ取得ステップと、該フィルタ取得ステップにて取得した画像回復フィルタを用いて入力画像に対する画像回復処理を行うステップとを有し、画像回復処理は撮影光学系の光学伝達関数の情報を用いて前記入力画像を補正する処理であり、記憶部に保存する画像回復フィルタは画像回復処理を行うと判定される撮影状態に対してのみ用意された画像回復フィルタであることを特徴とする。

また、本発明の他の一側面としての画像処理装置は、撮影光学系を通した撮像により生成された入力画像を取得する画像取得部と、画像回復処理に用いる画像回復フィルタを保存する記憶部と、撮像時における撮影光学系の状態である撮影状態を示す情報を取得する撮影状態取得部と、撮影状態に応じて、入力画像に対して画像回復処理を行うか否かを判定する判定部と、該判定部にて画像回復処理を行うと判定された場合に、画像回復フィルタを前記記憶部から取得し、取得した前記画像回復フィルタを用いて入力画像に対する画像回復処理を行う処理部とを有し、画像回復処理は撮影光学系の光学伝達関数の情報を用いて前記入力画像を補正する処理であり、記憶部に保存する画像回復フィルタは画像回復処理を行うと判定される撮影状態に対してのみ用意された画像回復フィルタであることを特徴とする。

なお、上記画像処理装置を搭載した撮像装置および上記画像処理方法をコンピュータに実行させる画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、画像回復処理を行うと判定される撮影状態に対してのみ画像回復フィルタを用意しておけばよいため、記憶部に保存しておくべき画像回復フィルタのデータ量を削減することができる。しかも、画像回復処理が必要な撮影状態で撮像が行われた場合には画像回復処理が行われるため、良好な画像を得ることができる。

本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図。 実施例１の画像処理装置で行われる画像処理（画像回復処理を含む）を示すフローチャート。 本発明の実施例２である画像処理装置を示す図。 実施例１での画像回復処理で用いられる画像回復フィルタを説明する図。 実施例１での画像回復処理による点像の補正を説明する図。 実施例１での画像回復処理による振幅と位相の補正を説明する図。 実施例１に対応する数値例１の撮影光学系の広角端、無限遠合焦および絞り開放状態での断面図。 数値例１の広角端、無限遠合焦および絞り開放状態での縦／横収差図と、中間ズーム位置、無限遠合焦および絞り開放状態での縦／横収差図。 数値例１の望遠端、無限遠合焦および絞り開放状態での縦／横収差図と、広角端、無限遠合焦および絞りＦ８状態での縦／横収差図。 数値例１の撮影光学系の中間ズーム位置、物体距離５０ｃｍ合焦および絞り開放状態での縦／横収差図。 実施例１に対応する数値例２の撮影光学系の広角端、無限遠合焦および絞り開放状態での断面図。 数値例２の広角端、無限遠合焦および絞り開放状態での縦／横収差図。 数値例２の中間ズーム位置、無限遠合焦および絞り開放状態での縦／横収差図。 数値例２の望遠端、無限遠合焦および絞り開放状態での縦／横収差図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例で用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像は、撮像装置において撮影光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子により構成された撮影光学系の収差の情報を含む光学伝達関数（ＯＴＦ）に応じて劣化した画像である。撮像素子は、ＣＭＯＳやＣＣＤ等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー（反射面）を含んでもよい。また、撮影光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。

入力画像や回復画像（出力画像）には、入力画像を生成した撮像時における撮影光学系の焦点距離、絞り値、合焦した被写体距離等の状態である撮影状態（言い換えれば、撮影条件）を示す情報としての撮影状態情報を付帯することができる。また、入力画像を補正するための各種補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影状態情報や補正情報を付帯することが好ましい。撮影状態情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
「画像回復処理」
撮像装置による撮像によって生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の劣化していない画像をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式が成り立つ。＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）に相当する。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮像により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）である回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。

画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、撮影光学系の収差の情報を含む光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。

したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、式（１）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。

画像回復フィルタを、図４を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。

図４（ａ）では、例として、１１×１１タップの２次元画像回復フィルタを示している。図４（ａ）では、各タップ内の値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図４（ｂ）に示す。図４（ｂ）に示す画像回復フィルタの各タップ内の値は、上述した撮影光学系の様々な収差の情報に基づいて設定される。この画像回復フィルタのタップ値の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。

画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。

画像回復処理の実空間と周波数空間での特性を図５および図６を用いて説明する。図５の（ａ）は画像回復前のＰＳＦを示し、（ｂ）は画像回復後のＰＳＦを示している。また、図６の（Ｍ）の（ａ）は画像回復前のＭＴＦを示し、（Ｍ）の（ｂ）は画像回復後のＭＴＦを示している。さらに、図６の（Ｐ）の（ａ）は画像回復前のＰＴＦを示し、（Ｐ）の（ｂ）は画像回復後のＰＴＦを示している。画像回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持つ。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復後のＰＳＦは対称で、かつ鮮鋭になる。

画像回復フィルタは、撮影光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して作成することができる。例えば、ウィナーフィルタを用いる場合、式（１）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。

また、光学伝達関数（ＯＴＦ）は、同じ撮影条件であっても撮影光学系の像高（画像上での位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。

以下、本発明の具体的な実施例について説明する。

図１において、不図示の被写体からの光束は、撮影光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。撮影光学系１０１は、不図示の変倍レンズ、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮影光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。

撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この入力画像に対して画像回復処理と幾何変換処理（歪曲補正処理）を行う画像回復／歪曲補正部１０４ｂを有する。撮像素子１０２から画像生成部１０４ａまでにより撮像部が構成される。各種処理が行われた画像信号は、表示部１０５や画像記録媒体１０９に出力される。

画像回復／歪曲補正部１０４ｂは、状態検知部１０７から撮影光学系１０１の状態（以下、撮影状態という）の情報である撮影状態情報を取得する。撮影状態とは、例えば、撮影光学系１０１の焦点距離（ズーム位置）、絞り値（Ｆナンバー）および合焦した被写体距離（フォーカスレンズ位置）であり、撮像条件ということもできる。なお、状態検知部１０７は、システムコントローラ１１０から撮影状態の情報を得てもよいし、撮影光学系１０１を制御する撮影光学系制御部１０６から得てもよい。また、撮影状態は、これら焦点距離、絞り値および被写体距離のうち少なくとも１つを含めばよく、他のパラメータを含んでもよい。

記憶部１０８は、後述する限定された複数の撮影状態（ズーム位置、絞り値および被写体距離の複数の組み合わせ）のそれぞれに対応する画像回復フィルタを記憶（保存）している。

そして、画像回復／歪曲補正部１０４ｂは、撮影状態に対応する画像回復フィルタを記憶部１０８から取得（選択）し、該取得した画像回復フィルタを用いて入力画像に対して画像回復処理を行う。画像回復処理においては、位相成分のみを回復する処理を行ってもよいし、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。

また、画像処理部１０４は、少なくとも演算部と一時記憶部（バッファー）とを有し、後述する画像処理の工程ごとに必要に応じて一時記憶部に対する画像の書き込み（記憶）および読み出しを行う。記憶部１０８として、一時記憶部を用いてもよい。

さらに、記憶部１０８に、上記限定された複数の撮影状態に対応する画像回復フィルタを生成するために必要なフィルタ係数を記憶（保存）しておき、画像回復フィルタが必要な場合にそのフィルタ係数を用いて画像回復フィルタを生成してもよい。このように画像回復フィルタを生成するためのフィルタ係数が記憶部１０８に記憶されている場合も、記憶部１０８に画像回復フィルタが保存されていることに相当する。そして、撮影状態に対応するフィルタ係数を選択して画像回復フィルタを生成することも、画像回復フィルタを取得することに相当する。

また、画像回復／歪曲補正部１０４ｂは、撮影状態に対応する幾何変換条件を記憶部１０８から選択し、画像回復処理を受けた画像（回復画像）に対して幾何変換処理を行う。状態検知部１０７、画像回復／歪曲補正部１０４ｂおよび記憶部１０８により、撮像装置内での画像処理装置が構成される。画像回復／歪曲補正部１０４ｂは、画像取得部、判定部および処理部として機能する。また、画像回復／歪曲補正部１０４ｂは、状態検知部１０７とともに撮影状態取得部として機能する。

図２のフローチャートには、画像回復／歪曲補正部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復および幾何変換に関する処理（画像処理方法）の手順を示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムとしての画像処理プログラムに従って該処理を実行する。

ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された画像である入力画像を取得（準備）する。また、入力画像の取得の前または後に、画像回復処理に用いる画像回復フィルタを記憶部１０８に保存する。

次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮影状態情報を取得する。ここでは、撮影状態を、ズーム位置、絞り開口径および被写体距離の３つとする。

次に、ステップＳ３（判定ステップ）では、画像処理部１０４は、ステップＳ２で取得した撮影状態情報に示される撮影状態に基づいて、入力画像に対して画像回復処理を行うか否かを判定する。画像回復処理を行うと判定した場合はステップＳ４に進み、行わないと判定した場合はステップＳ７に進む。

本実施例では、様々な撮影状態のすべてに対して画像回復フィルタを用意せず、画像回復処理が必要と判定される撮影状態（第１の状態）に対してのみ画像回復フィルタを用意する。つまり、画像回復処理が不要と判定される撮影状態（第２の状態）に対して画像回復フィルタを用意せず、画像回復処理も行わない。

画像回復フィルタは、撮影光学系の各撮影状態での点像分布関数（ＰＳＦ）に基づいて生成するため、コマ収差のように非対称性の収差を回復するために２次元的なフィルタとなる。すなわち、画像回復処理は、歪曲補正処理のような１次元的な処理とは異なる。このため、撮影状態のすべてに対して画像回復フィルタを用意して記憶部１０８に保存すると、そのデータ量が膨大となり、記憶部１０８の記憶容量を非常に大きくする必要がある。また、撮影状態のすべてに対して画像回復処理を行うと出力画像を得るまでの処理時間が長くなる。このため、画像回復処理が必要な撮影状態に限り画像回復処理を行い、画像回復処理が不要とすることが可能な撮影状態については画像回復処理を行わず、画像回復フィルタも用意しないようにするのがよい。本実施例における画像回復処理が不要な撮影状態については後述する。

画像回復処理を行うか否かの判定を行うために、画像回復処理を行う撮影状態（ズーム位置、絞り開口径および被写体距離の組み合せ）のリストを記憶部１０８に記憶させておく。そして、画像処理部１０４は、ステップＳ２で取得した撮影状態情報に示される撮影状態が該リストに含まれていれば画像回復処理を行うと判定し、リストに含まれていない場合は画像回復処理を行わないと判定する。ただし、この判定方法は例であり、他の判定方法を用いてもよい。例えば、ステップＳ２で取得した撮影状態に対応する画像回復フィルタが記憶部１０８に記憶されている（存在する）か否かを判定する方法を用いてもよい。

ステップＳ４では、画像処理部１０４は、記憶部１０８に記憶された画像回復フィルタの中から、ステップＳ２で取得した撮影状態に対応する画像回復フィルタを選択（取得）する。前述したように記憶部１０８にフィルタ係数が保持されている場合には、撮影状態に対応するフィルタ係数を選択し、該選択したフィルタ係数を用いて画像回復フィルタを生成することによって、実質的に画像回復フィルタを取得する。ステップＳ３，Ｓ４がフィルタ取得ステップに相当する。

次に、ステップＳ５では、画像処理部１０４は、ステップＳ１で取得した入力画像に対して、ステップＳ４で取得した画像回復フィルタを用いて画像回復処理を行う。そして、ステップＳ６では、画像回復処理された画像である回復画像を生成する。

続いてステップＳ７では、画像処理部１０４は、ステップＳ６で生成した回復画像またはステップＳ３で画像回復処理を行わないと判定された場合の入力画像に対して、画像回復処理以外の画像処理を行って、最終的な出力画像を得る。ここでの「画像回復処理以外の画像処理」としては、画像回復処理を受けた画像がモザイク画像であれば、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。なお、これら画像回復処理以外の画像処理は、画像回復処理の後に限らず、その前や中間にて行ってもよい。

実施例１では、図２にて説明した画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、該画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。

図３において、２０１はパーソナルコンピュータとしての画像処理装置であり、画像処理ソフトウェア（画像処理プログラム）２０６を搭載している。

撮像装置２０２は、一般的なデジタルカメラやビデオカメラのほか、顕微鏡、内視鏡、スキャナ等の様々な撮像機能を有するものを含む。記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、画像処理装置の外部に設けられた記憶部に相当し、撮像により生成された画像のデータを記憶している。また、記憶媒体２０３に、画像回復フィルタのデータを保存させてもよい。

画像処理装置２０１は、撮像装置２０２又は記憶媒体２０３から画像（入力画像）を取得し、実施例１で説明した画像回復処理を含む各種画像処理を行って出力画像を生成する。画像回復フィルタは、画像処理装置２０１の内部に設けられた記憶部から取得してもよいし、外部の記憶媒体２０３から取得してもよい。そして、画像処理装置２０１は、出力画像のデータを、出力機器２０５、撮像装置２０２および記憶媒体２０３のうち少なくとも１つに出力したり、画像処理装置２０１内の記憶部に保存したりする。

出力機器２０５としては、プリンタ等が挙げられる。画像処理装置２０１には、モニタである表示機器２０４が接続されており、ユーザーはこの表示機器２０４を通して画像処理作業を行うとともに、出力画像を評価することができる。
［数値例］
以下、実施例１にて説明した画像回復処理が不要な撮影状態について具体的な数値例を挙げて説明する。撮影状態とは、前述したように、撮影光学系の焦点距離、合焦する物体までの距離（被写体距離）および絞り値の組み合わせを意味する。

図７に示す数値例１の撮影光学系は、ズーム比が５５．７倍の高倍率ズームレンズである。図７には、該撮影光学系の広角端、無限遠合焦および絞り開放状態での断面を示している。また、図８（ａ），（ｂ）にはそれぞれ、数値例１の撮影光学系の広角端、無限遠合焦および絞り開放状態での縦収差図および横収差図を示している。ＦｎｏはＦナンバーを、ωは半画角を示している。また、ｄはｄ線を、ｇはｇ線を示している。ΔＳはサジタル像面を、ΔＭはメリジオナル像面を、ｄＭはｄ線のメリジオナル光線を、ｄＳはｄ線のサジタル光線を、ｇＭはｇ線のメリジオナル光線をそれぞれ示している。

また、図８（ｃ），（ｄ）にはそれぞれ、数値例１の撮影光学系の中間ズーム位置、無限遠合焦および絞り開放状態での縦収差図および横収差図を示している。また、図９（ａ），（ｂ）にはそれぞれ、数値例１の撮影光学系の望遠端、無限遠合焦および絞り開放状態での縦収差図および横収差図を示している。さらに、図９（ｃ），（ｄ）にはそれぞれ、数値例１の撮影光学系の広角端、無限遠合焦および絞りＦ８状態での縦収差図および横収差図を示している。また、図１０（ａ），（ｂ）にはそれぞれ、数値例１の撮影光学系の中間ズーム位置、物体距離５０ｃｍ合焦および絞り開放状態での縦収差図および横収差図を示している。

数値例１の撮影光学系は、物体側から順に、正の第１レンズ群Ｌ１、負の第２レンズＬ２、正の第３レンズ群Ｌ３、負の第４レンズ群Ｌ４、正の第５レンズ群Ｌ５およびガラスブロック（光学フィルタ等を示す）ＧＢにより構成されている。ＳＰは絞りであり、ＩＰは 像面である。

高倍率ズームレンズでは、焦点距離が長くなる望遠端において軸上色収差、ｇ線の色コマ収差が発生して画像を劣化させる。また、広角端では、画面の周辺部の収差、特にコマ収差や像面湾曲が発生して画像を劣化させる。さらに、焦点距離が広角端と望遠端との間の中間ズーム位置では、焦点距離ごとに収差の変動があるが、その中でも図８（ｃ），（ｄ）に示すように収差が少ない領域も存在する。このように収差の少ない領域では、画像の劣化も少ないため、画像回復処理を行わなくても良好な画像を得ることができる。

また、図８（ａ），（ｂ）に示すように絞り開放状態では画面の周辺部の収差が目立った広角端での光学性能も、図９（ｃ），（ｄ）に示すように絞りをＦ８まで絞ることによって良好な光学性能となり、画像回復処理を行わなくても良好な画像を得ることができる。一方、図１０（ａ），（ｂ）に示すように、無限遠物体に合焦した状態では問題がなかった中間ズーム位置での光学性能も、５０ｃｍの近距離物体に合焦した場合は画面の周辺部において低下し、良好な画像を得ることができなくなる。

このように撮影状態には、収差が大きく画像回復処理が必要な撮影状態（第１の状態）と、図８（ｃ），（ｄ）や図９（ｃ），（ｄ）に示すように第１の状態より収差が小さく光学性能が良好であり、画像回復処理が不要な撮影状態（第２の状態）とが存在する。そして、光学性能が良好な撮影状態に対応する画像回復フィルタを記憶部１０８に保存しておかないようにすることで、記憶部１０８に保存しておくべき画像回復フィルタのデータ量を大幅に削減することが可能となる。また、このような撮影状態では、画像回復処理を行わないため、画像処理時間を大幅に短縮することができる。

図１１に示す数値例２の撮影光学系は、ズーム比が２．７２倍のズームレンズである。図１１には、該撮影光学系の広角端、無限遠合焦および絞り開放状態での断面を示している。また、図１２（ａ），（ｂ）にはそれぞれ、数値例２の撮影光学系の広角端、無限遠合焦および絞り開放状態での縦収差図および横収差図を示している。また、図１３（ａ），（ｂ）にはそれぞれ、数値例２の撮影光学系の中間ズーム位置、無限遠合焦および絞り開放状態での縦収差図および横収差図を示している。さらに、図１４（ａ），（ｂ）にはそれぞれ、数値例２の撮影光学系の望遠端、無限遠合焦および絞り開放状態での縦収差図および横収差図を示している。

数値例２の撮影光学系は、物体側から順に、負の第１レンズ群Ｌ１、正の第２レンズＬ２、負の第３レンズ群Ｌ３および正の第４レンズ群Ｌ４により構成されている。

図１２（ｂ）に示すように、広角端では、像高１０ｍｍ前後の中間像高（第１の像高）でコマ収差が大きく発生して画像が劣化する。しかし、像高１８ｍｍから画面の周辺部（第２の像高）にかけては、口径食によりコマ収差が低減しており、良好な画像を得ることができる。また、図１４（ｂ）に示すように、望遠端では、像高１８ｍｍ以上の画面の周辺部（第１の像高）にかけてはコマ収差が発生して画像が劣化するが、画面の中心から中間像高までの像高範囲（第２の像高）での光学性能は良好である。このように、像高の一部でのみ収差が大きく発生する場合には、収差が大きい領域（第２の像高より収差が大きい第１の像高）に対してのみ画像回復フィルタを記憶部１０８に保存しておく。そして、画像回復処理もこの領域に対してのみ行う。これにより、保存しておくべき画像回復フィルタのデータ量を削減することが可能となる。

このためには、図２に示したステップＳ３において、画像処理部１０４が、撮影状態に基づいて、像高ごとに、入力画像に対して画像回復処理を行うか否かを判定する。言い換えれば、入力画像のうち第１の像高に対応する領域に対して画像回復処理を行うか否かを判定する。そして、ステップＳ４では、画像回復処理を行うと判定した第１の像高に対応する画像回復フィルタを記憶部１０８から取得し、ステップＳ５にて入力画像におけるその像高に対する画像回復処理を行う。

なお、ここでは像高の中間域や周辺部で光学性能が低くなる場合について説明したが、球面収差が大きい場合等では画面の中心近傍に対してのみ画像回復処理を行うようにしてもよい。

以下、上記数値例１，２の具体的な数値を記す。ｒｉ（ｉ＝１，２，３，…）は物体側から数えてｉ番目のレンズ面の曲率半径を示し、ｄｉはｉ番目のレンズ厚または空気間隔を示す。また、ｎｄｉとνｄｉはｉ番目のレンズの材料のｄ線に対する屈折率とアッベ数を示す。また、レンズ面が非球面形状を有する場合の該非球面形状は、レンズ面の中心部の曲率半径をＲとし、光軸方向の位置（座標）をＸとし、光軸に直交する方向での位置（座標）をＹとし、非球面係数をＡｉ（ｉ＝１，２，３…）として、
Ｘ＝（Ｙ^２／Ｒ）／［１＋｛１―（Ｋ＋１）(Ｙ／Ｒ)^２｝^１／２ ］
＋Ａ４Ｙ^４＋Ａ６Ｙ^６＋Ａ８Ｙ^８＋Ａ１０Ｙ^１０＋・・・
なる式で表されるものとする。
［数値例１］
単位 mm
面データ
面番号 r d nd νd 有効径
1 108.140 1.80 1.72047 34.7 41.86
2 46.881 5.38 1.49700 81.5 38.16
3 -948.373 0.18 38.02
4 51.471 3.98 1.59282 68.6 37.27
5 280.555 (可変) 36.83
6 142.872 0.95 1.88300 40.8 19.50
7 9.035 3.72 14.11
8 420.609 0.80 1.80400 46.6 13.91
9 19.873 1.94 13.33
10 -96.265 0.70 1.80400 46.6 13.34
11 62.840 0.20 13.42
12 19.601 2.28 1.94595 18.0 13.75
13 111.630 (可変) 13.49
14(絞り) ∞ (可変) 8.73
15* 12.945 3.31 1.55332 71.7 12.72
16* ∞ 0.20 12.61
17 13.677 2.52 1.43875 94.9 12.51
18 -123.271 0.33 12.22
19 17.756 0.60 1.83400 37.2 11.43
20 9.366 (可変) 10.63
21 21.059 0.70 1.90366 31.3 10.61
22 9.026 2.67 1.58144 40.8 10.19
23 60.430 (可変) 10.13
24 21.336 2.10 1.49700 81.5 11.75
25 -55.035 0.60 2.00069 25.5 11.67
26 -105.716 (可変) 11.67
27 ∞ 0.30 1.51633 64.1 30.00
28 ∞ 0.47 30.00
29 ∞ 0.50 1.51633 64.1 30.00
30 ∞ (可変) 30.00
像面 ∞

非球面データ
第15面
K =-2.44016e+000 A 4= 7.92900e-005 A 6=-3.22651e-007 A 8= 6.18532e-009 A10=-4.46626e-011

第16面
K =-1.89560e+010 A 4= 2.15402e-005 A 6= 2.47226e-007

各種データ
ズーム比 55.70
広角 中間 望遠
焦点距離 3.86 28.81 215.00
Fナンバー 2.87 5.50 7.07
画角 40.81 7.66 1.03
像高 3.33 3.88 3.88
レンズ全長 105.12 125.61 151.12
BF 0.53 0.53 0.53

広角 中間 望遠 中間(物体距離50cm)
d 5 0.78 39.83 66.10 39.83
d13 31.87 8.14 1.50 8.14
d14 19.64 5.07 1.50 5.07
d20 2.15 3.26 4.34 3.26
d23 5.87 11.10 32.90 9.52
d26 8.05 21.45 8.03 23.03
d30 0.53 0.53 0.53 0.53

入射瞳位置 18.62 128.02 697.02
射出瞳位置 75.84 -83.36 1206.59
前側主点位置 22.68 146.93 950.35
後側主点位置 -3.33 -28.28 -214.47

ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 84.83 11.34 3.22 -4.14
2 6 -8.98 10.59 0.79 -7.77
絞り 14 ∞ 0.00 0.00 -0.00
3 15 21.73 6.96 -2.41 -6.21
4 21 -637.69 3.37 21.10 18.42
5 24 42.45 2.70 0.14 -1.57
GB 27 ∞ 1.27 0.50 -0.50

単レンズデータ
レンズ 始面 焦点距離
1 1 -116.30
2 2 90.05
3 4 105.65
4 6 -10.96
5 8 -25.97
6 10 -47.20
7 12 24.83
8 15 23.39
9 17 28.22
10 19 -24.57
11 21 -17.98
12 22 17.91
13 24 31.22
14 25 -115.40
15 27 0.00
16 29 0.00

［数値例２］
単位 mm
面データ
面番号 r d nd νd 有効径
1 168.906 2.79 1.60311 60.6 46.54
2 -1396.116 0.15 45.54
3 77.784 1.80 1.80610 40.9 39.38
4 20.706 8.71 31.35
5 -92.805 1.50 1.60311 60.6 31.22
6 50.759 0.15 30.07
7 34.395 3.45 1.84666 23.9 30.08
8 112.303 (可変) 29.67
9 41.185 1.00 1.84666 23.9 22.94
10 20.343 5.70 1.65160 58.5 22.82
11 -72.237 0.15 22.97
12 23.162 2.59 1.74400 44.8 22.88
13 34.884 (可変) 22.22
14(絞り) ∞ 1.03 20.72
15 -1546.248 3.41 1.69895 30.1 20.38
16 -24.251 1.00 1.69350 53.2 20.14
17 56.777 1.61 19.35
18 -68.912 1.00 1.65412 39.7 19.34
19 254.899 (可変) 19.45
20* 58.792 3.46 1.69350 53.2 19.66
21 -31.155 0.15 19.66
22 61.160 3.88 1.65844 50.9 18.44
23 -22.397 1.00 1.74950 35.3 17.88
24 32.672 (可変) 17.67
像面 ∞

非球面データ
第20面
K =-3.59189e+001 A 4= 5.45246e-006 A 6=-8.40549e-008 A 8= 1.18578e-010 A10= 9.55646e-013 A12=-4.30763e-015

各種データ
ズーム比 2.72
広角 中間 望遠
焦点距離 28.70 54.00 78.00
Fナンバー 3.63 4.15 4.67
画角 37.01 21.83 15.50
像高 21.64 21.64 21.64
レンズ全長 126.44 120.69 131.53
BF 39.10 57.87 77.65

d 8 32.21 9.36 2.12
d13 3.35 6.03 6.24
d19 7.26 2.90 1.00
d24 39.10 57.87 77.65

入射瞳位置 27.13 23.17 21.10
射出瞳位置 -19.59 -13.41 -11.10
前側主点位置 41.80 36.26 30.56
後側主点位置 10.40 3.87 -0.35

ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 -39.50 18.55 4.44 -9.97
2 9 31.78 9.44 1.57 -4.03
3 14 -40.32 8.05 4.43 -1.39
4 20 47.48 8.49 -2.91 -7.37

単レンズデータ
レンズ 始面 焦点距離
1 1 250.00
2 3 -35.51
3 5 -54.19
4 7 57.39
5 9 -48.55
6 10 24.97
7 12 84.66
8 15 35.22
9 16 -24.38
10 18 -82.83
11 20 29.83
12 22 25.37
13 23 -17.59
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

少ないデータ量で良好な画像回復処理を行い、高画質の画像を生成できる画像処理装置および撮像装置を提供できる。

１０１ 撮影光学系
１０４ 画像処理部
１０８ 記憶部
１１０ システムコントローラ
２０１ 画像処理装置
２０２ 撮像装置

Claims (7)

1. 撮影光学系を通した撮像により生成された入力画像を準備するステップと、
   画像回復処理に用いる画像回復フィルタを記憶部に保存するステップと、
   前記撮像時における前記撮影光学系の状態である撮影状態を示す情報を取得するステップと、
   前記撮影状態に応じて、前記入力画像に対して画像回復処理を行うか否かを判定する判定ステップと、
   該判定ステップにて前記画像回復処理を行うと判定された場合に、前記画像回復フィルタを前記記憶部から取得するフィルタ取得ステップと、
   該フィルタ取得ステップにて取得した前記画像回復フィルタを用いて前記入力画像に対する前記画像回復処理を行うステップとを有し、
   前記画像回復処理は、前記撮影光学系の光学伝達関数の情報を用いて前記入力画像を補正する処理であり、
   前記記憶部に保存する画像回復フィルタは、前記画像回復処理を行うと判定される撮影状態に対してのみ用意された画像回復フィルタであることを特徴とする画像処理方法。
2. 前記撮影状態が第１の状態であるときの該撮影光学系の収差が、前記撮影状態が第２の状態であるときの該撮影光学系の収差よりも大きい場合において、前記判定ステップは、前記撮影状態が前記第１の状態であるときは前記画像回復処理を行うと判定し、前記撮影状態が前記第２の状態であるときは前記画像回復処理を行わないと判定することを特徴とする請求項１に記載の画像処理方法。
3. 前記撮影状態は、焦点距離、絞り値および合焦する被写体距離のうち少なくとも１つを含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記撮影光学系の第１の像高での収差が、第２の像高での収差よりも大きい場合において、
   前記判定ステップにおいて、前記入力画像のうち前記第１の像高に対応する領域に対して前記画像回復処理を行うか否かを判定し、
   前記フィルタ取得ステップにおいて、前記第１の像高に対応する前記画像回復フィルタを取得することを特徴とする請求項１から３のいずれか１つに記載の画像処理方法。
5. 撮影光学系を通した撮像により生成された入力画像を取得する画像取得部と、
   画像回復処理に用いる画像回復フィルタを保存する記憶部と、
   前記撮像時における前記撮影光学系の状態である撮影状態を示す情報を取得する撮影状態取得部と、
   前記撮影状態に応じて、前記入力画像に対して画像回復処理を行うか否かを判定する判定部と、
   該判定部にて前記画像回復処理を行うと判定された場合に、前記画像回復フィルタを前記記憶部から取得し、取得した前記画像回復フィルタを用いて前記入力画像に対する前記画像回復処理を行う処理部とを有し、
   前記画像回復処理は、前記撮影光学系の光学伝達関数の情報を用いて前記入力画像を補正する処理であり、
   前記記憶部に保存する画像回復フィルタは、前記画像回復処理を行うと判定される撮影状態に対してのみ用意された画像回復フィルタであることを特徴とする画像処理装置。
6. 撮影光学系を通した撮像により画像を生成する撮像部と、
   該画像を前記入力画像として取得する請求項５に記載の画像処理装置とを有することを特徴とする撮像装置。
7. コンピュータに、
   撮影光学系を通した撮像により生成された入力画像を準備するステップと、
   画像回復処理に用いる画像回復フィルタを、該コンピュータの内部または外部の記憶部に保存するステップと、
   前記撮像時における前記撮影光学系の状態である撮影状態を示す情報を取得するステップと、
   前記撮影状態に応じて、前記入力画像に対して画像回復処理を行うか否かを判定する判定ステップと、
   該判定ステップにて前記画像回復処理を行うと判定された場合に、前記画像回復フィルタを前記記憶部から取得するフィルタ取得ステップと、
   該フィルタ取得ステップにて取得した前記画像回復フィルタを用いて前記入力画像に対する前記画像回復処理を行うステップとを含む処理を実行させるコンピュータプログラムであり、
   前記画像回復処理は、前記撮影光学系の光学伝達関数の情報を用いて前記入力画像を補正する処理であり、
   前記記憶部に保存する画像回復フィルタは、前記画像回復処理を行うと判定される撮影状態に対してのみ用意された画像回復フィルタであることを特徴とする画像処理プログラム。