JP5587264B2 - 調整方法、調整装置、及び、撮像装置の製造方法 - Google Patents

Description

本発明は、画像回復処理を用いた調整方法、調整装置、光学系の製造方法、撮像装置、及び、撮像装置の製造方法に関する。

光学系の収差により生じるぼけ画像を、光学伝達関数（ＯＴＦ）の情報を用いてデジタル処理により補正する方法が知られている。この方法は、画像回復や画像復元と呼ばれ、以降、光学系の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理または回復処理という。実際の製造現場においては、レンズの製造誤差、レンズを保持する鏡筒の製造誤差等により光学系の性能には製造ばらつきが生じている。実際に撮影された状態で発生している収差特性と回復処理で想定している収差特性に相違がある場合、回復画像にアーティファクトとしてリンギング等の弊害が発生する場合がある。このため、製造ばらつきは回復画像に弊害を与える懸念がある。従来から、製造ばらつきを低減する方法として、ばらつきの生じた光学系に対して光学系の一部や撮像素子を偏心させる調整が行われている。

一方、特許文献１には、調整時の評価基準に画像回復処理を含めることで、画像回復処理まで含めたトータル性能をみて調整を行う方法が開示されている。また特許文献２には、製造ばらつきを考慮した調整方法が開示されている。特許文献２では、撮像装置側で複数の収差特性を用意し、製造ばらつきに応じて最適な収差特性を選択することで、製造ばらつきを低減させる。

特開２００９−９５９３号公報 特開２００８−８５６９７号公報

しかしながら、特許文献１に開示された方法では、撮像装置に製造ばらつきが生じた際に最終的に残存する性能ばらつきが、画像回復処理によって強調されてしまう。これを回避するには、回復フィルタ生成時のパラメータを変更して回復程度を低下させながら弊害量とのバランスを調整する必要がある。特許文献２に開示された方法では、撮像装置側に回復フィルタを持たせるため、フィルタのメモリ容量が大きくなってしまう。撮像装置で使用する回復フィルタは、撮像装置の像高、焦点距離、物体距離、Ｆｎｏ、防振状態の少なくとも１つのパラメータにより決定される。従って、製造ばらつきまで含んだ回復フィルタは膨大なメモリ容量を必要とする。

そこで本発明は、小さい記憶容量で光学系及び受光素子の製造ばらつきによる性能劣化を低減させる調整方法、調整装置、光学系の製造方法、撮像装置、及び、撮像装置の製造方法を提供する。

本発明の一側面としての調整方法は、光学系の結像性能を評価する評価ステップと、前記評価ステップで評価した前記結像性能を分類する分類ステップと、前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記光学系を介して形成される光学像の回復画像を生成する回復ステップと、前記回復画像に基づいて前記光学系の調整部を用いて前記光学系を調整する調整ステップとを有し、前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。

本発明の他の側面としての調整方法は、光学系の調整部を用いて前記光学系を調整する調整ステップと、前記調整ステップにおいて調整された光学系の結像性能を評価する評価ステップと、前記評価ステップで評価した前記結像性能を分類する分類ステップと、前記調整ステップにおいて調整された光学系を含む撮像装置の記憶部に、前記分類に対応する光学伝達関数または画像回復フィルタを記憶させる記憶ステップとを有し、前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。
本発明の他の側面としての調整方法は、光学系の結像性能を評価する評価ステップと、前記光学系の調整部を用いて前記光学系を調整する調整ステップと、前記調整ステップで調整された光学系の結像性能を分類する分類ステップと、前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記調整ステップで調整された光学系を介して形成される光学像の回復画像を生成する回復ステップとを有し、前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。

本発明の他の側面としての調整装置は、光学系の結像性能を評価する評価手段と、前記評価手段で評価した前記結像性能を分類する分類手段と、前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記光学系を介して形成される光学像の回復画像を生成する回復手段と、前記回復画像に基づいて前記光学系の調整部を用いて前記光学系を調整する調整手段とを有し、前記評価手段は、画像中心に対して非対称な収差を評価し、前記分類手段は、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。

本発明の他の側面としての調整装置は、光学系の調整部を用いて前記光学系を調整する調整手段と、前記調整手段において調整された光学系の結像性能を評価する評価手段と、前記評価手段で評価した前記結像性能を分類する分類手段と、前記調整手段において調整された光学系を含む撮像装置の記憶部に、前記分類に対応する光学伝達関数または画像回復フィルタを記憶させる手段とを有し、前記評価手段は、画像中心に対して非対称な収差を評価し、前記分類手段は、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。
本発明の他の側面としての調整装置は、光学系の結像性能を評価する評価手段と、前記光学系の調整部を用いて前記光学系を調整する調整手段と、前記調整手段で調整された光学系の結像性能を分類する分類手段と、前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記調整手段で調整された光学系を介して形成される光学像の回復画像を生成する回復手段とを有し、前記評価手段は、画像中心に対して非対称な収差を評価し、前記分類手段は、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。

本発明の他の側面としての撮像装置の製造方法は、光学系の結像性能を評価する評価ステップと、前記評価ステップで評価した前記結像性能を分類する分類ステップと、前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記光学系を介して形成される光学像の回復画像を生成する回復ステップと、前記回復画像に基づいて前記光学系の調整部を用いて前記光学系を調整する調整ステップとを有し、前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。

本発明の他の側面としての撮像装置の製造方法は、光学系の調整部を用いて前記光学系を調整する調整ステップと、前記調整ステップにおいて調整された光学系の結像性能を評価する評価ステップと、前記評価ステップで評価した前記結像性能を分類する分類ステップと、前記調整ステップにおいて調整された光学系を含む撮像装置の記憶部に、前記分類に対応する光学伝達関数または画像回復フィルタを記憶させる記憶ステップとを有し、前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。
本発明の他の側面としての撮像装置の製造方法は、光学系の結像性能を評価する評価ステップと、前記光学系の調整部を用いて前記光学系を調整する調整ステップと、前記調整ステップで調整された光学系の結像性能を分類する分類ステップと、前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記調整ステップで調整された光学系を介して形成される光学像の回復画像を生成する回復ステップとを有し、前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、小さい記憶容量で光学系及び受光素子の製造ばらつきによる性能劣化を低減させる調整方法、調整装置、光学系の製造方法、撮像装置、及び、撮像装置の製造方法を提供することができる。

本実施形態における撮像装置の概略構成図である。 本実施形態における画像回復フィルタの構成図である。 本実施形態における画像回復フィルタのタップの値を示す図である。 本実施形態において、光学伝達関数の絶対値ＭＴＦと空間周波数との関係を示す図である。 本実施形態における画像回復フィルタ（画像回復フィルタ群）の模式図である。 本実施形態の撮像装置において、製造ばらつき画像と回復画像の説明図である。 実施例１における撮像装置に対する調整方法の説明図である。 実施例２における撮像装置に対する調整方法の説明図である。 実施例３における撮像装置に対する調整方法の説明図である。 実施例４における撮像装置に対する調整方法の説明図である。 実施例５における撮像装置に対する調整方法の説明図である。 実施例６における撮像装置に対する調整方法の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本発明の実施形態における撮像装置について説明する。図１は、本実施形態における撮像装置の概略構成図である。撮像装置は、光学系１０１（撮像光学系）、受光素子１０２（撮像素子または光電変換素子）、及び、画像処理部１０３を有する。本実施形態における撮像装置は、ばらつき調整装置１０５により、光学系１０１及び受光素子１０２の製造ばらつきによる性能劣化が補正されるように構成される。光学系１０１は、被写体である物体１００の像を受光素子１０２に伝達する。また光学系１０１は、ばらつき調整装置１０５により駆動されることで光学系１０１及び受光素子１０２の製造ばらつきによる性能劣化を光学的に補正する調整部１０１ａを備える。

光学系１０１によって形成された物体１００の像（光学像）は、受光素子１０２において電気的な信号に変換され、画像処理部１０３に画像信号１０３ａとして送られる。後述のように、画像処理部１０３は、光学系１０１の光学伝達関数（ＯＴＦ）に基づく回復フィルタ１０３ｂにより画像処理を行う。具体的には、画像処理部１０３は、２次元畳み込み演算部１０３ｃにおいて、画像信号１０３ａと、記憶部（不図示）に予め格納されている回復フィルタ１０３ｂとの２次元畳み込み演算を行う。なお回復フィルタ１０３ｂとしては、後述のばらつき調整装置１０５における分類手段１０５ｂによる分類に基づいて（結像状態に基づいて）、光学伝達関数（ＯＴＦ）の情報を用いて所望の一つの回復フィルタが選択されて使用される。

２次元畳み込み演算部１０３ｃにおいて２次元畳み込み処理が行われた画像信号は、カメラ信号処理部１０３ｄに入力される。カメラ信号処理部１０３ｄは、デモザイキング、ホワイトバランス調整、エッジ強調処理、ノイズリダクション処理等のカメラ信号処理を行い、出力画像１０４を出力する。なお本実施形態では、２次元畳み込み演算の後にカメラ信号処理が行われているが、これに限定されるものではない。これらの順序を入れ替え、また、カメラ信号処理の一部を２次元畳み込み演算の前に行っても、同様に効果が得られる。

以下、本実施形態における光学系１０１及び画像処理部１０３について具体的に説明する。光学系１０１は、光学系１０１の球面収差、コマ収差、像面湾曲、非点収差等によってぼけた像を受光素子１０２上に形成する。これらの収差による画像のぼけは、被写体である物体１００の一点から発した光束が撮像面（受光素子１０２）上で再度一点に集まるべきものが広がりをもって像を結ぶことにより生成される。光学的には点像分布関数（ＰＳＦ）と呼ばれるが、本実施形態ではこれを画像のぼけと呼ぶ。なお、画像のぼけには、例えばピントがずれた画像も含まれるが、本実施形態では特にピントが合っていても光学系１０１の収差の影響に伴う画像のぼけを指す。

本実施形態の光学系１０１は、レンズを備えて構成されるが、レンズの代わりに曲率を有するミラー（反射面）を備えた光学系を用いた場合に生じる画像の劣化についても、本実施形態は適用可能である。また、光学伝達関数（ＯＴＦ）には、光学系１０１のみならず、撮像の過程で光学伝達関数（ＯＴＦ）を劣化させる他の要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは、光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制する。他にも、光源の受光素子の開口形状、分光特性や各種波長フィルタの分光特性が挙げられる。画像処理部１０３は、これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復処理を行うように構成されることが望ましい。

また、本実施形態における画像回復処理は、撮像光学系を持たない画像生成装置にも適用可能である。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置は、レンズのような撮像光学系を持たないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は、撮像光学系によるものではないが、撮像システムの伝達関数ではあるため、上述の光学伝達関数（ＯＴＦ）に相当する。したがって、撮像光学系を持たずとも、伝達関数に基づいて画像回復フィルタを生成すれば、回復画像を生成することができる。

更に実際の撮像装置では、製造誤差（製造ばらつき）により、レンズの曲率、面間隔、屈折率、偏心、レンズ群の偏心や受光素子の偏心等により、光学伝達関数（ＯＴＦ）にもばらつきが生じている。本実施形態では、ばらつき調整装置１０５を用いて、光学系１０１中の調整部１０１ａを光軸と垂直方向に偏心させることにより、ばらつきによる劣化特性を打ち消している。このように、調整部１０１ａは、ばらつき調整装置１０５を用いて、光学系１０１及び受光素子１０２の製造ばらつきによる性能劣化を光学的に補正する。なお調整部１０１ａは、光学系１０１の中の一部に限らず、光学系１０１の全体や受光素子１０２等の光学伝達関数（ＯＴＦ）による画像のぼけを打ち消すものであればよい。また、調整部１０１ａは光学伝達特性を変化させるように構成され、例えば、レンズ等の光学素子の平行偏心やチルト偏心が行われる。また、光変調素子を用いて調整部１０１ａを構成してもよい。

光学系１０１によるぼけ像は、受光素子１０２上に結像される。本実施形態において、受光素子１０２はＣＣＤやＣＭＯＳセンサのような光学系１０１の結像により生成されるアナログ信号（光学像）を電気的な画像信号に変換する素子である。ただし受光素子１０２は、光学系１０１の光学伝達関数（ＯＴＦ）による劣化特性を有する画像を画像信号に変換可能に構成されていればよく、これに限定されるものではない。このとき出力される画像信号には、レンズの焦点距離、絞り、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯させることができる。また、撮像から出力までの一連の処理を一つの閉じた撮像装置で行う場合には、画像に撮影条件情報や補正情報を付帯させることなく撮像装置内で取得することができる。受光素子１０２からの画像信号を受けて、画像処理部１０３では画像回復処理が実行される。以下、本実施形態における画像回復処理の概要を説明する。

劣化画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。ただし、符号＊は畳み込み積分を示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）で表されるように、周波数ごとの積の形式になる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したもの、すなわち光学伝達関数（ＯＴＦ）であり、Ｇ、Ｆはそれぞれｇ、ｆをフーリエ変換したものである。（ｕ，ｖ）は、２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像から元の画像を得るには、以下の式（３）で表されるように、式（２）の両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
式（３）において、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、元の画像ｆ（ｘ，ｙ）が回復像として得られる。ここで、１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（４）で表されるように、実面での画像に対する畳み込み処理を行うことでも元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
式（４）において、Ｒ（ｘ，ｙ）を画像回復フィルタと呼ぶ。また本実施例では、光学伝達関数と画像回復フィルタを、光学伝達特性と称する。画像が２次元のとき、一般的にこの画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求される画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いることが望ましい。この画像回復におけるフィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは一線を隔する技術である。

図２では、一例として、１１×１１タップの２次元フィルタを示している。２次元フィルタの各タップが画像の各画素に対応して、画像回復処理の工程で２次元畳み込み演算が行われる。畳み込み演算では、特定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

図２では、各タップ内の値を省略しているが、この画像回復フィルタの１断面を図３に示す。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。この画像回復フィルタは、上記のように撮像光学系の光学伝達関数（ＯＴＦ）を計算又は計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。このような実空間での画像回復フィルタを、受光素子１０２からの画像信号に対して畳み込み処理することで、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。

実際の画像はノイズ成分を含むため、上記のように光学伝達関数（ＯＴＦ）の逆数をとって作成した画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が増幅されてしまう。このため、一般には良好な画像は得られない。これは、以下の式（５）又は式（６）のように表すことができる。式（５）、（６）において、Ｎはノイズ成分である。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （６）
この点については、例えば、図４に示されるような画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。図４は、光学伝達関数の絶対値（ＭＴＦ）と空間周波数との関係を示す。この方法に使用される代表的な回復フィルタは、ウィナーフィルタと呼ばれる。この回復フィルタは、周波数ごとに、光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）が小さいほど増幅を抑制し、光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）が大きいほど増幅を強く行う。一般的に、撮像光学系の光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）は、高周波側において低くなる（図４（ａ））。このため、この方法は実質的には画像の高周波側の回復度合を抑制する方法である（図４（ｂ））。

回復フィルタは、撮影状態に応じて最適なものを使用する必要がある。実際の撮像装置では、図１の撮像装置における記憶部（不図示）に、撮像状態に応じた画像回復フィルタ、又は、撮像状態に関する情報が格納されている。図５は、記憶部に格納された画像回復フィルタ（画像回復フィルタ群）の模式図である。画像回復フィルタは、ズーム位置、絞り径、被写体距離の３つの状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態の空間中の各点（黒丸）の座標が、予め格納された画像回復フィルタの状態位置である。図５では、説明のためにフィルタの位置を各状態に対して直交した格子点上に配置しているが、各フィルタの位置は格子点から外れても構わない。また、撮像状態の種類の数についても、図示のために３つの状態に対する３次元図としたが、４つ以上の状態を対象とした４次元以上の撮像状態空間であってもよい。

次に、画像回復フィルタの具体的な選択方法について説明する。図５において、大きな白丸で示した状態が検知された実際の撮像状態であるとする。実際の撮像状態位置又はその近傍にフィルタが存在する場合、そのフィルタを選択して画像回復処理に用いることができる。一つの方法は、実際の撮像状態と格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短いものを選択する方法である。図５では、小さな白丸で示した位置のフィルタが選択される。また、別の方法として、フィルタ選択に撮像状態空間中の方向による重み付けをすることができる。すなわち、撮像状態空間中の距離と方向ウェイトの積を評価関数として選択する方法である。

続いて、画像回復処理によりぼけが取り除かれた画像は、カメラ信号処理が実行される。カメラ信号処理とは、ＲＡＷ画像に対するデモザイキング処理、ホワイトバランス調整、エッジ強調、ノイズリダクション処理等の光学伝達関数（ＯＴＦ）を使用しない画像処理である。また、光学伝達関数（ＯＴＦ）を使用する画像処理の中でも、フィルタを使用せずに幾何学的な収差補正を行う、歪曲収差補正、倍率色収差補正、シェーディング補正等も、カメラ信号処理の一部である。これらの画像処理は、２次元畳み込み演算の前後に必要に応じて挿入することもできる。

次に、光学系１０１の調整について具体的に説明する。上記のとおり、実際の製造工程においては、撮像装置に製造ばらつきが発生している。この製造ばらつきは、撮像装置の光学伝達関数（ＯＴＦ）のばらつきを同時に引き起こしている。製造ばらつきのある光学系１０１に対して、例えば設計値に基づくような、特定の光学伝達関数を用いて、一定の回復度合いで画像回復処理を実行すると、撮像装置の性能ばらつきも回復度合いに応じて増幅される。図６は、製造ばらつきのある光学系１０１に対して（図６（ａ））、設計値に基づいた光学伝達関数をも元に回復フィルタを作成し、画像回復処理を行った結果である（図６（ｂ））。この場合の回復フィルタはウィナーフィルタを想定しているが、ＭＴＦの高周波の回復度合いが抑制されている。このため、中周波の回復度合いが最も大きく、この部分での性能ばらつきが大きい。また、画像回復フィルタが光学伝達関数の逆数のフーリエ変換で与えられることからもわかるように、光学系１０１の結像性能が低い、すなわち光学伝達関数の絶対値（ＭＴＦ）が小さい場合には、画像回復フィルタの回復度合いが大きい。このような撮像装置では、製造ばらつきによる性能ばらつきが大きくなりやすい。

この現象を解決するための方法として、画像回復処理後の性能を評価しながら、回復フィルタに適合した調整を行うことが考えられる。しかし、この方法では回復フィルタが特定のものである以上、根本的な性能ばらつきの改善は見込めない。根本的な解決のためには、製造される撮像装置の光学伝達関数（ＯＴＦ）を個別に測定し、それぞれの撮像装置にあった回復フィルタを作成することが考えられる。しかし、これを実現するには、新しい製造ラインの構築と、製造コストの増大が予想され、現実的ではない。

そこで本実施形態では、複数のパターン化された回復フィルタ１０３ｂを用いて、製造ばらつきを改善させる（図６（ｃ））。従来の製造時における調整で残る製造ばらつきを見ると、例えば画像の四隅で性能が異なる回転非対称な収差や画像の中心であるにもかかわらず発生する非対称な収差が目立つ。このように、調整で残る劣化特性は３〜１０パターンの収差に分類することができる。本実施形態では、この点に着目し、数種類の回復フィルタ１０３ｂを用いて調整を行うことで、製造ばらつきの増幅と製造コストの増大を抑制する。また、このとき使用する回復フィルタ１０３ｂは、上記のように画像中心に対して非対称な収差を補正するものであり、数種類の回復フィルタのうち少なくとも１つは画像中心に対して非対称なものを用意するのが望ましい。複数のパターン化された回復フィルタ１０３ｂとしては、例えば、片ぼけ（偏心コマ収差）、中心コマ収差、色収差、球面収差などの収差の発生量を回復する（抑える）ための回復フィルタが用いられ、これらから適切な回復フィルタが選択される。

図１に示されるように、ばらつき調整装置１０５は、評価手段１０５ａ、分類手段１０５ｂ、回復手段１０５ｃ、及び、調整手段１０５ｄを備えて構成される。

評価手段１０５ａは、光学像を受光して光学系１０１の性能劣化の程度（結像性能）を評価する手段である。例えば、撮像装置の受光素子１０２側に光学系１０１の結像性能を評価するためのチャートを配置し、受光素子１０２側から光を照射して被写体である物体１００の位置にセンサを置いて光学系１０１を評価する。また、通常の撮影と同じように、被写体である物体１００側にチャートを用意し、このチャートを実際の受光素子１０２の位置にセンサを置いて撮影することで、撮像装置の光学系１０１の性能を評価してもよい。いずれの評価方法においても、使用されるセンサは評価に合わせて用意されればよく、結像性能の一断面を評価する場合にはラインセンサで構わない。また、実際の撮影同様に、全てのアジムス方向が評価したい場合には、２次元センサを使用すればよい。また、評価される結像性能は、製造誤差の生じた光学系１０１の結像性能そのものでもよいし、また、回復手段１０５ｃにより回復された像の評価でもよい。更に、調整手段１０５ｄにより調整された像を逐次評価することも可能であり、上記の方法に限定されるものではない。

分類手段１０５ｂは、評価手段１０５ａで評価した光学系１０１の性能劣化の程度（結像性能）に基づいて結像状態を複数の種類に分類する手段である。上記のとおり、撮像装置の劣化特性は、最終的に数パターンの種類に分類することができる。分類手段１０５ｂでは、光学系１０１による性能劣化がいずれのパターンの劣化特性に最も近いのかを判断し、使用する回復フィルタに合わせた分類を行う。例えば、画像の四隅で性能が異なる回転非対称な収差が発生する場合には、四隅の結像スポットのサイズの最大値と最小値を比較し、その結果を分類の基準とすることができる。この分類手段は、評価手段１０５ａにより評価された結像性能に基づいて分類を行ってもよいし、調整手段１０５ｄにより調整された像を元に分類を行ってもよい。撮像装置が最終的に保持する回復フィルタ情報は、分類手段１０５ｂによる分類に基づいて作成される回復フィルタ情報により書き換えを行うことができる。これにより、撮像装置側で保持するフィルタ数を少なくすることができるため、撮像装置のメモリを効率的に使用することが可能となる。

回復手段１０５ｃは、光学系１０１の性能を回復する手段であり、受光した光学像を所望の一つの回復フィルタで回復させる。光学系１０１によるチャートの像は、撮像装置のセンサにより受光されて電気的な信号に変換される。この信号を入力信号として、上述の画像回復処理と同様の画像処理を行うことができる。例えば、被写体である物体１００側におかれたチャートを受光素子１０２面に配置されたセンサで受光する場合には、撮像装置に使用する回復フィルタ１０３ｂを使用することができる。また、受光素子１０２側におかれたチャートを物体１００面で受光する場合には、撮像装置に使用する回復フィルタ１０３ｂに基づいて、調整用の回復フィルタを作成することで、画像回復処理を行うことができる。また、回復手段１０５ｃに使用される回復フィルタとしては、製造ばらつきの生じた撮像装置の光学伝達関数を平均したものが用いられる。ただし、この場合、平均の光学性能よりも高い性能のレンズに関しては、過剰な回復が行われることがある。このような場合、製造ばらつきのある結像性能のうち最も性能の高い光学系の光学伝達関数を基に回復フィルタ１０３ｂを用いればよい。回復フィルタ１０３ｂに関しては、製造ばらつきを調整した最終的な性能が最も高くなればよく、これらに限定されるものではない。回復手段１０５ｃは、製造誤差の生じた光学系１０１の結像性能そのものを回復してもよいし、評価手段１０５ａにより評価された像に対して回復処理を行ってもよい。

調整手段１０５ｄは、光学系１０１の性能を調整する手段であり、調整部１０１ａを駆動して、製造ばらつきによる性能劣化を補正する。光学系１０１の調整部１０１ａを駆動してその位置を変化させると、光学伝達関数を連続的かつ微少に変化させることができる。ばらつき調整装置１０５は、設計値と製造誤差のある撮像装置の光学伝達関数のずれを打ち消すように調整部１０１ａを変化させる。調整部１０１ａは、撮像装置の光学系１０１の一部、又は光学系１０１の全体を変化可能に構成される。調整部１０１ａは、これに加えて、受光素子１０２の位置を変化させるように構成してもよい。具体的な調整部１０１ａの変化方法としては、調整部１０１ａのシフト偏心、チルト偏心を与えることや、調整部１０１ａを光軸方向に段階的に移動させる方法がある。これらは、機械的な変化により光学伝達関数を変化させているが、位相変調素子や液晶レンズのように電気的に光学伝達関数を変化させてもよい。また、調整手段１０５ｄは、製造誤差の生じた光学系１０１の結像性能そのものに対して調整を行ってもよいし、回復手段１０５ｃにより回復された像に対して調整を行ってもよい。

以下、図７を参照して、本発明の実施例１における撮像装置について説明する。本実施例では、撮像装置の光学系１０１に対する結像性能に対し、評価手段１０５ａで評価を行い（評価ステップ）、評価手段１０５ａに基づいて分類手段１０５ｂを実行する（分類ステップ）。分類手段１０５ｂにより分類された情報に基づいて、予めパターン化された複数の回復フィルタ１０３ｂの中から所望の一つの回復フィルタを選択する。この回復フィルタを用いて画像回復処理を実行し（回復ステップ）、回復された回復像に基づいて光学系１０１の調整部１０１ａを調整し、撮像装置の結像性能を最適にする（調整ステップ）。本実施例では、予めパターン化された複数の回復フィルタを用いることができる。ただし本実施例はこれに限定されるものではなく、予めパターン化された光学伝達関数の中から所望の一つの光学伝達関数を選択してもよい。この場合、選択された光学伝達関数の逆数に基づく関数をフーリエ変換することによって回復フィルタを生成し、生成された回復フィルタを用いて画像回復処理を実行することができる。すなわち、製造ばらつきの出方に応じて分類された光学伝達特性を取得し、取得された光学伝達特性に基づいて画像回復処理を実行することにより回復画像を生成する。

この方法の特徴は、回復像に基づく調整が可能であるという点である。これにより、撮像装置のトータル性能すなわち、撮像装置の最終画像を直接最適化することができる。本実施例では、更に、分類手段１０５ｂにより選択された回復フィルタ１０３ｂで回復させた回復画像に応じて性能劣化を補正することで、局所的な最適解に収束させることができる。本来、設計値通りのレンズが最適な解であり、製造誤差の生じた撮像装置はこの解からずれた状態にある。従来の調整とは、この最適な解の状態に近づくように調整部を変化させることであった。しかし、本実施例では、回復フィルタ１０３ｂをパターン化し、選択された回復フィルタに対して調整が行われる。これは、設計値の最適な解とは異なり、回復フィルタ１０３ｂによる局所的な最適解に近づくように調整を行うことを意味している。本実施例によれば、小さい記憶容量で光学系の結像性能を最適化することができる。

以下、図８を参照して、本発明の実施例２における撮像装置について説明する。本実施例では、撮像装置の光学系１０１に対する結像性能に対し、評価手段１０５ａで評価を行い、評価手段１０５ａに基づいて調整手段１０５ｄにより調整部１０１ａを駆動制御する。調整手段１０５ｄにより調整された性能に対して分類手段１０５ｂを用いて分類を行う。また、分類手段１０５ｂにより分類された情報に基づいて、予めパターン化された回復フィルタ１０３ｂの中から所望の回復フィルタを選択する。このように本実施例では、回復フィルタは調整部１０１ａが性能劣化を補正した後に分類手段１０５ｂにより分類された結像状態に基づいて選択される。この回復フィルタを用いて画像回復処理を実行し、最終的な画像を確認する。

実施例１は回復フィルタに適合した調整を行うのに対し、本実施例では、ばらつき調整に適合した回復フィルタを選択している点が異なる。本実施例の方法では、調整工程自体が従来の画像回復処理を使用しない調整工程と変わらないため、従来の製造ラインをそのまま使用できるという点で特にメリットがある。

実施例１、２の調整方法では、画像回復処理を含まない撮像装置の結像性能が十分高い必要がある。しかし、画像回復処理を行う撮像装置に関しては、画像回復処理後の性能が高ければよいため、画像回復処理を含まない撮像装置の性能が、従来の撮像装置の性能に比べて低いことがある。この場合、調整部１０１ａの変位に対する性能の変化が小さくなり、ばらつき調整に対する性能敏感度が低くなる。すなわち、ばらつき調整によって最も性能の高い場所に調整部１０１ａを変位させようとするときに、いずれの場所が最も性能が高いかが分かり難くなり、調整精度が低くなる。本発明の実施例３では、このような場合に対応した方法を実現する。

以下、図９を参照して、本発明の実施例３における撮像装置について説明する。本実施例では、撮像装置の光学系１０１に対する結像性能に対し、１次回復手段１０５１ｃにより画像回復を行う。これにより、調整時の性能敏感度を大きくすることができ、調整精度を高くすることができる。１次回復手段１０５１ｃに使用される回復フィルタは、この目的を達成できる回復フィルタであればよく、例えば設計値の光学系１０１の光学伝達関数に基づいて作成された回復フィルタを用いればよい。

続いて、回復された画像に基づいて１次調整手段１０５１ｄを実行し、この調整結果に基づいて評価手段１０５ａを実行する。そして、評価手段１０５ａによる結果に基づいて分類手段１０５ｂを実行し、分類された情報に基づいて、予めパターン化された回復フィルタ１０３ｂの中から所望の回復フィルタを選択する。実施例１と同様に、選択された回復フィルタを用いて回復処理を行い、回復フィルタに適した調整を行うことで、撮像装置全体の性能を最適にすることができる。そして、２次回復手段１０５ｃは選択された回復フィルタを用いて回復処理を行い、２次調整手段１０５２ｄは回復フィルタ１０３ｂに適した調整を行うことで、撮像装置全体の性能を最適にすることができる。

本発明の実施例４は、実施例１、２を複合した実施例である。実施例２と同様に従来の製造工程に基づいて撮像装置の調整を行った後、実施例１の方法を用いて撮像装置全体の性能を最適に調整する。

以下、図１０を参照して、本実施例における撮像装置について説明する。まず、撮像装置の光学系１０１に対する結像性能に対し、評価手段１０５ａで評価を行い、評価手段１０５ａに基づいて１次調整手段１０５１ｄを実行する。１次調整手段１０５１ｄにより調整を行った後、分類手段１０５ｂを用いて分類を行う。そして、分類手段１０５ｂにより分類された情報に基づいて、予めパターン化された回復フィルタ１０３ｂの中から所望の回復フィルタが選択される。この回復フィルタを用いて画像回復処理を実行し、回復された回復像に基づいて２次調整手段１０５２ｄを実行する。そして、光学系１０１の調整部１０１ａを調整して撮像装置の結像性能を最適にする。

この方法の特徴は、１次調整手段１０５１ｄにより、調整残りの性能劣化特性がパターン化されているものに対して、回復手段１０５ｃで使用する回復フィルタ１０３ｂを作成できる点である。数パターンに分類された撮像装置は、その分類の中でもばらつきを生じている。１次調整手段１０５１ｄにより、この分類の中のばらつきを抑制することができる。ばらつきが小さい場合には、回復の弊害が起きにくいため、回復の程度を強めることができる。更に、このような回復フィルタ１０３ｂに対して２次調整手段１０５２ｄを実行することにより、局所的な解を探索することで高性能な撮像装置を実現することができる。

本発明の実施例５は、実施例４と比べて、分類手段１０５ｂにより分類された撮像装置が２次調整手段１０５２ｄによる調整を必要とする場合と、必要としない場合に分かられる点が異なる。すなわち、本実施例における分類手段１０５ｂは、性能を分類するのみでなく性能の良否を判定する手段を含む。このように、２次調整手段１０５２ｄの実行の必要性を判定することにより、無駄な調整工程を削減して製造コストの増大を抑制することが可能となる。

以下、図１１を参照して、本実施例における撮像装置について説明する。本実施例では、まず、撮像装置の光学系１０１に対する結像性能に対し、評価手段１０５ａで評価を行い、評価手段１０５ａに基づいて１次調整手段１０５１ｄを実行する。１次調整手段１０５１ｄにより調整を行った後、分類手段１０５ｂを用いて分類を行う。続いて、分類された撮像装置に対して、２次調整手段１０５２ｄの実行が必要か否かを判定する。この結果を受けて、２次調整手段１０５２ｄの実行を必要としない撮像装置に関しては、分類に基づいた画像回復処理のみで高性能な撮像装置を実現できる。また、２次調整手段１０５２ｄを必要とする撮像装置に対しては、分類された情報に基づいて、予めパターン化された回復フィルタ１０３ｂの中から所望の回復フィルタを選択する。そして、回復手段１０５ｃは選択された回復フィルタを用いて回復処理を行い、２次調整手段１０５２ｄは回復フィルタ１０３ｂに適した調整を行うことで、撮像装置全体の性能を最適にすることができる。

従来の撮像装置では、要求性能が高くなるにつれて、調整部１０１ａも１つではなく複数設けられる。本発明の実施例６では、光学系１０１が２つの調整部（１次制御部１０１１ａ、２次制御部１０１２ａ）を含んで構成される場合の調整方法について説明する。２つの調整部が設けられている場合、それぞれの調整部に対応して、評価手段（１次評価手段１０５１ａ、２次評価手段１０５２ａ）、及び、分類手段（１次分類手段１０５１ｂ、２次分類手段１０５２ｂ）が実行される。回復手段（１次回復手段１０５１ｃ、２次回復手段１０５２ｃ）、及び、調整手段（１次調整手段１０５１ｄ、２次調整手段１０５２ｄ）についても同様である。

以下、図１２を参照して、本実施例による撮像装置について説明する。本実施例では、撮像装置の光学系１０１に対する結像性能に対し、１次評価手段１０５１ａで評価を行い、１次評価手段１０５１ａに基づいて１次分類手段１０５１ｂを実行する。１次分類手段１０５１ｂにより分類された情報に基づいて、予めパターン化された１次回復フィルタ１０３１ｂの中から所望の回復フィルタを選択する。この回復フィルタを用いて１次回復手段１０５１ｃを実行し、回復された回復像に基づいて１次調整手段１０５１ｄで光学系１０１の１次調整部１０１１ａを調整し、撮像装置の結像性能を最適にする。

更に、調整された結像性能に基づいて２次評価手段１０５２ａで評価を行い、２次評価手段１０５２ａに基づいて２次分類手段１０５２ｂを実行する。２次分類手段１０５２ｂにより分類された情報に基づいて、予めパターン化された２次回復フィルタ１０３２ｂの中から所望の回復フィルタを選択する。２次回復フィルタ１０３２ｂは、１次回復手段１０５１ｃとそれに伴う１次調整手段１０５１ｄにより調整された光学伝達関数の情報を基に作成してもよいし、各調整部による調整に応じて作成してもよい。この回復フィルタを用いて２次回復手段１０５２ｃを実行し、回復された回復像に基づいて２次調整手段１０５２ｄで光学系１０１の２次調整部１０１２ａを調整し、撮像装置の結像性能を最適にする。撮像装置の最終的な性能は、２次回復フィルタ１０３２ｂを用いて２次回復手段１０５２ｃにより最適化されている。このため、この回復フィルタに関する情報を撮像装置側で取得してメモリに保持することで、高性能な撮像装置を実現できる。なお本実施例では、２つの調整部を設けた場合を示したが、３つ以上の調整部を設けた場合でも、同様の工程により調整が可能である。

上記各実施例によれば、小さい記憶容量で光学系及び受光素子の製造ばらつきによる性能劣化を低減させる調整方法及び調整装置を提供することができる。また、各実施例における調整方法を用いて調整された光学系の製造方法、並びに、各実施例における調整方法を用いて調整された撮像装置及び撮像装置の製造方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 光学系
１０1ａ 調整部
１０２ 受光素子
１０３ 画像処理部
１０３ｂ 回復フィルタ
１０５ａ 評価手段
１０５ｂ 分類手段
１０５ｃ 回復手段
１０５ｄ 調整手段

Claims (14)

1. 光学系の結像性能を評価する評価ステップと、
   前記評価ステップで評価した前記結像性能を分類する分類ステップと、
   前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記光学系を介して形成される光学像の回復画像を生成する回復ステップと、
   前記回復画像に基づいて前記光学系の調整部を用いて前記光学系を調整する調整ステップと、を有し、
   前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、
   前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする調整方法。
2. 前記調整方法を用いて調整された光学系を含む撮像装置の記憶部に、前記光学伝達関数または前記画像回復フィルタを記憶させる記憶ステップを有することを特徴とする請求項１に記載の調整方法。
3. 光学系の調整部を用いて前記光学系を調整する調整ステップと、
   前記調整ステップにおいて調整された光学系の結像性能を評価する評価ステップと、
   前記評価ステップで評価した前記結像性能を分類する分類ステップと、
   前記調整ステップにおいて調整された光学系を含む撮像装置の記憶部に、前記分類に対応する光学伝達関数または画像回復フィルタを記憶させる記憶ステップと、を有し、
   前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、
   前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする調整方法。
4. 前記光学伝達関数または前記画像回復フィルタは、偏心コマ収差を補正する光学伝達関数または画像回復フィルタであることを特徴とする請求項３に記載の調整方法。
5. 前記評価ステップにおいて評価された光学像の結像スポットのサイズの最大値と最小値を比較する比較ステップを有し、
   前記分類ステップは、前記比較ステップの結果に応じて前記結像性能を分類することを特徴とする請求項１乃至４のいずれか１項に記載の調整方法。
6. 光学系の結像性能を評価する評価ステップと、
   前記光学系の調整部を用いて前記光学系を調整する調整ステップと、
   前記調整ステップで調整された光学系の結像性能を分類する分類ステップと、
   前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記調整ステップで調整された光学系を介して形成される光学像の回復画像を生成する回復ステップと、を有し、
   前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、
   前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする調整方法。
7. 前記調整方法を用いて調整された光学系を含む撮像装置の記憶部に、前記光学伝達関数または前記画像回復フィルタを記憶させる記憶ステップを有することを特徴とする請求項６に記載の調整方法。
8. 前記調整ステップにおいて調整された光学系を介して形成される光学像の結像スポットのサイズの最大値と最小値を比較する比較ステップを有し、
   前記分類ステップは、前記比較ステップの結果に応じて前記結像性能を分類することを特徴とする請求項６または７に記載の調整方法。
9. 光学系の結像性能を評価する評価手段と、
   前記評価手段で評価した前記結像性能を分類する分類手段と、
   前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記光学系を介して形成される光学像の回復画像を生成する回復手段と、
   前記回復画像に基づいて前記光学系の調整部を用いて前記光学系を調整する調整手段と、を有し、
   前記評価手段は、画像中心に対して非対称な収差を評価し、
   前記分類手段は、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする調整装置。
10. 光学系の調整部を用いて前記光学系を調整する調整手段と、
    前記調整手段において調整された光学系の結像性能を評価する評価手段と、
    前記評価手段で評価した前記結像性能を分類する分類手段と、
    前記調整手段で調整された光学系を含む撮像装置の記憶部に、前記分類に対応する光学伝達関数または画像回復フィルタを記憶させる手段と、を有し、
    前記評価手段は、画像中心に対して非対称な収差を評価し、
    前記分類手段は、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする調整装置。
11. 光学系の結像性能を評価する評価手段と、
    前記光学系の調整部を用いて前記光学系を調整する調整手段と、
    前記調整手段で調整された光学系の結像性能を分類する分類手段と、
    前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記調整手段で調整された光学系を介して形成される光学像の回復画像を生成する回復手段と、を有し、
    前記評価手段は、画像中心に対して非対称な収差を評価し、
    前記分類手段は、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする調整装置。
12. 光学系の結像性能を評価する評価ステップと、
    前記評価ステップで評価した前記結像性能を分類する分類ステップと、
    前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記光学系を介して形成される光学像の回復画像を生成する回復ステップと、
    前記回復画像に基づいて前記光学系の調整部を用いて前記光学系を調整する調整ステップと、を有し、
    前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、
    前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする撮像装置の製造方法。
13. 光学系の調整部を用いて前記光学系を調整する調整ステップと、
    前記調整ステップにおいて調整された光学系の結像性能を評価する評価ステップと、
    前記評価ステップで評価した前記結像性能を分類する分類ステップと、
    前記調整ステップにおいて調整された光学系を含む撮像装置の記憶部に、前記分類に対応する光学伝達関数または画像回復フィルタを記憶させる記憶ステップと、を有し、
    前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、
    前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする撮像装置の製造方法。
14. 光学系の結像性能を評価する評価ステップと、
    前記光学系の調整部を用いて前記光学系を調整する調整ステップと、
    前記調整ステップで調整された光学系の結像性能を分類する分類ステップと、
    前記分類に対応する光学伝達関数または画像回復フィルタを用いて、前記調整ステップで調整された光学系を介して形成される光学像の回復画像を生成する回復ステップと、を有し、
    前記評価ステップにおいて、画像中心に対して非対称な収差を評価し、
    前記分類ステップにおいて、前記画像中心に対して非対称な前記収差に応じて前記光学系の前記結像性能を分類することを特徴とする撮像装置の製造方法。