JP6518388B2 - 画像処理装置、画像処理システム、画像処理方法、及び撮像光学系セット - Google Patents

Description

本発明は、撮像光学系の収差に起因した画像の解像度劣化に対して復元処理を行う場合に、コストアップを抑制し且つ画像を適切に復元することを可能にする画像処理装置、画像処理システム、画像処理方法、及び撮像光学系セットに関する。

撮像光学系を用いて生成された画像には、撮像光学系ごとの収差に応じた解像度の劣化が生じる。このような収差に応じた解像度の劣化は、点拡がり関数（ＰＳＦ：point spread function）、光学伝達関数（ＯＴＦ：optical transfer function）といった、撮像光学系ごとの伝達関数で表すことができる。一般に、撮像光学系ごとの伝達関数に基づいて撮像光学系ごとに個別に作成された復元フィルタ（以下「個別フィルタ」という）を用いて、画像に対して画像処理を行うことにより、画像中の収差に起因した劣化成分を低減する。このような画像処理は、一般に、「復元処理」、「点像復元処理」、「画像回復処理」等と呼ばれる。

特許文献１には、複数の撮像光学系に共通の復元フィルタ（画像回復フィルタ）と個体差を補正するための個別の補正情報とを用意し、特定の撮像光学系を用いて生成された入力画像に対して、共通の復元フィルタを用いて画像回復処理を行い、更に個別の補正情報を用いて個体差に対する補正処理を行うことが記載されている。

特許文献２には、復元処理（画像回復処理）を行うことを前提として、中間物体距離及び無限遠物体距離に対する合焦状態において横収差量が所定の許容範囲内である撮像光学系を用いることが記載されている。

特許文献３には、撮像光学系に球面収差のみを付加する位相板を設けることにより、画像中心に対する被写界深度の拡大を行うことが、記載されている。

特許文献４には、デフォーカス量に対するＭＴＦ値を示すＭＴＦ曲線が所謂サジタル方向と所謂タンジェンシャル方向とで位置ズレした撮像光学系を用い、復元処理を利用して被写界深度の拡大を行うことが、記載されている。

特開２０１２−２３５４２１号公報 特開２０１４−２１３１３号公報 特開２０１５−４８８３号公報 特開２０１１−１８８４５４号公報

デジタルカメラ等の撮像装置の撮像素子が高画素化し、それに応じて高い空間周波数での画像の解像度劣化が顕在化するようになった。撮像光学系の収差に関する具体的な指標である光学伝達関数を用いて説明すると、周辺像高において、所謂サジタル方向と所謂タンジェンシャル方向とで、ＭＴＦ（modulation transfer function）値の差（以下単に「Ｓ／Ｔ差」という）が出やすい傾向にある。ここで、サジタル方向は、光軸を中心とする円の円周方向に相当する。また、タンジェンシャル方向は、光軸を中心とする円の径方向に相当する。Ｓ／Ｔ差が大きいと、画像の周辺部で像が流れて見えることになる。

Ｓ／Ｔ差は、設計に因るＳ／Ｔ差と、製造に因るＳ／Ｔ差とに、分けて考えられる。設計に因るＳ／Ｔ差を抑制しようとすると、例えばレンズ枚数及び外径寸法の増加となる。製造に因るＳ／Ｔ差（主として部品公差及び組立公差である）を抑制しようとすると、その抑制のためのコストアップが生じる。その一方で、復元フィルタを用いて復元処理により、Ｓ／Ｔ差を低減することが考えられる。これは、異方性のフィルタを用いて、二方向間のＭＴＦ値差を小さくする画像処理を行うことに相当する。Ｓ／Ｔ差を最小化する観点から、撮像光学系ごとに個別フィルタを作成することが理想的であるが、個別フィルタの作成は大幅なコストアップになる。

個別フィルタ作成に伴うコストアップを避けるため、同一種類の複数の撮像光学系に対して共通に使用する共通フィルタを用いることが考えられる。しかしながら、共通フィルタを単に適用しただけでは本質的に、１以上のゲインによりＭＴＦを増幅することによって、却って個体ばらつきを大きくしてしまうという問題があった。

特許文献１に記載された技術は、共通フィルタを用いるため、個別フィルタを用いる場合と比較して、確かにフィルタ専用のデータ量の増加を抑制可能ではあるが、個別の補正情報を用いて個体差に対する補正処理を行う必要がある。特許文献１には、個別の補正情報を、単なる「片ぼけ」（例えば左右非対称の画像劣化であること）を示す程度の情報とすることにより、光学伝達関数を測定する場合に比べて容易に作成することができると記載されている。しかしながら、単なる「片ぼけ」に限らず、製造誤差に関するあらゆる要因に対応した個別の補正情報を作成しようとすれば、光学伝達関数を測定する場合と同様、即ち個別フィルタを作成する場合と同様に、コストアップが著しいと考えられる。また、特許文献１に記載された技術では、Ｓ／Ｔ差（二方向間のＭＴＦ値の差）に対して適切に対処できるとは限らないといえる。そもそも、特許文献１には、合焦位置からのデフォーカス量と収差に関連するＭＴＦ値との関係、及びそのＳ／Ｔ差について、言及が無い。

特許文献２に記載された技術は、中間物体距離及び無限遠距離に対する合焦状態において横収差量が所定の許容範囲内である撮像光学系を用いるものであり、この技術でもＳ／Ｔ差（二方向間のＭＴＦ値差）に対して適切に対処できるとは限らないといえる。

特許文献３、４は、被写界深度拡大に関する技術を開示しているが、共通フィルタを用いる場合に好適な撮像光学系の光学特性に関する言及は無い。

本発明はこのような事情に鑑みてなされたもので、撮像光学系の収差に起因した画像の解像度劣化に対して復元処理を行う場合に、コストアップを抑制し且つ画像を適切に復元することを可能にする画像処理装置、画像処理システム、画像処理方法、及び撮像光学系セットを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、画像を取得する画像取得部と、画像を生成するために用いられた撮像光学系の伝達関数に応じた復元フィルタを取得するフィルタ取得部と、取得された画像に対し、取得された復元フィルタを用いて復元処理を行う復元処理部と、を備え、撮像光学系は、光軸上で合焦している場合の合焦位置からのデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線と合焦位置からのデフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、第１のＭＴＦ曲線のピーク値よりも第２のＭＴＦ曲線のピーク値が小さく、第１のＭＴＦ曲線のピーク値と第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ第１のＭＴＦ曲線の半値幅よりも第２のＭＴＦ曲線の半値幅が大きく、第１のＭＴＦ曲線の半値幅と第２のＭＴＦ曲線の半値幅との比が１．２５以上であり、復元フィルタは、撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである。

本態様によれば、撮像光学系の収差に起因した画像の解像度劣化に対して復元処理を行う場合に、復元フィルタとして同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタを用い、かつ、アジムス方向間のＭＴＦ曲線のピーク値の比及び半値幅（ＭＴＦ値の光軸方向における深度を示す指標である）の比が上述の規定範囲（ピーク値の比が２以上かつ半値幅の比が１．２５以上）である撮像光学系を用いた画像に対して復元処理を行うことにより、コストアップを抑制し且つ画像を適切に復元することが可能になる。

本発明の第２の態様に係る画像処理装置では、第１のアジムス方向は撮像光学系の光軸を中心とする円の円周方向であり、第２のアジムス方向は円の径方向である。

本発明の第３の態様に係る画像処理装置では、復元フィルタは、取得された画像に対し、位相に関しては復元処理を非実行にするゼロ位相復元フィルタである。本態様によれば、アーティファクトが生じるのを防ぐことができる。

本発明の第４の態様に係る画像処理装置では、第１のＭＴＦ曲線のピーク値と第２のＭＴＦ曲線のピーク値との比が４以上である。

本発明の第５の態様に係る画像処理装置では、第１のＭＴＦ曲線のピーク値と第２のＭＴＦ曲線のピーク値との比が１０以上である。

本発明の第６の態様に係る画像処理装置では、第１のＭＴＦ曲線の半値幅と第２のＭＴＦ曲線の半値幅との比が３以上である。

本発明の第７の態様に係る画像処理システムは、光軸上で合焦している場合のデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線とデフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、第１のＭＴＦ曲線のピーク値よりも第２のＭＴＦ曲線のピーク値が小さく、第１のＭＴＦ曲線のピーク値と第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ第１のＭＴＦ曲線の半値幅よりも第２のＭＴＦ曲線の半値幅が大きく、第１のＭＴＦ曲線の半値幅と第２のＭＴＦ曲線の半値幅との比が１．２５以上である撮像光学系と、撮像光学系を用いて生成された画像を取得する画像取得部と、撮像光学系の伝達関数に応じた復元フィルタであって撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである復元フィルタを取得するフィルタ取得部と、取得された画像に対し、取得された復元フィルタを用いて復元処理を行う復元処理部と、を備える。

本発明の第８の態様に係る画像処理方法は、光軸上で合焦している場合のデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線とデフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、第１のＭＴＦ曲線のピーク値よりも第２のＭＴＦ曲線のピーク値が小さく、第１のＭＴＦ曲線のピーク値と第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ第１のＭＴＦ曲線の半値幅よりも第２のＭＴＦ曲線の半値幅が大きく、第１のＭＴＦ曲線の半値幅と第２のＭＴＦ曲線の半値幅との比が１．２５以上である撮像光学系を用いて生成された画像を取得し、撮像光学系の伝達関数に応じた復元フィルタであって撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである復元フィルタを用いて、取得された画像に対し復元処理を行う。

本発明の第９の態様に係る撮像光学系セットは、光軸上で合焦している場合のデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線とデフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、第１のＭＴＦ曲線のピーク値よりも第２のＭＴＦ曲線のピーク値が小さく、第１のＭＴＦ曲線のピーク値と第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ第１のＭＴＦ曲線の半値幅よりも第２のＭＴＦ曲線の半値幅が大きく、第１のＭＴＦ曲線の半値幅と第２のＭＴＦ曲線の半値幅との比が１．２５以上である撮像光学系と、撮像光学系の伝達関数に応じた復元フィルタであって撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである復元フィルタを記憶した記憶媒体と、を含む。

本発明によれば、撮像光学系の収差に起因した画像の解像度劣化に対して復元処理を行う場合に、コストアップを抑制し且つ画像を適切に復元することが可能になる。

図１は、コンピュータに接続可能な撮像装置の構成例を示すブロック図である。 図２は、カメラ本体コントローラの構成例を示すブロック図である。 図３は、撮像光学系の一例を示す図である。 図４は、本発明における撮像光学系の一例の８割像高でのデフォーカス量に対するＭＴＦ値を示すＭＴＦ曲線のグラフである。 図５は、本発明に係る画像処理方法を適用した画像処理例の流れの概略を示すフローチャートである。 理想的な撮像光学系の一例におけるデフォーカス量に対するＭＴＦ値を示すＭＴＦ曲線のグラフである。 図７は共通フィルタに対して不適合な撮像光学系の一例のＭＴＦ曲線を示す模式図である。 図８は共通フィルタに対して好適な撮像光学系の一例のＭＴＦ曲線を示す模式図である。 図９は画像処理システムのバリエーションの説明に用いるシステム構成図である。

以下、添付図面に従って、本発明に係る画像処理装置、画像処理システム、画像処理方法、及び撮像光学系セットを実施するための形態について説明する。

図１は、コンピュータに接続可能な撮像装置の構成例を示すブロック図である。

本例の撮像装置１０は、撮像光学系１１を含むレンズユニット１２と、撮像光学系１１を用いて生成された画像に対して画像処理を行うカメラ本体１４（「画像処理装置」の一形態である）とを備える。

レンズユニット１２の撮像光学系１１は、レンズ１６及び絞り１８を含んで構成される。レンズユニット１２は、撮像光学系１１のほか、撮像光学系１１を制御する光学系コントローラ２０と、照明装置２２とを含んで構成される。光学系コントローラ２０は、例えばＣＰＵ（central processing unit）によって構成される。照明装置２２は、例えば白色光ＬＥＤ（light emitting diode）によって構成される。

カメラ本体１４は、撮像素子２６と、カメラ本体コントローラ２８と、記憶部３０と、入出力インターフェース３２とを含んで構成される。撮像素子２６は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）型のイメージセンサ、又はＣＣＤ（charge coupled device）型のイメージセンサによって構成される。カメラ本体コントローラ２８は、例えばＣＰＵによって構成される。記憶部３０は、非一時的記憶デバイス及び一時的記憶デバイスによって構成される。非一時的記憶デバイスは、例えばＲＯＭ（read only memory）及びＥＥＰＲＯＭ（electrically erasable programmable read only memory）によって構成される。一時的記憶デバイスは、例えばＲＡＭ(random access memory)である。入出力インターフェース３２は、入出力端子を含んで構成される。

本例のカメラ本体コントローラ２８は、図２に示すように、撮像素子２６及びレンズユニット１２を制御する撮像制御部５２と、撮像素子２６により撮像して得られた画像を取得する画像取得部５４と、画像を生成するために用いられた撮像光学系１１の伝達関数に応じた復元フィルタを取得するフィルタ取得部５６と、画像取得部５４により取得された画像に対し、フィルタ取得部５６により取得された復元フィルタを用いて復元処理を行う復元処理部５８と、を備える。本例の復元フィルタは、記憶部３０から取得される。

コンピュータ６０は、入出力インターフェース６２と、コンピュータコントローラ６４と、ディスプレイ６６とを含んで構成される。入出力インターフェース６２は、入出力端子を含んで構成される。コンピュータコントローラ６４は、例えばＣＰＵによって構成される。ディスプレイ６６は、ＬＣＤ（liquid crystal display）等の表示デバイスによって構成される。

図３は、撮像光学系１１の一例を示す図である。本例の撮像光学系１１は、図１のレンズ１６として複数のレンズＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８を含んで構成されている。図中のＳｔは、図１の絞り１８に相当する。また、図中のＳｉｍは、像面である。

撮像光学系１１の複数のレンズＬ１〜Ｌ８における収差に因る画像の解像度劣化を、光学伝達関数で表すことができる。また、光学系コントローラ２０の撮像光学系１１に対するフォーカス制御により変化する、撮像光学系１１の光軸Ｏに沿った方向（「光軸方向」という）における合焦位置からのズレ量を、デフォーカス量で表すことができる。デフォーカス量は、「フォーカスシフト量」と呼ばれることもある。撮像光学系１１のデフォーカス量に対するＭＴＦ値は、後に詳説するＭＴＦ曲線として表される。ここで、ＭＴＦ値は、光学伝達関数の振幅成分である。

［復元フィルタ］
本発明では、復元フィルタとして、共通フィルタを用いる。共通フィルタは、同一種類の複数の撮像光学系（以下「母集団」という）における光学伝達関数の代表値に応じた復元フィルタである。例えば、母集団における光学伝達関数のＭＴＦ値の平均値を代表値として算出し、その代表値に対応するフィルタ係数を求めることにより、共通フィルタを作成する。尚、「代表値」は、母集団の平均値に限定されず、例えば母集団の中央値を用いてもよい。

また、撮像光学系の「同一種類」とは、個体毎のバラツキや製造誤差等を考慮しない同一の諸元を持つ複数の撮像光学系を指す。

共通フィルタの作成に用いた母集団と同じ種類の撮像光学系を用いて撮像を行い、その撮像により得られた画像に対して、共通フィルタを用いて復元処理を行う。

撮像光学系１１の光学特性を示すパラメータの設計値をｐとして、個体ばらつきに因る光学特性パラメータの変化をΔｐとする。空間周波数ωｘ，ωｙにおける光学伝達関数（「複素伝達関数」ともいう）をＯＴＦ（ωｘ，ωｙ｜ｐ）と表記する。撮像光学系１１の個体ばらつきの確率分布Ｐ（Δｐ）が既知である場合、次式で示される代表値μ（ωｘ，ωｙ）を求める。

母集団の平均値が設計値に近い場合、次式で示すように、代表値μ（ωｘ，ωｙ）として、設計値のＯＴＦ（ωｘ，ωｙ｜ｐ）を採用してもよい。

共通フィルタとしてＷｉｅｎｅｒフィルタを作成する場合、周波数特性ｆ（ωｘ，ωｙ）は、代表値μ（ωｘ，ωｙ）を劣化過程として、次式で表される。

ここで、Ｓ（ωｘ，ωｙ）は画像の平均信号電力であり、Ｎ（ωｘ，ωｙ）は画像の平均ノイズ電力であり、μ^＊（ωｘ，ωｙ）は代表値μ（ωｘ，ωｙ）の複素共役である。また、次式が成立する。

また、共通フィルタとして、タップ数を制限した２次元ＦＩＲ(finite impulse response)フィルタを作成するため、公知の制約条件付きの最適化手法を用いて、周波数特性ｆ（ωｘ，ωｙ）を最良に近似するフィルタ係数（「タップ係数」ともいう）を求める。

点像の非点対称性が個体ばらつきに大きく影響する場合、次式で定義されるゼロ位相復元フィルタを用いてよい。

ゼロ位相復元フィルタは、取得された画像に対し、位相に関しては復元処理を非実行にする。つまり、取得された画像に対し、光学伝達関数のうちＭＴＦのみに関して復元処理を実行する。ゼロ位相復元フィルタを用いることによって、点像の非点対称成分を対称化する補正効果は得られないものの、個体ばらつきを含む画像にアーティファクトが発生するリスクを低減できる。

［撮像光学系の光学特性の限定］
図４は、本発明における撮像光学系の一例の８割像高でのデフォーカス量に対するＭＴＦ値を示す。本図において、第１のＭＴＦ曲線Ｍ１は、第１のアジムス方向におけるデフォーカス量に対するＭＴＦ値を示す。第２のＭＴＦ曲線Ｍ２は、第２のアジムス方向におけるデフォーカス量に対するＭＴＦ値を示す。

アジムス（azimuth）方向は、撮像光学系１１の光軸に直交する方向の総称である。言い換えると、アジムス方向は、光軸に直交する面内における方位を示す。第１のアジムス方向は、例えば、撮像光学系１１の光軸を中心とする円の円周方向（以下「サジタル方向」という）である。また、第２のアジムス方向は、例えば、撮像光学系１１の光軸を中心とする円の径方向（以下「タンジェンシャル方向」という）である。サジタル方向及びタンジェンシャル方向は、いずれも光軸に直交する。また、サジタル方向とタンジェンシャル方向とは互いに直交する。

デフォーカス量は、特定の合焦位置（「ピント位置」ともいう）からのズレ量（シフト量）を示す。言い換えると、デフォーカス量は、光軸上で合焦している場合の実際の合焦位置の光軸方向のズレ量（シフト量）である。デフォーカス量は、「フォーカスシフト量」あるいは「焦点移動量」と呼ばれることもある。

ＭＴＦ値は、光学伝達関数（ＯＴＦ）の振幅成分であるＭＴＦを示す値である。

８割像高は、最大像高に対して８割の像高である。つまり、像面（撮像素子２６の受光面）における光軸から像点までの最大距離の８割に相当する。像面は、画像に対応する。

第１のＭＴＦ曲線Ｍ１と第２のＭＴＦ曲線Ｍ２とを比較すると、第１のＭＴＦ曲線Ｍ１のピーク値Ｐ１よりも第２のＭＴＦ曲線Ｍ２のピーク値Ｐ２が小さく、かつ第１のＭＴＦ曲線Ｍ１の半値幅ＨＷ１よりも第２のＭＴＦ曲線Ｍ２の半値幅ＨＷ２が大きい。

本発明では、アジムス方向間でＭＴＦ曲線のピーク値比及びＭＴＦ曲線の半値幅比が次の通りである撮像光学系を用いる。

ピーク値比：第１のＭＴＦ曲線Ｍ１のピーク値Ｐ１と第２のＭＴＦ曲線Ｍ２のピーク値Ｐ２との比は、２以上である。ピーク値の比は、好ましくは４以上であり、より好ましくは１０以上である。つまり、第１のＭＴＦ曲線Ｍ１のピーク値Ｐ１は、第２のＭＴＦ曲線Ｍ２のピーク値Ｐ２と比較して、２倍以上、好ましくは４倍以上、より好ましくは１０倍以上である。

ピーク値比の上限は特に限定されないが、第２のＭＴＦ曲線Ｍ２のピーク値Ｐ２が小さい場合、第２のアジムス方向のＭＴＦ値を持ち上げるためには高ゲインが必要になる。

半値幅比：第１のＭＴＦ曲線Ｍ１の半値幅ＨＷ１と第２のＭＴＦ曲線Ｍ２の半値幅ＨＷ２との比は、１．２５以上であり、好ましくは３以上である。つまり、第２のＭＴＦ曲線Ｍ２の半値幅ＨＷ２は、第１のＭＴＦ曲線Ｍ１の半値幅ＨＷ１と比較して、１．２５倍以上、より好ましくは３倍以上である。

半値幅比の上限は特に限定されないが、第１のＭＴＦ曲線Ｍ１の半値幅ＨＷ１が小さい場合、即ち第１のアジムス方向における深度が小さい場合には、第１のアジムス方向においてデフォーカス量の変化に対してＭＴＦ値の変化が激しくなる。

［画像処理の流れ］
図５は、本発明に係る画像処理方法を適用した画像処理例の流れの概略を示すフローチャートである。本処理は、図２のカメラ本体コントローラ２８により、記憶部３０に予め記憶されたプログラムに従って実行される。

まず、画像取得部５４により、図４に示した光学特性を有する撮像光学系１１を用いて生成された画像を取得する（ステップＳ２）。

次に、フィルタ取得部５６により、撮像に用いた撮像光学系１１と同一種類の母集団（複数の撮像光学系）から作成された共通フィルタを取得する（ステップＳ４）。尚、本撮像光学系１１が母集団に含まれていた場合に限定されず、本撮像光学系１１が母集団に含まれていなかった場合でもよい。

次に、復元処理部５８により、ステップＳ２で取得された画像に対し、ステップＳ４で取得された共通フィルタを用いて、復元処理を行う（ステップＳ６）。

［共通フィルタと撮像光学系のＭＴＦとの有意義な関係］
本発明における共通フィルタと撮像光学系のＭＴＦとの有意義な関係について、説明する。

まず、復元処理が不要である理想的な撮像光学系のＭＴＦについて説明しておく。図６は、理想的な撮像光学系の一例におけるデフォーカス量に対するＭＴＦ値を示すＭＴＦ曲線のグラフである。ＭＴＦ曲線Ｍ０は、中心部（像高ゼロ）におけるデフォーカス量に対するＭＴＦ値を示す。ＭＴＦ曲線ＭＳは、８割像高におけるサジタル方向（以下略して「Ｓ方向」という）のデフォーカス量に対するＭＴＦ値を示す。ＭＴＦ曲線ＭＴは、８割像高におけるタンジェンシャル方向（以下略して「Ｔ方向」という）のデフォーカス量に対するＭＴＦ値を示す。撮像光学系の周辺像高（本図では８割像高）において、Ｓ方向のＭＴＦ曲線ＭＳとＴ方向のＭＴＦ曲線ＭＴとを比較すると、ピーク値はほぼ同じであり、且つ深度を示す指標である半値幅はほぼ同じである。このような理想的な撮像光学系を用いるには、二方向間のＭＴＦ差を小さくするため、設計において一般にレンズ枚数及び外径寸法の増加となり、製造において一般に部品公差及び組立公差の抑制コストが膨大となる。

その一方で、図４を用いて説明した二方向間のＭＴＦ差が大きい撮像光学系を用いるには、従来一般に、撮像光学系ごとに個別の復元フィルタ（以下「個別フィルタ」という）を作成し、復元処理を行っていた。しかし個別フィルタを作成すると、撮像光学系の設計及び製造のコストの節約に寄与するが、個別フィルタ作成のためのコストが多く必要となってしまう。そこで、本発明では、先に詳説した通り、共通フィルタ（同一種類の複数の撮像光学系に共通の復元フィルタである）を用いる。ただし、共通フィルタを用いる場合には、ＭＴＦの個体ばらつきに対する過補正を回避する必要がある。

次に、復元処理が必要な一般の撮像光学系のＭＴＦ曲線について説明すると、図４にも示したように、周辺像高においてＳ方向のＭＴＦ曲線のピーク値よりもＴ方向のＭＴＦ曲線のピーク値が小さくなる傾向がある。その要因として次の要因１〜要因３が挙げられる。

要因１：撮像光学系のレンズとして広角レンズを採用した場合、一般に口径食が発生し、その結果としてＴ方向のＭＴＦ値が下がる。

要因２：Ｔ方向に倍率色収差が発生し、Ｔ方向のＭＴＦ値が下がる。

要因３：コマ収差が発生し、ＭＴＦ値が下がる。Ｔ方向のコマ収差は、主光線に対して非対称の収差となるため制御が困難である。つまりＳ方向のＭＴＦ値よりもＴ方向のＭＴＦ値が小さくなり易い。

ただし、撮像光学系によっては、Ｓ方向のピーク値がＴ方向のピーク値よりも小さくなる場合もある。

次に、復元処理が必要な一般の撮像光学系のうち、共通フィルタに対して不適合な撮像光学系と、共通フィルタに対して好適な撮像光学系とについて、図７及び図８の模式図を用いて、説明する。図７は共通フィルタに対して不適合な撮像光学系の一例のＭＴＦ曲線を示す模式図であり、図８は共通フィルタに対して好適な撮像光学系の一例のＭＴＦ曲線を示す模式図である。尚、図７及び図８において、Ｔ方向のＭＴＦ曲線は、一般に個体ばらつきが大きいため、例として２本のＭＴＦ曲線ＭＴ１、ＭＴ２で示してある。ここで、ＭＴＦ曲線ＭＴ１は第１の撮像光学系のＴ方向におけるデフォーカス量に対するＭＴＦ値を示し、ＭＴＦ曲線ＭＴ２は第１の撮像光学系と同一種類の第２の撮像光学系のＴ方向におけるデフォーカス量に対するＭＴＦ値を示す。Ｓ方向のＭＴＦ曲線は、Ｔ方向のＭＴＦ曲線と比較して、一般に個体ばらつきが小さいためその個体ばらつき無視し、例として１本のＭＴＦ曲線ＭＳ１２で示してある。つまりＭＴＦ曲線ＭＳ１２は、第１の撮像光学系及び第２の撮像光学系のＳ方向におけるデフォーカス量に対するＭＴＦ値を示す。また、Ｓ方向のＭＴＦ曲線ＭＳ１２のピーク位置とＴ方向のＭＴＦ曲線ＭＴ１，ＭＴ２のピーク位置とには、一般にずれ量ｄＰ１、ｄＰ２が存在する。

図７に示したように、Ｔ方向のＭＴＦ曲線ＭＴ１、ＭＴ２の半値幅ＨＷＴ１，ＨＷＴ２が小さい場合、即ちＴ方向のＭＴＦ曲線ＭＴ１、ＭＴ２の深度が不十分である場合には、製造の個体ばらつきに起因して像面の倒れが発生し、Ｓ方向のＭＴＦ曲線とＴ方向のＭＴＦ曲線の相対ピーク位置がばらついたとすると、センサ面におけるＳ方向のＭＴＦ値とＴ方向のＭＴＦ値の差の個体ばらつき変動量が大変大きくなり、共通フィルタ方式による点像復元が難しくなってしまう（過補正、補正不足が発生する）ことが分かる。

その一方で、図８に示したように、Ｔ方向のＭＴＦ曲線ＭＴ１、ＭＴ２の半値幅ＨＷＴ１，ＨＷＴ２が大きい場合、即ちＴ方向のＭＴＦ曲線ＭＴ１、ＭＴ２の深度が十分である場合には、製造の個体ばらつきに起因して像面の倒れが発生し、Ｓ方向のＭＴＦ曲線とＴ方向のＭＴＦ曲線の相対ピーク位置がばらついたとしても、片方の（Ｔ方向の）ＭＴＦ曲線がなだらかであるおかげで、センサ面におけるＳ方向のＭＴＦ値とＴ方向のＭＴＦ値の差の個体ばらつき変動量が小さくなり、共通フィルタ方式による点像復元で十分に効果を発揮できることが分かる。

つまり、レンズのＳ方向像面とＴ方向像面の間に個体ばらつきによる相対倒れが発生したとしても、Ｓ方向のＭＴＦ曲線ＭＳ１２の半値幅ＨＷＳ１２とＴ方向の半値幅ＨＷＴ１、ＨＷＴ２との比が適切な範囲内であれば、個別フィルタを用いないで共通フィルタを用いた（Ｓ方向とＴ方向にそれぞれ一定のゲインしか適用できない）としても、画像を良好に復元できることが分かる。

ここで適切な範囲とは、二方向間のＭＴＦ曲線のピーク値の比が「２」以上である場合に、二方向間のＭＴＦ曲線の半値幅の比が「１．２５」以上、好ましくは「３」以上である。半値幅の比の上限値は特に限定されない。この比率は、偏芯が起きた際のＳ方向とＴ方向のそれぞれについての像面感度の比（Ｔ方向像面感度÷Ｓ方向像面感度）よりも大きくなっていることが望ましく、実測による効果を考慮してこの値の範囲となる。

また、二方向間のＭＴＦ曲線のピーク値の比が「４」以上、あるいは「１０」以上である撮像光学系に限定してもよい。例えば撮像光学系のレンズとして広角レンズを採用した場合、ピーク値の比が大きくても半値幅の比が大きい撮像光学系を用いることで、共通フィルタを用いても良好に画像を復元することができる。

また、撮像光学系の種類によっては、二方向間のＭＴＦ曲線のピーク値の比を、「２」以上の範囲内で、「１０」以下、更には「４」以下とすることが好ましい場合がある。例えば、ピーク値の比が、「２」以上且つ「１０」以下の範囲内、「２」以上且つ「４」以下の範囲内、あるいは「４」以上且つ「１０」以下の範囲内、としてもよい。

以上、二つのアジムス方向がＳ方向及びＴ方向である場合を例に説明したが、本発明はこのような場合に限定されない。異なる二つのアジムス方向間において、ＭＴＦ曲線のピーク値の比及び半値幅の比が、前述の適切な範囲内であればよい。

また、周辺像高が８割像高である場合を例に説明したが、８割像高以外の周辺像高でも、前述の適切な範囲内であることが好ましい。

また、空間周波数の条件の説明を省略したが、空間周波数が少なくとも撮像素子の１／２ナイキスト周波数である場合において、ＭＴＦ曲線が前述の適切な範囲内であることが好ましい。

［ＭＴＦ曲線の適切な範囲の検証について］
撮像光学系のＭＴＦ曲線が本発明の適切な範囲内であることを検証する一例を説明する。

少なくとも次の条件でＭＴＦ曲線が適切な範囲内であることを検証できる。
・二つのアジムス方向：サジタル方向及びタンジェンシャル方向
・像高：８割像高
・空間周波数：撮像素子の１／２ナイキスト周波数
ただし、ＭＴＦ曲線が本発明の適切な範囲内であることの検証の条件は、上述の場合に特に限定されない。二つのアジムス方向は、サジタル方向及びタンジェンシャル方向に限定されず、撮像光学系の光軸に直交する、異なる二方向であればよい。つまり、Ｓ方向及びＴ方向においてＭＴＦ値の差が最も顕著に現れるが、それ以外の方向でＭＴＦ値の差を検証してもよい。像高は、８割像高には限定されず、光軸から離間した周辺部の像高（周辺像高）であればよい。空間周波数は、撮像素子の１／２ナイキスト周波数に限定されない。例えば撮像素子の１／４ナイキスト周波数でもよい。また、光源から被写体に照射する光の波長は、特に限定されない。いわゆる白色光を照射して、ＭＴＦ値を測定することができる。

［画像処理システムのバリエーション］
図１及び図２を用いて、撮像装置１０のカメラ本体コントローラ２８で復元処理を行う場合を例に説明したが、本発明はこのような場合に限定されない。

例えば、図９に示すように、ネットワークＮＷを介して撮像装置１０と接続されたサーバ装置８０で復元処理を行ってもよい。本図のサーバ装置８０は、入出力インターフェース８２及びサーバコントローラ８４を備える。サーバコントローラ８４は、例えばＣＰＵによって構成される。本例のサーバ装置８０は画像処理装置の一形態である。サーバコントローラ８４は、図２に示した、画像取得部５４、フィルタ取得部５６、及び復元処理部５８を備える。本例の画像取得部５４は、撮像装置１０からネットワークＮＷを介して画像を取得する。本例のフィルタ取得部５６は、データベース８６からネットワークＮＷを介して復元フィルタを取得する。

本発明における画像処理装置は、図１に示した場合及び図９に示した場合には特に限定されない。つまり、撮像装置及びサーバ装置で復元処理を行う場合には特に限定されず、他の装置で復元処理を行う場合に本発明を適用可能である。

［撮像光学系セット］
本発明は、撮像光学系１１と、復元フィルタを非一時的に記憶した記憶媒体（非一時的有形媒体）とを含むセット（撮像光学系セット）であってもよい。非一時的有形媒体の例として、例えば、メモリカード、光ディスク、磁気ディスクが挙げられる。ただし、非一時的有形媒体は、非一時的に復元フィルタを記憶した有形媒体であれば特に限定されない。装置内に予め実装されたメモリデバイス、例えばＥＥＰＲＯＭであってもよい。

以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。

１０ 撮像装置
１１ 撮像光学系
１２ レンズユニット
１４ カメラ本体
１６ レンズ
１８ 絞り
２０ 光学系コントローラ
２２ 照明装置
２６ 撮像素子
２８ カメラ本体コントローラ
３０ 記憶部
３２ 入出力インターフェース
５２ 撮像制御部
５４ 画像取得部
５６ フィルタ取得部
５８ 復元処理部
６０ コンピュータ
６２ 入出力インターフェース
６４ コンピュータコントローラ
６６ ディスプレイ
８０ サーバ装置
８２ 入出力インターフェース
８４ サーバコントローラ
８６ データベース
ＨＷ１、ＨＷ２、ＨＷＳ１２、ＨＷＴ１、ＨＷＴ２ 半値幅
Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８ レンズ
Ｍ０、Ｍ１、Ｍ２、ＭＳ、ＭＳ１２、ＭＴ１、ＭＴ２ ＭＴＦ曲線
ＮＷ ネットワーク
Ｏ 光軸（方向）
Ｐ１、Ｐ２ ピーク値
ｄＰ１、ｄＰ２ ピーク位置のずれ量

Claims (9)

1. 画像を取得する画像取得部と、
   前記画像を生成するために用いられた撮像光学系の伝達関数に応じた復元フィルタを取得するフィルタ取得部と、
   前記取得された画像に対し、前記取得された復元フィルタを用いて復元処理を行う復元処理部と、を備え、
   前記撮像光学系は、光軸上で合焦している場合の合焦位置からのデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線と前記合焦位置からのデフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、前記第１のＭＴＦ曲線のピーク値よりも前記第２のＭＴＦ曲線のピーク値が小さく、前記第１のＭＴＦ曲線のピーク値と前記第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ前記第１のＭＴＦ曲線の半値幅よりも前記第２のＭＴＦ曲線の半値幅が大きく、前記第１のＭＴＦ曲線の半値幅と前記第２のＭＴＦ曲線の半値幅との比が１．２５以上であり、
   前記復元フィルタは、前記撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである、
   画像処理装置。
2. 前記第１のアジムス方向は前記撮像光学系の光軸を中心とする円の円周方向であり、前記第２のアジムス方向は前記円の径方向である、
   請求項１に記載の画像処理装置。
3. 前記復元フィルタは、前記取得された画像に対し、位相に関しては復元処理を非実行にするゼロ位相復元フィルタである、
   請求項１または２に記載の画像処理装置。
4. 前記第１のＭＴＦ曲線のピーク値と前記第２のＭＴＦ曲線のピーク値との比が４以上である、
   請求項１から３のうちいずれか１項に記載の画像処理装置。
5. 前記第１のＭＴＦ曲線のピーク値と前記第２のＭＴＦ曲線のピーク値との比が１０以上である、
   請求項１から４のうちいずれか１項に記載の画像処理装置。
6. 前記第１のＭＴＦ曲線の半値幅と前記第２のＭＴＦ曲線の半値幅との比が３以上である、
   請求項１から５のうちいずれか１項に記載の画像処理装置。
7. 光軸上で合焦している場合のデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線と前記デフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、前記第１のＭＴＦ曲線のピーク値よりも前記第２のＭＴＦ曲線のピーク値が小さく、前記第１のＭＴＦ曲線のピーク値と前記第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ前記第１のＭＴＦ曲線の半値幅よりも前記第２のＭＴＦ曲線の半値幅が大きく、前記第１のＭＴＦ曲線の半値幅と前記第２のＭＴＦ曲線の半値幅との比が１．２５以上である撮像光学系と、
   前記撮像光学系を用いて生成された画像を取得する画像取得部と、
   前記撮像光学系の伝達関数に応じた復元フィルタであって前記撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである復元フィルタを取得するフィルタ取得部と、
   前記取得された画像に対し、前記取得された復元フィルタを用いて復元処理を行う復元処理部と、
   を備える画像処理システム。
8. 光軸上で合焦している場合のデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線と前記デフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、前記第１のＭＴＦ曲線のピーク値よりも前記第２のＭＴＦ曲線のピーク値が小さく、前記第１のＭＴＦ曲線のピーク値と前記第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ前記第１のＭＴＦ曲線の半値幅よりも前記第２のＭＴＦ曲線の半値幅が大きく、前記第１のＭＴＦ曲線の半値幅と前記第２のＭＴＦ曲線の半値幅との比が１．２５以上である撮像光学系を用いて生成された画像を取得し、
   前記撮像光学系の伝達関数に応じた復元フィルタであって前記撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである復元フィルタを用いて、前記取得された画像に対し復元処理を行う画像処理方法。
9. 光軸上で合焦している場合のデフォーカス量に対する第１のアジムス方向のＭＴＦ値を示す第１のＭＴＦ曲線と前記デフォーカス量に対する第２のアジムス方向のＭＴＦ値を示す第２のＭＴＦ曲線とを比較すると、前記第１のＭＴＦ曲線のピーク値よりも前記第２のＭＴＦ曲線のピーク値が小さく、前記第１のＭＴＦ曲線のピーク値と前記第２のＭＴＦ曲線のピーク値との比が２以上であり、かつ前記第１のＭＴＦ曲線の半値幅よりも前記第２のＭＴＦ曲線の半値幅が大きく、前記第１のＭＴＦ曲線の半値幅と前記第２のＭＴＦ曲線の半値幅との比が１．２５以上である撮像光学系と、
   前記撮像光学系の伝達関数に応じた復元フィルタであって前記撮像光学系を含む同一種類の複数の撮像光学系における伝達関数の代表値に応じた共通フィルタである復元フィルタを 記憶した記憶媒体と、
   を含む撮像光学系セット。

Images