JP7404806B2 - 撮像システム、結像光学系、及び画像処理方法 - Google Patents

Description

本発明は、撮像システム、結像光学系、及び画像処理方法に関する。

撮像装置システムにおいて、質の良い画像を得るために、撮像素子から出力される画像のボケを超解像復元処理で低減することがある。

特許文献１には、撮像装置において、撮像により基準画像を取得し、基準画像の一部のより高い撮像倍率での撮像により参照画像を取得し、基準画像及び参照画像で同一被写体の相関が高い場合に値が小さくなる相関関数と基準画像と参照画像とを用いた超解像処理により高解像度画像を生成することが記載されている。これにより、特許文献１によれば、基準画像に加えてより高い周波数成分を含む参照画像を用いて超解像処理を行うので、解像力が高い画像を復元できるとされている。

特許文献１に記載の技術では、解像力の向上を超解像処理（超解像復元処理）で実現することが前提となっている。しかし、撮像装置システムにおいて、解像力の向上を超解像復元処理で実現することには、限界があると考えられる。

本発明は、上記に鑑みてなされたものであって、解像力をより向上できる撮像システム、結像光学系、及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の１つの側面にかかる撮像システムは、撮像面を有する撮像素子と、被写体の像を前記撮像面に結像させる結像光学系と、前記撮像素子で取得される画像に応じた第１の画像データを超解像復元処理で第２の画像データに変換する画像処理部と、前記第２の画像データを記録媒体に記録する記録部とを有し、サジタル面における収差量をΔｓとし、メリジオナル面における収差量をΔｍとし、球面収差量の最大値をΔＳＡとし、コマ収差量を表わす横収差量のうち前記結像光学系の最大像高位置で前記結像光学系を通過するメリジオナル光線のうち有効光束径の所定の割合の位置を通る上線および下線がとる収差量の和をΔＣＯとし、非点収差量のうちΔｓとΔｍの差が最大となる像高位置でのΔｓとΔｍの差分量をΔＡＳとし、像面湾曲量のうちΔｓの最大値もしくはΔｍの最大値におけるより大きな値をΔＩｍＣとするとき、前記結像光学系は、０＜｜（ΔＡＳ）／（ΔＳＡ）｜＜１・・・（１） ０＜｜（ΔＩｍＣ）／（ΔＳＡ）｜＜１・・・（２） ０＜｜（ΔＡＳ）／（ΔＣＯ）｜＜１・・・（３） ０＜｜（ΔＩｍＣ）／（ΔＣＯ）｜＜１・・・（４）を満足していることを特徴とする。

本発明によれば、解像力をより向上できるという効果を奏する。

図１は、実施形態にかかる撮像システムの構成を示す図である。 図２は、実施形態における球面収差の規定方法を示す図である。 図３は、実施形態におけるコマ収差の規定方法を示す図である。 図４は、実施形態における非点収差の規定方法を示す図である。 図５は、実施形態における像面湾曲の規定方法を示す図である。 図６は、実施形態における各収差の画質への影響を示す図である。 図７は、実施形態における各収差の超解像復元処理による復元度合いを示す図である。 図８は、中心部の結像性能を優先させて構成された結像光学系による各画素位置の結像特性を示す図である。 図９は、実施形態における結像光学系による各画素位置の結像特性を示す図である。 図１０は、実施形態における結像光学系の構成例を示す図である。 図１１は、実施形態における結像光学系の構成例を示す図である。 図１２は、実施形態における結像光学系の収差特性例を示す図である。 図１３は、実施形態における結像光学系の収差特性例を示す図である。 図１４は、実施形態の第１の変形例にかかる撮像システムの構成を示す図である。 図１５は、実施形態の第２の変形例における超解像復元処理を示す図である。 図１６は、実施形態の第２の変形例における各収差の超解像復元処理による復元度合いを示す図である。

（実施形態）
実施形態にかかる撮像システムは、結像光学系及び撮像素子を有し、結像光学系で撮像素子の撮像面上に結像され撮像素子で取得された画像に対して画像処理を行う。撮像装置システムにおいて、質の良い画像を得るために、撮像素子から出力される画像のボケを超解像復元処理で低減することがある。

例えば、撮像システムにおいて、撮像により基準画像を取得し、基準画像の一部のより高い撮像倍率での撮像により参照画像を取得し、基準画像及び参照画像で同一被写体の相関が高い場合に値が小さくなる相関関数と基準画像と参照画像とを用いた超解像復元処理により高解像度画像を生成することが考えられる。この場合、解像力の向上を超解像復元処理で実現することになる。しかし、撮像装置システムにおいて、解像力の向上を超解像復元処理で実現することには、限界があると考えられる。より解像力を向上し得られる画像の画質を向上することが望まれる。

そこで、本実施形態では、撮像システムにおいて、結像光学系を超解像復元処理に適した形態に構成し、その結像光学系と超解像復元処理とを組み合わせることで、解像力の更なる向上及びそれによる画質の向上を目的とする。

具体的には、検討を行ったところ、超解像復元処理による画像の復元度合いが、画像内の不均一な画像劣化の要因となる収差（非点収差、像面湾曲）に比べて、画像内の均一な画像劣化の要因となる収差（球面収差、コマ収差）で大きいことを見出した。これに着目し、結像光学系を、画像内の不均一な画像劣化の要因となる収差（非点収差、像面湾曲）が画像内の均一な画像劣化の要因となる収差（球面収差、コマ収差）より抑えられるような形態に構成する。結像光学系を、画像内の均一な画像劣化の要因となる収差（球面収差、コマ収差）が増加することを許容しつつ画像内の不均一な画像劣化の要因となる収差（非点収差、像面湾曲）が低減するように構成する。結像光学系を、超解像復元処理で復元しやすい収差を敢えて発生させつつ超解像復元処理で復元しにくい収差を抑えるように構成し、超解像復元処理に適した画像を結像可能なように構成する。その結像光学系で撮像素子の撮像面上に結像され撮像素子で取得された画像に対して、超解像復元処理を行って原画像を高い解像度で復元する。

すなわち、超解像復元処理に適した結像光学系と超解像復元処理とを組み合わせる。これにより、解像力を結像光学系と超解像復元処理との協働により向上できるので、超解像復元処理単独で解像力を向上させる場合に比べて、より解像力を向上でき、得られる画像の画質を向上できる。

また、通常の結像光学系に求められる結像性能（中心部の結像性能を優先）と異なり、中心部の結像性能が悪化することを許容しつつ画像内における収差の均一性が向上された収差として結合光学系が構成される。これにより、結像光学系を容易に低コスト化できる。例えば、レンズ枚数を低減（例えば、レンズ枚数を１枚と）した場合でも、超解像復元処理後に通常の結像光学系を用いた場合よりも良好な画像を得ることができる。

より具体的には、撮像システム１は、図１に示すように構成される。図１は、撮像システム１の構成を示す図である。

撮像システム１は、結像光学系２、撮像素子３、画像処理部４、及び記録部５を有する。結像光学系２は、絞り及び１枚以上のレンズを有する。撮像素子３は、撮像面を有する。結像光学系２は、被写界から受けた光に応じて、被写体の像を撮像面に結像させる。撮像素子３は、撮像面に結像された被写体の像に応じた画像信号を生成して画像処理部４へ出力する。画像処理部４は、撮像素子３で取得される画像に応じた第１の画像データを超解像復元処理で第２の画像データに変換する。第２の画像データの画素数は第１の画像データの画素数より多く、第２の画像データは、第１の画像データより解像度の高いデータである。超解像復元処理は、解像度の低い画素間を補間して解像度の高い画像に変換する処理である。超解像復元処理は、ＭＬ（Ｍａｘｉｍｕｍ－Ｌｉｋｅｌｉｈｏｏｄ）法、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）法、ＰＯＣＳ（Ｐｒｏｊｅｃｔｉｏｎ Ｏｎｔｏ Ｃｏｎｖｅｘ Ｓｅｔ）法、ＩＢＰ（Ｉｔｅｒａｔｉｖｅ Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）法およびＬＲ（Ｌｕｃｙ－Ｒｉｃｈａｒｄｓｏｎ）法等を用いて行われてもよい。画像処理部４は、第２の画像データを記録部５へ出力する。記録部５は、記録媒体（例えば、半導体メモリ等を用いたメモリカード、磁気ディスク、光ディスク、光磁気ディスクなどのディスクなど）を有し、第２の画像データを記録媒体に記録する。

ここで、サジタル面における収差量をΔｓとし、メリジオナル面における収差量をΔｍとし、球面収差量の最大値をΔＳＡとし、コマ収差量を表わす横収差量のうち結像光学系２の最大像高位置で結像光学系２を通過するメリジオナル光線のうち有効光束径の所定の割合の位置を通る上線および下線がとる収差量の和をΔＣＯとし、非点収差量のうちΔｓとΔｍの差が最大となる像高位置でのΔｓとΔｍの差分量をΔＡＳとし、像面湾曲量のうちΔｓもしくはΔｍの最大値のうちより大きな値をΔＩｍＣとするとき、結像光学系２は、
０＜｜（ΔＡＳ）／（ΔＳＡ）｜＜１・・・（１）
０＜｜（ΔＩｍＣ）／（ΔＳＡ）｜＜１・・・（２）
０＜｜（ΔＡＳ）／（ΔＣＯ）｜＜１・・・（３）
０＜｜（ΔＩｍＣ）／（ΔＣＯ）｜＜１・・・（４）
を満足している。数式（１）～数式（４）は、非点収差量および像面湾曲量が球面収差量またはコマ収差量より小さくなるように、結像光学系２が構成されることを示している。

なお、メリジオナル面は、主光線と光軸とを含む面である。サジタル面は、主光線を含みメリジオナル面に垂直な面である。メリジオナル光線は、メリジオナル面内を進む光線である。

数式（１）及び数式（２）に用いられる球面収差（ΔＳＡ）は、図２に示すように規定される。図２は、球面収差の規定方法を示す図である。図２では、撮像素子３の撮像面（理想的な結像面）を基準とした縦収差図が例示され、縦軸が瞳像高を示し、横軸が縦収差を示している。図２に示す結像光学系２の縦収差図において、球面収差を表わす曲線の一例が示されている。この曲線から近軸像平面を表わす直線に垂線を下ろしたときその長さが最大となる像高位置での収差量を球面収差（ΔＳＡ）と規定する。図２の場合、瞳像高＝１．００での縦収差が球面収差（ΔＳＡ）と規定される。

数式（３）及び数式（４）に用いられるコマ収差（ΔＣＯ）は、図３に示すように規定される。図３は、コマ収差の規定方法を示す図である。図３では、撮像素子３の撮像面（理想的な結像面）を基準とした横収差図が例示され、縦軸が横収差を示し、横軸が光軸中心を基準とした被写界からの光が結像光学系２へ入射する位置の示す入射瞳座標を示している。図３に示す結像光学系２の最大像高位置での横収差図において、結像光学系２を通過するメリジオナル光線を表わす曲線の一例が示されている。この曲線において、有効光束の８割の位置を通る下光線の収差量ΔＬＬと上光線の収差量ΔＵＬとの和をコマ収差（ΔＣＯ＝ΔＬＬ＋ΔＵＬ）と規定する。

数式（１）及び数式（３）に用いられる非点収差（ΔＡＳ）は、図４に示すように規定される。図４は、非点収差の規定方法を示す図である。図４では、撮像素子３の撮像面（理想的な結像面）を基準とした縦収差図が例示され、縦軸が瞳像高を示し、横軸が縦収差を示している。図４に示す結像光学系２の縦収差図において、サジタル面における収差量の一例がΔｓとして実線の曲線で示され、メリジオナル面における収差量の一例がΔｍとして点線の曲線で示されている。実線の曲線（Δｓ）と点線の曲線（Δｍ）の差が最大となる像高でのΔｓとΔｍの差分量を非点収差（ΔＡＳ＝ｍａｘ（｜Δｓ－Δｍ｜））と規定する。

数式（２）及び数式（４）に用いられる像面湾曲（ΔＩｍＣ）は、図５に示すように規定される。図５は、像面湾曲の規定方法を示す図である。図５では、撮像素子３の撮像面（理想的な結像面）を基準とした縦収差図が例示され、縦軸が瞳像高を示し、横軸が縦収差を示している。図５に示す結像光学系２の縦収差図において、サジタル面における収差量の一例がΔｓとして実線の曲線で示され、メリジオナル面における収差量の一例がΔｍとして点線の曲線で示されている。実線の曲線（Δｓ）と点線の曲線（Δｍ）とについてΔｓの最大値とΔｍの最大値とのうちより大きな値を像面湾曲量（ΔＩｍＣ）と規定する。図５の場合、Δｍの最大値が像面湾曲量（ΔＩｍＣ＝ｍａｘ（Δｓ，Δｍ））と規定される。

次に、各収差の画質への影響について図６を用いて説明する。図６は、各収差の画質への影響を示す図である。図６（ａ）は、収差を有しない結像光学系で結像された被写体の画像（元画像）を示す。図６（ｂ）は、球面収差のみを有する結像光学系で結像された画像を示す。図６（ｃ）は、コマ収差のみを有する結像光学系で結像された画像を示す。図６（ｄ）は、非点収差のみを有する結像光学系で結像された画像を示す。図６（ｅ）は、像面湾曲のみを有する結像光学系で結像された画像を示す。

図６（ａ）に示す元画像（被写体）に対して、４つの収差（球面収差、コマ収差、非点収差、像面湾曲）のうちそれぞれの収差のみを単独で有する結像光学系で結像された画像（図６（ｂ）～図６（ｅ））の画像劣化具合を比較する。また、このとき、図６（ｂ）～図６（ｅ）に示すいずれの結像画像も、画像の画質を表わす指標であるＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ）は一定（例えば、２２．６７ｄＢ）となっている。ＰＳＮＲは、高いほど画質が良いことを示す。

球面収差は、どの画角でも収差量は均一であるため、図６（ｂ）に示すように、結像画像内の劣化として画面内均一なボケが生じる。コマ収差は、画角に比例して収差量が増加する収差であり、図６（ｃ）に示すように、結像画像内で画像端に近づくほど劣化し、画像がにじむようなボケ（画面内で比較的均一なボケ）が生じる。非点収差や像面湾曲は、画角の２乗に比例して収差量が増加する収差であり、図６（ｄ）、図６（ｅ）に示すように、結像画像内で画像端に近づくほど劣化し、画面内不均一なボケが生じる。

次に、各収差の超解像復元処理による復元度合いについて図７を用いて説明する。図７は、各収差の超解像復元処理による復元度合いを示す図である。図７では、４収差（球面収差、コマ収差、非点収差、像面湾曲）を単独で付与した結像光学系に対し超解像復元処理をした場合の復元度合いについて示す。図７では、球面収差，コマ収差，非点収差，像面湾曲の４つの収差のうちそれぞれの収差を単独で付与した結像光学系により結像した画像１６種類に対して超解像復元処理を行って得られた結果が示され、画像の画質を表わす指標は、復元後のＰＳＮＲ値［ｄＢ］とされている。図７では、縦軸が復元後のＰＳＮＲ値［ｄＢ］を示し、横軸が評価を行った画像の番号を示している。なお、４収差のそれぞれについて、復元前のＰＳＮＲは、一定（例えば、２２．６７ｄＢ）となっている。

図７の評価では、超解像復元処理による復元で、復元後の画質が最も良好なのは１点鎖線で示される球面収差、次いで２点鎖線で示されるコマ収差を単独で付与した結像光学系であることが分かる。それらと比較し、実線で示される非点収差、点線で示される像面湾曲を単独で付与した結像光学系は、復元後の画質が劣る。この結果より、数式（１）～数式（４）を満足するように結像光学系２を構成することで、超解像復元処理で復元しやすい収差を発生させつつ超解像復元処理で復元しにくい収差を抑えられた結像光学系２を構成できる。これにより、超解像復元処理による復元で質の良い画像が得られる。

次に、中心部の結像性能を優先させて構成された結像光学系による画像フレーム内の各画素位置の結像特性について図８を用いて説明する。図８は、中心部の結像性能を優先させて構成された結像光学系による各画素位置の結像特性を示す図である。図８（ａ）は、結像光学系による像面上のスポットダイアグラムを示す。スポットダイアグラムは、画像フレーム内の各画素位置の結像特性を点光源に対する像の広がり具合で示し、像の広がり具合は、点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）として計算され得る。図８（ｂ）～図８（ｅ）は、図８（ａ）に示す画素位置ＰＰ１～ＰＰ４について計算されたＰＳＦを示す。画素位置ＰＰ１～ＰＰ４は、この順に像高が高くなる画素位置である。画素位置ＰＰ１は、画像フレームにおける中心部近傍の画素位置であり、画素位置ＰＰ４は、画像フレームにおける外縁部近傍の画素位置である。

図８（ａ）では、像が点に近いほど、すなわち像の広がりが少ないほど、結像特性が良好であることを示す。図８（ａ）に示されるように、撮像システムの結像光学系は、通常、像面上で外縁部より中心部の結像性能を優先している。そのときの像面上のスポットダイアグラムを見ると、中心部近傍の画素位置ＰＰ１では、光線が比較的集光しているが、外縁部近傍の画素位置に近づくにつれて光線が散って広がっていることが分かる。また、図８（ｂ）～図８（ｅ）に示す各像高のＰＳＦを比較すると、中心部近傍の画素位置ＰＰ１（図８（ｂ）参照）と外縁部近傍の画素位置ＰＰ４（図８（ｅ）参照）とでＰＳＦの形状が大きく異なっている。

次に、実施形態における結像光学系２による画像フレーム内の各画素位置の結像特性について図９を用いて説明する。図９は、数式（１）～数式（４）を満足するように構成された結像光学系２による各画素位置の結像特性を示す図である。図９（ａ）は、結像光学系２による像面上のスポットダイアグラムを示す。図９（ｂ）～図９（ｅ）は、図９（ａ）に示す画素位置ＰＰ１１～ＰＰ１４について計算されたＰＳＦを示す。画素位置ＰＰ１１～ＰＰ１４は、この順に像高が高くなる画素位置である。画素位置ＰＰ１１は、画像フレームにおける中心部近傍の画素位置であり、画素位置ＰＰ１４は、画像フレームにおける外縁部近傍の画素位置である。

数式（１）～数式（４）を満足するように構成された結像光学系２は、像面上のスポットダイアグラムを見ると、図９（ｂ）～図９（ｅ）に示すように、中心部近傍の画素位置ＰＰ１１も周縁部近傍の画素位置ＰＰ１４も集光度合いが均一であることが分かる。また、図９（ｂ）～図９（ｅ）に示す各像高のＰＳＦを比較すると、中心部近傍の画素位置ＰＰ１１（図９（ｂ）参照）と外縁部近傍の画素位置ＰＰ１４（図９（ｅ）参照）とでＰＳＦの形状が似通っている。

図９に示す結像特性は、図８に示す結像特性と比較すると、中心部近傍の画素位置ＰＰ１１のスポット径が中心部近傍の画素位置ＰＰ１のスポット径より大きくなっており、中心部の結像性能が悪化している。一方、図９に示す結像特性は、各画素位置ＰＰ１１～ＰＰ１４のスポット径が各画素位置ＰＰ１～ＰＰ４のスポット径よりばらつきが小さくなっており、結像状態の均一性は向上している。超解像復元処理が、図７に示すように、画像内の不均一な収差（非点収差、像面湾曲）より画像内の均一な収差（球面収差、コマ収差）の方が復元しやすい傾向にあることを考慮すると、図９に示す結像特性の方が図８に示す結像特性より超解像復元処理を行う際に有利なことが分かる。

次に、結像光学系２の具体的な構成例について図１０及び図１１を用いて説明する。図１０及び図１１は、それぞれ、結像光学系２の構成例を示す図である。

図１０では、数式（１）～数式（４）を満足するように構成される結像光学系２が、絞り２１及びレンズ２２を有する場合が例示されている。絞り２１及びレンズ２２は、１点鎖線で示す光軸に沿って順に配される。絞り２１は、図示しない開度可変で光軸を含む開口を有する。絞り２１の開度は、収差をある程度抑えつつ要求される光量が確保されるように調節される。絞り２１を通過した光はレンズ２２へ入射し、レンズ２２は、光を光軸方向下流側へ出射させ撮像素子３（図１参照）の撮像面に被写体の像を結像させる。図１０に示すように、結像光学系２をレンズ１枚の構成にすることで、撮像システム１を低コスト化できる。また、光線が通過するレンズの枚数を減らすことで、透過率の低下抑制にもつながりＳ／Ｎ比改善効果が期待できる。すなわち、安価な材質のレンズ１枚の結像光学系でも質のよい高解像画像を出力可能という効果が期待できる。

図１１では、数式（１）～数式（４）を満足するように構成される結像光学系２の構成例をその数値データについて例示している。数式（１）～数式（４）を満足するように構成される結像光学系２は、例えば、波長１０μｍでの焦点距離ｆ＝２４．９９９９［ｍｍ］、ＦナンバーＦＮｏ＝１．３９３６、半画角ω＝１２．７７［°］、最大像高ｙ＝５．５０［ｍｍ］を有する。

図１１（ａ）は、寸法（曲率半径：ｒ、面間隔：ｄ）及び材質（ガラスの種類：ＧＬＡＳＳ）を示し、図１１（ｂ）は、非球面係数を示している。レンズ２２の材質は、図１１（ａ）に示すように、カルコゲナイドレンズの一種であるＩＲＧ２０６を選択している。また、レンズ２２の非球面係数に関しては、入射側の面２２２（面番号：２）、出射側の面２２３（面番号：３）について、それぞれ、図１１（ｂ）に示すように、選択している。すなわち、入射側の面２２２（面番号：２）、出射側の面２２３（面番号：３）のそれぞれは、ｚ＝ｃｈ２／［１＋｛１－（１＋ｋ）ｃ２＊ｈ２｝１／２］＋Ａ４＊ｈ４＋Ａ６＊ｈ６＋Ａ８＊ｈ８＋Ａ１０＊ｈ１０・・・で表される曲線を（例えば図１０に１点鎖線で示す）光軸の回りに回転させることにより得られる曲面として形成されるものであり、各々の円錐定数Ｋと非球面係数Ａ４～Ａ１０を与えて面形状が特定される。

図１０及び図１１に示すように構成される結像光学系２は、例えば、図１２及び図１３に示す収差特性を有する。図１２及び図１３は、それぞれ、結像光学系２の収差特性例を示す図である。数式（１）～数式（４）を満足するように構成される結像光学系２について、図１２（ａ）は、球面収差を縦収差図で示し、図１２（ｂ）は、非点収差及び像面湾曲のそれぞれを縦収差図で示し、図１２（ｃ）は、コマ収差を横収差図で示している。

例えば、図１２（ａ）に示す縦収差図から図２に示す規定方法で球面収差が、図１３に示すΔＳＡ＝０．４９０［ｍｍ］に規定される。図１２（ｃ）に示す横収差図から図３に示す規定方法でコマ収差が、図１３に示すΔＣＯ＝０．０７２［ｍｍ］に規定される。図１２（ｂ）に示す縦収差図から図４に示す規定方法で非点収差が、図１３に示すΔＡＳ＝０．１６２［ｍｍ］に規定される。図１２（ｂ）に示す縦収差図から図５に示す規定方法で像面湾曲が、図１３に示すΔＩｍＣ＝０．０６９［ｍｍ］に規定される。

以上のように、実施形態では、撮像システム１において、結像光学系２を超解像復元処理に適した形態（すなわち、数式（１）～数式（４）を満たす形態）に構成し、その結像光学系２と画像処理部４による超解像復元処理とを組み合わせる。これにより、撮像システム１における画像の解像力を更に向上でき、得られる画像の画質をさらに向上できる。

なお、撮像システムは、車載用の遠赤外線撮像システムとして構成されてもよい。例えば、撮像システム１ａは、図１４に示すように構成され得る。図１４は、実施形態の第１の変形例にかかる撮像システム１ａの構成を示す図である。

撮像システム１ａは、遠赤外線撮像システムであり、遠赤外線カメラ７ａ、障害物検出装置６ａ、記録装置５ａ、及び画像表示装置８ａを有する。遠赤外線カメラ７ａは、結像光学系２ａ、撮像素子３、及び画像処理部４を有する。結像光学系２ａは、遠赤外線光学系である。撮像素子３及び画像処理部４は、図１に示す撮像素子３及び画像処理部４と同様に構成されてもよい。記録装置５ａは、図１に示す記録部５と同様に構成されてもよい。

遠赤外線カメラ７ａの応用例として、障害物検出装置６ａによる、夜間の自動車運転時に歩行者などの障害物認知に対して、補助の役割を果たすナイトビジョンシステムがある。撮像システム１ａは、遠赤外線撮像システムであり、結像光学系２ａは、遠赤外線光学系である。例えば、結像光学系２ａには、波長８ｕｍ～１２ｕｍの遠赤外光を通す材質のレンズを使う。結像光学系２ａには、例えば、ゲルマニウムレンズが使われる。

なお、遠赤外線撮像システムの結像光学系では、レンズを２枚以上使うことで極力収差を抑えた設計とするのが一般的である。しかし、ゲルマニウムレンズはゲルマニウム自体が希少鉱物であるのに加えて、加工の難しさからゲルマニウムレンズを複数枚使用した遠赤外線撮像システムは非常に高価である。そこで代替材料としてカルコゲナイドなどが挙げられるが、カルコゲナイドはゲルマニウムより透過率が低く吸収が大きいためレンズとしての特性は劣りカメラの解像力低下ひいては障害物検出の精度低下につながってしまう。このため、レンズ枚数を減らして安価なレンズ材質で高解像力の光学系を備えた遠赤外線カメラを実現することが望ましい。そこで、撮像システム（遠赤外線撮像システム）１ａの画像処理部４に超解像復元処理の機能を持たせ、結像光学系２ａを超解像復元処理に適した形態（すなわち、数式（１）～数式（４）を満たす形態）で構成する。これにより、安価な材質のレンズ１枚でも質のよい高解像画像を出力できる遠赤外線カメラ７ａを実現できる。

あるいは、画像処理部による超解像復元処理は、画像における中心画素からの距離の情報を参照する超解像復元処理であってもよい。例えば、画像処理部４は、図１５に示すように、結像画像データに画像中心からの距離の情報（ｘ座標ｃｈ、ｙ座標ｃｈ）を追加して、超解像復元処理を行う。図１５は、実施形態の第２の変形例における超解像復元処理を示す図である。

図１５では、超解像復元処理部を、中心画素からの距離の情報を特徴の情報として付与した高解像画像および低解像画像を対にして学習させた学習型超解像復元処理が例示されている。Ｎ，Ｍをそれぞれ任意の１以上の整数とし、学習用の低解像画像（ここでは結像画像）が縦Ｎ＋１画素、横Ｍ＋１画素の画像だとする。この時、画像フレームの中心を原点（０，０）としたとき、画像フレームの図中右端、および図中左端の画素は画像フレームの中心からＭ／２画素分の距離（≒画素ピッチ×Ｍ／２）で離れている。一方、画像フレームの図中上端、図中下端の画素はＮ／２画素分の距離（≒画素ピッチ×Ｎ／２）で離れている。図１５では、Ｍ／２画素＝２５６画素、Ｎ／２画素＝２５６画素である場合が例示されている。画像フレーム内の各画素に対して、画像フレームの中心からｘ軸方向に離れた画素数をｘ軸ｃｈに、ｙ軸方向に離れた画素数をｙ軸ｃｈに入力する。その後、教師用の高解像画像にもｘ軸ｃｈとｙ軸ｃｈとを追加し、低解像画像と対にして学習させることで、距離の情報を付加した状態で超解像復元処理を行うことができる。

距離の情報を付加した状態で超解像復元処理を行うことにより、画像中心からの距離に応じて復元時の画素値を（例えば収差による影響を低減するように）可変させることができる。例えば、距離の情報を付加した状態で超解像復元処理を行うことにより、図１６に示すように、各収差の超解像復元処理による復元度合いを改善できる。図１６は、実施形態の第２の変形例における各収差の超解像復元処理による復元度合いを示す図である。図１６では、４収差（球面収差、コマ収差、非点収差、像面湾曲）を単独で付与した結像光学系に対し超解像復元処理をした場合の復元度合いについて示す。図１６では、球面収差，コマ収差，非点収差，像面湾曲の４つの収差のうちそれぞれの収差を単独で付与した結像光学系により結像した画像１６種類に対して超解像復元処理を行って得られた結果が示され、画像の画質を表わす指標は、復元後のＰＳＮＲ値［ｄＢ］とされている。図１６では、縦軸が復元後のＰＳＮＲ値［ｄＢ］を示し、横軸が評価を行った画像の番号を示している。なお、４収差のそれぞれについて、復元前のＰＳＮＲは、一定（例えば、２２．６７ｄＢ）となっている。

図１６の評価では、復元後の画質が最も良好なのは２点鎖線で示されるコマ収差、次いで１点鎖線で示される球面収差を単独で付与した結像光学系であることが分かる。それらと比較し、実線で示される非点収差、点線で示される像面湾曲を単独で付与した結像光学系は、復元後の画質が劣る。この結果より、数式（１）～数式（４）を満足するように結像光学系２を構成し、距離の情報を付加した状態で超解像復元処理を行うことにより、各収差の超解像復元処理による復元度合いを改善できる。例えば、図１６に示されるように、コマ収差の復元度合いを大幅に改善できる。

１，１ａ 撮像システム
２，２ａ 結像光学系
３ 撮像素子
４ 画像処理部
５ 記録部
５ａ 記録装置
６ａ 障害物検出装置
７ａ 遠赤外線カメラ
８ａ 画像表示装置

特許第５６２７２５６号公報

Claims (5)

1. 撮像面を有する撮像素子と、
   被写体の像を前記撮像面に結像させる結像光学系と、
   前記撮像素子で取得される画像に応じた第１の画像データを超解像復元処理で第２の画像データに変換する画像処理部と、
   前記第２の画像データを記録媒体に記録する記録部と、
   を有し、
   サジタル面における収差量をΔｓとし、メリジオナル面における収差量をΔｍとし、球面収差量の最大値をΔＳＡとし、コマ収差量を表わす横収差量のうち前記結像光学系の最大像高位置で前記結像光学系を通過するメリジオナル光線のうち有効光束径の所定の割合の位置を通る上線および下線がとる収差量の和をΔＣＯとし、非点収差量のうちΔｓとΔｍの差が最大となる像高位置でのΔｓとΔｍの差分量をΔＡＳとし、像面湾曲量のうちΔｓの最大値もしくはΔｍの最大値におけるより大きな値をΔＩｍＣとするとき、前記結像光学系は、
   ０＜｜（ΔＡＳ）／（ΔＳＡ）｜＜１・・・（１）
   ０＜｜（ΔＩｍＣ）／（ΔＳＡ）｜＜１・・・（２）
   ０＜｜（ΔＡＳ）／（ΔＣＯ）｜＜１・・・（３）
   ０＜｜（ΔＩｍＣ）／（ΔＣＯ）｜＜１・・・（４）
   を満足する１枚のレンズから構成される
   ことを特徴とする撮像システム。
2. 前記画像処理部は、前記第１の画像データを、前記第１の画像データにおける各画素の前記第１の画像データの中心からの距離の情報を参照した前記超解像復元処理で前記第２の画像データに変換する
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記結像光学系は、遠赤外線光学系である
   ことを特徴とする請求項１又は２に記載の撮像システム。
4. 被写体の像を撮像素子の撮像面に結像させる結像光学系であって、
   サジタル面における収差量をΔｓとし、メリジオナル面における収差量をΔｍとし、球面収差量の最大値をΔＳＡとし、コマ収差量を表わす横収差量のうち前記結像光学系の最大像高位置で前記結像光学系を通過するメリジオナル光線のうち有効光束径の所定の割合の位置を通る上線および下線がとる収差量の和をΔＣＯとし、非点収差量のうちΔｓとΔｍの差が最大となる像高位置でのΔｓとΔｍの差分量をΔＡＳとし、像面湾曲量のうちΔｓの最大値もしくはΔｍの最大値におけるより大きな値をΔＩｍＣとするとき、前記結像光学系は、
   ０＜｜（ΔＡＳ）／（ΔＳＡ）｜＜１・・・（１）
   ０＜｜（ΔＩｍＣ）／（ΔＳＡ）｜＜１・・・（２）
   ０＜｜（ΔＡＳ）／（ΔＣＯ）｜＜１・・・（３）
   ０＜｜（ΔＩｍＣ）／（ΔＣＯ）｜＜１・・・（４）
   を満足する１枚のレンズから構成される
   ことを特徴とする結像光学系。
5. サジタル面における収差量をΔｓとし、メリジオナル面における収差量をΔｍとし、球面収差量の最大値をΔＳＡとし、コマ収差量を表わす横収差量のうち結像光学系の最大像高位置で前記結像光学系を通過するメリジオナル光線のうち有効光束径の所定の割合の位置を通る上線および下線がとる収差量の和をΔＣＯとし、非点収差量のうちΔｓとΔｍの差が最大となる像高位置でのΔｓとΔｍの差分量をΔＡＳとし、像面湾曲量のうちΔｓの最大値もしくはΔｍの最大値におけるより大きな値をΔＩｍＣとするとき、
   ０＜｜（ΔＡＳ）／（ΔＳＡ）｜＜１・・・（１）
   ０＜｜（ΔＩｍＣ）／（ΔＳＡ）｜＜１・・・（２）
   ０＜｜（ΔＡＳ）／（ΔＣＯ）｜＜１・・・（３）
   ０＜｜（ΔＩｍＣ）／（ΔＣＯ）｜＜１・・・（４）
   を満足する１枚のレンズから構成される前記結像光学系により被写体の像が撮像面に結像される撮像素子で取得される画像に応じた第１の画像データを超解像復元処理で第２の画像データに変換するステップと、
   前記第２の画像データを記録媒体に記録するステップと、
   を備えたことを特徴とする画像処理方法。

Images