JP5157015B2 - 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラムに関する。本発明は、特に、撮像された画像を処理する画像処理装置および画像処理方法、画像を撮像する撮像装置および撮像方法、ならびに画像処理装置用および撮像装置用のプログラムに関する。

受光素子アレイのピッチの２倍よりも大きなＰＳＦを有する対物オプチクスを備えたカメラが知られている（例えば、特許文献１参照。）。また、波面の位相を変更する光学素子により焦点関係の収差に対して光学結像の光学伝達関数を実質的に不変とする技術が知られている（例えば、特許文献２参照。）。
特表２００６−５１９５２７号公報 特表２００６−５２３３３０号公報

軸上の物体と軸外の物体とでは、物体からの光に対するＰＳＦ形状が変化しやすい。したがって、先行技術文献１および先行技術文献２の技術のように復元処理する場合に、画像領域全体を同一のフィルタを用いて復元すると、領域によってはアーチファクトが生じてしまう虞がある。また、画像領域を異なる復元特性のフィルタを用いて復元することもできるが、領域毎にフィルタを切り替えて使用すると、復元処理に要する演算時間が長くなってしまう場合がある。

上記課題を解決するために、本発明の第１の形態によると、画像処理装置であって、光学系を通じて撮像された撮像画像を、光学系による光の拡がりを空間的に略同一の形に変形する座標変換により変換することによって、変換画像を生成する変換部と、略同一の形に変形された光の拡がりに基づいて、変換画像を補正する補正部と、補正部により補正された変換画像に対して、座標変換の逆変換をする逆変換部とを備える。

本発明の第２の形態によると、画像処理方法であって、光学系を通じて撮像された撮像画像を、光学系による光の拡がりを空間的に略同一の形に変形する座標変換により変換することによって、変換画像を生成する変換段階と、略同一の形に変形された光の拡がりに基づいて、変換画像を補正する補正段階と、補正段階において補正された変換画像に対して、座標変換の逆変換をする逆変換段階とを備える。

本発明の第３の形態によると、画像処理装置用のプログラムであって、画像処理装置を、光学系を通じて撮像された撮像画像を、光学系による光の拡がりを空間的に略同一の形に変形する座標変換により変換することによって、変換画像を生成する変換部、略同一の形に変形された光の拡がりに基づいて、変換画像を補正する補正部、補正部により補正された変換画像に対して、座標変換の逆変換をする逆変換部として機能させる。

本発明の第４の形態によると、光を結像する光学系であって、光学系による物点からの光の拡がり形状が像面内で異なる光学系と、光学系を通じて撮像された撮像画像を、光学系による光の拡がりを空間的に略同一の形に変形する座標変換により変換することによって、変換画像を生成する変換部と、略同一の形に変形された光の拡がりに基づいて、変換画像を補正する補正部と、補正部により補正された変換画像に対して、座標変換の逆変換をする逆変換部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる撮像装置１００のブロック構成の一例を示す。撮像装置１００は、被写体を撮像して画像を生成する。撮像装置１００は、光を結像する光学系の一例としてのレンズ系１１０、レンズ系１１０を通過した光を受光する受光部１２０、画像生成部１６０、補正部１４０、画像変換部１９５、画像処理部１４５、および出力部１５０を備える。画像生成部１６０は、座標変換決定部１７０および変換画像生成部１８０を有する。画像変換部１９５は、逆変換部１９０を有する。なお、画像生成部１６０、補正部１４０、逆変換部１９０、画像処理部１４５、および出力部１５０を含む機能ブロックは、この発明における画像処理装置として機能し得る。

レンズ系１１０は、同一の像点近傍に結像する物点からの光を、物点までの距離によらず略同一の形状に拡げることによって、同一の像点近傍に結像する物点からの光に対する光学的伝達関数を略同一にする。なお、レンズ系１１０による物点からの光の拡がり形状は、像点の位置によって異なってよい。レンズ系１１０の光学特性については図２に関連して定性的に説明する。

受光部１２０は、２次元的に配置された複数の受光素子を有する。画像生成部１６０は、複数の受光素子がそれぞれ受光した受光量がＡ／Ｄ変換されて得られた撮像画像に座標変換を施すことによって、特定の座標系で表される画像を異なる座標系で表した変換画像を生成する。具体的には、変換画像生成部１８０は、レンズ系１１０を通じて撮像された撮像画像を、レンズ系１１０による光の拡がりを空間的に略同一の形に変形する座標変換により変換することによって、変換画像を生成する。

具体的には、座標変換決定部１７０は、座標変換後することによってレンズ系１１０による光の拡がり形状が略同一となる座標変換を決定する。なお、座標変換決定部１７０は、レンズ系１１０からレンズの光学特性を特定することができる情報を取得して、取得した情報に基づいて座標変換を決定してよい。そして、変換画像生成部１８０は、座標変換決定部１７０が決定した座標変換を施すことによって、撮像画像と異なる変換画像を生成する。このように、座標変換決定部１７０は、レンズ系１１０による光の拡がりを空間的に略同一の形に変形する座標変換を、撮像画像における複数の部分領域毎に決定する。そして、変換画像生成部１８０は、撮像画像における複数の部分領域毎に、座標変換決定部１７０が決定した座標変換で変換することによって、変換画像を生成する。

補正部１４０は、変換画像をレンズ系１１０の光学伝達関数に基づいて補正する。例えば、補正部１４０は、略同一の形に変形された光の拡がりに基づいて、変換画像を補正する。逆変換部１９０は、補正部１４０により補正された変換画像に対して、座標変換の逆変換を施す。これにより、画像の表示形式は元の座標系に戻される。逆変換部１９０によって逆変換表された画像は、画像処理部１４５に供給される。

画像処理部１４５は、逆変換部１９０から供給された画像に画像処理を施す。画像処理部１４５が施す画像処理としては、カラーバランス処理、γ変換、色同時化処理、輪郭補正処理、色補正処理等を例示することができる。このように、画像処理部１４５は、補正部１４０によって補正された変換画像の画素値を、受光素子の受光量に非線形な値に変換する。

そして、出力部１５０は、画像補正部１４０および画像処理部１４５によって処理されて得られた出力画像を出力する。例えば、出力部１５０は、出力画像を表示してよい。また、出力部１５０は、記録媒体に出力画像を記録してよい。他にも、出力部１５０は、通信回線に出力を送出してよい。なお、出力部１５０は、出力画像を圧縮してから出力してもよい。

図２は、レンズ系１１０の光学特性の一例を模式的に示す。本図には、光軸上の物点からレンズ系１１０に入射した光線のうち、入射瞳２０５において光軸２００から異なる位置に入射した３の光線２１０、光線２２０、光線２３０の軌跡が模式的に示されている。図示されるように、光線２１０、光線２２０、および光線２３０は、この順で入射瞳２０５において光軸２００に近い位置に入射する。

図示されるように、光線２１０は、レンズ系１１０により、近軸焦点の位置２５０より光軸方向にレンズ系１１０より離れた位置２１５で光軸２００と交差する。また、光線２３０は、レンズ系１１０により、位置２１５より光軸方向にレンズ系１１０より離れた位置２３５で光軸２００と交差する。そして、光線２２０は、光軸２００から最も離れた位置に入射する光線２３０は、レンズ系１１０により、位置２１５と位置２３５との間の位置２２５で光軸２００と交差する。

図示されるように、レンズ系１１０による光の拡がりの大きさは、位置２１５から位置２３５の間では略同一の大きさになることが期待される。このように、レンズ系１１０は過剰補正された球面収差を有しており、光を近軸焦点の位置２５０より実質的に遠くに結像する。このため、レンズ系１１０によると、光軸方向の像面位置によらず物点からの光の拡がりの大きさが実質的に略同一となる光軸方向の距離を、球面収差が過剰補正されていない場合に比べて長くすることができる。

このように、当該光軸方向の距離が長くなると、レンズ系１１０からのより広い距離範囲に存在する物点からの光について、光の拡がりの大きさが実質的に略同一となる像面位置が存在し得る。このような像面位置に受光部１２０を設けると、物点までの距離によらず、受光部１２０が設けられた位置における光学伝達関数が実質的に略同一となる。このように、レンズ系１１０は、上述した収差特性によって、物点からの光に対する光学的伝達関数は物点までの距離によらず略同一となる。

以上、図２を用いてレンズ系１１０の光学特性を定性的に説明した。なお、図２に示したレンズ系１１０の模式図は、レンズ系１１０の光学特性を定性的に理解することを目的として作図したものであり、実スケールに従って作図されたものではないことに注意すべきである。

図３は、物点からの光がレンズ系１１０によって拡がる様子を示す。本図では、直交座標系における拡がりの一例が示されている。光の拡がりは像高が高いほど大きくなり、拡がりの形状は原点に対して概略点対称である場合が多い。このため、厳密には、像面における各位置での拡がり形状に応じた逆フィルタを使用しなければ、光学伝達関数による光学応答に対して正しく補正処理することができない。

例えば、符号３００で示される楕円状の拡がりと、符号３５０で示される楕円状の拡がりとでは、長軸の向きが異なる。したがって、所定の画素ブロック３１０および画素ブロック３６０内の画素を用いた逆フィルタ処理を施すと、長軸の向きの違いによる補正誤差が生じてしまう。このため、同じ像高であっても、厳密には像面上の位置によって異なる逆フィルタを使用しなければならない。また、像高も異なる場合には拡がりの大きさも異なるので、補正誤差がさらに大きくなりやすい。このような誤差は、補正後の画像においてアーチファクトとして現れる場合がある。

図４は、座標変換後の光の拡がりを示す。本図においては、光の拡がり形状が、座標変換の一例としての回転座標系により表されている。なお、動径方向ｒは、レンズ系１１０による光の拡がり特性に応じた所定の関数ｆ_１（ｒ）によって変換されている。当該所定の関数として機能するものとして、対数関数を例示することができるが、当該関数はレンズ系１１０の光学特性に応じて任意に選択されてよい。

本図に示されるように、座標変換により、径方向についてもθ方向についても、符号４００で示される光の拡がり形状と符号４５０で示される光の拡がり形状は略同一となっている。したがって、補正部１４０は、符号４１０および符号４６０で示したような同じ大きさ・同じ形状の画素ブロック内の画素値を使用して、補正処理することができる。このため、補正部１４０は、変換画像の全面に対して同一の逆フィルタ処理を施しても、座標変換しない場合に比べて被写体像をより正しく復元することができる。

図５は、レンズ系１１０の構成の一例を示す。レンズ系１１０は、絞り１０００、レンズ１０１０、レンズ１０２０、レンズ１０３０、およびレンズ１０４０を有する。また、像面は符号１０８０で示されている。なお、本図には、複数の光線がレンズ系１１０に重ねて描かれている。以下、レンズ１０１０、レンズ１０２０、レンズ１０３０、およびレンズ１０４０の配置およびそれらの光学特性を説明する。

レンズ１０１０の屈折率は、波長４８６．１００ｎｍ、波長５８７．６００ｎｍ、および波長６５６．３００ｎｍの光に対して、それぞれ１．７５２５２０１３、１．７３６２６５４７、および１．７２９６０９１９である。また、レンズ１０２０の屈折率は、波長４８６．１００ｎｍ、波長５８７．６００ｎｍ、および波長６５６．３００ｎｍの光に対して、それぞれ１．５７９４３７５４、１．５７２４９８１６、および１．５６９４８５５４である。また、レンズ１０３０の屈折率は、波長４８６．１００ｎｍ、波長５８７．６００ｎｍ、および波長６５６．３００ｎｍの光に対して、それぞれ１．７２２２２２８９、１．７１３０００５６、および１．７０８９７２５０である。また、レンズ１０４０の屈折率は、波長４８６．１００ｎｍ、波長５８７．６００ｎｍ、および波長６５６．３００ｎｍの光に対して、それぞれ１．５４６２５５１０、１．５３９９５８３１、および１．５３７２０８２１である。

絞り１０００は、レンズ１０１０より物体側に０．０２５ｍｍ離れて設けられる。レンズ１０１０の厚さは０．６０４８４５１ｍｍである。なお、本図の説明における厚さとは、レンズの光軸方向の長さを示す。また、レンズ１０１０の物体側表面の曲率半径は１．８０４８２７ｍｍであり、物体側の断面半径は１．９０２３８６ｍｍであり、物体側表面の円錐定数は−１６．１２７０２である。また、レンズ１０１０の像側表面の曲率半径は１．０６２４５３ｍｍであり、像側の断面半径は１．９０８３６４ｍｍであり、物体側表面の円錐定数は０である。なお、本図の説明において、曲率半径が負である場合は、その表面形状が光に対して凹面であることを示す。

レンズ１０２０は、レンズ１０１０と接して設けられ、レンズ１０２０の厚さは０．６６７１０６７ｍｍである。なお、レンズ１０２０の物体側表面は、レンズ１０１０の像側表面と全面において接している。レンズ１０２０の像側表面の曲率半径は３．８９８５３９ｍｍであり、像側表面の断面半径は２．０２９４８ｍｍであり、像側表面の円錐定数は−１５．２９６４３である。

レンズ１０３０は、レンズ１０２０から像面方向に距離１．１９４４０３ｍｍ離れて設けられる。レンズ１０３０の厚さは０．５４０４５６ｍｍである。また、レンズ１０３０の物体側表面の曲率半径は−４．２５８０２９ｍｍであり、物体側表面の断面半径は２．６４４７６９ｍｍであり、物体側表面の円錐定数は９．５８９９６８である。また、レンズ１０３０の像側表面の曲率半径は−１．４２２２８ｍｍであり、像側の断面半径は２．８３７３０９ｍｍであり、像側表面の円錐定数は−１．３６７５５３である。

レンズ１０３０は、レンズ１０２０から像面方向に距離０．８９６９９３９ｍｍ離れて設けられる。レンズ１０３０の厚さは０．７０２０７４４ｍｍである。また、レンズ１０３０の物体側表面の曲率半径は−０．８３１３３１３ｍｍであり、物体側表面の断面半径は３．４６３３０７ｍｍであり、物体側表面の円錐定数は−２．１６９９４３である。また、レンズ１０３０の像側表面の曲率は−１．８１０５９１ｍｍであり、像側の断面半径は４．１５６７２７ｍｍであり、像側表面の円錐定数は−５．６２８９１６である。そして、像面は、レンズ１０３０から距離０．９５４１５６３ｍｍ離れた位置に設定されている。

このように、複数のレンズ１０１０、レンズ１０２０、レンズ１０３０、およびレンズ１０４０は、各レンズの中心軸をそろえて同軸に配列されている。したがって、レンズ系１１０は、光軸に関して回転対称である。

また、像面の法線の角度と主光線が像面に入射する角度との差の絶対値は、レンズ系１１０の光学伝達関数の算出誤差を予め定められた値より小さくすべく、予め定められた値より小さい。このように、レンズ系１１０のテレセントリック性をより大きくすることによって、光学伝達関数の算出誤差を低減することができる。例えば、ＭＴＦを算出する場合に、ＦＦＴによっても十分小さい誤差でＭＴＦを算出することができる。このため、レンズ系１１０による画像のボケを高速に復元することが可能になる。

図６は、図５に示したレンズ系１１０の収差特性を示す。本図には、上から順に球面収差図、非点収差および歪曲収差図、および横収差図が示されている。最上段の球面収差図に示されるように、図５に示したレンズ系１１０の球面収差は過剰補正されている。なお、本図においても、本球面収差図の横軸は設定された像面に対する位置を示しており、近軸焦点に対する位置を示していないことに注意すべきである。

図示されるように、像面の全面にわたって縦収差は正の値となっている。また、本図の最下段には、複数の像高における横収差を示すグラフが示されている。最左上のグラフは光軸上の横収差図を示しており、最右上のグラフは像高０．６７５０ｍｍにおける横収差図を示す。また、最左下のグラフは像高１．５７５０ｍｍにおける横収差図、中央のグラフは像高１．１２５０ｍｍにおける横収差図、最右下のグラフは像高２．２５００ｍｍにおける横収差図を示す。このように、レンズ系１１０の横収差は、各像高において略同一の形状を示している。

図７は、図５に示したレンズ系１１０の光学伝達特性を示す。本図には、上から順にスポットダイアグラムの像高およびデフォーカス依存性を示すスポットダイアグラム図、ＭＴＦのデフォーカス依存性、およびＭＴＦの空間周波数特性が示されている。

最上段のスポットダイアグラム図には、異なる複数の像高および異なる複数のデフォーカス量におけるスポットダイアグラムが示されている。本スポットダイアグラム図では、同一像高における、異なる複数のデフォーカス量での複数のスポットダイアグラムが横方向に並べられている。また、同一デフォーカス量における、異なる複数の像高における複数のスポットダイアグラムが縦方向に並べられている。

各スポットダイアグラムの左に数値で示された像高が示すように、本スポットダイアグラム図には、光軸上、光軸から０．６７５０ｍｍ、光軸から１．１２５０ｍｍ、光軸から１．５７５０ｍｍ、および光軸から２．２５００ｍｍの位置の像高におけるスポットダイアグラムが含まれている。また、各スポットダイアグラムの下に数値で示されたデフォーカス量が示すように、本スポットダイアグラム図には、設定した像面から−７５μｍの位置、像面から−３７．５μｍの位置、像面の位置、像面から３７．５μｍの位置、および像面から７５μｍの位置におけるスポットダイアグラムが含まれている。

本スポットダイアグラム図が示すように、スポットダイアグラムの拡がりは、少なくとも予め定められた範囲の光軸方向の像面位置にわたって略同一とみなすことができる。このように、レンズ系１１０による物点からの光の拡がりは、予め定められた範囲の光軸方向の像面位置にわたって略同一となる。なお、光の拡がりとは、本図に示すようにスポットダイアグラムの拡がりであってよく、点像分布関数が示す光の拡がりであってもよい。

また、本図中段に示されるＭＴＦのデフォーカス依存性のグラフが示すように、サジタル光線及びメリジオナル光線についても、略同一のＭＴＦ値の分布を持つことが分かる。また、ＭＴＦは、少なくともグラフに示されるデフォーカスの範囲内では、略同一の値を示している。このように、広いデフォーカス範囲にわたってレンズ系１１０のＭＴＦは略同一の値をとる。

また、本図最下段のＭＴＦの空間周波数特性のグラフが示すように、レンズ系１１０は、像高が同じであればサジタル光線及びメリジオナル光線について、略同一のＭＴＦ周波数特性を持つことが分かる。また、レンズ系１１０のＭＴＦは、予め定められた範囲の光軸方向の像面位置にわたって略同一となっているといえる。

なお、スポットダイアグラム図を参照すると、スポットダイアグラムの形状は、像高によらず概略同じとみなすこともできるが、多少の違いが残っている。例えば、デフォーカス量が０の場合のスポットダイアグラムについて見ると、像高０ｍｍおよび０．６７５０ｍｍにおいては、形状は概略円形であり、大きさも略同一とみなすことができる。一方、それより高い像高においては、スポットダイアグラムの形状は円形とみなすことはできないが、概略相似形であるといえる。このように、レンズ系１１０による物点からの光の拡がり形状は、像面内で異なる。

したがって、像高が０ｍｍから０．６７５０ｍｍ付近までの領域と当該領域より高い領域とで、光軸を中心とする動径を異なる拡縮率で拡縮する所定の関数によって、像高が０ｍｍから０．６７５０ｍｍ付近までの領域内においてスポットダイアグラムの形状を略同一にするとともに、当該領域より高い像高の領域内においてスポットダイアグラムの形状を略同一にすることができる。なお、レンズ系１１０は光軸に回転対称であるから、スポットダイアグラムの形状も略回転対称となることが予測される。このように、レンズ系１１０による光の拡がり形状は、光軸を中心として動径に関して異なるが、θ方向については光の拡がり形状は略一定となる。

図８は、座標変換後における光の拡がり形状の他の一例を示す。本図の例では、図７に関連して説明した所定の関数をｆ_２とした場合の拡がり形状を示す。図示されるように、ｆ_２（ｒ_１）よりも下の領域内と当該領域より上の領域内のそれぞれの中では、光の拡がり形状が略同一になっている。なお、図７に関連して説明したように、ｒ_１は０．６７５０ｍｍに付近の値になり得る。

以上説明したように、画像生成部１６０は、直交座標系で表された画素配列の撮像画像を、レンズ系１１０による光の拡がりを空間的に略同一の形に変形することができる、動径方向の拡大または縮小を伴う回転座標系への座標変換により変換することによって、変換画像を生成する。なお、上述したように、座標変換決定部１７０は、部分領域毎に当該座標変換を決定することもできる。

なお、補正部１４０は、変換画像における複数の部分領域の画像を、略同一の形に変形された光の拡がりに基づいて補正する。このため、座標変換しない場合に比べて、適用すべき逆フィルタの数を著しく削減することができる。なお、可能であれば、座標変換決定部１７０は、レンズ系１１０による光の拡がりを像面全体にわたって略同一の形に変形する座標変換を、撮像画像における複数の部分領域毎に決定してもよい。この場合、補正部１４０は、変換画像の全領域を、略同一の形に変形された光の拡がりに基づいて補正することができる。この場合、同一の逆フィルタで変換画像全域を復元するので演算時間を短縮することができる。

以上説明したように、動径方向についての光の拡がり形状は、上述した回転座標変換により略同一の形状に変換され得る。このため、レンズ系１１０を設計する場合には、光軸に対する回転変換によって拡がり形状が相似になるよう設計すればよい。このため、レンズ系１１０の設計が著しく容易になる。

図９は、画像生成部１６０および画像変換部１９５のブロック構成の他の一例を示す。画像生成部１６０は、選択画素画像生成部１８２を有する。画像変換部１９５は、選択画素画像変換部１９２を有する。撮像装置１００が有する構成要素のうち、画像生成部１６０と画像変換部１９５とを除く他の構成要素の機能および動作は、図１から図８に関連して説明した各構成要素の機能および動作と略同一であるので、以下の説明においては相違点を除いてその説明を省略する。

図１０は、選択画素画像生成部１８２、補正部１４０、および選択画素画像変換部１９２の動作フローの一例を示す。以下の説明では、説明を簡単にすべく、ｘ方向の像高に応じて、レンズ系１１０による光の拡がりがｘ方向に異なるとする。具体的には、レンズ系１１０による光の拡がりは、ｘ方向に像高が大きいほどｘ方向に大きいとする。

また、以下の説明では、補正部１４０は、７×７画素の画素ブロック単位で、逆フィルタを用いた補正処理を施すとする。また、図中のｘ軸およびｙ軸は受光部１２０が有する複数の受光素子の配置面上での座標軸を示しており、受光素子は、ｘ方向およびｙ方向に等間隔に配列されているとする。

選択画素画像生成部１８２は、異なる位置に存在する複数の受光素子より形成される受光素子ブロックから、それぞれ７×７個の受光素子を選択してその出力を読み出して、読み出した出力に応じた画素値から７×７画素の画像ブロック１１１０ａ〜ｃを生成する。例えば、選択画素画像生成部１８２は、光軸近傍に対応する位置に配置された７×７個の受光素子の出力に応じた画素値を、各受光素子の配列順に所定間隔で配置することにより、画像ブロック１１１０ａを生成する。

また、選択画素画像生成部１８２は、７×７個の受光素子ブロックよりもｘ方向に離れた位置のｍ×７個の受光素子から７×７個の受光素子を選択してその出力を読み出して、読み出した出力に応じた画素値を、各受光素子の配列順に所定間隔で配置することにより、画像ブロック１１１０ｂを生成する。同様に、選択画素画像生成部１８２は、ｍ×７個の受光素子ブロックよりもｘ方向にさらに離れた位置のｎ×７個の受光素子から７×７個の受光素子を選択してその出力を読み出して、読み出した出力に応じた画素値を各受光素子の配列順に所定間隔で配置することにより、画像ブロック１１１０ｃを生成する。なお、複数の画像ブロック１１１０により形成される画像が、この発明における選択画素画像に対応する。

なお、図示されるように７＜ｍ＜ｎであり、７×７個の受光素子ブロックの大きさ、ｍ×７個の受光素子ブロックの大きさ、ｎ×７個の受光素子ブロッの大きさは、各受光素子ブロックの位置での光の拡がりの大きさに対応しているとする。よって、選択画素画像は、レンズ系１１０による光の拡がりの大きさに実質的に反比例する密度で選択された受光素子の画素値から形成されることになる。

このように、選択画素画像生成部１８２は、レンズ系１１０による光の拡がりに応じた密度で複数の受光素子から選択された一部の受光素子の画素値が、画像上での当該拡がりが略同一の大きさになるよう配置されてなる画像である選択画素画像を生成する。具体的には、選択画素画像生成部１８２は、拡がりが大きいほど低い密度で選択された一部の受光素子の画素値から、選択画素画像を生成する。これにより、選択画素画像上では、物点の像を形成する画素数は像高によらず略一定となり、当該物点の像も像高によらず略一定となる。

そして、補正部１４０は、画像ブロック１１１０ａ、画像ブロック１１１０ｂ、および画像ブロック１１１０ｃにそれぞれ同一の逆フィルタを適用することにより、それぞれ７×７画素の補正画像ブロック１１２０ａ、補正画像ブロック１１２０ｂ、および補正画像ブロック１１２０ｃを生成する。なお、複数の補正画像ブロック１１２０により形成される画像が、この発明における「補正された選択画素画像」に対応する。このように、補正部１４０は、選択画素画像を、選択画素画像上での拡がりに基づいて補正する。

そして、選択画素画像変換部１９２は、補正画像ブロック１１２０ａ、補正画像ブロック１１２０ｂ、および補正画像ブロック１１２０ｃを、選択画素画像生成部１８２により選択された受光素子の位置に応じた大きさの実画像ブロック１１３０ａ、実画像ブロック１１３０ｂ、実画像ブロック１１３０ｃに変換する。

例えば、実画像ブロック１１３０ａについては、画像ブロック１１１０ａが７×７個の受光素子ブロックからの画像であるので、選択画素画像変換部１９２は、補正画像ブロック１１２０ａを実画像ブロック１１３０ａとして生成する。実画像ブロック１１３０ｂについては、画像ブロック１１１０ｂがｍ×７個の受光素子ブロックに対応する画像であるので、選択画素画像変換部１９２は、補正画像ブロック１１２０ｂをｍ×７個の受光素子ブロックの大きさに対応する大きさ（画素数）の実画像ブロック１１３０ｂに変換する。同様に、実画像ブロック１１３０ｃについては、画像ブロック１１１０ｃがｎ×７個の受光素子ブロックに対応する画像であるので、選択画素画像変換部１９２は、補正画像ブロック１１２０ｃをｎ×７個の受光素子ブロックの大きさに対応する大きさ（画素数）の実画像ブロック１１３０ｃに変換する。

上述のようにして生成された複数の実画像ブロック１１３０の画像が、この発明における「複数の受光素子の配置に対応する配置の画素値を有する画像」に対応する。このように、選択画素画像変換部１９２は、補正部１４０により補正された選択画素画像を、複数の受光素子の配列に対応する配置の画素値を有する画像に変換する。

以上説明したように、選択画素画像生成部１８２がレンズ系１１０による光の拡がりの大きさに応じた密度で選択された受光素子の出力から選択画素画像を生成するので、補正部１４０は同一サイズ（画素数）の画素ブロックを復元する逆フィルタを適用して、被写体像を復元することができる。これにより、レンズ系１１０による光の拡がりの大きさおよび形状の、像高に応じた違いに柔軟に対応することができ、レンズ系１１０の歪みをある程度許容することができる。このため、レンズ系１１０の設計が著しく容易になる。

なお、上記の説明では、選択画素画像生成部１８２の動作を理解し易くすべく、選択画素画像生成部１８２が各受光素子ブロックからそれぞれ７×７画素の画像ブロックを生成して、補正部１４０が各画像ブロックの画像を補正するとした。しかしながら、選択画素画像生成部１８２は、受光素子ブロック毎に７×７個の受光素子を選択するのではなく、レンズ系１１０による光の拡がりの大きさに応じたサンプリング間隔で受光素子を選択して、選択した受光素子の画素値を所定間隔で配列することにより、１つの選択画素画像を生成してよいことは言うまでもない。そして、補正部１４０が選択画素画像に対して７×７画素の画像ブロック単位で補正処理を施した後、補正処理が施された選択画素画像から、選択画素画像変換部１９２が受光部１２０が有する複数の受光素子配列の大きさに応じた大きさの画像を生成してよい。

また、上記の例では、選択画素画像生成部１８２は、一部の受光素子の出力を選択的に読み出すことにより選択画素画像を生成したが、このような選択的読み出しに適した受光素子としては、ＣＭＯＳ型の受光素子を例示することができる。他の例では、選択画素画像生成部１８２は、一旦読み出された複数の受光素子の出力から、レンズ系１１０による光の拡がり応じて一部の受光素子の出力を選択することにより、選択画素画像を生成してもよい。このように、選択画素画像生成部１８２は、複数の受光素子から読み出された画素値から一部の受光素子から読み出された画素値を選択して、選択した画素値から選択画素画像を生成してもよい。

図１１は、撮像装置１００として機能するコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図１０に関連して説明した画像生成部１６０、補正部１４０、逆変換部１９０、画像処理部１４５、および出力部１５０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。このように、プログラムにより制御される電子情報処理装置などのコンピュータ１５００が撮像装置１００として機能する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる撮像装置１００のブロック構成の一例を示す図である。 レンズ系１１０の光学特性の一例を模式的に示す図である。 物点からの光がレンズ系１１０によって拡がる様子を示す図である。 座標変換後の光の拡がりを示す図である。 レンズ系１１０の構成の一例を示す図である。 図５に示したレンズ系１１０の収差特性を示す図である。 図５に示したレンズ系１１０の光学伝達特性を示す図である。 座標変換後における光の拡がり形状の他の一例を示す図である。 画像生成部１６０および画像変換部１９５のブロック構成の他の一例を示す図である。 選択画素画像生成部１８２、補正部１４０、および選択画素画像変換部１９２の動作フローの一例を示す図である。 撮像装置１００として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。

１００ 撮像装置
１１０ レンズ系
１２０ 受光部
１４０ 補正部
１４５ 画像処理部
１５０ 出力部
１６０ 画像生成部
１７０ 座標変換決定部
１８０ 変換画像生成部
１８２ 選択画素画像生成部
１９０ 逆変換部
１９２ 選択画素画像変換部
１９５ 画像変換部
２００ 光軸
２０５ 入射瞳
２１０ 光線
２２０ 光線
２３０ 光線
３１０ 画素ブロック
３６０ 画素ブロック
１０００ 絞り
１０１０ レンズ
１０２０ レンズ
１０３０ レンズ
１０４０ レンズ
１１１０ 画像ブロック
１１２０ 補正画像ブロック
１１３０ 実画像ブロック
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (15)

1. 物点からの光の拡がり形状が光軸からの物点の物体高によって像面内で異なる光学系を通じて撮像された撮像画像を、前記光学系による光の拡がりを空間的に略同一の形に変形する座標変換により変換することによって、変換画像を生成する画像生成部と、
   前記略同一の形に変形された光の拡がりに基づいて、前記変換画像を補正する補正部と、
   前記補正部により補正された前記変換画像に対して、前記座標変換の逆変換をする逆変換部と
   を備える画像処理装置。
2. 前記画像生成部は、
   前記光学系による光の拡がりを空間的に略同一の形に変形する座標変換を、前記撮像画像における複数の部分領域毎に決定する座標変換決定部と、
   前記撮像画像における複数の部分領域毎に、前記座標変換決定部が決定した座標変換で変換することによって、前記変換画像を生成する変換画像生成部と
   を有し、
   前記補正部は、前記変換画像における前記複数の部分領域の画像を、前記略同一の形に変形された光の拡がりに基づいて補正する
   請求項１に記載の画像処理装置。
3. 前記座標変換決定部は、前記光学系による光の拡がりを像面全体にわたって略同一の形に変形する座標変換を、前記撮像画像における複数の部分領域毎に決定し、
   前記補正部は、前記変換画像の全領域を、前記略同一の形に変形された光の拡がりに基づいて補正する
   請求項２に記載の画像処理装置。
4. 前記画像生成部は、直交座標系で表された前記撮像画像を、前記光学系による光の拡がりを空間的に略同一の形に変形する、動径方向の拡大および縮小の少なくとも一方を伴う回転座標系への座標変換により変換することによって、前記変換画像を生成する
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記光学系による光の拡がり形状は、光軸を中心として動径に関して異なる
   請求項４に記載の画像処理装置。
6. 前記光学系は、同一の像点近傍に結像する物点からの光を、物点までの距離によらず略同一の形状に拡げることによって、同一の像点近傍に結像する物点からの光に対する光学的伝達関数を略同一にする
   請求項１から５のいずれか一項に記載の画像処理装置。
7. コンピュータを、請求項１から６のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
8. 物点からの光の拡がり形状が光軸からの物点の物体高によって像面内で異なる光学系を通じて撮像された撮像画像を、前記光学系による光の拡がりを空間的に略同一の形に変形する座標変換により変換することによって、変換画像を生成する変換段階と、
   前記略同一の形に変形された光の拡がりに基づいて、前記変換画像を補正する補正段階と、
   前記補正段階において補正された前記変換画像に対して、前記座標変換の逆変換をする逆変換段階と
   を備える画像処理方法。
9. 請求項１から６のいずれか一項に記載の画像処理装置と、
   前記光学系と
   を備える撮像装置。
10. 物点からの光の拡がり形状が光軸からの物点の物体高によって像面内で異なる光学系を通過した光を受光する複数の受光素子と、
    前記光学系による光の拡がりに応じた密度で前記複数の受光素子から選択された一部の受光素子の画素値が、画像上での前記拡がりが略同一の大きさおよび形になるよう配置されてなる、前記光学系による物点からの光の拡がりの大きさおよび形が空間的に略同一な画像である選択画素画像を生成する選択画素画像生成部と、
    前記選択画素画像を、前記選択画素画像上での前記拡がりに基づいて補正する補正部と、
    前記補正部により補正された選択画素画像を、前記複数の受光素子の配列に対応する配置の画素値を有する画像に変換する選択画素画像変換部と
    を備える撮像装置。
11. 前記選択画素画像生成部は、前記一部の受光素子の出力を選択的に読み出すことにより、前記選択画素画像を生成する
    請求項１０に記載の撮像装置。
12. 前記選択画素画像生成部は、前記複数の受光素子から読み出された画素値から前記一部の受光素子から読み出された画素値を選択して、選択した画素値から前記選択画素画像を生成する
    請求項１０に記載の撮像装置。
13. 前記選択画素画像生成部は、前記拡がりが大きいほど低い密度で選択された前記一部の受光素子の画素値から、前記選択画素画像を生成する
    請求項１０から１２のいずれか一項に記載の撮像装置。
14. 物点からの光の拡がり形状が光軸からの物点の物体高によって像面内で異なる光学系を通過した光を受光する複数の受光素子を備える撮像装置用のプログラムであって、コンピュータを、請求項１０から１３のいずれか一項に記載の撮像装置として機能させるためのプログラム。
15. 物点からの光の拡がり形状が光軸からの物点の物体高によって像面内で異なる光学系を通過した光を複数の受光素子で受光する受光段階と、
    前記光学系による光の拡がりに応じた密度で前記複数の受光素子から選択された一部の受光素子の画素値が、画像上での前記拡がりが略同一の大きさおよび形になるよう配置されてなる、前記光学系による物点からの光の拡がりの大きさおよび形が空間的に略同一な画像である選択画素画像を生成する選択画素画像生成段階と、
    前記選択画素画像を、前記選択画素画像上での前記拡がりに基づいて補正する補正段階と、
    前記補正段階において補正された選択画素画像を、前記複数の受光素子の配列に対応する配置の画素値を有する画像に変換する選択画素画像変換段階と
    を備える撮像方法。

Images