JP4076242B2

JP4076242B2 - 電子撮像装置

Info

Publication number: JP4076242B2
Application number: JP31682196A
Authority: JP
Inventors: 伸一三原; 修稲垣; 岳二上島; 敦夫後藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1995-12-26
Filing date: 1996-11-28
Publication date: 2008-04-16
Anticipated expiration: 2016-11-28
Also published as: JPH09238357A; US6088059A

Description

【０００１】
【産業上の利用分野】
本発明は、特に高精細画像を撮像するために好適な電子撮像装置に関するものである。
【０００２】
【従来の技術】
電子カメラをはじめとする電子撮像装置は、電子撮像素子の画素数で画質が制限されていた。しかし、最近はその画素数も急速に増加し、銀塩写真並みあるいはそれ以上の画質が期待できるレベルになってきている。一方、電子撮像素子は有効撮像面積が銀塩フィルムよりも小さいので、結像光学系として高い空間周波数において高い周波数レスポンスを示すものが要求される。しかしながら、収差などの幾何光学的要因や製作誤差（偏心、公差、面精度など）によるレスポンスの劣化の顕著化、そして光学的ローパスフィルタばかりでなく回折の影響など波動光学的要因も顕著に加わり、それに応えることは難しい。また、残存色収差があると、ダイナミックレンジや色彩度の点で絵柄のエッジ部で色のにじみが目立ちやすくなる傾向がある。特に、２次スペクトルの影響が大きく、異常分散性の高い硝材を多用せざるを得なくなり、大幅なコストアップとなる。かつての業務用カメラ（例えばＴＶカメラ）の場合は３管式であり、残存軸上色収差、倍率色収差ともにある程度キャンセルできた。しかし、撮像管から固体撮像素子になり倍率の色収差のキャンセルが不可能になり、また、３管または３板式から単板モザイクフィルター式になり軸上の色収差のキャンセルが不可能になり、一層光学系での残存色収差の補正が望まれるなど、光学系の残存色収差除去へのニーズが益々高まっているのが現状である。
【０００３】
電子撮像装置の結像光学系の焦点距離ｆＬ、画角２ωと撮像素子の画素数、画素ピッチ（画素中心間距離）との関係はおおよそ以下の式で与えられると考えることが出来る。
【０００４】
ｆＬ・ｔａｎω＝対角像高＝画素ピッチ×（２×画素数）^1/2 (1)
また、結像光学系の収差ａについては
ｆＬ・ａ＜画素ピッチ×２ (2)
と言う関係を満足させることが望ましいので、この式に上記（１）式を代入して変形すると、
ａ＜ｔａｎω／（２×画素数）^1/2 (3)
と言う関係が得られる。但し、ａはあるＦナンバーにおいてｆＬ＝１としたときの軸上色収差または倍率色収差である。
【０００５】
これからわかるように、一見すると目標色収差は画素数のみに依存する。しかし、画素ピッチが小さくなると上記の通り色々なレスポンス低下要因の影響が顕著に現れるので、光学系を設計する際の目標収差ａはより小さくする必要がある。そこで、最近では、特に高次スペクトルに対して光学的に優れた補正能力を示す回折型光学素子が注目され、その実用化に向けて研究が進んでいる。一方、回折型光学素子は解決困難な欠点も有している。それは、電子撮像装置として必要とされる波長幅に亘ってある特定の次数の回折光を得ようとする場合、どうしてもその他の次数の回折光が混入してくる点である。それを不要次数光といい、フレアの原因となり逆に画質を劣化させてしまう要因にもなっている。
【０００６】
【発明が解決しようとする課題】
本発明では、例えばＤＴＰやポスターなどの印刷写真にも耐えられるような、高画質が得られる電子撮像装置を提供する。
【０００７】
【課題を解決するための手段】
本発明の電子撮像装置は、基本的には、対象物の像を形成する結像光学系と、この像を受けて像を表わす電気信号に変換する電子撮像素子と、電子撮像素子から得られる信号をディスプレイ装置などの出力手段に表示可能な、あるいはＶＴＲやデジタルメモリなどの記憶装置に記憶可能な映像信号に変換する信号処理手段とを備えており、結像光学系が回折面を含み、信号処理手段が画質を向上させるための画像処理手段を含むものである。
【０００８】
回折光学素子は屈折光学素子と比べると等価的分散が負の極めて大きな値であり、等価的部分分散比も屈折光学素子とは大きく異なる値である。これを結像光学系に導入することにより、結像光学系の高次スペクトルによる残存色収差を良好に補正することができる。かかる回折面を導入すると不要次数光によるフレア成分が発生するが、本発明では画質を向上させるための画像処理手段を設けてこのフレア成分を除去する。
【０００９】
より具体的に述べると、本発明で採用した回折面を含む結像光学系により形成された対象物の像中の一点の光強度分布は、回折面で発生した各次数の回折光の寄与を含んでいる。これらのうち、本来の結像に寄与するものは予め定めた１つの次数の回折光（１次回折光を利用する場合が多い）のみであり、その他の次数の光はフレア成分となる。このフレア成分を画像処理で除去しようというのが本発明の基本的考え方である。
【００１０】
１つの点光源を物体として結像光学系により電子撮像素子上に結像させると、結像光学系の収差などの影響により完全な点ではなく拡がりを持つ像として結像される。この結像光学系による点像は、各次数の回折光による点像が重ね合わせられたものであり、それ自体を各次数成分に分離することは不可能であるが、結像光学系の設計データから前記点像の形成に寄与した光の回折次数別の内訳がわかるので、これを利用して回折次数毎に画面全体の光強度分布をシミュレーションすることにより所定次数光以外の不要回折次数成分に起因する強度分布を求め、この強度分布に相当する成分を映像信号から差引くことによりフレア成分を分離除去する。
【００１１】
【発明の実施の形態】
本発明の第１の実施の形態について説明する。
図１は第１の実施の形態の全体のブロック図である。図において１は結像光学系である。２はカメラ部で、内部に固体撮像素子３と、信号処理手段４と、センサ駆動回路５とを備えている。信号処理手段４は、信号処理回路６とフレア除去回路７を備えている。図示しない撮影対象物の像が結像光学系１により固体撮像素子３の受光面上に形成される。固体撮像素子３はこの像を表わす電気信号を出力し、この電気信号は信号処理回路６に供給される。信号処理回路は公知の映像処理、Ａ／Ｄ変換、デジタル信号処理回路などを含み、固体撮像素子からの出力信号を後段のディスプレイ装置に表示し、あるいは記録手段に記録可能な、例えばＲＧＢコンポーネント信号などの映像信号に変換する。フレア除去回路７は映像信号から有害な信号成分を除去し、画質を向上させるためのものである。なお、センサ駆動回路５は固体撮像素子３を駆動して画像の蓄積、読み出し動作を制御するためのものである。
【００１２】
まず、結像光学系について詳しく説明する。
図２は結像光学系の具体的構成を示す図である。この光学系は結像レンズ系１０と、その射出側に配置した赤外カットフィルタ、光学的ローパスフィルタなどのフィルタ群１１と、プリズム１２とを備えている。１３は固体撮像素子３の受光面の位置を表わす。結像レンズ１０は絞り１４を挟んで前後に正のパワーのレンズ群１５、１６を配置している。前レンズ群１５は光の入射側から見て、正レンズＬ１、Ｌ２、負レンズＬ３、Ｌ４を含んでいる。また、後レンズ群１６は、入射側から見て、負レンズＬ５、正レンズＬ６、Ｌ７、負レンズＬ８、正レンズＬ９、回折光学素子Ｌ１０を含んでいる。このレンズ系の特徴は、絞りの像側にある後レンズ群１６が負のパワーのレンズＬ５、Ｌ８と回折光学素子Ｌ１０を含む点にある。
【００１３】
一般に、電子撮像装置においては、撮像素子の有効画面サイズが銀塩フィルムなど他のフォーマットの撮像装置に比べて小さく、また、結像レンズと撮像素子との間にフィルタ、プリズムなどが挿入されることが多い。このため、結像レンズのバックフォーカスの焦点距離に対する比率が大きい。また、レンズ系からの軸外主光線の射出角（撮像素子への軸外主光線の入射角）を小さくする必要があるため、全体的にレンズ系の絞りより像側のレンズ群に正のパワーがかたよる傾向がある。このため、後レンズ群１６において発生する各収差を補正するために、後レンズ群１６に負レンズを配置する。
【００１４】
ここで用いられる負レンズは、その焦点距離をｆＮ、結像レンズ全体の焦点距離をｆＬとしたとき、以下の条件を満足する程度の比較的強いパワーを持つことが望ましく、後レンズ群１６内部での軸外光線高も高い。
【００１５】
０. １＜−ｆＮ／ｆＬ＜２ (4)
また、前記負のレンズは１次の色収差を補正するために分散の大きな重フリント系の硝材を使用することになるが、この硝材は部分分散比が他の硝材よりやや正の大きな値であるため、波長の短い方から長い方にかけて軸上色収差が物体側に凸状の軌跡を描き、ある像高の倍率の色収差が光軸側に凸状の軌跡を描くようになる。従って、比較的弱い正のパワーを持つ回折面を結像光学系の絞りに対して前記負レンズと同じ側に配置すると、現実に存在する光学ガラスの組合せでは不可能であった２次スペクトルの補正が可能になる。その理由は、回折光学素子は等価的分散が負の極めて大きな値であり、且つ等価的部分分散比が通常のガラスに比較して正の小さな値であるからである。このレンズ系ではレンズＬ１０の射出面上に回折面を形成してある。なお、前記回折面の焦点距離ｆＤＯＥは以下の条件を満足することが望ましい。
【００１６】
ｆＬ／ｆＤＯＥ＜０. ０７ (5)
ここで、ｆＤＯＥは回折面の回折作用のみの焦点距離を表わしており、例えば屈折レンズの曲率を持った表面に回折格子が形成されている場合には、その回折面全体のパワーから屈折レンズの面の曲率に起因するパワーを除いたものの逆数がｆＤＯＥに相当するものである。
【００１７】
上記の条件から外れると、２次スペクトルの補正が過剰になりやすく、特に軸外光束最外光束の色の横収差が通常とは逆方向に大きくなりやすい。
図２に示した結像光学系の設計データは以下の通りである。この光学系は回折面における１次回折光を本来の結像に寄与する光として利用するものである。

上記データにおいて、ｒ_iは各面の曲率半径、ｄ_iは各面の間隔、ｎ_i及びν_iは各光学素子のｄ線に対する屈折率及びアッベ数、ｆＲは後レンズ群１６の焦点距離である。ｒ₂₁がレンズＬ１０の射出面であり、ｒ₂₂がこの射出面に形成された回折面を表わす。回折面は等価的に９３０という高い屈折率を持ち、アッベ数は−３. ４５と負の値である。
【００１８】
この結像光学系の収差を図３に示す。（ａ）は球面収差、（ｂ）は非点収差、（ｃ）は歪曲収差、（ｄ）は倍率色収差、（ｅ）及び（ｆ）は横収差でそれぞれ最大像高の７０％、１００％の像高におけるものである。
【００１９】
上記のレンズ系では平面上に回折面を設けてあるが、回折面を設ける元の面が曲面でパワーを有していても良い。この場合は、元の面のパワーと回折面のパワーとの合成パワーが元の面のパワーより正の側の大きな値となるようなパワー配分とすることが望ましい。
【００２０】
次に、フレア除去回路について詳しく説明する。
図４はフレア除去回路７の具体的構成を示す図である。フレア除去回路７は信号処理回路６からの映像信号を一時記憶する画像メモリ２０と、有害信号成分を除去する演算を行なう演算処理部（ＣＰＵ）２１と、演算処理の途中のデータを一時記憶するワークメモリ２２と、有害信号成分を求めるためのデータを記憶するテーブルメモリ２３とを備えている。高次回折光は強度が非常に弱いので、この例では０次、２次の回折光に起因するフレア成分を除去するようにし、それ以上の高次の回折光に基づくフレア成分は無視している。
【００２１】
この例におけるフレア成分除去の考え方は以下のようなものである。先に述べたように電子撮像素子上に形成される物体像は各回折次数の光による像の重ね合わせであるから、不要次数光に起因するフレア成分を除去するには、不要次数光による像面上での光強度分布を求める必要がある。この光強度分布は各点における各次数の点像強度分布と物体の強度分布とから求めることができるが、物体の強度分布そのものはわからないので、ここでは物体像の強度分布を用いて近似的にフレア成分を求める。即ち、物体像の強度分布はフレア、収差など様々な影響を受けて結像の対象である物体そのものの光強度分布とは異なっているが、その差は比較的小さいので無視し、ある次数の点像強度分布を物体像の強度分布に従って重ね合わせたものをその次数の光による像面上での光強度分布とする。そして、この光強度分布をその次数に起因するフレア成分と考えて物体像から差引くようにする。一般的に、フレア成分は元になる物体像の強度と比較して弱いので、上記のような近似演算による誤差が問題となる場合は少なく、充分実用になるものである。
【００２２】
以下、処理手順をさらに具体的に説明する。まず、結像光学系の設計データから、各回折次数別の点像の強度分布を求める。
図５は前記結像光学系による０次、１次、２次の回折光の点像強度分布を概念的に示すものである。この図は点像強度分布を子午断面または球欠断面における断面積が１になるように規格化したもので、これにその点における物体像の強度を掛けたものは、物体像の中の点に対する各次数の点像の寄与の程度を表わす。
【００２３】
テーブルメモリ２３には０次及び２次の点像の強度分布がデジタルデータとして格納されている。これらを回折次数ｉを添字としてＰ_i(x,y) と表わすことにする。ｘ、ｙは光軸を原点とする像面上の座標である。点像強度分布は物体距離、像高に応じて異なるものであるが、ここでは簡単のため各次数における点像強度分布は物体距離、像高に拘わらず一定としてある。
【００２４】
画像メモリ２０には信号処理回路６から映像信号がデジタルデータとして供給される。これをＩ(x,y) と表わすことにする。この映像信号とテーブルメモリ２３に格納された各次数の点像の強度分布とのコンボリューション、例えば２次について言えば
【００２５】
【数１】

【００２６】
が２次回折光に起因して物体像に混入しているフレア成分の強度分布を表わす信号となる。ＣＰＵ２１は画像メモリ２０から映像信号Ｉ(x,y) を読み込むと共にテーブルメモリ２３から不要次数光の点像強度分布Ｐ₀(x,y) 、Ｐ₂(x,y) を読み込む。そして、０次成分、２次成分について上記式（６）の演算を順次行ない、その結果得られるＩ₀(x,y) 、Ｉ₂(x,y) をワークメモリ２２に格納する。即ち、まず、画像メモリ２０に記憶された映像信号とテーブルメモリ２３に格納された０次の点像の強度分布Ｐ₀(x,y) とを読み込み、Ｉ(x,y) とＰ₀(x,y) とのコンボリューション積分を行ない、計算結果をワークメモリ２２に書込む。次に画像メモリ２０に記憶された映像信号とテーブルメモリ２３に格納された２次の点像強度分布Ｐ₂(x,y) とを読み込んで、Ｉ(x,y) とＰ₂(x,y) のコンボリューション積分を行ない、計算結果をワークメモリ２２に格納する。次いで、ＣＰＵ２１は画像メモリ２０の映像信号とワークメモリ２２のフレア成分を表わす信号とを読み込んで減算を行ない、結果を画像メモリ２０に書込む。この演算を行なうことにより、画像メモリ２０には元の映像信号Ｉ(x,y) から不要次数成分Ｉ₀(x,y) 、Ｉ₂(x,y) を取り除いた補正された映像信号
Ｖ(x,y) ＝Ｉ(x,y) −Ｉ₀(x,y) −Ｉ₂(x,y) (7)
が書込まれる。この補正された映像信号Ｖ(x,y) を読み出してフレア除去回路７から出力する。ＣＰＵ２１で行なわれる処理をフローチャートで示すと図６の通りである。
【００２７】
以上の処理によって、フレア成分を除去した映像信号が得られる。なお、上記の処理に通常行なわれている輪郭補正技術を組合わせると、より一層画質が向上する。
【００２８】
次に、本発明の第２の実施の形態について説明する。
図７は第２の実施の形態の全体のブロック図である。図１に示した第１の実施の形態と比較すると、信号処理手段４が信号処理回路６とフレア除去手段７との間に色分離回路３０を備えている点が異なっている。それに応じてフレア除去手段の具体的構成も後述するように異なるが、他の部分は本質的に第１の実施の形態と同じものである。従って、詳しい説明は省略する。この実施の形態は、映像信号の各色成分毎に有害信号成分の除去を行なうものであって、回折面の回折効率の波長毎の差異を考慮してより高い精度の画像補正を行なうものである。
【００２９】
図８は結像光学系に含まれる回折面の回折効率を示す図である。この回折面は１次回折光に対する回折効率が波長５２０ｎｍで１００％となっている（最適化されている）ため、この波長においてはフレア成分は存在しないが、最適化波長から離れるにつれて１次の回折効率が低下し、それに伴ってフレア成分が増加する。つまり、波長毎にフレア成分の割合がかなり異なる場合があるため、１つの点像強度分布から求めたフレア信号成分を映像信号から差し引くようにすると、ある波長成分については適正な補正となるが、他の波長成分については補正過剰となったり補正不足となったりすることがある。そこで、ここでは３原色Ｒ、Ｇ、Ｂを代表する波長として図８に示したようにＣ線、ｅ線、ｇ線を選び、これらの各波長について結像光学系の点像強度分布を計算し、各点像強度分布に回折面の回折効率を掛けたものを補正用のデータとして使用する。
【００３０】
図９はフレア除去回路７の具体的構成を示す図であるが、各色信号成分用に画像メモリ２０Ｒ、２０Ｇ、２０Ｂを設け、ワークメモリとして各色成分毎に２２Ｒ、２２Ｇ、２２Ｂを設け、点像強度分布を格納するテーブルメモリとして各色成分毎に２３Ｒ、２３Ｇ、２３Ｂを設けてある。テーブルメモリには次数と色を添字として表わせば、上記の点像強度分布Ｐ_0R(x,y) 、Ｐ_2R(x,y) 、‥‥、Ｐ_2B(x,y) が各色成分毎に格納されている。また、各波長における結像光学系の回折面の各波長、各次数の回折効率データη_0R、η_2R、‥‥、η_2Bも格納されている。
色分離回路３０からは映像信号の各色成分が供給され、これらは色成分毎に画像メモリ２０Ｒ、２０Ｇ、２０Ｂに記憶される。各色成分毎に第１の実施の形態と同様の補正処理を行なうが、点像強度分布そのままではなくこれに回折効率を掛けたものを補正データとして使用する点が異なる。即ち、Ｒ成分について述べれば、画像メモリに記憶されたＲ成分信号Ｉ_R(x,y) とテーブルメモリ２３Ｒに格納された点像強度分布Ｐ_0R(x,y) 、Ｐ_2R(x,y) と回折効率η_0R、η_2RをＣＰＵ２１に読み込み、０次について述べれば点像強度分布と回折効率を掛けた補正データＰ_0R(x,y, η_0R) ＝Ｐ_0R(x,y) ×η_0Rを作成し、この補正データＰ_0R(x,y, η_0R) とＲ成分信号Ｉ_R(x,y) とのコンボリューション積分を行ない、不要次数光成分を表わす補正用信号を算出してワークメモリ２２Ｒに書込む。そして、ワークメモリ２２Ｒに書込んだ補正用信号をＲ成分信号Ｉ_R(x,y) から差し引くことにより補正後のＲ映像信号を算出し、画像メモリ２０Ｒに記憶させる。Ｇ成分、Ｂ成分についても同様の処理を行ない、補正後の各色信号成分を画像メモリ２０Ｒ、２０Ｇ、２０Ｂから読み出して信号処理手段７から出力する。１つの色成分に対する処理は、図６のフローチャートのステップ▲２▼とステップ▲３▼の間に０次の回折効率データを読み込むステップ及び０次の点像強度分布と回折効率の積を求めるステップが追加され、更にステップ▲７▼とステップ▲８▼の間に２次の回折効率データを読み込むステップ及び２次の点像強度分布と回折効率の積を求めるステップが追加されたものとなる。各色成分については順次処理しても良いが、３つの色成分を並列的に処理すれば有害信号成分除去の時間が短縮され好ましい。また、ここでは点像強度分布と回折効率データとを別のデータとして格納し、演算の際に両者の掛け算を行なっているが、両者の積をデータメモリに格納するようにしても良く、この方が演算時間を短縮できる。
【００３１】
以上の処理によれば、より高精度でフレア成分を除去することが出来、より一層画質が向上する。
なお、ここでは映像信号の色成分を分離するために色分離回路３０が設けられているが、この実施の形態の信号処理は例えば３板カラーテレビカメラのように、色分離光学系を備えていて各色成分が光学的に分離され、各色成分が個別に所定の処理を施された後に画像処理手段に供給されるタイプの撮像装置に対しても、何ら問題なく適用できるものである。
【００３２】
次に、各実施の形態に対する変形例について説明する。
まず、像高に応じたフレア成分の除去について述べる。
実施の形態においてはテーブルメモリに格納する点像強度分布データの数を少なくするため像高による点像強度分布の違いを無視したが、より細かい補正を行なうためには像高に応じて異なる点像強度分布関数を用いることが望ましい。この場合、最も補正の精度を高くするためには各画素毎に点像強度分布を計算してテーブルメモリに格納しておくことが望ましいが、膨大なデータが必要になる。このため、像高を幾つかのゾーンにわけてゾーン毎に異なる点像強度分布を用いるようにしてもよい。例えば、図１０において長方形は撮像素子の受光面であるが、これを結像光学系の光軸を中心とする同心円状の境界線によって像高比で０〜０. ４のゾーンＩ、０. ４〜０. ７のゾーンII、０. ７〜１のゾーンIIIの３つに分け、ゾーンIでは像高比０. ４、ゾーンIIでは像高比０. ６、ゾーンIIIでは像高比０. ８の点像強度分布を用いるようにしてもよい。ここで、像高比は最大像高によって規格化された像高のことである。
【００３３】
なお、像高に応じた補正を行なう場合には、回折次数毎の倍率の違いも考慮することが望ましい。即ち、回折面を含む光学系の倍率は回折次数毎に異なるため、本来の結像に寄与する光として１次回折光を用いた場合、０次や２次などの不要回折次数の光は像面上では１次光とは異なる位置に入射するため、軸外像点の光強度は厳密には異なる物点の異なる回折次数の光が重なりあったものとなる。例えば１つの像点は、その像点に対応する物点から来た光の１次回折光と、それより光軸からの距離が小さい物点から来た光０次回折光と、それより光軸からの距離が大きい物点から来た光の２次回折光とが重なっているといった具合である。このずれを補正するためには、フレア成分を次数毎に係数倍して差し引くようにすることが望ましい。その係数としては、結像に使用する１次光（使用次数光）の近軸結像面上での１次光と不要次数光の主光線高の比Δβを用いるのがよい。図１２は結像光学系から像面に至る光を模式的に描いたもので、実線は１次光、破線は不要次数光を示している。Ｃ、Ｃ’はそれぞれ同じ物点から出た１次光と不要次数光の主光線、Ｑ、Ｑ’はそれぞれ主光線Ｃ、Ｃ’に対する射出瞳位置である。なお、Ｃ’は不要次数光の中の特定の回折次数の光を代表として示したもので、実際には不要次数の主光線は多数存在する。Δｙは１次光の近軸像面上での、１次光と不要次数光の主光線高の差である。
【００３４】
１次光の像面におけるＣとＣ’の高さの比Δβは、１次光の像面における主光線高をｙ、不要次数光のその次数の結像面における主光線高をｙ’、像面と結像光学系の瞳Ｑの間の距離をＳとすると、
Δβ＝ｙ／ｙ’＝Ｓ／（Ｓ＋ΔＳｋ）
によって近似的に求めることができる。Δβの値は不要光の回折次数毎に異なるので各次数毎にΔβを求め、各次数のフレア成分を求める際に位置座標をΔβ倍して物体像の強度分布Ｉ(x,y) と点像強度分布関数のコンボリューション積分を行う。
【００３５】
このような補正を行うためには、１次光の近軸像面を基準とした各次数に対する結像光学系の瞳位置、不要次数光の最良像面又はガウス像面の位置、及び１次光による像に対する不要次数光による像の倍率比を補正データとして持つことが望ましい。これらのデータがあれば不要次数の主光線が１次光のベスト像面を切る高さを求めることができるので、この位置と１次光による像高との差に基づいて、回折次数毎にフレア成分除去のために使用する点像強度分布を補正すれば良い。
なお、Δβの値は結像光学系におけるフォーカシングやズーミングなどのレンズの移動やレンズ間隔の変更のような結像光学系の変更に伴って変化するので、この変化も込みにしてフレア成分を除去できるようにするとなお良い。そのためには、前記のようなデータを各物体距離、各焦点距離など、結像光学系の各状態に対応した点列データとしてテーブルメモリに格納しておき、各状態において適当なデータを用いてΔβを計算する手段を有することが望ましい。あるいは、Δβそのものを点列データとしてテーブルメモリに格納しておき、結像光学系の状態変化に応じて適当なデータを読み出して用いても良い。結像光学系がどの状態にあるかを判別することは、最近のカメラでは容易なことである。即ち、最近のカメラは自動焦点検出装置を備えており、自動焦点検出装置において結像光学系を合焦状態にするために物体距離を表す情報が用いられるので、これを利用して結像光学系の状態を判別し、それに適したテーブルメモリのデータを読み出すことができる。自動焦点検出を行わない場合でも、合焦のためのレンズ移動をレンズ鏡筒に設けたエンコーダなどで電気信号として読み取ることは容易なので、このような情報に基づいて結像光学系の状態を検知するようにしても良い。ズーミングについても同様にして状態を知ることができる。
【００３６】
なお、この方法では、本来の結像よりも倍率が小さい不要次数光については、像強度分布Ｉ(x、y)の情報が不足するため画像周辺部のフレア除去が不十分になるが、それは致し方ないところである。
【００３７】
次に、結像光学系のＦ値に応じたフレア成分の除去について述べる。
実施の形態ではＦナンバーの変動に伴う点像強度分布の変化を無視したが、より高い精度の補正を行なうためには結像光学系に設けられている絞り開口径の変化に応じた多数の点像強度分布をテーブルメモリに格納しておき、Ｆ値の変化に応じて異なるデータを読み出して補正演算を行なうことが望ましい。但し、これでは膨大なデータが必要となるので、以下に述べるようにＦナンバーの変化を概略取り込むような演算を行なうようにするとよい。
【００３８】
回折光学素子の焦点距離や焦点位置は回折次数毎に異なるため、回折面を含む光学系で各次数毎に近軸像面が存在する。従って、使用次数光である１次光が本来の結像面に合焦した状態では、不要次数光は像面においてアウトフォーカス（ピンぼけ）状態となっており、不要次数光の点像の強度分布は大きく拡がって１次光に重なっている。不要次数光による像にも収差は存在し、しかも１次光のそれに比較してかなり大きいが、近軸像面位置が異なることの方がボケの原因としては大きい。従って、点像の強度分布を表す関数は近似的または実用的には、収差や口径食を無視し近軸像面位置が異なることによるボケだけを考慮して決めても問題はない。
【００３９】
この点像の拡がりはその断面積が絞り開口径にほぼ比例するので、これを利用して、絞り開放状態の点像の強度分布から絞り込んだ状態の点像強度分布を算出して補正演算に使用することができる。
【００４０】
図１１において、破線は結像光学系の絞り開放状態における点像の強度分布である。この開放Ｆ値をＦ₀、絞り込んだ状態の値をＦ₁とすると、開放状態の点像強度分布の両側からそれぞれ面積のパーセンテージで（１−Ｆ₀／Ｆ₁）×１００／２に相当する部分を削除し、その上で断面積を１にするためにＦ₁／Ｆ₀を掛けると、図１１に実線で示す強度分布が得られる。これをＦナンバーがＦ₁となるように絞り込まれた状態の点像の強度分布として使用する。
【００４１】
具体的には、データメモリには絞り開放状態における補正データＰ_i(x,y) を格納しておき、ＣＰＵで不要次数光成分を算出するに際して、物体像の強度分布と補正データとのコンボリューション積分を計算する前に、Ｐ_i(x,y) ×( １−Ｆ₀／Ｆ₁) ×( １００／２) を求めて、これをＰ_i(x,y) の両端から削除し、残りにＦ₁／Ｆ₀を掛ける、という演算を行ない、得られた関数Ｐ' _i(x,y) を補正データＰ_i(x,y) の代わりに用いてコンボリューション積分を計算するようにすれば良い。
【００４２】
あるいは、次のような関数を点像の強度分布関数の代わりに用いても良い。
図１２において、１次光と特定の不要次数光の近軸像点の光軸方向の位置のずれをΔＳｋ、結像光学系のＦナンバーをＦ_NOとしたとき、像面上において、ボケによる不要次数光の強度は、半径ΔＳｋ／２Ｆ_NOの範囲内では有限の値を持つがその外側では充分小さな値をとる。
【００４３】
そこで、例えば図１３に示すように、このような性質を持つ任意の関数を、子午断面または球欠断面における断面積が１になるように規格化して、前記特定の不要次数光の点像強度分布を表す関数として採用する。関数の形については格別の制限はないが、ΔＳｋ／２Ｆ_NOの範囲の外側で充分小さな値となる目安としては、関数の半径ΔＳｋ／２Ｆ_NOの範囲内での積分値が全積分値の８０％以上になることが好ましい。この値以下では、関数の拡がりが大きすぎてフレア除去のレベルが低くなる。この値はなるべく大きい方が良く、９０％以上は一層好ましい。ガウス分布関数Ａｅｘｐ［−ａ（ｘ²＋ｙ²）］（Ａ、ａは定数）などを用いれば、実際の点像強度に対する近似の程度が比較的高く、しかもコンボリューションの計算などが比較的簡単にできるので好ましい。この場合は、結像光学系のＦナンバーや近軸像点のずれΔＳｋの変化（ΔＳｋ／２Ｆ_NOの範囲の変化）に合わせて定数Ａやａの値を変え、この範囲の外側で関数の値が充分小さい状態を保つようにする。
【００４４】
ところで、結像光学系の絞り径を変えない場合でも、ΔＳｋの値はΔβと同様に結像光学系におけるフォーカシングやズーミングなどに伴って変化する。また、Ｆ_NOの値もズーミングなどで変化する。このような変化に合わせて画質補正の程度を調整するために、以下のような方法が考えられる。
【００４５】
１つは、結像光学系の各状態に対応したΔＳｋの値をテーブルメモリに点列データとして記憶させておき、そのデータを用いてコンボリューション積分を行う前に点像強度分布関数を補正することである。即ち、自動焦点検出装置の信号や合焦のために移動したレンズ位置を表す信号などに基づいてテーブルメモリの中から物体距離にあったΔＳｋの値を取り出し、この値を用いて、点像分布関数の関数形を補正する。ズーミングに関しても同様で、ズーミングのために移動したレンズ位置を表す信号に基づいてその焦点距離状態に応じたΔＳｋの値を読み出して関数形を補正すればよい。ガウス分布関数の場合は、ΔＳｋの大小に合わせて上記の定数Ａやａの値を変更することになる。
【００４６】
なお、物体距離や焦点距離は連続的に変化するが、補正信号は物体距離範囲、あるいはズーミング可能な焦点距離範囲をいくつかのゾーンに区切り、各ゾーンの中に物体がある間は同じΔＳｋの値を用いるようにしてもよい。こうすればΔＳｋの点列データのデータ数を減少させることができる。
【００４７】
あるいは、テーブルメモリには、ΔＳｋを計算するための基礎となる結像光学系のレンズデータ、絞り位置など必要なデータを格納しておき、フォーカシングやズーミングの状態を焦点検出信号やレンズ位置を表す信号などから読み取って、物体距離やズーミング状態に応じてその都度ΔＳｋを計算する手段を有するようにしても良い。
【００４８】
次に、色成分毎のフレア成分の除去について述べる。
色成分毎のフレア除去について、上記第２の実施の形態においてはＲＧＢ３色について各々補正を行なうようにしたが、図８からわかるとおり回折面の回折効率が１００％となる波長とＧの波長とが非常に接近しているため、Ｇ波長においては不要次数回折光は極めて少ない。従って、Ｇ色成分についてはフレア除去のための信号処理を省略し、Ｒ成分とＢ成分についてのみ補正を行なうようにしてもよい。更に簡略化するには、回折面の回折効率が１００％となる波長を２つの色成分の中央付近の波長に設定し、残りの１つの波長成分についてのみフレア除去のための信号処理を行なえばよい。例えば、Ｂ成分とＧ成分の中央付近の波長（例えば５８０ｎｍ）で回折効率が１００％となるように回折面を最適化すると、Ｂ成分とＧ成分の波長においては回折効率がかなり高い値を示す（従って、フレア成分が少ない）のに対し、Ｒ成分では回折効率が低くなるため不要回折次数光が増加し、フレア成分が多くなる。このため、Ｂ成分及びＧ成分については補正を省略し、Ｒ成分のみを補正するだけでも相当の効果をあげることが出来る。先に述べた第１の実施の形態では信号処理回路６からフレア除去回路７に供給されるＲＧＢコンポーネント信号に対し１回だけフレア除去処理を行なうものとして説明したが、ここで述べたような構成にすれば第１の実施の形態のようなやり方で何ら問題は生じない。もちろん、回折効率が１００％となる波長をＧ成分とＲ成分の間に設定し、Ｂ成分のみについて補正を行なうようにしてもよい。
【００４９】
なお、各色の点像強度分布に白色の色温度に基づいたＲＧＢの混合比をそれぞれ掛け、３色混合したものを補正データとして用いても良い。具体的にはＲＧＢの各代表波長の点像強度分布に各波長の回折効率を掛け、更に色温度に基づいた各色成分の大きさの比率を掛けたものを加え合わせて点像の強度分布を表わす関数を算出するようにすれば良い。このようにして求めた点像強度分布はどの色成分の点像強度分布とも異なるが、逆にどの色成分との差も少ないので、１つの点像強度分布を用いて全ての色のフレア成分を除去する場合に、１つの色成分の点像強度を用いて全ての色を補正する場合に比較すると誤差が少ない。従って、演算処理の簡略化を重視する場合などにはこのような点像強度分布を用いると良い。
【００５０】
最後に、フレア成分の演算方法について述べる。
実施の形態においてはフレア成分を表わす信号を得るために補正データ（Ｐ_i(x, y)またはＰ_i(x,y, η) ）と物体像の強度分布Ｉ(x,y) のコンボリューション積分を計算したが、この他に補正データと物体像の強度分布の各々についてフーリエ変換を行ない、得られた結果の積を逆フーリエ変換することによってフレア成分を表わす信号を求めるようにしても良い。この場合は、補正演算の度毎に補正データのフーリエ変換を行なっても良いが、演算時間を短縮するためにはデータメモリにＰ_i(x,y) またはＰ_i(x,y, η) を予めフーリエ変換したデータを記憶しておき、ＣＰＵにおいては画像メモリから映像信号、データメモリから補正データを読み込んだ後、映像信号についてフーリエ変換を行ない、次いでその結果と読み込んだ補正データとを掛け算し、更にその積を逆フーリエ変換してフレア成分を求め、ワークメモリに書込むようにすれば良い。
【００５１】
本発明において、コンボリューション積分を行う場合、各画素毎に行うと計算量がきわめて膨大になる。これを削減するためには、いくつかの画素をまとめてブロックとし、撮像素子の画面全体を１０³〜１０⁴のブロックに分割し、各ブロック内では１つの画素について（ブロック内の１つの画素をサンプリングする）だけフレア成分を求め、各ブロック内の画素については同じフレア成分を除去するようにするとよい。画素の選び方は、予め決めておいても良いし、各ブロックの中の輝度信号が最も大きい画素を選ぶようにしても良い。
【００５２】
本発明は、電子撮像素子の画素ピッチの最小値ｐが１. ０×１０^-6＜ｐ／ｆＬ＜１. ０×１０^-3の範囲内にあるときに最も効果がある。
なお、結像光学系は屈折光学素子と回折光学素子だけでなく、反射光学素子を含んでも良い。また、フレア成分を求めるために、点像の強度分布ではなく、ｘ方向、ｙ方向、放射方向、正接方向などの方向を向いた線状物体の結像光学系により形成される拡がった像（線像）の強度分布を用いても良い。また、回折面の不要次数光によるが面全体に及ぶ一様なフレア成分を除去するための電気的手段との組合せも良い。回折面は、その回折光のうち本来の結像に寄与する１つの特定次数のみ４００ｎｍから７００ｎｍの可視波長域で回折効率が５０％以上になる波長を有するのがフレア防止上好ましい。回折面は回折光を発生させる溝が閉ループ状に形成されていることが望ましい。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の全体構成を示す図である。
【図２】本発明の第１の実施の形態の結像光学系の断面図である。
【図３】図３に示した結像光学系の収差図である。
【図４】本発明の第１の実施の形態の信号処理手段の内部構成を示す図である。
【図５】各次数の点像強度分布を示す図である。
【図６】本発明の第１の実施の形態のＣＰＵで行なわれるフレア除去演算のフローチャートである。
【図７】本発明の第２の実施の形態の全体構成を示す図である。
【図８】回折面の回折効率の波長依存性を示す図である。
【図９】本発明の第２の実施の形態の信号処理手段の内部構成を示す図である。
【図１０】像面を複数のゾーンに分ける態様を示す図である。
【図１１】絞り値で補正された点像強度分布を示す図である。
【図１２】結像光学系から像面に至る光を模式的に描いた図である。
【図１３】近似的な点像強度分布関数を示す図である。

Claims

対象物の像を形成する結像光学系と、この像を受けて像を表わす電気信号に変換する電子撮像素子と、この電子撮像素子から得られる信号をディスプレイ装置などの出力手段に表示可能な映像信号に変換する信号処理手段とを備え、前記結像光学系が回折面を含み、前記信号処理手段が画質を向上させるための画像処理手段を含み、前記画像処理手段が、前記結像光学系によって形成される前記回折面において発生する不要次数光の点像の強度分布Ｐ(x,y) および前記電子撮像素子上の物体像の強度分布を用いて前記回折面で発生する不要次数光に基づくフレア成分を算出し、除去する回路手段であり、前記結像光学系によって形成される不要次数光の点像の強度分布Ｐ (x,y) を記憶する記憶手段と、前記電子撮像素子から得られる物体像を表わす信号Ｉ (x,y) と前記記憶手段に記憶された点像の強度分布Ｐ (x,y) とのコンボリューションを演算してフレア成分を求める手段と、前記物体像を表わす信号から前記フレア成分を減算する手段とを含む電子撮像装置。
前記電子撮像装置が前記物体像を表わす信号を３つの色成分信号として前記画像処理手段に供給するための手段を含み、前記画像処理手段が複数の色成分信号について前記回折面の不要次数光成分を含んだフレア成分を除去する処理を行なう請求項１に記載の電子撮像装置。
前記結像光学系は回折効率が５００ｎｍから５５０ｎｍの波長範囲内において回折効率が最大となる回折面を含み、前記画像処理手段が青信号成分と赤信号成分に対して不要次数光成分を含んだフレア成分を除去する処理を行なう請求項２に記載の電子撮像装置。
前記結像光学系は回折効率が５００ｎｍ以下の可視波長範囲内において回折効率が最大となる回折面を含み、前記画像処理手段が赤信号成分に対して不要次数光成分を含んだフレア成分を除去する処理を行なう請求項２に記載の電子撮像装置。
前記結像光学系は回折効率が５５０ｎｍ以上の可視波長範囲内において回折効率が最大となる回折面を含み、前記画像処理手段が青信号成分に対して不要次数光成分を含んだフレア成分を除去する処理を行なう請求項２に記載の電子撮像装置。
前記結像光学系の開放Ｆ値をＦ₀ 、絞り込んだ状態のＦ値をＦ₁ としたとき、前記記憶手段にはＦ₀ の状態の点像の強度分布が記憶されており、前記画像処理手段では前記点像の強度分布の両側からそれぞれ子午断面または球欠断面の断面積のパーセンテージで（１−Ｆ₀ ／Ｆ₁ ）×１００／２に相当する部分を削除し、その上で断面積を１にするためにＦ₁ ／Ｆ₀ を掛けて得られる関数を絞り値Ｆ₁ の状態における点像の強度分布として、フレア成分を除去する演算を行なう請求項１に記載の電子撮像装置。
物体像を像高に応じて複数の輪帯状のゾーンに分割し、前記記憶手段は各ゾーンに対してそのゾーンに中から選択した代表像高の点像の強度分布を記憶している請求項６に記載の電子撮像装置。
前記回折面が、回折光を発生させるための閉ループ状に形成された溝を有する請求項１乃至７のいずれかに記載の電子撮像装置。