JPH11122539A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH11122539A
JPH11122539A JP9285276A JP28527697A JPH11122539A JP H11122539 A JPH11122539 A JP H11122539A JP 9285276 A JP9285276 A JP 9285276A JP 28527697 A JP28527697 A JP 28527697A JP H11122539 A JPH11122539 A JP H11122539A
Authority
JP
Japan
Prior art keywords
image
signal
imaging
electronic
flare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9285276A
Other languages
English (en)
Other versions
JP4004117B2 (ja
Inventor
Kazuyuki Tanaka
田中一幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP28527697A priority Critical patent/JP4004117B2/ja
Priority to US09/088,366 priority patent/US6452635B1/en
Publication of JPH11122539A publication Critical patent/JPH11122539A/ja
Application granted granted Critical
Publication of JP4004117B2 publication Critical patent/JP4004117B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 【課題】 不要な次数の回折光による光学性能の低下を
電気的に高速かつ高精度に軽減し、高精度な撮像装置 【解決手段】 結像光学系１と、撮像素子３と、得られ
た信号を表示可能な映像信号に変換する信号処理手段４
とを備えた撮像装置であり、結像光学系１は回折面を含
み、映像信号に変換された像の中で像形成に不要な次数
の回折像を低減するために、信号処理手段４が、不要次
数光の点像強度分布を記憶する手段６と、撮像素子３か
ら得られる電子信号からある一定値より高い強度を持つ
電気信号を選別し、選別された電子信号からなる物体像
と不要次数光の点像強度分布とのコンボリューションを
演算してフレアー信号を求める手段８と、フレアー信号
を用いて物体像を表す信号からそのフレアー信号を除去
又は低減する手段９とを有する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、撮像装置に関し、
特に、回折型光学素子を含む結像光学系により形成され
た対象物の像を電子撮像素子で電気信号に変換し、さら
にその電気信号を表示可能な映像信号に変換する信号処
理手段を備えた撮像装置に関する。
【０００２】
【従来の技術】回折型光学素子には、複数の回折次数の
光を用いて光路を分岐させる作用や、輪帯状の回折格子
で回折光を集光させる作用等を有することが知られてい
る。例えば集光作用を有するように構成された回折型光
学素子は、非球面波を容易に生成することができるた
め、収差補正上大きな効果があること、また、実質的に
厚みを持たない素子であるから、構成上の自由度が高
く、コンパクトな光学系に有効であること、さらに、分
散特性として屈折レンズでいうアッべ数に相当する量が
負の値となるため、屈折光学系との組み合わせにより、
色収差の補正に大きな効果があること等が知られてい
る。このような特徴を利用し、光学系の性能を向上させ
ることに関しては、例えば、Binary Optics Technolog
y:The Theory andDesign of Multi-Level Diffractive
Optical Element,Gary J.Swanson,Technology Report 8
54,MIT Lincoln Laboratory,August 1989.に詳しい記述
がある。さらに、このような回折型光学素子を結像レン
ズとして含む従来例としては、特開平６−３３１９４１
号や特開平６−３２４２６２号等のものが知られてい
る。
【０００３】また、回折型光学素子を複数の回折次数の
光を用いて光路を分岐させる作用として利用した従来例
としては、電子撮像素子のモアレ除去のためのローパス
フィルターとして利用した特開平４−９８０３号等や、
色分解光学系として利用した特許公報第２，５２４，５
６９号等が知られている。
【０００４】一方、一般に、回折型光学素子に入射した
光は複数の次数の回折光に分解されるが、例えば回折型
光学素子をレンズ素子として構成する場合等は、この複
数の次数の回折光が存在することは複数の焦点が存在す
ることに相当し、結像光学系としては特殊な場合を除き
好ましいことではない。
【０００５】このように特定の次数の回折光を利用して
光学系を構成する目的に対して、それ以外の次数の回折
光が悪影響を与える場合等には、特定の次数以外の回折
光を除去する必要がある。そのような課題に対して、図
１に断面を示すように、回折のためのレリーフパターン
Ａの断面形状を鋸歯状とする（ブレーズ化する）ことに
より、特定の次数の回折光にエネルギを集中させ、他の
次数の回折光を発生させないようにすることが知られて
いる。
【０００６】
【発明が解決しようとする課題】しかしながら、図１の
ように断面形状を鋸歯状に加工したとしても、鋸歯形状
の溝の深さによって、エネルギを最大限に集中できる波
長（以下、最適化波長と称する。）が異なり、波長幅を
有する帯域光のエネルギを特定次数の回折光に集中させ
ることは不可能である。このような現象は、例えばレー
ザ光のような単色光源を利用する場合等では問題になら
ないが、例えばカメラのように白色光を利用する撮像装
置等では、最適化波長以外の波長において回折効率が低
下し、他の次数の回折光にエネルギが分散するという問
題が生じていた。
【０００７】図２は、図１の断面形状を有する回折型光
学素子について、使用する１次回折効率と波長の関係を
示したものである。ここで、レリーフパターンは波長λ
＝５３０ｎｍにおいて１次回折光が１００％となるよう
に溝深さを決め、ガラスＢＫ７の基材に形成したもので
ある。図２に示した波長帯域は、一般的に可視波長領域
と見なせるλ＝４００ｎｍからλ＝７００ｎｍである
が、回折効率は最適化波長λ＝５３０ｎｍから離れるに
従って低下する。
【０００８】さらに、この例において、０次回折効率及
び２次回折効率と波長の関係を図３に示す。図３に示す
ように、１次回折光が低下する短波長、長波長領域にお
いて、０次回折光と２次回折光が増加していることが分
かる。
【０００９】このような回折型光学素子を、例えばカメ
ラのような白色光を対象とするレンズ素子として用いる
と、利用する特定回折光以外の次数の回折光が色付きを
持ったフレアーやゴーストとなり、結像性能を低下させ
る原因となる。
【００１０】この例のように、結像レンズによる像形成
を利用した撮像装置に回折型光学素子を用いる場合、最
適化波長以外の波長に対して、利用する特定回折次数光
以外の次数の回折光によるフレアー像を除去若しくはそ
の影響を低減させる必要がある。
【００１１】本発明はこのような状況に鑑みてなされた
ものであり、その目的は、回折型光学素子の最適化波長
以外の波長に対して、利用に不要な次数の回折光による
光学性能の低下を電気的に高速かつ高精度に軽減し、高
精度な撮像装置を得ることである。
【００１２】
【課題を解決するための手段】上記目的を達成する本発
明の撮像装置は、対象物の像を形成する結像光学系と、
この像を受けて電気信号に変換する電子撮像素子と、該
電子撮像素子から得られる信号を表示可能な映像信号に
変換する信号処理手段とを備えた撮像装置において、前
記結像光学系は、結像作用又は結像性能を向上させる作
用を有する回折面を含み、前記映像信号に変換された像
の中で像形成に不要な次数の回折像を低減するために、
前記信号処理手段が、不要次数光の点像強度分布を記憶
する手段と、前記電子撮像素子から得られる電子信号か
らある一定値より高い強度を持つ電気信号を選別し、選
別された電子信号からなる物体像と不要次数光の点像強
度分布とのコンボリューションを演算してフレアー信号
を求める手段と、前記フレアー信号を用いて物体像を表
す信号からそのフレアー信号を除去又は低減する手段と
を有することを特徴とするものである。
【００１３】上記構成の作用について説明する。本発明
の撮像装置は、対象物の像を形成する結像光学系と、こ
の像を受けて電気信号に変換する電子撮像素子と、その
電子撮像素子から得られる信号を表示可能な映像信号に
変換する信号処理手段とを備えた撮像装置において、そ
の結像光学系が、少なくとも１枚の回折型光学素子を含
み、その回折型光学素子は結像作用若しくは他のレンズ
要素との組み合わせにより結像性能を向上させる作用を
有し、不要な次数の回折光の影響によるフレアーを低減
するために、映像信号を電気的に処理する手段を備えた
ことを特徴としている。
【００１４】回折型光学素子の最適波長を５３０ｎｍ付
近に設定する場合、図３に示すように、最適化波長から
離れるに従って不要次数光の回折効率が高くなってく
る。この不要次数光の回折効率の上昇が画質の劣化に影
響するのは、次のような理由である。結像レンズに用い
られた回折型光学素子は、収差補正がなされるように特
定の次数において最適なパワーを有している。ところ
が、設計に用いた次数以外の不要次数光の回折角は、設
計次数のそれと異なるため、大きな収差を発生する。こ
れがフレアーの原因である。
【００１５】不要次数光のフレアー像の点像分布強度は
予め分かっているので、この不要次数光の点像強度分布
を用いて結像した物体像とコンボリューションをとれ
ば、画質劣化の原因となるフレアー像が得られる。得ら
れたフレアー像を用いて、撮像した画像からフレアーを
除去又は低減すれば、フレアー像のないクリアーな画像
が得られる。
【００１６】ここで、設計次数の回折効率に比べ、不要
次数光の回折効率は低いので、不要次数光によるフレア
ー像は主に輝度の高い物体から発生することが多い。し
たがって、フレアー像を求めるためのコンボリューショ
ン演算は、結像した物体像の中でも、映像信号レベルの
高い画素についてだけ演算をするのが望ましい。このよ
うにすれば、計算する画素数が少なくなり、計算時間の
短縮になる。物体像からその演算で得られたフレアーを
減算すれば、画質劣化の少ない映像が得られる。
【００１７】コンボリューションは次の式で表される。 Ｑ（ｘ，ｙ）＝∬Ｉｍｇ（ｘ＋ｕ，ｙ＋ｖ）×ＰＳＦ（ｕ，ｖ）ｄｕｄｖ ・・・（１） ここで、Ｑ（ｘ，ｙ）：位置（ｘ，ｙ）における不要次
数光の像の強度 Ｉｍｇ（ｘ，ｙ）：位置（ｘ，ｙ）における設計次数光
の像強度 ＰＳＦ（ｕ，ｖ）：不要次数光の点像強度分布 ｘ：物体像の水平方向座標 ｙ：物体像の垂直方向座標 ｕ：点像強度分布の水平方向座標 ｖ：点像強度分布の垂直方向座標 である。形成された像は撮像素子によって離散的にサン
プリングされるので、コンボリューションは次のような
式で表される。
【００１８】 Ｑ（ｉ，ｊ）＝Σm Σn Ｉｍｇ（ｉ＋ｍ，ｊ＋ｎ）×ＰＳＦ（ｍ，ｎ） ・・・（２） ここで、ｉ：物体像の水平方向画素番号 ｊ：物体像の垂直方向画素番号 ｕ：点像強度分布の水平方向画素番号 ｖ：点像強度分布の垂直方向画素番号 である。この式（２）から分かるように、コンボリュー
ションの計算時間は、画面の画素数と点像強度分布のサ
イズの積に比例するので、画素全体のコンボリューショ
ン演算にはかなりの計算時間を要する。したがって、計
算時間を短縮するには、画素数を少なくするのが望まし
い。そこで、上記のように、映像信号レベルの高い画素
についてのみ演算をすることにより、計算時間が短くな
り、高速かつ高精度に不要次数光によるフレアー像を除
去することができクリアーな画像が得られる。
【００１９】ここで、コンボリューションを行う画素の
選別の基準として、映像信号強度の最大値の３０％〜９
０％の範囲内の一定値とするのが望ましい。下限値の３
０％を越えると、計算処理する画素数が増えるため、処
理時間が増大する。一方、上限の９０％を越えると、計
算処理する画素数が少なくなりすぎるため、十分な精度
でフレアー像を計算予測することができず、フレアー除
去効果が薄くなる。
【００２０】本発明のもう１つの撮像装置は、対象物の
像を形成する結像光学系と、この像を受けて電気信号に
変換する電子撮像素子と、該電子撮像素子から得られる
信号を表示可能な映像信号に変換する信号処理手段とを
備えた撮像装置において、前記結像光学系は、結像作用
又は結像性能を向上させる作用を有する回折面を含み、
前記映像信号に変換された像の中で像形成に不要な次数
の回折像を低減するために、前記撮像装置が略同時に露
出の異なる複数枚の物体像を撮像し、前記信号処理手段
が、不要次数光の点像強度分布を記憶する手段と、前記
の複数枚の物体像の１つあるいは複数から得られる電気
信号から一定値より高い強度を持つ電気信号を選別し、
選別された電気信号を有する物体像と不要次数光の点像
強度分布とのコンボリューションを演算してフレアー信
号を求める手段と、前記フレアー信号を用いて物体像を
表す信号からそのフレアー信号を除去又は低減する手段
とを有することを特徴とするものである。
【００２１】上記構成の作用について説明する。通常、
撮像素子はある一定のダイナミックレンジしか持ってい
ない。このため、ダイナミックレンジを越えた輝度を有
する物体が画面内にあると、撮像素子から得られる映像
信号は正確な情報を示さない。コンボリューション演算
をする際、物体像の映像信号強度が正確でないと、得ら
れるフレアー像も正確でなくなる。ダイナミックレンジ
を越えた物体に対して、正確な映像信号強度を得るに
は、最適露光量で撮像した画像とは別に、露光量を小さ
くした映像を撮像しておくのが好ましい。また、両者の
撮像範囲を同じくするために、ほぼ同時に撮像すること
が望ましい。
【００２２】また、露出の異なる複数枚の画像を合成し
て、ダイナミックレンジの広い画像を作ると、計算時間
が簡単になり、処理速度が向上し、好ましい。ここで、
この点を図４を参照にして説明する。いま、カメラ系が
信号強度１から２５６までしか表現できないような限ら
れた狭いダイナミックレンジを持っているとする。図４
（ａ）は狭いダイナミックレンジを越えた物体像の強度
分布である。
【００２３】まず、強度２５６又は５１２を越えた画素
の強度が狭いダイナミックレンジ内に収まるように露出
量を１／２倍又は１／４倍して、２５６より小さい値で
表現できるように撮影する。次に、係数倍された画素の
中で、２５６以上及び１２７以下の信号を０に変換する
と、図４（ｂ）のような分布になる。
【００２４】図４（ｂ）は図４（ｃ）に示した３つの分
布のように表すことができ、これは図４（ａ）に対応す
る。次に、狭いダイナミックレンジ内で表現された各信
号と不要次数光の点像強度分布とのコンボリューション
演算を行い、得られた信号をそれぞれ１倍、２倍、４倍
して足し合わせて得られた信号（図４（ｃ）には強度分
布を係数倍して足し合わせるように表現してあるが、実
際には各々コンボリューション演算をした後に足し合わ
せる。）は、広いダイナミックレンジの信号とコンボリ
ューション演算したことと等価である。以上の一連の操
作を図５のフローチャートに示す。
【００２５】また、フレアー像を求める計算を簡略化
し、記憶容量を小さくするために、露出の異なる複数枚
の画像の中、露出時間の短い画像をコンボリューション
計算に用いることが好ましい。
【００２６】本発明のさらにもう１つの撮像装置は、対
象物の像を形成する結像光学系と、この像を受けて電気
信号に変換する電子撮像素子と、該電子撮像素子から得
られる信号を表示可能な映像信号に変換する信号処理手
段とを備えた撮像装置において、前記結像光学系は、結
像作用又は結像性能を向上させる作用を有する回折面を
含み、前記映像信号に変換された像の中で像形成に不要
な次数の回折像を低減するために、前記信号処理手段
が、不要次数光の点像強度分布を記憶する手段と、前記
電子撮像素子から得られる電子信号からある一定値より
高い強度を持つ電気信号を選別し、選別された電子信号
からなる物体像と不要次数光の点像強度分布とのコンボ
リューションを演算する際、物体像の解像度を落として
フレアー信号を求める演算を行い、前記フレアー信号を
用いて物体像を表す信号からそのフレアー信号を除去又
は低減する手段とを有することを特徴とするものであ
る。
【００２７】本発明のさらに別の撮像装置は、対象物の
像を形成する結像光学系と、この像を受けて電気信号に
変換する電子撮像素子と、該電子撮像素子から得られる
信号を表示可能な映像信号に変換する信号処理手段とを
備えた撮像装置において、前記結像光学系は、結像作用
又は結像性能を向上させる作用を有する回折面を含み、
前記映像信号に変換された像の中で像形成に不要な次数
の回折像を低減するために、前記信号処理手段が、不要
次数光の点像強度分布を記憶する手段と、前記電子撮像
素子から得られる電子信号から一定値より高い電気信号
を有する物体像と不要次数光の点像強度分布とのコンボ
リューションを演算する際に、物体像の解像度を落とし
てフレアー信号を求める演算を行い、得られたフレアー
信号の解像度を元に戻し、前記フレアー信号を用いて物
体像を表す信号からそのフレアー信号を除去又は低減す
る手段とを有することを特徴とするものである。
【００２８】上記構成の作用について説明する。コンボ
リューションは前記の式（１）で表され、前記の（２）
式のようになる。この（２）式から分かるように、コン
ボリューションの計算時間は、画面のサイズと点像強度
分布のサイズの積に比例するので、画面全体のコンボリ
ューション演算にはかなりの計算時間を要する。したが
って、計算時間を短縮するには、画面サイズ又は点像強
度分布のサイズを小さくするのが望ましい。
【００２９】不要次数光は像面で焦点を結ばないから、
不要次数光の点像強度分布は、設計次数光の点像強度分
布と比べると大きい。したがって、物体像の解像度を落
としてもフレアー像の写りはおおよそ変わらない。ここ
でいう解像度とは、画面のサンプリング間隔のことをい
う。コンボリューションの演算をする際、物体像の解像
度を落として計算すると、画素数が減り、処理時間が短
縮されて好ましい。また、同時に、点像強度分布の解像
度を物体像の解像度と同じにすると、コンボリューショ
ン演算処理が簡略化され、さらに好ましい。また、演算
で得られた像の解像度を元の解像度に戻すと、フレアー
像の除去又は低減する演算が簡単になり好ましい。
【００３０】以上の撮像装置において、電子信号処理手
段でコンボリューションを演算する際、撮像したときの
光源に関わらず同一の光源の下で計算された点像強度分
布を用いることが好ましい。不要次数光の点像強度分布
は、結像レンズの状態、回折次数、回折効率、物体位
置、光源の分光分布で決定される。この中、結像レンズ
の撮影状態、つまり、焦点距離や開口比や光源の分光分
布が異なってくるが、不要次数光の点像強度分布は大き
な広がりを有しているので、カメラ内で使われる記憶容
量を節約するために、代表的な焦点距離や、開口比、単
一の光源を用いて計算された、又は、複数の光源による
分光特性で最適化された少ない数の点像強度分布を記憶
させておいて用いるのが好ましい。
【００３１】また、以上の撮像装置において、電気信号
処理手段でコンボリューションを演算する際、結像レン
ズの状態と像高に応じた点像強度分布を複数有し、任意
の像高の点像強度分布は隣接する複数の点像強度分布か
ら近似計算することが好ましい。画面内に写り込む物体
の物体距離は様々であることや、撮影条件の違い、像高
によって点像強度分布が異なることから、多数の点像強
度分布をカメラが記憶するのが好ましいが、記憶容量を
節約するために、代表的な撮影状態における各像高の点
像強度分布を記憶させておくのが望ましい。また、記憶
容量を節約するために、撮影状態毎や像高毎の点像強度
分布の数を少なくするのが望ましい。このとき、任意の
撮影状態や像高の点像強度分布は、隣り合った複数の点
像強度分布から近似計算するのが望ましい。
【００３２】また、以上の撮像装置で、電気信号処理手
段において、点像強度分布を表現する解像度を、物体像
の解像度より落とし、コンボリューションを演算する
際、点像強度分布を表現する解像度を物体像の解像度と
等しくするために、何れかの強度データを近似計算する
ことが好ましい。すなわち、記憶容量を節約するため
に、点像強度分布を表現する格子の数を少なくしておく
のが望ましい。また、格子の数を少なくしておいた点像
強度分布の解像度と物体像の解像度を同じにするため
に、何れかの強度分布を補間計算し、両者の解像度を等
しくしておくのが望ましい。
【００３３】また、以上の撮像装置で、電気信号処理手
段において、コンボリューションを演算する際、点像強
度分布を、物体像の画面を中心に回転させながら演算す
ることが望ましい。一般に、結像レンズは光軸に対し軸
対称に収差が発生する。したがって、不要次数光による
フレアーもまた光軸に対して軸対称に発生する。コンボ
リューションを演算する際に、フレアー像を正確に計算
するために、不要次数光の点像強度分布を画面を中心に
点対称に回転させながら計算するのが望ましい。
【００３４】
【発明の実施の形態】以下に、本発明の１実施例の撮像
装置を説明する。図６はこの実施例の全体のブロック図
である。図中、１は結像光学系、２はカメラ部で、その
内部に固体撮像素子３と、信号処理手段４と、センサ駆
動回路５と、メモリ６とを備えており、信号処理手段４
は、選別回路７、コンボリューション演算回路８、フレ
アー画像合成回路９、減算回路１０を備えている。ま
た、処理された画像はディスプレイ・記録手段１１に出
力される。
【００３５】撮影対象物の像が結像光学系１により固体
撮像素子３の受光面上に形成される。カメラ部２は略瞬
時に露出の異なる２枚の画像を撮像する。１枚は適正露
出で撮像され、もう１枚は露出アンダーで撮像される。
固体撮像素子３はこれらの像を電気信号に変換して出力
する。固体撮像素子３から出力された２つの映像信号は
選別回路７に送信され、ここで選別された画素の信号と
メモリ６に記憶されていた不要次数光の点像強度分布と
を用いてコンボリューション演算回路８でコンボリュー
ション演算を行う。その際、計算処理時間の短縮を図る
ために、映像信号の最大値の８０％以上の信号強度を持
つ画素を選別して演算が行われる。次に、フレアー画像
合成回路９で２つの映像信号からコンボリューション演
算により得られたフレアー画像を合成する。次に、減算
回路１０で適正露出で撮像された画像からフレアー画像
合成回路９で合成されたフレアー画像を減算する処理を
行い、フレアー像のないクリアーな画像が得られる。信
号処理手段４から出力された映像信号は、ディスプレイ
・記録手段１１に出力され、ディスプレイに表示された
り、あるいは、記録装置に記録される。
【００３６】信号処理手段４について詳しく説明する。
信号処理手段４に大きく分けてフレアー像を求めるため
のコンボリューション演算部分８とフレア像を減算する
部分９からなっている。コンボリューションは次の式で
与えられることは知られている通りである。
【００３７】ある位置（ｘ，ｙ）における像の強度Ｑ
（ｘ，ｙ）は、 Ｑ（ｘ，ｙ）＝∬Ｉｍｇ（ｘ＋ｕ，ｙ＋ｖ）×ＰＳＦ（ｕ，ｖ）ｄｕｄｖ ・・・（１） で表される。形成された像は撮像素子３によって離散的
にサンプリングされるので、コンボリューションは次の
ような式で表される。
【００３８】 Ｑ（ｉ，ｊ）＝Σm Σn Ｉｍｇ（ｉ＋ｍ，ｊ＋ｎ）×ＰＳＦ（ｍ，ｎ） ・・・（２） コンボリューション演算部分８では、露出アンダー画像
と点像強度分布を用いる。露出アンダー画像は一旦解像
度を落とすと画素数が減るので、処理速度が向上し好ま
しい。メモリ６記憶容量を節約するために、点像強度分
布（ＰＳＦ）は例えば次の表のように設定する。
【００３９】 任意のＦｎｏ．で任意の像高のＰＳＦは次の式で表され
る。
【００４０】 ＰＳＦ＝ｋ1 ×ｋ2 ×ＰＳＦi,j ＋（１−ｋ1 ）×ｋ2 ×ＰＳＦi+1,j ＋ｋ1 ×（１−ｋ2 ）×ＰＳＦi,j+1 ＋（１−ｋ1 ）×（１−ｋ2 ）×ＰＳＦi+1,j+1 ・・・（３） ここで、ｉ＝〔ｉｎｕｍ−１〕×ｒ／ｒ0 ｋ1 ＝（ｉｎｕｍ−１）×ｒ−ｉ ｊ＝〔ｆｎｕｍ−１〕×ρ ｋ2 ＝（ｆｎｕｍ−１）×ρ−ｊ ρ＝（Ｆｎｏ−Ｆｎｏｍｉｎ）／（Ｆｎｏｍａｘ−Ｆｎ
ｏｍｉｎ） ｒ：画面中心から点（ｘ，ｙ）までの距離 ｒ0 ：画面中心から画面最周辺までの距離 Ｆｎｏ：光学系の開口比 Ｆｎｏｍｉｎ：光学系の開口比の最小値 Ｆｎｏｍａｘ：光学系の開口比の最大値 〔〕は〔〕内の値を越えない最大の整数を表す。
【００４１】例えば、Ｆｎｏ．４．０で像高比０．５の
点像強度分布は、ＰＳＦ13，ＰＳＦ14，ＰＳＦ23，ＰＳ
Ｆ24の平均値を使う。
【００４２】また、収差は光軸に対し点対称に発生する
ので、ＰＳＦは画面中心に対し回転させながら演算を行
うと、より高精度な演算結果が得られ好ましい。点像強
度分布をマトリクスで表わされるとし、このマトリクス
をＰとすると回転した点像強度分布を表わすマトリクス
Ｐ’は、 Ｐ’＝Ｒ（θ）×Ｐ ・・・（４） ここで、Ｒ（θ）：回転行列 となる。
【００４３】露出アンダーの画像を１画素おきにサンプ
リングして解像度を１／２に落とし、以上のような計算
処理を含むコンボリューション演算を、映像信号の最大
値の８０％以上の信号強度を持った画素についてのみ行
い、フレアー像を計算する。得られたフレアー像の解像
度を補間処理しながら２倍にし、適正露出で撮像された
画像から減算する。以上のような演算処理をＲ，Ｂの画
像に対して行うことで（Ｇの画像には不要次数が発生し
ない。）、フレアー像の少ないクリアーなカラー映像を
得ることができる。
【００４４】以上の本発明の撮像装置は、例えば次のよ
うに構成することができる。 〔１〕 対象物の像を形成する結像光学系と、この像を
受けて電気信号に変換する電子撮像素子と、該電子撮像
素子から得られる信号を表示可能な映像信号に変換する
信号処理手段とを備えた撮像装置において、前記結像光
学系は、結像作用又は結像性能を向上させる作用を有す
る回折面を含み、前記映像信号に変換された像の中で像
形成に不要な次数の回折像を低減するために、前記信号
処理手段が、不要次数光の点像強度分布を記憶する手段
と、前記電子撮像素子から得られる電子信号からある一
定値より高い強度を持つ電気信号を選別し、選別された
電子信号からなる物体像と不要次数光の点像強度分布と
のコンボリューションを演算してフレアー信号を求める
手段と、前記フレアー信号を用いて物体像を表す信号か
らそのフレアー信号を除去又は低減する手段とを有する
ことを特徴とする撮像装置。
【００４５】〔２〕 前記のある一定値が映像信号強度
の最大値の３０％〜９０％の範囲にあることを特徴とす
る上記〔１〕記載の撮像装置。
【００４６】〔３〕 対象物の像を形成する結像光学系
と、この像を受けて電気信号に変換する電子撮像素子
と、該電子撮像素子から得られる信号を表示可能な映像
信号に変換する信号処理手段とを備えた撮像装置におい
て、前記結像光学系は、結像作用又は結像性能を向上さ
せる作用を有する回折面を含み、前記映像信号に変換さ
れた像の中で像形成に不要な次数の回折像を低減するた
めに、前記撮像装置が略同時に露出の異なる複数枚の物
体像を撮像し、前記信号処理手段が、不要次数光の点像
強度分布を記憶する手段と、前記の複数枚の物体像の１
つあるいは複数から得られる電気信号から一定値より高
い強度を持つ電気信号を選別し、選別された電気信号を
有する物体像と不要次数光の点像強度分布とのコンボリ
ューションを演算してフレアー信号を求める手段と、前
記フレアー信号を用いて物体像を表す信号からそのフレ
アー信号を除去又は低減する手段とを有することを特徴
とする撮像装置。
【００４７】〔４〕 前記の露出の異なる複数枚の物体
像からダイナミックレンジの広い画像を求める手段を有
することを特徴とする上記〔３〕記載の撮像装置。
【００４８】〔５〕 前記の露出の異なる複数枚の物体
像の中、露出時間の短い画像と不要次数光の点像強度分
布のコンボリューション演算を行うことを特徴とする上
記〔３〕記載の撮像装置。
【００４９】〔６〕 対象物の像を形成する結像光学系
と、この像を受けて電気信号に変換する電子撮像素子
と、該電子撮像素子から得られる信号を表示可能な映像
信号に変換する信号処理手段とを備えた撮像装置におい
て、前記結像光学系は、結像作用又は結像性能を向上さ
せる作用を有する回折面を含み、前記映像信号に変換さ
れた像の中で像形成に不要な次数の回折像を低減するた
めに、前記信号処理手段が、不要次数光の点像強度分布
を記憶する手段と、前記電子撮像素子から得られる電子
信号からある一定値より高い強度を持つ電気信号を選別
し、選別された電子信号からなる物体像と不要次数光の
点像強度分布とのコンボリューションを演算する際、物
体像の解像度を落としてフレアー信号を求める演算を行
い、前記フレアー信号を用いて物体像を表す信号からそ
のフレアー信号を除去又は低減する手段とを有すること
を特徴とする撮像装置。
【００５０】〔７〕 対象物の像を形成する結像光学系
と、この像を受けて電気信号に変換する電子撮像素子
と、該電子撮像素子から得られる信号を表示可能な映像
信号に変換する信号処理手段とを備えた撮像装置におい
て、前記結像光学系は、結像作用又は結像性能を向上さ
せる作用を有する回折面を含み、前記映像信号に変換さ
れた像の中で像形成に不要な次数の回折像を低減するた
めに、前記信号処理手段が、不要次数光の点像強度分布
を記憶する手段と、前記電子撮像素子から得られる電子
信号から一定値より高い電気信号を有する物体像と不要
次数光の点像強度分布とのコンボリューションを演算す
る際に、物体像の解像度を落としてフレアー信号を求め
る演算を行い、得られたフレアー信号の解像度を元に戻
し、前記フレアー信号を用いて物体像を表す信号からそ
のフレアー信号を除去又は低減する手段とを有すること
を特徴とする撮像装置。
【００５１】〔８〕 前記電子信号処理手段において、
コンボリューションを演算する際、撮像したときの光源
に関わらず同一の光源の下で計算された点像強度分布を
用いることを特徴とする上記〔１〕、〔２〕、〔６〕又
は〔７〕記載の撮像装置。
【００５２】
〔９〕 前記電気信号処理手段において、
コンボリューションを演算する際、結像レンズの状態と
像高に応じた点像強度分布を複数有し、任意の像高の点
像強度分布は隣接する複数の点像強度分布から近似計算
することを特徴とする上記〔１〕、〔２〕、〔６〕又は
〔７〕記載の撮像装置。
【００５３】〔１０〕 前記電気信号処理手段におい
て、点像強度分布を表現する解像度を、物体像の解像度
より落とし、コンボリューションを演算する際、点像強
度分布を表現する解像度を物体像の解像度と等しくする
ために、何れかの強度データを近似計算することを特徴
とする上記〔１〕、〔２〕、〔６〕又は〔７〕記載の撮
像装置。
【００５４】〔１１〕 前記電気信号処理手段におい
て、コンボリューションを演算する際、点像強度分布
を、物体像の画面を中心に回転させながら演算すること
を特徴とする上記〔１〕、〔２〕、〔６〕又は〔７〕記
載の撮像装置。
【００５５】
【発明の効果】以上の説明から明らかなように、本発明
の撮像装置によると、電子撮像素子から得られる電子信
号からある一定値より高い強度を持つ電気信号を選別
し、選別された電子信号からなる物体像と不要次数光の
点像強度分布とのコンボリューションを演算してフレア
ー信号を求め、物体像を表す信号からそのフレアー信号
を除去又は低減するので、計算する画素数が少なくな
り、計算時間の短縮になる。そして、フレアー像による
劣化のないクリアーな画像が得られる。
【図面の簡単な説明】
【図１】ブレーズ化した回折型光学素子の断面図であ
る。
【図２】回折型光学素子の使用する１次回折効率と波長
の関係を示す図である。
【図３】回折型光学素子の不要次数である０次回折効率
及び２次回折効率と波長の関係を示す図である。
【図４】ダイナミックレンジに制限がある場合の信号処
理を説明するための図である。
【図５】図４の場合の一連の操作を示すフローチャート
である。
【図６】本発明の１実施例の撮像装置の全体のブロック
図である。
【符号の説明】
１…結像光学系 ２…カメラ部 ３…固体撮像素子 ４…信号処理手段 ５…センサ駆動回路 ６…メモリ ７…選別回路 ８…コンボリューション演算回路 ９…フレアー画像合成回路 １０…減算回路 １１…ディスプレイ・記録手段 Ａ…レリーフパターン

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 対象物の像を形成する結像光学系と、こ
    の像を受けて電気信号に変換する電子撮像素子と、該電
    子撮像素子から得られる信号を表示可能な映像信号に変
    換する信号処理手段とを備えた撮像装置において、 前記結像光学系は、結像作用又は結像性能を向上させる
    作用を有する回折面を含み、前記映像信号に変換された
    像の中で像形成に不要な次数の回折像を低減するため
    に、前記信号処理手段が、不要次数光の点像強度分布を
    記憶する手段と、前記電子撮像素子から得られる電子信
    号からある一定値より高い強度を持つ電気信号を選別
    し、選別された電子信号からなる物体像と不要次数光の
    点像強度分布とのコンボリューションを演算してフレア
    ー信号を求める手段と、前記フレアー信号を用いて物体
    像を表す信号からそのフレアー信号を除去又は低減する
    手段とを有することを特徴とする撮像装置。
  2. 【請求項２】 対象物の像を形成する結像光学系と、こ
    の像を受けて電気信号に変換する電子撮像素子と、該電
    子撮像素子から得られる信号を表示可能な映像信号に変
    換する信号処理手段とを備えた撮像装置において、 前記結像光学系は、結像作用又は結像性能を向上させる
    作用を有する回折面を含み、前記映像信号に変換された
    像の中で像形成に不要な次数の回折像を低減するため
    に、前記撮像装置が略同時に露出の異なる複数枚の物体
    像を撮像し、前記信号処理手段が、不要次数光の点像強
    度分布を記憶する手段と、前記の複数枚の物体像の１つ
    あるいは複数から得られる電気信号から一定値より高い
    強度を持つ電気信号を選別し、選別された電気信号を有
    する物体像と不要次数光の点像強度分布とのコンボリュ
    ーションを演算してフレアー信号を求める手段と、前記
    フレアー信号を用いて物体像を表す信号からそのフレア
    ー信号を除去又は低減する手段とを有することを特徴と
    する撮像装置。
  3. 【請求項３】 対象物の像を形成する結像光学系と、こ
    の像を受けて電気信号に変換する電子撮像素子と、該電
    子撮像素子から得られる信号を表示可能な映像信号に変
    換する信号処理手段とを備えた撮像装置において、 前記結像光学系は、結像作用又は結像性能を向上させる
    作用を有する回折面を含み、前記映像信号に変換された
    像の中で像形成に不要な次数の回折像を低減するため
    に、前記信号処理手段が、不要次数光の点像強度分布を
    記憶する手段と、前記電子撮像素子から得られる電子信
    号からある一定値より高い強度を持つ電気信号を選別
    し、選別された電子信号からなる物体像と不要次数光の
    点像強度分布とのコンボリューションを演算する際、物
    体像の解像度を落としてフレアー信号を求める演算を行
    い、前記フレアー信号を用いて物体像を表す信号からそ
    のフレアー信号を除去又は低減する手段とを有すること
    を特徴とする撮像装置。
JP28527697A 1997-10-17 1997-10-17 撮像装置 Expired - Fee Related JP4004117B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP28527697A JP4004117B2 (ja) 1997-10-17 1997-10-17 撮像装置
US09/088,366 US6452635B1 (en) 1997-10-17 1998-06-02 Image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28527697A JP4004117B2 (ja) 1997-10-17 1997-10-17 撮像装置

Publications (2)

Publication Number Publication Date
JPH11122539A true JPH11122539A (ja) 1999-04-30
JP4004117B2 JP4004117B2 (ja) 2007-11-07

Family

ID=17689425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28527697A Expired - Fee Related JP4004117B2 (ja) 1997-10-17 1997-10-17 撮像装置

Country Status (2)

Country Link
US (1) US6452635B1 (ja)
JP (1) JP4004117B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362895B2 (en) 2003-10-31 2008-04-22 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
US7489345B2 (en) 2003-10-31 2009-02-10 Canon Kabushiki Kaisha Image processing apparatus, image-taking system, image processing method and image processing program
JP2009141813A (ja) * 2007-12-07 2009-06-25 Panasonic Corp 撮像装置、カメラ、車両及び撮像方法
WO2009081533A1 (ja) * 2007-12-21 2009-07-02 Panasonic Corporation フレア補正装置
WO2010032409A1 (ja) * 2008-09-17 2010-03-25 パナソニック株式会社 画像処理装置、撮像装置、評価装置、画像処理方法及び光学系評価方法
JP2011210061A (ja) * 2010-03-30 2011-10-20 Nikon Corp 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2014165833A (ja) * 2013-02-27 2014-09-08 Nikon Corp 画像処理装置、撮像装置、画像処理プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7163263B1 (en) * 2002-07-25 2007-01-16 Herman Miller, Inc. Office components, seating structures, methods of using seating structures, and systems of seating structures
JP2008177064A (ja) 2007-01-19 2008-07-31 Hitachi High-Technologies Corp 走査型荷電粒子顕微鏡装置および走査型荷電粒子顕微鏡装置で取得した画像の処理方法
KR101640456B1 (ko) * 2010-03-15 2016-07-19 삼성전자주식회사 디스플레이 패널의 각 픽셀들의 개구부를 통해 촬영하는 촬영 장치 및 방법
JP5409829B2 (ja) * 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
US9436980B2 (en) * 2012-10-10 2016-09-06 Microsoft Technology Licensing, Llc Reducing ghosting and other image artifacts in a wedge-based imaging system
WO2020215200A1 (en) 2019-04-23 2020-10-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for removing flare in images
EP4189954A4 (en) * 2021-02-05 2024-01-17 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND ASSOCIATED CONTROL METHOD

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0323415A (ja) * 1989-06-20 1991-01-31 Canon Inc 光学的ローパスフィルター
JPH049803A (ja) 1990-04-27 1992-01-14 Kuraray Co Ltd 回折格子
JP2921163B2 (ja) * 1991-04-08 1999-07-19 キヤノン株式会社 光学的ローパスフィルターを有した撮像装置
JPH04321377A (ja) 1991-04-22 1992-11-11 Konica Corp カラー画像読み取り装置
JP2524569B2 (ja) 1991-11-20 1996-08-14 キヤノン株式会社 カラ―画像読取装置
JPH06324262A (ja) 1993-05-11 1994-11-25 Olympus Optical Co Ltd 撮像光学系
JPH06331941A (ja) 1993-05-19 1994-12-02 Olympus Optical Co Ltd 投影レンズ系
JPH07128590A (ja) * 1993-10-29 1995-05-19 Olympus Optical Co Ltd 縮小投影レンズ
JP4076242B2 (ja) * 1995-12-26 2008-04-16 オリンパス株式会社 電子撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362895B2 (en) 2003-10-31 2008-04-22 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
US7489345B2 (en) 2003-10-31 2009-02-10 Canon Kabushiki Kaisha Image processing apparatus, image-taking system, image processing method and image processing program
US7764319B2 (en) 2003-10-31 2010-07-27 Canon Kabushiki Kaisha Image processing apparatus, image-taking system, image processing method and image processing program
JP2009141813A (ja) * 2007-12-07 2009-06-25 Panasonic Corp 撮像装置、カメラ、車両及び撮像方法
JP4571179B2 (ja) * 2007-12-07 2010-10-27 パナソニック株式会社 撮像装置
WO2009081533A1 (ja) * 2007-12-21 2009-07-02 Panasonic Corporation フレア補正装置
WO2010032409A1 (ja) * 2008-09-17 2010-03-25 パナソニック株式会社 画像処理装置、撮像装置、評価装置、画像処理方法及び光学系評価方法
JP4531853B2 (ja) * 2008-09-17 2010-08-25 パナソニック株式会社 画像処理装置、撮像装置、及び評価装置
JPWO2010032409A1 (ja) * 2008-09-17 2012-02-02 パナソニック株式会社 画像処理装置、撮像装置、及び評価装置
US8346010B2 (en) 2008-09-17 2013-01-01 Panasonic Corporation Image processing device, imaging device, evaluation device, image processing method, and optical system evaluation method
JP2011210061A (ja) * 2010-03-30 2011-10-20 Nikon Corp 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2014165833A (ja) * 2013-02-27 2014-09-08 Nikon Corp 画像処理装置、撮像装置、画像処理プログラム

Also Published As

Publication number Publication date
JP4004117B2 (ja) 2007-11-07
US6452635B1 (en) 2002-09-17

Similar Documents

Publication Publication Date Title
JP4076242B2 (ja) 電子撮像装置
US6833873B1 (en) Image pickup apparatus
JP4004117B2 (ja) 撮像装置
US6859229B1 (en) Image pickup apparatus
US8350948B2 (en) Image device which bypasses blurring restoration during a through image
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US6882368B1 (en) Image pickup apparatus
JP5000413B2 (ja) 撮像システム及び画像信号処理プログラム
US9071737B2 (en) Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
US11388383B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
US20100045825A1 (en) Image Apparatus and Image Processing Method
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
JP2002135796A (ja) 撮像装置
JPWO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
US6885404B1 (en) Image pickup apparatus
EP3700185B1 (en) Information processing device, information processing method, imaging device, and program
JP5653464B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9995931B2 (en) Method for correcting contour distortions of lenses
JP2000069488A (ja) デジタルカメラおよび画像信号処理用記憶媒体
JP2001078212A (ja) 撮像装置
US20220159191A1 (en) Image pickup apparatus
US8736722B2 (en) Enhanced image capture sharpening
JP2014150421A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US20180109720A1 (en) Image processing apparatus, image processing method, and storage medium
US20100245654A1 (en) Image pickup device, image reproducing device, and image pickup method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130831

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees