JP4531853B2 - 画像処理装置、撮像装置、及び評価装置 - Google Patents

画像処理装置、撮像装置、及び評価装置 Download PDF

Info

Publication number
JP4531853B2
JP4531853B2 JP2009554813A JP2009554813A JP4531853B2 JP 4531853 B2 JP4531853 B2 JP 4531853B2 JP 2009554813 A JP2009554813 A JP 2009554813A JP 2009554813 A JP2009554813 A JP 2009554813A JP 4531853 B2 JP4531853 B2 JP 4531853B2
Authority
JP
Japan
Prior art keywords
luminance value
image
luminance
pixels
evaluation area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009554813A
Other languages
English (en)
Other versions
JPWO2010032409A1 (ja
Inventor
貴真 安藤
継博 是永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4531853B2 publication Critical patent/JP4531853B2/ja
Publication of JPWO2010032409A1 publication Critical patent/JPWO2010032409A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、回折光学素子を含む光学系から生じた不要回折光により画質が劣化した画像を補正する画像処理装置、撮像装置及び画像処理方法に関する。また、本発明は、回折光学素子を含む光学系の不要回折光に関する性能を評価する評価装置及び光学系評価方法に関する。
表面が回折格子輪帯である回折光学素子が、像面湾曲、色収差（波長による結像点のずれ）等のレンズ収差を低減できることは広く知られている。これは、回折光学素子に形成された回折格子が逆分散性及び異常分散性という特異な性質をもち、大きな色収差補正能力を備えているためである。回折光学素子を含む光学系は、当該光学系と同等の性能を有する、回折光学素子を含まない光学系（例えば、非球面レンズのみで構成された光学系）に比べ、光学素子の数（例えば、レンズの枚数）を１〜２削減することができる。したがって、回折光学素子を含む光学系は、製造コストを低減させることができるという利点を有する。さらに、回折光学素子を含む光学系は、光学長を短くすることができるので、低背化を実現できるという利点も有する。また、断面がブレーズ状である回折格子（blazed diffraction grating）又は断面がブレーズに内接する細かい階段状である回折格子が形成された回折光学素子を含む場合、光学系は、単一波長の光に対する特定次数の回折効率を、ほぼ１００％にすることができる。
具体的には、例えば、一次回折光の回折効率が１００％となる回折格子深さ（ブレーズ厚さ）は、理論上、下記式（１）により算出される。ここで、λは波長である。また、ｄは回折格子深さである。また、ｎ（λ）は屈折率であり、かつ波長λの関数である。
Figure 0004531853
式（１）から明らかなように、波長λの変化とともに回折効率が１００％となる回折格子深さｄの値も変化する。すなわち、回折格子深さｄの値が固定の場合、特定の波長（設計波長）λ以外の波長λでは、回折効率が１００％とならない。したがって、広い波長帯域（例えば、波長４００ｎｍ〜７００ｎｍ程度の可視光域等）において用いられる撮像用途のレンズに回折光学素子が含まれる場合、不要回折光が発生する。そして、発生した不要回折光は、フレア或いはゴーストとなって画像を劣化させたり、ＭＴＦ（Modulation Transfer Function：変調伝達関数）特性を低下させたりする。特に、単レンズ両面或いは光学系の多面に回折格子が形成されている場合は、不要回折光の発生がより顕著となる。
そこで、回折効率の波長依存性を低減させることができる回折光学素子が提案されている。図１６は、回折効率の波長依存性を低減させるための保護膜１００３を備える回折光学素子１０００の一例を示す図である。図１６に示すように、回折光学素子１０００では、回折格子１００２が形成された面上に、基材１００１とは異なる屈折率及び屈折率分散（refractive index dispersion）を有する光学材料が保護膜１００３として塗布又は接合されている。この保護膜１００３により、回折光学素子１０００は、不要回折光の発生を抑制できる。さらに、このような回折光学素子１０００において、回折格子が形成された基材１００１の屈折率と、回折格子を覆うように形成された保護膜１００３の屈折率とが特定の条件に設定されることにより、回折効率の波長依存性をさらに低減させることができる。このように、保護膜１００３を備える回折光学素子１０００は、理論上は広い波長帯域において高い回折効率を示す。
しかし、保護膜を備える回折光学素子においても、実際には、成形加工時における回折格子の転写不足、基材及び保護膜材料の屈折率調整ずれ等に起因して、不要回折光が発生する。
また、回折効率が高い場合でも、被写体として非常に強く輝く光源が撮影されたときは、不要回折光の輝度の絶対値が大きくなるため、被写体が存在しないはずの位置に対応する、輝度値が飽和した被写体像の周辺に、像が形成されてしまう。すなわち、例えば、夜間などの真っ暗な背景にライトなどの明るいものが写し出されている場合など、被写体と被写体周辺とのコントラスト比が大きい場合に、この不要回折光による画質の劣化が特に問題となる。
そこで、従来、回折光学素子を用いた撮像装置により撮影された画像における、不要回折光の像（以下、単に不要回折光像という。）の２次元点像分布から、最小二乗法を用いて不要回折光像の輝度値を求めることにより、不要回折光像を除去する方法が提案されている（例えば、特許文献１参照）。
また、同一被写体を撮影した２枚の画像を用いて、不要回折光像を除去する方法も提案されている（例えば、特許文献２参照）。特許文献２に記載の方法では、まず、撮影された画像（１コマ目）において輝度値が飽和している画素が存在する場合、その画素の輝度値が飽和しないように１コマ目と同一の被写体を撮影する（２コマ目）。次に、２コマ目が撮影されたときの露光時間の調整値を用いて不要回折光像の輝度値を求めることにより、１コマ目に撮影された画像に含まれる不要回折光像を除去する。
さらにまた、複写機、ファクシミリ装置において、輝度値の度数分布を示すヒストグラムを用いて閾値を検出することにより、下地色或いは裏写り部分を除去する方法が提案されている（例えば、特許文献３参照）。
特開２００５−１６７４８５号公報 特開２０００−３３３０７６号公報 特開２００１−９４８０４号公報
しかし、特許文献１の方法では、最小二乗法を用いて不要回折光像の輝度値が算出されるため、算出された不要回折光像の輝度値と実際の不要回折光像の輝度値とはずれが生じる場合がある。例えば、レンズの収差が大きい場合、不要回折光像は分布にムラが生じたり、星状に広がったりする。また、複雑な形状の被写体を撮影した場合、ノイズが大きい画像を撮影した場合なども、不要回折光像の分布にムラが生じる。このように不要回折光像の分布にムラが生じる場合、最小二乗法を用いる特許文献１の方法では、正確に不要回折光像の輝度値を見積もるのは難しいため、不要回折光像を除去しきれない。
また、特許文献２の方法では、同一の被写体を２回撮影する必要があるため、処理に時間がかかる。また、特許文献２の方法により求められた不要回折光像の輝度値は、不要回折光像の分布が見積もりであることに起因して、実際の不要回折光像の輝度値とずれが生じる。また、動きがある被写体を撮影する場合、同一の被写体を略同一の条件で２回撮影することが難しいため、特許文献２の方法を用いることができない。つまり、特許文献２の方法は、動きのある被写体には使えない。
また、特許文献３の方法は、複写機の下地色、裏写りなど比較的低輝度な像の除去を対象としており、比較的高輝度な像の除去は意図されていない。また、画像全体を評価対象としているため、低輝度の被写体像を誤って除去してしまう可能性がある。
そこで、本発明は、上記問題を鑑みてなされたものであり、回折光学素子を含む光学系から生じた不要回折光により画質が劣化した画像を、不要回折光像の形状に係わらず高精度に補正することができる画像処理装置、撮像装置等を提供することを目的とする。
上記目的を達成するために、本発明に係る画像処理装置は、回折光学素子を含む光学系から生じた不要回折光により画質が劣化した画像を補正する画像処理装置であって、前記画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出し、検出した飽和画素を含む前記画像の一部領域を評価エリアとして設定する評価エリア設定部と、設定された前記評価エリアに含まれる画素の輝度値ごとの画素数を算出する画素数算出部と、算出された前記画素数を輝度値の大きさの順番に並べた場合の前記画素数の推移に基づいて、前記不要回折光の像の上限輝度を示す第一輝度値を特定する第一輝度値特定部と、前記画像の背景に対応する輝度値である第二輝度値を特定する第二輝度値特定部と、前記評価エリアに含まれる画素のうち、前記第一輝度値の輝度より低く、かつ、前記第二輝度値の輝度より高い輝度の画素に対して、輝度が低くなるように輝度値を補正する補正部とを備える。
これにより、不要回折光像が周辺に存在する可能性の高い飽和画素を含む領域に対して画像の補正を行うことができるので、補正の必要がない被写体像を誤って補正することを低減することが可能となる。
さらに、評価エリア内の輝度値ごとの画素数の推移に基づいて補正が必要な画素の輝度値を特定するので、不要回折光像の形状に係わらず高精度に画像を補正することが可能となる。
さらに、一枚の画像のみを用いて補正することができるので、被写体に動きがある場合であっても、補正することができる。
また、前記評価エリア設定部は、前記飽和画素が前記画像に複数含まれる場合には、互いに近接する前記飽和画素をグループ化した飽和画素群を設定し、設定された飽和画素群ごとに前記評価エリアを設定することが好ましい。
これにより、複数の被写体を撮影した場合であっても、それぞれの被写体に対応する飽和画素群ごとに評価エリアを設定することができるので、補正の必要がない被写体像を誤って補正することを、さらに低減することが可能となる。
また、前記評価エリア設定部は、前記飽和画素群が大きいほど前記評価エリアが大きくなるように前記評価エリアを設定することが好ましい。
これにより、飽和画素群の大きさに応じて評価エリアを設定することが可能となるので、飽和画素群の大きさに応じて大きくなることが多い不要回折光像に適合する大きさの評価エリアを設定することが可能となる。その結果、さらに高い精度で、補正の必要がない被写体像を誤って補正することを低減することが可能となる。
また、前記評価エリア設定部は、前記飽和画素群に対応し、かつ、前記不要回折光に含まれる所定の回折次数の回折光の結像範囲を前記評価エリアとして設定することが好ましい。
これにより、光学系の特性に応じて評価エリアを設定することが可能となるので、不要回折光像が存在する領域を漏れなく含み、かつ、不要回折光像が存在しない領域を含まないように、評価エリアを設定することが可能となる。その結果、さらに高い精度で、補正の必要がない被写体像を誤って補正することを低減することが可能となる。また、不要回折光像が存在しない領域に対する処理量を低減させることができるので、処理の負荷を軽減することも可能となる。
また、前記第一輝度値特定部は、前記画素数の推移を輝度が高い側から輝度が低い側へ辿った場合に、初めて所定の画素数を超えるときの輝度値を前記第一輝度値として特定してもよい。
これにより、評価エリア内の画素の輝度値分布の特性に応じて、不要回折光像の上限輝度を示す第一輝度値を特定することができるので、不要回折光像の形状に係わらず高精度に画像を補正することが可能となる。
また、前記第一輝度値特定部は、前記輝度値を横軸、前記画素数を縦軸とした場合の前記画素数の推移が上に凸となる位置の輝度値の中で、前記飽和画素の輝度値を除いて最も輝度が高い輝度値を算出し、算出した輝度値より輝度が高く、かつ、前記飽和画素の輝度値より輝度が低い輝度値を前記第一輝度値として特定してもよい。
これにより、評価エリア内の画素の輝度値分布の特性に応じて、不要回折光像の上限輝度を示す第一輝度値を特定することができるので、不要回折光像の形状に係わらず高精度に画像を補正することが可能となる。
また、前記第二輝度値特定部は、前記評価エリアの端部の画素の輝度値に基づいて、前記第二輝度値を特定してもよい。
これにより、評価エリア内において、最も不要回折光による影響を受けていないと考えられる画素の輝度値を用いて第二輝度値を特定することができるので、背景に対応する輝度値を高精度に特定することが可能となる。
また、前記第二輝度値特定部は、前記輝度値を横軸、前記画素数を縦軸とした場合の前記画素数の推移が上に凸となる位置の輝度値の中で、最も輝度が低い輝度値を前記第二輝度値として特定してもよい。
これにより、評価エリア内の画素の輝度値分布の特性に応じて第二輝度値を特定することができるので、不要回折光像の形状による影響を受けることなく背景に対応する輝度値を高精度に特定することが可能となる。
また、前記画像を構成する複数の画素は、複数の波長域のそれぞれに対応する輝度値を有し、前記評価エリア設定部は、前記複数の波長域ごとに前記評価エリアを設定し、前記画素数算出部は、前記複数の波長域ごとに前記画素数を算出し、前記第一輝度値特定部は、前記複数の波長域ごとに前記第一輝度値を特定し、前記第二輝度値特定部は、前記複数の波長域ごとに前記第二輝度値を特定し、前記補正部は、前記複数の波長域ごとに前記輝度値を補正してもよい。
これにより、波長に応じて不要回折光の特性が異なる回折光学素子を含む光学系により撮影された画像であっても、高精度に補正することが可能となる。
また、前記輝度値は、特定の波長域にのみ対応する輝度値であってもよい。
これにより、特定の波長域の光のみ不要回折光の影響が大きいことが予めわかっている場合などに、その特定の波長域についてのみ処理することができるので、処理の負荷を軽減させることができる。
また、さらに、前記第二輝度値が所定閾値より小さいか否かを判定する判定部を備え、前記補正部は、前記判定部により前記第二輝度値が所定閾値より小さいと判定された場合にのみ、前記輝度値を補正してもよい。
これにより、飽和画素群に対応する被写体像とは異なる被写体像が評価エリア内に重なっている場合に、当該評価エリアに対して補正を行うことが回避できるので、補正の必要がない被写体像を誤って補正することを、より低減することが可能となる。また、背景の輝度が高いことにより不要回折光像が検知されない評価エリアについての補正が不要となるので、処理の負荷を軽減させることができる。
また、本発明に係る撮像装置は、不要回折光により画質が劣化した画像を補正する撮像装置であって、回折光学素子を含む光学系と、前記光学系を透過した光を撮影する撮像系と、上記画像処理装置とを備える。
これにより、上記画像処理装置を含む撮像装置としても実現することが可能となる。
また、本発明に係る評価装置は、回折光学素子を含む光学系の不要回折光に関する性能を評価する評価装置であって、前記光学系から所定距離離れて配置される光源と、前記光学系を透過した前記光源からの光を撮影する撮像系と、前記撮像系により撮影された前記光源の画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出し、検出した飽和画素を含む前記画像の一部領域を評価エリアとして設定する評価エリア設定部と、設定された前記評価エリアに含まれる画素の輝度値ごとの画素数を算出する画素数算出部と、算出された前記画素数を輝度値の大きさの順番に並べた場合の前記画素数の推移に基づいて、前記不要回折光の像の上限輝度を示す第一輝度値を特定する第一輝度値特定部と、前記画像の背景に対応する輝度値である第二輝度値を特定する第二輝度値特定部と、前記評価エリアに含まれる画素のうち、前記第一輝度値の輝度より低く、かつ、前記第二輝度値の輝度より高い輝度の画素の輝度値を用いて、前記光学系の不要回折光に関する性能を評価する評価部とを備える。
これにより、不要回折光像が周辺に存在する可能性の高い飽和画素を含む領域に対して不要回折光に関する評価を行うことができるので、評価の対象とすべきではない被写体像を誤って評価対象とすることを低減することが可能となる。
さらに、評価エリア内の輝度値ごとの画素数の推移に基づいて評価が必要な画素の輝度値を特定するので、不要回折光像の形状に係わらず高精度に不要回折光に関する評価を行うことが可能となる。
さらに、一枚の画像のみを用いて評価することができるので、被写体に動きがある場合であっても、不要回折光に関する評価をすることができる。
また、前記光源は、点光源であることが好ましい。
これにより、被写体像と不要回折光像との重なり部分が小さくなるので、光学系の不要回折光に関する性能を高精度に評価することが可能となる。
また、さらに、前記光学系と前記撮像系との間に配置され、前記光学系により形成された像を拡大する対物レンズを備えることが好ましい。
これにより、光学系から得られる像を拡大することができるので、光学系の不要回折光に関する性能を、より高精度に評価することが可能となる。
本発明によれば、回折光学素子を含む光学系から生じた不要回折光により画質が劣化した画像を補正することができ、特に不要回折光像の形状に係わらず高精度に補正することができる。
図１は、本発明の実施の形態１に係る撮像装置の構成を示す図である。 図２は、不要回折光により劣化した画像を補正する画像処理部の特徴的な機能構成を示すブロック図である。 図３は、評価エリア設定部により設定される評価エリアについて説明するための図である。 図４は、画像処理部による処理の流れを示すフローチャートである。 図５は、評価エリア内の輝度値のヒストグラムの一例を示す図である。 図６は、一次光結像面及び二次光結像面において、二次光が結像する位置を模式的に示す図である。 図７は、一次光結像面及び零次光結像面において、零次光が結像する位置を模式的に示す図である。 図８は、本発明の実施の形態１に係る撮像装置により補正された画像の一例を示す図である。 図９Ａは、不要回折光像の一例を示す図である。 図９Ｂは、不要回折光像の一例を示す図である。 図１０は、本発明の実施の形態２に係る評価装置の構成を示す図である。 図１１は、不要回折光に関する性能を評価する画像処理部の特徴的な機能構成を示すブロック図である。 図１２は、本発明の実施例１に係る撮像装置により撮影されたＢ波長域の画像において、評価エリアの領域のみを切り出した画像を示す図である。 図１３は、図１２に示す評価エリア内の輝度値のヒストグラムである。 図１４は、本発明の実施例１に係る撮像装置により補正された画像を示す図である。 図１５は、本発明の実施例２に係る評価装置により得られた、不要回折光像の輝度値の積算値と画角との関係を示すグラフである。 図１６は、従来の回折光学素子の一例を示す図である。
（実施の形態１）
以下、本発明の実施の形態１に係る撮像装置について、図面を参照しながら説明する。
図１は、実施の形態１に係る撮像装置１００の構成を示す図である。図１に示すように、撮像装置１００は、光学系１０１、撮像素子１０５及び画像処理部１１０から構成される。
光学系１０１は、絞り１０２、回折光学素子１０３、及び屈折光学素子１０４を有する。光学系１０１が有する回折光学素子１０３及び屈折光学素子１０４の数量は、光学系の設計目的に応じて決定される。なお、本実施の形態の光学系１０１は、回折光学素子１０３及び屈折光学素子１０４をそれぞれ１枚ずつ有するが、本発明に係る光学系は、この数量に限定されるわけではない。例えば、光学系１０１は、回折光学素子１０３及び屈折光学素子１０４をそれぞれ複数枚有しても良い。
絞り１０２は、撮像素子１０５に入射する光の量を調整する。なお、絞り１０２の設置位置は、光学系１０１の設計目的に応じて決められる。つまり、絞り１０２は、図１に示すように必ずしも被写体側に設置される必要はない。絞り１０２は、撮像素子１０５側に設置されても良いし、回折光学素子１０３及び屈折光学素子１０４の間に設置されても良い。
回折光学素子１０３は、光の回折現象を利用する光学素子である。具体的には、回折光学素子１０３には、撮像素子１０５側の凸面上に、同心円状の回折格子が形成されている。なお、回折光学素子１０３は、平板であっても良い。また、回折格子は、平面上或いは凹面上に形成されても良い。また、回折格子は、回折光学素子の片面のみに形成されても良いし、両面に形成されても良い。また、回折光学素子１０３は、図１６に示すように、回折格子が形成された面上に、基材とは異なる屈折率及び屈折率分散を有する光学材料が保護膜として塗布又は接合された回折光学素子であっても良い。
屈折光学素子１０４は、例えば、凸レンズ、凹レンズ等であり、光学系の設計目的に応じて、回折光学素子１０３の前後に設けられる。
撮像素子１０５は、撮像系の一例であり、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子からなる。撮像素子１０５は、光学系１０１を透過した被写体からの光を電気信号に変換する。
画像処理部１１０は、例えば、ＣＰＵ（中央演算処理装置：Central Processing Unit）、メモリ、システムＬＳＩ等により構成される。画像処理部１１０は、撮像素子１０５からの電気信号に基づいて得られる画像に対して、不要回折光により劣化した画質の補正を行う。なお、不要回折光とは、回折光学素子より生じる回折光の一部であり、設計により予め定められた回折次数（設計回折次数）とは異なる回折次数の回折光を示す。
なお、図１に示す被写体１２０は、撮像装置１００により撮像される被写体の一例である。被写体１２０は、強く輝く光源１２１ａ、１２１ｂ、及び物体１２３を含む。
図２は、不要回折光により劣化した画像を補正する画像処理部１１０の特徴的な機能構成を示すブロック図である。
図２に示すように、撮像装置１００が備える画像処理部１１０は、評価エリア設定部１１１、画素数算出部１１２、第一輝度値特定部１１３、第二輝度値特定部１１４、判定部１１５及び補正部１１６を備える。
評価エリア設定部１１１は、画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出する。ここで、輝度値とは、光の強さを示す輝度を数値化したものである。また、輝度値は、複数の波長域からなる光の場合、波長域ごとの光の強さを示す輝度を数値化したものである。なお、本実施の形態では、輝度が高いほど輝度値が大きい場合について記載する。また、飽和画素とは、例えば、２５６階調（０〜２５５）で輝度値が表現されている画像の場合、輝度値が「２５５」である最も輝度が高い画素である。また、例えば、飽和画素とは、所定閾値（例えば、「２５０」、「２４０」等）以上の輝度値の画素であっても良い。
そして、評価エリア設定部１１１は、検出した飽和画素を含む画像の一部領域を評価エリアとして設定する。評価エリア設定部１１１は、飽和画素が画像に複数含まれる場合には、互いに近接する飽和画素をグループ化した飽和画素群を設定し、設定された飽和画素群ごとに評価エリアを設定する。
また、評価エリア設定部１１１は、飽和画素群が大きいほど評価エリアが大きくなるように評価エリアを設定する。これは、飽和画素群の大きさが大きいほど、その飽和画素群の周辺に現れる不要回折光像の大きさも大きくなるからである。
具体的には、評価エリア設定部１１１は、飽和画素群に対応し、かつ、不要回折光に含まれる所定の回折次数の回折光の結像範囲を評価エリアとして設定する。詳細は後述する。なお、評価エリア設定部１１１は、単に、飽和画素群の大きさに対して予め定められた比例係数を乗じた大きさを評価エリアとして設定しても良い。
画素数算出部１１２は、評価エリアに含まれる画素の輝度値ごとの画素数を算出する。
第一輝度値特定部１１３は、画素数算出部１１２により算出された画素数を輝度値の大きさの順番に並べた場合の画素数の推移に基づいて、不要回折光像の上限輝度を示す第一輝度値を特定する。
具体的には、例えば、第一輝度値特定部１１３は、画素数の推移を輝度が高い側から輝度が低い側へ辿った場合に、初めて所定の画素数を超えるときの輝度値を第一輝度値として特定する。ここで、所定の画素数を超えるときの輝度値とは、所定の画素数より少ない画素数から、所定の画素数より多い画素数に変化したときの輝度値をいう。
第二輝度値特定部１１４は、画像の背景に対応する輝度値である第二輝度値を特定する。具体的には、第二輝度値特定部１１４は、評価エリアの端部の画素の輝度値に基づいて、第二輝度値を特定する。
判定部１１５は、第二輝度値が所定閾値より小さいか否かを判定する。
補正部１１６は、判定部１１５により第二輝度値が所定閾値より小さいと判定された場合にのみ、評価エリアに含まれる画素のうち、第一輝度値の輝度より低く、かつ、第二輝度値の輝度より高い輝度の画素に対して、補正前の輝度値の輝度よりも輝度が低くなるように輝度値を補正する。
図３は、評価エリア設定部１１１により設定される評価エリアについて説明するための図である。なお、図３に示す画像１３０ａでは、最高輝度が黒及び最低輝度が白となるように図示されている。
図３に示す画像１３０ａは、回折光学素子を含む光学系を用いて、強く輝く光源１２１ａ、１２１ｂと物体１２３とが暗闇の中で撮影された場合の画像の一例である。光源１２１ａ、１２１ｂは強く輝いているため、光源１２１ａ、１２１ｂのそれぞれに対応する像である被写体像１３１ａ、１３１ｂは、輝度値が飽和している。そして、この被写体像１３１ａ、１３１ｂの周辺に、不要回折光像１３２ａ、１３２ｂが存在する。このような不要回折光像１３２ａ、１３２ｂは、強く輝く光源などの輝度が高い被写体を撮影した場合、又は、露光時間若しくはゲインを高めて撮影した場合、輝度値が飽和している被写体像の周辺において検知される。
一方、輝度が低い物体１２３に対応する像である被写体像１３３の周辺には、不要回折光像は検知されない。これは、被写体像の輝度値が大きいほど不要回折光像の輝度値が大きくなるためである。つまり、輝度値が小さい被写体像に対応する不要回折光像は、輝度値が非常に小さくなるために検知されない。
このような画像１３０ａにおいて、評価エリア設定部１１１は、輝度値が飽和している画素（飽和画素）のグループである被写体像１３１ａ、１３１ｂ（飽和画素群）のそれぞれに対して、評価エリア１３４ａ、１３４ｂを設定する。図３に示すように、評価エリア設定部１１１は、評価エリア１３４ａ、１３４ｂ内に不要回折光像１３２ａ、１３２ｂが含まれるように設定する。なお、設定方法の詳細については後述する。
次に、以上のように構成された撮像装置１００の画像処理部１１０における各種動作について説明する。
図４は、画像処理部１１０による処理の流れを示すフローチャートである。
まず、評価エリア設定部１１１は、画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出する（ステップＳ１０１）。
次に、評価エリア設定部１１１は、検出された飽和画素のうち互いに近接する飽和画素をグルーピングした飽和画素群を設定する（ステップＳ１０２）。なお、「近接する」とは、予め定められた画素数（例えば、１画素、４画素、８画素等）以内の距離に存在することをいう。すなわち、予め定められた画素数が１画素である場合は、ある飽和画素に隣接する画素が飽和画素であるとき、評価エリア設定部１１１は、それらの飽和画素が同一の飽和画素群に属するようにグルーピングする。
具体的には、評価エリア設定部１１１は、図３に示す被写体像１３１ａ、１３１ｂを構成する画素のそれぞれを飽和画素として検出する。さらに、評価エリア設定部１１１は、互いに隣接する飽和画素である被写体像１３１ａを第一飽和画素群として設定する。同様に、評価エリア設定部１１１は、被写体像１３１ｂを第二飽和画素群として設定する。
次に、評価エリア設定部１１１は、設定された飽和画素群の一つを選択する（ステップＳ１０３）。具体的には、例えば、上記の第一飽和画素群を選択する。
次に、評価エリア設定部１１１は、選択された飽和画素群の大きさに応じた評価エリアを設定する（ステップＳ１０４）。具体的には、評価エリア設定部１１１は、飽和画素群が大きいほど評価エリアが大きくなるように評価エリアを設定する。以下、図３に示す画像１３０ａを用いて、ステップＳ１０４の処理についての具体例を説明する。
評価エリア設定部１１１は、ステップＳ１０３において第一飽和画素群（被写体像１３１ａ）が選択されている場合、被写体像１３１ａの面積を用いて、被写体像１３１ａの大きさを算出する。例えば、評価エリア設定部１１１は、被写体像１３１ａを円形と仮定することにより、被写体像１３１ａの面積に対応する円の直径を被写体像１３１ａの大きさとして算出する。そして、評価エリア設定部１１１は、算出された被写体像１３１ａの大きさを用いて、不要回折光に含まれる所定の回折次数の光の結像範囲を評価エリア１３４ａとして設定する。ここで、評価エリア設定部１１１は、評価エリア１３４ａの中心が被写体像１３１ａの中心と一致するように評価エリア１３４ａを設定する。不要回折光に含まれる所定の回折次数の光の結像範囲の詳細については後述する。
なお、ステップＳ１０３において第二飽和画素群（被写体像１３１ｂ）が選択されている場合、評価エリア設定部１１１は、上記と同様に、被写体像１３１ｂの周辺に評価エリア１３４ｂを設定する。
このように、評価エリア設定部１１１は、不要回折光像１３２ａ、１３２ｂを含むが、被写体像１３３を含まないように評価エリア１３４ａ、１３４ｂを設定する。
図４のフローチャートの説明に戻る。
次に、画素数算出部１１２は、設定された評価エリアに含まれる画素の輝度値ごとの画素数を算出する（ステップＳ１０５）。
次に、第一輝度値特定部１１３は、算出された画素数を輝度値の大きさ順に並べた場合の画素数の推移に基づいて、不要回折光像の輝度値の上限値である第一輝度値Ｉｍａｘを特定する（ステップＳ１０６）。
以下、図５を用いて、ステップＳ１０５及びステップＳ１０６の処理について具体的に説明する。
図５は、評価エリア内の輝度値のヒストグラムの一例を示す図である。
画素数算出部１１２は、ステップＳ１０３において第一飽和画素群が選択されている場合、図３に示す評価エリア１３４ａに含まれる画素の輝度値ごとの画素数を算出する。そして、画素数算出部１１２は、例えば、図５に示すような輝度値のヒストグラム１４０を作成する。ここで、輝度値のヒストグラムとは、横軸を輝度値とし、縦軸を画素数としたグラフである。つまり、ヒストグラム１４０は、輝度値の大きさ順に並べられた画素数の推移を示す。
続いて、第一輝度値特定部１１３は、ヒストグラム１４０に示される画素数の推移を輝度値が大きな側（右側）から小さな側（左側）へ辿った場合に、画素数が所定画素数である「１０」を初めて超えるときの輝度値を第一輝度値Ｉｍａｘとして特定する。図５に示すように、このように特定された第一輝度値Ｉｍａｘは、不要回折光像１３２ａの輝度値の上限値に対応する。ここで、所定の画素数は、必ずしも「１０」である必要はない。ヒストグラム１４０にノイズが多い場合は、不要回折光像１３２ａの輝度値の上限値が高めで誤検出される可能性がある。これを防ぐためには所定の画素数として大き目の値を選択するとよい。ヒストグラム１４０のノイズは、評価エリア内の画像に輝度ムラがある場合あるいは、複雑な形状又は輝度の被写体を撮影した場合に発生しやすい。ノイズの発生量については、ヒストグラム１４０をフーリエ変換することで高周波として検出されるためその大小の判別が可能であり、それに応じて所定の画素数を決定することも可能である。また、所定の画素数として設定した値が大きすぎると、不要回折光像１３２ａの輝度値の上限値が小さくなりすぎ、不要回折光像１３２ａの除去不足が発生してしまうため、注意が必要である。これらのことを考慮しつつ、所定の画素数の決め方としては、不要回折光像１３２ａに対応するピーク１４３の画素数の、例えば、半分や１／１０の画素数とすればよい。
ここで、上記のように特定された第一輝度値Ｉｍａｘが、不要回折光像１３２ａの輝度値の上限値に対応する理由について、以下に説明する。
一般的に、不要回折光による画質の低下が問題となる画像は、真っ暗な中にある非常に明るい被写体が撮影された場合の画像である。なぜなら、不要回折光像の輝度値が小さい場合であっても、不要回折光像と背景とのコントラスト比が大きくなるため、画像内において不要回折光像が視覚的に目立つためである。このように真っ暗な中にある非常に明るい被写体が撮影された画像の場合、図５に示すように、輝度値が飽和している被写体像１３１ａに対応するピーク１４２、不要回折光像１３２ａに対応するピーク１４３、及び背景に対応するピーク１４１の３つの画素数のピークが検出されることが多い。また、被写体像１３１ａに対応するピーク１４２の輝度値と不要回折光像１３２ａに対応するピーク１４３の輝度値との間の輝度値における画素数は０近傍であることが多い。したがって、高輝度側から低輝度側に画素数の推移を辿った場合、所定の画素数を超えるときの輝度値を不要回折光像１３２ａの最大輝度値である第一輝度値Ｉｍａｘとして検出することができる。
なお、ヒストグラムにノイズが多い場合は、第一輝度値特定部１１３は、画素数の推移に対して移動平均などの平均化処理を加えてから第一輝度値Ｉｍａｘを特定することが望ましい。
図４のフローチャートの説明に戻る。
次に、第二輝度値特定部１１４は、評価エリアの端部の画素の輝度値を用いて、その評価エリアの背景の輝度値を算出する。そして、第二輝度値特定部１１４は、算出した輝度値を第二輝度値Ｉｍｉｎとして特定する（ステップＳ１０７）。具体的には、評価エリアの背景の輝度値は、矩形である評価エリアの４つの頂点の位置に対応する画素の輝度値の平均値を第二輝度値Ｉｍｉｎとして特定する。
次に、判定部１１５は、特定された第二輝度値Ｉｍｉｎが所定閾値より小さいか否かを判定する（ステップＳ１０８）。
ここで、第二輝度値Ｉｍｉｎが所定閾値より小さい場合（ステップＳ１０８のＹｅｓ）、補正部１１６は、評価エリアに含まれる画素のうち、輝度値が第一輝度値Ｉｍａｘより小さく、かつ、第二輝度値Ｉｍｉｎより大きい画素の輝度値を補正する（ステップＳ１０９）。つまり、補正部１１６は、輝度値が第一輝度値Ｉｍａｘより小さく、かつ、第二輝度値Ｉｍｉｎより大きい輝度値である画素を、不要回折光像を構成する画素として取り扱い、当該画素の輝度値を補正することにより、不要回折光により画質が劣化した画像を補正する。例えば、補正部１１６は、輝度値が第一輝度値Ｉｍａｘより小さく、かつ、第二輝度値Ｉｍｉｎより大きい輝度値であるすべての画素の輝度値を、補正前の輝度値の輝度よりも輝度が低くなるように第二輝度値Ｉｍｉｎに補正する。また、補正部１１６は、補正後の評価エリア内の画像と評価エリア周辺の画像との境界のぼかし処理を行う。具体的には、例えば、補正部１１６は、当該境界周辺の画素の輝度値の平均化、ガウシアンフィルタなどの処理を行う。これにより、評価エリア内の画像を補正した後の評価エリアの境界における輝度の段差を低減させることができる。
一方、第二輝度値Ｉｍｉｎが所定閾値より大きい場合（ステップＳ１０８のＮｏ）、補正部１１６は、ステップＳ１０９における補正を行わない。このような場合は、ステップＳ１０３において選択された飽和画素群に対応する被写体像に対して別の被写体像が重なっている可能性があるため、補正部１１６は、評価エリアに対する補正を行わない。これにより、補正部１１６は、誤って被写体像を補正してしまうことを低減することができる。また、補正部１１６は、背景の輝度が高いことにより不要回折光像が検知されないような評価エリアについての補正が不要となるので、処理の負荷を軽減させることができる。
なお、所定閾値は、使用環境を想定し予め決定した値を設定しておくとよい。例えば２５５階調の半分である１２８や１／３である８５とすればよい。また、所定閾値は必ずしも予め決定した固定値を用いる必要はなく、使用環境に応じ自動的に決定してもよい。例えば、夜間撮影などで画像全体が暗い場合（ヒストグラムが低輝度側に分布が偏っている場合等）は、消去すべきでない被写体像が重なっている可能性が低いため、所定閾値は大きめに設定するのがよい。逆に、画像全体が明るい場合（ヒストグラムが高輝度側に分布が偏っている場合等）は、消去すべきでない被写体像が重なっている可能性が高いため、所定閾値は小さめに設定するのがよい。この場合、被写体像がある程度の明るさをもつため、不要回折光像が重なっていても目立たない可能性が高いため不要回折光像を除去しなくても問題とならない。このときの所定閾値の決定方法は、画像上の全画素の輝度の総和を積算して、その値に応じて決定するとよい。
次に、評価エリア設定部１１１は、ステップＳ１０２において設定された飽和画素群のすべてが、ステップＳ１０３において選択されたか否かを判定する（ステップＳ１１０）。ここで、すべての飽和画素群が選択されていない場合（ステップＳ１１０のＮｏ）、評価エリア設定部１１１は、まだ選択されていない飽和画素群を選択する（ステップＳ１０３）。一方、すべての飽和画素群が選択されている場合（ステップＳ１１０のＹｅｓ）、処理が終了する。
以下に、評価エリア設定部１１１が評価エリアとして設定する、不要回折光に含まれる所定の回折次数の光の結像範囲について、図６及び図７を用いて説明する。なお、以下では、設計回折次数の光が一次光である場合について説明する。
図６は、一次光結像面１５２及び二次光結像面１５３において、二次光が結像する位置を模式的に示す図である。大きさｙの被写体１５１からの光が入射瞳径Ｄの光学系１５５を透過することにより生じた一次光及び二次光は、一次光結像面１５２及び二次光結像面１５３に結像する。そして、設計回折次数は「１」であるので、撮像面が一次光結像面１５２と一致するように、撮像素子１０５が設置されている。
ここで、一次光の焦点距離をｆ１、二次光の焦点距離をｆ２、二次光結像面１５３での二次光像の大きさをｙ２２、一次光結像面１５２での二次光像の大きさをｙ２１、一次光結像面１５２での一次光像の大きさをｙ１１、一次光結像面１５２と二次光結像面１５３との距離をＬ２１、入射瞳径をＤとした場合、下記の関係が成り立つ。
Figure 0004531853
上記式（２）、（３）及び（４）を整理すると、下記式（５）が得られる。
Figure 0004531853
一次光焦点距離ｆ１、二次光焦点距離ｆ２、及び入射瞳径Ｄは予め取得可能な係数である。したがって、不要回折光として二次光が支配的である場合は、評価エリア設定部１１１は、ｙ２１を一辺の長さとする矩形領域が二次光の結像範囲であると考えて、当該矩形領域を評価エリアとして設定する。
図７は、一次光結像面１５２及び零次光結像面１５４において、零次光が結像する位置を模式的に示す図である。ここで、一次光の焦点距離をｆ１、零次光の焦点距離をｆ０、零次光結像面１５４での零次光像の大きさをｙ００、一次光結像面１５２での零次光像の大きさをｙ０１、一次光結像面１５２での一次光像の大きさをｙ１１、入射瞳径をＤとした場合、上記と同様に、下記式（６）が導き出される。
Figure 0004531853
したがって、不要回折光として零次光が支配的である場合は、評価エリア設定部１１１は、ｙ０１を一辺の長さとする矩形領域が零次光の結像範囲であると考えて、当該矩形領域を評価エリアとして設定する。
このように、評価エリア設定部１１１は、飽和画素群の大きさ及び光学系１０１の特性に応じて評価エリアを設定することが可能となるので、不要回折光像が存在する領域を漏れなく含み、かつ、不要回折光像が存在しない領域を含まないように、評価エリアを設定することが可能となる。その結果、撮像装置１００は、補正の必要がない被写体像を誤って補正することを低減することが可能となる。また、撮像装置１００は、不要回折光像が存在しない領域に対する処理量を低減させることができるので、処理の負荷を軽減することが可能となる。
なお、不要回折光として支配的となる回折次数が不明な場合は、評価エリア設定部１１１は、候補となり得る複数の回折次数のそれぞれについて、一次光結像面１５２での像の大きさを算出し、算出された像の大きさのうち最も大きな像の大きさを、評価エリアの大きさとしてもよい。
また、評価エリア設定部１１１は、評価エリアの大きさを上記式（５）又は式（６）により得られた像の大きさと厳密に一致させる必要はない。不要回折光像が評価エリア外に存在する可能性を低くするために、評価エリア設定部１１１は、例えば、上記式（５）又は式（６）により得られた像の大きさに、さらに、所定の定数を加えた大きさを評価エリアの大きさとしても良い。
以上のように、本実施の形態の撮像装置１００は、不要回折光像が含まれる画像から、不要回折光像を除去することができる。
図８は、撮像装置１００により補正された画像の一例を示す図である。図８に示す画像１３０ｂでは、図３と同様に、最高輝度が黒及び最低輝度が白となるように図示されている。また、画像１３０ｂは、図３に示す画像１３０ａが補正されたときの画像である。
図８に示すように、本実施の形態の撮像装置１００は、不要回折光像が周辺に存在する可能性の高い飽和画素を含む領域に対して画像の補正を行うことができるので、補正の必要がない被写体像を誤って補正することを低減することが可能となる。つまり、撮像装置１００は、不要回折光像１３２ａ、１３２ｂの輝度値に近い輝度値である被写体像１３３を除去することなく、不要回折光像１３２ａ、１３２ｂのみを除去することができる。
また、撮像装置１００は、複数の被写体を撮影した場合であっても、それぞれの被写体に対応する飽和画素群ごとに評価エリアを設定することができるので、補正の必要がない被写体像を誤って補正することを低減することが可能となる。具体的には、撮像装置１００は、被写体像１３１ａ、１３１ｂのそれぞれに評価エリア１３４ａ、１３４ｂを設定することができるので、被写体像１３３を除去する可能性を低減させることができる。
また、撮像装置１００は、評価エリア内の輝度値ごとの画素数の推移に基づいて補正が必要な画素の輝度値を特定するので、不要回折光像の形状に係わらず高精度に画像を補正することが可能となる。具体的には、撮像装置１００は、図５に示すような輝度値分布の特性に応じて、第一輝度値を特定することができる。また、撮像装置１００は、評価エリア内において、最も不要回折光による影響を受けていないと考えられる、評価エリア周縁の画素の輝度値を用いて、第二輝度値を特定することができる。撮像装置１００は、このように特定された第一輝度値及び第二輝度値を用いて補正が必要な画素を特定することができるので、不要回折光像の形状に係わらず高精度に画像を補正することが可能となる。
また、撮像装置１００は、一枚の画像のみを用いて補正することができるので、被写体に動きがある場合であっても、補正することができる。
また、本実施の形態に係る撮像装置１００は、不要回折光像１３２ａ、１３２ｂが、連続的につながった像である場合に限らず、飽和画素群周辺に飛び飛びに形成された複数の画素群からなっている場合であっても、高精度に画像を補正することができる。具体的には、撮像装置１００は、不要回折光像１３２ａ、１３２ｂが、例えば図９Ａに示すような同心円状に形成された複数の輪帯である場合であっても、高精度に画像を補正することができる。また、撮像装置１００は、不要回折光像１３２ａ、１３２ｂが、例えば図９Ｂに示すような放射状に分割された形状である場合であっても、高精度に画像を補正することができる。また、撮像装置１００は、不要回折光像１３２ａ、１３２ｂが、同心円状の複数の輪帯のそれぞれが放射状に分割された形状、つまり図９Ａと図９Ｂとを組み合わせた形状である場合であっても、高精度に画像を補正することができる。
（実施の形態２）
以下、本発明の実施の形態２に係る評価装置について、図面を参照しながら説明する。なお、実施の形態１に係る撮像装置と同じ部分については、同一の符号を付し、説明を省略する。
図１０は、実施の形態２に係る評価装置２００の構成を示す図である。図１０に示すように、評価装置２００は、光源２２１、遮蔽手段２２２、可動機構２２３、撮像素子１０５、及び画像処理部２１０により構成される。
光源２２１は、可動機構２２３に取り付けられる。また、光源２２１は、暗室に設置される。このように、光源２２１が暗室に設置されることにより、光源２２１以外の光の影響を排除できるため、評価装置２００は、光学系１０１の不要回折光に関する性能を厳密に評価することが可能となる。
遮蔽手段２２２は、光源２２１と光学系１０１との間に設けられ、円形の開口部を有する。また、遮蔽手段２２２は、光源２２１が移動するとき、光源２２１とともに移動する。このように、遮蔽手段２２２を設けることにより、被写体を点光源とみなすことができる。被写体が点光源であることにより、被写体像と不要回折光像との重なり部分が小さくなるので、評価装置２００は、光学系１０１の不要回折光に関する性能を高精度に評価することが可能となる。
可動機構２２３は、ＸＹＺステージ、マイクロメータなどからなり、光源２２１及び遮蔽手段２２２の位置を任意に設定可能とする。つまり、評価装置２００は、遮蔽手段２２２の開口部を通過した光源２２１からの光を任意の画角で撮影することができる。
図１１は、不要回折光に関する性能を評価する画像処理部２１０の特徴的な機能構成を示すブロック図である。図１１に示すように、本実施の形態の画像処理部２１０は、補正部１１６の代わりに評価部２１６を備える点と第二輝度値特定部１１４の処理が一部異なる点とが、実施の形態１の画像処理部１１０と異なるが、その他の構成要素は同じである。
第二輝度値特定部１１４は、光源２２１が点灯されていない状態で撮影された画像の輝度値の平均値を、第二輝度値として特定する。
評価部２１６は、評価エリアに含まれる画素のうち、第一輝度値の輝度より低く、かつ、第二輝度値の輝度より高い輝度の画素の輝度値を用いて、光学系１０１の不要回折光に関する性能を評価する。具体的には、例えば、評価部２１６は、当該画素の輝度値の積算値を用いて、光学系１０１の不要回折光に関する性能を評価する。また、評価部２１６は、当該画素の輝度値と第二輝度値との差の積算値を用いて、光学系１０１の不要回折光に関する性能を評価してもよい。
さらに、評価部２１６は、複数の画角に対応して撮影された画像ごとに、光学系１０１の不要回折光に関する性能を評価する。
以上により、評価装置２００は、不要回折光像が周辺に存在する可能性の高い飽和画素を含む領域に対して不要回折光に関する評価を行うことができるので、評価の対象とすべきではない被写体像を誤って評価対象とすることを低減することが可能となる。
さらに、評価エリア内の輝度値ごとの画素数の推移に基づいて評価が必要な画素の輝度値を特定するので、不要回折光像の形状に係わらず高精度に不要回折光に関する評価を行うことが可能となる。
さらに、一枚の画像のみを用いて評価することができるので、被写体に動きがある場合であっても、不要回折光に関する評価をすることができる。
なお、評価装置２００は、光学系１０１と撮像素子１０５との間に対物レンズを設置してもよい。これにより、不要回折光に対応する像を拡大させることができるので、光学系１０１の不要回折光に関する性能を、より高精度に評価することが可能となる。
また、回折光学素子１０３を含む光学系１０１は、波長により不要回折光の発生分布及び発生量が異なるので、評価装置２００は、波長帯域通過フィルタを備えても良い。これにより、評価装置２００は、波長ごとに得られた画像を評価することができるので、光学系１０１の不要回折光に関する性能を、より高精度に評価することが可能となる。なお、波長帯域通過フィルタは、光学系１０１と光源２２１との間に設置されても良いし、光学系１０１と撮像素子１０５との間に設置されても良い。
以上、本発明に係る撮像装置及び評価装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、本発明は、実施の形態１の撮像装置１００が備える画像処理部１１０又は実施の形態２の評価装置２００が備える画像処理部２１０を備える画像処理装置として実現してもよい。
また、実施の形態１の撮像装置１００が備える画像処理部１１０又は実施の形態２の評価装置２００が備える画像処理部２１０は、複数の波長域のそれぞれに対応する輝度値を有する画像に対して、波長域ごとに画像処理を実行しても良い。この場合、評価エリア設定部１１１は、波長域ごとに評価エリアの大きさを変更しても良い。例えば、光学系１０１のＧ波長域の回折効率がＲ波長域及びＢ波長域の回折効率よりも高い場合、評価エリア設定部１１１は、Ｒ波長域及びＢ波長域の評価エリアよりも小さくなるように、Ｇ波長域の評価エリアを設定しても良い。
このように画像処理部１１０が波長域ごとに画像処理することにより、撮像装置は、波長に応じて不要回折光の特性が異なる回折光学素子を含む光学系により撮影された画像であっても、不要回折光による画質の劣化を高精度に補正することが可能となる。また、評価装置は、波長によって不要回折光の特性が異なる回折光学素子を含む光学系を、波長域ごとに性能を評価することが可能となる。
また、実施の形態１及び２の評価エリア設定部１１１は、評価エリアの中心が被写体像１３１ａの中心と一致するように評価エリア１３４ａを設定していたが、本発明に係る撮像装置及び評価装置は、このような撮像装置及び評価装置に限定されるものではない。例えば、評価エリア設定部１１１は、被写体の画角に応じて、評価エリアの中心位置を変更しても良い。また、評価エリア設定部１１１は、画像の波長域に応じて、評価エリアの中心位置を変更しても良い。これにより、さらに、補正及び評価の精度を向上させることが可能となる。
また、実施の形態１及び２の評価エリア設定部１１１は、画像処理における各種演算を容易とするために、矩形の評価エリア１３４ａを設定していたが、本発明に係る撮像装置及び評価装置は、このような撮像装置及び評価装置に限定されるものではない。例えば、評価エリア設定部１１１は、飽和画素群の形状と略相似形状の評価エリアを設定しても良い。この場合、第二輝度値特定部１１４は、評価エリアの周縁部に位置する画素の輝度値の平均値を第二輝度値として特定しても良い。
このように、評価エリア設定部１１１は、飽和画素群の形状と略相似形状の評価エリアを設定することにより、不要回折光像の形状に近い形状の評価エリアを設定することができる。その結果、撮像装置は、補正が不要な被写体像に対して誤って補正を行うことを低減できる。また、評価装置は、被写体像を不要回折光像と間違えて、光学系を評価することを低減できる。
また、実施の形態１及び２の第一輝度値特定部１１３は、輝度値ごとの画素数の推移を輝度が高い側から輝度が低い側へ辿った場合に、初めて所定の画素数を超えるときの輝度値を第一輝度値として特定していたが、本発明に係る撮像装置及び評価装置は、このような撮像装置及び評価装置に限定されるものではない。
例えば、第一輝度値特定部は、輝度値を横軸、画素数を縦軸とした場合の画素数の推移が上に凸となる位置の輝度値の中で、飽和画素の輝度値を除いて最も輝度が高い輝度値を算出し、算出した輝度値より輝度が高く、かつ、飽和画素の輝度値より輝度が低い輝度値を第一輝度値として特定しても良い。具体的には、第一輝度値特定部１１３は、図５に示すようなヒストグラムのピーク１４１、１４２、１４３のそれぞれの輝度値の中から、飽和画素の輝度値に対応するピーク１４２を除いて最も高い輝度を示すピーク１４３の輝度値を算出する。そして、第一輝度値特定部１１３は、ピーク１４３の輝度値と飽和画素の輝度値との中間値を第一輝度値として特定する。なお、中間値は一例であり、第一輝度値特定部１１３は、ピーク１４３の輝度値と飽和画素の輝度値との平均値を第一輝度値として特定してもよい。つまり、第一輝度値特定部１１３は、ピーク１４３の輝度値より大きく、かつ、飽和画素の輝度値より小さい輝度値を第一輝度値として特定する。
これにより、撮像装置又は評価装置は、評価エリア内の画素の輝度値分布の特性に応じて、不要回折光像の上限輝度を示す第一輝度値を特定することができるので、不要回折光像の形状に係わらず高精度に画像を補正又は光学系を評価することが可能となる。
また、実施の形態１及び２の第二輝度値特定部１１４は、評価エリアの端部の画素の輝度値に基づいて、第二輝度値を特定していたが、輝度値の推移を利用して第二輝度値を特定しても良い。すなわち、第二輝度値特定部１１４は、輝度値を横軸、画素数を縦軸とした場合の画素数の推移が上に凸となる位置の輝度値の中で、最も輝度が低い輝度値を第二輝度値として特定する。具体的には、例えば、第二輝度値特定部１１４は、図５に示すようなヒストグラムのピーク１４１の輝度値を第二輝度値として特定する。
これにより、第二輝度値特定部１１４は、評価エリア内の画素の輝度値分布の特性に応じて第二輝度値を特定することができるので、不要回折光像の形状による影響を受けることなく背景に対応する輝度値を高精度に特定することが可能となる。
また、実施の形態１の撮像装置１００又は実施の形態２の評価装置２００は、判定部を備えていたが、本発明の撮像装置又は評価装置は、必ずしも判定部を備える必要はない。撮像装置又は評価装置は、判定部を備えない場合であっても、評価エリア内の輝度値ごとの画素数の推移に基づいて補正が必要な画素の輝度値を特定することができるので、不要回折光像の形状に係わらず高精度に画像を補正することが可能となる。なお、判定部を備えない場合、補正部は、第二輝度値の値に係わらず、第一輝度値から第二輝度値までの輝度値を有する画素の輝度値を補正すればよい。
また、本発明は、このような撮像装置又は評価装置として実現することができるだけでなく、このような撮像装置又は評価装置が備える特徴的な処理部をステップとする画像処理方法又は光学系評価方法として実現したり、それらの処理をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以下、実施例を用いて本発明をより具体的に説明する。なお、本発明は以下の実施例に限定されるものではない。
（実施例１）
本発明の実施例１に係る撮像装置について説明する。
本実施例に係る撮像装置１００は、画素数が６４０×４８０ピクセルであり、輝度が２５６階調であるカラー画像を生成する。そして、撮像装置１００は、生成されたカラー画像から、Ｂ波長域の成分を抽出することにより、Ｂ波長域の画像を取得する。
本実施例に係る撮像装置１００の光学系１０１に含まれる回折光学素子１０３は、Ｇ波長域において回折効率が１００％となるように設計された回折格子が片面に形成されている。したがって、本実施例の光学系１０１は、Ｂ波長域の光に対して回折効率が１００％とならない。つまり、光学系１０１は、Ｂ波長域の光に対して不要回折光を発生する。
図１２は、本実施例に係る撮像装置により撮影されたＢ波長域の画像において、評価エリアの領域のみを切り出した画像を示す図である。なお、図１２に示す画像は、輝度が高いほど（輝度値が大きいほど）、色が黒くなるように図示されている。また、不要回折光による画質の劣化をわかりやすくするために、図１２に示す画像にはγ補正が施されている。
図１２に示すように、本実施例の撮像装置１００により撮影されたＢ波長域の画像では、高輝度の被写体像３３１の周辺に低輝度な不要回折光像３３２が検知された。
そこで、評価エリア設定部１１１は、不要回折光像３３２が十分に納まるような広さの矩形領域を評価エリア３３４として設定した。具体的には、評価エリア３３４のサイズは、３００×３００ピクセルであった。光軸上近傍に設置された被写体を撮影したため、評価エリア設定部１１１は、輝度値が飽和した被写体像３３１の中心と評価エリア３３４の中心とが一致するように評価エリア３３４を設定した。
図１３は、図１２に示す評価エリア３３４内の輝度値のヒストグラム３４０である。本実施例では、ノイズを除去するために、画素数算出部１１２は、算出した画素数に対して、隣接する５画素による移動平均処理を行った。図１３に示すように、ヒストグラム３４０において、背景に対応するピーク３４１、不要回折光像３３２に対応するピーク３４３、及び輝度値が飽和している被写体像３３１に対応するピーク３４２の３つのピークを、それぞれ分離して確認できる。
そこで、第一輝度値特定部１１３は、輝度値が飽和した被写体像３３１に対応するピーク３４２の輝度値と不要回折光像３３２に対応するピーク３４３の輝度値との中間値である「１２０」を、不要回折光像３３２の最大輝度値である第一輝度値Ｉｍａｘとして特定した。
また、第二輝度値特定部１１４は、評価エリア３３４の四頂点のそれぞれに対応する１０×１０ピクセルの領域に含まれる画素の輝度値の平均値である「０．７２」を、不要回折光像３３２の最小輝度値である第二輝度値Ｉｍｉｎとして特定した。
そして、補正部１１６は、第二輝度値Ｉｍｉｎから第一輝度値Ｉｍａｘまでの輝度値である画素の輝度値を、第二輝度値Ｉｍｉｎとなるように補正した。
図１４は、本実施例に係る撮像装置により補正された画像を示す図である。図１４に示すように、図１２に示す評価エリア３３４内の画像に存在した、分布にムラがある不要回折光像３３２が、完全に除去された。
（実施例２）
次に、本発明の実施例２に係る評価装置について説明する。
本実施例に係る評価装置２００は、回折格子が形成された面上に、基材とは異なる屈折率及び屈折率分散を有する光学材料が保護膜として塗布された回折光学素子を含む光学系１０１の不要回折光に関する性能の評価を行った。この回折光学素子は、不要回折光の発生を低減する目的で作成された光学素子であるので、設計どおりに不要回折光の発生が低減されているかを高精度に評価することが必要となる。
本実施例の評価装置２００は、被写体を点光源とするために、図１０に示したように、光源２２１と光学系１０１との間に設置された、円形の開口部を有する遮蔽手段２２２を備える。したがって、光学系１０１は、遮蔽手段２２２の開口部から出射した光を撮像素子１０５の撮像面に結像する。
また、評価装置２００は、光学系１０１と撮像素子１０５との間に設置された対物レンズを備える。
この評価装置２００により、被写体像が拡大された画像が取得された。そして、評価エリア設定部１１１は、取得された画像から評価エリアを設定した。ここで設定された評価エリアは、３００×３００ピクセルであった。また、評価エリア設定部１１１は、評価エリアの中心が、輝度値が飽和した被写体像の中心と一致するように、評価エリアを設定した。
次に、画素数算出部１１２は、実施例１と同様に、評価エリア内の輝度値ごとの画素数を算出することにより、ヒストグラムを作成した。
そして、第一輝度値特定部１１３は、実施例１と同様に、このヒストグラムにおける、被写体像に対応するピークの輝度値と不要回折光像に対応するピークの輝度値との中間値を、第一輝度値Ｉｍａｘとして特定した。ここで特定された第一輝度値Ｉｍａｘは、「１１８」であった。
また、第二輝度値特定部１１４は、光源２２１が消灯された状態で撮影された画像の平均輝度値を第二輝度値として特定した。ここで特定された第二輝度値Ｉｍｉｎは、「０．６０」であった。
そこで、評価部２１６は、第二輝度値Ｉｍｉｎから第一輝度値Ｉｍａｘまでの輝度値である画素の輝度値を積算した。
本実施例の評価装置２００は、上記の処理を、光源２２１を移動させることにより得られる、画角０度、１０度、及び３０度の３画角の画像に対して実行した。
図１５は、実施例２の評価装置２００により得られた、不要回折光像の輝度値の積算値と画角との関係を示すグラフである。図１５に示すように、本実施例の光学系１０１は、画角が大きくなるほど不要回折光が多く発生することが確認できる。そこで、例えば、算出された積算値に基づいて、回折光学素子の設計の改善を行うことが可能となる。また、算出された積算値が予め定められた閾値以下であるか否かを判定することにより、製造された回折光学素子の検査を行うことも可能となる。
本発明に係る画像処理装置等は、回折光学素子を含む光学系から生じた不要回折光により画質が劣化した画像を高精度に補正することができる画像処理装置、撮像装置等として、例えば、デジタルカメラ、デジタルビデオカメラ、携帯電話等として利用することができる。また、本発明に係る評価装置等は、回折光学素子を含む光学系の不要回折光に関する性能を定量的に評価できる評価装置等として、例えば、光学系生産ラインを構成する検査装置等として利用することができる。
１００ 撮像装置
１０１、１５５ 光学系
１０２ 絞り
１０３ 回折光学素子
１０４ 屈折光学素子
１０５ 撮像素子
１１０、２１０ 画像処理部
１１１ 評価エリア設定部
１１２ 画素数算出部
１１３ 第一輝度値特定部
１１４ 第二輝度値特定部
１１５ 判定部
１１６ 補正部
１２０、１５１ 被写体
１２１ａ、１２１ｂ、２２１ 光源
１２３ 物体
１３０ａ、１３０ｂ 画像
１３１ａ、１３１ｂ、１３３、３３１ 被写体像
１３２ａ、１３２ｂ、３３２ 不要回折光像
１３４ａ、１３４ｂ、３３４ 評価エリア
１４０、３４０ ヒストグラム
１４１、１４２、１４３、３４１、３４２、３４３ ピーク
１５２ 一次光結像面
１５３ 二次光結像面
１５４ 零次光結像面
２００ 評価装置
２１６ 評価部
２２２ 遮蔽手段
２２３ 可動機構

Claims (18)

  1. 回折光学素子を含む光学系から生じた不要回折光により画質が劣化した画像を補正する画像処理装置であって、
    前記画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出し、検出した飽和画素を含む前記画像の一部領域を評価エリアとして設定する評価エリア設定部と、
    設定された前記評価エリアに含まれる画素の輝度値ごとの画素数を算出する画素数算出部と、
    算出された前記画素数を輝度値の大きさの順番に並べた場合の前記画素数の推移に基づいて、前記不要回折光の像の上限輝度を示す第一輝度値を特定する第一輝度値特定部と、
    前記画像の背景に対応する輝度値である第二輝度値を特定する第二輝度値特定部と、
    前記評価エリアに含まれる画素のうち、前記第一輝度値の輝度より低く、かつ、前記第二輝度値の輝度より高い輝度の画素に対して、輝度が低くなるように輝度値を補正する補正部とを備える
    画像処理装置。
  2. 前記評価エリア設定部は、前記飽和画素が前記画像に複数含まれる場合には、互いに近接する前記飽和画素をグループ化した飽和画素群を設定し、設定された飽和画素群ごとに前記評価エリアを設定する
    請求項１に記載の画像処理装置。
  3. 前記評価エリア設定部は、前記飽和画素群が大きいほど前記評価エリアが大きくなるように前記評価エリアを設定する
    請求項２に記載の画像処理装置。
  4. 前記評価エリア設定部は、前記飽和画素群に対応し、かつ、前記不要回折光に含まれる所定の回折次数の回折光の結像範囲を前記評価エリアとして設定する
    請求項３に記載の画像処理装置。
  5. 前記第一輝度値特定部は、前記画素数の推移を輝度が高い側から輝度が低い側へ辿った場合に、初めて所定の画素数を超えるときの輝度値を前記第一輝度値として特定する
    請求項１に記載の画像処理装置。
  6. 前記第一輝度値特定部は、前記輝度値を横軸、前記画素数を縦軸とした場合の前記画素数の推移が上に凸となる位置の輝度値の中で、前記飽和画素の輝度値を除いて最も輝度が
    高い輝度値を算出し、算出した輝度値より輝度が高く、かつ、前記飽和画素の輝度値より輝度が低い輝度値を前記第一輝度値として特定する
    請求項１に記載の画像処理装置。
  7. 前記第二輝度値特定部は、前記評価エリアの端部の画素の輝度値に基づいて、前記第二輝度値を特定する
    請求項１に記載の画像処理装置。
  8. 前記第二輝度値特定部は、前記輝度値を横軸、前記画素数を縦軸とした場合の前記画素数の推移が上に凸となる位置の輝度値の中で、最も輝度が低い輝度値を前記第二輝度値として特定する
    請求項１に記載の画像処理装置。
  9. 前記画像を構成する複数の画素は、複数の波長域のそれぞれに対応する輝度値を有し、
    前記評価エリア設定部は、前記複数の波長域ごとに前記評価エリアを設定し、
    前記画素数算出部は、前記複数の波長域ごとに前記画素数を算出し、
    前記第一輝度値特定部は、前記複数の波長域ごとに前記第一輝度値を特定し、
    前記第二輝度値特定部は、前記複数の波長域ごとに前記第二輝度値を特定し、
    前記補正部は、前記複数の波長域ごとに前記輝度値を補正する
    請求項１に記載の画像処理装置。
  10. 前記輝度値は、特定の波長域にのみ対応する輝度値である
    請求項１に記載の画像処理装置。
  11. 前記不要回折光の像は、複数の画素群からなる
    請求項１に記載の画像処理装置。
  12. さらに、前記第二輝度値が所定閾値より小さいか否かを判定する判定部を備え、
    前記補正部は、前記判定部により前記第二輝度値が所定閾値より小さいと判定された場合にのみ、前記輝度値を補正する
    請求項１に記載の画像処理装置。
  13. 回折光学素子を含む光学系から生じた不要回折光により画質が劣化した画像を補正する
    プログラムであって、
    前記画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出し、検出した飽和画素を含む前記画像の一部領域を評価エリアとして設定する評価エリア設定ステップと、
    設定された前記評価エリアに含まれる画素の輝度値ごとの画素数を算出する画素数算出ステップと、
    算出された前記画素数を輝度値の大きさの順番に並べた場合の前記画素数の推移に基づいて、前記不要回折光の像の上限輝度を示す第一輝度値を特定する第一輝度値特定ステップと、
    前記画像の背景に対応する輝度値である第二輝度値を特定する第二輝度値特定ステップと、
    前記評価エリアに含まれる画素のうち、前記第一輝度値の輝度より低く、かつ、前記第二輝度値の輝度より高い輝度の画素に対して、輝度が低くなるように輝度値を補正する補正ステップとをコンピュータに実行させる
    プログラム。
  14. 不要回折光により画質が劣化した画像を補正する撮像装置であって、
    回折光学素子を含む光学系と、
    前記光学系を透過した光を撮影する撮像系と、
    請求項１に記載の画像処理装置とを備える
    撮像装置。
  15. 回折光学素子を含む光学系の不要回折光に関する性能を評価する評価装置であって、
    前記光学系から所定距離離れて配置される光源と、
    前記光学系を透過した前記光源からの光を撮影する撮像系と、
    前記撮像系により撮影された前記光源の画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出し、検出した飽和画素を含む前記画像の一部領域を評価エリアとして設定する評価エリア設定部と、
    設定された前記評価エリアに含まれる画素の輝度値ごとの画素数を算出する画素数算出部と、
    算出された前記画素数を輝度値の大きさの順番に並べた場合の前記画素数の推移に基づいて、前記不要回折光の像の上限輝度を示す第一輝度値を特定する第一輝度値特定部と、
    前記画像の背景に対応する輝度値である第二輝度値を特定する第二輝度値特定部と、
    前記評価エリアに含まれる画素のうち、前記第一輝度値の輝度より低く、かつ、前記第二輝度値の輝度より高い輝度の画素の輝度値を用いて、前記光学系の不要回折光に関する性能を評価する評価部とを備える
    評価装置。
  16. 前記光源は、点光源である
    請求項１５に記載の評価装置。
  17. さらに、前記光学系と前記撮像系との間に配置され、前記光学系により形成された像を拡大する対物レンズを備える
    請求項１５に記載の評価装置。
  18. 回折光学素子を含む光学系の不要回折光に関する性能を評価する評価装置のためのプログラムであって、
    前記評価装置は、
    前記光学系から所定距離離れて配置される光源と、
    前記光学系を透過した前記光源からの光を撮影する撮像系とを備え、
    前記プログラムは、
    前記撮像系により撮影された前記光源の画像を構成する複数の画素の中から輝度値が飽和している画素である飽和画素を検出し、検出した飽和画素を含む前記画像の一部領域を評価エリアとして設定する評価エリア設定ステップと、
    設定された前記評価エリアに含まれる画素の輝度値ごとの画素数を算出する画素数算出ステップと、
    算出された前記画素数を輝度値の大きさの順番に並べた場合の前記画素数の推移に基づいて、前記不要回折光の像の上限輝度を示す第一輝度値を特定する第一輝度値特定ステップと、
    前記画像の背景に対応する輝度値である第二輝度値を特定する第二輝度値特定ステップと、
    前記評価エリアに含まれる画素のうち、前記第一輝度値の輝度より低く、かつ、前記第二輝度値の輝度より高い輝度の画素の輝度値を用いて、前記光学系の不要回折光に関する性能を評価する評価ステップとを前記評価装置のコンピュータに実行させる
    プログラム。
JP2009554813A 2008-09-17 2009-09-11 画像処理装置、撮像装置、及び評価装置 Active JP4531853B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008238490 2008-09-17
JP2008238490 2008-09-17
PCT/JP2009/004531 WO2010032409A1 (ja) 2008-09-17 2009-09-11 画像処理装置、撮像装置、評価装置、画像処理方法及び光学系評価方法

Publications (2)

Publication Number Publication Date
JP4531853B2 true JP4531853B2 (ja) 2010-08-25
JPWO2010032409A1 JPWO2010032409A1 (ja) 2012-02-02

Family

ID=42039259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009554813A Active JP4531853B2 (ja) 2008-09-17 2009-09-11 画像処理装置、撮像装置、及び評価装置

Country Status (4)

Country Link
US (1) US8346010B2 (ja)
JP (1) JP4531853B2 (ja)
CN (1) CN101861599B (ja)
WO (1) WO2010032409A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4814217B2 (ja) * 2004-04-15 2011-11-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像を低ダイナミックレンジから高ダイナミックレンジに変換するシステム及びコンピュータプログラム
US8989436B2 (en) * 2010-03-30 2015-03-24 Nikon Corporation Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus
JP5099164B2 (ja) * 2010-03-30 2012-12-12 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP5423663B2 (ja) * 2010-12-20 2014-02-19 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
CN102466519B (zh) * 2010-11-10 2014-02-05 敦南科技股份有限公司 光感测装置的输出信号校正方法及光感测装置
KR101327078B1 (ko) 2012-04-27 2013-11-07 엘지이노텍 주식회사 카메라 및 이의 영상 처리 방법
JP6185249B2 (ja) 2012-04-27 2017-08-23 エルジー イノテック カンパニー リミテッド イメージ処理装置及びイメージ処理方法
JP5979961B2 (ja) * 2012-05-07 2016-08-31 キヤノン株式会社 焦点検出装置、焦点検出方法及び撮像装置
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
JP2015007739A (ja) * 2012-10-01 2015-01-15 キヤノン株式会社 表示装置及びその制御方法
JP6049955B2 (ja) * 2014-08-22 2016-12-21 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images
JP6624939B2 (ja) * 2016-01-14 2019-12-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP6720012B2 (ja) * 2016-08-01 2020-07-08 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US11417111B2 (en) * 2017-12-22 2022-08-16 Terra Scientia, Llc Method, system and material for detecting objects of high interest with laser scanning systems
CN110489580B (zh) * 2019-08-26 2022-04-26 Oppo（重庆）智能科技有限公司 图像处理方法、装置、显示屏组件以及电子设备
CN114066785A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法及装置、终端和存储介质
CN111970447B (zh) * 2020-08-25 2021-12-21 云谷（固安）科技有限公司 显示装置和移动终端

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127283A (ja) * 1990-09-18 1992-04-28 Mitsubishi Electric Corp 画像追尾装置
JPH07274018A (ja) * 1994-03-29 1995-10-20 Dainippon Screen Mfg Co Ltd フレア除去装置
JPH11122539A (ja) * 1997-10-17 1999-04-30 Olympus Optical Co Ltd 撮像装置
JP2000333076A (ja) * 1999-05-19 2000-11-30 Asahi Optical Co Ltd デジタルカメラにおけるフレア成分除去方法
JP2001077990A (ja) * 1999-09-06 2001-03-23 Sharp Corp 画像読取装置および画像形成装置
JP2001094804A (ja) * 1999-09-20 2001-04-06 Kyocera Mita Corp 画像処理装置
JP2004120487A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 撮像装置
JP2005136917A (ja) * 2003-10-31 2005-05-26 Canon Inc 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム
JP2005167485A (ja) * 2003-12-01 2005-06-23 Canon Inc 画像処理装置及び画像処理方法
JP2006014261A (ja) * 2004-05-27 2006-01-12 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2006165937A (ja) * 2004-12-07 2006-06-22 Ricoh Co Ltd 撮像装置
WO2008072709A1 (ja) * 2006-12-14 2008-06-19 Panasonic Corporation 回折光学素子の光学特性測定方法および回折光学素子の光学特性測定装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5756981A (en) * 1992-02-27 1998-05-26 Symbol Technologies, Inc. Optical scanner for reading and decoding one- and-two-dimensional symbologies at variable depths of field including memory efficient high speed image processing means and high accuracy image analysis means
CA2152914C (en) * 1992-12-28 1997-04-15 Michele Hinnrichs Image multispectral sensing
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5774599A (en) * 1995-03-14 1998-06-30 Eastman Kodak Company Method for precompensation of digital images for enhanced presentation on digital displays with limited capabilities
EP0767581B1 (en) * 1995-09-29 2002-05-22 Hewlett-Packard Company, A Delaware Corporation Image processing apparatus and method
JP4076242B2 (ja) * 1995-12-26 2008-04-16 オリンパス株式会社 電子撮像装置
US5872870A (en) * 1996-02-16 1999-02-16 Cognex Corporation Machine vision methods for identifying extrema of objects in rotated reference frames
US5949905A (en) * 1996-10-23 1999-09-07 Nichani; Sanjay Model-based adaptive segmentation
JPH11249241A (ja) * 1998-03-03 1999-09-17 Konica Corp 画像処理方法及び画像処理装置
DE69929824T2 (de) * 1998-11-12 2006-08-31 3M Innovative Properties Co., St. Paul Farbkorrigierte projektionslinsen mit verwendung von diffraktiven optischen oberflächen
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
US7103219B2 (en) * 2001-04-12 2006-09-05 Eastman Kodak Company Population mixture modeling with an indeterminate number of sub-populations
JP2004234069A (ja) * 2003-01-28 2004-08-19 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、及びプログラム
JP4127283B2 (ja) 2003-04-25 2008-07-30 日本電気株式会社 リセット回路とディジタル通信装置
JP3944151B2 (ja) 2003-10-31 2007-07-11 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
EP1528797B1 (en) * 2003-10-31 2015-07-08 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
US7773805B2 (en) * 2005-12-30 2010-08-10 Aptina Imaging Corporation Method and apparatus for flare cancellation for image contrast restoration
JP4715703B2 (ja) * 2006-09-29 2011-07-06 日本電気株式会社 光学フレア検査装置および検査方法
CN100562063C (zh) * 2007-05-22 2009-11-18 鸿富锦精密工业（深圳）有限公司 图像信号校正方法
US8208043B2 (en) * 2008-05-09 2012-06-26 Aptina Imaging Corporation Lens cleaning warning system and method
US8035728B2 (en) * 2008-06-27 2011-10-11 Aptina Imaging Corporation Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127283A (ja) * 1990-09-18 1992-04-28 Mitsubishi Electric Corp 画像追尾装置
JPH07274018A (ja) * 1994-03-29 1995-10-20 Dainippon Screen Mfg Co Ltd フレア除去装置
JPH11122539A (ja) * 1997-10-17 1999-04-30 Olympus Optical Co Ltd 撮像装置
JP2000333076A (ja) * 1999-05-19 2000-11-30 Asahi Optical Co Ltd デジタルカメラにおけるフレア成分除去方法
JP2001077990A (ja) * 1999-09-06 2001-03-23 Sharp Corp 画像読取装置および画像形成装置
JP2001094804A (ja) * 1999-09-20 2001-04-06 Kyocera Mita Corp 画像処理装置
JP2004120487A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 撮像装置
JP2005136917A (ja) * 2003-10-31 2005-05-26 Canon Inc 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム
JP2005167485A (ja) * 2003-12-01 2005-06-23 Canon Inc 画像処理装置及び画像処理方法
JP2006014261A (ja) * 2004-05-27 2006-01-12 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2006165937A (ja) * 2004-12-07 2006-06-22 Ricoh Co Ltd 撮像装置
WO2008072709A1 (ja) * 2006-12-14 2008-06-19 Panasonic Corporation 回折光学素子の光学特性測定方法および回折光学素子の光学特性測定装置

Also Published As

Publication number Publication date
US20100246967A1 (en) 2010-09-30
US8346010B2 (en) 2013-01-01
CN101861599A (zh) 2010-10-13
CN101861599B (zh) 2012-07-04
JPWO2010032409A1 (ja) 2012-02-02
WO2010032409A1 (ja) 2010-03-25

Similar Documents

Publication Publication Date Title
JP4531853B2 (ja) 画像処理装置、撮像装置、及び評価装置
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US9691134B2 (en) Image processing apparatus that performs image restoration processing and image processing method
JP5173954B2 (ja) 画像処理装置及び画像処理方法
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5681954B2 (ja) 撮像装置及び撮像システム
JP6004221B2 (ja) 画像処理装置
JP5000030B1 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2011123589A5 (ja)
JP5847471B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US20150296128A1 (en) Control apparatus and control method
US9118878B2 (en) Image processing apparatus that corrects for chromatic aberration for taken image, image pickup apparatus, method of correcting for chromatic aberration of magnification therefor, and storage medium
JP4796666B2 (ja) 撮像装置およびそれを用いた測距装置
JP5528139B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US10515442B2 (en) Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium
JP2011160255A5 (ja)
JP2005079856A (ja) 画像処理装置および画像処理プログラム
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP5352003B2 (ja) 画像処理装置及び画像処理方法
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
KR20090006979A (ko) 오토 포커스 장치 및 그 오토 포커싱 방법
JP2017118293A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6452389B2 (ja) 画像処理装置および画像処理方法
JP2014131320A (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100609

R150 Certificate of patent or registration of utility model

Ref document number: 4531853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3