JPWO2020110595A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JPWO2020110595A1
JPWO2020110595A1 JP2020558223A JP2020558223A JPWO2020110595A1 JP WO2020110595 A1 JPWO2020110595 A1 JP WO2020110595A1 JP 2020558223 A JP2020558223 A JP 2020558223A JP 2020558223 A JP2020558223 A JP 2020558223A JP WO2020110595 A1 JPWO2020110595 A1 JP WO2020110595A1
Authority
JP
Japan
Prior art keywords
pupil region
light
polarization direction
pixel
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020558223A
Other languages
English (en)
Other versions
JP7135109B2 (ja
Inventor
小野　修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020110595A1 publication Critical patent/JPWO2020110595A1/ja
Application granted granted Critical
Publication of JP7135109B2 publication Critical patent/JP7135109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Polarising Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合に、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制され、異なる画像を構成する光の偏光方向の設計に自由度があり、光量の均等性がある複数の画像を生成することができる撮像装置及び撮像方法を提供する。撮像装置（１）は、撮像光学系（１０）と、第１の瞳領域（Ｅ１）及び第２の瞳領域（Ｅ２）を透過する光の偏光方向を揃える第１の偏光子と、円又は楕円偏光に変換する波長板（１４）と、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する画素ユニットを複数有する撮像素子（１００）と、画像生成部と、を備える。

Description

本発明は、撮像装置及び撮像方法に関し、特に１つの撮像素子で複数の画像を独立に取得する撮像装置及び撮像方法に関する。
従来より、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。
例えば特許文献１には、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。特許文献１に記載された受光素子は偏光板の偏光子を透過した光をそれぞれ透過させる検光子アレイを備えており、受光素子が受光した異なる偏光方向の光に対応する各画像が生成される。
特開２００９−１６９０９６号公報
ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。
このように、一度も偏光方向を揃えること無く生成された異なる偏光方向の光に基づいて、画像が生成される場合には以下のような問題が発生することがある。
例えば水面を撮影する際に、偏光フィルタを用いてブリュスター角で撮影することによりｓ偏光を遮蔽する技術が知られている。しかし、始めから異なる偏光方向の光を生成する場合には、一方の偏光方向はｓ偏光を遮蔽する方向に合わせることができるが、他方の偏光方向はｓ偏光を遮蔽する方向に合わせることができない。
また、分光反射率比を利用して果物の糖度を推定する技術が知られているが、一度も偏光方向を揃えることなく、異なる偏光方向の光に基づく画像が用いられると、上手く分光反射率比が算出されない場合がある。具体的には、一度も偏光方向を揃えることなく得られた、異なる偏光方向の光に基づく画像は、被写体の光沢が大きな部分に関しては、鏡面反射光の成分が大きく正しい分光反射率比が得られない。
また例えば視差画像を生成する場合には、偏光方向が一度も揃えられていないと、画像間で見え方が異なってしまい視差量の誤検出が発生する場合がある。具体的には、光沢を有する被写体に関して、互いに異なる偏光方向の光に基づいて視差画像を生成した場合には、一方の画像ではブリュスター角に合致した領域では光沢が抑えられた画像が取得されるが、他方の画像では光沢が抑えられていない画像が取得される。その結果、両画像の見え方に大きな差異が発生し、視差量の誤検出が発生する場合がある。
一方で、入射する光の偏光方向を直線偏光にして一度揃えた後に（以下の説明では揃えられた偏光方向を第１の偏光方向と記載する）、異なる複数の偏光方向の光を生成して画像を得ることが考えられる。この場合に、異なる複数の偏光方向の光を生成する際の偏光方向に制限が加えられてしまう場合がある。具体的には、一度揃えられた偏光方向と直交するような偏光方向は遮光されてしまうので、第１の偏光方向と直交する偏光方向を有する光により画像を生成することはできない。また、第１の偏光方向と、直交する角度に近い角度では透過する光量が少なくなってしまうので、直交する角度に近い偏光方向を有する光により画像を生成することは好ましくない。さらに、複数の画像を構成する光の光量は、第１の偏光方向との関係で増減してしまうので、得られる複数の画像において光量の均等性を維持することが困難となる。
本発明はこのような事情に鑑みてなされたもので、その目的は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合に、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制され、得られる画像を構成する光の偏光方向の設計に自由度があり、光量の均等性がある複数の画像を生成することができる撮像装置及び撮像方法を提供することである。
上記目的を達成するための本発明の一の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光子で第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。
本態様によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様によれば、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。
本発明の他の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光子で第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。
本態様によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様によれば、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を直交させることが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。また、本態様では、第２の偏光方向と第３の偏光方向とが直交し、且つ第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを有するので、理想的には第２の偏光方向の光と第３の偏光方向の光に対応する信号が混ざることなく混信除去処理を行う必要がない。よって、本態様は混信除去処理を行わなくても適切な第１の画像及び第２の画像を得ることができる。
好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、を備える。
本発明の他の態様である撮像装置は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光子で第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第３の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、を備える。
本態様によれば、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様によれば、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。
好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、を備える。
好ましくは、波長板は、１／４波長板である。
好ましくは、第１の偏光子は、ｓ偏光を遮光する。
好ましくは、第２の偏光子は、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向と直交する第２の偏光方向の光を透過させる。
好ましくは、撮像素子は、画素ユニットが偏光素子を備える画素により構成されている。
好ましくは、撮像素子は、画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子を有する。
本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
本発明の他の態様である撮像方法は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第３の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を、第４の偏光子により、透過させるステップと、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、を含む。
本発明によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができ、又、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。
図１は、撮像装置の概略構成を示す図である。 図２は、第１の偏光フィルタの概略構成を示す正面図である。 図３は、波長板の概略構成を説明する図である。 図４は、第２の偏光フィルタの概略構成を示す正面図である。 図５は、第１の偏光方向、第２の偏光方向、第３の偏光方向の一例を示す図である。 図６は、撮像素子の概略構成を示す図である。 図７は、１画素の概略構成を示す断面図である。 図８は、２種類の偏光素子の配列パターンの一例を示す図である。 図９は、偏光素子の１ユニットの構成を示す図である。 図１０は、撮像素子の画素の配列の一例を示す図である。 図１１は、信号処理部の概略構成を示すブロック図である。 図１２は、画像生成の概念図である。 図１３は、行列Ａの算出の例を説明する図である。 図１４は、行列Ａの算出の例を説明する図である。 図１５は、行列Ａの算出の例を説明する図である。 図１６は、撮像方法の処理フローを示したフローチャートである。 図１７は、撮像装置の概略構成を示す図である。 図１８は、波長フィルタの概略構成を示す正面図である。 図１９は、撮像装置の概略構成を示す図である。 図２０は、撮像光学系の概念的な瞳領域Ｅを示す正面図である。 図２１は、行列Ａの算出の例を説明する図である。 図２２は、行列Ａの算出の例を説明する図である。 図２３は、撮像方法の処理フローを示したフローチャートである。 図２４は、撮像装置の概略構成を示す図である。
以下、添付図面に沿って本発明の好ましい実施の形態について詳説する。
＜第１の実施形態＞
図１は、第１の実施形態の撮像装置１の概略構成を示す図である。本実施形態では、互いに異なる２つの偏光方向（第２の偏光方向２６及び第３の偏光方向２８）を利用して、独立な２枚の画像を取得する。
同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ（第１の偏光子）１２、波長板１４、第２の偏光フィルタ（第２の偏光子及び第３の偏光子）１６、撮像素子１００、及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、波長板１４により変換された円偏光２５、第２の偏光フィルタ１６を透過した光の偏光方向である第２の偏光方向２６及び第３の偏光方向２８が撮像光学系１０の瞳領域Ｅと共に、それぞれ第１の偏光フィルタ１２、波長板１４、及び第２の偏光フィルタ１６の下方に示されている。
被写体２０が反射する光は、あらゆる方向の偏光方向２２を含んでいる。この光は撮像光学系１０で捉えられる。撮像光学系１０の瞳領域Ｅは、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２で構成される。第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２は、任意に決定することができる。例えば、図１に示すように、瞳領域Ｅを鉛直方向に２分割し、一方を第１の瞳領域Ｅ１とし他方を第２の瞳領域Ｅ２としてもよい。この場合には、第１の瞳領域Ｅ１を透過した光に基づく画像と、第２の瞳領域Ｅ２を透過した光に基づく画像とで視差画像を得ることができる。また例えば、瞳領域Ｅを鉛直方向に直交する水平方向に２分割し、一方を第１の瞳領域Ｅ１とし、他方を第２の瞳領域Ｅ２としてもよい。
第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、瞳位置又は瞳位置の近傍に設けられた第１の偏光フィルタ（第１の偏光子）１２に入射し透過する。第１の偏光フィルタ１２を透過した第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、第１の偏光方向２４に揃えられた直線偏光となる。その後、第１の偏光方向２４に揃えられた直線偏光は、波長板１４により円偏光２５に変換される。そして、第２の偏光フィルタ１６により、瞳領域Ｅの半分の半瞳領域（第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２）毎に、第２の偏光方向２６の光及び第３の偏光方向２８の光が透過させられる。その後、撮像素子１００により、第２の偏光方向２６の光と第３の偏光方向２８の光が受光される。
〔第１の偏光フィルタ〕
図２は、第１の偏光フィルタ１２の概略構成を示す正面図である。第１の偏光フィルタ１２は、第１の偏光子の機能を有し、図１に示すように撮像光学系１０の瞳位置又はその近傍に備えられる。そして、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える。例えば第１の偏光フィルタ１２は、ｓ偏光を遮光するように偏光透過軸が設けられた偏光フィルタが用いられる。第１の偏光フィルタ１２にｓ偏光を遮光する偏光フィルタが用いられることにより、水面等の反射光により得られる複数の画像の見え方が反射光により異なることを抑制することができる。なお、第１の偏光フィルタ１２の偏光透過軸は符号Ａａで示されている。
〔波長板〕
図３は、波長板１４の概略構成を説明する図である。波長板１４は、第１の偏光方向２４を有する直線偏光Ｌ１が入射され、円偏光２５を出射する。波長板１４は、直線偏光Ｌ１を円偏光２５に変換して出射する。波長板１４としては、１／４λ板が使用される。第１の偏光方向２４と光学軸３１とのなす角が４５°である場合には、波長板１４から出射される光は円偏光２５となる。また、第１の偏光方向２４を有する直線偏光Ｌ１と波長板１４の光学軸３１とのなす角が４５°でない場合には、波長板１４は楕円偏光を出射する。波長板１４によって、第１の偏光方向２４を有する直線偏光Ｌ１が円偏光２５に変換されることによって、第２の偏光フィルタ１６の偏光方向の設計の自由度が向上する。すなわち、第２の偏光フィルタ１６において、第１の偏光方向２４と直交する偏光方向、又は直交に近い偏光方向を透過するように設計しても、第２の偏光フィルタ１６に入射する光の遮光又は光量の極端な減少を抑制することができ、第２の偏光フィルタ１６の偏光方向の設計の自由度が向上する。ここで直交に近いとは、直交から±２０°、好ましくは±１０°以内の範囲でずれていることをいう。また、波長板１４により直線偏光Ｌ１が円偏光２５に変換されることにより、得られる光量の偏光方向の依存性がなくなり得られる複数の画像の光量の均等性を保持することが可能となる。
〔第２の偏光フィルタ〕
図４は、第２の偏光フィルタ１６の概略構成を示す正面図である。第２の偏光フィルタ１６は、第２の偏光子及び第３の偏光子の機能を有する。第２の偏光フィルタ１６の第２の偏光子の機能を有する部分は、第１の瞳領域Ｅ１を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向２４とは異なる第２の偏光方向２６の光を透過させる。また、第２の偏光フィルタ１６の第３の偏光子の機能を有する部分は、第２の瞳領域Ｅ２を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向２４及び第２の偏光方向２６とは異なる第３の偏光方向２８の光を透過させる。なお、第２の偏光フィルタ１６の偏光透過軸は、符号Ａｂ及び符号Ａｃで示されている。
図５は、第１の偏光方向２４、第２の偏光方向２６、第３の偏光方向２８の一例を示す図である。
偏光方向は、光軸Ｌと直交するＸＹ平面において、第１の偏光フィルタ１２の偏光透過軸（Ａａ）がＸ軸と成す角度Φ（方位角）、第２の偏光フィルタ１４の偏光透過軸（Ａｂ）及び偏光透過軸（Ａｃ）がＸ軸と成す角度Φ（方位角）によって表わされる。図５に示すように第１の偏光フィルタ１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。また、第２の偏光フィルタ１６は、第１の瞳領域Ｅ１ではその偏光透過軸ＡｂとＸ軸の成す角度Φｂが９０°（方位角９０°）の光を透過し、且つ第２の瞳領域Ｅ２ではその偏光透過軸ＡｃとＸ軸の成す角度Φｂが３０°（方位角３０°）の光を透過する構成とされる。これにより、第１の偏光方向２４はＸ軸と成す角度が０°となり、第２の偏光方向２６はＸ軸と成す角度が９０°となり、第３の偏光方向２８はＸ軸と成す角度が３０°となる。なお、図示した場合では、第１の偏光方向２４と直交する第２の偏光方向２６を採用することができる。
〔撮像素子〕
図６は、撮像素子１００の概略構成を示す図であり、撮像素子１００の一部を分解し、拡大して示した図である。図７は、１画素（図６の破線部）の概略構成を示す断面図である。
図６に示すように、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。
ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、ｘ軸方向及びｙ軸方向に沿って規則的に配置される。
偏光素子アレイ層１２０は、ピクセルアレイ層１１０とマイクロレンズアレイ層１３０との間に備えられる。偏光素子アレイ層１２０は、２種類の偏光素子１２２Ａ及び１２２Ｂを二次元的に配列して構成される。各偏光素子１２２Ａ及び１２２Ｂは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。したがって、１つのフォトダイオード１１２には、２種類の偏光素子１２２Ａ、１２２Ｂのうちいずれか１つが備えられる。
図８は、２種類の偏光素子の配列パターンの一例を示す図である。
同図に示すように、２種類の偏光素子１２２Ａ及び１２２Ｂは、ｘ軸方向及びｙ軸方向に沿って、所定の順序で規則的に配列される。
図８に示す例では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂの順で繰り返し配置される行と、第２の偏光素子１２２Ｂ、第１の偏光素子１２２Ａの順で繰り返し配置される行とを交互に配置して、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを所定のパターンで規則的に配列している。このように配列される第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、２種類の偏光素子（第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂ）を１つずつ含んだ２個一組の偏光素子が１つのユニットを構成し、このユニットが、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
図９は、偏光素子の１ユニットの構成を示す図である。
同図に示すように、１ユニットＵは、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを１つずつ含んで構成される。
上記のように、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、互いに偏光方向が異なる。本実施形態では、第１の偏光素子１２２Ａは、方位角＋０°の光を透過する構成とされる。第２の偏光素子１２２Ｂは、方位角＋４５°の光が透過する構成とされる。したがって、第１の偏光素子１２２Ａが備えられたフォトダイオード１１２は、方位角＋０°の光（直線偏光）を受光する。第２の偏光素子１２２Ｂが備えられたフォトダイオード１１２は、方位角＋４５°の光（直線偏光）を受光する。
マイクロレンズアレイ層１３０は、多数のマイクロレンズ１３２を二次元的に配列して構成される。各マイクロレンズ１３２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１３２は、撮像光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
図１０は、撮像素子１００の画素の配列の一例を示す図である。
各画素には、第１の偏光素子１２２Ａ又は第２の偏光素子１２２Ｂが備えられる。第１の偏光素子１２２Ａが備えられた画素（図中Ａの画像）を第１の画素１０２Ａ、第２の偏光素子１２２Ｂが備えられた画素（図中Ｂの画像）を第２の画素１０２Ｂとする。撮像素子１００は、第１の画素１０２Ａ及び第２の画素１０２Ｂを１つずつ含んだ２個一組の画素を１つのユニットとし、このユニットを複数有する。この２個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図１０に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
〔信号処理部〕
信号処理部２００は、撮像素子１００から出力される信号を処理して、第１の瞳領域Ｅ１を透過した光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過した光に対応する第２の画像を生成する。
図１１は、信号処理部２００の概略構成を示すブロック図である。
同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ、及び係数記憶部２００Ｃを含む。
アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（例えば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
画像生成部２００Ｂは、デジタル信号に変換後の画素信号に所定の信号処理を施して、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光に対応した画像を生成する。
図１２は、画像生成の概念図である。
各画素ユニットＵ（ｘ，ｙ）には、第１の画素１０２Ａ及び第２の画素１０２Ｂが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１の画素１０２Ａ及び第２の画素１０２Ｂの画素信号を分離して抽出することにより、２つの画像（第１の画像及び第２の画像）が生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１の画素１０２Ａから画素信号を抽出して構成される第１の画像と、各画素ユニットＵ（ｘ，ｙ）の第２の画素１０２Ｂの画素信号を抽出して構成される第２の画像が生成される。
ところで、上記のように、第１の画素１０２Ａで受光される光は、第２の偏光方向２６の光（第１の瞳領域Ｅ１を透過した光）及び第３の偏光方向２８の光（第２の瞳領域Ｅ２を透過した光）が含まれる。また、第２の画素１０２Ｂで受光される光は、第２の偏光方向２６の光（第１の瞳領域Ｅ１を透過した光）及び第３の偏光方向２８の光（第２の瞳領域Ｅ２を透過した光）が含まれる。すなわち、第１の画素１０２Ａ及び第２の画素１０２Ｂにおいては、第２の偏光方向２６の光と第３の偏光方向２８の光とが混信して入射される。
このため、画像生成部２００Ｂは、混信（クロストーク）を除去する処理（混信除去処理）を行って、第１の瞳領域Ｅ１を透過する光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過する光に対応する第２の画像を生成する。混信除去処理は、次のように行われる。
いま、第１の画素１０２Ａで得られる画素信号（信号値）をｘ１、第２の画素１０２Ｂで得られる画素信号をｘ２とする。各画素ユニットＵ（ｘ，ｙ）からは、２個の画素信号ｘ１、ｘ２が得られる。画像生成部２００Ｂは、この２個の画素信号ｘ１、ｘ２から、行列Ａを用いた下記の式１によって、第２の偏光方向２６、第３の偏光方向２８に対応した画素信号Ｘ１、Ｘ２を算出し、混信を除去する。
Figure 2020110595
Figure 2020110595
以下、上記式１によって、第２の偏光方向２６の光、第３の偏光方向２８の光に対応する画像の画素信号Ｘ１、Ｘ２を算出できる理由、すなわち、混信を除去できる理由について説明する。
第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光が、第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される割合（混信量（混信比率ともいう））は、偏光方向（第２の偏光方向２６及び第３の偏光方向２８）と、第１の画素１０２Ａ、第２の１０２Ｂに備えられた第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向との関係から一意に定まる。
いま、第２の偏光方向２６の光が第１の画素１０２Ａで受光される割合をｂ１１、第３の偏光方向２８の光が第１の画素１０２Ａで受光される割合をｂ１２とすると、Ｘ１、Ｘ２、とｘ１との間には、次の関係が成り立つ。
ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＝ｘ１…（式２）
また、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される割合をｂ２１、第３の偏光方向２８の光が第２の画素１０２Ｂで受光される割合をｂ２２とすると、Ｘ１、Ｘ２とｘ２との間には、次の関係が成り立つ。
ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＝ｘ２…（式３）
Ｘ１及びＸ２について、式２及び式３の連立方程式を解くことで、元の画像の画素信号、すなわち、第２の偏光方向２６の光の画像、第３の偏光方向２８の光の画像の画素信号Ｘ１、Ｘ２を取得できる。
ここで、上記の連立方程式は、行列Ｂを用いた下記の式４で表わすことができる。
Figure 2020110595
Figure 2020110595
Ｘ１、Ｘ２は、両辺に行列Ｂの逆行列Ｂ−１をかけることで算出される。
Figure 2020110595
Figure 2020110595
このように、第１の瞳領域Ｅ１を透過する光で得られる画像の画素信号Ｘ１、第２の瞳領域Ｅ２を透過する光で得られる画像の画素信号Ｘ２は、第２の偏光方向２６の光、第３の偏光方向２８の光が第１の画素１０２Ａ、及び第２の画素１０２Ｂで受光される量に基づいて、第１の画素１０２Ａ、第２の画素１０２Ｂの画素信号ｘ１、ｘ２から算出できる。
上記式１における行列Ａは、行列Ｂの逆行列Ｂ−１である（Ａ＝Ｂ−１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２；ｊ＝１、２）は、行列Ｂの逆行列Ｂ−１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１、２；ｊ＝１、２）は、第２の偏光方向２６の光及び第３の偏光方向２８の光が第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される量（混信量）である。
すなわち、１行目の要素ｂ１１は、第２の偏光方向２６の光が第１の画素１０２Ａで受光される量（混信量）、要素ｂ１２は、第３の偏光方向２８の光が第１の画素１０２Ａで受光される量である。
また、２行目の要素ｂ２１は、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される量、要素ｂ２２は、第３の偏光方向２８の光が第２の画素１０２Ｂで受光される量である。この行列Ｂの逆行列Ｂ−１は存在する。したがって、行列Ｂの逆行列Ｂ−１を求めることで、行列Ａの各要素を求めることができる。
第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光が各画素１０２Ａ及び１０２Ｂで受光される割合（混信量）については、第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光の偏光方向と第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第１の瞳領域Ｅ１（又は第２の瞳領域Ｅ２）を透過した光（直線偏光）の偏光方向（方位角）をα、第ｉ画素で受光される光の偏光方向（方位角）をβとすると、割合は、ｃｏｓ２（｜α−β｜）で算出される。
図１３から図１５は、上述した行列Ａの算出の例を説明する図である。図１３から図１５では、第１の瞳領域Ｅ１を透過する光の第２の偏光方向２６、及び第２の瞳領域Ｅ２を通過する光の第３の偏光方向２８が示されている（（Ａ）で図示）。また、図１３から図１５では、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向が示されている（（Ｂ）で図示）。
図１３に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過する。
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００となる。
Figure 2020110595
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．３３３３、ａ１２＝０、ａ２１＝−２．４８８０、ａ２２＝２．００００となる。
Figure 2020110595
係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ−１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
図１４に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ２１＝０．０６７０、ｂ２２＝０．５０００となる。
Figure 2020110595
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．５３９６、ａ１２＝−２．３０９４、ａ２１＝−０．２０６３、ａ２２＝２．３０９４となる。
Figure 2020110595
係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ−１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
図１５に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向９０°の光を透過する。図１５に示した場合では、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）が直交する場合である。また、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第１の偏光素子１２２Ａの偏光方向が同じであり、第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）と第２の偏光素子１２２Ｂの偏光方向が同じである。
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝１．００００、ｂ１２＝０．００００、ｂ２１＝０．００００、ｂ２２＝１．００００となる。
Figure 2020110595
すなわちこの場合には、理想的に混信が起こらない場合である。このように、混信が起こらない場合には、混信除去処理を行わずに、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られる信号から各画像を生成することができる。すなわち、第１の瞳領域Ｅ１の画素信号Ｘ１は第１の画素１０２Ａの画素信号ｘ１であり、第２の瞳領域Ｅ２の画素信号Ｘ２は第１の画素１０２Ａの画素信号ｘ２である。
画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ユニットＵ（ｘ，ｙ）から得られる２個の画素信号ｘ１、ｘ２から、上記式１によって、第２の偏光方向２６の光及び第３の偏光方向２８の光に対応した２個の画素信号Ｘ１、Ｘ２を算出し、第２の偏光方向２６の光、及び第３の偏光方向２８の光の画像を生成する。画像生成部２００Ｂは、演算部の一例である。
画像生成部２００Ｂで生成された第２の偏光方向２６、第３の偏光方向２８に対応する画像は、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
図１６は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ１０）。次に、第１の偏光方向２４に揃えられた直線偏光を、波長板１４により円偏光２５に変換する（ステップＳ１１）。その後、第１の瞳領域Ｅ１を透過する光のうち、第２の偏光フィルタ１６により、第２の偏光方向２６の光を透過させる（ステップＳ１２）。また、第２の瞳領域Ｅ２を透過する光のうち、第２の偏光フィルタ１６により第３の偏光方向２８の光を透過させる（ステップＳ１３）。その後、第１の瞳領域Ｅ１を透過した光及び第２の瞳領域Ｅ２を透過した光を、第１の画素１０２Ａ及び第２の画素１０２Ｂにより受光する（ステップＳ１４）。そして、画像生成部２００Ｂは、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られた画素信号に対して混信除去処理を行う（ステップＳ１５）。なお、第２の偏光方向２６と第３の偏光方向２８とが直交する場合であり、且つ第１の偏光素子１２２Ａの偏光方向が第２の偏光方向２６に対応し、第２の偏光素子１２２Ｂの偏光方向が第３の偏光方向２８に対応する場合には、混信が理想的に発生しなく混信除去処理は行われなくてもよい。次に、画像生成部２００Ｂは、混信除去処理後の第１の画素１０２Ａの画素信号及び第２の画素１０２Ｂの画素信号に基づいて第１の画像及び第２の画像を生成する（ステップＳ１６）。
以上で説明した本実施形態によれば、互いに異なる２種の偏光方向を有する光に基づいて異なる２つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施態様によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が波長板１４により円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。
＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。本実施形態では、波長フィルタ（バンドパスフィルタ）４０を備え、各波長帯域の画像を独立に得ることができる。
図１７は、本実施形態の撮像装置１の概略構成を示す図である。なお、図１で既に説明を行った箇所は、同じ符号を付し説明は省略する。
同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長板１４、波長フィルタ４０、第２の偏光フィルタ１６、撮像素子１００及び信号処理部２００を備える。なお、波長フィルタ４０を設ける位置は、波長板１４と第２の偏光フィルタ１６との間に限定されるものではなく、第１の瞳領域Ｅ１を透過する光と第２の瞳領域Ｅ２を透過する光とを適切に入射させることができる位置であれば特に限定されるものではない。波長フィルタ４０を透過した光は、第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域を有する光となる（波長フィルタ４０の下方に図示）。
図１８は、波長フィルタ４０の概略構成を示す正面図である。
波長フィルタ４０は、例えば第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光を透過させる。具体的には、第１の瞳領域Ｅ１に対応する領域４４と、第２の瞳領域Ｅ２に対応する領域４６とでは異なる波長帯域の光を透過させる。このような波長フィルタ４０を備えることにより、第１の瞳領域Ｅ１を透過する光に対応する第１の画像は、領域４４で透過した波長帯域（第１の波長帯域）の光に基づく画像となり、第２の瞳領域Ｅ２を透過する光に対応する第２の画像は、領域４６で透過した波長帯域（第２の波長帯域）の光に基づく画像となる。なお、図１８では撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２に２分割される場合の波長フィルタ４０の例を示しており、波長フィルタ４０は第１の波長フィルタ（第１の波長帯域）及び第２の波長フィルタ（第２の波長帯域）を一体的に備える。後で説明する撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３に分割される場合（第３の実施形態）には、３つの異なる波長帯域（第１の波長帯域、第２の波長帯域、及び第３の波長帯域）を透過させる波長フィルタ４０が使用される。また、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタを一体的に備える波長フィルタ４０が使用されてもよいし、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタがそれぞれ別体として設けられてもよい。このようにして得られた複数の波長帯域の画像は、分光反射率比を利用して果実の糖度検査、食物の生育検査、水質検査等に好適に応用される。
以上で説明した本実施形態によれば、異なる波長帯域の画像を独立に生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態に関して説明する。本実施形態では、互いに異なる３つの偏光方向（第２の偏光方向２６、第３の偏光方向２８、第４の偏光方向３０）を利用して、独立に３枚の画像を取得する。
図１９は、第３の実施形態の撮像装置１の概略構成を示す図である。なお、図１及び図１７で既に説明を行った箇所は、同じ符号を付し説明を省略する。
同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長板１４、波長フィルタ４０、第２の偏光フィルタ１６、撮像素子１００、及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、波長板１４により変換された円偏光２５、第２の偏光フィルタ１６を透過した光の偏光方向である第２の偏光方向２６、第３の偏光方向２８、及び第４の偏光方向３０が示されている。なお、互いに異なる３つの偏光方向を利用して独立に３枚の画像を取得する場合にも、上記で説明した２枚の画像を取得する場合の手法を適用して混信除去処理及び画像生成が同様に行われる。
図２０は、撮像光学系１０の概念的な瞳領域Ｅを示す正面図である。
本実施形態の瞳領域Ｅは、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３で構成されている。例えば、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３は、瞳領域Ｅを角度１２０°で３等分した領域である。
図２１及び図２２は、上述した行列Ａの算出の例を説明する図である。図２１及び図２２では、第１の瞳領域Ｅ１を透過する光の第２の偏光方向２６、第２の瞳領域Ｅ２を通過する光の第３の偏光方向２８、及び第３の瞳領域Ｅ３を通過する光の第４の偏光方向３０が示されている（（Ａ）で図示）。また、図２１及び図２２では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂ、及び第３の偏光素子１２２Ｃの偏光方向が示されている（（Ｂ）で図示）。なお、本実施形態での撮像素子１００は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する。
図２１に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過し、第３の偏光素子１２２Ｃは偏光方向９０°の光を透過する。
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ１３＝０．７５００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００、ｂ２３＝０．０６７０、ｂ３１＝０．２５００、ｂ３２＝１．００００、ｂ３３＝０．２５００となる。
Figure 2020110595
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝０．０８９３、ａ１２＝１．１５４７、ａ１３＝−０．５７７４、ａ２１＝−０．３３３３、ａ２２＝０．００００、ａ２３＝１．００００、ａ３１＝１．２４４０、ａ３２＝−１．１５４７、ａ３３＝０．５７７４となる。
Figure 2020110595
図２２に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１５０°の光を透過し、第３の偏光素子１２２Ｃは偏光方向１０５°の光を透過する。
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ１３＝０．００００、ｂ２１＝０．２５００、ｂ２２＝０．２５００、ｂ２３＝１．００００、ｂ３１＝０．０６７０、ｂ３２＝０．９３３０、ｂ３３＝０．５０００となる。
Figure 2020110595
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．２４４０、ａ１２＝０．５７７４、ａ１３＝−１．１５４７、ａ２１＝０．０８９３、ａ２２＝−０．５７７４、ａ２３＝１．１５４７、ａ３１＝−０．３３３３、ａ３２＝１．００００、ａ３３＝０．００００となる。
Figure 2020110595
図２３は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ２０）。次に、第１の偏光方向２４に揃えられた直線偏光を、波長板１４により円偏光２５に変換する（ステップＳ２１）。その後、第２の偏光フィルタ１６により、第１の瞳領域Ｅ１を透過する光のうち第２の偏光方向２６の光を透過させる（ステップＳ２２）。また、第２の偏光フィルタ１６により、第２の瞳領域Ｅ２を透過する光のうち第３の偏光方向２８の光を透過させる（ステップＳ２３）。また、第２の偏光フィルタ１６により、第３の瞳領域Ｅ３を透過する光のうち第４の偏光方向３０の光を透過させる（ステップＳ２４）。その後、撮像素子１００により、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光、及び第３の瞳領域Ｅ３を透過した光を受光する（ステップＳ２５）。その後、画像生成部２００Ｂは混信除去処理を行う（ステップＳ２６）。そして、画像生成部２００Ｂは、第１の画像、第２の画像、及び第３の画像を生成する（ステップＳ２７）。
以上で説明した本実施形態によれば、互いに異なる３種の偏光方向を有する光に基づいて独立に３つの画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施態様によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能である。また、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。
＜その他の例＞
図２４は、上記で説明した第１の実施形態の変形例の撮像装置１の概略構成を示す図である。なお図１で説明した箇所は、同じ符号付して説明を省略する。
本例の撮像装置１では、波長板１４が撮像光学系１０の前（被写体２０側）に配置されている。このように、波長板１４と撮像光学系１０との位置は入れ替えることができる。このように、波長板１４を撮像光学系１０の前に配置することにより、波長板１４により円偏光２５に変換された光を撮像光学系１０に透過させることができる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１ ：撮像装置
１０ ：撮像光学系
１２ ：第１の偏光フィルタ
１４ ：波長板
１６ ：第２の偏光フィルタ
２０ ：被写体
４０ ：波長フィルタ
１００ ：撮像素子
１０２Ａ ：第１の画素
１０２Ｂ ：第２の画素
１１０ ：ピクセルアレイ層
１１２ ：フォトダイオード
１２０ ：偏光素子アレイ層
１２２Ａ ：第１の偏光素子
１２２Ｂ ：第２の偏光素子
１２２Ｃ ：第３の偏光素子
１３０ ：マイクロレンズアレイ層
１３２ ：マイクロレンズ
２００ ：信号処理部
２００Ａ ：アナログ信号処理部
２００Ｂ ：画像生成部
２００Ｃ ：係数記憶部
ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向を有する光をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。
また例えば視差画像を生成する場合には、偏光方向が一度も揃えられていないと、画像間で見え方が異なってしまい視差量の誤検出が発生する場合がある。具体的には、光沢を有する被写体に関して、互いに異なる偏光方向の光に基づいて視差画像を生成した場合には、一方の画像ではブリュスター角に合致した領域では光沢が抑えられるが、他方の画像では光沢が抑えられていない。その結果、両画像の見え方に大きな差異が発生し、視差量の誤検出が発生する場合がある。
本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
偏光方向は、光軸Ｌと直交するＸＹ平面において、第１の偏光フィルタ１２の偏光透過軸（Ａａ）がＸ軸と成す角度Φａ（方位角）、第２の偏光フィルタ１６の偏光透過軸（Ａｂ）及び偏光透過軸（Ａｃ）がＸ軸と成す角度Φｂ及びΦｃ（方位角）によって表わされる。図５に示すように第１の偏光フィルタ１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。また、第２の偏光フィルタ１６は、第１の瞳領域Ｅ１ではその偏光透過軸ＡｂとＸ軸の成す角度Φｂが９０°（方位角９０°）の光を透過し、且つ第２の瞳領域Ｅ２ではその偏光透過軸ＡｃとＸ軸の成す角度Φｂが３０°（方位角３０°）の光を透過する構成とされる。これにより、第１の偏光方向２４はＸ軸と成す角度が０°となり、第２の偏光方向２６はＸ軸と成す角度が９０°となり、第３の偏光方向２８はＸ軸と成す角度が３０°となる。なお、図示した場合では、第１の偏光方向２４と直交する第２の偏光方向２６を採用することができる。
各画素ユニットＵ（ｘ，ｙ）には、第１の画素１０２Ａ及び第２の画素１０２Ｂが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１の画素１０２Ａ及び第２の画素１０２Ｂの画素信号を分離して抽出することにより、２つの画像（第１の画像及び第２の画像）が生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１の画素１０２Ａから画素信号を抽出して構成される第１の画像と、各画素ユニットＵ（ｘ，ｙ）の第２の画素１０２Ｂから画素信号を抽出して構成される第２の画像が生成される。
いま、第１の画素１０２Ａで得られる画素信号（信号値）をｘ１、第２の画素１０２Ｂで得られる画素信号をｘ２とする。各画素ユニットＵ（ｘ，ｙ）からは、２個の画素信号ｘ１、ｘ２が得られる。画像生成部２００Ｂは、この２個の画素信号ｘ１、ｘ２から、行列Ａを用いた下記の式１によって、第２の偏光方向２６、第３の偏光方向２８の光に対応した画素信号Ｘ１、Ｘ２を算出し、混信を除去する。
画像生成部２００Ｂで生成された第２の偏光方向２６、第３の偏光方向２８の光に対応する画像は、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
以上で説明した本実施形態によれば、互いに異なる２種の偏光方向を有する光に基づいて異なる２つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施形態によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が波長板１４により円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。
以上で説明した本実施形態によれば、互いに異なる３種の偏光方向を有する光に基づいて独立に３つの画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施形態によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能である。また、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。

Claims (13)

  1. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
    前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
    前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
    前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
    を備える撮像装置。
  2. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
    前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
    前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
    を備える撮像装置。
  3. 前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
    前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
    を備える請求項１又は２に記載の撮像装置。
  4. 第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、
    前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
    前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
    前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、
    前記第３の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向、前記第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子と、
    前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、
    前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、
    を備える撮像装置。
  5. 前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
    前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
    前記第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、
    を備える請求項４に記載の撮像装置。
  6. 前記波長板は、１／４波長板である請求項１から５のいずれか１項に記載の撮像装置。
  7. 前記第１の偏光子は、ｓ偏光を遮光する請求項１から６のいずれか１項に記載の撮像装置。
  8. 前記第２の偏光子は、前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向と直交する前記第２の偏光方向の光を透過させる請求項１から７のいずれか１項に記載の撮像装置。
  9. 前記撮像素子は、前記画素ユニットが偏光素子を備える画素により構成されている請求項１から８のいずれか１項に記載の撮像装置。
  10. 前記撮像素子は、前記画素を構成するフォトダイオードとマイクロレンズとの間に前記偏光素子を有する請求項９に記載の撮像装置。
  11. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    を含む撮像方法。
  12. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向を、第３の偏光子により、透過させるステップと、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    を含む撮像方法。
  13. 第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、
    前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
    前記第３の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向、前記第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を、第４の偏光子により、透過させるステップと、
    前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、
    を含む撮像方法。
JP2020558223A 2018-11-26 2019-10-31 撮像装置及び撮像方法 Active JP7135109B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018220491 2018-11-26
JP2018220491 2018-11-26
PCT/JP2019/042861 WO2020110595A1 (ja) 2018-11-26 2019-10-31 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JPWO2020110595A1 true JPWO2020110595A1 (ja) 2021-11-04
JP7135109B2 JP7135109B2 (ja) 2022-09-12

Family

ID=70852306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558223A Active JP7135109B2 (ja) 2018-11-26 2019-10-31 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US11877076B2 (ja)
JP (1) JP7135109B2 (ja)
WO (1) WO2020110595A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335013A1 (en) * 2020-04-27 2021-10-28 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158219A1 (ja) * 2021-01-19 2022-07-28 富士フイルム株式会社 レンズ装置、フィルタユニット及び撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009162847A (ja) * 2007-12-28 2009-07-23 Nikon Corp 撮像装置
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
JP2013197770A (ja) * 2012-03-19 2013-09-30 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169096A (ja) 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP2012203274A (ja) * 2011-03-28 2012-10-22 Sony Corp 撮像装置および電子機器
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
US9661193B2 (en) * 2014-08-01 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and analyzing apparatus
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US11252362B2 (en) * 2018-08-31 2022-02-15 Sony Semiconductor Solutions Corporation Imaging element, imaging device, and imaging method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009162847A (ja) * 2007-12-28 2009-07-23 Nikon Corp 撮像装置
JP2013077935A (ja) * 2011-09-30 2013-04-25 Sony Corp 撮像装置及び撮像方法
JP2013197770A (ja) * 2012-03-19 2013-09-30 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210335013A1 (en) * 2020-04-27 2021-10-28 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters
US11967116B2 (en) * 2020-04-27 2024-04-23 Huazhong University Of Science And Technology Method for characterizing polarization image information and method for computing characterization parameters

Also Published As

Publication number Publication date
US11877076B2 (en) 2024-01-16
JP7135109B2 (ja) 2022-09-12
WO2020110595A1 (ja) 2020-06-04
US20210274065A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
EP3238135B1 (en) Epi-illumination fourier ptychographic imaging for thick samples
JP4787871B2 (ja) カラー偏光撮像装置
Keller et al. Solar speckle polarimetry
EP3070507B1 (en) Endoscope imaging device
JP2020099086A (ja) 撮像素子、計測装置および計測方法
US11877076B2 (en) Imaging device and imaging method
JP7135108B2 (ja) 撮像装置及び撮像方法
US20210235006A1 (en) Imaging device and imaging method
JP2020036310A5 (ja)
US20220268632A1 (en) Reconfigurable polarization imaging system
JP2017156245A5 (ja)
JP7169363B2 (ja) 撮像装置
CN109246349B (zh) 高品质超分辨面阵成像相机及成像方法
JP2018182468A (ja) 撮像素子および撮像装置
Wong et al. A novel snapshot polarimetric imager
JP2021019260A (ja) 撮像素子、およびこれを備える撮像装置
US9182283B2 (en) Imaging spectropolarimeter using orthogonal polarization pairs
JPH10501113A (ja) 画像ピックアップ装置
CN101963528A (zh) 超大视场静态偏振傅立叶变换成像光谱实现方法
WO2023105242A1 (en) Polarimetric endoscopy
JP2024047253A (ja) 撮像装置及び方法
JP2022546720A (ja) 光学装置および方法
JP2021060288A (ja) 偏光測定装置及び偏光測定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7135109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150