JP6192428B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6192428B2
JP6192428B2 JP2013170473A JP2013170473A JP6192428B2 JP 6192428 B2 JP6192428 B2 JP 6192428B2 JP 2013170473 A JP2013170473 A JP 2013170473A JP 2013170473 A JP2013170473 A JP 2013170473A JP 6192428 B2 JP6192428 B2 JP 6192428B2
Authority
JP
Japan
Prior art keywords
imaging surface
incident light
imaging
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013170473A
Other languages
English (en)
Other versions
JP2015041793A (ja
Inventor
將夫 三本木
將夫 三本木
公成 田宮
公成 田宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013170473A priority Critical patent/JP6192428B2/ja
Priority to PCT/JP2014/069677 priority patent/WO2015025676A1/ja
Publication of JP2015041793A publication Critical patent/JP2015041793A/ja
Priority to US15/044,567 priority patent/US9691802B2/en
Application granted granted Critical
Publication of JP6192428B2 publication Critical patent/JP6192428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Filters (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、撮像装置に関するものである。
従来、各画素に対応する位置に偏光部材もしくはカラーフィルタを配置し、偏光情報および色情報の両方を取得する撮像装置が知られている（例えば、特許文献１参照。）。
特開２０１０−２６３１５８号公報
しかしながら、特許文献１の撮像装置は、偏光情報および色情報を同一の撮像面において取得しているため、撮像面の全ての画素を色情報の取得に利用することができず、色情報の解像度が減少してしまうという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、色情報の解像度を低下させることなく偏光情報および色情報を同時に取得することができる撮像装置を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、入射光に対して光電変換を行うとともに入射光の一部を透過可能な光電変換膜を備える第１の撮像面と、該第１の撮像面を透過した入射光に対して光電変換を行う光電変換層を備える第２の撮像面と、これら２つの撮像面の間に配置され、前記第１の撮像面を透過した入射光から偏光情報を抽出する偏光フィルタとを備える撮像装置を提供する。
本態様によれば、被写体から入射してきた入射光が第１の撮像面に入射されると、その一部が光電変換膜において光電変換されて画像信号が取得される一方、他の一部は光電変換膜を透過する。透過した入射光は偏光フィルタを透過することによって偏光情報が抽出された状態で第２の撮像面の光電変換層に入射する。これにより、偏光情報を含む画像信号が取得される。
この場合において、偏光情報は第１の撮像面を透過した後に第１の撮像面とは別の第２の撮像面において取得しているので、第１の撮像面においては、色情報を欠落することなく取得することができる。すなわち、色情報の解像度を低下させることなく偏光情報および色情報を同時に取得することができる。
上記態様においては、前記偏光フィルタが、前記第２の撮像面の一部の画素に入射する入射光を透過させる位置に配置されていてもよい。
このようにすることで、第２の撮像面においても、その一部の画素において偏光情報を取得し、他の画素においては色情報を取得することができ、さらに色情報の解像度を向上することができる。
また、上記態様においては、前記第２の撮像面の他の画素に入射する入射光を透過させる位置に白色フィルタが配置されていてもよい。
このようにすることで、白色フィルタを透過して第２の撮像面に入射する光の光量を増加させて感度を向上することができる。
また、上記態様においては、前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、２つの緑色フィルタ要素および１つの青色フィルタ要素を配列してなっていてもよい。
このようにすることで、第１の撮像面の２×２の４画素からなる各最小画素領域において赤色、緑色および青色の色情報を欠落なく取得することができる。
また、上記態様においては、前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、１つの緑色フィルタ要素、１つの青色フィルタ要素および１つの白色フィルタ要素を配列してなっていてもよい。
このようにすることで、第１の撮像面の２×２の４画素からなる各最小画素領域において赤色、緑色および青色の色情報を欠落なく取得することができる。また、白色フィルタ要素に対応する画素を透過した入射光は他のカラーフィルタ要素に対応する画素を透過した入射光より光量が多いので、第２の撮像面において感度の高い偏光情報を取得することができる。
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配列してなっていてもよい。
このようにすることで、第２の撮像面においては１画素毎に偏光方向が異なる偏光情報を取得することができ、偏光情報の解像度を向上することができる。
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配列してなっていてもよい。
このようにすることで、白色フィルタ要素は第１の撮像面の対応画素を透過した全ての入射光を透過するので、該白色フィルタ要素に対応する第２の撮像面の画素においては、例えば、近赤外光についても受光することができる。
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなっていてもよい。
このようにすることで、第２の撮像面において４つの異なる偏光方向の偏光情報を取得することができ、他の画素に対応する場所で色情報を取得して、色情報の解像度を向上することができる。
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置し、各最小画素領域の他の３画素に入射する入射光を透過させる位置に波長帯域の異なるカラーフィルタ要素を配置してなっていてもよい。
このようにすることで、第２の撮像面において３つの異なる偏光方向の偏光情報を取得することができ、被写体の立体的形状を特定する為の必要最小限の偏光情報を取得することができる。そして、白色フィルタ要素に対応する画素において、例えば近赤外光を検出し、他のカラーフィルタ要素に対応する画素において、カラー画像の解像度を向上するための色情報を取得することができる。
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなっていてもよい。
このようにすることで、各カラーフィルタ要素を透過した入射光から同じ方向の偏光情報を抽出することができる。これにより、被写体が特定の色に偏っていたとしても、被写体の立体的形状を特定するための偏光情報を取得することができる。
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置してなっていてもよい。
このようにすることで、被写体が特定の色に偏っていたとしても、第２の撮像面において３つの異なる偏光方向の偏光情報を取得することができ、被写体の立体的形状を特定する為の必要最小限の偏光情報を取得することができる。そして、白色フィルタ要素に対応する画素において、例えば近赤外光を検出し、他のカラーフィルタ要素に対応する画素において、カラー画像の解像度を向上するための色情報を取得することができる。
また、上記態様においては、前記偏光フィルタが、近赤外の透過波長帯域を有し、前記第２の撮像面の光電変換層が、近赤外光に感度を有していてもよい。
このようにすることで、第２の撮像面において近赤外光の画像情報も取得することができる。
また、上記態様においては、前記第２の撮像面の各画素が、前記第１の撮像面を透過する入射光の入射角度に応じたピッチで配列されていてもよい。
このようにすることで、第１の撮像面の各画素と第２の撮像面の各画素とを容易に対応づけることができる。
また、上記態様においては、前記第２の撮像面の各画素が、前記第１の撮像面の各画素より大きくてもよい。
このようにすることで、第２の撮像面における感度を向上することができる。また、入射光が撮像面に対して垂直に入射しない場合にも第２の撮像面における受光感度を向上することができる。
また、上記態様においては、前記第１の撮像面において取得された第１の画像信号の陰影情報を用いて第１の形状計測を行う第１形状計測部と、前記第２の撮像面において取得された第２の画像信号の偏光情報を用いて第２の形状計測を行う第２形状計測部と、前記第１の画像信号および前記第２の画像信号の同じ座標における形状計測結果を比較する比較部とを備えていてもよい。
このようにすることで、第１の撮像面によって取得された第１の画像信号の陰影情報に基づいて第１形状計測部によって第１の形状計測が行われ、第２の撮像面によって取得された第２の画像信号の偏光情報に基づいて第２の形状計測部によって第２の形状計測が行われる。２つの形状計測結果が比較部において比較されることにより、被写体の高精度の形状計測を行うことができる。
本発明によれば、色情報の解像度を低下させることなく偏光情報および色情報を同時に取得することができるという効果を奏する。
本発明の第１の実施形態に係る撮像装置を示す模式的な斜視図である。 図１の撮像装置を示す模式的な縦断面図である。 図１の撮像装置の第１の変形例を示す斜視図である。 図１の撮像装置の第２の変形例を示す斜視図である。 図１の撮像装置の第３の変形例を示す斜視図である。 図１の撮像装置の第４の変形例を示す斜視図である。 図１の撮像装置の第５の変形例を示す斜視図である。 図１の撮像装置の第６の変形例を示す斜視図である。 図１の撮像装置の第７の変形例を示す斜視図である。 図１の撮像装置の第８の変形例を示す縦断面図である。 図１の撮像装置の第９の変形例を示す縦断面図である。 本発明の第２の実施形態に係る撮像装置を示す全体構成図である。 偏光方向と画素値との関係を示すグラフである。
本発明の第１の実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１および図２に示されるように、入射光Ａの入射方向に並んで配列された２つの撮像面２，３と、該撮像面２，３の間に配置された偏光フィルタ４とを備えている。
第１の撮像面２は、光電変換膜５（図２参照）を備えている。光電変換膜５は、入射光Ａの一部を光電変換するとともに、残りの入射光Ａを透過させることができるようになっている。第１の撮像面２は、２次元的に配列された複数の画素２ａを備えている。各画素２ａには特定の波長帯域の光を透過させるように、複数種の透過波長帯域を有するカラーフィルタ要素６ａ〜６ｃが配置されている。
例えば、図１に示す例では、カラーフィルタ要素は、赤色（Ｒ）フィルタ要素６ａ、緑色（Ｇ）フィルタ要素６ｂおよび青色（Ｂ）フィルタ要素６ｃの３種類であり、いわゆるベイヤパターンで配列されている。すなわち、第１の撮像面２は、２×２の４画素２ａからなる最小画素領域７の各画素２ａに対応して１つの赤色フィルタ要素６ａ、２つの緑色フィルタ要素６ｂおよび１つの青色フィルタ要素６ｃが配列されており、そのような最小画素領域７が複数配列された構成を有している。
第１の撮像面２を構成している光電変換膜５は、一般には厚さ２〜３μｍであり、入射する可視光の一部（例えば、緑色から赤色にかけての光）および近赤外光を透過させることができるようになっている。
第２の撮像面３も第１の撮像面２と同じピッチおよび大きさで２次元的に配列された複数の画素３ａを備えている。第２の撮像面３も入射してきた入射光Ａを光電変換する光電変換層８を備えている。
偏光フィルタ４は、第１の撮像面２と第２の撮像面３との間に配置されている（図では第２の撮像面３上に取り付けられているように示されている。）。偏光フィルタ４は、４つの異なる偏光方向を有する４種類の偏光フィルタ要素４ａ〜４ｄを画素３ａ毎に対応する位置に配置している。
本実施形態においては、第２の撮像面３の最小画素領域９を構成する４つの画素３ａに対応する位置に４種類の異なる偏光フィルタ要素４ａ〜４ｄが配置されている。例えば、同種のカラーフィルタ要素６ａ〜６ｃに対応する位置には、同一の偏光方向の偏光フィルタ要素４ａ〜４ｄが配置されている。
図２に本実施形態に係る撮像装置１の縦断面を示す。第１の撮像面２の光電変換膜５および第２の撮像面３の光電変換層８には、各画素２ａ，３ａに対応する位置に個別にフォトダイオード１０，１１が配置されている。また、第１の撮像面２の受光面とは反対側の面に偏光フィルタ４が配置されている。
このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて被写体からの入射光Ａを撮影するには、被写体からの入射光Ａを第１の撮像面２の受光面側から入射させる。
入射光Ａは、まず、撮像装置１の第１の撮像面２に設けられたカラーフィルタ要素６ａ〜６ｃを通過させられることにより、波長が選択された状態で、光電変換膜５に入射させられる。これにより、波長選択された入射光Ａの一部がフォトダイオード１０によって光電変換され、他の部分は光電変換膜５を透過する。
第１の撮像面２の受光面とは反対側には偏光フィルタ４が配置されているので、光電変換膜５を透過した入射光Ａは偏光フィルタ４を通過させられる際に偏光情報が抽出される。そして、偏光情報が抽出された入射光Ａが第２の撮像面３の光電変換層８に入射することにより偏光情報を含む画像信号がフォトダイオード１１によって取得される。
すなわち、本実施形態に係る撮像装置１によれば、第１の撮像面２により取得されるカラー画像としては、全ての画素２ａを利用することができる。したがって、カラー画像の解像度を低下させずにすむという利点がある。また、第２の撮像面３により取得される画像信号は、画素３ａ毎に異なる偏光方向の偏光情報を含んでいる。したがって、被写体の偏光情報を高い解像度で取得することができるという利点がある。
なお、本実施形態においては、第２の撮像面３の各最小画素領域９の４つの画素３ａに、偏光方向の異なる４つの偏光フィルタ要素４ａ〜４ｄを配列したが、これに代えて、図３に示されるように、各最小画素領域９の４つの画素３ａには同一の偏光方向の偏光フィルタ要素４ａ〜４ｄを配置し、偏光フィルタ要素４ａ〜４ｄの偏光方向を最小画素領域９毎に異ならせることにしてもよい。
被写体がいずれかの色に偏っている場合、例えば、生体組織のように赤色に偏っている場合には、第１の撮像面２によって赤色の画像信号が多く取得されるが、この場合には、第２の撮像面３には赤色フィルタ要素６ａを透過した入射光Ａが多く入射されることになる。このように被写体が赤色に偏っている場合においても、赤色フィルタ要素６ａに対応する位置に配置されている偏光フィルタ要素４ａ〜４ｄが全ての偏光方向を有しているので、全ての偏光方向の偏光情報を漏れなく検出することができるという利点がある。
また、本実施形態に係る撮像装置１においては、赤色フィルタ要素６ａ、緑色フィルタ要素６ｂおよび青色フィルタ要素６ｃのみをベイヤパターンで配列したカラーフィルタを備えることとしたが、これに代えて、図４に示されるように、各最小画素領域７内の２つの緑色フィルタ要素６ｂの内の一方の緑色フィルタ要素６ｂに代えて白色（Ｗ）フィルタ要素６ｄを配置することにしてもよい。
白色フィルタ要素６ｄは、白色光を透過するフィルタ要素であって、光学的に透明な材質であってもよいし、何も配置されていなくてもよい。このようにすることで、白色フィルタ要素６ｄに対応する位置に配置される第２の撮像面３の画素３ａには、他のフィルタ要素６ａ〜６ｃに対応する位置に配置されている画素３ａよりも多くの入射光Ａを到達させることができ、感度が高い偏光情報の測定を行うことができるという利点がある。
また、偏光フィルタ要素４ａ〜４ｄのみを配列した偏光フィルタ４に代えて、図５に示されるように、第１の撮像面２の赤色フィルタ要素６ａおよび一方の緑色フィルタ要素６ｂに対応する画素２ａに対応する位置に、他の赤色フィルタ要素４ｅ，４ｆを配置し、第１の撮像面２の青色フィルタ要素６ｃに対応する画素２ａに対応する位置に、他の緑色フィルタ要素４ｇを配置してもよい。
このようにすることで、第１の撮像面２の赤色フィルタ要素６ａを透過した赤色または近赤外の入射光Ａの色情報を検出することができる。この場合、第２の撮像面３のフォトダイオード１１としては、近赤外にも感度を有するものを備えている必要がある。
また、このようにすることで、第１の撮像面２の一方の緑色フィルタ要素６ｂを透過した緑色よりも波長の長い赤色の入射光Ａの色情報を検出することができる。さらに、第１の撮像面２の青色フィルタ要素６ｃを透過した青色よりも波長の長い緑色の入射光Ａの色情報を検出することができる。
これにより、最小画素領域７を構成する４つの画素２ａのうちの２つの画素２ａの位置において赤色の色情報を取得することができ、３つの画素２ａの位置において緑色の色情報を取得することができ、赤色および緑色の高解像度の画像信号を取得することができる。また、近赤外光を検出することにより、散乱の多い生体組織等を被写体とする場合にも有効な観察を行うことができる。
また、図６に示されるように、図５の各最小画素領域７における２つの緑色フィルタ要素６ｂの内の偏光フィルタ要素４ａ〜４ｄに対応する位置に配置されている緑色フィルタ要素６ｂに代えて、白色フィルタ要素６ｄを配置してもよい。このようにすることで、偏光フィルタ要素４ａ〜４ｄに到達させる入射光Ａの光量を最大限に確保することができ、感度の高い偏光情報の測定を行うことができるという利点がある。
また、図７に示されるように、図１の撮像装置１における偏光フィルタ要素４ａ〜４ｄのみを配列した偏光フィルタ４に代えて、赤色フィルタ要素６ａに対応する画素２ａに対応する位置に白色フィルタ要素４ｈを配置してもよい。このようにすることで、３方向の偏光方向の偏光情報を取得できるとともに、第１の撮像面２の赤色フィルタ要素６ａを透過した近赤外光を第２の撮像面３において検出することができる。
また、図８に示されるように、図６の撮像装置１における偏光フィルタ要素４ａ〜４ｄの内の１つの偏光フィルタ要素４ｄに代えて白色フィルタ要素４ｈを配置してもよい。このようにすることで、白色フィルタ要素４ｈを透過した近赤外光を第２の撮像面３において検出することができる。
また、図９に示されるように、図３の撮像装置１における４種類の偏光フィルタ要素４ａ〜４ｄの内の１つの偏光フィルタ要素４ｂに代えて白色フィルタ要素４ｈを採用してもよい。このようにすることで、白色フィルタ要素４ｈを透過した近赤外光を第２の撮像面３において検出することができる。
また、本実施形態においては、第１の撮像面２における光電変換膜５と第２の撮像面３における光電変換層８とにおいて、各画素２ａ，３ａを構成する同一の大きさのフォトダイオード１０，１１を同一ピッチで配列したが、これに代えて、図１０に示されるように、第１の撮像面２の光電変換膜５における一次元方向に２つのフォトダイオード１０、すなわち２次元方向に配列された４つのフォトダイオード１０に対して第２の撮像面３の１つのフォトダイオード１１を対応させてもよい。
このようにすることで、第２の撮像面３における受光感度を向上することができる。
また、撮像素子１の前段に配置される光学系の特性により撮像素子１に入射する入射光Ａの角度が第１の撮像面２への入射位置によって変化する場合がある。入射光Ａの角度θが第１の撮像面２に対して垂直ではない場合には、その角度θを考慮して、図１１に示されるように、第２の撮像面３におけるフォトダイオード１１を第１の撮像面２におけるフォトダイオード１０に対してずらして配置することにより、第２の撮像面３の各フォトダイオード１１における受光効率を向上させることにしてもよい。
すなわち、第１の撮像面２における中心位置近傍では、入射光Ａは第１の撮像面２にほぼ垂直に入射するため、第１の撮像面２におけるフォトダイオード１０と第２の撮像面３におけるフォトダイオード１１とは同じピッチで配列されているが、第１の撮像面２の周縁位置近傍では、入射光Ａは第１の撮像面２に垂直以外の角度θをなして入射するため、第２の撮像面３におけるフォトダイオード１１のピッチを拡げて配列している。
第１の撮像面２におけるフォトダイオード１０の中心位置と、第２の撮像面３におけるフォトダイオード１１の中心位置との位置ずれ量ｅ１は光学系の特性および２つの撮像面２，３の間隔によって、次式のように算出される。
ｅ１＝（ｋ＋ｓ＋ｄ）ｔａｎ（θ（ｘ，ｙ））
ここで、ｋは第１の撮像面２の厚さ寸法、ｓは偏光フィルタ４の厚さ寸法、ｄは２つの撮像面２，３間の間隔、θ（ｘ，ｙ）は第１の撮像面２の座標（ｘ，ｙ）における入射角度を示している。
また、本実施形態においては、カラーフィルタとして赤色フィルタ要素６ａ、緑色フィルタ要素６ｂおよび青色フィルタ要素６ｃをベイヤパターンに配列してなるものを例示し、ＲＧＢカラーモードの色情報を取得することとしたが、これに限定されるものではなく、ＣＭＹＫカラーモードの色情報を取得することができるものを採用してもよい。
次に、本発明の第２の実施形態に係る撮像装置２０について、図面を参照して以下に説明する。
本実施形態に係る撮像装置２０は、図１２に示されるように、上述した第１の実施形態のいずれかの構成を有する撮像装置１をセンサ（以下、センサ１とも言う。）として備え、該センサ１の前段に配置される光学系２１と、センサ１からの出力を処理する画像処理部２２と、センサ１により取得された画像信号に基づいて光学系２１およびセンサ１を制御する撮像制御部２３と、操作者が操作する外部Ｉ／Ｆ２４と、該外部Ｉ／Ｆ２４からの入力に基づいて画像処理部２２および撮像制御部２３を制御する制御部２５とを備えている。
本実施形態の説明においては、センサは図１の構成を有するものとして説明する。
光学系２１は、レンズ系２１ａと、絞り２１ｂと、レンズ系２１ａを駆動するＡＦモータ２１ｃとを備えている。
画像処理部２２は、センサ１により取得された画像信号をディジタル信号に変換するＡ／Ｄ変換器２６と、該Ａ／Ｄ変換器２６により変換された画像信号を記憶するバッファ２７と、該バッファ２７に記憶された第１の撮像面２および第２の撮像面３により取得された画像信号を別々に処理する第１信号処理部２８および第２信号処理部２９と、該第１信号処理部２８および第２信号処理部２９において処理された画像信号からそれぞれ形状を計測する第１形状計測部３０および第２形状計測部３１と、２つの形状計測部３０，３１において計測された被写体の形状を比較する比較部３２とを備えている。
第１信号処理部２８はバッファ２７に記憶された第１の撮像面２による画像信号を読み込み、公知のデモザイキング処理およびホワイトバランス処理を行い、各画素２ａについてＲＧＢの３板状態の画像信号を生成するようになっている。
第２信号処理部２９はバッファ２７に記憶された第２の撮像面３による画像信号を読み込み、公知のバイリニアもしくはバイキュービックの補間処理を行い、各画素３ａについて４方向の偏光情報を生成するようになっている。すなわち４板状態の画像信号を生成するようになっている。
第１形状計測部３０は、第１信号処理部２８から送られてくるＲＧＢの画像信号に対して公知のシェイプフロムシェーディング（Shape from Shading）の手法を用いて被写体の形状情報を表す法線ベクトルを画素２ａ毎に算出するようになっている。
第２形状計測部３１は、第２信号処理部２９から送られてくる４方向の偏光情報を用いて、偏光に関するパラメータを算出するようになっている。
図１３に各偏光の強度と偏光の主方向との関係を示す。偏光の強度は一般には下式のように表される。
ｇｉ＝Ａ（ｃｏｓ（（π／２）ｉ＋２φ））＋Ｃ
ここで、ｇｉは偏光情報を示す信号であり、ｉ＝０〜３である。また、Ａは振幅、Ｃは偏光強度の平均値、φは偏光強度が最大となる方向を表している。
第２の撮像面３の各画素３ａの４方向の偏光情報をフーリエ解析することにより、上記式におけるＡ，Ｃ，φを算出することができる。
偏光の主方向φは被写体の法線ベクトルに直交しているので、偏光の主方向φを算出することにより被写体の法線ベクトルを算出することができる。
比較部３２は、第１形状計測部３０および第２形状計測部３１から送られてきた法線ベクトルの比較を行うようになっている。第１の撮像面２における法線ベクトルをｎ１（ｘ，ｙ）、第２の撮像面３における法線ベクトルをｎ２（ｘ，ｙ）とする。法線ベクトルが下式を満たす場合、最終的な法線ベクトルｎをｎ（ｘ、ｙ）＝ｎ１（ｘ，ｙ）またはｎ（ｘ、ｙ）＝ｎ２（ｘ，ｙ）とし、法線ベクトルが下式を満たさない場合、法線ベクトルを０ベクトルとするようになっている。
ｎ２（ｘ，ｙ）−ε＜ｎ１（ｘ，ｙ）＜ｎ２（ｘ，ｙ）＋ε
ここで、εは微小な定数ベクトルを示している。
このような処理を行うことにより、信頼性の高い法線ベクトルのみが算出され、高精度な被写体の形状計測が可能となる。
また、０ベクトルと算出された領域に関しては、近傍における既知の法線ベクトルの情報を用いて補間を行い、法線ベクトルの推定を行ってもよい。
また、本実施形態においては、４方向の偏光情報を用いて、上記式におけるＡ，Ｃ，φを算出したが、未知数は３つであるため、少なくとも３方向の偏光情報が得られれば足りる。したがって、図８および図９に示されるように３つの偏光フィルタ要素を有する撮像装置１をセンサとして用いても、同様に形状情報を取得することができる。
１，２０ 撮像装置
２ 第１の撮像面
２ａ，３ａ 画素
３ 第２の撮像面
４ 偏光フィルタ
４ａ〜４ｄ 偏光フィルタ要素
４ｈ，６ｄ 白色フィルタ要素
５ 光電変換膜
６ａ 赤色フィルタ要素
６ｂ 緑色フィルタ要素
６ｃ 青色フィルタ要素
８ 光電変換層
３０ 第１形状計測部
３１ 第２形状計測部
３２ 比較部
Ａ 入射光

Claims (15)

  1. 入射光に対して光電変換を行うとともに入射光の一部を透過可能な光電変換膜を備える第１の撮像面と、
    該第１の撮像面を透過した入射光に対して光電変換を行う光電変換層を備える第２の撮像面と、
    これら２つの撮像面の間に配置され、前記第１の撮像面を透過した入射光から偏光情報を抽出する偏光フィルタとを備える撮像装置。
  2. 前記偏光フィルタが、前記第２の撮像面の一部の画素に入射する入射光を透過させる位置に配置されている請求項１に記載の撮像装置。
  3. 前記第２の撮像面の他の画素に入射する入射光を透過させる位置に白色フィルタが配置されている請求項２に記載の撮像装置。
  4. 前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、
    該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、２つの緑色フィルタ要素および１つの青色フィルタ要素を配列してなる請求項１から請求項３のいずれかに記載の撮像装置。
  5. 前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、
    該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、１つの緑色フィルタ要素、１つの青色フィルタ要素および１つの白色フィルタ要素を配列してなる請求項１から請求項３のいずれかに記載の撮像装置。
  6. 前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配列してなる請求項４または請求項５に記載の撮像装置。
  7. 前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配列してなる請求項４または請求項５に記載の撮像装置。
  8. 前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなる請求項４または請求項５に記載の撮像装置。
  9. 前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置し、各最小画素領域の他の３画素に入射する入射光を透過させる位置に波長帯域の異なるカラーフィルタ要素を配置してなる請求項４または請求項５に記載の撮像装置。
  10. 前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなる請求項４または請求項５に記載の撮像装置。
  11. 前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置してなる請求項４または請求項５に記載の撮像装置。
  12. 前記偏光フィルタが、近赤外の透過波長帯域を有し、
    前記第２の撮像面の光電変換層が、近赤外光に感度を有する請求項１から請求項１１のいずれかに記載の撮像装置。
  13. 前記第２の撮像面の各画素が、前記第１の撮像面を透過する入射光の入射角度に応じたピッチで配列されている請求項１から請求項１２のいずれかに記載の撮像装置。
  14. 前記第２の撮像面の各画素が、前記第１の撮像面の各画素より大きい請求項１３に記載の撮像装置。
  15. 前記第１の撮像面において取得された第１の画像信号の陰影情報を用いて第１の形状計測を行う第１形状計測部と、
    前記第２の撮像面において取得された第２の画像信号の偏光情報を用いて第２の形状計測を行う第２形状計測部と、
    前記第１の画像信号および前記第２の画像信号の同じ座標における形状計測結果を比較する比較部とを備える請求項１から請求項１４のいずれかに記載の撮像装置。
JP2013170473A 2013-08-20 2013-08-20 撮像装置 Active JP6192428B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013170473A JP6192428B2 (ja) 2013-08-20 2013-08-20 撮像装置
PCT/JP2014/069677 WO2015025676A1 (ja) 2013-08-20 2014-07-25 撮像装置
US15/044,567 US9691802B2 (en) 2013-08-20 2016-02-16 Image-acquisition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013170473A JP6192428B2 (ja) 2013-08-20 2013-08-20 撮像装置

Publications (2)

Publication Number Publication Date
JP2015041793A JP2015041793A (ja) 2015-03-02
JP6192428B2 true JP6192428B2 (ja) 2017-09-06

Family

ID=52483457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013170473A Active JP6192428B2 (ja) 2013-08-20 2013-08-20 撮像装置

Country Status (3)

Country Link
US (1) US9691802B2 (ja)
JP (1) JP6192428B2 (ja)
WO (1) WO2015025676A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
JP6566749B2 (ja) * 2015-07-01 2019-08-28 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、および情報処理装置
JP6914001B2 (ja) * 2015-08-12 2021-08-04 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、撮像装置、および情報処理装置
CN109644241B (zh) * 2016-08-31 2021-10-22 索尼公司 图像处理设备和图像处理方法
US10341576B2 (en) * 2016-12-30 2019-07-02 X Development Llc Polarization sensitive image sensor
US11252315B2 (en) * 2017-08-04 2022-02-15 Sony Interactive Entertainment Inc. Imaging apparatus and information processing method
JP7047311B2 (ja) * 2017-09-29 2022-04-05 セイコーエプソン株式会社 印刷制御装置、印刷装置および印刷制御方法
CN111357282B (zh) * 2017-11-21 2023-04-18 索尼公司 图像处理装置、图像处理方法、程序和固态成像装置
US10935501B2 (en) 2017-12-01 2021-03-02 Onto Innovation Inc. Sub-resolution defect detection
US20210150744A1 (en) 2017-12-20 2021-05-20 Olympus Corporation System and method for hybrid depth estimation
WO2019131303A1 (ja) * 2017-12-28 2019-07-04 シャープ株式会社 虹彩認証装置
US10937705B2 (en) 2018-03-30 2021-03-02 Onto Innovation Inc. Sample inspection using topography
JP7176917B2 (ja) * 2018-10-02 2022-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP2020088676A (ja) * 2018-11-28 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
US10955236B2 (en) * 2019-04-05 2021-03-23 Faro Technologies, Inc. Three-dimensional measuring system
US11477360B2 (en) 2020-05-15 2022-10-18 Meta Platforms Technologies, Llc Stacked image sensor with polarization sensing pixel array
JP2022157160A (ja) * 2021-03-31 2022-10-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置
WO2024203082A1 (ja) * 2023-03-31 2024-10-03 ソニーグループ株式会社 偏光センサ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010040506A (ko) 1998-02-02 2001-05-15 유니액스 코포레이션 유기 반도체로부터 제조한 영상 센서
JP2007059517A (ja) * 2005-08-23 2007-03-08 Fujifilm Corp 光電変換膜、光電変換素子、及び撮像素子、並びに、これらに電場を印加する方法
US7745815B2 (en) * 2006-01-16 2010-06-29 California Institute Of Technology Polarization-sensitive quantum well infrared photodetector focal plane array
JP5428509B2 (ja) 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2012008424A (ja) * 2010-06-28 2012-01-12 Olympus Corp 撮像システム
JP2012212978A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像素子および撮像装置
JP5853719B2 (ja) * 2012-01-20 2016-02-09 株式会社リコー 画像処理システム及びそれを備えた車両
WO2013158975A1 (en) * 2012-04-20 2013-10-24 Washington University Sensor for spectral-polarization imaging

Also Published As

Publication number Publication date
US20160163752A1 (en) 2016-06-09
US9691802B2 (en) 2017-06-27
WO2015025676A1 (ja) 2015-02-26
JP2015041793A (ja) 2015-03-02

Similar Documents

Publication Publication Date Title
JP6192428B2 (ja) 撮像装置
US10620116B2 (en) Polarization property image measurement device, and polarization property image measurement method
WO2016129406A1 (ja) 撮像素子、および電子装置
US20100245826A1 (en) One chip image sensor for measuring vitality of subject
US9658367B2 (en) Image acquisition apparatus
KR101265432B1 (ko) 촬상 소자 및 이것을 사용하는 촬상 장치
US20180049633A1 (en) Imaging device
JP6017276B2 (ja) 撮像装置
US20160037103A1 (en) Image sensor and image pick-up apparatus including the same
US9188480B2 (en) Color filter array and image sensor
US9756304B2 (en) Image-acquisition apparatus for performing distance measurement using parallax
WO2014119257A1 (ja) 撮像システム
JP2014064196A (ja) 撮像装置
JP2005522920A (ja) 測定システムにおける装置
JP2021019260A (ja) 撮像素子、およびこれを備える撮像装置
JP4344257B2 (ja) 撮影装置及び色分解光学系
WO2018096841A1 (ja) 撮像装置および撮像方法
JP2018182468A (ja) 撮像素子および撮像装置
JP5820831B2 (ja) 撮像装置
JP2015166723A (ja) 撮像装置および撮像システム
JP6028082B2 (ja) 撮像装置
KR101242929B1 (ko) 다파장 구별 촬영 장치
JP2015108672A5 (ja)
JP2012168339A5 (ja)
JP6267535B2 (ja) 色収差測定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170808

R151 Written notification of patent or utility model registration

Ref document number: 6192428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250