JP6589006B2 - シフトされたマイクロレンズアレイを有するイメージセンサ - Google Patents

シフトされたマイクロレンズアレイを有するイメージセンサ Download PDF

Info

Publication number
JP6589006B2
JP6589006B2 JP2018080650A JP2018080650A JP6589006B2 JP 6589006 B2 JP6589006 B2 JP 6589006B2 JP 2018080650 A JP2018080650 A JP 2018080650A JP 2018080650 A JP2018080650 A JP 2018080650A JP 6589006 B2 JP6589006 B2 JP 6589006B2
Authority
JP
Japan
Prior art keywords
microlens
offset
additional offset
macro
microlenses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018080650A
Other languages
English (en)
Other versions
JP2019092145A (ja
Inventor
武政 郭
武政 郭
國峰 林
國峰 林
宗霖 ▲呉▼
宗霖 ▲呉▼
錦全 謝
錦全 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VisEra Technologies Co Ltd
Original Assignee
VisEra Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VisEra Technologies Co Ltd filed Critical VisEra Technologies Co Ltd
Publication of JP2019092145A publication Critical patent/JP2019092145A/ja
Application granted granted Critical
Publication of JP6589006B2 publication Critical patent/JP6589006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V5/00—Refractors for light sources
    • F21V5/002—Refractors for light sources using microoptical elements for redirecting or diffusing light
    • F21V5/004—Refractors for light sources using microoptical elements for redirecting or diffusing light using microlenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G02B27/0961—Lens arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、イメージセンサに関するものであり、特に、シフトされたマイクロレンズアレイを有するイメージセンサに関するものである。
ライトフィールドカメラは、マイクロレンズアレイを用いて、３次元（３Ｄ）シーンの光線空間（ｌｉｇｈｔ−ｆｉｅｌｄ）の情報をキャプチャするカメラである。これにより、使用者はライトフィールドカメラで生成された画像をリフォーカスすることができる。しかしながら、従来のライトフィールドカメラは、画像解像度が低い、カメラモジュールが大きい、光の透過率が低いなどの弱点を有する。従って、上述の問題を解決したライトフィールドデバイスに備えられるイメージセンサの需要がある。
ライトフィールドデバイスに備えられる、シフトされたマイクロレンズアレイを有するイメージセンサを提供する。
詳細な説明は、添付の図面と併せて以下の実施形態に説明される。
イメージセンサが提供される。イメージセンサは、複数のマイクロレンズを含むマイクロレンズアレイ、および複数のマクロピクセル内に配置された複数の光電素子を含むセンサアレイを含む。複数のマクロピクセルの各々は、複数のマイクロレンズの第１のマイクロレンズ、第２のマイクロレンズ、第３のマイクロレンズ、および第４のマイクロレンズを介して入射光を受光する第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子を含む。複数のマクロピクセルの各々の第１のマイクロレンズ、第２のマイクロレンズ、第３のマイクロレンズ、および第４のマイクロレンズは、第１の初期オフセット、第２の初期オフセット、第３の初期オフセット、および第４の初期オフセットをそれぞれ有する。複数のマクロピクセルの各々の第１のマイクロレンズおよび第２のマイクロレンズは、更に第１の追加のオフセットおよび第２の追加のオフセットをそれぞれ有する。
本発明の１つの態様では、複数のマクロピクセルの各々の第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子は、第１の２×２アレイで配置され、複数のマクロピクセルの各々の第１のマイクロレンズ、第２のマイクロレンズ、第３のマイクロレンズ、および第４のマイクロレンズは、第１の初期オフセット、第２の初期オフセット、第３の初期オフセット、および第４の初期オフセットでセンサアレイの中心に向けてそれぞれシフトされる。
本発明のもう１つの態様では、センサアレイの複数のマクロピクセルの各々は、入射光からオブジェクトの距離および方向情報を求めるのに用いられる強度信号を出力し、センサアレイの複数のマクロピクセルの各々からの強度信号の複数の強度分布を記録するルックアップテーブルは、オブジェクトの距離および方向情報を求めるのに用いられる。
本発明の１つの態様では、複数のマイクロレンズは、２次元状に配置され、複数のマイクロレンズの各２つの隣接するマイクロレンズ間に間隙があり、間隙は、低屈折率（ｌｏｗ−ｎ）材料または空気で充填されることができる。また、複数のマイクロレンズの形状は、フラットタイプまたはカーブタイプであることができる。
本発明の実施形態では、第１のマイクロレンズは、第１の方向に第１の追加のオフセットで更にシフトされ、第２のマイクロレンズは、第１の方向と反対方向の第２の方向に第２の追加のオフセットで更にシフトされ、第１の追加のオフセットは、第２の追加のオフセットと等しい。また、第３のマイクロレンズは、第３の追加のオフセットを更に有し、第４のマイクロレンズは、第４の追加のオフセットを更に有し、第３のマイクロレンズは、第３の方向に第３の追加のオフセットで更にシフトされ、第４のマイクロレンズは、第３の方向と反対方向の第４の方向に第４の追加のオフセットで更にシフトされ、第３の追加のオフセットは、第４の追加のオフセットと等しく、第１の方向は、第３の方向に対して垂直である。
本発明の代替の実施形態では、第１のマイクロレンズは、第１の方向に第１の追加のオフセットで更にシフトされ、第２のマイクロレンズは、第１の方向に第２の追加のオフセットで更にシフトされ、第１の追加のオフセットは、第２の追加のオフセットより大きい。また、第３のマイクロレンズは、第３の追加のオフセットを更に有し、第４のマイクロレンズは、第４の追加のオフセットを更に有し、第３のマイクロレンズは、第２の方向に第３の追加のオフセットで更にシフトされ、第４のマイクロレンズは、第２の方向に第４の追加のオフセットで更にシフトされ、第３の追加のオフセットは、第４の追加のオフセットより大きく、第１の方向は、第２の方向に対して垂直である。
本発明の１つの態様では、イメージセンサは、マイクロレンズアレイとセンサアレイの間に配置されたカラーフィルターアレイを更に含み、カラーフィルターアレイは、入射光から緑色光を抽出する複数の緑色フィルター、入射光から赤色光を抽出する複数の赤色フィルター、および入射光から青色光を抽出する複数の青色フィルターを含む。
本発明の１つの態様では、複数のマクロピクセルは、複数のマクロセル内に配置され、複数のマクロセルの各々は、第２の２×２アレイで配置された第１のマクロピクセル、第２のマクロピクセル、第３のマクロピクセル、および第４のマクロピクセルを含み、複数のマクロセルの各々の第１のマクロピクセル、第２のマクロピクセル、第３のマクロピクセル、および第４のマクロピクセルは、緑色光、赤色光、青色光、および緑色光をそれぞれ受光する。
本発明の１つの態様では、複数のマクロセルの各々の第２のマクロピクセルと第３のマクロピクセルの第１のマイクロレンズの第１の追加のオフセットと第２のマイクロレンズの第２の追加のオフセットは、ゼロであり、複数のマクロセルの各々の第１のマクロピクセルと第４のマクロピクセルの第１のマイクロレンズの第１の追加のオフセットと第２のマイクロレンズの第２の追加のオフセットは、非ゼロである。
添付の図面とともに以下の本発明の様々な実施形態の詳細な説明を検討することで、本発明はより完全に理解できる。
本発明の実施形態に係るライトフィールドデバイス１００の概略図である。 本発明の実施形態に係るセンサアレイのマクロピクセルを示す図である。 本発明の実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。 図２Ｂの実施形態に係る光電素子およびオフセット値のない光電素子のマイクロレンズの断面図である。 図２Ｂの実施形態に係る光電素子およびオフセット値を有する光電素子のマイクロレンズの断面図である。 図２Ｂの実施形態に係る光電素子およびオフセット値のない光電素子のマイクロレンズの断面図である。 図２Ｂの実施形態に係る光電素子およびオフセット値を有する光電素子のマイクロレンズの断面図である。 本発明の実施形態に係るセンサアレイの図である。 図１の実施形態に係るライトフィールドデバイスの構造および操作を示す断面図である。 図３Ａの実施形態に係る領域でシフトされたマイクロレンズを有するマクロピクセルを示す拡大図である。 本発明のもう１つの実施形態に係るライトフィールドデバイスの構造および操作を示す断面図である。 図４Ａの実施形態に係る領域でシフトされたマイクロレンズを有するマクロピクセルを示す拡大図である。 本発明のもう１つの実施形態に係るライトフィールドデバイスの構造および操作を示す断面図である。 図５Ａの実施形態に係る領域でシフトされたマイクロレンズを有するマクロピクセルを示す拡大図である。 本発明のもう１つの実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。 本発明のまたもう１つの実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。 本発明のまたもう１つの実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。 本発明のもう１つの実施形態に係るカラーフィルターアレイを有するライトフィールドデバイス１００の概略図である。 本発明の実施形態に係るマクロセルの図である。 ランダムな色分布を有するマクロセル９００の一例を示している。 本発明のまたもう１つの実施形態に係るマクロセルの図である。
以下の説明は、本発明を実施するベストモードが開示されている。この説明は、本発明の一般原理を例示する目的のためのもので本発明を限定するものではない。本発明の範囲は、添付の特許請求の範囲を参照して決定される。
図１は、本発明の実施形態に係るライトフィールドデバイス１００の概略図である。ライトフィールドデバイス１００は、ライトフィールドカメラ、または携帯電話または携帯用コンピュータなどの電子機器に配置されたライトフィールドカメラモジュールであることができる。
ライトフィールドデバイス１００は、イメージセンサ１、レンズ２、画像信号プロセッサ（ＩＳＰ）３、およびハウジング４を含む。イメージセンサ１およびＩＳＰ３は、ハウジング４に配置され、レンズ２は、ハウジング４の上に配置される。光線Ｌ１は、レンズ２を通ってハウジング４内に入り、イメージセンサ１に射出される。イメージセンサ１は、入射光を検出することによって画像信号を出力する。ＩＳＰ３は、イメージセンサ１から画像信号を受信し、イメージセンサ１からの画像信号を用いて、３次元画像を生成する。
実施形態では、イメージセンサ１は、センサアレイ１０およびマイクロレンズアレイ２０を含む。センサアレイ１０は、２次元マトリクス状に配置された複数の光電素子１１を含む。マイクロレンズアレイ２０は、レンズ２とセンサアレイ１０の間に配置され、２次元状に配置された複数のマイクロレンズ２１を含む。
実施形態では、マイクロレンズアレイ２０のマイクロレンズ２１およびセンサアレイ１０の光電素子１１は、１対１対応で配置されることができる。即ち、マイクロレンズ２１の２次元マトリクスは、光電素子１１の２次元マトリクスに対応して配置されることができる。例えば、各マイクロレンズ２１は、各光電素子１１に対応して配置されることができ、入射光を各光電素子１１の上に導く。
図２Ａは、本発明の実施形態に係るセンサアレイのマクロピクセルを示す図である。実施形態では、センサアレイ１０の光電素子１１は、複数のマクロピクセル１２１〜１２Ｎ内に配置され、各マクロピクセル１２１〜１２Ｎは、４つの光電素子を含む。例えば、各マクロピクセルの４つの光電素子は、２×２アレイで配置されることができる。いくつかの実施形態では、各マクロピクセルの４つの光電素子は、４×４アレイ、６×６アレイ、または８×８アレイでも配置されることができるが、本発明はこれに限定されるものではない。留意すべきことは、マイクロレンズは、各マイクロピクセル１２１〜１２Ｎの各４つの光電素子に対応して配置されることである。マクロピクセル１２１を例として用いると、マイクロレンズＭＬ１〜ＭＬ４は、マクロピクセル１２１の光電素子１２１Ａ、１２１Ｂ、１２１Ｃ、および１２１Ｄにそれぞれ対応するように配置される。
図２Ｂは、本発明の実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。図２Ｃは、図２Ｂの実施形態に係る光電素子およびオフセット値のない光電素子のマイクロレンズの断面図である。図２Ｄは、図２Ｂの実施形態に係る光電素子およびオフセット値を有する光電素子のマイクロレンズの断面図である。
いくつかの実施形態では、図２Ｂに示すように、マイクロレンズＭＬ１〜ＭＬ４は、光電素子１２１Ａ〜１２１Ｄの上に直接配置されないことができ、各マイクロレンズＭＬ１〜ＭＬ４は、それぞれの初期オフセットおよび方向を有する。また、１つ以上のマイクロレンズＭＬ１〜ＭＬ４は、それぞれの追加のオフセットを有することもできる。
説明のために、マクロピクセル１２１は、センサアレイ１０の中心に配置されており、マイクロレンズＭＬ１〜ＭＬ４の初期オフセットは、０であるとする。光電素子１２１Ｂと関連したマイクロレンズＭＬ２は、第１の正方向（例えば、Ｘ軸の正方向）に追加のオフセットＡ１を有し、光電素子１２１Ｃと関連したマイクロレンズＭＬ３は、第１の方向と反対方向の第２の方向（例えば、Ｘ軸の負方向）に追加のオフセットＡ２を有する。実施形態では、オフセットＡ１およびＡ２は、等しい。即ち、マイクロレンズＭＬ２は、第１の方向（例えば、Ｘ軸の正方向）に向けてオフセットＡ１でシフトされ、マイクロレンズＭＬ３は、第１の方向と反対方向の第２の方向（例えば、Ｘ軸の負方向）に向けてオフセットＡ２でシフトされる。
光電素子１２１Ａおよびその対応するマイクロレンズＭＬ１の断面図が図２Ｃに示される。従って、マイクロレンズＭＬ１は、マイクロピクセル１２１がセンサアレイ１０の中心に配置されたとき、オフセットなしで光電素子１２１Ａの上に直接配置されることができる。即ち、マイクロレンズＭＬ１の中心は、図２Ｃに示されるように、光電素子１２１Ａの中心に位置合わせされる。
光電素子１２１Ｂおよびその対応するマイクロレンズＭＬ２の断面図が図２Ｄに示される。従って、マイクロレンズＭＬ２は、マイクロピクセル１２１がセンサアレイ１０の中心に配置されたとき、追加のオフセットＡ１で光電素子１２１Ｂの上に配置されることができる。即ち、マイクロレンズＭＬ２の中心は、図２Ｄに示されるように、Ｘ軸の正方向に向けてオフセットＡ１でシフトされる。
図２Ｅは、図２Ｂの実施形態に係る光電素子およびオフセット値のない光電素子のマイクロレンズの断面図である。図２Ｆは、図２Ｂの実施形態に係る光電素子およびオフセット値を有する光電素子のマイクロレンズの断面図である。
留意すべきことは、マイクロレンズＭＬ１〜ＭＬ４の形状は、図２Ｃおよび図２Ｄの実施形態においてフラットタイプである。また、マイクロレンズＭＬ１〜ＭＬ４の形状は、カーブタイプであることができる。例えば、光電素子１２１Ｂおよびその対応するマイクロレンズＭＬ２の他の断面図は、図２Ｅに示され、マイクロレンズＭＬ２の形状は、カーブタイプである。光電素子１２１Ｂおよびその対応するマイクロレンズＭＬ２の他の断面図は、図２Ｆに示され、マイクロレンズＭＬ３の形状は、カーブタイプである。
実施形態では、マイクロレンズアレイ２０のマイクロレンズ２１は、２次元状に配置され、マイクロレンズアレイの各２つの隣接するマイクロレンズ間に間隙がある。留意すべきことは、間隙は、単一のマクロピクセル内の各隣接する２つのマイクロレンズ間に存在するだけでなく、マイクロレンズアレイ２０の各２つの隣接するマクロピクセルの２つの隣接するマイクロレンズの間にも存在する。いくつかの実施形態では、各隣接する２つのマイクロレンズ間の間隙は、低屈折率（ｌｏｗ−ｎ）材料で充填されることができる。いくつかの他の実施形態では、各隣接する２つのマイクロレンズ間の間隙は、空気でもよい。
図２Ｇは、本発明の実施形態に係るセンサアレイの図である。実施形態では、センサアレイ１０は、０度の主光線角度の光を受ける中心１５を有する。しかしながら、センサアレイ１０の角にある画素は、大きい主光線角度の光を受けることができる。
具体的には、センサアレイ１０の各マクロピクセルは、センサアレイ１０の中心１５に対して半径距離を有する。具体的には、特定のマクロピクセルの半径距離が大きいとき、特定のマクロピクセルの主光線角度も大きい。従って、特定のマクロピクセルの光電素子に対応するマイクロレンズは、信号劣化を最小限に抑えるように、より大きなオフセットでセンサアレイ１０の中心１５に向けてシフトされなければならない。
例えば、位置２５０にあるマクロピクセルは、センサアレイ１０の中心１５に対して半径距離Ｒ１を有し、Ｘ軸と、位置２５０と中心１５を結ぶ点線は、内角θ１を有する。従って、位置２５０にあるマクロピクセルのマイクロレンズの初期オフセットは、半径距離Ｒ１と内角θ１に従って決定されることができる。
また、位置２６０にあるマクロピクセルは、センサアレイ１０の中心１５に対して半径距離Ｒ２を有し、Ｙ軸と、位置２６０と中心１５を結ぶ点線は、内角θ２を有する。従って、位置２６０にあるマクロピクセルのマイクロレンズの初期オフセットは、半径距離Ｒ２と内角θ２に従って決定されることができる。センサアレイの所定のマクロピクセルのマイクロレンズの初期オフセットを計算する技術は、当業者に一般的に知られている技術であるため、ここでは詳細は省略される。
具体的には、初期オフセットは、所定のマクロピクセルの位置によって、Ｘ軸とＹ軸に沿った２次元オフセットであることができ、初期オフセットの方向は、センサアレイ１０の中心１５に向かう。
留意すべきことは、センサアレイの所定のマクロピクセルのマイクロレンズは、初期オフセットに加え、それぞれの追加のオフセットを有することができ、その詳細は後述する。
図３Ａは、本発明の実施形態に係るライトフィールドデバイスの構造および操作を示す断面図である。図３Ｂは、図３Ａの実施形態に係る領域でシフトされたマイクロレンズを有するマクロピクセルを示す拡大図である。
図３Ａに示すように、点オブジェクト（ｐｏｉｎｔ ｏｂｊｅｃｔ）３００からの入射光Ｌ２、Ｌ３、およびＬ４は、レンズ２を介してセンサアレイ１０の像面に正確に集光し、入射光Ｌ２、Ｌ３、およびＬ４は、センサアレイ１０のマクロピクセル３１０上に正確に射出されるものとする。また、マクロピクセル３１０に隣接するマクロピクセル３１１および３１２は、入射光を受光しない。
図３Ｂに示すように、センサアレイ１０の領域３２０の拡大図が示されている。例えば、マイクロレンズＭＬ３１０１、ＭＬ３１０２、ＭＬ３１０３、およびＭＬ３１０４を用いたマクロピクセル３１０の光電素子３１０１、３１０２、３１０３、および３１０４の量子効率（ＱＥ）値は、それぞれ０．７１３、 ０．６９５、 ０．６９５、 および０．７１３であり、マイクロレンズＭＬ３１１１〜ＭＬ３１１４をそれぞれ用いマクロピクセル３１１の光電素子３１１１〜３１１４のＱＥ値、およびマイクロレンズＭＬ３１２１〜ＭＬ３１２４をそれぞれ用いたマクロピクセル３１２の光電素子３１２１〜３１２４のＱＥ値は、ゼロである。
図４Ａは、本発明のもう１つの実施形態に係るライトフィールドデバイスの構造および操作を示す断面図である。図４Ｂは、図４Ａの実施形態に係る領域でシフトされたマイクロレンズを有するマクロピクセルを示す拡大図である。
図４Ａに示されるように、第２のシナリオでは、点オブジェクト４００は、ライトフィールドデバイス１に近接して配置されるため、点オブジェクト４００からの入射光Ｌ２、Ｌ３、およびＬ４は、レンズ２を介して、センサアレイ１０の像面の後面に集光する。入射光Ｌ２、Ｌ３、およびＬ４は、センサアレイ１０のマクロピクセルの４１１、４１０、および４１２の上にそれぞれ出射される。
図４Ｂに示すように、センサアレイ１０の領域４２０の拡大図が示されている。例えば、マイクロレンズＭＬ４１０１、ＭＬ４１０２、ＭＬ４１０３、およびＭＬ４１０４を用いたマクロピクセル４１０の光電素子４１０１、４１０２、４１０３、および４１０４のＱＥ値は、それぞれ０．７１３、 ０．６９５、 ０．６９５、 および０．７１３である。また、マイクロレンズＭＬ４１１１、ＭＬ４１１２、ＭＬ４１１３、およびＭＬ４１１４を用いたマクロピクセル４１１の光電素子４１１１、４１１２、４１１３、および４１１４のＱＥ値は、それぞれ０．７０８、 ０．６７１、 ０．７０４、および０．７０８である。マイクロレンズＭＬ４１２１、ＭＬ４１２２、ＭＬ４１２３、およびＭＬ４１２４を用いたマクロピクセル４１２の光電素子４１２１、４１２２、４１２３、および４１２４のＱＥ値は、それぞれ０．７０８、 ０．７０４、 ０．６７１、 および０．７０８である。
図５Ａは、本発明のもう１つの実施形態に係るライトフィールドデバイスの構造および操作を示す断面図である。図５Ｂは、図５Ａの実施形態に係る領域でシフトされたマイクロレンズを有するマクロピクセルを示す拡大図である。
図５Ａに示されるように、第３のシナリオでは、点オブジェクト５００は、ライトフィールドデバイス１００から離れて配置されるため、点オブジェクト５００からの入射光Ｌ２、Ｌ３、およびＬ４は、レンズ２を介して、センサアレイ１０の像面の前面に集光する。入射光Ｌ２、Ｌ３、およびＬ４は、センサアレイ１０のマクロピクセルの５１２、５１０、および５１１の上にそれぞれ出射される。
図５Ｂに示すように、センサアレイ１０の領域５２０の拡大図が示されている。例えば、マイクロレンズＭＬ５１０１、ＭＬ５１０２、ＭＬ５１０３、およびＭＬ５１０４を用いたマクロピクセル５１０の光電素子５１０１、５１０２、５１０３、および５１０４のＱＥ値は、それぞれ０．７１３、 ０．６９５、 ０．６９５、 および０．７１３である。また、マイクロレンズＭＬ５１１１、ＭＬ５１１２、ＭＬ５１１３、およびＭＬ５１１４を用いたマクロピクセル５１１の光電素子５１１１、５１１２、５１１３、および５１１４のＱＥ値は、それぞれ０．６３９、 ０．６５９、 ０．５０４、 および０．６３９である。マイクロレンズＭＬ５１２１、ＭＬ５１２２、ＭＬ５１２３、およびＭＬ５１２４を用いたマクロピクセル５１２の光電素子５１２１、５１２２、５１２３、および５１２４のＱＥ値は、それぞれ０．６３９、０．５０４、 ０．６５９、および０．６３９である。
図３Ａ〜図３Ｂ、図４Ａ〜図４Ｂ、および図５Ａ〜図５Ｂの実施形態では、各マクロピクセルの光電素子で検出された強度信号は、リモートオブジェクト（ｒｅｍｏｔｅ ｏｂｊｅｃｔ）の距離および方向情報を求めるのに用いられることができる特定の強度分布を有する。具体的には、センサアレイ１０の各マクロピクセルの光電素子の可能な限りの強度分布を記録するルックアップテーブルが予め組み込まれることができる。例えば、ルックアップテーブルは、ライトフィールドデバイス１００の不揮発性メモリ（図示されていない）に保存されることができる。従って、ＩＳＰ４は、イメージセンサ１から画像信号を取得し、センサアレイ１０の各マクロピクセルで検出された強度信号の特定の強度分布に従って、ルックアップテーブルからリモートオブジェクトの距離および方向情報を求めることができる。
また、イメージセンサ１からの画像信号は、複数のマイクロレンズを用いて一度に撮像された複数の視点の画像を含む。画像は、ＩＳＰ４で解析され、奥行き情報を抽出する。例えば、マイクロレンズアレイ内の複数のマイクロレンズは、それらの相対位置によってやや異なる視点を有するため、各マイクロレンズから撮像された複数の画像は、異なる奥行きを有することができる。従って、各画像内の各オブジェクトの相対距離は、複数の画像を解析することによって識別されることができる。
また、イメージセンサ１の位相（ｐｈａｓｅ）マイクロレンズを用いた光電素子応答の量子効率は、従来の２次元イメージセンサの光電素子の量子効率と同様であるため、イメージセンサ１は、２次元イメージセンサとライトフィールドイメージセンサとの間で切り替えることができる。
以下のセクションでは、センサアレイ１０の各マクロピクセルの１つ以上の光電素子に用いる追加のオフセットの異なる構成を有する実施形態が説明される。
図６は、本発明のもう１つの実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。いくつかの実施形態では、図６に示すように、マクロピクセル１２１のマイクロレンズＭＬ１〜ＭＬ４は、光電素子１２１Ａ〜１２１Ｄの上に直接配置されないことができ、各マイクロレンズＭＬ１〜ＭＬ４は、それぞれの初期オフセットおよび方向を有する。また、１つ以上のマイクロレンズＭＬ１〜ＭＬ４はそれぞれの追加のオフセットも有することができる。
説明のために、マクロピクセル１２１は、センサアレイ１０の中心に配置されており、マイクロレンズＭＬ１〜ＭＬ４の初期オフセットは、０であるとする。光電素子１２１Ｂと関連したマイクロレンズＭＬ２は、第１の方向（例えば、Ｘ軸の正方向）にオフセットＡ１を有し、光電素子１２１Ｃと関連したマイクロレンズＭＬ３は、第１の方向（例えば、Ｘ軸の正方向）にオフセットＡ２を有する。実施形態では、オフセットＡ１は、オフセットＡ２より大きい。即ち、マイクロレンズＭＬ２は、第１の方向（例えば、Ｘ軸の正方向）に向けて、マイクロレンズＭＬ３（即ち、オフセットＡ２）より、より大きい距離（即ち、オフセットＡ１）でシフトされる。
図７は、本発明のまたもう１つの実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。いくつかの実施形態では、図７に示すように、マクロピクセル１２１のマイクロレンズＭＬ１〜ＭＬ４は、光電素子１２１Ａ〜１２１Ｄの上に直接配置されないことができ、各マイクロレンズＭＬ１〜ＭＬ４は、それぞれの初期オフセットおよび方向を有する。また、１つ以上のマイクロレンズＭＬ１〜ＭＬ４はそれぞれの追加のオフセットも有することができる。
説明のために、マクロピクセル１２１は、センサアレイ１０の中心に配置されており、マイクロレンズＭＬ１〜ＭＬ４の初期オフセットは、０であるとする。光電素子１２１Ｂと関連したマイクロレンズＭＬ２は、第１の方向（例えば、Ｘ軸の正方向）に追加のオフセットＡ１を有し、光電素子１２１Ｃと関連したマイクロレンズＭＬ３は、第１の方向と反対方向の第２の方向（例えばＸ軸の負方向）に追加のオフセットＡ２を有する。実施形態では、オフセットＡ１およびＡ２は、等しい。即ち、マイクロレンズＭＬ２は、第１の方向（例えば、Ｘ軸の正方向）に向けて追加のオフセット（即ち、オフセットＡ１）でシフトされ、マイクロレンズＭＬ３は、第１の方向と反対方向の第２の方向（例えば、Ｘ軸の負方向）に向けて追加のオフセット（即ち、オフセットＡ２）でシフトされる。
また、光電素子１２１Ａと関連したマイクロレンズＭＬ１は、第３の方向（例えば、Ｙ軸の正方向）に追加のオフセットＡ３を有し、光電素子１２１Ｄと関連したマイクロレンズＭＬ４は、第３の方向と反対方向の第４の方向（例えば、Ｙ軸の負方向）に追加のオフセットＡ４を有し、第３の方向は第１の方向に対して垂直である。実施形態では、オフセットＡ３およびＡ４は、等しい。即ち、マイクロレンズＭＬ１は、第３の方向（例えば、Ｙ軸の正方向）に向けて追加のオフセット（即ち、オフセットＡ３）でシフトされ、マイクロレンズＭＬ４は、第３の方向と反対方向の第４の方向（例えば、Ｙ軸の負方向）に向けて追加のオフセット（即ち、オフセットＡ４）でシフトされる。
図８は、本発明のまたもう１つの実施形態に係るシフトされたマイクロレンズを有するマクロピクセルの図である。いくつかの実施形態では、図８に示すように、マクロピクセル１２１のマイクロレンズＭＬ１〜ＭＬ４は、光電素子１２１Ａ〜１２１Ｄの上に直接配置されないことができ、各マイクロレンズＭＬ１〜ＭＬ４は、それぞれの初期オフセットおよび方向を有する。また、１つ以上のマイクロレンズＭＬ１〜ＭＬ４はそれぞれの追加のオフセットも有することができる。
説明のために、マクロピクセル１２１は、センサアレイ１０の中心に配置されており、マイクロレンズＭＬ１〜ＭＬ４の初期オフセットは、０であるとする。光電素子１２１Ｂと関連したマイクロレンズＭＬ２は、第１の方向（例えば、Ｘ軸の正方向）に第１の追加のオフセットＡ１を有し、光電素子１２１Ｃと関連したマイクロレンズＭＬ３は、第１の方向（例えば、Ｘ軸の正方向）に第２の追加のオフセットＡ２を有する。実施形態では、オフセットＡ１およびＡ２は、正値であり、オフセットＡ１は、オフセットＡ２より大きい。即ち、マイクロレンズＭＬ２は、第１の方向（例えば、Ｘ軸の正方向）に向けて、マイクロレンズＭＬ３（即ち、オフセットＡ２）より、より大きい距離（即ち、オフセットＡ１）でシフトされる。
また、光電素子１２１Ａと関連したマイクロレンズＭＬ１は、第２の方向（例えば、Ｙ軸の正方向）に第３の追加のオフセットＡ３を有し、光電素子１２１Ｄと関連したマイクロレンズＭＬ４は、第２の方向（例えば、Ｙ軸の正方向）に第４の追加のオフセットＡ４を有し、第２の方向は第１の方向に対して垂直である。実施形態では、オフセットＡ３およびＡ４は、正値であり、オフセットＡ３は、オフセットＡ４より大きい。即ち、マイクロレンズＭＬ１は、第２方向（例えば、Ｙ軸の正方向）に向けて、マイクロレンズＭＬ４（即ち、オフセットＡ４）より、より大きい距離（即ち、オフセットＡ３）でシフトされる。
留意すべきことは、説明のために、マクロピクセル１２１は、センサアレイ１０の中心に配置されており、マイクロレンズＭＬ１〜ＭＬ４の初期オフセットは、図２Ｂ、図６、図７、および図８の実施形態において、０であるとすることである。マクロピクセルがセンサアレイの中心１５に配置されないとき、マイクロレンズＭＬ１〜ＭＬ４の初期オフセットは、ゼロではない。また、各マクロピクセル内の光電素子の初期オフセットは異なるが、互いに非常に近似している。具体的には、各マクロピクセルの各光電素子の全体のオフセットは、それぞれの追加のオフセットを初期のオフセットに加えることによって計算される。
図９Ａは、本発明のもう１つの実施形態に係るカラーフィルターアレイを有するライトフィールドデバイス１００の概略図である。もう１つの実施形態では、イメージセンサ１は、カラーイメージセンサであり、カラーフィルターが各光電素子の上に配置されることができる。例えば、ライトフィールドデバイス１００は、マイクロレンズアレイ２０とセンサアレイ１０の間に配置されたカラーフィルターアレイ３０を更に含む。カラーフィルターアレイ３０は、２次元状に配置された複数のカラーフィルター３１を含む。
実施形態では、マイクロレンズアレイ２０のマイクロレンズ２１、カラーフィルターアレイ３０のカラーフィルター３１、およびセンサアレイ１０の光電素子１１は、１対１対応で配置されることができる。具体的には、カラーフィルターアレイ３０の各カラーフィルター３１は、センサアレイ１０のそれぞれの光電素子の上に直接配置され、マイクロレンズアレイ２０の各マイクロレンズは、カラーフィルターアレイ３０のそれぞれのカラーフィルターの上に配置される。従って、各カラーフィルター３１は、オフセットのあるまたはオフセットのないそれぞれのマイクロレンズを介して入射光を受け、次いで入射光から色成分（例えば、赤、緑、または青色成分）を抽出することができ、それぞれの光電素子は、抽出された色成分を受けることができる。
図９Ｂは、本発明の実施形態に係るマクロセルの図である。実施形態では、センサアレイ１０の各マクロピクセルは、所定のカラーフィルターに対応する。センサアレイ１０のマクロピクセルは、複数のマクロセル内に配置され、各マクロセルは、２×２アレイで配置された４つのマクロピクセルを含む。
例えば、マクロセル９００は、マクロピクセル９０１、９０２、９０３、および９０４を含む。マクロピクセル９０１、９０２、９０３、および９０４は、カラーフィルターアレイ３０を介して緑色光、赤色光、青色光、および緑色光をそれぞれ受光する。具体的には、緑色フィルターは、マクロピクセル９０１の各光電素子９０１１、９０１２、９０１３、および９０１４の上に配置される。同様に、赤色フィルターは、マイクロピクセル９０２の各光電素子９０２１、９０２２、９０２３、および９０２４の上に配置される。青色フィルターは、マイクロピクセル９０３の各光電素子９０３１、９０３２、９０３３、および９０３４の上に配置され、且つ緑色フィルターは、マイクロピクセル９０４の各光電素子９０４１、９０４２、９０４３、および９０４４の上に配置される。実施形態では、マクロピクセル９０１、９０２、９０３、および９０４は、ベイヤーパターンを形成する。
図９Ｃは、本発明のもう１つの実施形態に係るマクロセルの図である。もう１つの実施形態では、ランダムな色分布は、マクロセル９００の各マクロピクセルに用いられ、モアレ現象を抑制する。例えば、マクロセル９００に１６個のマクロピクセルがある。マクロセル９００の８個、４個、および４個のマクロピクセルは、緑色光、赤色光、および青色光をそれぞれ受光する。マクロセル９００の１６個のマクロピクセルの色分布は、ランダムであることができるが、マクロピクセルの配置は、モアレ現象を抑制するように左右対称である。
図９Ｃは、ランダムな色分布を有するマクロセル９００の一例を示している。また、各マクロピクセルに対応するマイクロレンズの追加のオフセットもランダムである。例えば、光電素子９０１１および９０１４（即ち、緑色画素）にそれぞれ対応するマイクロレンズＭＬ９０１１とＭＬ９０１４の追加のオフセットは、ゼロである。光電素子９０１２（即ち、赤色画素）および９０１３（即ち、青色画素）にそれぞれ対応するマイクロレンズＭＬ９０１２とＭＬ９０１３は、第１の方向（例えば、Ｘ軸の正方向）に向けて同じ追加のオフセットを有する。
また、光電素子９０２１および９０２４（即ち、赤色画素）にそれぞれ対応するマイクロレンズＭＬ９０２１とＭＬ９０２４の追加のオフセットは、ゼロである。光電素子９０２２（即ち、緑色画素）に対応するマイクロレンズＭＬ９０２２は、第１の方向（例えば、Ｘ軸の正方向）に向けて第１の追加のオフセットを有し、光電素子９０２３（即ち、緑色画素）に対応するマイクロレンズＭＬ９０２３は、第２の方向（例えば、Ｘ軸の負方向）に向けて第１の追加のオフセットを有する。
同様に、光電素子９０３１および９０３４（即ち、青色画素）にそれぞれ対応するマイクロレンズＭＬ９０３１とＭＬ９０３４の追加のオフセットは、ゼロである。光電素子９０３２（即ち、緑色画素）に対応するマイクロレンズＭＬ９０３２は、第１の方向（例えば、Ｘ軸の正方向）に向けて第１の追加のオフセットを有し、光電素子９０３３（即ち、緑色画素）に対応するマイクロレンズＭＬ９０３３は、第１の方向と反対方向の第２の方向（例えば、Ｘ軸の負方向）に向けて第１の追加のオフセットを有する。
同様に、光電素子９０４１および９０４４（即ち、緑色画素）にそれぞれ対応するマイクロレンズＭＬ９０４１とＭＬ９０４４の追加のオフセットは、ゼロである。光電素子９０４２（即ち、赤色画素）および９０４３（即ち、青色画素）にそれぞれ対応するマイクロレンズＭＬ９０４２およびＭＬ９０４３は、第１の方向と反対方向の第２の方向（例えば、Ｘ軸の負方向）に向けて同じ追加のオフセットを有する。
留意すべきことは、いくつかの実施形態では、ランダムな色分布パターンは、センサアレイの各マクロセルで繰り返されることができる。いくつかの代替の実施形態では、各隣接する２つのマイクロセルの色分布パターンは、モアレ現象をよりよく抑制するように異なる。
図９Ｄは、本発明のまたもう１つの実施形態に係るマクロセルの図である。またもう１つの実施形態では、マクロセル９００の特定の色のマクロピクセルに対応するマイクロレンズは、追加のオフセットを有し、マクロセル９００の他の色のマクロピクセルに対応するマイクロレンズは、追加のオフセットを有さない。例えば、マクロセル９００に１６個のマクロピクセルがある。マクロセル９００の８個、４個、および４個のマクロピクセルは、緑色光、赤色光、および青色光をそれぞれ受光する。実施形態では、マクロピクセル９０１、９０２、９０３、および９０４は、ベイヤーパターンを形成する。
具体的には、マクロピクセル９０１と９０４（即ち、緑色光を受光する）の１つ以上のマイクロレンズは、それぞれの追加の非ゼロのオフセットを有する。例えば、マイクロレンズＭＬ９０１２は、第１の方向（例えば、Ｘ軸の正方向）に向けて追加のオフセットを有し、マイクロレンズＭＬ９０１３は、第１の方向と反対方向の第２の方向（例えば、Ｘ軸の負方向）に向けて追加のオフセットを有する。留意すべきことは、マイクロレンズＭＬ９０１１およびＭＬ９０１４は、追加のオフセットを有さない（即ち、マイクロレンズＭＬ９０１１およびＭＬ９０１４の追加のオフセットは０である）。
同様に、マイクロレンズＭＬ９０４２は、第１の方向（例えば、Ｘ軸の正方向）に向けて第１の追加のオフセットを有し、マイクロレンズＭＬ９０４３は、第２の方向（例えば、Ｘ軸の負方向）に向けて第２の追加のオフセットを有する。留意すべきことは、マイクロレンズＭＬ９０４１およびＭＬ９０４４は、追加のオフセットを有さない（即ち、マイクロレンズＭＬ９０４１およびＭＬ９０４４の追加のオフセットは０である）。実施形態では、第１の追加のオフセットおよび第２の追加のオフセットは、同じ非ゼロ値であることができる。代替の実施形態では、第１の追加のオフセットおよび第２のオフセットは、異なる可能性がある。
マクロピクセル９０２は、赤色光を受光し、マクロピクセル９０３は、青色光を受光し、且つマクロピクセル９０２のマイクロレンズＭＬ９０２１〜ＭＬ９０２４およびマクロピクセル９０３のマイクロレンズＭＬ９０３１〜ＭＬ９０３４は、本実施形態では追加のオフセットを有さないことも留意されたい。
実施形態では、マクロセル９００は、第１のマクロピクセル、第２のマクロピクセル、第３のマクロピクセル、および第４のマクロピクセルを含む。左上２×２ブロック（例えば、マクロピクセル９０１）は、緑色光を受光する第１のマクロピクセルである。右上２×２ブロック（例えば、マクロピクセル９０２）は、赤色光を受光する第２のマクロピクセルである。左下２×２ブロック（例えば、マクロピクセル９０３）は、青色光を受光する第３のマクロピクセルであり、右下２×２ブロック（例えば、マクロピクセル９０４）は、緑色光を受光する第４のマクロピクセルである。
第２のマクロピクセルと第３のマクロピクセルの第１と第２のマイクロレンズは、追加のオフセットを有さない。即ち、第２のマクロピクセル（例えば、赤色光を受光）と第３のマクロピクセル（例えば、青色光を受光）の第１のマイクロレンズの第１の追加のオフセットと第２のマイクロレンズの第２の追加のオフセットは、ゼロである。また、第１のマクロピクセルと第４のマクロピクセルの第１と第２のマイクロレンズは、第１の追加のオフセット（即ち、非ゼロ値）と第２の追加のオフセット（即ち、非ゼロ値）をそれぞれ有する。即ち、第１のマクロピクセルと第４のマクロピクセル（即ち、両者とも緑色光を受光）の第１のマイクロレンズの第１の追加のオフセットと第２のマイクロレンズの第２の追加のオフセットは、非ゼロである。
センサアレイ１０の各マクロセルのマクロピクセルとマイクロレンズの配置は、ライトフィールドデバイスの位相差オートフォーカス（ＰＤＡＦ）機能に用いられることができ、且つ２次元撮影に用いられることができる。
本発明は、例として及び望ましい実施の形態によって記述されているが、本発明は開示された実施形態に限定されるものではない。逆に、当業者には自明の種々の変更及び同様の配置をカバーするものである。よって、添付の特許請求の範囲は、最も広義な解釈が与えられ、全てのこのような変更及び同様の配置を含むべきである。
１００ ライトフィールドデバイス
１ イメージセンサ
２ レンズ
３ 画像信号プロセッサ
４ ハウジング
１０ センサアレイ
１１ 光電素子
２０ マイクロレンズアレイ
２１ マイクロレンズ
Ｌ１ 光線
１２１、１２２〜１２Ｎ マイクロピクセル
１２１Ａ、１２１Ｂ、１２１Ｃ、１２１Ｄ 光電素子
ＭＬ１〜ＭＬ４ マイクロレンズ
Ａ１、Ａ２、Ａ３、Ａ４ オフセット
１５ 中心
Ｒ１、Ｒ２ 半径距離
２５０、２６０ センサアレイ上の位置

θ１、θ２ 内角
３００ 点オブジェクト（ｐｏｉｎｔ ｏｂｊｅｃｔ）
Ｌ２、Ｌ３、Ｌ４ 入射光
３１０、３１１、３１２ マクロピクセル
３２０ センサアレイの領域
３１０１、３１０２、３１０３、３１０４ 光電素子
３１１１〜３１１４ 光電素子
３１２１〜３１２４ 光電素子
ＭＬ３１０１、ＭＬ３１０２、ＭＬ３１０３、ＭＬ３１０４ マイクロレンズ
ＭＬ３１１１〜ＭＬ３１１４ マイクロレンズ
ＭＬ３１２１〜ＭＬ３１２４ マイクロレンズ
４００ 点オブジェクト
４１０、４１１、４１２ マクロピクセル
４２０ センサアレイの領域
４１０１、４１０２、４１０３、４１０４ 光電素子
４１１１〜４１１４ 光電素子
４１２１〜４１２４ 光電素子
ＭＬ４１０１、ＭＬ４１０２、ＭＬ４１０３、ＭＬ４１０４ マイクロレンズ
ＭＬ４１１１〜ＭＬ４１１４ マイクロレンズ
ＭＬ４１２１〜ＭＬ４１２４ マイクロレンズ
５００ 点オブジェクト（ｐｏｉｎｔ ｏｂｊｅｃｔ）
５１０、５１１、５１２ マクロピクセル
５２０ センサアレイの領域
５１０１、５１０２、５１０３、５１０４ 光電素子
５１１１〜５１１４ 光電素子
５１２１〜５１２４ 光電素子
ＭＬ５１０１、ＭＬ５１０２、ＭＬ５１０３、ＭＬ５１０４ マイクロレンズ
ＭＬ５１１１〜ＭＬ５１１４ マイクロレンズ
ＭＬ５１２１〜ＭＬ５１２４ マイクロレンズ
３０ カラーフィルターアレイ
３１ カラーフィルター
９００ マクロセル
９０１、９０２、９０３、９０４ マクロピクセル
９０１１、９０１２、９０１３、９０１４ 光電素子
９０２１、９０２２、９０２３、９０２４ 光電素子
９０３１、９０３２、９０３３、９０３４ 光電素子
９０４１、９０４２、９０４３、９０４４ 光電素子
ＭＬ９０１１、ＭＬ９０１２、ＭＬ９０１３、ＭＬ９０１４ マイクロレンズ
ＭＬ９０２１、ＭＬ９０２２、ＭＬ９０２３、ＭＬ９０２４ マイクロレンズ
ＭＬ９０３１、ＭＬ９０３２、ＭＬ９０３３、ＭＬ９０３４ マイクロレンズ
ＭＬ９０４１、ＭＬ９０４２、ＭＬ９０４３、ＭＬ９０４４ マイクロレンズ

Claims (10)

  1. 複数のマイクロレンズを含むマイクロレンズアレイ、および
    複数のマクロピクセル内に配置された複数の光電素子を含むセンサアレイを含み、
    前記複数のマクロピクセルの各々は、それぞれ前記複数のマイクロレンズの第１のマイクロレンズ、第２のマイクロレンズ、第３のマイクロレンズ、および第４のマイクロレンズを介して入射光を受光する第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子を含み、
    前記複数のマクロピクセルの各々の前記第１のマイクロレンズ、前記第２のマイクロレンズ、前記第３のマイクロレンズ、および前記第４のマイクロレンズは、第１の初期オフセット、第２の初期オフセット、第３の初期オフセット、および第４の初期オフセットをそれぞれ有し、
    前記複数のマクロピクセルの各々の前記第１のマイクロレンズおよび前記第２のマイクロレンズは、第１の追加のオフセットおよび第２の追加のオフセットをそれぞれ更に有し、
    前記複数のマクロピクセルの各々の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子は、第１の２×２アレイで配置され、前記センサアレイの前記複数のマクロピクセルの各々は、前記入射光からオブジェクトの距離および方向情報を求めるのに用いられる強度信号を出力し、前記センサアレイの前記複数のマクロピクセルの各々からの前記強度信号の複数の強度分布を記録するルックアップテーブルは、前記オブジェクトの前記距離および方向情報を求めるのに用いられるイメージセンサ。
  2. 前記複数のマクロピクセルの各々の前記第１のマイクロレンズ、前記第２のマイクロレンズ、前記第３のマイクロレンズ、および前記第４のマイクロレンズは、前記第１の初期オフセット、前記第２の初期オフセット、３の初期オフセット、および前記第４の初期オフセットで前記センサアレイの中心に向けてそれぞれシフトされる請求項１に記載のイメージセンサ。
  3. 前記複数のマイクロレンズは、２次元状に配置され、前記複数のマイクロレンズの各２つの隣接するマイクロレンズ間に間隙があり、前記間隙は、低屈折率材料で充填される請求項１に記載のイメージセンサ。
  4. 前記複数のマイクロレンズは、２次元状に配置され、前記複数のマイクロレンズの各２つの隣接するマイクロレンズ間に間隙があり、前記間隙は、空気で充填される請求項１に記載のイメージセンサ。
  5. 前記複数のマイクロレンズの形状は、フラットタイプまたはカーブタイプである請求項１に記載のイメージセンサ。
  6. 前記第１のマイクロレンズは、第１の方向に前記第１の追加のオフセットで更にシフトされ、前記第２のマイクロレンズは、前記第１の方向と反対方向の第２の方向に前記第２の追加のオフセットで更にシフトされ、前記第１の追加のオフセットは、前記第２の追加のオフセットと等しく、
    前記第３のマイクロレンズは、第３の追加のオフセットを更に有し、前記第４のマイクロレンズは、第４の追加のオフセットを更に有し、前記第３のマイクロレンズは、第３の方向に前記第３の追加のオフセットで更にシフトされ、前記第４のマイクロレンズは、前記第３の方向と反対方向の第４の方向に前記第４の追加のオフセットで更にシフトされ、 前記第３の追加のオフセットは、前記第４の追加のオフセットと等しく、前記第１の方向は、前記第３の方向に対して垂直である請求項２に記載のイメージセンサ。
  7. 前記第１のマイクロレンズは、第１の方向に前記第１の追加のオフセットで更にシフトされ、前記第２のマイクロレンズは、前記第１の方向に前記第２の追加のオフセットで更にシフトされ、前記第１の追加のオフセットは、前記第２の追加のオフセットより大きく、
    前記第３のマイクロレンズは、第３の追加のオフセットを更に有し、前記第４のマイクロレンズは、第４の追加のオフセットを更に有し、前記第３のマイクロレンズは、第２の方向に前記第３の追加のオフセットで更にシフトされ、前記第４のマイクロレンズは、前記第２の方向に前記第４の追加のオフセットで更にシフトされ、
    前記第３の追加のオフセットは、前記第４の追加のオフセットより大きく、前記第１の方向は、前記第２の方向に対して垂直である請求項２に記載のイメージセンサ。
  8. 前記マイクロレンズアレイと前記センサアレイの間に配置されたカラーフィルターアレイを更に含み、前記カラーフィルターアレイは、
    前記入射光から緑色光を抽出する複数の緑色フィルター、
    前記入射光から赤色光を抽出する複数の赤色フィルター、および
    前記入射光から青色光を抽出する複数の青色フィルターを含む請求項１に記載のイメージセンサ。
  9. 前記複数のマクロピクセルは、複数のマクロセル内に配置され、前記複数のマクロセルの各々は、第２の２×２アレイで配置された第１のマクロピクセル、第２のマクロピクセル、第３のマクロピクセル、および第４のマクロピクセルを含み、
    前記複数のマクロセルの各々の前記第１のマクロピクセル、前記第２のマクロピクセル、前記第３のマクロピクセル、および前記第４のマクロピクセルは、前記緑色光、前記赤色光、前記青色光、および前記緑色光をそれぞれ受光する請求項８に記載のイメージセンサ。
  10. 前記複数のマクロピクセルは、複数のマクロセル内に配置され、前記複数のマクロセルの各々は、第２の２×２アレイで配置された第１のマクロピクセル、第２のマクロピクセル、第３のマクロピクセル、および第４のマクロピクセルを含み、
    前記複数のマクロセルの各々の前記第２のマクロピクセルと前記第３のマクロピクセルの前記第１のマイクロレンズの前記第１の追加のオフセットと前記第２のマイクロレンズの前記第２の追加のオフセットは、ゼロであり、
    前記複数のマクロセルの各々の前記第１のマクロピクセルと前記第４のマクロピクセルの前記第１のマイクロレンズの前記第１の追加のオフセットと前記第２のマイクロレンズの前記第２の追加のオフセットは、非ゼロである請求項８に記載のイメージセンサ。
JP2018080650A 2017-11-16 2018-04-19 シフトされたマイクロレンズアレイを有するイメージセンサ Active JP6589006B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/815,092 2017-11-16
US15/815,092 US10347678B2 (en) 2017-11-16 2017-11-16 Image sensor with shifted microlens array

Publications (2)

Publication Number Publication Date
JP2019092145A JP2019092145A (ja) 2019-06-13
JP6589006B2 true JP6589006B2 (ja) 2019-10-09

Family

ID=66432455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018080650A Active JP6589006B2 (ja) 2017-11-16 2018-04-19 シフトされたマイクロレンズアレイを有するイメージセンサ

Country Status (4)

Country Link
US (1) US10347678B2 (ja)
JP (1) JP6589006B2 (ja)
CN (1) CN109803129B (ja)
TW (1) TWI676393B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020255399A1 (ja) * 2019-06-21 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント 位置検出システム、画像処理装置、位置検出方法および位置検出プログラム
WO2021132401A1 (ja) * 2019-12-24 2021-07-01 シチズン電子株式会社 マイクロレンズアレイ及び発光装置
US11223763B2 (en) * 2020-02-07 2022-01-11 Himax Imaging Limited Multi-mode image sensor applicable to image sensing and additional detection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344982A (ja) * 2001-05-18 2002-11-29 Sanyo Electric Co Ltd 固体撮像素子及びその駆動方法
US8368096B2 (en) * 2005-01-04 2013-02-05 Aac Technologies Japan R&D Center Co., Ltd. Solid state image pick-up device and method for manufacturing the same with increased structural integrity
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
JP2010040621A (ja) * 2008-08-01 2010-02-18 Toshiba Corp 固体撮像デバイス及びその製造方法
JP2010062438A (ja) * 2008-09-05 2010-03-18 Toshiba Corp 固体撮像装置およびその設計方法
US7687757B1 (en) 2009-01-29 2010-03-30 Visera Technologies Company Limited Design of microlens on pixel array
JP5556122B2 (ja) * 2009-10-27 2014-07-23 ソニー株式会社 固体撮像装置、固体撮像装置の製造方法、電子機器
WO2013107467A1 (en) * 2012-01-17 2013-07-25 Sony Ericsson Mobile Communications Ab Portable electronic equipment and method of controlling an autostereoscopic display
US20130201388A1 (en) * 2012-02-03 2013-08-08 Novatek Microelectronics Corp. Optical sensing apparatus and optical setting method
WO2013145886A1 (ja) * 2012-03-28 2013-10-03 富士フイルム株式会社 撮像素子及びこれを用いた撮像装置及び撮像方法
JP6202927B2 (ja) * 2012-08-31 2017-09-27 キヤノン株式会社 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
DE102014212104A1 (de) 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor

Also Published As

Publication number Publication date
CN109803129B (zh) 2021-06-18
US20190148433A1 (en) 2019-05-16
CN109803129A (zh) 2019-05-24
US10347678B2 (en) 2019-07-09
TWI676393B (zh) 2019-11-01
JP2019092145A (ja) 2019-06-13
TW201924318A (zh) 2019-06-16

Similar Documents

Publication Publication Date Title
TWI605297B (zh) 具有對稱之多像素相位差檢測器之影像感測器、成像系統及相關檢測方法
US10015416B2 (en) Imaging systems with high dynamic range and phase detection pixels
US10498990B2 (en) Imaging systems with high dynamic range and phase detection pixels
CN107105141B (zh) 图像传感器、图像处理方法、成像装置和移动终端
CN103037180B (zh) 图像传感器和摄像设备
US9881951B2 (en) Image sensors with phase detection pixels
CN208690261U (zh) 图像传感器
US10593712B2 (en) Image sensors with high dynamic range and infrared imaging toroidal pixels
CN101345826B (zh) 图像拾取设备
KR101373132B1 (ko) 마이크로 렌즈를 이용한 위상차 검출 픽셀
US20170374306A1 (en) Image sensor system with an automatic focus function
US9621773B2 (en) Optical imaging apparatus, in particular for computational imaging, having further functionality
KR20180059478A (ko) 마스크리스 위상 검출 오토포커스
JP6016396B2 (ja) 撮像素子および撮像装置
US20130038691A1 (en) Asymmetric angular response pixels for single sensor stereo
CN206727072U (zh) 具有全局快门相位检测像素的成像系统
US10567636B2 (en) Resolution enhancement using sensor with plural photodiodes per microlens
CN211404505U (zh) 图像传感器
JP6589006B2 (ja) シフトされたマイクロレンズアレイを有するイメージセンサ
CN103119516A (zh) 光场摄像装置和图像处理装置
KR20140094395A (ko) 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
US11503192B2 (en) Imaging device and image sensing method
CN103081106A (zh) 图像传感器和摄像设备
CN110275606B (zh) 感测元件
CN109981939A (zh) 成像系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190913

R150 Certificate of patent or registration of utility model

Ref document number: 6589006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250