JPWO2017051876A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JPWO2017051876A1
JPWO2017051876A1 JP2017541590A JP2017541590A JPWO2017051876A1 JP WO2017051876 A1 JPWO2017051876 A1 JP WO2017051876A1 JP 2017541590 A JP2017541590 A JP 2017541590A JP 2017541590 A JP2017541590 A JP 2017541590A JP WO2017051876 A1 JPWO2017051876 A1 JP WO2017051876A1
Authority
JP
Japan
Prior art keywords
imaging
photoelectric conversion
light
image
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2017541590A
Other languages
English (en)
Inventor
菅　隆之
隆之 菅
岩根　透
透 岩根
聖生 中島
聖生 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017051876A1 publication Critical patent/JPWO2017051876A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/18—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different subgroups of the same main group of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

撮像素子は、入射光のうち一部の波長の光を光電変換し他の波長の光を透過させる複数の第１光電変換部を有する第１撮像部と、第１撮像部を透過した光が入射する複数のレンズと、複数のレンズ毎に複数設けられた、入射光を光電変換する第２光電変換部を有する第２撮像部とを備える。

Description

本発明は、撮像素子および撮像装置に関する。
通常撮影モードとリフォーカス撮影モードとを有する撮像装置が知られている（特許文献１参照）。従来技術では、２つの撮像素子で受光する色について検討されていないという問題がある。
日本国特開２００９−１７０７９号公報
発明の第１の態様による撮像素子は、入射光のうち一部の波長の光を光電変換し他の波長の光を透過させる複数の第１光電変換部を有する第１撮像部と、第１撮像部を透過した光が入射する複数のレンズと、複数のレンズ毎に複数設けられた、入射光を光電変換する第２光電変換部を有する第２撮像部とを備える。
発明の第２の態様による撮像装置は、第１の態様による撮像素子と、前記第１撮像部からの信号に基づき、第１画像データを生成し、前記第２撮像部からの信号に基づき、前記第１画像データより画素数が少ない第２画像データを生成する画像処理部とを備える。
カメラの要部構成を説明する図である。 カメラの光学系を抜粋した斜視図である。 第１の撮像素子、マイクロレンズアレイ、および第２の撮像素子の断面図である。 図４は、図３の撮像素子をＺ軸プラス方向から見た正面図である。 図５(a)は、光電変換素子アレイの画素において光電変換される波長域を示す図である。図５(b)は、受光素子アレイの画素において光電変換される波長域を示す図である。 制御部が実行するカメラ処理の流れを例示するフローチャートである。 マイクロミラーアレイを構成する複数のマイクロミラーのうちの一つの構成を模式的に示す断面図である。
＜撮像装置の概要＞
図１は、一実施の形態によるカメラ１００の要部構成を説明する図である。図１に示した座標軸において、被写体からの光はＺ軸マイナス方向へ向かう。また、上向きかつＺ軸に直交する向きをＹ軸プラス方向とし、紙面に垂直な手前方向で、Ｚ軸およびＹ軸に直交する向きをＸ軸プラス方向とする。以降に示すいくつかの図においては、図１の座標軸を基準としてそれぞれの図における向きを表す。
図１において、撮像レンズ２０１は交換可能に構成されており、カメラ１００のボディに装着して使用される。なお、撮像レンズ２０１をカメラ１００のボディと一体に構成してもよい。
カメラ１００は、第１の撮像素子（撮像部）２０２と第２の撮像素子（撮像部）２０４とを有しており、１ショットで複数の画像を撮像することができる。撮像レンズ２０１は、被写体からの光を第１の撮像素子２０２へ導く。第１の撮像素子２０２は透光性を有しており、入射された被写体光の一部を光電変換（吸収）するとともに、入射された被写体光の一部（吸収されなかった光）を透過する。
第１の撮像素子２０２のＺ軸マイナス側の面に近接（接触してよい）して、マイクロレンズアレイ２０３が設けられている。第１の撮像素子２０２を透過した光は、マイクロレンズアレイ２０３へ入射される。
マイクロレンズアレイ２０３は、微小レンズ（後述するマイクロレンズＬ）を格子状またはハニカム形状に二次元配列して構成されている。マイクロレンズアレイ２０３に対してＺ軸マイナス方向には、第２の撮像素子２０４が設けられている。マイクロレンズアレイ２０３を通過した被写体光は、第２の撮像素子２０４へ入射される。第２の撮像素子２０４は、入射された被写体光を光電変換する。
制御部２０５は、カメラ１００の撮像動作を制御する。すなわち、第１の撮像素子２０２および第２の撮像素子２０４に対する光電変換時の駆動制御や、第１の撮像素子２０２および第２の撮像素子２０４から光電変換後の画素信号を読み出す等の制御を行う。
第１の撮像素子２０２および第２の撮像素子２０４からそれぞれ読み出された画素信号は、画像処理部２０７へ送られる。画像処理部２０７は、両画素信号に対して所定の画像処理を施す。画像処理後の画像データは、メモリカードなどの記録媒体２０６に記録される。
なお、第１の撮像素子２０２および第２の撮像素子２０４からそれぞれ読み出された画素信号に画像処理を施すことなしに、いわゆるＲＡＷデータとして記録媒体２０６へ記録してもよい。
表示部２０８は、画像データに基づく画像を再生表示したり、操作メニュー画面などを表示したりする。表示部２０８に対する表示制御は、制御部２０５によって行われる。
図２は、カメラ１００の光学系、すなわち、撮像レンズ２０１、第１の撮像素子２０２、マイクロレンズアレイ２０３、および第２の撮像素子２０４を抜粋した斜視図である。第１の撮像素子２０２は、撮像レンズ２０１の予定焦点面に配置される。
なお、わかりやすく図示するために、第１の撮像素子２０２、マイクロレンズアレイ２０３、および第２の撮像素子２０４の間隔を広げて図示しているが、実際には第１の撮像素子２０２とマイクロレンズアレイ２０３とを密着させている。また、第１の撮像素子２０２と第２の撮像素子２０４との間隔は、マイクロレンズアレイ２０３を構成するマイクロレンズＬの焦点距離に応じた距離である。
＜通常画像＞
上述したカメラ１００の第１の撮像素子２０２は、撮像レンズ２０１によって第１の撮像素子２０２に投射された被写体像を撮像する。本願明細書において、第１の撮像素子２０２によって撮像された画像を通常画像と呼ぶ。
＜ライトフィールド画像＞
カメラ１００の第２の撮像素子２０４は、第１の撮像素子２０２を透過した光の像を撮像する。第２の撮像素子２０４は、ライト・フィールド・フォトグラフィ（Light Field Photography）技術を用いて、視点が異なる複数の画像を撮像するように構成されている。
図２において、マイクロレンズアレイ２０３の各マイクロレンズＬには、被写体の異なる部位からの光が入射される。すなわち、マイクロレンズアレイ２０３へ入射された光は、マイクロレンズアレイ２０３を構成するマイクロレンズＬによって複数に分割される。そして、各マイクロレンズＬを通過した光はそれぞれ、対応するマイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配列された第２の撮像素子２０４の画素群ＰＸｓに入射される。
なお、図２では、マイクロレンズアレイ２０３が５個×５個のマイクロレンズＬを有する例を示すが、マイクロレンズアレイ２０３を構成するマイクロレンズＬの数は、図示した数に限定されない。
各マイクロレンズＬを通過した光は、そのマイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配列されている第２の撮像素子２０４の画素群ＰＸｓによって複数に分割される。すなわち、画素群ＰＸｓを構成する各画素は、被写体のある部位からの光であって撮像レンズ２０１の異なる領域を通過した光をそれぞれ受光する。
以上の構成により、被写体の異なる部位ごとに、被写体光が撮像レンズ２０１を通過した領域を示す光量分布である小画像が、マイクロレンズＬの数だけ得られる。本願明細書において、このような小画像の集まりをライトフィールド（ＬＦ）画像と呼ぶ。
第２の撮像素子２０４では、各マイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配列された複数の画素の位置によって、各画素への光の入射方向が定まっている。つまり、マイクロレンズＬと、その後ろの第２の撮像素子２０４の各画素との位置関係が設計情報として既知であることから、マイクロレンズＬを介して各画素に入射される光線の入射方向（方向情報）が求まる。このため、第２の撮像素子２０４の各画素の画素信号は、所定の入射方向からの光の強度（光線情報）を表すことになる。
本願明細書では、第２の撮像素子２０４の画素に入射される所定の方向からの光を光線と呼ぶことにする。
＜リフォーカス処理＞
一般に、ＬＦ画像は、そのデータを用いて画像のリフォーカス処理が施される。リフォーカス処理は、ＬＦ画像が有する上記光線情報と上記方向情報とに基づいた演算（光線を並べ替える演算）を行うことによって、任意のピント位置や視点での画像を生成する処理をいう。本願明細書では、リフォーカス処理によって生成された任意のピント位置や視点での画像をリフォーカス画像と呼ぶ。このようなリフォーカス処理（再構築処理とも呼ばれる）は公知であるので、リフォーカス処理についての詳細な説明は省略する。
なお、リフォーカス処理は、画像処理部２０７によってカメラ１００内で行ってもよいし、記録媒体２０６に記録されたＬＦ画像のデータをパーソナルコンピュータなどの外部機器へ送信し、外部機器に行わせてもよい。
＜撮像素子の構成＞
次に、カメラ１００の撮像素子の具体的構成例について説明する。本実施の形態では、第１の撮像素子２０２および第２の撮像素子２０４から、光電変換後の画素信号を独立して読み出す例について説明する。図３は、第１の撮像素子２０２、マイクロレンズアレイ２０３および第２の撮像素子２０４の断面図であり、Ｘ−Ｚ平面に平行な断面を示す。図４は、図３の撮像素子をＺ軸プラス方向から見た正面図である。
図３、図４において、撮像素子は、第１の撮像素子２０２と、マイクロレンズアレイ２０３と、第２の撮像素子２０４とを組み合わせた構造を有する。第１の撮像素子２０２からは、通常画像の画素信号が読み出される。また、第２の撮像素子２０４からは、ＬＦ画像の画素信号が読み出される。
＜第１の撮像素子＞
第１の撮像素子２０２は、Ｚ軸マイナス方向から順に、透明基板上に形成された読み出し回路層２０２Ｃ、光電変換素子アレイ２０２Ｂ、および透明電極層２０２Ａを重ねた構成を有する。
透明電極層２０２Ａは、光電変換素子アレイ２０２Ｂにおける光電変換素子に電圧を印加するために設けられる。透明電極層２０２Ａとして、可視光が透過する透明性の高い種々の光学材料を用いることができる。光学材料の一例をあげると、インジウム錫酸化膜（ITO）などの無機透明電極膜もしくはPolyethylene dioxythiophene polystyrene sulphonate (PEDT/PSS)などの有機透明導電膜である。
図５(a)は、光電変換素子アレイ２０２Ｂの画素において光電変換される波長域を示す図である。光電変換素子アレイ２０２Ｂは、例えば、Ｙｅ（イエロー）、Ｍｇ（マジェンタ）、Ｃｙ（シアン）の波長域の光に対してそれぞれピーク感度を有する複数の光電変換素子が、図５(a)のように２次元アレイ状に配列された構造を有する。
光電変換素子アレイ２０２Ｂの各画素は、有機系の光電変換材料で形成された光電変換素子によって構成される。例えば、奇数行の各画素位置にＹｅとＭｇの光をそれぞれ光電変換する有機光電膜が交互に配置され、偶数行の各画素位置にＭｇとＣｙの光をそれぞれ光電変換する有機光電膜が交互に配置される。
各画素位置の光電変換素子は、光電変換する波長域の光を吸収し、光電変換しない波長域の光を透過する。すなわち、Ｙｅの光を光電変換する画素は、Ｙｅの補色であるＢ（ブルー）の光を透過する。また、Ｍｇの光を光電変換する画素は、Ｍｇの補色であるＧ（グリーン）の光を透過する。さらに、Ｃｙの光を光電変換する画素は、Ｃｙの補色であるＲ（レッド）の光を透過する。
図５(a)の符号Ｌは、第１の撮像素子２０２の後ろ（Ｚ軸マイナス方向）に設けられているマイクロレンズアレイ２０３を構成する１つのマイクロレンズを示す。光電変換素子アレイ２０２Ｂの光電変換素子を透過したＢ、Ｇ、Ｒの光は、後ろのマイクロレンズＬに入射される。すなわち、１つのマイクロレンズＬに対し、第１の撮像素子２０２の複数の画素位置の光電変換素子が対応する。
読み出し回路層２０２Ｃは、不図示の画素電極や、光電変換素子アレイ２０２Ｂによる光電変換後の画素信号を読み出す読み出し回路を含む。画素電極は、可視光が透過する透明性の高い光学材料で構成される。光学材料の一例をあげると、上述したインジウム錫酸化膜（ITO）などの無機透明電極材料もしくは PEDT/PSS などの有機透明導電膜である。また、読み出し回路は、例えば、薄膜トランジス(TFT)アレイによって構成される。
なお、光電変換素子アレイ２０２Ｂの各画素位置毎（撮像レンズ側）にマイクロレンズアレイ２０３とは別のマイクロレンズを設けて各画素位置の光電変換素子に入射する光量を多くするようにしてもよい。
＜マイクロレンズアレイ＞
図３、図４のマイクロレンズアレイ２０３は、マイクロレンズＬ１〜Ｌ６が透過基板２０３Ａと一体に形成される。透過基板２０３Ａには、例えば、ガラス基板、プラスチック基板またはシリカ基板等を用いる。マイクロレンズアレイ２０３は、例えば、射出成形、加圧成形等により形成することができる。
なお、マイクロレンズＬ１〜Ｌ６を透過基板２０３Ａとは別体に形成してもよい。
また、マイクロレンズアレイ２０３のＺ軸マイナス側の面を、第２の撮像素子２０４に貼り合わせて第２の撮像素子２０４のパッケージ部材として機能させてもよい。これにより、第２の撮像素子２０４は、マイクロレンズアレイ２０３よりもＺ軸プラス側に、ガラスまたは樹脂等のパッケージ部材を省略することができる。
マイクロレンズアレイ２０３の透過基板２０３Ａは、各マイクロレンズＬ１〜Ｌ６の焦点距離に応じた厚さを有する。一例をあげると、透過基板２０３Ａの厚さは０．３ｍｍから数ｍｍ程度である。
＜第２の撮像素子＞
図３の第２の撮像素子２０４は、一般に用いられているＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。第２の撮像素子２０４は、Ｚ軸マイナス方向から順に、シリコン基板２０４Ｃ上に形成された受光素子アレイ２０４Ｂ、およびカラーフィルタアレイ２０４Ａを重ねた構成を有する。
図５(b)は、受光素子アレイ２０４Ｂの画素において光電変換される波長域を示す図である。上述したように、光電変換素子アレイ２０２Ｂ（第１の撮像素子２０２）における各光電変換素子を透過する光は、Ｂ、Ｇ、Ｒのいずれかの光であるところ、本実施の形態では、図５(b)のマイクロレンズＬの後ろ（Ｚ軸マイナス方向）に配列されている画素群ＰＸｓを構成する各画素ＰＸに対し、それぞれＢ、Ｇ、Ｒの光が混合して入射するように構成される。このため、第２の撮像素子２０４にカラーフィルタアレイ２０４Ａを設けている。
図３のカラーフィルタアレイ２０４Ａは、例えば、ＲＧＢ（レッド、グリーン、ブルー）の波長域の光をそれぞれ選択的に透過する複数のフィルタが、図５(b)のように２次元アレイ状に配列された構造を有する。カラーフィルタアレイ２０４Ａは、受光素子アレイ２０４Ｂの各画素ＰＸの位置に対応させて、例えば、奇数行の各画素位置にはＢとＧの光をそれぞれ透過するフィルタが交互に配置され、偶数行の各画素位置にはＧとＲの光をそれぞれ透過するフィルタが交互に配置される。
受光素子アレイ２０４Ｂの各画素ＰＸには、フォトダイオードなどの受光素子が配されている。受光素子アレイ２０４Ｂは、図４、図５(b)に示すように、複数の画素ＰＸが２次元アレイ状に形成されている。画素ＰＸの間には、不図示の電荷転送電極と、電荷転送電極上に形成された遮光膜とを有する。各画素ＰＸには、上記カラーフィルタアレイ２０４Ａを介してＢ、Ｇ、Ｒのいずれかの光が入射される。各画素ＰＸは、フォトダイオードへの入射光量に対応した電荷を生じさせる。各画素ＰＸに蓄積された電荷は、不図示の転送トランジスタにより電荷転送電極に順次転送され、順次読み出される。
ここで、第２の撮像素子２０４は、裏面照射型の構成とし、画素ＰＸのフォトダイオードが電荷転送電極の裏面側（Ｚ軸プラス側）に設けられている。一般に、裏面照射にすると表面照射の場合に比べてフォトダイオードへの開口を大きくすることができるので、第２の撮像素子２０４で光電変換される光量の低下が抑えられる。このため、画素ＰＸごとに集光レンズを設けなくとも、画素ＰＸに対して十分な強度の光を入射させることができる。したがって、マイクロレンズアレイ２０３から第２の撮像素子２０４までの間に他のレンズを有さない構成にすることができる。この結果、第２の撮像素子２０４のＺ軸プラス側の面を平坦にすることができ、第２の撮像素子２０４に対してマイクロレンズアレイ２０３を容易に接着することができる。
図４において、第１の撮像素子２０２の後ろ（Ｚ軸マイナス方向）にマイクロレンズＬ１〜Ｌ６が位置する。そして、マイクロレンズＬ１〜Ｌ６の後ろ（Ｚ軸マイナス方向）に第２の撮像素子２０４のカラーフィルタアレイ２０４Ａが位置する。マイクロレンズ１つ当たりの構成を拡大した図が、図５(b)に相当する。第２の撮像素子２０４の受光素子アレイ２０４Ｂは、複数の画素ＰＸが２次元アレイ状に形成されており、マイクロレンズＬ１〜Ｌ６ごとに、所定数の画素ＰＸからなる画素群ＰＸｓが割り当てられる。
なお、図５(b)では、複数の画素ＰＸのうち画素群ＰＸｓを白地で示し、画素群ＰＸｓに含めない画素を斜線で示す。
図４、図５(b)では、マイクロレンズＬ１〜Ｌ６ごとに８個×８個の画素群ＰＸｓを割り当てる例を示すが、画素群ＰＸｓを構成する画素ＰＸの数は、図示する数に限定されない。また、図４のマイクロレンズＬ１〜Ｌ６の数も、図示した数に限定されない。さらにまた、受光素子アレイ２０４Ｂにおける画素ＰＸの配列は、図２のようにマイクロレンズＬごとに画素群ＰＸｓを隔離して配列してもよいし、図４、図５(b)示すように、画素群ＰＸｓを隔離することなく複数の画素ＰＸを二次元アレイ状に配列してもよい。
本実施の形態では、第１の撮像素子２０２の画素間隔（ピッチ）と、第２の撮像素子２０４の画素間隔（ピッチ）との関係において、第１の撮像素子２０２の画素間隔が第２の撮像素子２０４の画素間隔よりも広く構成されている。この理由は、可視光域での回折光の発生を少なく抑制するためである。第１の撮像素子２０２の画素間隔は、例えば、４μｍ以上であることが好ましく、２０μｍ以上であることがより好ましい。上記画素間隔は、２つの隣り合う画素の中央部の間隔である。
＜制御＞
制御部２０５は、第２の撮像素子２０４の感度を上げたり、露光時間（電荷蓄積時間）を長くしたりして、第２の撮像素子２０４で取得されるＬＦ画像の画素信号レベルを高める制御を行う。
この理由は、第２の撮像素子２０４を裏面照射型の構成にするとはいえ、第１の撮像素子２０２に比べると第２の撮像素子２０４の画素サイズが小さく、取得されるＬＦ画像の画素信号レベルが通常画像の画素信号レベルに比べて低いからである。
制御部２０５は、第１の撮像素子２０２で得られる画素信号レベルに基づき、第２の撮像素子２０４の感度を決定する。例えば、第１の撮像素子２０２で得られる画素信号レベルが低いほど第２の撮像素子２０４の感度を高くしたり、第２の撮像素子２０４で得られる画素信号レベルを第１の撮像素子２０２で得られる画素信号レベルに近づけるように第２の撮像素子２０４の感度を調節したりする。
また、制御部２０５は、第１の撮像素子２０２で得られる画素信号レベルに基づき、第２の撮像素子２０４の電荷蓄積時間を決定する。例えば、第１の撮像素子２０２で得られる画素信号レベルが低いほど第２の撮像素子２０４の電荷蓄積時間を長くしたり、第２の撮像素子２０４で得られる画素信号レベルを第１の撮像素子２０２で得られる画素信号レベルに近づけるように第２の撮像素子２０４の電荷蓄積時間を調節したりする。
＜記録＞
制御部２０５は、記録媒体２０６に記録する画像ファイルを生成する。制御部２０５は、通常画像のみを記録する通常撮影モードの場合、第１の撮像素子２０２から読み出した画素信号に基づく通常画像のデータを画像ファイルに含める。
制御部２０５は、ＬＦ画像を記録するＬＦ撮影モードの場合、第２の撮像素子２０４から読み出した画素信号に基づくＬＦ画像のデータを画像ファイルに含める。ＬＦ画像のデータとしては、リフォーカス処理によって生成された任意のピント位置や視点での画像（リフォーカス画像）のデータを画像ファイルに含めてよい。この場合、ＬＦ画像のデータとリフォーカス画像のデータとを、関連する複数の画像のデータとして画像ファイルに含めることができる。
関連する複数の画像のデータを画像ファイルに含める場合、マルチピクチャーフォーマット形式の画像ファイルを生成するとよい。マルチピクチャーフォーマット形式の画像ファイルに、関連する複数の画像のデータを含める。
また、関連する複数の画像のデータを画像ファイルに含める場合において、同じファイル名称を有して拡張子の名称が異なる複数の画像ファイルを生成し、これらの複数の画像ファイルへ関連する複数の画像のデータを１つずつ含めるようにしてもよい。例えば、ＬＦ画像のデータを含める画像ファイルと、リフォーカス画像のデータを含める画像ファイルとを、拡張子の名称が異なる同じファイル名称とする。同じファイル名称にすることで、関連する画像のデータが含まれていることがユーザーにとってわかりやすくなる。
一般に、ＬＦ画像のデータからは、複数のピント位置に対応する複数のリフォーカス画像を生成することができる。ＬＦ画像のデータに基づいて複数のピント位置に対応する複数のリフォーカス画像のデータを生成した場合には、関連する画像数が多くなるので、上述したマルチピクチャーフォーマット形式の画像ファイルや、同じファイル名称を有して拡張子の名称が異なる複数の画像ファイルを利用することで、ユーザーにとって画像のデータを扱いやすくすることができる。
制御部２０５は、通常画像を記録する通常撮影モードと、ＬＦ画像を記録するＬＦ撮影モードの他に、通常画像とＬＦ画像の双方のデータを記録する両撮影モードを選択するようにしてもよい。両撮影モードの場合、通常画像のデータとＬＦ画像のデータとの双方を記録するので、通常画像のデータとＬＦ画像のデータとを関連する複数の画像のデータとする。この場合にも、上述したマルチピクチャーフォーマット形式の画像ファイルや、同じファイル名称を有して拡張子の名称が異なる複数の画像ファイルを利用することで、ユーザーにとって画像のデータを扱いやすくすることができる。
＜フローチャートの説明＞
図６は、制御部２０５が実行するカメラ処理の流れを例示するフローチャートである。制御部２０５は、メインスイッチのオン操作がなされた場合や、スリープ状態からの復帰操作がなされた場合に、図６の処理を行うプログラムを実行する。図６のステップＳ１０において、制御部２０５はモード選択を行う。制御部２０５は、例えば、不図示の操作部材の設定状態に基づいて、通常撮影モード、ＬＦ撮影モード、または両撮影モードかを判断してステップＳ２０へ進む。
制御部２０５は、操作部材の設定状態に基づきモード選択を行う代わりに、モード選択を自動判断してもよい。例えば、撮像シーンモードによってモード選択を自動判断する場合、制御部２０５は、遠景撮影や天体撮影の場合に通常撮影モードを選ぶ。これらの撮影では、ＬＦ画像に基づいてリフォーカス画像を生成する必要性が低いという考え方に基づく。
また、制御部２０５は、カメラ１００の状態によって自動判断する場合、例えば、電池の残量が所定値以下に低下した場合にＬＦ撮影モードを選ぶ。この場合は、自動焦点調節（ＡＦ）動作を省略して省電力動作を行い、電池の残量低下を遅らせようという考え方に基づく。ＬＦ画像のデータがあれば、後から任意のピント位置のリフォーカス画像を生成できるからである。
ステップＳ２０において、制御部２０５は、駆動対象とする撮像素子を選んでステップＳ３０へ進む。制御部２０５は、通常撮影モードの場合および両撮影モードの場合には、第１の撮像素子２０２を駆動対象とする。また、制御部２０５は、ＬＦ撮影モードの場合および両撮影モードの場合には、第２の撮像素子２０４を駆動対象とする。すなわち、両撮影モードの場合には、第１の撮像素子２０２および第２の撮像素子２０４の双方を駆動対象とする。
ステップＳ３０において、制御部２０５は、ステップＳ２０において選んだ撮像素子を駆動することによって撮像動作を行い、ステップＳ４０へ進む。ステップＳ４０において、制御部２０５は画像処理部２０７へ指示を送り、第１の撮像素子２０２もしくは第２の撮像素子２０４、または、第１の撮像素子２０２および第２の撮像素子２０４から読み出した画素信号に対し、所定の画像処理を行わせてステップＳ５０へ進む。画像処理には、例えば、輪郭強調処理、色補間処理、ホワイトバランス処理などを含む。
なお、ステップ３０の前にシャッタレリーズがされているか否かを判別するステップがあって、レリーズがされていればステップ３０へ進むようにしてもよい。
なお、制御部２０５は、ステップＳ１０のモード選択においてＬＦ撮影モードまたは両撮影モードを選択している場合には、第２の撮像素子２０４から読み出した画像信号に対し、画像処理としてリフォーカス処理を行わせることにより、所定のピント位置や視点でのリフォーカス画像を生成させる。
ステップＳ５０において、制御部２０５は、画像処理後のデータに基づく画像を表示部２０８に再生表示させる。制御部２０５は、ステップＳ１０のモード選択において両撮影モードを選択している場合には、通常画像とリフォーカス画像とを表示部２０８に表示させる。通常画像とリフォーカス画像の表示は、両者を並べて表示させてもよいし、一画像ずつ両者の表示を切り替えて表示させてもよい。
また、制御部２０５は、ステップＳ１０でＬＦ撮影モードおよび両撮影モードを選択している場合であって、ステップＳ５０でリフォーカス画像を表示部２０８に表示させた場合、ユーザー操作に基づいて画像処理部２０７に再度のリフォーカス処理を行わせ、再度のリフォーカス処理によって生成されたリフォーカス画像を表示部２０８に表示させてもよい。例えば、表示部２０８に表示されているリフォーカス画像の一部をユーザーがタップ操作した場合において、そのタップ位置に表示している被写体にピントが合うリフォーカス画像を表示部２０８に表示させる。
また、制御部２０５は、表示部２０８に表示されている不図示の操作バーをユーザーが移動操作した場合において、操作バーの移動量に対応させてピント位置を異ならせたリフォーカス画像を表示部２０８に表示させてもよい。
ステップＳ６０において、制御部２０５は、画像ファイルを生成してステップＳ７０へ進む。制御部２０５は、上述したように、通常撮影モードの場合は通常画像のデータを含む画像ファイルを生成する。また、ＬＦ撮影モードの場合は、ＬＦ画像のデータ、または、ＬＦ画像のデータおよびリフォーカス画像のデータを含む画像ファイルを生成する。さらに、両撮影モードの場合は、通常画像のデータおよびＬＦ画像のデータ、または、通常画像のデータ、ＬＦ画像のデータ、およびリフォーカス画像のデータを含む画像ファイルを生成する。
ステップＳ７０において、制御部２０５は、画像ファイルを記録媒体２０６に記録してステップＳ８０へ進む。ステップＳ８０において、制御部２０５は、終了するか否かを判定する。制御部２０５は、例えば、メインスイッチのオフ操作がなされた場合や、無操作状態で所定時間が経過した場合に、ステップＳ８０を肯定判定し、図６による処理を終了する。一方、制御部２０５は、例えば、カメラ１００に対する操作が行われている場合はステップＳ８０を否定判定し、ステップＳ１０へ戻る。ステップＳ１０へ戻った制御部２０５は、上述した処理を繰り返す。
上述した実施の形態によれば、次の作用効果が得られる。
（１）カメラ１００の撮像素子は、入射光の一部の光を光電変換し一部の光を透過させ、それぞれ光電変換する光の色（Ｙｅ、Ｍｇ、Ｃｙ）と透過する光の色（Ｂ、Ｇ、Ｒ）が異なる複数の第１の撮像画素を有する第１の撮像素子２０２と、複数のマイクロレンズＬを有し、複数のマイクロレンズＬのうち一つのマイクロレンズＬに複数の第１の撮像画素を透過した異なる色（Ｂ、Ｇ、Ｒ）の光が入射するマイクロレンズアレイ２０３と、複数のマイクロレンズＬのうち一つのマイクロレンズＬを透過した光が入射する複数の第２の撮像画素ＰＸを有する第２の撮像素子２０４とを備える。これにより、第１の撮像素子２０２と第２の撮像素子２０４との双方によって、それぞれカラーで撮像することができる。
（２）上記撮像素子において、第１の撮像素子２０２の第１の撮像画素の数はマイクロレンズＬの数よりも多い。すなわち、マイクロレンズＬに複数の第１の撮像画素を透過した異なる色（Ｂ、Ｇ、Ｒ）の光が入射するので、色ムラを抑えることができる。
（３）上記撮像素子において、第１の撮像素子２０２の第１の撮像画素の間隔は第２の撮像素子２０４の第２の撮像画素ＰＸの間隔よりも広くしたので、回折光の発生を抑制することができる。この結果、取得される画像の画質劣化を防止できる。
（４）上記撮像素子において、第１の撮像素子２０２の第１の撮像画素の間隔（３０ｎｍ以上）は、例えば、第１の撮像素子２０２への入射光により生じる可視光の回折光を少なくする間隔であるので、取得される画像の画質劣化を防止できる。
（５）上記撮像素子において、第２の撮像素子２０４の複数の第２の撮像画素ＰＸは、それぞれ異なる色（Ｂ、Ｇ、Ｒ）の光を光電変換するので、第２の撮像素子２０４によってカラーのＬＦ画像を取得することができる。
（６）上記撮像素子において、第２の撮像素子２０４の第２の撮像画素ＰＸが光電変換する光の色（Ｂ、Ｇ、Ｒ）は、第１の撮像画素が光電変換する光の色（Ｙｅ、Ｍｇ、Ｃｙ）と異なる。これにより、有機光電膜の特性を活かした構成にすることができる。
（７）上記撮像素子において、第１の撮像素子２０２とマイクロレンズアレイ２０３と第２の撮像素子２０４とを積層した。これにより、撮像素子を一体化して扱いやすくすることができる。
（８）カメラ１００は、上記撮像素子２０２〜２０４と、第１の撮像素子２０２の第１の撮像画素で生成された第１の画素信号に基づき、通常画像のデータを生成する画像処理部２０７と、第２の撮像素子２０４の第２の撮像画素ＰＸで生成された第２の画素信号に基づき、通常画像のデータより画素数が少ないＬＦ画像のデータを生成する画像処理部２０７とを備える。これにより、１ショットの撮像によって、２つの異なる種類の画像を得ることができる。
（９）カメラ１００において、画像処理部２０７で生成された通常画像のデータによる通常画像を生成する通常撮影モードと、画像処理部２０７で生成されたＬＦ画像のデータによるリフォーカス画像を生成するＬＦ撮影モードとを切り替える制御部２０５を備える。これにより、２つの異なる種類の画像を得る撮影モードを適切に切り替えることができる。
（１０）カメラ１００において、制御部２０５は、設定されている撮像シーンモードによって通常撮影モードとＬＦ撮影モードとを切り替える。撮像シーンモードのようなカメラ１００の設定状態に基づき、撮像モードを自動で切り替えるので、ユーザーにとって、使いやすいカメラ１００が得られる。
以上説明した実施の形態の撮像素子を次のように説明することもできる。
（１）撮像素子は、入射光のうち一部の波長の光を光電変換し他の波長の光を透過させる複数の第１光電変換部２０２Ｂを有する第１撮像部２０２と、第１撮像部を透過した光が入射する複数のレンズＬ、すなわちマイクロレンズ２０３を構成する個々のレンズＬと、複数のレンズ毎に複数設けられた、入射光を光電変換する第２光電変換部２０４Ｂを有する第２撮像部２０４とを備える。
（２）上記（１）の記載の撮像素子を構成する第１撮像部２０２の第１光電変換部２０２Ｂの数は、第２撮像部２０４の第２光電変換部２０４Ｂの数よりも少ない。
（３）上記（１）、（２）の撮像素子において、２つの隣り合う第１光電変換部２０２Ｂの中心の間隔は、２つの隣り合う第２の光電変換部２０４Ｂの中心の間隔よりも広い。
（４）上記（１）〜（３）の撮像素子において、第１撮像部２０２の解像度が第２撮像部２０４の解像度よりも低い。
（５）上記（３）の撮像素子において、２つの隣り合う第１光電変換部２０２Ｂの中心の間隔は４μｍ以上である。
（６）上記（１）〜（５）の撮像素子において、複数の第２光電変換部２０４Ｂは、それぞれ異なる波長の光を光電変換する。
（７）上記（６）の撮像素子において、第２光電変換部２０４Ｂが光電変換する光の波長は、第１光電変換部２０２Ｂが光電変換する光の波長と異なる。
（８）上記（６）の撮像素子において、第２光電変換部２０４Ｂが光電変換する光の波長は、第１光電変換部２０２Ｂが光電変換する光の波長と同じである。
（９）上記（６）〜（８）の撮像素子において、複数の第１光電変換部２０２Ｂは、異なる波長の光を光電変換する有機光電膜により構成され、複数の第２光電変換部２０４Ｂは、カラーフィルタおよび光電変換部、または、深さ方向に異なる波長の光を受光する光電変換部により構成される。
（１０）上記（１）〜（９）の撮像素子において、複数のレンズＬを有するレンズアレイ２０３を備え、第1撮像部２０２とレンズアレイ２０３と第２撮像部２０４とは、積層されている。
（１１）撮像装置は、上記（１）〜（１０）の撮像素子と、第１撮像部２０２からの信号に基づき、第１画像データを生成し、第２撮像部２０４からの信号に基づき、第１画像データより画素数が少ない第２画像データを生成する画像処理部とを備える。（１２）上記（１１）の撮像装置において、画像処理部で生成された第１画像データによる第１画像を生成する第１モードと、画像処理部で生成された第２画像データによる第２画像を生成する第２モードとを切り替えるモード切り替え部を備える。（１３）上記（１２）の撮像装置において、モード切り替え部は、設定されている撮像シーンモードによって第１モードと第２モードとを切り替える。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
上述した実施の形態において、透過基板２０３Ａの内部に、透明基板２０３Ａの屈折率より高屈折率のレンズ領域を形成することにより、マイクロレンズＬ１〜Ｌ６の機能を持たせてもよい。これにより、マイクロレンズアレイ２０３のＺ軸プラス側の面を平坦化することができる。
マイクロレンズアレイ２０３のＺ軸プラス側の面を平坦にすると、マイクロレンズアレイ２０３のＺ軸プラス側の面に第１の撮像素子２０２のＺ軸マイナス側の面を接合する場合の接合面を広く確保できる。これにより、第１の撮像素子２０２、マイクロレンズアレイ２０３、および第２の撮像素子２０４を積層した一体型の撮像素子を構成しやすくすることができる。
（変形例２）
マイクロレンズアレイ２０３のＺ軸プラス側の面を平坦化する他の例として、図３のマイクロレンズＬ１〜Ｌ６の周囲の凹面を、マイクロレンズＬ１〜Ｌ６を構成する部材の屈折率よりも低屈折の透明部材で埋めることによって平坦化を行ってもよい。
また、マイクロレンズＬ１〜Ｌ６に代えてフレネルレンズを用いることにより、レンズアレイを薄型に構成してもよい。この場合にも、フレネルレンズの周囲の凹面を、フレネルレンズを構成する部材の屈折率よりも低屈折の透明部材で埋めることによって平坦化を行うとよい。
さらにまた、マイクロレンズＬ１〜Ｌ６に代えてレンチキュラーレンズによってレンズアレイを構成してもよい。この場合にも、レンチキュラーレンズの周囲の凹面を、レンチキュラーレンズを構成する部材の屈折率よりも低屈折の透明部材で埋めることによって平坦化を行うとよい。
（変形例３）
複数のマイクロレンズＬを有するマイクロレンズアレイ２０３の代わりに、本願出願人が先に出願して国際公開されたＷＯ１４／１２９６３０号に記載されている、複数のマイクロミラーを有するマイクロミラーアレイを用いてもよい。図７は、マイクロミラーアレイを構成する複数のマイクロミラー２３Ｂのうちの一つの構成を模式的に示す断面図である。マイクロミラーアレイは、図７に示すマイクロミラー２３Ｂが、二次元アレイ状に多数配列されたものである。
マイクロミラー２３Ｂは、第１の撮像素子２０２に近い側から順に、反射型直線偏光板１２２と、４分の１波長（１／４λ）板１２３と、反射鏡１２４とを積層することにより構成される。反射型直線偏光板１２２は、入射光のうちＳ偏光成分を反射し、Ｐ偏光成分を透過させる。４分の１波長板１２３は、反射型直線偏光板１２２の軸に対して４５度の向きに設置されている。
反射鏡１２４は、透明基板に凹面を形成した後、凹面を透明基板と同一な屈折率を持つ光学接着剤で充填したものである。凹面（またはその裏側の凸面）にはコレステリック液晶が塗布され、円偏光分離層を形成している。コレステリック液晶による円偏光分離層は、左円偏光を通過させ、右円偏光を右円偏光のまま反射させる。反射鏡１２４は、その焦点位置に第２の撮像素子２０４が位置するように設けられている。凹面は右円偏光に対し反射鏡として働くので、凹面の曲率半径Ｒに対し、その焦点距離ｆはＲ／２である。これに対して、一般に、平凸マイクロレンズの場合には、焦点距離ｆは２Ｒであるので、反射鏡１２４を用いることにより、焦点距離ｆをマイクロレンズの場合の１／４の長さに短縮できる。
以上のように形成されたマイクロミラー２３Ｂを二次元アレイ状に配列したマイクロミラーアレイは、Ｚ軸プラス側の面、およびＺ軸マイナス側の面を平坦化できる。これにより、マイクロミラーアレイのＺ軸プラス側の面に第１の撮像素子２０２のＺ軸マイナス側の面を接合する場合の接合面を広く確保できる。また、マイクロミラーアレイのＺ軸マイナス側の面に第２の撮像素子２０４のＺ軸プラス側の面を接合する場合の接合面を広く確保できる。
（変形例４）
第１の撮像素子２０２において光電変換する波長域を、ＹｅＭｇＣｙ→ＲＧＢにしてもよい。一般に、ＹｅＭｇＣｙの場合の波長域よりも、ＲＧＢの場合の波長域の方が狭い。このため、第１の撮像素子２０２において光電変換する波長域をＲＧＢにすると、吸収（光電変換）される波長域（ＲＧＢ）に対して、補色である透過波長域（ＹｅＭｇＣｙ）が広くなることから、第２の撮像素子２０４で光電変換される光量を増加させることができる。この結果として、第２の撮像素子２０４で取得されるＬＦ画像の画素信号レベルを高めることができる。
なお、第２の撮像素子２０４において光電変換する波長域はＲＧＢのままでよいが、ＹｅＭｇＣｙであってもよい。
（変形例５）
第２の撮像素子２０４として、光電変換する波長域が素子の厚み方向（Ｚ軸方向）によって異なるイメージセンサを用いてもよい。このイメージセンサを用いる場合は、カラーフィルタアレイ２０４Ａが不要である上に、第２の撮像素子２０４から読み出された画素信号に対する色補間処理も不要にすることができる。カラーフィルタアレイ２０４Ａを用いないことは、第２の撮像素子２０４で光電変換される光量を増加させる効果が得られる。この結果として、第２の撮像素子２０４で取得されるＬＦ画像の画素信号レベルを高めることができる。
また、色補間処理が不要になれば、画像処理部２０７の処理負担を軽減する効果が得られる。
（変形例６）
上記実施の形態では、第１の撮像素子２０２および第２の撮像素子２０４から光電変換後の画素信号を独立した読み出し回路により読み出す例について説明した。この代わりに、第１の撮像素子２０２および第２の撮像素子２０４から光電変換後の画素信号を共通の読み出し回路により読み出すように構成してもよい。
変形例６において、例えば、図３のマイクロレンズアレイ２０３の透過基板２０３Ａに微細孔２１１を設け、この微細孔２１１に導体を形成することによって第１の撮像素子２０２と第２の撮像素子２０４との間を電気的に接続する。これにより、第１の撮像素子２０２と第２の撮像素子２０４との間の回路を接続できるので、第１の撮像素子２０２および第２の撮像素子２０４による光電変換後の画素信号を共通の読み出し回路により読み出すことが可能になる。
（変形例７）
図３のマイクロレンズアレイ２０３において、各マイクロレンズＬ１〜Ｌ６の境界部分に、光を遮光する隔壁２１０を設けてもよい。隔壁２１０を設ける理由は、マイクロレンズＬ１〜Ｌ６を通過した光が、そのマイクロレンズＬ１〜Ｌ６の後ろ（Ｚ軸マイナス方向）に配列された画素群ＰＸｓで受光され、隣のマイクロレンズＬ１〜Ｌ６の後ろに配列された画素群ＰＸｓへ進入しないようにするためである。隔壁２１０は、例えば、機械加工やエッチングによりマイクロレンズアレイ２０３に格子状の深い溝を形成し、その溝の中に遮光性樹脂を充填して形成される。
（変形例８）
上記実施の形態では、静止画を撮像する場合を例示したが、動画を撮像する場合にも適用して構わない。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
したがって、以下の撮像素子および撮像装置も本発明に含まれる。
（１）入射光の一部の光を光電変換し一部の光を透過させ、それぞれ光電変換する光の色と透過する光の色が異なる複数の第１の撮像画素を有する第１の撮像部と、複数のマイクロレンズを有し、複数のマイクロレンズのうち一つのマイクロレンズに複数の第１の撮像画素を透過した異なる色の光が入射するマイクロレンズアレイと、複数のマイクロレンズのうち一つのマイクロレンズを透過した光が入射する複数の第２の撮像画素を有する第２の撮像部とを備える撮像素子。
（２）上記（１）の撮像素子において、第１の撮像画素の数はマイクロレンズの数よりも多い撮像素子。
（３）上記（１）,（２）の撮像素子において、第１の撮像画素の間隔は第２の撮像画素の間隔よりも広い撮像素子。
（４）上記（３）の撮像素子において、第１の撮像画素の間隔は、第１の撮像部への入射光により生じる回折光が少なくなる間隔である撮像素子。
（５）（１）〜（４）の撮像素子において、複数の第２の撮像画素は、それぞれ異なる色の光を光電変換する撮像素子。
（６）上記（５）の撮像素子において、第２の撮像画素が光電変換する光の色は、第１の撮像画素が光電変換する光の色と異なる撮像素子。
（７）上記（５）の撮像素子において、第２の撮像画素が光電変換する光の色は、第１の撮像画素が光電変換する光の色と同じである撮像素子。
（８）上記（５）〜（７）の撮像素子において、第１の撮像部は、異なる色の光を光電変換する有機光電膜、または、カラーフィルタおよび有機光電膜により構成され、第２の撮像部は、カラーフィルタおよび受光部、または、深さ方向に異なる色の光を受光する受光部により構成される撮像素子。
（９）（１）〜（８）の撮像素子において、第１の撮像部と前記マイクロレンズアレイと第２の撮像部とは、積層されている撮像素子。
（１０）撮像装置は、上記（１）〜（９）の撮像素子と、第１の撮像画素で生成された第１の信号に基づき、第１の画像データを生成する第１の画像データ生成部と、第２の撮像画素で生成された第２の信号に基づき、第１の画像データより画素数が少ない第２の画像データを生成する第２の画像データ生成部とを備える。
（１１）上記（１０）の撮像装置において、第１の画像データ生成部で生成された第１の画像データによる第１画像を生成する第１モードと、第２の画像データ生成部で生成された第２の画像データによる第２画像を生成する第２モードとを切り替えるモード切り替え部を備える撮像装置。
（１２）上記（１１）の撮像装置において、モード切り替え部は、設定されている撮像シーンモードによって第１モードと前記第２モードとを切り替える撮像装置。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１５年第１８８２４８号（２０１５年９月２５日出願）
１００…カメラ、２０１…撮像レンズ、２０２…第１の撮像素子、２０３…マイクロレンズアレイ、２０４…第２の撮像素子、２０５…制御部、２０７…画像処理部、２０８…表示部、Ｌ、Ｌ１〜Ｌ６…マイクロレンズ、ＰＸ…第２の撮像素子２０４の画素、ＰＸｓ…第２の撮像素子２０４の画素群

Claims (13)

  1. 入射光のうち一部の波長の光を光電変換し他の波長の光を透過させる複数の第１光電変換部を有する第１撮像部と、
    前記第１撮像部を透過した光が入射する複数のレンズと、
    前記複数のレンズ毎に複数設けられた、入射光を光電変換する第２光電変換部を有する第２撮像部と、
    を備える撮像素子。
  2. 請求項１に記載の撮像素子において、
    前記第１撮像部の前記第１光電変換部の数が前記第２撮像部の前記第２光電変換部の数よりも少ない撮像素子。
  3. 請求項１または２に記載の撮像素子において、
    ２つの隣り合う前記第１光電変換部の中心の間隔は、２つの隣り合う前記第２光電変換部の中心の間隔よりも広い撮像素子。
  4. 請求項１から３までのいずれか一項に記載の撮像素子において、
    前記第１撮像部の解像度が前記第２撮像部の解像度よりも低い撮像素子。
  5. 請求項３に記載の撮像素子において、
    前記２つの隣り合う前記第１光電変換部の中心の間隔は４μｍ以上である撮像素子。
  6. 請求項１から５までのいずれか一項に記載の撮像素子において、
    複数の前記第２光電変換部は、それぞれ異なる波長の光を光電変換する撮像素子。
  7. 請求項６に記載の撮像素子において、
    前記第２光電変換部が光電変換する光の波長は、前記第１光電変換部が光電変換する光の波長と異なる撮像素子。
  8. 請求項６に記載の撮像素子において、
    前記第２光電変換部が光電変換する光の波長は、前記第１光電変換部が光電変換する光の波長と同じである撮像素子。
  9. 請求項６から８までのいずれか一項に記載の撮像素子において、
    複数の前記第１光電変換部は、異なる波長の光を光電変換する有機光電膜により構成され、複数の前記第２光電変換部は、カラーフィルタおよび光電変換部、または、深さ方向に異なる波長の光を受光する光電変換部により構成される撮像素子。
  10. 請求項１から９までのいずれか一項に記載の撮像素子において、
    前記複数のレンズを有するレンズアレイを備え、
    前記第１撮像部と前記レンズアレイと前記第２撮像部とは、積層されている撮像素子。
  11. 請求項１から１０までのいずれか一項に記載の撮像素子と、
    前記第１撮像部からの信号に基づき、第１画像データを生成し、前記第２撮像部からの信号に基づき、前記第１画像データより画素数が少ない第２画像データを生成する画像処理部と、
    を備える撮像装置。
  12. 請求項１１に記載の撮像装置において、
    前記画像処理部で生成された前記第１画像データによる第１画像を生成する第１モードと、前記画像処理部で生成された前記第２画像データによる第２画像を生成する第２モードとを切り替えるモード切り替え部を備える撮像装置。
  13. 請求項１２に記載の撮像装置において、
    前記モード切り替え部は、設定されている撮像シーンモードによって前記第１モードと前記第２モードとを切り替える撮像装置。
JP2017541590A 2015-09-25 2016-09-23 撮像素子および撮像装置 Withdrawn JPWO2017051876A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015188248 2015-09-25
JP2015188248 2015-09-25
PCT/JP2016/078034 WO2017051876A1 (ja) 2015-09-25 2016-09-23 撮像素子および撮像装置

Publications (1)

Publication Number Publication Date
JPWO2017051876A1 true JPWO2017051876A1 (ja) 2018-08-09

Family

ID=58386861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017541590A Withdrawn JPWO2017051876A1 (ja) 2015-09-25 2016-09-23 撮像素子および撮像装置

Country Status (4)

Country Link
US (1) US20180278859A1 (ja)
JP (1) JPWO2017051876A1 (ja)
CN (1) CN108140655A (ja)
WO (1) WO2017051876A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211601A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置および撮像システム
JP6995535B2 (ja) * 2017-08-31 2022-01-14 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110690237B (zh) * 2019-09-29 2022-09-02 Oppo广东移动通信有限公司 一种图像传感器、信号处理方法及存储介质
JP7416605B2 (ja) 2019-11-14 2024-01-17 日本放送協会 撮像素子
TWI739431B (zh) * 2019-12-09 2021-09-11 大陸商廣州印芯半導體技術有限公司 資料傳輸系統及其資料傳輸方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064554A (ja) * 2002-07-30 2004-02-26 Olympus Corp カメラ及びこれに用いる撮像素子ユニット
JP4178250B2 (ja) * 2006-02-24 2008-11-12 独立行政法人国立高等専門学校機構 撮像素子用のカラーフィルターブロック
JP4730347B2 (ja) * 2007-07-03 2011-07-20 ソニー株式会社 撮像装置及び撮像方法
US20100157117A1 (en) * 2008-12-18 2010-06-24 Yu Wang Vertical stack of image sensors with cutoff color filters
US9197804B1 (en) * 2011-10-14 2015-11-24 Monolithic 3D Inc. Semiconductor and optoelectronic devices
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
WO2013058275A1 (ja) * 2011-10-17 2013-04-25 キヤノン株式会社 撮像装置、およびその制御方法
JP5556823B2 (ja) * 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
JP6045250B2 (ja) * 2012-08-10 2016-12-14 オリンパス株式会社 固体撮像装置および撮像装置
US9184198B1 (en) * 2013-02-20 2015-11-10 Google Inc. Stacked image sensor with cascaded optical edge pass filters

Also Published As

Publication number Publication date
US20180278859A1 (en) 2018-09-27
WO2017051876A1 (ja) 2017-03-30
CN108140655A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
JP5421207B2 (ja) 固体撮像装置
WO2017051876A1 (ja) 撮像素子および撮像装置
JP5538553B2 (ja) 固体撮像素子及び撮像装置
KR100875938B1 (ko) 광학기기 및 빔 스플리터
JP5547349B2 (ja) デジタルカメラ
JP5563166B2 (ja) 固体撮像装置及びデジタルカメラ
US8379121B2 (en) Image-capturing device and imaging apparatus
US7515818B2 (en) Image capturing apparatus
US20040125230A1 (en) Image sensing apparatus
JP5227368B2 (ja) ３次元撮像装置
JP5503209B2 (ja) 撮像素子及び撮像装置
WO2010122702A1 (ja) 固体撮像装置及び電子カメラ
JP6004280B2 (ja) ライトフィールド撮像装置および撮像素子
JP2014187160A (ja) 固体撮像装置および携帯情報端末
JP5532766B2 (ja) 撮像素子及び撮像装置
JP2002204462A (ja) 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
KR20140061234A (ko) 이미지 생성 장치 및 이미지 생성 방법
JP2012211942A (ja) 固体撮像素子及び撮像装置
JP2007140176A (ja) 電子カメラ
JP5907668B2 (ja) 撮像装置及び撮像素子
JP5537687B2 (ja) 固体撮像装置
JP2008129360A (ja) 焦点検出装置及び撮像装置
JP2007187806A (ja) 撮像装置
JP2007094073A (ja) 合焦装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190826

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190924