WO2020137203A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
WO2020137203A1
WO2020137203A1 PCT/JP2019/044250 JP2019044250W WO2020137203A1 WO 2020137203 A1 WO2020137203 A1 WO 2020137203A1 JP 2019044250 W JP2019044250 W JP 2019044250W WO 2020137203 A1 WO2020137203 A1 WO 2020137203A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
photoelectric conversion
image
incident light
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/044250
Other languages
English (en)
French (fr)
Inventor
弘成 尾辻
広行 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN201980081314.XA priority Critical patent/CN113196488A/zh
Priority to JP2020562898A priority patent/JP7544601B2/ja
Priority to DE112019006460.6T priority patent/DE112019006460T5/de
Priority to US17/299,901 priority patent/US12402427B2/en
Publication of WO2020137203A1 publication Critical patent/WO2020137203A1/ja
Anticipated expiration legal-status Critical
Priority to US19/280,495 priority patent/US20250351602A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/806Optical elements or arrangements associated with the image sensors
    • H10F39/8063Microlenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0062Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • G02B3/0068Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between arranged in a single integral body or plate, e.g. laminates or hybrid structures with other optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/011Manufacture or treatment of image sensors covered by group H10F39/12
    • H10F39/024Manufacture or treatment of image sensors covered by group H10F39/12 of coatings or optical elements
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10Integrated devices
    • H10F39/12Image sensors
    • H10F39/18Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182Colour image sensors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10Integrated devices
    • H10F39/12Image sensors
    • H10F39/199Back-illuminated image sensors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/802Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8023Disposition of the elements in pixels, e.g. smaller elements in the centre of the imager compared to larger elements at the periphery
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/805Coatings
    • H10F39/8053Colour filters
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/805Coatings
    • H10F39/8057Optical shielding
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays

Definitions

  • the present disclosure relates to an imaging device and an imaging device. Specifically, the present invention relates to an image pickup device including an on-chip lens and an intralayer lens, and an image pickup apparatus including the image pickup device.
  • a backside illumination type image sensor is used in an image sensor in which pixels that convert incident light into an image signal are arranged in a two-dimensional lattice.
  • This backside illumination type image pickup element is an image pickup element in which incident light is emitted to the semiconductor substrate from the backside which is a surface different from the surface (front surface) of the semiconductor substrate on which the wiring region is formed.
  • the sensitivity can be improved as compared with an image pickup device in which incident light is emitted from the front surface side.
  • incident light may be transmitted without being absorbed by the semiconductor substrate and may be reflected by the wiring layer in the wiring region.
  • the image quality will further deteriorate. This is because the amount of reflected light that enters another pixel changes depending on the incident angle, and the sensitivity of the pixel changes.
  • an image sensor has been proposed in which the wiring of the wiring layer is formed in a symmetrical shape with respect to the center of the pixel (see, for example, Patent Document 1).
  • the light amount of the reflected light from the pixel can be made constant regardless of the incident angle due to the symmetrically configured wiring.
  • the above-mentioned conventional technique has a problem that it is not possible to reduce the reflection of incident light from the wiring layer, and it is not possible to prevent deterioration of image quality.
  • the present disclosure has been made in view of the above-mentioned problems, and aims to prevent deterioration of image quality.
  • the present disclosure has been made to solve the above problems, and a first aspect thereof is an on-chip lens that collects incident light from a subject, and photoelectric conversion of the collected incident light. And a plurality of in-layer lenses arranged between the on-chip lens and the photoelectric conversion unit to further collect incident light that has passed through the on-chip lens.
  • the inner lens is an image sensor that causes the incident light that has passed through any one of the inner lenses of the inner lens to enter the photoelectric conversion unit.
  • the plurality of intralayer lenses may be arranged in substantially the same layer.
  • the plurality of in-layer lenses may be simultaneously formed.
  • a color filter that transmits light having a predetermined wavelength of the incident light that has passed through the on-chip lens may be further provided.
  • the color filter may transmit red light.
  • the color filter may transmit infrared light.
  • one of the in-layer lenses of itself may be arranged on the optical axis of the on-chip lens.
  • the plurality of intralayer lenses may be formed in different shapes.
  • a plurality of pixels including the on-chip lens, the photoelectric conversion unit, and the plurality of intralayer lenses may be provided.
  • the plurality of in-layer lenses may be arranged asymmetrically with respect to the center of the pixel.
  • a phase difference pixel may be further provided that includes the on-chip lens and the photoelectric conversion unit and divides the incident light from the subject into pupils to detect a phase difference.
  • a second aspect of the present disclosure is an on-chip lens that collects incident light from a subject, a photoelectric conversion unit that performs photoelectric conversion of the collected incident light, the on-chip lens and the photoelectric conversion.
  • a plurality of in-layer lenses arranged between the units to further collect incident light transmitted through the on-chip lens, and a processing circuit for processing an image signal based on photoelectric conversion in the photoelectric conversion unit,
  • the plurality of in-layer lenses is an imaging device that causes the incident light that has passed through any one of the in-layer lenses of itself to enter the photoelectric conversion unit.
  • Adopting such a mode brings about an effect that the incident light transmitted through the on-chip lens is individually condensed by a plurality of in-layer lenses. It is assumed that the incident light is condensed at different positions in the photoelectric conversion unit.
  • FIG. 3 is a diagram showing a configuration example of a pixel according to an embodiment of the present disclosure.
  • FIG. 3 is a plan view showing a configuration example of a pixel according to the first embodiment of the present disclosure.
  • FIG. 3 is a cross-sectional view showing a configuration example of a pixel according to the embodiment of the present disclosure. It is a figure which shows the optical path of the incident light in the conventional pixel. It is a figure which shows an example of the optical path of the incident light in the pixel which concerns on 1st Embodiment of this indication.
  • FIG. 5 is a diagram showing an example of a method for manufacturing an image sensor according to the embodiment of the present disclosure.
  • FIG. 5 is a diagram showing an example of a method for manufacturing an image sensor according to the embodiment of the present disclosure.
  • FIG. 5 is a diagram showing an example of a method for manufacturing an image sensor according to the embodiment of the present disclosure.
  • FIG. 8 is a plan view showing a configuration example of a pixel according to a second embodiment of the present disclosure.
  • FIG. 16 is a plan view showing a first configuration example of a pixel according to the third embodiment of the present disclosure.
  • FIG. 16 is a plan view showing a second configuration example of the pixel according to the third embodiment of the present disclosure.
  • FIG. 16 is a plan view showing a third configuration example of the pixel according to the third embodiment of the present disclosure.
  • FIG. 16 is a plan view showing a fourth configuration example of the pixel according to the third embodiment of the present disclosure.
  • FIG. 16 is a plan view showing another configuration example of the pixel according to the fifth embodiment of the present disclosure.
  • FIG. 16 is a plan view showing a configuration example of a pixel array section according to a sixth embodiment of the present disclosure. It is a block diagram showing a schematic example of composition of a camera which is an example of an imaging device to which this art can be applied.
  • FIG. 1 It is a figure which shows an example of a schematic structure of an endoscopic surgery system. It is a block diagram showing an example of functional composition of a camera head and CCU. It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a diagram illustrating a configuration example of an image sensor according to an embodiment of the present disclosure.
  • the image sensor 1 shown in FIG. 1 includes a pixel array section 10, a vertical drive section 20, a column signal processing section 30, and a control section 40.
  • the pixel array unit 10 is configured by arranging the pixels 100 in a two-dimensional lattice shape.
  • the pixel 100 produces
  • the pixel 100 has a photoelectric conversion unit that generates an electric charge according to the applied light.
  • the pixel 100 further includes a pixel circuit. This pixel circuit generates an image signal based on the charges generated by the photoelectric conversion unit. Generation of the image signal is controlled by a control signal generated by the vertical drive unit 20 described later.
  • signal lines 11 and 12 are arranged in an XY matrix.
  • the signal line 11 is a signal line that transmits a control signal of a pixel circuit in the pixel 100, is arranged for each row of the pixel array unit 10, and is commonly wired to the pixels 100 arranged in each row.
  • the signal line 12 is a signal line for transmitting an image signal generated by the pixel circuit of the pixel 100, is arranged for each column of the pixel array unit 10, and is commonly wired to the pixels 100 arranged in each column. It These photoelectric conversion units and pixel circuits are formed on a semiconductor substrate.
  • the vertical drive unit 20 generates a control signal for the pixel circuit of the pixel 100.
  • the vertical drive unit 20 transmits the generated control signal to the pixel 100 via the signal line 11 in the figure.
  • the column signal processing unit 30 processes the image signal generated by the pixel 100.
  • the column signal processing unit 30 processes the image signal transmitted from the pixel 100 via the signal line 12 in the figure.
  • the processing in the column signal processing unit 30 corresponds to, for example, analog-digital conversion for converting an analog image signal generated in the pixel 100 into a digital image signal.
  • the image signal processed by the column signal processing unit 30 is output as the image signal of the image sensor 1.
  • the control unit 40 controls the entire image sensor 1.
  • the control unit 40 controls the image sensor 1 by generating and outputting a control signal for controlling the vertical drive unit 20 and the column signal processing unit 30.
  • the control signal generated by the control unit 40 is transmitted to the vertical drive unit 20 and the column signal processing unit 30 via the signal lines 41 and 42, respectively.
  • the column signal processing unit 30 is an example of the processing circuit described in the claims.
  • FIG. 2 is a diagram showing a configuration example of a pixel according to the embodiment of the present disclosure.
  • the figure is a circuit diagram showing a configuration example of the pixel 100.
  • the pixel 100 shown in the figure includes a photoelectric conversion unit 101, a charge holding unit 102, and MOS transistors 103 to 106.
  • the anode of the photoelectric conversion unit 101 is grounded, and the cathode is connected to the source of the MOS transistor 103.
  • the drain of the MOS transistor 103 is connected to the source of the MOS transistor 104, the gate of the MOS transistor 105, and one end of the charge holding unit 102. The other end of the charge holding unit 102 is grounded.
  • the drains of the MOS transistors 104 and 105 are commonly connected to the power supply line Vdd, and the source of the MOS transistor 105 is connected to the drain of the MOS transistor 106.
  • the source of the MOS transistor 106 is connected to the signal line 12.
  • the gates of the MOS transistors 103, 104 and 106 are connected to the transfer signal line TR, the reset signal line RST and the selection signal line SEL, respectively.
  • the transfer signal line TR, the reset signal line RST, and the selection signal line SEL form the signal line 11.
  • the photoelectric conversion unit 101 is to generate electric charges according to the irradiated light as described above.
  • a photodiode can be used for the photoelectric conversion unit 101.
  • the charge holding unit 102 and the MOS transistors 103 to 106 form a pixel circuit.
  • the MOS transistor 103 is a transistor that transfers the charges generated by the photoelectric conversion of the photoelectric conversion unit 101 to the charge holding unit 102. The transfer of charges in the MOS transistor 103 is controlled by the signal transmitted through the transfer signal line TR.
  • the charge holding unit 102 is a capacitor that holds the charges transferred by the MOS transistor 103.
  • the MOS transistor 105 is a transistor that generates a signal based on the charges held in the charge holding unit 102.
  • the MOS transistor 106 is a transistor that outputs the signal generated by the MOS transistor 105 to the signal line 12 as an image signal. The MOS transistor 106 is controlled by the signal transmitted by the selection signal line SEL.
  • the MOS transistor 104 is a transistor that resets the charge holding unit 102 by discharging the charge held in the charge holding unit 102 to the power supply line Vdd.
  • the reset by the MOS transistor 104 is controlled by the signal transmitted through the reset signal line RST, and is executed before the charge transfer by the MOS transistor 103.
  • the photoelectric conversion unit 101 can also be reset by turning on the MOS transistor 103. In this way, the pixel circuit converts the charge generated by the photoelectric conversion unit 101 into an image signal.
  • FIG. 3 is a plan view showing a configuration example of a pixel according to the first embodiment of the present disclosure.
  • the figure shows a configuration example of the pixels 100 arranged in the pixel array section 10.
  • the solid line rectangle represents the pixel 100
  • the dotted line rectangle represents the n-type semiconductor region 111 that constitutes the photoelectric conversion unit 101
  • the two-dot chain line circle represents the on-chip lens 180
  • the solid line circle represents the inside of the layer. This represents the lens 160.
  • the on-chip lens 180 is a lens that is arranged in the outermost layer of the pixel 100 and focuses incident light from a subject on the photoelectric conversion unit 101.
  • the in-layer lens 160 is a lens that is disposed between the on-chip lens 180 and the photoelectric conversion unit 101 and that further collects the incident light collected by the on-chip lens 180.
  • a plurality of the in-layer lenses 160 are arranged for each pixel 100.
  • the pixel 100 in the figure represents an example in which nine intra-layer lenses 160 are arranged in a grid pattern.
  • a gap 169 is formed in the plurality of in-layer lenses 160 arranged. The incident light passing through the gap 169 is applied to the photoelectric conversion unit 101 without passing through the in-layer lens 160. Details of the configuration of the pixel 100 will be described later.
  • a color filter 172 (not shown) is arranged in the pixel 100.
  • the color filter 172 is an optical filter that transmits light having a predetermined wavelength of incident light.
  • a color filter that transmits red light, green light, and blue light can be arranged in each pixel 100.
  • the characters in the figure represent the type of the color filter 172 arranged in the pixel 100. Specifically, “R”, “G”, and “B” indicate that the color filters 172 corresponding to red light, green light, and blue light are arranged, respectively.
  • These color filters 172 can be arranged in a Bayer array, for example.
  • the Bayer array is an array method in which the color filters 172 corresponding to green light are arranged in a checkered pattern, and the color filters 172 corresponding to red light and blue light are arranged between the color filters 172 corresponding to green light.
  • the pixel array unit 10 is configured by arranging four pixels 100 arranged in two rows and two columns shown in FIG.
  • FIG. 4 is a cross-sectional view showing a configuration example of a pixel according to the embodiment of the present disclosure.
  • the figure is a cross-sectional view showing a configuration example of the pixel 100 arranged in the pixel array section 10.
  • 3 is a sectional view of the image sensor 1 (pixel array unit 10) taken along the line AA′ in FIG.
  • the pixel 100 shown in FIG. 1 includes a semiconductor substrate 110, a wiring region 130, a support substrate 140, an insulating film 120, a light shielding film 150, an in-layer lens 160, a flattening film 171, a color filter 172, an on-state. And a chip lens 180.
  • the semiconductor substrate 110 is a semiconductor substrate in which semiconductor regions of the elements forming the pixel circuit described in FIG. 2 are formed.
  • the semiconductor substrate 110 in the figure includes a p-type semiconductor region 112 forming a well region and an n-type semiconductor region 111 formed inside the p-type semiconductor region 112.
  • the photoelectric conversion unit 101 is configured by the n-type semiconductor region 111.
  • the pn junction between the n-type semiconductor region 111 and the p-type semiconductor region 112 around the n-type semiconductor region 111 operates as a photodiode. When the pn junction is irradiated with incident light, charges are generated by photoelectric conversion and accumulated in the n-type semiconductor region 111.
  • the MOS transistor 103 in the figure is a MOS transistor having the n-type semiconductor region 111 as a source region and the p-type semiconductor region 112 as a channel region.
  • the MOS transistor 103 includes a gate electrode 133.
  • the semiconductor substrate 110 can be made of, for example, silicon (Si). Further, the vertical driving unit 20 and the like described in FIG. 1 can be arranged on the semiconductor substrate 110.
  • the wiring region 130 is a region where a wiring formed on the surface of the semiconductor substrate 110 and electrically connecting the semiconductor elements formed on the semiconductor substrate 110 is formed.
  • a wiring layer 132 and an insulating layer 131 are arranged in the wiring region 130.
  • the wiring layer 132 constitutes the above-mentioned wiring.
  • the wiring layer 132 can be formed of, for example, copper (Cu) or tungsten (W).
  • the insulating layer 131 insulates the wiring layer 132.
  • the insulating layer 131 can be made of, for example, silicon oxide (SiO 2 ) or silicon nitride (SiN).
  • the gate electrode 133 described above is further arranged in the wiring region 130.
  • the support substrate 140 is a substrate that supports the image sensor 1.
  • the support substrate 140 is a substrate that is formed of a semiconductor wafer or the like and mainly improves the strength of the image pickup device 1 when the image pickup device 1 is manufactured.
  • the insulating film 120 is a film that insulates and protects the back surface side of the semiconductor substrate 110.
  • the insulating film 120 can be made of an oxide such as SiO 2 .
  • the light-shielding film 150 is a film which is arranged near the boundary between the pixels 100 and shields incident light obliquely incident from the adjacent pixels 100. As described with reference to FIG. 3, the color filters 172 corresponding to different lights are arranged in the adjacent pixels 100. When the photoelectric conversion unit 101 is irradiated with incident light that has passed through different types of color filters 172 of the adjacent pixels 100, color mixing occurs, and the image quality deteriorates. This color mixing can be prevented by disposing the light shielding film 150 and shielding the incident light from the adjacent pixels 100.
  • the light blocking film 150 has an opening 151 in the center of the pixel 100. Incident light is applied to the photoelectric conversion unit 101 through the opening 151.
  • the light shielding film 150 for example, a film made of W can be used.
  • the in-layer lens 160 is a lens that is formed in the inner layer of the pixel 100 and collects incident light.
  • the hemispherical convex portion in the figure corresponds to one in-layer lens 160.
  • the plurality of in-layer lenses 160 are arranged in the pixel 100. These in-layer lenses 160 are arranged in parallel to the optical path of incident light in the pixel 100. Specifically, the plurality of in-layer lenses 160 are arranged so that the incident light that has passed through one of the in-layer lenses 160 reaches the photoelectric conversion unit 101. The incident light reaches the photoelectric conversion unit 101 without passing through the plurality of intralayer lenses 160.
  • the plurality of in-layer lenses 160 are arranged in substantially the same layer.
  • the intralayer lenses 160 When the intralayer lenses 160 are arranged in the same layer as described above, the intralayer lenses 160 can be formed at the same time. It should be noted that the plurality of inner lenses 160 can be formed in different layers as long as the incident light transmitted through one of the plurality of inner lenses 160 reaches the photoelectric conversion unit 101. ..
  • the intralayer lens 160 can be made of a high refractive index inorganic material or resin.
  • the intralayer lens 160 can be made of SiN or silicon oxynitride (SiON).
  • each of the intralayer lenses 160 can be configured to have a diameter of 0.8 ⁇ m to 1.0 ⁇ m, for example.
  • the in-layer lens 160 in the figure represents an example in which the lower layer portion is formed of a common film. The lower part of the intralayer lens 160 flattens the back surface of the image sensor 1 on which the light shielding film 150 is formed.
  • the flattening film 171 is for flattening the back surface of the image pickup device 1 on which the in-layer lens 160 is formed.
  • the flattening film 171 can be made of resin, for example.
  • the color filter 172 and the on-chip lens 180 are stacked on the flattening film 171.
  • the image pickup device 1 in the figure corresponds to a backside illumination type image pickup device in which incident light is emitted from the backside of the semiconductor substrate 110.
  • Solid arrows in the figure represent the incident light emitted from the back surface.
  • the incident light transmitted through the on-chip lens 180 and the in-layer lens 160 reaches the n-type semiconductor region 111 of the semiconductor substrate 110, and photoelectric conversion is performed.
  • a part of the light incident on the semiconductor substrate 110 passes through the semiconductor substrate 110 without contributing to photoelectric conversion and reaches the wiring region 130.
  • the dashed arrows in the figure show how incident light passes through the semiconductor substrate 110. When this transmitted light is reflected by the wiring layer 132 and emitted to the outside of the pixel 100, it becomes stray light.
  • a plurality of in-layer lenses 160 are arranged to reduce the reflected light from the wiring layer 132.
  • FIG. 5 is a diagram showing an optical path of incident light in a pixel according to a conventional technique.
  • this figure is a diagram showing an optical path of incident light in a pixel in which one in-layer lens 160 is arranged.
  • the on-chip lens 180, the in-layer lens 160, the n-type semiconductor region 111, and the wiring layer 132 are shown. It is a figure showing the outline of. Solid arrows in the figure represent incident light having a relatively long wavelength such as red light, and dotted arrows represent incident light having a relatively short wavelength such as blue light.
  • These incident lights are condensed by the on-chip lens 180 and the in-layer lens 160 and reach the photoelectric conversion unit 101 (n-type semiconductor region 111).
  • the focal length is shortened and the height of the image sensor 1 can be reduced.
  • the incident light is not absorbed in the n-type semiconductor region 111, that is, when photoelectric conversion is not performed, the incident light is transmitted through the n-type semiconductor region 111, reaches the wiring layer 132 of the wiring region 130, and is reflected.
  • the incident light having a relatively short wavelength is focused on the shallow position of the n-type semiconductor region 111. If it is not absorbed in the n-type semiconductor region 111, it diffuses and reaches the wiring layer 132 in the wiring region 130. On the other hand, the incident light having a relatively long wavelength has a focal point formed at a deep position in the n-type semiconductor region 111. For this reason, when the incident light having a relatively long wavelength is not absorbed in the n-type semiconductor region 111, it reaches the wiring layer 132 and is reflected while being concentrated in a relatively narrow range as shown by a dashed arrow. For this reason, the longer the wavelength of the incident light, the stronger the reflection.
  • FIG. 6 is a diagram showing an example of an optical path of incident light in the pixel according to the first embodiment of the present disclosure.
  • Incident light transmitted through the on-chip lens 180 in the figure is condensed by a plurality of (in the figure, three) intralayer lenses 160a, 160b, and 160c, and is irradiated onto the n-type semiconductor region 111. Further, the incident light applied to the region where the two in-layer lenses 160 are in contact with each other is repeatedly reflected between the two in-layer lenses 160 and then applied to the n-type semiconductor region 111. In this way, the incident light is dispersed by the in-layer lens 160 and applied to the n-type semiconductor region 111.
  • the wiring layer 132 When the incident light is not absorbed in the n-type semiconductor region 111, it reaches the wiring layer 132 in a widely dispersed state, and the reflected light can be reduced. Further, since the incident light is dispersed, the degree of freedom in the layout of the wiring layer 132 can be improved.
  • the wiring layer 132 may be arranged immediately below the central portion of the photoelectric conversion unit 101.
  • one of the plurality of intra-layer lenses 160 is arranged in the central portion of the pixel 100, as in the intra-layer lens 160b of FIG. Specifically, one of the plurality of in-layer lenses 160 is arranged on the optical axis of the on-chip lens 180. Since the incident light transmitted through the on-chip lens 180 is collected in the central portion of the pixel 100, a large amount of incident light transmitted through the on-chip lens 180 can be transmitted to the intralayer lens 160. The incident light can be more dispersed as compared with the case where the gap 169 is arranged on the optical axis of the on-chip lens 180.
  • FIGS. 7 and 8 are diagrams showing an example of a method for manufacturing an image sensor according to the embodiment of the present disclosure.
  • the figure shows an example of a manufacturing process of the image sensor 1.
  • the configuration of the pixel 100 is simplified and described.
  • the wiring region 130 is formed on the semiconductor substrate 110 on which the p-type semiconductor region 112 and the n-type semiconductor region 111 are formed.
  • the support substrate 140 is bonded, the top and bottom of the semiconductor substrate 110 are inverted, and the back surface of the semiconductor substrate 110 is ground to reduce the thickness.
  • the insulating film 120 and the light shielding film 150 are arranged on the back surface of the semiconductor substrate 110 (A in FIG. 7).
  • the lens material 401 which is the material of the in-layer lens 160, is arranged on the back surface of the semiconductor substrate 110.
  • This can be formed, for example, by forming a lens material such as SiN using CVD (Chemical Vapor Deposition) or the like (B in FIG. 7).
  • a resist 402 is laminated on the lens material 401.
  • a photoresist may be used as the resist 402, and the resist 402 can be formed by applying the photoresist on the lens material 401 (C in FIG. 7).
  • a resist 403 having the same shape as the intralayer lens 160 is formed.
  • the resist 402 is patterned into a cylindrical or cubic shape by, for example, a lithography technique. Then, it can be formed by dissolving the patterned resist 402 using a reflow oven or the like (D in FIG. 8).
  • the plurality of in-layer lenses 160 are arranged to disperse the incident light that has passed through the on-chip lens 180 and to convert the photoelectric conversion unit 101. To irradiate. Thereby, the reflected light from the wiring layer 132 can be reduced and the deterioration of the image quality can be prevented.
  • Second Embodiment> In the image sensor 1 of the above-described first embodiment, nine intra-layer lenses 160 are arranged. On the other hand, the image sensor 1 according to the second embodiment of the present disclosure is different from the above-described first embodiment in that a different number of intralayer lenses 160 are arranged.
  • FIG. 9 is a plan view showing a configuration example of a pixel according to the second embodiment of the present disclosure. Similar to FIG. 3, this figure is a diagram showing a configuration example of the pixel 100. Hereinafter, as for the same components as those in FIG. 3, the reference numerals are omitted.
  • a in the figure represents an example in which four intra-layer lenses 160 are arranged.
  • B in the figure represents an example in which 16 in-layer lenses 160 are arranged.
  • any number of two or more intralayer lenses 160 can be arranged in the pixel 100.
  • the gap 169 between the intralayer lenses 160 can be made smaller, and more incident light can be dispersed. It is possible to arrange the number of the intralayer lenses 160 according to the processing accuracy of the intralayer lenses 160 in the manufacturing process of the image sensor 1.
  • C in the figure shows an example of a case where nine in-layer lenses 160 each having a relatively small diameter are arranged near the center of the pixel 100. Even in this case, the gap 169 can be reduced.
  • the configuration of the image sensor 1 other than this is the same as the configuration of the image sensor 1 described in the first embodiment of the present disclosure, and thus the description thereof will be omitted.
  • two or more arbitrary intralayer lenses 160 can be arranged according to the processing accuracy.
  • the circular inner lens 160 is arranged in a plan view.
  • the image sensor 1 according to the third embodiment of the present disclosure is different from the above-described first embodiment in that an intralayer lens having a different shape is arranged.
  • FIG. 10 is a plan view showing a first configuration example of a pixel according to the third embodiment of the present disclosure.
  • This figure is a diagram showing a configuration example of the pixel 100 similarly to FIG. 3.
  • the pixel 100 is different from the pixel 100 described in FIG. 3 in that an intralayer lens having a shape other than the circular shape is arranged.
  • a in the figure shows an example in which, in addition to the intralayer lens 160, an intralayer lens 161 having an elliptical shape in plan view is arranged.
  • B in the figure shows another arrangement example of the intralayer lenses 160 and 161. In this way, the intralayer lenses 160 and 161 having different shapes can be arranged in the pixel 100.
  • FIG. 11 is a plan view showing a second configuration example of the pixel according to the third embodiment of the present disclosure.
  • This figure shows an example in which the inner lens 161 or the inner lenses 160 and 161 are arranged and the size is optimized so as to reduce the gap 169.
  • a in the figure shows an example in which two in-layer lenses 161 are arranged.
  • B and C in the figure represent an example in which the intralayer lenses 160 and 161 are arranged.
  • the gap 169 can be made narrower than the arrangement of the intralayer lenses 160 and 161 shown in FIG.
  • FIG. 12 is a plan view showing a third configuration example of the pixel according to the third embodiment of the present disclosure.
  • the figure shows an example in which a rectangular inner lens 162 is arranged in a plan view.
  • B in the figure shows an example of a case where the intralayer lenses 162 having a square shape and a rectangular shape in a plan view are combined and arranged.
  • FIG. 13 is a plan view showing a fourth configuration example of the pixel according to the third embodiment of the present disclosure.
  • a in the figure shows an example in which the intralayer lens 163 and the intralayer lens 160 are arranged
  • B in the figure shows the cross-sectional shape of the intralayer lens.
  • the inner-layer lens 163 is an inner-layer lens having an opening in the central portion in a plan view, and is an inner-layer lens having a shape obtained by dividing an annular body in two in the thickness direction.
  • the in-layer lens 160 in the figure is arranged in the opening of the in-layer lens 163. As described above, by arranging the intralayer lenses 160 and 163 in combination, the gap 169 can be made smaller.
  • the configuration of the image sensor 1 other than this is the same as the configuration of the image sensor 1 described in the first embodiment of the present disclosure, and thus the description thereof will be omitted.
  • the gaps 169 can be made smaller by arranging the intralayer lenses 160 to 163 having different shapes, and more incident light can be obtained. Can be dispersed.
  • the image sensor 1 of the above-described first embodiment uses the intralayer lens 160 that is symmetrically arranged with respect to the center of the pixel 100.
  • the image sensor 1 according to the fourth embodiment of the present disclosure is different from the above-described first embodiment in that an intralayer lens that is asymmetrically arranged with respect to the center of the pixel 100 is used.
  • FIG. 14 is a plan view showing a configuration example of a pixel according to the fourth embodiment of the present disclosure.
  • This figure is a diagram showing a configuration example of the pixel 100 similarly to FIG. 3.
  • the pixel shown in the figure is different from the pixel 100 described in FIG. 3 in that the arrangement of the in-layer lens is arranged asymmetrically with respect to the center of the pixel.
  • the pixels (pixels 201 and 202) in the figure represent an example in which four intra-layer lenses 161 having different sizes are arranged. Specifically, in the pixel shown in the figure, two relatively large in-layer lenses 161a and two relatively small in-layer lenses 161b are arranged.
  • the in-layer lens 161 is arranged in an asymmetrical shape with respect to the center of the pixel 100, and the dispersion of incident light can be asymmetrical.
  • the pixel 201 of A in the figure and the pixel 202 of B in the figure are configured by changing the arrangement of the intralayer lenses 161a and 161b by 180 degrees. These pixels 201 and 202 are arranged at the ends of the pixel array section 10 described with reference to FIG. Specifically, the pixel 201 of A in the figure is arranged at the right end of the pixel array section 10, and the pixel 202 of B in the figure is arranged at the left end of the pixel array section 10. Incident light is obliquely applied to the pixels at the ends of the pixel array unit 10 according to the image height of the subject. Therefore, the influence of the image height can be reduced by arranging the intralayer lens 161 asymmetrically.
  • FIG. 15 is a diagram showing an example of an optical path of incident light in a pixel according to the fourth embodiment of the present disclosure.
  • the figure shows the optical path of incident light in the pixel 201.
  • the pixel 201 is arranged at the right end of the pixel array section 10. Therefore, the incident light on the pixel 201 is obliquely incident from the upper left of the drawing. Therefore, a plurality of in-layer lenses 161 are arranged transitioning to the right side of the figure in the pixel 201, and the left in-layer lens 161 is horizontally long. Thereby, the oblique incident light can be condensed and dispersed in the central portion of the pixel 201.
  • the configuration of the image sensor 1 other than this is the same as the configuration of the image sensor 1 described in the first embodiment of the present disclosure, and thus the description thereof will be omitted.
  • the image sensor 1 includes the in-layer lens that is arranged asymmetrically with respect to the center of the pixel, so that the incident light that enters obliquely is incident on the central portion of the pixel. It is possible to collect the light on the surface and disperse it in the pixel.
  • the intralayer lens 160 is arranged in all the pixels 100 of the pixel array section 10.
  • the in-layer lens 160 is arranged in the pixel 100 in which the color filter 172 corresponding to the long-wavelength incident light is arranged, and therefore, the above-described first embodiment. This is different from the first embodiment.
  • FIG. 16 is a plan view showing a configuration example of a pixel according to the fifth embodiment of the present disclosure.
  • the pixel 100 shown in the figure is different from the pixel 100 described in FIG. 3 in that the in-layer lens 160 is arranged in the pixel 100 in which the color filter 172 corresponding to red light is arranged. Since red light has a long wavelength as described above, it reaches a deep portion of the semiconductor substrate 110. Therefore, the light reflected by the wiring layer 132 increases. On the other hand, green light or blue light having a short wavelength is condensed in a relatively shallow region of the semiconductor substrate 110. Therefore, the light reflected by the wiring layer 132 is relatively small.
  • the in-layer lens 160 is arranged in the pixel 100 in which the color filter 172 corresponding to red light is arranged, and the in-layer lens 160 of the pixel 100 in which the color filter 172 corresponding to green light and blue light is arranged is omitted. .. Thereby, the configuration of the image sensor 1 can be simplified.
  • FIG. 17 is a plan view showing another configuration example of the pixel according to the fifth embodiment of the present disclosure.
  • the figure is different from the pixel 100 described in FIG. 3 in that the pixel 100 further includes a pixel 100 in which a color filter 172 corresponding to infrared light is arranged.
  • the color filter 172 corresponding to the infrared light is the color filter 172 that transmits infrared light.
  • the pixel 100 with "IR" indicates the color filter 172 corresponding to infrared light.
  • the pixel 100 in which the color filter 172 corresponding to infrared light is arranged can be assigned to one of the pixels 100 in which the color filters 172 corresponding to two green light in the Bayer array are arranged. Even in the pixel 100 in which the color filter 172 corresponding to infrared light having a long wavelength is arranged, the in-layer lens 160 can be arranged to disperse the incident light.
  • the configuration of the image sensor 1 other than this is the same as the configuration of the image sensor 1 described in the first embodiment of the present disclosure, and thus the description thereof will be omitted.
  • the image pickup device 1 simplifies the configuration of the image pickup device 1 by disposing the intralayer lens 160 in the pixel according to the wavelength of the incident light. You can
  • the image sensor 1 of the above-described first embodiment only the pixels 100 are arranged in the pixel array section 10.
  • the image sensor 1 according to the sixth embodiment of the present disclosure is different from the above-described first embodiment in that phase difference pixels for detecting the image plane phase difference of the subject are further arranged. different.
  • FIG. 18 is a plan view showing a configuration example of a pixel array section according to the sixth embodiment of the present disclosure.
  • the pixel array unit 10 in the figure is different from the pixel array unit 10 described in FIG. 3 in that a phase difference pixel 300 is arranged in addition to the pixel 100.
  • the phase difference pixel 300 is a pixel for detecting the image plane phase difference of the subject.
  • the image pickup device 1 is used together with a photographing lens arranged outside, and an image of a subject is formed on the pixel array section 10 of the image pickup device 1 by the photographing lens. By detecting the phase difference of the imaged subject at this time, the focus position of the subject can be detected, and autofocus for adjusting the position of the photographing lens can be performed.
  • the arrangement of the light shielding film 150 is described.
  • the light shielding film 150 having the opening 152 is arranged instead of the opening 151.
  • the phase difference pixel 300 is arranged so that the light shielding film 150 covers the left half or the right half of the photoelectric conversion unit 101.
  • the phase difference pixels 300a and 300b the left half and the right half of the photoelectric conversion unit 101 are shielded from light by the light shielding film 150, respectively.
  • the incident light transmitted through the left side and the right side of the taking lens respectively reaches the photoelectric conversion unit 101, and respective image signals are generated.
  • Such processing is called pupil division.
  • phase difference pixels 300a and 300b are arranged in the pixel array section 10. Two images are generated based on the respective image signals generated by the plurality of phase difference pixels 300a and 300b. Next, the focus position of the photographing lens can be detected by detecting the phase difference between these two images.
  • phase difference pixels 300 the accuracy of pupil division can be improved by omitting the intralayer lens 160. This is because the incident light associated with pupil division is not dispersed by the intralayer lens 160. It is possible to reduce the error in detecting the phase difference.
  • the configuration of the image sensor 1 other than this is the same as the configuration of the image sensor 1 described in the first embodiment of the present disclosure, and thus the description thereof will be omitted.
  • the incident light in the pixel 100 is dispersed and an error in the phase difference detection by the phase difference pixel 300 is detected. Can be reduced.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the present technology may be realized as an image pickup device mounted on an image pickup apparatus such as a camera.
  • FIG. 19 is a block diagram showing a schematic configuration example of a camera which is an example of an imaging device to which the present technology can be applied.
  • the camera 1000 in the figure includes a lens 1001, an image sensor 1002, an image capture controller 1003, a lens driver 1004, an image processor 1005, an operation input unit 1006, a frame memory 1007, and a display unit 1008. And a recording unit 1009.
  • the lens 1001 is a taking lens of the camera 1000.
  • the lens 1001 collects light from a subject and makes it incident on an image sensor 1002 described later to form an image of the subject.
  • the image pickup element 1002 is a semiconductor element that picks up the light from the subject condensed by the lens 1001.
  • the image sensor 1002 generates an analog image signal according to the emitted light, converts it into a digital image signal, and outputs it.
  • the image capturing control unit 1003 controls image capturing by the image sensor 1002.
  • the imaging control unit 1003 controls the imaging element 1002 by generating a control signal and outputting the control signal to the imaging element 1002.
  • the imaging control unit 1003 can also perform autofocus in the camera 1000 based on the image signal output from the image sensor 1002.
  • the auto focus is a system that detects the focal position of the lens 1001 and automatically adjusts it.
  • a method (image plane phase difference autofocus) of detecting a focus position by detecting an image plane phase difference by a phase difference pixel arranged in the image sensor 1002 can be used. It is also possible to apply a method (contrast autofocus) of detecting the position where the contrast of the image is the highest as the focus position.
  • the imaging control unit 1003 adjusts the position of the lens 1001 via the lens driving unit 1004 based on the detected focal position, and performs autofocus.
  • the imaging control unit 1003 can be configured by, for example, a DSP (Digital Signal Processor) equipped with firmware.
  • DSP Digital Signal Processor
  • the lens driving unit 1004 drives the lens 1001 under the control of the imaging control unit 1003.
  • the lens driving unit 1004 can drive the lens 1001 by changing the position of the lens 1001 using a built-in motor.
  • the image processing unit 1005 processes the image signal generated by the image sensor 1002. This processing includes, for example, demosaic for generating image signals of insufficient colors among the image signals corresponding to red, green and blue for each pixel, noise reduction for removing noise of the image signals and encoding of the image signals. Applicable
  • the image processing unit 1005 can be configured by, for example, a microcomputer equipped with firmware.
  • the operation input unit 1006 receives an operation input from the user of the camera 1000.
  • this operation input unit 1006 for example, a push button or a touch panel can be used.
  • the operation input received by the operation input unit 1006 is transmitted to the imaging control unit 1003 and the image processing unit 1005. After that, processing according to the operation input, for example, processing such as imaging of a subject is started.
  • the frame memory 1007 is a memory that stores a frame that is an image signal for one screen.
  • the frame memory 1007 is controlled by the image processing unit 1005 and holds a frame in the process of image processing.
  • the display unit 1008 displays the image processed by the image processing unit 1005.
  • a liquid crystal panel can be used for the display unit 1008.
  • the recording unit 1009 records the image processed by the image processing unit 1005.
  • a memory card or a hard disk can be used.
  • the present technology can be applied to the image sensor 1002 among the configurations described above.
  • the image sensor 1 described with reference to FIG. 1 can be applied to the image sensor 1002.
  • the image processing unit 1005 is an example of the processing circuit described in the claims.
  • the camera 1000 is an example of the imaging device described in the claims.
  • the camera has been described as an example, but the technology according to the present disclosure may be applied to, for example, a monitoring device and the like.
  • FIG. 20 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technology according to the present disclosure (the present technology) can be applied.
  • FIG. 20 illustrates a situation in which an operator (doctor) 11131 is performing an operation on a patient 11132 on a patient bed 11133 using the endoscopic operation system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as a pneumoperitoneum tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 includes a lens barrel 11101 into which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid endoscope having the rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101. It is irradiated toward the observation target in the body cavity of the patient 11132 via the lens.
  • the endoscope 11100 may be a direct-viewing endoscope, or may be a perspective or side-viewing endoscope.
  • An optical system and an image pickup device are provided inside the camera head 11102, and reflected light (observation light) from an observation target is condensed on the image pickup device by the optical system.
  • the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to the camera control unit (CCU: 11201) as RAW data.
  • the CCU 11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and controls the operations of the endoscope 11100 and the display device 11202 in a centralized manner. Further, the CCU 11201 receives the image signal from the camera head 11102, and performs various image processing such as development processing (demosaic processing) on the image signal for displaying an image based on the image signal.
  • image processing such as development processing (demosaic processing)
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of a light source such as an LED (Light Emitting Diode), and supplies irradiation light to the endoscope 11100 when photographing an operation site or the like.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various kinds of information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment instrument control device 11205 controls driving of the energy treatment instrument 11112 for cauterization of tissue, incision, sealing of blood vessel, or the like.
  • the pneumoperitoneum device 11206 is used to inflate the body cavity of the patient 11132 through the pneumoperitoneum tube 11111 in order to inflate the body cavity of the patient 11132 for the purpose of securing the visual field by the endoscope 11100 and the working space of the operator.
  • the recorder 11207 is a device capable of recording various information regarding surgery.
  • the printer 11208 is a device capable of printing various types of information regarding surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies irradiation light to the endoscope 11100 when imaging a surgical site can be configured by, for example, an LED, a laser light source, or a white light source configured by a combination thereof.
  • a white light source is formed by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy, so that the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated on the observation target in a time division manner, and the drive of the image pickup device of the camera head 11102 is controlled in synchronization with the irradiation timing so as to correspond to each of the RGB. It is also possible to take the captured image in a time division manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of changing the intensity of the light to acquire an image in a time-division manner and combining the images, a high dynamic image without so-called blackout and blown-out highlights is obtained. An image of the range can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of the absorption of light in body tissues, by irradiating a narrow band of light as compared with the irradiation light (that is, white light) during normal observation, the mucosal surface layer
  • the so-called narrow band imaging is performed in which a predetermined tissue such as blood vessels is imaged with high contrast.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating the excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected.
  • the excitation light corresponding to the fluorescence wavelength of the reagent can be irradiated to obtain a fluorescence image.
  • the light source device 11203 can be configured to be capable of supplying narrowband light and/or excitation light compatible with such special light observation.
  • FIG. 21 is a block diagram showing an example of the functional configuration of the camera head 11102 and the CCU 11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are communicably connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at the connecting portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image pickup unit 11402 is composed of an image pickup element.
  • the number of image pickup elements forming the image pickup section 11402 may be one (so-called single-plate type) or plural (so-called multi-plate type).
  • image signals corresponding to R, G, and B may be generated by the respective image pickup elements, and these may be combined to obtain a color image.
  • the image capturing unit 11402 may be configured to have a pair of image capturing elements for respectively acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display.
  • the 3D display enables the operator 11131 to more accurately understand the depth of the living tissue in the operation site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the image pickup unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Accordingly, the magnification and focus of the image captured by the image capturing unit 11402 can be adjusted appropriately.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the driving of the camera head 11102 from the CCU 11201 and supplies it to the camera head control unit 11405.
  • the control signal includes, for example, information that specifies the frame rate of the captured image, information that specifies the exposure value at the time of capturing, and/or information that specifies the magnification and focus of the captured image. Contains information about the condition.
  • the image capturing conditions such as the frame rate, the exposure value, the magnification, and the focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are installed in the endoscope 11100.
  • AE Auto Exposure
  • AF Auto Focus
  • AWB Auto White Balance
  • the camera head control unit 11405 controls driving of the camera head 11102 based on a control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives the image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electric communication, optical communication, or the like.
  • the image processing unit 11412 performs various kinds of image processing on the image signal that is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls regarding imaging of a surgical site or the like by the endoscope 11100 and display of a captured image obtained by imaging the surgical site or the like. For example, the control unit 11413 generates a control signal for controlling the driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a captured image of the surgical site or the like based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques.
  • the control unit 11413 detects a surgical instrument such as forceps, a specific living body part, bleeding, and a mist when the energy treatment instrument 11112 is used by detecting the shape and color of the edge of the object included in the captured image. Can be recognized.
  • the control unit 11413 may use the recognition result to superimpose and display various types of surgery support information on the image of the operation unit. By displaying the surgery support information in a superimposed manner and presenting it to the operator 11131, the burden on the operator 11131 can be reduced and the operator 11131 can surely proceed with the surgery.
  • the transmission cable 11400 that connects the camera head 11102 and the CCU 11201 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable of these.
  • wired communication is performed using the transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the technology according to the present disclosure can be applied to the imaging unit 11402 among the configurations described above.
  • the image pickup device 1 of FIG. 1 can be applied to the image pickup unit 10402.
  • the technology according to the present disclosure can be applied to the image capturing unit 10402, so that the surgeon can surely confirm the surgical region.
  • the endoscopic surgery system has been described as an example, but the technology according to the present disclosure may be applied to, for example, a microscopic surgery system or the like.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 22 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
  • the body system control unit 12020 controls operations of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • radio waves or signals of various switches transmitted from a portable device that substitutes for a key can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle door lock device, the power window device, the lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected with, for example, a driver state detection unit 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether or not the driver is asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, thereby It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an onboard display and a head-up display, for example.
  • FIG. 23 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the image capturing unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the images in the front acquired by the image capturing units 12101 and 12105 are mainly used for detecting the preceding vehicle, pedestrians, obstacles, traffic lights, traffic signs, lanes, or the like.
  • FIG. 23 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). By determining, the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as the preceding vehicle. it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object to other three-dimensional objects such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified, extracted, and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104. To recognize such a pedestrian, for example, a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera, and a pattern matching process on a series of feature points indicating an outline of an object are performed to determine whether the pedestrian is a pedestrian. It is performed by the procedure of determining.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the image sensor 1 of FIG. 1 can be applied to the image capturing unit 12031.
  • drawings in the above-described embodiments are schematic, and the dimensional ratios of the respective parts and the like do not necessarily match the actual ones. Further, it is needless to say that the drawings may include portions having different dimensional relationships and ratios.
  • the present technology may have the following configurations.
  • An on-chip lens that collects incident light from a subject, A photoelectric conversion unit that performs photoelectric conversion of the collected incident light, A plurality of in-layer lenses disposed between the on-chip lens and the photoelectric conversion unit to further collect incident light transmitted through the on-chip lens,
  • the plurality of in-layer lenses is an image pickup device that causes the incident light transmitted through any one of its own in-layer lenses to enter the photoelectric conversion unit.
  • the image pickup device according to (1) wherein the plurality of intralayer lenses are arranged in substantially the same layer.
  • the image sensor according to any one of (1) to (3) further including a color filter that transmits light having a predetermined wavelength among incident light that has passed through the on-chip lens.
  • each of the plurality of intralayer lenses has a different shape.
  • An on-chip lens that collects incident light from a subject, A photoelectric conversion unit that performs photoelectric conversion of the collected incident light, A plurality of in-layer lenses arranged between the on-chip lens and the photoelectric conversion unit to further collect incident light transmitted through the on-chip lens; A processing circuit that processes an image signal based on photoelectric conversion in the photoelectric conversion unit, The imaging device which makes the said incident light which permeate
  • Image sensor 10 Pixel array part 30
  • Photoelectric conversion part 111 n-type semiconductor region 132
  • Wiring layer 150 Light-shielding film 160, 160a, 160b, 161, 161a, 161b, 162, 163 In a layer Lens 172
  • Color filter 180 On-chip lens 300, 300a, 300b Phase difference pixel 1000

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像素子の画質の低下を防止する。 撮像素子は、オンチップレンズと光電変換部と複数の層内レンズとを具備する。オンチップレンズは、被写体からの入射光を集光する。光電変換部は、その集光された入射光の光電変換を行う。複数の層内レンズは、そのオンチップレンズおよびその光電変換部の間に配置されてそのオンチップレンズを透過した入射光をさらに集光する。また、その複数の層内レンズは、自身の層内レンズの何れか1つを透過したその入射光をその光電変換部に入射させる。

Description

撮像素子および撮像装置
 本開示は、撮像素子および撮像装置に関する。詳しくは、オンチップレンズおよび層内レンズを備える撮像素子および当該撮像素子を備える撮像装置に関する。
 従来、入射光を画像信号に変換する画素が2次元格子状に配置された撮像素子において、裏面照射型の撮像素子が使用されている。この裏面照射型の撮像素子は、半導体基板の配線領域が形成された面(表面)とは異なる面である裏面側から半導体基板に入射光が照射される撮像素子である。表面側から入射光が照射される撮像素子と比較して、感度を向上させることができる。このような裏面照射型の撮像素子において、入射光が半導体基板において吸収されずに透過し、配線領域の配線層により反射される場合がある。特に、赤色光等の長波長の光は、半導体基板を透過しやすいため、配線層により反射される光量が増加する。この反射光が撮像素子の外部で反射されて他の画素に再度入射すると混色等を生じ画質が低下する。
 また、この反射光の光量が入射光の入射角度により変化すると画質がさらに低下する。他の画素に入射する反射光の光量が入射角度により変化し、画素の感度が変動するためである。この画質の低下を軽減するため、配線層の配線を画素の中心に対して対称な形状に構成する撮像素子が提案されている(例えば、特許文献1参照。)。この撮像素子においては、対称に構成された配線により、画素からの反射光の光量を入射角度に依らず一定にすることができる。
特開2016-201397号公報
 上述の従来技術では、配線層からの入射光の反射を軽減することができず、画質の低下を防止することができないという問題がある。
 本開示は、上述した問題点に鑑みてなされたものであり、画質の低下を防止することを目的としている。
 本開示は、上述の問題点を解消するためになされたものであり、その第1の態様は、被写体からの入射光を集光するオンチップレンズと、上記集光された入射光の光電変換を行う光電変換部と、上記オンチップレンズおよび上記光電変換部の間に配置されて上記オンチップレンズを透過した入射光をさらに集光する複数の層内レンズとを具備し、上記複数の層内レンズは、自身の層内レンズの何れか1つを透過した上記入射光を上記光電変換部に入射させる撮像素子である。
 また、この第1の態様において、上記複数の層内レンズは略同層に配置されてもよい。
 また、この第1の態様において、上記複数の層内レンズは、同時に形成されてもよい。
 また、この第1の態様において、上記オンチップレンズを透過した入射光のうち所定の波長の光を透過するカラーフィルタをさらに具備してもよい。
 また、この第1の態様において、上記カラーフィルタは、赤色光を透過してもよい。
 また、この第1の態様において、上記カラーフィルタは、赤外光を透過してもよい。
 また、この第1の態様において、上記複数の層内レンズは、自身の層内レンズのうちの1つが上記オンチップレンズの光軸上に配置されてもよい。
 また、この第1の態様において、上記複数の層内レンズは、それぞれ異なる形状に構成されてもよい。
 また、この第1の態様において、上記オンチップレンズ、上記光電変換部および上記複数の層内レンズを備える複数の画素を具備してもよい。
 また、この第1の態様において、上記複数の層内レンズは、上記画素の中心に対して非対称に配置されてもよい。
 また、この第1の態様において、上記オンチップレンズおよび上記光電変換部を備えて上記被写体からの入射光を瞳分割して位相差を検出するための位相差画素をさらに具備してもよい。
 また、本開示の第2の態様は、被写体からの入射光を集光するオンチップレンズと、上記集光された入射光の光電変換を行う光電変換部と、上記オンチップレンズおよび上記光電変換部の間に配置されて上記オンチップレンズを透過した入射光をさらに集光する複数の層内レンズと、上記光電変換部における光電変換に基づく画像信号を処理する処理回路とを具備し、上記複数の層内レンズは、自身の層内レンズの何れか1つを透過した上記入射光を上記光電変換部に入射させる撮像装置である。
 このような態様を採ることにより、オンチップレンズを透過した入射光が、複数の層内レンズにより個別に集光されるという作用をもたらす。入射光の光電変換部におけるそれぞれ異なる位置への集光が想定される。
本開示の実施の形態に係る撮像素子の構成例を示す図である。 本開示の実施の形態に係る画素の構成例を示す図である。 本開示の第1の実施の形態に係る画素の構成例を示す平面図である。 本開示の実施の形態に係る画素の構成例を示す断面図である。 従来の画素における入射光の光路を示す図である。 本開示の第1の実施の形態に係る画素における入射光の光路の一例を示す図である。 本開示の実施の形態に係る撮像素子の製造方法の一例を示す図である。 本開示の実施の形態に係る撮像素子の製造方法の一例を示す図である。 本開示の第2の実施の形態に係る画素の構成例を示す平面図である。 本開示の第3の実施の形態に係る画素の第1の構成例を示す平面図である。 本開示の第3の実施の形態に係る画素の第2の構成例を示す平面図である。 本開示の第3の実施の形態に係る画素の第3の構成例を示す平面図である。 本開示の第3の実施の形態に係る画素の第4の構成例を示す平面図である。 本開示の第4の実施の形態に係る画素の構成例を示す平面図である。 本開示の第4の実施の形態に係る画素における入射光の光路の一例を示す図である。 本開示の第5の実施の形態に係る画素の構成例を示す平面図である。 本開示の第5の実施の形態に係る画素の他の構成例を示す平面図である。 本開示の第6の実施の形態に係る画素アレイ部の構成例を示す平面図である。 本技術が適用され得る撮像装置の一例であるカメラの概略的な構成例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 次に、図面を参照して、本開示を実施するための形態(以下、実施の形態と称する)を説明する。以下の図面において、同一または類似の部分には同一または類似の符号を付している。また、以下の順序で実施の形態の説明を行う。
 1.第1の実施の形態
 2.第2の実施の形態
 3.第3の実施の形態
 4.第4の実施の形態
 5.第5の実施の形態
 6.第6の実施の形態
 7.カメラへの応用例
 8.内視鏡手術システムへの応用例
 9.移動体への応用例
 <1.第1の実施の形態>
 [撮像素子の構成]
 図1は、本開示の実施の形態に係る撮像素子の構成例を示す図である。同図の撮像素子1は、画素アレイ部10と、垂直駆動部20と、カラム信号処理部30と、制御部40とを備える。
 画素アレイ部10は、画素100が2次元格子状に配置されて構成されたものである。ここで、画素100は、照射された光に応じた画像信号を生成するものである。この画素100は、照射された光に応じた電荷を生成する光電変換部を有する。また画素100は、画素回路をさらに有する。この画素回路は、光電変換部により生成された電荷に基づく画像信号を生成する。画像信号の生成は、後述する垂直駆動部20により生成された制御信号により制御される。画素アレイ部10には、信号線11および12がXYマトリクス状に配置される。信号線11は、画素100における画素回路の制御信号を伝達する信号線であり、画素アレイ部10の行毎に配置され、各行に配置される画素100に対して共通に配線される。信号線12は、画素100の画素回路により生成された画像信号を伝達する信号線であり、画素アレイ部10の列毎に配置され、各列に配置される画素100に対して共通に配線される。これら光電変換部および画素回路は、半導体基板に形成される。
 垂直駆動部20は、画素100の画素回路の制御信号を生成するものである。この垂直駆動部20は、生成した制御信号を同図の信号線11を介して画素100に伝達する。カラム信号処理部30は、画素100により生成された画像信号を処理するものである。このカラム信号処理部30は、同図の信号線12を介して画素100から伝達された画像信号の処理を行う。カラム信号処理部30における処理には、例えば、画素100において生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換が該当する。カラム信号処理部30により処理された画像信号は、撮像素子1の画像信号として出力される。制御部40は、撮像素子1の全体を制御するものである。この制御部40は、垂直駆動部20およびカラム信号処理部30を制御する制御信号を生成して出力することにより、撮像素子1の制御を行う。制御部40により生成された制御信号は、信号線41および42により垂直駆動部20およびカラム信号処理部30に対してそれぞれ伝達される。なお、カラム信号処理部30は、請求の範囲に記載の処理回路の一例である。
 [画素の回路構成]
 図2は、本開示の実施の形態に係る画素の構成例を示す図である。同図は、画素100の構成例を表す回路図である。同図の画素100は、光電変換部101と、電荷保持部102と、MOSトランジスタ103乃至106とを備える。
 光電変換部101のアノードは接地され、カソードはMOSトランジスタ103のソースに接続される。MOSトランジスタ103のドレインは、MOSトランジスタ104のソース、MOSトランジスタ105のゲートおよび電荷保持部102の一端に接続される。電荷保持部102の他の一端は、接地される。MOSトランジスタ104および105のドレインは電源線Vddに共通に接続され、MOSトランジスタ105のソースはMOSトランジスタ106のドレインに接続される。MOSトランジスタ106のソースは、信号線12に接続される。MOSトランジスタ103、104および106のゲートは、それぞれ転送信号線TR、リセット信号線RSTおよび選択信号線SELに接続される。なお、転送信号線TR、リセット信号線RSTおよび選択信号線SELは、信号線11を構成する。
 光電変換部101は、前述のように照射された光に応じた電荷を生成するものである。この光電変換部101には、フォトダイオードを使用することができる。また、電荷保持部102およびMOSトランジスタ103乃至106は、画素回路を構成する。
 MOSトランジスタ103は、光電変換部101の光電変換により生成された電荷を電荷保持部102に転送するトランジスタである。MOSトランジスタ103における電荷の転送は、転送信号線TRにより伝達される信号により制御される。電荷保持部102は、MOSトランジスタ103により転送された電荷を保持するキャパシタである。MOSトランジスタ105は、電荷保持部102に保持された電荷に基づく信号を生成するトランジスタである。MOSトランジスタ106は、MOSトランジスタ105により生成された信号を画像信号として信号線12に出力するトランジスタである。このMOSトランジスタ106は、選択信号線SELにより伝達される信号により制御される。
 MOSトランジスタ104は、電荷保持部102に保持された電荷を電源線Vddに排出することにより電荷保持部102をリセットするトランジスタである。このMOSトランジスタ104によるリセットは、リセット信号線RSTにより伝達される信号により制御され、MOSトランジスタ103による電荷の転送の前に実行される。なお、このリセットの際、MOSトランジスタ103を導通させることにより、光電変換部101のリセットも行うことができる。このように、画素回路は、光電変換部101により生成された電荷を画像信号に変換する。
  [画素の構成]
 図3は、本開示の第1の実施の形態に係る画素の構成例を示す平面図である。同図は、画素アレイ部10に配置された画素100の構成例を表す図である。同図において実線の矩形は画素100を表し、点線の矩形は光電変換部101を構成するn型半導体領域111を表し、2点鎖線の円はオンチップレンズ180を表し、実線の円は層内レンズ160を表す。
 オンチップレンズ180は、画素100の最外層に配置され、被写体からの入射光を光電変換部101に集光するレンズである。
 層内レンズ160は、オンチップレンズ180および光電変換部101の間に配置され、オンチップレンズ180により集光された入射光をさらに集光するレンズである。この層内レンズ160は、画素100毎に複数配置される。同図の画素100は、9個の層内レンズ160が格子状に配置される例を表したものである。なお、配置された複数の層内レンズ160には、隙間169が形成される。この隙間169を通過する入射光は、層内レンズ160を透過することなく光電変換部101に照射される。画素100の構成の詳細については後述する。
 なお、画素100には、カラーフィルタ172(不図示)が配置される。このカラーフィルタ172は、入射光のうち所定の波長の光を透過する光学的なフィルタである。カラーフィルタ172として、例えば、赤色光、緑色光および青色光を透過するカラーフィルタを各画素100に配置することができる。同図の文字は、画素100に配置されるカラーフィルタ172の種類を表す。具体的には、「R」、「G」および「B」はそれぞれ赤色光、緑色光および青色光に対応するカラーフィルタ172が配置されることを表す。これらのカラーフィルタ172は、例えば、ベイヤー配列に配置することができる。ここで、ベイヤー配列とは、緑色光に対応するカラーフィルタ172を市松形状に配置し、赤色光および青色光に対応するカラーフィルタ172を緑色光に対応するカラーフィルタ172の間に配置する配列方法である。同図に表した2行2列の4つの画素100が縦横に連続して配置されて、画素アレイ部10が構成される。
 [画素の断面の構成]
 図4は、本開示の実施の形態に係る画素の構成例を示す断面図である。同図は、画素アレイ部10に配置された画素100の構成例を表す断面図である。また、同図は、図3におけるA-A’線に沿った撮像素子1(画素アレイ部10)の断面図である。同図の画素100は、半導体基板110と、配線領域130と、支持基板140と、絶縁膜120と、遮光膜150と、層内レンズ160と、平坦化膜171と、カラーフィルタ172と、オンチップレンズ180とを備える。
 半導体基板110は、図2において説明した画素回路を構成する素子の半導体領域が形成される半導体の基板である。同図においては、これらの素子のうち光電変換部101およびMOSトランジスタ103を記載した。同図の半導体基板110は、ウェル領域を構成するp型半導体領域112およびp型半導体領域112の内部に形成されるn型半導体領域111を備える。このn型半導体領域111により、光電変換部101が構成される。具体的には、n型半導体領域111とn型半導体領域111の周囲のp型半導体領域112とによるpn接合部がフォトダイオードとして動作する。このpn接合部に入射光が照射されると、光電変換により電荷が生成され、n型半導体領域111に蓄積される。
 前述のように、n型半導体領域111に蓄積された電荷は、MOSトランジスタ103により転送される。同図のMOSトランジスタ103は、n型半導体領域111をソース領域とし、p型半導体領域112をチャネル領域とするMOSトランジスタである。このMOSトランジスタ103は、ゲート電極133を備える。半導体基板110は、例えば、シリコン(Si)により構成することができる。また、半導体基板110には、図1において説明した垂直駆動部20等を配置することもできる。
 配線領域130は、半導体基板110の表面に形成されて半導体基板110に形成された半導体素子を電気的に接合する配線が形成される領域である。配線領域130には、配線層132および絶縁層131が配置される。配線層132は上述の配線を構成するものである。この配線層132は、例えば、銅(Cu)やタングステン(W)により形成することができる。絶縁層131は、配線層132を絶縁するものである。この絶縁層131は、例えば、酸化シリコン(SiO)や窒化シリコン(SiN)により構成することができる。また、配線領域130には、上述のゲート電極133がさらに配置される。
 支持基板140は、撮像素子1を支持する基板である。この支持基板140は、半導体ウェハ等により構成され、主に撮像素子1の製造の際に撮像素子1の強度を向上させる基板である。
 絶縁膜120は、半導体基板110の裏面側を絶縁し、保護する膜である。この絶縁膜120は、例えばSiO等の酸化物により構成することができる。
 遮光膜150は、画素100同士の境界近傍に配置され、隣接する画素100から斜めに入射する入射光を遮光する膜である。図3において説明したように隣接する画素100には、異なる光に対応するカラーフィルタ172が配置される。この隣接する画素100の異なる種類のカラーフィルタ172を透過した入射光が光電変換部101に照射されると混色を生じ、画質が低下する。遮光膜150を配置して隣接する画素100からの入射光を遮光することにより、この混色を防ぐことができる。遮光膜150には、画素100の中央部に開口部151が配置される。この開口部151を介して入射光が光電変換部101に照射される。遮光膜150には、例えば、Wにより構成された膜を使用することができる。
 層内レンズ160は、画素100の内層に形成されて入射光を集光するレンズである。同図の半球形状の凸部が1つの層内レンズ160に相当する。前述のように、層内レンズ160は、画素100に複数配置される。これらの層内レンズ160は、画素100における入射光の光路に対して並列に配置される。具体的には、複数の層内レンズ160は、それらのうちの1つの層内レンズ160を透過した入射光が光電変換部101に到達する構成に配置される。入射光が複数の層内レンズ160を透過することなく光電変換部101に到達する。同図においては、複数の層内レンズ160は略同層に配置される。このように層内レンズ160を同層に配置する場合には、これらの層内レンズ160を同時に形成することもできる。なお、複数の層内レンズ160のうちの1つの層内レンズ160を透過した入射光が光電変換部101に到達する構成であれば、複数の層内レンズ160を異なる層に形成することもできる。
 層内レンズ160は、高屈折率の無機物や樹脂により構成することができる。例えば、SiNや酸窒化シリコン(SiON)により層内レンズ160を構成することができる。また、それぞれの層内レンズ160は、例えば、直径が0.8μm乃至1.0μmの大きさに構成することができる。同図の層内レンズ160は、下層部が共通の膜により形成される例を表したものである。層内レンズ160の下層部は、遮光膜150が形成された撮像素子1の裏面の平坦化を行う。
 平坦化膜171は、層内レンズ160が形成された撮像素子1の裏面を平坦化するものである。この平坦化膜171は、例えば、樹脂により構成することができる。平坦化膜171の上層にカラーフィルタ172およびオンチップレンズ180が積層される。
 同図の撮像素子1は、半導体基板110の裏面側から入射光が照射される裏面照射型の撮像素子に該当する。同図の実線の矢印は、裏面から照射される入射光を表したものである。このようにオンチップレンズ180および層内レンズ160を透過した入射光が半導体基板110のn型半導体領域111に到達し、光電変換が行われる。しかし、半導体基板110に入射した光の一部は光電変換に寄与せずに半導体基板110を透過し、配線領域130に到達する。同図の破線の矢印は、入射光が半導体基板110を透過する様子を表したものである。この透過光が配線層132により反射されて画素100の外部に放出されると、迷光となる。この迷光が撮像素子1の外部の筐体等により反射されて他の画素100に再度入射して光電変換されると画像信号にノイズを生じることとなり、画質が低下する。そこで、同図の画素100においては、複数の層内レンズ160を配置することにより、配線層132からの反射光を低減する。
 [入射光の光路]
 図5は、従来の技術に係る画素における入射光の光路を示す図である。同図は、比較例として、1つの層内レンズ160が配置された画素における入射光の光路を表した図であり、オンチップレンズ180、層内レンズ160、n型半導体領域111および配線層132の概略を表した図である。同図の実線の矢印は、赤色光等の比較的波長が長い入射光を表し、点線の矢印は青色光等の比較的波長が短い入射光を表す。これらの入射光は、オンチップレンズ180および層内レンズ160により集光されて光電変換部101(n型半導体領域111)に到達する。2つのレンズにより集光されるため焦点距離が短縮され、撮像素子1を低背化することができる。しかし、入射光がn型半導体領域111において吸収されない場合、すなわち光電変換されない場合には、n型半導体領域111を透過して配線領域130の配線層132に到達して反射される。
 比較的波長が短い入射光は、n型半導体領域111の浅い位置に焦点が形成される。n型半導体領域111において吸収されない場合には、拡散して配線領域130の配線層132に到達する。これに対し、比較的波長が長い入射光は、n型半導体領域111の深い位置に焦点が形成される。このため、比較的波長が長い入射光がn型半導体領域111において吸収されない場合には、破線の矢印により表したように比較的狭い範囲に集中したまま配線層132に到達して反射される。このため、波長が長い入射光ほど強い反射を生じることとなる。
 図6は、本開示の第1の実施の形態に係る画素における入射光の光路の一例を示す図である。同図のオンチップレンズ180を透過した入射光は、複数(同図においては3つ)の層内レンズ160a、160bおよび160cによりそれぞれ集光されてn型半導体領域111に照射される。また、2つの層内レンズ160が接する領域に照射された入射光は、これら2つの層内レンズ160の間において反射を繰り返した後にn型半導体領域111に照射される。このように、入射光は、層内レンズ160により分散されてn型半導体領域111に照射される。入射光がn型半導体領域111において吸収されない場合には、広く分散した状態において配線層132に到達することとなり、反射光を減少させることができる。また、入射光が分散するため、配線層132のレイアウトの自由度を向上させることができる。例えば、光電変換部101の中央部の直下に配線層132を配置することもできる。
 また、同図の層内レンズ160bのように、複数の層内レンズ160のうちの1つが画素100の中央部に配置される構成にすると好適である。具体的には、オンチップレンズ180の光軸上に複数の層内レンズ160のうちの1つを配置する。オンチップレンズ180を透過した入射光は画素100の中央部に集められるため、オンチップレンズ180を透過した多くの入射光を層内レンズ160に透過させることができる。オンチップレンズ180の光軸上に隙間169が配置される場合と比較して、入射光をより分散させることができる。
 [撮像素子の製造方法]
 図7および8は、本開示の実施の形態に係る撮像素子の製造方法の一例を示す図である。同図は、撮像素子1の製造工程の一例を表した図である。同図においては、画素100の構成を簡略化して記載した。
 まず、p型半導体領域112およびn型半導体領域111を形成した半導体基板110に配線領域130を形成する。次に、支持基板140を接着し、半導体基板110の天地を反転させて半導体基板110の裏面を研削して薄肉化する。次に、半導体基板110の裏面に絶縁膜120および遮光膜150を配置する(図7におけるA)。
 次に、半導体基板110の裏面に層内レンズ160の材料であるレンズ材401を配置する。これは、例えば、SiN等のレンズ材をCVD(Chemical Vapor Deposition)等を用いて成膜することにより形成することができる(図7におけるB)。
 次に、レンズ材401の上にレジスト402を積層する。例えば、このレジスト402には、フォトレジストを採用し、レンズ材401の上に塗布することにより形成することができる(図7におけるC)。
 次に、層内レンズ160と同様の形状のレジスト403を形成する。これは、例えば、リソグラフィ技術により円筒または立方体形状にレジスト402をパターニングする。その後、リフロー炉等を使用してパターニングしたレジスト402を溶解させることにより形成することができる(図8におけるD)。
 次に、レジスト403をマスクとしてドライエッチングを行う。これにより、レジスト403の形状がレンズ材401に転写され、半球形状の層内レンズ160が形成される(図8におけるE)。なお、図7および8は、複数の層内レンズ160を同時に形成する場合の例を表したものである。
 以上説明したように、本開示の第1の実施の形態の撮像素子1は、複数の層内レンズ160を配置することにより、オンチップレンズ180を透過した入射光を分散させて光電変換部101に照射させる。これにより、配線層132からの反射光を低減し、画質の低下を防止することができる。
 <2.第2の実施の形態>
 上述の第1の実施の形態の撮像素子1は、9個の層内レンズ160が配置されていた。これに対し、本開示の第2の実施の形態の撮像素子1は、異なる個数の層内レンズ160が配置される点で、上述の第1の実施の形態と異なる。
 [画素の構成]
 図9は、本開示の第2の実施の形態に係る画素の構成例を示す平面図である。同図は、図3と同様に、画素100の構成例を表す図である。以下、図3と同一の構成要素については、符号の記載を省略する。
 同図におけるAは、4つの層内レンズ160が配置される例を表したものである。また、同図におけるBは、16個の層内レンズ160が配置される例を表したものである。このように、2つ以上の任意の個数の層内レンズ160を画素100に配置することができる。より多くの層内レンズ160を配置することにより、層内レンズ160の間の隙間169を小さくすることができ、より多くの入射光を分散させることができる。撮像素子1の製造プロセスにおける層内レンズ160の加工精度に応じた個数の層内レンズ160を配置することができる。
 また、同図におけるCは、比較的小径の9個の層内レンズ160を画素100の中央部近傍に配置した場合の例を表したものである。この場合においても、隙間169を小さくすることができる。
 これ以外の撮像素子1の構成は本開示の第1の実施の形態において説明した撮像素子1の構成と同様であるため、説明を省略する。
 以上説明したように、本開示の第2の実施の形態の撮像素子1は、2以上の任意の層内レンズ160を加工精度に応じて配置することができる。
 <3.第3の実施の形態>
 上述の第1の実施の形態の撮像素子1は、平面視において円形状の層内レンズ160を配置していた。これに対し、本開示の第3の実施の形態の撮像素子1は、異なる形状の層内レンズを配置する点で、上述の第1の実施の形態と異なる。
 [画素の構成1]
 図10は、本開示の第3の実施の形態に係る画素の第1の構成例を示す平面図である。同図は、図3と同様に画素100の構成例を表す図である。円形状の以外の形状の層内レンズが配置される点で、図3において説明した画素100と異なる。同図におけるAは、層内レンズ160のほかに平面視において楕円形状の層内レンズ161が配置される例を表したものである。また、同図におけるBは、層内レンズ160および161の他の配置例を表したものである。このようにそれぞれ異なる形状の層内レンズ160および161を画素100に配置することができる。
 [画素の構成2]
 図11は、本開示の第3の実施の形態に係る画素の第2の構成例を示す平面図である。同図は、層内レンズ161または、層内レンズ160および161を配置するとともに大きさを最適化して隙間169が小さくなるように配置した例を表したものである。同図におけるAは、2つの層内レンズ161が配置される例を表したものである。また、同図におけるBおよびCは、層内レンズ160および161が配置される例を表したものである。同図の何れの配置においても、図10の層内レンズ160および161の配置より隙間169を狭くすることができる。
 [画素の構成3]
 図12は、本開示の第3の実施の形態に係る画素の第3の構成例を示す平面図である。同図は、平面視において矩形形状の層内レンズ162を配置する例を表したものである。また、同図におけるBは、平面視において正方形および長方形の形状の層内レンズ162を組み合わせて配置した場合の例を表したものである。このように、矩形形状の層内レンズ162を配置することにより、円形状の層内レンズ160を配置する場合と比較して、隙間169を狭くすることができる。
 [画素の構成4]
 図13は、本開示の第3の実施の形態に係る画素の第4の構成例を示す平面図である。同図におけるAは層内レンズ163および層内レンズ160が配置される例を表したものであり、同図におけるBは層内レンズの断面の形状を表す図である。層内レンズ163は、平面視において中央部に開口部を有する層内レンズであり、円環体を厚さ方向に2分した形状の層内レンズである。同図の層内レンズ160は、層内レンズ163の開口部に配置される。このように、層内レンズ160および163を組み合わせて配置することにより、隙間169をより小さくすることができる。
 これ以外の撮像素子1の構成は本開示の第1の実施の形態において説明した撮像素子1の構成と同様であるため、説明を省略する。
 以上説明したように、本開示の第3の実施の形態の撮像素子1は、異なる形状の層内レンズ160乃至163を配置することにより、隙間169を小さくすることができ、より多くの入射光を分散させることができる。
 <4.第4の実施の形態>
 上述の第1の実施の形態の撮像素子1は、画素100の中心に対して対称に配置された層内レンズ160を使用していた。これに対し、本開示の第4の実施の形態の撮像素子1は、画素100の中心に対して非対称な配置の層内レンズを使用する点で、上述の第1の実施の形態と異なる。
 [画素の構成]
 図14は、本開示の第4の実施の形態に係る画素の構成例を示す平面図である。同図は、図3と同様に画素100の構成例を表す図である。同図の画素は、層内レンズの配置が画素の中心に対して非対称に配置される点で、図3において説明した画素100と異なる。同図の画素(画素201および202)は、大きさが異なる層内レンズ161を4つ配置した例を表したものである。具体的には、同図の画素は、比較的大きな層内レンズ161aと比較的小さな層内レンズ161bとを2つずつ配置する。これにより、層内レンズ161が画素100の中心に対して非対称の形状に配置され、入射光の分散を非対称にすることができる。同図におけるAの画素201および同図におけるBの画素202は層内レンズ161aおよび161bの配置を互いに180度変更して構成したものである。これらの画素201および202を図1において説明した画素アレイ部10の端部に配置する。具体的には、同図におけるAの画素201を画素アレイ部10の右端に配置し、同図におけるBの画素202を画素アレイ部10の左端に配置する。画素アレイ部10の端部の画素には、被写体の像高に応じて入射光が斜に照射される。そこで、層内レンズ161を非対称に配置することにより像高の影響を軽減することができる。
 [入射光の光路]
 図15は、本開示の第4の実施の形態に係る画素における入射光の光路の一例を示す図である。同図は、画素201における入射光の光路を表した図である。前述のように画素201は、画素アレイ部10の右端に配置される。このため、画素201への入射光は、図面左上から斜めに入射する。そこで、複数の層内レンズ161を画素201における同図の右側に遷移して配置するとともに左側の層内レンズ161を横長に構成する。これにより、斜の入射光を画素201の中央部に集光するとともに分散させることができる。
 これ以外の撮像素子1の構成は本開示の第1の実施の形態において説明した撮像素子1の構成と同様であるため、説明を省略する。
 以上説明したように、本開示の第4の実施の形態の撮像素子1は、画素の中心に対して非対称な配置の層内レンズを備えることにより、斜めに入射する入射光を画素の中央部に集光するとともに画素内において分散させることができる。
 <5.第5の実施の形態> 上述の第1の実施の形態の撮像素子1は、画素アレイ部10の全ての画素100に層内レンズ160を配置していた。これに対し、本開示の第5の実施の形態の撮像素子1は、長波長の入射光に対応するカラーフィルタ172が配置される画素100に層内レンズ160を配置する点で、上述の第1の実施の形態と異なる。
 [画素の構成]
 図16は、本開示の第5の実施の形態に係る画素の構成例を示す平面図である。同図の画素100は、赤色光に対応するカラーフィルタ172が配置される画素100に層内レンズ160が配置される点で、図3において説明した画素100と異なる。前述のように赤色光は波長が長いため、半導体基板110の深部に到達する。このため、配線層132による反射光が増加する。一方、波長が短い緑色光や青色光は、半導体基板110の比較的浅い領域に集光される。このため、配線層132による反射光は比較的少なくなる。そこで、赤色光に対応するカラーフィルタ172が配置される画素100に層内レンズ160を配置し、緑色光および青色光に対応するカラーフィルタ172が配置される画素100の層内レンズ160を省略する。これにより、撮像素子1の構成を簡略化することができる。
 [画素の他の構成]
 図17は、本開示の第5の実施の形態に係る画素の他の構成例を示す平面図である。同図は、赤外光に対応するカラーフィルタ172が配置される画素100をさらに備える点で、図3において説明した画素100と異なる。この赤外光に対応するカラーフィルタ172とは、赤外光を透過するカラーフィルタ172である。同図においては、「IR」が付された画素100が赤外光に対応するカラーフィルタ172を表す。赤外光に対応するカラーフィルタ172が配置される画素100は、ベイヤー配列における2つの緑色光に対応するカラーフィルタ172が配置される画素100のうちの1つに割り当てることができる。波長が長い赤外光に対応するカラーフィルタ172が配置される画素100においても層内レンズ160を配置し、入射光を分散させることができる。
 これ以外の撮像素子1の構成は本開示の第1の実施の形態において説明した撮像素子1の構成と同様であるため、説明を省略する。
 以上説明したように、本開示の第5の実施の形態の撮像素子1は、入射光の波長に応じて画素に層内レンズ160を配置することにより、撮像素子1の構成を簡略化することができる。
 <6.第6の実施の形態>
 上述の第1の実施の形態の撮像素子1は、画素100のみが画素アレイ部10に配置されていた。これに対し、本開示の第6の実施の形態の撮像素子1は、被写体の像面位相差を検出するための位相差画素がさらに配置される点で、上述の第1の実施の形態と異なる。
 [画素アレイ部の構成]
 図18は、本開示の第6の実施の形態に係る画素アレイ部の構成例を示す平面図である。同図の画素アレイ部10は、画素100のほかに位相差画素300が配置される点で、図3において説明した画素アレイ部10と異なる。ここで位相差画素300とは、被写体の像面位相差を検出するための画素である。撮像素子1は、外部に配置された撮影レンズとともに使用され、この撮影レンズにより被写体が撮像素子1の画素アレイ部10に結像される。この際の結像された被写体の位相差を検出することにより、被写体の焦点位置を検出することができ、撮影レンズの位置を調整するオートフォーカスを行うことが可能となる。 
 同図には、遮光膜150の配置を記載した。同図に表したように、位相差画素300には、開口部151の代わりに開口部152を有する遮光膜150が配置される。これにより、位相差画素300は、遮光膜150が光電変換部101の左半分または右半分を覆うように配置される。同図においては、位相差画素300aおよび300bにおいて、遮光膜150により光電変換部101の左半分および右半分がそれぞれ遮光される。これにより、これらの位相差画素300aおよび300bにおいてそれぞれ撮影レンズの左側および右側を透過した入射光が光電変換部101に到達し、それぞれの画像信号が生成される。このような処理は、瞳分割と称される。このような位相差画素300aおよび300bが画素アレイ部10に複数配置される。これら複数の位相差画素300aおよび300bにより生成されたそれぞれの画像信号に基づいて2つの画像を生成する。次に、これら2つの画像の位相差を検出することにより、撮影レンズの焦点位置を検出することができる。
 これらの位相差画素300においては、層内レンズ160を省略することにより、瞳分割の精度を向上させることができる。層内レンズ160により瞳分割に係る入射光が分散されないためである。位相差の検出の誤差を軽減することができる。
 これ以外の撮像素子1の構成は本開示の第1の実施の形態において説明した撮像素子1の構成と同様であるため、説明を省略する。
 以上説明したように、本開示の第6の実施の形態の撮像素子1は、像面位相差を検出する場合において、画素100における入射光分散させるとともに位相差画素300による位相差検出の誤差を軽減することができる。
 <7.カメラへの応用例>
 本開示に係る技術(本技術)は、様々な製品に応用することができる。例えば、本技術は、カメラ等の撮像装置に搭載される撮像素子として実現されてもよい。
 図19は、本技術が適用され得る撮像装置の一例であるカメラの概略的な構成例を示すブロック図である。同図のカメラ1000は、レンズ1001と、撮像素子1002と、撮像制御部1003と、レンズ駆動部1004と、画像処理部1005と、操作入力部1006と、フレームメモリ1007と、表示部1008と、記録部1009とを備える。
 レンズ1001は、カメラ1000の撮影レンズである。このレンズ1001は、被写体からの光を集光し、後述する撮像素子1002に入射させて被写体を結像させる。
 撮像素子1002は、レンズ1001により集光された被写体からの光を撮像する半導体素子である。この撮像素子1002は、照射された光に応じたアナログの画像信号を生成し、デジタルの画像信号に変換して出力する。
 撮像制御部1003は、撮像素子1002における撮像を制御するものである。この撮像制御部1003は、制御信号を生成して撮像素子1002に対して出力することにより、撮像素子1002の制御を行う。また、撮像制御部1003は、撮像素子1002から出力された画像信号に基づいてカメラ1000におけるオートフォーカスを行うことができる。ここでオートフォーカスとは、レンズ1001の焦点位置を検出して、自動的に調整するシステムである。このオートフォーカスとして、撮像素子1002に配置された位相差画素により像面位相差を検出して焦点位置を検出する方式(像面位相差オートフォーカス)を使用することができる。また、画像のコントラストが最も高くなる位置を焦点位置として検出する方式(コントラストオートフォーカス)を適用することもできる。撮像制御部1003は、検出した焦点位置に基づいてレンズ駆動部1004を介してレンズ1001の位置を調整し、オートフォーカスを行う。なお、撮像制御部1003は、例えば、ファームウェアを搭載したDSP(Digital Signal Processor)により構成することができる。
 レンズ駆動部1004は、撮像制御部1003の制御に基づいて、レンズ1001を駆動するものである。このレンズ駆動部1004は、内蔵するモータを使用してレンズ1001の位置を変更することによりレンズ1001を駆動することができる。
 画像処理部1005は、撮像素子1002により生成された画像信号を処理するものである。この処理には、例えば、画素毎の赤色、緑色および青色に対応する画像信号のうち不足する色の画像信号を生成するデモザイク、画像信号のノイズを除去するノイズリダクションおよび画像信号の符号化等が該当する。画像処理部1005は、例えば、ファームウェアを搭載したマイコンにより構成することができる。
 操作入力部1006は、カメラ1000の使用者からの操作入力を受け付けるものである。この操作入力部1006には、例えば、押しボタンやタッチパネルを使用することができる。操作入力部1006により受け付けられた操作入力は、撮像制御部1003や画像処理部1005に伝達される。その後、操作入力に応じた処理、例えば、被写体の撮像等の処理が起動される。
 フレームメモリ1007は、1画面分の画像信号であるフレームを記憶するメモリである。このフレームメモリ1007は、画像処理部1005により制御され、画像処理の過程におけるフレームの保持を行う。
 表示部1008は、画像処理部1005により処理された画像を表示するものである。この表示部1008には、例えば、液晶パネルを使用することができる。
 記録部1009は、画像処理部1005により処理された画像を記録するものである。この記録部1009には、例えば、メモリカードやハードディスクを使用することができる。
 以上、本開示が適用され得るカメラについて説明した。本技術は以上において説明した構成のうち、撮像素子1002に適用され得る。具体的には、図1において説明した撮像素子1は、撮像素子1002に適用することができる。撮像素子1002に撮像素子1を適用することにより混色の発生が軽減され、カメラ1000により生成される画像の画質の低下を防止することができる。なお、画像処理部1005は、請求の範囲に記載の処理回路の一例である。カメラ1000は、請求の範囲に記載の撮像装置の一例である。
 なお、ここでは、一例としてカメラについて説明したが、本開示に係る技術は、その他、例えば監視装置等に適用されてもよい。
 <8.内視鏡手術システムへの応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
 図20は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図20では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
 内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
 CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
 表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
 光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
 入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
 処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 図21は、図20に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
 カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
 レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
 撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
 また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
 駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
 また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
 カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
 通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
 また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
 画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
 制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
 また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
 カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
 以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部11402に適用され得る。具体的には、図1の撮像素子1は、撮像部10402に適用することができる。撮像部10402に本開示に係る技術を適用することにより、高画質の術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
 なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
 <9.移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図22は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図22に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図22の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図23は、撮像部12031の設置位置の例を示す図である。
 図23では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図23には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031等に適用され得る。具体的には、図1の撮像素子1は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、高画質の撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
 最後に、上述した各実施の形態の説明は本開示の一例であり、本開示は上述の実施の形態に限定されることはない。このため、上述した各実施の形態以外であっても、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
 また、上述の実施の形態における図面は、模式的なものであり、各部の寸法の比率等は現実のものとは必ずしも一致しない。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれることは勿論である。
 なお、本技術は以下のような構成もとることができる。
(1)被写体からの入射光を集光するオンチップレンズと、
 前記集光された入射光の光電変換を行う光電変換部と、
 前記オンチップレンズおよび前記光電変換部の間に配置されて前記オンチップレンズを透過した入射光をさらに集光する複数の層内レンズと
を具備し、
 前記複数の層内レンズは、自身の層内レンズの何れか1つを透過した前記入射光を前記光電変換部に入射させる
撮像素子。
(2)前記複数の層内レンズは略同層に配置される前記(1)に記載の撮像素子。
(3)前記複数の層内レンズは、同時に形成される前記(2)に記載の撮像素子。
(4)前記オンチップレンズを透過した入射光のうち所定の波長の光を透過するカラーフィルタをさらに具備する前記(1)から(3)の何れかに記載の撮像素子。
(5)前記カラーフィルタは、赤色光を透過する前記(4)に記載の撮像素子。
(6)前記カラーフィルタは、赤外光を透過する前記(4)に記載の撮像素子。
(7)前記複数の層内レンズは、自身の層内レンズのうちの1つが前記オンチップレンズの光軸上に配置される前記(1)から(6)の何れかに記載の撮像素子。
(8)前記複数の層内レンズは、それぞれ異なる形状に構成される前記(1)から(7)の何れかに記載の撮像素子。
(9)前記オンチップレンズ、前記光電変換部および前記複数の層内レンズを備える複数の画素を具備する前記(1)から(8)の何れかに記載の撮像素子。
(10)前記複数の層内レンズは、前記画素の中心に対して非対称に配置される前記(9)に記載の撮像素子。
(11)前記オンチップレンズおよび前記光電変換部を備えて前記被写体からの入射光を瞳分割して位相差を検出するための位相差画素をさらに具備する前記(9)に記載の撮像素子。
(12)被写体からの入射光を集光するオンチップレンズと、
 前記集光された入射光の光電変換を行う光電変換部と、
 前記オンチップレンズおよび前記光電変換部の間に配置されて前記オンチップレンズを透過した入射光をさらに集光する複数の層内レンズと、
 前記光電変換部における光電変換に基づく画像信号を処理する処理回路と
を具備し、
 前記複数の層内レンズは、自身の層内レンズの何れか1つを透過した前記入射光を前記光電変換部に入射させる
撮像装置。
 1 撮像素子
 10 画素アレイ部
 30 カラム信号処理部
 100、201、202 画素
 101 光電変換部
 111 n型半導体領域
 132 配線層
 150 遮光膜
 160、160a、160b、161、161a、161b、162、163 層内レンズ
 172 カラーフィルタ
 180 オンチップレンズ
 300、300a、300b 位相差画素
 1000 カメラ
 1002 撮像素子
 10402、12031、12101~12105 撮像部

Claims (12)

  1.  被写体からの入射光を集光するオンチップレンズと、
     前記集光された入射光の光電変換を行う光電変換部と、
     前記オンチップレンズおよび前記光電変換部の間に配置されて前記オンチップレンズを透過した入射光をさらに集光する複数の層内レンズと
    を具備し、
     前記複数の層内レンズは、自身の層内レンズの何れか1つを透過した前記入射光を前記光電変換部に入射させる
    撮像素子。
  2.  前記複数の層内レンズは略同層に配置される請求項1記載の撮像素子。
  3.  前記複数の層内レンズは、同時に形成される請求項2記載の撮像素子。
  4.  前記オンチップレンズを透過した入射光のうち所定の波長の光を透過するカラーフィルタをさらに具備する請求項1記載の撮像素子。
  5.  前記カラーフィルタは、赤色光を透過する請求項4記載の撮像素子。
  6.  前記カラーフィルタは、赤外光を透過する請求項4記載の撮像素子。
  7.  前記複数の層内レンズは、自身の層内レンズのうちの1つが前記オンチップレンズの光軸上に配置される請求項1記載の撮像素子。
  8.  前記複数の層内レンズは、それぞれ異なる形状に構成される請求項1記載の撮像素子。
  9.  前記オンチップレンズ、前記光電変換部および前記複数の層内レンズを備える複数の画素を具備する請求項1記載の撮像素子。
  10.  前記複数の層内レンズは、前記画素の中心に対して非対称に配置される請求項9記載の撮像素子。
  11.  前記オンチップレンズおよび前記光電変換部を備えて前記被写体からの入射光を瞳分割して位相差を検出するための位相差画素をさらに具備する請求項9記載の撮像素子。
  12.  被写体からの入射光を集光するオンチップレンズと、
     前記集光された入射光の光電変換を行う光電変換部と、
     前記オンチップレンズおよび前記光電変換部の間に配置されて前記オンチップレンズを透過した入射光をさらに集光する複数の層内レンズと、
     前記光電変換部における光電変換に基づく画像信号を処理する処理回路と
    を具備し、
     前記複数の層内レンズは、自身の層内レンズの何れか1つを透過した前記入射光を前記光電変換部に入射させる
    撮像装置。
PCT/JP2019/044250 2018-12-26 2019-11-12 撮像素子および撮像装置 Ceased WO2020137203A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980081314.XA CN113196488A (zh) 2018-12-26 2019-11-12 摄像元件和摄像装置
JP2020562898A JP7544601B2 (ja) 2018-12-26 2019-11-12 撮像素子および撮像装置
DE112019006460.6T DE112019006460T5 (de) 2018-12-26 2019-11-12 Bildaufnahmeelement und bildaufnahmegerät
US17/299,901 US12402427B2 (en) 2018-12-26 2019-11-12 Imaging device having a plurality of in-layer lenses with corresponding on-chip lenses
US19/280,495 US20250351602A1 (en) 2018-12-26 2025-07-25 Imaging element and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-242282 2018-12-26
JP2018242282 2018-12-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/299,901 A-371-Of-International US12402427B2 (en) 2018-12-26 2019-11-12 Imaging device having a plurality of in-layer lenses with corresponding on-chip lenses
US19/280,495 Continuation US20250351602A1 (en) 2018-12-26 2025-07-25 Imaging element and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2020137203A1 true WO2020137203A1 (ja) 2020-07-02

Family

ID=71128942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044250 Ceased WO2020137203A1 (ja) 2018-12-26 2019-11-12 撮像素子および撮像装置

Country Status (6)

Country Link
US (2) US12402427B2 (ja)
JP (1) JP7544601B2 (ja)
CN (1) CN113196488A (ja)
DE (1) DE112019006460T5 (ja)
TW (1) TW202043808A (ja)
WO (1) WO2020137203A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022075462A (ja) * 2020-11-05 2022-05-18 采▲ぎょく▼科技股▲ふん▼有限公司 イメージセンサおよびその形成方法
WO2022131034A1 (ja) * 2020-12-17 2022-06-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6237431B2 (ja) * 2014-04-15 2017-11-29 ソニー株式会社 焦点検出装置、電子機器
US12027548B2 (en) 2020-12-09 2024-07-02 Visera Technologies Company Limited Image sensor
EP4528817B1 (en) * 2023-09-19 2026-01-14 Gpixel NV Phase detection autofocus pixel

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731094B1 (ko) * 2005-12-28 2007-06-22 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
JP2014075445A (ja) * 2012-10-03 2014-04-24 Canon Inc 裏面照射型撮像素子
WO2018173872A1 (ja) * 2017-03-24 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 センサチップおよび電子機器
JP2018201061A (ja) * 2017-05-25 2018-12-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094086A (ja) 1999-09-22 2001-04-06 Canon Inc 光電変換装置及びその製造方法
JP2004356269A (ja) 2003-05-28 2004-12-16 Canon Inc 光電変換装置およびその製造方法
JP3729353B2 (ja) 2003-06-18 2005-12-21 松下電器産業株式会社 固体撮像装置およびその製造方法
US7375892B2 (en) * 2003-10-09 2008-05-20 Micron Technology, Inc. Ellipsoidal gapless microlens array and method of fabrication
US7307788B2 (en) * 2004-12-03 2007-12-11 Micron Technology, Inc. Gapless microlens array and method of fabrication
JP4835136B2 (ja) 2005-12-06 2011-12-14 株式会社ニコン 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ
JP4813929B2 (ja) * 2006-03-08 2011-11-09 富士フイルム株式会社 固体撮像素子
KR20090048920A (ko) 2007-11-12 2009-05-15 삼성전자주식회사 카메라 모듈 및 이를 구비한 전자 기기
TWI425643B (zh) 2009-03-31 2014-02-01 新力股份有限公司 固態攝像裝置及其製造方法、攝像裝置和抗反射結構之製造方法
JP5446387B2 (ja) 2009-03-31 2014-03-19 ソニー株式会社 反射防止構造体の製造方法および固体撮像装置の製造方法
JP2010283082A (ja) 2009-06-03 2010-12-16 Sony Corp 固体撮像装置、電子機器および固体撮像装置の製造方法
JP2011146608A (ja) 2010-01-15 2011-07-28 Fujifilm Corp 固体撮像素子、撮像装置、及び固体撮像素子の製造方法
JP5741012B2 (ja) * 2011-01-26 2015-07-01 ソニー株式会社 固体撮像装置の製造方法
JP2012204354A (ja) 2011-03-23 2012-10-22 Sony Corp 固体撮像装置、固体撮像装置の製造方法及び電子機器
JPWO2012161225A1 (ja) * 2011-05-24 2014-07-31 ソニー株式会社 固体撮像素子およびカメラシステム
JP2013004635A (ja) 2011-06-14 2013-01-07 Canon Inc 撮像素子、撮像装置、及び、形成方法
TWI636557B (zh) * 2013-03-15 2018-09-21 新力股份有限公司 固體攝像裝置及其製造方法、以及電子機器
TWI668849B (zh) 2013-03-25 2019-08-11 新力股份有限公司 固體攝像元件、攝像裝置及電子裝置
JP2015056530A (ja) * 2013-09-12 2015-03-23 株式会社東芝 固体撮像装置及びその製造方法
JP2015167219A (ja) 2014-02-13 2015-09-24 ソニー株式会社 撮像素子、製造装置、電子機器
JP2015170620A (ja) 2014-03-04 2015-09-28 株式会社東芝 固体撮像装置
US20150281538A1 (en) * 2014-03-25 2015-10-01 Semiconductor Components Industries, Llc Multi-array imaging systems and methods
CN106068563B (zh) 2015-01-13 2022-01-14 索尼半导体解决方案公司 固态成像装置、固态成像装置的制造方法和电子设备
JP2016201397A (ja) 2015-04-07 2016-12-01 ソニー株式会社 固体撮像素子および電子機器
JP2017041474A (ja) 2015-08-17 2017-02-23 凸版印刷株式会社 カラー固体撮像素子およびその製造方法
JP2018046145A (ja) 2016-09-14 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、及び固体撮像素子の製造方法
JP6311771B2 (ja) * 2016-10-31 2018-04-18 凸版印刷株式会社 固体撮像素子
WO2018211813A1 (ja) 2017-05-16 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 撮像素子、及び、撮像素子を備えた電子機器
JP6637922B2 (ja) 2017-05-30 2020-01-29 株式会社ニューギン 遊技機
US10297629B2 (en) * 2017-09-11 2019-05-21 Semiconductor Components Industries, Llc Image sensors with in-pixel lens arrays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731094B1 (ko) * 2005-12-28 2007-06-22 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
JP2014075445A (ja) * 2012-10-03 2014-04-24 Canon Inc 裏面照射型撮像素子
WO2018173872A1 (ja) * 2017-03-24 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 センサチップおよび電子機器
JP2018201061A (ja) * 2017-05-25 2018-12-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022075462A (ja) * 2020-11-05 2022-05-18 采▲ぎょく▼科技股▲ふん▼有限公司 イメージセンサおよびその形成方法
US11569291B2 (en) 2020-11-05 2023-01-31 Visera Technologies Company Limited Image sensor and method forming the same
WO2022131034A1 (ja) * 2020-12-17 2022-06-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US12501731B2 (en) 2020-12-17 2025-12-16 Sony Semiconductor Solutions Corporation Imaging device with lens and separation section arrangements

Also Published As

Publication number Publication date
JP7544601B2 (ja) 2024-09-03
DE112019006460T5 (de) 2021-09-16
CN113196488A (zh) 2021-07-30
JPWO2020137203A1 (ja) 2021-11-11
US12402427B2 (en) 2025-08-26
US20250351602A1 (en) 2025-11-13
TW202043808A (zh) 2020-12-01
US20220028912A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
JP7629867B2 (ja) 固体撮像装置及び電子機器
WO2020137285A1 (ja) 撮像素子および撮像素子の製造方法
JP7544601B2 (ja) 撮像素子および撮像装置
JP2019046960A (ja) 固体撮像装置および電子機器
US20240395838A1 (en) Imaging device
JP2018195719A (ja) 撮像素子および撮像素子の製造方法
WO2019003681A1 (ja) 固体撮像素子および撮像装置
WO2019220861A1 (ja) 固体撮像素子および固体撮像素子の製造方法
JP2019091745A (ja) 撮像素子および撮像装置
WO2019207978A1 (ja) 撮像素子および撮像素子の製造方法
US20230103730A1 (en) Solid-state imaging device
KR20230071123A (ko) 고체 촬상 장치 및 전자 기기
US20250089385A1 (en) Imaging device
US20240038807A1 (en) Solid-state imaging device
WO2021186907A1 (ja) 固体撮像装置及びその製造方法、並びに電子機器
US12028612B2 (en) Imaging element and imaging apparatus
US20250048767A1 (en) Light receiving device and electronic device
WO2019176302A1 (ja) 撮像素子および撮像素子の製造方法
WO2023017838A1 (ja) 撮像装置及び電子機器
WO2023037624A1 (ja) 撮像装置および電子機器
JP7316340B2 (ja) 固体撮像装置および電子機器
US20260090117A1 (en) Imaging device and electronic apparatus
US20260129990A1 (en) Photodetector and electronic apparatus
JP2025035478A (ja) 半導体装置およびその製造方法
JP2025026279A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904014

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562898

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19904014

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17299901

Country of ref document: US