WO2025258366A1 - 撮像素子 - Google Patents

撮像素子

Info

Publication number
WO2025258366A1
WO2025258366A1 PCT/JP2025/019012 JP2025019012W WO2025258366A1 WO 2025258366 A1 WO2025258366 A1 WO 2025258366A1 JP 2025019012 W JP2025019012 W JP 2025019012W WO 2025258366 A1 WO2025258366 A1 WO 2025258366A1
Authority
WO
WIPO (PCT)
Prior art keywords
color filter
pixel
light
pixels
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/019012
Other languages
English (en)
French (fr)
Inventor
拓郎 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025258366A1 publication Critical patent/WO2025258366A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors

Definitions

  • This technology relates to image sensors, for example, image sensors that achieve both improved oblique light characteristics and improved sensitivity.
  • image sensors have been known in which a color filter layer having a color filter is provided between a semiconductor substrate having a photoelectric conversion unit and an on-chip lens.
  • Patent Document 1 proposes providing a waveguide to guide incident light to a pixel, placing a color filter between the waveguides, and providing multiple layers made up of waveguides and color filters to increase sensitivity and prevent color mixing.
  • a first imaging element includes a pixel array section in which a plurality of pixels are provided, each of the pixels including a color filter and a photoelectric conversion section, the color filter being configured by stacking a plurality of color filters, the first color filter provided on the photoelectric conversion section side having a light-shielding film disposed on both ends, and the second color filter stacked on the first color filter not having the light-shielding film disposed thereon.
  • a second imaging element includes a pixel array section in which a plurality of pixels are provided, each of the pixels including a color filter and a photoelectric conversion section, the color filter being configured by stacking a plurality of color filters, and the first color filter provided on the photoelectric conversion section side and the second color filter stacked on the first color filter having different shapes in a cross-sectional view.
  • a first imaging element includes a pixel array section in which a plurality of pixels are provided, each of the pixels including a color filter and a photoelectric conversion section, the color filter being configured by stacking a plurality of color filters, the first color filter provided on the photoelectric conversion section side having a light-shielding film disposed on both ends, and the second color filter stacked on the first color filter not having a light-shielding film disposed thereon.
  • a second imaging element includes a pixel array section in which a plurality of pixels are provided, each of which includes a color filter and a photoelectric conversion section.
  • the color filter is configured by stacking a plurality of color filters, and a first color filter provided on the photoelectric conversion section side and a second color filter stacked on the first color filter are formed in different shapes in a cross-sectional view.
  • FIG. 1 is a diagram showing a configuration of an embodiment of an imaging element to which the present technology is applied.
  • FIG. 10 is a diagram for explaining the position of an image height.
  • FIG. 2 is a diagram illustrating an example of a pixel configuration according to the first embodiment.
  • FIG. 10 is a diagram illustrating another example of the configuration of a pixel according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a pixel configuration according to a second embodiment.
  • FIG. 13 is a diagram illustrating an example of a pixel configuration according to a third embodiment.
  • FIG. 13 is a diagram illustrating an example of a pixel configuration according to a fourth embodiment.
  • FIG. 13 is a diagram illustrating an example of a pixel configuration according to a fifth embodiment.
  • FIG. 20 is a diagram illustrating an example of a pixel configuration according to a sixth embodiment.
  • FIG. 23 is a diagram illustrating an example of the configuration of a pixel according to the seventh embodiment.
  • FIG. 23 is a diagram illustrating an example of the configuration of a pixel according to the eighth embodiment.
  • FIG. 23 is a diagram illustrating an example of the configuration of a pixel according to the ninth embodiment.
  • FIG. 23 is a diagram illustrating an example of a pixel configuration according to a tenth embodiment.
  • FIG. 1 is a diagram illustrating an example of the configuration of an electronic device.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system.
  • FIG. 2 is an explanatory diagram showing an example of the installation positions of an outside-vehi
  • Fig. 1 shows a schematic configuration of an image sensor according to the present disclosure.
  • the image sensor 1 in Fig. 1 is configured to include a pixel array section 3 in which pixels 2 are arranged two-dimensionally in a matrix on a semiconductor substrate 12 made of, for example, silicon (Si) as a semiconductor, and a peripheral circuit section surrounding the pixel array section.
  • the peripheral circuit section includes a vertical drive circuit 4, a column signal processing circuit 5, a horizontal drive circuit 6, an output circuit 7, a control circuit 8, etc.
  • Pixel 2 has a photodiode as a photoelectric conversion element and multiple pixel transistors.
  • the multiple pixel transistors are composed of four MOS transistors, for example: a transfer transistor, a selection transistor, a reset transistor, and an amplification transistor.
  • Pixel 2 can also have a shared pixel structure.
  • This shared pixel structure is composed of multiple photodiodes, multiple transfer transistors, one shared floating diffusion region, and one shared pixel transistor each.
  • the photodiodes and transfer transistors that make up multiple unit pixels share one pixel transistor each.
  • the control circuit 8 receives an input clock and data that commands the operating mode, etc., and outputs data such as internal information of the image sensor 1. That is, the control circuit 8 generates clock signals and control signals that serve as the basis for the operation of the vertical drive circuit 4, column signal processing circuit 5, horizontal drive circuit 6, etc., based on the vertical synchronization signal, horizontal synchronization signal, and master clock. The control circuit 8 then outputs the generated clock signals and control signals to the vertical drive circuit 4, column signal processing circuit 5, horizontal drive circuit 6, etc.
  • the vertical drive circuit 4 is configured, for example, by a shift register, and selects a specific pixel drive wiring 10, supplies pulses to the selected pixel drive wiring 10 to drive the pixels 2, and drives the pixels 2 row by row.
  • the vertical drive circuit 4 selects and scans each pixel 2 in the pixel array section 3 in the vertical direction row by row, and supplies pixel signals based on signal charges generated in the photoelectric conversion section of each pixel 2 according to the amount of light received to the column signal processing circuit 5 via the vertical signal line 9.
  • the column signal processing circuit 5 is arranged, for example, for each column of pixels 2, and performs signal processing such as noise removal on the signals output from one row of pixels 2 for each pixel column.
  • the column signal processing circuit 5 performs signal processing such as CDS (Correlated Double Sampling) to remove fixed pattern noise specific to each pixel, and AD conversion.
  • the horizontal drive circuit 6 is configured, for example, by a shift register, and sequentially outputs horizontal scanning pulses to select each of the column signal processing circuits 5 in turn, causing each column signal processing circuit 5 to output a pixel signal to the horizontal signal line 11.
  • the output circuit 7 processes and outputs signals supplied sequentially from each column signal processing circuit 5 via the horizontal signal line 11.
  • the output circuit 7 may perform only buffering, or it may also perform black level adjustment, column variation correction, and various digital signal processing.
  • the input/output terminal 13 exchanges signals with the outside.
  • the image sensor 1 configured as described above is a CMOS image sensor known as a column AD system, in which a column signal processing circuit 5 that performs CDS processing and AD conversion processing is arranged for each pixel column.
  • FIG. 2 is a plan view of a pixel array section 3 having a plurality of pixels, viewed from a direction perpendicular to the surface of the semiconductor substrate 12 that constitutes the pixel array section 3, i.e., the light receiving surface of the pixel array section 3 (hereinafter also referred to as the optical axis direction).
  • position P21 in the pixel array section 3 is the center position of the light receiving surface of the pixel array section 3, i.e., the position at the center of the image height.
  • Position P22, located to the upper right of position P21 in the figure, is a position on the image height end side (high image height side) away from the image height center, i.e., a position on the edge side of the light receiving surface of the pixel array section 3.
  • FIG. 3 is a diagram showing an example of a planar configuration and an example of a cross-sectional configuration of the pixel 2a-1 according to the first embodiment.
  • the upper left diagram shows an example of the planar configuration of pixel 2 located at the center of the image height
  • the lower left diagram shows an example of the cross-sectional configuration of pixel 2 located at the center of the image height
  • the upper right diagram shows an example of the planar configuration of pixel 2 located on the high image height side
  • the lower right diagram shows an example of the cross-sectional configuration of pixel 2 located on the high image height side.
  • the N-type semiconductor region 36-1 that constitutes the photoelectric conversion unit 51 of pixel 2a-1 receives incident light that enters from the back surface (top surface in the figure) of the semiconductor substrate 12.
  • the N-type semiconductor region 36-1 is embedded inside the semiconductor substrate 12, and is structured so that the N-type semiconductor region 36-1 is barely present on the surface of the substrate.
  • Color filters 32-1, 33-1, and an on-chip lens 31-1 are provided above the N-type semiconductor region 36-1 (photoelectric conversion unit 51).
  • photoelectric conversion unit 51 incident light that passes through each unit in sequence is received on the light-receiving surface and photoelectric conversion is performed.
  • the N-type semiconductor region 36-1 is formed as a charge accumulation region that accumulates electric charges (electrons).
  • the N-type semiconductor region 36-1 is provided inside the P-type semiconductor region 35-1 of the semiconductor substrate 12.
  • a pixel separator 37 is provided inside the semiconductor substrate 12 to electrically separate the multiple pixels 2a, and a photoelectric conversion unit 51 is provided in the area defined by this pixel separator 37.
  • the pixel separator 37 is formed, for example, in a grid pattern so as to be interposed between the multiple pixels 2a-1, and the photoelectric conversion unit 51 is formed within the area defined by this pixel separator 37.
  • the pixel 2a-1 shown in the lower left diagram of Figure 3 has a pixel separator 37-1 on its left side to separate it from the adjacent pixel 2a (not shown) on the left, and a pixel separator 37-2 on its right side to separate it from the adjacent pixel 2a-2 on the right.
  • a wiring layer (not shown) is provided on the front surface (bottom surface) of the semiconductor substrate 12, opposite the back surface (top surface) on which the light-shielding film 34, color filters 32-1 and 33-1, on-chip lens 31-1, and other components are provided.
  • the light-shielding film 34 is provided on the back surface (top surface in the figure) of the semiconductor substrate 12.
  • the light-shielding film 34 is provided to prevent incident light from leaking into adjacent pixels 2, and is configured to block light.
  • the color filter 32-1 of pixel 2a-1 shown in the lower left diagram of Figure 3 has a light-shielding film 34-1 on its left side to block incident light toward the adjacent pixel 2a (not shown) on the left, and a light-shielding film 34-2 on its right side to block incident light toward the adjacent pixel 2a-2 on the right.
  • the light-shielding film 34 is formed from a light-shielding material that blocks light, or a material that functions as a waveguide that guides light to the photoelectric conversion unit 51.
  • the light-shielding film 34 is formed by sequentially laminating a titanium (Ti) film and a tungsten (W) film.
  • the light-shielding film 34 can be formed by sequentially laminating a titanium nitride (TiN) film and a tungsten (W) film.
  • the light-shielding film 34 may also be coated with tungsten nitride (WN) or the like.
  • Pixel 2a-2 located to the right of pixel 2a-1 in the figure, and pixels 2a-11 and 2a-12, located on the high image height side, also have the same basic configuration as pixel 2a-1, so their description will be omitted where appropriate.
  • pixel 2a can be configured by replacing N-type with P-type and P-type with N-type in the above and following descriptions.
  • the pixel 2a shown in Figure 3 has a two-layer color filter. Looking at pixel 2a-1, pixel 2a-1 has two color filters, color filter 32-1 and color filter 33-1, which are stacked one on top of the other. Color filter 32-1 is provided on the photoelectric conversion unit 51 side, and color filter 33-1 is provided on the on-chip lens 31-1 side.
  • pixel 2a-2 also has a two-layer structure in which color filter 32-2 and color filter 33-2 are stacked.
  • Pixel 2a-11 located on the high image height side, has a two-layer structure in which color filter 32-11 and color filter 33-11 are stacked, and pixel 2a-12 has a two-layer structure in which color filter 32-12 and color filter 33-12 are stacked.
  • color filter 32 when there is no need to distinguish between color filters 32-1, 32-2, 32-11, and 32-12, they will simply be referred to as color filter 32. The same will be used for other parts.
  • Light-shielding films 34-1 and 34-2 are provided on both ends of the first-layer color filter 32-1.
  • the first-layer color filter 32-1 is formed in the area sandwiched between the light-shielding films 34-1 and 34-2.
  • the shape and size of the color filter 32-1 are the same as the shape and size of the area formed between the light-shielding films 34-1 and 34-2.
  • the height (thickness) of the color filter 32-1 is also approximately the same as the height (thickness) of the light-shielding films 34-1 and 34-2. Therefore, the shape of the first-layer color filter 32-1 is quadrilateral (rectangular).
  • No light-shielding film 34 is provided on either end of the second-layer color filter 33-1.
  • the shape and size of the second-layer color filter 33-1 are independent of the light-shielding film 34, allowing for a high degree of freedom in designing the shape and size of the color filter 33.
  • the height (thickness) of the color filter 33 is also independent of the light-shielding film 34 and can be designed to any desired height (thickness).
  • the shape of the second-layer color filter 33 shown in Figure 3 is trapezoidal. Note that although depicted as a trapezoid in the figure, it may have an arc-shaped surface, similar to the on-chip lens 31, and is not limited to a trapezoidal shape.
  • the shape of the first color filter 32 and the shape of the second color filter 33 are different in cross section.
  • the first color filter 32 and the second color filter 33 may be constructed to have different sizes or shapes, or the second layer may not be provided at all. Forming the color filter from multiple layers greatly increases the degree of freedom in designing the shape, size, etc.
  • pixel 2a located at the center of the image height (position P21) and pixel 2a located at a high image height (position P22) have the same configuration, including on-chip lens 31 and color filters 32, 33, but the positions of the on-chip lens 31 and color filters 32, 33 are different, and each is located in a position appropriate to the direction of incidence of the incident light.
  • pixel 2a-1 located at the center of the image height (position P21) shown in the lower left diagram of Figure 3 incident light enters pixel 2a-1 from directly above, as indicated by the arrow in the diagram, and passes through the center of on-chip lens 31-1 before entering photoelectric conversion unit 51.
  • on-chip lens 31-1, color filter 33-1, and color filter 32-1 are positioned so that the centers of on-chip lens 31-1, color filter 33-1, and color filter 32-1 coincide.
  • pixel 2a-11 which is located at a high image height (position P22) shown in the lower right diagram of Figure 3, incident light enters pixel 2a-11 from the diagonally upper left direction in the diagram, as indicated by the arrow in the diagram.
  • On-chip lens 31-11, color filter 33-11, and color filter 32-11 are positioned to match this incident direction.
  • the on-chip lens 31-11, color filter 33-11, and color filter 32-11 are arranged so that incident light passes through the center of the on-chip lens 31-1, the center of the color filter 33-11, and the color filter 32-11, and is incident on the center of the photoelectric conversion unit 51 (N-type semiconductor region 36-11).
  • the amount of deviation of the central positions of the on-chip lens 31 and color filters 33 and 32 from the central position of the photoelectric conversion unit 51 within the same pixel i.e., the distance by which their placement positions are shifted, is referred to as the pupil correction correction amount. Focusing on pixel 2a-11, the correction amount of the on-chip lens 31-1 is greater than the correction amount of the color filter 33-11, which in turn is greater than the correction amount of the color filter 32-11.
  • pixel 2a-11 which is located at the high image height (position P22) shown in the lower right diagram of Figure 3, light is incident from the diagonally upper left direction. Therefore, with respect to the center of the photoelectric conversion unit 51 (N-type semiconductor region 36-11) of pixel 2a-11, color filter 32-11 is positioned to the left, color filter 33-11 is positioned to the left of color filter 32-11, and on-chip lens 31-11 is positioned to the left of color filter 33-11.
  • on-chip lens 31-1, color filter 33-1, and color filter 32-1 are arranged so that the center of on-chip lens 31-1, the center of color filter 33-1, and the center of color filter 32-1 coincide with the direction of incidence of incident light.
  • position P22 is located in the upper right corner of the pixel array section 3, with the center of the image height at the lower left.
  • color filter 32-11 is positioned at a position shifted diagonally downward and left
  • color filter 33-11 is positioned at a position shifted diagonally downward and left further than color filter 32-11
  • on-chip lens 31-11 is positioned at a position shifted diagonally downward and left further than color filter 33-11.
  • Pixel 2a-12 located to the right of pixel 2a-11 in the figure, has undergone appropriate pupil correction for its on-chip lens 31-12, color filter 33-12, and color filter 32-12, and is positioned in the appropriate positions, just like pixel 2a-11.
  • the pixels 2a arranged on the image height side are arranged so that the on-chip lenses 31 and color filters 33, 32 are shifted toward the center of the image height.
  • incident light on the pixel array unit 3 enters the pixels from the upper left to the lower right in Figure 3, so pupil correction is performed with a correction amount according to the angle of incidence of the light.
  • pupil correction By performing pupil correction, more light can be incident on the photoelectric conversion unit 51, improving pixel sensitivity. In other words, the sensor characteristics can be improved.
  • the color filter has a two-layer structure consisting of color filter 32 and color filter 33.
  • the position, size, shape, etc. of the second-layer color filter 33 do not depend on the first-layer color filter 32.
  • the position, size, and shape of color filter 33 can be determined according to the amount of correction required for pupil correction according to the image height, allowing for finer pupil correction and more appropriate pupil correction.
  • the color filter is formed in two layers, which increases the degree of freedom in designing the color filter 33 provided on the on-chip lens 31 side, and the color filter 33 can be placed in a position that ensures a margin for the gap of the on-chip lens 31. Furthermore, as will be described later, the color filter 33 can be formed in a size and shape that ensures a margin for the gap of the on-chip lens 31. This reduces the possibility of degradation of the spectral characteristics and reduces the possibility of reduced reliability.
  • the pixel 2a described with reference to Figure 3 is an example in which the color filter is made up of two layers, but it is also possible to configure the color filter with more than two layers, for example, three or four layers.
  • Figure 4 shows the configuration of pixel 2a when the color filter is made up of three layers.
  • the color filter is configured by stacking color filter 32-11, color filter 41-11, and color filter 33-11 in that order from the photoelectric conversion unit 51 side. Compared to pixel 2a shown in Figure 3, it differs in that color filter 41 has been added, giving it a three-layer structure, but is otherwise similar.
  • the amount of pupil correction can be set individually for each layer of color filter, allowing for more precise pupil correction and more appropriate pupil correction.
  • the first pupil correction amount of color filter 32-11, the second pupil correction amount of color filter 41-11, the third pupil correction amount of color filter 33-11, and the fourth pupil correction amount of on-chip lens 31-11 are all different.
  • Each correction amount is set so that the correction amount gradually increases in the order of the first correction amount, the second correction amount, the third correction amount, and the fourth correction amount.
  • Color filter 32, color filter 33, and color filter 41 may be formed to the same thickness or to different thicknesses.
  • the thickness of each layer may be the same or different. By adjusting the thickness of each layer, the thickness of the entire color filter can also be adjusted.
  • the thickness of the color filter increases, the amount of incident light absorbed by the color filter increases, which can result in a decrease in sensitivity.
  • Second Embodiment As a pixel 2b of the second embodiment, a pixel 2 having a configuration in which color filters have different thicknesses will be described. Note that in the following description, an example in which the color filter is formed of two layers will be described. However, in each embodiment described below, the color filter may be formed of multiple layers other than two layers, and such multiple layer cases are also within the scope of application of the present technology. In the following description, parts similar to those of the pixel 2a of the first embodiment will be assigned the same reference numerals, and their description will be omitted as appropriate.
  • pixels 2b shown in Figure 5 let us look at pixels 2b-11 and 2b-12, which are located on the high image height (position P22) side.
  • the color filter 33b-12 of pixel 2b-12 is formed larger than the color filter 33b-11 of pixel 2b-11.
  • the color filter 33b-12 of pixel 2b-12 is red, and the color filter 33b-11 of pixel 2b-11 is green. If it is desired to reduce the sensitivity of the red pixel 2b and make it similar to the sensitivity of the green pixel 2b, the color filter 33b provided in the red pixel 2b is made larger (thicker) than the color filter 33b provided in the green pixel 2b.
  • color filters 33b-1 and 33b-2 of the same size are arranged in pixels 2b-1 and 2b-2 at the center of the image height shown on the left side of the figure.
  • color filter 33b-2 may be formed to be larger than color filter 33b-1.
  • the color filters 33b arranged at the center of the image height may be the same size, and the color filters 33b of a specific color arranged on the high image height side may be configured to be larger than the color filters 33b of other colors.
  • the color filter 33 of a specific color of pixel 2b in the pixel array section 3 may be configured to be larger than the color filters 33b of other colors.
  • the thickness of the color filter 33b may be made different for each color, allowing the sensitivity to be adjusted for each color.
  • the color filter 33b it is also possible to configure the color filter 33b so that it gradually increases in size as the image height increases.
  • the color filter 33b is formed large, but it is also possible to form it small.
  • a pixel 2 having a configuration in which the color filter has a different thickness will be described as a pixel 2c in the third embodiment.
  • pixel 2c-1 which is located at the center of the image height (position P21)
  • pixel 2c-11 which is located on the high image height side (position P22).
  • the color filter 33c-11 of pixel 2c-11 is formed smaller than the color filter 33c-1 of pixel 2c-1.
  • the color filter 33c-11 of pixel 2c-11 and the color filter 33c-12 of pixel 2c-12 are formed to be approximately the same size. Focusing on pixel 2c-11, the horizontal width of color filter 33-11 is smaller than the horizontal width of color filter 32-11.
  • the color filter 33c of the pixel 2c located on the high image height side is smaller than the color filter 33c of the pixel 2c located at the center of the image height.
  • the margin of the gap portion of the on-chip lens 31 can be increased.
  • color filters 33c-11 and 33c-12 of the same size are arranged in pixels 2c-11 and 2c-12 on the high image height side shown on the right side of the figure, but either one may be formed smaller.
  • color filters 33c-1 and 33c-2 of the same size are arranged in pixels 2c-1 and 2c-1 on the center image height side shown on the left side of the figure, but either one may be formed smaller.
  • the color filter 33c may be formed so that its size decreases as the image height increases.
  • pixels 2d-11 and 2d-12 which are located on the high image height (position P22) side.
  • Color filter 33d-11 of pixel 2d-11 is stacked on color filter 32d-11, but no color filter is formed in the area corresponding to color filter 33d-12 of pixel 2d-12.
  • color filter 33d-12 is shown with a dotted line, indicating that it is not formed.
  • Sensitivity can be adjusted by adjusting the thickness of the color filter; for example, sensitivity can be increased by forming the color filter thinner. For example, if the color filter 33d-12 of pixel 2d-12 is red and the color filter 33d-11 of pixel 2d-11 is green, and you want to increase the sensitivity of the red pixel 2d so that it is the same as or better than the green pixel 2d, you can remove (not form) the color filter 33d provided on the red pixel 2d.
  • color filters 33d-1 and 33d-2 are respectively arranged in pixels 2d-1 and 2d-2 at the center of the image height shown on the left side of the figure. However, if pixel 2d-2 is a red pixel 2d, for example, color filter 33d-2 may not be formed.
  • the color filters of a specific color within the pixel array section 3 can be formed from (n-1) layers, and the color filters of other colors can be formed from n layers.
  • the configuration of a pixel 2e according to the fifth embodiment will be described with reference to Fig. 8.
  • the pixel 2e according to the fifth embodiment is different from the pixel 2a according to the first embodiment shown in Fig. 3 in that the on-chip lens 31e-12 is formed larger than the other on-chip lenses 31e, but is otherwise similar.
  • pixels 2e-11 and 2e-12 which are located on the high image height (position P22) side.
  • the on-chip lens 31e-12 of pixel 2e-12 is larger (thicker) than the on-chip lens 31e-11 of pixel 2e-11.
  • the on-chip lens 31e of a pixel 2e arranged in a predetermined position may be formed to be thicker than the on-chip lens 31e of a pixel 2e arranged in another position.
  • on-chip lenses 31e-1 and 31e-2 of the same size are arranged in pixels 2b-1 and 2b-2 at the center of the image height shown on the left side of the figure, but for example, on-chip lens 31e-2 may be formed to be larger than on-chip lens 31e-1.
  • the size of the on-chip lenses 31e may be the same at the center of the image height, and on the high image height side, the on-chip lenses 31e on the color filter 33 of a predetermined color may be formed larger than the on-chip lenses 31e on the color filters 33 of other colors.
  • the on-chip lenses 31 on the color filter 33 of a predetermined color of pixel 2b in the pixel array unit 3 may be formed larger than the on-chip lenses 31e on the color filters 33 of other colors.
  • the on-chip lens 31e may be formed so that its size increases as the image height increases.
  • the on-chip lens 31e of pixel 2e in the pixel array unit 3 may be formed so that it gradually increases in size according to the image height.
  • the color filter can be formed in multiple layers, and pupil correction can be performed appropriately, just like in the above-described embodiment.
  • the configuration of a pixel 2f in the sixth embodiment will be described with reference to Fig. 9.
  • the pixel 2f in the sixth embodiment is different from the pixel 2a in the first embodiment shown in Fig. 3 in that it has a light-shielding film 34f that is formed larger and is configured to be usable as a pixel 2 that can detect a phase difference, but is otherwise similar.
  • the light-shielding film 34f-2 on the right side of pixel 2f-1 in the figure is larger (wider) than the light-shielding film 34f-1 on the left side in the figure.
  • the light-shielding film 34f-2 is formed to a size that covers approximately half of the light incident surface of pixel 2f-1.
  • phase difference pixels The right half of pixel 2f-1 is covered by light-shielding film 34f-2, but there is also a pixel 2f in the pixel array section 3 whose left half is covered by light-shielding film 34f, and these two pixels 2f are paired together to detect the phase difference.
  • Such pixels are referred to as phase difference pixels where appropriate.
  • Pixel 2f-11 which is formed on the high image height (position P22) side, is a phase difference pixel.
  • Pixel 2f-11 has a light-shielding film 34f-11 on the left side of the figure, and a light-shielding film 34f-12 on the right side of the figure. Because pixel 2f-11 is located on the high image height side, pupil correction is performed, and light-shielding films 34f-11 and 34f-12 are positioned offset to the left of the center of pixel 2f-11. Furthermore, light-shielding film 34f-12 is formed to be larger (wider) than light-shielding film 34-11. As a result, light-shielding film 34f-12 is formed to a size and position that covers more than half of the light incident surface of pixel 2f-11.
  • a first layer of color filter 32 is formed in the area sandwiched between the light-shielding films 31f, and a second layer of color filter 33 is formed on top of that.
  • color filters can be formed in multiple layers, allowing for appropriate pupil correction.
  • the configuration of a pixel 2g in the seventh embodiment will be described with reference to Fig. 10.
  • the pixel 2g in the seventh embodiment is similar to the pixel 2f in the sixth embodiment shown in Fig. 9 in that a plurality of layers of color filters are provided in the phase difference pixels, but differs in that the phase difference pixels include a phase difference pixel on which no color filter 32 is formed.
  • Pixel 2g-1 shown in the lower left of Figure 10 is a phase difference pixel, and is configured so that the left half of the incident surface in the figure is covered by light-shielding film 34g-1.
  • a color filter 32g-1 is formed in the area between light-shielding film 34g-1 and light-shielding film 34g-2 of pixel 2g-1.
  • Pixel 2g-11 shown in the lower right of Figure 10, is a phase difference pixel, and is configured so that the left half of the incident surface in the figure is covered by light-shielding film 34g-11.
  • light-shielding film 34g-11 In the area between light-shielding film 34g-11 and light-shielding film 34g-12 of pixel 2g-11, no color filter corresponding to color filter 32g-11 is formed, and a space 61-11 is formed.
  • Space 61-11 may be an air layer, or it may be a layer filled with some kind of material, such as the material that forms on-chip lens 31.
  • the area sandwiched between the light-shielding films 34g-11 and 34g-12 of pixel 2g-11 is smaller than the area sandwiched between the other light-shielding films 34g because the light-shielding film 34g-12 is large. Because this is such a small space, even if the space 61-11 is provided as an air layer, it is possible to prevent the color filter 33-11 located above the space 61-11 from sagging.
  • the space 61 may also be provided in a pixel 2g in which a normal-sized light-shielding film 31g, rather than a large light-shielding film 34g, is disposed, as long as the stacked color filter 33 does not warp.
  • Phase detection pixels have a smaller area of the light incident surface, which reduces sensitivity.
  • space 61-11 light incident on pixel 2g-11 only needs to pass through color filter 33-11, eliminating the need for light to pass through two layers of color filters like in other pixels 2g.
  • space 61-11 the thickness of the color filter through which incident light passes can be reduced, improving sensitivity.
  • phase difference pixel at the center of the image height shown on the left side of the figure is a phase difference pixel, and has a configuration in which color filters 32g-1 and 33-2 are stacked. Regardless of the placement position, such as the center of the image height, the phase difference pixel can also be configured to have a space 61, just like pixel 2g-11.
  • the pixel 2g which is a phase difference pixel arranged in the pixel array section 3, can have (n-1) layers of color filters, and the pixel 2g other than the phase difference pixel can have n layers of color filters.
  • the color filter is also configured to be made up of multiple layers, allowing for appropriate pupil correction. Furthermore, by providing a space 61 instead of the color filter 32, it is possible to improve (adjust) sensitivity.
  • the configuration of a pixel 2h in the eighth embodiment will be described with reference to Fig. 11.
  • the pixel 2h in the eighth embodiment is similar to the pixel 2f in the sixth embodiment shown in Fig. 9 in that a plurality of layers of color filters are provided in the phase difference pixel, but differs in that a phase can be detected by one phase difference pixel.
  • the pixel 2h-1 shown in the lower left of Figure 11 is a phase difference pixel and has two photoelectric conversion units 51.
  • the pixel 2h-1 has an N-type semiconductor region 36h-1 and an N-type semiconductor region 36h-1', and has two photoelectric conversion units 51.
  • the phase difference pixel shown in Figure 9 is configured to acquire a phase difference from two pixels 2f as a pair, but the phase difference pixel shown in Figure 11 has two photoelectric conversion units 51 in one pixel 2h, and is configured to acquire a phase difference from one pixel 2h.
  • pixel 2h-2 which is located at the center of the image height
  • pixels 2h-11 and 2h-12 which are located on the high image height side
  • pixel 2h-1 an example is shown in which a single pixel 2h has a phase difference pixel structure that acquires a phase difference.
  • the pixel 2h has two photoelectric conversion units 51, and can detect a phase difference by processing the signals obtained by each photoelectric conversion unit 51 separately. It can also function as a single gradation pixel 2h by adding and processing the signals obtained by each photoelectric conversion unit 51 together. Therefore, even if all pixels 2h in the pixel array unit 3 are configured to have the two photoelectric conversion units 51 shown in Figure 11, it is possible to obtain a phase difference signal and a gradation signal.
  • the configuration of the pixel 2i in the ninth embodiment will be described with reference to Fig. 12.
  • the pixel 2i in the ninth embodiment is different from the pixel 2h in the eighth embodiment shown in Fig. 11 in the shape of the on-chip lens 31i, but is otherwise similar.
  • the pixel 2h described with reference to Figure 11 has two photoelectric conversion units 51, so sensitivity can be further improved by providing an on-chip lens 31 shaped to focus light onto each photoelectric conversion unit 51.
  • the on-chip lens 31i provided in the pixel 2i shown in Figure 12 has a shape suitable for focusing incident light onto each of the two photoelectric conversion units 51.
  • the on-chip lens 31i has two convex portions, each of which is shaped to have a curved surface.
  • the convex portion on the left side of the on-chip lens 31i is positioned and shaped to focus light onto the N-type semiconductor region 36h-1 formed on the left side of the photoelectric conversion unit 51
  • the convex portion on the right side of the on-chip lens 31i is positioned and shaped to focus light onto the N-type semiconductor region 36h-1' formed on the right side of the photoelectric conversion unit 51.
  • the on-chip lenses 31i provided in the other pixels 2h are also formed in the same shape as the on-chip lens 31i-1 provided in pixel 2h-1. Furthermore, by performing pupil correction on the on-chip lenses 31i, they are positioned on the high image height side in accordance with the amount of pupil correction.
  • the on-chip lens 31i Regardless of the shape of the on-chip lens 31i, multiple layers of color filters can be provided, allowing for appropriate pupil correction.
  • the configuration of a pixel 2j in the tenth embodiment will be described with reference to Fig. 13.
  • the pixel 2j in the tenth embodiment is different from the pixel 2a in the first embodiment shown in Fig. 3 in that a color filter 33j of the same color is arranged on two adjacent pixels 2j, and an on-chip lens 31j spanning the two pixels 2j is arranged on the color filter 33j, but is otherwise similar.
  • Pixels 2j-1, 2j-2, and 2j-3 shown on the left side of the figure are adjacent pixels.
  • Color filters 32j-1, 32j-2, and 32j-3 are arranged in pixels 2j-1, 2j-2, and 2j-3, respectively.
  • a light-shielding film 34-1 is formed on the left side of color filter 32j-1.
  • a light-shielding film 34-2 is formed between color filters 32j-1 and 32j-2.
  • a light-shielding film 34-3 is arranged between color filters 32j-2 and 32j-3.
  • a light-shielding film 34-4 is formed on the left side of color filter 32j-3.
  • Color filter 32j-1 and color filter 32j-2 are the same color, for example, a green color filter 32.
  • Color filter 32j-3 is a color different from color filters 32j-1 and 32j-2, for example, a red color filter 32.
  • Color filter 33j-1 is stacked on color filter 32j-1 and color filter 32j-2. Color filter 33j-1 is provided on pixel 2j. Color filter 33j-2 is stacked on color filter 32j-3. Color filter 33j-2 is provided on pixel 12j.
  • On-chip lens 31j-1 is stacked on color filter 33j-1. On-chip lens 31j-1 is provided above pixel 2j. On-chip lens 31j-2 is stacked on color filter 33j-2. On-chip lens 31j-2 is provided above pixel 12j.
  • the pixel array section 3 can be configured to include a mixture of pixels 2j having a structure in which one color filter 34j and an on-chip lens 31j are arranged over two pixels 2j, and pixels 2j having a structure in which one color filter 34j and an on-chip lens 31j are arranged over one pixel 2j.
  • Pixels 2j-11 and 2j-12 which are arranged on the high image height side, have the same configuration as pixels 2j-1 and 2j-2 described above, with one color filter 34j and on-chip lens 31j arranged above two pixels 2j.
  • Pixel 2j-13 which is arranged on the high image height side, has the same configuration as pixel 2j-3 described above, with one color filter 34j and on-chip lens 31j arranged above one pixel 2j.
  • Pixels 2j-11 to 2j-13 which are located on the high image height side, are each subjected to pupil correction, and on-chip lens 31j, color filter 33j, and color filter 32j are positioned at positions shifted by the amount of pupil correction.
  • the color filters are formed in multiple layers, allowing for more appropriate pupil correction.
  • color filter 33j-11 and color filter 33j-12 which are located on the high image height side, color filter 33j-11 is formed to a size that spans two pixels 2j, and is therefore formed larger than color filter 33j-12.
  • Color filter 33j-2 may be formed in an area that includes part of the area where color filter 33j-11 would normally be formed.
  • color filter 33j-12 may be configured to be formed larger than color filter 33j-2.
  • the color filter 33j located on the high image height side may be formed to be the same size as the color filter 33j located at the center of the image height, or may be formed to be a different size. By forming them to be different sizes, it is possible to adjust the sensitivity and color mixing around the on-chip lens 31j.
  • the first to tenth embodiments described above can be implemented individually or in combination.
  • the present technology is applicable to general electronic devices that use an imaging element in an image capture unit (photoelectric conversion unit), such as imaging devices such as digital still cameras and video cameras, portable terminal devices with imaging functions, copiers that use an imaging element in an image reading unit, etc.
  • the imaging element may be formed as a single chip, or may be in the form of a module having an imaging function in which the imaging unit and a signal processing unit or an optical system are packaged together.
  • Fig. 14 is a block diagram showing an example configuration of an imaging device as an electronic device to which this technology is applied.
  • the imaging device 1000 in Fig. 14 comprises an optical unit 1001 consisting of a group of lenses etc., an image sensor (imaging device) 1002, and a DSP (Digital Signal Processor) circuit 1003 which is a camera signal processing circuit.
  • the imaging device 1000 also comprises a frame memory 1004, a display unit 1005, a recording unit 1006, an operation unit 1007, and a power supply unit 1008.
  • the DSP circuit 1003, frame memory 1004, display unit 1005, recording unit 1006, operation unit 1007, and power supply unit 1008 are interconnected via a bus line 1009.
  • the optical unit 1001 takes in incident light (image light) from the subject and forms an image on the imaging surface of the image sensor 1002.
  • the image sensor 1002 converts the amount of incident light formed on the imaging surface by the optical unit 1001 into an electrical signal on a pixel-by-pixel basis and outputs it as a pixel signal.
  • the display unit 1005 is composed of a thin display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays video or still images captured by the image sensor 1002.
  • the recording unit 1006 records the video or still images captured by the image sensor 1002 on a recording medium such as a hard disk or semiconductor memory.
  • the operation unit 1007 under user operation, issues operation commands for the various functions of the imaging device 1000.
  • the power supply unit 1008 appropriately supplies various types of power to the DSP circuit 1003, frame memory 1004, display unit 1005, recording unit 1006, and operation unit 1007 as operating power sources.
  • the imaging element 1 described above can be applied to part of the imaging device shown in Figure 14.
  • the technology according to the present disclosure (the present technology) can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • Figure 15 is a diagram showing an example of the general configuration of an endoscopic surgery system to which the technology disclosed herein (the present technology) can be applied.
  • Figure 15 shows an operator (doctor) 11131 performing surgery on a patient 11132 on a patient bed 11133 using an endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 is composed of an endoscope 11100, other surgical tools 11110 such as an insufflation tube 11111 and an energy treatment tool 11112, a support arm device 11120 that supports the endoscope 11100, and a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 is composed of a lens barrel 11101, a predetermined length of which is inserted from the tip into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 is configured as a so-called rigid scope having a rigid lens barrel 11101, but the endoscope 11100 may also be configured as a so-called flexible scope having a flexible lens barrel.
  • An opening into which an objective lens is fitted is provided at the tip of the tube 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the tube by a light guide extending inside the tube 11101, and is then irradiated via the objective lens towards the object to be observed inside the body cavity of the patient 11132.
  • the endoscope 11100 may be a direct-viewing endoscope, an oblique-viewing endoscope, or a side-viewing endoscope.
  • the camera head 11102 contains an optical system and an image sensor, and the optical system focuses reflected light (observation light) from the object being observed onto the image sensor.
  • the image sensor converts the observation light photoelectrically, generating an electrical signal corresponding to the observation light, i.e., an image signal corresponding to the observed image. This image signal is sent to the camera control unit (CCU) 11201 as RAW data.
  • CCU camera control unit
  • the CCU 11201 is composed of a CPU (Central Processing Unit), GPU (Graphics Processing Unit), etc., and controls the overall operation of the endoscope 11100 and the display device 11202. Furthermore, the CCU 11201 receives image signals from the camera head 11102 and performs various image processing on the image signals, such as development processing (demosaic processing), to display an image based on the image signals.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 Under the control of the CCU 11201, the display device 11202 displays an image based on the image signal that has been subjected to image processing by the CCU 11201.
  • the light source device 11203 is composed of a light source such as an LED (light emitting diode), and supplies illumination light to the endoscope 11100 when photographing the surgical site, etc.
  • a light source such as an LED (light emitting diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user can input instructions to change the imaging conditions (type of illumination light, magnification, focal length, etc.) used by the endoscope 11100.
  • the treatment tool control device 11205 controls the operation of the energy treatment tool 11112 for cauterizing tissue, incising, sealing blood vessels, etc.
  • the insufflation device 11206 sends gas into the body cavity of the patient 11132 via the insufflation tube 11111 to inflate the body cavity in order to ensure a clear field of view for the endoscope 11100 and to ensure working space for the surgeon.
  • the recorder 11207 is a device capable of recording various types of information related to the surgery.
  • the printer 11208 is a device capable of printing various types of information related to the surgery in various formats, such as text, images, or graphs.
  • the light source device 11203 which supplies illumination light to the endoscope 11100 when photographing the surgical site, can be configured from a white light source, such as an LED, a laser light source, or a combination of these.
  • a white light source such as an LED, a laser light source, or a combination of these.
  • the white light source is configured from a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high precision, making it possible to adjust the white balance of the captured image in the light source device 11203.
  • the light source device 11203 may be controlled to change the intensity of the light it outputs at predetermined time intervals.
  • the operation of the image sensor of the camera head 11102 in synchronization with the timing of the change in light intensity to acquire images in a time-division manner and combining these images, it is possible to generate an image with a high dynamic range that is free of so-called blocked-up shadows and blown-out highlights.
  • the light source device 11203 may also be configured to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependency of light absorption in body tissue, so-called narrow band imaging is performed, in which specific tissue, such as blood vessels on the surface of the mucosa, is photographed with high contrast by irradiating light with a narrower band than the light irradiated during normal observation (i.e., white light).
  • special light observation may be performed using fluorescence observation, in which images are obtained from fluorescence generated by irradiating excitation light.
  • excitation light is irradiated onto body tissue and the fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and excitation light corresponding to the fluorescent wavelength of the reagent is irradiated onto the body tissue to obtain a fluorescent image.
  • the light source device 11203 may be configured to supply narrow band light and/or excitation light corresponding to such special light observation.
  • Figure 16 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU 11201 shown in Figure 15.
  • the camera head 11102 has a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are connected to each other via a transmission cable 11400 so that they can communicate with each other.
  • Lens unit 11401 is an optical system provided at the connection point with the lens barrel 11101. Observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401. Lens unit 11401 is composed of a combination of multiple lenses, including a zoom lens and a focus lens.
  • the imaging unit 11402 may comprise one imaging element (a so-called single-chip type) or multiple elements (a so-called multi-chip type). If the imaging unit 11402 is configured as a multi-chip type, then, for example, each imaging element may generate an image signal corresponding to each of the RGB colors, and these may then be combined to produce a color image. Alternatively, the imaging unit 11402 may be configured to have a pair of imaging elements for acquiring image signals for the right and left eyes, respectively, corresponding to a 3D (dimensional) display. 3D display allows the surgeon 11131 to more accurately grasp the depth of the biological tissue at the surgical site. Note that if the imaging unit 11402 is configured as a multi-chip type, multiple lens units 11401 may be provided corresponding to each imaging element.
  • the drive unit 11403 is composed of an actuator, and under the control of the camera head control unit 11405, moves the zoom lens and focus lens of the lens unit 11401 a predetermined distance along the optical axis. This allows the magnification and focus of the image captured by the imaging unit 11402 to be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for sending and receiving various information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 also receives control signals from the CCU 11201 for controlling the operation of the camera head 11102, and supplies these to the camera head control unit 11405.
  • These control signals include information relating to the imaging conditions, such as information specifying the frame rate of the captured image, information specifying the exposure value during imaging, and/or information specifying the magnification and focus of the captured image.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be specified by the user as appropriate, or may be set automatically by the control unit 11413 of the CCU 11201 based on the acquired image signal.
  • the endoscope 11100 will be equipped with the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function.
  • the camera head control unit 11405 controls the operation of the camera head 11102 based on control signals received from the CCU 11201 via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for sending and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives image signals transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits control signals to the camera head 11102 to control the operation of the camera head 11102.
  • Image signals and control signals can be transmitted via electrical communication, optical communication, etc.
  • the image processing unit 11412 performs various image processing operations on the image signal, which is RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site, etc. by the endoscope 11100, and the display of the captured images obtained by imaging the surgical site, etc. For example, the control unit 11413 generates a control signal for controlling the driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display the captured image showing the surgical area, etc., based on the image signal that has been image processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition technologies.
  • the control unit 11413 can recognize surgical tools such as forceps, specific biological parts, bleeding, mist generated when using the energy treatment tool 11112, etc., by detecting the shape and color of the edges of objects included in the captured image.
  • the control unit 11413 may use the recognition results to superimpose various surgical support information on the image of the surgical area. By superimposing the surgical support information and presenting it to the surgeon 11131, the burden on the surgeon 11131 can be reduced and the surgeon 11131 can proceed with the surgery reliably.
  • the transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electrical signal cable for electrical signal communication, an optical fiber for optical communication, or a composite cable of these.
  • communication is performed wired using a transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may also be performed wirelessly.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, or a robot.
  • Figure 17 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 12000 includes multiple electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • the functional configuration of the integrated control unit 12050 also includes a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (Interface) 12053.
  • the drivetrain control unit 12010 controls the operation of devices related to the vehicle's drivetrain in accordance with various programs.
  • the drivetrain control unit 12010 functions as a control device for a driveforce generating device such as an internal combustion engine or drive motor that generates vehicle driveforce, a driveforce transmission mechanism that transmits driveforce to the wheels, a steering mechanism that adjusts the vehicle's steering angle, and a braking device that generates vehicle braking force.
  • the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, backup lamps, brake lamps, turn signals, and fog lamps.
  • radio waves transmitted from a portable device that serves as a key or signals from various switches can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts these radio waves or signal inputs and controls the vehicle's door lock device, power window device, lamps, etc.
  • the outside vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the outside vehicle information detection unit 12030 is connected to an imaging unit 12031.
  • the outside vehicle information detection unit 12030 causes the imaging unit 12031 to capture images outside the vehicle and receives the captured images.
  • the outside vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, characters on the road surface, etc. based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle. Connected to the in-vehicle information detection unit 12040 is, for example, a driver state detection unit 12041 that detects the driver's state.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's level of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the vehicle's surroundings acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, thereby enabling cooperative control aimed at autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation.
  • the microcomputer 12051 can output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the vehicle exterior information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
  • the audio/video output unit 12052 transmits at least one audio and/or video output signal to an output device capable of visually or audibly notifying vehicle occupants or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are shown as examples of output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • Figure 18 shows an example of the installation location of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin mainly capture images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided on the side mirrors mainly capture images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • Imaging range 12111 indicates the imaging range of imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate the imaging ranges of imaging units 12102 and 12103 provided on the side mirrors, respectively
  • imaging range 12114 indicates the imaging range of imaging unit 12104 provided on the rear bumper or back door.
  • At least one of the image capturing units 12101 to 12104 may have a function for acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera consisting of multiple image capturing elements, or an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 can calculate the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100), thereby extracting as a preceding vehicle the three-dimensional object that is the closest three-dimensional object on the path of the vehicle 12100 and traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or higher). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 can classify and extract three-dimensional object data regarding three-dimensional objects into categories such as motorcycles, standard vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, and use this data for automatic obstacle avoidance. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and a collision is possible, it can provide driving assistance to avoid a collision by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by performing forced deceleration or evasive steering via the drivetrain control unit 12010.
  • At least one of the image capturing units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize pedestrians by determining whether or not a pedestrian is present in the images captured by the image capturing units 12101 to 12104. Such pedestrian recognition is performed, for example, by extracting feature points in the images captured by the image capturing units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points that indicate the outline of an object to determine whether or not the object is a pedestrian.
  • the audio/video output unit 12052 controls the display unit 12062 to superimpose a rectangular outline on the recognized pedestrian for emphasis.
  • the audio/video output unit 12052 may also control the display unit 12062 to display an icon or the like indicating the pedestrian in a desired position.
  • a system refers to an entire device made up of multiple devices.
  • the present technology can also be configured as follows.
  • the pixel array section includes pixels having the second color filters of different sizes.
  • the pixel array section includes a pixel in which the second color filter is arranged so as to straddle two adjacent pixels.
  • the first color filter has a rectangular shape and is provided between light-shielding films;
  • Image sensor 2. Pixel, 3. Pixel array, 4. Vertical drive circuit, 5. Column signal processing circuit, 6. Horizontal drive circuit, 7. Output circuit, 8. Control circuit, 9. Vertical signal line, 10. Pixel drive wiring, 11. Horizontal signal line, 12. Semiconductor substrate, 13. Input/output terminal, 31. On-chip lens, 34. Light-shielding film, 35. P-type semiconductor region, 36. N-type semiconductor region, 37. Pixel separation section, 41. Color filter, 51. Photoelectric conversion section, 61. Space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本技術は、瞳補正をより適切に行うことができるようにする撮像素子に関する。 複数の画素が設けられている画素アレイ部を備え、画素は、カラーフィルタと、光電変換部とを備え、カラーフィルタは、複数のカラーフィルタが積層された構成とされ、光電変換部側に設けられている第１のカラーフィルタは、両端に遮光膜が配置され、第１のカラーフィルタに積層されている第２のカラーフィルタには、遮光膜は配置されていない。本技術は、例えば、撮像素子に適用できる。

Description

撮像素子
　本技術は、撮像素子に関し、例えば、斜め光特性と感度向上の両立を図る撮像素子に関する。
　従来、光電変換部を有する半導体基板と、オンチップレンズとの間に、カラーフィルタを有するカラーフィルタ層を設けたイメージセンサが知られている。
　イメージセンサの受光面における中心位置から離れた位置、すなわち高像高側の位置では、画素に入射する光の入射角度が大きくなって、画素に入射する光の光量が低下し、感度が低下してしまうことが知られている。そこで、そのような感度の低下を抑制するための補正として、半導体基板に対して、像高に応じてオンチップレンズやカラーフィルタの位置をずらす瞳補正が行われることがある（例えば、特許文献１参照）。
国際公開第2021/220610号
　特許文献１では、画素に入射光を導くための導波路を設け、導波路と導波路の間にカラーフィルタを設け、導波路とカラーフィルタから構成される層を、複数層設けることで感度を高め、混色を防止することが提案されている。導波路を水平方向においてずらせる量には制限があり、適切な位置にずらすことができず、適切な瞳補正を行えない可能性があった。
　より細かな調整を行えるようにし、より適切な瞳補正が行えるようにすることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、適切な瞳補正を行えるようにするものである。
　本技術の一側面の第１の撮像素子は、複数の画素が設けられている画素アレイ部を備え、前記画素は、カラーフィルタと、光電変換部とを備え、前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、前記光電変換部側に設けられている第１の前記カラーフィルタは、両端に遮光膜が配置され、前記第１のカラーフィルタに積層されている第２のカラーフィルタには、前記遮光膜は配置されていない撮像素子である。
　本技術の一側面の第２の撮像素子は、複数の画素が設けられている画素アレイ部を備え、前記画素は、カラーフィルタと、光電変換部とを備え、前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、前記光電変換部側に設けられている第１の前記カラーフィルタと、前記第１のカラーフィルタに積層されている第２のカラーフィルタは、断面視において異なる形状である撮像素子である。
　本技術の一側面の第１の撮像素子においては、複数の画素が設けられている画素アレイ部が備えられ、前記画素には、カラーフィルタと、光電変換部とが備えられ、前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、前記光電変換部側に設けられている第１の前記カラーフィルタは、両端に遮光膜が配置され、前記第１のカラーフィルタに積層されている第２のカラーフィルタには、前記遮光膜は配置されていない。
　本技術の一側面の第２の撮像素子においては、複数の画素が設けられている画素アレイ部が備えられ、前記画素には、カラーフィルタと、光電変換部とが備えられ、前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、前記光電変換部側に設けられている第１の前記カラーフィルタと、前記第１のカラーフィルタに積層されている第２のカラーフィルタは、断面視において異なる形状で形成されている。
本技術を適用した撮像素子の一実施の形態の構成を示す図である。 像高の位置について説明するための図である。 第１の実施の形態における画素の構成例を示す図である。 第１の実施の形態における画素の他の構成例を示す図である。 第２の実施の形態における画素の構成例を示す図である。 第３の実施の形態における画素の構成例を示す図である。 第４の実施の形態における画素の構成例を示す図である。 第５の実施の形態における画素の構成例を示す図である。 第６の実施の形態における画素の構成例を示す図である。 第７の実施の形態における画素の構成例を示す図である。 第８の実施の形態における画素の構成例を示す図である。 第９の実施の形態における画素の構成例を示す図である。 第１０の実施の形態における画素の構成例を示す図である。 電子機器の構成例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜撮像素子の構成例＞
　図１は、本開示に係る撮像素子の概略構成を示している。図１の撮像素子１は、半導体として例えばシリコン（Si）を用いた半導体基板１２に、画素２が行列状に２次元配置された画素アレイ部３と、その周辺の周辺回路部とを有して構成される。周辺回路部には、垂直駆動回路４、カラム信号処理回路５、水平駆動回路６、出力回路７、制御回路８などが含まれる。
　画素２は、光電変換素子としてのフォトダイオードと、複数の画素トランジスタを有している。複数の画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタの４つのMOSトランジスタで構成される。
　画素２は、共有画素構造とすることもできる。この共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有される１つのフローティングディフージョン（浮遊拡散領域）と、共有される１つずつの他の画素トランジスタとから構成される。すなわち、共有画素構造では、複数の単位画素を構成するフォトダイオード及び転送トランジスタが、他の１つずつの画素トランジスタを共有して構成される。
　制御回路８は、入力クロックと、動作モードなどを指令するデータを受け取り、また撮像素子１の内部情報などのデータを出力する。すなわち、制御回路８は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６などの動作の基準となるクロック信号や制御信号を生成する。そして、制御回路８は、生成したクロック信号や制御信号を、垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６等に出力する。
　垂直駆動回路４は、例えばシフトレジスタによって構成され、所定の画素駆動配線１０を選択し、選択された画素駆動配線１０に画素２を駆動するためのパルスを供給し、行単位で画素２を駆動する。すなわち、垂直駆動回路４は、画素アレイ部３の各画素２を行単位で順次垂直方向に選択走査し、各画素２の光電変換部において受光量に応じて生成された信号電荷に基づく画素信号を、垂直信号線９を通してカラム信号処理回路５に供給させる。
　カラム信号処理回路５は、例えば、画素２の列ごとに配置されており、１行分の画素２から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。カラム信号処理回路５は、画素固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling：相関２重サンプリング)およびAD変換等の信号処理を行う。
　水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１１に出力させる。
　出力回路７は、カラム信号処理回路５の各々から水平信号線１１を通して順次に供給される信号に対し、信号処理を行って出力する。出力回路７は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。入出力端子１３は、外部と信号のやりとりをする。
　以上のように構成される撮像素子１は、CDS処理とAD変換処理を行うカラム信号処理回路５が画素列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
　＜像高について＞
　図２は、複数の画素を有する画素アレイ部３を、その画素アレイ部３を構成する半導体基板１２の面、すなわち画素アレイ部３の受光面と垂直な方向（以下、光軸方向とも称する）から見た平面図である。
　図２において画素アレイ部３における位置P21は、画素アレイ部３の受光面における中心位置、すなわち像高中心の位置となっている。位置P21の図中、右上にある位置P22は、像高中心から離れた像高端側（高像高側）の位置、すなわち画素アレイ部３の受光面の端側の位置となっている。
　撮像素子１の受光面における像高中心から離れた位置、すなわち高像高側の位置では、画素２に入射する光の入射角度が大きくなって、画素２に入射する光の光量が低下し、画素感度が低下してしまうことが知られている。すなわち、撮像素子１の特性が低下してしまう可能性がある。そこで、そのような画素感度の低下を抑制するための補正として、像高に応じた幅だけオンチップレンズ３１やカラーフィルタ３２，３３（いずれも図３）の位置をずらす瞳補正を行う実施の形態について以下に説明を加える。
　＜画素の第１の実施の形態＞
　図３は、第１の実施の形態に係る画素２ａ－１の平面構成例と断面構成例を示す図である。
　図３以降の図においては、図中左上側の図は、像高中心に位置する画素２の平面構成例を示し、図中左下側の図は、像高中心に位置する画素２の断面構成例を示し、図中右上側の図は、高像高側に位置する画素２の平面構成例を示し、図中右下側の図は、高像高側に位置する画素２の断面構成例を示す。
　図３の左下図に示した画素２ａ－１の断面構成例を参照する。画素２ａ－１の光電変換部５１を構成するＮ型半導体領域３６－１が、半導体基板１２の裏面（図では上面）側から入射する入射光を受光する。Ｎ型半導体領域３６－１は、半導体基板１２の内部に埋め込まれた構造とされ、基板表面部にはＮ型半導体領域３６－１はほとんど存在しない構造とされている。
　Ｎ型半導体領域３６－１（光電変換部５１）の上方には、カラーフィルタ３２－１，３３－１、及び、オンチップレンズ３１－１が設けられており、光電変換部５１では、各部を順次介して入射した入射光を、受光面で受光して光電変換が行われる。
　例えば、光電変換部５１は、Ｎ型半導体領域３６－１が、電荷（電子）を蓄積する電荷蓄積領域として形成されている。光電変換部５１においては、Ｎ型半導体領域３６－１は、半導体基板１２のＰ型半導体領域３５－１の内部に設けられている。
　半導体基板１２の内部には、複数の画素２ａの間を電気的に分離する画素分離部３７が設けられており、この画素分離部３７で区画された領域に、光電変換部５１が設けられている。画素分離部３７は、例えば、複数の画素２ａ－１の間に介在するように格子状に形成されており、光電変換部５１は、この画素分離部３７で区画された領域内に形成されている。
　図３の左下図に示した画素２ａ－１には、その左側に、左側で隣接する画素２ａ（不図示）と分離するための画素分離部３７－１が設けられ、右側に、右側で隣接する画素２ａ－２と分離するための画素分離部３７－２が設けられている。
　半導体基板１２のうち、遮光膜３４、カラーフィルタ３２－１，３３－１、オンチップレンズ３１－１等の各部が設けられた裏面（上面）とは反対側の表面（下面）には、配線層（不図示）が設けられている。
　遮光膜３４は、半導体基板１２の裏面（図では上面）の側に設けられている。遮光膜３４は、入射光が隣接する画素２に漏れ込まないようにするために設けられており、遮光するように構成されている。図３の左下図に示した画素２ａ－１のカラーフィルタ３２－１には、その左側に、左側で隣接する画素２ａ（不図示）側への入射光を遮光するための遮光膜３４－１が設けられ、右側に、右側で隣接する画素２ａ－２側への入射光を遮光するための遮光膜３４－２が設けられている。
　遮光膜３４は、光を遮光する遮光材料、または光を光電変換部５１に導く導波路として機能させる材料で形成されている。例えば、チタン（Ｔｉ）膜とタングステン（Ｗ）膜とを、順次、積層することで、遮光膜３４が形成されている。この他に、遮光膜３４は、例えば、窒化チタン（ＴｉＮ）膜とタングステン（Ｗ）膜とを、順次、積層することで形成することができる。また、遮光膜３４は、タングステンナイトライド（ＷＮ）などで被覆されていても良い。
　画素２ａ－１の図中右隣の画素２ａ－２や、高像高側に配置されている画素２ａ－１１，２ａ－１２も、画素２ａ－１と基本的な構成は同じであるため、その説明は適宜省略する。
　なおここでは、半導体基板１２の内包されたＮ型半導体領域３６－１と、その周りに形成されたＰ型半導体領域３５－１とでＰＮ接合が形成され、フォトダイオード（光電変換部５１）が形成されている場合を例に挙げて説明するが、Ｎ型とＰ型が逆であっても良い。Ｎ型とＰ型を逆にした場合、上記および以下の説明において、Ｎ型をＰ型と読み替え、Ｐ型をＮ型と読み替えることで、画素２ａを構成することができる。
　図３に示した画素２ａは、カラーフィルタが、２層で形成されている。画素２ａ－１を参照するに、画素２ａ－１には、カラーフィルタ３２－１とカラーフィルタ３３－１の２層のカラーフィルタが設けられ、カラーフィルタ３２－１とカラーフィルタ３３－１が積層された構成とされている。光電変換部５１側にはカラーフィルタ３２－１が設けられ、オンチップレンズ３１－１側にはカラーフィルタ３３－１が設けられている。
　画素２ａ－２も、画素２ａ－１と同じく、カラーフィルタ３２－２とカラーフィルタ３３－２が積層された２層構造とされている。高像高側に配置されている画素２ａ－１１は、カラーフィルタ３２－１１とカラーフィルタ３３－１１が積層された２層構造とされ、画素２ａ－１２は、カラーフィルタ３２－１２とカラーフィルタ３３－１２が積層された２層構造とされている。
　以下の説明において、カラーフィルタ３２－１，３２－２，３２－１１，３２－１２を個々に区別する必要がない場合、単にカラーフィルタ３２と記載する。他の部分も同様に記載する。
　１層目のカラーフィルタ３２－１の両端には、遮光膜３４－１と遮光膜３４－２が設けられている。換言すれば、１層目のカラーフィルタ３２－１は、遮光膜３４－１と遮光膜３４－２とに挟まれた領域に形成されている。カラーフィルタ３２－１の形状、大きさなどは、遮光膜３４－１と遮光膜３４－２との間に形成される領域の形状、大きさとなる。またカラーフィルタ３２－１の高さ（厚み）も、遮光膜３４－１，３４－２の高さ（厚み）と同程度となる。よって、１層目のカラーフィルタ３２－１の形状は、四角形状（長方形）となる。
　２層目のカラーフィルタ３３－１の両端には、遮光膜３４は設けられていない。２層目のカラーフィルタ３３－１の形状、大きさなどは、遮光膜３４に依存しない形状、大きさであり、カラーフィルタ３３の形状や大きさは自由度が高く設計できる。またカラーフィルタ３３の高さ（厚み）も、遮光膜３４には依存せず、所望とされる高さ（厚み）に設計できる。図３に示した２層目のカラーフィルタ３３の形状は、台形形状とされている。なお、図では台形形状で記載しているが、オンチップレンズ３１と同じく、円弧状の面を有している形状でも良く、台形形状に限定される記載ではない。
　カラーフィルタを２層で構成した場合、１層目のカラーフィルタ３２の形状と、２層目のカラーフィルタ３３の形状は断面視において異なる形状となっている。後述するように、１層目のカラーフィルタ３２と、２層目のカラーフィルタ３３は、その大きさや形状が異なるように構成されていたり、２層目は設けられていない構成とされていたりする。カラーフィルタを複数層で形成することで、その形状や大きさなどの設計の自由度を大きく増すことができる。
　画素２ａは、瞳補正が適用されているため、像高中心（位置P21）に配置されている画素２aと高像高（位置P22）に配置されている画素２aとでは、オンチップレンズ３１やカラーフィルタ３２，３３を備える構成は同様であるが、オンチップレンズ３１やカラーフィルタ３２，３３の配置位置が異なり、入射光の入射方向に適した位置にそれぞれ配置されている。
　図３の左下図に示した像高中心（位置P21）に配置されている画素２ａ－１の断面視の図を参照するに、図中矢印で示したように、画素２ａ－１には、入射光が真上から入射されため、オンチップレンズ３１－１の中心を通り、光電変換部５１へと光が入射される。像高中心に配置されている画素２ａ－１においては、オンチップレンズ３１－１の中心、カラーフィルタ３３－１の中心、およびカラーフィルタ３２－１の中心が一致するように、オンチップレンズ３１－１、カラーフィルタ３３－１、およびカラーフィルタ３２－１は配置されている。
　図３の左上図に示した像高中心（位置P21）に配置されている画素２ａ－１の平面視の図を参照するに、像高中心に配置されている画素２ａ－１においては、光軸方向から見た場合にオンチップレンズ３１－１、カラーフィルタ３２－１、カラーフィルタ３３－１、および光電変換部５１（Ｎ型半導体領域３６－１）の中心位置が一致している（同じ位置にある）。
　図３の右下図に示した高像高（位置P22）に配置されている画素２ａ－１１を参照するに、図中矢印で示したように、画素２ａ－１１には、入射光が図中左斜め上方向から入射される。この入射方向に合うように、オンチップレンズ３１－１１、カラーフィルタ３３－１１、カラーフィルタ３２－１１が配置されている。
　すなわち、入射光がオンチップレンズ３１－１の中心を通り、カラーフィルタ３３－１１の中心を通り、カラーフィルタ３２－１１の通り、光電変換部５１（Ｎ型半導体領域３６－１１）の中心に入射されるように、オンチップレンズ３１－１１、カラーフィルタ３３－１１、カラーフィルタ３２－１１は、それぞれ配置されている。
　ここで、同じ画素内における、光電変換部５１の中心位置からのオンチップレンズ３１やカラーフィルタ３３，３２の中心位置のずれ量、すなわち配置位置をずらす距離を、瞳補正の補正量と呼ぶこととする。画素２ａ－１１に注目した場合、オンチップレンズ３１－１の補正量は、カラーフィルタ３３－１１の補正量よりも大きくなり、カラーフィルタ３３－１１の補正量は、カラーフィルタ３２－１１の補正量よりも大きくなっている。
　図３の右下図に示した高像高（位置P22）に配置されている画素２ａ－１１においては、左斜め上方向から光が入射されるため、画素２ａ－１１の光電変換部５１（Ｎ型半導体領域３６－１１）の中心に対して、カラーフィルタ３２－１１は、左側にずれた位置に配置され、カラーフィルタ３３－１１は、カラーフィルタ３２－１１よりもさらに左側にずれた位置に配置され、オンチップレンズ３１－１１は、カラーフィルタ３３－１１よりもさらに左側にずれた位置に配置されている。
　図３の右上図に示した高像高（位置P22）に配置されている画素２ａ－１１の平面視の図を参照するに、高像高に配置されている画素２ａ－１１においては、オンチップレンズ３１－１の中心、カラーフィルタ３３－１の中心、およびカラーフィルタ３２－１の中心は、入射光の入射方向と一致するように、オンチップレンズ３１－１、カラーフィルタ３３－１、およびカラーフィルタ３２－１は配置されている。
　図２を再度参照するに、位置P22は、画素アレイ部３の右上に位置し、像高中心が、左斜め下側にある位置である。平面視において、画素２ａ－１１の光電変換部５１（Ｎ型半導体領域３６－１１）の中心に対して、カラーフィルタ３２－１１は、左斜め下側にずれた位置に配置され、カラーフィルタ３３－１１は、カラーフィルタ３２－１１よりもさらに左斜め下側にずれた位置に配置され、オンチップレンズ３１－１１は、カラーフィルタ３３－１１よりもさらに左斜め下側にずれた位置に配置されている。
　画素２ａ－１１の図中右側に配置されている画素２ａ－１２も、画素２ａ－１１と同様に、オンチップレンズ３１－１２、カラーフィルタ３３－１２、カラーフィルタ３２－１２に対して、適切な瞳補正が行われ、適切な位置にそれぞれ配置されている。
　このように、像高側に配置されている画素２ａは、オンチップレンズ３１やカラーフィルタ３３，３２が像高中心側にずれるように配置されている。高像高（位置P22）においては、画素アレイ部３に対して入射光は、図３における図中、左上から右下に向かって画素へと入射してくるため、光の入射角度に応じた補正量で瞳補正が行われる。瞳補正が行われることで、より多くの光を光電変換部５１へと入射させることができ、画素感度を向上させることができる。換言すれば、センサ特性を向上させることができる。
　カラーフィルタは、カラーフィルタ３２とカラーフィルタ３３の２層構造で設けられている。２層目のカラーフィルタ３３の配置位置、大きさ、形状などは、１層目のカラーフィルタ３２に依存しない。カラーフィルタ３３は、像高に応じた瞳補正として求められる補正量に応じた配置位置、大きさ、形状とすることができ、細かな瞳補正を行えるようになり、瞳補正をより適切に行うことができるようになる。
　図３の右下に示した画素２ａ－１１を参照するに、オンチップレンズ３１－１１とオンチップレンズ３１－１２との間に生じるギャップの位置と、カラーフィルタ３２－１１の中央の位置が略同じ位置に来ている。仮にカラーフィルタをカラーフィルタ３１－１１の一層で構成した場合、オンチップレンズ３１のギャップの位置に、カラーフィルタ３２－１１の最も膜厚がある部分が位置してしまう可能性がある。
　このような場合、オンチップレンズ３１のギャップに対してマージンが確保できなくなり、分光特性が低下してしまい、信頼性が低下してしまう可能性がある。
　上述した画素２ａにおいては、２層でカラーフィルタを形成しているため、オンチップレンズ３１側に設けられているカラーフィルタ３３の設計自由度が高くなり、オンチップレンズ３１のギャップに対してマージンが確保できる位置にカラーフィルタ３３を配置することができる。また、後述するように、オンチップレンズ３１のギャップに対してマージンが確保できる大きさや形状にカラーフィルタ３３を形成することができる。よって、分光特性が低下してしまう可能性を低下させ、信頼性が低下してしまう可能性を低下させることができる。
　図３を参照して説明した画素２ａは、カラーフィルタが２層で構成されている場合を例に挙げて説明したが、２層以上、例えば３層、４層などの複数層でカラーフィルタを構成することも可能である。図４に、３層でカラーフィルタを構成した場合の画素２ａの構成を示す。
　図４に示した画素２a、例えば、右下図に示した画素２a－１１を参照するに、カラーフィルタは、光電変換部５１側から順にカラーフィルタ３２－１１、カラーフィルタ４１－１１、カラーフィルタ３３－１１が積層された構成とされている。図３に示した画素２aと比較して、カラーフィルタ４１が追加された構成とされ、３層構造となっている点が異なり、他の点は同様である。
　カラーフィルタを複数層で構成することで、瞳補正量を、複数層の各層のカラーフィルタに対してそれぞれ設定することができ、より細かな瞳補正を行うことができ、より適切な瞳補正を行うことが可能となる。
　例えば画素２ａ－１１において、カラーフィルタ３２－１１の第１の瞳補正量、カラーフィルタ４１－１１の第２の瞳補正量、カラーフィルタ３３－１１の第３の瞳補正量、およびオンチップレンズ３１－１１の第４の瞳補正量はそれぞれ異なる。第１の補正量、第２の補正量、第３の補正量、および第４の補正量の順で、補正量が徐々に大きくなるように各補正量は設定されている。
　このように、カラーフィルタを複数層で構成することで、各層のカラーフィルタおよびオンチップレンズ３１に対して、それぞれ瞳補正量を設定することができるため、より細かな瞳補正を行うことができ、より適切な瞳補正を行うことが可能となる。
　カラーフィルタ３２、カラーフィルタ３３、およびカラーフィルタ４１は、それぞれ同一の厚さで形成されていても良いし、異なる厚さで形成されていても良い。
　カラーフィルタを複数層で構成した場合、各層の厚さは、同一であっても良いし、異なる厚さであっても良い。各層の厚さを調整することで、カラーフィルタ全体の厚さも調整することができる。
　カラーフィルタの厚さが厚くなると、カラーフィルタに吸収される入射光が増えるため、感度が低減してしまう可能性がある。このことを利用すると、画素２ａ毎に設けられているカラーフィルタの厚さを調整することで、画素アレイ部３内の画素２ａの感度を揃えたり、または所定の色の画素２ａは他の色の画素２ａよりも感度を高く（または低く）したりするといった調整を行うことができる。
　＜第２の実施の形態＞
　第２の実施の形態の画素２ｂとして、カラーフィルタの厚さが異なる構成を有する画素２について説明を加える。なお以下の説明では、カラーフィルタが２層で形成されている場合を例に挙げて説明するが、以下に説明する各実施の形態において、カラーフィルタを２層以外の複数層で形成することもでき、そのような複数層の場合も本技術の適用範囲である。以下の説明において、第１の実施の形態の画素２ａと同様の部分には同様の符号を付し、その説明は適宜省略する。
　図５に示した画素２ｂのうち、高像高（位置P22）側に配置されている画素２ｂ－１１と画素２ｂ－１２を参照する。画素２ｂ－１２のカラーフィルタ３３ｂ－１２は、画素２ｂ－１１のカラーフィルタ３３ｂ－１１より大きく形成されている。
　以下の説明において画素２ｂ－１２のカラーフィルタ３３ｂ－１２は赤色であり、画素２ｂ－１１のカラーフィルタ３３ｂ－１１は緑色であるとする。赤色の画素２ｂの感度を低下させ、緑色の画素２ｂと同程度の感度にしたい場合、赤色の画素２ｂに設けられているカラーフィルタ３３ｂは、緑色の画素２ｂに設けられているカラーフィルタ３３ｂより大きく（厚く）形成される。
　図５に示した例では、図中左側に示した像高中心の画素２ｂ－１、画素２ｂ－２では、同一の大きさのカラーフィルタ３３ｂ－１とカラーフィルタ３３ｂ－２が配置されている例を示したが、例えば、画素２ｂ－２が赤色の画素２ｂである場合、カラーフィルタ３３ｂ－２の大きさはカラーフィルタ３３ｂ－１よりも大きく形成されるようにしても良い。
　図５に示したように、像高中心に配置されているカラーフィルタ３３ｂの大きさは同一とし、高像高側に配置されている所定の色のカラーフィルタ３３ｂは、他の色のカラーフィルタ３３ｂよりも大きく形成されているように構成されていても良い。
　図示はしないが、画素アレイ部３内の画素２ｂの所定の色のカラーフィルタ３３は、他の色のカラーフィルタ３３ｂよりも大きく形成されるように構成されていても良い。色毎にカラーフィルタ３３ｂの厚さが異なるようにし、感度が色毎に調整されているような構成とすることもできる。
　像高が高くなるにつれて、大きく形成されるカラーフィルタ３３ｂの大きさも徐々に大きくなるような構成とすることもできる。
　＜第３の実施の形態＞
　第２の実施の形態においては、カラーフィルタ３３ｂが大きく形成される場合を例に挙げて説明したが、小さく形成されるようにすることも可能である。カラーフィルタの厚さが異なる構成を有する画素２について、第３の実施の形態の画素２ｃとして説明を加える。
　図６に示した画素２ｃのうち、像高中心（位置P21）に配置されている画素２ｃ－１と高像高（位置P22）側に配置されている画素２ｃ－１１を参照する。画素２ｃ－１１のカラーフィルタ３３ｃ－１１は、画素２ｃ－１のカラーフィルタ３３ｃ－１よりも小さく形成されている。
　高像高（位置P22）側に配置されている画素２ｃ－１１と画素２ｃ－１２を参照するに、画素２ｃ－１１のカラーフィルタ３３ｃ－１１と、画素２ｃ－１２のカラーフィルタ３３ｃ－１２は同程度に形成されている。画素２ｃ－１１に注目した場合、カラーフィルタ３３－１１の横幅は、カラーフィルタ３２－１１の横幅よりも小さく形成されている。
　図６に示した例では、高像高側に配置されている画素２ｃのカラーフィルタ３３ｃは、像高中心に配置されている画素２ｃのカラーフィルタ３３ｃよりも小さく形成されている。
　高像高側において、カラーフィルタ３３ｃを小さく形成することで、オンチップレンズ３１のギャップ部のマージンを拡大することができる。
　図６に示した例では、図中右側に示した高像高側の画素２ｃ－１１、画素２ｃ－１２には、同一の大きさのカラーフィルタ３３ｃ－１１とカラーフィルタ３３ｃ－１２が配置されている例を示したが、どちらか一方が小さく形成されているようにしても良い。同じく図６に示した例では、図中左側に示した像高中心側の画素２ｃ－１、画素２ｃ－１には、同一の大きさのカラーフィルタ３３ｃ－１とカラーフィルタ３３ｃ－２が配置されている例を示したが、どちらか一方が小さく形成されているようにしても良い。
　像高が高くなるにつれて、小さく形成されるカラーフィルタ３３ｃの大きさも小さくなるように形成されていても良い。
　＜第４の実施の形態＞
　第２および第３の実施の形態においては、カラーフィルタ３３が大きくまたは小さく形成される場合を例に挙げて説明したが、カラーフィルタ３３が形成されてない画素２が画素アレイ部３内に含まれるような構成とすることも可能である。
　図７に示した画素２ｄのうち、高像高（位置P22）側に配置されている画素２ｄ－１１と画素２ｄ－１２を参照する。画素２ｄ－１１のカラーフィルタ３３ｄ－１１は、カラーフィルタ３２ｄ－１１に積層されているが、画素２ｄ－１２のカラーフィルタ３３ｄ－１２に該当する領域にはカラーフィルタは形成されていない。図７ではカラーフィルタ３３ｄ－１２を点線で示し、形成されていないことを示している。
　カラーフィルタの厚さを調整することで感度を調整することができ、例えば、カラーフィルタの厚さを薄く形成することで、感度を上げることができる。例えば、画素２ｄ－１２のカラーフィルタ３３ｄ－１２は赤色であり、画素２ｄ－１１のカラーフィルタ３３ｄ－１１は緑色である場合、赤色の画素２ｄの感度を上げ、緑色の画素２ｄと同程度またはより良い感度にしたい場合、赤色の画素２ｄに設けられているカラーフィルタ３３ｄを除去（形成しない）構成とすることができる。
　図７に示した例では、図中左側に示した像高中心の画素２ｄ－１、画素２ｄ－２では、カラーフィルタ３３ｄ－１とカラーフィルタ３３ｄ－２がそれぞれ配置されている例を示したが、例えば、画素２ｄ－２が赤色の画素２ｄである場合、カラーフィルタ３３ｄ－２は形成されていないようにしても良い。
　画素アレイ部３内の所定の色のカラーフィルタは、（ｎ－１）層で形成され、他の色のカラーフィルタはｎ層で形成されているようにすることができる。
　＜第５の実施の形態＞
　第５の実施の形態における画素２ｅの構成について図８を参照して説明する。第５の実施の形態における画素２ｅは、図３に示した第１の実施の形態における画素２ａと比較し、オンチップレンズ３１ｅ－１２が、他のオンチップレンズ３１ｅよりも大きく形成されている点が異なり、他の点は同様である。
　図８に示した画素２ｅのうち、高像高（位置P22）側に配置されている画素２ｅ－１１と画素２ｅ－１２を参照する。画素２ｅ－１２のオンチップレンズ３１ｅ－１２は、画素２ｅ－１１のオンチップレンズ３１ｅ－１１より大きく（厚さが厚く）形成されている。
　所定の位置に配置されている画素２ｅのオンチップレンズ３１ｅは、他の位置に配置されている画素２ｅのオンチップレンズ３１ｅよりも、その厚さが厚く形成されているようにしても良い。
　図８に示した例では、図中左側に示した像高中心の画素２ｂ－１、画素２ｂ－２では、同一の大きさのオンチップレンズ３１ｅ－１とオンチップレンズ３１ｅ－２が配置されている例を示したが、例えば、オンチップレンズ３１ｅ－２の大きさはオンチップレンズ３１ｅ－１よりも大きく形成されるようにしても良い。
　図８に示したように、像高中心はオンチップレンズ３１ｅの大きさは同一とし、高像高側は所定の色のカラーフィルタ３３上のオンチップレンズ３１ｅは、他の色のカラーフィルタ３３上のオンチップレンズ３１ｅよりも大きく形成されるように構成されていても良い。または図示はしないが、画素アレイ部３内の画素２ｂの所定の色のカラーフィルタ３３上のオンチップレンズ３１は、他の色のカラーフィルタ３３上のオンチップレンズ３１ｅよりも大きく形成されるように構成されていても良い。
　像高が高くなるにつれて、大きく形成されるオンチップレンズ３１ｅの大きさも大きくなるように形成されていても良い。画素アレイ部３内の画素２ｅのオンチップレンズ３１ｅは、像高に応じて徐々に大きくなるように形成されていても良い。
　オンチップレンズ３１の形状や大きさに係わらず、カラーフィルタを複数層で形成することができ、上述した実施の形態と同じく、瞳補正を適切に行うことができる。
　＜第６の実施の形態＞
　第６の実施の形態における画素２ｆの構成について図９を参照して説明する。第６の実施の形態における画素２ｆは、図３に示した第１の実施の形態における画素２ａと比較し、大きく形成されている遮光膜３４ｆがあり、位相差を検出する画素２として用いることができる構成とされている点が異なり、他の点は同様である。
　像高中心（位置P21）に配置されている画素２ｆ－１を参照するに、画素２ｆ－１の図中右側に設けられている遮光膜３４ｆ－２は、図中左側に設けられている遮光膜３４ｆ－１よりも大きく（幅が長く）形成されている。遮光膜３４ｆ－２は、画素２ｆ－１の光入射面のほぼ半分程度覆う大きさで形成されている。
　画素２ｆ－１は、右半分が遮光膜３４ｆ－２で覆われているが、画素アレイ部３内には、左半分が遮光膜３４ｆで覆われている画素２ｆもあり、この２つの画素２ｆを対として位相差が検出されるように構成されている。このような画素を、適宜、位相差画素と記述する。
　高像高（位置P22）側に形成されている画素２ｆ－１１は、位相差画素とされている。画素２ｆ－１１には、図中左側に遮光膜３４ｆ－１１が設けられ、図中右側に遮光膜３４ｆ－１２が設けられている。画素２ｆ－１１は高像高側に配置されているため、瞳補正が施され、遮光膜３４ｆ－１１と遮光膜３４ｆ－１２は、画素２ｆ－１１の中心よりも、左側にずれた位置に配置されている。また遮光膜３４ｆ－１２は、遮光膜３４－１１よりも大きく（幅が長く）形成されている。遮光膜３４ｆ－１２は、結果的に画素２ｆ－１１の光入射面の半分以上を覆う大きさ、位置に形成されている。
　遮光膜３１ｆで挟まれる領域に、１層目のカラーフィルタ３２が形成され、その上に２層目のカラーフィルタ３３が形成されている点は、上記した実施の形態と同じである。すなわち、遮光膜３４の形状や大きさに係わらず、カラーフィルタを複数層で形成することができ、瞳補正を適切に行うことができる。
　＜第７の実施の形態＞
　第７の実施の形態における画素２ｇの構成について図１０を参照して説明する。第７の実施の形態における画素２ｇは、図９に示した第６の実施の形態における画素２ｆと同じく、位相差画素に複数層のカラーフィルタが設けられている点で同様であり、位相差画素にはカラーフィルタ３２が形成されていない位相差画素が含まれている点が異なる。
　図１０の左下に示した画素２ｇ－１は、位相差画素であり、遮光膜３４ｇ－１により入射面の図中左半分が覆われている構成とされている。画素２ｇ－１の遮光膜３４ｇ－１と遮光膜３４ｇ－２との間の領域には、カラーフィルタ３２ｇ－１が形成されている。
　図１０の右下に示した画素２ｇ－１１は、位相差画素であり、遮光膜３４ｇ－１１により入射面の図中左半分が覆われている構成とされている。画素２ｇ－１１の遮光膜３４ｇ－１１と遮光膜３４ｇ－１２との間の領域には、カラーフィルタ３２ｇ－１１に該当するカラーフィルタは形成されておらず、空間６１－１１が形成されている。空間６１－１１は、空気層であっても良いし、何らかの材料、例えばオンチップレンズ３１を形成している材料などが充填されている層であっても良い。
　画素２ｇ－１１の遮光膜３４ｇ－１１と遮光膜３４ｇ－１２とに挟まれる領域は、遮光膜３４ｇ－１２が大きく形成されているため、他の遮光膜３４ｇで挟まれている領域よりも小さい空間となる。このような小さな空間であるため、空間６１－１１を空気層で設けたとしても、空間６１－１１上に設けられているカラーフィルタ３３－１１がたわむようなことを防ぐことができる。
　なお、ここでは、大きく形成されている遮光膜３４ｇが配置されている画素２ｇにおいて空間６１が設けられている例を挙げて説明をしているが、積層されるカラーフィルタ３３がたわむようなことがなければ、大きく形成されている遮光膜３４ｇではない通常の大きさの遮光膜３１ｇが配置されている画素２ｇにおいても空間６１が設けられている構成としても良い。
　位相差画素は、光入射面の面積が小さくなっているため、感度は低下してしまう。空間６１－１１を設けることで、画素２ｇ－１１に入射される光は、カラーフィルタ３３－１１を透過すれば良く、他の画素２ｇのように、２層のカラーフィルタを透過する必要がなくなる。空間６１－１１を設けることで、入射光が透過するカラーフィルタの厚さを薄くすることができ、感度を向上させることができる。
　図１０に示した例では、図中左側に示した像高中心の画素２ｇ－１は位相差画素であるが、カラーフィルタ３２ｇ－１とカラーフィルタ３３－２が積層された構成を有している。像高中心などの配置位置にかかわらず、位相差画素は、画素２ｇ－１１と同じく、空間６１を有している構成とすることもできる。
　すなわち、画素アレイ部３内に配置されている位相差画素である画素２ｇは、（ｎ－１）層のカラーフィルタを有し、位相差画素以外の画素２ｇは、ｎ層のカラーフィルタを有する構成とすることができる。
　第７の実施の形態においても、カラーフィルタが複数層で形成されている構成を有するため、瞳補正を適切に行うことができる。また、カラーフィルタ３２の代わりに空間６１を設けることで、感度を向上させる（調整する）ことも可能となる。
　＜第８の実施の形態＞
　第８の実施の形態における画素２ｈの構成について図１１を参照して説明する。第８の実施の形態における画素２ｈは、図９に示した第６の実施の形態における画素２ｆと同じく、位相差画素に複数層のカラーフィルタが設けられている点で同様であり、１つの位相差画素で位相を検出できる構造となっている点が異なる。
　図１１の左下に示した画素２ｈ－１は、位相差画素であり、光電変換部５１が、２つ設けられている。画素２ｈ－１は、Ｎ型半導体領域３６ｈ－１とＮ型半導体領域３６ｈ－１’を有し、２つの光電変換部５１を有している。図９に示した位相差画素は、２つの画素２ｆを１組として位相差を取得する構成とされているが、図１１に示した位相差画素は、１つの画素２ｈ内に、２つの光電変換部５１を有し、１つの画素２ｈで位相差を取得する構成とされている。
　図１１に示した例では、像高中心に配置されている画素２ｈ－２や、高像高側に配置されている画素２ｈ－１１，２ｈ－１２も、画素２ｈ－１と同様の構成とされており、１つの画素２ｈで位相差を取得する位相差画素の構造を有している例を示した。
　画素２ｈは、２つの光電変換部５１を有し、それぞれの光電変換部５１で得られた信号をそれぞれ処理することで位相差を検出することができるし、それぞれの光電変換部５１で得られた信号を足し合わせて処理することで、１つの階調画素２ｈとして機能させることもできる。よって、画素アレイ部３内の全ての画素２ｈを、図１１に示した２つの光電変換部５１を有する構成としても、位相差信号と階調信号をそれぞれ得ることができる。
　２つの光電変換部５１を有する１つの画素２ｈとした構造においても、複数層で構成さらえるカラーフィルタを備える構成とすることができ、適切な瞳補正を行うことができる。
　＜第９の実施の形態＞
　第９の実施の形態における画素２ｉの構成について図１２を参照して説明する。第９の実施の形態における画素２ｉは、図１１に示した第８の実施の形態における画素２ｈと比較して、オンチップレンズ３１ｉの形状が異なり、他の部分は同様である。
　図１１を参照して説明した画素２ｈは、２つの光電変換部５１を有するため、それぞれの光電変換部５１に対して集光できるような形状を有するオンチップレンズ３１にすることで、より感度を向上させることができる。図１２に示した画素２ｉが備えるオンチップレンズ３１ｉは、２つの光電変換部５１にそれぞれ入射光を集光させるのに適した形状とされている。
　オンチップレンズ３１ｉは、２つの凸部を有し、それぞれの凸部が曲面を有するような形状とされている。例えば、画素２ｉ－１を参照するに、オンチップレンズ３１ｉの左側に設けられている凸部は、光電変換部５１の左側に形成されているＮ型半導体領域３６ｈ－１に光を集光させる位置、形状で設けられ、オンチップレンズ３１ｉの右側に設けられている凸部は、光電変換部５１の右側に形成されているＮ型半導体領域３６ｈ－１’に光を集光させる位置、形状で設けられている。
　他の画素２ｈに設けられているオンチップレンズ３１ｉも、画素２ｈ－１に設けられているオンチップレンズ３１ｉ－１と同様の形状で形成されている。またオンチップレンズ３１ｉは、瞳補正が施されることにより、高像高側では、瞳補正量に応じた位置に配置されている。
　オンチップレンズ３１ｉの形状にかかわらず、複数層のカラーフィルタを設けることができ、適切な瞳補正を行うことができる。
　＜第１０の実施の形態＞
　第１０の実施の形態における画素２ｊの構成について図１３を参照して説明する。第１０の実施の形態における画素２ｊは、図３に示した第１の実施の形態における画素２ａと比較して、隣接して配置されている２画素２ｊに同一の色のカラーフィルタ３３ｊが配置され、そのカラーフィルタ３３ｊ上には２画素２ｊに跨がるオンチップレンズ３１ｊが配置されている点が異なり、他の点は同様である。
　図中左側に示した画素２ｊ－１、画素２ｊ－２、および画素２ｊ－３は、隣接して配置されている画素である。画素２ｊ－１、画素２ｊ－２、および画素２ｊ－３のそれぞれに、カラーフィルタ３２ｊ－１、カラーフィルタ３２ｊ－２、およびカラーフィルタ３２ｊ－３が配置されている。カラーフィルタ３２ｊ－１の左側には、遮光膜３４－１が形成されている。カラーフィルタ３２ｊ－１とカラーフィルタ３２ｊ－２の間には、遮光膜３４－２が形成されている。カラーフィルタ３２ｊ－２とカラーフィルタ３２ｊ－３の間には、遮光膜３４－３が配置されている。カラーフィルタ３２ｊ－３の左側には、遮光膜３４－４が形成されている。
　カラーフィルタ３２ｊ－１とカラーフィルタ３２ｊ－２は、同色であり、例えば緑色のカラーフィルタ３２である。カラーフィルタ３２ｊ－３は、カラーフィルタ３２ｊ－１，３２ｊ－２とは異なる色、例えば赤色のカラーフィルタ３２である。
　カラーフィルタ３２ｊ－１とカラーフィルタ３２ｊ－２上には、カラーフィルタ３３ｊ－１が積層されている。カラーフィルタ３３ｊ－１は、２画素２ｊ上に設けられている。カラーフィルタ３２ｊ－３上には、カラーフィルタ３３ｊ－２が積層されている。カラーフィルタ３３ｊ－２は、１画素２ｊ上に設けられている。
　カラーフィルタ３３ｊ－１上には、オンチップレンズ３１ｊ－１が積層されている。オンチップレンズ３１ｊ－１は、２画素２ｊ上に設けられている。カラーフィルタ３３ｊ－２上には、オンチップレンズ３１ｊ－２が積層されている。オンチップレンズ３１ｊ－２は、１画素２ｊ上に設けられている。
　このように、画素アレイ部３に、２画素２ｊ上に１つのカラーフィルタ３４ｊとオンチップレンズ３１ｊが配置されている構造を有する画素２ｊと、１画素２ｊ上に１つのカラーフィルタ３４ｊとオンチップレンズ３１ｊが配置されている構造を有する画素２ｊとが混在している構成とすることもできる。
　高像高側に配置されている画素２ｊ－１１と画素２ｊ－１２は、上述した画素２ｊ－１と画素２ｊ－２と同様の構成を有し、２画素２ｊ上に１つのカラーフィルタ３４ｊとオンチップレンズ３１ｊが配置されている構造を有している。高像高側に配置されている画素２ｊ－１３は、上述した画素２ｊ－３と同様の構成を有し、１画素２ｊ上に１つのカラーフィルタ３４ｊとオンチップレンズ３１ｊが配置されている構造を有している。
　高像高側に配置されている画素２ｊ－１１から２ｊ－１３は、それぞれ瞳補正が施され、瞳補正量分だけ、オンチップレンズ３１ｊ、カラーフィルタ３３ｊ、およびカラーフィルタ３２ｊはずらされた位置に配置されている。上述した実施の形態と同じく、カラーフィルタが複数層で形成されていることで、より適切な瞳補正を行うことができる。
　高像高側に配置されているカラーフィルタ３３ｊ－１１とカラーフィルタ３３ｊ－１２を参照するに、カラーフィルタ３３ｊ－１１は、２画素２ｊに跨ぐ大きさで形成されているため、カラーフィルタ３３ｊ－１２よりも大きく形成されている。カラーフィルタ３３ｊ－２を、カラーフィルタ３３ｊ－１１が本来形成される領域の一部を含む領域まで形成しても良い。像高中心に配置されている画素２ｊ－２のカラーフィルタ３３ｊ－２と、高像高側に配置されている画素２ｊ－１２のカラーフィルタ３３ｊ－１２を比較した場合、カラーフィルタ３３ｊ－１２は、カラーフィルタ３３ｊ－２よりも大きく形成されているように構成することもできる。
　高像高側に配置されているカラーフィルタ３３ｊの大きさは、像高中心に配置されているカラーフィルタ３３ｊと同等の大きさで形成しても良いし、異なる大きさで形成しても良い。異なる大きさで形成することで、オンチップレンズ３１ｊ周辺の感度や混色を調整することができる。
　オンチップレンズ３１ｊやカラーフィルタ３３ｊの形状や大きさにかかわらず、複数層のカラーフィルタを設けることができ、適切な瞳補正を行うことができる。
　上述した第１から第１０の実施の形態は、それぞれ実施することも可能であるし、複数組み合わせて実施することも可能である。
　＜電子機器への適用例＞
　本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機など、画像取込部（光電変換部）に撮像素子を用いる電子機器全般に対して適用可能である。撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
　図１４は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。図１４の撮像装置１０００は、レンズ群などからなる光学部１００１、撮像素子（撮像デバイス）１００２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路１００３を備える。また、撮像装置１０００は、フレームメモリ１００４、表示部１００５、記録部１００６、操作部１００７、および電源部１００８も備える。DSP回路１００３、フレームメモリ１００４、表示部１００５、記録部１００６、操作部１００７および電源部１００８は、バスライン１００９を介して相互に接続されている。
　光学部１００１は、被写体からの入射光（像光）を取り込んで撮像素子１００２の撮像面上に結像する。撮像素子１００２は、光学部１００１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
　表示部１００５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、撮像素子１００２で撮像された動画または静止画を表示する。記録部１００６は、撮像素子１００２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部１００７は、ユーザによる操作の下に、撮像装置１０００が持つ様々な機能について操作指令を発する。電源部１００８は、DSP回路１００３、フレームメモリ１００４、表示部１００５、記録部１００６および操作部１００７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　図１４に示した撮像装置の一部に、上述した撮像素子１を適用することができる。
　＜内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１５は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１５では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１６は、図１５に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の画素が設けられている画素アレイ部を備え、
　前記画素は、
　カラーフィルタと、
　光電変換部とを備え、
　前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、
　前記光電変換部側に設けられている第１の前記カラーフィルタは、両端に遮光膜が配置され、
　前記第１のカラーフィルタに積層されている第２のカラーフィルタには、前記遮光膜は配置されていない
　撮像素子。
（２）
　前記第２のカラーフィルタは、複数のカラーフィルタが積層された構成とされている
　前記（１）に記載の撮像素子。
（３）
　前記第１のカラーフィルタは、前記遮光膜間の領域に形成され、前記遮光膜の厚さと同程度の厚さで形成されている
　前記（１）または（２）に記載の撮像素子。
（４）
　前記画素アレイ部には、前記第２のカラーフィルタの大きさが異なる画素が含まれる
　前記（１）から（３）のいずれかに記載の撮像素子。
（５）
　前記画素アレイ部には、前記第２のカラーフィルタが形成されていない画素が含まれる
　前記（１）から（４）のいずれかに記載の撮像素子。
（６）
　前記画素アレイ部には、前記第１のカラーフィルタが形成されていない画素が
　前記（１）から（５）のいずれかに記載の撮像素子。
（７）
　前記画素アレイ部には、前記遮光膜の大きさが異なり、前記第１のカラーフィルタの大きさが異なる画素が含まれる
　前記（１）から（６）のいずれかに記載の撮像素子。
（８）
　異なる大きさの前記遮光膜が配置されている前記画素は、位相差を検出する画素で
　前記（７）に記載の撮像素子。
（９）
　前記画素は、２つの前記光電変換部を備える
　前記（１）から（６）のいずれかに記載の撮像素子。
（１０）
　前記画素アレイ部には、隣接する２画素に跨がる前記第２のカラーフィルタが配置された画素が含まれる
　前記（１）から（９）のいずれかに記載の撮像素子。
（１１）
　前記複数のカラーフィルタのそれぞれは、瞳補正がされた位置に配置されている
　前記（１）から（１０）のいずれかに記載の撮像素子。
（１２）
　前記複数のカラーフィルタの各カラーフィルタに対する瞳補正量は異なる
　前記（１１）に記載の撮像素子。
（１３）
　複数の画素が設けられている画素アレイ部を備え、
　前記画素は、
　カラーフィルタと、
　光電変換部とを備え、
　前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、
　前記光電変換部側に設けられている第１の前記カラーフィルタと、前記第１のカラーフィルタに積層されている第２のカラーフィルタは、断面視において異なる形状である
　撮像素子。
（１４）
　前記第１のカラーフィルタは、遮光膜間に設けられた長方形の形状を有し、
　前記第２のカラーフィルタは、長方形とは異なる形状を有している
　前記（１３）に記載の撮像素子。
（１５）
　前記複数のカラーフィルタは、それぞれ異なる厚さで形成されている
　前記（１３）または（１４）に記載の撮像素子。
（１６）
　前記複数のカラーフィルタのそれぞれは、瞳補正がされた位置に配置されている
　前記（１３）から（１５）のいずれかに記載の撮像素子。
（１７）
　前記複数のカラーフィルタの各カラーフィルタに対する瞳補正量は異なる
　前記（１３）に記載の撮像素子。
　１　撮像素子，　２　画素，　３　画素アレイ部，　４　垂直駆動回路，　５　カラム信号処理回路，　６　水平駆動回路，　７　出力回路，　８　制御回路，　９　垂直信号線，　１０　画素駆動配線，　１１　水平信号線，　１２　半導体基板，　１３　入出力端子，　３１　オンチップレンズ，　３４　遮光膜，　３５　Ｐ型半導体領域，　３６　Ｎ型半導体領域，　３７　画素分離部，　４１　カラーフィルタ，　５１　光電変換部，　６１　空間

Claims (17)

  1. 　複数の画素が設けられている画素アレイ部を備え、
    　前記画素は、
    　カラーフィルタと、
    　光電変換部とを備え、
    　前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、
    　前記光電変換部側に設けられている第１の前記カラーフィルタは、両端に遮光膜が配置され、
    　前記第１のカラーフィルタに積層されている第２のカラーフィルタには、前記遮光膜は配置されていない
    　撮像素子。
  2. 　前記第２のカラーフィルタは、複数のカラーフィルタが積層された構成とされている
    　請求項１に記載の撮像素子。
  3. 　前記第１のカラーフィルタは、前記遮光膜間の領域に形成され、前記遮光膜の厚さと同程度の厚さで形成されている
    　請求項１に記載の撮像素子。
  4. 　前記画素アレイ部には、前記第２のカラーフィルタの大きさが異なる画素が含まれる
    　請求項１に記載の撮像素子。
  5. 　前記画素アレイ部には、前記第２のカラーフィルタが形成されていない画素が含まれる
    　請求項１に記載の撮像素子。
  6. 　前記画素アレイ部には、前記第１のカラーフィルタが形成されていない画素が含まれる
    　請求項１に記載の撮像素子。
  7. 　前記画素アレイ部には、前記遮光膜の大きさが異なり、前記第１のカラーフィルタの大きさが異なる画素が含まれる
    　請求項１に記載の撮像素子。
  8. 　異なる大きさの前記遮光膜が配置されている前記画素は、位相差を検出する画素である
    　請求項７に記載の撮像素子。
  9. 　前記画素は、２つの前記光電変換部を備える
    　請求項１に記載の撮像素子。
  10. 　前記画素アレイ部には、隣接する２画素に跨がる前記第２のカラーフィルタが配置された画素が含まれる
    　請求項１に記載の撮像素子。
  11. 　前記複数のカラーフィルタのそれぞれは、瞳補正がされた位置に配置されている
    　請求項１に記載の撮像素子。
  12. 　前記複数のカラーフィルタの各カラーフィルタに対する瞳補正量は異なる
    　請求項１１に記載の撮像素子。
  13. 　複数の画素が設けられている画素アレイ部を備え、
    　前記画素は、
    　カラーフィルタと、
    　光電変換部とを備え、
    　前記カラーフィルタは、複数のカラーフィルタが積層された構成とされ、
    　前記光電変換部側に設けられている第１の前記カラーフィルタと、前記第１のカラーフィルタに積層されている第２のカラーフィルタは、断面視において異なる形状である
    　撮像素子。
  14. 　前記第１のカラーフィルタは、遮光膜間に設けられた長方形の形状を有し、
    　前記第２のカラーフィルタは、長方形とは異なる形状を有している
    　請求項１３に記載の撮像素子。
  15. 　前記複数のカラーフィルタは、それぞれ異なる厚さで形成されている
    　請求項１３に記載の撮像素子。
  16. 　前記複数のカラーフィルタのそれぞれは、瞳補正がされた位置に配置されている
    　請求項１３に記載の撮像素子。
  17. 　前記複数のカラーフィルタの各カラーフィルタに対する瞳補正量は異なる
    　請求項１３に記載の撮像素子。
PCT/JP2025/019012 2024-06-11 2025-05-27 撮像素子 Pending WO2025258366A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-094386 2024-06-11
JP2024094386 2024-06-11

Publications (1)

Publication Number Publication Date
WO2025258366A1 true WO2025258366A1 (ja) 2025-12-18

Family

ID=98050425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/019012 Pending WO2025258366A1 (ja) 2024-06-11 2025-05-27 撮像素子

Country Status (1)

Country Link
WO (1) WO2025258366A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012143983A1 (ja) * 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
US20160351605A1 (en) * 2015-05-27 2016-12-01 SK Hynix Inc. Image sensor and electronic device having the same
WO2018043654A1 (ja) * 2016-09-02 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその製造方法、並びに電子機器
WO2021220610A1 (ja) * 2020-04-28 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2023203919A1 (ja) * 2022-04-20 2023-10-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012143983A1 (ja) * 2011-04-22 2012-10-26 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
US20160351605A1 (en) * 2015-05-27 2016-12-01 SK Hynix Inc. Image sensor and electronic device having the same
WO2018043654A1 (ja) * 2016-09-02 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその製造方法、並びに電子機器
WO2021220610A1 (ja) * 2020-04-28 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2023203919A1 (ja) * 2022-04-20 2023-10-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Similar Documents

Publication Publication Date Title
US12324264B2 (en) Solid-state imaging device and electronic device
US20240395838A1 (en) Imaging device
WO2023195316A1 (en) Light detecting device
WO2021241019A1 (ja) 撮像素子および撮像装置
WO2022009627A1 (ja) 固体撮像装置および電子機器
WO2020137203A1 (ja) 撮像素子および撮像装置
WO2022131034A1 (ja) 撮像装置
WO2021124975A1 (ja) 固体撮像装置および電子機器
US20240038807A1 (en) Solid-state imaging device
JP7503399B2 (ja) 固体撮像装置及びその製造方法、並びに電子機器
US12324257B2 (en) Imaging device and electronic device
JP7636332B2 (ja) 撮像素子および撮像装置
JP7504802B2 (ja) 固体撮像素子、固体撮像装置及び電子機器
US20260114066A1 (en) Photodetector, electronic apparatus, and optical element
US20250185397A1 (en) Imaging device
KR20250044877A (ko) 촬상 장치
WO2025258366A1 (ja) 撮像素子
WO2021140958A1 (ja) 撮像素子、製造方法、並びに電子機器
JP2021125574A (ja) 受光素子、固体撮像装置及び電子機器
JP7744921B2 (ja) 固体撮像装置
US20240379706A1 (en) Image pickup element and electronic device
WO2024203630A1 (ja) 光検出装置及び電子機器
WO2024166667A1 (ja) 光検出装置及び電子機器
TW202508038A (zh) 光檢測裝置及電子機器
JP2025026279A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821714

Country of ref document: EP

Kind code of ref document: A1