WO2020195180A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
WO2020195180A1
WO2020195180A1 PCT/JP2020/004107 JP2020004107W WO2020195180A1 WO 2020195180 A1 WO2020195180 A1 WO 2020195180A1 JP 2020004107 W JP2020004107 W JP 2020004107W WO 2020195180 A1 WO2020195180 A1 WO 2020195180A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
phase difference
lens
retardation
image
Prior art date
Application number
PCT/JP2020/004107
Other languages
English (en)
French (fr)
Inventor
章悟 黒木
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2020195180A1 publication Critical patent/WO2020195180A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to an image sensor and an image sensor. More specifically, the present invention relates to an image pickup element that detects an image plane phase difference and an image pickup device including the image pickup element.
  • a large image sensor equivalent to a 35 mm size has been used in an image pickup device such as a digital camera. Since the pixel size of such an image sensor is increased, the area of the on-chip lens that collects the light from the subject on each pixel is also increased. Further, in a back-illuminated image sensor in which incident light is emitted from the back surface side of the image sensor, the distance between the on-chip lens and the semiconductor substrate is shortened. Since the photoelectric conversion unit that photoelectrically converts the incident light is formed in the semiconductor substrate, the on-chip lens needs to collect the incident light on the semiconductor substrate. Therefore, in the back-illuminated image sensor, an on-chip lens having a high curvature and a short focal length is arranged.
  • an on-chip lens with a large area and a high curvature has a problem that the image sensor becomes taller because the lens thickness increases. Further, when a thick on-chip lens is arranged, there is a problem that oblique incident light from adjacent pixels increases and crosstalk occurs.
  • an image sensor has been proposed in which the area of the on-chip lens is reduced by arranging a plurality of on-chip lenses in a unit pixel to reduce the increase in the thickness of the on-chip lens even when the on-chip lens is configured to have a high curvature. (See, for example, Patent Document 1).
  • a phase difference pixel for detecting the image plane phase difference is arranged in this image sensor.
  • a photographing lens is arranged in an image pickup device such as a camera, and a subject is imaged on the image pickup element.
  • the image plane phase difference is the phase difference in the left-right direction and the up-down direction of the imaged subject.
  • the focal position of the photographing lens with respect to the subject can be detected.
  • the photoelectric conversion unit is arranged in each of the plurality of on-chip lenses arranged in the unit pixel constituting the phase difference pixel.
  • This unit pixel has the same size as a normal pixel that does not detect an image plane phase difference. Therefore, the retardation pixel has a configuration in which the unit pixel is divided into each of a plurality of on-chip lenses, and there is a problem that the sensitivity of the retardation pixel is lowered.
  • the present disclosure has been made in view of the above-mentioned problems, and an object of the present disclosure is to reduce a decrease in sensitivity of a retardation pixel even when the curvature of the on-chip lens of the retardation pixel is increased. ..
  • the present disclosure has been made in order to solve the above-mentioned problems, and the first aspect thereof is a pixel in which a photoelectric conversion unit that performs photoelectric conversion according to incident light from a subject is arranged, and the subject.
  • a phase difference pixel which is the pixel for detecting the image plane phase difference by dividing the incident light from the pupil, and a width smaller than the width of the phase difference pixel arranged in the phase difference pixel in the direction of the pupil division.
  • An image pickup comprising a retardation pixel central lens, which is an on-chip lens configured on the bottom surface of the image sensor, and a retardation pixel peripheral lens arranged adjacent to the retardation pixel central lens in the pupil division direction. It is an element.
  • the pixel central portion lens configured in substantially the same shape as the retardation pixel central portion lens and arranged in the pixel is configured in substantially the same shape as the retardation pixel peripheral portion lens.
  • a pixel peripheral lens arranged adjacent to the pixel central lens may be further provided.
  • the phase difference pixel central lens may be configured on the bottom surface having a width of approximately 2/3 of the width of the phase difference pixel in the direction of pupil division.
  • the retardation pixel peripheral lens may be configured to have a thickness different from that of the retardation pixel center lens.
  • the retardation pixel peripheral lens may be configured to have a thickness smaller than that of the retardation pixel center lens.
  • the retardation pixel may perform the pupil division by blocking a part of the incident light with a light-shielding film having an opening.
  • the retardation pixel may be configured such that a plurality of the photoelectric conversion units are arranged adjacent to each other in the direction of pupil division.
  • the pixel in which the photoelectric conversion unit that performs photoelectric conversion according to the incident light from the subject is arranged and the incident light from the subject are divided into pupils to detect the image plane phase difference.
  • the center of the phase difference pixel which is an on-chip lens arranged in the phase difference pixel and having a width smaller than the width of the phase difference pixel in the direction of pupil division.
  • a processing circuit that processes an image signal generated by a partial lens, a retardation pixel peripheral portion lens arranged adjacent to the retardation pixel central portion lens in the pupil division direction, and the pixel and the retardation pixel. It is an image pickup apparatus provided with.
  • the phase difference pixel peripheral portion lens is arranged in the region where the size of the phase difference pixel central portion lens in the pupil division direction of the retardation pixel is reduced. It is assumed that an image signal is generated by the incident light focused by the phase difference pixel peripheral lens.
  • FIG. 1 is a block diagram showing a configuration example of an image sensor according to an embodiment of the present disclosure.
  • the image pickup device 1 in the figure includes a pixel array unit 10, a vertical drive unit 20, a column signal processing unit 30, and a control unit 40.
  • the pixel array unit 10 is configured by arranging the pixels 100 in a two-dimensional grid pattern.
  • the pixel 100 generates an image signal according to the irradiated light.
  • the pixel 100 has a photoelectric conversion unit that generates an electric charge according to the irradiated light.
  • the pixel 100 further has a pixel circuit. This pixel circuit generates an image signal based on the electric charge generated by the photoelectric conversion unit. The generation of the image signal is controlled by the control signal generated by the vertical drive unit 20 described later.
  • the signal lines 11 and 12 are arranged in the pixel array unit 10 in an XY matrix.
  • the signal line 11 is a signal line that transmits a control signal of the pixel circuit in the pixel 100, is arranged for each line of the pixel array unit 10, and is commonly wired to the pixel 100 arranged in each line.
  • the signal line 12 is a signal line for transmitting an image signal generated by the pixel circuit of the pixel 100, is arranged in each row of the pixel array unit 10, and is commonly wired to the pixel 100 arranged in each row. To. These photoelectric conversion units and pixel circuits are formed on a semiconductor substrate.
  • the vertical drive unit 20 generates a control signal for the pixel circuit of the pixel 100.
  • the vertical drive unit 20 transmits the generated control signal to the pixel 100 via the signal line 11 in the figure.
  • the column signal processing unit 30 processes the image signal generated by the pixel 100.
  • the column signal processing unit 30 processes the image signal transmitted from the pixel 100 via the signal line 12 in the figure.
  • the processing in the column signal processing unit 30 corresponds to, for example, analog-to-digital conversion that converts an analog image signal generated in the pixel 100 into a digital image signal.
  • the image signal processed by the column signal processing unit 30 is output as an image signal of the image sensor 1.
  • the control unit 40 controls the entire image sensor 1.
  • the control unit 40 controls the image sensor 1 by generating and outputting a control signal for controlling the vertical drive unit 20 and the column signal processing unit 30.
  • the control signal generated by the control unit 40 is transmitted to the vertical drive unit 20 and the column signal processing unit 30 by the signal lines 41 and 42, respectively.
  • the column signal processing unit 30 is an example of the processing circuit described in the claims.
  • FIG. 2 is a diagram showing a configuration example of an image sensor according to the first embodiment of the present disclosure.
  • FIG. 6 is a plan view showing a configuration example of the pixel array unit 10 of the image sensor 1.
  • the rectangle of the alternate long and short dash line in the figure represents the region of pixel 100.
  • the shaded area represents the light-shielding film 152.
  • the light-shielding film 152 is a film that shields the peripheral edge of the pixel 100 from light-shielding.
  • An opening 153 of the light-shielding film 152 is arranged at the center of the pixel 100.
  • the broken line circle in the figure represents the on-chip lens 160.
  • the on-chip lens 160 is a lens that is arranged for each pixel 100 and collects incident light.
  • phase difference pixels 201 and 202 are further arranged in the pixel array unit 10 in the figure.
  • the phase difference pixels 201 and 202 are pixels for detecting the image plane phase difference of the subject by dividing the subject into pupils.
  • the retardation pixels 201 and 202 divide the subject into pupils in the left-right direction of the drawing.
  • the light-shielding film 152 shields the right side of the pixel, and the opening 154 of the light-shielding film 152 is arranged on the left side of the retardation pixel 201.
  • the light-shielding film 152 shields the left side of the pixel, and the opening 155 of the light-shielding film 152 is arranged on the right side of the retardation pixel 201.
  • the details of pupil division will be described later.
  • a plurality of such phase difference pixels 201 and 202 forming a pair are arranged in the pixel array unit 10.
  • the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 are arranged in the retardation pixels 201 and 202.
  • the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 are on-chip lenses having an oval shape.
  • the oval is a shape in which two circles having the same radius are connected by a common circumscribed line.
  • the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 are arranged side by side in the direction of pupil division of the retardation pixels 201 and 202.
  • the retardation pixel central lens 171 is arranged at the center of the retardation pixels 201 and 202, and the retardation pixel peripheral lenses 181 and 182 are arranged adjacent to the retardation pixel center lens 171.
  • FIG. 3 is a cross-sectional view showing a configuration example of a pixel according to the first embodiment of the present disclosure.
  • FIG. 6 is a cross-sectional view showing a configuration example of the pixel 100 and the retardation pixel 201.
  • the pixel 100 and the retardation pixel 201 have a common configuration except for the on-chip lens and the light-shielding film 152 described above. First, the configuration of the common part will be described.
  • the pixels 100 and the retardation pixels 201 in the figure are the semiconductor substrate 110, the wiring region 130, the support substrate 140, the protective film 120, the flattening film 151, the light-shielding film 152, the color filter 190, and the on-chip. It includes a lens 160.
  • the semiconductor substrate 110 is a semiconductor substrate on which the photoelectric conversion unit of the pixel 100 and the retardation pixel 201 and the diffusion region of the element of the pixel circuit are formed.
  • the semiconductor substrate 110 can be made of silicon (Si).
  • the photoelectric conversion unit 101 is shown as an example of this element or the like. Elements such as the photoelectric conversion unit 101 are formed in the well region formed on the semiconductor substrate 110.
  • the semiconductor substrate 110 in the figure is assumed to be configured in a p-type well region.
  • an n-type semiconductor region 112 is arranged for each pixel 100.
  • the photoelectric conversion unit 101 is composed of the n-type semiconductor region 112.
  • the photoelectric conversion unit 101 is configured by a pn junction at the interface between the n-type semiconductor region 112 and the p-type well region around the n-type semiconductor region 112. This pn junction corresponds to a photodiode. The incident light is photoelectrically converted by this photodiode.
  • the wiring area 130 is an area formed adjacent to the surface of the semiconductor substrate 110 and in which the wiring layer 132 for transmitting a signal to an element or the like of the semiconductor substrate 110 is arranged.
  • the wiring layer 132 can be made of, for example, a metal such as copper (Cu).
  • the insulating layer 131 is further arranged in the wiring region 130.
  • the insulating layer 131 insulates the wiring layer 132.
  • the insulating layer 131 can be made of, for example, silicon oxide (SiO 2 ).
  • the support substrate 140 is a substrate that supports the image sensor 1.
  • the support substrate 140 is a substrate that is joined to the wiring region 130 to improve the strength in the manufacturing process of the image sensor 1.
  • the protective film 120 is a film that is arranged on the back surface side of the semiconductor substrate 110 to protect the semiconductor substrate 110. Further, the protective film 120 insulates the back surface side of the semiconductor substrate 110.
  • the protective film 120 can be made of, for example, SiO 2 .
  • the light-shielding film 152 is a film that is arranged adjacent to the protective film 120 and is arranged at the boundary of the pixel 100 to block incident light.
  • the light-shielding film 152 blocks light obliquely incident from adjacent pixels 100. This makes it possible to reduce crosstalk, which is interference caused by light incident on another adjacent pixel 100.
  • the opening 153 is arranged in the light-shielding film 152 of the pixel 100. The incident light transmitted through the opening 153 is photoelectrically converted by the photoelectric conversion unit 101.
  • the flattening film 151 is a film that is arranged adjacent to the protective film 120 and the light-shielding film 152 to flatten the back surface side of the semiconductor substrate 110.
  • the flattening film 151 can be made of, for example, SiO 2 . By arranging the flattening film 151, the surface on which the color filter 190 described later is formed can be flattened.
  • the color filter 190 is an optical filter that transmits incident light having a predetermined wavelength among the incident light.
  • a color filter that transmits red light, green light, and blue light can be used.
  • the on-chip lens 160 is a lens that collects incident light.
  • the on-chip lens 160 has, for example, a bow-shaped cross section, and collects incident light on the photoelectric conversion unit 101.
  • a light-shielding film 152 having an opening 154 is arranged in the retardation pixel 201.
  • the light-shielding film 152 shields the right half of the retardation pixel 201 from light.
  • phase difference pixel 201 a phase difference pixel central lens 171 and a phase difference pixel peripheral lens 181 and 182 are arranged instead of the on-chip lens 160.
  • the center of the retardation pixel central lens 171 is arranged near the end of the light-shielding film 152 near the center of the retardation pixel 201.
  • the phase difference pixel central lens 171 is configured to have a hemispherical cross section. That is, the curvature is higher than that of the on-chip lens 160.
  • the retardation pixel central lens 171 collects the incident light in the vicinity of the central end of the light-shielding film 152. The details of condensing the incident light by the phase difference pixel central lens 171 will be described later.
  • the incident light can be focused on a shallower position on the light receiving surface as compared with the on-chip lens 160.
  • the width of the retardation pixel central lens 171 in the pupil division direction of the retardation pixel 201 is made smaller than the width of the retardation pixel 201.
  • the width of the retardation pixel central lens 171 in the left-right direction is made smaller than the width of the retardation pixel 201.
  • the retardation pixel peripheral lens 181 and 182 are arranged adjacent to the retardation pixel central lens 171.
  • the retardation pixel peripheral lens 181, the retardation pixel central lens 171 and the retardation pixel peripheral lens 182 are arranged in this order in the direction of pupil division of the retardation pixel 201.
  • the retardation pixel peripheral lenses 181 and 182 can collect the light incident between the end of the retardation pixel central lens 171 and the end of the retardation pixel 201. As a result, it is possible to compensate for the decrease in sensitivity due to making the width of the retardation pixel central lens 171 smaller than the width of the retardation pixel 201.
  • the retardation pixel peripheral lenses 181 and 182 in the figure can be configured to have substantially the same thickness as the retardation pixel central lens 171.
  • an opening 155 is arranged in the light-shielding film 152.
  • the opening 155 is arranged at the position of the right half of the retardation pixel 202, and the left half of the retardation pixel 202 is shielded from light.
  • the configuration of the retardation pixel 202 can be the same as that of the retardation pixel 201.
  • FIG. 4 is a diagram showing a configuration example of an on-chip lens of retardation pixels according to the first embodiment of the present disclosure.
  • FIG. 3 is a plan view showing a configuration example of the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182.
  • FIG. A in the figure is a diagram showing an example of a phase difference pixel 201 that divides the pupil in the left-right direction of the pixel array unit 10 described in FIG.
  • the phase difference pixel central lens 171 is arranged at the center, and the phase difference pixel peripheral lenses 181 and 182 are arranged so as to sandwich the phase difference pixel central lens 171.
  • the dotted rectangle represents the opening 154.
  • W1 represents the width of the retardation pixel 201
  • W2 represents the width of the retardation pixel central lens 171
  • W3 represents the width of the retardation pixel peripheral lenses 181 and 182.
  • the width W2 of the retardation pixel central lens 171 is configured to be approximately two-thirds of the width W1 of the retardation pixel 201. This is because it is possible to prevent a decrease in the image signal output from the phase difference pixel 201. If the width W2 of the retardation pixel central lens 171 is too small, the image signal output when the incident angle of the incident light on the retardation pixel 201, which will be described later, is high, is lowered. On the other hand, when the width W2 of the retardation pixel central lens 171 is larger than approximately 2/3 of W1, the retardation pixel central lens 171 becomes taller and the retardation pixel peripheral lenses 181 and 182 are formed. It will be difficult.
  • FIG. B in the figure is a diagram showing an example of the phase difference pixel 201 when the phase difference pixels 201 and 202 divide the pupil in the vertical direction of the pixel array unit 10.
  • the opening 154 of the light-shielding film 152 is arranged in the upper half region of the retardation pixel 201, and the lower half region of the retardation pixel 201 is shielded from light.
  • the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 are arranged side by side in the vertical direction of the retardation pixel 201.
  • the retardation pixel central lens 171 is configured to have a width smaller than the width of the retardation pixel 201 in the vertical direction, and the retardation pixel peripheral lenses 181 and 182 are arranged so as to sandwich the retardation pixel central lens 171 vertically. Will be done. That is, the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 of B in the figure are configured by rotating the retardation pixel central lens 171 and the like of A in the figure by 90 degrees. Can be done.
  • the configuration of the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 is not limited to this example.
  • the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 can be formed in an elliptical shape.
  • FIG. 5 is a diagram showing an example of detection of a phase difference according to the embodiment of the present disclosure.
  • the figure is a diagram for explaining the detection of the phase difference by the phase difference pixels 201 and 202, and is a diagram showing an example in which the subject 7 is focused on the pixel array unit 10 by the photographing lens 5.
  • the incident lights 6a and 6b are incident lights transmitted through the right side and the left side of the photographing lens 5, respectively. These incident lights 6a and 6b are converted into image signals by the retardation pixels 201 and 202, respectively.
  • a in the figure is a diagram showing a state of focusing, that is, a state of being in focus.
  • the focal position of the subject 7 becomes the light receiving surface of the pixel array unit 10, and the incident light from the subject 7 is focused on the light receiving surface of the pixel array unit 10.
  • a plurality of pairs of phase difference pixels 201 and 202 are arranged in the pixel array unit 10.
  • Incident light 6a and 6b are detected by a pair of retardation pixels 201 and 202 arranged at substantially the same position.
  • B and C in the figure are diagrams showing a state of being out of focus.
  • Reference numeral B in the figure is an example in which the focal position is behind the pixel array unit 10, and is an example in the case of a so-called rear pin. Since the incident lights 6a and 6b are focused behind the pixel array unit 10, the images of the incident lights 6a and 6b are displaced, and a widened image is formed on the light receiving surface of the pixel array unit 10. Therefore, the subject 7 is detected by the phase difference pixels 201 and the phase difference pixels 202 at positions separated from each other.
  • C in the figure is an example when the focal position comes to the front of the pixel array unit 10, and is an example when the so-called front pin is used.
  • the incident lights 6a and 6b are focused in front of the pixel array unit 10 to form a spread image on the light receiving surface. However, the images of the incident lights 6a and 6b are displaced in the direction opposite to that of B in the figure.
  • D to F in the figure are diagrams showing image signals by the phase difference pixels 201 and 202 in A to C in the figure, respectively.
  • the horizontal axis represents the positions of the plurality of retardation pixels 201 and 202.
  • the vertical axis represents the image signals of the plurality of retardation pixels 201 and 202.
  • D to F in the figure represent an image formed by the image signals of the plurality of retardation pixels 201 and 202 of the pixel array unit 10.
  • the solid lines D to F in the figure represent the image by the retardation pixel 201, and represent the image by the incident light 6a of A to C in the figure.
  • the broken lines D to F in the figure represent the image by the retardation pixel 202, and represent the image by the incident light 6b of A to C in the figure.
  • FIG. 6 is a diagram showing an example of focusing of incident light in the retardation pixel according to the first embodiment of the present disclosure.
  • the figure is a diagram schematically showing how incident light is focused in the retardation pixel 201.
  • the solid arrow indicates the incident light incident on the photoelectric conversion unit 101 (n-type semiconductor region 112) of the retardation pixel 201.
  • the dotted arrow represents the incident light that is blocked by the light-shielding film 152.
  • a and B in the figure are views showing the state of condensing the incident light when the on-chip lens 160 is assumed to be arranged in the phase difference pixel 201, and are shown as comparative examples. ..
  • A represents a case where the incident light perpendicular to the retardation pixel 201 is irradiated
  • B in the figure represents a case where the retardation pixel 201 is irradiated with the incident light from diagonally above right.
  • the light incident on the left half region of the retardation pixel 201 (301 in the figure) is applied to the photoelectric conversion unit 101 without being shielded from light.
  • the focal position of the on-chip lens 160 by arranging the focal position of the on-chip lens 160 near the end of the light-shielding film 152, the image signal corresponding to the change in the incident angle of the incident light can be obtained.
  • the change can be large. It is possible to easily detect a change in the incident angle of the incident light.
  • the curvature of the on-chip lens 160 since the curvature of the on-chip lens 160 is small, the distance H1 from the light-shielding film 152 becomes relatively long.
  • C and D in the figure are views showing the state of focusing of incident light in the retardation pixel 201 of the present disclosure.
  • C and D in the figure represent a case where a vertical incident light and an incident light from diagonally above right are irradiated, respectively.
  • the incident light 304 incident on the left half region of the retardation pixel central lens 171 and the incident light 303 incident on the retardation pixel peripheral lens 181 are irradiated to the photoelectric conversion unit 101.
  • the retardation pixel peripheral lens 181 collects the incident light incident between the end of the retardation pixel central lens 171 and the end of the retardation pixel 201 on the photoelectric conversion unit 101 without diffusing.
  • the amount of light that contributes to the photoelectric conversion in the photoelectric conversion unit 101 increases, and the sensitivity of the retardation pixel 201 can be improved.
  • the incident light incident on the right half region of the retardation pixel central lens 171 and the retardation pixel peripheral lens 182 is shielded by the light shielding film 152.
  • the incident light 306 in the phase difference pixel central lens 171 is irradiated to the photoelectric conversion unit 101.
  • the incident lights 304 and 306 in C and D in the figure have a larger rate of change. This is because the range of the incident light 306 occupies a large area on the surface of the phase difference pixel central lens 171.
  • the incident light 305 of the retardation pixel peripheral lens 181 is irradiated to the photoelectric conversion unit 101, and the incident light of the retardation pixel peripheral lens 182 is blocked. Further, since the curvature of the retardation pixel central lens 171 is high, the distance H2 from the light-shielding film 152 is relatively short.
  • FIG. 7 is a diagram showing an example of an image signal in the retardation pixel according to the first embodiment of the present disclosure.
  • the figure is a diagram showing the relationship between the incident angle of incident light and the image signal in the retardation pixel 201 and the like.
  • the vertical axis of the figure represents the relative level of the image signal output from the retardation pixel 201 or the like.
  • the horizontal axis in the figure represents the incident angle of the incident light.
  • the direction perpendicular to the retardation pixel 201 or the like corresponds to 0 degrees.
  • the positive and negative incident angles on the horizontal axis represent the incident angles from the oblique right direction and the oblique left direction of the retardation pixel 201 and the like, respectively.
  • the solid line graphs 311 and 312 in the figure represent the image signals of the phase difference pixels 201 and 202, respectively.
  • the dotted line graphs 321 and 322 in the figure represent image signals when it is assumed that the on-chip lens 160 is arranged in the retardation pixels 201 and 202, as in A in FIG.
  • the retardation pixel 201 when the retardation pixel 201 is irradiated with incident light from the left side, it is shielded by the light-shielding film 152, so that the level of the output image signal is low.
  • the retardation pixel 202 has the characteristics represented by the graphs 312 and 322.
  • the graphs 312 and 322 are graphs having the shape of inverted graphs 311 and 321 respectively.
  • the incident angle dependence of the image signals of the retardation pixels 201 and 202 is evaluated based on the change in the image signal in the incident angle range of ⁇ 5 to +5.
  • the retardation pixel central lens 171 of the retardation pixels 201 and 202 of the present disclosure has a reduced width and a high curvature, and therefore has an incident angle in the range of ⁇ 5 to +5.
  • the change in the image signal becomes large.
  • the on-chip lens 160 is arranged, the change in the image signal in the incident angle range of ⁇ 5 to +5 is relatively small.
  • FIG. 8 is a diagram showing another configuration example of the on-chip lens of the retardation pixel according to the first embodiment of the present disclosure.
  • FIG. 4 is a plan view showing a configuration example of the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182, as in FIG.
  • a in the figure is a diagram showing an example in which two retardation pixel center lenses 172 having a circular bottom surface are arranged instead of the retardation pixel center lens 171.
  • two phase difference pixel peripheral lenses 183 having a reduced length are arranged in place of the retardation pixel peripheral lens 181, and the length is reduced in place of the retardation pixel peripheral lens 182.
  • FIG. C in the figure is a diagram showing an example in which two sets of the retardation pixel central lens 172 and the retardation pixel peripheral lenses 183 and 184 are arranged.
  • the phase difference pixel central lens or the like of A to C in the figure can be configured to have a shape rotated by 90 degrees when the retardation pixel 201 or the like divides the pupil in the vertical direction of the pixel array portion 10.
  • a phase difference pixel central lens 173 having a shape obtained by combining the shape of the retardation pixel central lens 171 and the shape obtained by rotating the retardation pixel central lens 171 by 90 degrees is arranged in the central portion. It is a figure showing an example.
  • two circular retardation pixel peripheral lenses 185 and 186 are arranged. Since the phase difference pixel central lens 173 and the retardation pixel peripheral lenses 185 and 186 of D in the figure have symmetrical shapes in the vertical and horizontal directions, the retardation pixel 201 and the like divide the pupil in the vertical direction of the pixel array portion 10. It can also be applied in cases.
  • FIG. 9 is a cross-sectional view showing another configuration example of the on-chip lens of the retardation pixel according to the first embodiment of the present disclosure.
  • FIG. 3 is a cross-sectional view showing another configuration example of the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182.
  • FIG. A in the figure is a diagram showing an example in which the thickness of the retardation pixel peripheral lens 181 and 182 is made smaller than that of the retardation pixel central lens 171.
  • FIG. B in the figure is a diagram showing an example in which the bottom portion of the retardation pixel central lens 171 is arranged at a position higher than the retardation pixel peripheral lenses 181 and 182.
  • FIG. C in the figure is a diagram showing an example in which the thickness of the retardation pixel peripheral lens 181 and 182 is made larger than that of the retardation pixel central lens 171.
  • FIG. D in the figure is a diagram showing an example in which the bottom portion of the retardation pixel central lens 171 is arranged at a position lower than the retardation pixel peripheral lenses 181 and 182.
  • the thickness of the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 can be adjusted.
  • the thickness of the retardation pixel peripheral lenses 181 and 182 is smaller than that of the retardation pixel central lens 171, the focusing position by the retardation pixel peripheral lenses 181 and 182 can be deepened. This is because the curvature is small.
  • the light can be focused on the n-type semiconductor region 112 of the photoelectric conversion unit 101.
  • the phase difference pixel central lens 171 configured to have a high curvature by reducing the width in the direction of pupil division is the phase difference pixel 201 and the like. Is placed in. As a result, it is possible to increase the amount of change in the image signal with respect to the change in the incident angle of the incident light while preventing the image sensor 1 from becoming taller. Further, on the retardation pixel 201 and the like, the retardation pixel peripheral portion lenses 181 and 182 are further arranged adjacent to the retardation pixel central portion lens 171 in the direction of pupil division. It is possible to reduce the decrease in sensitivity due to the reduction of the phase difference pixel central lens 171.
  • Second Embodiment> In the image sensor 1 of the first embodiment described above, on-chip lenses having different shapes are arranged in the pixel 100 and the retardation pixels 201 and 202.
  • the image sensor 1 of the second embodiment of the present disclosure is different from the above-described first embodiment in that an on-chip lens having the same shape as the phase difference pixel 201 or the like is arranged on the pixel 100. ..
  • FIG. 10 is a cross-sectional view showing a configuration example of a pixel according to the second embodiment of the present disclosure.
  • FIG. 3 is a cross-sectional view showing a configuration example of the pixel 100 and the retardation pixel 201, as in FIG.
  • the pixel central lens 161 having the same shape as the phase difference pixel central lens 171 and the pixel peripheral lenses 162 and 163 having the same shape as the retardation pixel peripheral lenses 181 and 182 are arranged in the pixel 100. It is different from the image sensor 1 described.
  • the pixel central lens 161 and the pixel peripheral lenses 162 and 163 having the same cross-sectional shape as the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 are arranged in the pixel 100, respectively. Will be done. Further, the pixel central lens 161 and the pixel peripheral lenses 162 and 163 can be configured to have the same bottom surface shape as the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182, respectively. As a result, the shapes of the on-chip lenses of the phase difference pixels 201 and 202 and the pixel 100 become substantially the same.
  • the periodicity of the shape of the on-chip lens 160 is impaired in the vicinity of the retardation pixel 201 or the like. Therefore, the processing accuracy at the time of forming the on-chip lens 160 changes, and the pixel 100 arranged near the retardation pixel 201 and the like and the pixel 100 arranged at a position away from the retardation pixel 201 and the like are turned on.
  • the shape of the chip lens 160 changes.
  • the shape of the on-chip lens of the pixel 100 and the phase difference pixel 201 or the like are the same, the periodicity of the on-chip lens is maintained, and the shape of the on-chip lens of the pixel 100 can be prevented from fluctuating.
  • the pixel 100 is provided with an on-chip lens having substantially the same shape as the on-chip lens of the phase difference pixels 201 and 202. It is possible to prevent the shape of the on-chip lens from fluctuating.
  • the phase difference pixels 201 and the like that divide the pupil by the light-shielding film 152 are arranged.
  • the image sensor 1 of the third embodiment of the present disclosure is different from the above-described first embodiment in that pupil division is performed by dividing the photoelectric conversion unit of the retardation pixel 201.
  • FIG. 11 is a diagram showing a configuration example of an image sensor according to a third embodiment of the present disclosure. Similar to FIG. 2, FIG. 2 is a plan view showing a configuration example of the pixel array unit 10 of the image sensor 1.
  • the image sensor 1 in the figure is different from the image sensor 1 described in FIG. 2 in the following points.
  • the retardation pixel 203 is arranged instead of the retardation pixels 201 and 202. Further, a separation region is arranged in the pixel 100 and the retardation pixel 203, and the photoelectric conversion unit is divided into two.
  • a separation region 114 is arranged in the phase difference pixel 203 in the figure.
  • the alternate long and short dash line in the figure represents the separation region 114.
  • the separation region 114 is arranged on the semiconductor substrate 110 of the retardation pixel 203, and divides the photoelectric conversion unit of the retardation pixel 203 into two. Further, the separation region 114 can also be arranged in the pixel 100.
  • FIG. 12 is a cross-sectional view showing a configuration example of a pixel according to a third embodiment of the present disclosure.
  • FIG. 3 is a cross-sectional view showing a configuration example of the pixel 100 and the retardation pixel, as in FIG. It differs from the image pickup device 1 described with reference to FIG. 3 in that the retardation pixel 203 is arranged instead of the retardation pixel 201 and the separation region 114 is arranged on the semiconductor substrate 110.
  • the n-type semiconductor region of the semiconductor substrate 110 is separated by the separation region 114.
  • the separation region 114 can be composed of, for example, a p-type semiconductor region formed by ion implantation or an insulator embedded in a groove formed in the semiconductor substrate 110.
  • two n-type semiconductor regions 113 are arranged in the retardation pixel 201.
  • the two n-type semiconductor regions 113 constitute photoelectric conversion units 102 and 103, respectively.
  • Pixel circuits are arranged in each of the photoelectric conversion units 102 and 103, and image signals are individually generated.
  • the photoelectric conversion units 102 and 103 perform pupil division in the phase difference pixel 203.
  • the photoelectric conversion units 102 and 103 are irradiated with incident light transmitted through the right side and the left side of the photographing lens, respectively. Therefore, the image plane phase difference can be detected by one kind of phase difference pixel 203.
  • the configuration of the semiconductor substrate 110 can be made equal in the pixel 100 and the retardation pixel 203. Even in such a retardation pixel 203, by arranging the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182, it is possible to prevent the retardation pixel 203 from becoming taller and reduce the decrease in sensitivity. be able to.
  • retardation pixel central lenses 172 and 173 and the retardation pixel peripheral lenses 183 to 185 described in FIG. 8 can also be applied to the retardation pixels 203 of the present disclosure.
  • the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 are arranged on the retardation pixel 203. As a result, it is possible to prevent the retardation pixel 203 whose pupils are divided by the separation region 114 from becoming taller and reduce the decrease in sensitivity.
  • a phase difference pixel 203 including two photoelectric conversion units 102 and 103 is arranged.
  • the image sensor 1 of the fourth embodiment of the present disclosure is different from the above-described third embodiment in that phase difference pixels including four photoelectric conversion units are arranged.
  • FIG. 13 is a diagram showing a configuration example of the image sensor according to the fourth embodiment of the present disclosure. Similar to FIG. 2, FIG. 2 is a plan view showing a configuration example of the pixel array unit 10 of the image sensor 1. It differs from the image sensor 1 described with reference to FIG. 11 in that the phase difference pixel 204 is arranged instead of the phase difference pixel 203.
  • a separation region 115 is arranged in the phase difference pixel 204 in the figure.
  • the alternate long and short dash line in the figure represents the separation region 115.
  • the separation region 115 is formed in a cross shape in a plan view, and divides the photoelectric conversion portion of the retardation pixel 204 into four.
  • a pixel circuit is arranged in each of the photoelectric conversion units divided into four, and an image signal is generated respectively.
  • the phase difference pixel 204 is divided into pupils not only in the horizontal direction but also in the vertical direction.
  • the configuration of the semiconductor substrate 110 portion of the retardation pixel whose pupils are divided in the left-right direction and the retardation pixel whose pupils are divided in the vertical direction can be made common.
  • phase difference pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 in the figure have shapes corresponding to pupil division in the left-right direction.
  • the phase difference pixel central lens 171 and the phase difference pixel peripheral lenses 181 and 182 in the figure need to be rotated by 90 degrees.
  • the separation region 115 can also be arranged in the pixel 100.
  • FIG. 14 is a diagram showing another configuration example of the on-chip lens of the retardation pixel according to the fourth embodiment of the present disclosure.
  • a to D in the figure represent the retardation pixel 204 to which the arrangement of the phase difference pixel central lens 172 and the like of A to D in FIG. 8 is applied.
  • the phase difference pixels 204 of A to C in the figure represent the arrangement of the phase difference pixel central lens 172 and the like corresponding to the pupil division in the left-right direction. In order to correspond to the division of pupils in the vertical direction, it is necessary to rotate the phase difference pixel central lens 172 or the like by 90 degrees.
  • the symmetrical phase difference pixel central lens 173 and the retardation pixel peripheral lenses 185 and 186 are arranged vertically and horizontally. Therefore, the phase difference pixel 204 of D in the figure can correspond to the pupil division in the vertical direction and the horizontal direction.
  • the retardation pixel central lens 171 and the retardation pixel peripheral lenses 181 and 182 are arranged on the retardation pixel 204.
  • the technology according to the present disclosure can be applied to various products.
  • the present technology may be realized as an image pickup device mounted on an image pickup device such as a camera.
  • FIG. 15 is a block diagram showing a schematic configuration example of a camera which is an example of an imaging device to which the present technology can be applied.
  • the camera 1000 in the figure includes a lens 1001, an image pickup element 1002, an image pickup control unit 1003, a lens drive unit 1004, an image processing unit 1005, an operation input unit 1006, a frame memory 1007, a display unit 1008, and the like. It is provided with a recording unit 1009.
  • the lens 1001 is a photographing lens of the camera 1000.
  • the lens 1001 collects light from the subject and causes the light to be incident on the image sensor 1002 described later to form an image of the subject.
  • the image sensor 1002 is a semiconductor element that captures the light from the subject focused by the lens 1001.
  • the image sensor 1002 generates an analog image signal according to the irradiated light, converts it into a digital image signal, and outputs the signal.
  • the image pickup control unit 1003 controls the image pickup in the image pickup device 1002.
  • the image pickup control unit 1003 controls the image pickup device 1002 by generating a control signal and outputting the control signal to the image pickup device 1002. Further, the image pickup control unit 1003 can perform autofocus on the camera 1000 based on the image signal output from the image pickup device 1002.
  • the autofocus is a system that detects the focal position of the lens 1001 and automatically adjusts it.
  • a method (image plane phase difference autofocus) in which the image plane phase difference is detected by the phase difference pixels arranged in the image sensor 1002 to detect the focal position can be used. It is also possible to apply a method (contrast autofocus) of detecting the position where the contrast of the image is highest as the focal position.
  • the image pickup control unit 1003 adjusts the position of the lens 1001 via the lens drive unit 1004 based on the detected focal position, and performs autofocus.
  • the image pickup control unit 1003 can be configured by, for example, a DSP (Digital Signal Processor) equipped with firmware.
  • DSP Digital Signal Processor
  • the lens driving unit 1004 drives the lens 1001 based on the control of the imaging control unit 1003.
  • the lens driving unit 1004 can drive the lens 1001 by changing the position of the lens 1001 using a built-in motor.
  • the image processing unit 1005 processes the image signal generated by the image sensor 1002. This processing includes, for example, demosaic to generate an image signal of a color that is insufficient among the image signals corresponding to red, green, and blue for each pixel, noise reduction to remove noise of the image signal, and coding of the image signal. Applicable.
  • the image processing unit 1005 can be configured by, for example, a microcomputer equipped with firmware.
  • the operation input unit 1006 receives the operation input from the user of the camera 1000.
  • a push button or a touch panel can be used for the operation input unit 1006.
  • the operation input received by the operation input unit 1006 is transmitted to the image pickup control unit 1003 and the image processing unit 1005. After that, processing according to the operation input, for example, processing such as imaging of the subject is activated.
  • the frame memory 1007 is a memory that stores a frame that is an image signal for one screen.
  • the frame memory 1007 is controlled by the image processing unit 1005 and holds frames in the process of image processing.
  • the display unit 1008 displays the image processed by the image processing unit 1005.
  • a liquid crystal panel can be used for the display unit 1008, for example.
  • the recording unit 1009 records the image processed by the image processing unit 1005.
  • a memory card or a hard disk can be used for the recording unit 1009.
  • the cameras to which this disclosure can be applied have been described above.
  • the present technology can be applied to the image sensor 1002 among the configurations described above.
  • the image pickup device 1 described with reference to FIG. 1 can be applied to the image pickup device 1002.
  • the image plane phase difference can be detected by the phase difference pixels 201 and 202. It is possible to prevent a decrease in the sensitivity of the phase difference pixel while preventing the pixel from becoming taller.
  • the image control unit 1003 and the image processing unit 1005 are examples of the processing circuits described in the claims.
  • the camera 1000 is an example of the imaging device according to the claims.
  • the technology according to the present disclosure may be applied to other devices such as a monitoring device.
  • the present disclosure can be applied to a semiconductor device in the form of a semiconductor module in addition to an electronic device such as a camera.
  • the technique according to the present disclosure can also be applied to an image pickup module which is a semiconductor module in which the image pickup element 1002 and the image pickup control unit 1003 of FIG. 19 are enclosed in one package.
  • FIG. 16 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure can be applied.
  • FIG. 16 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processes on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal that has been image-processed by the CCU11201 under the control of the CCU11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light to the endoscope 11100 when photographing an operating part or the like.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for ablation of tissue, incision, sealing of blood vessels, and the like.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as texts, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-division manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to support each of RGB. It is also possible to capture the image in a time-division manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of changing the light intensity to acquire an image in a time-division manner and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the mucosal surface layer.
  • Narrow band imaging in which a predetermined tissue such as a blood vessel is photographed with high contrast, is performed.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating with excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 17 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicably connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image pickup unit 11402 is composed of an image pickup element.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and the focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Auto White Balance
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunication, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape and color of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the operation support information and presenting it to the operator 11131, it is possible to reduce the burden on the operator 11131 and to allow the operator 11131 to proceed with the operation reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication was performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 11402 among the configurations described above.
  • the image sensor 1 of FIG. 1 can be applied to the image pickup unit 10402.
  • the technique according to the present disclosure it is possible to reduce a decrease in the sensitivity of the retardation pixel. Since a clearer image of the surgical site can be obtained, the operator can surely confirm the surgical site.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 18 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a moving body control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • an imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 19 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as imaging units 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 19 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the image sensor 1 of FIG. 1 can be applied to the image pickup unit 12031.
  • drawings in the above-described embodiment are schematic, and the ratio of the dimensions of each part does not always match the actual one.
  • the drawings include parts having different dimensional relationships and ratios from each other.
  • the present technology can have the following configurations.
  • the phase difference pixel which is the pixel for detecting the image plane phase difference by dividing the incident light from the subject into pupils
  • a phase difference pixel central lens which is an on-chip lens arranged in the phase difference pixel and formed on the bottom surface having a width smaller than the width of the retardation pixel in the direction of pupil division.
  • An image sensor including a phase difference pixel peripheral portion lens arranged adjacent to the phase difference pixel central portion lens in the direction of pupil division.
  • a pixel center lens configured in substantially the same shape as the phase difference pixel center lens and arranged in the pixel.
  • the image pickup device further comprising a pixel peripheral lens that is configured to have substantially the same shape as the retardation pixel peripheral lens and is arranged adjacent to the pixel central lens.
  • a pixel peripheral lens that is configured to have substantially the same shape as the retardation pixel peripheral lens and is arranged adjacent to the pixel central lens.
  • phase difference pixel shields a part of the incident light by a light-shielding film having an opening to divide the pupil.
  • phase difference pixel is formed by arranging a plurality of the photoelectric conversion units adjacent to each other in the direction of pupil division.
  • the phase difference pixel which is the pixel for detecting the image plane phase difference by dividing the incident light from the subject into pupils
  • a phase difference pixel central lens which is an on-chip lens arranged in the phase difference pixel and formed on the bottom surface having a width smaller than the width of the retardation pixel in the direction of pupil division.
  • An image pickup apparatus including the pixel and a processing circuit for processing an image signal generated by the phase difference pixel.
  • Image sensor 10 Pixel array unit 30
  • On-chip lens 161 Pixel central lens 162
  • Pixel peripheral lens 171 to 173 Phase difference pixel central part lens 181 to 186
  • Phase difference pixel peripheral part lens 201 to 204 Phase difference pixel 1000

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

位相差画素の感度の低下を軽減する。　撮像素子は、画素、位相差画素、位相差画素中央部レンズおよび位相差画素周辺部レンズを具備する。その画素は、被写体からの入射光に応じて光電変換を行う光電変換部が配置される。その位相差画素は、被写体からの入射光を瞳分割して像面位相差を検出するための画素である。その位相差画素中央部レンズは、位相差画素に配置されて瞳分割の方向において位相差画素の幅より小さい幅の底面に構成されるオンチップレンズである。その位相差画素周辺部レンズは、瞳分割の方向に位相差画素中央部レンズに隣接して配置される。

Description

撮像素子および撮像装置
　本開示は、撮像素子および撮像装置に関する。詳しくは、像面位相差を検出する撮像素子および当該撮像素子を備える撮像装置に関する。
　従来、デジタルカメラ等の撮像装置において３５ｍｍサイズ相当の大型の撮像素子が使用されている。このような撮像素子では、画素サイズが大型化するため、各画素に被写体からの光を集光するオンチップレンズも大面積化する。また、撮像素子の裏面側から入射光が照射される裏面照射型の撮像素子では、オンチップレンズと半導体基板との間の距離が短くなる。入射光を光電変換する光電変換部は半導体基板中に形成されるため、オンチップレンズは半導体基板に入射光を集光する必要がある。このため、裏面照射型の撮像素子においては、曲率を高くして焦点距離を短縮したオンチップレンズが配置される。
　しかし、大面積かつ曲率が高いオンチップレンズはレンズ厚さが増加するため、撮像素子が高背化するという問題がある。また、厚い形状のオンチップレンズが配置されると、隣接する画素からの斜めの入射光が増加してクロストークを生じるという問題も生じる。
　そこで、単位画素に複数のオンチップレンズを配置することによりオンチップレンズの面積を縮小し、高い曲率に構成した場合であってもオンチップレンズの厚さの増加を軽減した撮像素子が提案されている（例えば、特許文献１参照。）。
特開２０１５－１６７２１９号公報
　この撮像素子には、像面位相差を検出するための位相差画素が配置される。カメラ等の撮像装置には撮影レンズが配置され、撮像素子に被写体が結像される。像面位相差は、この結像された被写体の左右方向や上下方向の位相差である。この像面位相差を検出することにより、被写体に対する撮影レンズの焦点位置を検出することができる。この焦点位置に基づいて撮影レンズの位置を調整することにより、自動的に被写体にピントを合わせるオートフォーカスが可能となる。上述の従来技術においては、位相差画素を構成する単位画素に配置された複数のオンチップレンズのそれぞれに光電変換部が配置される。この単位画素は、像面位相差を検出しない通常の画素と同じサイズである。このため、位相差画素は、単位画素が複数のオンチップレンズ毎に分割された構成となり、位相差画素の感度が低下するという問題がある。
　本開示は、上述した問題点に鑑みてなされたものであり、位相差画素のオンチップレンズの曲率を高くした場合であっても、位相差画素の感度の低下を軽減することを目的としている。
　本開示は、上述の問題点を解消するためになされたものであり、その第１の態様は、被写体からの入射光に応じて光電変換を行う光電変換部が配置される画素と、上記被写体からの入射光を瞳分割して像面位相差を検出するための上記画素である位相差画素と、上記位相差画素に配置されて上記瞳分割の方向において上記位相差画素の幅より小さい幅の底面に構成されるオンチップレンズである位相差画素中央部レンズと、上記瞳分割の方向に上記位相差画素中央部レンズに隣接して配置される位相差画素周辺部レンズとを具備する撮像素子である。
　また、この第１の態様において、上記位相差画素中央部レンズと略同じ形状に構成されて上記画素に配置される画素中央部レンズと、上記位相差画素周辺部レンズと略同じ形状に構成されて上記画素中央部レンズに隣接して配置される画素周辺部レンズとをさらに具備してもよい。
　また、この第１の態様において、上記位相差画素中央部レンズは、上記瞳分割の方向における上記位相差画素の幅の略２／３の幅の底面に構成されてもよい。
　また、この第１の態様において、上記位相差画素周辺部レンズは、上記位相差画素中央部レンズとは異なる厚さに構成されてもよい。
　また、この第１の態様において、上記位相差画素周辺部レンズは、上記位相差画素中央部レンズより小さい厚さに構成されてもよい。
　また、この第１の態様において、上記位相差画素は、開口部を有する遮光膜により上記入射光の一部を遮光して上記瞳分割を行ってもよい。
　また、この第１の態様において、上記位相差画素は、複数の上記光電変換部が上記瞳分割の方向に隣接して配置されて構成されてもよい。
　また、本開示の第２の態様は、被写体からの入射光に応じて光電変換を行う光電変換部が配置される画素と、上記被写体からの入射光を瞳分割して像面位相差を検出するための上記画素である位相差画素と、上記位相差画素に配置されて上記瞳分割の方向において上記位相差画素の幅より小さい幅の底面に構成されるオンチップレンズである位相差画素中央部レンズと、上記瞳分割の方向に上記位相差画素中央部レンズに隣接して配置される位相差画素周辺部レンズと、上記画素および上記位相差画素により生成された画像信号を処理する処理回路とを具備する撮像装置である。
　このような態様を採ることにより、位相差画素における位相差画素中央部レンズの瞳分割方向のサイズが縮小された領域に位相差画素周辺部レンズが配置されるという作用をもたらす。位相差画素周辺部レンズにより集光された入射光による画像信号の生成が想定される。
本開示の実施の形態に係る撮像素子の構成例を示すブロック図である。 本開示の第１の実施の形態に係る撮像素子の構成例を示す図である。 本開示の第１の実施の形態に係る画素の構成例を示す断面図である。 本開示の第１の実施の形態に係る位相差画素のオンチップレンズの構成例を示す図である。 本開示の実施の形態に係る位相差の検出の一例を示す図である。 本開示の第１の実施の形態に係る位相差画素における入射光の一例を示す図である。 本開示の第１の実施の形態に係る位相差画素における画像信号の一例を示す図である。 本開示の第１の実施の形態に係る位相差画素のオンチップレンズの他の構成例を示す図である。 本開示の第１の実施の形態に係る位相差画素のオンチップレンズの他の構成例を示す断面図である。 本開示の第２の実施の形態に係る画素の構成例を示す断面図である。 本開示の第３の実施の形態に係る撮像素子の構成例を示す図である。 本開示の第３の実施の形態に係る画素の構成例を示す断面図である。 本開示の第４の実施の形態に係る撮像素子の構成例を示す図である。 本開示の第４の実施の形態に係る位相差画素のオンチップレンズの他の構成例を示す図である。 本技術が適用され得る撮像装置の一例であるカメラの概略的な構成例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　次に、図面を参照して、本開示を実施するための形態（以下、実施の形態と称する）を説明する。以下の図面において、同一または類似の部分には同一または類似の符号を付している。また、以下の順序で実施の形態の説明を行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．第３の実施の形態
　４．第４の実施の形態
　５．カメラへの応用例
　６．内視鏡手術システムへの応用例
　７．移動体への応用例
　＜１．第１の実施の形態＞
　［撮像素子の構成］
　図１は、本開示の実施の形態に係る撮像素子の構成例を示すブロック図である。同図の撮像素子１は、画素アレイ部１０と、垂直駆動部２０と、カラム信号処理部３０と、制御部４０とを備える。
　画素アレイ部１０は、画素１００が２次元格子状に配置されて構成されたものである。ここで、画素１００は、照射された光に応じた画像信号を生成するものである。この画素１００は、照射された光に応じた電荷を生成する光電変換部を有する。また画素１００は、画素回路をさらに有する。この画素回路は、光電変換部により生成された電荷に基づく画像信号を生成する。画像信号の生成は、後述する垂直駆動部２０により生成された制御信号により制御される。画素アレイ部１０には、信号線１１および１２がＸＹマトリクス状に配置される。信号線１１は、画素１００における画素回路の制御信号を伝達する信号線であり、画素アレイ部１０の行毎に配置され、各行に配置される画素１００に対して共通に配線される。信号線１２は、画素１００の画素回路により生成された画像信号を伝達する信号線であり、画素アレイ部１０の列毎に配置され、各列に配置される画素１００に対して共通に配線される。これら光電変換部および画素回路は、半導体基板に形成される。
　垂直駆動部２０は、画素１００の画素回路の制御信号を生成するものである。この垂直駆動部２０は、生成した制御信号を同図の信号線１１を介して画素１００に伝達する。カラム信号処理部３０は、画素１００により生成された画像信号を処理するものである。このカラム信号処理部３０は、同図の信号線１２を介して画素１００から伝達された画像信号の処理を行う。カラム信号処理部３０における処理には、例えば、画素１００において生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換が該当する。カラム信号処理部３０により処理された画像信号は、撮像素子１の画像信号として出力される。制御部４０は、撮像素子１の全体を制御するものである。この制御部４０は、垂直駆動部２０およびカラム信号処理部３０を制御する制御信号を生成して出力することにより、撮像素子１の制御を行う。制御部４０により生成された制御信号は、信号線４１および４２により垂直駆動部２０およびカラム信号処理部３０に対してそれぞれ伝達される。
　なお、カラム信号処理部３０は、請求の範囲に記載の処理回路の一例である。
　［画素アレイ部の構成］
　図２は、本開示の第１の実施の形態に係る撮像素子の構成例を示す図である。同図は、撮像素子１のうちの画素アレイ部１０の構成例を表す平面図である。同図の１点鎖線の矩形が画素１００の領域を表す。また、同図において斜線のハッチングが付された領域は、遮光膜１５２を表す。この遮光膜１５２は、画素１００の周縁部を遮光する膜である。画素１００の中央部には、遮光膜１５２の開口部１５３が配置される。また、同図の破線の円は、オンチップレンズ１６０を表す。このオンチップレンズ１６０は、画素１００毎に配置されて入射光を集光するレンズである。
　なお、同図の画素アレイ部１０には、画素１００の他に位相差画素２０１および２０２がさらに配置される。この位相差画素２０１および２０２は、被写体を瞳分割することにより被写体の像面位相差を検出するための画素である。位相差画素２０１および２０２は、図面の左右方向に被写体を瞳分割する。位相差画素２０１においては、遮光膜１５２が画素の右側を遮光し、遮光膜１５２の開口部１５４は位相差画素２０１の左側に配置される。同様に、位相差画素２０２においては、遮光膜１５２が画素の左側を遮光し、遮光膜１５２の開口部１５５は位相差画素２０１の右側に配置される。瞳分割の詳細については後述する。このような、対を構成する位相差画素２０１および２０２が画素アレイ部１０に複数配置される。
　画素１００とは異なり、位相差画素２０１および２０２には、それぞれ３つのオンチップレンズが配置される。すなわち、位相差画素２０１および２０２には、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２が配置される。これらの位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２は、長円形状に構成されるオンチップレンズである。ここで、長円とは、半径が等しい２つの円を共通外接線でつないだ形である。また、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２は、位相差画素２０１および２０２の瞳分割の方向に並べて配置される。位相差画素中央部レンズ１７１は位相差画素２０１および２０２の中央部に配置され、位相差画素周辺部レンズ１８１および１８２は位相差画素中央部レンズ１７１に隣接して配置される。
　［画素の断面の構成］
　図３は、本開示の第１の実施の形態に係る画素の構成例を示す断面図である。同図は、画素１００および位相差画素２０１の構成例を表す断面図である。画素１００および位相差画素２０１は、前述のオンチップレンズおよび遮光膜１５２を除いて共通の構成となる。まず、共通部分の構成について説明する。同図の画素１００および位相差画素２０１は、半導体基板１１０と、配線領域１３０と、支持基板１４０と、保護膜１２０と、平坦化膜１５１と、遮光膜１５２と、カラーフィルタ１９０と、オンチップレンズ１６０とを備える。
　半導体基板１１０は、画素１００および位相差画素２０１の光電変換部や画素回路の素子の拡散領域が形成される半導体の基板である。この半導体基板１１０は、シリコン（Ｓｉ）により構成することができる。同図には、この素子等の例として光電変換部１０１を記載した。光電変換部１０１等の素子は、半導体基板１１０に形成されたウェル領域に形成される。便宜上、同図の半導体基板１１０は、ｐ型のウェル領域に構成されると想定する。半導体基板１１０には、ｎ型半導体領域１１２が画素１００毎に配置される。光電変換部１０１は、このｎ型半導体領域１１２により構成される。具体的には、光電変換部１０１は、ｎ型半導体領域１１２とｎ型半導体領域１１２の周囲のｐ型のウェル領域との界面のｐｎ接合により構成される。このｐｎ接合部は、フォトダイオードに該当する。このフォトダイオードにより入射光が光電変換される。
　配線領域１３０は、半導体基板１１０の表面に隣接して形成されて、半導体基板１１０の素子等に信号を伝達する配線層１３２が配置される領域である。配線層１３２は、例えば、銅（Ｃｕ）等の金属により構成することができる。また、配線領域１３０には、絶縁層１３１がさらに配置される。この絶縁層１３１は、配線層１３２を絶縁するものである。この絶縁層１３１は、例えば、酸化シリコン（ＳｉＯ2）により構成することができる。
　支持基板１４０は、撮像素子１を支持する基板である。この支持基板１４０は、配線領域１３０に接合されて、撮像素子１の製造工程において強度を向上させる基板である。
　保護膜１２０は、半導体基板１１０の裏面側に配置されて半導体基板１１０を保護する膜である。また、保護膜１２０は、半導体基板１１０の裏面側の絶縁を行う。この保護膜１２０は、例えば、ＳｉＯ2により構成することができる。
　遮光膜１５２は、保護膜１２０に隣接して配置されるとともに画素１００の境界に配置されて入射光を遮光する膜である。この遮光膜１５２は、隣接する画素１００から斜めに入射する光を遮光する。これにより、隣接する他の画素１００に入射した光による干渉であるクロストークを軽減することができる。前述したように、画素１００の遮光膜１５２には、開口部１５３が配置される。開口部１５３を透過した入射光が光電変換部１０１により光電変換される。
　平坦化膜１５１は、保護膜１２０および遮光膜１５２に隣接して配置されて半導体基板１１０の裏面側を平坦化する膜である。この平坦化膜１５１は、例えば、ＳｉＯ2により構成することができる。平坦化膜１５１を配置することにより、後述するカラーフィルタ１９０が形成される面を平坦化することができる。
　カラーフィルタ１９０は、入射光のうちの所定の波長の入射光を透過する光学的なフィルタである。このカラーフィルタ１９０には、例えば、赤色光、緑色光および青色光を透過するカラーフィルタを使用することができる。
　オンチップレンズ１６０は、前述のように、入射光を集光するレンズである。このオンチップレンズ１６０は、例えば、弓形の断面に構成され、入射光を光電変換部１０１に集光する。
　一方、位相差画素２０１には、開口部１５４を備える遮光膜１５２が配置される。この遮光膜１５２により、位相差画素２０１の右半分が遮光される。
　また、位相差画素２０１には、オンチップレンズ１６０の代わりに位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２が配置される。同図に表したように、位相差画素中央部レンズ１７１は、その中心が位相差画素２０１の中央部寄りの遮光膜１５２の端部の近傍に配置される。また、位相差画素中央部レンズ１７１は、半球形状の断面に構成される。すなわちオンチップレンズ１６０より高い曲率に構成される。これにより、位相差画素中央部レンズ１７１は、入射光を遮光膜１５２の中央部端部の近傍に集光する。位相差画素中央部レンズ１７１による入射光の集光の詳細については後述する。
　位相差画素中央部レンズ１７１を高い曲率に構成することにより、オンチップレンズ１６０と比較して、受光面の浅い位置に入射光を集光させることができる。また、位相差画素２０１の瞳分割方向における位相差画素中央部レンズ１７１の幅を位相差画素２０１の幅より小さくする。同図の位相差画素２０１においては、位相差画素中央部レンズ１７１の左右方向の幅を位相差画素２０１の幅より小さくする。これにより、高い曲率を有するとともにオンチップレンズ１６０と略同じ厚さの位相差画素中央部レンズ１７１を構成することができる。
　また、位相差画素中央部レンズ１７１に隣接して位相差画素周辺部レンズ１８１および１８２が配置される。位相差画素２０１の瞳分割の方向に位相差画素周辺部レンズ１８１、位相差画素中央部レンズ１７１および位相差画素周辺部レンズ１８２が順に並べて配置される。この位相差画素周辺部レンズ１８１および１８２により、位相差画素中央部レンズ１７１の端部と位相差画素２０１の端部との間に入射する光を集光することができる。これにより、位相差画素中央部レンズ１７１の幅を位相差画素２０１の幅より小さくすることによる感度の低下を補償することができる。また、同図の位相差画素周辺部レンズ１８１および１８２は、位相差画素中央部レンズ１７１と略同じ厚さに構成することができる。
　図２において説明した位相差画素２０２には、遮光膜１５２に開口部１５５が配置される。この開口部１５５は位相差画素２０２の右半分の位置に配置され、位相差画素２０２の左半分が遮光される。これ以外の位相差画素２０２の構成は、位相差画素２０１と同様の構成にすることができる。
　［位相差画素のオンチップレンズの構成］
　図４は、本開示の第１の実施の形態に係る位相差画素のオンチップレンズの構成例を示す図である。同図は、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２の構成例を表す平面図である。同図におけるＡは、図２において説明した画素アレイ部１０の左右方向に瞳分割する位相差画素２０１の例を表した図である。中央部に位相差画素中央部レンズ１７１が配置され、この位相差画素中央部レンズ１７１を挟むように位相差画素周辺部レンズ１８１および１８２が配置される。なお、同図において点線の矩形は、開口部１５４を表す。
　同図におけるＡにおいて、Ｗ１は位相差画素２０１の幅を表し、Ｗ２は位相差画素中央部レンズ１７１の幅を表し、Ｗ３は位相差画素周辺部レンズ１８１および１８２の幅を表す。位相差画素中央部レンズ１７１の幅Ｗ２は、位相差画素２０１の幅Ｗ１の略２／３の大きさに構成すると好適である。位相差画素２０１からの画像信号出力の低下を防ぐことができるためである。位相差画素中央部レンズ１７１の幅Ｗ２が小さすぎると、後述する位相差画素２０１への入射光の入射角度が高い場合の画像信号出力が低下する。一方、位相差画素中央部レンズ１７１の幅Ｗ２がＷ１の略２／３より大きい場合には、位相差画素中央部レンズ１７１が高背化するとともに位相差画素周辺部レンズ１８１および１８２の形成が困難になる。
　同図におけるＢは、位相差画素２０１および２０２が画素アレイ部１０の上下方向に瞳分割する場合における位相差画素２０１の例を表した図である。遮光膜１５２の開口部１５４が位相差画素２０１の上半分の領域に配置され、位相差画素２０１は下半分の領域が遮光される。この場合には、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２は、位相差画素２０１の上下の方向に並べて配置される。位相差画素中央部レンズ１７１は、上下の方向において位相差画素２０１の幅より小さい幅に構成され、位相差画素中央部レンズ１７１を上下に挟むように位相差画素周辺部レンズ１８１および１８２が配置される。すなわち、同図におけるＢの位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２は、同図におけるＡの位相差画素中央部レンズ１７１等を９０度回転させた形状に構成することができる。
　なお、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２の構成は、この例に限定されない。例えば、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２を楕円形状に構成することもできる。
　［位相差の検出］
　図５は、本開示の実施の形態に係る位相差の検出の一例を示す図である。同図は、位相差画素２０１および２０２による位相差の検出を説明する図であり、被写体７を撮影レンズ５により画素アレイ部１０に集光する場合の例を表した図である。同図において入射光６ａおよび６ｂは、それぞれ撮影レンズ５の右側および左側を透過する入射光である。これら入射光６ａおよび６ｂは、それぞれ位相差画素２０１および２０２により画像信号に変換される。同図におけるＡは、合焦の状態、すなわち、ピントが合った状態を表した図である。被写体７の焦点位置が画素アレイ部１０の受光面となり、被写体７からの入射光は画素アレイ部１０の受光面に集光される。前述のように、画素アレイ部１０には、位相差画素２０１および２０２の対が複数配置される。ほぼ同じ位置に配置される位相差画素２０１および２０２の対により入射光６ａおよび６ｂが検出される。
　同図におけるＢおよびＣは、ピントがずれた状態を表した図である。同図におけるＢは、焦点位置が画素アレイ部１０の後方に来る場合の例であり、いわゆる後ピンの場合の例である。入射光６ａおよび６ｂは画素アレイ部１０の後方に集光されるため、入射光６ａおよび６ｂによる像がずれることとなり、画素アレイ部１０の受光面において広がった像が形成される。このため、被写体７は、間隔が離れた位置の位相差画素２０１および位相差画素２０２により検出される。同図におけるＣは、焦点位置が画素アレイ部１０の前方に来る場合の例であり、いわゆる前ピンの場合の例である。入射光６ａおよび６ｂは画素アレイ部１０の前方に集光され、受光面において広がった像が形成される。しかし、入射光６ａおよび６ｂによる像は、同図におけるＢとは逆の方向にずれることとなる。
　同図におけるＤ乃至Ｆは、同図におけるＡ乃至Ｃのそれぞれにおける位相差画素２０１および２０２による画像信号を表した図である。横軸は、複数の位相差画素２０１および２０２の位置を表す。縦軸は、複数の位相差画素２０１および２０２の画像信号を表す。同図におけるＤ乃至Ｆは、画素アレイ部１０の複数の位相差画素２０１および２０２の画像信号により形成される画像を表す。同図におけるＤ乃至Ｆの実線は、位相差画素２０１による画像を表し、同図におけるＡ乃至Ｃの入射光６ａによる画像を表す。同図におけるＤ乃至Ｆの破線は、位相差画素２０２による画像を表し、同図におけるＡ乃至Ｃの入射光６ｂによる画像を表す。
　同図におけるＤは合焦の場合であるため、位相差画素２０１および２０２の画像は重なることとなる。これに対し同図におけるＢおよびＣでは、位相差画素２０１および２０２の画像がずれる。後ピンの場合である同図におけるＢに対応する同図におけるＥでは、位相差画素２０１の画像は右方向に移動し、位相差画素２０２の画像は左方向に移動する。前ピンの場合である同図におけるＣに対応する同図におけるＦでは、位相差画素２０１の画像は左方向に移動し、位相差画素２０２の画像は右方向に移動する。このように、複数の位相差画素２０１および２０２により構成される画像を比較することにより、焦点位置のずれ量およびずれの方向を検出することができる。
　［入射光の集光］
　図６は、本開示の第１の実施の形態に係る位相差画素における入射光の集光の一例を示す図である。同図は、位相差画素２０１において入射光が集光される様子を模式的に表した図である。同図において、実線の矢印は、位相差画素２０１の光電変換部１０１（ｎ型半導体領域１１２）に入射する入射光を表す。点線の矢印は、遮光膜１５２により遮光される入射光を表す。
　また、同図におけるＡおよびＢは、オンチップレンズ１６０が位相差画素２０１に配置されると想定した場合の入射光の集光の様子を表した図であり、比較例として表した図である。同図におけるＡは位相差画素２０１に垂直な入射光が照射される場合を表し、同図におけるＢは位相差画素２０１に右斜め上から入射光が照射される場合を表す。同図におけるＡにおいて、位相差画素２０１の左側半分の領域に入射する光（同図の３０１）は、遮光されることなく光電変換部１０１に照射される。同図におけるＢに表したように、右に傾いた入射光が照射される場合には、同図におけるＡの場合より多くの入射光３０２が光電変換部１０１に照射される。焦点位置の変化に伴う入射光の入射角度の変化の検出が可能となる。
　この際、同図におけるＡおよびＢに表したように、オンチップレンズ１６０の焦点位置を遮光膜１５２の端部の近傍に配置することにより、入射光の入射角度の変化に応じた画像信号の変化を大きくすることができる。入射光の入射角度の変化を容易に検出することが可能となる。しかし、オンチップレンズ１６０の曲率が小さいため、遮光膜１５２との距離Ｈ１が比較的長くなる。
　同図におけるＣおよびＤは、本開示の位相差画素２０１における入射光の集光の様子を表した図である。同図におけるＣおよびＤは、それぞれ垂直な入射光および右斜め上からの入射光が照射される場合を表す。同図におけるＣにおいて、位相差画素中央部レンズ１７１の左半分の領域に入射する入射光３０４および位相差画素周辺部レンズ１８１に入射する入射光３０３が光電変換部１０１に照射される。位相差画素周辺部レンズ１８１により、位相差画素中央部レンズ１７１の端部と位相差画素２０１の端部との間に入射する入射光が拡散することなく光電変換部１０１に集光される。このため、光電変換部１０１における光電変換に寄与する光量が増加し、位相差画素２０１の感度を向上させることができる。一方、位相差画素中央部レンズ１７１の右半分の領域および位相差画素周辺部レンズ１８２に入射する入射光は、遮光膜１５２により遮光される。
　同図におけるＤに表したように、右に傾いた入射光が照射される場合には、位相差画素中央部レンズ１７１における入射光３０６が光電変換部１０１に照射される。同図におけるＡおよびＢにおける入射光３０１および３０２と比較して、同図におけるＣおよびＤの入射光３０４および３０６は変化の比率が大きくなる。入射光３０６の範囲が位相差画素中央部レンズ１７１の表面の多くの領域を占めるためである。同図におけるＤにおいても、位相差画素周辺部レンズ１８１の入射光３０５が光電変換部１０１に照射され、位相差画素周辺部レンズ１８２の入射光は遮光される。また、位相差画素中央部レンズ１７１の曲率が高いため、遮光膜１５２との距離Ｈ２が比較的短くなる。
　［位相差画素の画像信号］
　図７は、本開示の第１の実施の形態に係る位相差画素における画像信号の一例を示す図である。同図は、位相差画素２０１等における入射光の入射角度および画像信号の関係を表した図である。同図の縦軸は、位相差画素２０１等から出力される画像信号の相対的なレベルを表す。同図の横軸は、入射光の入射角度を表す。位相差画素２０１等に垂直な方向が０度に該当する。横軸の正および負の入射角度は、それぞれ位相差画素２０１等の右斜め方向および左斜め方向からの入射角を表す。また、同図の実線のグラフ３１１および３１２は、それぞれ位相差画素２０１および２０２の画像信号を表する。同図の点線のグラフ３２１および３２２は、図６におけるＡと同様に、位相差画素２０１および２０２にオンチップレンズ１６０が配置されると想定した場合の画像信号を表す。
　グラフ３１１および３２１に表したように、位相差画素２０１に左側から入射光が照射される場合には、遮光膜１５２により遮光されるため、出力される画像信号のレベルは低くなる。入射角度が垂直に近い角度になると画像信号のレベルが高くなり、入射角度が右側に傾くと画像信号のレベルは飽和する。位相差画素２０２においては、グラフ３１２および３２２により表される特性となる。このグラフ３１２および３２２は、それぞれグラフ３１１および３２１を反転させた形状のグラフになる。
　このような、位相差画素２０１および２０２の画像信号の入射角度依存性は、入射角度－５乃至＋５の範囲の画像信号の変化に基づいて評価される。この入射角度が変化した場合における位相差画素２０１および２０２の画像信号の差分が大きい程、位相差の検出が容易になる。図６において説明したように、本開示の位相差画素２０１および２０２の位相差画素中央部レンズ１７１は、幅が縮小されるとともに高い曲率に構成されるため、入射角度－５乃至＋５の範囲の画像信号の変化が大きくなる。これに対し、オンチップレンズ１６０を配置する場合には、入射角度－５乃至＋５の範囲の画像信号の変化が比較的小さくなる。
　［位相差画素のオンチップレンズの他の構成］
　図８は、本開示の第１の実施の形態に係る位相差画素のオンチップレンズの他の構成例を示す図である。同図は、図４と同様に、位相差画素中央部レンズ１７１および位相差画素周辺部レンズ１８１および１８２の構成例を表す平面図である。
　同図におけるＡは、位相差画素中央部レンズ１７１の代わりに底面が円形状の位相差画素中央部レンズ１７２を２つ配置する場合の例を表した図である。同図におけるＢは、位相差画素周辺部レンズ１８１の代わりに長さを縮小した位相差画素周辺部レンズ１８３を２つ配置し、位相差画素周辺部レンズ１８２の代わりに長さを縮小した位相差画素周辺部レンズ１８４を２つ配置する場合の例を表した図である。同図におけるＣは、位相差画素中央部レンズ１７２ならびに位相差画素周辺部レンズ１８３および１８４を２組配置する場合の例を表した図である。同図におけるＡ乃至Ｃの位相差画素中央部レンズ等は、位相差画素２０１等が画素アレイ部１０の上下方向に瞳分割する場合には、９０度回転した形状に構成することができる。
　また、同図におけるＤは、位相差画素中央部レンズ１７１の形状と位相差画素中央部レンズ１７１を９０度回転した形状とを結合した形状の位相差画素中央部レンズ１７３を中央部に配置する例を表した図である。同図におけるＤでは、円形状の位相差画素周辺部レンズ１８５および１８６が２つずつ配置される。同図におけるＤの位相差画素中央部レンズ１７３ならびに位相差画素周辺部レンズ１８５および１８６は上下左右に対称な形状であるため、位相差画素２０１等が画素アレイ部１０の上下方向に瞳分割する場合にも適用することができる。
　図９は、本開示の第１の実施の形態に係る位相差画素のオンチップレンズの他の構成例を示す断面図である。同図は、位相差画素中央部レンズ１７１および位相差画素周辺部レンズ１８１および１８２の他の構成例を表す断面図である。
　同図におけるＡは、位相差画素周辺部レンズ１８１および１８２の厚さを位相差画素中央部レンズ１７１より小さくする場合の例を表した図である。同図におけるＢは、位相差画素中央部レンズ１７１の底部を位相差画素周辺部レンズ１８１および１８２より高い位置に配置する場合の例を表した図である。
　同図におけるＣは、位相差画素周辺部レンズ１８１および１８２の厚さを位相差画素中央部レンズ１７１より大きくした場合の例を表した図である。同図におけるＤは、位相差画素中央部レンズ１７１の底部を位相差画素周辺部レンズ１８１および１８２より低い位置に配置する場合の例を表した図である。
　このように位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２の厚さを調整することにより、それぞれのオンチップレンズの集光位置を調整することができる。位相差画素周辺部レンズ１８１および１８２の厚さを位相差画素中央部レンズ１７１より小さくした場合には、位相差画素周辺部レンズ１８１および１８２による集光位置を深くすることができる。曲率が小さくなるためである。光電変換部１０１のｎ型半導体領域１１２に集光させることが可能となる。
　以上説明したように、本開示の第１の実施の形態の撮像素子１は、瞳分割の方向に幅を縮小して高い曲率に構成された位相差画素中央部レンズ１７１が位相差画素２０１等に配置される。これにより、撮像素子１の高背化を防ぎながら入射光の入射角度の変化に対する画像信号の変化量を大きくすることができる。また、位相差画素２０１等には、位相差画素中央部レンズ１７１に対して瞳分割の方向に隣接して位相差画素周辺部レンズ１８１および１８２がさらに配置される。位相差画素中央部レンズ１７１の縮小に伴う感度の低下を軽減することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態の撮像素子１は、画素１００と位相差画素２０１および２０２とに異なる形状のオンチップレンズを配置していた。これに対し、本開示の第２の実施の形態の撮像素子１は、画素１００に位相差画素２０１等と同じ形状のオンチップレンズを配置する点で、上述の第１の実施の形態と異なる。
　［画素の断面の構成］
　図１０は、本開示の第２の実施の形態に係る画素の構成例を示す断面図である。同図は、図３と同様に、画素１００および位相差画素２０１の構成例を表す断面図である。位相差画素中央部レンズ１７１と同じ形状の画素中央部レンズ１６１および位相差画素周辺部レンズ１８１および１８２と同じ形状の画素周辺部レンズ１６２および１６３が画素１００に配置される点で、図３において説明した撮像素子１と異なる。
　同図に表したように、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２とそれぞれ同じ断面の形状の画素中央部レンズ１６１ならびに画素周辺部レンズ１６２および１６３が画素１００に配置される。また、画素中央部レンズ１６１ならびに画素周辺部レンズ１６２および１６３は、位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２とそれぞれ同じ底面の形状に構成することができる。これにより、位相差画素２０１および２０２と画素１００とのオンチップレンズの形状が略等しくなる。
　図３の撮像素子１のように位相差画素２０１等のオンチップレンズの形状が画素１００と異なる場合、位相差画素２０１等の近傍においてオンチップレンズ１６０の形状の周期性が損なわれる。このため、オンチップレンズ１６０の形成の際の加工精度が変化し、位相差画素２０１等の近くに配置される画素１００と位相差画素２０１等から離れた位置に配置される画素１００とにおいてオンチップレンズ１６０の形状が変化する。これに対し、位相差画素２０１等と画素１００のオンチップレンズの形状が等しい場合には、オンチップレンズの周期性が保たれ、画素１００のオンチップレンズの形状の変動を防ぐことができる。
　これ以外の撮像素子１の構成は本開示の第１の実施の形態において説明した撮像素子１の構成と同様であるため、説明を省略する。
　以上説明したように、本開示の第２の実施の形態の撮像素子１は、位相差画素２０１および２０２のオンチップレンズと略同じ形状のオンチップレンズを画素１００に配置することにより、画素１００のオンチップレンズの形状の変動を防ぐことができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態の撮像素子１は、遮光膜１５２により瞳分割を行う位相差画素２０１等が配置されていた。これに対し、本開示の第３の実施の形態の撮像素子１は、位相差画素２０１の光電変換部を分割することにより瞳分割を行う点で、上述の第１の実施の形態と異なる。
　［画素アレイ部の構成］
　図１１は、本開示の第３の実施の形態に係る撮像素子の構成例を示す図である。同図は、図２と同様に、撮像素子１のうちの画素アレイ部１０の構成例を表す平面図である。同図の撮像素子１は、次の点で図２において説明した撮像素子１と異なる。位相差画素２０１および２０２の代わりに位相差画素２０３が配置される。また、画素１００および位相差画素２０３に分離領域が配置され、光電変換部が２つに分割される。
　同図の位相差画素２０３は、分離領域１１４が配置される。同図の２点鎖線は、分離領域１１４を表す。この分離領域１１４は、位相差画素２０３の半導体基板１１０に配置され、位相差画素２０３の光電変換部を２つに分割するものである。また、分離領域１１４は、画素１００にも配置することができる。
　［画素の断面の構成］
　図１２は、本開示の第３の実施の形態に係る画素の構成例を示す断面図である。同図は、図３と同様に、画素１００および位相差画素の構成例を表す断面図である。位相差画素２０１の代わりに位相差画素２０３が配置され、半導体基板１１０に分離領域１１４が配置される点で、図３において説明した撮像素子１と異なる。
　同図に表したように、分離領域１１４により半導体基板１１０のｎ型半導体領域が分離される。この分離領域１１４は、例えば、イオン注入により形成されたｐ型半導体領域や半導体基板１１０に形成された溝に埋め込まれた絶縁物により構成することができる。分離領域１１４を配置することにより、２つのｎ型半導体領域１１３が位相差画素２０１に配置される。この２つのｎ型半導体領域１１３は、それぞれ光電変換部１０２および１０３を構成する。これら光電変換部１０２および１０３のそれぞれに画素回路が配置され、個別に画像信号が生成される。この光電変換部１０２および１０３により、位相差画素２０３における瞳分割が行われる。光電変換部１０２および１０３には、それぞれ撮影レンズの右側および左側を透過した入射光が照射される。このため、１種類の位相差画素２０３により、像面位相差を検出することができる。
　また、分離領域１１４を画素１００にも配置することにより、半導体基板１１０の構成を画素１００および位相差画素２０３において等しくすることができる。このような位相差画素２０３においても、位相差画素中央部レンズ１７１および位相差画素周辺部レンズ１８１および１８２を配置することにより、位相差画素２０３の高背化を防ぎ、感度の低下を軽減することができる。
　なお、図８において説明した位相差画素中央部レンズ１７２および１７３ならびに位相差画素周辺部レンズ１８３乃至１８５を本開示の位相差画素２０３に適用することもできる。
　これ以外の撮像素子１の構成は本開示の第１の実施の形態において説明した撮像素子１の構成と同様であるため、説明を省略する。
　以上説明したように、本開示の第３の実施の形態の撮像素子１は、位相差画素２０３に位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２が配置される。これにより、分離領域１１４により瞳分割される位相差画素２０３の高背化を防ぎ、感度の低下を軽減することができる。
　＜４．第４の実施の形態＞
　上述の第３の実施の形態の撮像素子１は、２つの光電変換部１０２および１０３を備える位相差画素２０３が配置されていた。これに対し、本開示の第４の実施の形態の撮像素子１は、４つの光電変換部を備える位相差画素が配置される点で、上述の第３の実施の形態と異なる。
　［画素アレイ部の構成］
　図１３は、本開示の第４の実施の形態に係る撮像素子の構成例を示す図である。同図は、図２と同様に、撮像素子１のうちの画素アレイ部１０の構成例を表す平面図である。位相差画素２０３の代わりに位相差画素２０４が配置される点で、図１１において説明した撮像素子１と異なる。
　同図の位相差画素２０４は、分離領域１１５が配置される。同図の２点鎖線は、分離領域１１５を表す。この分離領域１１５は、平面視において十字形状に構成され、位相差画素２０４の光電変換部を４つに分割するものである。この４つに分割された光電変換部のそれぞれに画素回路が配置され、画像信号がそれぞれ生成される。これにより、位相差画素２０４は、左右方向に加えて上下方向にも瞳分割される。これにより、左右方向に瞳分割される位相差画素と上下方向に瞳分割される位相差画素の半導体基板１１０部分の構成を共通にすることができる。なお、同図の位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２は、左右方向の瞳分割に対応する形状である。上下方向の瞳分割に対応する位相差画素においては、同図の位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２を９０度回転させた形状にする必要がある。また、分離領域１１５は、画素１００にも配置することができる。
　［位相差画素のオンチップレンズの他の構成］
　図１４は、本開示の第４の実施の形態に係る位相差画素のオンチップレンズの他の構成例を示す図である。同図におけるＡ乃至Ｄは、図８におけるＡ乃至Ｄの位相差画素中央部レンズ１７２等の配置をそれぞれ適用した位相差画素２０４を表したものである。同図におけるＡ乃至Ｃの位相差画素２０４は、左右方向の瞳分割に対応する位相差画素中央部レンズ１７２等の配置を表したものである。上下方向の瞳分割に対応させる場合には、位相差画素中央部レンズ１７２等を９０度回転させた形状にする必要がある。これに対し、同図におけるＤの例は、前述のように、上下左右に対称な位相差画素中央部レンズ１７３ならびに位相差画素周辺部レンズ１８５および１８６が配置される。このため、同図におけるＤの位相差画素２０４は、上下方向および左右方向の瞳分割に対応することができる。
　これ以外の撮像素子１の構成は本開示の第３の実施の形態において説明した撮像素子１の構成と同様であるため、説明を省略する。
　以上説明したように、本開示の第４の実施の形態の撮像素子１は、位相差画素２０４に位相差画素中央部レンズ１７１ならびに位相差画素周辺部レンズ１８１および１８２が配置される。これにより、分離領域１１４により上下左右に瞳分割される位相差画素２０４の高背化を防ぎ、感度の低下を軽減することができる。
　＜５．カメラへの応用例＞
　本開示に係る技術（本技術）は、様々な製品に応用することができる。例えば、本技術は、カメラ等の撮像装置に搭載される撮像素子として実現されてもよい。
　図１５は、本技術が適用され得る撮像装置の一例であるカメラの概略的な構成例を示すブロック図である。同図のカメラ１０００は、レンズ１００１と、撮像素子１００２と、撮像制御部１００３と、レンズ駆動部１００４と、画像処理部１００５と、操作入力部１００６と、フレームメモリ１００７と、表示部１００８と、記録部１００９とを備える。
　レンズ１００１は、カメラ１０００の撮影レンズである。このレンズ１００１は、被写体からの光を集光し、後述する撮像素子１００２に入射させて被写体を結像させる。
　撮像素子１００２は、レンズ１００１により集光された被写体からの光を撮像する半導体素子である。この撮像素子１００２は、照射された光に応じたアナログの画像信号を生成し、デジタルの画像信号に変換して出力する。
　撮像制御部１００３は、撮像素子１００２における撮像を制御するものである。この撮像制御部１００３は、制御信号を生成して撮像素子１００２に対して出力することにより、撮像素子１００２の制御を行う。また、撮像制御部１００３は、撮像素子１００２から出力された画像信号に基づいてカメラ１０００におけるオートフォーカスを行うことができる。ここでオートフォーカスとは、レンズ１００１の焦点位置を検出して、自動的に調整するシステムである。このオートフォーカスとして、撮像素子１００２に配置された位相差画素により像面位相差を検出して焦点位置を検出する方式（像面位相差オートフォーカス）を使用することができる。また、画像のコントラストが最も高くなる位置を焦点位置として検出する方式（コントラストオートフォーカス）を適用することもできる。撮像制御部１００３は、検出した焦点位置に基づいてレンズ駆動部１００４を介してレンズ１００１の位置を調整し、オートフォーカスを行う。なお、撮像制御部１００３は、例えば、ファームウェアを搭載したＤＳＰ（Digital Signal Processor）により構成することができる。
　レンズ駆動部１００４は、撮像制御部１００３の制御に基づいて、レンズ１００１を駆動するものである。このレンズ駆動部１００４は、内蔵するモータを使用してレンズ１００１の位置を変更することによりレンズ１００１を駆動することができる。
　画像処理部１００５は、撮像素子１００２により生成された画像信号を処理するものである。この処理には、例えば、画素毎の赤色、緑色および青色に対応する画像信号のうち不足する色の画像信号を生成するデモザイク、画像信号のノイズを除去するノイズリダクションおよび画像信号の符号化等が該当する。画像処理部１００５は、例えば、ファームウェアを搭載したマイコンにより構成することができる。
　操作入力部１００６は、カメラ１０００の使用者からの操作入力を受け付けるものである。この操作入力部１００６には、例えば、押しボタンやタッチパネルを使用することができる。操作入力部１００６により受け付けられた操作入力は、撮像制御部１００３や画像処理部１００５に伝達される。その後、操作入力に応じた処理、例えば、被写体の撮像等の処理が起動される。
　フレームメモリ１００７は、１画面分の画像信号であるフレームを記憶するメモリである。このフレームメモリ１００７は、画像処理部１００５により制御され、画像処理の過程におけるフレームの保持を行う。
　表示部１００８は、画像処理部１００５により処理された画像を表示するものである。この表示部１００８には、例えば、液晶パネルを使用することができる。
　記録部１００９は、画像処理部１００５により処理された画像を記録するものである。この記録部１００９には、例えば、メモリカードやハードディスクを使用することができる。
　以上、本開示が適用され得るカメラについて説明した。本技術は以上において説明した構成のうち、撮像素子１００２に適用され得る。具体的には、図１において説明した撮像素子１は、撮像素子１００２に適用することができる。撮像素子１００２に撮像素子１を適用することにより位相差画素２０１および２０２により像面位相差を検出することができる。画素の高背化を防ぎながら位相差画素の感度の低下を防止することができる。なお、撮像制御部１００３および画像処理部１００５は、請求の範囲に記載の処理回路の一例である。カメラ１０００は、請求の範囲に記載の撮像装置の一例である。
　なお、ここでは、一例としてカメラについて説明したが、本開示に係る技術は、その他、例えば監視装置等に適用されてもよい。また、本開示は、カメラ等の電子機器の他に、半導体モジュールの形式の半導体装置に適用することもできる。具体的には、図１９の撮像素子１００２および撮像制御部１００３を１つのパッケージに封入した半導体モジュールである撮像モジュールに本開示に係る技術を適用することもできる。
　＜６．内視鏡手術システムへの応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１６は、本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１６では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Light Emitting Diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１７は、図１６に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１１４０２に適用され得る。具体的には、図１の撮像素子１は、撮像部１０４０２に適用することができる。撮像部１１４０２に本開示に係る技術を適用することにより、位相差画素の感度の低下を軽減することができる。より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
　＜７．移動体への応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１９は、撮像部１２０３１の設置位置の例を示す図である。
　図１９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、図１の撮像素子１は、撮像部１２０３１に適用することができる。撮像部１２０３１等に本開示に係る技術を適用することにより、位相差画素の感度の低下を軽減することができる。より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　最後に、上述した各実施の形態の説明は本開示の一例であり、本開示は上述の実施の形態に限定されることはない。このため、上述した各実施の形態以外であっても、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
　また、上述の実施の形態における図面は、模式的なものであり、各部の寸法の比率等は現実のものとは必ずしも一致しない。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれることは勿論である。
　なお、本技術は以下のような構成もとることができる。
（１）被写体からの入射光に応じて光電変換を行う光電変換部が配置される画素と、
　前記被写体からの入射光を瞳分割して像面位相差を検出するための前記画素である位相差画素と、
　前記位相差画素に配置されて前記瞳分割の方向において前記位相差画素の幅より小さい幅の底面に構成されるオンチップレンズである位相差画素中央部レンズと、
　前記瞳分割の方向に前記位相差画素中央部レンズに隣接して配置される位相差画素周辺部レンズと
を具備する撮像素子。
（２）前記位相差画素中央部レンズと略同じ形状に構成されて前記画素に配置される画素中央部レンズと、
　前記位相差画素周辺部レンズと略同じ形状に構成されて前記画素中央部レンズに隣接して配置される画素周辺部レンズと
をさらに具備する前記（１）に記載の撮像素子。
（３）前記位相差画素中央部レンズは、前記瞳分割の方向における前記位相差画素の幅の略２／３の幅の底面に構成される前記（１）または（２）に記載の撮像素子。
（４）前記位相差画素周辺部レンズは、前記位相差画素中央部レンズとは異なる厚さに構成される前記（１）から（３）の何れかに記載の撮像素子。
（５）前記位相差画素周辺部レンズは、前記位相差画素中央部レンズより小さい厚さに構成される前記（４）に記載の撮像素子。
（６）前記位相差画素は、開口部を有する遮光膜により前記入射光の一部を遮光して前記瞳分割を行う前記（１）から（５）の何れかに記載の撮像素子。
（７）前記位相差画素は、複数の前記光電変換部が前記瞳分割の方向に隣接して配置されて構成される前記（１）から（５）の何れかに記載の撮像素子。
（８）被写体からの入射光に応じて光電変換を行う光電変換部が配置される画素と、
　前記被写体からの入射光を瞳分割して像面位相差を検出するための前記画素である位相差画素と、
　前記位相差画素に配置されて前記瞳分割の方向において前記位相差画素の幅より小さい幅の底面に構成されるオンチップレンズである位相差画素中央部レンズと、
　前記瞳分割の方向に前記位相差画素中央部レンズに隣接して配置される位相差画素周辺部レンズと、
　前記画素および前記位相差画素により生成された画像信号を処理する処理回路と
を具備する撮像装置。
　１　撮像素子
　１０　画素アレイ部
　３０　カラム信号処理部
　１００　画素
　１０１～１０３　光電変換部
　１１４、１１５　分離領域
　１５２　遮光膜
　１５３～１５５　開口部
　１６０　オンチップレンズ
　１６１　画素央部レンズ
　１６２　画素周辺部レンズ
　１７１～１７３　位相差画素央部レンズ
　１８１～１８６　位相差画素周辺部レンズ
　２０１～２０４　位相差画素
　１０００　カメラ
　１００２　撮像素子
　１００３　撮像制御部
　１００５　画像処理部
　１０４０２、１２０３１、１２１０１～１２１０５　撮像部

Claims (8)

  1. 　被写体からの入射光に応じて光電変換を行う光電変換部が配置される画素と、
    　前記被写体からの入射光を瞳分割して像面位相差を検出するための前記画素である位相差画素と、
    　前記位相差画素に配置されて前記瞳分割の方向において前記位相差画素の幅より小さい幅の底面に構成されるオンチップレンズである位相差画素中央部レンズと、
    　前記瞳分割の方向に前記位相差画素中央部レンズに隣接して配置される位相差画素周辺部レンズと
    を具備する撮像素子。
  2. 　前記位相差画素中央部レンズと略同じ形状に構成されて前記画素に配置される画素中央部レンズと、
    　前記位相差画素周辺部レンズと略同じ形状に構成されて前記画素中央部レンズに隣接して配置される画素周辺部レンズと
    をさらに具備する請求項１記載の撮像素子。
  3. 　前記位相差画素中央部レンズは、前記瞳分割の方向における前記位相差画素の幅の略２／３の幅の底面に構成される請求項１記載の撮像素子。
  4. 　前記位相差画素周辺部レンズは、前記位相差画素中央部レンズとは異なる厚さに構成される請求項１記載の撮像素子。
  5. 　前記位相差画素周辺部レンズは、前記位相差画素中央部レンズより小さい厚さに構成される請求項４記載の撮像素子。
  6. 　前記位相差画素は、開口部を有する遮光膜により前記入射光の一部を遮光して前記瞳分割を行う請求項１記載の撮像素子。
  7. 　前記位相差画素は、複数の前記光電変換部が前記瞳分割の方向に隣接して配置されて構成される請求項１記載の撮像素子。
  8. 　被写体からの入射光に応じて光電変換を行う光電変換部が配置される画素と、
    　前記被写体からの入射光を瞳分割して像面位相差を検出するための前記画素である位相差画素と、
    　前記位相差画素に配置されて前記瞳分割の方向において前記位相差画素の幅より小さい幅の底面に構成されるオンチップレンズである位相差画素中央部レンズと、
    　前記瞳分割の方向に前記位相差画素中央部レンズに隣接して配置される位相差画素周辺部レンズと、
    　前記画素および前記位相差画素により生成された画像信号を処理する処理回路と
    を具備する撮像装置。
PCT/JP2020/004107 2019-03-27 2020-02-04 撮像素子および撮像装置 WO2020195180A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-059763 2019-03-27
JP2019059763A JP2020161648A (ja) 2019-03-27 2019-03-27 撮像素子および撮像装置

Publications (1)

Publication Number Publication Date
WO2020195180A1 true WO2020195180A1 (ja) 2020-10-01

Family

ID=72608891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004107 WO2020195180A1 (ja) 2019-03-27 2020-02-04 撮像素子および撮像装置

Country Status (2)

Country Link
JP (1) JP2020161648A (ja)
WO (1) WO2020195180A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869913B2 (en) 2021-06-01 2024-01-09 Samsung Electronics Co., Ltd. Pixel array of image sensor and method of manufacturing the same

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281296A (ja) * 2006-04-10 2007-10-25 Nikon Corp 固体撮像装置、および電子カメラ
JP2009158800A (ja) * 2007-12-27 2009-07-16 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2011029932A (ja) * 2009-07-24 2011-02-10 Canon Inc 撮像素子及び撮像装置
JP2011049472A (ja) * 2009-08-28 2011-03-10 Fujifilm Corp 固体撮像素子及びこれを用いた撮像装置
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
JP2012038768A (ja) * 2010-08-03 2012-02-23 Fujifilm Corp 固体撮像素子及び撮像装置
WO2016098640A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 固体撮像素子、および電子装置
WO2016129406A1 (ja) * 2015-02-09 2016-08-18 ソニー株式会社 撮像素子、および電子装置
WO2018173872A1 (ja) * 2017-03-24 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 センサチップおよび電子機器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281296A (ja) * 2006-04-10 2007-10-25 Nikon Corp 固体撮像装置、および電子カメラ
JP2009158800A (ja) * 2007-12-27 2009-07-16 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2011029932A (ja) * 2009-07-24 2011-02-10 Canon Inc 撮像素子及び撮像装置
JP2011049472A (ja) * 2009-08-28 2011-03-10 Fujifilm Corp 固体撮像素子及びこれを用いた撮像装置
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
JP2012038768A (ja) * 2010-08-03 2012-02-23 Fujifilm Corp 固体撮像素子及び撮像装置
WO2016098640A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 固体撮像素子、および電子装置
WO2016129406A1 (ja) * 2015-02-09 2016-08-18 ソニー株式会社 撮像素子、および電子装置
WO2018173872A1 (ja) * 2017-03-24 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 センサチップおよび電子機器

Also Published As

Publication number Publication date
JP2020161648A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US11869914B2 (en) Image sensor and method for manufacturing image sensor
CN110431668B (zh) 固态摄像装置和电子设备
US20230008784A1 (en) Solid-state imaging device and electronic device
WO2019220696A1 (ja) 撮像素子および撮像装置
WO2019207978A1 (ja) 撮像素子および撮像素子の製造方法
WO2020137203A1 (ja) 撮像素子および撮像装置
JPWO2020137285A1 (ja) 撮像素子および撮像素子の製造方法
WO2021193266A1 (ja) 固体撮像装置
WO2018173793A1 (ja) 固体撮像素子、および電子機器
WO2020195180A1 (ja) 撮像素子および撮像装置
WO2022131034A1 (ja) 撮像装置
US20230246049A1 (en) Light detection device
WO2021045139A1 (ja) 撮像素子および撮像装置
WO2021075116A1 (ja) 固体撮像装置及び電子機器
JP2019050338A (ja) 撮像素子および撮像素子の製造方法、撮像装置、並びに電子機器
WO2022130987A1 (ja) 固体撮像装置およびその製造方法
WO2023021787A1 (ja) 光検出装置およびその製造方法
WO2022138097A1 (ja) 固体撮像装置およびその製造方法
US20240242530A1 (en) Imaging device
WO2022085695A1 (ja) 固体撮像装置
WO2023017838A1 (ja) 撮像装置及び電子機器
US20240038807A1 (en) Solid-state imaging device
WO2021186911A1 (ja) 撮像装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777396

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20777396

Country of ref document: EP

Kind code of ref document: A1