WO2018198766A1 - 固体撮像装置および電子機器 - Google Patents

固体撮像装置および電子機器 Download PDF

Info

Publication number
WO2018198766A1
WO2018198766A1 PCT/JP2018/015157 JP2018015157W WO2018198766A1 WO 2018198766 A1 WO2018198766 A1 WO 2018198766A1 JP 2018015157 W JP2018015157 W JP 2018015157W WO 2018198766 A1 WO2018198766 A1 WO 2018198766A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
phase difference
sub
block
Prior art date
Application number
PCT/JP2018/015157
Other languages
English (en)
French (fr)
Inventor
宮腰　大輔
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP22151852.5A priority Critical patent/EP4027640A1/en
Priority to JP2019514362A priority patent/JP7099446B2/ja
Priority to EP18790913.0A priority patent/EP3618430B1/en
Priority to US16/603,065 priority patent/US11233957B2/en
Publication of WO2018198766A1 publication Critical patent/WO2018198766A1/ja
Priority to US17/647,562 priority patent/US11637975B2/en
Priority to US18/191,586 priority patent/US20230239589A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Definitions

  • the present disclosure relates to a solid-state imaging device and an electronic apparatus, and in particular, in order to obtain information different from a normal image, even if any pixel in a pixel array is configured as a dedicated functional pixel for obtaining desired information, imaging is performed.
  • the present invention relates to a solid-state imaging device and an electronic apparatus that can suppress deterioration in image quality.
  • imaging devices such as digital still cameras and digital video cameras that capture subjects such as humans and animals using image sensors such as CMOS (Complementary Metal-Oxide Semiconductor) sensors and record the resulting image data have become widespread. is doing.
  • CMOS Complementary Metal-Oxide Semiconductor
  • a phase difference detection pixel is arranged in the upper right pixel.
  • a phase difference detection pixel is arranged in the upper left pixel.
  • phase difference detection pixel for example, a light shielding part is provided in the right half or the left half of the pixel, and the opposite side of the light shielding part is a light transmitting part.
  • the phase difference is detected from the difference between the outputs of the phase difference detection pixels whose pair of light shielding portions is on the opposite side, and the defocus amount is calculated based on the detected phase difference.
  • the focus state is controlled based on the calculated defocus amount.
  • any pixel in the pixel array is configured as a dedicated functional pixel for obtaining desired information. Even so, it is possible to suppress deterioration of the image quality of the captured image.
  • a solid-state imaging device captures an image and includes an ordinary pixel including a pixel that generates a corresponding pixel signal and a functional pixel including a pixel that generates a signal necessary for capturing the image.
  • the image captured by the image sensor includes a block that is a set of color units, and the block includes a sub-block that includes a plurality of pixels of the same color for each color.
  • the normal pixels are solid-state imaging devices that are arranged vertically and horizontally in the sub-block.
  • the color arrangement may be a Bayer arrangement, a stripe arrangement, a checkered arrangement, or an interline arrangement.
  • the pixel signals of a plurality of normal pixels constituting the sub block can be added and output as pixel signals of the normal addition pixels in the sub block unit.
  • the functional pixel is a pixel having the same function as that of the normal pixel, and the image having the same sensitivity and an exposure time different from that of the normal pixel can be captured.
  • the functional pixel is a pixel having the same function as that of the normal pixel, and the image having the same exposure time as that of the normal pixel and having a different sensitivity can be captured.
  • the functional pixel may be a phase difference detection pixel that detects a phase difference according to a focal length.
  • the image sensor may be configured to output a pixel signal of the normal pixel after outputting a signal indicating a phase difference detected by the functional pixel including the phase difference detection pixel.
  • the lens may further include a lens that adjusts a focal point of light incident on the imaging device, and a lens control unit that controls a focal length of the lens.
  • the lens control unit includes the lens for detecting the phase difference.
  • the defocus amount of the lens can be calculated according to the phase difference detected by the pixel, and the focal length of the lens can be controlled based on the defocus amount.
  • the phase difference detection pixel can detect a phase difference in the horizontal direction.
  • phase difference detection pixel It is possible to detect the phase difference in the vertical direction in the phase difference detection pixel.
  • the functional pixel can be a black pixel and can output a black level.
  • the black pixel may be a light-shielded pixel.
  • a clamp unit that subtracts and clamps the black level of the black pixel from the pixel signal of the normal addition pixel can be further included.
  • the functional pixel can be a white pixel and can output a luminance signal.
  • the white pixel can be a pixel with a transparent color filter or a pixel without the color filter.
  • the LPF unit that multiplies the pixel signal of the normal addition pixel by LPF (Low Pass Filter), the HPF unit that multiplies the luminance signal by HPF (High Pass Filter), the output of the LPF unit, and the output of the HPF unit And an adding unit to be included.
  • a column AD conversion unit that performs analog-to-digital conversion of signals output from the pixels arranged in an array constituting the imaging device in units of rows can be included, and the column AD conversion unit includes the It is possible to provide only a multiple of the number of rows constituting the sub-block.
  • An electronic device includes an ordinary pixel that includes a pixel that captures an image and generates a corresponding pixel signal, and a functional pixel that includes a pixel that generates a signal necessary for capturing the image.
  • the image picked up by the image pickup device is composed of blocks that are a set of color units, and each block has a predetermined color arrangement for each block.
  • the normal pixel is an electronic device arranged symmetrically in the vertical and horizontal directions in the sub-block.
  • an imaging device in one aspect of the present disclosure, includes a normal pixel that includes a pixel that captures an image and generates a corresponding pixel signal, and a functional pixel that includes a pixel that generates a signal necessary for capturing the image.
  • the image picked up by the image pickup device is composed of blocks that are a set of color units, and the blocks are sub-blocks composed of a plurality of pixels of the same color for each color, with a predetermined color arrangement.
  • the normal pixels are arranged symmetrically vertically and horizontally within the sub-block.
  • the image quality of the captured image is degraded. Can be suppressed.
  • FIG. 24 is a block diagram illustrating a configuration example of a correction unit in FIG. 23. 24 is a flowchart for describing imaging processing of the electronic device in FIG.
  • amendment part of FIG. It is a figure explaining the structural example which provides a white pixel or the pixel for phase difference detection in a subblock. It is a figure explaining the example of an output timing of the pixel signal from an image sensor. It is a figure explaining the example which makes a column AD conversion part multistage. It is a figure explaining the variation of the pixel arrangement example. It is a figure explaining the variation of the pixel arrangement example. It is a figure explaining the variation of the pixel arrangement example. It is a figure explaining the variation of the pixel arrangement example. It is a figure explaining the variation of the pixel arrangement example. It is a figure explaining the variation of the pixel arrangement example.
  • First Embodiment (1-1) Pixel Arrangement (FIGS. 1 to 4) (1-2) Configuration Example of First Embodiment of Electronic Device (FIGS. 5 and 6) (1-3) Imaging processing by electronic device of FIG. 5 (FIG. 7) 2.
  • Second Embodiment (2-1) Simultaneous imaging of high frame rate imaging and normal frame rate imaging (FIG. 8) (2-2) Dynamic range expansion imaging ( Figure 9) (2-3) Configuration Example of Electronic Device according to Second Embodiment (FIG. 10) (2-4) Imaging processing by electronic device of FIG. 10 (FIG. 11) 3.
  • Third Embodiment (3-1) Pixel Arrangement Example Composed of Normal Addition Pixel and Phase Difference Detection Pixel (FIGS.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image sensor to which the present technology is applied.
  • a timing control unit 42 includes a timing control unit 42, a vertical scanning circuit 43, a pixel array 44, a constant current source circuit unit 45, a reference signal generation unit 46, and a column AD (Analog to Digital) on a semiconductor substrate (not shown). ) It is configured by providing the conversion unit 47. Further, a horizontal scanning circuit 48, a horizontal output line 49, and an output circuit 50 are provided.
  • the timing control unit 42 supplies a clock signal and a timing signal necessary for a predetermined operation to the vertical scanning circuit 43 and the horizontal scanning circuit 48 based on a master clock having a predetermined frequency. For example, the timing control unit 42 supplies timing signals for the shutter operation and readout operation of the pixel 51 to the vertical scanning circuit 43 and the horizontal scanning circuit 48. Although not shown, the timing control unit 42 also supplies a clock signal and timing signal necessary for a predetermined operation to the reference signal generation unit 46, the column AD conversion unit 47, and the like.
  • the vertical scanning circuit 43 sequentially supplies a signal for controlling the output of the pixel signal to each pixel 51 arranged in the vertical direction of the pixel array 44 at a predetermined timing.
  • a plurality of pixels 51 are arranged in a two-dimensional array (matrix) in the pixel array 44. That is, M ⁇ N pixels 51 are arranged in a plane.
  • the values of M and N are arbitrary integers.
  • the plurality of pixels 51 arranged in a two-dimensional array are connected to the vertical scanning circuit 43 in units of rows by horizontal signal lines 52.
  • the plurality of pixels 51 arranged in the same row in the pixel array 44 are connected to the vertical scanning circuit 43 by the same single horizontal signal line 52.
  • the horizontal signal line 52 is shown as one wiring, but the number is not limited to one.
  • the plurality of pixels 51 arranged in a two-dimensional array are connected to the horizontal scanning circuit 48 in units of columns by vertical signal lines 53.
  • the plurality of pixels 51 arranged in the same column in the pixel array 44 are connected to the horizontal scanning circuit 48 by the same single vertical signal line 53.
  • Each pixel 51 in the pixel array 44 outputs, to the vertical signal line 53, a pixel signal corresponding to the charge accumulated therein in accordance with a signal supplied from the vertical scanning circuit 43 via the horizontal signal line 52.
  • the pixel 51 functions as an imaging pixel that outputs a pixel signal of an image of a subject. The detailed configuration of the pixel 51 will be described later with reference to FIG.
  • the constant current source circuit unit 45 has a plurality of load MOS (Metal-Oxide Semiconductor) 54, and one load MOS 54 is connected to one vertical signal line 53.
  • the load MOS 54 has a gate applied with a bias voltage and a source grounded, and forms a source follower circuit with a transistor in the pixel 51 connected via the vertical signal line 53.
  • the reference signal generation unit 46 includes a DAC (Digital-to-Analog-Converter) 46a, generates a ramp (RAMP) waveform reference signal in accordance with the clock signal from the timing control unit 42, and generates a column signal. This is supplied to the AD conversion unit 47.
  • DAC Digital-to-Analog-Converter
  • the column AD conversion unit 47 has a plurality of ADCs (Analog-to-Digital Converters) 55, one for each column of the pixel array 44. Therefore, a plurality of pixels 51, one load MOS 54 and ADC 55 are connected to one vertical signal line 53.
  • ADCs Analog-to-Digital Converters
  • the ADC 55 performs a CDS (Correlated Double Sampling) process on the pixel signal supplied from the pixel 51 in the same column via the vertical signal line 53, and further performs an AD conversion process.
  • CDS Correlated Double Sampling
  • Each ADC 55 temporarily stores the pixel data after AD conversion and outputs it to the horizontal output line 49 according to the control of the horizontal scanning circuit 48.
  • the horizontal scanning circuit 48 sequentially outputs the pixel data stored in the plurality of ADCs 55 to the horizontal output line 49 at a predetermined timing.
  • the horizontal output line 49 is connected to an output circuit (amplifier circuit) 50, and pixel data after AD conversion output from each ADC 55 is output from the output circuit 50 to the outside of the image sensor 41 via the horizontal output line 49. Is output.
  • the output circuit 50 signal processing unit
  • the imaging device 41 configured as described above is a CMOS image sensor called a column AD system in which ADCs 55 that perform CDS processing and AD conversion processing are arranged for each vertical column.
  • FIG. 2 shows an equivalent circuit of the pixel 51.
  • the pixel 51 includes a photodiode 61 as a photoelectric conversion element, a transfer transistor 62, an FD (Floating Diffusion: floating diffusion region) 63, a reset transistor 64, an amplification transistor 65, and a selection transistor 66.
  • the photodiode 61 is a photoelectric conversion unit that generates and accumulates charges (signal charges) corresponding to the amount of received light.
  • the photodiode 61 has an anode terminal grounded and a cathode terminal connected to the FD 63 via the transfer transistor 62.
  • the transfer transistor 62 When the transfer transistor 62 is turned on by the transfer signal TX, the charge generated by the photodiode 61 is read and transferred to the FD 63.
  • the FD 63 holds the electric charge read from the photodiode 61.
  • the reset transistor 64 is turned on by the reset signal RST, the charge stored in the FD 63 is discharged to the constant voltage source VDD, thereby resetting the potential of the FD 63.
  • the amplification transistor 65 outputs a pixel signal corresponding to the potential of the FD 63. That is, the amplification transistor 65 constitutes a load MOS 54 as a constant current source and a source follower circuit, and a pixel signal indicating a level corresponding to the charge accumulated in the FD 63 is sent from the amplification transistor 65 to the ADC 55 via the selection transistor 66. Is output.
  • the selection transistor 66 is turned on when the pixel 51 is selected by the selection signal SEL, and outputs the pixel signal of the pixel 51 to the ADC 55 via the vertical signal line 53.
  • the transfer signal TX, the reset signal RST, and the selection signal SEL are supplied from the vertical scanning circuit 43 via the horizontal signal line 52 (FIG. 1).
  • FIG. 3 is a diagram illustrating a planar configuration example of an embodiment of an image sensor to which the present technology is applied. Specifically, FIG. 3 shows an arrangement of the pixels 51. That is, in the present embodiment, the pixel array 44 captures an image of the subject by the imaging region 101.
  • the imaging area 101 includes a plurality of blocks 102 arranged in a matrix of M / 3 ⁇ N / 3.
  • This block 102 constitutes a unit of an image to be captured. That is, the subject is imaged as a set of units of a predetermined color (a color synthesized by the colors of red (R), green (G), and blue (B)) for each block 102 and displayed (that is, the eyes of the human). Recognized).
  • a predetermined color a color synthesized by the colors of red (R), green (G), and blue (B)
  • the block 102 is configured by arranging the sub-blocks 103 in a Bayer array. That is, the block 102 includes four sub-blocks 103 including one red (R) sub-block 103, two green (G) sub-blocks 103, and one blue (B) sub-block 103. They are arranged in a 2 ⁇ 2 matrix.
  • the color arrangement is not limited to the Bayer arrangement, but may be a stripe arrangement, a checkered arrangement, an interline arrangement, or the like.
  • a green (G) sub-block 103 is arranged at the upper right and lower left of the block 102, a red (R) sub-block 103 is arranged at the upper left, and a blue (B) sub-block 103 is arranged at the lower right.
  • the arrangement pattern of the sub-blocks 103 is the same.
  • red (R), green (G), and blue (B) sub-blocks 103 will be referred to as R sub-block 103, G sub-block 103, and B sub-block 103, respectively, as necessary. To do.
  • each region corresponding to a plurality of blocks 102 arranged in a matrix of M / 3 ⁇ N / 3 is represented by RNij (i, j are the row and column positions of block 102. Express).
  • the color of the subject is captured and expressed as a color Cij for each region RNij.
  • the synthesized color Cij is imaged as the color of the region RNij of the subject.
  • the sub-block 103 is composed of 3 ⁇ 3 matrix-like pixels 111 of the same color that are adjacent to each other.
  • the pixel 111 corresponds to the pixel 51 in FIGS. 1 and 2.
  • the red (R), green (G), and blue (B) pixels 111 are referred to as an R pixel 111, a G pixel 111, or a B pixel 111, respectively, as necessary.
  • the R sub-block 103 is composed of 3 ⁇ 3 matrix R pixels 111.
  • the G sub-block 103 includes 3 ⁇ 3 matrix G pixels 111.
  • the B sub-block 103 is composed of 3 ⁇ 3 matrix B pixels 111.
  • the 3 ⁇ 3 pixels 111 of the same color constituting one sub-block 103 can be read out independently, but can also be read out collectively as one sub-block 103.
  • FIG. 4 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied. That is, when the imaging region 101 in FIG. 3 is expressed by the pixels 111, it is as shown in FIG.
  • One sub-block 103 is composed of 3 ⁇ 3 pixels 111 of the same color. Specifically, one R sub-block 103 is composed of 3 ⁇ 3 R pixels 111. Similarly, one G sub-block 103 is composed of 3 ⁇ 3 G pixels 111, and one B sub-block 103 is composed of 3 ⁇ 3 B pixels 111.
  • one block 102 is composed of 3 ⁇ 3 sub-blocks 103 (one R sub-block 103, two G sub-blocks 103, and one B sub-block 103).
  • the sub-block 103 is configured by a plurality of pixels 111 of the same color, and the block 102 is configured by a plurality of sub-blocks 103 including different colors. Then, as a combined color of the block 102 in which different colors of the plurality of sub-blocks 103 are combined, a person recognizes it as the color of the imaging point of the subject at the position corresponding to the block 102.
  • FIG. 5 is a diagram illustrating a configuration example of the first embodiment of an electronic device to which the present technology is applied.
  • An electronic device 300 shown in FIG. 5 is a device that images a subject and outputs an image of the subject as an electrical signal.
  • the electronic device 300 is configured as, for example, a compact digital camera, a digital single-lens reflex camera, a video camera, a mobile terminal such as a smartphone (multifunctional mobile phone) having an imaging function, an endoscope, or the like.
  • the imaging control unit 301 includes an imaging element 41, an AD conversion unit 321, a clamp unit 322, a demosaic unit 323, a linear matrix (LM) / white balance (WB) / gamma correction unit 324, a luminance chroma signal generation unit 325, an interface (I / F) section 326 and a lens control section 328.
  • the display unit 313 and the recording unit 314 are provided outside the imaging control unit 301, but may be provided inside.
  • the lens 311 adjusts the focal length of the subject light incident on the image sensor 41.
  • a stop (not shown) that adjusts the amount of subject light incident on the image sensor 41 is provided at the subsequent stage of the lens 311.
  • the specific configuration of the lens 311 is arbitrary.
  • the lens 311 may be configured by a plurality of lenses.
  • the subject light transmitted through the lens 311 is incident on the image sensor 41 via an optical filter 312 configured as an IR cut filter that cuts infrared light and transmits light other than infrared light, for example.
  • an optical filter 312 configured as an IR cut filter that cuts infrared light and transmits light other than infrared light, for example.
  • the imaging device 41 includes a plurality of pixels 111 having photoelectric conversion elements such as photodiodes that photoelectrically convert subject light. Each pixel 111 converts subject light into an electrical signal, and supplies the electrical signal to the AD conversion unit 321.
  • the imaging element 41 constitutes a solid-state imaging device of the present technology.
  • This solid-state imaging device may be configured as a single-chip module, or the imaging device 41 and the signal processing circuit may be configured as separate chips.
  • the imaging device 41 of the present technology is, for example, a CCD image sensor that performs transfer using a circuit element called a charge-coupled device (CCD (Charge-Coupled Device)) in order to read out the electric charge generated by the photoelectric conversion device based on subject light.
  • CCD Charge-Coupled Device
  • CMOS image sensor using an amplifier for each unit cell using a CMOS (Complementary Metal Metal Oxide Semiconductor) may be used.
  • the AD conversion unit 321 converts the RGB electrical signal (analog signal) supplied from the image sensor 41 into digital data (image data).
  • the AD conversion unit 321 supplies the image data (RAW data) of the digital data to the clamp unit 322 and the lens control unit 328.
  • the clamp unit 322 subtracts a black level that is a pixel value of the non-image output area and is determined to be black from the image data.
  • FIG. 6 is a diagram illustrating an image output area and a non-image output area to which the present technology is applied.
  • the pixel array 44 is provided with an image output area 44 ⁇ / b> A substantially at the center thereof, and a non-image output area 44 ⁇ / b> B is provided around the image output area 44 ⁇ / b> B.
  • the image output area 44A is an effective pixel area, and the output of the pixel 111 in the image output area 44A is used as image data.
  • the output of the pixel 111 in the non-image output area 44B is not used as image data.
  • an OPB (Optical Black) region is set for the pixel 111 in the non-image output region 44B, and the output of the pixel 111 in the OPB region is set to a black level that is determined to be black.
  • the clamp unit 322 supplies the demosaic unit 323 with all pixels of the image data obtained by subtracting the black level that is the output of the pixel 111 in the OPB area.
  • the lens control unit 328 controls the driving of the lens 311. Specifically, the lens control unit 328 calculates the driving amount of the lens 311 according to the focus determination result based on the focus determination by contrast autofocus using the image data from the AD conversion unit 321, The lens 311 is moved according to the calculated drive amount.
  • the demosaic unit 323 performs demosaic processing on the RAW data from the AD converter 321, performs color information complementation, etc., and converts the data into RGB data.
  • the demosaic unit 323 supplies image data (RGB data) after demosaic processing to the LM / WB / gamma correction unit 324.
  • the LM / WB / gamma correction unit 324 corrects the color characteristics of the RGB data from the demosaic unit 323. Specifically, the LM / WB / gamma correction unit 324 uses image data using a matrix coefficient to fill in the difference between the chromaticity point of the primary color (RGB) defined in the standard and the chromaticity point of the actual camera. Each color signal is corrected to change the color reproducibility. The LM / WB / gamma correction unit 324 adjusts the white balance by setting a gain for white for each channel value of RGB data.
  • the LM / WB / gamma correction unit 324 performs gamma correction to obtain a display closer to the original by adjusting the relative relationship between the color of the image data and the output device characteristics.
  • the LM / WB / gamma correction unit 324 supplies the corrected image data (RGB data) to the luminance chroma signal generation unit 325.
  • the luminance chroma signal generation unit 325 generates a luminance signal (Y) and a color difference signal (Cr, Cb) from the RGB data supplied from the LM / WB / gamma correction unit 324.
  • the luminance chroma signal generation unit 325 generates the luminance chroma signal (Y, Cr, Cb)
  • the luminance chroma signal and the color difference signal are supplied to the I / F unit 326.
  • the I / F unit 326 supplies the supplied image data (luminance chroma signal) to a recording unit 314 such as a recording device that records the image data, and records the image data or displays an image of the image data.
  • the data is output to the display unit 313 and displayed.
  • FIG. 7 is a flowchart for describing imaging processing of an electronic device to which the present technology is applied.
  • step S ⁇ b> 11 the image sensor 41 photoelectrically converts the incident light of each pixel 111, reads out the pixel signal, and supplies it to the AD converter 321.
  • step S ⁇ b> 12 the AD conversion unit 321 AD-converts each pixel signal from the image sensor 41 and supplies it to the clamp unit 322.
  • step S13 the clamp unit 322 subtracts the black level detected in the OPB (Optical Black) region provided outside the effective pixel region from each pixel signal (pixel value) from the AD conversion unit 321.
  • the clamp unit 322 supplies image data (pixel values) for all pixels from which the black level has been subtracted to the demosaic unit 323.
  • step S14 the demosaic unit 323 performs demosaic processing, converts the RAW data into RGB data, and supplies the RGB data to the LM / WB / gamma correction unit 324.
  • step S15 the LM / WB / gamma correction unit 324 performs color correction, white balance adjustment, and gamma correction on the RGB data from the demosaic unit 324, and supplies the result to the luminance chroma signal generation unit 325.
  • step S16 the luminance chroma signal generation unit 325 generates a luminance signal and a color difference signal (that is, YCrCb data) from the RGB data.
  • step S17 the I / F unit 326 outputs the luminance signal and the color difference signal generated by the luminance chroma signal generation unit 325 to the recording unit 314 and the display unit 313.
  • step S18 the display unit 313 displays an image of the subject based on the signal supplied from the I / F unit 326. Further, the recording unit 314 records the signal supplied from the I / F unit 326 based on an instruction from the user.
  • the subject at the position corresponding to the block 102 is obtained as the combined color of the block 102 in which different colors are combined in units of the sub-block 103 composed of 3 ⁇ 3 pixels 111 of the same color. It can be recognized by a person as the color of the imaging point.
  • Second Embodiment> (2-1) Simultaneous Imaging with High Frame Rate Imaging and Normal Frame Rate Imaging
  • the exposure times of the pixels 111 constituting the sub-block 103 may not all be the same.
  • the pixel at the center position in the sub-block 103 marked with a white star is a single pixel.
  • the other eight pixels 111 may be read out as normal pixels.
  • pixel signals read from eight normal pixels 111 may be added and used as a pixel signal of one pixel.
  • the normal addition pixel when the exposure time ( ⁇ frame rate) of the single pixel 111A is, for example, eight times as long as the normal pixel 111, the normal addition pixel is Therefore, it can be treated as a pixel having a sensitivity of 8 times that of the normal pixel 111.
  • pixel signals are handled in units of sub-blocks 103, in this example, pixel signals of normal addition pixels and pixel signals of single pixels 111A exist in the same sub-block 103. .
  • the normal addition pixel has the same sensitivity as that of the single pixel 111A even if the frame rate is 480 fps. It becomes possible to do.
  • the upper stage in the lower part of FIG. 8 shows the readout timing of the normal addition pixel, and shows the exposure start time and the exposure end time of each. Further, the lower part of FIG. 8 shows the readout timing of the single pixel 111A, and shows the exposure start time and the exposure end time.
  • the exposure of the first frame of the normal addition pixels starts at time t0 and ends at time t1.
  • the exposure of the second frame of the normal addition pixels starts at time t1 and ends at time t2.
  • exposure starts at time t2, and exposure ends at time t3.
  • exposure starts at time t3, and exposure ends at time t4.
  • exposure starts at time t4, and exposure ends at time t5.
  • the exposure of the sixth frame of the normal addition pixels starts at time t5 and ends at time t6.
  • exposure starts at time t6, and exposure ends at time t7.
  • time t7 In the eighth frame of the normal addition pixels, exposure starts at time t7, and exposure ends at time t8. Note that time t1 to t2, time t2 to t3, time t3 to t4, time t4 to t5, time t5 to t6, time t6 to t7, and time t7 to t8 are all the same time.
  • the single pixel 111A starts exposure at the time t0 for the first frame, and the exposure ends at the time t8.
  • the normal addition pixel can realize imaging with the same sensitivity at the frame rate of 8 times that the sensitivity is 8 times that of the single pixel 111A.
  • the upper left part and upper right part of FIG. 9 are the same as that of FIG.
  • the upper row shows normal addition pixels
  • the lower row shows the exposure start time and exposure end time of the single pixel 111 ⁇ / b> A, both of which start exposure at time t ⁇ b> 11 and exposure at time t ⁇ b> 12. Is shown to have ended.
  • HDR imaging is realized by changing the exposure time for each pixel.
  • the exposure timing differs in units of pixels, if there is movement in the subject, pixel signals in which different subjects are reflected can be obtained between pixels with different exposure times. Therefore, motion blur occurs and the image quality is reduced.
  • HDR imaging can be realized using pixel signals exposed at the same timing using normal addition pixels and single pixels 111A having different sensitivities.
  • normal addition pixels and single pixels 111A having different sensitivities.
  • motion blur is reduced even in HDR imaging. It becomes possible to make it.
  • the same reference numerals and the same names are given to the components having the same functions as those of the electronic device 300 of FIG. 4, and the description thereof is omitted as appropriate.
  • the electronic device 300 in FIG. 10 is different from the electronic device 300 in FIG. 5 in that a clamp unit 330 is provided instead of the clamp unit 322.
  • the basic function of the clamp unit 330 is the same as that of the clamp unit 322. Further, the digital signal of the pixel signal supplied from the normal pixel 111 is added, and one normal addition pixel is sub-block 103 unit. For the single pixel 111A, the pixel signal as it is is treated as a pixel signal of one pixel of the sub-block 103 at the same position.
  • steps S21, S22, S24 to S29 in the flowchart of FIG. 10 are the same as those in steps S11 to S18 in the flowchart of FIG.
  • the processing in steps S21 and S22 is processing performed in each of the eight pixels 111 that normally constitute the addition pixel.
  • step S23 the clamp unit 330 adds the eight pixel values constituting the normal addition pixel to each pixel signal (pixel value) from the AD conversion unit 321. Signal processing is executed as normal addition pixels.
  • the imaging process using the single pixel 111A is the same as the process described with reference to the flowchart of FIG.
  • the normal addition pixel and the single pixel 111A having different sensitivities in the sub-block 103 unit the same sensitivity can be obtained even if the normal addition pixel and the single pixel 111A have different exposure times. Therefore, for example, it is possible to simultaneously realize high frame rate imaging with the same sensitivity and normal frame rate imaging.
  • the normal addition pixel when the sensitivity of the normal addition pixel is 8 times the sensitivity of the single pixel 111A, the normal addition pixel has a frame rate (1/8 exposure time) that is 8 times that of the single pixel 111A. ), An image with the same sensitivity can be captured. As a result, it is possible to realize imaging at different frame rates at the same time.
  • the configuration for processing the pixel signal of the normal addition pixel and the configuration for processing the pixel signal of the single pixel 111 may be independent of each other. That is, for example, with respect to the clamp unit 330, the demosaic unit 323, the LM / WB / gamma correction unit 324, the luminance chroma signal generation unit 325, and the interface unit 326, each of which processes the pixel signal of the normal addition pixel and the single pixel 111, respectively. It is also possible to provide two systems independently of those that process the pixel signals.
  • m ⁇ n pixels 111 are basically R, G, and B imaging pixels, but the horizontal direction 3 ⁇ vertical direction 3 constituting the sub-block 103.
  • the pixel at the center position in the horizontal direction and at the center position in the vertical direction is replaced with one of the pair of phase difference detection pixels 111B-1 and 111B-2.
  • one of the phase difference detection pixels 111B-1 and 111B-2 is regularly arranged throughout.
  • a plurality of phase difference detections in which half of the pixels are indicated by black rectangles and the other half are indicated by white stars.
  • the pixels 111B-1 or 111B-2 are arranged in a scattered manner.
  • the center pixel 111 at the relatively same position (corresponding position) among the 3 ⁇ 3 pixels 111 is detected by the phase difference detection.
  • the pixel 111B-1 or 111B-2 is used.
  • phase difference detection pixels 111B-1 and 111B-2 that detect the phase difference in the horizontal direction
  • the phase difference detection pixels 111B-1 is arranged.
  • phase difference detection pixels 111B-2 constituting the other of the pair detecting the phase difference in the horizontal direction are arranged.
  • FIG. 13 is a diagram illustrating a configuration of the phase difference detection pixels 111B-1 and 11B-2 of the pixel array 44 of the image sensor 41 to which the present technology is applied.
  • the left side of FIG. 13 shows the phase difference detection pixel 111B-2 of the pair of phase difference detection pixels 111B-1 and 111B-2 that detect the phase difference in the horizontal direction.
  • a light shielding portion 332-2 is formed on the right side thereof, and a light transmitting portion 331-2 is formed on the left side thereof.
  • the light shielding portion 332-2 that shields light from the subject toward the photodiode 61 is formed of a metal film such as copper, for example.
  • the light transmitting portion 331-2 that transmits light from the subject toward the photodiode 61 is formed by opening a part of the metal film forming the light shielding portion 332-2.
  • the opening can be formed by not forming the light shielding portion 332-2.
  • the light shielding portion 332-1 is on the left side and the light transmitting portion 331 is on the right side. -1 is formed.
  • the light shielding portion 332-1 that shields light from the subject toward the photodiode 61 is formed of, for example, a metal film such as copper, and the light transmitting portion 331 that transmits light from the subject toward the photodiode 61.
  • ⁇ 1 is formed by opening a part of the metal film forming the light shielding portion 332-1.
  • it is also possible to form an opening by not forming the light shielding portion 332-1.
  • FIG. 13 shows an example in which a phase difference detection pixel 111B for detecting a phase difference in the horizontal direction (horizontal direction) is provided, the phase difference in the vertical direction (vertical direction) may be detected. Good.
  • FIG. 14 shows the phase difference detection pixel 111B′-1 of the pair of phase difference detection pixels 111B′-1 and 111B′-2 that detect the phase difference in the vertical direction.
  • a light shielding portion 332-3 is formed below and a light transmitting portion 331-3 is formed above.
  • the light shielding portion 332-3 that shields light from the subject toward the photodiode 61 is formed of, for example, a metal film such as copper, and the light transmitting portion 331-1 that transmits light from the subject toward the photodiode 61. 3 is formed by opening a part of the metal film forming the light shielding portion 332-4. Of course, it is also possible to form an opening by not forming the light shielding portion 332-3.
  • the light shielding portion 332-4 is on the upper side and the light shielding portion 332-4 is on the lower side.
  • a light transmitting portion 331-4 is formed.
  • the light shielding portion 332-4 that shields light from the subject toward the photodiode 61 is formed of a metal film such as copper, for example, and transmits light from the subject toward the photodiode 61. 4 is formed by opening a part of the metal film forming the light shielding portion 332-4. Of course, it is also possible to form an opening by not forming the light shielding portion 332-4.
  • FIG. 15 is a cross-sectional view illustrating a configuration example of a normal pixel 111 according to an embodiment of an image sensor to which the present technology is applied.
  • FIG. 15 illustrates a cross-sectional configuration of two pixels 111 among the pixels constituting the normal addition pixel.
  • a photodiode 352 (corresponding to the photodiode 61 in FIG. 2) as a photoelectric conversion unit is formed on a Si (silicon) semiconductor substrate 351.
  • An R, G, or B color filter 354 is formed on the upper layer of the semiconductor substrate 351, and an on-chip lens 355 is formed on the upper layer thereof.
  • the light from the subject is collected by the on-chip lens 355, passes through the R, G, or B color filter 354, and the light of the color corresponding to the color filter 354 is incident on the photodiode 352.
  • a color signal (pixel signal) of a light component of a color corresponding to the color filter 354 is output from the photodiode 352.
  • FIG. 16 is a cross-sectional view illustrating a configuration example of a phase difference detection pixel according to an embodiment of an imaging device to which the present technology is applied.
  • FIG. 16 shows the cross-sectional configurations of two phase difference detection pixels 111B-1 and 111B-2 side by side for convenience.
  • the configuration of the phase difference detection pixel 111B is basically the same as that of the pixel 111 shown in FIG. 15.
  • the color filter 354 shown in FIG. 332-1 and translucent parts 331-1 and 331-2 are arranged.
  • the configurations of the light shielding units 332-1 and 332-2 and the light transmitting units 331-1 and 331-2 are as described with reference to FIGS.
  • phase difference detection pixel 111B-2 a part of the light condensed by the on-chip lens 355 is transmitted through the light transmitting portion 331-2 and is incident on the photodiode 352.
  • a part of the light collected by the on-chip lens 355 is shielded by the light shielding part 332-2 arranged on the right side of the light transmitting part 331-2 in FIG. 16, and does not enter the photodiode 352.
  • phase difference detection pixel 111B-1 a part of the light condensed by the on-chip lens 355 passes through the light transmitting portion 331-1 and enters the photodiode 352.
  • a part of the light collected by the on-chip lens 355 is shielded by the light shielding part 332-1 disposed on the left side of the light transmitting part 331-1 in FIG. 16, and does not enter the photodiode 352.
  • FIG. 17 is a diagram for explaining the phase difference characteristics of the phase difference detection pixel according to the embodiment of the imaging device to which the present technology is applied. Hereinafter, the principle of phase difference detection will be described with reference to FIGS. 16 and 17.
  • phase difference detection pixels 111B-1 and 111B-2 As shown in FIG. 16, it is assumed that incident light L1 to L5 from five directions is incident on the phase difference detection pixels 111B-1 and 111B-2.
  • the graph of FIG. 17 shows pixel signal outputs of the phase difference detection pixels 111B-1 and 111B-2 at that time.
  • the horizontal axis indicates the incident angle of the incident light
  • the vertical axis indicates the pixel signal output of the phase difference detection pixels 111B-1 and 111B-2.
  • a solid line 141B indicates the pixel signal output of the phase difference detection pixel 111B-1
  • a broken line 141A indicates the pixel output of the phase difference detection pixel 111B-2.
  • the left-side light-shielded phase difference detection pixel 111B-1 has a larger output when the angle of incident light is set on the left side (minus side), and the right-side light-shielded phase difference detection pixel 111B.
  • the output of -2 increases when the angle of incident light is set on the right side (plus side). That is, when the angle component in the negative direction is large in the incident light as in the incident light L1, the output of the phase difference detection pixel 111B-1 is larger than the output of the phase difference detection pixel 111B-2.
  • the pixel signal output of the phase difference detection pixel 111B-2 is larger than the pixel signal output of the phase difference detection pixel 111B-1.
  • the defocus amount is detected by using the phase difference characteristics of the pixel signal output of each of the phase difference detection pixels 131 with respect to the incident angle of the incident light.
  • FIG. 18 is a diagram illustrating a configuration example of a third embodiment of an electronic device to which the present technology is applied.
  • configurations having the same functions as those of the electronic device 300 in FIG. 10 are denoted by the same names and the same reference numerals, and description thereof will be omitted as appropriate.
  • the electronic device 300 in FIG. 18 is different from the electronic device 300 in FIG. 10 in that a correction parameter calculation unit 371, a memory 372, a phase difference correction unit 373, a phase difference detection unit 374, and a lens control unit 375 are further provided. It is a point.
  • the correction parameter calculation unit 371 calculates a correction parameter using phase difference characteristic data obtained in a test process after the image sensor 41 is manufactured, a test process after the lens 311 is attached to the image sensor 41, and the like. This correction parameter is used to correct the phase difference detected by the phase difference detector 374.
  • the memory 372 stores the correction parameters calculated by the correction parameter calculation unit 371.
  • the phase difference detection unit 374 performs the phase difference detection process based on the image data (pixel value) from the clamp unit 330, thereby determining whether or not the object to be focused (focused object) is in focus. To determine. When the object in the focus area is in focus, the phase difference detection unit 374 supplies information indicating that the object is in focus to the lens control unit 375 as a focus determination result. The phase difference detection unit 373 calculates the amount of focus shift (defocus amount) when the focused object is not in focus, and uses the information indicating the calculated defocus amount as the focus determination result. To the lens control unit 375.
  • the phase difference correction unit 373 corrects the phase difference detected by the phase difference detection unit 374 using the correction parameter stored in the memory 372.
  • the phase difference detection unit 374 supplies a focus determination result corresponding to the corrected phase difference to the lens control unit 375.
  • the lens control unit 375 controls the driving of the lens 311. Specifically, the lens control unit 375 calculates the driving amount of the lens 311 based on the focus determination result supplied from the phase difference detection unit 374, and moves the lens 311 according to the calculated driving amount. .
  • the lens control unit 375 maintains the current position of the lens 311 when in focus.
  • the lens control unit 375 calculates a drive amount based on the focus determination result indicating the defocus amount and the position of the lens 311, and moves the lens 311 according to the drive amount. Move.
  • phase difference autofocus processing by the electronic apparatus 300 in FIG. 18 will be described with reference to the flowchart in FIG.
  • the phase difference autofocus process is executed by the electronic device 300 before or in parallel with the imaging process when the subject is imaged.
  • step S ⁇ b> 31 the image sensor 41 photoelectrically converts incident light of each pixel 111, reads each pixel signal, and supplies it to the AD conversion unit 321.
  • the phase difference detection pixel 111B may be read at a timing different from that of the normal pixel 111.
  • step S ⁇ b> 32 the AD conversion unit 321 AD-converts each pixel signal from the image sensor 41 and supplies the converted signal to the clamp unit 322.
  • step S33 the clamp unit 322 subtracts the black level detected in the OPB (Optical Black) region provided outside the effective pixel region from each pixel signal (pixel value) from the AD conversion unit 321.
  • the clamp unit 322 supplies the image data (pixel value) output from the phase difference detection pixel 111B to the phase difference detection unit 374 among the image data obtained by subtracting the black level.
  • step S34 the phase difference correction unit 373 reads a correction parameter calculated in advance and stored in the memory 372.
  • step S35 the phase difference detection unit 374 performs phase difference detection based on the image data (pixel value) from the clamp unit 322. That is, the output of the phase difference detection pixel 111B that detects the phase difference between the vertical direction (vertical direction) and the horizontal direction (horizontal direction) is read out.
  • step S36 the phase difference correction unit 373 corrects the phase difference detected by the phase difference detection unit 374 using the correction parameter read in the process of step S44. That is, the correction parameter is supplied to the phase difference detection unit 374, and the detected phase difference is corrected.
  • step S37 the phase difference detection unit 374 connects the outputs of the phase difference detection pixels 131 in the focus area. That is, the outputs of the phase difference detection pixels 111B in the focus area are connected according to the pixel position, and an AF pixel signal is generated.
  • step S38 the phase difference detection unit 374 performs a shading correction (peripheral screen light amount drop correction), a two-image distortion restoration correction by vignetting, and the like on the AF pixel signal generated in step S37, and performs correlation calculation. A pair of image signals is generated.
  • a shading correction peripheral screen light amount drop correction
  • a two-image distortion restoration correction by vignetting and the like
  • FIG. 20 is a diagram illustrating a configuration of the phase difference detection pixels 111B-1 and 111B-2 according to the embodiment of the imaging device to which the present technology is applied.
  • the image sensor 41 of the present embodiment includes a phase difference detection pixel 111B-2 for detecting a phase difference in the horizontal direction and a phase difference in the horizontal direction paired therewith. And a phase difference detection pixel 111B-1 for detection.
  • the signal of the phase difference detection pixel 111B is grouped. As shown in FIG. 20, the phase difference detection pixels 111B-1 and 111B-2 for detecting the phase difference in the horizontal direction are grouped in the horizontal direction, for example, in the second row, the eighth row, and so on. It becomes.
  • the image signal SIGh (A for phase difference detection obtained by connecting the pixel signals obtained in the phase difference detection pixel 111B-2 included in the focus area Rh for phase difference detection in the horizontal direction in the horizontal direction. ) Is generated.
  • an image signal SIGh (B) for phase difference detection is generated by horizontally connecting pixel signals obtained by the phase difference detection pixels 111B-1 included in the focus area Rh.
  • step S39 the phase difference detection unit 374 calculates the correlation of the image signal pair for phase difference detection. That is, the correlation of the phase difference between the image signal SIGh (A) and the image signal SIGh (B) is calculated.
  • step S40 the phase difference detection unit 374 determines the reliability of the correlation. That is, the reliability of the correlation calculation result calculated in step S39 is determined.
  • the reliability refers to the degree of coincidence of image signal pairs (similarity between waveforms). When the degree of coincidence is good, the reliability of the focus detection result is generally high.
  • the defocus amount in the horizontal direction can be obtained.
  • step S41 the phase difference detection unit 374 calculates a defocus amount. That is, in step S40, the final defocus amount is calculated based on the phase difference obtained from the image signal pair determined to be highly reliable.
  • step S42 the lens control unit 375 controls the driving of the lens 311 based on the focus determination result from the phase difference detection unit 374.
  • the lens control unit 375 may control the driving of the lens 311 by performing contrast autofocus in addition to the phase difference autofocus as described above. For example, when information indicating a focus shift amount (defocus amount) is supplied as a focus determination result from the phase difference detection unit 374, the lens control unit 375 receives the focus shift direction (front pin or rear pin). Or the contrast autofocus may be performed in that direction.
  • the phase difference autofocus process is executed while reading the normal addition pixel from time t21 to t22.
  • the center pixel is a phase difference detection pixel.
  • 111B-1 and 111B-2 among the 3 pixels ⁇ 3 pixels constituting the lower sub-block 103, the central pixel is configured as a black pixel 111C.
  • the central pixel is configured as the black pixel 111 ⁇ / b> C
  • the lower pixel 102 constituting the lower sub-block 103 is composed of 3 pixels ⁇ 3 pixels.
  • the center pixel is configured as phase difference detection pixels 111B-1 and 111B-2.
  • the black pixel 111C is a pixel corresponding to a pixel configured to obtain a black level provided in the OPB area provided in the non-image output area 44B of FIG. More specifically, the black pixel 111C is a pixel whose entire surface is covered with the light shielding portion 332 formed of a metal film such as copper described with reference to FIG.
  • the pixel signal of each pixel 111 in units of sub-blocks 103 reads the black level of the neighboring black pixel 111C, and the black in the processing of steps S13 (FIG. 7), S23 (FIG. 11), and S33 (FIG. 19) described above. Used for level subtraction.
  • the pixel signals of the phase difference detection pixels 111B-1 and 111B-2 and the black pixel 111C are read from time t50 to t51, and thereafter From t51 to t52, the normal addition pixel is read out.
  • phase difference detection pixels 111B-1 and 111B-2 are read first, and at the subsequent timing, the phase difference autofocus process is executed while reading the normal addition pixels,
  • the focus adjustment by the lens 311 it is possible to perform continuous imaging while keeping the focus following the movement of the subject, and it is possible to suppress deterioration in image quality.
  • the black level of the neighboring black pixel 111C is subtracted for each sub-block 103 by subtracting the black level using the black pixel that has been read first. Image quality can be improved.
  • the pixels 111 in the OPB area set in the non-image output area 44B provided in the periphery of the image output area 44A in FIG. 6 have been set to the black level. Therefore, black that is generated two-dimensionally in the image output area 44A. Correction using level variation was not possible. However, by correcting the pixel signal using the two-dimensional black level detection result using the black pixel 111C of the present disclosure, it is possible to suppress the black level variation that occurs two-dimensionally, and to achieve higher accuracy. Clamping can be realized.
  • the central pixel is configured as a white pixel 111 ⁇ / b> D.
  • the white pixel 111 ⁇ / b> D is configured such that the transparent color filter 354 or the color filter 354 is not provided, and white light is incident on the photodiode 352.
  • the pixel signals of the normal eight pixels 111 in the sub-block 103 unit are added, so that the normal addition pixels in the narrow color band of the Bayer array are added.
  • a pixel signal is read out.
  • the white pixel 111D outputs the luminance signal itself when white light is incident thereon.
  • the signals indicated by the waveforms R, G, B, and W are output from the normal addition pixels and the white pixels 111D of the RGB sub-blocks 103 as shown in the lower left part of FIG. Is done.
  • the horizontal axis represents the wavelength
  • the vertical axis represents the level of the pixel signal.
  • the pixel signal of the normal addition pixel output from each of the RGB sub-blocks 103 in the Bayer array is a narrow color band signal, whereas the luminance signal output from the white pixel 111D is a wide color. Band signal.
  • the pixel signal of the normal addition pixel output from each of the RGB sub-blocks 103 uses a narrow color band signal and a wide color band signal to reduce false resolution and high frequency color false.
  • an LPF Low Pass Filter
  • a narrow color band which is a pixel signal of a normal addition pixel output from each RGB sub-block 103, and a DC component of a color is obtained. Extracted.
  • the wide color band signal output from the white pixel 111D is subjected to HPF (High Pass Filter) to extract an AC component of luminance.
  • FIG. 23 is a diagram illustrating a configuration example of a fourth embodiment of an electronic device to which the present technology is applied.
  • components having the same functions as those of the electronic device 300 in FIG. 18 are denoted by the same names and the same reference numerals, and description thereof will be omitted as appropriate.
  • the electronic device 300 in FIG. 23 differs from the electronic device 300 in FIG. 18 in that a correction unit 391 is provided between the demosaic unit 323 and the LM / MB / gamma correction unit 324.
  • the correction unit 391 extracts a DC component of the color by applying a LPF (Low Pass Filter) to the narrow color band signal, which is a pixel signal of the normal addition pixel output from each of the RGB sub-blocks 103, and white color
  • LPF Low Pass Filter
  • HPF High Pass Filter
  • correction unit 391 A detailed configuration of the correction unit 391 will be described later with reference to FIG.
  • FIG. 24 (4-3) Configuration Example of Correction Unit
  • the upper part of FIG. 24 is a diagram showing a configuration example of the correction unit 391 of FIG. 23, and the lower part of FIG. 24 is the frequency and response output of the input signals of the HPF 401 and LPF 402. It is a wave form diagram which shows the relationship.
  • the correction unit 391 includes an HPF (High Pass Filter) 401, an LPF (Low Pass Filter) 402, and an adder 403.
  • HPF High Pass Filter
  • LPF Low Pass Filter
  • the HPF 401 extracts an AC component from the luminance signal supplied from the white pixel 111D of each of the RGB sub-blocks 103 and outputs the AC component to the adding unit 403.
  • the LPF 402 extracts a DC component from the pixel signal from the normal addition pixel of each of the RGB sub-blocks 103 and outputs the DC component to the addition unit 403.
  • the adder 403 adds the DC component of the pixel signal from the normal addition pixel of each RGB sub-block 103 from the LPF 402 and the AC component of the luminance signal from the HPF 401 to obtain the color signal of the RGB sub-block 103. Output as.
  • the LPF 402 has a high response output when the frequency of the input signal is low, and a low response output when the frequency is high.
  • the HPF 401 has a low response output when the frequency of the input signal is low, and a high response output when the frequency is high. That is, when the maximum value of the response output is 1, the response output of HPF 401 is a value obtained by subtracting the response output of LPF 402 from 1.
  • the LPF 402 when the LPF 402 is applied to the pixel signal of the normal addition pixel of the RGB sub-block 103, the response output increases or decreases according to the RGB frequency.
  • the extracted AC component By supplementing the extracted AC component, it is possible to suppress the occurrence of false resolution and color false.
  • step S84 the clamp unit 330 subtracts the black level detected as the pixel signal of the corresponding black pixel 111C from the pixel signal (pixel value) of the normal addition pixel from the AD conversion unit 321 for each sub-block 103. .
  • the clamp unit 330 supplies image data (pixel values) for all pixels from which the black level has been subtracted to the demosaic unit 323. That is, here, the black level, which is the pixel signal of the black pixel 111C, is subtracted from the pixel signal of the normal addition pixel in units of the sub-block 103.
  • the two-dimensional black level variation that can occur in units of the pixels 111 on the pixel array 44 can be corrected with high accuracy.
  • step S86 the correction unit 391 executes correction processing to extract the DC component of the pixel signal of the normal addition pixel of the RGB sub-block 103, and the AC component of the luminance signal of the corresponding white pixel 111D. By extracting and adding, generation of false resolution and color false is suppressed.
  • step S101 the LPF 402 multiplies the narrow color band pixel signal corresponding to each of the RGB sub-blocks 103 in the Bayer array by applying the LPF, extracts the DC component of the color, and outputs it to the adder 403.
  • step S102 the HPF 401 multiplies the luminance signal in the wide color band corresponding to each of the RGB sub-blocks 103 in the Bayer array by applying HPF, extracts the AC component of the luminance, and outputs it to the adding unit 403.
  • step S ⁇ b> 103 the addition unit 403 adds the luminance AC component supplied from the HPF 401 and the color DC component supplied from the LPF 402 to each of the RGB sub-blocks 103 in the Bayer array, and outputs the result to the clamp unit 322. To do.
  • the central pixel is configured as a white pixel 111D.
  • the central pixel is constituted as a white pixel 111 ⁇ / b> D, and 3 pixels ⁇ 3 pixels constituting the lower sub-block 103.
  • the center pixel is configured as phase difference detection pixels 111B-1 and 111B-2.
  • Detection pixels 111B-1 and 111B-2 are respectively output. That is, two pairs of phase difference detection pixels 111B-1 and 111B-2 are arranged in units of 2 ⁇ 2 blocks 102.
  • the pixel signal is read from the two pairs of phase difference detection pixels 111B-1 and 111B-2 so that phase difference autofocus processing is executed and the focus by the lens 311 is adjusted, and then the focus is adjusted. Since the normal image is read out by the normal addition pixel and the correction process using the white pixel 111D can be realized, it is possible to suppress the deterioration of the image quality.
  • the output of the pixel signal from the image pickup device 41 is the pixel signal of the normal eight pixels 111 constituting the sub-block 103 and one pixel having some other function (hereinafter, functional pixel).
  • functional pixel the pixel signal
  • the pixel signals of the normal eight pixels 111 and the pixel signals of one other functional pixel 111X are output to the clamp unit 330 at the same timing. You may make it read in parallel.
  • the clamp unit 322 adjusts the timing by buffering pixel signals having different processing timings. There is a need to.
  • the functional pixel 111X is a generic term for the above-described single pixel 111A, phase difference detection pixels 111B-1, 111B-2, black pixel 111C, and white pixel 111D.
  • the output may be performed in accordance with the processing order and timing.
  • time division readout is performed so that the pixel signal of the normal pixel 111 is output at time tx and then the pixel signal of the functional pixel 111X is output at time ty. You may do it. Alternatively, the order may be changed, and after the pixel signal of the functional pixel 111X is output, the time division readout may be performed so that the pixel signal of the normal pixel 111 is output.
  • the column AD conversion unit 47 is provided with one ADC 55 for each vertical signal line 53, and the configuration example in which AD conversion is performed for each row has been described.
  • FIG. As shown in FIG. 4, the column AD conversion units 47-1 to 47-3 and 47-11 to 47-13 are provided for each of three rows in the vertical direction, and the block 102 in the upper half of the pixel array 44 is The AD conversion is performed by the column AD conversion units 47-1 to 47-3 provided in the upper part for every three columns of the pixels 111 as the unit of the subblock 103, and the lower block 102 of the pixel array 44 is subblocked.
  • the AD conversion may be performed by the column AD conversion units 47-1 to 47-3 provided in the lower part for every three columns of the pixels 111 that are 103 units.
  • the column AD conversion unit 47 is not only provided in three rows at the top and bottom, but may also be provided for the other number of rows as long as it is a multiple of three. Note that the column AD conversion unit 47 has a number corresponding to the number of pixels constituting the sub-block 103. For this reason, for example, when the sub-block 103 is configured by Q ⁇ Q, it is desirable that the column AD conversion unit 47 be provided by multiple rows of Q.
  • the central pixel is arranged in the sub-block 103 unit, and normal pixels 111 are arranged at five locations on the top, bottom, left, and right, and functional pixels 111X at four other corners. May be arranged.
  • the pixel 111 is arranged at the center pixel and the left and right diagonally upper and left and right diagonally lower 5 in the sub-block 103 unit.
  • the functional pixel 111X may be arranged at a place.
  • only the lower right pixel of the B sub-block 103 may be the black pixel 111C for the lower right pixel.
  • the functional pixels 111X excluding the black pixel 111C in the sub-block 103 are arranged asymmetrically, but the normal pixels 111 in the sub-block 103 are arranged symmetrically in the vertical and horizontal directions. The occurrence of the phase shift is suppressed. Further, since the black pixels 111C are arranged uniformly, it is possible to appropriately correct a two-dimensional change in black level.
  • phase difference detection pixels 111B-1 and 111B-2 are arranged on the left and right oblique upper sides as viewed from the center pixel in the sub-block 103 unit, and the left and right oblique lower parts.
  • the black pixel 111C may be arranged, and the other five pixels may be the normal pixels 111.
  • phase difference detection pixels 111B′-1 and 111B′-2 are arranged on the upper and lower diagonal portions on the right side when viewed from the center pixel.
  • the black pixel 111C is arranged on the left diagonal upper and lower parts, and the other five pixels are set as normal pixels 111.
  • the R and B sub-blocks 103 are diagonally upper left and right as viewed from the central pixel.
  • the phase difference detection pixels 111B-1 and 111B-2 may be arranged, the black pixels 111C may be arranged at the lower left and right sides, and the other five pixels may be the normal pixels 111.
  • the arrangement of the RGB sub-blocks 103 in the Bayer array of each block 102 corresponds to FIG.
  • the central pixel 111 in the sub-block 103 may be replaced with a white pixel 111D with respect to the upper left pixel arrangement of FIG.
  • the central pixel 111 in the sub-block 103 may be replaced with a white pixel 111D in the pixel arrangement in the lower left part of FIG.
  • the normal pixels 111 are arranged symmetrically with respect to the top, bottom, left and right in the sub-block 103, so that the occurrence of phase shift can be suppressed.
  • the sub-block 103 is configured by 9 pixels of 3 pixels ⁇ 3 pixels.
  • the number of pixels constituting the sub-block 103 may be other number of pixels.
  • it may be configured by 4 pixels ⁇ 4 pixels.
  • the center 2 pixels ⁇ 2 pixels are phase difference detection pixels 111B-1 on the left and right respectively.
  • 111B-2, and the normal pixels 111 may be arranged for the other 12 pixels.
  • the center 2 pixels ⁇ 2 pixels of the G sub-block 103 are phase-detected left and right.
  • the normal pixel 111 is arranged, and for the 2 pixels ⁇ 2 pixels at the center of the B and R sub-block 103, the left and right pixels 111B-1 and 111B-2 are arranged.
  • phase difference detection pixels 111B′-1 and 111B′-2 may be arranged, and normal pixels 111 may be arranged for the other 12 pixels.
  • the black pixel 111C may be arranged for the two pixels at the lower center stage, and the normal pixel 111 may be arranged for the other 12 pixels.
  • the two pixels at the upper center of the G sub-block 103 are the phase difference detection pixels 111B- 1, 111B-2 are arranged, the black pixels 111C are arranged for the two pixels at the lower center stage, and the normal pixels 111 are arranged for the other 12 pixels, and the B and R sub-blocks 103 Phase difference detection pixels 111B′-1 and 111B′-2 are arranged for the two pixels on the left side of the center, black pixels 111C are arranged for the two pixels on the right side of the center, and the other 12 pixels are usually
  • the pixels 111 may be arranged.
  • sub-block 103 may be configured by 2 pixels ⁇ 2 pixels.
  • phase difference detection pixels 111B-1 and 111B-2 are provided in the lower right portion, and the lower stage constituting the block 102
  • a black pixel 111C may be provided at the lower right.
  • 1 ⁇ 4 pixel is the functional pixel X.
  • the functional pixel X may be not only the phase difference detection pixel 111B and the black pixel 111C shown in FIG. 33, but also the white pixel 111D and the single pixel 111A.
  • the normal pixel 111 is asymmetric with respect to the upper, lower, left, and right in units of the subblock 103, but the arrangement of the three pixels 111 to be added is the same in all the subblocks 103. The deviation is suppressed. That is, as long as the arrangement of the pixels 111 used as the normal addition pixels is the same for each sub-block 103, the arrangement may be asymmetric regardless of the number of pixels constituting the sub-block 103.
  • various functional pixels 111X may be arranged in various combinations at other positions.
  • the electronic apparatus of the present disclosure in order to obtain information different from a normal image, even if any pixel in the pixel array is configured as a dedicated functional pixel for obtaining desired information, the captured image It is possible to suppress degradation of image quality.
  • this indication can also take the following structures.
  • the image picked up by the image pickup device is composed of blocks that are sets of color units, The block is configured by arranging, for each color, sub-blocks composed of a plurality of pixels of the same color in a predetermined color arrangement, Of the plurality of pixels arranged in the sub-block, the normal pixels are arranged symmetrically in the vertical and horizontal directions in the sub-block.
  • ⁇ 2> The solid-state imaging device according to ⁇ 1>, wherein the color arrangement is a Bayer arrangement, a stripe arrangement, a checkered arrangement, or an interline arrangement.
  • the pixel signals of the plurality of normal pixels constituting the sub-block are added and output as pixel signals of the normal addition pixels in the sub-block unit.
  • ⁇ 4> The solid-state imaging device according to ⁇ 3>, wherein the functional pixel is a pixel having the same function as the normal pixel and captures the image having the same sensitivity and an exposure time different from that of the normal pixel. .
  • the functional pixel is a pixel having the same function as that of the normal pixel, and images the image having the same exposure time as the normal pixel and having a different sensitivity. apparatus.
  • the image sensor outputs a pixel signal of the normal pixel after outputting a signal indicating a phase difference detected by the functional pixel including the phase difference detection pixel. ⁇ 7> apparatus.
  • ⁇ 8> a lens that adjusts a focal point of light incident on the image sensor; A lens control unit for controlling the focal length of the lens, The lens control unit calculates a defocus amount of the lens according to the phase difference detected by the phase difference detection pixel, and controls a focal length of the lens based on the defocus amount.
  • ⁇ 7 > The solid-state imaging device described in>.
  • ⁇ 9> The solid-state imaging device according to ⁇ 6>, wherein the phase difference detection pixel detects a phase difference in a horizontal direction.
  • the phase difference detection pixel detects a phase difference in a vertical direction.
  • the solid-state imaging device according to ⁇ 3>, wherein the functional pixel is a black pixel and outputs a black level.
  • the black pixel is a pixel whose entire surface is shielded from light.
  • the solid-state imaging device further including a clamp unit that subtracts and clamps the black level of the black pixel from a pixel signal of the normal addition pixel.
  • the functional pixel is a white pixel and outputs a luminance signal.
  • the solid-state imaging device wherein the white pixel is a pixel with a transparent color filter or a pixel without the color filter.
  • an LPF unit that applies a LPF (Low Pass Filter) to the pixel signal of the normal addition pixel;
  • An HPF unit that multiplies the luminance signal by HPF (High Pass Filter);
  • the solid-state imaging device further including an output unit of the LPF unit and an adding unit that adds the output of the HPF unit.
  • ⁇ 17> further includes a column AD conversion unit that performs analog-to-digital conversion of signals output from the pixels arranged in an array constituting the imaging device in units of rows,
  • the image picked up by the image pickup device is composed of blocks that are sets of color units, The block is configured by arranging, for each color, sub-blocks composed of a plurality of pixels of the same color in a predetermined color arrangement, Among the arrangements of a plurality of pixels constituting the sub-block, the normal pixels are arranged symmetrically vertically and horizontally within the sub-block.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本開示は、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにする固体撮像装置および電子機器に関する。 色単位の集合となるブロックを構成するＲＧＢのベイヤ配列されたサブブロックを構成する複数の画素において、通常の画像を撮像する通常画素をサブブロック内で上下左右対称に配置し、それ以外の位置に、画像を撮像する以外の所望の情報を得るための機能画素を配置する。本開示は、固体撮像装置に適用することができる。

Description

固体撮像装置および電子機器
　本開示は、固体撮像装置および電子機器に関し、特に、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにした固体撮像装置および電子機器に関する。
　近年、CMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子を用いて人物や動物等の被写体を撮像し、その結果得られる画像データを記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。
　このような撮像装置において、撮像素子に位相差検波機能を付与し、専用の自動焦点検出（ＡＦ）センサを用いずに位相差検波方式のオートフォーカス（ＡＦ）を実現する技術が知られている。例えば特許文献１には、同じ色の２×２（＝４）個の画素で１つのブロックを構成し、そのブロックの中の１つの画素を位相差検波用画素とすることが提案されている。
　特許文献１の例では、中央左側の２×２個の緑（Ｇ）の画素のブロックにおいて、右上の画素に位相差検波用画素が配置されている。それに対して、中央右側の２×２個の緑（Ｇ）の画素のブロックにおいては、左上の画素に位相差検波用画素が配置されている。
　位相差検波用画素においては、例えば画素の右側半分または左側半分に遮光部が設けられ、遮光部の反対側が透光部とされる。遮光部の位置が反対側の対となる位相差検波用画素の出力の差から位相差が検波され、それに基づきデフォーカス量が演算される。そしてその演算されたデフォーカス量に基づいてフォーカス状態が制御される。
特開２０１５－１３３４６９号公報
　しかしながら、特許文献１に記載の技術においては、通常画像と異なる情報を得るために、Bayer配列のいずれかの画素を、所望の情報を得る専用画素として構成する必要があり、局所的な折り返りなどの画質劣化への影響がある。
　本開示は、このような状況に鑑みてなされたものであり、特に、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにするものである。
　本開示の一側面の固体撮像装置は、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される固体撮像装置である。
　前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列とすることができる。
　前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力されるようにすることができる。
　前記機能画素には、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像させるようにすることができる。
　前記機能画素には、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像させるようにすることができる。
　前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素とすることができる。
　前記撮像素子には、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力させるようにすることができる。
　前記撮像素子に入射する光の焦点を調整するレンズと、前記レンズの焦点距離を制御するレンズ制御部とをさらに含ませるようにすることができ、前記レンズ制御部には、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御させるようにすることができる。
　前記位相差検波用画素には、水平方向の位相差を検波させるようにすることができる。
　前記位相差検波用画素には、垂直方向の位相差を検波させるようにすることができる。
　前記機能画素は、黒画素とすることができ、黒レベルを出力させるようにすることができる。
　前記黒画素は、全面遮光された画素とすることができる。
　前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含ませるようにすることができる。
　前記機能画素は、白画素とすることができ、輝度信号を出力させるようにすることができる。
　前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素とすることができる。
　前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含ませるようにすることができる。
　前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含ませるようにすることができ、前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられるようにすることができる。
　本開示の一側面の電子機器は、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される電子機器である。
　本開示の一側面においては、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子が設けられ、前記撮像素子により撮像される画像が、色の単位の集合となるブロックより構成され、前記ブロックが、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素が、前記サブブロック内において上下左右対称に配置される。
　本開示の一側面によれば、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制することが可能となる。
本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。 画素の等価回路を示す図である。 本技術を適用した撮像素子の第１の実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の第１の実施の形態の平面的構成例を示す図である。 本技術を適用した電子機器の第１の実施の形態の構成例を示すブロック図である。 撮像素子の画像出力領域と非画像出力領域を示す図である。 図５の電子機器の撮像処理について説明するフローチャートである。 ハイフレームレート撮像と通常のフレームレート撮像との同時撮像を実現する例を説明する図である。 ダイナミックレンジ拡大撮像を実現する例を説明する図である。 本技術を適用した電子機器の第２の実施の形態の構成例を示すブロック図である。 ハイフレームレート撮像と通常のフレームレート撮像との同時撮像、および、ダイナミックレンジ拡大撮像を実現する図１０の電子機器の撮像処理について説明するフローチャートである。 単独画素に代えて位相差検波用画素を設けるようにした画素配置例を説明する図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。 本技術を適用した撮像素子の一実施の形態の通常の画素の構成例を示す断面図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。 本技術を適用した電子機器の第３の実施の形態の構成例を示すブロック図である。 図１８の電子機器の位相差オートフォーカス処理について説明するフローチャートである。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。 通常の画素に、位相差検波用画素と黒画素とを設けるようにした画素配置例を説明する図である。 通常の画素に、白画素を設けるようにした画素配置例を説明する図である。 本技術を適用した電子機器の第４の実施の形態の構成例を示すブロック図である。 図２３の補正部の構成例を示すブロック図である。 図２３の電子機器の撮像処理について説明するフローチャートである。 図２３の補正部の補正処理について説明するフローチャートである。 サブブロック内に白画素または位相差検波用画素を設ける構成例を説明する図である。 撮像素子からの画素信号の出力タイミング例を説明する図である。 カラムAD変換部を多段にする例を説明する図である。 画素配置例のバリエーションを説明する図である。 画素配置例のバリエーションを説明する図である。 画素配置例のバリエーションを説明する図である。 画素配置例のバリエーションを説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　１．第１の実施の形態
　　　（１－１）　画素の配置（図１乃至図４）
　　　（１－２）　電子機器の第１の実施の形態の構成例（図５，図６）
　　　（１－３）　図５の電子機器による撮像処理（図７）
　２．第２の実施の形態
　　　（２－１）　ハイフレームレート撮像と通常のフレームレート撮像との同時撮像（図８）
　　　（２－２）　ダイナミックレンジ拡大撮像（図９）
　　　（２－３）　電子機器の第２の実施の形態の構成例（図１０）
　　　（２－４）　図１０の電子機器による撮像処理（図１１）
　３．第３の実施の形態
　　　（３－１）　通常加算画素と位相差検波用画素とからなる画素配置例（図１２乃至図１４）
　　　（３－２）　位相差検波の原理（図１５乃至図１７）
　　　（３－３）　電子機器の第３の実施の形態の構成例（図１８）
　　　（３－４）　位相差オートフォーカス処理（図１９，図２０）
　　　（３－５）　第３の実施の形態の変形例（サブブロック内に位相差検波用画素または黒画素を設ける画素配置例）（図２１）
　４．第４の実施の形態
　　　（４－１）　白画素を用いた画素配置例（図２２）
　　　（４－２）　電子機器の第４の実施の形態の構成例（図２３）
　　　（４－３）　補正部の構成例（図２４）
　　　（４－４）　図２３の電子機器による撮像処理（図２５）
　　　（４－５）　補正処理（図２６）
　　　（４－６）　第４の実施の形態の変形例（サブブロック内に白画素または位相差検波用画素を設ける構成例）（図２７）
　５．撮像素子からの画素信号の出力のタイミング（図２８）
　６．カラムAD変換部の配置例（図２９）
　７．画素配置のバリエーション（図３０乃至図３３）
　＜１．第１の実施の形態＞
　（１－１）　画素の配置
　図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
　図１の撮像素子４１は、図示せぬ半導体基板上に、タイミング制御部４２、垂直走査回路４３、画素アレイ４４、定電流源回路部４５、参照信号生成部４６、およびカラムAD（Analog to Digital）変換部４７が設けられることにより構成される。さらに、水平走査回路４８、水平出力線４９、および出力回路５０が設けられている。
　タイミング制御部４２は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。例えば、タイミング制御部４２は、画素５１のシャッタ動作や読み出し動作のタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。また、図示は省略されているが、タイミング制御部４２は、所定の動作に必要なクロック信号やタイミング信号を、参照信号生成部４６、カラムAD変換部４７などにも供給する。
　垂直走査回路４３は、画素アレイ４４の垂直方向に並ぶ各画素５１に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。
　画素アレイ４４には、複数の画素５１が２次元アレイ状（行列状）に配置されている。すなわち、Ｍ×Ｎ個の画素５１が平面的に配置されている。ＭとＮの値は任意の整数である。
　２次元アレイ状に配置されている複数の画素５１は、水平信号線５２により、行単位で垂直走査回路４３と接続されている。換言すれば、画素アレイ４４内の同一行に配置されている複数の画素５１は、同じ１本の水平信号線５２で、垂直走査回路４３と接続されている。なお、図１では、水平信号線５２について１本の配線として示しているが、１本に限られるものではない。
　また、２次元アレイ状に配置されている複数の画素５１は、垂直信号線５３により、列単位で水平走査回路４８と接続されている。換言すれば、画素アレイ４４内の同一列に配置されている複数の画素５１は、同じ１本の垂直信号線５３で、水平走査回路４８と接続されている。
　画素アレイ４４内の各画素５１は、水平信号線５２を介して垂直走査回路４３から供給される信号に従って、内部に蓄積された電荷に応じた画素信号を、垂直信号線５３に出力する。画素５１は、被写体の画像の画素信号を出力する撮像用の画素として機能する。画素５１の詳細な構成については、図２等を参照して後述する。
　定電流源回路部４５は複数の負荷MOS（Metal-Oxide Semiconductor）５４を有し、１本の垂直信号線５３に１つの負荷MOS５４が接続されている。負荷MOS５４は、ゲートにバイアス電圧が印加され、ソースが接地されており、垂直信号線５３を介して接続される画素５１内のトランジスタとソースフォロワ回路を構成する。
　参照信号生成部４６は、DAC（Digital to Analog Converter）４６ａを有して構成されており、タイミング制御部４２からのクロック信号に応じて、ランプ（RAMP）波形の基準信号を生成して、カラムAD変換部４７に供給する。
　カラムAD変換部４７には、画素アレイ４４の列ごとに１つとなる複数のADC(Analog to Digital Converter)５５を有している。したがって、１本の垂直信号線５３には、複数の画素５１と、１個の負荷MOS５４及びADC５５が接続されている。
　ADC５５は、同列の画素５１から垂直信号線５３を介して供給される画素信号を、CDS(Correlated Double Sampling；相関２重サンプリング)処理し、さらにAD変換処理する。
　各ADC５５は、AD変換後の画素データを一時的に記憶し、水平走査回路４８の制御に従って、水平出力線４９に出力する。
　水平走査回路４８は、複数のADC５５に記憶されている画素データを、順次、所定のタイミングで水平出力線４９に出力させる。
　水平出力線４９は出力回路（増幅回路）５０と接続されており、各ADC５５から出力されたAD変換後の画素データは、水平出力線４９を介して出力回路５０から、撮像素子４１の外部へ出力される。出力回路５０（信号処理部）は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正などの各種のデジタル信号処理を行う場合もある。
　以上のように構成される撮像素子４１は、CDS処理とAD変換処理を行うADC５５が垂直列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
　図２は、画素５１の等価回路を示している。画素５１は、光電変換素子としてのフォトダイオード６１、転送トランジスタ６２、FD(Floating Diffusion:フローティング拡散領域)６３、リセットトランジスタ６４、増幅トランジスタ６５、及び選択トランジスタ６６を有する。
　フォトダイオード６１は、受光量に応じた電荷（信号電荷）を生成し、蓄積する光電変換部である。フォトダイオード６１は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ６２を介して、FD６３に接続されている。
　転送トランジスタ６２は、転送信号TXによりオンされたとき、フォトダイオード６１で生成された電荷を読み出し、FD６３に転送する。
　FD６３は、フォトダイオード６１から読み出された電荷を保持する。リセットトランジスタ６４は、リセット信号RSTによりオンされたとき、FD６３に蓄積されている電荷が定電圧源VDDに排出されることで、FD６３の電位をリセットする。
　増幅トランジスタ６５は、FD６３の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ６５は定電流源としての負荷MOS５４とソースフォロワ回路を構成し、FD６３に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ６５から選択トランジスタ６６を介してADC５５に出力される。
　選択トランジスタ６６は、選択信号SELにより画素５１が選択されたときオンされ、画素５１の画素信号を、垂直信号線５３を介してADC５５に出力する。転送信号TX、リセット信号RST、および選択信号SELは、水平信号線５２（図１）を介して垂直走査回路４３から供給される。
　図３は本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。具体的には、図３は画素５１の配列を示している。すなわち、本実施の形態においては、画素アレイ４４は、撮像領域１０１により被写体の画像を撮像する。撮像領域１０１は、Ｍ／３×Ｎ／３個の行列状に配置された複数のブロック１０２により構成されている。このブロック１０２は撮像される画像の単位を構成する。すなわち被写体は、ブロック１０２毎に所定の色（赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色により合成される色）の単位の集合として撮像され、表示（つまり人の目に認識）される。
　この実施の形態の場合、ブロック１０２は、サブブロック１０３をベイヤ（Bayer）配列することで構成されている。すなわち、ブロック１０２は、１個の赤（Ｒ）のサブブロック１０３、２個の緑（Ｇ）のサブブロック１０３、および１個の青（Ｂ）のサブブロック１０３からなる４つのサブブロック１０３が、２×２の行列状に配置されて構成されている。尚、色配列は、ベイヤ配列に限らず、ストライプ配列、市松配列、または、インタライン配列などでもよい。
　この例では、ブロック１０２の右上と左下に緑（Ｇ）のサブブロック１０３が、左上に赤（Ｒ）のサブブロック１０３が、そして右下に青（Ｂ）のサブブロック１０３が、それぞれ配置されている。全てのブロック１０２において、サブブロック１０３の配置パターンは同一である。なお、以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のサブブロック１０３を、それぞれＲサブブロック１０３、Ｇサブブロック１０３、またはＢサブブロック１０３と記載する。
　左下の１個のＲサブブロック１０３、左上と右下の２個のＧサブブロック１０３、および右上の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色により、対応する位置の被写体の画像の色が撮像され、画像として表現される。すなわち、図３に示されるように、Ｍ／３×Ｎ／３個に行列状に配置された複数のブロック１０２に対応する各領域をＲＮij（i，jはブロック１０２の行と列の位置を表す）とする。そして被写体の色は領域ＲＮij毎の色Ｃijとして撮像され、表現される。つまり、そのブロック１０２を構成する左上の１個のＲサブブロック１０３、左下と右上の２個のＧサブブロック１０３、および右下の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色Ｃijが、被写体のその領域ＲＮijの色として撮像される。
　さらにこの実施の形態においては、サブブロック１０３は、互いに隣り合う３個×３個の行列状の同じ色の画素１１１により構成されている。画素１１１は、図１および図２の画素５１に対応する。以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の画素１１１を、それぞれＲ画素１１１、Ｇ画素１１１、またはＢ画素１１１と記載する。つまり、Ｒサブブロック１０３は、３個×３個の行列状のＲ画素１１１により構成されている。Ｇサブブロック１０３は、３個×３個の行列状のＧ画素１１１により構成されている。Ｂサブブロック１０３は、３個×３個の行列状のＢ画素１１１により構成されている。１つのサブブロック１０３を構成する３個×３個の同じ色の画素１１１は、それぞれ独立しても読み出すことができるが、１つのサブブロック１０３としてまとめて読み出すこともできる。
　図４は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。すなわち、図３の撮像領域１０１を画素１１１により表現すると、図４に示されるようになる。３個×３個の同じ色の画素１１１により１個のサブブロック１０３が構成される。具体的には、３個×３個のＲ画素１１１により１個のＲサブブロック１０３が構成される。同様に、３個×３個のＧ画素１１１により１個のＧサブブロック１０３が構成され、３個×３個のＢ画素１１１により１個のＢサブブロック１０３が構成される。
　そして、３個×３個のサブブロック１０３（１個のＲサブブロック１０３、２個のＧサブブロック１０３、および１個のＢサブブロック１０３）により１個のブロック１０２が構成されている。
　すなわち、撮像領域１０１においては、同じ色の複数の画素１１１によりサブブロック１０３が構成され、異なる色を含む複数のサブブロック１０３によりブロック１０２が構成されている。そして、複数のサブブロック１０３の異なる色が合成されたブロック１０２の合成色として、ブロック１０２に対応する位置の被写体の撮像点の色として人に認識される。
　（１－２）　電子機器の第１の実施の形態の構成例
　図５は、本技術を適用した電子機器の第１の実施の形態の構成例を示す図である。図５に示される電子機器３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。電子機器３００は、例えば、コンパクトデジタルカメラ、デジタル一眼レフカメラ、ビデオカメラ、撮像機能を備えたスマートフォン（多機能携帯電話機）等の携帯端末、内視鏡等として構成される。
　図５に示される電子機器３００は、レンズ３１１、光学フィルタ３１２、撮像制御部３０１、表示部３１３、および記録部３１４を有する。撮像制御部３０１は、撮像素子４１、AD変換部３２１、クランプ部３２２、デモザイク部３２３、リニアマトリクス（LM）/ホワイトバランス（WB）/ガンマ補正部３２４、輝度クロマ信号生成部３２５、インタフェース（I/F）部３２６、およびレンズ制御部３２８を有する。この例では、表示部３１３および記録部３１４は、撮像制御部３０１の外部に設けられているが、内部に設けることもできる。
　レンズ３１１は、撮像素子４１に入射する被写体光の焦点距離の調整を行う。レンズ３１１の後段には、撮像素子４１に入射する被写体光の光量調整を行う絞り（図示せず）が設けられている。レンズ３１１の具体的な構成は任意であり、例えば、レンズ３１１は複数のレンズにより構成されていてもよい。
　レンズ３１１を透過した被写体光は、例えば、赤外光をカットし、赤外光以外の光を透過するIRカットフィルタ等として構成される光学フィルタ３１２を介して撮像素子４１に入射する。
　撮像素子４１は、被写体光を光電変換するフォトダイオード等の光電変換素子を有する複数の画素１１１を備える。各画素１１１は、被写体光を電気信号に変換し、その電気信号を、AD変換部３２１に供給する。
　なお、撮像素子４１は、本技術の固体撮像装置を構成する。この固体撮像装置は、１チップ化されたモジュールとして構成されてもよいし、撮像素子４１と信号処理回路とが別チップとして構成されてもよい。
　本技術の撮像素子４１は、例えば、光電変換素子が被写体光に基づき発生した電荷を読み出すために電荷結合素子（CCD（Charge Coupled Device））と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよいし、CMOS（Complementary Metal Oxide Semiconductor）を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
　AD変換部３２１は、撮像素子４１から供給されるRGBの電気信号（アナログ信号）をデジタルデータ（画像データ）に変換する。AD変換部３２１は、そのデジタルデータの画像データ（RAWデータ）をクランプ部３２２およびレンズ制御部３２８に供給する。
　クランプ部３２２は、画像データから、非画像出力領域の画素値であり、黒色と判定されるレベルである黒レベルを減算する。
　ここで画像出力領域と非画像出力領域について図６を参照して説明する。図６は、本技術を適用した画像出力領域と非画像出力領域を示す図である。図６に示されるように、画素アレイ４４には、そのほぼ中央に、画像出力領域４４Ａが設けられており、その周囲に、非画像出力領域４４Ｂが設けられている。画像出力領域４４Ａは、有効画素領域であり、画像出力領域４４Ａの画素１１１の出力は画像データとして利用される。一方、非画像出力領域４４Ｂは、有効画素領域外であるので、非画像出力領域４４Ｂの画素１１１の出力は画像データとして利用されない。しかしながら、非画像出力領域４４Ｂの画素１１１には、OPB（Optical Black）領域が設定されており、OPB領域の画素１１１の出力が黒色と判定されるレベルの黒レベルとされる。
　クランプ部３２２は、OPB領域の画素１１１の出力である黒レベルを減算した画像データの全画素分をデモザイク部３２３に供給する。
　レンズ制御部３２８は、レンズ３１１の駆動を制御する。具体的には、レンズ制御部３２８は、AD変換部３２１からの画像データを用いたコントラストオートフォーカスなどによる合焦判定に基づいた合焦判定結果に応じて、レンズ３１１の駆動量を算出し、その算出した駆動量に応じてレンズ３１１を移動させる。
　デモザイク部３２３は、AD変換部３２１からのRAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部３２３は、デモザイク処理後の画像データ（RGBデータ）をLM/WB/ガンマ補正部３２４に供給する。
　LM/WB/ガンマ補正部３２４は、デモザイク部３２３からのRGBデータに対して、色特性の補正を行う。具体的には、LM/WB/ガンマ補正部３２４は、規格で定められた原色（RGB）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。また、LM/WB/ガンマ補正部３２４は、RGBデータの各チャンネルの値について白に対するゲインを設定することで、ホワイトバランスを調整する。さらに、LM/WB/ガンマ補正部３２４は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。LM/WB/ガンマ補正部３２４は、補正後の画像データ（RGBデータ）を輝度クロマ信号生成部３２５に供給する。
　輝度クロマ信号生成部３２５は、LM/WB/ガンマ補正部３２４から供給されたRGBデータから輝度信号（Y）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号生成部３２５は、輝度クロマ信号（Y,Cr,Cb）を生成すると、その輝度信号と色差信号をI/F部３２６に供給する。
　I/F部３２６は、供給された画像データ（輝度クロマ信号）を、画像データを記録する記録デバイス等の記録部３１４に供給し、記録させたり、画像データの画像を表示する表示デバイス等の表示部３１３に出力し、表示させる。
　（１－３）　図５の電子機器による撮像処理
　次に、図７のフローチャートを参照して、図５の電子機器３００による撮像処理について説明する。図７は、本技術を適用した電子機器の撮像処理について説明するフローチャートである。
　まず、ステップＳ１１において、撮像素子４１は、各画素１１１の入射光を光電変換し、その画素信号を読み出し、AD変換部３２１に供給する。
　ステップＳ１２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
　ステップＳ１３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルが減算された全画素分の画像データ(画素値）をデモザイク部３２３に供給する。
　ステップＳ１４において、デモザイク部３２３は、デモザイク処理を行い、RAWデータをRGBデータに変換し、LM/WB/ガンマ補正部３２４に供給する。
　ステップＳ１５において、LM/WB/ガンマ補正部３２４は、デモザイク部３２４からのRGBデータに対して、色補正、ホワイトバランスの調整、およびガンマ補正を行い、輝度クロマ信号生成部３２５に供給する。
　ステップＳ１６において、輝度クロマ信号生成部３２５は、RGBデータから輝度信号および色差信号（すなわちYCrCbデータ）を生成する。
　そして、ステップＳ１７において、I/F部３２６は、輝度クロマ信号生成部３２５によって生成された輝度信号および色差信号を記録部３１４や表示部３１３に出力する。
　ステップＳ１８において、表示部３１３はI/F部３２６から供給された信号に基づいて被写体の画像を表示する。また、記録部３１４は、ユーザからの指示に基づいて、I/F部３２６から供給された信号を記録する。
　以上の処理によれば、３個×３個の同じ色の複数の画素１１１により構成されるサブブロック１０３単位で異なる色が合成されたブロック１０２の合成色として、ブロック１０２に対応する位置の被写体の撮像点の色として人に認識されるようにすることができる。
　＜２．第２の実施の形態＞
　（２－１）　ハイフレームレート撮像と通常のフレームレート撮像との同時撮像
　以上においては、サブブロック１０３を構成する、互いに隣り合う３個×３個の行列状の同じ色の画素１１１は、いずれも同一の露光時間である例について説明してきたが、サブブロック１０３を構成する画素１１１の露光時間は全てが同一でなくてもよい。
　例えば、図８の左上部で示されるように、３個×３個の行列状の同じ色の画素１１１のうち、白色の星印が付されたサブブロック１０３における中心位置の画素のみを単独画素１１１Ａにして、それ以外の８個の画素１１１を通常の画素として読み出すようにしてもよい。このとき、さらに、右上部で示されるように、８個の通常の画素１１１より読み出した画素信号を加算して１画素の画素信号として用いるようにしてもよい。
　以降においては、各サブブロック１０３における８個の通常の画素１１１より読み出した画素値を加算して１画素として扱うとき、通常加算画素とも称する。
　このようにすることで、図８の左上部の例においては、単独画素１１１Ａの露光時間（≒フレームレート）が、例えば、通常の画素１１１の８倍の長さである場合、通常加算画素は、通常の画素１１１に対して、８倍の感度の画素として扱うことができる。
　尚、画素信号については、サブブロック１０３単位で扱うものとするので、この例においては、同一のサブブロック１０３において、通常加算画素の画素信号と、単独画素１１１Ａの画素信号が存在することになる。
　結果として、図８の下部で示されるように、例えば、単独画素１１１Ａがフレームレート60fpsで使用される場合、通常加算画素は、フレームレートを480fpsにしても、単独画素１１１Ａと同等の感度を確保することが可能となる。
　尚、図８の下部における上段が、通常加算画素の読み出しのタイミングを示しており、それぞれの露光開始時刻と露光終了時刻とが示されている。また、図８の下部における下段が、単独画素１１１Ａの読み出しタイミングを示しており、露光開始時刻と露光終了時刻とを示している。
　より具体的には、通常加算画素の１フレーム目は、時刻ｔ０で露光が開始され、時刻ｔ１において露光が終了する。同様に、通常加算画素の２フレーム目は、時刻ｔ１で露光が開始され、時刻ｔ２において露光が終了する。通常加算画素の３フレーム目は、時刻ｔ２で露光が開始され、時刻ｔ３において露光が終了する。通常加算画素の４フレーム目は、時刻ｔ３で露光が開始され、時刻ｔ４において露光が終了する。通常加算画素の５フレーム目は、時刻ｔ４で露光が開始され、時刻ｔ５において露光が終了する。通常加算画素の６フレーム目は、時刻ｔ５で露光が開始され、時刻ｔ６において露光が終了する。通常加算画素の７フレーム目は、時刻ｔ６で露光が開始され、時刻ｔ７において露光が終了する。通常加算画素の８フレーム目は、時刻ｔ７で露光が開始され、時刻ｔ８において露光が終了する。尚、時刻ｔ１乃至ｔ２、時刻ｔ２乃至ｔ３、時刻ｔ３乃至ｔ４、時刻ｔ４乃至ｔ５、時刻ｔ５乃至ｔ６、時刻ｔ６乃至ｔ７、および時刻ｔ７乃至ｔ８は、いずれも同一の時間である。
　これに対して、単独画素１１１Ａは、１フレーム目は、時刻ｔ０で露光が開始され、時刻ｔ８において露光が終了する。
　すなわち、通常加算画素は、単独画素１１１Ａに対して感度が８倍となる分、８倍のフレームレートで同一の感度の撮像を実現することが可能となる。
　結果として、ハイフレームレート撮像と、通常フレームレート撮像とを同時に実現することが可能となる。
　（２－２）　ダイナミックレンジ拡大撮像
　また、８個の画素１１１の画素値の加算結果からなる通常加算画素は、単独画素１１１Ａに対して８倍の感度を有するので、両者の露光時間が同一である場合、HDR（High Dynamic Range）撮像と呼ばれる感度の異なる画素を用いてダイナミックレンジを拡大させる撮像を実現することができる。
　尚、図９の左上部および右上部は、図８と同様である。また、図９の下部は、上段が通常加算画素であり、下段が単独画素１１１Ａの露光開始時刻と露光終了時刻とが示されており、いずれも時刻ｔ１１において露光が開始され、時刻ｔ１２において露光が終了していることが示されている。
　一般的に、HDR撮像は、画素毎に露光時間を変化させることで実現されている。しかしながら、一般的なHDR撮像の場合、画素単位で露光されるタイミングが異なるため、被写体に動きがあると、異なる露光時間の画素間において、相互に異なる被写体が写り込んだ画素信号が得られることになるので、動きブレが発生し、画質が低減する。
　これに対して、図９で示されるように、感度の異なる通常加算画素と単独画素１１１Ａとを用いて、同一のタイミングで露光される画素信号を用いてHDR撮像を実現させることができる。すなわち、被写体に動きがあっても、同一の露光時間内において、通常加算画素および単独画素１１１Ａには、相互にほぼ同一の被写体が写り込むことになるので、HDR撮像においても、動きブレを低減させることが可能となる。
　（２－３）　電子機器の第２の実施の形態の構成例
　次に、図１０のブロック図を参照して、電子機器３００の第２の実施の形態の構成例について説明する。
　図１０の電子機器３００において、図４の電子機器３００と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略する。図１０の電子機器３００において、図５の電子機器３００と異なる点は、クランプ部３２２に代えて、クランプ部３３０を設けた点である。
　クランプ部３３０は、基本的な機能は、クランプ部３２２と同様であるが、さらに、通常の画素１１１より供給される画素信号のデジタル信号を加算し、サブブロック１０３単位で通常加算画素を１画素の画素信号として扱い、単独画素１１１Ａについては、そのままの画素信号を同一位置のサブブロック１０３の１画素の画素信号として扱う。
　（２－４）　図１０の電子機器による撮像処理
　次に、図１１のフローチャートを参照して、図１０の電子機器３００による、通常加算画素を用いた撮像処理について説明する。尚、図１０のフローチャートにおけるステップＳ２１，Ｓ２２，Ｓ２４乃至Ｓ２９の処理については、図７のフローチャートにおけるステップＳ１１乃至Ｓ１８と同一の処理であるので、その説明は省略する。ただし、ステップＳ２１，Ｓ２２の処理は、通常加算画素を構成する８個の画素１１１のそれぞれにおいてなされる処理である。
　すなわち、ステップＳ２３において、クランプ部３３０は、AD変換部３２１からの各画素信号（画素値）について、通常加算画素を構成する８個の画素値を加算し、以降において、サブブロック１０３単位の１個の通常加算画素として信号処理を実行する。
　尚、単独画素１１１Ａを用いた撮像処理については、図７のフローチャートを参照して説明した処理と同様であるので説明を省略する。
　以上のように、サブブロック１０３単位で感度の異なる通常加算画素と単独画素１１１Ａとを設けるようにすることで、通常加算画素と単独画素１１１Ａとのそれぞれの露光時間が異なっていても、同一感度の画像を撮像することができるので、例えば、同一の感度のハイフレームレートの撮像と、通常のフレームレートの撮像とを同時に実現させることが可能となる。
　すなわち、図８で示されるように、通常加算画素の感度が、単独画素１１１Ａの感度の８倍であるときには、通常加算画素により、単独画素１１１Ａの８倍のフレームレート（１／８の露光時間）で撮像しても、同一の感度の画像を撮像することができる。結果として、同時に異なるフレームレートの撮像を実現することが可能となる。
　また、通常加算画素と単独画素１１１Ａとのそれぞれの露光時間を同一にすると、異なる感度の画像を、同時に撮像することができるので、動きブレの少ない高画質なHDR撮像を実現することが可能となる。
　すなわち、図９で示されるように、通常加算画素が、単独画素１１１Ａの感度の８倍であるときには、同一の露光時間で、通常加算画素により、単独画素１１１Ａの８倍の感度の画像を撮像することができる。結果として、動きブレの少ない高画質なHDR撮像を実現することが可能となる。
　さらに、通常加算画素の画素信号を処理する構成と、単独画素１１１の画素信号を処理する構成は、それぞれ独立するものにしてもよい。すなわち、例えば、クランプ部３３０、デモザイク部３２３、LM/WB/ガンマ補正部３２４、輝度クロマ信号生成部３２５、およびインタフェース部３２６については、それぞれ通常加算画素の画素信号を処理するものと単独画素１１１の画素信号を処理するものとを独立して、２系統と備えるようにしてもよい。
　＜３．第３の実施の形態＞
　（３－１）　通常加算画素と位相差検波用画素とからなる画素配置例
　以上においては、サブブロック１０３単位で感度の異なる通常加算画素と単独画素とを設ける画素配置例について説明してきたが、サブブロック１０３単位で通常加算画素と、単独画素に代えて、位相差検波用画素を設けるようにしてもよい。
　例えば、図１２で示されるように、ｍ×ｎ個の画素１１１は基本的にＲ，Ｇ，Ｂの撮像用画素であるが、サブブロック１０３を構成する水平方向３個×垂直方向３個のうちの水平方向に中央位置で、かつ、垂直方向に中央位置の画素が、対となる位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のいずれかに置き換えられている。このような構成により、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のいずれかが全体に規則的に配置される。図５の構成例では、行列状に２次元配置される複数の画素１１１の中に、画素の半分が黒色の矩形で示され、残りの半分が白色の星印で示される複数の位相差検波用画素１１１Ｂ－１または１１１Ｂ－２が散在して配置されている。
　より詳細には、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、３個×３個の画素１１１のうち、相対的に同じ位置（対応する位置）である中央の画素１１１が位相差検波用画素１１１Ｂ－１または１１１Ｂ－２とされている。
　そして、右から第２列および第８列目には、横方向の位相差を検波する対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のうち、対の一方を構成する位相差検波用画素１１１Ｂ－１が配置されている。また、右から第５列および第１１列には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１１１Ｂ－２が配置されている。
　図１３は、本技術を適用した撮像素子４１の画素アレイ４４の位相差検波用画素１１１Ｂ－１，１１Ｂ－２の構成を示す図である。図１３の左側には、横方向の位相差を検波する対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のうちの位相差検波用画素１１１Ｂ－２が示されている。位相差検波用画素１１１Ｂ－２においては、その右側に遮光部３３２－２が、その左側に透光部３３１－２が形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－２は、例えば、銅などの金属膜により形成される。そして、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－２は、遮光部３３２－２を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－２を形成しないことで開口を形成することもできる。
　他方、位相差検波用画素１１１Ｂ－２と対をなす、図１３の右側に示される位相差検波用画素１１１Ｂ－１においては、その左側に遮光部３３２－１が、その右側に透光部３３１－１が形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－１は、例えば、銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－１は、遮光部３３２－１を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－１を形成しないことで開口を形成することもできる。
　図１３においては、横方向（水平方向）の位相差を検波する位相差検波用画素１１１Ｂが設けられる例が示されているが、縦方向（垂直方向）の位相差を検波するようにしてもよい。
　また、図１４の上側には、縦方向の位相差を検波する対の位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２のうちの位相差検波用画素１１１Ｂ’－１が示されている。位相差検波用画素１１１Ｂ’－１においては、その下側に遮光部３３２－３が、その上側に透光部３３１－３が形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－３は、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－３は、遮光部３３２－４を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－３を形成しないことで開口を形成することもできる。
　他方、位相差検波用画素１１１Ｂ’－１と対をなす、図１４の下側に示される位相差検波用画素１１１Ｂ’－２においては、その上側に遮光部３３２－４が、その下側に透光部３３１－４が形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－４は、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－４は遮光部３３２－４を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－４を形成しないことで開口を形成することもできる。
　（３－２）　位相差検波の原理
　図１５は、本技術を適用した撮像素子の一実施の形態の通常の画素１１１の構成例を示す断面図である。図１５は、通常加算画素を構成する画素のうち、２個の画素１１１の断面構成を表している。図１５に示されるように、画素１１１は、例えばＳｉ（シリコン）の半導体基板３５１に光電変換部としてのフォトダイオード３５２（図２のフォトダイオード６１に対応する）が形成されている。半導体基板３５１の上層には、Ｒ，ＧまたはＢのカラーフィルタ３５４が形成されており、それらの上層には、オンチップレンズ３５５が形成されている。
　被写体からの光は、オンチップレンズ３５５により集光され、Ｒ，ＧまたはＢのカラーフィルタ３５４を透過し、カラーフィルタ３５４に対応する色の光がフォトダイオード３５２に入射される。これによりフォトダイオード３５２から、カラーフィルタ３５４に対応する色の光の成分の色信号（画素信号）が出力される。
　図１６は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。図１６は便宜上、２個の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の断面構成を並べて示している。図１６に示されるように、位相差検波用画素１１１Ｂの構成は、基本的に図１５に示した画素１１１と同様であるが、図１５のカラーフィルタ３５４に代えて、遮光部３３２－１，３３２－１と、透光部３３１－１，３３１－２が配置されている。遮光部３３２－１，３３２－２と、透光部３３１－１，３３１－２の構成は、図１３と図１４を参照して説明した通りである。
　これにより、例えば、位相差検波用画素１１１Ｂ－２においては、オンチップレンズ３５５により集光された光の一部が透光部３３１－２を透過して、フォトダイオード３５２に入射する。しかしながら、オンチップレンズ３５５により集光された光の一部は、図１６において透光部３３１－２の右側に配置されている遮光部３３２－２により遮光され、フォトダイオード３５２に入射しない。
　また、位相差検波用画素１１１Ｂ－１においては、オンチップレンズ３５５により集光された光の一部が透光部３３１－１を透過して、フォトダイオード３５２に入射する。しかしながら、オンチップレンズ３５５により集光された光の一部は、図１６において透光部３３１－１の左側に配置されている遮光部３３２－１により遮光され、フォトダイオード３５２に入射しない。
　図１７は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。以下、図１６と図１７を参照して、位相差検波の原理について説明する。
　図１６に示されるように、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２には、５つの方向からの入射光L1乃至L5が入射されるものとする。図１７のグラフには、そのときの位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の画素信号出力が示されている。
　図１７のグラフにおいて、横軸は、入射光の入射角を示しており、縦軸は、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の画素信号出力を示している。なお、実線１４１Ｂは、位相差検波用画素１１１Ｂ－１の画素信号出力を示し、破線１４１Ａは、位相差検波用画素１１１Ｂ－２の画素出力を示している。
　このグラフに示されるように、左側遮光の位相差検波用画素１１１Ｂ－１は、左側（マイナス側）に入射光の角度をつけると、その出力が大きくなり、右側遮光の位相差検波用画素１１１Ｂ－２は、右側（プラス側）に入射光の角度をつけると、その出力が大きくなる。つまり、入射光L1のように、入射光においてマイナス方向の角度成分が大きい場合、位相差検波用画素１１１Ｂ－１の出力は、位相差検波用画素１１１Ｂ－２の出力より大きくなる。そして入射光L5のように、入射光においてプラス方向の角度成分が大きい場合、位相差検波用画素１１１Ｂ－２の画素信号出力は、位相差検波用画素１１１Ｂ－１の画素信号出力より大きくなる。
　このような、１対の位相差検波用画素１３１における、入射光の入射角に対する位相差検波用画素１３１それぞれの画素信号出力の位相差特性を利用して、デフォーカス量が検出される。
　（３－３）　電子機器の第３の実施の形態の構成例
　図１８は、本技術を適用した電子機器の第３の実施の形態の構成例を示す図である。図１８に示される電子機器３００において、図１０の電子機器３００と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
　すなわち、図１８の電子機器３００において、図１０の電子機器３００と異なる点は、補正パラメータ算出部３７１、メモリ３７２、位相差補正部３７３、位相差検波部３７４、レンズ制御部３７５をさらに備えている点である。
　補正パラメータ算出部３７１は、撮像素子４１の製造後のテスト工程や、撮像素子４１にレンズ３１１を装着した後のテスト工程等において得られた位相差特性のデータを用いて補正パラメータを算出する。この補正パラメータは、位相差検波部３７４によって検出される位相差を補正するのに用いられる。
　メモリ３７２には、補正パラメータ算出部３７１によって算出された補正パラメータが記憶される。
　位相差検波部３７４は、クランプ部３３０からの画像データ（画素値）に基づいて位相差検波処理行うことで、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否か判定する。位相差検波部３７４は、フォーカスエリアにおける物体にフォーカスが合っている場合、合焦していることを示す情報を合焦判定結果として、レンズ制御部３７５に供給する。また、位相差検波部３７３は、合焦対象物にフォーカスが合っていない場合、フォーカスのずれの量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報を合焦判定結果として、レンズ制御部３７５に供給する。
　位相差補正部３７３は、メモリ３７２に記憶されている補正パラメータを用いて、位相差検波部３７４によって検波された位相差を補正する。位相差検波部３７４は、補正された位相差に対応する合焦判定結果を、レンズ制御部３７５に供給する。
　レンズ制御部３７５は、レンズ３１１の駆動を制御する。具体的には、レンズ制御部３７５は、位相差検波部３７４から供給された合焦判定結果に基づいて、レンズ３１１の駆動量を算出し、その算出した駆動量に応じてレンズ３１１を移動させる。
　例えば、レンズ制御部３７５は、フォーカスが合っている場合には、レンズ３１１の現在の位置を維持させる。また、レンズ制御部３７５は、フォーカスが合っていない場合には、デフォーカス量を示す合焦判定結果とレンズ３１１の位置とに基づいて駆動量を算出し、その駆動量に応じてレンズ３１１を移動させる。
　（３－４）　位相差オートフォーカス処理
　次に、図１９のフローチャートを参照して、図１８の電子機器３００による位相差オートフォーカス処理について説明する。位相差オートフォーカス処理は、被写体を撮像する際に電子機器３００によって撮像処理の前または並行して実行される。
　まず、ステップＳ３１において、撮像素子４１は、各画素１１１の入射光を光電変換し、各画素信号を読み出し、AD変換部３２１に供給する。なお、位相差検波用画素１１１Ｂは、通常の画素１１１とは異なるタイミングで読み出すようにすることもできる。
　ステップＳ３２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
　ステップＳ３３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルを減算した画像データのうち、位相差検波用画素１１１Ｂから出力された画像データ（画素値）を位相差検波部３７４に供給する。
　ステップＳ３４において、位相差補正部３７３は、予め算出され、メモリ３７２に記憶されている補正パラメータを読み出す。
　ステップＳ３５において、位相差検波部３７４は、クランプ部３２２からの画像データ（画素値）に基づいて位相差検波を行う。すなわち、縦方向（垂直方向）と横方向（水平方向）の位相差を検波する位相差検波用画素１１１Ｂの出力がそれぞれ読み出される。
　ステップＳ３６において、位相差補正部３７３は、ステップＳ４４の処理で読み出された補正パラメータを用いて、位相差検波部３７４により検波された位相差を補正する。つまり、補正パラメータが位相差検波部３７４に供給され、検波された位相差が補正される。
　ステップＳ３７において、位相差検波部３７４は、フォーカスエリア内の位相差検波用画素１３１の出力を連結する。すなわちフォーカスエリア内の位相差検波用画素１１１Ｂの出力が画素位置に応じて連結され、ＡＦ画素信号が生成される。
　ステップＳ３８において、位相差検波部３７４は、ステップＳ３７で生成されたＡＦ画素信号に、シェーディング補正（周辺画面の光量落ち補正）や、ビネッティングによる２像の歪みの復元補正等を施し、相関演算用の１対の像信号を生成する。
　図２０は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の構成を示す図である。図２０に示されているように、本実施の形態の撮像素子４１は、横方向の位相差を検波するための位相差検波用画素１１１Ｂ－２と、それと対になる横方向の位相差を検波するための位相差検波用画素１１１Ｂ－１とを有する。
　位相差検波用画素１１１Ｂの信号はグループ化処理される。図２０に示されるように、横方向の位相差を検波するための位相差検波用画素１１１Ｂ－１，１１１Ｂ－２は、つまり横方向に、例えば第２行、第８行・・・にグループ化される。
　具体的には、横方向の位相差検波のためのフォーカスエリアＲhに含まれる位相差検波用画素１１１Ｂ－２で得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(A)が生成される。また、同様に、フォーカスエリアＲhに含まれる位相差検波用画素１１１Ｂ－１で得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(B)が生成される。
　ステップＳ３９において、位相差検波部３７４は位相差検波用の像信号対の相関を演算する。すなわち、像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差の相関が演算される。
　ステップＳ４０において、位相差検波部３７４は、相関の信頼性を判定する。すなわち、ステップＳ３９で演算された相関の演算結果の信頼性が判定される。ここで信頼性とは、像信号対の一致度（波形の類似度）を指し、一致度が良い場合は一般的に焦点検出結果の信頼性が高い。
　例えば、フォーカスエリアＲhにおける像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差を公知の相関演算によって計算することで、横方向における焦点ずれ量（デフォーカス量）を求めることができる。
　ステップＳ４１において、位相差検波部３７４は、焦点ずれ量を算出する。すなわち、ステップＳ４０において、信頼性が高いと判定された像信号対から求められた位相差に基づいて、最終的な焦点ずれ量が算出される。
　ステップＳ４２において、レンズ制御部３７５は、位相差検波部３７４からの合焦判定結果に基づいて、レンズ３１１の駆動を制御する。
　以上のようにしてフォーカス制御が行われる。この処理は必要に応じて繰り返し実行される。
　なお、レンズ制御部３７５は、上述したような位相差オートフォーカスに加え、コントラストオートフォーカスを行うことで、レンズ３１１の駆動を制御するようにしてもよい。例えば、レンズ制御部３７５は、位相差検波部３７４から、合焦判定結果としてフォーカスのずれの量（デフォーカス量）を示す情報が供給された場合、フォーカスのずれの方向（前ピンか後ピンか）を判別し、その方向に対してコントラストオートフォーカスを行うようにしてもよい。
　尚、図１８の電子機器３００による撮像処理については、図１１のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
　以上の処理によれば、AFの精度を向上させて、画質の劣化を抑制することが可能となる。
　また、図１２の下段で示されるように、時刻ｔ２０乃至ｔ２１において、位相差検波用画素１１１Ｂを読み出した後、時刻ｔ２１乃至ｔ２２において、通常加算画素を読み出しながら、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカス調整を行うことで、被写体の動きにフォーカスを追従させながら連続した撮像を行うことが可能となり、画質の劣化を抑制させることが可能となる。
　（３－５）　第３の実施の形態の変形例（サブブロック内に位相差検波用画素または黒画素を設ける画素配置例）
　以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、位相差検波用画素として構成する例について説明してきたが、位相差検波用画素の一部を黒画素として用いるようにしてもよい。
　より具体的には、図２１の左上部で示されるように、上段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２として構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、黒画素１１１Ｃとして構成されている。
　さらに、下段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、黒画素１１１Ｃとして構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２として構成されている。
　ここで、黒画素１１１Ｃは、図６の非画像出力領域４４Ｂに設けられているOPB領域に設けられた黒レベルを求めるために構成された画素に対応する画素である。より詳細には、黒画素１１１Ｃは、全面が、図１３を参照して説明した、銅などの金属膜により形成される遮光部３３２よりで覆われた画素である。
　このような構成により、図２１の右上部で示されるように、通常の画素１１１は、８個分が加算されて、通常加算画素として出力されると共に、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、および黒画素１１１Ｃがそれぞれ出力される。
　サブブロック１０３単位で各画素１１１の画素信号は、近傍の黒画素１１１Ｃの黒レベルを読み出して、上述したステップＳ１３（図７）、Ｓ２３（図１１）、およびＳ３３（図１９）の処理における黒レベルの減算に使用する。
　このような構成により、図２１の下段で示されるように、時刻ｔ５０乃至ｔ５１において、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、および黒画素１１１Ｃの画素信号が読み出され、その後、時刻ｔ５１乃至ｔ５２において、通常加算画素が読み出されるようにする。
　このような読み出し順序により、先に、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が読み出されることで、その後のタイミングにおいて、通常加算画素を読み出しながら、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカス調整を行うことで、被写体の動きにフォーカスを追従させながら連続した撮像を行うことが可能となり、画質の劣化を抑制させることが可能となる。
　さらに、通常加算画素が読み出された後に、先に読み出されている黒画素を用いた黒レベルの減算により、サブブロック１０３毎に近傍の黒画素１１１Ｃの黒レベルを減算することで、高画質化を図ることが可能となる。
　これまで、図６の画像出力領域４４Ａの周辺に設けられた非画像出力領域４４Ｂ内に設定されるOPB領域の画素１１１を黒レベルとしていたため、画像出力領域４４Ａにおいて２次元的に発生する黒レベルのばらつきを用いた補正ができなかった。しかしながら、本開示の黒画素１１１Ｃを用いた２次元的な黒レベルの検波結果を用いた画素信号の補正により、２次元的に発生する黒レベルのばらつきを抑制することができ、より高精度なクランプ処理を実現することが可能となる。
　さらに、図６で示されるような非画像出力領域４４Ｂを設けて、OPB領域を設定する必要がなくなるので、撮像素子４１を小型化することが可能になると共に、小型化に起因する低コスト化を実現することが可能となる。
　＜４．第４の実施の形態＞
　（４－１）　白画素を用いた画素配置例
　以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、位相差検波用画素または黒画素として構成する例について説明してきたが、位相差検波用画素および黒画素に代えて、白画素を用いるようにしてもよい。
　より具体的には、図２２の左上部で示されるように、各ブロック１０２においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成されている。白画素１１１Ｄは、透明なカラーフィルタ３５４、またはカラーフィルタ３５４が設けられていない構成とされており、白色光がフォトダイオード３５２に入射される。
　このような構成により、図２２の右上部で示されるように、サブブロック１０３単位における通常の８個の画素１１１の画素信号が加算されることにより、ベイヤ配列の狭色帯域の通常加算画素の画素信号が読み出される。
　一方、白画素１１１Ｄは、白色光が入射されることにより、輝度信号そのものを出力する。
　このため、例えば、ＲＧＢのそれぞれのサブブロック１０３の通常加算画素、および白画素１１１Ｄからは、図２２の左下部で示されるように、それぞれ波形Ｒ，Ｇ，Ｂ，Ｗで示される信号が出力される。図２２の左下部においては、横軸は、波長であり、縦軸は、画素信号のレベルである。
　このように、ベイヤ配列のＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号は狭色帯域の信号となるのに対して、白画素１１１Ｄから出力される輝度信号は、広色帯域の信号となる。
　そこで、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号は狭色帯域の信号と、広色帯域の信号とを用いて、偽解像や高周波の色偽を低減させる。
　より具体的には、まず、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号である狭色帯域の信号に対してLPF（Low Pass Filter）は掛けられて色のDC成分が抽出される。次に、白画素１１１Ｄから出力される広色帯域の信号に対しては、HPF（High Pass Filter）が掛けられて輝度のAC成分が抽出される。
　そして、LPFが掛けられたＲＧＢの通常加算画素のそれぞれの画素信号のDC成分と、HPFが掛けられた輝度信号のAC成分とが加算される。
　すなわち、ＲＧＢの通常加算画素の画素信号にLPFが掛けられるとき、高周波成分は応答が低下するので、その分をHPFが掛けられた輝度成分のAC成分で補うように補正する。
　このような処理により、偽解像や高周波の色偽を低減させることが可能となる。
　（４－２）　電子機器の第４の実施の形態の構成例
　図２３は、本技術を適用した電子機器の第４の実施の形態の構成例を示す図である。２３に示される電子機器３００において、図１８の電子機器３００と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
　すなわち、図２３の電子機器３００において、図１８の電子機器３００と異なる点は、デモザイク部３２３とLM/MB/ガンマ補正部３２４との間に補正部３９１を設けた点である。
　補正部３９１は、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号である狭色帯域の信号に対してLPF（Low Pass Filter）を掛けて色のDC成分を抽出し、白画素１１１Ｄから出力される広色帯域の信号に対しては、HPF（High Pass Filter）を掛けて輝度のAC成分を抽出し、それぞれを加算する。
　この処理により、LPFが掛けられるとき、低下する色のDC成分の高周波成分をHPFが掛けられた輝度成分のAC成分で補うように補正し、偽解像や高周波の色偽を低減させる。
　尚、補正部３９１の詳細な構成については、図２４を参照して後述する。
　（４－３）　補正部の構成例
　図２４の上部は、図２３の補正部３９１の構成例を示す図であり、図２４の下部は、HPF４０１と、LPF４０２の入力信号の周波数と応答出力との関係を示す波形図である。
　補正部３９１は、HPF（High Pass Filter）４０１、LPF（Low Pass Filter）４０２、および加算部４０３より構成される。
　HPF４０１は、ＲＧＢのそれぞれのサブブロック１０３の白画素１１１Ｄより供給される輝度信号よりAC成分を抽出して加算部４０３に出力する。
　LPF４０２は、ＲＧＢのそれぞれのサブブロック１０３の通常加算画素からの画素信号よりDC成分を抽出して加算部４０３に出力する。
　加算部４０３は、LPF４０２からのＲＧＢのそれぞれのサブブロック１０３の通常加算画素からの画素信号のDC成分と、HPF４０１からの輝度信号のAC成分とを加算して、ＲＧＢのサブブロック１０３の色信号として出力する。
　すなわち、図２４の下部の実線のLPF４０２の特性を示す波形で示されるように、LPF４０２は、入力信号の周波数が低いときには、応答出力が高く、周波数が高くなると応答出力が低くなる。これに対して、図２４の下部の点線のHPF４０１の特性を示す波形で示されるように、HPF４０１は、入力信号の周波数が低いときには、応答出力が低く、周波数が高くなると応答出力が高くなる。すなわち、応答出力の最大値を１としたとき、HPF４０１の応答出力は、１からLPF４０２の応答出力を減算した値となる。
　そこで、ＲＧＢのサブブロック１０３の通常加算画素の画素信号については、LPF４０２を掛けたとき、ＲＧＢの周波数に応じて応答出力が増減するので、周波数が高い波長の色については、輝度信号よりHPF４０１により抽出されるAC成分を補うことで、偽解像や色偽の発生を抑制させることが可能となる。
　（４－４）　図２３の電子機器による撮像処理
　次に、図２５のフローチャートを参照して、図２３の電子機器３００による撮像処理について説明する。尚、図２５のフローチャートにおけるステップＳ８１乃至Ｓ８３，Ｓ８５Ｓ，８７乃至Ｓ９０の処理は、図１１のフローチャートを参照して説明したステップＳ２１乃至Ｓ２３，Ｓ２５乃至Ｓ２９と同様であるので、その説明は省略する。すなわち、図２５のフローチャートにおいて、図１１のフローチャートと異なる処理は、ステップＳ８４，Ｓ８６の処理である。
　ステップＳ８４において、クランプ部３３０は、各サブブロック１０３について、AD変換部３２１からの通常加算画素の画素信号（画素値）から、対応する黒画素１１１Ｃの画素信号として検出された黒レベルを減算する。クランプ部３３０は、黒レベルが減算された全画素分の画像データ(画素値）をデモザイク部３２３に供給する。すなわち、ここでは、サブブロック１０３単位で、通常加算画素の画素信号より、黒画素１１１Ｃの画素信号である黒レベルが減算される。結果として、画素アレイ４４上の画素１１１単位で生じ得る２次元的な黒レベルのばらつきを高精度に補正することが可能となる。
　また、ステップＳ８６において、補正部３９１は、補正処理を実行して、ＲＧＢのサブブロック１０３の通常加算画素の画素信号のDC成分を抽出すると共に、対応する白画素１１１Ｄの輝度信号のAC成分を抽出して加算することで、偽解像や色偽の発生を抑制する。
　（４－５）　補正処理
　ここで、図２６のフローチャートを参照して、補正部３９１による補正処理について説明する。
　ステップＳ１０１において、LPF４０２は、ベイヤ配列のＲＧＢのサブブロック１０３のそれぞれに対応する狭色帯域の画素信号に対して、LPFを掛けて、色のDC成分を抽出して加算部４０３に出力する。
　ステップＳ１０２において、HPF４０１は、ベイヤ配列のＲＧＢのサブブロック１０３のそれぞれに対応する広色帯域の輝度信号に対して、HPFを掛けて、輝度のAC成分を抽出して加算部４０３に出力する。
　ステップＳ１０３において、加算部４０３は、ベイヤ配列のＲＧＢのサブブロック１０３毎に、HPF４０１より供給される輝度のAC成分と、LPF４０２より供給される色のDC成分とを加算してクランプ部３２２に出力する。
　以上の処理により、ＲＧＢのサブブロック１０３の通常加算画素の画素信号について、ＲＧＢの周波数に応じて、LPF４０２を掛けたとき、周波数に応じて応答出力が増減するので、周波数が高い波長の色については、輝度信号よりHPF４０１により抽出されるAC成分を補うことで、偽解像や色偽の発生を抑制させることが可能となる。尚、ステップＳ１０１，Ｓ１０２の処理は順序が入れ替わってもよいものであるが、実質的に、並列的に処理がなされるものである。
　（４－６）　第４の実施の形態の変形例（サブブロック内に白画素または位相差検波用画素を設ける画素配置例）
　以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、白画素１１１Ｄとする例について説明してきたが、白画素１１１Ｄの一部を位相差検波用画素として用いるようにしてもよい。
　より具体的には、図２７で示されるように、上段のブロック１０２においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成されている。
　一方、下段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２として構成されている。
　すなわち、上段のブロック１０２においては、通常の画素１１１は、８個分が加算されて、通常加算画素として出力される。一方、下段のブロック１０２の、上段のサブブロック１０３においては、８個の通常の画素１１１の画素信号が加算されて、通常加算画素として出力されると共に、下段のサブブロック１０３においては、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２がそれぞれ出力される。つまり、２個×２個のブロック１０２単位で、２対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置される。
　この２対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２から画素信号が読み出されることで、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカスを調整した後、フォーカスが調整された状態の画像を通常加算画素により読み出すと共に、白画素１１１Ｄを用いた補正処理を実現させることができるので、画質の劣化を抑制させることが可能となる。
　＜５．撮像素子からの画素信号の出力のタイミング＞
　以上においては、撮像素子４１からの画素信号の出力は、サブブロック１０３を構成する通常の８個の画素１１１の画素信号と、それ以外の１個の何らかの機能を備えた画素（以下、機能画素１１１Ｘとも称する）の画素信号が異なるタイミングでクランプ部３３０に出力される例について説明してきた。
　しかしながら、図２８の上段で示されるように、通常の８個の画素１１１の画素信号と、それ以外の１個の機能画素１１１Ｘの画素信号が同一のタイミングでクランプ部３３０に出力されるように並列読み出しするようにしてもよい。
　この場合、機能画素１１１Ｘの画素信号と、通常の画素１１１の画素信号との処理タイミングが実際には異なる場合、クランプ部３２２は、処理タイミングの異なる画素信号をバッファリングするなどしてタイミングを調整する必要がある。
　尚、機能画素１１１Ｘとは、上述した、単独画素１１１Ａ、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、黒画素１１１Ｃ、および白画素１１１Ｄを総称したものである。
　また、撮像素子４１の後段において、通常の画素１１１と、機能画素１１１Ｘとの処理順序やタイミングが決まっているような場合、処理順序やタイミングに合わせて出力するようにしてもよい。
　例えば、図２８の下段で示されるように、時刻ｔｘにおいて、通常の画素１１１の画素信号が出力された後、時刻ｔｙにおいて、機能画素１１１Ｘの画素信号が出力されるように、時分割読み出しするようにしてもよい。また、順序を入れ替えて、機能画素１１１Ｘの画素信号が出力された後、通常の画素１１１の画素信号が出力されるように時分割読み出しするようにしてもよい。
　＜６．カラムAD変換部の配置例＞
　以上においては、カラムAD変換部４７は、１本の垂直信号線５３に対して１個ずつADC５５が設けられており、１行毎にAD変換する構成例について説明してきたが、例えば、図２９で示されるように、上下に３行分ずつカラムAD変換部４７－１乃至４７－３、および４７－１１乃至４７－１３をそれぞれ設けるようにして、画素アレイ４４の上半分のブロック１０２については、サブブロック１０３単位となる画素１１１の３列ごとに、上部に設けられたカラムAD変換部４７－１乃至４７－３によりAD変換させ、画素アレイ４４の下半分のブロック１０２については、サブブロック１０３単位となる画素１１１の３列ごとに、下部に設けられたカラムAD変換部４７－１乃至４７－３によりAD変換させるようにしてもよい。
　このような構成により、通常の画素１１１を８個加算する際、加算に必要な画素１１１の画素信号が同時に揃えられるので、メモリなどを必要とせず、通常加算画素の画素信号を求めることが可能となる。
　また、３行毎に画素信号をAD変換することが可能となるので、AD変換に係る処理速度を向上させることが可能となる。尚、カラムAD変換部４７は、上下に３行ずつ設けるのみならず、さらに、３の倍数行であれば、それ以外の行数分設けるようにしてもよい。尚、カラムAD変換部４７は、サブブロック１０３を構成する画素数に応じた数となる。このため、例えば、サブブロック１０３が、Ｑ個×Ｑ個で構成される場合、カラムAD変換部４７は、Ｑの倍数行ずつ設けられることが望ましい。
　＜７．画素配置のバリエーション＞
　画素アレイ４４における、通常の画素１１１と、単独画素１１１Ａ、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、黒画素１１１Ｃ、および白画素１１１Ｄを含む機能画素１１１Ｘとの画素配置のバリエーションは、様々なものが考えられる。
　例えば、図３０の左上部で示されるように、サブブロック１０３単位で中心画素と、その上下左右の５カ所に通常の画素１１１が配置され、それ以外の角部の４か所に機能画素１１１Ｘが配置されるようにしてもよい。
　また、例えば、図３０の右上部で示されるように、サブブロック１０３単位で中心画素と、その左右の斜め上、左右の斜め下の５が所に画素１１１が配置され、それ以外の４か所に機能画素１１１Ｘが配置されるようにしてもよい。
　図３０の左上部および右上部で示されるように、通常の画素１１１をサブブロック１０３内で上下左右対称に配置することで、サブブロック１０３内における色画素の位相ずれの発生を抑制することができる。
　すなわち、サブブロック１０３内において、対称に通常画素が配置されない場合、細い斜めの線などを表示する際に、ある角度で画素がかけて色偽が発生することがある。このため、サブブロック１０３内で上下左右対称に通常の画素１１１が配置されることにより、色偽の発生を抑制することが可能となる。
　また、通常の画素１１１と機能画素１１１Ｘとの数を揃えることで、画素１１１と機能画素１１１Ｘの出力レベルの比を揃えることが可能となる。
　さらに、図３０の右下部で示されるように、ブロック１０２単位で、右下部の画素については、すなわち、Ｂサブブロック１０３の右下の画素のみを、黒画素１１１Ｃとするようにしてもよい。
　この場合、サブブロック１０３内で黒画素１１１Ｃを除く機能画素１１１Ｘは非対称に配置されることになるが、サブブロック１０３内で通常の画素１１１は、上下左右に対称に配置されるので、色画素の位相ずれの発生は抑制される。また、黒画素１１１Ｃは均等に配置されるので、適切に２次元的な黒レベルの変化を補正することが可能となる。
　さらに、図３１の左上部で示されるように、サブブロック１０３単位で、中心画素から見て左右の斜め上部には、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２を配置し、左右斜め下部には、黒画素１１１Ｃを配置し、それ以外の５画素を通常の画素１１１とするようにしてもよい。
　また、図３１の左下部で示されるように、Ｇサブブロック１０３については、中心画素から見て右側の斜め上下部には、位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２が配置され、左側の斜め上下部には、黒画素１１１Ｃが配置され、それ以外の５画素が通常の画素１１１とされるようにし、Ｒ，Ｂサブブロック１０３については、中心画素から見て左右の斜め上部には、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、左右斜め下部には、黒画素１１１Ｃが配置され、それ以外の５画素が通常の画素１１１とされるようにしてもよい。尚、各ブロック１０２のベイヤ配列のＲＧＢサブブロック１０３の配置は、図３に対応したものである。
　さらに、図３１の右上部で示されるように、図３１の左上部の画素配置に対して、サブブロック１０３内の中心の画素１１１を白画素１１１Ｄに代えるようにしてもよい。
　同様に、図３１の右下部で示されるように、図３１の左下部の画素配置に対して、サブブロック１０３内の中心の画素１１１を白画素１１１Ｄに代えるようにしてもよい。
　図３１のいずれにおいても、通常の画素１１１は、サブブロック１０３内において、上下左右に対して対称に配置されるので、位相ずれの発生を抑制することが可能となる。
　また、以上においては、サブブロック１０３が３画素×３画素の合計９画素で構成される例について説明してきたが、サブブロック１０３を構成する画素数は、それ以外の画素数であってもよく、例えば、４画素×４画素により構成されるようにしてもよい。
　例えば、図３２の左上部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、中央の２画素×２画素については、左右のそれぞれに位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
　また、例えば、図３２の右上部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、Ｇサブブロック１０３の中央の２画素×２画素については、左右に位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにし、Ｂ，Ｒサブブロック１０３の中央の２画素×２画素については、左右に位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
　さらに、例えば、図３２の左下部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、中央上段の２画素については、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、中央下段の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
　また、例えば、図３２の右下部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、Ｇサブブロック１０３の中央上段の２画素については、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、中央下段の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにし、Ｂ，Ｒサブブロック１０３の中央左側の２画素については、位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２が配置され、中央右側の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
　図３２のいずれにおいても、通常の画素１１１は、サブブロック１０３内において、上下左右に対して対称に配置されるので、位相ずれの発生を抑制することが可能となる。
　さらに、サブブロック１０３は、２画素×２画素により構成されるようにしてもよい。
　例えば、図３３で示されるように、ブロック１０２を構成する上段の２つのサブブロック１０３については、右下部に位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が設けられ、ブロック１０２を構成する下段の２つのサブブロック１０３については、右下部に黒画素１１１Ｃが設けられるようにしてもよい。
　すなわち、２画素×２画素のサブブロック１０３内において、１／４の画素が機能画素Ｘとされる。
　従って、機能画素Ｘは、図３３で示される位相差検波用画素１１１Ｂおよび黒画素１１１Ｃのみならず、白画素１１１Ｄや単独画素１１１Ａなどであってもよい。
　この場合、通常の画素１１１は、サブブロック１０３単位で上下左右に対して非対称であるが、加算される３個の画素１１１の配置は、いずれのサブブロック１０３においても同一であるので、位相のずれは抑制される。すなわち、通常加算画素として使用される画素１１１の配置がサブブロック１０３単位で同一であれば、サブブロック１０３を構成する画素数に関わらず、その配置が非対称であってもよい。
　また、サブブロック１０３において、通常画素１１１が上下左右対称に構成される限り、他の位置には、様々な機能画素１１１Ｘを様々な組み合わせで配置するようにしてもよい。
　以上の如く、本開示の電子機器によれば、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制することが可能となる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　　画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
　　前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
　前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
　前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
　前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
　固体撮像装置。
＜２＞　前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列である
　＜１＞に記載の固体撮像装置。
＜３＞　前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力される
　＜１＞または＜２＞に記載の固体撮像装置。
＜４＞　前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像する
　＜３＞に記載の固体撮像装置。
＜５＞　前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像する
　＜３＞に記載の固体撮像装置。
＜６＞　前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素である
　＜３＞に記載の固体撮像装置。
＜７＞　前記撮像素子は、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力する
　＜６＞に記載の固体撮像装置。
＜８＞　前記撮像素子に入射する光の焦点を調整するレンズと、
　前記レンズの焦点距離を制御するレンズ制御部とをさらに含み、
　前記レンズ制御部は、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御する
　＜７＞に記載の固体撮像装置。
＜９＞　前記位相差検波用画素は、水平方向の位相差を検波する
　＜６＞に記載の固体撮像装置。
＜１０＞　前記位相差検波用画素は、垂直方向の位相差を検波する
　＜６＞に記載の固体撮像装置。
＜１１＞　前記機能画素は、黒画素であり、黒レベルを出力する
　＜３＞に記載の固体撮像装置。
＜１２＞　前記黒画素は、全面遮光された画素である
　＜１１＞に記載の固体撮像装置。
＜１３＞　前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含む
　＜１１＞に記載の固体撮像装置。
＜１４＞　前記機能画素は、白画素であり、輝度信号を出力する
　＜３＞に記載の固体撮像装置。
＜１５＞　前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素である
　＜１４＞に記載の固体撮像装置。
＜１６＞　前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、
　前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、
　前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含む
　＜１４＞に記載の固体撮像装置。
＜１７＞　前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含み、
　前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられる
　＜１＞乃至＜１６＞のいずれかに記載の固体撮像装置。
＜１８＞　　画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
　　前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
　前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
　前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
　前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
　電子機器。
　１０２　ブロック，　１０３　サブブロック，　１１１　画素，　１１４　撮像用画素，１３１　位相差検波用画素，　３１１　レンズ，３１２　光学フィルタ，　３２２　クランプ部，　３２３　デモザイク部，　３２５　輝度クロマ信号生成部，　３２６　インタフェース部，　３３０　クランプ部，　３７４　位相差検波部，　３７５　レンズ制御部

Claims (18)

  1. 　　画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
    　　前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
    　前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
    　前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
    　前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
    　固体撮像装置。
  2. 　前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列である
    　請求項１に記載の固体撮像装置。
  3. 　前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力される
    　請求項１に記載の固体撮像装置。
  4. 　前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像する
    　請求項３に記載の固体撮像装置。
  5. 　前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像する
    　請求項３に記載の固体撮像装置。
  6. 　前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素である
    　請求項３に記載の固体撮像装置。
  7. 　前記撮像素子は、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力する
    　請求項６に記載の固体撮像装置。
  8. 　前記撮像素子に入射する光の焦点を調整するレンズと、
    　前記レンズの焦点距離を制御するレンズ制御部とをさらに含み、
    　前記レンズ制御部は、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御する
    　請求項７に記載の固体撮像装置。
  9. 　前記位相差検波用画素は、水平方向の位相差を検波する
    　請求項６に記載の固体撮像装置。
  10. 　前記位相差検波用画素は、垂直方向の位相差を検波する
    　請求項６に記載の固体撮像装置。
  11. 　前記機能画素は、黒画素であり、黒レベルを出力する
    　請求項３に記載の固体撮像装置。
  12. 　前記黒画素は、全面遮光された画素である
    　請求項１１に記載の固体撮像装置。
  13. 　前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含む
    　請求項１１に記載の固体撮像装置。
  14. 　前記機能画素は、白画素であり、輝度信号を出力する
    　請求項３に記載の固体撮像装置。
  15. 　前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素である
    　請求項１４に記載の固体撮像装置。
  16. 　前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、
    　前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、
    　前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含む
    　請求項１４に記載の固体撮像装置。
  17. 　前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含み、
    　前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられる
    　請求項１に記載の固体撮像装置。
  18. 　　画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
    　　前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
    　前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
    　前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
    　前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
    　電子機器。
PCT/JP2018/015157 2017-04-25 2018-04-11 固体撮像装置および電子機器 WO2018198766A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP22151852.5A EP4027640A1 (en) 2017-04-25 2018-04-11 Solid state image sensor and electronic equipment
JP2019514362A JP7099446B2 (ja) 2017-04-25 2018-04-11 固体撮像装置および電子機器
EP18790913.0A EP3618430B1 (en) 2017-04-25 2018-04-11 Solid-state image capturing device and electronic instrument
US16/603,065 US11233957B2 (en) 2017-04-25 2018-04-11 Solid state image sensor and electronic equipment
US17/647,562 US11637975B2 (en) 2017-04-25 2022-01-10 Solid state image sensor and electronic equipment
US18/191,586 US20230239589A1 (en) 2017-04-25 2023-03-28 Solid state image sensor and electronic equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-085906 2017-04-25
JP2017085906 2017-04-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/603,065 A-371-Of-International US11233957B2 (en) 2017-04-25 2018-04-11 Solid state image sensor and electronic equipment
US17/647,562 Continuation US11637975B2 (en) 2017-04-25 2022-01-10 Solid state image sensor and electronic equipment

Publications (1)

Publication Number Publication Date
WO2018198766A1 true WO2018198766A1 (ja) 2018-11-01

Family

ID=63919711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015157 WO2018198766A1 (ja) 2017-04-25 2018-04-11 固体撮像装置および電子機器

Country Status (4)

Country Link
US (3) US11233957B2 (ja)
EP (2) EP3618430B1 (ja)
JP (1) JP7099446B2 (ja)
WO (1) WO2018198766A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3674848A4 (en) * 2018-11-12 2020-10-21 Shenzhen Goodix Technology Co., Ltd. OPTICAL AND TERMINAL DETECTION DEVICE
EP3993400A4 (en) * 2019-06-25 2022-08-03 Sony Semiconductor Solutions Corporation SOLID-STATE IMAGING DEVICE AND ELECTRONIC APPARATUS
EP4035942A4 (en) * 2019-09-24 2022-11-30 Sony Semiconductor Solutions Corporation IMAGING DEVICE
WO2024084930A1 (ja) * 2022-10-17 2024-04-25 ソニーグループ株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5999750B2 (ja) * 2011-08-25 2016-09-28 ソニー株式会社 撮像素子、撮像装置及び生体撮像装置
JP7226325B2 (ja) * 2017-10-13 2023-02-21 ソニーグループ株式会社 焦点検出装置および方法、並びにプログラム
CN114793262A (zh) * 2021-01-26 2022-07-26 华为技术有限公司 一种图像传感器、摄像头、电子设备及控制方法
US11706537B2 (en) * 2021-05-11 2023-07-18 Omnivision Technologies, Inc. Image sensor and method for reading out signal of image sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175898A (ja) * 2012-02-24 2013-09-05 Canon Inc 撮像装置
JP2014135564A (ja) * 2013-01-08 2014-07-24 Canon Inc 撮像装置および画像処理装置
JP2015133469A (ja) 2013-12-12 2015-07-23 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2016100879A (ja) * 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置、画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5040458B2 (ja) * 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5954964B2 (ja) * 2011-02-18 2016-07-20 キヤノン株式会社 撮像装置およびその制御方法
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
EP2800379A4 (en) * 2011-12-27 2015-12-23 Fujifilm Corp COLOR IMAGING ELEMENT
JP5740054B2 (ja) * 2012-07-06 2015-06-24 富士フイルム株式会社 撮像装置及び画像処理方法
JP5787856B2 (ja) 2012-09-24 2015-09-30 株式会社東芝 固体撮像装置
CN110266975B (zh) * 2013-10-02 2022-03-25 株式会社尼康 摄像元件以及摄像装置
JP2017003832A (ja) * 2015-06-12 2017-01-05 キヤノン株式会社 自動焦点調節装置および光学機器
KR20200113484A (ko) * 2019-03-25 2020-10-07 삼성전자주식회사 이미지 센서 및 그 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175898A (ja) * 2012-02-24 2013-09-05 Canon Inc 撮像装置
JP2014135564A (ja) * 2013-01-08 2014-07-24 Canon Inc 撮像装置および画像処理装置
JP2015133469A (ja) 2013-12-12 2015-07-23 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2016100879A (ja) * 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3618430A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3674848A4 (en) * 2018-11-12 2020-10-21 Shenzhen Goodix Technology Co., Ltd. OPTICAL AND TERMINAL DETECTION DEVICE
EP3993400A4 (en) * 2019-06-25 2022-08-03 Sony Semiconductor Solutions Corporation SOLID-STATE IMAGING DEVICE AND ELECTRONIC APPARATUS
US11843883B2 (en) 2019-06-25 2023-12-12 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
EP4035942A4 (en) * 2019-09-24 2022-11-30 Sony Semiconductor Solutions Corporation IMAGING DEVICE
US11936979B2 (en) 2019-09-24 2024-03-19 Sony Semiconductor Solutions Corporation Imaging device
WO2024084930A1 (ja) * 2022-10-17 2024-04-25 ソニーグループ株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Also Published As

Publication number Publication date
JP7099446B2 (ja) 2022-07-12
EP4027640A1 (en) 2022-07-13
US20220132058A1 (en) 2022-04-28
US20210105423A1 (en) 2021-04-08
EP3618430A4 (en) 2020-03-04
EP3618430B1 (en) 2022-02-09
US20230239589A1 (en) 2023-07-27
US11637975B2 (en) 2023-04-25
US11233957B2 (en) 2022-01-25
JPWO2018198766A1 (ja) 2020-02-27
EP3618430A1 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
JP7099446B2 (ja) 固体撮像装置および電子機器
US10015424B2 (en) Method and apparatus for eliminating crosstalk amount included in an output signal
JP5319347B2 (ja) 撮像装置及びその制御方法
US20110032395A1 (en) Imaging unit and image sensor
US8111298B2 (en) Imaging circuit and image pickup device
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
JP2006157600A (ja) デジタルカメラ
JP2009049525A (ja) 撮像装置及び信号処理方法
JP2010147785A (ja) 固体撮像素子及び撮像装置並びにその画像補正方法
JP2009021985A (ja) 撮像装置及び撮像装置の駆動方法
JP3965555B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2008252397A (ja) 撮像データの処理方法及び撮像装置
JP4279562B2 (ja) 固体撮像装置の制御方法
JP2003101815A (ja) 信号処理装置及び信号処理方法
WO2020049867A1 (ja) 撮像装置、および撮像素子
JP4645607B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2009049524A (ja) 撮像装置及び信号処理方法
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法
WO2021192176A1 (ja) 撮像装置
US11317068B2 (en) Signal processing apparatuses and signal processing methods
JP2017208651A (ja) 撮像装置
JP5159387B2 (ja) 撮像装置および撮像素子の駆動方法
JP6837652B2 (ja) 撮像装置及び信号処理方法
JP2003116147A (ja) 固体撮像装置
JP2015177257A (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18790913

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019514362

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018790913

Country of ref document: EP

Effective date: 20191125