WO2020262193A1 - 固体撮像装置、及び電子機器 - Google Patents

固体撮像装置、及び電子機器 Download PDF

Info

Publication number
WO2020262193A1
WO2020262193A1 PCT/JP2020/023985 JP2020023985W WO2020262193A1 WO 2020262193 A1 WO2020262193 A1 WO 2020262193A1 JP 2020023985 W JP2020023985 W JP 2020023985W WO 2020262193 A1 WO2020262193 A1 WO 2020262193A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
phase difference
solid
signal
Prior art date
Application number
PCT/JP2020/023985
Other languages
English (en)
French (fr)
Inventor
真透 舘
小林 一仁
大助 吉岡
大森 士郎
武志 小佐々
藤田 和英
直人 林田
翔悠 田中
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/619,348 priority Critical patent/US11843883B2/en
Priority to JP2021526879A priority patent/JPWO2020262193A1/ja
Priority to KR1020217041497A priority patent/KR20220027070A/ko
Priority to EP20832059.8A priority patent/EP3993400A4/en
Priority to CN202080036792.1A priority patent/CN113875009A/zh
Publication of WO2020262193A1 publication Critical patent/WO2020262193A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present disclosure relates to a solid-state image sensor and an electronic device, and more particularly to a solid-state image sensor and an electronic device capable of suppressing deterioration of phase difference information.
  • phase difference pixels pixels for phase difference detection
  • Patent Documents 1 and 2 As a configuration of this type of phase difference pixel, the techniques disclosed in Patent Documents 1 and 2 are known.
  • phase difference information when a configuration including a phase difference pixel is used for a plurality of pixels arranged two-dimensionally in the pixel array portion, it is required to suppress deterioration of the phase difference information.
  • This disclosure has been made in view of such a situation, and is intended to suppress deterioration of phase difference information.
  • the solid-state imaging device on one side of the present disclosure includes a pixel array unit in which a plurality of pixels are arranged in a two-dimensional manner, the plurality of pixels include a phase difference pixel for phase difference detection, and the pixel array unit , It has an arrangement pattern in which pixel portions including pixels of the same color in the vicinity are regularly arranged, and when reading out the plurality of pixels, a pixel signal of a predetermined pixel in the horizontal direction and a pixel of a predetermined pixel in the vertical direction. It is a solid-state imaging device that partially non-adds the phase difference pixels when the signals are added horizontally and vertically.
  • the electronic device on one aspect of the present disclosure includes a pixel array unit in which a plurality of pixels are arranged in a two-dimensional manner, the plurality of pixels include a phase difference pixel for detecting a phase difference, and the pixel array unit is a pixel array unit. It has an array pattern in which pixel portions including pixels of the same color in the vicinity are regularly arranged, and when reading out the plurality of pixels, a pixel signal of a predetermined pixel in the horizontal direction and a pixel signal of a predetermined pixel in the vertical direction.
  • the solid-state imaging device and the electronic device on one aspect of the present disclosure include a pixel array unit in which a plurality of pixels are arranged in a two-dimensional manner, and the plurality of pixels include a phase difference pixel for phase difference detection.
  • the pixel array unit has an array pattern in which pixel units including nearby pixels of the same color are regularly arranged. Further, when reading out the plurality of pixels and horizontally and vertically adding the pixel signals of the predetermined pixels in the horizontal direction and the pixel signals of the predetermined pixels in the vertical direction, the phase difference pixels are partially deadded. ..
  • the solid-state imaging device on one aspect of the present disclosure includes a pixel array unit in which a plurality of pixels are arranged in a two-dimensional manner, the plurality of pixels include a phase difference pixel for phase difference detection, and the pixel array unit , For selecting a connection from a floating diffusion region formed for each of a plurality of pixels in the vertical direction to a vertical signal line, which has an array pattern in which pixel portions including pixels of the same color in the vicinity are regularly arranged.
  • This is a solid-state imaging device provided with a plurality of selection control lines in the horizontal direction.
  • the solid-state imaging device on one side of the present disclosure includes a pixel array unit in which a plurality of pixels are arranged in a two-dimensional manner, and the plurality of pixels include a phase difference pixel for phase difference detection, and the pixel array unit.
  • a pixel array unit in which a plurality of pixels are arranged in a two-dimensional manner, and the plurality of pixels include a phase difference pixel for phase difference detection, and the pixel array unit.
  • a plurality of selection control lines for selecting a connection from the floating diffusion region formed for each of the plurality of pixel portions in the vertical direction to the vertical signal line are provided in the horizontal direction.
  • the solid-state image sensor or electronic device on one aspect of the present disclosure may be an independent device or an internal block constituting one device.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a solid-state image sensor to which the technique according to the present disclosure is applied.
  • the solid-state image sensor 10 in FIG. 1 is composed of an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the solid-state image sensor 10 captures incident light (image light) from a subject through an optical lens system (not shown) and converts the amount of incident light imaged on the imaging surface into an electric signal in pixel units. Is output as a pixel signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • the solid-state imaging device 10 includes a pixel array unit 11, a vertical drive circuit 12, a column signal processing circuit 13, a horizontal drive circuit 14, an output circuit 15, a control circuit 16, and an input / output terminal 17. ..
  • a plurality of pixel units 200 are arranged in a two-dimensional shape (matrix shape) in the pixel array unit 11.
  • the pixel unit 200 is composed of four pixels 100 (4 pixels of 2 ⁇ 2) of the same color.
  • Each pixel unit 200 has four pixels 100 of the same color, which are red (R) and correspond to a color filter that transmits light having a wavelength of a red (R) component, a green (G) component, or a blue (B) component. It is composed of pixels, green (G) pixels, or blue (B) pixels. Further, the pixel unit 200 is configured as a shared pixel in which a pixel circuit is shared by four pixels 100 of the same color.
  • each pixel 100 of the same color includes a photodiode (PD) as a photoelectric conversion element and a transfer transistor TR-Tr, respectively. Further, in the pixel unit 200, the reset transistor RST-Tr, the amplification transistor AMP-Tr, and the selection transistor SEL-Tr as the pixel circuit are shared by the four pixels 100 of the same color.
  • PD photodiode
  • TR-Tr transfer transistor
  • phase difference pixels pixels for phase difference detection
  • pixels 100 included in the pixel unit 200 are scattered (in a repeating pattern) as pixels 100 included in the pixel unit 200. ing.
  • the vertical drive circuit 12 is composed of a shift register or the like, selects a predetermined pixel drive line 121, and supplies a drive signal (pulse) for driving the pixel 100 or the pixel unit 200 to the selected pixel drive line 121. Then, the pixel 100 or the pixel unit 200 is driven in units of rows.
  • the vertical drive circuit 12 selectively scans each pixel 100 or each pixel unit 200 of the pixel array unit 11 in a row-by-row manner in the vertical direction, and the electric charge generated in the photodiode of each pixel 100 according to the amount of received light ( The pixel signal based on the signal charge) is supplied to the column signal processing circuit 13 through the vertical signal line 131.
  • the column signal processing circuit 13 is arranged for each column of the pixel unit 200, and performs signal processing such as noise removal for each row of signals output from the pixel unit 200 for one row.
  • the column signal processing circuit 13 performs signal processing such as correlated double sampling (CDS: Correlated Double Sampling) for removing fixed pattern noise peculiar to pixels and AD (Analog Digital) conversion.
  • CDS Correlated Double Sampling
  • AD Analog Digital
  • the horizontal drive circuit 14 is composed of a shift register or the like, and by sequentially outputting horizontal scanning pulses, each of the column signal processing circuits 13 is sequentially selected, and pixel signals are output from each of the column signal processing circuits 13 as horizontal signal lines. Output to 141.
  • the output circuit 15 performs signal processing on the signals sequentially supplied from each of the column signal processing circuits 13 through the horizontal signal line 141 and outputs the signals.
  • the output circuit 15 may, for example, only buffer, or may perform black level adjustment, column variation correction, various digital signal processing, and the like.
  • the control circuit 16 controls the operation of each part of the solid-state image sensor 10.
  • control circuit 16 controls the clock signal and the control as a reference for the operation of the vertical drive circuit 12, the column signal processing circuit 13, the horizontal drive circuit 14, etc., based on the vertical synchronization signal, the horizontal synchronization signal, and the master clock signal. Generate a signal.
  • the control circuit 16 outputs the generated clock signal and control signal to the vertical drive circuit 12, the column signal processing circuit 13, the horizontal drive circuit 14, and the like.
  • the input / output terminal 17 exchanges signals with the outside.
  • the solid-state image sensor 10 of FIG. 1 configured as described above is a CMOS image sensor called a column AD method in which a column signal processing circuit 13 for performing CDS processing and AD conversion processing is arranged for each pixel string. .. Further, the solid-state image sensor 10 of FIG. 1 can be a back-illuminated CMOS image sensor or the like.
  • FIG. 2 illustrates pixels 100 having 32 rows and 32 columns arranged in a predetermined region when viewed from the incident side of light, among a plurality of pixels 100 arranged two-dimensionally in the pixel array portion 11 of FIG. doing.
  • a color filter a color filter that transmits light having a wavelength of the red (R) component is provided, and a charge corresponding to the light of the red (R) component is obtained from the light transmitted through the R color filter.
  • the pixel to be formed is referred to as R pixel 100.
  • the R pixel 100 is provided with an upward-sloping diagonal pattern, and the adjacent four pixels form the R pixel portion 200A.
  • the exposure time of the R pixel unit 200A is adjusted for each of the four R pixels 100.
  • the exposure time is adjusted in three stages of T1, T2, and T3 (T1> T2> T3), where T1 is referred to as long storage exposure time, T2 is referred to as medium storage exposure time, and T3 is referred to as short storage exposure time. ..
  • R pixel portion 200A out of the four pixels, R L pixel 100 next to the upper left Naga ⁇ , upper right and lower left of the middle ⁇ R M pixel 100, and the lower right becomes R S pixel 100 short ⁇ .
  • G pixel 100 a pixel in which a charge corresponding to the light of the green (G) component is obtained from the light transmitted through the color filter that transmits the light of the wavelength of the green (G) component is referred to as G pixel 100.
  • a dot pattern is attached to the G pixel 100, and the adjacent four pixels constitute the G pixel portion 200A.
  • G pixel portion 200A is adjusted exposure time in three stages, among the four pixels, G L pixel 100 next to the upper left Naga ⁇ , upper right and lower left of the middle ⁇ G M pixel 100 next, the lower right is G S pixel 100 short ⁇ .
  • B pixel 100 a pixel in which a charge corresponding to the light of the blue (B) component can be obtained from the light transmitted through the color filter that transmits the light of the wavelength of the blue (B) component is referred to as B pixel 100.
  • the B pixel 100 is provided with a downward-sloping diagonal pattern, and the adjacent four pixels constitute the B pixel portion 200A.
  • B pixel unit 200A similar to the R pixel portion 200A, is adjusted exposure time in three stages, among the 4 pixels, the upper left B L pixel 100 next to Naga ⁇ , upper right and lower left of the middle ⁇ B M pixel 100 next, the lower right is the B S pixel 100 short ⁇ .
  • those pixel sections 200A are regularly arranged to form a Bayer array.
  • each of the pixels in the Bayer array is divided into 2 ⁇ 2 pixels and composed of 4 pixels of the same color.
  • the Bayer array is an array pattern in which G pixels are arranged in a checkered pattern, and R pixels and B pixels are alternately arranged in a row in the remaining portion.
  • a pair of the phase difference pixel 100L and the phase difference pixel 100R is arranged according to a predetermined rule.
  • a pixel having a 2 ⁇ 1 OCL structure is also referred to as a 2 ⁇ 1 OCL pixel.
  • the on-chip lens is arranged across the pixel portions 200A adjacent to the left and right, and the on-chip lens is adjacent to the left and right, including one of the two photoelectric conversion elements formed for the on-chip lens.
  • the pixel 100 has a color filter of the same color and has the same exposure time.
  • the structure is as shown below.
  • the color filter of B S pixel 100 at the lower right of the B pixel portion 200A rather than the B color filters, as G color filters, configured as G pixels 100.
  • the B S pixel 100 is a a short-accumulation pixels (S), the exposure time, and change the exposure time of the middle ⁇ , and a medium accumulation pixels (M).
  • the M pixel 100 has the same G color filter and has the same exposure time of storage.
  • the B pixel unit 200A includes a phase difference pixel 100L, the B S pixel 100 at the lower right, changing the G M pixel 100, the short accumulation pixels (S) is no longer present, the lower left B M pixel 100 , by changing the B S pixel 100, four pixels, with the length accumulation pixels (L) and medium accumulation pixels (M), to include a short accumulation pixels (S).
  • the pair of the phase difference pixel 100L and the phase difference pixel 100R included in the adjacent B pixel unit 200A and the G pixel unit 200A is a predetermined pixel in the horizontal direction and the vertical direction. They are regularly arranged at intervals.
  • FIG. 3 schematically shows a case where a 3-exposure HDR / H2V2 addition method is performed as a read-out drive of pixel units 200A arranged in a Bayer array in the pixel array unit 11 of FIG.
  • H2V2 addition is first performed.
  • pixel signals from pixels 100 having the same color and the same exposure are added by two pixels in the horizontal direction and two pixels in the vertical direction (H2V2 addition) (A in FIG. 3).
  • the pixel signal of the upper left R L pixel 100 4 adds pixels of the R pixel portion 200A, for each of the four rectangular frame 301R of A in FIG. 3, four corresponding to black circles of the vertices R L An added signal obtained by adding the pixel signals of the pixels 100 is obtained (B in FIG. 3).
  • the remaining 3 pixels of the R pixel portion 200A, 4 pixels of the G pixel portion 200A, and 4 pixels of the B pixel portion 200A are also added by H2V2, so that the pixels 100 having the same color and the same exposure are added.
  • a signal is obtained (B in FIG. 3).
  • the pixel signal obtained by H2V2 addition is a pixel signal from the long storage pixel (L), the medium storage pixel (M), and the short storage pixel (S) for each of the R, G, and B colors.
  • pixel signals of HDR High Dynamic Range
  • This 3-exposure HDR is a technology that expands the dynamic range by arranging three types of pixels with different exposure times within the same color pixels and selecting or synthesizing appropriate exposure signals from these three types of pixels. ..
  • one on-chip lens is formed so as to straddle the B pixel portion 200A and the G pixel portion 200A, and a pair of phase difference pixels 100L and 100R is arranged to cause a phase difference. It is being detected.
  • the phase difference pixels 100L and 100R are thinned out, and the density of the phase difference pixels after the horizontal / vertical addition is before the horizontal / vertical addition.
  • the density By setting the density to be the same or the same as or lower than the density of the retardation pixels, the densities of the retardation pixels 100L and 100R are prevented from becoming too high (B in FIG. 5).
  • phase difference pixel when performing the H2V2 addition shown in A of FIG. 3, if even one of the four selected pixels includes a phase difference pixel, only the phase difference pixel is selected and added to some of the pixels. Or, in some other pixels, only normal pixels excluding the phase difference pixel are selected and added.
  • phase difference pixels This makes it possible to adjust the density of the phase difference pixels and prevent deterioration of the phase difference signal. Further, by controlling the densities of the phase difference pixels before and after the horizontal and vertical addition to be the same or the same density, the same signal processing pipeline can be shared.
  • the first pattern is a pattern that leaves phase difference pixels (2 ⁇ 1 OCL pixels) when H2V2 is added.
  • the pixel signals of the other normal pixels (12 normal pixels) are excluded by not being transferred to the vertical signal line 131 (VSL transfer is not performed).
  • the three pixel portions 200A (normally 12 pixels) excluding the pixel portion 200A including the phase difference pixel. Pixel) is referred to as a "non-additive pixel portion" because it is not VSL transferred and is non-additive.
  • the second pattern is a pattern in which the phase difference pixels (2 ⁇ 1 OCL pixels) are discarded when H2V2 is added. That is, the density of the phase difference pixel is appropriately excluded due to restrictions of the phase difference pixel correction circuit for the RAW pixel.
  • the pixel portion 200A including the phase difference pixel and the pixel portion 200A existing diagonally thereof are eliminated by not performing VSL transfer.
  • the former pixel portion 200A includes a phase difference pixel it is referred to as a "pixel portion for discarding the phase difference pixel”
  • the diagonal pixel portion 200A is referred to as a "companion pixel portion”.
  • the reason for excluding the pixel portion 200A existing diagonally of the pixel portion 200A including the phase difference pixel, that is, the diagonal "pixel portion of the companion" of the "pixel portion of the phase difference pixel discard” is after H2V2 addition.
  • the purpose is to align the center of gravity of the pixels.
  • the third pattern is a pattern in which four pixel units 200A (16-pixel normal pixels) are added. That is, here, since normal H2V2 addition is performed, 16 normal pixels are transferred by VSL.
  • the selection control line (SEL line) for controlling the connection between the vertical signal line 131 and the floating diffusion region (FD: Floating Diffusion) is double-tracked. , Drive control is performed.
  • one selection control line (SEL) 122 (A in FIG. 6) for controlling the connection between the vertical signal line (VSL) 131 and the stray diffusion region (FD) 111. Is double-tracked into two selection control lines (SEL) 122-1 and 122-2 (B in FIG. 6) to control on / off of VSL transfer according to the above three patterns.
  • the selection control lines 122-1 and 122-2 are included in the pixel drive line 121 (FIG. 1), and a drive signal from the vertical drive circuit 12 or the control circuit 16 or an external control device (not shown) is applied. To. Then, the selection transistors SEL-Tr connected to the selection control lines 122-1 and 122-2 operate according to the drive signal to control the on / off of VSL transfer.
  • phase difference pixels (2 ⁇ 1 OCL pixels) represented by the white squares in the figure are discarded.
  • “1” in the figure indicates that the addition method of the first pattern is controlled, and the phase difference pixels in the frame 210 are left, but the pixels including the phase difference pixels.
  • the three pixel units 200A (12-pixel normal pixels) excluding the unit 200A are not VSL-transferred and are not added. That is, "C” in the figure is a "non-additive pixel portion".
  • phase difference pixels here are selected in pixel units by the drive control of the selection control lines 112-1 and 112-2. Further, in FIGS. 7 and 8, a drive signal is applied to the transfer control line (TRG line), and the pixel 100 in the pixel unit 200A is selected.
  • TRG line transfer control line
  • “2” in the figure indicates that the addition method of the second pattern is controlled, and the pixel portion 200A including the phase difference pixel is not read, and is further positioned diagonally thereof.
  • the pixel unit 200A to be used is also not read. That is, "A” in the figure is a “pixel portion for discarding phase difference pixels”, “B” in the figure is a “pixel portion with a companion”, and both of these pixel portions are unadded.
  • the selection control line (SEL line) is double-tracked to control the on / off of VSL transfer, and the control of the addition method of the first pattern to the third pattern is realized, so that the density of the phase difference pixels It is possible to prevent the phase difference pixels and the normal pixels from being added while reducing the number of pixels.
  • two selection control lines are prepared, and the connection of the selection control lines is changed for each floating diffusion region (FD) 111 to change the selection control lines 122-1 and 122.
  • SEL lines selection control lines
  • VSL vertical signal line
  • FD floating diffusion region
  • the first requirement is that the existing defective pixel circuit currently in use can be used. That is, if this first requirement cannot be satisfied, it is necessary to newly implement a countermeasure circuit in the existing defective pixel circuit, which leads to an increase in the circuit scale or a decrease in the yield.
  • the drive signals applied to the two selection control lines are controlled by multiplying the H2V2 addition to obtain the densities of the retardation pixels 100L and 100R (the density of 2 ⁇ 1 OCL pixels). Since the number is reduced, the existing defective pixel circuit can be used, and the first requirement is satisfied.
  • image plane phase difference AF (PDAF: Phase Detection Auto Focus) can be performed while leaving the necessary phase difference pixels 100L and 100R (2 ⁇ 1 OCL pixels) alone.
  • the phase difference pixels 100L used in the image plane phase difference AF it is possible to leave 100R (2 ⁇ 1 OCL pixel) as a single pixel without adding, and to add a plurality of pixels to other peripheral pixels, satisfying the second requirement.
  • the third requirement is that the position of the center of gravity matches after analog addition.
  • read-out drive with lower power consumption is realized by pixel addition by H2V2 addition, but the drive signals applied to the two selection control lines are controlled so that the centers of gravity are aligned after the addition. It is possible to select such addition pixels (such as “the pixel part of the companion" with respect to “the pixel part of discarding the phase difference pixel”) and incorporate the correction of the center of gravity of the addition pixel into the drive. Meet.
  • the technique according to the present disclosure two selection control lines are prepared and physical specifications (to the selection control line) that can be controlled for each floating diffusion region (FD) are provided.
  • FD floating diffusion region
  • FIG. 9 shows a case where a neighborhood-adjacent 4-pixel addition / H2V2 addition method is performed as a read drive of the pixel units 200B arranged in the Bayer array in the pixel array unit 11.
  • the exposure time is the same for all four pixels in each pixel unit 200B in the pixel array unit 11, that is, all the pixels 100 of the same color (exposure time of medium storage, etc.).
  • this near-adjacent 4-pixel addition / H2V2 addition method is used, first, the neighborhood-adjacent 4-pixel addition is performed.
  • the 4 pixels (shared pixels) constituting the R, G, and B pixel portions 200B are each set to the neighboring 4 pixels, and the pixel signals from the 4 pixels are added in the floating diffusion region 111 (FD addition). ), And the addition signals of the R component, the G component, and the B component are generated, respectively.
  • H2V2 addition is performed.
  • the addition signal from the pixel unit 200B of the same color is further added by two pixels in the horizontal direction and two pixels in the vertical direction.
  • R pixel unit 200B four R pixels 100 corresponding to the four white circles at the four corners of the grid 311R in FIG. 9A are set as neighboring four pixels, and pixel addition (analog addition) is performed. Further, by H2V2 addition, the addition signals obtained by the four adjacent pixels in the vicinity of the four corners of the grid 311R of FIG. 9A are further added (analog addition) in the horizontal direction and the vertical direction. As a result, an addition signal of the R component is obtained (addition signal at the lower left of B in FIG. 9).
  • the addition of four neighboring pixels and the addition of H2V2 are performed according to the white circles of the grid 311G of FIG. 9A, and the addition signal of the G component is obtained (upper left or right of B in FIG. 9). Addition signal below).
  • the addition of four neighboring pixels and the addition of H2V2 are performed according to the white circles of the grid 311B of FIG. 9A, and the addition signal of the B component is obtained (the addition signal in the upper right of B in FIG. 9). ).
  • one on-chip lens is formed so as to straddle the B pixel portion 200B and the G pixel portion 200B, and a set of retardation pixels 100L and 100R is arranged to obtain a position. Phase difference detection is performed.
  • the phase difference pixels 100L and 100R are thinned out when the H2V2 addition is performed, as in the above-mentioned 3-exposure HDR / H2V2 addition method. Make sure that the densities of 100L and 100R do not become too high.
  • the H2V2 addition shown in A of FIG. 9 is performed, if at least one of the four selected pixels includes the phase difference pixel, only the phase difference pixel is selected and added to some of the pixels. Or, in some other pixels, only normal pixels excluding the phase difference pixel are selected and added. This makes it possible to adjust the density of the retardation pixels and prevent deterioration of the retardation signal.
  • the on / off of VSL transfer is controlled by three patterns of the first pattern to the third pattern, similarly to the above-mentioned 3-exposure HDR / H2V2 addition method. Therefore, the selection control line 122 for controlling the connection between the vertical signal line (VSL) 131 and the stray diffusion region (FD) 111 is double-tracked.
  • phase difference pixels (2 ⁇ 1 OCL pixels) surrounded by the frame 210 are left and the other phase difference pixels (2 ⁇ 1 OCL pixels) are discarded.
  • “2” in the figure indicates that the addition method of the second pattern is controlled, and the pixel portion 200B including the phase difference pixel is not read and is further positioned diagonally thereof.
  • the pixel unit 200B to be used is also not read. That is, "A” in the figure is a “pixel portion for discarding phase difference pixels", and "B” in the figure is a “pixel portion for a companion”.
  • “3” in the figure indicates that the addition method of the third pattern is controlled, and in the four pixel portions 200B (normal pixels of 16 pixels), normal H2V2 addition is performed. Will be.
  • a drive signal is applied to the transfer control line (TRG line), and the pixel 100 in the pixel unit 200B is selected.
  • the selection control line is double-tracked to control the on / off of VSL transfer, and the control of the addition method of the first pattern to the third pattern is realized, while reducing the density of the phase difference pixels. It is possible to prevent the phase difference pixels and the normal pixels from being added.
  • the drive shown in FIGS. 11 and 12 is performed in order to correspond to the reading of the phase difference pixels when the neighborhood-adjacent 4-pixel addition is performed.
  • the two central B and G pixel units 200B include the retardation pixels 100L and 100R, respectively, in addition to the normal pixels.
  • the left and right G and B pixel units 200B 4 pixels are normal pixels.
  • the charge accumulated in the photoelectric conversion element of one pixel among the four pixels constituting each pixel portion 200B is suspended and diffused differently for each pixel portion 200B. It is transferred to the area 111 (S1 in FIG. 11).
  • the electric charge accumulated in the four-pixel photoelectric conversion element constituting each pixel unit 200B is transferred to the floating diffusion region 111 (S4-1 to S4-3 in FIG. 12).
  • one pixel targeted for transfer in FIG. 11 is represented by a black-painted square, and those pixels are also re-transferred.
  • the left and right G and B pixel units 200B are composed of only normal pixels, so four pixels are added to each (S5 in FIG. 12).
  • the subsequent processing is performed on the added signal obtained as a result (S6 in FIG. 12).
  • the central B and G pixel units 200B include the phase difference pixels 100L and 100R in addition to the normal pixels which are the B and G pixels, the addition signal obtained by adding 4 pixels is not used (FIG. 12). S5), the subsequent processing is performed on the pixel signals from the held phase difference pixels 100L and 100R (S3 in FIGS. 11 and 12).
  • one selection control line (SEL) 122 (A in FIG. 13) is replaced with three selection control lines (SEL) 122-1, 122-2, 122-3. (B in FIG. 13) can be double-tracked to control the connection between the vertical signal line (VSL) 131 and the stray diffusion region (FD) 111.
  • the connection from the floating diffusion region (FD) 111 to the vertical signal line (VSL) 131 is determined by the physical configuration, so the SF (Source follower) addition method is fixed. I could only do it.
  • the technique according to the present disclosure it is possible to control the variation of SF addition by controlling the double tracking of the selection control line and its driving.
  • phase difference pixel (Configuration example of shading pixels) Further, in the above description, the case where the 2 ⁇ 1 OCL pixel is used as the phase difference pixel is shown, but another phase difference pixel such as a light-shielding pixel may be used.
  • light-shielding pixels 100L and light-shielding pixels 100R having symmetrical light-shielding regions can be used. That is, the light-shielding pixels 100L and the light-shielding pixels 100R are paired as phase-difference pixels, and the phase difference is detected based on the light-shielding pixel signals obtained from the light-shielding pixels 100L and 100R.
  • FIG. 17 shows another example of the read-out drive of the pixel units 200 arranged in the Bayer array in the pixel array unit 11. Further, in order to make the explanation easier to understand, FIG. 18 shows an enlarged view of a part of the region where the pixel portion 200 shown in FIG. 17 is arranged.
  • all four pixels constituting the pixel unit 200 are pixels 100 of the same color. Further, in the pixel array unit 11, the phase difference pixels 100L and 100R are periodically arranged in a predetermined pixel unit such as 16 ⁇ 16 pixel units.
  • the pixel array unit 11 adopts a left-right interleave structure.
  • the left-right interleave structure is a structure in which the left and right are divided and the pixel signal is read out, and the vertical signal line (VSL) 131 to which two specific floating diffusion regions (FD) 111 are connected is common. Since the vertical signal line (VSL) 131 is common, which column is read is selected by switch control according to the drive signal (SEL signal) applied to the selection control line (SEL line).
  • the floating diffusion region (FD) 111 shared by the upper and lower pixel portions 200 on the left side and the upper and lower pixel portions 200 on the right side.
  • FD floating diffusion region
  • VSL vertical signal line
  • the shared upper and lower pixel portions 200 have the same color and are arranged in the same row. Has been done.
  • the floating diffusion regions (FD) 111 in the two rows share the vertical signal line (VSL) 131, so that in the drive control described above.
  • the left and right floating diffusion regions (FD) 111 are read separately.
  • the above-mentioned drive control is performed in a type in which two vertical signal lines (VSL) 131 are provided for the row of the floating diffusion region (FD) 111.
  • the number of lines that can be read at the same time when the non-left / right interleave structure is used is 4 (FD lines), whereas the number of lines that can be read at the same time when the left / right interleave structure is used.
  • Is 8 lines (FD lines) and can read twice as many lines as the non-left-right interleaved structure. That is, the left-right interleave structure is a structure in which high frame rate reading is devised.
  • the pixel array unit 11 is composed of four pixels of R, G, or B pixel 100 corresponding to the upper R, G, or B color filter.
  • the pixel portion 200 to be formed is referred to as a top side pixel portion 200, and a pixel portion 200 composed of four pixels of R, G, or B pixel 100 corresponding to a lower R, G, or B color filter is a bottom side pixel. It is called part 200.
  • the floating diffusion region (FD) 111 to be non-added is connected to the selection control line which is SELQBINSF, and the other floating diffusion region (FD) 111 is a selection which is SEL. Connected to the control line.
  • the selection control lines that are SEL and SELQBINSF are prepared for the left column and the right column, respectively. To do.
  • transfer control line (TRG line) for selecting the pixel 100 in the pixel unit 200 sharing the floating diffusion region (FD) 111 also needs to be controlled independently for the left column and the right column, so that the selection is made. As with the control line (SEL line), prepare for the left column and the right column, respectively.
  • TRG lines transfer control lines of TRG_EVN_T, TRG_EVN_B, TRG_EVN_ZAF, TRG_ODD_T, TRG_ODD_B, and TRG_ODD_ZAF are prepared.
  • the transfer control line and the selection control line can be summarized as follows.
  • TRG signal A drive signal (TRG signal) for transfer control (TRG control) of the pixel 100 in the top side pixel unit 200 in the left column is applied (output) to TRG_EVN_T.
  • TRG_EVN_B A drive signal for transfer control of the pixel 100 in the bottom side pixel unit 200 in the left column is applied to TRG_EVN_B.
  • a drive signal for transfer control of the pixel 100 in the top pixel unit 200 in the right column is applied to TRG_ODD_T.
  • a drive signal for transfer control of the pixel 100 in the bottom side pixel unit 200 in the right column is applied to TRG_ODD_B.
  • a drive signal for transfer control of the pixel 100 adjacent to the phase difference pixels 100L and 100R in the left column is applied to TRG_EVN_ZAF.
  • a drive signal for transfer control of the pixels 100 adjacent to the phase difference pixels 100L and 100R in the right column is applied to TRG_ODD_ZAF.
  • the input signal of RSELQBINSF is required to be fixed at a low level when reading the uncountable floating diffusion region (FD) 111 by the drive control described above, for example.
  • the input signal of RSELQBINSF is required to be fixed at a low level when reading the uncountable floating diffusion region (FD) 111 by the drive control described above, for example.
  • the transfer control line (TRG_EVN_B, TRG_EVN_T, TRG_EVN_ZAF, TRG_ODD_B, TRG_ODD_T, TRG_ODD_ZAF) and the selection control line (SEL_EVN, SELQBINSF_EVN, SEL_ODD, SELGBINSF_ODD) , SEL signal) so that the retardation pixels 100L and 100R, which cause defects in the captured image, are thinned out at a certain cycle so as not to become too dense.
  • the center of gravity of the pixels after H2V2 addition is aligned. Therefore, the defect density can be suppressed while keeping the color center of gravity in the center.
  • the thinning method is as described in the drive control described above.
  • the above-mentioned drive control can be realized at a high frame rate and with a smaller number of vertical signal lines (VSL), and further, phase difference pixels in the captured image. It is possible to control the point defect density derived from. Further, the pixel signal can be read out in a predetermined pixel unit such as 2 ⁇ 2 pixels.
  • H2V2 addition is an example of horizontal / vertical addition, and is not limited to addition of two pixels in the horizontal direction and two pixels in the vertical direction, and a pixel signal of a predetermined pixel in the horizontal direction and a predetermined pixel in the vertical direction. Any one can be used as long as it adds the pixel signal horizontally and vertically.
  • a configuration in which a plurality of pixels 100 (including a pixel unit 200) two-dimensionally arranged in the pixel array unit 11 include retardation pixels 100L and 100R.
  • the phase difference pixels 100L and 100R are partially added when the pixel signal of the predetermined pixel 100 in the horizontal direction and the pixel signal of the predetermined pixel 100 in the vertical direction are added horizontally and vertically.
  • the same exposure signal is analog-added while maintaining the same shutter control as the current 3-exposure HDR.
  • the phase difference information deteriorates due to the addition of the phase difference pixels and the normal pixels, and the position is changed.
  • the density of pixels affected by the phase difference pixels increases, and there is a concern that the image quality will be adversely affected by the correction.
  • the deterioration of the phase difference information and the deterioration of the image quality are suppressed by performing the drive control of the double-tracked selection control line described above.
  • Patent Document 1 discloses an addition method for realizing phase difference detection and HDR at the time of full-scale phase difference detection, but a method of selectively adding embedded type phase difference pixels is described. , Not to mention disclosure, no suggestion.
  • Patent Document 2 discloses that the phase difference pixels are arranged in accordance with the addition method, the addition is performed by wiring and drive control of the selection control line as in the technique according to the present disclosure. No disclosure or suggestion has been made regarding the configuration for selecting pixels.
  • FIG. 19 is a block diagram showing a configuration example of an electronic device having a solid-state image sensor to which the technique according to the present disclosure is applied.
  • the electronic device 1000 is, for example, an electronic device having an imaging function such as an imaging device such as a digital still camera or a video camera, or a mobile terminal device such as a smartphone or a tablet terminal.
  • an imaging function such as an imaging device such as a digital still camera or a video camera
  • a mobile terminal device such as a smartphone or a tablet terminal.
  • the electronic device 1000 includes a lens unit 1011, an imaging unit 1012, a signal processing unit 1013, a control unit 1014, a display unit 1015, a recording unit 1016, an operation unit 1017, a communication unit 1018, a power supply unit 1019, and a drive unit 1020. ..
  • the signal processing unit 1013, the control unit 1014, the display unit 1015, the recording unit 1016, the operation unit 1017, the communication unit 1018, and the power supply unit 1019 are connected to each other via the bus 1021.
  • the lens unit 1011 is composed of a zoom lens, a focus lens, and the like, and collects light from the subject.
  • the light (subject light) focused by the lens unit 1011 is incident on the imaging unit 1012.
  • the image pickup unit 1012 includes a solid-state image pickup device (for example, the solid-state image pickup device 10 in FIG. 1) to which the technique according to the present disclosure is applied.
  • the imaging unit 1012 photoelectrically converts the light (subject light) received by the solid-state imaging device through the lens unit 1011 into an electric signal, and supplies the resulting signal to the signal processing unit 1013.
  • pixels normal pixels that generate a signal for generating an captured image according to the subject light as a plurality of pixels regularly arranged in a predetermined arrangement pattern.
  • a pixel phase difference pixel that generates a signal for performing phase difference detection.
  • the normal pixels are R pixel 100 (R pixel unit 200), G pixel 100 (G pixel unit 200), and B pixel 100 (B pixel unit 200).
  • the phase difference pixels correspond to the phase difference pixels 100L and 100R and the light-shielding pixels 100L and 100R.
  • the signal processing unit 1013 is a signal processing circuit that processes the signal supplied from the imaging unit 1012.
  • the signal processing unit 1013 is configured as a DSP (Digital Signal Processor) circuit or the like.
  • the signal processing unit 1013 processes the signal from the imaging unit 1012 to generate image data of a still image or a moving image, and supplies the image data to the display unit 1015 or the recording unit 1016. Further, the signal processing unit 1013 generates data for detecting the phase difference (data for phase difference detection) based on the signal from the imaging unit 1012 (phase difference pixel of the image sensor) and supplies the data to the control unit 1014. ..
  • the control unit 1014 is configured as, for example, a CPU (Central Processing Unit) or a microprocessor.
  • the control unit 1014 controls the operation of each unit of the electronic device 1000.
  • the display unit 1015 is configured as a display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the display unit 1015 processes the image data supplied from the signal processing unit 1013, and displays a still image or a moving image captured by the imaging unit 1012.
  • the recording unit 1016 is configured as a recording medium such as a semiconductor memory or a hard disk, for example.
  • the recording unit 1016 records the image data supplied from the signal processing unit 1013. Further, the recording unit 1016 provides recorded image data according to the control from the control unit 1014.
  • the operation unit 1017 is configured as a touch panel in combination with the display unit 1015 in addition to the physical buttons, for example.
  • the operation unit 1017 outputs operation commands for various functions of the electronic device 1000 in response to an operation by the user.
  • the control unit 1014 controls the operation of each unit based on the operation command supplied from the operation unit 1017.
  • the communication unit 1018 is configured as, for example, a communication interface circuit or the like.
  • the communication unit 1018 exchanges data with an external device by wireless communication or wired communication in accordance with a predetermined communication standard.
  • the power supply unit 1019 appropriately supplies various power sources serving as operating power sources for the signal processing unit 1013, the control unit 1014, the display unit 1015, the recording unit 1016, the operation unit 1017, and the communication unit 1018 to these supply targets. ..
  • control unit 1014 detects the phase difference between the two images based on the phase difference detection data supplied from the signal processing unit 1013. Then, the control unit 1014 determines whether or not the object to be focused (the object to be focused) is in focus based on the detection result of the phase difference. When the in-focus object is out of focus, the control unit 1014 calculates the amount of defocus (defocus amount) and supplies it to the drive unit 1020.
  • the drive unit 1020 drives the lens unit 1011 which is composed of, for example, a motor or the like and is composed of a zoom lens, a focus lens, or the like.
  • the drive unit 1020 calculates the drive amount of the focus lens of the lens unit 1011 based on the defocus amount supplied from the control unit 1014, and moves the focus lens according to the drive amount. When the object to be focused is in focus, the drive unit 1020 maintains the current position of the focus lens.
  • the electronic device 1000 is configured as described above.
  • FIG. 20 is a diagram showing a usage example of a solid-state image sensor to which the technique according to the present disclosure is applied.
  • the solid-state image sensor 10 can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray, as shown below. That is, as shown in FIG. 20, not only the field of appreciation for taking an image to be used for appreciation, but also, for example, the field of transportation, the field of home appliances, the field of medical / healthcare, the field of security, and the field of beauty.
  • the solid-state imaging device 10 can also be used in devices used in the fields of fields, sports, agriculture, and the like.
  • the solid-state imaging device 10 can be used.
  • the solid-state imaging device 10 can be used as a device used for traffic such as a surveillance camera and a distance measuring sensor for measuring distance between vehicles.
  • a device used for home appliances such as a television receiver, a refrigerator, and an air conditioner in order to photograph a user's gesture and operate the device according to the gesture.
  • the solid-state image sensor 10 is used in a device used for medical care or healthcare, such as an endoscope or a device for performing angiography by receiving infrared light. can do.
  • the solid-state image sensor 10 can be used in a device used for security such as a surveillance camera for crime prevention and a camera for personal authentication. Further, in the field of cosmetology, the solid-state image sensor 10 can be used in a device used for cosmetology, such as a skin measuring device for photographing the skin and a microscope for photographing the scalp.
  • the solid-state image sensor 10 can be used in a device used for sports, such as an action camera or a wearable camera for sports applications. Further, in the field of agriculture, the solid-state image sensor 10 can be used in a device used for agriculture, such as a camera for monitoring the state of a field or a crop.
  • the technology related to this disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 21 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 22 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 22 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the solid-state image sensor 10 can be applied to the image pickup units 12101 to 12105.
  • the technique according to the present disclosure to the imaging unit 12031, for example, deterioration of phase difference information and deterioration of image quality can be suppressed, so that visibility is improved and people, vehicles, and obstacles are more accurately determined. Can recognize objects such as objects, signs or letters on the road surface.
  • FIG. 23 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 23 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processes on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light to the endoscope 11100 when photographing an operating part or the like.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-divided manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to support each of RGB. It is also possible to capture the image in a time-divided manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity to acquire an image in time division and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the mucosal surface layer.
  • a so-called narrow band imaging is performed in which a predetermined tissue such as a blood vessel is photographed with high contrast.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating with excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 24 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG. 23.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicably connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image pickup unit 11402 is composed of an image pickup element.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the image pickup unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and the focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Auto White Balance
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape and color of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the operation support information and presenting it to the operator 11131, it is possible to reduce the burden on the operator 11131 and to allow the operator 11131 to proceed with the operation reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electrical signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication was performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the endoscope 11100 among the configurations described above.
  • the solid-state image sensor 10 can be applied to the image pickup unit 11402 of the camera head 11102.
  • the technique according to the present disclosure to the imaging unit 11402, for example, deterioration of phase difference information and deterioration of image quality can be suppressed, and a clearer surgical site image can be obtained, so that the operator can perform the surgical site. It will be possible to confirm with certainty.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the technology according to the present disclosure can have the following configuration.
  • a pixel array unit in which a plurality of pixels are arranged two-dimensionally is provided.
  • the plurality of pixels include a phase difference pixel for phase difference detection.
  • the pixel array portion has an array pattern in which pixel portions including pixels of the same color in the vicinity are regularly arranged.
  • a solid-state imaging device that partially de-adds the phase difference pixels when horizontally and vertically adding the pixel signals of a predetermined pixel in the horizontal direction and the pixel signals of a predetermined pixel in the vertical direction when reading out the plurality of pixels. ..
  • the density of the retardation pixels after the horizontal and vertical addition is the same or the same density as or lower than the density of the retardation pixels before the horizontal and vertical addition, according to the above (1).
  • a plurality of selection control lines for selecting a connection from a floating diffusion region formed for each of a plurality of pixel portions in the vertical direction to a vertical signal line are provided in the horizontal direction.
  • the solid-state image sensor according to (1) or (2) above which controls the driving of a plurality of selection control lines at the time of the horizontal / vertical addition.
  • the exposure time of the pixels included in the pixel portion is adjusted for each pixel.
  • HDR High Dynamic Range
  • the phase difference pixel including any of a plurality of photoelectric conversion elements formed for one on-chip lens is adjacent pixels of the same color and included in adjacent different pixel portions.
  • the pixel portion is composed of 4 pixels of 2 ⁇ 2.
  • the phase difference pixel is composed of a first phase difference pixel and a second phase difference pixel as 2 ⁇ 1 two pixels included in the pixel portions adjacent to the left and right respectively.
  • the pixels included in the pixel portion all the pixels of the same color have the same exposure time.
  • the phase difference pixel including any of a plurality of photoelectric conversion elements formed for one on-chip lens is adjacent pixels of the same color and included in adjacent different pixel portions.
  • the solid-state imaging device according to (8) above. (10) The pixel portion is composed of 4 pixels of 2 ⁇ 2.
  • phase difference pixel is composed of a first phase difference pixel and a second phase difference pixel as 2 ⁇ 1 two pixels included in the pixel portions adjacent to the left and right respectively.
  • apparatus (11)
  • the solid-state imaging device which controls the driving of a plurality of selection control lines. (13) At the time of horizontal-vertical addition in which a predetermined two-pixel pixel signal in the horizontal direction and a pixel signal of two pixels in the vertical direction are added, the pixel signal of the pixel included in the pixel portion including a specific phase difference pixel and the pixel signal of the pixel portion.
  • the solid-state imaging device according to (3) or (12) above, which controls the driving of a plurality of selection control lines so that the pixel signals of normal pixels included in the diagonal pixel portions are not added.
  • a plurality of selection controls so as to add the pixel signals of the pixels of the pixel portion including only the normal pixels at the time of horizontal-vertical addition in which the pixel signal of a predetermined two pixels in the horizontal direction and the pixel signal of two pixels in the vertical direction are added.
  • Certain stray diffusion regions are connected to a common vertical signal line,
  • each of the pixel portions sharing a specific floating diffusion region is arranged in the same row in the horizontal direction and includes pixels of the same color.
  • a pixel array unit in which a plurality of pixels are arranged two-dimensionally is provided.
  • the plurality of pixels include a phase difference pixel for phase difference detection.
  • the pixel array portion has an array pattern in which pixel portions including pixels of the same color in the vicinity are regularly arranged.
  • a solid-state image sensor provided with a plurality of selection control lines in the horizontal direction for selecting a connection from a floating diffusion region formed for each of a plurality of pixel portions in the vertical direction to a vertical signal line.
  • the exposure time of the pixels included in the pixel portion is adjusted for each pixel.
  • HDR is obtained by synthesizing pixel signals of the same color and different exposure times obtained by horizontally and vertically adding the pixel signals of predetermined pixels in the horizontal direction and the pixel signals of predetermined pixels in the vertical direction.
  • the solid-state imaging device according to (17) above, wherein the signal is generated.
  • As for the pixels included in the pixel portion all the pixels of the same color have the same exposure time.
  • a pixel array unit in which a plurality of pixels are arranged two-dimensionally is provided.
  • the plurality of pixels include a phase difference pixel for phase difference detection.
  • the pixel array portion has an array pattern in which pixel portions including pixels of the same color in the vicinity are regularly arranged.
  • a solid-state imaging device that partially de-adds the phase difference pixels when horizontally and vertically adding the pixel signals of a predetermined pixel in the horizontal direction and the pixel signals of a predetermined pixel in the vertical direction when reading out the plurality of pixels.
  • 10 solid-state image sensor 11 pixel array unit, 12 vertical drive circuit, 111 floating diffusion region (FD), 121 pixel drive line, 122, 122-1, 122-2, 122-3 selection control line, 131 vertical signal line ( VSL), 100 pixels, 200, 200A, 200B pixel unit, 1000 electronic devices, 1012 image sensor, 1014 control unit, 1020 drive unit, 12031 image sensor, 11402 image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本開示は、位相差情報の劣化を抑制することができるようにする固体撮像装置、及び電子機器に関する。 複数の画素が2次元状に配列された画素アレイ部を備え、複数の画素は、位相差検出用の位相差画素を含み、画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、位相差画素を部分的に非加算にする固体撮像装置が提供される。本開示は、例えば、位相差画素を有するCMOSイメージセンサに適用することができる。

Description

固体撮像装置、及び電子機器
 本開示は、固体撮像装置、及び電子機器に関し、特に、位相差情報の劣化を抑制することができるようにした固体撮像装置、及び電子機器に関する。
 近年、オートフォーカスの速度向上を図るために、位相差検出用の画素(以下、位相差画素という)を配置した固体撮像装置が使用されている。
 この種の位相差画素の構成としては、特許文献1,2に開示されている技術が知られている。
特開2017-216647号公報 特開2011-250325号公報
 ところで、画素アレイ部に2次元状に配列される複数の画素に、位相差画素を含めた構成を用いる場合には、位相差情報の劣化を抑制することが求められる。
 本開示はこのような状況に鑑みてなされたものであり、位相差情報の劣化を抑制することができるようにするものである。
 本開示の一側面の固体撮像装置は、複数の画素が2次元状に配列された画素アレイ部を備え、前記複数の画素は、位相差検出用の位相差画素を含み、前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、前記複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、前記位相差画素を部分的に非加算にする固体撮像装置である。
 本開示の一側面の電子機器は、複数の画素が2次元状に配列された画素アレイ部を備え、前記複数の画素は、位相差検出用の位相差画素を含み、前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、前記複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、前記位相差画素を部分的に非加算にする固体撮像装置を搭載した電子機器である。
 本開示の一側面の固体撮像装置、及び電子機器においては、複数の画素が2次元状に配列された画素アレイ部を備え、前記複数の画素は、位相差検出用の位相差画素を含み、前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有している。また、前記複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、前記位相差画素が部分的に非加算にされる。
 本開示の一側面の固体撮像装置は、複数の画素が2次元状に配列された画素アレイ部を備え、前記複数の画素は、位相差検出用の位相差画素を含み、前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、垂直方向の複数の画素部ごとに形成される浮遊拡散領域から垂直信号線への接続を選択するための選択制御線を水平方向に複数設けている固体撮像装置である。
 本開示の一側面の固体撮像装置においては、複数の画素が2次元状に配列された画素アレイ部を備え、前記複数の画素は、位相差検出用の位相差画素を含み、前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有している。また、垂直方向の複数の画素部ごとに形成される浮遊拡散領域から垂直信号線への接続を選択するための選択制御線が水平方向に複数設けてられている。
 本開示の一側面の固体撮像装置、又は電子機器は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本開示に係る技術を適用した固体撮像装置の構成の例を示すブロック図である。 画素アレイ部に配列される複数の画素の平面レイアウトを示す図である。 3露光HDR・H2V2加算方式における読み出し駆動の例を示す図である。 全領域を一律でH2V2加算したときの状態を模式的に表した図である。 H2V2加算を行うに際して位相差画素を間引いたときの状態を模式的に表した図である。 選択制御線を複線化した構成の例を示す図である。 3露光HDR・H2V2加算方式で2本の選択制御線を用いた駆動制御の例を示す図である。 3露光HDR・H2V2加算方式で2本の選択制御線を用いた駆動制御の例を示す図である。 近傍隣接4画素加算・H2V2加算方式における読み出し駆動の例を示す図である。 近傍隣接4画素加算・H2V2加算方式で2本の選択制御線を用いた駆動制御の例を示す図である。 近傍隣接4画素加算・H2V2加算方式を用いた場合の画素の駆動動作を示す図である。 近傍隣接4画素加算・H2V2加算方式を用いた場合の画素の駆動動作を示す図である。 選択制御線を複線化した構成の他の例を示す図である。 選択制御線と読み出し駆動の対応を示す図である。 読み出し駆動の例を示す図である。 遮光画素の構成の例を示す図である。 画素アレイ部に配置される画素部の読み出し駆動の他の例を示す図である。 画素アレイ部に配置される画素部の読み出し駆動の他の例を示す拡大図である。 本開示に係る技術を適用した固体撮像装置を搭載した電子機器の構成の例を示すブロック図である。 本開示に係る技術を適用した固体撮像装置の使用例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。
 以下、図面を参照しながら本開示に係る技術(本技術)の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.第1の実施の形態
2.第2の実施の形態
3.変形例
4.電子機器の構成
5.固体撮像装置の使用例
6.移動体への応用例
7.内視鏡手術システムへの応用例
<1.第1の実施の形態>
(固体撮像装置の構成例)
 図1は、本開示に係る技術を適用した固体撮像装置の一実施の形態の構成例を示すブロック図である。
 図1の固体撮像装置10は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサから構成される。固体撮像装置10は、光学レンズ系(不図示)を介して被写体からの入射光(像光)を取り込んで、撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
 図1において、固体撮像装置10は、画素アレイ部11、垂直駆動回路12、カラム信号処理回路13、水平駆動回路14、出力回路15、制御回路16、及び入出力端子17を含んで構成される。
 画素アレイ部11には、複数の画素部200が2次元状(行列状)に配列される。画素部200は、同色の4つの画素100(2×2の4画素)から構成される。
 各画素部200は、同色の4つの画素100として、赤(R)成分、緑(G)成分、又は青(B)成分の波長の光を透過するカラーフィルタに応じた、赤(R)の画素、緑(G)の画素、又は青(B)の画素から構成される。また、画素部200は、同色の4つの画素100により画素回路が共有された共有画素として構成される。
 画素部200において、同色の各画素100は、光電変換素子としてのフォトダイオード(PD)と、転送トランジスタTR-Trをそれぞれ有して構成される。また、画素部200においては、同色の4つの画素100によって、画素回路としてのリセットトランジスタRST-Tr,増幅トランジスタAMP-Tr,及び選択トランジスタSEL-Trが共有されている。
 なお、詳細は後述するが、画素アレイ部11には、画素部200に含まれる画素100として、位相差検出用の画素(以下、位相差画素という)が散在して(繰り返しパターンで)配置されている。
 垂直駆動回路12は、シフトレジスタ等によって構成され、所定の画素駆動線121を選択して、選択された画素駆動線121に画素100又は画素部200を駆動するための駆動信号(パルス)を供給し、行単位で画素100又は画素部200を駆動する。
 すなわち、垂直駆動回路12は、画素アレイ部11の各画素100又は各画素部200を行単位で順次垂直方向に選択走査し、各画素100のフォトダイオードにおいて受光量に応じて生成された電荷(信号電荷)に基づく画素信号を、垂直信号線131を通してカラム信号処理回路13に供給する。
 カラム信号処理回路13は、画素部200の列ごとに配置されており、1行分の画素部200から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。例えば、カラム信号処理回路13は、画素固有の固定パターンノイズを除去するための相関二重サンプリング(CDS:Correlated Double Sampling)、及びAD(Analog Digital)変換等の信号処理を行う。
 水平駆動回路14は、シフトレジスタ等によって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路13の各々を順番に選択し、カラム信号処理回路13の各々から画素信号を水平信号線141に出力させる。
 出力回路15は、カラム信号処理回路13の各々から水平信号線141を通して順次に供給される信号に対し、信号処理を行って出力する。なお、出力回路15は、例えば、バッファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。
 制御回路16は、固体撮像装置10の各部の動作を制御する。
 また、制御回路16は、垂直同期信号、水平同期信号、及びマスタクロック信号に基づいて、垂直駆動回路12、カラム信号処理回路13、及び水平駆動回路14などの動作の基準となるクロック信号や制御信号を生成する。制御回路16は、生成したクロック信号や制御信号を、垂直駆動回路12、カラム信号処理回路13、及び水平駆動回路14などに出力する。
 入出力端子17は、外部と信号のやりとりを行う。
 以上のように構成される、図1の固体撮像装置10は、CDS処理、及びAD変換処理を行うカラム信号処理回路13が画素列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサとされる。また、図1の固体撮像装置10は、裏面照射型のCMOSイメージセンサ等とすることができる。
(画素の平面レイアウト)
 図2は、図1の画素アレイ部11に2次元状に配列される複数の画素100のうち、光の入射側から見て、所定の領域に配列される32行32列の画素100を例示している。
 以下の説明では、カラーフィルタとして、赤(R)成分の波長の光を透過するカラーフィルタが設けられ、このRカラーフィルタを透過した光から、赤(R)成分の光に対応した電荷が得られる画素を、R画素100と表記する。R画素100には、右上がり対角線のパターンが付されており、隣接する4画素でR画素部200Aを構成する。
 また、図中の右下の枠内に示すように、R画素部200Aは、4つのR画素100ごとに、露光時間が調整される。ここでは、T1, T2, T3(T1 > T2 > T3)の3段階で露光時間が調整され、T1を長蓄の露光時間、T2を中蓄の露光時間、T3を短蓄の露光時間と称する。
 R画素部200Aにおいては、4画素のうち、左上が長蓄のR画素100となり、右上と左下が中蓄のR画素100となり、右下が短蓄のR画素100となる。
 また、緑(G)成分の波長の光を透過するカラーフィルタを透過した光から、緑(G)成分の光に対応した電荷が得られる画素を、G画素100と表記する。G画素100には、ドットのパターンが付され、隣接する4画素でG画素部200Aを構成する。
 G画素部200Aは、R画素部200Aと同様に、3段階で露光時間が調整され、4画素のうち、左上が長蓄のG画素100となり、右上と左下が中蓄のG画素100となり、右下が短蓄のG画素100となる。
 さらに、青(B)成分の波長の光を透過するカラーフィルタを透過した光から、青(B)成分の光に対応した電荷が得られる画素を、B画素100と表記する。B画素100には、右下がり対角線のパターンが付されており、隣接する4画素でB画素部200Aを構成する。
 B画素部200Aは、R画素部200Aと同様に、3段階で露光時間が調整され、4画素のうち、左上が長蓄のB画素100となり、右上と左下が中蓄のB画素100となり、右下が短蓄のB画素100となる。
 ここで、図2の画素アレイ部11において、R画素部200A、G画素部200A、及びB画素部200Aに注目すれば、それらの画素部200Aが規則的に配列され、ベイヤー配列となる。
 換言すれば、ここでは、ベイヤー配列の画素のそれぞれを、2×2画素に分割して同色の4画素から構成しているとも言える。なお、ベイヤー配列とは、G画素が市松状に配され、残った部分に、R画素とB画素とが一列ごとに交互に配される配列パターンである。
 また、図2の画素アレイ部11では、所定の規則に従い、位相差画素100Lと位相差画素100Rの組が配置される。
 ここでは、位相差画素100L,100Rの組としての水平方向の左右の2画素(2×1画素)に対して、1つのオンチップレンズ(OCL:On Chip Lens)を設けた構造(2×1OCL構造)となる。つまり、1つのオンチップレンズに対し、フォトダイオード等の光電変換素子を複数埋め込んだ構造となっている。以下、2×1OCL構造を有する画素を、2×1OCL画素ともいう。
 このとき、R,G,B画素部200Aを構成する4画素は、水平方向に配置される2画素の露光時間が異なるため、これらの2画素(2×1画素)に対して1つのオンチップレンズを設けることは、位相差画素の特性的に困難とされる。
 そのため、ここでは、左右に隣接した画素部200Aを跨いでオンチップレンズを配置し、当該オンチップレンズに対して形成された2つの光電変換素子のいずれか一方を含んでいる、左右に隣接した画素100が、同一の色のカラーフィルタを有し、かつ、同一の露光時間となるようにする。このような構造を用いることで、水平方向の2画素(2×1画素)に対して1つのオンチップレンズを設けることが可能となる。
 例えば、隣接するB画素部200AとG画素部200Aで、B画素部200Aの右下のB画素100の光電変換素子と、G画素部200Aの左下のG画素100の光電変換素子に対して、1つのオンチップレンズを設けるに際して、次に示すような構造となるようにする。
 すなわち、製造時に、当該B画素部200Aの右下のB画素100のカラーフィルタを、Bカラーフィルタではなく、Gカラーフィルタとして、G画素100として構成する。また、当該B画素100は、短蓄画素(S)であったが、露光時間を、中蓄の露光時間に変更して、中蓄画素(M)としている。
 これにより、隣接するB画素部200Aの右下のG画素100と、G画素部200Aの左下のG画素100に対し、1つのオンチップレンズが設けられ、水平方向に隣接したこれらのG画素100は、同一のGカラーフィルタを有し、かつ、同一の中蓄の露光時間となる。
 そのため、B画素部200Aの右下のG画素100を、位相差画素100Lとし、G画素部200Aの左下のG画素100を、位相差画素100Rとして構成し、これらの位相差画素100L,100Rの組から得られる画素信号に基づき、2つの画像の位相差を検出可能となる。
 なお、位相差画素100Lを含むB画素部200Aでは、右下のB画素100を、G画素100に変更すると、短蓄画素(S)が存在しなくなるが、左下のB画素100を、B画素100に変更することで、4画素に、長蓄画素(L)及び中蓄画素(M)とともに、短蓄画素(S)を含むようにする。
 このようにして、図2の画素アレイ部11では、隣接するB画素部200AとG画素部200Aに含まれる位相差画素100Lと位相差画素100Rの組が、水平方向と垂直方向の所定の画素間隔で、規則的に配列されている。
(3露光HDR・H2V2加算方式)
 図3は、図2の画素アレイ部11にベイヤー配列で配置される画素部200Aの読み出し駆動として、3露光HDR・H2V2加算方式を実施したときを模式的に表している。
 この3露光HDR・H2V2加算方式を用いた場合、まず、H2V2加算が実施される。H2V2加算では、同色で、かつ、同露光の画素100からの画素信号を、水平方向の2画素と垂直方向の2画素で加算(H2V2加算)する(図3のA)。
 具体的には、R画素部200Aの左上のR画素100の画素信号を4画素分加算し、図3のAの4つの矩形枠301Rごとに、その頂点の黒丸に応じた4つのR画素100の画素信号を加算した加算信号が得られる(図3のB)。
 同様に、R画素部200Aの残りの3画素と、G画素部200Aの4画素とB画素部200Aの4画素についてもH2V2加算されることで、同色で、かつ、同露光の画素100について加算信号が得られる(図3のB)。
 そして、H2V2加算に続いて、3露光HDRが実施される。すなわち、H2V2加算(アナログ加算)で得られる画素信号は、R,G,Bの色ごとに、長蓄画素(L)、中蓄画素(M)、及び短蓄画素(S)からの画素信号を含むため、3露光HDRでは、それらの露光時間の異なる画素信号を選択又は合成することで、HDR(High Dynamic Range)の画素信号が得られる(図3のC)。
 この3露光HDRは、同色画素内に3種類の露光時間の異なる画素を配置し、この3種類の画素の中から適正露光の信号を選択又は合成することで、ダイナミックレンジを拡張する技術である。
 また、図2の画素配列では、B画素部200AとG画素部200Aを跨がるかたちで1つのオンチップレンズを形成して、位相差画素100L,100Rの組を配置することで、位相差検出を行っている。
 ここで、この画素配列に対して、同色で、かつ、同露光の最近傍画素100を、H2V2加算するに際して、全領域を一律に加算した場合を想定すると、多くの通常画素が位相差画素と加算される(図4のA)。
 そのため、図4のBのH2V2加算後を模式的に表した画素配列となり、図4のAのH2V2加算前を模式的に表した画素配列と比べれば、画素配列(の全領域)に含まれる画素に占める位相差画素100L,100Rの密度が高くなる。一方で、通常画素と位相差画素の信号が混じってしまうため、位相差検出が困難になる。
 そこで、本開示に係る技術では、水平垂直加算(H2V2加算)を行う際に、位相差画素100L,100Rを間引いて、水平垂直加算の後の位相差画素の密度が、水平垂直加算の前の位相差画素の密度と比べて、同一若しくは同程度の密度、又はより少ない密度とすることで、位相差画素100L,100Rの密度が高くなりすぎないようにする(図5のB)。
 すなわち、図3のAに示したH2V2加算を行うに際して、選択される4画素のうち、1つでも位相差画素が含まれる場合に、一部の画素では位相差画素のみを選択して加算し、あるいは、他の一部の画素では、位相差画素を除いた通常画素同士のみを選択して加算する。
 これにより、位相差画素の密度の調整と位相差信号の劣化を防ぐことが可能となる。また、水平垂直加算の前後の位相差画素の密度を、同一若しくは同程度の密度となるように制御することで、同一の信号処理パイプラインを共通とすることができる。
 ここでは、3パターンの加算方法を例示する。
 第1のパターンとしては、H2V2加算時において、位相差画素(2×1OCL画素)を残すパターンである。ここでは、位相差画素を残すため、それ以外の通常画素(12画素の通常画素)の画素信号を垂直信号線131に転送しない(VSL転送をしない)ようにして排除する。
 以下、この第1のパターンの加算方法の制御で、H2V2加算の対象の同色の4つの画素部200Aのうち、位相差画素を含む画素部200Aを除いた3つの画素部200A(12画素の通常画素)は、VSL転送されず非加算となるため、「非加算の画素部」と称する。
 第2のパターンとしては、H2V2加算時において、位相差画素(2×1OCL画素)を捨てるパターンである。つまり、RAW画素に対する位相差画素の補正回路の制約などのため、位相差画素の密度を適切に排除する。
 この場合、位相差画素を含む画素部200Aと、その対角に存在する画素部200AをVSL転送しないことで排除する。ここでは、前者の画素部200Aは、位相差画素を含むため、「位相差画素捨ての画素部」と称し、その対角の画素部200Aは、「道連れの画素部」と称する。
 なお、位相差画素を含む画素部200Aの対角に存在する画素部200A、すなわち、「位相差画素捨ての画素部」の対角の「道連れの画素部」を排除する理由は、H2V2加算後の画素の重心を揃える目的である。
 第3のパターンとしては、4つの画素部200A(16画素の通常画素)を加算するパターンである。つまり、ここでは、通常のH2V2加算が行われるため、16画素の通常画素がVSL転送される。
 上記の3パターンのVSL転送のオン/オフを制御するためには、垂直信号線131と浮遊拡散領域(FD:Floating Diffusion)の接続を制御するための選択制御線(SEL線)を複線化して、駆動制御を行う。
 具体的には、図6に示すように、垂直信号線(VSL)131と浮遊拡散領域(FD)111の接続を制御するための1本の選択制御線(SEL)122(図6のA)を、2本の選択制御線(SEL)122-1,122-2(図6のB)に複線化することで、上記の3パターンに応じたVSL転送のオン/オフを制御する。
 なお、選択制御線122-1,122-2は、画素駆動線121(図1)に含まれ、垂直駆動回路12若しくは制御回路16又は外部の制御装置(不図示)からの駆動信号が印加される。そして、選択制御線122-1,122-2に接続された選択トランジスタSEL-Trが、駆動信号に従って動作することで、VSL転送のオン/オフが制御される。
 具体的には、H2V2加算の実施に際して、図7に示すように、図中の白い四角で表される位相差画素(2×1OCL画素)のうち、枠210で囲まれた位相差画素(100L,100R)の組を残し、他の位相差画素(2×1OCL画素)は捨てる場合を想定する。
 この場合において、図中の記号(円に斜線が入った記号)が付された位置でのVSL転送がオフになるように、選択制御線122-1,122-2の駆動を制御することで、枠210内の位相差画素のみを残すことができる。
 すなわち、図8に示すように、図中の「1」は、第1のパターンの加算方法の制御が行われることを表し、枠210内の位相差画素を残すが、位相差画素を含む画素部200Aを除いた3つの画素部200A(12画素の通常画素)は、VSL転送されず非加算となる。つまり、図中の「C」は、「非加算の画素部」となる。
 なお、ここでの位相差画素は、選択制御線112-1,112-2の駆動制御によって、画素単位で選択される。また、図7,図8において、転送制御線(TRG線)には駆動信号が印加され、画素部200A内の画素100が選択される。
 また、図8において、図中の「2」は、第2のパターンの加算方法の制御が行われることを表し、位相差画素を含む画素部200Aを読み出さずに、さらに、その対角に位置する画素部200Aも読み出さない。つまり、図中の「A」は、「位相差画素捨ての画素部」となり、図中の「B」は、「道連れの画素部」となり、これらの画素部は共に非加算とされる。
 さらに、図8において、図中の「3」は、第3のパターンの加算方法の制御が行われることを表し、4つの画素部200A(16画素の通常画素)では、通常のH2V2加算が行われる。
 このように、選択制御線(SEL線)を複線化してVSL転送のオン/オフを制御し、第1のパターンないし第3のパターンの加算方法の制御を実現することで、位相差画素の密度を減らしつつ、位相差画素と通常画素とが加算されないようにすることができる。
 また、本開示に係る技術では、選択制御線(SEL線)を2本用意して、浮遊拡散領域(FD)111ごとに、選択制御線の接続を変えて、選択制御線122-1,122-2に印加される駆動信号を制御することで、垂直信号線(VSL)131での信号レベルの平均化を回避している。なお、通常、選択制御線は1本であり、垂直方向に2つの浮遊拡散領域(FD)111が、同一の垂直信号線(VSL)131に接続されるため、垂直信号線(VSL)131で信号レベルが平均化されている。
 なお、ここでは、比較器151を含むAD変換器を2列搭載した構成を例示したが、その他の構成を用いた場合でも同様の考え方により、3露光HDR・H2V2加算方式を用いた場合のH2V2加算時において、高い位相差検出性能と画質を実現することができる。
 ここで、低消費電力の駆動を実現するに際して、実装上、3つの要件を満たすことが望ましい。
 第1の要件は、現状で使用している既存の欠陥画素回路で対応可能なことである。すなわち、この第1の要件を満たせない場合には、既存の欠陥画素回路に対策回路を新たに実装する必要があり、回路規模の増大につながるか、あるいは歩留まりが低下してしまう。
 これに関して、本開示に係る技術では、H2V2加算に乗じて、2本の選択制御線に印加する駆動信号を制御して、位相差画素100L,100Rの密度(2×1OCLの画素の密度)を減らしているため、既存の欠陥画素回路で対応可能であり、第1の要件を満たしている。
 第2の要件は、必要な位相差画素100L,100R(2×1OCLの画素)を単独で残して、像面位相差AF(PDAF:Phase Detection Auto Focus)を実施できることである。
 これに関して、本開示に係る技術では、2本の選択制御線に印加する駆動信号を制御して、加算画素の取捨選択を実施することで、像面位相差AFで使用する位相差画素100L,100R(2×1OCLの画素)を、加算せずに単独の画素として残し、その他の周辺画素については複数画素の加算を行うことが可能であり、第2の要件を満たしている。
 第3の要件は、アナログ加算した後に、重心位置が合うことである。
 これに関して、本開示に係る技術では、H2V2加算による画素加算で、より低消費電力の読み出し駆動を実現するが、2本の選択制御線に印加する駆動信号を制御して、加算後に重心が揃うような加算画素の取捨選択を行い(「位相差画素捨ての画素部」に対する「道連れの画素部」等)、加算画素における重心ずれ補正を駆動に盛り込むことが可能であり、第3の要件を満たしている。
 このように、通常は選択制御線が1本となるところ、本開示に係る技術では、選択制御線を2本用意して浮遊拡散領域(FD)ごとに制御可能な物理仕様(選択制御線へのコンタクトの打ちかえ)を導入することで、位相差画素補正、位相差検出、及び重心補正の3つを同時に解決している。
<2.第2の実施の形態>
(近傍隣接4画素加算・H2V2加算方式)
 図9は、画素アレイ部11にベイヤー配列で配置される画素部200Bの読み出し駆動として、近傍隣接4画素加算・H2V2加算方式を実施する場合を示している。ただし、画素アレイ部11における各画素部200B内の4画素、すなわち、すべての同色の画素100で、露光時間は同一の時間(中蓄の露光時間等)とされる。
 この近傍隣接4画素加算・H2V2加算方式を用いた場合、まず、近傍隣接4画素加算が実施される。近傍隣接4画素加算では、R,G,B画素部200Bを構成する4画素(共有画素)がそれぞれ近傍隣接4画素とされ、当該4画素からの画素信号が浮遊拡散領域111で加算(FD加算)され、R成分、G成分、B成分の加算信号がそれぞれ生成される。
 そして、近傍隣接4画素加算に続いて、H2V2加算が実施される。H2V2加算では、同色の画素部200Bからの加算信号を、水平方向の2画素と垂直方向の2画素でさらに加算する。
 具体的には、R画素部200Bは、図9のAの格子311Rの四隅の4つの白丸に応じた4つのR画素100が近傍隣接4画素とされ、画素加算(アナログ加算)される。また、H2V2加算によって、図9のAの格子311Rの四隅の近傍隣接4画素で得られた加算信号が、水平方向と垂直方向でさらに加算(アナログ加算)される。これにより、R成分の加算信号が得られる(図9のBの左下の加算信号)。
 同様に、G画素部200Bは、図9のAの格子311Gの白丸に応じて近傍隣接4画素加算とH2V2加算が実施され、G成分の加算信号が得られる(図9のBの左上又は右下の加算信号)。また、B画素部200Bは、図9のAの格子311Bの白丸に応じて近傍隣接4画素加算とH2V2加算が実施され、B成分の加算信号が得られる(図9のBの右上の加算信号)。
 ここで、図9の画素配列でも、B画素部200BとG画素部200Bを跨がるかたちで1つのオンチップレンズを形成して、位相差画素100L,100Rの組を配置することで、位相差検出を行っている。
 この画素配列に対して、同色の最近傍画素部200Bを、H2V2加算するに際して、全領域を一律に加算した場合を想定すると、多くの通常画素が位相差画素と加算される。そのため、H2V2加算後において、画素配列(の全領域)に含まれる画素に占める位相差画素100L,100Rの密度が高くなる。一方で、通常画素と位相差画素の信号が混じってしまうため、位相差検出が困難になる。
 そこで、近傍隣接4画素加算・H2V2加算方式では、上述した3露光HDR・H2V2加算方式と同様に、H2V2加算を行う際に、位相差画素100L,100Rが間引かれるようにして、位相差画素100L,100Rの密度が高くなりすぎないようにする。
 すなわち、図9のAに示したH2V2加算を行うに際して、選択される4画素のうち、1つでも位相差画素が含まれる場合に、一部の画素では位相差画素のみを選択して加算し、あるいは、他の一部の画素では、位相差画素を除いた通常画素同士のみを選択して加算する。これにより、位相差画素の密度の調整と位相差信号の劣化を防ぐことが可能となる。
 また、近傍隣接4画素加算・H2V2加算方式においては、上述した3露光HDR・H2V2加算方式と同様に、第1のパターンないし第3のパターンの3パターンで、VSL転送のオン/オフを制御するため、垂直信号線(VSL)131と浮遊拡散領域(FD)111の接続を制御するための選択制御線122が複線化されている。
 具体的には、図10に示すように、枠210で囲まれた位相差画素(2×1OCL画素)を残し、他の位相差画素(2×1OCL画素)は捨てる場合を想定する。
 この場合において、図中の「1」は、第1のパターンの加算方法の制御が行われることを表し、枠210内の位相差画素を残すが、位相差画素を含む画素部200Bを除いた3つの画素部200B(12画素の通常画素)は、VSL転送されず非加算となる。つまり、図中の「C」は、「非加算の画素部」となる。
 また、図10において、図中の「2」は、第2のパターンの加算方法の制御が行われることを表し、位相差画素を含む画素部200Bを読み出さずに、さらに、その対角に位置する画素部200Bも読み出さない。つまり、図中の「A」は、「位相差画素捨ての画素部」となり、図中の「B」は、「道連れの画素部」となる。
 さらに、図10において、図中の「3」は、第3のパターンの加算方法の制御が行われることを表し、4つの画素部200B(16画素の通常画素)では、通常のH2V2加算が行われる。なお、図10において、転送制御線(TRG線)には駆動信号が印加され、画素部200B内の画素100が選択される。
 このように、選択制御線を複線化してVSL転送のオン/オフを制御し、第1のパターンないし第3のパターンの加算方法の制御を実現することで、位相差画素の密度を減らしつつ、位相差画素と通常画素とが加算されないようにすることができる。
 ここで、近傍隣接4画素加算・H2V2加算方式では、近傍隣接4画素加算の実施に際して、位相差画素の読み出しに対応するために、図11及び図12に示した駆動が実施される。
 図11及び図12では、水平方向に並んだ4つの画素部200Bのうち、中央の2つのB,G画素部200Bが、通常画素のほかに、位相差画素100L,100Rをそれぞれ含む。一方で、左右のG,B画素部200Bでは、4画素が通常画素となる。
 近傍隣接4画素加算の実施に際しては、図11に示すように、各画素部200Bを構成する4画素のうち、1画素の光電変換素子に蓄積された電荷が、画素部200Bごとに異なる浮遊拡散領域111に転送される(図11のS1)。
 このとき、中央のB,G画素部200Bの位相差画素100L,100Rから得られる画素信号は、保持される(図11のS2)。
 その後、図12に示すように、各画素部200Bを構成する4画素の光電変換素子に蓄積された電荷が、浮遊拡散領域111に転送される(図12のS4-1ないしS4-3)。
 なお、図12では、図11で転送の対象となった1画素を、黒塗りの四角で表しており、それらの画素も再転送される。
 このとき、水平方向に並んだ4つの画素部200Bのうち、左右のG,B画素部200Bでは、通常画素のみから構成されるため、それぞれ、4画素が加算され(図12のS5)、その結果得られる加算信号に対して後段の処理が実施される(図12のS6)。
 また、中央のB,G画素部200Bでは、B,G画素である通常画素のほかに、位相差画素100L,100Rをそれぞれ含むため、4画素を加算した加算信号は用いられずに(図12のS5)、保持していた位相差画素100L,100Rからの画素信号に対して後段の処理が実施される(図11,図12のS3)。
 このように、近傍隣接4画素加算の実施に際しては、位相差画素の読み出しにも対応可能であり、その後に、H2V2加算が実施される。
<3.変形例>
(選択制御線の拡張)
 上述した説明では、選択制御線の複線化として、選択制御線を2本に増設してVSL転送のオン/オフを制御する構成を示したが、選択制御線は、2本に限らず、3本など、さらに多くの選択制御線を設けることができる。
 具体的には、図13に示すように、1本の選択制御線(SEL)122(図13のA)を、3本の選択制御線(SEL)122-1,122-2,122-3(図13のB)に複線化し、垂直信号線(VSL)131と浮遊拡散領域(FD)111の接続を制御することができる。
 ここでは、選択制御線122を複線化して3本にすることで、図14に示すように、Case0ないしCase6に応じた7通りの読み出しを実現することができる。
 すなわち、図14では、3本の選択制御線とCase0ないしCase6がそれぞれ対応付けられているが、「〇」が対象の選択制御線122を駆動していることを示し、「×」が対象の選択制御線122を駆動していないことを示す。
 具体的には、選択制御線122-1ないし122-3の3本の選択制御線をすべて駆動した場合、Case0として、図15のAの枠401内の同色の4つの画素部200を読み出して、その画素信号を加算することができる。また、Case1ないしCase6についても、Case0と同様に、3本の選択制御線122-1ないし122-3の駆動に応じて同色の画素部200が読み出され、浮遊拡散領域111で加算(FD加算)される(図15のBないしG)。
 このように、現状の技術では、浮遊拡散領域(FD)111から垂直信号線(VSL)131への接続は、物理的な構成で決まるため、SF(Source Follower)加算方法は、1通り決め打ちでしかできなかった。本開示に係る技術では、選択制御線の複線化とその駆動を制御することで、SF加算のバリエーションを制御することができる。
(遮光画素の構成例)
 また、上述した説明では、位相差画素として2×1OCL画素を用いる場合を示したが、遮光画素などの他の位相差画素を用いてもよい。
 ここでは、図16に示すように、遮光領域が左右対称となる遮光画素100Lと遮光画素100Rを用いることができる。つまり、遮光画素100Lと遮光画素100Rは、位相差画素として組になっており、当該遮光画素100L,100Rから得られる遮光画素信号に基づき、位相差が検出される。
(左右インタリーヴ構造の例)
 ところで、高フレームレートの実現のために、垂直信号線(VSL)の倍の数の行を同時並列で読み出す手法として用いられる水平インタリーヴ構造がある。また、上述した説明では、同色の4画素を有する画素部200を規則的に配列した画素アレイ部11において、所定の規則で位相差画素100L,100Rを配置した場合に、H2V2加算方式による駆動制御を行うに際して、位相差画素100L,100Rの密度を調整する手法を示した。
 以下、これらの2つの手法を同時に満たし、かつ、2×2画素等の所定の画素単位で画素信号を読み出すことが可能な構成について説明する。
 図17は、画素アレイ部11にベイヤー配列で配置される画素部200の読み出し駆動の他の例を示している。また、説明をわかりやすくするために、図17に示した画素部200を配置した領域の一部を拡大した図を、図18に示している。
 画素アレイ部11において、画素部200を構成する4画素は、すべて同色の画素100とされる。また、画素アレイ部11においては、位相差画素100L,100Rが、16×16画素単位などの所定の画素単位で周期的に配置される。
 画素アレイ部11は、左右インタリーヴ構造を採用している。左右インタリーヴ構造は、左右を分割して画素信号を読み出す構造であり、特定の2つの浮遊拡散領域(FD)111が接続される垂直信号線(VSL)131が共通となる構造である。垂直信号線(VSL)131が共通となるため、どちらの列を読み出すかを、選択制御線(SEL線)に印加される駆動信号(SEL信号)に応じたスイッチ制御により選択する。
 例えば、図18の拡大図では、複数の垂直信号線(VSL)131に対して、左側の上下の画素部200で共有された浮遊拡散領域(FD)111と、右側の上下の画素部200で共有された浮遊拡散領域(FD)111とが存在しており、左側と右側の異なる列の2つの浮遊拡散領域(FD)111が接続される垂直信号線(VSL)131が共通となっている。ただし、共通の垂直信号線(VSL)131に接続される左列と右列の浮遊拡散領域(FD)111では、共有される上下の画素部200がそれぞれ同色とされ、それぞれ同一の行に配置されている。
 このように、画素アレイ部11において、2列(左列と右列の2列)の浮遊拡散領域(FD)111が垂直信号線(VSL)131を共有しているため、上述した駆動制御において、SF加算を実施しないモード(パターン)では、左右の浮遊拡散領域(FD)111を別で読み出す動作となる。
 ここで、浮遊拡散領域(FD)111の列に対して垂直信号線(VSL)131が2本あるタイプで、上述した駆動制御を実施する場合を想定する。この場合において、非左右インタリーヴ構造を用いた場合に同時に読み出すことができる行数は4行(FD行)であるのに対して、左右インタリーヴ構造を用いた場合には同時に読み出すことができる行数は8行(FD行)であり、非左右インタリーヴ構造の倍の行数を読み出すことができる。つまり、左右インタリーヴ構造は、高フレームレートの読み出しの工夫がなされた構造である。
 画素アレイ部11において、同一の浮遊拡散領域(FD)111を共有する画素部200のうち、上側のR,G,又はBカラーフィルタに対応したR,G,又はB画素100の4画素から構成される画素部200をトップ側画素部200といい、下側のR,G,又はBカラーフィルタに対応したR,G,又はB画素100の4画素から構成される画素部200をボトム側画素部200という。
 トップ側画素部200を読み出す際に、非加算対象となる浮遊拡散領域(FD)111は、SELQBINSFである選択制御線に接続され、それ以外の浮遊拡散領域(FD)111は、SELである選択制御線に接続される。左右インタリーヴ構造を用いる場合には、これに加えて左列と右列をそれぞれ独立して制御する必要があるため、SEL,SELQBINSFである選択制御線を、左列用と右列用にそれぞれ用意する。
 図17,図18では、左列用の選択制御線に「*_EVN」を記述し、右列用の選択制御線に「*_ODD」を記述している。つまり、SEL_EVN,SELQBINSF_EVN,SEL_ODD,SELQBINSF_ODDの4種類の選択制御線(SEL線)を用意する。
 さらに、浮遊拡散領域(FD)111を共有する画素部200内の画素100を選択する転送制御線(TRG線)についても、左列と右列をそれぞれ独立して制御する必要があるため、選択制御線(SEL線)と同様に、左列用と右列用にそれぞれ用意する。
 図17,図18では、トップ側画素部用の転送制御線に「*_T」を記述し、ボトム側画素部用の転送制御線に「*_B」を記述し、位相差画素100L,100Rの隣接画素用の転送制御線に「*_ZAF」を記述している。つまり、TRG_EVN_T,TRG_EVN_B,TRG_EVN_ZAF,TRG_ODD_T,TRG_ODD_B,TRG_ODD_ZAFの6種類の転送制御線(TRG線)を用意する。
 これらの転送制御線と選択制御線をまとめると、次のようになる。
(転送制御線)
 TRG_EVN_Tには、左列のトップ側画素部200内の画素100の転送制御(TRG制御)のための駆動信号(TRG信号)が印加(出力)される。TRG_EVN_Bには、左列のボトム側画素部200内の画素100の転送制御のための駆動信号が印加される。
 TRG_ODD_Tには、右列のトップ側画素部200内の画素100の転送制御のための駆動信号が印加される。TRG_ODD_Bには、右列のボトム側画素部200内の画素100の転送制御のための駆動信号が印加される。
 TRG_EVN_ZAFには、左列の位相差画素100L,100Rに隣接する画素100の転送制御のための駆動信号が印加される。TRG_ODD_ZAFには、右列の位相差画素100L,100Rに隣接する画素100の転送制御のための駆動信号が印加される。
(選択制御線)
 SEL_EVNには、TRG_EVN_T,TRG_EVN_B,及びTRG_EVN_ZAFである転送制御線の信号レベルに応じた論理で成立する駆動信号(SEL信号)が印加(出力)される。すなわち、SEL_EVNでは、「TRG_EVN_*」がReadのステートである場合、RSELである入力信号に従った出力がなされる一方で、「TRG_EVN_*」がRead以外のステートである場合、その出力がLowレベルに固定される。
 SEL_ODDには、TRG_ODD_T,TRG_ODD_B,及びTRG_ODD_ZAFである転送制御線の信号レベルに応じた論理で成立する駆動信号が印加される。すなわち、SEL_ODDでは、「TRG_ODD_*」がReadのステートである場合、RSELである入力信号に従った出力がなされる一方で、「TRG_ODD_*」がRead以外のステートである場合、その出力がLowレベルに固定される。
 SELQBINSF_EVNには、TRG_EVN_T,TRG_EVN_B,及びTRG_EVN_ZAFである転送制御線の信号レベルに応じた論理で成立する駆動信号が印加される。すなわち、SELQBINSF_EVNでは、「TRG_EVN_*」がReadのステートである場合、RSELQBINSFである入力信号に従った出力がなされる一方で、「TRG_EVN_*」がRead以外のステートである場合、その出力がLowレベルに固定される。なお、RSELQBINSFである入力信号としては、例えば上述した駆動制御で非加算対象の浮遊拡散領域(FD)111を読むときにLowレベルでの固定が要求される。
 SELQBINSF_ODDには、TRG_ODD_T,TRG_ODD_B,及びTRG_ODD_ZAFである転送制御線の信号レベルに応じた論理で成立する駆動信号が印加される。すなわち、SELQBINSF_ODDでは、「TRG_ODD_*」がReadのステートである場合、RSELQBINSFである入力信号に従った出力がなされる一方で、「TRG_ODD_*」がRead以外のステートである場合、その出力がLowレベルに固定される。なお、RSELQBINSFである入力信号としては、例えば上述した駆動制御で非加算対象の浮遊拡散領域(FD)111を読むときにLowレベルでの固定が要求される。
 このように、上述した駆動制御を行うに際して、転送制御線(TRG_EVN_B,TRG_EVN_T,TRG_EVN_ZAF,TRG_ODD_B,TRG_ODD_T,TRG_ODD_ZAF)と選択制御線(SEL_EVN,SELQBINSF_EVN,SEL_ODD,SELQBINSF_ODD)に印加される駆動信号(TRG信号、SEL信号)を制御することで、撮像画像中の欠陥の要因となる位相差画素100L,100Rの密度が高くなり過ぎないように、ある一定の周期で間引いて読み出されるようにする。
 このとき、選択制御線に印加される駆動信号を制御して、間引いた位相差画素100L,100Rと対角に位置する画素100も同様に間引くことで、H2V2加算後の画素の重心が揃えられるため、色重心を中央に保ったまま欠陥密度を抑制することができる。この間引きの手法については、上述した駆動制御で説明した通りである。
 以上のように、図17,図18に示した構成では、上述した駆動制御を、高フレームレートで、かつ、より少ない垂直信号線(VSL)で実現可能となり、さらに、撮像画像における位相差画素に由来する点欠陥密度を制御することができる。さらに、2×2画素等の所定の画素単位で画素信号を読み出すことができる。
(他の方式の例)
 また、上述した説明では、3露光HDR・H2V2加算方式と近傍隣接4画素加算・H2V2加算方式を一例に説明したが、H2V2加算を用いた他の方式を用いてもよい。さらに、H2V2加算は、水平垂直加算の一例であり、水平方向の2画素と垂直方向の2画素での加算に限らず、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号とを水平垂直加算するものであれば、いずれでもよい。
(高速フレームレート駆動とPDAFの両立)
 ここで、高フレームレート化を実現するには、画素加算により総画素数を減らして、かつ、水平方向の同時AD変換数を増やす必要がある。一方で、高フレームレート(多画素加算)の駆動と、像面位相差AF(PDAF)を両立するには、画素加算時に、位相差画素(2×1OCL画素)を残す駆動が必要であり、現状の実現方法としては、SF加算時に、1FDごとに1本の選択制御線を使用することで、Mux制御により、AD変換前に、位相差画素(2×1OCL画素)のみを取捨選択していた。
 この実現方法では、水平方向の同時AD変換を増やすことへの制約となるため、これを解決する必要があるが、本開示に係る技術では、選択制御線を複線化することで、この問題を解決することができる。
 以上のように、本開示に係る技術によれば、画素アレイ部11に2次元状に配列される複数の画素100(を含む画素部200)に、位相差画素100L,100Rを含めた構成を用いる場合に、複数の画素100を読み出すに際して、水平方向の所定の画素100の画素信号と、垂直方向の所定の画素100の画素信号を水平垂直加算するとき、位相差画素100L,100Rを部分的に非加算にすることで、位相差情報の劣化を抑制することができる。
 特に、近年のモバイル機器向けのイメージセンサは多画素化が進み、動画フォーマットに高速かつ低電力で対応するための画像縮小技術が求められている。画像縮小技術である近傍隣接4画素加算とH2V2加算を行うに際して、現状では、位相差画素も通常画素と加算してしまうため、位相差情報が失われ、かつ、画質への悪影響もあった。また、現状では、3露光HDRを用いた後に、さらに縮小を行う場合には画素間引き(H2V2間引き)を行っており、SN比(Signal-Noise Ratio)の劣化と折り返しが発生するなど画質に問題があった。
 それに対し、本開示に係る技術では、3露光HDR・H2V2加算方式、又は近傍隣接4画素加算・H2V2加算方式を用いてH2V2加算を行う際に、位相差画素のみを加算又は選択する領域と、通常画素同士を加算又は選択する領域とを混在させることで、画像縮小時においても位相差画素の密度が上がりすぎないようにする。これにより、画像縮小時においても位相差情報が失われることなく、画質劣化を極力抑えながら、高速でかつ低電力動作が実現可能となる。
 また、本開示に係る技術では、3露光HDR・H2V2加算方式を用いる際に、現状の3露光HDRと同一のシャッタ制御を維持しつつ、同じ露光信号をアナログ加算している。これにより、SN比を改善しながら、読み出し速度を向上させ、さらに消費電力を抑えることが可能となる。
 ただし、上述したH2V2加算をすべての画素に対して均一に行うと、位相差画素が埋め込まれている場合には、位相差画素と通常画素が加算されることにより位相差情報が劣化し、位相差画素の影響を受けた画素の密度が上昇してしまい、補正を行うことにより画質への悪影響が懸念される。この弊害を回避するために、上述した複線化した選択制御線の駆動制御を行うことで、位相差情報の劣化と画質劣化を抑制する。
 なお、上述した特許文献1には、全面位相差検出時に、位相差検出とHDRを実現するための加算方法について開示されているが、埋め込み型の位相差画素を選択的に加算する方法については、開示は勿論、示唆もされていない。
 また、上述した特許文献2には、加算方法に合わせるかたちで、位相差画素を配置することについては開示されているが、本開示に係る技術のような選択制御線の配線と駆動制御によって加算画素を選択する構成については、開示も示唆もされていない。
<4.電子機器の構成>
 図19は、本開示に係る技術を適用した固体撮像装置を有する電子機器の構成例を示すブロック図である。
 電子機器1000は、例えば、デジタルスチルカメラやビデオカメラ等の撮像装置や、スマートフォンやタブレット型端末等の携帯端末装置などの撮像機能を有する電子機器である。
 電子機器1000は、レンズ部1011、撮像部1012、信号処理部1013、制御部1014、表示部1015、記録部1016、操作部1017、通信部1018、電源部1019、及び駆動部1020から構成される。
 また、電子機器1000において、信号処理部1013、制御部1014、表示部1015、記録部1016、操作部1017、通信部1018、及び電源部1019は、バス1021を介して相互に接続されている。
 レンズ部1011は、ズームレンズやフォーカスレンズ等から構成され、被写体からの光を集光する。レンズ部1011により集光された光(被写体光)は、撮像部1012に入射される。
 撮像部1012は、本開示に係る技術を適用した固体撮像装置(例えば、図1の固体撮像装置10)を含んで構成される。撮像部1012では、固体撮像装置によってレンズ部1011を介して受光した光(被写体光)を電気信号に光電変換し、その結果得られる信号を、信号処理部1013に供給する。
 なお、この固体撮像装置の画素アレイ部には、所定の配列パターンで規則的に配列された複数の画素として、被写体光に応じた撮像画像を生成するための信号を生成する画素(通常画素)と、位相差検出を行うための信号を生成する画素(位相差画素)とが含まれる。
 例えば、上述した固体撮像装置10(図1)においては、通常画素が、R画素100(R画素部200)、G画素100(G画素部200)、及びB画素100(B画素部200)に相当し、位相差画素が、位相差画素100L,100Rや、遮光画素100L,100Rに相当している。
 信号処理部1013は、撮像部1012から供給される信号を処理する信号処理回路である。例えば、信号処理部1013は、DSP(Digital Signal Processor)回路などとして構成される。
 信号処理部1013は、撮像部1012からの信号を処理して、静止画又は動画の画像データを生成し、表示部1015又は記録部1016に供給する。また、信号処理部1013は、撮像部1012(イメージセンサの位相差画素)からの信号に基づき、位相差を検出するためのデータ(位相差検出用データ)を生成し、制御部1014に供給する。
 制御部1014は、例えば、CPU(Central Processing Unit)やマイクロプロセッサなどとして構成される。制御部1014は、電子機器1000の各部の動作を制御する。
 表示部1015は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等の表示装置として構成される。表示部1015は、信号処理部1013から供給される画像データを処理し、撮像部1012により撮像された静止画又は動画を表示する。
 記録部1016は、例えば、半導体メモリやハードディスク等の記録媒体として構成される。記録部1016は、信号処理部1013から供給される画像データを記録する。また、記録部1016は、制御部1014からの制御に従い、記録されている画像データを提供する。
 操作部1017は、例えば、物理的なボタンのほか、表示部1015と組み合わせて、タッチパネルとして構成される。操作部1017は、ユーザによる操作に応じて、電子機器1000が有する各種の機能についての操作指令を出力する。制御部1014は、操作部1017から供給される操作指令に基づき、各部の動作を制御する。
 通信部1018は、例えば、通信インターフェース回路などとして構成される。通信部1018は、所定の通信規格に従い、無線通信又は有線通信によって、外部の機器との間でデータのやりとりを行う。
 電源部1019は、信号処理部1013、制御部1014、表示部1015、記録部1016、操作部1017、及び通信部1018の動作電源となる各種の電源を、これらの供給対象に対して適宜供給する。
 また、制御部1014は、信号処理部1013から供給される位相差検出用データに基づき、2つの画像の位相差を検出する。そして、制御部1014は、位相差の検出結果に基づき、フォーカスを合わせる対象の物体(合焦対象物)に対し、フォーカスが合っているかどうかを判定する。制御部1014は、合焦対象物にフォーカスが合っていない場合には、フォーカスのずれ量(デフォーカス量)を算出し、駆動部1020に供給する。
 駆動部1020は、例えば、モータ等から構成され、ズームレンズやフォーカスレンズ等からなるレンズ部1011を駆動する。
 駆動部1020は、制御部1014から供給されるデフォーカス量に基づき、レンズ部1011のフォーカスレンズの駆動量を算出し、その駆動量に応じてフォーカスレンズを移動させる。なお、合焦対象物に対し、フォーカスが合っている場合には、駆動部1020は、フォーカスレンズの現在位置を維持させる。
 電子機器1000は、以上のように構成される。
<5.固体撮像装置の使用例>
 図20は、本開示に係る技術を適用した固体撮像装置の使用例を示す図である。
 固体撮像装置10は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。すなわち、図20に示すように、鑑賞の用に供される画像を撮影する鑑賞の分野だけでなく、例えば、交通の分野、家電の分野、医療・ヘルスケアの分野、セキュリティの分野、美容の分野、スポーツの分野、又は、農業の分野などにおいて用いられる装置でも、固体撮像装置10を使用することができる。
 具体的には、鑑賞の分野において、例えば、デジタルカメラやスマートフォン、カメラ機能付きの携帯電話機等の、鑑賞の用に供される画像を撮影するための装置(例えば、図19の電子機器1000)で、固体撮像装置10を使用することができる。
 交通の分野において、例えば、自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置で、固体撮像装置10を使用することができる。
 家電の分野において、例えば、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ受像機や冷蔵庫、エアーコンディショナ等の家電に供される装置で、固体撮像装置10を使用することができる。また、医療・ヘルスケアの分野において、例えば、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置で、固体撮像装置10を使用することができる。
 セキュリティの分野において、例えば、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置で、固体撮像装置10を使用することができる。また、美容の分野において、例えば、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置で、固体撮像装置10を使用することができる。
 スポーツの分野において、例えば、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置で、固体撮像装置10を使用することができる。また、農業の分野において、例えば、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置で、固体撮像装置10を使用することができる。
<6.移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図21は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図21に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図21の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図22は、撮像部12031の設置位置の例を示す図である。
 図22では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
 撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図22には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、固体撮像装置10は、撮像部12101ないし12105に適用することができる。撮像部12031に本開示に係る技術を適用することにより、例えば、位相差情報の劣化と画質の劣化を抑制することができるため、視認性を向上させて、より正確に、人、車、障害物、標識又は路面上の文字等の物体を認識することができる。
<7.内視鏡手術システムへの応用例>
 図23は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
 図23では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
 内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)11201に送信される。
 CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
 表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
 光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
 入力装置11204は、内視鏡手術システム11000に対する入力インターフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
 処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 図24は、図23に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
 カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
 レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
 撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
 また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
 駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
 また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
 カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
 通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
 また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
 画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
 制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
 また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
 カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
 以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、内視鏡11100に適用され得る。具体的には、固体撮像装置10は、カメラヘッド11102の撮像部11402に適用することができる。撮像部11402に本開示に係る技術を適用することにより、例えば、位相差情報の劣化と画質の劣化を抑制して、より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
 なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
 なお、本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
 また、本開示に係る技術は、以下のような構成をとることができる。
(1)
 複数の画素が2次元状に配列された画素アレイ部を備え、
 前記複数の画素は、位相差検出用の位相差画素を含み、
 前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、
 前記複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、前記位相差画素を部分的に非加算にする
 固体撮像装置。
(2)
 前記水平垂直加算の後の位相差画素の密度は、前記水平垂直加算の前の位相差画素の密度と比べて、同一若しくは同程度の密度、又はより低い密度となる
 前記(1)に記載の固体撮像装置。
(3)
 垂直方向の複数の画素部ごとに形成される浮遊拡散領域から垂直信号線への接続を選択するための選択制御線を水平方向に複数設け、
 前記水平垂直加算に際して、複数の選択制御線の駆動を制御する
 前記(1)又は(2)に記載の固体撮像装置。
(4)
 前記画素部に含まれる画素は、画素ごとに露光時間が調整され、
 前記複数の画素を読み出すに際して、前記水平垂直加算で得られる同色で異なる露光時間の画素信号を合成することで、HDR(High Dynamic Range)の信号が生成される
 前記(1)ないし(3)のいずれかに記載の固体撮像装置。
(5)
 前記複数の画素のうち、1つのオンチップレンズに対して形成された複数の光電変換素子のいずれかを含む前記位相差画素は、隣接した同色の画素であって、隣接した異なる画素部に含まれる
 前記(4)に記載の固体撮像装置。
(6)
 前記画素部は、2×2の4画素から構成され、
 前記位相差画素は、左右に隣接した画素部にそれぞれ含まれる2×1の2画素として、第1の位相差画素と第2の位相差画素から構成され、
 前記第1の位相差画素と前記第2の位相差画素は、同一の露光時間に調整される
 前記(5)に記載の固体撮像装置。
(7)
 前記位相差画素は、遮光画素として構成される
 前記(4)に記載の固体撮像装置。
(8)
 前記画素部に含まれる画素は、すべての同色の画素が同一の露光時間とされ、
 前記複数の画素を読み出すに際して、前記画素部に含まれる同色の画素の画素信号を加算してから、前記水平垂直加算を行う
 前記(1)ないし(3)のいずれかに記載の固体撮像装置。
(9)
 前記複数の画素のうち、1つのオンチップレンズに対して形成された複数の光電変換素子のいずれかを含む前記位相差画素は、隣接した同色の画素であって、隣接した異なる画素部に含まれる
 前記(8)に記載の固体撮像装置。
(10)
 前記画素部は、2×2の4画素から構成され、
 前記位相差画素は、左右に隣接した画素部にそれぞれ含まれる2×1の2画素として、第1の位相差画素と第2の位相差画素から構成される
 前記(9)に記載の固体撮像装置。
(11)
 前記位相差画素は、遮光画素として構成される
 前記(8)に記載の固体撮像装置。
(12)
 前記水平垂直加算は、水平方向の所定の2画素の画素信号と垂直方向の2画素の画素信号とを加算し、
 前記水平垂直加算に際して、特定の画素部に含まれる位相差画素の画素信号を選択するとともに、当該画素部を除いた他の画素部に含まれる通常画素の画素信号を非加算とするように、複数の選択制御線の駆動を制御する
 前記(3)に記載の固体撮像装置。
(13)
 水平方向の所定の2画素の画素信号と垂直方向の2画素の画素信号とを加算する水平垂直加算に際して、特定の位相差画素を含む画素部に含まれる画素の画素信号と、当該画素部の対角にある画素部に含まれる通常画素の画素信号を非加算とするように、複数の選択制御線の駆動を制御する
 前記(3)又は(12)に記載の固体撮像装置。
(14)
 水平方向の所定の2画素の画素信号と垂直方向の2画素の画素信号とを加算する水平垂直加算に際して、通常画素のみを含む画素部の画素の画素信号を加算するように、複数の選択制御線の駆動を制御する
 前記(3)、(12)、又は(13)に記載の固体撮像装置。
(15)
 特定の浮遊拡散領域は、共通の垂直信号線に接続され、
 前記水平垂直加算に際して、特定の浮遊拡散領域から画素信号を読み出すために、複数の選択制御線の駆動を制御する
 前記(3)、(12)、又は(13)に記載の固体撮像装置。
(16)
 共通の垂直信号線に接続される特定の浮遊拡散領域は、垂直方向の異なる列に形成され、
 特定の浮遊拡散領域を共有する画素部のそれぞれは、水平方向の同一の行に配置されて同色の画素を含んで構成される
 前記(15)に記載の固体撮像装置。
(17)
 複数の画素が2次元状に配列された画素アレイ部を備え、
 前記複数の画素は、位相差検出用の位相差画素を含み、
 前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、
 垂直方向の複数の画素部ごとに形成される浮遊拡散領域から垂直信号線への接続を選択するための選択制御線を水平方向に複数設けている
 固体撮像装置。
(18)
 前記画素部に含まれる画素は、画素ごとに露光時間が調整され、
 前記複数の画素を読み出すに際し、水平方向の所定の画素の画素信号と垂直方向の所定の画素の画素信号を水平垂直加算して得られる同色で異なる露光時間の画素信号を合成することで、HDRの信号が生成される
 前記(17)に記載の固体撮像装置。
(19)
 前記画素部に含まれる画素は、すべての同色の画素が同一の露光時間とされ、
 前記複数の画素を読み出すに際し、前記画素部に含まれる同色の画素の画素信号を加算してから、水平方向の所定の画素の画素信号と垂直方向の所定の画素の画素信号を水平垂直加算する
 前記(17)に記載の固体撮像装置。
(20)
 複数の画素が2次元状に配列された画素アレイ部を備え、
 前記複数の画素は、位相差検出用の位相差画素を含み、
 前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、
 前記複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、前記位相差画素を部分的に非加算にする
 固体撮像装置を搭載した電子機器。
 10 固体撮像装置, 11 画素アレイ部, 12 垂直駆動回路, 111 浮遊拡散領域(FD), 121 画素駆動線, 122,122-1,122-2,122-3 選択制御線, 131 垂直信号線(VSL), 100 画素, 200,200A,200B 画素部, 1000 電子機器, 1012 撮像部, 1014 制御部, 1020 駆動部, 12031 撮像部, 11402 撮像部

Claims (20)

  1.  複数の画素が2次元状に配列された画素アレイ部を備え、
     前記複数の画素は、位相差検出用の位相差画素を含み、
     前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、
     前記複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、前記位相差画素を部分的に非加算にする
     固体撮像装置。
  2.  前記水平垂直加算の後の位相差画素の密度は、前記水平垂直加算の前の位相差画素の密度と比べて、同一若しくは同程度の密度、又はより低い密度となる
     請求項1に記載の固体撮像装置。
  3.  垂直方向の複数の画素部ごとに形成される浮遊拡散領域から垂直信号線への接続を選択するための選択制御線を水平方向に複数設け、
     前記水平垂直加算に際して、複数の選択制御線の駆動を制御する
     請求項1に記載の固体撮像装置。
  4.  前記画素部に含まれる画素は、画素ごとに露光時間が調整され、
     前記複数の画素を読み出すに際して、前記水平垂直加算で得られる同色で異なる露光時間の画素信号を合成することで、HDR(High Dynamic Range)の信号が生成される
     請求項1に記載の固体撮像装置。
  5.  前記複数の画素のうち、1つのオンチップレンズに対して形成された複数の光電変換素子のいずれかを含む前記位相差画素は、隣接した同色の画素であって、隣接した異なる画素部に含まれる
     請求項4に記載の固体撮像装置。
  6.  前記画素部は、2×2の4画素から構成され、
     前記位相差画素は、左右に隣接した画素部にそれぞれ含まれる2×1の2画素として、第1の位相差画素と第2の位相差画素から構成され、
     前記第1の位相差画素と前記第2の位相差画素は、同一の露光時間に調整される
     請求項5に記載の固体撮像装置。
  7.  前記位相差画素は、遮光画素として構成される
     請求項4に記載の固体撮像装置。
  8.  前記画素部に含まれる画素は、すべての同色の画素が同一の露光時間とされ、
     前記複数の画素を読み出すに際して、前記画素部に含まれる同色の画素の画素信号を加算してから、前記水平垂直加算を行う
     請求項1に記載の固体撮像装置。
  9.  前記複数の画素のうち、1つのオンチップレンズに対して形成された複数の光電変換素子のいずれかを含む前記位相差画素は、隣接した同色の画素であって、隣接した異なる画素部に含まれる
     請求項8に記載の固体撮像装置。
  10.  前記画素部は、2×2の4画素から構成され、
     前記位相差画素は、左右に隣接した画素部にそれぞれ含まれる2×1の2画素として、第1の位相差画素と第2の位相差画素から構成される
     請求項9に記載の固体撮像装置。
  11.  前記位相差画素は、遮光画素として構成される
     請求項8に記載の固体撮像装置。
  12.  前記水平垂直加算は、水平方向の所定の2画素の画素信号と垂直方向の2画素の画素信号とを加算し、
     前記水平垂直加算に際して、特定の画素部に含まれる位相差画素の画素信号を選択するとともに、当該画素部を除いた他の画素部に含まれる通常画素の画素信号を非加算とするように、複数の選択制御線の駆動を制御する
     請求項3に記載の固体撮像装置。
  13.  前記水平垂直加算に際して、特定の位相差画素を含む画素部に含まれる画素の画素信号と、当該画素部の対角にある画素部に含まれる通常画素の画素信号を非加算とするように、複数の選択制御線の駆動を制御する
     請求項12に記載の固体撮像装置。
  14.  前記水平垂直加算に際して、通常画素のみを含む画素部の画素の画素信号を加算するように、複数の選択制御線の駆動を制御する
     請求項13に記載の固体撮像装置。
  15.  特定の浮遊拡散領域は、共通の垂直信号線に接続され、
     前記水平垂直加算に際して、特定の浮遊拡散領域から画素信号を読み出すために、複数の選択制御線の駆動を制御する
     請求項3に記載の固体撮像装置。
  16.  共通の垂直信号線に接続される特定の浮遊拡散領域は、垂直方向の異なる列に形成され、
     特定の浮遊拡散領域を共有する画素部のそれぞれは、水平方向の同一の行に配置されて同色の画素を含んで構成される
     請求項15に記載の固体撮像装置。
  17.  複数の画素が2次元状に配列された画素アレイ部を備え、
     前記複数の画素は、位相差検出用の位相差画素を含み、
     前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、
     垂直方向の複数の画素部ごとに形成される浮遊拡散領域から垂直信号線への接続を選択するための選択制御線を水平方向に複数設けている
     固体撮像装置。
  18.  前記画素部に含まれる画素は、画素ごとに露光時間が調整され、
     前記複数の画素を読み出すに際し、水平方向の所定の画素の画素信号と垂直方向の所定の画素の画素信号を水平垂直加算して得られる同色で異なる露光時間の画素信号を合成することで、HDRの信号が生成される
     請求項17に記載の固体撮像装置。
  19.  前記画素部に含まれる画素は、すべての同色の画素が同一の露光時間とされ、
     前記複数の画素を読み出すに際し、前記画素部に含まれる同色の画素の画素信号を加算してから、水平方向の所定の画素の画素信号と垂直方向の所定の画素の画素信号を水平垂直加算する
     請求項17に記載の固体撮像装置。
  20.  複数の画素が2次元状に配列された画素アレイ部を備え、
     前記複数の画素は、位相差検出用の位相差画素を含み、
     前記画素アレイ部は、近傍の同色の画素を含む画素部が規則的に配列された配列パターンを有し、
     前記複数の画素を読み出すに際して、水平方向の所定の画素の画素信号と、垂直方向の所定の画素の画素信号を水平垂直加算するとき、前記位相差画素を部分的に非加算にする
     固体撮像装置を搭載した電子機器。
PCT/JP2020/023985 2019-06-25 2020-06-18 固体撮像装置、及び電子機器 WO2020262193A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/619,348 US11843883B2 (en) 2019-06-25 2020-06-18 Solid-state imaging device and electronic device
JP2021526879A JPWO2020262193A1 (ja) 2019-06-25 2020-06-18
KR1020217041497A KR20220027070A (ko) 2019-06-25 2020-06-18 고체 촬상 장치 및 전자 기기
EP20832059.8A EP3993400A4 (en) 2019-06-25 2020-06-18 SOLID-STATE IMAGING DEVICE AND ELECTRONIC APPARATUS
CN202080036792.1A CN113875009A (zh) 2019-06-25 2020-06-18 固态摄像装置和电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-117530 2019-06-25
JP2019117530 2019-06-25

Publications (1)

Publication Number Publication Date
WO2020262193A1 true WO2020262193A1 (ja) 2020-12-30

Family

ID=74059742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023985 WO2020262193A1 (ja) 2019-06-25 2020-06-18 固体撮像装置、及び電子機器

Country Status (7)

Country Link
US (1) US11843883B2 (ja)
EP (1) EP3993400A4 (ja)
JP (1) JPWO2020262193A1 (ja)
KR (1) KR20220027070A (ja)
CN (1) CN113875009A (ja)
TW (1) TW202107885A (ja)
WO (1) WO2020262193A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020532A1 (zh) * 2021-08-19 2023-02-23 维沃移动通信(杭州)有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2024106196A1 (ja) * 2022-11-16 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012968A (ja) * 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
US11706537B2 (en) * 2021-05-11 2023-07-18 Omnivision Technologies, Inc. Image sensor and method for reading out signal of image sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250325A (ja) 2010-05-28 2011-12-08 Fujifilm Corp 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP2017216647A (ja) 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2018067944A (ja) * 2013-01-30 2018-04-26 パナソニックIpマネジメント株式会社 撮像装置及び固体撮像装置
JP2019012968A (ja) * 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
JP2019029985A (ja) * 2017-08-03 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102170627B1 (ko) 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
EP4027640A1 (en) 2017-04-25 2022-07-13 Sony Group Corporation Solid state image sensor and electronic equipment
WO2019026718A1 (en) 2017-08-03 2019-02-07 Sony Semiconductor Solutions Corporation IMAGING APPARATUS AND ELECTRONIC DEVICE

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250325A (ja) 2010-05-28 2011-12-08 Fujifilm Corp 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
JP2018067944A (ja) * 2013-01-30 2018-04-26 パナソニックIpマネジメント株式会社 撮像装置及び固体撮像装置
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP2017216647A (ja) 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2019012968A (ja) * 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
JP2019029985A (ja) * 2017-08-03 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3993400A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020532A1 (zh) * 2021-08-19 2023-02-23 维沃移动通信(杭州)有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2024106196A1 (ja) * 2022-11-16 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器

Also Published As

Publication number Publication date
KR20220027070A (ko) 2022-03-07
US11843883B2 (en) 2023-12-12
US20220345651A1 (en) 2022-10-27
JPWO2020262193A1 (ja) 2020-12-30
EP3993400A1 (en) 2022-05-04
CN113875009A (zh) 2021-12-31
TW202107885A (zh) 2021-02-16
EP3993400A4 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US11936994B2 (en) Solid-state imaging device and electronic apparatus
WO2020262193A1 (ja) 固体撮像装置、及び電子機器
JPWO2020175195A1 (ja) 固体撮像装置および電子機器
US11482550B2 (en) Imaging device and electronic apparatus
US11606518B2 (en) Imaging apparatus and electronic equipment
US11756971B2 (en) Solid-state imaging element and imaging apparatus
JP7034925B2 (ja) 固体撮像装置および撮像方法
US20230005993A1 (en) Solid-state imaging element
US20230025911A1 (en) Imaging device and electronic device
WO2021002213A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
KR102674467B1 (ko) 촬상 장치 및 전자 기기
TW202123683A (zh) 攝像裝置及攝像裝置上之像素信號之補正處理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832059

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021526879

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020832059

Country of ref document: EP

Effective date: 20220125